JP2000514987A

JP2000514987A - Ｈｄｔｖダウン変換システムのためのアップサンプリングフィルタおよび半画素生成器

Info

Publication number: JP2000514987A
Application number: JP10539755A
Authority: JP
Inventors: イアキント，マイケル; キム，ヒー―ヨン; ロバートメイヤー，エドウィン; 廉穎川
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1997-03-12
Filing date: 1998-03-11
Publication date: 2000-11-07
Also published as: EP0908057B1; DE69821693D1; JP2001506099A; MY119918A; CN1219321A; WO1998041012A1; DE69822060D1; CN1170425C; JP2000511035A; US6184935B1; DE69821693T2; MY129539A; EP0901735A1; EP0908057A1; WO1998041029A1; EP0901734B1; CN1170438C; EP0901734A1; WO1998041011A1; CN1220800A

Abstract

(57)【要約】高度テレビジョンシステム規格（Advanced Television System Standard）（ＡＴＳＣ）に準拠した映像ダウン変換システムは、メインプロファイル、ハイレベル（ＭＰ＠ＨＬ）イメージを復号化するデコーダを含む。このデコーダは、ダウン変換プロセッサを用いて標準的な精細度の映像信号を生成する。システムは、メモリ要件を低減するためにサブサンプリングされたイメージを記憶し、アップサンプリングフィルタを用いて、記憶されたサブサンプリングされたイメージから参照イメージデータを発生する。参照イメージデータは、サブサンプリングされる前の映像デコーダによって生成されるイメージデータに空間的に対応する。アップサンプリングフィルタは、記憶されたイメージのサブサンプリング相と、記憶されたサブサンプリングされたイメージ内のダウンサンプリングされた参照イメージデータを位置特定するために使用される動きベクトル内の半画素指標(half-pixel indicator)とに基づいて異なるフィルタ係数を用いる。

Description

【発明の詳細な説明】ＨＤＴＶダウン変換システムのためのアップサンプリングフィルタおよび半画素生成器本特許出願は、１９９７年３月１２日に出願された米国仮出願番号第60/040,5 17号の利益を請求する。１９９７年３月１２日に出願された米国仮出願番号第60/040,517号の開示の全てを、明白に本明細書に参考として援用する。発明の属する分野本発明は、周波数領域で符号化された信号、例えばＭＰＥＧ−２の符号化された映像信号を受信し、復号化し、標準的な出力映像信号に変換するデコーダに関する。より具体的には、本発明は、符号化された高解像度映像信号を復号化された比較的低解像度の出力映像信号に変換するデコーダのアップサンプリングおよび半画素生成器に関する。発明の背景米国では、規格、すなわち高度テレビジョンシステム委員会（Advanced Telev ision System Committee）（ＡＴＳＣ）規格が、高精細度テレビ（ＨＤＴＶ）信号のデジタル符号化を規定している。この規格の一部分は、国際標準化機構（ＩＳＯ）のムービングピクチャエキスパートグループ（Moving Picture Experts G roup）（ＭＰＥＧ）によって提案された、ＭＰＥＧ−２規格と本質的に同じである。この規格は、“Information Technology - Generic Coding of Moving Pict ures and Associated Audio，Recommendation H.626”，ISO/IEC 13818-2，IS， 11/94と題された国際規格（ＩＳ）刊行物に説明されている。この刊行物は、ＩＳＯから入手可能であり、そのＭＰＥＧ−２デジタル映像符号化規格についての教示を本明細書に参考として援用する。ＭＰＥＧ−２規格とは、実際には幾つかの異なる規格である。ＭＰＥＧ−２では、幾つかの異なるプロファイルが規定されており、それぞれが符号化されたイメージの複雑さの異なるレベルに対応する。各プロファイルに関して異なるレベルが規定されており、各レベルは異なるイメージの解像度に対応する。ＭＰＥＧ −２規格の１つは、メインプロファイル、メインレベルとして公知であり、既存のテレビ規格（すなわち、ＮＴＳＣおよびＰＡＬ）に準拠する映像信号の符号化を意図している。別の規格は、メインプロファイル、ハイレベルとして知られており、高精細度テレビイメージの符号化を意図される。メインプロファイル、ハイレベル規格に従って符号化されたイメージは、１イメージフレームにつき１，１５２本のアクティブなラインと、１ラインにつき１，９２０個の画素とを有し得る。一方、メインプロファイル、メインレベル規格は、１ラインにつき７２０画素および１フレームにつき５６７ラインの最大画像サイズを規定する。毎秒３０フレームのフレームレートでこの規格に従って符号化された信号は、７２０＊５６７＊３０すなわち毎秒１２，２４７，２００画素のデータレートを有する。対照的に、メインプロファイル、ハイレベル規格に従って符号化されたイメージは、１，１５２＊１，９２０＊３０すなわち毎秒６６，３５５，２００画素の最大データレートを有する。このデータレートは、メインプロファイル、メインレベル規格に従って符号化されたイメージデータのデータレートの５倍を超える。米国におけるＨＤＴＶの符号化に関する規格は、この規格の部分集合であり、１フレームにつき１，０８０ラインと、１ラインにつき１，９２０画素と、このフレームサイズに対しては、毎秒３０フレームの最大フレームレートとを有する。この規格用の最大データレートは、メインプロファイル、メインレベル規格用の最大データレートよりもさらに大きい。ＭＰＥＧ−２規格は、データと制御情報との混合を含む複雑な構文（syntax）を規定する。この制御情報の幾つかは、この規格が網羅する幾つかの異なるフォーマットを有する信号を実現するために使用される。これらのフォーマットは、ラインごとに異なる数の絵素（画素）、フレームまたはフィールドごとに異なる数のライン、および１秒ごとに異なる数のフレームまたはフィールドを有するイメージを規定する。さらに、ＭＰＥＧ−２メインプロファイルの基本構文は、５つのレイヤ、すなわちシーケンスレイヤ、グループオブピクチャレイヤ、画像レイヤ、スライスレイヤ、およびマクロブロックレイヤにおけるイメージのシーケンスを示す、圧縮したＭＰＥＧ−２ビットストリームを規定する。これらのレイヤのそれぞれが、制御情報を用いて導入される。最後に、サイド情報としても知られるその他の制御情報（例えば、フレームタイプ、マクロブロックパターン、イメージ動きベクトル、係数ジグザグパターン、および逆量子化情報）を、符号化ビットストリーム全体に分散させる。符号化された高解像度のメインプロファイル、ハイレベル画像の、低解像度のメインプロファイル、ハイレベル画像へのフォーマット変換、あるいはメインプロファイル、メインレベル画像へのフォーマット変換またはその他の低解像度の画像フォーマットへのフォーマット変換は、ａ）複数の既存の映像フォーマットと共に使用する単一のデコーダの提供、ｂ）メインプロファイル、ハイレベル信号とパーソナルコンピュータのモニタまたは既存の消費者テレビ受信器との間のインタフェースの提供、およびｃ）ＨＤＴＶの実装コストの削減、の重要性を増大させてきた。例えば、変換によって、メインプロファイル、ハイレベルの符号化された画像と共に使用される高価な高精細度モニタを、画像の解像度が低い廉価な既存のモニタと置き換えて、ＮＴＳＣまたは５２５プログレッシブ（progre ssive）モニタなどの、メインプロファイル、メインレベルの符号化された画像をサポートすることが可能になる。一つの局面、すなわちダウン変換は、高精細像度の入力画像を、低解像度のモニタ上での表示のために低解像度の画像に変換する。有効にデジタルイメージを受信するために、デコーダは、映像信号情報を迅速に処理すべきである。最適に有効であるためには、復号化システムは、比較的廉価であるべきだが、これらのデジタル信号を即時に復号化するのに十分なパワーを有するべきである。従って、複数の低解像度フォーマットへの変換を支援するデコーダは、プロセッサのメモリを最小化しなければならない。ＭＰＥＧ−２メインプロファイル規格は、あるイメージシーケンスを、シーケンスレベル、グループオブピクチャレベル、画像レベル、スライスレベル、およびマクロブロックレベルの５つのレベルで規定する。これらのレベルのそれぞれを、データストリーム内の１レコードとし、後述のレベルは、先述のレベル内において入れ子状になったサブレベルとして生じる。各レベルのレコードは、そのサブレコードを復号化する際に使用されるデータを有するヘッダ部を含む。符号化されたＨＤＴＶ信号の各マクロブロックは６つのブロックを有し、各ブロックは、そのＨＤＴＶイメージ内の６４個の絵素（画素）の離散コサイン変換（ＤＣＴ）表記による６４個の各係数値を表すデータを有する。符号化処理において、画素データは、離散コサイン変換の前に動き補償差分符号化にかけられ得る。これらの変換された係数のブロックは、ランレングス(run -length)符号化技術および可変長符号化技術を適用してさらに符号化される。データストリームからイメージシーケンスを復元するデコーダは、符号化処理を逆転させる。このデコーダは、エントロピーデコーダ（例えば、可変長デコーダ）、逆離散コサイン変換プロセッサ、動き補償プロセッサおよび補間フィルタを使用する。図１は、ＭＰＥＧ−２符号化された画像を処理する従来技術による典型的な映像復号化システムの高レベルのブロック図である。後の処理、ダウン変換またはフォーマット変換を行わずにＭＰＥＧ−２符号化された画像を復号化するのに使用される一般的な方法は、ＭＰＥＧ−２規格によって定められている。この映像復号化システムは、エントロピーデコーダ（ＥＤ）１１０を含み、エントロピーデコーダ（ＥＤ）１１０は、可変長デコーダ（ＶＬＤ）２１０およびランレングスデコーダ２１２を含み得る。このシステムは、逆量子化器２１４および逆離散コサイン変換（ＩＤＣＴ）プロセッサ２１８をも含む。コントローラ２０７は、ＥＤ１１０によって入力ビットストリームから取り出された制御情報に応答して、復号化システムの様々なコンポーネントを制御する。予測イメージの処理のために、システムは、参照フレームメモリ２２２を有するメモリ１９９、加算ネットワーク(summing network)２３０、動きベクトルプロセッサ２２１および半画素生成器２２８を有し得る動き補償プロセッサ２０６ａをさらに含む。ＥＤ１１０は、符号化された映像イメージ信号を受信し、符号化処理を逆転して、これにより、量子化された周波数領域（ＤＣＴ）係数値のマクロブロックと、現在復号化されている予測された画像のマクロブロックに対応する、予め復号化されたイメージにおけるマッチングマクロブロックの相対的なずれを記載する動きベクトルを含む制御情報とを作成する。逆量子化器２１４は、量予化されたＤＣＴ変換係数を受信し、特定のマクロブロックについて量子化されたＤＣＴ係数を再構成する。特定のブロックに対して使用される量子化行列はＥＤ１１０から受信される。ＩＤＣＴプロセッサ２１８は、（マクロブロックの輝度またはクロミナンス成分を表す８×８行列値の各ブロックについて、また、予測されたマクロブロックの差分輝度(differential luminance)または差分クロミナンス(differential ch rominance)成分を表す８×８行列値の各ブロックについて）再構成されたＤＣＴ係数を空間ドメインの画素値に変換する。現マクロブロックが予測可能に符号化されていない場合、ＩＤＣＴプロセッサ２１８によって提供される出力行列値は、現映像イメージの対応するマクロブロックの画素値である。マクロブロックが、フレーム間符号化されている場合、前映像画像フレームの対応するマクロブロックは、動き補償プロセッサ２０６による使用のためにメモリ１９９に記憶される。動き補償プロセッサ２０６は、動きベクトルに応答して、メモリ１９９からの以前に復号化されたマクロブロックを受信し、その後、加算ネットワーク２３０において、前マクロブロックを現ＩＤＣＴマクロブロック（現在の予測可能に符号化されたフレームの残余成分(resid ual component)に対応）に加え、これにより、その後メモリ１９９の参照フレームメモリ２２２内に記憶される、現映像イメージの対応する画素のマクロブロックを生成する。発明の要旨本発明は、デジタル映像信号ダウン変換システムのためのアップサンプリングフィルタとして実施される。ダウン変換システムは、ある映像イメージを表すデジタル符号化された映像信号を復号化し、復号化された信号を間引きしてサブサンプリングされたイメージ信号を生成する。このサブサンプリングされた信号は、後に受信される符号化されたイメージ信号を復号化する際に使用するために記憶される。後に受信される符号化されたイメージ信号は、以前に復号化されたイメージに対する差分(differential)画素値として符号化される。差分画素値を表す後のイメージ信号を受信および復号化したとき、記憶されたイメージのセグメントを取り出して、本発明のフィルタを用いてアップサンプリングし、これにより、復号化されたイメージ画素値を生成する。この復号化されたイメージ画素値を、復号化された差分画素値と組み合わせて復号化されたイメージ信号を生成してもよい。本発明のアップサンプリングフィルタは、プログラム可能係数値および複数のフィルタ係数組を有するアップサンプリングフィルタを含む。各係数組は、それぞれ異なるサブサンプリング相に対応する。フィルタは、符号化されたイメージ信号から動きベクトルを受信し、受信した動きベクトルを処理して、記憶されたイメージ内の所望のセグメントを位置特定し、所望のセグメントのサブサンプリング相を決定する回路をも含む。この回路は、上記決定に応答して、記憶されたイメージデータ内の特定された位置から所望のセグメントを取り出し、適切なフィルタ係数組を用いてフィルタをプログラムし、そして、取り出されたセグメントをフィルタリングして、復号化された差分イメージデータに一致する参照イメージデータを提供する。本発明のある局面によれば、符号化された映像信号内の動きベクトルは、１画素位置の半分の解像度を有する所望のセグメントの位置を規定し、複数の係数組は、２Ｎ個の係数組を含み、Ｎは、サブサンプリングされたイメージを生成するために、復号化されたイメージに適用される間引きファクタである。本発明の別の局面によれば、符号化された映像信号内の動きベクトルは、１画素位置の半分の解像度を有する所望のセグメントの位置を規定し、複数の係数組は、Ｎ個の係数組を含み、Ｎは、サブサンプリングされたイメージを生成するために、復号化されたイメージに適用される間引きファクタであり、フィルタは、フィルタリングされた所望のセグメント内の隣接する画素を平均化し、これにより、フィルタリングされた所望のセグメントの画素値から半画素位置だけずれた出力画素値を生成する線形補間器をさらに含む。本発明の別の局面によれば、フィルタは、復号化された映像イメージを複数の間引きファクタの１つによって間引きするようにプログラム可能であり、複数の間引きファクタの１つにそれぞれ対応する複数グループの係数組を含む。図面の簡単な説明本発明のこれらおよびその他の特徴ならびに利点は、添付図面と関連して行われる以下の詳細な説明から明らかになるであろう。図１は、従来の映像デコーダの高レベルのブロック図である。図２は、本発明の例示的な実施形態によって使用される、ダウン変換システムの高レベルのブロック図である。図３Ａは、入力画素と４：２：０の映像信号用に３：１の間引きを用いて間引きした出力画素とを示す、マクロブロック図である。図３Ｂは、入力画素と４：２：０の映像信号用に２：１の間引きを用いて間引きした出力画素とを示す、画素ブロック図である。図４Ａは、本発明の３：１および２：１の例示的な実施形態のための、サブ画素の位置および対応する予測された画素を示す画素チャートである。図４Ｂは、本発明の例示的な実施形態のための入力マクロブロックの各行に関して実施される、アップサンプリング処理を示すフローチャートである。図５は、ブロック反射フィルタの例示的な実施形態の第１および第２の出力画素値のための乗算対を示す画素チャートである。図６は、縦続接続（cascade）された一次元的なＩＤＣＴとして実行された水平方向および垂直方向の成分を処理する、二次元的なシステムに関するダウン変換用のフィルタの例示的な実行を示すブロック図である。詳細な説明本発明の例示的な実施形態は、ＭＰＥＧ−２規格、特にメインプロファイルハイレベル（ＭＰ＠ＨＬ）およびメインプロファイルメインレベル（ＭＰ＠ＭＬ）のＭＰＥＧ−２規格に従って符号化された従来のＨＤＴＶ信号を復号化し、復号化した信号を、複数のフォーマットのうちの選択された１つを有する受信したＨＤＴＶ信号の解像度よりも低い解像度を有する映像信号として提供する。ダウン変換デコーダ図２は、そのようなＤＣＴフィルタリング動作を用いる、本発明の例示的な一実施形態を含むダウン変換システムのハイレベルブロック図である。ＤＣＴフィルタリング動作は、本発明の実施形態によって使用され得る。図２に示すように、ダウン変換システムは、可変長デコーダ（ＶＬＤ）２１０、ランレングス（Ｒ／Ｌ）デコーダ２１２、逆量子化器２１４、および逆離散コサイン変換（ＩＤＣＴ）プロセッサ２１８を含む。さらに、ダウン変換システムは、符号化された画像のフィルタリングを行うダウン変換フィルタ２１６と、ダウンサンプリングプロセッサ２３２とを含む。ＭＰ＠ＨＬ符号化された入力に関する例示的な実施形態を以下に説明するが、本発明は、任意の同様に符号化された高解像度のイメージビットストリームに関して実行され得る。本発明によるダウン変換システムが使用するアップサンプリングフィルタおよび半画素生成器は、アップサンプリングプロセッサ２２６、半画素生成器２２８を含み、参照フレームメモリ２２２を使用する。ダウン変換システムはまた、動きベクトル（ＭＶ）トランスレータ（translator）２２０と、動きブロック生成器２２４とを含む動き補償プロセッサ２０６を含む。図２のシステムはまた、垂直プログラム可能フィルタ（ＶＰＦ）２８２と水平プログラム可能フィルタ（ＨＺＰＦ）２８４とを有する、表示変換ブロック２８０を含む。表示変換ブロック２８０は、ダウンサンプリングされたイメージを、元のイメージより解像度が低い特定の表示装置での表示用のイメージに変換する。ダウン変換フィルタ２１６は、周波数領域における高解像度の（例えばメインプロファイル、ハイレベルＤＣＴの）係数の低域通過フィルタリングを実施する。ダウンサンプリング処理２３２は、フィルタリングされたメインプロファイル、ハイレベルの画像の間引きによって空間的画素（spatial pixel）を排除して、ＭＰ＠ＨＬ画像を表示するのに必要な解像度よりも低い解像度を有するモニタ上に表示可能な、一組の画素値を作成する。例示的な参照フレームメモリ２２２は、ダウンサンプリングされた画像に対応する解像度を有する、少なくとも１つの予め復号化された参照フレームに対応する空間的画素の値を記憶する。フレーム間符号化のために、ＭＶトランスレータ２２０は、解像度の低下に合わせて、受信した画像の各ブロックに関する動きベクトルをスケール（scale）する。高解像度動きブロック生成器２２４が、参照フレームメモリ２２２によって提供された低解像度動きブロックを受信し、これらの動きブロックをアップサンプリングし、そして必要に応じて半画素補間を実行して、復号化され且つフィルタリングされた異なる画素ブロックに対応する画素位置を含む動きブロックを提供する。図２のダウン変換システムでは、高精細度のイメージではなく、ダウンサンプリングされたイメージが記憶され、それにより参照イメージを記憶するのに必要なメモリのかなりの低下につながることに留意されたい。次に、フレーム間符号化用の本発明のダウン変換システム例の動作を説明する。ＭＰ＠ＨＬのビットストリームは、ＶＬＤ２１０によって受信され、そして復号化される。ＨＤＴＶシステムによって使用されるヘッダ情報に加えて、ＶＬＤ２１０は、各ブロックおよびマクロブロックに対するＤＣＴ係数と、動きベクトル情報とを提供する。ＤＣＴ係数は、Ｒ／Ｌデコーダ２１２においてランレングス復号化され、そして逆量子化器２１４によって逆量子化される。ＤＣＴ係数によって表される受信された映像イメージは高解像度の画像であるので、本発明の例示的な実施形態は、高解像度の映像イメージの間引きの前に、各ブロックのＤＣＴ係数の低域通過フィルタリングを行う。逆量子化器２１４は、ＩＤＣＴプロセッサ２１８に提供する前に、所定のフィルタ係数値を有するＤＣＴ係数を重みづけすることによって周波数領域における低域通過フィルタリングを実行するＤＣＴフィルタ２１６にＤＣＴ係数を提供する。本発明の例示的な一実施形態に関して、このフィルタ動作は、ブロックごとに実行される。ＩＤＣＴプロセッサ２１８は、フィルタリングされたＤＣＴ係数の逆離散コサイン変換を実行することによって、空間的画素のサンプル値を提供する。ダウンサンプリングプロセッサ２３２は、所定の間引き率に従って空間的画素のサンプル値を除去することによって、画像サンプルのサイズを減少させる。それゆえ、低解像度の画像の記憶には、高解像度のＭＰ＠ＨＬ画像を記憶するために必要なフレームメモリと比較して小さいフレームメモリを使用する。次に、符号化規格の予測されたフレームに関する、本発明のダウン変換システムの例示的な実施形態の動作を説明する。この実施例では、現在受信されているイメージＤＣＴ係数は、予測されたイメージマクロブロックの残余成分のＤＣＴ係数を表す。記載された例示的な実施形態では、メモリ内に記憶された前フレームの低解像度の参照画像は、高解像度の予測されたフレーム（ＭＰ＠ＨＬ）と同じ数の画素を有していないので、予測されたフレームに関する動きベクトルの水平方向の成分がスケールされる。図２を参照すると、ＶＬＤ２１０によって提供されるＭＰ＠ＨＬビットストリームの動きベクトルは、ＭＶトランスレータ２２０に提供される。それぞれの動きベクトルは、ＭＶトランスレータ２２０によってスケール（scale）され、参照フレームメモリ２２２内に記憶された前イメージの参照フレームの適切な予測ブロックを参照する。引き出されたブロックのサイズ（画素値の数）は、ＩＤＣＴプロセッサ２１８によって提供されるブロックより小さい。その結果、引き出されたブロックはアップサンプリングされ、ブロックが加算ネットワーク２３０によって組み合わされる前に、ＩＤＣＴプロセッサ２１８によって提供される、残余ブロックと同じ数の画素を有する予測ブロックを形成する。予測ブロックは、ＭＶトランスレータ２２０からの制御信号に応答するアップサンプリングプロセッサ２２６によってアップサンプリングされ、画素の元の高解像度のブロックに対応するブロックを生成し、次いで、（半画素生成器２２８においてアップサンプリングされた予測ブロックのための動きベクトルによって指示された場合に）半画素値を生成して予測ブロックの適切な空間的な整列を確実する。アップサンプリングされ、整列された予測ブロックは、加算ネットワーク２３０において現在のフィルタリングされたブロックに加えられる。このブロックは、本実施例では、予測ブロックからの解像度が低下した残余成分である。全ての処理は、マクロブロックごとに行われる。動き補償処理が現在の高解像度のマクロブロックに関して完了した後、再構成されたマクロブロックは、ダウンサンプリングプロセッサ２３２によって間引きされる。この処理は、イメージの解像度を低下させるのではなく、単に低解像度のフィルタリングされたイメージから余分な画素を除去する。低解像度フォーマットのためのダウンサンプリングダウンサンプリングは、図２のダウンサンプリング処理２３２によって実現されて、ダウン変換されたイメージの画素の数を減少させる。図３Ａは、３：１の間引きに関して４：２：０の信号フォーマット用の入力画素および間引きされた出力画素を示す。図３Ｂは、４：２：０のクロミナンスタイプ２：１の間引きの入力画素および間引きされた出力画素を示す。表１は、図３Ａおよび図３Ｂの輝度画素およびクロミナンス画素についての凡例識別表示である。図３Ａおよび図３Ｂのダウン変換前後の画素位置は、それぞれインタレースされた（３：１の間引き）事例およびプログレッシブの（２：１の間引き）事例である。インターレースされたイメージのダウンサンプリングに関して、このダウンサンプリングは、１９２０×１０８０画素のイメージから６４０×１０８０画素の水平方向に圧縮したイメージへの変換であり得、３画素ごとに２つを水平軸上で間引きする。例示的な３：１の間引きに関して、ダウン変換処理の後には、３つの異なるマクロブロックのタイプが存在する。図３Ａでは、元のマクロブロックをＭＢ０、ＭＢ１、およびＭＢ２によって表した。ＭＢ０中のダウンサンプリングされた輝度画素は元のマクロブロック中の第１の画素から始まるが、ＭＢ１およびＭＢ２では、ダウンサンプリングされた画素は、第３および第２の画素から始まる。各マクロブロック中のダウンサンプリングされた画素の数も、同じではない。ＭＢ０では６つのダウンサンプリングされた画素が水平方向にあるが、ＭＢ１およびＭＢ２では５つのダウンサンプリングされた画素が存在する。これら３つのＭＢのタイプは反復しているので、モジュロ３の演算が適用される。表２は、各入力マクロブロックＭＢ０、ＭＢ１、およびＭＢ２に関して、ダウンサンプリング画素の数およびオフセットをまとめている。プログレッシブフォーマットイメージのダウンサンプリングに関して、輝度信号が２サンプルごとに水平方向にサブサンプリングされる。クロミナンス信号に関して、ダウンサンプリングされた画素は、元のイメージの画素位置の半画素下方の空間的な位置を有する。ダウン変換に関するマクロブロック予測例示的なダウン変換処理に関して、前イメージの参照フレームのサイズが水平方向に縮小されるので、これらのフレームを指す受信された動きベクトルも、変換率に従って並進され得る。輝度ブロックに関する水平方向における動き並進を以下に説明する。当業者は、所望に応じて以下の説明を垂直方向における動き並進に容易に拡張し得る。元のイメージフレームにおける現在のマクロブロックアドレスをｘおよびｙ、水平方向の間引きファクタをＤｘ、および元のイメージフレームの半画素の水平方向の動きベクトルをｍｖ_xで表すと、半画素単位でＸＨで表される、元のイメージフレームにおける動きブロックの上部左の画素のアドレスは、（１）によって与えられる：動きブロックに対応する画素は、ダウンサンプリングされたイメージにおいてスタートし、そして式（２）を用いて決定され得るｘ^*とｙ^*とで表されるアドレスを有する。式（２）の除算は、切り捨てを用いる整数の除算である。例示的なフィルタ２１６およびダウンサンプリングプロセッサ２３２は、イメージの水平方向の成分のみを減少させるので、動きベクトルの垂直方向の成分は影響されない。クロミナンスデータに関しては、動きベクトルは、元の画像における輝度動きベクトルの２分の１である。それゆえ、クロミナンス動きベクトルの並進に関する定義もまた、２つの式（１）および（２）を使用し得る。動き予測は、二段階の処理によって行われる。まず最初に、元のイメージフレームにおける画素精度動き推定(pixel accuracy motion estimation)が、図２Ａおよび図２Ｂのアップサンプリングプロセッサ２２６において、ダウンサンプリングされたイメージフレームをアップサンプリングすることによって達成され得、次いで、半画素生成器２２８が、最も近い画素値を平均することによって、半画素補間を実施する。参照イメージデータは、ＩＤＣＴプロセッサ２１８によって与えられる出力データに加えられる。加算ネットワーク(summing network)２３０の出力値は高解像度のフォーマットと適合する画素の数を有するイメージに対応するので、これらの値は、より低い解像度を有するディスプレイ上での表示のためにダウンサンプリングされ得る。ダウンサンプリングプロセッサ２３２におけるダウンサンプリングはイメージフレームのサブサンプリングに実質的に相当するが、調整は、変換率に基づいて行われ得る。例えば、３：１のダウンサンプリングの場合、水平方向にダウンサンプリングされた画素の数は、それぞれの入力マクロブロックにつき６個または５個であり、最初にダウンサンプリングされた画素が、必ずしも入力マクロブロックにおける最初の画素ではない。ダウンサンプリングされたイメージから正しい動き予測ブロックを得た後、アップサンプリングを用いて高解像度の画像における対応する予測ブロックを得る。その結果、動きブロック予測におけるサブ画素の精度は、ダウンサンプリングされた画像において望ましい。例えば、３：１の間引きを用いると、ダウン変換された画像の動き予測において、サブ画素の精度は、１／３（または１／６）であることが望ましい。ダウンサンプリングされた動きブロックに加えて、動きベクトルが必要とする最初の画素であるサブ画素が決定される。次いで、後続のサブ画素の位置が、以下に説明するように、モジュロ算術を用いて決定される。サブ画素の位置は、式（３）において与えられるように、ｘ_sで表される：ここで、「％」は、モジュロ除算を表す。例えば、ｘ_sの範囲は、３：１のアップサンプリングに対しては０、１、２であり、２：１のアップサンプリングに対しては０、１である。図４Ａは、（３：１および２：１の実施例に対する）サブ画素の位置と、対応する１７個の予測画素とを示し、そして表３は、図４Ａの凡例を与える。前述のように、アップサンプリングフィルタはアップサンプリング多相フィルタであり得、そして表４は、これらのアップサンプリング多相補間フィルタの特徴を与える。次の２つの表、表５および表６は、例として３：１および２：１のアップサンプリング多相フィルタに関する多相フィルタ係数を示す。定点表示では、表５および表６の括弧内の数字は、対応する倍精度数が左にある、９ビットでの２の補数表示である。ダウンサンプリングされた参照イメージフレームにおける動き予測ブロックのサブ画素の位置に依存して、多相補間フィルタの１つの対応する位相が用いられる。また、例示的な実施形態に関して、左右のさらなる画素が、元の画素フレームに１７個の水平画素を補間するために用いられる。例えば、３：１の間引きの場合、最大６個の水平方向にダウンサンプリングされた画素が、各入力マクロブロック用に作成される。しかし、アップサンプリングの際には、アップサンプリングフィルタが動作するためにフィルタの境界の外側により多くの左画素および右画素を必要とするので、９個の水平画素が、対応する動き予測ブロックの値を作成するために用いられる。例示的な実施形態が半画素動き推定を用いるので、最も近い２つの画素サンプルの平均値である１６個の半画素を得るために、１７個の画素が必要である。半画素補間は、半画素解像度を有する画素のブロックを提供する補間動作を実施する。表７Ａは、サブ画素位置と多相フィルタ要素との間の例示的なマッピングを示し、且つアップサンプリング処理に関して、アップサンプリングされたブロックにおいて画素に加えて必要な左画素の数を示す。図４Ｂは、入力マクロブロックの各列に関して実施されるアップサンプリング処理の要約である。最初に、工程３１０では、処理される入力イメージフレームのブロックの動きベクトルが受信される。工程３１２では、動きベクトルが、メモリ内のダウンサンプリングされた参照フレームに対応するように並進される。工程３１４では、スケールされた動きベクトルが、メモリ１３０に記憶された参照イメージブロックの座標を計算するために使用される。工程３１６では、ブロックに対してサブ画素の点が決定され、次いで、アップサンプリング用の最初の多相フィルタの値が、工程３１８において決定される。次いで、記憶されたダウンサンプリングされた参照フレームの参照ブロック用の識別された画素が、工程３２０でメモリ１３０から引き出される。フィルタリング工程３２４における第１の通過の前に、フィルタのレジスタが工程３２２において初期化され得る。工程３２２は、この例示的な実施形態に関しては、初期の３個または５個の画素値を用いてレジスタをロードする工程を含む。次いで、フィルタリング工程３２４の後に、工程３２６で、工程は、全ての画素が処理されたかどうかを決定する。この例示的な実施形態に関しては、画素は１７個である。全ての画素が処理されている場合には、アップサンプリングされたブロックが完成する。例示的な実施形態に関しては、１７×９の画素ブロックが上部または下部動きブロックとして戻される。全ての画素が処理されていない場合には、位相は、工程３２８で更新され、位相の値が０であるか点検される。位相が０である場合には、レジスタは、画素値の次の組用に更新される。工程３２８における位相の更新は、位相値を、例示的な３：１のアップサンプリングのためのフィルタループ期間に対しては０、１、および２に更新し、そして２：１のアップサンプリングのためのフィルタループ期間に対しては０および１に更新する。最も左の画素がイメージ画像の境界の外側にある場合、イメージ画像における最初の画素値が繰り返され得る。例示的な実施形態に関して、アップサンプルフィルタリング動作は、以下のガイドラインに従って実施され得る。まず、幾つかのファクタが使用され得る。１）半画素動き予測動作が２つの完全な画素を平均し、そして対応するフィルタ係数も平均されて半画素フィルタ係数を提供する。２）フィルタタップの数に等しい固定された数、例えば５が、特定のダウン変換に拘わらず使用され得る。３）５つの平行な入力ポートが、前後上下の各ブロックに対してアップサンプリングブロックに提供され得る。５つの入力ポートは、対応するフィルタ係数と組み合わされて１つの出力画素を提供する、各参照ブロックに対するそれぞれのクロック遷移のための入力画素ＬＷＲ（０）〜ＬＷＲ（４）を備えている。４）個々の画素ＬＷＲ（０）〜ＬＷＲ（４）と組み合わされたフィルタ係数ｈ（０）〜ｈ（４）の合計は、サンプリングブロックの出力画素を提供する。乗算の順序は通常のフィルタ係数の順序と逆であるので、フィルタ係数は逆転されていることが望ましい。また、幾つかの係数をゼロにすることが望ましい。表７Ｂは３：１のアップサンプリングフィルタに対する例示的な係数を与え、そして表７Ｃは２：１のアップサンプリングフィルタに対する例示的な係数を与える。表７Ｂおよび７Ｃでは、ｘ^*は、式（１）および（２）で定義されたダウンサンプリングされた画素の位置であり、そしてサブ画素の位置ｘ_sは、式（３’）のように、式（３）から再定義される。例示的な実施のクロミナンス値に関して、ＸＨが２によってスケールされ（sc aled by two）、式（１）、（２）および（３’）が適用される。一実施形態では、位相および半画素の情報（２ビットおよび１ビットに各々符号化される）が、図２Ｂの動き補償プロセッサ２２０および半画素生成器２２８によって使用される。例えば、参照ブロック画素は、まずＵ個の画素として、次にはＶ個の画素、最後にはＹ個の画素として提供される。Ｕ個およびＶ個の画素は４０サイクルに亘ってクロックされ、Ｙ個の画素は１４４サイクルに亘ってクロックされる。参照ブロックは、３：１の間引きに対しては、最初の５個の画素を提供し、これを二回繰り返し、一回ごとにデータをシフトし、一列を完成させるまで繰り返すことによって、提供される。二回ではなく一回繰り返すこと以外は同じ方法が、２：１の間引きに対して用いられ得る。間引きが動き補償と半画素生成とからの出力と残りの値との加算に続いて行われるので、入力画素は繰り返される。その結果、３：１の間引きに関しては、３つの画素のうち２つが削除され、そしてこれらの画素値に対する見かけの画素は重要ではない。ＤＣＴ係数の重みづけを用いるＤＣＴ領域フィルタリング本発明の例示的な実施形態は、空間領域における低域通過フィルタに代わる、周波数領域においてＤＣＴ係数を処理する、図２のＤＣＴフィルタ２１６を含む。ＭＰＥＧまたはＪＰＥＧ規格によって意図されるような、ＤＣＴ符号化された画像用の空間領域フィルタに代わるＤＣＴ領域フィルタには、幾つかの利点がある。最も注目すべきは、ＤＣＴ領域フィルタは、計算上より効率的であり、且つ空間的な画素サンプル値に適用された空間領域フィルタより必要とするハードウェアが少ないことである。例えば、Ｎタップを有する空間フィルタは、各空間画素サンプル値に対してＮと同数の追加の乗算および加算を使用し得る。これは、ＤＣＴ領域フィルタにおける唯一のさらなる乗算と比較している。最も単純なＤＣＴ領域フィルタは、高周波ＤＣＴ係数の切り捨てである。しかし、高周波ＤＣＴ係数の切り捨ては、スムーズなフィルタリングにつながらず、且つ復号化画像の周縁部付近の「リンギング」のような欠点を有する。本発明の例示的な実施形態のＤＣＴ領域低域通過フィルタは、空間領域におけるブロック反射フィルタに由来する。ブロック反射フィルタに関するフィルタ係数値は、例えば、空間領域における数値分析によって最適化され、次いで、これらの値はＤＣＴ領域フィルタ係数に変換される。この例示的な実施形態は、垂直方向のみにおけるＤＣＴ領域フィルタリングを示すが、ＤＣＴ領域フィルタリングは、水平方向または垂直方向のいずれか、または水平フィルタと垂直フィルタとを組み合わせることによって両方において行うことが可能である。ＤＣＴ領域フィルタ係数の誘導本発明の１つの例示的なフィルタは、２つの制約から誘導される。第１には、フィルタが、画像の前のブロックからの情報を使用せずに、イメージの各ブロックに対してブロックごとにイメージデータを処理することであり、第２の制約は、フィルタが、境界の画素値を処理するときに発生するブロック境界の視感度を低下させることである。第１の制約によると、ＤＣＴベースのＭＰＥＧイメージシーケンスの圧縮では、ＮＸＮのＤＣＴ係数は、ＮＸＮの空間的な画素値を生じる。その結果、本発明の例示的な実施形態は、受信した画像の現在のブロックのみを処理するＤＣＴ領域フィルタを実行する。第２の制約によると、フィルタが単に空間的な周波数係数のブロックに適用される場合には、フィルタの残りを満たすのに不十分な数の境界を越える空間的な画素値によって形成される、ブロックの境界におけるフィルタ動作の遷移がある。すなわち、Ｎ−タップフィルタはわずかにＮ／２タップの値しか有さないので、ブロックの周縁部における係数値は適切にフィルタリングされることが不可能であり、残りの値はブロックの境界を越える。欠如している画素値を供給する幾つかの方法が存在する。１）境界を越える所定の一定な画素値を繰り返す。２）境界の画素値として同じ画素値を繰り返す。３）ブロックの画素値を反射して、処理されたブロックに隣接する画素値の前のブロックおよび後続のブロックをシミュレートする。前のブロックまたは後続のブロックの内容に以前の情報がなければ、画素値を繰り返す反射法は、好適な方法であると見なされる。それゆえ、本発明の一実施形態は、フィルタ用にこの反射法を用いており、「ブロック反射フィルタ」と呼ばれる。低域通過フィルタ８がブロックの空間的な画素サンプル値を入力する水平ブロック反射フィルタを実施する、例示的な実施形態を以下に説明する。入力ブロックのサイズが画素サンプル値の８×８のブロック行列であれば、ブロック反射フィルタを８個の画素サンプル値から成るそれぞれの列に適用することによって、水平フィルタリングを行うことが可能である。フィルタリング処理は、フィルタ係数をブロック行列に列状に適用することによって実施され得ること、または多次元的なフィルタリングは、ブロック行列の行をフィルタリングし、次いで列をフィルタリングすることによって達成され得ることは、当業者に明らかである。図５は、入力画素値ｘ₀〜ｘ₇（集合Ｘ０）と、タップ値ｈ₀〜ｈ₁₄によって表される、１５タップ空間フィルタを使用する８個の入力画素用の例示的なミラーフィルタに関するフィルタタップとの間の例示的な対応を示す。入力画素は、集合Ｘ１として示す集合Ｘ０の左側と、集合Ｘ２として示す集合Ｘ０の右側で反射される。フィルタの出力画素値は、対応する画素サンプル値とのフィルタタップ係数値の１５回の乗算の合計である。図５は、第１および第２の出力画素値に関する乗算対を示す。空間領域におけるブロック反射フィルタは、ＤＣＴ領域フィルタと等価なことを以下に示す。反射フィルタリングは、２Ｎの点（Ｎ＝８）を含む循環たたみ込み（circular convolution）と関連する。ベクトルｘ’を式（４）に示すように定義する。Ｎ＝８である場合には、フィルタタップの値ｈ₀〜ｈ₁₄を再配列し、再配列された値をｈ’によって表すと、ゆえに、反射フィルタリングされた出力ｙ（ｎ）は、式（５）によって与えられるｘ'（ｎ）とｈ'（ｎ）との循環たたみ込みである。これは、式（６）と等価である。ここで、ｘ'［ｎ−ｋ］は、ｘ'（ｎ）の循環モジュロであり、式（５）に示す空間領域における循環たたみ込みは、離散フーリエ変換（ＤＦＴ）領域におけるスカラ乗算に一致する。Ｙ（ｋ）をｙ（ｎ）のＤＦＴとして定義すると、式（５）は、ＤＦＴ領域における式（７）になる。ここで、Ｘ'（ｋ）およびＨ'（ｋ）は、各々ｘ'（ｎ）およびｈ'（ｎ）のＤＦＴである。式（４）〜（７）は、２Ｎ未満の多数のタップを有するフィルタに有効である。さらに、フィルタは、奇数のタップを有し、これらの制約Ｈ'（ｋ）が実数である、対称性のフィルタに限定される。それゆえ、Ｘ'（ｋ）、すなわちｘ'（ｎ）のＤＦＴは、フィルタ動作を実施するために、空間領域における２Ｎ乗算および２Ｎ加算演算の代わりに、ＤＦＴ周波数領域内の実数Ｈ'（ｋ）を用いて重みづけすることが可能である。Ｘ'（ｋ）の値は、元のＮ点ｘ（ｎ）のＤＣＴ係数に非常に密接に関係している。なぜなら、ｘ（ｎ）のＮ点ＤＣＴは、ｘ（ｎ）とその反射ｘ（２Ｎ−１−ｎ）から成る結合数列である、ｘ'（ｎ）の２Ｎ点ＤＦＴによって得られるからである。対称性のフィルタを前提とすることにより、空間フィルタＨ'（ｋ）のＤＦＴ係数の起源を以下に説明する。対称性フィルタは、ｈ（ｎ）＝ｈ（２Ｎ−２−ｎ）であり、ｈ'（ｎ）＝ｈ'（２Ｎ−ｎ）およびｈ'（Ｎ）＝０と同等である、奇数のタップ２Ｎ−１を有する。Ｈ'（ｋ）を式（８）のように定義する。ここで、Ｗ_2N ^kn＝exp｛−２πｋｎ／（２Ｎ）｝であり、Ｈ'（ｋ）＝Ｈ'（２Ｎ−ｋ）である。本願発明者は、ｘ'（ｎ）の２Ｎ点ＤＦＴすなわちＸ'（ｋ）は、式（９）に示すように、そのＤＣＴ係数によって表現しうると判断した。ｘ（ｎ）のＤＣＴ係数Ｃ（ｋ）は、式（１０）によって与えられる。他の場合には、Ｃ（ｋ）＝０である。Ｘ'（ｋ）の値すなわちＸ'（ｎ）のＤＦＴ係数は、Ｃ（ｋ）すなわち式（１１）の行列によるｘ'（ｎ）のＤＣＴ係数によって表すことができる。元の空間的な画素サンプル値ｘ（ｎ）もまた、式（１２）に示すＩＤＣＴ（逆離散コサイン変換）によって得られる。ここで、ｋ＝０のときα（ｋ）＝１／２であり、他の場合にはα（ｋ）＝１である。０＜＝ｎ＜＝Ｎ−１のときのｙ（ｎ）の値は、式（１３）で与えられるＸ'（ｋ）Ｈ'（ｋ）のＩＤＦＴによって得られる。式（１３）の値ｙ（ｎ）は、Ｃ（ｋ）Ｈ'（ｋ）のＩＤＣＴの空間的な値である。それゆえ、空間フィルタリングを、イメージブロックを表す入力周波数領域係数のＤＣＴ重みづけによってＨ'（ｋ）と置き換えることが可能であり、それにより重みづけされた値のＩＤＣＴを実施して、フィルタリングされた画素値を空間領域において再構成する。本発明の例示的なブロック反射フィルタリングの一実施形態は、以下の工程によるものとして得られる。１）２Ｎタップ未満の奇数のタップを有する、一次低域通過対称フィルタを選択する。２）ゼロを埋め込むことによって、フィルタ係数を２Ｎの値まで増大させる。３）元の中間係数が左循環シフトによって０番目の位置まで進むように、フィルタ係数を配列する。４）再配列されたフィルタ係数のＤＦＴ係数を決定する。５）ＤＣＴ係数をフィルタの実数のＤＦＴ係数と乗算する。そして６）フィルタリングされたＤＣＴ係数の逆離散コサイン変換（ＩＤＣＴ）を実施して、間引きのために用意される低域通過フィルタリングされた画素を提供する。低域通過フィルタのカットオフ周波数を、間引き率によって決定する。例示的な位置実施形態に関して、カットオフ周波数は、３：１の間引きに関してはπ／３であり、２：１の間引きに関してはπ／２である。ここで、πはサンプリング周波数の２分の１に相当する。逆量子化器およびブロックのＩＤＣＴ処理は従来技術のデコーダに既に存在しているので、ＭＰＥＧデコーダおよびＪＰＥＧデコーダのＤＣＴ領域フィルタにより、必要なメモリを減少させることができる。ＤＣＴ領域フィルタによってＤＣＴ係数の追加のスカラ乗算のみが必要となる。それゆえ、別個のＤＣＴ領域フィルタブロック乗算は、特定の実装において物理的に必要とされない。本発明の別の実施形態は、ＤＣＴ領域フィルタ係数をＩＤＣＴ処理係数と単に組み合わせ、組み合わせた係数をＩＤＣＴ動作に適用するだけである。本発明の例示的なダウン変換システムに関して、ＤＣＴ係数の水平フィルタリングおよび間引きが考慮された。以下は、２つの例示的な実行である。：１．１９２０Ｈ×１０８０Ｖのインターレースから６４０×１０８０インターレースへの変換（水平３：１間引き）。２．１２８０Ｈ×７２０Ｖのプログレッシブから６４０×７２０プログレッシブへの変換（水平２：１間引き）表８は、ＤＣＴブロック反射フィルタ（重みづけ）係数を示す。表８において、括弧内の数字は、１０ビットの２の補数表示である。表８の「^*」は、１０ビットの２の補数表示に関して領域外の値を示す。なぜなら、値は１より大きいからである。しかし、当業者には公知のように、ブロックの列係数と「^*」によって示される値の乗算は、フィルタの値の分数部の値（差）を掛けた係数に係数値を加えることによって、容易に実施され得る。これらの水平ＤＣＴフィルタ係数は、符号化映像イメージのＤＣＴ係数の８× ８のブロック内の各列を重みづけする。例えば、列０のＤＣＴ係数は、Ｈ［０］によって重みづけされ、そして第１列は、Ｈ［１］等によって重みづけされる。上記の説明は、一次元的なＤＣＴを用いる水平フィルタの実行を示す。デジタル信号処理技術において公知のように、そのような処理を二次元的なシステムに拡張することが可能である。式（１２）は一次元の場合のＩＤＣＴを示し、その結果、式（１２'）はより普遍的な二次元ＩＤＣＴを与える。ここで、ｆ（ｘ，ｙ）は空間領域の表示であり、ｘおよびｙは、サンプル領域内の空間座標であり、そしてｕおよびｖは変換領域内の座標である。係数Ｃ（ｕ）およびＣ（ｖ）がコサイン項（terms）の値であることは公知であるので、変換領域係数のみが、処理アルゴリズムのために提供される必要がある。二次元的なシステムに関して、ここでは入力シーケンスをそれぞれが変換領域内の個々の座標を表す数値の行列として表し、この行列は、周期がＭの列シーケンスにおいて周期的なシーケンスと、周期がＮの行シーケンスにおいて周期的なシーケンスとを有し、ＮおよびＭは整数である。二次元ＤＣＴは、入力シーケンスの列上で実施される一次元ＤＣＴとして、次いで、ＤＣＴ処理された入力シーケンスの行上で実施される第２の一次元ＤＣＴとして実施され得る。また、当該分野において公知のように、二次元ＩＤＣＴは、単一の処理として実行され得る。図６は、縦続接続された一次元ＩＤＣＴとして実行された水平および垂直な成分を処理する、二次元システムに関するダウン変換用のフィルタの例示的な実施を示す。図６に示すように、図２のＤＣＴフィルタマスク２１６とＩＤＣＴ２１８とは、垂直ＤＣＴフィルタ５３０および垂直ＩＤＣＴ５４０を含む垂直プロセッサ５１０と、垂直成分用に実行されたと同様の水平ＤＣＴフィルタおよび水平ＩＤＣＴを含む水平プロセッサ５２０とによって実行され得る。フィルタリングおよびＩＤＣＴ処理は線形であるので、これらの処理を実施する順序は、再編成することが可能である（例えば、水平および垂直ＤＣＴフィルタリングを最初にして、２番目に水平および垂直ＩＤＣＴとするか、またはその逆、すなわち、垂直プロセッサ５２０を最初にしてそのあと水平プロセッサ５１０（２番目）とする）。図６に示す特定の実行では、垂直プロセッサ５１０の後にブロック転置演算子５５０が続き、垂直プロセッサによって提供された垂直処理された値のブロックの行および列を入れ替える。この演算は、水平プロセッサ５２０によって処理するブロックを準備することによって、計算の効率を増大させるために使用され得る。符号化された映像ブロック、例えば行列値の８×８のブロックは、垂直ＤＣＴフィルタ５３０によって受信され、垂直ＤＣＴフィルタ５３０が所望の垂直方向の間引きに対応するＤＣＴフィルタ値によって各行の項目を重みづけする。次に、垂直ＩＤＣＴ５４０が、ブロックの垂直成分に対して逆ＤＣＴを実施する。前述のように、両方の処理は単に行列の乗算および加算を実施するに過ぎないので、ＤＣＴＬＰＦ係数が、行列の乗算および加算演算用の垂直ＤＣＴ係数と組み合わされ得る。次いで、垂直プロセッサ５１０が、垂直処理されたブロックを転置演算子５５０に提供し、転置演算子５５０が垂直処理された値を転置したブロックを水平プロセッサ５２０に提供する。ＩＤＣＴ動作が行または列のみによって行われるのでない限り、転置演算子５５０は必要ない。水平プロセッサ５２０が、所望の水平フィルタリングに対応するＤＣＴフィルタ値によってブロックの各列のエントリの重みづけを実施し、次いで、ブロックの水平成分に対して逆ＤＣＴを実施する。式（１２'）を参照して説明したように、変換領域内の係数のみが処理アルゴリズムに提供され、演算は線形なのでこれらの係数のみについて数学的な演算を行うことができる。ＩＤＣＴの演算は、式（１２'）から既に明らかなように、複数の積の和を形成する。その結果、ハードウェアの実装は、ＲＯＭ（図示せず）などのメモリと、ＲＯＭからこれらの係数および入力変換座標の行列から選択された係数を受け取る、乗算および加算回路群（図示せず）とに記憶される公知の係数を必要とする。より進歩したシステムに関して、数学的な演算の順序が、複数の積の和の実行からビット−直列（bit-serial）の実行に変換するために、分散演算（distributed arithmetic）に従って改変される場合には、ＲＯＭ−アキュムレータ法が用いられ得る。そのような技法は、例えば、Stanley A．White の、Applications of Distributed Arithmetic to Digital Signal Processing: Atutorial Review，IEEE ASSP Magazine，July，1989に説明されており、計算において対称性を利用して、積の和集合の実行のゲート総数を減少させる。本発明の代替的な実施形態では、ＤＣＴフィルタ動作は、逆ＤＣＴ（ＩＤＣＴ）動作と組み合わされ得る。そのような実施形態に関しては、フィルタリングおよび逆変換動作は線形なので、フィルタ係数は、ＩＤＣＴの係数と組み合わされて改変ＩＤＣＴを形成し得る。当該分野において公知のように、改変ＩＤＣＴおよびそれ故に組み合わされたＩＤＣＴおよびＤＣＴダウン変換フィルタリングは、単純なＩＤＣＴ動作のハードウェアの実行と同様のハードウェアの実行を通じて実施され得る。本発明の例示的な実施形態を本明細書に示し且つ説明してきたが、そのような実施形態は例証のためにのみ提供されることが理解されるであろう。当業者は、多数の改変、変更、および代用を本発明の精神から逸脱することなく想到するであろう。従って、添付した請求項は、そのような全ての改変を本発明の範囲内にあるとして網羅する。

───────────────────────────────────────────────────── フロントページの続き (72)発明者メイヤー，エドウィンロバートアメリカ合衆国ペンシルバニア 19020, ベンサレム，ネシャミニイドライブ 1460 (72)発明者穎川廉アメリカ合衆国ニュージャージー 08540，プリンストン，サウスバロウプレイス 138

Claims

【特許請求の範囲】１．映像イメージを表すデジタル符号化された映像信号を復号化し、該復号化された信号を間引きしてサブサンプリングされたイメージ信号を生成するデジタル映像信号ダウン変換システムのためのアップサンプリングフィルタ回路であって、該サブサンプリングされたイメージ信号は、後に受信される符号化されたイメージ信号を復号化する際に参照イメージデータとして使用するために記憶され、該後に受信される符号化されたイメージ信号は、以前に復号化されたイメージに対する差分絵素（画素）値として符号化され、複数のプログラム可能係数値を有するプログラム可能フィルタと、異なるサブサンプリング相にそれぞれ対応する複数のフィルタ係数組を保持する係数メモリと、該符号化されたイメージ信号から動きベクトルを受信し、該受信した動きベクトルを処理して該記憶されたイメージ内の所望のセグメントを位置特定し、該記憶されたサブサンプリングされたイメージ信号から該所望のセグメントを取り出すイメージアクセス回路と、該メモリアクセス回路によって提供される位置情報から該所望のセグメントの該サブサンプリング相を決定し、該決定されたサブサンプリング相に対応する該係数組を用いて該プログラム可能フィルタをプログラムする制御回路と、を備え、該プログラム可能フィルタは、該取り出した所望のセグメントをフィルタリングして、イメージ画素位置の該復号化された差分イメージデータに対応する参照イメージデータを提供する、アップサンプリングフィルタ回路。２．前記符号化された映像信号内の前記動きベクトルは、１つの画素位置の半分の解像度を有する該所望のセグメントの位置を規定し、前記複数の係数組は２Ｎ個の係数組を含み、Ｎは、前記サブサンプリングされたイメージを生成するために前記復号化されたイメージに適用される間引きファクタであり、各係数組は、サブサンプリング相および半画素位置の異なる組合せに対応し、前記制御回路は、前記メモリアクセス回路によって提供される前記位置情報および該動きベクトルからの該半画素位置から、該所望のセグメントの該サブサンプリング相を決定し、該決定されたサンプリング相および半画素位置に対応する該係数組を用いて前記プログラム可能フィルタをプログラムする、請求項１に記載のアップサンプリングフィルタ回路。３．前記符号化された映像信号内の前記動きベクトルは、１つの画素位置の半分の解像度を有する前記所望のセグメントの位置を規定し、該動きベクトルに応答する線形補間器であって、前記フィルタリングされた所望のセグメント内の隣接する画素を選択的に平均化し、これにより、該フィルタリングされた所望のセグメントの前記画素値から半画素位置だけずれた出力画素値を生成する線形補間器を前記フィルタがさらに含む、請求項１に記載のアップサンプリングフィルタ回路。４．前記映像信号ダウン変換システムは、複数の間引きファクタの１つによって前記復号化された映像信号を間引きするように構成され、前記フィルタは、複数の間引きファクタの１つによって該復号化された映像イメージを間引きするようにプログラム可能であり、前記係数メモリは、該複数の間引きファクタの１つにそれぞれ対応する複数グループの係数組を保持し、前記制御回路は、該間引きファクタおよび前記メモリアクセス回路によって提供される前記位置情報に応答して、該間引きファクタおよび決定されたサンプリング相に対応する該係数組を用いて該プログラム可能フィルタをプログラムする、請求項１に記載のアップサンプリングフィルタ回路。５．前記間引きされた映像信号は水平方向においてのみ間引きされ、前記プログラム可能フィルタは一次元有限インパルス応答（ＦＩＲ）フィルタである、請求項４に記載のアップサンプリングフィルタ回路。６．映像イメージを表すデジタル符号化された映像信号を復号化し、該復号化された信号を間引きしてサブサンプリングされたイメージ信号を生成するデジタル映像信号ダウン変換システムのためのアップサンプリングフィルタ回路であって、該サブサンプリングされたイメージ信号は、後に受信される符号化されたイメージ信号を復号化する際に参照イメージデータとして使用するために記憶され、該後に受信される符号化されたイメージ信号は、以前に復号化されたイメージに対する差分絵素（画素）値として符号化され、複数のプログラム可能係数値を有するプログラム可能フィルタと、該符号化されたイメージ信号から、１画素位置の半分の解像度を有する所望のセグメントの位置を規定する動きベクトルを受信し、該受信した動きベクトルを処理して該記憶されたイメージ内の所望のセグメントを位置特定し、該記憶されたサブサンプリングされたイメージ信号から該所望のセグメントを取り出すイメージアクセス回路と、サブサンプリング相および半画素位置の異なる組合せにそれぞれ対応する複数のフィルタ係数組を保持する係数メモリと、該メモリアクセス回路によって提供される位置情報から該所望のセグメントの該サブサンプリング相を決定し、該決定されたサブサンプリング相および半画素位置に対応する該係数組を用いて該プログラム可能フィルタをプログラムする制御回路と、を備え、該プログラム可能フィルタは、該取り出した所望のセグメントをフィルタリングして、イメージ画素位置の該復号化された差分イメージデータに対応する参照イメージデータを提供する、アップサンプリングフィルタ回路。７．前記映像信号ダウン変換システムは、複数の間引きファクタの１つによって前記復号化された映像信号を間引きするように構成され、前記フィルタは、該間引きファクタの１つにそれぞれ対応する複数のアップサンプリングファクタの１つによって前記復号化された映像イメージをアップサンプリングするようにプログラム可能であり、前記係数メモリは、該複数の間引きファクタの１つにそれぞれ対応する複数グループの係数組を保持し、前記制御回路は、前記間引きファクタおよび前記メモリアクセス回路によって提供される前記位置情報に応答して、該間引きファクタおよび決定されたサンプリング相に対応する該係数組を用いて該プログラム可能フィルタをプログラムする、請求項５に記載のアップサンプリングフィルタ回路。８．映像イメージを表すデジタル符号化された映像信号を復号化し、該復号化された信号を間引きして記憶されたサブサンプリングされたイメージを生成するデジタル映像信号ダウン変換システムにおいて使用される、記憶されたサブサンプリングされたデジタルイメージを表すデータをアップサンプリングする方法であって、該サブサンプリングされたイメージは、後に受信される符号化されたイメージ信号を復号化する際に参照イメージデータとして使用するために記憶され、該後に受信される符号化されたイメージ信号は、該復号化されたイメージをサブサンプリングする前に、以前に復号化されたイメージに対する差分絵素（画素）値として符号化され、該符号化されたイメージ信号から動きベクトルを受信するステップと、該受信した動きベクトルを処理して該記憶されたイメージ内の所望のセグメントを位置特定するステップと、該記憶されたサブサンプリングされたイメージ信号から該所望のセグメントを取り出すステップと、該所望のセグメントの該位置から該所望のセグメントのサブサンプリング相を決定するステップと、該所望のセグメントの該決定されたサブサンプリング相に応答して、複数の係数組から１組の係数を選択するステップであって、該１組の係数は該取り出したセグメントをフィルタリングするために使用される、ステップと、該選択された係数組を用いて該取り出した所望のセグメントをフィルタリングし、これにより、イメージ画素位置の該復号化された差分イメージデータに対応する参照イメージデータを生成するステップと、を包含する、アップサンプリング方法。９．前記動きベクトルは、前記所望のイメージセグメントの位置を半画素解像度に規定し、前記選択ステップは、前記サブサンプリング相に応じた一対の係数組であって、前記サブサンプリング相と、半画素位置だけシフトしたサブサンプリング相とを表す一対の係数組を選択し、前記動きベクトルに応答して、該一対の係数組から、前記参照イメージデータを生成するために前記フィルタリングステップにおいて使用すべき１つの係数組を特定するステップ、をさらに包含する、請求項８に記載のアップサンプリング方法。