JP2004312765A - ２：１間引きにおける効果的なダウンコンバージョン - Google Patents

Abstract

【課題】 ビデオ画像を表現する符号化ビデオ信号から低解像度２：１ダウンコンバートされたビデオ信号を形成する装置を提供することが課題である。
【解決手段】 ビデオ画像を表現する符号化ビデオ信号から低解像度ビデオ信号を形成する装置であって、該符号化ビデオ信号を複数の高解像度周波数ドメインビデオ係数値として受信する受信手段と、該複数の高解像度周波数ドメインビデオ係数値を受信し、重みづけを行うダウンコンバージョンフィルタ手段と、該ローパスフィルタリングされた周波数ドメインビデオ係数のセットを受信し、第１の画素値のセットへ変換する逆変換手段と、該第１の画素値のセットを受信し、該第１の画素値のセット内の選択された該画素値を、平均化画素値へ変換する平均化フィルタ手段と、該第２の画素値のセット内の選択された該画素値を消去する間引き手段と、を含む装置により上記課題が達成される。
【選択図】図２Ａ

Description

本発明は、符号化された高解像度ビデオ信号（例えばＭＰＥＧ−２符号化ビデオ信号）を復号化されたより低い解像度の出力ビデオ信号へ変換、およびフォーマットする復号器に関し、より詳細には、該復号器用の２：１ダウンコンバージョンシステムに関する。

米国では、デジタル形式で符号化された高精細度テレビ信号（ＨＤＴＶ）のための規格が提案されている。この規格の一部は、必然的にＭＰＥＧ−２規格と同じであり、国際標準化機構（ＩＳＯ）のＭｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ）により提案された規格である。この規格は、「Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ−Ｇｅｎｅｒｉｃ Ｃｏｄｉｎｇ ｏｆ Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅｓ ａｎｄ Ａｓｓｏｃｉａｔｅｄ Ａｕｄｉｏ， Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｈ．６２６」ＩＳＯ／ＩＥＣ １３８１８−２，ＩＳ，１１／９４と題する国際標準（ＩＳ）の刊行物に記載されており、これはＩＳＯから入手可能であり、本明細書中においてＭＰＥＧ−２デジタルビデオ符号化規格の教示のために参考として援用する。

ＭＰＥＧ−２規格は、実際にはいくつかの種類の規格である。ＭＰＥＧ−２規格において、いくつかの異なるプロファイルが規定され、それぞれが符号化画像の複雑性の異なるレベルに対応している。各プロファイルには異なるレベルが規定されており、各レベルは異なる画像解像度に対応する。メインプロファイル、メインレベルとして知られるＭＰＥＧ−２規格の１つでは、現存のテレビ規格（すなわちＮＴＳＣおよびＰＡＬ）と一致する符号化ビデオ信号として企図される。メインプロファイル、ハイレベルとして知られる別の規格では、符号化高精細度テレビ画像として企図される。メインプロファイル、ハイレベル規格により符号化された画像は、１画像フレームにつき１，１５２ものアクティブライン、および１ラインにつき１，９２０もの画素を有し得る。

一方、メインプロファイル、メインレベル規格は、１ラインにつき７２０画素、および１フレームにつき５７６ラインの最大画素サイズを規定している。１秒につき３０フレームのフレーム速度において、この規格により符号化された信号は、１秒につき７２０^＊５７６^＊３０または１２，４４１，６００画素のデータ速度を有する。対照的に、メインプロファイル、ハイレベル規格により符号化された画像は、１秒につき１，１５２^＊１，９２０^＊３０または６６，３５５，２００画素の最大データ速度を有する。このデータ速度は、メインプロファイル、メインレベル規格により符号化された画像のデータ速度の５倍よりも大きい。米国においてＨＤＴＶ符号化のために提案される規格は、この規格のサブセットであり、これは１フレームにつき１，０８０ものライン、１ラインにつき１，９２０もの画素、およびこのフレームサイズとして、１秒につき３０フレームもの最大フレーム速度を有する。この提案された規格用の最大データ速度は、メインプロファイル、メインレベル規格用の最大データ速度よりも、依然はるかに大きい。

ＭＰＥＧ−２規格は、データおよび制御情報の組合せを含む複雑なシンタックスを規定する。この制御情報のいくつかは、いくつかの異なるフォーマットを有する信号が、規格により変換され、得るように用いられる。これらのフォーマットは、１ライン毎に異なる数の絵素（画素）、フレームまたはフィールド毎に異なる数のライン、および１秒毎に異なる数のフレームまたはフィールドを有する画像を規定する。さらに、ＭＰＥＧ−２メインプロファイルの基本的なシンタックスは、圧縮されたＭＰＥＧ−２ビットストリームを規定する。このストリームは、シーケンス層、ピクチャ層のグループ、ピクチャ層、スライス層、およびマクロブロック層の５層に分かれて画像のシーケンスを表す。これらの各層は、制御情報と共に導入される。最後に、サイド情報（例えばフレームタイプ、マクロブロックパターン、画像動きベクトル、係数ジグザグパターン、および逆量子化情報）としてもまた知られる他の制御情報は、符号化されたビットストリームに散在している。

ダウンコンバージョンシステムは、高精細度入力ピクチャを低解像度ピクチャへ、低解像度モニタ上のディスプレイのために変換する。高解像度メインプロファイル、ハイレベルピクチャから、メインプロファイル、メインレベルピクチャ、もしくは他のより低い解像度ピクチャフォーマットへのダウンコンバージョンは、ＨＤＴＶの実現コストを削減する重要性が増してきている。ダウンコンバージョンは、メインプロファイル、ハイレベル符号化ピクチャと共に用いられる高価な高精細度モニタを、より低いピクチャ解像度を有する安価な現存のモニタと置き換えることにより、例えばＮＴＳＣまたは５２５プログレッシブモニタのようなメインプロファイル、メインレベル符号化ピクチャを補助することを可能にする。

効果的にデジタル画像を受信するために、復号器はビデオ信号情報を急速に処理すべきである。最も効果的にするためには、符号化システムは、比較的安価であって、尚かつそれらのデジタル信号をリアルタイムで復号化するのに十分な能力を備えているべきである。

従来技術のダウンコンバージョンのある方法は、復号化高解像度メインプロファイル、ハイレベルピクチャを単にローパスフィルタにかけて間引きし、従来のテレビレシーバ上のディスプレイに適した画像を形成する。結果として、現存の技術を用い、ダウンコンバージョンを採用する復号器は、複雑な設計、相当量のメモリを有する単一プロセッサを用いることにより実現され得、この機能を実現するために空間ドメイン画像上で高データ速度において作動する。しかし、この高解像度および高データ速度は、非常に高価な回路機構を必要とし、これはコストが主要な要因となる消費者用テレビレシーバ内の復号器を実現するには矛盾している。

本発明によるビデオ画像を表現する符号化ビデオ信号から低解像度ビデオ信号を形成する装置（該符号化ビデオ信号は周波数ドメイン変換高解像度ビデオ信号である）は、該符号化ビデオ信号を複数の高解像度周波数ドメインビデオ係数値として受信する受信手段と、ローパスフィルタリングされた周波数ドメインビデオ係数のセットを形成するために、該複数の高解像度周波数ドメインビデオ係数値を受信し、重みづけを行うダウンコンバージョンフィルタ手段と、該ローパスフィルタリングされた周波数ドメインビデオ係数のセットを受信し、第１の画素値のセットへ変換する逆変換手段と、該第１の画素値のセットを受信し、該第１の画素値のセット内の選択された該画素値を、平均化画素値へ変換する平均化フィルタ手段であって、該平均化画素値を含む第２の画素値のセットを供給する、手段と、該低解像度ビデオ信号を供給するために、該第２の画素値のセット内の選択された該画素値を消去する間引き手段とを含み、それにより上記目的が達成される。

低解像度ビデオ信号を形成する装置は、前記平均化フィルタ手段が、前記第１の画素値のセット内の全ての前記画素値を、平均化画素値へ変換してもよい。

低解像度ビデオ信号を形成する装置は、前記平均化フィルタ手段が、前記第１の画素値セット内の前記画素値の内、連続したペアのみを平均化画素値へ変換し、前記第２の画素値のセットが該平均化画素値のみを含み、よって該平均化手段が前記間引き手段を含んでもよい。

低解像度ビデオ信号を形成する装置は、前記符号化ビデオ信号が、動き予測を備える残差ビデオ画像を表現し、該装置は、前出フレームの動き補償ビデオ信号成分を、前記残差ビデオ画像の前記平均化画素値を含む前記第２の画素値のセットに加える合計手段であって、合計された画素値のセットを供給する手段をさらに含み、前記間引き手段が、選択された該合計された画素値のセットを消去し、前記低解像度ビデオ信号を供給してもよい。

低解像度ビデオ信号を形成する装置は、前記受信手段は、前記符号化ビデオ信号を受信し、高解像度周波数ドメインビデオ係数値のブロックを前記ダウンコンバージョンフィルタ手段に供給し、該ダウンコンバージョンフィルタ手段は、該高解像度周波数ドメインビデオ係数値のブロックを受信し、重みづけされた周波数ドメインビデオ係数のブロックを発生し、前記逆変換手段は、該重みづけされた周波数ドメインビデオ係数のブロックを第１の画素値のブロックへ変換し、前記平均化フィルタ手段は、該第１の画素値のブロック内において選択された該画素値を平均化画素値へ変換することにより、該第１の画素値のブロックを第２の画素値のブロックへ変換し、前記間引き手段は、該第２の画素値のブロックから、選択された該画素値を消去し、前記低解像度ビデオ信号を供給してもよい。

低解像度ビデオ信号を形成する装置は、前記受信手段が、前記符号化ビデオ信号を受信し、高解像度周波数ドメインビデオ係数値のブロックを前記ダウンコンバージョンフィルタ手段に供給し、該ダウンコンバージョンフィルタ手段は、該高解像度周波数ドメインビデオ係数値のブロックを受信し、重みづけされた周波数ドメインビデオ係数のブロックを発生し、前記逆変換手段は、該重みづけされた周波数ドメインビデオ係数のブロックを第１の画素値のブロックへ変換し、前記平均化フィルタ手段は、該第１の画素値のブロック内における該画素値の全てを平均化画素値へ変換することにより、該第１の画素値のブロックを第２の画素値のブロックへ変換し、前記間引き手段は、該第２の画素値のブロックの選択された平均化画素値を消去する間引き手段であって、前記低解像度ビデオ信号を供給するしてもよい。

低解像度ビデオ信号を形成する装置は、前記ダウンコンバージョンフィルタ手段が、空間ドメインにおいてブロックミラーフィルタと同等であってもよい。

低解像度ビデオ信号を形成する装置は、前記受信手段が、高解像度周波数ドメインビデオ係数値のＮ×Ｎブロックを前記ダウンコンバージョンフィルタに供給し、前記平均化フィルタ手段が、以下の式による画素値を処理し、

ここでｘ（ｉ）は該画素値のＮ×Ｎブロックの水平な行における入力画素を表し、α（ｉ）は対応平均化画素値を表し、前記第２の画素値のブロックが平均化画素値α（ｉ）のみを含み、よって該平均化手段は前記間引き手段を含んでもよい。

低解像度ビデオ信号を形成する装置は、前記平均化フィルタ手段が双線形フィルタ（ｂｉ−ｌｉｎｅａｒ ｆｉｌｔｅｒ）であってもよい。

低解像度ビデオ信号を形成する装置は、前記符号化ビデオ信号が、動き予測を備える残差ビデオ画像を表現し、該装置は、該符号化ビデオ信号の前出フレームに対応する低解像度間引きビデオ信号を格納するメモリ手段と、該格納された低解像度間引きビデオ信号を、該前出フレームに対応する低解像度動き補償ビデオ信号画素値のブロックへ変換するアップサンプリング手段と、該前出フレームに対応する該低解像度動き補償ビデオ信号画素値のブロックを、前記第２の画素値のブロックに加える合計手段であって、合計された画素値のブロックを供給する、手段とを含み、前記間引き手段が、該合計された画素値のブロックから選択された画素値を消去してもよい。

低解像度ビデオ信号を形成する装置は、前記アップサンプリング手段が、ラグランジュ補間を用いて、前記前出フレームに対応する前記格納された低解像度間引きビデオ信号を、該前出フレームに対応する前記低解像度動き補償ビデオ信号画素値のブロックへ変換してもよい。

本発明によるビデオ画像を表現する符号化ビデオ信号から低解像度ビデオ信号を形成する方法（該符号化ビデオ信号は周波数ドメイン変換高解像度ビデオ信号である）は、（ａ） 該符号化ビデオ信号を複数の高解像度周波数ドメインビデオ係数値として受信する工程と、（ｂ） ローパスフィルタリングされた周波数ドメインビデオ係数のセットを形成するために、該複数の高解像度周波数ドメインビデオ係数値のセットに重みづけを行う工程と、（ｃ） 該ローパスフィルタリングされた周波数ドメインビデオ係数のセットを第１の画素値のセットへ変換する工程と、（ｄ） 第１の画素値のセットにおいて選択された該画素値を、平均化画素値へ変換し、該平均化画素値を含む第２の画素値のセットを供給する工程と、（ｅ） 該低解像度ビデオ信号を供給するために、該第２の画素値のセットにおいて選択された該画素値を消去する工程とを含み、それにより上記目的が達成される。

低解像度ビデオ信号を形成する方法は、工程（ｄ）において、前記第１の画素値のセット内における全ての画素値が、平均化画素値へ変換されてもよい。

低解像度ビデオ信号を形成する方法は、工程（ｄ）において、後に工程（ｅ）で消去されない前記画素値のみが、平均化画素値へ変換されてもよい。

低解像度ビデオ信号を形成する方法は、前記符号化ビデオ信号が動き予測を備える残差ビデオ信号を表現し、該方法は、合計された画素値のセットを供給するために、前出フレームの動き補償ビデオ信号成分を、該残差ビデオ画像の前記平均化画素値を含む、前記第２の画素値のセットに加える工程をさらに含み、該低解像度ビデオ信号を供給するために、該合計された画素値のセットの選択されたものが消去されてもよい。

低解像度ビデオ信号を形成する方法は、工程（ａ）において、前記符号化ビデオ信号が前記ビデオ画像の画素のブロックを表現する高解像度周波数ドメインビデオ係数値のブロックとして受信され、工程（ｂ）において、該高解像度周波数ドメインビデオ係数値のブロックが、重みづけされた周波数ドメインビデオ係数のブロックを形成するように重みづけされ、工程（ｃ）において、該重みづけされた周波数ドメインビデオ係数のブロックが第１の画素値のブロックへ変換され、
工程（ｄ）において、該第１の画素値のブロック内における選択された該画素値が平均化画素値へ変換され、平均化画素値を含む第２の画素値のブロックが供給され、工程（ｅ）において、前記低解像度ビデオ信号を発生するために、非平均化画素値が該平均化画素値のブロックから消去されてもよい。

低解像度ビデオ信号を形成する方法は、工程（ｄ）において、前記動きアーチファクトを減少するために、前記第１の画素値のブロック内における全ての前記画素値が平均化画素値へ変換され、工程（ｅ）において、前記低解像度ビデオ信号を発生するために、前記第２の画素値のブロックの選択された平均化画素値が消去されてもよい。

低解像度ビデオ信号を形成する方法は、工程（ｂ）における前記高解像度周波数ドメインビデオ係数値を前記重みづけする工程が、空間ドメインにおけるブロックミラーフィルタリングと同等であってもよい。

低解像度ビデオ信号を形成する方法は、前記符号化ビデオ信号が動き予測備える残差ビデオ信号を表現し、該方法は、（ｆ） 該符号化信号の前出フレームに対応する低解像度間引きビデオ信号を格納する工程と、（ｇ） 格納された該低解像度間引きビデオ信号を、該前出フレームに対応する低解像度動き補償ビデオ信号画素値のブロックへ変換する工程と、（ｈ） 合計された画素値のブロックを供給するために、該前出フレームに対応する低解像度動き補償ビデオ信号画素値のブロックを、画素値の前記第２のブロックへ加える工程とをさらに含み、工程（ｅ）において、前記低解像度ビデオ信号を供給するために、該合計された画素値のブロックから選択された画素値が消去されてもよい。

低解像度ビデオ信号を形成する方法は、工程（ｇ）において、ラグランジュ補間が、前記前出フレームに対応する前記格納された低解像度間引きビデオ信号を、該前出フレームに対応する低解像度動き補償ビデオ信号画素値のブロックへ変換するために使用されてもよい。

本発明によるビデオ画像を表現する符号化ビデオ信号から低解像度ビデオ信号を形成する装置（該符号化ビデオ信号は周波数ドメイン変換高解像度ビデオ信号である）は、該符号化ビデオ信号を複数の高解像度周波数ドメインビデオ係数値として受信する受信手段と、周波数ドメインビデオ係数のセットを形成するために、該複数の高解像度周波数ドメインビデオ係数値の選択されたものを受信し、重みづけするダウンコンバージョンフィルタ手段と、該周波数ドメインビデオ係数のセットを受信し、第１の画素値のセットへ変換する逆変換手段と、該第１の画素値のセットを受信し、該第１の画素値のセットにおいて選択された該画素値を、平均化画素値へ変換する平均化フィルタ手段であって、該平均化画素値を含む第２の画素値のセットを供給する、手段と、前記低解像度ビデオ信号を供給するために、該第２の画素値のセットにおいて選択された該画素値を消去する間引き手段とを含み、それにより上記目的が達成される。

ビデオ画像を表現する符号化ビデオ信号から低解像度２：１ダウンコンバートされたビデオ信号を形成する装置。符号化ビデオ信号は、周波数ドメイン変換高解像度ビデオ信号である。装置は、符号化ビデオ信号を複数の高解像度周波数ドメインビデオ係数値として受信する手段を含む。ダウンコンバージョンフィルタ手段は、選択された高解像度周波数ドメインビデオ係数値を受信し、重みづけし、周波数ドメインビデオ係数のセットを形成し、逆変換手段はこのセットを画素値のセットへ変換する。平均化フィルタ手段は、画素値のセットにおいて選択された画素値を、平均化画素値へ変換する。間引き手段は、選択された画素値のセットを消去し、低解像度ビデオ信号を供給する。

本発明のこれらおよび他の特徴ならびに利点は、添付の図面に関連して以下の詳細な説明において明らかとなる。

ビデオ画像を表現する符号化ビデオ信号から低解像度２：１ダウンコンバートされたビデオ信号を形成する装置が提供される。符号化ビデオ信号は、周波数ドメイン変換高解像度ビデオ信号である。装置は、符号化ビデオ信号を複数の高解像度周波数ドメインビデオ係数値として受信する手段を含む。ダウンコンバージョンフィルタ手段は、選択された高解像度周波数ドメインビデオ係数値を受信し、重みづけし、周波数ドメインビデオ係数のセットを形成し、逆変換手段はこのセットを画素値のセットへ変換する。平均化フィルタ手段は、画素値のセットにおいて選択された画素値を、平均化画素値へ変換する。間引き手段は、選択された画素値のセットを消去し、低解像度ビデオ信号を供給する。

Ｉ．復号器概要
本発明の例示的な実施形態は、ＭＰＥＧ−２規格（特に、メインプロファイル、ハイレベルＭＰＥＧ−２規格）により符号化されている符号化ＨＤＴＶ信号をフィルタにかける。

しかし、本明細書中に記載された本発明は、符号化ＨＤＴＶ信号のダウンコンバージョンフィルタリングに限定されない。以下に記載されたフィルタリング方法は、周波数ドメイン符号化デジタル信号（これはフィルタにかけられ、そして再結合されるというセクションに分けられ得る）の他のタイプをもまたフィルタにかけるために用いられ得る。

ＭＰＥＧ−２メインプロファイル規格は、シーケンスレベル、ピクチャレベルのグループ、ピクチャレベル、スライスレベル、およびマクロブロックレベルと５つのレベルに分かれて、画像のシーケンスを規定する。これらの各レベルは、後段レベルが前段レベルの入れ子状態であるサブレベルを備えた、データストリーム内の記録であると考えられ得る。各レベルの記録は、そのサブ記録を復号化する際に用いられるデータを含むヘッダセクションを含む。

マクロブロックは、６つのブロック、４輝度ブロックＹおよび２色差ブロックであるＣｒおよびＣｂから構成される。符号化されたＨＤＴＶ信号の各ブロックは、ＨＤＴＶ画像内の６４絵素（画素）の二次元離散コサイン変換（ＤＣＴ）表示における６４個の各係数値を表すデータを含む。

符号化プロセスにおいて、画素データは、離散コサイン変換に先立って、動き補償された差分符号化の影響下にあり、そして転換された係数のブロックは、ランレングスおよび可変長符号化技術を適用することによりさらに符号化される。データストリームから画像シーケンスを復元する復号器は、符号化プロセスを逆転する。この復号器は、エントロピー復号器（例えば、可変長復号器）、逆離散コサイン変換プロセッサ、動き補償プロセッサ、および補間器フィルタを利用する。

図１は、従来技術の典型的なビデオ復号化システムのハイレベルブロック図である。従来技術のビデオ復号化は、エントロピー復号器１１０（これは通常可変長復号器およびランレングス復号器である）、逆量子化器１２０、および逆離散コサイン変換（ＩＤＣＴ）プロセッサ１３０を含む。また例示的なシステムは、制御器１７０をも含み、これはエントロピー復号器１１０による入力ビットストリームから得られる制御情報に応答した復号化システムの多様な成分を制御する。予測画像の処理のため、従来技術システムはさらに、メモリ１６０、加算器１４０、動き補償プロセッサ１５０、およびブロック−ラスタ変換器（ｂｌｏｃｋ ｔｏ ｒａｓｔｅｒ ｃｏｎｖｅｒｔｅｒ）１８０を含む。

可変長復号器１１０は、符号化ビデオ画像信号を受信し、符号化プロセスを逆転し、前に復号化された画像内の整合性マクロブロックの相対的な置換を描写する、動きベクトルを含む制御情報を生成する。この整合性マクロブロックは、現行で復号化されている予測ピクチャのマクロブロックに対応する。可変長復号器１１０は、イントラフレーム符号化が用いられる場合の現行ビデオ画像（これは残差ビデオ画像として言及される）、もしくはインターフレーム符号化が用いられる場合の現行および予測ビデオ画像間の差分の内いずれかのブロックの量子化ＤＣＴ変換係数をもまた受信する。逆量子化器１２０は量子化されたＤＣＴ変換係数を受信し、特定のマクロブロック用に量子化されたＤＣＴ係数を再構築する。特定のブロック用に用いられようとする量子化マトリックスは、可変長復号器１１０から受信される。

ＩＤＣＴプロセッサ１３０は、再構築されたＤＣＴ係数を、空間ドメイン内の画素値へ（マクロブロックの輝度または色差成分を表す８×８マトリックス値の各ブロック用に、そして予測マクロブロックの差分輝度または差分色差成分を表す８×８マトリックス値の各ブロック用に）変換する。

現行マクロブロックが予測的に符号化されない場合には、出力マトリックス値は現行ビデオ画像の対応マクロブロックの画素値である。マクロブロックがインターフレーム符号化される場合は、前出のビデオピクチャフレーム（基準フレーム）の対応マクロブロックは、動き補償プロセッサ１５０による使用のためにメモリ１６０内に格納される。動き補償プロセッサ１５０は、動きベクトル（これはエントロピー復号器１１０から受信される）に応答したメモリ１６０から前出のマクロブロックを受信する。動き補償プロセッサ１５０は、その後、前出のマクロブロックを、加算器１４０において現行ＩＤＣＴ変換マクロブロック（現在の予測的符号化フレームの残差成分に対応している）へ加え、現行ビデオ画像のための画像の対応マクロブロックを生成し、そしてメモリ１６０内へ格納される。

ＩＩ．ダウンコンバージョンシステム
Ａ．概要
図２Ａは、ダウンコンバージョンシステムの例示的な実施形態のハイレベルブロック図である。図２Ａに示されるように、ダウンコンバージョンシステムは、可変長復号器（ＶＬＤ）２１０、ランレングス（Ｒ／Ｌ）復号器２１２、逆量子化器２１４、および逆離散コサイン変換（ＩＤＣＴ）プロセッサ２１８を含む。さらに、ダウンコンバージョンシステムは、ダウンコンバージョンフィルタ（ＤＣＴフィルタ）２１６、平均化フィルタ２４０、およびダウンサンプリングプロセッサ２３２を、符号化されたピクチャのフィルタリングのために含む。以下にはメインプロファイル、ハイレベル符号化入力のための例示的な実施形態が記載されている一方で、ダウンコンバージョンシステムは、いかなる類似の符号化高解像度画像ビットストリームをもって実現され得る。

ダウンコンバージョンシステムはまた、動きベクトル（ＭＶ）トランスレータ２２０、高解像度動きブロック発生器２２４（これはアップサンプリングプロセッサ２２６、半画素発生器２２８、および基準フレームメモリ２２２を含む）をも含む。

さらにシステムは、垂直プログラマブルフィルタ（ＶＰＦ）２８２および水平プログラマブルフィルタ（ＨＺＰＦ）２８４を含む、ディスプレイコンバージョンブロック２８０を含む。ディスプレイコンバージョンブロック２８０は、ダウンサンプル化画像を、より低い解像度を有する特定のディスプレイ上のディスプレイのための画像へ変換する。

ダウンコンバージョンフィルタ２１６は、周波数ドメイン内で、高解像度（例えばメインプロファイル、ハイレベルＤＣＴ）係数のローパスフィルタリングを行う。ダウンサンプリングプロセッサ２３２は、空間画素値をローパスフィルタにかけられたメインプロファイル、ハイレベルピクチャの間引きにより除去し、メインプロファイル、ハイレベルピクチャを表示するために必要とされる解像度よりも低い解像度を有するモニタ上で表示され得るような画素値の１つのセットを生成する。例示的基準フレームメモリ２２２は、ダウンサンプル化ピクチャに対応する解像度を有する少なくとも１つの前に復号化された基準フレームに対応する空間画素値を格納する。非イントラマクロブロック符号化のために、ＭＶトランスレータ２２０は解像度における減算と一致した受信ピクチャの各ブロックのために動きベクトルをスケールする。そして低解像度動きブロック発生器２２４は、基準フレームメモリ２２２により供給された間引きされた低解像度動きブロックを受信し、これらの動きブロックをアップサンプル化し、半画素値を発生して半画素精度（復号化およびフィルタリングされた差分画素ブロックへの良好な空間対応を示す）において動きブロックを供給する。

イントラマクロブロック符号化のためのダウンコンバージョンシステムのこの例示的な実施形態の操作が、ここで説明される。メインプロファイル、ハイレベルビットストリームは、ＶＬＤ２１０により受信され、復号化される。ＨＤＴＶシステムにより用いられるヘッダ情報に加えて、ＶＬＤ２１０は各ブロックおよびマクロブロックのためのＤＣＴ係数および動きベクトル情報を供給する。ＤＣＴ係数は、Ｒ／Ｌ復号器２１２においてランレングス復号化され、および逆量子化器２１４により逆量子化されている。ＶＬＤ２１０およびＲ／Ｌ復号器２１２は、図１のエントロピー復号器１１０に対応している。

ＤＣＴ係数により表現される受信ビデオ画像が高解像度ピクチャであることから、各ブロックのＤＣＴ係数は高解像度ビデオ画像の間引き前にローパスフィルタにかけられる。逆量子化器２１４は、ＤＣＴ係数をＤＣＴフィルタ２１６に供給し、このフィルタ２１６は、周波数ドメイン内において、ＤＣＴ係数をＩＤＣＴプロセッサ２１８に供給する前に、所定のフィルタ係数値と共にＤＣＴ係数に重みを与えることにより、ローパスフィルタリングを行う。例示的な実施形態において、このフィルタ操作は、ブロック単位でブロック上で行われる。

ＩＤＣＴプロセッサ２１８は、フィルタリングされたＤＣＴ係数の逆離散コサイン変換を行うことにより、空間画素値を供給する。平均化フィルタ２４０は、空間画素サンプル値を平均化する。ダウンサンプリングプロセッサ２３２は、所定の間引き比率による空間画素サンプル値を削除することによりピクチャサンプルサイズを縮小する。従って、より低い解像度ピクチャの格納は、より高い解像度であるメインプロファイル、ハイレベルピクチャを格納するために必要とされるものよりも、より小さなフレームメモリ２２２を使用する。

非イントラマクロブロック符号化のためのダウンコンバージョンシステムのこの例示的な実施形態の操作が、ここで説明される。この例示的な実施形態において、ＭＰＥＧ規格に従い、現行受信画像のＤＣＴ係数は、予測画像マクロブロックの残差成分のＤＣＴ係数を表す。動きベクトルの水平成分はスケールされる。なぜなら、メモリ内に格納された前出のフレームの低解像度標準ピクチャが高解像度予測フレーム（メインプロファイル、ハイレベル）と同じだけの画素の数を有さないためである。

図２Ａを参照すると、ＶＬＤ２１０によって提供されたメインプロファイル、ハイレベルビットストリームの動きベクトルは、ＭＶトランスレータ２２０へ供給される。各動きベクトルはＭＶトランスレータ２２０によりスケールされ、基準フレームメモリ２２２内に格納された前出の画像の基準フレームの適した予測ブロックを参照する。得られたブロック内におけるサイズ（画素値の数）は、現行画像を符号化するために用いられる対応高解像度ブロックのブロックよりも小さい。結果として、検索されたブロックは、アップサンプル化され、ＩＤＣＴプロセッサ２１８により供給された残差ブロックと同じだけの画素の数を有する予測ブロックを形成する。

予測ブロックは、ＭＶトランスレータ２２０からの制御信号に応答してアップサンプリングプロセッサ２２６によりアップサンプル化され、画素の最初の高解像度ブロックに対応するブロックを発生する。その後、半画素値が発生し（半画素値発生器２２８内のアップサンプル化予測ブロック用に動きベクトルにより示されるならば）、予測ブロックの適切な空間整列を確実にする。アップサンプル化され整列した予測ブロックは、加算器２３０内において現行フィルタリングされたブロック（この場合の例としては、予測ブロックから低下した解像度残差成分）が加えられる。すべての処理は、マクロブロック内でマクロブロック単位でなされる。動き補償プロセスが、アップサンプリングドメイン内の現行マクロブロックのために終了した後、再構築されたマクロブロックは、ダウンサンプリングプロセッサ２３２においてそれに応じて間引きされる。このプロセスは、画像の解像度を低下させずに、単に低解像度フィルタリングされた画像からの冗長画素を取り除く。

一度、画像のためのダウンサンプル化マクロブロックが利用可能になると、ディスプレイコンバージョンブロック２８０は、低解像度テレビディスプレイ上のディスプレイのための画像に、ＶＰＦ２８２およびＨＺＰＦ２８４のそれぞれにおいて、ダウンサンプル化画像の垂直および水平な成分をフィルタにかけることにより適合する。
Ｂ．平均化フィルタ
図２ＡのＤＣＴフィルタ２１６は、ＩＤＣＴプロセッサ２１８にＤＣＴ係数を供給する前に、それらを所定のフィルタ係数値で重みづけをすることにより、周波数ドメイン内でローパスフィルタリングを行う。ＤＣＴフィルタ２１６により行われるローパスフィルタリングは、出力画像におけるエイリアシング歪みを減少する。

本発明の例示的な実施形態では、ＤＣＴフィルタ２１６がイントラブロック単位でフィルタを行う際、フィルタリングは、フィルタにかけられているブロックに近位のブロックに対応する係数値を有さずに行われる。このことは、ブロック境界における滑らかでないフィルタリングが原因で、ダウンコンバージョンのアーチファクトを含む出力画像をもたらし得る。これらのダウンコンバージョンアーチファクトは、特に、最初の画像が上質な細部を有する動画からなる場合、ならびにスローパニングおよびズーミングがある場合に、出力画像において目に見え得る。

例示的な実施形態において、ＤＣＴ２１６は線形シフト不変（ｌｉｎｅａｒ ｓｈｉｆｔ ｉｎｖａｒｉａｎｔ）ではなく、空間ドメイン内のブロックミラーフィルタと同等である。このブロックミラーは、ＦＩＲフィルタとしてＤＣＴ係数のブロックの中心にある画素において機能するが、ブロック境界においては異なる。なぜなら、このブロックミラーフィルタは、ブロック境界を越えた左右の画素をミラーリングしたと想定し、その後これら入力画素をフィルタにかけ、ローパス出力を獲得する。この例示的な実施形態はまた、ブロック境界における滑らかでないフィルタリングが原因で、ダウンコンバージョンアーチファクトを含む出力画像を生じ得る。

図２Ａに示されるこの平均化フィルタ２４０は、線形シフト不変であり、これらダウンコンバージョンアーチファクトを減少するように設計され得る。２：１ダウンコンバージョンシステムの例示的な実施形態において、平均化フィルタ２４０は、２つのタップフィルタであり、これはＩＤＣＴプロセッサ２１８が再構築されたＤＣＴ係数を空間ドメイン内の画素値へ変換した後に、２つの画素を平均化する。

ＤＣＴ符号化が８×８画素ブロック上で行われる場合、および平均化フィルタ２４０が水平な２：１間引きダウンコンバージョンシステム用にブロック内フィルタリングを行う場合の例示的な実施形態が、以下に記される。当業者には公知のように、本発明の教示は他の次元においても適用され得る。

８×８ブロックの入力画素の水平な行を
Ｘ＝［ｘ_０ｘ_１ｘ_２ｘ_３ｘ_４ｘ_５ｘ_６ｘ_７］
と標識化し、かつ対応８×８ブロックの出力画素の水平な行を
Ａ＝［α_０α_１α_２α_３α_４α_５α_６α_７］
と標識化し、出力画素Ａは以下の式（１）から（４）により規定される。
α_０＝（ｘ_０＋ｘ_１）／２； （１）
α_２＝（ｘ_２＋ｘ_３）／２； （２）
α_４＝（ｘ_４＋ｘ_５）／２； （３）
α_６＝（ｘ_６＋ｘ_７）／２； （４）
上記式（１）から（４）を特徴とするフィルタの周波数応答（ｄＢ 対 周波数であって、ここでπはサンプリング周波数の２分の１である）は、図２Ｂにおいて曲線２６０により示される。

上記の例において、α_１、α_３、α_５、およびα_７は、ダウンサンプリングプロセッサ２３２により捨てられ、フィルタは、Ｎが行における画素の数である（上記の例においては８である）式（５）および（６）での以下の特性の内、いずれかのように実行され得る。

または

Ｃ．マクロブロック予測
前出の画像の基準フレームがダウンサイズされることから、これらのフレームを指向する受信動きベクトルもまた、コンバージョン比率によりトランスレイションされ得る。動きトランスレイション（例えば水平方向における輝度ブロック）について、以下に説明される。垂直方向における動きトランスレイションが使用されるならば、当業者により以下の説明から容易に応用される。最初の画像フレーム内の現行マクロブロックアドレスをｘおよびｙ、水平間引き要素をＤｘ、最初の画像フレームの半画素水平動きベクトルをｍｖ_ｘで表すと、半画素ユニット内でＸＨで表される、最初の画像フレーム内の動きブロックの左上の画素のアドレスは、以下の（７）により得られる。

ＸＨ＝２ｘ＋ｍｖ_ｘ （７）
動きブロックに対応する画素はダウンサンプル化画像内で始まり、そのアドレスは以下の（８）において得られる画素ユニット内でｘ^＊およびｙ^＊で表される。

例示的なＤＣＴフィルタ２１６およびダウンサンプリングプロセッサ２３２が、画像の水平成分のみを減少するために、動きベクトルの垂直成分は影響を受けない。色差としては、動きベクトルは最初のピクチャ内の輝度動きベクトルの２分の１である。従って、色差分きベクトルをトランスレイションするための定義もまた、２つの式（７）および（８）を用い得る。

２つの工程プロセスにより動き予測が行われる。まず、図２Ａのアップサンプリングプロセッサ２２６においてダウンサンプル化画像フレームをアップサンプリングすることにより、最初の画像フレーム内の画素精度動き推定が復元され、次に半画素発生器２２８が最近位の画素値の平均化により半画素動き推定を行う。

最初のピクチャ内の画素に対応する間引きピクチャ内の下位画素は、例えばアップサンプリングプロセッサ２２６においてアップサンプリング多相フィルタを用いて取り込まれ、最初のピクチャ内の動き予測を与える。加算器２３０において、動き予測がＩＤＣＴプロセッサ２１８の出力信号へ加えられる。加算器２３０の出力値が、最初のピクチャフォーマット内の低下解像度画像に対応することから、これらの値はより低い解像度を有するディスプレイ上でのディスプレイの用にダウンサンプル化され得る。ダウンサンプリングプロセッサ２３２におけるダウンサンプリングは、実質的に画像フレームのサブサンプリングと同等であるが、コンバージョン比率に基づいて調整され得る。例えば、３：１のダウンサンプリングの場合において、水平にダウンサンプル化された画素の数は、各入力マクロブロックにつき６または５であり、また第１のダウンサンプル化画素は、常に入力マクロブロック内の第１の画素であるわけではない。

ダウンサンプル化画像から正しい動き予測ブロックを獲得した後、アップサンプリングが最初のピクチャ内の対応予測ブロックを得るために必要とされる。結果として、動きブロック予測内の下位画素精度は、ダウンサンプル化ピクチャ内においては望ましい。動きベクトルが必要とする第１の画素である下位画素は、ダウンサンプル化動きブロックに加えて決定される。そして、後の下位画素位置が、以下に記載されるようなモジューロ演算を用いて決定される。下位画素位置は、以下の（９）において得られるＸ_ｓで表される。

ここで「％」はモジューロ除算を意味する。

例えば、Ｘ_ｓの範囲は、２：１のアップサンプリングでは０，１である。図３Ａは下位画素位置、ならびに２：１アップサンプリングにおける対応１７個の予測画素を示し、表１は図３Ａの記号の説明である。

すでに記載したように、アップサンプリングフィルタはアップサンプリング多相フィルタであり得、表２Ａは、これらアップサンプリング多相補間フィルタの特性を示す。

以下の表２Ｂは、例示的な２：１のアップサンプリング多相フィルタのための多相フィルタ係数を示す。

固定点表示において、表２Ｂの括弧内の数字は、左にある対応倍精度数を備えた９ビットにおける２の補数表示である。ダウンサンプル化標準画像フレーム内の動き予測ブロックの下位画素位置に依存すると、多相補間フィルタの相に対応するものが用いられる。また、例示的な実施形態では、左および右にあるより多くの画素が、ダウンサンプル化画像フレーム内の１７個の水平画素を補間するために必要とされる。例えば、３：１の間引きの場合において、各入力マクロブロックにつき最大６個の水平ダウンサンプル化画素がある。しかし、アップサンプリングする際、９個の水平画素が対応動き予測ブロック値を生成するために必要とされる。なぜなら、アップサンプリングフィルタが、フィルタが作動する境界外で、左および右のより多くの画素を要求するためである。例示的な実施形態が半画素動き推定を利用することから、１６個の半画素を得るために１７個の画素が必要とされ、この１６個の半画素とは、最初の１６個の整数画素、あるいは最近位の２つの画素値の平均値のいずれかであり得る。半画素動き発生器が、このことを扱う。表３は、下位画素位置と多相フィルタ要素との間のマッピング、および左の画素（アップサンプリングプロセスのために追加で必要とされる）の数を表す。

図３Ｂは、入力マクロブロックの各行で行われるアップサンプリングプロセスの概要を示す。初めに、工程３１０において、処理中の入力画像フレームのブロック用の動きベクトルが受信される。工程３１２において、動きベクトルはメモリ内のダウンサンプル化基準フレームに対応するようにトランスレイションされる。工程３１４において、スケールされた動きベクトルが、フレームメモリ内に格納された予測ブロックの座標を取り出すために用いられる。工程３１６において、ブロック用の下位画素点が決定され、そして工程３１８において、アップサンプリングのための初期多相フィルタ値が取り出される。格納されたダウンサンプル化基準フレームの予測ブロック用の照合された画素は、工程３２０においてメモリから取り出される。

フィルタリング工程３２４における第１パスの前に、工程３２２においてレジスタが初期化され、これは例示的な実施形態では、初期の３または５画素値を備えるレジスタをロードすることを伴う。そして、フィルタリング工程３２４の後、工程３２６においてプロセスは、全ての画素が処理されたかどうかを判定する。例示的な実施形態において、１７個の画素が処理される。全ての画素が処理された場合、アップサンプル化ブロックは終了する。全ての画素の処理が終わっていない場合、相は工程３２８においてアップデートされ、相は０値として確認される。相が０の場合、レジスタは多相フィルタ係数の次のセットのためにアップデートされなければならない。そしてレジスタをアップデートする工程３３２は、入力画素を単にアップデートする。最も左の画素がブロック境界外にある例外的な事例では、前出の画素値が繰り返され得る。

符号化ストラクチャが、複数のイントラ符号化フレーム間で、多くの予測フレームから成る場合、ダウンコンバージョンピクチャ内のスローに動く最初の画像の再現は、結果的に動きアーチファクトを有する予測フレームとなり得る。このことは、減少した解像度、および／または最初の画像の前もしくは後の動きを有する再現されたダウンコンバージョンピクチャを生む。次のイントラ符号化フレームがディスプレイされると、動きアーチファクトを有するダウンコンバージョン予測ピクチャと精密に再現されたピクチャとの間の差異は、視聴者へ滑らかでない動きをもたらすことになる。例えば、予測フレームが最初の画像の動きの前にある場合、次のイントラ符号化フレームは、動きがそこで逆戻りしているような印象を視聴者に与え得る。

例示的な実施形態において、図２Ａのダウンコンバージョンシステムは、アップサンプリングプロセッサ２２６を含み、このアップサンプリングプロセッサは、ダウンサンプリングプロセッサ２３２により間引きされた画素を補間するためにラグランジュフィルタを用いる。ラグランジュ補間は当業者には周知であり、本明細書中において参考として援用しているＡｔｋｉｎｓｏｎによる「Ａｎ Ｉｎｔｒｏｄｕｃｔｉｏｎ ｔｏ Ｎｕｍｅｒｉｃａｌ Ａｎａｌｙｓｉｓ」１０７−１０（１９７８年）により教示されている。ラグランジュフィルタを用いることは、等リプルフィルタを用いることと比べ、上述された動きアーチファクトを減少する。

Ｄ．ＤＣＴ係数の重みづけを利用するＤＣＴドメインフィルタリング
ダウンコンバージョンシステムの例示的な実施形態は、周波数ドメインにおいてＤＣＴ係数を処理するＤＣＴフィルタ２１６を含み、これは空間ドメイン内のローパスフィルタに取って代わる。ＤＣＴ符号化ピクチャ（例えば、ＭＰＥＧまたはＪＰＥＧ規格により企図されるピクチャ）用の空間ドメインフィルタリングの代わるＤＣＴドメインフィルタリングにはいくつかの利点がある。ＤＣＴドメインフィルタは、最も顕著に計算的により効果的であり、空間画素に適用される空間ドメインフィルタよりも少ないハードウェアを必要とする。例えば、Ｎタップを有する空間フィルタは、各空間画素サンプル値のＮ乗算およびＮ加算だけ使用し得る。このことはＤＣＴドメインフィルタにおいてはただの１乗算に例えられる。

最も単純なＤＣＴドメインフィルタは、高周波数ＤＣＴ係数の切り捨てである。しかし高周波数ＤＣＴ係数の切り捨てからは滑らかなフィルタは結果的に得られず、復号化ピクチャにおいてエッジ近くでの「リンギング」のような欠点を有する。本発明の例示的な実施形態のＤＣＴドメインローパスフィルタは、空間ドメイン内のブロックミラーフィルタから得られる。例えば、ブロックミラーフィルタ用のフィルタ係数値は空間ドメイン内で最適化され、そしてこれらの値はＤＣＴドメインフィルタの係数へ転換される。

例示的な実施形態は、水平方向のみにおけるＤＣＴドメインフィルタリングを示しているが、ＤＣＴドメインフィルタリングは、水平方向もしくは垂直方向のいずれかで、または両方で、水平および垂直フィルタを組み合わせることにより行われ得る。

Ｅ．ＤＣＴドメインフィルタ係数
本発明のある例示的なフィルタが、２つの制約数から導き出される。第１の制約は、フィルタがブロック上の画像データをブロック単位で画像の各ブロック用に、同じピクチャの他のブロックから、または前出のピクチャからの情報を用いることなく処理することである。第２の制約は、フィルタが境界画素値を処理する際に起こるブロック境界の視認性をフィルタが下げることである。

第１の制約によると、ＭＰＥＧ画像シーケンスのＤＣＴベース圧縮において、Ｎ×ＮＤＣＴ係数のブロックは、Ｎ×Ｎ空間画素値のブロックを得る。結果的に、本発明の例示的な実施形態は、現行で受信されるピクチャのブロックを処理するだけのＤＣＴドメインフィルタを実現する。

第２の制約によると、フィルタが空間画素値のブロックに単に適用される場合、ブロック境界上のフィルタリングの遷移があり、これはフィルタの残差を満たすための境界外で、不十分な数の空間画素値により引き起こされる。言い換えると、ブロックのエッジは適切にフィルタにかけられ得ない。なぜなら、Ｎタップフィルタが、Ｎ／２タップのみ用に、または（Ｎ／２）−１タップ用に（これはＮが奇数であるか、偶数であるかに依存する）、それぞれの入力画素を有するためである。余った入力画素は、ブロックの境界外にある。画素値を供給する以下のいくつかの方法が存在する。１）境界外で所定の定常画素値を繰り返す、２）境界画素値と同じ画素値を繰り返す、そして３）ブロックの画素値を、処理されたブロックに近位の画素値の前出および後のブロックを形成するようにミラーする。前出または後のブロックの内容にある先の情報なしで、ミラーリング方法が好ましい方法として考えられる。従って、本発明の実施形態は、フィルタのためにこのミラーリング方法を利用し、「ブロックミラーフィルタ」と呼ばれる。

ブロックの８入力空間画素サンプル値をローパスフィルタにかける、水平ブロックミラーフィルタを実現する例示的な実施形態が、以下に記載される。入力ブロックのサイズが画素サンプル値の８×８ブロックマトリックスであるならば、水平フィルタリングは、ブロックミラーフィルタを８画素サンプル値の各行に適用することにより行われ得る。フィルタリングプロセスが、ブロックマトリックスのフィルタ係数を列方向に適用することにより実現され得、あるいはその多次元フィルタリングは、ブロックマトリックスの行のフィルタリング、そして次に列のフィルタリングにより達成され得ることは、当業者には明らかとなる。

図４は、８入力画素用の例示的なミラーフィルタのための入力画素値ｘ_０からｘ_７の間の対応（グループＸ０）を示し、これはタップ値ｈ_０からｈ_１４により表される１５タップ空間フィルタを利用する。入力画素はグループＸ０の左側（グループＸ１で示される）で、およびグループＸ０の右側（グループＸ２で示される）でミラーリングされる。フィルタの出力画素値は、対応画素サンプル値を備えるフィルタタップ値の１５乗算の合計である。図４は、第１および第２の出力画素値用の乗算ペアを示す。

Ｆ．ブロックミラーフィルタの例示的な実施形態
本発明のブロックミラーフィルタの例示的な実施形態は、以下の工程により得られる。１）一次元ローパス対称フィルタが、２Ｎタップよりも少ない奇数のタップと共に選択され、２）フィルタ係数が０でパディングすることにより２Ｎ値まで増加され、３）フィルタ係数が、最初の中心係数が左回転シフトにより０位置まで到達するように再編成され、４）再編成されたフィルタ係数のＤＦＴ係数が決定され、５）ＤＣＴフィルタ係数が、入力ブロックの実数ＤＦＴ係数で乗算され、そして６）フィルタリングされたＤＣＴ係数の逆離散コサイン変換（ＩＤＣＴ）が、ＩＤＣＴ係数で乗算されることにより行われ、間引きのために準備されたローパスフィルタリングされた画素のブロックを供給する。

ローパスフィルタのカットオフ周波数は、間引き比率により決まる。ある例示的な実施形態として、カットオフ周波数は、２：１間引きにおいてπ／２であり、ここでπはサンプリング周波数の２分の１である。

ＭＰＥＧおよびＪＰＥＧ復号器におけるＤＣＴドメインフィルタは、メモリ要件を減らすことを可能にする。なぜなら、逆量子化器およびブロックのＩＤＣＴ処理は、従来技術の復号器においてすでに存在しており、ＤＣＴドメインフィルタ係数でのＤＣＴ係数の追加スケラー乗算のみが要求されるためである。従って、個別のＤＣＴドメインフィルタブロック乗算は、特定の実行において物理的に要求されない。本発明の別の実施形態は、単にＤＣＴドメインフィルタ係数をＩＤＣＴ処理係数と組み合わせる。

本発明の例示的なダウンコンバージョンシステムにとって、ＤＣＴ係数の水平フィルタリングおよび間引きが考慮される。以下は、７２０Ｖプログレッシブによる１２８０Ｈから、７２０Ｖプログレッシブによる６４０Ｈへのコンバージョン（水平の２：１間引き）の例示的な実行である。

表４は、ＤＣＴブロックミラーフィルタ（重みづけ）係数を示す。「ＤＣＴ Ｄｏｍａｉｎ Ｆｉｌｔｅｒ ｆｏｒ ＡＴＶ Ｄｏｗｎ Ｃｏｎｖｅｒｓｉｏｎ」ＩＥＥＥ Ｔｒａｎｓ． Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ、Ｖｏｌ．４３（４）１０７４−８（１９９７）において、Ｋｉｍらにより教示されているように、空間ドメインにおけるブロックミラーフィルタは、ＤＣＴドメイン内でＤＣＴ係数に重みをつけることにより、実現され得る。表４の括弧内の数字は、１０ビットにおける２の補数表示である。表４の「^＊」は、値が１よりも大きいために、１０ビットにおける２の補数表示用の範囲外の値を意味する。しかし、当業者には公知のように、^＊で示される値によりブロックの列係数の乗算は、係数値をフィルタ値の端数値（余り）で乗算した係数に加えることにより容易に実現され得る。

これらの水平ＤＣＴフィルタ係数は、符号化ビデオ画像の８×８ＤＣＴ係数のブロック内にある各列に重みづけを行う。例えば、列０のＤＣＴ係数はＨ［０］により重みづけされ、そして第１列のＤＣＴ係数はＨ［１］により重みづけされ、同じように続いていく。

表４の係数を特徴とするダウンコンバージョンフィルタの周波数応答（ｄＢ 対 周波数）は、図５において曲線５１０により示される。表４の係数を特徴とするダウンコンバージョンフィルタとカスケードされた式（１）から（４）を特徴とする平均化フィルタの周波数応答（ｄＢ 対 周波数）は、図６において曲線６１０により示される。

上記の説明は、一次元ＤＣＴを用いる水平フィルタの実現を図示する。デジタル信号処理技術において公知のように、そのような処理は二次元システムに応用され得る。二次元システムでは、入力シーケンスは値のマトリックスとして表され、シーケンスを列シーケンスにおいて周期Ｍを備えた周期のように示し、行シーケンスにおいて周期Ｎを備えた周期のように示し、ＮおよびＭは整数である。二次元ＤＣＴは、入力シーケンスの列上で行われる一次元ＤＣＴ、そして次にＤＣＴ処理された入力シーケンスの行上で行われる第２の一次元ＤＣＴとして実現され得る。また、当該分野において公知のように、二次元ＩＤＣＴは、単一プロセスとして実現され得る。

Ｇ．ダウンサンプリング
ダウンサンプリングは、ダウンサンプリングプロセッサ２３２により達成され、ダウンコンバージョンされる画像内の画素の数を減少する。図７は、２：１の間引きにおいて４：２：０色差タイプのために入力および間引きされた出力画素を示す。表５は、図７の輝度画素および色差画素を照合するための説明である。図７のダウンコンバージョン前後の画素位置は、２：１間引きの際のプログレッシブな場合を示す。

プログレッシブフォーマット画像のダウンサンプリング（７２０画素サイズによる１２８０から、７２０画素サイズによる６４０へのコンバージョンであり得る）として、輝度信号は２つに１つのサンプルのために水平方向にサブサンプル化される。言い換えると、２つに１つの画素が水平方向軸上で間引きされる。色差信号のために、ダウンサンプル化画素は、ちょうど最初の画素よりも下の半画素である。最初のマクロブロック内の画素および間引きされた画素が図７に示される。

ビデオ画像を表現する符号化ビデオ信号から低解像度２：１ダウンコンバートされたビデオ信号を形成する装置を含む、ＨＤＴＶダウンコンバージョンシステム。符号化ビデオ信号は、動き予測を備えた周波数ドメイン変換高解像度ビデオ信号である。装置は、符号化ビデオ信号を複数の高解像度周波数ドメインビデオ係数値として受信するレシーバを含む。ダウンコンバージョンフィルタは、高解像度周波数ドメインビデオ係数値を受信し、重みづけを行い、ローパスされた周波数ドメインビデオ係数のセットを形成する。逆変換プロセッサは、周波数ドメインビデオ係数のセットを、画素値のセットへ変換する。平均化フィルタは、画素値のセットにおいて選択された画素値を平均化画素値へ変換する。間引きプロセッサは、選択された画素値のセットを消去し、低解像度ビデオ信号を供給する。

本明細書中において、本発明の例示的な実施形態が示され、説明されているが、このような実施形態は例としてのみ提供されていることは理解される。本発明の精神から逸脱することなく、当業者により数多くの多様化、変更、および代替が生じ得る。従って、添付の特許請求の範囲が本発明の範囲内にある全てのそのような多様化を網羅することが意図される。

ビデオ画像を表現する符号化ビデオ信号から低解像度２：１ダウンコンバートされたビデオ信号を形成する装置が提供される。符号化ビデオ信号は、周波数ドメイン変換高解像度ビデオ信号である。装置は、符号化ビデオ信号を複数の高解像度周波数ドメインビデオ係数値として受信する手段を含む。ダウンコンバージョンフィルタ手段は、選択された高解像度周波数ドメインビデオ係数値を受信し、重みづけし、周波数ドメインビデオ係数のセットを形成し、逆変換手段はこのセットを画素値のセットへ変換する。平均化フィルタ手段は、画素値のセットにおいて選択された画素値を、平均化画素値へ変換する。間引き手段は、選択された画素値のセットを消去し、低解像度ビデオ信号を供給する。

従来技術のビデオ復号化システムを示すハイレベルブロック図である。 ダウンコンバージョンシステムの例示的な実施形態を示すハイレベルブロック図である。 本発明の例示的な実施形態による平均化フィルタの周波数応答特性を示す図である。 ２：１ダウンコンバージョンシステムの例示的な実施形態のための下位画素位置および対応予測画素を示す図である。 例示的なダウンコンバージョンシステムのための入力マクロブロックの各行において行われるアップサンプリングプロセスを示す図である。 ブロックミラーフィルタの例示的な実施形態の第１および第２の出力画素値のための乗算ペアを示す図である。 本発明の例示的な実施形態によるダウンコンバージョンフィルタの周波数応答特性を示す図である。 本発明の例示的な実施形態によるカスケード平均化フィルタおよびダウンコンバージョンフィルタの周波数応答特性を示す図である。 ２：１間引きを用いた４：２：０ビデオ信号のための入力および間引き出力画素を示す図である。

符号の説明

１１０ エントロピー復号器
１２０ 逆量子化器
１３０ 逆離散コサイン変換プロセッサ
１４０ 加算器
１５０ 動き補償プロセッサ
１６０ メモリ
１７０ 制御器
１８０ ブロック−ラスタ変換器
２１０ 可変長復号器（ＶＬＤ）
２１２ ランレングス（Ｒ／Ｌ）復号器
２１４ 逆量子化器
２１６ ダウンコンバージョンフィルタ（ＤＣＴフィルタ）
２１８ 逆離散コサイン変換（ＩＤＣＴ）プロセッサ
２２０ ＭＶトランスレータ
２２２ 基準フレームメモリ
２２４ 高解像度動きブロック発生器
２２６ アップサンプル
２２８ 半画像発生器
２３２ ダウンサンプル化プロセッサ
２４０ 平均化フィルタ
２８０ ディスプレイコンバージョンブロック
２８２ 垂直プログラマブルフィルタ
２８４ 水平プログラマブルフィルタ

Claims (1)

1. ビデオ画像を表現する符号化ビデオ信号から低解像度ビデオ信号を形成する装置であって、該符号化ビデオ信号は周波数ドメイン変換高解像度ビデオ信号であり、該装置は、
   該符号化ビデオ信号を複数の高解像度周波数ドメインビデオ係数値として受信する受信手段と、
   ローパスフィルタリングされた周波数ドメインビデオ係数のセットを形成するために、該複数の高解像度周波数ドメインビデオ係数値を受信し、該複数の高解像度周波数ドメインビデオ係数値を所定の非ゼロのフィルタ係数で重みづけするダウンコンバージョンフィルタ手段と、
   該ローパスフィルタリングされた周波数ドメインビデオ係数のセットを受信し、第１の画素値のセットへ変換する逆変換手段と、
   該第１の画素値のセットを受信し、該第１の画素値のセット内の選択された該画素値を、平均化画素値へ変換する平均化フィルタ手段であって、該平均化画素値を含む第２の画素値のセットを供給する、手段と、
   該低解像度ビデオ信号を供給するために、該第２の画素値のセット内の選択された該画素値を消去する間引き手段と、
   を含む装置。

Images