JP2000172237A - ２：１間引きにおける効果的なダウンコンバ―ジョン - Google Patents

２：１間引きにおける効果的なダウンコンバ―ジョン

Info

Publication number
JP2000172237A
JP2000172237A JP11290353A JP29035399A JP2000172237A JP 2000172237 A JP2000172237 A JP 2000172237A JP 11290353 A JP11290353 A JP 11290353A JP 29035399 A JP29035399 A JP 29035399A JP 2000172237 A JP2000172237 A JP 2000172237A
Authority
JP
Japan
Prior art keywords
video signal
block
pixel values
resolution
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11290353A
Other languages
English (en)
Other versions
JP3631642B2 (ja
Inventor
Kim Hee-Yong
キム ヒー−ヨン
Michael Iaquinto
イアキント マイケル
Philips Lally
フィリップス ラリー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of JP2000172237A publication Critical patent/JP2000172237A/ja
Application granted granted Critical
Publication of JP3631642B2 publication Critical patent/JP3631642B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Television Systems (AREA)

Abstract

(57)【要約】 （修正有） 【課題】 ビデオ画像を表現する符号化ビデオ信号から
低解像度２：１ダウンコンバートされたビデオ信号を形
成する装置を提供する。 【解決手段】 符号化ビデオ信号を複数の高解像度周波
数ドメインビデオ係数値として受信する受信手段と、ロ
ーパスフィルタリングされた周波数ドメインビデオ係数
のセットを形成するために、複数の高解像度周波数ドメ
インビデオ係数値の重みづけを行うダウンコンバージョ
ンフィルタ手段２１６と、上記セットを第１の画素値の
セットへ変換する逆変換手段２１８と、第１の画素値の
セット内の選択された画素値を平均化画素値へ変換する
平均化フィルタ手段２４０であって、平均化画素値を含
む第２の画素値のセットを供給する手段と、低解像度ビ
デオ信号を供給するために、第２の画素値のセット内の
選択された該画素値を消去する間引き手段と、を含む。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、符号化された高解
像度ビデオ信号（例えばＭＰＥＧ−２符号化ビデオ信
号）を復号化されたより低い解像度の出力ビデオ信号へ
変換、およびフォーマットする復号器に関し、より詳細
には、該復号器用の２：１ダウンコンバージョンシステ
ムに関する。
【０００２】
【従来の技術】米国では、デジタル形式で符号化された
高精細度テレビ信号（ＨＤＴＶ）のための規格が提案さ
れている。この規格の一部は、必然的にＭＰＥＧ−２規
格と同じであり、国際標準化機構（ＩＳＯ）のＭｏｖｉ
ｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ
（ＭＰＥＧ）により提案された規格である。この規格
は、「Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ
−Ｇｅｎｅｒｉｃ Ｃｏｄｉｎｇ ｏｆ Ｍｏｖｉｎｇ
Ｐｉｃｔｕｒｅｓ ａｎｄ ＡｓｓｏｃｉａｔｅｄＡ
ｕｄｉｏ， Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｈ．６２
６」ＩＳＯ／ＩＥＣ１３８１８−２，ＩＳ，１１／９４
と題する国際標準（ＩＳ）の刊行物に記載されており、
これはＩＳＯから入手可能であり、本明細書中において
ＭＰＥＧ−２デジタルビデオ符号化規格の教示のために
参考として援用する。
【０００３】ＭＰＥＧ−２規格は、実際にはいくつかの
種類の規格である。ＭＰＥＧ−２規格において、いくつ
かの異なるプロファイルが規定され、それぞれが符号化
画像の複雑性の異なるレベルに対応している。各プロフ
ァイルには異なるレベルが規定されており、各レベルは
異なる画像解像度に対応する。メインプロファイル、メ
インレベルとして知られるＭＰＥＧ−２規格の１つで
は、現存のテレビ規格（すなわちＮＴＳＣおよびＰＡ
Ｌ）と一致する符号化ビデオ信号として企図される。メ
インプロファイル、ハイレベルとして知られる別の規格
では、符号化高精細度テレビ画像として企図される。メ
インプロファイル、ハイレベル規格により符号化された
画像は、１画像フレームにつき１，１５２ものアクティ
ブライン、および１ラインにつき１，９２０もの画素を
有し得る。
【０００４】一方、メインプロファイル、メインレベル
規格は、１ラインにつき７２０画素、および１フレーム
につき５７６ラインの最大画素サイズを規定している。
１秒につき３０フレームのフレーム速度において、この
規格により符号化された信号は、１秒につき７２０*５
７６*３０または１２，４４１，６００画素のデータ速
度を有する。対照的に、メインプロファイル、ハイレベ
ル規格により符号化された画像は、１秒につき１，１５
２*１，９２０*３０または６６，３５５，２００画素の
最大データ速度を有する。このデータ速度は、メインプ
ロファイル、メインレベル規格により符号化された画像
のデータ速度の５倍よりも大きい。米国においてＨＤＴ
Ｖ符号化のために提案される規格は、この規格のサブセ
ットであり、これは１フレームにつき１，０８０ものラ
イン、１ラインにつき１，９２０もの画素、およびこの
フレームサイズとして、１秒につき３０フレームもの最
大フレーム速度を有する。この提案された規格用の最大
データ速度は、メインプロファイル、メインレベル規格
用の最大データ速度よりも、依然はるかに大きい。
【０００５】ＭＰＥＧ−２規格は、データおよび制御情
報の組合せを含む複雑なシンタックスを規定する。この
制御情報のいくつかは、いくつかの異なるフォーマット
を有する信号が、規格により変換され、得るように用い
られる。これらのフォーマットは、１ライン毎に異なる
数の絵素（画素）、フレームまたはフィールド毎に異な
る数のライン、および１秒毎に異なる数のフレームまた
はフィールドを有する画像を規定する。さらに、ＭＰＥ
Ｇ−２メインプロファイルの基本的なシンタックスは、
圧縮されたＭＰＥＧ−２ビットストリームを規定する。
このストリームは、シーケンス層、ピクチャ層のグルー
プ、ピクチャ層、スライス層、およびマクロブロック層
の５層に分かれて画像のシーケンスを表す。これらの各
層は、制御情報と共に導入される。最後に、サイド情報
（例えばフレームタイプ、マクロブロックパターン、画
像動きベクトル、係数ジグザグパターン、および逆量子
化情報）としてもまた知られる他の制御情報は、符号化
されたビットストリームに散在している。
【０００６】ダウンコンバージョンシステムは、高精細
度入力ピクチャを低解像度ピクチャへ、低解像度モニタ
上のディスプレイのために変換する。高解像度メインプ
ロファイル、ハイレベルピクチャから、メインプロファ
イル、メインレベルピクチャ、もしくは他のより低い解
像度ピクチャフォーマットへのダウンコンバージョン
は、ＨＤＴＶの実現コストを削減する重要性が増してき
ている。ダウンコンバージョンは、メインプロファイ
ル、ハイレベル符号化ピクチャと共に用いられる高価な
高精細度モニタを、より低いピクチャ解像度を有する安
価な現存のモニタと置き換えることにより、例えばＮＴ
ＳＣまたは５２５プログレッシブモニタのようなメイン
プロファイル、メインレベル符号化ピクチャを補助する
ことを可能にする。
【０００７】
【発明が解決しようとする課題】効果的にデジタル画像
を受信するために、復号器はビデオ信号情報を急速に処
理すべきである。最も効果的にするためには、符号化シ
ステムは、比較的安価であって、尚かつそれらのデジタ
ル信号をリアルタイムで復号化するのに十分な能力を備
えているべきである。
【０００８】従来技術のダウンコンバージョンのある方
法は、復号化高解像度メインプロファイル、ハイレベル
ピクチャを単にローパスフィルタにかけて間引きし、従
来のテレビレシーバ上のディスプレイに適した画像を形
成する。結果として、現存の技術を用い、ダウンコンバ
ージョンを採用する復号器は、複雑な設計、相当量のメ
モリを有する単一プロセッサを用いることにより実現さ
れ得、この機能を実現するために空間ドメイン画像上で
高データ速度において作動する。しかし、この高解像度
および高データ速度は、非常に高価な回路機構を必要と
し、これはコストが主要な要因となる消費者用テレビレ
シーバ内の復号器を実現するには矛盾している。
【０００９】
【課題を解決するための手段】本発明によるビデオ画像
を表現する符号化ビデオ信号から低解像度ビデオ信号を
形成する装置（該符号化ビデオ信号は周波数ドメイン変
換高解像度ビデオ信号である）は、該符号化ビデオ信号
を複数の高解像度周波数ドメインビデオ係数値として受
信する受信手段と、ローパスフィルタリングされた周波
数ドメインビデオ係数のセットを形成するために、該複
数の高解像度周波数ドメインビデオ係数値を受信し、重
みづけを行うダウンコンバージョンフィルタ手段と、該
ローパスフィルタリングされた周波数ドメインビデオ係
数のセットを受信し、第１の画素値のセットへ変換する
逆変換手段と、該第１の画素値のセットを受信し、該第
１の画素値のセット内の選択された該画素値を、平均化
画素値へ変換する平均化フィルタ手段であって、該平均
化画素値を含む第２の画素値のセットを供給する、手段
と、該低解像度ビデオ信号を供給するために、該第２の
画素値のセット内の選択された該画素値を消去する間引
き手段とを含み、それにより上記目的が達成される。
【００１０】低解像度ビデオ信号を形成する装置は、前
記平均化フィルタ手段が、前記第１の画素値のセット内
の全ての前記画素値を、平均化画素値へ変換してもよ
い。
【００１１】低解像度ビデオ信号を形成する装置は、前
記平均化フィルタ手段が、前記第１の画素値セット内の
前記画素値の内、連続したペアのみを平均化画素値へ変
換し、前記第２の画素値のセットが該平均化画素値のみ
を含み、よって該平均化手段が前記間引き手段を含んで
もよい。
【００１２】低解像度ビデオ信号を形成する装置は、前
記符号化ビデオ信号が、動き予測を備える残差ビデオ画
像を表現し、該装置は、前出フレームの動き補償ビデオ
信号成分を、前記残差ビデオ画像の前記平均化画素値を
含む前記第２の画素値のセットに加える合計手段であっ
て、合計された画素値のセットを供給する手段をさらに
含み、前記間引き手段が、選択された該合計された画素
値のセットを消去し、前記低解像度ビデオ信号を供給し
てもよい。
【００１３】低解像度ビデオ信号を形成する装置は、前
記受信手段は、前記符号化ビデオ信号を受信し、高解像
度周波数ドメインビデオ係数値のブロックを前記ダウン
コンバージョンフィルタ手段に供給し、該ダウンコンバ
ージョンフィルタ手段は、該高解像度周波数ドメインビ
デオ係数値のブロックを受信し、重みづけされた周波数
ドメインビデオ係数のブロックを発生し、前記逆変換手
段は、該重みづけされた周波数ドメインビデオ係数のブ
ロックを第１の画素値のブロックへ変換し、前記平均化
フィルタ手段は、該第１の画素値のブロック内において
選択された該画素値を平均化画素値へ変換することによ
り、該第１の画素値のブロックを第２の画素値のブロッ
クへ変換し、前記間引き手段は、該第２の画素値のブロ
ックから、選択された該画素値を消去し、前記低解像度
ビデオ信号を供給してもよい。
【００１４】低解像度ビデオ信号を形成する装置は、前
記受信手段が、前記符号化ビデオ信号を受信し、高解像
度周波数ドメインビデオ係数値のブロックを前記ダウン
コンバージョンフィルタ手段に供給し、該ダウンコンバ
ージョンフィルタ手段は、該高解像度周波数ドメインビ
デオ係数値のブロックを受信し、重みづけされた周波数
ドメインビデオ係数のブロックを発生し、前記逆変換手
段は、該重みづけされた周波数ドメインビデオ係数のブ
ロックを第１の画素値のブロックへ変換し、前記平均化
フィルタ手段は、該第１の画素値のブロック内における
該画素値の全てを平均化画素値へ変換することにより、
該第１の画素値のブロックを第２の画素値のブロックへ
変換し、前記間引き手段は、該第２の画素値のブロック
の選択された平均化画素値を消去する間引き手段であっ
て、前記低解像度ビデオ信号を供給するしてもよい。
【００１５】低解像度ビデオ信号を形成する装置は、前
記ダウンコンバージョンフィルタ手段が、空間ドメイン
においてブロックミラーフィルタと同等であってもよ
い。
【００１６】低解像度ビデオ信号を形成する装置は、前
記受信手段が、高解像度周波数ドメインビデオ係数値の
Ｎ×Ｎブロックを前記ダウンコンバージョンフィルタに
供給し、前記平均化フィルタ手段が、以下の式による画
素値を処理し、
【００１７】
【数１】
【００１８】ここでｘ（ｉ）は該画素値のＮ×Ｎブロッ
クの水平な行における入力画素を表し、α（ｉ）は対応
平均化画素値を表し、前記第２の画素値のブロックが平
均化画素値α（ｉ）のみを含み、よって該平均化手段は
前記間引き手段を含んでもよい。
【００１９】低解像度ビデオ信号を形成する装置は、前
記平均化フィルタ手段が双線形フィルタ(bi-linear fil
ter)であってもよい。
【００２０】低解像度ビデオ信号を形成する装置は、前
記符号化ビデオ信号が、動き予測を備える残差ビデオ画
像を表現し、該装置は、該符号化ビデオ信号の前出フレ
ームに対応する低解像度間引きビデオ信号を格納するメ
モリ手段と、該格納された低解像度間引きビデオ信号
を、該前出フレームに対応する低解像度動き補償ビデオ
信号画素値のブロックへ変換するアップサンプリング手
段と、該前出フレームに対応する該低解像度動き補償ビ
デオ信号画素値のブロックを、前記第２の画素値のブロ
ックに加える合計手段であって、合計された画素値のブ
ロックを供給する、手段とを含み、前記間引き手段が、
該合計された画素値のブロックから選択された画素値を
消去してもよい。
【００２１】低解像度ビデオ信号を形成する装置は、前
記アップサンプリング手段が、ラグランジュ補間を用い
て、前記前出フレームに対応する前記格納された低解像
度間引きビデオ信号を、該前出フレームに対応する前記
低解像度動き補償ビデオ信号画素値のブロックへ変換し
てもよい。
【００２２】本発明によるビデオ画像を表現する符号化
ビデオ信号から低解像度ビデオ信号を形成する方法（該
符号化ビデオ信号は周波数ドメイン変換高解像度ビデオ
信号である）は、（ａ） 該符号化ビデオ信号を複数の
高解像度周波数ドメインビデオ係数値として受信する工
程と、（ｂ） ローパスフィルタリングされた周波数ド
メインビデオ係数のセットを形成するために、該複数の
高解像度周波数ドメインビデオ係数値のセットに重みづ
けを行う工程と、（ｃ） 該ローパスフィルタリングさ
れた周波数ドメインビデオ係数のセットを第１の画素値
のセットへ変換する工程と、（ｄ） 第１の画素値のセ
ットにおいて選択された該画素値を、平均化画素値へ変
換し、該平均化画素値を含む第２の画素値のセットを供
給する工程と、（ｅ） 該低解像度ビデオ信号を供給す
るために、該第２の画素値のセットにおいて選択された
該画素値を消去する工程とを含み、それにより上記目的
が達成される。
【００２３】低解像度ビデオ信号を形成する方法は、工
程（ｄ）において、前記第１の画素値のセット内におけ
る全ての画素値が、平均化画素値へ変換されてもよい。
【００２４】低解像度ビデオ信号を形成する方法は、工
程（ｄ）において、後に工程（ｅ）で消去されない前記
画素値のみが、平均化画素値へ変換されてもよい。
【００２５】低解像度ビデオ信号を形成する方法は、前
記符号化ビデオ信号が動き予測を備える残差ビデオ信号
を表現し、該方法は、合計された画素値のセットを供給
するために、前出フレームの動き補償ビデオ信号成分
を、該残差ビデオ画像の前記平均化画素値を含む、前記
第２の画素値のセットに加える工程をさらに含み、該低
解像度ビデオ信号を供給するために、該合計された画素
値のセットの選択されたものが消去されてもよい。
【００２６】低解像度ビデオ信号を形成する方法は、工
程（ａ）において、前記符号化ビデオ信号が前記ビデオ
画像の画素のブロックを表現する高解像度周波数ドメイ
ンビデオ係数値のブロックとして受信され、工程（ｂ）
において、該高解像度周波数ドメインビデオ係数値のブ
ロックが、重みづけされた周波数ドメインビデオ係数の
ブロックを形成するように重みづけされ、工程（ｃ）に
おいて、該重みづけされた周波数ドメインビデオ係数の
ブロックが第１の画素値のブロックへ変換され、工程
（ｄ）において、該第１の画素値のブロック内における
選択された該画素値が平均化画素値へ変換され、平均化
画素値を含む第２の画素値のブロックが供給され、工程
（ｅ）において、前記低解像度ビデオ信号を発生するた
めに、非平均化画素値が該平均化画素値のブロックから
消去されてもよい。
【００２７】低解像度ビデオ信号を形成する方法は、工
程（ｄ）において、前記動きアーチファクトを減少する
ために、前記第１の画素値のブロック内における全ての
前記画素値が平均化画素値へ変換され、工程（ｅ）にお
いて、前記低解像度ビデオ信号を発生するために、前記
第２の画素値のブロックの選択された平均化画素値が消
去されてもよい。
【００２８】低解像度ビデオ信号を形成する方法は、工
程（ｂ）における前記高解像度周波数ドメインビデオ係
数値を前記重みづけする工程が、空間ドメインにおける
ブロックミラーフィルタリングと同等であってもよい。
【００２９】低解像度ビデオ信号を形成する方法は、前
記符号化ビデオ信号が動き予測備える残差ビデオ信号を
表現し、該方法は、（ｆ） 該符号化信号の前出フレー
ムに対応する低解像度間引きビデオ信号を格納する工程
と、（ｇ） 格納された該低解像度間引きビデオ信号
を、該前出フレームに対応する低解像度動き補償ビデオ
信号画素値のブロックへ変換する工程と、（ｈ） 合計
された画素値のブロックを供給するために、該前出フレ
ームに対応する低解像度動き補償ビデオ信号画素値のブ
ロックを、画素値の前記第２のブロックへ加える工程と
をさらに含み、工程（ｅ）において、前記低解像度ビデ
オ信号を供給するために、該合計された画素値のブロッ
クから選択された画素値が消去されてもよい。
【００３０】低解像度ビデオ信号を形成する方法は、工
程（ｇ）において、ラグランジュ補間が、前記前出フレ
ームに対応する前記格納された低解像度間引きビデオ信
号を、該前出フレームに対応する低解像度動き補償ビデ
オ信号画素値のブロックへ変換するために使用されても
よい。
【００３１】本発明によるビデオ画像を表現する符号化
ビデオ信号から低解像度ビデオ信号を形成する装置（該
符号化ビデオ信号は周波数ドメイン変換高解像度ビデオ
信号である）は、該符号化ビデオ信号を複数の高解像度
周波数ドメインビデオ係数値として受信する受信手段
と、周波数ドメインビデオ係数のセットを形成するため
に、該複数の高解像度周波数ドメインビデオ係数値の選
択されたものを受信し、重みづけするダウンコンバージ
ョンフィルタ手段と、該周波数ドメインビデオ係数のセ
ットを受信し、第１の画素値のセットへ変換する逆変換
手段と、該第１の画素値のセットを受信し、該第１の画
素値のセットにおいて選択された該画素値を、平均化画
素値へ変換する平均化フィルタ手段であって、該平均化
画素値を含む第２の画素値のセットを供給する、手段
と、前記低解像度ビデオ信号を供給するために、該第２
の画素値のセットにおいて選択された該画素値を消去す
る間引き手段とを含み、それにより上記目的が達成され
る。
【００３２】ビデオ画像を表現する符号化ビデオ信号か
ら低解像度２：１ダウンコンバートされたビデオ信号を
形成する装置。符号化ビデオ信号は、周波数ドメイン変
換高解像度ビデオ信号である。装置は、符号化ビデオ信
号を複数の高解像度周波数ドメインビデオ係数値として
受信する手段を含む。ダウンコンバージョンフィルタ手
段は、選択された高解像度周波数ドメインビデオ係数値
を受信し、重みづけし、周波数ドメインビデオ係数のセ
ットを形成し、逆変換手段はこのセットを画素値のセッ
トへ変換する。平均化フィルタ手段は、画素値のセット
において選択された画素値を、平均化画素値へ変換す
る。間引き手段は、選択された画素値のセットを消去
し、低解像度ビデオ信号を供給する。
【００３３】本発明のこれらおよび他の特徴ならびに利
点は、添付の図面に関連して以下の詳細な説明において
明らかとなる。
【００３４】
【発明の実施の形態】Ｉ．復号器概要 本発明の例示的な実施形態は、ＭＰＥＧ−２規格（特
に、メインプロファイル、ハイレベルＭＰＥＧ−２規
格）により符号化されている符号化ＨＤＴＶ信号をフィ
ルタにかける。
【００３５】しかし、本明細書中に記載された本発明
は、符号化ＨＤＴＶ信号のダウンコンバージョンフィル
タリングに限定されない。以下に記載されたフィルタリ
ング方法は、周波数ドメイン符号化デジタル信号（これ
はフィルタにかけられ、そして再結合されるというセク
ションに分けられ得る）の他のタイプをもまたフィルタ
にかけるために用いられ得る。
【００３６】ＭＰＥＧ−２メインプロファイル規格は、
シーケンスレベル、ピクチャレベルのグループ、ピクチ
ャレベル、スライスレベル、およびマクロブロックレベ
ルと５つのレベルに分かれて、画像のシーケンスを規定
する。これらの各レベルは、後段レベルが前段レベルの
入れ子状態であるサブレベルを備えた、データストリー
ム内の記録であると考えられ得る。各レベルの記録は、
そのサブ記録を復号化する際に用いられるデータを含む
ヘッダセクションを含む。
【００３７】マクロブロックは、６つのブロック、４輝
度ブロックＹおよび２色差ブロックであるＣｒおよびＣ
ｂから構成される。符号化されたＨＤＴＶ信号の各ブロ
ックは、ＨＤＴＶ画像内の６４絵素（画素）の二次元離
散コサイン変換（ＤＣＴ）表示における６４個の各係数
値を表すデータを含む。
【００３８】符号化プロセスにおいて、画素データは、
離散コサイン変換に先立って、動き補償された差分符号
化の影響下にあり、そして転換された係数のブロック
は、ランレングスおよび可変長符号化技術を適用するこ
とによりさらに符号化される。データストリームから画
像シーケンスを復元する復号器は、符号化プロセスを逆
転する。この復号器は、エントロピー復号器（例えば、
可変長復号器）、逆離散コサイン変換プロセッサ、動き
補償プロセッサ、および補間器フィルタを利用する。
【００３９】図１は、従来技術の典型的なビデオ復号化
システムのハイレベルブロック図である。従来技術のビ
デオ復号化は、エントロピー復号器１１０（これは通常
可変長復号器およびランレングス復号器である）、逆量
子化器１２０、および逆離散コサイン変換（ＩＤＣＴ）
プロセッサ１３０を含む。また例示的なシステムは、制
御器１７０をも含み、これはエントロピー復号器１１０
による入力ビットストリームから得られる制御情報に応
答した復号化システムの多様な成分を制御する。予測画
像の処理のため、従来技術システムはさらに、メモリ１
６０、加算器１４０、動き補償プロセッサ１５０、およ
びブロック−ラスタ変換器（ｂｌｏｃｋｔｏ ｒａｓｔ
ｅｒ ｃｏｎｖｅｒｔｅｒ）１８０を含む。
【００４０】可変長復号器１１０は、符号化ビデオ画像
信号を受信し、符号化プロセスを逆転し、前に復号化さ
れた画像内の整合性マクロブロックの相対的な置換を描
写する、動きベクトルを含む制御情報を生成する。この
整合性マクロブロックは、現行で復号化されている予測
ピクチャのマクロブロックに対応する。可変長復号器１
１０は、イントラフレーム符号化が用いられる場合の現
行ビデオ画像（これは残差ビデオ画像として言及され
る）、もしくはインターフレーム符号化が用いられる場
合の現行および予測ビデオ画像間の差分の内いずれかの
ブロックの量子化ＤＣＴ変換係数をもまた受信する。逆
量子化器１２０は量子化されたＤＣＴ変換係数を受信
し、特定のマクロブロック用に量子化されたＤＣＴ係数
を再構築する。特定のブロック用に用いられようとする
量子化マトリックスは、可変長復号器１１０から受信さ
れる。
【００４１】ＩＤＣＴプロセッサ１３０は、再構築され
たＤＣＴ係数を、空間ドメイン内の画素値へ（マクロブ
ロックの輝度または色差成分を表す８×８マトリックス
値の各ブロック用に、そして予測マクロブロックの差分
輝度または差分色差成分を表す８×８マトリックス値の
各ブロック用に）変換する。
【００４２】現行マクロブロックが予測的に符号化され
ない場合には、出力マトリックス値は現行ビデオ画像の
対応マクロブロックの画素値である。マクロブロックが
インターフレーム符号化される場合は、前出のビデオピ
クチャフレーム（基準フレーム）の対応マクロブロック
は、動き補償プロセッサ１５０による使用のためにメモ
リ１６０内に格納される。動き補償プロセッサ１５０
は、動きベクトル（これはエントロピー復号器１１０か
ら受信される）に応答したメモリ１６０から前出のマク
ロブロックを受信する。動き補償プロセッサ１５０は、
その後、前出のマクロブロックを、加算器１４０におい
て現行ＩＤＣＴ変換マクロブロック（現在の予測的符号
化フレームの残差成分に対応している）へ加え、現行ビ
デオ画像のための画像の対応マクロブロックを生成し、
そしてメモリ１６０内へ格納される。
【００４３】ＩＩ．ダウンコンバージョンシステムＡ．概要 図２Ａは、ダウンコンバージョンシステムの例示的な実
施形態のハイレベルブロック図である。図２Ａに示され
るように、ダウンコンバージョンシステムは、可変長復
号器（ＶＬＤ）２１０、ランレングス（Ｒ／Ｌ）復号器
２１２、逆量子化器２１４、および逆離散コサイン変換
（ＩＤＣＴ）プロセッサ２１８を含む。さらに、ダウン
コンバージョンシステムは、ダウンコンバージョンフィ
ルタ（ＤＣＴフィルタ）２１６、平均化フィルタ２４
０、およびダウンサンプリングプロセッサ２３２を、符
号化されたピクチャのフィルタリングのために含む。以
下にはメインプロファイル、ハイレベル符号化入力のた
めの例示的な実施形態が記載されている一方で、ダウン
コンバージョンシステムは、いかなる類似の符号化高解
像度画像ビットストリームをもって実現され得る。
【００４４】ダウンコンバージョンシステムはまた、動
きベクトル（ＭＶ）トランスレータ２２０、高解像度動
きブロック発生器２２４（これはアップサンプリングプ
ロセッサ２２６、半画素発生器２２８、および基準フレ
ームメモリ２２２を含む）をも含む。
【００４５】さらにシステムは、垂直プログラマブルフ
ィルタ（ＶＰＦ）２８２および水平プログラマブルフィ
ルタ（ＨＺＰＦ）２８４を含む、ディスプレイコンバー
ジョンブロック２８０を含む。ディスプレイコンバージ
ョンブロック２８０は、ダウンサンプル化画像を、より
低い解像度を有する特定のディスプレイ上のディスプレ
イのための画像へ変換する。
【００４６】ダウンコンバージョンフィルタ２１６は、
周波数ドメイン内で、高解像度（例えばメインプロファ
イル、ハイレベルＤＣＴ）係数のローパスフィルタリン
グを行う。ダウンサンプリングプロセッサ２３２は、空
間画素値をローパスフィルタにかけられたメインプロフ
ァイル、ハイレベルピクチャの間引きにより除去し、メ
インプロファイル、ハイレベルピクチャを表示するため
に必要とされる解像度よりも低い解像度を有するモニタ
上で表示され得るような画素値の１つのセットを生成す
る。例示的基準フレームメモリ２２２は、ダウンサンプ
ル化ピクチャに対応する解像度を有する少なくとも１つ
の前に復号化された基準フレームに対応する空間画素値
を格納する。非イントラマクロブロック符号化のため
に、ＭＶトランスレータ２２０は解像度における減算と
一致した受信ピクチャの各ブロックのために動きベクト
ルをスケールする。そして低解像度動きブロック発生器
２２４は、基準フレームメモリ２２２により供給された
間引きされた低解像度動きブロックを受信し、これらの
動きブロックをアップサンプル化し、半画素値を発生し
て半画素精度（復号化およびフィルタリングされた差分
画素ブロックへの良好な空間対応を示す）において動き
ブロックを供給する。
【００４７】イントラマクロブロック符号化のためのダ
ウンコンバージョンシステムのこの例示的な実施形態の
操作が、ここで説明される。メインプロファイル、ハイ
レベルビットストリームは、ＶＬＤ２１０により受信さ
れ、復号化される。ＨＤＴＶシステムにより用いられる
ヘッダ情報に加えて、ＶＬＤ２１０は各ブロックおよび
マクロブロックのためのＤＣＴ係数および動きベクトル
情報を供給する。ＤＣＴ係数は、Ｒ／Ｌ復号器２１２に
おいてランレングス復号化され、および逆量子化器２１
４により逆量子化されている。ＶＬＤ２１０およびＲ／
Ｌ復号器２１２は、図１のエントロピー復号器１１０に
対応している。
【００４８】ＤＣＴ係数により表現される受信ビデオ画
像が高解像度ピクチャであることから、各ブロックのＤ
ＣＴ係数は高解像度ビデオ画像の間引き前にローパスフ
ィルタにかけられる。逆量子化器２１４は、ＤＣＴ係数
をＤＣＴフィルタ２１６に供給し、このフィルタ２１６
は、周波数ドメイン内において、ＤＣＴ係数をＩＤＣＴ
プロセッサ２１８に供給する前に、所定のフィルタ係数
値と共にＤＣＴ係数に重みを与えることにより、ローパ
スフィルタリングを行う。例示的な実施形態において、
このフィルタ操作は、ブロック単位でブロック上で行わ
れる。
【００４９】ＩＤＣＴプロセッサ２１８は、フィルタリ
ングされたＤＣＴ係数の逆離散コサイン変換を行うこと
により、空間画素値を供給する。平均化フィルタ２４０
は、空間画素サンプル値を平均化する。ダウンサンプリ
ングプロセッサ２３２は、所定の間引き比率による空間
画素サンプル値を削除することによりピクチャサンプル
サイズを縮小する。従って、より低い解像度ピクチャの
格納は、より高い解像度であるメインプロファイル、ハ
イレベルピクチャを格納するために必要とされるものよ
りも、より小さなフレームメモリ２２２を使用する。
【００５０】非イントラマクロブロック符号化のための
ダウンコンバージョンシステムのこの例示的な実施形態
の操作が、ここで説明される。この例示的な実施形態に
おいて、ＭＰＥＧ規格に従い、現行受信画像のＤＣＴ係
数は、予測画像マクロブロックの残差成分のＤＣＴ係数
を表す。動きベクトルの水平成分はスケールされる。な
ぜなら、メモリ内に格納された前出のフレームの低解像
度標準ピクチャが高解像度予測フレーム（メインプロフ
ァイル、ハイレベル）と同じだけの画素の数を有さない
ためである。
【００５１】図２Ａを参照すると、ＶＬＤ２１０によっ
て提供されたメインプロファイル、ハイレベルビットス
トリームの動きベクトルは、ＭＶトランスレータ２２０
へ供給される。各動きベクトルはＭＶトランスレータ２
２０によりスケールされ、基準フレームメモリ２２２内
に格納された前出の画像の基準フレームの適した予測ブ
ロックを参照する。得られたブロック内におけるサイズ
（画素値の数）は、現行画像を符号化するために用いら
れる対応高解像度ブロックのブロックよりも小さい。結
果として、検索されたブロックは、アップサンプル化さ
れ、ＩＤＣＴプロセッサ２１８により供給された残差ブ
ロックと同じだけの画素の数を有する予測ブロックを形
成する。
【００５２】予測ブロックは、ＭＶトランスレータ２２
０からの制御信号に応答してアップサンプリングプロセ
ッサ２２６によりアップサンプル化され、画素の最初の
高解像度ブロックに対応するブロックを発生する。その
後、半画素値が発生し（半画素値発生器２２８内のアッ
プサンプル化予測ブロック用に動きベクトルにより示さ
れるならば）、予測ブロックの適切な空間整列を確実に
する。アップサンプル化され整列した予測ブロックは、
加算器２３０内において現行フィルタリングされたブロ
ック（この場合の例としては、予測ブロックから低下し
た解像度残差成分）が加えられる。すべての処理は、マ
クロブロック内でマクロブロック単位でなされる。動き
補償プロセスが、アップサンプリングドメイン内の現行
マクロブロックのために終了した後、再構築されたマク
ロブロックは、ダウンサンプリングプロセッサ２３２に
おいてそれに応じて間引きされる。このプロセスは、画
像の解像度を低下させずに、単に低解像度フィルタリン
グされた画像からの冗長画素を取り除く。
【００５３】一度、画像のためのダウンサンプル化マク
ロブロックが利用可能になると、ディスプレイコンバー
ジョンブロック２８０は、低解像度テレビディスプレイ
上のディスプレイのための画像に、ＶＰＦ２８２および
ＨＺＰＦ２８４のそれぞれにおいて、ダウンサンプル化
画像の垂直および水平な成分をフィルタにかけることに
より適合する。Ｂ．平均化フィルタ 図２ＡのＤＣＴフィルタ２１６は、ＩＤＣＴプロセッサ
２１８にＤＣＴ係数を供給する前に、それらを所定のフ
ィルタ係数値で重みづけをすることにより、周波数ドメ
イン内でローパスフィルタリングを行う。ＤＣＴフィル
タ２１６により行われるローパスフィルタリングは、出
力画像におけるエイリアシング歪みを減少する。
【００５４】本発明の例示的な実施形態では、ＤＣＴフ
ィルタ２１６がイントラブロック単位でフィルタを行う
際、フィルタリングは、フィルタにかけられているブロ
ックに近位のブロックに対応する係数値を有さずに行わ
れる。このことは、ブロック境界における滑らかでない
フィルタリングが原因で、ダウンコンバージョンのアー
チファクトを含む出力画像をもたらし得る。これらのダ
ウンコンバージョンアーチファクトは、特に、最初の画
像が上質な細部を有する動画からなる場合、ならびにス
ローパニングおよびズーミングがある場合に、出力画像
において目に見え得る。
【００５５】例示的な実施形態において、ＤＣＴ２１６
は線形シフト不変(linear shift invariant)ではなく、
空間ドメイン内のブロックミラーフィルタと同等であ
る。このブロックミラーは、ＦＩＲフィルタとしてＤＣ
Ｔ係数のブロックの中心にある画素において機能する
が、ブロック境界においては異なる。なぜなら、このブ
ロックミラーフィルタは、ブロック境界を越えた左右の
画素をミラーリングしたと想定し、その後これら入力画
素をフィルタにかけ、ローパス出力を獲得する。この例
示的な実施形態はまた、ブロック境界における滑らかで
ないフィルタリングが原因で、ダウンコンバージョンア
ーチファクトを含む出力画像を生じ得る。
【００５６】図２Ａに示されるこの平均化フィルタ２４
０は、線形シフト不変であり、これらダウンコンバージ
ョンアーチファクトを減少するように設計され得る。
２：１ダウンコンバージョンシステムの例示的な実施形
態において、平均化フィルタ２４０は、２つのタップフ
ィルタであり、これはＩＤＣＴプロセッサ２１８が再構
築されたＤＣＴ係数を空間ドメイン内の画素値へ変換し
た後に、２つの画素を平均化する。
【００５７】ＤＣＴ符号化が８×８画素ブロック上で行
われる場合、および平均化フィルタ２４０が水平な２：
１間引きダウンコンバージョンシステム用にブロック内
フィルタリングを行う場合の例示的な実施形態が、以下
に記される。当業者には公知のように、本発明の教示は
他の次元においても適用され得る。
【００５８】８×８ブロックの入力画素の水平な行を Ｘ＝［ｘ0ｘ1ｘ2ｘ3ｘ4ｘ5ｘ6ｘ7］ と標識化し、かつ対応８×８ブロックの出力画素の水平
な行を Ａ＝［α0α1α2α3α4α5α6α7］ と標識化し、出力画素Ａは以下の式（１）から（４）に
より規定される。
【００５９】 α0＝（ｘ0＋ｘ1）／２； （１） α2＝（ｘ2＋ｘ3）／２； （２） α4＝（ｘ4＋ｘ5）／２； （３） α6＝（ｘ6＋ｘ7）／２； （４） 上記式（１）から（４）を特徴とするフィルタの周波数
応答（ｄＢ 対 周波数であって、ここでπはサンプリ
ング周波数の２分の１である）は、図２Ｂにおいて曲線
２６０により示される。
【００６０】上記の例において、α1、α3、α5、およ
びα7は、ダウンサンプリングプロセッサ２３２により
捨てられ、フィルタは、Ｎが行における画素の数である
（上記の例においては８である）式（５）および（６）
での以下の特性の内、いずれかのように実行され得る。
【００６１】
【数２】
【００６２】または
【００６３】
【数３】
【００６４】Ｃ．マクロブロック予測 前出の画像の基準フレームがダウンサイズされることか
ら、これらのフレームを指向する受信動きベクトルもま
た、コンバージョン比率によりトランスレイションされ
得る。動きトランスレイション（例えば水平方向におけ
る輝度ブロック）について、以下に説明される。垂直方
向における動きトランスレイションが使用されるなら
ば、当業者により以下の説明から容易に応用される。最
初の画像フレーム内の現行マクロブロックアドレスをｘ
およびｙ、水平間引き要素をＤｘ、最初の画像フレーム
の半画素水平動きベクトルをｍｖxで表すと、半画素ユ
ニット内でＸＨで表される、最初の画像フレーム内の動
きブロックの左上の画素のアドレスは、以下の（７）に
より得られる。
【００６５】 ＸＨ＝２ｘ＋ｍｖx （７） 動きブロックに対応する画素はダウンサンプル化画像内
で始まり、そのアドレスは以下の（８）において得られ
る画素ユニット内でｘ*およびｙ*で表される。
【００６６】
【数４】
【００６７】例示的なＤＣＴフィルタ２１６およびダウ
ンサンプリングプロセッサ２３２が、画像の水平成分の
みを減少するために、動きベクトルの垂直成分は影響を
受けない。色差としては、動きベクトルは最初のピクチ
ャ内の輝度動きベクトルの２分の１である。従って、色
差分きベクトルをトランスレイションするための定義も
また、２つの式（７）および（８）を用い得る。
【００６８】２つの工程プロセスにより動き予測が行わ
れる。まず、図２Ａのアップサンプリングプロセッサ２
２６においてダウンサンプル化画像フレームをアップサ
ンプリングすることにより、最初の画像フレーム内の画
素精度動き推定が復元され、次に半画素発生器２２８が
最近位の画素値の平均化により半画素動き推定を行う。
【００６９】最初のピクチャ内の画素に対応する間引き
ピクチャ内の下位画素は、例えばアップサンプリングプ
ロセッサ２２６においてアップサンプリング多相フィル
タを用いて取り込まれ、最初のピクチャ内の動き予測を
与える。加算器２３０において、動き予測がＩＤＣＴプ
ロセッサ２１８の出力信号へ加えられる。加算器２３０
の出力値が、最初のピクチャフォーマット内の低下解像
度画像に対応することから、これらの値はより低い解像
度を有するディスプレイ上でのディスプレイの用にダウ
ンサンプル化され得る。ダウンサンプリングプロセッサ
２３２におけるダウンサンプリングは、実質的に画像フ
レームのサブサンプリングと同等であるが、コンバージ
ョン比率に基づいて調整され得る。例えば、３：１のダ
ウンサンプリングの場合において、水平にダウンサンプ
ル化された画素の数は、各入力マクロブロックにつき６
または５であり、また第１のダウンサンプル化画素は、
常に入力マクロブロック内の第１の画素であるわけでは
ない。
【００７０】ダウンサンプル化画像から正しい動き予測
ブロックを獲得した後、アップサンプリングが最初のピ
クチャ内の対応予測ブロックを得るために必要とされ
る。結果として、動きブロック予測内の下位画素精度
は、ダウンサンプル化ピクチャ内においては望ましい。
動きベクトルが必要とする第１の画素である下位画素
は、ダウンサンプル化動きブロックに加えて決定され
る。そして、後の下位画素位置が、以下に記載されるよ
うなモジューロ演算を用いて決定される。下位画素位置
は、以下の（９）において得られるＸsで表される。
【００７１】
【数５】
【００７２】ここで「％」はモジューロ除算を意味す
る。
【００７３】例えば、Ｘsの範囲は、２：１のアップサ
ンプリングでは０，１である。図３Ａは下位画素位置、
ならびに２：１アップサンプリングにおける対応１７個
の予測画素を示し、表１は図３Ａの記号の説明である。
【００７４】
【表１】
【００７５】すでに記載したように、アップサンプリン
グフィルタはアップサンプリング多相フィルタであり
得、表２Ａは、これらアップサンプリング多相補間フィ
ルタの特性を示す。
【００７６】
【表２】
【００７７】以下の表２Ｂは、例示的な２：１のアップ
サンプリング多相フィルタのための多相フィルタ係数を
示す。
【００７８】
【表３】
【００７９】固定点表示において、表２Ｂの括弧内の数
字は、左にある対応倍精度数を備えた９ビットにおける
２の補数表示である。ダウンサンプル化標準画像フレー
ム内の動き予測ブロックの下位画素位置に依存すると、
多相補間フィルタの相に対応するものが用いられる。ま
た、例示的な実施形態では、左および右にあるより多く
の画素が、ダウンサンプル化画像フレーム内の１７個の
水平画素を補間するために必要とされる。例えば、３：
１の間引きの場合において、各入力マクロブロックにつ
き最大６個の水平ダウンサンプル化画素がある。しか
し、アップサンプリングする際、９個の水平画素が対応
動き予測ブロック値を生成するために必要とされる。な
ぜなら、アップサンプリングフィルタが、フィルタが作
動する境界外で、左および右のより多くの画素を要求す
るためである。例示的な実施形態が半画素動き推定を利
用することから、１６個の半画素を得るために１７個の
画素が必要とされ、この１６個の半画素とは、最初の１
６個の整数画素、あるいは最近位の２つの画素値の平均
値のいずれかであり得る。半画素動き発生器が、このこ
とを扱う。表３は、下位画素位置と多相フィルタ要素と
の間のマッピング、および左の画素（アップサンプリン
グプロセスのために追加で必要とされる）の数を表す。
【００８０】
【表４】
【００８１】図３Ｂは、入力マクロブロックの各行で行
われるアップサンプリングプロセスの概要を示す。初め
に、工程３１０において、処理中の入力画像フレームの
ブロック用の動きベクトルが受信される。工程３１２に
おいて、動きベクトルはメモリ内のダウンサンプル化基
準フレームに対応するようにトランスレイションされ
る。工程３１４において、スケールされた動きベクトル
が、フレームメモリ内に格納された予測ブロックの座標
を取り出すために用いられる。工程３１６において、ブ
ロック用の下位画素点が決定され、そして工程３１８に
おいて、アップサンプリングのための初期多相フィルタ
値が取り出される。格納されたダウンサンプル化基準フ
レームの予測ブロック用の照合された画素は、工程３２
０においてメモリから取り出される。
【００８２】フィルタリング工程３２４における第１パ
スの前に、工程３２２においてレジスタが初期化され、
これは例示的な実施形態では、初期の３または５画素値
を備えるレジスタをロードすることを伴う。そして、フ
ィルタリング工程３２４の後、工程３２６においてプロ
セスは、全ての画素が処理されたかどうかを判定する。
例示的な実施形態において、１７個の画素が処理され
る。全ての画素が処理された場合、アップサンプル化ブ
ロックは終了する。全ての画素の処理が終わっていない
場合、相は工程３２８においてアップデートされ、相は
０値として確認される。相が０の場合、レジスタは多相
フィルタ係数の次のセットのためにアップデートされな
ければならない。そしてレジスタをアップデートする工
程３３２は、入力画素を単にアップデートする。最も左
の画素がブロック境界外にある例外的な事例では、前出
の画素値が繰り返され得る。
【００８３】符号化ストラクチャが、複数のイントラ符
号化フレーム間で、多くの予測フレームから成る場合、
ダウンコンバージョンピクチャ内のスローに動く最初の
画像の再現は、結果的に動きアーチファクトを有する予
測フレームとなり得る。このことは、減少した解像度、
および／または最初の画像の前もしくは後の動きを有す
る再現されたダウンコンバージョンピクチャを生む。次
のイントラ符号化フレームがディスプレイされると、動
きアーチファクトを有するダウンコンバージョン予測ピ
クチャと精密に再現されたピクチャとの間の差異は、視
聴者へ滑らかでない動きをもたらすことになる。例え
ば、予測フレームが最初の画像の動きの前にある場合、
次のイントラ符号化フレームは、動きがそこで逆戻りし
ているような印象を視聴者に与え得る。
【００８４】例示的な実施形態において、図２Ａのダウ
ンコンバージョンシステムは、アップサンプリングプロ
セッサ２２６を含み、このアップサンプリングプロセッ
サは、ダウンサンプリングプロセッサ２３２により間引
きされた画素を補間するためにラグランジュフィルタを
用いる。ラグランジュ補間は当業者には周知であり、本
明細書中において参考として援用しているＡｔｋｉｎｓ
ｏｎによる「Ａｎ Ｉｎｔｒｏｄｕｃｔｉｏｎ ｔｏ
Ｎｕｍｅｒｉｃａｌ Ａｎａｌｙｓｉｓ」１０７−１０
（１９７８年）により教示されている。ラグランジュフ
ィルタを用いることは、等リプルフィルタを用いること
と比べ、上述された動きアーチファクトを減少する。
【００８５】Ｄ．ＤＣＴ係数の重みづけを利用するＤＣ
Ｔドメインフィルタリング ダウンコンバージョンシステムの例示的な実施形態は、
周波数ドメインにおいてＤＣＴ係数を処理するＤＣＴフ
ィルタ２１６を含み、これは空間ドメイン内のローパス
フィルタに取って代わる。ＤＣＴ符号化ピクチャ（例え
ば、ＭＰＥＧまたはＪＰＥＧ規格により企図されるピク
チャ）用の空間ドメインフィルタリングの代わるＤＣＴ
ドメインフィルタリングにはいくつかの利点がある。Ｄ
ＣＴドメインフィルタは、最も顕著に計算的により効果
的であり、空間画素に適用される空間ドメインフィルタ
よりも少ないハードウェアを必要とする。例えば、Ｎタ
ップを有する空間フィルタは、各空間画素サンプル値の
Ｎ乗算およびＮ加算だけ使用し得る。このことはＤＣＴ
ドメインフィルタにおいてはただの１乗算に例えられ
る。
【００８６】最も単純なＤＣＴドメインフィルタは、高
周波数ＤＣＴ係数の切り捨てである。しかし高周波数Ｄ
ＣＴ係数の切り捨てからは滑らかなフィルタは結果的に
得られず、復号化ピクチャにおいてエッジ近くでの「リ
ンギング」のような欠点を有する。本発明の例示的な実
施形態のＤＣＴドメインローパスフィルタは、空間ドメ
イン内のブロックミラーフィルタから得られる。例え
ば、ブロックミラーフィルタ用のフィルタ係数値は空間
ドメイン内で最適化され、そしてこれらの値はＤＣＴド
メインフィルタの係数へ転換される。
【００８７】例示的な実施形態は、水平方向のみにおけ
るＤＣＴドメインフィルタリングを示しているが、ＤＣ
Ｔドメインフィルタリングは、水平方向もしくは垂直方
向のいずれかで、または両方で、水平および垂直フィル
タを組み合わせることにより行われ得る。
【００８８】Ｅ．ＤＣＴドメインフィルタ係数 本発明のある例示的なフィルタが、２つの制約数から導
き出される。第１の制約は、フィルタがブロック上の画
像データをブロック単位で画像の各ブロック用に、同じ
ピクチャの他のブロックから、または前出のピクチャか
らの情報を用いることなく処理することである。第２の
制約は、フィルタが境界画素値を処理する際に起こるブ
ロック境界の視認性をフィルタが下げることである。
【００８９】第１の制約によると、ＭＰＥＧ画像シーケ
ンスのＤＣＴベース圧縮において、Ｎ×ＮＤＣＴ係数の
ブロックは、Ｎ×Ｎ空間画素値のブロックを得る。結果
的に、本発明の例示的な実施形態は、現行で受信される
ピクチャのブロックを処理するだけのＤＣＴドメインフ
ィルタを実現する。
【００９０】第２の制約によると、フィルタが空間画素
値のブロックに単に適用される場合、ブロック境界上の
フィルタリングの遷移があり、これはフィルタの残差を
満たすための境界外で、不十分な数の空間画素値により
引き起こされる。言い換えると、ブロックのエッジは適
切にフィルタにかけられ得ない。なぜなら、Ｎタップフ
ィルタが、Ｎ／２タップのみ用に、または（Ｎ／２）−
１タップ用に（これはＮが奇数であるか、偶数であるか
に依存する）、それぞれの入力画素を有するためであ
る。余った入力画素は、ブロックの境界外にある。画素
値を供給する以下のいくつかの方法が存在する。１）境
界外で所定の定常画素値を繰り返す、２）境界画素値と
同じ画素値を繰り返す、そして３）ブロックの画素値
を、処理されたブロックに近位の画素値の前出および後
のブロックを形成するようにミラーする。前出または後
のブロックの内容にある先の情報なしで、ミラーリング
方法が好ましい方法として考えられる。従って、本発明
の実施形態は、フィルタのためにこのミラーリング方法
を利用し、「ブロックミラーフィルタ」と呼ばれる。
【００９１】ブロックの８入力空間画素サンプル値をロ
ーパスフィルタにかける、水平ブロックミラーフィルタ
を実現する例示的な実施形態が、以下に記載される。入
力ブロックのサイズが画素サンプル値の８×８ブロック
マトリックスであるならば、水平フィルタリングは、ブ
ロックミラーフィルタを８画素サンプル値の各行に適用
することにより行われ得る。フィルタリングプロセス
が、ブロックマトリックスのフィルタ係数を列方向に適
用することにより実現され得、あるいはその多次元フィ
ルタリングは、ブロックマトリックスの行のフィルタリ
ング、そして次に列のフィルタリングにより達成され得
ることは、当業者には明らかとなる。
【００９２】図４は、８入力画素用の例示的なミラーフ
ィルタのための入力画素値ｘ0からｘ7の間の対応（グル
ープＸ０）を示し、これはタップ値ｈ0からｈ14により
表される１５タップ空間フィルタを利用する。入力画素
はグループＸ０の左側（グループＸ１で示される）で、
およびグループＸ０の右側（グループＸ２で示される）
でミラーリングされる。フィルタの出力画素値は、対応
画素サンプル値を備えるフィルタタップ値の１５乗算の
合計である。図４は、第１および第２の出力画素値用の
乗算ペアを示す。
【００９３】Ｆ．ブロックミラーフィルタの例示的な実
施形態 本発明のブロックミラーフィルタの例示的な実施形態
は、以下の工程により得られる。１）一次元ローパス対
称フィルタが、２Ｎタップよりも少ない奇数のタップと
共に選択され、２）フィルタ係数が０でパディングする
ことにより２Ｎ値まで増加され、３）フィルタ係数が、
最初の中心係数が左回転シフトにより０位置まで到達す
るように再編成され、４）再編成されたフィルタ係数の
ＤＦＴ係数が決定され、５）ＤＣＴフィルタ係数が、入
力ブロックの実数ＤＦＴ係数で乗算され、そして６）フ
ィルタリングされたＤＣＴ係数の逆離散コサイン変換
（ＩＤＣＴ）が、ＩＤＣＴ係数で乗算されることにより
行われ、間引きのために準備されたローパスフィルタリ
ングされた画素のブロックを供給する。
【００９４】ローパスフィルタのカットオフ周波数は、
間引き比率により決まる。ある例示的な実施形態とし
て、カットオフ周波数は、２：１間引きにおいてπ／２
であり、ここでπはサンプリング周波数の２分の１であ
る。
【００９５】ＭＰＥＧおよびＪＰＥＧ復号器におけるＤ
ＣＴドメインフィルタは、メモリ要件を減らすことを可
能にする。なぜなら、逆量子化器およびブロックのＩＤ
ＣＴ処理は、従来技術の復号器においてすでに存在して
おり、ＤＣＴドメインフィルタ係数でのＤＣＴ係数の追
加スケラー乗算のみが要求されるためである。従って、
個別のＤＣＴドメインフィルタブロック乗算は、特定の
実行において物理的に要求されない。本発明の別の実施
形態は、単にＤＣＴドメインフィルタ係数をＩＤＣＴ処
理係数と組み合わせる。
【００９６】本発明の例示的なダウンコンバージョンシ
ステムにとって、ＤＣＴ係数の水平フィルタリングおよ
び間引きが考慮される。以下は、７２０Ｖプログレッシ
ブによる１２８０Ｈから、７２０Ｖプログレッシブによ
る６４０Ｈへのコンバージョン（水平の２：１間引き）
の例示的な実行である。
【００９７】表４は、ＤＣＴブロックミラーフィルタ
（重みづけ）係数を示す。「ＤＣＴＤｏｍａｉｎ Ｆｉ
ｌｔｅｒ ｆｏｒ ＡＴＶ Ｄｏｗｎ Ｃｏｎｖｅｒｓ
ｉｏｎ」ＩＥＥＥ Ｔｒａｎｓ． Ｃｏｎｓｕｍｅｒ
Ｅｌｅｃｔｒｏｎｉｃｓ、Ｖｏｌ．４３（４）１０７４
−８（１９９７）において、Ｋｉｍらにより教示されて
いるように、空間ドメインにおけるブロックミラーフィ
ルタは、ＤＣＴドメイン内でＤＣＴ係数に重みをつける
ことにより、実現され得る。表４の括弧内の数字は、１
０ビットにおける２の補数表示である。表４の「*」
は、値が１よりも大きいために、１０ビットにおける２
の補数表示用の範囲外の値を意味する。しかし、当業者
には公知のように、*で示される値によりブロックの列
係数の乗算は、係数値をフィルタ値の端数値（余り）で
乗算した係数に加えることにより容易に実現され得る。
【００９８】
【表５】
【００９９】これらの水平ＤＣＴフィルタ係数は、符号
化ビデオ画像の８×８ＤＣＴ係数のブロック内にある各
列に重みづけを行う。例えば、列０のＤＣＴ係数はＨ
［０］により重みづけされ、そして第１列のＤＣＴ係数
はＨ［１］により重みづけされ、同じように続いてい
く。
【０１００】表４の係数を特徴とするダウンコンバージ
ョンフィルタの周波数応答（ｄＢ対 周波数）は、図５
において曲線５１０により示される。表４の係数を特徴
とするダウンコンバージョンフィルタとカスケードされ
た式（１）から（４）を特徴とする平均化フィルタの周
波数応答（ｄＢ 対 周波数）は、図６において曲線６
１０により示される。
【０１０１】上記の説明は、一次元ＤＣＴを用いる水平
フィルタの実現を図示する。デジタル信号処理技術にお
いて公知のように、そのような処理は二次元システムに
応用され得る。二次元システムでは、入力シーケンスは
値のマトリックスとして表され、シーケンスを列シーケ
ンスにおいて周期Ｍを備えた周期のように示し、行シー
ケンスにおいて周期Ｎを備えた周期のように示し、Ｎお
よびＭは整数である。二次元ＤＣＴは、入力シーケンス
の列上で行われる一次元ＤＣＴ、そして次にＤＣＴ処理
された入力シーケンスの行上で行われる第２の一次元Ｄ
ＣＴとして実現され得る。また、当該分野において公知
のように、二次元ＩＤＣＴは、単一プロセスとして実現
され得る。
【０１０２】Ｇ．ダウンサンプリング ダウンサンプリングは、ダウンサンプリングプロセッサ
２３２により達成され、ダウンコンバージョンされる画
像内の画素の数を減少する。図７は、２：１の間引きに
おいて４：２：０色差タイプのために入力および間引き
された出力画素を示す。表５は、図７の輝度画素および
色差画素を照合するための説明である。図７のダウンコ
ンバージョン前後の画素位置は、２：１間引きの際のプ
ログレッシブな場合を示す。
【０１０３】
【表６】
【０１０４】プログレッシブフォーマット画像のダウン
サンプリング（７２０画素サイズによる１２８０から、
７２０画素サイズによる６４０へのコンバージョンであ
り得る）として、輝度信号は２つに１つのサンプルのた
めに水平方向にサブサンプル化される。言い換えると、
２つに１つの画素が水平方向軸上で間引きされる。色差
信号のために、ダウンサンプル化画素は、ちょうど最初
の画素よりも下の半画素である。最初のマクロブロック
内の画素および間引きされた画素が図７に示される。
【０１０５】ビデオ画像を表現する符号化ビデオ信号か
ら低解像度２：１ダウンコンバートされたビデオ信号を
形成する装置を含む、ＨＤＴＶダウンコンバージョンシ
ステム。符号化ビデオ信号は、動き予測を備えた周波数
ドメイン変換高解像度ビデオ信号である。装置は、符号
化ビデオ信号を複数の高解像度周波数ドメインビデオ係
数値として受信するレシーバを含む。ダウンコンバージ
ョンフィルタは、高解像度周波数ドメインビデオ係数値
を受信し、重みづけを行い、ローパスされた周波数ドメ
インビデオ係数のセットを形成する。逆変換プロセッサ
は、周波数ドメインビデオ係数のセットを、画素値のセ
ットへ変換する。平均化フィルタは、画素値のセットに
おいて選択された画素値を平均化画素値へ変換する。間
引きプロセッサは、選択された画素値のセットを消去
し、低解像度ビデオ信号を供給する。
【０１０６】本明細書中において、本発明の例示的な実
施形態が示され、説明されているが、このような実施形
態は例としてのみ提供されていることは理解される。本
発明の精神から逸脱することなく、当業者により数多く
の多様化、変更、および代替が生じ得る。従って、添付
の特許請求の範囲が本発明の範囲内にある全てのそのよ
うな多様化を網羅することが意図される。
【０１０７】
【発明の効果】ビデオ画像を表現する符号化ビデオ信号
から低解像度２：１ダウンコンバートされたビデオ信号
を形成する装置が提供される。符号化ビデオ信号は、周
波数ドメイン変換高解像度ビデオ信号である。装置は、
符号化ビデオ信号を複数の高解像度周波数ドメインビデ
オ係数値として受信する手段を含む。ダウンコンバージ
ョンフィルタ手段は、選択された高解像度周波数ドメイ
ンビデオ係数値を受信し、重みづけし、周波数ドメイン
ビデオ係数のセットを形成し、逆変換手段はこのセット
を画素値のセットへ変換する。平均化フィルタ手段は、
画素値のセットにおいて選択された画素値を、平均化画
素値へ変換する。間引き手段は、選択された画素値のセ
ットを消去し、低解像度ビデオ信号を供給する。
【図面の簡単な説明】
【図１】従来技術のビデオ復号化システムを示すハイレ
ベルブロック図である。
【図２Ａ】ダウンコンバージョンシステムの例示的な実
施形態を示すハイレベルブロック図である。
【図２Ｂ】本発明の例示的な実施形態による平均化フィ
ルタの周波数応答特性を示す図である。
【図３Ａ】２：１ダウンコンバージョンシステムの例示
的な実施形態のための下位画素位置および対応予測画素
を示す図である。
【図３Ｂ】例示的なダウンコンバージョンシステムのた
めの入力マクロブロックの各行において行われるアップ
サンプリングプロセスを示す図である。
【図４】ブロックミラーフィルタの例示的な実施形態の
第１および第２の出力画素値のための乗算ペアを示す図
である。
【図５】本発明の例示的な実施形態によるダウンコンバ
ージョンフィルタの周波数応答特性を示す図である。
【図６】本発明の例示的な実施形態によるカスケード平
均化フィルタおよびダウンコンバージョンフィルタの周
波数応答特性を示す図である。
【図７】２：１間引きを用いた４：２：０ビデオ信号の
ための入力および間引き出力画素を示す図である。
【符号の説明】
１１０ エントロピー復号器 １２０ 逆量子化器 １３０ 逆離散コサイン変換プロセッサ １４０ 加算器 １５０ 動き補償プロセッサ １６０ メモリ １７０ 制御器 １８０ ブロック−ラスタ変換器 ２１０ 可変長復号器（ＶＬＤ） ２１２ ランレングス（Ｒ／Ｌ）復号器 ２１４ 逆量子化器 ２１６ ダウンコンバージョンフィルタ（ＤＣＴフィル
タ） ２１８ 逆離散コサイン変換（ＩＤＣＴ）プロセッサ ２２０ ＭＶトランスレータ ２２２ 基準フレームメモリ ２２４ 高解像度動きブロック発生器 ２２６ アップサンプル ２２８ 半画像発生器 ２３２ ダウンサンプル化プロセッサ ２４０ 平均化フィルタ ２８０ ディスプレイコンバージョンブロック ２８２ 垂直プログラマブルフィルタ ２８４ 水平プログラマブルフィルタ
【手続補正書】
【提出日】平成１２年１月２０日（２０００．１．２
０）
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正内容】
【特許請求の範囲】
【数１】 ここでｘ（ｉ）は該画素値のＮ×Ｎブロックの水平な行
における入力画素を表し、α（ｉ）は対応平均化画素値
を表し、前記第２の画素値のブロックが平均化画素値α
（ｉ）のみを含み、よって該平均化手段は前記間引き手
段を含む、請求項５に記載の低解像度ビデオ信号を形成
する装置。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ラリー フィリップス アメリカ合衆国 ニュージャージー 08003， チェリー ヒル， ハイゲート コート ５

Claims (21)

    【特許請求の範囲】
  1. 【請求項１】 ビデオ画像を表現する符号化ビデオ信号
    から低解像度ビデオ信号を形成する装置であって、該符
    号化ビデオ信号は周波数ドメイン変換高解像度ビデオ信
    号であり、該装置は、 該符号化ビデオ信号を複数の高解像度周波数ドメインビ
    デオ係数値として受信する受信手段と、 ローパスフィルタリングされた周波数ドメインビデオ係
    数のセットを形成するために、該複数の高解像度周波数
    ドメインビデオ係数値を受信し、重みづけを行うダウン
    コンバージョンフィルタ手段と、 該ローパスフィルタリングされた周波数ドメインビデオ
    係数のセットを受信し、第１の画素値のセットへ変換す
    る逆変換手段と、 該第１の画素値のセットを受信し、該第１の画素値のセ
    ット内の選択された該画素値を、平均化画素値へ変換す
    る平均化フィルタ手段であって、該平均化画素値を含む
    第２の画素値のセットを供給する、手段と、 該低解像度ビデオ信号を供給するために、該第２の画素
    値のセット内の選択された該画素値を消去する間引き手
    段と、を含む装置。
  2. 【請求項２】 前記平均化フィルタ手段が、前記第１の
    画素値のセット内の全ての前記画素値を、平均化画素値
    へ変換する、請求項１に記載の低解像度ビデオ信号を形
    成する装置。
  3. 【請求項３】 前記平均化フィルタ手段が、前記第１の
    画素値セット内の前記画素値の内、連続したペアのみを
    平均化画素値へ変換し、前記第２の画素値のセットが該
    平均化画素値のみを含み、よって該平均化手段が前記間
    引き手段を含む、請求項１に記載の低解像度ビデオ信号
    を形成する装置。
  4. 【請求項４】 請求項１に記載の低解像度ビデオ信号を
    形成する装置であって、前記符号化ビデオ信号が、動き
    予測を備える残差ビデオ画像を表現し、該装置は、 前出フレームの動き補償ビデオ信号成分を、前記残差ビ
    デオ画像の前記平均化画素値を含む前記第２の画素値の
    セットに加える合計手段であって、合計された画素値の
    セットを供給する手段をさらに含み、 前記間引き手段が、選択された該合計された画素値のセ
    ットを消去し、前記低解像度ビデオ信号を供給する、装
    置。
  5. 【請求項５】 前記受信手段は、前記符号化ビデオ信号
    を受信し、高解像度周波数ドメインビデオ係数値のブロ
    ックを前記ダウンコンバージョンフィルタ手段に供給
    し、 該ダウンコンバージョンフィルタ手段は、該高解像度周
    波数ドメインビデオ係数値のブロックを受信し、重みづ
    けされた周波数ドメインビデオ係数のブロックを発生
    し、 前記逆変換手段は、該重みづけされた周波数ドメインビ
    デオ係数のブロックを第１の画素値のブロックへ変換
    し、 前記平均化フィルタ手段は、該第１の画素値のブロック
    内において選択された該画素値を平均化画素値へ変換す
    ることにより、該第１の画素値のブロックを第２の画素
    値のブロックへ変換し、 前記間引き手段は、該第２の画素値のブロックから、選
    択された該画素値を消去し、前記低解像度ビデオ信号を
    供給する、請求項１に記載の低解像度ビデオ信号を形成
    する装置。
  6. 【請求項６】 前記受信手段は、前記符号化ビデオ信号
    を受信し、高解像度周波数ドメインビデオ係数値のブロ
    ックを前記ダウンコンバージョンフィルタ手段に供給
    し、 該ダウンコンバージョンフィルタ手段は、該高解像度周
    波数ドメインビデオ係数値のブロックを受信し、重みづ
    けされた周波数ドメインビデオ係数のブロックを発生
    し、 前記逆変換手段は、該重みづけされた周波数ドメインビ
    デオ係数のブロックを第１の画素値のブロックへ変換
    し、 前記平均化フィルタ手段は、該第１の画素値のブロック
    内における該画素値の全てを平均化画素値へ変換するこ
    とにより、該第１の画素値のブロックを第２の画素値の
    ブロックへ変換し、 前記間引き手段は、該第２の画素値のブロックの選択さ
    れた平均化画素値を消去する間引き手段であって、前記
    低解像度ビデオ信号を供給する、請求項１に記載の低解
    像度ビデオ信号を形成する装置。
  7. 【請求項７】 前記ダウンコンバージョンフィルタ手段
    が、空間ドメインにおいてブロックミラーフィルタと同
    等である、請求項５に記載の低解像度ビデオ信号を形成
    する装置。
  8. 【請求項８】 前記受信手段が、高解像度周波数ドメイ
    ンビデオ係数値のＮ×Ｎブロックを前記ダウンコンバー
    ジョンフィルタに供給し、 前記平均化フィルタ手段が、以下の式による画素値を処
    理し、 【数１】 ここでｘ（ｉ）は該画素値のＮ×Ｎブロックの水平な行
    における入力画素を表し、α（ｉ）は対応平均化画素値
    を表し、前記第２の画素値のブロックが平均化画素値α
    （ｉ）のみを含み、よって該平均化手段は前記間引き手
    段を含む、請求項５に記載の低解像度ビデオ信号を形成
    する装置。
  9. 【請求項９】 前記平均化フィルタ手段が双線形フィル
    タ(bi-linear filter)である、請求項１に記載の低解像
    度ビデオ信号を形成する装置。
  10. 【請求項１０】 請求項５に記載の低解像度ビデオ信号
    を形成する装置であって、前記符号化ビデオ信号が、動
    き予測を備える残差ビデオ画像を表現し、該装置は、 該符号化ビデオ信号の前出フレームに対応する低解像度
    間引きビデオ信号を格納するメモリ手段と、 該格納された低解像度間引きビデオ信号を、該前出フレ
    ームに対応する低解像度動き補償ビデオ信号画素値のブ
    ロックへ変換するアップサンプリング手段と、 該前出フレームに対応する該低解像度動き補償ビデオ信
    号画素値のブロックを、前記第２の画素値のブロックに
    加える合計手段であって、合計された画素値のブロック
    を供給する、手段とを含み、 前記間引き手段が、該合計された画素値のブロックから
    選択された画素値を消去し、該低解像度ビデオ信号を供
    給する、装置。
  11. 【請求項１１】 前記アップサンプリング手段が、ラグ
    ランジュ補間を用いて、前記前出フレームに対応する前
    記格納された低解像度間引きビデオ信号を、該前出フレ
    ームに対応する前記低解像度動き補償ビデオ信号画素値
    のブロックへ変換する、請求項１０に記載の低解像度ビ
    デオ信号を形成する装置。
  12. 【請求項１２】 ビデオ画像を表現する符号化ビデオ信
    号から低解像度ビデオ信号を形成する方法であって、該
    符号化ビデオ信号は周波数ドメイン変換高解像度ビデオ
    信号であり、該方法は、 （ａ） 該符号化ビデオ信号を複数の高解像度周波数ド
    メインビデオ係数値として受信する工程と、 （ｂ） ローパスフィルタリングされた周波数ドメイン
    ビデオ係数のセットを形成するために、該複数の高解像
    度周波数ドメインビデオ係数値のセットに重みづけを行
    う工程と、 （ｃ） 該ローパスフィルタリングされた周波数ドメイ
    ンビデオ係数のセットを第１の画素値のセットへ変換す
    る工程と、 （ｄ） 第１の画素値のセットにおいて選択された該画
    素値を、平均化画素値へ変換し、該平均化画素値を含む
    第２の画素値のセットを供給する工程と、 （ｅ） 該低解像度ビデオ信号を供給するために、該第
    ２の画素値のセットにおいて選択された該画素値を消去
    する工程と、を含む方法。
  13. 【請求項１３】 工程（ｄ）において、前記第１の画素
    値のセット内における全ての画素値が、平均化画素値へ
    変換される、請求項１２に記載の低解像度ビデオ信号を
    形成する方法。
  14. 【請求項１４】 工程（ｄ）において、後に工程（ｅ）
    で消去されない前記画素値のみが、平均化画素値へ変換
    される、請求項１２に記載の低解像度ビデオ信号を形成
    する方法。
  15. 【請求項１５】 請求項１２に記載の低解像度ビデオ信
    号を形成する方法であって、前記符号化ビデオ信号が動
    き予測を備える残差ビデオ信号を表現し、該方法は、 合計された画素値のセットを供給するために、前出フレ
    ームの動き補償ビデオ信号成分を、該残差ビデオ画像の
    前記平均化画素値を含む、前記第２の画素値のセットに
    加える工程をさらに含み、 該低解像度ビデオ信号を供給するために、該合計された
    画素値のセットの選択されたものが消去される、方法。
  16. 【請求項１６】 工程（ａ）において、前記符号化ビデ
    オ信号が前記ビデオ画像の画素のブロックを表現する高
    解像度周波数ドメインビデオ係数値のブロックとして受
    信され、 工程（ｂ）において、該高解像度周波数ドメインビデオ
    係数値のブロックが、重みづけされた周波数ドメインビ
    デオ係数のブロックを形成するように重みづけされ、 工程（ｃ）において、該重みづけされた周波数ドメイン
    ビデオ係数のブロックが第１の画素値のブロックへ変換
    され、 工程（ｄ）において、該第１の画素値のブロック内にお
    ける選択された該画素値が平均化画素値へ変換され、平
    均化画素値を含む第２の画素値のブロックが供給され、 工程（ｅ）において、前記低解像度ビデオ信号を発生す
    るために、非平均化画素値が該平均化画素値のブロック
    から消去される、請求項１２に記載の低解像度ビデオ信
    号を形成する方法。
  17. 【請求項１７】 工程（ｄ）において、前記動きアーチ
    ファクトを減少するために、前記第１の画素値のブロッ
    ク内における全ての前記画素値が平均化画素値へ変換さ
    れ、 工程（ｅ）において、前記低解像度ビデオ信号を発生す
    るために、前記第２の画素値のブロックの選択された平
    均化画素値が消去される、請求項１６に記載の低解像度
    ビデオ信号を形成する方法。
  18. 【請求項１８】 工程（ｂ）における前記高解像度周波
    数ドメインビデオ係数値を前記重みづけする工程が、空
    間ドメインにおけるブロックミラーフィルタリングと同
    等である、請求項１６に記載の低解像度ビデオ信号を形
    成する方法。
  19. 【請求項１９】 請求項１６に記載の低解像度ビデオ信
    号を形成する方法であって、前記符号化ビデオ信号が動
    き予測備える残差ビデオ信号を表現し、該方法は、 （ｆ） 該符号化信号の前出フレームに対応する低解像
    度間引きビデオ信号を格納する工程と、 （ｇ） 格納された該低解像度間引きビデオ信号を、該
    前出フレームに対応する低解像度動き補償ビデオ信号画
    素値のブロックへ変換する工程と、 （ｈ） 合計された画素値のブロックを供給するため
    に、該前出フレームに対応する低解像度動き補償ビデオ
    信号画素値のブロックを、画素値の前記第２のブロック
    へ加える工程とをさらに含み、 工程（ｅ）において、前記低解像度ビデオ信号を供給す
    るために、該合計された画素値のブロックから選択され
    た画素値が消去される、方法。
  20. 【請求項２０】 工程（ｇ）において、ラグランジュ補
    間が、前記前出フレームに対応する前記格納された低解
    像度間引きビデオ信号を、該前出フレームに対応する低
    解像度動き補償ビデオ信号画素値のブロックへ変換する
    ために使用される、請求項１９に記載の低解像度ビデオ
    信号を形成する方法。
  21. 【請求項２１】 ビデオ画像を表現する符号化ビデオ信
    号から低解像度ビデオ信号を形成する装置であって、該
    符号化ビデオ信号は周波数ドメイン変換高解像度ビデオ
    信号であり、該装置は、 該符号化ビデオ信号を複数の高解像度周波数ドメインビ
    デオ係数値として受信する受信手段と、 周波数ドメインビデオ係数のセットを形成するために、
    該複数の高解像度周波数ドメインビデオ係数値の選択さ
    れたものを受信し、重みづけするダウンコンバージョン
    フィルタ手段と、 該周波数ドメインビデオ係数のセットを受信し、第１の
    画素値のセットへ変換する逆変換手段と、 該第１の画素値のセットを受信し、該第１の画素値のセ
    ットにおいて選択された該画素値を、平均化画素値へ変
    換する平均化フィルタ手段であって、該平均化画素値を
    含む第２の画素値のセットを供給する、手段と、 前記低解像度ビデオ信号を供給するために、該第２の画
    素値のセットにおいて選択された該画素値を消去する間
    引き手段と、を含む装置。
JP29035399A 1998-10-09 1999-10-12 ２：１間引きにおける効果的なダウンコンバージョン Expired - Fee Related JP3631642B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/169,296 US6487249B2 (en) 1998-10-09 1998-10-09 Efficient down conversion system for 2:1 decimation
US09/169.296 1998-10-09

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2004162602A Division JP2004312765A (ja) 1998-10-09 2004-05-31 ２：１間引きにおける効果的なダウンコンバージョン

Publications (2)

Publication Number Publication Date
JP2000172237A true JP2000172237A (ja) 2000-06-23
JP3631642B2 JP3631642B2 (ja) 2005-03-23

Family

ID=22615071

Family Applications (2)

Application Number Title Priority Date Filing Date
JP29035399A Expired - Fee Related JP3631642B2 (ja) 1998-10-09 1999-10-12 ２：１間引きにおける効果的なダウンコンバージョン
JP2004162602A Withdrawn JP2004312765A (ja) 1998-10-09 2004-05-31 ２：１間引きにおける効果的なダウンコンバージョン

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2004162602A Withdrawn JP2004312765A (ja) 1998-10-09 2004-05-31 ２：１間引きにおける効果的なダウンコンバージョン

Country Status (6)

Country Link
US (1) US6487249B2 (ja)
EP (1) EP0993198A3 (ja)
JP (2) JP3631642B2 (ja)
KR (1) KR100707116B1 (ja)
CN (1) CN1162008C (ja)
CA (1) CA2285751A1 (ja)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6618443B1 (en) * 1997-03-12 2003-09-09 Matsushita Electric Industrial Co., Ltd. Upsampling filter for a down conversion system
US6222944B1 (en) * 1998-05-07 2001-04-24 Sarnoff Corporation Down-sampling MPEG image decoder
US6470051B1 (en) * 1999-01-25 2002-10-22 International Business Machines Corporation MPEG video decoder with integrated scaling and display functions
JP2000333171A (ja) * 1999-05-12 2000-11-30 Neucore Technol Inc 画像処理装置
US6590938B1 (en) * 1999-09-30 2003-07-08 Conexant Systems, Inc. DCT domain conversion of a higher definition signal to lower definition signal
GB0026846D0 (en) * 2000-11-03 2000-12-20 Clayton John C Motion compensation of images
US7649947B2 (en) * 2001-06-05 2010-01-19 Qualcomm Incorporated Selective chrominance decimation for digital images
US7630566B2 (en) * 2001-09-25 2009-12-08 Broadcom Corporation Method and apparatus for improved estimation and compensation in digital video compression and decompression
US20030095603A1 (en) * 2001-11-16 2003-05-22 Koninklijke Philips Electronics N.V. Reduced-complexity video decoding using larger pixel-grid motion compensation
US7596179B2 (en) * 2002-02-27 2009-09-29 Hewlett-Packard Development Company, L.P. Reducing the resolution of media data
US7006572B2 (en) * 2002-05-09 2006-02-28 Mitsubishi Electric Research Labs, Inc. Method and apparatus for decoding video bitstreams to reduced spatial resolutions
KR100468786B1 (ko) * 2003-04-02 2005-01-29 삼성전자주식회사 방향성을 예측하고 다항식 필터로 보간을 수행하여스케일링 해상도를 높이는 보간기, 이를 구비한 스케일링장치, 및 그 방법
KR100798162B1 (ko) * 2003-04-10 2008-01-28 닛본 덴끼 가부시끼가이샤 동화상 압축 부호화 방식 변환 장치 및 동화상 통신 시스템
US7450831B2 (en) * 2003-04-16 2008-11-11 Lsi Corporation Method for DVD-subpicture compositing in 420 chroma format
US7129987B1 (en) 2003-07-02 2006-10-31 Raymond John Westwater Method for converting the resolution and frame rate of video data using Discrete Cosine Transforms
EP1665804A1 (en) * 2003-09-17 2006-06-07 Thomson Licensing S.A. Adaptive reference picture generation
US7660487B2 (en) * 2003-12-10 2010-02-09 Sony Corporation Image processing method and apparatus with image resolution conversion related to relative movement detection
JP2005287006A (ja) * 2004-03-05 2005-10-13 Canon Inc 画像処理方法、画像処理プログラム、画像処理プログラムを記録した記録媒体及び画像処理装置
KR100611179B1 (ko) * 2004-06-23 2006-08-10 삼성전자주식회사 영상처리장치
FR2876860A1 (fr) * 2004-10-20 2006-04-21 Thomson Licensing Sa Procede de codage hierarchique d'images video
US8385427B2 (en) * 2005-04-15 2013-02-26 Apple Inc. Reduced resolution video decode
TWI444047B (zh) * 2006-06-16 2014-07-01 Via Tech Inc 用於視訊解碼的去方塊效應濾波器、視訊解碼器與圖形處理單元
GB2445982A (en) * 2007-01-24 2008-07-30 Sharp Kk Image data processing method and apparatus for a multiview display device
KR20080079392A (ko) * 2007-02-27 2008-09-01 동서대학교산학협력단 적응적 영상 보간 장치 및 방법
CN101399991B (zh) * 2007-09-26 2010-11-10 华为技术有限公司 一种视频解码的方法和装置
US8306121B2 (en) * 2008-03-17 2012-11-06 Ati Technologies Ulc Method and apparatus for super-resolution of images
CN102726044B (zh) 2010-01-22 2016-08-10 汤姆逊许可证公司 使用基于示例的超分辨率的用于视频压缩的数据剪切
EP2526698A1 (en) * 2010-01-22 2012-11-28 Thomson Licensing Methods and apparatus for sampling -based super resolution video encoding and decoding
US9544598B2 (en) 2010-09-10 2017-01-10 Thomson Licensing Methods and apparatus for pruning decision optimization in example-based data pruning compression
WO2012033970A1 (en) 2010-09-10 2012-03-15 Thomson Licensing Encoding of a picture in a video sequence by example - based data pruning using intra- frame patch similarity
US9602819B2 (en) * 2011-01-31 2017-03-21 Apple Inc. Display quality in a variable resolution video coder/decoder system
US10277915B2 (en) * 2011-11-07 2019-04-30 Qualcomm Incorporated Signaling quantization matrices for video coding
US8793724B2 (en) 2012-11-08 2014-07-29 Eldon Technology Limited Image domain compliance
ITTO20130032A1 (it) 2013-01-15 2014-07-16 St Microelectronics Srl Procedimento ed apparecchiatura per calcolare piramidi di immagini e prodotto informatico relativo
CN104200766B (zh) * 2014-08-27 2017-02-15 深圳市华星光电技术有限公司 画面补偿方法及具有画面补偿的显示器
WO2016110943A1 (ja) * 2015-01-06 2016-07-14 日立マクセル株式会社 映像表示装置、映像表示方法、及び映像表示システム
WO2018136907A1 (en) * 2017-01-23 2018-07-26 Duke University Systems and methods for psycho-signal processing
US11676242B2 (en) 2018-10-25 2023-06-13 Sony Group Corporation Image processing apparatus and image processing method
WO2020142468A1 (en) * 2018-12-31 2020-07-09 Beijing Dajia Internet Information Technology Co., Ltd. Picture resolution dependent configurations for video coding
US11102487B2 (en) * 2019-08-30 2021-08-24 Adobe Inc. Image resampling for DCT based image encoding formats using memory efficient techniques

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4261043A (en) * 1979-08-24 1981-04-07 Northrop Corporation Coefficient extrapolator for the Haar, Walsh, and Hadamard domains
DE3177299T4 (de) 1980-04-11 1994-05-26 Ampex Bildverarbeitungssystem für räumliche Bildtransformation.
WO1982003741A1 (en) 1981-04-10 1982-10-28 Bennett Phillip Patrick System for spatially transforming images
ATE45639T1 (de) 1981-04-10 1989-09-15 Ampex Steuerung fuer ein geraet zur raeumlichen transformation von bildern.
JPS58219841A (ja) 1982-06-15 1983-12-21 Kokusai Denshin Denwa Co Ltd <Kdd> 標本化周波数の高速変換回路
US4602273A (en) * 1983-08-30 1986-07-22 Rca Corporation Interpolated progressive-scan television display with line-crawl artifact filtration
US4652908A (en) 1985-03-25 1987-03-24 Rca Corporation Filtering system for processing a reduced-resolution video image
JP2592810B2 (ja) 1986-09-30 1997-03-19 株式会社東芝 サンプルレート変換回路
US4774581A (en) 1987-04-14 1988-09-27 Rca Licensing Corporation Television picture zoom system
US5028995A (en) 1987-10-28 1991-07-02 Hitachi, Ltd. Picture signal processor, picture signal coder and picture signal interpolator
US5057911A (en) 1989-10-19 1991-10-15 Matsushita Electric Industrial Co., Ltd. System and method for conversion of digital video signals
US5367334A (en) 1991-05-20 1994-11-22 Matsushita Electric Industrial Co., Ltd. Video signal encoding and decoding apparatus
US5262854A (en) 1992-02-21 1993-11-16 Rca Thomson Licensing Corporation Lower resolution HDTV receivers
JP3158648B2 (ja) 1992-04-30 2001-04-23 ソニー株式会社 ディジタル特殊効果発生装置
US5331346A (en) 1992-10-07 1994-07-19 Panasonic Technologies, Inc. Approximating sample rate conversion system
KR970000761B1 (ko) 1992-10-07 1997-01-18 대우전자 주식회사 소형 디지탈 방식 고선명 텔레비젼
US5274372A (en) 1992-10-23 1993-12-28 Tektronix, Inc. Sampling rate conversion using polyphase filters with interpolation
JP3093494B2 (ja) 1992-11-18 2000-10-03 株式会社東芝 多様性信号処理装置
US5614952A (en) * 1994-10-11 1997-03-25 Hitachi America, Ltd. Digital video decoder for decoding digital high definition and/or digital standard definition television signals
US5477397A (en) 1993-02-23 1995-12-19 Matsushita Electric Corporation Of America Digital high definition television receiver with features that facilitate trick-play modes on a digital VCR
US5644361A (en) 1994-11-30 1997-07-01 National Semiconductor Corporation Subsampled frame storage technique for reduced memory size
US5528301A (en) 1995-03-31 1996-06-18 Panasonic Technologies, Inc. Universal video format sample size converter
EP0835589A1 (en) 1995-06-29 1998-04-15 THOMSON multimedia System for encoding and decoding layered compressed video data
US5737019A (en) 1996-01-29 1998-04-07 Matsushita Electric Corporation Of America Method and apparatus for changing resolution by direct DCT mapping
US5708732A (en) * 1996-03-06 1998-01-13 Hewlett-Packard Company Fast DCT domain downsampling and inverse motion compensation
US6175592B1 (en) * 1997-03-12 2001-01-16 Matsushita Electric Industrial Co., Ltd. Frequency domain filtering for down conversion of a DCT encoded picture
WO1998041011A1 (en) * 1997-03-12 1998-09-17 Matsushita Electric Industrial Co., Ltd. Hdtv downconversion system
US6222944B1 (en) * 1998-05-07 2001-04-24 Sarnoff Corporation Down-sampling MPEG image decoder

Also Published As

Publication number Publication date
JP3631642B2 (ja) 2005-03-23
US6487249B2 (en) 2002-11-26
CN1259830A (zh) 2000-07-12
CN1162008C (zh) 2004-08-11
JP2004312765A (ja) 2004-11-04
EP0993198A2 (en) 2000-04-12
EP0993198A3 (en) 2001-01-31
US20010055340A1 (en) 2001-12-27
KR20000028962A (ko) 2000-05-25
KR100707116B1 (ko) 2007-04-16
CA2285751A1 (en) 2000-04-09

Similar Documents

Publication Publication Date Title
JP3631642B2 (ja) ２：１間引きにおける効果的なダウンコンバージョン
US6249549B1 (en) Down conversion system using a pre-decimation filter
KR100667606B1 (ko) 다운 변환 시스템용 업 샘플링 필터
EP0908057B1 (en) Upsampling filter and half-pixel generator for an hdtv downconversion system
US6175592B1 (en) Frequency domain filtering for down conversion of a DCT encoded picture
US7263231B2 (en) Method and apparatus for performing video image decoding
US7630583B2 (en) Circuit and method for decoding an encoded version of an image having a first resolution directly into a decoded version of the image having a second resolution
EP1101358B1 (en) Encoding a video signal with high resolution encoding for regions of interest
WO1998041012A9 (en) Mpeg decoder providing multiple standard output signals
JPH09214972A (ja) デコーダ回路、ｍｐｅｇビデオストリーム復号化方法およびコンピュータ
JP2000032463A (ja) 映像情報をサイズ変更する方法及び装置
EP0973337A2 (en) System for deriving a decoded reduced-resolution video signal from a coded high-definition video signal
KR100563015B1 (ko) Hdtv다운컨버젼시스템을위한업샘플링필터와하프-픽셀발생기
KR100518477B1 (ko) Hdtv다운변환시스템
JP2000244907A (ja) デジタルビデオデータの復号化とフォーマット変換用の低コストビデオ復号器

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20040330

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040531

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20040610

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20041202

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20041217

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071224

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081224

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees