JP2000156858A - ダウンコンバ―ジョンシステム用アップサンプリングフィルタ - Google Patents

ダウンコンバ―ジョンシステム用アップサンプリングフィルタ

Info

Publication number
JP2000156858A
JP2000156858A JP11284942A JP28494299A JP2000156858A JP 2000156858 A JP2000156858 A JP 2000156858A JP 11284942 A JP11284942 A JP 11284942A JP 28494299 A JP28494299 A JP 28494299A JP 2000156858 A JP2000156858 A JP 2000156858A
Authority
JP
Japan
Prior art keywords
video signal
pixel values
resolution
low
values corresponding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP11284942A
Other languages
English (en)
Inventor
Kim Hee-Yong
キム ヒー−ヨン
Edwin R Meyer
ロバート メイヤー エドウィン
Saiprasad Naimpally
ネイムパリー サイプラサド
Philips Lally
フィリップス ラリー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of JP2000156858A publication Critical patent/JP2000156858A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/015High-definition television systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4084Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)

Abstract

(57)【要約】 【課題】 ビデオ信号の現行フレームに対応する低解像
度ダウンサンプル化画素値のセットを、ビデオ信号の現
行フレームの剰余画像に対応する低解像度画素値のセッ
ト、およびビデオ信号の標準フレームに対応するダウン
サンプル化低解像度画素値のセットから形成するための
装置を含むHDTVダウンコンバージョンシステムを提
供する。 【解決手段】この装置は、ダウンサンプル化低解像度画
素値のセットを蓄積するためのメモリを含む。アップサ
ンプリングプロセッサは、メモリから受信し、ラグラン
ジュの補間を利用し、ビデオ信号の標準フレームに対応
するダウンサンプル化低解像度画素値のセットを、ビデ
オ信号標準フレームに対応する低解像度画素値のセット
へ転換する。間引きプロセッサは、現行フレームに対応
する低解像度画素値のセットの内選択された画素値を消
去し、ビデオ信号の現行フレームに対応する低解像度ダ
ウンサンプル化画素値を発生する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、符号化された高解
像度ビデオ信号(例えばMPEG−2符号化ビデオ信
号)を復号化されたより低い解像度の出力ビデオ信号へ
転換、およびフォーマットする復号器に関し、より詳細
には、復号器のためのアップサンプリングフィルタに関
する。
【0002】
【従来の技術】米国では、デジタル形式で符号化された
高解像度テレビ信号(HDTV)のための規格が提案さ
れている。この規格の一部は、必然的にMPEG−2規
格と同じであり、国際標準化機構(ISO)のMovi
ng Picture Experts Group
(MPEG)により提案された規格である。この規格
は、「Information Technology
−Generic Coding of Moving
Pictures and AssociatedA
udio, Recommendation H.62
6」ISO/IEC13818−2,IS,11/94
と題する国際標準(IS)の刊行物に記載されており、
これはISOから入手可能であり、本明細書中において
MPEG−2デジタルビデオ符号化規格の参考として援
用する。
【0003】MPEG−2規格は、実際にはいくつかの
種類の規格である。MPEG−2において、いくつかの
異なるプロファイルが規定され、それぞれが符号化画像
の複雑性の異なるレベルに対応している。各プロファイ
ルには異なるレベルが規定されており、各レベルは異な
る画像解像度に対応する。メインプロファイル、メイン
レベルとして知られるMPEG−2規格の1つでは、現
存のテレビ規格(すなわちNTSCおよびPAL)と一
致する符号化ビデオ信号として企図される。メインプロ
ファイル、ハイレベルとして知られる別の規格では、符
号化高解像度テレビ画像として企図される。メインプロ
ファイル、ハイレベル規格により符号化された画像は、
1画像フレームにつき1,152ものアクティブライ
ン、および1ラインにつき1,920もの画素を有し得
る。
【0004】一方、メインプロファイル、メインレベル
規格は、1ラインにつき720画素、および1フレーム
につき576ラインの最大画素サイズを規定している。
1秒につき30フレームのフレーム率において、この規
格により符号化された信号は、1秒につき720*57
*30または12,441,600画素のデータ率を
有する。対照してみると、メインプロファイル、ハイレ
ベル規格により符号化された画像は、1秒につき1,1
52*1,920*30または66,355,200画素
の最大データ率を有する。このデータ率は、メインプロ
ファイル、ハイレベル規格により符号化された画像のデ
ータ率の5倍よりも大きい。米国においてHDTV符号
化のために提案される規格は、この規格のサブセットで
あり、これは1フレームにつき1,080ものライン、
1ラインにつき1,920もの画素、およびこのフレー
ムサイズとして、1秒につき30フレームもの最大フレ
ーム率を有する。この提案された規格用の最大データ率
は、メインプロファイル、メインレベル規格用の最大デ
ータ率よりも、依然はるかに大きい。
【0005】MPEG−2規格は、データおよび制御情
報の組合せを含む複雑なシンタックスを規定する。この
制御情報のいくつかは、いくつかの異なるフォーマット
を有する信号が、規格により転換され、得るように用い
られる。これらのフォーマットは、1ライン毎の絵素
(画素)の上下する数、フレームまたはフィールド毎の
ラインの上下する数、および1秒毎のフレームまたはフ
ィールドの上下する数を有する画像を規定する。さら
に、MPEG−2メインプロファイルの基本的なシンタ
ックスは、圧縮されたMPEG−2ビットストリームを
規定する。このストリームは、シーケンス層、ピクチャ
層のグループ、ピクチャ層、スライス層、およびマクロ
ブロック層の5層に分かれて画像のシーケンスを表す。
これらの各層は、制御情報と共に導入される。最後に、
サイド情報(例えばフレームタイプ、マクロブロックパ
ターン、画像動きベクトル、係数ジグザグパターン、お
よび逆量子化情報)としてもまた知られる他の制御情報
は、符号化されたビットストリームに散在している。
【0006】ダウンコンバージョンシステムは、高解像
度入力ピクチャを低解像度ピクチャへ、低解像度モニタ
上のディスプレイのために転換する。高解像度メインプ
ロファイル、ハイレベルピクチャから、メインプロファ
イル、メインレベルピクチャ、もしくは他のより低い解
像度ピクチャフォーマットへの高解像のダウンコンバー
ジョンは、HDTVの実現コストを削減する重要性が増
してきている。ダウンコンバージョンは、メインプロフ
ァイル、ハイレベル符号化ピクチャと共に用いられる高
価な高解像度モニタを、より低いピクチャ解像度を有す
る安価な現存のモニタと置き換えることにより、例えば
NTSCまたは525プログレッシブモニタのようなメ
インプロファイル、メインレベル符号化ピクチャを補助
することを可能にする。
【0007】効果的にデジタル画像を受信するために、
復号器はビデオ信号情報を急速に処理すべきである。最
も効果的にするためには、符号化システムは、比較的安
価であって、尚かつそれらのデジタル信号をリアルタイ
ムで復号化するのに十分な力を備えているべきである。
【0008】
【発明が解決しようとする課題】従来技術のダウンコン
バージョンのある方法は、復号化高解像度メインプロフ
ァイル、ハイレベルピクチャを単にローパスフィルタに
かけて間引きし、従来のテレビレシーバ上のディスプレ
イに適した画像を形成する。結果として、現存の技術を
用い、ダウンコンバージョンを採用する復号器は、複雑
な設計、相当量のメモリを有する単一プロセッサを用い
ることにより実現され得、この機能を実現するために空
間ドメイン上で高データ率において作動する。しかし、
この高解像度および高データ率は、非常に高価な回路を
必要とし、これはコストが主要な要因となる消費者用テ
レビレシーバ内の復号器を実現するには矛盾している。
【0009】
【課題を解決するための手段】本発明によるビデオ信号
の現行フレームの剰余画像に対応する低解像度画素値の
第2セットから、および該ビデオ信号の少なくとも1つ
の標準フレームに対応する低解像度ダウンサンプル化画
素値の第1セットから、該ビデオ信号の現行フレームに
対応する低解像度ダウンサンプル化画素値の第3セット
を形成する装置は、該ダウンサンプル化低解像度画素値
の第1セットを蓄積するためのメモリ手段と、該ダウン
サンプル化低解像度画素値の第1セットを、該ビデオ信
号の該少なくとも1つの標準フレームに対応する低解像
度アップサンプル化画素値のセットへ転換するためにラ
グランジュ補間を用い、該メモリ手段から該ダウンサン
プル化低解像度画素値の第1セットを受信するアップサ
ンプリング手段と、該ビデオ信号の該現行フレームに対
応する低解像度画素値の1つのセットを形成するよう
に、該ビデオ信号の該現行フレームの該剰余画像に対応
する該低解像度画素値の第2セットを、該ビデオ信号の
該少なくとも1つの標準フレームに対応する低解像度ア
ップサンプル化画素値のセットに加えるための合計手段
と、該メモリ手段内の蓄積用に、該ビデオ信号の該現行
フレームに対応する該低解像度ダウンサンプル化画素値
の第3セットを発生するように、該ビデオ信号の該現行
フレームに対応する該低解像度画素値のセットの内、選
択されたセットを消去するための間引き手段を含み、そ
れにより上記目的が達成される。
【0010】本発明による該ビデオ信号の該現行フレー
ムの剰余画像を表す符号化ビデオ信号から、および該ビ
デオ信号の少なくとも1つの標準フレームに対応するダ
ウンサンプル化低解像度画素値のセットから、ビデオ信
号の現行フレームに対応する低解像度ダウンサンプル化
画素値のセットを形成するための装置(該符号化ビデオ
信号は周波数ドメイン変換高解像度ビデオ信号である)
は、該符号化ビデオ信号を、高解像度周波数ドメインビ
デオ係数値の1つのセットとして受信するための受信手
段と、該ビデオ信号の該現行フレームの該剰余画像に対
応する周波数ドメインビデオ係数のセットを形成するよ
うに、該高解像度周波数ドメインビデオ係数値のセット
を受信、および重みづけを行うためのダウンコンバージ
ョンフィルタ手段と、該ビデオ信号の該現行フレームの
該剰余画像に対応する該周波数ドメインビデオ係数のセ
ットを、該ビデオ信号の該現行フレームの該剰余画像に
対応する画素値のセットへ変換するための逆変換手段
と、該ビデオ信号の該少なくとも1つの標準フレームに
対応する該ダウンサンプル化低解像度画素値のセットを
蓄積するためのメモリ手段と、該ビデオ信号の該少なく
とも1つの標準フレームに対応する該ダウンサンプル化
低解像度画素値のセットを、該ビデオ信号の該少なくと
も1つの標準フレームに対応するアップサンプル化低解
像度画素値へ転換するためにラグランジュ補間を用い、
該メモリ手段から該ビデオ信号の該少なくとも1つの標
準フレームに対応する該ダウンサンプル化低解像度画素
値のセットを受信するアップサンプリング手段と、該ビ
デオ信号の該現行フレームに対応する低解像度画素値の
セットを形成するように、該ビデオ信号の該現行フレー
ムの該剰余画像に対応する該画素値のセットを、該ビデ
オ信号の該少なくとも1つの標準フレームに対応する該
アップサンプル化低解像度画素値のセットに加えるため
の合計手段と、該メモリ手段内の蓄積用に、該ビデオ信
号の該現行フレームに対応する該低解像度ダウンサンプ
ル化画素値のセットを発生するように、該ビデオ信号の
該現行フレームに対応する該低解像度画素値のセットの
内、選択されたセットを消去するための間引き手段とを
含み、それにより上記目的が達成される。
【0011】低解像度ビデオ信号を形成するための装置
は、前記間引き手段が3:1間引きを行い、および前記
アップサンプリング手段が三次ラグランジュフィルタを
含んでもよい。
【0012】本発明によるビデオ信号の現行フレームの
剰余画像に対応する低解像度画素値の第2セットから、
および該ビデオ信号の少なくとも1つの標準フレームに
対応する低解像度ダウンサンプル化画素値の第1セット
から、該ビデオ信号の現行フレームに対応する低解像度
ダウンサンプル化画素値の第3セットを形成する方法
は、(a)該ダウンサンプル化低解像度画素値の第1セ
ットをメモリに蓄積する工程と、(b)該ダウンサンプ
ル化低解像度画素値の第1セットを、該ビデオ信号の該
少なくとも1つの標準フレームに対応する低解像度アッ
プサンプル化画素値のセットへ転換するためにラグラン
ジュ補間を用い、該メモリから該ダウンサンプル化低解
像度画素値の第1セットを受信する工程と、(c)該ビ
デオ信号の該現行フレームに対応する低解像度画素値の
1つのセットを形成するように、該ビデオ信号の該現行
フレームの該剰余画像に対応する該低解像度画素値の第
2セットを、該ビデオ信号の該少なくとも1つの標準フ
レームに対応する低解像度アップサンプル化画素値のセ
ットに加える工程と、(d)該メモリ内の蓄積用に、該
ビデオ信号の該現行フレームに対応する該低解像度ダウ
ンサンプル化画素値の第3セットを発生するように、該
ビデオ信号の該現行フレームに対応する該低解像度画素
値のセットの内、選択されたセットを消去する工程を含
み、それにより上記目的が達成される。
【0013】本発明による該ビデオ信号の該現行フレー
ムの剰余画像を表す符号化ビデオ信号から、および該ビ
デオ信号の少なくとも1つの標準フレームに対応するダ
ウンサンプル化低解像度画素値のセットから、ビデオ信
号の現行フレームに対応する低解像度ダウンサンプル化
画素値のセットを形成するための方法(該符号化ビデオ
信号は周波数ドメイン変換高解像度ビデオ信号である)
は、(a)該符号化ビデオ信号を、高解像度周波数ドメ
インビデオ係数値の1つのセットとして受信するための
受信する工程と、(b)該ビデオ信号の該現行フレーム
の該剰余画像に対応する周波数ドメインビデオ係数のセ
ットを形成するように、該高解像度周波数ドメインビデ
オ係数値のセットに重みづけを行う工程と、(c)該ビ
デオ信号の該現行フレームの該剰余画像に対応する該周
波数ドメインビデオ係数のセットを、該ビデオ信号の該
現行フレームの該剰余画像に対応する画素値のセットへ
変換する工程と、(d)該ビデオ信号の該少なくとも1
つの標準フレームに対応する該ダウンサンプル化低解像
度画素値のセットをメモリ内に蓄積する工程と、(e)
該ビデオ信号の該少なくとも1つの標準フレームに対応
する該ダウンサンプル化低解像度画素値のセットを、該
ビデオ信号の該少なくとも1つの標準フレームに対応す
るアップサンプル化低解像度画素値へ転換するためにラ
グランジュ補間を用い、該メモリから該ビデオ信号の該
少なくとも1つの標準フレームに対応する該ダウンサン
プル化低解像度画素値のセットを受信する工程と、
(f)該ビデオ信号の該現行フレームに対応する低解像
度画素値のセットを形成するように、該ビデオ信号の該
現行フレームの該剰余画像に対応する該画素値のセット
を、該ビデオ信号の該少なくとも1つの標準フレームに
対応する該アップサンプル化低解像度画素値のセットに
加える工程と、(g)該メモリ内の蓄積のために、該ビ
デオ信号の該現行フレームに対応する該低解像度ダウン
サンプル化画素値のセットを発生するように、該ビデオ
信号の該現行フレームに対応する該低解像度画素値のセ
ットの内、選択されたセットを消去する工程とを含み、
それにより上記目的が達成される。
【0014】低解像度ビデオ信号を形成するための方法
は、工程(g)において、前記ビデオ信号の前記現行フ
レームに対応する前記低解像度画素値のセットの3:1
間引きが行われ、および前記工程(e)において、該ビ
デオ信号の前記少なくとも1つの標準フレームに対応す
る前記ダウンサンプル化低解像度画素値のセットを、該
ビデオ信号の該少なくとも1つの標準フレームに対応す
るアップサンプル化低解像度画素値の1つのセットに転
換するために、三次ラグランジュフィルタが用いられて
もよい。
【0015】ビデオ信号の現行フレームに対応する低解
像度ダウンサンプル化画素値のセットを、ビデオ信号の
現行フレームの剰余画像に対応する低解像度画素値のセ
ット、およびビデオ信号の標準フレームに対応するダウ
ンサンプル化低解像度画素値のセットから形成するため
の装置である。この装置は、ビデオ信号の標準フレーム
に対応するダウンサンプル化低解像度画素値のセットを
蓄積するためのメモリ手段を含む。アップサンプリング
手段は、メモリ手段から受信し、ラグランジュの補間を
利用し、ビデオ信号の標準フレームに対応するダウンサ
ンプル化低解像度画素値のセットを、ビデオ信号の標準
フレームに対応する低解像度画素値のセットへ転換す
る。合計手段は、ビデオ信号の現行フレームの剰余画像
に対応する低解像度画素値のセットを、ビデオ信号の標
準フレームに対応するアップサンプル化低解像度画素値
のセットに加え、ビデオ信号の現行フレームに対応する
低解像度画素値のセットを形成する。間引き手段は、ビ
デオ信号の現行フレームに対応する低解像度画素値のセ
ットの内選択された画素値を消去し、ビデオ信号の現行
フレームに対応する低解像度ダウンサンプル化画素値を
発生する。
【0016】
【発明の実施の形態】上記ならびに他の本発明の目的お
よび利点は、添付の図面を組み合わせて考慮しつつ、以
下の詳細な説明から明らかとなる。
【0017】I.復号器概要 本発明の例示的な実施形態は、MPEG−2規格(特
に、メインプロファイル、ハイレベルMPEG−2規
格)により符号化されている復号化HDTV信号をフィ
ルタにかける。
【0018】しかし、本明細書中に記載された本発明
は、復号化HDTV信号のダウンコンバージョンフィル
タリングに限定されない。以下に記載されたフィルタリ
ング方法は、周波数ドメイン符号化デジタル信号(これ
はフィルタにかけられ、そして再結合されるというセク
ションに分けられ得る)の他のタイプをもまたフィルタ
にかけるために用いられ得る。
【0019】MPEG−2メインプロファイル規格は、
シーケンスレベル、ピクチャレベルのグループ、ピクチ
ャレベル、スライスレベル、およびマクロブロックレベ
ルと5つのレベルに分かれて、画像のシーケンスを規定
する。これらの各レベルは、後段レベルが前段レベルの
入れ子状態であるサブレベルを備えた、データストリー
ム内の記録であると考えられ得る。各レベルの記録は、
そのサブ記録を復号化する際に用いられるデータを含む
ヘッダセクションを含む。
【0020】マクロブロックは、6つのブロック、4輝
度ブロックYおよび2色差ブロックであるCrおよびC
bから構成される。符号化されたHDTV信号の各ブロ
ックは、HDTV画像内の64絵素(画素)の二次元離
散コサイン変換(DCT)表示における64個の各係数
値を表すデータを含む。
【0021】復号化プロセスにおいて、画素データは、
離散コサイン変換に先立って、動き補償された差動的符
号化の影響下にあり、そして転換された係数のブロック
は、ランレングスおよび可変長符号化技術を適用するこ
とによりさらに符号化される。データストリームから画
像シーケンスを復元する復号器は、符号化プロセスを逆
転する。この復号器は、エントロピー復号器(例えば、
可変長復号器)、逆離散コサイン変換プロセッサ、動き
補償プロセッサ、および補間器フィルタを利用する。
【0022】図1は、従来技術の典型的なビデオ復号化
システムのハイレベルブロック図である。従来技術のビ
デオ復号化は、エントロピー復号器110(これは通常
可変長復号器およびランレングス復号器である)、逆量
子化器120、および逆離散コサイン変換(IDCT)
プロセッサ130を含む。また例示的なシステムは、制
御器170をも含み、これはエントロピー復号器110
による入力ビットストリームから得られる制御情報に応
答した復号化システムの多様な成分を制御する。予測画
像の処理のため、従来技術システムはさらに、メモリ1
60、加算器140、動き補償プロセッサ150、およ
びブロック−ラスタ転換器(blockto rast
er converter)180を含む。
【0023】可変長復号器110は、符号化ビデオ画像
信号を受信し、符号化プロセスを逆転し、前に復号化さ
れた画像内の整合性マクロブロックの相対的な置換を描
写する、動きベクトルを含む制御情報を生成する。この
整合性マクロブロックは、現行で復号化されている予測
ピクチャのマクロブロックに対応する。可変長復号器1
10は、フレーム内符号化が用いられる場合の現行ビデ
オ画像移動、もしくはフレーム双方符号化が用いられる
場合の現行および予測ビデオ画像間の差動(これは剰余
ビデオ画像として言及される)の内いずれかのブロック
の量子化DCT変換係数をもまた受信する。逆量子化器
120は量子化されたDCT変換係数を受信し、特定の
マクロブロック用に量子化されたDCT係数を再構築す
る。特定のブロック用に用いられようとする量子化マト
リックスは、可変長復号器110から受信される。
【0024】IDCTプロセッサ130は、再構築され
たDCT係数を、空間ドメイン内の画素値へ(マクロブ
ロックの輝度または色差成分を表す8×8マトリックス
値の各ブロック用に、そして予測マクロブロックの差動
的輝度または差動的色差成分を表す8×8マトリックス
の各ブロック用に)転換する。
【0025】現行マクロブロックが予測的に符号化され
ない場合には、出力マトリックス値は現行ビデオ画像の
対応マクロブロックの画素値である。マクロブロックが
フレーム双方符号化される場合は、前出のビデオピクチ
ャフレーム(標準フレーム)の対応マクロブロックは、
動き補償プロセッサ150による使用のためにメモリ1
60内に蓄積される。動き補償プロセッサ150は、動
きベクトル(これはエントロピー復号器110から受信
される)に応答したメモリ160から前出のマクロブロ
ックを受信する。動き補償プロセッサ150は、その後
前出のマクロブロックを、加算器140において現行I
DCT変換マクロブロック(現在の予測的符号化フレー
ムの剰余成分に対応している)へ加え、現行ビデオ画像
のための画像の対応マクロブロックを生成し、そしてこ
のブロックはメモリ160内へ蓄積される。
【0026】II.ダウンコンバージョンシステムA.概要 図2は、ダウンコンバージョンシステムの例示的な実施
形態のハイレベルブロック図である。図2に示されるよ
うに、ダウンコンバージョンシステムは、可変長復号器
(VLD)210、ランレングス(R/L)復号器21
2、逆量子化器214、および逆離散コサイン変換(I
DCT)プロセッサ218を含む。さらに、ダウンコン
バージョンシステムは、ダウンコンバージョンフィルタ
(DCTフィルタ)216、およびダウンサンプリング
プロセッサ232を、符号化されたピクチャのフィルタ
リングのために含む。以下にはメインプロファイル、ハ
イレベル符号化入力のための例示的な実施形態が記載さ
れている一方で、ダウンコンバージョンシステムは、い
かなる類似の符号化高解像度画像ビットストリームをも
って実現され得る。
【0027】ダウンコンバージョンシステムはまた、動
きベクトル(MV)トランスレータ220、高解像度動
きブロック発生器224(これはアップサンプリングプ
ロセッサ226、半画素発生器228、および標準フレ
ームメモリ222を含む)をも含む。
【0028】さらにシステムは、垂直プログラマブルフ
ィルタ(VPF)282および水平プログラマブルフィ
ルタ(HZPF)284を含む、ディスプレイコンバー
ジョンブロック280を含む。ディスプレイコンバージ
ョンブロック280は、ダウンサンプル化画像を、より
低い解像度を有する特定のディスプレイ上のディスプレ
イのための画像へ転換する。
【0029】ダウンコンバージョンフィルタ216は、
周波数ドメイン内で、高解像度(例えばメインプロファ
イル、ハイレベルDCT)係数のローパスフィルタリン
グを行う。ダウンサンプリングプロセッサ232は、空
間画素値を、ローパスフィルタにかけられたメインプロ
ファイル、ハイレベルピクチャの間引きにより除去し、
メインプロファイル、ハイレベルピクチャを表示するた
めに必要とされる解像度よりも低い解像度を有するモニ
タ上で表示され得るような画素値の1つのセットを生成
する。例示的標準フレームメモリ222は、ダウンサン
プル化ピクチャに対応する解像度を有する少なくとも1
つの前に復号化された標準フレームに対応する空間画素
値を蓄積する。非イントラマクロブロック符号化のため
に、MVトランスレータ220は解像度における減算と
一致した受信ピクチャの各ブロックのために動きベクト
ルをスケールする。そして低解像度動きブロック発生器
224は、標準フレームメモリ222により供給された
間引きされた低解像度動きブロックを受信し、これらの
動きブロックをアップサンプル化し、半画素値を発生し
て半画素精度(復号化およびフィルタリングされた差動
画素ブロックへの良好な空間対応を示す)において動き
ブロックを供給する。
【0030】イントラマクロブロック符号化のためのダ
ウンコンバージョンシステムのこの例示的な実施形態の
操作が、ここで説明される。メインプロファイル、ハイ
レベルビットストリームは、VLD210により受信さ
れ、復号化される。HDTVシステムにより用いられる
ヘッダ情報に加えて、VLD210は各ブロックおよび
マクロブロックのためのDCT係数および動きベクトル
情報を供給する。DCT係数は、R/L復号器212に
おいてランレングス復号化され、および逆量子化器21
4により逆量子化されている。VLD210およびR/
L復号器212は、図1のエントロピー復号器110に
対応している。
【0031】DCT係数により表現される受信ビデオ画
像が高解像度ピクチャであることから、各部のDCT係
数は高解像度ビデオ画像の間引き前にローパスフィルタ
にかけられる。逆量子化器214は、DCT係数をDC
Tフィルタ216に供給し、このフィルタ216は、周
波数ドメイン内において、DCT係数をIDCTプロセ
ッサ218に供給する前に、所定のフィルタ係数値と共
にDCT係数に重みを与えることにより、ローパスフィ
ルタリングを行う。例示的な実施形態において、このフ
ィルタ操作は、ブロック単位でブロック上で行われる。
【0032】IDCTプロセッサ218は、フィルタリ
ングされたDCT係数の逆離散コサイン変換を行うこと
により、空間画素値を供給する。ダウンサンプリングプ
ロセッサ232は、所定の間引き比率による空間画素値
を削除することによりピクチャサンプルサイズを縮小す
る。従って、より低い解像度ピクチャの蓄積は、より高
い解像度であるメインプロファイル、ハイレベルピクチ
ャを蓄積するために必要とされるものよりも、より小さ
なフレームメモリ222を使用する。
【0033】非イントラマクロブロック符号化のための
ダウンコンバージョンシステムのこの例示的な実施形態
の操作が、ここで説明される。この例示的な実施形態に
おいて、MPEG規格に従い、現行受信画像のDCT係
数は、予測画像マクロブロックの剰余成分のDCT係数
を表す。予測画像マクロブロックは、前方向、後方向、
および双方向に予測され得る。例えば双方向に予測され
る場合、前方向予測画像マクロブロック、および後方向
予測画像マクロブロックは平均化され得、双方向予測画
像マクロブロックを供給する。予測フレームのための動
きベクトルの水平成分はスケールされる。なぜなら、メ
モリ内に蓄積された前出のフレームのダウンサンプル化
低解像度標準ピクチャが高解像度予測フレーム(メイン
プロファイル、ハイレベル)と同じだけの画素の数を有
さないためである。
【0034】図2を参照すると、VLD210によるメ
インプロファイル、ハイレベルビットストリームの動き
ベクトルは、MVトランスレータ220へ供給される。
各動きベクトルはMVトランスレータ220によりスケ
ールされ、標準フレームメモリ222内に蓄積された前
出の画像の標準フレームの適した予測ブロックを参照す
る。得られたブロック内におけるサイズ(画素値の数)
は、現行画像を符号化するために用いられる対応高解像
度ブロックのブロックよりも小さい。結果として、得ら
れたブロックは、アップサンプル化され、IDCTプロ
セッサ218により供給された剰余ブロックと同じだけ
の画素の数を有する予測ブロックを形成する。
【0035】前方向、または後方向予測ブロックは、M
Vトランスレータ220からの制御信号に応答してアッ
プサンプリングプロセッサ226によりアップサンプル
化され、画素の最初の高解像度ブロックに対応するブロ
ックを発生する。その後、半画素値が発生し(半画素値
発生器228内のアップサンプル化予測ブロック用に動
きベクトルにより示されるならば)、予測ブロックの適
切な空間整列を確実にする。例えば双方向の場合、アッ
プサンプル化画素の前方向、および後方向予測画像マク
ロブロックは、平均化され得、双方向予測画像マクロブ
ロックを供給する。アップサンプル化され整列した予測
ブロックは、加算器230内において現行フィルタリン
グされたブロック(この場合の例としては、予測ブロッ
クから低下した解像度剰余成分)が加えられる。すべて
の処理は、マクロブロック内でマクロブロック単位でな
される。動き補償プロセスが、アップサンプリングドメ
イン内の現行マクロブロックのために終了した後、再構
築されたマクロブロックは、それに応じてダウンサンプ
リングプロセッサ232において間引きされる。このプ
ロセスは、画像の解像度を低下させずに、単に低解像度
フィルタリングされた画像からの冗長画素を取り除く。
【0036】一度、画像のためのダウンサンプル化マク
ロブロックが利用可能になると、ディスプレイコンバー
ジョンブロック280は、低解像度テレビディスプレイ
上のディスプレイのための画像に、VPF282および
HZPF284のそれぞれにおいて、ダウンサンプル化
画像の垂直および水平な成分をフィルタにかけることに
より適合する。
【0037】B.マクロブロック予測 前出の画像の標準フレームがダウンサイズされることか
ら、これらのフレームを指摘する受信動きベクトルもま
た、コンバージョン比率によりトランスレイションされ
得る。動きトランスレイション(例えば水平方向におけ
るトランスレイション)について、以下に説明される。
垂直方向における動きトランスレイションが使用される
ならば、当業者により以下の説明から容易に応用され
る。最初の画像フレーム内の現行マクロブロックアドレ
スをxおよびy、水平間引き要素をDx、最初の画像フ
レームの半画素水平動きベクトルをmvxで表すと、半
画素ユニット内でXHで表される、最初の画像フレーム
内の動きブロックの左上の画素のアドレスは、以下の
(1)により得られる。
【0038】 XH=2x+mvx (1) 動きブロックに対応する画素はダウンサンプル化画像内
で始まり、そのアドレスは以下の(2)において得られ
る画素ユニット内でx*およびy*で表される。
【0039】
【数1】
【0040】例示的なDCTフィルタ216およびダウ
ンサンプリングプロセッサ232が、画像の水平成分の
みを減少するために、動きベクトルの垂直成分は影響を
受けない。色差としては、動きベクトルは最初の画像内
の輝度動きベクトルの2分の1である。従って、色差動
きベクトルをトランスレイションするための定義もま
た、2つの式(1)および(2)を用い得る。
【0041】2つの工程プロセスにより動き予測が行わ
れる。まず、図2のアップサンプリングプロセッサ22
6においてダウンサンプル化画像フレームをアップサン
プリングすることにより、最初の画像フレーム内の画素
精度動き推定が復元され、次に半画素発生器228が最
近位の画素値の平均化により半画素動き推定を行う。
【0042】最初のピクチャ内の画素に対応する間引き
ピクチャ内のサブ画素は、例えばアップサンプリングプ
ロセッサ226においてアップサンプリング多相フィル
タを用いて取り込まれ、最初のピクチャ内の動き予測を
与える。加算器230において、動き予測がIDCTプ
ロセッサ218の出力へ加えられる。加算器230の出
力値が、最初のピクチャフォーマット内の画像に対応す
ることから、これらの値はより低い解像度を有するディ
スプレイ上でのディスプレイのためにダウンサンプル化
され得る。ダウンサンプリングプロセッサ232におけ
るダウンサンプリングは、実質的に画像フレームのサブ
サンプリングと同等であるが、コンバージョン比率に基
づいて調整され得る。例えば、3:1のダウンサンプリ
ングの場合において、水平にダウンサンプル化された画
素の数は、各入力マクロブロックにつき6または5であ
り、また第1ダウンサンプル化画素は、常に入力マクロ
ブロック内の第1画素であるわけではない。
【0043】ダウンサンプル化画像から正しい動き予測
ブロックを獲得した後、アップサンプリングが行われ、
最初のピクチャ内の対応予測ブロックを得る。結果とし
て、動きブロック予測内のサブ画素精度は、ダウンサン
プル化ピクチャ内においては望ましい。例えば、3:1
の間引きを用いると、動き予測内で3分の1(または6
分の1)のサブ画素精度を有することが望ましい。動き
ベクトルが必要とする第1画素であるサブ画素は、ダウ
ンサンプル化動きブロックに加えて決定される。そし
て、サブシーケントサブ画素位置が、以下に記載される
ような余剰演算を用いて決定される。サブ画素位置は、
以下の(3)において得られるXsで表される。
【0044】
【数2】
【0045】ここで「%」は余剰除算を意味する。
【0046】例えば、Xsの範囲は、3:1のアップサ
ンプリングでは0,1,2、そして2:1のアップサン
プリングでは0,1である。図3Aはサブ画素位置、な
らびに3:1例および2:1例での対応17個の予測画
素を示し、表1は図3Aの記号の説明である。
【0047】
【表1】
【0048】すでに記載したように、アップサンプリン
グフィルタはアップサンプリング多相フィルタであり
得、表2Aは、これらアップサンプリング多相補間フィ
ルタの特性を示す。
【0049】
【表2】
【0050】以下の表2Bおよび2Cは、例示的な3:
1および2:1のアップサンプリング多相フィルタのた
めの多相フィルタ係数を示す。
【0051】
【表3】
【0052】
【表4】
【0053】表2Bおよび2Cの例示的な係数は等リプ
ルフィルタ用に与えられたものであるが、他のフィルタ
も間引き画素を補間するために用いられ得る。例えばセ
クションII.C.において、適切なアップサンプリン
グフィルタの選択に関する設計考察が開示されている。
特に、セクションII.C.は、等リプル、双一次(Bi-
linear)、およびラグランジュアップサンプリングフィ
ルタ間の動き追跡特性の比較を開示している。
【0054】固定点表示において、表2Bおよび表2C
の括弧内の数字は、左にある対応倍精度数を備えた9ビ
ットにおける2の補数表示である。ダウンサンプル化標
準画像フレーム内の動き予測ブロックのサブ画素位置に
依存すると、多相補間フィルタの相に対応するものが用
いられる。また、例示的な実施形態では、左および右に
あるより多くの画素が、ダウンサンプル化画像フレーム
内の17個の水平画素を補間するために必要とされる。
例えば、3:1の間引きの場合において、各入力マクロ
ブロックにつき最大6個の水平ダウンサンプル化画素が
ある。しかし、アップサンプリングする際、9個の水平
画素が対応動き予測ブロック値を生成するために必要と
される。なぜなら、アップサンプリングフィルタが、フ
ィルタが作動する境界外で、左および右のより多くの画
素を要求するためである。例示的な実施形態が半画素動
き推定を利用することから、16個の半画素を得るため
に17個の画素が必要とされ、この16個の半画素と
は、最初の16個の整数画素、あるいは最近位の2つの
画素値の平均値のいずれかであり得る。半画素動き発生
器が、このことを扱う。表3は、サブ画素位置と多相フ
ィルタ要素との間のマッピング、および左の画素(アッ
プサンプリングプロセスのために追加で必要とされる)
の数を表す。
【0055】
【表5】
【0056】図3Bは、入力マクロブロックの各行で行
われるアップサンプリングプロセスの概要を示す。初め
に、工程310において、処理中の入力画像フレームの
ブロック用の動きベクトルが受信される。工程312に
おいて、動きベクトルはメモリ内のダウンサンプル化標
準フレームに対応するようにトランスレイションされ
る。工程314において、スケールされた動きベクトル
が、フレームメモリ内に蓄積された予測ブロックの座標
を取り出すために用いられる。工程316において、ブ
ロック用のサブ画素点が決定され、そして工程318に
おいて、アップサンプリングのための初期多相フィルタ
値が取り出される。蓄積されたダウンサンプル化標準フ
レームの予測ブロック用の照合された画素は、工程32
0においてメモリから取り出される。
【0057】フィルタリング工程324における第1パ
ス前に、工程322においてレジスタが初期化され、こ
れは例示的な実施形態では、初期の3または5画素値を
備えるレジスタをロードすることを伴う。そして、フィ
ルタリング工程324の後、工程326においてプロセ
スは、全ての画素が処理されたかどうかを判定する。例
示的な実施形態において、17個の画素が処理される。
全ての画素が処理された場合、アップサンプル化ブロッ
クは終了する。全ての画素の処理が終わっていない場
合、相は工程328においてアップデートされ、相は0
値として確認される。相が0の場合、レジスタは多相フ
ィルタ係数の次のセットのためにアップデートされなけ
ればならない。そしてレジスタをアップデートする工程
332は、入力画素を単にアップデートする。最も左の
画素がブロック境界外にある例外的な事例では、前出の
画素値が繰り返され得る。
【0058】C. 良好な動き追跡のためのアップサン
プリング 図2を参照すると、上記のセクションII.B.におい
て説明されたように、アップサンプリングプロセッサ2
26は、ダウンサンプル化画素の標準フレームメモリ2
22から取り出す。アップサンプリングプロセッサ22
6は、その後補間を用いて画素を発生し、予測ブロック
を供給する。このことは、加算器230において加えら
れる、減少した解像度剰余ブロックと同じ画素数を備え
た予測ブロックを生み出す。
【0059】加算器230の出力は、次にダウンサンプ
リングプロセッサ232によりダウンサンプル化され、
標準フレームメモリ222内に蓄積され、その後アップ
サンプリングプロセッサ226によりアップサンプル化
され、次の予測ブロックを発生する。このサイクルは、
各予測フレーム(PフレームおよびBフレームの両方)
のために繰り返される。
【0060】符号化スキームの多くがイントラ符号化フ
レーム間で予測フレームを乗算することから、画像の歪
みがアップサンプリングプロセッサ226により導入さ
れる場合、この画像歪みもまたこのプロセスを通して繰
り返される。画像歪みは、各サイクルの間、アップサン
プリングプロセッサ226により集積され得る。多くの
連続した予測フレームがイントラ符号化フレーム間で符
号化される場合、この歪みは目に見える地点まで増幅さ
れ得る。
【0061】このような画像歪みの原因は、アップサン
プリングプロセッサ226の不満足な動き追跡特性であ
り得る。好ましくは、ダウンコンバージョンシステムに
おけるアップサンプリングフィルタは、滑らかなローパ
スフィルタリング、および良好な動き追跡特性を有す
る。いくつかのアプリケーションにおいて、特定の符号
化構造およびイントラ符号化フレーム間の前方予測フレ
ームの数に依存して、動き追跡プロパティは、再現され
た画像における目に見えるぎくしゃくした動きを防ぐた
めにローパスフィルタリングよりも優先され得る。
【0062】図4は、3:1水平ダウンコンバージョン
システムにおける3つの異なるアップサンプリングフィ
ルタの周波数応答(dB vs.周波数、ここでπはサ
ンプリング周波数の2分の1に対応する)である、等リ
プルフィルタ周波数応答410、双一次フィルタ周波数
応答430、およびラグランジュフィルタ周波数応答4
20を示す。カットオフ周波数440は、3:1間引き
システムではπ/3に、2:1間引きシステムではπ/
2に等しい。
【0063】以下の例は、3:1ダウンコンバージョン
システムにおけるこれらフィルタの動き追跡プロパティ
を示す。これらの例は、アップサンプリングドメイン内
での1フレームにつき1個の画素が動く矩形パルスの画
像に関する。この例の目的は、符号化構成がイントラフ
レーム後に全前方予測フレームを構成することである。
画像は3個置きの画素に基づいて補間される。これはダ
ウンサンプリング中に他の画素が捨てられるためであ
る。
【0064】図5A、5B、および5Cは、等リプルフ
ィルタ、双一次フィルタ、そして三次ラグランジュフィ
ルタによる矩形パルスの補間520、530、および5
40をそれぞれ示す。破線510(図5Bにおいては見
えない)は、補間されている矩形パルスを表す。ラグラ
ンジュ補間は、当業者には周知であり、本明細書中にお
いて参考として援用されている、「An introd
uction toNumerical Analys
is」、107−10(1978)において、Atki
nsonにより教示されている。図5Aから図5Cにお
いて示されるように、等リプルフィルタ補間520は、
ラグランジュフィルタ補間540および双一次フィルタ
補間530と比べると、最も高いオーバーシュートおよ
び最も低いアンダーシュートを有する。
【0065】図6A、図6B、図6C、図6D、図6
E、および図6Fは、予測フレームNo.1、No.
2、No.3、No.5、No.8、およびNo.10
における動き(1フレームにつき1個の画素)矩形パル
スの等リプルフィルタ補間をそれぞれ示す。図6Aから
図6Fにおける破線610は、最初の画像を表す。図6
Aから6Fにおける実線620は、アップサンプル化さ
れた最初の画像の等リプル補間610を表す。図6Dの
フレームNo.5において、補間パルス620は歪み、
そして最初のパルス610よりも前に動いている。図6
FのフレームNo.10において、補間パルス620
は、図6Dにおいて示されるフレームNo.5と比べ
て、最初のパルス610よりもさらに前である。
【0066】次のイントラ符号化フレームがディスプレ
イされると、図6Fにおける補間パルス620と最初の
パルス610との間の差異が、「スナッピングバック」
問題を引き起こす。この問題は、予測フレームの補間さ
れた画像が最初の画像の動きよりも前に動く場合、およ
びその後に正確に表現されたイントラ符号化フレームが
引き続く場合に起こる。予測フレーム内のエッジの動き
が最初の画像の動きよりも前にあるため、次のイントラ
符号化フレームは、視聴者に動きがその時点で逆戻りし
ている印象を与え得る。
【0067】例えば、最初の画像が人が自分の頭をゆっ
くりと左方向に回している画像である場合、上記例の等
リプルフィルタがアップサンプリング用に用いられる場
合において、「スナッピングバック」問題は、イントラ
符号化フレーム毎にその人の頭が右方向へ「スナッピン
グバック」するようになり得る。このタイプの歪みの深
刻度は、実際の符号化構成に依存する。例えば、標準フ
レーム間で2つの双方向フレームを有するIBBP符号
化構成に適用された場合、アーチファクトは10個の連
続した前方予測フレームが存在する図6Aから6Fを参
照して提供される例と比べてあまり気づかれない。
【0068】図7および8は、図6Fでの等リプル補間
器と同じ状況下で、予測フレームNo.10のためにラ
グランジュ、および双一次補間器を用いて補間された画
像をそれぞれ示す。図6Fの等リプル補間620と比べ
ると、図7のラグランジュ補間720、および図8の双
一次補間820は、より良好な動き追跡を供給する。こ
れは、それら補間されたパルス720、820が、最初
の画像610よりも比較的より少しだけ前にあるためで
ある。
【0069】オーバーシュートおよびアンダーシュート
は、予測パルス歪みを分析する際に考慮される要因であ
る。図6Fの等リプル補間620は16%のオーバー/
アンダーシュートを有し、図7の三次ラグランジュ補間
720は6%のオーバー/アンダーシュートを有し、そ
して図8の双一次補間820は、オーバー/アンダーシ
ュートを全く有さない。図6F、7および8は、ラグラ
ンジュフィルタおよび双一次フィルタの両方が、等リプ
ルフィルタよりも良好な動き追跡を供給することを示
す。本発明のある例示的な実施形態では、双一次フィル
タあるいはラグランジュフィルタがアップサンプリング
プロセッサ226において用いられる。
【0070】本発明の別の例示的な実施形態では、ラグ
ランジュフィルタがアップサンプリングプロセッサ22
6において用いられる。三次ラグランジュフィルタは、
双一次フィルタ(図4に示される)に比べより良い周波
数応答を有し、等リプルフィルタよりも低いオーバー/
アンダーシュートを有する(図6Fおよび7を比較する
ことにより示される)。
【0071】双一次フィルタが一次ラグランジュフィル
タと同じであることが示される。数値解析の当業者には
公知であるように、ラグランジュ補間器(データ点を与
える多項式補間である)は、以下のように設計され得
る。
【0072】(n+1)離散データ点を与えるために、
n次ラグランジュ補間器は
【0073】
【数3】
【0074】の形をとる。ここでyiはxiにおける関数
値であり、li(x)はn次多項式であり、そして
【0075】
【数4】
【0076】の形をとる。
【0077】上記の式から、n=iのときli(xn)=
1、およびn≠iのときli(xn)=0であることがわ
かる。従って、Pn(xn)=Ynであり、補間多項式
は、(n+1)離散データ点を満たす。
【0078】一次ラグランジュ補間は、
【0079】
【数5】
【0080】であり、ここで、x0<x<x1である。
【0081】一次ラグランジュ補間が双一次であること
は自明である。以下に示される二次ラグランジュ補間P
2(x)および三次ラグランジュ補間P3(x)は、上記
の式から得られ得る。
【0082】
【数6】
【0083】2:1アップサンプリングでは、間引き画
像における画素間の半画素位置にある補間点が興味深
い。3:1アップサンプリングでは、間引き画像におけ
る画素間の3分の1、または3分の2画素位置にある補
間点が興味深い。例えば、2:1アップサンプリングの
場合では、半画素用にx−x0=1/2、x−x1=−1
/2、x1−x0=1である。これらの値を置換すること
により、フィルタ係数が得られ得る。
【0084】以下の表7は、2:1アップサンプリング
フィルタ用のラグランジュフィルタ係数を示す。
【0085】
【表6】
【0086】以下の表8は、3:1アップサンプリング
フィルタ用のラグランジュフィルタ係数を示す。
【0087】
【表7】
【0088】表7および8において、相0は整数画素を
意味し、相1は2:1の場合における半画素、および
3:1の場合における画素間での3分の1点を意味し、
そして相2は3:1の場合における画素間での3分の2
点を意味する。2:1の場合において、入力画素はフィ
ルタリングのために相0において遷移するが、3:1の
場合においては、入力遷移が常に相0において起こるわ
けではない。
【0089】当業者には公知であるように、フィルタの
次数が増すにつれて、フィルタの周波数応答も改良され
ていく。多くのフィルタ設計方法は、フィルタの周波数
応答の改良に厳密に基づいているが、ダウンコンバージ
ョンシステムにおいては、フィルタの空間応答(その動
き追跡特性に対応する)は、付加的な設計考察である。
表9は、3:1のダウンコンバージョンシステムにおけ
る異なる次数のラグランジュ多相フィルタ用オーバー/
アンダーシュート百分率を示す。
【0090】
【表8】
【0091】人間の目は、それが追跡可能である限り、
エッジ運動に非常に敏感である。アップサンプリングフ
ィルタのオーバーシュートおよびアンダーシュートは、
より連続した余録フレームが復号化される際に、マクロ
ブロックのアップサンプリングを低下させ、前出アップ
サンプル操作の結果がアップサンプルフィルタを介して
再利用される。アップサンプリングフィルタ設計は、ロ
ーパスフィルタリングを提供すると同時に、十分な動き
追跡特性を提供するように最適化されるべきである。
3:1ダウンコンバージョンシステムの例示的な実施形
態において、アップサンプリングプロセッサ226は、
ダウンサンプル化画像の補間のために三次ラグランジュ
フィルタを用いる。このことは、動き追跡特性とローパ
スフィルタリング応答との間の平均化をもたらす。四次
フィルタは、三次フィルタよりも良好な周波数応答を有
し得るが、三次フィルタは、より良好な動き追跡特性を
有する。従って、この特定の設計は、これらの要因を平
均化し、それらの間のトレードオフを生む。上記で説明
されたように、特定のシステムの符号化構成は、この平
均化がどこでなされるべきかを決定する。
【0092】D.DCT係数の重みづけを利用するDC
Tドメインフィルタリング ダウンコンバージョンシステムの例示的な実施形態は、
周波数ドメインにおいてDCT係数を処理するDCTフ
ィルタ216を含み、これは空間ドメイン内のローパス
フィルタに取って代わる。DCT符号化ピクチャ(例え
ば、MPEGまたはJPEG規格により企図されるピク
チャ)用の空間ドメインフィルタリングの代わるDCT
ドメインフィルタリングにはいくつかの利点がある。D
CTドメインフィルタは、最も顕著に計算的により効果
的であり、空間画素に適用される空間ドメインフィルタ
よりも少ないハードウェアを必要とする。例えば、Nタ
ップを有する空間フィルタは、各空間画素値のN乗算お
よびN加算のN分だけ使用し得る。このことはDCTド
メインフィルタにおいてはただの1乗算に例えられる。
【0093】最も単純なDCTドメインフィルタは、高
周波数DCT係数の切詰である。しかし高周波数DCT
係数の切詰からは滑らかなフィルタは結果的に得られ
ず、復号化ピクチャにおいてエッジ近くでの「リンギン
グ」のような欠点を有する。本発明の例示的な実施形態
のDCTドメインローパスフィルタは、空間ドメイン内
のブロックミラーフィルタから得られる。例えば、ブロ
ックミラーフィルタ用のフィルタ係数値は空間ドメイン
内で最適化され、そしてこれらの値はDCTドメインフ
ィルタの係数へ転換される。
【0094】例示的な実施形態は、水平方向のみにおけ
るDCTドメインフィルタリングを示しているが、DC
Tドメインフィルタリングは、水平方向もしくは垂直方
向のいずれかで、または両方で、水平および垂直フィル
タを組み合わせることにより行われ得る。
【0095】E.DCTドメインフィルタ係数の導出 本発明のある例示的なフィルタが、2つの制約数から導
き出される。第1の制約数は、フィルタがブロック上の
画像データをブロック単位で画像の各ブロック用に、同
じピクチャの多のブロックから、または前出のピクチャ
からの情報を用いることなく処理することである。第2
の制約数数は、フィルタが境界画素値を処理する際に起
こるブロック境界の視認性をフィルタが下げることであ
る。
【0096】第1の制約数によると、MPEG画像シー
ケンスのDCTベース圧縮において、N×NDCT係数
のブロックは、N×N空間画素値のブロックに従う。結
果的に、本発明の例示的な実施形態は、現行で受信され
るピクチャのブロックを処理するだけのDCTドメイン
フィルタを実現する。
【0097】第2の制約数によると、フィルタが空間画
素値のブロックに単に適用される場合、ブロック境界上
のフィルタリングの遷移があり、これはフィルタの剰余
を満たすための境界外で、不十分な数の空間画素値によ
り引き起こされる。言い換えると、ブロックのエッジは
適切にフィルタにかけられ得ない。なぜなら、Nタップ
フィルタが、N/2タップのみ用に、または(N/2)
−1タップ用に(これはNが奇数であるか、偶数である
かに依存する)、それぞれの入力画素を有するためであ
る。余った入力画素は、ブロックの境界外にある。画素
値を供給する以下のいくつかの方法が存在する。1)境
界外で所定の定常画素値を繰り返す、2)境界画素値と
同じ画素値を繰り返す、そして3)ブロックの画素値
を、処理されたブロックに近位の画素値の前出およびサ
ブシーケントブロックを形成するようにミラーする。前
出またはサブシーケントブロックの内容にある先の情報
なしで、ミラーリング方法が好ましい方法として考えら
れる。従って、本発明の実施形態は、フィルタのために
このミラーリング方法を利用し、「ブロックミラーフィ
ルタ」と呼ばれる。
【0098】ブロックの8入力空間画素サンプル値をロ
ーパスフィルタにかける、水平ブロックミラーフィルタ
を実現する例示的な実施形態が、以下に記載される。入
力ブロックのサイズが画素サンプル値の8×8ブロック
マトリックスデバイスあるならば、水平フィルタリング
は、ブロックミラーフィルタを8画素サンプル値の各行
に提供することにより行われ得る。フィルタリングプロ
セスが、ブロックマトリックスのフィルタ係数を列方向
に適用することにより実現され得、あるいはその多次元
フィルタリングは、ブロックマトリックスの行のフィル
タリング、そして次に列のフィルタリングにより達成さ
れ得ることは、当業者には明らかとなる。
【0099】「DCT Domain Filter
for ATV Down Conversion」I
EEE Trans. Consumer Elect
ronics、Vol.43(4)1074−8(19
97)において、Kimらにより教示されているよう
に、空間ドメインにおけるブロックミラーフィルタは、
DCTドメイン内でDCT係数に重みをつけることによ
り、同等に実現され得る。図4は、8個の入力画素(こ
れはタップ値h0からh14により表される15個のタッ
プの空間フィルタを利用する)における例示的なミラー
フィルタ用の入力画素値x0からx7(グループX0)間
の対応を示す。入力画素はグループX0の左側(グルー
プX1として示される)において、およびグループX0
の右側(グループX2として示される)においてミラー
リングされる。フィルタの出力画素値は、対応画素サン
プル値と備えたフィルタタップ値の15乗算を合計した
ものである。図4は、第1および第2出力画素値用の乗
算ペアを図示する。
【0100】F.ブロックミラーフィルタの例示的な実
施形態 本発明のブロックミラーフィルタの例示的な実施形態
は、以下の工程により得られる。1)一次元ローパス対
称フィルタが、2Nタップよりも少ない奇数のタップと
共に選択され、2)フィルタ係数が0でパディングする
ことにより2N値まで増加され、3)フィルタ係数が、
最初の中心係数が左回転シフトにより0位置まで到達す
るように再編成され、4)再編成されたフィルタ係数の
DFT係数が決定され、5)DCTフィルタ係数が、入
力ブロックの実数DFT係数で乗算され、そして6)フ
ィルタリングされたDCT係数の逆離散コサイン変換
(IDCT)が、IDCT係数で乗算されることにより
行われ、間引きのために準備されたローパスフィルタリ
ングされた画素のブロックを供給する。
【0101】ローパスフィルタのカットオフ周波数は、
間引き比率により決まる。ある例示的な実施形態とし
て、カットオフ周波数は、3:1間引きにおいてπ/3
であり、そして2:1間引きにおいてπ/2であり、こ
こでπはサンプリング周波数の2分の1である。
【0102】MPEGおよびJPEG復号器におけるD
CTドメインフィルタは、メモリ要件を減らすことを可
能にする。なぜなら、逆量子化器およびブロックのID
CT処理は、従来技術の復号器においてすでに存在して
おり、DCTドメインフィルタ係数でのDCT係数の追
加スケラー乗算のみが要求されるためである。従って、
個別のDCTドメインフィルタブロック乗算は、特定の
実行において物理的に要求されない。本発明の別の実施
形態は、単にDCTドメインフィルタ係数をIDCT処
理係数と組み合わせる。
【0103】本発明の例示的なダウンコンバージョンシ
ステムにとって、DCT係数の水平フィルタリングおよ
び間引きが考慮される。そして次の2つの例示的な実施
が以下に示される。
【0104】1. 1080Vインターレースによる1
920Hから、1080Vインターレースによる640
Hへのコンバージョン(水平の3:1間引き) 2. 720Vプログレッシブによる1280Hから、
720Vプログレッシブによる640Hへのコンバージ
ョン(水平の2:1間引き) 表4は、DCTブロックミラーフィルタ(重みづけ)係
数を示す。表4の括弧内の数字は、10ビットにおける
2の補数表示である。表4の「*」は、値が1よりも大
きいために、10ビットにおける2の補数表示用の範囲
外の値を意味する。しかし、当業者には公知のように、
*で示される値によりブロックの列係数の乗算は、係数
値をフィルタ値の端数値(余り)で乗算した係数に加え
ることにより容易に実現される。
【0105】
【表9】
【0106】これらの水平DCTフィルタ係数は、符号
化ビデオ画像の8×8DCT係数のブロック内にある各
列に重みづけを行う。例えば、列0のDCT係数はH
[0]により重みづけされ、そして第1列のDCT係数
はH[1]により重みづけされ、同じように続いてい
く。
【0107】上記の説明は、一次元DCTを用いる水平
フィルタの実現を図示する。デジタル信号処理技術にお
いて公知のように、そのような処理は二次元システムに
応用され得る。二次元システムでは、入力シーケンスは
値のマトリックスとして表され、シーケンスを列シーケ
ンスにおいて周期Mを備えた周期のように示し、行シー
ケンスにおいて周期Nを備えた周期のように示し、Nお
よびMは整数である。二次元DCTは、入力シーケンス
の列上で行われる一次元DCT、そして次にDCT処理
された入力シーケンスの行上で行われる第2一次元DC
Tとして実現され得る。また、当該分野において公知の
ように、二次元IDCTは、単一プロセスとして実現さ
れ得る。
【0108】G.ダウンサンプリング ダウンサンプリングは、ダウンサンプリングプロセッサ
232により達成され、ダウンコンバージョンされる画
像内の画素の数を減少する。図5Aは、3:1の間引き
において4:2:0色差タイプのために入力および間引
きされた出力画素を示す。図5Bは、2:1の間引きに
おいて4:2:0色差タイプのために入力および間引き
された出力画素を示す。表5は、図5Aおよび図5Bの
輝度画素および色差画素を照合するための説明である。
図5Aおよび図5Bのダウンコンバージョン前後の画素
位置は、3:1間引きの際のインターレースされる場
合、および2:1間引きの際のプログレッシブな場合を
それぞれ示す。
【0109】
【表10】
【0110】インターレースされた画像のダウンサンプ
リング(1080画素サイズによる1920から、10
80画素サイズによる640へのコンバージョンであり
得る)として、3つに1つの画素が水平な軸上で間引き
される。例示的な3:1間引きでは、ダウンコンバージ
ョンプロセス後に3つの異なるマクロブロックタイプが
ある。図5Aにおいて、最初のマクロブロック(MB
s)は、MB0、MB1、MB2で表された。MB0に
おけるダウンサンプル化輝度画素は、最初のマクロブロ
ック内の第1画素において始まるが、MB1およびMB
2内のダウンサンプル化画素は、第3および第2画素に
おいて始まる。各マクロブロック内のダウンサンプル化
画素の数もまた、同じではない。MB0内には、6個の
ダウンサンプル化画素が水平にあるが、MB1およびM
B2では5画素である。これら3つのMBタイプは繰り
返され、よって剰余3の演算が適用される。表6は、各
入力マクロブロックMB0、MB1、MB2のためのダ
ウンサンプリング画素の数、およびオフセットの概要を
示す。
【0111】
【表11】
【0112】プログレッシブフォーマット画像のダウン
サンプリングとして、信号は2つに1つのサンプルのた
めに水平方向にサブサンプル化される。
【0113】本明細書中において、本発明の例示的な実
施形態が示され、説明されているが、このような実施形
態は例としてのみ提供されていることは理解される。本
発明の精神から逸脱することなく、当業者により数多く
の多様化、変更、および代替が生じ得る。従って、添付
の請求項が本発明の範囲内にある全てのそのような多様
化を網羅することが意図される。
【0114】ビデオ信号の現行フレームに対応する低解
像度ダウンサンプル化画素値のセットを、ビデオ信号の
現行フレームの剰余画像に対応する低解像度画素値のセ
ット、およびビデオ信号の標準フレームに対応するダウ
ンサンプル化低解像度画素値のセットから形成するため
の装置を含むHDTVダウンコンバージョンシステム。
この装置は、ダウンサンプル化低解像度画素値のセット
を蓄積するためのメモリを含む。アップサンプリングプ
ロセッサは、メモリから受信し、ラグランジュの補間を
利用し、ビデオ信号の標準フレームに対応するダウンサ
ンプル化低解像度画素値のセットを、ビデオ信号標準フ
レームに対応する低解像度画素値のセットへ転換する。
合計プロセッサは、ビデオ信号の現行フレームの剰余画
像に対応する低解像度画素値のセットを、ビデオ信号の
標準フレームに対応するアップサンプル化低解像度画素
値のセットに加え、ビデオ信号の現行フレームに対応す
る低解像度画素値のセットを形成する。間引きプロセッ
サは、現行フレームに対応する低解像度画素値のセット
の内選択された画素値を消去し、ビデオ信号の現行フレ
ームに対応する低解像度ダウンサンプル化画素値を発生
する。
【0115】
【発明の効果】本発明によれば、ビデオ信号の現行フレ
ームに対応する低解像度ダウンサンプル化画素値のセッ
トを、ビデオ信号の現行フレームの剰余画像に対応する
低解像度画素値のセット、およびビデオ信号の標準フレ
ームに対応するダウンサンプル化低解像度画素値のセッ
トから形成することが可能な装置を含むHDTVダウン
コンバージョンシステムが提供される。
【図面の簡単な説明】
【図1】従来技術のビデオ復号システムを示すハイレベ
ルブロック図である。
【図2】ダウンコンバージョンシステムの例示的な実施
形態を示すハイレベルブロック図である。
【図3A】3:1および2:1ダウンコンバージョンシ
ステムの例示的な実施形態のためのサブ画素位置および
対応予測画素を示す図である。
【図3B】例示的なダウンコンバージョンシステムのた
めの入力マクロブロックの各行において行われるアップ
サンプリングプロセスを示す図である。
【図4】3つの異なるアップサンプリングフィルタの周
波数特性を示す図である。
【図5A】3つの異なるアップサンプリングフィルタを
用いた矩形パルスの補間を示す図である。
【図5B】3つの異なるアップサンプリングフィルタを
用いた矩形パルスの補間を示す図である。
【図5C】3つの異なるアップサンプリングフィルタを
用いた矩形パルスの補間を示す図である。
【図6A】等リプルアップサンプリングフィルタを用い
た場合の予測フレームNo.1における、動き矩形パル
スの補間を示す図である。
【図6B】等リプルアップサンプリングフィルタを用い
た場合の予測フレームNo.2における、動き矩形パル
スの補間を示す図である。
【図6C】等リプルアップサンプリングフィルタを用い
た場合の予測フレームNo.3における、動き矩形パル
スの補間を示す図である。
【図6D】等リプルアップサンプリングフィルタを用い
た場合の予測フレームNo.5における、動き矩形パル
スの補間を示す図である。
【図6E】等リプルアップサンプリングフィルタを用い
た場合の予測フレームNo.8における、動き矩形パル
スの補間を示す図である。
【図6F】等リプルアップサンプリングフィルタを用い
た場合の予測フレームNo.10における、動き矩形パ
ルスの補間を示す図である。
【図7】ラグランジュアップサンプリングフィルタを用
いた場合の予測フレームNo.10における、動き矩形
パルスの補間を示す図である。
【図8】双一次アップサンプリングフィルタを用いた場
合の予測フレームNo.10における、動き矩形パルス
の補間を示す図である。
【図9】ブロックミラーフィルタの例示的な実施形態の
第1および第2出力画素値のための乗算ペアを示す図で
ある。
【図10A】3:1間引きを用いる4:2:0ビデオ信
号用に入力および間引きされた出力画素を示す図であ
る。
【図10B】2:1間引きを用いる4:2:0ビデオ信
号用に入力および間引きされた出力画素を示す図であ
る。
【符号の説明】
210 可変長復号器(VLD) 212 ランレングス(R/L)復号器 214 逆量子化器 216 ダウンコンバージョンフィルタ(DCTフィル
タ) 218 逆離散コサイン変換(IDCT)プロセッサ 220 MVトランスレータ 222 標準フレームメモリ 224 高解像度動きブロック発生器 226 アップサンプル 228 半画像発生器 232 ダウンサンプル化プロセッサ 240 前間引きフィルタ 280 ディスプレイコンバージョンブロック 282 垂直プログラマブルフィルタ 284 水平プログラマブルフィルタ
───────────────────────────────────────────────────── フロントページの続き (72)発明者 サイプラサド ネイムパリー アメリカ合衆国 ペンシルベニア 19047, ラングホーン, アトキンソン レーン 781 (72)発明者 ラリー フィリップス アメリカ合衆国 ニュージャージー 08003, チェリー ヒル, ハイゲイト コート 5

Claims (6)

    【特許請求の範囲】
  1. 【請求項1】 ビデオ信号の現行フレームの剰余画像に
    対応する低解像度画素値の第2セットから、および該ビ
    デオ信号の少なくとも1つの標準フレームに対応する低
    解像度ダウンサンプル化画素値の第1セットから、該ビ
    デオ信号の現行フレームに対応する低解像度ダウンサン
    プル化画素値の第3セットを形成する装置であって、該
    装置は、 該ダウンサンプル化低解像度画素値の第1セットを蓄積
    するためのメモリ手段と、 該ダウンサンプル化低解像度画素値の第1セットを、該
    ビデオ信号の該少なくとも1つの標準フレームに対応す
    る低解像度アップサンプル化画素値のセットへ転換する
    ためにラグランジュ補間を用い、該メモリ手段から該ダ
    ウンサンプル化低解像度画素値の第1セットを受信する
    アップサンプリング手段と、 該ビデオ信号の該現行フレームに対応する低解像度画素
    値の1つのセットを形成するように、該ビデオ信号の該
    現行フレームの該剰余画像に対応する該低解像度画素値
    の第2セットを、該ビデオ信号の該少なくとも1つの標
    準フレームに対応する低解像度アップサンプル化画素値
    のセットに加えるための合計手段と、 該メモリ手段内の蓄積用に、該ビデオ信号の該現行フレ
    ームに対応する該低解像度ダウンサンプル化画素値の第
    3セットを発生するように、該ビデオ信号の該現行フレ
    ームに対応する該低解像度画素値のセットの内、選択さ
    れたセットを消去するための間引き手段と、を含む装
    置。
  2. 【請求項2】 該ビデオ信号の該現行フレームの剰余画
    像を表す符号化ビデオ信号から、および該ビデオ信号の
    少なくとも1つの標準フレームに対応するダウンサンプ
    ル化低解像度画素値のセットから、ビデオ信号の現行フ
    レームに対応する低解像度ダウンサンプル化画素値のセ
    ットを形成するための装置であって、該符号化ビデオ信
    号は周波数ドメイン変換高解像度ビデオ信号であり、該
    装置は、 該符号化ビデオ信号を、高解像度周波数ドメインビデオ
    係数値の1つのセットとして受信するための受信手段
    と、 該ビデオ信号の該現行フレームの該剰余画像に対応する
    周波数ドメインビデオ係数のセットを形成するように、
    該高解像度周波数ドメインビデオ係数値のセットを受
    信、および重みづけを行うためのダウンコンバージョン
    フィルタ手段と、 該ビデオ信号の該現行フレームの該剰余画像に対応する
    該周波数ドメインビデオ係数のセットを、該ビデオ信号
    の該現行フレームの該剰余画像に対応する画素値のセッ
    トへ変換するための逆変換手段と、 該ビデオ信号の該少なくとも1つの標準フレームに対応
    する該ダウンサンプル化低解像度画素値のセットを蓄積
    するためのメモリ手段と、 該ビデオ信号の該少なくとも1つの標準フレームに対応
    する該ダウンサンプル化低解像度画素値のセットを、該
    ビデオ信号の該少なくとも1つの標準フレームに対応す
    るアップサンプル化低解像度画素値へ転換するためにラ
    グランジュ補間を用い、該メモリ手段から該ビデオ信号
    の該少なくとも1つの標準フレームに対応する該ダウン
    サンプル化低解像度画素値のセットを受信するアップサ
    ンプリング手段と、 該ビデオ信号の該現行フレームに対応する低解像度画素
    値のセットを形成するように、該ビデオ信号の該現行フ
    レームの該剰余画像に対応する該画素値のセットを、該
    ビデオ信号の該少なくとも1つの標準フレームに対応す
    る該アップサンプル化低解像度画素値のセットに加える
    ための合計手段と、 該メモリ手段内の蓄積用に、該ビデオ信号の該現行フレ
    ームに対応する該低解像度ダウンサンプル化画素値のセ
    ットを発生するように、該ビデオ信号の該現行フレーム
    に対応する該低解像度画素値のセットの内、選択された
    セットを消去するための間引き手段と、を含む装置。
  3. 【請求項3】 前記間引き手段が3:1間引きを行い、
    および前記アップサンプリング手段が三次ラグランジュ
    フィルタを含む、請求項2に記載の低解像度ビデオ信号
    を形成するための装置。
  4. 【請求項4】 ビデオ信号の現行フレームの剰余画像に
    対応する低解像度画素値の第2セットから、および該ビ
    デオ信号の少なくとも1つの標準フレームに対応する低
    解像度ダウンサンプル化画素値の第1セットから、該ビ
    デオ信号の現行フレームに対応する低解像度ダウンサン
    プル化画素値の第3セットを形成する方法であって、該
    方法は、 (a)該ダウンサンプル化低解像度画素値の第1セット
    をメモリに蓄積する工程と、 (b)該ダウンサンプル化低解像度画素値の第1セット
    を、該ビデオ信号の該少なくとも1つの標準フレームに
    対応する低解像度アップサンプル化画素値のセットへ転
    換するためにラグランジュ補間を用い、該メモリから該
    ダウンサンプル化低解像度画素値の第1セットを受信す
    る工程と、 (c)該ビデオ信号の該現行フレームに対応する低解像
    度画素値の1つのセットを形成するように、該ビデオ信
    号の該現行フレームの該剰余画像に対応する該低解像度
    画素値の第2セットを、該ビデオ信号の該少なくとも1
    つの標準フレームに対応する低解像度アップサンプル化
    画素値のセットに加える工程と、 (d)該メモリ内の蓄積用に、該ビデオ信号の該現行フ
    レームに対応する該低解像度ダウンサンプル化画素値の
    第3セットを発生するように、該ビデオ信号の該現行フ
    レームに対応する該低解像度画素値のセットの内、選択
    されたセットを消去する工程と、を含む方法。
  5. 【請求項5】 該ビデオ信号の該現行フレームの剰余画
    像を表す符号化ビデオ信号から、および該ビデオ信号の
    少なくとも1つの標準フレームに対応するダウンサンプ
    ル化低解像度画素値のセットから、ビデオ信号の現行フ
    レームに対応する低解像度ダウンサンプル化画素値のセ
    ットを形成するための方法であって、該符号化ビデオ信
    号は周波数ドメイン変換高解像度ビデオ信号であり、該
    方法は、 (a)該符号化ビデオ信号を、高解像度周波数ドメイン
    ビデオ係数値の1つのセットとして受信するための受信
    する工程と、 (b)該ビデオ信号の該現行フレームの該剰余画像に対
    応する周波数ドメインビデオ係数のセットを形成するよ
    うに、該高解像度周波数ドメインビデオ係数値のセット
    に重みづけを行う工程と、 (c)該ビデオ信号の該現行フレームの該剰余画像に対
    応する該周波数ドメインビデオ係数のセットを、該ビデ
    オ信号の該現行フレームの該剰余画像に対応する画素値
    のセットへ変換する工程と、 (d)該ビデオ信号の該少なくとも1つの標準フレーム
    に対応する該ダウンサンプル化低解像度画素値のセット
    をメモリ内に蓄積する工程と、 (e)該ビデオ信号の該少なくとも1つの標準フレーム
    に対応する該ダウンサンプル化低解像度画素値のセット
    を、該ビデオ信号の該少なくとも1つの標準フレームに
    対応するアップサンプル化低解像度画素値へ転換するた
    めにラグランジュ補間を用い、該メモリから該ビデオ信
    号の該少なくとも1つの標準フレームに対応する該ダウ
    ンサンプル化低解像度画素値のセットを受信する工程
    と、 (f)該ビデオ信号の該現行フレームに対応する低解像
    度画素値のセットを形成するように、該ビデオ信号の該
    現行フレームの該剰余画像に対応する該画素値のセット
    を、該ビデオ信号の該少なくとも1つの標準フレームに
    対応する該アップサンプル化低解像度画素値のセットに
    加える工程と、 (g)該メモリ内の蓄積のために、該ビデオ信号の該現
    行フレームに対応する該低解像度ダウンサンプル化画素
    値のセットを発生するように、該ビデオ信号の該現行フ
    レームに対応する該低解像度画素値のセットの内、選択
    されたセットを消去する工程と、を含む方法。
  6. 【請求項6】 工程(g)において、前記ビデオ信号の
    前記現行フレームに対応する前記低解像度画素値のセッ
    トの3:1間引きが行われ、および前記工程(e)にお
    いて、該ビデオ信号の前記少なくとも1つの標準フレー
    ムに対応する前記ダウンサンプル化低解像度画素値のセ
    ットを、該ビデオ信号の該少なくとも1つの標準フレー
    ムに対応するアップサンプル化低解像度画素値の1つの
    セットに転換するために、三次ラグランジュフィルタが
    用いられる、請求項5に記載の低解像度ビデオ信号を形
    成するための方法。
JP11284942A 1998-10-09 1999-10-05 ダウンコンバ―ジョンシステム用アップサンプリングフィルタ Withdrawn JP2000156858A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/169,297 US6618443B1 (en) 1997-03-12 1998-10-09 Upsampling filter for a down conversion system
US09/169.297 1998-10-09

Publications (1)

Publication Number Publication Date
JP2000156858A true JP2000156858A (ja) 2000-06-06

Family

ID=22615075

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11284942A Withdrawn JP2000156858A (ja) 1998-10-09 1999-10-05 ダウンコンバ―ジョンシステム用アップサンプリングフィルタ

Country Status (6)

Country Link
US (1) US6618443B1 (ja)
EP (1) EP0993195A3 (ja)
JP (1) JP2000156858A (ja)
KR (1) KR100667606B1 (ja)
CN (1) CN1135840C (ja)
CA (1) CA2281436A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013524659A (ja) * 2010-04-07 2013-06-17 リニア アルジェブラ テクノロジーズ リミテッド ハンドヘルド及びモバイル用途に適した低減された記憶容量及び処理要求を有するブロードキャストビデオレコーダ
US9438920B2 (en) 2014-11-13 2016-09-06 Fujitsu Limited Picture encoding method, picture encoding apparatus, picture decoding method and picture decoding apparatus

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1295390B1 (en) * 2000-06-23 2007-02-14 STMicroelectronics Asia Pacific Pte Ltd. Universal sampling rate converter for digital audio frequencies
KR100421001B1 (ko) * 2001-02-20 2004-03-03 삼성전자주식회사 샘플링 레이트 변환 장치 및 방법
US20030021347A1 (en) * 2001-07-24 2003-01-30 Koninklijke Philips Electronics N.V. Reduced comlexity video decoding at full resolution using video embedded resizing
US6983017B2 (en) * 2001-08-20 2006-01-03 Broadcom Corporation Method and apparatus for implementing reduced memory mode for high-definition television
KR100513042B1 (ko) * 2003-10-29 2005-09-06 한국전자통신연구원 지상파 디지털 텔레비젼 방송 시스템에서 동일채널중계기의 시간지연을 줄이기 위한 변조 장치
CA2553753C (en) * 2004-01-19 2013-06-04 Electronics And Telecommunications Research Institute Apparatus and method for modulating of on-channel repeater
JP2006243043A (ja) * 2005-02-28 2006-09-14 Sanyo Electric Co Ltd 高域補間装置及び再生装置
KR101254356B1 (ko) * 2005-04-13 2013-04-12 톰슨 라이센싱 공용 예측기를 사용하는 루마 및 크로마 디코딩
KR100759224B1 (ko) * 2005-12-14 2007-09-17 주식회사 대우일렉트로닉스 디스플레이 장치의 영상 표시방법
US7460133B2 (en) * 2006-04-04 2008-12-02 Sharp Laboratories Of America, Inc. Optimal hiding for defective subpixels
CN101543036B (zh) * 2006-11-24 2011-10-26 日本电气株式会社 编码和解码装置、编码和解码方法
US8832290B2 (en) * 2007-02-23 2014-09-09 Microsoft Corporation Smart pre-fetching for peer assisted on-demand media
US7889949B2 (en) * 2007-04-30 2011-02-15 Microsoft Corporation Joint bilateral upsampling
CN101442297B (zh) * 2007-11-23 2011-06-08 深圳Tcl工业研究院有限公司 一种数字抽取滤波器
US8270466B2 (en) * 2008-10-03 2012-09-18 Sony Corporation Adaptive decimation filter
US8310592B2 (en) * 2008-10-10 2012-11-13 Panasonic Corporation Signal processing apparatus, signal processing method, and program for signal processing
US8339512B2 (en) * 2009-03-05 2012-12-25 Sony Corporation Method and apparatus for enhancement of high-definition video content
JP5700968B2 (ja) * 2010-07-16 2015-04-15 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
CN102378011B (zh) * 2010-08-12 2014-04-02 华为技术有限公司 一种图像上采样的方法、装置和系统
CN107249131B (zh) 2011-03-30 2020-04-24 Lg 电子株式会社 视频解码装置和视频编码装置
WO2012169096A1 (ja) * 2011-06-08 2012-12-13 パナソニック株式会社 映像表示装置及び映像処理装置
WO2012173733A1 (en) * 2011-06-15 2012-12-20 Marvell World Trade Ltd. Modified bicubic interpolation
US8948248B2 (en) 2011-07-21 2015-02-03 Luca Rossato Tiered signal decoding and signal reconstruction
WO2014015032A2 (en) * 2012-07-19 2014-01-23 Cypress Semiconductor Corporation Touchscreen data processing
GB2496015B (en) 2012-09-05 2013-09-11 Imagination Tech Ltd Pixel buffering
US20140333669A1 (en) * 2013-05-08 2014-11-13 Nvidia Corporation System, method, and computer program product for implementing smooth user interface animation using motion blur
US9299128B2 (en) * 2013-05-23 2016-03-29 Futurewei Technologies, Inc. Delta interpolation for upsampling imaging solution
US20160170702A1 (en) * 2014-12-12 2016-06-16 Apple Inc. Devices and methods of image-splitting for dual-layer high dynamic range displays
US10616583B2 (en) 2016-06-30 2020-04-07 Sony Interactive Entertainment Inc. Encoding/decoding digital frames by down-sampling/up-sampling with enhancement information

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3997772A (en) 1975-09-05 1976-12-14 Bell Telephone Laboratories, Incorporated Digital phase shifter
DE3177295T4 (de) 1980-04-11 1994-05-26 Ampex Vordezimierungsfilter für Bildveränderungssystem.
US4472785A (en) 1980-10-13 1984-09-18 Victor Company Of Japan, Ltd. Sampling frequency converter
WO1982003741A1 (en) 1981-04-10 1982-10-28 Bennett Phillip Patrick System for spatially transforming images
DE3177088D1 (en) 1981-04-10 1989-09-21 Ampex Controller for system for spatially transforming images
JPS58219841A (ja) 1982-06-15 1983-12-21 Kokusai Denshin Denwa Co Ltd <Kdd> 標本化周波数の高速変換回路
US4652908A (en) 1985-03-25 1987-03-24 Rca Corporation Filtering system for processing a reduced-resolution video image
JP2592810B2 (ja) 1986-09-30 1997-03-19 株式会社東芝 サンプルレート変換回路
US4774581A (en) 1987-04-14 1988-09-27 Rca Licensing Corporation Television picture zoom system
US5057911A (en) 1989-10-19 1991-10-15 Matsushita Electric Industrial Co., Ltd. System and method for conversion of digital video signals
US5367334A (en) 1991-05-20 1994-11-22 Matsushita Electric Industrial Co., Ltd. Video signal encoding and decoding apparatus
JP2634971B2 (ja) 1991-06-27 1997-07-30 住友ゴム工業株式会社 空気入りタイヤ
JP3255179B2 (ja) 1992-02-14 2002-02-12 ソニー株式会社 データ検出装置
GB2264417B (en) 1992-02-17 1995-12-06 Sony Broadcast & Communication Video standards conversion
US5262854A (en) 1992-02-21 1993-11-16 Rca Thomson Licensing Corporation Lower resolution HDTV receivers
JPH05283978A (ja) 1992-03-31 1993-10-29 Sony Corp サンプリングレート変換装置
US5331346A (en) 1992-10-07 1994-07-19 Panasonic Technologies, Inc. Approximating sample rate conversion system
US5274372A (en) 1992-10-23 1993-12-28 Tektronix, Inc. Sampling rate conversion using polyphase filters with interpolation
JP3093494B2 (ja) 1992-11-18 2000-10-03 株式会社東芝 多様性信号処理装置
US5614952A (en) * 1994-10-11 1997-03-25 Hitachi America, Ltd. Digital video decoder for decoding digital high definition and/or digital standard definition television signals
US5477397A (en) 1993-02-23 1995-12-19 Matsushita Electric Corporation Of America Digital high definition television receiver with features that facilitate trick-play modes on a digital VCR
WO1995008221A1 (en) 1993-09-13 1995-03-23 Analog Devices, Inc. Digital to analog conversion using nonuniform sample rates
US5483474A (en) 1993-11-15 1996-01-09 North Shore Laboratories, Inc. D-dimensional, fractional bandwidth signal processing apparatus
US5613084A (en) 1994-10-04 1997-03-18 Panasonic Technologies, Inc. Interpolation filter selection circuit for sample rate conversion using phase quantization
US5828421A (en) * 1994-10-11 1998-10-27 Hitachi America, Ltd. Implementation efficient digital picture-in-picture decoding methods and apparatus
US5528301A (en) 1995-03-31 1996-06-18 Panasonic Technologies, Inc. Universal video format sample size converter
EP0835589A1 (en) 1995-06-29 1998-04-15 THOMSON multimedia System for encoding and decoding layered compressed video data
US5737019A (en) 1996-01-29 1998-04-07 Matsushita Electric Corporation Of America Method and apparatus for changing resolution by direct DCT mapping
WO1998041012A1 (en) * 1997-03-12 1998-09-17 Matsushita Electric Industrial Co., Ltd. Mpeg decoder providing multiple standard output signals
US6175592B1 (en) 1997-03-12 2001-01-16 Matsushita Electric Industrial Co., Ltd. Frequency domain filtering for down conversion of a DCT encoded picture
US6141456A (en) * 1997-12-31 2000-10-31 Hitachi America, Ltd. Methods and apparatus for combining downsampling and inverse discrete cosine transform operations
US6487249B2 (en) 1998-10-09 2002-11-26 Matsushita Electric Industrial Co., Ltd. Efficient down conversion system for 2:1 decimation
US6249549B1 (en) * 1998-10-09 2001-06-19 Matsushita Electric Industrial Co., Ltd. Down conversion system using a pre-decimation filter

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013524659A (ja) * 2010-04-07 2013-06-17 リニア アルジェブラ テクノロジーズ リミテッド ハンドヘルド及びモバイル用途に適した低減された記憶容量及び処理要求を有するブロードキャストビデオレコーダ
US9438920B2 (en) 2014-11-13 2016-09-06 Fujitsu Limited Picture encoding method, picture encoding apparatus, picture decoding method and picture decoding apparatus

Also Published As

Publication number Publication date
CN1255018A (zh) 2000-05-31
EP0993195A2 (en) 2000-04-12
CA2281436A1 (en) 2000-04-09
EP0993195A3 (en) 2001-08-22
KR20000028961A (ko) 2000-05-25
US6618443B1 (en) 2003-09-09
CN1135840C (zh) 2004-01-21
KR100667606B1 (ko) 2007-01-15

Similar Documents

Publication Publication Date Title
JP3631642B2 (ja) 2:1間引きにおける効果的なダウンコンバージョン
KR100667606B1 (ko) 다운 변환 시스템용 업 샘플링 필터
US6249549B1 (en) Down conversion system using a pre-decimation filter
EP0908057B1 (en) Upsampling filter and half-pixel generator for an hdtv downconversion system
US6175592B1 (en) Frequency domain filtering for down conversion of a DCT encoded picture
US6990241B2 (en) Circuit and method for decoding an encoded version of an image having a first resolution directly into a decoded version of the image having a second resolution
JP4030144B2 (ja) 画像解像度変換装置、復号化器、および画像解像度変換方法
Sun Hierarchical decoder for MPEG compressed video data
WO1998041012A9 (en) Mpeg decoder providing multiple standard output signals
WO2001047280A1 (en) Method and apparatus for performing video image decoding
EP1101358A1 (en) Encoding a video signal
JP2000341695A (ja) 符号化高精細度ビデオ信号から拡張デコード低減解像度ビデオ信号を得るための装置および方法
EP0955609B1 (en) Decoding compressed image information
JP2000049617A (ja) 符号化高精細ビデオ信号から復号化低解像度ビデオ信号を得るためのシステムの方法
KR100563015B1 (ko) Hdtv다운컨버젼시스템을위한업샘플링필터와하프-픽셀발생기
JP2000244907A (ja) デジタルビデオデータの復号化とフォーマット変換用の低コストビデオ復号器

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060822

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20080415