JP2002514867A - 情報ストリームデコーダにおけるメモリリソースの利用率増大方法および装置 - Google Patents

情報ストリームデコーダにおけるメモリリソースの利用率増大方法および装置

Info

Publication number
JP2002514867A
JP2002514867A JP2000547787A JP2000547787A JP2002514867A JP 2002514867 A JP2002514867 A JP 2002514867A JP 2000547787 A JP2000547787 A JP 2000547787A JP 2000547787 A JP2000547787 A JP 2000547787A JP 2002514867 A JP2002514867 A JP 2002514867A
Authority
JP
Japan
Prior art keywords
haar
coefficient
event
coefficients
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000547787A
Other languages
English (en)
Inventor
シペン リー,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Motorola Solutions Inc
Original Assignee
Motorola Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Motorola Inc filed Critical Motorola Inc
Publication of JP2002514867A publication Critical patent/JP2002514867A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H04N19/428Recompression, e.g. by spatial or temporal decimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H04N19/645Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission by grouping of coefficients into blocks after the transform
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115Selection of the code volume for a coding unit prior to coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 ハールウェーブレット変換と優先的な量子化およびスケーリングルーチンを用いて、1以上のピクセルブロックを圧縮して、優先的に量子化されたハールウェーブレット係数と関連するスケーリング指標とからなる1以上のそれぞれのワードを発生する方法および装置。MPEG的処理システムにおいて、フレーム格納用等のメモリリソース要求が2倍低減する。別の実施形態では、各ピクセルブロックに、離散コサイン変換(DCT)処理と高次DCT係数切捨てを実行することによって、ピクセル情報の圧縮率を高める。

Description

【発明の詳細な説明】
【0001】 本発明は、1998年5月7日に出願された米国特許仮出願第60/084,
632号の利益を享受するものである。
【0002】
【技術分野】
本発明は、一般に、通信システムに関し、さらに詳しく言えば、MPEG的ビ
デオ復号器等の、情報ストリーム復号器内のメモリ利用率を増加する方法および
装置に関する。
【0003】
【背景技術】
さまざまな通信システムの中には、伝送しようとするデータを圧縮して、利用
可能な帯域幅をさらに効率的に用いるものがある。例えば、動画像エキスパート
グループ(MPEG:Moving Pictures Experts Group)は、ディジタルデータ伝
送システムに関する規格を幾つか公表している。第1は、MPEG−1として知
られ、ISO/IEC規格11172と呼ばれるもので、その内容は本願明細書
に援用されている。第2は、MPEG−2として知られ、ISO/IEC規格1
3818と呼ばれるもので、その内容は本願明細書に援用されている。高度テレ
ビジョンシステム委員会(ATSC:Advanced Television System Committee)
)のディジタルテレビジョン規格書A/53には、圧縮ディジタルビデオシステ
ムについての記載があり、その内容は本願明細書に援用されている。
【0004】 上記に引用した規格には、固定長または可変長のディジタル通信システムを用
いて、ビデオ、音声およびその他の情報を圧縮・伝送するのに非常に適したデー
タ処理操作技術が説明されている。特に、上記に引用した規格および他の「MP
EG的(MPEG−like)」規格および技術は、フレーム内符号化技術(ラ
ンレングス符号化、ホフマン符号化等)とフレーム間符号化技術(前後予測符号
化、動き補償等)とを用いて、ビデオ情報を圧縮する。さらに詳しく言えば、ビ
デオ処理システムの場合、MPEGおよびMPEG的ビデオ処理システムは、フ
レーム内および/またはフレーム間の動き補償符号化を用いるか、または用いず
にビデオフレームに予測に基づいた圧縮符号化を行うことを特徴とする。
【0005】 一般的なMPEGデコーダでは、予測符号化されたピクセルブロック(すなわ
ち、1以上の動きベクトルと残りのエラー成分からなるブロック)が、参照フレ
ーム(すなわち、アンカフレーム)に対して復号される。アンカフレームは、デ
コーダ内のアンカフレームメモリ、通常はデュアルフレームメモリに格納される
。アンカフレームの各ブロックが復号されると、復号されたアンカフレームはデ
ュアルフレームメモリの第1の部分に結合される。すべてのアンカフレームが復
号化されると、デュアルフレームメモリの第1の部分に格納された復号化ブロッ
クは、デュアルフレームメモリの第2の部分に結合される。このようにして、デ
ュアルフレームメモリの第2の部分は、最新の全アンカフレームを格納するよう
に使用され、この最新のアンカフレームは、予測符号化されたブロックを復号す
るための参照フレームとしてデコーダの動き補償部分により使用される。
【0006】 残念なことに、アンカフレームメモリの実行に必要なメモリが、コスト面から
も集積回路ダイのサイズ(回路の複雑性、信頼性、電力使用、熱放散に影響する
)の面からも、非常に高コストになる。さらに、復号された画像の解像度が高く
なるにつれ、それに応じて必要なメモリサイズも大きくなる。従って、高精度テ
レビジョン(HDTV)デコーダでは、メモリ量は、最も高い解像度の画像を復
号するのに必要な(デュアル)アンカフレームのアンカメモリを十分実行できる
程のものでなければならい。さらに、フレーム格納メモリの帯域幅の要求(すな
わち、データの格納と引出し速度)は、復号される画像の解像度が上がるにつれ
て増大するため、フレーム格納メモリの帯域幅は、復号する最も高い解像度の画
像の要求を処理できるものでなければならない。
【0007】 従って、ビデオ画像の復号に必要なメモリとメモリ帯域幅を大幅に減少させな
がら、結果的に得られる最大解像度やサイズ縮小されたビデオ画質をほぼ維持す
る方法および装置の提供が望まれることが分かる。
【0008】
【発明の開示】
本発明は、MPEG的デコーダにおいてメモリおよびメモリ帯域幅の要求を低
減する方法および装置に関する。メモリおよびメモリ帯域幅の要求は、格納前に
画像情報を圧縮して、例えば、デコーダの動き補償モジュールにおいて画像の情
報を利用する前に、格納(圧縮)された画像情報を伸張することによって低くな
る。ハール(Haar)ウェーブレット変換と優先的量子化およびスケーリング
ルーチンを用いて、1以上のピクセルブロックを圧縮して、優先的に量子化され
たハールウェーブレット係数と関連するスケーリング指標からなる1以上の各ワ
ードを発生する方法および装置が開示されている。MPEG的処理システムの場
合には、フレーム格納用等のメモリリソース要求は2倍低減する。別の実施形態
では、各ピクセルブロックに離散コサイン変換(DCT)処理と高次DCT係数
切捨てを行うことで、ピクセル情報の圧縮率が高められる。
【0009】 さらに詳しく言えば、本発明による開示された方法の1つは、ハールウェーブ
レット変換を用いて、ピクセルブロックを変換して、ハール係数ブロックを形成
するステップと、複数のスケーリングファクタを用いて、ハール係数ブロックを
量子化して、それぞれの量子化されたハール係数ブロックを形成するステップで
あって、ピクセルブロックの垂直および水平空間周波数が比較的低い成分を表す
量子化されたハール係数に利用可能なビットバジェットを優先的に割り当てるよ
うに複数のスケーリングファクタを選択するステップと、量子化されたハール係
数のそれぞれと、複数のスケーリングファクタの少なくとも1つを、各ワードに
パッキングするステップと、メモリモジュール内のワードを復号システムに格納
するステップとを含む。
【0010】 本発明の教示は、添付の図面と共に以下の詳細な記載により容易に理解されよ
う。
【0011】 理解しやすいように、図面に共通の同一要素を指す場合同一の参照番号を用い
ている。
【0012】
【発明を実施するための最良の形態】
本発明は、例えば、MPEG−2ビデオデコーダ等のビデオデコーダに関して
記載される。しかしながら、本発明が、DVB、MPEG−1およびその他の情
報ストリームに適用されるシステムを含む任意のビデオ処理システムに応用可能
であることは、当業者には明らかであろう。
【0013】 さらに詳しく言えば、本発明は、圧縮ビデオ情報ストリームINを受信・復号
して、ビデオ出力ストリームOUTを発生するMPEG的復号システムに関して
主に記載される。本発明は、格納前に画像情報を圧縮し、例えば、デコーダの動
き補償モジュール等で画像情報を利用する前に、格納(圧縮)された画像情報を
伸張することによって、MPEG的デコーダでのメモリおよびメモリ帯域幅要求
を低減させるように動作する。
【0014】 図1は、本発明によるMPEG的デコーダ100の実施形態を示す図である。
さらに詳しく言えば、図1のデコーダ100は、圧縮ビデオ情報ストリームIN
を受信・復号して、ビデオ出力ストリームOUTを発生する。ビデオ出力ストリ
ームOUTは、例えば、表示装置(図示せず)内の表示ドライバ回路への結合に
適している。
【0015】 MPEG的デコーダ100は、入力バッファメモリモジュール111と、可変
長デコーダ(VLD)モジュール112と、逆量子化回路(IQ)モジュール1
13と、逆離散コサイン変換(IDCT)モジュール114と、加算器115と
、動き補償モジュール116と、出力バッファモジュール118と、アンカフレ
ームメモリモジュール117と、圧縮モジュール200と、伸張モジュール30
0とを備える。任意に、MPEG的デコーダ100は、サブサンプリングモジュ
ール200Xと補間モジュール300Xとを備える。
【0016】 入力バッファメモリモジュール111は、例えば、トランスポートデマルチプ
レクサ/デコーダ回路(図示せず)からの高精度テレビジョン信号(HDTV)
または標準精度テレビション信号(SDTV)出力を表す、例えば、可変長の符
号化されたビットストリーム等の圧縮ビデオストリームINを受信する。入力バ
ッファメモリモジュール111は、可変長のデコーダモジュール112が処理用
のビデオデータの受け入れ準備ができるまで、受信した圧縮ビデオストリームI
Nを一時的に格納するために使用される。VLD112は、入力バッファメモリ
モジュール111のデータ出力端に結合される入力端を有し、例えば、データス
トリームS1として格納された可変長の符号化ビデオデータを引き出す。
【0017】 VLD112は、引き出したデータを復号して、量子化予測エラーDCT係数
からなる一定長のビットストリームS2と、動きベクトルストリームMVを発生
する。IQモジュール113は、一定長のビットストリームS2に応じて逆量子
化動作を実行し、標準フォーマットで量子化予測エラー係数からなるビットスト
リームS3を発生する。IDCTモジュール114は、ビットストリームS3に
応じて逆離散コサイン変換動作を実行して、ピクセル毎の予測エラーからなるビ
ットストリームS4を発生する。
【0018】 加算器115は、ピクセル毎の予測エラーストリームS4を、動き補償モジュ
ール116により出力された動き補償された予測ピクセル値ストリームS6に加
算する。従って、例示的実施形態では、加算器115の出力は、再構築ピクセル
値からなるビデオストリームS5である。加算器115により出力されたビデオ
ストリームS5は、圧縮モジュール200と出力バッファモジュール118に結
合される。任意に、加算器115により出力されたビデオストリームS5は、サ
ブサンプリングモジュール200Xに結合される。
【0019】 圧縮モジュール118は、ブロック毎にビデオストリームS5を圧縮して、圧
縮ビデオストリームS5’を発生する。圧縮モジュール200の動作を、図2、
4、5に関して以下にさらに詳細に記載する。簡潔に言えば、圧縮モジュール2
00は、ピクセルブロック毎(例えば、4×4、4×8または8×8ピクセルブ
ロック)で動作して、ハールウェーブレット変換に従ってブロックを処理し、そ
の結果得られたハール係数ブロックを優先的に量子化し、その結果得られた量子
化係数をスケーリングし、スケーリングされた係数と関連するスケーリングファ
クタをパッキングすることで、圧縮ビデオストリームS5’の一部として圧縮モ
ジュール出力に結合されるピクセルブロックのスケーリング化、量子化、ハール
ドメインの表示が形成される。本願発明者等により、このようにアンカフレーム
がスケーリングされ、量子化されたハールドメイン表示に必要なメモリは、ピク
セルドメインのアンカフレーム表示に必要なメモリの略半分になることが観察さ
れた。従って、アンカフレームメモリモジュール117のメモリ要求は、2倍低
減される。
【0020】 ピクセルブロックにハールウェーブレット変換を実行する前に、ピクセルブロ
ックは、一次元または二次元DCT関数と、任意に、DCT変換切捨て関数を用
いて処理されてもよい。次いで、その結果得られたDCT係数(切捨て済みかま
たは未切捨て)は、ハールウェーブレット変換に従って処理される。
【0021】 本発明の一実施形態では、4×4ピクセルブロックに二次元ハールウェーブレ
ット変換を実行して、その結果が量子化されて適応され、スケーリングされた後
、データワードにパッキングされて、例えば、アンカフレームメモリモジュール
117に引き続き格納される。4×4ピクセルブロックの結果的に得られたスケ
ーリングされたハールドメイン表示のそれぞれは、約64以下のビットを占める
ものである。この本発明の実施形態は、ピクセル情報の圧縮率を2:1とするも
ので、以下に図4および5に関してさらに詳細に記載される。
【0022】 本発明の別の実施形態では、4×8ピクセルブロック(すなわち、4ピクセル
行×8列)が、一次元または二次元DCTを用いて処理され、それぞれ4×8ブ
ロックのDCT係数を発生する。高次DCT係数の切捨てを行った後、結果的に
得られたDCT係数の4×4ブロックに、二次元ハールウェーブレット変換を行
い、その結果を量子化して適応させ、スケーリングした後、データワードにパッ
キングする。その結果得られたピクセルブロックのスケーリングされたハールド
メイン表示は、約64以下のビットを占める。この本発明の実施形態は、ピクセ
ル情報の圧縮率を4:1とするもので、以下に図6に関してさらに詳細に記載さ
れる。
【0023】 アンカフレームメモリモジュール117は、圧縮ビデオストリームS5’を受
信して格納する。アンカフレームメモリモジュール117のサイズは、ピクセル
ブロックの2:1に圧縮された表示が格納されるため、ピクセルブロック自体よ
りも通常のサイズの半分に小さくすることが利点となる。アンカフレームメモリ
モジュール117に格納された圧縮ピクセルブロックは、さらに処理を行うため
に動き補償モジュール116へと与えられなければならない。しかしながら、動
き補償モジュールは非圧縮ピクセルデータを処理するため、圧縮されたピクセル
ブロックは、最初に、信号経路S7’を介して伸張用の伸張モジュール300に
与えられる。任意に、伸張モジュール300の出力は、動き補償モジュール11
6により処理される前に非圧縮ピクセルデータをアップサンプリング(すなわち
、リサイジング(サイズ変更))を行う補間モジュール300Xに結合される。
【0024】 伸張モジュール300は、上述した圧縮モジュール200の動作を本質的に反
映するものである。すなわち、伸張モジュール300は、各ハールドメインブロ
ックを受信して、受信したハールドメインブロックをアンパックして、ハール係
数と前に使用したスケーリングファクタを引き出す。次いで、アンパックしたハ
ール係数は、アンパックされたスケーリングファクタを用いてスケーリングされ
、逆ハールウェーブレット変換にかけて、実質的に元のピクセルブロックを復元
する。任意に、逆ハールウェーブレット変換は、DCT係数ブロックを発生し、
この係数に逆DCT変換を行い、実質的に元のピクセルブロックを復元する。伸
張モジュール300を、図3に関して以下にさらに詳細に記載する。
【0025】 伸張モジュール300は、信号経路S7を介して動き補償モジュール116に
よりアクセスされる。すなわち、動き補償モジュール116は、1以上の格納さ
れたアンカフレーム(例えば、加算器115の出力で発生したビデオ信号の最新
のIフレームまたはPフレームを形成するほぼ復元されたピクセルブロック)と
、VLD112から受信した動きベクトル信号MVとを利用して、動き補償され
た予測ピクセル値ストリームS6の値を計算する。
【0026】 任意のサブサンプリングモジュール200Xと補間モジュール300Xの動作
を以下に記載する。サブサンプリングモジュール200Xは、ビデオストリーム
S5内のピクセル情報のサブサンプリングまたはデシメーション処理を行い、ピ
クセルデータで表されたビデオ画像のリサイジング(すなわち、サイズ縮小)を
もたらすように動作する。例えば、1920ピクセル×1080ライン高精度画
像が、標準的な720ピクセル×480ライン画像等の小型画像にサイズ変更さ
れてもよいし、もしくは、例えば、利用可能な半導体領域または他のファクタ等
により決定される特定のレベルまで、メモリ要求を概して低減させるかメモリ要
求を低減させるように選択されたその他の非標準的なフォーマットにサイズ変更
されてもよい。次いで、サブサンプリングされたビデオストリームは、本願明細
書の別の所に記載される方法で、圧縮モジュール200により処理される。
【0027】 補間モジュール300Xは、サブサンプリングモジュール200Xの動作によ
り前にサイズ縮小された画像情報をサイズ変更(すなわち、サイズ拡大)するよ
うに使用される。補間モジュール300Xは、伸張モジュール300により出力
された画像情報を利用して、サブサンプリングモジュール200Xの動作により
前に除去された画像情報を計算(すなわち、概算)することによって、動き補償
モジュール166が、適切な画像サイズで表されたピクセル情報を受信する。サ
ブサンプリングモジュール200Xと補間モジュール300Xを動作させると、
本質的に、画像解像度と画質が落ちることに留意されたい。しかしながら、例え
ば、このような解像度を与えることができない表示システム(すなわち、小型表
示管テレビジョンシステム)等の場合、画像解像度の低下は認知不能のものであ
り、表示システムの市場で成功を得るには、メモリ削減によるコスト節約の方が
重要な場合がある。
【0028】 図2は、図1のMPEG的デコーダでの使用に適した圧縮モジュール200を
示す図である。圧縮モジュール200は、任意の離散コサイン変換モジュール(
DCT)210と、例えば、ハールウェーブレット変換モジュール(HAAR)
等のウェーブレット変換モジュール220と、量子化モジュール(Q)230と
、パッキングモジュール(PACK)240と、レート制御モジュール(250
)とを備える。圧縮モジュール機能性は、特定用途向けIC(ASIC)として
か、または本発明により特定の制御機能を実行するようにプログラムされている
汎用コンピュータとして実行されてもよい。
【0029】 圧縮モジュール200は、離散コサイン変換(DCT)圧縮モードと非DCT
圧縮モードの1つで動作して、ビデオストリームS5内に含まれるピクセル情報
を圧縮する。
【0030】 非DCT圧縮モードでは、圧縮ユニット200によりピクセル情報の圧縮比が
2:1となる。例えば、8ビット動的範囲を有する(約128ビットの情報から
なる)4×4ピクセルブロックの場合、非DCTモードで動作する圧縮モジュー
ルは、画質をほとんど低下させずに各4×4ピクセルの64ビット表示を発生す
る。同様に、8×8ピクセルブロック(約512ビット)または8×4ピクセル
ブロック(約256ビット)の場合、非DCTモードで動作する圧縮モジュール
は、画質をほとんど低下させずに、それぞれ、256ビットまたは128ビット
表示を発生する。
【0031】 DCT圧縮モード(すなわち、ハール変換前に高次DCT係数が切捨てされる
)では、圧縮ユニット200によりピクセル情報の圧縮比が4:1となる。従っ
て、8×8ピクセルブロック(約512ビット)または8×4ピクセルブロック
(約256ビット)の場合、DCTモードで動作する圧縮モジュールは、高周波
画像情報(例えば、「エッジ」の情報)が僅かに低下はするが、それぞれ、ピク
セル情報の128ビットまたは64ビットを発生する。
【0032】 DCTモジュール210の出力は、ハール変換モジュール220に結合され、
入力ピクセルブロックまたはDCT係数ブロックにハール変換プロセスを行う。
その結果得られたハール係数ブロックは、量子化回路230に結合される。レー
トコントローラ250により出力された制御信号RCに応答して、量子化回路2
30は、ハールウェーブレット係数ブロックを優先的に量子化、スケーリングし
てデータワードを発生し、情報ストリームS5’としてパッキングモジュール2
40に結合される。レートコントローラ250は、量子化回路230への入力と
量子化回路230からの出力をモニタして、量子化される係数ブロックのタイプ
とサイズを決定する。
【0033】 非DCT圧縮モードでは、例えば、4×4ピクセルブロック(すなわち、ピク
セルx0からx15)のそれぞれに二次元ハールウェーブレット変換を行い、対応
する4×4ハール変換ブロック(すなわち、X0からX15)を発生する。ハール
変換のそれぞれは、4×4ピクセルブロック内に含まれているビデオ情報の水平
空間周波数成分と垂直周波数成分の一部と関連するスペクトルエネルギーを表す
。次いで、ハール係数は、「重要」な係数(すなわち、人間の眼がより容易に認
識可能な画像情報を与える空間周波数成分を表す係数)が、それよりも重要でな
い係数よりも多くのビットを割り当てられるような優先方法で量子化される。次
いで、量子化された係数は、1/2n倍スケーリングされ、ここで、nは以下の
関係を満たす最小値nとして選択され、この関係とは、2(n+m)は1セットにお
けるウェーブレット係数の絶対値の最大値よりも小さいものであり、ここで、セ
ットとは、同じスケーリングファクタを共有する係数を指し、mはセット内の核
係数に割り当てられたビット数である。最後に、スケーリングされた係数とそれ
と関連するスケーリングファクタは、(約)64ビットワードにパッキングされ
る。次いで、64ビットワードは、圧縮ビデオストリームS5’の一部としてア
ンカフレームメモリモジュール117に結合される。
【0034】 DCT圧縮モードでは、例えば、4×8ピクセルブロック(すなわち、ピクセ
ルx0からx31)のそれぞれに1Dまたは2DのDCT関数を行い、対応する4
×8DCT係数ブロック(すなわち、X0からX31)を発生する。高次DCT係
数が切捨てされ(すなわち、係数X16からX31)、4×4DCT係数ブロック(
すなわち、(X0からX15)となる。次いで、その結果得られたDCT係数ブロ
ックに、二次元ハールウェーブレット変換を行い、対応する4×4ハールウェー
ブレット係数ブロック(すなわち、係数X0からX15)を発生する。次いで、ハ
ールウェーブレット係数は、非DCTモードの動作での場合とほぼ同じ方法で、
優先的に量子化、スケーリング、パッキングされて、4×8ピクセルブロックの
場合は、対応する64ビットワードを発生させる。次いで、64ビットワードは
、圧縮ビデオストリームS5’の一部としてアンカフレームメモリモジュール1
17に結合される。DCTモードまたは非DCTモードは、特定用途の必要性に
応じて選択されてよい。例えば、低解像度または標準精度(すなわち、高精度で
はない)テレビジョン用途では、画像の高周波数詳細情報の一部を「低下」させ
ることも許容できるが、このような情報は高精度用途では重要な場合がある。さ
らに、デコーダがデザインされるメモリ抑制が、DCT動作モードにより与えら
れるように、圧縮レベルを高めて使用する場合に影響が出ることがある。
【0035】 図3は、図1のMPEG的デコーダでの使用に適した伸張モジュール300を
示す図である。図3の伸張モジュール300は、アンパッキングモジュール31
0と、逆量子化(Q−1)モジュール320と、逆ハール変換(HAAR−1)
モジュール330と、任意の逆離散コサイン変換モジュール(IDCT)340
とを、この順序で直列結合させたものからなる。伸張モジュールは、圧縮モジュ
ール200に対して上述した対応するモジュールの逆の順序で逆の機能性をもっ
て動作する。従って、伸張モジュールの動作はあまり詳細には記載しない。簡単
に言えば、伸張モジュール300は、パッキングされたデータワードを受信し、
このデータワードをアンパックして、ハールウェーブレット係数ブロックを引き
出し、アンパッキングされた係数ブロックに逆ハールウェーブレット変換を実行
して、DCT係数ブロックまたはピクセルブロックを発生する。圧縮モジュール
200で切捨てされていないDCT係数ブロックの場合、DCT係数ブロックに
逆DCT動作を行い、ピクセルブロックを発生する。圧縮モジュール200で切
捨てされたDCT係数ブロックの場合には、NULL係数がDCT係数ブロック
に加えられて、このブロックが満たされて適切なサイズになり、「満たされた」
DCT係数ブロックに、逆DCT動作を行って、ピクセルブロックを発生する。
【0036】 圧縮モジュール200の動作を図4および図5に関して以下により詳細に記載
する。図4は、図2の圧縮モジュールまたは図1のMPEG的デコーダでの使用
に適した本発明によるデータ圧縮方法の流れ図である。図5は、図4のデータ圧
縮方法のグラフである。図4の圧縮ルーチン400は、図1のMPEG的デコー
ダ100の協働モジュール間の論理関数として実行されてもよい。また、圧縮ル
ーチン400は、汎用計算機装置内のルーチンとして実行されてもよい。圧縮ル
ーチン400は、例えば、ビデオストリーム(すなわち、図1のMPEG的エン
コーダにおける加算器115の出力で発生するビデオストリームS5)内の4×
4ピクセルブロックのそれぞれを圧縮して、データ量がかなり小さい4×4ピク
セルブロックを表すデータセットを発生するように動作する。
【0037】 例えば、4×4ピクセルブロック(図5の参照番号510)が圧縮モジュール
200により受信されると、圧縮ルーチン400がステップ402で開始される
。圧縮ルーチン400はステップ403に進み、圧縮モジュールの動作モードに
ついての質問がなされる。ステップ403での質問の答えが、圧縮モジュールが
非DCT動作モードで動作しているというものであれば、ルーチン400はステ
ップ406に進む。ステップ403での質問の答えが、圧縮モードがDCT動作
モードで動作しているというものであれば、ルーチン400はステップ404に
進む。
【0038】 ステップ404では、4×4ピクセルブロックに、離散コサイン変換(DCT
)が実行されて、DCT係数の4×4のブロック(図5の参照番号520)を発
生する。DCTは、一次元または二次元DCTであってよい。次いで、圧縮ルー
チン400は、任意に、ステップ405に進み、ステップ404のDCT変換で
生成される高次DCT係数が切捨てされる(図5には図示せず)。次いで、ルー
チン400はステップ406に進む。
【0039】 DCT変換(ステップ404)と高次DCT係数切捨て(ステップ405)と
を組み合わせることは、より高い圧縮率が必要になる場合に特に有益である。例
えば、4×4ピクセルブロックではなく、メモリの割当てが一定(すなわち、4
:1の圧縮率が必要)に維持されている4×8ピクセルブロック(すなわち、4
ピクセル行×8列)からなる入力ピクセルブロックの場合を考えてみる。例えば
、ステップ404で二次元DCTを実行して、DCT係数のそれぞれの4×8ブ
ロックを発生させた後、高次DCT係数(すなわち、ピクセルブロック内で最も
高いピクセルスペクトルを表す16個のDCT係数)が任意に切捨てされ、4×
4DCT係数ブロックを発生する。この4×4DCT係数ブロックは、tを含み
、最も高い周波数ピクセルドメイン情報のみを欠く、ピクセルブロック内に含ま
れるピクセルドメイン情報の大部分を形成する。ピクセルドメイン情報を再構築
する(例えば、伸張モジュール300で)には、16個のNULL DCT係数
が16個の切捨てされていないDCT係数に加えられて、4×8DCT係数ブロ
ックを形成し、このブロックは、逆DCTモジュールに従って処理されて、4×
8ピクセルブロックを発生する。これにより発生した4×8ピクセルブロックに
は、元の4×8ピクセルブロックにあった高周波(すなわち、詳細な)情報の一
部が欠けている場合があるが、このような情報はこの用途には重要ではないこと
がある(または、このような情報を保持するメモリが利用不能なことがある)。
【0040】 4×4ピクセルブロックまたは8×8ピクセルブロックの場合には、ステップ
405の高次切捨てにより、それぞれ、2×4DCTブロックまたは4×8DC
Tブロックが生じる。切り捨てられる係数の数は、DCT係数がより多くまたは
より少なく切り捨てられるように適応されてもよい。例えば、8×8ピクセルブ
ロックに二次元DCT処理を行って生じる8×8DCT係数ブロックが切捨てさ
れて、4×4ピクセルブロックを発生する(これに合わせて高周波画像情報は減
少する)。
【0041】 ステップ406では、元の4×4ピクセルブロック(510)か、ステップ4
04で発生したDCT係数ブロック(520)か、または任意に、ステップ40
5で発生した切り捨てられたDCT係数ブロックに二次元ハールウェーブレット
変換が実行される。二次元ハールウェーブレット変換により、ウェーブレット係
数の4×4ブロックが生じる(図5の参照番号530)。ウェーブレット係数は
それぞれ、4×4ピクセルブロック510の垂直および水平空間周波数成分の特
定周波数域を表す。
【0042】 以下、図5を参照すると、ウェーブレット係数の4×4ブロックは、表示され
た垂直および水平スペクトルに従って4つの象限に分割される。「LL」象限と
して示されている左上の象限には、4×4ピクセルブロック510のうち、垂直
空間周波数が低い成分と水平空間周波数が低い成分を表すウェーブレット係数が
含まれている。「LH」象限として示されている右上の象限には、垂直空間周波
数が低い成分と水平空間周波数が高い成分を表すウェーブレット係数が含まれて
いる。「HL」象限として示されている左下の象限には、垂直空間周波数が高い
成分と水平空間周波数が低い成分とを表すウェーブレット係数が含まれている。
「HH」象限として示されている右下の象限には、垂直空間周波数が高い成分と
垂直区間周波数が高い成分を表すウェーブレット係数が含まれている。
【0043】 LL象限は、LL象限内で表示された垂直および水平スペクトルに従って、さ
らに4つの副事象に分割される。「LLLL」副事象として示されている左上の
副事象には、4×4ピクセルブロック510の垂直および水平空間周波数がほぼ
DCの成分を表す係数が含まれている。「LLLH」副事象として示されている
右上の副事象には、垂直空間周波数が低い成分と水平空間周波数が高い成分を表
すウェーブレット係数が含まれている。「LLHL」副事象として示されている
左下の副事象には、垂直空間周波数が高い成分と水平空間周波数が低い成分とを
表すウェーブレット係数が含まれている。「LLHH」副事象として示されてい
る右下の副事象には、垂直空間周波数が高い成分と水平空間周波数成分が高い成
分とを表すウェーブレット係数が含まれている。
【0044】 二次元ハールウェーブレット変換を実行(ステップ406)した後、圧縮ルー
チン400はステップ408に進み、2nスケーリングファクタを用いて、ウェ
ーブレット係数が量子化される(図5の参照番号540)。量子化プロセスによ
り、整数にするために適切に丸めた量子化値またはスケールのセットで、ウェー
ブレット係数を割ることでウェーブレット係数が表される精度が低減する。量子
化値は、ウェーブレット係数の各セット毎に個別に設定される。この値でDCT
係数を量子化することにより、DCT係数のうち多くの係数がゼロに変換される
ことにより、画像圧縮効率が高まる。さらに詳しく言えば、ウェーブレット係数
は、「より重要」な係数(すなわち、人間の眼がより容易に識別可能な画像情報
を与える空間周波数成分を表すウェーブレット係数)に、「あまり重要でない」
係数よりも多くのビットが割り当てられるように優先的に量子化される。すなわ
ち、各係数を表すために使用されるビット数は、画像を表示させるさいの係数の
相対的な重要性に反比例する量に応じて減少する。
【0045】 人間の眼は、低空間周波数の画像成分をより感知しやすいため、画像のDC成
分が最も重要となる。従って、X0係数(すなわち、LLLL副事象)は、8ビ
ットレベルの精度で4のスケーリングファクタを用いて量子化され、量子化され
たDC成分はX0Qとなる。残りのLL事象の係数、すなわち、X1、X2およびX 3 係数はそれぞれ、4ビット(+符号ビット)レベルの精度で4*mのスケーリ
ングファクタを用いて量子化され、量子化されたLL成分はX1Q、X2QおよびX 3Q となる。スケーリングファクタ「m」は、2ビットの整数からなる。
【0046】 例示的実施形態において、本願発明者等は、LH事象を2番目に重要な事象で
あると考えている。しかしながら、LH事象の量子化は、残りの2つの事象(す
なわち、HL事象とHH事象)を量子化するさいに、64ビットのワードバジェ
ットのうちどのくらいが消費されるかによる。従って、2つの「最も重要でない
」事象であるHL事象とHH事象が、LH事象の前に処理される。
【0047】 HL事象係数、すなわち、X8、X9、X12およびX13はそれぞれ、2ビット(
+符号ビット)レベルの精度で4*nのスケーリングファクタを用いて量子化さ
れ、量子化されたHL成分はX8Q、X9Q、X12QおよびX13Qとなる。HH事象係
数、すなわち、X10、X11、X14およびX15はそれぞれ、2ビット(+符号ビッ
ト)レベルの精度で4*nのスケーリングファクタを用いて量子化され、量子化
されたHH成分はX10Q、X11Q、X14QおよびX15Qとなる。ある係数を量子化す
ることで係数の値がゼロになれば、その係数には符号ビットが使用されない。ス
ケーリングファクタ「n」は、3ビットの整数からなる。
【0048】 LL事象、HL事象およびHH事象の係数を量子化(ステップ408)した後
、圧縮ルーチン400はステップ410に進み、ゼロに符号化された係数の数が
3を超えるか否かの質問がなされる。すなわち、ステップ408で量子化された
係数のうち4以上の係数がゼロの値に量子化された場合、この4以上の符号ビッ
トは使用されない。
【0049】 ステップ410の質問の答えがYESであれば、圧縮ルーチン400はステッ
プ414に進み、3ビット(+符号ビット)レベルの精度で4*(n-1)のスケー
リングファクタを用いて、LH事象の係数、すなわち、X2、X3、X6およびX7 がそれぞれ量子化されて、量子化されたLH成分はX2Q、X3Q、X6QおよびX7Q となる。次いで、圧縮ルーチン400はステップ416に進む。
【0050】 ステップ410での質問の答えがNOであれば、圧縮ルーチン400はステッ
プ412に進み、2ビット(+符号ビット)レベルの精度で4*nのスケーリン
グファクタを用いて、LH事象の係数、すなわち、X2、X3、X6およびX7がそ
れぞれ量子化されて、量子化されたLH成分はX2Q、X3Q、X6QおよびX7Qとな
る。次いで、圧縮ルーチン400はステップ416に進む。
【0051】 ステップ416では、量子化されたウェーブレット係数X0QからX15Qがパッ
キングされて(図5の参照番号550)、圧縮された出力ストリームS5’を発
生する。すなわち、上述した例示的な4×4ピクセルブロックの処理の場合には
、スケーリングされた係数とスケーリングファクタを以下のように連結して、約
8バイト(64ビット)のワードが形成される。すなわち、「X0Q、m、X1Q
2Q、X3Q、n、X4Q、X5Q、X6Q、X7Q、X8Q、X9Q、X10Q、X11Q、X12Q
、X13Q、X14Q、X15Q」となる。
【0052】 スケーリングされた係数とスケーリングファクタをパッキング(ステップ41
6)した後、ルーチン400はステップ418に進み、フレーム内に処理すべき
ピクセルブロックがさらにあるか否かの質問がなされる。ステップ418での質
問の答えがYESであれば、ルーチン400はステップ406(または、任意の
ステップ404)に進み、次のピクセルブロックに対して、上述した変換、量子
化スケーリングおよびパッキングプロセスが繰り返される。ステップ418での
質問の答えがNOであれば、ルーチン400はステップ420に進み、終了する
。ルーチンは、例えば、次の画像フレームの第1のピクセルブロックが受信され
た場合に、ステップ402で再度開始されてもよい。
【0053】 パッキングの順番は本発明の実施とは無関係であることに留意されたい。しか
しながら、係数およびスケーリングファクタの中には、例えば、逆スケーリング
や変換動作等に対して他のものよりも前に利用される必要のものもあるため、本
願発明者等は、MPEG的ビデオ情報ストリームの場合での好適な順序として、
上記に開示した順序をとった。他のタイプの情報ストリームに対して、パッキン
グは異なる順序で最適化されてもよい。
【0054】 本発明の例示的な実施形態では、4×4ピクセルブロックが非DCTモードで
処理され、4×8ピクセルブロックがDCTモードの動作で処理される。従って
、上述した副事象はそれぞれ、1つのウェーブレット係数しか含んでいない。本
発明により任意のサイズのブロックが処理されてもよいため、副事象は2以上の
ウェーブレット係数からなるものであってよいことは、当業者には容易に理解さ
れよう。さらに、事象および副事象は、ウェーブレット係数からなる非対称グル
ーピングからなるものであってよい。
【0055】 上述した非常に重要な例の1つは、4×8ピクセルブロックの例である。図4
に関して上述したように、4×8ピクセルブロックは、ハールウェーブレット変
換を行う前に、DCT処理と切捨てを行い、4×4ハールウェーブレット係数ブ
ロックを発生する。DCT係数切捨ての任意のステップが使用されなければ、ハ
ールウェーブレット係数ブロックの各事象は、2×4係数事象からなる。このよ
うなブロックの副事象を処理するさい、副事象は、任意に、最も重要な情報を強
調するようにされてもよい。例えば、切捨てされていない4×8ブロックを利用
する本発明の一実施形態では、LLLL副事象はウェーブレット係数X0からな
り、LLLH副事象はウェーブレット係数X4とX5からなり、LLHL副事象は
ウェーブレット係数X1とX2からなり、LLHH副事象はウェーブレット係数X 3 、X6およびX7からなる。あるいは、各副事象に対して発生したウェーブレッ
ト係数は、発生したウェーブレットを平均化もしくは結合することによって、1
つの係数に減らしてもよい。
【0056】 図6は、本発明による圧縮プロセスのブロック図である。さらに詳しく言えば
、図6は、ピクセルドメイン情報をウェーブレットドメイン情報に伸張するプロ
セス600のブロック図である。さらに詳しく言えば、標準的なハール変換に従
って、4つのピクセル610から613が処理され、第1レベルの伸張で4つの
ハールウェーブレット変換係数630から633を発生する。さらに、最初の2
つのウェーブレット係数630、631の処理に、ハールウェーブレット変換を
利用する第2レベルの伸張が使用されて、一対のDCTドメイン係数を発生する
【0057】 ピクセルブロックに、ハールウェーブレット変換を利用する第1レベルの伸張
が実行されて、対応するハールウェーブレット係数ブロックを発生する。さらに
詳しく言えば、第1の加算器620により、ピクセル610がピクセル611に
加算されて、第1のウェーブレット係数630(すなわち、X0)を発生する。
第2の加算器622により、ピクセル612がピクセル613に加算されて、第
2のウェーブレット係数631(すなわち、X1)を発生する。ピクセル610
からピクセル611が減算されて、第3のウェーブレット係数632(すなわち
、X2)を発生する。第2の減算器623により、ピクセル613がピクセル6
12から減算されて、第4のウェーブレット係数633(すなわち、X3)を発
生する。従って、ピクセルブロック(x0からx3)には、第1レベルの伸張が行
われて、対応するハールウェーブレット係数ブロック(X0からX3)を発生する
【0058】 さらに、第1および第2のウェーブレット係数630と631に、第2レベル
の伸張が実行される。さらに詳しく言えば、第3の加算器641により、ウェー
ブレット係数630がウェーブレット係数631に加算されて、第5のウェーブ
レット係数650(すなわち、Y0)を発生し、第3の減算器642により、ウ
ェーブレット係数631がウェーブレット係数630により減算されて、第6の
ウェーブレット係数651(すなわち、Y1)を発生する。このように、ピクセ
ル610から613は、ハール変換を用いて処理されて、第1レベルの伸張のハ
ールウェーブレット係数632と633と、第2レベルの伸張のウェーブレット
係数650と651を発生する。このようにしてピクセル610から613を処
理することにより、ウェーブレットドメインで同じピクセル情報を表すウェーブ
レット係数632、633、650および651が発生する。
【0059】 上述したプロセス600は、例えば、非DCT圧縮モードでの図1または図2
の圧縮モジュール200での使用に適したものである。同様に、非DCT圧縮モ
ードでの図1または図3の伸張モジュール300は、上述したプロセス600の
ミラー画像を実行して、さまざまな係数から、圧縮モジュール200により圧縮
された元のピクセルブロックを抽出する。
【0060】 図7は、本発明による圧縮プロセスのブロック図を示すものである。さらに詳
しく言えば、図7は、ピクセルドメイン情報をウェーブレットドメイン情報に伸
張するプロセス700のブロック図である。ピクセル710から717(すなわ
ち、x0からx7)からなるピクセルブロックにDCT変換プロセス720を実行
すると、DCT係数730から737(すなわち、X0からX7)からなる対応す
るDCT係数ブロックが発生する。高次DCT係数734から737は切り捨て
られ、低次DCT係数730から733は各スケーリングユニット730から7
43に結合される。スケーリングユニット740から743は、1/(すなわち
、0.7071)で低次DCT係数730から733をそれぞれスケーリングす
る。
【0061】 次いで、スケーリングされた係数(すなわち、各スケーリングユニットの出力
での係数)に修正ハール変換(すなわち、加算および減算の順序が標準的なハー
ル変換から修正されたハール変換)を実行する。さらに詳しく言えば、第1の加
算器750により、スケーラ740により発生した係数がスケーラ741により
発生した係数に加算されて、第1のウェーブレット係数760(すなわち、Z0
)を発生する。第1の減算器751により、スケーラ741により発生した係数
がスケーラ740により発生した係数から減算されて、第2のウェーブレット係
数761(すなわち、Z1)を発生する。第2の加算器752により、スケーラ
742により発生した係数がスケーラ743により発生した係数に加算されて、
第3のウェーブレット係数762(すなわち、Z2)を発生する。第2の加算器
753により、スケーラ743により発生した係数がスケーラ742により発生
した係数から減算されて、第4のウェーブレット係数763(すなわち、Z3
を発生する。
【0062】 以下のように、第1の2つのウェーブレット係数760と761に第2レベル
のウェーブレット伸張が実行される。加算器770により、第1のウェーブレッ
ト係数760が第2のウェーブレット係数761に加算されて、第1の第2レベ
ル伸張ウェーブレット係数780を発生する。減算器771により、第2のウェ
ーブレット係数761が第1のウェーブレット係数760から減算されて、第2
レベル伸張のウェーブレット係数781を発生する。
【0063】 このようにして、ピクセル710から717で表されるピクセルブロックは、
2つの第1レベル伸張ウェーブレット係数(すなわち、762と763)と2つ
の第2レベル伸張ウェーブレット係数(すなわち、780と781)に圧縮され
た。
【0064】 上述したプロセス700は、例えば、DCT圧縮モードにおいて図1または図
2の圧縮モジュール200での使用に適している。同様に、DCT圧縮モードで
の図1または図3の伸張モジュール300は、上述したプロセス700のミラー
画像を実行して、さまざまな係数から、圧縮モジュール200により圧縮された
元のピクセルブロックを抽出する。
【0065】 本発明は、コンピュータ実行処理およびこれらの処理を行う装置の形態で実
施可能である。また、本発明は、フロッピーディスク、CD−ROM、ハードド
ライバ、または他の任意のコンピュータ読取り可能な記憶媒体等、有形の媒体で
具体化されるコンピュータプログラムの形態で実施可能であり、この場合、コン
ピュータプログラムコードがコンピュータにロードされて実行されると、コンピ
ュータは本発明を実施する装置となる。また、本発明は、例えば、記憶媒体内に
格納されるか、コンピュータへのロードおよび/またはコンピュータにより実行
されるか、または電気ワイヤやケーブル、光ファイバや電磁放射等の何らかの伝
送媒体で伝送されて、コンピュータプログラムコードの形態で実施可能であり、
この場合、コンピュータプログラムコードがコンピュータにロードされて実行さ
れると、コンピュータは本発明を実施する装置となる。汎用マイクロプロセッサ
で実行される場合、コンピュータプログラムコードのセグメントは、マイクロプ
ロセッサを構成して、特定の論理回路を形成する。
【0066】 本発明の教示を組み入れたさまざまな実施形態を本願明細書に詳細に示し記載
してきたが、当業者であれば、これらの教示を組み合わせた他の多くの変更実施
形態を容易に考案可能である。
【図面の簡単な説明】
【図1】 本発明によるMPEG的デコーダの実施形態を示す図である。
【図2】 図1のMPEG的デコーダでの使用に適した圧縮モジュールを示す図である。
【図3】 図1のMPEG的デコーダでの使用に適した伸張モジュールを示す図である。
【図4】 図1の圧縮モジュールまたは図1のMPEG的デコーダでの使用に適した本発
明によるデータ圧縮方法の流れ図である。
【図5】 図4のデータ圧縮方法のグラフである。
【図6】 本発明による圧縮プロセスのブロック図である。
【図7】 本発明による圧縮プロセスのブロック図である。
───────────────────────────────────────────────────── フロントページの続き (81)指定国 EP(AT,BE,CH,CY, DE,DK,ES,FI,FR,GB,GR,IE,I T,LU,MC,NL,PT,SE),BR,CN,I N,JP,KR,SG (72)発明者 リー, シペン アメリカ合衆国, ニュー ジャージー 州, プリンストン, バークシャー ド ライヴ 303 Fターム(参考) 5C059 KK08 LB05 LB15 MA00 MA23 MA24 MC15 ME01 NN21 PP04 SS05 SS06 TA17 TA48 TA49 TB04 TB08 TC04 TC27 TC39 TD13 UA05 UA33 UA34 UA38

Claims (14)

    【特許請求の範囲】
  1. 【請求項1】 MPEG的ビデオストリームの処理システムにおいて、 ハールウェーブレット変換を用いて、ピクセルブロックを変換して、ハール係
    数ブロックを形成するステップと、 複数のスケーリングファクタを用いて、前記ハール係数ブロックを量子化して
    、それぞれの量子化されたハール係数ブロックを形成するステップであって、前
    記ピクセルブロックの垂直および水平空間周波数が比較的低い成分を表す量子化
    されたハール係数に利用可能なビットバジェットを優先的に割り当てるように前
    記複数のスケーリングファクタを選択するステップと、 前記量子化されたハール係数のそれぞれと、前記複数のスケーリングファクタ
    の少なくとも1つを、各ワードにパッキングするステップと、 前記復号システム内のメモリモジュール内に前記ワードを格納するステップと
    を含む方法。
  2. 【請求項2】 前記変換、量子化、パッキングおよび格納ステップを、画像
    フレームを形成する各ピクセルに繰り返して、前記メモリモジュールが全圧縮画
    像フレームを格納する請求項1記載の方法。
  3. 【請求項3】 前記メモリモジュールから、前記格納されたワードを読み出
    すステップと、 前記格納されたワードをアンパッキングして、前記量子化されたハール係数と
    前記複数のスケーリングファクタの前記少なくとも1つを引き出すステップと、 前記複数のスケーリングファクタの前記引き出した少なくとも1つを用いて、
    前記ハール係数ブロックを逆量子化して、それぞれの逆量子化されたハール係数
    ブロックを形成するステップと、 前記ハールウェーブレット変換を用いて、前記逆量子化されたハール係数ブロ
    ックを逆変換して、それぞれのピクセルブロックを形成するステップとをさらに
    含む請求項1記載の方法。
  4. 【請求項4】 前記変換、量子化、パッキングおよび格納ステップを、画像
    フレームを形成する各ピクセルに繰り返して、前記メモリモジュールが全圧縮画
    像フレームを格納する請求項3記載の方法。
  5. 【請求項5】 前記変換ステップが、 離散コサイン変換(DCT)を用いて、前記ピクセルブロックを変換して、D
    CT係数ブロックを形成するステップと、 前記修正ハールウェーブレット変換を用いて、前記DCT係数ブロックを変換
    して、前記ハール係数ブロックを形成するステップとを含む請求項1記載の方法
  6. 【請求項6】 前記変換ステップが、 離散コサイン変換(DCT)を用いて、前記ピクセルブロックを変換して、D
    CT係数ブロックを形成するステップと、 前記DCT係数ブロック内の複数の高次DCT係数を切捨てして、切り捨てら
    れたDCT係数ブロックを形成するステップと、 前記修正ハールウェーブレット変換を用いて、前記切り捨てられたDCT係数
    ブロックを変換して、前記ハール修正ブロックを形成するステップとを含む請求
    項1記載の方法。
  7. 【請求項7】 前記切捨てステップは、少なくとも2倍前記DCT係数ブロ
    ックの係数の数を低減させる請求項6記載の方法。
  8. 【請求項8】 前記量子化ステップが、 前記ハールウェーブレット係数を、1つのDC副事象と複数の非DC副事象か
    らなる低垂直低水平空間周波数事象(LL)と、低垂直高水平空間周波数事象(
    LH)と、高垂直低水平空間周波数事象(HL)と、高垂直高水平空間周波数事
    象(HH)との1つに関連付けするステップと、 第1のビット割当てを用いて、前記DC副事象と関連する前記ハール係数を量
    子化するステップと、 第2のビット割当てを用いて、前記非DC副事象と関連する前記ハール係数を
    量子化するステップと、 第3のビット割当てを用いて、前記HLおよびHH事象と関連する前記ハール
    係数を量子化するステップと、 第4のビット割当てを用いて、前記LH事象と関連する前記ハール係数を量子
    化するステップとを具備し、LL、HLおよびHH事象係数の所定数を超える数
    がゼロに量子化されると、前記第4のビット割当てが増大される請求項1記載の
    方法。
  9. 【請求項9】 前記ピクセルブロックが4×4ピクセルブロックからなる場
    合、 前記第1のビット割当ては、8ビット割当てからなり、 前記第2のビット割当ては、4ビット割当てと符号ビット割当てからなり、 前記第3のビット割当ては、2ビット割当てと符号ビット割当てからなり、 前記第4のビット割当ては、2ビット割当てと符号ビット割当てか、または3
    ビット割当てと符号ビット割当てからなる請求項8記載の方法。
  10. 【請求項10】 前記DC副事象と関連する前記ハール係数が、第1のスケ
    ーリングファクタを用いて量子化され、 前記非DC副事象と関連する前記ハール係数が、第2のスケーリングファクタ
    を用いて量子化され、 前記HLとHH事象と関連する前記ハール係数が、第3のスケーリングファク
    タを用いて量子化され、 前記LH事象と関連する前記ハール係数が、前記第3のスケーリングファクタ
    または第4のスケーリングファクタの1つを用いて量子化される請求項8記載の
    方法。
  11. 【請求項11】 前記第1のスケーリングファクタが所定値であり、 前記第2のスケーリングファクタが、前記所定値に2mを掛けた値からなり、 前記第3のスケーリングファクタが、前記所定値に2nを掛けた値からなり、 前記第4のスケーリングファクタが、前記所定値に2(n)または2(n-1)を掛け
    た値からなる請求項10記載の方法。
  12. 【請求項12】 前記DC副事象と関連する前記ハール係数が、4のスケー
    リングファクタを用いて量子化され、 前記非DC副事象と関連する前記ハール係数が、4*nのスケーリングファク
    タを用いて量子化され、 前記HLとHH事象と関連する前記ハール係数が、4*nのスケーリングファ
    クタを用いて量子化され、 前記LH事象と関連する前記ハール係数が、4*nまたは4*(n-1)のスケー
    リングファクタを用いて量子化される請求項8記載の方法。
  13. 【請求項13】 前記変換、量子化、パッキングおよび格納ステップが、複
    数のピクセルブロックのそれぞれに繰り返され、 前記スケーリングファクタの変数nとmが、各それぞれのハール係数ブロック
    に対して再度計算される請求項12記載の方法。
  14. 【請求項14】 ビデオ情報ストリーム内のそれぞれが複数のピクセルブロ
    ックからなる1以上の画像の処理システムにおいて、前記ピクセルブロックのそ
    れぞれを処理する方法であって、 ハールウェーブレット変換に従って、前記ピクセルブロックを処理して、それ
    ぞれのハールウェーブレット係数ブロックを発生するステップと、 前記ハールウェーブレット係数を、1つのDC副事象と複数の非DC副事象か
    らなる低垂直低水平空間周波数事象(LL)と、低垂直高水平空間周波数事象(
    LH)と、高垂直低水平空間周波数事象(HL)と、高垂直高水平空間周波数事
    象(HH)との1つに関連付けするステップと、 前記DC副事象と関連する前記ハール係数と、前記非DC副事象と関連する前
    記ハール係数と、前記LHと関連する前記ハール係数と、前記HLとHH事象と
    関連する前記ハール係数とを、この順番で優先的に量子化するステップであって
    、前記DC副事象と関連する前記ハール係数に比較的大きいビットが割り当てら
    れ、前記LH事象係数は、LL、HLおよびHH事象係数の所定数を超える数が
    ゼロに量子化されると増大されるビット割当てに従って量子化されるステップと
    、 前記量子化されたハール係数と関連する量子化スケーリングファクタの指標を
    ワードにパッキングするステップとを含む方法。
JP2000547787A 1998-05-07 1999-05-07 情報ストリームデコーダにおけるメモリリソースの利用率増大方法および装置 Pending JP2002514867A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US8463298P 1998-05-07 1998-05-07
US60/084,632 1998-05-07
US12745098A 1998-07-31 1998-07-31
US09/127,450 1998-07-31
PCT/US1999/010025 WO1999057908A1 (en) 1998-05-07 1999-05-07 Method and apparatus for increasing memory resource utilization in an information stream decoder

Publications (1)

Publication Number Publication Date
JP2002514867A true JP2002514867A (ja) 2002-05-21

Family

ID=26771220

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000547787A Pending JP2002514867A (ja) 1998-05-07 1999-05-07 情報ストリームデコーダにおけるメモリリソースの利用率増大方法および装置

Country Status (7)

Country Link
EP (1) EP1078529B1 (ja)
JP (1) JP2002514867A (ja)
KR (1) KR100651316B1 (ja)
CN (1) CN1369175A (ja)
BR (1) BR9910270A (ja)
TW (1) TW420935B (ja)
WO (1) WO1999057908A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007148619A1 (ja) * 2006-06-21 2007-12-27 Nec Corporation 動画像復号装置、復号画像記録装置、それらの方法及びプログラム
JP2009130931A (ja) * 2007-11-19 2009-06-11 Samsung Electronics Co Ltd 映像の解像度の調整を通じて動画を効率的に符号化/復号化する方法及び装置

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6611626B1 (en) * 1999-12-10 2003-08-26 Xerox Corporation Method of compressing JPEG files using a conditional transform
KR100359821B1 (ko) 2000-01-20 2002-11-07 엘지전자 주식회사 움직임 보상 적응형 영상 압축과 복원방법 및 그 장치와디코더
GB0019121D0 (en) * 2000-08-03 2000-09-27 Wave Limited M Signal compression and decompression
EP1292153B1 (en) * 2001-08-29 2015-08-19 Canon Kabushiki Kaisha Image processing method and apparatus, computer program, and storage medium
US6882685B2 (en) * 2001-09-18 2005-04-19 Microsoft Corporation Block transform and quantization for image and video coding
US7630569B2 (en) 2002-02-26 2009-12-08 Decegama Angel Real-time software video/audio transmission and display with content protection against camcorder piracy
US7317840B2 (en) 2002-02-26 2008-01-08 Decegama Angel Methods for real-time software video/audio compression, transmission, decompression and display
JP2003274185A (ja) 2002-03-19 2003-09-26 Sanyo Electric Co Ltd 画像処理方法とその方法を利用可能な画像符号化装置
US20040010329A1 (en) * 2002-07-09 2004-01-15 Silicon Integrated Systems Corp. Method for reducing buffer requirements in a digital audio decoder
US7940843B1 (en) * 2002-12-16 2011-05-10 Apple Inc. Method of implementing improved rate control for a multimedia compression and encoding system
US8031782B2 (en) 2008-08-29 2011-10-04 ADC2 Technologies LLC Systems and methods for compression, transmission and decompression of video codecs
EP2355512A1 (en) * 2010-02-05 2011-08-10 Siemens Aktiengesellschaft A method and an apparatus for difference measurement of an image
GB2484736B (en) * 2010-10-22 2014-11-05 Displaylink Uk Ltd Image generation
ES2496365T3 (es) * 2011-10-24 2014-09-18 Blackberry Limited Codificación y descodificación de mapas significativos usando selección de la partición
US9165538B2 (en) 2013-03-13 2015-10-20 Displaylink (Uk) Limited Image generation
GB2585880B (en) * 2019-07-19 2023-09-20 Displaylink Uk Ltd Processing Display Data
CN111223438B (zh) * 2020-03-11 2022-11-04 Tcl华星光电技术有限公司 像素补偿表的压缩方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5434567A (en) * 1994-09-09 1995-07-18 Kabushiki Kaisha Toshiba Encoding image signals by further transforming transformed DC signals
US5701158A (en) 1996-03-04 1997-12-23 Mitsubishi Denki Kabushiki Kaisha Digital image decoding apparatus
US5706220A (en) 1996-05-14 1998-01-06 Lsi Logic Corporation System and method for implementing the fast wavelet transform

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007148619A1 (ja) * 2006-06-21 2007-12-27 Nec Corporation 動画像復号装置、復号画像記録装置、それらの方法及びプログラム
JP4973886B2 (ja) * 2006-06-21 2012-07-11 日本電気株式会社 動画像復号装置、復号画像記録装置、それらの方法及びプログラム
JP2009130931A (ja) * 2007-11-19 2009-06-11 Samsung Electronics Co Ltd 映像の解像度の調整を通じて動画を効率的に符号化/復号化する方法及び装置

Also Published As

Publication number Publication date
EP1078529B1 (en) 2013-07-31
BR9910270A (pt) 2001-10-02
TW420935B (en) 2001-02-01
KR20010043394A (ko) 2001-05-25
EP1078529A1 (en) 2001-02-28
WO1999057908A1 (en) 1999-11-11
KR100651316B1 (ko) 2006-11-28
CN1369175A (zh) 2002-09-11

Similar Documents

Publication Publication Date Title
JP4319352B2 (ja) スケーリング圧縮画像
US6704358B1 (en) Method and apparatus for resizing image information
US6243421B1 (en) Apparatus for decoding coded video data with reduced memory size
JP2002514867A (ja) 情報ストリームデコーダにおけるメモリリソースの利用率増大方法および装置
JP3445919B2 (ja) デジタル映像信号の三次元圧縮方法及びシステム
JP4344472B2 (ja) 情報ストリームデコーダへの計算リソース割当
JP4030591B2 (ja) メモリ管理システムのためのイメージ要素プロセッサ
JPH1175186A (ja) スケーリングされた順方向および逆方向の離散コサイン変換と、これを使用するビデオ圧縮伸長システム
JP2008501250A (ja) 第1の変換カーネルに基づく入力ビデオを第2の変換カーネルに基づく出力ビデオにトランスコードする方法、及び入力形式を有する入力ビデオを出力形式を有する出力ビデオに変換するトランスコーダ
JPH10243402A (ja) 画像処理装置及び画像処理方法
JPH1084524A (ja) Mpeg伸長データを保存する前で、必要に応じてサブサンプリング・アルゴリズム後における、adpcm再圧縮によって減少したram容量によるmpegデコード方法及びそのデコーダ
WO2002054777A1 (en) Mpeg-2 down-sampled video generation
KR100359821B1 (ko) 움직임 보상 적응형 영상 압축과 복원방법 및 그 장치와디코더
US6160920A (en) Cosine transforming and quantizing device, method of reducing multiplication operations in a video compressing apparatus
JPH08116539A (ja) 動画像符号化装置と動画像符号化方法
US6445829B1 (en) Joint cosine transforming and quantizing device and joint inverse quantizing and inverse cosine transforming device
JPH11251919A (ja) メモリ必要量削減方法
JP2001506444A (ja) 画像処理システム内のメモリ効率のよい圧縮装置
KR100304901B1 (ko) 동영상 수신 장치
JP2001136527A (ja) 直交変換画像の解像度変換装置及び方法
JP2001506085A (ja) メモリを有効利用する画像処理システムのオーバーヘッド・データプロセッサ
EP0955609B1 (en) Decoding compressed image information
JP2000165861A (ja) 動画像復号装置
JP2824222B2 (ja) 映像データ補償方法及び補償装置
JP2000165875A (ja) メモリ量の少ない動画像解像度変換符号化・復号装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060406

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090519

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090811

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090908