JP2004537223A - Ｂフレームへの逆離散コサイン変換の計算を減少したことによる、複雑さを低減したビデオ復号化 - Google Patents
Ｂフレームへの逆離散コサイン変換の計算を減少したことによる、複雑さを低減したビデオ復号化 Download PDFInfo
- Publication number
- JP2004537223A JP2004537223A JP2003516223A JP2003516223A JP2004537223A JP 2004537223 A JP2004537223 A JP 2004537223A JP 2003516223 A JP2003516223 A JP 2003516223A JP 2003516223 A JP2003516223 A JP 2003516223A JP 2004537223 A JP2004537223 A JP 2004537223A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- reduced
- inverse
- transform
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000013139 quantization Methods 0.000 claims abstract description 12
- 238000000034 method Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 abstract 1
- 230000005540 biological transmission Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本発明は、縮小Ｂフレームのデコードを教示する。本発明によれば、Ｂフレームにおける変換係数の数が減少され、縮小Ｂフレームがつくられる。また、この縮小Ｂフレームについて、逆走査及び逆量子化が実行される。さらに、この縮小Ｂフレームに逆変換が実行される。本発明の実施の形態では、この縮小Ｂフレームは、Ｂフレームに関連するブロックを識別し、該識別されたブロックの予め決定された領域に含まれる変換係数を選択することでつくられる。
Description
【０００１】
［技術分野］
本発明は、一般にビデオ圧縮に関し、より詳細には、Ｂフレームにおける変換係数の数を減少して、復号化にかかる計算の複雑さを低減する復号化に関する。
［背景技術］
離散コサイン変換（ＤＣＴ）を取り入れたビデオ圧縮は、ＭＰＥＧ−１，ＭＰＥＧ−２、ＭＰＥＧ−４及びＨ．２６２のような多くの国際標準で採用されている技術である。これらのスキームのうち、ＭＰＥＧ−２は、ＤＶＤ、衛星ＤＴＶ放送、及びデジタルテレビ向けの米国ＡＴＳＣ規格において最も広く利用されている。
【０００２】
図１には、ＭＰＥＧビデオデコーダの例が示されている。ＭＰＥＧビデオデコーダは、ＭＰＥＧベースの消費者向けビデオ製品の重要な部分である。かかる製品では、１つの設計の狙いは、動画品質を維持しつつ、デコーダの複雑さを最小にすることである。この狙いを達成するために、適応的なスキームが利用されて、Ｂフレームへの逆離散コサイン変換（ＩＤＣＴ）の計算を完全に実行するか、或いは該計算を完全に省略する。
【０００３】
上記の適応的なスキームは、簡単なＤＣ係数の検査に基づいている。ＤＣＴブロックのＤＣ係数が閾値よりも大きい場合、完全なＩＤＣＴが計算される。さもなければ、ＩＤＣＴの計算が省略され、計算の節約が提供される。しかし、この方法の問題は、簡単な閾値を用いた検査では、検査のまばらさを常に正確に判断することはできないことである。したがって、復号化されたビデオ出力の品質は、常に良好ではなく、メディアプロセッサでのＤＣ係数の検査で要求される計算では、かなりのＣＰＵサイクルが要求される場合がある。
［発明の開示］
本発明は、縮小されたＢフレーム（reduced B-frame）の復号化を教示するものである。本発明によれば、Ｂフレームにおける変換係数の数が減少されて、該縮小Ｂフレームが生成される。また、逆走査及び逆量子化が該縮小Ｂフレームに対して実行される。さらに、逆変換が該縮小Ｂフレームに実行される。
【０００４】
本発明の１つの実施の形態では、この縮小Ｂフレームは、Ｂフレームに関連するブロックを識別し、該識別されたブロックの予め決定された領域に含まれる変換係数を選択することで生成される。また、１つの実施の形態では、逆走査は、逆ジグザグ走査であり、逆変換は、逆離散コサイン変換である。
［発明の実施の形態］
本発明は、縮小されたＢフレームの復号化を教示する。本発明によれば、Ｂフレームにおける変換係数の数が減少されて、復号化に関する計算の複雑さが低減される。復号化されたＢフレームは、他のタイプのフレームのアンカーとして利用されないため、Ｂフレームにおける誤差は他のフレームに伝播することはない。言い換えれば、Ｉフレーム又はＰフレームは、Ｂフレームに依存しないため、Ｂフレームにおける誤差は、ビデオ系列における他のフレームに広がることはない。
【０００５】
上記の点を考慮して、本発明は、Ｉフレーム及びＰフレームを不変のままとしつつ、Ｂフレームにける変換係数の数を減少する。Ｂフレームにおける変換係数の数を減少することは、かかるフレームの品質を低下する場合がある。しかし、他のフレームの品質が維持され、縮小Ｂフレームにより生じる誤差は、他のフレームに伝播することはない。したがって、出力ビデオの品質が維持されるように、予測ドリフトが最小とされる。
【０００６】
さらに、本発明は、Ｂフレームにおける変換係数の数を減少するものであるため、復号化に関する全体的な計算の複雑さが低減される。これは、多くの応用において望ましいことである。たとえば、デコーダがメディアプロセッサチップで実現される場合、計算の複雑さを低減することにより、ＣＰＵ時間を節約することができる。さらに、デコーダがＡＳＩＣのような特定用途のハードウェアで実現される場合、計算の複雑さを低減することにより、電力を節約することができる。
【０００７】
図２には、本発明によるデコーダに関する１例が示されている。理解できるように、このデコーダは、可変長デコーダ（ＶＬＤ）２、改良された逆走査及び逆量子化（ＩＳＩＱ）部１４及び逆離散コサイン変換（ＩＤＣＴ）部６から構成される第一経路と、ＶＬＤ２、動き補償（ＭＣ）部１０及びフレーム蓄積部１２から構成される第二経路とを含んでいる。また、このデコーダには加算器８も含まれており、第一の経路の出力と第二の経路の出力とを結合して、出力ビデオを生成する。
【０００８】
図２のデコーダは、改良ＩＳＩＱ部１４を除いて、図１におけるデコーダと同様に動作する。動作の間、ＶＬＤ２は、到来するビットストリームを復号化して、ＤＣＴ係数を生成する。ＩフレームとＰフレームについて、改良ＩＳＩＱ部１４は、かかるフレームに含まれるＤＣＴ係数に対して、逆ジグザグ走査及び逆量子化を単に実行する。
【０００９】
しかし、本発明によれば、改良ＩＳＩＱ部１４は、かかるフレームに含まれるＤＣＴ係数に対する逆走査及び逆量子化を実行する前に、ＢフレームにおけるＤＣＴ係数の数を減少する。ＤＣＴ係数の数が減少されるため、Ｂフレームに対する逆走査及び逆量子化を実行するために必要とされる計算量が低減される。したがって、復号化に関する全体の計算の複雑さが低減される。
【００１０】
本実施の形態では、改良ＩＳＩＱ部１４は、Ｂフレームに関連するＤＣＴブロックをはじめに識別することで、ＢフレームにおけるＤＣＴ係数の数を低減する。ＤＣＴタイプの圧縮では、それぞれのフレームは、符号化される前に、画素ブロックに通常分割される。図３には、例として８×８ブロックが示されている。
【００１１】
Ｂフレームに関連するＤＣＴブロックを識別するために、改良ＩＳＩＱ部１４は、ＶＬＤ２から受けたヘッダ情報ＨＩを調べる。ＭＰＥＧ−１，ＭＰＥＧ−２，ＭＰＥＧ−４及びＨ．２６２のような標準では、符号化される前に、どのタイプのフレームからＤＣＴブロックが発生しているかを示すヘッダフィールドを含むために、互換性のあるビットストリームを全て要求している。したがって、動作の間、ＶＬＤ２は、到来するビットストリームを復号化してヘッダ情報ＨＩを生成する。ヘッダ情報ＨＩにより、改良ＩＳＩＱ部１４は、Ｂフレームに関連するＤＣＴブロックを識別することができる。
【００１２】
Ｂフレームに関連するＤＣＴブロックを識別した後、次いで、改良ＩＳＩＱ部１４は、これらのブロックの予め決定された領域に含まれているＤＣＴ係数を選択する。図４Ａ及び図４Ｂには、かかる予め決定された領域に関する例が示されている。図４Ａからわかるように、予め決定された領域は２×８領域であり、図４Ｂからわかるように、予め決定された領域は１×８領域である。したがって、本発明によれば、改良されたＩＳＩＱ部１４は、これらの例の陰影を付けた領域で表される予め決定された領域内の係数のみを選択する。この予め決定された領域以外の係数は利用されない。
【００１３】
しかし、図４Ａ及び図４Ｂに示される領域は、例示であることが意図されている。本発明は、様々な形状及び大きさを有する予め決定された他の領域を意図している。
【００１４】
先に説明されたように、改良ＩＳＩＱ部１４は、Ｉフレーム及びＰフレームに対する処理と同様に、縮小Ｂフレームに含まれるＤＣＴ係数に対する逆走査及び逆量子化を実行する。次いで、ＩＤＣＴ部６は、改良ＩＳＩＱ部１４から受けたフレームに対して逆離散コサイン変換を実行する。
【００１５】
先に説明したように、ＢフレームにおけるＤＣＴ係数の数は、ブロックの予め決定された領域内の係数を選択することのみにより減少される。逆離散コサイン変換は、より少ない数の係数に対して実行されるため、より少ない複雑さによる方法がＩＤＣＴ部６により実現される。
【００１６】
多くの画像符号化標準では、２次元ＤＣＴ／ＩＤＣＴ演算が使用される。２次元ＩＤＣＴは、１次元ＩＤＣＴから列に関して、次いで行に関して計算される。したがって、８×８ＩＤＣＴについて、結果的な８×８ブロックのうちの８つの列に関して１次元ＩＤＣＴが実行され、次いで、８つの行に関して１次元ＩＤＣＴが実行される。
【００１７】
しかし、先に説明したように、本発明は、縮小Ｂフレームを利用するものであり、この縮小Ｂフレームは、たとえば、８×１ブロック又は８×２ブロックを含む場合がある。したがって、たとえば、ＩＤＣＴ部６は、８×１ＩＤＣＴ又は８×２ＩＤＣＴを実行するために構成されている。８×１ＩＤＣＴについて、１次元のＩＤＣＴが最初の列に関して実行され、他の７つの列はゼロに設定される。さらに、列に関する１次元のＩＤＣＴの後に、１次元のＩＤＣＴが８つの行に関して実行される。
【００１８】
８×２のＩＤＣＴについて、８×１のＩＤＣＴについて先に説明したように、１次元のＩＤＣＴが同様のやり方で適用される。１次元のＩＤＣＴは、以下のように表現される。
s(x)＝sum{u=0,…,7}C(u)/2＊S(u)cos[(2x＋1)u*π/16] （１）
ここで、u=0についてC(u)/√2であり、u＞0についてC(u)=1である。x=0,…,7である。S(u)は１次元のＤＣＴ係数を表す。
【００１９】
先に説明したように、ＩＤＣＴ部６は、Ｂフレームにおける減少された数の係数に対してＩＤＣＴを実行する。したがって、ＩＤＣＴを実行するために必要とされる計算量も低減されるはずであり、これにより、復号化処理に関する全体的な計算の複雑さが更に低減される。たとえば、８×１又は８×２のＩＤＣＴについて、全体の計算量の少なくとも８分の３が低減される。
【００２０】
図５には、縮小Ｂフレームの復号化が実現されるシステム１６の１例が示されている。例を通して、システム１６は、テレビ、セットトップボックス、デスクトップ、ラップトップ又はパームトップコンピュータ、パーソナルデジタルアシスタント（ＰＤＡ）、ビデオカセットレコーダ（ＶＣＲ）のようなビデオ／イメージ記憶装置、デジタルビデオレコーダ（ＤＶＲ）、ＴｉＶＯ装置等、これらの装置又は他の装置の一部、或いはこれらの装置と他の装置との組み合わせを表している。システム１６は、１つ以上のビデオ／イメージソース１８、１つ以上の入力／出力装置２６、プロセッサ２０、メモリ２２及び表示装置２８を含んでいる。
【００２１】
ビデオ／イメージソース１８は、たとえば、テレビ受信機、ＶＣＲ又は他のビデオ／イメージ記憶装置を表している。ビデオ／イメージソース１８は、インターネット、ワイドエリアネットワーク、メトロポリタンエリアネットワーク、ローカルエリアネットワーク、地上波放送システム、ケーブルネットワーク、衛星ネットワーク、無線ネットワーク、又は電話ネットワーク、これらネットワーク又は他のネットワークの一部或いはこれらのネットワークと他のネットワークとの組み合わせを通して、１つ又は複数のサーバからのビデオを受信するための１つ以上のネットワークコネクションを代替的に表している。
【００２２】
入力／出力装置２６、プロセッサ２０及びメモリ２２は、伝送媒体２４を通して通信する。この伝送媒体２４は、たとえば、バス、通信ネットワーク、１つ以上の回路の内部接続、回路カード又は他の装置、これらの伝送媒体又は他の伝送媒体の一部又はこれらの伝送媒体と他の伝送媒体との組み合わせを表している。ビデオ／イメージソース１８からの入力ビデオデータは、メモリ２２に記憶された１つ以上のソフトウェアプログラムに従って処理され、プロセッサ２０により実行されて、表示装置２８に供給される出力ビデオ／イメージを生成する。
【００２３】
１つの実施の形態では、図２の縮小Ｂフレームの復号化は、システムにより実行されるコンピュータ読み取り可能なコードにより実現される。このコードは、メモリ２２に記憶されているか、或いはＣＤ−ＲＯＭ又はフロプティカルディスクのような記憶媒体から読み出し／ダウンロードされる。他の実施の形態では、本発明を実現するためのソフトウェア命令の代わりに、又は該命令と共にハードウェア回路が利用される場合がある。
【００２４】
本発明は特定の例に関して上述されたが、本発明は本明細書で開示される例に限定して解釈されるべきではないことを理解すべきである。たとえば、本発明は、ＭＰＥＧ−２の骨組みを利用して説明したが、本明細書で説明される概念及び方法論はＤＣＴ概念の予測スキームに応用することもでき、より一般的な意味では、異なる相互依存性を有するピクチャタイプが許容されるフレームベースのビデオ圧縮スキームに応用することができる。したがって、本発明は、特許請求の範囲の精神及び範囲に含まれる本発明の様々な構成及び変形をカバーすることが意図されている。
【図面の簡単な説明】
【００２５】
【図１】ＭＰＥＧデコーダのブロック図である。
【図２】本発明によるデコーダのブロック図である。
【図３】８×８ブロックの例を示す図である。
【図４Ａ】本発明による、ブロックで選択された予め決定された領域の例を例示する図である。
【図４Ｂ】本発明による、ブロックで選択された予め決定された領域の例を例示する図である。
【図５】本発明によるシステムの１例に関するブロック図である。
［技術分野］
本発明は、一般にビデオ圧縮に関し、より詳細には、Ｂフレームにおける変換係数の数を減少して、復号化にかかる計算の複雑さを低減する復号化に関する。
［背景技術］
離散コサイン変換（ＤＣＴ）を取り入れたビデオ圧縮は、ＭＰＥＧ−１，ＭＰＥＧ−２、ＭＰＥＧ−４及びＨ．２６２のような多くの国際標準で採用されている技術である。これらのスキームのうち、ＭＰＥＧ−２は、ＤＶＤ、衛星ＤＴＶ放送、及びデジタルテレビ向けの米国ＡＴＳＣ規格において最も広く利用されている。
【０００２】
図１には、ＭＰＥＧビデオデコーダの例が示されている。ＭＰＥＧビデオデコーダは、ＭＰＥＧベースの消費者向けビデオ製品の重要な部分である。かかる製品では、１つの設計の狙いは、動画品質を維持しつつ、デコーダの複雑さを最小にすることである。この狙いを達成するために、適応的なスキームが利用されて、Ｂフレームへの逆離散コサイン変換（ＩＤＣＴ）の計算を完全に実行するか、或いは該計算を完全に省略する。
【０００３】
上記の適応的なスキームは、簡単なＤＣ係数の検査に基づいている。ＤＣＴブロックのＤＣ係数が閾値よりも大きい場合、完全なＩＤＣＴが計算される。さもなければ、ＩＤＣＴの計算が省略され、計算の節約が提供される。しかし、この方法の問題は、簡単な閾値を用いた検査では、検査のまばらさを常に正確に判断することはできないことである。したがって、復号化されたビデオ出力の品質は、常に良好ではなく、メディアプロセッサでのＤＣ係数の検査で要求される計算では、かなりのＣＰＵサイクルが要求される場合がある。
［発明の開示］
本発明は、縮小されたＢフレーム（reduced B-frame）の復号化を教示するものである。本発明によれば、Ｂフレームにおける変換係数の数が減少されて、該縮小Ｂフレームが生成される。また、逆走査及び逆量子化が該縮小Ｂフレームに対して実行される。さらに、逆変換が該縮小Ｂフレームに実行される。
【０００４】
本発明の１つの実施の形態では、この縮小Ｂフレームは、Ｂフレームに関連するブロックを識別し、該識別されたブロックの予め決定された領域に含まれる変換係数を選択することで生成される。また、１つの実施の形態では、逆走査は、逆ジグザグ走査であり、逆変換は、逆離散コサイン変換である。
［発明の実施の形態］
本発明は、縮小されたＢフレームの復号化を教示する。本発明によれば、Ｂフレームにおける変換係数の数が減少されて、復号化に関する計算の複雑さが低減される。復号化されたＢフレームは、他のタイプのフレームのアンカーとして利用されないため、Ｂフレームにおける誤差は他のフレームに伝播することはない。言い換えれば、Ｉフレーム又はＰフレームは、Ｂフレームに依存しないため、Ｂフレームにおける誤差は、ビデオ系列における他のフレームに広がることはない。
【０００５】
上記の点を考慮して、本発明は、Ｉフレーム及びＰフレームを不変のままとしつつ、Ｂフレームにける変換係数の数を減少する。Ｂフレームにおける変換係数の数を減少することは、かかるフレームの品質を低下する場合がある。しかし、他のフレームの品質が維持され、縮小Ｂフレームにより生じる誤差は、他のフレームに伝播することはない。したがって、出力ビデオの品質が維持されるように、予測ドリフトが最小とされる。
【０００６】
さらに、本発明は、Ｂフレームにおける変換係数の数を減少するものであるため、復号化に関する全体的な計算の複雑さが低減される。これは、多くの応用において望ましいことである。たとえば、デコーダがメディアプロセッサチップで実現される場合、計算の複雑さを低減することにより、ＣＰＵ時間を節約することができる。さらに、デコーダがＡＳＩＣのような特定用途のハードウェアで実現される場合、計算の複雑さを低減することにより、電力を節約することができる。
【０００７】
図２には、本発明によるデコーダに関する１例が示されている。理解できるように、このデコーダは、可変長デコーダ（ＶＬＤ）２、改良された逆走査及び逆量子化（ＩＳＩＱ）部１４及び逆離散コサイン変換（ＩＤＣＴ）部６から構成される第一経路と、ＶＬＤ２、動き補償（ＭＣ）部１０及びフレーム蓄積部１２から構成される第二経路とを含んでいる。また、このデコーダには加算器８も含まれており、第一の経路の出力と第二の経路の出力とを結合して、出力ビデオを生成する。
【０００８】
図２のデコーダは、改良ＩＳＩＱ部１４を除いて、図１におけるデコーダと同様に動作する。動作の間、ＶＬＤ２は、到来するビットストリームを復号化して、ＤＣＴ係数を生成する。ＩフレームとＰフレームについて、改良ＩＳＩＱ部１４は、かかるフレームに含まれるＤＣＴ係数に対して、逆ジグザグ走査及び逆量子化を単に実行する。
【０００９】
しかし、本発明によれば、改良ＩＳＩＱ部１４は、かかるフレームに含まれるＤＣＴ係数に対する逆走査及び逆量子化を実行する前に、ＢフレームにおけるＤＣＴ係数の数を減少する。ＤＣＴ係数の数が減少されるため、Ｂフレームに対する逆走査及び逆量子化を実行するために必要とされる計算量が低減される。したがって、復号化に関する全体の計算の複雑さが低減される。
【００１０】
本実施の形態では、改良ＩＳＩＱ部１４は、Ｂフレームに関連するＤＣＴブロックをはじめに識別することで、ＢフレームにおけるＤＣＴ係数の数を低減する。ＤＣＴタイプの圧縮では、それぞれのフレームは、符号化される前に、画素ブロックに通常分割される。図３には、例として８×８ブロックが示されている。
【００１１】
Ｂフレームに関連するＤＣＴブロックを識別するために、改良ＩＳＩＱ部１４は、ＶＬＤ２から受けたヘッダ情報ＨＩを調べる。ＭＰＥＧ−１，ＭＰＥＧ−２，ＭＰＥＧ−４及びＨ．２６２のような標準では、符号化される前に、どのタイプのフレームからＤＣＴブロックが発生しているかを示すヘッダフィールドを含むために、互換性のあるビットストリームを全て要求している。したがって、動作の間、ＶＬＤ２は、到来するビットストリームを復号化してヘッダ情報ＨＩを生成する。ヘッダ情報ＨＩにより、改良ＩＳＩＱ部１４は、Ｂフレームに関連するＤＣＴブロックを識別することができる。
【００１２】
Ｂフレームに関連するＤＣＴブロックを識別した後、次いで、改良ＩＳＩＱ部１４は、これらのブロックの予め決定された領域に含まれているＤＣＴ係数を選択する。図４Ａ及び図４Ｂには、かかる予め決定された領域に関する例が示されている。図４Ａからわかるように、予め決定された領域は２×８領域であり、図４Ｂからわかるように、予め決定された領域は１×８領域である。したがって、本発明によれば、改良されたＩＳＩＱ部１４は、これらの例の陰影を付けた領域で表される予め決定された領域内の係数のみを選択する。この予め決定された領域以外の係数は利用されない。
【００１３】
しかし、図４Ａ及び図４Ｂに示される領域は、例示であることが意図されている。本発明は、様々な形状及び大きさを有する予め決定された他の領域を意図している。
【００１４】
先に説明されたように、改良ＩＳＩＱ部１４は、Ｉフレーム及びＰフレームに対する処理と同様に、縮小Ｂフレームに含まれるＤＣＴ係数に対する逆走査及び逆量子化を実行する。次いで、ＩＤＣＴ部６は、改良ＩＳＩＱ部１４から受けたフレームに対して逆離散コサイン変換を実行する。
【００１５】
先に説明したように、ＢフレームにおけるＤＣＴ係数の数は、ブロックの予め決定された領域内の係数を選択することのみにより減少される。逆離散コサイン変換は、より少ない数の係数に対して実行されるため、より少ない複雑さによる方法がＩＤＣＴ部６により実現される。
【００１６】
多くの画像符号化標準では、２次元ＤＣＴ／ＩＤＣＴ演算が使用される。２次元ＩＤＣＴは、１次元ＩＤＣＴから列に関して、次いで行に関して計算される。したがって、８×８ＩＤＣＴについて、結果的な８×８ブロックのうちの８つの列に関して１次元ＩＤＣＴが実行され、次いで、８つの行に関して１次元ＩＤＣＴが実行される。
【００１７】
しかし、先に説明したように、本発明は、縮小Ｂフレームを利用するものであり、この縮小Ｂフレームは、たとえば、８×１ブロック又は８×２ブロックを含む場合がある。したがって、たとえば、ＩＤＣＴ部６は、８×１ＩＤＣＴ又は８×２ＩＤＣＴを実行するために構成されている。８×１ＩＤＣＴについて、１次元のＩＤＣＴが最初の列に関して実行され、他の７つの列はゼロに設定される。さらに、列に関する１次元のＩＤＣＴの後に、１次元のＩＤＣＴが８つの行に関して実行される。
【００１８】
８×２のＩＤＣＴについて、８×１のＩＤＣＴについて先に説明したように、１次元のＩＤＣＴが同様のやり方で適用される。１次元のＩＤＣＴは、以下のように表現される。
s(x)＝sum{u=0,…,7}C(u)/2＊S(u)cos[(2x＋1)u*π/16] （１）
ここで、u=0についてC(u)/√2であり、u＞0についてC(u)=1である。x=0,…,7である。S(u)は１次元のＤＣＴ係数を表す。
【００１９】
先に説明したように、ＩＤＣＴ部６は、Ｂフレームにおける減少された数の係数に対してＩＤＣＴを実行する。したがって、ＩＤＣＴを実行するために必要とされる計算量も低減されるはずであり、これにより、復号化処理に関する全体的な計算の複雑さが更に低減される。たとえば、８×１又は８×２のＩＤＣＴについて、全体の計算量の少なくとも８分の３が低減される。
【００２０】
図５には、縮小Ｂフレームの復号化が実現されるシステム１６の１例が示されている。例を通して、システム１６は、テレビ、セットトップボックス、デスクトップ、ラップトップ又はパームトップコンピュータ、パーソナルデジタルアシスタント（ＰＤＡ）、ビデオカセットレコーダ（ＶＣＲ）のようなビデオ／イメージ記憶装置、デジタルビデオレコーダ（ＤＶＲ）、ＴｉＶＯ装置等、これらの装置又は他の装置の一部、或いはこれらの装置と他の装置との組み合わせを表している。システム１６は、１つ以上のビデオ／イメージソース１８、１つ以上の入力／出力装置２６、プロセッサ２０、メモリ２２及び表示装置２８を含んでいる。
【００２１】
ビデオ／イメージソース１８は、たとえば、テレビ受信機、ＶＣＲ又は他のビデオ／イメージ記憶装置を表している。ビデオ／イメージソース１８は、インターネット、ワイドエリアネットワーク、メトロポリタンエリアネットワーク、ローカルエリアネットワーク、地上波放送システム、ケーブルネットワーク、衛星ネットワーク、無線ネットワーク、又は電話ネットワーク、これらネットワーク又は他のネットワークの一部或いはこれらのネットワークと他のネットワークとの組み合わせを通して、１つ又は複数のサーバからのビデオを受信するための１つ以上のネットワークコネクションを代替的に表している。
【００２２】
入力／出力装置２６、プロセッサ２０及びメモリ２２は、伝送媒体２４を通して通信する。この伝送媒体２４は、たとえば、バス、通信ネットワーク、１つ以上の回路の内部接続、回路カード又は他の装置、これらの伝送媒体又は他の伝送媒体の一部又はこれらの伝送媒体と他の伝送媒体との組み合わせを表している。ビデオ／イメージソース１８からの入力ビデオデータは、メモリ２２に記憶された１つ以上のソフトウェアプログラムに従って処理され、プロセッサ２０により実行されて、表示装置２８に供給される出力ビデオ／イメージを生成する。
【００２３】
１つの実施の形態では、図２の縮小Ｂフレームの復号化は、システムにより実行されるコンピュータ読み取り可能なコードにより実現される。このコードは、メモリ２２に記憶されているか、或いはＣＤ−ＲＯＭ又はフロプティカルディスクのような記憶媒体から読み出し／ダウンロードされる。他の実施の形態では、本発明を実現するためのソフトウェア命令の代わりに、又は該命令と共にハードウェア回路が利用される場合がある。
【００２４】
本発明は特定の例に関して上述されたが、本発明は本明細書で開示される例に限定して解釈されるべきではないことを理解すべきである。たとえば、本発明は、ＭＰＥＧ−２の骨組みを利用して説明したが、本明細書で説明される概念及び方法論はＤＣＴ概念の予測スキームに応用することもでき、より一般的な意味では、異なる相互依存性を有するピクチャタイプが許容されるフレームベースのビデオ圧縮スキームに応用することができる。したがって、本発明は、特許請求の範囲の精神及び範囲に含まれる本発明の様々な構成及び変形をカバーすることが意図されている。
【図面の簡単な説明】
【００２５】
【図１】ＭＰＥＧデコーダのブロック図である。
【図２】本発明によるデコーダのブロック図である。
【図３】８×８ブロックの例を示す図である。
【図４Ａ】本発明による、ブロックで選択された予め決定された領域の例を例示する図である。
【図４Ｂ】本発明による、ブロックで選択された予め決定された領域の例を例示する図である。
【図５】本発明によるシステムの１例に関するブロック図である。
Claims (16)
- Ｂフレームにおける多数の変換係数を減少して、縮小されたＢフレームを生成するステップと、
該縮小されたＢフレームを逆走査するステップと、
該縮小されたＢフレームに逆量子化を実行するステップと、
該縮小されたＢフレームに逆変換を実行するステップと、
を有するビデオを復号化する方法。 - 該縮小されたＢフレームは、
該Ｂフレームと関連するブロックを識別するステップと、
該Ｂフレームに関連する該ブロックの予め決定された領域に含まれる変換係数を選択するステップにより生成される、
請求項１記載の方法。 - 該逆走査は逆ジグザグスキャンである、
請求項１記載の方法。 - 該逆変換は逆離散コサイン変換である、
請求項１記載の方法。 - Ｂフレームにおける多数の変換係数を減少して、縮小されたＢフレームを生成するためのコードと、
該縮小されたＢフレームを逆走査するためのコードと、
該縮小されたＢフレームに逆量子化を実行するためのコードと、
該縮小されたＢフレームに逆変換を実行するためのコードと、
を有するビデオを復号化するためのコードを含む記録媒体。 - 該縮小されたＢフレームを生成するためのコードは、
該Ｂフレームに関連するブロックを識別するためのコードと、
該Ｂフレームに関連する該ブロックの予め決定された領域に含まれる変換係数を選択するためのコードを有する、
請求項５記載の記録媒体。 - 該逆走査は逆ジグザグスキャンである、
請求項５記載の記録媒体。 - 該逆変換は逆離散コサイン変換である、
請求項５記載の記録媒体。 - Ｂフレームにおける多数の変換係数を減少して、縮小されたＢフレームを生成するための手段と、
該縮小されたＢフレームを逆走査するための手段と、
該縮小されたＢフレームに逆量子化を実行するための手段と、
該縮小されたＢフレームに逆変換を実行するための手段と、
を有するビデオを復号化するための装置。 - 該縮小されたＢフレームを生成するための前記手段は、
該Ｂフレームに関連するブロックを識別するための手段と、
該Ｂフレームに関連する該ブロックの予め決定された領域に含まれる変換係数を選択するための手段を有する、
請求項９記載の装置。 - 該逆走査は逆ジグザグスキャンである、
請求項９記載の装置。 - 該逆変換は逆離散コサイン変換である、
請求項９記載の装置。 - Ｂフレームにおける多数の変換係数を減少して縮小されたＢフレームを生成し、該縮小されたＢフレームを逆走査し、該縮小されたＢフレームに逆量子化を実行するための逆走査及び逆量子化部と、
該縮小されたＢフレームに逆変換を実行するための逆変換部と、
を有するビデオを復号化するための装置。 - 該縮小されたＢフレームは、
該Ｂフレームに関連するブロックを識別し、
該Ｂフレームに関連する該ブロックの予め決定された領域に含まれる変換係数を選択することで生成される、
請求項１３記載の装置。 - 該逆走査は逆ジグザグスキャンである、
請求項１３記載の装置。 - 該逆変換は逆離散コサイン変換である、
請求項１３記載の装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/912,131 US7079692B2 (en) | 2001-07-24 | 2001-07-24 | Reduced complexity video decoding by reducing the IDCT computation in B-frames |
| PCT/IB2002/002609 WO2003010971A1 (en) | 2001-07-24 | 2002-06-26 | Reduced complexity video decoding by reducing the idct computation on b-frames |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004537223A true JP2004537223A (ja) | 2004-12-09 |
Family
ID=25431428
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003516223A Withdrawn JP2004537223A (ja) | 2001-07-24 | 2002-06-26 | Ｂフレームへの逆離散コサイン変換の計算を減少したことによる、複雑さを低減したビデオ復号化 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US7079692B2 (ja) |
| EP (1) | EP1417840A1 (ja) |
| JP (1) | JP2004537223A (ja) |
| KR (1) | KR20040018501A (ja) |
| CN (1) | CN1271860C (ja) |
| WO (1) | WO2003010971A1 (ja) |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003284092A (ja) * | 2002-03-25 | 2003-10-03 | Sanyo Electric Co Ltd | 色特徴量演算装置及び色特徴量演算方法 |
| US7602851B2 (en) * | 2003-07-18 | 2009-10-13 | Microsoft Corporation | Intelligent differential quantization of video coding |
| US8218624B2 (en) * | 2003-07-18 | 2012-07-10 | Microsoft Corporation | Fractional quantization step sizes for high bit rates |
| US7738554B2 (en) | 2003-07-18 | 2010-06-15 | Microsoft Corporation | DC coefficient signaling at small quantization step sizes |
| US7580584B2 (en) * | 2003-07-18 | 2009-08-25 | Microsoft Corporation | Adaptive multiple quantization |
| US10554985B2 (en) | 2003-07-18 | 2020-02-04 | Microsoft Technology Licensing, Llc | DC coefficient signaling at small quantization step sizes |
| US7801383B2 (en) | 2004-05-15 | 2010-09-21 | Microsoft Corporation | Embedded scalar quantizers with arbitrary dead-zone ratios |
| US8422546B2 (en) | 2005-05-25 | 2013-04-16 | Microsoft Corporation | Adaptive video encoding using a perceptual model |
| US8780997B2 (en) * | 2005-11-18 | 2014-07-15 | Apple Inc. | Regulation of decode-side processing based on perceptual masking |
| US8059721B2 (en) | 2006-04-07 | 2011-11-15 | Microsoft Corporation | Estimating sample-domain distortion in the transform domain with rounding compensation |
| US8503536B2 (en) * | 2006-04-07 | 2013-08-06 | Microsoft Corporation | Quantization adjustments for DC shift artifacts |
| US8130828B2 (en) | 2006-04-07 | 2012-03-06 | Microsoft Corporation | Adjusting quantization to preserve non-zero AC coefficients |
| US7974340B2 (en) * | 2006-04-07 | 2011-07-05 | Microsoft Corporation | Adaptive B-picture quantization control |
| US7995649B2 (en) | 2006-04-07 | 2011-08-09 | Microsoft Corporation | Quantization adjustment based on texture level |
| US8711925B2 (en) | 2006-05-05 | 2014-04-29 | Microsoft Corporation | Flexible quantization |
| US8238424B2 (en) * | 2007-02-09 | 2012-08-07 | Microsoft Corporation | Complexity-based adaptive preprocessing for multiple-pass video compression |
| US8498335B2 (en) * | 2007-03-26 | 2013-07-30 | Microsoft Corporation | Adaptive deadzone size adjustment in quantization |
| US8243797B2 (en) * | 2007-03-30 | 2012-08-14 | Microsoft Corporation | Regions of interest for quality adjustments |
| US8442337B2 (en) * | 2007-04-18 | 2013-05-14 | Microsoft Corporation | Encoding adjustments for animation content |
| US8331438B2 (en) | 2007-06-05 | 2012-12-11 | Microsoft Corporation | Adaptive selection of picture-level quantization parameters for predicted video pictures |
| US8189933B2 (en) * | 2008-03-31 | 2012-05-29 | Microsoft Corporation | Classifying and controlling encoding quality for textured, dark smooth and smooth video content |
| US8897359B2 (en) | 2008-06-03 | 2014-11-25 | Microsoft Corporation | Adaptive quantization for enhancement layer video coding |
| US20110116539A1 (en) * | 2009-11-13 | 2011-05-19 | Freescale Semiconductor, Inc. | Method and apparatus for video decoding with reduced complexity inverse transform |
| CA2861967A1 (en) * | 2012-01-18 | 2013-07-25 | Luca Rossato | Distinct encoding and decoding of stable information and transient/stochastic information |
| CN104335582B (zh) * | 2012-06-12 | 2019-03-08 | 太阳专利托管公司 | 动态图像编解码方法以及动态图像编解码装置 |
| US9307235B2 (en) * | 2012-12-03 | 2016-04-05 | Vixs Systems, Inc. | Video encoding system with adaptive hierarchical B-frames and method for use therewith |
| WO2021180710A1 (en) * | 2020-03-12 | 2021-09-16 | Interdigital Vc Holdings France | Method and apparatus for video encoding and decoding |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5614952A (en) | 1994-10-11 | 1997-03-25 | Hitachi America, Ltd. | Digital video decoder for decoding digital high definition and/or digital standard definition television signals |
| US5818967A (en) * | 1995-06-12 | 1998-10-06 | S3, Incorporated | Video decoder engine |
| KR100249229B1 (ko) * | 1997-08-13 | 2000-03-15 | 구자홍 | 에이치디티브이의 다운 컨버젼 디코딩 장치 |
-
2001
- 2001-07-24 US US09/912,131 patent/US7079692B2/en not_active Expired - Fee Related
-
2002
- 2002-06-26 KR KR10-2004-7001016A patent/KR20040018501A/ko not_active Application Discontinuation
- 2002-06-26 EP EP02738563A patent/EP1417840A1/en not_active Withdrawn
- 2002-06-26 CN CNB028146220A patent/CN1271860C/zh not_active Expired - Fee Related
- 2002-06-26 WO PCT/IB2002/002609 patent/WO2003010971A1/en not_active Application Discontinuation
- 2002-06-26 JP JP2003516223A patent/JP2004537223A/ja not_active Withdrawn
Also Published As
| Publication number | Publication date |
|---|---|
| CN1533676A (zh) | 2004-09-29 |
| KR20040018501A (ko) | 2004-03-03 |
| EP1417840A1 (en) | 2004-05-12 |
| US20030021482A1 (en) | 2003-01-30 |
| US7079692B2 (en) | 2006-07-18 |
| WO2003010971A1 (en) | 2003-02-06 |
| CN1271860C (zh) | 2006-08-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2004537223A (ja) | Ｂフレームへの逆離散コサイン変換の計算を減少したことによる、複雑さを低減したビデオ復号化 | |
| JP4393875B2 (ja) | 複雑さの軽減された復号化に適したシングルレイヤビデオ符号化されたビットストリームを供給するシステム及び方法 | |
| US9014275B2 (en) | Method and apparatus for multi-threaded video decoding | |
| US20030095603A1 (en) | Reduced-complexity video decoding using larger pixel-grid motion compensation | |
| US6122321A (en) | Methods and apparatus for reducing the complexity of inverse quantization operations | |
| KR100450939B1 (ko) | 이미지 축소를 위한 스케일-다운 기능을 가지는 압축비디오 복호화기 및 방법 | |
| US6148032A (en) | Methods and apparatus for reducing the cost of video decoders | |
| JPH0818979A (ja) | 画像処理装置 | |
| US6909750B2 (en) | Detection and proper interpolation of interlaced moving areas for MPEG decoding with embedded resizing | |
| JP2004523986A (ja) | 選択的動き補償を有するスケーラブルｍｐｅｇ−２ビデオ復号器 | |
| JP2007503787A (ja) | メモリ帯域幅要求が低いビデオ処理装置 | |
| KR100364748B1 (ko) | 영상 변환 부호화 장치 | |
| JP2005506776A (ja) | オーバーレイ映像領域のデコード処理をスキップする方法及びシステム | |
| JP2005518163A (ja) | メモリ−帯域幅が効率的なファイン・グラニュラ・スケーラビリティ（ｆｉｎｅｇｒａｎｕｌａｒｓｃａｌａｂｉｌｉｔｙ：ＦＧＳ）エンコーダ | |
| JP2006246277A (ja) | 再符号化装置、再符号化方法、および再符号化用プログラム | |
| US20030021347A1 (en) | Reduced comlexity video decoding at full resolution using video embedded resizing | |
| US20040013200A1 (en) | Advanced method of coding and decoding motion vector and apparatus therefor | |
| JP2008311824A (ja) | 画像符号化装置および画像符号化プログラム | |
| JP2004516761A (ja) | フレーム種別依存の低複雑性のビデオ復号化方法 | |
| JP2005502286A (ja) | インタレースビデオ対応の信号に適応性のある空間スケーリング | |
| JP2002374531A (ja) | 復号装置 | |
| JP2006295502A (ja) | 再符号化装置、再符号化方法、および再符号化用プログラム | |
| JP2004120415A (ja) | 動画像データストリームの変換装置及び方法 | |
| JP3862479B2 (ja) | ビデオダウンコンバージョンにおけるドリフトエラーを防ぐ方法 | |
| JP2003189306A (ja) | Ｍｐｅｇ標準に準拠して符号化されたビデオデータを復号するための方法及び装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050622 |
|
| A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20070712 |