JP2007503151A - プリデコーダを利用するスケーラブルビデオのコーディング方法及び装置 - Google Patents

プリデコーダを利用するスケーラブルビデオのコーディング方法及び装置 Download PDF

Info

Publication number
JP2007503151A
JP2007503151A JP2006523778A JP2006523778A JP2007503151A JP 2007503151 A JP2007503151 A JP 2007503151A JP 2006523778 A JP2006523778 A JP 2006523778A JP 2006523778 A JP2006523778 A JP 2006523778A JP 2007503151 A JP2007503151 A JP 2007503151A
Authority
JP
Japan
Prior art keywords
bit
amount
bitstream
bits
coding unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006523778A
Other languages
English (en)
Inventor
ハン，ウ−ジン
イム，チャン−フン
ハ，ホ−ジン
リー，ベ−グン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020030073952A external-priority patent/KR20050038732A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2007503151A publication Critical patent/JP2007503151A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/619—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding the transform being operated outside the prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本発明は、プリデコーダを利用するスケーラブルビデオのコーディング方法及び装置を提供する。本発明のビットレートのコントロール方法は、原画像をエンコーディングして生成されたビットストリームを、原フレームに対する最終フレームの歪曲が最小化するように、それぞれのコーディングユニットに対するビット量を決定する段階と、決定されたビット量を基準に前記ビットストリームの一部を切り取って、目的とする量のビットを持つビットストリームを抽出する段階とを含む。

Description

本発明は、プリデコーダを利用するウェーブレット基盤のスケーラブルビデオコーディングにおいて、前記プリデコーダ側で利用できる情報を利用して、ビットレートを最適にコントロールする方法及び装置に関する。
ビデオコーディング技術のレート歪曲性能は、精巧なレートコントロールアルゴリズムを使用することによって、相当部分向上できると知られている。大部分の従来技術は、最適のレート歪曲という観点で、それぞれのコーディングユニットに適切な数のビット数を割り当てるために、エンコーディング領域で生成される有用な情報を利用する。ウェーブレット基盤のスケーラブルビデオコーディングにおいては、エンコーダは、エンベッディング原則によって一つの大きいビットストリームを生成し、プリデコーダないしトランスコーダが、前記エンベッディング原則によって前記ビットストリームを任意の大きさに切り取る。ここで、前記エンベッディング原則によるエンコーディング方式で圧縮されたビットストリームの場合には、一部のビットストリームを切り取ってもデータが復元できるが、それ以外のエンコーディング方式で圧縮されたビットストリームの場合には、エンコーダで生成されたビットストリームのうち、任意に一部のビットストリームを切り取れば、データが復元できないという特徴がある。
このようなエンベッディング属性は根本的に、スケーラブルビデオコーダは、レートコントロールアルゴリズムの使用に適するようにする。しかし、スケーラブルビデオコーダでは、実際ビット割り当てがエンコーディング領域以後に行われねばならないために、エンコーダでのみ使用可能な情報を利用する伝統的なレートコントロールアルゴリズムを適用できなくなるので、スケーラブルビデオコーダに適した別途のレートコントロールアルゴリズムを創案する必要がある。
一般的にスケーラブルビデオコーディングは、前もって圧縮されたビットストリームから得られる多様な解像度、画質及び臨時レベルにおいて、部分的なデコーディングを可能にし、低画質ビデオを使用するモバイルホンから、高画質映画を使用するデジタル記録媒体まで、多様な環境で信号を効率的に表現し、かつ伝送する有望な技術として認識されている。ここで、前記臨時レベルは、秒当たりフレーム数を原データと別にする場合に、前記秒当たりフレーム数それぞれを意味する。
ビデオコーディング技術におけるスケーラビリティの具現には、多くの接近方法がある。ＭＰＥＧ−４ ＦＧＳ（Ｆｉｎｅ Ｇｒａｎｕｌａｒｉｔｙ Ｓｃａｌａｂｉｌｉｔｙ）がＳＮＲ（信号対雑音比）及び臨時的スケーラブルビデオコーディングの標準として確立されているとしても、ウェーブレットに基づいたいろいろなスケーラブルビデオのコーディング方法も、既にＳＮＲ、空間的及び臨時的スケーラビリティを具現するための潜在力を表している。前記‘臨時的’とは、時間的に配列されたいろいろなフレームのうち一部のフレームを意味し、前記‘空間的’とは、１フレームでの一部分を意味する。
モーション補償エンベッデッドゼロブロックコーディング（以下、ＭＣ−ＥＺＢＣ）は、３Ｄサブバンド／ウェーブレット変換を使用する、完全にスケーラブルなビデオコーディングシステムである。前記３Ｄサブバンド／ウェーブレット変換は、モーション補償臨時フィルタリング（Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｅｄ Ｔｅｍｐｏｒａｌ Ｆｉｌｔｅｒｉｎｇ；以下、ＭＣＴＦ）による臨時的コリレーション、及びウェーブレット変換による空間的コリレーションを使用する。前記ＭＣ−ＭＺＢＣに関するさらに詳細な内容は、Ｓ．−Ｔ．Ｈｓｉａｎｇの博士論文‘Ｈｉｇｈｌｙ ｓｃａｌａｂｌｅ ｓｕｂｂａｎｄ／ｗａｖｅｌｅｔ ｉｍａｇｅ ａｎｄ ｖｉｄｅｏ ｃｏｄｉｎｇ’（Ｒｅｎｓｓｅｌａｅｒ Ｐｏｌｙｔｅｃｈｎｉｃ Ｉｎｓｔｉｔｕｔｅ，Ｎｅｗｙｏｒｋ，Ｊａｎ．２００２）を参照して分かる。
最近の実験結果によれば、ＭＣ−ＥＺＢＣは、ほぼあらゆるテスト条件でＭＰＥＧ−４ ＦＧＳを凌駕すると知られている。ＭＣ−ＥＺＢＣにおいて、ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）は、通常１６個または３２個のフレームを備えるが、あらゆるモーション軌跡に沿って、可逆モーション補償臨時フィルタによって変換される。前記フィルタリングされたフレームは、空間的重複を利用するために、ウェーブレット変換によって分解され、ＥＺＢＣアルゴリズムによってコーディングされる。一方、モーションベクトルコードストリームは、ＤＰＣＭ（Ｄｉｆｆｅｒｅｎｔｉａｌ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）及び代数的コーディングの組み合わせによってエンコーディングされる。
ＥＺＢＣアルゴリズムのエンベッディング属性のために、ＭＣ−ＥＺＢＣでのビットストリームは、感知される程の重大な変形なしに任意のポイントから切り取ることができる。前記エンベッディング属性は、レートを簡単にコントロール可能にする。なぜなら、コントロールパラメータは、通常ハイブリッドコーダに使われる量子化ステップサイズというよりは、それぞれのコーディングユニットに割り当てられたビットレートであるためである。ＭＰＥＧに対するレートコントロールと比較すると、エンベッデッドェーブレットビデオコーダに対しレートコントロールに関する研究は、相対的に少なかった。Ｐ．−Ｙ．Ｃｈｅｎｇは、本人の論文である‘Ｒａｔｅ ｃｏｎｔｒｏｌ ｆｏｒ ａｎ ｅｍｂｅｄｄｅｄ ｗａｖｅｌｅｔ ｖｉｄｅｏ ｃｏｄｅｒ’（ＩＥＥＥ Ｔｒａｎｓ．Ｃｉｒｃｕｉｔｓ Ｓｙｓｔ．Ｖｉｄｅｏ Ｔｅｃｈｎｏｌ．，ｖｏｌ．７，ｎｏ．４，ｐｐ．６９６〜７０２，Ａｕｇ．１９９７）で、エンベッデッドェーブレットコーダのレート歪曲性能及び、基準と予想フレーム間のフレーム依存性を利用することによって誘導されるレートコントロール方法を提案した。また、Ｃａｅｔａｎｏは、‘Ｒａｔｅ ｃｏｎｔｒｏｌ ｓｔｒａｔｅｇｙ ｆｏｒ ｅｍｂｅｄｄｅｄ ｗａｖｅｌｅｔ ｖｉｄｅｏ ｃｏｄｅｒｓ’（Ｅｌｅｃｔｒｏｎｉｃｓ Ｌｅｔｔｅｒｓ，ｖｏｌ．３５，ｎｏ．２１，ｐｐ．１８１５〜１８１７，Ｏｃｔ．１９９９．）で、区分的線形レート歪曲モデルを利用することによって、前記Ｃｈｅｎｇの方法をさらに改良した。そして、Ｈ．Ｊ．Ｌｅｅは、‘Ｓｃａｌａｂｌｅ ｒａｔｅ ｃｏｎｔｒｏｌ ｆｏｒ ＭＰＥＧ−４ ｖｉｄｅｏ’（ＩＥＥＥ Ｔｒａｎｓ．Ｃｉｒｃｕｉｔｓ Ｓｙｓｔ．Ｖｉｄｅｏ Ｔｅｃｈｎｏｌ．，ｖｏｌ．１０，ｐｐ．８７８〜８９４，Ｓｅｐｔ．２０００．）で、ゼロツリーエントロピーウェーブレットコーディングのためのレート歪曲に基づいた最適化技術を提案した。大部分のレート歪曲最適化方法は、エンコーダで利用可能ないくつかの有用な情報を使用する。前記有用な情報には、例えば、ＭＡＤ（Ｍｅａｎ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）、ＭＳＥ（Ｍｅａｎ Ｓｑｕａｒｅｄ Ｅｒｒｏｒ）、そしてＰＳＮＲ（Ｐｅａｋ Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ Ｒａｔｉｏ）などがある。
図１は、レート歪曲最適化技術に基づいたビデオコデックの全体的ブロック図である。このような場合に、レートコントロール部１３０では、ユーザが最終目的とするビットレート３０を基準に、最適の量子化ステップまたはそれぞれのコーディングユニットに対する最適のビット量を選択する。それにより、エンコーダ１１０は、前記量子化ステップまたは最適のビット量を基準として原動画像１０をエンコーディングすることにより、制限された通信状況に合わせてバンド幅が制限されたビットストリーム４０を生成する。次いで、デコーダ１２０は、前記制限されたバンドを持つビットストリーム４０からイメージシーケンスを復元して、圧縮解除された動画像２０を出力する。このような従来技術で、前記レートコントロールは、エンコーダ側でのみ行われている。
レートコントロール部１３０で行われる目的ビットレート３０を基準としたレートコントロール過程を、以下でさらに詳細に説明する。ソースデータに対する推定値がラプラシアン分布を持つと仮定しよう。もし、歪曲の測定において、差関数を使用すれば、レート歪曲関数であるＲ（Ｄ）は、次の式［１］のように現れる。ここで、Ｄは、イメージを圧縮する時に発生する歪曲率を意味するものであり、元来のイメージと圧縮解除された最終イメージとの差から計算できる。
Figure 2007503151
 多くのレート歪曲最適化技術は、２次のレート歪曲関数を基盤とし、前記関数は、式［１］の簡略化された形態であって、次の式［２］で定義されたように現れる。
Figure 2007503151
 ここで、ａ及びｂは、モデルパラメータであり、Ｑ（ｉ）は、量子化インデックスであり、Ｒ（ｉ）は、ｉ番目コーディングユニットをエンコーディングするための総ビット数である。前記コーディングユニットとは、エンコーダでエンコーディングする時に処理するフレーム束の単位を意味する。前記‘Ｈ．Ｊ．Ｌｅｅ’の論文で、２次のレート歪曲関数は、新たな２つのパラメータ（ＭＡＤ及びノンテクスチャーオーバーヘッド）を導入することによって、次の式［３］のように修正できる。
Figure 2007503151
 ここで、Ｈ（ｉ）は、ヘッダ情報及びモーションベクトルに使われるビットを表し、Ｍ（ｉ）は、ルミナンス成分のためのモーション補償残留を利用して計算されたＭＡＤを意味する。ＭＡＤをレート歪曲関数に含める理由は、量子化ステップの選択において場面複雑性を考慮するためである。なぜなら、同じ目標ビットレートの制限においては、大きいステップは、高い複雑性を持つフレームのために使われねばならず、小さなステップは、低い複雑性を持つフレームのために使われねばならない。
前記式［３］のように変形されたレート歪曲関数は、ＭＰＥＧ−４標準で採択されている。ＭＰＥＧ−４ ｖｅｒｉｆｉｃａｔｉｏｎ ｍｏｄｅｌ ５．１では、ａ及びｂは、過去のフレームについてのポイント選択及び線形回帰分析を使用して求めることができ、Ｍ（ｉ）は、モーション補償ブロックから計算でき、これより目標量子化インデックスＱ（ｉ）が求められる。Ｑ（ｉ）を求めた後には、モデルパラメータ、すなわち、ａ及びｂは、現在フレームの情報によってアップデートされる。ＭＰＥＧ−４で使われるレートコントロールアルゴリズムが、レート歪曲性能を向上させるに効率的ではあるが、そのアルゴリズムを、プリデコーダを使用するスケーラブルビデオフレームワークに適用するためには、多少の変更が必要である。
図２は、従来技術によるウェーブレット基盤のスケーラブルビデオコデックの動作構造を示すブロック図である。従来のレートコントロールアルゴリズムが、一般的にレート歪曲性能を向上させるというが、前記アルゴリズムは、エンコーディング領域でのみ利用できる予測エラー情報を使用している。完全にスケーラブルなビデオコデックを要求する大部分のアプリケーションにおいて、エンコーダ２１０は、十分に大きいビットストリーム３５を生成し、プリデコーダ２２０ないしトランスコーダは、画質、臨時的条件及び空間的条件を考慮して、前記ビットストリーム３５から一部を切り取って、適当量のビットを持つビットストリーム４０を抽出する。次いで、デコーダ２３０は、前記一部を切り取ったビットストリーム４０からイメージシーケンスを復元して、圧縮解除された動画像２０を出力する。
図２に示すように、レートコントロールは、エンコーダ２１０の代りにプリデコーダ２２０で行われる。なぜなら、実際ビットレートは、プリデコーダ２２０で決定されるためである。しかし、従来には、プリデコーダ２２０でレートコントロールを行うアルゴリズムに関する研究がほとんどなく、ＣＢＲ（Ｃｏｎｓｔａｎｔ Ｂｉｔ−Ｒａｔｅ）方法（前記Ｓ．−Ｔ．Ｈｓｉａｎｇの論文参照）が一般的に使われていた。したがって、プリデコーダでのみ使用可能な情報を使用するレートコントロールアルゴリズムについて研究する必要がある。
前記問題点を解決するために、本発明は、ウェーブレット基盤のスケーラブルビデオコーダの性能を向上させるために、プリデコーダで使用可能な情報のみを使用する新たなレートコントロールアルゴリズムを提供することを目的とする。
そして、それぞれのコーディングユニットに同じ量のビットを割り当てる代わりに、前記コーディングユニットに最適のビット量を割り当てて、レート歪曲性能を向上させることができる方法を提供することを目的とする。
また、前記レートコントロールアルゴリズムを、現在のあらゆるウェーブレット基盤のスケーラブルビデオコーディング技術に適用することを目的とする。
前記目的を達成するために、本発明によるビットレートのコントロール方法は、原画像をエンコーディングして生成されたビットストリームを、原フレームに対する最終フレームの歪曲が最小化するように、それぞれのコーディングユニットに対するビット量を決定する段階と、前記決定されたビット量を基準に前記ビットストリームの一部を切り取って、目的とする量のビットを持つビットストリームを抽出する段階と、を含むことを特徴とする。
前記コーディングユニットに対するビット量を決定する段階は、場面複雑性関数と原フレームに対する最終フレームの歪曲とを利用して定義される、前記コーディングユニットに対するビット量に対して、前記場面複雑性関数を、前記コーディングユニットに対するビット平面数によるビット分布を利用して決定する段階と、前記原フレームと最終フレームの歪曲とを最小化する方法により、前記コーディングユニットに対するビット量を決定する段階と、を含むことが望ましい。
そして、前記コーディングユニットに対するビット量であるＲ（ｉ）は、
Figure 2007503151
 のように定義され、前記場面複雑性関数であるＭ（ｉ）は、ｋ個のビット平面を使用する累積されたエンコーディングされたビットＢ（ｉ，ｋ）を、線形補間法を利用して総エンコーディングされたビットをＢＴにするビット平面数Ｋ＊を決定し、前記場面複雑性関数Ｍ（ｉ）をＢ（ｉ，Ｋ＊）にリモデルリングし、前記計算されたＢ（ｉ，Ｋ＊）を適用したレート歪曲関数
Figure 2007503151
 でＤ（ｉ）２が最小になるＲ（ｉ）の式を求め、
Figure 2007503151
 の制限条件を適用して最適のビット割り当てを持つＲ（ｉ）を求めることが望ましい。
前記目的を達成するために、本発明によるスケーラブルビデオのコーディング方法は、原動画像をエンコーディングすることにより、ビットストリームを生成する段階と、前記生成されたビットストリームのビット平面数によるビット分布を利用して場面複雑性関数を決定し、原画像をエンコーディングして生成されたビットストリームを、原フレームに対する最終フレームの歪曲が最小化するように、それぞれのコーディングユニットに対するビット量を前記場面複雑性関数で表すことによって決定する段階と、前記決定されたビット量を基準に前記ビットストリームの一部を切り取って、目的とする量のビットを持つビットストリームを抽出する段階と、を含むことが望ましい。
前記スケーラブルビデオのコーディング方法は、前記抽出されたビットストリームから前記原画像のイメージシーケンスを復元して、圧縮解除する段階をさらに含むことが望ましい。
また、前記目的を達成するために、本発明によるビットレートのコントロール装置は、原画像をエンコーディングして生成されたビットストリームを、原フレームに対する最終フレームの歪曲が最小化するように、それぞれのコーディングユニットに対するビット量を決定する手段と、前記決定されたビット量を基準に前記ビットストリームの一部を切り取って、目的とする量のビットを持つビットストリームを抽出する手段と、を含むことを特徴とする。
また、前記目的を達成するために、本発明によるスケーラブルビデオコーディング装置は、原動画像をエンコーディングすることによりビットストリームを生成するエンコーダと、前記生成されたビットストリームのビット平面数によるビット分布を利用して場面複雑性関数を決定し、原画像をエンコーディングして生成されたビットストリームを、原フレームに対する最終フレームの歪曲が最小化するように、それぞれのコーディングユニットに対するビット量を前記場面複雑性関数で表すことによって決定するレートコントロール部と、前記決定されたビット量を基準に前記ビットストリームの一部を切り取って、目的とする量のビットを持つビットストリームを抽出するプリデコーダと、を含むことが望ましい。
前記スケーラブルビデオコーディング装置は、前記抽出されたビットストリームから前記原動画像のイメージシーケンスを復元して、圧縮解除するデコーダをさらに含むことが望ましい。
また、前記目的を達成するために、プリデコーダを利用するウェーブレット基盤のスケーラブルビデオのコーディング方法は、コンピュータで読み取り可能なプログラムで、記録媒体に記録できる。
以下、図面によって、本発明による一実施例を詳細に説明する。
図３は、本発明によるウェーブレット基盤のスケーラブルビデオコデックの動作構造を示すブロック図である。スケーラブルエンコーダ３１０は、原動画像をエンコーディングすることにより、十分に大きいビットストリーム３５を生成し、レートコントロール部３４０は、ユーザの目的するビットレート３０を基準に、それぞれのコーディングユニットに対する最適のビット量を選択する。プリデコーダ３２０は、前記ビットストリーム３５を入力され、前記レートコントロール部３４０で選択された最適のビット量を基準に前記ビットストリーム３５の一部を切り取って、適当量のビットを持つビットストリーム４０を抽出する。次いで、デコーダ３３０は、前記抽出されたビットストリーム４０から動画像のイメージシーケンスを復元して、圧縮解除する。それにより、最終的に圧縮解除された動画像が生成される。
本発明は、このうち、レートコントロール部３４０での動作部分が核心をなす。前記レートコントロール部３４０での動作は、３部分に大別されるが、第１に、プリデコーダのためのレート歪曲関数を定義する過程と、第２に、プリデコーダ側の情報を利用する場面複雑性関数モデリング過程、及び第３に、前記プリデコーダのためのレート歪曲関数を利用して歪曲を最小化する、新たなレートコントロール関数を誘導する過程でなる。本発明では、場面複雑性関数として、従来のエンコーダでのみ使用可能なＭＡＤ情報の代りに、同じ数のビット平面でのビット分布に置き換える。
第一に、レート歪曲関数を定義する過程を説明する。
伝送されるビデオは、それぞれ複数のフレームを持つ複数のコーディングユニット、すなわち、複数のＧＯＰに分けられる。このようにすれば、ＧＯＰに存在するそれぞれのフレームは、ＭＣＴＦ過程のために互いに強くコリレートされている一方、それぞれのＧＯＰは、分離されてエンコーディングされ、かつ互いに独立的であるために、レートコントロールアルゴリズムを簡略化できる。まず、前記式［１］のレート歪曲関数を変形すれば、次の式［４］を得ることができる。
Figure 2007503151
 ここで、Ｒ（ｉ）、Ｍ（ｉ）、及びＤ（ｉ）は、それぞれｉ番目ＧＯＰ（コーディングユニット）に対する総ビット数、場面複雑性パラメータ、そして、原フレームと、デコーダで圧縮解除される最終フレームとの差値（原フレームに対する最終フレームの歪曲）を意味する。数式の簡単化のために、ノンテクスチャーオーバーヘッド、すなわち、Ｈ（ｉ）は、式［４］、そして、以下のあらゆる式で考慮しない。なぜなら、本発明でその効果が微小なためである。ＢＴを、Ｎ個のＧＯＰで構成された全体ビデオシーケンスに対する総ビットとすれば、次の式［５］のようになる。
Figure 2007503151
 なお、レートコントロール問題は、前記式［４］及び式［５］の制限条件を利用して、次の式［６］のように公式化できる。
Figure 2007503151
 ここで、式［６］の右辺は、前記式［４］及び式［５］の条件下で、Ｄ（ｉ）２を最小にするＲ（１）ないしＲ（Ｎ）を選択するという意味である。このように、式［６］での歪曲測定のためには、ＭＳＥが使われる。式［６］にあるＲ（ｉ）値を計算するためには、２つのパラメータ、Ｍ（ｉ）、及びＤ（ｉ）が必要であるということは、容易に分かる。従来の方法では、Ｍ（ｉ）値として、通常的にＭＡＤが使われたが、本発明では、前記ＭＡＤをＭ（ｉ）値として使用できない。なぜなら、原本データの値が分からないプリデコーダ領域では、ＭＡＤは求められないからである。したがって、本発明では、プリデコーダで使用可能な他の情報を利用して、Ｍ（ｉ）を推定せざるを得ない。
第２に、次いで、ビット分布を利用して場面複雑性を推定する過程を説明する。量子化ウェーブレット係数に使われるエンベッデッド量子化アルゴリズムは、基本的に２つのステップで構成される。前記２つのステップは、それぞれのサブバンドについての３次元表現法を確立するステップと、重要なピクセルについての進歩したビット平面コーディングを行うステップとを意味する。進歩したビット平面コーディングは、２ｎをしきい値として持つ、連続的な近似量子化方法で考えられる。ここで、係数ｎは、ビット平面インデックスを意味する。さらに、重要なピクセルの数は、割り当てられたビットの量と直接的に関連している。重要なピクセルの数が多ければ、そのピクセルのエンコーディングに多くのビットが必要であり、重要なピクセルの数が少なければ、そのピクセルのエンコーディングに少ないビットが必要である。
図４は、ｆｏｒｅｍａｎ ＱＣＩＦシーケンスに対するビット分布を図示したものである。図４で明暗の強度は、一つのＧＯＰインデックスに対する総割り当てられたビットの量及び使われたビット平面の数を意味し、明るいほどビット数が高い。相対的な強度を表すために、前記強度は、与えられた数のビット平面で、あらゆるＧＯＰの和によって正規化されている。図４に示すように、割り当てられたビット数は、主に、同じ数のビット平面を持つ他のＧＯＰインデックス（ＧＯＰの時間順序配列）によって可変的である。もし、場面複雑性を、与えたイメージフレームをエンコーディングする難しさの程度と定義するならば、同じビット平面の数で、一つのＧＯＰに割り当てられたビットの量は、ＧＯＰのうち相対的な場面複雑性と強くコリレートされる。
Ｂ（ｉ，ｋ）を、ｋ個のビット平面を使用する累積されたエンコーディングされたビットとしよう。使われたビット平面の数が一定の定数値Ｋを持つとすれば、Ｂ（ｉ，ｋ）は、総割り当てられたビットを持つｉ番目ＧＯＰに対する場面複雑性についての推定値となり、前記総割り当てられたビットは、次の式［７］のように与えられる。
Figure 2007503151
 ここで、Ｎは、総ＧＯＰの数である。線形補間法を使用して、総エンコーディングされたビットをＢＴにする正確なポイントで、場面複雑性のさらに正確な推定値を得ることができる。Ｋ＊を、総割り当てられたビットが正確にＢＴとなるビット平面有理数値といえば、次の式［８］のようになる。
Figure 2007503151
 ここで、
Figure 2007503151
 であり、
Figure 2007503151
 である。ＭＡＤ値から得られるＭ（ｉ）値と同数のビット平面でのビットの量、すなわち、Ｂ（ｉ，Ｋ＊）間にいかなる関係を探すために、ｆｏｒｅｍａｎ ＱＣＩＦシーケンスに対して５１２ ｋｂｐｓを持つビットストリームを生成するように、Ｒ（ｉ）値を固定した。Ｄ（ｉ）は、原本及びデコーディングされたシーケンスの間に、ＰＳＮＲ値から計算され、Ｍ（ｉ）は、前記式［４］から計算される。
図５は、αが０．１５６である時、Ｍ（ｉ）及びＢ（ｉ，Ｋ＊）を表したものである。図５に示すように、Ｂ（ｉ，Ｋ＊）は、Ｍ（ｉ）とよくマッチングされる。したがって、適切なα値を利用すれば、Ｂ（ｉ，Ｋ＊）は、Ｍ（ｉ）の代置値として使われることができる。式［４］のＭ（ｉ）をＢ（ｉ，Ｋ＊）に置き換えれば、次の式［１１］を得る。
Figure 2007503151
 第３に、歪曲を最小化するレートコントロールアルゴリズムを探す過程を説明する。前記式［６］のように制限された最適化問題は、ラグランジュ方法を使用することによって制限のない最適化問題に転換できる。１フレームの代りに、一つのＧＯＰについてのビット数を使用するために、Ｃｈｅｎｇ’ｓ ｍｅｔｈｏｄを若干変形する。この場合に、本発明の目的は、次の式［１２］を最小化することによって達成される。
Figure 2007503151
 ここで、Ｒ（ｉ）は、ｉ番目ＧＯＰに対して割り当てられたビットであり、Ｄ（ｉ）は、式［１１］に表されている。それぞれのＧＯＰは独立的に処理されるために、Ｄ（ｉ）は、単にＲ（ｉ）にのみ従属的である。したがって、最適のポイントで次の式［１３］を得る。
Figure 2007503151
 前記式［１１］を、Ｄ（ｉ）２について整理し、それを式［１３］に代入すれば、式［１４］のようになる。
Figure 2007503151
 あらゆるＧＯＰに対するＲ（ｉ）の和は、ＢＴにならねばならないために、式［１４］の右辺は、次の式［１５］を満足する。
Figure 2007503151
 前記式［１５］を整理し、それを式［１４］に代入すれば、最適のビット割り当ては、次の式［１６］のようになる。
Figure 2007503151
 但し、
Figure 2007503151
 である。ここで、２個の未知の変数、すなわち、α及びλは同時に除去できるという点に注目せねばならない。そして、式［１６］の右辺の２番目項を、ｉ＝１からＮまで合わせば０となる。このように、固定されたビット割り当て方法を使用する代わりに、本発明で提案された方法、すなわち、前記式［１６］の結果を利用することによって、ビデオコーダのレート歪曲性能を向上させることができる。さらに、式［１６］及び式［１７］は、単純な和であり、それぞれのＧＯＰごとに１回のみ計算されるので、レートコントロールのために付加される計算上の複雑性は、無視できるほどであるといえる。
以下では、シミュレーションを通じて、本発明で提案した方法の性能を従来の方法と比較する。両者ともに対する基礎的ビデオコーダとしては、従来のＭＣ−ＥＺＢＣ方法（前記Ｓ．−Ｔ．Ｈｓｉａｎｇの論文参照）を利用する。両者の性能を比較するための動画像ソースとしては、３０Ｈｚの秒当たりフレームレート（ＦＰＳ；Ｆｒａｍｅ ｐｅｒ Ｓｅｃｏｎｄ）を持つｆｏｒｅｍａｎ、ｆｏｏｔｂａｌｌ、及びｃａｎｏａシーケンスを使用する。まず、前記シーケンスをエンコーディングした後、従来のＣＢＲ方法（前記Ｓ．−Ｔ．Ｈｓｉａｎｇの論文参照）を利用したプリデコーダと、本発明で提案されたレートコントロール方法を利用したプリデコーダとをそれぞれ使用して、ビットレートを６４ｋｂｐｓから７６８ｋｂｐｓまで変化させつつ、ビットストリームを生成した。
表１は、ＣＢＲ方法と本発明で提案されたレートコントロール方法とをそれぞれ使用して求めた平均ＰＳＮＲ値を示す。ここで、ＶＢＲ−Ｄは、前記歪曲を最小化するために本発明で提案した方法を意味する。
Figure 2007503151
 表１に示すように、本発明で提案された方法は、従来のＣＢＲ方法より０．４ｄＢほど向上した性能を示す。そして、６４ｋｂｐｓのビットレートで、ＰＳＮＲの性能向上は非常に少なく観察される。このような傾向は、主に、非常に低いビットレートでテクスチャー情報が足りなくて発生する。これは、従来のＭＣ−ＥＺＢＣ方法下では、単にテクスチャー情報のみスケーラブル可能であるからである。
表２は、ＣＢＲ及びＶＢＲ−ＤそれぞれについてのＰＳＮＲ値の標準偏差を示す。
Figure 2007503151
 これによれば、ＶＢＲ−Ｄ方法が、ＰＳＮＲ曲線の標準偏差をかなり減少させていることが分かる。ＶＢＲ−Ｄ方法は、フレームＰＳＮＲの標準偏差を約２５％程度減少させる。図６は、ｆｏｏｔｂａｌｌ ＱＣＩＦに対するテクスチャービットレート結果を示す。Ｆｏｏｔｂａｌｌ ＱＣＩＦは、平均５１２Ｋｂｐｓでエンコーディングされた。図６に示すように、実際平均ビットレートは、ビットレート目標値より小さい。なぜなら、モーションベクトルに関するビットレート及びヘッダ情報を含んでいないからである。さらに、ＰＳＮＲ曲線の全体的扁平度を調べるために、フレームＰＳＮＲの代りにＧＯＰ−平均ＰＳＮＲを図示した。図６に示すように、ＣＢＲのビットレートはほぼ一定であり、ＶＢＲ−Ｄのビットレートは、変化が非常に大きい。なぜなら、非常に変化が大きい場面特徴によって最適化されるからである。一方、図７に示すように、ＶＢＲ−ＤのＧＯＰ−平均ＰＳＮＲ曲線は、ＣＢＲのそれより若干扁平である。このような属性は、視覚的画質を高めるのに非常に有用である。なぜなら、視覚的画質は、良い画質を持つフレームの視覚的画質を向上させるよりは、悪い画質を持つフレームの視覚的画質を向上させることが、人間の知覚的特性を考慮する時にさらに効率的であるからである。
図８は、本発明による全体動作を示すフローチャートであり、図９は、図８のＳ８２０段階の細部段階を示すフローチャートである。まず、スケーラブルエンコーダ３１０は、原動画像をエンコーディングすることにより、十分に大きいビットストリーム３５を生成する（Ｓ８１０）。それにより、レートコントロール部３４０は、ユーザの目的とするビットレート３０を基準に、それぞれのコーディングユニットに対する最適のビット量を選択する（Ｓ８２０）。
ここで、前記Ｓ８２０段階の細部段階を説明すれば、まず、それぞれのコーディングユニットに対する総ビット数、場面複雑性関数及び原フレームと最終フレームとの差値（原フレームに対する最終フレームの歪曲）を利用して、レート歪曲関数を定義する（Ｓ９１０）。次いで、前記場面複雑性関数を、前記コーディングユニット及びビット平面数によるビット分布を利用してモデリングし、前記レート歪曲関数に前記モデリングされた場面複雑性関数を適用する（Ｓ９２０）。そして、前記モデリングされた場面複雑性関数を適用したレート歪曲関数を利用して、歪曲を最小化する新たなレートコントロール関数を誘導する（Ｓ９３０）。
プリデコーダ３２０は、前記ビットストリーム３５を入力されて、前記レートコントロール部３４０から誘導された新たなレートコントロール関数、すなわち、誘導された最適のビット量を基準に前記ビットストリーム３５の一部を切り取って、適当量のビットを持つビットストリーム４０を抽出する（Ｓ８３０）。次いで、デコーダ３３０は、前記抽出されたビットストリーム４０から動画像のイメージシーケンスを復元して、圧縮解除する（Ｓ８４０）。それにより、最終的に圧縮解除された動画像が生成される。
本発明によれば、ネットワーク環境によって変化しやすいバンド幅によって、適した大きさのビットストリームを提供できる。
本発明によれば、プリデコーダでＣＢＲを利用してレートコントロールを行う方法に比べて、可視的な画質面で平均ＰＳＮＲが０．４ｄＢ以上向上するという長所がある。
本発明によるレートコントロールアルゴリズムは、現在のあらゆるウェーブレット基盤のスケーラブルビデオコーディング技術に適用できるという長所がある。
以上、添付図を参照して本発明の実施例を説明したが、 本発明が属する技術分野で当業者ならば本発明がその技術的思想や必須特徴を変更せずとも他の具体的な形に実施されうるということが理解できるであろう。したがって、前述した実施例は全ての面で例示的なものであって、限定的なものではないと理解せねばならない。
レート歪曲最適化技術に基づいたビデオコデックの全体的ブロック図である。 従来技術によるウェーブレット基盤のスケーラブルビデオコデックの動作構造を示すブロック図である。 本発明によるウェーブレット基盤のスケーラブルビデオコデックの動作構造を示すブロック図である。 ｆｏｒｅｍａｎ ＱＣＩＦシーケンスに対するビット分布を示す図である。 αが０．１５６である時、Ｍ（ｉ）及びＢ（ｉ，Ｋ＊）を示す図である。 ｆｏｏｔｂａｌｌ ＱＣＩＦについて、テクスチャービットレートを示す図である。 ｆｏｏｔｂａｌｌ ＱＣＩＦについて、ＧＯＰ−平均ＰＳＮＲを示す図である。 本発明による全体動作を示すフローチャートである。 図８のＳ８２０ステップの細部段階を示すフローチャートである。

Claims (15)

  1. 原画像をエンコーディングして生成されたビットストリームを、原フレームに対する最終フレームの歪曲が最小化するように、それぞれのコーディングユニットに対するビット量を決定する段階と、
    前記決定されたビット量を基準に前記ビットストリームの一部を切り取って、目的とする量のビットを持つビットストリームを抽出する段階と、を含むことを特徴とするビットレートのコントロール方法。
  2. 前記コーディングユニットに対するビット量を決定する段階は、場面複雑性関数と原フレームに対する最終フレームの歪曲とを利用して定義される、前記コーディングユニットに対するビット量に対して、前記場面複雑性関数を、前記コーディングユニットに対するビット平面数によるビット分布を利用して決定する段階と、前記原フレームと最終フレームの歪曲とを最小化する方法により、前記コーディングユニットに対するビット量を決定する段階と、を含むことを特徴とする請求項１に記載のビットレートのコントロール方法。
  3. 前記コーディングユニットに対するビット量であるＲ（ｉ）は、
    Figure 2007503151
     のように定義され、前記場面複雑性関数であるＭ（ｉ）は、ｋ個のビット平面を使用する累積されたエンコーディングされたビットＢ（ｉ，ｋ）を、線形補間法を利用して総エンコーディングされたビットをＢＴにするビット平面数Ｋ＊を決定し、前記場面複雑性関数Ｍ（ｉ）をＢ（ｉ，Ｋ＊）にリモデルリングし、前記計算されたＢ（ｉ，Ｋ＊）を適用したレート歪曲関数
    Figure 2007503151
     でＤ（ｉ）２が最小になるＲ（ｉ）の式を求め、
    Figure 2007503151
     の制限条件を適用して最適のビット割り当てを持つＲ（ｉ）を求めることを特徴とする請求項２に記載のビットレートのコントロール方法。
  4. 原動画像をエンコーディングすることにより、ビットストリームを生成する段階と、
    前記生成されたビットストリームのビット平面数によるビット分布を利用して場面複雑性関数を決定し、原画像をエンコーディングして生成されたビットストリームを、原フレームに対する最終フレームの歪曲が最小化するように、それぞれのコーディングユニットに対するビット量を前記場面複雑性関数で表すことによって決定する段階と、
    前記決定されたビット量を基準に前記ビットストリームの一部を切り取って、目的とする量のビットを持つビットストリームを抽出する段階と、を含むことを特徴とするスケーラブルビデオのコーディング方法。
  5. 前記抽出されたビットストリームから前記原画像のイメージシーケンスを復元して、圧縮解除する段階をさらに含むことを特徴とする請求項４に記載のススケーラブルビデオのコーディング方法。
  6. 前記コーディングユニットに対するビット量であるＲ（ｉ）は、
    Figure 2007503151
     のように定義され、前記場面複雑性関数であるＭ（ｉ）は、ｋ個のビット平面を使用する累積されたエンコーディングされたビットＢ（ｉ，ｋ）を、線形補間法を利用して総エンコーディングされたビットをＢＴにするビット平面数Ｋ＊を決定し、前記場面複雑性関数Ｍ（ｉ）をＢ（ｉ，Ｋ＊）にリモデルリングし、前記計算されたＢ（ｉ，Ｋ＊）を適用したレート歪曲関数
    Figure 2007503151
     でＤ（ｉ）２が最小になるＲ（ｉ）の式を求め、
    Figure 2007503151
     の制限条件を適用して最適のビット割り当てを持つＲ（ｉ）を求めることを特徴とする請求項４に記載のスケーラブルビデオのコーディング方法 。
  7. 前記Ｄ（ｉ）２が最小になるＲ（ｉ）の式を求めることは、ラグランジュ方法を利用することを特徴とする請求項６に記載のスケーラブルビデオのコーディング方法。
  8. 原画像をエンコーディングして生成されたビットストリームを、原フレームに対する最終フレームの歪曲が最小化するように、それぞれのコーディングユニットに対するビット量を決定する手段と、
    前記決定されたビット量を基準に前記ビットストリームの一部を切り取って、目的とする量のビットを持つビットストリームを抽出する手段と、を含むことを特徴とするビットレートのコントロール装置。
  9. 前記コーディングユニットに対するビット量を決定する手段は、場面複雑性関数と原フレームに対する最終フレームの歪曲とを利用して定義される、前記コーディングユニットに対するビット量に対して、前記場面複雑性関数を、前記コーディングユニットに対するビット平面数によるビット分布を利用して決定する手段と、前記原フレームと最終フレームの歪曲とを最小化する方法により、前記コーディングユニットに対するビット量を決定する手段と、を含むことを特徴とする請求項８に記載のビットレートのコントロール装置。
  10. 前記コーディングユニットに対するビット量であるＲ（ｉ）は、
    Figure 2007503151
     のように定義され、前記場面複雑性関数であるＭ（ｉ）は、ｋ個のビット平面を使用する累積されたエンコーディングされたビットＢ（ｉ，ｋ）を、線形補間法を利用して総エンコーディングされたビットをＢＴにするビット平面数Ｋ＊を決定し、前記場面複雑性関数Ｍ（ｉ）をＢ（ｉ，Ｋ＊）にリモデルリングし、前記計算されたＢ（ｉ，Ｋ＊）を適用したレート歪曲関数
    Figure 2007503151
     でＤ（ｉ）２が最小になるＲ（ｉ）の式を求め、
    Figure 2007503151
     の制限条件を適用して最適のビット割り当てを持つＲ（ｉ）を求めることを特徴とする請求項９に記載のビットレートのコントロール装置。
  11. 原動画像をエンコーディングすることによりビットストリームを生成するエンコーダと、
    前記生成されたビットストリームのビット平面数によるビット分布を利用して場面複雑性関数を決定し、原画像をエンコーディングして生成されたビットストリームを、原フレームに対する最終フレームの歪曲が最小化するように、それぞれのコーディングユニットに対するビット量を前記場面複雑性関数で表すことによって決定するレートコントロール部と、
    前記決定されたビット量を基準に前記ビットストリームの一部を切り取って、目的とする量のビットを持つビットストリームを抽出するプリデコーダと、を含むことを特徴とするスケーラブルビデオコーディング装置。
  12. 前記抽出されたビットストリームから前記原動画像のイメージシーケンスを復元して、圧縮解除するデコーダをさらに含むことを特徴とする請求項１１に記載のスケーラブルビデオコーディング装置。
  13. 前記コーディングユニットに対するビット量であるＲ（ｉ）は、
    Figure 2007503151
     のように定義され、前記場面複雑性関数であるＭ（ｉ）は、ｋ個のビット平面を使用する累積されたエンコーディングされたビットＢ（ｉ，ｋ）を、線形補間法を利用して総エンコーディングされたビットをＢＴにするビット平面数Ｋ＊を決定し、前記場面複雑性関数Ｍ（ｉ）をＢ（ｉ，Ｋ＊）にリモデルリングし、前記計算されたＢ（ｉ，Ｋ＊）を適用したレート歪曲関数
    Figure 2007503151
     でＤ（ｉ）２が最小になるＲ（ｉ）の式を求め、
    Figure 2007503151
     の制限条件を適用して最適のビット割り当てを持つＲ（ｉ）を求めることを特徴とする請求項１３に記載のスケーラブルビデオコーディング装置。
  14. 前記Ｄ（ｉ）２が最小になるＲ（ｉ）の式を求めることは、ラグランジュ方法を利用することを特徴とする請求項６に記載のスケーラブルビデオコーディング装置。
  15. 請求項１に記載の方法をコンピュータで読み取り可能なプログラムで記録した記録媒体。
JP2006523778A 2003-08-26 2004-07-09 プリデコーダを利用するスケーラブルビデオのコーディング方法及び装置 Pending JP2007503151A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US49756503P 2003-08-26 2003-08-26
KR1020030073952A KR20050038732A (ko) 2003-10-22 2003-10-22 프리디코더를 이용하는 스케일러블 비디오 코딩 방법 및장치
PCT/KR2004/001692 WO2005020581A1 (en) 2003-08-26 2004-07-09 Scalable video coding method and apparatus using pre-decoder

Publications (1)

Publication Number Publication Date
JP2007503151A true JP2007503151A (ja) 2007-02-15

Family

ID=36096822

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006523778A Pending JP2007503151A (ja) 2003-08-26 2004-07-09 プリデコーダを利用するスケーラブルビデオのコーディング方法及び装置

Country Status (6)

Country Link
US (1) US20050047503A1 (ja)
EP (1) EP1665799A4 (ja)
JP (1) JP2007503151A (ja)
AU (1) AU2004302413B2 (ja)
CA (1) CA2536587A1 (ja)
WO (1) WO2005020581A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050175109A1 (en) * 2004-02-11 2005-08-11 Anthony Vetro Optimal bit allocation for error resilient video transcoding
KR100621581B1 (ko) * 2004-07-15 2006-09-13 삼성전자주식회사 기초 계층을 포함하는 비트스트림을 프리디코딩,디코딩하는 방법, 및 장치
US8755440B2 (en) * 2005-09-27 2014-06-17 Qualcomm Incorporated Interpolation techniques in wavelet transform multimedia coding
US9544602B2 (en) * 2005-12-30 2017-01-10 Sharp Laboratories Of America, Inc. Wireless video transmission system
US7401062B2 (en) * 2006-06-13 2008-07-15 International Business Machines Corporation Method for resource allocation among classifiers in classification systems
US8553757B2 (en) * 2007-02-14 2013-10-08 Microsoft Corporation Forward error correction for media transmission
US8218811B2 (en) 2007-09-28 2012-07-10 Uti Limited Partnership Method and system for video interaction based on motion swarms
JP5359302B2 (ja) * 2008-03-18 2013-12-04 ソニー株式会社 情報処理装置および方法、並びにプログラム
US8325800B2 (en) 2008-05-07 2012-12-04 Microsoft Corporation Encoding streaming media as a high bit rate layer, a low bit rate layer, and one or more intermediate bit rate layers
US8379851B2 (en) 2008-05-12 2013-02-19 Microsoft Corporation Optimized client side rate control and indexed file layout for streaming media
US8370887B2 (en) * 2008-05-30 2013-02-05 Microsoft Corporation Media streaming with enhanced seek operation
US8265140B2 (en) * 2008-09-30 2012-09-11 Microsoft Corporation Fine-grained client-side control of scalable media delivery
CN101883283B (zh) * 2010-06-18 2012-05-30 北京航空航天大学 一种基于saqd域的立体视频码率控制方法
US10893266B2 (en) * 2014-10-07 2021-01-12 Disney Enterprises, Inc. Method and system for optimizing bitrate selection
US9883183B2 (en) * 2015-11-23 2018-01-30 Qualcomm Incorporated Determining neighborhood video attribute values for video data
WO2021007684A1 (zh) * 2019-07-12 2021-01-21 深圳市大疆创新科技有限公司 码流处理方法、设备、计算机可读存储介质
KR102289670B1 (ko) * 2020-04-07 2021-08-13 인하대학교 산학협력단 이기종 프로세서를 사용한 트랜스코딩 서버의 비디오 품질 최대화를 위한 태스크 할당 및 스케쥴링 기법
US20220201317A1 (en) * 2020-12-22 2022-06-23 Ssimwave Inc. Video asset quality assessment and encoding optimization to achieve target quality requirement

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6181711B1 (en) * 1997-06-26 2001-01-30 Cisco Systems, Inc. System and method for transporting a compressed video and data bit stream over a communication channel
US6570922B1 (en) * 1998-11-24 2003-05-27 General Instrument Corporation Rate control for an MPEG transcoder without a priori knowledge of picture type
AU2002220595A1 (en) * 2000-10-11 2002-04-22 Koninklijke Philips Electronics N.V. Scalable coding of multi-media objects
US6925120B2 (en) * 2001-09-24 2005-08-02 Mitsubishi Electric Research Labs, Inc. Transcoder for scalable multi-layer constant quality video bitstreams
US20040179606A1 (en) * 2003-02-21 2004-09-16 Jian Zhou Method for transcoding fine-granular-scalability enhancement layer of video to minimized spatial variations

Also Published As

Publication number Publication date
AU2004302413A1 (en) 2005-03-03
US20050047503A1 (en) 2005-03-03
AU2004302413B2 (en) 2008-09-04
CA2536587A1 (en) 2005-03-03
EP1665799A1 (en) 2006-06-07
EP1665799A4 (en) 2010-03-31
WO2005020581A1 (en) 2005-03-03

Similar Documents

Publication Publication Date Title
KR100654436B1 (ko) 비디오 코딩 방법과 디코딩 방법, 및 비디오 인코더와디코더
KR100597402B1 (ko) 스케일러블 비디오 코딩 및 디코딩 방법, 이를 위한 장치
KR100750138B1 (ko) 인간의 시각 특성을 이용한 영상의 부호화, 복호화 방법 및장치
KR100679030B1 (ko) 하이브리드 비트스트림의 프리디코딩 방법 및 장치
JP2007503151A (ja) プリデコーダを利用するスケーラブルビデオのコーディング方法及び装置
KR100781525B1 (ko) 가중 평균합을 이용하여 ｆｇｓ 계층을 인코딩 및디코딩하는 방법 및 장치
KR100596706B1 (ko) 스케일러블 비디오 코딩 및 디코딩 방법, 이를 위한 장치
KR100703774B1 (ko) 인트라 코딩을 선택적으로 적용하여 인트라 ｂｌ 예측모드의 비디오 신호를 인코딩 및 디코딩하는 방법 및 장치
KR100763181B1 (ko) 기초계층과 향상계층의 데이터를 바탕으로 예측 정보를코딩하여 코딩율을 향상시키는 방법 및 장치
KR100714689B1 (ko) 다 계층 구조 기반의 스케일러블 비디오 코딩 및 디코딩방법, 이를 위한 장치
MXPA06006107A (es) Metodo y aparato de codificacion y decodificacion escalables de video.
JP4410245B2 (ja) ビデオをトランスコーディングする方法
KR20050075483A (ko) 비디오 코딩 및 디코딩 방법, 및 이를 위한 장치
WO2006006764A1 (en) Video decoding method using smoothing filter and video decoder therefor
RU2329616C2 (ru) Способ управления расходом битов и устройство для нормализации качества визуального изображения
MXPA06006117A (es) Metodo y aparato de codificacion y decodificacion escalables de video.
KR100703751B1 (ko) 가상 영역의 영상을 참조하여 인코딩 및 디코딩 하는 방법및 장치
KR20050049644A (ko) 시각적 화질을 균일하게 하는 비트 레이트 컨트롤 방법 및장치
KR20050038732A (ko) 프리디코더를 이용하는 스케일러블 비디오 코딩 방법 및장치
KR101107318B1 (ko) 스케일러블 비디오 인코딩, 디코딩 방법 및 스케일러블 비디오 인코더, 디코더
JP2008537866A (ja) 量子化誤差を低減する方法および装置
CN1843035A (zh) 使用预解码器的可伸缩视频编码方法和设备
AU2007221795B2 (en) Method and apparatus for scalable video encoding and decoding
Umnyashkin et al. Layered Motion Compensation for a Low Bit Rate Embedded Wavelet Video Coder
EP1813114A1 (en) Method and apparatus for predecoding hybrid bitstream

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090113

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090609