JP2006523991A - レート歪みをビデオ符号化に最適化したデータ分割をパラメトリック・レート歪みモデルを用いて行うシステム及び方法 - Google Patents

Abstract

単純でかつ効率的な階層化ビデオ符号化手法をパラメトリック・レート歪み（RD）モデルを用いて備えるシステム及び方法を開示している。ビデオ符号化システムは、レート歪みを最適化したデータ分割符号器及びデータ分割復号器を有し得る。一般化されたRD-DP符号器は、分割点をブロック単位で適応させ、それによって、ベース層ビットストリームの符号化効率を、明示的な伝送なしで大いに向上させ、それによって帯域幅をかなり節減する。更に、非パラメトリック・レート歪み曲線の場合でも、パラメトリック・レート歪みモデルはベース層が十分に分割されない状態が生じることを阻止し、パラメトリック・モデルは、同期をとるよう、符号器と復号器とで同時に更新される。

Description

本発明は、一般的に、スケーラブルなビデオ符号化システムに関し、特に、一般的にレート歪みを、パケット不可逆ネットワークを介したビデオ伝送に最適化した、離散コサイン変換（DCT）係数のデータ分割（ｇRDDP）をパラメトリック・レート歪み（RD）モデルを用いて行うことに関する。

ビデオは、一連のピクチャである。各ピクチャは、画素のアレイによって形成される。非圧縮ビデオの容量は巨大である。この容量を削減するよう、ビデオ圧縮を用いてこの容量を削減し、データ伝送レートを増加させ得る。ディジタル記憶媒体上の動画や関連したオーディオの符号化表現に関する国際標準を備えるよう、種々のビデオ符号化手法（例えば、MPEG1、MPEG2及びMPEG4）が確立されている。

そのようなビデオ符号化手法は、削減されたレートで伝送するようロー・ビデオ・データをフォーマッティングし、圧縮する。例えば、MPEG2標準のフォーマットは、グループオブピクチャと、ピクチャと、スライスと、マクロブロックとの4つの層を有する。ビデオ・シーケンスは、1つ又は複数のグループオブピクチャ（GOP）を有するシーケンス・ヘッダで始まり、シーケンス終了符号で終わる。グループオブピクチャ（GOP）は、ヘッダと、ビデオ・シーケンスへのランダム・アクセスを可能にすることが意図されている一連の1つ又は複数のピクチャとを有する。

ピクチャは、ビデオ・シーケンスの1次符号化単位である。ピクチャは、ルミナンス値（Y）と２つのクロミナンス値（Cb及びCr）とを表す３つの矩形のマトリックスを有する。Yのマトリックスは、偶数の行及び列を有する。Cb及びCrのマトリックスのサイズは、各方向（水平方向及び垂直方向）においてYのマトリックスのサイズの半分である。スライスは、1つ又は複数の「隣接した」マクロブロックである。スライス内のマクロブロックの順序は、左から右への順及び上から下への順である。

マクロブロックは、MPEGアルゴリズムにおける基本符号化単位である。マクロブロックは、フレームにおける16x16の画素セグメントである。各クロミナンス成分はルミナンス成分の垂直方向の解像度及び水平方向の解像度の半分を有するので、マクロブロックは4つのYブロック、１つのCrブロック及び１つのCbブロックを備える。ブロックは、MPEGアルゴリズムにおける最小の符号化単位であり、8x8の画素を有し、ルミナンス（Y）タイプと、赤クロミナンス（Cr）タイプと、青クロミナンス（Cb）タイプとの３つのタイプのうちの1つであり得る。ブロックは、イントラ・フレーム符号化における基本単位である。

MPEG2標準は、イントラ・ピクチャ（Iピクチャ）タイプと、予測ピクチャ（Pピクチャ）タイプと、双方向ピクチャ（Bピクチャ）タイプとの３つのタイプを規定する。イントラ・ピクチャすなわちIピクチャは、ピクチャ自体に存在する情報のみを用いて符号化され、圧縮ビデオ・データへの潜在的なランダム・アクセス点を備える。予測ピクチャすなわちPピクチャは、先行するIピクチャ又はPピクチャのうちで最も近いものに対して符号化される。Iピクチャと同様に、Pピクチャも、Bピクチャ及び将来のPピクチャを予測する基準としての役目も担い得る。更に、Pピクチャは、動き補償を用いて、Iピクチャの場合に可能な圧縮を上回る圧縮を備える。双方向ピクチャすなわちBピクチャは、過去のピクチャも将来のピクチャも基準として用いるピクチャである。Bピクチャは最大の圧縮を備えるが、それは、Bピクチャが過去のピクチャも将来のピクチャも基準として用いるからである。これらの３つのタイプのピクチャを組み合わせてピクチャ群を形成する。

MPEG変換符号化アルゴリズムは、離散コサイン変換の符号化工程と、量子化の符号化工程と、ランレングス符号化の符号化工程とを有する。

ビデオ符号化において重要な手法はスケーラビリティである。これに関して、スケーラブルなビデオ・コデックは、埋め込み部分集合に分割し得るビットストリームを生成することができるコデックとして規定される。この部分集合は、別個に復号化して、品質が増加したビデオ・シーケンスを備え得る。よって、単一の圧縮処理によって、種々のレート及び復元品質を備えているビットストリームを生成し得る。元のビットストリームの小部分集合をまず、伝送してベース層品質を備え、追加の層をエンハンス層として後に伝送することが可能である。スケーラビリティは、MPEG-2、MPEG-4やH.263などのビデオ圧縮標準の大半によってサポートされている。

スケーラビリティの重要な応用分野としては、エラー耐性ビデオ伝送がある。スケーラビリティは、エンハンス層に対するよりも強力なエラー保護をベース層に対して適用すること（すなわち、等しくないエラー保護）に用い得る。よって、ベース層は、伝送チャネル状態が不利な間も高い確率で成功裏に復号化されることになる。

データ分割（DP）はスケーラビリティを促進するのに用いられる。例えばMPEG2では、スライス層は、（プライオリティ・ブレーク・ポイントとして知られる、）特定のビットストリームに備えられるブロック変換係数の最大数を示す。データ分割は、64個の量子化変換係数のブロックを２つのビットストリームに分割する周波数領域手法である。第１の、より高いプライオリティのビットストリーム（例えば、ベース層）は、より重要な低周波数係数及び（DC値、動きベクトルなどの）付加情報を有する。第２の、より低いプライオリティのビットストリーム（例えば、エンハンス層）は、高周波数ACデータを収容する。

図１は、符号器の外で実施し得るデータ分割を示す構成図を示す。送信器では、逆多重化装置は、可変長復号器（VLD）から、可変長符号毎に用いるビット数を受信し、プライオリティ・ブレーク・ポイント（PBP）値に基づいてビットストリームを分離する。なお、PBPは、各スライスで、使用されるレート分割ロジックに基づいて変更し得る。特に、従来のDPビデオ符号器（例えば、MPEG）では、単一層ビットストリームが、DCTドメインにおける2つ以上のビットストリームに分割される。伝送中、1つ又は複数のビットストリームを送信してビット・レート・スケーラビリティを達成する。等しくないエラー保護をベース層データ及びエンハンス層データに適用してチャネル劣化に対する頑健性を向上させることが可能である。

図2は、復号器の外で実施し得る併合を示す構成図を示す。図示したように、２つのVLDを用いてベース層ストリーム及びエンハンス層ストリームを処理し、更に非階層化ビットストリームを出力する。PBPは、符号化ビットストリームを分割する方法を規定する。復号化する前に、資源割り当て及び/又は受信器容量によって、受信ビットストリーム又はその部分集合が１つの単一のビットストリームに併合され、復号化される。

従来のDP構造は、利点をホーム・ネットワーク環境において有する。特に、その完全な品質では、DPのレート歪み性能は、その単一層のものと同等である一方、レート・スケーラビリティも可能である。レート歪み（R-D）性能は、レートと歪みとの最適な組み合わせを見つけることに関する。この最適な組み合わせは、費用と品質との最適な組み合わせとして見ることも可能であるが、一意でない。R-D手法は、考えられる最少ビット数によって情報を表わそうとすると同時に、最善の再生品質につながることになる方法で情報を表わそうとするものである。

更に、従来のDP構造では、更なる復号化計算量オーバヘッドはその完全な品質では非常に小さい一方、DPはより広い範囲の復号器計算量スケーラビリティを備える。これは、計算量上最も大規模な部分である、DCTランレングス対の可変長復号化（VLD）がこの場合、スケーラブルとなるからである。

従来のDP構造では、DCTプライオリティ・ブレーク・ポイント（PBP）値は、付加情報として明示的に送信することを要する。オーバヘッドを最小にするよう、PBP値は、各スライス内又は各ビデオ・パケット内のDCTブロック全てについて固定される。

従来のDP方法は、単純であり、いくつかの利点を有する一方、ベース層最適化を適応させることができないが、それは、各スライス内又は各ビデオ・パケット内のブロック全てに１つのPBP値しか用いられないからである。更に、予測ドリフトが、データ分割に用いる単一ループ予測構造の結果として低ビット・レートで生じる。よって、データ分割中に、特定のベース分割レートでの基地局品質が最適であるようにブロック毎のDCTブレーク・ポイントを選ぶ方法は難しい。ベース層で最小の歪みを達成するために、分割点は、DCTブロック・レベルでの変更を可能にすることを要する。しかし、ブレーク・ポイントをそのように細かく制御することによって、ブレーク・ポイント値の明示的な伝送によるかなりのレート・オーバヘッドをもたらす。

よって、従来のデータ分割手法の制約を解決し、ベース層最適化の改善を備えるビデオ符号化手法に対する必要性が存在する。

本発明は、上記必要性に対処し、パラメトリックRDモデルを用いることによってデータ分割手法の改善を備えることによって更なる効果を備える。本発明の一実施例では、このことは、コンテキスト・ベースの後方適応を用いることによって（各スライス又は各ビデオ・パケットのオーバヘッド≒20ビットであるか、各フレームまでものオーバヘッド≒20ビットである）最小のオーバヘッドで達成することが可能である。

本発明の一特徴は、ビデオ伝送を行うためにDCT係数のレート歪みを最適化したデータ分割（ｇRD-DP）を備えるシステム及び方法に関する。

本発明の別の特徴では、RD-DPは、分割点をブロック単位で適応させ、よって、ベース層ビットストリームの符号化効率を大いに向上させる。これは更に、分割位置を後方的に復号化データから、明示的な伝送なしで復号器が見つけ、よって帯域幅をかなり節減することを可能にする。

本発明の更に別の特徴では、ラグランジュ・パラメータλが計算される。λの値は、（ベース層伝送チャネルの）レート・バジェットRbを満たすよう、標準の1次元2分法アルゴリズムを用いて判定される。

本発明の一実施例は、スケーラブルなビデオ符号器のデータ分割方法に関する。方法は、ビデオ・データを受信する工程と、DCT係数をビデオ・フレームの複数のマクロブロックについて判定する工程と、DCT係数を量子化し、量子化DCT係数を（ラン、レングス）対に変換する工程と、パラメトリック・レート歪み曲線の傾きをビデオ・フレームにおける複数のマクロブロック毎に判定する工程とを備え、傾きがλよりも少ないかk番目の傾きがλよりも少なくない最初の傾きである場合、k番目の（ラン、レングス）対をベース層に書き込み、さもなければk番目の傾きがλよりも大きい場合、k番目の（ラン、レングス）対を少なくとも１つのエンハンス層に書き込み、そのとき、λはラグランジュ計算によって判定される。

本発明の別の実施例は、スケーラブルなビデオ復号器においてベース層と少なくとも１つのエンハンス層との間の境界を判定する方法に関する。方法は、ベース層と少なくとも１つのエンハンス層とを受信する工程を備え、ベース層及びエンハンス層は、ビデオ・フレームにおける複数のマクロブロックについて（ラン、レングス）対を表すデータを有する。方法は更に、ビデオ・フレームにおける複数のマクロブロック毎に、パラメトリック・レート歪み曲線の傾きを判定する工程を備える。方法は、傾きがλよりも小さいか、k番目の傾きが、λよりも小さくない第１の傾きである場合、k番目の（ラン、レングス）対をベース層から読み取り、さもなければk番目の傾きがλよりも大きい場合、k番目の（ラン、レングス）対を少なくとも１つのエンハンス層から読み取り、その場合、λはラグランジュ計算によって判定される。

本発明の更に別の実施例は、ベース層からのデータと少なくとも１つのエンハンス層からのデータとを併合することができるスケーラブルな復号器に関する。復号器は、コンピュータ実行可能処理工程を記憶するメモリと、メモリに記憶されている処理工程を実行して方法を行うプロセッサとを備え、方法は工程(1)乃至(4)を備え、工程(1)はベース層及び少なくとも１つのエンハンス層を受信する工程であり、ベース層及びエンハンス層は（ラン、レングス）対を複数のマクロブロックについてビデオ・フレームにおいて表すデータを備え、工程(2)はビデオ・フレームにおける複数のマクロブロック毎に、パラメトリック・レート歪みモデルを判定する工程であり、工程(3)は、パラメトリック・レート歪みモデルの傾き（正接）をk個の（ラン、レングス）対を用いてi番目のブロックについて計算する工程であり、工程(4)は、k個の（ラン、レングス）対を用いて更新されるパラメトリック・モデルの傾きが、λよりも小さい場合か、λよりも小さくない第１の傾きである場合、k番目の（ラン、レングス）対をベース層から読み取り、さもなければその傾きがλよりも大きい場合、k番目の（ラン、レングス）対を少なくとも１つのエンハンス層から読み取る工程であり、そのとき、λはラグランジュ計算によって判定される。

本発明の更に別の実施例は、スケーラブルなトランスコーダに関する。単一層符号化ビデオ・ビットストリーム（MPEG-1、MPEG-2、MPEG-4、H.264など）は部分的に復号化され、ビットストリーム分割点が、DCTブロック毎に、上記の境界判定方法の実施例に基づいて判定される。その後、VLC符号が2つ以上の分割部分に、分割点に基づいて分割される。部分的復号化は、可変長復号化と、逆走査と、逆量子化とのみを伴う。逆DCTも動き補償も必要でない。

本発明は、種々のビット・レートと、したがって、種々の品質の画像とに対応することができる可変帯域幅のネットワーク及びコンピュータ・システムに関して特に有用である。

〔実施例〕
図3は、階層化された符号化と伝送の優先順位付けとを備えているスケーラブルなビデオ・システム100を示す。階層化ソース符号器110は、入力ビデオ・データを符号化する。階層化ソース符号器110は、ベース層121と、1つ又は複数のエンハンス層122-124とを有する。複数のチャネル120は出力された符号化データを収容する。階層化ソース復号器130は符号化データを復号化する。

階層化された符号化を実施する方法は種々存在する。例えば、時間領域階層化符号化では、ベース層はより低いフレーム・レートを備えているビットストリームを有し、エンハンス層は、より高いフレーム・レートを備えている出力を得るようインクリメンタルな情報を有する。空間領域階層化符号化では、ベース層は元のビデオ・シーケンスのサブサンプル・バージョンを符号化し、エンハンス層は、復号器でより高い空間解像度を得るよう、更なる情報を有する。

一般的に、別の層は別のデータストリームを用い、チャネル・エラーに対して確かに異なる耐性を有する。チャネル・エラーの抑制に努めるよう、階層化された符号化が通常、伝送の優先順位付けと組み合わされるので、ベース層が、より高い程度のエラー保護を伴って配信される。ベース層121が喪失される場合、エンハンス層122-124に備えられるデータは無用であり得る。

本発明の一実施例では、ベース層121のビデオ品質は、DCTブロック・レベルで柔軟に制御される。所望のベース層は、パラメトリックRDモデルを用いてDCTブロック毎のRD平面の凸閉包を概算し、それによって（図5及び図6を参照しながら後に説明される、）符号器及び復号器で同時に、最適な分割点を見つけることによってDCTブロック・レベルでのブレーク・ポイントを適応させることによって制御することが可能である。

なお、DCTの目的は、隣接するエラー画素間の空間的相関を低減させることと、エラー画素のエネルギを数係数に圧縮することとにある。多くの高周波係数は量子化後ゼロであるので、可変長符号化（VLC）は、低周波係数が高周波係数の前に配置されるようにいわゆるジグザグ走査を用いて1次元のアレイに係数を順序付けするランレングス符号化手法によって達成される。このようにして、量子化係数が、非ゼロ値と、先行するゼロの数とによって規定される。各々がゼロのランレングスの対に相当する種々のシンボルと、非ゼロ値が、可変長符号語を用いて符号化される。

スケーラブルなビデオ・システム100は好ましくは、エントロピ符号化を用いる。エントロピ符号化では、量子化DCT係数が、1次元アレイに、それをジグザグな順序で走査することによって再配置される。この再配置によってDC係数はアレイの最初の位置に配置され、残りのAC係数は、低周波数から高周波数の順に、水平方向にも垂直方向にも配置される。この前提は、高周波での量子化DCT係数はゼロである可能性があり、よって非ゼロ部分とゼロ部分とを分離することになるということである。再配置されたアレイは、ラン・レベル対のシーケンスに符号化される。ランは、アレイにおける２つの非ゼロ係数間の距離として定義される。レベルは、ゼロのシーケンスの直後の非ゼロ値である。この符号化方法は8x8のDCT係数のコンパクトな表現を生成するが、それは、多数の係数が既にゼロ値に量子化されているからである。

ラン・レベル対と、動きベクトルなどの、マクロブロックに関する情報と、予測タイプは、更にエントロピ符号化を用いて圧縮される。可変長符号も固定長符号もこの目的で用いられる。

ビデオ・システム100の設計は、実効的なレート歪み（RD）理論によって動機付けられる。RD理論は、利用可能な帯域幅が事前に分かっており、その目的が、この帯域幅内で達成し得る最善の再生品質の達成（すなわち、適応型アルゴリズム）にある符号化及び圧縮のシナリオにおいて有用である。

以下には、最適化された分割（すなわち、ベース層及びエンハンス層の分割）を解くうえで表された説明を記載する。以下の記載では、ビデオ・フレーム毎に「n」個のDCTブロックが存在し、ビット・レート・バジェットRbがベース層分割について分かっているとみなす。レート・バジェットは、最小ビデオ品質要件とチャネル・スループット変動とに基づいて判定される。更に、最適な分割を解くために：

の最適化問題を表し得る。そのとき、Pi∈{0,1,…,K(i)}であり、nはi番目のブロックについてのブレーク・ポイント値であり、K(i)はi番目のブロックにおける最大（ラン、レングス）対を表し、Ri（Pi）及びDi（Pi）は各々、相当するビット・レートと、i番目のブロックからの歪みとを表す。

最適化問題は、反復2分法アルゴリズムを用いてラグランジュ最適化に基づいて解き得る。最適な分割ポイントPiは、i=1,,,,,nの全てについて：

の条件を満たし、そのとき、ラグランジュλ>0は、(1)におけるレート制約が満たされるように標準の2分法サーチによって判定される。

i番目のブロックについてのk番目のDCT（ラン、レングス）のビット数が

であり、

の係数値を有する場合、k番目のDCT（ラン、レングス）対でのi番目のブロックのレート歪み(R-D)曲線の傾きは：

の離散値群を有する。

次に図4を参照すれば、凸なR-D曲線を示して、分割点を判定する方法と、階層化ソース復号器130が分割点を後方適応的に推論し得る方法とを説明する。なお、階層化ソース復号器130は、R-D曲線が凸でなくても同様に動作する。

図4から、レート歪み曲線が凸である場合、一般的に、λはRに対する減少関数であり、よって、一般的に、

の関係が当てはまる。

式(4)によれば、階層化ソース符号器110側でのDCT係数の分割アルゴリズムは、レート歪み曲線が凸である場合に以下に表す。この段階に達するよう、フレームについてのビデオ・データはそれを離散コサイン変換（DCT）を用いて変換し、DCT係数が量子化され、更に、2進符号語（ラン、レングス）に、可変長符号化（VLC）を用いて変換される。

ラグランジュ・パラメータλは、付加情報（すなわち、オーバヘッド情報）として別個に符号化し、伝送してもよい。階層化ソース復号器130は、以下のアルゴリズムを用いて、ベース層121とエンハンス層122との境界を見つけるとともに、同期を見つけることが可能である。

上記のように、伝送する対象の付加情報はラグランジュ・パラメータλだけである。λの値は、式(1)のレート・バジェットRbを満たすよう標準の1次元2分法アルゴリズムを用いて判定される。しかし、λの最適値は実数であり得るものであり、チャネル120を介して伝送するよう量子化されることとする。

しかし、(ラン、レングス)対についての可変長符号化の実用的な実施形態において、図4のR-D曲線は図5に示すように凸でない場合があるが、それは、VLCがソースの真のエントロピの近似に過ぎないからである。その場合、

の検査変数はkに対してもはや単調でない。この場合、図5に示すように、式(4)において表す分割ルールが有効でなく、RDDPの近最適性を破り得る。なお、最適ブレーク・ポイント値はk₂であり得る一方、RDDPアルゴリズムはk₁を備え、それによって、ベース層の分割が不十分な状態になる。

よって、好ましい実施例では、凸閉包は、先行して復号化された（ラン、レングス）対を用いて同時に符号器と復号器とで連続して更新されるパラメトリック・モデルを用いて概算される。

特に、好ましい実施例では、分割ルールは：

であり、そのとき、D_i（R;θ）が、パラメータ・ベクトルθ_iを備えている、レートＲに対するi番目のブロックのベース層歪みモデルを表し、R_i（k）は、k個の(ラン、レベル)対を有する場合のレートを表し、θ_i（k）は、i番目のブロックについてk個の(ラン、レベル)対を用いて推定されるパラメータである。

式(5)では、何れかのレート歪みモデルを、それが凸であり、単調に減少する関数である限り、用いてよい。例えば、指数関数的な歪みモデル：
D（R;θ）=σ²exp(−αR) (6)
を用いてよく、そのとき、θ=（σ,α）は推定する対象の未知のパラメータ・ベクトルである。

式(6)の歪みモデルの場合、分割ルールは：

となり、そのとき、σ(k),α(k)は、k個の(ラン、レベル)VLC対を用いて推定されるパラメータである。

よって、階層化ソース復号器130は、以下のアルゴリズムを用いて、ベース層121とエンハンス層122との境界を見つけるとともに、同期を見つけて、ビットストリームをほぼ最適に、ブレーク・ポイント値の明示的情報を送ることなく分離することが可能である。

符号化：

復号化：

上記で説明したように、送信する対象の唯一の付加情報は、ラグランジュ・パラメータλである。λの値は、式(1)のレート・バジェットRbを満たすよう標準の1次元2分法アルゴリズムを用いて判定され、そして、フレーム・ヘッダ毎に1度量子化され、送信され、よってレート・オーバヘッドは無視できる。

したがって、λ値と、相当する低周波DCT係数及び特定の高周波DCT係数とを（ベース層121として）より信頼度の高い伝送チャネルを介して送信することによって、DCT情報のより動的な割り当てが達成できる。このことによって、エンハンス層122乃至124のうちの1つ又は複数からのデータが喪失される場合にビデオの最小品質の制御の強化を可能にする。

更に、パラメトリック・モデルは、レート歪み曲線の凸閉包を概算し、よって、非凸レート歪み関数の場合にも分割が不十分な状態が生じることを阻止する。

本発明の上記実施例は、何れかのスケーラブルなビデオ符号化システム、例えば、MPEG2、MPEG4、H.263などに適用可能である。

図6は、本発明を実施し得るコンピュータ・システム9の代表的な実施例を示す。図3に示すように、パーソナル・コンピュータ（「PC」）10は、可変帯域幅ネットワーク又はインターネットなどのネットワークにインタフェースするネットワーク接続11と、ビデオ・カメラ（図示せず）などの他の遠隔ソースとインタフェースするファックス/モデム接続12とを備える。PC10は、ユーザに向けて（ビデオ・データを有する）情報を表示する表示画面14と、テキスト及びユーザ・コマンドを入力するキーボード15と、表示画面14上のカーソルを配置させ、ユーザ・コマンドを入力するマウス13と、その中にインストールされるフロッピー（登録商標）・ディスクとの間での読み書きを行うディスク・ドライブ16と、CD-ROM上に記憶される情報をアクセスするCD-ROMドライブ17とを更に備える。PC10は、文書テキスト画像、グラフィックス画像などを入力するスキャナ（図示せず）などの、それに対して取り付けられる1つ又は複数の周辺装置と、画像、テキストなどを出力するプリンタ19とを有する場合もある。

図7は、PC10の内部構造を示す。図7に示すように、PC10は、コンピュータ・ハード・ディスクなどのコンピュータ判読可能媒体を備えるメモリ20を有する。メモリ20は、データ23、アプリケーション25、プリンタ・ドライバ24及びオペレーティング・システム26を記憶する。本発明の好ましい実施例では、オペレーティング・システム26はマイクロソフト(Microsoft)社のウィンドウズ(Windows（登録商標）)2000などのウィンドウイング・オペレーティング・システムであるが、本発明は他のオペレーティング・システムとも用い得る。メモリ20に記憶されるアプリケーションの中には、スケーラブルなビデオ符号器21及びスケーラブルなビデオ復号器22がある。スケーラブルなビデオ符号器21は、以下に表す方法でスケーラブルなビデオ・データ符号化を行い、スケーラブルなビデオ復号器22は、スケーラブルなビデオ符号器21によって規定される方法で符号化されたビデオ・データを復号化する。

PC10に備えられるものとしては更に、表示インタフェース31、キーボード・インタフェース30、マウス・インタフェース31、ディスク・ドライブ・インタフェース32、CD-ROMドライブ・インタフェース34、コンピュータ・バス36、RAM37、プロセッサ38及びプリンタ・インタフェース40がある。プロセッサ38は好ましくは、RAM37から上記のものなどのアプリケーションを実施するマイクロプロセッサなどを備える。そのようなアプリケーションは、スケーラブルなビデオ符号器21及びスケーラブルなビデオ復号器22を有し、（上記などの）メモリ20に記憶されてもよく、あるいは、ディスク・ドライブ16中のフロッピー（登録商標）・ディスク上に記憶されてもよく、CD-ROMディスク17中のCD-ROM上に記憶されてもよい。プロセッサ38は、フロッピー（登録商標）・ディスク上に記憶されているアプリケーション（や他のデータ）をディスク・ドライブ・インタフェース32を介してアクセスし、CD-ROM上に記憶されているアプリケーション（や他のデータ）をCD-ROMドライブ・インタフェース34を介してアクセスする。

PC4のアプリケーション実行タスクや他のタスクは、キーボード15を用いて開始されてもマウス13を用いて開始されてもよく、それらからのコマンドはプロセッサ38に向けてキーボード・インタフェース30とマウス・インタフェース31との各々を介して送信される。PC10上で実行するアプリケーションからの出力結果は、表示インタフェース29によって処理され、更に、ユーザに向けてディスプレイ14上で表示されてもよく、あるいは、ネットワーク接続11を介して出力されてもよい。例えば、スケーラブルなビデオ符号器21によって符号化された入力ビデオ・データは通常、ネットワーク接続11を介して出力される。一方、例えば可変帯域幅ネットワークから受信される符号化ビデオ・データは、スケーラブルなビデオ復号器22によって復号化され、更に、ディスプレイ14上に表示される。この目的で、表示インタフェース29は好ましくは、プロセッサ38によってコンピュータ・バス36を介して供給される復号化ビデオ・データに基づいてビデオ画像を形成し、その画像をディスプレイ14に出力する表示プロセッサを備える。PC10上で実行する、ワード・プロセッシング・プログラムなどの他のアプリケーションからの出力結果は、プリンタ19にプリンタ・インタフェース40を介して備え得る。プロセッサ38は、そのような印刷ジョブの適切なフォーマッティングを、プリンタ19へのその送信の前に行うように印刷ドライバ24を実行する。

本発明の別の実施例は、スケーラブルなトランスコーダに関する。図8に示すように、単一層符号化ビデオ・ビットストリーム200（MPEG-1、MPEG-2、MPEG-4、H.264など）は、可変長復号器210によって部分的に復号化される。DCT係数220は逆走査/量子化装置230に送られ、更に分割行探索器240に送られる。ビットストリーム分割点は、DCTブロック毎に、上記境界判定方法の実施例に基づいて判定される。その後、VLC符号250は、2つ以上の分割部分に分割点に基づいて分割される。その結果は、可変長符号バッファ260に供給される。本発明によれば、部分的復号化は、可変長復号化、逆走査及び逆量子化のみを伴う。逆DCTも動き補償も必要でない。

本明細書及び特許請求の範囲記載の本発明の実施例は好ましくはコンピュータ・コードとして実施されるが、上記の実施例の全部又は一部を、個別のハードウェア構成要素及び/又は論理回路を用いて実施することが可能である。更に、本発明の符号化及び復号化の手法をPC環境において説明したが、これらの手法は、ディジタル・テレビジョン受信機/セット・トップ・ボックス、ビデオ会議機器などに限定されないが、これらを有する何れかの種類のビデオ装置において用いることが可能である。

この点に関して、本発明は、特定の例示的実施例に関して説明してきた。例えば、本発明の上記実施例に記載した原理は、分割エンハンス層に適用される場合もある。本発明が上記実施例やそれに対する修正に限定されず、種々の変更及び修正を当業者によって本特許請求の範囲記載の請求項の趣旨及び範囲から逸脱することなく行い得ることとする。

データの分割及び併合を行うシステムを示す概括的な構成図である。 データの分割及び併合を行うシステムを示す別の概括的な構成図である。 本発明の一特徴によるビデオ符号化システムを表す図である。 通常の凸なレート歪み曲線を表す図である。 通常の凸でないレート歪み曲線を表す図である。 本発明を実施し得るコンピュータ・システムを表す図である。 図6に示すコンピュータ・システムにおけるパーソナル・コンピュータのアーキテクチャを表す図である。 本発明の一実施例によるトランスコーダを表す構成図である。

Claims (26)

1. スケーラブルなビデオ符号器のデータを分割する方法であって：
   ビデオ・データを受信する工程と、
   DCT係数を、ビデオ・フレームの複数のマクロブロックについて判定する工程と、
   前記DCT係数を量子化する工程と、
   該量子化DCT係数を、（ラン、レングス）対に変換する工程とを備え、更に、
   前記ビデオ・フレームにおける前記複数のマクロブロック毎に、
   

   

   の比率を判定する工程を備え、D_i(R;θ)がi番目のブロックの歪みモデルを表し、R_i(k)がkの(ラン、レベル)対のレートを表し、θ_i(k)がkの(ラン、レベル)対を用いた前記i番目のブロックの推定パラメータを表し、更に、
   

   

   がλよりも小さいか、
   

   

   がλよりも小さくない第１の比率の場合、k番目の（ラン、レングス）対をベース層に入れ、さもなければ、
   

   

   がλよりも大きい場合、前記k番目の（ラン、レングス）対をエンハンス層に入れる工程を備え、λはラグランジュ計算によって判定されることを特徴とする方法。
2. 請求項1記載の方法であって、前記ベース層及び前記エンハンス層を種々の伝送チャネルを介して送信する工程を更に備えることを特徴とする方法。
3. 請求項1記載の方法であって、スケーラブルなビデオ符号器がMPEG4符号器であることを特徴とする方法。
4. 請求項1記載の方法であって、スケーラブルなビデオ符号器がH.263符号器であることを特徴とする方法。
5. 請求項1記載の方法であって、スケーラブルなビデオ符号器がMPEG2符号器であることを特徴とする方法。
6. 請求項1記載の方法であって、スケーラブルなビデオ符号器が、DCT変換とエントロピ符号化とを有するビデオ符号器であることを特徴とする方法。
7. 請求項1記載の方法であって、スケーラブルなビデオ符号器が、単一層のMPEG2、MPEG4及びH.26Lをトランスコーディングすることによって実現されることを特徴とする方法。
8. 請求項1記載の方法であって、λを量子化し、量子化値を付加情報として復号器に送信する工程を更に備えることを特徴とする方法。
9. 請求項6記載の方法であって、付加情報は、前記ビデオ・フレームのフレーム・ヘッダにおいて1度だけ送信されることを特徴とする方法。
10. 請求項6記載の方法であって、付加情報を、頑健性を向上させるよう、スライス・ヘッダ又はビデオ・パケット・ヘッダに送信することが可能であることを特徴とする方法。
11. 請求項1記載の方法であって、λは、前記ベース層の伝送チャネルのレート・バジェットを満たすよう2分法アルゴリズムを用いて判定されることを特徴とする方法。
12. 請求項1記載の方法であって、λは、前記ベース層の伝送チャネルのレート・バジェットを満たすよう適応的アルゴリズムを用いて判定されることを特徴とする方法。
13. ベース層と少なくとも１つのエンハンス層との間の境界をスケーラブル・ビデオ復号器において判定する方法であって：
    前記ベース層及び前記少なくとも１つのエンハンス層を受信する工程を備え、前記ベース層及び前記エンハンス層は、ビデオ・フレームにおける複数のマクロブロックについて（ラン、レングス）対を表すデータを有し；
    更に、前記ビデオ・フレームにおける前記複数のマクロブロック毎に、
    

    

    の比率を判定する工程を備え、D_i(R;θ)がi番目のブロックの歪みモデルを表し、R_i(k)がkの(ラン、レベル)対のレートを表し、θ_i(k)がkの(ラン、レベル)対を用いた前記i番目のブロックの推定パラメータを表し、更に、
    

    

    がλよりも小さいか、
    

    

    がλよりも小さくない第１の比率の場合、k番目の（ラン、レングス）対を前記ベース層から読み取り、さもなければ、
    

    

    の比率がλよりも大きい場合、前記k番目の（ラン、レングス）対を前記少なくとも１つのエンハンス層から読み取る工程を備え、λは付加情報を復号化することによって判定されることを特徴とする方法。
14. 請求項13記載の方法であって、前記ベース層及び前記エンハンス層を種々の伝送チャネルを介して受信する工程を更に備えることを特徴とする方法。
15. 請求項13記載の方法であって、スケーラブルなビデオ復号器がMPEG4復号器であることを特徴とする方法。
16. 請求項13記載の方法であって、スケーラブルなビデオ復号器がH.263復号器であることを特徴とする方法。
17. 請求項13記載の方法であって、スケーラブルなビデオ復号器がMPEG2復号器であることを特徴とする方法。
18. 請求項13記載の方法であって、スケーラブルなビデオ復号器が、DCTとエントロピ符号化とを用いるビデオ復号器であることを特徴とする方法。
19. 請求項13記載の方法であって、スケーラブルなビデオ復号器が、MPEG2復号器と、MPEG4復号器と、H.26L復号器とを有する群から選択される単一層のビデオ復号器の前の併合によって実現されることを特徴とする方法。
20. 請求項13記載の方法であって、前記ビデオ・フレームに関連した付加情報としてλを受信する工程を更に備えることを特徴とする方法。
21. 請求項20記載の方法であって、前記付加情報は、前記ビデオ・フレームのフレーム・ヘッダにおいて1度だけ送信されることを特徴とする方法。
22. 請求項20記載の方法であって、前記付加情報が、頑健性を向上させるよう、スライス・ヘッダ毎又はビデオ・パケット・ヘッダ毎に複製されることを特徴とする方法。
23. 請求項13記載の方法であって、λは、前記ベース層の伝送チャネルのレート・バジェットを満たすよう判定されることを特徴とする方法。
24. ベース層からのデータと少なくとも１つのエンハンス層からのデータとを併合することができるスケーラブルなビデオ復号器であって：
    コンピュータ実行可能な処理工程を記憶するメモリ；及び
    該メモリに記憶されている処理工程を実行して工程(1)乃至(3)を行うプロセッサを備え、
    工程(1)は、前記ベース層及び前記少なくとも１つのエンハンス層を受信する工程であり、前記ベース層及び前記エンハンス層は、ビデオ・フレームにおける複数のマクロブロックについて（ラン、レングス）対を表すデータを有し；
    工程(2)は、更に、前記ビデオ・フレームにおける前記複数のマクロブロック毎に、
    

    

    の比率を判定する工程であり、D_i(R;θ)がi番目のブロックの歪みモデルを表し、R_i(k)がkの(ラン、レベル)対のレートを表し、θ_i(k)がkの(ラン、レベル)対を用いた前記i番目のブロックの推定パラメータを表し、工程(3)は、
    

    

    がλよりも小さいか、
    

    

    がλよりも小さくない第１の比率である場合、k番目の（ラン、レングス）対を前記ベース層から読み取り、さもなければ、
    

    

    の比率がλよりも大きい場合、前記k番目の（ラン、レングス）対を前記少なくとも１つのエンハンス層から読み取る工程であり、λはラグランジュ計算によって判定されることを特徴とする復号器。
25. 請求項24記載の復号器であって、λは、前記ビデオ・フレームに関連した付加情報として前記復号器によって受信され、前記付加情報は、前記ビデオ・フレームのフレーム・ヘッダにおいて1度だけ送信されることを特徴とする復号器。
26. 請求項24記載の復号器であって、λは、前記ベース層の伝送チャネルのレート・バジェットを満たすよう判定されることを特徴とする復号器。

Images