JP2005260935A

JP2005260935A - 圧縮ビデオ・ビットストリームにおいて平均イメージ・リフレッシュ・レートを増加させる方法及び装置

Info

Publication number: JP2005260935A
Application number: JP2005049362A
Authority: JP
Inventors: John Sievers; スィーヴァーズジョン; Stephen Botzko; ボッツコウスティーヴン; David Lindbergh; リンドバーグデイヴィッド; Charles M Crisler; エムクリスラーチャールズ
Original assignee: Polycom Inc
Current assignee: Polycom Inc
Priority date: 2004-03-11
Filing date: 2005-02-24
Publication date: 2005-09-22
Also published as: US20120200663A1; AU2004229063A1; EP1575294A1; DE602004024863D1; ATE454013T1; HK1075159A1; CN100440975C; CN1668110A; EP1575294B1; US8374236B2; US20050201469A1

Abstract

【課題】特定のビデオ符号化システム設計についてビデオ品質を向上させる方法を提供する。
【解決手段】ビデオ符号器が、復号器から伝達される情報と事前知識からの情報との何れかを用いて、復号器の計算量のモデルを判定し、それに応じてその符号化を動的に調節する。
【選択図】図１

Description

本発明は、一般的に、ビデオの符号化と圧縮とに関し、特に、特定の復号器がその方法を用いない場合に処理することができる、圧縮ビデオ・シーケンスの、フレーム・レート又はピクチャ・サイズを超えるレベルまでフレーム・レート又はピクチャ・サイズを増加させるその方法を備えることに関する。

ビデオのディジタル化は一層重要になってきている。通信（例えば、ビデオ会議）とディジタル・ビデオ記録とにおける、ビデオのディジタル化は一層、一般的になってきている。これらのアプリケーションにおいては、ビデオは、電話線、コンピュータ・ネットワーク、並びにラジオなどの通信リンクによって伝送されるか、ＤＶＤ、ハード・ディスク、及びＳＶＣＤなどの種々の媒体上に記憶される。

現在、ビデオ・データの効率的な伝送及び／又は記憶を行うことは、ビデオ・データを符号化し、圧縮することを要する。ビデオ圧縮符号化は、ビデオ・シーケンスが高品質でレンダリングされたものを表すのに要する（通常ビットで測定される）情報が少なくて済むような、ディジタル・ビデオ・データの処理と符号化とを行う手法である。大半のビデオ圧縮／復元システムは、再生ビデオ出力が、元の入力ビデオ・データの単なる近似であって、そのものでないことを表す「ロッシー（非可逆）」なものである。種々の圧縮／復元手法がビデオ・シーケンスを圧縮するのに用いられる。

ビデオ・ソースのビデオ信号を符号化し、圧縮する手法と標準とはいくつか存在する。これらには、ＩＴＵ−Ｔ勧告Ｈ．１２０、Ｈ．２６１、Ｈ．２６３、並びにＨ．２６４（以降、各々「Ｈ．１２０」、「Ｈ．２６１」、「Ｈ．２６３」、並びに「Ｈ．２６４」）、及び国際標準化機構／国際電気標準会議（「ＩＳＯ／ＩＥＣ」）、「ＭＰＥＧ−１」（ＩＳＯ／ＩＥＣ１１１７２−２：１９９３）、「ＭＰＥＧ−２」（ＩＳＯ／ＩＥＣ１３８１８−２：２０００／ＩＴＵ−Ｔ勧告Ｈ．２６２）、並びに「ＭＰＥＧ−４」（ＩＳＯ／ＩＥＣ１４４９６−２：２００１）によって公布されている標準が含まれる。これらの標準はその全部を本明細書及び特許請求の範囲に援用する。

最も一般的に用いられているビデオ圧縮システムでは、各非圧縮ピクチャは長方形の画素アレイによって表される。多くの処理では、イメージ全体は一度に処理されず、個々に処理される長方形の（例えば、各マクロブロックに１６Ｘ１６画素が入っている）「マクロブロック」群に分割される。各マクロブロックは、ルミナンス画素若しくは「ルナ」画素とクロミナンス画素若しくは「クロマ」画素との、何れか、又は両方の何らかの組み合わせを表し得る。イメージをマクロブロック・ベースで処理するいくつかの方法と手法が一般的に当業者に知られており、ここでは詳細には繰り返さないこととする。全ての非可逆ビデオ圧縮システムは、他の要因が全て等しいものとして、元のビデオと比較した復元ビデオのコンテンツの忠実度と圧縮ビデオを表すのに使用するビット数との間でのトレードオフに直面する。特定のビデオ・シーケンスに対しては、ビデオ符号器によって固定ビット数で種々のビデオ品質を、種々の圧縮手法が用いられる場合に、生成し得る。どの手法を用い得るかということとそれらの手法の効果性は、場合によっては、計算量、メモリ、及び圧縮システムに対して利用可能なレーテンシ・マージンによってかわってくる。

フレーム・レートを調節する既存の方法によって、符号器はフレーム・レートを減少（すなわち減速）させて、イメージ圧縮によって許容できる視覚品質レベルを、計算量、メモリ、及びレーテンシ限度などの別の制約を考慮に入れて、維持できるようにすることが可能となる。特に、イメージの変動が十分な（すなわち、イメージ品質を維持するのに比較的大きなビット数が必要になることを表す）程度である場合、符号器はフレーム・レートを減速させてフレーム毎に利用可能なビットを増加させ得る。従来技術には、可変ビット・レート又は可変フレーム・レートで符号器を動作させることを可能にする各種の既存の方法を開示するものがある。従来技術には、イメージのうちで非変動領域の符号化を「スキップさせる」考え方を開示するものもある。この手法は、ビデオ・ストリームのビットレートを減少させるか、（非変動領域を符号化しないことによって節減されるビットを利用して符号化領域のビットレートを増加させることによって）イメージ品質を向上させる目的で以前に用いられている。

（符号器においても復号器においても）ビデオ圧縮システムがフレームを処理することが可能なレートは、入力フレーム・レート、圧縮ビデオ・ストリームのビットレート、及び圧縮システムが特定の期間中に実行し得る計算量などの、いくつかの要因によって制限される。通常、入力フレーム及び利用可能なビット・レートが十分にある場合には、計算量の限度が、フレーム・レートに対する最も有力な限度となる。

当該技術分野において必要であるのは、符号器がフレーム・レートを動的に復号器の計算モデルに基づいて増加（すなわち、増速）させることを可能にする手法である。その代わりに、ＩＴＵ−ＴとＭＰＥＧの圧縮システムは特定のピクチャ・サイズに対する固定のフレーム・レート天井値を規定しており、これは、各フレームにおけるマクロブロックが全て符号化されるという前提に基づくものである。当該分野において必要である別の特徴には、「スキップする」ことが用いられる場合に、復号化計算量の要件が低減することを更に利用し、符号器が、そのようなことを利用する場合以外に可能なフレーム・レートよりも速いフレーム・レートで符号化することを可能にすることがある。本発明はそのようなシステムに関する。

本発明は、ビデオ符号器が、復号器から伝達される情報と（例えば、公表された技術仕様からの）事前知識からの情報との何れかを用いて、復号器の計算負荷のモデルを判定し、それに応じてその符号化を動的に調節する手法に関する。

多くのビデオ圧縮システムでは、符号器は、復号化処理が復号器の処理能力を超えることのないように符号化ビットストリームのコンテンツを抑制することを要する。例えば、復号器における計算処理能力と記憶機構によって、ビットレート、フレーム・レート、ピクチャ・サイズ、又はリアルタイムで復号化可能なそれらの組み合わせが制限される。ＤＶＤプレイヤ又はビデオ・ストリーミング・メディア・プレイヤなどの再生システム、更には、ビデオ会議システム（ＶＣＳ）などのリアルタイム通信システムのビットストリームを生成する場合には、適切なビットストリーム制約を満たすことを要する。これらのビットストリーム制約は、符号器に（例えば、公表された技術仕様からの）復号器候補の制約の事前知識を備えること、又は復号器から符号器に１つ又は複数のパラメータの群を伝送し、復号器の処理能力を直接的又は間接的に通知することによって規定し得る。

１つのビットストリームの制約はいくつかの特定の状況の下で復号化可能な最大のフレーム・レートである。例えば、ＩＴＵ−ＴＨ．２６４のビデオ・コデックの技術仕様では、特定のピクチャ・サイズに対する最大フレーム・レートは、毎秒復号化可能な（そのマクロブロック各々がＨ．２６４において２５６の画素を含む）ルミナンス・マクロブロックの最大数を規定する（「ＭａｘＭＢＰＳ」と呼ぶ）パラメータから計算される。例えば、Ｈ．２６４復号器は、ベースライン・プロフィールのレベル１．２をサポートすることが分かっている場合、３９６以下のルミナンス・マクロブロックを含むフレームを受信可能であり、毎秒６０００のルミナンス・マクロブロックを復号化可能である（この場合には、ＭａｘＭＢＰＳは６０００の値を有する）。これによって、復号器が（各々が３９６のルミナンス・ブロックを含む）共通中間フォーマット「ＣＩＦ」フレームを受信する場合、最大フレーム・レートは毎秒約６０００÷３９６すなわち約１５フレームであることが示される。復号器が、（各々が９９のルミナンス・マクロブロックを含むクォーター（４分の１）ＣＩＦ「ＱＣＩＦ」フレームを受信する場合、最大フレーム・レートは、毎秒約６０００÷９９すなわち約６０フレームである。この例では、符号器は、毎秒、復号器が処理可能なフレーム数、例えば、ＣＩＦの場合には毎秒１５フレーム、を上回るフレームを毎秒符号化することが可能でない。

多くの場合、大型のピクチャ・サイズを符号化することが効果的である。例えば、ビデオ会議においてコンピュータ・ベースのプレゼンテーションを送出する場合、通常のコンピュータ画面の（Ｈ．２６４では３０７２マクロブロックである、１０２４ｘ７６８画素の）ＸＧＡピクチャ・サイズを維持することが望ましい。本明細書及び特許請求の範囲にその内容全体を援用する、ＩＴＵ−Ｔ勧告Ｈ．２４１は、Ｈ．２６４ベースライン・プロフィール・レベル１．２によってＸＧＡビデオのシグナリングをサポートする方法を備える。しかし、（上記で計算されたような）フレーム・レートの限度によってこのピクチャ・サイズでは（毎秒約１．９５フレームの）非常に低いフレーム・レートとなってしまう。多くの場合、そのようなコンピュータ・プレゼンテーションは、フレーム間で変動しない大きな領域を有する。多くの場合、動きは、画面上で静止ピクチャの両端間を移動するマウス・カーソルのものだけとなる。そのような状況において、マウス・カーソルの動きが遠端でなめらかに見えるようにＸＧＡフレーム・レートを増加させることができることはかなりの向上となる。

フレーム・レートを増加させることによってビデオが実物そっくりのものになる情景において動きがほとんどない状況が別に存在する。復号器が、ピクチャの非変動領域を変動領域よりも速く処理することが可能な場合、符号器は基本的には、これを利用して、それを利用しない場合に可能であり得るよりも高いフレーム・レートで符号化し得る。

本明細書及び特許請求の範囲記載のシステムは、この可能性を利用して、増加したフレーム・レートを維持するか、復号器のピーク計算処理能力を超えることなく、向上したイメージ品質で符号化するものであり、したがって、特定の圧縮システム設計によって性能の向上を達成することを可能とする。本発明は、ビデオ会議のアプリケーションを参照しながら記載しているが、本発明は、ビデオ・データをディジタル化する別のアプリケーション、例えば、ＤＶＤの記録、ディジタル・テレビジョン、ストリーミング・ビデオ、ビデオ電話、遠隔医療、テレワークなど、において適用することが有益な分野も存在することになることが予見される。

本明細書及び特許請求の範囲の原文記載の以下の用語は、本明細書及び特許請求の範囲を記載する目的で、以下の意味合いを有するものとする。

「ｂｉｔｓｔｒｅａｍ（ビットストリーム）」。ビデオ・シーケンスを表すビット列。ビットストリームは一度に、１ビット若しくはビット群毎で、記憶又は伝達される。

「ｃｏｄｅｄｍａｃｒｏｂｌｏｃｋ（符号化マクロブロック）」。復号化対象の符号化ビットによって表されるマクロブロック。「ｓｋｉｐｐｅｄｍａｃｒｏｂｌｏｃｋ」と対比される。

「ｆｒａｍｅ（フレーム）」。ビデオ・シーケンスにおける単一のピクチャ。フレームはインタレース化されている（２つ以上の「（ｆｉｅｌｄ）フィールド」から成る）場合もそうでない場合もある。

「ｉｍａｇｅ（イメージ）」。単一のフレームであり、ピクチャと同じである。

「ｍａｃｒｏｂｌｏｃｋ（マクロブロック）」。ピクチャのある特定の領域を表す１つ又は複数の画素の群である。Ｈ．２６４では、マクロブロックは１６ｘ１６のアレイにおける２５６の画素の群であるが、本発明の意味合いでは、マクロブロックにおける画素は、必ずしも、長方形の群に入っていなくてもよく、更にはお互いに隣接していなくてもよい。

「ＭＢ」。マクロブロックの略称。

「ｐｉｃｔｕｒｅｓｉｚｅ（ピクチャ・サイズ）」。各フレームにおける画素の数。

「ｑｕａｌｉｔｙ（品質）」。符号化／復号化処理の入力と出力との視覚的対応関係の精度。品質は、フレーム・レートを増加させること、ピクチャ・サイズを増加させること、又は、個々の復元フレーム各々の、元のものと比較した、忠実度を向上させることによって、向上する。

「ｒａｔｅ（レート）」。間隔（期間）の逆数。「３０Ｈｚの最大フレーム・レート」のような句は「１／３０秒の最小フレーム間間隔」と同等である。このように「レート」を用いることによって、各連続フレームは同一の時間間隔によって隔てられることを必ず要することを示唆するものでない。

「ｓｋｉｐｐｅｄｍａｃｒｏｂｌｏｃｋ（スキップされるマクロブロック）」。そのマクロブロックに対して、符号器によって符号化ビットが何ら生成されないか、符号器によって生成される通常のビット数よりもかなり少ないビット数が生成される、そのマクロブロック。通常、これは、スキップされるＭＢが先行フレームから変動していないか、ほとんど変動していない、ピクチャの一部分を表すからである。通常、そのようなスキップされるマクロブロックを復号化するのに要する計算量は、通常のマクロブロックに対するものよりも少ない。なお、マクロブロックがスキップされることは、一部の符号器が何らかの方法で（場合によっては、ビットを用いて）通知する（例えば、Ｈ．２６３の符号化マクロブロック表示。）。

「ｖｉｄｅｏｓｅｑｕｅｎｃｅ（ビデオ・シーケンス）」。フレームの列。

図１は、例示的なビデオ会議システム１００を示す。ビデオ会議システム１００は、ネットワーク１０６によって接続される、局所ビデオ会議ステーション１０２と遠隔ビデオ会議ステーション１０４とを含む。図１は、２つのビデオ会議ステーション１０２及び１０４のみを表すが、当業者は、ビデオ会議ステーションをビデオ会議システム１００に更に直接的又は間接的に結合し得ることを、認識するものである。ネットワーク１０６は、ＰＯＴＳ（通常の電話サービス）、ケーブル、光、並びに無線の、伝送媒体、又はそれらの組み合わせを含むが、それらには限定されない、何れかの種類の伝送媒体であり得る。代替的には、何れかのデータを記憶し、取り出す機構によってネットワーク１０６を置き換え得る。

図２は、例示的なビデオ会議ステーション２００のブロック図である。単純化させるよう、ビデオ会議ステーション２００は、局所ビデオ会議ステーション１０２（図１）として記載することとするが、遠隔ビデオ会議ステーション１０４（図１）は同様な構成を含み得る。一実施例では、ビデオ会議ステーション２００は、表示装置２０２、ＣＰＵ２０４、メモリ２０６、ビデオ・キャプチャ装置２０８、イメージ処理エンジン２１０、及び通信インタフェース２１２のうちの１つ又は複数のものを含む。代替的には、別の装置をビデオ会議ステーション２００において備えてもよく、上記に列挙した装置の一部のみを備えてもよい。

ビデオ・キャプチャ・デバイス２０８は、（人々、場所、又は何れかの別の物）の自然の情景をキャプチャするカメラと、（ＶＣＲ又はＤＶＤのプレイヤ、動画プロジェクタ、又はコンピュータからの表示出力などではあるが、それらには限定されない）視覚マテリアルの何れかのソースからの入力との何れかであり得るものであり、イメージをイメージ処理エンジン２１０に送出する。イメージ処理エンジン２１０の特定の機能は、以下に更に詳細に記載することとする。同様に、イメージ処理エンジン２１０は、遠隔ビデオ会議ステーション１０４からの受信データをビデオ信号に変換して、表示装置上に表示させるか、後に表示させるよう記憶させるか、別の装置に転送することも行い得る。

ビデオ圧縮システムでは、例えば、ピクチャの領域が変動していない場合か、別の理由で、符号器（イメージ処理エンジン２１０）がイメージのその領域を「スキップ」することを選んでもよい。これが行われた場合、先行フレームに存在したものと同じ画素データをスキップされる領域に出力する（場合によっては、非スキップ・ピクチャ領域、当該情景における対象物の動きの履歴、エラー隠蔽手法などの別の要因に基づいて修正される。）。これらの別の要因に基づいて出力ピクチャを修正する手法は、当業者には既知のものである。

復号化は通常、ピクチャのスキップされる領域に対する計算リソースが非常に少なくて済むので、復号器の計算処理能力は、ピクチャ領域がスキップされる場合には、その利用が十分でない。実際に、イメージのうちのかなりの領域がスキップされる場合に、ずっと高い最大フレーム・レートで通常、処理可能である。例えば、特定の復号器が、ＣＩＦのピクチャ・サイズで毎秒１５フレーム（１５ｆｐｓ）を、マクロブロックが何らスキップされない場合に、受信することができるものとする。各イメージにおけるマクロブロックの７５％がスキップされる場合には、復号器は３０ｆｐｓを受信することが可能であり得る。しかしながら、現行技術では、符号器がそのような処理能力を利用することを可能にするフレーム・レート調節方法は何ら存在するものでなく、スキップされるマクロブロックの割合に対する復号器の最大フレーム・レートのそのような依存関係を符号器が知る手法は何ら存在するものでないので、符号器を１５ｆｐｓのレートに制限することを要する。

本明細書及び特許請求の範囲開示のシステムは、圧縮ビデオ・ストリームの平均フレーム・レートを、「スキップされる」ことが用いられる場合に、低減される復号化の計算負荷を利用することによって、増加させるものである。該システムは、復号器の処理能力を規定し、この情報を用いてフレーム・レートを調節する方法を備える。他の事項が全て同等である場合、本明細書及び特許請求の範囲記載の手法によって、符号器が特定のピクチャ・サイズでその手法を用いない場合に可能な平均フレーム・レートよりも速い平均フレーム・レートで符号化することが可能となる。

ピクチャ・サイズとフレーム・レートとのトレードオフを選択する場合、符号器は通常、復号器が特定のピクチャ・サイズで処理可能なフレーム・レートを考慮する。本明細書及び特許請求の範囲記載のシステムによって、符号器は、選択することになる通常のピクチャ・サイズで、スキップすることによって可能となる高い平均フレーム・レートを利用して、動作することが可能となる。代替的には、符号器は通常実施可能なピクチャ・サイズよりも大きなピクチャ・サイズを選定して、許容できるフレーム・レートを維持し、それによってイメージ品質を向上させることが可能である。上記の両方の効果の組み合わせも考えられる。

本明細書及び特許請求の範囲には、復号化システムの計算処理能力を規定する改良した方法が記載されており、この方法は既存のＨ．２６４のマクロブロックとともに第２限界ＭＢＰＳ（又は別のビデオ符号化システムにおけるその同等）毎に用いられて符号器ビットストリームを以下に記載する新たなやり方で制約するものである。好適実施例は、符号器が符号化する特定のピクチャ・サイズと「スキップされる」マクロブロックの割合がどんなものであっても、符号器によって復号器のピーク・フレーム・レートが計算されることを可能にするパラメータを含む。大半の復号器の実現形態では、このピーク・フレーム・レートは、イメージ全体が符号化される場合に適用されるフレーム・レートの限界よりもかなり高いものである。

種々のピクチャ・サイズにスケーリングされる１つのそのようなパラメータは、ビデオ・シーケンスにおけるマクロブロック全てがスキップされる場合に、復号器によって毎秒処理可能なマクロブロック数である。このパラメータを「ＭａｘＳＫＩＰＰＥＤ」と呼び、この説明の目的では、このパラメータは秒毎のマクロブロック（ＭＢ／ｓ）単位で表すものとする。なお、このＭａｘＳＫＩＰＰＥＤ値が、サポートされるピクチャ・サイズ全てについて一定でない場合、これらの値の最小値を用い得る。ＭａｘＳＫＩＰＰＥＤは復号化システム速度の理論上の限界を規定する。これは、全てのマクロブロックがスキップされるビデオ・シーケンスが実用上は有用でないので、理論上のものである。「毎秒マクロブロック」の単位は、復号化システムの速度がピクチャ・サイズの増加とともに近似的に線形に減速する傾向にあるので、適切な選択である。

別のシグナリングをＭａｘＳＫＩＰＰＥＤの代わりに用い得る。これは、（例えば、Ｈｚ単位での）最大フレーム・レート又は（例えば、秒単位での）最小ピクチャ間隔を規定することと同等のものとなる。代替的には、種々のピクチャ・サイズに対するＭａｘＳＫＩＰＰＥＤ値を示す複合パラメータ群（例えば、公式、数値群一式、又は補間用の一連のサンプル値）を用い得る。しかし、ＭａｘＳＫＩＰＰＥＤによって単一のパラメータが種々のピクチャ・サイズにおよぶことが可能となる一方、最大フレーム・レートはピクチャ・サイズ特有のものであることを要することになる。ＭａｘＳＫＩＰＰＥＤはＨ．２６４において規定される別のシグナリングにもうまく適合する。

別の復号器パラメータのように、このＭａｘＳＫＩＰＰＥＤは符号器に、（復号器が符号器まで戻る通信パスを有する、例えば多くのビデオ会議システムの、場合に）復号器によって伝え得るか、（復号器が符号器まで戻る通信パスを有するものでない、例えばＤＶＤプレイヤの、場合に）復号器の所定の対象の種類に基づいて、符号器に（例えば、公表される技術仕様において）付与される事前知識として伝え得る。

通常、符号器は、ＰｉｃｔｕｒｅＳｉｚｅがマクロブロック単位である場合に、最大フレーム・レートを（毎秒のフレーム単位で）：
ＭａｘＦｒａｍｅＲａｔｅ＝ＭａｘＭＢＰＳ／ＰｉｃｔｕｒｅＳｉｚｅ；
として判定する。その代わりに、本明細書及び特許請求の範囲記載のシステムに関して、最小フレーム間隔は：
ＭｉｎＦｒａｍｅＩｎｔｅｒｖａｌ＝Ｔ_{ｃｏｄｅｄ}ｘＮ_{ｃｏｄｅｄ}＋Ｔ_{ｓｋｉｐｐｅｄ}ｘＮ_{ｓｋｉｐｐｅｄ}；
として判定され、
ＭａｘＦｒａｍｅＲａｔｅ＝１／ＭｉｎＦｒａｍｅＩｎｔｅｒｖａｌ；
であり、これは：
ＭａｘＦｒａｍｅＲａｔｅ＝１／（Ｎ_{ｃｏｄｅｄ}／ＭａｘＭＢＰＳ＋Ｎ_{ｓｋｉｐｐｅｄ}／ＭａｘＳＫＩＰＰＥＤ）；
に約分され、ＭａｘＭＢＰＳは、Ｈ．２６４ＡｎｎｅｘＡ又はその同等物に規定される毎秒マクロブロックの限界であり、ＭａｘＳＫＩＰＰＥＤは、マクロブロックが全てスキップされる場合に復号器が毎秒処理可能な最大マクロブロック数であり、Ｎ_{ｃｏｄｅｄ}はピクチャにおける符号化マクロブロック数であり、Ｎ_{ｓｋｉｐｐｅｄ}は、ピクチャにおける、スキップされるマクロブロック数であり、Ｔ_{ｃｏｄｅｄ}は、１つの符号化マクロブロックを復号化し、出力するのに要する秒数（１÷ＭａｘＭＢＰＳ）であり、Ｔ_{ｓｋｉｐｐｅｄ}は、１つのスキップされるマクロブロックを（復号化しないが）出力するのに要する秒数（１÷ＭａｘＳＫＩＰＰＥＤ）である。

例えば、（６０００ＭＢ／ｓのＭａｘＭＢＰＳを有する）上記のＨ．２６４レベル１．２復号器は代替的に、毎秒２４，０００のスキップされるマクロブロックを処理する（ＭａｘＳＫＩＰＰＥＤが２４，０００になる）ことが可能であるものとする。更に、１人又は２人の人達がテーブルに向かって座っている情景をフレームに入れる静止カメラの場合に当てはまり得るように、マクロブロックの５０％のみが毎秒符号化されることとする。符号器を調整する従来の方法は、ピクチャＣＩＦのピクチャ・サイズ毎３９６マクロブロックでのフレーム・レートを毎秒約１５．２（６０００÷３９６）フレームに制限するものである。上記の当該方法によって、フレーム・レートは、マクロブロックのうちの５０％以上がスキップされる限り毎秒２４．２（すなわち１÷（１９８÷６０００＋１９８÷２４，０００））フレームに増加されることが可能になる。スキップされるブロックの割合が７５％に増加される場合、この方法は毎秒３４，６（すなわち１÷（９９÷６，０００＋２９７÷２４，０００））フレームの最大フレーム・レートをもたらし、それは従来の符号化方法よりもずっと速いものである。

別の例として、Ｈ．２６４レベル１．２の復号器が、フレーム毎で１８７５マクロブロックを含む、ＳＶＧＡ（８００ｘ６００画素）ビデオを受信し、マウス・カーソルのみが動いているものとする。更に、マウス・カーソル領域を符号化することには１６マクロブロックしか要しないものとする。符号化の従来の調節によってフレーム・レートは毎秒３．２（すなわち６０００÷１８７５）フレームに制限される。上記方法によって、フレーム・レートは毎秒１２．５（すなわち１÷（１６÷６，０００＋１，８６１÷６，０００））フレームとなる。当然、ピクチャ全体が変動し、（例えば、カメラのパン中に）マクロブロックが全て符号化される場合、フレーム・レートは従来の方法がもたらすものと同じ値に降下することになる。

その結果、考えられる最高のフレーム・レートで動作するよう、符号器が、イメージ・ストリームにおける「スキップされる」マクロブロック数を考慮して復号器が計算量上処理可能な最小フレーム間隔を、動的に判定することを可能にすることによって、自動的に調節可能なシステムがもたらされる。この最小フレーム間隔は、符号器によって以下のように用いられる。同期伝送システムが用いられる場合、復号器が更新ピクチャをそのピクチャの表示時間前に受信できるようにするよう、ビデオ・ビットレートが同期伝送レートと一致することを要することは周知である。ピクチャにおけるビット数は符号化処理前に常に正確に分かっている訳ではないので、そのような場合にはシステム設計において圧縮フレーム毎の期待ビットと実際のビット数との間のある程度の較差を考慮することを要する。

ビデオのビットレートを一致させる１つの周知の方法は、符号器が予想外に高いフレーム毎ビット数を、毎秒符号化するフレーム数をそのような事象が発生する場合に（通常、１つ又は複数の入力フレームを符号化しないことによって）低減することによって、補正し得るという原則に基づいて実行される。通常、符号器はちょうど：
ＴａｒｇｅｔＰｉｃｔｕｒｅＢｉｔｓ＝ＣｈａｎｎｅｌＣａｐａｃｉｔｙｘＰｉｃｔｕｒｅＳｉｚｅ／ＭａｘＭＢＰＳ；
であるピクチャを生成しようとするものであり、ＰｉｃｔｕｒｅＳｉｚｅはマクロブロック単位のものである。次の符号化フレームまでのフレーム間隔はその場合：
ＮｅｘｔＦｒａｍｅＩｎｔｅｒｎａｌ
＝ｍａｘ（ＰｉｃｔｕｒｅＳｉｚｅ／ＭａｘＭＢＰＳ，ＡｃｔｕａｌＰｉｃｔｕｒｅＢｉｔｓ／ＣｈａｎｎｅｌＣａｐａｃｉｔｙ）；
である。

ビデオ・ビットレートを一致させるこのような方法によって、実際のフレーム・レートは復号器の受信処理能力を超えることが一切ないようにし、実際のビットレートが同時に、チャネル容量を超えることが一切ないようにする。この方法が本発明に関して利用される場合、対象ピクチャ・ビットは：
ＴａｒｇｅｔＰｉｃｔｕｒｅＢｉｔｓ＝ＣｈａｎｎｅｌＣａｐａｃｉｔｙ／ＥｘｐｅｃｔｅｄＦｒａｍｅＲａｔｅ；
である。期待フレーム・レートは、単に本発明がこのイメージ・ソース上でもたらす平均フレーム・レートであり得るか、イメージにおける変動量、当該情景における動き量、又は別の要因によって、適応的に判定し得る。次に符号化されるイメージ・フレームまでのフレーム間隔はその場合：
ＮｅｘｔＦｒａｍｅＩｎｔｅｒｖａｌ
＝ｍａｘ（Ｎ_{ｃｏｄｅｄ}／ＭａｘＭＢＰＳ＋Ｎ_{ｓｋｉｐｐｅｄ}／ＭａｘＳＫＩＰＰＥＤ，ＡｃｔｕａｌＰｉｃｔｕｒｅＢｉｔｓ／ＣｈａｎｎｅｌＣａｐａｃｉｔｙ）：
である。

このように改良された方法は、実際のフレーム・レートが復号器の計算処理能力を一切超えることがなく、実際のビットレートが同時に、チャネル容量を一切超えることがないようにするものである。

フレーム・レートを調節する別の方法として、復号器の処理能力の一部としてバッファリング・モデルを含むものがある。この方法によって、第１方法よりも個々のピクチャに対するビットレートにおける較差を大きくすることが可能となるが、復号化処理に遅延が更に付加されることにもなる。この方法では、ビデオ・ビットは、既知のレートで受信されるものとする。復号器は、これらのビットを既知のサイズのバッファにおいてバッファリングし、ピクチャが復号化されるにつれてバッファの中身を出す。バッファリング・モデルにおいて用いるピクチャ復号化時間は、イメージ伝送の一定の期間にわたって平均化される固定フレーム・レート限界であり得る。Ｈ．２６１とＨ．２６３との標準におけるＨＲＤ（ハイポセティカル・レファレンス・デコーダ）と、ＩＳＯ／ＩＥＣ１３８１８−２ＡｎｎｅｘＣ記載のＶＢＶ（ビデオ・バッファリング・ベリファイア）とがこの方法の例である。別のバッファリング・モデルも利用可能である。

ビデオ・ビットレートを一致させるこのような方法が本発明とともに用いられる場合、新たに符号化されるフレーム毎に、そのフレームに対する符号化ビットの許容数は一定の範囲の（すなわち、バッファのオーバフロー又はアンダフローを回避する）値に制限される。符号化ピクチャ・ビットの目標数は上記のように計算されるが、これらの限界内に収まるように制約される。通常、符号化ピクチャ・ビットの目標数を増減させてバッファの充填度の平均レベルを維持するものである。上記最小フレーム間隔は符号器において、例えば、ＩＳＯ／ＩＥＣ１３８１８−２ＡｎｎｅｘＣ．９乃至ＡｎｎｅｘＣ．１２記載のＶＢＶバッファ検査回数を調節するようビットがバッファから復号器によって取り除かれる時点を、計算するよう用いられる。代替的に、実際のフレーム間隔を用い得る。

代替的なバッファリング・モデルでは、符号器はその符号化ビットを符号器バッファに供給して実際のチャネルに配信する。このチャネルが同期のもの（例えば、ＩＳＤＮ）である場合、ビットはバッファから同期状態で排出される。周期的に、１つ又は複数のビデオ・ビットの群がバッファから取り出されて送信される。チャネルがパケット志向の場合、ビットはトラフィック・シェーピングのアルゴリズムを用いて排出され、該アルゴリズムによってそれらのビットはパケット・ネットワークに当該媒体のビットレートで配信される。符号器のバッファが現時で一杯の状態にあることによって符号器によって用いられるビットレート制御アルゴリズムが駆動される。

フレーム・レートを調節する別の同等な方法も用い得る。更に複雑なモデルが考えられ、当該結果を更に向上させることが考えられる場合がある。

復号器の計算量要件の符号器のモデルを更に向上させる方法が考えられる。例えば、大半のビデオ符号化システムにおいては、マクロブロックにはいくつかの種類があり、そのマクロブロックの種類の各々はそれ自身の復号化の計算コストを有する。更に、各マクロブロックに含まれる変換係数の数によって、用いる変換技術によって、計算負荷に影響があり得る。別の可能性としては、ビットストリームにおけるシンボルを復号化するコストを、マクロブロックを復号化するコストから分離することがあり、これは符号器が各圧縮ピクチャにおけるシンボル数を把握することを要する。なお、これらのシンボルに対する基本的なエントロピ符号化手法は少なくとも３つあり、すなわちその３つは、算術符号化、固定フィールド符号化、及び可変長符号化である。計算コストは、算術符号化が最も高く、固定フィールド符号化が最も低い。これらの改良された方法の全てについて、相対的な復号化計算負荷に関する情報が符号器に付与され、類似した手順が実行されることになる。

更に、本明細書及び特許請求の範囲記載のシステムは、上記のような固定ピクチャ・サイズと可変フレーム・レートとのモードではなく、可変のイメージ・ピクチャ・サイズと固定フレーム・レートとで実行されるよう用い得る。（Ｈ．２６３ＡｎｎｅｘＰなどの）多くのビデオ圧縮アルゴリズムはビデオ・ピクチャ・サイズを圧縮ビットストリームにおいて動的に調節する方法を有する。しかし、これらの方法は、フレーム・レートが一般的に、ピクチャ・サイズが増加するにつれて、劇的に低減するので、効用が限定的なものである。本発明によって、当該システムは、保証される最小ピクチャ・サイズ（例えば、ＣＩＦ）にて固定フレーム・レート（例えば、３０ｆｐｓ）で実行するよう構成可能である。毎秒マクロブロックが十分にスキップされる期間中は、本発明によって、圧縮イメージのピクチャ・サイズが自動的に増加されることが、固定フレーム・レートを維持しながら、可能となる。

上記明細書では、Ｈ．２６４のビデオ・コデック標準を説明例として用いている。しかし、本発明は、一般化することが可能であり、発明者には既知の現代のビデオ圧縮システム全て（Ｈ．２６１、Ｈ．２６３、Ｈ．２６４、マイクロソフト社のＷＭ９、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４など）を含む、大半のビデオ圧縮システムに適用可能である。

本発明は、例示的な実施例を参照しながら説明している。種々の修正をそれらの実施例に、本発明の、それらの実施例よりもなお広い、趣旨と範囲とから逸脱することなく、行い得ることは当業者には明らかとなるものである。更に、本発明は、特定の環境における、更には、特定のアプリケーション用の、その実施形態の意味合いにおいて記載したが、当業者は、本発明の有用性が、その記載に限定されるものでなく、本発明は種々の環境と実施形態とにおいて効果的に利用可能であることを、認識することとなるものである。したがって、本明細書及び添付図面は、制限的な意味合いではなく、例示的な意味合いにおいて検討されるものとする。

例示的なビデオ会議システムのブロック図である。図１のビデオ会議システムの例示的なビデオ会議ステーションの図である。

符号の説明

１００ビデオ会議システム
１０２局所ビデオ会議ステーション
１０４遠隔ビデオ会議ステーション
１０６ネットワーク
２００ビデオ会議ステーション
２０２表示装置
２０４ＣＰＵ
２０６メモリ
２０８ビデオ・キャプチャ装置
２１０イメージ処理エンジン
２１２通信インタフェース

Claims

ディジタル形式で符号化されるビデオ・シーケンスの品質を向上させる方法であって：
該ビデオ・シーケンスは、符号化フレームのシーケンスを表す情報を備え；
該シーケンスの各符号化フレームは、１つ又は複数の符号化マクロブロックを備え；
更に、伝送される前記ビデオ・シーケンスを復号化することになる復号器の１つ又は複数の処理能力を判定する工程；
第１イメージのマクロブロックを符号化する工程；及び
後続イメージのマクロブロックを符号化する工程；
を備え；
該マクロブロックの一部はスキップされ；
更に、ビデオ品質を、スキップされるマクロブロックの分数の関数として向上させて、該スキップされるマクロブロックの結果、特定の復号器処理能力を利用する工程；
を備え；
該復号器処理能力は、該復号器処理能力を利用しない場合には使用されないことになる
ことを特徴とする方法。
請求項１記載の方法であって、該復号器の１つ又は複数の処理能力を判定する工程が：
該復号器の種類を事前に伝える工程；
を備えることを特徴とする方法。
請求項１記載の方法であって、該復号器の１つ又は複数の処理能力を判定する工程が：
処理能力情報を該復号器から受信する工程；
を備えることを特徴とする方法。
請求項１記載の方法であって、該復号器の１つ又は複数の処理能力を判定する工程が：
特定の期間において、全てのマクロブロックがスキップされる場合に、復号化可能なマクロブロックの数を、判定する工程；
を備えることを特徴とする方法。
請求項４記載の方法であって、該ビデオ品質を向上させる工程が：
最大フレーム・レートを：
ＭａｘＦｒａｍｅＲａｔｅ＝１／（Ｎ_{ｃｏｄｅｄ}／ＭａｘＭＢＰＳ＋Ｎ_{ｓｋｉｐｐｅｄ}／ＭａｘＳＫＩＰＰＥＤ）；
の式によって判定する工程；
を備え；
Ｎ_{ｃｏｄｅｄ}は符号化マクロブロックの数であり；
Ｎ_{ｓｋｉｐｐｅｄ}はスキップされるマクロブロックの数であり；
ＭａｘＭＢＰＳは、特定の期間において復号化可能な最大マクロブロック数であり；
ＭａｘＳＫＩＰＰＥＤは、特定の期間において、マクロブロックが全てスキップされる場合に、復号化可能な最大マクロブロック数であることを特徴とする方法。
請求項１記載の方法であって、該ビデオ品質を向上させる工程が：
ビデオ・フレーム・レートを増加させる工程；
を備えることを特徴とする方法。
請求項１記載の方法であって、該ビデオ品質を向上させる工程が：
ビデオ・ピクチャ・サイズを増加させる工程；
を備えることを特徴とする方法。
請求項１記載の方法であって、該ビデオ品質を向上させる工程が：
ビデオ・フレーム・レートを該復号器の計算コストの関数として増加させて、各種のマクロブロックを復号化する工程；
を更に備えることを特徴とする方法。
請求項１記載の方法であって、該ビデオ品質を向上させる工程が：
ビデオ・ピクチャ・サイズを該復号器の計算コストの関数として増加させて、各種のマクロブロックを復号化する工程；
を更に備えることを特徴とする方法。
請求項１記載の方法であって：
該符号化マクロブロックに含まれる係数の数と、該数の関数としての、該復号器の計算量上の要件とを考慮する工程；
を更に備えることを特徴とする方法。
請求項１０記載の方法であって、該ビデオ品質を向上させる工程が：
ビデオ・フレーム・レートを増加させる工程；
を備えることを特徴とする方法。
請求項１０記載の方法であって、該ビデオ品質を向上させる工程が：
ビデオ・ピクチャ・サイズを増加させる工程；
を備えることを特徴とする方法。
請求項１０記載の方法であって、該ビデオ品質を向上させる工程が：
ビデオ・フレーム・レートを該復号器の計算コストの関数として増加させて、各種のマクロブロックを復号化する工程；
を更に備えることを特徴とする方法。
請求項１０記載の方法であって、該ビデオ品質を向上させる工程が：
ビデオ・ピクチャ・サイズを該復号器の計算コストの関数として増加させて、各種のマクロブロックを復号化する工程；
を更に備えることを特徴とする方法。
符号化フレームのシーケンスを含む符号化ビデオを生成するよう形成されるビデオ会議端末であって：
該シーケンスの各符号化フレームは、１つ又は複数の符号化マクロブロックを備え；
更に、ビデオ信号を符号化するよう形成される１つ又は複数のイメージ処理エンジン；
を備え；
一部のマクロブロックはスキップされ；
更に、該符号化ビデオを復号化することになる復号器の１つ又は複数の処理能力を判定するよう形成され、かつ、ビデオ品質を、スキップされるマクロブロックの分数の関数として向上させて、該スキップされるマクロブロックの結果、特定の復号器処理能力を利用するよう更に形成される通信インタフェース；
を備え；
該復号器処理能力は、該復号器処理能力を利用しない場合には使用されないことになる
ことを特徴とするビデオ会議端末。
請求項１５記載のビデオ会議端末であって、前記復号器の前記１つ又は複数の処理能力が、特定の期間において、全てのマクロブロックがスキップされる場合に、復号化可能なマクロブロックの数を、判定されることを特徴とするビデオ会議端末。
請求項１６記載のビデオ会議端末であって、最大フレーム・レートが：
ＭａｘＦｒａｍｅＲａｔｅ＝１／（Ｎ_{ｃｏｄｅｄ}／ＭａｘＭＢＰＳ＋Ｎ_{ｓｋｉｐｐｅｄ}／ＭａｘＳＫＩＰＰＥＤ）；
の式によって判定され；
Ｎ_{ｃｏｄｅｄ}は符号化マクロブロックの数であり；
Ｎ_{ｓｋｉｐｐｅｄ}はスキップされるマクロブロックの数であり；
ＭａｘＭＢＰＳは、特定の期間において復号化可能な最大マクロブロック数であり；
ＭａｘＳＫＩＰＰＥＤは、特定の期間において、マクロブロックが全てスキップされる場合に、復号化可能な最大マクロブロック数であることを特徴とするビデオ会議端末。
請求項１５記載のビデオ会議端末であって、ビデオ品質が、フレーム・レートを増加させることによって向上することを特徴とするビデオ会議端末。
請求項１５記載のビデオ会議端末であって、ビデオ品質が、ピクチャ・サイズを増加させることによって向上することを特徴とするビデオ会議端末。
請求項１８記載のビデオ会議端末であって、該フレーム・レートが更に、該復号器の計算コストの関数として判定されて各種のマクロブロックを復号化することを特徴とするビデオ会議端末。
請求項１９記載のビデオ会議端末であって、該ピクチャ・サイズが更に、該復号器の計算コストの関数として判定されて各種のマクロブロックを復号化することを特徴とするビデオ会議端末。
ディジタル形式で符号化されるビデオ・シーケンスの品質を向上させる方法であって：
伝送される該ビデオ・シーケンスを復号化することになる復号器の１つ又は複数の処理能力を判定する工程；及び
ビデオ品質を復号器処理負荷の符号器モデルの関数として向上させて、特定の復号器処理能力を利用する工程；
を備え；
該復号器処理能力は、該復号器処理能力を利用しない場合には使用されないことになる
ことを特徴とする方法。
請求項２２記載の方法であって、該復号器の１つ又は複数の処理能力を判定する工程が：
該復号器の種類を事前に伝える工程；
を備えることを特徴とする方法。
請求項２２記載の方法であって、該復号器の１つ又は複数の処理能力を判定する工程が：
処理能力情報を該復号器から受信する工程；
を備えることを特徴とする方法。
請求項２２記載の方法であって、該ビデオ品質を向上させる工程が：
ビデオ・フレーム・レートを増加させる工程；
を備えることを特徴とする方法。
請求項２２記載の方法であって、該ビデオ品質を向上させる工程が：
ビデオ・ピクチャ・サイズを増加させる工程；
を備えることを特徴とする方法。
符号化ビデオ・シーケンスを生成するビデオ符号器であって：
１つ又は複数の処理エンジン；
を備え；
該処理エンジンは：
ビデオ信号を符号化する工程；
該符号化ビデオ・シーケンスを復号化することになる復号器の１つ又は複数の処理能力を判定する工程；及び
ビデオ品質を復号器処理負荷の符号器モデルの関数として向上させて、特定の復号器処理能力を利用する工程；
を行うよう形成され；
該復号器処理能力は、該復号器処理能力を利用しない場合には使用されないことになることを特徴とするビデオ符号器。
請求項２７記載のビデオ符号器であって、前記復号器の前記１つ又は複数の処理能力が、特定の期間において、全てのマクロブロックがスキップされる場合に、復号化可能なマクロブロックの数を、判定されることを特徴とするビデオ符号器。
請求項２８記載のビデオ符号器であって、最大フレーム・レートが：
ＭａｘＦｒａｍｅＲａｔｅ＝１／（Ｎ_{ｃｏｄｅｄ}／ＭａｘＭＢＰＳ＋Ｎ_{ｓｋｉｐｐｅｄ}／ＭａｘＳＫＩＰＰＥＤ）；
の式によって判定され；
Ｎ_{ｃｏｄｅｄ}は符号化マクロブロックの数であり；
Ｎ_{ｓｋｉｐｐｅｄ}はスキップされるマクロブロックの数であり；
ＭａｘＭＢＰＳは、特定の期間において復号化可能な最大マクロブロック数であり；
ＭａｘＳＫＩＰＰＥＤは、特定の期間において、マクロブロックが全てスキップされる場合に、復号化可能な最大マクロブロック数であることを特徴とするビデオ符号器。
請求項２７記載のビデオ符号器であって、ビデオ品質が、フレーム・レートを増加させることによって向上することを特徴とするビデオ符号器。
請求項２７記載のビデオ符号器であって、ビデオ品質が、ピクチャ・サイズを増加させることによって向上することを特徴とするビデオ符号器。
請求項３０記載のビデオ符号器であって、該フレーム・レートが更に、該復号器の計算コストの関数として判定されて各種のマクロブロックを復号化することを特徴とするビデオ符号器。
請求項３１記載のビデオ符号器であって、該ピクチャ・サイズが更に、該復号器の計算コストの関数として判定されて各種のマクロブロックを復号化することを特徴とするビデオ符号器。