JP2011505781A - 高解像度デジタル静止画像をビデオと並行して符号化するためのａｖｃ規格の拡張 - Google Patents

Abstract

並行モードで動作するように構成されたコーデックが、低解像度ビデオのＡＶＣ符号化と並行して高解像度静止画像ピクチャの符号化及び記憶をサポートするようにするために現行のＡＶＣ規格を拡張する。並行モードコーデックは修正ＡＶＣ規格に基づいて構成され、ＡＶＣビデオストリームを取り込むことができると同時に、高解像度静止画像をビデオストリームに対してランダムな間隔で取り込むことができる。拡張層として記憶される残差情報を使用して、デコーダ側でアップサンプリングされた復号済み低解像度ビデオを使用して１又はそれ以上の高解像度静止画像ピクチャを生成する。基層が低解像度ビデオを搬送する。拡張層及び基層が、多層ストリームとして、送信側のエンコーダから受信側のデコーダへ並行して送信される。拡張情報を搬送するために、ＳＥＩメッセージ定義、シーケンスパラメータセット、及び新規のＮＡＬユニットのための（単複の）データフィールドを含むようにＡＶＣ規格を拡張する。
【選択図】図１

Description

本発明は、ビデオ符号化の分野に関する。より具体的には、本発明は、ＡＶＣ符号化の分野、及び現行のＡＶＣ規格を拡張して、高解像度デジタル静止画像を従来どおりに符号化されたＡＶＣビデオストリームとともに統合並行モードでの符号化及び記憶をサポートすることに関する。

「コーデック」という用語は、「コンプレッサ／デコンプレッサ」、「コーダ／デコーダ」、又は「圧縮／解凍アルゴリズム」のいずれかを意味し、データストリーム又は信号に対して変換を行うことができる装置又はアルゴリズム、或いは専門のコンピュータプログラムを表す。

コーデックは、データストリーム又は信号を送信、記憶、又は暗号化のために符号化し、これを閲覧又は編集のために復号する。例えば、デジタルビデオカメラはアナログ信号をデジタル信号に変換し、次にこの信号がデジタル送信又は記憶のためにビデオコンプレッサを通過する。その後、受信装置が、ビデオデコンプレッサを介して受信信号を解凍し、解凍されたデジタル信号が表示のためにアナログ信号に変換される。オーディオ信号に対しても同様の処理を行うことができる。標準的なコーデックスキームは数多く存在する。中には、主にファイル転送時間を最小化するために使用されるものがあり、インターネット上で利用される。また中には、所定量のディスクスペース又はＣＤ−ＲＯＭ上に記憶できるようにデータを最小化することを目的とするものもある。個々のコーデックスキームには、異なるプログラム、処理、又はハードウェアによって対処することができる。

デジタル画像は、２次元画像を画素又はピクセルと呼ばれるデジタル値の有限集合として表現したものである。通常、ピクセルは、整数の２次元配列であるラスタ画像又はラスタマップとしてコンピュータメモリに記憶される。これらの値は、多くの場合圧縮形式で送信又は記憶される。

デジタルカメラ及びビデオカメラ、スキャナ、座標測定機、地震観測プロファイリング、航空機搭載レーダー、及びその他などの様々な入力装置及び技術によってデジタル画像を生成することができる。数学関数又は３次元幾何学モデルなどの任意の非画像データからデジタル画像を合成することもでき、後者はコンピュータグラフィックスの主な下位区分である。デジタル画像処理の分野には、デジタル画像に対して画像処理を行うためのアルゴリズムの研究又は使用がある。画像コーデックは、このようなデジタル画像処理を行うためのアルゴリズムを含む。

画像を見るためには、画像フォーマットに応じて異なる画像コーデックを利用する。ＧＩＦ、ＪＰＥＧ、及びＰＮＧ画像は、標準的なインターネット画像フォーマットなので、ウェブブラウザを使用して簡単に見ることができる。現在、ウェブではＳＶＧフォーマットが広く使用されており、これは標準的Ｗ３Ｃフォーマットである。その他のプログラムには、ある順序で順々に自動的に画像を見るためのスライドショーの利用性を提供するものもある。

静止画像は、ビデオとは異なる特性を有する。例えば、アスペクト比及び色が異なる。従って、静止画像はビデオとは異なって処理されるので、静止画像用の静止画像コーデックと、静止画像コーデックとは異なるビデオ用のビデオコーデックとが必要になる。

ビデオコーデックには、デジタルビデオデータに対してデータ圧縮技術を使用できるようにする装置又はソフトウェアモジュールがある。ビデオシーケンスは、一般にフレームと呼ばれる数多くのピクチャ（デジタル画像）から成る。後続するフレームは非常に類似しており、従って１つのフレームから次のフレームにかけて多くの冗長性を含む。ビデオデータは、帯域幅及びメモリの両方を節約するために圧縮されてから、チャネルを介して効率的に送信され、又はメモリに記憶される。ビデオ圧縮の目的は、フレーム内（空間的冗長性）及びフレーム間（時間的冗長性）の両方における冗長性を除去して、より良い圧縮比を得ることである。ビデオ品質、これを表すのに必要なデータ量（ビットレートとしても知られる）、符号化及び復号アルゴリズムの複雑性、データ損失及びエラーに対するこれらのロバスト性、編集し易さ、ランダムアクセス、エンドツーエンド遅延、及び数多くのその他の要因の間には複雑なバランスが存在する。

典型的なデジタルビデオコーデックの設計は、入力ビデオをＲＧＢカラーフォーマットからＹＣｂＣｒカラーフォーマットに変換することから開始し、その後クロマサブサンプリングを行ってサンプリンググリッドパターンを生成することが多い。ＹＣｂＣｒカラーフォーマットへの変換は、カラー信号を無相関化して、知覚的にあまり重要でないクロマ信号から知覚的により重要な輝度信号を分離することにより、圧縮性を改善するとともに低解像度での表示を行うことができる。

一定量の空間的及び時間的ダウンサンプリングを使用して、基本符号化処理の前に未加工データ量を低減させることができる。ダウンサンプリングとは、信号のサンプリングレートを下げる処理のことである。これは、一般にデータ量又はデータのサイズを低減させるために行われる。通常、ダウンサンプリング係数は１よりも大きな整数又は有理分数である。次に、周波数変換を使用してこのデータを変換し、空間データをさらに無相関化する。１つのこのような変換が離散コサイン変換（ＤＣＴ）である。次に、変換の出力を量子化して、量子化された値にエントロピー符号化を適用する。エンコーダによっては、例えば２パスなどのｎパス符号化と呼ばれる多段処理でビデオを圧縮できるものもあり、これは一般により低速な処理ではあるが、より優れた品質の圧縮をもたらす可能性がある。

復号処理は、基本的に符号化処理の各段階の反転を行うことから成る。厳密に反転できない１つの段階が量子化段階である。ここでは、反転に最大限近似したものが行われる。この処理の部分は「反転量子化」又は「逆量子化」と呼ばれることがあるが、量子化は本質的に非可逆処理である。

様々なコーデックをＰＣ上及び家電機器内で容易に実施することができる。同じ製品内で複数のコーデックを利用できることも多く、互換性の理由から１つの優位なコーデックを選択する必要がないようになっている。

いくつかの広く使用されているビデオコーデックとして、以下に限定されるわけではないが、Ｈ．２６１、ＭＰＥＧ−１ Ｐａｒｔ２、ＭＰＥＧ−２ Ｐａｒｔ２、Ｈ．２６３、ＭＰＥＧ−４ Ｐａｒｔ２、ＭＰＥＧ−４ Ｐａｒｔ１０／ＡＶＣ、ＤｉｖＸ、ＸｖｉＤ、３ｉｖｘ、Ｓｏｒｅｎｓｏｎ３、及びＷｉｎｄｏｗｓ Ｍｅｄｉａ Ｖｉｄｅｏ（ＭＷＶ）が挙げられる。

Ｈ．２６１は、主に旧型のテレビ会議及びテレビ電話製品で使用される。Ｈ．２６１は、最初の実用的なデジタルビデオ圧縮規格であった。基本的に、それ以降の全ての標準的なビデオコーデック設計がＨ．２６１に基づいている。Ｈ．２６１は、ＹＣｂＣｒカラー表現、４：２：０サンプリングフォーマット、８ビットサンプル精度、１６×１６マクロブロック、ブロック単位の動き補償、８×８ブロック単位の離散コサイン変換、ジグザグ係数走査、スカラ量子化、ｒｕｎ＋ｖａｌｕｅのシンボルマッピング、及び可変長符号化のような十分に確立した概念を含んでいた。Ｈ．２６１は、順次走査ビデオのみをサポートした。

ＭＰＥＧ−１ Ｐａｒｔ２はビデオＣＤ（ＶＣＤ）に使用され、オンラインビデオに使用されることもある。品質は、ＶＨＳの品質とほぼ同程度である。元となるビデオ品質が良好でビットレートが十分に高い場合、ＶＣＤはＶＨＳよりも良好に見えるが、これには高いビットレートが必要となる。世界中のほとんど全てのコンピュータがこのコーデックを再生できるので、ＶＣＤは、あらゆるデジタルビデオ／オーディオシステムの最高の互換性を有する。技術設計の面では、ＭＰＥＧ−１のＨ．２６１に対する最も大きな強化点は、２分の１画素精度双予測動き補償のサポートであった。ＭＰＥＧ−１は、順次走査ビデオのみをサポートした。

ＭＰＥＧ−２ Ｐａｒｔ２は、Ｈ．２６２との共通テキスト規格であり、ＤＶＤ上及びほとんどのデジタルビデオ放送及びケーブル配信システムで使用される。標準的なＤＶＤ上で使用した場合、ＭＰＥＧ−２ Ｐａｒｔ２は良好な画質を提供するとともにワイド画面をサポートする。技術設計の面では、ＭＰＥＧ−２のＭＰＥＧ−１に対する最も大きな強化点は、インターレースビデオのサポートの追加であった。ＭＰＥＧ−２は古いコーデックと見なされるが、市場で幅広く受け入れられており、実使用数が非常に多い。

Ｈ．２６３は、主にテレビ会議、テレビ電話、及びインターネットビデオに使用される。Ｈ．２６３は、順次走査ビデオのための標準化された圧縮機能において大きな前進を示した。特に、低ビットレートにおいて、Ｈ．２６３は、所定のレベルのフィデリティに達するのに必要なビットレートにおいてかなりの改善をもたらすことができた。

ＭＰＥＧ−４ Ｐａｒｔ２は、インターネット、ブロードキャストに、及び記憶媒体上で使用できるＭＰＥＧ規格である。ＭＰＥＧ−４ Ｐａｒｔ２は、ＭＰＥＧ−２及びＨ．２６３の初版に対して改善された品質を提供する。ＭＰＥＧ−４ Ｐａｒｔ２の先行するコーデック規格を超える主な技術的特徴は、オブジェクト志向の符号化特性で構成されていた。ＭＰＥＧ−４ Ｐａｒｔ２はまた、Ｈ．２６３で開発された能力を取り入れること、及び４分の１画素精度動き補償などの新しい機能を追加することの両方により、いくつかの圧縮能力の強化を含んでいた。ＭＰＥＧ−４ Ｐａｒｔ２は、ＭＰＥＧ−２のように順次走査及びインターレースビデオの両方をサポートする。

ＭＰＥＧ−４ Ｐａｒｔ１０は、ＩＴＵ−ＴのＨ．２６４と技術的に並ぶ規格であり、ＡＶＣと呼ばれることが多い。ＭＰＥＧ−４ Ｐａｒｔ１０は、圧縮機能に数多くの大幅な進歩を含み、最近数多くの企業製品に採用されてきた。

ＤｉｖＸ、ＸｖｉＤ、及び３ｉｖｘは、基本的にＭＰＥＧ−４ Ｐａｒｔ２ビデオコーデックを使用するビデオコーデックパッケージであり、＊．ａｖｉ、＊．ｍｐ４、＊．ｏｇｍ、又は＊．ｍｋｖのファイルコンテナフォーマットを有する。Ｓｏｒｅｎｓｏｎ３は、一般にＡｐｐｌｅ社のＱｕｉｃｋＴｉｍｅによって使用されるコーデックであり、基本的にはＨ．２６４の原型である。ウェブ上で見られるＱｕｉｃｋＴｉｍｅムービーの予告編の多くがこのコーデックを使用する。ＷＭＶ（Ｗｉｎｄｏｗｓ Ｍｅｄｉａ Ｖｉｄｅｏ）は、Ｍｉｃｒｏｓｏｆｔ社のビデオコーデック設計のファミリであり、ＷＭＶ７、ＷＭＶ８、及びＷＭＶ9を含む。ＷＭＶは、Ｍ−ＰＥＧ４コーデック設計の１つのバージョンと見なすことができる。

ＭＰＥＧコーデックは、動画及びそれに関連する音声の汎用符号化に使用される。ＭＰＥＧビデオコーデックは、従来より一連の３種類の符号化データフレームから構成される圧縮ビデオビットストリームを生成する。この３種類のデータフレームは、イントラフレーム（Ｉ−フレーム又はＩ−ピクチャと呼ばれる）、双方向予測フレーム（Ｂ−フレーム又はＢ−ピクチャと呼ばれる）、及び前方予測フレーム（Ｐ−フレーム又はＰ−ピクチャと呼ばれる）と呼ばれる。これらの３種類のフレームは、ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）と呼ばれる特定の順序で配列することができる。Ｉ−フレームは、ピクチャを再構成するのに必要な全ての情報を含む。Ｉ−フレームは、動き補償を伴わない標準画像として符号化される。この一方で、Ｐ−フレームは前のフレームからの情報を使用して、及びＢ−フレームは前のフレーム、次のフレーム、又はこれらの両方からの情報を使用してピクチャを再構成する。すなわち、Ｐ−フレームは、先行するＩ−フレーム又は直前のＰ−フレームから予測される。

フレームを直後のフレームから予測することもできる。後のフレームをこのように使用するためには、予測されるフレームよりも前に後のフレームを符号化する必要がある。従って、符号化の順序は、実際のフレームの表示順とは必ずしも一致しない。このようなフレームは、通常２つの方向から、例えば直前のＩ−又はＰ−フレームから、或いは予測されるフレームの直後のＰ−フレームから予測される。これらの双方向に予測されるフレームはＢ−フレームと呼ばれる。

多くのＧＯＰ構造が可能である。一般的なＧＯＰ構造は１５フレーム長で、Ｉ＿ＢＢ＿Ｐ＿ＢＢ＿Ｐ＿ＢＢ＿Ｐ＿ＢＢ＿Ｐ＿ＢＢ＿のシーケンスを有する。同様の１２フレームシーケンスも一般的である。Ｉ−フレームは空間的冗長性を符号化し、Ｐ及びＢ−フレームは時間的冗長性を符号化する。ビデオストリーム内の隣接フレームは相関性が高いことが多いので、Ｐ−フレームはＩ−フレームのサイズの１０％、Ｂ−フレームはＩ−フレームのサイズの２％とすることができる。しかしながら、フレームを圧縮できるサイズと、このような圧縮フレームを符号化するのに要する処理時間及びリソースとの間にはトレードオフが存在する。ＧＯＰ構造内のＩ、Ｐ、及びＢ−フレームの割合は、ビデオストリームの性質及び出力ストリームに対する帯域幅の制約によって決まるが、符号化時間が問題となる場合もある。Ｂ−フレームを多く含むストリームは、Ｉ−フレームのみのファイルよりも符号化にかなり長い時間がかかり得るので、このことは、コンピューティングリソースが限定されたライブ送信及びリアルタイム環境において特に当てはまる。

Ｂ−フレーム及びＰ−フレームは、一般に現在のフレームと、前のフレーム、後のフレーム、又はこれらの両方との間の差分のための差分ビットを含むので、ピクチャデータを記憶するのに必要なビットが少なくて済む。従って、Ｂ−フレーム及びＰ−フレームを使用して、フレームにわたって含まれる冗長情報を低減させる。動作中、デコーダは、符号化されたＢ−フレーム又は符号化されたＰ−フレームを受信し、前又は後のフレームを使用してオリジナルフレームを再構築する。この処理は、各々のオリジナルフレームを別々に再構築するよりもかなり容易であり、連続するフレームが実質的に同様のものである場合には、フレーム内の差分が小さいのでシーン遷移がよりスムーズになる。

個々のビデオ画像は、１つの輝度（Ｙ）チャネル及び２つのクロミナンスチャネル（色差信号Ｃｂ及びＣｒとも呼ばれる）に分離される。輝度配列及びクロミナンス配列のブロックは、フレーム内符号化の基本単位である「マクロブロック」に編成される。

Ｉ−フレームの場合には、実際の画像データが符号化処理を受ける。しかしながら、Ｐ−フレーム及びＢ−フレームは、最初に「動き補償」の処理を受ける。動き補償とは、前のフレームの個々のマクロブロックがどこに動いたかという観点から、連続するフレーム間の差分を表す方法のことである。多くの場合、このような技術を使用して、ビデオ圧縮のためにビデオシーケンスの時間的冗長性を低減させる。Ｐ−フレーム又はＢ−フレーム内の個々のマクロブロックは、エンコーダにより「動き推定」と呼ばれる処理によって得られる「動きベクトル」を使用して選択された場合、高い相関性を有する前の又は次のフレーム内の領域と関連付けられる。現在のマクロブロックを参照フレーム内の相関領域にマッピングする動きベクトルが符号化され、その後２つの領域間の差分が符号化処理を受ける。

従来のビデオコーデックは、動き補償予測を使用して未加工の入力ビデオストリームを効率的に符号化する。現在のフレーム内のマクロブロックは、前のフレーム内の変位したマクロブロックから予測される。オリジナルのマクロブロックとその予測との間の差分が圧縮され、変位（動き）ベクトルと共に送信される。この技術はインター符号化と呼ばれ、ＭＰＥＧ規格で使用される手法である。

Ｍ−ＰＥＧエンコーダの出力ビットレートは一定であっても又は可変であってもよく、最大ビットレートは再生メディアによって決まる。一定のビットレートを得るためには、量子化の度合いを繰り返し変更して出力ビットレート要件を達成する。量子化を増加させると、ストリームを復号したときにアーチファクトが目立つようになる。ビットレートが減るにつれて、マクロブロックの端部における不連続性がより目立つようになる。

ＡＶＣ（Ｈ．２６４）規格は、以前の規格が必要としたと思われるよりも実質的に低いビットレートで高品質ビデオをサポートする。この機能性により、非常に幅広い種類のビデオアプリケーションにこの規格を適用できるとともに、幅広い種類のネットワーク及びシステム上で十分に機能できるようになる。ＭＰＥＧビデオ符号化規格は、正当なＭＰＥＧビデオビットストリームを生成するための一般的な符号化方法及びシンタックスについて規定するが、現行の規格は、符号化したビデオデータと共にランダムに取り込んだ高解像度静止画像の符号化及び記憶をサポートしていない。

並行モードで動作するように構成されたコーデックが、低解像度ビデオのＡＶＣ符号化と並行して高解像度静止画像ピクチャの符号化及び記憶をサポートするようにするために現行のＡＶＣ規格を拡張する。並行モードコーデックは、修正ＡＶＣ規格に基づいて構成される。コーデックは、ＡＶＣビデオストリームを取り込むことができると同時に、高解像度静止画像をビデオストリームに対してランダムな間隔で取り込むことができる。拡張層として記憶される残差情報を使用して、デコーダ側でアップサンプリングされた復号済み低解像度ビデオを使用して１又はそれ以上の高解像度静止画像ピクチャを生成する。基層が低解像度ビデオを搬送する。拡張層及び基層が、多層ストリームとして、送信側のエンコーダから受信側のデコーダへ並行して送信される。

拡張情報を搬送するために、ＳＥＩメッセージ定義、シーケンスパラメータセット、及び新規ＮＡＬユニットのための（単複の）データフィールドを含むようにＡＶＣ規格を拡張する。１つの実施形態では、修正シーケンスパラメータセットが、ＡＶＣビデオと並行する高解像度静止画像の存在を知らせる新規プロファイルを定義する。新規ＮＡＬユニットは、予約されたＮＡＬユニットタイプを使用して残差情報を記憶することにより、新規デジタル静止画像モードＮＡＬを定義する。

１つの態様では、データを符号化する方法について説明する。この方法は、複数の連続するビデオフレームのデータを含むビデオストリームを取り込むステップと、ビデオストリームデータを符号化して符号化ビデオストリームを形成するステップと、１又はそれ以上の静止画像をビデオストリームに対してランダムな時間間隔で取り込むステップと、個々の取り込み静止画像に関連する残差情報パケットを求めるステップとを含み、第１の残差情報パケットは、第１の取り込みオリジナル静止画像と、第１の取り込み静止画像に対応するビデオストリームの第１の復号アップサンプリングビデオフレームとの間の差分であり、個々の取り込み静止画像に関連する残差情報パケットを符号化して符号化残差ストリームを形成するステップと、符号化ビデオストリーム及び符号化残差ストリームを多層伝送として並行して送信するステップとをさらに含む。第１の残差情報パケットを求めるステップは、第１の復号ビデオフレームをアップサンプリングして、第１の取り込みオリジナル静止画像と、復号しアップサンプリングした第１のビデオフレームとの間の差分を求めるステップを含むことができる。方法はまた、新規プロファイルインジケータを含む修正シーケンスパラメータセットを定義するステップを含むこともでき、新規プロファイルインジケータは、真（ｔｒｕｅ）のときに１又はそれ以上の静止画像パラメータを伝える静止画像フラグを含み、さらに、個々の静止画像パラメータは、画像高さ及び画像幅のうちの１又はそれ以上などの静止画像の特性を定義する。方法はまた、個々の取り込み静止画像に関連する残差情報パケットを記憶するための新規ＮＡＬユニットタイプを定義するステップを含むこともできる。方法はまた、多層伝送を受信するステップと、符号化ビデオストリームを復号して複数の連続するビデオフレームを形成するステップと、符号化残差ストリームを復号して、個々の取り込み静止画像に関連する残差情報パケットを形成するステップと、個々の残差情報パケットに対応する個々の復号ビデオフレームをアップサンプリングするステップと、適当な残差情報パケットを、対応する個々のアップサンプリングした復号ビデオフレームに追加して高解像度静止画像の１又はそれ以上を形成するステップとを含むこともできる。個々の静止画像は高解像度静止画像を含むことができる。個々のビデオフレームは低解像度ビデオフレームを含むことができる。ビデオストリームのフレームレートは、残差情報パケットのフレームレートとは無関係とすることができる。残差情報パケットを、ＡＶＣ規格のイントラ符号化ツールを使用する修正ＡＶＣ規格に基づいて符号化することができる。

別の態様では、データを符号化するためのシステムについて説明する。システムは、複数の連続するビデオフレームのデータを含むビデオストリームを取り込むためのビデオ取込モジュールと、１又はそれ以上の静止画像をビデオストリームに対してランダムな時間間隔で取り込むための静止画像取込モジュールと、第１の取り込み静止画像と、第１の取り込み静止画像に対応するビデオストリームの第１の復号アップサンプリングビデオフレームとの間の差分を求めることにより、個々の取り込み静止画像に関連する残差情報パケットを生成するための処理モジュールと、ビデオストリームデータを符号化して符号化ビデオストリームを形成し、個々の取り込み静止画像に関連する残差情報パケットを符号化して符号化残差ストリームを形成するためのエンコーダと、符号化ビデオストリーム及び符号化残差ストリームを多層伝送として並行して送信するための出力モジュールとを含む。エンコーダは、第１の復号ビデオフレームをアップサンプリングして、残差情報パケットが第１の取り込み静止画像とアップサンプリングした復号した第１のビデオフレームとの差分を含むようにするためのアップサンプリングモジュールを含むことができる。処理モジュールはまた、新規プロファイルインジケータを含む修正シーケンスパラメータセットを定義するように構成することもでき、新規プロファイルインジケータは、真（ｔｒｕｅ）のときに１又はそれ以上の静止画像パラメータを伝える静止画像フラグを含み、さらに、個々の静止画像パラメータは、画像高さ及び画像幅のうちの１又はそれ以上などの静止画像の特性を定義する。処理モジュールはまた、個々の取り込み静止画像に関連する残差情報パケットを記憶するためのＮＡＬユニットタイプを定義するように構成することもできる。個々の静止画像は高解像度静止画像を含むことができる。個々のビデオフレームは低解像度ビデオフレームを含むことができる。ビデオストリームのフレームレートは、残差情報パケットのフレームレートとは無関係とすることができる。残差情報パケットを、ＡＶＣ規格のイントラ符号化ツールを使用する修正ＡＶＣ規格に基づいて符号化することができる。

さらに別の態様では、データを復号するためのシステムについて説明する。システムは、符号化ビデオストリーム及び符号化残差ストリームを多層伝送として並行して受信するための受信機と、符号化ビデオストリームを復号することにより複数の連続するビデオフレームを含むデータのビデオストリームを形成するとともに符号化残差ストリームを復号することにより１又はそれ以上の残差情報パケットを形成するためのデコーダとを含み、第１の残差情報パケットは、ビデオストリームの第１の復号アップサンプリングビデオフレームに関連付けられ、第１の残差情報パケットを第１の復号アップサンプリングビデオフレームに追加して第１の静止画像を形成するための処理モジュールをさらに含み、個々の静止画像はビデオストリームに対してランダムな時間間隔で生成される。デコーダは、第１のビデオフレームをアップサンプリングして、復号しアップサンプリングした第１のビデオフレームに第１の残差情報パケットを追加することにより第１の静止画像が生成されるようにするためのアップサンプリングモジュールを含むことができる。デコーダは、新規プロファイルと、１又はそれ以上の静止画像パラメータを伝える静止画像フラグの存在を修正シーケンスパラメータセットから読み取り、処理モジュールは、１又はそれ以上の静止画像パラメータを読み取るようにさらに構成され、個々の静止画像パラメータは、画像高さ及び画像幅のうちの１又はそれ以上などの静止画像の特性を定義する。個々の静止画像は高解像度静止画像を含むことができる。個々のビデオフレームは低解像度ビデオフレームを含むことができる。ビデオストリームのフレームレートは、残差情報パケットのフレームレートとは無関係とすることができる。残差情報パケットを、ＡＶＣ規格のイントラ符号化ツールを使用する修正ＡＶＣ規格に基づいて符号化することができる。

さらに別の態様では、データを符号化及び復号するためのシステムについて説明する。システムは、複数の連続するビデオフレームのデータを含む第１のビデオストリームを取り込むためのビデオ取込モジュールと、１又はそれ以上の静止画像を第１のビデオストリームに対してランダムな時間間隔で取り込むための静止画像取込モジュールと、第１の取り込み静止画像と、第１の取り込み静止画像に対応する第１のビデオストリームの第１の復号アップサンプリングビデオフレームとの間の差分を求めることにより、個々の取り込み静止画像に関連する残差情報パケットを生成するための処理モジュールと、データの第１のビデオストリームを符号化して第１の符号化ビデオストリームを形成するとともに個々の取り込み静止画像に関連する残差情報パケットを符号化して第１の符号化残差ストリームを形成するためのエンコーダと、第１の符号化ビデオストリーム及び第１の符号化残差ストリームを第１の多層伝送として並行して送信するとともに第２の符号化ビデオストリーム及び第２の符号化残差ストリームを第２の多層伝送として並行して受信するためのトランシーバと、第２の符号化ビデオストリームを復号することにより複数の連続するビデオフレームを含むデータの第２のビデオストリームを形成するとともに、第２の符号化残差ストリームを復号することにより１又はそれ以上の残差情報パケットを形成するためのデコーダとを含み、第２の残差情報パケットは、第２のビデオストリームの第２の復号アップサンプリングビデオフレームに関連付けられ、処理モジュールは、第２の残差情報パケットを第２の復号アップサンプリングビデオフレームに追加して高解像度静止画像を形成するようにさらに構成される。

修正ＡＶＣ規格を使用して高解像度静止画像を記憶するための並行モードを示す図である。 連続モードで動作するように構成された例示的なイメージングシステムのブロック図である。 図２のエンコーダの例示的な処理フローを示す図である。 図２のデコーダの例示的な処理フローを示す図である。

並行モードコーデックの実施形態について、図面のいくつかの図に関連して説明する。必要に応じて及び同一要素が２以上の図面に開示及び図示されている場合に限り、同じ参照数字を使用してこのような同一要素を示す。

図１は、修正ＡＶＣ規格を使用して、従来どおりに符号化されたＡＶＣビデオと並行して高解像度静止画像を記憶する並行モードを示している。ＡＶＣフォーマット済みのビデオストリーム１０が一連のビデオフレームを含む。拡張残差ストリーム２０が、ランダム間隔で取り込んだ１又はそれ以上の高解像度静止画像３０に対応する残差情報を含む。個々の高解像度静止画像３１、３２、３３、３４、及び３５ごとに、対応する残差情報２１、２２、２３、２４、及び２５が拡張残差ストリーム２０内に存在する。図１には５つの高解像度静止画像を示しているが、５つよりも多くの又は少ない高解像度静止画像を取り込むことができる点を理解されたい。残差情報とは、オリジナルの高解像度静止画像と、対応する復号アップサンプリング低解像度ビデオフレームとの間の差分のことである。

修正ＡＶＣ規格は、個々の高解像度静止画像をあらゆるランダム間隔で取り込むことができるようにする。換言すれば、残差情報（残差情報２１〜２５）のフレームレートは、ＡＶＣビデオストリーム１０のフレームレートに一致する必要はないが、状況によってはこれらのフレームレートが等しい場合もある。残差情報をビデオストリームに対して一定の割合で生成する必要がある従来のコーデックとは対照的に、修正ＡＶＣ規格に基づいて構成される並行モードコーデックは、このような要件を担うことはない。並行モードコーデックを使用して送信される残差情報は、ビデオストリームのフレームレートとは無関係なフレームレートに基づく。

図２は、並行モードで動作するように構成された例示的なイメージングシステム４０のブロック図を示している。イメージングシステム４０は、画像取込モジュール４２と、コーデック４８と、処理モジュール５４と、メモリ５６と、入出力（Ｉ／Ｏ）インターフェイス５８とを含む。Ｉ／Ｏインターフェイス５８は、データを送受信するためのユーザインターフェイス及びネットワークインターフェイスを含む。メモリ５６は、一体型又は取り外し可能のいずれかの従来型のデータ記憶媒体である。コーデック４８は、エンコーダ５０及びデコーダ５２を含む。画像取込モジュール４２は、低解像度ビデオを取り込むためのビデオ取込モジュール４４、及び高解像度静止画像を取り込むための静止画像取込モジュール４６を含む。

図３は、図２のエンコーダの例示的な処理フローを示している。エンコーダは、低解像度ビデオストリームのＡＶＣ符号化と並行して高解像度静止画像を符号化する。ビデオストリーム１０（図１）のような連続するフレームから成る低解像度入力ビデオストリームが取り込まれる。低解像度ビデオストリームは、ＡＶＣ規格に基づいて符号化される。いずれかのランダムな時点において、高解像度静止画像３１〜３５（図１）のうちの１又はそれ以上のような高解像度静止画像が取り込まれる。他の時点において、その他の静止画像を取り込むことができる。高解像度静止画像が取り込まれると、オリジナルの高解像度静止画像と、高解像度静止画像を取り込んだ時点に時間的に対応する低解像度ＡＶＣビデオストリーム内のアップサンプリングした復号バージョンの特定のビデオフレームとの間の差分に基づいて、対応する残差情報が決定される。個々の高解像度静止画像に対応する残差情報は、ＡＶＣのイントラ符号化ツールを使用する修正版のＡＶＣ規格を使用して符号化される。取り込んだ高解像度静止画像に関連する残差情報は、新規ＮＡＬユニットに含まれる。個々の高解像度静止画像ごとの符号化した残差情報が、拡張残差ストリーム２０（図１）のような拡張残差ストリームを形成する。符号化した低解像度ビデオフレームが送信されて、ＡＶＣビデオストリーム１０（図１）のようなＡＶＣビデオストリームを形成する。拡張残差ストリームのフレームレートは、ＡＶＣビデオストリームのフレームレートとは無関係である。拡張残差ストリーム及びＡＶＣビデオストリームが足し合わされて多層符号化データストリームを形成し、これがエンコーダからデコーダへ多層伝送として送信される。

デコーダ側では、実質的に逆の動作が行われ、対応するアップサンプリングした復号ビデオフレームに残差情報が加えられる。図４は、図２のデコーダの例示的な処理フローを示している。デコーダは、エンコーダから送信された多層符号化データストリームを受信する（図４）。ＡＶＣビデオストリームから拡張残差ストリームが分離される。基層のＡＶＣビデオストリームがＡＶＣ符号化に基づいて復号されることにより、低解像度ビデオストリームを形成する。

拡張残差ストリーム内の個々の高解像度静止画像ごとの残差情報が識別され、個々の高解像度静止画像の存在がＮＡＬユニットタイプによって知らされる。個々の高解像度静止画像ごとの符号化残差情報が、イントラ符号化ツールを使用する修正ＡＶＣ規格に基づいて復号される。復号拡張残差ストリームによって表される個々の高解像度静止画像ごとに、復号ビデオストリーム内の対応するビデオフレームがアップサンプリングされる。アップサンプリングされた基層を対応する復号残差情報に追加して、高解像度静止画像を形成する。

エンコーダ及びデコーダの両方におけるアップサンプリング動作は実質的に同様である。一例として、２のアップサンプリング係数による水平及び垂直解像度では、ＡＶＣに規定されるように、２分の１画素精度動き推定のためのアップサンプリングフィルタが候補解決策である。また、アップサンプリング係数は２の累乗に限定されるものではなく、同様に分数であってもよい。

既存のＡＶＣ規格を修正してこのような高解像度静止画像のランダムな取り込みをサポートするために、既存のＡＶＣ規格が、ランダムな時間間隔の拡張情報を可能にするとともに、この拡張情報をデコーダに知らせるように拡張される。シーケンスパラメータセットが特定の時点におけるビデオストリームの特性を定義する。

修正ＡＶＣ規格は、修正シーケンスパラメータセット（ＳＰＳ）ＲＢＳＰシンタックスを含む。１つの実施形態では、修正シーケンスパラメータセットが、新規プロファイルインジケータを定義することにより、ストリーム内に高解像度静止画像が存在することを知らせる。新規プロファイルが存在することによって対応するフラグが示され、このフラグが真（ｔｒｕｅ）のときには高解像度静止画像の幅及び高さを知らせる。以下は、例示的な修正ＳＰＳ ＲＢＳＰシンタックスである。

パラメータ「ｓｔｉｌｌ＿ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｍｂｓ＿ｍｉｎｕｓ１」＋１は、復号した個々の高解像度静止ピクチャの幅をマクロブロック単位で指定する。パラメータ「ｓｔｉｌｌ＿ｐｉｃ＿ｈｉｇｈｔ＿ｉｎ＿ｍａｐ＿ｕｎｉｔｓ＿ｍｉｎｕｓ１」＋１は、高解像度静止ピクチャの復号フレームのスライスグループマップ単位での高さを指定する。

修正ＡＶＣ規格はまた、拡張層情報のための修正ＮＡＬユニットシンタックスも含む。このような修正ＮＡＬユニットシンタックスをサポートするために、予約されたＮＡＬユニットタイプの１つを使用して、高解像度静止画像ピクチャの拡張層情報を記憶する。

修正ＡＶＣ規格はまた、アクセスユニット内に高解像度静止画像ピクチャの「残差情報」が存在することを知らせるためのＳＥＩメッセージ定義も含む。高解像度静止画像ピクチャの残差情報は、上述したように「拡張層情報」として新規ＮＡＬユニットタイプに記憶される。

デコーダが、符号化ビデオストリームから高解像度静止画像ピクチャのみを構文解析／表示するように指示された場合、デコーダは、全てのアクセスユニット内の全てのＮＡＬユニットヘッダを構文解析して、アクセスユニットが拡張ＮＡＬユニットタイプを含むかどうかを判定する。これを克服するために、ＳＥＩメッセージタイプが定義され、これが、アクセスユニット内に存在する場合には、この特定の静止画像ピクチャの拡張層情報が存在することを知らせる。ＳＥＩメッセージは、アクセスユニット内の最初に符号化されるピクチャよりも前に発生するので、デコーダは、アクセスユニット内に高解像度静止画像ピクチャが存在することについて事前に知らされる。

修正ＡＶＣ規格は、高解像度静止画像ピクチャのＳＥＩメッセージシンタックスを含む。以下は、例示的な高解像度静止画像ピクチャのＳＥＩメッセージシンタックスである。

パラメータ「ｈｉｒｅｓｏｌｕｔｉｏｎ＿ｐｉｓｔｕｒｅ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ」が１に等しい場合、これが、アクセスユニット内に高解像度静止画像ピクチャが存在することを知らせる。

修正シーケンスパラメータセット及びＳＥＩメッセージ定義を定義するための上記で使用したシンタックスは例示を目的とするものである点、及び代替のシンタックスを使用して修正シーケンスパラメータセット及びＳＥＩメッセージ定義を行うことができる点を理解されたい。

本発明の構成及び動作の原理の理解を容易にするために、詳細を含む特定の実施形態に関連して本発明について説明した。本明細書における、このような特定の実施形態及びこれらの詳細の参照は、添付の特許請求の範囲を限定することを意図するものではない。当業者には、本発明の思想及び範囲から逸脱することなく、例示のために選択した実施形態に修正を加えることができる点が明らかであろう。

１０ ＡＶＣビデオストリーム
２０ 拡張残差ストリーム
３０ 高解像度静止画像
２１〜２５ 残差情報
３１〜３５ 高解像度静止画像

Claims (25)

1. データを符号化する方法であって、
   ａ．複数の連続するビデオフレームのデータを含むビデオストリームデータを取り込むステップと、
   ｂ．前記ビデオストリームデータを符号化して符号化ビデオストリームを形成するステップと、
   ｃ．１又はそれ以上の静止画像を前記ビデオストリームに対してランダムな時間間隔で取り込むステップと、
   ｄ．個々の取り込み静止画像に関連する残差情報パケットを求めるステップと、
   を含み、第１の残差情報パケットは、第１の取り込みオリジナル静止画像と、該第１の取り込み静止画像に対応する前記ビデオストリームの第１の復号アップサンプリングビデオフレームとの間の差分であり、
   ｅ．個々の取り込み静止画像に関連する前記残差情報パケットを符号化して符号化残差ストリームを形成するステップと、
   ｆ．前記符号化ビデオストリーム及び前記符号化残差ストリームを多層伝送として並行して送信するステップと、
   をさらに含むことを特徴とする方法。
2. 前記第１の残差情報パケットを求めるステップが、前記第１の復号ビデオフレームをアップサンプリングして、前記第１の取り込みオリジナル静止画像と、復号しアップサンプリングした前記第１のビデオフレームとの間の差分を求めるステップを含む、
   ことを特徴とする請求項１に記載の方法。
3. 新規プロファイルインジケータを含む修正シーケンスパラメータセットを定義するステップを含み、前記新規プロファイルインジケータは、静止画像フラグを含み,
   当該静止画像フラグが真（ｔｒｕｅ）のときに１又はそれ以上の静止画像パラメータを示し、さらに、個々の静止画像パラメータは、前記静止画像の特性、例えば、画像高さ及び画像幅のうちの１又はそれ以上を定義する、
   ことを特徴とする請求項１に記載の方法。
4. 個々の取り込み静止画像に関連する前記残差情報パケットを記憶するための新規ＮＡＬユニットタイプを定義するステップをさらに含む、
   ことを特徴とする請求項１に記載の方法。
5. ａ．前記多層伝送を受信するステップと、
   ｂ．前記符号化ビデオストリームを復号して前記複数の連続するビデオフレームを形成するステップと、
   ｃ．前記符号化残差ストリームを復号して、個々の取り込み静止画像に関連する前記残差情報パケットを形成するステップと、
   ｄ．個々の残差情報パケットに対応する個々の復号ビデオフレームをアップサンプリングするステップと、
   ｄ．前記適当な残差情報パケットを、対応する個々のアップサンプリングした復号ビデオフレームに追加して前記高解像度静止画像の１又はそれ以上を形成するステップと、
   をさらに含むことを特徴とする請求項１に記載の方法。
6. 個々の静止画像が高解像度静止画像を含む、
   ことを特徴とする請求項１に記載の方法。
7. 個々のビデオフレームが低解像度ビデオフレームを含む、
   ことを特徴とする請求項１に記載の方法。
8. 前記ビデオストリームのフレームレートが、前記残差情報パケットのフレームレートとは無関係である、
   ことを特徴とする請求項１に記載の方法。
9. 前記残差情報パケットが、ＡＶＣ規格のイントラ符号化ツールを使用する修正ＡＶＣ規格に基づいて符号化される、
   ことを特徴とする請求項１に記載の方法。
10. データを符号化するためのシステムであって、
    ａ．複数の連続するビデオフレームデータを含むビデオストリームデータを取り込むためのビデオ取込モジュールと、
    ｂ．１又はそれ以上の静止画像を前記ビデオストリームに対してランダムな時間間隔で取り込むための静止画像取込モジュールと、
    ｃ．第１の取り込み静止画像と、前記第１の取り込み静止画像に対応する前記ビデオストリームの第１の復号アップサンプリングビデオフレームとの間の差分を求めることにより、個々の取り込み静止画像に関連する残差情報パケットを生成するための処理モジュールと、
    ｄ．前記ビデオストリームデータを符号化して符号化ビデオストリームを形成し、個々の取り込み静止画像に関連する前記残差情報パケットを符号化して符号化残差ストリームを形成するためのエンコーダと、
    ｅ．前記符号化ビデオストリーム及び前記符号化残差ストリームを多層伝送として並行して送信するための出力モジュールと、
    を含むことを特徴とするシステム。
11. 前記エンコーダが、前記第１の復号ビデオフレームをアップサンプリングして、前記残差情報パケットが前記第１の取り込み静止画像とアップサンプリングし復号した前記第１のビデオフレームとの前記差分を含むようにするためのアップサンプリングモジュールを含む、
    ことを特徴とする請求項１０に記載のシステム。
12. 前記処理モジュールが、新規プロファイルインジケータを含む修正シーケンスパラメータセットを定義するようにさらに構成され、前記新規のプロファイルインジケータは、静止画像フラグを含み、当該静止画像フラグが真（ｔｒｕｅ）のときに１又はそれ以上の静止画像パラメータを示し、さらに、個々の静止画像パラメータが、前記静止画像の特性、例えば、画像高さ及び画像幅のうちの１又はそれ以上を定義する、
    ことを特徴とする請求項１０に記載のシステム。
13. 前記処理モジュールが、個々の取り込み静止画像に関連する前記残差情報パケットを記憶するためのＮＡＬユニットタイプを定義するようにさらに構成される、
    ことを特徴とする請求項１０に記載のシステム。
14. 個々の静止画像が高解像度静止画像を含む、
    ことを特徴とする請求項１０に記載のシステム。
15. 個々のビデオフレームが低解像度ビデオフレームを含む、
    ことを特徴とする請求項１０に記載のシステム。
16. 前記ビデオストリームのフレームレートが、前記残差情報パケットのフレームレートとは無関係である、
    ことを特徴とする請求項１０に記載のシステム。
17. 前記残差情報パケットが、ＡＶＣ規格のイントラ符号化ツールを使用する修正ＡＶＣ規格に基づいて符号化される、
    ことを特徴とする請求項１０に記載のシステム。
18. データを復号するためのシステムであって、
    ａ．符号化ビデオストリーム及び符号化残差ストリームを多層伝送として並行して受信するための受信機と、
    ｂ．前記符号化ビデオストリームを復号することにより複数の連続するビデオフレームを含むビデオストリームデータを形成するとともに前記符号化残差ストリームを復号することにより１又はそれ以上の残差情報パケットを形成するためのデコーダと、
    を含み、第１の残差情報パケットが、前記ビデオストリームの第１の復号アップサンプリングビデオフレームに関連付けられ、
    ｃ．前記第１の残差情報パケットを前記第１の復号アップサンプリングビデオフレームに追加して第１の静止画像を形成するための処理モジュールをさらに含み、個々の静止画像が前記ビデオストリームに対してランダムな時間間隔で生成される、
    ことを特徴とするシステム。
19. 前記デコーダが、前記第１のビデオフレームをアップサンプリングして、復号しアップサンプリングした前記第１のビデオフレームに前記第１の残差情報パケットを追加することにより前記第１静止画像が生成されるようにするためのアップサンプリングモジュールを含む、
    ことを特徴とする請求項１８に記載のシステム。
20. 前記デコーダが、新規プロファイルと、１又はそれ以上の静止画像パラメータを示す静止画像フラグとの存在を修正シーケンスパラメータセットから読み取り、前記処理モジュールが、前記１又はそれ以上の静止画像パラメータを読み取るようにさらに構成され、個々の静止画像パラメータが、前記静止画像の特性、例えば、画像高さ及び画像幅のうちの１又はそれ以上を定義する、
    ことを特徴とする請求項１８に記載のシステム。
21. 個々の静止画像が高解像度静止画像を含む、
    ことを特徴とする請求項１８に記載のシステム。
22. 個々のビデオフレームが低解像度ビデオフレームを含む、
    ことを特徴とする請求項１８に記載のシステム。
23. 前記ビデオストリームのフレームレートが、前記残差情報パケットのフレームレートとは無関係である、
    ことを特徴とする請求項１８に記載のシステム。
24. 前記残差情報パケットが、ＡＶＣ規格のイントラ符号化ツールを使用する修正ＡＶＣ規格に基づいて符号化される、
    ことを特徴とする請求項１８に記載のシステム。
25. データを符号化及び復号するためのシステムであって、
    ａ．複数の連続するビデオフレームデータを含む第１のビデオストリームデータを取り込むためのビデオ取込モジュールと、
    ｂ．１又はそれ以上の静止画像を前記第１のビデオストリームに対してランダムな時間間隔で取り込むための静止画像取込モジュールと、
    ｃ．第１の取り込み静止画像と、前記第１の取り込み静止画像に対応する前記第１のビデオストリームの第１の復号アップサンプリングビデオフレームとの間の差分を求めることにより、個々の取り込み静止画像に関連する残差情報パケットを生成するための処理モジュールと、
    ｄ．データの前記第１のビデオストリームを符号化して第１の符号化ビデオストリームを形成するとともに個々の取り込み静止画像に関連する前記残差情報パケットを符号化して第１の符号化残差ストリームを形成するためのエンコーダと、
    ｅ．前記第１の符号化ビデオストリーム及び前記第１符号化残差ストリームを第１の多層伝送として並行して送信するとともに第２の符号化ビデオストリーム及び第２の符号化残差ストリームを第２の多層伝送として並行して受信するためのトランシーバと、
    ｆ．前記第２の符号化ビデオストリームを復号することにより複数の連続するビデオフレームを含むデータの第２のビデオストリームデータを形成するとともに、前記第２の符号化残差ストリームを復号することにより１又はそれ以上の残差情報パケットを形成するためのデコーダと、
    を含み、第２の残差情報パケットが、前記第２ビデオストリームの第２の復号アップサンプリングビデオフレームに関連付けられ、
    前記処理モジュールが、前記第２の残差情報パケットを前記第２の復号アップサンプリングビデオフレームに追加して高解像度静止画像を形成するようにさらに構成される、
    ことを特徴とするシステム。

Images