JP2011505780A - 高解像度デジタル静止画像をビデオと連続して符号化するためのａｖｃ規格の拡張 - Google Patents

Abstract

コーデックが、低解像度ビデオのＡＶＣ符号化内で高解像度静止画像ピクチャの符号化をサポートするようにするためにＡＶＣ規格を拡張する。コーデックは、ＡＶＣビデオストリームを取り込むことができると同時に、高解像度静止画像をビデオストリームに対してランダムな間隔で取り込むことができる。個々の取り込み高解像度静止画像が、ビデオストリーム内に単層ビットストリームとして埋め込まれる。個々の埋め込み高解像度静止画像は、符号化したビデオシーケンス内における新規ＧＯＰの開始を知らせ、又は強制する。ＡＶＣ規格が、シーケンスパラメータセットのための新しいシンタックスを含むように拡張される。１つの実施形態では、修正シーケンスパラメータセットが、ＡＶＣビデオに連なって高解像度静止画像が存在することを知らせる新規プロファイルを定義する。
【選択図】図１

Description

本発明は、ビデオ符号化の分野に関する。より具体的には、本発明は、ＡＶＣ符号化の分野、及び現行のＡＶＣ規格を拡張して、高解像度デジタル静止画像を従来どおりに符号化されたＡＶＣビデオストリームとともに統合連続モードで符号化及び記憶するのをサポートすることに関する。

「コーデック」という用語は、「コンプレッサ／デコンプレッサ」、「コーダ／デコーダ」、又は「圧縮／解凍アルゴリズム」のいずれかを意味し、データストリーム又は信号に対して変換を行うことができる装置又はアルゴリズム、或いは専門のコンピュータプログラムを表す。

コーデックは、データストリーム又は信号を送信、記憶、又は暗号化のために符号化し、これを閲覧又は編集のために復号する。例えば、デジタルビデオカメラはアナログ信号をデジタル信号に変換し、次にこの信号がデジタル送信又は記憶のためにビデオコンプレッサを通過する。その後、受信装置が、ビデオデコンプレッサを介して受信信号を解凍し、解凍されたデジタル信号が表示のためにアナログ信号に変換される。オーディオ信号に対しても同様の処理を行うことができる。標準的なコーデックスキームは数多く存在する。中には、主にファイル転送時間を最小化するために使用されるものがあり、インターネット上で利用される。また中には、所定量のディスクスペース又はＣＤ−ＲＯＭ上に記憶できるようにデータを最小化することを目的とするものもある。個々のコーデックスキームには、異なるプログラム、処理、又はハードウェアによって対処することができる。

デジタル画像は、２次元画像を画素又はピクセルと呼ばれるデジタル値の有限集合として表現したものである。通常、ピクセルは、整数の２次元配列であるラスタ画像又はラスタマップとしてコンピュータメモリに記憶される。これらの値は、多くの場合圧縮形式で送信又は記憶される。

デジタルカメラ及びビデオカメラ、スキャナ、座標測定機、地震観測プロファイリング、航空機搭載レーダー、及びその他などの様々な入力装置及び技術によってデジタル画像を生成することができる。数学関数又は３次元幾何学モデルなどの任意の非画像データからデジタル画像を合成することもでき、後者はコンピュータグラフィックスの主な下位区分である。デジタル画像処理の分野には、デジタル画像に対して画像処理を行うためのアルゴリズムの研究又は使用がある。画像コーデックは、このようなデジタル画像処理を行うためのアルゴリズムを含む。

画像を見るためには、画像フォーマットに応じて異なる画像コーデックを利用する。ＧＩＦ、ＪＰＥＧ、及びＰＮＧ画像は、標準的なインターネット画像フォーマットなので、ウェブブラウザを使用して簡単に見ることができる。現在、ウェブではＳＶＧフォーマットが広く使用されており、これは標準的Ｗ３Ｃフォーマットである。その他のプログラムには、ある順序で順々に自動的に画像を見るためのスライドショーの利用性を提供するものもある。

静止画像は、ビデオとは異なる特性を有する。例えば、アスペクト比及び色が異なる。従って、静止画像はビデオとは異なって処理されるので、静止画像用の静止画像コーデックと、静止画像コーデックとは異なるビデオ用のビデオコーデックとが必要になる。

ビデオコーデックには、デジタルビデオデータに対してデータ圧縮技術を使用できるようにする装置又はソフトウェアモジュールがある。ビデオシーケンスは、一般にフレームと呼ばれる数多くのピクチャ（デジタル画像）から成る。後続するフレームは非常に類似しており、従って１つのフレームから次のフレームにかけて多くの冗長性を含む。ビデオデータは、帯域幅及びメモリの両方を節約するために圧縮されてから、チャネルを介して効率的に送信され、又はメモリに記憶される。ビデオ圧縮の目的は、フレーム内（空間的冗長性）及びフレーム間（時間的冗長性）の両方における冗長性を除去して、より良い圧縮比を得ることである。ビデオ品質、これを表すのに必要なデータ量（ビットレートとしても知られる）、符号化及び復号アルゴリズムの複雑性、データ損失及びエラーに対するこれらのロバスト性、編集し易さ、ランダムアクセス、エンドツーエンド遅延、及び数多くのその他の要因の間には複雑なバランスが存在する。

典型的なデジタルビデオコーデックの設計は、入力ビデオをＲＧＢカラーフォーマットからＹＣｂＣｒカラーフォーマットに変換することから開始し、その後クロマサブサンプリングを行ってサンプリンググリッドパターンを生成することが多い。ＹＣｂＣｒカラーフォーマットへの変換は、カラー信号を無相関化して、知覚的にあまり重要でないクロマ信号から知覚的により重要な輝度信号を分離することにより、圧縮性を改善するとともに低解像度での表示を行うことができる。

一定量の空間的及び時間的ダウンサンプリングを使用して、基本符号化処理の前に未加工データ量を低減させることができる。ダウンサンプリングとは、信号のサンプリングレートを下げる処理のことである。これは、一般にデータ量又はデータのサイズを低減させるために行われる。通常、ダウンサンプリング係数は１よりも大きな整数又は有理分数である。次に、周波数変換を使用してこのデータを変換し、空間データをさらに無相関化する。１つのこのような変換が離散コサイン変換（ＤＣＴ）である。次に、変換の出力を量子化して、量子化された値にエントロピー符号化を適用する。エンコーダによっては、例えば２パスなどのｎパス符号化と呼ばれる多段処理でビデオを圧縮できるものもあり、これは一般により低速な処理ではあるが、より優れた品質の圧縮をもたらす可能性がある。

復号処理は、基本的に符号化処理の各段階の反転を行うことから成る。厳密に反転できない１つの段階が量子化段階である。ここでは、反転に最大限近似したものが行われる。この処理の部分は「反転量子化」又は「逆量子化」と呼ばれることがあるが、量子化は本質的に非可逆処理である。

様々なコーデックをＰＣ上及び家電機器内で容易に実施することができる。同じ製品内で複数のコーデックを利用できることも多く、互換性の理由から１つの優位なコーデックを選択する必要がないようになっている。

いくつかの広く使用されているビデオコーデックとして、以下に限定されるわけではないが、Ｈ．２６１、ＭＰＥＧ−１ Ｐａｒｔ２、ＭＰＥＧ−２ Ｐａｒｔ２、Ｈ．２６３、ＭＰＥＧ−４ Ｐａｒｔ２、ＭＰＥＧ−４ Ｐａｒｔ１０／ＡＶＣ、ＤｉｖＸ、ＸｖｉＤ、３ｉｖｘ、Ｓｏｒｅｎｓｏｎ３、及びＷｉｎｄｏｗｓ Ｍｅｄｉａ Ｖｉｄｅｏ（ＭＷＶ）が挙げられる。

Ｈ．２６１は、主に旧型のテレビ会議及びテレビ電話製品で使用される。Ｈ．２６１は、最初の実用的なデジタルビデオ圧縮規格であった。基本的に、それ以降の全ての標準的なビデオコーデック設計がＨ．２６１に基づいている。Ｈ．２６１は、ＹＣｂＣｒカラー表現、４：２：０サンプリングフォーマット、８ビットサンプル精度、１６×１６マクロブロック、ブロック単位の動き補償、８×８ブロック単位の離散コサイン変換、ジグザグ係数走査、スカラ量子化、ｒｕｎ＋ｖａｌｕｅのシンボルマッピング、及び可変長符号化のような十分に確立した概念を含んでいた。Ｈ．２６１は、順次走査ビデオのみをサポートした。

ＭＰＥＧ−１ Ｐａｒｔ２はビデオＣＤ（ＶＣＤ）に使用され、オンラインビデオに使用されることもある。品質は、ＶＨＳの品質とほぼ同程度である。元となるビデオ品質が良好でビットレートが十分に高い場合、ＶＣＤはＶＨＳよりも良好に見えるが、これには高いビットレートが必要となる。世界中のほとんど全てのコンピュータがこのコーデックを再生できるので、ＶＣＤは、あらゆるデジタルビデオ／オーディオシステムの最高の互換性を有する。技術設計の面では、ＭＰＥＧ−１のＨ．２６１に対する最も大きな強化点は、２分の１画素精度双予測動き補償のサポートであった。ＭＰＥＧ−１は、順次走査ビデオのみをサポートした。

ＭＰＥＧ−２ Ｐａｒｔ２は、Ｈ．２６２との共通テキスト規格であり、ＤＶＤ上及びほとんどのデジタルビデオ放送及びケーブル配信システムで使用される。標準的なＤＶＤ上で使用した場合、ＭＰＥＧ−２ Ｐａｒｔ２は良好な画質を提供するとともにワイド画面をサポートする。技術設計の面では、ＭＰＥＧ−２のＭＰＥＧ−１に対する最も大きな強化点は、インターレースビデオのサポートの追加であった。ＭＰＥＧ−２は古いコーデックと見なされるが、市場で幅広く受け入れられており、実使用数が非常に多い。

Ｈ．２６３は、主にテレビ会議、テレビ電話、及びインターネットビデオに使用される。Ｈ．２６３は、順次走査ビデオのための標準化された圧縮機能において大きな前進を示した。特に、低ビットレートにおいて、Ｈ．２６３は、所定のレベルのフィデリティに達するのに必要なビットレートにおいてかなりの改善をもたらすことができた。

ＭＰＥＧ−４ Ｐａｒｔ２は、インターネット、ブロードキャストに、及び記憶媒体上で使用できるＭＰＥＧ規格である。ＭＰＥＧ−４ Ｐａｒｔ２は、ＭＰＥＧ−２及びＨ．２６３の初版に対して改善された品質を提供する。ＭＰＥＧ−４ Ｐａｒｔ２の先行するコーデック規格を超える主な技術的特徴は、オブジェクト志向の符号化特性で構成されていた。ＭＰＥＧ−４ Ｐａｒｔ２はまた、Ｈ．２６３で開発された能力を取り入れること、及び４分の１画素精度動き補償などの新しい機能を追加することの両方により、いくつかの圧縮能力の強化を含んでいた。ＭＰＥＧ−４ Ｐａｒｔ２は、ＭＰＥＧ−２のように順次走査及びインターレースビデオの両方をサポートする。

ＭＰＥＧ−４ Ｐａｒｔ１０は、ＩＴＵ−ＴのＨ．２６４と技術的に並ぶ規格であり、ＡＶＣと呼ばれることが多い。ＭＰＥＧ−４ Ｐａｒｔ１０は、圧縮機能に数多くの大幅な進歩を含み、最近数多くの企業製品に採用されてきた。

ＤｉｖＸ、ＸｖｉＤ、及び３ｉｖｘは、基本的にＭＰＥＧ−４ Ｐａｒｔ２ビデオコーデックを使用するビデオコーデックパッケージであり、＊．ａｖｉ、＊．ｍｐ４、＊．ｏｇｍ、又は＊．ｍｋｖのファイルコンテナフォーマットを有する。Ｓｏｒｅｎｓｏｎ３は、一般にＡｐｐｌｅ社のＱｕｉｃｋＴｉｍｅによって使用されるコーデックであり、基本的にはＨ．２６４の原型である。ウェブ上で見られるＱｕｉｃｋＴｉｍｅムービーの予告編の多くがこのコーデックを使用する。ＷＭＶ（Ｗｉｎｄｏｗｓ Ｍｅｄｉａ Ｖｉｄｅｏ）は、Ｍｉｃｒｏｓｏｆｔ社のビデオコーデック設計のファミリであり、ＷＭＶ７、ＷＭＶ８、及びＷＭＶ9を含む。ＷＭＶは、Ｍ−ＰＥＧ４コーデック設計の１つのバージョンと見なすことができる。

ＭＰＥＧコーデックは、動画及び関連音声の汎用符号化に使用される。ＭＰＥＧビデオコーデックは、従来より一連の３種類の符号化データフレームから構成される圧縮ビデオビットストリームを生成する。この３種類のデータフレームは、イントラフレーム（Ｉ−フレーム又はＩ−ピクチャと呼ばれる）、双方向予測フレーム（Ｂ−フレーム又はＢ−ピクチャと呼ばれる）、及び前方予測フレーム（Ｐ−フレーム又はＰ−ピクチャと呼ばれる）と呼ばれる。これらの３種類のフレームは、ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）と呼ばれる特定の順序で配列することができる。Ｉ−フレームは、ピクチャを再構成するのに必要な全ての情報を含む。Ｉ−フレームは、動き補償を伴わない標準画像として符号化される。この一方で、Ｐ−フレームは前のフレームからの情報を使用して、及びＢ−フレームは前のフレーム、次のフレーム、又はこれらの両方からの情報を使用してピクチャを再構成する。すなわち、Ｐ−フレームは、先行するＩ−フレーム又は直前のＰ−フレームから予測される。

フレームを直後のフレームから予測することもできる。後のフレームをこのように使用するためには、予測されるフレームよりも前に後のフレームを符号化する必要がある。従って、符号化の順序は、実際のフレームの表示順とは必ずしも一致しない。このようなフレームは、通常２つの方向から、例えば直前のＩ−又はＰ−フレームから、或いは予測されるフレームの直後のＰ−フレームから予測される。これらの双方向に予測されるフレームはＢ−フレームと呼ばれる。

多くのＧＯＰ構造が可能である。一般的なＧＯＰ構造は１５フレーム長で、Ｉ＿ＢＢ＿Ｐ＿ＢＢ＿Ｐ＿ＢＢ＿Ｐ＿ＢＢ＿Ｐ＿ＢＢ＿のシーケンスを有する。同様の１２フレームシーケンスも一般的である。Ｉ−フレームは空間的冗長性を符号化し、Ｐ及びＢ−フレームは時間的冗長性を符号化する。ビデオストリーム内の隣接フレームは相関性が高いことが多いので、Ｐ−フレームはＩ−フレームのサイズの１０％、Ｂ−フレームはＩ−フレームのサイズの２％とすることができる。しかしながら、フレームを圧縮できるサイズと、このような圧縮フレームを符号化するのに要する処理時間及びリソースとの間にはトレードオフが存在する。ＧＯＰ構造内のＩ、Ｐ、及びＢ−フレームの割合は、ビデオストリームの性質及び出力ストリームに対する帯域幅の制約によって決まるが、符号化時間が問題となる場合もある。Ｂ−フレームを多く含むストリームは、Ｉ−フレームのみのファイルよりも符号化にかなり長い時間がかかり得るので、このことは、コンピューティングリソースが限定された生送信及びリアルタイム環境において特に当てはまる。

Ｂ−フレーム及びＰ−フレームは、一般に現在のフレームと、前のフレーム、後のフレーム、又はこれらの両方との間の差分のための差分ビットを含むので、ピクチャデータを記憶するのに必要なビットが少なくて済む。従って、Ｂ−フレーム及びＰ−フレームを使用して、フレームを越えて含まれる冗長情報を低減させる。動作中、デコーダは、符号化されたＢ−フレーム又は符号化されたＰ−フレームを受信し、前又は後のフレームを使用してオリジナルフレームを再構築する。この処理は、各々のオリジナルフレームを別々に再構築するよりもかなり容易であり、連続するフレームが実質的に同様のものである場合には、フレーム内の差分が小さいのでシーン遷移がよりスムーズになる。

個々のビデオ画像は、１つの輝度（Ｙ）チャネル及び２つのクロミナンスチャネル（色差信号Ｃｂ及びＣｒとも呼ばれる）に分離される。輝度配列及びクロミナンス配列のブロックは、フレーム内符号化の基本単位である「マクロブロック」に編成される。

Ｉ−フレームの場合には、実際の画像データが符号化処理を受ける。しかしながら、Ｐ−フレーム及びＢ−フレームは、最初に「動き補償」の処理を受ける。動き補償とは、前のフレームの個々のマクロブロックがどこに動いたかという観点から、連続するフレーム間の差分を表す方法のことである。多くの場合、このような技術を使用して、ビデオ圧縮のためにビデオシーケンスの時間的冗長性を低減させる。Ｐ−フレーム又はＢ−フレーム内の個々のマクロブロックは、エンコーダにより「動き推定」と呼ばれる処理によって得られる「動きベクトル」を使用して選択された場合、高い相関性を有する前の又は次のフレーム内の領域と関連付けられる。現在のマクロブロックを参照フレーム内の相関領域にマッピングする動きベクトルが符号化され、その後２つの領域間の差分が符号化処理を受ける。

従来のビデオコーデックは、動き補償した予測を使用して未加工の入力ビデオストリームを効率的に符号化する。現在のフレーム内のマクロブロックは、前のフレーム内の変位したマクロブロックから予測される。オリジナルのマクロブロックとその予測との間の差分が圧縮され、変位（動き）ベクトルと共に送信される。この技術はインター符号化と呼ばれ、ＭＰＥＧ規格で使用される手法である。

Ｍ−ＰＥＧエンコーダの出力ビットレートは一定であっても又は可変であってもよく、最大ビットレートは再生メディアによって決まる。一定のビットレートを得るためには、量子化の度合いを繰り返し変更して出力ビットレート要件を達成する。量子化を増加させると、ストリームを復号したときにアーチファクトが目立つようになる。ビットレートが減るにつれて、マクロブロックの端部における不連続性がより目立つようになる。

ＡＶＣ（Ｈ．２６４）規格は、以前の規格が必要としたと思われるよりも実質的に低いビットレートで高品質ビデオをサポートする。この機能性により、非常に幅広い種類のビデオアプリケーションにこの規格を適用できるとともに、幅広い種類のネットワーク及びシステム上で十分に機能できるようになる。ＭＰＥＧビデオ符号化規格は、正当なＭＰＥＧビデオビットストリームを生成するための一般的な符号化方法及びシンタックスについて規定するが、現行の規格は、符号化したビデオデータと共にランダムに取り込んだ高解像度静止画像の符号化及び記憶をサポートしていない。

順次モードで動作するように構成されたコーデックが、低解像度ビデオのＡＶＣ符号化内で高解像度静止画像ピクチャの符号化をサポートするようにするために現行のＡＶＣ規格を拡張する。順次モードコーデックは、修正ＡＶＣ規格に基づいて構成される。コーデックは、ＡＶＣビデオストリームを取り込むことができると同時に、高解像度静止画像をビデオストリームに対してランダムな間隔で取り込むことができる。個々の取り込んだ高解像度静止画像がビデオストリーム内に埋め込まれる。この埋め込み高解像度静止画像を含むビデオストリームが単層ビットストリームとして符号化される。個々の埋め込み高解像度静止画像は、符号化したビデオシーケンス内における新規ＧＯＰの開始を知らせ、又は強制する。単層ビットストリームが、送信側のエンコーダから受信側のデコーダへ送信される。

埋め込み高解像度静止画像をビデオストリームに含めるために、シーケンスパラメータセットのための新しいシンタックスを含むようにＡＶＣ規格を拡張する。１つの実施形態では、修正シーケンスパラメータセットが、ＡＶＣビデオに連なって高解像度静止画像が存在することを知らせる新規プロファイルを定義する。

１つの態様にでは、データを符号化する方法について説明する。この方法は、データの複数の連続するビデオフレームを含むビデオストリームを取り込むステップと、１又はそれ以上の静止画像をビデオストリームに対してランダムな時間間隔で取り込むステップと、個々の静止画像をビデオフレーム内に連続して埋め込むことにより、結合データストリームを形成するステップと、修正シーケンスパラメータセット内で新規プロファイル定義を使用することにより、高解像度静止画像の存在を知らせるステップと、結合データストリームを符号化するステップと、符号化済み結合データストリームを単層伝送として送信するステップとを含む。方法はまた、個々の取り込み高解像度静止画像をダウンサンプリングするステップと、個々の静止画像のダウンサンプリング版を、ビデオストリーム内の後続フレームの参照画像として使用するために記憶するステップとを含むこともできる。方法はまた、個々の取り込み静止画像に関連する画像特性をビデオ特性に変換して、個々の静止画像のダウンサンプリング版がビデオの特性にマッチするようにするステップを含むこともできる。結合データストリームを符号化するステップは、個々の静止画像のダウンサンプリング版に基づいてビデオフレームを符号化するステップを含むことができる。個々の埋め込み静止画像は新規ＧＯＰを示すことができる。個々の静止画像を結合データストリーム内にランダムに埋め込むことができる。個々のＧＯＰのサイズは可変とすることができる。結合データストリームを修正ＡＶＣ規格に基づいて符号化することができる。方法はまた、単層伝送を受信するステップと、修正シーケンスパラメータセットの存在により、個々の埋め込み静止画像の存在を検出するステップと、検出された個々の静止画像を復号するステップと、個々のビデオフレームを復号するステップとを含むこともできる。方法はまた、個々の復号静止画像をダウンサンプリングするステップと、個々の静止画像のダウンサンプリング版を記憶するステップとを含むこともできる。方法はまた、個々の復号静止画像に関連する画像特性をビデオ特性に変換して、個々の静止画像のダウンサンプリング版がビデオストリームの特性にマッチするようにするステップを含むこともできる。個々のビデオフレームを復号するステップは、静止画像が予測のための参照として使用される場合、個々のビデオフレームを個々の静止画像のダウンサンプリング版に基づいて復号するステップを含むことができる。個々の静止画像は高解像度静止画像を含むことができる。個々のビデオフレームは低解像度ビデオフレームを含むことができる。ビデオストリームのフレームレートは、１又はそれ以上の静止画像のフレームレートとは無関係とすることができる。

別の態様では、データを符号化するためのシステムについて説明する。システムは、複数の連続するビデオフレームデータを含むビデオストリームを取り込むためのビデオ取込モジュールと、１又はそれ以上の静止画像をビデオストリームに対してランダムな時間間隔で取り込むための静止画像取込モジュールと、個々の取り込み静止画像をビデオフレーム内に埋め込むとともに、修正シーケンスパラメータセットを設定して個々の静止画像の存在を知らせることにより結合データストリームを生成するための処理モジュールと、結合データストリームを符号化することにより符号化済み結合データストリームを形成するためのエンコーダと、符号化済み結合データストリームを単層伝送として送信するための送信機とを含む。エンコーダは、個々の静止画像をダウンサンプリングするためのダウンサンプリングモジュールと、個々の静止画像のダウンサンプリング版を記憶するためのバッファとを含むことができる。エンコーダは、個々の取り込み静止画像に関連する画像特性をビデオ特性に変換して、個々の静止画像のダウンサンプリング版をビデオの特性にマッチさせるように構成することができる。エンコーダは、個々の静止画像のダウンサンプリング版に基づいてビデオフレームを符号化することにより、結合データストリームを符号化するように構成することができる。処理モジュールは、修正シーケンスパラメータセットを定義し、ビデオストリーム内に静止画像が存在するごとにこのパラメータセットを追加して、静止画像の存在及び新規ＧＯＰの開始を知らせるように構成することができる。処理モジュールを、１又はそれ以上の静止画像パラメータを定義するように構成することもでき、個々の静止画像パラメータは、画像高さ及び画像幅のうちの１又はそれ以上などの静止画像の特性を定義する。個々の埋め込み静止画像は新規のＧＯＰを示すことができる。個々の静止画像を結合データストリーム内にランダムに埋め込むことができる。個々のＧＯＰのサイズは可変とすることができる。結合データストリームを修正ＡＶＣ規格に基づいて符号化することができる。個々の静止画像は高解像度静止画像を含むことができる。個々のビデオフレームは低解像度ビデオフレームを含むことができる。ビデオストリームのフレームレートは、１又はそれ以上の静止画像のフレームレートとは無関係とすることができる。

さらに別の態様では、データを復号するためのシステムについて説明する。システムは、複数のビデオフレーム内に埋め込まれた１又はそれ以上の静止画像を含む符号化データストリームを単層伝送として受信するための受信機と、修正シーケンスパラメータセットの内容を構文解析することにより、埋め込み静止画像の存在を検出するための処理モジュールと、符号化データストリーム内に埋め込まれた個々の静止画像を復号するとともに個々の符号化ビデオフレームを復号してビデオストリームデータを形成するためのデコーダとを含み、個々の静止画像は、ビデオストリームに対してランダムな時間間隔で復号される。デコーダは、個々の静止画像をダウンサンプリングするためのダウンサンプリングモジュールと、個々の静止画像のダウンサンプリング版を記憶するためのバッファとを含むことができる。デコーダは、個々の復号静止画像に関連する画像特性をビデオ特性に変換して、個々の静止画像のダウンサンプリング版をビデオストリームの特性にマッチさせるように構成することができる。デコーダは、静止画像が参照として使用される場合、個々の静止画像のダウンサンプリング版に基づいて個々の適当なビデオフレームを復号することにより、個々の符号化ビデオフレームを復号するように構成することができる。処理モジュールを、１又はそれ以上の静止画像パラメータを検出するように構成することができ、個々の静止画像パラメータは、画像高さ及び画像幅のうちの１又はそれ以上などの静止画像の特性を定義する。個々の埋め込み静止画像は新規ＧＯＰを示すことができる。個々の静止画像を符号化データストリーム内にランダムに埋め込むことができる。個々のＧＯＰのサイズは可変とすることができる。符号化データストリームを修正ＡＶＣ規格に基づいて符号化することができる。個々の静止画像は高解像度静止画像を含むことができる。個々のビデオフレームは低解像度ビデオフレームを含むことができる。ビデオストリームのフレームレートは、１又はそれ以上の静止画像のフレームレートとは無関係とすることができる。

さらに別の態様では、データを符号化及び復号するためのシステムについて説明する。システムは、複数の連続するビデオフレームデータを含む第１のビデオストリームを取り込むためのビデオ取込モジュールと、１又はそれ以上の静止画像を第１のビデオストリームに対してランダムな時間間隔で取り込むための静止画像取込モジュールと、個々の取り込み静止画像を第１のビデオストリームのビデオフレーム内に埋め込むとともに、シーケンスパラメータセットを設定して静止画像の存在を知らせることにより第１のデータストリームを生成するための処理モジュールと、第１のデータストリームを符号化することにより、第１の符号化データストリームを形成するためのエンコーダと、第１の符号化データストリームを第１の単層伝送として送信するとともに第２の符号化データストリームを第２の単層伝送として受信するためのトランシーバと、第２の符号化データストリーム内に埋め込まれた個々の静止画像を復号するとともに、第２の符号化データストリーム内の個々の符号化ビデオフレームを復号して第２のビデオストリームデータを形成するためのデコーダとを含む。エンコーダは、個々の静止画像をダウンサンプリングするためのダウンサンプリングモジュールと、個々の静止画像のダウンサンプリング版を記憶するためのバッファとを含むことができる。デコーダは、個々の静止画像をダウンサンプリングするためのダウンサンプリングモジュールと、個々の静止画像のダウンサンプリング版を記憶するためのバッファとを含むことができる。

修正ＡＶＣ規格を使用してビデオストリーム内に高解像度静止画像を埋め込むための順次モードを示す図である。 順次モードで動作するように構成された例示的なイメージングシステムのブロック図である。 図２のエンコーダの例示的なブロック図である。 低解像度ビデオストリームのＡＶＣ符号化と連続して高解像度デジタル静止画像を符号化する方法を示す図である。 単層データストリームを復号して高解像度静止画像を形成する方法を示す図である。

順次モードのコーデックの実施形態について、図面のいくつかの図に関連して説明する。必要に応じて及び同一要素が２以上の図面に開示及び図示されている場合に限り、同じ参照数字を使用してこのような同一要素を示す。

順次モード法は単層法とも呼ばれ、静止画像符号化機能のＡＶＣへの追加をサポートする。ＡＶＣフォーマット済みのビデオストリーム内の隣接するＰ−ピクチャ、Ｂ−ピクチャ、又はＩ−ピクチャと比較した場合、より高い空間解像度での高解像度静止画像の符号化をサポートするようにＡＶＣ規格を拡張する。高解像度静止画像をビデオストリーム内に埋め込んで単層を形成する点で、この方法は順次法と呼ばれる。この順次法は、高解像度静止画像をランダムな間隔で取り込み、その後ビデオストリーム内に埋め込むことができるようにする。この意味において、ＡＶＣビデオストリーム内にランダムに埋め込まれた１又はそれ以上の高解像度静止画像を含む単層データストリームが一連の可変サイズのＧＯＰになる。

順次モードを使用してビデオを取り込み、ＡＶＣで符号化する間、ユーザがより高い解像度の静止画像を所望した場合には、符号化ビデオシーケンス内で新規ＧＯＰ又はＳ−Ｉ（静止画像）ピクチャの開始が知らされる。この「Ｓ−Ｉ−ピクチャ」は、通常のビデオシーケンスよりもかなり高い空間解像度を有する。同時に、Ｓ−Ｉピクチャを個別に復号することにより、ランダムアクセス能力を提供することができる。Ｓ−Ｉ−ピクチャはまた、ビデオ特性の代わりに画像特性も含み、これらの特性はカラーマッピングの違いを意味することができる。静止画像は、異なるアスペクト比及び色などの、ビデオとは異なる特性を有する。従って、通常、Ｓ−Ｉ−ピクチャは、ビデオストリームに関連するＩ−ピクチャ、Ｐ−ピクチャ、又はＢ−ピクチャとは異なる特性を含む。高解像度静止画像に関連するＳ−Ｉ−ピクチャは、ビデオストリームに関連するＩ−ピクチャとは異なる。Ｓ−Ｉ−ピクチャのランダム性により、結果的に特定のＳ−Ｉ−ピクチャがビデオストリームのＧＯＰと合致することが起きる。この場合の１つの実施形態では、Ｓ−Ｉ−ピクチャが、単層データストリーム内でＩピクチャに取って代わる。高解像度静止画像を取り込むランダム性に起因して、ビデオストリームのＧＯＰに対するＳ−Ｉピクチャの合致頻度は様々であり、全く発生しないこともある。

図１は、修正ＡＶＣ規格を使用して高解像度静止画像を記憶するための順次モードを示している。修正ＡＶＣでフォーマットされたデータストリーム１０が、ＡＶＣフォーマット済みのビデオフレーム内に埋め込まれた高解像度静止画像を含む。ＡＶＣフォーマット済みのビデオフレームは、当業者で周知のようなＰ−ピクチャ、Ｂ−ピクチャ、及びＩ−ピクチャを含む。個々の高解像度静止画像はＳ−Ｉ−ピクチャとして表現され、ビデオフレーム内にランダムに散在する。ＡＶＣビデオストリームは決定されたＧＯＰに基づいて構成され、この場合個々のＩ−ピクチャが新規ＧＯＰの開始を示す。修正ＡＶＣデータストリームでは、個々のＳ−Ｉ−ピクチャも新規ＧＯＰの開始を示す。高解像度静止画像をあらゆるランダムな時点で取り込むことができるので、対応するＳ−Ｉ−ピクチャを、修正ＡＶＣビデオストリーム内のあらゆるランダムな位置に埋め込むことができる。従って、修正ＡＶＣデータストリーム内の個々のＧＯＰはサイズの上では可変である。

図１の修正ＡＶＣデータストリーム１０は、Ｉ−ピクチャ１８及び２０を含む例示的な一連のビデオフレーム、及びＳ−Ｉ−ピクチャ１２、１４、及び１６を含む高解像度静止画像を示している。個々のＳ−Ｉ−ピクチャ及び個々のＩ−ピクチャが新規ＧＯＰの開始を示す。修正ＡＶＣデータストリーム１０を参照すると、ＧＯＰ２２はＳ−Ｉ−ピクチャ１２で始まるように合わせられ、ＧＯＰ２４はＳ−Ｉ−ピクチャ１４で始まるように合わせられ、ＧＯＰ２６はＩ−ピクチャ１８で始まるように合わせられ、ＧＯＰ２８はＳ−Ｉ−ピクチャ１６で始まるように合わせられ、ＧＯＰ３０はＩ−ピクチャ２０で始まるように合わせられる。

高解像度静止画像はランダムな間隔で取り込まれるので、Ｓ−Ｉ−ピクチャがＩ−ピクチャと合致することが起きる。この場合の１つの実施形態では、Ｉ−ピクチャがＳ−Ｉ−ピクチャに取って代わられる。高解像度静止画像は、Ｓ−Ｉ−ピクチャとして構成される。Ｓ−Ｉ−ピクチャは、ビデオストリームのＩ−ピクチャ、Ｐ−ピクチャ、及びＢ−ピクチャ内に埋め込まれる。ＡＶＣ規格によれば、Ｐ−ピクチャ及びＢ−ピクチャは、Ｉ−ピクチャから予測することができる。しかしながら、Ｉ−ピクチャがＳ−Ｉ−ピクチャに取って代わられた場合、或いはＳ−Ｉ−ピクチャが新規ＧＯＰの開始を示す場合には、Ｓ−Ｉ−ピクチャが後続のＰ−ピクチャ及びＢ−ピクチャを予測するための起点又は参照として使用される。Ｓ−Ｉ−ピクチャは、隣接するＰ及びＢ−ピクチャよりも解像度が高いので、Ｓ−Ｉ−ピクチャをビデオの解像度にダウンサンプリングする。また、Ｓ−Ｉ−ピクチャによって定義される画像特性を適当なビデオ特性に変換してＰ−ピクチャ及びＢ−ピクチャの予測に使用する必要がある。基本的に、高解像度静止画像をビデオの符号化において参照として使用する場合には、高解像度静止画像をダウンサンプリングし、画像特性をビデオ特性に変換して、静止画像ではなくビデオに適するようにフォーマットする。

修正ＡＶＣ規格は、個々の高解像度静止画像をあらゆるランダムな間隔で取り込むことができるようにする。換言すれば、Ｓ−Ｉ−ピクチャのフレームレートは、ＡＶＣビデオストリームのフレームレートに一致したり、或いはその倍数である必要はないが、状況によってはこれらのフレームレートが等しい場合もある。残差情報をビデオストリームに対して一定の割合で生成する必要がある従来のコーデックとは対照的に、修正ＡＶＣ規格に基づいて構成される順次モードコーデックは、このような要件を担うことはない。順次モードコーデックを使用して送信される高解像度静止画像は、ランダムなフレームレート、又はビデオストリームのフレームレートとは無関係なフレームレートに基づく。

図２は、順次モードで動作するように構成された例示的なイメージングシステム４０のブロック図を示している。イメージングシステム４０は、画像取込モジュール４２と、コーデック４８と、処理モジュール５４と、メモリ５６と、入出力（Ｉ／Ｏ）インターフェイス５８とを含む。Ｉ／Ｏインターフェイス５８は、データを送受信するためのユーザインターフェイス及びネットワークインターフェイスを含む。メモリ５６は、一体型又は取り外し可能のいずれかの従来型のデータ記憶媒体である。コーデック４８は、エンコーダ５０及びデコーダ５２を含む。画像取込モジュール４２は、低解像度ビデオを取り込むためのビデオ取込モジュール４４、及び高解像度静止画像を取り込むための静止画像取込モジュール４６を含む。

図３は、図２のエンコーダ５０の例示的なブロック図を示している。エンコーダ５０は、動き推定（ＭＥ）モジュール６０と、動き補償（ＭＣ）モジュール６２と、コンパレータ６４と、変換モジュール６６と、量子化モジュール６８と、ＶＬＣ／ＣＡＢＡＣモジュール７０と、逆量子化モジュール７２と、逆変換モジュール７４と、ダウンサンプルモジュール７６と、高解像度静止画像選択スイッチ７８と、フレームバッファ８０とを含む。図３に示すように、エンコーダ側では、高解像度静止画像であるＳ−Ｉ−ピクチャの符号化にフラグが立てられ、これが高解像度ビデオのイントラモードでの符号化（Ｉ−ピクチャ）と同様に符号化される。決定的な違いは、エンコーダがＳ−Ｉ−ピクチャのダウンサンプリング版をフレームバッファ８０に記憶して、後続する解像度のより低いＰ−ピクチャ及びＢ−ピクチャのための参照ピクチャとして使用することである。高解像度静止画像が存在する場合、スイッチ７８へ信号が送信される。この信号に応答して、スイッチがダウンサンプルモジュール７６に接続され、現在のフレームであるＳ−Ｉ−ピクチャのダウンサンプリング版がフレームバッファ８０へ送信されるようになる。エンコーダの複雑性を最小化するために、Ｉ−ピクチャの符号化は、ビデオ及び静止画像の両方の符号化のリアルタイム要件に対処するように設計される。

デコーダ側では、ビデオカメラなどの画像表示装置がデジタル静止画像モードにある場合、高解像度静止画像Ｓ−Ｉ−ピクチャがアクセスされ、復号されて表示される。ビデオモードでは、復号された高解像度静止画像のダウンサンプリング版が表示され、Ｐ−ピクチャ及びＢ−ピクチャに対するさらなる参照のためにフレームバッファに記憶される。エンコーダ側と同様に、デコーダは、高解像度のＩ−ピクチャのリアルタイムな符号化に対処するように設計される。いくつかの実施形態では、デコーダが動き推定モジュールを含まず、ＧＯＰがＳ−Ｉ−ピクチャから開始する場合にはＧＯＰの先頭に存在し又は必須である高解像度静止画像の存在が修正シーケンスパラメータセットによって知らされることを除き、デコーダがエンコーダ５０と同様に構成される。デコーダの処理フローは、エンコーダの処理フローを逆にしたものである。

図４は、低解像度ビデオストリームのＡＶＣ符号化と連続して高解像度デジタル静止画像を符号化する方法を示している。ステップ１００において、入力ビデオストリームが取り込まれる。あらゆるランダムな時点で、ステップ１１０において高解像度静止画像が取り込まれる。他の時点で、その他の静止画像を取り込むことができる。ステップ１２０において、個々の取り込み高解像度静止画像がビデオストリーム内に埋め込まれることにより、埋め込み高解像度静止画像及び入力ビデオストリームのビデオフレームを含む結合データストリームが形成される。個々の高解像度静止画像は、高解像度静止画像を取り込んだ時点に時間的に対応する時点でビデオストリーム内に埋め込まれる。ステップ１３０において、修正シーケンスパラメータセットにより、ＧＯＰがＳ−Ｉ−ピクチャで開始する場合にはＧＯＰの先頭に存在し又は必須である高解像度静止画像の存在が通知される。

この実施形態では、個々の高解像度静止画像が、ビデオストリーム内のＰ−ピクチャ及びＢ−ピクチャを符号化するための予測参照として使用される。しかしながら、この目的のためには高解像度静止画像の解像度が高すぎる。ステップ１４０において、個々の高解像度静止画像がダウンサンプリングされ、高解像度静止画像のダウンサンプリング版がバッファに記憶される。ステップ１５０において、結合データストリームが符号化され、高解像度静止画像のダウンサンプリング版が、結合データストリーム内の適当なＰ−ピクチャ及びＢ−ピクチャを符号化するための予測参照として使用される。ステップ１６０において、符号化済みの結合データストリームがエンコーダからデコーダへ単層伝送として送信される。

図５は、単層データストリームを復号して高解像度静止画像を形成する方法を示している。ステップ２００において、デコーダが、ステップ１６０（図４）において送信された単層の符号化済み結合データストリームを受信する。ステップ２１０において、修正シーケンスパラメータセット（ＳＰＳ）の存在により、受信した結合データストリーム内にＳ−Ｉ−ピクチャが存在することが新規プロファイル定義を使用して示されることにより、結合データストリーム内に埋め込まれた高解像度静止画像が検出される。このような個々の検出されたＳＰＳごとに、対応する高解像度静止画像がステップ２２０において復号される。ステップ２３０において、個々の復号済み高解像度静止画像がダウンサンプリングされる。ステップ２４０において、高解像度静止画像のダウンサンプリング版がバッファに記憶される。ステップ２５０において、結合データストリームを含むビデオフレームが復号される。１つの実施形態では、高解像度静止画像のダウンサンプリング版が、適当なＰ−ピクチャ及びＢ−ピクチャを符号化するための予測参照として使用される。

既存のＡＶＣ規格を、高解像度静止画像のランダムな取り込みをサポートするように修正するために、高解像度静止画像をビデオフレームの連続ストリーム内にランダムな時間間隔で組み込めるようにするとともに、ビデオストリームに高解像度静止画像が含まれていることをデコーダに知らせるように既存のＡＶＣ規格を拡張する。シーケンスパラメータセットが、特定の時点におけるビデオストリームの特性を定義する。

修正ＡＶＣ規格は、修正シーケンスパラメータセット（ＳＰＳ）ＲＢＳＰシンタックスを含む。１つの実施形態では、修正シーケンスパラメータセットが、新規プロファイルインジケータを定義することにより、及び対応するフラグをセットして高解像度静止画像の幅及び高さなどの画像特性を知らせることにより、高解像度静止画像が存在することを知らせる。以下は、例示的な修正ＳＰＳ ＲＢＳＰシンタックスである。

パラメータ「ｓｔｉｌｌ＿ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｍｂｓ＿ｍｉｎｕｓ１」＋１は、復号した個々の高解像度静止ピクチャの幅をマクロブロック単位で指定する。パラメータ「ｓｔｉｌｌ＿ｐｉｃ＿ｈｉｇｈｔ＿ｉｎ＿ｍａｐ＿ｕｎｉｔｓ＿ｍｉｎｕｓ１」＋１は、高解像度静止ピクチャの復号フレームのスライスグループマップ単位での高さを指定する。

修正シーケンスパラメータセットを定義するための上記で使用したシンタックスは例示を目的とするものである点、及び代替のシンタックスを使用して修正シーケンスパラメータセットを定義できる点を理解されたい。

本発明の構成及び動作の原理の理解を容易にするために、詳細を含む特定の実施形態に関連して本発明について説明した。本明細書における、このような特定の実施形態及びこれらの詳細の参照は、添付の特許請求の範囲を限定することを意図するものではない。当業者には、本発明の思想及び範囲から逸脱することなく、例示のために選択した実施形態に修正を加えることができる点が明らかであろう。

１０ データストリーム
１２〜１６ ＳＩ−ピクチャ「高解像度静止画像」
１８、２０ Ｉ−ピクチャ
２２〜３０ ＧＯＰ

Claims (43)

1. データを符号化する方法であって、
   ａ．複数の連続するビデオフレームデータを含むビデオストリームデータを取り込むステップと、
   ｂ．１又はそれ以上の静止画像を前記ビデオストリームに対してランダムな時間間隔で取り込むステップと、
   ｃ．個々の静止画像を前記ビデオフレーム内に連続して埋め込むことにより、結合データストリームを形成するステップと、
   ｄ．修正シーケンスパラメータセット内で新規プロファイル定義を使用することにより、高解像度静止画像の存在を知らせるステップと、
   ｅ．前記結合データストリームを符号化するステップと、
   ｆ．前記符号化した結合データストリームを単層伝送として送信するステップと、
   を含むことを特徴とする方法。
2. 個々の取り込み高解像度静止画像をダウンサンプリングするステップと、個々の静止画像のダウンサンプリング版を、前記ビデオストリーム内の後続フレームの参照画像として使用するために記憶するステップとをさらに含む、
   ことを特徴とする請求項１に記載の方法。
3. 個々の取り込み静止画像に関連する画像特性をビデオ特性に変換して、個々の静止画像の前記ダウンサンプリング版が前記ビデオの前記特性にマッチするようにするステップをさらに含む、
   ことを特徴とする請求項２に記載の方法。
4. 前記結合データストリームを符号化するステップが、個々の静止画像の前記ダウンサンプリング版に基づいて前記ビデオフレームを符号化するステップを含む、
   ことを特徴とする請求項３に記載の方法。
5. 個々の埋め込み静止画像が新規ＧＯＰを示す、
   ことを特徴とする請求項１に記載の方法。
6. 個々の静止画像が、前記結合データストリーム内にランダムに埋め込まれる、
   ことを特徴とする請求項５に記載の方法。
7. 個々のＧＯＰのサイズが可変である、
   ことを特徴とする請求項６に記載の方法。
8. 前記結合データストリームが修正ＡＶＣ規格に基づいて符号化される、
   ことを特徴とする請求項１に記載の方法。
9. ａ．前記単層伝送を受信するステップと、
   ｂ．修正シーケンスパラメータセットの存在により、個々の埋め込み静止画像の発生を検出するステップと、
   ｃ．検出された個々の静止画像を復号するステップと、
   ｄ．個々のビデオフレームを復号するステップと、
   をさらに含むことを特徴とする請求項１に記載の方法。
10. 個々の復号静止画像をダウンサンプリングするステップと、個々の静止画像のダウンサンプリング版を記憶するステップとをさらに含む、
    ことを特徴とする請求項９に記載の方法。
11. 個々の復号静止画像に関連する画像特性をビデオ特性に変換して、個々の静止画像の前記ダウンサンプリング版が前記ビデオストリームの前記特性にマッチするようにするステップをさらに含む、
    ことを特徴とする請求項１０に記載の方法。
12. 個々のビデオフレームを復号するステップは、前記静止画像が予測のための参照として使用される場合、個々の静止画像の前記ダウンサンプリング版に基づいて個々のビデオフレームを復号するステップを含む、
    ことを特徴とする請求項１１に記載の方法。
13. 個々の静止画像が高解像度静止画像を含む、
    ことを特徴とする請求項１に記載の方法。
14. 個々のビデオフレームが低解像度ビデオフレームを含む、
    ことを特徴とする請求項１に記載の方法。
15. 前記ビデオストリームのフレームレートが、前記１又はそれ以上の静止画像のフレームレートとは無関係である、
    ことを特徴とする請求項１に記載の方法。
16. データを符号化するためのシステムであって、
    ａ．複数の連続するビデオフレームデータを含むビデオストリームデータを取り込むためのビデオ取込モジュールと、
    ｂ．１又はそれ以上の静止画像を前記ビデオストリームに対してランダムな時間間隔で取り込むための静止画像取込モジュールと、
    ｃ．個々の取り込み静止画像を前記ビデオフレーム内に埋め込むとともに、修正シーケンスパラメータセットを設定して個々の静止画像の存在を知らせることにより結合データストリームを生成するための処理モジュールと、
    ｄ．前記結合データストリームを符号化することにより符号化済み結合データストリームを形成するためのエンコーダと、
    ｅ．前記符号化済み結合データストリームを単層伝送として送信するための送信機と、
    を含むことを特徴とするシステム。
17. 前記エンコーダが、個々の静止画像をダウンサンプリングするためのダウンサンプリングモジュールと、個々の静止画像のダウンサンプリング版を記憶するためのバッファとを含む、
    ことを特徴とする請求項１６に記載のシステム。
18. 前記エンコーダが、個々の取り込み静止画像に関連する画像特性をビデオ特性に変換して、個々の静止画像の前記ダウンサンプリング版を前記ビデオの前記特性にマッチさせるように構成されている、
    ことを特徴とする請求項１７に記載のシステム。
19. 前記エンコーダが、個々の静止画像の前記ダウンサンプリング版に基づいて前記ビデオフレームを符号化することにより、前記結合データストリームを符号化するように構成されている、
    ことを特徴とする請求項１８に記載のシステム。
20. 前記処理モジュールが、修正シーケンスパラメータセットを定義し、前記ビデオストリーム内に前記静止画像が存在するごとに前記パラメータセットを追加して、前記静止画像の存在及び新規ＧＯＰの開始を知らせるように構成されている、
    ことを特徴とする請求項１６に記載のシステム。
21. 前記処理モジュールが、１又はそれ以上の静止画像パラメータを定義するようにさらに構成され、個々の静止画像パラメータが、前記静止画像の特性、例えば、画像高さ及び画像幅のうちの１又はそれ以上を定義する、
    ことを特徴とする請求項２０に記載のシステム。
22. 個々の埋め込み静止画像が新規ＧＯＰを示す、
    ことを特徴とする請求項１６に記載のシステム。
23. 個々の静止画像が前記結合データストリーム内にランダムに埋め込まれる、
    ことを特徴とする請求項２２に記載のシステム。
24. 個々のＧＯＰのサイズが可変である、
    ことを特徴とする請求項２３に記載のシステム。
25. 前記結合データストリームが修正ＡＶＣ規格に基づいて符号化される、
    ことを特徴とする請求項１６に記載のシステム。
26. 個々の静止画像が高解像度静止画像を含む、
    ことを特徴とする請求項１６に記載のシステム。
27. 個々のビデオフレームが低解像度ビデオフレームを含む、
    ことを特徴とする請求項１６に記載のシステム。
28. 前記ビデオストリームの前記フレームレートが、前記１又はそれ以上の静止画像の前記フレームレートとは無関係である、
    ことを特徴とする請求項１６に記載のシステム。
29. データを復号するためのシステムであって、
    ａ．複数のビデオフレーム内に埋め込まれた１又はそれ以上の静止画像を含む符号化データストリームを単層伝送として受信するための受信機と、
    ｂ．修正シーケンスパラメータセットの内容を構文解析することにより、埋め込み静止画像の存在を検出するための処理モジュールと、
    ｂ．前記符号化データストリーム内に埋め込まれた個々の静止画像を復号するとともに個々の符号化ビデオフレームを復号してビデオストリームデータを形成するためのデコーダと、
    を含み、個々の静止画像が、前記ビデオストリームに対してランダムな時間間隔で復号される、
    ことを特徴とするシステム。
30. 前記デコーダが、個々の静止画像をダウンサンプリングするためのダウンサンプリングモジュールと、個々の静止画像のダウンサンプリング版を記憶するためのバッファとを含む、
    ことを特徴とする請求項２９に記載のシステム。
31. 前記デコーダが、個々の復号静止画像に関連する画像特性をビデオ特性に変換して、個々の静止画像の前記ダウンサンプリング版を前記ビデオストリームの特性にマッチさせるように構成されている、
    ことを特徴とする請求項３０に記載のシステム。
32. 前記デコーダが、前記静止画像が参照として使用される場合、個々の静止画像の前記ダウンサンプリング版に基づいて個々の適当なビデオフレームを復号することにより、個々の符号化ビデオフレームを復号するように構成されている、
    ことを特徴とする請求項３１に記載のシステム。
33. 前記処理モジュールが、１又はそれ以上の静止画像パラメータを検出するように構成され、個々の静止画像パラメータが、前記静止画像の特性、例えば、画像高さ及び画像幅のうちの１又はそれ以上を定義する、
    ことを特徴とする請求項２９に記載のシステム。
34. 個々の埋め込み静止画像が新規ＧＯＰを示す、
    ことを特徴とする請求項２９に記載のシステム。
35. 個々の静止画像が前記符号化データストリーム内にランダムに埋め込まれる、
    ことを特徴とする請求項３４に記載のシステム。
36. 個々のＧＯＰのサイズが可変である、
    ことを特徴とする請求項３５に記載のシステム。
37. 前記符号化データストリームが修正ＡＶＣ規格に基づいて符号化される、
    ことを特徴とする請求項２９に記載のシステム。
38. 個々の静止画像が高解像度静止画像を含む、
    ことを特徴とする請求項２９に記載のシステム。
39. 個々のビデオフレームが低解像度ビデオフレームを含む、
    ことを特徴とする請求項２９に記載のシステム。
40. 前記ビデオストリームのフレームレートが、前記１又はそれ以上の静止画像のフレームレートとは無関係である、
    ことを特徴とする請求項２９に記載のシステム。
41. データを符号化及び復号するためのシステムであって、
    ａ．複数の連続するビデオフレームデータを含む第１のビデオストリームデータを取り込むためのビデオ取込モジュールと、
    ｂ．１又はそれ以上の静止画像を前記第１のビデオストリームに対してランダムな時間間隔で取り込むための静止画像取込モジュールと、
    ｃ．個々の取り込み静止画像を前記第１のビデオストリームの前記ビデオフレーム内に埋め込むとともに、シーケンスパラメータセットを設定して前記静止画像の存在を知らせることにより第１のデータストリームを生成するための処理モジュールと、
    ｄ．前記第１のデータストリームを符号化することにより、第１の符号化データストリームを形成するためのエンコーダと、
    ｅ．前記第１の符号化データストリームを第１の単層伝送として送信するとともに第２の符号化データストリームを第２の単層伝送として受信するためのトランシーバと、
    ｆ．前記第２の符号化データストリーム内に埋め込まれた個々の静止画像を復号するとともに、前記第２の符号化データストリーム内の個々の符号化ビデオフレームを復号してデータの第２のビデオストリームデータを形成するためのデコーダと、
    を含むことを特徴とするシステム。
42. 前記エンコーダが、個々の静止画像をダウンサンプリングするためのダウンサンプリングモジュールと、個々の静止画像のダウンサンプリング版を記憶するためのバッファとを含む、
    ことを特徴とする請求項４１に記載のシステム。
43. 前記デコーダが、個々の静止画像をダウンサンプリングするためのダウンサンプリングモジュールと、個々の静止画像のダウンサンプリング版を記憶するためのバッファとを含む、
    ことを特徴とする請求項４１に記載のシステム。

Images