JP2006527518A

JP2006527518A - ビデオ圧縮

Info

Publication number: JP2006527518A
Application number: JP2006508463A
Authority: JP
Inventors: ハーン，ヘラルトデ; カーボスマ，マルコ; ブレイン，フレデリクイェーデ; ロデル，ロヒール; リーメンス，アブラハム　カー; エーウィーレンハ，ペーテル
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2003-06-06
Filing date: 2004-05-27
Publication date: 2006-11-30
Also published as: KR20060036922A; US20060209947A1; WO2004110069A1

Abstract

ビデオデータストリームからビデオフレームのストーリーボードを生成し、そのストーリーボードのビデオフレームのみをポータブル電子装置に伝送する方法と装置を開示する。入力ビデオデータからコンテント制御サマリーを生成する。そのコンテント制御サマリーを連続的オーディオ信号と同期させる。そのサマリーをその連続オーディオとともに符号化し伝送する。

Description

本発明は、ビデオ圧縮と伝送に関し、特に、移動データサービスのためのビデオ圧縮に関する。

今日、携帯電話その他ポータブル電子装置は通信以外の用途にも使用されている。例えば、多くの新しい携帯電話その他ポータブル電子装置は、ビデオ画像を表示することができるスクリーンを備えている。その結果として、ニュースやスポーツ等のビデオ画像をこれらのポータブル装置にブロードキャストすることができる。しかし、ビデオ画像のデータ量は膨大なので、携帯電話その他ポータブル装置にフルモーションビデオ信号を伝送して表示しようとすると、重大な問題が起こる。より具体的に、各画像フレームは、特定システムの表示解像度に応じたピクセルアレイにより形成された静止画である。その結果として、高解像度ビデオシーケンスに含まれる生情報の量は膨大である。伝送しなければならないデータ量を減らすため、圧縮方法（scheme）を用いてデータを圧縮する。いろいろなビデオ圧縮標準またはプロセスが確立されており、例えば、MPEG-2、MPEG-4、H.264などがある。しかし、これらの圧縮方法だけではポータブル電子装置に容易に伝送及び表示できる許容レベルまでデータ量を減らすことができない。

本発明は、ビデオデータストリームからビデオフレームのストーリーボードを生成し、そのストーリーボードのビデオフレームのみをポータブル電子装置に伝送する方法と装置を開示する。

本発明の一実施形態によると、伝送のためにビデオ信号を圧縮する方法と装置が開示される。入力ビデオデータからコンテント制御サマリーを生成する。そのコンテント制御サマリーを連続的オーディオ信号と同期させる。そのサマリーをその連続オーディオとともに符号化し伝送する。

本発明の他の実施形態によると、ユーザが要求した情報を供給する通信システム及び方法を開示する。そのユーザから情報要求を受信した時、データベースをサーチして、要求されたビデオ情報をそのデータベースから探して抽出する。抽出された情報のコンテント制御サマリーを生成する。そのコンテント制御サマリーを連続的オーディオ信号と同期させる。そのサマリーをその連続的オーディオとともに符号化する。

以下に説明する実施形態を参照して、本発明の上記その他の態様を明らかにする。

図１は、本発明の一実施形態による、移動データサービスのためにストーリーボードベースビデオ圧縮を提供する通信システム１００を示す。通信システム１００は、ビデオ信号１０４を受信し、そのビデオ信号中の重要シーンのストーリーボードを生成する、コンテント制御サマリー抽出装置１０２を有する。ビデオストリーム全体ではなく、これらの重要ビデオシーンだけがユーザのポータブル電子装置に送信される。サマリー／オーディオ同期装置１０６を用いて、コンテント制御サマリー抽出装置１０２により生成されたサマリーストーリーボードビデオフレームを、ビデオ入力１０４に付随した対応する連続的オーディオ信号と同期させる。ストーリーボード信号とオーディオ信号を圧縮部１０８で結合する。圧縮信号をレシーバ部１１０に送信する。そのレシーバ部１１０は、受信信号を解凍し、選択されたビデオシーンを表示し、一方、元のビデオストリームからのフルオーディオストリームを再生する。通信システム１００の各コンポーネントは以下においてより詳しく説明する。

本発明によると、サマリー抽出装置１０２により、ビデオストリーム１０４をストーリーボードサマリーにする。本発明では、ビデオ入力からストーリーボードを生成するためにデータ検索システムで使用される既知の重要シーン検出方法及び装置を使用することができる。例えば、図２と３を参照して、（Dimitrova等の米国特許第6,137,544号に開示されている）重要シーン検出及びフレームフィルタリングシステムを簡単に説明する。しかし、本発明はこれに限定されない。

ビデオはアナログ（連続データ）形式またはデジタル（離散データ）形式のいずれかである。本実施例はデジタル領域で動作するので、デジタル形式を用いて処理する。ソースビデオすなわちビデオ信号は、一連の個別画像すなわちビデオフレームであり、表示された画像シーケンスが連続的ピクチャストリームに見えるくらい高いレートで表示される。これらのビデオフレームは、圧縮されていないデータであっても、MPEG、MPEG2、MPEG4、MotionJPEGなどのフォーマットで圧縮されたデータであってもよい。

非圧縮ビデオ中の情報は、メディアプロセッサ２０２でフレームにセグメント化される。この時、インテルスマートビデオレコーダIIIで使われているようなフレームグラブ法を用いる。各フレームはホストプロセッサ２１０で例えば８×８ピクセルのブロックに分割される。これらのブロックと周知のブロードキャスト標準CCIR-601を用いて、マクロブロック生成器２０６が輝度ブロックを生成し、色情報を平均化してクロミナンスブロックを生成する。輝度ブロック及びクロミナンスブロックがマクロブロックを形成する。

ビデオ信号は、MotionJPEG及びMPEGなどの圧縮標準を用いて圧縮された画像を表してもよい。信号がMPEGやその他の圧縮信号である場合、フレームパーサ２０５によりフレームまたはビットストリームパース法を用いてフレームに分割される。フレームはメディアプロセッサ２０３のエントロピーデコーダ２１４とテーブル指定器２１６に送られる。エントロピーデコーダ２１４は、テーブル指定器２１６からのデータを用いてMPEG信号を復号する。この時、例えば、ハフマン復号などの復号方法を用いる。

復号信号は逆量子化器２１８に送られ、テーブル指定器２１６からのデータを用いて逆量子化される。これらの段階はメディアプロセッサ２０３で行われるとして図示したが、メディアプロセッサ２０３でなく、ホストプロセッサ２１１その他の外部装置で行われてもよい。あるいは、システムがその異なる段階でアクセス可能であれば、DCT係数をホストプロセッサに直接送ることもできる。これらのアプローチでは、リアルタイムの処理まで実行することができる。

重要シーンを自動的に検出するために、ビデオシーンが変化したかどうか、または静的シーンとなったかどうかを検出する。シーンは１以上の関連する画像である。重要シーン検出において、重要シーンプロセッサ２３０を用いて２つの連続するフレームの少なくとも１つの特性を比較して、そのフレームの選択された特性が所定の第１の閾値より大きく相違している場合、その２つのフレームは大きく相違するとされ、その間でシーン変化があったと判断される。その選択特性の相違が所定の第２の閾値より小さい場合、そのシーンは類似していると判断され、静的シーンであるかどうか判断する処理が実行される。重要シーン変化があると、そのフレームをキーフレームとして保存する。重要シーン検出プロセス中にフレームをキーフレームとしてフレームメモリ２３４に保存した時、関連するフレーム番号を例えばその相対的な発生時を示すタイムコードまたはタイムスタンプに変換する。

キーフレームフィルタリング方法を用いて、繰り返しフレーム及びその他の選択したタイプのフレームをフィルタリングすることにより、フレームメモリに保存するキーフレームの数を減らすことができる。キーフレームフィルタリングは、重要シーン検出を行った後、ホストプロセッサ２１０中のキーフレームフィルタ２４０により実行される。キーフレームフィルタリングで残ったフレームを用いて、ビデオ入力１０４のストーリーボードサマリーを生成することができる。図４にキーフレーム抽出を示した。入力ビデオ信号４０１は大幅に縮小されたビデオ信号４０５に変換される。この大幅に縮小されたビデオ信号４０５は、ストーリーボードサマリーを生成するキーフレームのビデオ画像だけを含むが、随伴するオーディオ信号４０３は変化しない。

通信チャネルの利用可能帯域幅（すなわちビットレート）を最適に使用するため、単位時間当たりのキーフレーム数はあまり大きく変動しない方がよい。このため、本発明の有利な実施形態においては、上記の第１と第２の閾値は、これにより連続フレームが大幅に相違するか類似するかが決まるので、重要シーンプロセッサ２３０中のビットレート制御ループにより制御される。出力バッファの状態に応じて、バッファが半分以上いっぱいであれば、閾値を修正することにより、潜在的キーフレームの数を減らすことができる。バッファが半分までいっぱいになっていない場合、閾値を反対に修正することにより、潜在的キーフレームの数を増やすことができる。この目的を達成する代替的、または追加的手段として、バッファ状態信号により上記のキーフレームフィルタリング手段を修正する。

ストーリーボードサマリーが一旦生成されると、それとオーディオ信号とを同期させる必要がある。同期の例を図５に示した。

ビデオ入力４０１とオーディオ入力４０３が同期していると仮定して、ストーリーボードサマリーを生成した後、同期化器１０６がビデオとオーディオを同期させておく必要がある。これは、例えば、ストーリーボードフレームとオーディオにタイムコードを含めることによりなされる。このように、デコーダ側で、バッファに複数のストーリーボードフレームを置き、正しく同期された時間に所望のフレームを表示することができる。

上述の通り、ストーリーボードサマリーを生成し、オーディオ／ビデオを同期させると、伝送のためにその情報を圧縮することが必要となる。本発明はいろいろな圧縮方法及びエンコーダを使用することができ、特定の方法に限定はされない。図６を参照して、サマリーボード及び付随するオーディオの圧縮及び符号化のために使用することができるエンコーダの実施例による典型的なエンコーダ６００を説明する。

図示した符号化システム６００がキーフレームの圧縮を行う。各フレームのコンパクトな記述は、独立であるか（イントラフレーム符号化）、またはその前に符号化された１以上のキーフレームを参照するものである（インターフレーム符号化）。イントラフレーム符号化システムは、本発明の一実施形態によると、領域ピクセルデコリレーション部６１０に基づく。その領域ピクセルデコリレーション部６１０は量子化部６２０に接続され、その量子化部６２０は量子化された値をロスレス符号化する可変長符号化部６３０に接続されている。

領域ピクセルデコリレーション部６１０は、差分パルス符号変調（DPCM）に基づくか、またはブロックごとの線形変換（例えば、各ブロック輝度またはクロミナンスピクセルの離散余弦変換（DCT））である。本発明の一実施形態において、重なり合わない８×８ブロックを取得部６１１により所定順序で取得する。各８×８ピクセルのブロックにDCT機能を適用し（変換部６１２で示した）、その８×８ピクセルの平均を表すDC係数を１つと、AC係数を６３個生成する。これらの係数は、８×８ピクセルブロック中の低周波数と高周波数の余弦パターンを表す。続いて、一連のDC変換係数にDPCMエンコーダ部６１３によりDPCMを適用する。

量子化部６２０は、スカラー量子化またはベクトル量子化を実行する。スカラー量子化器は、デコリレーション部６１０により生成された元の各値（ここでは「AC変換係数」と呼ぶ）の近似値を表す符号（すなわち「表示レベル」）を生成する。ベクトル量子化器は、デコリレーション部６１０により生成された一群（ここでは「ブロック」と呼ぶ）の元の値の近似値を表す符号を生成する。エンコーダの一実施形態において、スカラー量子化を適用して、各表示レベルは、近似部６２１において各AC変換係数を整数で除算して得られる。各整数除算の分母は、一般的には、６３個のAC係数のそれぞれで異なる。所定の分母は量子化マトリックス６２２として表されている。

可変長符号化部６３０は、一般に、ハフマン符号化、算術符号化、またはこれら２つの組み合わせに基づいている。エンコーダの一実施形態において、所定の順序で（DC係数位置から始めて「ジグザグ」に）値をスキャンするスキャン部６３１によりスキャンして、一連の表示レベルを生成する。一連の表示レベルは、一連の非ゼロ値の終わりを示す符号（「ブロック終了」）とともに、ランレングス符号化部６３２に送られる。そのランレングス符号化部６３２は、表示レベルの値及びその後の同じ値の繰り返し回数に対して一意的な符号を生成する。これらの符号の２値シンボルの数は、ビデオ信号を量子化したコンパクト表現が得られるように決められる。結合部６３３は、ビデオ信号の輝度成分及びクロミナンス成分の両方について、各ブロックのDC係数とブロックごとのAC係数を表す２値シンボルのストリームを結合する。色成分、８×８ブロック、及びフレームごとの多重化の順序は、知覚的に最も関係のあるデータが先に送信されるように決められる。結合部により生成された多重化ビットストリームは、元のビデオ信号のコンパクト表現となる。

図７を参照して、本発明の一実施形態によるキーフレームデコーダを説明する。このデコーダは可変長デコーダ７１０、逆量子化部７２０、及び逆デコリレーション部７３０により構成されている。可変長デコーダ７１０は、逆多重化プロセスを実行して色成分、８×８ブロック、及び係数と関連したデータを取得する分離部７１１により構成される。ランレングス復号部７１２は、８×８ブロックごとにAC係数の表示レベルを回復する。

逆量子化部７２０は、所定の量子化マトリックス７２１を用いて、回復部７２２を用いて表示レベルから元の係数値の近似値を回復する。

逆デコリレーション部７３０は、デコリレーション部６１０の逆動作であり、同一の入力ビデオ信号またはその最善の近似値を得る。デコーダの一実施形態において、DCT部６１２のDCT機能と対応する逆DCT機能７３１を適用し、DPCMエンコーダ部６１３と対応するDPCMデコーダ７３２を適用する。配布部７３３は、復号された輝度ピクセル値及びクロミナンスピクセル値の８×８ブロックを、取得部６１１により取得したのと同じ所定順序で、適当な位置に配置する。

図８及び図２を参照して、実施例により、時間的階層化されたエンコーダ８００を説明する。図示した符号化システム８００は、時間的階層化圧縮を行い、それにより、チャネルの一部を用いてキーフレームだけを提供し、チャネルの他の部分を用いて失われた補完フレームを送信し、結合信号が元のフレームレートのビデオ信号となるようにする。重要シーン検出器２３０、８０１は、元のビデオを処理し、キーフレームを特定する信号を生成する。通常のMPEGエンコーダ８０２は、どの標準エンコーダ（MPEG-1、MPEG-2、MPEG-4ASP、H.261、H.262、H.264としても知られているMPEG-4AVC）としても機能し、元のビデオを受信して、それをMPEGに準拠して符号化するが、その特徴は、検出器８０１からのキーフレーム識別信号によりエンコーダが適当なフレームをPまたはBフレームとしてではなくIフレームとして処理する。適当なフレームとは、意図的なPフレームだけがIフレームで置き換えられることを意味する。Bフレームを置き換えるには、すでに符号化された先行するBフレームを再計算しなければならない。MPEGエンコーダは、不規則なGOP構造を有している場合があるにもかかわらず、I、P、Bフレームすべてを有するMPEG準拠ビットストリームを生成する。

キーフレームフィルタ８０３は、MPEGビットストリーム、キーフレーム識別信号を受信し、ベースストリームとエンハンスメントストリームを生成する。ベースストリームはイントラ符号化キーフレームにより構成されている。そのキーフレームはタイムスタンプされたIフレームを有するMPEG準拠ストリームである。エンハンスメントストリームはイントラ符号化フレームとインター符号化フレームの両方により構成されている。タイムスタンプされたI、P、Bフレームを有するMPEG準拠ストリームであり、「キーフレーム」で特定されたIフレームがないという特徴を有する。キーフレームを送信する決定は、現在のMPEGフレームの予測タイプのみではなく、キーフレーム識別信号にも基づく。現在のフレームがBフレームの場合、それに続くIフレームとPフレームはベースストリームで送信される。キーフレーム特定とキーフレーム送信の間のレイテンシは、一般的に小さく、間違ったシーンのフレームが送信されることはない。

ベースデコーダは、タイムスタンプされたキーフレームを有するMPEG準拠ベースストリームを受信し、そのフレームを復号し、適当な時にそのフレームを表示する。階層化デコーダは、図９に示したようなベース及びエンハンスメントストリームを結合する結合部を有する。ベースストリーム９０１はベースデコーダ９０２に送られ、復号される。復号されたベースストリームは、アップコンバータ９０４によりアップコンバートされ、加算部９０６に送られる。エンハンスメントストリーム９０３はデコーダ９０８により復号される。復号されたエンハンスメントストリームは、アップコンバートされたベースストリームに加算部９０６により加算され、最終的な表示用ビデオ信号が生成される。すべてのフレームを有するMPEG準拠ビデオストリームが生成され、通常のMPEGデコーダが元のフレームレートで復号ビデオ信号を取得することができる。

このアプリケーションでは、送信されたキーフレームは一般的には時間的に等間隔ではない。信号では、オーディオとキーフレームの時間の間には、明らかな意味的カップリングがある。利用可能なチャネル帯域幅を最適に利用するために、キーフレームをそれが表示される十分前に送信してもよい。情報を受信者に提示する時にオーディオとキーフレーム間の意味的カップリングを回復することが重要である。こうして、メッセージの意味が通信チャネルを介してできるだけ保存される。これを実現するために、データストリームを符号化中にタイムスタンプをキーフレームに付加する。復号の際、タイムスタンプを用いて、どの時点でキーフレームを表示（及び前に表示したキーフレームを置換）する必要があるかを判断する。結果として、タイムスタンプによりキーフレームがオーディオと同期させられる。

本発明の一実施形態によると、インターラクティブ通信システムにおいて本発明を用いて、ユーザは自分のポータブル電子装置で受信したい情報のタイプを特定することができる。図１０にそのインターラクティブ通信システム１０００の実施例を示した。ユーザは、電子ポータブル装置１００２を用いて、声、SMS等を介してメッセージをシステム１０００に送信し、いくつかの異なるトピックスに関するユーザ情報を送信するようシステムに要求する。この例では、ユーザが「イスラエルに関するニュース」をシステム１０００に要求する。その要求はレシーバ１００４により受信され、コンピュータ１００６に送られる。コンピュータ１００６はその要求を復号し、要求されている情報のタイプを判断する。コンピュータ１００６は、その要求に関するビデオ情報のデータベース１００８をサーチする。言うまでもなく、データベース１００８はシステム１０００の中にあってもよいし、システム１０００とは離れていてもよく、コンピュータ１００６は１以上の計算エレメントを有していてもよい。その要求に関係するデータベース中の情報がコンテント制御サマリー抽出装置１０１０に送られる。コンテント制御サマリー抽出装置１０２は、データベースからそのビデオ情報を受信し、ビデオ情報中の重要シーンのストーリーボードを生成する。サマリー／オーディオ同期装置１０１２を用いて、コンテント制御サマリー抽出装置１０１０により生成されたサマリーストーリーボードを、データベースからのビデオ情報に付随した対応する連続的オーディオ信号と同期させる。ストーリーボード信号及びオーディオ信号は、圧縮部１０１４で結合される。圧縮された信号はトランスミッタ１０１６により送信され、ユーザのポータブル電子装置１００２により受信される。圧縮された信号はポータブル電子装置１００２で復号及び表示される。当業者には言うまでもなく、上記の実施形態を実施するために使用するプログラムステップ及び関連データは、本発明から逸脱することなく、ディスク記憶装置その他の記憶装置を用いて実施することができる。その記憶装置には、リードオンリーメモリ（ROM）デバイス、ランダムアクセスメモリ（RAM）デバイス、光記憶エレメント、磁気記憶エレメント、光磁気記憶エレメント、フラッシュメモリ、コアメモリ、及び／またはその他の均等な記憶技術を含むが、これに限定はされない。このような代替的記憶デバイスは均等物であると考えられる。

言うまでもなく、本発明の別の実施形態は、上記のステップの順序に必ずしも限定されず、本発明の全体的動作に影響を与えることなく、一部のステップのタイミングを変更することができる。さらにまた、「１つの」という言葉は複数の場合を排除するものではない。

留意すべきことは、上記の実施形態は本発明を例示するものであり、限定するものではなく、当業者は添付したクレームの範囲から逸脱することなく多数の別の実施形態を設計することができるであろうということである。クレームにおいて、括弧内に記載した参照符号はそのクレームを限定していると解してはならない。「有する」という言葉は、クレームに挙げられている以外の他のエレメントやステップの存在を排除するものではない。本発明は、複数の異なるエレメントを有するハードウェアにより実施可能であり、好適にプログラムされたコンピュータによっても実施可能である。複数の手段を列挙した装置クレームにおいて、その手段の一部を１つの同じハードウェアアイテムにより実施することができる。複数の手段が別々の従属クレームに記載されていても、その手段を組み合わせることができないという意味ではない。

本発明の一実施形態による通信システムを示すブロック図である。本発明の一実施形態によるビジュアルインデックスの生成に使用する装置を示すブロック図である。本発明の一実施形態によるビジュアルインデックスの生成に使用する装置を示すブロック図である。本発明の一実施形態によるキーフレーム抽出を示す概略図である。本発明の他の実施形態によるオーディオ／ビデオ同期を示す概略図である。本発明の他の実施形態によるキーフレームエンコーダを示すブロック図である。本発明の他の実施形態によるキーフレームデコーダを示すブロック図である。本発明の他の実施形態による時間的階層化エンコーダを示すブロック図である。本発明の他の実施形態による空間的階層化デコーダを示すブロック図である。本発明の他の実施形態によるインターラクティブ通信システムを示すブロック図である。

Claims

伝送のためビデオ信号を圧縮する装置であって、
入力ビデオデータからコンテント制御サマリーを生成する手段と、
前記コンテント制御サマリーを連続的オーディオ信号と同期させる手段と、
伝送のため上記サマリーを前記連続的オーディオとともに符号化する手段と、を有することを特徴とする装置。
請求項１に記載の装置であって、
前記符号化した信号を送信する手段をさらに有することを特徴とする装置。
請求項１に記載の装置であって、
前記コンテント制御サマリーがキーフレーム検出を用いて生成されることを特徴とする装置。
請求項１に記載の装置であって、
前記コンテント制御サマリー手段がビットレート制御ループにより制御されることを特徴とする装置。
請求項１に記載の装置であって、
前記コンテント制御サマリーと前記連続的オーディオ信号が実質的に一定のビットレートストリームに圧縮されることを特徴とする装置。
請求項１に記載の装置であって、
適切な復号を保証するため、タイムスタンプを前記同期された信号に挿入することを特徴とする装置。
伝送のためビデオ信号を圧縮する方法であって、
入力ビデオデータからコンテント制御サマリーを生成する段階と、
前記コンテント制御サマリーを連続的オーディオ信号と同期させる段階と、
伝送のため上記サマリーを前記連続的オーディオとともに符号化する段階と、を有することを特徴とする方法。
コンピュータに請求項７に記載の方法を実行させる命令を格納したコンピュータ記憶媒体。
ユーザにより要求された情報を供給するインターラクティブ通信システムであって、
前記ユーザから情報要求を受け取る手段と、
前記要求された情報を求めてデータベースを検索して、前記データベースから前記要求された情報を抽出する手段と、
前記抽出された情報のコンテント制御サマリーを生成する手段と、
前記コンテント制御サマリーを連続的オーディオ信号と同期させる手段と、
伝送のため前記サマリーを前記連続的オーディオとともに符号化する手段と、を有すること特徴とするシステム。
インターラクティブ通信システムにおいてユーザにより要求された情報を供給する方法であって、
前記ユーザから情報要求を受け取る段階と、
前記要求された情報を求めてデータベースを検索して、前記データベースから前記要求された情報を抽出する段階と、
前記抽出された情報のコンテント制御サマリーを生成する段階と、
前記コンテント制御サマリーを連続的オーディオ信号と同期させる段階と、
伝送のため前記サマリーを前記連続的オーディオとともに符号化する段階と、を有すること特徴とする方法。
通信システムにおいてオーディオ／ビデオ情報を搬送するビットストリームであって、
オーディオストリームと、
入力ビデオ信号のキーフレームから生成されたコンテントビデオサマリーストリームとを有し、
ブロードキャストのため前記オーディオストリームが前記ビデオサマリーストリームと同期していることを特徴とするビットストリーム。
オーディオストリームと、
入力ビデオ信号のキーフレームから生成されたコンテントビデオサマリーストリームとを有し、
ブロードキャストのため前記オーディオストリームが前記ビデオサマリーストリームと同期していることを特徴とする記憶媒体。
受信した情報ストリームを復号するデコーダであって、
前記情報ストリーム中のベースストリームを復号する手段と、
前記復号されたベースストリームをアップコンバートする手段と、
前記情報ストリーム中のエンハンスメントストリームを復号する手段と、
前記アップコンバートされたベースストリームと前記エンハンスメントストリームを結合する手段と、を有し、
結合された信号がオーディオストリームと同期された静止ビデオ画像を有することを特徴とするデコーダ。
受信した情報ストリームを復号する方法であって、
前記情報ストリーム中のベースストリームを復号する段階と、
前記復号されたベースストリームをアップコンバートする段階と、
前記情報ストリーム中のエンハンスメントストリームを復号する段階と、
前記アップコンバートされたベースストリームと前記エンハンスメントストリームを結合する段階と、を有し、
結合された信号がオーディオストリームと同期された静止ビデオ画像を有することを特徴とする方法。
オーディオストリームと入力ビデオ信号のキーフレームから生成されたコンテントビデオサマリーストリームとを搬送するビットストリームを復号する方法であって、
前記オーディオストリームが前記ビデオサマリーストリームと同期されており、
前記方法が
前記オーディオストリームを復号する段階と、
前記ビデオサマリーストリームを復号する段階と、
前記ビットストリームにより示されたように同期させて、前記復号されたオーディオストリームと前記復号されたビデオサマリーストリームを再生する段階と、を有することを特徴とする方法。
オーディオストリームと入力ビデオ信号のキーフレームから生成されたコンテントビデオサマリーストリームとを搬送するビットストリームを復号する装置であって、
前記オーディオストリームが前記ビデオサマリーストリームと同期されており、
前記デコーダが
前記オーディオストリームを復号する手段と、
前記ビデオサマリーストリームを復号する手段と、
前記ビットストリームにより示されたように同期させて、前記復号されたオーディオストリームと前記復号されたビデオサマリーストリームを再生する手段と、を有することを特徴とする装置。