JP2008545351A - 画像系列及びロゴを含むビデオコンテンツを符号化する方法及び装置 - Google Patents

Abstract

本発明は、画像系列と少なくとも１つのロゴを含むビデオコンテンツを符号化する方法に関する。本方法は、以下のステップを含む。第一の符号化方法により画像系列を符号化するステップ。このステップは、画像系列に関連する符号化データを生成する。第二の符号化方法及びロゴに関連する更なる情報によりロゴを符号化するステップ。更なる情報は、画像系列におけるロゴの位置に関する情報を少なくとも含む。このステップは、ロゴに関連する符号化データを生成する。ロゴに関連する符号化データと画像系列に関連する符号化データを個別に含む単一のデータストリームを生成するステップ。

Description

本発明は、画像の系列とロゴを含むビデオコンテンツを符号化して、符号化されたデータのストリームを発生する装置及び方法に関する。
また、本発明は、本発明に係る方法及び符号化装置により発生された符号化データのストリームを復号化する方法及び装置に関する。

ビデオコンテンツは、その創作とエンドユーザへの流通との間で様々なネットワークを横断する。ビデオコンテンツは、たとえばフィルム又はより一般には画像系列であり、この画像の系列にロゴが挿入される。一般に、スタジオにおけるその創作の後、ビデオコンテンツは、いわゆるコントリビューションネットワークを介して送信機にディストリビュートされる。このネットワークでは、コンテンツは、ピクチャプロフェッショナル（コンテンツクリエータ、スタジオ、送信機等）により、処理され及び／又は変換される。その後、変換されたコンテンツは、ディストリビューションネットワークを介して送信機によりエンドユーザに送出される。

一般的に、ビデオコンテンツは、（たとえば、カメラによる取得又は画像合成による）その創作と（たとえば視聴者のテレビジョンといった）エンドユーザへの送信との間の幾つかの変形を受ける。その創作後に迅速に、コンテンツは、記憶及び／又は転送のコストを最小にするように、高ビットレートで一般に圧縮され、後者は、ネットワークの帯域幅により制限される。高いビットレートでのビデオコンテンツの圧縮は、特に、その最初の品質を低下しないようにする。さらに、このコンテンツは、たとえばコンテンツのクリエータによりロゴの挿入のような様々な処理を一般に受ける。更に、テレビジョンチャネルの急増及びディストリビューションネットワーク（ケーブル、ＲＦ、サテライト、インターネット等）の多様化により、このコンテンツは、それ自身のロゴを挿入するのを望む異なる会社による異なるネットワークで販売／開発される。典型的に、テレビジョンチャネルは、所定の条件下で送信することができるように、所定の期間の間にコンテンツを購入する。しばしば、ロゴを既に含むビデオコンテンツを購入するチャネルは、このロゴを隠すか又は削除する。また、このチャネルは、それ自身のロゴを挿入するのを望む場合がある。現在、ロゴは、画像の系列の一部を形成し、したがって後者で符号化される。ロゴを削除及び隠蔽する技術は、ビデオコンテンツのデコードを必要とするので複雑にされる。したがって、ロゴを隠蔽する技術は、ビデオコンテンツのデコード（すなわち画像系列のデコード及びロゴのデコード）、新たなロゴによる既存のロゴの隠蔽及び全体の再符号化を必要とする。同様に、あるロゴの既に符号化された画像系列への挿入は、この系列のデコード、ロゴの画像系列への挿入及び全体の再符号化を必要とする。さらに、全てのその技術は、特に使用される隠蔽技術及びコンテンツの再符号化による、様々な視覚的な欠点（たとえばぼやけの効果）を導入する。

本発明の目的は、これらの問題点の少なくとも１つを軽減することにある。
上記目的を達成するため、本発明は、たとえばロゴをビデオコンテンツに加えること、又はビデオコンテンツからロゴを削除することを望むとき、特に、デコーディング及びリエンコーディングのステップの連続を回避するのを可能にする、ビデオコンテンツを符号化する方法を提案する。

本発明は、画像系列と、少なくとも１つの画像を含む少なくとも１つのロゴ自身とを含むビデオコンテンツを符号化する方法に関する。本方法は、画像系列に関する符号化データのストリームを生成する、画像の系列を符号化するステップを含む。本方法は、以下のステップを更に含む。

ロゴとロゴに関連する更なる情報とを符号化するステップ。更なる情報は、画像系列におけるロゴのポジショニングに関する情報を少なくとも含み、前記ステップは、ロゴに関連する符号化されたデータを生成する。

ロゴに関連する符号化データを画像系列に関連する符号化データのストリームにダイレクトに挿入することで、ロゴに関連する符号化データと、画像系列に関連する符号化データとを個別に含む単一のビデオデータストリームを生成するステップ。

有利なことに、更なる時間同期情報は、ロゴに関連する符号化データと画像に関連する符号化データを同期するために必要とされる。
有利なことに、ロゴに関連する符号化データは、ＳＥＩタイプのメッセージとして符号化される。
好ましくは、ロゴに関連する更なる情報は、ロゴの最初のサイズに関連する情報を更に含む。

特定の実施の形態では、ロゴに関連する更なる情報は、その表示の間にロゴのトランスペアレンシー、及びロゴの表示サイズに関連する情報を管理可能にする。

画像の系列は、以下を含む規格のセットに属する符号化規格のうちの１つと互換性のある符号化方法で符号化されることが好ましい。ＭＰＥＧ−２、ＭＰＥＧ−４ ＰＡＲＴ２、及びＭＰＥＧ−４ ＡＶＣ。

ロゴは、以下を含む規格のセットに属する符号化規格のうちの１つと互換性のある符号化方法で符号化されることが好ましい。ＭＰＥＧ−２、ＭＰＥＧ−４ ＰＡＲＴ２、ＭＰＥＧ−４ ＡＶＣ、ＪＰＥＧ及びＪＰＥＧ２０００。

また、本方法は、画像系列と少なくとも１つの画像を含む少なくとも１つのロゴ自身を有するビデオコンテンツを符号化する符号化装置に関する。符号化装置は、画像系列を符号化する手段を有し、前記手段は、画像の系列に関連する符号化データのストリームを生成する。符号化装置は、以下を更に有する。ロゴと、ロゴに関連する更なる情報を符号化する手段。更なる情報は、画像系列におけるロゴのポジショニングに関する情報を少なくとも含み、前記手段は、ロゴに関連する符号化データを生成する。ロゴに関連する符号化データを画像系列に関連する符号化データのストリームにダイレクトに挿入することで、ロゴに関連する符号化データと、画像系列に関連する符号化データとを個別に含む単一のビデオデータストリームを生成する手段。

また、本発明は、画像系列に関連する符号化データの少なくとも第一の部分を含む、ＭＰＥＧタイプのシンタックスに従って符号化されたデータのストリームに関するものであり、ＳＥＩメッセージと呼ばれるＳＥＩタイプのメッセージとして符号化されるロゴに関連する符号化データの第二の部分を個別に含む。

有利なことに、ＳＥＩメッセージは、画像系列におけるロゴの水平方向におけるポジショニングに関連する少なくとも１つのフィールドと、画像系列におけるロゴの垂直方向におけるポジショニングに関連する少なくとも１つのフィールドとを含む。

本発明は、添付図面を参照して、限定するものではない好適な実施の形態及び実現のモードにより良好に理解され、例示されるであろう。

本発明は、画像系列及びロゴを含むビデオコンテンツを符号化する方法及び装置に関する。ロゴは、画像、又は画像の系列の何れかであり、それぞれの画像は、たとえばルミナンス成分Ｙ並びに２つのクロミナンス成分Ｕ及びＶである１以上のコンポーネントを含む。それぞれのコンポーネントは、それぞれがある値と関連付けされる（たとえばルミナンスのある値Ｙ又はクロミナンスのある値Ｕ又はＶ）画素又は画素ポイントからなる画像の形式で表される。より詳細には、本発明に係る方法は、画像系列とは独立に１以上のロゴを符号化することからなる。本発明は、符号化データストリームの生成からなり、画像系列に関連する符号化データと、ロゴに関連する符号化データは、データストリームにおいて明確にそれらを識別できるように分離される。この目的について、ロゴに関連する更なる情報は、符号化され、画像系列に関連する符号化データストリームに加えられて、１つの符号化データのストリームが形成される。この符号化された更なる情報により、デコーディング方法は、デコードされた画像系列に挿入されるロゴを再構築し、画像系列におけるそのポジションを決定し、それを再び寸法合わせすることができる。この更なる情報により、別の画像を通してある画像を見るのを可能にする、トランスペアレンジー効果（「ブレンディング“blending”」又は「アルファブレンディング“alpha blending”」）のような特定の視覚的な作用を管理することが可能である。

典型的に、符号化データのストリームは、ビットのサブセットの連続である。第一の実施の形態によれば、画像系列は、ビデオエレメンタリストリームと呼ばれる、この系列に関連する符号化データのストリームを発生するように、第一の符号化方法（たとえばＭＰＥＧ−２、ＭＰＥＧ−４ ＡＶＣ等）により符号化される。この第一の符号化方法は、画像の系列を符号化するのを可能にする符号化方法である。図１は、画像系列に関連する符号化データの係るストリームを例示する。この図では、Ｓ₁，Ｓ₂及びＳ₃で参照される３つのビットのサブセットが表される。これらは、ストリームにおけるランダムアクセスを可能にするＭ1又はＭ2で参照される同期マーカ、Ｈ_V1，Ｈ_V2又はＨ_V3で参照されるヘッダ、画像系列の圧縮及び符号化されたコンテンツに対応するＶ1，Ｖ2又はＶ3で参照されるデータで任意に開始される。本発明は、画像系列に関連する符号化データから独立かつ異なるやり方でロゴに関連する更なる情報を符号化することからなる。ロゴに関連する符号化された更なる情報は、画像及び更なる情報を符号化する第二の方法により符号化されるロゴの様々なコンポーネントを含む。この更なる情報は、特に、画像系列におけるロゴを位置合わせするのを可能にする情報を有する。たとえば、図２を参照して、ロゴ２０は、ロゴ２０は、画像２１に挿入され、ロゴの左上コーナーに位置される画素２２の横座標及び縦座標がそれぞれｘ₀及びｙ₀に等しい。ロゴ２０の様々なコンポーネント、画像系列におけるロゴの位置に関する情報（すなわちｘ₀及びｙ₀）が符号化される。更なる情報は、所定のケースで必要であり、ストリームで符号化される必要がある、ロゴの最初のサイズに関連する情報（すなわち幅Ｗ及び高さＨ）を有する。ロゴの最初のサイズは、符号化データのストリームで符号化されたような、ロゴのサイズであるとして定義される。有利なことに、たとえば、ロゴのリディメンジョニングのケースにおいて最初のサイズとは異なる画像系列におけるロゴのディスプレイのサイズ、幅Ｗ_d及び高さＨ_dのような、他の更なる情報が、トランスペアレンシーの管理に関するデータと同様に符号化される場合がある。たとえばアルファブレンディング技術といったトランスペアレンシーの管理は、全体のロゴの固有のトランスペアレンシー（たとえば０．８）を符号化すること、又は、アルファブレンディング技術におけるロゴに属するそれぞれの画素の異なる値を符号化することからなる。後者のケースでは、トランスペアレンシーは、ロゴの更なるコンポーネントであり、ルミナンスコンポーネント及びクロミアンスコンポーネントのようなロゴの他のコンポーネントのように符号化される。

更なる情報は、図３におけるＨ_Lで参照されるヘッダ、又はＬで参照されるビットのサブセットにおけるそのタイプ（すなわちポジション、ロゴのコンポーネント、ロゴの最初のサイズ等）に従って符号化される。したがって、ロゴのポジション、最初のサイズ及びディスプレイサイズ、並びにそれが固有である場合にトランスペアレンシーの値のような更なる情報は、図３においてＨ_Lで参照されるヘッダで符号化される。トランスペアレンシーに関連するコンポーネントを含む、ロゴの様々なコンポーネントに関連する更なる情報は、ＬにおけるヘッダＨ_Lに続いて符号化される。ヘッダＨ_Lそれ自身は、ストリームにおけるランダムアクセスを可能にするＭＬで参照されるマーカにより先行される。ロゴに関連する符号化データ（すなわちヘッダＨ_L、データＬ及びおそらくマーカＭＬ）は、画像系列に関連する符号化データにダイレクトに挿入することで追加され、図３により例示される符号化データの単一のストリームが生成される。ロゴは、一般に長い期間について固定されたままであり、有利な実現は、ランダムアクセスポイント（又はＲＡＰ）でのみ画像系列に関連する符号化データのストリームにダイレクトにロゴに関連する符号化データを追加／挿入することからなる。これらランダムアクセスポイントは、たとえば、“Information technology - Coding of audio-visual objects - Part 10: Advanced Video Coding”と題された文献ＩＳＯ／ＩＥＣ１４４９６−１０で定義される名前Ｈ．２６４により知られるＭＰＥＧ４ ＡＶＣに従うストリームにおけるＩＤＲ（Instantaneous Decoding Refresh）タイプの画像又はＩタイプの画像、並びに、“Information Technology - Generic Coding of moving pictures and associated audio: Systems”と題された文献ITU T REC.H.222.0｜ISO/IEC 13818 1 (2rd edition, 2000)で定義されたMPEG2-TSトランスポートレイヤにおけるトランスポートパケットTS marked RAI (Random Access Indicator)である。したがって、符号化データのストリームのデコーディングの後、復号化されたロゴは、たとえば、ロゴの直前でデコードされた最初のランダムアクセスポイントＲＡＰ１に続く、全てのデコードされた画像系列で挿入される。また、このロゴを、次のランダムアクセスポイントまで、さもなければ幾つかのロゴのケースで次のランダムアクセスポイントまで、ＲＡＰ１に後続する全てのデコードされた画像系列に挿入することも想像できる。

例示的な実施の形態は、ＳＥＩメッセージ（ＳＥＩは、“Supplemental Enhancement Information”を意味する）を使用したＭＰＥＧ４ ＡＶＣ符号化規格のフレームワーク内で提案される。規格は、符号化されたデータのストリームがこの規格と互換性をもつというシンタックスを定義する。シンタックスは、特に、様々な情報アイテムがどのように符号化されるかを定義する（系列に含まれる画像に関連するデータ、動きベクトル等）。画像系列は、この系列に関連する符号化データのストリームを発生するように、この規格に従う第一の符号化方法に従って符号化される。さらに、規格は、ＳＥＩと呼ばれる更なる情報が符号化される方法を、文献ＩＳＯ／ＩＥＣ １４４９６−１０のannex Dで定義する。画像系列の処理のために使用されるこの更なる情報は、PayloadTypeと呼ばれるフィールドによりシンタックスで参照される。特にディスプレイの新たな機能性を定義することが可能となる。なお、デコーディング装置がその使用のために必要な機能を所有しない場合、この情報は無視される。本発明は、ロゴに関連する更なる情報を符号化するように、情報ＳＥＩの新たなタイプを定義することからなる。画像系列とは独立に符号化されるこの情報は、この系列に関連する符号化データのストリームに追加／挿入され、すなわちこの系列に関連する符号化データのストリームと多重化される。このため、フィールドpayloadType新たな値は、未だ使用されていない値のなかから定義される（たとえば、２２に等しいpayloadType）。特に、payloadTypeの最初の２２の値（０から２１まで）は、たとえば、１９に等しいpayloadTypeに対応するフィルムのグレインの特性のような特定の情報を符号化するために既に使用される。新たなシンタックスは、文献ISO/IEC 14496-10におけるのと同じ取り決めにより擬似コードの形式で、アレイで以下に示される。特に、演算子“＝＝”は、“equal to”に等しい。演算子“！”は、“NOT”の論理演算子である。このアレイでは、ロゴに関連する付加された情報は、イタリック体である。

ＳＥＩデータのシンタックスは、以下のやり方で拡張される。

ロゴに関連する情報を含むＳＥＩメッセージ（logo_info）のシンタックスは、以下のやり方で定義される。

・payloadSizeは、ロゴ又はより正確にはその様々なコンポーネント（たとえば、ルミナンスコンポーネント及び２つのクロミナンスコンポーネント、おそらくトランスペアレンシーコンポーネント）を符号化するために使用されるビット数である。

・pic_width_msbは、挿入されるべきロゴの画素数における最初の幅の高次のビットを表す。
・pic_width_lsbは、挿入されるべきロゴの画素数における最初の幅の低次のビットを表す。

・pic_height_msbは、挿入されるべきロゴの画素数における最初の高さの高次のビットを表す。
・pic_height_lsbは、挿入されるべきロゴの画素数における最初の高さの低次のビットを表す。

・pic_start_w_msbは、画像系列に挿入されるロゴの最初の画素の水平軸（図２を参照してｘ₀）に沿った位置（左上にあるロゴのコーナーに位置される）の高次のビットを表す。
・pic_start_w_lsbは、画像系列に挿入されるロゴの最初の画素の水平軸（図２を参照してｙ₀）に沿った位置の低次のビットを表す。

・pic_start_h_msbは、画像系列に挿入されるロゴの最初の画素の垂直軸に沿った位置の高次のビットを表す。
・pic_start_h_lsbは、画像系列に挿入されるロゴの最初の画素の垂直軸に沿った位置の低次のビットを表す。

・pic_transparencyは、画像系列にロゴを挿入するために使用されるトランスペアレンシーの係数を表す。
・pic_formatは、ロゴを符号化するために使用される符号化フォーマットを規定する。このフォーマットは、たとえば、他の符号化フォーマットに拡張することができる以下のアレイにより規定される。したがって、アレイは、イントラシンタックスのＭＰＥＧ−２エンコードのフォーマットに対応するpic_format=2で参照される符号化フォーマットを加えることで完了される。

ロゴの様々なコンポーネントを表す画像は、マクロブロック（すなわち画素のブロック）に分割され、それぞれ、第二の符号化方法に従うフィールドpic_formatにより定義される符号化フォーマットに従って符号化される。このフィールドは、pic_format=1のとき、後続のフィールド（たとえばpic_width_msb, pic_width_lsb, pic_height_msb, and pic_height_lsb）のうちの幾つかがストリームに存在しないことをデコーダが知るように、他のフィールドの前に有利に符号化される場合がある。

・data_pic_avc (payloadSize) ＳＥＩメッセージのシンタックスは、イントラモードで符号化されるロゴのマクロブロックのセットを記述するＨ．２６４／ＡＶＣシンタックスに従って符号化されるデータストリームの一部を表す。

・data_pic_jpeg (payloadSize) ＳＥＩメッセージのシンタックスは、ロゴのマクロブロックのセットを記述するＪＰＥＧシンタックスに従って符号化されるデータのストリームに一部を表す。このシンタックスに従ってロゴが符号化されるケースでは、ロゴの最初のサイズに関連するフィールド（pic_width_msb, pic_width_lsb, pic_height_msb, and pic_height_lsb）は、この情報がストリームの一部data_pic_jpeg (payloadSize)で既に符号化されている限り、ストリームに存在しない場合がある。それぞれの画像についてＳＥＩメッセージを追加することで、動画化されたロゴを扱うことが可能である。

先の例では、トランスペアレンシーは、フィールドpic_transparencyにより符号化される単一の係数により管理される。このケースでは、ロゴの画素のセットについて同一の値が使用される。別の実施の形態によれば、トランスペアレンシーは、ロゴの更なるコンポーネントとして管理される。このケースでは、トランスペアレンシーの値は、ロゴのそれぞれの画素と関連される。この更なるコンポーネントは、図３においてＬで参照されるロゴデータに対応するストリームの一部における他のオンポーネント（たとえばルミナンス及びクロミナンス）のように符号化され、フィールドpic_transparencyは、使用されない。別の実施の形態によれば、トランスペアレンシー情報は符号化されず、フィールドpic_transparencyは、使用されない。

所定のアプリケーションについて、そのデコーディングの後であって画像系列へのその挿入の前に、ロゴを再び寸法合わせ（re-dimension）することが望まれる場合がある。ロゴは、Ｗ×Ｈの画素の最初のサイズで符号化されており、次いで、Ｗ_d×Ｈ_dの画素の表示サイズをもつ画像系列で表示され、Ｗ_d（それぞれＨ_d）は、Ｗ（それぞれＨ）よりも大きいか又は小さい。このケースでは、ロゴのディスプレイの幅Ｗ_d及び高さＨ_dを符号化することが必要である。このため、４つの更なるフィールド（pic_disp_width_msb, pic_disp_width_lsb, pic_disp_height_msb, and pic_disp_height_lsb）は、たとえば、フィールドpic_height_lsbに続いて、ロゴの表示サイズ、すなわち後者が画像系列に挿入されたサイズを符号化するため、ヘッダＨＬに加えられる。最初の２つのフィールド、pic_disp_width_msb及びpic_disp_width_lsbは、挿入されるロゴの画素数における表示幅の高次及び低次のビットをそれぞれ表し、最後の２つのフィールド、pic_disp_height_msb及びpic_disp_height_lsbは、挿入されるロゴの画素数における表示の高さの高次及び低次のビットをそれぞれ表す。

他の実施の形態は、ＭＰＥＧ−４ ＡＶＣ符号化規格のフレーム内で以下に記載される。ビデオ符号化規格は、“Information technology - Coding of audio-visual objects - Part 10: Advanced Video Coding”と題された文献ISO/IEC 14496-10に記載される。これらの実施の形態は、動画化されたロゴ、すなわち画像系列を含むロゴを扱うのを可能にする。トランスペアレンシーは、アルファピクチャが存在する場合にはアルファブレンディング技術を使用してサポートされる。ロゴの系列における画像の数がプライマリ系列における画像の数よりも短い場合、ロゴの系列がループされる。プライマリピクチャは、符号化されるべき最初の系列の画像に関連する視覚的な情報（たとえばルミナンス、クロミナンス）を含む。

ロゴに関連するデータは、logo_id、ロゴの状態、ロゴの画像、もしあればアルファピクチャ、これらの画像により使用されるpic_parameter_set_id、及び、プライマリ復号化ピクチャにおけるロゴの位置を含む。規格の文献に記載されるストリームの構造は、当業者により公知である（たとえば、ピクチャパラメータセット、シーケンスパラメータセット、ネットワークアダプテーションレイヤユニット）。スライスは、マクロブロックのグループである。ネットワークアダプテーションレイヤユニットは、ビデオ符号化レイヤデータ（ＶＣＬデータ）をカプセル化する公知の構造である。以下の実施の形態により使用される３つのＭＰＥＧ−４ ＡＶＣに特化したエレメントがはじめに与えられ、これらは、補助の符号化画像、冗長な符号化画像及びＦＭＯとして知られるフレキシブルマクロブロックオーダリングである。

はじめは、アルファブレンディングを必要とする応用で使用されるため、補助の符号化画像が導入される。この機能性は、任意のツールとしてＭＰＥＧ−４ ＡＶＣのＦＲｅｘｔプロファイルに加えられる。補助の符号化画像は、モノクロの冗長度の符号化画像と同じ構文上及び意味上の制約を有しており、プライマリ符号化ピクチャと同じ数のマクロブロックを含む必要がある。かかる画像の例は、図５により示される。

［補助の符号化画像のシンタックス］
シーケンスパラメータセットエクステンションＲＢＳＰ（ＳＰＳｅｘｔ）では、あるパラメータは、補助の符号化された画像を示し、使用するためにアルファブレンディングフォーミュラを規定する。

ＲＢＳＰは、ロウバイトシーケンスペイロード（Raw Byte Sequence Payload）を意味する。これは、ＮＡＬユニットでカプセル化された整数のバイト数を含むシンタックス構造である。ＲＢＳＰは、空であるか、又はＲＢＳＰ停止ビットが後続し、０に等しいゼロ以上のシーケンシャルビットが後続するシンタックスエレメントを含むデータビットのストリングの形式を有する。

補助の符号化画像は、プライマリ符号化ピクチャと同じ幅及び高さを有する。符号化されたビデオ系列のそれぞれのアクセスユニットにおいて正確に１つの補助の符号化画像が存在する。
補助の符号化画像のnal_unit_typeは１９である。図６は、係る補助の符号化画像を含むストリームを示す。

冗長な符号化画像は、パケットの損失に対するロバスト性を向上するために規格に導入されるエラー耐性ツールのうちの１つである。冗長の画像は、プライマリピクチャの符号化された表現又はプライマリピクチャの一部である。冗長のピクチャのコンテンツは、対応するプライマリピクチャがパケットのロスのために失われた場合を除いてデコードされない。冗長の符号化画像は、プライマリピクチャと同じやり方で正確に符号化される。しかし、少ないビットを使用して低い品質で符号化することもできる。

［冗長な符号化画像のシンタックス］
ピクチャパラメータセットでは、redundant_pic_cnt_present_flagは、冗長なピクチャが存在するか否かを示す。スライスヘッダにおいて、redundant_pic_cnt_present_flag＝＝trueであって、redundant_pic_cnt＞０である場合、現在のスライスは、冗長な符号化画像に属する。ＦＭＯは、符号化画像を異なる形状の幾つかのスライスグループに分離するのを可能にするツールである。ＦＭＯツールを使用したピクチャの例は、図７に示される。

［ＦＭＯのシンタックス］
ピクチャパラメータセットにおいて、num_slice_group_minus1>0の場合、ピクチャは幾つかのスライスを含む。slice_group_map_type==2である場合、スライスの形状は矩形である。

以下の実施の形態によれば、ロゴの符号化されたトランスペアレンシー及びロゴ／クロミナンスコンポーネントは、ＳＥＩロゴメッセージからの個別のＮＡＬユニットで符号化される。

第二の実施の形態は、補助の符号化画像の原理を使用して、バックグランドピクチャをトランスポートすることからなる。バックグランドの符号化画像は、色の冗長の符号化画像と同じ構文上及び意味上の制限を有する。プライマリ符号化ピクチャと同じマクロブロックの数を含む。符号化ビデオシーケンスのそれぞれのアクセスユニットにおいて、正確に１つのバックグランドの符号化画像が存在する。バックグランドの符号化画像のnal_unit_typeは、たとえば２４に設定され、redundant_pic_cnt=0である。存在する場合、バックグランドの符号化画像は、もしあれば補助の符号化画像に直接に追従し、もしあれば冗長な符号化画像に追従し、さもなければプライマリ符号化ピクチャに追従する。使用するためのアルファブレンディングフォーミュラは、aux_format_idcにより規定される。このソリューションは、図８及び図９により例示される。この提案は、補助のピクチャと相補的であり、バックグランドの画像の使用は、ロゴの挿入以外の他の目的のために使用される。このソリューションで符号化された全てのロゴの除去又は置換は、補助及びバックグランドのピクチャを除去又は置換することのみにより行われるので簡単である。さらに、動画化されたロゴを扱うことが可能になる。

図１０に示される第三の実施の形態は、ロゴのスライスを使用することからなる。より詳細には、ロゴをプライマリピクチャに正確に位置合わせし、寸法合わせするためにＦＭＯを使用すること、アルファマスク（補助ピクチャのような）をトランスポートするためにモノクロピクチャを使用し、ロゴのカラーサンプル値の冗長な符号化画像のシンタックスを使用することからなる。このソリューションは、ロゴに対応するスライスグループＩＤ ０による、図７におけるような２つのスライスをもつＦＭＯを記述する新たなＰＰＳを創作することからなる。このＰＰＳは、プライマリ符号化ピクチャにより使用されるＳＰＳを示す。また、このソリューションは、このＰＰＳを使用して、以下の２つの符号化スライスを捜索することからなる。

冗長の符号化画像と同じ構文上かつ意味上の制約を有するロゴ符号化スライス。この場合、スライスグループＩＤ ０が使用され（他方は存在しない）、redundant_pic_cnt=logo_idである（最後のセクションで記載されるＳＥＩロゴメッセージシンタックスを参照）。

補助の符号化画像と同じやり方で符号化されるアルファ符号化スライス。これは、モノクロピクチャであるが（０であると推測されるchroma_format_idc）、スライスグループＩＤ ０のみが使用され（他方は存在しない）、redundant_pic_cnt=0である。アルファ符号化スライスは、必ずしも存在する必要がないが、存在する場合、対応するロゴ符号化スライスに直後にある。これら２つの符号化スライスは、たとえば２４に等しいnal_unit_typeのバイト値を有する。全てのプライマリ符号化スライスは、ロゴ符号化スライスにより必ずしも追従されない。num_slice_group_minus1=nlを使用することで幾つか（nl）のロゴを挿入することができる。また、このソリューションは、他のロゴ情報の１つのＳＥＩロゴメッセージ（たとえば、ロゴ表示状態であるか？）を創作することからなる。このＳＥＩロゴメッセージは、たとえば最後のセクションで記載されるように、特定のシンタックスに従う。

第三の実施の形態は、以下の利点を有する。高い符号化効率。動画化されたロゴのサポート（ピクチャ・イン・ピクチャでさえ）。多数のロゴ符号化スライスの使用による幾つかのロゴのサポート。（補助画像のような）既存のシンタックス及びツールの再使用に基づくのみ。新たなロゴの追加は、図１１の第３行目に示されるように、新たなＰＰＳ、ＳＥＩロゴメッセージ及び新たなロゴ（及び任意のアルファ）符号化スライスを追加することで行われる。既存のロゴの除去は、対応するＰＰＳ、ＳＥＩロゴメッセージ及びロゴ（及びアルファ）符号化スライスを除去することにより行われる。

図１２に示される第四の実施の形態は、ロゴピクチャを使用することからなる。有利なことに、前の実施の形態に関するＦＭＯ（マルチスライス）を使用することを回避する。ロゴのポジションは、ＳＥＩロゴメッセージで規定される。ロゴのサイズは、新たなＳＰＳで規定される。したがって、ソリューションは、ロゴピクチャサイズを含む新たなＳＰＳ、及びこのＳＰＳを示す新たなＰＰＳ、及び、ロゴをプライマリピクチャに位置合わせする特定のＳＥＩメッセージを創作することからなる。新たなＳＰＳ及びＰＰＳは、図１２の第２行に示される。このＳＥＩメッセージは、たとえば、最後のセクションに記載されるように特定のシンタックスに追従する。

このソリューションは、このＰＰＳを使用して、以下の２つの符号化ピクチャを創作することからなる。
ロゴ符号化されたピクチャ、このピクチャは、たとえば２４に等しいnal_unit_typeのバイト値をもつ新たなＰＰＳを使用したプライマリ符号化ピクチャであり、redundant_pic_cnt=logo_idである。

任意のアルファ符号化ピクチャ、このピクチャは、たとえば２４に等しいnal_unit_typeのバイト値をもつモノクロピクチャであり（０であると想定されるchroma_format_idc）、redundant_pic_cnt=0である。

アルファ符号化画像が存在する場合、ロゴ符号化画像の直後にある。アルファブレンディングの式は、aux_format_idc=1により補助ピクチャについて規定されるアルファブレンディングフォーミュラを使用する。全てのプライマリ符号化ピクチャは、ロゴ符号化スライスにより必ずしも追従されない。この第四の実施の形態は、第三の実施の形態と同じ利点を有する。しかし、多数のスライス、すなわちＦＭＯツールを使用しない。

第三及び第四の実施の形態により使用されるＳＥＩメッセージは、たとえば以下に記載されるような特定のシンタックスに従う。このため、新たなタイプのＳＥＩメッセージが作られる（たとえばpayloadType==22）。この新たなＳＥＩメッセージは、logo_info（payloadSize）に、デコーディングステージでロゴの挿入を実行するために必要とされる情報を含む。「目に見える」、「一時的に目に見える」、「目に見えない」といった、３つのロゴステージは、図１３に示されるように定義される。「目に見える」又は「一時的に目に見える」に設定されたとき、ロゴが表示される。さもなければ（「目に見えない」状態）、ロゴは表示されない。したがって、デコーダは、それぞれ異なるlogo_idの値について受信された最後のＳＥＩロゴメッセージのリストを維持する。所与のlogo_idに対応するロゴが「目に見える」又は「一時的に目に見える」状態にある場合、ＳＥＩのロゴメッセージに続く最初のＮＡＬユニットスライスのピクチャオーダカウントよりも優れているか、等しいピクチャオーダカウントをもつ全てのデコードされたピクチャに挿入され、ピクチャオーダカウントがリセットされた後に全てのその後のデコードされたピクチャに挿入される。所与のlogo_idに対応するロゴが目に見えない状態にある場合、そのロゴは挿入されない。このケースでは、pic_parameter_set_idを示すロゴ符号化画像及びアルファ符号化画像は、デコードされない。ＭＰＥＧ−４ ＡＶＣのシンタックスエクステンションの例は、以下に与えられる。

［ＳＥＩペイロードシンタックスエクステンション］

［ロゴインフォＳＥＩメッセージシンタックス］

［logo_id］
それぞれのＳＥＩロゴメッセージは、固有のロゴ番号識別子（logo_id）を伝送する。これにより、デコードされたビデオにおける幾つかのロゴを挿入することを可能にする。さらに、コンテンツクリエータ又はビデオサービスプロバイダ（ＴＶブロードキャスタ、ＶＯＤサービス）は、幾つかのロゴのＩＤを管理するために幾つかの特定のルールを定義する。２つのＳＥＩロゴメッセージが同じlogo_idを有し、logo_new_flagが１に等しい場合、最後のＩＤは前のＩＤを置き換える。固有のロゴ番号識別子logo_idは、pic_parameter_set_idを示す。

［pic_parameter_set_id］
それぞれのＳＥＩロゴメッセージは、固有のpic_parameter_set_idを伝送する。これにより、ＳＥＩロゴメッセージを、pic_parameter_set_idを使用するロゴ符号化画像及びアルファ符号化画像に関連付けすることが可能となる。
pic_parameter_set_idは、ロゴ符号化画像（又はスライス）及びアルファ符号化画像（又はスライス）において示されるピクチャパラメータセットを識別する。pic_parameter_set_idの値は、０〜２５５のレンジにある。

［nb_picture］
動画化されたロゴのケースにおいて、nb_pictureは、ロゴ系列の動画におけるロゴピクチャの数である。スチルロゴについて、nb_picture=1である。ロゴピクチャの数が決定されていない場合にnb_picture=0であり、さもなければロゴシーケンスはループする。

［logo_permanent_flag］
logo_permanent_flagは、ロゴの表示状態を制御する。図１３に示される状態図は、これら異なる状態間で可能性のある遷移を与える。

［logo_new_flag］
logo_new_flagが１に等しい場合、ロゴパラメータ及び関連されるピクチャは新しく、logo_info()payloadは新たなロゴに対応する。次いで、ロゴ状態が目に見える場合、ロゴ符号化ピクチャ（もしあればアルファ符号化ピクチャ）のサンプルがデコードされ、デコードされたロゴピクチャが挿入される。

logo_new_flagが０に等しい場合、ロゴパラメータ及び関連されるピクチャ、すなわちlogo_info()payloadは、同じlogo_idをもつ前のＳＥＩロゴメッセージにおけるのと同じである。結果的に、ロゴ（もしあればアルファ）符号化ピクチャが未だデコードされず、記憶されている場合、ロゴ符号化サンプルを無視することができる。

［logo_origin_x］
logo_origin_xは、現在のピクチャのルマサンプルのユニットに挿入されるロゴピクチャの左上の画素の水平方向の位置を規定する。

［logo_origin_y］
logo_origin_yは、現在のピクチャのルマサンプルのユニットに挿入されるロゴピクチャの左上の画素の垂直方向の位置を規定する。

最後の２つのエレメント、logo_origin_x及びlogo_origin_yは、第四の実施の形態のために必要とされ、第三の実施の形態で回避される。

提案されるソリューションは、様々な利点を提供する。特に、デコードすることなしに既に符号化されたピクチャの系列にロゴを容易に挿入することが可能である。このため、デコードする必要なしに符号化データの既存のストリームにビットのサブセットを挿入することで足りる。さらに、ロゴに関連するストリームの一部をたとえばそのヘッダＨＬによって識別し、ロゴに対応するビットのサブセットを削除することで足りるので、符号化されたデータのストリームからロゴを削除することが容易である。それを削除する代わりに、別のロゴに対応するビットの別のサブセットで置き換えることができる。したがって、提案されるソリューションは、このビデオコンテンツの最終的な品質を低下することなしに、同一のビデオコンテンツのロゴの削除及び／又は挿入の制限されていないサイクル数を可能にする。さらに、デコーディング／リエンコーディングのステップを削除し、かつ既存のロゴを隠蔽するステップを回避するので、従来のソリューションよりも良好な最終的な品質を得ることが可能である。最終的に、提案されるソリューションは、従来のビデオ処理に独立であって、かつコンパチブルである（後処理、（「レート変換」として知られる）ビットレートの変化、トランスコーディング、レイアウト等）。さらに、提案されるソリューションは、ロゴに関連する符号化データと画像系列に関連する符号化データの間の時間同期情報を必要としない。確かに、ロゴ情報は、ビデオエレメンタリストリームにダイレクトに挿入される。したがって、たとえばタイムスタンプといったシステムレベルの更なる情報は、ロゴに関連する符号化データと画像系列に関連する符号化データとを同期するために必要である。かかるソリューションは、シンプルであって、トランスポートレイヤ（たとえばＭＰＥＧ−２ ＴＳ）から独立である。

また、本発明は、本発明の符号化方法により生成される符号化データのストリームをデコードするのを可能にするデコーディング方法に関する。デコーディング方法は、デコードされた画像の系列を生成するように、画像系列に関連するデータに対応する符号化データのストリームの第一の部分をデコードすることからなる。本方法は、さらに、ロゴに関連する符号化データ、すなわちその様々なコンポーネント、その最初のサイズ、おそらくその表示サイズ及びトランスペアレンシー効果を管理するのを可能にする情報、に対応する符号化データのストリームの第二の部分をデコードすることからなる。ロゴに関連する符号化データは、画像系列に関連する符号化データとは独立にデコードされる。デコーディング方法は、ロゴに関連するデコードされた情報に従ってデコードされた画像系列にロゴを挿入する。ロゴの画像系列への挿入は、デコーディング方法とは異なるディスプレイ方法により実行される。

本発明は、先に記載された符号化方法を実現する符号化装置に関する。本装置は、特に、画像系列に関連する符号化データのストリームを発生するように画像系列を符号化する手段４０、ロゴに関連する符号化データのストリームを生成するようにロゴを符号化する手段４１、ロゴに関連する符号化データと系列に関連する符号化データを個別に含む符号化データの単一のストリームを生成する手段４２を有する。ロゴを符号化する手段は、たとえば、ＪＰＥＧ２０００の静止画のコーダである。画像系列を符号化する手段は、たとえば、ＭＰＥＧ４ ＡＶＣ規格に従う符号化装置である。

本発明は、さらに、前に記載された復号化方法を実現する復号化装置に関する。本装置は、特に、デコードされた画像系列を生成するように、画像系列に関連するデータに対応する符号化データのストリームの第一の部分を復号化する手段を有する。本装置は、さらに、ロゴに関連する符号化データ、すなわちその各種コンポーネント、その最初のサイズ、おそらくその表示サイズ、及びトランスペアレンシー効果を管理するのを可能にする情報、に対応する符号化データのストリームの第二の部分を、画像系列とは独立にデコードする手段を有する。任意に、本装置は、ロゴに関連するデコードされた情報に従い、デコードされた画像系列にロゴを挿入する手段を有する。挿入手段は、符号化装置とは異なる表示装置に統合することもできる。

勿論、本発明は、上述された例示的な実施の形態に限定されない。特に、当業者は、先に述べた実施の形態に対する変形を導入し、それらの様々な利点から利益を得るように結合することができる。特に、２つの異なるロゴは、２つのＳＥＩメッセージで符号化される。特に、系列の第一の部分をもつ第一のロゴと系列の第二の部分を持つ第二のロゴを使用することが考えられる。勿論、２を超えるロゴを符号化することも考えられる。

最新技術に従って符号化されたデータストリームを表す図である。 画像系列の画像におけるロゴのポジションを表す図である。 ロゴに関連するデータを含む本発明に従って符号化されたデータストリームを表す図である。 本発明に係る符号化装置を表す図である。 本発明における画像を例示する図である。 本発明における補助の符号化画像を含むストリームを例示する図である。 本発明におけるＦＭＯツールを使用したピクチャを例示する図である。 本発明におけるアルファブレンディングフォーミュラのソリューションを例示する図である。 本発明におけるアルファブレンディングフォーミュラのソリューションを例示する図である。 本発明の第三の実施の形態を示す図である。 本発明における新たなロゴの追加を例示する図である。 本発明における新たなロゴの追加を例示する図である。 本発明おける３つのロゴステージを例示する図である。

Claims (9)

1. 画像系列と少なくとも１つのロゴを含むビデオコンテンツを符号化する方法であって、
   前記ロゴは、少なくとも１つの画像を含み、
   当該方法は、前記画像系列を符号化するステップを含み、前記ステップは、前記画像系列に関連する符号化データのストリームを生成し、
   当該方法は、
   前記少なくとも１つのロゴと、前記少なくとも１つのロゴに関連する更なる情報を符号化するステップと、前記更なる情報は、前記画像系列における前記少なくとも１つのロゴのポジショニングに関する情報を少なくとも含み、前記ステップは、前記少なくとも１つのロゴに関する符号化データを生成し、
   前記画像系列に関連する符号化データのストリームに前記少なくとも１つのロゴに関連する符号化データを直接に挿入することで、前記少なくとも１つのロゴに関連する前記符号化データと、前記画像系列に関連する前記符号化データとを個別に含む単一のビデオデータストリームを生成するステップと、
   を含むことを特徴とする方法。
2. 前記少なくとも１つのロゴに関連する前記符号化データは、ＳＥＩタイプのメッセージとして符号化される、
   請求項１記載の方法。
3. 前記少なくとも１つのロゴに関連する前記更なる情報は、前記少なくとも１つのロゴの最初のサイズに関連する情報を更に含む、
   請求項１又は２記載の方法。
4. 前記少なくとも１つのロゴに関連する前記更なる情報は、その表示の間に前記少なくとも１つのロゴのトランスペアレンシーを管理するのを可能にする情報、及び前記少なくとも１つのロゴの表示サイズに関連する情報を更に含む、
   請求項１乃至３のいずれか記載の方法。
5. 前記画像系列は、ＭＰＥＧ−２，ＭＰＥＧ−４ｐａｒｔ２及びＭＰＥＧ−４ＡＶＣを含む規格のセットに属する符号化規格のうちの１つと互換性のある符号化方法で符号化される、
   請求項１乃至４のいずれか記載の方法。
6. 前記少なくとも１つのロゴは、ＭＰＥＧ−２、ＭＰＥＧ−４ｐａｒｔ２、ＭＰＥＧ−４ＡＶＣ、ＪＰＥＧ及びＪＰＥＧ２０００を含む規格のセットに属する符号化規格のうちの１つと互換性のある符号化方法で符号化される、
   請求項１乃至５のいずれか記載の方法。
7. 画像系列と少なくとも１つのロゴを含むビデオコンテンツを符号化する符号化装置であって、
   前記ロゴは、少なくとも１つの画像を含み、
   当該符号化装置は、前記画像系列を符号化する手段を含み、前記手段は、前記画像系列に関連する符号化データのストリームを生成し、
   当該符号化装置は、
   前記少なくとも１つのロゴと、前記少なくとも１つのロゴに関連する更なる情報を符号化する手段と、前記更なる情報は、前記画像系列における前記少なくとも１つのロゴのポジショニングに関する情報を少なくとも含み、前記手段は、前記少なくとも１つのロゴに関する符号化データを生成し、
   前記画像系列に関連する符号化データのストリームに前記少なくとも１つのロゴに関連する符号化データを直接に挿入することで、前記少なくとも１つのロゴに関連する前記符号化データと、前記画像系列に関連する前記符号化データとを個別に含む単一のビデオデータストリームを生成する手段と、
   を含むことを特徴とする符号化装置。
8. 画像系列に関連する符号化データの少なくとも１つの第一の部分を含む、ＭＰＥＧタイプのシンタックスに従って符号化されるデータストリームであって、
   ＳＥＩメッセージと呼ばれる、ＳＥＩタイプのメッセージとして符号化されるロゴに関連する符号化データの第二の部分を個別に含む、
   ことを特徴とするデータストリーム。
9. 前記ＳＥＩメッセージは、前記画像系列における前記少なくとも１つのロゴの水平方向におけるポジショニングに関連する少なくとも１つのフィールド、前記画像系列における前記少なくとも１つのロゴの垂直方向におけるポジショニングに関連する少なくとも１つのフィールドを含む、
   請求項８記載のストリーム。
   
   

Images