JP2011503984A - 個人化ビデオ符号化のための方法および配置構成 - Google Patents

個人化ビデオ符号化のための方法および配置構成 Download PDF

Info

Publication number
JP2011503984A
JP2011503984A JP2010532508A JP2010532508A JP2011503984A JP 2011503984 A JP2011503984 A JP 2011503984A JP 2010532508 A JP2010532508 A JP 2010532508A JP 2010532508 A JP2010532508 A JP 2010532508A JP 2011503984 A JP2011503984 A JP 2011503984A
Authority
JP
Japan
Prior art keywords
encoded
stream
video stream
common
videoon
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010532508A
Other languages
English (en)
Other versions
JP5421922B2 (ja
Inventor
フアン・デン・ベルヘ,ステフアン
Original Assignee
アルカテル−ルーセント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アルカテル−ルーセント filed Critical アルカテル−ルーセント
Publication of JP2011503984A publication Critical patent/JP2011503984A/ja
Application granted granted Critical
Publication of JP5421922B2 publication Critical patent/JP5421922B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

共通ビデオストリームvideo0および個人化情報の少なくとも1つの入力ストリームinput1、…、inputi、…、inputnに基づいて、符号化された合成ビデオストリームevideofinalを生成する方法は、スライスにおけるマクロブロックグループ化を考慮して、前記共通ビデオストリームの所定の位置において少なくとも1つの入力ストリームinput1、…、inputi、…、inputnを前記共通ビデオストリームvideo0に混合することによって、少なくとも1つの中間ストリームvideo1、…、videoi、…、videonを生成するステップと、前記少なくとも1つの中間ストリームvideo1、…、videoi、…、videonを符号化するステップであって、それにより、前記マクロブロックグループ化を使用することによって、少なくとも1つの符号化された中間ストリームevideo1、…、evideoi、…、evideonを生成する、ステップと、前記マクロブロックグループ化を使用して前記共通ビデオストリームvideo0を符号化するステップであって、それにより、符号化された共通ビデオストリームevideo0を生成する、ステップとを含み、方法は、1フレーム当たり、また、1スライスシーケンス番号当たり、1つのストリームの1つのスライスだけが、前記符号化された合成ビデオストリームevideofinalを形成するために選択されるように、前記符号化された共通ビデオストリームevideo0および前記少なくとも1つの符号化された中間ストリームevideo1、…、evideoi、…、evideonを、合成手段Fによって合成しフィルタリングするさらなるステップを含む。

Description

本発明は、個人化ビデオ符号化のための方法に関し、より詳細には、共通ビデオストリームおよび個人化情報の入力ストリームに基づいて符号化された合成ビデオストリームを生成する方法に関する。本発明はまた、本発明による方法を実現するために合成手段と協働する符号化装置に関する。
合成ビデオストリーム、たとえば、共通ビデオストリームに相当すると考えられ、何らかのブロードキャスト固有情報またはオペレータのロゴなどオペレータ固有情報、したがって個人化情報の入力ストリームと考えられうるものが付加される、テレビジョン番組など主要なストリームを符号化する現在の方法は、完全な合成ビデオストリームを、メディア上に送信する前に符号化する。受信機において、この完全な合成ビデオストリームが再び復号されなければならない。
これは、全てのコンテンツプロバイダ、全てのオペレータなどのために、完全な符号化されたビデオストリームが送信される必要があることを意味する。同様に、同じオペレータが、ユーザコミュニティに応じて、特定のユーザに特に的を絞ったある特定の広告など映像内ユーザ固有情報を同じビデオストリームに追加したいと思う場合、そのたびに、完全な合成ビデオストリームが、再び、符号化され、送信され、復号されなければならない。同様に、一部のユーザが広告を全く必要としない場合、この場合にも、完全な符号化された共通ビデオストリームが、これらのユーザのために符号化され、送信され、復号される。代替法は、エンドユーザ側で合成を行うための、セットトップボックス内の複雑なレンダリング能力に依存する。
こうした従来技術の方法が、符号化、復号、送信、またはセットトップボックス能力に重い負荷をかけることは明らかである。
上記知られている種類の個人化ビデオ符号化のための方法を提示することが本発明の目的であるが、本発明は、再び符号化され、送信され、復号されるデータ量を低減すること、および、比較的安価な標準機器を使用可能にすることを目指す。
本発明によれば、この目的は、請求項1の特徴部分で説明される特徴によって達成される。
こうして、共通ビデオストリームは、マクロブロックグループ化方式を使用して別々に符号化される。マクロブロックグループ化の例は、H.264/AVCビデオ符号化規格から既に知られている柔軟なマクロブロック順序である。この規格は、基本的に、低ビットレートでのビデオ信号の送信を可能にするために開発された高度圧縮技法を記述する。規格は、ビットストリームを復号する方法と共に、符号化されるビデオストリームのシンタックスを規定する。各ビデオフレームは、マクロブロックレベルで細分され符号化され、各マクロブロックはピクセルの16×16ブロックである。
マクロブロックは、並列化またはエラー耐性を可能にするために、スライス内に一緒にグループ化される。各マクロブロックは、さらに、予測マクロブロックが、目下のスライス内の再構成されたマクロブロックに基づいて形成される「イントラ予測(intra−prediction)」モード、または、予測マクロブロックが、参照フレームのマクロブロックに基づいて形成される「インター予測(inter−prediction)」モードで符号化される。イントラ予測符号化モードは、以前に符号化され、復号され、再構成された目下のスライス内のサンプルから予測マクロブロックが形成される目下のスライス内の空間情報を適用する。インター予測符号化モードは、動きを推定して予測マクロブロックを形成するために、以前のかつ/または将来の参照フレームからの時間情報を利用する。
デフォルトH.264の挙動は、マクロブロックをラスタ−スキャン順(すなわち、左から右への走査線)でスライスにグループ化することである。しかし、H.264規格は、さらに、以下FMOで略記される、柔軟なマクロブロック順序と呼ばれる新しい能力を導入した。FMOは、ビデオフレームを複数のスライスグループに分割し、各スライスグループは、おそらく非連続的な位置にあり、かつ、フレームの任意のところにありうる一組のマクロブロックを含む。FMOを実施する従来の方法は、スライスグループ内のマクロブロックを符号化し、その後、送信することである。
本発明によれば、ラスタ順スライスの、または、FMOを使用するより柔軟なグループ化方式であり、バックグラウンドまたは共通ビデオストリームを符号化するために使用される同じマクロブロックグループ化方式が、それ自体、ユーザ特有の入力ストリームを共通ビデオストリーム内に混合した結果である中間ストリームの符号化にも使用される。混合ステップ中に、入力ストリームが共通ビデオストリームに付加される映像(picture)領域で表される位置などの、この将来のマクロブロックグループ化に関する情報は、外部から提供されるか、あるいは、得られる中間ストリーム内に制御情報として付加されるまたは挿入されなければならず、それにより、次のステップで、この同じマクロブロックグループ化手法を使用して正しい符号化が可能になる。
入力ストリームが混合される共通ビデオストリーム内の映像領域または位置は、それ自体、フレーム内の特定のスライスシーケンス番号にリンクし、この特別な情報は、後続の符号化が、スライスにおける同じマクロブロックグループ化を使用して実施されることを可能にすることになる。
同じマクロブロックグループ化を使用する共通ビデオストリーム自体の符号化ステップは、それにより、符号化されたビデオフレームのシーケンスを含む符号化された共通ビデオストリームを生成し、それにより、各符号化されたフレームは、この共通ビデオストリームの符号化されたマクロブロックの所定の数のスライスのシーケンスからなる。
同様に、中間ストリームを符号化するために同じマクロブロックグループ化方式を使用することによって、同じ所定の数のスライスのフレームのシーケンスもまた生成される。
方法の混合し符号化する部分は、本発明による符号化装置によって実施される。
次のステップにて、符号化された共通ビデオストリームからのまたは符号化された中間ストリームからの適切なスライスは、1フレーム当たり、また、1スライスシーケンス番号当たり、各ストリームの1つのスライスだけが、さらなる送信のために選択されるように、本発明による合成手段内で選択される。こうして、各フレームおよびスライス番号について、選択されたスライスを含む符号化された合成ストリームが生成される。
これは、合成手段内での合成しフィルタリングするこのステップ中に、適切なスライスを自由に選択することによって、符号化された合成ビデオストリームを生成することを可能にする。したがって、ユーザ入力ストリームが、フレーム内の異なる位置に付加される、広告、ロゴなどのような一組の異なるマルチメディアエレメントを含む場合、合成ストリームは、元のバックグラウンド共通ビデオストリームだけを含むか、一組のマルチメディアエレメントだけが付加された状態の、このバックグラウンドビオストリームの一部を含むか、または、2つまたはさらにそれ以上のマルチメディアエレメントが異なる位置に付加された状態の、合成ストリームを含みうる。
こうして、本方法は、システムの符号化能力および送信能力を節約すること、および、さらなるグラフィカルレンダリング能力を必要とすることなく、おそらくはより柔軟なマクロブロックグループ化方式を使用可能にするようにFMO機能の支援を伴って、単純なH.264/AVC規格適合デコーダを使用することを可能にする。
合成しフィルタリングするステップは、送信側で行われうるが、請求項2から4にそれぞれ述べるように、受信側でも、または、ネットワーク内のどこか他のところでも行われうる。後者の場合、請求項2から4にさらに述べるように、たとえばアクセスノードなどの中間ノードは、受信され符号化された全ての中間ビデオストリームから特定のスライスを選択し、それにより、最終の符号化された合成ビデオストリームが形成されうる。後者の場合、符号化された合成ビデオストリームは、さらに、この中間ノードによって中間ノードに結合するユーザに送信される。いくつかのユーザまたは受信機がこの中間ノードに結合し、各受信機が特定の異なるユーザプロファイルに関連する場合、この中間ノード内の合成手段は、さらに、これらの符号化された合成ビデオストリームがその後さらに送信されることになる受信機の特定のユーザプロファイルに対応して、これらの符号化された合成ビデオストリームのいくつかを生成しうる。送信機内に存在する合成手段は、送信機に結合する、特定のプロファイルに関連するいくつかのユーザにさらに送信するために、これらのストリームのいくつかを生成してもよい。
さらなる実施形態は、添付の特許請求の範囲に述べられる。
特許請求の範囲で使用される用語「結合した(coupled)」は、直接接続だけに限定するものとして解釈されるべきでないことに留意されたい。したがって、表現「デバイスBに結合するデバイスA(a device A coupled to a device B)」の範囲は、デバイスAの出力がデバイスBの入力に直接接続されるデバイスまたはシステムに限定されるべきでない。このことは、Aの出力とBの入力との間に経路が存在し、その経路が他のデバイスまたは手段を含む経路であってよいことを意味する。
特許請求の範囲で使用される用語「備える(comprising)」は、以下で挙げる手段に限定するものと解釈されるべきでないことに留意されたい。したがって、表現「手段AおよびBを備えるデバイス(a device comprising means A and B)」の範囲は、コンポーネントAおよびBだけからなるデバイスに限定されるべきでない。このことは、本発明に関して、デバイスの単に関連するコンポーネントがAおよびBであることを意味する。
本発明の上記のまた他の目的および特徴は、より明らかになり、また、本発明自体は、添付図面に関連して考えられる実施形態の以下の説明を参照することによって最もよく理解されるであろう。
本発明による1つの個人化ビデオストリームを符号化するための装置の図である。 本発明によるn個の個人化ビデオストリームのうちの1つを符号化するための装置の図である。
本発明は、図1に概略的に示すように、個人化情報の1つの入力ストリームについて最初に説明されることになる。video0で示す共通ビデオストリームは、inputiで示す個人化情報の入力ストリームと混合される。個人化入力がどこで混合されたかを特定できない未処理ビデオストリームが混合により出力される従来技術の方法とは対照的に、本発明による、また、混合器Miによって実施される混合ステップは、個人化情報がそこで共通ストリーム内に混合された領域または位置をスライスグループ領域にマッピングするマクロブロックグループ化ステップを考慮するものである。この混合の結果は、videoiで示す中間ビデオストリームであり、共通ビデオストリームを含むが、個人化情報はマクロブロックグループ領域によって特定される位置に存在する。このために、混合器は、個人化入力ストリームが共通ビデオストリームに付加されなければならない異なる映像領域を特定するために、必要な制御情報を受信するかまたは含まなければならない。この位置は、各マクロブロックを特定のスライス番号にマッピングする、対応するマクロブロックグループ化を次のステップが使用することになるため、所与のスライス番号に属するマクロブロックに一致する一組の映像領域によって表現される。
次のステップにて、共通ビデオストリームvideo0および中間ストリームvideoiは共に、同じマクロブロックグループ化を使用して符号化されることになる。このマクロブロックグループ化方式は、混合ステップ中に特定される方式に適合することが重要であり、中間ストリームの生成のために入力ストリームがそこで共通ビデオストリームに付加された映像領域が、今やスライス符号化のために使用されることを意味する。これ自体は、符号化から生じることになる、符号化されたマクロブロックのスライスの数に反映されることになる。video0を符号化するエンコーダはE0で示され、一方、videoiを符号化するエンコーダはEiで示される。AVC規格によれば、evideo0で示す、得られる符号化された共通ビデオストリームは、符号化されたビデオフレームのシーケンスを含み、各符号化されたビデオフレーム自体が、この共通ビデオストリームの符号化されたマクロブロックのこの所定の数のスライスのシーケンスを含む。図1では、mフレームのシーケンスが示され、各フレームは、符号化されたマクロブロックの2つのスライスを含む。これらは、それぞれ、sl1、fr1(フレーム1のスライス1を意味する)、sl2、fr1(フレーム1のスライス2を意味する)、sl1、frm(フレームmのスライス1を意味する)、sl2、frm(フレームmのスライス2を意味する)で示される。
このマクロブロックグループ化の例は、既に述べたFMO順序であるが、他の方式が、AVC規格によって可能である。
本発明によれば、同様に、中間ビデオストリームは、この同じマクロブロックグループ化方式を使用して符号化され、それに応じて、得られる符号化された中間ストリームは、符号化されたビデオフレームの対応するシーケンスを含むことになり、それにより、各符号化されたビデオフレームはまた、符号化されたマクロブロックのこの同じ所定の数のスライスのシーケンスを含むことになる。図1に示す例では、mフレームのシーケンスが生じることになり、各フレームは、マクロブロックの2つのスライスからなることになる。これらは、共通ビデオストリームのスライスと同様な方法で示される。
符号化された共通ビデオストリームのこれらのスライスのコンテンツは、もちろん、符号化された中間ストリームのスライスのコンテンツと異なる。これは、連続するスライスを表すボックスの異なる色付けを使用することによって映像で示される。共通ビデオストリームのスライスは、無地の空白のボックスとして示され、一方、符号化された中間ストリームのスライス1を示す異なるボックスは斑点で満たされる。符号化された中間ストリームのスライス2を示す異なるボックスは灰色を有する。
混合器Miと2つのエンコーダEoおよびEiは、本発明による符号化装置EAの一部である。この符号化装置は、一般に、送信機の一部である。一部の実施形態では、この送信機は、その後、符号化された共通ストリームevideo0ならびに符号化された中間ストリームevideoiを共に、無線またはケーブルネットワークなどの通信ネットワークを介して受信機に送信することになる。
他の実施形態では、この送信機は、さらに、図1においてFで示す合成手段を含むことになる。このデバイスは、符号化装置EAから符号化された共通ビデオストリームevideo0および符号化された中間ストリームevideoiを受信するようになされ、さらに、1フレーム当たり、また、1スライス番号当たり、いずれかのストリームの1つのスライスを選択するようになされ、それにより、同じ数のフレームの、また、1フレーム当たり同じ数のスライスのシーケンスを含むことになる符号化された合成ビデオストリームを形成する。図1では、この得られる符号化された合成ビデオストリームは、evideofinalで示され、やはりmフレームのシーケンスを含み、各フレームは、マクロブロックの2つのスライスを含む。スライス1について、共通ビデオストリームからのスライスが選択され、一方、スライス2について、個人化情報の入力ストリームからのスライスが選択される。単に共通ストリームのスライスを選択すること、単に個人化入力ストリームからスライスを選択すること、または、他の組合せ、すなわち、個人化ストリームからスライス1を、共通ストリームからスライス2を選択することなど、他の組合せが行われうることを理解することが容易である。
これらの4つの得られるストリームのそれぞれについて、これらのストリームが4つの異なる受信機に送出されなければならなかった場合に、別個のエンコーダが必要とされた従来技術の状況と比較して、今や、2つのエンコーダと1つの合成手段だけが必要とされる。同様に、後者の方式が使用される場合、より最適なスライスグループ化方式を有するために、おそらくFMO支援部を装備した、標準的なAVC適合デコーダが使用されて、個人化コンテンツが生成されうる。これは、複雑なグラフィック能力を有するセットトップボックスを提供することと対照的である。
これらの利点は、個人化情報の多くの異なる入力ストリームが、共通ビデオストリームと混合されて、1つまたはいくつかのユーザまたはユーザグループに送信される場合に、一層顕著になるであろう。共通ビデオストリームは、テレビジョン番組からなり、異なる入力ストリームは、異なるユーザグループに専用の異なるロゴまたは異なるタイプの広告でありうる。例は、ペットを持っているユーザのためのあるペットフード用の専用広告、および、赤ちゃんを持つ家庭のためのおむつ用の広告などのような他のユーザに的を絞った他の広告である。従来技術の状況では、これらの広告はそれぞれ、符号化し、後に送信するために、共通ビデオストリームと混合されなければならない。今や、入力ストリームは、それぞれがストリーム内の異なる位置に関連する異なる映像領域内にこれらの異なる広告を含む可能性がある。混合された中間ストリームの符号化は、1回行われなければならないだけであり、それに応じて、合成手段は、合成され符号化された合成ストリームを生成するために、スライスのうちのどれが使用されることになるかを選択しうる。
それぞれが異なる個人化情報に関連するn個の異なる入力ストリームについての状況が図2に示される。やはり、共通ストリームは、video0で示され、n個の異なる入力ストリームは、input1からinputnで示される。図1の場合と同様に、これらの入力ストリームは、共通ビデオストリームと混合されて、n個の中間ストリームvideo1からvideonまでが生成される。それぞれの混合器は、M1からMnで示される。図1の場合と同様に、これらの混合器は、個人化情報がそこで共通ストリーム内に混合される位置をスライスグループ領域(それ自体はスライス番号で表される)にマッピングするマクロブロックグループ化ステップを考慮しなければならない。この混合の結果は、videoiで示す中間ビデオストリームであり、共通ビデオストリームを含むが、個人化情報はマクロブロックグループ領域によって特定される位置に存在する。同様な考察は、1つの入力ストリームだけの場合、すなわち、個人化入力ストリームがそこで共通ビデオストリームに付加されなければならない異なる位置を特定するための必要な制御情報を、混合器が受信するかまたは含まなければならない場合に当てはまる。この位置は、あるスライスに属するマクロブロックに一致する一組の映像領域によって表現される。n個の中間ストリームは、E1からEnで示すn個のそれぞれのAVCエンコーダ内で符号化される。先に述べたように、このマクロブロックグループ化方式は、混合ステップについて使用される方式に適合することが重要であり、中間ストリームの生成のために入力ストリームがそこで共通ビデオストリームに付加された映像領域が、今や符号化およびスライス内へのマクロブロックのマッピングのために使用されることを意味する。共通ビデオストリームは、E0で同様に示すエンコーダを使用する、この同じマクロブロックグループ化を使用して符号化される。再び、各フレームがマクロブロックの所定の数のスライスを含むある数のフレームのシーケンスが、これらのエンコーダによって提供される。図2では、各フレームがやはり2つのスライスを含む、やはりmフレームのシーケンスが示される。しかし、任意の数のフレームおよびスライスが、本発明の使用に対して適用可能であることが明らかである。
全ての混合器およびエンコーダは、本発明による符号化装置EA内に含まれる。したがって、この符号化装置は、個人化情報のn個の入力ストリームinput1からinputnならびに共通ビデオストリームvideo0を受信し、このマクロブロックグループ化を使用して、evideo0からevideonで示すn+1の符号化されたビデオストリームを生成するようになされる。やはり、異なるスライスの異なるコンテンツは、異なるスライスを示す小さなボックスの塗りつぶしによって示される。やはり、共通ビデオストリームのスライスは、空白ボックスとして示される。符号化された中間ストリームevideo1の場合、スライス1についての連続するフレームは、共通ビデオストリームのフレームと同じであるが、スライス2についての連続するフレームは異なり、斑点状ボックスで示される。符号化された中間ストリームevideoiの場合、スライス2についての連続するフレームは、共通ビデオストリームのフレームと同じである。しかし、コンテンツは、レンガ塗りつぶしによって示すように、スライス1について異なる。また、符号化された中間ストリームevideonの場合、やはり第1スライスは、共通ビデオストリームのフレームと共通であるが、第2スライスは、灰色に色付けしたボックスによって示すように異なる。
Fで示す合成手段は、その後、各スライス番号について、n+1のファイルの1つのスライスだけを選択しなければならないため、この選択によって生じることになる符号化された合成ストリームは、選択されたスライスのシーケンスを含むことになる。図2では、得られる符号化された合成ビデオストリームは、符号化された中間ストリームevideoiからの第1スライスおよび符号化された中間ストリームevideo1からの第2スライスを有することになる。
こうして、多数の組合せが行われうることが明らかである。やはり符号化装置EAは、いくつかの実施形態において合成手段Fを備えうる送信機内に組込まれることが多い。他の実施形態では、送信機は、符号化装置を備えるだけであり、一方、合成手段は、受信機自体の一部である、または、DSLネットワークのアクセスノード、家庭内ネットワーク用の住宅用ゲートウェイなどのような、ネットワーク内の中間ノードの一部でありうる。
合成手段は、送信機の一部または中間ノードの一部を形成する場合、これらの符号化された合成ビデオストリームのいくつかの合成ビデオストリームを生成するようになされてもよく、いくつかの合成ビデオストリームは、その後、適切なユーザにさらに送信されうる。そして、異なる符号化された合成ビデオストリームはそれぞれ、特定のユーザプロファイルに関連しており、特定のユーザプロファイルはまた、特定のユーザまたはユーザグループにリンクされる。同様に、合成手段および送信機または中間ノードは、正しい最終の符号化された合成ストリームが正しいユーザまたは受信機に到達するように、適切なスライス選択および送信に関連する必要な制御情報を受信するかまたは所有する必要がある。
混合器、異なるエンコーダ、および合成手段が、方法をうまく機能させるために協働することに言及することが重要である。これを達成する1つの方法は、適切な制御信号を、混合器、エンコーダ、および合成手段に提供するための、図1と図2の両方においてCMで示す中央制御ブロック手段である。これらの制御信号は、制御ブロックCMと、異なる混合器、エンコーダ、および合成手段Fとの間の矢印によって示され、所与のスライスに属する画像領域を示す情報を含んでもよく、時間依存性の正しさを保証するための考えられるエンコーダの決定、エンコーダによって使用される時間参照映像の正しさを保証するためのエンコーダ0によって行われる参照決定、シーケンス、および映像パラメータ設定などに制約を課す。
しかし、他の実施形態では、この中心的符号化は、デバイス自体内のある事前プログラムされたインテリジェンスによって置換されうるため、デバイスは、相互運用性のある方法で機能することができるだけである。なお他の実施形態では、全ての混合器と全てのエンコーダと合成手段と制御手段CMとの間の双方向制御結合が存在する。
本発明の原理が、特定の装置に関連して上述されたが、この説明は、例として行われるに過ぎず、添付の特許請求の範囲で規定される本発明の範囲に関する制限として行われないことが明確に理解される。

Claims (13)

  1. 共通ビデオストリーム(video0)および個人化情報の少なくとも1つの入力ストリーム(input1、…、inputi、…、inputn)に基づいて、符号化された合成ビデオストリーム(evideofinal)を生成する方法にして、該方法は前記少なくとも1つの入力ストリーム(input1、…、inputi、…、inputn)を前記共通ビデオストリーム(video0)内に混合することによって、少なくとも1つの中間ストリーム(video1、…、videoi、…、videon)を生成するステップと、前記少なくとも1つの中間ストリーム(video1、…、videoi、…、videon)を符号化するステップであって、それにより、少なくとも1つの符号化された中間ストリーム(evideo1、…、evideoi、…、evideon)を生成する、ステップとを含む、方法であって、
    前記少なくとも1つの中間ストリームが、スライスにおけるマクロブロックグループ化を考慮して、前記共通ビデオストリームの所定の位置に前記少なくとも1つの入力ストリームを付加することによって生成されること、
    前記マクロブロックグループ化を使用して前記共通ビデオストリーム(video0)を符号化するステップであって、それにより、符号化されたビデオフレームのシーケンスを含み、各符号化されたビデオフレームが、前記共通ビデオストリーム(video0)の符号化されたマクロブロックの所定の数のスライス(sl1、…、sls)のシーケンスを含む符号化された共通ビデオストリーム(video0)を生成する、ステップを含むこと、
    前記少なくとも1つの符号化された中間ビデオストリームが、前記少なくとも1つの中間ビデオストリームの符号化されたマクロブロックの前記所定の数のスライス(sl1)のフレームのシーケンスを含むように、前記少なくとも1つの中間ストリーム(video1、…、videoi、…、videon)が前記マクロブロックグループ化を使用することによって符号化されること、および
    1フレーム当たり、また、1スライスシーケンス番号当たり、1つのストリームの1つのスライスだけが、前記符号化された合成ビデオストリーム(evideofinal)を形成するために選択されるように、前記符号化された共通ビデオストリーム(evideo0)および前記少なくとも1つの符号化された中間ストリーム(evideo1、…、evideoi、…、evideon)を、合成手段(F)によって合成しフィルタリングするさらなるステップを含むことを特徴とする、方法。
  2. 前記符号化された合成ビデオストリーム(evideofinal)を形成する前記ステップの後に、前記符号化された合成ストリーム(evideofinal)を、ネットワークを介して受信機に送信するステップが続く、請求項1に記載の方法。
  3. 前記符号化された合成ビデオストリーム(evideofinal)を形成する前記ステップが、受信機内の前記合成手段(F)によって、前記符号化された共通ビデオストリーム(evideo)および前記少なくとも1つの符号化された中間ストリーム(evideo1、…、evideoi、…、evideon)の受信後に実施される、請求項1に記載の方法。
  4. 前記少なくとも1つの符号化された中間ビデオストリーム(evideo1、…、evideoi、…、evideon)および前記符号化された共通ビデオストリーム(evideo0)が、ネットワークを介して送信機によって中間ノードに送信され、前記符号化された合成ビデオストリーム(evideofinal)を形成するための、前記符号化された共通ビデオストリーム(evideo0)および前記少なくとも1つの符号化された中間ストリーム(evideo1、…、evideoi、…、evideon)を合成しフィルタリングする前記ステップが、前記ネットワークの前記中間ノード内の前記合成手段(F)によって実施され、その後に、前記符号化された合成ビデオストリーム(evideofinal)を、前記中間ノードによって受信機に送信するステップがさらに続く、請求項1に記載の方法。
  5. 特定のユーザプロファイルにそれぞれが関連する複数の受信機に結合される前記中間ノードについて、複数の前記符号化された合成ビデオストリームが、前記中間ノード内の前記合成手段(F)によって生成され、それにより、各符号化された合成ビデオストリームが、前記中間ノードによって対応する受信機にさらに送信するために、前記特定のユーザプロファイルの1つに相当する、請求項4に記載の方法。
  6. 符号化された共通ビデオストリーム(evideo0)および少なくとも1つの符号化された中間ストリーム(evideo1、…、evideoi、…、evideon)を生成する符号化装置(EA)にして、該装置は
    共通ビデオストリーム(video0)および個人化情報の少なくとも1つの入力ストリーム(input1、…、inputi、…、inputn)を受信するようになされ、
    前記共通ビデオストリーム(video0)と前記少なくとも1つの入力ストリーム(input1、…、inputi、…、inputn)を混合し、それにより、少なくとも1つの中間ストリーム(video1、…、videoi、…、videon)を生成する少なくとも1つの混合器(M1、…、Mi、…、Mn)をさらに含み、
    前記少なくとも1つの中間ストリーム(video1、…、videoi、…、videon)を符号化して、前記少なくとも1つの符号化された中間ストリーム(evideo1、…、evideoi、…、evideon)にする少なくとも1つのエンコーダ(E1、…、Ei、…、En)をさらに含む、符号化装置(EA)であって、
    前記少なくとも1つの混合器(M1、…、Mi、…、Mn)が、スライスにおけるマクロブロックグループ化を考慮して、前記共通ビデオストリームの所定の位置に前記少なくとも1つの入力ストリームを付加することによって、前記少なくとも1つの中間ストリーム(video1、…、videoi、…、videon)を生成するようになされ、
    符号化装置(EA)がさらに、前記マクロブロックグループ化を使用して前記共通ビデオストリーム(video0)を符号化し、それにより、各符号化されたビデオフレームが、前記共通ビデオストリーム(video0)の符号化されたマクロブロックの所定の数のスライス(sl1、…、sls)のシーケンスを含むように、符号化されたビデオフレームのシーケンスを含む符号化された共通ビデオストリーム(evideo0)を生成するさらなるエンコーダ(E0)を含み、
    前記少なくとも1つのエンコーダ(E1、…、Ei、…、En)がさらに、前記少なくとも1つの中間ビデオストリームの符号化されたマクロブロックの前記所定の数のスライス(sl1)のフレームのシーケンスを含む前記少なくとも1つの符号化された中間ストリーム(evideo1、…、evideoi、…、evideon)を生成するために、前記マクロブロックグループ化を使用することによって前記少なくとも1つの中間ストリームを符号化するようになされることを特徴とする、符号化装置(EA)。
  7. 符号化されたビデオストリームを送信する送信機であって、
    請求項6に記載の符号化装置を含むことを特徴とする、送信機。
  8. 符号化された共通ビデオストリーム(evideo0)および少なくとも1つの符号化された中間ストリーム(evideo1、…、evideoi、…、evideon)を合成しフィルタリングし、それにより、符号化された合成ビデオストリーム(evideofinal)を生成する合成手段(F)であって、符号化されたビデオフレームのシーケンスを含む前記符号化された共通ビデオストリーム(evideo0)を受信するようになされ、各符号化されたビデオフレームが、共通ビデオストリーム(video0)の符号化されたマクロブロックの所定の数のスライス(sl1、…、sls)のシーケンスを含み、また、前記少なくとも1つの中間ビデオストリームの符号化されたマクロブロックの前記所定の数のスライス(sl1)の符号化されたビデオフレームのシーケンスを含む前記少なくとも1つの符号化された中間ストリーム(evideo1、…、evideoi、…、evideon)を受信するようになされ、さらに、1フレーム当たり、また、1スライスシーケンス番号当たり、1つのストリームの1つのスライスだけが、前記符号化された合成ビデオストリーム(evideofinal)を生成するために選択されるように、前記符号化された共通ビデオストリーム(evideo0)および前記少なくとも1つの符号化された中間ストリーム(evideo1、…、evideoi、…、evideon)を合成しフィルタリングするようになされる、合成手段(F)。
  9. さらに、前記符号化された合成ビデオストリームの複数の異なる符号化された合成ビデオストリームを生成するようになされ、それにより、各符号化された合成ビデオストリームが特定のユーザプロファイルに相当することを特徴とする、請求項8に記載の合成手段(F)。
  10. 請求項8または9に記載の合成手段(F)をさらに含むことを特徴とする、請求項7に記載の送信機。
  11. 符号化されたビデオストリームを受信する受信機であって、
    請求項8に記載の合成手段(F)を含むことを特徴とする、受信機。
  12. 符号化されたビデオストリームを送信するネットワークの中間ノードであって、請求項8または9に記載の合成手段(F)を含むことを特徴とする、中間ノード。
  13. 各受信機が前記特定のユーザプロファイルに関連する、複数の受信機に結合される中間ノードについて、さらに、前記異なる符号化された合成ビデオストリームを、前記特定のユーザプロファイルによって各受信機に送信するようになされる、請求項12に記載の中間ノード。
JP2010532508A 2007-11-13 2008-11-12 個人化ビデオ符号化のための方法および配置構成 Expired - Fee Related JP5421922B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP07291361.9 2007-11-13
EP07291361.9A EP2061249B1 (en) 2007-11-13 2007-11-13 Method and arrangement for personalized video encoding
PCT/EP2008/009537 WO2009062679A1 (en) 2007-11-13 2008-11-12 Method and arrangement for personalized video encoding

Publications (2)

Publication Number Publication Date
JP2011503984A true JP2011503984A (ja) 2011-01-27
JP5421922B2 JP5421922B2 (ja) 2014-02-19

Family

ID=39431134

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010532508A Expired - Fee Related JP5421922B2 (ja) 2007-11-13 2008-11-12 個人化ビデオ符号化のための方法および配置構成

Country Status (6)

Country Link
US (1) US8542743B2 (ja)
EP (1) EP2061249B1 (ja)
JP (1) JP5421922B2 (ja)
KR (1) KR101504789B1 (ja)
CN (1) CN101437164B (ja)
WO (1) WO2009062679A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8897365B2 (en) 2008-11-19 2014-11-25 Nvidia Corporation Video rate control processor for a video encoding process
US8605791B2 (en) * 2008-11-21 2013-12-10 Nvidia Corporation Video processor using an optimized slicemap representation
US9219945B1 (en) * 2011-06-16 2015-12-22 Amazon Technologies, Inc. Embedding content of personal media in a portion of a frame of streaming media indicated by a frame identifier

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11261966A (ja) * 1998-03-12 1999-09-24 Toshiba Corp 映像符号化装置および映像符号化方法
JP2004023706A (ja) * 2002-06-20 2004-01-22 Matsushita Electric Ind Co Ltd 多地点会議システム
JP2006319701A (ja) * 2005-05-13 2006-11-24 Hitachi Ltd デジタル放送受信装置及び受信方法
WO2007003627A1 (en) * 2005-07-06 2007-01-11 Thomson Licensing Method and device for coding a video content comprising a sequence of pictures and a logo

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7394850B1 (en) * 1999-10-25 2008-07-01 Sedna Patent Services, Llc Method and apparatus for performing digital-to-digital video insertion
US6621866B1 (en) * 2000-01-28 2003-09-16 Thomson Licensing S.A. Method for inserting a visual element into an MPEG bit stream
US6970510B1 (en) * 2000-04-25 2005-11-29 Wee Susie J Method for downstream editing of compressed video
WO2004047062A2 (en) * 2002-11-14 2004-06-03 Opentv, Inc. Positioning of images in a data stream
US20050008240A1 (en) * 2003-05-02 2005-01-13 Ashish Banerji Stitching of video for continuous presence multipoint video conferencing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11261966A (ja) * 1998-03-12 1999-09-24 Toshiba Corp 映像符号化装置および映像符号化方法
JP2004023706A (ja) * 2002-06-20 2004-01-22 Matsushita Electric Ind Co Ltd 多地点会議システム
JP2006319701A (ja) * 2005-05-13 2006-11-24 Hitachi Ltd デジタル放送受信装置及び受信方法
WO2007003627A1 (en) * 2005-07-06 2007-01-11 Thomson Licensing Method and device for coding a video content comprising a sequence of pictures and a logo

Also Published As

Publication number Publication date
JP5421922B2 (ja) 2014-02-19
KR20100085101A (ko) 2010-07-28
KR101504789B1 (ko) 2015-03-30
WO2009062679A1 (en) 2009-05-22
EP2061249A1 (en) 2009-05-20
US8542743B2 (en) 2013-09-24
US20090122873A1 (en) 2009-05-14
CN101437164A (zh) 2009-05-20
CN101437164B (zh) 2011-03-16
EP2061249B1 (en) 2018-12-26

Similar Documents

Publication Publication Date Title
CN102124742B (zh) 精制深度图
JP6159849B2 (ja) 3d映像フォーマット
JP5614902B2 (ja) 3dvのレイヤ間依存関係情報
CN102017628B (zh) 深度信号的编码
JP2020188517A (ja) ビデオ符号化及び復号化におけるタイリング
JP5072996B2 (ja) 三次元ビデオ符号化に関するシステム及び方法
CN101548548B (zh) 用于在视频编码中提供画面输出指示的系统和方法
CN102160387B (zh) 棋盘式多路复用图像数据的编码和解码架构
JP5026584B2 (ja) 符号化システム
US20100284466A1 (en) Video and depth coding
JP2010525744A (ja) ダウンサンプリングされたリファレンスピクチャによるビュー間予測
KR101217430B1 (ko) 고속 채널 변경
CN104661044B (zh) 一种广电ott融合终端及其实现方法
CN105122804A (zh) 利用颜色位深缩放的视频压缩
CN105791836A (zh) 视频编码方法、视频码流自适应传输方法和显示方法
CN107566839B (zh) 对图片进行解码、编码的电子设备和方法
JP2018050327A (ja) デジタルビデオをコード化およびデコードするための方法、ならびに関係するコード化およびデコードデバイス
JP5421922B2 (ja) 個人化ビデオ符号化のための方法および配置構成
CN104798377A (zh) 用于多视图、三维(3d)及可缩放视频位流的子位流提取
KR101140269B1 (ko) 영상신호 생성장치, 영상신호 생성방법, 영상신호 생성프로그램 및 그 프로그램을 기록한 컴퓨터 독취가능한 기록매체
US8121422B2 (en) Image encoding method and associated image decoding method, encoding device, and decoding device
KR102440395B1 (ko) 3dtv 방송 송수신 장치 및 방법
US20130250055A1 (en) Method of controlling a 3d video coding rate and apparatus using the same
US20170171583A1 (en) Shvc-based uhd image data transmission and reception system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110620

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121030

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130521

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130812

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131122

R150 Certificate of patent or registration of utility model

Ref document number: 5421922

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees