JP2005526423A - サブピクチャコンテンツを加えるためのｍｐｅｇビットストリームのトランスコーディング - Google Patents

Abstract

ビデオ及びサブピクチャストリームを含むＤＶＤトランスポートストリームは、放送トランスポートストリームにトランスコードされる。このデコーディング−エンコーディングチェインに対して、リザーブされた放送フォーマットには無いけれども、サブピクチャの情報を保護するために、単一ビデオビットストリームにビデオ及びサブピクチャをマージすることを提供する。サブピクチャのマクロブロック分析を行うことによって、トランスコーディングを制御でき、ＭＰＥＧ２規格のエンコーダの動き補償ユニット及び／又はエンコーダ内のデコーディングループ全体を省くことができる。

Description

本発明は、ビデオビットストリーム及びサブピクチャビットストリームを含むピクチャデータ信号を処理する装置及び方法に関する。特に、本発明は、デジタル放送トランスポートストリームにＤＶＤトランスポートストリームのトランスコーディングに関する。

アプリケーションの中には、ＤＶＤトランスポートストリームからデジタル放送トランスポートストリームへの変換を必要とする。通常、ＤＶＤトランスポートストリームは、３つのタイプの基本ビットストリーム：ビデオストリーム、オーディオストリーム及びサブピクチャビットストリームを含む。しかしながら、ＤＳＳ、ＤＶＢ又はＨＤ−ＴＶのようなデジタル放送トランスポートストリームは、サブピクチャビットストリームのようなものを含まず、ＤＶＤフォーマットからデジタル放送フォーマットに逐次にトランスコーディングを実行するとき、ＤＶＤサブピクチャビットストリームは失われる。

従来のシステムにおいて、デジタルビットストリームをトランスコードするとき、完全なデコーディング及びエンコーディングハードウェアを必要とする。また、デジタルビットストリームがデコードされ、アナログ信号に変換された場合、結果的に品質が劣化する。

その点で、本発明の目的は、ビットストリームのトランスコーディングを改善する方法及び装置を提供することにある。

本発明によれば、ビデオビットストリーム及びサブピクチャビットストリームを含むピクチャデータ信号を処理する方法であって、ビデオ及びサブピクチャビットストリームをデジタル的にデコードし、前記デコードされたビットストリームをデジタル的に処理し、前記処理されたビットストリーム又は前記ビットストリームをデジタル的にエンコードする方法によって、この目的が解決される。

また、ビデオビットストリーム及びサブピクチャビットストリームを含むピクチャデータ信号を処理する装置であって、前記ビデオ及びサブピクチャビットストリームをデジタル的にデコードするデコーディング手段と、前記デコードされたビットストリームをデジタル的に処理する処理手段と、前記処理されたビットストリーム又は前記ビットストリームをデジタル的にエンコードするエンコーディング手段とを有する装置によって、前述の目的が解決される。

本発明の方法及び装置の更なる好ましい実施形態が、従属請求項に規定されている。

ＤＶＢ、ＤＳＳ又はＨＤ−ＴＶのようなデジタル放送トランスポートストリームにＤＶＤトランスポートストリームのトランスコーディングが実行されたとき、ＤＶＤストリーム内の利用可能な要素サブピクチャビットストリームを、放送トランスポートストリーム内に配置できない。

デジタル放送トランスポートビットストリームで利用可能なサブピクチャ情報を維持する解決策は、単一ビデオビットストリームに、ビデオ及びサブピクチャをマージすることである。ビデオ及びサブピクチャを含むマージされたビデオストリームを、デジタル放送トランスポートストリームに再び配置できる。

サブピクチャ及びビデオビットストリームのマージは、サブピクチャ用のデコーダ及びビデオ用のデコーダのチェインと、マージされたビデオ用の単一エンコーダとを必要とする。マージされたビデオをエンコードするためにここに記載された本発明を用いることによって、エンコーダハードウェアを劇的に簡単化することができる。第１のステップにおいて、複合動き補償ハードウェアを省くことができる。エンコードされたマクロブロックタイプを、イントラエンコードされたマクロブロックのみに更に限定することによって、エンコーダのデコーディングループ全体を取り除くことができる。

エンコーダは、特別制御ユニットを有することができ、これは、サブピクチャから影響を受けず、即ち、サブピクチャとマージした後で変更されずに残存する、ビデオのピクチャにおける変更されない全てのマクロブロックを受け継ぐ。オリジナルビデオがサブピクチャコンテンツによって影響を受けないピクチャの全てのマクロブロックについて、制御ユニットは、新たなエンコーディング操作に切り替える。

新たなエンコーディングは、零ベクトル予測エンコーディング又はイントラエンコーディングにすることができる。２つのモードは、いずれの動き推定も必要とせず、この用途に対して使われていない動き推定ハードウェアをなす。ピクチャ内で影響を受けないマクロブロック用のヌルベクトル予測モードを用いることをやめることによって、及び予測ハードウェアをイントラモードでのみ用いることをやめることによって、デコーディングループが省かれる。

従って、ここに記載された本発明は、ＤＶＤトランスポートビットストリームをデコードし、ビデオ及びサブピクチャデータを新たな単一ビデオビットストリームに重ね合わせたものをエンコードするための経済的な解決策を与える。本発明を用いることによって、新たなエンコーディングは、ＭＰＥＧエンコーディングハードウェアに通常必要とされる動き推定ユニットを省く。

本発明は、図面を用いて、より詳細に以下に説明される。

ＤＶＤトランスポートストリームがＤＳＳ、ＤＶＢ又はＨＤＴＶのレシーバに入力されたとき、対応するトランスポートストリームのデータフレームに適合するように最初に変換する必要がある。ＤＶＤトランスポートビットストリームは、ほとんどサブピクチャビットストリームを含む。サブピクチャビットストリームは、例えば、映像のダイアログに対して特定の言語のサブタイトルを含む。利用者は、スクリーン上でサブタイトルを見ることを希望することもできる。残念なことに、放送トランスポートストリームは、サブピクチャビットストリームに対していずれのエントリも提供しない。また、サブピクチャビットストリームも、プライベートビットストリームとして組み込まれたときでさえ、対応するハードウェアによってデコードされようとしない。サブピクチャビットストリームが、放送デコーダ内で可視的にならなければならない場合、オリジナルビデオビットストリームとマージされなければならず、クロスエンコーディング処理中に、マージされたビデオビットストリームに再びエンコードされなければならない。

ＤＶＤアプリケーションに用いられるサブピクチャ及びビットストリームを、デジタル放送に用いられる新たにマージされたビデオビットストリームにマージすることは、２つのデコーダ１及び２のチェインと、信号エンコーダ３（図１参照）とを必要とする。

ビデオビットストリームは、ビデオデコーダ１によって、ビデオ信号（ＶＩＤ信号）にデコードされ、サブピクチャビットストリームは、サブピクチャデコーダ２によって、サブピクチャ信号（ＳＰ信号）にデコードされる。ビデオ信号及びサブピクチャ信号は、マージ信号を得るために加算器４によって加えられる。マージ信号は、デジタル放送で用いられるように、ビデオエンコーダ３によって、マージされたビデオビットストリームにエンコードされる。

主に、放送局のスタジオ内で本発明を用いることができる。本発明を用いる特別の分野は、オンデマンドサービスプロバイダにおけるビデオのスタジオにある。個人利用者は、特定言語のサブタイトル挿入を選択することができ、ＶＯＤサービスプロバイダは、統合されたサブタイトルを有するトランスコードされたビットストリームを配信する。

図２は、より詳細なビデオエンコーダ３を表す。描かれたエンコーダ３は、ＭＰＥＧ２規格のエンコーダであるので、詳細な記述についてはＭＰＥＧ２規格が参照される。

完成したＭＰＥＧビデオエンコーダは、通常、動き推定ユニット５を含むように非常に複合的であり、デコーディングループ６は、エンコーディングハードウェア７と並ぶ（図２参照）。マージされたビデオをエンコードするためにここに記載された本発明を用いることによって、エンコーダハードウェア３を、以下の実施形態によって劇的に簡単化できる。

マージされたビデオビットストリームの生成に対してエンコーディングハードウェアを簡単化する前提条件として、サブピクチャのマクロブロック分析（図３参照）を実行することが必要となる。マクロブロック分析は、サブピクチャ又はその部分が位置するところのピクチャに全てのマクロブロックを含む（ｌｕｍａ及びｃｈｒｏｍａの）マクロブロックマスクを生成する。図３は、ビデオ信号と、サブピクチャ信号と、影響を受けたマクロブロックのマスクとにおける２つの例を表す。ケースａ）において、ビデオ信号は、通常のピクチャに対応する。サブピクチャ信号は、通常のサブタイトルテキストに対応する。サブタイトルによって影響を受けたマクロブロックは、図３の右側で長方形に表されるマスクを導く。

ケースｂ）において、ビデオ信号は、コンピュータアプリケーションからわかる典型的なメニューに対応する。この場合、サブピクチャ信号は、メニューのボタンに対応するグラフィックを表す。グラフィックサブピクチャボタンによって影響を受けたマクロブロックは、結果として小さい長方形のマスクとなる。（図３の右フレーム内の斜線領域の）マスクされていないフレームのこれら要素だけは、トランスコーディングに対して処理されなければならず、これに対し、フレームの他の部分は、変更されずに残存する。

サブピクチャのマクロブロック分析から生成された、影響を受けたマクロブロックのマスク（ＭＡＭ）を用いることによって、第１のステップにおいて、複合動き推定ハードウエアを省くことができる（図４参照）。エンコーダ３は、ＭＡＭに基づく特別制御ユニット８を用いる。これは、サブピクチャによって影響を受けない、即ち、サブピクチャとマージした後で変更されずに残存する、出力ビットストリーム（図４のスイッチ９参照）に、変更されない全てのマクロブロックをコピーすることによってなされる。オリジナルビデオコンテンツがサブピクチャコンテンツによって影響を受けているピクチャの全てのマクロブロックについて、ＭＡＭ制御ユニットは、新たなエンコーディングのために切り替える。エンコーディング処理は、ＭＰＥＧで可能な全てのマクロブロックタイプＩ、Ｐ、Ｂを用いる。しかし、新たなエンコーディングのために用いられる場合、全ての動きベクトルは、零に設定される。それゆえ、複合動き推定を除くことができる。

エンコーダハードウェアの更なる簡単化は、エンコードされたマクロブロックタイプをイントラマクロブロックのみに限定することによって可能となる。これが実行されたとき、図５に描かれたように、エンコーダ３のデコーディングループ６全体を取り除くことができる。再度、ＭＡＭ制御ユニット８が、サブピクチャビットストリームから生成されたＭＡＭに基づいてエンコーディング処理を制御する。再エンコーディングによって影響を受けないビットストリームの部分は、変更されないエンコーディング処理を通過する。他のマクロブロックの全ては、イントラマクロブロックとして再エンコードされる。動き推定ユニット５の他に、このエンコーディングハードウェアは、デコーディングループ６の全体を省き、即ち、フレームバッファも取り除くことができる。

ここに記載された本発明は、ＤＶＤトランスポートビットストリームをデコードし、新たな単一ビットストリームにサブピクチャと一緒にビデオをエンコードする、経済的な解決策を与える。

要約すると、本発明は、
１）サブピクチャビットストリーム以外のアクティブマクロブロックを決定することによってマクロブロックマスクを生成する。
２）サブピクチャ情報を用いて生成されたマスク情報を用いることによって、マージされたビデオ及びサブピクチャビットストリームを再エンコードする。
３）動き補償された全てのマクロブロックタイプを零動きベクトルに限定することによって、マージされたビデオ及びサブピクチャビットストリームを再エンコードする。
４）マクロブロックの全てのタイプをイントラエンコード（Ｉタイプ）に限定することによって、マージされたビデオ及びサブピクチャビットストリームをエンコードする。
５）ビデオ及びサブピクチャデータを、新たなビットストリームにマージすることによって、新たなビデオビットストリームを生成する。

本発明の他用途の分野は、ホームネットワークにおけるビデオコンテンツの配信である。例えば、ＩＥＥＥ１３９４バスに基づくホームネットワークは、ＩＥＥＥ１３９４バスパケットのＭＰＥＧ２トランスポートストリームを配信することを可能にする。本発明の中で、ＤＶＤプレーヤにおけるトランスコードされたＭＰＥＧ２ ＴＳ を生成し、ＭＰＥＧ２デコーダを有するいずれかの装置に対してＩＥＥＥ１３９４バスを渡ってそれを転送する。これは、セットトップボックス、パーソナルコンピュータ、デジタルビデオレコーダ、デジタルＴＶセット等にすることができる。ＭＰＥＧ２デコーダは、接続されるディスプレイ装置に、デコードされたビデオコンテンツを配信する。これは、ＴＶセット、コンピュータモニタ等にすることができる。従って、サブタイトルは、ディスプレイ装置のスクリーン上に発生する。

デコーダ−エンコーダ−チェインの原理的なブロック図である。 本発明におけるサブピクチャ信号とビデオ信号とをマージするデコーダ−エンコーダ−チェインのブロック図である。 ビデオ信号と、サブピクチャ信号と、影響を受けたマクロブロックのマスクとにおける２つの例となる表示図である。 サブピクチャマクロブロック分析に基づくイントラ又は零ベクトルの予測マクロブロックタイプを用いて、サブピクチャ信号及びビデオ信号をマージするデコーダ−エンコーダ−チェインのブロック図である。 サブピクチャマクロブロック分析に基づくイントラマクロブロックタイプのみを用いて、サブピクチャ信号及びビデオ信号をマージするデコーダ−エンコーダ−チェインのブロック図である。

符号の説明

１ ビデオデコーダ
２ サブピクチャデコーダ
３ ビデオエンコーダ
４ 加算器
５ 動き補償部
６ デコーディンググループ
７ エンコーディングハードウェア
８ サブピクチャのマクロブロック分析部
９ スイッチ

Claims (15)

1. ビデオビットストリーム及びサブピクチャビットストリームを含むトランスポートストリームから、エンコードされたビデオピクチャデータをマージする方法において、
   前記サブピクチャビットストリームをデジタル的にデコードし、
   前記サブピクチャによって影響を受けるビデオピクチャエリアのための位置情報を抽出し、
   サブピクチャによって影響を受けずに残存するエリアにおけるビデオビットストリームからの変更されないエンコードされたビデオデータと、サブピクチャがピクチャのビデオコンテンツに影響を及ぼすエリアのために新たにエンコードされたビデオデータと、からなるマージされたビットストリームを生成する
   ことを特徴とする方法。
2. 前記デジタル的なエンコーディングは、動き補償及び予測と共にエンコードするＭＰＥＧ２規格を含むことを特徴とする請求項１に記載の方法。
3. 前記位置情報は、フレームエリアを規定し、好ましくはサブピクチャによって影響を受けるマクロブロックからなることを特徴とする請求項１又は２に記載の方法。
4. 前記デジタル的なエンコーディングは、零ベクトル動き補償に限定される動き補償を含むことを特徴とする請求項１から３のいずれか１項に記載の方法。
5. ビデオピクチャデータは、マクロブロックとして処理され、影響を受けたピクチャエリアにおける全てのマクロブロックは、イントラエンコードされることを特徴とする請求項１から４のいずれか１項に記載の方法。
6. マージされたビットストリームは、ＭＰＥＧ２トランスポートストリームであり、トランスポートパケットは、ＭＰＥＧ２デコーダに備えられた装置にホームネットワークのバス接続を渡ってバスパケットで配信されることを特徴とする請求項１から５のいずれか１項に記載の方法。
7. 前記ホームネットワークのバスは、ＩＥＥＥ１３９４バスであることを特徴とする請求項６に記載の方法。
8. ビデオビットストリームとエンコードされたサブピクチャビットストリームとを含むトランスポートストリームから、エンコードされたビデオピクチャデータをマージする装置において、
   前記ビデオ及びサブピクチャビットストリームをデジタル的にデコードするデコーディング手段（１、２）と、
   デコードされたビデオ及びサブピクチャデータをマージする加算手段（４）と、
   新たにビデオビットストリームを生成するために、マージされたビデオ及びサブピクチャデータをデジタル的にエンコードするエンコーディング手段（３）と
   を有することを特徴とする装置。
9. 前記エンコーディング手段（３）は、ＭＰＥＧ２規格エンコーダを含むことを特徴とする請求項８に記載の装置。
10. 好ましくはマクロブロックの単位で、サブピクチャによって影響を受けるビデオピクチャエリアのための位置情報を抽出するために、少なくとも前記デコードされたサブピクチャデータを処理する決定手段（８）を更に含むことを特徴とする請求項８又は９に記載の装置。
11. 前記位置情報がスイッチング手段（９）を制御し、該スイッチング手段（９）は、サブピクチャによって影響を受けないビデオビットストリームから、エンコードされたマクロブロックを出力にコピーし、新たにビデオビットストリームを形成するために、エンコードされたマージされたビデオ及びサブピクチャデータを出力に進めることを特徴とする請求項１０に記載の装置。
12. 前記エンコーディング手段（３）は、零動きベクトルを排他的に補償する動き補償手段（５）を含むことを特徴とする請求項８から１１のいずれか１項に記載の装置。
13. ピクチャデータはマクロブロックとして処理され、全てのマクロブロックは、前記エンコーディング手段（３）によってイントラエンコードされることを特徴とする請求項８から１２のいずれか１項に記載の装置。
14. 前記マージされたビットストリームは、ＭＰＥＧ２トランスポートストリームであり、前記装置は、ホームネットワークのバス接続に対するバスパケットにおけるＭＰＥＧ２トランスポートパケットをソートする手段を含むことを特徴とする請求項８から１３のいずれか１項に記載の装置。
15. バスパケットのＭＰＥＧ２トランスポートパケットをソートする手段は、ＩＥＥＥ１３９４バスインタフェース内に含まれることを特徴とする請求項１４に記載の装置。

Images