JP2004512781A

JP2004512781A - ビデオシーンのコンポジションの方法及び装置

Info

Publication number: JP2004512781A
Application number: JP2002538683A
Authority: JP
Inventors: ブロウアード　ギラウメ; ドゥランディー　スィエリー; プランテロセ　スィエリー
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2000-10-24
Filing date: 2001-10-17
Publication date: 2004-04-22
Also published as: WO2002035846A3; EP1332623A2; WO2002035846A2; US20020113814A1

Abstract

本発明は、ビデオオブジェクトを含むデジタルビデオデータストリームからシーンコンテンツを構成する、経済的であり、最適化された方法に関するものである。この方法は、デジタルビデオデータストリームから復号オブジェクトフレームを生成する復号ステップと、復号オブジェクトフレームからコンポジションバッファにおいて中間構成フレームを構成するレンダリングステップとを有している。本発明によるシーンコンポジションの方法は、シーンコンテンツを構成する出力フレームを生成する上記中間構成フレームに適用されるスケーリングステップを有している。実際には、最終的なシーンの中間構成フレームに関してスケーリングステップを行うことにより、１つの処理ステップで拡大されたフレームが得られ、これは、計算の負荷をかなり低減する。上記スケーリングステップのために信号コプロセッサを使用することは、未来の中間構成フレームのコンポジションに用いられ、信号プロセッサにより行われるオブジェクトの復号を同時に予想する可能性を提供する。

Description

【０００１】
【発明の属する技術分野】
本発明は、ビデオオブジェクトを含むデジタルビデオデータストリームからシーンコンテンツを構成する方法に係り、デジタルビデオデータストリームから復号オブジェクトフレームを生成する復号ステップと、復号オブジェクトフレームからコンポジションバッファにおいて中間構成フレーム（ｉｎｔｅｒｍｅｄｉａｔｅ−ｃｏｍｐｏｓｅｄｆｒａｍｅ）を構成するレンダリングステップとを有する方法に関する。
【０００２】
本発明は、例えば、デジタルテレビ放送の分野において用いられ、視聴者がレンダリングされたビデオシーン内において対話することを可能にする電子プログラムガイド（ＥＰＧ）として実現され得る。
【０００３】
【従来の技術】
ＩＳＯ／ＩＥＣ１４４９６−２として参照されるＭＰＥＧ４規格は、マルチメディアデータ操作に関する機能性を提供する。これは、２次元若しくは３次元の画像、ビデオチップ、オーディオトラック、テキスト又はグラフィックスのような異なる自然オブジェクト又は合成オブジェクトを含むシーンコンポジションのために用いられる。この規格は、使用可能なシーンコンテンツを作ることを可能し、オブジェクトの結合の柔軟性を可能にし、複数のオブジェクトを含むシーンにおけるユーザインタラクションのための手段を提供する。この規格は、通信リンクを介してサーバとクライアント端末とを有する通信システムに用いられ得る。このようなアプリケーションでは、上記２つのセットの間においてやり取りされるＭＰＥＧ４データは、上記通信リンクにおいてストリーミングされ、上記クライアント端末においてマルチメディアアプリケーションを作成するために用いられる。
【０００４】
国際特許出願公開ＷＯ００／０１１５４号公報には、ＭＰＥＧ４ビデオプログラムを構成して与える上述した種類の端末及び方法が説明されている。この端末は、
‐全ての処理タスクを管理する端末マネージャ、
‐復号オブジェクトを供給する復号器、
‐上記復号オブジェクトのシーングラフを維持し、更新し、アセンブルするコンポジションエンジン、及び
‐プレゼンテーションのためのシーンを提供するプレゼンテーションエンジン
を有している。
【０００５】
【発明が解決しようとする課題】
本発明の目的は、経済的であり、最適化されたビデオシーンのコンポジションの方法を提供することにある。本発明は、以下の観点を考慮に入れている。
【０００６】
従来技術によるコンポジションの方法は、復号ビデオオブジェクトのセットからビデオシーンのコンポジションを可能にする。この目的のため、コンポジションエンジンが、復号器のセットにより前に復号されたオブジェクトのセットのシーングラフを維持し、更新し、アセンブルする。これを受けて、プレゼンテーショエンジンが、ビデオモニタのような出力装置におけるプレゼンテーションのためにビデオシーンを抽出する。レンダリングの前に、この方法は、復号されたオブジェクトを個々に適切なフォーマットに変換することを可能にする。レンダリングされるシーンフォーマットが拡大されなければならない場合、シーンを構成する、復号された全てのオブジェクトに変換ステップが適用されなければならない。従って、この方法は、高い計算資源を必要とし、スレッド管理の複雑さが増大するので、高価である。
【０００７】
【課題を解決するための手段】
従来技術の方法の上述した制約を解決するために、本発明によるシーンコンテンツを構成する方法は、シーンコンテンツを構成する出力フレームを生成する中間構成フレームに適用されるスケーリングステップを有することを特徴としている。
【０００８】
実際には、最終的なシーンの中間構成フレームに関してスケーリングステップを行うことにより、１つの処理ステップで拡大されたフレームが得られ、これは、計算の負荷をかなり低減する。
【０００９】
本発明によるシーンコンテンツを構成する方法は、また、上記中間構成フレームから現在の出力及び未来の出力フレームを同時に作成する、同期のとられた並列なタスクを行う信号プロセッサ及び信号コプロセッサにより実行されるように意図されていることを特徴としている。従って、現在の中間構成フレームのスケーリングステップが信号コプロセッサにより行われるように意図され、未来の中間構成フレームのコンポジションのために用いられる復号オブジェクトフレームを生成する復号ステップが信号プロセッサにより同時に行われるように意図されている。
【００１０】
上記スケーリングステップのために信号コプロセッサを使用することは、未来の中間構成フレームのコンポジションに用いられるオブジェクトの復号を予想する可能性を提供し、未来の中間構成フレームのコンポジションに用いられるオブジェクトフレームは、現在の出力フレームのコンポジションの間に復号され得る。このマルチタスクの方法は、高い処理最適化を可能にし、これは、リアルタイムのアプリケーションを扱う際に、当業者であればすばらしさが分かるような、より速い処理につながる。
【００１１】
本発明のこれらの観点及びその他の観点は、以下に説明する実施態様から明らかであり、以下に説明する実施態様を参照して理解されるであろう。
【００１２】
本発明のこれらの観点及びその他の観点は、以下に説明する実施態様を参照して説明され、添付の図面に関連して考慮されるであろう。上位添付の図では、同一の部分又はサブステップは、同様に示されている。
【００１３】
【発明の実施の形態】
本発明は、オブジェクト指向のビデオ規格に従って符号化された入力ビデオデータストリームからシーンコンテンツを構成する、改善された方法に関するものである。
【００１４】
本発明は、ＭＰＥＧ４規格に従って符号化された入力ビデオストリームから構成されるビデオシーンの場合について説明されるが、本発明の範囲はこの特定の場合に制限されるものではなく、ＭＰＥＧ４規格に従っていても、他のオブジェクト指向のビデオ規格に従っていても、複数のビデオストリームがアセンブルされなければならない場合もカバーすることは、当業者にとっては明らかであろう。
【００１５】
図１は、本発明によるビデオシーンコンテンツのコンポジション方法に対応するブロック図である。この好ましく説明される実施態様では、シーンは、共にＭＰＥＧ４規格に従って符号化されたビデオストリームに含まれている背景ビデオと前景ビデオとから構成される。本発明によるシーンのコンポジションの方法は、以下のステップを有している。
‐入力ＭＰＥＧ４ビデオストリーム１０２，１０３を復号し、背景フレームと前景フレームとにそれぞれ対応する復号オブジェクトフレーム１０４，１０５を生成する復号ステップ１０１。入力ビデオストリームと同じ数の、オブジェクトフレームを生成する復号器が存在する。
‐上述した前に復号されたオブジェクトフレームからコンポジションバッファにおいて中間構成フレームを構成するレンダリングステップ１１３。このステップは、復号背景ビデオのオブジェクトフレーム番号ｉ及び前景ビデオのオブジェクトフレーム番号ｉを用いる一時的なフレーム番号ｉのコンポジションサブステップを含んでいる。ここで、ｉは、１と１０４及び１０５に含まれるフレームの共通の番号との間において増加する順に変化する。コンポジションの順序は、レンダリングされるべき各要素の深さによって決定される。まず、前景ビデオがコンポジションバッファでマッピングされ、そののち、オブジェクトフレーム間の透過係数のような上記オブジェクトフレーム間のアセンブリングパラメータを考慮に入れて、前景ビデオが背景ビデオにアセンブルされる。レンダリングは、例えば背景領域全体を占有する背景ビデオと比較した所望の前景ビデオの位置の指示のようなユーザインタラクション１０６を考慮に入れる。勿論、オブジェクトフレームのシーングラフ記述を含むＢＩＦＳ（ＢｉｎａｒｙＦｏｒｍａｔｆｏｒＳｃｅｎｅ）の使用のような、復号オブジェクトフレームをアセンブルする他の手法も考えられ得る。このように、上記レンダリングステップは、１０４のことを指す現在のオブジェクトフレーム番号ｉ及び１０５のことを指す現在のオブジェクトフレーム番号ｉからコンポジションバッファに蓄積される現在の中間構成フレームのコンポジションをもたらす。そののち、レンダリングステップは、復号背景ビデオの未来のオブジェクトフレーム番号ｉ＋１及び前景ビデオの未来のオブジェクトフレーム番号ｉ＋１から、未来の中間構成フレーム番号ｉ＋１を構成する。
‐前にレンダリングされ、コンポジションバッファに含まれている、レンダリング出力ステップ１０７において得られる現在の中間構成フレーム番号ｉを拡大するスケーリングステップ１０８。このステップは、得られるフレーム１０９がフルスクリーンディスプレイ１１０を考慮してより大きな領域を占有するように、レンダリングされたフレーム１０７を縦軸及び／又は横軸に沿って拡大する。このスケーリングステップは、小さなフレームフォーマットから大きなフレームフォーマットを得ることを可能にする。この目的のため、画素は、輝度成分だけではなく、クロミナンス成分に関しても、スケーリングファクタの値と同じ倍数で横方向にも縦方向にも複製される。勿論、画素の補間に基づいた手法のような代替のアップスケーリングの手法が用いられ得る。例えば、好ましい実施態様では、中間構成フレーム１０７が、背景として用いられるＣＩＦ（ＣｏｍｍｏｎＩｎｔｅｒｍｅｄｉａｔｅＦｏｒｍａｔ）オブジェクトフレーム及び前景として用いられるＳＱＣＩＦ（ＳｕｂＱｕａｒｔｅｒＣｏｍｍｏｎＩｎｔｅｒｍｅｄｉａｔｅＦｏｒｍａｔ）オブジェクトフレームから得られることが考えられ得る。上述したスケーリングステップを１ないし２のスケーリングファクタを持つフレーム１０７に適用することにより、得られるフレーム１０９は、背景を伴う、ほとんどのディスプレイにより必要とされるＣＣＩＲ−６０１ビデオフォーマットの前景のようなＱＣＩＲオーバーレイビデオフォーマットを表す。
【００１６】
本発明による方法は、また、上記スケーリングステップ１０８から分岐することを可能にしている。この可能性は、レンダリングされたフレーム１０７に関するいかなるスケーリング動作をも回避するスイッチングステップ１１２により実現される。このスイッチングステップは、例えばディスプレイ１１０上に拡大されたビデオフォーマットを持ちたくないエンドユーザにより引き起こされるアクション１１１により制御される。この目的のため、ユーザは、例えばマウスか又はキーボードから対話する。
【００１７】
コンポジションプロセスにスケーリングステップ１０８を挿入することにより、本発明は、小さなサイズのＭＰＥＧ４オブジェクトから、ディスプレイ１１０上に大きなビデオフレームを得ることを可能にする。その結果、メモリデータ操作だけではなく、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）の点においても、復号ステップ及びレンダリングステップに関して、より小さな計算資源が必要とされる。更に、簡単なスケーリングステップが、中間構成フレームに含まれる全てのオブジェクトフレームを拡大するように行われるので、本発明のこの観点は、現在民生用製品に含まれている低級の処理手段を有していても処理待ち時間（ｌａｔｅｎｃｙ）を回避する。
【００１８】
図２は、本発明によるシーンコンポジションの方法が用いられる場合に、コンポジション処理ステップ（処理タスクとも呼ばれる）がどのようにして同期するかを示しており、横軸の時間軸がタスク持続時間の量を表している。ＭＰＥＧ４入力ビデオストリームに関して行われるべき相補的な処置ステップを利用するために、このコンポジション方法は、信号プロセッサ（ＳＰ）及び信号コプロセッサ（ＳＣＰ）により実行される２つのタイプの処理を通して実現され、上記２つの処理手段は、当業者によってよく知られており、非拡張的な（ｎｏｎ−ｅｘｔｅｎｓｉｖｅ）データの操作タスク、及び拡張的な（ｅｘｔｅｎｓｉｖｅ）データの操作タスクをそれぞれ行う。本発明は、１０７において利用可能な中間構成フレーム番号ｉ＋１のコンポジションステップが開始する一方で、中間構成フレーム番号ｉがコンポジション及びレンダリングされるように、これらのデバイスを使用することを提案するものである。この目的のため、タスクマネージャによって管理される全てのプロセスが、入力ＭＰＥＧ４オブジェクトフレームの復号のために用いられる復号タスク（ＤＥＣ）及びシーンコンポジションのために用いられるレンダリングタスク（ＲＥＮＤＥＲ）の２つの異なる同期タスクと、スケーリングステップ（ＳＣＡＬＥ）と、ビデオ出力部への出力フレームのプレゼンテーション（ＶＯＵＴ）とに分割される。
【００１９】
一例として、中間構成フレーム番号ｉは、オブジェクトフレームＡとオブジェクトフレームＢとから構成され、中間構成フレーム番号ｉ＋１は、オブジェクトフレームＣとオブジェクトフレームＤとから構成される。時間ｔ０から説明がなされ、そのような初期状態では、フレームｉ−１のコンポジションの間に信号プロセッサにより復号ステップ２０１，２０２が行われた後、復号フレームＡ，Ｂが利用可能であると仮定する。まず、上述した信号プロセッサ資源を用い、中間構成フレーム番号ｉを生成するレンダリングステップ２０３により、コンポジションバッファにおいてオブジェクトフレームＡ，Ｂがレンダリングされる。そののち、そのフレームフォーマットを拡大するために、出力フレーム番号ｉを生成する上記中間構成フレーム番号ｉにスケーリングステップ２０４が適用される。この動作は、信号コプロセッサによって行われ、信号プロセッサにより行われる同じ動作と比較して最小値のＣＰＵサイクルが必要である。同時に、スケーリング動作２０４の始まりが、中間構成フレーム番号ｉ＋１のコンポジションに用いられるオブジェクトフレームＣの復号２０５を開始する。この復号２０５は、信号プロセッサ資源により行われ、信号コプロセッサにより行われるスケーリングステップ２０４が終了するまで続く。スケーリングステップ２０４が終了し、得られた出力フレーム番号ｉは、表示されるべき信号プロセッサ資源によりビデオ出力部２０６に与えられる。上記出力フレーム番号ｉは、上記ビデオ出力部に送られ、中間構成フレーム番号ｉ＋１のコンポジションに用いられるオブジェクトフレームの復号が続けられる。このように、復号ステップ２０７は、ステップ２０５がまだ完了していない場合に、信号プロセッサ資源を用いて行われ、上記ステップ２０７は、ステップ２０６により割込まれたステップ２０５の続きに対応する。このステップ２０７のあとに、信号プロセッサ資源を用いて行われ、オブジェクトフレームＤを提供するステップ２０８が続く。このようなソリューションでは、復号ステップは信号プロセッサ資源によりシーケンス順に行われることに注意されたい。
【００２０】
復号タスクとレンダリングタスクとの同期は、異なる処理ステップにより連続的にインクリメント及びデクリメントされるフラグに対応するセマフォ（ｓｅｍａｐｈｏｒｅ）メカニズムにより管理される。好ましい態様では、ステップ２０１，２０２後の場合と同様に、各復号ループののち、上記セマフォは、新しいオブジェクトフレームがレンダリングされなければならないことをレンダリングステップ２０３に指示するようにセットされる。レンダリングステップ２０３が終了すると、セマフォはリセットされ、これは、スケーリングステップ２０４及び復号ステップ２０５を同時に開始させる。上記スケーリングステップは、割込で行われる。
【００２１】
リアルタイムのビデオレンダリングを行うために、レンダリングタスクは、ビデオ周波数で、すなわち、ビデオ規格ＰＡＬ又はＮＴＳＣに従う１／２５秒又は１／３０秒に等しい時間Δｔにおいて呼び出される。信号プロセッサ資源と信号コプロセッサ資源とを同時に用いる場合、中間構成フレーム番号ｉ＋１のコンポジションのために用いられるオブジェクトフレームＣ，Ｄの復号が、出力フレーム番号ｉのレンダリングプロセス中に開始される。この形態では、レンダリングステップ２０９がタスクマネージャにより呼び出されるときに、復号オブジェクトフレームはレンダリングされる準備ができている。そののち、スケーリングステップ２１０が復号ステップ２１１と同時に行われ、出力フレーム番号ｉ＋１の表示をもたらすプレゼンテーションステップ２１２が続く。
【００２２】
時間ｔ０と時間（ｔ０＋Δｔ）との間、すなわち、出力フレーム番号ｉのレンダリング中に復号されるオブジェクトフレームから構成される中間構成フレームに適用されるスケーリングステップの後に得られる出力フレーム番号ｉ＋１をレンダリングするために、時間（ｔ０＋Δｔ）において同様のプロセスが開始する。
【００２３】
出力フレーム番号ｉのスケーリングステップの間、復号ステップ数がある最大値ＭＡＸ＿ＤＥＣに制限されるメカニズムも提案される。このメカニズムは、出力フレーム番号ｉを生成するスケーリングステップの間に行われる、連続する復号ステップの数ＣＵＲ＿ＤＥＣを数え、ＣＵＲ＿ＤＥＣがＭＡＸ＿ＤＥＣに達すると、復号を停止する。そののち、復号ステップはしばらくの間、例えば、出力フレーム番号ｉがディスプレイに与えられるまでアイドルに入る。
【００２４】
このようなメカニズムは、出力フレーム番号ｉ＋１のレンダリングに用いられるオブジェクトフレームのあまりにも多い連続する復号ステップの原因となる、フレーム番号ｉのレンダリングの間のあまりにも大きなメモリ消費を回避する。
【００２５】
ＭＰＥＧ４規格に従って符号化された入力ビデオデータストリームからシーンコンテンツを構成する、改善された方法が説明された。本発明は、イメージ形式又はバイナリ形式のようなさまざまな復号されるＭＰＥＧ４オブジェクトからのシーンコンポジションのためにも用いられ得る。オブジェクトフレームを拡大するために用いられるスケーリングステップは、必要な出力フレームフォーマットに従う異なる値をとることも可能である。信号プロセッサ資源と信号コプロセッサ資源とを同時に用いることは、ユーザインタラクションの分析及び処理のようなオブジェクトフレームの復号以外のタスクにも適応され得る。
【００２６】
勿論、これらの全ての観点が、本発明の範囲及び適当性から逸脱することなく、本発明において生じる。
【００２７】
本発明は、例えば、配線電気回路、又は、代替としてコンピュータが読取り可能な媒体に記憶されており、回路の少なくとも一部を置き換え、置き換えられる回路において実行される機能と同じ機能を実行するために、コンピュータ、デジタル信号プロセッサ又はデジタル信号コプロセッサの制御の下で実行可能である命令のセットによるようないくつかの形態において実現され得る。この場合、本発明は、上述した方法のステップ又は幾つかのステップを行う、コンピュータが実行可能な命令を含むソフトウェアモジュールを有する、コンピュータが読取り可能な媒体にも関連する。
【図面の簡単な説明】
【図１】本発明に係るビデオシーン構成のために用いられる端末を表すブロック図である。
【図２】本発明において用いられるような信号プロセッサと信号コプロセッサとの間の処理タスクの同期を表す図である。

Claims

ビデオオブジェクトを含むデジタルビデオデータストリームからシーンコンテンツを構成する方法であり、前記デジタルビデオデータストリームから復号オブジェクトフレームを生成する復号ステップと、前記復号オブジェクトフレームからコンポジションバッファにおいて中間構成フレームを構成するレンダリングステップとを有する方法において、
シーンコンテンツを構成する出力フレームを生成する前記中間構成フレームに適用されるスケーリングステップもまた有することを特徴とするシーンコンテンツを構成する方法。
非拡張的なデータの操作ステップを識別する分割ステップと、
拡張的なデータの操作ステップを識別する分割ステップと
を有し、
当該方法が、前記中間構成フレームから現在及び未来の出力フレームを同時に作成する、同期のとられた並列な処理ステップを行う信号プロセッサ及び信号コプロセッサにより実行されるように意図されており、前記信号プロセッサは前記非拡張的なデータの操作ステップのために用いられ、前記信号コプロセッサは前記拡張的なデータの操作ステップのために用いられることを特徴とする請求項１記載のシーンコンテンツを構成する方法。
現在の中間構成フレームの前記スケーリングステップが、前記信号コプロセッサにより行われるように意図され、前記未来の中間生成フレームのコンポジションのために用いられる復号オブジェクトフレームを生成する前記復号ステップが、前記信号プロセッサにより同時に行われることを特徴とする請求項２記載のシーンコンテンツを構成する方法。
前記スケーリングステップ中、前記復号ステップが、未来の中間構成フレームのコンポジションのために用いられる最大数のオブジェクトフレームを復号することに制限されることを特徴とする請求項３記載のシーンコンテンツを構成する方法。
ビデオオブジェクトを含むデジタルビデオデータストリームからシーンコンテンツを構成する装置であり、前記デジタルビデオデータストリームから復号オブジェクトフレームを供給する復号手段と、前記復号オブジェクトフレームからコンポジションバッファにおいて中間構成フレームを構成するレンダリング手段とを有する装置において、
シーンコンテンツを構成する出力フレームを生成する前記中間構成フレームに適用されるスケーリング手段もまた有することを特徴とするシーンコンテンツを構成する装置。
非拡張的なデータの操作タスクのために用いられる信号プロセッサと、拡張的なデータの操作タスクのために用いられる信号コプロセッサとにより構成される分離した処理手段を有し、この処理手段が、前記中間構成フレームから現在及び未来の出力フレームを同時に作成する、同期のとられた並列な計算を実行するように設計されていることを特徴とする請求項５記載のシーンコンテンツを構成する装置。
現在の中間構成フレームに適用される前記スケーリング手段が、前記信号コプロセッサにより実現されるように設計され、前記未来の中間構成フレームのコンポジションのために用いられる復号オブジェクトフレームを提供する前記復号手段が、前記信号プロセッサにより同時に実現されるように設計されていることを特徴とする請求項６記載のシーンコンテンツを構成する装置。
スケーリングステップ中、前記復号手段が、未来の中間構成フレームのコンポジションのために用いられる最大数のオブジェクトフレームを復号することに制限されることを特徴とする請求項７記載のシーンコンテンツを構成する装置。
ＭＰＥＧ４規格に従って符号化されたデジタルビデオデータストリームからシーンコンテンツを構成し、請求項１記載の方法を実行するように設計されたセットトップボックス。
復号オブジェクトフレームからシーンコンテンツを構成する装置のためのコンピュータプログラムであって、前記構成する装置にロードされたときに、前記構成する装置に請求項１記載の方法を実行させる命令のセットを有するコンピュータプログラム。