JP2010524393A - デジタルビデオエフェクト（ｄｖｅ）を高める方法及び装置 - Google Patents

Abstract

デジタルビデオエフェクト（DVE）をエンハンスする方法及び装置は、DVE機能をグラフィックスモデリングシステム内に埋め込み、制御可能なパラメータとしてユーザにモデルエレメントを与えるために構成されるインタフェースをユーザに提供する。DVE機能を組み込むため、動的なデータ構造は、ユーザにより定義されたモデルエレメントの追加を可能にするため、あるシーンとして導入される。ユーザインタフェースは、新たに導入されたモデルエレメントの識別及び該エレメントへのアクセスを可能にする。

Description

本発明は、デジタルビデオエフェクト（DVE）システムに関する。より詳細には、本発明は、ユーザがエンハンス可能なDVEを提供する方法及び装置に関する。
本出願は、2007年4月11日に提出された米国特許仮出願第60/922,849号に35U.S.C.119(e)の下で優先権を主張するものであり、この教示は、本明細書に盛り込まれる。

一般に、ビデオエフェクトは、静止画又は動画若しくはレンダリングされた視覚効果の変換を生成するために使用される。ビデオエフェクトの典型的な例は、限定されるものではないが、スケーリング、回転等のような動画像の３つの空間変換、デフォーカス、クロマティックシフト等のような画素に基づく画像像処理、及び、ベンディング、スライシング、又は異なる形式への動画像の表面のワープのような他の変換の処理又は組み合わせを含む。

ビデオエフェクトの生成は、ライブ“Live”とプレビルド“Pre-build”といった２つの個別のカテゴリに分類される。

ライブ放送のビデオエフェクトにより、専門家は、ビデオブロードキャストのリアルタイムの要求に適合しつつ、ライブビデオを変換することができる。ライブ放送のビデオエフェクトを生成するプロダクトは、様々な名称及び商標名を有し、本明細書では一般に使用される（NECで商標登録される）頭字語DVEと呼ばれ、これはデジタルビデオエフェクトを意味する。現在、DVEプロダクツにおいて、ライブ放送のビデオエフェクトは、DVEシステム内のパラメータのセットを制御することで形成される。これらのパラメーラの大部分は、取り込まれたビデオ画像に作用する。エフェクトを形成するライブ放送の専門家は、プロダクトデザインにより予め決定された及び制限される、この工場で形成されたパラメータのセットを操作することができる。

プレビルドのビデオエフェクトにより、グラフィックアーティストは、非リアルタイムで効果を生成し、結果として得られる個々の画像フレームをリアルタイムの再生に適したビデオクリップに記録することができる。プレビルドのビデオエフェクトは、グラフィックアーティスト及び関連する専門家により形成された画像を利用する。これらの画像は、多くの３Ｄ又はＣＡＤ（Computer Aided Design）モデリングシステムに典型的であるように、３Ｄのバーチャルオブジェクトを形成及びレンダリングすることで生成されることがある。バーチャルオブジェクト及び関連するエレメントは、３Ｄモデルを作成するか又は他の構造的な手段を作成することで形成され、次いで、そのモデルの構造的なパラメータを変更することで操作される。プレビルドのビデオエフェクトは、レンダリングされた画像を２Ｄビデオフォーマットの１フレームに一度に記録することで行われる。

本発明の１態様によれば、少なくとも２次元を有するグラフィックモデルにビデオをマッピングすることで開始するデジタルビデオエフェクトを提供する方法が提供される。グラフィックモデルのエレメントは、ユーザにより制御可能なパラメータとして割り当てられる。ビデオ出力信号と鍵のうちの少なくとも１つは、制御可能なパラメータのユーザによる調節に応答して生成される。

別の態様によれば、本発明は、グラフィックモデリングシステム内にDVE機能を組み込むステップ、モデルエレメント制御可能なパラメータとしてユーザに提供するために構成されるユーザインタフェースを提供するステップ、ユーザの入力に応答してビデオ及び／又はキーを出力するステップを含む、デジタルビデオエフェクトを提供する方法を提供する。

組み込みの態様は、ユーザにより定義されたモデルエレメントの追加を許容するためにあるシーンとして動的なデータ構造を導入し、タイプされた情報を使用して新たに導入されたモデルエレメントを識別及びアクセスするためにユーザインタフェースを提供することを含む。

導入する態様は、グラフィックスモデリングシステムにおいてカスタマイズされたオブジェクト（ノード）の特別のセットを形成することを更に含み、前記カスタマイズされたオブジェクトは、シーンの新たな部分としてＤＶＥオブジェクトを含む。導入する態様の間、パラメータの値は、あるタイムラインにおけるキーフレームとして設定される。

別の実現によれば、動的なデータ構造は、記述言語が３Ｄオーサリングツールに変換され、３Ｄオーサリングツールから変換されるように記述言語を通して定義される。

本発明の他の態様及び特徴は、添付図面と共に考慮される以下の詳細な記載から明らかとなるであろう。しかし、本発明の制限の定義として設計されたものではなく、図面を例示することのためにのみ設計されており、特許請求の範囲に対して参照が行われるべきであることを理解されたい。さらに、図面はスケーリングするように必ずしも描かれておらず、特に示されない限り、本明細書に記載される構造及び手順を概念的に例示することが意図されることを理解されたい。

図面では、同じ参照符号は図面を通して同様のコンポーネントを示す。
位置の変化を示すシンプルな３つのキーフレームのエフェクトに適用される幾つかの補間アルゴリズムの例である。 サイズ変更され、回転された画像に適用される分割の例である。 ２Ｄバッファにラスタライズされ、次いで３Ｄバッファに結合される３Ｄオブジェクト（通常画像と呼ばれる）のグラフィカルな図である。 最初に結合され、次いで同じ３Ｄバッファにラスタライズされた３Ｄオブジェクトのグラフィカルな図である。 従来技術のDVEシステムに係る、回転に続く２．５Ｄのページめくりの結果のグラフィカルな図である。 本発明の実現に係るUA-DVEのブロック図である。 図４を示す２．５Ｄのページめくりの結果のグラフィカルな図である。 本発明のUS-DVEの実現に係る３Ｄのページめくりの結果のグラフィカルな図である。 本発明の実現に係るUE-DVEフレームユニットの概念図である。 本発明の実現に係る方法のフローダイアグラムである。 本発明の実現に係る方法ステップのうちの１つステップの詳細な図である。 本発明の実現に係る方法ステップの別のステップの詳細な図である。 本発明の実現に係る方法ステップの別のステップの詳細な図である。

初期のDVEは、背景にわたり画像をサイズ変更及び位置合わせすることで、ビデオチャネルを混合するのを支援するように設計された。滑らかな遷移を提供するため、「ビデオエフェクト」が形成され、キーフレーミング及び補間の概念を利用して制御される変化を生成する。所望の位置又は状態は、時間に基づくキーフレームとして、又は補間のための制御ポイントとして捕捉される。結果として得られる効果は、画像における平滑又は連続する変化を生成する意図により、又は他の望まれる特性を生成する意図により、キーフレームからキーフレームに時間的に動く間、中間値の補間により生成される。これらの「トラディショナルな」DVEは、ビデオ画素を直接的に処理する。

ブロードキャストドメインにおけるトラディショナルなデジタルビデオエフェクト（DVE）システムにより、ライブ放送の専門家は、ビデオエフェクトを形成するために固定されたパラメータのセットを制御することができる。ユーザにより拡張可能なDVE（UE-DVE: User Enhanceable DVE）は、更に進展されたタイプのDVEであり、このDVEにより、ライブ放送の専門家は、新たなエレメントをエフェクトを構築するドメインに導入することができ、これらのエレメントを制御して、物的生産により最初に提供されたものを超える動き、ビデオ表現及び形式のレンジを有するリアルタイムの放送品質のビデオエフェクトを生成することができる。

図１は、位置の変化を示すシンプルな３つのキーフレームの効果（KF1，KF2，KF3）に適用される幾つかの補間アルゴリズムの例を示す。図示されるアルゴリズムは、“Hold”、“Linear”、“S-Linear”及び“Curve”
DVEは、長年にわたり進化しており、プレーナワープ、ライティング、デフォーカス等のような洗練された機能が追加され、今日の典型的なDVEは、多様な機能を有する。しかし、ライブ放送のプロダクションにおける使用のために、DVEにとって実行可能となることが必要な所定のキーフレームが存在する。リアルタイムで少なくともフル１０ビットの解像度のビデオ入力及び出力を生成することができることに加えて、実行可能なDVEは、（特定のビデオフレームが入力し、DVEから出力する時間の３フレーム又は．０５秒の遅延よりも短い）短いパイプラインの遅延を有する必要があり、ビデオ及びキーの両者を出力し、キーフレームの挿入及び編集をサポートし、エフェクトのためにキーフレーミング／補間の実行制御をサポートすることができる必要がある。主要なビデオエフェクトの構築機能は、（３次元における位置合わせ、サイズ変更及び回転、画像の歪み、クロッピング及びアスペクト比の変更を含む）３Ｄ空間で画像を変換する機能のサポートを含む必要がある。DVEがミッドレンジからハイエンドプロダクションの品質に適するため、補間の経路制御、シャドウ、スプリット、ミラー、スリット、デフォーカス、ライト、及び、ページめくり、リップル又は位置調整のような各種ワープのような更なる機能が一般に必要とされる。図２は、サイズ変更及び回転された画像にスプリットが適用されたときに、どのように見えるかを示す。

しかし、ライブ放送のDVEにとって、現在のシステムは、３Ｄ変換の算術を使用して入力画像からの画素を処理し、結果を１つのビデオ又はビデオ及びキー画像として出力のために２Ｄに投影するという、画像処理が中心のパラダイムを使用し続けている（このタイプのシステムは、“２．５Ｄ”と呼ばれることがある）。異なるＤＶＥ（たとえば他のソース）からの多数の画像は、次いで、最終的な結果のためにアックグランドで構成されるか、又は「適合される“keyed”」。

これらはプレーナ画像であるので、３Ｄシーンとしてこれらの画像をモデル化する機能は、結果として得られる適合された２Ｄ画像を層状にするか又は結合することに制限されることがある。時々使用される１つの改善は、ＤＶＥに後続する結合手段を使用することである。幾つかのＤＶＥは、１を超えるＤＶＥ出力を正しく結合するために使用される深さキーを生成し、これにより、１を超えるＤＶＥ出力は、３Ｄ平面と交差するとき、結合されて正しく示される。しかし、このケースにおいてさえ、プレーナ画像を結合することに結果は制限される。たとえば、図３ａと図３ｂを参照して、２つのＤＶＥが、画像が交差するように、３Ｄの文字“Ａ”及び“Ｈ”のワープされていないビデオ画像をサイズ変更及び位置合わせする場合、結合手段は、３Ｄモデリングシステムにより生成される３Ｄバーチャルオブジェクトの交差ではなく、２つのビデオ画像の面の直線の交差を示す。

現在のＤＶＥにより提供される多くの興味ある機能が存在するが、これらの機能は、固定されたパラメータのセットにより制御可能な、ビデオに適用されるビルトイン機能に制限される。確かに、かなり洗練された効果は、この技術で達成することができるが、結果は、フル３Ｄの錯覚を維持するために慎重に管理される必要がある。この例は、「ページめくり」効果であり（たとえば図４を参照されたい）、ビデオ画像は、あるページのロールオフをシミュレートすることでスクリーンから除かれる。しかし、ページめくりの画像が、続いてエッジ上の位置に回転される場合、３Ｄの「めくられたページ」の２Ｄ投影を使用した「２．５Ｄシステム」であることが明らかである。

今日のＤＶＥは、新たなモデル構築する手段を提供しない。たとえば、ユーザがあるコーンの表面にビデオ画像をラッピングすることで、ある効果を形成することを望む場合、（プロダクトデザイナが特定の機能を実現し、それを制御するパラメータを提供しない場合）これは不可能である。したがって、この結果を達成するため、ユーザは、グラフィックアーティスト又は非リアルタイムのコンテンツクリエータのソリューションに頼る必要があり、この場合、適切なモデル（あるコーン）がレンダリングされる。しかし、ライブビデオをこの表面にマッピングすることは、画像が予め記録されているとき可能ではない。注意：ＰＲＡ（Pre-rendered Reverse Address (PRA)）-DVE装置は、ライブ画像がマッピングされるのを可能にしないが、特別の準備を必要とする。以下のPRA-DVEに関する説明を参照されたい。

DVEをビデオ放送のスイッチャ（aska Video Production Centers, Video Mixers）に統合する傾向がある。Grass Valley Kalypsoのような最近のスイッチャは、“Transform Engines”としても知られる内部のDVEを有する。これらの内部のDVEにより、ビデオソースは、信号を外部のスタンドアロンシステムに送出し、統合された制御、効果及び低減されたパイプラインの遅延の観点で利益を提供することなしにローカルに処理される。内部又は統合されたDVEの機能は、スタンドアロンDVEに大部分が同じである。

トラディショナルなDVEは、以下のやり方で動作する。作業バッファは、３Ｄ空間におけるその位置及びそのワープ制御を含むシステムの現在の状態を定義する。変換は、最終的な結果の変換マトリクス及びワープ制御に結合される。最終的な結果のマトリクスは、リバースアドレスマトリクスに変換される。これらの結果は、リバースアドレスジェネレータ（RAG）変換レジスタ及びワープ制御レジスタのセットに送出される。リバースアドレスジェネレータは、固定されたレジスタのセットを有し、リバースアドレスマトリクス及びワープ制御を有する。出力制御クロックは、画素１ライン１で開始し、出力バッファにおける次の画素にステップする出力画素を通してステップする。クロックは、また、RAGをトリガし、ソフトウェアが固定されたレジスタ（リバース変換マトリクス及びワープ制御）に記憶した値を使用して、次の出力画素を計算するために使用されるソース画素のアドレスを計算する。ステップ４及び５は、全体の出力画像が終了するまで繰り返される。

このデザインは、ライブ放送の専門家のための固定された制御のセット、RAG制御のための固定されたレジスタ、及びRAGハードウェアにおける固定されたフォーミュラを信頼する。このデザインの利点は、DVEのオペレータが、工場で定義された、DVE自身に関するエフェクトのキーフレーム可能なパラメータを変えることができ、ライブビデオを位置合わせ、ワープ及び処理するこのエフェクトを即座に再生することができる点である。問題点は、DVEは、DVE製造業者によりそこにデザインされる制限されたワープ及びエフェクトのセットを実行することのみができる点であり、真の３ＤモデルをDVEにより形成することができない事実は、実行することができるエフェクトのタイプを制限する。

DVEへの別のアプローチは、予めレンダリングされたリバースアドレス（PRA-DVE）である。カスタム３Ｄソフトウェアパッケージは、所望のエフェクトを形成するために使用される。これは、期間、３Ｄ空間における位置及びワープを含むエフェクトの全ての態様を含む。カスタム３Ｄパッケージは、次いで、リバースアドレスジェネレーション（RAG）の計算を非リアルタイムで実行する。これらのアドレスは、次いで、後の再生のために記憶媒体に保存される。このプロセスは、数分を要する。オペレータがエフェクトを再生するのを望むとき、出力制御クロックは、画素１ライン１で開始し、出力画像を通してステップする出力画素を通してステップする。トラディショナルなDVEがRAGハードウェアを使用して、オンザフライでリバースアドレスを計算する場合、PRA-DVEは、記憶媒体からリバースアドレスを読み取り、それらのアドレスを使用して適切な原画像を取り込み、出力画像を形成するのに使用する。

このアプローチは様々なエフェクトを可能にするが、トラディショナルなDVEオペレータは、DVE自身のキーフレーム可能なパラメータの何れかでのアクセスを有さない。エフェクトに変化をなさないため、オペレータは、特別のソフトウェアに戻り、エフェクトを変更し、リバースアドレスを計算し直し、アドレスを記憶媒体に転送し、記憶媒体からのリバースアドレスをDVEにロードし、次いでエフェクトを再生する。このプロセスは、エフェクトの期間、オブジェクトの位置、ライティング等を含むエフェクトへの最小の変更について後続される必要があり、非常の多くの時間を要する。

別の問題点は、３Ｄアニメーションパッケージを使用するために必要とされるスキルと、ライブ放送の専門家となるのに要するスキルとは異なり、通常、２人の異なる人物が必要である。

PRA-DVEは、リバースアドレスの生成を実行するため、カスタムオフラインのアニメーションソフトウェアに完全に依存する。PRA-DVEの利点は、ユーザが、ライブビデオで任意の形状をもつエフェクトを形成することができる点である。PRA-DVEの問題点は、エフェクトの形成及び変更が非常に時間のかかる点である。

全ての実用的な目的について、３Ｄエフェクトは、通常のDVEエフェクトの編集速度で変化することができず、ライブ放送の専門家に加えてグラフィックスアーティストを必要とする。これにより、ライブプロダクションの状況において、PRA-DVEアーキテクチャの有効性が制限される。

本発明のユーザエンハンス可能な（UE）-DVEは、２Ｄ及び／３Ｄのグラフィックモデリングシステムと形成され、該システムに埋め込まれる新たなタイプのDVEである。特定のグラフィックスオブジェクトのコレクションが形成され（すなわちモデル）、このコレクションは、ビデオブロードキャストの要件に適合するために必要とされるリアルタイムの性能をなお達成しつつ、グラフィックスモデリングシステムエレメントを使用することでトラディショナルなDVEシステムの主要な部分を機能的に再現する。２Ｄビデオレコーディングをビデオミキシングドメインに取り込むのではなく、DVE機能をグラフィックスモデリングシステムに埋め込むことにより、ライブビデオを有するエフェクトは、グラフィック環境内でインタラクティブに形成される。トラディショナルなＤＶＥエフェクトの再現について、ライブビデオはモデル内のバーチャルな表面にマッピングされ、トラディショナルなビデオのプレゼンテーション及び動きに等価な結果が生成される。しかし、工場で形成されたパラメータの制約が除かれる。新たなグラフィックスモデルエレメントは、ユーザにより導入され、新たな特徴が形成される。

この機能を可能にするため、本発明は、（従来技術で知られる）静的なデータ構造ではなく、動的なデータ構造を利用する。これにより、旧式のＤＶＥ機能のサポートについてオブジェクト及びパラメータの定義が可能となるが、UE-DVEプラットフォームについて新たなエフェクトを提供するコンテンツクリエータ又はプラットフォームオペレータの何れかにより新たなオブジェクト及びパラメータの形成が可能となる。本発明によれば、この動的なデータ構造は、シーンと呼ばれる（図７におけるエレメント７１２を参照されたい）。１つの実現では、このシーンは、あるシーングラフの形式を通して表現される。このデータ構造は、上位の意味に沿って（たとえばフローティングカラー又はパーセンテージの値）タイプされた情報を使用して新たなオブジェクト及びパラメータを識別及びアクセスするアプリケーションプログラミングインタフェース（API）を提供する。

したがって、このAPIを通して、エレメントは識別され、エフェクト形成システムに向けられ、読み取り及び書込みアクセスが可能となり、これにより、エフェクトを形成する機能が達成される。たとえば、ユーザは、特定の新たなモデルをインポートし、そのエレメント（フィールド）を識別し、選択されたフィールドにおける現在の値を読み取り、次いで、それらの値をキーフレームに保存し、それら値又は補間された値をそれらのそれぞれのフィールドに書き込み、すなわちエフェクトを構築及び実行する。

また、この動的な構造は、新たなユーザにより定義されたDVEを追加するためにプログラマブルコンポーネントを提供し、動的にコンパイル又は解釈されてレンダリングされるスクリプト言語及び／又は共通のグラフィックシェーダーコードの使用を通して画像処理（ビデオ画素の操作）を提供する（図７におけるエレメント７１８を参照されたい）。

一般に、本発明の原理は、エフェクトを構築するための新たな機能の導入を可能にすることで、ユーザに拡張されたクリエイティブな機会を提供するものである。動的なデータ構造は、３Ｄのオーサリングツールからの好ましくは１以上のサポートシンタックスである記述言語を通して定義されるか、３Ｄのオーサリングツールに記述言語を変換し、３Ｄのオーサリングツールから記述言語を変換するコンバータの使用を通して定義される。当業者は、異なる記述言語及び３Ｄオーサリングツールが本発明の範囲から逸脱することなしに使用されることを認識されるであろう。使用することができる記述言語の幾つかの例は、VRML、X3D、COLLADA等である、３Ｄオーサリングツールの幾つかの例は、Autodesk Maya、Autodesk 3D Studio、Blender、Softimage等とすることができる。

次いで、ユーザは、所与のシンタックスに従い、新たなオブジェクト及び／又はパラメータを形成するか、或いは、第三者のオーサリングツールの使用により、それらを外部で形成する。新たな外部で定義されたオブジェクト及びパラメータのインポートを支援するため、図５におけるエレメント５０８により示されるように、UA-DVEと共にユーザインタフェースのセットが提供される。それらのユーザインタフェースは、インポート及び必要な変換を実行するため、ユーザに対してフレンドリなやり方でUA-DVEを制御する。それらのユーザインタフェースの幾つかは、UA-DVEシーンAPI（又は他のユーザインタフェース）を使用して、UA-DVEプラットフォーム内でオブジェクト及びパラメータを動的に形成する。これらの特徴は、限定されるものではないがリアルグラフィックスオブジェクトの外観を再現することを含めて、３Ｄモデリング環境においてグラフィックスオブジェクトの全ての固有のキャパシティをもつ３Ｄモデリング環境でライブビデオエレメントを完全に表現する能力を含む。これらの特徴は、モデル又はモデルエレメントのグラフィックスモデリングシステムの導入により、又はモデルエレメントの変更により、次いで、モデルエレメントが制御可能なパラメータとしてユーザに提供される事実のため、あるタイムラインにおいてキーフレームとしてこれらのパラメータの値を設定して、再び呼び出されて実行されるライブ放送のビデオエフェクトを形成することで実現される。

また、本発明は、トラディショナルなグラフィックスアーティストのコンテンツ生成のワークフローに関連されるプロダクションコストを低減することを約束する。たとえば、ライブ放送の専門家がトラディショナルなグラフィックスデパートメントのエフェクトを利用するのを望むとき、エフェクトをビデオクリップにレンダリングし直すグラフィックスアーティストにより変更が行われる。しかし、本発明のUE-DVEによれば、オブジェクトパラメータの一部又は前部を変更する機能は、スタジオで変更を行うため、リアルタイムでエフェクトのライブを迅速にレンダリングするためにライブ放送の専門家に提供される。これは、（インポートされた又はインポートされない）オブジェクトのパラメータについて容易に実行される。それは、動的なデータシンタックスが、シーンのオブジェクトについてタイプされたパラメータ情報を与えるからであり、それらパラメータは、次いで、ユーザにより定義された数のキーフレームの値及び補間のタイプを定義することで、旧式のDVEにおいて通常実行されるように、タイムラインを通して制御される。

本発明のUE-DVEシステムは、バーチャルの３Ｄオブジェクトのシーン内であるDVEの完全に機能的なグラフィカルモデルを実現することで、DVEの動きを再現することができる。

図５を参照して、本発明に係るUE-DVEシステム５００の例示的な実現が示される。グラフィックオブジェクトの同期された又はゲンロックされた（Gen-locked）ライブビデオ入力は、他のメディアソース５０２からの静止画及び他のデータと共に、グラフィックスモデリングシステム５０４によりシステムに供給される。計算された結果として得られる画像は、ライブビデオとしてUE-DVEフレームユニット５０６から出力される。このDVEモデルの制御パラメータは、UE-DVEユーザインタフェース（UI）５０８を通してアクセス可能である。また、更なる一般的な制御方法は、たとえばEthernet（登録商標）又はシリアルコネクション（たとえばSony BVW-75、PBus2等）を通して、様々なプロトコルを介してサポートされる。

UE-DVEシステム５００の鍵となる機能は、UE-DVEフレームユニット５０６に含まれており、このユニットは、UE-DVEソフトウェアアプリケーション、レンダリングしステム、入力画像処理システム、及び、出力画像処理システム（図７参照）を収容する。ソフトウェアは、DVEの動きを実行し、たとえばネットワーク又はハードドライブアクセスといった通信及び代替的なメディア又はデータトランスポートについて様々なコネクションと同様に、ビデオ入力及び出力チャネルをサポートする。UE-DVEフレームユニット５０６は、図５に示されるライブプロダクションスイッチャ５１０のような他のビデオプロダクションユニットと調和して機能するように設計される。ビデオ入力及び出力の物理的なコネクションは、ユニット５０６に付随し、別途ワークコネクション及び各種のシリアルデバイスコネクションは、同様にユニットに提供される。

本発明のUE-DVEは、大部分のトラディショナルなDVE機能をサポートするデフォルトモデルを提供する。たとえば、ページめくりのエフェクトは、正しいワープモードを選択し、パージめくりのオフセット、半径及び向きを設定するすることで形成される。全体として、ビデオ画像の位置は、位置及び回転パラメータを制御することで設定される。以下に図６に示されるように、１つの区別される違いは、トラディショナルなDVEシステム内で、ページめくりが真の３Ｄモデリングシステムにおいて生成されないことであり（すなわち「２．５Ｄ」）、したがって、回転されたときに誤って見え（図４参照）、図６ａ及び図６ｂに示されるUE-DVEのページめくりは、３Ｄシーン内の３Ｄオブジェクトとして真にレンダリングされるため、任意の角度から正しく見える。

トラディショナルなDVEのように、UE-DVEは、ライブビデオのエフェクトを構築する機能を提供する。所望のシーンの１以上のキーフレームを捕捉するエフェクトは、システムを所望の状態に設定し、次いで、その状態をあるエフェクト内のキーフレームとして保存することで、トラディショナルなやり方で構築される。

グラフィックスオブジェクトは、同じフレームバッファで構成されるので、これらは互いに交差する可能性がある（なお、本発明のUE-DVEは、個別のフレームバッファを提供し、出力に応じたオーバレイとして互いに結合される合成レイヤを追加することで、これらの交差を回避する意図的に回避する可能性を提供するものである）。

最も重要なことに、本発明のUE-DVEは、新たなDVE機能を追加する機能を有する。これらは、デフォルトモデルにの変更又は追加を導入することで形成される。たとえば、変更又は追加は、制御パラメータとしてユーザに提供されるモデルエレメントとすることができる。幾つかの有効なエレメントは、ライト、カメラ、レイヤ及び変換ノードであり、容易な追加のような内部で提供される。他のモデル又はモデルエレメントは、VRML、X3D又はCOLLADAのような共通の記述言語を使用したファイルとしてインポートすることができる。

たとえば、人間の頭の完全な３Ｄモデルは、UE-DVEにインポートされ、人間の頭部のモデルの皮膚は、ライブビデオ画像で動的にラッピングされる。

全てのケースにおいて、シーン内で正しく識別されるエレメントは、UE-DVEパラメータシステムに自動的に向けられ、それらのエレメントを制御する手段が提供される。

UE-DVEシステムは、DVEにグラフィックスモデリングシステムのクリエイティブなキャパシティを導入するシステムであり、グラフィックアーティストのようなユーザが、ライブ放送の環境の厳密な要件を満たしつつ、新たなDVE機能を提供する新たなモデルエレメントを導入することを可能にする。

導入されたエレメントは、UE-DVEユーザにより制御することができる。したがって、ライブ放送の専門家は、オフラインのアニメーションシステムに戻ることを必要とすることなしに、必要に応じてそのシーンに迅速な変更をなすことができ、リアルタイムのライブ放送のビデオエフェクトは、この機能を利用して構築することができる。これにより、製作時間の節約につながる。

本発明のUE-DVEは、予めレンダリングされたリバースアドレス（PRA）DVEの機能を超えて、トラディショナルのDVEの編集のエフェクトの速度及び容易さを更に提供する。新たな創作性のレベルは、UE-DVEを使用してライブ放送の専門家について可能となる。

図７は、本発明のUA-DVEフレームユニット５０６の例示的な実現を示す。トランスポート７０２は、ユーザインタフェース５０８及び他の装置（たとえば信号を制御するトランスポート用のHDD）への物理的なコネクションであり、たとえばEthernet（登録商標）、ワイヤレス、IEEE1394、シリアル、パラレル等のようなコネクションのようなネットワークとすることができる。中央処理ユニットCPU７０４は、フレームソフトウェア通信７０６を実行し、アプリケーション７０８とトランスポート７０２間のデータを制御し、必要に応じて適切な変換を実行する。

アプリケーション７０８で、限定されるものではないがコンフィギュレーション、ユーザインタフェースからのコマンドの処理、ロード、マネージメント、ビデオエフェクトの編集及び実行、シーン内のエレメントへのアクセスの確立及び維持、シーン状態の更新、及び、リアルタイムのレンダリングプロセスの高水準の制御を含む一般的なシステムの機能が管理される。

ビデオエフェクトストレージ７１０は、キーフレーム及び他のエフェクトデータの形式でビデオエフェクトの値を維持（記憶）する。

シーン７１２は、レンダリング及び関連される処理に応じて、結果として得られる出力ビデオ画像を生成する画像生成システムの状態を含む。シーンブロック７１２は、シーングラフ及び動的な構造の他の表現を使用することができる。

アップデート及びレンダリングパイプラインコントロール７１４は、システムのリアルタイムの要求を管理する。アプリケーション７０８を通してエフェクトの実行（すなわち補間）が同期され、シーン７１２は、正しい時間で更新され、レンダリングは、ビデオゲンロックと同期するために正しい時間で行われる。

入力画像処理７１６は、シリアルデジタルインタフェース（SDI）の形式で入力画像／ビデオソース７２２及び他のビデオ及び静止画の入力を受け、入力画像を内部表現に処理する。この処理は、デインタレース、キーのアプリケーション、フォーマット変換、フィルタリング、及び他の画像処理動作を含む。入力画像／ビデオソース７２２は、高精細ディスプレイ（HDD）又は同軸ケーブルの転送画像のような物理的な接続を提供する（たとえば、SDIフォーマット及び／又はシステムへの他のビデオフォーマットを使用したビデオ及び／又はキー信号及びゲンロック信号）。

レンダリング手段７１８は、入力ビデオ又は他のソース又は手段７２２を利用して、レンダリングパイプライン制御７１４により制御されたときに出力用に画像をレンダリングするためにシーン７１２により定義される構成を使用する。このレンダリング手段は、ソフトウェアコンポーネント又はハードウェアコンポーネントの何れかであるか、或いはそれら２つの混合とすることができる。その主要な目的は、たとえばビデオフィールドレートの制約内で、リアルタイムでラスタライズを実行することである。ラスタライズプロセスは、マッピング手段によりオブジェクトに任意のビデオ又は静止画をマッピングすることを含む。１つの実現では、レンダリング手段は、OpenGLインタフェースを通して使用されるグラフィックス処理ユニット（GPU）を構成する。他の実施の形態は、加速された光線追跡法を実現するソフトウェア又はハードウェアをサポートする。

出力画像処理７２０は、ビデオ画像の内部表現を処理し、SDI及び／又は他のビデオフォーマットとして出力する。処理は、限定されるものではないが、インタレース、フィルタリング、ミキシング、クロッピング、及びフォーマット変換を含む。出力画像／ビデオ７２４は、HDD又は同軸ケーブルのトランスポート画像のような物理コネクションを提供する（たとえば、システムからのビデオ及び／又はキー信号及びゲンロック信号）。

イメージストリーム７２６は、入力画像処理７１６からレンダリング手段７１８に画像データを転送する。画像ストリーム出力手段７２８は、レンダリング手段７１８から出力画像処理７２０に画像データを転送する。画像バイパス７３０は、入力画像処理７１６から出力画像処理７２０に直接に画像を送出するのを可能にする。

図８ａは、本発明に係る方法８００の基本的なフローダイアグラムを示す。はじめに、DVE機能は、グラフィックスモデリングシステム内に埋め込まれる（８０２）。埋め込みは、動的なデータ構造を利用して、モデルエレメントをモデリングシステムに導入すること（たとえばマッピングすること）を含む。当業者であれば、この動的なデータ構造は、あるシーンの形式とすることができることを認識されるであろう。ひとたび埋め込まれると、制御可能なパラメータとしてユーザにモデルエレメントを提供するためにユーザインタフェースが提供される（８０４）。ユーザ入力に応答して、ビデオ及びキーが出力される（８０６）。

図８ｂは、本発明の実現に係る組み込みステップ８０２を示す。組み込み８０２は、ユーザにより定義されたエレメントの追加を可能にするため、あるシーンとして動的なデータ構造を導入することを含む（８１０）。ひとたび行われると、ユーザには、タイプされた情報を使用して新たに導入されたモデルエレメントを識別及びアクセスするため、インタフェースが提供される（８１２）。図示されるように、動的なデータ構造の定義は、記述言語を通して行われる（８１４）。

図８ｃは、本発明の実現に係る導入ステップ（８１０）を示す。導入ステップ（８１０）は、グラフィックスモデリングシステムにおける特別のカスタマイズされたオブジェクト（ノード）のセットを作成することで実行することができる。カスタマイズされたオブジェクトは、そのシーンの新たな部分としてDVEオブジェクトを構成する。次いで、パラメータ値は、ある時系列におけるキーフレームとして設定される。

図８ｄは、本発明の実現に係る定義ステップ（８１４）を示す。したがって、動的なデータ構造（８１４）の定義は、記述言語を定義することで実行され、これにより、３Ｄオーサリングツールに変換され、３Ｄオーサリングツールから変換される（８２０）。

記載される実現の特徴及び態様は、様々な応用に適用される場合がある。応用は、たとえば、上述されたように、Ethernet（登録商標）とケーブル通信フレームワークを使用してインターネットで通信するためにそれらの家でホスト装置を使用する個人を含む。しかし、本明細書で記載された特徴及び態様は、他の応用の分野に適用され、したがって、他の応用も可能であって想定される。たとえば、ユーザは、たとえばパブリックスペース又はそれらの仕事場のような、それらの家の外に位置される場合がある。さらに、インターネット及びケーブル以外のプロトコル及び通信媒体が使用される場合がある。たとえば、データは、光ファイバケーブル、ユニバーサルシリアルバス（USB）ケーブル、SCSI（Small Computer System Interface）ケーブル、電話回線、デジタル加入者回線／ループ（DSL）回線、衛星コネクション、ラインオブサイト（line of site）コネクション、及びセルラコネクション（及びこれらに関連するプロトコルを使用して）送出及び受信される。

本明細書で記載される実現は、たとえば方法又はプロセス、装置、又はソフトウェアプログラムで実現される場合がある。実現の単一の形式の文脈でのみ説明されたとしても（たとえば方法としてのみ記載されたが）、説明される機能の実現も他の形式で実現される（たとえば装置又はプログラム）。装置は、たとえば適切なハードウェア、ソフトウェア及びファームウェアで実現される。本方法は、たとえば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラマブルロジックデバイスを含む、一般に処理装置を示すプロセッサのような装置で実現される場合がある。また、処理装置は、たとえばコンピュータ、携帯電話、ポータブル／パーソナルデジタルアシスタント（PDA）、及びエンドユーザ間で情報の伝達を容易にする他の装置のような通信装置を含む。

本明細書で記載された様々なプロセス及び機能の実現は、たとえばデータ送信及び受信に関連される機器又はアプリケーションといった、様々な異なる機器又はアプリケーションで実施される場合がある。機器の例は、ビデオコーダ、ビデオデコーダ、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、及び他の通信装置を含む。明らかであるように、機器は、モバイルであり、更に移動車両でインストールされる場合がある。

さらに、本方法は、プロセッサにより実行される命令により実現される場合があり、係る命令は、集積回路、ソフトウェアキャリア、又はハードディスク、コンパクトディスク、ランダムアクセスメモリ（RAM）又はリードオンリメモリ（ROM）のような他の記憶装置といった、プロセッサにより読み取り可能な媒体で記憶される場合がある。命令は、プロセッサが読み取り可能な媒体で有形に実施されるアプリケーションプログラムを形成する場合がある。明らかであるように、プロセッサは、たとえば、プロセスを実行する命令を有するプロセッサ読み取り可能な媒体を含む。

当業者にとって明らかであるように、実現は、たとえば記憶又は送信される情報を搬送するためにフォーマットされる信号を生成する場合がある。この情報は、たとえば方法を実行する命令、又は記載された実現のうちの１つにより生成されるデータを含む場合がある。係る信号は、たとえば（たとえばスペクトルの無線周波部分を使用した）電磁波又はベースバンド信号としてフォーマットされる場合がある。フォーマットは、たとえば、データストリームをエンコードすること、エンコードされたストリームをパケット化すること、搬送波をパケット化されたストリームで変調することを含む。信号が搬送する情報は、たとえば、アナログ又はデジタル情報である場合がある。信号は、知られているように、様々な異なる有線又は無線リンクを通して送信される場合がある。

多数の実現が記載された。しかし、様々な変更が行われる場合があることを理解されるであろう。たとえば、異なる実現のエレメントが結合され、補充され、変更され、又は除去されて、他の実現が生成される。さらに、当業者であれば、他の構造及びプロセスが開示された構造及びプロセスについて置き換えられる場合があり、結果として得られる実現が、少なくとも実質的に同じやり方で、少なくとも実質的に同じ機能を実行して、開示された実現と少なくとも実質的に同じ結果を達成することを理解されるであろう。

Claims (22)

1. デジタルビデオエフェクト（DVE）を提供する方法であって、
   DVE機能をグラフィックスモデリングシステムに組み込むステップと、
   制御可能なパラメータとしてユーザにモデルエレメントを与えるために構成されるユーザインタフェースを設けるステップと、
   ユーザ入力に応答してビデオ及び／又はキーを出力するステップと、
   を含むことを特徴とする方法。
2. 前記組み込むステップは、
   ユーザにより定義されたモデルエレメントの追加を可能にするため、あるシーンとして動的なデータ構造を導入するステップと、
   タイプされた情報を使用して新たに導入されたモデルエレメントを識別し、アクセスするためのユーザインタフェースを設けるステップと、
   を含む請求項１記載の方法。
3. 前記導入するステップは、
   前記グラフィックスモデリングシステムにおいて特別のカスタマイズされたオブジェクト（ノード）のセットを形成するステップを更に含み、
   前記カスタマイズされたオブジェクトは、前記シーンの新たな部分としてDVEオブジェクトを含む、
   請求項２記載の方法。
4. 前記導入するステップは、時系列においてキーフレームとして前記パラメータの値を設定するステップを更に含む、
   請求項２記載の方法。
5. 記述言語を通して前記動的なデータ構造を定義するステップを更に含む、
   請求項２記載の方法。
6. 前記定義するステップは、前記記述言語が３次元のオーサリングツールに変換され、前記記述言語が前記３次元のオーサリングツールから変換されるように前記記述言語を定義するステップを更に含む、
   請求項５記載の方法。
7. プログラム記憶装置で実施されるアプリケーションプログラムを有するプログラム記憶装置であって、
   前記アプリケーションプログラムは、
   DVE機能をグラフィックスモデリングシステムに組み込むステップと、
   制御可能なパラメータとしてユーザにモデルエレメントを与えるために構成されるユーザインタフェースを設けるステップと、
   ユーザ入力に応答してビデオ及び／又はキーの少なくとも１つを出力するステップと、
   を少なくとも実行する命令を含む、
   ことを特徴とするプログラム記憶装置。
8. 前記アプリケーションプログラムは、
   ユーザにより定義されたモデルエレメントの追加を可能にするため、あるシーンとして動的なデータ構造を導入するステップと、
   タイプされた情報を使用して新たに導入されたモデルエレメントを識別し、アクセスするためのユーザインタフェースを設けるステップと、
   を少なくとも実行する命令を更に含む、
   請求項７記載のプログラム記憶装置。
9. 前記アプリケーションプログラムは、
   前記グラフィックスモデリングシステムにおいて特別のカスタマイズされたオブジェクト（ノード）のセットを形成するステップを少なくとも実行する命令を更に含み、
   前記カスタマイズされたオブジェクトは、前記シーンの新たな部分としてDVEオブジェクトを含む、
   請求項８記載のプログラム記憶装置。
10. 前記アプリケーションプログラムは、
    時系列においてキーフレームとして前記パラメータの値を設定するステップを少なくとも実行する命令を更に含む、
    請求項８記載のプログラム記憶装置。
11. 前記アプリケーションプログラムは、
    記述言語を通して前記動的なデータ構造を定義するステップを少なくとも実行する命令を更に含む、
    請求項８記載のプログラム記憶装置。
12. 前記アプリケーションプログラムは、
    前記記述言語が３次元のオーサリングツールに変換され、前記記述言語が前記３次元のオーサリングツールから変換されるように前記記述言語を定義するステップを少なくとも実行する命令を更に含む、
    請求項１１記載のプログラム記憶装置。
13. デジタルビデオエフェクト（DVE）を提供する装置であって、
    DVE機能をグラフィックスモデリングシステムに組み込む手段と、
    制御可能なパラメータとしてユーザにモデルエレメントを与えるために構成されるユーザインタフェースを設ける手段と、
    ユーザ入力に応答してビデオ及び／又はキーを出力する手段と、
    を含むことを特徴とする装置。
14. 前記組み込み手段は、
    ユーザにより定義されたモデルエレメントの追加を可能にするため、あるシーンとして動的なデータ構造を導入する手段と、
    タイプされた情報を使用して新たに導入されたモデルエレメントを識別し、アクセスするためのユーザインタフェースを設ける手段と、
    を含む請求項１３記載の装置。
15. 前記導入する手段は、
    前記グラフィックスモデリングシステムにおいて特別のカスタマイズされたオブジェクト（ノード）のセットを形成する手段を更に含み、
    前記カスタマイズされたオブジェクトは、前記シーンの新たな部分としてDVEオブジェクトを含む、
    請求項１４記載の装置。
16. 前記導入する手段は、時系列においてキーフレームとして前記パラメータの値を設定する手段を更に含む、
    請求項１４記載の装置。
17. 記述言語を通して前記動的なデータ構造を定義する手段を更に含む、
    請求項１４記載の装置。
18. 前記定義する手段は、前記記述言語が３次元のオーサリングツールに変換され、前記記述言語が前記３次元のオーサリングツールから変換されるように前記記述言語を定義する手段を更に含む、
    請求項１７記載の装置。
19. デジタルビデオエフェクトを提供する方法であって、
    少なくとも２次元を有するグラフィックスモデルにビデオをマッピングするステップと、
    ユーザにより制御可能なパラメータとして前記グラフィックスモデルのエレメントを割り当てるステップと、
    制御可能なパラメータのユーザによる調節に応答してビデオ出力信号とキーとの少なくとも１つを生成するステップと、
    を含むことを特徴とする方法。
20. 前記グラフィックスモデルは、あるシーンを含む、
    請求項１９記載の方法。
21. 前記グラフィックスモデルにおいて特別のオブジェクトのセットを形成するステップを更に含む、
    請求項２１記載の方法。
22. 前記特別のエレメントのセットは、少なくとも１つのデジタルビデオ編集エレメントを含む、
    請求項２１記載の方法。

Images