JP2005534113A - ユーザによる合成画像およびビデオ画像のリアルタイムのミキシングを可能にする方法およびシステム - Google Patents
ユーザによる合成画像およびビデオ画像のリアルタイムのミキシングを可能にする方法およびシステム Download PDFInfo
- Publication number
- JP2005534113A JP2005534113A JP2004523896A JP2004523896A JP2005534113A JP 2005534113 A JP2005534113 A JP 2005534113A JP 2004523896 A JP2004523896 A JP 2004523896A JP 2004523896 A JP2004523896 A JP 2004523896A JP 2005534113 A JP2005534113 A JP 2005534113A
- Authority
- JP
- Japan
- Prior art keywords
- video
- buffer
- scene
- texture
- copying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/4448—Receiver circuitry for the reception of television signals according to analogue transmission standards for frame-grabbing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Generation (AREA)
- Studio Circuits (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Controls And Circuits For Display Device (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
対象となる課題
より厳密には、本発明の主題は、ユーザが、
(i)標準電子回路から構成されるデータ処理装置において、合成画像のフローを作成し、
(ii)合成画像のフローと少なくとも1つのビデオ画像フローとの間の視覚的対話を行うことによって、シーンをトレースすることを可能にする方法およびシステムである。
本発明によって提示するようにこの問題を解決することにより、独自に開発した高価なデータ処理装置を利用することなく、シーンの質を向上し、処理時間を短縮することが可能になる。
・グラフィックワークステーションSTGと、
・「クロマキーヤ」タイプのラックRCKと、
・「画像遅延」タイプのラックRRIとを含む。
凡例CおよびSVは、それぞれカメラおよびビデオ出力を示す。
グラフィックワークステーションSTGは、合成画像のみの生成に使われる。グラフィックワークステーションSTGは、専用に開発されたものか、またはシリコングラフィックス(商標)ステーションである。合成画像は、統一された色背景(基本色)で生成される。
「クロマキーヤ」タイプのラックRCKは、カメラ(C)からのビデオ画像を、グラフィックステーションSTGによって生成された合成画像とミキシングするのに使われる。基本色は、ビデオ画像で置き換えられる。
「画像遅延」タイプのラックRRIは、画像ジェネレータの処理時間を補償するのに使われる。
従来技術の欠点:
従来技術の機器は、価格ならびに画像の質および機能に関する問題を提示している。
価格に関する問題:
従来技術の機器の原価は非常に高い。実際、「画像遅延」ラックRRIは、業務用のラックであり、グラフィックステーションSTGは、業務用のステーションである。従来技術による従来のソリューションは、実施不可能である(従来のソリューションは、3つの個別モジュール、すなわち画像ジェネレータ/画像遅延/クロマキーから構成される)。
画像の質および機能に関する問題:
ビデオと合成画像の間の視覚的な対話性は限られている。実際、「クロマキーヤ」RCKからの出力時、ビデオは、基本色の代わりに挿入される。合成画像にビデオを反射させることも、その逆もできない。ビデオは、テクスチャとして扱うことができない。たとえば、ビデオは、実際の画像(ビデオ画像)と合成オブジェクトの間の反射効果をもつことができない。「クロマキー」の真の原理は、アーチファクトを生じ得ることである。クロマキーは、合成画像の色パレットでの選択を制限し、問題となる透明性を有する合成オブジェクトの描画を行う。
専用グラフィックステーションのパフォーマンスは、より一層高性能の消費者グラフィックボードのパフォーマンスがすぐに上回る(消費者機器の画像性能は、約6か月で2倍になる)。
従来のソリューションは、保守に関するコストが高い(ソリューションを構成する3つのユニットは、特別な保守契約を伴う)。
従来のソリューションは、ポータブルコンピュータ内で動作することができない。従来のソリューションは、可動性をもたない。
従来のソリューションは、その全パーツの調節に時間がかかる。
ビデオ画像の処理が不可能:
・ビデオは、仮想シーンのどの要素を局所的にテクスチャ加工するのにも使うことができない。
・ビデオは、整形することができない(たとえば光学的歪みの補正は不可能である)。
・ビデオに対して処理を実施することができない(たとえば、クロマキータイプの処理)。
本発明によるデータ処理装置、特に「PCコンピュータ」タイプの装置は、
・マザーボードと、
・シーンをレンダリングし表示するグラフィックボードとを備える。
本発明におけるシーンの意味は、後で図2に関連して説明する。
シーンをレンダリングし表示するグラフィックボードは、1Dおよび3D処理を高速化するプロセッサと、作業用バッファ、すなわち「バックバッファ」と、テクスチャメモリとを備える。
データ処理機器は、リアルタイムでビデオ画像をビデオバッファに取得することを可能にする取得手段も含む。取得手段は、特に、
・グラフィックボードに統合されたビデオ取得の形、および/または
・マザーボードに統合されたビデオ取得の形、および/または
・専用の取得カードを介するビデオ取得の形(たとえばPCTVの名称で知られるPinnacle(商標)カード)で現れる。
本発明による方法は、
・シーンをレンダリングする度に、ビデオバッファをグラフィックボードの記憶域にコピーし、
・グラフィックボードの前記作業用バッファに合成画像をトレースすることによって、シーンの特定のレンダリングを実施するステップを含む。
本発明の第1の変形形態によると、特定のレンダリングを実行するために、好ましくは本方法は、
・シーンの各レンダリングの後で、ビデオバッファを作業用バッファにコピーするステップと、
・合成画像を作業用バッファにトレースするステップとを含む。
この第1の変形形態の場合、ビデオバッファがインターレースビデオラインを含むとき、シーンをレンダリングする度にそのビデオバッファを作業用バッファにコピーするために、好ましくは本手順は、
・最初のレンダリングにおいて偶数ビデオラインをコピーするステップと、次いで
・その後のレンダリングにおいて奇数ビデオラインをコピーするステップとを含む。
本発明の第2の変形形態によると、特定のレンダリングを実行するために、本方法は好ましくは、その特定のレンダリングに先立って、グラフィックボードのテクスチャメモリ中に専用テクスチャを作成することからなる初期化ステップを含む。専用テクスチャは、ビデオバッファと同じサイズである。テクスチャは、ビデオバッファをテクスチャメモリにコピーするのに専用である。
この第2の変形形態の場合、本方法は、
・ビデオバッファを専用テクスチャにコピーするステップと、
・シーンのポリゴンの一部をテクスチャ加工する専用テクスチャを用いて、シーンを完全にトレースし直すステップとをさらに含む。
この第2の変形形態の場合、ビデオバッファがインターレースビデオラインを含むとき、シーンをレンダリングする度にそのビデオバッファを専用テクスチャにコピーするために、好ましくは本発明によると、本方法は、
・最初のレンダリングにおいて偶数ビデオラインをコピーするステップと、次いで
・その後のレンダリングにおいて奇数ビデオラインをコピーするステップと、
・約1本のハーフライン分のビデオバッファの変換をシーンのレンダリングに適用するステップとを含む。
このビデオバッファ変換は、
・専用テクスチャのテクスチャ座標を変更すること、
・または専用テクスチャでテクスチャ加工されたポリゴンの座標を変更することのいずれかによって実施される。
その結果、画像の質が向上する。
第2の変形形態の場合でのように第1の変形形態の場合でも、異なる2つのやり方で進めることによって、ビデオバッファをグラフィックボードの記憶域にコピーすることができる。
第1のやり方の場合、取得手段は、各新規ビデオ画像用に新しいビデオバッファを有するドライバを含む。好ましくは本発明によると、この第1のやり方の場合、シーンのレンダリングは、各新規ビデオバッファの提示と同時に実施される。
第2のやり方の場合、取得手段は、各新規ビデオ画像用に新しいビデオバッファを提示するドライバも含む。ただし、この第2の進め方の場合、好ましくは本発明によると、本方法は、
・ビデオキャプチャのパフォーマンスユニット(「スレッド」)を利用することによって、バッファメモリを各新規ビデオバッファで満たすステップと、
・バッファメモリに含まれるビデオバッファの1つをグラフィックボードのテクスチャメモリにコピーするステップと、
・各新規ビデオバッファの提示に関して同期せずにシーン描画を実施するステップとを含む。
本発明による方法は、ビデオ画像を合成画像とミキシングするシーン設計においてグラフィック機能の向上を可能にする。
アンチエイリアス
好ましくは本発明によると、本方法は、シーン設計においてアンチエイリアス機能を適用するステップを含む。アンチエイリアス機能の概念は、後で説明する。
透明性
好ましくは本発明によると、本方法は、シーンの設計中に透明機能を適用するステップを含む。透明機能の概念は、後で説明する。
光学的歪みの補正
好ましくは本発明によると、本方法は、専用テクスチャを用いてシーンのポリゴンをテクスチャ加工することによって、ビデオバッファに非直線歪みを加えるステップを含む。
したがって、ビデオ画像の光学的歪みを補正することができる。
ビデオ画像のリアルタイム処理
好ましくは本発明によると、本方法は、特にクロマキータイプの処理を可能にする、ピクセルシェーダー機能をビデオバッファに適用するステップを含む。ピクセルシェーダーおよびクロマキータイプの処理の概念は、後で説明する。
環境マッピング
好ましくは本発明によると、データ処理装置は、それぞれがビデオバッファを有する2つの取得手段を含む。本方法は、
・取得手段の一方のビデオバッファをグラフィックボードの第2の専用テクスチャにコピーするステップと、
・第2の専用テクスチャを使うことによって、シーンの少なくとも一部分をテクスチャ加工するステップとを含む。
したがって、合成オブジェクト上で実際に反射を得ることができる。
ビデオ遅延
好ましくは本発明によると、本方法は、バッファメモリに含まれるビデオバッファの1つを、グラフィックボードのテクスチャメモリへコピーすることを遅くするステップを含む。
システム
本発明は同様に、ユーザが、
(i)標準電子回路から構成されるデータ処理装置において、合成画像のフローを作成し、
(ii)合成画像のフローと少なくとも1つのビデオ画像フローとの間の視覚的対話を行うことによって、シーンを設計することを可能にするシステムに関する。
この問題を解決することにより、独自に開発した高価なデータ処理装置を利用することなく、シーンの質を向上し、処理時間を短縮することが可能になる。
本発明によるデータ処理装置は、特に一般の「PC」タイプのプロセッサを含む。このプロセッサは、
・マザーボードと、
・シーンをレンダリングし表示するグラフィックボードとを備える。
レンダリングおよび表示用グラフィックボードは、2D/3D処理を高速化するプロセッサと、作業用バッファ、すなわち「バックバッファ」と、テクスチャメモリとを含む。
データ処理機器は、ビデオ画像をビデオバッファにリアルタイムで取得することを可能にする取得手段を含む。取得手段は、特に、
・グラフィックボードに統合されたビデオ取得手段の形、および/または
・マザーボードに統合されたビデオ取得手段の形、および/または
・専用の取得カードを介するビデオ取得手段の形で現れる。
シーンの特定の描画を実施するために、
・マザーボードは、シーンの描画の度に、ビデオバッファをグラフィックボードのメモリゾーンにコピーすることを可能にするデータ処理手段をさらに含み、
・2D/3D処理高速化プロセッサは、グラフィックボードの記憶域に合成画像をトレースし設計するトレース手段を含む。
第1の変形形態では、好ましくは本発明によると、シーンの特定の描写的描画を実行するために、
・データ処理手段は、シーンを描写する度に、ビデオバッファを作業用バッファにコピーする第1のコピー手段を備え、
・2D/3D処理高速化プロセッサは、合成画像を作業用バッファにトレースする第1の計算手段を備える。
この第1の変形形態の場合、ビデオバッファがインターレースビデオラインを含むとき、好ましくは本発明によると、ビデオバッファから作業用バッファにコピーする第1の手段は、
・最初の描画において偶数ビデオラインを選択しコピーする第1の選択およびコピー手段と、次いで
・その後の描画において奇数ビデオラインを選択しコピーする第2の選択およびコピー手段とを備える。
第2の変形形態では、特定の描画を実施するために、好ましくは本発明によると、データ処理手段は、その特定の描画に先立って、グラフィックボードのテクスチャメモリ中に専用テクスチャを作成する初期化手段を備える。専用テクスチャは、ビデオバッファと同じサイズである。この第2の変形形態の場合、データ処理手段は、ビデオバッファを専用テクスチャにコピーする第2のコピー手段をさらに備え、
・2D/3D処理高速化プロセッサは、シーンの特定のポリゴンをテクスチャ加工する専用テクスチャを用いて、シーンを完全にトレースする第2の計算手段を備える。
この第2の変形形態の場合、ビデオバッファがインターレースビデオラインを含むとき、好ましくは本発明によると、ビデオバッファから専用テクスチャにコピーする第2の手段は、
・最初の描画において偶数ビデオラインを選択しコピーする第3の手段と、次いで
・その後の描画において奇数ビデオラインを選択しコピーする第4の手段とを備える。
2D/3D処理高速化プロセッサは、シーンの描画の際に約1本のハーフライン分のビデオバッファからの変換を適用するための第3の計算手段を備える。
このビデオバッファからの変換は、
・専用テクスチャのテクスチャ座標を変更すること、
・または専用テクスチャでテクスチャ加工されたポリゴンの座標を変更することのいずれかによって実施される。
その結果、画像の質が向上する。
第2の変形形態の場合でのように第1の変形形態の場合でも、異なる2つのやり方で、ビデオバッファをコピーすることができる。
第1の進め方の場合、取得手段は、各新規ビデオ画像用の新しいビデオバッファを有するドライバを備える。好ましくは本発明によると、この第1の進め方の場合、データ処理手段は、各新規ビデオバッファの提示と同時にシーンの描画を実施する。
第2の進め方の場合、取得手段は、各新規ビデオ画像用に新しいビデオバッファを有するドライバを備える。この第2の進め方の場合、好ましくは本発明によると、前記データ処理手段は、
・ビデオキャプチャのパフォーマンスユニット(「スレッド」)を使用して、バッファメモリを各新規ビデオバッファで満たす転送手段と、
・前記バッファメモリに含まれるビデオバッファをグラフィックボードのテクスチャメモリにコピーする第3のコピー手段とを備える。
データ処理手段は、各新規ビデオバッファの提示に関して同期せずに前記シーンのレンダリングを実施する。
本発明によるシステムは、ビデオ画像を合成画像とミキシングすることによってシーンが走査される際のグラフィック機能を可能にする。
アンチエイリアス
好ましくは本発明によると、データ処理手段は、シーンの設計中にアンチエイリアスを適用可能にする。
透明性
好ましくは本発明によると、データ処理手段は、シーンの走査中に透明機能の適用を可能にする。
光学的歪みの補正
好ましくは本発明によると、データ処理手段は、専用テクスチャを用いてシーンのポリゴンをテクスチャ加工することによって、ビデオバッファに非直線歪みを加えることを可能にする。
したがって、ビデオ画像の光学的歪みを補正することができる。
ビデオ画像のリアルタイム処理
好ましくは本発明によると、データ処理手段は、特にクロマキータイプの処理を可能にする、ピクセルシェーダー機能の適用を可能にする。
環境マッピング
好ましくは本発明によると、データ処理装置は、それぞれがビデオバッファを有する2つの取得手段を含む。データ処理装置は、取得手段の一方のビデオバッファをグラフィックボードの第2の専用テクスチャにコピーすることを可能にする。
2D/3D処理高速化プロセッサは、第2の専用テクスチャを使うことによって、シーンの少なくとも一部分をテクスチャ加工することを可能にする。
したがって、合成オブジェクト上で実際に反射を得ることができる。
ビデオ遅延
好ましくは本発明によると、データ処理装置は、バッファメモリに含まれるビデオバッファの1つを、グラフィックボードのテクスチャメモリにコピーするのを遅らせることを可能にする。
したがって、合成画像の表示に対して、ビデオ画像の表示を遅らせることができる。
示唆的であるが限定的でない例および図面を用いた本発明の変形形態の説明を読むと、本発明の他の特性および利点が明らかになるであろう。
図2に、
・グラフィックボード8と、
・マザーボード7と、
・ビデオ画像13のフロー5を受け取る取得手段12と、
・シーン4を含むハードディスク42とを備えるデータ処理装置2を表す。
グラフィックボード8は、
・第1の計算手段29を備える2D/3D処理高速化プロセッサ9と、
・2D/3D処理高速化プロセッサ9から合成画像16のフロー3を受け取る作業バッファ10と、
・専用テクスチャ19を備えるテクスチャメモリ11と、
・ビデオ出力39と、
・ビデオ出力バッファ(バックバッファ)40とを備える。
マザーボード7は、
・第1の選択コピー手段30および第2の選択コピー手段31を含む第1のコピー手段27を備えるデータ処理手段26と、
・シーン4およびポリゴン20を含む中央記憶装置41と、
・偶数ビデオライン17および奇数ビデオライン18を含むビデオバッファ14を備えるバッファメモリ23と、
・ドライバ22と、
・実行ユニット24とを備える。
別の変形形態では、データ処理手段26は、初期化手段32と、第3の選択コピー手段35および第4の選択コピー手段35を備える第2のコピー手段33とを含む(図3を参照)。この変形形態の場合、2D/3D処理高速化プロセッサ9は、第2の計算手段34を含む(図4を参照)。
取得手段12は、フロー5のビデオ画像に対応するビデオ信号13に番号をつける(ビデオ信号は、標準的なアナログでも数値でもよい)。マザーボードは、この番号がつけられたフローを、ピクセルから構成されるビデオバッファ14で受け取り、バッファのメモリに格納した。本説明において、ビデオバッファ14は、ピクセルバッファとも呼ばれる。3Dシーン4は、
・テクスチャ(2D画像)およびポリゴン20(3D形状)から構成される3Dオブジェクト要素と、
・光源要素と、
・仮想カメラ要素との配合である。
3Dシーン4は、ハードディスク42に格納され、マザーボード3の中央記憶装置41にコピーし直される。
ビデオバッファ14は、テクスチャメモリ11の専用テクスチャ19にコピーし直される。専用テクスチャ19はシーンの一部なので、ユーザの必要に応じてその内容を表示することができる。非限定的な例として、
・「フルスクリーン」ビデオを得るための、背景での専用テクスチャ19の表示、
・リアルタイムでビデオを用いてシーン4の効果を向上させるための、シーン4に含まれる合成オブジェクト上での専用テクスチャ19の表示が挙げられる。
テクスチャ加工とは、スーパーインポーズされたテクスチャ(2D画像)を用いて、3D形式のポリゴン20を描く技術である。このテクスチャ加工のために、各先端3Dには、テクスチャにおける3D座標(テクスチャ座標)からなるポリゴン20が割り当てられる。同じポリゴン20において複数のテクスチャを使うことができる。各テクスチャに対する1組のテクスチャ座標は、先端に関連づけられる。
テクスチャ加工は、どのタイプの2D画像を用いても、したがって2D画像であるビデオバッファ14を用いても行うことができる。ビデオバッファ14を用いてテクスチャ加工された1組のポリゴン20は、合成画像16の計算に関わるどのオブジェクトのようにも扱われる。
次に、取得手段12が、グラフィックボード8に統合されたビデオ取得の形で現れる場合の変形形態を概略的に表した図5を説明する。
データ処理装置2は、取得手段12を装備したグラフィックボード8を含む。ビデオ画像13は、取得手段12によってリアルタイムで取得され、次いで、ビデオバッファ14にコピーし直される。ビデオバッファ14は次いで、可能な2つのやり方で、すなわち
・作業バッファ10か、
・またはテクスチャメモリ11にコピーし直される。
このコピーの後、2D/3D処理高速化プロセッサ9は、作業バッファ10においてシーン4のレンダリングを実施する。作業バッファ10は、ビデオ出力39の更新を可能にするビデオ出力バッファ40に転送される。
次に、取得手段12が、マザーボード7に統合されたビデオ取得の形で現れる場合の変形形態を概略的に表す図6を説明する。
データ処理装置2は、取得手段12を装備したマザーボード7を含む。データ処理装置2は、グラフィックボード8も含む。ビデオ画像13は、取得手段12によってリアルタイムで取得され、次いで、ビデオバッファ14にコピーし直される。ビデオバッファ14は次いで、可能な2つのやり方で、すなわち
・作業バッファ10か、
・またはテクスチャメモリ11にコピーし直される。
このコピーの後、2D/3D処理高速化プロセッサ9は、作業バッファ10においてシーン4のレンダリングを実施する。作業バッファ10は、ビデオ出力39の更新を可能にするビデオ出力バッファ40に転送される。
次に、取得手段12が、専用取得カードによるビデオ取得の形で現れる場合の変形形態を概略的に表した図7を説明する。
データ処理装置2は、マザーボード7に接続された取得カード(たとえば、Pinnacle(商標)PCTVカードの形の取得手段12を含む。データ処理装置2は、グラフィックボード8も含む。ビデオ画像13は、取得手段12によってリアルタイムで取得され、次いで、ビデオバッファ14にコピーし直される。ビデオバッファ14は次いで、可能な2つのやり方で、すなわち
・作業バッファ10か、
・またはテクスチャメモリ11にコピーし直される。
このコピーの後、グラフィックボードの2D/3D処理高速化プロセッサ9は、作業バッファ10においてシーン4のレンダリングを実施する。作業バッファ10は、ビデオ出力39の更新を可能にするビデオ出力バッファ40に転送される。
次に、グラフィックボードのビデオ出力バッファ(バックバッファ)40への、ビデオバッファ14のコピーをブロックの形で概略的に表す図8を説明する。各ブロックは、以下の意味をもつ。
ブロック48:
開始
ブロック50:
取得手段12の初期化:
取得モードへの変化。
ビデオ入力の定義(たとえば、Sビデオ/PAL/NTSC
ビデオ取得の開始。
ブロック52:
2D/3D処理高速化プロセッサ9の初期化:
出力タイプの定義(たとえば、VGA、PAL、NTSC、またはDVI)。
画像モードの定義(フルスクリーンまたはウィンドウ)。
画像解像度の定義(たとえば、32ビット/ピクセルで800×600)。
Zバッファのモードの定義(3D高速化の開始)。
ダブルバッファモードへの変化(ビデオ出力40および作業バッファ10の作成)。
ブロック54:
シーン4の変更:
ハードディスク42からの全3Dモデルのローディング。
ブロック56:
ZバッファのRAZ。
作業バッファ10のRAZ(任意選択)。
ブロック58:
取得手段12から送られたビデオバッファ14の、作業バッファ10へのコピー。
ブロック60:
2D/3C処理高速化プロセッサ9によって実施される、作業バッファ10へのシーン4のトレース。
ビデオ出力バッファ40の更新
ブロック62:
プログラム終了か?
ブロック64:
終了。
次に、グラフィックボードのテクスチャメモリ11への、ビデオバッファ14のコピーアルゴリズムをブロックの形で概略的に表す図9を説明する。各ブロックは、以下の意味をもつ。
ブロック66:
開始
ブロック68:
取得手段12の初期化:
取得モードへの変化
ビデオ入力の定義(たとえば、Sビデオ/PAL/NTSC)
ブロック70:
2D/3D処理高速化プロセッサ9の初期化、
出力タイプの定義(たとえば、VGA、PAL、NTSC、またはDVI)。
画像モードの定義(フルスクリーンまたはウィンドウ)。
画像解像度の定義(たとえば、32ビット/ピクセルで800×600)。
Zバッファのモードの定義(3D高速化の開始)。
ダブルバッファモードへのシフト(ビデオ出力バッファ40および作業バッファ10の作成)。
専用テクスチャの初期化(テクスチャメモリ11内で専用テクスチャ19を作成する。専用テクスチャ19は、ビデオキャプチャバッファビデオ14と同じ数のラインおよび列である。)
ブロック72:
シーン4のローディング
ハードドライブ42からの全3Dモデルのローディング。
ブロック74:
ZバッファのRAZ。
作業バッファ(10)のRAZ(任意選択)。
ブロック76:
テクスチャメモリ11に含まれる専用テクスチャ19への、取得手段12からのビデオバッファ14のコピー。
作業用バッファ10へのシーン4のトレース。
テクスチャから作成することができるものを含むテクスチャの使用(たとえば、環境マッピング、スクリーン背景としての作業バッファ10のトレースされた内燃機関、合成オブジェクトのテクスチャ加工)。
ビデオ出力バッファ40の更新
ブロック80:
プログラム終了か?
ブロック82:
終了。
アンチエイリアスの説明:
アンチエイリアスは、合成画像16の有限解像度に起因する、ポリゴン20のエッジにおけるステアステップの削減を可能にするフィルタリング操作である。
アンチエイリアスが適用されると、前景にあるオブジェクトのエッジのピクセルの色は、背景オブジェクトのピクセルと前景にあるオブジェクトのピクセルとの間のフィルタリング操作によって取得される。
本発明は、ビデオを有するテクスチャ加工されたオブジェクトを、他の合成オブジェクトと同じ性質の要素として扱うことを可能にする。アンチエイリアス機能はしたがって、シーン全体のトレースに適用される。
透明効果の説明
合成オブジェクトは、透明な面を含むことができる。このようなオブジェクトが、ビデオを有するテクスチャ加工された背景オブジェクトに関して前景にある場合、テクスチャ加工されたビデオオブジェクトは、こうした面を通して見られる。
非直線歪みの説明:
ビデオは、ポリゴン20のマッピングされたテクスチャに格納されるので、本方法は、ビデオへの非直線歪みの適用を可能にする。したがって、ビデオ画像をリアルタイムで歪ませて、ビデオカメラの光学的歪みを補正することができる。曲げられた状態で現れる画像のエッジ部分のラインはしたがって、ビデオテクスチャを引き伸ばすことによって直線にすることができる。
この目的のため、関連づけられた頂点からなる座標が線形的に展開するとき、曲線を描くテクスチャ座標を用いてビデオテクスチャが張られる、ポリゴン20からなる規則的な網目が作成される。
「ピクセルシェーダー」処理、具体的には「クロマキー」についての説明。
ピクセルの最終的な色は、トレースされているポリゴン20の同一ピクセルの色と、トレース済みのポリゴン20の色との配合である。ポリゴンのピクセルの色は、こうしたポリゴンに関連づけられた1つまたは複数のテクスチャにおけるこのピクセルの値とポリゴンの照度の配合である。
今日のグラフィックボードは、プログラム(ピクセルシェーダー)を用いて、この配合を実施する。このプログラムは、他の3Dオブジェクトのように、グラフィックボード8に転送される。
クロマキーの原理は、画像中で、所与の色のポイントすべてを、別のビデオソースからのポイントで置き換えることである。この技術は、「ブルースクリーン」と呼ばれる場合もある。単純なクロマキーアルゴリズムを、後で説明する。ビデオの各ピクセルごとに、
・各ピクセルの色がスペースYUVに入れられ、
・この色の相違が、座標Y(輝度)を無視して、基準色と比較して計算され、
・相違が所定の閾値未満の場合、ピクセルは透明になる。所定の閾値未満でない場合、ピクセルは通常通り表示される。
環境マッピングの説明
環境マッピングは、レイトレーシング(リアルタイムでは使用不可能)を用いずに反射面をシミュレートする技術である。この技術は、オブジェクトを囲むシーンの画像を含む特殊テクスチャを、オブジェクト自体に対して与える。その結果、高度な計算能力を必要とせず、反射面の外見の近似が得られる。
本発明の方法は、2つの取得手段12(2つの取得カード)の使用に一般化され、2つの取得手段12の一方(2つの取得カードの一方)を用いて、このカードに関連づけられたバッファビデオ14をテクスチャ11のメモリにコピーすることを可能にする。このコピーは、テクスチャ加工されたシーンのオブジェクトがこのテクスチャを用いてトレースされるとき、環境のマッピングとして働く。こうすることにより、こうした合成オブジェクトで実際に反射を得ることが特に可能になる。
他の取得カードは、そのビデオバッファ14を、反射がある合成オブジェクトの背景に表示されるテクスチャのメモリにコピーするのに使われる。
バッファメモリ23の説明
バッファメモリ方法は、ビデオ画像の表示を遅らせるのを可能にする。
N個のビデオ画像が、メモリに格納される。
バッファメモリ方法は、ビデオ画像の表示を遅らせるのを可能にする。バッファメモリ23は、以下の原理に基づいて作用する。バッファメモリ23は、N個のビデオバッファ14を格納することができる。こうしたビデオバッファ14は、周期N、(N−2)、(N−2)、(N−3)などの間に取得手段12によって取得されるビデオ画像13に対応する。周期Nにおいて、本方法は、周期(N−2)で取得されたビデオバッファ14を使うことを決定することができ、この場合、3つの周期でビデオ出力39によって表示されるビデオ画像を遅らせる結果となる。通常、この処理によって、最大N個の画像を遅延させることができる。
次に、従来技術に勝る、本発明の方法およびシステムの利点を説明する。
・本発明の方法およびシステムは、画像の質、すなわちポリゴンの数、シャドーイング、テクスチャ加工、透明性、反射、およびアンチエイリアスの向上を可能にする。
・本発明の方法およびシステムは、ビデオテクスチャ加工の効果、すなわち、単一の静的画像ではなくライブビデオを有する合成オブジェクトのテクスチャ加工をリアルタイムで遂行することを可能にする。
・本発明の方法およびシステムは、動的環境マッピング効果、すなわち、静的ではなくビデオそのものである環境マップを合成オブジェクトの周囲に配置することを可能にする。こうすることにより、特に合成オブジェクトが鏡と同程度に反射する面を有する場合に驚異的な効果が起こり得る。
・本発明の方法およびシステムは、伝統的には1つまたはいくつかのライブビデオソースではなく静的テクスチャを用いて行うことが可能であったすべてのことを可能にする。
・本発明の方法およびシステムは、ピクセルシェーダー技術によるビデオ画像処理(具体的にはクロマキータイプの処理の実行を可能にする。
・本発明の方法およびシステムは、外部ラックを用いずにビデオ画像を遅らせることを可能にする。
・処理はすべて同じマシン内で行われるので、本発明の方法およびシステムは、システムの応答時間の短縮を可能にする(いくつかの処理装置の処理時間が、従来技術の内燃機関のように累積しない)。
・本発明の方法およびシステムは、低コストで大量生産される素材の使用を可能にする。
・本発明の方法およびシステムは、電子機器(ハードウェア)の独自開発を必要としない。本発明の方法およびシステムは、保守(一般に利用可能なPCのマザーボード、消費者グラフィックボード、消費者ビデオ取得カード)を容易にすることができる。
・本発明の方法およびシステムは、1台のコンピュータ(標準PCケース)、ポータブルコンピュータ、または産業用ラックPC)を用いて作用することができる。
・本発明の方法およびシステムは、リアルタイムで作用することができる。すなわち、ビデオ画像が直接生成される。したがって、編集コスト(post−production cost)を低下させることができる(数秒のビデオ画像に数時間もかからない)。
・本発明の方法およびシステムは、移植することができる。本方法およびシステムは、コンパクトな産業用PCボード上で作用することができる(軍もしくは海軍または危険地域)。
・本発明の方法およびシステムは、硬化物(産業用、軍用)上で作用することができる。
・本発明の方法およびシステムは、ソフトウェアをほとんど更新することなく、高速化グラフィックボードのパフォーマンスの発展を追及することができる。標準画像ライブラリ(DirectXまたはOpenの使用。
・本発明の方法およびシステムは、容易に動かすことができ(移動性)、使用場所で高速にインストールすることができる。
・本発明の方法およびシステムは、ビデオ入力(たとえばDV入力)を装備したポータブルコンピュータ上で実行することができる。
方法および本発明によるシステムの産業上および商用の適用範囲。
オーディオビジュアル分野(動画およびビデオ)の内燃機関の、産業上の適用範囲。
本発明の方法およびシステムは、オンラインで、またはオンラインの状況で撮影されるオーディオビジュアル制作物に特に利用することができる。
・リアルタイムの仮想セット(仮想セッティングにプレゼンタを表示する)
・リアルタイムの特殊効果(たとえば、リアルタイムでの粒子、爆発、歪み)。
本発明の方法およびシステムは、特に広告分野において利用することができる(たとえば、実際のセッティング内の仮想製品)。
本発明の方法およびシステムは、テレキャストに仮想オブジェクトをオーバーレイし、放送プレゼンタとの対話を行うのに利用することができる(トークショー、スポーツ中継、テレビショッピング、ニュース、天気予報、医療番組)。
本発明の方法およびシステムは、実際のセッティングにリアルタイムで「アバター」、すなわち仮想の人物になるのに利用することができる。
本発明の方法およびシステムは、動画に対してリアルタイムの視覚化(撮影現場での特殊効果の制御)を行うのに利用することができる。
本発明の方法およびシステムは、製造分野で利用することができる(手作業による操作を指導し、製造中に製作者に情報提供するための実際の画像を用いた効果の向上)。
本発明の方法およびシステムは、保守分野で利用することができる(保守スケジュールを最適化し、応急処置をリアルタイムでガイドするための補足情報を伴う実際の画像を用いた効果の向上)。
本発明の方法およびシステムは、軍の内燃機関において利用することができる(仮想ターゲット、仮想脅威、爆発、歩兵、車両)。
本発明の方法およびシステムは、シミュレーションにおいて利用することができる(実際の小道具、仮想プロトタイプ、仮想車両のテストを合わせ用いた、大気または環境現象のシミュレーション)。
本発明の方法およびシステムは、ビデオゲームの分野で利用することができる(ビデオゲームにおける実際のプレーヤの視覚化、または実際の画像への、人、車両などの仮想要素の統合)。
本発明の方法およびシステムは、
・自動車分野(実際の道路上の仮想車両)、
・アーキテクチャ分野(実際の景観での仮想建築物の視覚化)、
・リアルタイム操行の分野、すなわちパイロットまたは車掌に向けたデータ表示において利用することができる。
マーケティングまたは通信分野における適用範囲
本発明の方法およびシステムは、市場調査の実施、すなわち実際にはまだ製造されていない製品を、実際の状況において表すのに利用することができる(たとえば、新しいモバイルGSM、新しい車両)。
本発明の方法およびシステムは、店舗またはビジネス中心街でインタラクティブな画像を作成するのに利用することができる。
情報技術分野における産業上の適用範囲
本発明の方法およびシステムは、テレビ会議に利用することができる。テレビ電話によって、仮想オブジェクトを挿入し、仮想オブジェクトと対話することができるようになる。
レジャー分野における産業上の適用範囲
本発明の方法およびシステムは、アミューズメントパークで利用することができ、ビジュアルアニメーションをリアルタイムで表示する(たとえば、インタラクティブな鏡)。
Claims (26)
- ユーザが、
(i)データ処理装置(2)において、合成画像のフロー(3)を作成し、
(ii)前記合成画像のフロー(3)と少なくとも1つのビデオ画像フロー(5)との間の視覚的対話を行うことによって、シーン(4)をトレースすることを可能にし、
その結果、前記シーン(4)の質を向上させ、独自に開発した高価なデータ処理装置(2)を利用することなく処理時間を短縮する方法であって、
特に消費者「PCコンピュータタイプ」である前記データ処理装置(2)が、
マザーボード(7)と、
2D/3D処理高速化プロセッサ(5)、作業バッファ(10)(「バックバッファ」)、およびテクスチャメモリ(11)を含む、前記シーン(4)をレンダリングし表示するグラフィックスボード(8)と、
ビデオ画像(13)をリアルタイムでビデオバッファ(14)に取得することを可能にする取得手段(12)とを備え、前記取得手段(12)が特に、
・前記グラフィックボード(8)に統合されたビデオ取得の形、および/または
・前記マザーボード(7)に統合されたビデオ取得の形、および/または
・専用の取得ボードを介するビデオ取得の形で現れ、
前記方法が、
・前記シーンの特定の描画を実施し、
・前記シーン(4)をレンダリングする度に、前記ビデオバッファ(14)を前記グラフィックボード(8)のメモリゾーン(10、11)にコピーし、
・前記グラフィックボード(8)の前記作業バッファ(10)に前記合成画像(16)をトレースするステップを含む方法。 - 特定の描画を実施するために、
・前記シーン(4)のレンダリングの度に、前記ビデオバッファ(14)を前記作業バッファ(10)にコピーするステップと、
・前記合成画像(16)を前記作業バッファ(10)にトレースするステップとを含む、請求項1に記載の方法。 - 前記ビデオバッファがインターレースビデオラインを含み、前記シーン(4)をレンダリングする度に前記ビデオバッファ(14)を前記作業バッファ(10)にコピーするために、
・最初の描画のときに前記偶数ビデオライン(17)をコピーするステップと、次いで
・その後の描画のときに前記奇数ビデオライン(18)をコピーするステップとを含む、請求項2に記載の方法。 - 特定の描画を実施するために、
・前記特定の描画に先立って、前記グラフィックボード(8)の前記テクスチャメモリ(11)中に専用テクスチャ(19)を作成することによって初期化するステップであって、前記専用テクスチャ(19)が、前記ビデオバッファ(14)と同じサイズであり、前記専用テクスチャ(19)が、前記ビデオバッファ(14)を前記テクスチャメモリ(11)にコピーするのに専用であるステップを含み、
・前記ビデオバッファ(14)を前記専用テクスチャ(19)にコピーするステップと、
・前記シーン(4)のポリゴン(20)の一部をテクスチャ加工する前記専用テクスチャ(19)を用いて、前記シーン(4)を完全にトレースするステップとをさらに含む、請求項1に記載の方法。 - 前記ビデオバッファ(14)がインターレースビデオラインを含み、前記シーン(4)の描画の度に前記ビデオバッファ(14)を前記専用テクスチャ(19)にコピーするために、
・最初のレンダリングのときに前記偶数ビデオライン(17)をコピーするステップと、次いで
・その後の描画のときに前記奇数ビデオライン(18)をコピーするステップと、
・前記専用テクスチャ(19)のテクスチャ座標を変更すること、
・または前記専用テクスチャ(19)でテクスチャ加工されたポリゴン(20)の座標を変更することのいずれかによって、
・(画像の質が向上するように)約1本のハーフライン分の前記ビデオバッファ(14)からの変換を前記シーン(4)の描画に適用するステップとを含む、請求項4に記載の方法。 - 前記取得手段(12)が、各新規ビデオ画像用に新しいビデオバッファ(14)を有するドライバ(22)を備え、前記シーン(4)のレンダリングが、各新規ビデオバッファ(14)の提示と同時に実施される、請求項1から5のいずれか一項に記載の方法。
- 前記取得手段(12)が、各新規ビデオ画像用に新しいビデオバッファ(14)を有するドライバ(22)を備え、
・ビデオキャプチャのパフォーマンスユニット(24)(「スレッド」)を利用することによって、バッファメモリ(23)を各新規ビデオバッファで満たすステップと、
・前記バッファメモリ(23)に含まれる前記ビデオバッファ(14)の1つを前記グラフィックボード(8)の前記テクスチャメモリ(11)にコピーするステップと、
・各新規ビデオバッファ(14)の提示に関して同期せずに前記シーン(4)の描画を実施するステップとを含む、請求項1から5のいずれか一項に記載の方法。 - 前記シーン(4)のトレースにおいてアンチエイリアス機能を適用するステップを含む、請求項1から7のいずれか一項に記載の方法。
- 前記シーン(4)のトレースにおいて透明機能を適用するステップを含む、請求項1から8のいずれか一項に記載の方法。
- 前記専用テクスチャ(19)を用いて前記シーン(4)のポリゴン(20)をテクスチャ加工するとき、(前記ビデオ画像の光学的歪みを補正することができるように)前記ビデオバッファ(14)に非直線歪みを加えるステップを含む、請求項1から9のいずれか一項に記載の方法。
- 特にクロマキータイプの処理を可能にする、前記ビデオバッファ(14)にピクセルシェーダー機能を適用するステップを含む、請求項1から10のいずれか一項に記載の方法。
- 前記データ処理装置(2)が、それぞれがビデオバッファ(14)を有する取得手段(12)を備え、
・前記取得手段(12)の1つの、前記ビデオバッファ(14)を前記グラフィックボード(8)の第2の専用テクスチャにコピーするステップと、
・前記第2の専用テクスチャを使うことによって、(合成オブジェクト上で実際に反射を得ることができるように)前記シーン(4)を少なくとも部分的にテクスチャ加工するステップとを含む、請求項1から11のいずれか一項に記載の方法。 - バッファメモリ(23)に含まれる前記ビデオバッファ(14)の1つを、(前記合成画像(16)の表示に対して、ビデオ画像(13)の表示を遅らせることができるように)前記グラフィックボード(8)の前記テクスチャメモリ(11)にコピーすることを遅らせるステップを含む、請求項1から12のいずれか一項に記載の方法。
システム - ユーザが、
(i)標準電子回路からなるデータ処理装置(2)において、合成画像のフロー(3)を作成し、
(ii)前記合成画像のフロー(3)と少なくとも1つのビデオ画像フロー(5)との間の視覚的対話を行うことによって、シーン(4)をトレースすることを可能にし、
その結果、前記シーン(4)の質を向上させ、独自に開発した高価なデータ処理装置(2)を利用することなく処理時間を短縮するシステムであって、
特に消費者「PCコンピュータ」タイプである前記データ処理装置(2)が、
マザーボード(7)と、
2D/3D処理高速化プロセッサ(9)、作業バッファ(10)(「バックバッファ」)、およびテクスチャメモリ(11)を含む、前記シーン(4)をレンダリングし表示するグラフィックスボード(8)と、
ビデオ画像(13)をリアルタイムでビデオバッファ(14)に取得することを可能にする取得手段(12)とを備え、前記取得手段(12)が特に、
・前記グラフィックボード(7)に統合されたビデオ取得の形、および/または前記マザーボード(7)に統合されたビデオ取得の形、および/または
・専用の取得ボードを介するビデオ取得の形で現れ、
前記(4)シーンの特定のレンダリングを実施するために、
・前記マザーボード(7)が、前記(4)シーンの描画の度に、前記ビデオバッファ(14)を前記グラフィックボード(8)のメモリゾーン(16)にコピーし直させ、
・前記2D/3D処理高速化プロセッサ(9)が、前記グラフィックボード(8)のメモリゾーン(15)に前記合成画像(16)をトレースするトレース手段を備えるシステム。 - 特定の描画を実施するために、
・前記データ処理手段(26)が、前記シーン(4)の描画の度に、前記ビデオバッファ(14)を前記作業バッファ(10)にコピーする第1のコピー手段(27)を備え、
・前記2D/3D処理高速化プロセッサが、前記合成画像(16)を前記作業バッファ(10)にトレースする第1の計算手段(29)を備える、請求項14に記載のシステム。 - 前記ビデオバッファ(14)がインターレースビデオラインを含み、前記ビデオバッファ(14)を前記作業バッファ(10)にコピーする第1の手段(27)が、
・最初のレンダリングのときに前記偶数ビデオライン(17)を選択しコピーする第1の選択およびコピー手段(30)と、次いで
・その後の描画のときに前記奇数ビデオライン(18)を選択しコピーする第2の選択およびコピー手段(31)とを備える、請求項15に記載のシステム。 - 特定のレンダリングを実施するために、前記データ処理手段(26)が、特定の描画に先立って、前記グラフィックボード(8)の前記テクスチャメモリ(11)中での専用テクスチャ(19)の作成を初期化する手段であって、前記専用テクスチャ(19)が前記ビデオバッファ(14)と同じサイズである手段を含み、
特定の描画を実行するために、前記データ処理手段(26)が、前記ビデオバッファ(14)を前記専用テクスチャ(19)にコピーする第2のコピー手段(33)をさらに含み、
特定の描画を実行するために、前記2D/3D処理高速化プロセッサが、前記シーン(4)のポリゴン(20)の一部をテクスチャ加工する前記専用テクスチャ(39)を用いて、前記シーン(4)を完全にトレースするための第2の計算手段(34)をさらに含む、請求項14に記載のシステム。 - 前記ビデオバッファ(14)がインターレースビデオラインを含み、前記ビデオバッファ(14)を前記専用テクスチャ(19)にコピーする前記第2の手段(33)が、
・最初の描画において前記偶数ビデオライン(17)を選択しコピーする第3の手段と、次いで
・その後の描画において前記奇数ビデオライン(18)を選択しコピーする第4の手段と、
・前記専用テクスチャ(19)のテクスチャ座標を変更すること、
・または前記専用テクスチャ(15)でテクスチャ加工されたポリゴン(20)の座標を変更することのいずれかによって、
・(画像の質が向上するように)約1本のハーフライン分の前記ビデオバッファ(14)からの変換(21)を前記シーン(4)の描画に適用する第3の計算手段とを備える、請求項17に記載のシステム。 - 前記取得手段(12)が、各新規ビデオ画像用に新しいビデオバッファ(14)を有するドライバ(22)を含み、前記データ処理手段(26)が、前記シーン(4)の描画を、各新規ビデオバッファ(14)の提示と同期して実施する、請求項14から18のいずれか一項に記載のシステム。
- 前記取得手段(12)が、各新規ビデオ画像用に新しいビデオバッファ(14)を提示するドライバ(22)を有し、前記データ処理手段(16)が、
・ビデオキャプチャの実行ユニット(24)(「スレッド」)を利用することによって、バッファメモリ(23)を各新規ビデオバッファ(14)で満たす変換手段と、
・前記バッファメモリ(23)に含まれる前記ビデオバッファの1つを前記グラフィックボード(8)の前記テクスチャメモリ(11)にコピーする第3のコピー手段(38)とを備え、
前記データ処理手段(26)が、各新規ビデオバッファ(14)の提示に関して同期せずに前記シーン(4)の描画を実施する、請求項14から18のいずれか一項に記載のシステム。 - 前記データ処理手段(26)が、前記シーン(4)がトレースされるときにアンチエイリアス機能を適用することを可能にする、請求項14から20のいずれか一項に記載のシステム。
- 前記データ処理手段(26)が、前記シーン(4)がトレースされるときに透明機能を適用することを可能にする、請求項14から21のいずれか一項に記載のシステム。
- 前記データ処理手段(26)が、前記専用テクスチャ(19)を用いて前記シーン(4)のポリゴン(20)をテクスチャ加工して、(前記ビデオ画像の光学的歪みを補正することができるように)前記ビデオバッファ(14)に非直線歪みを加えることを可能にする、請求項14から22のいずれか一項に記載のシステム。
- 前記データ処理手段(26)が、前記ビデオバッファ(14)にピクセルシェーダー機能を適用することを可能にし、特にクロマキータイプの処理を可能にする、請求項14から23のいずれか一項に記載のシステム。
- 前記データ処理手段(26)が、前記取得手段の1つから前記グラフィックボード(8)の第2の専用テクスチャに前記ビデオバッファ(14)をコピーすることを可能にし、前記2D/3D処理高速化プロセッサ(9)が、前記第2の専用テクスチャを使うことによって、(合成オブジェクト上で実際に何らかの反射を得ることができるように)前記シーン(4)を少なくとも部分的にテクスチャ加工することを可能にする、請求項14から24のいずれか一項に記載のシステム。
- 前記データ処理手段(26)が、バッファメモリ(23)に含まれる前記ビデオバッファ(14)の1つを、(前記合成画像(16)の表示に対して、前記ビデオ画像(13)の表示を遅らせることができるように)前記グラフィックボード(8)の前記テクスチャメモリ(151)にコピーすることを遅らせることを可能にする、請求項14から25のいずれか一項に記載のシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR0209401A FR2842977A1 (fr) | 2002-07-24 | 2002-07-24 | Procede et systeme permettant a un utilisateur de melanger en temps reel des images de synthese avec des images video |
PCT/FR2003/050019 WO2004012445A2 (fr) | 2002-07-24 | 2003-07-21 | Procede et systeme permettant a un utilisateur de melanger en temps reel des images de synthese avec des images video |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005534113A true JP2005534113A (ja) | 2005-11-10 |
JP4481166B2 JP4481166B2 (ja) | 2010-06-16 |
Family
ID=30011453
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004523896A Expired - Fee Related JP4481166B2 (ja) | 2002-07-24 | 2003-07-21 | ユーザによる合成画像およびビデオ画像のリアルタイムのミキシングを可能にする方法およびシステム |
Country Status (12)
Country | Link |
---|---|
US (1) | US7471301B2 (ja) |
EP (1) | EP1527599B1 (ja) |
JP (1) | JP4481166B2 (ja) |
AT (1) | ATE473594T1 (ja) |
AU (1) | AU2003273498A1 (ja) |
DE (1) | DE60333299D1 (ja) |
DK (1) | DK1527599T3 (ja) |
ES (1) | ES2348853T3 (ja) |
FR (1) | FR2842977A1 (ja) |
PT (1) | PT1527599E (ja) |
SI (1) | SI1527599T1 (ja) |
WO (1) | WO2004012445A2 (ja) |
Families Citing this family (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8817045B2 (en) | 2000-11-06 | 2014-08-26 | Nant Holdings Ip, Llc | Interactivity via mobile image recognition |
KR101019569B1 (ko) | 2005-08-29 | 2011-03-08 | 에브릭스 테크놀로지스, 인코포레이티드 | 모바일 이미지 인식을 통한 상호작용 |
CN101401285B (zh) * | 2006-03-20 | 2011-06-01 | 伊纳驱动及机电有限商业两合公司 | 具有移动的、减轻质量的并且侧向引导的被动单元的线性驱动装置 |
EP1837060A1 (en) * | 2006-03-21 | 2007-09-26 | In Fusio (S.A.) | Method for displaying interactive video content from a video stream in a display of a user device |
US20070248283A1 (en) * | 2006-04-21 | 2007-10-25 | Mack Newton E | Method and apparatus for a wide area virtual scene preview system |
US20070277097A1 (en) * | 2006-05-25 | 2007-11-29 | Erik Frederick Hennum | Apparatus, system, and method for context-aware authoring transform |
FR2911211B1 (fr) | 2007-01-05 | 2009-06-12 | Total Immersion Sa | Procede et dispositifs pour inserer en temps reel des objets virtuels dans un flux d'images a partir de donnees issues de la scene reelle representee par ces images |
FR2928805B1 (fr) * | 2008-03-14 | 2012-06-01 | Alcatel Lucent | Procede permettant la mise en oeuvre de la video enrichie sur les terminaux mobiles. |
US8184143B2 (en) * | 2008-06-27 | 2012-05-22 | Sony Mobile Communications Ab | Simulated reflective display |
US8624962B2 (en) * | 2009-02-02 | 2014-01-07 | Ydreams—Informatica, S.A. Ydreams | Systems and methods for simulating three-dimensional virtual interactions from two-dimensional camera images |
CN102906810B (zh) | 2010-02-24 | 2015-03-18 | 爱普莱克斯控股公司 | 支持视觉受损的个体的扩增的现实全景 |
US9514654B2 (en) | 2010-07-13 | 2016-12-06 | Alive Studios, Llc | Method and system for presenting interactive, three-dimensional learning tools |
KR101296910B1 (ko) * | 2010-10-20 | 2013-08-14 | 엘지디스플레이 주식회사 | 게이트 드라이버 및 이를 포함한 유기발광다이오드 표시장치 |
USD648391S1 (en) | 2011-01-31 | 2011-11-08 | Logical Choice Technologies, Inc. | Educational card |
USD647968S1 (en) | 2011-01-31 | 2011-11-01 | Logical Choice Technologies, Inc. | Educational card |
USD675648S1 (en) | 2011-01-31 | 2013-02-05 | Logical Choice Technologies, Inc. | Display screen with animated avatar |
USD654538S1 (en) | 2011-01-31 | 2012-02-21 | Logical Choice Technologies, Inc. | Educational card |
USD648390S1 (en) | 2011-01-31 | 2011-11-08 | Logical Choice Technologies, Inc. | Educational card |
USD648796S1 (en) | 2011-01-31 | 2011-11-15 | Logical Choice Technologies, Inc. | Educational card |
US8488011B2 (en) | 2011-02-08 | 2013-07-16 | Longsand Limited | System to augment a visual data stream based on a combination of geographical and visual information |
US8493353B2 (en) * | 2011-04-13 | 2013-07-23 | Longsand Limited | Methods and systems for generating and joining shared experience |
US9064326B1 (en) | 2012-05-10 | 2015-06-23 | Longsand Limited | Local cache of augmented reality content in a mobile computing device |
US9430876B1 (en) | 2012-05-10 | 2016-08-30 | Aurasma Limited | Intelligent method of determining trigger items in augmented reality environments |
US9642606B2 (en) | 2012-06-27 | 2017-05-09 | Camplex, Inc. | Surgical visualization system |
US9615728B2 (en) | 2012-06-27 | 2017-04-11 | Camplex, Inc. | Surgical visualization system with camera tracking |
US9854328B2 (en) * | 2012-07-06 | 2017-12-26 | Arris Enterprises, Inc. | Augmentation of multimedia consumption |
US9782159B2 (en) | 2013-03-13 | 2017-10-10 | Camplex, Inc. | Surgical visualization systems |
US9301731B2 (en) | 2013-07-16 | 2016-04-05 | Edan Instruments, Inc. | Ultrasound system and transducer assemblies |
KR101821284B1 (ko) | 2013-08-22 | 2018-01-23 | 비스포크, 인코포레이티드 | 커스텀 제품을 생성하기 위한 방법 및 시스템 |
WO2015042483A2 (en) | 2013-09-20 | 2015-03-26 | Camplex, Inc. | Surgical visualization systems |
EP3047326A4 (en) | 2013-09-20 | 2017-09-06 | Camplex, Inc. | Surgical visualization systems and displays |
WO2015100310A1 (en) * | 2013-12-23 | 2015-07-02 | Camplex, Inc. | Surgical visualization systems |
US9977572B2 (en) | 2014-04-01 | 2018-05-22 | Hallmark Cards, Incorporated | Augmented reality appearance enhancement |
EP3226799A4 (en) | 2014-12-05 | 2018-07-25 | Camplex, Inc. | Surgical visualization systems and displays |
US11154378B2 (en) | 2015-03-25 | 2021-10-26 | Camplex, Inc. | Surgical visualization systems and displays |
WO2017091704A1 (en) | 2015-11-25 | 2017-06-01 | Camplex, Inc. | Surgical visualization systems and displays |
US10453244B2 (en) * | 2016-10-07 | 2019-10-22 | Sony Corporation | Multi-layer UV map based texture rendering for free-running FVV applications |
WO2018208691A1 (en) | 2017-05-08 | 2018-11-15 | Camplex, Inc. | Variable light source |
Family Cites Families (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5227863A (en) * | 1989-11-14 | 1993-07-13 | Intelligent Resources Integrated Systems, Inc. | Programmable digital video processing system |
JPH07325934A (ja) * | 1992-07-10 | 1995-12-12 | Walt Disney Co:The | 仮想世界に向上したグラフィックスを提供する方法および装置 |
US5781174A (en) * | 1992-07-14 | 1998-07-14 | Matsushita Electric Industrial Co., Ltd. | Image synthesizer and image pointing system |
US5903317A (en) * | 1993-02-14 | 1999-05-11 | Orad Hi-Tech Systems Ltd. | Apparatus and method for detecting, identifying and incorporating advertisements in a video |
US5513854A (en) * | 1993-04-19 | 1996-05-07 | Daver; Gil J. G. | System used for real time acquistion of data pertaining to persons in motion |
US5553859A (en) * | 1995-03-22 | 1996-09-10 | Lazer-Tron Corporation | Arcade game for sensing and validating objects |
US5764317A (en) * | 1995-06-26 | 1998-06-09 | Physical Optics Corporation | 3-D volume visualization display |
US6549681B1 (en) * | 1995-09-26 | 2003-04-15 | Canon Kabushiki Kaisha | Image synthesization method |
DE19619090A1 (de) * | 1996-04-30 | 1997-11-13 | Cfb Gmbh | Vorrichtung und Verfahren zur Erzeugung eines Kompositbildes |
US5889550A (en) * | 1996-06-10 | 1999-03-30 | Adaptive Optics Associates, Inc. | Camera tracking system |
JP2970558B2 (ja) * | 1996-10-25 | 1999-11-02 | 日本電気株式会社 | オーディオ/ビデオ/コンピュータグラフィクス同期再生合成方式及び方法 |
US6014163A (en) * | 1997-06-09 | 2000-01-11 | Evans & Sutherland Computer Corporation | Multi-camera virtual set system employing still store frame buffers for each camera |
US6034739A (en) * | 1997-06-09 | 2000-03-07 | Evans & Sutherland Computer Corporation | System for establishing a three-dimensional garbage matte which enables simplified adjusting of spatial relationships between physical and virtual scene elements |
US6262749B1 (en) * | 1997-12-31 | 2001-07-17 | Acuson Corporation | Ultrasonic system and method for data transfer, storage and/or processing |
US6771264B1 (en) | 1998-08-20 | 2004-08-03 | Apple Computer, Inc. | Method and apparatus for performing tangent space lighting and bump mapping in a deferred shading graphics processor |
US6798420B1 (en) * | 1998-11-09 | 2004-09-28 | Broadcom Corporation | Video and graphics system with a single-port RAM |
US6731295B1 (en) * | 1998-11-09 | 2004-05-04 | Broadcom Corporation | Graphics display system with window descriptors |
US6636222B1 (en) * | 1999-11-09 | 2003-10-21 | Broadcom Corporation | Video and graphics system with an MPEG video decoder for concurrent multi-row decoding |
US7162528B1 (en) * | 1998-11-23 | 2007-01-09 | The United States Of America As Represented By The Secretary Of The Navy | Collaborative environment implemented on a distributed computer network and software therefor |
US6508709B1 (en) * | 1999-06-18 | 2003-01-21 | Jayant S. Karmarkar | Virtual distributed multimedia gaming method and system based on actual regulated casino games |
US6661571B1 (en) * | 1999-09-21 | 2003-12-09 | Olympus Optical Co., Ltd. | Surgical microscopic system |
JP2001137541A (ja) * | 1999-11-17 | 2001-05-22 | Square Co Ltd | オブジェクト表示方法、ゲーム装置および記録媒体 |
US7098888B2 (en) * | 2000-04-28 | 2006-08-29 | Texas Tech University System | Development of stereoscopic-haptic virtual environments |
US6954498B1 (en) * | 2000-10-24 | 2005-10-11 | Objectvideo, Inc. | Interactive video manipulation |
US6627863B2 (en) * | 2000-12-15 | 2003-09-30 | Mitutoyo Corporation | System and methods to determine the settings of multiple light sources in a vision system |
DE60130264T2 (de) * | 2001-06-13 | 2008-05-21 | Volume Interactions Pte. Ltd. | Führungssystem |
WO2002100285A1 (en) * | 2001-06-13 | 2002-12-19 | Volume Interactions Pte Ltd | A guide system and a probe therefor |
US6724386B2 (en) * | 2001-10-23 | 2004-04-20 | Sony Corporation | System and process for geometry replacement |
-
2002
- 2002-07-24 FR FR0209401A patent/FR2842977A1/fr active Pending
-
2003
- 2003-07-21 JP JP2004523896A patent/JP4481166B2/ja not_active Expired - Fee Related
- 2003-07-21 AU AU2003273498A patent/AU2003273498A1/en not_active Abandoned
- 2003-07-21 AT AT03755656T patent/ATE473594T1/de active
- 2003-07-21 DK DK03755656.0T patent/DK1527599T3/da active
- 2003-07-21 PT PT03755656T patent/PT1527599E/pt unknown
- 2003-07-21 EP EP03755656A patent/EP1527599B1/fr not_active Expired - Lifetime
- 2003-07-21 WO PCT/FR2003/050019 patent/WO2004012445A2/fr active Application Filing
- 2003-07-21 ES ES03755656T patent/ES2348853T3/es not_active Expired - Lifetime
- 2003-07-21 SI SI200331878T patent/SI1527599T1/sl unknown
- 2003-07-21 US US10/522,429 patent/US7471301B2/en not_active Expired - Fee Related
- 2003-07-21 DE DE60333299T patent/DE60333299D1/de not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
ES2348853T3 (es) | 2010-12-03 |
AU2003273498A8 (en) | 2004-02-16 |
SI1527599T1 (sl) | 2010-11-30 |
DK1527599T3 (da) | 2010-10-25 |
ATE473594T1 (de) | 2010-07-15 |
EP1527599A2 (fr) | 2005-05-04 |
US20060074921A1 (en) | 2006-04-06 |
US7471301B2 (en) | 2008-12-30 |
WO2004012445A2 (fr) | 2004-02-05 |
FR2842977A1 (fr) | 2004-01-30 |
JP4481166B2 (ja) | 2010-06-16 |
PT1527599E (pt) | 2010-08-31 |
AU2003273498A1 (en) | 2004-02-16 |
EP1527599B1 (fr) | 2010-07-07 |
WO2004012445A3 (fr) | 2004-04-08 |
DE60333299D1 (de) | 2010-08-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4481166B2 (ja) | ユーザによる合成画像およびビデオ画像のリアルタイムのミキシングを可能にする方法およびシステム | |
JP2508513B2 (ja) | 画像発生装置 | |
US5459529A (en) | Video processing for composite images | |
US20040032409A1 (en) | Generating image data | |
CN108108140B (zh) | 一种多屏协同显示方法及存储装置及支持3d显示的设备 | |
CN105447898A (zh) | 一种虚拟现实设备中显示2d应用界面的方法和装置 | |
US8212841B2 (en) | Non-linear image mapping using a plurality of non-coplanar clipping planes | |
JPH11296667A (ja) | 興味深いシ―ンのイメ―ジを表示するための方法及び装置 | |
GB2113950A (en) | Image composition system | |
US9183654B2 (en) | Live editing and integrated control of image-based lighting of 3D models | |
KR100610689B1 (ko) | 3차원 화면에 동영상을 삽입하는 방법 및 이를 위한 기록매체 | |
CN213461894U (zh) | 一种xr-扩展现实系统 | |
JP4707782B2 (ja) | 画像処理装置およびその方法 | |
JP2000011204A (ja) | 画像処理方法及び画像処理プログラムを記録した記録媒体 | |
JPH0793579A (ja) | 3次元シミュレーション画像形成システム | |
CN116485966A (zh) | 视频画面渲染方法、装置、设备和介质 | |
CN111047711A (zh) | 一种沉浸式可交互Box影像制作方法 | |
CN113546410B (zh) | 地形模型渲染方法、装置、电子设备和存储介质 | |
JP2001250127A (ja) | 三次元コンピュータ画像処理のプログラムを記録したコンピュータ読み取り可能な記録媒体、ぼかし描画処理方法およびビデオゲーム装置 | |
CN116437061A (zh) | 演示图像激光投射方法、装置、计算机设备及存储介质 | |
JP2005346417A (ja) | 仮想三次元座標ポリゴンによるオブジェクト画像の表示制御方法及びこれを用いた画像表示装置 | |
CN114428573B (zh) | 特效图像处理方法、装置、电子设备及存储介质 | |
US20040174367A1 (en) | System and method for processing real-time video streams | |
JP3501479B2 (ja) | 画像処理装置 | |
JP2009064355A (ja) | プログラム、情報記憶媒体及び画像生成システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060713 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060713 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090710 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090728 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20091020 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20091027 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20091126 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20091203 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20091225 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20100107 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100126 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100223 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100317 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130326 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140326 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |