JP2000513174A - 原画像の一部を取除き要素を置換して新しい画像を作るビデオ・データ・ストリームのリアルタイムのディジタル的変更方法 - Google Patents

Abstract

(57)【要約】 入力ビデオ信号の指定された背景部分（５４）を代わりの背景（７２）とリアルタイムで置換えることを可能にする方法。本方法は、画像内の背景要素と前景要素を決定する基礎としての基準（４８）に実際の背景画像を使用し、最終的な結果は、クロマ・キーやＵｌｔｉｍａｔｔｅの方法などの伝統的なブルー画面プロセスに匹敵するが、パーソナル・コンピュータ、ビデオカメラおよびソフトウエアだけを必要とする。しかし、この場合に、基準背景画像は、カメラで取込まれる十分な安定した光源を有する任意のほどほどに静止したシーンであり得る。ビデオ・データ・ストリームは、基準背景画像との比較でリアルタイムで変更され、その元の宛先に送られる。視覚的に許容できるマットを達成するために、重複信号雑音比処理アルゴリズムがリアルタイムで信号に適用される。

Description

【発明の詳細な説明】 原画像の一部を取除き要素を置換して新しい画像を作るビデオ・データ・ ストリームのリアルタイムのディジタル的変更方法 発明の背景 発明の分野 本発明は、一般的にディジタル画像処理に関し、特に、従来のブルー画面法を 使用することなく、原画像の一部を取除き、要素を置換して新しい画像を作るた めに、リアルタイムでビデオ・データ・ストリームを変更するシステムおよび方 法に関する。関連技術の説明 動画像およびビデオの業界では、２以上の画像が単一シーンに組合わせられる ことがよくある。例えば、天気予報官の画像が天気図の別の画像と組み合わされ て、天気図の前に立っている天気予報官を見せる。この画像組合わせの技法は、 主に「ブルー画面」プロセスを使用して行われる。そこでは、１つの画像が一様 な青い背景で写真に撮られ、第２の画像がその青い背景の代わりに置換えられる 。この置換は電子的に、または光学的写真技法によって行うことができる。 様々な改善が従来技術の「ブルー画面」プロセスに対して行われた。米国特許 第４，９６８，１３２号では、コンピュータでフレームごとに変更したりまたは 修正することができ、さらに青い画面の背景を必要としないで従来の映画撮影お よびビデオ録画で特殊な効果を創出するのに使用できる男または女のマットを作 るトラベリング・マットのプロセスが開示されている。更に、米国特許第４，８ ００，４３２号では、ビデオ差キー発生器に格納された基準ビデオ画像を含んで いる。二つのビデオ画像の異なる対応するピクセルを差し引く、差のビデオ画像 を作るために大きなものから小さなものを差し引く絶対差回路によって、入力ビ デオ画像が基準ビデオ画像と比較される。差のビデオ画像はフィルタに通され、 次に伝達関数回路に入力されて、ビデオ画像を合成するキー信号として使用でき る出力を生成する。 骨が折れ時間の掛かる機能をリアルタイムに行うことができれば、ビデオ・フ レームの解析により各ビデオ・フレーム内の画像合成をもっとよく理解できれば 、さらにブルー画面法も合せて使用しなくてよくなれば、これらの背景取換え方 法と比べて著しく優れた利点がある。発明の概要 本発明は、ビデオ画像から背景シーンを除去し、代わりの背景と置換えるプロ セスを簡単にする。従来技術の複雑なコンピュータ・システムではなくて、簡単 なパーソナル・コンピュータを使用できる。本発明では、固定されたビデオ・カ メラで生成される一連のビデオ・フレーム（または、単一のフレーム）が取込ま れる。これらの画像および照明、色、影、微妙な動き、およびビデオ・カメラそ のもので作られる通常の変化などのその僅かなフレーム間の変化がカメラからコ ンピュータに送られ、そこでコンピータに取込まれるままに、リアルタイムに、 ソフトウエアで解析されてビデオの数学的な記述が生成される。 次に、取込まれたビデオの数学的な記述は、同じシーンの新しいビデオ部分を 解析して、そのシーンに何か変化が起きたかどうかを決定するために使用される 。元の数学的記述に対して予め設定された許容誤差の範囲内に入る新しいビデオ の要素は、背景として画定される。予め設定された許容誤差の範囲外にある新し いビデオの要素は、前景として画定され、背景から分離される。このように異な る前景と背景のビデオ要素を理解し分離することによって、新しいビデオ・スト リームに変更を行うことが可能になる。 例えば、前景は変らないままにしておきながら背景を全く新しい画像に変える ことができる。背景画像は、望むように動いているビデオ、ビットマップ、また はアニメーションの中の一つであってよい。 したがって、伝統的なブルー画面プロセスの機能性は、ブルー画面を使用しな いで達成することができる。 したがって、生ビデオ・シーンの要素の数学的記述を使用し、伝統的なブルー 画面プロセスを使用しないソフトウエアだけのプログラミング機構を使用して、 生ビデオ・シーンから背景画像を取去り、元の前景要素を含んで背景画像を代わ りの背景画像とリアルタイムで取り換えることが本発明の目的である。 したがって、本発明は、メモリ、表示装置、およびカメラからのビデオ信号が 変更されたビデオ・シーンが形成されるコンピュータに送られるようにコンピュ ータに接続された固定ビデオカメラ、を有するコンピュータシステムを使って、 生ビデオ・シーンをリアルタイムでディジタル的に変更する方法に関する。これ は、最初に、メモリの第１データ構造の「基準表示」として今後参照される生ビ デオ・シーンの１フレームまたは数フレームをディジタル的に取込み、次に数学 的に記述することによって行われる。次に、その生ビデオ・シーンの後続の各フ レームがディジタル化され、コンピュータで取込まれ、ここで各新しいフレーム はソフトウエアで数学的に記述され、メモリの第２データ構造に格納される。当 該技術に十分に熟練した人は誰でも入手できる多信号−雑音処理アルゴリズムを 用いて、リアルタイムで、この第１データ構造と第２データ構造が比較され、新 しく取込まれたフレームから基準表示の背景画像が除去される。更に、この段階 で、記録されたビデオ、ビットマップ、またはアニメイションなどのメモリの第 ３データ構造に異なる背景画像の数学的記述が利用できれば、それは、基準表示 の除去された背景画像の代わりに第２データ構造に代入され、それによってディ ジタル化されたフレームの新しい数学的記述が作られる。最後に、フレームの数 学的記述がビデオ信号に変換して戻され表示装置に表示され、またはテレビ会議 参加者または収集ファイルなどの適当な宛先に転送される。このようにして、こ のプロセスの出力によって、元のビデオ・シーン（基準表示）の任意の前景要素 が、今や、違った背景に重畳されて新しい画像を作る。図面の簡単な説明 本発明におけるこれらのおよび他の特徴は、次の好ましい実施形態の詳細な説 明に関連して完全に開示されるであろう。ここで、同じ数字は同じ要素を表す。 ここで、 図１（Ａ）〜（Ｄ）は、基準表示を示す表示画面、基準表示が数学的に除去さ れたときの黒い（何も無い）画面、検出される新しい前景要素を含む黒い画面、 および基準表示を前の前景要素で置換した新しい画像を形成する置換表示の図で あり、 図２は、図１の画面が得られる方法を図示したものであり、 図３は、ブール・データの二つの照合セットの間の重複ビット値を突合せる数 学的なブール排他的論理和演算の図であり、両シーンに存在しないデータだけを 残すために、生ビデオ・シーンを表すデータとディジタル的に比較される基準表 示と共に、標準的なディジタル・データ・フォーマットで格納された基準表示を 表し、さらに、 図４は、本発明の新規なステップを図示するフローチャートである。本発明の詳細な説明 図１（Ａ）〜（Ｄ）は、本発明の新規なプロセスの基本ステップを表す。図１ （Ａ）において、基準表示が取り込まれ、コンピュータの表示装置に表示される 。基準表示は、コンピュータの記憶場所のデータ構造に格納されているディジタ ル化されたビデオ・フレームの有限列の数学的記述と定義される。それは、連続 して取込まれるディジタル・ビデオ・フレームから前景要素と背景要素を分離す るために代表的なビデオ・シーンとして使用される。基準表示は、選択されたア ルゴリズムに依存する１または多数のディジタル化されたビデオ・フレームから 構成される。 同じ表示の後に続く複数のビデオ・シーンは、基準表示と比較することで各取 込まれたフレームから数学的に除去される。アルゴリズムのパラメータが調整さ れて（手操作か、ソフトウエアで自動的にか）、遂には、表示画面は完全に空に なり（この場合には、黒の色が選ばれたが、白か任意の色に簡単にできただろう が）、図１（Ｂ）に図示されるように、ディジタル化されたビデオ・ストリーム から基準表示がリアルタイムで完全に除去されることを示している。 図１（Ｃ）に示される表示画面は、ビデオ・カメラで取込まれるシーンに人が 入って来たときに得られる効果を実演している。人は基準表示の一部ではなかっ たので、人はソフトウエア・プロセスで前景要素と考えられ、黒い背景の前に重 畳して現れる。人を除いて、シーンの全てが、ソフトウエアでリアルタイムにデ ィジタル化されたビデオ・ストリームから数学的に除去される。 図１（Ｄ）は、除去された基準表示を代わりの表示で置換えることができるこ とを実証している。コンピュータ・グラフィック、アニメーション、またはビデ オがディジタル的に基準表示に置換えられて、人が代わりの表示の前にいる表示 を与えている。このようにして、図１（Ｄ）に示される結果は、前景要素と背景 要素がいかにディジタル的に再配列されて結果として新しい画像に成ったかを示 している。 図２は、新しい画像を作るための本発明の装置を示す。基準表示１０は、カメ ラ１６で取込まれる表示画像として画定される机１２と椅子１４を含んでいる。 基準表示は、最もよい効果を得るために、不必要な動きが無く、安定な強い全体 照明で照らされるべきである。 カメラ１６は、安定した場所に取付ける必要があり、パーソナル・コンピータ １８に接続される。パーソナル・コンピュータ１８は、カメラを設置して動作す る時にカメラが必要とする適当なビデオ用のソフトウエアおよびハードウエアを 含む。ビデオ・ソフトウエアは、オペレーティング・システム・ビデオ・ドライ バー、圧縮器、伸長器、およびテレビ会議またはビデオ編集のソフトウエアなど のアプリケーション・ソフトウエアを含むことができる。パーソナル・コンピュ ータ１８は、取込まれた基準表示をディジタル化し、それを装置１９で模式的に 表されるそのメモリの第１の記憶位置に格納し、それを表示する。パーソナル・ コンピュータ１８は、そのランダム・アクセス・メモリ（また、装置１９で模式 的に表される）でランするソフトウエア・システムを含む。そのソフトウエア・ システムは、基準表示の一部であると指示される各フレームが現れるたびに、カ メラ１６からビデオ信号を取込む。引続くフレームが、参照数宇２０で示される ように取込まれる。優れた結果を得るために、カメラ１６が見るシーンは、ほど ほどに動きがなく、よく照明されているべきである。ソフトウエアの基準フェー ズ２０によって、当該技術分野に十分熟練した人には容易に理解されるように、 シーン、照明の動特性、およびカメラ受容器によるピクセル値の変化を表す値を 含む一組のデータ構造が構築される。基準フェーズは、シーンを最適に表現する ことを考慮して調整できる。 基準シーン１０は、オペレータが容易に調整できることを考慮して、コンピュ ータのモニタ２２に表示される。ソフトウエアもまた自動的な調整を考慮してい る。フェーズ２４は、取込まれたビデオ信号から基準表示を除去し、したがって 、コンピュータのモニタ２２に空表示２７（ここでは、黒の色で表されている） をするソフトウエア・システムの除去フェーズを表す。除去フェーズでは、視覚 的に許容できる空表示２７を作るために、ビデオ・シーンの各取込まれたフレー ムを表すデータに対する信号−雑音処理アルゴリズム（当該技術分野ではよく知 られている）の多重パスによる処理が必要とされる。「視覚的に許容できる」は 、均質な揺れない単一色（ここでは、黒が選ばれた）ビデオ画像と定義される。 ソフトウエアの置換フェーズ２８は、結果的に得られたビデオ信号に代わりの 背景画像をリアルタイムで置換えることを可能にする。置換えシーン３２は、ま た、模式的に装置１９で表される別のコンピュータ記憶位置に格納されるが、動 いているビデオ、ビットマップ、またはアニメーションであってもよい。任意の 種類の表示画像または画像の組を空表示の上に配置することができる。置換画像 は、基準表示が除去されたときに残る空ピクセルに、ピクセルごとにマップされ る。ピクセルは同じ座標系から基準表示にマップするので、置換画像は期待され るように表示される。次に、図示されるように、新しい置換シーン３２がコンピ ュータのモニタ２２に表示される。 次に、オペレータがカメラの視野に入り取込まれるビデオ・シーン３３に新し い要素を付け加える。ビデオ・シーンは、同じカメラ１６で取込まれる。ビデオ シーン３３を表す入力ビデオ信号は、装置１９の別のコンピュータ記憶位置に格 納され、コンピュータ１８のモニタ２２に表示される。その信号は、数字４０で 示されるマッテング・フェーズに進み、生シーン３３と元の基準表示１０の間の 調整可能な許容誤差内の数学的な差（この場合には、人３４）だけが置換表示３ ２の上に表示されるように処理されて、置換表示３２を新しい画面に変える。表 示モニタ２２に示される新しい画像は、代わりのシーン３２と追加された人３４ を含む。オペレータが基準表示１０の直ぐ後ろの色にちようど一致した色のもの を着ていないときに、最もよい結果がえられる。結果はブルー画面プロセスに似 ており、ブリード・スルー効果を起こす。しかし、ブルー画面プロセスとは違っ て、ソフトウエア内のあるパラメータ（ソフトウエアはシーンの中の表示要素を 理解しているので）がブリード・スルー効果のある割合の原因になっているので 、これを取除くことができる。 先に述べたように、基準表示に置換わる代わりのシーンは、簡単に交換してビ デオ・ストリームに入れたりそこから取り出したりできる。本プロセスは非常に うまくカラー・ビデオに拡張できるが、大きな色のデータが必要になるために、 パーソナル・コンピュータの中央処理装置について要求が相当に大きくなる。動 くビデオの背景を生ビデオ画面に置換えて入れて、事務所の会議を表示すること ができる。 図３に図示する当業者にはよく知られている単純なブール排他的論理和の配列 は、２つの２値データの照合セットの間の重複ビット値を突合せ、本プロセスで 空表示を得るために概念的に使用される。列Ａの８ビットは格納されている基準 表示であり、列Ｂの８ビットは、引続き取込まれる入力ビデオから取込まれたフ レームであると考える。列Ｂの８ビットが列Ａの８ビットと同じであり、それら が排他的論理和にかけられていれば、出力は全てがゼロになる。すなわち、空フ レームが生成される。列Ｂが、図２に示されコンピュータ表示装置２２に表示さ れるビデオ・シーン３３の８ビットを図示するとすれば、列ＡとＢの間で排他的 論理和の演算を行うことによって、列Ｃが得られる。示される唯一つのデータは 、基準表示に比べてビデオ・シーンの変化があったところにあることに注意する 必要がある。したがって、表示される唯一つの情報は３、５、および８ビットで 表されるデータの変化である。 したがって、要約すると、基準表示は列Ａで取込まれ、標準的なディジタル・ データ・フォーマットで格納される。次に、同じ視野の生ビデオ・シーンを表す 列Ｂに示されるデータとの排他的論理和演算にかけられる。その時に、両方のシ ーンに存在する共通データは、生ビデオを各フレームから差し引かれる。完全な 世界であれば、完全なマッテング効果を達成するために必要な演算はこれだけで あろう。しかし、実際には、時間経過による照明と陰の変化、基準表示の微妙な 動きの変化、および連続するフレーム間のピクセルでのＣＣＤビデオ・カメラの ディジタル定量化効果の変化のために、前景要素と背景要素とのこのような分離 を行うために、データに対して、信号雑音比向上処理のアルゴリズムの全シリー ズを多数回適用しなければならない。このようなアルゴリズムのシリーズの反復 使用は、当業者にはよく知られている。 図４は、本発明の新規なプロセスを図示する。したがって、プロセスはステッ プ４６で始まる。ステップ４８で、生ビデオを表すデータが、ビデオ・カメラな どの入力装置からパーソナル・コンピュータなどの計算装置に送られる。パーソ ナル・コンピュータにおいて、データは、アナログ・データのディジタル表現に 変換され（それがカメラで行われていなければ）、メモリ記憶装置で代表的なデ ータ構造に入って行く。これが取込まれた基準表示となる。 判定ステップであるステップ５０で、適当なシーンが取込まれたかどうかが決 定される。もし、取込まれていない場合には、適当なシーンが取込まれるまで、 プロセスは５２でステップ４８に戻される。これは、ソフトウエアのオペレータ が視覚的に決定する。 適当なシーンが取込まれた時に、ステップ５４において、ステップ４８で最初 に格納された基準表示からのデータを使用して、一連のアルゴリズムが、現在の ビデオ供給からのディジタル化された取込みフレームに対して適用される。アル ゴリズムは、各フレーム内の対応する位置のピクセルのクロミナンスと輝度を、 ステップ４８で基準表示として最初に格納された対応するクロミナンス・ピクセ ルと輝度ピクセルに一致させようとする。一致が決定された時に、フレーム内の このピクセル位置が空として表示される（選び出される）。 アナログ・データがディジタル・データに変換される時に、照明、陰、動き、 および定量化効果の変動によって、引続くフレーム内の同じ表示に対応するピク 七ルの値が変動する。したがって、この情報全てを表すデータ構造が作られ、ソ フトウエアによってメモリの中に維持される。その後、フレーム間での一致をと り、それらに空として特徴付けると、ピクセルを正確に識別するために、高度な よく知られている信号処理アルゴリズム、または「フィルタ」が入力ビデオデー タに対して適用される。このようにして、ステップ４８で取込まれた基準表示が 取込まれたビデオ・シーンから除かれる。このプロセスは、入力ビデオ・データ の取込まれたフレームごとに繰返される。判定ステップ５６で、基準表示が取込 まれたビデオから完全に除去されたかどうかが決定される。背景除去の程度は、 現在のビデオ供給から最大量の基準表示を除去するように、手操作でまたはソフ トウエアで自動的に調整される。シーンが完全に取除かれていない場合には、プ ロセスは５８に沿ってステップ５４に逆戻りする。基準表示がソフトウエアまた はオペレータが決める通りに十分に除去された場合には、プロセスは、６０で、 ビデオ・カメラの視野に入るユーザによってシーンが変るステップ６４に移る。 一般的には、このステップで、人（プロダクション業界で「タレント」と呼ばれ る）がビデオ・カメラで取込まれているシーンの中に入ってくる。タレントのピ クセル・データは基準表示の一部ではないので、ソフトウエアによって、タレン トのピクセル値は元のピクセル値に一致しないと認識され、それは前景要素であ ると考えられる。タレントのピクセルは除去されないで、その後図１（Ｃ）に示 されるようにビデオの空フレームの中に現れる。ステップ６６で、図１（Ｃ）に 示される空フレームのタレントまたは「ヒーロー」の画像を向上させるために、 追加の信号雑音比処理アルゴリズムを取込まれたビデオ供給に対して適用しても よい。これらのフィルタは、非常に高度なものであろう。例えば、タレントのネ クタイが、図１（Ａ）に示される基準表示の背景の色と一致していれば、「ブリ ード・スルー」が観察される。しかし、適当なフィルタ処理のアルゴリズムを適 用で、ソフトウエアで高度な推測が行われて、ネクタイが前景要素で囲まれてい るという事に基づいて、ネクタイが空（ネクタイの直ぐ後ろの基準表示のピクセ ル・データと一致するので）と特徴付けられるのを排除する。これは、クロマ・ キーやウルチマット（Ｕｌｔｉｍａｔｔｅ）などの伝統的な放送技術では達成さ れなかった重要な特徴である。これらのフィルタの実現はソフトウエアによって 、手操作で、または自動的に行われる。 ステップ６８で、タレントの画像が許容できるものであれば、プロセスはステ ップ７２に移る。許容できない場合には、７０でステップ６６に逆戻りし、そこ で、ステッ６８で適当に表示されるまでフィルタの操作が続けられる。 ステップ６８でタレントが適当に表示されたときに、プロセスはステップ７２ に移り、そこでビデオ・シーンの空部分を代わりの背景で置き換える。この新し い画像は、コンピュータ・システムでディジタル的に表現可能なグラフィカルな 画像であってもよく、タレントが今は新しい背景の前にいるという錯覚を起こさ せる。新しい画像の置換えは、フレームごとに対応する空ピクセルを新しい画像 の対応するピクセルで置換えることで達成される。この方法を用いて、タレント が動いた場合には、新しい背景の前で動いているように見える。背景は、フレー ムごとに操作できる予め記録されたビデオであってもよい。これによって、動い ている背景の前にいるタレントの効果が与えられる。 作業がステップ７４で完成すれば、プロセスはステップ７８で止まる。作業が 完成していない場合には、７６で、プロセスはステップ７２に戻る。 このようにして、入力ビデオ信号の指定された背景部分を代わりの背景でリア ルタイムに置換えることを可能にする新規なシステムが開示された。システムは 、クロマ・キーやＵｌｔｉｍａｔｔｅの方法などの伝統的なブルー画面プロセス に匹敵する最終結果が得られるが、パーソナル・コンピュータ、ビデオ・カメラ およびソフトウエアだけを必要とする新しいビデオ画像創作の基礎として基準表 示の実際の背景画像を使用する。しかし、この場合に、背景画像はビデオ・カメ ラで取込まれる十分な安定した光源のある任意のほどほどに静止したシーンでも よい。ビデオ・ストリームはリアルタイムで修正され、次に元の宛先に渡される 。 下記の特許請求の範囲の全ての手段またはステップに機能を加えた要素の対応 する構造、材料、動作および同等物は、具体的に請求される他の請求要素と結合 して機能を行う任意の構造、材料または動作を含むことを意図される。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ， ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，Ｌ Ｕ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ， ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，ＫＥ，ＬＳ，Ｍ Ｗ，ＳＤ，ＳＺ，ＵＧ，ＺＷ)，ＥＡ(ＡＭ，ＡＺ，ＢＹ ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ)，ＡＬ，ＡＭ ，ＡＴ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ， ＣＡ，ＣＨ，ＣＮ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＥＥ，Ｅ Ｓ，ＦＩ，ＧＢ，ＧＥ，ＧＨ，ＧＭ，ＧＷ，ＨＵ，ＩＤ ，ＩＬ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ， ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，Ｍ Ｇ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＳＬ， ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＵＡ，ＵＧ，ＵＺ，ＶＮ，Ｙ Ｕ，ＺＷ

Claims (1)

1. 【特許請求の範囲】 １． 原ビデオ画像の一部を取除いて新しい要素に置換えて新しいビデオ画面 を作るために、メモリと表示装置の画面を有するコンピュータ・システムを使用 して、原画像を表すビデオ・データ・ストリームをリアルタイムでディジタル的 に変更する方法であって、 第１の入力ビデオ・データ・ストリームの前記原画像を表すデータの少なくと も１フレームをコンピュータの前記メモリの第１の記憶位置のデータ構造に格納 するステップと、 前記格納された原画像を前記表示装置に表示するステップと、 後に変更された原画像を表す第２の入力ビデオ・データ・ストリームからリア ルタイムのビデオを取込み、前記変更された原画像を表すデータをコンピュータ の前記メモリの第２の記憶位置のデータ構造に格納するステップと、 背景要素と前景要素を区別するために、変更した前記原画像を表す第２のビデ オ・データ・ストリームのビデオ・データを、前記格納された原画像ビデオ・デ ータと比較するステップと、 前記格納された原画像の共通背景要素を取除き、前記後に変更された原画像が 前記後に変更された原画像の前景要素だけを残すステップと、 前記後に変更された原画像の前記背景要素を、代わりの背景置換要素で置換え るステップと、 前記新しい画像を形成するために、前記後に変更された原画像の前記前景要素 だけを、前記代わりの背景置換要素に表示するステップと、 から成る方法。 ２． 前記第１の入力ビデオ・データの形態の前記原画像および第２の入力ビ デオ・データの形態の前記後に変更された原画像を得るために、固定したビデオ ・カメラを使用するステップと、 前記ビデオ・カメラの前記第１および第２の入力ビデオ・データを前記コンピ ュータに結合するステップと、 前記メモリのそれぞれの第１および第２の記憶位置に格納するために、前記原 画像の前記第１の入力ビデオ・データおよびリアルタイムの前記第２のビデオ・ データ・ストリームの前記第２の入力ビデオ・データをディジタル化するステッ プと、 をさらに含む請求項１に記載の方法。 ３． 前記原画像をほどほどに動きがないようにさせるステップと、 前記ディジタル化された第２のリアルタイム入力ビデオ・データ・ストリーム が前記格納されたディジタル化された原画像と比較される時に、背景要素と前景 要素の検出と分離を十分に可能にするために前記原画像を明るくするステップと 、 をさらに含む請求項２に記載の方法。 ４． 前記ビデオ・カメラのピクセル受容器で前記第１および第２のビデオ信 号を作るステップであって、各ピクセル受容器が、前記第１の入力ビデオ・デー タ・ストリームによって運ばれる前記格納された原画像および前記第２のビデオ ・データ・ストリームによって運ばれる前記格納されたリアルタイム入力の原画 像を表す値を含む出力信号を生成するステップと、 前記原画像の変化、前記原画像の照明の動特性の変化、および前記原画像を表 す前記第１の入力ビデオ・データ・ストリームを発生するカメラ・ピクセル受容 器によって起こされるピクセル信号値の変化、を表す前記ピクセル受容器からの 値を格納するために、前記メモリに第１の組のデータ構造を作るステップと、 をさらに含む請求項３に記載の方法。 ５．前記変更された原画像を表す前記第２のリアルタイム・ビデオ・データ・ ストリームのビデオ・データを前記格納された原画像データと比較するステップ が、さらに、 前記第２のリアルタイム原画像の変化、前記照明の動特性の変化、および前記 第２のリアルタイムの原画像用のカメラ・ピクセル受容器によって起こされるピ クセル信号値の信号変化、を表すデータを格納するために、前記メモリに第２の 組のデータ構造を作るステップと、 前記第２のリアルタイム原画像で前景要素と背景要素を決定するために、前記 第２のリアルタイム原画像のための前記第２のデータ構造に格納された前記デー タのピクセル値を、前記第１のデータ構造に格納された対応するピクセル・デー タ値と比較するステップと、 を含む請求項４に記載の方法。 ６． 前記変更された原画像を表す前記第２のリアルタイム・ビデオ・データ ・ストリームのデータを前記格納された原画像データと比較するステップと、 前記代わりの背景置換要素に表示するために、前記前景要素だけを表す信号を 発生するステップと、 をさらに含む請求項５に記載の方法。 ７． 前記第２のリアルタイム・ビデオ・データ・ストリームに人型を追加し て、前記原画像の少なくとも一部に置換えるステップをさらに含む請求項６に記 載の方法。 ８． 前記代わりの置換画像を形成するステップが、代わりの置換画像として 、動いているビデオ、ビットマップ、またはアニメーション、またはディジタル ・フォーマットで表現可能な任意の画像、の一つを与えるステップをさらに含む 請求項６に記載の方法。 ９．原画像の一部を識別し、前景要素と背景要素とに分離し、新しい画像を作 るために、原画像の背景要素を置換要素で置換えることによって、原画像を表す ビデオ・データ・ストリームをリアルタイムでディジタル的に編集するコンピュ ータ支援システムであって、 前記ビデオ・データ・ストリームに含まれる前記原画像を表示する表示装置と 、 前記原画像を表しカメラで取込まれるビデオ・データをディジタル化するため に関連するディジタル化装置を有するカメラと、 前記表示装置と前記ディジタル化装置に結合されたコンピュータと、 前記ビデオ・データ・ストリームからディジタル化された原画像を格納する前 記コンピュータの第１のメモリと、 前記原画像を表すデータを含む第２のリアルタイム・ビデオ・データ・ストリ ームを取り込み、且つディジタル化する前記カメラとディジタル化装置と、 前記ビデオ・データ・ストリームからディジタル化された第２のリアルタイム 原画像を格納する前記コンピュータの第２のメモリと、 前景要素と背景要素を検出して分離するために、前記ディジタル化された第２ のリアルタイム原画像を前記格納された原画像と比較するためのプログラム命令 を格納する前記コンピュータの第３のメモリと、 前記表示装置に表示するための前記格納されたプログラム命令に使用可能な第 ４のメモリに格納された代わりの置換背景画像と、 前記代わりの置換背景画像と置換えられるその背景要素で変更される前記第２ のリアルタイム原画像と、 前記置換背景画像を有する前記変更された原画像を取込み且つディジタル化す る前記カメラおよび関連するディジタル化装置と、 前景要素だけを得るために前記変更された原画像を前記格納された原画像と比 較し、前記新しい画像を形成するために前記代わりの置換画像に前記前景要素が 表示されるようにする前記プログラム命令と、 から成るコンピュータ支援システム。 １０．原画像の一部の取り除き、新しい画像を作るために要素を置換えること によって、ビデオカメラのピクセル受容器からの原画像を表すビデオ・データ・ ストリームをリアルタイムでディジタル的に変更させるプログラムを含むコンピ ュータ・メモリ製品であって、前記プログラムが、 前記原画像を表す第１のビデオ・データ・ストリームのビデオ・データが第１ のコンピュータ記憶場所に格納されるようにするステップと、 追加される置換部分を有する前記原画像を表すリアルタイム・ビデオ・データ ・ストリームを前記格納された原画像と比較させて、前記置換部分だけを得るス テップと、 前記コンピュータのメモリに格納されるプログラム命令に応答して前記コンピ ュータを制御して、新しい画像を形成するために代わりの置換画像に前記原画像 の前記置換部分だけを画像表示させるステップと、 を含むコンピュータ・メモリ製品。 １１． 前記原画像の照明の動特性の変化、動き、およびビデオ・カメラ・ピ クセル受容器によって起こされるピクセル信号値の変化、を含む前記第１のビデ オ・データ・ストリームによって運ばれる前記原画像を表すディジタル化された ビデオ信号を格納する前記コンピュータの第１の記憶場所の第１の組のデータ構 造をアクセスするステップと、 第２のリアルタイム・ビデオ・データ・ストリームにおける置換部分を伴う前 記原画像の変化、前記原画像の照明の動特性の変化、動き、および前記第２のリ アルタイム・ビデオ・データ・ストリームのピクセル信号値の信号変化、を表す データを格納する前記コンピュータのメモリの第２の組のデータ構造をアクセス するステップと、 前記コンピュータを制御して、前景要素と背景要素を決定するために、置換部 分を含む前記第２のリアル・タイム・ビデオ・ストリームから格納されたデータ を、前記格納された原画像データと比較させるステップと、 をさらに含む請求項１０に記載のプログラム。