JP2004516589A - デジタルビデオにおける複合シーンからの画像抽出 - Google Patents

Abstract

コンピュータプログラムプロダクトを包含する本方法及び装置は、デジタル画像のバックグラウンド部分からフォアグラウンド部分をマスキングし且つ抽出するための技術を実現し且つ使用する（図１）。本方法においては、第一境界領域を画定する第一入力を受取り、それは第一デジタル画像におけるバックグラウンド部分の少なくとも一部とフォアグラウンド部分の少なくとも一部とを包含している（図３Ａ）。第二境界領域を画定する第二入力を受取り、それは第二デジタル画像におけるバックグラウンド部分の少なくとも一部とフォアグラウンド部分の少なくとも一部とを包含している（図６）。第一及び第二デジタル画像の時間において中間にある画像に対し中間境界領域を補間し、且つ第一（図７）、第二及び中間境界領域を、デジタルビデオにおけるバックグラウンド部分からフォアグラウンド部分をマスキングするために使用する（図８）。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、大略、計算システムに関するものであって、更に詳細には、デジタルビデオにおいて複合シーンからオブジェクトをマスキングし且つ抽出するための方法及びシステムに関するものである。
【０００２】
【従来の技術】
デジタル画像の処理における一般的な作業は、バックグラウンドシーンから１個又はそれ以上のフォアグラウンドオブジェクトを抽出することである。特に、バックグラウンドが複合的であり且つ幾つかの異なるカラーを包含する場合に、正確な態様でオブジェクトを抽出することに関連して多数の困難性が存在している。
【０００３】
１つの困難性は、オブジェクトがバックグラウンドと混合する場合があることであり、即ち、オブジェクトのエッジ即ち端部におけるピクセルがフォアグラウンドとバックグラウンドの両方からの寄与分を有する場合があり且つそのピクセルのカラーはフォアグラウンドのカラーとバックグラウンドのカラーとの混合したものとなる。別の困難性はオブジェクトの複雑性に関するものであり、即ち、オブジェクトのボーダー即ち境界が識別を行うのに厄介な作業を必要とするかなりの詳細を包含している場合がある。更に、これらの問題が組合わせられている場合があり、例えば、オブジェクトが髪又は毛を有している場合である。髪又は毛の形状は複雑であり、且つ細い繊維を有する領域はかなりのカラー即ち色の混合を発生する。このことは、バックグラウンドからオブジェクトを正確に抽出することを困難なものとさせる。何故ならば、それはマスクされねばならず（即ち、境界領域におけるどのピクセルがオブジェクトに属するか否かを決定せねばならない）且つカラーの汚染除去をせねばならない（即ち、オブジェクトとバックグラウンドの両方からのカラーを有するピクセルは、それらがオブジェクトのカラーのみを包含するように「クリーンアップ」即ち浄化することが必要である）。
【０００４】
これらの困難性に対処する幾つかの従来のシステム及び方法が開発されているが、それらの全ては以下に説明するように種々の問題を有している。
【０００５】
静止画像におけるバックグラウンドからオブジェクトを抽出するための１つの従来の方法は、例えばアドビ（登録商標）フォトショップ（登録商標）５．５及び６．０等のソフトウエア製品を使用することである。フォトショップは静止画像におけるオブジェクトのぼやけた境界をハイライトすることを可能とする画像抽出特徴を提供している。フォトショップは画像抽出を実施し、オブジェクトからバックグラウンド汚染を除去する修正したカラー及び不透明度マスクの両方を発生する。この方法は「画像マスキングに対する適用を有する複合シーンにおける境界を決定する方法（ＭＥＴＨＯＤ ＦＯＲ ＤＥＴＥＲＭＩＮＩＮＧ ＡＢＯＲＤＥＲ ＩＮ Ａ ＣＯＭＰＬＥＸ ＳＣＥＮＥ ＷＩＴＨ ＡＰＰＬＩＣＡＴＩＯＮＳ ＴＯ ＩＭＡＧＥ ＭＡＳＫＩＮＧ）」、出願番号０９／５６６，６３２、２０００年５月８日出願において記載されている。この画像抽出特徴は、一連のデジタル画像からなるビデオクリップに対しても適用することが可能である。然しながら、この画像抽出特徴はビデオクリップにおける各フレームにおけるオブジェクトをハイライトさせ且つ抽出する手作業処理を必要とする。
【０００６】
デジタルビデオにおいて画像抽出を実施する従来のシステムは、一定の、又はほぼ一定のバックグラウンドカラー（通常青）を有するバックグラウンドを使用する。この分野において開発されている技術にも拘わらず、エッジがかなりの詳細を包含しているか又はバックグラウンドとフォアグラウンドの両方からの寄与分を有しているオブジェクトを抽出する場合に未だに問題が残存している。ブルースピル（ｂｌｕｅ ｓｐｉｌｌ）又はブルーフレアー（ｂｌｕｅ ｆｌａｒｅ）（フォアグラウンドオブジェクト上のブルー即ち青色のスクリーンからのブルー即ち青色の光の反映）、ブルースクリーン上のバッキングシャドウ（フォアグラウンドオブジェクトの一部として保存することを所望するバッキング上のフォアグラウンドオブジェクトのシャドウ）、及びバッキング不純物（推定上純粋にブルーのバッキングの純粋にブルーからの逸れ）等が問題の例である。これらの問題のうちの幾つかを解消するための解析的アプローチがＡ． Ｒａｙ Ｓｍｉｔｈ及びＪ．Ｆ． Ｂｌｉｎｎ著「ブルースクリーンマッティング（Ｂｌｕｅ Ｓｃｒｅｅｎ Ｍａｔｔｉｎｇ）」（コンピュータ・グラフィックス・プロシーディングズ、アニュアル・コンフェレンス・シリーズ、１９９６、２５９−２６８）（以後、Ｓｍｉｔｈと呼称する）によって提供されている。Ｓｍｉｔｈは「三角測量解決法」を提案しており、その場合に、ブルー（青）のバックグラウンドに対してのオブジェクトのショットに加えて、２番目のカラーを有するバックグラウンドに対して該オブジェクトの別のショットが取られる。然しながら、この方法は移動フォアグラウンドオブジェクトに対して使用することは不可能である。何故ならば、この方法はピクセル毎の比較を実施し、従ってオブジェクトは２つのショットの間において正確に同一の位置にあることが必要だからである。従って、この提案されている方法はブルーのスクリーンに関連する問題を減少させることが可能であるかもしれないが、より現実的なバックグラウンドを有するシーンにおいて移動オブジェクトが存在する場合に使用することは不可能である。
【０００７】
【発明が解決しようとする課題】
従って、非一様なバックグラウンドから正確なオブジェクトの抽出を可能とさせ、且つビデオシーケンスにおける全てのデジタル画像において抽出されるべきオブジェクトを手作業によりマーク付けすること無しにデジタルビデオクリップに対しても適用することが可能なアドビ（登録商標）フォトショップ（登録商標）における画像抽出特徴に類似した方法を有することが所望されている。
【０００８】
【課題を解決するための手段】
一般的に、第一の側面においては、本発明はデジタル画像のバックグラウンド（背景）部分からデジタル画像のフォアグラウンド（前景）部分をマスキングするための技術を実現し且つ使用するコンピュータプログラムプロダクトを包含する方法及び装置を提供している。該デジタル画像はデジタル画像の時間系列を有するビデオの一部であり、且つ各画像は複数個のピクセルによって画定されている。この側面においては、第一境界領域を画定する第一入力が受取られる。該第一境界領域は、第一デジタル画像における該バックグラウンド部分の少なくとも一部と該フォアグラウンド部分の少なくとも一部とを包含している。第二境界領域を画定する第二入力が受取られる。該第二境界領域は、第二デジタル画像における該バックグラウンド部分の少なくとも一部と該フォアグラウンド部分の少なくとも一部とを包含している。該第一及び第二デジタル画像に対して時間的に中間にある画像に対して中間境界領域が補間される。該第一、第二、中間境界領域は、該デジタルビデオにおける該バックグラウンド部分から該フォアグラウンド部分をマスキングするために使用される。
【０００９】
有益的な実現例は、以下の特徴のうちの１つ又はそれ以上を包含することが可能である。ユーザ入力は境界領域を画定することが可能であり、且つ中間境界領域を補間することはユーザ入力なしで自動的に行うことが可能である。該バックグラウンド部分から該フォアグラウンド部分をマスキングするために該第一、第二、中間境界領域を使用する場合に、境界領域におけるピクセルに対して、そのピクセルが該フォアグラウンド部分と関連するデータを有しているか否かの決定を行うことが可能であり、且つその決定の結果は、該デジタルビデオにおける該バックグラウンド部分から該フォアグラウンド部分をマスクするために使用することが可能である。該第一、第二及び中間境界領域におけるピクセルに対して本質的なカラー値を推定することが可能であり、且つその推定した本質的なカラー値は、該バックグラウンド部分から該フォアグラウンド部分を抽出するために使用ことが可能である。該境界領域は、フォアグラウンド部分内側に位置している内側経路を発生し、且つ該内側経路を取囲み且つ該フォアグラウンド部分外側に位置している外側経路を発生することにより表わすことが可能であり、その場合に、該内側経路と外側経路の間のピクセルは境界領域に属している。該内側経路及び該外側経路はベクトルに基づくものとすることが可能である。該境界領域は、該境界領域のものを取囲む幅を有する単一経路を発生することにより表わすことが可能である。該単一経路はベクトルに基づくものとすることが可能であり且つその長さにわたって可変厚さを有している。
【００１０】
該バックグラウンド部分から該フォアグラウンド部分をマスキングすることは、該フォアグラウンド部分をマスキングし且つ該境界領域の該部分に対してガウシアンぼかし（Ｇａｕｓｓｉａｎ ｂｌｕｒ）を適用することを包含することが可能である。該マスクしたフォアグラウンド部分及び該境界領域の該部分は、更に、表示させることが可能である。該フォアグラウンド部分及び該境界領域の一部をマスキングすることは、代替的に、該フォアグラウンド部分と共に表示される該境界領域の該部分におけるピクセルの不透明度を決定し、且つスレッシュホールド値を超える不透明度を有するピクセルに対する不透明度を変化させることを包含することが可能である。又、該マスクしたフォアグラウンド部分及び該境界領域の該部分を表示させることが可能である。
【００１１】
該第一デジタル画像における第二フォアグラウンド部分に対する境界領域を画定する入力を受取ることも可能である。該境界領域は第二フォアグラウンド部分の少なくとも一部と該バックグラウンド部分の少なくとも一部とを包含している。該第二デジタル画像における該第二フォアグラウンド部分に対する境界領域を画定する入力も受取ることが可能である。該境界領域は該第二フォアグラウンド部分の少なくとも一部と該バックグラウンド部分の少なくとも一部とを包含している。該第一及び第二デジタル画像に対して中間にある画像に対する該第二フォアグラウンド部分に対する中間境界領域を補間することが可能である。
【００１２】
第一内部境界領域を画定する入力を受取ることが可能である。該第一内部境界領域は第一デジタル画像における該第一境界領域によって取囲むことが可能である。第二内部境界領域を画定する入力を受取ることが可能であり、その場合に、該第二内部境界領域は第二デジタル画像における該第二境界領域によって取囲まれている。該第一及び第二デジタル画像に対して時間的に中間にある画像に対する中間内部境界領域を補間することが可能である。該第一、第二、中間境界領域、及び該第一内部、第二内部、中間内部境界領域は、該デジタルビデオにおける該バックグラウンド部分から該フォアグラウンド部分をマスキングするために使用することが可能である。該第一内部境界領域、該第二内部境界領域、該中間内部境界領域は該フォアグラウンド部分の少なくとも一部を包含することが可能である。該第一内部境界領域、該第二内部境界領域、該中間内部境界領域は該バックグラウンド部分の少なくとも一部を包含することが可能である。該第一内部境界領域、該第二内部境界領域、該中間内部境界領域は、該フォアグラウンド部分の少なくとも一部と該バックグラウンド部分の少なくとも一部とを包含することが可能である。該フォアグラウンド部分はオブジェクトとすることが可能である。
【００１３】
一般的に、別の側面においては、本発明は、デジタル画像のバックグラウンド部分からデジタル画像のフォアグラウンド部分をマスキングするための技術を実現し且つ使用するコンピュータプログラムプロダクトを包含する方法及び装置を提供している。該デジタル画像は、デジタル画像の時間系列を有するビデオの一部であり、各画像は複数個のピクセルによって画定されている。この側面においては、初期的境界領域を画定する入力が受取られる。該初期的境界領域は、初期的デジタル画像における該バックグラウンド部分の少なくとも一部と該フォアグラウンド部分の少なくとも一部とを包含している。該初期的境界領域に基づいて時間系列における別のデジタル画像に対して境界領域が自動的に発生され、且つ該初期的且つ自動的に発生された境界領域は、該デジタルビデオにおける該バックグラウンド部分から該フォアグラウンド部分をマスキングするために使用される。
【００１４】
本発明のこの第二の側面の有益的な実現例は、以下の特徴のうちの１つ又はそれ以上のみならず、本発明の第一の側面に対して上述した特徴の１つ又はそれ以上を包含することが可能である。初期的境界領域を画定する入力を第二フォアグラウンド部分に対して受取ることが可能であり、該初期的境界領域は第二フォアグラウンド部分の少なくとも一部と該第一フォアグラウンド部分を有するデジタル画像における該バックグラウンド部分の少なくとも一部とを包含している。該第二フォアグラウンド部分に対する該初期的境界領域に基づいて時間的系列における別の画像における該第二フォアグラウンド部分に対して境界領域を自動的に発生することが可能であり、且つ該初期的且つ自動的に発生した境界領域は、デジタルビデオにおける該バックグラウンド部分から該第二フォアグラウンド部分をマスキングするために使用することが可能である。
【００１５】
初期的内部境界領域を画定する入力を受取ることが可能である。該初期的内部境界領域は、第一デジタル画像における該初期的境界領域によって取囲むことが可能である。該時間系列における別の画像に対する初期的境界領域を、該初期的内部境界領域に基づいて自動的に発生することが可能であり、且つ該初期内部及び該自動的に発生した内部境界領域をデジタルビデオにおける該バックグラウンド部分から該フォアグラウンド部分をマスキングするために使用することが可能である。
【００１６】
別のデジタル画像に対する境界領域を自動的に発生することは、該初期的境界領域におけるエッジ経路であって該初期的デジタル画像における該フォアグラウンド部分のエッジを表わすエッジ経路を識別し、自動的に発生した境界領域におけるエッジ経路であって該別のデジタル画像における該フォアグラウンド部分のエッジを表わすエッジ経路を識別し、該初期的デジタル画像と該別のデジタル画像との間のエッジ経路変換を決定し、且つ該別のデジタル画像において境界領域を発生するために該初期的デジタル画像における該内側経路及び該外側経路に対して該エッジ経路変換を適用することを包含することが可能である。該エッジ経路は、前に識別したエッジ経路に関して動作するスネークアルゴリズムを使用して識別することが可能である。該初期的境界領域におけるエッジ経路を識別することは、スレッシュホールド値を超える画像勾配値を有する該境界領域における点を見つけ出すことを包含することが可能である。画像勾配値は該初期的境界領域における各カラーチャンネルに対して計算することが可能である。
【００１７】
該初期的境界領域におけるエッジ経路を識別することは、該内側経路及び該外側経路をコピーし、該内側経路及び該外側経路のコピーを互いに向かって且つスネークアルゴリズムを使用して該フォアグラウンド部分のエッジに向かって移動させ、且つ該内側経路のコピー及び該外側経路のコピーが１つの経路に収束する経路として該エッジ経路を識別することを包含することが可能である。該エッジ経路変換を決定することは、１組の局所的エッジ経路変換を決定することを包含することが可能であり、該１組の局所的エッジ経路変換は一体的に該エッジ経路変換を形成している。該局所的エッジ経路変換は、該１組の局所的エッジ経路変換における各局所的エッジ経路変換に対する並進、回転、スケーリングを決定することにより該エッジ経路における各点に対して決定することが可能である。
【００１８】
該内側経路及び外側経路に対して該エッジ経路変換を適用することは、該内側経路における各点に対して且つ該外側経路における各点に対して１組の局所的変換を適用することを包含することが可能であり、該１組の局所的変換は、該内側経路及び該経路の各局所的変換として並進、回転、スケーリングを適用することにより該エッジ経路変換を形成している。
【００１９】
一般的に、更に別の側面においては、本発明は、デジタルビデオにおけるバックグラウンドからオブジェクトをマスキングするための技術を実現し且つ使用するコンピュータプログラムプロダクトを包含する方法及び装置を提供している。該デジタルビデオはデジタル画像の時間系列を有しており、且つ各画像は複数個のピクセルによって画定されている。この側面において、第一境界領域を画定する第一ユーザ入力が受取られる。該第一境界領域は第一デジタル画像における該バックグラウンドの少なくとも一部と該オブジェクトの少なくとも一部とを包含している。第二境界領域を画定する第二ユーザ入力が受取られ、該第二境界領域は第二デジタル画像における該バックグラウンド部分の少なくとも一部と該オブジェクトの少なくとも一部とを包含している。該第一及び第二デジタル画像に対して時間的に中間にある画像に対して中間境界領域が補間される。該第一、第二、中間境界領域はデジタルビデオにおける該バックグラウンドから該オブジェクトをマスキングするために使用される。該第一、第二、中間境界領域は、デジタルビデオにおける該バックグラウンドから該オブジェクトを抽出するために使用され、該マスクされ且つ抽出されたオブジェクトは別のデジタルビデオにおける新たなバックグラウンドに対して配置される。
【００２０】
本発明は、以下の利点のうちの１つ又はそれ以上を現実化させるために実現することが可能である。ぼけた又は毛のようなオブジェクトをデジタルビデオにおける複雑なバックグラウンドから容易に抽出することが可能である。その抽出したオブジェクトを新たなバックグラウンドシーン内に挿入することが可能である。オブジェクトの抽出を成功裡に達成するためにブルーのスクリーンバックグラウンドは必要ではない。オブジェクトを自動的に又は半自動的に抽出することが可能である。
【００２１】
本発明の１つ又はそれ以上の実施例の詳細について添付の図面及び以下の説明において説明する。本発明のその他の特徴、目的及び利点は以下の説明及び図面から及び特許請求の範囲から明らかとなる。
【００２２】
【発明の実施の形態】
図１はデジタルビデオにおけるバックグラウンド部分からフォアグラウンド部分を抽出するためのプロセス１００を示している。このプロセスは、バックグラウンドから抽出するためにユーザが所望する任意のフォアグラウンド部分に対して適用することが可能である。本発明の好適実現例においては、フォアグラウンド部分はオブジェクトを表わしている。例示として、フォアグラウンド部分は以下の説明においてオブジェクトとして言及するが、このことは特許請求の範囲を制限するものとして解釈されるべきではない。バックグラウンドから抽出されるべきオブジェクト、即ちフォアグラウンド部分は、任意のタイプのものとすることが可能であり、静止又は移動するものとすることが可能であり、且つ変化する形状及び様相を有することが可能である。このプロセスは、任意のフォアグラウンド部分即ちオブジェクトに関して同じく良好に動作する。デジタルビデオはあるレートで表示されるべきデジタル画像の時間系列を包含している。デジタルビデオは幾つかの異なるフォーマットを有することが可能であり、最も一般的なものはＡＶＩ、ＭＰＥＧ、ＭＯＶである。本プロセスは、各々が局所的及び／又は遠隔メモリからアクセスされる命令を実行する１個又はそれ以上のプロセッサによって実行することが可能である。これらのプロセッサは、ユーザが入力を制御し且つ処理結果を評価することを可能とするために例えばディスプレイ、キーボード、マウス等の種々の入力／出力装置へ結合させることが可能である。これらのプロセッサは、又、通信リンクを介してデータを受取り且つ通信する入力／出力インターフェースへ結合させることも可能である。このようなインターフェースは、通信リンクを介してデータを受取り且つ送信する。このような通信リンクは、例えば、シリアルリンク、ローカルエリアネットワーク、ワイヤレスリンク、パラレルリンク等を包含している。
【００２３】
プロセス１００はステップ１０５で開始し、ユーザがオブジェクトを抽出することを所望するデジタルビデオクリップを受取る。このデジタルビデオクリップは種々の入力／出力装置又は通信リンクのいずれかを介して受取ることが可能である。ステップ１１０において、本プロセスは初期的キーフレームのユーザ選択を受取る。この初期的キーフレームは、ユーザがビデオクリップからオブジェクトを抽出することを開始することを所望する時間におけるインスタンスに対応するデジタル画像である。キーフレーム３００の１つの例を図３Ａに示してあり、それはバックグラウンド３１０上に設定されているオブジェクト３０５を包含している。ステップ１１５において、本プロセスはバックグラウンドから抽出することが所望されるオブジェクトを表わすユーザからの入力を受取り、且つステップ１２０において、本プロセスは該オブジェクトの境界内側にユーザによって描かれたパス（ｐａｔｈ）即ち経路を受取る。オブジェクトの境界内側に経路を描画する場合に、ユーザは、通常、そのオブジェクトの輪郭に従うことが可能である。
【００２４】
ボーダー即ち境界とは、フォアグラウンドオブジェクトがバックグラウンド領域に遭遇する画像の領域のことを意味している。該境界は多数のピクセルからなる幅とすることが可能であり又は単に単一のピクセルの幅程度に小さいものとすることが可能であり、且つ混合されたデータ、即ちオブジェクトと関連するデータとバックグラウンドと関連するデータとを有するピクセルを包含している。例えば、青色バックグラウンド上の赤色オブジェクトは青、赤、異なる階調の紫であるピクセルを有する境界を発生する場合がある。多くの場合において、ユーザはオブジェクトの境界を追跡することが困難と思う場合がある。この１つの例は、オブジェクトが髪又は毛を有するぼやけたエッジ（端部）を有している場合である。従って、本プロセスは、以下に説明するように、ユーザが境界を取囲むより幅広の境界領域を形成させる。オブジェクトの境界内側の経路を受取った後に、本プロセスは、ステップ１２５において、境界外側にユーザによって描画された経路を受取る。この外側経路も概略的に境界に従うことが必要であるに過ぎない。この内側経路と外側経路との間の区域が境界領域を構成し、それは境界を取囲んでいる。境界領域をどのようにして使用するかについてのより詳細な説明は後に説明する。内側経路及び外側経路はベジェ曲線の形態とすることが可能である。然しながら、その他のタイプのベクトルを基礎とした経路を使用することも可能である。
【００２５】
次に、本プロセスは、ステップ１３０において、ユーザがバックグラウンドからその他のオブジェクトをマスキングすることに興味があるか否かを判別するために待機する。図３Ａは１個のオブジェクト３０５を包含するに過ぎないが、図６は抽出すべき２つのオブジェクト６０５及び６１０が存在する例を示している。ユーザが別のオブジェクトを選択することを所望する場合には、本プロセスは、ステップ１３５において、ユーザが新たなオブジェクトを選択することを可能とさせる。次いで、本プロセスは、ステップ１２０及び１２５において、この新たなオブジェクトの周りの内側経路及び外側経路を表わすユーザ入力を受取る。全てのオブジェクトが選択された後に、本プロセスはステップ１４０へ移行し、そこで本プロセスは別のキーフレームのユーザ選択を受取る。
【００２６】
図３Ｂに示した新たなキーフレーム３５０において、本プロセスは初期的キーフレームの場合と同一のステップを実施する。本プロセスは、境界領域を画定するステップ１４５における第一オブジェクト、ステップ１５０における内側経路、ステップ１５５における外側経路を識別するユーザからの入力を受取る。該オブジェクトは初期的キーフレームと新たなキーフレームとの間において位置を変化させている場合があり、且つ内側経路及び外側経路は、その結果、異なる形状及び位置を有している場合があり、変化した境界領域となっている場合がある。これらの経路を受取った後に、本プロセスは、ステップ１６０においてバックグラウンドから抽出すべき画像内に更なるオブジェクトが存在するか否かを表わすユーザから入力を待機し、且つそうである場合には、ステップ１６５において新たなオブジェクトが処理のために選択され、且つその新たなオブジェクトの周りの経路が受取られる。
【００２７】
新たなキーフレームにおける興味のある各オブジェクトに対して境界領域が形成されると、本プロセスは、ステップ１７０においてその他のキーフレームを識別するユーザ入力を待機する。そうである場合には、本プロセスはステップ１４０へ復帰し且つそこから継続し、そこで別のキーフレームを受取る。選択されたキーフレームの数はオブジェクトが実施する運動のタイプ、及び以下に説明するように、画像間の補間がどの程度正確なものであるかをユーザが所望するかに依存して異なる場合がある。
【００２８】
ユーザが興味のある全てのキーフレームにおける境界領域にマーク付けを行った後に、本プロセスは、ステップ１７５において、ユーザから受取ったキーフレームの間の時間に位置している画像に対する中間経路の補間を行うことにより継続する。該中間経路の補間は、多数の従来の方法で行うことが可能である。補間処理の例は、「アップルマッキントッシュコンピュータで使用するためのアドビアフターエフェクトバージョン３．０ユーザガイド（Ａｄｏｂｅ Ａｆｔｅｒ Ｅｆｆｅｃｔｓ Ｖｅｒｓｉｏｎ ３．０ Ｕｓｅｒ Ｇｕｉｄｅ ｆｏｒ ｕｓｅ ｗｉｔｈ Ａｐｐｌｅ Ｍａｃｉｎｔｏｓｈ Ｃｏｍｐｕｔｅｒｓ）」、１９９５において及び「フローティングキーフレーム（ＦＬＯＡＴＩＮＧ ＫＥＹＦＲＡＭＥＳ）」という名称の本願出願人が所有する米国特許第５，９２９，８６７号において見出すことが可能である。一般的に、動画システムにおいては、２つの機能、即ちＱ及びＳを使用して時間に関してのレイヤープロパティにおける変化を制御する。Ｑはｎ次元プロパティスペースを介しての経路を画定し且つＳは該経路に沿っての運動を画定する。Ｑ及びＳの形状はキーフレームによって制御される。２つのキーフレームの間でレイヤープロパティをアニメーションさせるために、システムは、２つのプロパティ値の間に経路Ｑを構成し且つ夫々のキーフレームと関連する２つの時間値の間に運動制御関数Ｓを構築する。次いで、システムは経路Ｑ及び運動制御関数Ｓを使用して２つのキーフレームの間のフレームの全てに対してレイヤープロパティの値を補間する。
【００２９】
例えば、スクリーンにわたってレイヤーの運動を達成するために、ユーザは第一時間においてキーフレームを選択し、そのことはレイヤーの位置プロパティを初期的位置に設定する。次いで、ユーザは第二時間において第二キーフレームを選択し、そのことはレイヤーの位置プロパティをその次の位置に設定する。この変化をアニメーションすることの命令が与えられると、システムは中間時間の各々においてそのレイヤーの位置を計算し且つこれらの位置の各々に対して該レイヤーを移動させ、それにより開始位置から終了位置へ該レイヤーの運動を発生する。ユーザは各プロパティに対して任意の数のキーフレームを選択することが可能であり、且つ各対の隣接するキーフレームの間において同一の態様で補間が実施される。
【００３０】
レイヤーの位置プロパティのアニメーション背後の原理は、例えばカラー、寸法、マスク形状、３Ｄオブジェクト形状、３Ｄオブジェクト位置、及びその他の任意のｎ次元プロパティ等のその他のｎ次元レイヤープロパティのアニメーションに対して同様に適用可能である。本明細書において記載した本発明において補間されるレイヤープロパティは、夫々、内側経路及び外側経路の形状であり、且つデジタルビデオの各フレームにおけるそれらの夫々の位置である。
【００３１】
キーフレームの間で各フレームに対して内側経路及び外側経路が自動的に補間された後に、本プロセスはステップ１８０においてバックグラウンドからユーザによって選択された各オブジェクトを抽出する。この抽出処理を図５を参照してより詳細に説明するが、その処理はステップ５０５において開始する。第一に、この抽出プロセスはステップ５１０において初期的キーフレームを選択する。この抽出プロセスはステップ５１５において第一オブジェクトを選択する。ベクトルを基礎とした内側及び外側経路に基づいて、ステップ５２０においてラスターを基礎にしたフォアグラウンド、バックグラウンド及びハイライトマスクが発生される。これら３つのマスクは以下の態様で発生される。
【００３２】
第一に、この抽出プロセスは内側経路を使用してフォアグラウンドマスクを発生する。この内側経路は１個又は１個未満のピクセルの分離で密集した点においてサンプルされる。各サンプル点に対して、マスクの値は１に設定される。内側経路をサンプリングした後に、内側経路の内側に任意の点が選択される。該経路内側の点は、最初に、該経路によって交差されるピクセルを除いて全ての箇所において０の値を有するピクセルマスクを形成することによって見つけることが可能であり、これらには１の値が割当てられる。次に、１のマスク値を有するピクセルが選択される。次いで、０のマスク値を有するそのピクセルの最も近い隣りのものが考慮され、且つそのピクセルが以下のプロパティを有する場合には、それらのうちの任意の１つが内側点として選択され、その点から画像のエッジへ描かれるラインは、それが挿入するピクセルのマスク値において奇数の０から１又は１から０の遷移を行わせる。内側点を選択した後に、この抽出プロセスは、最初に、該経路に沿って存在する全てのピクセルのマスク値を０．５の値に設定し且つその他の全てのピクセルを０の値に設定することによってフォアグラウンドマスクを形成する。次いで、選択した内側点から開始してフラッドフィル（ｆｌｏｏｄ ｆｉｌｌ）動作を実施して、全ての０の値のピクセルを値１で充填し、且つ０．５の値を有するピクセルに遭遇する場合にフラッドフィル拡張を停止する。最後に、全ての０．５の値を有するピクセルは１の値を有するように変化される。フラッドフィル技術は当該技術において公知であり且つＪａｍｅｓ Ｄ． Ｆｏｌｅｙ及びＡｎｄｒｉｅｓ ｖａｎ Ｄａｍ「対話的コンピュータグラフィックスの基礎（Ｆｕｎｄａｍｅｎｔａｌｓ ｏｆ Ｉｎｔｅｒａｃｔｉｖｅ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）」（アジソン−ウェズリィ出版社、１９８２、４４６−４４９頁）に記載されている。第二に、この抽出プロセスは同様の態様であるが、内側経路の代わりに外側経路を使用し且つフラッドフィルに対する開始点として外側経路外側の任意の点を選択することによりバックグラウンドマスクを形成する。最後に、この抽出プロセスはフォアグラウンドマスク及びバックグラウンドマスクから境界領域に対応するハイライトマスクを発生する。フォアグラウンドマスク及びバックグラウンドマスクの対応する値がその点において０である場合に、ハイライトマスクにおける点に対して１の値が割当てられる。フォアグラウンドマスク及びバックグラウンドマスクの値のいずれか又は両方が問題とする点において１に等しい場合には、ハイライトマスクの値は０に設定される。従って、ハイライトマスクは境界領域を画定する。
【００３３】
ステップ５２０においてマスクを発生する別の方法は、画像内のオブジェクトの全てを１個の単一オブジェクトとして取扱う。このアプローチの場合には、全てのフォアグラウンドに指定した経路が結合されてフォアグラウンドマスクを発生し且つ全てのバックグラウンドに指定した経路が結合されてバックグラウンドマスクを形成する。その結合は上述した如く各経路と関連するマスクを計算し、且つ個々のマスクを１つの結合したマスクへ結合させるために各ピクセルに対して論理的ＸＯＲ演算を適用することを包含している。結合したバックグラウンドマスクがＢとして指定され且つ個々のバックグラウンドマスクをｂ_ａとして指定され、尚ａ＝１，２，．．．Ｎ_ｂ、即ちバックグラウンド経路の数である場合には、この演算は次のように表わすことが可能である（以下の表記はマスク内の各ピクセルに関して実施されるべき演算を表わしていることに注意。例えば、式Ｂ＝０は「マスクＢ内の各ピクセルの値を０へ設定」を暗示している）。
【００３４】
Ｂ＝０
各ｂ＝１，２，．．．Ｎ_ｂに対して繰返し
ｃ_ａ＝１−ｂ_ａ（ｂ_ａの補元）
Ｂ＝ｃ_ａＸＯＲＢ
該補元を取ることはバックグラウンドマスクを減少させ、
Ｂ＝１−Ｂ、
尚、ｃＸＯＲｄは、ｃとｄの両方が０に等しいか又は両方が１に等しい場合には０に等しく、且つｃＸＯＲｄは、そうでない場合には、任意のマスクピクセル値ｃ及びｄに対して１に等しく、そのことは０又は１の可能な値を取ることが可能である。
【００３５】
同様であるが、多少異なる演算が個々のマスクｆ_ａ、ａ＝１，２，．．．Ｎ_ｆ、即ちフォアグラウンド経路の数、から結合したフォアグラウンドマスクＦを形成するために実施される。
【００３６】
Ｆ＝０（マスク内の各ピクセルを０へ設定）
各ａ＝１，２，．．．Ｎ_ｆに対して繰返し
Ｆ＝ｆ_ａＸＯＲＦ
Ｆにおける対応するピクセルが１に設定される場合にＢを０に設定
Ｆピクセル値もＢピクセル値も１に設定されていない全てのピクセルを１に設定することにより上述した如くにしてハイライトマスクが発生される。
【００３７】
上述した手順を使用して、全体的な画像が複数の部分からなる場合のある単一のエンティティとして取扱われ、且つ以下に説明するように、本抽出プロセスは単一ステップで完全な抽出を発生する。
【００３８】
ハイライトマスクが決定されると、本抽出プロセスはステップ５２５で継続して処理され、その場合に、オブジェクトの抽出が実施される。オブジェクト抽出プロセスの１つの例は本願出願人が所要する米国特許出願「画像マスキングに対する適用を有する複合シーンにおける境界を決定する方法（ＭＥＴＨＯＤ ＦＯＲ ＤＥＴＥＲＭＩＮＩＮＧ Ａ ＢＯＲＤＥＲ ＩＮ Ａ ＣＯＭＰＬＥＸ ＳＣＥＮＥ ＷＩＴＨ ＡＰＰＬＩＣＡＴＩＯＮＳ ＴＯ ＩＭＡＧＥ ＭＡＳＫＩＮＧ）」において記載されている。このオブジェクト抽出プロセスの結果は各ピクセルがフォアグラウンドオブジェクトに属する程度を指定する不透明度チャンネル（アルファチャンネル）及び新たな「本質的」フォアグラウンドカラー値からなるオブジェクトのカラーの汚染除去した画像である。８ビットマスクの場合には、２５５の値がフォアグラウンドにおける全体的なメンバーシップ（帰属関係）を表わし、０の値はバックグラウンドにおける全体的なメンバーシップを表わし、且つ中間値はフォアグラウンド及びバックグラウンドにおける中間のメンバーシップを表わす。
【００３９】
次いで、本抽出プロセスは、ステップ５３０において初期的キーフレームから抽出すべき更なるオブジェクトをユーザが画定したか否かを判別するためのチェックを行う。そうである場合には、本プロセスはステップ５３５において次のオブジェクトを選択し、且つこのオブジェクトに対してステップ５２０−５３５を実施する。ステップ５２０−５３５は、処理すべき更なるオブジェクトが残存しなくなるまで繰返し行われ、その後に、本プロセスは、ステップ５４０において処理すべき更なるフレームが存在するか否かの検査を行う。処理すべき更なるフレームが残存する場合には、マスキングプロセスがステップ５４５において新たなフレームを選択し、且つその新たなフレームに対してステップ５１５−５４０を繰返し行う。ビデオクリップの最終的フレーム又はビデオクリップにおける別のストップ点に到達すると、本抽出プロセスはステップ５５０において抽出したオブジェクトを新たなバックグラウンド内にフレーム毎に配置させる。このことは、図３Ａ及び図３Ｂに夫々示したフレームに対して図４Ａ及び図４Ｂにおいて理解することが可能である。最終的に、ステップ５５５において画像を新たなバックグラウンドに対して移動オブジェクト３０５を示すビデオクリップに組立てる。これにより抽出プロセス５００が完了する。
【００４０】
本抽出プロセスは、又、オブジェクトの周りの１つの経路のみを使用して実施することが可能である。このプロセスは上述したものと非常に類似しており、図２を参照して説明する。このプロセス２００はステップ２０５において開始し、ユーザがそれからオブジェクトを抽出することを所望するデジタルビデオクリップを受取る。ステップ２１０において本プロセスは初期的キーフレームのユーザ選択を受取り、それに続いてステップ２１５において抽出することを所望するオブジェクトの選択を行う。然しながら、この実現例においては、オブジェクト境界周りの内側経路及び外側経路を受取る代わりに、本プロセスは、ステップ２２０において、ユーザによって描画された１つの経路を受取るに過ぎない。この経路はある厚さを有しており、それは境界をカバーするのに充分なものである。この経路は、例えば、ブラシツールを使用して描画することが可能であり、その場合にその厚さはユーザが適用する圧力に依存して変化する。これらのタイプのブラシツールの特性は当該技術において公知であり、従ってその説明は割愛する。境界周りにユーザが描画する経路の厚さを変化させるオプションを有することにより、異なる「ぼやけ度」を有する部分を考慮することが可能である。図３Ａ及び３Ｂにおける赤子の例においては、例えば、境界を画定することが困難である頭部領域周りにより厚い経路を描き且つ境界をより容易に画定される腕に沿ってより薄い経路を描くことがより望ましい場合がある。前の実現例においては、ユーザは、内側及び外側の経路を描画することにより境界領域を表示していたが、この実現例においては、その代わりに、境界領域は経路自身によって表わされ、従って、多くの場合においてより魅力のあるオプションである場合がある。又、この場合には、その経路はベクトルを基礎としており且つベジェ曲線によって構成されているが、その他のタイプのベクトルを基礎とした経路を使用することも可能である。
【００４１】
次に、本プロセスはステップ２２５においてユーザがバックグラウンドからいずれかのオブジェクトを抽出することを所望するか否かのユーザの入力を待機する。更なるオブジェクトが抽出されるべき場合には、本プロセスは、ステップ２３０において、ユーザによって選択された次のオブジェクトの表示を受取り、且つステップ２２０において第二オブジェクトの周りの単一経路を受取ることにより進行する。全てのオブジェクトが選択されると、本プロセスはステップ２３５において継続し、その場合に本プロセスはユーザが別のキーフレームを選択することを可能とする。この新たなキーフレームに対して、本プロセスは初期的キーフレームにおけるのと同一のステップを実施する。本プロセスはステップ２４０において第一オブジェクトの選択を受取り、且つステップ２４５において該オブジェクトの境界をカバーする経路を受取る。該経路を描画した後に、本プロセスはステップ２５０においてバックグラウンドから抽出されるべき画像内の更なるオブジェクトが存在するか否かを表わすユーザ入力を待機する。そうである場合には、ステップ２５５において新たなオブジェクトが識別され且つその周りに経路が描画される。
【００４２】
新たなキーフレームにおける興味のある各オブジェクトの周りに境界領域が形成されると、本プロセスはステップ２６０においてその他のキーフレームにおけるオブジェクトに対し境界領域を形成するためにユーザが所望することを表わすユーザからの入力を受取る。そうである場合には、本プロセスはステップ２３５へ復帰し、そこで新たなキーフレームが選択される。キーフレームの数は、オブジェクトが実施する運動のタイプ、及び以下に説明するようにどの程度正確に画像間の補間がなされるべきかに依存して変化する場合がある。
【００４３】
ユーザが興味のあるキーフレームの全てにおける境界領域にマーク付けした後に、本プロセスは、ステップ２６５においてユーザによって選択されたキーフレームの値の時間に位置している画像に対する中間経路を補間することにより処理を継続する。各選択したオブジェクト周りの経路が各中間フレームに対して自動的に補間された後に、ユーザによって選択された各オブジェクトはステップ２７０においてバックグラウンドからマスクされる。このオブジェクトは、バックグラウンド、フォアグラウンド、ハイライトマスクが作成されたステップ５２０が異なる態様で実施される点を除いて、上述した如くに抽出され、そのことについて以下に説明する。これら３つのマスクは以下の態様で発生される。
【００４４】
第一に、このマスキングプロセスは単一経路の内側エッジを使用してフォアグラウンドマスクを発生する。該経路の内側エッジは１個又は１個未満のピクセルの分離での密集した点においてサンプルされる。各サンプル点に対して、マスクの値は１に設定される。該経路の内側エッジをサンプリングした後に、このマスキングプロセスは該経路の内側上に任意の点を選択する。この任意の点は内側経路及び外側経路の両方に対して上述した方法と同様の態様で選択することが可能である。この内側点を選択した後に、本マスキングプロセスは、該選択した点から開始して該マスクを１の値でフラッドフィル処理することによりフォアグラウンドマスクを形成する。第二に、このマスキングプロセスは同様の態様であるが、該経路の内側エッジの代わりに該経路の外側エッジを使用し、且つフラッドフィル処理に対する開始点として該経路の外側エッジの外側の任意の点を選択することによってバックグラウンドマスクを発生する。最後に、このマスキングプロセスはハイライトマスクに対して１の値を割当て、且つ該単一経路上の各点から指定した半径Ｒ内に存在する各ピクセルに対してフォアグラウンドマスク及びバックグラウンドマスクの両方に対し０の値を割り当てることによりハイライトマスクを発生する。ハイライトマスクが決定されると、本マスキングプロセスは上述した如くステップ５２５−５６０を実施し、且つこのマスキングプロセスの完了は図２におけるステップ２７５によって示した全体的な処理を完了する。
【００４５】
幾つかの場合においては、バックグラウンドオブジェクトがフォアグラウンドオブジェクトの内側に存在している場合がある。例えば、図６において理解されるように、右側の女性は、フォアグラウンドの一部ではないがバックグラウンド６１２の一部である区域６１４を彼女の腕の下側に有している。ユーザがこのバックグラウンド部分６１４をフォアグラウンドから分離することを所望する場合には、ユーザはバックグラウンド部分６１４を取囲む経路６２５を描画することによりこの区域にマーク付けすることが可能である。バックグラウンド部分６１４を取囲む経路は完全にオブジェクトの内側に存在している。このマスキングプロセスがフォアグラウンド、バックグラウンド、ハイライトマスクを発生すると、バックグラウンド部分６１４を取囲む経路内側の全てはハイライトマスクの一部であり、オブジェクト抽出及びマスキング期間中のそのように取扱われる。勿論、バックグラウンド部分６１４周りの境界領域又はハイライト領域は、代替的に、内側経路と外側経路とを有する境界領域を形成することにより、又は上述した如く境界をカバーする幅を有する単一の経路を描画することによって表示することが可能である。ここでは、バックグラウンド部分がオブジェクトの内側に存在している場合には、その境界領域は内部境界領域として呼称する。内側及び外側経路を使用して内部境界領域を形成することは、フォアグラウンドオブジェクトの大きな部分がバックグラウンドに属する場合に特に有用であり、且つハイライト領域における境界決定に対しより速い処理時間となる。
【００４６】
本発明の別の実現例を図７を参照して以下に説明する。この実現例においては、１つの初期的キーフレーム内のオブジェクトを選択することにより１つ又はそれ以上のオブジェクトを自動的に追跡することが可能である。図７に示したステップ７０５−７３５は図１に関連して説明したプロセスと同一である。本プロセスがマスクすべきオブジェクト全てのユーザ表示を受取った後に、本プロセスはステップ７４０で継続して行われ且つ現在のフレームにおけるオブジェクトをマスクする。次いで、本プロセスは、ステップ７４５において現在のフレームがストップフレームであるか否かをチェックする。ストップフレームは、ビデオクリップにおける最後のフレームとすることが可能であり、又はユーザによって選択することが可能である。現在のフレームがストップフレームである場合には、本プロセスはステップ７５０で終了する。そうでない場合には、本プロセスはステップ７５５へ継続して処理し、その場合に、選択されたオブジェクトが次のフレームにおいて自動的に追跡される。この追跡プロセスについて以下により詳細に説明する。ステップ７６０において次のフレームが現在のものとされ、且つ本プロセスはステップ７４０において現在のフレームにおけるオブジェクトを抽出する処理を行い、且つ最終的に、そのオブジェクトが追跡され且つ全てのフレームから抽出された場合に終了する。図７に示したプロセスにおいて、内側経路と外側経路とが使用される。一方、これらのステップは図２に関連して上述したように、内側経路と外側経路との代わりにオブジェクトの境界をカバーする１つの経路を使用して実施することが可能である。
【００４７】
自動追跡ステップ７５５について説明するが、最初に、１組の変数を導入する必要がある。自動追跡ステップ７５５について説明する目的のために、内側経路Ｐ１（ｔ）及び外側経路Ｐ２（ｔ）を使用して、時間ｔにおいて発生する初期的フレームにおいて単に１個のオブジェクトが選択されたものと仮定する。当業者は、以下の説明から１つを超えるオブジェクトに対し本プロセスをどのように一般化するかを理解する。１つを超えるオブジェクトが選択されると、本方法は各オブジェクトに対して繰返し適用される。各経路は特定した座標を有する１組の頂点から構成されている。例えば、
Ｐ１（ｔ）＝｛ｖ_１１（ｔ），ｖ_１２（ｔ），ｖ_１３（ｔ），．．．ｖ_１Ｍ１（ｔ）｝はＭ１個の頂点から構成されており、
Ｐ２（ｔ）＝｛ｖ_２１（ｔ），ｖ_２２（ｔ），ｖ_２３（ｔ），．．．ｖ_２Ｍ２（ｔ）｝はＭ２個の頂点から構成されており、
尚、ｖ_ｉｊ（ｔ）＝（ｘ_ｉｊ（ｔ），ｙ_ｉｊ（ｔ））は時間ｔにおける二次元頂点である。
【００４８】
頂点は、アプリケーションによって必要とされる場合により高い次元のものとすることが可能である。内側経路及び外側経路は、それらの夫々の頂点を直線で接続することにより又は例えば三次ベジェ曲線等のより複雑な直線によって接続することにより形成される。充分に密接している点を発生させるために、該直線を最初にサンプルして潜在的により密集した組の点ｒ_ｉｊ（ｔ）を発生する。このサンプリングは標準のサンプリング方法を使用して実施して１組の点として入力経路及び出力経路の以下の表現を発生する。
【００４９】
Ｐ_１（ｔ）＝｛ｒ_１１（ｔ），ｒ_１２（ｔ），ｒ_１３（ｔ），．．．ｒ_１Ｎ１（ｔ）｝はＮ１個の点から構成されており、
Ｐ_２（ｔ）＝｛ｒ_２１（ｔ），ｒ_２２（ｔ），ｒ_２３（ｔ），．．．ｒ_２Ｎ２（ｔ）｝はＮ２個の頂点から構成されており、
尚、ｒ_ｉｊ（ｔ）＝（ｘ_ｉｊ（ｔ），ｙ_ｉｊ（ｔ））は時間ｔにおけるサンプル点である。
【００５０】
選択されたサンプル点の数は所望とする詳細のレベルに依存する。１つの極限において、Ｎ１＝Ｍ１及びＮ２＝Ｍ２である。これは、頂点のみが選択される場合である。別の極限は、いずれの隣接するサンプル点の間の距離もピクセル間の間隔より小さい程度に密集してサンプル点が選択される場合である。
【００５１】
これらの変数を定義した後に、ステップ７５５における自動追跡プロセスについて図８を参照して説明する。第一に、プロセス全体の簡単な概略について説明する。この自動追跡プロセスはステップ８０５において開始する。ステップ８１０において、この追跡プロセスは時間ｔにおいて発生する初期的フレームにおいてＰ_１（ｔ）とＰ_２（ｔ）との間の境界領域における強いエッジを有するエッジ経路Ｅ（ｔ）を識別する。この追跡プロセスがステップ８１０においてエッジ経路Ｅ（ｔ）を識別すると、本追跡プロセスはステップ８１５へ移行し、そこでエッジ経路Ｅ（ｔ）は時間ｔ＋１において発生する次のフレームにおけるエッジに向かって移動する。該エッジ経路を次のフレームにおけるエッジに向かって移動させた後に、結合した局所的変換Ｔを決定し、それは、ステップ８２０において、Ｅ（ｔ）をＥ（ｔ＋１）とさせ、即ちＥ（ｔ＋１）＝ＴＥ（ｔ）である。次いで、変換Ｔを使用してＰ_１（ｔ＋１）＝ＴＰ_１（ｔ）及びＰ_２（ｔ＋１）＝ＴＰ_２（ｔ）に従って、ステップ８２５において、Ｐ_１（ｔ）及びＰ_２（ｔ）を変換する。経路Ｐ_１（ｔ）及びＰ_２（ｔ）に対して変換Ｔを適用することにより、それらはこれら２つの経路の間の境界領域内に存在する画像エッジにおいて行われる変換と同様の態様で変換が行われる。このことは自動追跡プロセスを完了し、且つ前述した如く、オブジェクトをフレームから抽出することが可能である。ステップ８１０−８２５についてより詳細に説明する。
【００５２】
ステップ８１０：エッジ経路の探索
エッジ経路Ｅ（ｔ）は、２つの方法のうちのいずれかを使用することによって探索することが可能である。方法Ａは、実施がより簡単であり且つより高速であるという利点を有しており、且つそれは境界領域における全てのエッジを捕獲する。然しながら、バックグラウンドからの寄与が境界領域におけるエッジの大きな割合部分である場合においては、方法Ｂがオブジェクトのより良い追跡を発生する。
【００５３】
方法Ａ
方法Ａの目標は境界領域、即ちＰ_１（ｔ）とＰ_２（ｔ）との間で、所定のスレッシュホールド値Ｇ_０より大きなエッジ値又は画像勾配値を有する点を探索することである。エッジ値及び画像勾配の表現はここでは交換可能に使用されており、検討中のピクセルとその隣りのピクセルとの間のカラー強度値変化のことを意味している。勾配値に対する解析的な表現について以下に説明する。上述した本発明の実現例におけるように、境界領域マスク又はハイライトマスクＨが発生され、それは画像フレーム内のＰ_１（ｔ）とＰ_２（ｔ）との間の全てのピクセルに対して１の値を有しており且つその他の場合には０の値を有している。ハイライトマスクＨの発生に続いて、１の値を有する各ピクセルに対して画像勾配Ｇ（ｘ，ｙ）が計算される。画像勾配Ｇ（ｘ，ｙ）を計算する１つの態様は次式により与えられる。
【００５４】
【数１】

【００５５】
Ｉ（ｘ，ｙ）は該画像における与えられたカラーチャンネルに対する画像強度である。
【００５６】
各カラーチャンネルに対して計算した勾配を結合することが可能である。例えば、その画像が赤、緑、青のカラーチャンネルからなるＲＧＢカラー画像である場合には、勾配Ｇ（ｘ，ｙ）は以下の如くに計算することが可能である。
【００５７】
【数２】

【００５８】
尚、Ｇ_ｒ：赤チャンネルの勾配
Ｇ_ｂ：青チャンネルの勾配
Ｇ_ｇ：緑チャンネルの勾配
ピクセルがＧ_０より大きな勾配値を有している場合には、それはＥ（ｔ）からなる点のリストへ付加される。スレッシュホールドＧ_０の典型的な値は８ビット画像の場合に１００であり、その場合には、ピクセル強度値は０から２５５の範囲である。次いで、エッジ経路Ｅ（ｔ）はＧ_０より大きな勾配を有するＰ_１（ｔ）とＰ_２（ｔ）との間の全ての点から構成されている。これらの点は互いに隣接していることが保証されるものでないが、以下に説明するように、残りのステップを実施するためには必要なことではない。
【００５９】
方法Ｂ
この方法は方法Ａよりもより複雑であるが、エッジ経路Ｅ（ｔ）内の全ての点が互いに隣接していることを保証する。この方法も単一の最良の連続的なエッジを発生し、それは、境界領域における任意の強いエッジからエッジ点を発生する方法Ａと対比して、Ｐ_１（ｔ）とＰ_２（ｔ）との間に存在している。
【００６０】
このことは、標準のスネーク技術の新規なアプリケーションを使用して行われる。スネーク技術は当該技術において公知である。本発明のこの実現例において使用されるこの新規な適用例はアクティブ輪郭技術として公知であり、Ｍ．Ｋａｓｓ、Ａ． Ｗｉｔｋｉｎ、Ｄ． Ｔｅｒｚｏｐｏｕｌｏｓ「スネーク、アクティブ輪郭、モデル（Ｓｎａｋｅｓ： Ａｃｔｉｖｅ Ｃｏｎｔｏｕｒ， Ｍｏｄｅｌｓ）」（インターナショナル・ジャーナル・オブ・コンピュータ・ビジョン、１巻、３２１−３３１頁、１９９８）（以後Ｋａｓｓと呼ぶ）において記載されている。
【００６１】
第一に、各経路のコピーが行われ、即ちＰ_１′（ｔ）＝Ｐ_１（ｔ）及びＰ_２′（ｔ）＝Ｐ_２（ｔ）である。経路Ｐ_１′（ｔ）内の各点は、初期位置からの変化又は該経路の曲げに抗する１組の力に従って移動され、且つ経路Ｐ_２′（ｔ）に向かって牽引され、それによりオブジェクトのエッジに向かって牽引される。Ｐ_１′（ｔ）内の異なる点を移動させることはＳｔｅｖｅ Ｒ． Ｇｕｎｎ及びＭａｒｋ Ｓ． Ｎｉｘｏｎ「ロバストスネーク実現例；デュアルアクティブ輪郭（Ａ Ｒｏｂｕｓｔ Ｓｎａｋｅ Ｉｍｐｌｅｍｅｎｔａｔｉｏｎ； Ａ Ｄｕａｌ Ａｃｔｉｖｅ Ｃｏｎｔｏｕｒ）」（ＩＥＥＥ・トランズアクションズ・オン・パターン・アナリシス・アンド・マシン・インテリジェンス、１９巻、Ｎｏ．１、１９９７年１月）に記載されているものと同様の方法を使用して行われる。Ｐ_２′（ｔ）は同様の態様でＰ_１′（ｔ）に向かって、且つそれによりオブジェクトのエッジに向かって移動される。このように、Ｐ_１′（ｔ）及びＰ_２′（ｔ）は、究極的に、経路Ｅ（ｔ）へ収束し、それはＰ_１′（ｔ）とＰ_２′（ｔ）との間の境界領域における強いエッジに追従する傾向となる。
【００６２】
上述した方法Ａにおいて画像勾配を計算したのと同一の態様で画像フレームにおける各ピクセル位置（ｘ，ｙ）における勾配を計算することによりエッジ力フィールドＧ（ｘ，ｙ）が形成される。このフィールドはエッジの影響がより大きな範囲にわたって拡張することを可能とさせるためにぼかし又は拡散される。ぼかしの典型的な実現例はＧ（ｘ，ｙ）に対して１０個のピクセルの半径で標準のガウシアンぼかし（Ｇａｕｓｓｉａｎ ｂｌｕｒ）を適用することが関与する。このアプリケーションのユーザはぼかしの半径を制御することが可能である。結果的に得られるぼかした勾配の負数はＶ_ｅ（ｘ，ｙ）で示され、且つ経路を強いエッジに向かって駆動するエッジを基礎としたポテンシャルエネルギである。Ｖ_ｅ（ｘ，ｙ）を見つけるための別の方法は、Ｇ_０より大きなＧ（ｘ，ｙ）の値を有するピクセルに対して１の値を割当て且つその他の全てに対して０の値を割当てることによりＧ（ｘ，ｙ）をスレッシュホールド処理することである。次いで、距離変換計算を実施してフィールドＶ_ｅ（ｘ，ｙ）を発生し、それはスレッシュホールドより上の点においては０であり且つこれらの点から距離が増加するに従い直線的に増加する。このタイプの距離変換計算はＰｅｒ−Ｅｒｉｋ Ｄａｎｉｅｌｓｓｏｎ「ユークリッド距離マッピング（Ｅｕｃｌｉｄｅａｎ Ｂｉｓｔａｎｃｅ Ｍａｐｐｉｎｇ）」（コンピュータ・グラフィックス・アンド・イメージ・プロセシング、Ｖｏｌ．１４、２２７−２４８頁、１９８０）に記載されている。
【００６３】
経路Ｐ_２′（ｔ）に沿ってこれらの点に対して適用される距離変換の別のアプリケーションを使用して、ポテンシャルフィールドＶ_２（ｘ，ｙ）を見つけ、それは該経路に沿った点に対して０の値を有しており且つこれらの点から離れるに従って値が増加する。同様のポテンシャルフィールドＶ_１（ｘ，ｙ）も経路Ｐ_１′（ｔ）における点に基づいて計算される。
【００６４】
時間ｔにおける３つのポテンシャルフィールドＶ_ｅ（ｘ，ｙ）、Ｖ_１（ｘ，ｙ）、Ｖ_２（ｘ，ｙ）を計算した後に、経路Ｐ_１′（ｔ）及びＰ_２′（ｔ）上の点を、直線の歪みを最小としながら、これら３つのポテンシャルエネルギの重み付けした和を最小とさせるために移動させる。重み付けした和はＶ_{ｅｘｔｅｒｎａｌ}（ｘ，ｙ）＝ｃ_ｅＶ_ｅ（ｘ，ｙ）＋ｃ_１Ｖ_１（ｘ，ｙ）＋ｃ_２Ｖ_２（ｘ，ｙ）であり、尚ｃ_ｅ、ｃ_１、ｃ_２は重み付け係数である。この距離変換方法を使用する場合には，重み付け係数の各々に対する典型的な値は１．０である。経路Ｐ_２′（ｔ）における経路点を移動させる場合に、ｃ_２は０に設定され、且つＰ_１′（ｔ）における経路点を移動させる場合には、ｃ_１を０に設定する。
【００６５】
該経路を移動させる場合に複数の繰返し（典型的に１０）を実施する。各繰返しに対して、経路Ｐ_１′（ｔ）における全ての点及び経路Ｐ_２′（ｔ）における全ての点が移動される。ｖ_ｘ及びｖ_ｙを０の初期値を有する変数（速度）とし、且つ（ｘ，ｙ）を経路座標の値に初期化させるものとすると、例えば、経路１における点３に対して、ｘ＝ｘ_１３（ｔ）、ｙ＝ｙ_１３（ｔ）である。次いで、各点は次のように移動される。
【００６６】
【数３】

【００６７】
Ｖ（ｘ，ｙ）は以下のように外部エネルギと内部エネルギとからなるポテンシャルエネルギである。
【００６８】
Ｖ（ｘ，ｙ）＝Ｖ_{ｅｘｔｅｒｎａｌ}（ｘ，ｙ）＋Ｖ_{ｉｎｔｅｒｎａｌ}（ｘ，ｙ）
内部エネルギはオリジナルの直線の直線の歪みを最小とさせる。例えば、点３に対する内部エネルギの１例は次式で与えられる。
【００６９】
【数４】

【００７０】
尚、ｋは曲線が歪むことが可能な程度を制御し且つ内部の力と外部の力との間のバランスを制御するスプリング剛性定数である。ｋの典型的な値は０．３である。スネークアルゴリズムを介して全ての繰返しを実施した後の経路Ｐ_１′（ｔ）に対する結果的に得られる点はエッジ経路に設定され、即ちＥ（ｔ）＝Ｐ_１′（ｔ）である。
【００７１】
方法Ｂの多少の変形において、係数ｃ_１及びｃ_２は、両方共、例えば−１のような負の数に選択される。このことはスネークとこれらのエッジとの間に反発を発生する。この状態において、それをＰ_１（ｔ）とＰ_２（ｔ）との間に位置させて初期化した後に、１つの経路Ｐ_１′（ｔ）のみを移動させることが必要であるに過ぎない。
【００７２】
ステップ８１５：フレームｔ＋１においてＥ（ｔ）をエッジへ移動
時間ｔ＋１において発生する次のフレームにおいてＥ（ｔ）をエッジへ移動することは、例えばＫａｓｓにおいて記載されているような標準のスネークアルゴリズム、又は上述した方法Ａ及び方法Ｂのいずれか１つを使用して行うことが可能である。１つの実現例においては、方法Ｂのスネークアルゴリズムをｃ_１＝ｃ_２＝０及びフレームｔの代わりにフレームｔ＋１における画像強度値に基づく勾配で繰り返し行い、エッジ勾配Ｇ（ｘ，ｙ）のみを残存させて駆動外部力を発生する。スネーク動的アルゴリズムの多数回繰返しの後に、即ち典型的に１５回の後に、得られる結果は、時間ｔ＋１において発生するフレーム内のオブジェクトに対するエッジ経路Ｅ（ｔ＋１）である。
【００７３】
ステップ８２０：結合した局所的変換Ｔの決定
変換Ｔは、経路Ｅ（ｔ）における各点に対して１つの変換のリストとして考えることが可能であり、即ちＴ＝｛Ｔ_１，Ｔ_２，．．．Ｔ_Ｎ｝はＥ（ｔ）＝｛ｒ_１，ｒ_２，．．．ｒ_Ｎ｝に対応しており、従ってＴをＥへ適用するとＥ（Ｔ＋１）＝ＴＥ（Ｔ）＝｛Ｔ_１ｒ_１，Ｔ_２ｒ_２，．．．Ｔ_Ｎｒ_Ｎ｝となる。
【００７４】
経路Ｅ（Ｔ）における各点ｒ_ｉ（ｔ）に対して、対応する局所的変換Ｔ_ｉが計算される。半径ｒの円がその点の周りに描かれる。Ｒはユーザによって制御することが可能であり且つ１個のピクセルから画像寸法にわたる範囲の値を取ることが可能である。Ｒのより大きな値はグローバルオブジェクト運動を追跡することを可能とするが、局所的な歪みをミスする場合がある。Ｒのより小さな値は、Ｒの程度のスケール寸法を有する曲線内の特徴に対し追跡することを可能とする。
【００７５】
ｒ_ｉ（ｔ）を取囲む円内側に存在するエッジ経路Ｅ（ｔ）内の１組の点は局所的曲線Ｅ_１ｉを形成し、それはその点に関連する局所的変換Ｔ_ｉを見つけ出すために使用される。Ｅ_１ｉの各点に対して、エッジ経路Ｅ（Ｔ＋１）内に対応する点Ｅ_２ｉが存在している。インデックス１ｉ及び２ｉは表記を簡単にするためにのみ選択してあり、いずれかの絶対的なフレーム番号に関連するものと考えるべきではない。変換Ｔ_ｉ（ｄｘ，ｄｙ，θ，ｓｃａｌｅＸ，ｓｃａｌｅＹ）は以下のようにしてＥ_１ｉをＥ_２ｉと比較することによって見つけ出される。
【００７６】
【数５】

【００７７】
尚、＜．．．＞は局所的曲線Ｅ_１ｉ内に包含される１組の点にわたって担持される取囲まれた量の平均値を表わしている。
【００７８】
ステップ８２５：変換Ｔを内側経路及び外側経路へ適用
次いで、変換Ｔ_ｉ（ｄｘ，ｄｙ，θ，ｓｃａｌｅＸ，ｓｃａｌｅＹ）を、ｒ_ｉを並進させ、回転させ、スケーリングさせることによりＥ_２ｉの最良の近似を発生させるためにエッジ曲線Ｅ_１ｉにおけるｉ番目の点に対して経路１内の最も近い点として選択した経路１内の点ｒ_ｉに対して適用する。
【００７９】
【数６】

【００８０】
変換Ｔ_ｉ（ｄｘ，ｄｙ，θ，ｓｃａｌｅＸ，ｓｃａｌｅＹ）をＰ_１（ｔ）における各点に対して適用する。上述したのと同一の変換式を使用して、同一の手順をＴ_２（ｔ）における各点に対して実施し、この場合にも、ｒ_ｉはエッジ曲線におけるｉ番目の点に対しＰ_２（ｔ）における最も近い点である。このように、エッジ曲線が現在のフレームとその後のフレームとの間で経験する変換を真似るような態様でＰ_１（ｔ）及びＰ_２（ｔ）が局所的に変換される。
【００８１】
本発明は、デジタルエレクトロニック回路において、又はコンピュータハードウエア、ファームウエア、ソフトウエア、又はそれらの組合わせで実現することが可能である。本発明装置は、プログラム可能なプロセッサによる実行のために機械読取可能な格納装置において明示的に具体化されたコンピュータプログラムプロダクトで実現することが可能であり、且つ本発明の方法ステップは、入力データに関して演算を行い且つ出力を発生することにより本発明の機能を実施する命令のプログラムを実行するプログラム可能なプロセッサによって実行することが可能である。本発明は、データ及び命令をデータ格納システムから受取り且つデータ及び命令をそれへ送信すべく結合されている少なくとも１個のプログラム可能なプロセッサと、少なくとも１個の入力装置と、少なくとも１個の出力装置とを包含するプログラム可能なシステム上で実行可能な１つ又はそれ以上のコンピュータプログラムで効果的に実現させることが可能である。各コンピュータプログラムは、ハイレベル手順又はオブジェクト指向型プログラミング言語で、又はアッセンブリ又は所望によりマシン言語で実現することが可能であり且ついずれの場合においても、該言語はコンパイル型又はインタプリタ型の言語とすることが可能である。適宜のプロセッサは、例示として、汎用及び特別目的マイクロプロセッサの両方を包含している。通常、プロセッサはリードオンリメモリ及び／又はランダムアクセスメモリから命令とデータとを受取る。通常、コンピュータはデータファイルを格納するために１個又はそれ以上の大量格納装置を有しており、このような装置は例えば内部ハードディスク又は着脱自在なディスク等の磁気ディスク、ＭＯディスク、及び光学的ディスクを包含している。コンピュータプログラム命令及びデータを明示的に実現するのに適した格納装置は、例えばＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ装置等の半導体メモリ装置を包含する全ての形態の非揮発的メモリ、内部ハードディスク及び着脱自在ディスク等の磁気ディスク、ＭＯディスク、ＣＤ−ＲＯＭディスクを包含している。前述したもののいずれもＡＳＩＣ（応用特定集積回路）によって補充されるか又はその中に組込むことが可能である。
【００８２】
ユーザとの対話を与えるために、本発明は、ユーザに対して情報を表示するためのモニタ又はＬＣＤスクリーン等のディスプレイ装置、及びそれによりユーザがコンピュータシステムへ入力を与えることが可能なマウス又はトラックボール等のポインティングデバイス及びキーボードを具備するコンピュータシステム上で実現することが可能である。コンピュータシステムは、それを介してコンピュータプログラムがユーザと対話するグラフィカルユーザインターフェースを提供するようにプログラムすることが可能である。
【００８３】
本発明の多数の実現例について説明した。然しながら、本発明の精神及び範囲を逸脱することなしに種々の修正を行うことが可能であることが理解される。従って、その他の実現例は特許請求の範囲内のものである。
【図面の簡単な説明】
【図１】内側経路及び外側経路を使用してデジタルビデオクリップからオブジェクトを選択し且つ抽出するためのフローチャート。
【図２】オブジェクト境界に沿っての単一経路を使用してデジタルビデオクリップからオブジェクトを選択し且つ抽出するためのフローチャート。
【図３Ａ】第一バックグラウンドに対して第一位置にあるオブジェクトを示した第一デジタル画像。
【図３Ｂ】第一バックグラウンドに対して第二位置にあるオブジェクトを示した第二デジタル画像。
【図４Ａ】新たなバックグラウンドに対して配置した図３Ａにおけるオブジェクトを示した第一デジタル画像。
【図４Ｂ】新たなバックグラウンドに対して配置した図３Ｂにおけるオブジェクトを示した第二デジタル画像。
【図５】図１及び図２の抽出ステップを示したフローチャート。
【図６】バックグラウンドの一部を包含するオブジェクトを示したデジタル画像。
【図７】１つのキーフレームのみを使用してオブジェクトを選択し且つ抽出するためのフローチャート。
【図８】図７の追跡ステップの詳細を示したフローチャート。

Claims (98)

1. デジタル画像のフォアグラウンド部分をデジタル画像のバックグラウンド部分からマスキングする方法において、該デジタル画像はデジタル画像の時間系列を有するビデオの一部であり、各画像は複数個のピクセルにより画定されており、本方法が、
   第一境界領域を画定する第一入力を受取り、該第一境界領域は第一デジタル画像における該バックグラウンド部分の少なくとも一部と該フォアグラウンド部分の少なくとも一部とを包含しており、
   第二境界領域を画定する第二入力を受取り、該第二境界領域は第二デジタル画像における該バックグラウンド部分の少なくとも一部と該フォアグラウンド部分の少なくとも一部とを包含しており、
   該第一及び第二デジタル画像に対して時間的に中間にある画像に対して中間境界領域を補間し、
   該デジタルビデオにおける該バックグラウンド部分から該フォアグラウンド部分をマスキングするために該第一、第二、中間境界領域を使用する、
   ことを包含している方法。
2. 請求項１において、第一及び第二入力を受取ることが、該境界領域を画定するユーザ入力を受取る、
   ことを包含しており、且つ中間境界領域を補間することが、
   ユーザ入力なしで自動的に中間境界領域を補間する、
   ことを包含している方法。
3. 請求項１において、該バックグラウンド部分から該フォアグラウンド部分をマスキングするために該第一、第二、中間境界領域を使用することが、
   それが該フォアグラウンド部分と関連するデータを包含するか否かを境界領域内のピクセルに対して決定すること、
   該デジタルビデオにおける該バックグラウンド部分から該フォアグラウンド部分をマスクするために該決定ステップの結果を使用すること、
   を包含している方法。
4. 請求項１において、更に、
   該第一、第二、中間境界領域におけるピクセルに対する本質的なカラー値を推定し、
   該バックグラウンド部分から該フォアグラウンド部分を抽出するために該推定した本質的カラー値を使用する、
   上記各ステップを包含している方法。
5. 請求項１において、境界領域を表わす入力を受取ることが、フォアグラウンド部分内側に位置した内側経路を発生し、
   該フォアグラウンド部分の外側に位置しており且つ該内側経路を取囲む外側経路を発生し、
   該内側経路と外側経路との間のピクセルが境界領域に属する、
   ことを包含している方法。
6. 請求項５において、内側経路と外側経路とを発生することが、ベクトルを基礎とした内側経路及びベクトルを基礎とした外側経路を発生することを包含している方法。
7. 請求項２において、該境界領域を表わす入力を受取ることが、該境界領域のものを取囲む幅を有する単一経路を発生することを包含している方法。
8. 請求項７において、単一経路を発生することが、ベクトルを基礎とした単一経路を発生することを包含している方法。
9. 請求項７において、単一経路を発生することが、その長さにわたって可変厚さを有する単一経路を発生することを包含している方法。
10. 請求項１において、該バックグラウンド部分から該フォアグラウンド部分をマスキングするために該第一、第二、中間境界領域を使用することが、
    該フォアグラウンド部分と該境界領域の一部とをマスキングすること、
    該境界領域の該部分に対してガウシアンぼかしを適用すること、
    を包含している方法。
11. 請求項１０において、更に、該マスクしたフォアグラウンド部分及び該境界領域の該部分を表示することを包含している方法。
12. 請求項１において、該バックグラウンド部分から該フォアグラウンド部分をマスキングするために該第一、第二、中間境界領域を使用することが、
    該フォアグラウンド部分と該境界領域の一部とをマスキングし、
    該フォアグラウンド部分と共に表示される該境界領域の該部分におけるピクセルの不透明度を決定し、
    スレッシュホールド値より大きな不透明度を有するピクセルに対する不透明度を変化させる、
    ことを包含している方法。
13. 請求項１２において、更に、該マスクしたフォアグラウンド部分及び該境界領域の該部分を表示することを包含している方法。
14. 請求項１において、更に、
    該第一デジタル画像における第二フォアグラウンド部分に対する境界領域を画定する入力を受取り、該境界領域は第二フォアグラウンド部分の少なくとも一部と該バックグラウンド部分の少なくとも一部とを包含しており、
    該第二デジタル画像における該第二フォアグラウンド部分に対する境界領域を画定する入力を受取り、該境界領域は該第二フォアグラウンド部分の少なくとも一部と該バックグラウンド部分の少なくとも一部とを包含しており、
    該第一及び第二デジタル画像に対して中間にある画像に対する該第二フォアグラウンド部分に対する中間境界領域を補間する、
    ことを包含している方法。
15. 請求項１において、更に、
    第一内部境界領域を画定する入力を受取り、該第一内部境界領域は、第一デジタル画像において、該第一境界領域によって取囲まれており、
    第二内部境界領域を画定する入力を受取り、該第二内部境界領域は、第二デジタル画像において、該第二境界領域によって取囲まれており、
    該第一及び第二デジタル画像に対して時間的に中間にある画像に対する中間内部境界領域を補間し、
    該デジタルビデオにおける該バックグラウンド部分から該フォアグラウンド部分をマスキングするために該第一、第二、中間境界領域及び該第一内部、第二内部、中間内部境界領域を使用する、
    ことを包含している方法。
16. 請求項１５において、該第一内部境界領域、該第二内部境界領域、該中間内部境界領域が該フォアグラウンド部分の少なくとも一部を包含している方法。
17. 請求項１５において、該第一内部境界領域、該第二内部境界領域、該中間内部境界領域が該バックグラウンド部分の少なくとも一部を包含している方法。
18. 請求項１５において、該第一内部境界領域、該第二内部境界領域、該中間内部境界領域が該バックグラウンド部分の少なくとも一部と該フォアグラウンド部分の少なくとも一部とを包含している方法。
19. 請求項１において、該フォアグラウンド部分がオブジェクトである方法。
20. デジタル画像のバックグラウンド部分からデジタル画像のフォアグラウンド部分をマスキングする方法において、該デジタル画像はデジタル画像の時間系列を有するビデオの一部であり、各画像は複数個のピクセルから画定されており、本方法が、
    初期的境界領域を画定する入力を受取り、該初期的境界領域は初期的デジタル画像における該バックグラウンド部分の少なくとも一部と該フォアグラウンド部分の少なくとも一部とを包含しており、
    該初期的境界領域に基づいて該時間系列における別のデジタル画像に対する境界領域を自動的に発生し、
    該デジタルビデオにおける該バックグラウンド部分から該フォアグラウンド部分をマスキングするために該初期的で且つ自動的に発生した境界領域を使用する、
    ことを包含している方法。
21. 請求項２０において、入力を受取ることが該境界領域を画定するユーザ入力を受取ることを包含している方法。
22. 請求項２０において、該バックグラウンド部分から該フォアグラウンド部分をマスキングするために該初期的且つ自動的に決定した境界領域を使用することが、
    それが該フォアグラウンド部分と関連するデータを有しているか否かを境界領域におけるピクセルに対して決定し、
    該デジタルビデオにおける該バックグラウンド部分から該フォアグラウンド部分をマスクするために該決定ステップの結果を使用する、
    ことを包含している方法。
23. 請求項２０において、更に、
    該第一、第二、中間境界領域におけるピクセルに対して本質的なカラー値を推定し、
    該バックグラウンド部分から該フォアグラウンド部分を抽出するために該推定した本質的なカラー値を使用する、
    ことを包含している方法。
24. 請求項２１において、該境界領域を表わすユーザ入力を受取ることが、
    該フォアグラウンド部分内側に位置している内側経路を発生し、
    該内側経路を取囲み且つ該フォアグラウンド部分の外側に位置している外側経路を発生し、該内側経路及び外側経路の間のピクセルが境界領域に属する、
    ことを包含している方法。
25. 請求項２４において、内側経路及び外側経路を発生することが、ベクトルを基礎にした内側経路及びベクトルを基礎にした外側経路を発生することを包含している方法。
26. 請求項２１において、該境界領域を表わすユーザ入力を受取ることが、該境界領域を取囲む幅を有する単一経路を発生することを包含している方法。
27. 請求項２６において、単一経路を発生することがベクトルを基礎にした単一経路を発生することを包含している方法。
28. 請求項２６において、単一経路を発生することがその長さにわたり可変厚さを有している単一経路を発生することを包含している方法。
29. 請求項２０において、該バックグラウンド部分から該フォアグラウンド部分をマスキングするために該初期的且つ該自動的に発生した境界領域を使用することが、
    該フォアグラウンド部分及び該境界領域の一部をマスキングし、
    該境界領域の該部分に対してガウシアンぼかしを適用する、
    ことを包含している方法。
30. 請求項２９において、更に、該マスクしたフォアグラウンド部分及び該境界領域の該部分を表示することを包含している方法。
31. 請求項２０において、該バックグラウンド部分から該フォアグラウンド部分をマスキングするために該初期的且つ該自動的に発生した境界領域を使用することが、
    該フォアグラウンド部分及び該境界領域の一部をマスキングし、
    該フォアグラウンド部分と共に表示される該境界領域の該部分におけるピクセルの不透明度を決定し、
    スレッシュホールド値より大きな不透明度を有するピクセルに対する不透明度を変化させる、
    ことを包含している方法。
32. 請求項３１において、更に、該マスクしたフォアグラウンド部分及び該境界領域の該部分を表示することを包含している方法。
33. 請求項２０において、更に、
    第二フォアグラウンド部分に対する初期的境界領域を画定する入力を受取り、該境界領域は該フォアグラウンド部分を具備するデジタル画像において該バックグラウンド部分の少なくとも一部及び第二フォアグラウンド部分の少なくとも一部を包含しており、
    該第二フォアグラウンド部分に対する初期的境界領域に基づいて時間系列における別の画像における該第二フォアグラウンド部分に対する境界領域を自動的に発生し、
    デジタルビデオにおける該バックグラウンド部分から該第二フォアグラウンド部分をマスキングするために該初期的且つ自動的に発生した境界領域を使用する、
    ことを包含している方法。
34. 請求項２０において、更に、
    初期的内部境界領域を画定する入力を受取り、該初期的内部境界領域は、第一デジタル画像において、該初期的境界領域によって取囲まれており、
    該初期的内部境界領域に基づいて時間系列における別の画像に対し初期的境界領域を自動的に発生し、
    デジタルビデオにおける該バックグラウンド部分から該フォアグラウンド部分をマスキングするために該初期的内部及び該自動的に発生した内部境界領域を使用する、
    ことを包含している方法。
35. 請求項３４において、該初期的内部境界領域及び該自動的に発生した内部境界領域が該フォアグラウンド部分の少なくとも一部を包含している方法。
36. 請求項３４において、該初期的内部境界領域及び該自動的に発生した内部境界領域が該バックグラウンド部分の少なくとも一部を包含している方法。
37. 請求項３４において、該初期的内部境界領域及び該自動的に発生した内部境界領域が、該バックグラウンド部分の少なくとも一部及び該フォアグラウンド部分の少なくとも一部を包含している方法。
38. 請求項２０において、該フォアグラウンド部分がオブジェクトである方法。
39. 請求項２０において、別のデジタル画像に対して境界領域を自動的に発生することが、
    該初期的境界領域におけるエッジ経路を識別し、該エッジ経路は該初期的デジタル画像における該フォアグラウンド部分のエッジを表わし、
    自動的に発生した境界領域におけるエッジ経路を識別し、該エッジ経路は別のデジタル画像における該フォアグラウンド部分のエッジを表わし、
    該初期的デジタル画像と該別のデジタル画像との間のエッジ経路変換を決定し、
    該別のデジタル画像において境界領域を発生するために該初期的デジタル画像における該内側経路及び該外側経路に対して該エッジ経路変換を適用する、
    ことを包含している方法。
40. 請求項３９において、該別の自動的に発生した境界領域において該エッジ経路を識別することが、前に識別したエッジ経路に関して動作するスネークアルゴリズムを使用して該エッジ経路を識別することを包含している方法。
41. 請求項３９において、該初期的境界領域内のエッジ経路を識別することが、スレッシュホールド値を超える画像勾配値を有する該境界領域内の点を見つけ出すことを包含している方法。
42. 請求項４１において、更に、該初期的境界領域内の各カラーチャンネルに対して画像勾配値を計算することを包含している方法。
43. 請求項３９において、該初期的境界領域内のエッジ経路を識別することが、
    該内側経路及び該外側経路をコピーし、
    該内側経路及び該外側経路のコピーを互いに向かって且つスネークアルゴリズムを使用して該フォアグラウンド部分のエッジに向かって移動させ、
    該内側経路のコピーと該外側経路のコピーとが１つの経路に収束する場合に該エッジ経路を該経路として識別する、
    ことを包含している方法。
44. 請求項３９において、エッジ経路変換を決定することが、１組の局所的エッジ経路変換を決定することを包含しており、該１組の局所的エッジ経路変換が一体的に該エッジ経路変換を形成している方法。
45. 請求項４４において、１組の局所的エッジ経路変換を決定することが、該エッジ経路における各点に対して局所的エッジ経路変換を決定することを包含している方法。
46. 請求項４４において、１組の局所的エッジ経路変換を決定することが、該１組の局所的エッジ経路変換における各局所的エッジ経路変換に対する並進、回転、スケーリングを決定することを包含している方法。
47. 請求項３９において、該内側及び外側経路に対して該エッジ経路変換を適用することが、該外側経路内の各点に対して且つ該内側経路内の各点に対して１組の局所的変換を適用することを包含しており、該１組の局所的変換が該エッジ経路変換を形成している方法。
48. 請求項４７において、１組の局所的変換を適用することが、該外側経路及び該内側経路の各局所的変換として並進、回転、スケーリングを適用することを包含している方法。
49. デジタルビデオにおけるバックグラウンドからオブジェクトをマスキングする方法において、該デジタルビデオはデジタル画像の時間系列を有しており、各画像は複数個のピクセルによって画定されており、本方法が、
    第一境界領域を画定する第一ユーザ入力を受取り、該第一境界領域は第一デジタル画像における該バックグラウンドの少なくとも一部と該オブジェクトの少なくとも一部とを包含しており、
    第二境界領域を画定する第二ユーザ入力を受取り、該第二境界領域は第二デジタル画像における該バックグラウンド部分の少なくとも一部と該オブジェクトの少なくとも一部とを包含しており、
    該第一及び第二デジタル画像に対して時間的に中間にある画像に対する中間境界領域を補間し、
    該デジタルビデオにおける該バックグラウンドから該オブジェクトをマスキングするために該第一、第二及び中間境界領域を使用し、
    該デジタルビデオにおける該バックグラウンドから該オブジェクトを抽出するために該第一、第二、中間境界領域を使用し、
    該マスクし且つ抽出したオブジェクトを別のデジタルビデオにおける新たなバックグラウンドに対して配置させる、
    ことを包含している方法。
50. デジタル画像のバックグラウンド部分からデジタル画像のフォアグラウンド部分をマスキングするためにコンピュータ読取可能媒体又は伝播キャリア信号内に明示的に具体化されたコンピュータソフトウエアにおいて、該デジタル画像はデジタル画像の時間系列を有するビデオの一部であり、各画像は複数個のピクセルによって画定されており、本ソフトウエアは以下の動作、
    第一境界領域を画定する第一入力を受取り、該第一境界領域が第一デジタル画像における該バックグラウンド部分の少なくとも一部と該フォアグラウンド部分の少なくとも一部とを包含しており、
    第二境界領域を画定する第二入力を受取り、該第二境界領域は第二デジタル画像における該バックグラウンド部分の少なくとも一部と該フォアグラウンド部分の少なくとも一部とを包含しており、
    該第一及び第二デジタル画像に対して時間的に中間にある画像に対する中間境界領域を補間し、
    該デジタルビデオにおける該バックグラウンド部分から該フォアグラウンド部分をマスキングするために該第一、第二、中間境界領域を使用する、
    動作を実施するための命令を有しているコンピュータソフトウエア。
51. 請求項５０において、第一及び第二入力を受取る該命令が、
    該境界領域を画定するユーザ入力を受取る、
    ための命令を有しており、且つ中間境界領域を補間することが、
    ユーザ入力なしに自動的に中間境界領域を補間する、
    ことを包含しているコンピュータソフトウエア。
52. 請求項５０において、該バックグラウンド部分から該フォアグラウンド部分をマスキングするために該第一、第二、中間境界領域を使用するための該命令が、
    それが該フォアグラウンド部分と関連するデータを包含しているか否かを境界領域におけるピクセルに対して決定し、
    該デジタルビデオにおける該バックグラウンド部分から該フォアグラウンド部分をマスクするために該決定ステップの結果を使用する、
    ための命令を有しているコンピュータソフトウエア。
53. 請求項５０において、更に、以下の動作、
    該第一、第二、中間境界領域におけるピクセルに対する本質的なカラー値を推定し、
    該バックグラウンド部分から該フォアグラウンド部分を抽出するために該推定した本質的なカラー値を使用する、
    動作を実施するための命令を包含しているコンピュータソフトウエア。
54. 請求項５０において、該境界領域を表わす入力を受取る該命令が、
    フォアグラウンド部分内側に位置している内側経路を発生し、
    該内側経路を取囲み且つ該フォアグラウンド部分外側に位置している外側経路を発生し、
    該内側経路及び外側経路の間のピクセルが境界領域に属している、
    ための命令を包含しているコンピュータソフトウエア。
55. 請求項５４において、内側経路及び外側経路を発生するための該命令が、ベクトルを基礎とした内側経路及びベクトルを基礎とした外側経路を発生するための命令を包含しているコンピュータソフトウエア。
56. 請求項５１において、該境界領域を表わす入力を受取る該命令が、該境界領域のものを取囲む幅を有する単一経路を発生するための命令を包含しているコンピュータソフトウエア。
57. 請求項５６において、単一経路を発生するための該命令がベクトルを基礎とした単一経路を発生するための命令を包含しているコンピュータソフトウエア。
58. 請求項５６において、単一経路を発生するための該命令が、その長さにわたって可変厚さを有する単一経路を発生するための命令を包含しているコンピュータソフトウエア。
59. 請求項５０において、該バックグラウンド部分から該フォアグラウンド部分をマスキングするために該第一、第二、中間境界領域を使用する該命令が、
    該フォアグラウンド部分及び該境界領域の一部をマスクし、
    該境界領域の該部分に対してガウシアンぼかしを適用する、
    ための命令を包含しているコンピュータソフトウエア。
60. 請求項５９において、更に、該マスクしたフォアグラウンド部分及び該境界領域の該部分を表示するための命令を包含しているコンピュータソフトウエア。
61. 請求項５０において、該バックグラウンド部分から該フォアグラウンド部分をマスキングするために該第一、第二、中間境界領域を使用するための該命令が、
    該フォアグラウンド部分及び該境界領域の一部をマスクし、
    該フォアグラウンド部分と共に表示される該境界領域の該部分におけるピクセルの不透明度を決定し、
    スレッシュホールド値より大きな不透明度を有するピクセルに対する不透明度を変化させる、
    ための命令を包含しているコンピュータソフトウエア。
62. 請求項６１において、更に、該マスクしたフォアグラウンド部分及び該境界領域の該部分を表示するための命令を包含しているコンピュータソフトウエア。
63. 請求項５０において、更に、以下の動作、
    該第一デジタル画像における第二フォアグラウンド部分に対する境界領域を画定する入力を受取り、該境界領域は該バックグラウンド部分の少なくとも一部と第二フォアグラウンド部分の少なくとも一部とを包含しており、
    該第二デジタル画像における該第二フォアグラウンド部分に対する境界領域を画定する入力を受取り、該境界領域は該バックグラウンド部分の少なくとも一部と該第二フォアグラウンド部分の少なくとも一部とを包含しており、
    該第一及び第二デジタル画像に対して中間にある画像に対する該第二フォアグラウンド部分に対する中間境界領域を補間する、
    動作を実施するための命令を包含しているコンピュータソフトウエア。
64. 請求項５０において、更に、以下の動作、
    第一内部境界領域を画定する入力を受取り、該第一内部境界領域は、第一デジタル画像において、該第一境界領域によって取囲まれており、
    第二内部境界領域を画定する入力を受取り、該第二内部境界領域は、第二デジタル画像において、該第二境界領域によって取囲まれており、
    該第一及び第二デジタル画像に対して時間的に中間にある画像に対する中間内部境界領域を補間し、
    該デジタルビデオにおいて該バックグラウンド部分から該フォアグラウンド部分をマスキングするために該第一、第二、中間境界領域、及び該第一内部、第二内部、中間内部境界領域を使用する、
    動作を実施するための命令を包含しているコンピュータソフトウエア。
65. 請求項６４において、該第一内部境界領域、該第二内部境界領域、該中間内部境界領域が該フォアグラウンド部分の少なくとも一部を包含しているコンピュータソフトウエア。
66. 請求項６４において、該第一内部境界領域、該第二内部境界領域、該中間内部境界領域が該バックグラウンド部分の少なくとも一部を包含しているコンピュータソフトウエア。
67. 請求項６４において、該第一内部境界領域、該第二内部境界領域、該中間内部境界領域が該フォアグラウンド部分の少なくとも一部及び該バックグラウンド部分の少なくとも一部を包含しているコンピュータソフトウエア。
68. 請求項５０において、該フォアグラウンド部分がオブジェクトであるコンピュータソフトウエア。
69. デジタル画像のバックグラウンド部分からデジタル画像のフォアグラウンド部分をマスキングするためにコンピュータ読取可能媒体又は伝播搬送信号内に明示的に具体化されているコンピュータソフトウエアにおいて、該デジタル画像がデジタル画像の時間系列を有するビデオの一部であり、各画像が複数個のピクセルによって画定されており、本ソフトウエアが、以下の動作、
    初期的境界領域を画定する入力を受取り、該初期的境界領域が初期的デジタル画像における該バックグラウンド部分の少なくとも一部と該フォアグラウンド部分の少なくとも一部とを包含しており、
    該初期的境界領域に基づいて該時間系列における別のデジタル画像に対する境界領域を自動的に発生し、
    該デジタルビデオにおける該バックグラウンド部分から該フォアグラウンド部分をマスキングするために該初期的且つ自動的に発生した境界領域を使用する、動作を実施するための命令を包含しているコンピュータソフトウエア。
70. 請求項６９において、入力を受取るための該命令が該境界領域を画定するユーザ入力を受取るための命令を包含しているコンピュータソフトウエア。
71. 請求項６９において、該バックグラウンド部分から該フォアグラウンド部分をマスキングするために該初期的且つ自動的に決定した境界領域を使用する該命令が、
    それが該フォアグラウンド部分と関連するデータを有しているか否かを境界領域におけるピクセルに対して決定し、
    該デジタルビデオにおける該バックグラウンド部分から該フォアグラウンド部分をマスクするために該決定ステップの結果を使用する、
    命令を包含しているコンピュータソフトウエア。
72. 請求項６９において、更に、以下の動作、
    該第一、第二、中間境界領域におけるピクセルに対する本質的なカラー値を推定し、
    該バックグラウンド部分から該フォアグラウンド部分を抽出するために該推定した本質的なカラー値を使用する、
    動作を実施するための命令を包含しているコンピュータソフトウエア。
73. 請求項７０において、該境界領域を表わすユーザ入力を受取る該命令が、
    該フォアグラウンド部分内側に位置している内側経路を発生し、
    該内側経路を取囲み且つ該フォアグラウンド部分外側に位置している外側経路を発生し、該内側経路及び外側経路の間のピクセルが境界領域に属している、
    命令を包含しているコンピュータソフトウエア。
74. 請求項７３において、内側経路及び外側経路を発生するための該命令が、ベクトルを基礎とした内側経路及びベクトルを基礎とした外側経路を発生するための命令を包含しているコンピュータソフトウエア。
75. 請求項７０において、該境界領域を表わすユーザ入力を受取る該命令が、該境界領域を取囲む幅を有している単一経路を発生する命令を包含しているコンピュータソフトウエア。
76. 請求項７５において、単一経路を発生するための該命令が、ベクトルを基礎とした単一経路を発生するための命令を包含しているコンピュータソフトウエア。
77. 請求項７５において、単一経路を発生するための該命令が、その長さにわたって可変厚さを有する単一経路を発生するための命令を包含しているコンピュータソフトウエア。
78. 請求項６９において、該バックグラウンド部分から該フォアグラウンド部分をマスキングするために該初期的及び該自動的に発生した境界領域を使用するための該命令が、
    該フォアグラウンド部分及び該境界領域の一部をマスクし、
    該境界領域の該部分に対してガウシアンぼかしを適用する、
    ための命令を包含しているコンピュータソフトウエア。
79. 請求項７８において、更に、該マスクしたフォアグラウンド部分及び該境界領域の該部分を表示するための命令を包含しているコンピュータソフトウエア。
80. 請求項６９において、該バックグラウンド部分から該フォアグラウンド部分をマスキングするために該初期的及び該自動的に発生した境界領域を使用するための該命令が、
    該フォアグラウンド部分及び該境界領域の一部をマスクし、
    該フォアグラウンド部分と共に表示される該境界領域の該部分におけるピクセルの不透明度を決定し、
    スレッシュホールド値より大きな不透明度を有しているピクセルに対する不透明度を変化させる、
    ための命令を包含しているコンピュータソフトウエア。
81. 請求項８０において、更に、該マスクしたフォアグラウンド部分及び該境界領域の該部分を表示するための命令を包含しているコンピュータソフトウエア。
82. 請求項６９において、更に、以下の動作、
    第二フォアグラウンド部分に対する初期的境界領域を画定する入力を受取り、該境界領域は第二フォアグラウンド部分の少なくとも１部と該第一フォアグラウンド部分を有する該デジタル画像における該バックグラウンド部分の少なくとも一部とを包含しており、
    該第二フォアグラウンド部分に対する該初期的境界領域に基づいて時間系列における別の画像における該第二フォアグラウンド部分に対する境界領域を自動的に発生し、
    該デジタルビデオにおける該バックグラウンド部分から該第二フォアグラウンド部分をマスキングするために該初期的且つ自動的に発生した境界領域を使用する、
    ための動作を実施するための命令を包含しているコンピュータソフトウエア。
83. 請求項６９において、更に、以下の動作、
    初期的内部境界領域を画定する入力を受取り、該初期的内部境界領域が、第一デジタル画像において、該初期的境界領域によって取囲まれており、
    該初期的内部境界領域に基づいて時間的系列における別の画像に対する内部境界領域を自動的に発生し、
    該デジタルビデオにおける該バックグラウンド部分から該フォアグラウンド部分をマスキングするために該初期的内部及び該自動的に発生した内部境界領域を使用する、
    ための動作を実施するための命令を包含しているコンピュータソフトウエア。
84. 請求項８３において、該初期的内部境界領域及び該自動的に発生した内部境界領域が該フォアグラウンド部分の少なくとも一部を包含しているコンピュータソフトウエア。
85. 請求項８３において、該初期的内部境界領域及び該自動的に発生した内部境界領域が該バックグラウンド部分の少なくとも一部を包含しているコンピュータソフトウエア。
86. 請求項８３において、該初期的内部境界領域及び該自動的に発生した内部境界領域が該バックグラウンド部分の少なくとも一部と該フォアグラウンド部分の少なくとも一部とを包含しているコンピュータソフトウエア。
87. 請求項６９において、該フォアグラウンド部分がオブジェクトであるコンピュータソフトウエア。
88. 請求項６９において、別のデジタル画像に対する境界領域を自動的に発生する該命令が、
    該初期的境界領域におけるエッジ経路を識別し、該エッジ経路は該初期的デジタル画像における該フォアグラウンド部分のエッジを表わし、
    自動的に発生した境界領域におけるエッジ経路を識別し、該エッジ経路は該別のデジタル画像における該フォアグラウンド部分のエッジを表わし、
    該デジタル画像と該別のデジタル画像との間のエッジ経路変換を決定し、
    該別のデジタル画像における境界領域を発生するために該初期的デジタル画像における該内側経路及び該外側経路に対して該エッジ経路変換を適用する、
    ための命令を包含しているコンピュータソフトウエア。
89. 請求項８８において、該別の自動的に発生した境界領域における該エッジ経路を識別するための該命令が、
    前に識別したエッジ経路に関して動作するスネークアルゴリズムを使用して該エッジ経路を識別する、
    ための命令を包含しているコンピュータソフトウエア。
90. 請求項８８において、該初期的境界領域におけるエッジ経路を識別するための該命令が、
    スレッシュホールド値を超える画像勾配値を有する該境界領域における点を見つけ出す、
    ための命令を包含しているコンピュータソフトウエア。
91. 請求項９０において、更に、該初期的境界領域における各カラーチャンネルに対する画像勾配値を計算するための命令を包含しているコンピュータソフトウエア。
92. 請求項８８において、該初期的境界領域におけるエッジ経路を識別するための該命令が、
    該内側経路及び該外側経路をコピーし、
    該内側経路及び該外側経路の該コピーを互いに向かって且つスネークアルゴリズムを使用して該フォアグラウンド部分のエッジに向かって移動させ、
    該内側経路のコピーと該外側経路のコピーとが１つの経路に収束する経路して該エッジ経路を識別する、
    ための命令を包含しているコンピュータソフトウエア。
93. 請求項８８において、エッジ経路変換を決定するための該命令が、
    １組の局所的エッジ経路変換を決定し、該１組の局所的エッジ経路変換が一体となって該エッジ経路変換を形成する、
    ための命令を包含しているコンピュータソフトウエア。
94. 請求項９３において、１組の局所的エッジ経路変換を決定するための該命令が、該エッジ経路における各点に対する局所的エッジ経路変換を決定するための命令を包含しているコンピュータソフトウエア。
95. 請求項９３において、１組の局所的エッジ経路変換を決定するための該命令が、該１組の局所的エッジ経路変換における各局所的エッジ経路変換に対する並進、回転、スケーリングを決定するための命令を包含しているコンピュータソフトウエア。
96. 請求項８８において、該内側及び外側経路に対して該エッジ経路変換を適用する該命令が、該内側経路における各点に対して且つ該外側経路における各点に対して１組の局所的変換を適用するための命令を包含しており、該１組の局所的変換が該エッジ経路変換を形成しているコンピュータソフトウエア。
97. 請求項９６において、１組の局所的変換を適用する該命令が、該内側経路及び該外側経路の各局所的変換として並進、回転、スケーリングを適用するための命令を包含しているコンピュータソフトウエア。
98. デジタルビデオにおけるバックグラウンドからオブジェクトをマスキングするためにコンピュータ読取可能媒体又は伝播搬送信号において明示的に具体化されているコンピュータソフトウエアにおいて、該デジタルビデオはデジタル画像の時間系列を有しており、各画像は複数個のピクセルによって画定されており、該ソフトウエアは、以下の動作、
    第一境界領域を画定する第一ユーザ入力を受取り、該第一境界領域は第一デジタル画像における該バックグラウンドの少なくとも一部と該オブジェクトの少なくとも一部とを包含しており、
    第二境界領域を画定する第二ユーザ入力を受取り、該第二境界領域は第二デジタル画像における該バックグラウンド部分の少なくとも一部と該オブジェクトの少なくとも一部とを包含しており、
    該第一及び第二デジタル画像に対して時間的に中間にある画像に対し中間境界領域を補間し、
    該デジタルビデオにおける該バックグラウンドから該オブジェクトをマスキングするために該第一、第二、中間境界領域を使用し、
    該デジタルビデオにおける該バックグラウンドから該オブジェクトを抽出するために該第一、第二、中間境界領域を使用し、
    別のデジタルビデオにおける新たなバックグラウンドに対して該マスクし且つ抽出したオブジェクトを配置させる、
    ための動作を実施するための命令を包含しているコンピュータソフトウエア。

Images