JP2005110318A - マルチチャネル映像処理および再生を備えたメディア・パイプライン - Google Patents

Abstract

【課題】 本発明は、デジタル静止画像シーケンスを処理するための２つのチャネルをメディア・パイプラインに設けることにより、従来技術に対する改善を図る。
【解決手段】 ディゾルブ、ワイプ、及びクロマ・キーイングのような単純な効果をこれら２つのビデオ・データ・ストリームに可能とするため、配合器（５４）を設ける。外部インターフェースを用いて、複雑な任意三次元効果を発生することもできる。したがって、デジタル静止画像シーケンスを処理してリアルタイム・デジタル映像効果を発生するシステムは、映像をシミュレートする速度で第１及び第２のデジタル静止画像シーケンスを交信するための第１（５０）及び第２（５１）チャネルを含む。制御器が静止画像を、前記第１及び第２チャネルの一方に送出する。配合器（５４）は、映像をシミュレートする速度で、前記第１及び第２のデジタル静止画像シーケンスの組み合わせを発生する。
【選択図】 図２

Description

デジタル映像を操作する技術は、コンピュータ上で容易に処理し取り扱うことができる点にまで発達した。例えば、マサチューセッツ州チュークスベリのアヴィッド・テクノロジ・インコーポレーテッド(Avid Technology, Inc.)から入手可能な、アヴィッド／１メディア・コンポーザ(Avid/1 Media Composer)は、放送用テレビジョンならびに映画および映像プログラムのポスト製作(post-production)のような種々の目的のために、デジタル映像を容易に捕獲し、編集し、表示することができるシステムである。

アヴィッド／１メディア・コンポーザは、メディア・パイプライン(media pipeline)を用いて、コンピュータ表示装置上にリアルタイムのデジタル映像出力を発生する。このメディア・パイプライン３０を図１に示すが、これは１９９１年９月３日発行の米国特許第５,０４５,９４０号に詳細に記載されている。このメディア・パイプライン３０では、永久記憶装置４０が、デジタル映像を表わし、映像の表示が得られる速度で再生される、デジタル静止画像シーケンスを記憶する。これらデジタル静止画像シーケンスは、テレビジョン信号では典型的に見られる、フレーム同期または他のタイプのタイミング情報を全く含んでいない。また、静止画像は典型的に圧縮された形で記憶してある。記憶してある静止画像シーケンスにアクセスし、データ・バッファ４２内へ配置し、そこから圧縮／伸張システム４４に供給する。圧縮／伸張システム４４の出力をフレーム・バッファ４６に印加し、静止映像を典型的な映像信号に変換し、次にこれを入出力部４８に印加する。このメディア・パイプラインにおけるシステム４０，４２，４４，４６および４８の各々は、双方向的に動作する。即ち、上述の出力過程を逆転することができ、映像信号を入出力部４８を通じてフレーム・バッファ４６に入力し、そこでこれらをデジタル静止画像シーケンスに変換することができる。このシーケンス内の画像を圧縮／伸張システム４４で圧縮し、データ・バッファ４２に記憶し、そして永久記憶装置４０に転送する。

メディア・パイプラインは、放送の可能化やコンピュータ・システム内に記憶してあるデジタル画像からの編集を含む、デジタル映像に関して多くの利点をもたらすものであるが、このメディア・パイプラインは、複雑な任意の三次元効果、サイズ変更、ｘ−ｙ変換、回転、レイヤ処理（ピクチャー・イン・ピクチャーの表示）のような単純な二次元効果、そして最後にディゾルブ(dissolve)、ワイプ(wipes)、フェード(fades)、ならびにルーマ(luma)および／またはクローマ・キーイング(chroma keying)のような単純な効果、を含むリアルタイム・デジタル映像効果を提供することはできない。コンピュータ上でかかる効果を認知するためには、一般的にまず効果を生成し（リアルタイムではなく）、次にデジタル化し、生成したならテープ上に記憶し、最後に再生する。

本発明は、デジタル静止画像シーケンスを処理するための２チャネルをメディア・パイプラインに備えることによって、従来技術を改善するものである。配合器(blender)を備えて、これら２つのビデオ・データ・ストリームに、ディゾルブ、ワイプおよびクロマ・キーイングのような単純な効果を可能にする。複雑な任意三次元効果およびその他の効果も、外部インターフェースを用いて、発生することもできる。

したがって、デジタル静止画像シーケンスを処理してリアルタイム・デジタル映像効果を発生するシステムは、映像をシミュレートする速度で第１および第２のデジタル静止画像シーケンスを交信するための第１および第２チャネルを含む。制御器が静止画像を前記第１および第２チャネルの一方に送出する。前記第１チャネルに接続してある第１入力と、前記第２チャネルに接続してある第２入力と、出力とを有する配合器が、映像をシミュレートする速度で、前記第１および第２のデジタル静止画像シーケンスの組み合わせを供給する。

本発明は、添付図面に関連付けて以下の詳細な説明を読むことによってより完全に理解されよう。図面では、同様の参照番号は同様の構造を示す。係属中の特許出願も含んで、この中で引用する全ての参考文献は、本願に明示的に含まれるものとする。

これより、効果を発生するための２つのデジタル映像チャネルを有するメディア・パイプライン３５について、図２に関連付けて説明する。図１に示したメディア・パイプライン３０を改造して、図１の圧縮／伸張システム４４の改造である、圧縮／伸張（ＣＯＤＥＣ）部５８を含むようにしてある。ＣＯＤＥＣ部５８は、２つのＣＯＤＥＣチャネル５０および５２を有する。一方は圧縮および伸張のために、即ち、記録および再生の双方に用い、他方は再生のためのみに用いる。これらのチャネルの出力を配合器５４に供給し、それらを所望の効果にしたがって結合する。圧縮データを用いる必要はないが、記憶必要量を減少させるためには圧縮は好ましいものである。この圧縮／伸張部５８については、１９９３年４月１３日に付与された米国海外出願免許第５０４２８７号の下で、１９９３年４月１６日に出願された、英国公開明細書第９３０７８９４．７号においてより詳しく記載されている。

これよりＣＯＤＥＣ部５８について、図３に関連付けてより詳細に説明する。この図では、制御部６０は２チャネルの符号化／復号化器を制御する。メディア・パイプライン３０に対する改造を行うには、制御部６０において、圧縮データ・バッファ４２の別々の部分を各チャネルに割り当てる。デジタル静止画像シーケンスも１つのチャネルに割り当てる。したがって、画像シーケンスを圧縮データ・バッファ４２に読み込むとき、当該画像シーケンスのためのチャネルに割り当てた部分にそれを入力する。このように、ＣＯＤＥＣｓ６６および６８のためのＦＩＦＯ６２および６４に対するデータの読み出しおよび書き込みは、選択したデジタル静止画像シーケンスへのチャネルの割り当てに基づいて行われる。

各チャネルは別個のＣＯＤＥＣ、第１ＣＯＤＥＣ６６または第２ＣＯＤＥＣ６８のいずれかを有する。これらのＣＯＤＥＣは、典型的に、連合写真専門家集団(JPEG:Joint Photographic Expert Group)が提案した、静止画像圧縮の標準を用いる。かかるＣＯＤＥＣは、カリフォルニア州、ミルピタスのシー−キューブ(C-Cube)から入手可能なＣＬ５５０のように、商業的に入手可能である。各ＣＯＤＥＣは、それぞれの先入れ先出し(FIFO)メモリ素子６２および６４を有する。ＦＩＦＯメモリ素子６２および６４は、それぞれＣＯＤＥＣ６６および６８に供給し、それらの出力をフィールド・バッファ７０および７２に印加する。これらもＦＩＦＯメモリ素子であることが好ましい。配合器７４を用いて、これらの２チャネルを配合するが、アドレッシングおよびアルファ情報部７６によって配合器７４を制御する。これについては以下に詳細に説明する。配合器７４ならびにアルファおよびアドレッシング情報部７６は、好ましくは、クシリンクス(XiLinx)によって製造されるＸＣ３０９０のような、現場リプログラム可能ゲート・アレイ(field reprogrammable gate array)を用いて実施することが好ましい。

代替案として、第１出力画像シーケンスは、出力ＡによってＣＯＤＥＣ６６のためのＦＩＦＯ７０から発生してもよく、また第２出力画像シーケンスは、配合を行わないときは、配合器の出力によって出力Ｂとして発生してもよい。このように、ＦＩＦＯ７０および配合器７４は、デジタル静止画像シーケンスの第１および第２ソースとして作用する。出力ＡおよびＢを、図４に示すようなデジタル映像効果システム５９に印加してもよい。この実施例は、任意の三次元映像効果を発生するのに有用である。任意の三次元映像効果については、ハリー・デアらによって１９９４年３月１８日に出願され、マサチューセッツ州、チュークスベリのアヴィッド・テクノロジ・インコーポレーテッドに譲渡された、「デジタル映像効果をリアルタイムで付加するための機構を有するメディア・パイプライン」と題する米国特許出願に記載されている。

Ｘ−Ｙ変換、回転およびスケーリングを含むより複雑な二次元効果も、当技術では公知の技術を用いて発生することができる。三次元任意効果のためのものに類似した、付加的な効果ボードを設けて、単一ストリームに処理を行うことができる。この処理を行うために、図４に示した出力Ａをかかる効果発生器に印加し、その出力を、元来チャネルＡを受けるように設計した配合器の入力に印加する。この機能を設ける場合、デジタル効果は、典型的に、Ｙ、ＵおよびＶパラメータの各々に４ビットを有する（４：４：４）ＹＵＶデータ・フォーマットを用いて、出力を生成する。対照的に、チャネルＡおよびＢのための通常データ・フォーマットは４：２：２である。したがって、この場合、配合器７６の構造は、かかるデジタル効果を発生するか否かにしたがって、４：４：４フォーマットまたは４：２：２フォーマットのいずれかに対して選択的にチャネルＡを処理するようにする。

配合器７４ならびにアルファおよびアドレッシング情報７６を用いて、ボックス・ワイプならびにクローマ・キーおよびルーマ・キーのような、より単純な映像効果をリアルタイムで発生する場合について、これより説明する。２つの映像ストリーム（ＡおよびＢ）を配合するには、典型的に、関数αＡ＋（１−α）Ｂを当該ビデオ情報ストリームに適用する必要がある。ここで、αは1つの画像の画素毎に変化し得る値であり、ＡおよびＢは、所与のいずれかの時点における、２つの映像ストリーム（ＡおよびＢ）内の対応するフレームの中の画素である。このように、各効果を、２つのストリームの各々からの１フレームに印加する（通常、１フレームの端数のみには効果を行わない）。ある時点におけるαと、画素ＡおよびＢのアドレスとを与えれば、出力画像を発生することができる。この動作を行って組み合わせαＡ＋（１−α）Ｂの結果を判定する配合器７４は、標準デジタル・ハードウエア設計技術を用いて実施することができる。好ましくは、現場リプログラム可能ゲート・アレイを用いて、関数αＡ＋（１−α）Ｂを実施する。

２つの画素に適用されるαの値は、発生すべき効果の種類によって左右される。例えば、ディゾルブでは１フレーム内の全画素に対して同一のαを用い、αはディゾルブにおいて後のフレームになるにしたがって徐々に小さくなる。結合すべき一対の画素も、発生すべき効果の種類によって左右される。どの画素対を用いるかについての指示を、アドレッシング情報と呼ぶ。発生すべき効果の各種類に対して、状態機械および状態変数を定義し、出力映像の１フレームを処理することができる。２種類の一般的な効果に、クロマ・キーおよび／またはルーマ・キーおよびボックス・ワイプがあり、これらはディゾルブおよびフェードを含む。

例えば、クロマおよび／またはルーマ・キーイングを実施するためには、画素の各パラメータに対して、ユーザが２つの閾値Ｄ１およびＤ２、並びにキー・ポイントＫｃを定義する。これらの効果を、典型的には、画像のＹＵＶ表現に適用する。したがって、画素Ｙ、ＵおよびＶの値を、前記キー・ポイントおよびＹ、ＵおよびＶに定義した閾値と比較することによって、入来する画像を処理する。具体的には、パラメータＵを例として用いると、‖Ｋｃ−Ｕ‖を計算する。この値がＤ１より小さい場合、αを最大可能値に設定する。この値がＤ２より大きい場合、αを最小可能値に設定する。値がＤ１およびＤ２の間のどこかにある場合、αの値はこの値にしたがって決定する。本発明の一実施例では、Ｄ１〜Ｄ２はある固定数、例えば、１６であることが必要である。この固定数の大きさは、αの所望数を表わす。この実施例では、‖Ｋｃ−Ｕ‖の値がＤ１とＤ２との間にあるとき、用いるべき対応するαの値を記憶している参照テーブル（好ましくは書き換え可能なランダム・アクセス・メモリに記憶してある）に値‖Ｋｃ−Ｕ‖−Ｄ１ を適用する。αの値は、ステップ関数、Ｓ字状(sigmoid)、ランプまたはユーザが希望するいずれかの関数のような、入力‖Ｋｃ−Ｕ‖−Ｄ１ のいかなる関数でもよい。典型的には、ＹまたはＵ、Ｖのみを入力(key)し処理する。一度にＹ、ＵおよびＶの全てにキーイングを適用し、例えば、関数（１／２（α_u＋α_v）ＡＮＤα_y）を用いて、得られるα値を結合することもできる。

境界付きボックス・ワイプを発生することもできる。ボックス・ワイプは、矩形形状によって定義された２つのストリーム間の遷移である。その矩形内では、一方のチャネルからの情報を供給する。矩形の外側では、他方のチャネルからの情報を供給する。遷移領域は、矩形の境界によって厳密に定義することができ、あるいは境界の色を与えることができる。遷移は、線形ランプ（チャネルの互いに対する比率によって定義される）として記述することができる。したがって、前記ランプの上下限、ステップの幅、および持続期間によって、遷移を定義する。これらのパラメータは全て、ユーザが定義可能なものとすべきである。また、ボックスの座標もプログラム可能として、水平方向ワイプ、垂直方向ワイプ、またはコーナ間ワイプを発生できるようにすべきである。典型的に、配合は、第１チャネルから境界へ、境界から次のチャネルへ、または双方のチャネル間で行う。状態機械は、ワイプを定義する変数にしたがって、容易に定義することができ、結合すべき各画素対に出力α値を与える。最終的なαを定義するために用いる３つの値がある。α_init値は初期α_Xおよびα_Y値を定義し、ここで、α_Xおよびα_Yは状態機械にしたがって蓄積された値である。最も単純なワイプ、即ちディゾルブでは、全フレームにわたってそれら初期値を保持する、即ち変更しない。他のボックス・ワイプでは、α_Xおよびα_Yは、所望のワイプに応じて変更してもよい。この過程では、最終α値を典型的にα_Xとし、α_Yによって定義される限定関数(limiting function)を受ける。即ち、最終的なαは、α_Xがα_Yより小さいときは、典型的にα_Xであり、α_Xがα_Yより大きいときは、典型的にα_Yである。

ワイプを定義するには、２組のパラメータを用いる。第１組は、フレーム内のＸ方向に対するパラメータであり、第２組はＹ方向に対するパラメータであり、効果における走査線間の変化を定義する。ＸおよびＹパラメータは双方とも、４つのパラメータの群を４つ含み、各群は、オフセット、制御、間隔、およびデルタ情報を含む動作を表わす。オフセット情報は、配合がどこから始まるかを定義する。Ｘ方向では、最初の配合が開始する走査線内の画素を識別する。Ｙ方向では、配合が開始する走査線を識別する。その次の情報は、当該走査線またはフレームにおいて更に動作が続くかを識別する制御情報である。Ｘパラメータについて、この制御情報を２ビットで表わす。ここで、第１ビットはＡおよびＢチャネル間で映像を交換するか否かを表わす。他のビットは、Ｘ方向で他の動作が現れるか否かを示す。制御情報の次は、配合を行うべき間隔である。間隔は、走査線数または１走査線内の画素数のいずれかを識別する。最後に、デルタ情報は、定義した間隔内の各画素に対してα_Xまたはα_Yに付加すべき増分を表わす。このように、ワイプは、ＸおよびＹ方向の各々において、４群の４つの動作で定義する。第１動作はチャネルＡから境界まで、第２動作は境界から第２チャネルまで、第３動作は第２チャネルから境界まで、そして第４動作は境界から第１チャネルまでの遷移を意味する。境界がない場合、２つの動作のみを用い、第２動作は、走査線またはフレームに行うべき動作はこれ以上ないことを示す。

ＸおよびＹパラメータの各々についての４群の動作情報を含む、実行すべきワイプを定義する動作を与えると、状態機械を用いて、フレーム内の各画素に対するαを決定することができる。これらの状態機械について、図５ないし図８に関連付けて説明する。

図５は、状態機械によって制御させるいくつかの構造を例示するブロック図である。状態機械の動作について、図６および図７のフロー・チャートに関連付けて説明する。図５において、Ｘパラメータ・メモリ８２およびＹパラメータ・メモリ８０は、実行すべき動作を記憶する。これらのメモリの各々に対して、アドレス・ポインタをＸおよびＹアドレス・ポインタとして、レジスタ８４および８６に記憶する。初期ＸおよびＹデルタ値も、レジスタ８８および９０に記憶する。スイッチ９６および９８を介して、ＸおよびＹ値用蓄積器９２および９４にこれらを供給する。蓄積器９４および９６の出力を比較および切り替え部１００に供給する。この出力はα値を供給するが、この態様については図８に関連付けて後述する。また、効果を実行しているフレーム部分を指示する、ループ・カウンタ１０２もある。この意味についても、図８に関連付けて以下で更に論じることにする。また、Ｙ位置カウンタ１０４およびＸ位置カウンタ１０６もあり、制御器１０８がこれらを用いて、図６および図７のフロー・チャートにしたがって動作を行う。

次に、図６および図７について説明する。
ステップ１１０に示すように、水平リセット（ＨＲＳＴ）または垂直リセット（ＶＳＹＮＣ）時に、Ｙ蓄積器９４およびＹアドレス・ポインタ８６をクリアする。次に、スイッチ９８を介して初期Ｙデルタ値９０を蓄積器９４にロードする（ステップ１１２）。次に、Ｙパラメータ・メモリ８０からＹ位置カウンタ１０４に、オフセットを読み込む（ステップ１１４）。次に、Ｙパラメータ・メモリ８０からループ・カウンタ１０２に、制御情報を読み込む（ステップ１１６）。

処理すべき有効データが入手可能なとき、そしてＹ位置カウンタ１０４が非ゼロとなるまで、ステップ１１８において走査線に対する動作を実行する。これについては、図７に関連付けて以下で論ずる。各走査を処理した後、Ｙ位置カウンタ１０４を減分する。Ｙ位置カウンタがゼロに到達したなら、間隔を読み出し、パラメータ・メモリ８０からＹ位置カウンタ１０４にロードする（ステップ１２０）。次に、Ｙパラメータ・メモリ８０からＹ蓄積器９４に、デルタ値を読み込み、その中にある現在値に加算する（ステップ１２２）。Ｙ位置カウンタがゼロになるまで、この値を各走査線毎に加算する。図７に関連付けて以下で説明するステップにしたがって、各走査線を処理する。Ｙ位置カウンタ１０４がゼロになったとき、ステップ１２４で制御情報を検査し、Ｙ動作を更に行うか否か判断する。行うべき動作が未だある場合、処理はステップ１１４に戻る。その他の場合、システムは、他の水平リセットまたは垂直同期が発生するまで待機する。

これより１走査線に対する動作について、図７に関連付けて説明する。これらの動作は、ステップ１３０において水平同期またはリセットを受けたときに開始する。ステップ１３２において、Ｘ蓄積器９２およびＸアドレス・ポインタ８４をクリアし、８８における初期デルタ値を、スイッチ９６を介してＸ蓄積器９２にロードする。次に、ステップ１３４において、Ｘパラメータ・メモリ８２からＸ位置カウンタ１０６に、オフセットをロードする。次に、ステップ１３６において、Ｘパラメータ・メモリ８２からループ・カウンタ１０２に制御情報を読み込む。Ｘ位置カウンタ１０６がゼロになるまで、有効データが入手可能であれば、Ｘ位置カウンタを減分する（ステップ１３８）。次に、ステップ１４０において、Ｘパラメータ・メモリ８２からＸ位置カウンタ１０６に間隔を読み込む。次に、Ｘ位置カウンタがゼロになるまで、Ｘパラメータ・メモリ８２からＸ蓄積器９２にデルタ値を読み込み、蓄積器９２内の現在値に加算する（ステップ１４２）。この動作に沿って、Ｘアドレス・ポインタおよびＹアドレス・ポインタを増分し、正しい動作を識別する。ステップ１４４で判定したように、更にＸ動作を行うべきことを制御情報が示す場合、処理はステップ１３４に戻る。その他の場合、他の水平同期またはリセットが発生するまで、システムはステップ１４６で待機する。

走査線内の各画素について、Ｙ位置カウンタ１０６上での各減分動作によって示したように、比較および切り替え部１００からα値を出力する。この動作をいかに行うかについては、先に論じた。この選択における、より複雑なボックス・ワイプについての詳細を、図８に関連付けてこれより説明する。

図５に示したように、比較および切り替え部１００は、Ｙ蓄積器９４からα_Y値を、そしてＸ蓄積器９２およびループ・カウンタ１０２からα_X値を受ける。ループカウンタは、境界付きボックス・ワイプのどの四分区間(quadrant)が処理中であるかを示す。四分区間の指示は、状態機械の状態およびカウンタによって、容易に判定することができる。Ｘ動作およびＹ動作は、各々４群の４つのパラメータで定義してあり、各群は画像の一部に対して実行すべき動作を識別するので、丁度１６種類のＸパラメータおよびＹパラメータの組み合わせがあり、各々、得られた画像の四分区間を識別する。各四分区間に対するα値は、α_X値およびα_Y値と所定の関係を有する。したがって、ループ制御１０２にしたがって、α_Xおよびα_Yから適切な選択を行うことができる。

各四分区間のα_Xおよびα_Yに対するα値の関係について、図８に関連付けてこれより説明する。
図８は、境界付きボックス・ワイプの２５領域、および一方の画像、境界色、および他方の画像間の遷移を図示する。この効果では、考慮すべき１５種類の一般的な領域があり、これにしたがって各々ボックスの左上側角に番号を表示してある。例えば、第１領域２００には、２０２で示すように、ゼロを表記してある。各領域において、画像データ源を識別するボックス２０４を示す（ここでＣＨ０は配合器７６の入力Ａに印加するチャネルに対応し、ＣＨ１は配合器の入力Ｂに印加する入力に対応する）。ボックス２０４の第１行目は、配合器に供給すべきα値を示す。「Ａ」は、領域４、７、８および１１におけるように、α_Xをαとして供給することを示す。「ＡＬ」は、領域１、２、１３および１４におけるように、α_Yをα値として供給することを示す。「ＡＬ：Ａ＜ＡＬ」は、領域０、３、１０、１２および１５におけるように、α_Xがα_Yより小さいときα_Xを供給し、その他の場合はα_Yを供給することを示す。「ＡＬ：Ａ＞＝ＡＬ」は、領域５、６および９におけるように、α_Xを供給したときにα_Xがα_Yより大きくなければ、α_Yを供給することを示す。

以上、本発明のいくつかの実施例について説明したが、上述のものは単なる例示であって、限定ではなく、単に例として示したに過ぎないことは、当業者には明白であろう。多数の改造およびその他の実施例は、当業界の一通常技術の範囲内であり、添付の特許請求の範囲に規定した本発明の範囲およびその均等物に該当するものと解釈する。

図１は、従来技術において用いられているメディア・パイプラインのブロック図である。 図２は、本発明による改造メディア・パイプラインのブロック図である。 図３は、本発明によるメディア・パイプラインの改造圧縮／伸張サブシステムの、より詳細なブロック図である。 図４は、リアルタイム・デジタル映像効果を発生するための、本発明による改造メディア・パイプラインのブロック図である。 図５は、ボックス・ワイプのためのα発生器のブロック図である。 図６は、ボックス・ワイプのための、フレーム内の各走査線に対する状態機械の動作を記述するフロー・チャートである。 図７は、ボックス・ワイプのための、１つの走査線内の各画素に対する状態機械の動作を記述するフロー・チャートである。 図８は、ボックス・ワイプのために、１つの画像の異なる領域に対していかにαを決定するかを示す図である。

Claims (17)

1. デジタル映像効果を生成するための映像編集システムにおいて使用するための方法であって、前記映像編集システムが、効果処理装置を備え、該効果処理装置が、ファイル・システム（４０）に格納された１つ以上のデータ・ファイルからの第１と第２のデジタル静止画像シーケンスを、該効果処理装置が生成する前記デジタル映像効果を含む第３のデジタル静止画像シーケンスの出力装置による再生の間において使用し、前記効果処理装置が、前記第１シーケンスに対する処理の前に映像データを格納するための第１のバッファ（４２）と、前記第２シーケンスに対する処理の前に映像データを格納するための第２のバッファ（４２）と、前記出力装置による再生の前に前記生成される第３シーケンスを格納するための第３のバッファ（４６）と、を有し、前記方法が、
   前記第１バッファ内および前記第２バッファ内のデータ量を判定するステップと、
   前記第１および第２のシーケンス（Ａ，Ｂ）のうちの１つを選択し、該選択したシーケンスが、該シーケンスに関連した前記バッファ（４２）内に最小の量のデータを有し、かつ該シーケンスに関して読み出されるべき映像データの所望の量を選択するステップと、
   該選択されたシーケンスに関して、前記ファイル・システム（４０）における前記選択されたシーケンスに対する前記データ・ファイルから前記所望の量の映像データを読み出すステップと、
   前記デジタル映像効果を定める効果パラメータを受けるステップと、
   前記効果処理装置（５９）を前記効果パラメータにしたがって使用して、前記ファイル・システムから受けた前記第１および第２のバッファ（４２）内の前記映像データを処理するステップであって、これにより前記出力装置による再生のため前記第３バッファへの前記第３シーケンスを生成する、前記の処理するステップと、
   前記出力装置による前記第３シーケンスの再生の間に、前記の判定するステップ、選択するステップ、読み出すステップおよび処理するステップを繰り返すステップと、
   を備えた方法。
2. 請求項１記載の方法において、前記効果パラメータは、前記第１シーケンス（Ａ）から前記第２シーケンス（Ｂ）への遷移を定め、前記方法が、さらに、
   前記第１および第２のバッファからの前記第１および第２のシーケンス（Ａ，Ｂ）のそれぞれの読み出しを制御するステップと、
   前記読み出した第１シーケンスおよび前記読み出した第２シーケンスから、前記定められた遷移にしたがって前記第３デジタル静止画像シーケンスを生成するステップと、
   を備えたこと、を特徴とする方法。
3. 請求項１または２に記載の方法において、前記出力装置は、映像符号化器であり、前記方法が、さらに、
   前記第３デジタル静止画像シーケンスを、動画信号に符号化されるように前記映像符号化器に転送するステップ、
   を含み、前記映像データの処理は、再生の間において前記映像符号化器からの要求に応答して実行すること、を特徴とする方法。
4. 請求項１から３のいずれかに記載の方法において、前記第１および第２のバッファは双方とも、先入れ先出し形式で映像データを受けて出力すること、を特徴とする方法。
5. 請求項１から４のいずれかに記載の方法において、前記第３シーケンスにおける画像の再生速度は、ユーザ選択可能であること、を特徴とする方法。
6. 請求項１から５のいずれかに記載の方法において、処理が、
   前記第１シーケンスからの第１の画素と前記第２シーケンス（Ｂ）からの第２の画素を配合するための配合値を決定するステップであって、前記配合値は、前記効果パラメータと、前記第１画像における前記第１画素の位置と、前記第２画像における前記第２画素の位置とに基づく、前記のステップと、
   前記配合値に基づき前記第１画素と前記第２画素の配合を定める配合関数を決定するステップと、
   を備えたこと、を特徴とする方法。
7. 請求項６記載の方法において、前記配合関数は、αＡ＋（１−α）Ｂとして定められ、αは前記配合値であり、Ａは前記第１画素であり、Ｂは前記第２画素であること、を特徴とする方法。
8. 請求項６記載の方法であって、さらに、
   前記効果パラメータに基づき配合すべき前記第１シーケンスの前記第１画素と前記第２シーケンスの前記第２画素を判定するステップ、
   を含むこと、を特徴とする方法。
9. 請求項１から８のいずれかに記載の方法を実施する装置。
10. 効果処理装置を備えたデジタル映像効果を生成するための映像編集システムであって、前記効果処理装置が、ファイル・システム（４０）に格納された１つ以上のデータ・ファイルからの第１と第２のデジタル静止画像シーケンスを、該効果処理装置が生成する前記デジタル映像効果を含む第３のデジタル静止画像シーケンスの出力装置による再生の間において使用し、前記効果処理装置が、前記第１シーケンスに対する処理の前に映像データを格納するための第１のバッファ（４２）と、前記第２シーケンスに対する処理の前に映像データを格納するための第２のバッファ（４２）と、前記出力装置による再生の前に前記生成される第３シーケンスを格納するための第３のバッファ（４６）と、を有し、前記システムが、
    前記第１バッファ内および前記第２バッファ内のデータ量を判定するステップと、
    前記第１および第２のシーケンス（Ａ，Ｂ）のうちの１つを選択し、該選択したシーケンスが、該シーケンスに関連した前記バッファ（４２）内に最小の量のデータを有し、かつ該シーケンスに関して読み出されるべき映像データの所望の量を選択するステップと、
    該選択されたシーケンスに関して、前記ファイル・システム（４０）における前記選択されたシーケンスに対する前記データ・ファイルから前記所望の量の映像データを読み出すステップと、
    前記デジタル映像効果を定める効果パラメータを受けるステップと、
    前記効果処理装置（５９）を前記効果パラメータにしたがって使用して、前記ファイル・システムから受けた前記第１および第２のバッファ（４２）内の前記映像データを処理するステップであって、これにより前記出力装置による再生のため前記第３バッファへの前記第３シーケンスを生成する、前記の処理するステップと、
    前記出力装置による前記第３シーケンスの再生の間に、前記の判定するステップ、選択するステップ、読み出すステップおよび処理するステップを繰り返すステップと、
    を行うように構成されたこと、を特徴とする映像編集システム。
11. 請求項１０記載のシステムにおいて、前記効果パラメータは、前記第１シーケンス（Ａ）から前記第２シーケンス（Ｂ）への遷移を定め、前記システムが、さらに、
    前記第１および第２のバッファからの前記第１および第２のシーケンス（Ａ，Ｂ）のそれぞれの読み出しを制御するステップと、
    前記読み出した第１シーケンスおよび前記読み出した第２シーケンスから、前記定められた遷移にしたがって前記第３デジタル静止画像シーケンスを生成するステップと、
    を実行するように構成されたこと、を特徴とする映像編集システム。
12. 請求項１０または１１に記載のシステムにおいて、前記出力装置は、映像符号化器であり、前記システムが、さらに、
    前記第３デジタル静止画像シーケンスを、動画信号に符号化されるように前記映像符号化器に転送するステップと、
    再生の間において前記映像符号化器からの要求に応答して前記映像データを処理するステップと、
    を実行するように構成されたこと、を特徴とする映像編集システム。
13. 請求項１０から１２のいずれかに記載のシステムにおいて、前記第１および第２のバッファは双方とも、先入れ先出し形式で映像データを受けて出力すること、を特徴とする映像編集システム。
14. 請求項１０から１３のいずれかに記載のシステムにおいて、前記第３シーケンスにおける画像のユーザ選択可能な再生速度を含むこと、を特徴とする映像編集システム。
15. 請求項１０から１４のいずれかに記載のシステムにおいて、前記処理コンポーネントは、
    前記第１シーケンスからの第１の画素と前記第２シーケンス（Ｂ）からの第２の画素を配合するための配合値を決定するステップであって、前記配合値は、前記効果パラメータと、前記第１画像における前記第１画素の位置と、前記第２画像における前記第２画素の位置とに基づく、前記のステップと、
    前記配合値に基づき前記第１画素と前記第２画素の配合を定める配合関数を決定するステップと、
    を実行するように構成されたこと、を特徴とする映像編集システム。
16. 請求項１５記載のシステムにおいて、前記配合関数は、αＡ＋（１−α）Ｂとして定められ、αは前記配合値であり、Ａは前記第１画素であり、Ｂは前記第２画素であること、を特徴とする映像編集システム。
17. 請求項１５記載のシステムであって、さらに、
    前記効果パラメータに基づき配合すべき前記第１シーケンスの前記第１画素と前記第２シーケンスの前記第２画素を判定するステップ、
    を実行するように構成されたこと、を特徴とする映像編集システム。

Images