JP2009505553A - ビデオストリームへの視覚効果の挿入を管理するためのシステムおよび方法 - Google Patents

Abstract

ビデオストリームに視覚効果をリアルタイムで挿入するのに用いられる方法およびシステムが提示される。ビデオストリームに含まれる、目的の領域を含む少なくとも１つの基準画像が用いられる。基準画像は、その中で、少なくともいくつかの基準特徴のセットを規定し、基準画像内の目的の領域に対して所望の配向で視覚効果を基準画像に挿入することによって処理される。連続したビデオフレームは、いくつかのビデオフレームのシーケンスで捕捉され、ビデオフレームの少なくとも１つが少なくとも１つのスナップショット画像として用いられる。スナップショット画像は、その中で、基準特徴から少なくとも２つを選択し、スナップショット画像と基準画像との基準変換を決定することによって処理される。スナップショット画像のこの処理とは独立して、スナップショット画像および他のビデオフレームは処理され、それらの間の変換のシーケンスが決定される。これらのデータは、基準画像と、ビデオフレームのいずれか１つとの間の動作変換を決定するために用いられ、他のビデオフレームに視覚効果を挿入するために動作変換を用いることによってビデオストリームにおける視覚効果の出現をリアルタイムで管理することができる。
【選択図】 図１

Description

本発明は、一般に、機械ビジョンの分野であり、特に、映画および放送に有用な視覚効果をビデオストリームに挿入するためのシステムおよび方法に関する。

映画および放送に対して視覚効果を作成するために通常用いられるいくつかの一般的な手法がある。これらには、「マッチムービング（matchmoving）」が含まれ、この用語は、ライブアクション場面に挿入される視覚効果（例えば、オブジェクト）の位置および角度を、ライブアクション場面自体と合致させる処理を指す。視覚効果の例としては、コンピュータで生成されたイメージ（例えば、動画として作成された生物）、サッカーオフサイドライン、フィールド上の要素間の距離、ビデオ内の様々な要素におけるハイライト、広告ロゴ、静止フレームから構築されたグラフィックシーケンス、３Ｄオブジェクトレンダリング、視覚効果としての外部ビデオ源の挿入、ならびに他の任意のオブジェクトの挿入および／または改変が挙げられる。

ライブアクション場面は、フィルム、ビデオ、またはテレビカメラで撮影され得る。マッチムービング手法は、もっともらしく見える視覚効果を作成するために必要なステップである。マッチムービングを用いる応用としては、映画中で何らかのブランドまたは会社の宣伝用に意図されたいくつかのオブジェクトの様相を変更することが挙げられ、これは、映画視聴者の地理的なロケーションに従って実行される。また、マッチムービングは、競泳においてあたかも水面下にあるように見えるレーン番号、またはサッカーゲームにおけるオフサイドラインなどの補助的なラインもしくはシンボルをスポーツ放送に加えるために用いられる。さらにマッチムービングに基づいた他の応用では、動画として作成されたキャラクターが映画に追加されたり、その逆で、コンピュータで生成されたシーンに本物の俳優が追加されたりする。

マッチムービングの応用では、一般に、グラフィカルなオブジェクトをビデオストリームに正確に調整するために必要な、カメラ撮影パラメータに関する情報を得るための主に２つのアプローチがある。第１のアプローチは、物理的測定を通してカメラパラメータを提供することを目的とした、感知システムの使用に基づく。センサに基づいたシステムは、その普遍性によって特徴づけられ、これは、これらのシステムがビデオストリームの内容に関係なく独立して用いられ得ることを意味する。他方、これらのシステムは、（特に、屋外条件に対する）不十分な感知感度、時間のかかる較正手法および高コストなど、測定システムの典型的な限定を受ける。

第２のアプローチは、コンピュータビジョン技術を幅広く活用する。このアプローチによると、カメラパラメータに関する必要な情報は、ビデオストリームから直接抽出される。このクラスの方法については、過去１５年間に集中的に調査されてきた。

カメラパラメータ（例えば、３次元における位置および配向、フォーカス、ズーム、ひずみ）に関する情報を場面から抽出する手法は、固定カメラに対するカメラ較正または移動カメラに対するカメラ追跡として知られている。上記の２つの一般的なアプローチを組み合せる場合には、カメラパラメータは、カメラ感知システムの存在下で容易に決定され得る。カメラ追跡は、ＲｅａｌＶｉｚ Ｓ．Ａ．および２ｄ３ Ｌｉｍｉｔｅｄからそれぞれ市販されている自動化マッチムービングソフトウェア製品Ｒｅａｌｖｉｚ Ｍａｔｃｈ ＭｏｖｅｒおよびＢｏｕｊｏｕだけでなく、米国特許第６，１００，９２５号および５、４３６，６７２号において用いられている。しかし、この手法は、２次元（２Ｄ）フレームから３次元（３Ｄ）パラメータを決定する必要があるためかなり複雑である。カメラ追跡技術における問題の大半は、較正特徴のセットおよびその幾何学的関係を予め規定する必要があること、特にライブ放送に対して厳しい時間の制約を満足する必要があること、迅速な動き、カメラのオクルージョンまたは良好でない撮像条件により、追跡された較正特徴が失われる可能性があることに関連する。物理的測定によりカメラパラメータを提供することを目的とした感知システムを用いる場合、問題は、製品価格の上昇およびさらなる機器の必要性だけでなく、不十分な感知精度に関連する。

他のアプローチは、いわゆるシーンモーション（グローバルモーション）追跡技術を用いる。このアプローチは、画像処理アルゴリズムによって直接的なフレーム間（フィールド間）幾何学的変換を評価できる点において、カメラ追跡よりも有利である。シーンモーション追跡方法の例としては、ブロックマッチング、オプティカルフロー、および当該技術分野で公知のその他の技術が挙げられる［Ｙ．Ｗａｎｇ、Ｊ．Ｏｓｔｅｒｍａｎｎ、Ｙ．Ｚｈａｎｇ，“Ｖｉｄｅｏ ｐｒｏｃｅｓｓｉｎｇ ａｎｄ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ”、Ｐｒｅｎｔｉｃｅ Ｈａｌｌ、２００１、１４１〜２１６ページ、およびＵＳ５，８０８，６９５］。このタイプの公知の技術の大半は、連続して捕捉されるフレーム間の変換を見出すために、基準点／特徴の選択されたセットを用いる。

上記の方法の例は、以下の米国特許：第５，２６４，９３３号、第５，３５３，３９２号、第５，５１５，４８５号、第５，７３１，８４６号、第５，８９２，５５４号、第５，４９１，５１７号，第５，４３６，６７２号、第６，１００，９２５号、第６，１８１，３４５号、第６，７６５，５６９号において見出される。

ビデオストリームに視覚効果（例えば、グラフィックス）を迅速、効果的、かつシームレスに挿入することを可能にする新規のシステムおよび方法を提供することによって、放送（ＴＶまたは映画などのリアルタイムもしくはポストプロダクション）を容易することが当該技術分野で求められている。

本発明の主要な概念は、視覚効果の挿入を開始するためにオペレータのプロンプトを用いること、および経時的に適切なグラフィックスを追跡するためのグローバルモーション推定技術を活用することからなる。

これは、以下に関連している。大抵の公知のアルゴリズムの主要ステップは、何らかのパターン認識（ＰＲ）問題を解決すること、即ち、特定のパターンを定義し、それをビデオ画像で見出すことである。所定のパターンで満足されるべき唯一の要件は、ビデオ画像上のパターン位置を知ることで、その画像上でのマッチムービング動作に関するすべての情報が提供されることである。このようなパターンの典型的な例としては、サッカーのゴール領域をマークする１つまたは複数の中心円ライン、テニス場のコートライン等が挙げられる。しかし、このような純粋なＰＲ法（即ち、パターンのサーチのみに基づくアルゴリズム）では、大抵の場合、システムは良好な能力を発揮しない。即ち、すべてのビデオフレームについて信頼のおける安定した認識を有効な時間内に提供することは困難である。例えば、スポーツイベント放送では、迅速なカメラの動き、照明条件等の要因は、純粋なＰＲ法の効率を著しく低下させる。このため、マッチムービングの応用は、ＰＲに基づいた方法と、いわゆる「グローバルモーション推定」技術との組み合せを用いることが可能である。ビデオ符号化の応用範囲で集中的に開発された後者は、高度に相互関連した画像間（特に、連続したビデオフレーム間）の関係を計算するために、かなりの量の情報を用いる。このような組み合せ技術によって、マッチムービングの開始点として、何らかの「良好な」ピクチャのためのＰＲソリューションを活用し、独立して計算されたグローバルモーションの推定を用いて経時的にこのソリューションを追跡することができる。しかし、この非常に一般的で強力なアプローチは、所定のパターンとして用いられる幾何学的オブジェクトを目的の領域で見出すことができない状況に適用される場合には、マッチムービングソリューションを提供できない。例えば、バーチャルオフサイドラインをＴＶ視聴者に示すことを目的としたシステムでは、このようなオフサイドシーンは、中心円とゴール領域との間に設けられ得るため、一連のビデオ画像は、正確な自動化パターン認識のための十分な情報を含まない場合もある。

本発明は、視覚効果の挿入を開始するためにオペレータの入力を用い、経時的に適切なグラフィックスを追跡するためのグローバルモーション推定技術を実行する新規の技術を提供することによって、上記の問題を解決する。本発明によると、これは、（ビデオストリームに含まれる）目的の領域の１つまたはそれ以上の基準画像、およびビデオストリームの捕捉されたフレームの１つまたはそれ以上のスナップショット画像を用いることによって実行される。基準画像は、そこに、目的の領域に対して所望の配向で特定の視覚効果を挿入するために用いられる。これらの画像（基準およびスナップショット）は、基準特徴に基づき、これらの画像間の変換を見出すために用いられる。より詳細には、特定の数の基準特徴が選択され、基準画像内にマークされ、それらのうちの少なくともいくつかがスナップショット画像内で見出されてマークされる。この手法とは独立して（同時に実施されてもされなくてもよい）、スナップショット画像と他のビデオフレームとの変換（スナップショットから開始し、スナップショットフレームの下流および／または上流フレームに進む）は、所定の基準特徴のサーチを必要とせず、任意の公知の画像処理技術によって決定される。この技術は、視覚効果のビデオストリームへの迅速、効果的、かつシームレスな挿入を提供する。

本明細書で用いられる用語「目的の領域（region of interest）」は、所望の視覚効果が提示される領域を意味する。目的の領域は、ビデオストリームシーンの一部に過ぎないかも知れないことを理解されたい。

スナップショット画像だけでなく基準画像は、実際には、捕捉されたビデオフレームまたはフィールドを提示することに留意されたい。本明細書では、「画像」という用語は、基準フレーム／フィールドおよびスナップショットフレーム／フィールドと、「ビデオフレーム」という他の用語とを区別して、本発明の説明を簡単にするためだけの目的で、基準フレームおよびスナップショットフレームに関連して用いられる。これは、本発明によると、基準特徴は、基準フレームおよびスナップショットフレームのみに適用され、その他の捕捉されたフレームに関連して用いられる必要がないからである。

本発明の１つの広い局面によると、視覚効果をビデオストリームにリアルタイムで挿入するために用いられる方法が提供される。

この方法は、
ｉ.前記ビデオストリームに含まれる目的の領域を含む少なくとも１つの基準画像を処理するステップであって、前記少なくとも１つの基準画像内で少なくともいくつかの基準特徴のセットを規定し、前記少なくとも１つの基準画像に、前記基準画像における目的の領域に対して所望の配向で視覚効果を挿入することを含むステップと、
ｉｉ．前記ビデオストリームから、いくつかのビデオフレームのシーケンスにおける連続したビデオフレームを捕捉し、前記ビデオフレームの少なくとも１つを少なくとも１つのスナップショット画像として用いるように選択するステップと、
ｉｉｉ．前記少なくとも１つスナップショット画像を、前記少なくともいくつかの基準特徴から少なくとも２つの特徴をその中に選択することによって処理し、前記スナップショット画像と前記基準画像との基準変換を決定し、前記スナップショット画像の前記処理とは独立して、処理を前記スナップショット画像および前記ビデオフレームのシーケンスにおけるその他のビデオフレームに適用し、前記スナップショット画像と前記基準画像との変換のシーケンスを決定するステップと、
ｉｖ．前記決定された変換のシーケンスおよび前記決定された基準変換を用いて、前記基準画像と、前記シーケンス内の前記いくつかのビデオフレームのいずれか１つとの間の動作変換を決定し、他のビデオフレームへ視覚効果を挿入するために前記動作変換を用いることによって前記ビデオストリームにおける視覚効果の出現のリアルタイム管理を可能にするステップとを含む。

好ましくは、前記ビデオフレームは、前記目的の領域に対して固定位置で回転するように構成された撮像器を用いて捕捉される。あるいは、またはさらに、この技術は、実質的に平坦な目的の領域に適用可能である。

好ましくは、少なくともいつくかの前記ビデオフレーム間の変換のシーケンスの前記決定は、パターン認識に基づいた画像処理を前記ビデオフレームに適用することを含む。好ましくは、前記パターン認識は、ビデオレートにおける背景ウィンドウの動きの推定（いわゆる「ウィンドウズ技術（windows technique）」）を用いる。

好ましくは、前記スナップショット画像の前記処理は、前記スナップショット画像において、前記基準特徴の２つのみを選択してマークすることを含む。これは、スナップショット内でマークされる基準特徴の総数が、１つより多くのスナップショット画像に設けられる場合であることに留意されたい。例えば、それぞれが、異なる基準特徴を含む２つのスナップショット画像が選択される。これら２つのスナップショット画像間の変換を決定することによって、両基準点は、これらのスナップショット画像の１つに見出され得る。また、好ましくは、前記基準特徴のセットは、少なくとも４つの基準特徴を含む。しかし、本発明は、基準画像内の４つの基準点の使用にも、スナップショット画像内の２つの基準点の使用にも限定されないことを理解されたい。一般に、スナップショット画像内での２つの基準点の選択を可能にするために、少なくとも２つの基準点が基準画像内で選択され、対応する数の基準点が基準画像内で定義されていた場合には、２つより多くの基準点が、スナップショット画像内でマークされ得る。

スナップショット内で選択された基準点と基準画像内で選択された基準点との対応は、決定してもしなくてもよいことにも留意されたい。

本発明のいくつかの応用では、方法はまた、ビデオフレームの少なくともいくつかにおいて、前記目的の領域における少なくとも１つの動くオブジェクトを選択することを含む。この少なくとも１つの動くオブジェクトの現在の位置は、それぞれのビデオフレームにおける視覚効果の出現を決定する。

好ましくは、本発明の方法は、オペレータ（手動モード）によって管理される。さらに詳細には、オペレータは、基準画像において基準特徴のセットを選択してマークし、スナップショット画像において少なくとも２つの基準特徴を選択してマークする。

本発明の方法は、リアルタイムサッカーゲーム放送中の視覚効果の挿入、および／またはロゴもしくは動画として作成された広告の挿入、および／または他のスポーツ放送における視覚効果の挿入に特に有用であるが、一般に、任意のタイプの放送（リアルタイムまたはポストプロダクション）に用いられ得る。

本発明の他の広い局面によると、ビデオストリームに視覚効果をリアルタイムで挿入するために用いられる方法が提供される。この方法は、
ｉ．ビデオストリームに含まれる目的の領域を含む少なくとも１つの基準画像を処理するステップであって、前記少なくとも１つの基準画像内で少なくともいくつかの基準特徴のセットを定義し、前記少なくとも１つの基準画像に、前記基準画像における目的の領域に対して所望の配向で視覚効果を挿入することを含むステップと、
ｉｉ．撮像器によって得られた前記ビデオストリームからいくつかのビデオフレームのシーケンスを捕捉し、前記ビデオフレームの少なくとも１つを少なくとも１つのスナップショット画像として用いるように選択するステップと、
ｉｉｉ．前記少なくとも１つのスナップショット画像を、前記少なくともいくつかの基準特徴から少なくとも２つの特徴をその中に選択することによって処理し、前記スナップショット画像と前記基準画像との基準変換を決定し、前記スナップショット画像の前記処理とは独立して、処理を前記スナップショット画像および前記ビデオフレームの前記シーケンスのその他のビデオフレームに適用し、前記スナップショット画像と前記基準画像との変換のシーケンスを決定するステップと、
ｉｖ．前記決定された変換のシーケンスおよび前記決定された基準変換を用いて、前記基準画像と、前記シーケンス内の前記いくつかのビデオフレームのいずれか１つとの間の動作変換を決定するステップとを含み、
それによって、前記ビデオストリームにおける前記視覚効果の出現のリアルタイム管理を可能にする。

本発明のさらに他の広い局面によると、ビデオストリームに視覚効果をリアルタイムで挿入するために用いられるシステムが提供される。このシステムは、
（ａ）前記ビデオストリームを示すデータを受信するように構成されたフレームグラッバユーティリティと、
（ｂ）前記フレームグラッバに接続可能で、オペレータに以下：少なくとも１つの基準画像内で少なくともいくつかの基準特徴のセットを規定し、前記少なくとも１つの基準画像に、前記基準画像における目的の領域に対して所望の配向で視覚効果を挿入することによって、前記ビデオストリームに含まれる目的の領域を含む基準画像を処理し、少なくとも１つのスナップショット画像として用いられる少なくとも１つのビデオフレームを選択し、前記少なくとも１つのスナップショット画像を、その中に、前記少なくともいくつかの基準特徴から少なくとも２つの特徴を選択することによって処理すること、を実行させるように構成され動作可能なマネージャユーティリティと、
（ｃ）前記ビデオストリームの連続したビデオフレームを示すデータ、前記いくつかの基準特徴をその中に有する基準画像を示すデータ、ならびに前記少なくとも１つのスナップショット画像およびその中の前記少なくとも２つの基準特徴を示すデータに応答するように構成され動作するプロセッサユーティリティであって、前記少なくとも１つのスナップショット画像のビデオフレームを含む前記少なくともいくつかのビデオフレーム間の変換シーケンスを決定する、ビデオフレームシーケンスを示す前記データの第１の処理と、前記スナップショット画像と前記基準画像との間の基準変換を決定する、前記基準画像および前記スナップショット画像を示す前記データの第２の処理とを独立して実施するように構成され、決定された変換を分析して、前記基準画像と前記ビデオフレームのいずれか１つとの間の動作変換を決定し、この動作変換をビデオストリームにおける視覚効果の出現をリアルタイムに管理するために用いるように構成されたプロセッサユーティリティとを有する。

本発明を理解し、本発明が実際にどのように実行され得るのかを理解するため、以下、添付の図面を参照しながら、限定しない実施例のみにより、好ましい実施形態を説明する。

図１は、ビデオストリームに視覚効果を挿入するために用いられる、特に、リアルタイム放送において用いられる本発明の方法の例をフロー図により示す。

本発明によると、目的の領域の１つまたはそれ以上の基準画像が提供される（ステップ１０）。目的の領域は、ビデオストリームに含まれるものであり、スタジアム、テニスコート、映画スタジオ等の一部であり得る。

基準画像は、これに特定の処理を適用するオペレータに表示される（ステップ２０）。処理は以下を含む。オペレータは、基準画像内で少なくともいくつかの基準特徴のセットを規定する（ステップ２２）。一般に、基準画像内で基準特徴を２つだけ用いれば本発明の技術としては十分であるが、好ましくは、少なくとも４つのこのような基準特徴が用いられる。（以下にさらに記載されるように）スナップショット画像をさらに処理するためには、スナップショット画像内のこれらの基準特徴から少なくとも２つを選択する必要があるからである。

上記のように、基準およびスナップショット画像は、捕捉されたビデオフレームまたはフィールドであり、「画像」という用語は、基準／スナップショットフレームと、他の「ビデオフレーム」とを区別するために、基準およびスナップショットフレームに関連して用いられる。

基準特徴は、自然のランドマーク、または目的の領域に意図的にもたらされたオブジェクトであり得る。例えば、サッカーゲームでは、基準特徴は、シーンの異なるゾーンをマークするラインの交差部を含み得る。基準画像において基準特徴を選択する前または後で、オペレータは、目的の領域に対して所望の配向で（即ち、相対的に調節させて）特定の視覚効果を基準画像に挿入する（ステップ２４）。視覚効果が挿入された画像（フレーム、フィールド）を、「増強画像」または「増強フレーム」と呼ぶ。

基準画像の処理と同時または別個に、システム（その構築および動作については、以下にさらに記載される）は、シーンの連続したビデオフレームを捕捉するように動作する（ステップ３０）。これらのビデオフレームは、少なくともいくつかのビデオフレーム間の変換のシーケンスを決定するように処理される（ステップ３２）。これらのビデオフレームの１つ（またはそれ以上）は、（オペレータによって）スナップ画像として用いられるように選択される（ステップ３４）。スナップショット画像は、決定された変換シーケンスによって該ビデオフレームの少なくとも他のいくつかに結合されるように選択された連続して捕捉された該ビデオフレームの１つである。

１つまたはそれ以上のスナップショットフレームは、オペレータに対して表示され、オペレータは、その中で、基準画像用に規定された基準特徴のセットから少なくとも２つの基準特徴を選択する（ステップ４０）。次に、（マークされた基準特徴を有する）基準およびスナップショット画像は、スナップショット画像と基準画像との間の基準変換を決定するように処理される（ステップ５０）。

図１のフローチャートに具体的には示されていないが、選択されたスナップショットおよび基準画像内に２つの共通の基準特徴が見出されない場合には、以下のうちの少なくとも１つが実行されることに留意されたい。即ち、他のスナップショット画像が捕捉されるか、（対応する増強画像を有する予め準備された画像からの）他の基準画像が使用されるか、他の基準特徴のセットまたはさらなる基準特徴が選択される。また、（最も好ましくはないが）新たな基準画像を準備し処理する（即ち、基準特徴が選択され、増強された基準画像が準備される）必要がある場合がある。増強された基準画像の準備には時間がかかるため、特にリアルタイム放送では避けられることを考慮すると、基準／増強画像のフルセットをオフラインで準備することが好ましい（ステップ１０および２０）。

次に、（ステップ３２で決定された）変換シーケンスおよび（ステップ５０で決定された）基準変換が分析され、視覚効果をビデオフレームの１つに挿入し、ビデオストリームフレーム（ビデオストリームのすくなくとも一部）の増強を開始するために用いられる動作変換が決定される（ステップ５２）。ビデオフレームの増強は、動作変換を、視覚効果を含む増強された基準画像の一部に適用することによって実行される（ステップ６０）。その後、さらなる視覚効果の挿入（即ち、ビデオストリームのさらなるビデオフレームの増強）が、（ステップ３２で決定された）変換シーケンスに基づいて実行される（ステップ６２）。

リアルタイム放送では、いくつかのビデオフレームは、オペレータがスナップショット画像内での基準特徴（少なくとも２つの基準特徴）の選択を完了するまでにすでに放送されるかも知れない。従って、これらのビデオフレームは、増強プロセスを抜かされてしまう。しかし、基準画像への視覚効果の挿入などの時間のかかる動作は、放送前に実施され得る。従って、さらなるビデオフレームは、リアルタイムで増強され、視覚効果が挿入された状態で放送され得る。

図２を参照する。図２は、上記の方法の具体的ではあるが限定しない例を示す。本実施例における基準画像２００およびいくつかの連続したビデオフレーム、９個のそのようなフレーム２０１から２０９が示される。ビデオフレーム間の変換のシーケンスは、矢印Ｔ_201,202、Ｔ_202,203、Ｔ_203,204、Ｔ_204,205、Ｔ_205,206、Ｔ_206,207、Ｔ_207,208、およびＴ_208,209で表される。一般に、各変換は、同じシーンの各対のビデオフレーム間の対応を規定し、これは、１つのフレームから他のフレームへの各ポイントの投影機能である。

ビデオフレーム間の変換は、例えば、ブロックマッチング、オプティカルフロー等の技術に基づく、様々なグローバルモーション推定方法によって確立され得る（例えば、Ｙ．Ｗａｎｇ ｅｔ ａｌ．“Ｖｉｄｅｏ Ｐｒｏｃｅｓｓｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ”、Ｐｒｅｎｔｉｃｅ Ｈａｌｌ、２００１、１４１〜２１６頁）。本発明は、シーンモーション追跡を用い、変換決定のために、カメラ追跡（カメラ移動パラメータの決定）を用いても用いなくてもよい。

本発明は、有利なことに、ビデオストリームの２Ｄ画像からのカメラ位置の計算を含まず、ビデオフレームのシーケンス全体にわたる特定の基準特徴の追跡を用いない。従って、第１のフレームといくつかの共通の特徴を有し、第２のフレームといくつかの共通の特徴を有する（後者の共通の特徴は、前者の共通の特徴とは同じであっても異なっていてもよい）第３のビデオフレームが存在する場合には、異なる視野の２つのビデオフレームを結合する変換を確立することができる。本明細書で用いられる「視野」という用語は、実際には、現在の配向においてカメラから見たシーンの一部を指し、カメラパラメータを意味しないことを理解されたい。

図２に戻る。図２に示される変換は、任意の公知の適切な方法によって確立され得る。一般に、所望の視覚効果は、これらの効果が、他のビデオフレーム挿入される場合に、任意のビデオフレームに挿入され、これら２つのビデオフレームを結合する変換は公知である（決定されている）。（増強されたビデオストリームのリアルタイム放送またはポストプロダクションがこのフレームから開始されることを考慮すると）視覚効果をビデオフレーム２０５に挿入するために、以下の技術が用いられる。

視覚効果は、基準画像２００に挿入され、基準特徴Ｒ₁〜Ｒ₄は、基準画像内でマークされる。ビデオフレーム２０１が捕捉され、スナップショット画像として選択された後、基準およびスナップショット画像２００および２０１を結合する基準変換Ｔ_200,201を決定する必要がある。このため、基準特徴Ｒ₁〜Ｒ₄からの基準特徴Ｒ_S1およびＲ_S2は、スナップショット画像において選択される。選択時、基準特徴Ｒ_S1およびＲ_S2と、基準特徴Ｒ₁〜Ｒ₄との間の対応が特定されても（例えば、オペレータまたはパターン認識技術は、スナップショット画像におけるＲ_S1およびＲ_S2が、それぞれ、基準画像内のＲ₁およびＲ₃に対応すると判断する）、特定されなくてもよい。

１対の基準特徴の対応が確立されると、基準変換Ｔ_200,201は、基準フレームとスナップショットフレームとの間のカメラ移動が４自由度（例えば、ロケーションの変化を無視できる、アオリ、パン、ズーム、およびロール）に限定されていると想定して決定され得る。基準特徴間の対応が特定されない場合には、適切な基準特徴（２つまたはそれ以上のこのような特徴）Ｒ_S1およびＲ_S2を選択しながら、基準変換Ｔ_200,201が、基準フレームとスナップショットフレームとの間のカメラの移動が３自由度（例えば、アオリ、パン、およびズーム）に限定されると想定して決定され得る。

カメラの自由度が３または４に限定されると想定した場合に２つの基準特徴を必要をする上記の技術は、膨大な数の応用に用いられ得る。カメラの自由度が４度を越える状況では、２つより多くの共通の基準特徴が、基準画像およびスナップショット画像において特定される。

フレーム２０１がスナップショットのフレームである場合には、変換Ｔ_201,202、Ｔ_202,203、Ｔ_203,204、Ｔ_204,205のシーケンスは、連続して決定される。次に、この変換のシーケンス、および基準変換Ｔ_200,201は、動作変換Ｔ_200,205を決定するために用いられる。次に、この動作変換は、ビデオフレーム２０５に視覚効果を挿入するために用いられ、変換Ｔ_205,206は、ビデオフレーム２０６に視覚効果を挿入するために用いられ、変換Ｔ_206,207は、ビデオフレーム２０７に視覚効果を挿入するために用いられる。

従って、適切な変換のシーケンスによって結合されたビデオフレームのシーケンスへの視覚効果の挿入は、基準画像に視覚効果を挿入し、動作変換を決定し、その動作変換を用いて視覚効果を特定のビデオフレーム（例えば、スナップショット画像）に挿入し、次に、変換シーケンスを該特定のフレームの連続した（放送用の）フレーム下流および／または（ポストプロダクション用の）上流に適用することによって実施される。

従って、本発明は、視覚効果をビデオストリームに挿入するための新規の効果的な技術を提供する。この技術は、有利なことに、いくつかの基準特徴のみを用いることができ、ビデオフレーム全体にわたって基準特徴を追跡する必要がない。

図３Ａ〜図３Ｅは、ゲーム（例えば、サッカーなどのスポーツゲーム）または他のイベントタイプのリアルタイム放送において用いられる本発明の例を示す。ここでは、視覚効果の挿入は、動くオブジェクト（プレーヤ）に依存するかまたは関連している。図３Ａ〜３Ｅは、放送を管理しながらオペレータによって用いられるいくつかの画面を示す。これらの図は、視覚効果として、（サッカーゲームの放送における）影付きのオフサイドゾーンの使用を示している。各画面は、とりわけ、２つのウィンドウＷ₁およびＷ₂を有し、上部ウィンドウＷ₁は、ビデオストリームを表示するために用いられ、下部ウィンドウＷ₂は、オペレータによって処理される捕捉されたフレーム（基準またはスナップショット画像）を表示するために用いられる。本実施例には示されていないが、基準またはスナップショット画像の両方を表示できるように、さらなるウィンドウを用いてもよいことに留意されたい。

図３Ａにおいて、基準画像３００Ａは、ウィンドウＷ₁に表示されるビデオストリーム３１０Ａから捕捉されることによって準備され、ウィンドウＷ₂に表示される。図３Ａにさらに示されるように、オペレータは、基準特徴（本実施例では、４つの基準特徴Ｒ₁〜Ｒ₄）をその中にマークすることによって、処理を基準画像３００Ａに適用する。図３Ｂに示されるように、この具体例では、オペレータは、特定の数のピッチラインを選択し、基準画像の増強を可能にする。ピッチラインの選択は、そのエッジをマークすることによって行われる。本発明の技術では、オフサイド領域に影を付け、オペレータによるピッチラインの選択に基づき、必要なすべてのピッチライン（即ち、タッチラインおよびゴールライン）のロケーションを計算する。この例では、オペレータによって選択されるピッチラインは、３つのライン：フロントペナルティ領域ラインＬ₁、フロントゴール領域ラインＬ₂、およびゴールラインＬ₃を含む。

（影付けされる）オフサイドゾーンは、通常、タッチライン、ゴールライン、および関連プレーヤとの間の矩形として規定される。ビデオストリームにおける視覚効果の出現（オフサイドゾーンの出現）を予想する初期段階では、オペレータは、「推定された」オフサイドラインロケーションＬ₄をフロントペナルティ領域ラインＬ₁と一致すると考える。実際のオフサイドラインは、関連するプレーヤの位置が変化するため、この段階では、決定できない。従って、部分的に増強された基準画像３００Ｂは、その「推定された」出現に、（視覚効果を示す）オフサイドラインを含む。

図３Ｃは、ウィンドウＷ₁に表示される（ゲーム中に）リアルタイムで捕捉されたビデオストリーム３１０Ｂから選択されたスナップショット画像３２０をウィンドウＷ₂に示す。

図３Ｄでは、オペレータは、ウィンドウＷ₂に示されるように、（先に規定された基準特徴Ｒ₁〜Ｒ₄のセットから）スナップショット画像内の２つの基準特徴Ｒ_S1（基準画像におけるＲ₃）およびＲ_S2（基準画像におけるＲ₄）を選択する。この具体例では、システムは、３自由度で動作するため、基準およびスナップショット画像において基準特徴の対応を決定する必要はない。このようにして、スナップショット画像３２０と基準画像３００Ａとの間の基準変換が確立され得る。また、必要に応じて、オペレータは、ウィンドウＷ₁内に出現する増強されたスナップショット画像３３０を準備する。増強されたスナップショット画像３３０は、「推定された」影付きオフサイドゾーン３３５を含む。実際には、増強されたスナップショット画像の準備はオプションであるが、基準画像の実際の増強が完了していないこの具体例においては好ましいことを理解されたい。

図３Ｅは、ウィンドウＷ₁に出現する増強されたビデオフレーム３５０、およびウィンドウＷ₂におけるビデオフレーム３５５を示す。図示されるように、リアルタイムでオフサイドラインを決定する関連のプレーヤ３４０の位置は、視覚効果の実際の位置（即ち、影付きオフサイドゾーン３４５）を規定する可変特徴として（プレーヤによって）選択される。次に、後者は、ゴールラインおよびオフサイドラインによって限定されるフィールドの矩形をカバーするように増／減される。このようにして、影付きオフサイドゾーンが適切に増／減されたビデオフレームは、放送される準備ができている。従って、視覚効果の規定は、いくつかのステップで実施されていた。唯一の要件は、増強されたビデオフレーム３３５が放送される前に、視覚効果の規定を完了しなければならないことである。

サッカーゲーム放送においてオフサイドゾーンに影をつけるための上記の技術は、一般に、最後のステップ、即ち、オフサイドゾーンの影を増／減させるためのオフサイドラインの置き換えを除いて、上記の発明の方法の例と同様である。これは、視覚効果の位置が、動くオブジェクトによって（即ち、プレーヤによって）決定される具体例である。換言すると、影付きオフサイドゾーンは、（関連のプレーヤがいるサッカーフィールドである）目的の領域に対して所望の配向を有して、ビデオフレームに挿入される。従って、シーンの影付き部は、フィールドタッチライン、ゴールライン、およびオフサイドラインによって限定され、オフサイドラインは、フロントペナルティ領域ラインと平行であり、ビデオフレームの放送時には、関連のプレーヤの位置によって決定される。

図５は、ビーチバレーボール表面に視覚標識を挿入するために用いられる本発明の具体例を示す。図示されるように、増強されたビデオフレーム５００は、ウィンドウＷ₁に出現し、ビデオフレーム５０５はウィンドウＷ₂に出現し、オペレータは、図３Ａにおいてオフサイド例で記載されたワークフローと同様のワークフローで、先に規定された基準特徴のセットから２つの基準特徴Ｒ₅およびＲ₆を選択する。

本実施例では、通常、標識に用いられる場合、グラフィックスは、第２の基準ポイントがマークされた直後に出現するかまたは次第にはっきりし得る。そのため、標識の実際の位置づけをする必要はない。記号の位置づけは、異なるスポーツ広場に従って、および基準画像を増強するためにマークされたラインに従って決定される。オペレータは、所定のロケーションに記号を配置するか、または放送前に正確な位置を選択することができる。この特定の例では、平坦面上には１つの記号位置がある。オフサイドラインの例と同様に、記号もまた、オペレータによって選択された可変特徴として配置または再配置され得る。

ここで、図４を参照する。図４は、ブロック図によって、ビデオストリームへの視覚効果の挿入の管理に用いられるように構成された本発明のシステム１００を示す。システム１００は、通常、とりわけメモリユーティリティ１０２、プロセッサユーティリティ１１０、適切なユーザインターフェースユーティリティ１２２、ならびにデータ入力および出力ユーティリティ（図示せず）を含むコンピュータシステムである。システム１００はまた、アプリケーションプログラムインターフェース（ＡＰＩ）、即ち、（プロセッサユーティリティによって動作される）ソフトウェアモデルの特定の機能を、ユーザインターフェースによってオペレータ１４０が利用できるようにするソフトウェア製品として構成されたマネージャユーティリティ１２０を含む。好ましくは、システムオペレータは、ユーザ自体を指すが、一般には、そのようなオペレータは、システムオペレータユーティリティでもあることに留意されたい。また図示されるように、システム１００は、その構造部として外部表示ユーティリティ１３５を含むか、または外部表示ユーティリティ１３５に接続可能に構成されている。

システム１００は、外部撮像器１３０に関連し、ビデオフレーム／画像を示すデータを受信するためのフレームグラッバユーティリティ１３４を含む。撮像器１３０は、画像の取得を行い、および／または前に得られたビデオストリームを記録するために構成され得る。撮像器１３０は、カメラ、再生デバイス、コンピュータ、メモリドライブ、カメラ信号を複数のユーザに分配するルータ等であり得る。

本発明によると、マネージャユーティリティ１２０は、ビデオストリームに含まれる目的の領域（シーンの一部）の基準画像を示すデータが入力されるように、および所望の視覚効果が提示されるビデオストリームが入力されるように構成されている。ユーザの見地から、マネージャユーティリティ１２０の出力データは、撮像器１３０用の動作信号を含み、それによって、システムオペレータ用に表示される基準画像を示すデータを提供する。また、マネージャユーティリティは、撮像器からビデオストリームの送信を開始するように動作し得る。マネージャユーティリティ１２０は、基準画像内におけるユーザによる基準特徴の選択、増強された基準画像の準備、およびスナップショット画像におけるユーザによる基準特徴の選択を示すデータを生成することによって、プロセッサユーティリティ１１０と通信する。

マネージャユーティリティは、オペレータに、基準画像上で、少なくともいくつかの基準特徴（例えば、ポイント）のセットを選択してマークさせ、
基準画像に、基準画像内の目的の領域に対して所望の配向を提供するように視覚効果（例えば、グラフィックス）を挿入させ、それによって、増強された基準画像（望ましく配向された視覚効果を有する基準画像）を提供するように構成される。増強された基準画像は、適切に記録される。

また、マネージャユーティリティ１２０は、オペレータに、ビデオフレームの捕捉されたシーケンスからスナップショット画像を選択させ、スナップショット画像内で設定された該基準特徴から少なくとも２つをマークさせる。上記のように、スナップショット画像は、その中に、規定された基準特徴のセットの少なくとも２つを見出すことができるように選択される。スナップショット画像内に２つ未満の基準特徴しか出現しない場合には、他のスナップショット画像を選択しなければならない。あるいは、基準およびスナップショット画像に２つの共通の基準特徴が存在しない場合には、異なる基準特徴が選択されるか、または他の基準画像がとられる。後者の場合、新たな増強された基準画像が生成される。

基準およびスナップショット画像において、少なくとも２つの基準特徴の対応が確立されると、システムは、上記のように、ビデオストリームから少なくともいくつかのビデオフレームを増強させるように（オペレータの管理下またはオペレータの管理なしで）動作することができる。得られる増強されたビデオフレームは、オペレータが検討できるように（マネージャユーティリティによって）出力され得る。

従って、プロセッサユーティリティ１１０は、マネージャユーティリティ１２０からの第１のデータに応答し、撮像器１３０からのビデオフレームを示す第２のデータにも（直接またはマネージャユーティリティを通して）応答する。上記のように、第１のデータは、基準画像内におけるユーザによる基準特徴の選択、増強された基準画像、およびスナップショット画像内におけるユーザによる基準特徴の選択を示すデータを含む。プロセッサ１１０は、（選択された基準特徴を有する）基準およびスナップショット画像を分析するように（特定のソフトウェアモデルで）予めプログラムされ、基準変換を決定し、パターン認識を捕捉されたビデオフレームのシーケンスに適用し、変換シーケンスを決定する。プロセッサユーティリティはまた、視覚効果を特定のビデオフレームに挿入し、（基準画像と特定のビデオフレームとの変換としての）動作変換を決定するようにも動作し、さらなるビデオフレームへの視覚効果の挿入をさらに管理する。全く異なる視野に対応するビデオフレーム（図２のビデオフレーム２０８）を検出すると、プロセッサユーティリティは、対応する信号をオペレータに生成し、それによって、スナップショットの選択および処理の繰り返しを開始する。

当業者であれば、添付の請求項において、それらによって規定される範囲を逸脱せずに、上記で例示された本発明の実施形態に様々な改変および変更が適用され得ることを理解するであろう。

ビデオストリームへの視覚効果の挿入を管理するための本発明の方法の例を示す概略図である。 本発明において用いられる様々な画像／フレーム間の変換を決定する技術を例示する図である。 サッカーゲームのリアルタイム放送（視覚効果の挿入が動くオブジェクト（プレーヤ）とは独立しているかまたは関連しているイベントタイプを構成する）における視覚効果の出現を管理するために用いられる本発明の具体例を示す図である。 サッカーゲームのリアルタイム放送（視覚効果の挿入が動くオブジェクト（プレーヤ）とは独立しているかまたは関連しているイベントタイプを構成する）における視覚効果の出現を管理するために用いられる本発明の具体例を示す図である。 サッカーゲームのリアルタイム放送（視覚効果の挿入が動くオブジェクト（プレーヤ）とは独立しているかまたは関連しているイベントタイプを構成する）における視覚効果の出現を管理するために用いられる本発明の具体例を示す図である。 サッカーゲームのリアルタイム放送（視覚効果の挿入が動くオブジェクト（プレーヤ）とは独立しているかまたは関連しているイベントタイプを構成する）における視覚効果の出現を管理するために用いられる本発明の具体例を示す図である。 サッカーゲームのリアルタイム放送（視覚効果の挿入が動くオブジェクト（プレーヤ）とは独立しているかまたは関連しているイベントタイプを構成する）における視覚効果の出現を管理するために用いられる本発明の具体例を示す図である。 本発明によるシステムのブロック図である。 ビーチバレーボール表面への視覚標識の挿入に用いられる本発明の具体例を示す図である。

Claims (20)

1. 視覚効果をビデオストリームにリアルタイムで挿入するために用いられる方法であって、
   ｉ.前記ビデオストリームに含まれる目的の領域を含む少なくとも１つの基準画像を処理するステップであって、前記少なくとも１つの基準画像内で少なくともいくつかの基準特徴のセットを規定し、前記少なくとも１つの基準画像に、前記基準画像における目的の領域に対して所望の配向で視覚効果を挿入することを含むステップと、
   ｉｉ．前記ビデオストリームから、いくつかのビデオフレームのシーケンスにおける連続したビデオフレームを捕捉し、前記ビデオフレームの少なくとも１つを少なくとも１つのスナップショット画像として用いるように選択するステップと、
   ｉｉｉ．前記少なくとも１つスナップショット画像を、前記少なくともいくつかの基準特徴から少なくとも２つの特徴をその中に選択することによって処理し、前記スナップショット画像と前記基準画像との基準変換を決定し、前記スナップショット画像の前記処理とは独立して、処理を前記スナップショット画像および前記ビデオフレームのシーケンスにおけるその他のビデオフレームに適用し、前記スナップショット画像と前記基準画像との変換のシーケンスを決定するステップと、
   ｉｖ．前記決定された変換のシーケンスおよび前記決定された基準変換を用いて、前記基準画像と、前記シーケンス内の前記いくつかのビデオフレームのいずれか１つとの間の動作変換を決定し、他のビデオフレームへ視覚効果を挿入するために前記動作変換を用いることによって前記ビデオストリームにおける視覚効果の出現のリアルタイム管理を可能にするステップとを含む方法。
2. 前記少なくともいくつかのビデオフレーム間の変換のシーケンスの前記決定は、パターン認識を前記ビデオフレームに適用することを含む請求項１に記載の方法。
3. 前記パターン認識は、ビデオレートにおける背景ウィンドウの動きの推定を用いる請求項２に記載の方法。
4. 前記ビデオフレームは、前記目的の領域に対して固定位置で回転するように構成された撮像器を用いて捕捉される前記請求項のいずれか１項に記載の方法。
5. 前記少なくとも１つのスナップショット画像の前記処理は、前記スナップショット画像において、前記基準特徴の２つのみを選択してマークすることを含む前記請求項のいずれか１項に記載の方法。
6. 前記基準特徴のセットは、少なくとも４つの基準特徴を含む前記請求項のいずれか１項に記載の方法。
7. 前記ビデオフレームの少なくともいくつかにおいて、前記目的の領域における少なくとも１つの移動するオブジェクトを選択することを含み、前記少なくとも１つの移動するオブジェクトの現在の位置は、現在のビデオフレームにおける前記視覚効果の出現を決定する前記請求項のいずれか１項に記載の方法。
8. 前記基準画像における前記基準特徴のセット、および前記少なくとも１つのスナップショット画像における前記少なくとも２つの基準特徴は、ユーザによって選択してマークされる前記請求項のいずれか１項に記載の方法。
9. リアルタイム放送およびポストプロダクションに視覚効果を挿入するために用いられる前記請求項のいずれか１項に記載の方法。
10. スポーツゲームのライブ放送またはポストプロダクション中に、視覚効果およびグラフィック広告を挿入するために用いられる前記請求項のいずれか１項に記載の方法。
11. 前記スポーツゲームは、以下：サッカー、バスケットボール、バレーボール、ビーチバレーボール、ハンドボール、クリケット、ラグビー、アメリカンフットボール、ゴルフ、陸上競技、スキー、アイススケーティング、ホッケー、バドミントン、カーリング、テニス、卓球、バイク、競馬、ボクシング、柔道、相撲、レスリング、および水泳の少なくとも１つを含む請求項１０に記載の方法。
12. ビデオストリームに視覚効果をリアルタイムで挿入するために用いられるシステムであって、
    （ａ）前記ビデオストリームを示すデータを受信するように構成されたフレームグラッバユーティリティと、
    （ｂ）前記フレームグラッバに接続可能で、オペレータに以下：少なくとも１つの基準画像内で少なくともいくつかの基準特徴のセットを規定し、前記少なくとも１つの基準画像に、前記基準画像における目的の領域に対して所望の配向で視覚効果を挿入することによって、前記ビデオストリームに含まれる目的の領域を含む基準画像を処理し、少なくとも１つのスナップショット画像として用いられる少なくとも１つのビデオフレームを選択し、前記少なくとも１つのスナップショット画像を、その中に、前記少なくともいくつかの基準特徴から少なくとも２つの特徴を選択することによって処理すること、を実行させるように構成され動作可能なマネージャユーティリティと、
    （ｃ）前記ビデオストリームの連続したビデオフレームを示すデータ、前記いくつかの基準特徴をその中に有する基準画像を示すデータ、ならびに前記少なくとも１つのスナップショット画像およびその中の前記少なくとも２つの基準特徴を示すデータに応答するように構成され動作するプロセッサユーティリティであって、前記少なくとも１つのスナップショット画像のビデオフレームを含む前記少なくともいくつかのビデオフレーム間の変換シーケンスを決定する、ビデオフレームシーケンスを示す前記データの第１の処理と、前記スナップショット画像と前記基準画像との間の基準変換を決定する、前記基準画像および前記スナップショット画像を示す前記データの第２の処理とを独立して実施するように構成され、決定された変換を分析して、前記基準画像と前記ビデオフレームのいずれか１つとの間の動作変換を決定し、この動作変換をビデオストリームにおける視覚効果の出現をリアルタイムに管理するために用いるように構成されたプロセッサユーティリティとを有するシステム。
13. 前記プロセッサユーティリティは、パターン認識を前記ビデオフレームに適用することによって、前記少なくともいくつかのビデオフレーム間の変換シーケンスの前記決定を行うように構成および動作可能である請求項１２に記載のシステム。
14. 前記パターン認識は、ビデオレートにおける背景ウィンドウの動きの推定を用いる請求項１３に記載の方法。
15. 前記フレームグラッバは、前記目的の領域に対して固定位置で回転するように構成された撮像器を用いて前記ビデオフレームを捕捉するように構成され動作可能である請求項１２から１４のいずれか１項に記載のシステム。
16. 前記プロセッサユーティリティは、前記基準特徴の２つのみをその中で選択してマークすることによって、前記少なくとも１つのスナップショット画像を処理するように構成される請求項１２から１５のいずれか１項に記載のシステム。
17. 前記基準特徴のセットは、少なくとも４つの基準特徴を含む請求項１２から１６のいずれか１項に記載のシステム。
18. 前記プロセッユーティリティは、前記ビデオフレームの少なくともいくつかにおいて、前記目的の領域における少なくとも１つの移動するオブジェクトを選択するように構成され動作可能であり、前記少なくとも１つの移動するオブジェクトの現在の位置は、現在のビデオフレームにおける前記視覚効果の出現を決定する請求項１２から１７のいずれか１項に記載のシステム。
19. リアルタイム放送またはポストプロダクションに視覚効果を挿入するために用いられるクレーム１２から１８のいずれか１項に記載のシステム。
20. スポーツゲームのライブ放送またはポストプロダクション中に、視覚効果およびグラフィック広告を挿入するために用いられる請求項１２から１９のいずれか１項に記載のシステム。

Images