JP2016536897A - 映像制作物を作るための方法及びシステム - Google Patents

Abstract

オペレータの介入を最小限にしながらリアルタイムで自動的に実装することができるイベントの映像制作物を生成するための方法及びシステムであって、この方法は、イベントの複数の映像信号を受け取るステップであって、各映像信号は複数の画像フレームを含み、各画像フレームはイベントのビューに対応する、受け取るステップと、イベントに関連する少なくとも１つの既定の条件を受け取るステップと、少なくとも１つの既定の条件に基づいて複数の画像フレームの少なくとも１つの一部分を選択して少なくとも１つの出力画像フレームを生成するステップと、少なくとも１つの出力画像フレームから映像制作物を生成するステップとを含む。【選択図】図１

Description

本発明は、映像制作物を生成するための方法及びシステムに関する。

実施形態では、本発明はとりわけ世間の関心が高いイベントの映像制作物を生成するために使用するパノラマ映像を、オペレータの介入を最小限に若しくはなくしながら、且つ／又はイベントが行われるときリアルタイムで生成するための方法及びシステムに関する。

フットボール（サッカー）の試合等、スポーツイベントを含む世間の関心が高い多くのイベントのテレビ放送は多くのビデオカメラ及び多くのカメラオペレータを一般に必要とする。フットボール（サッカー）の試合の例では、カメラを操作する各カメラマンがビデオカメラをパン又はズームして、ボール、選手、又は観客がフィールド内外で動きまわるときそれらを追跡することにより、フィールド内外のアクションを追う。次いで、捕捉画像の映像信号を中央センタに伝送し、中央センタでは各映像信号の画像をディレクタが見ることができる。ディレクタは、カメラマンとやり取りして特定のカメラを操作すべき方法に関する命令を与えることができ、映像信号を選択し又は結合して放送用の提示物を制作することもできる。この放送の操作は大量の人的資源、機器、及び技術支援を必ず必要とし、その全てが放送を制作する資金負担を増やす。とりわけ、広い視野でイベントを捕捉するのに使用される広角の光学機器等の機器は極めて高価であり得る。

財政的支援が十分な大規模イベントでは、映像放送を制作するのに必要な大量の資源は大きな問題にはならない。しかし、小規模のイベントや財政的支援が限られたイベントでは、放送制作が極めて高価であることはそのイベントが放送されないこと、つまりテレビで放映されないことを概して意味する。

小規模のイベントや広く人気がある訳ではないイベントの主催者にとって、イベントをテレビ放映できることはイベント又は主催者の露出を多くの場合増やす。その結果、露出が増えることで一般市民に注目され、そのことはイベントの露出度を高める役割を果たすことができ、その後スポンサや財源を集めるために利用することができる。

従って、放送に適したイベントの映像制作物を作る費用及び資源を減らすための改善された方法及びシステムが求められている。

本発明の別の態様によれば、イベントの映像制作物を生成するための方法が提供され、この方法は、イベントの複数のコンポーネント映像信号を受け取るステップであって、各コンポーネント映像信号は複数のコンポーネント画像フレームを含み、各コンポーネント画像フレームはイベントのパノラマビューの一部分に対応する、受け取るステップと、複数のパノラマ画像フレームを生成するために各映像信号の時間的に対応するコンポーネント画像フレームをまとめるステップと、イベントに関連する少なくとも１つの既定の条件に基づいて各パノラマ画像フレームの一部分を選択して複数の出力画像フレームを生成するステップと、複数の出力画像フレームから映像制作物を生成するステップとを含む。

従って本発明は、高価な広角の光学機器を必要とすることなしに広角画像フレームを生成する方法を提供する。この方法は、オペレータによる介入を最小限に若しくはなくしながら映像制作物を作ることも可能にし、多岐にわたるイベントのビデオ画像を捕捉するためにリアルタイムで自動的に実施することができる。

実施形態では、既定の条件の１つは、イベントに関連する関心領域を含む各パノラマ画像フレームの一部分を選択することである。

或いは、又は加えて、選択するステップは、少なくとも１つの画像フレーム内の少なくとも１つの画像物体を識別するステップを更に含み、既定の条件の１つは、少なくとも１つの画像物体を含む少なくとも１つのパノラマ画像フレームの一部分を選択することである。とりわけ、少なくとも１つのパノラマ画像フレーム内の複数の識別した画像物体について、選択するステップは、少なくとも１つのパノラマ画像フレーム内の画像物体の位置を求めるステップと、少なくとも１つのパノラマ画像フレームにわたる位置の分布を明らかにするステップと、イベントに関連する予期される分布からの明らかにした分布のずれを求めるステップとを更に含み、既定の条件の１つは、最小限のずれを有する少なくとも１つのパノラマ画像フレームの一部分を選択することである。画像物体を含む部分を選択することにより、これらの実施形態の方法はビデオカメラのパン効果を模擬することができる。加えて、又は或いは、この方法は、パノラマ画像フレームの少なくとも１つから背景データを抽出するステップを更に含み、明らかにするステップは、抽出した背景データに少なくとも基づく。この方法は、パノラマ画像フレームのうちの少なくとも１つの密度マップを求めて、多数の画像物体が互いに近接するパノラマ画像フレームの領域を示すステップも更に含むことができ、明らかにするステップは密度マップに少なくとも基づく。背景データの抽出及び密度のマッピングを行うことは、背景の特徴に対して画像物体を識別するステップを助ける。

好ましくは、被選択部分の大きさはパノラマ画像フレームごとに異なる。或いは、又は加えて、対応するパノラマ画像フレームに対する被選択部分の位置はパノラマ画像フレームごとに異なる。被選択部分の大きさ及び位置を変えることは、ビデオカメラのズーム効果及びパン効果の模擬を更に助ける。

他の実施形態では、まとめるステップが、少なくとも１つの他のコンポーネント映像信号のコンポーネント画像フレームに関連して、少なくとも１つのコンポーネント映像信号のコンポーネント画像フレームの色情報を補正するステップを更に含む。まとめるステップは、少なくとも１つの他のコンポーネント映像信号のコンポーネント画像フレームに関連して、少なくとも１つのコンポーネント映像信号のコンポーネント画像フレームの輝度レベルを較正するステップを更に含むことができる。これらを行うことにより、画像フレームをシームレスにまとめることができるようになる。

他の一部の実施形態では、この方法が、イベントに関連するメタデータを生成するステップと、メタデータに対応する視覚要素を作るステップと、視覚要素を映像制作物に組み込むステップとを更に含む。或いは、又は加えて、この方法は、少なくとも１つの音声信号を受け取るステップと、少なくとも１つの音声信号を映像制作物と組み合わせるステップと、音声−映像制作物を生成するステップとを更に含む。これらを行うことにより、イベントに関連する追加情報を視聴者に与えることで映像制作物を向上させる。

本発明の別の態様によれば、イベントの映像制作物を生成するためのシステムが提供されており、このシステムは、イベントの複数のコンポーネント映像信号を受け取るように動作可能な捕捉モジュールであって、各コンポーネント映像信号は複数のコンポーネント画像フレームを含み、各コンポーネント画像フレームはイベントのパノラマビューの一部分に対応する、捕捉モジュールと、複数のパノラマ画像フレームを生成するために各映像信号の時間的に対応する画像フレームをまとめるように動作可能なステッチモジュールと、イベントに関連する少なくとも１つの既定の条件に基づいて各パノラマ画像フレームの一部分を選択して複数の出力画像フレームを生成するように動作可能な選択モジュールと、複数の出力画像フレームから映像制作物を生成するように動作可能な制作モジュールとを含む。

実施形態では、既定の条件の１つは、イベントに関連する関心領域を含む各パノラマ画像フレームの一部分を選択することである。

或いは、又は加えて、選択モジュールは、少なくとも１つのパノラマ画像フレーム内の少なくとも１つの画像物体を識別するように動作可能であり、既定の条件の１つは、少なくとも１つの画像物体を含む画像フレームの全体又は一部分を選択することである。とりわけ、少なくとも１つのパノラマ画像フレーム内の複数の識別した画像物体について、選択モジュールは、少なくとも１つのパノラマ画像フレーム内の画像物体の位置を求め、少なくとも１つのパノラマ画像フレーム内の位置の分布を明らかにし、予期される分布からの明らかにした分布のずれを求めるように動作可能であり、既定の条件の１つは、最小限のずれを有する少なくとも１つのパノラマ画像フレームの一部分を選択することである。加えて、又は或いは、このシステムは、パノラマ画像フレームの少なくとも１つから背景データを抽出するように動作可能な抽出モジュールを更に含み、選択モジュールは、少なくとも１つの画像物体を識別するために背景データを評価するように動作可能である。このシステムは、パノラマ画像フレームのうちの少なくとも１つの密度マップを求めて、多数の画像物体が互いに近接するパノラマ画像フレームの領域を示すように動作可能なマッピングモジュールも更に含むことができ、選択モジュールは、少なくとも１つの画像物体を識別するために密度マップを評価するように動作可能である。

好ましくは、被選択部分の大きさはパノラマ画像フレームごとに異なる。或いは、又は加えて、対応するパノラマ画像フレームに対する被選択部分の位置はパノラマ画像フレームごとに異なる。

他の実施形態では、ステッチモジュールが、少なくとも１つの他のコンポーネント映像信号のコンポーネント画像フレームに関連して、少なくとも１つのコンポーネント映像信号のコンポーネント画像フレームの色情報を補正するように動作可能である。ステッチモジュールは、少なくとも１つの他のコンポーネント映像信号に関連して、少なくとも１つのコンポーネント映像信号のコンポーネント画像フレームの輝度レベルを較正するように動作可能とすることもできる。

他の一部の実施形態では、捕捉モジュールが、イベントに関連するメタデータを生成するように動作可能であり、制作モジュールが、メタデータに基づいて視覚要素を作り、その視覚要素を映像制作物に組み込むように動作可能である。或いは、又は加えて、制作モジュールは、少なくとも１つの音声信号を受け取り、少なくとも１つの音声信号を提示物と組み合わせ、音声−映像制作物を生成するように動作可能である。

本発明の別の態様によれば、イベントの映像制作物を生成するための方法が提供されており、この方法は、イベントの複数の映像信号を受け取るステップであって、各映像信号は複数の画像フレームを含み、各画像フレームはイベントのビューに対応する、受け取るステップと、少なくとも１つの画像フレーム内の少なくとも１つの画像物体を自動で識別するステップと、少なくとも１つの画像物体を含む少なくとも１つの画像フレームを自動で選択して複数の出力画像フレームを生成するステップと、複数の出力画像フレームから映像制作物を自動で生成するステップとを含む。

本発明の別の態様によれば、イベントの映像制作物を生成するためのシステムが提供されており、このシステムは、イベントの複数の映像信号を受け取るように動作可能な捕捉モジュールであって、各映像信号は複数の画像フレームを含み、各画像フレームはイベントのビューに対応する、捕捉モジュールと、少なくとも１つの画像フレーム内の少なくとも１つの画像物体を自動で識別し、少なくとも１つの画像物体を含む少なくとも１つの画像フレームを自動で選択して複数の出力画像フレームを生成するように動作可能な選択モジュールと、複数の出力画像フレームから映像制作物を自動で生成するように動作可能な制作モジュールとを含む。

以下、添付図面を参照しながら本発明の実施形態を例として説明する。

２つの代替的なビデオカメラ設定の説明図である。 映像制作物を生成するためのシステムの概略図である。 或る映像信号の画像フレームにまとめられる別の映像信号の画像フレームの概略図である。 パノラマ画像フレームの一部分を選択する概略図である。 出力映像信号の概略図である。 映像制作物の概略図である。

本発明の一実施形態による、イベントの映像制作物を生成するためのシステムを図２に示す。概して、本発明のシステムの実施形態は、互いに通信し、コンピュータハードウェア又はソフトウェアによって実装可能な幾つかのモジュールを含む。それらのモジュールは個々のモジュールとして、又は大きいモジュールの下位モジュールとして実装することもできる。本システムは、フットボール（サッカー）の試合等のイベントが行われる地理的位置にある数台のビデオカメラによって捕捉される映像信号ストリームを受け取るように構成される。

本システムが所望の映像制作物をリアルタイムで自動的に作ることを可能にするために、人間の介入を最小限にしながらビデオカメラを遠隔的に又は現地で操作することができる。実際に、システムを設定すると、システムはオペレータの更なる介入なしに以下で説明するように動作することができる。一部の実施形態では、映像信号ストリームが事前に記録され、イベントが行われた後でシステムによって受け取られても良い。具体的には、図１に示すように２台のビデオカメラをカメラＣ１及びＣ２のように横並びで、又はカメラＣ３及びＣ４のように縦一列に、一方のカメラＣ１（Ｃ３）の視野が他方のカメラＣ２（Ｃ４）の視野と部分的に重複するように互いに近接して配置することができる。次いで、それぞれの映像ストリームを結合して広角の単一映像ストリームを生成することができる。より全体的には、生成される広角の映像ストリームがフットボール（サッカー）の試合のグラウンド等の関心のある全フィールドを対象として含むように、数台のカメラを同様の方法で配備することができる。

その後、広角の映像ストリームを操作することができる。例えば、映像ストリームの特定の部分について、視野の一部分を選択することによって映像ストリームを操作することができ、更に操作して或る画像フレームから別の画像フレームに被選択部分をシフトし、その部分の同じ視野を用いてビデオカメラのパン効果を模擬することができる。或いは、又は別の部分について、画像フレームごとに大きさが異なる所定の一部分を選択することにより、映像ストリームを操作してズーム効果を模擬することができる。その後、記憶及び／又は放送用の映像制作物を生成するために、被選択部分を切り取り、結合することができる。

従って、広角の映像ストリームが高度な柔軟性をもたらすことができ、かかる映像ストリームから制作される様々な映像制作物を使用可能にすることが理解される。システムを設定すると映像制作物の制作が自動で行われ、その結果、上記の従来のシステムの著しい費用及び複雑さを回避することができる。

次に図２を参照し、本発明の一実施形態のシステム１０は、捕捉モジュール１００、ステッチモジュール２００、選択モジュール３００、及び制作モジュール４００を含む。図示のように、各モジュールは個別のエンティティとして示している。但し、一部のモジュールを大きいモジュールの下位モジュールとすることもできることが理解されよう。例えば一部の実施形態では、ステッチモジュール２００及び選択モジュール３００が仮想カメラモジュール２０２の下位モジュールであり得る。モジュール及び下位モジュールがハードウェア又はソフトウェアによって実装され得ることも理解されよう。

フットボール（サッカー）の試合等のイベントが行われると、そのイベントを捕捉するために数台のビデオカメラが上記の方法で配備され得る。図２に示す実施形態では、捕捉モジュール１００が、捕捉モジュール１００に通信可能に結合されるビデオカメラからリアルタイムで直接、又は事前に記録し捕捉映像信号を記憶することによって、ビデオカメラが捕捉する１つ又は複数の映像信号１２０を受け取るように構成される。一部の実施形態では、捕捉モジュール１００が、受け取った映像信号１２０をシステム１０による使用に適したしかるべき形式に変換するようにも構成される。

当業者なら理解されるように、映像信号はアナログでもデジタルでも良く、一連の画像フレームを含む。映像信号の画像フレームが、レンズの焦点距離や画像センサの大きさ等、ビデオカメラの光学部品の特性に依拠する画角／視野をそれぞれ有することも当業者なら理解されよう。

概して、捕捉モジュール１００が受け取る映像信号１２０は幾つかの画像フレームをそれぞれ含み、各画像フレームは捕捉されているイベントのビューに対応する。図２に示すコンポーネント映像信号１２２−１．．．１２２−ｎ等、捕捉モジュール１００が受け取る映像信号１２０の一部はパノラマ視野に関連し得る。つまり、捕捉モジュール１００が受け取る映像信号の画像フレームを別の映像信号の時間的に対応する画像フレームに結合し又はまとめてパノラマ映像信号を生成することができ、パノラマ映像信号の画像フレームは、個々の映像信号それぞれの画像フレームの視野よりも広い視野を有する。コンポーネント映像信号１２２−１．．．１２２−ｎは、互いに隣接して横並びで、又は上下縦一列に配置され、一方のカメラの視野の端が隣接するカメラの視野の端に一致するように、又は一方のカメラの視野が隣接するカメラの視野と部分的に重複するように調整される数台のビデオカメラから取得され得る。

図２に示すように、捕捉モジュール１００は、それぞれがパノラマ視野に関連する１つ又は複数のコンポーネント映像信号１２２−１．．．１２２−ｎを受け取るように動作可能であるように構成される。受け取られると、一部の実施形態ではコンポーネント映像信号１２２−１．．．１２２−ｎは、各映像信号の色調及び輝度レベルを正規化するための色補正や較正等、１つ又は複数の前処理ステップにかけることができる。その後コンポーネント映像信号１２２−１．．．１２２−ｎがステッチモジュール２００に伝えられ、ステッチモジュール２００は、コンポーネント映像信号１２２−１．．．１２２−ｎの対応する画像フレームを結合してパノラマ映像信号を生成するように動作可能であるように構成される。例えば一部の実施形態では、ステッチモジュール２００がコンポーネント映像信号１２２−１．．．１２２−ｎを受け取り、ホモグラフィやゼロ視差技法の使用等、任意の適切な方法により、或るコンポーネント映像信号の画像フレームを他のコンポーネント映像信号の時間的に対応する画像フレームとまとめてパノラマ映像信号２２０のパノラマ画像フレームを生成するように動作可能である。図３は、時間的に対応する２つの画像フレームをまとめることを概略的に示す。

図３では、２つのコンポーネント映像信号である、コンポーネント画像フレーム１２２−１１．．．１２２−１ｎで構成されるコンポーネント映像信号１２２−１、及びコンポーネント画像フレーム１２２−２１．．．１２２−２ｎで構成されるコンポーネント映像信号１２２−２の一例を概略的に示す。これらの例では、コンポーネント画像フレーム１２２−１ａ．．．１２２−１ｎが特定の視野を対象として含み、コンポーネント画像フレーム１２２−２１．．．１２２−ｎは画像フレーム１２２−１１．．．１２２−１ｎの視野と少しだけ重複する視野を対象として含む。まとめるプロセスでは、コンポーネント映像信号１２２−１のコンポーネント画像フレームを重複部分においてコンポーネント映像信号１２２−２の時間的に対応するコンポーネント画像フレームとまとめて、パノラマ映像信号２２０用のパノラマ画像フレーム２２０−１．．．２２０−ｎを生成する。説明図として、図３は特定の時点におけるシーンを示すコンポーネント画像フレーム１２２−１１と、部分１２２’で重複する、コンポーネント画像フレーム１２２−２１と同じ瞬間における別のシーンを示すコンポーネント画像フレーム１２２−２１とを示す。まとめるプロセスでは、コンポーネント画像フレーム１２２−１１とコンポーネント画像フレーム１２２−２１とを重複部分１２２’においてまとめて、パノラマ映像信号２２０のパノラマ画像フレーム２２０−１を生成する。次いで、パノラマ映像信号２２０の他のパノラマ画像フレーム２２０−２．．．２２０−ｎも同様の方法で生成する。

一部の実施形態では、コンポーネント映像信号１２２−１及びコンポーネント映像信号１２２−２を１つ又は複数の前処理ステップにかけることができる。例えば、コンポーネント映像信号１２２−１を捕捉するのに使用されるカメラの露出設定は、コンポーネント映像信号１２２−２を捕捉するのに使用されるビデオカメラの露出設定と少し異なる場合がある。その場合、画像フレームをシームレスにまとめることができるように、それぞれの映像信号内で示される画像を互いに対して調節することが望ましい。従ってそれらの実施形態では、ステッチモジュール２００が、まとめられるコンポーネント映像信号のコンポーネント画像フレームの色情報を補正するように動作可能であるように構成される。加えて、又は或いは、ステッチモジュール２００は、まとめられる映像信号のコンポーネント画像フレームの輝度レベルを較正するように動作可能であるようにも構成される。画像フレームをまとめる前に色情報を補正し、輝度レベルを較正することは、画像フレームのつなぎ目が可能な限り目に見えないように、パノラマ画像フレームの片側の色及び輝度レベルがパノラマ画像フレームの反対側の色及び輝度レベルと調和することを確実にする。

図３には２つのコンポーネント映像信号１２２−１、１２２−２しか示していないが、パノラマ映像信号２２０を生成するために、適切に調整された任意の数のコンポーネント映像信号１２２−１．．．１２２−ｎをまとめることができることが理解されよう。複数のパノラマ映像信号を同様の方法で生成し得ることも理解されよう。

再び図２を参照し、パノラマ映像信号２２０を生成したら、パノラマ映像信号２２０を選択モジュール３００に伝える。選択モジュール３００は、イベントに関連する既定の規則及び条件に従って受け取った映像信号を操作するように構成される。例えば、パノラマ画像フレーム２２０−１．．．２２０−ｎはフットボール（サッカー）の試合のアクションを示すことができ、既定の規則及び条件は、パノラマ画像フレーム２２０−１．．．２２０−ｎ内で示されるサッカーボールの動きを一定期間追跡する効果を模擬する要件であり得る。

説明図として、図４は、フレームごとに位置を変えるサッカーボールを有するシーンを示すパノラマ画像フレーム２２０−１．．．２２０−ｎを示す。選択モジュール３００は、任意の適切な画像解析及び追跡方法を使用してパノラマ画像フレーム２２０−１．．．２２０−ｎを解析してサッカーボールを移動物体として識別するように動作可能であり、各画像フレーム内のサッカーボールの位置を求める。その位置に基づき、選択モジュール３００がサッカーボールの軌道を求めることができる。次いで、サッカーボールを含むよう画像フレームの一部分を選択するように既定の条件の１つを設定することにより、選択モジュール３００は、各部分内の特定の相対位置にあるサッカーボールを含む部分を選択することにより、サッカーボールを追跡する効果を模擬することができる。概して、捕捉されているイベントに関連する少なくとも１つの既定の条件に基づき、選択モジュール３００は、受け取った任意の数の映像信号の任意の数の画像フレームの全体又は一部分を選択し、対応する数の出力画像フレームを生成するように動作可能である。図４に示す実例として、一部の実施形態では選択モジュール３００が、パノラマ画像フレーム２２０−１内のサッカーボールを識別し、サッカーボールを含むように部分２２２−１を選択し、部分２２２−１を抽出して別個の出力画像フレーム３２０−１を生成するように動作可能である。同様に、他のパノラマ画像フレームにも同じ手順を適用して出力画像フレーム３２０−２．．．３２０−ｎを生成し、出力映像信号３２０を形成することができる。

図４には１つの画像物体しか示していないが、既定の規則及び条件は移動する１つの画像物体を追跡することに限定されず、選択モジュール３００は複数の画像物体を追跡するように動作可能であり得ることが理解されよう。選択モジュール３００が、任意の数の画像物体又は関心領域を追跡するように動作可能であり得ることも理解されよう。加えて、一部の実施形態の選択モジュール３００は、パノラマ画像フレーム内の画像物体の位置を求め、それらの画像物体がパノラマ画像フレームにわたってどのように分布するのかを明らかにするようにも動作可能であり得る。次いで、画像物体が予期される分布を有するイベントでは、選択モジュールは、予期される分布からの画像物体の位置の分布のずれを求めるように動作可能である。その場合、ずれが最小限にある部分を選択するように既定の条件の１つを設定することができる。例えば選択モジュール３００は、サッカー競技場内の観客の動きを移動物体として識別し、観客の動きの分布が競技場を周回するウェーブの動きの分布に一致することを識別することが可能であり得る。この例では、選択モジュール３００は、ウェーブの動きを追跡するためにパノラマ画像フレームの一部分を選択するように動作可能である。

移動物体を含むようにパノラマ画像フレーム２２０−１．．．２２０−ｎの一部分２２１−１．．．２２２−ｎを選択することにより、出力画像フレーム３２０−１．．．３２０−ｎ内で見られる効果が、出力画像フレーム３２０−１．．．３２０−ｎと同じ視野を有するビデオカメラをパンすることによって捕捉されるビデオ画像と同等になることが理解されよう。一部の実施形態では、選択モジュール３００が、ズーム効果を模擬するために被選択部分の大きさを変えるように更に構成され得る。例えば選択モジュール３００は、ズーム効果をもたらすために徐々に小さい部分を選択するように、又はズームアウト効果をもたらすために徐々に大きい部分を選択するように構成され得る。

再び図２を参照し、選択モジュール３００が受け取るパノラマ画像フレーム２２０−１．．．２２０−ｎ内の物体又は関心領域を識別する作業を助けるために、一部の実施形態のシステム１０は、抽出モジュール５００及びマッピングモジュール６００を更に含む。

抽出モジュール５００は、パノラマ画像信号の画像フレーム２２０内の特徴、又は背景に関連するコンポーネント映像信号１２２−１．．．１２２−ｎ内の特徴を識別し、それらの特徴を表す画像データ５２０を抽出するように動作可能であるように構成される。次いで、評価を行うために背景画像データ５２０を選択モジュール３００に伝え、それにより選択モジュール３００が前景の画像物体と背景の特徴とを区別するのを助ける。

マッピングモジュール６００は、パノラマ画像信号２２０の画像フレーム又はコンポーネント映像信号１２２−１．．．１２２−ｎ内の画像フレームを解析し、関心のある１つ又は複数の画像物体を識別するように動作可能であるように構成される。画像物体を識別すると、マッピングモジュール６００は画像物体の位置を求め、密度マップ６２０を生成し、多数の画像物体が互いに近接する画像フレームの領域を示すために密度マップ６２０内に色等の標識を割り当てる。同様に、マッピングモジュール６００は、画像物体が殆ど又は全くない画像フレームの領域を示すために密度マップ６２０内に標識を割り当てることもできる。次いで、評価を行うために完成した密度マップ６２０を選択モジュール３００に伝え、それにより選択モジュール３００が前景の画像物体と背景の特徴とを区別するのを助け、画像物体が画像フレームにわたってどのように分布するのかを選択モジュール３００が突き止めるのを助ける。

マッピングモジュール６００と共に抽出モジュール５００を実装できることが理解されよう。抽出モジュール５００をマッピングモジュールの代わりに実装することができ、その逆もあり得ることも理解されよう。

引き続き図２を参照し、出力映像信号３２０を生成したら、出力映像信号３２０を編集するために制作モジュール４００に伝える。例えば、出力映像信号３２０の全体を放送に含めることが望ましくない場合がある。そのような例では、出力映像信号３２０の一部分又は幾つかの部分だけを含めることが望ましいことがある。従って、制作モジュール４００が、映像制作物４２０を生成するために出力画像フレーム３２０−１．．．３２０−ｎの一部又は全てを選択するように動作可能であるように構成される。実施形態では、図５に示すように制作モジュール４００が、出力映像信号３２０の様々な部分から出力画像フレームを選択し、それらの部分を結合して映像制作物４２０を作るように動作可能である。図５に示すように、出力映像信号３２０は、不所望の部分で区切られている所望の部分３２２、３２４、３２６、３２８を含む。制作モジュール４００は、これらの部分の出力画像フレームを抽出し、それらを結合して図６ａに示す映像制作物４２０を作るように動作可能である。

一部の実施形態では、１つ又は複数の部分を直ちに又は後の時点で繰り返すことが望ましい場合がある。或る部分をスローモーションで繰り返すことが望ましい場合もある。従って、図６ｂ及び図６ｃに示す一部の実施形態では、制作モジュールが、１つ又は複数の部分３２２をスローモーション部分３２２−ＳｌｏＭｏとして繰り返し、又は１つ若しくは複数の異なる部分の後で部分３２２を繰り返しながら映像制作物を生成するように動作可能である。

より広くは、制作モジュール４００は、受け取る出力画像フレームから映像制作物を生成するように動作可能である。

再び図２を参照し、映像制作物４２０を生成した後、映像制作物４２０を放送に直接送ることができ、又は放送前に記憶域に若しくは更なる処理に送ることができる。

一部の事例では、放送されるイベントが捕捉映像信号に関連する二次データを有しても良く、それらを映像制作物４２０に組み込んで視聴体験を向上させることが望ましい場合がある。例えば、視聴者が得点を知りながらアクションを追うことができるように、フットボール（サッカー）の試合の試合時間及び得点を映像制作物に組み込むことが望ましい場合がある。従って図２に示すように、一部の実施形態の捕捉モジュール１００が、イベントに関連する二次情報１４０を受け取るように動作可能であるように更に構成される。二次情報１４０は、例えば外部のセンサ、時間計測装置、得点記録装置、又は他の任意の適切な手段から集めることができる。次いで捕捉モジュール１４０は、二次情報１４０に関連するメタデータ１４２を生成し、そのメタデータ１４２を制作モジュール４００に伝える。制作モジュール４００は、フットボール（サッカー）の試合の得点や試合時間を画像フレームの角に表示する要素等の視覚要素を作り、その視覚要素を映像制作物に組み込むように動作可能である。

他の事例では、映像制作物４２０に音声情報を組み込むことが望ましい場合もあり得る。従って、上記のシステム１０の一部の実施形態では、制作モジュール４００が１つ又は複数の音声信号１６０を受け取るように動作可能であり、映像制作物４２０に音声信号１６０を組み込むように動作可能であるように構成される。

一部の代替的実施形態では、図２に示す映像信号１２４、１２６等、捕捉モジュール１００が、パノラマ視野に関連しない個々のビデオカメラから映像信号を受け取るようにも動作可能である。これらの実施形態では、これらの映像信号１２４、１２６がステッチモジュール３００をバイパスして選択モジュール２００に伝えられる。選択モジュール３００が受け取ると、これらの映像信号１２４、１２６がパノラマ映像信号２２０に関して上記で説明したのと同様の方法で処理されることが理解されよう。

上記のように生成されるパノラマビデオ画像フレームを利用してパン効果及びズーム効果を模擬することにより、本発明の実施形態は、オペレータの介入を殆ど又は全く必要としない固定カメラから映像上演を生成することができる。本明細書に記載するようにパノラマビデオ画像フレームを利用することは更に、高価な広角の光学機器の使用を必要とすることなしに広角の映像も提供する。本方法及びシステムは、資源に対する要件を最小限にするように、リアルタイムで自動的に動作するように予め構成することができる。

システム１０の他の異なる実施形態では、選択モジュール３００が、映像制作物を生成するのに使用する既定の規則及び条件を受け取って記憶するように更に動作可能である。具体的には、選択モジュール３００が、捕捉されるイベントに関連する既定の条件を受け取って記憶する。既定の条件は、ハードウェア又はソフトウェアによって実装することができ、組立中に又は組立後にシステム１０にロードすることができる。ステッチモジュール２００又は捕捉モジュール１００から映像信号を受け取ると、選択モジュール３００は、既定の条件に基づき、受け取った映像信号の任意の適切な数の画像フレームから画像フレームの全体又はその一部分を選択する。選択を行う際、選択モジュール３００は、画像フレーム内に示される任意の数の物体の動き、色、輝度、及びコントラストを追跡するように任意選択的に動作可能である。選択された画像フレーム及び／又は画像フレームの一部は、出力映像信号３２０の出力画像フレームとして制作モジュール４００に伝えられる。次いで制作モジュール４００は、出力映像信号３２０を使用して映像制作物４２０を生成する。

任意選択的に、ステッチモジュール２００又は捕捉モジュール１００からの映像信号が、抽出モジュール５００及びマッピングモジュール６００並びに選択モジュール３００に伝えられる。

抽出モジュール５００は、受け取った映像信号の画像フレームを解析し、捕捉されているイベントの背景に関連する画像フレーム内の特徴を識別するように動作可能である。受け取った映像信号からこれらの背景の特徴を表す画像データ５２０を抽出し、選択モジュール３００に伝える。選択モジュール３００は、選択を行う際、自らが受け取る映像信号と一緒に画像データ５２０を評価する。画像データ５２０は、背景に対して移動している任意の物体を選択モジュール３００がより容易に識別することを可能にし、従って映像制作物４２０をリアルタイムで生成することを助ける。

マッピングモジュール６００は、受け取った信号の画像フレームを解析し、関心のある１つ又は複数の画像物体を識別するように動作可能である。画像物体を識別すると、マッピングモジュール６００は画像物体の位置を求め、密度マップ６２０を生成し、多数の画像物体が互いに近接する画像フレームの領域を示すために密度マップ６２０内に色等の標識を割り当てる。同様に、マッピングモジュール６００は、画像物体が殆ど又は全くない画像フレームの領域を示すために密度マップ６２０内に標識を割り当てることもできる。次いで、評価を行うために完成した密度マップ６２０を選択モジュール３００に伝え、それにより選択モジュール３００が前景の画像物体と背景の特徴とを区別するのを助け、画像物体が画像フレームにわたってどのように分布するのかを選択モジュール３００が突き止めるのを助ける。

これらの様々な実施形態では、既定の規則及び条件が、捕捉されるイベントの物理的属性及び側面に概して関係する。例えば捕捉されるイベントがフットボール（サッカー）の試合である場合、イベントがそれぞれ１１人の選手から成る２チームと、審判と、ボールとを含むことが付随する。この例では選択モジュール３００が、形状及び色に基づいて選手、審判、及びサッカーボールを識別するように動作可能である。加えて、フットボールの試合のアクションは、典型的にはサッカーボールから一定の距離の範囲内で起こる。従って、既定の条件の一例は、サッカーボールを含む画像フレームの部分、及びサッカーボールを取り囲む所定の距離内の領域を選択することである。カウンター攻撃中等、サッカーボールから一定の距離内に一方のチームの一定数の選手（即ち全てが特定の色の物体）がいる場合にもアクションが生じ得る。従って、既定の条件の別の例は、他方のチームの選手数に比べ、サッカーボールから所定の距離内にいる一方のチームの一定数の選手を含む画像フレームの部分を選択することである。既定の条件の他の例には、これだけに限定されないが、１人又は複数の特定の選手を含む画像フレームの部分を選択すること、その中でサッカーボールが同じ位置にある画像フレームの部分を選択すること、及び審判を含む画像フレームの部分を選択することが含まれる。より全般的には、及び当業者によって理解されるように、既定の条件のこれらの例は、これだけに限定されないが、ラグビー、ゴルフ、テニス、バスケットボール、ホッケー、クリケット、バレーボール、アメリカンフットボール、野球等の他のスポーツイベントにも適合され得る。

分かっている寸法や印付けを有するフィールド又は領域内でアクションが生じることが一部のイベントに固有である。例えば捕捉されるイベントがレースである場合、画像物体、即ち競技者、競走馬、レーシングカー、レーシングバイク、競技用自転車、他の任意の競技用車両等の競争者がレースコースやサーキットのトラック等の決まった経路を進み、たどることを本質的に伴う。従って、既定の条件の別の例は、予め決まった経路をたどりながら少なくとも１つの画像物体を含む画像フレームの部分を選択することである。レースの最も興味深いアクションは、競技者の大部分がレーシングサーキットのトラックの狭い部分内にいることを特徴とする可能性もある。従って、既定の条件の別の例は、画像物体の密度が最も高い画像フレームの部分を選択することである。任意選択的に、選択モジュール３００は、移動する車両等の様々な画像物体をその色やコントラストに基づいて区別するように動作可能であり、既定の条件の別の例は、複数の画像物体のうちの画像物体の何れか１つ又は画像物体群を含む画像フレームの部分を選択することである。

これらの様々な実施形態の他の例では、捕捉されるイベントが画像フレームの領域上の輝度の変化を特徴とする。例えば、演劇、オペラ、他の任意の舞台公演等のイベントでは、劇場舞台の所定領域に向けられるスポットライト等、アクションが比較的高輝度の領域によって概して特徴付けられる。従って、既定の条件の別の例は、スポットライトに対応する明領域を含む画像フレームの部分を選択することである。これらの例では、画像フレーム内の画像物体が、劇場舞台上の役者／歌手の解剖学上の特徴でも良く、アクションが唇の動き等、役者／歌手の顔の動きによって特徴付けられる。従って選択モジュール３００は、受け取った画像フレームの色及び／又はコントラストを解析することにより、それらの顔の動きを識別するように動作可能であり、既定の条件の別の例は、識別された顔の動きの少なくとも１つを含む画像フレームの部分を選択することである。

これらの様々な実施形態では、複数の既定の条件が所与の画像フレーム内で満たされる可能性がある。従って、それらの実施形態の既定の条件を任意選択的に順位付けする。選択モジュール３００が受け取る画像フレームが複数の既定の条件を満たす場合、選択モジュール３００は、順位が最も高い既定の条件に基づいて映像制作物４２０を生成する。上記の既定の条件は、個別に又は任意の適切な組合せで集合的に実装し得ることも理解されよう。更に、映像制作物４２０の意図するエンドユーザに応じて、上記の既定の条件の幾つかが他の条件よりも適していることが理解されよう。従って、それらのより適した既定の条件を特定の意図されるエンドユーザ向けに実装する。例えば、映像制作物４２０の意図されるエンドユーザがフットボールチームのコーチである場合、フットボールの試合の全ての側面をコーチが分析できるようにするために、映像制作物４２０がサッカー場の全域を含む画像フレームを含むことがより望ましい。この例では、好ましい既定の条件は、サッカー場の全域を含む画像フレームの部分を選択することである。意図されるエンドユーザが或る特定の選手に興味があるフットボールのスカウトである別の例では、映像制作物４２０がその特定の選手を含む画像フレームを含むことがより望ましい。この例では、好ましい既定の条件は、特定の画像物体を含む画像フレームの部分を選択することである。

これらの様々な実施形態では、本発明のシステム１０が、パン効果及びズーム効果を含むイベントの映像制作物を人間の介入を最小限にしながら自動で作ることができる。上記の既定の条件に基づいて映像制作物４２０を生成することにより、システム１０は、映像制作物４２０に含めるべき受け取った映像信号の画像フレームの部分を人間による更なる入力なしに突き止めることができる。

本発明の上記の実施形態では、フットボールの試合等、世間の関心が高いイベントに適しているものとして映像制作物を生成するための方法及びシステムについて説明してきた。本発明は世間の関心が高いイベントに限定されず、他のイベントにも適していることが当業者によって理解されよう。映像制作の目的は放送に限定されず、ストリーミングやプライベートビューイングを含む他の目的のためとし得ることも理解されよう。

本発明の実施形態を図示の例に特に関連して説明してきた。しかし、添付の特許請求の範囲内で、説明した例に改変及び修正を加えても良いことが理解されよう。

Claims (54)

1. イベントの映像制作物を生成するための方法であって、
   イベントの複数の映像信号を受け取るステップであって、各映像信号は複数の画像フレームを含み、各画像フレームは前記イベントのビューに対応する、受け取るステップと、
   前記イベントに関連する少なくとも１つの既定の条件を受け取るステップと、
   前記少なくとも１つの既定の条件に基づいて前記複数の画像フレームの少なくとも１つの一部分を選択して少なくとも１つの出力画像フレームを生成するステップと、
   前記少なくとも１つの出力画像フレームから映像制作物を生成するステップと
   を含む、方法。
2. 前記選択するステップが、前記複数の画像フレームの少なくとも１つの中の少なくとも１つの画像物体を識別するステップを含む、請求項１に記載の方法。
3. 前記既定の条件の１つが、前記少なくとも１つの画像物体を含む前記少なくとも１つの画像フレームの部分を選択することである、請求項２に記載の方法。
4. 前記選択するステップは、前記少なくとも１つの識別した画像物体が或る画像フレームから別の画像フレームに移動する速度を求めるステップを含む、請求項２又は３に記載の方法。
5. 前記既定の条件の１つが、前記少なくとも１つの画像物体の前記求めた速度に基づいて前記少なくとも１つの画像フレームの一部分を選択することである、請求項４に記載の方法。
6. 前記少なくとも１つの画像フレーム内の複数の識別した画像物体について、前記選択するステップが、
   前記少なくとも１つの画像フレーム内の前記画像物体の位置を求めるステップと、
   前記少なくとも１つの画像フレームにわたる前記位置の分布を明らかにするステップと、
   前記イベントに関連する予期される分布からの前記明らかにした分布のずれを求めるステップと
   を更に含み、
   前記既定の条件の１つは、最小限のずれを有する前記少なくとも１つの画像フレームの一部分を選択することである、請求項２乃至５の何れか一項に記載の方法。
7. 前記少なくとも１つの画像フレームから背景データを抽出するステップを更に含み、前記明らかにするステップが、前記抽出した背景データに少なくとも基づく、請求項６に記載の方法。
8. 前記少なくとも１つの画像フレームの密度マップを求めて、多数の画像物体が互いに近接する前記少なくとも１つの画像フレームの領域を示すステップを更に含み、前記明らかにするステップが前記密度マップに少なくとも基づく、請求項２乃至７の何れか一項に記載の方法。
9. 前記選択するステップが、前記複数の画像フレームの少なくとも１つの中にある少なくとも１つの相対的に高輝度の領域を識別するステップを含む、請求項１乃至８の何れか一項に記載の方法。
10. 前記既定の条件の１つが、前記少なくとも１つの相対的に高輝度の領域を含む前記少なくとも１つの画像フレームの部分を選択することである、請求項９に記載の方法。
11. 前記被選択部分の大きさが画像フレームごとに異なる、請求項１乃至１０の何れか一項に記載の方法。
12. 前記イベントに関連するメタデータを生成するステップと、
    前記メタデータに対応する視覚要素を作るステップと、
    前記視覚要素を前記映像制作物に組み込むステップと
    を更に含む、請求項１乃至１１の何れか一項に記載の方法。
13. 少なくとも１つの音声信号を受け取るステップと、
    前記少なくとも１つの音声信号を前記映像制作物と組み合わせるステップと、
    音声−映像制作物を生成するステップと
    を更に含む、請求項１乃至１２の何れか一項に記載の方法。
14. イベントの映像制作物を生成するためのシステムであって、
    イベントの複数の映像信号を受け取るように動作可能な捕捉モジュールであって、各映像信号は複数の画像フレームを含み、各画像フレームは前記イベントのビューに対応する、捕捉モジュールと、
    前記イベントに関連する少なくとも１つの既定の条件を受け取り、前記少なくとも１つの既定の条件に基づいて前記複数の画像フレームの少なくとも１つの一部分を選択して少なくとも１つの出力画像フレームを生成するように動作可能な選択モジュールと、
    前記少なくとも１つの出力画像フレームから映像制作物を生成するように動作可能な制作モジュールと
    を含む、システム。
15. 前記選択モジュールが、前記少なくとも１つの画像フレーム内の少なくとも１つの画像物体を識別するように動作可能である、請求項１４に記載のシステム。
16. 前記既定の条件の１つが、前記少なくとも１つの画像物体を含む前記少なくとも１つの画像フレームの部分を選択することである、請求項１５に記載のシステム。
17. 前記選択モジュールは、前記少なくとも１つの識別した画像物体が或る画像フレームから別の画像フレームに移動する速度を求めるように動作可能である、請求項１５又は１６に記載のシステム。
18. 前記既定の条件の１つが、前記少なくとも１つの画像物体の前記求めた速度に基づいて前記少なくとも１つの画像フレームの一部分を選択することである、請求項１７に記載のシステム。
19. 前記少なくとも１つの画像フレーム内の複数の識別した画像物体について、前記選択モジュールが、
    前記少なくとも１つの画像フレーム内の前記画像物体の位置を求め、
    前記少なくとも１つの画像フレーム内の前記位置の分布を明らかにし、
    予期される分布からの前記明らかにした分布のずれを求める
    ように動作可能であり、
    前記既定の条件の１つは、最小限のずれを有する前記少なくとも１つの画像フレームの一部分を選択することである、請求項１５乃至１８の何れか一項に記載のシステム。
20. 前記少なくとも１つの画像フレームから背景データを抽出するように動作可能な抽出モジュールを更に含み、前記選択モジュールが、前記少なくとも１つの画像物体を識別するために前記背景データを評価するように動作可能である、請求項１５乃至１９の何れか一項に記載のシステム。
21. 前記少なくとも１つの画像フレームの密度マップを求めて、多数の画像物体が互いに近接する前記画像フレームの領域を示すように動作可能なマッピングモジュールを更に含み、前記選択モジュールが、前記少なくとも１つの物体を識別するために前記密度マップを評価するように動作可能である、請求項１５乃至２０の何れか一項に記載のシステム。
22. 前記選択モジュールが、前記少なくとも１つの画像フレーム内にある少なくとも１つの相対的に高輝度の領域を識別するように動作可能である、請求項１４乃至２１の何れか一項に記載のシステム。
23. 前記既定の条件の１つが、前記少なくとも１つの相対的に高輝度の領域を含む前記少なくとも１つの画像フレームの部分を選択することである、請求項２２に記載のシステム。
24. 前記被選択部分の大きさが画像フレームごとに異なる、請求項１４乃至２３の何れか一項に記載のシステム。
25. 前記捕捉モジュールが、前記イベントに関連するメタデータを生成するように動作可能であり、
    前記制作モジュールが、前記メタデータに基づいて視覚要素を作り、前記視覚要素を前記映像制作物に組み込むように動作可能である、請求項１４乃至２４の何れか一項に記載のシステム。
26. 前記制作モジュールが、
    少なくとも１つの音声信号を受け取り、
    前記少なくとも１つの音声信号を前記映像制作物と組み合わせ、
    音声−映像制作物を生成する
    ように動作可能である、請求項１４乃至２５の何れか一項に記載のシステム。
27. イベントの映像制作物を生成するための方法であって、
    イベントの複数のコンポーネント映像信号を受け取るステップであって、各コンポーネント映像信号は複数のコンポーネント画像フレームを含み、各コンポーネント画像フレームは前記イベントのパノラマビューの一部分に対応する、受け取るステップと、
    複数のパノラマ画像フレームを生成するために各コンポーネント映像信号の時間的に対応するコンポーネント画像フレームをまとめるステップと、
    前記イベントに関連する少なくとも１つの既定の条件に基づいて各パノラマ画像フレームの一部分を選択して複数の出力画像フレームを生成するステップと、
    前記複数の出力画像フレームから映像制作物を生成するステップと
    を含む、方法。
28. 前記既定の条件の１つが、前記イベントに関連する関心領域を含む少なくとも１つのパノラマ画像フレームの部分を選択することである、請求項２７に記載の方法。
29. 前記選択するステップが、少なくとも１つのパノラマ画像フレーム内の少なくとも１つの画像物体を識別するステップを更に含み、前記既定の条件の１つが、前記少なくとも１つの画像物体を含む前記少なくとも１つのパノラマ画像フレームの部分を選択することである、請求項２７又は２８に記載の方法。
30. 少なくとも１つのパノラマ画像フレーム内の複数の識別した画像物体について、前記選択するステップが、
    前記少なくとも１つのパノラマ画像フレーム内の前記画像物体の位置を求めるステップと、
    前記少なくとも１つのパノラマ画像フレームにわたる前記位置の分布を明らかにするステップと、
    前記イベントに関連する予期される分布からの前記明らかにした分布のずれを求めるステップと
    を更に含み、
    前記既定の条件の１つは、最小限のずれを有する前記少なくとも１つのパノラマ画像フレームの一部分を選択することである、請求項２９に記載の方法。
31. 前記パノラマ画像フレームの少なくとも１つから背景データを抽出するステップを更に含み、前記明らかにするステップが、前記抽出した背景データに少なくとも基づく、請求項２９又は３０に記載の方法。
32. 前記パノラマ画像フレームのうちの少なくとも１つの密度マップを求めて、多数の画像物体が互いに近接する前記パノラマ画像フレームの領域を示すステップを更に含み、前記明らかにするステップが前記密度マップに少なくとも基づく、請求項２９乃至４１の何れか一項に記載の方法。
33. 前記被選択部分の大きさがパノラマ画像フレームごとに異なる、請求項２７乃至３２の何れか一項に記載の方法。
34. 前記対応するパノラマ画像フレームに対する前記被選択部分の前記位置がパノラマ画像フレームごとに異なる、請求項２７乃至３３の何れか一項に記載の方法。
35. 前記まとめるステップが、少なくとも１つの他のコンポーネント映像信号の前記コンポーネント画像フレームに関連して、少なくとも１つのコンポーネント映像信号の前記コンポーネント画像フレームの色情報を補正するステップを更に含む、請求項２７乃至３４の何れか一項に記載の方法。
36. 前記まとめるステップが、少なくとも１つの他のコンポーネント映像信号の前記コンポーネント画像フレームに関連して、少なくとも１つのコンポーネント映像信号の前記コンポーネント画像フレームの輝度レベルを較正するステップを更に含む、請求項２７乃至３５の何れか一項に記載の方法。
37. 前記イベントに関連するメタデータを生成するステップと、
    前記メタデータに対応する視覚要素を作るステップと、
    前記視覚要素を前記映像制作物に組み込むステップと
    を更に含む、請求項２７乃至３６の何れか一項に記載の方法。
38. 少なくとも１つの音声信号を受け取るステップと、
    前記少なくとも１つの音声信号を前記映像制作物と組み合わせるステップと、
    音声−映像制作物を生成するステップと
    を更に含む、請求項２７乃至３７の何れか一項に記載の方法。
39. イベントの映像制作物を生成するためのシステムであって、
    イベントの複数のコンポーネント映像信号を受け取るように動作可能な捕捉モジュールであって、各コンポーネント映像信号は複数のコンポーネント画像フレームを含み、各コンポーネント画像フレームは前記イベントのパノラマビューの一部分に対応する、捕捉モジュールと、
    複数のパノラマ画像フレームを生成するために各コンポーネント映像信号の時間的に対応するコンポーネント画像フレームをまとめるように動作可能なステッチモジュールと、
    前記イベントに関連する少なくとも１つの既定の条件に基づいて各パノラマ画像フレームの一部分を選択して複数の出力画像フレームを生成するように動作可能な選択モジュールと、
    前記複数の出力画像フレームから映像制作物を生成するように動作可能な制作モジュールと
    を含む、システム。
40. 前記既定の条件の１つが、前記イベントに関連する関心領域を含む少なくとも１つのパノラマ画像フレームの部分を選択することである、請求項３９に記載のシステム。
41. 前記選択モジュールが、少なくとも１つのパノラマ画像フレーム内の少なくとも１つの画像物体を識別するように動作可能であり、前記既定の条件の１つが、前記少なくとも１つの画像物体を含む前記少なくとも１つのパノラマ画像フレームの部分を選択することである、請求項３９又は４０に記載のシステム。
42. 少なくとも１つのパノラマ画像フレーム内の複数の識別した画像物体について、前記選択モジュールが、
    前記少なくとも１つのパノラマ画像フレーム内の前記画像物体の位置を求め、
    前記少なくとも１つのパノラマ画像フレーム内の前記位置の分布を明らかにし、
    予期される分布からの前記明らかにした分布のずれを求める
    ように動作可能であり、
    前記既定の条件の１つは、最小限のずれを有する前記少なくとも１つのパノラマ画像フレームの一部分を選択することである、請求項４１に記載のシステム。
43. 前記パノラマ画像フレームの少なくとも１つから背景データを抽出するように動作可能である抽出モジュールを更に含み、前記選択モジュールが、前記少なくとも１つの画像物体を識別するために前記背景データを評価するように動作可能である、請求項４１又は４２に記載のシステム。
44. 前記パノラマ画像フレームのうちの少なくとも１つの密度マップを求めて、多数の画像物体が互いに近接する前記パノラマ画像フレームの領域を示すように動作可能なマッピングモジュールを更に含み、前記選択モジュールが、前記少なくとも１つの物体を識別するために前記密度マップを評価するように動作可能である、請求項４１乃至１８の何れか一項に記載のシステム。
45. 前記被選択部分の大きさがパノラマ画像フレームごとに異なる、請求項３９乃至４４の何れか一項に記載のシステム。
46. 前記対応するパノラマ画像フレームに対する前記被選択部分の前記位置がパノラマ画像フレームごとに異なる、請求項３９乃至４５の何れか一項に記載のシステム。
47. 前記ステッチモジュールが、少なくとも１つの他のコンポーネント映像信号の前記コンポーネント画像フレームに関連して、少なくとも１つのコンポーネント映像信号の前記コンポーネント画像フレームの色情報を補正するように動作可能である、請求項３９乃至４６の何れか一項に記載のシステム。
48. 前記ステッチモジュールが、少なくとも１つの他のコンポーネント映像信号の前記コンポーネント画像フレームに関連して、少なくとも１つのコンポーネント映像信号の前記コンポーネント画像フレームの輝度レベルを較正するように動作可能である、請求項３９乃至４７の何れか一項に記載のシステム。
49. 前記捕捉モジュールが、前記イベントに関連するメタデータを生成するように動作可能であり、
    前記制作モジュールが、前記メタデータに基づいて視覚要素を作り、前記視覚要素を前記映像制作物に組み込むように動作可能である、請求項３９乃至４８の何れか一項に記載のシステム。
50. 前記制作モジュールが、
    少なくとも１つの音声信号を受け取り、
    前記少なくとも１つの音声信号を前記映像制作物と組み合わせ、
    音声−映像制作物を生成する
    ように動作可能である、請求項３９乃至４９の何れか一項に記載のシステム。
51. イベントの映像制作物を生成するための方法であって、
    イベントの複数の映像信号を受け取るステップであって、各映像信号は複数の画像フレームを含み、各画像フレームは前記イベントのビューに対応する、受け取るステップと、
    少なくとも１つの画像フレーム内の少なくとも１つの画像物体を自動で識別するステップと、
    前記少なくとも１つの画像物体を含む前記少なくとも１つの画像フレームを自動で選択して複数の出力画像フレームを生成するステップと、
    前記複数の出力画像フレームから映像制作物を自動で生成するステップと
    を含む、方法。
52. イベントの映像制作物を生成するためのシステムであって、
    イベントの複数の映像信号を受け取るように動作可能な捕捉モジュールであって、各映像信号は複数の画像フレームを含み、各画像フレームは前記イベントのビューに対応する、捕捉モジュールと、
    少なくとも１つの画像フレーム内の少なくとも１つの画像物体を自動で識別し、前記少なくとも１つの画像物体を含む前記少なくとも１つの画像フレームを自動で選択して複数の出力画像フレームを生成するように動作可能な選択モジュールと、
    前記複数の出力画像フレームから映像制作物を自動で生成するように動作可能な制作モジュールと
    を含む、システム。
53. 添付図面に関して前にほぼ説明したようにイベントの映像制作物を生成するための方法。
54. 添付図面に関して前にほぼ説明したようにイベントの映像制作物を生成するための機器。

Images