JP2017536021A - ビデオ出力データストリームを生成する装置、ビデオソース、ビデオシステム、およびビデオ出力データストリームとビデオソースデータストリームとを生成する方法 - Google Patents

Abstract

ビデオ出力データストリームを生成する装置は、第一、第二ビデオソースデータストリームを受信する第一、第二信号入力と、ビデオ出力データストリームを、第一時点において第一ビデオソースデータストリームに基づいて提供し、スイッチング手段により、第一時点に続く第二時点において第二ビデオソースデータストリームに基づいて提供する、プロセッサ手段とを有する。前記装置は、第一または第二ビデオソースデータストリームを提供するビデオソースに制御コマンドを送信する制御信号出力をさらに有する。前記制御コマンドは、ビデオ出力信号の第一ビデオソースデータストリームの画像と第二ビデオソースデータストリームの画像との時間的な間に位置する切替効果を適用する、ビデオソースに対する指示を含む。【選択図】図１

Description

本発明は、ビデオミキサーなどのビデオ出力データストリームを生成する装置、ビデオソース、ビデオシステム、およびビデオ出力データストリームとビデオソースデータストリームとを生成する方法に関する。さらに、本発明は、コンピュータプログラム、および複数のカメラを有するライブ実行可能な映像制作システムにおける特殊映像効果の分散生成に関する。

複数のカメラを使用するライブ映像制作のワークフローは、単純に言うと、カメラのビデオストリームをリアルタイムでビデオミキサーに転送することである。ディレクターは、どのカメラから送信するか、すなわちどのカメラを「オンエア」にスイッチするかを決定する。ビデオストリームには、ロゴ、グラフィック、文字などのフェードオーバーが付加されることがある。続いて、出力ストリームはエンコードされ、ネットワーク（例えばインターネット、衛星、ケーブルなど）を通じて消費者に利用可能となる。

カメラのスイッチングの際には切替効果（transition effects）がしばしば用いられる。市場に出ている多くのビデオミキサーではリアルタイムでの切替効果の付加が可能である。しかし、このようなビデオミキサーの多くは高価な機材であって、非圧縮のビデオ信号の入力と、インターネットプロトコル（ＩＰ）ベースの圧縮ビデオストリーム転送用のネットワークインターフェイスとを備えている。エンコードされたビデオデータは、まずデコードされる。ミキシングは、後でまたエンコードされる非圧縮のビデオデータに基いて行なわれる。この方法では、ビデオミキサーのハードウェアに対する要求が高く、よって高価になる。

安価な映像制作、とくにセミプロやアマチュアによる映像制作の場合は、ビデオミキサーが提供する機能は少数で十分である。制作に複数のカメラを用いる場合、重要な、または最も重要な機能は、カメラ間のスイッチングが容易なことである。単純な手段によってクリエイティブにスイッチングを行うことができれば、放送の質は格段に向上する。

専用のビデオミキサーハードウェアは、接続されたカメラからのビデオストリームをデコードし、映像効果を計算し、生成されたビデオストリームをエンコードするかまたは出力ストリームを別のエンコーダに送る。この方式の利点として、幅広い機能、非常に高い性能、および既コード化ビデオソースと未コード化ビデオソースとの結合などがある。さらに、前記方式は、既存のワークフローの一部を構成する。一方、問題点としては、複雑な操作、価格の高さ、持ち運びのしにくさ、ビデオミキサーによって実行される演算の複雑さなどがある。

一般的なパーソナルコンピュータ（ＰＣ）上で動作するソフトウェアビデオミキサーも存在する。このようなビデオミキサーの機能は、専用のハードウェアビデオミキサーに類似し、使用されるＰＣのハードウェアリソースの制限を受ける。

携帯電話やタブレットコンピュータなどの携帯機器用のビデオミキサーソフトウェアというものも存在する。例えば、ソフトウェアは、四つの携帯機器をグループ化して接続し、エンコードされたビデオストリームを、「カメラ」として機能する装置から、「ディレクター」の、すなわちビデオミキサーとして機能する装置にライブで転送する。ディレクター装置がビデオストリーム間のスイッチングを制御する。ソフトウェアがカメラ間のスイッチング時にフェードオーバー効果を付加可能にしている。出力映像は録画完了後にオフラインでマージされる。このとき、録画中に「ディレクター」が生成したステップマーク（ＳＴＥＰ ＭＡＲＫ）が用いられる。フェードオーバー効果の生成には、録画されたものの一部のデコードとエンコードが必要である。

今日では、クラウドベースの方式もある。カメラはエンコードされたビデオストリームを、リアルタイムでのデータ処理に必要なリソースを有するサーバに転送する。ディレクターは、ウェブインターフェイスを通じて、全てのビデオ／オーディオソース、カット、効果のプレビューなどの制御要素にアクセス可能である。この方式の利点は、必要な機能の追加購入が可能であることによる、高いスケーラビリティにある。さらに、サーバの利用価格は専用ハードウェアの購入コストよりも安い。しかし、利用可能なチャンネル帯域や転送エラーの可能性などの、ネットワーク接続の質は、決定的な問題となりうる。このことが前記方式の適用範囲を制限している。

参考文献[１]と[２]は、エンコードされたビデオデータに切替効果を、データを事前に完全にデコードすることなく、直接付与する方法を記載する。これにより、映像処理の複雑さが低減し、ビデオミキサーソフトウェアに対する要求が減少する。

このように、ビデオミキサーのプロセッサに要求されるまたはプロセッサが備える演算能力などのハードウェア要件が低いビデオミキサーが望まれている。

本発明に内在する目的は、ライブまたはリアルタイム動作可能な、切替効果付きのビデオ出力データストリームを生成する装置であって、消費電力および／または演算能力のような処理能力の要件が低くて済む装置を提供することである。

この目的は、独立請求項の主題によって達成される。

本発明の中心的アイデアは、前記目的が、ビデオ出力データストリームの切替効果が、二つのビデオソースのスイッチング時に、ビデオソースによって適用され、すなわち実現され、スイッチング効果（切替効果）を有するビデオ出力データストリームが単にビデオソースデータストリームをスイッチングするだけで得られるという点を認識したことである。これにより、ビデオ出力データストリームを生成する装置の一部における計算の複雑性が減少することで、ハードウェアへの技術的要求が減少し、装置の動作が効率的になるので、低消費電力での少ない計算量で実行可能となり、および／または装置内のインストレーションサイズが少なくて済む。

一実施形態において、ビデオ出力データストリームを生成する装置は、第一、第二ビデオソースデータストリームを受信する第一、第二信号入力を有する。さらに、前記装置は、ビデオ出力データストリームを、第一時点において第一ビデオソースデータストリームに基づいて提供し、スイッチング処理により、第一時点に続く第二時点において第二ビデオソースデータストリームに基づいて提供する、プロセッサ手段を有する。さらに、前記装置は、第一または第二ビデオソースデータストリームを提供するビデオソースに制御コマンドを送信する制御信号出力をさらに有する。前記制御コマンドは、提供されたビデオソースデータストリームまたは画像シーケンスに切替効果を適用する、ビデオソースに対する指示を含む。前記切替効果は、ビデオ出力信号の第一ビデオソースデータストリームの画像と、第二ビデオソースデータストリームの画像との時間的な間に位置する。デコードしない、計算しない、および／または切替効果を適用しない、または受信したビデオソースデータストリームをエンコードしない、スイッチングにより、装置の効率的な動作が可能になる。

他の実施形態において、プロセッサ手段はビデオソースのプロセッサ手段と時間的に同期してプログラムコードを処理する。すなわち、ビデオ出力データストリームを生成する装置はひとつの、いくつかの、または全てのビデオデータソースと同期する。この実施形態の利点として、装置とビデオソースが同じ時間基準に基づくことで、ビデオ出力データストリームにおいて時間的に正確に切替効果を位置づけることができる。

他の実施形態において、切替効果は第一副効果と第二副効果とを含む。前記装置は、第一副効果を第一ビデオソースに適用する第一指示を含む第一制御コマンドと、第二副効果を第二ビデオソースに適用する第二指示を含む第二制御コマンドとを送信するように構成される。この実施形態の利点として、切替効果または切替副効果の実施と計算を複数のビデオソースで分散的に行うことで、各ビデオソースにおける計算の複雑性を減少させることができる。さらに、切替効果を、例えばフェードアウト中のようにスイッチング前の第一ビデオソースによるものと、例えばフェードイン中のようにスイッチング後の第二ビデオソースによるものとの両方で、表現する、すなわち適用することができる。

他の実施形態において、前記装置は、第一、第二ビデオソースデータストリームを操作することなく、ビデオ出力データストリームとして、切替効果付きの第一または第二ビデオソースデータストリームを提供するように構成される。この実施形態の利点として、前記装置は、スイッチまたはスプリッタ等の切替スイッチとして実施され、複数のビデオソースデータストリーム間に接続されて、一つのビデオソースデータストリームのみを伝達するまたは提供することで、ビデオ出力データストリームがさらに計算の複雑性が減少した形で提供される。

他の実施形態において、ビデオソースデータストリームを出力するように構成されたビデオソースは、ビデオ出力データストリームを生成する装置からの制御コマンドを受信するように構成された信号入力を有する。前記制御コマンドは切替効果をビデオソースデータストリームに適用する指示を含み、この指示は、長さ、開始時点、終了時点、マッピング、切替効果の種類または強度の少なくとも一つに関する。この実施形態の利点として、ビデオソースによるビデオソースデータストリームのエンコードより前に、前もって切替効果を実行することができる。

他の実施形態において、前記ビデオソースは、ビデオ出力データストリームを生成する装置のプロセッサ手段と時間的に同期してプログラムコードを処理するように構成されたプロセッサ手段を有する。

他の実施形態において、前記ビデオソースは、画像信号処理チェーンの影響またはグラフィカルプロセッサ手段に基づいて、前記切替効果を適用するように構成される。この実施形態の利点として、グラフィカルプロセッサ手段の高い計算効率を切替効果の実施に用いることができる。

他の実施形態は、ビデオ出力データストリームを生成する装置と、第一、第二ビデオソースとを有するビデオシステムを提供する。

他の実施形態は、ビデオ出力データストリームを生成する方法と、ビデオソースデータストリームを出力する方法とに関する。他の実施形態は、コンピュータプログラムに関する。

その他の有利な実施については従属項の主題である。

本発明の好適な実施形態を、以下に説明する添付の図面を参照しながら詳述する。

一実施形態の、ビデオ出力データストリームを生成する装置と、第一ビデオソースと、第二ビデオソースとを有するビデオシステムの概略回路ブロック図である。 一実施形態の、ビデオ出力データストリームを生成する装置のスイッチング時点に対して異なる時点での複数のカメラとして実装されたビデオソースの概略図であり、切替効果が適用されていない時点を示す。 一実施形態の、ビデオ出力データストリームを生成する装置のスイッチング時点に対して異なる時点での複数のカメラとして実装されたビデオソースの概略図であり、第一ビデオソースが第一切替効果を表現し、ビデオ出力ストリームが切替効果を有する時点を示す。 一実施形態の、ビデオ出力データストリームを生成する装置のスイッチング時点に対して異なる時点での複数のカメラとして実装されたビデオソースの概略図であり、第二ビデオソースが第二切替効果を表現し、ビデオ出力ストリームを生成する装置がスイッチされ、ビデオ出力ストリームが切替効果を有する時点を示す。 一実施形態の、ビデオ出力データストリームを生成する装置のスイッチング時点に対して異なる時点での複数のカメラとして実装されたビデオソースの概略図であり、第一、第二切替効果が終了した時点を示す。 一実施形態において、図面を参照しつつ、ビデオソースデータストリームとビデオ出力データストリームとの模式的比較を示す。

本発明の実施形態を、図面を参照しつつ詳述する前に述べておくが、異なる図面における、同じ要素、物体、および／または構造、または同じ機能や効果については同じ参照番号によって示され、異なる実施形態に記載された要素の説明は相互に交換可能または相互に適用可能である。

図１は、ビデオ出力データストリーム１０２を生成する装置１００と、第一ビデオソース２００ａと、第二ビデオソース２００ｂとを有するビデオシステム１０００の概略回路ブロック図である。ビデオソース２００ａ、２００ｂは、例として、ビデオソースデータストリーム２０２ａ、２０２ｂを出力するように構成されたカメラまたは記録装置であってもよい。ビデオソースデータストリーム２０２ａおよび／または２０２ｂは、例として、暗号化されていない、圧縮されていない、暗号化された、または圧縮されたビデオ信号であってもよい。好適には、ビデオソースデータストリーム２０２ａ、２０２ｂは、エンコードされた、すなわち圧縮されたビデオ信号である。

以下では、まず、装置１００の構造と機能のモードを説明する。次に、ビデオソース２００ａ、２００ｂの構造と機能のモードを説明する。

装置１００は、（第一）ビデオソースデータストリーム２０２ａを受信する第一信号入力１０４ａと、（第二）ビデオソースデータストリーム２０２ｂを受信する第二信号入力１０４ｂとを有する。さらに、装置１００は、ビデオ出力データストリーム１０２を、例えば媒体や配信ネットワーク、および／または（ビデオ）再生装置に出力する、信号出力１０６を有する。

装置１００は、制御コマンド１１４をビデオソース２００ａおよび／または２００ｂに送信する制御信号出力１１２を有する。制御コマンドは、ビデオ出力データストリーム１０２で再生されるか再生される予定の切替効果を適用するために、ビデオソース２００ａ、２００ｂに送られる指示を含む。

装置１００は、ビデオ出力データストリーム１０２を生成および／または提供するように構成されたプロセッサ手段１３０を有する。プロセッサ手段１３０は、ビデオ出力データストリーム１０２を生成するためにビデオソースデータストリーム２０２ａ、２０２ｂをスイッチングすることで、例えば、ビデオ出力データストリーム１０２が、第一の時点ではビデオソースデータストリーム２０２ａによって定義され、第二の時点ではビデオソースデータストリーム２０２ｂによって定義されるようにする。スイッチングは二つの連続した時点の間でも行なわれ、これはハードスイッチングと呼ばれる。単純に言うと、プロセッサ手段１３０は、スイッチまたはスプリッタとして機能して、ビデオソースデータストリーム２０２ａまたはビデオソースデータストリーム２０２ｂを伝達し、ビデオ出力データストリーム１０２とするように構成されている。装置１００は、ビデオソース信号２０２ａまたは２０２ｂを、時間選択的に、各信号をデコード、変更、エンコードすることなく、すなわち信号を操作することなく、伝達してもよい。

さらに、プロセッサ手段１３０は、伝達用のビデオソースデータストリーム２０２ａ、２０２ｂをそれぞれエンコードし、さらに、ビデオ出力データストリーム１０２の、例えば、ＴＣＰ／ＩＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）、ＷＬＡＮ（Ｗｉｒｅｌｅｓｓ Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などの通信プロトコルおよび／または有線通信プロトコルとの互換性を確保するために、その時点で使用される範囲を越えてエンコードするように構成されていてもよい。さらに、エンコーディングはビデオ出力データストリーム１０２がファイルフォーマットで記録されるように実行されてもよい。

ユーザーインターフェイス１１８によって装置１００が受信し、プロセッサ手段１３０に伝達される、すなわち与えられるユーザー入力１１６によって、ビデオソースデータストリーム２０２ａ、２０２ｂ間のスイッチング１２３がトリガーされてもよい。ユーザーインターフェイス１１８は、例えば、スイッチング１３２が装置１００のボタン押下や入力装置によってトリガーされるような、有線インターフェイスであってもよい。または、ユーザーインターフェイス１１８は、ユーザー入力１１６を無線で受信するような、例えば無線遠隔操作のような無線インターフェイスであってもよい。

スイッチング処理中、すなわちスイッチング時点より前の時間間隔および／またはスイッチング時点より後の時間間隔において、切替効果をビデオ出力データストリーム１０２に統合することが望ましい。切替効果は、例として、フェードイン、フェードアウト、それぞれまたはいくつかの色彩強度やコントラストの変化、および／またはビデオソースによって与えられる信号や画像シーケンスの、グラフィックや画像によるフェードオーバーを含む。これに代わり、またはこれに加えて、切替効果は、画像出力の歪み、（偽）ランダムな画像および／またはモザイク効果の変化などの、決定的または確率的マッピング機能を有していてもよい。

装置１００は、制御コマンド１１４を相応に構成して、それを受信したビデオソース２００ａおよび／または２００ｂに、対応する切替効果を該ビデオソースが提供するビデオソースデータストリーム２０２ａおよび／または２０２ｂに少なくとも部分的に統合させる指示を制御コマンドが含むようにする。

装置１００は、例えばビデオミキサーとして実施されてもよい。これに代わり、またはこれに加えて、装置１００は、パーソナルコンピュータ（ＰＣ）や、携帯電話やタブレットコンピュータなどの携帯機器として実施されてもよい。第一、第二信号入力１０４ａ、１０４ｂは、統合されて、ネットワークまたは無線インターフェイスのような一般的なインターフェイスを構成してもよい。

次に、ビデオソース２００ａ、２００ｂの機能のモードを説明する。

ビデオソース２００ａ、２００ｂはそれぞれ信号入力２０４ａ、２０４ｂを有し、これによりビデオソース２００ａ、２００ｂが制御コマンド１１４を受信する。ビデオソース２００ａは、複数画像のシーケンス２１２を提供する装置２１０であって、カメラチップや複数画像を記憶するデータストレージのような、複数画像のシーケンス２１２を読み出し可能に構成された装置２１０を有する。ビデオソース２００ａは、さらに、複数画像のシーケンス２１２を装置２１０から受信し、これらを少なくとも部分的に切替効果に重ね合わせるように構成されたプロセッサ手段２２０を有する。以下、これについては映像情報の切替効果による重ね合わせと称する。

プロセッサ手段２２０は、ビデオソース信号２０２ａを生成するおよび／または提供するようにさらに構成されている。プロセッサ手段２２０は、中央演算処理装置（ＣＰＵ）、マイクロコントローラ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などの、ビデオソースのプロセッサであってもよい。ビデオソース２００ａは切替効果に基づいてビデオソースデータストリーム２０２ａを出力するように構成される。または、ビデオソースデータストリーム２０２ａは、重ね合わせ効果が適用される際に切替効果を含む。これに代わり、またはこれに加えて、ビデオソースは、ハードウェアで加速されたイメージ信号プロセッサ（ＩＳＰ）での干渉および／またはグラフィックプロセッサ手段による画像処理に基いて、切替効果を適用するように構成されていてもよい。これにより、短い時間間隔および／または少ない計算処理によって切替効果を実現することができる。

ビデオソース２００は、ビデオソース信号２０２ａを送信するように構成された出力インターフェイス２０６を有する。送信は、ネットワークや装置１００との直接のケーブル接続など、結線によるものであってよい。または、送信は無線で行なわれてもよい。言い換えると、信号入力１０４ａ、１０４ｂ、１１２、２０４ａ、２０４ｂ、および／または２０６は、有線または無線インターフェイスとして実施される。

ビデオソース２００は、グラフィックを記録しそのグラフィックをプロセッサ手段２２０に提供する、任意のグラフィックメモリ２３０を有する。グラフィックは、例として、ロゴや、装置２１０が提供する画像が少なくとも時折重ね合わせられる、連続的または一定の画像効果であってもよい。または、ビデオソース２００ａおよび／または２００ｂは、コンピュータなどの他の装置や、装置１００から対応するグラフィックを受信するように構成されていてもよい。これは、例えば、制御コマンド１１４が転送されるチャンネルのような、別個のまたは既存の転送チャンネルによって行なわれる。

ビデオソース２００ａ、２００ｂは、例えば、人物および／または風景のような、（例えば別アングルの）同じあるいは別の（スポーツ）イベントなどの録画等の、互いに同じまたは異なる対象領域を検知する二つのカメラとして実施される。これに代わり、またはこれに加えて、ビデオソース２００ａ、２００ｂの少なくとも一つは、ハードディスクドライブなどのビデオメモリとして実施されてもよい。または、ビデオシステム１０００はさらなるビデオソースを有していてもよい。

ここまでで示したビデオシステム１０００の各部の機能の説明に続いて、各部の機能の協働である、ビデオシステムの機能について、以下に説明する。

切替効果は、例えばユーザーにより、ビデオソースデータストリーム２０２ａからビデオソースデータストリーム２０２ｂへの、またはその逆の、一回または数回の切替であることが望まれる場合もある。対応するユーザー入力１１６は、例えば、インターフェイス１１８によって受信されてもよい。切替効果に関する情報は、制御コマンド１１４によって関連するそれぞれまたは全てのビデオソース２００ａおよび／または２００ｂに送信される。単純に言うと、装置１００は、どの時点でどのスイッチング効果を実行するかの情報を提供する。この情報は、例えば、切替効果の数字やインデックスなどの特定情報、切替効果の長さ、開始の時点、最後の時点、切替効果の種類または強度に関するものである。制御コマンド１１４は、ビデオソース２００ａまたは２００ｂに特に送信されてもよく、各受信装置、すなわちビデオソース２００ａまたは２００ｂが、コマンドの指示がどの装置に対するものか認識できるように、ブロードキャストで全ての参加装置に送信されてもよい。

所望の切替効果が、関連するビデオソース２００ａ、２００ｂ両方のビデオソースデータストリーム２０２ａ、２０２ｂの操作または修正を含む場合、この切替効果は二つまたはいくつかの副効果に分割されてもよい。少なくとも一つの副効果は、ビデオソース２００ａおよび／または２００ｂそれぞれの画像のシーケンス２１２に対して適用される。例として、第一から第二ビデオソースデータストリームへの切替効果（ソフト切替効果ともいう）は、第一データストリームのフェードアウトと第二データストリームのフェードインであってもよい。この切替効果は、第一切替副効果（フェードアウト効果）と第二切替副効果（フェードイン効果）と表現されてもよい。各切替副効果は、ビデオソース２００ａおよび／または２００ｂの一つに適用されてもよい。例として、ビデオ出力データストリーム１０２としてある時点で提供されるビデオソースデータストリーム２０２ａのフェードアウトと、ビデオ出力データストリーム１０２内で次に含まれるビデオソースデータストリーム２０２ｂのフェードインとは、ビデオソース２００ａでのフェードアウトとビデオソース２００ｂにおけるフェードインとして実現されてもよい。または、切替効果は、例えばフェードアウト、フェードアウェイ、またはフェードインのみなど、一つのビデオソースデータストリームにおいてのみ実現されてもよい。

装置１００のプロセッサ手段１３０と、ビデオソース２００ａおよび／または２００ｂの装置２２０とを、個々の切替効果の時間的マッチング位置がセットされるように、時間的に互いに対して同期させてもよい。時間的同期は、例えば、制御コマンド１１４が送信される付加的な送信チャンネル、ビデオソースデータストリーム２０２ａおよび／または２０２ｂが送信される送信チャンネル、および／または、装置１００および／または他のチャンネル上のビデオソース２００ａおよび／または２００ｂによって受信される共通同期信号によって、達成することができる。これにより、装置１００による切替効果をそれぞれ伴うまたは伴わないビデオストリーム２０２ａ、２０２ｂの、付加的な同期を省略することができる。

ビデオソース２００ａおよび／または２００ｂは、可変ビットレートでビデオソースデータストリーム２０２ａおよび／または２０２ｂをそれぞれ出力するように構成されていてもよい。例として、現時点でそのビデオソースデータストリームが出力データストリーム１０２に挿入されていない（一または複数の）ビデオソースについては、（映像）情報のみを低品質、すなわち低ビットレートで送信する一方、そのビデオソースデータストリームが出力データストリーム１０２に挿入されている（一または複数の）ビデオソースについては、同じまたは高いビットレートおよび／または品質で送信する。これは、例えば一般的なラジオ媒体や一般的な有線ネットワークなどの、一般的に用いられる送信媒体の場合に有効である。

例えば、伝達用のビデオソース２００ａまたは２００ｂが、ビデオ信号２０２ａおよび／または２０２ｂを高いまたは最高ビットレートで生成する一方、装置１００を使用する、切替効果を開始する、および／またはスイッチングを行うか否かを評価すべくビデオソースデータストリーム２０２ａおよび／または２０２ｂを確認する、オペレータにとっては、現在使われていないビデオソースデータストリームの低解像度のサムネイル画像や図で十分である。制御コマンド１１４または他のメッセージによって、各ビデオソースデータストリームのビットレートを所定の値またはメッセージに含まれる値に変更するように各ビデオソースを管理してもよい。または、ビデオソースは、例えばフェードアウト効果の終了後にビットレートを減少させるように、および／またはフェードイン効果の開始前またはそれと同時に減少したビットレートを増加させるように、自動的にビットレートを変更するように構成されていてもよい。

言い換えると、切替効果の生成を複数のカメラに任せるというのが基本的なアイデアの一つである。これにより、ビデオ出力データストリームを生成する装置であるビデオミキサーへの要求は格段に減少する。例えば、一つまたは複数のカメラからのビデオストリームを、例えばエンコードされた形で受信し、そのうちの一つを出力ビデオストリームとして出力する。さらに、ビデオミキサーが、受信したビデオストリームを例えばモニター上で示すか、ビデオストリームをモニターに送ることができてもよい。よって、ビデオミキサーは、例えば、ビデオストリームのデコードを実行可能であってもよい。または、デコーディングがモニターで実行されてもよい。これにより、ビデオデータの再コーディングは不要である。さらに、カメラやビデオミキサーを、必須でまたは付加的に、同期を考慮して共通の時間基準を有するようにさせてもよい。ビデオミキサーとカメラとの間の通信手段（バックチャンネル）が必要な場合もある。スイッチングは、ハード的に行ってもよく、切替効果が実行されてもよい。スイッチング時点Ｔ以前にストリームＳ１が出力ストリームとして用いられ、ビデオストリームＳ２が時点Ｔにおいて出力ストリームとなる場合、ハードカットが行なわれてもよい。

ポストプロダクション（後処理）や、高価なミキサーのハードウェアを要することなく、カメラに直接リアルタイムでスイッチング効果を適用できることは利点である。さらに、効果を適用することで起こる付加的な時間的遅延は、ビデオソースの対応するコンポーネントで部分的な映像効果が計算される場合には、防止可能である。これは、例えば、部分的な映像効果の計算をカメラのハードウェアで加速された画像処理チェーンに統合することで達成される。さらに、これにより、カメラの一部で映像効果を生成することに追加のハードウェア資源を用いることなく、前記目的を実現することができる。さらに、ビデオミキサーの一部で映像効果を生成することに追加のハードウェア資源を必要としない。受信したビデオデータの記録も必要ない。部分的切替効果をグラフィカルプロセッサ手段で行うことで、切替効果の付加による時間的遅延が最小化される。

図２ａ〜ｄは、スイッチング時点に対して異なる時点での、複数のカメラとして実装されたビデオソース２００ａ、２００ｂの概略図である。ビデオソース２００ａ、２００ｂはそれぞれビデオソースデータストリーム２０２ａ、２０２ｂを装置１００（ビデオミキサー）に送信する。さらに、図２ａ〜ｄは、ビデオ出力データストリーム１０２の内容を示す。

図２ａは、ｋ ＜ Ｔ_S1となる時点において、装置１００が、ビデオソース２００ａによるＳ１で表されるビデオソースデータストリーム２０２ａを、また、ビデオソース２００ｂによるＳ２で表されるビデオソースデータストリーム２０２ｂを利用可能にすることを模式的に示している。装置１００は、ビデオソースデータストリーム２０２ａを基にビデオ出力データストリーム１０２を生成するか、ビデオ出力データストリーム１０２を提供する。Ｔ_S1は、ビデオソース２００ａによって適用される、期間Ｔ_max1の切替（副）効果の開始時点に関する。図示の時点ｋは、「ｋ ＜ Ｔ_S1」で表される、データストリーム２０２ａまたは２０２ｂのうちの一つでの切替効果の図示の開始前を示す。時点Ｔ_S1において、ｋ ＝ Ｔ_S1 ＋ Ｔ_max1となる時点までは、切替効果はビデオソースデータストリーム２０２ａに対して適用され、これによって修正ビデオソースデータストリームＳ’１となる。

図２ｂに描かれＳ’１で示されるように、ビデオソース２００ａは、時点Ｔ_S1と同時点かそれ以降、且つ、Ｔ_S1 ＋ Ｔ_max1と同時点かそれ以前の時点ｋにおいて、修正ビデオソースデータストリームＳ’１を提供する。これにより、ビデオ出力データストリーム１０２のＳ’１が示すように、ビデオ出力データストリーム１０２に切替効果が含まれることとなる。

図２ｃは、スイッチング処理後のビデオ出力データストリーム１０２を模式的に示す。ビデオソース２００ｂは、期間Ｔ_max2におけるＴ_S2開始時点から、ビデオソースデータストリーム２０２ｂで（部分）切替効果を実行し、Ｓ’２で表される、修正ビデオソースデータストリーム２０２ｂを出力するように構成されている。ビデオミキサーまたは装置１００は、よって、ビデオソースデータストリーム２０２ｂに基づいてビデオ出力データストリーム１０２を生成するか、または提供するように構成されている。これは、時点Ｔ_S2において、図２ｂが示す場合と対称的に、装置１００がビデオソースデータストリーム２０２ａからビデオソースデータストリーム２０２ｂにスイッチングし、これを出力していることを意味している。

ビデオソースデータストリーム２０２ｂの切替効果の終了後、すなわちｋ ＞ Ｔ_S2 ＋ Ｔ_max2となる時点において、図２ｄが模式的に示すように、重ね合わせ効果によるストリームＳ２の重ね合わせが終了し、ビデオソース２００ｂは（修正されていない）ストリームＳ２を供給する。ビデオソース２００ｂは、切替効果によって重ね合わせされていない、または修正されていないビデオソースデータストリーム２０２ｂ（Ｓ２）を提供し、これにより、変更なしの状態の装置１００が、ビデオソースデータストリーム２０２ｂに基づいたビデオ出力データストリーム１０２を提供する。

または、装置１００は、ビデオソースデータストリーム２０２ａおよび／または２０２ｂが切替（副）効果を有する場合、異なる時点でビデオソースデータストリーム２０２ａ、２０２ｂ間のスイッチングを行うように構成されていてもよい。例として、ビデオソース２００ａ、２００ｂのいずれかのみが切替効果を適用する場合、スイッチングは、この効果の期間中に行なわれてもよい。スイッチングは、切替（副）効果の開始時、終了時、または最中に、例えば第一ビデオソースデータストリーム２０２ａの完全なフェードアウトが必要でないか所望されない場合に、行なわれてもよい。

切替効果付きでスイッチングが行われる場合、部分切替効果の、例えば、フェードイン、フェードアウトなどの効果の種類、効果Ｔ_maxの長さ、および／または各部分効果の開始または終了時点等を記述したメッセージが、ビデオソース（カメラ）Ｋ１、Ｋ２に送られる。各ビデオソースでの開始時点は、効果の最後の時点と長さとから決定されてもよい。

効果の開始時点において、画像処理に対する（リアルタイムで行なわれてもよい）効果を有するルーチンが、カメラにおいて開始されてもよい。一般的に、このルーチンはマップｆ（ｋ）としても定義されうる。

ｆ（ｋ）：Ｂｋ → Ｂ’ｋ， Ｔ_S ≦ ｋ ≦ Ｔ_S ＋ Ｔ_max

これは、時点ｋにおいて取得されたか再生された画像Ｂｋを、画像Ｂ’ｋにマッピングするものである。特殊マップｆ_i（ｋ）は、可能な限り全ての部分効果ｉについて定義されてもよい。このマップは、例えば、歪み、モザイク効果、または他の（副）効果を含んでいてもよい。

図３は、図２ａ〜ｄを参照しつつ、ビデオソースデータストリーム２０２ａ、２０２ｂとビデオ出力データストリーム１０２との模式的比較を示す。信号２０２ａ、２０２ｂ、１０２は同期される、つまり同じ時間基準を有するように構成される。例として、各（副）画像が任意の時点ｋでビデオソースデータストリーム２０２ａ、２０２ｂのそれぞれで再生される。

ｋ ＝ Ｔ_S1となる時点において、長さＴ_max1で、切替効果によるビデオソースデータストリーム２０２ａの重ね合わせが開始される。切替効果は時点ｋ ＝ Ｔ_S1 ＋ Ｔ_max1で終了する。Ｔ_S1 ≦ ｋ ≦ Ｔ_S1 ＋ Ｔ_max1となる時点において、修正ビデオソースデータストリームＳ’１を装置１００が受信する。時点ｋ ＝ Ｔ_S2において、切替効果によるビデオソースデータストリーム２０２ｂの重ね合わせが開始される。これは、長さＴ_max2を有し時点Ｔ_S2 ＋ Ｔ_max2まで続く。Ｔ_S2 ≦ ｋ ≦ Ｔ_S2 ＋ Ｔ_max2となる時点において、修正ビデオソースデータストリームＳ’２を装置１００が受信する。

長さＴ_max1とＴ_max2とは、同じでも異なっていてもよく、各切替効果または切替副効果に基づいていてもよい。時点Ｔにおいて、ビデオミキサーは、ビデオ出力データストリーム１０２が、時点Ｔ以前においてはビデオソースデータストリーム２０２ａに基づき、時点Ｔからはビデオソースデータストリーム２０２ｂに基づくように、スイッチングを行う。

ｋ ＝ Ｔとなる時点は、時間的に時点Ｔ_S2と同じか後、時点Ｔ_S1 ＋ Ｔ_max1と同じか前になるように設定される。例として、時点Ｔが両方の時点（Ｔ_S1 ＋ Ｔ_max1とＴ_S2）と一致するように、時点Ｔ_S2はＴ_S1 ＋ Ｔ_max1となる時点に対応する。時点Ｔ_S1より前のビデオ出力信号１０２の時間的推移は、図２ａに示す状態に対応する。時点Ｔ_S1に始まり類推される時点Ｔに至るまでの状態は、図２ｂに示す状態に対応する。時点Ｔに始まる時点Ｔ_S2 ＋ Ｔ_max2までの状態は、例として図２ｃに示される。以降の時点の状態、すなわちビデオソース２０２の切替効果終了後の状態は、図２ｄに示される。

言い換えると、図２ａ〜ｄと図３に、分散された切替効果の生成の全工程が図示されている。時点Ｔ_S1より前では、無修正のビデオストリームＳ１がビデオミキサーから出力される。

Ｔ_S1 ≦ ｋ ≦ Ｔ_S1 ＋ Ｔ_max1となる時点ｋにおいて、カメラＫ１のビデオストリームがマップｆ₁（ｋ）の影響を受けてＳ’１となる。

Ｔ ≦ Ｔ_S1 ＋ Ｔ_max1となる、すなわちビデオソース２００ａの切替効果がまだ終了していない時点ｋ ＝ Ｔ（例えばＴ_S2）において、ビデオミキサーは出力ストリームをカメラＫ２の出力にスイッチングする。Ｔ ≦ ｋ ≦ Ｔ_S2 ＋ Ｔ_max2となる時点ｋにおいて、カメラＫ２のビデオストリームがマップｆ₂（ｋ）の影響を受けてＳ’２となる。

ｋ ＝ Ｔ_S2 ＋ Ｔ_max2 ＋ １となる時点からは、無修正のビデオストリームＳ２がビデオミキサーから出力される。これにより、切替効果の生成が終了する。

前記の構想により、安価で携帯リアルタイム実行可能な、オペレータ（ユーザー）が望めば単純なスイッチング効果を生成することもできるビデオミキサーを実現することができる。

このようなビデオミキサーは、例えば、携帯電話やコンピュータ、タブレットＰＣ等をビデオミキサーとして使用する、複数のカメラを有する携帯ライブ映像制作システムに適用可能である。

前記実施形態はプロセッサ手段を有するビデオミキサーに関するものであるが、本発明の実施形態を、プログラムコードまたはソフトウェアとして実施してもよい。

いくつかの態様は装置の文脈で記載されているが、これらの態様を対応する方法の記載として、装置のブロックや要素が方法のステップや方法のステップの特徴に対応するように記載できることは明白である。同様に、方法のステップの文脈でまたは方法のステップとして記載された態様を、対応する装置の対応するブロック、要素、特徴として表すこともできる。

実施の際の要求に応じて、本発明の実施形態はハードウェア内またはソフトウェア内で実施可能である。フロッピー（登録商標）ディスク、ＤＶＤ、ブルーレイディスク、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、ハードドライブ、その他電子的に読み取り可能に制御信号を記録した磁気または光学メモリ等であって、各方法を実行するようにプログラム可能なコンピュータシステムと協働するまたは協働可能な、デジタル記録媒体を用いて、前記の実施を実行してもよい。よって、デジタル記録媒体はコンピュータで読み取り可能であってもよい。本発明の実施形態のいくつかは、前記方法の一つが実行されるようにプログラム可能なコンピュータシステムと協働可能で、電子的に読み取り可能な制御信号を含む、データキャリアを含む。

一般的に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実施可能である。プログラムコードは、コンピュータプログラム製品がコンピュータ上で実行される際に、本明細書の方法の一つが実行されるように動作する。前記プログラムコードは、例えば、機械可読なキャリアに記録される。

他の実施形態は、本明細書の方法の一つを実行する、機械可読なキャリアに記録されたコンピュータプログラムを有する。

言い換えると、本発明の方法の一実施形態は、コンピュータ上で実行される際に、本明細書の方法の一つを実行するプログラムコードを含むコンピュータプログラムである。本発明の方法の別の実施形態は、本明細書の方法の一つを実行するコンピュータプログラムを記録したデータキャリア（またはデジタル記録媒体またはコンピュータ読み取り可能な媒体）である。

本発明の方法の別の実施形態は、本明細書の方法の一つを実行するコンピュータプログラムを表すデータストリームまたは信号列である。前記データストリームまたは信号列は、例えば、インターネット等のデータ通信接続を通じて伝送可能に構成される。

別の実施形態は、本明細書の方法の一つを実行するように構成または設けられた、例えばコンピュータやプログラム可能な論理デバイスなどの処理手段を有する。

他の実施形態は、本明細書の方法の一つを実行するためのコンピュータプログラムがインストールされたコンピュータを有する。

実施形態によっては、（例えばフィールドプログラマブルゲートアレイ（ＦＰＧＡ）のような）プログラム可能な論理デバイスが、本明細書の方法のいくつかまたは全ての機能を実行するために用いられてもよい。実施形態によっては、フィールドプログラマブルゲートアレイは、本明細書の方法の一つを実行するためのマイクロプロセッサと協働してもよい。一般的に、実施形態によっては、前記方法はハードウェア装置によって好適に実行される。このハードウェア装置は、コンピュータプロセッサ（ＣＰＵ）やＡＳＩＣなどの各方法専用のハードウェアなど、汎用のハードウェアであってもよい。

前記実施形態は、本発明の原理を単に説明するものである。本明細書に記載の構成や詳細の変形例は当業者にとって自明である。よって、本発明は、本明細書の実施形態の特定の記載ではなく、添付の特許請求項の範囲のみによって限定される。

[参考文献]
［１］Ｒ． ａ． Ｃ． Ｆ． Ｋｕｒｃｅｒｅｎ， “Ｃｏｍｐｒｅｓｓｅｄ Ｄｏｍａｉｎ Ｖｉｄｅｏ Ｅｄｉｔｉｎｇ，” ｉｎ Ａｃｏｕｓｔｉｃｓ， Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ， ２００６． ＩＣＡＳＳＰ ２００６ Ｐｒｏｃｅｅｄｉｎｇｓ． ２００６ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ， ２００６．
［２］Ｗ． Ａ． Ｃ． Ｆｅｒｎａｎｄｏ， Ｃ． Ｃ．Ｎ． ａｎｄ Ｄ． Ｂｕｌｌ， “Ｖｉｄｅｏ ｓｐｅｃｉａｌ ｅｆｆｅｃｔｓ ｅｄｉｔｉｎｇ ｉｎ ＭＰＥＧ−２ ｃｏｍｐｒｅｓｓｅｄ ｖｉｄｅｏ，” ｉｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ， ２０００． Ｐｒｏｃｅｅｄｉｎｇｓ， ＩＳＣＡＰ ２０００ Ｇｅｎｅｖａ． Ｔｈｅ ２０００ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ， Ｇｅｎｅｖａ， ２０００．

Claims (20)

1. ビデオ出力データストリーム（１０２）を生成する装置（１００）であって、
   第一ビデオソースデータストリーム（２０２ａ）を受信する第一信号入力（１０４ａ）と、
   第二ビデオソースデータストリーム（２０２ｂ）を受信する第二信号入力（１０４ｂ）と、
   ビデオ出力データストリーム（１０２）を、第一時点（ｋ＜Ｔ）において第一ビデオソースデータストリーム（２０２ａ）に基づいて提供し、スイッチング手段（１３２）により、第一時点に続く第二時点（ｋ＞＝Ｔ）において第二ビデオソースデータストリーム（２０２ｂ）に基づいて提供する、プロセッサ手段（１３０）と、
   第一（２０２ａ）または第二（２０２ｂ）ビデオソースデータストリームを提供するビデオソース（２００ａ、２００ｂ）に制御コマンド（１１４）を送信する制御信号出力（１１２）と、を有し、
   前記制御コマンド（１１４）は、ビデオ出力信号（１０２）の第一ビデオソースデータストリーム（２０２ａ）の画像と第二ビデオソースデータストリーム（２０２ｂ）の画像との時間的な間に位置する切替効果を適用する、ビデオソース（２００ａ、２００ｂ）に対する指示を含む、装置。
2. 前記指示が、長さ（Ｔ_max1、Ｔ_max2）、開始時点（Ｔ_s1、Ｔ_s2）、終了時点（Ｔ_s1＋ Ｔ_max1、Ｔ_s2＋ Ｔ_max2）、マップ（ｆ（ｋ））、切替効果の種類または強度の少なくとも一つに関する、請求項１に記載の装置。
3. プロセッサ手段（１３０）がスイッチング処理を行う場合、前記切替効果が、ビデオソース（２００ａ、２００ｂ）によって、時間間隔（Ｔ_s2 ≦ ｋ ≧ Ｔ_s1 ＋ Ｔ_max1）の間に、第一（２０２ａ）または第二（２０２ｂ）ビデオソースデータストリームに適用されるように構成された、請求項１または２に記載の装置。
4. プロセッサ手段（１３０）が、ビデオソース（２００ａ、２００ｂ）のプロセッサ手段（２２０）と時間的に同期してプログラムコードを処理するように構成された、前記請求項のいずれかに記載の装置。
5. プロセッサ手段（１３０）が、前記指示をユーザー入力（１１６）に基づいて構成する、前記請求項のいずれかに記載の装置。
6. 切替効果が、第一副効果と第二副効果とを有し、装置（１００）が、第一副効果を第一ビデオソース（２００ａ）に適用する第一指示を含む第一制御コマンド（１１４）と、第二副効果を第二ビデオソース（２００ｂ）に適用する第二指示を含む第二制御コマンド（１１４）とを送信するように構成された、前記請求項のいずれかに記載の装置。
7. 第一または第二ビデオソースデータストリームを操作することなく、ビデオ出力データストリーム（１０２）として、切替効果付きの第一または第二ビデオソースデータストリーム（２０２ａ、２０２ｂ）を提供するように構成された、前記請求項のいずれかに記載の装置。
8. ビデオソースデータストリーム（２０２ａ、２０２ｂ）を出力するように構成されたビデオソース（２００ａ、２００ｂ）であって、
   ビデオ出力ストリームを生成する装置（１００）から、切替効果をビデオソースデータストリーム（２０２ａ、２０２ｂ）に適用する指示を含む制御コマンド（１１４）を受信する、信号入力（２０４ａ、２０４ｂ）を有し、
   前記指示が、長さ（Ｔ_max1、Ｔ_max2）、開始時点（Ｔ_s1、Ｔ_s2）、終了時点（Ｔ_s1＋ Ｔ_max1、Ｔ_s2＋ Ｔ_max2）、切替効果の種類または強度の少なくとも一つに関する、ビデオソース。
9. 切替効果により映像情報（２１２）を重ね合わせるように構成された、請求項８に記載のビデオソース。
10. 切替効果を含むビデオソースデータストリーム（２０２ａ、２０２ｂ）を出力するように構成された、請求項８または９に記載のビデオソース。
11. 前記切替効果が、マップ（ｆ（ｋ））、フェードイン効果、フェードアウト効果、または、ビデオソースデータストリーム（２０２ａ、２０２ｂ）の第二画像、またはビデオソースのグラフィックメモリ（２３０）に記憶された、または装置が受信したグラフィックによって、ビデオソースデータストリーム（２０２ａ、２０２ｂ）の第一画像を重ね合わせる効果である、請求項８〜１０のいずれかに記載のビデオソース。
12. イメージセンサ（２１０）に基づいて生成された、またはデータストレージ（２１０）から読み出した、ビデオソースデータストリーム（２０２ａ、２０２ｂ）を出力するように構成された、請求項８〜１１のいずれかに記載のビデオソース。
13. ビデオ出力データストリームを生成する装置（１００）のプロセッサ手段（１３０）と時間的に同期してプログラムコードを処理するように構成されたプロセッサ手段（２２０）をさらに有する、請求項８〜１２のいずれかに記載のビデオソース。
14. 画像信号処理チェーンの影響またはグラフィカルプロセッサ手段に基づいて、前記切替効果を適用するように構成された、請求項８〜１３のいずれかに記載のビデオソース。
15. 可変ビットレートでビデオソースデータストリームを出力するように構成された、請求項８〜１４のいずれかに記載のビデオソース。
16. 請求項１〜７のいずれかに記載のビデオ出力データストリーム（１０２）を生成する装置（１００）と、
    請求項８〜１５のいずれかに記載の第一ビデオソース（２０２ａ）と、
    請求項８〜１５のいずれかに記載の第二ビデオソース（２０２ｂ）と
    を有する、ビデオシステム（１０００）。
17. 切替効果が、第一副効果と第二副効果とを有し、ビデオ出力データストリーム（１０２）を生成する装置（１００）が、第一副効果を第一ビデオソース（２００ａ）に適用する第一指示を含む第一制御コマンド（１１４）と、第二副効果を第二ビデオソース（２００ｂ）に適用する第二指示を含む第二制御コマンド（１１４）とを送信するように構成された、請求項１６に記載のビデオシステム。
18. ビデオ出力データストリームを生成する方法であって、
    第一ビデオソースデータストリームを受信するステップと、
    第二ビデオソースデータストリームを受信するステップと、
    ビデオ出力データストリームを、第一時点において第一ビデオソースデータストリームに基づいて提供し、スイッチング処理により、第一時点に続く第二時点において第二ビデオソースデータストリームに基づいて提供するステップと、
    第一または第二ビデオソースデータストリームを提供するビデオソースに制御コマンドを送信するステップとを有し、
    前記制御コマンドは、第一または第二ビデオソースデータストリームに切替効果を適用する、ビデオソースに対する指示を含み、
    前記指示が、長さ、開始時点、終了時点、マップ（ｆ（ｋ））、切替効果の種類または強度の少なくとも一つに関する、方法。
19. ビデオソースデータストリームを出力する方法であって、
    切替効果をビデオソースデータストリームに適用する指示を含む制御コマンドを受信するステップを有し、
    前記指示が、長さ、開始時点、終了時点、マップ（ｆ（ｋ））、切替効果の種類または強度の少なくとも一つに関する、方法。
20. コンピュータ上で実行されたとき、請求項１８または１９に記載の方法を実行するプログラムコードを有するコンピュータプログラム。

Images