JP2015537474A

JP2015537474A - 映像処理装置を操作する方法

Info

Publication number: JP2015537474A
Application number: JP2015542250A
Authority: JP
Inventors: オブストフェルダー、ユルゲン
Original assignee: Scalable Video Systems GmbH
Current assignee: Scalable Video Systems GmbH
Priority date: 2012-11-16
Filing date: 2013-11-12
Publication date: 2015-12-24
Anticipated expiration: 2033-11-12
Also published as: EP2920957A1; WO2014076102A1; US20160277806A1; EP2733926A1; EP2920957B1; JP6335913B2

Abstract

映像制作における制作信号は多くの場合、多くの異なるソース信号から成る合成画像である。そのような合成画像の典型例は、合成画像の大部分が挿入タイルや挿入バーとして挿入された広告、株式市場情報、ニュース速報等から成るニュース番組や販売番組等である。合成画像の生成に関与する入力信号の総数は、容易に約１５に到達し得る。通常、全ての入力信号を伝送するために必要な帯域幅は、ＩＰネットワークでは容易に利用できない。従って、ＩＰネットワークに基づく映像処理システムを操作するための新たな方法を提案する。本方法は、合成画像を形成するために必要な入力信号の関連部分のみを伝送することで、帯域幅の要件を効果的に制限することを提案する。

Description

第１態様によれば、本発明は映像／音声処理装置を操作する方法に関し、特に請求項１に係る方法に関する。第２態様によれば、本発明は映像／音声処理装置に関する。

テレビ制作のようなライブ映像制作は今日、ビジョンミキサを用いて実現される。ビジョンミキサは例えばグラス・バレー（Grass Valley）、ソニー（Sony）、スネル・アンド・ウィルコックス（Snell & Wilcox）、およびロス（Ross）などの会社から市販されている。

ビジョンミキサ（映像スイッチャ、映像ミキサ、制作スイッチャ、または単にミキサとも呼ばれる）は、異なる映像入力信号から選択して映像出力信号を生成するために使用される装置である。様々な種類の遷移を作成する以外に、ビジョンミキサは多数の映像効果を生成することができ、キーヤー（keyers）、マット（matte）生成器、テキスト生成器等を含む。ビジョンミキサによって、ユーザは様々なソースから選択可能な宛先への信号のルーティングも制御する。

ビジョンミキサは、映像信号に付随する音声信号のルーティングおよび切替えも実行する。しかし、映像信号の処理は音声信号の処理よりも複雑であるので、本願は映像信号に重点を置く。本願の文脈において、映像信号の処理は、付随する音声信号の対応する処理も含意することを理解されたい。本発明の説明を明瞭にするために、音声信号は必ずしも映像信号に加えて言及しない。

ビジョンミキサの多数の機能性を可能にするために、ビジョンミキサは映像信号を処理する多数のハードウェアコンポーネントで構成される。処理用ハードウェアコンポーネントは１つの筐体内に配置され、全ての映像処理用ハードウェアをリアルタイムで制御してライブ制作の高速制御要件を満たすためにローカルバスソリューションと接続される。

従来のビジョンミキサは、中央ミキシング電子装置、幾つかの入力チャネルおよび少なくとも１つの出力チャネル、制御ユニット、ならびにユーザインタフェースを含む。そのような種類のビジョンミキサは例えば特許文献１に記載されている。

ミキシング電子装置には１００個またはそれ以上の映像入力信号が同時に供給される。入力信号はカメラからのライブ映像信号、アーカイブ素材のようなサーバからの記録映像クリップ、専用スローモーションサーバからのスローモーションクリップ、グラフィック生成器からの合成画像、アニメーションおよび英数字記号である。現在まで、映像を処理するためにＦＰＧＡ（フィールドプログラマブルゲートアレイ）が使用されている。

現在のビジョンミキサは高価であり、かつ操作が難しい。特許文献２（欧州特許出願第１２１７５４７４．１号）は、専用ハードウェアに基づく今日の既存の映像処理システム／映像制作システムをＩＰネットワーク構造によって通信可能に接続されたグラフィック処理ユニット（ＧＰＵ）ベースの処理ユニットに置き換えることを提案している。典型的には、ネットワークはＴＣＰ／ＩＰプロトコルによって動作する。原則的に、このシステムは任意のソースまたは入力信号を任意の宛先にルーティングすることを可能にする。しかし、ＩＰネットワークの現在利用可能な帯域幅は、任意の入力信号を任意の宛先への同時ルーティングを不能にする。

Boutaba Rらは、非特許文献１にて分散映像制作について記載している。非特許文献１は、遅延の問題、遅延変動、およびインターメディアスキュー要件に取り組むものである。Boutabaらは、遅延性能が遅延変動または「ジッタ」に基づいて測定されることを明言している。ジッタは、中間スイッチングノードにおけるバッファ占有率の変動のためネットワークの異なるパケットに生じる遅延差の尺度である。別の形のジッタは、ストリーム間ジッタすなわち「スキュー」であり、それは同一アプリケーションに関する別々のストリーム（例えば音声および映像）によって見られる遅延差を測定する。適切なストリーム内同期を確実にするために、低い遅延変動がしばしば要求される。Boutabaらは、データストリームをバッファリングすることによってジッタを補償することを提唱している。これは、ジッタを補償するために、充分に長い区間の映像および音声データを格納することが可能な充分なメモリを備えることを必要とする。高解像度映像データの場合、これは大きい格納容量を必要とする。

特許文献３は、サーバおよびクライアント装置を含む画像視聴システムを開示している。サーバは基本解像度画像を送信する。仮想レンズは、関心領域に対応する基本解像度画像の一部分をより高い解像度で表示することを可能にする。クライアント装置のユーザは、仮想レンズの配置およびサイズを動的に制御することができる。この視聴システムは、高解像度画像全体をネットワークで送信する必要性を回避する。

独国特許出願公開第１０３３６２１４号明細書欧州特許出願公開第２６８３１５５号明細書米国特許出願公開第２０１２／００１１５６８号明細書

"Distributed Video Production: Tasks, Architecture and QoS Provisioning", Boutaba R et al., Multimedia Tools and Applications, Kluwer Academic Publishers, Boston, US, Volume 16, Number 1-2, January 1, 2002, pages 99-136

本発明は、ＩＰネットワーク構造によって接続された分散映像／音声処理システムに関連する帯域幅の問題を緩和することを目的とする。

第１態様によれば、本発明は、パケット化されたデータを通信するためにデータリンクによって接続された複数の入力ユニットおよび処理ユニットを含むシステムにおいて映像／音声処理装置を操作する方法を提案する。方法は、
ａ）前記複数の入力ユニットで複数の入力信号を受信するステップと、
ｂ）合成画像の主要部分を形成する主入力信号を選択するステップと、
ｃ）前記合成画像内の予め定められた位置に予め定められたサイズの前記合成画像の一部分を形成するための追加入力信号を選択するステップと、
ｄ）前記合成画像内の予め定められた位置および予め定められたサイズの前記一部分を選択するステップと、
ｅ）前記選択された画像部分に関する情報を前記入力ユニットの１つに送信するステップと、
ｆ）前記合成画像の前記選択された部分を形成する前記入力信号の部分のみを送信するように前記１つの入力ユニットに要求するステップと、
を備える。

本発明の方法は、合成画像の選択された部分を形成する入力信号の部分のみを送信することにより、追加入力信号を提供するために必要とされる要求帯域幅を著しく低減することを可能にする。合成画像を形成するために幾つの追加入力信号が含まれるかに関係なく、合成画像を伝送するために必要な帯域幅は、フルサイズ入力信号を伝送するために要求される帯域幅の最大２倍に限定される。

有利には、方法は、前記ステップｄ）〜ｆ）を繰り返すステップをさらに備える。
有利な実施形態では、方法は、前記選択された画像部分に関する情報を、前記主入力信号を提供する前記入力ユニットに送信して、この入力ユニットが前記選択された画像部分に対応する前記主入力信号の部分を送信することを防止するステップをさらに備える。

別の実施形態では、方法は、前記選択された入力信号を前記処理ユニットのレベルで処理して前記合成画像を形成するステップをさらに備える。
本発明のさらに別の実施形態では、方法は、前記選択された追加入力信号を前記主入力信号に挿入するためのキー信号を生成するステップをさらに備える。この場合、方法は、前記処理ユニットに前記キー信号を輝度信号としてのみ送信するステップをさらに備えることができる。

第２態様によれば、本発明は、映像および／または音声信号を処理するための処理装置を提案する。処理装置は、処理ユニットおよび少なくとも１つの入力ユニットを含む。前記処理ユニットおよび前記入力ユニットは、デジタルデータをパケット化形式で交換するためにデータリンクによって通信可能に接続される。前記パケット化されたデータは、前記処理ユニットと前記少なくとも１つの入力ユニットとの間で通信される映像および／または音声信号および／またはコマンド信号を表す。前記少なくとも１つの入力ユニットは、複数の入力信号を受信するように構成されている。前記複数の入力信号の１つは、前記合成画像の主要部分を形成する主入力信号として選択され、別の入力信号は、前記合成画像内の予め定められた位置に予め定められたサイズの前記合成画像の一部分を形成する追加入力信号として選択される。前記処理ユニットは、前記合成画像内の予め定められた位置および予め定められたサイズの前記一部分を選択するとともに、前記選択された画像部分に関する情報を前記少なくとも１つの入力ユニットに送信して、前記少なくとも１つの入力ユニットに、前記合成画像の前記選択された部分を形成する前記入力信号の部分のみを送信することを要求するように構成されている。

処理装置は、上記した本発明の方法と同じ利点を有し、特定の種類の合成画像に要求される帯域幅を著しく低減することを可能にする。
本発明の実施形態を図面に示す。図中、同一の特徴部分には同一または類似の参照番号を付している。

従来のビジョンミキサの概略ブロック図である。本発明に係る方法によって操作される映像処理のためのシステムの概略ブロック図である。映像処理のためのシステムの別の概略ブロック図である。図４Ａ〜４Ｆは、合成画像の異なるレベルを示す図である。本発明に係る方法を示すフローチャートである。

図１は、概してミキサとも呼ばれる従来のビジョンミキサ１００の概略ブロック図を示す。ミキサ１００は、それぞれ矢印１０３，１０４によって表された複数の映像入力および複数の映像出力を有するクロスポイントマトリックスまたはマトリックス１０２を備える。プロ用ビジョンミキサは、映像データを受信または送信するためにシリアルデジタルインタフェース（ＳＤＩ）デジタルデータを使用している。ＳＤＩデジタルデータはまた、埋込み音声ストリーム、補助データ、クロックデータ、およびメタデータを含む。１．５Ｇｂｉｔ／ｓのデータストリーム（１０８０ｉ／７２０ｐピクチャフォーマット）には、１６の埋込み音声チャネルがあり、３．０Ｇｂｉｔ／ｓのデータストリーム（１０８０ｐピクチャフォーマット）には、３２の埋込み音声ストリームがある。ミキサ１００は他のフォーマットでデジタルデータを送受信することもできる。マトリックス１０２は、ユーザコマンドに応答して映像入力のいずれか１つを映像出力のいずれか１つと接続するように構成される。マトリックス１０２の出力チャネルはミキサの映像効果ステージ（Ｍ／Ｅステージ）１０５に提供される。Ｍ／Ｅステージ１０５によって処理される映像出力信号は矢印１０６により示される。ミキサ１００の機能性は、映像入力信号の処理を制御および実行するため、ならびに所望の映像出力信号を生成および制作するために、制御コマンドをユーザが入力可能な入力ユニット１０７によって制御される。入力ユニット１０７は、データおよび制御バス１０８を介して制御コマンドを制御ユニット１０９に伝送する。制御ユニット１０９はユーザ入力コマンドを解釈し、対応するコマンド信号をマトリックス１０２およびＭ／Ｅステージ１０５にアドレス指定する。この目的のために、制御ユニット１０９は、それぞれデータおよび制御バス１１１，１１２により、マトリックス１０２およびＭ／Ｅステージ１０５に接続される。バス１０８，１１１，１１２は、制御ユニット１０９および入力ユニット１０７への返信メッセージを可能にする双方向バスである。返信メッセージは、マトリックス１０２およびＭ／Ｅステージ１０５の動作状態のフィードバックを提供する。入力ユニット１０７は、ユーザの情報のために、ミキサ１００の動作状態を反映する状態インジケータを表示する。

最新のビジョンミキサは、上述の通りさらに多くの映像入力および出力チャネルが設けられ、最大８つのダウンストリームキーヤーを含む。その結果、そのような最新のビジョンミキサには１０００を超す押しボタンが設けられる。明らかに、最新のビジョンミキサは操作が難しく、複雑かつ高価なハードウェア装置である。

図２は、本願と同一出願人によって出願された欧州特許出願第１２１７５４７４．１号明細書に詳細に記載されている、映像および／または音声信号を処理するための代替的システムのアーキテクチャの概略ブロック図を示す。この発明によるシステムでの提案されたアーキテクチャは、サーバ、グラフィック処理ユニット（ＧＰＵ）、および高速データリンクのような標準化されたＩＴ技術コンポーネントにハードウェアプラットホームを構築することを可能にする。典型的には、これらの標準化ＩＴコンポーネントは、専用の放送機コンポーネントより安価である。提案のシステムは、コスト上の利点以外に、上述したＩＴコンポーネントの領域の技術的進歩から自動的に利益を得る。提案のシステムでは、映像処理ハードウェアはより小さく柔軟な映像処理ユニットに分割され、かつ専用の制御、映像、および音声相互接続を結合して、個々の処理ユニット間の１つの論理データリンクにする。データリンクは、信頼できる一定の時間関係を有するように設計される。データリンクは典型的には、ＬＡＮまたはＷＡＮのような信頼できる双方向高速データ接続に基づく。個々の処理ユニットは、リアルタイム処理挙動を達成しあるいは超えさえするためにできるだけ高速で、独立して働く。通常、リアルタイム処理とは、次の映像フレームが到着するまでに処理が完了することを意味する。したがって、用語「リアルタイム」は相対的用語であり、映像フレームレートに依存する。システムは、同時処理による全体的制作リアルタイム挙動が達成されることを確実にし、一貫した制作信号ＰＧＭ−ＯＵＴを生成する。この一般的概念を以下にさらに詳しく説明する。

本発明に係る映像処理システムでは、映像処理ハードウェアは、制作の地理的分布に従って、すなわち図２に概略的に示すように、制作を可能にするリソースの地理的分布に従って、処理ユニット２０１，２０３，２０５，２０７に編成される。各処理ユニットの技術的コアは、処理アプリケーションフレームワークおよび専用アルゴリズムによって動作するサーバ、１つまたは幾つかのグラフィック処理ユニット（ＧＰＵ）、および高速データリンクである。処理アプリケーションフレームワークおよびアルゴリズムはソフトウェアで実現される。アルゴリズムは、従来のビジョンミキサの機能性の範囲を超えて、さらなる機能性を実現するように構成可能かつ拡張可能である。映像信号は、市販のグラフィックカードのＧＰＵによって処理される。したがって、専用ハードウェアによる従来の映像処理は、標準化ＩＴコンポーネントで実行されるソフトウェアに置き換えられる。ＧＰＵの全ての処理能力が利用可能であり、新しい映像効果が可能になる。

オペレータは制作全体を、それがあたかもコントロールルームに隣接する単一の制作現場で行われているかのように制御する。制作プロセス全体が、専用映像／音声および制御ルーティングから共通データリンクに移動される。ＳＤＩ接続のような個別配線ハードウェアは標準化データネットワークに置き換えられる。データネットワークにおける全ての信号のルーティングは双方向であり、専用マルチビュー出力のような制作出力およびモニタリング信号は、余分なケーブル配線費用無しにネットワークに接続される任意の制作ユニットにルーティングすることができる。

高速データネットワークは映画撮影スタジオまたはＴＶスタジオのような映像制作現場だけでなく、広域分散ネットワーク、例えば多数の１０Ｇイーサネット（登録商標）またはインフィニバンドでも、ますます利用可能になっている。

スタジオにおいて、プロ用映像ネットワーキングとは、映像コンテンツが圧縮されずに伝送されることを意味する。ＨＤＴＶフォーマットの場合、非圧縮音声および映像データが使用されるスタジオ環境では、結果的に１．５Ｇｂｉｔ／ｓの１０８０ｉ／７２０ｐデータレートが得られる。ＨＤフォーマット１０８０ｐの場合、結果的に３．０Ｇｂｉｔ／ｓの正味データレートさえも得られる。

再び図２に関連して、全てのブロックは、全体を参照番号２００で示されるシステムに属する分散処理ユニットの１つを表す。図２に示す例示的実施形態では、処理ユニット２０１はフランクフルトのサッカー競技場に位置する。処理ユニット２０１は、競技場からのカメラ信号、ローカルスローモーションサーバからのスローモーション映像、および最終的に現地でインタビューが行われる場所からの音声および映像信号をローカルソース２０２として受信する。処理ユニット２０３もまたフランクフルトに位置するが、処理ユニット２０１と必ずしも同一場所である必要はない。処理ユニット２０３は、インタビュールームのライブプレゼンタからのカメラ信号をローカルソース２０４として受信する。処理ユニット２０５はベルリンに位置し、進行中の制作に追加の処理能力を提供するだけでなく、例えば広告クリップが格納されているアーカイブおよびサーバへのアクセスをももたらす主処理室を表す。アーカイブおよびサーバはローカルソース２０６として示される。ローカルソース２０２，２０４，２０６は、映像および／または音声信号をＳＤＩまたはストリーミングデータとして提供する。最後に、ライブ制作を制御しかつ監視するミュンヘンに位置する、ライブ制御ユニット（ＬＣＵ）を表す処理ユニット２０７が存在する。制作結果は、放送されるために映像および音声信号ＰＧＭ−ＯＵＴ２０８，２０９として処理ユニット２０３，２０５から出力される。処理ユニット２０１，２０３，２０５，２０７は、図２に示すように信頼できる双方向高速データリンク２１０により互いに相互接続される。データリンク２１０は処理ユニット２０１，２０３，２０５，２０７間の通信を可能にし、制作ユニット間に一定の既知の信号遅延をもたらす。高速データリンク２１０は、特定のハードウェアの実現に依存しない論理データリンクを表すことに留意されたい。例えば、データリンク２１０は幾つかのケーブル１組により実現することができる。図２に示す状況では、データリンク２１０はインターネットプロトコル（ＩＰ）広域ネットワーク（ＷＡＮ）である。ＷＡＮでは、映像処理の要件を満たすために、データパッケージがネットワークで送信されたのと同じシーケンスで受信されることを確実にするように、特別な処置を講じなければならない。システムが単一の大きいビジョンミキサのように挙動するように、適切な処置はネットワークのプロトコルおよび／またはハードウェアレベルで講じることができる。

実際には、従来のハードウェアベースのビジョンミキサとＩＰネットワークによって接続された幾つかの処理ユニットを利用するソフトウェアベースのビジョンミキサの適用には違いが無い。しかし後者はより注意深い帯域幅管理を必要とする。従来のハードウェアベースのビジョンミキサでは、各入力信号に専用のハードウェア接続が設けられ、その結果、各入力チャネルに利用可能な充分な帯域幅が常に存在する。対照的に、処理ユニット間のリンク２１０は通常、利用可能な全ての入力信号を同時に搬送することができず、それについては、図３に関連してさらに詳しく説明する。

図３は、図２に示した種類の映像／音声処理システムの異なるブロック図を示す。図３は、入力ユニット３０１Ａ〜３０１Ｄに対し、１つのネットワークスイッチ３０２および１つの処理ユニット３０３を示す。ネットワークスイッチ３０２はネットワークリンク３０４によって一方では入力ユニット３０１Ａ〜３０１Ｄに、かつ他方では処理ユニット３０３に接続される。実用的な実施形態では、入力ユニット３０１Ａ〜３０１Ｄはコンピュータサーバとして実現される。各コンピュータは幾つかのＩ／ＯカードまたはＩ／Ｏモジュールを備え、各Ｉ／ＯカードまたはＩ／Ｏモジュールは多数のＢＮＣまたはＳＤＩ入力を有する。各入力ユニット３０１Ａ〜３０１Ｄは、２０の入力３０５Ａ〜３０５Ｄを有する。すなわち、システムは全部で８０の信号入力を有する。入力３０５Ａ〜３０５Ｄは例えばカメラ信号、デジタル映像録画装置等の出力信号を受信する。ネットワークリンクはＩＰベースのコンピュータネットワークとして実現され、６〜１０ＧＢのデータレートを提供する。他の実施形態では、ネットワークは４０〜１００ＧＢのデータレートを提供することができる。図４Ａでは、各入力信号は同一帯域幅を有すると想定され、したがって、１つの入力信号に対する所要帯域幅が既知であるため、保証されたデータレートは、データまたはネットワークリンク３０４が所定数の入力信号を伝送することを可能にする。１つの入力信号は「チャネル」とも呼ばれる。図３は、保証されたデータレートをチャネルの整数倍として示す。図３に示した実施例では、入力ユニット３０１Ａ，３０１Ｂ，３０１Ｃは３つの入力信号（チャネル）を、かつ入力ユニット３０１Ｄは２つの入力信号（チャネル）をネットワークスイッチ３０２にそれぞれ伝送することができることが分かる。

しかし、現在の映像制作では、制作信号は多くの異なるソース信号から成る合成画像（または合成信号）である。そのような合成画像の典型的な例はニュース番組、販売番組等であり、画像のかなりの部分が、タイルまたはバーとして挿入される広告、株式市場情報、ニュース速報等から構成される。ほとんどの場合、画面の底部および／または左側のセクションが、上述したタイルまたはバーで構成される。合成画像の生成に関与する入力信号の総数は、容易に約１５に達することができる。今日では関与する信号の各々が全帯域幅で伝送されるので、入力ユニットおよび処理ユニットを接続するネットワークは、対応する数のチャネルを伝送するために充分な帯域幅を提供することが必要になる。それに加えて、各画像挿入は２つの信号、すなわち実画像情報を含む第１信号（「フィル信号」）と、第１信号を背景信号にいかに挿入すべきかの情報を含む第２信号とで構成される。この第２信号は「キー信号」と呼ばれ（一般的コンピュータグラフィックプログラムでは「アルファチャネル」と呼ばれる）、クロミナンス信号成分および輝度信号成分を含む。ただし、キー信号はクロミナンス情報を含まない。輝度信号成分における輝度情報は、挿入の仕方を定義する。最も単純な事例では、挿入されない領域に対しては、輝度信号成分は黒（０％信号レベル）であり、挿入される領域に対しては白（１００％信号レベル）である。透明な挿入のある（例えばロゴがフェードアウト境界を有する）領域の場合、キー信号は徐々に１００％から０％になる。実際には、フィル信号には輝度信号成分の信号レベルを表すキー信号の輝度値ｋが乗算され、主入力信号（背景信号）には係数（１−ｋ）が乗算され、合成画像で２つの信号を重ね合わせることによってフィル信号が埋め込まれる「穴」が形成される。輝度値ｋは、それぞれ１００％および０％の信号レベルに対応する１から０まで線形的に変動する。明らかに、伝送される画像部分は常に、キー信号の輝度値ｋが０とは異なる領域を完全に含まなければならない。いずれの場合も、キー信号に対しては、輝度成分だけを考慮する必要がある。したがって、本発明の実施形態では、キー信号のクロミナンス信号成分は伝送されず、このチャネルでは手始めに５０％の帯域幅が節約される。キー信号のクロミナンス信号成分を除去することによる帯域幅の節約にかかわらず、図３に関連して説明した通り、これらの信号を全て伝送するために必要な帯域幅は依然として、ＩＰネットワークでは容易に利用できない。

したがって、本発明に係る方法は、図４Ａ〜図４Ｆに関連して記載する別の追加的方法を提唱する。
図４Ａは、販売番組の合成画像を示す。合成画像４０１または信号は、ユーザがＴＶの販売番組を見るときに合成画像を見るのと同じ方法で、スクリーンに表示される。画像４０１の主要部分４０２は、２人の人間が例えば新製品について会話しているスタジオ状況である。以下で、この入力信号を主入力信号と呼ぶ。合成画像４０１の右上角部に放送チャネルのロゴ４０３ａが存在する。ロゴ４０３ａの周りの領域は参照番号４０３ｂで示される。画像４０１の左側のセクションには、広告を示す２つの挿入タイルまたはピクチャインピクチャ４０４，４０５が存在する。最後に、画像４０１の底部に挿入されたテキストバー４０６が存在する。図４Ａに示す合成画像４０１は、９つの異なる入力信号（主要部分４０２の主入力信号、ロゴ４０３ａ、広告４０４，４０５、ならびにテキストバー４０６のフィル信号およびキー信号、すなわち１＋４×２＝９）だけで構成されるので、多少簡素化されているが、それにもかかわらず、本発明の原理を説明するのによく適している。

図４Ｂは、ロゴ４０３ａの入力信号を示す。画像４０１に実際に表示されかつ領域４０３ｂを付随する、対応する入力信号の部分のみが処理ユニットに伝送されることに留意されたい。この入力信号の斜線部は伝送されず、したがって、信号を伝送するための所要帯域幅はかなり、例えば８０〜９０％低減される。同様に、図４Ｃ、図４Ｄ、および図４Ｅは、第１広告タイル４０４、第２広告タイル４０５、およびテキストバー４０６の入力信号を示す。これらの入力信号の全てで、画像４０１の車線領域を表す斜線信号部は伝送されない。同様に、図４Ｂ〜図４Ｅに示す斜線領域について、対応するキー信号は伝送されない。主入力信号は完全に送信されるので、ユーザは、全ての挿入部をユーザの自由裁量でフェードインまたはフェードアウトすることができる。一般的に、記載する方法は、入力信号の関連コンテンツだけを送信することに基づく。入力信号の関連コンテンツは入力信号の関連部分に対応する。この方法の前提条件は、関連コンテンツが画像の予め定められた位置にありかつそこに維持され、かつ一定不変の予め定められたサイズを有することである。

しかし、全ての挿入をフェードインまたはフェードアウトすることができるそのような種類の柔軟性は、所用帯域幅をさらに限定することに比べて、かつ合成画像を形成するためにどれだけの数の入力信号が使用されるかにかかわらず、あまり重要でない状況が存在する場合がある。したがって、図４Ｆに示す代替的実施形態は、後で画像挿入部に置換される主画像信号の信号部分を送信しない。しかし、この場合、図４Ｆに示す斜線領域に対応する暗い領域が合成画像４０１に残るので、合成画像における挿入チューブ部分のフェードアウトはもはや実現することができない。合成画像を形成するためにどれだけの数の入力信号が使用されるかに関係なく、合成画像を送信するための所要帯域幅は１つの単独チャネルに維持される。図４Ｆは、画像４０１の主要部分４０２の入力信号を示す。図４Ｆに斜線領域によって示される通り、他の入力信号の以前に識別された関連部分は主入力信号から除外される。図４Ｂ〜図４Ｅに関して説明したのと同様に、斜線領域に対応する主入力信号の部分は、入力ユニットによって送信されない。

本発明の方法の手法を実際にいかに実現するかを、図５に示したフローチャートに関連してさらに詳しく説明する。
第１ステップ５０１で、画像／音声処理システムを操作するユーザは、利用可能な入力信号を１つずつ見ていき、主画像部分４０２に使用される主入力信号を選択する。ステップ５０２で、ユーザは再び他の利用可能な入力信号を１つずつ見ていき、合成画像に使用されるさらなる入力信号を選択する。ひとたびさらなる入力信号が選択されると、ユーザはステップ５０３で、合成画像の関連部分に対応する入力信号の関連部分を識別する。例えばロゴ４０３ａだけを提供する入力信号の場合、ロゴ４０３ａが表示される領域４０３ｂに対応する入力信号部が関連する。ステップ５０４で、入力信号のどの部分が関連するかについての情報は、入力信号の関連部分が使用される合成画像の領域を記載する座標により伝達される。入力信号を提供する入力ユニットは該情報を受信し、それに応答してその後、対応する信号部分だけを送信する。ステップ５０６で、ユーザは、さらに入力信号を合成画像に組み込みたいかどうかを決定する。答えが肯定であれば、フィードバックループ５０７で示されるように、ステップ５０２で再びプロセスが開始される。ユーザによって合成画像のために選択された入力信号の全ての関連部分が画定され、かつ対応する情報が、関連入力信号を提供する入力ユニットに通信されるまで、プロセスは全ての入力信号に対して繰り返される。ユーザは一度に単一の入力信号を見るだけであるので、選択プロセス中に単一のチャネルを送信するための帯域幅だけが要求される。

処理ユニットは、画像の主要部分の領域を他の入力信号の関連部分に置換する。他の入力信号の関連部分は主入力信号に対して補足され、したがって所要帯域幅は入力信号の数が増大するにつれて増大する。

主入力信号の部分が送信されない図４Ｆの代替的実施形態では、図５に破線で示された追加ステップ５０５が要求される。ステップ５０５で、入力信号の関連部分に関して同じ情報が、合成画像の主要部分を提供する入力ユニットに送信される。主入力信号に関連して、情報は相補的に使用される。すなわち、主入力信号の識別された部分は、もはや処理ユニットに送信されない。この方法の有利な結果は、追加入力信号の全ての補足部分に対し、主入力信号の対応部分が除外されるので、合成画像を作成するためにどれだけの数の入力信号が使用されるかに関係なく、単一チャネルに対応する帯域幅だけが必要とされることである。

本発明に係る方法は、ＩＰネットワークによって接続された複数の入力ユニットおよび処理ユニットを含む映像／音声処理システムで、合成画像を制作するための帯域幅要件を効果的に制限する。

１００ビジョンミキサ
１０２クロスポイントマトリックス
１０３入力信号
１０４出力信号
１０５ミキシングおよび映像効果ステージ
１０６映像出力信号の処理
１０７入力ユニット
１０８制御バス
１０９制御ユニット
１１１制御ボックス
１１２制御ボックス
２００処理システム
２０１処理ユニット
２０２外部ソース
２０３処理ユニット
２０４外部ソース
２０５処理ユニット
２０６ローカルソース
２０７処理ユニット
２０８、２０９出力信号
２１０データリンク
３０１Ａ〜３０１Ｄ入力ユニット
３０２ネットワークスイッチ
３０３処理ユニット
３０４ネットワークリンク
３０５Ａ〜３０５Ｄ入力
４０１合成画像
４０２主要部分
４０３ａロゴ
４０３ｂロゴの領域
４０４、４０５広告タイル
４０６テキストバー

Claims

パケット化されたデータを通信するためにデータリンクによって接続された複数の入力ユニットおよび処理ユニットを含む映像／音声処理装置を操作する方法であって、
ａ）前記複数の入力ユニット（３０１Ａ〜３０１Ｄ）で複数の入力信号（３０５Ａ〜３０５Ｄ）を受信するステップと、
ｂ）合成画像（４０１）の主要部分（４０２）を形成する主入力信号を選択するステップと、
ｃ）前記合成画像（４０１）内の予め定められた位置に予め定められたサイズの前記合成画像（４０１）の一部分（４０３〜４０５）を形成するための追加入力信号を選択するステップと、
ｄ）前記合成画像（４０１）内の予め定められた位置および予め定められたサイズの前記一部分を選択するステップと、
ｅ）選択された画像部分（４０３〜４０５）に関する情報を前記入力ユニット（３０１Ａ〜３０１Ｄ）の１つに送信するステップと、
ｆ）前記合成画像の前記選択された部分を形成する前記入力信号の部分のみを送信するように前記１つの入力ユニット（３０１Ａ〜３０１Ｄ）に要求するステップと、
を備える方法。
前記ステップｃ）〜ｆ）を繰り返すステップをさらに備える請求項１に記載の方法。
前記選択された画像部分（４０３〜４０５）に関する情報を、前記主入力信号を提供する前記入力ユニットに送信して、この入力ユニットが前記選択された画像部分に対応する前記主入力信号の部分を送信することを防止するステップをさらに備える請求項１又は２に記載の方法。
前記選択された入力信号を前記処理ユニット（３０３）のレベルで処理して前記合成画像（４０１）を形成するステップをさらに備える請求項１〜３の何れか一項に記載の方法。
前記選択された追加入力信号を前記主入力信号内に挿入するためのキー信号を生成するステップをさらに備える請求項１〜４の何れか一項に記載の方法。
前記処理ユニットに前記キー信号を輝度信号としてのみ送信するステップをさらに備える請求項５に記載の方法。
映像および／または音声信号を処理するための処理装置であって、前記処理装置は処理ユニット（３０３）と少なくとも１つの入力ユニット（３０１Ａ〜３０１Ｄ）とを含み、前記処理ユニット（３０３）および前記入力ユニット（３０１Ａ〜３０１Ｄ）は、デジタルデータをパケット化形式で交換するためにデータリンク（３０４）によって通信可能に接続され、前記パケット化されたデータは、前記処理ユニット（３０３）と前記少なくとも１つの入力ユニット（３０１Ａ〜３０１Ｄ）との間で通信される映像および／または音声信号および／またはコマンド信号を表し、前記少なくとも１つの入力ユニットは、複数の入力信号（３０５Ａ〜３０５Ｄ）を受信するように構成され、前記複数の入力信号の１つは、合成画像の主要部分（４０２）を形成する主入力信号として選択され、別の入力信号は、前記合成画像（４０１）内の予め定められた位置に予め定められたサイズの前記合成画像（４０１）の一部分（４０３〜４０５）を形成する追加入力信号として選択され、前記処理ユニット（３０３）は、前記合成画像（４０１）内の予め定められた位置および予め定められたサイズの前記一部分を選択するとともに、選択された画像部分（４０３〜４０５）に関する情報を前記少なくとも１つの入力ユニット（３０１Ａ〜３０１Ｄ）に送信して、前記少なくとも１つの入力ユニットに、前記合成画像の前記選択された部分を形成する前記入力信号の部分のみを送信することを要求するように構成されている、処理装置。