JP2002534010A - ビデオシークエンスの中に画像を挿入するためのシステム - Google Patents
ビデオシークエンスの中に画像を挿入するためのシステムInfo
- Publication number
- JP2002534010A JP2002534010A JP2000590379A JP2000590379A JP2002534010A JP 2002534010 A JP2002534010 A JP 2002534010A JP 2000590379 A JP2000590379 A JP 2000590379A JP 2000590379 A JP2000590379 A JP 2000590379A JP 2002534010 A JP2002534010 A JP 2002534010A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- image
- data
- video image
- broadcast
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Circuits (AREA)
Abstract
(57)【要約】
【課題】 連続するビデオ画像の中の対象となる領域を、挿入可能な整合モデルで置き換えるテレビシステムを提供する。
【解決手段】 ある場面のビデオ画像シークエンスを作るためのテレビカメラと、放送用画像を処理する手段を持ち、これらの手段は、放送用の提供データを作るために選択的に画像層と特殊効果とを追加し、仮想挿入手段は、放送用画像処理手段から離れたところで放送しようとしている提供データを受信して、ビデオ画像内の対象領域を挿入可能な置き換えモデルで置き換えることで変更する。
Description
【０００１】
本発明は、ビデオシークエンスの中に仮想画像を挿入するシステムに関し、特
に、テレビプログラム配信のためにネットワークにおいて配布元サイトから仮想
画像のダウンストリームを挿入することのできるシステムに関する。
に、テレビプログラム配信のためにネットワークにおいて配布元サイトから仮想
画像のダウンストリームを挿入することのできるシステムに関する。
【０００２】
“仮想挿入システム”という言葉は、ある場面のビデオシークエンスの中のビ
デオ画像の対象とする範囲あるいは領域（例えば、ビデオカメラや録画機で撮ら
れたもの）を、対象とする領域に挿入するのに合った適切な置き換えモデル、例
えば蓄積されているモデルの画像と置き換えるシステムを意味している。例を挙
げると、ビデオシークエンスには、場面の中に広告盤のあるサッカーゲームある
いはストックカーレースがある。仮想挿入処理には、場面の“対象”例えば最初
の製品に対する広告番組紹介を、異なる番組紹介の映像や２番目の製品の広告と
置き換える処理が含まれ、その結果、異なる市販の製品が場面の中で宣伝される
。これは、取り替え部分が実質的に基本画像の中で継ぎ目無しに収まり、ビュー
アで置き換えが行われたとは分からないようなやり方ですることができる。
デオ画像の対象とする範囲あるいは領域（例えば、ビデオカメラや録画機で撮ら
れたもの）を、対象とする領域に挿入するのに合った適切な置き換えモデル、例
えば蓄積されているモデルの画像と置き換えるシステムを意味している。例を挙
げると、ビデオシークエンスには、場面の中に広告盤のあるサッカーゲームある
いはストックカーレースがある。仮想挿入処理には、場面の“対象”例えば最初
の製品に対する広告番組紹介を、異なる番組紹介の映像や２番目の製品の広告と
置き換える処理が含まれ、その結果、異なる市販の製品が場面の中で宣伝される
。これは、取り替え部分が実質的に基本画像の中で継ぎ目無しに収まり、ビュー
アで置き換えが行われたとは分からないようなやり方ですることができる。
【０００３】 既存の仮想挿入システムにおいて、対象となる映像、すなわち置き換えが行わ
れる場面の選択された部分は、メモリに格納される。対象の位置や大きさや遠近
感が計算される。格納されたモデルは、場面の現在の画像の中の対応する対象の
大きさとおおよその遠近感とに合うように幾何学的に変換されて、対象の放射特
性に合うようにされる。最後に、変換されたモデルは、対象と置き換えるために
現在の画像の中に挿入される。変換されたモデルは、サンプル画像である必要は
なく、２次元あるいは３次元の画像の要素で良く、任意に動画とすることもでき
る。この種のシステムは、例えば、米国特許第５２３６３３９２号、第５４３６
６７２号、第５５４３８５６号、また仏国特許第９４／０５８９５号に記載され
ており、それらを参照するとさらに詳細な仮想挿入処理の記載が得られる。
れる場面の選択された部分は、メモリに格納される。対象の位置や大きさや遠近
感が計算される。格納されたモデルは、場面の現在の画像の中の対応する対象の
大きさとおおよその遠近感とに合うように幾何学的に変換されて、対象の放射特
性に合うようにされる。最後に、変換されたモデルは、対象と置き換えるために
現在の画像の中に挿入される。変換されたモデルは、サンプル画像である必要は
なく、２次元あるいは３次元の画像の要素で良く、任意に動画とすることもでき
る。この種のシステムは、例えば、米国特許第５２３６３３９２号、第５４３６
６７２号、第５５４３８５６号、また仏国特許第９４／０５８９５号に記載され
ており、それらを参照するとさらに詳細な仮想挿入処理の記載が得られる。
【０００４】 ２種の基本的な仮想挿入システムがある、それは計装されたカメラを持ったシ
ステムと画像認識を用いたシステムである。対象の位置や大きさや遠近感をカメ
ラに頼ったり頼らなかったりして概算するのに使用される方法が備えられる。備
え付けられたシステムでは、パンやティルトや焦点合わせやズームのようなカメ
ラの動作パラメータを測定するのにセンサが使用される。対象の位置や大きさや
遠近感はセンサからの出力に基づいて決められる。もし、カメラが装備されなけ
れば、画像認識は場面の現在の画像の適切な範囲を検出し追跡して、リアルタイ
ムで必要なパラメータと置き換えるべき範囲を得るのに画像認識が使用される。
ステムと画像認識を用いたシステムである。対象の位置や大きさや遠近感をカメ
ラに頼ったり頼らなかったりして概算するのに使用される方法が備えられる。備
え付けられたシステムでは、パンやティルトや焦点合わせやズームのようなカメ
ラの動作パラメータを測定するのにセンサが使用される。対象の位置や大きさや
遠近感はセンサからの出力に基づいて決められる。もし、カメラが装備されなけ
れば、画像認識は場面の現在の画像の適切な範囲を検出し追跡して、リアルタイ
ムで必要なパラメータと置き換えるべき範囲を得るのに画像認識が使用される。
【０００５】 図１は、テレビプログラム用の典型的な配布ネットワークの図である。複数の
カメラ１０が場面Ｓにピントを合わせ、いわゆる“クリーンクリーン”供給デー
タすなわち画像要素や特殊効果を持たないものを、一般的にイベントと同じサイ
トに置かれる移動制御トラックあるいは部屋１２に送信する。制御室１２は、多
重器あるいは切換モジュールを用いて放送される画像を選択する。多重器は、ま
た、どのカメラがこの特殊な画像を作るのに使用されるかを識別する“タリー（
tally）”信号と呼ばれる符号化済み信号を生成する。費用と見かけの理由から
、いくつかのカメラのみがセンサを付けられ、カメラの非使用“タリー”は、あ
る瞬間にそのカメラが動作中か放送中であることを示している。また信号は、あ
る瞬間に、ある画像の層あるいは特別の効果が使用されていることを示すために
生成されうる。従来からの用語を用いて、“クリーン”供給データが画像層およ
び／または特殊効果（例えばゆっくりとした動きの再生）を含むのに対して、“
クリーンクリーン”供給データは、カメラ信号を含んでいる。標準的なビデオ装
備を用いて、制御室は、最終画像を提供するのに画像層および／または特殊効果
を追加することができる。“汚れた供給データ”は、カメラと全ての画像層によ
り与えられる画像と、特殊効果を含む供給データであり、これは衛星１４を介し
てネットワークスタジオ１６へ送られる。ネットワークスタジオの主な役割は、
衛星１７を介して娘局１８へ画像を放送することである。これらの局は、順番に
画像を公衆に放送し、これは個々のテレビ受像器１９により表されている。
カメラ１０が場面Ｓにピントを合わせ、いわゆる“クリーンクリーン”供給デー
タすなわち画像要素や特殊効果を持たないものを、一般的にイベントと同じサイ
トに置かれる移動制御トラックあるいは部屋１２に送信する。制御室１２は、多
重器あるいは切換モジュールを用いて放送される画像を選択する。多重器は、ま
た、どのカメラがこの特殊な画像を作るのに使用されるかを識別する“タリー（
tally）”信号と呼ばれる符号化済み信号を生成する。費用と見かけの理由から
、いくつかのカメラのみがセンサを付けられ、カメラの非使用“タリー”は、あ
る瞬間にそのカメラが動作中か放送中であることを示している。また信号は、あ
る瞬間に、ある画像の層あるいは特別の効果が使用されていることを示すために
生成されうる。従来からの用語を用いて、“クリーン”供給データが画像層およ
び／または特殊効果（例えばゆっくりとした動きの再生）を含むのに対して、“
クリーンクリーン”供給データは、カメラ信号を含んでいる。標準的なビデオ装
備を用いて、制御室は、最終画像を提供するのに画像層および／または特殊効果
を追加することができる。“汚れた供給データ”は、カメラと全ての画像層によ
り与えられる画像と、特殊効果を含む供給データであり、これは衛星１４を介し
てネットワークスタジオ１６へ送られる。ネットワークスタジオの主な役割は、
衛星１７を介して娘局１８へ画像を放送することである。これらの局は、順番に
画像を公衆に放送し、これは個々のテレビ受像器１９により表されている。
【０００６】 現行の市販のシステムにおいて、カメラは、多重器あるいは切替器の前に画像
処理が行われる切換モードで使用される。そのような従来技術のシステムにおい
て、移動制御室のディレクターは、カメラＡから来る２つの信号である、信号Ａ
と、既にサイト上で処理されて信号Ａに関連して遅延する信号である信号Ａ’と
から選択することができる。
処理が行われる切換モードで使用される。そのような従来技術のシステムにおい
て、移動制御室のディレクターは、カメラＡから来る２つの信号である、信号Ａ
と、既にサイト上で処理されて信号Ａに関連して遅延する信号である信号Ａ’と
から選択することができる。
【０００７】 仮想挿入が行われる位置を決定するとき、仮想挿入を実行するのに様々な異な
る方法が使用されたか、あるいは潜在的に使用可能である。ここではアップリン
ク単一カメラシステムと呼ばれる第１の方法が図２に示され、ここでは仮想挿入
システムがサイト上にあるシステムあるいは構成を使用する。ビデオ画像（セン
サからのデータと任意に組み合わされる）は、サイト上で局所的に処理される、
すなわち、画像は制御室かサイト上に置かれる外部の放送用バンへと送られて、
その中で処理される。これが、商用仮想挿入システムにおける通常の方法である
。
る方法が使用されたか、あるいは潜在的に使用可能である。ここではアップリン
ク単一カメラシステムと呼ばれる第１の方法が図２に示され、ここでは仮想挿入
システムがサイト上にあるシステムあるいは構成を使用する。ビデオ画像（セン
サからのデータと任意に組み合わされる）は、サイト上で局所的に処理される、
すなわち、画像は制御室かサイト上に置かれる外部の放送用バンへと送られて、
その中で処理される。これが、商用仮想挿入システムにおける通常の方法である
。
【０００８】 図２において、カメラ１０ａ，１０ｂ，１０ｃが、多重器３１に接続され、画
像処理システム２１がカメラと多重器３１との間に置かれる。図２は、一般的な
場合を包含するように意図されており、すなわち、カメラが装備されているかど
うかは考慮されない。画像信号とセンサ出力信号は、装備される各カメラに与え
られる。単一の画像処理システムが示されているが、一般的に言って、カメラ毎
に一の処理器がある。上述したタイプの仮想挿入モジュール２２は、ビデオ画像
の適当な部分（対象）をモデルと、例えば希望する宣伝広告と置き換える。商用
的な場合においては、放送中であるにせよ無いにせよ、システムのダウンストリ
ームを通して使用される異なった供給データを作るために、別々の仮想挿入モジ
ュールが各カメラに付けられる。仮想挿入モジュール２２は、サイト上にあって
、２台以上のカメラが使用されるときに各カメラに接続される。制御室のディレ
クターは、カメラから直接に来る“クリーンクリーン”画像と、画像処理システ
ム２１と仮想挿入モジュール２２により処理された遅延画像との間から選択する
することができ、多重器３１はこれらの間で切り換えを行う。多重器３１は、標
準的なビデオ装置３２を持った移動制御室あるいはバン３０内に置かれる。ビデ
オ装置３２は、画像層や特殊効果やカメラから来るのでは無い再生のような効果
を、多重器３１から来る出力画像に加えるのに使用される。画像は、ネットワー
クビデオ４０に送られ、娘局５０に中継される。上記の方法の欠点は、画像挿入
システムか置き換えシステムを各カメラごとに備える必要があることと、画像挿
入処理がサイト上で行わなければならないことであり、これは多数の技術者がサ
イト上に必要となる。
像処理システム２１がカメラと多重器３１との間に置かれる。図２は、一般的な
場合を包含するように意図されており、すなわち、カメラが装備されているかど
うかは考慮されない。画像信号とセンサ出力信号は、装備される各カメラに与え
られる。単一の画像処理システムが示されているが、一般的に言って、カメラ毎
に一の処理器がある。上述したタイプの仮想挿入モジュール２２は、ビデオ画像
の適当な部分（対象）をモデルと、例えば希望する宣伝広告と置き換える。商用
的な場合においては、放送中であるにせよ無いにせよ、システムのダウンストリ
ームを通して使用される異なった供給データを作るために、別々の仮想挿入モジ
ュールが各カメラに付けられる。仮想挿入モジュール２２は、サイト上にあって
、２台以上のカメラが使用されるときに各カメラに接続される。制御室のディレ
クターは、カメラから直接に来る“クリーンクリーン”画像と、画像処理システ
ム２１と仮想挿入モジュール２２により処理された遅延画像との間から選択する
することができ、多重器３１はこれらの間で切り換えを行う。多重器３１は、標
準的なビデオ装置３２を持った移動制御室あるいはバン３０内に置かれる。ビデ
オ装置３２は、画像層や特殊効果やカメラから来るのでは無い再生のような効果
を、多重器３１から来る出力画像に加えるのに使用される。画像は、ネットワー
クビデオ４０に送られ、娘局５０に中継される。上記の方法の欠点は、画像挿入
システムか置き換えシステムを各カメラごとに備える必要があることと、画像挿
入処理がサイト上で行わなければならないことであり、これは多数の技術者がサ
イト上に必要となる。
【０００９】 図３において、図２で示したものと対応する要素には同じ参照番号が付され、
ここではアップリンクのマルチカメラ構成を見ることができる。この構成におい
て、仮想挿入モジュール２２がサイト上のトラック内に置かれて、多数のカメラ
（例えば、カメラ１０ａ，１０ｂ，１０ｃ）から来る入力を受け取り、移動制御
室３０から来る“タリー”によって識別される動作中のカメラからの“クリーン
”な供給データを処理する。図３で図示した実施形態において、画像処理システ
ム２１の形状認識モジュールが、置き換えの対象である範囲を決定するのに使用
され、他の実施形態では、装備されるカメラが使用され、カメラセンサから来る
データ信号即ちパンやティルトやズームや焦点合わせの信号がカメラ１０ａ，１
０ｂ，１０ｃによって直接に仮想挿入モジュール２２へと送られる。仮想挿入モ
ジュール２２により生成された修正済みビデオストリームが、移動制御室あるい
はバン３０に送られ、ビデオ装置２２がビデオ層と特殊効果を挿入するが、別の
場合には、仮想挿入モジュールは、制御室３０から来る画像層と特殊効果を使用
してネットワークスタジオ４０に送られる“汚れた”供給データを生成する。
ここではアップリンクのマルチカメラ構成を見ることができる。この構成におい
て、仮想挿入モジュール２２がサイト上のトラック内に置かれて、多数のカメラ
（例えば、カメラ１０ａ，１０ｂ，１０ｃ）から来る入力を受け取り、移動制御
室３０から来る“タリー”によって識別される動作中のカメラからの“クリーン
”な供給データを処理する。図３で図示した実施形態において、画像処理システ
ム２１の形状認識モジュールが、置き換えの対象である範囲を決定するのに使用
され、他の実施形態では、装備されるカメラが使用され、カメラセンサから来る
データ信号即ちパンやティルトやズームや焦点合わせの信号がカメラ１０ａ，１
０ｂ，１０ｃによって直接に仮想挿入モジュール２２へと送られる。仮想挿入モ
ジュール２２により生成された修正済みビデオストリームが、移動制御室あるい
はバン３０に送られ、ビデオ装置２２がビデオ層と特殊効果を挿入するが、別の
場合には、仮想挿入モジュールは、制御室３０から来る画像層と特殊効果を使用
してネットワークスタジオ４０に送られる“汚れた”供給データを生成する。
【００１０】 図４は、アップリンク／ダウンリンクシステムを示している。図２と対応する
要素には、同様に同じ参照番号が付される。このシステムにおいて、仮想挿入処
理が２つの部分に分けられている。もし何らかの画像処理が行われるときは、上
述したようにサイト上で画像処理モジュール１によって行われる。全ての他の段
階は、実際の挿入以外は、移動制御室あるいはバン３０内で行われる。挿入を行
うのに必要な情報（すなわち対象や見えなくなった画素等を置き換えること）は
、移動制御室３０内で符号化されて、ネットワークスタジオ４０へ送られる。仮
想挿入は、スタジオあるいはダウンストリームにおいて実行されるが、これは挿
入システム２２の位置で示される。もし望めば、挿入パターンは、娘局５０の小
野のに対して異なるものとすることができる（仏国特許第９４／０５８９５号）
。符号化情報を保護する方法は、米国特許第５５４３８５６号にマスター／スレ
ーブシステムと共に記載されており、そこではマスターシステムは、画像の認識
と検出を行い、挿入画像の正確な位置に関する情報を提供し、一方、スレーブ側
は挿入を実行する。
要素には、同様に同じ参照番号が付される。このシステムにおいて、仮想挿入処
理が２つの部分に分けられている。もし何らかの画像処理が行われるときは、上
述したようにサイト上で画像処理モジュール１によって行われる。全ての他の段
階は、実際の挿入以外は、移動制御室あるいはバン３０内で行われる。挿入を行
うのに必要な情報（すなわち対象や見えなくなった画素等を置き換えること）は
、移動制御室３０内で符号化されて、ネットワークスタジオ４０へ送られる。仮
想挿入は、スタジオあるいはダウンストリームにおいて実行されるが、これは挿
入システム２２の位置で示される。もし望めば、挿入パターンは、娘局５０の小
野のに対して異なるものとすることができる（仏国特許第９４／０５８９５号）
。符号化情報を保護する方法は、米国特許第５５４３８５６号にマスター／スレ
ーブシステムと共に記載されており、そこではマスターシステムは、画像の認識
と検出を行い、挿入画像の正確な位置に関する情報を提供し、一方、スレーブ側
は挿入を実行する。
【００１１】
本発明は、必要な入力データと制御データがサイト上で集められ、サイトから
来る“汚れた”供給データ上で仮想挿入が実行される離れた位置へと移される。
来る“汚れた”供給データ上で仮想挿入が実行される離れた位置へと移される。
【００１２】 一つの見方として、本発明は、連続的なビデオ画像の中の対象領域を、対象の
領域の中にはめることのできるモデルあるいはパターンで置き換えるようなテレ
ビシステムを提案しており、本システムでは以下のものを備えている。
領域の中にはめることのできるモデルあるいはパターンで置き換えるようなテレ
ビシステムを提案しており、本システムでは以下のものを備えている。
【００１３】 ・場面のビデオ画像のシークエンスを作り出すための少なくとも１台のテレビ
カメラと、 ・ビデオ画像を受信し、画像層あるいは特殊効果を選択的にビデオ画像に追加
して放送用の供給データを作るための放送画像処理手段と、 ・放送画像処理手段とは離れたところにあって、放送用の供給データを受け取
り、対象の部位に挿入するのに適した置き換えのモデルあるいはパターンによっ
て放送用供給データを変更するための仮想挿入手段と である。
カメラと、 ・ビデオ画像を受信し、画像層あるいは特殊効果を選択的にビデオ画像に追加
して放送用の供給データを作るための放送画像処理手段と、 ・放送画像処理手段とは離れたところにあって、放送用の供給データを受け取
り、対象の部位に挿入するのに適した置き換えのモデルあるいはパターンによっ
て放送用供給データを変更するための仮想挿入手段と である。
【００１４】 特定の実施形態において、放送用画像処理手段は、サイト上に置かれる移動制
御室内に、少なくとも一台の上記カメラと共に置かれ、放送用供給データを構成
するために対応する画像をディジタル形式で出力するように設計されている。
御室内に、少なくとも一台の上記カメラと共に置かれ、放送用供給データを構成
するために対応する画像をディジタル形式で出力するように設計されている。
【００１５】 有利なことに、本システムは、複数の可動カメラと、カメラの内どの１台が現
在動作中かを決定し、対応する出力を作り出すための手段を持っており、仮想挿
入手段は、上記出力により指示される動作中カメラから来るビデオ画像の対象部
分を置き換える。
在動作中かを決定し、対応する出力を作り出すための手段を持っており、仮想挿
入手段は、上記出力により指示される動作中カメラから来るビデオ画像の対象部
分を置き換える。
【００１６】 経路決定手段は、有利なことに、移動制御室とは別のところに置かれる。シス
テムが調整を受けている間、システムは放送用供給データを受信し、様々なカメ
ラから来る供給データを個々に導き、選択的に供給データの一つを出力として配
布する。経路決定手段は、各カメラが放送に先立って調整処理を受けている間、
単数あるいは複数の対象から選択をするのを助けるのに使用されるが、これは、
例えば、青色画面法が使用されるときに“キー”レベルを調整するためにである
。
テムが調整を受けている間、システムは放送用供給データを受信し、様々なカメ
ラから来る供給データを個々に導き、選択的に供給データの一つを出力として配
布する。経路決定手段は、各カメラが放送に先立って調整処理を受けている間、
単数あるいは複数の対象から選択をするのを助けるのに使用されるが、これは、
例えば、青色画面法が使用されるときに“キー”レベルを調整するためにである
。
【００１７】 システムに複数のカメラがある場合、上記システムは、どのカメラが動作中か
を示すカメラ休止信号を作り、また、カメラ休止信号を監視して、カメラ休止信
号が、そのビデオ画像が仮想挿入手段によって受信されているカメラに受信され
たかどうかを決定するように有利に備えられている。
を示すカメラ休止信号を作り、また、カメラ休止信号を監視して、カメラ休止信
号が、そのビデオ画像が仮想挿入手段によって受信されているカメラに受信され
たかどうかを決定するように有利に備えられている。
【００１８】 本システムは、有利なことにさらに、画像要素の種類と受信されたビデオ画像
に加えられた特殊効果とに基づいて、画像要素と放送用供給データビデオ画像を
作り出すために追加された特殊効果とを監視し、仮想挿入手段によって受信され
たビデオ画像が変更されたかを示す出力を作り出すための監視手段を含んでいる
。監視手段は、追加された特殊効果の一つが置き換えモデルと互換性がないとき
に、この出力を作ることができる。他のモードのとき、監視手段は、処理のため
に受信した画像に特殊効果が追加されたときに、この出力を与える。また、監視
手段は、追加された画像要素の層のいずれかが置き換えモデルと互換性が無いと
きに、この出力を作ることができる。
に加えられた特殊効果とに基づいて、画像要素と放送用供給データビデオ画像を
作り出すために追加された特殊効果とを監視し、仮想挿入手段によって受信され
たビデオ画像が変更されたかを示す出力を作り出すための監視手段を含んでいる
。監視手段は、追加された特殊効果の一つが置き換えモデルと互換性がないとき
に、この出力を作ることができる。他のモードのとき、監視手段は、処理のため
に受信した画像に特殊効果が追加されたときに、この出力を与える。また、監視
手段は、追加された画像要素の層のいずれかが置き換えモデルと互換性が無いと
きに、この出力を作ることができる。
【００１９】 装備されたカメラが複数であることもあり、各々は、対応するカメラに関する
動作データを作り出す関連センサを持っており、本システムは、放送用供給デー
タのビデオ画像の対象部分を、動作データと互換性のある置き換えモデルと置き
換えるために、動作データを仮想挿入手段に送る手段を持っている。動作データ
は、パンやティルトや焦点合わせやズームとして知られるカメラの特性に関連し
ている。
動作データを作り出す関連センサを持っており、本システムは、放送用供給デー
タのビデオ画像の対象部分を、動作データと互換性のある置き換えモデルと置き
換えるために、動作データを仮想挿入手段に送る手段を持っている。動作データ
は、パンやティルトや焦点合わせやズームとして知られるカメラの特性に関連し
ている。
【００２０】 本発明の他の点からして、テレビシステムは以下のものを備えている。 ・稼働中に、場面のビデオ画像のそれぞれのシークエンスを作る複数のテレビ
カメラと、 ・各々のカメラ用の、対応するカメラに関連する複数の動作パラメータを見つ
けて各々の出力データを作り出すセンサと、 ・カメラと同じサイトに置かれ、ビデオ画像を受信し、最終的にビデオ画像を
造るために画像要素層と特殊効果とをビデオ画像に追加する画像処理手段と、放
送用供給データを構成するのにディジタル形式で最終的なビデオ画像を出力する
ための手段とを含む移動制御室と、 ・センサからの出力データを受信し、出力データ信号を提供するために、移動
制御室と共にサイト上に置かれたローカルの制御手段と、 ・カメラと制御室とローカル制御手段とから離れたところに置かれて、放送用
提供データとデータ信号とを受信し、ビデオ画像の対象部分を、対象部分内に挿
入するのに適した置き換えモデルと置き換えることによって放送用提供データの
ビデオ画像を変更する仮想挿入手段と である。
カメラと、 ・各々のカメラ用の、対応するカメラに関連する複数の動作パラメータを見つ
けて各々の出力データを作り出すセンサと、 ・カメラと同じサイトに置かれ、ビデオ画像を受信し、最終的にビデオ画像を
造るために画像要素層と特殊効果とをビデオ画像に追加する画像処理手段と、放
送用供給データを構成するのにディジタル形式で最終的なビデオ画像を出力する
ための手段とを含む移動制御室と、 ・センサからの出力データを受信し、出力データ信号を提供するために、移動
制御室と共にサイト上に置かれたローカルの制御手段と、 ・カメラと制御室とローカル制御手段とから離れたところに置かれて、放送用
提供データとデータ信号とを受信し、ビデオ画像の対象部分を、対象部分内に挿
入するのに適した置き換えモデルと置き換えることによって放送用提供データの
ビデオ画像を変更する仮想挿入手段と である。
【００２１】 有利なことに、ローカル制御手段は、さらに、どのカメラが現在動作中かを決
定し、対応する出力を与える手段を備え、仮想挿入手段は、上記出力に基づいて
制御信号を受信し、その信号に対応して、動作中のカメラから来る放送用提供デ
ータのビデオ画像の対象部分を置き換える。
定し、対応する出力を与える手段を備え、仮想挿入手段は、上記出力に基づいて
制御信号を受信し、その信号に対応して、動作中のカメラから来る放送用提供デ
ータのビデオ画像の対象部分を置き換える。
【００２２】 有利な実施形態において、移動制御室は、カメラの内どの一つが動作中である
かを示すカメラ休止信号を生成する手段を持ち、ローカル制御手段は、そのビデ
オ画像が現在仮想挿入手段によって受信されているカメラに対してカメラ休止信
号が受信されたかを決定するカメラ休止信号を監視して、対応する制御信号を仮
想挿入手段へ送るための論理制御手段を含んでいる。論理制御手段は、第１のカ
メラから時間通りに来る出力信号と第２のカメラから時間通りに来る出力信号と
が同時に受信されるときに、２つのカメラの第２のものが時間通りに動作中であ
ることを示す出力を提供する。
かを示すカメラ休止信号を生成する手段を持ち、ローカル制御手段は、そのビデ
オ画像が現在仮想挿入手段によって受信されているカメラに対してカメラ休止信
号が受信されたかを決定するカメラ休止信号を監視して、対応する制御信号を仮
想挿入手段へ送るための論理制御手段を含んでいる。論理制御手段は、第１のカ
メラから時間通りに来る出力信号と第２のカメラから時間通りに来る出力信号と
が同時に受信されるときに、２つのカメラの第２のものが時間通りに動作中であ
ることを示す出力を提供する。
【００２３】 ローカル制御手段は、有利なことに、論理制御手段を備えている。
【００２４】
本発明の他の特徴は、以下の実施形態の詳細な説明を読むことで明らかになる
であろう。
であろう。
【００２５】 図面において、 ・図１は、テレビプログラム代表的な放送ネットワークのブロック図である。 ・図２，３，４は、従来技術による仮想挿入システムのブロック図である。 ・図５は、本発明の仮想挿入システムのブロック図である。 ・図６は、図５のオンサイト部分を詳細に示したブロック図であり、第１の実
施形態で実現されている。 ・図７は、様々な実現における、図６のオンサイト部分のブロック図である。
施形態で実現されている。 ・図７は、様々な実現における、図６のオンサイト部分のブロック図である。
【００２６】 図５は、図２から図４に似ており、そこでは、対応する要素に同じ参照番号が
与えられ、本発明の“ミッドリンク”の基本要素が示されている。データは、元
のサイトで集められてネットワークスタジオあるいは他の場所にに連れていかれ
、そこの遠く離れた場所でリアルタイムに処理される。図４の“アップリンク／
ダウンリンク”構成とは異なり、仮想挿入に必要な処理の全てが元のサイトから
見て下流で実行される。
与えられ、本発明の“ミッドリンク”の基本要素が示されている。データは、元
のサイトで集められてネットワークスタジオあるいは他の場所にに連れていかれ
、そこの遠く離れた場所でリアルタイムに処理される。図４の“アップリンク／
ダウンリンク”構成とは異なり、仮想挿入に必要な処理の全てが元のサイトから
見て下流で実行される。
【００２７】 図５のカメラ１０ａ，１０ｂ，１０ｃは、選択して装備される。ビデオ信号は
、サイト上の移動制御室へ送られる。制御室３０は、どのカメラ画像が放送され
るかを選択するのに使用される多重器３１と、特殊効果および／あるいは画像要
素をカメラ画像に追加するための従来からのビデオ処理装置３２を持っている。
、サイト上の移動制御室へ送られる。制御室３０は、どのカメラ画像が放送され
るかを選択するのに使用される多重器３１と、特殊効果および／あるいは画像要
素をカメラ画像に追加するための従来からのビデオ処理装置３２を持っている。
【００２８】 信号が処理された後、以下に記載する複数の信号が、移動制御室３０から遠隔
の場所へおよび／あるいは仮想挿入モジュール２２へ送られる。図示した例では
、これらの信号は、ネットワークスタジオ４０に送られ、その後に仮想挿入モジ
ュール２２へ送られる（モジュール２２がスタジオ内に置かれていても）。送信
された信号の内の一つには、画像に与えられる特殊効果に関する情報が含まれ、
他の信号の各々は画像の信号層に対応する。もし動作中のカメラが装備されてい
なければ、対象のパラメータは、すなわち広告用の置き換え領域は、画像処理モ
ジュール２１内の形状認識モジュールを用いて得られる。もし、動作中のカメラ
が装備されると、カメラのセンサからのデータもまた仮想挿入モジュール２２へ
送られる。蓄えられた画像パターンは、仮想挿入モジュール２２によって直接に
ビデオ画像内の対象と取って代わる。
の場所へおよび／あるいは仮想挿入モジュール２２へ送られる。図示した例では
、これらの信号は、ネットワークスタジオ４０に送られ、その後に仮想挿入モジ
ュール２２へ送られる（モジュール２２がスタジオ内に置かれていても）。送信
された信号の内の一つには、画像に与えられる特殊効果に関する情報が含まれ、
他の信号の各々は画像の信号層に対応する。もし動作中のカメラが装備されてい
なければ、対象のパラメータは、すなわち広告用の置き換え領域は、画像処理モ
ジュール２１内の形状認識モジュールを用いて得られる。もし、動作中のカメラ
が装備されると、カメラのセンサからのデータもまた仮想挿入モジュール２２へ
送られる。蓄えられた画像パターンは、仮想挿入モジュール２２によって直接に
ビデオ画像内の対象と取って代わる。
【００２９】 本システムのために複数の異なる構成を使用することが可能である。例えば、
仮想挿入は、ネットワーク制御ノード（ネットワークスタジオ４０）を通過する
信号上で実行される。そして最終的な信号は、娘局５０へと送られる。動作は、
娘局において等しく良好に行われる。図５で示すように、両方の方法の組み合わ
せを用いることが可能であり、ここでは、画像処理が、仮想挿入が娘局で実行さ
れる間にネットワークスタジオ４０により受信される信号上で実行される。多数
の異なる挿入が娘局の各々において可能であり、これは図４の“アップリンク／
ダウンリンク”システムにある。
仮想挿入は、ネットワーク制御ノード（ネットワークスタジオ４０）を通過する
信号上で実行される。そして最終的な信号は、娘局５０へと送られる。動作は、
娘局において等しく良好に行われる。図５で示すように、両方の方法の組み合わ
せを用いることが可能であり、ここでは、画像処理が、仮想挿入が娘局で実行さ
れる間にネットワークスタジオ４０により受信される信号上で実行される。多数
の異なる挿入が娘局の各々において可能であり、これは図４の“アップリンク／
ダウンリンク”システムにある。
【００３０】 大事なことは、処理済みの画像が、全ての画像層と特殊効果を含む“汚れた提
供データ”から来るということである。多数のカメラのあるシステムにおいて、
カメラ間の切り換えに関する時間遅延と、どのカメラが使用中かを示す“タリー
”の休止に関する時間遅延の不正確さとから、２個の“タリー”が同時に休止す
ることがありうる。もし２個の“タリー”が同時に休止すると対称の位置、すな
わち挿入される広告の位置が不正確に検出される危険をおかす。本発明のシステ
ムは、どのカメラが動作中かを論理システムを用いて決定する、これは例えばも
しカメラＡが動作中であり“タリー”信号が受信されてカメラＡとＢとが動作中
であると示していれば、カメラＢは次に動作中となるだろうと考えられる。休止
信号が即時に到着せず、どのカメラが実際に動作中なのか休止しているのかはっ
きりしないときには、単純なアルゴリズムをハードウェアあるいはソフトウェア
で実現することができ、多くの移動制御室の中の“タリー”の処理に関する問題
を解決する。
供データ”から来るということである。多数のカメラのあるシステムにおいて、
カメラ間の切り換えに関する時間遅延と、どのカメラが使用中かを示す“タリー
”の休止に関する時間遅延の不正確さとから、２個の“タリー”が同時に休止す
ることがありうる。もし２個の“タリー”が同時に休止すると対称の位置、すな
わち挿入される広告の位置が不正確に検出される危険をおかす。本発明のシステ
ムは、どのカメラが動作中かを論理システムを用いて決定する、これは例えばも
しカメラＡが動作中であり“タリー”信号が受信されてカメラＡとＢとが動作中
であると示していれば、カメラＢは次に動作中となるだろうと考えられる。休止
信号が即時に到着せず、どのカメラが実際に動作中なのか休止しているのかはっ
きりしないときには、単純なアルゴリズムをハードウェアあるいはソフトウェア
で実現することができ、多くの移動制御室の中の“タリー”の処理に関する問題
を解決する。
【００３１】 本発明は、図４の利点を保っており、ビデオストリームが、移動制御室から下
流方向に離れて処理されることを可能にする。ビデオストリームを遠隔から処理
することができるのは、衛星経由で移送の度に損失のあるアナログ送信と異なり
、ビデオストリームが高品質であることを保証する信号をディジタル的に送信す
ることによってである。“汚れた”提供データを用いることで、画像は多重器あ
るいは切替器３１から下流で処理される。上述の簡単な論理を用いることで、“
タリー”同期に関する問題は無い。
流方向に離れて処理されることを可能にする。ビデオストリームを遠隔から処理
することができるのは、衛星経由で移送の度に損失のあるアナログ送信と異なり
、ビデオストリームが高品質であることを保証する信号をディジタル的に送信す
ることによってである。“汚れた”提供データを用いることで、画像は多重器あ
るいは切替器３１から下流で処理される。上述の簡単な論理を用いることで、“
タリー”同期に関する問題は無い。
【００３２】 有利なことに、入力されるビデオ信号は、以下の条件が満足されたときにのみ
処理される。つまり、カメラの“タリー”が休止し、特殊効果を放送中でなく、
処理に影響することのできる画像層（例えば、システムがクロマキー用に青画面
を使用するときの青色画像）が無いときである。
処理される。つまり、カメラの“タリー”が休止し、特殊効果を放送中でなく、
処理に影響することのできる画像層（例えば、システムがクロマキー用に青画面
を使用するときの青色画像）が無いときである。
【００３３】 図６は、ミッドリンクシステムの有利な実施形態の詳細の追加を示している。
カメラ１０ａ，１０ｂ，１０ｃは、全て装備されており、データライン４０ａ，
４０ｂ，４０ｃは仮想挿入が正常に実行されるローカル制御モジュール３４に接
続される。しかし、上述したように、モジュール３４は、高度に単純化された動
作を実行する。カメラに電力を与え、画像信号を運ぶ役割をする３本のコアケー
ブル４２ａ，４２ｂ，４２ｃは、各カメラを移動制御室３０へ接続するのに使わ
れる。ケーブル４２ａ，４２ｂ，４２ｃは、また、“クリーンクリーン”信号を
与えるためにローカル制御室３４に直接接続されるが、実施形態で実行されてい
るのはこの場合ではない。
カメラ１０ａ，１０ｂ，１０ｃは、全て装備されており、データライン４０ａ，
４０ｂ，４０ｃは仮想挿入が正常に実行されるローカル制御モジュール３４に接
続される。しかし、上述したように、モジュール３４は、高度に単純化された動
作を実行する。カメラに電力を与え、画像信号を運ぶ役割をする３本のコアケー
ブル４２ａ，４２ｂ，４２ｃは、各カメラを移動制御室３０へ接続するのに使わ
れる。ケーブル４２ａ，４２ｂ，４２ｃは、また、“クリーンクリーン”信号を
与えるためにローカル制御室３４に直接接続されるが、実施形態で実行されてい
るのはこの場合ではない。
【００３４】 従来技術による多重器３１は、与えられた画像と特殊効果を追加する従来技術
によるビデオ装置３２に接続される。“多重器”という用語が自動的な働きを意
味するのであれば、モジュール３１を“切替器”あるいは“ルータ（router）”
と呼ぶのが相応しい、なぜなら、概して、カメラ間のモジュール切替器は、部屋
あるいはバンの中のディレクターの制御の下で出力を行う。
によるビデオ装置３２に接続される。“多重器”という用語が自動的な働きを意
味するのであれば、モジュール３１を“切替器”あるいは“ルータ（router）”
と呼ぶのが相応しい、なぜなら、概して、カメラ間のモジュール切替器は、部屋
あるいはバンの中のディレクターの制御の下で出力を行う。
【００３５】 制御室３０には、また、ビデオ同地３２に接続され、ビデオ画像信号に付けら
れた画像層と特殊効果（例えば、スローモーション）に基づいた出力信号を作り
出す画像処理インターフェイス（ＧＰＩ）３６がある。ＧＰＩ信号は、ＧＰＩラ
インを通って、ローカル制御モジュール３４へ送られる。加えて、カメラ１０ａ
，１０ｂ，１０ｃからの“タリー”信号は、各々出力ライン４８ａ，４８ｂ，４
８ｃを通ってモジュール３４に与えられる。
れた画像層と特殊効果（例えば、スローモーション）に基づいた出力信号を作り
出す画像処理インターフェイス（ＧＰＩ）３６がある。ＧＰＩ信号は、ＧＰＩラ
インを通って、ローカル制御モジュール３４へ送られる。加えて、カメラ１０ａ
，１０ｂ，１０ｃからの“タリー”信号は、各々出力ライン４８ａ，４８ｂ，４
８ｃを通ってモジュール３４に与えられる。
【００３６】 多重器３１は、ビデオ装置３２と共同で、出力ライン４７条に放送信号を供給
する、すなわち、“汚れた”提供データは、ネットワーク構造４０からあるいは
そこへディジタル形式で送られることでビデオ画像信号に加えられた画像層と特
殊効果を含む信号を処理する。もし、制御室が、アナログ信号を提供するように
設計されていれば、アナログ−ディジタル変換が実行される。図示されるモジュ
ール４０は、ネットワークスタジオであるが、放送信号は製作サービススタジオ
あるいは他の種類の制御センターに送り、ネットワークスタジオに正確に伝達す
ることができる。衛星リンクは、図１に示されているが、他のリンク例えば光リ
ンクを使うこともできる。
する、すなわち、“汚れた”提供データは、ネットワーク構造４０からあるいは
そこへディジタル形式で送られることでビデオ画像信号に加えられた画像層と特
殊効果を含む信号を処理する。もし、制御室が、アナログ信号を提供するように
設計されていれば、アナログ−ディジタル変換が実行される。図示されるモジュ
ール４０は、ネットワークスタジオであるが、放送信号は製作サービススタジオ
あるいは他の種類の制御センターに送り、ネットワークスタジオに正確に伝達す
ることができる。衛星リンクは、図１に示されているが、他のリンク例えば光リ
ンクを使うこともできる。
【００３７】 既述した例において、ローカル制御モジュール３４に必須の部品は、ルータ（
切替器）と論理モジュール３８を備えたアッセンブリである。ローカル制御モジ
ュール３４の基本的な機能は、ライン４８ａ，４８ｂ，４８ｃの“タリー”信号
を元に動作中なカメラはどれかを決定し、ＧＰＩ３６から来る画像と特殊効果に
関する情報と共に動作中のカメラに対する（センサからの）データ信号と共に送
信することである。簡単な回路が、どのカメラが動作中かを決定するアルゴリズ
ムを用いるルータと論理モジュール３４の中に含まれる。有利な実施形態におい
て、外から来るビデオ信号（放送信号）は、以下の条件が満足される間に処理さ
れる：その条件は、休止中カメラ“タリー”、放送中の特殊効果無し、仮想挿入
処理に影響するかも知れない画像層が無い、である。“タリー”信号は、ＧＰＩ
信号が他の二つを決定可能にしている間に、第１の基準を決定する役割を果たす
。処理されない決定は、ＧＰＩの中あるいはローカル制御モジュール３４の中あ
るいはさらには出力アクセス４９に表れるように、論理切換モジュール３８から
の出力を元にして下流方向の位置（例えばネットワークスタジオ）において行う
ことができる。ある実施形態では、処理する決定は３つの異なる状態、つまり一
つの“オフ”状態（ここではＧＰＩは動作しない）と二つの“オン”状態のある
ＧＰＩ３６によって行われる。“オン”状態では、ＧＰＩは、画像と特殊効果と
が実行される処理と互換性が無いかどうかを決定する、つまり最初の“オン”状
態では“処理”信号を作り出し、他の“オン”状態では“処理しない”信号を作
り出す。
切替器）と論理モジュール３８を備えたアッセンブリである。ローカル制御モジ
ュール３４の基本的な機能は、ライン４８ａ，４８ｂ，４８ｃの“タリー”信号
を元に動作中なカメラはどれかを決定し、ＧＰＩ３６から来る画像と特殊効果に
関する情報と共に動作中のカメラに対する（センサからの）データ信号と共に送
信することである。簡単な回路が、どのカメラが動作中かを決定するアルゴリズ
ムを用いるルータと論理モジュール３４の中に含まれる。有利な実施形態におい
て、外から来るビデオ信号（放送信号）は、以下の条件が満足される間に処理さ
れる：その条件は、休止中カメラ“タリー”、放送中の特殊効果無し、仮想挿入
処理に影響するかも知れない画像層が無い、である。“タリー”信号は、ＧＰＩ
信号が他の二つを決定可能にしている間に、第１の基準を決定する役割を果たす
。処理されない決定は、ＧＰＩの中あるいはローカル制御モジュール３４の中あ
るいはさらには出力アクセス４９に表れるように、論理切換モジュール３８から
の出力を元にして下流方向の位置（例えばネットワークスタジオ）において行う
ことができる。ある実施形態では、処理する決定は３つの異なる状態、つまり一
つの“オフ”状態（ここではＧＰＩは動作しない）と二つの“オン”状態のある
ＧＰＩ３６によって行われる。“オン”状態では、ＧＰＩは、画像と特殊効果と
が実行される処理と互換性が無いかどうかを決定する、つまり最初の“オン”状
態では“処理”信号を作り出し、他の“オン”状態では“処理しない”信号を作
り出す。
【００３８】 図７に示される例では、ルータあるいは切替器４１と論理制御モジュール４３
が分かりやすくするために別々に図示されているが、ここにおいて、放送信号が
、カメラ１０ａ，１０ｂ，１０ｃにそれぞれ関連する３コアのケーブル４２ａ，
４２ｂ，４２ｃを通って、カメラビデオ信号と共にライン４７上をローカル制御
モジュール４４のルータ４１へ送られる。ルータは、システムが個々のカメラ１
０ａ，１０ｂ，１０ｃと放送用供給データあるいはプログラムの間で切り換える
のに調整している間、ルータが使われる。出力ライン５１は、カメラ画像の一つ
あるいはプログラム信号を選択的に処理のため遠隔の場所（例えばスタジオ４０
）に送るのに使われる。別々のチャネルは、図６のように放送信号には使用され
ない。カメラ画像の遠隔の経路決定によって、システムの調整と閉塞（occlusio
n）色（クロマキー）を予め選択しておくこととができる。調整の間、カメラの
動作パラメータは、極端な値の間で変化するようになっている、例えば、パンは
カメラが限界の間を移動できる全範囲を超えて実行され、線形値はその全体の範
囲を超えてカメラの位置に対して与えられ、対応する時間符号化された信号が作
り出される。さらに、装備されたカメラに対して、興味の単数あるいは複数の対
象を定義するために、事前の調整が、静止カメラ画像上で行われる。この最初の
段階の後に、データ信号が遠隔の位置に送られて仮想挿入処理で使用される。ル
ータ４１は、プログラムが放送されている間に使用されるが、この場合放送信号
だけが使われる。
が分かりやすくするために別々に図示されているが、ここにおいて、放送信号が
、カメラ１０ａ，１０ｂ，１０ｃにそれぞれ関連する３コアのケーブル４２ａ，
４２ｂ，４２ｃを通って、カメラビデオ信号と共にライン４７上をローカル制御
モジュール４４のルータ４１へ送られる。ルータは、システムが個々のカメラ１
０ａ，１０ｂ，１０ｃと放送用供給データあるいはプログラムの間で切り換える
のに調整している間、ルータが使われる。出力ライン５１は、カメラ画像の一つ
あるいはプログラム信号を選択的に処理のため遠隔の場所（例えばスタジオ４０
）に送るのに使われる。別々のチャネルは、図６のように放送信号には使用され
ない。カメラ画像の遠隔の経路決定によって、システムの調整と閉塞（occlusio
n）色（クロマキー）を予め選択しておくこととができる。調整の間、カメラの
動作パラメータは、極端な値の間で変化するようになっている、例えば、パンは
カメラが限界の間を移動できる全範囲を超えて実行され、線形値はその全体の範
囲を超えてカメラの位置に対して与えられ、対応する時間符号化された信号が作
り出される。さらに、装備されたカメラに対して、興味の単数あるいは複数の対
象を定義するために、事前の調整が、静止カメラ画像上で行われる。この最初の
段階の後に、データ信号が遠隔の位置に送られて仮想挿入処理で使用される。ル
ータ４１は、プログラムが放送されている間に使用されるが、この場合放送信号
だけが使われる。
【００３９】 図７の実施形態において、画像層と特殊効果すなわち、論理制御モジュール４
３の中に別々にあるディジタルビデオ効果（フェイドインあるいはフェイドアウ
トやディゾルブ（dissolve）やスローモーション等）とに関する信号が挿入され
るが、これは別々の画像モジュール５３とディジタルビデオ効果（ＤＶＥ）モジ
ュール５５によって示されている。ＤＶＥモジュールからの信号は、“タリー”
休止信号として使用される。“タリー”ピンの一つはＤＶＥ信号に割り当てられ
、論理モジュール４３は、対応するピンが接地されているときにＤＶＥが動作中
であることを知っている。前の実施形態と異なり、画像信号は有利なことに２値
（オン／オフ）の信号である。
３の中に別々にあるディジタルビデオ効果（フェイドインあるいはフェイドアウ
トやディゾルブ（dissolve）やスローモーション等）とに関する信号が挿入され
るが、これは別々の画像モジュール５３とディジタルビデオ効果（ＤＶＥ）モジ
ュール５５によって示されている。ＤＶＥモジュールからの信号は、“タリー”
休止信号として使用される。“タリー”ピンの一つはＤＶＥ信号に割り当てられ
、論理モジュール４３は、対応するピンが接地されているときにＤＶＥが動作中
であることを知っている。前の実施形態と異なり、画像信号は有利なことに２値
（オン／オフ）の信号である。
【００４０】 本発明の利点は、別々のチャネルを持った現在の市販のシステムと比べて費用
が減らせる可能性がある事である。この費用が少なくなることで、システムがさ
らに柔軟になり、使用者が少ないプログラム（スーパーボウルの試合と比べたボ
クシングの試合）上の画像挿入処理を実行することが可能となる。節約の中には
、仮想挿入が遠隔から実行されるためにサイト上に誰かがいなくても良いような
本発明のシステムに関連する出費を含んでいる。
が減らせる可能性がある事である。この費用が少なくなることで、システムがさ
らに柔軟になり、使用者が少ないプログラム（スーパーボウルの試合と比べたボ
クシングの試合）上の画像挿入処理を実行することが可能となる。節約の中には
、仮想挿入が遠隔から実行されるためにサイト上に誰かがいなくても良いような
本発明のシステムに関連する出費を含んでいる。
【００４１】 加えて、ローカル制御モジュールは、非常に単純化され、それに関する例えば
空調や電力供給や運転手の費用が要らなくなる。
空調や電力供給や運転手の費用が要らなくなる。
【００４２】 追加する情報が、例えば水や砂や解放空間のような解放されたあるいは何もな
い表面上に挿入することができることから、本発明は宣伝用ビルボードを他の物
と交換するような特殊な場合に限定はされない。情報は、出来事に関する情報を
含んでいる。例えば水泳の場合、彼らの持つ水泳者や国の名前をコース上に重ね
合わすことができる。
い表面上に挿入することができることから、本発明は宣伝用ビルボードを他の物
と交換するような特殊な場合に限定はされない。情報は、出来事に関する情報を
含んでいる。例えば水泳の場合、彼らの持つ水泳者や国の名前をコース上に重ね
合わすことができる。
【００４３】 本発明は、インターネット上のテレビにも応用可能であり、そこでは、ＭＰＥ
Ｇ４標準が与えられて、この標準によって信号内に挿入する場面の描写が可能と
なり、またオブジェクトを分割することが可能となる（仏国特許第９８／０２７
８１号）ので本発明は、特に実現が容易である。そのような環境下において、サ
イト上の画像処理手段は、例えば、平行四辺形形状の画面の４つの角の座標のよ
うな、対象を定義する情報を、圧縮され符号化されたビデオストリームに導き入
れる。各平面に対応する深度混合（depth mixing）係数を送信することで、半透
明とすることができる。このようにして処理されるテレビ番組は、インターネッ
ト様のプロトコルを用いてアクセス可能な遠隔のサーバー上に蓄えることができ
る。対象は、サーバー例えば宣伝制御室内でパターンと置き換えることができる
。インターネットユーザーにアクセスできる定義信号を作ることにより、ユーザ
ーは、ユーザー自身の選択によるモデルを挿入することができ、また対象の形状
と互換性がある。
Ｇ４標準が与えられて、この標準によって信号内に挿入する場面の描写が可能と
なり、またオブジェクトを分割することが可能となる（仏国特許第９８／０２７
８１号）ので本発明は、特に実現が容易である。そのような環境下において、サ
イト上の画像処理手段は、例えば、平行四辺形形状の画面の４つの角の座標のよ
うな、対象を定義する情報を、圧縮され符号化されたビデオストリームに導き入
れる。各平面に対応する深度混合（depth mixing）係数を送信することで、半透
明とすることができる。このようにして処理されるテレビ番組は、インターネッ
ト様のプロトコルを用いてアクセス可能な遠隔のサーバー上に蓄えることができ
る。対象は、サーバー例えば宣伝制御室内でパターンと置き換えることができる
。インターネットユーザーにアクセスできる定義信号を作ることにより、ユーザ
ーは、ユーザー自身の選択によるモデルを挿入することができ、また対象の形状
と互換性がある。
【図１】 テレビプログラム代表的な放送ネットワークのブロック図である
。
。
【図２】 従来技術による仮想挿入システムのブロック図である。
【図３】 従来技術による仮想挿入システムのブロック図である。
【図４】 従来技術による仮想挿入システムのブロック図である。
【図５】 本発明の仮想挿入システムのブロック図である。
【図６】 図５のオンサイト部分を詳細に示したブロック図であり、第１の
実施形態で実現されている。
実施形態で実現されている。
【図７】 様々な実現における、図６のオンサイト部分のブロック図である
。
。
１０…テレビカメラ １０ａ，１０ｂ，１０ｃ…可動カメラ １２，３０…制御室 １４，１７…衛星 １６…ネットワークスタジオ １８，５０…娘局 １９…テレビ受像器 ２１…画像処理システム ２２…仮想挿入モジュール ３０…バン ３１…多重器 ３２…ビデオ装置 ３４…ローカル制御室 ３６…ＧＰＩ ４０…ネットワークビデオ ４０ａ，４０ｂ，４０ｃ…データライン ４１…切替器 ４２ａ，４２ｂ，４２ｃ…コアケーブル ４３…論理制御モジュール ４７…ライン ４８ａ，４８ｂ，４８ｃ…出力ライン ５３…画像モジュール ５５…ＤＶＥモジュール
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ジャン−ジャック・グリモー アメリカ合衆国・カリフォルニア・ 94028・ポートラ・ヴァリー・コキート・ ウェイ・120 Ｆターム(参考） 5C023 AA12 AA40 CA01
Claims (15)
- 【請求項１】 連続的なビデオ画像の中の対象領域を、対象領域の中に挿入
することのできる整合パターンで置き換えるようなテレビシステムであって、該
システムは、 ・場面のビデオ画像のシークエンスを作り出すための少なくとも１台のテレビ
カメラ（１０）と、 ・ビデオ画像を受信し、画像層あるいは特殊効果を選択的にビデオ画像に追加
して放送用の供給データを作るための放送画像処理手段と、 ・放送画像処理手段とは離れたところにあって、放送用の供給データを受け取
り、ビデオ画像の中の対象領域を適当な置き換えのモデルあるいはパターンによ
って置き換えることにより、放送用供給データを変更するための仮想挿入手段（
１２）と を備えることを特徴とするテレビシステム。 - 【請求項２】 上記画像処理手段は、カメラサイト上の移動制御室内に置か
れ、放送用提供データは、ディジタル形式によるビデオ画像により構成されるこ
とを特徴とする請求項１記載のシステム。 - 【請求項３】 上記システムは、複数の可動カメラ（１０ａ，１０ｂ，１０
ｃ）と、どのカメラが現在動作中かを決定し、対応する出力を作り出す手段とを
持ち、仮想挿入手段は、上記出力を元にして、動作中のカメラから来るビデオ画
像の対象部分を置き換えることを特徴とする請求項１あるいは２のいずれか一つ
に記載のシステム。 - 【請求項４】 経路決定手段は、移動制御室とは別のところに置かれ、それ
によって、システムが調整を受けている間、システムは放送用供給データを受け
取り、様々な個々のカメラから来る供給データを導き、その結果、供給データの
一つを選択的に出力することを特徴とする請求項２あるいは３のいずれか一つに
記載のシステム。 - 【請求項５】 上記システムは、複数のカメラを持ち、上記システムは、ど
のカメラが動作中かを示すカメラ休止信号を作る手段と、カメラ休止信号を監視
し、カメラ休止信号が、そのビデオ画像が仮想挿入手段によって受信されている
カメラに受信されたかどうかを決定する手段とを含むことを特徴とする請求項２
記載のシステム。 - 【請求項６】 受信されたビデオ画像に加えられた画像要素の種類と特殊効
果とに基づいて、放送用供給データのビデオ画像を作り出すために追加された画
像要素と特殊効果とを監視し、仮想挿入手段によって受信されたビデオ画像が変
更されないように指示する出力を作り出すための監視手段をさらに含むことを特
徴とする請求項２記載のシステム。 - 【請求項７】 装備されたカメラが複数であり、各々は、それとともに、対
応するカメラに関する動作データを作り出す関連センサを持っており、本システ
ムは、放送用供給データのビデオ画像の対象部分を、動作データと互換性のある
置き換えパターンで置き換えるために、動作データを仮想挿入手段に送る手段も
持っていることを特徴とする請求項１あるいは２のいずれか一つに記載のシステ
ム。 - 【請求項８】 動作データは、パンやティルトや焦点合わせやズームとして
知られるカメラの特性に関連していることを特徴とする請求項７記載のシステム
。 - 【請求項９】 連続するビデオ画像の中の対象領域を、対象領域に挿入する
ことの可能な整合モデルで置き換えるためのテレビシステムであって、該システ
ムは、 ・稼働中に、場面のビデオ画像のそれぞれのシークエンスを作る複数のテレビ
カメラと、 ・各々のカメラ用の、対応するカメラに関連する複数の動作パラメータを見つ
けて各々の出力データを作り出すセンサと、 ・カメラと同じサイトに置かれ、ビデオ画像を受信し、最終的にビデオ画像を
造るために画像要素層と特殊効果とをビデオ画像に追加する画像処理手段と、放
送用供給データを構成するのにディジタル形式で最終的なビデオ画像を出力する
ための手段と、センサからの出力データを受信し、出力データ信号を提供するた
めに、移動制御室と共にサイト上に置かれたローカル制御手段とを含む移動制御
室と、 ・カメラと制御室とローカル制御手段とから離れたところに置かれて、放送用
提供データとデータ信号とを受信し、ビデオ画像の対象部分を、対象部分内に挿
入するのに適した置き換えモデルと置き換えることによって放送用提供データの
ビデオ画像を変更する仮想挿入手段と を備えることを特徴とするシステム。 - 【請求項１０】 ローカル制御手段は、どのカメラが現在動作中かを決定し
、対応する出力を作る手段を備え、仮想挿入手段は、上記出力の位置関数として
制御信号を受信し、動作中であると認識されるカメラから来る放送用提供データ
のビデオ画像の対象部分を置き換えることを特徴とする請求項９記載のシステム
。 - 【請求項１１】 ローカル制御手段は、システムの調整の間、動作中であり
、放送用提供データを受信し、様々なカメラからそれぞれ来る提供データを導き
、上記提供データの中から選択された一つを出力する経路決定手段を持つことを
特徴とする請求項９記載のシステム。 - 【請求項１２】 移動制御室は、どのカメラが動作中であるかを示すカメラ
休止信号を生成する手段を持ち、そのビデオ画像が、仮想挿入手段によって受信
されているカメラに対してカメラ休止信号が受信されたかを決定するカメラ休止
信号を監視し、対応する制御信号を仮想挿入手段へ送るための手段を持っている
ことを特徴とする請求項９記載のシステム。 - 【請求項１３】 論理制御手段は、時間的に早いカメラから来る出力信号と
、時間的に２番目のカメラから来る信号とが同時に受信されるときに、２つのカ
メラの時間的に第２のものが動作中であることを示す出力を提供することを特徴
とする請求項９記載のシステム。 - 【請求項１４】 論理制御手段は、受信したビデオ画像に追加された画像要
素と特殊効果との特性に基づいて、放送用提供データのビデオ画像を作り出し、
仮想挿入手段により受信されたビデオ画像を変更してはいけないことを示す出力
を与えるために追加された画像要素と特殊効果を監視する論理手段を含んでいる
ことを特徴とする請求項９記載のシステム。 - 【請求項１５】 追加された特殊効果が置き換えパターンと互換性が無い場
合と、いずれかの特殊効果が受信された画像に処理のために追加された場合と、
さらに、いずれかの追加された画像要素層が置き換えの対象と互換性が無い場合
に、出力が作り出されることを特徴とする請求項６あるいは１４のいずれか一つ
に記載のシステム。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/215,274 US6525780B1 (en) | 1998-12-18 | 1998-12-18 | “Midlink” virtual insertion system |
| US09/215,274 | 1998-12-18 | ||
| PCT/FR1999/003183 WO2000038416A1 (fr) | 1998-12-18 | 1999-12-17 | Systeme d'insertion visuelle dans une sequence video |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002534010A true JP2002534010A (ja) | 2002-10-08 |
Family
ID=22802339
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000590379A Withdrawn JP2002534010A (ja) | 1998-12-18 | 1999-12-17 | ビデオシークエンスの中に画像を挿入するためのシステム |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US6525780B1 (ja) |
| EP (1) | EP1142315B1 (ja) |
| JP (1) | JP2002534010A (ja) |
| AU (1) | AU1783100A (ja) |
| CA (1) | CA2354570A1 (ja) |
| DE (1) | DE69942313D1 (ja) |
| ES (1) | ES2342241T3 (ja) |
| WO (1) | WO2000038416A1 (ja) |
Families Citing this family (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7397363B2 (en) * | 1993-06-08 | 2008-07-08 | Raymond Anthony Joao | Control and/or monitoring apparatus and method |
| US10152876B2 (en) | 1996-03-27 | 2018-12-11 | Gtj Ventures, Llc | Control, monitoring, and/or security apparatus and method |
| US10011247B2 (en) * | 1996-03-27 | 2018-07-03 | Gtj Ventures, Llc | Control, monitoring and/or security apparatus and method |
| US7253731B2 (en) | 2001-01-23 | 2007-08-07 | Raymond Anthony Joao | Apparatus and method for providing shipment information |
| US7277010B2 (en) * | 1996-03-27 | 2007-10-02 | Raymond Anthony Joao | Monitoring apparatus and method |
| US9075136B1 (en) | 1998-03-04 | 2015-07-07 | Gtj Ventures, Llc | Vehicle operator and/or occupant information apparatus and method |
| US20010017671A1 (en) * | 1998-12-18 | 2001-08-30 | Pierre Pleven | "Midlink" virtual insertion system and methods |
| US6381362B1 (en) * | 1999-04-08 | 2002-04-30 | Tata America International Corporation | Method and apparatus for including virtual ads in video presentations |
| US6792148B1 (en) * | 1999-10-18 | 2004-09-14 | Telefonaktiebolaget Lm Ericsson (Publ) | Method and apparatus for providing a camera accessory with compression |
| US20020010931A1 (en) * | 2000-07-19 | 2002-01-24 | Chew Brian O. | Method of viewing a live event |
| US7101988B2 (en) * | 2000-10-12 | 2006-09-05 | Marical, Inc. | Polyvalent cation-sensing receptor in Atlantic salmon |
| US20030030658A1 (en) * | 2001-08-10 | 2003-02-13 | Simon Gibbs | System and method for mixed reality broadcast |
| US7339609B2 (en) * | 2001-08-10 | 2008-03-04 | Sony Corporation | System and method for enhancing real-time data feeds |
| US7173672B2 (en) * | 2001-08-10 | 2007-02-06 | Sony Corporation | System and method for transitioning between real images and virtual images |
| US7091989B2 (en) * | 2001-08-10 | 2006-08-15 | Sony Corporation | System and method for data assisted chroma-keying |
| ATE275799T1 (de) * | 2002-03-07 | 2004-09-15 | Macrosystem Digital Video Ag | Überwachungssystem mit mehreren videokameras |
| US20030187820A1 (en) | 2002-03-29 | 2003-10-02 | Michael Kohut | Media management system and process |
| US10562492B2 (en) * | 2002-05-01 | 2020-02-18 | Gtj Ventures, Llc | Control, monitoring and/or security apparatus and method |
| US7590310B2 (en) | 2004-05-05 | 2009-09-15 | Facet Technology Corp. | Methods and apparatus for automated true object-based image analysis and retrieval |
| US7333150B2 (en) * | 2004-05-14 | 2008-02-19 | Pixel Instruments Corporation | Method, system, and program product for eliminating error contribution from production switchers with internal DVEs |
| US8330859B2 (en) * | 2004-05-14 | 2012-12-11 | Pixel Instruments Corporation | Method, system, and program product for eliminating error contribution from production switchers with internal DVEs |
| US7451041B2 (en) | 2005-05-06 | 2008-11-11 | Facet Technology Corporation | Network-based navigation system having virtual drive-thru advertisements integrated with actual imagery from along a physical route |
| US20070035665A1 (en) * | 2005-08-12 | 2007-02-15 | Broadcom Corporation | Method and system for communicating lighting effects with additional layering in a video stream |
| US7689062B2 (en) * | 2006-07-16 | 2010-03-30 | Seambi Ltd. | System and method for virtual content placement |
| US8239913B2 (en) * | 2007-03-26 | 2012-08-07 | The Directv Group, Inc. | Method and system for inserting digital video effects into a video stream in redundant paths before routing |
| US8619822B2 (en) * | 2007-03-26 | 2013-12-31 | The Directv Group, Inc. | Method and system for generating uplink signals from a ground segment |
| US20080239163A1 (en) * | 2007-03-26 | 2008-10-02 | The Directv Group, Inc. | Method and system for inserting digital video effects into a video stream after bypass routing and before encoding |
| US9055316B2 (en) * | 2007-03-26 | 2015-06-09 | The Directv Group, Inc. | Method and system for inserting digital video effects into a video stream at a multiplexing device after routing |
| US20130050401A1 (en) * | 2009-09-04 | 2013-02-28 | Breitblick Gmbh | Portable wide-angle video recording system |
| CN102123251B (zh) * | 2010-01-07 | 2015-06-17 | 新奥特（北京）视频技术有限公司 | 一种快速制作滚屏节点的图文包装系统 |
| WO2012006356A2 (en) | 2010-07-06 | 2012-01-12 | Mark Lane | Apparatus, system, and method for an improved video stream |
| GB2501145A (en) * | 2012-04-12 | 2013-10-16 | Supercell Oy | Rendering and modifying objects on a graphical user interface |
| US9514381B1 (en) | 2013-03-15 | 2016-12-06 | Pandoodle Corporation | Method of identifying and replacing an object or area in a digital image with another object or area |
| US10546441B2 (en) | 2013-06-04 | 2020-01-28 | Raymond Anthony Joao | Control, monitoring, and/or security, apparatus and method for premises, vehicles, and/or articles |
| US9821738B2 (en) | 2014-06-30 | 2017-11-21 | Raymond Anthony Joao | Battery power management apparatus and method |
| US11095695B2 (en) | 2016-07-26 | 2021-08-17 | Hewlett-Packard Development Company, L.P. | Teleconference transmission |
| US11760227B2 (en) | 2021-02-15 | 2023-09-19 | Raymond Anthony Joao | Battery power management apparatus and method |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4393394A (en) * | 1981-08-17 | 1983-07-12 | Mccoy Reginald F H | Television image positioning and combining system |
| US4791489A (en) * | 1987-03-06 | 1988-12-13 | Michael Polatnick | General purpose video special effects system and method therefor |
| ES2136603T3 (es) | 1991-07-19 | 1999-12-01 | Princeton Video Image Inc | Presentaciones televisivas con signos insertados, seleccionados. |
| JPH05145178A (ja) | 1991-11-18 | 1993-06-11 | Furukawa Electric Co Ltd:The | 歪量子井戸半導体レーザ素子 |
| DE69421554T2 (de) | 1993-10-27 | 2000-05-11 | Princeton Video Image Inc | Abwärtsgerichtete Kontrolle einer elektronischen Anzeigetafel |
| IL108957A (en) * | 1994-03-14 | 1998-09-24 | Scidel Technologies Ltd | Video sequence imaging system |
| FR2719965B1 (fr) | 1994-05-13 | 1996-07-26 | Symah Vision | Procédé et dispositif de modification d'une même zone d'une scène dans des images successives de télévision. |
| US5436672A (en) | 1994-05-27 | 1995-07-25 | Symah Vision | Video processing system for modifying a zone in successive images |
| FR2730837B1 (fr) | 1995-02-22 | 1997-05-30 | Sciamma Dominique | Systeme d'insertion en temps reel ou differe de panneaux publicitaires ou informationnels virtuels dans des emissions televisees |
| DE69632585T2 (de) | 1995-06-30 | 2005-06-16 | Fox Sports Productions, Inc., Los Angeles | Vorrichtung zur verbesserung der fernsehdarstellung eines objekts bei einer sportveranstaltung |
| GB9601101D0 (en) * | 1995-09-08 | 1996-03-20 | Orad Hi Tech Systems Limited | Method and apparatus for automatic electronic replacement of billboards in a video image |
| DK0943211T3 (da) | 1996-11-27 | 2008-12-15 | Princeton Video Image Inc | Billedindsættelse i videoströmme ved en kombination af fysiske sensorer og mönstergenkendelse |
-
1998
- 1998-12-18 US US09/215,274 patent/US6525780B1/en not_active Expired - Fee Related
-
1999
- 1999-12-17 WO PCT/FR1999/003183 patent/WO2000038416A1/fr active Application Filing
- 1999-12-17 CA CA002354570A patent/CA2354570A1/fr not_active Abandoned
- 1999-12-17 DE DE69942313T patent/DE69942313D1/de not_active Expired - Lifetime
- 1999-12-17 ES ES99961102T patent/ES2342241T3/es not_active Expired - Lifetime
- 1999-12-17 JP JP2000590379A patent/JP2002534010A/ja not_active Withdrawn
- 1999-12-17 AU AU17831/00A patent/AU1783100A/en not_active Abandoned
- 1999-12-17 EP EP99961102A patent/EP1142315B1/fr not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| WO2000038416A1 (fr) | 2000-06-29 |
| US6525780B1 (en) | 2003-02-25 |
| EP1142315A1 (fr) | 2001-10-10 |
| AU1783100A (en) | 2000-07-12 |
| ES2342241T3 (es) | 2010-07-02 |
| CA2354570A1 (fr) | 2000-06-29 |
| EP1142315B1 (fr) | 2010-04-28 |
| DE69942313D1 (de) | 2010-06-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2002534010A (ja) | ビデオシークエンスの中に画像を挿入するためのシステム | |
| JP6878014B2 (ja) | 画像処理装置及びその方法、プログラム、画像処理システム | |
| US9774896B2 (en) | Network synchronized camera settings | |
| US10652519B2 (en) | Virtual insertions in 3D video | |
| US6909747B2 (en) | Process and device for coding video images | |
| US8421870B2 (en) | Method and apparatus for automatic control of multiple cameras | |
| US8957947B2 (en) | Image processing apparatus and control method thereof | |
| JP2005159592A (ja) | コンテンツ送信装置およびコンテンツ受信装置 | |
| US11317124B2 (en) | Apparatus and method for generating an image data stream | |
| WO2016139898A1 (ja) | ビデオ処理装置、ビデオ処理システムおよびビデオ処理方法 | |
| US20010017671A1 (en) | "Midlink" virtual insertion system and methods | |
| JP2000057350A (ja) | 画像処理装置と方法及び画像送信装置と方法 | |
| US6606422B1 (en) | Method and apparatus for processing and recovering images | |
| KR100328482B1 (ko) | 인터넷을 통한 중계방송 시스템 | |
| Ziegler et al. | Evolution of stereoscopic and three-dimensional video | |
| EP1071278B1 (en) | Multi-camera, multi-feed and interactive virtual insertion systems and methods | |
| EP1219115A2 (en) | Narrow bandwidth broadcasting system | |
| CN116233488B (zh) | 一种用于虚拟直播的实时渲染投屏合成系统 | |
| JP7297969B2 (ja) | 情報処理装置、プログラム、生成方法、及び、システム | |
| JP2012004991A (ja) | 放送受信装置及びその制御方法 | |
| JP3520318B2 (ja) | 映像合成演算処理装置、その方法及びシステム | |
| JP2006352383A (ja) | 中継プログラムおよび中継システム | |
| JPH11261884A (ja) | パノラマ映像放送方法および放送受信装置 | |
| CN115802165B (zh) | 一种应用于异地同场景直播连线的镜头移动拍摄方法 | |
| JP4423416B2 (ja) | 映像合成処理システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20070306 |