JP2003008990A

JP2003008990A - 映像補助効果生成装置および映像送信装置ならびに映像受信装置

Info

Publication number: JP2003008990A
Application number: JP2001184861A
Authority: JP
Inventors: Bunto Tei; 文濤鄭; Shinichi Sakaida; 慎一境田; Toshihiko Misu; 俊彦三須; Masahide Naemura; 昌秀苗村; Yasuaki Kanetsugu; 保明金次
Original assignee: Nippon Hoso Kyokai NHK; NHK Engineering Services Inc; Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp; NHK Engineering System Inc
Priority date: 2001-06-19
Filing date: 2001-06-19
Publication date: 2003-01-10
Anticipated expiration: 2021-06-19
Also published as: JP4658391B2

Abstract

(57)【要約】【課題】放送映像内の動的オブジェクトの位置によっ
てその位置が決定される関連オブジェクトを生成し、放
送映像に付加することで映像効果を出す。【解決手段】動オブジェクト抽出手段１は、固定カメ
ラ映像ＩＳと、放送カメラ映像ＩＤと、固定カメラＣＳ
及び放送映像カメラＣＤそれぞれの内部パラメータとに
基づいて、固定カメラ映像ＩＳ内に含まれる動オブジェ
クトを抽出する。関連オブジェクト位置算出手段２は、
抽出された動オブジェクトの位置によってその位置が決
定される関連オブジェクトを検出する。そして、関連オ
ブジェクト生成手段３が、検出された関連オブジェクト
の位置を放送カメラ映像ＩＤ上に付加することによっ
て、映像効果がもたらされる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、撮影した映像に含
まれる動オブジェクトの位置によってその動オブジェク
トに関連する関連オブジェクトを生成する映像補助効果
生成装置および、生成された関連オブジェクトを含む放
送カメラ映像を送信する映像送信装置ならびに、送信さ
れた映像に含まれる動オブジェクトに関連する関連オブ
ジェクトを含む情報を受信する映像受信装置に関する。

【０００２】

【従来の技術】従来、例えばスポーツのテレビ放送で
は、試合を進める選手が中心に撮影される。このとき、
視聴者の視線は選手に注がれることが多い。そのため
に、放送映像カメラはおのずと選手の動きを追うことが
多くなる。このような場合、視聴者にとっては、選手の
位置とグラウンド全体との相対的な位置関係が把握でき
にくくなることがある。こうなると、スポーツ番組の観
戦が局所的になって、ややもすると、放送映像の魅力を
低減させかねないという恐れが生じる。

【０００３】そこで、放送映像を魅力あるものにするた
めに、最近になってアメリカンフットボールの放送で
は、攻撃チーム用のターゲットラインを視覚化して成る
バーチャルな１０ヤードラインを放送映像に付加するよ
うになった。この１０ヤードラインは、１回あたりの攻
撃期間中にその位置が固定されるので、毎回の攻撃開始
時になると、放送局側のオペレータがその位置を放送映
像に描くことができる。

【０００４】

【発明が解決しようとする課題】ところで、前記した１
０ヤードラインを放送映像に描くことについて、他のス
ポーツである例えばサッカーに当てはめてみると、類似
したものにオフサイドラインがある。このオフサイドラ
インの位置は、選手の位置によって時々刻々に変化する
ものである。つまり、サッカーの選手が常に移動してい
るため、１０ヤードラインの場合のように放送局側のオ
ペレータが放送映像にその位置をリアルタイムで指定す
ることができないという問題点があった。

【０００５】本発明は、前記問題点に鑑み創案されたも
のであり、例えば常に状況に応じて変化するサッカー選
手の位置に依存して定まるオフサイドラインのような位
置を検出し、時々刻々変化するオフサイドラインなどを
画面上に描くことができるようにするものである。つま
り、撮影した映像内の動オブジェクト（選手）の位置に
よってその位置が決定される関連オブジェクト（オフサ
イドライン）を自動的に生成して、放送映像に付加する
ことで映像補助効果をもたらすような映像補助効果生成
装置および映像送信装置ならびに映像受信装置の提供を
目的とする。

【０００６】

【課題を解決するための手段】本発明では前記の目的を
達成するために、映像補助効果生成装置は、放送映像カ
メラの撮影可能な範囲を固定カメラの撮影範囲とする固
定カメラ映像と、前記放送映像カメラによって撮影され
た放送カメラ映像とを互いに参照して用い、前記放送カ
メラ映像に映像補助効果を生成する映像補助効果生成装
置であって、前記固定カメラ映像に含まれている特定の
動オブジェクトを抽出する動オブジェクト抽出手段と、
抽出された前記動オブジェクトに関連する関連オブジェ
クトの位置を算出する関連オブジェクト位置算出手段
と、算出された前記関連オブジェクトを前記放送カメラ
映像にマッピングする関連オブジェクト生成手段と、を
有する構成とした。

【０００７】このように構成されることにより、映像補
助効果生成装置によれば、固定カメラで撮影された固定
カメラ映像に含まれる特定の動オブジェクトが抽出さ
れ、抽出された動オブジェクトに基づいて関連オブジェ
クトの位置が算出される。この関連オブジェクトの位置
は、動オブジェクトの位置によって決定されるものであ
る。そして、検出された関連オブジェクトの位置が放送
カメラ映像に対応する位置にマッピングされることで、
映像補助効果がもたらされる。なお、関連オブジェクト
は、例えば、直線ラインや、曲線のサークルなどの動オ
ブジェクトに対して自在に放送カメラ映像に描画するこ
とができる。

【０００８】また、映像送信装置は、放送映像カメラの
撮影可能な範囲を固定カメラの撮影範囲とする固定カメ
ラ映像と、前記放送映像カメラによって撮影された放送
カメラ映像とを互いに参照して用い、前記放送カメラ映
像に映像補助効果を生成する映像送信装置であって、前
記固定カメラ映像に含まれている特定の動オブジェクト
を抽出する動オブジェクト抽出手段と、抽出された前記
動オブジェクトに関連する関連オブジェクトの位置を算
出する関連オブジェクト位置算出手段と、算出された前
記関連オブジェクトを前記放送カメラ映像にマッピング
する関連オブジェクト生成手段と、前記関連オブジェク
ト生成手段によりマッピングされた関連オブジェクトを
含む放送カメラ映像を送信する送信手段と、を有する構
成とした。

【０００９】このように構成されることにより、映像送
信装置によれば、固定カメラで撮影された固定カメラ映
像に含まれる特定の動オブジェクトが抽出され、抽出さ
れた動オブジェクトに基づいて関連オブジェクトの位置
が算出され、関連オブジェクト生成手段によりマッピン
グされた関連オブジェクトを含む放送カメラ映像を、送
信手段を介して送信される。

【００１０】さらに、映像受信装置は、放送映像カメラ
の映像範囲を固定カメラの撮影範囲とする固定カメラ映
像に含まれる特定の動オブジェクトに関連する関連オブ
ジェクトとを含む前記放送映像カメラによる映像情報を
受信する受信手段と、この受信手段により受信した前記
情報を表示する表示手段と、前記動オブジェクトに関す
る前記関連オブジェクトを前記表示手段に表示させるた
めの操作を行なう操作手段と、を有する構成とした。

【００１１】このように構成されることにより、映像受
信装置によれば、受信手段により放送カメラ映像に含ま
れる動オブジェクトおよびその動オブジェクトに関する
関連オブジェクトを含む情報を受信し、表示手段により
その情報を表示する。そして、操作手段の操作によっ
て、表示している映像に対して関連オブジェクトを描画
することができる。

【００１２】

【発明の実施の形態】以下、本発明にかかる実施の形態
を図面を参照して説明する。図１は、映像送信装置およ
び映像補助効果生成装置の全体構成を示すブロック図で
ある。

【００１３】図１に示すように、映像送信装置１１は、
固定カメラＣＳからの固定カメラ映像ＩＳおよび放送映
像カメラＣＤからの放送カメラ映像ＩＤを入力する映像
補助効果生成装置１０と、この映像補助効果生成装置１
０からの関連オブジェクトを含む放送映像を送信するた
めの送信手段１２とを備えている。

【００１４】放送映像カメラＣＤは、移動可能で少なく
とも１台以上が撮影する被写体（例えば、サッカーであ
れば、グラウンドの所定位置）に対して適切な位置に設
置されている。また、固定カメラＣＳは、放送映像カメ
ラＣＤの撮影可能な範囲をその撮影範囲としてカバーす
るように、適切な位置、方向、画角に固定的に設置され
ている（サッカーであれば、グラウンド全体が見渡せる
位置など）。そして、固定カメラＣＳと放送映像カメラ
ＣＤとは、それぞれの動作を同期させて撮影が行われ
る。また、固定カメラＣＳで撮影された映像は固定カメ
ラ映像ＩＳとして、放送映像カメラＣＤで撮影された映
像は放送カメラ映像ＩＤとして、それぞれ映像補助効果
生成装置１０に入力される。

【００１５】そして、映像補助効果生成装置１０は、動
オブジェクト抽出手段１と、関連オブジェクト位置算出
手段２と、関連オブジェクト生成手段３とを有してい
る。この映像効果生成装置１０には、固定カメラＣＳ及
び放送映像カメラＣＤそれぞれの内部パラメータも後記
するように入力される。

【００１６】動オブジェクト抽出手段１は、固定カメラ
映像ＩＳと放送カメラ映像ＩＤとが入力されると、放送
カメラ映像ＩＤ内に含まれる動オブジェクトを抽出する
ものである。そして、抽出した動オブジェクトを関連オ
ブジェクト位置算出手段２に通知する。この通知には、
固定カメラＣＳ及び放送映像カメラＣＤの位置情報も含
まれている。

【００１７】動オブジェクト抽出手段１の構成につい
て、図２を参照して詳細に説明する。図２は、動オブジ
ェクト抽出手段１の内部構成を示すブロック図である。
図２に示すように、動オブジェクト抽出手段１は、カメ
ラ操作パラメータ計測回路２１と、カメラ内部パラメー
タ供給回路２２と、背景差分によるオブジェクト抽出回
路２３と、放送映像オブジェクト抽出回路２４とから構
成されている。

【００１８】カメラ操作パラメータ計測回路２１は、内
蔵するセンサ（図示は省略）を用いて放送映像カメラＣ
Ｄのカメラ操作パラメータ（パン角度・チルト角度・ロ
ール角度、ズーム比、及びフォーカス量）を、放送カメ
ラ映像ＩＤのフレームごとに取得する。そして、これら
の情報を放送映像オブジェクト抽出回路２４に供給す
る。

【００１９】カメラ内部パラメータ供給回路２２は、そ
の内部に、固定カメラＣＳ及び放送映像カメラＣＤそれ
ぞれの焦点距離、撮影映像の中心座標及び光学中心位置
を少なくとも含むカメラ内部パラメータを記録した記録
媒体（例えば、ＲＯＭ）を有している（図示は省略）。
ここで、このカメラ内部パラメータは、予めキャリブレ
ーションを実施することにより求めておく。また、両カ
メラＣＳ，ＣＤ間の設置高さ、各配置についての３次元
における位置関係についても前もって計測しておく。そ
して、これらの情報を放送映像オブジェクト抽出回路２
４に供給する。

【００２０】背景差分によるオブジェクト抽出回路２３
は、固定カメラ映像ＩＳに対して、背景差分法を適用し
て動オブジェクトの抽出を行う。動オブジェクトの抽出
方法としては、例えば、輝度間の時間方向の統計情報を
用いて前景と背景とを分離して、輝度の時間的変化から
前景の輝度値を推定し、その背景輝度と入力フレームの
差分から前景オブジェクトを抽出する方法（境田ら、
「背景差分による動オブジェクト抽出手法の検討」、１
９９９年電子情報通信学会総合大会）などの既知の方法
を用いることができる。そして、抽出した動オブジェク
トを放送映像オブジェクト抽出回路２４に通知する。

【００２１】放送映像オブジェクト抽出回路２４は、背
景差分によるオブジェクト抽出回路２３から通知される
固定カメラ映像ＩＳの動オブジェクト抽出結果と、カメ
ラ内部パラメータ供給回路２２から供給されるカメラ内
部パラメータと、カメラ操作パラメータ計測回路２１か
ら供給されるカメラ操作パラメータと、放送カメラ映像
ＩＤとに基づいて、固定カメラ映像ＩＳ内の動オブジェ
クトを放送カメラ映像ＩＤにマッピング（座標変換）し
て、これを動オブジェクト抽出結果として関連オブジェ
クト位置算出手段２に通知する。ここで、固定カメラ映
像ＩＳ内の動オブジェクトを放送カメラ映像ＩＤにマッ
ピングするアルゴリズムについては、例えば、本願出願
人による特願２０００−３８５２７６「動オブジェクト
抽出装置」に開示されたアルゴリズムを用いることがで
きる。

【００２２】図１に示すように、関連オブジェクト位置
算出手段２は、動オブジェクト抽出手段１によって抽出
された動オブジェクトの位置によってその位置が決定さ
れる関連オブジェクトの位置を検出するものである。こ
こで、関連オブジェクトは、放送映像に付加することに
よって、その放送映像に効果をもたらすオブジェクトで
ある。そして、検出した関連オブジェクトの位置を関連
オブジェクト生成手段３に通知する。

【００２３】関連オブジェクト生成手段３は、関連オブ
ジェクト位置算出手段２によって算出された関連オブジ
ェクトの位置と、固定カメラＣＳ及び放送映像カメラＣ
Ｄそれぞれのカメラ内部パラメータと、事前知識として
予め与えられている映像背景の３次元情報とに基づい
て、当該関連オブジェクトを放送カメラ映像ＩＤ上の対
応する位置にマッピングして付加するものである。

【００２４】図１に示すように、送信手段１２は、関連
オブジェクト生成手段３によって生成された関連オブジ
ェクト付き放送映像を放送波あるいは通信回線を介して
送信するためのものである。

【００２５】次に、図１から図５を参照して映像送信装
置１１および本映像補助効果生成装置１０の動作につい
て説明する。ここでは、サッカーの放送番組において、
選手（動オブジェクト）の位置によってその位置が決定
されるオフサイドライン（関連オブジェクト）の位置を
自動的に算出して、算出したオフサイドラインを放送カ
メラ映像ＩＤ上に映像補助効果として付加する例を説明
する。

【００２６】まず、試合の全景が撮影可能となるよう
に、固定カメラＣＳを用いてグラウンド全体を撮影す
る。固定カメラＣＳによって撮影された固定カメラ映像
ＩＳは、動オブジェクト抽出手段１の背景差分によるオ
ブジェクト抽出回路２３に入力される。また、１台又は
複数台の放送映像カメラＣＤを用いてグラウンド内を動
き回る各選手を撮影する。放送映像カメラＣＤによって
撮影された放送カメラ映像ＩＤは、動オブジェクト抽出
手段１の放送映像オブジェクト抽出回路２４に入力され
る。

【００２７】差分背景によるオブジェクト抽出回路２３
では、前記した背景差分法を利用して固定カメラ映像Ｉ
Ｓの中から各選手（動オブジェクト）を抽出して、抽出
した各選手を放送映像オブジェクト抽出回路２４に通知
する。

【００２８】放送映像オブジェクト抽出回路２４では、
カメラ内部パラメータ供給回路２２から供給される各カ
メラのカメラ内部パラメータと、カメラ操作パラメータ
計測回路２１から供給されるカメラ操作パラメータとを
用いて、差分背景によるオブジェクト抽出回路２３から
通知された各選手の領域を、放送カメラ映像ＩＤ内にマ
ッピング（座標変換）する。そして、マッピングした結
果を関連オブジェクト位置算出手段２に通知する。

【００２９】関連オブジェクト位置算出手段２では、通
知された各選手の領域を基に、オフサイドライン（関連
オブジェクト）の位置を算出する。ここで、図３を参照
してオフサイドラインの意味について説明する。図３
は、オフサイドラインを説明するための図である。サッ
カーのルールでは、「攻撃側の選手が、相手陣内にい
る、現在のボール位置よりも相手側ゴールラインに近
い位置にいる、その選手と相手側ゴールラインとの間
に相手側選手が２人以上いない。この三つの条件が揃う
ときに、オフサイドラインポジションとみなされる（オ
フサイドが成立する）」ことになる。つまり、図３で
は、相手側ゴールライン３１から数えて２人目（ゴール
キーパーを含める）の相手側選手がいる位置がオフサイ
ドライン３２の位置である。

【００３０】関連オブジェクト位置算出手段２では、事
前知識として与えられた両チームのユニフォーム色（ゴ
ールキーパーのユニフォーム色を含める）を基にして、
動オブジェクト抽出手段１で抽出された各選手領域につ
いて、各選手それぞれのユニフォーム色を、相手側ゴー
ルライン３１の位置から順に比較して算出することで、
相手側ゴールライン３１から数えて２人目の相手側選手
を検出する。この相手側選手のいる位置がオフサイドラ
インの位置となる。

【００３１】図４を参照してオフサイドラインの位置に
ついて説明を加える。図４は、固定カメラＣＳで撮影さ
れた固定カメラ映像ＩＳに、オフサイドライン３２を付
加した図である。図４において、相手側ゴールライン３
１から数えて２人目の相手側選手が検出されると、固定
カメラ映像ＩＳ上におけるこの相手側選手の位置は、座
標Ｐ₁（Ｘ₁，Ｙ₁）で表わされる。この座標Ｐ₁（Ｘ₁，
Ｙ₁）を基準にして、固定カメラ映像ＩＳ上でのオフサ
イドライン３２を決める。図４に示すように、Ｐ ₁から
ゴールライン３１までの距離が等しくなるようなＰ₁以
外の任意の１点Ｐ₁’（Ｘ₁’，Ｙ₁’）を選定すれば、
点Ｐ₁と、点Ｐ₁’とを含む線分を得ることができる。こ
の線分が、固定カメラ映像ＩＳ上から見たオフサイドラ
インである。関連オブジェクト位置算出手段２は、この
ようにして算出して検出したオフサイドラインの位置を
関連オブジェクト生成手段３に通知する。

【００３２】関連オブジェクト生成手段３では、関連オ
ブジェクト位置算出手段２から通知されたオフサイドラ
インの位置と、固定カメラＣＳ及び放送映像カメラＣＤ
それぞれのカメラ内部パラメータと、事前知識として与
えられているグラウンド（映像背景）の３次元位置情報
とを用いて、オフサイドライン３２を放送カメラ映像Ｉ
Ｄ内にマッピング（座標変換）する。

【００３３】図５を参照してこのマッピング処理のアル
ゴリズムについて説明する。図５は、固定カメラＣＳと
放送映像カメラＣＤとの両映像間における領域マッピン
グを説明する図である。図５において、固定カメラＣＳ
及び放送映像カメラＣＤでは、それぞれ２つの座標系が
用いられる。第１の座標系は、固定カメラＣＳの光学中
心ｏ₁（放送映像カメラＣＤの場合はｏ₂）を原点とし
て、固定カメラＣＳのｚ軸が光軸に一致する３次元カメ
ラ座標系ｏ₁−ｘ₁−ｙ₁−ｚ₁（放送映像カメラＣＤの場
合はｏ₂−ｘ₂−ｙ₂−ｚ₂）である。第２の座標系は、固
定カメラＣＳの光軸と画像面との交点である画像中心Ｏ
₁（放送映像カメラＣＤの場合はＯ₂）を原点とする２次
元画像座標系Ｏ₁−Ｘ₁−Ｙ₁（放送映像カメラＣＤの場
合はＯ₂−Ｘ ₂−Ｙ₂）である。

【００３４】また、固定カメラＣＳの座標系を基準座標
系とし、この基準座標系における放送映像カメラＣＤの
状態を、カメラの光学中心の３次元位置（ｘ，ｙ，ｚ）
に３つ、カメラの回転角度（パン角度、チルト角度、ロ
ール角度）に３つ、焦点距離に１つ、合わせて７つのパ
ラメータで表すものとする。

【００３５】また、固定カメラＣＳ及び放送映像カメラ
ＣＤそれぞれのカメラ内部パラメータは既知である。ま
た、事前知識として固定カメラＣＳとグラウンドとの設
置高さおよび設置位置の３次元における位置関係が与え
られているものとする。従って、固定カメラＣＳによっ
て撮影された固定カメラ映像ＩＳにおいて、各画素に対
応するグラウンド上の点の３次元位置が既知となる。

【００３６】ここで、ある任意の時刻ｔにおける放送映
像カメラＣＤの位置を、Ｔ＝（Ｔ_x，Ｔ_y，Ｔ_z）^t、回転
角度を（θ_p，θ_t，θ_r）^t、焦点距離をｆ₂とし、ま
た、固定カメラＣＳの焦点距離をｆ₁として、固定カメ
ラ映像ＩＳ内の点Ｐ₁（Ｘ₁，Ｙ₁）を放送カメラ映像Ｉ
Ｄ上の対応点Ｐ₂（Ｘ₂，Ｙ₂）にマッピングする方法を
詳細に説明する。

【００３７】まず、固定カメラ映像ＩＳ内の座標Ｏ
₁（Ｘ₁，Ｙ₁）に対応するグラウンド上の点をｐとし
て、固定カメラＣＳの座標系におけるｐの３次元座標ｏ
₁（ｘ₁，ｙ ₁，ｚ₁）は、下記（１）式によって表わすこ
とができる。ただし、（１）式に示すｚ₁は、固定カメ
ラＣＳの座標系におけるｐの奥行き値である。

【００３８】

【数１】

【００３９】また、放送映像カメラＣＤの座標系におけ
るｐの３次元座標ｏ₂（ｘ₂，ｙ₂，ｚ₂）は下記（２）式
によって表わすことができる。ただし、（２）式に示す
Ｒは、下記（３）式で与えられる回転行列である。

【００４０】

【数２】

【００４１】

【数３】

【００４２】したがって、放送カメラ映像ＩＤにおける
座標Ｏ₂（Ｘ₂，Ｙ₂）は、前記した放送映像カメラＣＤ
の座標系におけるｐの３次元座標ｏ₂（ｘ₂，ｙ₂，ｚ₂）
が、前記（２）式及び前記（３）式で求まっているの
で、下記（４）式によって求めることができる。

【００４３】

【数４】

【００４４】同様に、固定カメラ映像ＩＳ内の点Ｐ₁’
（Ｘ₁’，Ｙ₁’）を、放送カメラ映像ＩＤ上の対応点Ｐ
₂’（Ｘ₂’，Ｙ₂’）にマッピングする。このとき、前
記した対応点Ｐ₂と、この対応点Ｐ₂’とを含む線分が、
放送カメラ映像ＩＤ上でのオフサイドライン３２とな
る。

【００４５】このように、固定カメラ映像ＩＳに含まれ
る選手（動オブジェクト）を抽出し、選手の位置によっ
てその位置が定まるオフサイドライン３２（関連オブジ
ェクト）の位置を算出して検出し、検出したオフサイド
ライン３２の位置を放送カメラ映像ＩＤ上にマッピング
することができる。

【００４６】したがって、オフサイドライン３２の位置
をマッピングした放送カメラ映像ＩＤを送信手段１２を
介して送信することで、放送カメラ映像ＩＤ上に生成さ
れたオフサイドライン３２が、視聴者がサッカーのテレ
ビ放送を視聴するときに映像効果をもたらす。

【００４７】つぎに、図６を参照して映像受信装置１５
について説明する。なお、前記した動オブジェクトおよ
び関連オブジェクト位置の算出ならびに、動オブジェク
トに関連オブジェクトをマッピングする構成について
は、すでに前記したものと同様であるため、ここではそ
の説明を省略する。

【００４８】映像受信装置１５は、通常のテレビジョン
装置と同等の機能を備えており、すでに図１ないし図５
により説明した動オブジェクトに関連する関連オブジェ
クトを含む放送映像信号を受信する受信手段１６と、こ
の受信手段１６により受信した放送映像信号の音声なら
びに放送映像を復調等の処理を行なって画面表示する表
示手段１７と、この表示手段１７に表示されている放送
映像に関連オブジェクトを表示あるいは表示しているも
のを消去する操作を行なう操作手段１８とを備えてい
る。

【００４９】受信手段１６は、放送局側から放送波ある
いは通信回線を介して送られてくる放送映像信号を受信
する放送アンテナあるいはケーブル放送受信装置等の構
成であり、放送映像を受信して復調等ができるものであ
れば特に限定されるものではない。また、表示手段１７
は、放送映像の音声の出力、映像の表示を行なうことが
できる液晶表示テレビ、プラズマディスプレイあるいは
ブラウン管を用いたテレビなどである。

【００５０】さらに、操作手段１８は、表示手段１７に
表示される映像に含まれている関連オブジェクトを表示
あるいは消去するための操作を行なう操作ボタンを有す
る操作用リモコンあるいは表示手段１７本体に形成され
ているプレート操作ボタン（図示せず）として構成され
ている。

【００５１】したがって、映像受信装置１５を用いて、
サッカーの試合を視聴する場合、関連オブジェクトであ
るオフサイドラインＯＬ（図６（ｂ）参照）や、また、
ディフェンス選手のディフェンスエリアＤＡ（図６
（ａ）参照）等について、操作用リモコン（操作手段１
８）を介して選択的に表示させたり、あるいは、表示し
ているオフサイドラインＯＬや、ディフェンスエリアＤ
Ａ等を表示画面から消去させたりする操作を行なうこと
が映像画面上においてリアルタイムでできるものであ
る。

【００５２】もちろん、各サッカーのプレーを放送局側
の編集によりリプレイする場合においても、そのリプレ
イ映像信号に関連オブジェクトを含むものであれば、オ
フサイドラインＯＬ等の表示、消去を自在に行なうこと
ができるものである。なお、オフサイドラインＯＬを表
示する場合は、一方のサイドラインＳＬから他方のサイ
ドラインＳＬまで描画すると分かりやすい。

【００５３】そして、オフサイドラインＯＬの色彩は、
グラウンドの色彩が緑色であり、また、サイドラインＳ
Ｌやゴールライン等のフィールド上に引かれているライ
ンは、一定幅の連続した白色である。そのため、オフサ
イドラインＯＬの関連オブジェクトは、白あるいは緑と
区別できる色彩あるいはフィールド上に引かれているラ
インと区別できる点線、一点鎖線などにすると視聴者に
とって見分けやすい構成となる。

【００５４】以上、本発明に係る実施の形態について説
明したが、本発明は本実施の形態に限定されることな
く、広く変形して実施することが可能である。例えば、
サッカーの例では、テレビ画面外にいた選手がテレビ画
面内に入ってくる直前の、移動方向のテレビ画面上での
表示や、テレビ画面内或いはテレビ画面外にいる各選手
の影響エリアの表示なども同様にして実現することが可
能である。

【００５５】また、サッカーのテレビ放送に限らず、例
えば、図７に示すように、野球中継のバッター毎のスト
ライクゾーンＳＺを関連オブジェクトとすることなど、
映像に含まれる動オブジェクトの位置によってその位置
が定まる関連オブジェクトを自動的に生成して、映像効
果とするような汎用的な放送番組に適用することが容易
にできる。

【００５６】

【発明の効果】以上、説明したとおり、本発明に係る映
像補助効果生成装置では、固定カメラで撮影した固定カ
メラ映像から動オブジェクトを抽出して、抽出した動オ
ブジェクトの位置によってその位置が決定される関連オ
ブジェクトの位置を算出することで検出して、検出した
関連オブジェクトの位置を放送カメラ映像上に生成する
構成としたので、放送映像に映像補助効果がもたらさ
れ、より分かり易く、よりエンタテイメント性の高い放
送番組を製作することができる。

【００５７】また、映像送信装置は、関連オブジェクト
を含む放送映像信号を送信することができるため、放送
映像に映像効果がもたらされ、より分かり易く、よりエ
ンタテイメント性の高い放送番組を提供することができ
る。

【００５８】さらに、映像受信装置は、関連オブジェ
クトを含む放送映像信号を受信して視聴者の操作によ
り、その関連オブジェクトを表示あるいは消去すること
ができるため、視聴者の好みに合わせて映像補助効果を
選択して使用することが可能となる。

【図面の簡単な説明】

【図１】本発明にかかる映像送信装置および映像補助効
果生成装置の全体構成を示すブロック図である。

【図２】本発明にかかる動オブジェクト抽出手段の構成
を示すブロック図である。

【図３】本発明にかかる映像補助効果生成装置によるオ
フサイドラインを説明するための模式図である。

【図４】本発明にかかる映像補助効果生成装置で固定カ
メラ映像にオフサイドラインを付加した模式図である。

【図５】本発明にかかる映像補助効果生成装置により固
定カメラと放送映像カメラとの両映像間における領域マ
ッピングを説明する模式図である。

【図６】（ａ）、（ｂ）は、本発明にかかる映像受信装
置の構成を示すブロック図である。

【図７】本発明にかかる映像補助効果生成装置による関
連オブジェクトを付加した映像の模式図である。

【符号の説明】

１動オブジェクト抽出手段２関連オブジェクト位置算出手段３関連オブジェクト生成手段１０映像補助効果生成装置１１映像送信装置１２送信手段１５映像受信装置１６受信手段１７表示手段１８操作手段２１カメラ操作パラメータ計測回路２２カメラ内部パラメータ供給回路２３背景差分によるオブジェクト抽出回路２４放送映像オブジェクト抽出回路ＣＳ固定カメラＩＳ固定カメラ映像ＣＤ放送映像カメラＩＤ放送カメラ映像

───────────────────────────────────────────────────── フロントページの続き (72)発明者境田慎一東京都世田谷区砧一丁目10番11号日本放送協会放送技術研究所内 (72)発明者三須俊彦東京都世田谷区砧一丁目10番11号日本放送協会放送技術研究所内 (72)発明者苗村昌秀東京都世田谷区砧一丁目10番11号日本放送協会放送技術研究所内 (72)発明者金次保明東京都町田市東玉川学園４−3441−８Ｆターム(参考） 5C022 AA00 AB61 AB64 AB68 AC11 AC69 CA03 5C023 AA11 AA18 AA37 BA04 BA11 CA03 CA06 DA04 DA08 EA03 5L096 CA05 DA01 GA08 HA03

Claims

【特許請求の範囲】

【請求項１】放送映像カメラの撮影可能な範囲を固定
カメラの撮影範囲とする固定カメラ映像と、前記放送映
像カメラによって撮影された放送カメラ映像とを互いに
参照して用い、前記放送カメラ映像に映像補助効果を生
成する映像補助効果生成装置であって、前記固定カメラ映像に含まれている特定の動オブジェク
トを抽出する動オブジェクト抽出手段と、抽出された前記動オブジェクトに関連する関連オブジェ
クトの位置を算出する関連オブジェクト位置算出手段
と、算出された前記関連オブジェクトを前記放送カメラ映像
にマッピングする関連オブジェクト生成手段と、を有す
ることを特徴とする映像補助効果生成装置。
【請求項２】放送映像カメラの撮影可能な範囲を固定
カメラの撮影範囲とする固定カメラ映像と、前記放送映
像カメラによって撮影された放送カメラ映像とを互いに
参照して用い、前記放送カメラ映像に映像補助効果を生
成する映像送信装置であって、前記固定カメラ映像に含まれている特定の動オブジェク
トを抽出する動オブジェクト抽出手段と、抽出された前記動オブジェクトに関連する関連オブジェ
クトの位置を算出する関連オブジェクト位置算出手段
と、算出された前記関連オブジェクトを前記放送カメラ映像
にマッピングする関連オブジェクト生成手段と、前記関連オブジェクト生成手段によりマッピングされた
関連オブジェクトを含む放送カメラ映像を送信する送信
手段と、を有することを特徴とする映像送信装置。
【請求項３】放送映像カメラの映像範囲を固定カメラ
の撮影範囲とする固定カメラ映像に含まれる特定の動オ
ブジェクトに関連する関連オブジェクトとを含む前記放
送映像カメラによる映像情報を受信する受信手段と、この受信手段により受信した前記情報を表示する表示手
段と、前記動オブジェクトに関する前記関連オブジェクトを前
記表示手段に表示させるための操作を行なう操作手段
と、を有することを特徴とする映像受信装置。