JP2006067405A - テレビ放送送信機、テレビ放送受信機、ブロードキャスト番組参加システム、及び方法 - Google Patents

Abstract

【課題】双方向会話が可能で家庭に居ながら番組撮影に参加しその中に居る雰囲気を味わえる参加型番組を提供する。
【解決手段】送信機１は、映像ストリームと撮影時の撮影データを取得する手段１３、視点映像生成用情報を作成する手段１４、参加者の撮影時の位置情報を生成する手段１５、映像ストリームに視点映像生成用情報を付加し送信する装置１２、参加者と仮想アバタとの割付情報を持つ手段１６、及び参加者発話，姿勢等を撮影時セットで視聴する手段１７，１８を持つ。受信機２は、視聴者情報を取得する手段２４、視聴者情報から視聴者の視点情報を生成する手段２３、視点映像生成用情報と視点情報とに基づき視聴者の視点の適切な映像を生成する手段２５、視聴者が番組に参加するための処理を行う手段３０、及び視聴者情報からアバタ情報を生成する手段２７を持つ。送信機１，受信機２は通信手段１９，２９で参加者の情報を送受する。
【選択図】図２

Description

本発明は、テレビ放送送信機、テレビ放送受信機、ブロードキャスト番組参加システム、及び方法に関し、より詳細には、テレビ視聴者が双方向会話可能な状態でテレビ番組に参加し得るための、テレビ放送送信機、テレビ放送受信機、それらを備えたブロードキャスト番組参加システム、テレビ放送送信方法、テレビ放送受信方法、ブロードキャスト番組参加方法に関する。

双方向通信がもてはやされるデジタル放送の視聴者参加型番組というものは、一般に視聴者がテレビ局に送ったデータが番組中に集計されるという程度のものであり、参加型といっても自分が番組に参加している雰囲気をあまり味わうことはできない。

また、テレビ視聴者がライブのテレビ番組に参加するテレビシステムが提案されている（例えば、特許文献１を参照）。しかし、この発明は視聴者の映像や音声をスタジオに送りただ単に画面の一部に矩形表示するだけのもので、これでは放送者の演出の範囲が限られており、参加できる番組はテレビ会議のようなタイプの番組に限定されるという欠点がある。また、実際にスタジオで参加している雰囲気も充分ではない。
特表２００３−５１８８４０号公報

本発明は、上述のごとき実情に鑑みてなされたものであり、双方向会話が可能で、家庭に居ながらにして番組撮影に参加したり、物語の１シーンの世界にいる気分が味わえる参加型番組を提供することが可能な、テレビ放送送信機、テレビ放送受信機、それらを備えたブロードキャスト番組参加システム、テレビ放送送信方法、テレビ放送受信方法、ブロードキャスト番組参加方法を提供することをその目的とする。

本発明は、上述のごとき課題を解決するために、以下の各技術手段により構成される。
第１の技術手段は、映像ストリームを出力するテレビ放送送信機であって、１つ以上の映像ストリームと、撮影時のカメラ位置情報やシナリオ情報などの撮影データを少なくとも１つ取得する番組撮影データ取得手段と、テレビ放送受信機側において視聴者が撮影映像を複数の視点から視聴可能にする視点映像生成用情報を作成する視点映像生成用情報作成手段と、視聴者のうち参加者の前記撮影時のセットにおける位置を規定するための位置情報を生成する位置情報生成手段と、前記映像ストリームに前記視点映像生成用情報作成手段で作成した視点映像生成用情報を付加して送信する放送装置と、ネットワークを通じて前記参加者に係わる情報をやり取りする通信手段と、前記参加者に対し仮想アバタを割り付けるための情報を持つ参加者管理手段と、前記参加者の発話を前記撮影時のセットにおいて視聴するための参加者発話手段と、前記参加者の姿勢などを前記撮影時のセットにおいて視聴するためのアバタ表示手段と、を備えたことを特徴としたものである。

第２の技術手段は、映像ストリームと、該映像ストリームに付加された視点映像生成用情報を含む付加情報とを受信するテレビ放送受信機であって、視聴者の少なくとも発話内容，位置，姿勢に関する情報を取得する視聴者情報取得手段と、該視聴者情報取得手段で取得した視聴者の情報である視聴者情報に基づいて、該視聴者の視点情報を生成する視点情報生成手段と、前記付加情報に含まれる視点映像生成用情報と前記視点情報生成手段で生成した視点情報とに基づいて、前記視聴者の視点として適切な映像を生成する視点映像生成手段と、視聴者が参加者として番組に参加するための処理を行う参加処理手段と、前記視聴者情報取得手段で取得した前記参加者の少なくとも発話内容，姿勢を伝えるためのデータであるアバタ情報を生成するアバタ情報生成手段と、前記番組を放送しているテレビ放送送信機とデータのやり取りを行う通信手段と、を備えたことを特徴としたものである。

第３の技術手段は、第２の技術手段において、前記視聴者情報取得手段は、前記視聴者の動きを検出する位置センサ、前記視聴者の視線を検出する視線センサ、前記視点情報を入力するための入力装置のうち、少なくとも１つ以上と、さらに視聴者の発話内容を入力する入力装置とを用いて、前記視聴者情報を取得することを特徴としたものである。

第４の技術手段は、第２の技術手段において、前記視点情報生成手段は、前記視聴者情報取得手段で取得した視聴者情報と前記受信した視点映像生成情報とに基づいて、前記視聴者の前記撮影時のセットにおける仮想的な位置及び視点を算出することを特徴としたものである。

第５の技術手段は、第２の技術手段において、前記視点映像生成手段は、前記視点情報生成手段で生成した視点情報と前記受信した視点映像生成情報とに基づいて、任意視点の映像ストリームを生成することを特徴としたものである。

第６の技術手段は、第２の技術手段において、前記視点映像生成手段は、前記視点情報生成手段で生成した視点情報と前記受信した視点映像生成情報とに基づいて、複数の映像ストリームから適切な映像ストリームを選択することを特徴としたものである。

第７の技術手段は、テレビ視聴者がテレビ番組に参加し得るブロードキャスト番組参加システムであって、第１の技術手段におけるテレビ放送送信機と、第２乃至第６のいずれかの技術手段におけるテレビ放送受信機とから構成され、家庭で視聴している視聴者があたかも前記撮影時のセットにいるかのようにテレビ番組に参加し、前記セットにいる出演者と会話ができることを特徴としたものである。

第８の技術手段は、第７の技術手段において、前記視点映像生成用情報作成手段は、前記参加する視聴者の基準位置となる基準位置情報を生成し、前記視点情報生成手段は、前記基準位置情報と前記視聴者情報取得手段で取得した視聴者情報とに基づいて、前記参加する視聴者の前記撮影時のセットにおける仮想的な位置及び視点を算出することを特徴としたものである。

第９の技術手段は、第７の技術手段において、前記視点映像生成用情報作成手段は、前記参加する視聴者の視点を制御する視点制御情報を生成し、前記視点情報生成手段は、前記視聴者情報取得手段で取得した視聴者情報を基に算出される前記参加する視聴者の前記撮影時のセットにおける仮想的な位置及び視点に、前記視点制御情報が指定する制御を加えることを特徴としたものである。

第１０の技術手段は、映像ストリームを出力するテレビ放送送信方法であって、１つ以上の映像ストリームと、撮影時のカメラ位置情報やシナリオ情報などの撮影データを少なくとも１つ取得する番組撮影データ取得ステップと、テレビ放送受信機側において視聴者が撮影映像を複数の視点から視聴可能にする視点映像生成用情報を作成する視点映像生成用情報作成ステップと、視聴者のうち参加者の前記撮影時のセットにおける位置を規定するための位置情報を生成する位置情報生成ステップと、前記映像ストリームに前記視点映像生成用情報作成ステップで作成した視点映像生成用情報を付加して送信する放送ステップと、ネットワークを通じて前記参加者に係わる情報をやり取りする通信ステップと、前記参加者に対し仮想アバタを割り付けるための情報を持つ参加者管理ステップと、前記参加者の発話を前記撮影時のセットにおいて視聴するための参加者発話ステップと、前記参加者の姿勢などを前記撮影時のセットにおいて視聴するためのアバタ表示ステップと、を含んでなることを特徴としたものである。

第１１の技術手段は、映像ストリームと、該映像ストリームに付加された視点映像生成用情報を含む付加情報とを受信するテレビ放送受信方法であって、視聴者の少なくとも発話内容，位置，姿勢に関する情報を取得する視聴者情報取得ステップと、該取得した視聴者の情報である視聴者情報に基づいて、該視聴者の視点情報を生成する視点情報生成ステップと、前記付加情報に含まれる視点映像生成用情報と前記視点情報生成ステップで生成した視点情報とに基づいて、前記視聴者の視点として適切な映像を生成する視点映像生成ステップと、視聴者が参加者として番組に参加するための処理を行う参加処理ステップと、前記視聴者情報取得ステップで取得した前記参加者の少なくとも発話内容，姿勢を伝えるためのデータであるアバタ情報を生成するアバタ情報生成ステップと、前記番組を放送しているテレビ放送送信機とデータのやり取りを行う通信ステップと、を含んでなることを特徴としたものである。

第１２の技術手段は、第１１の技術手段において、前記視聴者情報取得ステップでは、前記視聴者の動きを検出する位置センサ、前記視聴者の視線を検出する視線カメラ、前記視点情報を入力するための入力装置のうち、少なくとも１つ以上と、さらに視聴者の発話内容を入力する入力装置とを用いて、前記視聴者情報を取得することを特徴としたものである。

第１３の技術手段は、第１１の技術手段において、前記視点情報生成ステップは、前記視聴者情報取得ステップで取得した視聴者情報と前記受信した視点映像生成情報とに基づいて、前記視聴者の前記撮影時のセットにおける仮想的な位置及び視点を算出することを特徴としたものである。

第１４の技術手段は、第１１の技術手段において、前記視点映像生成ステップは、前記視点情報生成ステップで生成した視点情報と前記受信した視点映像生成情報とに基づいて、任意視点の映像ストリームを生成することを特徴としたものである。

第１５の技術手段は、第１１の技術手段において、前記視点映像生成ステップは、前記視点情報生成ステップで生成した視点情報と前記受信した視点映像生成情報とに基づいて、複数の映像ストリームから適切な映像ストリームを選択することを特徴としたものである。

第１６の技術手段は、テレビ視聴者がテレビ番組に参加し得るブロードキャスト番組参加方法であって、第１０の技術手段におけるテレビ放送送信方法と、第１１乃至第１５のいずれかの技術手段におけるテレビ放送受信方法とを含み、家庭で視聴している視聴者があたかも前記撮影時のセットにいるかのようにテレビ番組に参加し、前記セットにいる出演者と会話ができることを特徴としたものである。

第１７の技術手段は、第１６の技術手段において、前記視点映像生成用情報作成ステップは、前記参加する視聴者の基準位置となる基準位置情報を生成し、前記視点情報生成ステップは、前記基準位置情報と前記視聴者情報取得ステップで取得した視聴者情報とに基づいて、前記参加する視聴者の前記撮影時のセットにおける仮想的な位置及び視点を算出することを特徴としたものである。

第１８の技術手段は、第１６の技術手段において、前記視点映像生成用情報作成ステップは、前記参加する視聴者の視点を制御する視点制御情報を生成し、前記視点情報生成ステップは、前記視聴者情報取得ステップで取得した視聴者情報を基に算出される前記参加する視聴者の前記撮影時のセットにおける仮想的な位置及び視点に、前記視点制御情報が指定する制御を加えることを特徴としたものである。

第１９の技術手段は、第２乃至第６のいずれかの技術手段において、さらに、前記参加者の視聴する映像の上に他の参加者のアバタを合成するアバタ画像合成手段を備えたことを特徴としたものである。

第２０の技術手段は、第２乃至第６のいずれかの技術手段において、さらに、前記アバタ情報生成手段で生成されたアバタ情報を、ネットワークを介して他の参加者が使用している当該テレビ放送受信機と同じ受信機に送信する手段を備えたことを特徴としたものである。

第２１の技術手段は、第２乃至第６のいずれかの技術手段において、さらに、前記参加者の視聴する映像の上に他の参加者のアバタを合成するアバタ画像合成手段と、前記アバタ情報生成手段で生成されたアバタ情報を、ネットワークを介して他の参加者が使用している当該テレビ放送受信機と同じ受信機に送信する手段を備えたことを特徴としたものである。

第２２の技術手段は、第２乃至第６、第１９乃至第２１のいずれかの技術手段において、さらに、参加者の視聴する映像音声に他の参加者の発話音声を合成する手段を備えたことを特徴としたものである。

第２３の技術手段は、第２乃至第６、第１９乃至第２１のいずれかの技術手段において、前記視聴者情報取得手段は、前記参加者の発話音声を他の参加者に伝えるための発話データを生成する手段を有することを特徴としたものである。

第２４の技術手段は、第２乃至第６、第１９乃至第２１のいずれかの技術手段において、さらに、参加者の視聴する映像音声に他の参加者の発話音声を合成する手段を備え、前記視聴者情報取得手段は、前記参加者の発話音声を他の参加者に伝えるための発話データを生成する手段を有することを特徴としたものである。

第２５の技術手段は、テレビ視聴者がテレビ番組に参加し得るブロードキャスト番組参加システムであって、第１の技術手段におけるテレビ放送送信機と、第２４の技術手段におけるテレビ放送受信機とから構成され、家庭で視聴している視聴者があたかも前記撮影時のセットにいるかのようにテレビ番組に参加できると同時に、前記セットにいる出演者や遠隔地に居る別の参加者と会話ができることを特徴としたものである。

第２６の技術手段は、第１１乃至第１５のいずれかの技術手段において、さらに、前記参加者の視聴する映像の上に他の参加者のアバタを合成するアバタ画像合成ステップを含むことを特徴としたものである。

第２７の技術手段は、第１１乃至第１５のいずれかの技術手段において、さらに、前記アバタ情報生成ステップで生成されたアバタ情報を、ネットワークを介して他の参加者が使用している当該テレビ放送受信方法で番組を受信している受信機に送信するステップを含むことを特徴としたものである。

第２８の技術手段は、第１１乃至第１５のいずれかの技術手段において、さらに、前記参加者の視聴する映像の上に他の参加者のアバタを合成するアバタ画像合成ステップと、前記アバタ情報生成ステップで生成されたアバタ情報を、ネットワークを介して他の参加者が使用している当該テレビ放送受信方法で番組を受信している受信機に送信するステップと、を含むことを特徴としたものである。

第２９の技術手段は、第１１乃至第１５、第２６乃至第２８のいずれかの技術手段において、さらに、参加者の視聴する映像音声に他の参加者の発話音声を合成するステップを含むことを特徴としたものである。

第３０の技術手段は、第１１乃至第１５、第２６乃至第２８のいずれかの技術手段において、前記視聴者情報取得ステップは、前記参加者の発話音声を他の参加者に伝えるための発話データを生成するステップを有することを特徴としたものである。

第３１の技術手段は、第１１乃至第１５、第２６乃至第２８のいずれかの技術手段において、さらに、参加者の視聴する映像音声に他の参加者の発話音声を合成するステップを含み、前記視聴者情報取得ステップは、前記参加者の発話音声を他の参加者に伝えるための発話データを生成するステップを有することを特徴としたものである。

第３２の技術手段は、テレビ視聴者がテレビ番組に参加し得るブロードキャスト番組参加方法であって、第１０の技術手段におけるテレビ放送送信方法と、第３１の技術手段におけるテレビ放送受信方法とを含み、家庭で視聴している視聴者があたかも前記撮影時のセットにいるかのようにテレビ番組に参加できると同時に、前記セットにいる出演者や遠隔地に居る別の参加者と会話ができることを特徴としたものである。

第３３の技術手段は、第１の技術手段において、前記映像ストリームに前記参加者のアバタを合成するアバタ画像合成手段を備えることを特徴としたものである。

第３４の技術手段は、テレビ視聴者がテレビ番組に参加し得るブロードキャスト番組参加システムであって、第３３の技術手段におけるテレビ放送送信機と、第２乃至第６、第１９乃至第２４のいずれかの技術手段におけるテレビ放送受信機とからなり、放送映像上に全ての参加者のアバタを表示可能とすることを特徴としたものである。

第３５の技術手段は、第１０の技術手段において、前記映像ストリームに前記参加者のアバタを合成するアバタ画像合成ステップを含むことを特徴としたものである。

第３６の技術手段は、テレビ視聴者がテレビ番組に参加し得るブロードキャスト番組参加方法であって、第３５の技術手段におけるテレビ放送送信方法と、第１１乃至第１５、第２６乃至第３１のいずれかの技術手段におけるテレビ放送受信方法とを含み、放送映像上に全ての参加者のアバタを表示可能とすることを特徴としたものである。

本発明によれば、双方向会話が可能で、家庭に居ながらにして番組撮影に参加したり、物語の１シーンの世界にいる気分が味わえる参加型番組を提供することが可能となる。

任意視点映像生成技術において、視点や視線についてはその意味範囲があいまいなまま使用されている。そこで、本明細書中では「視点」「視線」「視点情報」「視点制御」などの「視点」や「視線」は、そのものを表すものではなく、目の位置を表す視点と目の向きを表す視線、見ているものを表す注視点の意味を含むものとし、さらに「視点映像」など映像を表す意味で用いた場合は、そのときに目が認識するだろう映像などを表す意味を含むこととする。

図１は、本発明に係るブロードキャスト番組参加システムを説明するための図で、参加型番組の利用シーンの例としてのスタジオと家庭の様子を示す図である。図１において、２６ａ，２６ｂは参加者モニタ、２６ｃは視聴者モニタ、Ｔはタレント、ＰＡは参加者Ａの仮位置、ＰＢは参加者Ｂの仮位置、Ｄはテーブルである。

まず、本発明の理解のために簡単な利用シーンを、図１を参照して例示する。例えば、クイズ番組の様な視聴者参加型を考える。このとき、スタジオと家庭Ａ，Ｂ，Ｃの様子は図１のようになる。参加者Ａは家庭におり、番組参加用のテレビ放送受信機を使用して参加している。同様に参加者Ｂも番組参加用のテレビ放送受信機を使用して参加する。さらに視聴者Ｃは参加者Ａと参加者Ｂが参加している番組を見ているとする。また、タレントＴはスタジオにおり、参加者Ａ，Ｂがそれぞれ仮位置ＰＡ，ＰＢに居るものとして仮想アバタと会話してクイズを進行する。この例では仮想アバタは二人になっているが、切り替えにより別の参加者のアバタにできるので、仮想アバタの数は何人分でもよい。仮想アバタがどの参加者のアバタになるかはスタジオ側で操作して決定すればよい。

本発明では、仮想アバタに割り当てる参加者をスタジオ側で自由に切り替えることができる。後述するように、放送されてきたアバタ生成位置情報の割付アバタＩＤによってそこに合成される参加者のアバタが決定される仕組みなので、スタジオ側でアバタ生成用位置情報の割付アバタＩＤを切り替えることによって、参加者の切り替えが可能となる。また、複数の参加者に同じ割り付けアバタＩＤを設定することによって、同じ位置に居るように設定することもできる。この場合は、適当な参加者が選択的に合成されるような仕組みを用意すれば表示側で問題を起こさないようにできる。

図１の例では、クイズ番組であり仮想アバタは放送カメラに正対してテーブルＤで横一列に並んでいる。スタジオのタレントＴはこの仮想アバタを通して参加者と会話する。スタジオにおいて、仮想アバタの位置には何らかの目印となる物体があり、タレントＴはそれに対して会話することになる。

ここで、仮想アバタＡが参加者Ａ、仮想アバタＢが参加者Ｂに設定されていると仮定すると、タレントＴは、参加者Ａと会話するときは仮想アバタＡと会話し参加者Ｂと会話するときは仮想アバタＢと会話する。このとき、参加者Ａの参加者モニタ２６ａの画面には仮想アバタＡの位置からの映像が映されており、タレントＴが仮想アバタＡに話しかけると、あたかも自分に話しかけられたように感じる。また、参加者Ｂの参加者モニタ２６ｂの画面には仮想アバタＢの位置からの映像が映し出されており、仮想アバタＡの位置には参加者Ａのアバタが居るよう見える。そのため、タレントＴが仮想アバタＡに話しかけているときは、タレントＴが参加者Ａのアバタに話しかけているように見える。さらに、視聴者Ｃの視聴者モニタ２６ｃの画面には放送カメラから撮影された仮想アバタＡと仮想アバタＢの映っている画面が表示されている。このとき仮想アバタＡは参加者Ａのアバタに、仮想アバタＢは参加者Ｂのアバタになっており、スタジオでタレントＴが仮想アバタＡに話しかけると、視聴者ＣにはタレントＴが参加者Ａに話しかけているように見える。

本発明に係るシステムは、このように参加者Ａや参加者Ｂがまるでスタジオに居るように他の参加者からも感じられる。本発明は、参加者がスタジオに居る雰囲気を仮想的に創造し、さらに参加者のリアルタイムな応答をスタジオに返すことができるシステムを提案するものである。そのため、本発明は、本出願人による先行特許出願（特願２００４−１８９０７１号）のブロードキャスト番組参加システムに、さらにスタジオ側に主にアバタ表示手段と参加者発話，受話手段を設け、これと家庭側の受信機との間で通信を行う通信手段を追加する。

本発明は、上述の先行特許出願に係るブロードキャスト番組参加システムより、さらにスタジオに居る雰囲気を高めるために、スタジオへ参加者の応答を返すことができ、スタジオのタレント等とのやり取りや、スタジオを介した他の参加者との会話も実現可能とするブロードキャスト番組参加システムである。従って、本発明によれば、実際にスタジオに行って撮影している雰囲気やタレントと演じている雰囲気、又は物語のそのシーンの中に居る雰囲気を味わえる参加型番組を提供できる。すなわち、本発明によれば、番組中で他の参加者とのやり取りや、タレントとのやり取りが可能になるため、家庭に居ながらにしてあたかもスタジオやセット又はその物語の１シーンの世界にいるように感じられるような参加型の仮想的な番組を提供すること、さらにスタジオのタレントや他の参加者とリアルタイムに会話することを可能とする。尚、番組構成の仕方は、放送局側が本発明をどのように応用するかに係わることであり詳しくは言及しない。

図２は、本発明の一実施形態に係るテレビ放送送信機、テレビ放送受信機、及びそれらからなるブロードキャスト番組参加システムの一構成例を示す図で、図３乃至図５は、図２のテレビ放送受信機における処理例を説明するためのフロー図で、本発明の一実施形態に係るテレビ放送受信方法を説明するためのフロー図でもある。ここで、図４は視点映像生成手段２５の処理例を説明するフロー図であり、図３のうちの視点情報生成に関する処理に注目しそれをより詳しく説明しているものである。また、図５は、番組参加手続き処理の例を説明するフロー図である。また、図６（Ａ）はスタジオの座標系の一例を示す図で、図６（Ｂ）は表示装置の座標系の一例を示す図である。

図２において、１は参加型のテレビ放送送信機（以下、単に送信機という）、２は参加型のテレビ放送受信機（以下、受信機又は参加用受信機という）、３はデータ配信手段（ネットワーク）、１１は送信アンテナ、１２は放送装置、１３は番組撮影データ取得手段、１３ａは放送用カメラ、１３ｂは放送用マイク、１４は視点映像生成用情報作成手段、１４ａ，１４ｂ，１４ｃは多視点カメラ、１５は位置情報生成手段、１６は参加者管理手段、１７は参加者発話手段、１７ａ，２６ｓはスピーカ、１８はアバタ表示手段、１９，２９は通信手段、２１は受信アンテナ、２２は放送受信手段、２３は視点情報生成手段、２４は視聴者（参加者）情報取得手段、２４ａはマイク、２４ｂは参加要求ボタン、２５は視点映像生成手段、２６は参加者モニタ、２７はアバタ情報生成手段、３０は参加処理手段である。

本発明の一実施形態に係るテレビ放送送信機１、テレビ放送受信機２、及びそれらからなるブロードキャスト番組参加システムを、撮影時のセット（スタジオ等）にいるタレントＴと家庭Ａに居る参加者Ａとの対話を実現するシステムの例に挙げて、図と共に説明する。

送信機１は、送信アンテナ１１，放送装置１２，番組撮影データ取得手段１３，視点映像生成用情報作成手段１４，位置情報生成手段１５，参加者管理手段１６，参加者発話手段１７，アバタ表示手段１８，通信手段１９を備えるものとする。まず、送信機１側のこれら各構成要素について説明する。

番組撮影データ取得手段１３は、１つ以上の映像ストリームと、撮影時のカメラ位置情報やシナリオ情報などの撮影データを少なくとも１つを取得する手段であり、従来のスタジオ撮影システムでいえば、位置計測センサ付きのカメラにより撮影される映像ストリームとカメラ位置などを同時に取得する手段を指す。このような撮影システムは、ＣＧ合成のキャラクタをリアルタイムでスタジオ映像に合成する場合などに利用されるバーチャルスタジオとして実在しているので、ここでは特に説明しない。本発明の番組撮影データ取得手段１３は、さらにシナリオ情報を持っており、このシナリオに沿って撮影が行われるとする。また、番組撮影データは、生放送のデータでもよく、この場合はスタジオから送信される撮影データ全てを取得する手段が、番組撮影データ取得手段１３であると謂える。勿論、直接カメラから伝送されるデータ及びそれを取得する手段であっても、何らかの記憶媒体に格納しておきそこから取得する手段であってもよい。

番組撮影データ取得手段１３は、このように、例えば、複数視点映像放送を実現するための複数のカメラ映像や、番組全体のシナリオ情報などを保持する手段である。図２の例では、スタジオと家庭Ａでやり取りをするので、番組撮影データ取得手段１３はリアルタイムで撮影しているカメラの映像データや、リアルタイムで設定された撮影データ、シナリオ情報などに相当する。従って、ここで例示する複数のカメラ映像としては、主として映像ストリームを構成する放送用カメラ１３ａ，放送用マイク１３ｂで撮影したデータや、多視点カメラ１４ａ，１４ｂ，１４ｃで撮影したデータが該当する。

ここで、シナリオ情報とは、番組撮影データ取得手段１３に保持される番組シナリオデータである。番組の種類情報や番組の進行に係わる情報が保持されており、演劇でいうところのシナリオのように出演者の位置関係や動きのデータなどが含まれている。ここでは情報がリアルタイムに生成されるか、事前に用意されているかの区別は無い。仮想アバタの位置を算出するための元になるようなデータ（スタジオの座標系での参加者の居るべき位置など）がこの中にある。

視点映像生成用情報作成手段１４は、参加型放送受信側でスタジオなどを複数の視点からみた映像を生成するための情報（視点映像生成用情報）を作るものである。さらに、視点映像生成用情報作成手段１４では、番組撮影データのシナリオ情報より参加者の視点の基準位置となる基準位置情報と視点制御情報を生成する。ところで、スタジオなどで撮影した映像の代わりに仮想のＣＧセットの映像などを使用する場合も想定でき、このような場合は、カメラから３Ｄモデルを生成せずにＣＧセットの３Ｄモデルそのもののデータが視点映像生成用情報作成手段１４から出力されることになる。

ここで、基準位置情報は、シナリオ情報から生成される仮想アバタの位置情報である。仮想アバタが複数ある場合は複数の基準位置情報が生成される。視点制御情報とは、スタジオ側が参加者の視点を制御する場合に利用する情報で、視点や注視点の移動範囲の制限や、視点の位置や視線の方向データをクリアし参加者の位置を基準位置に戻すなどの制御を行うための情報である。視点制御情報は、視線制御情報とも謂える。

また、視点映像生成用情報とは、参加型放送送信機１の視点映像生成用情報作成手段１４と、後述する参加型放送受信機２の視点映像生成手段２５との組み合わせで実現する視点映像生成技術に関する情報であり、視点映像生成用情報作成手段１４と視点映像生成手段２５との間でやり取りする情報全般を指す。また、視点映像生成用情報作成手段１４から視点映像生成手段２５へ受け渡す情報が大きい場合、視点映像生成用情報はインデックス（例えばＵＲＬ）などであってもよく、視点映像生成手段はこれらのインデックスによって別のネットワーク上におかれている情報を引き出し、そこから視点映像を生成する手法をとってもよい。視点映像生成用情報作成手段１４と視点映像生成手段２５は、視点映像生成処理の前段と後段の関係になっている。視点映像生成処理の手法は仮想セットをＣＧで構成して実現するものや、実際にカメラの切り替えによって実現するなど、いろいろな手法が考えられる。また、視点映像生成処理の前段と後段の切り分けのポイントはなるべく送信データが少なくなるようにするなどの条件程度しかなく、実質上切り分けはどこでも行なえるものである。そのため、これらにはいろいろなパターンが考えられ、それにより視点映像生成情報は変化してしまう。そこで、本発明ではこの視点映像生成情報が何であるかは特に言及しないこととする。

例えば、多視点視点映像生成技術を使わずに、いくつかのカメラを切り替えるなどの処理を採ることを考える。この場合における視点映像生成用情報とは、複数カメラのすべての映像を圧縮した映像ストリームであることになり、視点映像生成手段２５はこの映像ストリームから適切な映像を選択することになる。

位置情報生成手段１５は、参加型放送受信側で視点映像に参加者のアバタを合成するための情報を生成する手段である。番組撮影データ取得手段１３のシナリオ情報からシナリオとして設定されている仮想アバタの位置となるアバタ生成用位置情報を算出すると同時に、同じく番組撮影データ取得手段１３にあるカメラの位置情報，画角情報，向き情報を、アバタ生成用位置情報と同じ座標系に変換する。これらの情報より参加型放送受信側で視点映像画面のどの位置にどんなアバタを表示するかを算出することができる。

ここで、アバタ生成用位置情報は、参加者が全く移動しなかった場合にアバタが存在するべき位置と向きを表した情報である。この情報はシナリオ情報から生成される。これにより視点映像画面のどの位置にアバタを表示するかを算出することができる。この情報は仮想アバタの数だけ生成され、それぞれに割り当てられた参加者が判別できるように割付アバタＩＤを付加する。

ここで、座標系の変換に関し補足する。位置情報生成手段１５は、番組撮影データ取得手段１３から撮影時のカメラの位置情報を取得し、これを基準とする座標系に変換するなどの処理を行う。番組撮影データ取得手段１３が複数のカメラの情報から構成される場合（番組撮影データ取得手段１３が複数のカメラの情報を取得する場合）は、位置情報生成手段１５は、全てのカメラの位置情報を処理して出力してもよいし、放送で流れている映像を撮影したカメラの位置情報だけを出力してもよい。ただし、ここでは、少なくとも放送されている映像のカメラの位置情報が出力されている必要がある。例えば、図６（Ａ）のように仮にスタジオの座標系を、カメラに対して前方をＺ軸、右方向をＸ軸、上方向をＹ軸とする座標系として設定し、これによりアバタの基準位置を設定したとする。このとき、位置情報生成手段１５が生成する位置情報の一例を挙げる。アバタの基準位置は、位置（Ｖｘ，Ｖｙ，Ｖｚ）で表される。また、アバタに向きがある場合はアバタ向きベクトル（Ｖθ，Ｖφ）も用意される。ここでＶθはアバタの向きベクトルがＸ軸となす角で、ＶφはＹ軸となす角である。さらに番組撮影データ取得手段１３の情報から、カメラ位置（Ｃｘ，Ｃｙ，Ｃｚ）やカメラ向きベクトル（Ｃθ，Ｃφ）、カメラ画角（θｈ，θｖ）が取り出され同じ座標系に変換されて出力される。同様に、Ｃθはアバタの向きベクトルがＸ軸となす角であり、ＣφはＹ軸となす角である。また、θｈは水平方向の画角、θｖは垂直方向の画角を表す。

放送装置１２は、従来の放送送信機の放送装置であり、デジタル放送を送信する能力をもつ装置である。一般にデジタル放送では映像ストリームにメタデータやＢＭＬデータなど映像以外の付加データとともに送信することができる。また複数の映像ストリームを一つの放送チャンネルに多重化させて送ることもできる。この仕組みを利用し、視点映像生成用情報や視点制御情報を付加データや多重ストリームとして放送する。

例えば、視点映像生成処理が３Ｄモデルを利用した任意視点切替を利用したものであれば、視点映像生成用情報である任意視点の３Ｄモデルデータを付加データとして放送する。またカメラを切り替えるだけの視点切替を利用したものであれば、番組撮影データ取得手段１３からの（同手段１３で取得した）複数の映像ストリームを多重化ストリームにして放送する。このように視点映像生成処理にて利用している視点の切り替え技術によって、放送装置１２は映像ストリームや付加データの合成の仕方が変わるが、本発明ではこれについては特に限定せず、放送装置１２は番組撮影データ取得手段１３から映像ストリームなどを、視点映像生成用情報作成手段１４から視点映像生成用情報と視点制御情報などを入力し、それらを付加データや多重化ストリーム化してブロードバンド番組を受信機に送信する装置であるとする。

通信手段１９は、参加型放送受信機２と通信を行うための手段である。ここでは、参加者管理情報，参加者発話データ，アバタ情報などをデータ配信手段（ネットワーク）３を通じてやり取りする。

参加者発話手段１７は、参加者が会話した音声や入力したテキストなどをスタジオ側に提示する手段であり、参加者の会話内容をスタジオのタレントに知らせるなどの処理を行う。参加型放送受信機２の参加者情報取得手段２４から送られてきた参加者の音声やテキスト等からなる参加者発話データを再生したり表示したりする。図２では、スピーカ１７ａを使用してスタジオに居るタレントに参加者の発話を聞かせている。仮想アバタの位置にスピーカ１７ａを配置してその音をタレントに聞かせるなどの工夫も考えられる。

ここで、参加者発話データとは、参加者が発言した内容のデータであり、音声データでもテキストデータでもよい。これらのデータは、参加型放送受信機２の参加者情報取得手段２４における発話内容（音声，文字など）を伝えるための入力装置で生成され、参加者発話手段１７にて音声データや表示テキストにされて出力される。音声をテキスト化する機能やテキストを音声化する機能などによりデータの性質が変わる場合もある。

参加者管理手段１６は、番組への参加受付処理を行う手段と参加者の情報（参加者管理情報）を保持する手段を有し、参加者と仮想アバタとを割り付ける機能を持つ。割り付けは参加者からの要求にスタジオ側が応答することで行われる。参加型放送受信機２から参加要求データが送られてきた場合、スタジオが参加に応じた場合には、空いている仮想アバタを探し出し、その仮想アバタを表す割付アバタＩＤを付けて参加応答コマンドを返す。参加希望者を参加させるかどうかはスタジオ側の管理者により判定されるべきであろうが、それは運用の仕方によるので本発明では特に言及しない。

ここで、参加者管理情報とは、参加者管理手段１６に保持されている情報である。どの仮想アバタがどの参加者に割り当てられているのかを表しているものであり、参加者管理情報の１つに参加要求情報というものがある。

アバタ表示手段１８は、参加型放送受信機２から送られてきたアバタ情報から参加者のアバタを再生・表示する手段であり、タレントに参加者の姿勢や動き表情を伝えるための装置である。図２では特に表示手段は図示していないが、仮想アバタの位置に人形を配置し、その人形をアバタ情報に従って動作させるなどの工夫が考えられる。

一方、視聴者側の受信機２は、受信アンテナ２１，放送受信手段２２，視点情報生成手段２３，視聴者情報取得手段２４，視点映像生成手段２５，参加者モニタ２６，アバタ情報生成手段２７，通信手段２９，参加処理手段３０を備えるものとする。以下に、受信機２側のこれら各構成要素について説明する。尚、視聴者情報取得手段２４は、実際に視聴者のうちの参加者の情報を取得する手段であり、以下、参加者情報取得手段２４と呼ぶ。

放送受信手段２２は、従来の放送受信機であり、放送装置１２が発信した放送ストリーム（映像ストリームや付加データ）を受信する。本発明における放送受信手段２２は、放送装置１２により放送された映像ストリームや付加データを受信し、受信ストリームのうち視点位置を決めるための視点制御情報を視点情報生成手段２３に、視点映像生成用情報と映像ストリームを視点映像生成手段２５に、それぞれ送るなどの役割をもつ。

参加者情報取得手段２４は、参加者の映像・音声情報や状態情報など、少なくとも発話内容，位置，姿勢に関する情報（視聴者情報若しくは参加者情報という）を取得するためにセンシングや入力を行う手段である。参加者情報取得手段２４は、視聴者の動きを検出する位置センサ、視聴者の視線を検出する視線カメラ、視点情報を入力するための入力装置のうち、少なくとも１つ以上と、さらに視聴者の発話内容を入力する入力装置とを用いて、視聴者情報を取得することが好ましい。また、ここでは、表情に関する情報も取得することが好ましい。また、入力に関し、マイク２４ａ等による音声入力やキーボードによるテキスト入力などから、参加者の会話となる参加者発話データを生成する。さらに、参加者情報取得手段２４には、参加型番組に参加するための参加要求ボタン２４ｂがあり、これは参加処理手段３０により監視されている。尚、参加要求ボタン２４ｂは具体的にボタンそのものである必要は無い。その他、参加者の位置を把握するための位置センサや参加者の表情や視線を読み取るための表情センサなどがある。尚、後述のアバタ情報生成手段２７においては、この表情センサなどを使用するとよい。

視点情報生成手段２３は、参加者の映像・音声情報や状態情報などを取得する参加者情報取得手段２４から情報を得て、参加者に提示するべき映像の視点情報を生成する手段である。視点情報生成手段２３は、参加者の向き，移動量などの情報を保持しており、参加者の指示又は動作をセンサ類によりとらえ、これを更新する。さらに、視点情報生成手段２３は放送受信手段２２から得た視点制御情報や基準位置情報と参加者の向き，移動量などの情報を合成し（向きは角度の足し算、位置は位置＋移動量で合成）、視点情報を生成する。視点情報生成手段２３は、生成した視点情報を視点映像生成手段２５に送る。また、仮想アバタが複数個ある場合には視点制御情報や基準位置情報が複数存在するので、そのような場合には、参加処理手段３０の割付アバタＩＤによりどの情報を使用するかを判定する。

視点映像生成手段２５は、視点情報生成手段２３から得た視点情報と視点映像生成用情報や映像ストリームなどから参加者に表示するべき視点の映像を生成し、参加者モニタ２６に出力する。

ここで、視点映像生成技術について説明する。視点映像生成技術とは、参加者がスタジオに居てスタジオを見回している雰囲気を感じられるようにする技術であり、複数の視点の映像を生成するものである。本発明においては、生成する複数の視点は参加型番組のために用意された複数のカメラの映像そのものであるかもしれないし、複数のカメラ映像から生成された仮想的な視点の映像であるかもしれない。例えば、画像の認識・理解シンポジウム（ＭＩＲＵ２０００）の論文“多視点映像の融合によるスポーツシーンの自由視点映像生成”（２０００ Ｊｕｌｙ）のように、複数のカメラ映像をもとに任意の視点からの映像を生成できる技術が実際に存在するので、これを利用することも考えられる。そこで、図２ではこの多視点映像生成技術を利用しているとする。

任意視点映像生成の手法はいくつもあるが、例えば３Ｄモデルを使用する手法では、複数のカメラの映像から撮影対象を３Ｄモデル化し、３次元空間内に配置するという処理を行う。さらに、その３Ｄモデル表面にカメラ映像から適切な映像を貼り付けて、その３Ｄ空間を再度２次元映像に変換し直すことで、任意視点からの映像を生成するという流れをとる。このような場合、視点映像生成用情報作成手段１４は複数のカメラを有し、例えば、これらのカメラ映像から３Ｄモデルを生成するまでの処理を行い、３Ｄモデルとその表面色、３Ｄ空間上の位置などの情報を視点映像生成用情報とすることができる。そうすると、視点映像生成手段２５では、それらの情報から表面色が設定された３Ｄモデルを３Ｄ空間に配置し、射影変換することで２次元映像を生成することになる。

また、上述した複数の視点を自由に切り替える方法は、参加者が参加者情報取得手段２４の例としてのセンサ類に用意されたスイッチなどを操作して明示的に切り替えてもよいし、同じく参加者情報取得手段２４に用意されている位置センサや視線センサによって参加者の動きを捉えて切り替えるのでもよい。例えば、位置センサにより参加者の位置を測定すれば、参加者が移動するとそれに連れて参加者モニタ２６に表示されるスタジオ内部の映像も移動させることができる。さらに、番組撮影データ取得手段１３のシナリオ情報によって参加者の基準位置情報を定義すると、参加者情報取得手段２４により取得された参加者の移動量はこの基準位置からの相対的な移動量に対応するよう処理される。そこで、基準位置情報を仮想アバタＡの位置に一致するよう設定し、自由視点映像生成を利用すれば、参加者Ａはスタジオの中で仮想アバタＡの位置に居るように感じることができる様になり、さらに、多視点映像生成技術により参加者Ａはスタジオ内を見回すことができるようになる。

参加処理手段３０は、参加者が参加型放送に参加するために必要な処理を行う手段であり、視聴者が参加者として番組に参加するためのネゴシェーションを実行する手段、及び参加時のＩＤを保持するための手段である。図２の例では、参加処理手段３０は、参加者情報取得手段２４における参加要求ボタン２４ｂを監視し、ボタン２４ｂの押下があった場合には通信手段２９を介して、参加型放送送信機１の参加者管理手段１６に参加要求コマンドを送る。参加者管理手段１６からの参加応答コマンドが成功であれば、その応答に含まれる割付アバタＩＤを記憶する。割付アバタＩＤは、アバタ情報生成手段２７や視点情報生成手段２３に送られ、そこで利用される。

アバタ情報生成手段２７は、参加者情報取得手段２４からの参加者の位置情報などを元にアバタの形状とアバタの相対位置を算出する手段である。ここで、アバタの相対位置とはアバタ生成用位置情報と実際に表示する位置情報とのオフセットを表す。アバタ情報生成手段２７は、視点情報生成手段２３と同様に参加者の向き，移動量などの情報を保持していて、参加者の指示又は動作をセンサ類等の参加者情報取得手段２４によりとらえ、これを更新するか、又は視点情報生成手段２３での情報を利用してアバタの相対位置を決定する。

尚、アバタとは、参加者を分身で表現したもので、参加者が事前に選択したアニメーションキャラクタのようなものや、ビデオアバタのような参加者の身体をモデル化して表したものである。アバタは、いろいろな形態が考えられ、参加者が存在することを表す単なるマークである場合もあるし、また、参加者情報取得手段２４のセンサ類により参加者の表情や行動を取得し、それに合わせて変化するものもある。アバタは参加者の分身として番組映像中に表示され、参加者はそれを見ることにより自身が番組に参加している印象を得ることができる。

ここで、アバタの形状は、センサ類により参加者の姿勢をセンシングすることにより決定する。従って、参加者は、アバタをスイッチや参加者位置センサなどの参加者情報取得手段２４を通して制御する。アバタは、参加者に明示的に制御されるだけではなく、参加者の変化や動きをセンサが捉え、その値によりアバタが動作することもある。例えば、参加者が右手を上げているならば、右手の上がったアバタを生成する。悲しい顔をしていれば、悲しい顔をしたアバタを生成するとよい。また、アバタは番組製作者の意図により制御されることもあり得る。参加者が泣いていなくてもスタジオからの命令により泣き顔になったりしてもよい。このアバタの形状とアバタの相対位置に関する情報やアバタのモデル情報などアバタを描画するのに必要な情報を、総称してアバタ情報と呼ぶ。アバタ情報生成手段２７は、これらのアバタ情報を全て生成する。

本実施形態では、このアバタ情報を、ネットワーク３を通じて他の受信機（図２の受信機２と同等のもの）や送信機１に送る。送信機１や他の受信機では、この情報に従い視点映像の仮想アバタの位置にアバタを描画する。尚、この点は、図７及び図８を参照して他の実施形態で後述する。アバタ情報には、上述した情報に加え、割付アバタＩＤを参加処理手段から得て、これに付加する。これは、仮想アバタが複数存在するような場合に、どの仮想アバタにこのアバタ情報を割り付けるべきであるかを知らせるためである。

従って、アバタ情報とは、視点映像画面に表示するアバタ画像を生成するためのアバタの形状データを指す。アバタの形状は参加者情報取得手段２４によって、参加者の体勢や動きをセンシングすることにより決定される。また、アバタ情報には割付アバタＩＤが含まれており、これはどの仮想アバタに対してのアバタ情報であるかを示す。

ここで、割付アバタＩＤとは、参加型放送に参加している参加者が、どの仮想アバタに割り付けられているかを表すＩＤである。１つのＩＤに仮想アバタが１つ割り当てられており、同じように参加者一人一人に別々の割付アバタＩＤが割り付られる。割り付け処理は、参加者管理手段１６が行う。

通信手段２９は、参加型放送送信機１と通信を行うための手段である。通信手段２９では、参加者管理情報，参加者発話データ，アバタ情報などをネットワーク３を通じて送受信する。

参加者モニタ２６は、視点映像生成手段２５が生成した映像を表示するモニタ装置である。図２では、参加者Ａはこの参加者モニタ２６を見ることでスタジオに居るような雰囲気を味わえる。ここでいうモニタは、通常のＣＲＴ，ＬＣＤ，ＰＤＰ等のモニタのように視聴するものには特に限定せず、参加者を３６０度囲うようなモニタでもよいし、全天型のモニタなどでもよい。参加者がスタジオに居る雰囲気を味わうためには、十分に参加者の視界を覆えるほどの大きさがあると好ましい。

また、データ配信手段（ネットワーク）３は、インターネットなどのネットワークで構成され、参加型放送送信機１と参加型放送受信機２とを通信手段１９，２９を介して結び付けている。データ配信手段３で配信されるデータは、参加者管理情報，参加者発話データ，アバタ情報などで、基本的に受信機側から発信される。ただし、参加者管理情報の参加応答コマンドだけは逆向きとなる。参加者発話データやアバタ情報は、受信機２から別の参加者の受信機と送信機１にブロードキャスト配信される場合もある。それに対して参加者管理情報は、１つの受信機２と送信機１の間で通信される。

上述のごとき構成による参加用受信機２における動作フローを、図３乃至図５を参照して説明する。チャンネルを指定して番組を受信すると（ステップＳ１）、受信機２は、映像ストリームのタグ情報から、その放送が参加型番組であるかどうかを知る（ステップＳ２）。もし参加型番組であれば、参加番組視聴モードとなる（ステップＳ４）。視聴者は、参加する場合、参加要求ボタンを押下することで、参加型番組に参加する（ステップＳ５でＹＥＳ）。一方で、ステップＳ２において参加型番組でなければ、通常視聴の処理を行う（ステップＳ３）。

ステップＳ４でＹＥＳの場合、番組参加手続き処理が行われる（ステップＳ６）。ステップＳ６において参加番組への参加が承認されると、受信機２は参加者情報取得手段２４（センサ類等），視点情報生成手段２３，アバタ情報生成手段２７の初期化を行う（ステップＳ７）。ここで、視点情報生成手段２３やアバタ情報生成手段２７においては、参加者（参加表明した後の視聴者）の位置，向き，移動量などの内部データを初期化する。その後、放送ストリームから、視点映像生成用情報と視点制御情報や基準位置情報を取り出し（ステップＳ８）、視点制御情報や基準位置情報とセンサ類等で取得した参加者情報とから、現在の視点（視聴点）を算出して視点情報を決定し（ステップＳ９）、その視点情報と視点映像生成用情報とから、指定された視点からの映像を生成し（ステップＳ１０）、生成した視聴点における映像を参加者モニタ２６に表示する（ステップＳ１１）。そして、番組が終了したか否かを判定し（ステップＳ１２）、終了していなければステップＳ８に戻る。また、参加者がモニタ２６の前で動作すると、その動作をセンサ類で感知し、参加者の位置や向き、移動量などを想定しその変化に応じて視聴点を変化させる。この視点の変化によって、参加者がモニタ２６を通してスタジオを覗き込んでいるように映像を動作させれば、参加者はあたかもスタジオに居るように感じることができる。

ここで、視点情報生成手段２３における視点情報生成処理を、図４を参照して詳細に説明する。このフローの開始は、参加表明してそれが承認されたところから始まる。番組への参加が開始されると、センサ類の反応により参加者の位置や向き・移動量を変化させ、放送されてきた自分の割当アバタＩＤに相当する視点制御情報や基準位置情報とその値を合成し、視線情報を生成する。

まず、参加者の位置，向き，移動量を初期化する（ステップＳ２１）。ステップＳ２１における処理は、図３のステップＳ７に対応するものである。そして、参加者情報（センサ類の計測値など）によって参加者の位置，向き，移動量を変化させ（ステップＳ２２）、視点制御情報，基準位置情報と、参加者の位置，向き，移動量とを合成する（ステップＳ２３）。そして、視点情報を視点映像生成手段２５に送信する（ステップＳ２４）。番組が終了していなければ（ステップＳ２５でＮＯ）、ステップＳ２２に戻り、終了した時点で（ステップＳ２５でＹＥＳ）、視点情報生成処理を終了する。

次に、主として参加処理手段３０，参加者管理手段１６で実行される番組参加手続き処理を、図５を参照して詳細に説明する。参加型番組の場合、参加者は参加表明するために参加要求ボタン２４ｂを押下する。尚、参加要求ボタン２４ｂは、仮にボタンとしているが、実在のボタンでなくてもよく、音声で参加するなど入力するのでもよい。参加要求ボタン２４ｂが押下されると（ステップＳ３１）、参加処理手段３０は、参加要求コマンドを通信手段２９（，ネットワーク３，通信手段１９）を通して参加者管理手段１６に送信する（ステップＳ３２）。参加者管理手段１６は、スタジオの意向により参加が認められた場合は、空いている割付アバタＩＤを参加応答コマンドとともに返す。参加型番組受信機２は、この応答コマンドが返るまで応答待ちとなる（ステップＳ３３）。応答があった場合（ステップＳ３３でＹＥＳ）、参加に成功したかを判定する（ステップＳ３４）。ステップＳ３４では、割付アバタＩＤの返信により参加に成功したと判定する。

首尾よく参加に成功すると（ステップＳ３４でＹＥＳ）、参加処理手段３０は送られてきた割付アバタＩＤを保存する（ステップＳ３５）。そして、番組が終了していなければ（ステップＳ３６でＮＯ）、終了を待って終了した時点で（ステップＳ３６でＹＥＳ）、割付アバタＩＤをクリアし（ステップＳ３７）、番組参加手続き処理を終了する。ステップＳ３７に関し、番組が終了すると割付アバタＩＤは無意味になり、次の参加型番組で割付アバタＩＤを得るまでこの値はクリアされる。

本実施形態によれば、双方向会話が可能で、家庭に居ながらにして参加者があたかもスタジオに居るかのような視線で番組撮影に参加したり、物語の１シーンの世界にいる気分が味わえる参加型番組を提供することが可能となる。この参加型番組は、家庭に居ながらにして、実際にスタジオやセットに行って撮影している雰囲気やタレントと演じている雰囲気、又は物語のそのシーンの中に居る雰囲気を味わうことができるものである。

図７は、本発明の他の実施形態に係るテレビ放送受信機の一構成例を示す図で、図８は、図７のテレビ放送受信機における処理例のうちのアバタ情報生成処理を説明するためのフロー図である。図７において、４ａ，４ｂは参加用受信機、２８はアバタ画像合成手段、２６ａ，２６ｂは参加者モニタであり、図２と同様の構成要素には同じ符号を付し、基本的にその説明を省略する。

図７及び図８で説明する本発明の他の実施形態に係るブロードキャスト番組参加システムは、家庭Ａに居る参加者Ａと家庭Ｂに居る参加者Ｂとの対話を実現するシステムである。このため、本実施形態に係るシステムにおける受信機４ａ，４ｂは、図２乃至図６で説明した実施形態における受信機２の構成に、アバタ画像合成手段２８を備えるものとする。尚、図７において、家庭Ａに存在する部分を参加型放送受信機Ａ（４ａ）、家庭Ｂに存在する部分を参加型放送受信機Ｂ（４ｂ）と総称するが、参加型放送受信機４ａと参加型放送受信機４ｂとは全く同じ構成のものであり、特にＡ、Ｂと付加しない場合は参加型放送受信機そのものを指すこととする。

アバタ画像合成手段２８は、視点映像に別の参加者のアバタの画像を合成する手段である。アバタ画像合成手段２８では、アバタ情報からアバタ画像を生成するアバタ画像生成処理も行う。アバタ情報は、別の参加者の参加型放送受信機のアバタ情報生成手段２７から、通信手段２９を通じて得る。例えば、参加型放送受信機Ｂ（４ｂ）のアバタ画像合成手段２８は、参加型放送受信機Ａ（４ａ）のアバタ情報生成手段２７から参加者Ａのアバタ情報を得て、参加者Ｂの視点映像に参加者Ａのアバタ画像を合成する処理を行う。この処理は、参加者Ｂの視点映像の範囲（つまり視界）に参加者Ａの仮想アバタが存在している場合に実行される。参加者Ａのアバタ画像を合成する位置は、視点映像生成手段２５から得たアバタ位置生成用情報に基づくものとする。

また、アバタ画像合成手段２８において、別の参加者の音声を映像の音声に合成する処理も行うようにしてもよい。

本実施形態に係る視点映像生成手段２５では、視点映像の生成と同時に、他の参加者のアバタをアバタ画像合成手段２８で合成できるようにアバタ生成用位置情報を加工し、アバタ画像合成手段２８に出力する。アバタ生成用情報は参加者の向き，移動量の情報に基づきアバタ画像合成手段２８でアバタをどこに合成するべきかが算出できるようなデータに加工される。

次に、参加者Ａと参加者Ｂが会話する機能の処理の流れを説明する。
参加型放送受信機Ａ（４ａ）の参加者情報取得手段２４では、図２乃至図６で説明した実施形態のごとく参加者発話データが生成される。このデータは、アバタ情報とともに参加型放送送信機に送られるのと同時に、同じ番組に参加している他の参加型放送受信機にも送信される。つまり、参加型放送受信機Ｂ（４ｂ）にも参加者Ａからの参加者発話データが送られてくる。受信機Ｂ（４ｂ）における通信手段２９は、このデータを受信すると、その他の参加者の発言として参加者発話データとスタジオ音声を合成しスピーカ２６ｓに出力する。

次に、参加型放送受信機Ｂ（４ｂ）において、参加者Ａの仮想アバタのアバタ情報と位置情報を割り付ける仕組みについて説明する。

参加者Ａのアバタ情報は、ネットワーク３を通じて参加型放送受信機Ｂ（４ｂ）のアバタ画像合成手段２８に送られてくる。このアバタ情報には参加者Ａの割付アバタＩＤが付加されている。同時に視点映像生成手段２５には、放送受信手段２２などを通じて図２乃至図６で説明した参加型放送送信機より、アバタ生成用位置情報が加工されて送られてくる。これにも割付アバタＩＤが付加されている。ここで、参加者Ａの仮想アバタの位置や形状を示すアバタ生成用位置情報とアバタ情報は、同じ割付アバタＩＤを持つようになっている。そのため、アバタ画像合成手段２８では、同じ割付アバタＩＤをもつアバタ生成用位置情報とアバタ情報を使用して、視点映像上に表示すべきアバタ形状とアバタの表示位置を決定するだけでよい。

ここで、アバタ情報生成手段２７におけるアバタ情報生成処理を、図８を参照して詳細に説明する。このフローは参加型番組に参加者が参加したところから始まる。まず、参加者の位置，向き，移動量を初期化する（ステップＳ４１）。そして、送られてきた放送ストリームからアバタ生成用位置情報を取り出す（ステップＳ４２）。次に、アバタ生成用位置情報を、参加者情報（センサ類の計測値など）に基づくアバタの位置，向き，移動量から変換することで、アバタ形状（アバタ画像）と相対位置（アバタ表示位置情報）を生成する（ステップＳ４３）。最後に、ステップＳ４３で生成した情報（アバタ形状と相対位置の情報）を参加処理手段３０から得た参加者の割付アバタＩＤとともに、同じ参加型番組を視聴している別の参加者へ送信する（ステップＳ４４）。番組が終了していなければ（ステップＳ４５でＮＯ）、ステップＳ４２に戻り、終了した時点で（ステップＳ４５でＹＥＳ）、アバタ情報生成処理を終了する。

本実施形態によれば、図２乃至図６で説明した実施形態の効果に加え、アバタを介して他の参加者に自分の姿を見てもらう楽しみを伴う参加型番組の提供が可能となる。

図９は、本発明の他の実施形態に係るテレビ放送送信機、テレビ放送受信機、及びそれらからなるブロードキャスト番組参加システムの一構成例を示す図で、図中、５は送信機、６は視聴用受信機、３１は放送Ｂを送信する送信アンテナ、３２は放送Ｂを放送する放送装置、３４はアバタ画像合成手段、２６ｃは視聴者モニタ、ＰＡ_１，ＰＡ_２は参加者の仮位置、Ａ_１，Ａ_２は参加者のアバタであり、図１，図２，図７と同様の構成要素には同じ符号を付し、基本的にその説明を省略する。

図９で説明する本発明の他の実施形態に係るブロードキャスト番組参加システムは、参加型番組を番組に参加していない視聴者から見ることができるシステムである。このため、本実施形態に係るシステムにおける送信機５は、図２乃至図６で説明した実施形態における送信機１の構成に、放送映像生成手段３３，アバタ画像合成手段３４，放送装置３２，送信アンテナ３１を備えるものとする。尚、図９において、参加型番組送信機５と家庭Ｃにある通常の放送受信機６しか記載していないが、これらの他に、図２乃至図６で説明した実施形態における参加型番組受信機２や、図７及び図８で説明した実施形態における参加型番組受信機４ａ，４ｂがあるものとする。

放送映像生成手段３３は、映像ディレイ調整手段とも謂え、番組撮影データ取得手段１３から放送にのせるべき映像を選択する。この映像は、例えば図９中の放送用カメラ１３ａで撮影した映像などになる。さらに、放送映像生成手段３３では、放送用カメラ１３ａの座標データを視点として、それぞれの仮想アバタのアバタ生成用位置情報を演算し、アバタを合成する位置が算出できる座標データを、アバタ画像合成手段３４に出力する。また、同時に放送用の映像をアバタ画像合成手段３４に出力する。

アバタ画像合成手段３４は、図７におけるアバタ画像合成手段２８と同じ機能をもつ手段である。放送映像生成手段３３から加工されたアバタ生成位置情報，割付アバタＩＤと参加型放送受信機（受信機２，４ａ，４ｂ等）から通信手段を通じて送られてきたアバタ情報・割付アバタＩＤを結びつけて、参加者のアバタ画像を放送用映像に合成する。つまり、それぞれの仮想アバタの位置にそれぞれの参加者のアバタ画像を合成する処理を行う。また、アバタ画像合成手段３４では、参加者発話手段１７が合成した参加者の発話内容を放送音声と合成する処理も行う。

放送装置Ｂ（３２）は、アバタ画像合成手段３４で生成した映像を通常の放送にのせ、送信アンテナ３１から送信するための放送装置であり、従来の放送装置そのものである。放送装置Ｂ（３２）は放送装置３２の機能を使用して実現するのでも良い。（アンテナについても同じ）

このようなシステムを利用すれば、参加者Ａ、Ｂが参加している番組を視聴している視聴者Ｃに放送Ｂの映像を提示することができる。放送Ｂの映像はアバタ画像合成手段３４の出力映像であり、スタジオにおける参加者の仮位置ＰＡ_１，ＰＡ_２に、Ａ_１，Ａ_２の参加者のアバタを参加者情報に基づき合成した映像である。そのため、参加者ＡやＢの状態によってアバタＡ_１，Ａ_２の位置や表情が変化し、あたかも参加者Ａ、Ｂが番組に参加している様に番組を見ることができる。
このように、図９のごときシステムを利用すれば、視聴者Ｃは通常の放送受信手段２２をもつ受信機６を使用して参加型番組放送を視聴することができる。

本実施形態によれば、図２乃至図６で説明した実施形態の効果に加え、アバタを介して他の参加者，視聴者に自分の姿を見てもらう楽しみを伴う参加型番組の提供が可能となる。従って、多人数の人間がこのシステムを利用して同時に参加型番組を楽しむことも可能となる。

本発明に係るブロードキャスト番組参加システムを説明するための図である。 本発明の一実施形態に係るテレビ放送送信機、テレビ放送受信機、及びそれらからなるブロードキャスト番組参加システムの一構成例を示す図である。 図２のテレビ放送受信機における処理例を説明するためのフロー図である。 図２のテレビ放送受信機における処理例を説明するためのフロー図である。 図２のテレビ放送受信機における処理例を説明するためのフロー図である。 スタジオ及び表示装置の座標系の一例を示す図である。 本発明の他の実施形態に係るテレビ放送受信機の一構成例を示す図である。 図７のテレビ放送受信機における処理例のうちのアバタ情報生成処理を説明するためのフロー図である。 本発明の他の実施形態に係るテレビ放送送信機、テレビ放送受信機、及びそれらからなるブロードキャスト番組参加システムの一構成例を示す図である。

符号の説明

１，５…送信機、２，４ａ，４ｂ…参加用受信機、３…データ配信手段（ネットワーク）、６…視聴用受信機、１１，３１…送信アンテナ、１２，３２…放送装置、１３…番組撮影データ取得手段、１３ａ…放送用カメラ、１３ｂ…放送用マイク、１４…視点映像生成用情報作成手段、１４ａ，１４ｂ，１４ｃ…多視点カメラ、１５…位置情報生成手段、１６…参加者管理手段、１７…参加者発話手段、１７ａ，２６ｓ…スピーカ、１８…アバタ表示手段、１９，２９…通信手段、２１…受信アンテナ、２２…放送受信手段、２３…視点情報生成手段、２４…視聴者情報取得手段（参加者情報取得手段）、２４ａ…マイク、２４ｂ…参加要求ボタン、２５…視点映像生成手段、２６，２６ａ，２６ｂ…参加者モニタ、２６ｃ…視聴者モニタ、２７…アバタ情報生成手段、２８，３４…アバタ画像合成手段、３０…参加処理手段。

Claims (36)

1. 映像ストリームを出力するテレビ放送送信機であって、１つ以上の映像ストリームと、撮影時のカメラ位置情報やシナリオ情報などの撮影データを少なくとも１つ取得する番組撮影データ取得手段と、テレビ放送受信機側において視聴者が撮影映像を複数の視点から視聴可能にする視点映像生成用情報を作成する視点映像生成用情報作成手段と、視聴者のうち参加者の前記撮影時のセットにおける位置を規定するための位置情報を生成する位置情報生成手段と、前記映像ストリームに前記視点映像生成用情報作成手段で作成した視点映像生成用情報を付加して送信する放送装置と、ネットワークを通じて前記参加者に係わる情報をやり取りする通信手段と、前記参加者に対し仮想アバタを割り付けるための情報を持つ参加者管理手段と、前記参加者の発話を前記撮影時のセットにおいて視聴するための参加者発話手段と、前記参加者の姿勢などを前記撮影時のセットにおいて視聴するためのアバタ表示手段と、を備えたことを特徴とするテレビ放送送信機。
2. 映像ストリームと、該映像ストリームに付加された視点映像生成用情報を含む付加情報とを受信するテレビ放送受信機であって、視聴者の少なくとも発話内容，位置，姿勢に関する情報を取得する視聴者情報取得手段と、該視聴者情報取得手段で取得した視聴者の情報である視聴者情報に基づいて、該視聴者の視点情報を生成する視点情報生成手段と、前記付加情報に含まれる視点映像生成用情報と前記視点情報生成手段で生成した視点情報とに基づいて、前記視聴者の視点として適切な映像を生成する視点映像生成手段と、視聴者が参加者として番組に参加するための処理を行う参加処理手段と、前記視聴者情報取得手段で取得した前記参加者の少なくとも発話内容，姿勢を伝えるためのデータであるアバタ情報を生成するアバタ情報生成手段と、前記番組を放送しているテレビ放送送信機とデータのやり取りを行う通信手段と、を備えたことを特徴とするテレビ放送受信機。
3. 前記視聴者情報取得手段は、前記視聴者の動きを検出する位置センサ、前記視聴者の視線を検出する視線センサ、前記視点情報を入力するための入力装置のうち、少なくとも１つ以上と、さらに視聴者の発話内容を入力する入力装置とを用いて、前記視聴者情報を取得することを特徴とする請求項２に記載のテレビ放送受信機。
4. 前記視点情報生成手段は、前記視聴者情報取得手段で取得した視聴者情報と前記受信した視点映像生成情報とに基づいて、前記視聴者の前記撮影時のセットにおける仮想的な位置及び視点を算出することを特徴とする請求項２に記載のテレビ放送受信機。
5. 前記視点映像生成手段は、前記視点情報生成手段で生成した視点情報と前記受信した視点映像生成情報とに基づいて、任意視点の映像ストリームを生成することを特徴とする請求項２に記載のテレビ放送受信機。
6. 前記視点映像生成手段は、前記視点情報生成手段で生成した視点情報と前記受信した視点映像生成情報とに基づいて、複数の映像ストリームから適切な映像ストリームを選択することを特徴とする請求項２に記載のテレビ放送受信機。
7. テレビ視聴者がテレビ番組に参加し得るブロードキャスト番組参加システムであって、請求項１に記載のテレビ放送送信機と、請求項２乃至６のいずれか１項に記載のテレビ放送受信機とから構成され、家庭で視聴している視聴者があたかも前記撮影時のセットにいるかのようにテレビ番組に参加し、前記セットにいる出演者と会話ができることを特徴とするブロードキャスト番組参加システム。
8. 前記視点映像生成用情報作成手段は、前記参加する視聴者の基準位置となる基準位置情報を生成し、前記視点情報生成手段は、前記基準位置情報と前記視聴者情報取得手段で取得した視聴者情報とに基づいて、前記参加する視聴者の前記撮影時のセットにおける仮想的な位置及び視点を算出することを特徴とする請求項７に記載のブロードキャスト番組参加システム。
9. 前記視点映像生成用情報作成手段は、前記参加する視聴者の視点を制御する視点制御情報を生成し、前記視点情報生成手段は、前記視聴者情報取得手段で取得した視聴者情報を基に算出される前記参加する視聴者の前記撮影時のセットにおける仮想的な位置及び視点に、前記視点制御情報が指定する制御を加えることを特徴とする請求項７に記載のブロードキャスト番組参加システム。
10. 映像ストリームを出力するテレビ放送送信方法であって、１つ以上の映像ストリームと、撮影時のカメラ位置情報やシナリオ情報などの撮影データを少なくとも１つ取得する番組撮影データ取得ステップと、テレビ放送受信機側において視聴者が撮影映像を複数の視点から視聴可能にする視点映像生成用情報を作成する視点映像生成用情報作成ステップと、視聴者のうち参加者の前記撮影時のセットにおける位置を規定するための位置情報を生成する位置情報生成ステップと、前記映像ストリームに前記視点映像生成用情報作成ステップで作成した視点映像生成用情報を付加して送信する放送ステップと、ネットワークを通じて前記参加者に係わる情報をやり取りする通信ステップと、前記参加者に対し仮想アバタを割り付けるための情報を持つ参加者管理ステップと、前記参加者の発話を前記撮影時のセットにおいて視聴するための参加者発話ステップと、前記参加者の姿勢などを前記撮影時のセットにおいて視聴するためのアバタ表示ステップと、を含んでなることを特徴とするテレビ放送送信方法。
11. 映像ストリームと、該映像ストリームに付加された視点映像生成用情報を含む付加情報とを受信するテレビ放送受信方法であって、視聴者の少なくとも発話内容，位置，姿勢に関する情報を取得する視聴者情報取得ステップと、該取得した視聴者の情報である視聴者情報に基づいて、該視聴者の視点情報を生成する視点情報生成ステップと、前記付加情報に含まれる視点映像生成用情報と前記視点情報生成ステップで生成した視点情報とに基づいて、前記視聴者の視点として適切な映像を生成する視点映像生成ステップと、視聴者が参加者として番組に参加するための処理を行う参加処理ステップと、前記視聴者情報取得ステップで取得した前記参加者の少なくとも発話内容，姿勢を伝えるためのデータであるアバタ情報を生成するアバタ情報生成ステップと、前記番組を放送しているテレビ放送送信機とデータのやり取りを行う通信ステップと、を含んでなることを特徴とするテレビ放送受信方法。
12. 前記視聴者情報取得ステップでは、前記視聴者の動きを検出する位置センサ、前記視聴者の視線を検出する視線カメラ、前記視点情報を入力するための入力装置のうち、少なくとも１つ以上と、さらに視聴者の発話内容を入力する入力装置とを用いて、前記視聴者情報を取得することを特徴とする請求項１１に記載のテレビ放送受信方法。
13. 前記視点情報生成ステップは、前記視聴者情報取得ステップで取得した視聴者情報と前記受信した視点映像生成情報とに基づいて、前記視聴者の前記撮影時のセットにおける仮想的な位置及び視点を算出することを特徴とする請求項１１に記載のテレビ放送受信方法。
14. 前記視点映像生成ステップは、前記視点情報生成ステップで生成した視点情報と前記受信した視点映像生成情報とに基づいて、任意視点の映像ストリームを生成することを特徴とする請求項１１に記載のテレビ放送受信方法。
15. 前記視点映像生成ステップは、前記視点情報生成ステップで生成した視点情報と前記受信した視点映像生成情報とに基づいて、複数の映像ストリームから適切な映像ストリームを選択することを特徴とする請求項１１に記載のテレビ放送受信方法。
16. テレビ視聴者がテレビ番組に参加し得るブロードキャスト番組参加方法であって、請求項１０に記載のテレビ放送送信方法と、請求項１１乃至１５のいずれか１項に記載のテレビ放送受信方法とを含み、家庭で視聴している視聴者があたかも前記撮影時のセットにいるかのようにテレビ番組に参加し、前記セットにいる出演者と会話ができることを特徴とするブロードキャスト番組参加方法。
17. 前記視点映像生成用情報作成ステップは、前記参加する視聴者の基準位置となる基準位置情報を生成し、前記視点情報生成ステップは、前記基準位置情報と前記視聴者情報取得ステップで取得した視聴者情報とに基づいて、前記参加する視聴者の前記撮影時のセットにおける仮想的な位置及び視点を算出することを特徴とする請求項１６に記載のブロードキャスト番組参加方法。
18. 前記視点映像生成用情報作成ステップは、前記参加する視聴者の視点を制御する視点制御情報を生成し、前記視点情報生成ステップは、前記視聴者情報取得ステップで取得した視聴者情報を基に算出される前記参加する視聴者の前記撮影時のセットにおける仮想的な位置及び視点に、前記視点制御情報が指定する制御を加えることを特徴とする請求項１６に記載のブロードキャスト番組参加方法。
19. さらに、前記参加者の視聴する映像の上に他の参加者のアバタを合成するアバタ画像合成手段を備えたことを特徴とする請求項２乃至６のいずれか１項に記載のテレビ放送受信機。
20. さらに、前記アバタ情報生成手段で生成されたアバタ情報を、ネットワークを介して他の参加者が使用している当該テレビ放送受信機と同じ受信機に送信する手段を備えたことを特徴とする請求項２乃至６のいずれか１項に記載のテレビ放送受信機。
21. さらに、前記参加者の視聴する映像の上に他の参加者のアバタを合成するアバタ画像合成手段と、前記アバタ情報生成手段で生成されたアバタ情報を、ネットワークを介して他の参加者が使用している当該テレビ放送受信機と同じ受信機に送信する手段を備えたことを特徴とする請求項２乃至６のいずれか１項に記載のテレビ放送受信機。
22. さらに、参加者の視聴する映像音声に他の参加者の発話音声を合成する手段を備えたことを特徴とする請求項２乃至６、１９乃至２１のいずれか１項に記載のテレビ放送受信機。
23. 前記視聴者情報取得手段は、前記参加者の発話音声を他の参加者に伝えるための発話データを生成する手段を有することを特徴とする請求項２乃至６、１９乃至２１のいずれか１項に記載のテレビ放送受信機。
24. さらに、参加者の視聴する映像音声に他の参加者の発話音声を合成する手段を備え、前記視聴者情報取得手段は、前記参加者の発話音声を他の参加者に伝えるための発話データを生成する手段を有することを特徴とする請求項２乃至６、１９乃至２１のいずれか１項に記載のテレビ放送受信機。
25. テレビ視聴者がテレビ番組に参加し得るブロードキャスト番組参加システムであって、請求項１に記載のテレビ放送送信機と、請求項２４に記載のテレビ放送受信機とから構成され、家庭で視聴している視聴者があたかも前記撮影時のセットにいるかのようにテレビ番組に参加できると同時に、前記セットにいる出演者や遠隔地に居る別の参加者と会話ができることを特徴とするブロードキャスト番組参加システム。
26. さらに、前記参加者の視聴する映像の上に他の参加者のアバタを合成するアバタ画像合成ステップを含むことを特徴とする請求項１１乃至１５のいずれか１項に記載のテレビ放送受信方法。
27. さらに、前記アバタ情報生成ステップで生成されたアバタ情報を、ネットワークを介して他の参加者が使用している当該テレビ放送受信方法で番組を受信している受信機に送信するステップを含むことを特徴とする請求項１１乃至１５のいずれか１項に記載のテレビ放送受信方法。
28. さらに、前記参加者の視聴する映像の上に他の参加者のアバタを合成するアバタ画像合成ステップと、前記アバタ情報生成ステップで生成されたアバタ情報を、ネットワークを介して他の参加者が使用している当該テレビ放送受信方法で番組を受信している受信機に送信するステップと、を含むことを特徴とする請求項１１乃至１５のいずれか１項に記載のテレビ放送受信方法。
29. さらに、参加者の視聴する映像音声に他の参加者の発話音声を合成するステップを含むことを特徴とする請求項１１乃至１５、２６乃至２８のいずれか１項に記載のテレビ放送受信方法。
30. 前記視聴者情報取得ステップは、前記参加者の発話音声を他の参加者に伝えるための発話データを生成するステップを有することを特徴とする請求項１１乃至１５、２６乃至２８のいずれか１項に記載のテレビ放送受信方法。
31. さらに、参加者の視聴する映像音声に他の参加者の発話音声を合成するステップを含み、前記視聴者情報取得ステップは、前記参加者の発話音声を他の参加者に伝えるための発話データを生成するステップを有することを特徴とする請求項１１乃至１５、２６乃至２８のいずれか１項に記載のテレビ放送受信方法。
32. テレビ視聴者がテレビ番組に参加し得るブロードキャスト番組参加方法であって、請求項１０に記載のテレビ放送送信方法と、請求項３１に記載のテレビ放送受信方法とを含み、家庭で視聴している視聴者があたかも前記撮影時のセットにいるかのようにテレビ番組に参加できると同時に、前記セットにいる出演者や遠隔地に居る別の参加者と会話ができることを特徴とするブロードキャスト番組参加方法。
33. 前記映像ストリームに前記参加者のアバタを合成するアバタ画像合成手段を備えることを特徴とする請求項１に記載のテレビ放送送信機。
34. テレビ視聴者がテレビ番組に参加し得るブロードキャスト番組参加システムであって、請求項３３に記載のテレビ放送送信機と、請求項２乃至６、１９乃至２４のいずれか１項に記載のテレビ放送受信機とからなり、放送映像上に全ての参加者のアバタを表示可能とすることを特徴とするブロードキャスト番組参加システム。
35. 前記映像ストリームに前記参加者のアバタを合成するアバタ画像合成ステップを含むことを特徴とする請求項１０に記載のテレビ放送送信方法。
36. テレビ視聴者がテレビ番組に参加し得るブロードキャスト番組参加方法であって、請求項３５に記載のテレビ放送送信方法と、請求項１１乃至１５、２６乃至３１のいずれか１項に記載のテレビ放送受信方法とを含み、放送映像上に全ての参加者のアバタを表示可能とすることを特徴とするブロードキャスト番組参加方法。

Images