JP2002508095A

JP2002508095A - Method and apparatus for generating a display signal

Info

Publication number: JP2002508095A
Application number: JP50399299A
Authority: JP
Inventors: ホームズスティーブン; アンソニーヴィヴィアンコーンウェルシモン; ジョンライトディビッド; アンドリューキッドリチャード
Original assignee: ツーウェイティーブィリミテッド
Priority date: 1997-06-18
Filing date: 1998-06-18
Publication date: 2002-03-12
Also published as: WO1998057718A1; DE69805176D1; AU729838B2; ATE216909T1; ES2179514T3; EP0989892B1; CA2293775A1; GB9712724D0; NZ501348A; PT989892E; EP0989892A1; DE69805176T2; US7095450B1; AU8118098A

Abstract

(57)【要約】表示信号を対話的に生成する装置。本装置は、それぞれが背景オブジェクト（２２〜２７０）を定義する画像データを含む複数のデータストリームと制御パラメータ（２８〜３９）を含む放送信号（１５）を受信する受信機（２）と、コンピュータで生成した前景オブジェクトである前景ＣＧＯを生成するコンピュータ画像生成装置（ＣＧＩ装置）（３）と、前記前景ＣＧＯと背景オブジェクト画像データとを合成し、前記表示信号を生成する合成器（４）と、前記制御パラメータを前記受信機から受信し、前記前景ＣＧＯの位置を監視し、前記監視された前記前景ＣＧＯの位置と前記受信した制御パラメータとを参照して前記表示信号を適応させる対話手段（３）と、を有する。 (57) [Summary] A device that interactively generates a display signal. The apparatus comprises: a receiver (2) for receiving a plurality of data streams each including image data defining a background object (22 to 270) and a broadcast signal (15) including control parameters (28 to 39); A computer image generating device (CGI device) (3) for generating a foreground CGO, which is a foreground object generated in step (1); and a synthesizer (4) for generating the display signal by synthesizing the foreground CGO and background object image data. Interactive means for receiving the control parameters from the receiver, monitoring the position of the foreground CGO, and adapting the display signal with reference to the monitored positions of the foreground CGO and the received control parameters ( 3).

Description

【発明の詳細な説明】表示信号を生成する方法及び装置本発明は、表示信号を対話的に生成する方法及び装置に関する。従来のテレビ放送は、送信機からユーザーまでの距離による信号伝送時間の多少の違いを無視すれば、全視聴者について時間的に同期している。従って放送時においては、全視聴者同じ信号を一様に、しかも実質的に瞬時に受け取ることになる。対話形式のメディア、例えば「ＴｗｏＷａｙＴＶ」や「ＷｅｂＴＶ」のようなメディアでは、視聴者は一般にテレビ画面上の特定の対話用領域を使って対話するようになっている。例えばテレビ画面を主放送用領域と対話用領域とに分割し、インターネット情報や、オンスクリーン・メニューや、主放送に関連する情報を、対話用領域を通して供給する。これらのシステムでは、画面上に固定的に用意された対話領域においてユーザーがシステムに働きかけ、システムはこれに応答して情報を提供する。このように現在のシステムではテレビ放送側との対話は限定されたものであるが、これに比べてコンピュータゲーム機（例えば、ソニー・プレイステーション、セガ・サターン、ニンテンドー６４）ではテレビ画面あるいは専用の画面を通して提供され、各視聴者はテレビに現れる画像やサウンドとユニークな対話を行なうことができる。こうした画像やサウンドは、ユーザーのアクションに応じて、ゲーム機がコンピュータ技術を使って処理するものである。一般に、ユーザーが知覚するＴＶ環境（画像やサウンドや他の知覚的信号を含む）は、ゲーム機の中でコンピュータを使って生成される。これらはＴＶ環境において、例えばサウンドのようなディジタルデータとして予め用意されたデータを使用することもある。このようなＴＶ環境をコンピュータ生成環境（ＣＧＥ：computer generated environment）と呼び、また特に画像の場合、コンピュータ生成画像（ＣＧＩ：c omputer generated imagery）と呼ぶ。こうしたゲーム機やＣＧＥは、通常２５フレーム／秒すなわち２５Ｈｚを超える高い頻度で画面を更新する。これにより滑らかで切れ目のない動画像を提供するとともに、ユーザーのアクションに対して瞬時に、即ちリアルタイムに応答しているような感覚を与える。各フレームがばらばらに見えるようなことはなく、ユーザーにとってはあたかもリアルタイムにＣＧＥを制御し、またこれと対話しているように感じられるので、全体としてリアルタイムで動的な環境ができる。リアルタイムＣＧＥは、できる限り現実感の高いものであることが望ましい。そして一般に、より高い現実感はより高度なコンピュータの処理能力と、現実感と処理能力との兼合いにおいて最も効率的な表現法を採用することによって達成される。例えば、ＣＧＩの最も効率的な表現法は、比較的粗いポリゴンによる多面形状モデルを使ったものである。このモデルでは、一般に、より複雑な形状をした部分のポリゴン分布が最も細かくなるようにする。表面の造作を表現する実写によるテクスチャを各ポリゴンの面上に写像する処理は、「テクスチャマッピング」と知られているが、この処理を施すことにより、比較的粗いポリゴンによる形状表現でも比較的リアルなＣＧＩを作成することができる。ＣＧＩにおいて、テクスチャが張り付けられたポリゴンの数と、フレーム／秒で測られる画像更新レートの積を計算することにより、コンピュータが処理しなければならない一秒当たりのテクスチャ付ポリゴン数が得られる。これは１，０００，０００ポリゴン／秒といった数字になる。対話型テレビ放送の視聴者に提供される対話性のレベルは限定されたものであり、従ってこのような媒体を使うアプリケーションにも制約を与えるものであった。さらに、ゲーム機の対話性は対話型ＴＶのそれよりも高度ではあるが、その場合のＣＧＥのテーマは、実際には例えばＣＤＲＯＭや、カートリッジや、インターネットや、ＣＧＥ型のゲームを走らせるための適当なハードウェアを備えたテレビへの放送や、その他の手段によってゲーム機にロードされる特定のゲームに限定されたものに過ぎなかった。本発明の第１の側面によれば、表示信号を対話的に生成する装置が提供される。この装置は、それぞれが背景オブジェクトを定義する画像データを含む複数のデータストリームと制御パラメータとを含む放送信号を受信する受信機と、コンピュータで生成した前景オブジェクトである前景ＣＧＯを生成するコンピュータ画像生成装置（ＣＧＩ装置）と、前記前景ＣＧＯと前記受信機からの背景オブジェクト画像データとを合成し、前記表示信号を生成する合成器と、前記制御パラメータを前記受信機から受信し、前記前景ＣＧＯの位置を監視し、前記監視された前記前景ＣＧＯの位置と前記受信した制御パラメータとを参照して前記表示信号を適応させる対話手段とを有する。本発明の第２の側面によれば、表示信号を対話的に生成する方法が提供される。この方法は、それぞれが背景オブジェクトを定義する画像データを含む複数のデータストリームと制御パラメータとを含む放送信号を受信し、コンピュータで生成した前景オブジェクトである前景ＣＧＯを生成し、前記前景ＣＧＯと前記背景オブジェクト画像データとを合成して前記表示信号を生成し、前記前景ＣＧＯの位置を監視し、前記監視された前記前景ＣＧＯの位置と前記受信した制御パラメータとを参照して前記表示信号を適応させる。本発明は画面上にリアルタイムにあらわれる実際の放送と対話する機能を提供する。本発明の方法と装置は、普通、ＴＶ受像機と共に使用されるものであり、通常はゲーム機と連携する放送内容との何段階かの対話を可能にする。これによりテレビ画面上に表示される本放送の中での対話を行なうことができる。これは、以降、前景ＣＧＯ（foreground CGO）と呼ぶ一つのＣＧＥをユーザーすなわち視聴者に対して与える。ＣＧＯとはコンピュータで生成されたオブジェクト（comput er generated object）を意味する。このＣＧＥすなわち前景ＣＧＯは、例えばディジタル地上放送、衛星放送、ケーブルＴＶなどの放送媒体を通じて配信される放送信号と相互作用する。この放送信号において、背景オブジェクトは、普通、放送中に連続的に変化する。これはあるプログラムから別のプログラムへの変化だけでなく、フレーム毎の変化であって、そのレートは例えば２０Ｈｚ以上である。本発明では、前景ＣＧＯを通じ、放送の中で表示される複数のオブジェクトとの対話を画面全体で可能にしていることである。ここで言うオブジェクトは例えば目に見えるオブジェクトであるが、そうでない場合もあり得る。オブジェクトは放送データの更新に合わせてその位置や形状や動きや行動を変えるかもしれないが、そのような場合でも上述の対話を行なうことが可能である。さらに、必要であれば、このようなオブジェクトとの対話の特性も放送の速度にて変更することができる。ここで言う「放送」とは、あらゆる送信メディアからあらゆる表示装置までを含むものとする。送信メディアとは例えば、ディジタル地上放送、ケーブルＴＶ、衛星放送を含むが、これらに限定するものではない。また表示装置とは、ＴＶ、コンピュータ、ゲーム機を含むが、これらに限定するものではない。普通、放送とは一般視聴者を対象とする放送（つまり複数のＴＶやコンピュータやゲーム機に対して同時に信号を送信すること）である。また、信号はインターネットで同報送信してもよい。ここで「データストリーム」とは、ある同じプログラムに関する異なる放送内容を指す。全データストリームは実質的に同時に放送される。「プログラム」とは、同じプログラムに関連する一連のデータストリームをまとめたものを意味する。ここで、ある放送プログラムを構成する各データストリームは時間的に同期化される。また複数のデータストリームは、同じ内容に関連するものであるが、例えばその同じ内容について違った別のビューを与えるものである。ここで言う「ＣＧＥ」は、静止画像、動的画像、サウンド、リアルタイム映像、リアルタイム音声信号などのマルチメディア表現を含むものとする。ただしこれらに限定するものではない。ここで言う「前景ＣＧＯ」、「前景ＣＧＥ」、「前景」は、放送には含まれず、コンピュータによって生成されるものであって、テレビ画面では放送画像に重ねて表示されるか、あるいはテレビ画面の一部として別に設けられた対話用領域に表示されるか、の何れかあるいは全ての表現法に関するものとする。あるいは、「前景ＣＧＯ」、「前景ＣＧＥ」、「前景」は、放送には含まれず、テレビ画面に表示されるような表現法にも、されないような表現法にも適用し得るものである。例えば、前景ＣＧＯと背景オブジェクトの間の相互作用を計算する際に、前景ＣＧＯの一部を幾何学的な参照対象として使用するために、これをユーザーすなわち視聴者からは見えないようにすることができる。「コンピュータで生成された」、「コンピュータ処理」、「コンピュータで生成した画像」、「コンピュータで生成した環境」などと言う場合の「コンピュータ」とは、前景ＣＧＥを処理するあらゆる装置、機器、ハードウェア、ソフトウェア、これらの一部分、あるいはこれらの組合わせを意味する。例としては、コンピュータ、セットトップ・ボックス（例えば、General Instruments社製、Pace Micro Technology社製）、ゲーム機(例えば、ソニー製、セガ製、任天堂製)、これらの一部分、あるいはカスタマイズされたハードウェアがあげられる。またカスタマイズされたハードウェアには、コンピュータのメモリや、プロセッサや、オプションとしてグラフィックス・プロセッサが含まれるが、これらに限定するものではない。ここで言う「ＴＶ画面」、「表示画面」は、あらゆる表示装置や、表示システムや、表示要素を含む組立品を包含するものとする。例えば、テレビ画面、コンピュータのモニタ装置、画像投影システム、ヘッドマウント型表示器があげられるが、これらに限定するものではない。ここで言う「受信機ハードウェア」とは、放送データストリーム、すなわち受信機ハードウェアへの入力を放送媒体から受信するとともに、信号、すなわち受信機ハードウェアの出力を合成器に出力するための、あらゆる装置、機器、ハードウェア、ソフトウェア、これらの一部分、あるいはこれらの組合わせを意味する。これは例えば、デコーダと呼ばれる場合がある。受信機ハードウェアの例としては、コンピュータ、セットトップ・ボックス（例えば、General Instruments社製、Pace Micro Te chnology社製）、ゲーム機（例えば、ソニー製、セガ製、任天堂製）、これらの一部分、およびカスタマイズされたハードウェアがあげられる。またカスタマイズされたハードウェアには、コンピュータのメモリや、プロセッサや、オプションとしてグラフィックス・プロセッサが含まれるが、これらに限定するものではない。「基準ユーザー位置」あるいは「ユーザー位置」とは、ユーザーの位置をテレビ画面の平面から、垂直な方向に沿って計測した距離を表わす。この距離とユーザー位置とは純粋に計算目的にのみ使用されるものであって、実際のユーザーの位置に関して、通常の物理的制約以上の何等の制約を加えるものではない。ここで「視聴者」と「ユーザー」は一般性を失うことなく同じ意味の用語として使用するものとする。ここで言う「コントローラ」、「ハンドコントローラ」は、前景ＣＧＯ、および背景ＣＧＯとの対話をユーザーが制御するのに使用するあらゆる装置を意味する。これには、動きや相互作用、また、他のデータあるいは情報をアップロード、ダウンロードする要求を含むが、これらに限定するものではない。例えば、コントローラは、ボタン操作あるいは音声で直接操作する、赤外線機器とすることもできる。本発明においては、プログラムに関連する複数のデータストリームを放送信号を通じて送る。各データストリームは、例えば、別のビュー、ユーザーが選択可能なビュー、他のデータストリームのうち一つ以上のデータストリーム上の対応するフレームに関連する付加情報などを表わす。各データストリームは例えば２５Ｈｚで更新される。これらの複数のデータストリームは時分割多重、すなわち一つの周波数で順次送信するか、または別の方法として周波数多重、すなわちデータストリーム毎に異なる周波数を使って同時に送信する。本発明においては、放送信号の中で、制御パラメータを各データストリームに載せて送り、これらは放送されるデータストリームの各フレームに時間的に同期化される。フレームの送信レートは、例えば２５フレーム/秒である。こうした制御パラメータは、前景ＣＧＯと背景ＣＧＯあるいは各フレームの放送との間でユーザーが行なう対話操作を定義するものである。そしてこれらの制御パラメータおよびこれに関連して定義された対話操作は、例えば２５Ｈｚで変化する。対話手段は、これらの制御パラメータを、放送されたデータストリームの中のその特定のフレームの対話操作を定義するのに使用する。放送信号は、普通、同じプログラムに関連する複数のデータストリームと、時間的に同期化された制御パラメータを含んでいる。例えばセットトップ・ボックスあるいはその一部である受信機ハードウェアが、この放送を受信する。この受信機ハードウェアは、復号化された放送画像を所定の速度（例えば２５Ｈｚ）で合成器に送る。本発明においては、対話手段は制御パラメータを並行して同時に受信し、放送信号の各フレームについて、対話用の領域および対話の特性が各フレームに格納される。例えば、対話用領域は、テレビ画面の実質的２次元平面に対して所定の視角をもって投影される３本の直交する軸に沿った座標値として定義される。その結果、放送の各フレームに重ね合わされた対話用領域の２次元表現を得ることができる。そしてこのようなフレームとこれに関連する対話用領域は、例えば２５Ｈｚの更新速度で変化する。視角は例えば水平面で９０度とすると、これによって、コンピュータが三次元モデルから二次元画面への投影計算をするために必要なユーザー基準位置が定まる。視角とこれに対応するユーザー基準位置から、画面上の放送背景の見え具合が決まる。視角とこれに対応するユーザー基準位置は、視認可能な角度についての放送規格を補完しこれに適合すべく、選択することが好ましい。本発明においては、各領域の対話の特性としては、例えば、ユーザー制御の前景ＣＧＯが対話できる背景領域、ユーザーがカーソルを使ってクリックできる領域、クリックで起動される情報源にリンクした領域、前景ＣＧＯと対話用領域との間の対話のタイプ、が含まれる。ただしこれに限定するものではない。本発明においては、前景ＣＧＩ装置内で行われる処理により前景ＣＧＯを生成する。前景ＣＧＯはユーザーが制御する画像であり、これによりユーザーは、各フレームの制御パラメータで定義される対話用領域と対話する。前景ＣＧＩ装置は前景ＣＧＯを合成器に送り、放送の各フレームに対応する放送信号内において、例えば２５Ｈｚの速度で背景オブジェクトに重ね合わせる。これによって前景ＣＧＯの位置、形状、その他の特性がユーザーの操作によって適宜変更され、前記の速度で更新される。ここで更新される特性には色、サウンド、動きの方向、可視性が含まれているが、これらに限定されるものではない。好ましくは、合成器は、放送された背景画像と前景ＣＧＯを合成する際、放送された背景画像および背景ＣＧＯの上に前景ＣＧＯを重ねるようにして合成する。本発明においては、三次元幾何空間を定義する前述の直交３軸において測った場合、前景ＣＧＯと、放送された背景画像と、その他の表示画像のうち、どの画素がよりＴＶ画面の平面に近いかを判断する処理を行なう。さらに、二次元スクリーン座標で測った画面の各画素の位置に対して、例えば色などの画素の属性は、その画素が二次元テレビ画面に投影された点において前述の直交３軸で測った場合に、画面に最も近いオブジェクトの属性を表わすものとする。本発明においては、背景に関する形状情報は、背景ＣＧＯを定義する制御パラメータとして与えられる。本発明においては、オブジェクト（例えば前景ＣＧＯ、背景ＣＧＯ、および放送された背景画像などであるが、これらに限定されない）をスクリーン座標系に変換した時に、その一部分が画面の範囲外にあるか、画面とユーザー基準位置の間にあるか、画面の範囲内にあるが他のオブジェクトに比して画面から遠い位置にある場合には、その部分を表示しない。これは「ｃｕｌｌｉｎｇ」処理として従来から知られている処理である。放送に備えてデータは、例えばベータカム形式あるいはディジタル録画形式など何等かの形式で記録されているが、本発明においては、放送の前にそのデータの中に、あるいはそのデータと共に制御パラメータがエンコードされる。放送の各フレームの制御パラメータは、二次元スクリーン座標で定義された対話用領域、可能な対話の特性、対話から生じるアクションなどの情報を含む。例えば、ある領域を使用して対話することによって、ある情報を表示したり、放送に含まれる別のデータストリームを表示したり、さらに別の情報を画面に表示したりすることができる。本発明においては、生放送つまりリアルタイムな放送の場合、制御パラメータは自動的または半自動的に生成される。例えば、放送の各フレームをその場で解析してフレーム画像内の特定の形状を認識し、そうして認識された形状のグループの中で自動的に対話用領域に変換すべき領域を認識するようなビジョンシステムを使用する。ビジョンシステムが認識した形状から対話用領域への変換は、例えば人工知能、ニューラルネットワーク、知識ベースシステム、あるいはこれらの組み合わせた技術を使うことによって強化され、その結果、形状的特性の認識に基づいた所定のルールの対象となる、こうした対話用領域やその他の制御パラメータを生成することができる。制御パラメータを生成する速度は、生放送の速度と見合ったものであることが好ましく、本発明はこれに限定されるものではないが、例えば放送のフレームレート（例えば２５Ｈｚ）と同速度とする。これは一例に過ぎないが、生放送と組み合わせるこの技術は、例えば現実の場面に基づいたコンピュータゲームや、現実の地理的な特徴やシナリオに基づいたトレーニング用シミュレータに使用することができる。本発明においては、前景ＣＧＯのタイプを、メモリに格納された前景ＣＧＯのライブラリからユーザーが選択できる。また、ライブラリはメモリの代わりに、前景ＣＧＩ装置に接続されたＤＣＲＯＭやＤＶＤ(Digital Versatile Disc)などのデータ記憶装置に格納してもよい。好ましくは、前景ＣＧＯは、さらに制御パラメータの放送開始時か放送時に前景ＣＧＩ装置にダウンロードできるようにする。前景ＣＧＯのこのような定義は、色、形状、テクスチャ、許される動き、サウンド効果、画面上の明瞭度などの機能を定義するが、これらに限定するものではない。本発明においては、前景ＣＧＯオブジェクトの動きと対話は、ハンドコントローラ（例えば標準の赤外線コントローラあるいはその改良版）で与えられるユーザー入力によって制御される。そしてこれには、各フレームの制御パラメータによって定義されるルールが適用される。また、上記以外の入力装置として、音声指令、マウス、ゲームコントローラ、ゲーム用操作パッドなども前景ＣＧＯオブジェクトと対話を制御するのに使用されるが、本発明はこれらに限定するものではない。本発明においては、前景ＣＧＯの特性は放送の特性と合致している。例えば、道路あるいは車のドライブをテーマとする放送であって、道路を表現する画像自体が対話用領域となっているような放送は、例えば自動車のような乗り物に基づく前景ＣＧＯと適合する。この自動車の前景ＣＧＯは、ゲーム機の自動車と同程度に本物らしく動くように力学的に計算される。さらに例をあげると、各所を見てまわるようなテーマを持つ放送の場合、歩き回る人間のモデルを前景ＣＧＯとし、このようなモデルに相応しい相互作用、例えば、この前景ＣＧＯが放送の背景を通過する時は壁は抜けられないが、ドアは通過できるようにする制御パラメータを定義するようにする。また一方、放送プログラムやテーマによっては、前景ＣＧＯは放送に合っていなくてもよく、前景ＣＧＯの位置の抽象的表現、例えばカーソル、矢印、手の形をしたアイコンのようなものであってもよい。ユーザーが前景ＣＧＯをコントローラで制御すると、その前景ＣＧＯは以下のような機能を実行する。すなわち、平行運動や直交３軸まわりの回転運動、そしてこれらの組み合わせを行なって二次元スクリーン座標に投影したり、サウンドを起動したり、あるいは定義された対話用領域と相互作用したりして、その結果によってさらなるアクションを起こす（例えば、情報を、テキスト、グラフィック、ビデオ、マルチメディア形式、あるいはこれらを組み合わせた形式で提示する）。本発明においては、ユーザーはオプションとして放送に関する情報、例えば、前景ＣＧＯ表現法、付加情報、ソフトウェア、制御パラメータなどを放送を通じてダウンロードする。好ましくは、ユーザーはさらにオプションとして、前景ＣＧＯと背景ＣＧＯとの間である特定の対話を行なうことにより、放送プログラムに関係する情報をアップロードする。このようなアップロード動作は、通常、コントローラと対話手段の間の通信によって達成される。さらに例を挙げると、アップロードされたある種の要求は、アップロードされた制御パラメータと考えられ、これによって追加情報を含んだ異なるデータストリームにスイッチする。一方、他のアップロードされた要求は放送の中にはない情報であり、これらの要求は電話回線とモデムを通じて、特定のプログラムのためのウェブサイトに転送される。ユーザーはプログラムに関係のあるデータをアップロードするオプションを有することが好ましく、例えば、ユーザーが対話型ゲームで達成したスコアをアップロードする。さらに説明を加えるなら、制御パラメータおよびそのようなパラメータで定義される対話用領域を、背景ＣＧＯとして考え、ユーザーはコントローラを使って前景ＣＧＯを操作し、それを背景ＣＧＯと相互作用させる。限定するものではないが、好ましくは、背景ＣＧＯは粗い形状表現を含むが、視覚的品質は前述のテクスチャマッピング技術により劇的に改善される。これにより各フレームで放送される画像は実質的にフルスクリーンのテクスチャとなる。これをスーパーテクスチャ（Ｓｕｐｅｒｔｅｘｔｕｒｅ）と呼ぶ。好ましくは、背景ＣＧＯの形状はユーザーには見えない。さらに、前景ＣＧＯや、制御パラメータに定義された対話操作や、制御パラメータに定義された背景ＣＧＯや、放送されたスーパーテクスチャなどを組合わせることにより、ゲーム機に匹敵する対話型ＣＧＥを、放送技術に基づいて提供する。上述の機能の組み合わせは、放送の中に現れる機能と対話する能力をユーザーに与えるものである。本発明は、ユーザーが例えばプログラム毎、あるいは一定時間毎に料金を支払って利用する商用サービスの基盤技術として応用される。また本発明においては、このような支払い方法を、装置に組み込むこともできる。例えば、スマートカードの操作でもよいし、前述のようにユーザーがクレジットカード情報を入力し、これをアップロード情報として安全なトランザクションプロトコル技術を使って処理するなど、コントローラの付加的な対話機能として組み込んでもよい。本発明の実施の形態を以下の添付図面を参照して説明する。図１は、対話型システムの概略図である。図２は、放送信号の編成を示す概略図である。図３〜８は、画面に表示された画像を示す図である。図１は、本発明の装置と接続の概略を示す。プログラムの放送は、送信元１から、放送媒体７を通じて、複数のデータストリーム（ａ）〜（ｄ）からなる大容量放送信号１５として一斉送信される。セットトップ・ボックス１４内の受信機ハードウェア２は、これらのデータストリームを受信する。セットトップ・ボックス１４は１台しか図示されていないが、実際には大容量放送信号１５は常に多数のセットトップ・ボックスによって受信されていることは言うまでもない。図２は、送信元１による放送信号１５の編成方法を示す概略図である。図２においては、２本のデータストリーム２０、２１（すなわちデータストリーム（ａ）およびデータストリーム（ｂ））しか図示していないが、実際のシステムでは多数のデータストリームが編成されて同時に放送される。この場合のデータストリーム数を制限する要因は放送媒体７の帯域のみである。各データストリーム２０、２１は、背景オブジェクトの画像データの一連のフレームと、背景画像データとの相互作用を制御する制御パラメータとを含んでいる。背景オブジェクトの画像データは、フルスクリーンの実写放送ビデオデータ（フレーム２２〜２７）の一連のフレームと、ＣＧＩ画像データ７０〜７５（以降これを背景ＣＧＯと呼ぶ）とを含む。この例では、フレーム２２〜２４は、３枚の連続した実写ビデオデータからなるＴＶフレームであり、ある部屋を中心位置から眺めた様子を示している。またフレーム２２〜２４は、同じ部屋を横の方の位置から眺めたビューである。背景ＣＧＯ７０〜７５は、コンピュータで生成したこの部屋の後側の壁７６、７７の記述と、その三次元位置座標とを含んでいる。背景ＣＧＯ７０〜７５は単純なビットマップデータでもよいし、セットトップ・ボックスにロードされてＣＧＩ画像を生成するＣＧＩプログラムとしてもよい。さらに、各データストリームは、ホットスポット座標２８〜３３やホットスポット対話ルール３４〜３９といった一連の制御パラメータを含む。ホットスポット座標２８〜３３は、部屋の中の「ホットスポット」４０〜４５を、データストリーム（ａ）と（ｂ）のそれぞれの視点から眺めたときの、それらの位置を表わす三次元座標値を含んでいる。ホットスポット対話ルール３４〜３９は、以下に述べるように、前景オブジェクトとホットスポットの間の相互作用の特性を定義する。送信元１はまた、ソフトウェア動きモデル５０〜５２と、前景スーパーテクスチャ・データ５３〜５５を生成する。ソフトウェア動きモデルは、ユーザー入力と前景オブジェクトの動きの間の関係を定義する。詳細は後述する。さらに送信元１は、各々の情報フレームと共に送信されるフレーム識別子４８を生成する。例えば項目２２、２８、３４、２５、３１、３７は全て同じフレームに係わるものであるので、同一のフレーム識別子が与えられる。データストリームはコンパイラ４９によって編成され、表１に示す放送信号１５が形成される。表１は、放送信号１５が１０本のデータストリームを搬送する場合の例を示す。放送信号１５は一連の時分割多重データパケットから構成され、表１に示す順に送信される。最初の二つのパケットは、スーパーテクスチャ・データ５３〜５５と動きモデル５０〜５２を含んでいる。パケット３は、データストリーム（ａ）に係わるデータストリーム識別子である。パケット４は、第１フレームに係わるフレーム識別子である。パケット５〜８は、データストリーム（ａ）の第１フレーム（すなわち図２の項目２２、２８、３４、７０）に係わるデータを含んでいる。パケット９〜１４は、データストリーム（ｂ）の第１フレームの情報を運ぶ。パケット１５〜６２（図示せず）は、さらに８本のデータストリームの第１フレームに係わるデータを運ぶ。これにはデータストリーム（ｊ）識別子のパケット５７、および第１フレームのフレーム識別子のパケット５８が含まれている。その後、パケット６３（データストリーム（ａ）の識別子）とパケット６４（フレーム２の識別子）を先頭に、次のフレームの情報が送信される。表１では、背景オブジェクトデータとホットスポットデータが同じ速度で送信されるものとしているが、場合によっては（例えば、背景が静止している場合）、これらのデータは異なる速度で送信されることもある。放送信号１５中の非映像データ１０（すなわち背景ＣＧＯデータ７０〜７５、ホットスポット座標３０、ホットスポット対話ルール３４〜３９）は、コンピュータ３に渡され、コンピュータ３から受信機のハードウェア２に対するアップロード要求信号１１によって最初のデータストリームが選択される。選択されたデータストリームの中の背景オブジェクトビデオデータ８（例えばフレーム２２〜２４）は復号化され、合成器４に送られる。コンピュータ３は、前景ＣＧＩ画像と背景ＣＧＩ画像（背景ＣＧＯデータ７０〜７２に含まれるプログラムによって定義される）を生成し、計算されたＣＧＩ表現１６は合成器４に送られる。前景ＣＧＯ、背景ＣＧＯ、ビデオデータ８は、テレビ画面５の各画素ごとに合成され、その結果生成された合成信号１７はテレビ画面５に送られる。複数のデータストリーム（ａ）〜（ｄ）、制御パラメータ１０、選択されたデータストリーム８、アップロード要求信号１１、前景および背景ＣＧＯ１６、合成信号は、例えば、毎秒２５回更新される。前景ＣＧＯ、および背景ＣＧＯとの対話はコントローラ６によって制御される。コントローラからの制御信号は、参照番号９で示すようにコンピュータに送られる。これは例えば、前景ＣＧＯの表現を変更するものである。一方、背景ＣＧＯは更新された放送制御パラメータ１０に基づいて更新され、再計算された表現１６が合成器１７に送られる。アップロード情報あるいは放送に含まれない情報の要求は、電話回線とモデム１８を通じて経路１２をたどり、特定のプログラムに対応したウェブサイト１３に送られる。本発明を商用サービス用に利用する場合は、受信機ハードウェア２は、スマートカード装置２１を通してユーザーが料金支払いを行ない、制御起動信号２２が受信機ハードウェア２に送られた後で起動されるようにし、これによって全ての処理を開始するようにする。図４〜７は、対話型ゲームを行なっている間のテレビ画面５の表示を示す。ゲーム開始時、送信元１は、動きモデル５０〜５２とスーパーテクスチャ・データ５３〜５５を送る。データ５０〜５５はコンピュータ３に渡され、格納される。そこでユーザーは、コントローラ６を使って、ゲームで使用するキャラクタを、自分の好みに応じて選択する。この例では、ユーザーは人間のキャラクタ５６を選択する。このキャラクタ５６はスーパーテクスチャ・データ５３と動きモデル５０に対応している。続いて、表１に示すようなデータストリームが送信される。好適なデータプロトコルの例としてＭＰＥＧ２が挙げられる。初めに、コンピュータ１１は、デフォルトの（すなわちコントローラ６から何も入力がない場合の）アップロード要求信号１１を自動的に生成する。これによってテレビ受信機２は、デフォルトのデータストリーム（ａ）を選択してこれを復号化する。その結果、画面５上の画像は図３に示すような画像となる。すなわち、背景オブジェクトビデオデータ２２〜２４で与えられる部屋の背景画像５７に、背景ＣＧＯデータ７０〜７２から生成される後側の壁７８と、ホットスポット４１（部屋の奥のドア）と、ホットスポット４０（例えば、部屋のフロアにおかれた椅子やテーブルなどの造作）と、ホットスポット4２（揚げ蓋）とが付加されている。コンピュータ３は、キャラクタ５６の粗いＣＧＩ画像を生成し、さらにスーパーテクスチャ・データ５３で細かな表現を加える。スーパーテクスチャや動きモデルに関しては、ＣＤＲＯＭやその他の記憶装置１９から追加されることもある。ＣＧＩキャラクタ５６は合成器４に送られ、背景画像５７に重畳される。コントローラ６を操作することによって、ユーザーはキャラクタ５６を図３の矢印で示すように部屋の中で動かすことができる。この場合、動きの範囲はキャラクタ５６に係わる動きモデル５０で定義される。ユーザーがコントローラ６の「ビュー変更」ボタンを押すと、アップロード要求信号１１が発生し、テレビ受信機２はこれによって選択データストリーム８をデータストリーム（ｂ）に切り換える。画面５のビューはこれによって図４のビュー５８に変わる。これは背景映像データ２５〜２７と背景ＣＧＯ７３〜７５によって定義されるビューである。データストリームの切り換えに関して、別の方法を図５と６に示す。キャラクタ５６がドア４１に達したとき、コンピュータ３は（ホットスポット座標２８〜３０を参照して）キャラクタ５６がホットスポット４１に一致したことを検出する。そしてコンピュータ３は、ホットスポット４１に係わるホットスポット対話ルール（３４〜３６）をダウンロードする。ダウンロードされたルールには「もしキャラクタがドア４１に達したら、背景ＣＪＯ画像を操作してドアを開け、その後データストリーム（ｊ）に切り換えよ」と規定されている。従ってコンピュータ３は、（放送ＧＧＯデータ７０〜７２からダウンロードされたプログラムの制御下で）まずドア４１が開くＣＧＩ画像を生成し、そしてアップロード要求信号１１を送って、テレビ受信機２がデータストリーム（ｊ）に切り替えるようにする。ここで、データストリーム（ｊ）は異なる部屋の様子を示すビュー５９と、そこでのホットスポット６０〜６２（図６）を含んでいる。「ｃｕｌｌｉｎｇ」処理を図７に示す。コンピュータ３は、部屋５７内のキャラクタ５６の三次元位置を把握しており、ホットスポット４０の位置（ホットスポット座標２８〜３０に含まれる）も分かっている。もし現在の視聴位置から眺めてキャラクタ５６がホットスポット４０の背後にあるなら、コンピュータ３はキャラクタ５６の画像表現１６を再計算し、キャラクタ５６の画像のうち、隠れている部分については合成器４に送らない。別の例として、二次元のゲームを図８に示す。背景シーン８０は、背景ＣＧＯデータとして与えられた１枚のビットマップである。対戦ゲームにおいて、二つの前景ＣＧＩキャラクタ８１、８２が背景シーン８０に重畳されており、それぞれのコントローラを操作することでシーン８０中を移動させることができる。３つのホットスポット８３〜８５には、それぞれ広告が表示されており、これらはホットスポット対話ルールである「キャラクタはホットスポットの前を通って広告を隠してはならない」というルールに従う。このルールにより、コンピュータ３はキャラクタ８１、８２がホットスポット８３〜８５の前を横切らないように制御する。図８の場合、背景は静止しているので、背景映像データおよび／または背景ＣＧＯはゲーム中に１回だけ送ればよく、背景が動く場合のようにフレーム毎に送る必要はない。 The present invention relates to a method and apparatus for generating a display signal. A method and apparatus for interactively generating a display signal. Conventional television broadcasting Ignoring some differences in signal transmission time depending on the distance from the transmitter to the user, Time synchronized for all viewers. Therefore, when broadcasting, All viewers share the same signal, And you will receive it virtually instantaneously. Interactive media, For example, media such as "Two Way TV" and "Web TV" Viewers generally interact using a specific interaction area on a television screen. For example, the TV screen is divided into a main broadcast area and a conversation area, Internet information, On-screen menus, Information related to the main broadcast, Supply through the dialogue area. In these systems, The user interacts with the system in the dialog area fixed on the screen, The system provides information in response. Thus, in the current system, the interaction with the TV broadcaster is limited, Computer game consoles (for example, Sony PlayStation, Sega Saturn, In Nintendo 64), it is provided through a TV screen or a dedicated screen, Each viewer can have a unique interaction with the images and sounds that appear on the television. These images and sounds Depending on the user ’s action, The game machine processes using computer technology. In general, The TV environment perceived by the user (including images, sounds and other perceptual signals) Generated using a computer in a game console. These are in a TV environment For example, data prepared in advance as digital data such as sound may be used. Such a TV environment is called a computer generated environment (CGE: computer generated environment) And especially for images, Computer generated image (CGI: computer generated imagery). These game machines and CGEs The screen is updated at a high frequency, typically above 25 frames per second, or 25 Hz. This provides smooth, unbroken moving images, Instantly respond to user actions, That is, it gives a feeling of responding in real time. Each frame doesn't look discrete, For the user, controlling CGE in real time, I also feel like I'm interacting with this, As a whole, a dynamic environment can be created in real time. Real-time CGE It is desirable to be as realistic as possible. And in general, Higher realism means more advanced computer processing power, This is achieved by employing the most efficient representation in a trade-off between reality and processing power. For example, The most efficient representation of CGI is This is a model using a polyhedral shape model using relatively coarse polygons. In this model, In general, The polygon distribution of a part having a more complicated shape is made the finest. The process of mapping the texture by the actual photograph expressing the features of the surface on the surface of each polygon, Known as "texture mapping," By performing this processing, A relatively realistic CGI can be created even with a relatively coarse polygonal shape representation. At CGI, The number of polygons with textures attached, By calculating the product of the image update rate, measured in frames per second, This gives the number of textured polygons per second that must be processed by the computer. This is 1, 000, 000 polygons / second. The level of interactivity provided to interactive television viewers is limited, Therefore, there are restrictions on applications using such a medium. further, Although the interactivity of the game console is higher than that of the interactive TV, The theme of CGE in that case is Actually, for example, CDROM, Cartridges, Internet and Broadcast to a TV equipped with appropriate hardware to run a CGE type game, It was limited to a particular game loaded on the gaming machine by other means. According to a first aspect of the present invention, An apparatus for interactively generating a display signal is provided. This device is A receiver for receiving a broadcast signal including a plurality of data streams each including image data defining a background object and a control parameter, A computer image generation device (CGI device) for generating a foreground CGO, which is a foreground object generated by a computer, Combining the foreground CGO and background object image data from the receiver, A synthesizer for generating the display signal; Receiving the control parameters from the receiver; Monitor the position of the foreground CGO, Interactive means for adapting the display signal with reference to the monitored position of the foreground CGO and the received control parameters. According to a second aspect of the present invention, A method is provided for interactively generating a display signal. This method Receiving a broadcast signal including a plurality of data streams each including image data defining a background object and a control parameter; Generate a foreground CGO, which is a computer generated foreground object, Generating the display signal by synthesizing the foreground CGO and the background object image data; Monitor the position of the foreground CGO, The display signal is adapted with reference to the monitored position of the foreground CGO and the received control parameter. The present invention provides the ability to interact with the actual broadcast that appears in real time on the screen. The method and apparatus of the present invention include: usually, Used with a TV receiver, Normally, several stages of interaction with broadcast content associated with the game machine are enabled. As a result, a conversation can be performed in the main broadcast displayed on the television screen. this is, Or later, One CGE called foreground CGO (foreground CGO) is given to the user, that is, the viewer. CGO means a computer generated object. This CGE, or foreground CGO, For example, digital terrestrial broadcasting, Satellite broadcasting, Interacts with broadcast signals distributed over broadcast media such as cable TV. In this broadcast signal, The background object is usually, Changes continuously during the broadcast. This is not only a change from one program to another, Change from frame to frame, The rate is, for example, 20 Hz or more. In the present invention, Through the foreground CGO, This is to enable interaction with a plurality of objects displayed in the broadcast over the entire screen. The objects mentioned here are, for example, visible objects, It may not be the case. The object may change its position, shape, movement or behavior as the broadcast data is updated, Even in such a case, the above-described dialog can be performed. further, If necessary, The characteristics of such an interaction with the object can also be changed at the broadcast speed. Here, "broadcast" means It includes any transmission media to any display device. For example, transmission media Digital terrestrial broadcasting, Cable TV, Including satellite broadcasting, It is not limited to these. The display device is TV, Computer, Including game consoles, It is not limited to these. usually, Broadcasting is broadcasting intended for general viewers (that is, transmitting signals to a plurality of TVs, computers, and game machines simultaneously). Also, The signal may be broadcast over the Internet. Here, "data stream" Refers to different broadcast contents of the same program. All data streams are broadcast substantially simultaneously. "Program" A collection of a series of data streams related to the same program. here, Each data stream constituting a certain broadcast program is synchronized in time. Multiple data streams are Related to the same content, For example, to give another different view of the same content. "CGE" here means Still images, Dynamic images, sound, Real-time video, It shall include multimedia representations such as real-time audio signals. However, it is not limited to these. "Foreground CGO" here, "Foreground CGE", "Foreground" Not included in the broadcast, Computer-generated, On the TV screen, it is displayed over the broadcast image, Alternatively, it may be displayed in a separate interactive area as part of the TV screen, And any or all of the expressions. Or, "Foreground CGO", "Foreground CGE", "Foreground" Not included in the broadcast, For expressions that appear on TV screens, It can also be applied to expressions that are not performed. For example, When calculating the interaction between the foreground CGO and the background object, To use a part of the foreground CGO as a geometric reference, This can be made invisible to the user, ie the viewer. "Computer generated", "Computer processing", "Computer-generated images", "Computer" when referring to "computer-generated environment" Any device that processes foreground CGE, machine, hardware, software, Some of these, Alternatively, it means a combination of these. For example, Computer, Set-top boxes (for example, General Instruments, Pace Micro Technology) Game consoles (for example, Made by Sony, Made by SEGA, Nintendo), Some of these, Or customized hardware. Customized hardware also includes Computer memory, Processors, Optional graphics processor included, It is not limited to these. "TV screen" here, "Display screen" Any display device, Display systems, Assumes an assembly including a display element. For example, TV screen, Computer monitoring equipment, Image projection system, There is a head mounted display, It is not limited to these. "Receiver hardware" here means Broadcast data stream, That is, while receiving the input to the receiver hardware from the broadcast medium, signal, That is, for outputting the output of the receiver hardware to the synthesizer, Any device, machine, hardware, software, Some of these, Alternatively, it means a combination of these. This is for example Sometimes called a decoder. Examples of receiver hardware include: Computer, Set-top boxes (for example, General Instruments, Pace Micro Technology) Game consoles (for example, Made by Sony, Made by SEGA, Nintendo), Some of these, And customized hardware. Customized hardware also includes Computer memory, Processors, Optional graphics processor included, It is not limited to these. "Reference user location" or "user location" From the plane of the TV screen, Represents the distance measured along the vertical direction. This distance and user location are used purely for computational purposes only, Regarding the actual user location, It does not impose any restrictions beyond normal physical restrictions. Here, "viewer" and "user" are used as terms having the same meaning without loss of generality. "Controller" here, "Hand controller" Foreground CGO, And any device used by the user to control interaction with the background CGO. This includes Movements and interactions, Also, Upload other data or information, Includes request to download, It is not limited to these. For example, The controller is Operate directly by button operation or voice, It can also be an infrared device. In the present invention, A plurality of data streams associated with the program are sent through a broadcast signal. Each data stream is For example, Another view, User selectable views, It represents additional information related to a corresponding frame on one or more data streams among other data streams. Each data stream is updated at, for example, 25 Hz. These multiple data streams are time division multiplexed, That is, whether to transmit sequentially at one frequency, Or alternatively frequency multiplexing, That is, the data streams are transmitted simultaneously using different frequencies. In the present invention, In the broadcast signal, Sending control parameters on each data stream, These are synchronized in time to each frame of the broadcast data stream. The frame transmission rate is For example, 25 frames / sec. These control parameters are: It defines the interactive operation performed by the user between the foreground CGO and the background CGO or the broadcast of each frame. And these control parameters and the interaction defined in relation to them, For example, it changes at 25 Hz. The means of dialogue is These control parameters are Used to define the interaction of that particular frame in the broadcast data stream. The broadcast signal is usually, Multiple data streams related to the same program, Includes control parameters that are synchronized in time. For example, receiver hardware that is a set-top box or part of it, Receive this broadcast. This receiver hardware The decoded broadcast image is sent to the synthesizer at a predetermined speed (for example, 25 Hz). In the present invention, The interaction means receives the control parameters in parallel and simultaneously, For each frame of the broadcast signal, An interaction area and interaction characteristics are stored in each frame. For example, The conversation area is It is defined as coordinate values along three orthogonal axes projected at a predetermined viewing angle to a substantially two-dimensional plane of the television screen. as a result, A two-dimensional representation of the interactive area superimposed on each frame of the broadcast can be obtained. And such a frame and its associated dialogue area For example, it changes at an update speed of 25 Hz. For example, if the viewing angle is 90 degrees on a horizontal plane, by this, A user reference position required for the computer to perform projection calculation from the three-dimensional model to the two-dimensional screen is determined. From the viewing angle and the corresponding user reference position, The appearance of the broadcast background on the screen is determined. The viewing angle and the corresponding user reference position are In order to complement and conform to broadcast standards for viewing angles, It is preferable to select. In the present invention, The characteristics of the dialogue in each area include: For example, A background area in which the user-controlled foreground CGO can interact, Areas where the user can click with the cursor, Areas linked to click-initiated sources, The type of interaction between the foreground CGO and the interaction area, Is included. However, it is not limited to this. In the present invention, A foreground CGO is generated by processing performed in the foreground CGI device. The foreground CGO is an image controlled by the user, This allows users to Interact with the interaction area defined by the control parameters for each frame. The foreground CGI device sends the foreground CGO to the synthesizer, In the broadcast signal corresponding to each frame of the broadcast, For example, it is superimposed on the background object at a speed of 25 Hz. This allows the position of the foreground CGO, shape, Other characteristics are changed as appropriate by the user's operation, It is updated at the aforementioned speed. The properties updated here are color, sound, Direction of movement, Includes visibility, It is not limited to these. Preferably, The synthesizer is When synthesizing the broadcast background image and the foreground CGO, The foreground CGO is superimposed on the broadcasted background image and background CGO. In the present invention, When measured on the aforementioned three orthogonal axes that define a three-dimensional geometric space, With the foreground CGO, A broadcast background image, Among other display images, A process is performed to determine which pixel is closer to the plane of the TV screen. further, For each pixel position on the screen measured in two-dimensional screen coordinates, For example, pixel attributes such as color When the pixel is measured on the orthogonal three axes at the point projected on the two-dimensional television screen, It represents the attribute of the object closest to the screen. In the present invention, Shape information about the background It is given as a control parameter that defines the background CGO. In the present invention, Objects (eg, foreground C GO, Background CGO, And broadcasted background images, (Not limited to these) when converted to the screen coordinate system, If part of it is out of range of the screen, Between the screen and the user reference position, If you are within range of the screen but farther from the screen than other objects, Don't show that part. This is a process conventionally known as a "culling" process. In preparation for broadcasting, For example, it is recorded in any format such as beta cam format or digital recording format, In the present invention, Before the broadcast, in the data, Alternatively, control parameters are encoded together with the data. The control parameters for each frame of the broadcast are An interaction area defined by two-dimensional screen coordinates, Characteristics of possible dialogue, Contains information such as actions resulting from the dialogue. For example, By interacting with an area, To display certain information, View different data streams included in the broadcast, Further information can be displayed on the screen. In the present invention, For live or real-time broadcasts, Control parameters are generated automatically or semi-automatically. For example, Analyzing each frame of the broadcast on the spot, recognizing a specific shape in the frame image, A vision system is used that automatically recognizes a region to be converted into a dialog region from among the group of recognized shapes. Conversion from the shape recognized by the vision system to the dialogue area For example, artificial intelligence, neural network, Knowledge-based systems, Or enhanced by using a combination of these technologies, as a result, Subject to predetermined rules based on recognition of geometric properties, Such an interaction area and other control parameters can be generated. The rate at which control parameters are generated is It is preferable to match the speed of live broadcasting, The present invention is not limited to this, For example, the speed is the same as the broadcast frame rate (for example, 25 Hz). This is just an example, This technology, combined with live broadcasting, For example, computer games based on real scenes, It can be used for training simulators based on real geographic features and scenarios. In the present invention, Foreground CGO type The user can select from a library of foreground CGOs stored in memory. Also, Libraries are used instead of memory. It may be stored in a data storage device such as a DCROM or a DVD (Digital Versatile Disc) connected to the foreground CGI device. Preferably, Foreground CGO Furthermore, the control parameters can be downloaded to the foreground CGI device at the start of broadcasting or at the time of broadcasting. Such a definition of foreground CGO is: color, shape, texture, Allowed movements, Sound effects, Define features such as on-screen clarity, It is not limited to these. In the present invention, The movement and dialogue of the foreground CGO object Controlled by user input provided by a hand controller (eg, a standard infrared controller or a modified version thereof). And this includes The rules defined by the control parameters of each frame apply. Also, As an input device other than the above, Voice command, mouse, Game controller, Game control pads are also used to control the interaction with the foreground CGO object, The present invention is not limited to these. In the present invention, The characteristics of the foreground CGO match the characteristics of the broadcast. For example, Broadcasting on the theme of road or car driving, Broadcasting where the image representing the road itself is the area for dialogue, For example, it is compatible with foreground CGOs based on vehicles such as cars. The foreground CGO of this car is It is calculated dynamically to be as real as a game console car. To give further examples, For broadcasts with a theme that goes around everywhere, The walking human model is the foreground CGO, Interaction appropriate for such a model, For example, When this foreground CGO passes through the background of the broadcast, the wall cannot be removed, The door defines the control parameters that allow it to pass. Meanwhile, Depending on the broadcast program or theme, The foreground CGO does not have to match the broadcast, An abstract representation of the location of the foreground CGO, For example, cursor, Arrow, It may be like a hand-shaped icon. When the user controls the foreground CGO with the controller, The foreground CGO performs the following functions. That is, Parallel motion and rotational motion about three orthogonal axes, And you can do a combination of these and project onto 2D screen coordinates, Activating sound, Or interact with a defined dialogue area, Take further action depending on the result (for example, information, text, graphic, video, Multimedia format, Or present them in a combined form). In the present invention, Users may optionally provide information about the broadcast, For example, Foreground CGO expression method, Additional information, software, Download control parameters and the like through broadcasting. Preferably, The user also has the option By performing a certain dialog between the foreground CGO and the background CGO, Upload information related to the broadcast program. Such an upload operation Normal, Achieved by communication between the controller and the interactive means. To give further examples, Certain requests uploaded are: Considered as uploaded control parameters, This switches to a different data stream containing additional information. on the other hand, Other uploaded requests are information that is not in the broadcast, These requests are made through telephone lines and modems. Forwarded to the website for a specific program. Users preferably have the option to upload data relevant to the program, For example, Upload the score the user has achieved in the interactive game. To add further explanation, The control parameters and the interaction area defined by such parameters, Thinking as a background CGO, The user operates the foreground CGO using the controller, Let it interact with the background CGO. Without limitation, Preferably, The background CGO contains a coarse shape representation, Visual quality is dramatically improved by the aforementioned texture mapping techniques. As a result, the image broadcast in each frame becomes substantially a full-screen texture. This is called a supertexture (Supertexture). Preferably, The shape of the background CGO is invisible to the user. further, Foreground CGO, Interactive operations defined in control parameters, Background CGO defined in control parameters, By combining the broadcast super texture etc., Interactive CGE comparable to game consoles, Provide based on broadcast technology. Combinations of the above features It gives users the ability to interact with features that appear in the broadcast. The present invention For example, if the user Alternatively, it is applied as a basic technology of a commercial service that is used by paying a fee at regular intervals. In the present invention, Such a payment method, It can also be incorporated into the device. For example, Smart card operation is fine, The user enters credit card information as described above, This is processed using secure transaction protocol technology as upload information, It may be incorporated as an additional interactive function of the controller. Embodiments of the present invention will be described with reference to the accompanying drawings. FIG. 1 is a schematic diagram of an interactive system. FIG. It is a schematic diagram showing organization of a broadcast signal. 3 to 8 It is a figure showing the picture displayed on the screen. FIG. 1 shows a schematic of the device and connection of the present invention. The broadcast of the program From source 1, Through the broadcast medium 7, The broadcast is simultaneously transmitted as a large-capacity broadcast signal 15 including a plurality of data streams (a) to (d). The receiver hardware 2 in the set-top box 14 These data streams are received. Although only one set-top box 14 is shown, In fact, it goes without saying that the large-capacity broadcast signal 15 is always received by a large number of set-top boxes. FIG. FIG. 2 is a schematic diagram illustrating a method of organizing a broadcast signal 15 by a transmission source 1. In FIG. Two data streams 20, Although only 21 (ie, data stream (a) and data stream (b)) are shown, In an actual system, multiple data streams are organized and broadcast simultaneously. In this case, the factor that limits the number of data streams is only the band of the broadcast medium 7. Each data stream 20, 21 is A series of frames of image data for the background object, And control parameters for controlling the interaction with the background image data. The image data of the background object is A series of frames of full screen live-action broadcast video data (frames 22-27); CGI image data 70 to 75 (hereinafter referred to as background CGO). In this example, Frames 22 to 24 A TV frame consisting of three consecutive real-life video data, This shows a room viewed from the center. Also, frames 22 to 24 This is a view of the same room viewed from the side. Background CGO 70-75 A computer generated wall 76 at the back of this room, 77 description, And its three-dimensional position coordinates. The background CGOs 70 to 75 may be simple bitmap data, It may be a CGI program that is loaded into a set-top box and generates a CGI image. further, Each data stream is It includes a series of control parameters such as hot spot coordinates 28-33 and hot spot interaction rules 34-39. The hot spot coordinates 28 to 33 are "Hot spots" 40-45 in the room, When viewed from the respective viewpoints of the data streams (a) and (b), It contains three-dimensional coordinate values representing those positions. Hotspot interaction rules 34-39 are: As described below, Defines the nature of the interaction between the foreground object and the hotspot. Sender 1 also Software motion models 50-52, Foreground super texture data 53 to 55 are generated. The software motion model is Defines the relationship between user input and the movement of the foreground object. Details will be described later. In addition, source 1 A frame identifier 48 is generated that is transmitted with each information frame. For example, item 22, 28, 34, 25, 31, Since all 37 are related to the same frame, The same frame identifier is given. The data stream is organized by compiler 49, The broadcast signal 15 shown in Table 1 is formed. Table 1 An example where the broadcast signal 15 carries 10 data streams is shown. The broadcast signal 15 is composed of a series of time-division multiplexed data packets, They are transmitted in the order shown in Table 1. The first two packets are Supertexture data 53 to 55 and motion models 50 to 52 are included. Packet 3 is This is a data stream identifier for the data stream (a). Packet 4 is This is a frame identifier related to the first frame. Packets 5 to 8 The first frame of the data stream (a) (ie item 22, FIG. 2, 28, 34, 70). Packets 9-14 are Carries the information of the first frame of the data stream (b). Packets 15-62 (not shown) It also carries data for the first frame of the eight data streams. This includes the packet 57 of the data stream (j) identifier, And the packet 58 of the frame identifier of the first frame. afterwards, Starting with packet 63 (identifier of data stream (a)) and packet 64 (identifier of frame 2) The information of the next frame is transmitted. In Table 1, Although background object data and hot spot data are transmitted at the same speed, In some cases (for example, If the background is stationary), These data may be transmitted at different rates. The non-video data 10 in the broadcast signal 15 (that is, the background CGO data 70 to 75, Hot spot coordinates 30, Hot spot dialogue rules 34-39) Passed to computer 3, The first data stream is selected by the upload request signal 11 from the computer 3 to the hardware 2 of the receiver. Background object video data 8 (eg, frames 22-24) in the selected data stream is decoded, It is sent to the synthesizer 4. Computer 3 Generate a foreground CGI image and a background CGI image (defined by a program included in the background CGO data 70 to 72); The calculated CGI representation 16 is sent to the synthesizer 4. Foreground CGO, Background CGO, Video data 8 is Synthesized for each pixel of the TV screen 5, The synthesized signal 17 generated as a result is sent to the television screen 5. A plurality of data streams (a) to (d), Control parameters 10, Selected data stream 8, Upload request signal 11, Foreground and background CGO16, The composite signal is For example, Updated 25 times per second. Foreground CGO, And interaction with the background CGO is controlled by the controller 6. The control signal from the controller is Sent to the computer as indicated by reference numeral 9. This is for example This is to change the expression of the foreground CGO. on the other hand, The background CGO is updated based on the updated broadcast control parameters 10, The recalculated representation 16 is sent to the combiner 17. Requests for upload information or information not included in the broadcast, Follow path 12 through telephone line and modem 18, It is sent to a website 13 corresponding to a specific program. When using the present invention for commercial services, Receiver hardware 2 The user pays the fee through the smart card device 21; To be activated after the control activation signal 22 is sent to the receiver hardware 2; Thus, all the processes are started. 4 to 7 6 shows a display on the television screen 5 during the execution of the interactive game. At the start of the game, Source 1 is The motion models 50 to 52 and the supertexture data 53 to 55 are sent. The data 50-55 are passed to the computer 3, Is stored. So the user Using the controller 6, Characters used in the game, Choose according to your preference. In this example, The user selects the human character 56. The character 56 corresponds to the super texture data 53 and the motion model 50. continue, A data stream as shown in Table 1 is transmitted. An example of a suitable data protocol is MPEG2. at first, Computer 11 A default upload request signal 11 (that is, when there is no input from the controller 6) is automatically generated. Thereby, the television receiver 2 Select the default data stream (a) and decode it. as a result, The image on the screen 5 is an image as shown in FIG. That is, In the background image 57 of the room given by the background object video data 22 to 24, A rear wall 78 generated from the background CGO data 70 to 72; Hot spot 41 (door at the back of the room) Hot spot 40 (for example, Chairs and tables on the floor of the room) A hot spot 42 (fried lid) is added. Computer 3 Generate a coarse CGI image of the character 56, Further, a detailed expression is added by the super texture data 53. For super textures and motion models, It may be added from the CDROM or another storage device 19. The CGI character 56 is sent to the synthesizer 4, Superimposed on the background image 57. By operating the controller 6, The user can move the character 56 in the room as shown by the arrow in FIG. in this case, The range of movement is defined by the movement model 50 related to the character 56. When the user presses the “change view” button on the controller 6, An upload request signal 11 is generated, The television receiver 2 thereby switches the selected data stream 8 to the data stream (b). The view of screen 5 is thereby changed to view 58 of FIG. This is a view defined by the background video data 25 to 27 and the background CGO 73 to 75. Regarding data stream switching, Another method is shown in FIGS. When the character 56 reaches the door 41, The computer 3 detects that the character 56 matches the hot spot 41 (see the hot spot coordinates 28 to 30). And the computer 3 Download the hot spot interaction rules (34 to 36) related to the hot spot 41. The downloaded rule states, "If the character reaches door 41, Open the door by manipulating the background CJO image, Then switch to data stream (j). " Therefore, the computer 3 First, under the control of a program downloaded from the broadcast GGO data 70 to 72, a CGI image in which the door 41 is opened is generated, And sends an upload request signal 11 The television receiver 2 is switched to the data stream (j). here, The data stream (j) includes a view 59 showing different rooms, The hot spots 60 to 62 (FIG. 6) there are included. FIG. 7 shows the “culling” process. Computer 3 Knows the three-dimensional position of the character 56 in the room 57, The location of the hot spot 40 (included in the hot spot coordinates 28-30) is also known. If the character 56 is behind the hot spot 40 when viewed from the current viewing position, Computer 3 recalculates image representation 16 of character 56, In the image of the character 56, The hidden part is not sent to the synthesizer 4. As another example, FIG. 8 shows a two-dimensional game. The background scene 80 is It is one bitmap given as background CGO data. In a competitive game, Two foreground CGI characters 81, 82 is superimposed on the background scene 80, By operating each controller, the user can move the scene 80. In three hot spots 83-85, Each is showing an ad, These follow the hotspot interaction rule, "Characters must not hide advertisements in front of hotspots." With this rule, The computer 3 has a character 81, 82 is controlled so as not to cross in front of the hot spots 83 to 85. In the case of FIG. Since the background is stationary, Background video data and / or background CGO need only be sent once during the game, There is no need to send every frame as when the background moves.

【手続補正書】特許法第１８４条の８第１項【提出日】平成１１年７月６日（１９９９．７．６）【補正内容】Ｋｏｅｎｅｎらによる論文「ＭＰＥＧ−４:ＣｏｎｔｅｘｔａｎｄＯｂｊｅｃｔｉｏｎｓ」ＳｉｇｎａｌＰｒｏｃｅｓｓｉｎｇ:ＩｍａｇｅＣｏｍｍｕｎｉｃａｔｉｏｎ９（１９９７年）の２９５ページから３０４ページによれば、未加工の音声・映像データあるいは合成した音声・映像データを、これに重ねるテキストやグラフィクス画像など他のデータタイプと共に統合する作業を容易にするシステムが開示されている。しかしこの論文では、この技術がフレームベースの映像には適用できないことを認めている。本発明の第１の側面によれば、表示信号を対話的に生成する装置が提供される。この装置は、一連のビデオフレームを含む少なくとも１本のデータストリームと、各ビデオフレームに対応する背景オブジェクトを定義するデータと、制御パラメータとを含む放送信号を受信する受信機と、コンピュータで生成した前景オブジェクトである前景ＣＧＯを生成し、前記背景オブジェクトを基準として前記前景ＣＧＯの位置を監視し、前記前景ＣＧＯと前記背景オブジェクトとを、前記制御パラメータに従って合成し、さらにこれを前記ビデオフレームと合成して前記表示信号を生成する処理システムと、を有する。本発明の第２の側面によれば、表示信号を対話的に生成する方法が提供される。この方法は、一連のビデオフレームを含む少なくとも１本のデータストリームと、各ビデオフレームに対応する背景オブジェクトを定義するデータと、制御パラメータとを含む放送信号を受信を受信し、コンピュータで生成した前景オブジェクトである前景ＣＧＯを生成し、前記背景オブジェクトを基準として前記前景ＣＧＯの位置を監視し、前記前景ＣＧＯと前記背景オブジェクトとを前記制御パラメータに従って合成し、さらにこれを前記ビデオフレームと合成して前記表示信号を生成する。本発明は画面上にリアルタイムにあらわれる実際の放送と対話する機能を提供する。請求の範囲１．表示信号を対話的に生成する装置において、一連のビデオフレームを含む少なくとも１本のデータストリームと、各ビデオフレームに対応する背景オブジェクトを定義するデータと、制御パラメータとを含む放送信号を受信する受信機と、コンピュータで生成した前景オブジェクトである前景ＣＧＯを生成し、前記背景オブジェクトを基準として前記前景ＣＧＯの位置を監視し、前記前景ＣＧＯと前記背景オブジェクトとを、前記制御パラメータに従って合成し、さらにこれを前記ビデオフレームと合成して前記表示信号を生成する処理システムと、を有することを特徴とする装置。２．前記制御パラメータは、前記背景オブジェクトの一つ以上の対話用領域の位置を定義し、前記処理システムは、前記前景ＣＧＯの位置が選択された対話領域の位置と一致する場合に、前記表示信号に変更を加えることを特徴とする請求項１記載の装置。３．前記制御パラメータは、前記対話用領域あるいは各対話用領域に係わる一つ以上のルールを定義し、前記処理システムは、前記選択された対話領域に係わる前記ルールあるいは各ルールに従って前記表示信号に変更を加えることを特徴とする請求項２記載の装置。４．前記処理システムは、前記前景ＣＧＯを変更することによって前記表示信号に変更を加えることを特徴とする先行するいずれかの請求項記載の装置。５．前記放送信号は複数のデータストリームを含み、前記受信機はアップロード要求信号に応答して前記複数のデータストリームの中から一本のデータストリームを選択し、前記装置は、ユーザーからの入力に応じてアップロード要求信号を前記受信機に入力する手段をさらに有することを特徴とする先行するいずれかの請求項記載の装置。６．前記処理システムは、アップロード要求信号を前記受信機に入力することによって前記表示信号に変更を加えることを特徴とする請求項５記載の装置。７．前記処理システムによって生成された前記前景ＣＧＯを制御するための、ユーザーが操作可能なコントローラをさらに有することを特徴とする先行するいずれかの請求項記載の装置。８．前記制御パラメータは、前記背景オブジェクトの造作の三次元位置を定義し、前記処理システムは、前記前景ＣＧＯの前記監視された位置が、前記造作の前記三次元位置の背後にある場合、前記前景ＣＧＯの少なくとも一部を隠すことを特徴とする先行するいずれかの請求項記載の装置。９．表示信号を対話的に生成する方法において、一連のビデオフレームを含む少なくとも１本のデータストリームと、各ビデオフレームに対応する背景オブジェクトを定義するデータと、制御パラメータとを含む放送信号を受信を受信し、コンピュータで生成した前景オブジェクトである前景ＣＧＯを生成し、前記背景オブジェクトを基準として前記前景ＣＧＯの位置を監視し、前記前景ＣＧＯと前記背景オブジェクトとを前記制御パラメータに従って合成し、さらにこれを前記ビデオフレームと合成して前記表示信号を生成する、ことを特徴とする方法。１０．前記放送信号は、複数のデータストリームを含み、前記方法はさらに、前記複数のデータストリームから受信すべき一つのデータストリームを選択するステップを有することを特徴とする請求項９記載の方法。１１．各データストリームは、それぞれ一つの共通な対象に対する別のビューを表わす一連のビデオフレームを含むことを特徴とする請求項１０記載の方法。１２．前記選択するステップは、前記背景ＣＧＯを基準にして前景ＣＧＯが所定の位置にある場合に実行されることを特徴とする請求項１０または請求項１１記載の方法。[Procedure of Amendment] Article 184-8, Paragraph 1 of the Patent Act [Submission date] July 6, 1999 (1999.7.6) [Correction contents] Koenen et al., "MPEG-4: Context and Obj." actions "Signal Processing: Image Comm According to pages 295 to 304 of unication 9 (1997) For example, raw audio / video data or synthesized audio / video data Integrates with other data types, such as text and graphics images. A facilitation system is disclosed. However, this paper shows that this technique is not applicable to frame-based video. Admit. According to a first aspect of the present invention, there is provided an apparatus for interactively generating a display signal. . This device is At least one data stream comprising a series of video frames and each video The data defining the background object corresponding to the frame and the control parameters A receiver for receiving a broadcast signal including A foreground CGO, which is a foreground object generated by a computer, is generated. The position of the foreground CGO is monitored with reference to the foreground object, and the foreground CGO is monitored. Combining the background object with the control parameters, A processing system for generating the display signal by combining with the video frame; Having. According to a second aspect of the present invention, there is provided a method for interactively generating a display signal. . This method At least one data stream comprising a series of video frames and each video The data defining the background object corresponding to the frame and the control parameters Receiving broadcast signal including, Generate a foreground CGO, which is a computer generated foreground object, Monitoring the position of the foreground CGO with respect to the background object, The foreground CGO and the background object are set in accordance with the control parameters. And further synthesizes this with the video frame to generate the display signal. . The present invention provides the ability to interact with actual broadcasts appearing in real time on the screen I do. The scope of the claims 1. In an apparatus for interactively generating a display signal, At least one data stream comprising a series of video frames and each video The data defining the background object corresponding to the frame and the control parameters A receiver for receiving a broadcast signal including A foreground CGO, which is a foreground object generated by a computer, is generated. The position of the foreground CGO is monitored with reference to the foreground object, and the foreground CGO is monitored. Combining the background object with the control parameters, A processing system for generating the display signal by combining with the video frame; An apparatus comprising: 2. The control parameter is one or more interactive areas of the background object. And the processing system determines the location of the foreground CGO in the selected dialogue. A modification is made to the display signal when it coincides with the position of the area. The device of claim 1. 3. The control parameter is related to the conversation area or each conversation area. Defining one or more rules, wherein the processing system is associated with the selected interaction area; That the display signal is changed in accordance with the above rules or each rule. 3. The device according to claim 2, wherein 4. The processing system changes the display by changing the foreground CGO. Apparatus according to any of the preceding claims, wherein the signal is modified. 5. The broadcast signal includes a plurality of data streams, and the receiver transmits One of the plurality of data streams in response to the data request signal. Select an upload request and the device will respond to the input from the user with the upload request signal. Means for inputting a signal to the receiver. Apparatus according to any of the preceding claims, characterized in that: 6. The processing system inputs an upload request signal to the receiver. 6. The apparatus according to claim 5, wherein the display signal is changed by: 7. For controlling the foreground CGO generated by the processing system , Further comprising a user operable controller Apparatus according to any of the preceding claims. 8. The control parameter defines a three-dimensional position of the feature of the background object. In other words, the processing system determines that the monitored location of the foreground CGO is the feature. Hiding at least a portion of the foreground CGO when behind the three-dimensional position of Apparatus according to any of the preceding claims, characterized in that: 9. In a method for interactively generating a display signal, At least one data stream comprising a series of video frames and each video The data defining the background object corresponding to the frame and the control parameters Receiving broadcast signal including, Generate a foreground CGO, which is a computer generated foreground object, Monitoring the position of the foreground CGO with respect to the background object, Combining the foreground CGO and the background object in accordance with the control parameters And further synthesizing this with the video frame to generate the display signal; A method comprising: 10. The broadcast signal includes a plurality of data streams, and the method further comprises: Selecting one data stream to be received from the plurality of data streams. The method of claim 9, comprising the step of: 11. Each data stream is a separate view for one common object. 11. A method according to claim 10, including a series of video frames representing the video frames. . 12. The step of selecting may include foreground CGO based on the background CGO. 11. The method according to claim 10, wherein the processing is executed when the apparatus is at a predetermined position. The method of claim 1.

───────────────────────────────────────────────────── フロントページの続き (81)指定国ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ，ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，ＫＥ，ＬＳ，ＭＷ，ＳＤ，ＳＺ，ＵＧ，ＺＷ)，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ)，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＥ，ＧＨ，ＧＭ，ＧＷ，ＨＵ，ＩＤ，ＩＬ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＳＬ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＵＡ，ＵＧ，ＵＳ，ＵＺ，ＶＮ，ＹＵ，ＺＷ (72)発明者シモンアンソニーヴィヴィアンコーンウェルイギリスエヌダブリュー３４エスエスロンドンイートンロード 11 (72)発明者ディビッドジョンライトイギリスエーエル６０キューアールハートフォードシャーオールドウェルウィンオークランドオールドウッドアカシアハウス (72)発明者リチャードアンドリューキッドイギリスティーダブリュー２５ティーティーミドルセックストッケンナムポープスアベニュー 64────────────────────────────────────────────────── ─── Continuation of front page (81) Designated country EP (AT, BE, CH, CY, DE, DK, ES, FI, FR, GB, GR, IE, I T, LU, MC, NL, PT, SE), OA (BF, BJ , CF, CG, CI, CM, GA, GN, ML, MR, NE, SN, TD, TG), AP (GH, GM, KE, L S, MW, SD, SZ, UG, ZW), EA (AM, AZ , BY, KG, KZ, MD, RU, TJ, TM), AL , AM, AT, AU, AZ, BA, BB, BG, BR, BY, CA, CH, CN, CU, CZ, DE, DK, E E, ES, FI, GB, GE, GH, GM, GW, HU , ID, IL, IS, JP, KE, KG, KP, KR, KZ, LC, LK, LR, LS, LT, LU, LV, M D, MG, MK, MN, MW, MX, NO, NZ, PL , PT, RO, RU, SD, SE, SG, SI, SK, SL, TJ, TM, TR, TT, UA, UG, US, U Z, VN, YU, ZW (72) Inventor Simon Anthony Vivian Koh Nwell United Kingdom N3 34 SSS London Eaton Road 11 (72) Inventor David John Wright UK Elle 60 Q Hertfordshire Old Well Wynn Auckland Old Wood Acacia House (72) Inventor Richard Andrew Kidd United Kingdom TW2 5 Tea Tea Middlesex Tockennam Popes Avenue 64

Claims

[Claims] 1. In an apparatus for interactively generating a display signal, Multiple data streams, each containing image data defining a background object A receiver for receiving a broadcast signal including the broadcast and control parameters, A computer for generating a foreground CGO, which is a foreground object generated by a computer. Computer image generation device (CGI device), Combining the foreground CGO and background object image data from the receiver, A synthesizer for generating the display signal; Receiving the control parameters from the receiver and monitoring the position of the foreground CGO; Referring to the monitored position of the foreground CGO and the received control parameters. Dialogue means for adapting the display signal as An apparatus comprising: 2. The control parameter is one or more interactive areas of the background object. And the dialogue means defines a dialogue area in which the position of the foreground CGO is selected. The display signal is adapted when the position coincides with the position of (1). The described device. 3. The control parameter is related to the conversation area or each conversation area. Defining one or more rules, wherein the interaction means is associated with the selected interaction area Adapting the display signal according to the rules or each rule. 3. The device according to claim 2, wherein: 4. The dialogue means inputs the foreground CGO to the synthesizer. The display signal according to any one of the preceding claims, apparatus. 5. The broadcast signal includes a plurality of data streams, The receiver is a single data selected from the plurality of data streams. Sending background object image data from the stream to the synthesizer, The one selected data stream is selected according to an upload request signal. Selected, The device transmits an upload request signal to the receiver in response to an input from a user. Further comprising means for inputting to Apparatus according to any of the preceding claims, characterized in that: 6. The interactive means inputs an upload request signal to the receiver. 6. The device according to claim 5, wherein the display signal is adapted. 7. To control the foreground CGO generated by the foreground CGI device Further comprising a user operable controller. An apparatus according to any of the preceding claims. 8. The control parameter defines a three-dimensional position of the feature of the background object. In other words, the dialogue means determines that the monitored position of the foreground CGO is before the feature. Hiding at least a portion of the foreground CGO when behind the three-dimensional location. Device according to any of the preceding claims, characterized by the features. 9. The image data defining the background object may include video data. Apparatus according to any of the preceding claims, characterized in that: 10. In a method for interactively generating a display signal, Multiple data streams, each containing image data defining a background object Receiving a broadcast signal including the Generate a foreground CGO, which is a computer generated foreground object, Combining the foreground CGO and the background object image data to generate the display signal Produces Monitor the position of the foreground CGO, Refer to the monitored position of the foreground CGO and the received control parameter To adapt the display signal, A method comprising: