JP2002508095A

JP2002508095A - 表示信号を生成する方法及び装置

Info

Publication number: JP2002508095A
Application number: JP50399299A
Authority: JP
Inventors: ホームズスティーブン; アンソニーヴィヴィアンコーンウェルシモン; ジョンライトディビッド; アンドリューキッドリチャード
Original assignee: ツーウェイティーブィリミテッド
Priority date: 1997-06-18
Filing date: 1998-06-18
Publication date: 2002-03-12
Also published as: US7095450B1; NZ501348A; CA2293775A1; ES2179514T3; EP0989892B1; AU729838B2; PT989892E; AU8118098A; ATE216909T1; WO1998057718A1; DE69805176D1; DE69805176T2; EP0989892A1; GB9712724D0

Abstract

(57)【要約】表示信号を対話的に生成する装置。本装置は、それぞれが背景オブジェクト（２２〜２７０）を定義する画像データを含む複数のデータストリームと制御パラメータ（２８〜３９）を含む放送信号（１５）を受信する受信機（２）と、コンピュータで生成した前景オブジェクトである前景ＣＧＯを生成するコンピュータ画像生成装置（ＣＧＩ装置）（３）と、前記前景ＣＧＯと背景オブジェクト画像データとを合成し、前記表示信号を生成する合成器（４）と、前記制御パラメータを前記受信機から受信し、前記前景ＣＧＯの位置を監視し、前記監視された前記前景ＣＧＯの位置と前記受信した制御パラメータとを参照して前記表示信号を適応させる対話手段（３）と、を有する。

Description

【発明の詳細な説明】表示信号を生成する方法及び装置本発明は、表示信号を対話的に生成する方法及び装置に関する。従来のテレビ放送は、送信機からユーザーまでの距離による信号伝送時間の多少の違いを無視すれば、全視聴者について時間的に同期している。従って放送時においては、全視聴者同じ信号を一様に、しかも実質的に瞬時に受け取ることになる。対話形式のメディア、例えば「ＴｗｏＷａｙＴＶ」や「ＷｅｂＴＶ」のようなメディアでは、視聴者は一般にテレビ画面上の特定の対話用領域を使って対話するようになっている。例えばテレビ画面を主放送用領域と対話用領域とに分割し、インターネット情報や、オンスクリーン・メニューや、主放送に関連する情報を、対話用領域を通して供給する。これらのシステムでは、画面上に固定的に用意された対話領域においてユーザーがシステムに働きかけ、システムはこれに応答して情報を提供する。このように現在のシステムではテレビ放送側との対話は限定されたものであるが、これに比べてコンピュータゲーム機（例えば、ソニー・プレイステーション、セガ・サターン、ニンテンドー６４）ではテレビ画面あるいは専用の画面を通して提供され、各視聴者はテレビに現れる画像やサウンドとユニークな対話を行なうことができる。こうした画像やサウンドは、ユーザーのアクションに応じて、ゲーム機がコンピュータ技術を使って処理するものである。一般に、ユーザーが知覚するＴＶ環境（画像やサウンドや他の知覚的信号を含む）は、ゲーム機の中でコンピュータを使って生成される。これらはＴＶ環境において、例えばサウンドのようなディジタルデータとして予め用意されたデータを使用することもある。このようなＴＶ環境をコンピュータ生成環境（ＣＧＥ：computer generated environment）と呼び、また特に画像の場合、コンピュータ生成画像（ＣＧＩ：c omputer generated imagery）と呼ぶ。こうしたゲーム機やＣＧＥは、通常２５フレーム／秒すなわち２５Ｈｚを超える高い頻度で画面を更新する。これにより滑らかで切れ目のない動画像を提供するとともに、ユーザーのアクションに対して瞬時に、即ちリアルタイムに応答しているような感覚を与える。各フレームがばらばらに見えるようなことはなく、ユーザーにとってはあたかもリアルタイムにＣＧＥを制御し、またこれと対話しているように感じられるので、全体としてリアルタイムで動的な環境ができる。リアルタイムＣＧＥは、できる限り現実感の高いものであることが望ましい。そして一般に、より高い現実感はより高度なコンピュータの処理能力と、現実感と処理能力との兼合いにおいて最も効率的な表現法を採用することによって達成される。例えば、ＣＧＩの最も効率的な表現法は、比較的粗いポリゴンによる多面形状モデルを使ったものである。このモデルでは、一般に、より複雑な形状をした部分のポリゴン分布が最も細かくなるようにする。表面の造作を表現する実写によるテクスチャを各ポリゴンの面上に写像する処理は、「テクスチャマッピング」と知られているが、この処理を施すことにより、比較的粗いポリゴンによる形状表現でも比較的リアルなＣＧＩを作成することができる。ＣＧＩにおいて、テクスチャが張り付けられたポリゴンの数と、フレーム／秒で測られる画像更新レートの積を計算することにより、コンピュータが処理しなければならない一秒当たりのテクスチャ付ポリゴン数が得られる。これは１，０００，０００ポリゴン／秒といった数字になる。対話型テレビ放送の視聴者に提供される対話性のレベルは限定されたものであり、従ってこのような媒体を使うアプリケーションにも制約を与えるものであった。さらに、ゲーム機の対話性は対話型ＴＶのそれよりも高度ではあるが、その場合のＣＧＥのテーマは、実際には例えばＣＤＲＯＭや、カートリッジや、インターネットや、ＣＧＥ型のゲームを走らせるための適当なハードウェアを備えたテレビへの放送や、その他の手段によってゲーム機にロードされる特定のゲームに限定されたものに過ぎなかった。本発明の第１の側面によれば、表示信号を対話的に生成する装置が提供される。この装置は、それぞれが背景オブジェクトを定義する画像データを含む複数のデータストリームと制御パラメータとを含む放送信号を受信する受信機と、コンピュータで生成した前景オブジェクトである前景ＣＧＯを生成するコンピュータ画像生成装置（ＣＧＩ装置）と、前記前景ＣＧＯと前記受信機からの背景オブジェクト画像データとを合成し、前記表示信号を生成する合成器と、前記制御パラメータを前記受信機から受信し、前記前景ＣＧＯの位置を監視し、前記監視された前記前景ＣＧＯの位置と前記受信した制御パラメータとを参照して前記表示信号を適応させる対話手段とを有する。本発明の第２の側面によれば、表示信号を対話的に生成する方法が提供される。この方法は、それぞれが背景オブジェクトを定義する画像データを含む複数のデータストリームと制御パラメータとを含む放送信号を受信し、コンピュータで生成した前景オブジェクトである前景ＣＧＯを生成し、前記前景ＣＧＯと前記背景オブジェクト画像データとを合成して前記表示信号を生成し、前記前景ＣＧＯの位置を監視し、前記監視された前記前景ＣＧＯの位置と前記受信した制御パラメータとを参照して前記表示信号を適応させる。本発明は画面上にリアルタイムにあらわれる実際の放送と対話する機能を提供する。本発明の方法と装置は、普通、ＴＶ受像機と共に使用されるものであり、通常はゲーム機と連携する放送内容との何段階かの対話を可能にする。これによりテレビ画面上に表示される本放送の中での対話を行なうことができる。これは、以降、前景ＣＧＯ（foreground CGO）と呼ぶ一つのＣＧＥをユーザーすなわち視聴者に対して与える。ＣＧＯとはコンピュータで生成されたオブジェクト（comput er generated object）を意味する。このＣＧＥすなわち前景ＣＧＯは、例えばディジタル地上放送、衛星放送、ケーブルＴＶなどの放送媒体を通じて配信される放送信号と相互作用する。この放送信号において、背景オブジェクトは、普通、放送中に連続的に変化する。これはあるプログラムから別のプログラムへの変化だけでなく、フレーム毎の変化であって、そのレートは例えば２０Ｈｚ以上である。本発明では、前景ＣＧＯを通じ、放送の中で表示される複数のオブジェクトとの対話を画面全体で可能にしていることである。ここで言うオブジェクトは例えば目に見えるオブジェクトであるが、そうでない場合もあり得る。オブジェクトは放送データの更新に合わせてその位置や形状や動きや行動を変えるかもしれないが、そのような場合でも上述の対話を行なうことが可能である。さらに、必要であれば、このようなオブジェクトとの対話の特性も放送の速度にて変更することができる。ここで言う「放送」とは、あらゆる送信メディアからあらゆる表示装置までを含むものとする。送信メディアとは例えば、ディジタル地上放送、ケーブルＴＶ、衛星放送を含むが、これらに限定するものではない。また表示装置とは、ＴＶ、コンピュータ、ゲーム機を含むが、これらに限定するものではない。普通、放送とは一般視聴者を対象とする放送（つまり複数のＴＶやコンピュータやゲーム機に対して同時に信号を送信すること）である。また、信号はインターネットで同報送信してもよい。ここで「データストリーム」とは、ある同じプログラムに関する異なる放送内容を指す。全データストリームは実質的に同時に放送される。「プログラム」とは、同じプログラムに関連する一連のデータストリームをまとめたものを意味する。ここで、ある放送プログラムを構成する各データストリームは時間的に同期化される。また複数のデータストリームは、同じ内容に関連するものであるが、例えばその同じ内容について違った別のビューを与えるものである。ここで言う「ＣＧＥ」は、静止画像、動的画像、サウンド、リアルタイム映像、リアルタイム音声信号などのマルチメディア表現を含むものとする。ただしこれらに限定するものではない。ここで言う「前景ＣＧＯ」、「前景ＣＧＥ」、「前景」は、放送には含まれず、コンピュータによって生成されるものであって、テレビ画面では放送画像に重ねて表示されるか、あるいはテレビ画面の一部として別に設けられた対話用領域に表示されるか、の何れかあるいは全ての表現法に関するものとする。あるいは、「前景ＣＧＯ」、「前景ＣＧＥ」、「前景」は、放送には含まれず、テレビ画面に表示されるような表現法にも、されないような表現法にも適用し得るものである。例えば、前景ＣＧＯと背景オブジェクトの間の相互作用を計算する際に、前景ＣＧＯの一部を幾何学的な参照対象として使用するために、これをユーザーすなわち視聴者からは見えないようにすることができる。「コンピュータで生成された」、「コンピュータ処理」、「コンピュータで生成した画像」、「コンピュータで生成した環境」などと言う場合の「コンピュータ」とは、前景ＣＧＥを処理するあらゆる装置、機器、ハードウェア、ソフトウェア、これらの一部分、あるいはこれらの組合わせを意味する。例としては、コンピュータ、セットトップ・ボックス（例えば、General Instruments社製、Pace Micro Technology社製）、ゲーム機(例えば、ソニー製、セガ製、任天堂製)、これらの一部分、あるいはカスタマイズされたハードウェアがあげられる。またカスタマイズされたハードウェアには、コンピュータのメモリや、プロセッサや、オプションとしてグラフィックス・プロセッサが含まれるが、これらに限定するものではない。ここで言う「ＴＶ画面」、「表示画面」は、あらゆる表示装置や、表示システムや、表示要素を含む組立品を包含するものとする。例えば、テレビ画面、コンピュータのモニタ装置、画像投影システム、ヘッドマウント型表示器があげられるが、これらに限定するものではない。ここで言う「受信機ハードウェア」とは、放送データストリーム、すなわち受信機ハードウェアへの入力を放送媒体から受信するとともに、信号、すなわち受信機ハードウェアの出力を合成器に出力するための、あらゆる装置、機器、ハードウェア、ソフトウェア、これらの一部分、あるいはこれらの組合わせを意味する。これは例えば、デコーダと呼ばれる場合がある。受信機ハードウェアの例としては、コンピュータ、セットトップ・ボックス（例えば、General Instruments社製、Pace Micro Te chnology社製）、ゲーム機（例えば、ソニー製、セガ製、任天堂製）、これらの一部分、およびカスタマイズされたハードウェアがあげられる。またカスタマイズされたハードウェアには、コンピュータのメモリや、プロセッサや、オプションとしてグラフィックス・プロセッサが含まれるが、これらに限定するものではない。「基準ユーザー位置」あるいは「ユーザー位置」とは、ユーザーの位置をテレビ画面の平面から、垂直な方向に沿って計測した距離を表わす。この距離とユーザー位置とは純粋に計算目的にのみ使用されるものであって、実際のユーザーの位置に関して、通常の物理的制約以上の何等の制約を加えるものではない。ここで「視聴者」と「ユーザー」は一般性を失うことなく同じ意味の用語として使用するものとする。ここで言う「コントローラ」、「ハンドコントローラ」は、前景ＣＧＯ、および背景ＣＧＯとの対話をユーザーが制御するのに使用するあらゆる装置を意味する。これには、動きや相互作用、また、他のデータあるいは情報をアップロード、ダウンロードする要求を含むが、これらに限定するものではない。例えば、コントローラは、ボタン操作あるいは音声で直接操作する、赤外線機器とすることもできる。本発明においては、プログラムに関連する複数のデータストリームを放送信号を通じて送る。各データストリームは、例えば、別のビュー、ユーザーが選択可能なビュー、他のデータストリームのうち一つ以上のデータストリーム上の対応するフレームに関連する付加情報などを表わす。各データストリームは例えば２５Ｈｚで更新される。これらの複数のデータストリームは時分割多重、すなわち一つの周波数で順次送信するか、または別の方法として周波数多重、すなわちデータストリーム毎に異なる周波数を使って同時に送信する。本発明においては、放送信号の中で、制御パラメータを各データストリームに載せて送り、これらは放送されるデータストリームの各フレームに時間的に同期化される。フレームの送信レートは、例えば２５フレーム/秒である。こうした制御パラメータは、前景ＣＧＯと背景ＣＧＯあるいは各フレームの放送との間でユーザーが行なう対話操作を定義するものである。そしてこれらの制御パラメータおよびこれに関連して定義された対話操作は、例えば２５Ｈｚで変化する。対話手段は、これらの制御パラメータを、放送されたデータストリームの中のその特定のフレームの対話操作を定義するのに使用する。放送信号は、普通、同じプログラムに関連する複数のデータストリームと、時間的に同期化された制御パラメータを含んでいる。例えばセットトップ・ボックスあるいはその一部である受信機ハードウェアが、この放送を受信する。この受信機ハードウェアは、復号化された放送画像を所定の速度（例えば２５Ｈｚ）で合成器に送る。本発明においては、対話手段は制御パラメータを並行して同時に受信し、放送信号の各フレームについて、対話用の領域および対話の特性が各フレームに格納される。例えば、対話用領域は、テレビ画面の実質的２次元平面に対して所定の視角をもって投影される３本の直交する軸に沿った座標値として定義される。その結果、放送の各フレームに重ね合わされた対話用領域の２次元表現を得ることができる。そしてこのようなフレームとこれに関連する対話用領域は、例えば２５Ｈｚの更新速度で変化する。視角は例えば水平面で９０度とすると、これによって、コンピュータが三次元モデルから二次元画面への投影計算をするために必要なユーザー基準位置が定まる。視角とこれに対応するユーザー基準位置から、画面上の放送背景の見え具合が決まる。視角とこれに対応するユーザー基準位置は、視認可能な角度についての放送規格を補完しこれに適合すべく、選択することが好ましい。本発明においては、各領域の対話の特性としては、例えば、ユーザー制御の前景ＣＧＯが対話できる背景領域、ユーザーがカーソルを使ってクリックできる領域、クリックで起動される情報源にリンクした領域、前景ＣＧＯと対話用領域との間の対話のタイプ、が含まれる。ただしこれに限定するものではない。本発明においては、前景ＣＧＩ装置内で行われる処理により前景ＣＧＯを生成する。前景ＣＧＯはユーザーが制御する画像であり、これによりユーザーは、各フレームの制御パラメータで定義される対話用領域と対話する。前景ＣＧＩ装置は前景ＣＧＯを合成器に送り、放送の各フレームに対応する放送信号内において、例えば２５Ｈｚの速度で背景オブジェクトに重ね合わせる。これによって前景ＣＧＯの位置、形状、その他の特性がユーザーの操作によって適宜変更され、前記の速度で更新される。ここで更新される特性には色、サウンド、動きの方向、可視性が含まれているが、これらに限定されるものではない。好ましくは、合成器は、放送された背景画像と前景ＣＧＯを合成する際、放送された背景画像および背景ＣＧＯの上に前景ＣＧＯを重ねるようにして合成する。本発明においては、三次元幾何空間を定義する前述の直交３軸において測った場合、前景ＣＧＯと、放送された背景画像と、その他の表示画像のうち、どの画素がよりＴＶ画面の平面に近いかを判断する処理を行なう。さらに、二次元スクリーン座標で測った画面の各画素の位置に対して、例えば色などの画素の属性は、その画素が二次元テレビ画面に投影された点において前述の直交３軸で測った場合に、画面に最も近いオブジェクトの属性を表わすものとする。本発明においては、背景に関する形状情報は、背景ＣＧＯを定義する制御パラメータとして与えられる。本発明においては、オブジェクト（例えば前景ＣＧＯ、背景ＣＧＯ、および放送された背景画像などであるが、これらに限定されない）をスクリーン座標系に変換した時に、その一部分が画面の範囲外にあるか、画面とユーザー基準位置の間にあるか、画面の範囲内にあるが他のオブジェクトに比して画面から遠い位置にある場合には、その部分を表示しない。これは「ｃｕｌｌｉｎｇ」処理として従来から知られている処理である。放送に備えてデータは、例えばベータカム形式あるいはディジタル録画形式など何等かの形式で記録されているが、本発明においては、放送の前にそのデータの中に、あるいはそのデータと共に制御パラメータがエンコードされる。放送の各フレームの制御パラメータは、二次元スクリーン座標で定義された対話用領域、可能な対話の特性、対話から生じるアクションなどの情報を含む。例えば、ある領域を使用して対話することによって、ある情報を表示したり、放送に含まれる別のデータストリームを表示したり、さらに別の情報を画面に表示したりすることができる。本発明においては、生放送つまりリアルタイムな放送の場合、制御パラメータは自動的または半自動的に生成される。例えば、放送の各フレームをその場で解析してフレーム画像内の特定の形状を認識し、そうして認識された形状のグループの中で自動的に対話用領域に変換すべき領域を認識するようなビジョンシステムを使用する。ビジョンシステムが認識した形状から対話用領域への変換は、例えば人工知能、ニューラルネットワーク、知識ベースシステム、あるいはこれらの組み合わせた技術を使うことによって強化され、その結果、形状的特性の認識に基づいた所定のルールの対象となる、こうした対話用領域やその他の制御パラメータを生成することができる。制御パラメータを生成する速度は、生放送の速度と見合ったものであることが好ましく、本発明はこれに限定されるものではないが、例えば放送のフレームレート（例えば２５Ｈｚ）と同速度とする。これは一例に過ぎないが、生放送と組み合わせるこの技術は、例えば現実の場面に基づいたコンピュータゲームや、現実の地理的な特徴やシナリオに基づいたトレーニング用シミュレータに使用することができる。本発明においては、前景ＣＧＯのタイプを、メモリに格納された前景ＣＧＯのライブラリからユーザーが選択できる。また、ライブラリはメモリの代わりに、前景ＣＧＩ装置に接続されたＤＣＲＯＭやＤＶＤ(Digital Versatile Disc)などのデータ記憶装置に格納してもよい。好ましくは、前景ＣＧＯは、さらに制御パラメータの放送開始時か放送時に前景ＣＧＩ装置にダウンロードできるようにする。前景ＣＧＯのこのような定義は、色、形状、テクスチャ、許される動き、サウンド効果、画面上の明瞭度などの機能を定義するが、これらに限定するものではない。本発明においては、前景ＣＧＯオブジェクトの動きと対話は、ハンドコントローラ（例えば標準の赤外線コントローラあるいはその改良版）で与えられるユーザー入力によって制御される。そしてこれには、各フレームの制御パラメータによって定義されるルールが適用される。また、上記以外の入力装置として、音声指令、マウス、ゲームコントローラ、ゲーム用操作パッドなども前景ＣＧＯオブジェクトと対話を制御するのに使用されるが、本発明はこれらに限定するものではない。本発明においては、前景ＣＧＯの特性は放送の特性と合致している。例えば、道路あるいは車のドライブをテーマとする放送であって、道路を表現する画像自体が対話用領域となっているような放送は、例えば自動車のような乗り物に基づく前景ＣＧＯと適合する。この自動車の前景ＣＧＯは、ゲーム機の自動車と同程度に本物らしく動くように力学的に計算される。さらに例をあげると、各所を見てまわるようなテーマを持つ放送の場合、歩き回る人間のモデルを前景ＣＧＯとし、このようなモデルに相応しい相互作用、例えば、この前景ＣＧＯが放送の背景を通過する時は壁は抜けられないが、ドアは通過できるようにする制御パラメータを定義するようにする。また一方、放送プログラムやテーマによっては、前景ＣＧＯは放送に合っていなくてもよく、前景ＣＧＯの位置の抽象的表現、例えばカーソル、矢印、手の形をしたアイコンのようなものであってもよい。ユーザーが前景ＣＧＯをコントローラで制御すると、その前景ＣＧＯは以下のような機能を実行する。すなわち、平行運動や直交３軸まわりの回転運動、そしてこれらの組み合わせを行なって二次元スクリーン座標に投影したり、サウンドを起動したり、あるいは定義された対話用領域と相互作用したりして、その結果によってさらなるアクションを起こす（例えば、情報を、テキスト、グラフィック、ビデオ、マルチメディア形式、あるいはこれらを組み合わせた形式で提示する）。本発明においては、ユーザーはオプションとして放送に関する情報、例えば、前景ＣＧＯ表現法、付加情報、ソフトウェア、制御パラメータなどを放送を通じてダウンロードする。好ましくは、ユーザーはさらにオプションとして、前景ＣＧＯと背景ＣＧＯとの間である特定の対話を行なうことにより、放送プログラムに関係する情報をアップロードする。このようなアップロード動作は、通常、コントローラと対話手段の間の通信によって達成される。さらに例を挙げると、アップロードされたある種の要求は、アップロードされた制御パラメータと考えられ、これによって追加情報を含んだ異なるデータストリームにスイッチする。一方、他のアップロードされた要求は放送の中にはない情報であり、これらの要求は電話回線とモデムを通じて、特定のプログラムのためのウェブサイトに転送される。ユーザーはプログラムに関係のあるデータをアップロードするオプションを有することが好ましく、例えば、ユーザーが対話型ゲームで達成したスコアをアップロードする。さらに説明を加えるなら、制御パラメータおよびそのようなパラメータで定義される対話用領域を、背景ＣＧＯとして考え、ユーザーはコントローラを使って前景ＣＧＯを操作し、それを背景ＣＧＯと相互作用させる。限定するものではないが、好ましくは、背景ＣＧＯは粗い形状表現を含むが、視覚的品質は前述のテクスチャマッピング技術により劇的に改善される。これにより各フレームで放送される画像は実質的にフルスクリーンのテクスチャとなる。これをスーパーテクスチャ（Ｓｕｐｅｒｔｅｘｔｕｒｅ）と呼ぶ。好ましくは、背景ＣＧＯの形状はユーザーには見えない。さらに、前景ＣＧＯや、制御パラメータに定義された対話操作や、制御パラメータに定義された背景ＣＧＯや、放送されたスーパーテクスチャなどを組合わせることにより、ゲーム機に匹敵する対話型ＣＧＥを、放送技術に基づいて提供する。上述の機能の組み合わせは、放送の中に現れる機能と対話する能力をユーザーに与えるものである。本発明は、ユーザーが例えばプログラム毎、あるいは一定時間毎に料金を支払って利用する商用サービスの基盤技術として応用される。また本発明においては、このような支払い方法を、装置に組み込むこともできる。例えば、スマートカードの操作でもよいし、前述のようにユーザーがクレジットカード情報を入力し、これをアップロード情報として安全なトランザクションプロトコル技術を使って処理するなど、コントローラの付加的な対話機能として組み込んでもよい。本発明の実施の形態を以下の添付図面を参照して説明する。図１は、対話型システムの概略図である。図２は、放送信号の編成を示す概略図である。図３〜８は、画面に表示された画像を示す図である。図１は、本発明の装置と接続の概略を示す。プログラムの放送は、送信元１から、放送媒体７を通じて、複数のデータストリーム（ａ）〜（ｄ）からなる大容量放送信号１５として一斉送信される。セットトップ・ボックス１４内の受信機ハードウェア２は、これらのデータストリームを受信する。セットトップ・ボックス１４は１台しか図示されていないが、実際には大容量放送信号１５は常に多数のセットトップ・ボックスによって受信されていることは言うまでもない。図２は、送信元１による放送信号１５の編成方法を示す概略図である。図２においては、２本のデータストリーム２０、２１（すなわちデータストリーム（ａ）およびデータストリーム（ｂ））しか図示していないが、実際のシステムでは多数のデータストリームが編成されて同時に放送される。この場合のデータストリーム数を制限する要因は放送媒体７の帯域のみである。各データストリーム２０、２１は、背景オブジェクトの画像データの一連のフレームと、背景画像データとの相互作用を制御する制御パラメータとを含んでいる。背景オブジェクトの画像データは、フルスクリーンの実写放送ビデオデータ（フレーム２２〜２７）の一連のフレームと、ＣＧＩ画像データ７０〜７５（以降これを背景ＣＧＯと呼ぶ）とを含む。この例では、フレーム２２〜２４は、３枚の連続した実写ビデオデータからなるＴＶフレームであり、ある部屋を中心位置から眺めた様子を示している。またフレーム２２〜２４は、同じ部屋を横の方の位置から眺めたビューである。背景ＣＧＯ７０〜７５は、コンピュータで生成したこの部屋の後側の壁７６、７７の記述と、その三次元位置座標とを含んでいる。背景ＣＧＯ７０〜７５は単純なビットマップデータでもよいし、セットトップ・ボックスにロードされてＣＧＩ画像を生成するＣＧＩプログラムとしてもよい。さらに、各データストリームは、ホットスポット座標２８〜３３やホットスポット対話ルール３４〜３９といった一連の制御パラメータを含む。ホットスポット座標２８〜３３は、部屋の中の「ホットスポット」４０〜４５を、データストリーム（ａ）と（ｂ）のそれぞれの視点から眺めたときの、それらの位置を表わす三次元座標値を含んでいる。ホットスポット対話ルール３４〜３９は、以下に述べるように、前景オブジェクトとホットスポットの間の相互作用の特性を定義する。送信元１はまた、ソフトウェア動きモデル５０〜５２と、前景スーパーテクスチャ・データ５３〜５５を生成する。ソフトウェア動きモデルは、ユーザー入力と前景オブジェクトの動きの間の関係を定義する。詳細は後述する。さらに送信元１は、各々の情報フレームと共に送信されるフレーム識別子４８を生成する。例えば項目２２、２８、３４、２５、３１、３７は全て同じフレームに係わるものであるので、同一のフレーム識別子が与えられる。データストリームはコンパイラ４９によって編成され、表１に示す放送信号１５が形成される。表１は、放送信号１５が１０本のデータストリームを搬送する場合の例を示す。放送信号１５は一連の時分割多重データパケットから構成され、表１に示す順に送信される。最初の二つのパケットは、スーパーテクスチャ・データ５３〜５５と動きモデル５０〜５２を含んでいる。パケット３は、データストリーム（ａ）に係わるデータストリーム識別子である。パケット４は、第１フレームに係わるフレーム識別子である。パケット５〜８は、データストリーム（ａ）の第１フレーム（すなわち図２の項目２２、２８、３４、７０）に係わるデータを含んでいる。パケット９〜１４は、データストリーム（ｂ）の第１フレームの情報を運ぶ。パケット１５〜６２（図示せず）は、さらに８本のデータストリームの第１フレームに係わるデータを運ぶ。これにはデータストリーム（ｊ）識別子のパケット５７、および第１フレームのフレーム識別子のパケット５８が含まれている。その後、パケット６３（データストリーム（ａ）の識別子）とパケット６４（フレーム２の識別子）を先頭に、次のフレームの情報が送信される。表１では、背景オブジェクトデータとホットスポットデータが同じ速度で送信されるものとしているが、場合によっては（例えば、背景が静止している場合）、これらのデータは異なる速度で送信されることもある。放送信号１５中の非映像データ１０（すなわち背景ＣＧＯデータ７０〜７５、ホットスポット座標３０、ホットスポット対話ルール３４〜３９）は、コンピュータ３に渡され、コンピュータ３から受信機のハードウェア２に対するアップロード要求信号１１によって最初のデータストリームが選択される。選択されたデータストリームの中の背景オブジェクトビデオデータ８（例えばフレーム２２〜２４）は復号化され、合成器４に送られる。コンピュータ３は、前景ＣＧＩ画像と背景ＣＧＩ画像（背景ＣＧＯデータ７０〜７２に含まれるプログラムによって定義される）を生成し、計算されたＣＧＩ表現１６は合成器４に送られる。前景ＣＧＯ、背景ＣＧＯ、ビデオデータ８は、テレビ画面５の各画素ごとに合成され、その結果生成された合成信号１７はテレビ画面５に送られる。複数のデータストリーム（ａ）〜（ｄ）、制御パラメータ１０、選択されたデータストリーム８、アップロード要求信号１１、前景および背景ＣＧＯ１６、合成信号は、例えば、毎秒２５回更新される。前景ＣＧＯ、および背景ＣＧＯとの対話はコントローラ６によって制御される。コントローラからの制御信号は、参照番号９で示すようにコンピュータに送られる。これは例えば、前景ＣＧＯの表現を変更するものである。一方、背景ＣＧＯは更新された放送制御パラメータ１０に基づいて更新され、再計算された表現１６が合成器１７に送られる。アップロード情報あるいは放送に含まれない情報の要求は、電話回線とモデム１８を通じて経路１２をたどり、特定のプログラムに対応したウェブサイト１３に送られる。本発明を商用サービス用に利用する場合は、受信機ハードウェア２は、スマートカード装置２１を通してユーザーが料金支払いを行ない、制御起動信号２２が受信機ハードウェア２に送られた後で起動されるようにし、これによって全ての処理を開始するようにする。図４〜７は、対話型ゲームを行なっている間のテレビ画面５の表示を示す。ゲーム開始時、送信元１は、動きモデル５０〜５２とスーパーテクスチャ・データ５３〜５５を送る。データ５０〜５５はコンピュータ３に渡され、格納される。そこでユーザーは、コントローラ６を使って、ゲームで使用するキャラクタを、自分の好みに応じて選択する。この例では、ユーザーは人間のキャラクタ５６を選択する。このキャラクタ５６はスーパーテクスチャ・データ５３と動きモデル５０に対応している。続いて、表１に示すようなデータストリームが送信される。好適なデータプロトコルの例としてＭＰＥＧ２が挙げられる。初めに、コンピュータ１１は、デフォルトの（すなわちコントローラ６から何も入力がない場合の）アップロード要求信号１１を自動的に生成する。これによってテレビ受信機２は、デフォルトのデータストリーム（ａ）を選択してこれを復号化する。その結果、画面５上の画像は図３に示すような画像となる。すなわち、背景オブジェクトビデオデータ２２〜２４で与えられる部屋の背景画像５７に、背景ＣＧＯデータ７０〜７２から生成される後側の壁７８と、ホットスポット４１（部屋の奥のドア）と、ホットスポット４０（例えば、部屋のフロアにおかれた椅子やテーブルなどの造作）と、ホットスポット4２（揚げ蓋）とが付加されている。コンピュータ３は、キャラクタ５６の粗いＣＧＩ画像を生成し、さらにスーパーテクスチャ・データ５３で細かな表現を加える。スーパーテクスチャや動きモデルに関しては、ＣＤＲＯＭやその他の記憶装置１９から追加されることもある。ＣＧＩキャラクタ５６は合成器４に送られ、背景画像５７に重畳される。コントローラ６を操作することによって、ユーザーはキャラクタ５６を図３の矢印で示すように部屋の中で動かすことができる。この場合、動きの範囲はキャラクタ５６に係わる動きモデル５０で定義される。ユーザーがコントローラ６の「ビュー変更」ボタンを押すと、アップロード要求信号１１が発生し、テレビ受信機２はこれによって選択データストリーム８をデータストリーム（ｂ）に切り換える。画面５のビューはこれによって図４のビュー５８に変わる。これは背景映像データ２５〜２７と背景ＣＧＯ７３〜７５によって定義されるビューである。データストリームの切り換えに関して、別の方法を図５と６に示す。キャラクタ５６がドア４１に達したとき、コンピュータ３は（ホットスポット座標２８〜３０を参照して）キャラクタ５６がホットスポット４１に一致したことを検出する。そしてコンピュータ３は、ホットスポット４１に係わるホットスポット対話ルール（３４〜３６）をダウンロードする。ダウンロードされたルールには「もしキャラクタがドア４１に達したら、背景ＣＪＯ画像を操作してドアを開け、その後データストリーム（ｊ）に切り換えよ」と規定されている。従ってコンピュータ３は、（放送ＧＧＯデータ７０〜７２からダウンロードされたプログラムの制御下で）まずドア４１が開くＣＧＩ画像を生成し、そしてアップロード要求信号１１を送って、テレビ受信機２がデータストリーム（ｊ）に切り替えるようにする。ここで、データストリーム（ｊ）は異なる部屋の様子を示すビュー５９と、そこでのホットスポット６０〜６２（図６）を含んでいる。「ｃｕｌｌｉｎｇ」処理を図７に示す。コンピュータ３は、部屋５７内のキャラクタ５６の三次元位置を把握しており、ホットスポット４０の位置（ホットスポット座標２８〜３０に含まれる）も分かっている。もし現在の視聴位置から眺めてキャラクタ５６がホットスポット４０の背後にあるなら、コンピュータ３はキャラクタ５６の画像表現１６を再計算し、キャラクタ５６の画像のうち、隠れている部分については合成器４に送らない。別の例として、二次元のゲームを図８に示す。背景シーン８０は、背景ＣＧＯデータとして与えられた１枚のビットマップである。対戦ゲームにおいて、二つの前景ＣＧＩキャラクタ８１、８２が背景シーン８０に重畳されており、それぞれのコントローラを操作することでシーン８０中を移動させることができる。３つのホットスポット８３〜８５には、それぞれ広告が表示されており、これらはホットスポット対話ルールである「キャラクタはホットスポットの前を通って広告を隠してはならない」というルールに従う。このルールにより、コンピュータ３はキャラクタ８１、８２がホットスポット８３〜８５の前を横切らないように制御する。図８の場合、背景は静止しているので、背景映像データおよび／または背景ＣＧＯはゲーム中に１回だけ送ればよく、背景が動く場合のようにフレーム毎に送る必要はない。

【手続補正書】特許法第１８４条の８第１項【提出日】平成１１年７月６日（１９９９．７．６）【補正内容】Ｋｏｅｎｅｎらによる論文「ＭＰＥＧ−４:ＣｏｎｔｅｘｔａｎｄＯｂｊｅｃｔｉｏｎｓ」ＳｉｇｎａｌＰｒｏｃｅｓｓｉｎｇ:ＩｍａｇｅＣｏｍｍｕｎｉｃａｔｉｏｎ９（１９９７年）の２９５ページから３０４ページによれば、未加工の音声・映像データあるいは合成した音声・映像データを、これに重ねるテキストやグラフィクス画像など他のデータタイプと共に統合する作業を容易にするシステムが開示されている。しかしこの論文では、この技術がフレームベースの映像には適用できないことを認めている。本発明の第１の側面によれば、表示信号を対話的に生成する装置が提供される。この装置は、一連のビデオフレームを含む少なくとも１本のデータストリームと、各ビデオフレームに対応する背景オブジェクトを定義するデータと、制御パラメータとを含む放送信号を受信する受信機と、コンピュータで生成した前景オブジェクトである前景ＣＧＯを生成し、前記背景オブジェクトを基準として前記前景ＣＧＯの位置を監視し、前記前景ＣＧＯと前記背景オブジェクトとを、前記制御パラメータに従って合成し、さらにこれを前記ビデオフレームと合成して前記表示信号を生成する処理システムと、を有する。本発明の第２の側面によれば、表示信号を対話的に生成する方法が提供される。この方法は、一連のビデオフレームを含む少なくとも１本のデータストリームと、各ビデオフレームに対応する背景オブジェクトを定義するデータと、制御パラメータとを含む放送信号を受信を受信し、コンピュータで生成した前景オブジェクトである前景ＣＧＯを生成し、前記背景オブジェクトを基準として前記前景ＣＧＯの位置を監視し、前記前景ＣＧＯと前記背景オブジェクトとを前記制御パラメータに従って合成し、さらにこれを前記ビデオフレームと合成して前記表示信号を生成する。本発明は画面上にリアルタイムにあらわれる実際の放送と対話する機能を提供する。請求の範囲１．表示信号を対話的に生成する装置において、一連のビデオフレームを含む少なくとも１本のデータストリームと、各ビデオフレームに対応する背景オブジェクトを定義するデータと、制御パラメータとを含む放送信号を受信する受信機と、コンピュータで生成した前景オブジェクトである前景ＣＧＯを生成し、前記背景オブジェクトを基準として前記前景ＣＧＯの位置を監視し、前記前景ＣＧＯと前記背景オブジェクトとを、前記制御パラメータに従って合成し、さらにこれを前記ビデオフレームと合成して前記表示信号を生成する処理システムと、を有することを特徴とする装置。２．前記制御パラメータは、前記背景オブジェクトの一つ以上の対話用領域の位置を定義し、前記処理システムは、前記前景ＣＧＯの位置が選択された対話領域の位置と一致する場合に、前記表示信号に変更を加えることを特徴とする請求項１記載の装置。３．前記制御パラメータは、前記対話用領域あるいは各対話用領域に係わる一つ以上のルールを定義し、前記処理システムは、前記選択された対話領域に係わる前記ルールあるいは各ルールに従って前記表示信号に変更を加えることを特徴とする請求項２記載の装置。４．前記処理システムは、前記前景ＣＧＯを変更することによって前記表示信号に変更を加えることを特徴とする先行するいずれかの請求項記載の装置。５．前記放送信号は複数のデータストリームを含み、前記受信機はアップロード要求信号に応答して前記複数のデータストリームの中から一本のデータストリームを選択し、前記装置は、ユーザーからの入力に応じてアップロード要求信号を前記受信機に入力する手段をさらに有することを特徴とする先行するいずれかの請求項記載の装置。６．前記処理システムは、アップロード要求信号を前記受信機に入力することによって前記表示信号に変更を加えることを特徴とする請求項５記載の装置。７．前記処理システムによって生成された前記前景ＣＧＯを制御するための、ユーザーが操作可能なコントローラをさらに有することを特徴とする先行するいずれかの請求項記載の装置。８．前記制御パラメータは、前記背景オブジェクトの造作の三次元位置を定義し、前記処理システムは、前記前景ＣＧＯの前記監視された位置が、前記造作の前記三次元位置の背後にある場合、前記前景ＣＧＯの少なくとも一部を隠すことを特徴とする先行するいずれかの請求項記載の装置。９．表示信号を対話的に生成する方法において、一連のビデオフレームを含む少なくとも１本のデータストリームと、各ビデオフレームに対応する背景オブジェクトを定義するデータと、制御パラメータとを含む放送信号を受信を受信し、コンピュータで生成した前景オブジェクトである前景ＣＧＯを生成し、前記背景オブジェクトを基準として前記前景ＣＧＯの位置を監視し、前記前景ＣＧＯと前記背景オブジェクトとを前記制御パラメータに従って合成し、さらにこれを前記ビデオフレームと合成して前記表示信号を生成する、ことを特徴とする方法。１０．前記放送信号は、複数のデータストリームを含み、前記方法はさらに、前記複数のデータストリームから受信すべき一つのデータストリームを選択するステップを有することを特徴とする請求項９記載の方法。１１．各データストリームは、それぞれ一つの共通な対象に対する別のビューを表わす一連のビデオフレームを含むことを特徴とする請求項１０記載の方法。１２．前記選択するステップは、前記背景ＣＧＯを基準にして前景ＣＧＯが所定の位置にある場合に実行されることを特徴とする請求項１０または請求項１１記載の方法。

───────────────────────────────────────────────────── フロントページの続き (81)指定国ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ，ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，ＫＥ，ＬＳ，ＭＷ，ＳＤ，ＳＺ，ＵＧ，ＺＷ)，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ)，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＥ，ＧＨ，ＧＭ，ＧＷ，ＨＵ，ＩＤ，ＩＬ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＳＬ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＵＡ，ＵＧ，ＵＳ，ＵＺ，ＶＮ，ＹＵ，ＺＷ (72)発明者シモンアンソニーヴィヴィアンコーンウェルイギリスエヌダブリュー３４エスエスロンドンイートンロード 11 (72)発明者ディビッドジョンライトイギリスエーエル６０キューアールハートフォードシャーオールドウェルウィンオークランドオールドウッドアカシアハウス (72)発明者リチャードアンドリューキッドイギリスティーダブリュー２５ティーティーミドルセックストッケンナムポープスアベニュー 64

Claims

【特許請求の範囲】１．表示信号を対話的に生成する装置において、それぞれが背景オブジェクトを定義する画像データを含む複数のデータストリームと制御パラメータとを含む放送信号を受信する受信機と、コンピュータで生成した前景オブジェクトである前景ＣＧＯを生成するコンピュータ画像生成装置（ＣＧＩ装置）と、前記前景ＣＧＯと前記受信機からの背景オブジェクト画像データとを合成し、前記表示信号を生成する合成器と、前記制御パラメータを前記受信機から受信し、前記前景ＣＧＯの位置を監視し、前記監視された前記前景ＣＧＯの位置と前記受信した制御パラメータとを参照して前記表示信号を適応させる対話手段と、を有することを特徴とする装置。２．前記制御パラメータは、前記背景オブジェクトの一つ以上の対話用領域の位置を定義し、前記対話手段は、前記前景ＣＧＯの位置が選択された対話領域の位置と一致する場合に、前記表示信号を適応させることを特徴とする請求項１記載の装置。３．前記制御パラメータは、前記対話用領域あるいは各対話用領域に係わる一つ以上のルールを定義し、前記対話手段は、前記選択された対話領域に係わる前記ルールあるいは各ルールに従って前記表示信号を適応させることを特徴とする請求項２記載の装置。４．前記対話手段は、前記前景ＣＧＯを前記合成器に入力させることによって前記表示信号を適応させることを特徴とする先行するいずれかの請求項記載の装置。５．前記放送信号は複数のデータストリームを含み、前記受信機は、前記複数のデータストリームの中から選択された一本のデータストリームから背景オブジェクト画像データを前記合成器に送り、前記選択された一本のデータストリームは、アップロード要求信号に応じて選択されたものであり、前記装置は、ユーザーからの入力に応じてアップロード要求信号を前記受信機に入力する手段をさらに有することを特徴とする先行するいずれかの請求項記載の装置。６．前記対話手段は、アップロード要求信号を前記受信機に入力することによって前記表示信号を適応させることを特徴とする請求項５記載の装置。７．前記前景ＣＧＩ装置によって生成された前記前景ＣＧＯを制御するための、ユーザーが操作可能なコントローラをさらに有することを特徴とする先行するいずれかの請求項記載の装置。８．前記制御パラメータは、前記背景オブジェクトの造作の三次元位置を定義し、前記対話手段は、前記前景ＣＧＯの前記監視された位置が、前記造作の前記三次元位置の背後にある場合、前記前景ＣＧＯの少なくとも一部を隠すことを特徴とする先行するいずれかの請求項記載の装置。９．背景オブジェクトを定義する前記画像データはビデオデータを有することを特徴とする先行するいずれかの請求項記載の装置。１０．表示信号を対話的に生成する方法において、それぞれが背景オブジェクトを定義する画像データを含む複数のデータストリームと制御パラメータとを含む放送信号を受信し、コンピュータで生成した前景オブジェクトである前景ＣＧＯを生成し、前記前景ＣＧＯと前記背景オブジェクト画像データとを合成して前記表示信号を生成し、前記前景ＣＧＯの位置を監視し、前記監視された前記前景ＣＧＯの位置と前記受信した制御パラメータとを参照して前記表示信号を適応させる、ことを特徴とする方法。