JP2000197030A

JP2000197030A - 対話型視聴装置および方法および記憶媒体

Info

Publication number: JP2000197030A
Application number: JP10367290A
Authority: JP
Inventors: Miwako Doi; 美和子土井; Hiroshi Kasa; 比呂志嵩
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1998-12-24
Filing date: 1998-12-24
Publication date: 2000-07-14
Anticipated expiration: 2018-12-24
Also published as: JP3672166B2

Abstract

(57)【要約】【課題】対話型の放送番組はさらに生放送であるので、
完全に視聴者の反応にそれぞれ応えることができず、そ
の結果、番組作成の手間がかかる割には、アンケート集
計など限られた形でしか番組を構成できないという問題
があった。また、視聴者からの参加の方法がリモコン、
キーボードなどの機器による入力を必要とするため、参
加できる視聴者の年齢層に制約を課すこととなり、幼児
が身振り手振りで参加できるような対話型の番組ができ
ないという問題点があった。【解決手段】少なくとも一部がオブジェクト化されたオ
ブジェクト化動画像を受信し、再生して視聴する対話型
視聴装置において、再生中のオブジェクト化動画像に対
し、対話的に変化指示を与える変化指示部と、前記変化
指示部により与えられた変化指示に基づいて、前記オブ
ジェクト化動画像のうち、オブジェクト化されたオブジ
ェクトを変化させるオブジェクト変化部とを具備したこ
とを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本願発明は、放送映像の視聴
者が身振り手振りで参加できるような対話型視聴装置お
よび方法に関する。

【０００２】

【従来の技術】従来の多くの放送は、放送局から送信さ
れてきた映像（音声を含む）信号を受信し、再生すると
いう受動的なものである。このような放送に対し、視聴
者が積極的に参加する対話型の放送番組（双方向ＴＶ）
も試みられている。

【０００３】対話型放送の一つの方法に、従来と同様に
受信した映像に対し、視聴者が反応を電話やＦＡＸを通
じて、返すものがある。この方法では、電話回線が満杯
になり、すべての視聴者からの反応に対応できないこと
が多々ある。

【０００４】また、視聴者からの反応をＶＲＭＬ（Virt
ual Reality Modeling Language ）と呼ばれる３次元Ｃ
Ｇモデルによりインターネット上に仮想空間を構築し、
視聴者に示す方法も試みられている。

【０００５】このような電話回線利用による反応性の悪
さを解決するために、視聴者からの送信を時分割で制御
するインタラクティブTV方式が提供されている。確かに
時分割制御により、視聴者は回線混雑による無応答とい
うわずらわしさを避けることができる。が、時分割制御
になったとしても、視聴者からの反応を要求する放送番
組は、アンケート形式で視聴者の反応を集計するタイプ
のものが多く、視聴者個々の反応が、個別に反映される
わけではなく、対話性としての面白味にかけるという問
題がある。このような方式では、実現できる番組のバリ
エーションに限りがある。

【０００６】また視聴者からの反応を集計するために、
生放送が望ましく、そのため多大な準備がいるという問
題があり、対話型の番組数はそれほど多くない。さら
に、このような放送番組でもいったん録画してしまう
と、対話性が失われてしまう。

【０００７】また、従来の対話型の放送番組では、アン
ケートの回答などの選択などのように、与えられた問題
に回答する形式のものが多かった。このため、幼児など
が参加することはできなかった。

【０００８】一方、幼児向けの番組では、身体を使った
簡単な体操やじゃんけんゲームなどが行われるが、それ
に参加できるのは、スタジオにいる幼児のみであった。
ＴＶ受像機の前にいる幼児はともに身体を動かしても、
実際に放送番組に参加することはできなかった。

【０００９】また、放送の本質が複数の不特定多数の視
聴者にひとつの番組を送信するということにあるから、
たとえ、こうした身振りなどが放送局に伝達されたとし
ても、その結果をもとに視聴者に対するフィードバック
は１通りに限られてしまう。従って、アンケートである
とか、ｙｅｓ／ｎｏとか計数可能な情報を視聴者からも
らうことで次に送信するべき番組を決定する手法が多く
使われている。

【００１０】完全な対話性を確保するにはサーバ・クラ
イアントシステムを用いた１対１接続の通信を必要と
し、１対ｎ接続を基本とする放送では本質的に実現が難
しい。従来の放送では送られてくる情報をすべて再生す
ることを前提としていたが、送られた情報を選択して再
生する試みもある。

【００１１】インターテキストＴＶと呼ばれる放送で
は、番組に付随したデータをブランキング期間に重畳
し、ユーザは番組の進行とは独立にアクセスすることが
できる。こうすることで、視聴者が番組を視聴しながら
疑問に思ったことや興味を持ったことに対し、データを
アクセスすることで、対話性を実現している。

【００１２】しかしこれにも限界はあり、送られてきた
データの範囲でしか対話性は実現できない。インターテ
キストＴＶでも、電話回線を通じて送られてきた視聴者
からの意見を反映して、付随データを放送するメカニズ
ムを持っているが、すべての視聴者からの意見を反映で
きるわけではない。これは上述した放送のメカニズムそ
のものに起因する本質的な問題であり、完全な解決はあ
りえない。こうした欠点を解決するため、インターネッ
トに接続し、こうした視聴者の疑問、興味をインターネ
ットを通じてフィードバックする放送もある。

【００１３】いずれにせよ、現状では、身振りや手振り
を抽出する効果的な手段がないだけに、これらを放送局
に送信し、送られてきた身振り、手振りをもとに放送局
側で幼児の手振り身振りを映像として再生し、放送する
といった、一歩進んだ対話を実現することは可能にはな
る。

【００１４】まず、問題となるのは、身振り手振りの抽
出である。身振り手振りの抽出方法としては、ＣＣＤカ
メラなどを用いて撮像した画像を解析して、人間の身体
の位置などを認識する方法もとられている。この方法で
は、進行方向をまず、ＣＣＤカメラなどの撮像装置を用
いて、撮影する。その画像から人間を抽出する場合で
は、例えば、顔や手の色が肌色なので、それ以外の背景
などの余計な部分を取り除き、障害物となる物体など認
識したい対象のみを切り出すという前処理を行う。そし
て、その処理後の画像を用いることで、物体の形状など
を認識する。

【００１５】まず、この認識対象の切り出しという前処
理部分について説明する。従来の手法では、カメラで撮
影した画像から、取得したい対象物の部分のみを切り出
す作業手段として、対象物と、それ以外の部分の何らか
の相違点を手がかりとして対象物の切り出しが行われて
いた。

【００１６】この手掛かりとして、色相の変化を利用す
る方法、差分画像を利用する方法などが用いられてい
る。色を使って切り出す場合、色相差の大きな部分を抜
き出し、細線化などの処理を行い、エッジを抽出する。
人間を対象にする場合には、顔や手の部分の肌色に注目
し、その色相部分のみを抽出しようとするものである。
が、色相差を用いる方法は、照明の色や角度などによ
り、肌色といっても変化し、また、背景の色相が肌色に
近いと、人間の肌色と識別するのが難しいなどの問題が
あり、定常的に切り出すことは困難である。また、照明
が全くない状態では、撮像画像は全部暗くなってしまう
ので、人間でも暗闇で撮影した写真から物体を判別する
ことは難しい。

【００１７】あるいは、ビデオ画像のフレーム間の動き
ベクトルを算出し、動いている物体を解析する方式もあ
る。この場合、動いている物体が少ないうちは問題ない
が、動いている物体が多いと、動きベクトルの数が急に
増え、フレーム間で動きベクトルを算出の負荷が増し、
算出が追いつかなくなる。

【００１８】動きベクトルによる検出は物体の動きを単
に検出する手法であって、物体の形状などを認識できる
ものではない。このため、手、顔などの区別は完全には
行えないため、身振り手振りなどを正確に抽出するのは
難しい。

【００１９】このように計算負荷が大きいことから、コ
ストを重視する家庭用のTVへの適用には難しい。また、
暗いと検出できないとか、背景は肌色からずれた色でな
いと検出できないなどの使用する環境上の制約があると
いうのも問題であった。

【００２０】

【発明が解決しようとする課題】生放送であることが望
ましい対話型の放送番組では、完全に視聴者の反応にそ
れぞれ応えることができず、その結果、番組作成の手間
がかかる割には、アンケート集計など限られた形でしか
番組を構成できないという問題があった。

【００２１】また、視聴者からの参加の方法がリモコ
ン、キーボードなどの機器による入力を必要とするた
め、参加できる視聴者の年齢層に制約を課すこととな
り、幼児が身振り手振りで参加できるような対話型の番
組ができないという問題点があった。

【００２２】

【課題を解決するための手段】これらの課題を解決する
ために、本願発明は、少なくとも一部がオブジェクト化
された動画像を再生する対話型視聴装置において、再生
中の前記動画像に対し、対話的に変化指示を与えるため
の変化指示手段と、この変化指示手段により与えられた
変化指示に基づいて、前記動画像のうち、オブジェクト
化されたオブジェクトを変化させるためのオブジェクト
変化手段とを具備したことを特徴とする。

【００２３】また、前記オブジェクト化された動画像は
圧縮されたものであることを特徴とする。また、前記変
化手段は、オブジェクト化動画像とともに記述されてい
る属性を変化させるための属性変化手段を有し、この属
性変化手段によって変化させた属性をもとに前記オブジ
ェクトを変化させることを特徴とする。

【００２４】また、前記変化手段は、ユーザの指示から
複数の変数を抽出するための抽出手段と、前記抽出手段
から抽出された複数の変数をもとに、オブジェクト化さ
れたオブジェクトの変化を算出するための変化算出手段
とを有し、この変化算出手段によって算出されたオブジ
ェクトの変化をもとに前記オブジェクトを変化させるこ
とを特徴とする。

【００２５】また、前記抽出手段により抽出された複数
の変数を送信するための送信手段とを具備したことを特
徴とする。また、前記変化手段によりオブジェクトを変
化させた回数や時間など課金に必要な情報を算出する課
金情報計数手段と、前記課金計数手段が計数した課金情
報を送信するための送信手段とを具備したことを特徴と
する。

【００２６】また、少なくとも一部がオブジェクト化さ
れた動画像を再生させる対話型視聴方法において、再生
中の前記動画像に対し、対話的に変化指示を与えさせ、
与えられた変化指示に基づいて、前記動画像のうち、オ
ブジェクト化されたオブジェクトを変化させ、前記変化
手段によりオブジェクトを変化させた回数や時間など課
金に必要な情報を算出し、算出された課金情報を外部の
課金処理手段に送信し、送信された課金情報をもとに、
ユーザに課金することを特徴とする。

【００２７】

【発明の実施の形態】［第１の実施例］次に図面を参考
に第１の実施例の動作説明を行う。図１は第１の実施例
の概略構成図である。

【００２８】少なくとも視聴者からの指示で変化するオ
ブジェクトを含み、放送局などから送られてくる放送波
を受信するための伝送部１と、受信した放送波を映像、
音やオブジェクト、合成情報に分割し、復号する復号部
２と、この復号部２により復号されたオブジェクトに対
し、対話的な指示を与えるため、たとえば、後述する距
離画像取得部などにより構成される変化指示部６と、復
号部２により復号されたオブジェクトと合成情報とを記
憶するためのオブジェクト変化情報記憶部５と、このオ
ブジェクト変化情報記憶部５に記憶されたオブジェクト
と合成情報に対し、この変化指示部６より入力された変
化指示をもとにオブジェクトの表示位置，速度，形状な
どに対し変化を施す変化部４と、前記変化部４で生成さ
れた変化をもとに、映像，音響信号と合成を行い、描画
を制御する情報管理部３と、この情報管理部３が描画し
た結果を呈示する呈示部７とから構成される。

【００２９】録画再生ではオブジェクト変化情報記憶部
５の復号されたオブジェクトと合成情報が読み出され情
報管理部３に復号部２からの出力の代わりに用いられ
る。図面上では復号部２からの入力がない状態に対応す
る。

【００３０】図２は、図１の構成における変化指示部６
の概略図である。反射光を受光し、距離画像を取得す
る、例えば、特願平１０―１７７４４９号公報に示され
ているような距離画像取得部６１と、取得した距離画像
を解析し、複数の変化変数を抽出する画像処理部６２と
から構成される。

【００３１】距離画像取得部６１は、中央の円の部分が
レンズであり、周囲に並ぶ小さな円形の発光部６１１は
例えば、赤外光などの光を照射するＬＥＤにあたる。タ
イミング信号生成部６１４の信号に従い、ＬＥＤから照
射された光が物体に反射され、レンズにより集光され、
レンズの後部にあるエリアセンサ（受光部６１２）で受
光される。受光した光は、反射光抽出部６１３によっ
て、画像として取得される。このように取得された画像
は例えば、図３のような形式になっている。

【００３２】図３（ａ）は取得した画像データの一部
（２５６×２５６の一部の８×８）を示したものであ
る。この例では、行列中のセルの値は、取得した反射光
の強さを８ビットで示したものである。２５５の値があ
るセルは、距離画像取得部６１に最も接近した状態、０
の値があるセルは、距離画像取得部６１から遠くにあ
り、反射光が距離画像取得部６１にまで到達しないこと
を示している。

【００３３】図３（ｂ）は取得した画像データ全体を３
次元的に示したものである。この例では、人間の手を取
得したデータを示している。画像処理部６２は、図３
（ａ）のような形式で距離画像取得部６１で取得された
距離画像を受け取り、エッジ切り出し、重心抽出、面積
算出など種々の画像処理を行う。

【００３４】（ｉ，ｊ）の画素値をＰｉｊとし、生成す
る輪郭情報の画素をＲｉｊとすると、Ｒｉｊ＝２５５（Ｉｆ（Ｐｉｊ−Ｐｉ−１ｊ）＞α ＆（Ｐｉｊ−Ｐｉ
ｊ−１）＞α ＆（Ｐｉｊ−Ｐｉ＋１ｊ）＞α ＆（Ｐ
ｉｊ−Ｐｉｊ+1）＞α）Ｒij＝０（上記以外）とすることにより、図４のような輪郭情報を得ることが
できる。

【００３５】次に、図１の構成において、動作例を説明
する。図５は図１の構成における処理の流れ図である。
図６は図１の構成において、オブジェクト変化情報記憶
部５に記憶されているオブジェクトと映像、動きデータ
の記憶形式の一例である。図６では、時刻毎に合成され
るオブジェクトとその動き、対応する映像データと付属
データが対になって記憶されているものとする。

【００３６】オブジェクト変化情報記憶部５へのデータ
の書き込みは、復号部２が伝送部１で受信した放送信号
を合成情報と映像情報などに分けた直後に行われる場合
と、あるいは、別途録画した情報を再生するときに行わ
れる場合がある。

【００３７】動きデータの形式としては、いくつかの形
式が可能である。時刻毎（例えば、１／３０秒毎、ある
いは１／６０秒毎）にオブジェクトの位置座標を記憶し
ておき、対応するオブジェクトを、その位置に配置する
ことで、合成する方式がある。

【００３８】図７は、時刻ｔ０におけるオブジェクトの
位置座標を動きデータとして記憶し、合成する場合に例
である。映像データｐ０上に動きデータｍ０（ｘ０，ｙ
０）の座標位置に、時刻ｔ０時のオブジェクトデータｏ
０を別レーヤとして配置、あるいは上書きすることによ
り、合成を行う。図８に示すように時刻ｔ１についても
同様である。

【００３９】図５の処理の流れ図において、変化指示部
６より特に変化指示がなければ、図７、図８に示したよ
うに、もともとの動きのデータにそって、オブジェクト
は動く。一方、変化指示があれば、その指示に従って変
化部４は動きデータの編集を行う。

【００４０】例えば、変化指示部６より、図９に太線で
示したように、道に対して、ジグザグな動きを入力した
とする。動きの入力は、例えば、図６が表示されている
画面に対し、人差し指で、動かしたい経路を指示するこ
とで行える。

【００４１】変化指示部６は、この動きを解析する（ス
テップＳ５０１）。解析の方法はいくつかある。例え
ば、図４のように切り出された輪郭情報を棒形状に変換
し、その棒形状の最先端点（ｙ座標の最大点）を求め、
その最先端点の座標値を動きとして算出するものがあ
る。図４では、輪郭情報は２次元になっているが、必ず
しもこれに限定されるものではない。図３に示したよう
に３次元情報が取得されているので、３次元での輪郭情
報を用いることも可能である。

【００４２】また、上述のように、最先端点を用いる代
わりに、最近傍点を用いる方法もある。最近傍点とは、
図３のように３次元情報より、最も画面に対し、近い点
（図３（ａ）では、値が最も大きいところ、図３（ｂ）
では最も盛り上がっているところ）である。最近傍点
は、図３（ａ）で最大値をとる点であるが、安定的にと
るために、隣り合う４つのセルを平均した値から最近傍
点を求めることも可能である。

【００４３】このようにして、解析された人差し指の動
きから、図９に示した太線のような動きが算出できる。
このように変化指示部６で算出された太線の動きが変化
部４に送られる。変化部４では、送られてきた太線のデ
ータから、ｔ１，ｔ２，ｔ３，ｔ４時の点を算出する
と、図８に示したように４点が算出できる。

【００４４】算出された４つの位置座標をもとに、図６
（ａ）のようにオブジェクト変化情報記憶部５に記憶さ
れているデータの内、動きデータの値を、算出した位置
座標に変更する。その結果、図６（ａ）のデータは図６
（ｂ）のように変更される。

【００４５】次にこの結果を受けて、図６（ｂ）のデー
タをもとに合成を行う（ステップＳ５０２）。合成を行
った結果を、表示すると、図１０のようになる。図１０
（ａ）〜（ｅ）により、変化部４により抽出された動き
データ、つまり座標位置にオブジェクトが配置され、オ
ブジェクトがスキップを踏むように、道をジグザグに進
むように、変更になったことがわかる。

【００４６】この例では、図９で示した太線のように、
変化指示部６で与えられた動きのうち、変化部４は代表
点の４点のみを、算出し、オブジェクト変化情報記憶部
５に反映させている。このため、ｔ１，ｔ２，ｔ３，ｔ
４時でユーザが指定した動きは反映されるが、ｔ０時か
らｔ１時、ｔ１時からｔ２時、というように、各代表点
から代表点間の途中の動きは、反映されていない。

【００４７】このため、例えば、図１１のようにユーザ
が変化指示部６により、曲線での動きを入力した場合に
は、代表点での動きはあっているが、他の途中では、曲
線ではなく、直線でオブジェクトが移動してしまい、ユ
ーザの意図に合わなくなってしまうという不都合が生じ
る。

【００４８】このような不都合を解決するために、動き
データは曲線に対応するように、代表点の他に、代表点
間の曲線をスプライン曲線などで近似し、その制御点を
例えば、図１２（ａ）のように記憶する。

【００４９】ｍ０：（ｘ００，ｙ００）（ｘ０１，ｙ０
１）（ｘ０２，ｙ０２）．．とは、動きデータはアドレ
スm0に記憶されており、アドレスｍ０に記憶されている
実際のデータの内容は、（ｘ００，ｙ００）（ｘ０１，
ｙ０１）（ｘ０２，ｙ０２）．．であることを示すもの
である。（ｘ００，ｙ００）（ｘ０１，ｙ０１）（ｘ０
２，ｙ０２）．．はスプライン曲線などで近似したとき
の制御点である。近似はスプライン曲線に限らず、三角
関数やベジェ曲線など多種の関数を用いることが可能で
ある。

【００５０】図１２（ａ）のように記憶すれば例えば、
図１１のように、変化指示部６から動きが入力されたと
きには、（ｘ００，ｙ００）（ｘ０１，ｙ０１）（ｘ０
２，ｙ０２）．．の点列から構成されるスプライン曲線
に沿って、オブジェクトを移動できるので、ユーザの意
図に合った動きの変化を実現できる。

【００５１】たとえば、オブジェクト変化情報記憶部５
に記憶されたアニメーションのキャラクタが通常状態で
はそのまま再生されていて、ユーザが変化指示部６によ
って指示すると指示に対応した変化が変化部４で施さ
れ、例えば、大きくなったり、小さくなったり、移動し
たりしてあたかもユーザの反応に応えるような効果を出
せる。

【００５２】ユーザの指示がなくなると変化部４による
オブジェクトの変形がなくなりオブジェクト変化情報記
憶部５に記憶されていたまま出力されるため通常の状態
に戻る。従って、従来のＶＴＲのような使用になんら障
害を与えることはなく、新しい機能が新たに加わったこ
とが分かる。また、リアルタイムで放送される番組の視
聴においても、視聴者からの反応に放送局がすべて応え
ることができないという問題を解決していることが分か
る。

【００５３】［第１の実施例の効果］以上のように本発
明によれば、ＴＶ放送など、万人が同一の映像をみるよ
うな視聴形態においても、ユーザの意図にあった動きの
変化を、放送形態に大きな変化を及ぼすことなく、かつ
ユーザにとってパソコンなどの操作と違って簡単に楽し
むことができるので、同一の番組を繰り返し見るとき
に、少しずつ変化させながら、楽しむことができるの
で、従来にない放送番組を作成し、ユーザの娯楽環境を
大幅に改善することができる。

【００５４】また、録画再生した番組でも使えるし、ユ
ーザの入力指示によって変化するため、ユーザの指示が
変化した分だけのバリエーションを持つことができる。
ユーザ指示に対する変化の定義は予め、番組側で用意し
ても良いし、受信側で定義することも可能である。

【００５５】［第１の発明の変形例］以上の例は、２次
元の空間に対して、動きの変更を行った例である。しか
し、将来においては、ＴＶ放送といえども３次元空間内
での映像として受信する可能性もあり、本発明はこのよ
うな３次元空間での動きの変更に対しても対応できるも
のである。

【００５６】図１３は３次元空間での合成について示し
たものである。３次元ＣＧにより構成された背景の映像
データに対し、２次元で構成されたオブジェクトを合成
する。合成に用いる動きデータは、上下方向に繰り返し
て移動する動きである。

【００５７】この動きは、第１の発明の実施例と同様
に、ユーザが手を使って指示したものである。３次元空
間に対して、動きをつける必要があるので、変化部４
は、変化指示部６から入力された動きより、３次元座標
としての位置や向きの変化をデータとして抽出する。例
えば、抽出された動きは以下のようになる。

【００５８】Ｒｅｐ：（ｘ００，ｙ００，ｚ００）（ｘ
００，ｙ１０，ｚ００）は、（ｘ００，ｙ００，ｚ０
０）と（ｘ００，ｙ１０，ｚ００）の間の移動を繰り返
す（Ｒｅｐ）ということを示している。人間の手は、完
璧に同じ動作を繰り替えすことは難しいので、変化指示
部６からの入力データをそのまま用いると、実は、ｙ座
標だけでなく、ｘ座標、ｚ座標とも変化をした値とな
る。このような不安定さをなくして、安定した動作をオ
ブジェクトにさせたい場合には、ある一定値以下の座標
値の変位を誤差として無視する方法をとる。この方法を
とることにより、同じ座標値間の周期運動を容易にオブ
ジェクトの動きに反映させることができる。

【００５９】ただし、わざとユーザの動きの不安定さを
オブジェクトの動きに反映させたい場合には、誤差とし
て無視する方法はとらない。この結果、ｙ座標のみ変化
しているので、図１３の合成結果で示すように、動きと
しては、同じ地点でぴょんぴょん飛び跳ねているような
効果となる。

【００６０】同様に、変化指示部６より、前後に手を動
かした動きを入力すれば、ｚ軸方向に沿って、前後にぴ
ょんぴょんはねる。あるいは左右に動かせば、ｘ軸方向
に、左右にぴょんぴょんはねることとなる。あるいは、
ｙ軸を軸としてぐるっと手をまわすような動きを入力す
ると、図１４に示すように、３次元空間の中の物体の後
ろにオブジェクトが回り込みながら、ちょうどメリーゴ
ーランドのように回転運動をさせることもできる。

【００６１】Ｒｏｔ：（ｘ００，ｙ００，ｚ００）（ｘ
１０，ｙ１０，ｚ１０）．．．のＲｏｔは回転運動であ
ることを示す。図１４の場合、２次元オブジェクトなの
で、回転運動に際してもオブジェクトの向きは固定にな
っている。が、３次元オブジェクトの場合には、動きデ
ータの隣り合う点から生成されるベクトルにオブジェク
トの姿勢（法線方向）を合わせるように、変化部４に
て、オブジェクト自身への動きデータの修正も行うよう
にすることも可能である。

【００６２】また、第１の実施例での復号部２では、受
信した放送波を映像、音やオブジェクト、合成情報に分
割処理を行っているが、放送波がＭＰＥＧ２などにより
圧縮されている場合には、分割処理の他に、ＭＰＥＧ２
などの圧縮の解凍処理も行う。

【００６３】受信した放送波でなく、録画された電波に
対しても、再生時に映像，音，オブジェクト，合成情報
を分割し、図６のような形式で、オブジェクト変化情報
記憶部５に書き込み、手振りにより動きを与えること
で、毎回異なった動きをつけて、映像を楽しむことが可
能である。

【００６４】さらに、将来本発明のような放送番組が提
供されたとき、一部の放送番組のが、本発明の方式に対
応し、他の多くの放送番組は対応していないという状況
が出現する。そのような場合には、オブジェクトとその
動きデータは存在しないので、オブジェクト変化記憶部
５には、例えば図１５（ａ）のように、映像データのみ
が記憶される。このような形式の映像データに対して
は、著作権的に、動きの編集が許されていないことに相
当するので、ユーザから変化指示部６を用いて変化指示
があっても、変化部は、動きデータの部分がＮＵＬＬな
ので、変化処理を行わないようにすることができる。

【００６５】同様に例えば、ＭＰＥＧ４のようにオブジ
ェクト化を使って圧縮がされている場合には、図１５
（ｂ）のように、オブジェクトのみにデータがはいる形
になるが、図１５（ａ）と同様に、動きデータがＮＵＬ
Ｌなので、変化処理を行わない。

【００６６】［第２の実施例］第１の実施例では、変化
指示部６からは、ユーザの手の動きのデータが抽出さ
れ、その動きデータを用いて、変化部４が、オブジェク
トに対し、動きを変化させるものである。

【００６７】実際には、ユーザの手は動くだけでなく形
状も変化している。動きだけでなく、形状の変化も捉え
て、オブジェクトの変形や動きの変化に反映させるもの
が、本実施例である。その概略構成図は、図１６のよう
になっている。図１６の構成は、第１の実施例である図
１の構成に、変化指示解釈部８が追加された構成になっ
ている。

【００６８】図１７は変化指示解釈部８で解釈に用いる
対応規則の一例を示したものである。図１７の例では、
重心（ｘ，ｙ，ｚ）はキャラクタの位置（Ｘ，Ｙ，Ｚ）
に対応し、面積ｓはキャラクタの拡大率ｓ／ｓ０に、形
状ｇはキャラクタのモードＭに対応することを示す。拡
大率は基準面積ｓ０に対する比で表される。また、形状
ｇとモードの関係は例えば図１９のようになる。複数の
パラメータとキャラクタとの割付をおこなう動作処理の
流れは、図１８に示す。つまり、変化指示解釈部８は、
図１７の規則を用いて、抽出した重心をキャラクタの重
心に割り当て、抽出した面積をキャラクタの拡大率に割
り当て、抽出した形状をキャラクタのモードに割り当
て、その他抽出したパラメータに応じ規則に基づいて割
り当てる。

【００６９】例えば、図１９の対応では、グー（手を握
った状態）であれば、キャラクタの動作モードは「停止
する」になる。停止の場合には、位置データや拡大率が
変化しても、動作として変化はせず、静止した状態にな
る。

【００７０】また、パー（手を開いた状態）であれば、
キャラクタの動作モードは「歩く」になる。すると、そ
れまで、静止していた場合は、別途抽出された重心に沿
った歩行動作をおこなう。あるいは、それまで走ってい
た場合には、逆に速度をゆるめ、歩行に移行する。

【００７１】また、チョキ（２本指をつきだした状態）
であれば、キャラクタの動作モードは「走る」となる。
静止して場合、歩行していた場合、いずれも、走行動作
に移行する。

【００７２】また、同じ２本指でも静止状態でなく、交
互に指が動いている形状の時には、走行動作でなく、
「スキップ」動作に移行する。あるいは、拍手１（拍手
が１回）であれば、モードは「解体」となる、これは、
キャラクタがバラバラになることを示す。また拍手２
（拍手２回）であれば、モードは「解体復帰」となり、
これは、バラバラになっていただキャラクタが、合体し
てもとにもどることを示す。例としては、図２０のよう
になる。

【００７３】以上の例では、抽出した複数のパラメータ
をキャラクタの動作生成に割り付ける例を示したが、必
ずしも、これに依存するものではない。例えば、図１７
の例で、パラメータの内、重心と形状のみを使う場合も
ある。その時は、図１７（ｂ）のように、面積に対応す
る欄に「ＮＵＬＬ」が記述されているので、割り当てを
行わない。

【００７４】［第２の発明の効果］以上のように本発明
によれば、ＴＶ放送など、万人が同一の映像をみるよう
な視聴形態においても、ユーザは単に手を動かすだけと
いう簡単なジェスチャーで、キャラクタに複雑な動きを
つけて、楽しむことができるので、同一の番組を繰り返
し見るときに、少しずつ変化させながら、楽しむことが
できるので、従来にない放送番組を作成し、ユーザの娯
楽環境を大幅に改善することができる。

【００７５】［第３の発明の実施例］第１，第２の実施
例では、受信した放送番組に対し、ユーザが視聴の度
に、キャラクタに動きをつけて楽しむことができる。こ
のような放送サービスを提供することで、ユーザに対し
課金することも考えられる。

【００７６】第３の実施例はこの要請に答えるものであ
る。図２１は概略構成図である。第１の実施例の概略構
成図に対し、課金処理部１０に課金やユーザ管理に必要
な情報を集めるための収集送信部９が追加された構成に
なっている。

【００７７】収集送信部９は、情報管理部３より、ユー
ザが加工・編集を行った番組名、頻度、分量、時間など
のユーザ情報を受け、それを、場合によっては圧縮を施
し、セキュリティ保護のための暗号化を行い、課金処理
部１０を宛先にした送信形式にする処理を行う。

【００７８】収集送信部９がパッキングして送出するユ
ーザ情報は例えば、図２２のような形式になっている。
冒頭に、宛先とユーザのＩＤが記述されている。ユーザ
ＩＤからは番組ＩＤを先頭とする加工・編集が施された
番組情報へのリンクが出ている。各番組情報は加工・編
集が施された番組ＩＤ、その頻度、時間、および実際に
ユーザから与えられた動作指示情報が格納されている。
番組ＩＤからは他の番組情報へのリンクが出ている。

【００７９】動作指示情報としては、変化指示部から入
力された指示を解釈した結果を送ることも可能である
が、例えば、図２３のように、取得された画像情報を直
接圧縮して送ることも可能である。

【００８０】課金処理部１０は放送局本体と同一であっ
てもなくてもよいが、ユーザがどの放送番組に対し、加
工・編集を施した頻度／時間をモニタリングする。課金
処理部１０では、送信されたきた頻度／時間により、課
金をし、請求書をユーザに送る作業と、別途設定されて
いる口座より引き落とす作業を実施する。その他に、実
際にユーザから送られてきた図２３のような生の動作指
示情報をもとに、ユーザがどのようなジェスチャーによ
り楽しんでいるかを解析する。動きとしておもしろいも
のを抽出できれば、放送時のキャラクタの動きに採用す
ることが可能である。

【００８１】また、課金処理部１０は収集した動作デー
タをデータベース化し、別のユーザに提供することで、
別途収入を得ることも可能である。採用されたユーザに
対しては、報償金として、課金の割引などをおこなう制
度などを導入することで、他の画一的な放送に対して、
差別化をはかることが可能である。

【００８２】課金処理部１０への送信方法としては、電
話回線を用いるもの、インターネットを用いるもの、Ｉ
ｒＤＡなどの無線を用いるものなどいくつかの方法が考
えられる。が、いずれの方法であってもよい。また、通
常の放送での課金システム、例えば、Ｐａｙｐｅｒ
Ｖｉｅｗなどを流用することも可能である。

【００８３】［第３の発明の効果］以上のように本発明
によれば、放送番組に対してユーザが自分の意図にそっ
た動きの変化付けを楽しむだけでなく、番組提供者にと
っても、加工・編集からの収入を得ることができるの
で、デジタルＴＶ放送のなかでさらに新しい市場を開拓
するもので、ユーザにとっても、著作権者にとっても、
番組提供者にとっても利点のあるサービスを実現できる
点が効果が大きい。

【００８４】［記憶媒体］また、本願発明の図５のよう
な処理をコンピュータ読取り可能なプログラムで実現
し、このプログラムをコンピュータで読み取り可能な記
憶媒体として実現することも可能である。

【００８５】なお、本願発明における記憶媒体として
は、磁気ディスク、フロッピーディスク、ハードディス
ク、光ディスク（ＣＤ−ＲＯＭ，ＣＤ−Ｒ，ＤＶＤ
等）、光磁気ディスク（ＭＯ等）、半導体メモリ等、プ
ログラムを記憶でき、かつコンピュータが読み取り可能
な記憶媒体であれば、その記憶形式は何れの形態であっ
てもよい。

【００８６】また、記憶媒体からコンピュータにインス
トールされたプログラムの指示に基づきコンピュータ上
で稼動しているＯＳ（オペレーションシステム）や、デ
ータベース管理ソフト、ネットワーク等のＭＷ（ミドル
ウェア）等が本実施形態を実現するための各処理の一部
を実行してもよい。

【００８７】さらに、本願発明における記憶媒体は、コ
ンピュータと独立した媒体に限らず、ＬＡＮやインター
ネット等により伝送されたプログラムをダウンロードし
て記憶または一時記憶した記憶媒体も含まれる。

【００８８】また、記憶媒体は１つに限らず、複数の媒
体から本実施形態における処理が実行される場合も、本
発明における記憶媒体に含まれ、媒体の構成は何れの構
成であってもよい。

【００８９】なお、本願発明におけるコンピュータは、
記憶媒体に記憶されたプログラムに基づき、本実施形態
における各処理を実行するものであって、パソコン等の
１つからなる装置、複数の装置がネットワーク接続され
たシステム等の何れの構成であってもよい。

【００９０】また、本願発明におけるコンピュータと
は、パソコンに限らず、情報処理機器に含まれる演算処
理装置、マイコン等も含み、プログラムによって本願発
明の機能を実現することが可能な機器、装置を総称して
いる。

【００９１】

【発明の効果】このような本願発明により、視聴者が身
振り手振りで参加できるような対話型の番組が実現する
ことができる。

【図面の簡単な説明】

【図１】本願発明の一実施例である第１の実施例の概略
構成図

【図２】本願発明の一実施例である第１の実施例の変化
指示部の概要の一例

【図３】本願発明の一実施例である第１の実施例の変化
指示部のうちの画像取得部が取得した画像形式の一例

【図４】本願発明の一実施例である第１の実施例の変化
指示部の内の画像処理部の処理結果の一例

【図５】本願発明の一実施例である第１の実施例の処理
の流れ図

【図６】本願発明の一実施例である第１の実施例中にお
ける記憶の一形式の例

【図７】本願発明の一実施例である第１の実施例中にお
ける合成の例

【図８】本願発明の一実施例である第１の実施例中にお
ける合成の例

【図９】本願発明の一実施例である第１の実施例中にお
ける合成の例

【図１０】本願発明の一実施例である第１の実施例中に
おける合成の例

【図１１】本願発明の一実施例である第１の実施例中に
おける合成の例

【図１２】本願発明の一実施例である第１の実施例中に
おける記憶の一形式の例

【図１３】本願発明の一実施例である第１の実施例の変
形例中における記憶の一形式の例

【図１４】本願発明の一実施例である第１の実施例の変
形例中における記憶の一形式の例

【図１５】本願発明の一実施例である第１の実施例の変
形例中における記憶の一形式の例

【図１６】本願発明の一実施例である第２の実施例の概
略構成図

【図１７】本願発明の一実施例である第２の実施例の変
化指示解釈部におけるパラメータ割り当ての記憶形式の
一例

【図１８】本願発明の一実施例である第２の実施例の処
理の流れ図

【図１９】本願発明の一実施例である第２の実施例の変
化指示解釈部におけるパラメータ割り当ての記憶形式の
一例

【図２０】本願発明の一実施例である第２の実施例にお
けるキャラクタの変形の一例を示す図である。

【図２１】本願発明の一実施例である第３の実施例の概
略構成図である。

【図２２】本願発明の一実施例である第３の実施例中の
送信データ形式の一例である。

【図２３】本願発明の一実施例である距離画像取得部で
取得された画像の例

【符号の説明】

１…伝送部２…復号部３…情報管理部４…変化部５…オブジェクト変化情報記憶部６…変化指示部７…呈示部８…変化指示解釈部９…収集送信部１０…課金処理部

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5B050 AA08 BA08 BA09 CA05 CA07 EA06 EA07 EA19 EA24 EA28 FA02 FA08 5C064 BA01 BB01 BC16 BC20 BC23 BD03 BD04 BD08

Claims

【特許請求の範囲】

【請求項１】少なくとも一部がオブジェクト化された動
画像を再生する対話型視聴装置において、再生中の前記動画像に対し、対話的に変化指示を与える
ための変化指示手段と、この変化指示手段により与えられた変化指示に基づい
て、前記動画像のうち、オブジェクト化されたオブジェ
クトを変化させるためのオブジェクト変化手段とを具備
したことを特徴とする対話型視聴装置。
【請求項２】前記オブジェクト化された動画像は圧縮さ
れたものであることを特徴とする請求項１記載の対話型
視聴装置。
【請求項３】前記変化手段は、オブジェクト化動画像と
ともに記述されている属性を変化させるための属性変化
手段を有し、この属性変化手段によって変化させた属性
をもとに前記オブジェクトを変化させることを特徴とす
る請求項１記載の対話型視聴装置。
【請求項４】前記変化手段は、ユーザの指示から複数の
変数を抽出するための抽出手段と、前記抽出手段から抽出された複数の変数をもとに、オブ
ジェクト化されたオブジェクトの変化を算出するための
変化算出手段とを有し、この変化算出手段によって算出
されたオブジェクトの変化をもとに前記オブジェクトを
変化させることを特徴とする請求項１記載の対話型視聴
装置。
【請求項５】前記抽出手段により抽出された複数の変数
を送信するための送信手段とを具備したことを特徴とす
る請求項４に記載の対話型視聴装置。
【請求項６】前記変化手段によりオブジェクトを変化さ
せた回数や時間など課金に必要な情報を算出する課金情
報計数手段と、前記課金計数手段が計数した課金情報を送信するための
送信手段とを具備したことを特徴とする請求項１記載の
対話型視聴装置。
【請求項７】少なくとも一部がオブジェクト化された動
画像を再生させる対話型視聴方法において、再生中の前記動画像に対し、対話的に変化指示を与えさ
せ、与えられた変化指示に基づいて、前記動画像のうち、オ
ブジェクト化されたオブジェクトを変化させることを特
徴とする対話型視聴方法。
【請求項８】少なくとも一部がオブジェクト化された動
画像を再生させる対話型視聴方法において、再生中の前記動画像に対し、対話的に変化指示を与えさ
せ、与えられた変化指示に基づいて、前記動画像のうち、オ
ブジェクト化されたオブジェクトを変化させ、前記変化手段によりオブジェクトを変化させた回数や時
間など課金に必要な情報を算出し、算出された課金情報を外部の課金処理手段に送信し、送信された課金情報をもとに、ユーザに課金することを
特徴とする対話型視聴方法。
【請求項９】少なくとも一部がオブジェクト化された動
画像を再生させるプログラムをコンピュータ実行可能な
ように記憶させた記憶媒体であって、再生中の前記動画像に対し、対話的に変化指示を与えさ
せ、与えられた変化指示に基づいて、前記動画像のうち、オ
ブジェクト化されたオブジェクトを変化させるプログラ
ムを記憶したコンピュータ読取り可能な記憶媒体。