以下に、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰返さない。
図1は、本実施の形態にかかるコンテンツ受送信システム(以下、システムと略する)の構成の具体例を示す図である。本実施の形態においては、コンテンツとして放送局400から送信されるテレビジョン信号を受信し、テレビ番組の視聴を行なうシステムであるものとするが、本発明にかかるコンテンツはテレビ番組に限定されず、テレビ番組を含む、リアルタイムに配信されるすべてのコンテンツを含むものとする。そのため、本実施の形態においては、コンテンツの供給元を放送局400としているが、コンテンツに応じた供給装置であってよい。
図1を参照して、本実施の形態にかかるシステムは、テレビ番組であるコンテンツを供給する放送局400と、放送局400から送信されるテレビジョン信号を受信し、その信号を処理して表示装置に写像するコンテンツ再生装置であるテレビジョン受像機(以下、TVと略する)200と、TV200に接続される通信端末100とを含んで構成される。
本発明にかかるコンテンツ再生装置としては、本実施の形態にかかるTV200の他に、具体的には、パーソナルコンピュータや、携帯電話機や、PDA(Personal Digital Assistants)などが挙げられる。
本システムは、各々TV200を利用(視聴)する複数の参加者A〜Dの参加によって構成されるシステムであって、各参加者A〜Dが各々利用するTV200a〜200dを代表させてTV200とし、各参加者A〜Dが各々利用し、各TV200a〜200dの各々に接続される通信端末100a〜100dを代表させて通信端末100とする。
放送局400からTV200へのテレビジョン信号の送信は、専用のケーブルを介して行なわれてもよいし、衛星波や地上波などの無線通信で行なわれてもよい。また、配信されるコンテンツに応じて、インターネットや専用回線を介してストリーム配信が行なわれてもよいし、LAN(Local Area Network)等の専用回線を介した配信が行なわれてもよい。
通信端末100は、対応するTV200と接続されて通信を行なうほか、ネットワーク300に接続されて、相互に通信を行なう。
通信端末100は、後にその構成について詳述されるが、本実施の形態においては、コンテンツ再生装置であるTV200に接続されるTV200とは別個の装置であるものとする。しかし、言うまでもなく、TV200と一体に構成される装置であってもよい。また、コンテンツがテレビ番組以外のものであって、コンテンツ再生装置がパーソナルコンピュータや、携帯電話機や、PDAなどである場合にも、通信端末100は、それらの、コンテンツに応じたコンテンツ再生装置と一体に構成される装置であってよい。その場合、以降に述べる各処理は、TV200などのコンテンツ再生装置において行なわれる処理である。
本実施の形態においては、通信端末100は、具体的には、いわゆるセットトップボックスのような、専用線を用いてコンテンツ再生装置であるTV200に接続される小型の通信装置であるものとされるが、たとえば、TV200などのコンテンツ再生装置に接続されるパーソナルコンピュータやいわゆるホームサーバなどの一般的な通信機能を備える装置を用いて構築される装置であってもよいし、TV200などのコンテンツ再生装置に接続されるビデオテープ再生装置やDVD(Digital Video Disc)再生装置などに含まれる装置であってもよい。
また、TV200との通信は有線による通信に限定されず、赤外線通信などの無線通信を行なってもよい。その場合、通信端末100はTV200に物理的に接続されない小型の通信装置であってもよく、具体的には、TV200に付随するリモートコントローラに含まれる装置であってもよいし、TV200と通信を行なうことのできる携帯電話機やPDAなどに含まれる装置であってもよい。
図2に、通信端末100のハードウエア構成の具体例を示す。
図2を参照して、通信端末100は、通信端末100全体の制御を行なうCPU(Central Processing Unit)11と、CPU11において実行されるプログラムや固有情報などを記録するROM(Read Only Memory)12と、各種情報やテーブルなどを記録し、CPU11においてプログラムを実行する際の一時的な作業領域ともなるRAM(Random Access Memory)13と、CD−ROM(Compact Disc-Read Only Memory)やDVD−ROM(Digital Video Disc‐Read Only Memory)などの記録媒体から情報やプログラムを読取る記録媒体読取部14と、操作ボタンやマイクなどの入力装置で構成されて、指示信号や入力されるコンテンツデータを受付ける入力部15と、スピーカやLED(Light Emitting Diode)などの出力装置で構成されて、状態を示す表示やコンテンツデータの出力を行なう出力部16と、TV200やネットワーク300を介して他の通信端末とのインタフェースである通信部17とを含んで構成され、それらはバス18によって接続される。
上述の入力部15は、他の装置から送信される信号を受信することで指示信号やコンテンツデータの入力を受付けてもよいし、記録媒体に記録される指示信号やコンテンツデータを読取ることでそれらの入力を受付けてもよい。
図2に示される通信端末100のハードウエア構成は、通信機能を備ええる、一般的なパーソナルコンピュータのハードウエア構成と同様である。しかしながら、通信端末100が先述のように、TV200自身に含まれる場合や、TV200と通信可能な携帯電話機に含まれる場合には、図2に示されるハードウエア構成に加えて、または図2に示されるハードウエア構成の少なくとも一部の構成に替えて、それらの装置に必要な他の構成が含まれてもよい。
図3に、通信端末100の機能構成の具体例を示す。図3に示される各機能は、CPU11がROM12などに記録されるプログラムを読出してRAM13上で実行し、図2に示される各部を制御することで発揮される機能である。
図3を参照して、通信端末100は、ネットワーク300を介した他の通信端末100との通信を制御する通信インタフェースであるネットワーク通信制御部101と、接続されるTV200との通信を制御する通信インタフェースであるTV通信制御部102とを含んで構成される。
さらに、通信端末100は、接続されるTV200およびネットワーク300を介して通信を行なう他の通信端末100に接続されるTV200において視聴されるテレビ番組に関する処理を行なう視聴情報管理部103、チャンネル変更検出部104、および視聴情報記憶部105と、TV200を利用している参加者を代理するキャラクタであるアバターの表示に関する処理を行なうアバター管理部106、アバター操作部107、アバター指定部108、アバター状態記憶部109、アバター情報記憶部110、およびアバター表示制御部111と、ネットワーク300を介した他の通信端末100とのマルチメディアデータである音声メッセージの送受信に関する処理を行なうメッセージ管理部112、メッセージ蓄積部113、メッセージ入力部114、メッセージ出力部115、およびメッセージ操作部116とを含んで構成される。
視聴情報記憶部105には、図4に示されるように、該通信端末100に接続されるTV200における視聴情報が自視聴情報テーブルとして記憶される。具体的には、図4を参照して、接続されるTV200において現在視聴されているテレビ番組に関する情報(以下、この情報を自視聴情報と称する)として、チャンネル番号と、そのテレビ番組の放送局名と、そのテレビ番組名とが、テーブル形態で自視聴情報テーブルとして記憶される。言うまでもなく、記憶される情報の形態はテーブル形態に限定されず、その他のデータ形態であってもよい。また、それは、他の記憶部におけるデータの記憶についても同様である。
また、視聴情報記憶部105には、図5に示されるように、該通信端末100とネットワーク300を介して通信を行なう他の通信端末100に接続される各TV200における視聴情報が参加者視聴情報テーブルとして記憶される。具体的には、図5を参照して、各参加者の利用するTV200において現在視聴されているテレビ番組に関する情報(以下、この情報を参加者視聴情報と称する)として、その参加者を一意に示す固有な情報である参加者IDと、チャンネル番号と、そのテレビ番組の放送局名と、そのテレビ番組名とが、テーブル形態で参加者視聴情報テーブルとして記憶される。なお、参加者視聴情報テーブルは、自視聴情報を含んで構成されてもよいし、自視聴情報以外の、他の参加者の視聴情報のみから構成されてもよい。また、参加者視聴情報テーブルは、本システムにおいて、現在視聴が行なわれているTV200についての視聴情報のみから構成されてもよいし、予め設定されている、本システムの全参加者のTV200についての視聴情報から構成されてもよい。
また、視聴情報記憶部105には、図6に示されるように、現在の自視聴情報と同じ参加者視聴情報である参加者(以下、この参加者を同視聴情報者と称する)の参加者IDが、同視聴情報者テーブルとして記憶される。図6に示される同視聴情報者テーブルは、自視聴情報テーブル(図4)および参加者視聴情報テーブル(図5)に基づいて、所定のタイミングで視聴情報管理部103によって生成される。
視聴情報管理部103は、視聴情報記憶部105に記憶されるこれらのテーブルを管理する。
チャンネル変更検出部104は、TV通信制御部102を介して、該通信端末100に接続されるTV200におけるチャンネルの変更を検出する。そして、その検出情報は視聴情報管理部103に渡される。
視聴情報管理部103は、チャンネル変更検出部104から渡された検出情報に基づいて、自視聴情報テーブル(図4)および同視聴情報者テーブル(図6)を更新する。また、その検出情報に基づいて更新された自視聴情報を、アバター管理部106に渡す。さらに、ネットワーク通信制御部101を介して他の通信端末100に送信する。
また、視聴情報管理部103は、ネットワーク通信制御部101を介して他の通信端末100から、他の参加者についての参加者視聴情報を受信する。そして、視聴情報管理部103は、ネットワーク通信制御部101を介して他の通信端末100から受取った検出情報に基づいて、参加者視聴情報テーブル(図5)および同視聴情報者テーブル(図6)を更新する。また、その検出情報を、アバター管理部106に渡す。
アバター管理部106は、該通信端末100を利用している参加者を代理するキャラクタであるアバターを管理する。アバターは、TV200の画像表示部(不図示)にテレビ番組と共に表示されて、現在、そのテレビ番組を視聴している参加者を表現する画像である。画像としては、本実施の形態に挙げられるようなキャラクタ画像や、写真画像や文字などが該当する。アバターとして用いられる画像であるアバター画像や、アバター画像ごとの各状態に対応したアバター画像に関する情報は、予めアバター情報記憶部110に記憶されている。
アバター状態記憶部109には、図7に示されるように、該通信端末100を利用する参加者を代理するアバター(以下、このアバターを自アバターと称する)に関する情報であるアバター情報が、自アバター情報テーブルとして記憶される。具体的には、図7を参照して、自アバターに関するアバター情報(以下、このアバター情報を自アバター情報と称する)として、自アバターの表示位置(座標)と、自アバターとして用いられるアバター画像をアバター情報記憶部110に記憶されている画像の中から特定するための情報(本具体例では「姿」で特定されているが、他に、画像を特定するIDなどの一意に割振られた識別情報が用いられてもよい)と、自アバターの状態に対応する画像をアバター情報記憶部110に記憶されている画像の中から特定するための情報(本具体例では「状態」を表わす動作で特定されているが、他に、状態に対応する画像を特定するIDなどの一意に割振られた識別情報が用いられてもよい)とが、テーブル形態で自アバター情報テーブルとして記憶される。
また、アバター状態記憶部109には、図8に示されるように、該通信端末100とネットワーク300を介して通信を行なう他の通信端末100を利用する各参加者を代理するアバター(以下、このアバターを参加者アバターと称する)に関するアバター情報が、参加者アバター情報テーブルとして記憶される。具体的には、図8に示されるように、各参加者アバターに関する情報(以下、このアバター情報を参加者アバター情報と称する)として、その参加者を一意に示す固有な情報である参加者IDと、その参加者アバターの表示位置(座標)と、その参加者アバターとして用いられるアバター画像をアバター情報記憶部110に記憶されている画像の中から特定するための情報と、その参加者アバターの状態に対応する画像をアバター情報記憶部110に記憶されている画像の中から特定するための情報と、その参加者から送信されてきた音声メッセージの個数を示す情報とが、テーブル形態で参加者アバター情報テーブルとして記憶される。なお、参加者アバター情報テーブルは、自アバター情報を含んで構成されてもよいし、自アバター情報以外の参加者アバター情報のみから構成されてもよい。また、参加者アバター情報テーブルは、本システムにおいて、現在視聴が行なわれているTV200を利用している参加者についての参加者アバター情報のみから構成されてもよいし、予め設定されている、本システムの全参加者についての参加者アバター情報から構成されてもよい。
アバター管理部106は、アバター状態記憶部109に記憶されるこれらのテーブルを管理する。
アバター管理部106は、視聴情報管理部103から渡された自視聴情報に基づいて、自アバター情報テーブル(図7)を更新する。また、視聴情報管理部103から渡された他の参加者についての参加者視聴情報に基づいて、参加者アバター情報テーブル(図8)を更新する。
アバター指定部108は、特定の参加者の利用する通信端末100に関するマルチメディアデータである音声メッセージの処理を行なうために、その参加者の参加者アバターの指定を受付ける。具体的には、アバター指定部108は、予め各参加者アバターに対応付けられている、または各参加者アバターを順に選択して決定するためのボタンや、タッチパネルや、コントローラなどの操作装置から構成され、その指定操作に応じた操作信号をアバター管理部106に渡す。または、アバター指定部108が音声認識機能や画像認識機能を備える場合には、音声による操作や画像による指定操作を受付けて、その指定操作に応じた操作信号をアバター管理部106に渡してもよい。
アバター操作部107は、当該通信端末100の利用者から自アバターや自アバター以外のアバター指定部108で指定された参加者についての操作を受付け、操作信号をアバター管理部106に渡す。具体的には、アバター操作部107は、予め定められているいくつかの動作や動作の程度を表わすボタンや、タッチパネルや、コントローラなどの操作装置から構成され、その操作に応じた操作信号をアバター管理部106に渡す。または、アバター操作部107が音声認識機能や画像認識機能を備える場合には、音声による操作や画像による操作を受付けて、その操作に応じた操作信号をアバター管理部106に渡してもよい。
アバター管理部106は、アバター操作部107から渡された操作信号に基づいて、自アバター情報テーブル(図7)を更新する。また、その操作情報に基づいて更新された自アバター情報を、ネットワーク通信制御部101を介して他の通信端末100に渡す。また、アバター管理部106は、他の通信端末100におけるアバター操作に応じて、ネットワーク通信制御部101を介して当該他の通信端末100からアバター情報を受信し、そのアバター情報に基づいて参加者アバター情報テーブル(図8)を更新する。
そして、アバター管理部106は、必要に応じて、接続されるTV200の画像表示部(不図示)に表示される自アバターの表示の更新、参加者アバターの表示、または参加者アバターの表示の更新を行なうために、アバター表示制御部111に対して指示信号を渡す。
アバター表示制御部111は、アバター管理部106から渡された指示信号に基づいて、表示を行なう、または表示を更新するアバターについてのアバター情報を、アバター管理部106を介してアバター状態記憶部109またはアバター情報記憶部110から取得してTV200の画像表示部(不図示)に表示させるための表示制御信号を生成する。そして、生成した表示制御信号を、TV通信制御部102を介して、該通信端末100に接続されるTV200に送信する。
アバター表示制御部111で生成された表示制御信号に基づいてTV200の画像表示部(不図示)に表示されるアバター画像の具体例については、図9に示される。図9では、参加者Bが利用するTV200bにおいてA放送局から配信されるテレビ番組「ニュースN」を視聴し、当該テレビ番組を他の参加者である参加者Dも利用するTV200dで視聴している場合に、参加者BのTV200bの画像表示部における表示が具体的に示されている。図9に示されるように、この場合、TV200bを利用している参加者Bに対応する自アバターのアバター画像500bと、同じテレビ番組を視聴している他の参加者に対応する参加者アバターのアバター画像500dとがTV200bの画像表示部に表示される。
なお、アバター操作部107で所定の操作を受付けることで、アバター管理部106からアバター表示制御部111に対して指示信号が渡されて、アバター表示制御部111において、TV200の画像表示部(不図示)で一時的に指定されたアバターの表示を行なわないような表示制御信号が生成されてもよい。
また、アバター管理部106は、アバター指定部108から渡された操作信号と、アバター操作部107から渡された操作信号とに基づいて、指定されたアバターを特定する特定情報と、当該アバターに対する操作が当該アバターに対応する参加者に関する音声メッセージの処理であることを示す情報とをメッセージ管理部112に渡す。
メッセージ管理部112は、ネットワーク通信制御部101を介して、他の通信端末100から音声メッセージを受信し、メッセージ蓄積部113に蓄積する。また、音声メッセージの受信を検出し、検出信号をアバター管理部106に渡す。アバター管理部106は、メッセージ管理部112から渡された検出信号に基づいて、参加者アバターテーブル(図8)を更新する。
メッセージ操作部116は、アバター指定部108で指定されたアバターに対応する参加者に対して、当該通信端末100の利用者から音声メッセージに関する操作を受付け、操作信号をメッセージ管理部112に渡す。具体的には、メッセージ操作部116は、予め定められているいくつかの音声メッセージに関する処理(たとえば、音声メッセージを録音する、音声メッセージを送信する、音声メッセージを聞くなど)を表わすボタンや、タッチパネルや、コントローラなどの操作装置から構成され、その操作に応じた操作信号をメッセージ管理部112に渡す。メッセージ管理部112は、アバター管理部106から渡された指定されたアバターを特定する特定情報、および当該アバターに対する操作が当該アバターに対応する参加者に関する音声メッセージの処理であることを示す情報と、メッセージ操作部116から渡された操作信号とに基づいて、音声メッセージに関する処理を実行する。
具体的には、メッセージ管理部112はメッセージ入力部114から音声メッセージの入力を受付け、メッセージ入力部114から入力された音声メッセージを、ネットワーク通信制御部101を介して該当する通信端末100に送信する。
メッセージ入力部114は入力部15であるマイクなどの音声を入力する機能であって、アバター指定部108において指定されたアバターに対応する参加者に対する音声メッセージの入力を受付ける。また、メッセージ入力部114が記録媒体読取装置で構成される場合には、記録媒体から音声メッセージを読取ることで音声メッセージの入力を受付けてもよい。そして、入力された音声メッセージは、メッセージ管理部112に渡される。
なお、当該システムの通信端末100間でやり取りされるマルチメディアデータは、音声メッセージを含むあらゆる形態のマルチメディアデータであってもよい。具体的には、音声に限定されず、静止画像や動画像のデータであってもよいし、それらの組合わせであってもよい。その場合、メッセージ入力部114は、カメラ等の画像入力装置など、マルチメディアデータの形態に応じた他の形態のものであってよい。
また具体的には、メッセージ管理部112は、メッセージ蓄積部113より、特定されたアバターに該当する参加者に関する音声メッセージを取得し、メッセージ出力部115から出力する。
メッセージ出力部115は出力部16であるスピーカなどの音声を出力する機能であって、アバター指定部108において指定されたアバターに対応する参加者の通信端末100から受信してメッセージ蓄積部113に蓄積された音声メッセージを出力する。なお、当該システムの通信端末100間でやり取りされるマルチメディアデータは、音声メッセージを含むあらゆる形態のマルチメディアデータであってもよい。具体的には、音声に限定されず、静止画像や動画像のデータであってもよいし、それらの組合わせであってもよい。その場合、メッセージ出力部115は、表示装置(TV200の画像表示部(不図示)と共有されてもよいし、別個のものでもよい)など、マルチメディアデータの形態に応じた他の形態のものであってよい。
次に、本実施の形態にかかる通信端末100で実行される、チャンネル変更操作に応じた処理について説明する。
図10のフローチャートに示される処理は、当該通信端末100に接続されているTV200においてチャンネルの変更操作があった場合に行なわれる処理であって、通信端末100のCPU11がROM12等に記録されるプログラムをRAM13上に読出して実行し、図2に示される各部を制御して図3に示される各機能を発揮させることによって実現される。
図10を参照して、チャンネル変更検出部104は、TV通信制御部102を介してTV200におけるチャンネルの変更を監視する(S101)。
ステップS101においてチャンネルの変更が検出されると(S103でYES)、その検出情報は視聴情報管理部103に渡されて、視聴情報管理部103において、図4に示される自視聴情報テーブルに記憶される自視聴情報が更新される(S105)。
さらに、視聴情報管理部103において、更新された自視聴情報がネットワーク通信制御部101を介して、参加者全員の通信端末100に対して送信される(S107)。図11に、ステップS107で参加者全員の通信端末100に対して送信される自視聴情報の具体例が示される。図11に示されるように、ステップS107では、具体的に、当該通信端末100の利用者を一意に示す固有な情報である参加者IDと、変更されたチャンネルの番号と、変更されたテレビ番組の放送局名と、そのテレビ番組名とが他の通信端末100に対して送信される。
なお、ステップS107では、予め参加者視聴情報テーブルに登録されている本システムの参加者全員の通信端末100に対して送信されてもよいし、ネットワーク300を介して他の通信端末100に対してブロードキャストで送信されてもよい。
また、視聴情報管理部103において、図6に示される同視聴情報テーブルが更新される(S109)。
アバター管理部106においては、ステップS109で更新された同視聴情報テーブルが読出される。そして、アバター表示制御部111において、TV通信制御部102を介して表示制御信号が接続されるTV200に対して送信され、画像表示部(不図示)で自アバターと共に同視聴情報者に対応するアバターが表示される(S111)。
以上で、当該通信端末100に接続されているTV200においてチャンネルの変更操作があった場合に行なわれる処理が終了する。そして、再び処理がステップS101に戻されて、チャンネル変更検出部104においてTV200におけるチャンネルの変更が監視される。
なお、上述の処理において、ステップS107〜S111の処理の順はこの順に限定されず、入替わってもよい。
次に、図12を用いて、上述の処理が行なわれて、他の通信端末100でのチャンネルの変更に伴って当該他の通信端末100から視聴情報を受信した場合に行なわれる処理について説明する。図12のフローチャートに示される処理もまた、通信端末100のCPU11がROM12等に記録されるプログラムをRAM13上に読出して実行し、図2に示される各部を制御して図3に示される各機能を発揮させることによって実現される。
図12を参照して、視聴情報管理部103は、ネットワーク通信制御部101を介して、ネットワーク300を介して接続される他の通信端末100からの視聴情報の受信を監視する(S131)。
ステップS131においてネットワーク300を介して接続される他の通信端末100からの視聴情報の受信が検出されると(S133でYES)、視聴情報管理部103において、その検出情報に基づいて、その受信相手からの通信端末100の視聴情報と図4に示される自視聴情報テーブルに記憶される自視聴情報とが比較される(S135)。
そして、ステップS135での比較の結果、それらの視聴情報が一致した場合(S137でYES)、つまり、受信相手の通信端末100において、現在、通信端末100の利用者が視聴しているテレビ番組と同じテレビ番組が視聴されるようにチャンネルが変更された場合、視聴情報管理部103において、図6に示される同視聴情報者テーブルに受信相手の視聴情報が記憶されるように、同視聴情報者テーブルが更新される(S139)。
さらに、アバター管理部106においてステップS139で更新された同視聴情報テーブルが読出される。そして、アバター表示制御部111において、TV通信制御部102を介して表示制御信号が接続されるTV200に対して送信され、画像表示部(不図示)で自アバターと共に受信相手の参加者に対応するアバターが新たに表示される(S141)。
一方、ステップS135での比較の結果、それらの視聴情報が一致しなかった場合(S137でNO)、つまり、受信相手の通信端末100において、現在、通信端末100の利用者が視聴しているテレビ番組とは異なるテレビ番組が視聴されるようにチャンネルが変更された場合、さらに、視聴情報管理部103において同視聴情報者テーブルから受信相手の視聴情報が検索される(S145)。
ステップS145での検索の結果、同視聴情報者テーブルに受信相手の視聴情報が含まれると判断された場合(S147でYES)、つまり、受信相手の通信端末100において、現在通信端末100の利用者が視聴しているテレビ番組から、そのテレビ番組とは異なる他のテレビ番組が視聴されるようにチャンネルが変更されたと判断された場合、視聴情報管理部103において同視聴情報者テーブルが更新され、同視聴情報者テーブルからその受信相手の視聴情報が削除される(S149)。
さらに、アバター管理部106においてステップS149で更新された同視聴情報テーブルが読出される。そして、アバター表示制御部111において、TV通信制御部102を介して表示制御信号が接続されるTV200に対して送信され、画像表示部(不図示)で自アバターと共に表示されている受信相手の参加者に対応するアバターの表示が、画面上から削除される(S151)。
一方、ステップS145での検索の結果、同視聴情報者テーブルに受信相手の視聴情報が含まれないと判断された場合には(S147でNO)、受信相手の通信端末100において、現在通信端末100の利用者が視聴しているテレビ番組とは異なる他のテレビ番組から、現在通信端末100の利用者が視聴しているテレビ番組とも異なる、他のテレビ番組が視聴されるようにチャンネルが変更されたと判断されるため、ステップS149,S151の処理はスキップされる。
そして、受信された受信相手の視聴情報に基づいて、視聴情報管理部103において、図5に示される参加者視聴情報テーブルが更新され、該当する参加者に対応する視聴情報が更新される(S143)。
以上で、ネットワーク300を介して該通信端末100に接続されている他の通信端末100でのチャンネルの変更に伴う処理が終了する。そして、再び処理がステップS131に戻されて、視聴情報管理部103において、ネットワーク通信制御部101を介して、ネットワーク300を介して接続される他の通信端末100からの視聴情報の受信が監視される。
なお、上述の処理において、ステップS143の処理はこのタイミングに限定されず、他のタイミングに実行されてもよい。
本実施の形態にかかる通信端末100において上述の処理が実行されることで、たとえば、本システムの参加者B,Dが各々TV200b,200dを利用して共にA放送局配信のテレビ番組「ニュースN」を視聴していると、図9に示されるように、TV200bの画像表示部には、参加者Bと共に同じテレビ番組を視聴している他の参加者Dを示すアバター画像500dがテレビ番組の画像に重ねて(または画像と共に)表示される。
また、参加者B,Dが各々TV200b,200dを利用してA放送局配信のテレビ番組「ニュースN」を視聴しており、参加者Aが利用しているTV200aのチャンネルを変更して該テレビ番組を視聴するようになったとしたとき、図13に示されるように、初め、TV200bの画像表示部には、テレビ番組「ニュースN」の画像に重ねて(または画像と共に)、自アバターである参加者Bのアバター画像500bと、同視聴情報者である参加者Dのアバター画像500dとが表示されている。そして、該テレビ番組を視聴するようになった参加者Aの通信端末100aから視聴情報を受信して上述の処理がなされることで、ステップS141では、新たに、参加者Aのアバター画像500aが表示されるようになる。なお、ステップS141で新たなアバター画像が表示されるとき、新たに表示されるという状態を表わすような、通常の表示状態とは異なるアバター画像の表示がなされてもよい。たとえば、実際に動画像で入場を表わすようなアバター画像の表示や、新たな表示である旨を示す画像と対になったアバター画像の表示などが挙げられる。そのような表示に替えて、またはそのような表示と共に、音声でその旨が表現されてもよい。
また、参加者A,B,Dが各々TV200a,200b,200dを利用してA放送局配信のテレビ番組「ニュースN」を視聴しており、参加者Aが利用しているTV200aのチャンネルを変更して該テレビ番組とは異なる他のテレビ番組を視聴するようになったとしたとき、図14に示されるように、初め、TV200bの画像表示部には、テレビ番組「ニュースN」の画像に重ねて(または画像と共に)、自アバターである参加者Bのアバター画像500bと、同視聴情報者である参加者Aのアバター画像500aと、参加者Dのアバター画像500dとが表示されている。そして、該テレビ番組とは異なる他のテレビ番組を視聴するようになった参加者Aの通信端末100aから視聴情報を受信して上述の処理がなされることで、ステップS151では、参加者Aのアバター画像500aの表示が削除される。なお、ステップS151でアバター画像の表示が削除されるとき、表示が削除されるという状態を表わすような、通常の表示状態とは異なるアバター画像の表示がなされてもよい。たとえば、実際に動画像で退場を表わすようなアバター画像の表示や、表示が削除される旨を示す画像と対になったアバター画像の表示などが挙げられる。そのような表示に替えて、またはそのような表示と共に、音声でその旨が表現されてもよい。
このように視聴している他の参加者を示すアバターが表示されることで、リアルタイムに配信されるコンテンツをたとえば家庭内などで個別に視聴する際にも、共に同じコンテンツを視聴している他の視聴者と場を共有している感覚や他の参加者の存在や他の視聴者との一体感を感じることができ、他の視聴者との「つながり感」の感じられるコミュニケーションが得られる。
次に、本実施の形態にかかる通信端末100で実行される、アバターに対する操作に応じた処理について説明する。
図15のフローチャートに示される処理は、当該通信端末100において自アバターに対する操作があった場合に行なわれる処理であって、通信端末100のCPU11がROM12等に記録されるプログラムをRAM13上に読出して実行し、図2に示される各部を制御して図3に示される各機能を発揮させることによって実現される。
図15を参照して、アバター管理部106は、アバター操作部107から自アバターに対する操作があるか否かを監視する(S161)。
ステップS161において自アバターに対する操作が検出されると(S163でYES)、アバター操作部107から渡された操作信号に基づいて、図7に示される自アバター情報テーブルに記憶される自アバター情報が更新される(S165)。
さらに、アバター操作部107において、更新された自アバター情報がネットワーク通信制御部101を介して、参加者全員の通信端末100に対して送信される(S167)。図16に、ステップS167で参加者全員の通信端末100に対して送信されるアバター情報の具体例が示される。図16に示されるように、ステップS167では、具体的に、当該通信端末100の利用者を一意に示す固有な情報である参加者IDと、更新された自アバター情報である、操作後の自アバターの表示位置と、操作後の自アバターとして用いられるアバター画像をアバター情報記憶部110に記憶されている画像の中から特定するための情報である「姿」と、操作後の自アバターの状態に対応する画像をアバター情報記憶部110に記憶されている画像の中から特定するための情報である「動作」とが他の通信端末100に対して送信される。
なお、ステップS167では、予め参加者視聴情報テーブルに登録されている本システムの参加者全員の通信端末100に対して送信されてもよいし、ネットワーク300を介して他の通信端末100に対してブロードキャストで送信されてもよい。
そして、アバター表示制御部111において、アバター管理部106から渡された更新された自アバター情報に基づいて生成された表示制御信号が、TV通信制御部102を介して接続されるTV200に対して送信され、画像表示部(不図示)での自アバターの表示が更新される(S167)。
以上で、当該通信端末100に接続されているTV200において自アバターに対する操作に応じた処理が終了する。そして、再び処理がステップS161に戻されて、アバター操作部107においてアバター操作部107から自アバターに対する操作があるか否かが監視される。
次に、図17を用いて、上述の処理が行なわれて、他の通信端末100での自アバターに対する操作に伴って当該他の通信端末100からアバター情報を受信した場合に行なわれる処理について説明する。図17のフローチャートに示される処理もまた、通信端末100のCPU11がROM12等に記録されるプログラムをRAM13上に読出して実行し、図2に示される各部を制御して図3に示される各機能を発揮させることによって実現される。
図17を参照して、アバター管理部106は、ネットワーク通信制御部101を介して、ネットワーク300を介して接続される他の通信端末100からのアバター情報の受信を監視する(S171)。
ステップS171においてネットワーク300を介して接続される他の通信端末100からのアバター情報の受信が検出されると(S173でYES)、視聴情報管理部103において、その受信相手の通信端末100の視聴情報が図5に示される参加者視聴情報テーブルから抽出され、受信相手の視聴情報と図4に示される自視聴情報テーブルに記憶される自視聴情報とが比較される(S175)。
そして、ステップS175での比較の結果、それらの視聴情報が一致した場合(S177でYES)、つまり、現在、通信端末100の利用者が視聴しているテレビ番組と同じテレビ番組が視聴されている他の通信端末100からアバターの変更に伴うアバター情報を受信した場合には、アバター表示制御部111において、アバター管理部106から渡されたアバター情報に基づいて生成された表示制御信号が、TV通信制御部102を介して接続されるTV200に対して送信され、画像表示部(不図示)に表示されているその受信相手に該当するアバターの表示が更新される(S179)。
ステップS179では、図16に示されるようなアバター情報が受信された場合に、アバター管理部106において、その「姿」と「動作」とで特定される、所定のキャラクタが所定の動作を行なっているようなアバター画像がアバター情報記憶部110から取得され、アバター表示制御部111において、そのアバター画像が表示位置で指定されるTV200の画像表示部上の位置に表示されるような表示制御信号が生成される。
なお、ステップS175での比較の結果、それらの視聴情報が一致しなかった場合(S177でNO)、つまり、現在、通信端末100の利用者が視聴しているテレビ番組とは異なるテレビ番組が視聴されている他の通信端末100からアバターの変更に伴うアバター情報を受信した場合には、上述のステップS179の処理はスキップされる。
そして、受信された受信相手のアバター情報に基づいて、アバター管理部106において、図8に示される参加者アバター情報テーブルが更新され、該当する参加者に対応するアバター情報が更新される(S181)。
以上で、ネットワーク300を介して該通信端末100に接続されている他の通信端末100での自アバターに対する操作に伴う処理が終了する。そして、再び処理がステップS171に戻されて、アバター管理部106において、ネットワーク通信制御部101を介して、ネットワーク300を介して接続される他の通信端末100からのアバター情報の受信が監視される。
なお、上述の処理において、ステップS181の処理はこのタイミングに限定されず、他のタイミングに実行されてもよい。
本実施の形態にかかる通信端末100において上述の処理が実行されることで、TV200でテレビ番組を視聴している参加者が、自身が当該テレビ番組を視聴していることを示すキャラクタであるアバターの動作を任意に操作し、感想や感情を表現することができる。さらに、上述の処理を行なってそのアバターの操作を、当該テレビ番組を視聴している他の参加者のTV200に反映できるため、当該テレビ番組を視聴している他の参加者との間で、リアルタイムに感想や感情をやり取りすることができる。このようにされることで、リアルタイムに配信されるコンテンツをたとえば家庭内などで個別に視聴する際にも、その場に居合わせない他の参加者との間で、あたかもそこに居合わせているように自在に感想や感情をやり取りでき、共に同じコンテンツを視聴している他の視聴者と場を共有している感覚や他の参加者の存在や他の視聴者との一体感を感じることができて、他の視聴者との「つながり感」の感じられるコミュニケーションが得られる。
なお、上述の例においては、通信端末100間において、予め各通信端末100のアバター情報記憶部110に記憶されている画像の中から所定のキャラクタが所定の動作を行なっているようなアバター画像を特定するための情報(たとえばIDなどの一意に割振られた識別情報など)がやり取りされて、受信された通信端末100において当該情報に基づいて対応するアバター画像が特定されているが、通信端末100間において、アバター画像とする画像データがやり取りされてもよい。また、新規にアバター画像やアバターの状態に対応する画像として用いたい画像データ(たとえば写真撮影された参加者自身の画像など)を他の通信端末100に対して送信して各通信端末100のアバター情報記憶部110に記憶させる処理が任意のタイミングで行なわれてもよい。なお、その場合、各通信端末100において、各通信端末100の間で共有されている一意の識別情報が新規に当該画像データに対して割振られてアバター情報記憶部110に記憶される。
次に、本実施の形態にかかる通信端末100において、他の参加者の通信端末100との間の音声メッセージに対する処理について、図18を用いて説明する。図18のフローチャートに示される処理は、当該通信端末100において他の通信端末100との間の音声メッセージに対する操作があった場合に行なわれる処理であって、通信端末100のCPU11がROM12等に記録されるプログラムをRAM13上に読出して実行し、図2に示される各部を制御して図3に示される各機能を発揮させることによって実現される。
図18を参照して、アバター管理部106は、アバター指定部108から、現在TV200の画像表示部(不図示)に表示されている参加者アバターの中から1つまたは複数の所定のアバターを指定する操作があるか否かを監視する(S201)。
ステップS201において所定のアバターを指定する操作が検出されると(S203でYES)、さらに、アバター操作部107において指定されたアバターに対応する参加者の通信端末100に対する指示入力を受付ける(S205)。そして、アバター管理部106において、ステップS205で入力された指示内容が解析されて、以降、その指示内容に応じた処理が進められる。
ステップS205で入力された指示内容が、指定されたアバターに対応する参加者の通信端末100に対する音声メッセージの送信である場合には(S207でYES)、メッセージ管理部112において、メッセージ入力部114から入力される音声メッセージの入力を受付ける(S209)。そして、アバター管理部106において、指定されたアバターに対応する参加者が送信相手として特定されて、メッセージ管理部112において、ネットワーク通信制御部101を介して該当する通信端末100に対して音声メッセージが送信される(S213)。
ステップS213で送信される音声メッセージを説明するため、参加者ID「002」で特定される参加者の通信端末100において、参加者ID「001」で特定される参加者に対応するアバターが指定されて、音声メッセージ「やった!やった!」が入力された場合の送信される音声メッセージの具体例を図19に示す。図19を参照して、この場合、参加者ID「002」で特定される参加者の通信端末100からは、送信側の通信端末100を利用する参加者の参加者ID(002)と、送信相手として指定されたアバターに対応する参加者の参加者ID(001)と、送信側の通信端末100における送信時刻と、送信時の送信側の通信端末100における視聴情報としてそのときに接続されるTV200で視聴されているチャンネル番号、そのテレビ番組の放送局名、およびそのテレビ番組名と、入力された音声メッセージの内容とを含む情報が該当する通信端末100に対して送信される。この情報に含まれる送信相手の通信端末100に関する情報である、送信相手として指定されたアバターに対応する参加者の参加者IDは、アバター管理部106においてアバター状態記憶部109に記憶される参加者アバター情報テーブルから取得され、メッセージ管理部112に渡される情報である。また、送信時の送信側の通信端末100における視聴情報は、視聴情報管理部103において視聴情報記憶部105に記憶される自視聴情報テーブルから取得され、メッセージ管理部112に渡される情報である。
一方、ステップS205で入力された指示内容が、指定されたアバターに対応する参加者の通信端末100から送信された音声メッセージの再生である場合には(S207でNO、かつS215でYES)、アバター管理部106において、指定されたアバターに対応する参加者が特定されて、メッセージ管理部112において、メッセージ蓄積部113に、その参加者から送信された音声メッセージが蓄積されているか否かが調べられる(S217)。
ここで、メッセージ蓄積部113に蓄積されている音声メッセージに関する情報の具体例を図20に示す。他の通信端末100から送信された図19に示されるような音声メッセージは、図20に示されるように、そのまま、音声メッセージごとにメッセージ蓄積部113に蓄積される。なお、メッセージ蓄積部113に蓄積される音声メッセージに関する情報は、以下の処理がなされて、メッセージ出力部115において再生されると自動的に削除されてもよいし、以下の処理がなされて、メッセージ操作部116からの操作に応じて削除されてもよい。
そして、該当する音声メッセージがメッセージ蓄積部113に蓄積されている場合には(S219でYES)、メッセージ出力部115において当該音声メッセージが再生される(S221)。同時に、アバター管理部106において、参加者アバター情報テーブルの該当する参加者アバター情報のうちの、メッセージの有無に関する情報について更新されてもよい。また、該当する音声メッセージがメッセージ蓄積部113に蓄積されていない場合には(S219でNO)、ステップS221の処理がスキップされる。
さらに、ステップS205で入力された指示内容が、指定されたアバターに対応する参加者の通信端末100から送信された音声メッセージの削除である場合には(S207でNO、かつS215でNO)、ステップS217と同様に、アバター管理部106において、指定されたアバターに対応する参加者が特定されて、メッセージ管理部112において、メッセージ蓄積部113に、その参加者から送信された音声メッセージが蓄積されているか否かが調べられる(S223)。
そして、該当する音声メッセージがメッセージ蓄積部113に蓄積されている場合には(S225でYES)、メッセージ管理部112において、メッセージ蓄積部113から当該音声メッセージが削除される(S227)。同時に、アバター管理部106において、参加者アバター情報テーブルの該当する参加者アバター情報のうちの、メッセージの有無に関する情報について更新されてもよい。また、該当する音声メッセージがメッセージ蓄積部113に蓄積されていない場合には(S225でNO)、ステップS227の処理がスキップされる。
以上で、他の参加者の通信端末100との間の音声メッセージに対する処理が終了する。そして、再び処理がステップS201に戻されて、アバター管理部106において、アバター指定部108から、現在TV200の画像表示部(不図示)に表示されている参加者アバターの中から1つまたは複数の所定のアバターを指定する操作があるか否かが監視される。
次に、図21を用いて、上述の処理が行なわれた他の通信端末100から音声メッセージを受信した場合に行なわれる処理について説明する。図21のフローチャートに示される処理もまた、通信端末100のCPU11がROM12等に記録されるプログラムをRAM13上に読出して実行し、図2に示される各部を制御して図3に示される各機能を発揮させることによって実現される。
図21を参照して、メッセージ管理部112は、ネットワーク通信制御部101を介して、ネットワーク300を介して接続される他の通信端末100からの音声メッセージの受信を監視する(S241)。
ステップS241においてネットワーク300を介して接続される他の通信端末100からの音声メッセージの受信が検出されると(S243でYES)、受信された音声メッセージは、図20に示されるように、メッセージ蓄積部113に蓄積される(S245)。
そして、メッセージ管理部112からアバター管理部106に音声メッセージの受信があった旨が通知され、アバター管理部106において、その送信相手である参加者が特定される。さらに、アバター表示制御部111において生成された表示制御信号がTV通信制御部102を介して接続されるTV200に対して送信され、画像表示部(不図示)に表示されているその受信相手に該当するアバターの表示が、当該参加者からメッセージの受信があることを示す表示に更新される(S247)。なお、その際、アバター管理部106において、図8に示される参加者アバター情報テーブルの該当する参加者に対応するアバター情報について、その参加者から送信された音声メッセージの数が1インクリメントされる更新が実行されてもよい。
以上で、他の通信端末100から音声メッセージを受信した場合における処理が終了する。そして、再び処理がステップS241に戻されて、メッセージ管理部112において、ネットワーク通信制御部101を介して、ネットワーク300を介して接続される他の通信端末100からの音声メッセージの受信が監視される。
本実施の形態にかかる通信端末100において上述の処理が実行されることで、たとえば参加者Bの通信端末100bで参加者Dの通信端末100dから送信された音声メッセージを受信した場合、そのTV200bの画像表示部には、図22に示されるようなアバター画像が表示される。すなわち、図22を参照して、参加者Dから参加者Bに宛てた音声メッセージを通信端末100dから受信したことを示す参加者Dに対応するアバター画像500dが表示される。
図22に示されるようなアバターの表示において、アバター画像500dがアバター指定部108において指定されて、メッセージ操作部116において、その音声メッセージの再生や削除を指示する操作がなされると、先に説明された処理が実行されて、その音声メッセージを再生する処理(S221)や削除する処理(S227)が実行される。
つまり、本実施の形態にかかる通信端末100において上述の処理が実行されることで、リアルタイムに配信されるコンテンツをたとえば家庭内などで個別に視聴する際にも、その場に居合わせない他の参加者との間で、あたかもそこに居合わせているように自在に音声メッセージなどのマルチメディアデータのやり取りを行なうことができ、共に同じコンテンツを視聴している他の視聴者と場を共有している感覚や他の参加者の存在や他の視聴者との一体感を感じることができ、他の視聴者との「つながり感」の感じられるコミュニケーションが得られる。また、上述のように、他の参加者から受信したマルチメディアデータを任意のタイミングで再生可能であるため、自身の視聴を妨げることなくコミュニケーションを図ることが可能になる。
なお、上述の実施の形態では、図1に示されたように、各通信端末100が記憶装置を備え、ネットワーク300を介して直接データのやり取りを行なうシステムの構成が述べられたが、システムの構成はこのような構成に限定されない。
システムの構成の他の具体例として、図23に示されるような、ネットワーク300に接続されたサーバ600を含むシステムの構成も挙げられる。この場合、図24に示されるように、通信端末100は、図3に示される各機能のうちの視聴情報記憶部105、アバター状態記憶部109、アバター情報記憶部110、およびメッセージ蓄積部113以外の機能を含んで構成され、サーバ600が、上述の視聴情報記憶部105、アバター状態記憶部109、アバター情報記憶部110、およびメッセージ蓄積部113と、ネットワーク300を介して通信端末100と通信を行なうためのネットワーク通信制御部601との各機能を含んで構成される。そして、上述の処理が実行される際、各通信端末100の視聴情報管理部103、アバター管理部106、およびメッセージ管理部112からは、ネットワーク通信制御部101を介して、サーバ600に含まれる各記憶部、蓄積部にアクセスされる。
このようにシステムが構成されることで、各通信端末100の記憶容量を少なくすることができ、通信端末100の構成を簡易にすることが可能になる。また、アバター画像データなどをサーバ600において一元的に管理することが可能になるため、その管理が容易になる。
なお、上述の実施の形態においては、TV200を利用している参加者を代理する情報としてキャラクタ画像であるアバターを表示するものとしたが、アバターに替えて、同じテレビ番組を視聴している参加者の名前など、その参加者を示す文字列をリスト表示してもよい。または、TV200を利用している参加者を代理する情報として音声であってもよく、表示に替えて、図示されないスピーカから出力されてもよい。また、そのような情報の出力形態は、TV200からテレビ番組と共に出力される出力形態に限定されず、たとえば、TV200に設けられた、各参加者を示すランプや札や人形のような識別装置を作動させることで同じテレビ番組を視聴している参加者を表わす形態であってもよい。
さらに、上述の通信端末100で実行される各処理の方法を、プログラムとして提供することもできる。このようなプログラムは、コンピュータに付属するフレキシブルディスク、CD−ROM、ROM、RAMおよびメモリカードなどのコンピュータ読取り可能な記録媒体にて記録させて、プログラム製品として提供することもできる。あるいは、コンピュータに内蔵するハードディスクなどの記録媒体にて記録させて、プログラムを提供することもできる。また、ネットワークを介したダウンロードによって、プログラムを提供することもできる。
提供されるプログラム製品は、ハードディスクなどのプログラム格納部にインストールされて実行される。なお、プログラム製品は、プログラム自体と、プログラムが記録された記録媒体とを含む。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
11 CPU、12 ROM、13 RAM、14 記録媒体読取部、15 入力部、16 出力部、17 通信部、18 バス、100,100a〜100d 通信端末、101,601 ネットワーク通信制御部、102 TV通信制御部、103 視聴情報管理部、104 チャンネル変更検出部、105 視聴情報記憶部、106 アバター管理部、107 アバター操作部、108 アバター指定部、109 アバター状態記憶部、110 アバター情報記憶部、111 アバター表示制御部、112 メッセージ管理部、113 メッセージ蓄積部、114 メッセージ入力部、115 メッセージ出力部、116メッセージ操作部、200,200a〜200d TV、300 ネットワーク、400 放送局、500a,500b,500d アバター画像、600 サーバ。