JP2007173952A - コンテンツ再生システム、再生装置および方法、提供装置および提供方法、プログラム、並びに記録媒体 - Google Patents

Abstract

【課題】直接会話ができない場合でも、視聴している同じコンテンツについて対話することができる。
【解決手段】静止画・動画受信制御部６２は、提供装置から送信されてくるコンテンツの受信を制御する。ユーザ入力情報処理部５１は、コンテンツに関する対話の内容を示すインタラクション情報を取得する。ユーザ入力情報送信制御部６３は、インタラクション情報および自分を特定する特定情報の提供装置宛ての送信を制御する。ユーザ入力情報受信制御部６４は、提供装置からの、他の再生装置において取得されたインタラクション情報および他の再生装置の特定情報の受信を制御する。再生出力制御部５３は、コンテンツとインタラクション情報による対話の内容とを、特定情報によって関係させるように、インタラクション情報による対話の内容の出力を制御する。本発明は、デジタルスチルカメラに適用できる。
【選択図】図２

Description

本発明はコンテンツ再生システム、再生装置および方法、提供装置および提供方法、プログラム、並びに記録媒体に関し、特に、コンテンツを再生するか、再生するコンテンツを提供できるようにしたコンテンツ再生システム、再生装置および方法、提供装置および提供方法、プログラム、並びに記録媒体に関する。

デジタルスチルカメラ、携帯電話機、または画像を表示させる携帯型のビュワーなどを、IEEE（Institute of Electrical and Electronic Engineers）802.11a，IEEE802.11b、若しくはIEEE802.11gなどの規格に準拠した無線LAN（Local Area Network）、またはBluetoothなどの規格に準拠した通信により相互に接続し、接続した機器に静止画像または動画像などを送受信させて、これらの機器の間でタイミングを取って時間的に同じ静止画像または動画像を再生させる、すなわち、静止画像または動画像などを同期させて再生させる「同時視聴」が提案されている。

この「同時視聴」を用いることで、宴会などの席で、テーブル毎にデジタルスチルカメラ、携帯電話機、または携帯型のビュワーを用意するだけで、隣のテーブルにいる友人たちと同じ静止画像または動画像を同じタイミングで視聴することができるようになり、テーブル毎に分かれてしまうことなく、全員で一緒に驚いたり笑ったりする環境を提供することができるようになる。

従来、カメラ部により撮影した画像を撮像画像ファイルとして取り込んで保存し、この保存した撮像画像ファイルを無線通信により送信出力するまでの処理が、撮影ソフトウエアとしてのプログラムと、通信ソフトウエアとしてのプログラムとが連携することによって実行されるように構成するようにしているものもある（例えば、特許文献１参照）。この場合、撮影ソフトウエアと通信ソフトウエアを切り換えて操作する必要が無くなる。

特開２００３−９２７５１号公報

しかしながら、無線LANによる接続が可能な距離であるが、直接会話ができないほど離れていたり、ホットスポット経由でインターネットを介して相手と接続していたり、または、図書館などのように近くにいても声を出せないような場所にいる場合には、「同時視聴」をしても、同じ静止画像または動画像をただ一緒に視聴することしかできないので、「同時視聴」をしている者同士で十分に楽しむことができるとは言い難い。

本発明は、このような状況に鑑みてなされたものであり、直接会話ができない場合であっても、視聴している同じコンテンツについて対話することができるようにするものである。

本発明の第１の側面のコンテンツ再生システムは、コンテンツを提供する提供装置と、提供された前記コンテンツを再生する再生装置とからなるコンテンツ再生システムであって、前記再生装置が、前記提供装置から送信されてくる前記コンテンツの受信を制御する第１の受信制御手段と、受信した前記コンテンツであって、再生している前記コンテンツに関する対話の内容を示すインタラクション情報を取得する取得手段と、前記提供装置への、前記インタラクション情報および自分を特定する特定情報の送信を制御する第１の送信制御手段と、前記提供装置から送信されてくる、前記コンテンツを同期して再生している他の再生装置において取得された前記インタラクション情報および前記他の再生装置を特定する前記特定情報の受信を制御する第２の前記受信制御手段と、再生している前記コンテンツと受信した前記インタラクション情報による対話の内容とを、受信した前記特定情報によって関係させるように、受信した前記インタラクション情報による対話の内容の出力を制御する出力制御手段とを備え、前記提供装置が、前記再生装置への前記コンテンツの送信を制御する第２の送信制御手段と、前記再生装置から送信されてくる、前記インタラクション情報および前記特定情報の受信を制御する第３の受信制御手段と、受信した前記インタラクション情報および前記特定情報の前記再生装置への送信を制御する第３の送信制御手段とを備える。

本発明の第１の側面においては、提供装置から送信されてくるコンテンツの受信が制御され、受信した前記コンテンツであって、再生している前記コンテンツに関する対話の内容を示すインタラクション情報が取得され、前記提供装置への、前記インタラクション情報および自分を特定する特定情報の送信が制御され、前記提供装置から送信されてくる、前記コンテンツを同期して再生している他の再生装置において取得された前記インタラクション情報および前記他の再生装置を特定する前記特定情報の受信が制御され、再生している前記コンテンツと受信した前記インタラクション情報による対話の内容とを、受信した前記特定情報によって関係させるように、受信した前記インタラクション情報による対話の内容の出力が制御され、再生装置への前記コンテンツの送信が制御され、前記再生装置から送信されてくる、前記インタラクション情報および前記特定情報の受信が制御され、受信した前記インタラクション情報および前記特定情報の前記再生装置への送信が制御される。

本発明の第２の側面の再生装置は、提供装置から提供されたコンテンツを再生する再生装置であって、前記提供装置から送信されてくる前記コンテンツの受信を制御する第１の受信制御手段と、受信した前記コンテンツであって、再生している前記コンテンツに関する対話の内容を示すインタラクション情報を取得する取得手段と、前記提供装置への、前記インタラクション情報および自分を特定する特定情報の送信を制御する送信制御手段と、前記提供装置から送信されてくる、前記コンテンツを同期して再生している他の再生装置において取得された前記インタラクション情報および前記他の再生装置を特定する前記特定情報の受信を制御する第２の前記受信制御手段と、再生している前記コンテンツと受信した前記インタラクション情報による対話の内容とを、受信した前記特定情報によって関係させるように、受信した前記インタラクション情報による対話の内容の出力を制御する出力制御手段とを備える。

受信した前記コンテンツを、前記他の再生装置と同期して再生する再生手段をさらに設けることができる。

前記インタラクション情報は、画像を表示させる情報とすることができる。

前記出力制御手段は、前記コンテンツの画像に重畳させて、前記インタラクション情報による前記画像を表示させるように、前記インタラクション情報による対話の内容の出力を制御することができる。

前記出力制御手段は、受信した前記特定情報で定まる領域に、前記インタラクション情報による前記画像を表示させるように、前記インタラクション情報による対話の内容の出力を制御することができる。

前記インタラクション情報は、音声を出力させる情報とすることができる。

前記出力制御手段は、前記コンテンツの音声に重畳させて、前記インタラクション情報による前記音声を出力させるように、前記インタラクション情報による対話の内容の出力を制御することができる。

前記インタラクション情報は、使用者によって指示された位置を示す情報とすることができる。

前記出力制御手段は、前記コンテンツの画像に重畳させて、前記インタラクション情報によって示される位置に、前記使用者の指示を表す画像を表示させるように、前記インタラクション情報による対話の内容の出力を制御することができる。

前記出力制御手段は、前記使用者の指示を表す前記画像であって、前記特定情報で定まる前記画像を表示させるように、前記インタラクション情報による対話の内容の出力を制御することができる。

前記取得手段は、予め定めた対話の内容の中の、使用者の指示に応じた対話の内容を示す前記インタラクション情報を取得することができる。

本発明の第２の側面の再生方法は、提供装置から提供されたコンテンツを再生する再生装置の再生方法であって、前記提供装置から送信されてくる前記コンテンツの受信を制御し、受信した前記コンテンツであって、再生している前記コンテンツに関する対話の内容を示すインタラクション情報を取得し、前記提供装置への、前記インタラクション情報および再生装置を特定する特定情報の送信を制御し、前記提供装置から送信されてくる、前記コンテンツを同期して再生している他の再生装置において取得された前記インタラクション情報および前記他の再生装置を特定する前記特定情報の受信を制御し、再生している前記コンテンツと受信した前記インタラクション情報による対話の内容とを、受信した前記特定情報によって関係させるように、受信した前記インタラクション情報による対話の内容の出力を制御するステップを含む。

本発明の第２の側面のプログラムは、提供装置から提供されたコンテンツを再生する再生装置のコンピュータに再生処理を行わせるプログラムであって、前記提供装置から送信されてくる前記コンテンツの受信を制御し、受信した前記コンテンツであって、再生している前記コンテンツに関する対話の内容を示すインタラクション情報を取得し、前記提供装置への、前記インタラクション情報および再生装置を特定する特定情報の送信を制御し、前記提供装置から送信されてくる、前記コンテンツを同期して再生している他の再生装置において取得された前記インタラクション情報および前記他の再生装置を特定する前記特定情報の受信を制御し、再生している前記コンテンツと受信した前記インタラクション情報による対話の内容とを、受信した前記特定情報によって関係させるように、受信した前記インタラクション情報による対話の内容の出力を制御するステップを含む。

本発明の第２の側面においては、提供装置から送信されてくるコンテンツの受信が制御され、受信した前記コンテンツであって、再生している前記コンテンツに関する対話の内容を示すインタラクション情報が取得され、前記提供装置への、前記インタラクション情報および再生装置を特定する特定情報の送信が制御され、前記提供装置から送信されてくる、前記コンテンツを同期して再生している他の再生装置において取得された前記インタラクション情報および前記他の再生装置を特定する前記特定情報の受信が制御され、再生している前記コンテンツと受信した前記インタラクション情報による対話の内容とを、受信した前記特定情報によって関係させるように、受信した前記インタラクション情報による対話の内容の出力が制御される。

本発明の第３の側面の提供装置は、コンテンツを再生する再生装置に前記コンテンツを提供する提供装置であって、前記再生装置への前記コンテンツの送信を制御する第１の送信制御手段と、前記再生装置から送信されてくる、前記再生装置において再生されている前記コンテンツに関する対話の内容を示すインタラクション情報および前記再生装置を特定する前記特定情報の受信を制御する受信制御手段と、受信した前記インタラクション情報および前記特定情報の前記再生装置への送信を制御する第２の送信制御手段とを備える。

前記第２の送信制御手段は、前記コンテンツを提供している全ての前記再生装置への、前記インタラクション情報および前記特定情報の送信を制御することができる。

前記再生装置における前記コンテンツの再生に同期して、送信している前記コンテンツを再生する再生手段と、再生している前記コンテンツに関する対話の内容を示す前記インタラクション情報を取得する取得手段とをさらに設け、前記第２の送信制御手段は、取得した前記インタラクション情報および自分を特定する前記特定情報の前記再生装置への送信を制御することができる。

前記再生装置における前記コンテンツの再生に同期して、送信している前記コンテンツを再生する再生手段と、再生している前記コンテンツと受信した前記インタラクション情報による対話の内容とを、受信した前記特定情報によって関係させるように、受信した前記インタラクション情報による対話の内容の出力を制御する出力制御手段とをさらに設けることができる。

本発明の第３の側面の提供方法は、コンテンツを再生する再生装置に前記コンテンツを提供する提供方法であって、前記再生装置への前記コンテンツの送信を制御し、前記再生装置から送信されてくる、前記再生装置において再生されている前記コンテンツに関する対話の内容を示すインタラクション情報および前記再生装置を特定する前記特定情報の受信を制御し、受信した前記インタラクション情報および前記特定情報の前記再生装置への送信を制御するステップを含む。

本発明の第３の側面のプログラムは、コンテンツを再生する再生装置に前記コンテンツを提供する提供処理を、コンピュータに行わせるプログラムであって、前記再生装置への前記コンテンツの送信を制御し、前記再生装置から送信されてくる、前記再生装置において再生されている前記コンテンツに関する対話の内容を示すインタラクション情報および前記再生装置を特定する前記特定情報の受信を制御し、受信した前記インタラクション情報および前記特定情報の前記再生装置への送信を制御するステップを含む。

本発明の第３の側面においては、前記再生装置への前記コンテンツの送信が制御され、前記再生装置から送信されてくる、前記再生装置において再生されている前記コンテンツに関する対話の内容を示すインタラクション情報および前記再生装置を特定する前記特定情報の受信が制御され、受信した前記インタラクション情報および前記特定情報の前記再生装置への送信が制御される。

本発明の第４の側面の提供装置は、コンテンツを再生する再生装置に前記コンテンツを提供する提供装置であって、前記再生装置への前記コンテンツの送信を制御する送信制御手段と、前記再生装置から送信されてくる、前記再生装置において再生されている前記コンテンツに関する対話の内容を示すインタラクション情報および前記再生装置を特定する前記特定情報の受信を制御する受信制御手段と、受信した前記特定情報および前記インタラクション情報に応じて、送信しようとする前記コンテンツを処理する処理手段とを備え、前記送信制御手段は、前記特定情報および前記インタラクション情報に応じて、処理された前記コンテンツの前記再生装置への送信を制御する。

本発明の第４の側面の提供方法は、コンテンツを再生する再生装置に前記コンテンツを提供する提供方法であって、前記コンテンツの前記再生装置への送信を制御し、前記再生装置から送信されてくる、前記再生装置において再生されている前記コンテンツに関する対話の内容を示すインタラクション情報および前記再生装置を特定する前記特定情報の受信を制御し、受信した前記特定情報および前記インタラクション情報に応じて、送信しようとする前記コンテンツを処理するステップを含み、前記コンテンツの前記再生装置への送信の制御において、前記特定情報および前記インタラクション情報に応じて、処理された前記コンテンツの前記再生装置への送信が制御される。

本発明の第４の側面のプログラムは、コンテンツを再生する再生装置に前記コンテンツを提供する提供処理を、コンピュータに行わせるプログラムであって、前記コンテンツの前記再生装置への送信を制御し、前記再生装置から送信されてくる、前記再生装置において再生されている前記コンテンツに関する対話の内容を示すインタラクション情報および前記再生装置を特定する前記特定情報の受信を制御し、受信した前記特定情報および前記インタラクション情報に応じて、送信しようとする前記コンテンツを処理するステップを含み、前記コンテンツの前記再生装置への送信の制御において、前記特定情報および前記インタラクション情報に応じて、処理された前記コンテンツの前記再生装置への送信が制御される。

本発明の第４の側面においては、前記コンテンツの前記再生装置への送信が制御され、前記再生装置から送信されてくる、前記再生装置において再生されている前記コンテンツに関する対話の内容を示すインタラクション情報および前記再生装置を特定する前記特定情報の受信が制御され、受信した前記特定情報および前記インタラクション情報に応じて、送信しようとする前記コンテンツが処理され、前記コンテンツの前記再生装置への送信の制御において、前記特定情報および前記インタラクション情報に応じて、処理された前記コンテンツの前記再生装置への送信が制御される。

本発明の第２の側面、第３の側面、または第４の側面のプログラムは、記録媒体に記録することができる。

以上のように、本発明の第１の側面によれば、コンテンツを再生することができる。また、本発明の第１の側面によれば、直接会話ができない場合であっても、視聴している同じコンテンツについて対話することができる。

本発明の第２の側面によれば、コンテンツを再生することができる。また、本発明の第２の側面によれば、直接会話ができない場合であっても、視聴している同じコンテンツについて対話することができる。

本発明の第３の側面によれば、コンテンツを再生させることができる。また、本発明の第３の側面によれば、直接会話ができない場合であっても、視聴している同じコンテンツについて対話させることができる。

本発明の第４の側面によれば、コンテンツを再生させることができる。また、本発明の第４の側面によれば、直接会話ができない場合であっても、視聴している同じコンテンツについて対話させることができる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

本発明の第１の側面のコンテンツ再生システムは、コンテンツを提供する提供装置（例えば、図１の機器１１）と、提供された前記コンテンツを再生する再生装置（例えば、図１の機器１３）とからなるコンテンツ再生システムであって、前記再生装置が、前記提供装置から送信されてくる前記コンテンツの受信を制御する第１の受信制御手段（例えば、機器１３の図２に示される静止画・動画受信制御部６２）と、受信した前記コンテンツであって、再生している前記コンテンツに関する対話の内容を示すインタラクション情報を取得する取得手段（例えば、機器１３の図２に示されるユーザ入力情報処理部５１）と、前記提供装置への、前記インタラクション情報および自分を特定する特定情報の送信を制御する第１の送信制御手段（例えば、機器１３の図２に示されるユーザ入力情報送信制御部６３）と、前記提供装置から送信されてくる、前記コンテンツを同期して再生している他の再生装置において取得された前記インタラクション情報および前記他の再生装置を特定する前記特定情報の受信を制御する第２の前記受信制御手段（例えば、機器１３の図２に示されるユーザ入力情報受信制御部６４）と、再生している前記コンテンツと受信した前記インタラクション情報による対話の内容とを、受信した前記特定情報によって関係させるように、受信した前記インタラクション情報による対話の内容の出力を制御する出力制御手段（例えば、機器１３の図２に示される再生出力制御部５３）とを備え、前記提供装置が、前記再生装置への前記コンテンツの送信を制御する第２の送信制御手段（例えば、機器１１の図２に示される静止画・動画送信制御部６１）と、前記再生装置から送信されてくる、前記インタラクション情報および前記特定情報の受信を制御する第３の受信制御手段（例えば、機器１１の図２に示されるユーザ入力情報受信制御部６４）と、受信した前記インタラクション情報および前記特定情報の前記再生装置への送信を制御する第３の送信制御手段（例えば、機器１１の図２に示されるユーザ入力情報送信制御部６３）とを備える。

本発明の第２の側面の再生装置は、提供装置（例えば、図１の機器１１）から提供されたコンテンツを再生する再生装置（例えば、図１の機器１３）であって、前記提供装置から送信されてくる前記コンテンツの受信を制御する第１の受信制御手段（例えば、図２の静止画・動画受信制御部６２）と、受信した前記コンテンツであって、再生している前記コンテンツに関する対話の内容を示すインタラクション情報を取得する取得手段（例えば、図２のユーザ入力情報処理部５１）と、前記提供装置への、前記インタラクション情報および自分を特定する特定情報の送信を制御する送信制御手段（例えば、図２のユーザ入力情報送信制御部６３）と、前記提供装置から送信されてくる、前記コンテンツを同期して再生している他の再生装置において取得された前記インタラクション情報および前記他の再生装置を特定する前記特定情報の受信を制御する第２の前記受信制御手段（例えば、図２のユーザ入力情報受信制御部６４）と、再生している前記コンテンツと受信した前記インタラクション情報による対話の内容とを、受信した前記特定情報によって関係させるように、受信した前記インタラクション情報による対話の内容の出力を制御する出力制御手段（例えば、図２の再生出力制御部５３）とを備える。

受信した前記コンテンツを、前記他の再生装置と同期して再生する再生手段（例えば、図３のコンテンツ再生処理部８１）をさらに設けることができる。

本発明の第２の側面の再生方法またはプログラムは、提供装置から送信されてくるコンテンツの受信を制御し（例えば、図１０のステップＳ２０６）、受信した前記コンテンツであって、再生している前記コンテンツに関する対話の内容を示すインタラクション情報を取得し（例えば、図１１のステップＳ２１２）、前記提供装置への、前記インタラクション情報および再生装置を特定する特定情報の送信を制御し（例えば、図１１のステップＳ２１３）、前記提供装置から送信されてくる、前記コンテンツを同期して再生している他の再生装置において取得された前記インタラクション情報および前記他の再生装置を特定する前記特定情報の受信を制御し（例えば、図１１のステップＳ２１５）、再生している前記コンテンツと受信した前記インタラクション情報による対話の内容とを、受信した前記特定情報によって関係させるように、受信した前記インタラクション情報による対話の内容の出力を制御する（例えば、図１１のステップＳ２１６）ステップを含む。

本発明の第３の側面の提供装置は、コンテンツを再生する再生装置（例えば、図１の機器１３）に前記コンテンツを提供する提供装置（例えば、図１の機器１１）であって、前記再生装置への前記コンテンツの送信を制御する第１の送信制御手段（例えば、図２の静止画・動画送信制御部６１）と、前記再生装置から送信されてくる、前記再生装置において再生されている前記コンテンツに関する対話の内容を示すインタラクション情報および前記再生装置を特定する前記特定情報の受信を制御する受信制御手段（例えば、図２のユーザ入力情報受信制御部６４）と、受信した前記インタラクション情報および前記特定情報の前記再生装置への送信を制御する第２の送信制御手段（例えば、図２のユーザ入力情報送信制御部６３）とを備える。

前記再生装置における前記コンテンツの再生に同期して、送信している前記コンテンツを再生する再生手段（例えば、図３のコンテンツ再生処理部８１）と、再生している前記コンテンツに関する対話の内容を示す前記インタラクション情報を取得する取得手段（例えば、図２のユーザ入力情報処理部５１）とをさらに設け、前記第２の送信制御手段は、取得した前記インタラクション情報および自分を特定する前記特定情報の前記再生装置への送信を制御することができる。

前記再生装置における前記コンテンツの再生に同期して、送信している前記コンテンツを再生する再生手段（例えば、図３のコンテンツ再生処理部８１）と、再生している前記コンテンツと受信した前記インタラクション情報による対話の内容とを、受信した前記特定情報によって関係させるように、受信した前記インタラクション情報による対話の内容の出力を制御する出力制御手段（例えば、図２の再生出力制御部５３）とをさらに設けることができる。

本発明の第３の側面の提供方法またはプログラムは、前記再生装置への前記コンテンツの送信を制御し（例えば、図１０のステップＳ１０８）、前記再生装置から送信されてくる、前記再生装置において再生されている前記コンテンツに関する対話の内容を示すインタラクション情報および前記再生装置を特定する前記特定情報の受信を制御し（例えば、図１１のステップＳ１１３）、受信した前記インタラクション情報および前記特定情報の前記再生装置への送信を制御する（例えば、図１１のステップＳ１１４）ステップを含む。

本発明の第４の側面の提供装置は、コンテンツを再生する再生装置（例えば、図１の機器１３）に前記コンテンツを提供する提供装置（例えば、図１の機器１１）であって、前記再生装置への前記コンテンツの送信を制御する送信制御手段（例えば、図２の静止画・動画送信制御部６１）と、前記再生装置から送信されてくる、前記再生装置において再生されている前記コンテンツに関する対話の内容を示すインタラクション情報および前記再生装置を特定する前記特定情報の受信を制御する受信制御手段（例えば、図２のユーザ入力情報受信制御部６４）と、受信した前記特定情報および前記インタラクション情報に応じて、送信しようとする前記コンテンツを処理する処理手段（例えば、図２の再生出力制御部５３）とを備え、前記送信制御手段は、前記特定情報および前記インタラクション情報に応じて、処理された前記コンテンツの前記再生装置への送信を制御する。

本発明の第４の側面の提供方法およびプログラムは、前記コンテンツの前記再生装置への送信を制御し（例えば、図１２のステップＳ１４８）、前記再生装置から送信されてくる、前記再生装置において再生されている前記コンテンツに関する対話の内容を示すインタラクション情報および前記再生装置を特定する前記特定情報の受信を制御し（例えば、図１３のステップＳ１５３）、受信した前記特定情報および前記インタラクション情報に応じて、送信しようとする前記コンテンツを処理する（例えば、図１３のステップＳ１５４）ステップを含み、前記コンテンツの前記再生装置への送信の制御において、前記特定情報および前記インタラクション情報に応じて、処理された前記コンテンツの前記再生装置への送信が制御される（例えば、図１３のステップＳ１５５）。

図１は、本発明の一実施の形態のコンテンツ再生システムを示す図である。コンテンツ再生システムは、機器１１、機器１２、および機器１３から構成される。機器１１、機器１２、および機器１３は、ネットワーク１４によって相互に接続される。機器１１、機器１２、または機器１３は、例えば、デジタルスチルカメラ、携帯電話機、携帯型のビュワー、またはデジタルビデオカメラなどであり、各種のコンテンツを送信し、受信し、再生することができるものであればよい。

ネットワーク１４は、IEEE（Institute of Electrical and Electronic Engineers）802.11a，IEEE802.11b、若しくはIEEE802.11gなどの規格に準拠する通信、またはBluetoothなどの規格に準拠する通信など、有線または無線の、汎用または専用の通信回線によって、機器１１、機器１２、および機器１３を相互に接続する。なお、ネットワーク１４が、IEEE802.11a，IEEE802.11b、若しくはIEEE802.11gなどの規格に準拠して、機器１１、機器１２、および機器１３を相互に接続する場合、そのモードは、本発明を限定するものではなく、例えば、アドホツクモードまたはインフラストラクチャモードのいずれであってもよい。

ここで、コンテンツは、静止画像、動画像、または音声（音楽を含む）などであり、機器１１、機器１２、または機器１３の使用者にとって有意なものであればよい。

機器１１、機器１２、および機器１３のうちの１つは、静止画像、動画像、または音楽などのコンテンツを、他の２つに送信すると共に、送信したコンテンツを再生する。機器１１、機器１２、および機器１３のうちの、送信されてきたコンテンツを受信した２つは、受信したコンテンツを再生する。

機器１１、機器１２、および機器１３において、コンテンツは、同期して再生される。すなわち、例えば、静止画像であるコンテンツが順に再生される場合、機器１１、機器１２、および機器１３において、同じ静止画像が同時に再生され表示される。また、例えば、動画像であるコンテンツが再生される場合、機器１１、機器１２、および機器１３において、その動画像の同じシーンが同時に再生され表示される。さらに、例えば、音楽であるコンテンツが再生される場合、機器１１、機器１２、および機器１３において、その音楽の同じ部分（例えば、同じフレーズ（楽句））が同時に再生され出力される。

また、機器１１、機器１２、または機器１３のうちの１つに、情報が入力されると、他の２つにその情報がリアルタイムに送信され、機器１１、機器１２、および機器１３において、その情報が同時に出力される。

ここで、入力される情報は、再生されているコンテンツについて、他の使用者に伝えたい情報とすることができる。例えば、機器１３の使用者が、再生されているコンテンツについて、機器１１の使用者および機器１２の使用者に伝えたい情報を機器１３に入力すると、機器１３は、機器１１および機器１２にその情報をリアルタイムに送信し、機器１１、機器１２、および機器１３は、同時にその情報を出力する。

これにより、機器１３の使用者によって入力された情報が、機器１１の使用者と機器１２の使用者に同時に伝達されることになる。

さらに、再生されているコンテンツを視聴し、機器１３から送信されてきた情報を認識した機器１１の使用者が、機器１２の使用者および機器１３の使用者に伝えたい情報を機器１１に入力すると、機器１１は、入力された情報を機器１２および機器１３にリアルタイムに送信し、機器１１、機器１２、および機器１３は、同時にその情報を出力する。

これにより、機器１１の使用者によって入力された情報が、機器１２の使用者と機器１３の使用者に同時に伝達されることになる。

このように、同時に再生されているコンテンツについて、機器１１、機器１２、または機器１３のうちの１つで入力された情報が、機器１１、機器１２、および機器１３において同時に出力される。従って、機器１１の使用者、機器１２の使用者、および機器１３の使用者が、再生されているコンテンツについての自分の意思を相手に伝えると共に、再生されているコンテンツについての相手の意思を知ることができ、再生されているコンテンツについて、対話をすることができる。

以下、機器１１、機器１２、または機器１３のうちのいずれかに入力され、機器１１、機器１２、および機器１３において同時に出力される、機器１１の使用者、機器１２の使用者、および機器１３の使用者が、再生されているコンテンツに関する対話をするための情報を、インタラクション情報と称する。

インタラクション情報は、対話の内容を示す情報である。インタラクション情報は、相手に伝達できる意味のある情報であれば良く、例えば、画像、音声、画面上の位置を示す情報、または再生されているコンテンツの処理（加工）を指示する情報などとすることができる。インタラクション情報は、相手に意思を伝えるための情報であって、再生されているコンテンツに付加されるか、またはコンテンツの処理を指示する情報であるとも言える。

図２は、機器１１の構成の例を示すブロック図である。機器１１は、撮影部３１、記録部３２、入力部３３、制御部３４、表示部３５、音声出力部３６、通信制御部３７、および通信部３８から構成される。

撮影部３１は、CCD（Charge Coupled Device）またはCMOS（Complementary Metal-Oxide Semiconductor）センサなどの、被写体の光学的な像を、電気信号に変換する撮影デバイスと、各種のレンズまたはプリズムなどの、撮影デバイス上に被写体の光学的な像を結像させる光学系からなる。撮影部３１は、被写体の撮影の結果得られた、静止画像または動画像の画像データを記録部３２に供給する。

記録部３２は、ハードディスクドライブ、光ディスクなどの記録媒体が装着され、装着されている記録媒体を駆動するドライブ、または半導体メモリなどからなり、コンテンツを記録する。例えば、記録部３２は、撮影部３１から供給された画像データなどをコンテンツとして記録する。さらに、記録部３２は、各種のデータまたはプログラムなどを記録する。記録部３２は、記録しているコンテンツ、各種のデータ、またはプログラムを制御部３４または通信制御部３７に供給する。

入力部３３は、ボタン、スイッチ、タッチパネル、マイクロフォンなどからなり、使用者の操作または動作に応じた信号を制御部３４に供給する。例えば、ボタン、スイッチ、またはタッチパネルである入力部３３は、使用者の操作に応じた信号、または使用者の指示を示す信号を制御部３４に供給する。例えば、マイクロフォンである入力部３３は、使用者の音声を取得して、取得した音声を示す信号を制御部３４に供給する。

制御部３４は、組込型の汎用のマイクロプロセッサまたは専用の信号処理回路などからなり、機器１１全体を制御する。例えば、汎用のマイクロプロセッサである制御部３４は、内蔵している半導体メモリに記憶されているプログラムを実行することによって、各種の処理を実行し、機器１１全体を制御する。制御部３４は、入力部３３からの信号に応じた処理を実行する。また、制御部３４は、記録部３２から記録されているデータを読み出して、各種の処理を実行する。

表示部３５は、LCD（Liquid Crystal Display）または有機EL（Electro Luminescence）ディスプレイなどからなり、制御部３４の制御の基に、各種の画像を表示する。音声出力部３６は、ラウドスピーカまたはブザーなどからなり、制御部３４の制御の基に、各種の音声を出力する。

通信制御部３７は、制御部３４の制御の基に、通信部３８によるネットワーク１４を介した通信を制御する。通信部３８は、いわゆる、ネットワークインタフェースなどからなり、ネットワーク１４を介して、各種のデータを送受信する。

なお、通信制御部３７と制御部３４とは、一体に設けるようにしてもよい。

通信制御部３７は、ネットワーク１４を介した、通信部３８によるコンテンツの送信および受信を制御する。また、通信制御部３７は、ネットワーク１４を介した、通信部３８によるインタラクション情報の送信および受信を制御する。さらにまた、通信制御部３７は、インタラクション情報を送信する機器を特定する特定情報である送信者IDの、ネットワーク１４を介した、通信部３８による送信および受信を制御する。

また、通信制御部３７は、ネットワーク１４を介した、通信部３８による、コンテンツの再生の基準となる時刻を示す時刻情報の送信および受信を制御する。

制御部３４は、ユーザ入力情報処理部５１、ファイル情報管理部５２、再生出力制御部５３、および時刻情報管理部５４を含むように構成される。

ユーザ入力情報処理部５１は、入力部３３からの信号を基に、使用者により入力された各種の情報を取得し、処理する。例えば、ユーザ入力情報処理部５１は、再生されているコンテンツに関する対話の内容を示すインタラクション情報を取得する。

例えば、ユーザ入力情報処理部５１は、入力部３３を操作することによって、使用者によって入力されたインタラクション情報を取得する。

例えば、ユーザ入力情報処理部５１は、画像または音声のインタラクション情報を取得した場合、MPEGまたはAACなどの所定の方式でインタラクション情報を符号化する。

ユーザ入力情報処理部５１は、入力したインタラクション情報を再生出力制御部５３および通信制御部３７に供給する。

ファイル情報管理部５２は、記録部３２にファイルとして記録されているデータの記録部３２からの読み出しを制御すると共に、ファイルとしてデータの記録部３２への書き込みを制御する。すなわち、ファイル情報管理部５２は、所定のデータ構造のファイルを記録する記録部３２の記録および再生を管理する。また、ファイル情報管理部５２は、記録部３２に記録されているファイルに関する各種の情報を取得し、各部に提供する。

再生出力制御部５３は、コンテンツを再生する。また、再生出力制御部５３は、再生しているコンテンツと受信したインタラクション情報による対話の内容とを、受信した特定情報によって関係させるように、受信したインタラクション情報による対話の内容の出力を制御する。さらに、再生出力制御部５３は、再生しているコンテンツと入力したインタラクション情報による対話の内容とを、機器１１を特定する特定情報によって関係させるように、入力したインタラクション情報による対話の内容の出力を制御する。

時刻情報管理部５４は、コンテンツの再生の同期に使用する時間に関する情報である時刻情報を生成し、記憶している。例えば、時刻情報管理部５４は、時刻情報として、機器１２または機器１３とのネットワーク１４を介した通信における遅延時間または機器１２または機器１３におけるストリームであるコンテンツのバッファリングまたは復号などに要する遅延時間を計測する。例えば、時刻情報管理部５４は、機器１２および機器１３毎の遅延時間を示す表を記憶する。時刻情報管理部５４は、記憶している時刻情報を通信制御部３７に供給する。

なお、時刻情報は、コンテンツの再生の同期に限らず、インタラクション情報による対話の内容の出力の同期に用いるようにしてもよい。

通信制御部３７は、静止画・動画送信制御部６１、静止画・動画受信制御部６２、ユーザ入力情報送信制御部６３、ユーザ入力情報受信制御部６４、時刻情報送信制御部６５、および時刻情報受信制御部６６から構成される。

静止画・動画送信制御部６１は、記録部３２に記録されているコンテンツの、通信部３８によるネットワーク１４を介した送信を制御する。なお、コンテンツは、再生と無関係に一括して送信されるようにしても、いわゆるストリームとして送信されるようにしてもよい。

静止画・動画受信制御部６２は、ネットワーク１４を介して送信されてくるコンテンツの、通信部３８による受信を制御する。静止画・動画受信制御部６２は、受信したコンテンツを制御部３４に供給する。

ユーザ入力情報送信制御部６３は、ユーザ入力情報処理部５１において取得されたインタラクション情報、および機器１１を特定する特定情報である送信者IDの、通信部３８によるネットワーク１４を介した送信を制御する。

なお、機器１１を特定する特定情報である送信者IDは、予め制御部３４、通信制御部３７、または通信部３８に記憶されている。例えば、送信者IDは、MAC（Media Access Control）アドレスまたはIP（Internet Protocol）アドレスとすることができる。

ユーザ入力情報受信制御部６４は、ネットワーク１４を介して送信されてくるインタラクション情報および送信者IDの、通信部３８による受信を制御する。例えば、ユーザ入力情報受信制御部６４は、コンテンツを同期して再生している機器１２または機器１３において取得されたインタラクション情報および機器１２または機器１３を特定する特定情報である送信者IDの受信を制御する。ユーザ入力情報受信制御部６４は、受信したインタラクション情報および送信者IDを再生出力制御部５３に供給する。

時刻情報送信制御部６５は、時刻情報管理部５４から供給された時刻情報の、通信部３８によるネットワーク１４を介した送信を制御する。時刻情報受信制御部６６は、ネットワーク１４を介して送信されてくる時刻情報の、通信部３８による受信を制御する。時刻情報受信制御部６６は、受信した時刻情報を再生出力制御部５３または時刻情報管理部５４に供給する。

図３は、再生出力制御部５３の構成の例を示すブロック図である。再生出力制御部５３は、コンテンツ再生処理部８１、インタラクション情報処理部８２、画像重畳部８３、音声重畳部８４、表示制御部８５、および音声出力制御部８６から構成される。

コンテンツ再生処理部８１は、記録部３２から読み出されたコンテンツ、または通信部３８において受信されて静止画・動画受信制御部６２から供給されたコンテンツを再生する。コンテンツ再生処理部８１は、時刻情報に基づいて、機器１２および機器１３におけるコンテンツの再生と同期してコンテンツを再生する。

例えば、コンテンツ再生処理部８１は、MPEG（Moving Pictures Experts Group）2、MPEG4、またはAVC/H.264（ISO/IEC 14496-10 MPEG-4 Part10 Advanced Video Coding/ITU-T Rec. H.264）などの方式で符号化されている動画像のデータであるコンテンツを復号することで、コンテンツを再生する。例えば、コンテンツ再生処理部８１は、JPEG（Joint Photographic Experts Group）またはJPEG2000などの方式で符号化されている静止画像のデータであるコンテンツを復号することで、コンテンツを再生する。

例えば、コンテンツ再生処理部８１は、MP3（MPEG 1 Audio Layer 3）またはAAC（Advanced Audio Coding）などの方式で符号化されている音声（楽曲を含む）のデータであるコンテンツを復号することで、再生する。

コンテンツ再生処理部８１は、復号により得られた画像のデータを画像重畳部８３に供給する。また、コンテンツ再生処理部８１は、復号により得られた音声のデータを音声重畳部８４に供給する。

インタラクション情報処理部８２は、ユーザ入力情報処理部５１から供給されたインタラクション情報、またはユーザ入力情報受信制御部６４から供給されたインタラクション情報を処理する。例えば、インタラクション情報処理部８２は、画像を表示させる情報または音声を出力させる情報であるインタラクション情報から、画像または音声のデータを生成する。また、例えば、インタラクション情報処理部８２は、画像を符号化した情報または音声を符号化した情報であるインタラクション情報を復号することにより、画像または音声のデータを生成する。

インタラクション情報処理部８２は、使用者によって指示された位置を示す情報であるインタラクション情報から、インタラクション情報で示される位置に表示される、使用者の指示を表す画像のデータを生成する。

インタラクション情報処理部８２は、画像再生処理部９１、音声再生処理部９２、独立表示情報生成部９３、音声合成部９４、および合成画像生成部９５を含むように構成される。

画像再生処理部９１は、MPEG2、MPEG4、またはAVC/H.264などの方式で符号化されている動画像のデータ、またはJPEGまたはJPEG2000などの方式で符号化されている静止画像のデータであるインタラクション情報を復号する。音声再生処理部９２は、MP3またはAACなどの方式で符号化されている音声のデータであるインタラクション情報を復号する。

独立表示情報生成部９３は、予め定めた対話の内容の中の、使用者の指示に応じた対話の内容を示すインタラクション情報から、コンテンツの画像とは独立して表示される、使用者に指示された対話の内容を示す画像または文字を生成する。例えば、独立表示情報生成部９３は、インタラクション情報と共に受信した特定情報である送信者IDで定まる領域に表示させる、インタラクション情報による画像または文字を生成する。

音声合成部９４は、テキストのインタラクション情報から、テキストを読み上げた音声に相当する音声を合成する。

合成画像生成部９５は、使用者によって指示された位置を示す情報であるインタラクション情報から、インタラクション情報で示される位置に表示される使用者の指示を表す画像を生成する。または、合成画像生成部９５は、使用者によって指示された位置を示す情報であるインタラクション情報および特定情報である送信者IDから、インタラクション情報で示される位置に表示される、送信者IDで定まる画像であって、使用者の指示を表す画像を生成する。

インタラクション情報処理部８２は、再生または生成した画像のデータを画像重畳部８３に供給し、再生または合成した音声のデータを音声重畳部８４に供給する。

画像重畳部８３は、コンテンツ再生処理部８１から供給されたコンテンツの画像のデータ、およびインタラクション情報処理部８２から供給されたインタラクション情報に応じた画像のデータを基に、コンテンツの画像とインタラクション情報に応じた画像とを重畳する。または、画像重畳部８３は、コンテンツの画像のデータおよびインタラクション情報に応じた画像のデータを基に、コンテンツの画像とインタラクション情報に応じた画像とをそれぞれ画面上の所定の領域に配置した画像を生成する。

画像重畳部８３は、コンテンツの画像とインタラクション情報に応じた画像とから得られた画像のデータを表示制御部８５に供給する。

音声重畳部８４は、コンテンツ再生処理部８１から供給されたコンテンツの音声のデータ、およびインタラクション情報処理部８２から供給されたインタラクション情報に応じた音声のデータを基に、コンテンツの音声とインタラクション情報に応じた音声とを重畳する。音声重畳部８４は、コンテンツの音声とインタラクション情報に応じた音声とを重畳して得られた音声のデータを音声出力制御部８６に供給する。

なお、音声重畳部８４は、コンテンツの音声とインタラクション情報に応じた音声とをそれぞれのチャンネルに割り当てた音声データを生成するようにしてもよい。

表示制御部８５は、表示部３５の表示を制御する。表示制御部８５は、画像重畳部８３から供給された画像のデータから、表示部３５に画像を表示させるための表示信号を生成する。表示制御部８５は、生成した表示信号を表示部３５に供給して、コンテンツの画像とインタラクション情報に応じた画像とからなる画像を表示部３５に表示させる。

例えば、表示制御部８５は、時刻情報に基づいて、機器１２および機器１３におけるコンテンツの画像とインタラクション情報に応じた画像とからなる画像の表示と同期して、コンテンツの画像とインタラクション情報に応じた画像とからなる画像を表示部３５に表示させる。

音声出力制御部８６は、音声出力部３６の音声の出力を制御する。音声出力制御部８６は、音声重畳部８４から供給された音声のデータから、音声出力部３６に音声を出力させるための音声信号を生成する。音声出力制御部８６は、生成した音声信号を音声出力部３６に供給して、コンテンツの音声とインタラクション情報に応じた音声とからなる音声を音声出力部３６に出力させる。

例えば、音声出力制御部８６は、時刻情報に基づいて、機器１２および機器１３におけるコンテンツの音声とインタラクション情報に応じた音声とからなる音声の出力と同期して、コンテンツの音声とインタラクション情報に応じた音声とからなる音声を音声出力部３６に出力させる。

このように、再生出力制御部５３は、コンテンツの画像に重畳させて、インタラクション情報による画像を表示させるように、インタラクション情報による対話の内容の出力を制御する。または、再生出力制御部５３は、受信した特定情報で定まる領域に、インタラクション情報による画像を表示させるように、インタラクション情報による対話の内容の出力を制御する。さらに、または、再生出力制御部５３は、コンテンツの画像に重畳させて、インタラクション情報によって示される位置に、使用者の指示を表す画像を表示させるように、インタラクション情報による対話の内容の出力を制御する。

また、再生出力制御部５３は、使用者の指示を表す画像であって、特定情報で定まる画像を表示させるように、インタラクション情報による対話の内容の出力を制御する。

さらにまた、再生出力制御部５３は、コンテンツの音声に重畳させて、インタラクション情報による音声を出力させるように、インタラクション情報による対話の内容の出力を制御する。

なお、機器１２または機器１３は、機器１１と同様に構成されるので、その説明は省略する。

次に、コンテンツの再生と対話について説明する。以下、機器１１、機器１２、および機器１３のそれぞれの表示部３５に、タッチパネルである入力部３３が設けられている場合を例に説明する。

次に、図４は、コンテンツ再生システムにおけるコンテンツの再生と対話の概要を説明する図である。

図４で示されるように、例えば、機器１１は、ネットワーク１４を介して、画像を表示させるコンテンツを機器１２および機器１３に送信する。機器１２および機器１３は、ネットワーク１４を介して機器１１から送信されてきた画像を表示させるコンテンツを受信する。

機器１１、機器１２、および機器１３は、それぞれ、時刻情報を利用することで、同期してコンテンツを再生し、それぞれの表示部３５に画像を表示させる。

図４で示されるように、同期しているコンテンツを表示しているときに、例えば、機器１３のタッチパネルである入力部３３が機器１３の使用者１０１によりなぞられることで、表示部３５に表示されているコンテンツである画像の上に、インタラクション情報として所定の絵（画像）（落書き）が入力されると、機器１３は、その絵を示すインタラクション情報を、ネットワーク１４を介して、機器１１および機器１２に送信する。

すると、機器１３が、機器１３の表示部３５に、コンテンツである画像と共に、インタラクション情報として入力された絵を表示させると同時に、機器１１は、機器１１の表示部３５に、コンテンツである画像と共に、インタラクション情報として入力された絵を表示させ、また、機器１２は、機器１２の表示部３５に、コンテンツである画像と共に、インタラクション情報として入力された絵を表示させる。

このように、機器１１の使用者、機器１２の使用者、および機器１３の使用者は、コンテンツを同時に視聴するとともに、インタラクション情報による画像（落書き）などを同時に視聴することになる。

図５は、機器１１、機器１２、および機器１３において、実行されるプロセスを説明する図である。このプロセスは、機器１１、機器１２、および機器１３において、実行される処理の概要に相当する。

機器１１から機器１２および機器１３にコンテンツが送信される場合、機器１１において、メッセージングプロセスおよびコンテンツ送信プロセスが実行され、機器１２および機器１３において、それぞれ、メッセージングプロセスおよびコンテンツ受信プロセスが実行される。

機器１１のメッセージングプロセスにおいて、使用者が、入力部３３を操作することにより、コンテンツを選択して、「同時視聴開始」を選択すると、同時視聴の準備を依頼するための同時視聴準備依頼が、機器１１のメッセージングプロセスから、機器１２のメッセージングプロセスおよび機器１３のメッセージングプロセスに通知される。同時視聴準備依頼が通知された機器１２のメッセージングプロセスおよび機器１３のメッセージングプロセスは、同時視聴を実行する場合、同時視聴をする旨を機器１１のメッセージングプロセスに応答する。

機器１１のメッセージングプロセスが同時視聴の応答を受けると、機器１１のコンテンツ送信プロセスから、機器１２のコンテンツ受信プロセスおよび機器１３のコンテンツ受信プロセスに、コンテンツである動画データが送信される。

機器１２のコンテンツ受信プロセスおよび機器１３のコンテンツ受信プロセスにおいて、所定の動画データが蓄積されると、機器１１のメッセージングプロセスから、機器１２のメッセージングプロセスおよび機器１３のメッセージングプロセスに、同時視聴の開始が通知される。これにより、機器１１、機器１２、および機器１３のそれぞれの表示部３５の表示画面には、画像の表示が開始される。

例えば、コンテンツの同時視聴中に、使用者が、機器１２の入力部３３を操作することにより、インタラクション情報を入力すると、機器１２のメッセージングプロセスから、機器１１のメッセージングプロセスに、入力されたインタラクション情報および機器１２を特定する送信者IDが送信される。機器１１のメッセージングプロセスにおいて、機器１２のメッセージングプロセスによって送信された、インタラクション情報および機器１２を特定する送信者IDが受信される。

すると、機器１１のメッセージングプロセスから、機器１２のメッセージングプロセスおよび機器１３のメッセージングプロセスに、インタラクション情報および機器１２を特定する送信者IDが送信される。機器１２のメッセージングプロセスおよび機器１３のメッセージングプロセスにおいて、インタラクション情報および機器１２を特定する送信者IDが受信される。

このプロセスの最中にも、コンテンツである動画データが送信および受信されて、コンテンツの再生が継続されている。

機器１１、機器１２、および機器１３は、コンテンツの動画像を表示するとともに、インタラクション情報による画像または音声などを、インタラクション情報を入力した機器１２を知ることができるように、同時に出力する。

機器１１のコンテンツ送信プロセスから、機器１２のコンテンツ受信プロセスおよび機器１３のコンテンツ受信プロセスへの、コンテンツである動画データの送信が終了すると、機器１１、機器１２、および機器１３における動画像であるコンテンツの再生が同時に終了する。

さらに、次のコンテンツを同時に視聴する場合には、機器１１のメッセージングプロセスにおいて、使用者が、入力部３３を操作することにより、次のコンテンツを選択して、「同時視聴開始」を選択すると、同時視聴の準備を依頼するための同時視聴準備依頼が、機器１１のメッセージングプロセスから、機器１２のメッセージングプロセスおよび機器１３のメッセージングプロセスに通知され、上述した処理が繰り返される。

次に、図６乃至図９を参照して、インタラクション情報の具体例について説明する。図６乃至図９に示す例において、機器１１および機器１３は、友人同士で行った旅行において撮影した動画像であるコンテンツを同期して再生し、表示部３５にコンテンツの画像を表示している。機器１１と機器１３とは、離れたところにあり、機器１１は、その旅行に行った使用者に使用され、機器１３は、その旅行に行った他の使用者の使用されている。

図６に示す例において、機器１１および機器１３は、表示部３５に、インタラクション情報を入力するためのボタンであって、”cool!”、”so-so”、または”zzz...”などの文字が配置されたボタンを表示する。使用者１０１−１が、機器１１の表示部３５に表示されている”cool!”の文字を配置したボタンを押圧すると、”cool!”の文字を配置したボタンの領域が押圧されたことを示す信号が、タッチパネルである機器１１の入力部３３から機器１１のユーザ入力情報処理部５１に供給される。機器１１のユーザ入力情報処理部５１は、機器１１の入力部３３から供給された、”cool!”の文字を配置したボタンの領域が押圧されたことを示す信号から、”cool!”の文字を表示させるインタラクション情報を生成する。機器１１は、機器１３に、”cool!”の文字を表示させるインタラクション情報を送信する。

機器１１および機器１３は、”cool!”の文字を表示させるインタラクション情報を基に、それぞれの表示部３５に表示されている使用者１０１−１の画像の近傍に、”cool!”の文字を表示する。

すなわち、この場合、ユーザ入力情報処理部５１は、予め定めた対話の内容の中の、使用者の指示に応じた対話の内容を示すインタラクション情報を取得する。より具体的には、ユーザ入力情報処理部５１は、予め定めた対話の内容である”cool!”、”so-so”、または”zzz...”の中の、使用者の指示に応じた”cool!”を示すインタラクション情報を取得する。

そして、独立表示情報生成部９３は、予め定めた対話の内容の中の、使用者の指示に応じた対話の内容を示すインタラクション情報から、コンテンツの画像とは独立して表示される、使用者に指示された対話の内容を示す画像または文字を生成する。すなわち、独立表示情報生成部９３は、予め定めた対話の内容である”cool!”、”so-so”、または”zzz...”の中の、使用者の指示に応じた”cool!”を示すインタラクション情報から、コンテンツの画像とは独立して表示される、使用者に指示された対話の内容を示す”cool!”の文字を生成する。

その結果、機器１１および機器１３は、それぞれの表示部３５に表示されている使用者１０１−１の画像の近傍に、”cool!”の文字を表示する。

また、使用者１０１−１が、タッチパネルである機器１１の入力部３３の領域のうち、手書き入力の領域に、ペン１２１−１で、”かわい〜”の文字を書き込むと、機器１１のユーザ入力情報処理部５１は、機器１１の入力部３３の手書き入力の領域に書き込まれた文字をイメージとして取得して、そのイメージを示すインタラクション情報を生成する。機器１１は、機器１３に、”かわい〜”の文字のイメージを示すインタラクション情報を送信する。

機器１１および機器１３は、”かわい〜”の文字のイメージを示すインタラクション情報を基に、それぞれの表示部３５の領域のうち、使用者１０１−１に割り当てた領域に、”かわい〜”の文字のイメージを表示する。

すなわち、この場合、ユーザ入力情報処理部５１は、入力部３３を操作することによって、使用者によって入力された”かわい〜”の文字のイメージを示すインタラクション情報を取得する。そして、ユーザ入力情報処理部５１は、インタラクション情報をJPEG2000の方式で符号化する。

そして、画像再生処理部９１は、JPEG2000の方式で符号化されているインタラクション情報を復号し、”かわい〜”の文字のイメージを再生する。画像再生処理部９１は、送信者IDを基に、使用者１０１−１に割り当てた領域に、”かわい〜”の文字のイメージを配置する。

その結果、機器１１および機器１３は、それぞれの表示部３５の領域のうち、使用者１０１−１に割り当てた領域に、”かわい〜”の文字のイメージを表示する。

さらに、使用者１０１−２が、タッチパネルである機器１３の入力部３３の領域のうち、手書き入力の領域に、ペン１２１−２で、”へへ〜”の文字を書き込むと、機器１３のユーザ入力情報処理部５１は、機器１３の入力部３３の手書き入力の領域に書き込まれた文字をイメージとして取得して、そのイメージを示すインタラクション情報を生成する。機器１３は、機器１１に、”へへ〜”の文字のイメージを示すインタラクション情報を送信する。

機器１１および機器１３は、”へへ〜”の文字のイメージを示すインタラクション情報を基に、それぞれの表示部３５の領域のうち、使用者１０１−２に割り当てた領域に、”へへ〜”の文字のイメージを表示する。

図７に示す例において、機器１１および機器１３は、それぞれ、カメラとマイクロフォンからなる入力部３３を備える。機器１１のカメラである入力部３３は、使用者１０１−１を撮影し、機器１１のユーザ入力情報処理部５１は、使用者１０１−１の画像であるインタラクション情報を取得する。機器１１は、機器１３に、使用者１０１−１の画像であるインタラクション情報を送信する。また、機器１３のカメラである入力部３３は、使用者１０１−２を撮影し、機器１３のユーザ入力情報処理部５１は、使用者１０１−２の画像であるインタラクション情報を取得する。機器１３は、機器１１に、使用者１０１−２の画像であるインタラクション情報を送信する。

機器１１および機器１３は、使用者１０１−１の画像であるインタラクション情報を基に、それぞれの表示部３５の領域のうち、使用者１０１−１に割り当てた領域に、使用者１０１−１の画像を表示する。また、機器１１および機器１３は、使用者１０１−２の画像であるインタラクション情報を基に、それぞれの表示部３５の領域のうち、使用者１０１−２に割り当てた領域に、使用者１０１−２の画像を表示する。

さらに、機器１１のマイクロフォンである入力部３３は、使用者１０１−１の音声を取得し、機器１１のユーザ入力情報処理部５１は、使用者１０１−１の音声であるインタラクション情報を取得する。機器１１は、機器１３に、使用者１０１−１の音声であるインタラクション情報を送信する。また、機器１３のマイクロフォンである入力部３３は、使用者１０１−２の音声を取得し、機器１３のユーザ入力情報処理部５１は、使用者１０１−２の音声であるインタラクション情報を取得する。機器１３は、機器１１に、使用者１０１−２の音声であるインタラクション情報を送信する。

機器１１および機器１３は、使用者１０１−１の音声であるインタラクション情報を基に、使用者１０１−１の音声を出力すると共に、使用者１０１−２の音声であるインタラクション情報を基に、使用者１０１−２の音声を出力する。

このように、機器１１および機器１３の表示部３５には、旅行において撮影された画像が表示されるとともに、この同期して表示されている画像を見ている使用者の顔が表示されることになる。さらに、この同期して表示されている画像を見ている使用者の音声が、機器１１および機器１３から出力される。

図８に示す例において、使用者１０１−１が、機器１１の表示部３５に表示されている画像の部分を押圧すると、押圧された位置を示す信号が、タッチパネルである機器１１の入力部３３から機器１１のユーザ入力情報処理部５１に供給される。機器１１のユーザ入力情報処理部５１は、機器１１の入力部３３から供給された、押圧された位置を示す信号から、押圧された位置に画像を表示させるインタラクション情報を生成する。機器１１は、機器１３に、押圧された位置に画像を表示させるインタラクション情報を送信する。

機器１１および機器１３は、押圧された位置に画像を表示させるインタラクション情報を基に、それぞれの表示部３５に、表示されているコンテンツの画像に重畳させて、押圧された位置に画像（例えば、図８の丸の画像）を表示する。

これにより、例えば、たくさんの友人が写っている静止画像であるコンテンツが同期して表示され、その友人たちで同時に視聴されている場合に、そのうちの１人が、静止画像に写っている人の顔に落書きをすると、その落書きのデータは、インタラクション情報として、機器１１および機器１３に送信されて、機器１１および機器１３において、落書きされた静止画像が表示されることになる。

また、使用者１０１−２が、ペン１２１−２によって、機器１３の表示部３５に表示されている画像の部分を押圧すると、押圧された位置を示す信号が、タッチパネルである機器１３の入力部３３から機器１３のユーザ入力情報処理部５１に供給される。機器１３のユーザ入力情報処理部５１は、機器１３の入力部３３から供給された、押圧された位置を示す信号から、押圧された位置に画像を表示させるインタラクション情報を生成する。機器１３は、機器１１に、押圧された位置に画像を表示させるインタラクション情報を送信する。

機器１１および機器１３は、押圧された位置に画像を表示させるインタラクション情報を基に、それぞれの表示部３５に、表示されているコンテンツの画像に重畳させて、押圧された位置に画像（例えば、図８の四角の画像）を表示する。

図９に示す例において、使用者１０１−１が、機器１１の表示部３５に表示されている画像の部分を押圧すると、押圧された位置を示す信号が、タッチパネルである機器１１の入力部３３から機器１１のユーザ入力情報処理部５１に供給される。機器１１のユーザ入力情報処理部５１は、機器１１の入力部３３から供給された、押圧された位置を示す信号から、押圧された位置を示すインタラクション情報を生成する。機器１１は、機器１３に、押圧された位置を示すインタラクション情報を送信する。

機器１１および機器１３は、押圧された位置を示すインタラクション情報を基に、それぞれの表示部３５に、表示されているコンテンツの画像に重畳させて、押圧された位置に、機器１１において押圧されたことを示す画像（例えば、図９の白い矢印の画像）を表示する。

すなわち、この場合、ユーザ入力情報処理部５１は、入力部３３を操作することによって、使用者によって指示された位置を示す情報であるを示すインタラクション情報を取得する。

そして、合成画像生成部９５は、使用者によって指示された位置を示す情報であるインタラクション情報から、インタラクション情報で示される位置に表示される使用者の指示を表す、白い矢印の画像を生成する。より具体的には、合成画像生成部９５は、使用者によって指示された位置を示す情報であるインタラクション情報および特定情報である送信者IDから、インタラクション情報で示される位置に表示される、送信者IDで定まる画像であって、使用者の指示を表す画像である白い矢印の画像を生成する。

その結果、機器１１および機器１３は、それぞれの表示部３５に、表示されているコンテンツの画像に重畳させて、押圧された位置に、機器１１において押圧されたことを示す画像（例えば、図９の白い矢印の画像）を表示する。

また、使用者１０１−２が、ペン１２１−２によって、機器１３の表示部３５に表示されている画像の部分を押圧すると、押圧された位置を示す信号が、タッチパネルである機器１３の入力部３３から機器１３のユーザ入力情報処理部５１に供給される。機器１３のユーザ入力情報処理部５１は、機器１３の入力部３３から供給された、押圧された位置を示す信号から、押圧された位置を示すインタラクション情報を生成する。機器１３は、機器１１に、押圧された位置を示すインタラクション情報を送信する。

機器１１および機器１３は、押圧された位置を示すインタラクション情報を基に、それぞれの表示部３５に、表示されているコンテンツの画像に重畳させて、押圧された位置に、機器１３において押圧されたことを示す画像（例えば、図９の黒い矢印の画像）を表示する。

また、例えば、たくさんの友人が写っている静止画像であるコンテンツが同期して表示され、その友人たちで同時に視聴されている場合に、そのうちの１人が、静止画像に写っている人の顔を変形させる操作（例えば、顔を引っ張るような操作）をすると、その操作のデータは、インタラクション情報として、機器１１および機器１３に送信されて、機器１１および機器１３において、顔が変形された（顔が引っ張られた）静止画像が表示されるようにしてもよい。

次に、フローチャートを参照して、機器１１および機器１３による、対話の処理を説明する。

次に、図１０および図１１は、コンテンツの再生および対話の処理の例を説明するフローチャートである。ステップＳ１０１において、機器１１の通信部３８は、機器１３を含む他の機器とネットワーク１４を介して接続する。また、ステップＳ２０１において、機器１３の通信部３８は、機器１１を含む他の機器とネットワーク１４を介して接続する。

ステップＳ１０２において、機器１１の制御部３４は、使用者による操作に応じた入力部３３からの信号を基に、コンテンツを送信すると共に表示する同時視聴モードを選択する。また、ステップＳ２０２において、機器１３の制御部３４は、使用者による操作に応じた入力部３３からの信号を基に、コンテンツを送信してくる機器１１を指定し、機器１１から送信されたきたコンテンツを受信し、受信したコンテンツを表示する同時視聴モードを選択する。

ステップＳ１０３において、機器１３の通信部３８は、コンテンツを送信するためのコネクションを確立するように、他の機器、すなわち機器１３からの接続を待機するので、ステップＳ２０３において、機器１３の通信部３８は、ネットワーク１４を介して、そのコネクションを確立するように、コンテンツを送信してくる機器１１に接続する。

ステップＳ１０４において、機器１１の再生出力制御部５３は、同時視聴するコンテンツを選択する。すなわち、使用者が、同時視聴するコンテンツを選択して、「同時視聴開始」を選択すると、機器１１の再生出力制御部５３は、その操作に応じた入力部３３からの信号およびファイル情報管理部５２からのコンテンツを格納しているファイルに関する情報を基に、記録部３２に記録されているコンテンツから、同時視聴するコンテンツを選択する。そして、ステップＳ１０５において、機器１１の再生出力制御部５３は、同時視聴の前処理を開始する。同時視聴の前処理は、ステップＳ１０６乃至ステップＳ１０９の処理である。

ステップＳ１０６において、機器１１の再生出力制御部５３は、機器１１の静止画・動画送信制御部６１に、同時視聴の準備を依頼する同時視聴準備依頼の他の機器への送信を指示する。機器１１の静止画・動画送信制御部６１は、機器１１の通信部３８に、ネットワーク１４を介して、機器１３を含む他の機器に同時視聴準備依頼を送信させる。ステップＳ２０４において、機器１３の静止画・動画受信制御部６２は、機器１３の通信部３８に、ネットワーク１４を介して送信されてくる同時視聴準備依頼を受信させる。機器１３の静止画・動画受信制御部６２は、機器１３の再生出力制御部５３に同時視聴準備依頼を供給する。

ステップＳ２０５において、機器１３の再生出力制御部５３は、同時視聴準備依頼を受けたので、再生中のコンテンツがある場合、その再生を停止する。また、ステップＳ１０７において、機器１１の再生出力制御部５３は、同時視聴の前処理が開始されたので、再生中のコンテンツがある場合、その再生を停止する。

ステップＳ１０８において、機器１１の静止画・動画送信制御部６１は、機器１１の記録部３２から選択されたコンテンツを読み出して、機器１１の通信部３８に、ネットワーク１４を介した機器１３宛ての読み出したコンテンツの送信を開始させる。ネットワーク１４を介した機器１１からコンテンツの送信が開始されると、ステップＳ２０６において、機器１３の静止画・動画受信制御部６２は、機器１３の通信部３８に送信されてきたコンテンツの受信を開始される。受信されたコンテンツは、機器１３の再生出力制御部５３に供給される。

ステップＳ１０９において、機器１１の再生出力制御部５３は、機器１１の静止画・動画送信制御部６１に、同時再生の開始の通知の他の機器への送信を指示する。機器１１の静止画・動画送信制御部６１は、機器１１の通信部３８に、ネットワーク１４を介して、機器１３を含む他の機器に同時再生の開始の通知を送信させる。ステップＳ２０７において、機器１３の静止画・動画受信制御部６２は、機器１３の通信部３８に、ネットワーク１４を介して送信されてくる同時再生の開始の通知を受信させる。機器１３の静止画・動画受信制御部６２は、機器１３の再生出力制御部５３に同時再生の開始の通知を供給する。

ステップＳ１１０において、機器１１の再生出力制御部５３は、コンテンツの同時再生を開始する。ステップＳ１１１において、機器１１のユーザ入力情報処理部５１は、使用者からのインタラクション情報の入力を待機する。すなわち、機器１１のユーザ入力情報処理部５１は、使用者によってインタラクション情報を入力する操作が加えられた入力部３３からの使用者の操作を示す信号の供給を待機する。また、ステップＳ１１１において、機器１１のユーザ入力情報受信制御部６４は、機器１１の通信部３８に、ネットワーク１４を介して、機器１３を含む他の機器から送信されてくるインタラクション情報の受信を待機させる。

ステップＳ１１２において、機器１１の制御部３４は、機器１１の入力部３３からの信号を基に、使用者からの入力があったか否かを判定し、使用者から入力がないと判定された場合、ステップＳ１１３に進み、機器１１のユーザ入力情報受信制御部６４は、機器１１の通信部３８に、ネットワーク１４を介して、機器１３を含む他の機器から送信されてくるインタラクション情報とインタラクション情報を送信してくる相手を特定する特定情報である送信者IDとを受信させる。機器１１のユーザ入力情報受信制御部６４は、受信したインタラクション情報および送信者IDを、機器１１のユーザ入力情報送信制御部６３および再生出力制御部５３に供給する。

ステップＳ１１４において、機器１１のユーザ入力情報送信制御部６３は、機器１１の通信部３８に、ネットワーク１４を介して、機器１３を含む他の機器宛てに、受信したインタラクション情報およびインタラクション情報と共に受信した送信者IDを送信させ、手続きは、ステップＳ１１７に進む。

一方、ステップＳ１１２において、使用者から入力があったと判定された場合、ステップＳ１１５に進み、機器１１の制御部３４は、機器１１の入力部３３からの信号を基に、機器１１の使用者からのインタラクション情報の入力があったか否かを判定する。ステップＳ１１５において、機器１１の使用者からのインタラクション情報の入力があったと判定された場合、ステップＳ１１６に進み、機器１１のユーザ入力情報処理部５１は、使用者によってインタラクション情報を入力する操作が加えられた機器１１の入力部３３からの使用者の操作を示す信号を取得することで、使用者からのインタラクション情報を入力し、手続きは、ステップＳ１１４に進む。機器１１のユーザ入力情報処理部５１は、入力したインタラクション情報を再生出力制御部５３に供給する。

ステップＳ１１６の後に実行されるステップＳ１１４において、機器１１のユーザ入力情報送信制御部６３は、機器１１の通信部３８に、ネットワーク１４を介して、機器１３を含む他の機器宛てに、入力したインタラクション情報および機器１１を特定する特定情報である送信者IDを送信させ、手続きは、ステップＳ１１７に進む。

ステップＳ１１７において、機器１１の再生出力制御部５３は、インタラクション情報を、他の機器と同時に再生する。すなわち、ステップＳ１１７において、機器１１の再生出力制御部５３は、インタラクション情報に対応する画像を、他の機器における表示と同時に表示するか、インタラクション情報に対応する音声を、他の機器における出力と同時に出力する。

ステップＳ１１８において、機器１１の制御部３４は、その他の処理を実行して、ステップＳ１１１に戻り、上述した処理を繰り返す。

ステップＳ１１５において、機器１１の使用者からのインタラクション情報の入力がないと判定された場合、ステップＳ１１９に進み、機器１１の制御部３４は、次のコンテンツを視聴するか否かを判定する。ステップＳ１１９において、次のコンテンツを視聴すると判定された場合、ステップＳ１０４に戻り、次に視聴するコンテンツを選択する処理から上述した処理を繰り返す。

また、ステップＳ１１９において、次のコンテンツを視聴しないと判定された場合、ステップＳ１２０に進み、機器１１の制御部３４は、機器１１の入力部３３からの信号などを基に、コンテンツの再生および対話の処理を終了するか否かを判定する。ステップＳ１２０において、コンテンツの再生および対話の処理を終了しないと判定された場合、ステップＳ１１８に進み、その他の処理が実行されて、ステップＳ１１１から上述した処理が繰り返される。

ステップＳ１２０において、コンテンツの再生および対話の処理を終了すると判定された場合、機器１１のコンテンツの再生および対話の処理は終了する。

機器１１におけるステップＳ１１０乃至ステップＳ１２０の処理に対応して、機器１３において、ステップＳ２０８乃至ステップＳ２１８の処理が実行される。

すなわち、機器１１から同時再生の開始が通知されると、ステップＳ２０８において、機器１３の再生出力制御部５３は、受信したコンテンツの同時再生を開始する。すなわち、機器１１におけるコンテンツの再生と機器１３におけるコンテンツの再生は、同期するように実行される。

ステップＳ２０９において、機器１３のユーザ入力情報処理部５１は、機器１３の使用者からのインタラクション情報の入力を待機する。すなわち、機器１３のユーザ入力情報処理部５１は、機器１３の使用者によってインタラクション情報を入力する操作が加えられた機器１３の入力部３３からの使用者の操作を示す信号の供給を待機する。また、ステップＳ２０９において、機器１３のユーザ入力情報受信制御部６４は、機器１３の通信部３８に、ネットワーク１４を介して、コンテンツを送信してくる機器である機器１１から送信されてくるインタラクション情報の受信を待機させる。

ステップＳ２１０において、機器１３の制御部３４は、機器１３の入力部３３からの信号を基に、機器１３の使用者からの入力があったか否かを判定し、機器１３の使用者から入力があったと判定された場合、ステップＳ２１１に進み、機器１３の制御部３４は、機器１３の入力部３３からの信号を基に、機器１３の使用者からのインタラクション情報の入力があったか否かを判定する。ステップＳ２１１において、機器１３の使用者からのインタラクション情報の入力があったと判定された場合、ステップＳ２１２に進み、機器１３のユーザ入力情報処理部５１は、使用者によってインタラクション情報を入力する操作が加えられた機器１３の入力部３３からの使用者の操作を示す信号を取得することで、使用者からのインタラクション情報を入力する。ステップＳ２１３において、機器１３のユーザ入力情報送信制御部６３は、機器１３の通信部３８に、ネットワーク１４を介して、機器１１宛てに、入力したインタラクション情報および機器１３を特定する送信者IDを送信させ、手続きは、ステップＳ２１５に進む。

ステップＳ２１１において、機器１３の使用者からのインタラクション情報の入力がないと判定された場合、ステップＳ２１２およびステップＳ２１３の処理はスキップされて、手続きは、ステップＳ２１５に進む。

ステップＳ２１０において、機器１３の使用者から入力がないと判定された場合、ステップＳ２１４に進み、制御部３４は、通信制御部３７からの信号を基に、通信部３８において、同時視聴準備依頼を受信したか否かを判定する。ステップＳ２１４において、同時視聴準備依頼を受信していないと判定された場合、今現在再生しているコンテンツの再生が継続されるので、ステップＳ２１５に進み、機器１３のユーザ入力情報受信制御部６４は、ネットワーク１４を介して、コンテンツを送信してくる機器１１から送信されてくるインタラクション情報とそのインタラクション情報を入力した機器を特定する送信者IDとを、機器１３の通信部３８に受信させる。機器１３のユーザ入力情報受信制御部６４は、受信したインタラクション情報と送信者IDとを再生出力制御部５３に供給する。

ステップＳ２１６において、機器１３の再生出力制御部５３は、インタラクション情報を、他の機器と同時に再生する。すなわち、ステップＳ２１６において、機器１３の再生出力制御部５３は、インタラクション情報に対応する画像を、他の機器における表示と同時に表示するか、インタラクション情報に対応する音声を、他の機器における出力と同時に出力する。

ステップＳ２１７において、機器１３の制御部３４は、機器１３の入力部３３からの信号などを基に、コンテンツの再生および対話の処理を終了するか否かを判定する。ステップＳ２１７において、コンテンツの再生および対話の処理を終了しないと判定された場合、ステップＳ２１８に進み、その他の処理が実行されて、ステップＳ２０９から上述した処理が繰り返される。

ステップＳ２１７において、コンテンツの再生および対話の処理を終了すると判定された場合、機器１３のコンテンツの再生および対話の処理は終了する。

ステップＳ２１４において、同時視聴準備依頼を受信したと判定された場合、次のコンテンツを再生するので、ステップＳ２０５に戻り、上述した処理を繰り返す。

以上のように、コンテンツを同期して再生すると共に、再生しているコンテンツについての１人の使用者の情報を他の使用者に同時に伝達するので、直接会話ができない場合であっても、視聴している同じコンテンツについて対話することができる。

次に、図１２および図１３を参照して、コンテンツの再生および対話の処理の他の例を説明する。図１２または図１３のステップＳ１４１乃至１５３の処理は、それぞれ、図１０または図１１のステップＳ１０１乃至ステップＳ１１３の処理と同様なので、その説明は省略する。図１２または図１３のステップＳ２４１乃至２５３の処理は、それぞれ、図１０または図１１のステップＳ２０１乃至ステップＳ２１３の処理と同様なので、その説明は省略する。

ステップＳ１５３の後に実行されるステップＳ１５４において、機器１１の再生出力制御部５３は、受信したインタラクション情報と送信者IDとに基づいて、送信しようとするコンテンツを処理し、ステップＳ１５７に進む。例えば、機器１１の再生出力制御部５３は、コンテンツの画像に対して、送信者IDで決まる位置に、インタラクション情報で示される画像を重畳させるように、送信しようとするコンテンツを処理する。例えば、機器１１の再生出力制御部５３は、コンテンツの所定のチャンネルの音声に対して、送信者IDで決まるチャンネルに、インタラクション情報で示される音声を割り当てるように、送信しようとするコンテンツを処理する。機器１１の再生出力制御部５３は、処理したコンテンツを機器１１の静止画・動画送信制御部６１に供給する。

ステップＳ１５２において、使用者から入力があったと判定された場合、ステップＳ１５５に進み、機器１１の制御部３４は、機器１１の入力部３３からの信号を基に、機器１１の使用者からのインタラクション情報の入力があったか否かを判定する。ステップＳ１５５において、機器１１の使用者からのインタラクション情報の入力があったと判定された場合、ステップＳ１５６に進み、機器１１のユーザ入力情報処理部５１は、使用者によってインタラクション情報を入力する操作が加えられた機器１１の入力部３３からの使用者の操作を示す信号を取得することで、使用者からのインタラクション情報を入力し、手続きは、ステップＳ１５４に進む。機器１１のユーザ入力情報処理部５１は、入力したインタラクション情報を再生出力制御部５３に供給する。

ステップＳ１５６の後に実行されるステップＳ１５４において、機器１１の再生出力制御部５３は、入力したインタラクション情報および機器１１を特定する特定情報である送信者IDに基づいて、送信しようとするコンテンツを処理し、ステップＳ１５７に進む。

例えば、機器１１および機器１３が、たくさんの友人が写っている静止画像であるコンテンツを同期して表示し、表示されている静止画像が、その友人たちで同時に視聴されている場合に、機器１３において、静止画像に写っている人の顔を変形させる操作（例えば、顔を引っ張るような操作）がなされ、その操作のデータが、インタラクション情報として、機器１１または機器１３において入力されたとき、ステップＳ１５４において、人の顔の画像を変形させる操作のデータであるインタラクション情報に基づいて、人の顔の画像が変形されるように静止画像が処理される。

なお、コンテンツの処理は、画像を重畳、音声の追加、または画像の変形に限るものではなく、処理の結果が使用者に認識できるものであればよく、例えば、コンテンツが画像を含む場合には、どのような画像処理であっても、コンテンツが音声を含む場合には、どのような音声処理であってもよい。

ステップＳ１５７において、機器１１のユーザ入力情報送信制御部６３は、機器１１の通信部３８に、ネットワーク１４を介して、機器１３を含む他の機器宛てに、ステップＳ１５４において処理されたコンテンツを送信させる。ステップＳ１５８において、機器１１の再生出力制御部５３は、ステップＳ１５４において処理されたコンテンツを、他の機器と同時に再生する。

ステップＳ１５９乃至ステップＳ１６１の処理は、それぞれ、図１１のステップＳ１１８乃至ステップＳ１２０と同様なので、その説明は省略する。

ステップＳ２５５において、機器１３のユーザ入力情報受信制御部６４は、ネットワーク１４を介して、機器１１から送信されてくる、インタラクション情報および送信者IDに基づいて処理されたコンテンツを、機器１３の通信部３８に受信させる。機器１３のユーザ入力情報受信制御部６４は、受信したコンテンツを再生出力制御部５３に供給する。

ステップＳ２５６において、機器１３の再生出力制御部５３は、受信したコンテンツを、他の機器と同時に再生する。

例えば、ステップＳ１５４において、人の顔の画像を変形させる操作のデータであるインタラクション情報に基づいて、人の顔の画像が変形されるように静止画像が処理された場合、機器１１および機器１３において、人の顔の画像が変形させられた静止画像が同時に表示されることになる。

ステップＳ２５７およびステップＳ２５８の処理は、それぞれ、図１１のステップＳ２１７およびステップＳ２１８の処理と同様なので、その説明は省略する。

このように、コンテンツを再生する側の処理をより少なくしつつ、直接会話ができない場合であっても、視聴している同じコンテンツについて対話することができる。

例えば、同時に複数の人々が同じ静止画像または動画像を視聴しながら、それに対して、同時にコメントしたり、同時に何かを書き込んだりすることができるようになり、離れている場合や、音や言葉を出せないような状況であっても、簡単かつ瞬時に、情報のやりとり、すなわち対話をすることができるようになり、より楽しいコミュニケーションの形態を提供することができる。

以上のように、コンテンツを送信し、受信するようにした場合には、コンテンツを再生することができる。また、提供装置から送信されてくるコンテンツの受信を制御し、受信したコンテンツであって、再生しているコンテンツに関する対話の内容を示すインタラクション情報を取得し、提供装置への、インタラクション情報および自分を特定する特定情報の送信を制御し、提供装置から送信されてくる、コンテンツを同期して再生している他の再生装置において取得されたインタラクション情報および他の再生装置を特定する特定情報の受信を制御し、再生しているコンテンツと受信したインタラクション情報による対話の内容とを、受信した特定情報によって関係させるように、受信したインタラクション情報による対話の内容の出力を制御し、再生装置へのコンテンツの送信を制御し、再生装置から送信されてくる、インタラクション情報および特定情報の受信を制御し、受信したインタラクション情報および特定情報の再生装置への送信を制御するようにした場合には、直接会話ができない場合であっても、視聴している同じコンテンツについて対話することができる。

コンテンツを受信するようにした場合には、コンテンツを再生することができる。また、提供装置から送信されてくるコンテンツの受信を制御し、受信したコンテンツであって、再生しているコンテンツに関する対話の内容を示すインタラクション情報を取得し、提供装置への、インタラクション情報および自分（再生装置）を特定する特定情報の送信を制御し、提供装置から送信されてくる、コンテンツを同期して再生している他の再生装置において取得されたインタラクション情報および他の再生装置を特定する特定情報の受信を制御し、再生しているコンテンツと受信したインタラクション情報による対話の内容とを、受信した特定情報によって関係させるように、受信したインタラクション情報による対話の内容の出力を制御するようにした場合には、直接会話ができない場合であっても、視聴している同じコンテンツについて対話することができる。

さらに、コンテンツを送信するようにした場合には、コンテンツを再生させることができる。また、再生装置へのコンテンツの送信を制御し、再生装置から送信されてくる、再生装置において再生されているコンテンツに関する対話の内容を示すインタラクション情報および再生装置を特定する特定情報の受信を制御し、受信したインタラクション情報および特定情報の再生装置への送信を制御するようにした場合には、直接会話ができない場合であっても、視聴している同じコンテンツについて対話させることができる。

また、コンテンツの再生装置への送信を制御し、再生装置から送信されてくる、再生装置において再生されているコンテンツに関する対話の内容を示すインタラクション情報および再生装置を特定する特定情報の受信を制御し、受信した特定情報およびインタラクション情報に応じて、送信しようとするコンテンツを処理し、コンテンツの再生装置への送信の制御において、特定情報およびインタラクション情報に応じて、処理されたコンテンツの再生装置への送信が制御されるようにした場合には、直接会話ができない場合であっても、視聴している同じコンテンツについて対話させることができる。

なお、インタラクション情報が入力された場合、入力されたインタラクション情報を直接用いて、画像や音声などを再生するか生成するようにしてもよい。

上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図１４は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。CPU（Central Processing Unit）２０１は、ROM（Read Only Memory）２０２、または記憶部２０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）２０３には、CPU２０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU２０１、ROM２０２、およびRAM２０３は、バス２０４により相互に接続されている。

CPU２０１にはまた、バス２０４を介して入出力インターフェース２０５が接続されている。入出力インターフェース２０５には、キーボード、マウス、マイクロフォンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７が接続されている。CPU２０１は、入力部２０６から入力される指令に対応して各種の処理を実行する。そして、CPU２０１は、処理の結果を出力部２０７に出力する。

入出力インターフェース２０５に接続されている記憶部２０８は、例えばハードディスクからなり、CPU２０１が実行するプログラムや各種のデータを記憶する。通信部２０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。

また、通信部２０９を介してプログラムを取得し、記憶部２０８に記憶してもよい。

入出力インターフェース２０５に接続されているドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部２０８に転送され、記憶される。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図１４に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスクを含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１１、または、プログラムが一時的もしくは永続的に格納されるROM２０２や、記憶部２０８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部２０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。

なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明の一実施の形態のコンテンツ再生システムを示す図である。 機器の構成の例を示すブロック図である。 再生出力制御部の構成の例を示すブロック図である。 コンテンツの再生と対話の概要を説明する図である。 機器において実行されるプロセスを説明する図である。 インタラクション情報の具体例について説明する図である。 インタラクション情報の具体例について説明する図である。 インタラクション情報の具体例について説明する図である。 インタラクション情報の具体例について説明する図である。 コンテンツの再生および対話の処理の例を説明するフローチャートである。 コンテンツの再生および対話の処理の例を説明するフローチャートである。 コンテンツの再生および対話の処理の他の例を説明するフローチャートである。 コンテンツの再生および対話の処理の他の例を説明するフローチャートである。 パーソナルコンピュータの構成の例を示すブロック図である。

符号の説明

１１，１２，１３ 機器， １４ ネットワーク， ３１ 撮影部， ３２ 記録部， ３３ 入力部， ３４ 制御部， ３５ 表示部， ３６ 音声出力部， ３７ 通信制御部， ３８ 通信部， ５１ ユーザ入力情報処理部， ５２ ファイル情報管理部， ５３ 再生出力制御部， ５４ 時刻情報管理部， ６１ 静止画・動画送信制御部， ６２ 静止画・動画受信制御部， ６３ ユーザ入力情報送信制御部， ６４ ユーザ入力情報受信制御部， ６５ 時刻情報送信制御部， ６６ 時刻情報受信制御部， ８１ コンテンツ再生処理部， ８２ インタラクション情報処理部， ８３ 画像重畳部， ８４ 音声重畳部， ８５ 表示制御部， ８６ 音声出力制御部， ９１ 画像再生処理部， ９２ 音声再生処理部， ９３ 独立表示情報生成部， ９４ 音声合成部， ９５ 合成画像生成部， ２０１ ＣＰＵ， ２０２ ＲＯＭ， ２０３ ＲＡＭ， ２０８ 記憶部， ２１１ リムーバブルメディア

Claims (24)

1. コンテンツを提供する提供装置と、提供された前記コンテンツを再生する再生装置とからなるコンテンツ再生システムにおいて、
   前記再生装置は、
   前記提供装置から送信されてくる前記コンテンツの受信を制御する第１の受信制御手段と、
   受信した前記コンテンツであって、再生している前記コンテンツに関する対話の内容を示すインタラクション情報を取得する取得手段と、
   前記提供装置への、前記インタラクション情報および自分を特定する特定情報の送信を制御する第１の送信制御手段と、
   前記提供装置から送信されてくる、前記コンテンツを同期して再生している他の再生装置において取得された前記インタラクション情報および前記他の再生装置を特定する前記特定情報の受信を制御する第２の前記受信制御手段と、
   再生している前記コンテンツと受信した前記インタラクション情報による対話の内容とを、受信した前記特定情報によって関係させるように、受信した前記インタラクション情報による対話の内容の出力を制御する出力制御手段と
   を備え、
   前記提供装置は、
   前記再生装置への前記コンテンツの送信を制御する第２の送信制御手段と、
   前記再生装置から送信されてくる、前記インタラクション情報および前記特定情報の受信を制御する第３の受信制御手段と、
   受信した前記インタラクション情報および前記特定情報の前記再生装置への送信を制御する第３の送信制御手段と
   を備えるコンテンツ再生システム。
2. 提供装置から提供されたコンテンツを再生する再生装置において、
   前記提供装置から送信されてくる前記コンテンツの受信を制御する第１の受信制御手段と、
   受信した前記コンテンツであって、再生している前記コンテンツに関する対話の内容を示すインタラクション情報を取得する取得手段と、
   前記提供装置への、前記インタラクション情報および自分を特定する特定情報の送信を制御する送信制御手段と、
   前記提供装置から送信されてくる、前記コンテンツを同期して再生している他の再生装置において取得された前記インタラクション情報および前記他の再生装置を特定する前記特定情報の受信を制御する第２の前記受信制御手段と、
   再生している前記コンテンツと受信した前記インタラクション情報による対話の内容とを、受信した前記特定情報によって関係させるように、受信した前記インタラクション情報による対話の内容の出力を制御する出力制御手段と
   を備える再生装置。
3. 受信した前記コンテンツを、前記他の再生装置と同期して再生する再生手段をさらに備える
   請求項２に記載の再生装置。
4. 前記インタラクション情報は、画像を表示させる情報である
   請求項２に記載の再生装置。
5. 前記出力制御手段は、前記コンテンツの画像に重畳させて、前記インタラクション情報による前記画像を表示させるように、前記インタラクション情報による対話の内容の出力を制御する
   請求項４に記載の再生装置。
6. 前記出力制御手段は、受信した前記特定情報で定まる領域に、前記インタラクション情報による前記画像を表示させるように、前記インタラクション情報による対話の内容の出力を制御する
   請求項４に記載の再生装置。
7. 前記インタラクション情報は、音声を出力させる情報である
   請求項２に記載の再生装置。
8. 前記出力制御手段は、前記コンテンツの音声に重畳させて、前記インタラクション情報による前記音声を出力させるように、前記インタラクション情報による対話の内容の出力を制御する
   請求項７に記載の再生装置。
9. 前記インタラクション情報は、使用者によって指示された位置を示す情報である
   請求項２に記載の再生装置。
10. 前記出力制御手段は、前記コンテンツの画像に重畳させて、前記インタラクション情報によって示される位置に、前記使用者の指示を表す画像を表示させるように、前記インタラクション情報による対話の内容の出力を制御する
    請求項９に記載の再生装置。
11. 前記出力制御手段は、前記使用者の指示を表す前記画像であって、前記特定情報で定まる前記画像を表示させるように、前記インタラクション情報による対話の内容の出力を制御する
    請求項１０に記載の再生装置。
12. 前記取得手段は、予め定めた対話の内容の中の、使用者の指示に応じた対話の内容を示す前記インタラクション情報を取得する
    請求項２に記載の再生装置。
13. 提供装置から提供されたコンテンツを再生する再生装置の再生方法において、
    前記提供装置から送信されてくる前記コンテンツの受信を制御し、
    受信した前記コンテンツであって、再生している前記コンテンツに関する対話の内容を示すインタラクション情報を取得し、
    前記提供装置への、前記インタラクション情報および前記再生装置を特定する特定情報の送信を制御し、
    前記提供装置から送信されてくる、前記コンテンツを同期して再生している他の再生装置において取得された前記インタラクション情報および前記他の再生装置を特定する前記特定情報の受信を制御し、
    再生している前記コンテンツと受信した前記インタラクション情報による対話の内容とを、受信した前記特定情報によって関係させるように、受信した前記インタラクション情報による対話の内容の出力を制御する
    ステップを含む再生方法。
14. 提供装置から提供されたコンテンツを再生する再生装置のコンピュータに再生処理を行わせるプログラムにおいて、
    前記提供装置から送信されてくる前記コンテンツの受信を制御し、
    受信した前記コンテンツであって、再生している前記コンテンツに関する対話の内容を示すインタラクション情報を取得し、
    前記提供装置への、前記インタラクション情報および前記再生装置を特定する特定情報の送信を制御し、
    前記提供装置から送信されてくる、前記コンテンツを同期して再生している他の再生装置において取得された前記インタラクション情報および前記他の再生装置を特定する前記特定情報の受信を制御し、
    再生している前記コンテンツと受信した前記インタラクション情報による対話の内容とを、受信した前記特定情報によって関係させるように、受信した前記インタラクション情報による対話の内容の出力を制御する
    ステップを含むプログラム。
15. コンテンツを再生する再生装置に前記コンテンツを提供する提供装置において、
    前記再生装置への前記コンテンツの送信を制御する第１の送信制御手段と、
    前記再生装置から送信されてくる、前記再生装置において再生されている前記コンテンツに関する対話の内容を示すインタラクション情報および前記再生装置を特定する前記特定情報の受信を制御する受信制御手段と、
    受信した前記インタラクション情報および前記特定情報の前記再生装置への送信を制御する第２の送信制御手段と
    を備える提供装置。
16. 前記第２の送信制御手段は、前記コンテンツを提供している全ての前記再生装置への、前記インタラクション情報および前記特定情報の送信を制御する
    請求項１５に記載の提供装置。
17. 前記再生装置における前記コンテンツの再生に同期して、送信している前記コンテンツを再生する再生手段と、
    再生している前記コンテンツに関する対話の内容を示す前記インタラクション情報を取得する取得手段と
    をさらに備え、
    前記第２の送信制御手段は、取得した前記インタラクション情報および自分を特定する前記特定情報の前記再生装置への送信を制御する
    請求項１５に記載の提供装置。
18. 前記再生装置における前記コンテンツの再生に同期して、送信している前記コンテンツを再生する再生手段と、
    再生している前記コンテンツと受信した前記インタラクション情報による対話の内容とを、受信した前記特定情報によって関係させるように、受信した前記インタラクション情報による対話の内容の出力を制御する出力制御手段と
    をさらに備える請求項１５に記載の提供装置。
19. コンテンツを再生する再生装置に前記コンテンツを提供する提供方法において、
    前記再生装置への前記コンテンツの送信を制御し、
    前記再生装置から送信されてくる、前記再生装置において再生されている前記コンテンツに関する対話の内容を示すインタラクション情報および前記再生装置を特定する前記特定情報の受信を制御し、
    受信した前記インタラクション情報および前記特定情報の前記再生装置への送信を制御する
    ステップを含む提供方法。
20. コンテンツを再生する再生装置に前記コンテンツを提供する提供処理を、コンピュータに行わせるプログラムにおいて、
    前記再生装置への前記コンテンツの送信を制御し、
    前記再生装置から送信されてくる、前記再生装置において再生されている前記コンテンツに関する対話の内容を示すインタラクション情報および前記再生装置を特定する前記特定情報の受信を制御し、
    受信した前記インタラクション情報および前記特定情報の前記再生装置への送信を制御する
    ステップを含むプログラム。
21. コンテンツを再生する再生装置に前記コンテンツを提供する提供装置において、
    前記再生装置への前記コンテンツの送信を制御する送信制御手段と、
    前記再生装置から送信されてくる、前記再生装置において再生されている前記コンテンツに関する対話の内容を示すインタラクション情報および前記再生装置を特定する前記特定情報の受信を制御する受信制御手段と、
    受信した前記特定情報および前記インタラクション情報に応じて、送信しようとする前記コンテンツを処理する処理手段と
    を備え、
    前記送信制御手段は、前記特定情報および前記インタラクション情報に応じて、処理された前記コンテンツの前記再生装置への送信を制御する
    提供装置。
22. コンテンツを再生する再生装置に前記コンテンツを提供する提供方法において、
    前記コンテンツの前記再生装置への送信を制御し、
    前記再生装置から送信されてくる、前記再生装置において再生されている前記コンテンツに関する対話の内容を示すインタラクション情報および前記再生装置を特定する前記特定情報の受信を制御し、
    受信した前記特定情報および前記インタラクション情報に応じて、送信しようとする前記コンテンツを処理する
    ステップを含み、
    前記コンテンツの前記再生装置への送信の制御において、前記特定情報および前記インタラクション情報に応じて、処理された前記コンテンツの前記再生装置への送信が制御される
    提供方法。
23. コンテンツを再生する再生装置に前記コンテンツを提供する提供処理を、コンピュータに行わせるプログラムにおいて、
    前記コンテンツの前記再生装置への送信を制御し、
    前記再生装置から送信されてくる、前記再生装置において再生されている前記コンテンツに関する対話の内容を示すインタラクション情報および前記再生装置を特定する前記特定情報の受信を制御し、
    受信した前記特定情報および前記インタラクション情報に応じて、送信しようとする前記コンテンツを処理する
    ステップを含み、
    前記コンテンツの前記再生装置への送信の制御において、前記特定情報および前記インタラクション情報に応じて、処理された前記コンテンツの前記再生装置への送信が制御される
    プログラム。
24. 請求項１４、請求項２０、または請求項２３に記載のプログラムが記録されている記録媒体。

Images