JP2004048546A - 情報処理装置および方法、表示装置および方法、並びにプログラム - Google Patents
情報処理装置および方法、表示装置および方法、並びにプログラム Download PDFInfo
- Publication number
- JP2004048546A JP2004048546A JP2002205396A JP2002205396A JP2004048546A JP 2004048546 A JP2004048546 A JP 2004048546A JP 2002205396 A JP2002205396 A JP 2002205396A JP 2002205396 A JP2002205396 A JP 2002205396A JP 2004048546 A JP2004048546 A JP 2004048546A
- Authority
- JP
- Japan
- Prior art keywords
- packet
- image
- display device
- tile
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Communication Control (AREA)
Abstract
【課題】画像データの通信におけるネットワークの輻輳を低減する。
【解決手段】表示装置１１−１は、カメラ１３により取り込まれた視点自由形の画像を、画像サーバ１２からストリーミング再生する。その際、画像サーバ１２は、撮影画像を格子状に分割し（以下、格子状に分割された個々の画像をタイルと称する）、表示領域に対応するタイル、および表示領域に対応するタイルの周囲のタイルをＲＴＰパケットに格納して、表示装置１１−１に送信する。表示装置１１−１は、欠落したＲＴＰパケットが表示領域に対応しているタイルであるか否か、また、ネットワークは輻輳しているか否かを判定基準として、欠落したＲＴＰパケットの再送を画像サーバ１２に要求するか否かを判定する。本発明は、ネットワークを介して取得した画像を表示する表示装置に適用することができる。
【選択図】 図１
【解決手段】表示装置１１−１は、カメラ１３により取り込まれた視点自由形の画像を、画像サーバ１２からストリーミング再生する。その際、画像サーバ１２は、撮影画像を格子状に分割し（以下、格子状に分割された個々の画像をタイルと称する）、表示領域に対応するタイル、および表示領域に対応するタイルの周囲のタイルをＲＴＰパケットに格納して、表示装置１１−１に送信する。表示装置１１−１は、欠落したＲＴＰパケットが表示領域に対応しているタイルであるか否か、また、ネットワークは輻輳しているか否かを判定基準として、欠落したＲＴＰパケットの再送を画像サーバ１２に要求するか否かを判定する。本発明は、ネットワークを介して取得した画像を表示する表示装置に適用することができる。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、情報処理装置および方法、表示装置および方法、並びにプログラムに関し、特に、映像をストリーミング再生する場合に、ネットワークの輻輳を低減させることができるようにした情報処理装置および方法、表示装置および方法、並びにプログラムに関する。
【０００２】
【従来の技術】
従来、例えばパーソナルコンピュータなどの端末装置が、画像などのデータをサーバからダウンロードし、同時に再生する、所謂、ストリーミング再生の技術が知られている。
【０００３】
ストリーミング再生を行う場合、インターネットなどのネットワークを介して、サーバから端末装置に対して、画像などのデータを実時間通信で送信する際、ネットワークの輻輳により、送信中のパケットが途中で廃棄されてしまうことがある。この問題を解決するＡＲＱ（Ａｕｔｏｍａｔｉｃ−Ｒｅｐｅａｔ−ＲｅＱｕｅｓｔ）などの再送技術が知られている。以下に、ＡＲＱについて説明する。
【０００４】
まず、サーバから端末装置にパケットが送信される。その際、途中で廃棄されてしまったパケットがあった場合、端末装置は、欠落したパケットを検知し、欠落したパケットを再送するようにサーバに要求する。その情報を受信したサーバは、要求されたパケットを端末装置に再送する。
【０００５】
以上が、ＡＲＱの概要である。以上のようにして、端末装置は、欠落したパケットを取得することができる。
【０００６】
【発明が解決しようとする課題】
しかしながら、サーバが、要求されたパケットを、端末装置に再送する場合、すでに輻輳しているネットワークをさらに輻輳させるという課題があった。
【０００７】
すなわち、サーバから端末装置に送信中のパケットが欠落するのは、ネットワークが輻輳している場合が多い。従って、端末装置が欠落したパケットの再送をサーバに要求し、サーバが要求されたパケットを再送する場合、すでに輻輳しているネットワークを介して、パケットを再送することになり、ネットワークをさらに輻輳させる結果になる。結果的に、さらに欠落するパケットが増加する。ＡＲＱなどの再送技術においては、このような悪循環に陥ってしまうことがあるという課題があった。
【０００８】
本発明はこのような状況に鑑みてなされたものであり、映像をストリーミング再生する場合に、ネットワークの輻輳を減少させることを目的とする。
【０００９】
【課題を解決するための手段】
本発明の情報処理装置は、第１の画像を格子状に分割した複数の第２の画像のうち、表示装置により表示される表示領域に対応する１以上の第３の画像、および第３の画像の周囲を囲む複数の第４の画像を表示装置に供給する情報処理装置であって、１以上の第３の画像、および複数の第４の画像の個々を識別するための第１の識別情報を記憶する第１の記憶手段と、第１の記憶手段により記憶された第１の識別情報に基づいて、第３の画像および第４の画像を含む１以上のパケットを作成する第１の作成手段と、第１の作成手段により作成されたパケットを記憶する第２の記憶手段と、第１の作成手段により作成されたパケットが記憶された第２の記憶手段におけるアドレスを、パケットを識別する第２の識別情報と対応付けて記憶する第３の記憶手段と、第２の記憶手段により記憶されたパケットを表示装置に送信する第１の送信手段と、表示装置より、表示装置が受信できなかった欠落パケットの再送要求を受信する第１の受信手段と、第１の受信手段により受信された欠落パケットの再送要求に含まれている第２の識別情報に基づいて、第３の記憶手段により記憶されているパケットのアドレスを特定する特定手段と、特定手段により特定されたアドレスに記憶されているパケットを、第２の記憶手段より読み出す読み出し手段と、読み出し手段により読み出されたパケットを表示装置に送信する第２の送信手段とを備えることを特徴とする。
【００１０】
前記表示装置より、前記第１の識別情報の変更の通知を受信する第２の受信手段をさらに設けるようにし、前記第１の記憶手段には、第２の受信手段により通知が受信された場合、前記第１の識別情報の記憶を更新するようにさせることができる。
【００１１】
前記第１の画像を撮影する撮影手段と、撮影手段により撮影された前記第１の画像を格子状に分割して前記第２の画像を作成する第２の作成手段とをさらに設けるようにすることができる。
【００１２】
本発明の情報処理方法は、第１の画像を格子状に分割した複数の第２の画像のうち、表示装置により表示される表示領域に対応する１以上の第３の画像、および第３の画像の周囲を囲む複数の第４の画像を表示装置に供給する情報処理装置の情報処理方法であって、１以上の第３の画像、および複数の第４の画像の個々を識別するための第１の識別情報を記憶する第１の記憶ステップと、第１の記憶ステップの処理により記憶された第１の識別情報に基づいて、第３の画像および第４の画像を含む１以上のパケットを作成する作成ステップと、作成ステップの処理により作成されたパケットを所定の記憶手段に記憶する第２の記憶ステップと、作成ステップの処理により作成されたパケットが記憶された記憶手段におけるアドレスを、パケットを識別する第２の識別情報と対応付けて記憶する第３の記憶ステップと、第２の記憶ステップの処理により記憶されたパケットを表示装置に送信する第１の送信ステップと、表示装置より、表示装置が受信できなかった欠落パケットの再送要求を受信する受信ステップと、受信ステップの処理により受信された欠落パケットの再送要求に含まれている第２の識別情報に基づいて、第３の記憶ステップの処理により記憶されているパケットのアドレスを特定する特定ステップと、特定ステップの処理により特定されたアドレスに記憶されているパケットを、読み出す読み出しステップと、読み出しステップの処理により読み出されたパケットを表示装置に送信する第２の送信ステップとを含むことを特徴とする。
【００１３】
本発明の第１のプログラムは、第１の画像を格子状に分割した複数の第２の画像のうち、表示装置により表示される表示領域に対応する１以上の第３の画像、および第３の画像の周囲を囲む複数の第４の画像を表示装置に供給する情報処理装置を制御するコンピュータに、１以上の第３の画像、および複数の第４の画像の個々を識別するための第１の識別情報の記憶を制御する第１の記憶制御ステップと、第１の記憶制御ステップの処理により記憶が制御された第１の識別情報に基づいて、第３の画像および第４の画像を含む１以上のパケットを作成する作成ステップと、作成ステップの処理により作成されたパケットの所定の記憶手段への記憶を制御する第２の記憶制御ステップと、作成ステップの処理により作成されたパケットが記憶された記憶手段におけるアドレスの、パケットを識別する第２の識別情報と対応付けた記憶を制御する第３の記憶制御ステップと、第２の記憶制御ステップの処理により記憶が制御されたパケットの表示装置への送信を制御する第１の送信制御ステップと、表示装置からの、表示装置が受信できなかった欠落パケットの再送要求の受信を制御する受信制御ステップと、受信制御ステップの処理により受信が制御された欠落パケットの再送要求に含まれている第２の識別情報に基づいて、第３の記憶制御ステップの処理により記憶が制御されているパケットのアドレスを特定する特定ステップと、特定ステップの処理により特定されたアドレスに記憶されているパケットを、読み出す読み出しステップと、前記読み出しステップの処理により読み出されたパケットの表示装置への送信を制御する第２の送信制御ステップとを実行させることを特徴とする。
【００１４】
本発明の表示装置は、第１の画像を格子状に分割した複数の第２の画像のうち、表示領域に対応する第３の画像、および第３の画像の周囲を囲む第４の画像を含むパケットを情報処理装置から受信する第１の受信手段と、第１の受信手段により受信されたパケットを記憶する記憶手段と、情報処理装置と表示装置間のネットワークの輻輳の程度を示す輻輳情報を取得する取得手段と、第１の受信手段により情報処理装置から受信することができなかったパケットを検出する検出手段と、検出手段により情報処理装置から受信することができなかった欠落パケットが検出された場合、欠落パケットが第３の画像を含むパケットであるか否かを判定する第１の判定手段と、第１の判定手段により、欠落パケットは第３の画像を含むパケットではないと判定された場合、取得手段により取得された輻輳情報に基づいて、欠落パケットを表示装置に要求するか否かを判定する第２の判定手段と、第１の判定手段により、欠落パケットは第３の画像を含むパケットであると判定された場合、および第２の判定手段により欠落パケットを表示装置に要求すると判定された場合、欠落パケットを送信するように情報処理装置に要求する要求手段と、情報処理装置より、欠落パケットを受信する第２の受信手段と、第２の受信手段により受信された欠落パケットを記憶手段に記憶させる制御手段と、記記憶手段により記憶されたパケットおよび欠落パケットから、第３の画像データを読み出し、表示領域内の画像を表示する表示手段とを備えることを特徴とする。
【００１５】
前記表示領域の変更の指示を受け付ける受付手段と、受付手段により前記表示領域の変更の指示が受け付けられた場合、変更後の前記表示領域に対応する前記第３の画像および前記第４の画像の識別情報を特定する特定手段と、特定手段により特定された前記識別情報、並びに前記第３の画像および前記第４の画像の変更の通知を前期情報処理装置に送信する送信手段とをさらに設けるようにすることができる。
【００１６】
第１の画像を格子状に分割した複数の第２の画像のうち、表示領域に対応する第３の画像、および第３の画像の周囲を囲む第４の画像を含むパケットを情報処理装置から受信する第１の受信ステップと、第１の受信ステップの処理により受信されたパケットを所定の記憶手段に記憶する記憶ステップと、情報処理装置と表示装置間のネットワークの輻輳の程度を示す輻輳情報を取得する取得ステップと、第１の受信ステップの処理により情報処理装置から受信することができなかったパケットを検出する検出ステップと、検出ステップの処理により情報処理装置から受信することができなかった欠落パケットが検出された場合、欠落パケットが第３の画像を含むパケットであるか否かを判定する第１の判定ステップと、第１の判定ステップの処理により、欠落パケットは第３の画像を含むパケットではないと判定された場合、取得ステップの処理により取得された輻輳情報に基づいて、欠落パケットを表示装置に要求するか否かを判定する第２の判定ステップと、第１の判定ステップの処理により、欠落パケットは第３の画像を含むパケットであると判定された場合、および第２の判定ステップの処理により欠落パケットを表示装置に要求すると判定された場合、欠落パケットを送信するように情報処理装置に要求する要求ステップと、情報処理装置より、欠落パケットを受信する第２の受信ステップと、第２の受信ステップの処理により受信された欠落パケットを記憶手段に記憶させる制御ステップと、記憶手段に記憶されたパケットおよび欠落パケットから、第３の画像データを読み出し、表示領域内の画像を表示する表示ステップとを含むことを特徴とする。
【００１７】
本発明の第２のプログラムは、第１の画像を格子状に分割した複数の第２の画像のうち、表示領域に対応する第３の画像、および第３の画像の周囲を囲む第４の画像を含むパケットの情報処理装置からの受信を制御する第１の受信制御ステップと、第１の受信制御ステップの処理により受信が制御されたパケットの所定の記憶手段への記憶を制御する第１の記憶制御ステップと、情報処理装置と表示装置間のネットワークの輻輳の程度を示す輻輳情報を取得する取得ステップと、第１の受信制御ステップの処理により情報処理装置からの受信を制御することができなかったパケットを検出する検出ステップと、検出ステップの処理により情報処理装置からの受信を制御することができなかった欠落パケットが検出された場合、欠落パケットが第３の画像を含むパケットであるか否かを判定する第１の判定ステップと、第１の判定ステップの処理により、欠落パケットは第３の画像を含むパケットではないと判定された場合、取得ステップの処理により取得された輻輳情報に基づいて、欠落パケットを表示装置に要求するか否かを判定する第２の判定ステップと、第１の判定ステップの処理により、欠落パケットは第３の画像を含むパケットであると判定された場合、および第２の判定ステップの処理により欠落パケットを表示装置に要求すると判定された場合、欠落パケットを送信するように情報処理装置に要求する要求ステップと、情報処理装置からの、欠落パケットの受信を制御する第２の受信制御ステップと、第２の受信制御ステップの処理により受信が制御された欠落パケットの記憶手段への記憶を制御する第２の記憶制御ステップと、記憶手段に記憶されたパケットおよび欠落パケットからの、第３の画像データを読み出し、および表示領域内の画像の表示を制御する表示制御ステップとをコンピュータに実行させることを特徴とする。
【００１８】
本発明の情報処理装置および方法、並びにプログラムにおいては、第１の画像を格子状に分割した複数の第２の画像のうち、表示装置により表示される表示領域に対応する１以上の第３の画像、および第３の画像の周囲を囲む複数の第４の画像の個々を識別するための第１の識別情報が記憶され、記憶された第１の識別情報に基づいて、第３の画像および第４の画像を含む１以上のパケットが作成され、作成されたパケットが記憶され、作成されたパケットが記憶されたアドレスが、パケットを識別する第２の識別情報と対応付けて記憶され、記憶されたパケットが表示装置に送信される。また、表示装置より、表示装置が受信できなかった欠落パケットの再送要求が受信された場合、受信された欠落パケットの再送要求に含まれている第２の識別情報に基づいて、記憶されているパケットのアドレスが特定され、特定されたアドレスに記憶されているパケットが、読み出され、読み出されたパケットが表示装置に送信される。
【００１９】
本発明の表示装置および方法、並びにプログラムにおいては、第１の画像を格子状に分割した複数の第２の画像のうち、表示領域に対応する第３の画像、および第３の画像の周囲を囲む第４の画像を含むパケットが情報処理装置から受信され、受信されたパケットが記憶され、情報処理装置と表示装置間のネットワークの輻輳の程度を示す輻輳情報が取得される。そして、情報処理装置から受信することができなかったパケットが検出され、情報処理装置から受信することができなかった欠落パケットが検出された場合、欠落パケットが第３の画像を含むパケットであるか否かが判定され、欠落パケットは第３の画像を含むパケットではないと判定された場合、取得された輻輳情報に基づいて、欠落パケットを表示装置に要求するか否かが判定され、欠落パケットは第３の画像を含むパケットであると判定された場合、および欠落パケットを表示装置に要求すると判定された場合、欠落パケットを送信するように情報処理装置に要求され、情報処理装置より、欠落パケットを受信する第２の受信手段と、第２の受信手段により受信された欠落パケットが記憶され、記憶されたパケットおよび欠落パケットから、第３の画像データが読み出され、表示領域内の画像が表示される。
【００２０】
【発明の実施の形態】
図１は、本発明を適用したサービス提供システムの一実施の形態を示す図である。図１において、インターネットなどのネットワーク１０には、表示装置１１−１乃至１１−ｎ（以下の説明において、表示装置１１−１乃至１１−ｎを、それぞれ個々に区別する必要がない場合、まとめて表示装置１１と称する）、および画像サーバ１２が接続されている。また、画像サーバ１２は、カメラ１３に接続されている。カメラ１３により撮影された画像は、画像サーバ１２により加工され、ネットワーク１０を介して、表示装置１１に供給される。表示装置１１は、ネットワーク１０を介して、画像サーバ１２から供給された画像を表示し、ユーザに視聴させる。
【００２１】
図２は、カメラ１３により撮影され、表示装置１１に表示される画像の例を示している。図２において、全方位映像３２は、カメラ１３により撮影される画像を示している。すなわち、カメラ１３は、カメラ１３の周囲３６０度全ての映像を撮影する。よって、カメラ１３により撮影された全方位映像３２は、あたかも、視聴するユーザ３１の周囲を取り囲むようになっている。また、表示領域３３は、全方位映像３２のうち、ユーザにより視聴される範囲を示している。
【００２２】
表示装置１１は、カメラ１３により撮影された全方位映像３２の中から切り出された表示領域３３を表示し、ユーザに視聴させる。ユーザは、表示領域３３を、図２のＡ乃至Ｄの矢印のうちの、任意の矢印の方向に移動させることができる。表示装置１１は、ユーザからの指示に従って、全方位映像３２の中から切り出して表示する表示領域３３を移動させる。
【００２３】
なお、図１に示された実施の形態においては、カメラ１３が、全方位映像３２を撮影する場合を例にして説明しているが、このことは、本発明が、カメラ１３が全方位映像３２を撮影することに限定されることを意味するものではない。視点自由形の映像であれば、全方位映像３２に限らない。
【００２４】
画像サーバ１２は、カメラ１３により撮影された全方位映像３２を細かい画像に分割して、表示領域３３に対応する部分の画像を、表示装置１１に送信する。このようにすることにより、全方位映像３２の全てを表示装置１１に送信する場合と比較して、送信する画像データのデータ量を減少させることができる。以下、カメラ１３により撮影された画像を分割した画像のことをタイルとも称する。
【００２５】
図３は、カメラ１３により撮影され、画像サーバ１２により分割された撮影画像１０１の例を示している。撮影画像１０１は、図２の全方位映像３２と同一のものである。すなわち、図２の全方位映像３２は輪状になっているので、この全方位映像３２を、ある位置で開いたものが図３の撮影画像１０１である。
【００２６】
図３に示されるように、撮影画像１０１は、格子状に分割される。格子状に分割された各長方形が、それぞれ１つのタイルである。ここで、説明の便宜上、各タイルには、左端の１番上のタイルを基準として、右に向かって列の番号ｎをふり、下に向かって行の番号ｍをふって、Ｔｎｍとして表示する。例えば、左から２列目で、上から３行目のタイルは、Ｔ２３とする。なお、図３においては、撮影画像１０１は、７行７列に分割されているが、分割する行、および列の数は、７行７列に限定されるものではない。
【００２７】
図３においては、タイルＴ４３の枠が太線で示されているが、この太線内の画像が、表示領域１０２の画像として、表示装置１１に表示される。図２の表示領域３３と同一のものである。
【００２８】
画像サーバ１２は、撮影画像１０１を複数のタイルに分割し、この中から表示領域１０２のタイルを表示装置１１に送信するが、その際、表示領域１０２の周辺のタイルも、余白（マージン）として、表示装置１１に送信する。
【００２９】
画像サーバ１２から表示装置１１に送信されるタイルの例を図４に示す。画像サーバ１２は、図４の撮影画像１０１において、表示領域１０２のタイルと共に、表示領域１０２のタイルに隣接するタイルも、マージンデータ１３１として、表示装置１１に送信する。
【００３０】
もし、画像サーバ１２が、マージンデータ１３１を送信せず、表示領域１０２のタイルのみを表示装置１１に送信する場合、例えば、ユーザが、図２の矢印Ａ乃至Ｄで示される方向のうち、いずれかの方向に表示領域を移動させる指示を、表示装置１１に入力したとき、表示装置１１は、画像サーバ１２に対して、表示領域１０２の移動に対応する、それまでとは異なるタイルを要求する。そして、画像サーバ１２は、表示装置１１から要求されたタイルを表示装置１１に送信する。表示装置１１は、受信したタイルから、表示領域１０２の画像を切り出して表示する。従って、ユーザが表示領域１０２の移動を指示してから、実際に表示装置１１に表示領域１０２が表示されるまでに、長時間を必要とした。
【００３１】
それに対して、本発明のように、マージンデータ１３１を表示領域１０２のタイルと共に送信するようにした場合、ユーザが、表示装置１１に対して、例えば図２の矢印Ａ乃至Ｄで示される方向のうち、いずれかの方向に表示領域１０２を移動させる指示をしたとき、表示装置１１は、マージンデータ１３１として受信している画像から、表示領域１０２の移動に対応した部分の画像を切り出して表示させることができる。従って、ユーザが、表示領域１０２を移動させる指示をした直後に、表示領域１０２の移動を完了させることができる。
【００３２】
ところで、図４においては、マージンデータ１３１は、表示領域１０２のタイルに隣接するタイルのみであるが、表示領域１０２のタイルに隣接するタイルにさらに隣接するタイルまでをマージンデータ１３１とすることも勿論可能であり、その場合の例を図５に示す。図５に示されているように、表意領域１０２のタイルに隣接するタイル、および表意領域１０２のタイルに隣接するタイルにさらに隣接するタイルを、マージンデータ１３１としても良い。
【００３３】
ここで、以下の説明においては、図６に示すように、表示領域１０２のタイルに隣接するタイル（図６において、縦線で示されているタイル）を隣接度１とし、隣接度１のタイルの外側にさらに隣接するタイル（図６において横線で示されているタイル）を隣接度２とする。同様に、隣接度２のタイルの外側に隣接するタイルを隣接度３としてゆく。以下も同様に、隣接度ｎのタイルの外側に隣接するタイルを隣接度ｎ＋１とする。このように、表示領域１０２から遠ざかるにつれ、隣接度が大きくなってゆく。
【００３４】
図２において、隣接度１、隣接度２、および隣接度３のタイルまでを、マージンデータ１３１とすることもできる。同様に、隣接度１乃至隣接度ｎのタイルまでを、マージンデータ１３１とすることもできる。すなわち、マージンデータ１３１として送信するタイルの隣接度は、任意に設定することができる。
【００３５】
マージンデータ１３１が、隣接度のより大きいタイルまでを含むほど、表示装置１１は、ユーザからの表示領域１０２の広範囲な移動にも、すぐに対応することができる。しかし、この場合、画像サーバ１２から表示装置１１に送信するマージンデータ１３１のデータ量が大きくなってしまう。
【００３６】
反対に、マージンデータ１３１が、隣接度の小さいタイルしか含まない場合、画像サーバ１２から表示装置１１に送信するマージンデータ１３１のデータ量を少なく抑えることができる。しかし、表示装置１１は、ユーザにより表示領域１０２の広範囲な移動が指示された場合、表示領域１０２の移動に対応する画像が、マージンデータ１３１に含まれていない可能性が大きくなる。従って、表示装置１１は、表示領域１０２の移動先に対応するタイルを、画像サーバ１２から新たに取得する必要があり、迅速に表示領域１０２の移動に対応することができない。
【００３７】
ところで、図３においては、表示領域１０２と、タイルＴ４３の枠が同一であった場合の例を説明したが、表示領域１０２は、複数のタイルにまたがっている場合もありえる。図７乃至図９にその例を示す。
【００３８】
図７においては、表示領域１０２は、タイルＴ４３とタイルＴ４４の上下２個のタイルにまたがっている。この場合、タイルＴ４３とタイルＴ４４が、表示領域１０２に対応するタイルとされる。また、タイルＴ４３とタイルＴ４４に隣接するタイル、すなわち、タイルＴ３２，Ｔ３３，Ｔ３４，Ｔ３５，Ｔ４２，Ｔ４５，Ｔ５２，Ｔ５３，Ｔ５４，Ｔ５５が、隣接度１のタイルとされる。さらに、隣接度２のタイルは、タイルＴ２１，Ｔ２２，Ｔ２３，Ｔ２４，Ｔ２５，Ｔ２６，Ｔ３１，Ｔ３６，Ｔ４１，Ｔ４６，Ｔ５１，Ｔ５６，Ｔ６１，Ｔ６２，Ｔ６３，Ｔ６４，Ｔ６５，Ｔ６６である。
【００３９】
図８においては、表示領域１０２は、タイルＴ４３とタイルＴ５３の左右２個のタイルにまたがっている。この場合、タイルＴ４３とタイルＴ５３が、表示領域１０２に対応するタイルとされる。また、タイルＴ４３とタイルＴ５３に隣接するタイル、すなわち、タイルＴ３２，Ｔ３３，Ｔ３４，Ｔ４２，Ｔ４４，Ｔ５２，Ｔ５４，Ｔ６２，Ｔ６３，Ｔ６４が、隣接度１のタイルとされる。さらに、隣接度２のタイルは、タイルＴ２１，Ｔ２２，Ｔ２３，Ｔ２４，Ｔ２５，Ｔ３１，Ｔ３５，Ｔ４１，Ｔ４５，Ｔ５１，Ｔ５５，Ｔ６１，Ｔ６５，Ｔ７１，Ｔ７２，Ｔ７３，Ｔ７４，Ｔ７５である。
【００４０】
図９においては、表示領域１０２は、タイルＴ３３，Ｔ３４，Ｔ４３，Ｔ４４の４個のタイルにまたがっている。この場合、タイルＴ３３，Ｔ３４，Ｔ４３，Ｔ４４が、表示領域１０２に対応するタイルとされる。また、タイルＴ３３，Ｔ３４，Ｔ４３，Ｔ４４に隣接するタイル、すなわち、タイルＴ２２，Ｔ２３，Ｔ２４，Ｔ２５，Ｔ３２，Ｔ３５，Ｔ４２，Ｔ４５，Ｔ５２，Ｔ５３，Ｔ５４，Ｔ５５が、隣接度１のタイルとされる。さらに、隣接度２のタイルは、タイルＴ１１，Ｔ１２，Ｔ１３，Ｔ１４，Ｔ１５，Ｔ１６，Ｔ２１，Ｔ２６，Ｔ３１，Ｔ３６，Ｔ４１，Ｔ４６，Ｔ５１，Ｔ５６，Ｔ６１，Ｔ６２，Ｔ６３，Ｔ６４，Ｔ６５，Ｔ６６である。
【００４１】
以上のように、表示領域１０２は、複数のタイルにまたがる場合もある。
【００４２】
ところで、画像サーバ１２は、タイルを、パケット通信により表示装置１１に送信する。画像サーバ１２が、あるタイルを、パケット通信により表示装置１１に送信している場合、ユーザから表示領域１０２の移動が指示されたとき、表示装置１１は、画像サーバ１２に、移動先の表示領域１０２に対応するタイルを要求する。それ以降、画像サーバ１２は、移動先の表示領域１０２に対応するタイルを、表示装置１１に送信する。次に、図１０を参照して、表示装置１１が、画像サーバ１２に移動先の表示領域１０２に対応するタイルを要求し、画像サーバ１２が、表示装置１１に、移動先の表示領域１０２に対応するタイルを送信するまでの処理について説明する。
【００４３】
図１０において、左側から右側に向かって示されている２本の大きな矢印は、時間軸を表している。この平行な２本の矢印のうち、上側の矢印は、画像サーバ１２のパケット送信処理を表し、下側の矢印は、表示装置１１のパケット受信処理を表している。図の左側上部の「画像サーバ」と記載されている直下に、「送信タイル番号」と記載されている。送信タイル番号は、画像サーバ１２から表示装置１１に送信されるタイルの番号のことであり、「送信タイル番号」の右方に、送信されるタイルの番号が示されている。
【００４４】
「送信タイル番号」の記載の直下には、「パケット」と記されている。「パケット」の右方には、四角形内に、番号が記されている。この四角形のそれぞれが、画像サーバ１２が送信するパケットの１つ１つを表している。また、四角形内の番号は、パケットのシーケンス番号を示している。ここで、説明の便宜上、画像サーバ１２は、１タイルを１パケットとして、表示装置１１に送信するものとするが、実際には、１タイルが１パケットであるとは限らない。また、「パケット」の記載の右方の四角形は、４個（例えば、パケットのシーケンス番号１，２，３，４）が１セットとなっている。この１セットのパケットで、１フレーム分のタイルを含んでいる。
【００４５】
図１０の左側の「表示装置」の記載の直下には「パケット」と記されている。四角形内に、番号が記されている。この四角形のそれぞれが、表示装置１１が受信するパケットの１つ１つを表している。また、四角形内の番号は、画像サーバ１２側のパケットのシーケンス番号と対応している。
【００４６】
「パケット」の直下に記されている「表示領域」は、表示装置１１が表示する表示領域１０２に対応するタイルのタイル番号を表している。このタイル番号は、画像サーバ１２側のタイル番号と対応している。「表示領域」の記載の右方には、表示領域１０２に対応するタイル番号（例えば、「２，３」）が示されている。
【００４７】
図１０に示される例においては、表示装置１１は、タイル番号２，３に対応する表示領域１０２を表示しているとする。ステップＳ１において、画像サーバ１２は、表示装置１１に対して、タイル番号１のタイルを、シーケンス番号１のパケットとして、タイル番号２のタイルを、シーケンス番号２のパケットとして、タイル番号３のタイルを、シーケンス番号３のパケットとして、タイル番号４のタイルを、シーケンス番号４のパケットとして、順次、送信する。
【００４８】
ステップＳ２において、画像サーバ１２は、表示装置１１に対して、タイル番号１のタイルを、シーケンス番号５のパケットとして、タイル番号２のタイルを、シーケンス番号６のパケットとして、タイル番号３のタイルを、シーケンス番号７のパケットとして、タイル番号４のタイルを、シーケンス番号８のパケットとして、順次、送信する。
【００４９】
ステップＳ２の処理中、ステップＳ３において、表示装置１１は、操作部２５１（図１４）への、表示領域１０２の移動の指示の入力を受け付ける。図１０の例においては、表示領域１０２に対応するタイルのタイル番号が「２，３」から「３，４」に変更される。
【００５０】
表示装置１１は、ステップＳ３で、ユーザからの指示が入力されたタイミングで、ステップＳ４の処理を実行する。すなわち、表示装置１１は、ステップＳ４において、画像サーバ１２に対して、要求するタイル番号の変更を通知する。なお、図１０の例においては、画像サーバ１２から、表示装置１１に対して、シーケンス番号７のパケットが受信されたタイミングで、表示装置１１は、画像サーバ１２に対して、要求するタイル番号「２，３，４，５」を通知している。
【００５１】
表示装置１１からの、送信するタイルのタイル番号変更の通知を受信した画像サーバ１２は、ステップＳ５において、要求されたタイル番号２，３，４，５のタイルを、表示装置１１に対して送信する。すなわち、画像サーバ１２は、表示装置１１に対して、タイル番号２のタイルを、シーケンス番号９のパケットとして、タイル番号３のタイルを、シーケンス番号１０のパケットとして、タイル番号４のタイルを、シーケンス番号１１のパケットとして、タイル番号５のタイルを、シーケンス番号１２のパケットとして、順次、送信する。
【００５２】
画像サーバ１２は、表示装置１１から、要求するタイル番号の変更が通知されない限り、同様のタイル番号２，３，４，５のタイルを、表示装置１１に送信する。例えば、ステップＳ５の後、ステップＳ６において、画像サーバ１１は、表示装置１１に対して、タイル番号２のタイルを、シーケンス番号１３のパケットとして、タイル番号３のタイルを、シーケンス番号１４のパケットとして、タイル番号４のタイルを、シーケンス番号１５のパケットとして、タイル番号５のタイルを、シーケンス番号１６のパケットとして、順次、送信する。
【００５３】
以上のようにして、画像サーバ１２から、表示装置１１に対して、タイルがパケットとして送信される。
【００５４】
ところで、例えば、ネットワーク１０の輻輳により、画像サーバ１２から表示装置１１に送信中のパケットが欠落した場合、欠落したパケットが、表示領域１０２に対応するタイルを含んでいる場合、表示装置１１は、欠落したパケットの再送を画像サーバ１２に要求する。この場合の例を、図１１に示す。
【００５５】
なお、図１１においては、１つのタイルにつき、２つの階層で符号化されている画像の場合の例が示されている。すなわち、画像サーバ１２は、画像を分割した各タイルを、さらに低域のデータと高域のデータとに分離して、それぞれのデータ毎に１つのパケットを作成して、パケットを表示装置１１に送信する。１つのタイル分の高域データと低域データをそれぞれ格納する２つのパケットのうち、シーケンス番号が小さいパケットに低域データが含まれ、シーケンス番号が大きいパケットに高域データが含まれているものとする。なお、低域データは、それ自体で低解像度の画像を再現させることが可能なデータであり、高域データは、低域データをより高解像度にして表示させるためのデータである。
【００５６】
図１１において、左側から右側に向かって示されている３本の大きな矢印は、時間軸を表している。この平行な２本の矢印のうち、上側の矢印は、画像サーバ１２のパケット送信処理を表し、中央の矢印は、表示装置１１の、パケット受信処理を表している。下側の矢印は、表示装置１１の、画像表示処理を表している。図の左側上部の「画像サーバ」と記載されている直下に、「送信タイル番号」と記載されている。送信タイル番号は、画像サーバ１２から表示装置１１に送信されるタイルの番号のことであり、「送信タイル番号」の右方に、送信されるタイルの番号が示されている。
【００５７】
「送信タイル番号」の記載の直下には、「パケット」と記されている。「パケット」の右方には、四角形内に、番号が記されている。この四角形のそれぞれが、画像サーバ１２が送信するパケットの１つ１つを表している。また、四角形内の番号は、パケットのシーケンス番号を示している。ここで、先にも説明した通り、画像サーバ１２は、１タイルを高域データと低域データの２つのデータに分離し、各データをそれぞれ１パケットとして、表示装置１１に送信する。その際、１つのタイル分の高域データと低域データをそれぞれ格納する２つのパケットのうち、シーケンス番号が小さいパケットに低域データが含まれ、シーケンス番号が大きいパケットに高域データが含まれている。例えば、図１１のシーケンス番号１およびシーケンス番号２のパケットに、１つ分のタイルに対応するデータが格納され、シーケンス番号１のパケットに低域データが格納され、シーケンス番号２のパケットに高域データが格納される。
【００５８】
また、「パケット」の記載の右方の四角形は、８個（例えば、パケットのシーケンス番号１，２，３，４，５，６，７，８）が１セットとなっている。これは、４個分のタイルに相当する。例えば、シーケンス番号１とシーケンス番号２のパケットで、１つ分のタイル（タイル番号１のタイル）のデータを格納し、シーケンス番号３とシーケンス番号４のパケットで、１つ分のタイル（タイル番号２のタイル）のデータを格納し、シーケンス番号５とシーケンス番号６のパケットで、１つ分のタイル（タイル番号３のタイル）のデータを格納し、シーケンス番号７とシーケンス番号８のパケットで、１つ分のタイル（タイル番号４のタイル）のデータを格納する。この１セット、８個のパケットで、１フレーム分のタイルを含んでいる。
【００５９】
図１０の左側の「表示装置」の記載の直下には「パケット」と記されている。四角形内に、番号が記されている。この四角形のそれぞれが、表示装置１１が受信するパケットの１つ１つを表している。また、四角形内の番号は、画像サーバ１２側のパケットのシーケンス番号と対応している。
【００６０】
「パケット」の直下に記されている「表示領域」は、表示装置１１が表示する表示領域１０２に対応するタイルのタイル番号を表している。このタイル番号は、画像サーバ１２側のタイル番号と対応している。「表示領域」の記載の右方には、表示領域１０２に対応するタイル番号（例えば、「２，３」）が示されている。
【００６１】
さらに、図１１の１番下の時間軸、すなわち、表示装置１１の画像表示処理を示す時間軸上に示されている四角形のそれぞれは、１つのパケットを表している。四角形内の番号は、画像サーバ１２側のパケットのシーケンス番号と対応している。
【００６２】
ステップＳ２１において、画像サーバ１２は、表示装置１１に対して、タイル番号１のタイルのうち、低域データを、シーケンス番号１のパケットとして、タイル番号１のタイルのうち、高域データを、シーケンス番号２のパケットとして、タイル番号２のタイルのうち、低域データを、シーケンス番号３のパケットとして、タイル番号２のタイルのうち高域データを、シーケンス番号４のパケットとして、タイル番号３のタイルのうち、低域データを、シーケンス番号５のパケットとして、タイル番号３のタイルのうち、高域データを、シーケンス番号６のパケットとして、タイル番号４のタイルのうち、低域データを、シーケンス番号７のパケットとして、タイル番号４のタイルのうち、高域データを、シーケンス番号８のパケットとして、順次、送信する。
【００６３】
表示装置１１は、ステップＳ２１で画像サーバ１２が送信したパケットを受信してゆくが、図１１に示されるように、シーケンス番号５のパケットが、受信されなかったとする。シーケンス番号５のパケットには、表示領域１０２のタイル（タイル番号３のタイル）の低域データが格納されている。従って、このパケットがない場合、表示装置１１は、表示領域１０２の画像を表示させることができなくなる。そこで、ステップＳ２２において、表示装置１１は、シーケンス番号５のパケットを再送するように、画像サーバ１２に要求する。
【００６４】
表示装置１１からの再送要求を受信した画像サーバ１２は、ステップＳ２３において、再度、シーケンス番号５のパケットのみを、表示装置１１に送信する。シーケンス番号５のパケットは、表示装置１１に受信され記憶される。
【００６５】
次に、予め設定された所定のタイミングで、ステップＳ２４において、画像サーバ１２は、表示装置１１に対して、タイル番号１のタイルのうち、低域データを、シーケンス番号９のパケットとして、タイル番号１のタイルのうち、高域データを、シーケンス番号１０のパケットとして、タイル番号２のタイルのうち、低域データを、シーケンス番号１１のパケットとして、タイル番号２のタイルのうち高域データを、シーケンス番号１２のパケットとして、タイル番号３のタイルのうち、低域データを、シーケンス番号１３のパケットとして、タイル番号３のタイルのうち、高域データを、シーケンス番号１４のパケットとして、タイル番号４のタイルのうち、低域データを、シーケンス番号１５のパケットとして、タイル番号４のタイルのうち、高域データを、シーケンス番号１６のパケットとして、順次、送信する。
【００６６】
表示装置１１は、ステップＳ２４で画像サーバ１２が送信したパケットを受信してゆくが、図１１に示されるように、シーケンス番号１３，１４の２つのパケットが、受信されなかったとする。シーケンス番号１３およびシーケンス番号１４のパケットには、それぞれ、表示領域１０２のタイル（タイル番号３のタイル）の低域データおよび高域データが格納されている。従って、このパケットがない場合、表示装置１１は、表示領域１０２の画像を表示させることができなくなる。そこで、ステップＳ２５において、表示装置１１は、シーケンス番号５のパケットを再送するように、画像サーバ１２に要求する。
【００６７】
表示装置１１からの再送要求を受信した画像サーバ１２は、ステップＳ２６において、再度、シーケンス番号１３およびシーケンス番号１４のパケットを、表示装置１１に送信する。シーケンス番号１３およびシーケンス番号１４のパケットは、表示装置１１に受信され記憶される。
【００６８】
以上のようにして、表示装置１１は、表示領域１０２に対応するタイルのデータ（低域データおよび高域データのうち、少なくともいずれか片方のデータ）が欠落した場合、そのタイルの再送を画像サーバ１２に要求する。
【００６９】
ところで、図１１の１番下の時間軸に示されている画像の表示処理のタイミングについて説明する。ステップＳ３１において、表示装置１１は、ステップＳ２１で画像サーバ１２から受信したシーケンス番号１乃至４、およびシーケンス番号６乃至８のパケット、並びに、ステップＳ２３で受信したシーケンス番号５のパケットをバッファリングしておき、これらのパケットに格納されている１フレーム分の画像データの表示のタイミングになったとき、ステップＳ３２において、表示装置１１は、シーケンス番号１乃至８に格納されている１フレーム分の画像データを読み出し、表示領域１０２に対応する画像を表示させる。
【００７０】
ところで、画像サーバ１２から表示装置１１への送信中に、欠落したパケットが、表示領域１０２に対応するタイルのデータでは無かった場合、表示装置１１は、ネットワーク１０の輻輳の程度、および欠落パケットに格納されていたタイルの、表示領域１０２に対応するタイルとの隣接度を考慮して、再送を要求するか否かを判定する。また、画像サーバ１２から表示装置１１への送信中に、欠落したパケットが、表示領域１０２に対応するタイルのデータでは無かった場合、表示装置１１は、欠落パケットに格納されているデータの種類（高域データなのか低域データなのか）を考慮して、再送を要求するか否かを判定する。
【００７１】
図１２においては、画像サーバ１２は、表示装置１１に対して、図１１と同様にパケットを送信する。すなわち、ステップＳ５１において、画像サーバ１２は、表示装置１１に対して、タイル番号１のタイルのうち、低域データを、シーケンス番号１のパケットとして、タイル番号１のタイルのうち、高域データを、シーケンス番号２のパケットとして、タイル番号２のタイルのうち、低域データを、シーケンス番号３のパケットとして、タイル番号２のタイルのうち高域データを、シーケンス番号４のパケットとして、タイル番号３のタイルのうち、低域データを、シーケンス番号５のパケットとして、タイル番号３のタイルのうち、高域データを、シーケンス番号６のパケットとして、タイル番号４のタイルのうち、低域データを、シーケンス番号７のパケットとして、タイル番号４のタイルのうち、高域データを、シーケンス番号８のパケットとして、順次、送信する。
【００７２】
図１１の場合、表示領域１０２に対応するタイルが格納されているパケットが欠落していたが、図１２においては、表示領域１０２に対応していないタイルが格納されているパケットが欠落している。すなわち、画像サーバ１２がステップＳ５１で表示装置１１に送信したパケットのうち、シーケンス番号２のパケットのデータ（表示領域１０２には対応していないタイルの高域データ）が欠落している。
【００７３】
この場合、表示装置１１は、画像サーバ１２に対して再送を要求しないが、シーケンス番号７のパケットのデータ（表示領域１０２に対応していないタイルの低域データ）が欠落した場合、表示装置１１は、ステップＳ５２において、画像サーバ１２に対して再送を要求する。すなわち、欠落したパケットに含まれているデータが、表示領域１０２に対応していないタイルのデータである場合、表示装置１１は、欠落したパケットが高域データを含んでいるとき、画像サーバ１２に再送を要求せず、欠落したパケットが低域データを含んでいるとき、表示装置１１は、画像サーバ１２に再送を要求する。このようにすることにより、ユーザが表示領域１０２を変更する場合、変更後の表示領域１０２に対応するタイルの低域データだけは、少なくとも確保することができる。従って、表示装置１１は、低解像度である場合もあるが、表示領域１０２に対応する画像を表示させることが可能となる。
【００７４】
ステップＳ５３において、画像サーバ１２は、要求されたパケット（シーケンス番号７のパケット）を表示装置１１に再送する。ただし、先にも説明したように、ネットワークが輻輳していた場合、表示装置１１は、欠落パケットが、低域データを格納しているパケットであったとしても、画像サーバ１２に再送を要求しない。
【００７５】
すなわち、ステップＳ５４において、画像サーバ１２は、表示装置１１に対して、シーケンス番号９乃至１６のパケットを送信しているが、そのうちシーケンス番号１５のパケットが欠落パケットとなってしまったとする。この欠落パケットは、表示領域１０２ではないタイルの低域データである。しかしながら、ネットワークが輻輳していた場合、表示装置１１は、画像サーバ１２に対して、シーケンス番号１５のパケットの再送を要求しない。
【００７６】
このようにすることにより、ネットワーク１０の輻輳を増大させることを防ぐことができる。
【００７７】
次に、図１３は、画像サーバ１２の内部の構成例を示している。図１３において、操作部２０１は、画像サーバ１２の管理者の操作の入力を受け付け、入力された操作に対応する操作情報を制御部２０２に送信する。制御部２０２は、操作部２０１から受信した操作情報、および予め設定されたプログラムに従って、画像サーバ１２内の各部の動作を制御する。
【００７８】
エンコーダ２０３は、カメラ１３により取り込まれている画像を、キャプチャする。そして、エンコーダ２０３は、キャプチャした画像データを、例えばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）２０００によりエンコードし、エンコードした画像データをバッファ２０４に供給する。バッファ２０４は、エンコーダ２０３から供給された画像データを記憶し、所定のタイミングで、記憶している画像データを画像切り出し部２０６に供給する。
【００７９】
視点座標保持部２０５は、表示装置１１から通信部２０９により受信された要求タイルを記憶し、所定のタイミングで、記憶している要求タイル番号を画像切り出し部２０６に供給する。画像切り出し部２０６は、バッファ２０４から画像データを取得し、この画像データを分割してタイルを作成する。そして、視点座標保持部２０５から供給された要求タイル番号に対応するタイルをＲＴＰ（Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）パケット作成部２０７に供給する。
【００８０】
ＲＴＰパケット作成部２０７は、画像切り出し部２０６から供給されたタイルを、格納したＲＴＰパケットを作成し、送信バッファ２０８に記憶させると共に、送信バッファ２０８内においてＲＴＰパケットが記憶されているアドレスを、バッファインデックス２１２に供給する。ここで、ＲＴＰパケットとは、映像や音声の配信のようなリアルタイム性が要求されるデータストリーム転送のためのリアルタイム転送プロトコル（ＲＴＰ）に準じて作成されたパケットである。なお、リアルタイム転送プロトコルは、ＲＦＣ１８８９において規定されている。
【００８１】
送信バッファ２０８は、ＲＴＰパケット作成部２０７から供給されたパケットを記憶し、所定のタイミングで、記憶したパケットを通信部２０９に供給する。
【００８２】
通信部２０９は、送信バッファ２０８から供給されたパケットを、ネットワーク１０を介して、表示装置１１に送信する。また、通信部２０９は、ネットワーク１０を介して、表示装置１１より再送（欠落したパケットの再度の送信）要求を受信し、この要求内容をＡＲＱエンジン２１１に供給する。また、通信部２０９は、ネットワーク１０を介して、表示装置１１より要求タイルの変更の通知を受信し、この通知内容を視点座標保持部２０５に供給する。また、通信部２０９は、ネットワーク１０を介して、表示装置１１よりＲＴＣＰ（ＲＴＰ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）レシーバレポートを受信し、これを記憶部２１０に供給し、記憶させる。
【００８３】
ＡＲＱエンジン２１１は、通信部２０９から供給された再送要求に基づいて、バッファインデックス２１２内を検索し、再送を要求されたパケットが送信バッファ２０８に記憶されているか否かを判定する。そして、再送を要求されたパケットが送信バッファ２０８に記憶されていた場合、送信バッファ２０８からそのパケットを通信部２０９に供給し、ネットワーク１０を介して、表示装置１１に送信させる。
【００８４】
バッファインデックス２１２は、ＲＴＰパケット作成部２０７がパケットを記憶させた送信バッファ２０８内のアドレスを記憶する。
【００８５】
次に、図１４は、表示装置１１の内部の構成例を示している。図１４において、操作部２５１は、表示装置１１のユーザの操作の入力を受け付け、入力された操作に対応する操作情報を制御部２５２に送信する。また、操作部２５１は、ユーザにより入力された表示領域１０２の変更に関する操作情報を、表示タイル番号設定部２５３に供給する。また、操作部２５１は、マージンデータ１３１の範囲の変更に関する操作が入力された場合、その操作情報を、マージン設定部２５４に供給する。制御部２５２は、操作部２５１から受信した操作情報、および予め設定されたプログラムに従って、表示装置１１内の各部の動作を制御する。
【００８６】
表示タイル番号設定部２５３は、操作部２５１より供給された表示領域１０２の変更に関する操作情報に従って、表示領域１０２に対応するタイルのタイル番号を特定し、そのタイル番号を保持する。また、表示タイル番号設定部２５３は、特定したタイル番号をマージン設定部２５４、通信部２５５、およびＡＲＱエンジン２６０に供給する。
【００８７】
マージン設定部２５４は、操作部２５１より供給されたマージンデータ１３１の範囲の変更に関する操作情報、および表示タイル番号設定部２５３より供給された、表示領域１０２に対応するタイルのタイル番号に従ってマージンデータ１３１に対応するタイルのタイル番号を特定し、そのタイル番号を保持する。そして、マージン設定部２５４は、保持しているタイル番号を、通信部２５５に供給する。
【００８８】
通信部２５５は、ネットワーク１０を介して、画像サーバ１２より、ＲＴＰパケットを受信し、このＲＴＰパケットをバッファ２５６に供給する。また、通信部２５５は、表示タイル番号設定部２５３から表示領域１０２に対応するタイルのタイル番号を供給され、マージン設定部２５４からマージンデータ１３１のタイル番号を供給され、これらのタイル番号を、ネットワーク１０を介して画像サーバ１２に送信する。また、通信部２５５は、ＡＲＱエンジン２６０からの再送要求を、ネットワーク１０を介して、画像サーバ１２に送信する。
【００８９】
バッファ２５６は、通信部２５５から供給されたＲＴＰパケットを記憶し、所定のタイミングで、ＲＴＰパケットをデコーダ２５７に供給する。また、バッファ２５６内においてＲＴＰパケットが記憶されたアドレスをＡＲＱエンジン２６０に供給する。
【００９０】
デコーダ２５７は、バッファ２５６から供給されたＲＴＰパケット内のタイルのデータ（低域データ、および高域データ）をデコードし、表示制御部２５８に供給する。表示制御部２５８は、デコーダ２５７から供給された画像データの中から表示領域１０２の範囲を切り出して、ディスプレイ２５９に表示させる。ディスプレイ２５９は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、またはＣＲＴ（ＣａｔｈｏｄｅＲａｙ Ｔｕｂｅ）などよりなり、表示制御部２５８から供給された画像データを表示する。
【００９１】
ＡＲＱエンジン２６０は、バッファ２５６に記憶されたＲＴＰパケットのシーケンス番号に基づいて、バッファ２５６においてＲＴＰパケットが記憶されているアドレスをバッファインデックス２６１に供給し、記憶させる。また、ＡＲＱエンジン２６０は、受信したＲＴＰパケットの喪失率を演算する。また、ＡＲＱエンジン２６０は、バッファ２５６に記憶されたＲＴＰパケットのシーケンス番号に基づいて、欠落パケットの有無を判定する。欠落パケットがあった場合、ＡＲＱエンジン２６０は、そのＲＴＰパケットは、再送を要求するべきＲＴＰパケットであるのか否かを、表示タイル番号設定部２５３から供給されたタイル番号に基づいて、判定する。そして、再送を要求すべきＲＴＰパケットであると判定した場合、ＡＲＱエンジン２６０は、再送要求を、通信部２５５に供給する。
【００９２】
次に、図１５および図１６のフローチャートを参照して、表示装置１１の表示処理について説明する。また、図１７および図１８を参照して、画像サーバ１２の、画像データ送信処理について説明する。なお、表示装置１１と画像サーバ１２間の通信は、ネットワーク１０を介して行われる。以下の説明において、ネットワーク１０を介する旨の説明は省略する。
【００９３】
図１５のステップＳ２０１において、表示装置１１の制御部２５２は、操作部２５１からの操作情報に基づいて、ユーザにより画像の視聴が指示されるまで待機し、画像の視聴が指示されたとき、ステップＳ２０２に進む。
【００９４】
ステップＳ２０２において、制御部２５２からの指示により、表示装置１１の通信部２５５は、画像サーバ１２に画像の送信を要求する。
【００９５】
画像サーバ１２の制御部２０２は、図１７のステップＳ２５１において、表示装置１１より画像の視聴要求を受信するまで待機し、表示装置１１がステップＳ２０２で送信した画像の視聴要求を受信したとき、ステップＳ２５２に進む。
【００９６】
ステップＳ２５２において、画像サーバ１２の通信部２０９は、制御部２０２からの指示に従って、表示装置１１にパケット構成を通知する。
【００９７】
図１５のステップＳ２０３において、表示装置１１の通信部２５５は、画像サーバ１２がステップＳ２０３で送信したパケット構成に関する通知を受信する。パケット構成に関する通知の例を以下に示す。
【００９８】
ＯＰＴＩＯＮＳ ｒｔｓｐ：／／１０．０．１．１／ｐｉｃ．ｍｊ２ ＲＴＳＰ／１．０
ＣＳｅｑ： １
Ｐｉｃ−ｉｎｆｏ： ｈｉ １ ｌｏｗ １
【００９９】
この例では、３行目の「Ｐｉｃ−ｉｎｆｏ： ｈｉ １ ｌｏｗ １」が、高域データが１パケットに格納され、低域データが１パケットに格納されることを示している（すなわち、１タイル２パケット）。
【０１００】
ステップＳ２０４において、表示装置１１の通信部２５５は、制御部２５２からの指示により、画像サーバ１２に対して、パケット構成を了解した旨を通知する。以下に、パケット構成を了解した旨の通知の例を示す。
【０１０１】
ＲＴＳＰ／１．０ ２００ ＯＫ
ＣＳｅｑ： １
【０１０２】
ステップＳ２０３およびステップＳ２０４の処理は、例えば、ＲＦＣ２３２６で定義されているＲＴＳＰ（ＲｅａｌＴｉｍｅ Ｓｔｒｅａｍｉｎｇ Ｐｒｏｔｏｃｏｌ）のＯＰＴＩＯＮＳメソッドを用いればよい。
【０１０３】
図１７のステップＳ２５３において、画像サーバ１２の通信部２０９は、表示装置１１がステップＳ２０４で送信した、パケット構成を了解した旨の通知を受信する。
【０１０４】
ステップＳ２５４において、画像サーバ１２の制御部２０２は、バッファインデックス２１２を初期化し、これ以降表示装置１１に送信するＲＴＰパケットの、送信バッファ２０８内において記憶されているアドレスを記憶する領域を確保する。
【０１０５】
図１７のステップＳ２５５において、画像サーバ１２のエンコーダ２０３は、制御部２０２からの指示により、カメラ１３により撮影されている画像をキャプチャし、さらにキャプチャした画像データをエンコードする。そして、ステップＳ２５６において、エンコーダ２０３は、ステップＳ２５５でエンコードした画像データをバッファ２０４に記憶させる。
【０１０６】
ステップＳ２５７において、画像サーバ１２の制御部２０２は、ステップＳ２５６でバッファ２０４に記憶させた画像を送信する時刻になるまで待機し、送信時刻になったとき、処理は図１８のステップＳ２５８に進む。
【０１０７】
図１８のステップＳ２５８において、画像サーバ１２の画像切り出し部２０６は、制御部２０２からの指示により、視点座標保持部２０５に保持されているタイル番号を読み出す。視点座標保持部２０５に保持されているタイル番号のデータベースの例を図１９に示す。
【０１０８】
図１９に示されているように、タイル番号のデータベースには、表示装置１１−１乃至１１−ｎにより要求されているタイル番号が、ユーザＩＤにより識別されて記録されている。
【０１０９】
ステップＳ２５９において、画像サーバ１２の画像切り出し部２０６は、制御部２０２からの指示により、ステップＳ２５８で読み出したタイル番号に基づいて、バッファ２０４に記憶された画像データの中から、送信するタイルを切り出す。
【０１１０】
ステップＳ２６０において、画像サーバ１２のＲＴＰパケット作成部２０７は、ステップＳ２５９で画像切り出し部２０６が切り出したタイルを、画像切り出し部２０６より供給され、供給されたタイルのデータを含むＲＴＰパケットを作成する。なお、この例においては、ステップＳ２５２において、１つのタイルを高域データと低域データに分離し、それぞれをＲＴＰパケットに格納するというパケット構成を、表示装置１１に通知したので、その構成にしたがって、１つのタイルを高域データと低域データに分離し、それぞれをＲＴＰパケットに格納する。
【０１１１】
ステップＳ２６１において、画像サーバ１２のＲＴＰパケット作成部２０７は、ステップＳ２６０で作成したＲＴＰパケットを送信バッファ２０８に記憶させる。ステップＳ２６２において、ＲＴＰパケット作成部２０７は、ステップＳ２６１でＲＴＰパケットを記憶させた送信バッファ２０８内のアドレスをバッファインデックス２１２に記憶させる。図２０に示されるように、バッファインデックス２１２には、送信バッファ２０８に記憶させたＲＴＰパケットのシーケンス番号と、そのＲＴＰパケットが記憶された送信バッファ２０８内のアドレスが対応付けて記憶されている。図２０においては、左側の列に、シーケンス番号（上から順番に１，２，３，４，・・・）が示され、右側の列に、ＲＴＰパケットが記憶されたアドレスが示されている。
【０１１２】
ステップＳ２６３において、画像サーバ１２の通信部２０９は、制御部２０２からの指示に従って、ステップＳ２６１で送信バッファ２０８に記憶させたＲＴＰパケットを、表示装置１１に送信する。
【０１１３】
図１５のステップＳ２０５において、表示装置１１の通信部２５５は、画像サーバ１２より、ＲＴＰパケットを受信し、ステップＳ２０６において、制御部２５２は、ステップＳ２０５で通信部２５５により受信されたＲＴＰパケットを、バッファ２５６に記憶させる。このとき、ＡＲＱエンジン２６０は、バッファ２５６においてＲＴＰパケットが記憶されているバッファ２５６内のアドレスをバッファインデックス２６１に記憶させる。
【０１１４】
図１５のステップＳ２０７において、表示装置１１の通信部２５５は、制御部２５２からの指示に従って、画像サーバ１２に、ＲＴＣＰレシーバレポートを送信する。この際、ＡＲＱエンジン２６０は、パケット喪失率を算出し、算出したパケット喪失率を含むＲＴＣＰレシーバレポートを作成する。通信部２５５は、ＡＲＱエンジン２６０により作成されたＲＴＣＰレシーバレポートを画像サーバ１２に送信する。
【０１１５】
図１８のステップＳ２６５において、画像サーバ１２の通信部２０９は、表示装置１１がステップＳ２０７で送信したＲＴＣＰレシーバレポートを受信する。ＲＴＣＰレシーバレポートの例を、図２１に示す。図２１は、ＲＴＣＰレシーバレポートのフォーマットを示す図である。なお、ＲＴＣＰ Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃは、ＲＦＣ（Ｒｅｑｕｅｓｔ Ｆｏｒ Ｃｏｍｍｅｎｔｓ）１８８９に定義されている。
【０１１６】
図２１のＲＴＣＰレシーバレポートにおいて、１番上の段の１番左側から右に向かって、バージョン番号（ｖ）、パディング（ｐ）、ペイロードタイプ（Ｐｔ＝２０１）、メッセージ長が記録されている。上から２段目には、送信者の同期ソース識別子（ＳＳＲＣ）が記録されている。上から３段目には、左からパケット損失率、および累計喪失パケット数が記録されている。上から４段目には、最大受信シーケンス番号が記録されている。上から５段目には、パケット間隔ジッタが記録されている。上から６段目には、最新送信レポート時刻が記録されている。１番下の段には、送信レポート経過時間が記録されている。
【０１１７】
制御部２０２は、受信されたＲＴＣＰレシーバレポートを、記憶部２１０に記憶させる。
【０１１８】
図１５のステップＳ２０８において、表示装置１１の制御部２５２は、再送要求処理を実行する。ここで、表示装置１１の再送要求処理について、図２２のフローチャートを参照して説明する。
【０１１９】
表示装置１１の制御部２５２は、ステップＳ３０１において、図１５のステップＳ２０６でバッファ２５６に記憶させたＲＴＰパケットのシーケンス番号と、ＲＴＰパケットを記憶させたバッファ２５６内のアドレスを対応付けて、バッファインデックス２６１に記憶させる。図２３は、バッファインデックス２６１に記憶されたシーケンス番号とアドレスの例を示している。図２３において、左側の列にシーケンス番号（上から順番に１，２，４，５，・・・）が示され、右側の列にバッファ２５６内のアドレスが示されている。
【０１２０】
ステップＳ３０２において、ＡＲＱエンジン２６０は、制御部２５２からの指示に従って、図１５のステップＳ２０６でバッファ２５６に記憶させたＲＴＰパケットのシーケンス番号を検索し、欠落パケットがあるか否かを判定する。すなわち、画像サーバ１２から送信されてくるＲＴＰパケットには、連続したシーケンス番号が振られている。従って、１部のＲＴＰパケットが欠落した場合、そのシーケンス番号がなくなってしまう。ＡＲＱエンジン２６０は、シーケンス番号に基づいて、欠落パケットの有無を判定する。図２３の例においては、シーケンス番号３のＲＴＰパケットが欠落している。
【０１２１】
その結果、ステップＳ３０２において、ＡＲＱエンジン２６０が欠落パケットがあると判定した場合、処理はステップＳ３０３に進む。ステップＳ３０２において、ＡＲＱエンジン２６０が欠落パケットはないと判定した場合、ステップＳ３０３乃至ステップＳ３０９の処理はスキップされ、再送要求処理を終了し、処理は図１６のステップＳ２０９に進む。
【０１２２】
ステップＳ３０３において、ＡＲＱエンジン２６０は、欠落パケットのシーケンス番号を取得する。図２３の例においては、シーケンス番号３が抜けているので、ＡＲＱエンジン２６０は、シーケンス番号３を取得する。
【０１２３】
ステップＳ３０４において、ＡＲＱエンジン２６０は、まず、表示タイル番号設定部２５３から、表示領域１０２に対応するタイルのタイル番号を取得する。ＡＲＱエンジン２６０は、次に、欠落パケットに含まれているはずのデータに対応するタイルを特定する。次に、ＡＲＱエンジン２６０は、欠落パケットに含まれているはずのデータに対応するタイルが、表示領域１０２に対応するタイルと同一であるか否かを判定することにより、欠落パケットが表示領域１０２に対応するタイルのデータを含んでいるか否かを判定し、欠落パケットが、表示領域１０２に対応するタイルのデータを含んでいない場合、処理はステップＳ３０５に進む。
【０１２４】
ステップＳ３０４において、ＡＲＱエンジン２６０が、欠落パケットが、表示領域１０２に対応するタイルのデータを含んでいると判定した場合、ステップＳ３０５乃至ステップＳ３０８の処理はスキップされ、処理はステップＳ３０９に進む。
【０１２５】
ステップＳ３０５において、ＡＲＱエンジン２６０は、欠落パケットの隣接度を演算する。
【０１２６】
ステップＳ３０６において、ＡＲＱエンジン２６０は、ステップＳ３０５で演算した隣接度が、予め設定されている値ｎ（例えば、ｎ＝１）より大きいか否かを判定し、ステップＳ３０５で演算した隣接度が、ｎより大きい場合、処理はステップＳ３０７に進む。ステップＳ３０６において、ＡＲＱエンジン２６０が、ステップＳ３０５で演算した隣接度が、予め設定されている値ｎより大きくないと判定した場合、ステップＳ３０７の処理はスキップされ、処理はステップＳ３０８に進む。
【０１２７】
ステップＳ３０７において、ＡＲＱエンジン２６０は、欠落パケットは低域データを格納したＲＴＰパケットであるか否かを判定し、欠落パケットが低域データを格納したＲＴＰパケットである場合、処理はステップＳ３０８に進む。ステップＳ３０７において、ＡＲＱエンジン２６０が、欠落パケットは低域データを格納したＲＴＰパケットではない、すなわち、欠落パケットは高域データを格納したＲＴＰパケットであると判定した場合、ステップＳ３０８およびステップＳ３０９の処理はスキップされ、再送要求処理を終了し、処理は図１６のステップＳ２０９に進む。
【０１２８】
ステップＳ３０８において、ＡＲＱエンジン２６０は、ステップＳ２０７でＲＴＣＰレシーバレポートを作成する際に演算したパケット喪失率に基づいて、ネットワーク１０が、所定の基準値より輻輳しているか否かを判定し、ネットワーク１０が所定の基準値より輻輳していない場合、処理はステップＳ３０９に進む。
【０１２９】
なお、所定の基準値は、例えば、パケット喪失率１０パーセントとされる。すなわち、ＡＲＱエンジン２６０は、パケット喪失率が１０パーセント未満の場合、ネットワーク１０は輻輳していないと判定し、パケット喪失率が１０パーセント以上の場合、ネットワーク１０は輻輳していると判定する。
【０１３０】
ステップＳ３０８において、ＡＲＱエンジン２６０がネットワーク１０は、所定の基準値より輻輳していると判定した場合、ステップＳ３０９の処理はスキップされ、再送要求処理を終了し、処理は図１６のステップＳ２０９に進む。
【０１３１】
ステップＳ３０９において、ＡＲＱエンジン２６０は、通信部２５５を介して、画像サーバ１２に対して、欠落パケットの再送を要求する。図２４は、再送要求のフォーマットの例を示している。図２４は、ＲＴＣＰ Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃのフォーマットを表している。なお、ＲＴＣＰ Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃは、ＲＦＣ１８８９に定義されている。
【０１３２】
図２４において、１番上の段には、左側から右側に向かって順番に、バージョン番号（ｖ）、パディング（ｐ）、パケットタイプ（ＰＴ＝２０６）、メッセージ長が記録されている。上から２段目には、送信者の同期ソース識別子（ＳＳＲＣ）が記録されている。上から３段目には、アプリケーション名が記録されている。上から４段目には、データ、すなわち、再送を要求するＲＴＰパケットのシーケンス番号が記録されている。
【０１３３】
ここで、表示装置１１が図２２のステップＳ３０９で送信した欠落パケットの再送要求を受信する画像サーバ１２の処理について、図２５のフローチャートを参照して説明する。ステップＳ３５１において、画像サーバ１２の制御部２０２は、通信部２０９を介して、表示装置１１より再送要求を受信したか否かを判定し、表示装置１１より再送要求を受信するまで待機する。そして、表示装置１１より再送要求を受信した場合、処理はステップＳ３５２に進む。
【０１３４】
ステップＳ３５２において、制御部２０２からの指示により、ＡＲＱエンジン２１１は、表示装置１１により要求されたＲＴＰパケットが送信バッファ２０８に記憶されているか否かを判定し、表示装置１１により要求されたＲＴＰパケットが送信バッファ２０８に記憶されている場合、処理はステップＳ３５３に進む。なお、表示装置１１により要求されたＲＴＰパケットが送信バッファ２０８に記憶されているか否かの判定には、バッファインデックス２１２に記憶されているデータが利用される。
【０１３５】
すなわち、先に説明したように、バッファインデックス２１２には、図２０に示されるように、送信バッファ２０８に記憶されているＲＴＰパケットのシーケンス番号とアドレスが記憶されている。そこで、ＡＲＱエンジン２１１は、バッファインデックス２１２に記憶されたシーケンス番号に基づいて、再送を要求されているＲＴＰパケットのシーケンス番号と同一のシーケンス番号がバッファインデックス２１２に記憶されているか否かを判定する。
【０１３６】
そして、再送を要求されているＲＴＰパケットのシーケンス番号と同一のシーケンス番号がバッファインデックス２１２に記憶されていた場合、ＡＲＱエンジン２１１は、表示装置１１により要求されたＲＴＰパケットが送信バッファ２０８に記憶されていると判定する。その場合、処理はステップＳ３５３に進む。一方、再送を要求されているＲＴＰパケットのシーケンス番号と同一のシーケンス番号がバッファインデックス２１２に記憶されていなかった場合、ＡＲＱエンジン２１１は、表示装置１１により要求されたＲＴＰパケットが送信バッファ２０８に記憶されていないと判定する。その場合、処理はステップＳ３５１に戻り、ステップＳ３５１以降の処理が繰り返される。
【０１３７】
ステップＳ３５３において、画像サーバ１２のＡＲＱエンジン２１１は、送信バッファ２０８より、表示装置１１により要求されたＲＴＰパケットを読み出し、このＲＴＰパケットを、通信部２０９を介して表示装置１１に送信する。すなわち、ＡＲＱエンジン２１１は、まず、バッファインデックス２１２より、再送を要求されているＲＴＰパケットのシーケンス番号と同一のシーケンス番号と対応付けられて記憶されているアドレスを読み出す。次に、ＡＲＱエンジン２１１は、読み出したアドレスに基づいて、送信バッファ２０８内の、読み出したアドレスに記憶されているＲＴＰパケットを読み出す。次に、ＡＲＱエンジン２１１は、読み出したＲＴＰパケットを、通信部２０９を介して、表示装置１１に送信する。その後、処理はステップＳ３５１に戻る。
【０１３８】
以上で、画像サーバ１２の再送処理の説明を終了する。
【０１３９】
図１５に戻って、ステップＳ２０８の再送要求処理が終了した後、処理は図１６のステップＳ２０９に進む。ステップＳ２０９において、表示装置１１の制御部２５２は、画像を表示させるタイミングになるまで待機し、画像を表示させるタイミングになったとき、処理はステップＳ２１０に進む。
【０１４０】
ステップＳ２１０において、表示装置１１のデコーダ２５７は、制御部２５２からの指示に従って、バッファ２５６よりＲＴＰパケットに格納されている画像データのうち、表示領域１０２に対応するタイルの画像データを読み出す。ステップＳ２１１において、デコーダ２５７は、ステップＳ２１０で読み出した画像データをデコードする。
【０１４１】
ステップＳ２１２において、表示制御部２５８は、制御部２５２の指示に従って、ステップＳ２１１でデコーダ２５７がデコードした画像データを、デコーダ２５７より取得し、表示領域１０２の範囲の画像データをディスプレイ２５９に表示させる。
【０１４２】
ステップＳ２１３において、表示装置１１の制御部２５２は、操作部２５１から、視聴終了の指示が入力されたか否かを判定し、視聴終了の指示が入力された場合、処理はステップＳ２１４に進む。ステップＳ２１４において、表示装置１１の通信部２５５は、制御部２５２の指示に従って、画像サーバ１２に、視聴終了を通知する。
【０１４３】
このとき、画像サーバ１２は、通信部２０９を介して、表示装置１１より視聴終了の通知を受信するので、図１８のステップＳ２６６において、制御部２０２は、視聴終了の通知を受信したと判定し、処理はステップＳ２６７に進む。ステップＳ２６７において、画像サーバ１２の制御部２０２は、画像データ送信処理を終了する。
【０１４４】
図１６のステップＳ２１３において、表示装置１１の制御部２５２が、視聴終了の指示は入力されていないと判定した場合、処理は図１５のステップＳ２０５に戻りステップＳ２０５以降の処理が繰り返される。すなわち、ステップＳ２１３において、表示装置１１の制御部２５２が、視聴終了の指示は入力されていないと判定した場合、表示装置１１は、画像サーバ１２に対して、視聴終了の通知を送信しない。従って、図１８のステップＳ２６６において、画像サーバ１２の制御部２０２は、視聴終了の通知を受信していないと判定し、処理は図１７のステップＳ２５５に戻り、ステップＳ２５５以降の処理を実行する。よって、画像サーバ１２は、再び、ステップＳ２６３において、ＲＴＰパケットを表示装置１１に送信する。結果的に、表示装置１１は、図１５のステップＳ２０５において、再び、画像サーバ１２よりＲＴＰパケットを受信し、ステップＳ２０６以降の処理を繰り返し実行する。
【０１４５】
以上のようにして、表示装置１１の表示処理、および画像サーバ１２の画像データ送信処理が実行される。
【０１４６】
ところで、ユーザは、表示装置１１の操作部２５１を操作することにより、撮影画像１０１の中から切り出す表示領域１０２の範囲を移動させることができる。表示装置１１は、操作部２５１からの操作に従って、表示領域１０２を決定する。次に、図２６のフローチャートを参照して、表示装置１１の表示領域決定処理について説明する。
【０１４７】
画像の視聴が開始されたとき（図１５のステップＳ２０２）、表示装置１１は、表示領域決定処理を開始する。図２６のステップＳ４０１において、制御部２５２は、表示タイル番号設定部２５３を初期化する。本実施の形態においては、画像の視聴当初の表示領域１０２は、予め設定されている。すなわち、表示領域１０２に対応するタイルも予め設定されている。そこで、ステップＳ４０１において、制御部２５２は、表示タイル番号設定部２５３に、予め設定されている表示領域１０２に対応するタイルのタイル番号を記憶させる。
【０１４８】
ステップＳ４０２において、制御部２５２は、操作部２５１から操作が入力されるまで待機し、操作部２５１から操作が入力されたとき、処理はステップＳ４０３に進む。
【０１４９】
ステップＳ４０３において、制御部２５２は、ステップＳ４０２で入力されたと判定された操作が、表示領域１０２を移動させる操作であるか否かを判定し、ステップＳ４０２で入力されたと判定された操作が、表示領域１０２を移動させる操作ではない場合、処理はステップＳ４０２に戻り、ステップＳ４０２以降の処理が繰り返される。
【０１５０】
ステップＳ４０３において、制御部２５２が、ステップＳ４０２で入力されたと判定された操作が表示領域１０２を移動させる操作であると判定した場合、処理はステップＳ４０４に進む。
【０１５１】
ステップＳ４０４において、制御部２５２からの指示により、表示制御部２５８は、表示領域１０２として切り出してディスプレイ２５９に表示させる範囲を変更する。
【０１５２】
ステップＳ４０５において、表示タイル番号設定部２５３は、表示領域１０２に対応するタイルに変更があるか否かを判定し、表示領域１０２に対応するタイルに変更はない場合、処理はステップＳ４０２に戻りステップＳ４０２以降の処理を繰り返す。一方、ステップＳ４０５において、表示タイル番号設定部２５３が、表示領域１０２に対応するタイルに変更があると判定した場合、処理はステップＳ４０６に進む。
【０１５３】
例えば、変更前の表示領域１０２が、図９に示される位置であるとする。すなわち、図９においては、表示領域１０２は、タイル番号Ｔ３３，Ｔ３４，Ｔ４３，Ｔ４４の４つのタイルの中央であり、これら４つのタイルが、表示領域１０２に対応するタイルとされる。この表示領域１０２が、例えば、図２７に示されるように移動するように操作された場合、ディスプレイ２５９に表示される表示領域１０２こそ変更するが、表示領域１０２に対応するタイルは、表示領域１０２の変更前と同一、すなわち、タイル番号Ｔ３３，Ｔ３４，Ｔ４３，Ｔ４４の４つのタイルである。従って、この場合、表示タイル番号設定部２５３は、表示領域１０２に対応するタイルに変更はないと判定し、処理はステップＳ４０２に戻り、ステップＳ４０２以降の処理を繰り返す。
【０１５４】
一方、図９に示される表示領域１０２が、例えば、図２８に示されるように、移動するように操作された場合、ディスプレイ２５９に表示される撮影画像１０１の範囲が変更すると共に、表示領域１０２に対応するタイルが変更される。すなわち、表示領域１０２に対応するタイルのタイル番号は、タイル番号Ｔ３３，Ｔ３４，Ｔ４３，Ｔ４４の４つのタイルから、タイル番号Ｔ３２，Ｔ３３，Ｔ４２，Ｔ４３の４つのタイルに変更される。従って、この場合、表示タイル番号設定部２５３は、表示領域１０２に対応するタイルに変更があると判定し、処理はステップＳ４０６に進む。
【０１５５】
ステップＳ４０６において、表示タイル番号設定部２５３は、自らが保持（記憶）している、表示領域１０２に対応するタイルのタイル番号を変更する。例えば、図９に示される表示領域１０２が、図２８に示されるように、上方向に移動するように操作された場合、表示タイル番号設定部２５３に記憶されるタイル番号は、タイル番号Ｔ３３，Ｔ３４，Ｔ４３，Ｔ４４から、タイル番号Ｔ３２，Ｔ３３，Ｔ４２，Ｔ４３に変更される。
【０１５６】
ステップＳ４０７において、マージン設定部２５４は、表示タイル番号設定部２５３より、表示領域１０２に対応するタイルのタイル番号の更新情報を取得し、マージンデータ１３１に対応するタイルのタイル番号を更新する。
【０１５７】
例えば、隣接度１のタイルがマージンデータ１３１として設定され、表示領域１０２が図９に示されるように設定されている場合、マージンデータ１３１に対応するタイルのタイル番号は、Ｔ２２，Ｔ２３，Ｔ２４，Ｔ２５，Ｔ３２，Ｔ３５，Ｔ４２，Ｔ４５，Ｔ５２，Ｔ５３，Ｔ５４，Ｔ５５である。ここで、表示領域１０２が、図２８に示されるように、上方向に移動するように操作された場合、マージンデータ１３１に対応するタイルは、タイル番号Ｔ２１，Ｔ２２，Ｔ２３，Ｔ２４，Ｔ３１，Ｔ３４，Ｔ４１，Ｔ４４，Ｔ５１，Ｔ５２，Ｔ５３，Ｔ５４のタイルに変更される。
【０１５８】
従って、この場合、マージン設定部２５４は、マージンデータ１３１に対応するタイルのタイル番号を、タイル番号Ｔ２２，Ｔ２３，Ｔ２４，Ｔ２５，Ｔ３２，Ｔ３５，Ｔ４２，Ｔ４５，Ｔ５２，Ｔ５３，Ｔ５４，Ｔ５５から、タイル番号Ｔ２１，Ｔ２２，Ｔ２３，Ｔ２４，Ｔ３１，Ｔ３４，Ｔ４１，Ｔ４４，Ｔ５１，Ｔ５２，Ｔ５３，Ｔ５４に更新する。
【０１５９】
ステップＳ４０７の処理の後、ステップＳ４０８において、表示装置１１の通信部２５５は、制御部２５２からの指示により、表示タイル番号設定部２５３から、表示領域１０２に対応するタイルのタイル番号（更新されたタイル番号）を取得し、また、マージン設定部２５４から、マージンデータ１３１に対応するタイルのタイル番号（更新されたタイル番号）を取得し、これらのタイル番号を、まとめて、画像サーバ１２に送信し、要求するタイルのタイル番号の変更を通知する。
【０１６０】
ステップＳ４０８において、表示装置１１から画像サーバ１２に送信される、タイル番号変更の通知の例を図２９に示す。図２９は、再送要求のフォーマットの例を示している。図２９は、ＲＴＣＰ Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃのフォーマットを表している。なお、ＲＴＣＰ Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃは、ＲＦＣ１８８９に定義されている。
【０１６１】
図２９において、１番上の段には、左側から右側に向かって順番に、バージョン番号（ｖ）、パディング（ｐ）、パケットタイプ（ＰＴ＝２０５）、メッセージ長が記録されている。上から２段目には、送信者の同期ソース識別子（ＳＳＲＣ）が記録されている。上から３段目には、アプリケーション名が記録されている。上から４段目には、データ、すなわち、変更後のタイル番号が記録されている。
【０１６２】
例えば、図９に示される表示領域１０２が、図２８に示されるように、上方向に移動するように操作された場合、図２９のデータとして、タイル番号Ｔ２１，Ｔ２２，Ｔ２３，Ｔ２４，Ｔ３１，Ｔ３２，Ｔ３３，Ｔ３４，Ｔ４１，Ｔ４２，Ｔ４３，Ｔ４４，Ｔ５１，Ｔ５２，Ｔ５３，Ｔ５４が記録される。
【０１６３】
ステップＳ４０８の処理の後、処理はステップＳ４０２に戻り、ステップＳ４０２以降の処理が繰り返される。
【０１６４】
画像サーバ１２は、表示装置１１からのタイル番号変更の通知に従って、表示装置１１に送信するタイルのタイル番号を変更する。次に、図３０のフローチャートを参照して、画像サーバ１２の表示領域決定処理について説明する。
【０１６５】
ステップＳ４５１において、画像サーバ１２の制御部２０２は、表示装置１１から、画像視聴の要求を受信したとき（ステップＳ２５１）、視点情報保持部を初期化する。本実施の形態においては、画像の視聴当初の表示領域１０２は、予め設定されている。すなわち、表示領域１０２に対応するタイルも予め設定されている。ステップＳ４５１において、制御部２０２は、視点座標保持部２０５に、予め設定されている表示領域１０２に対応するタイルのタイル番号を記憶させる。
【０１６６】
ステップＳ４５２において、画像サーバ１２の制御部２０２は、通信部２０９を介して、表示装置１１より要求タイルの変更の通知（図２６のステップＳ４０８で送信された通知）を受信するまで待機し、表示装置１１より要求タイルの変更の通知を受信したとき、ステップＳ４５３に進む。
【０１６７】
ステップＳ４５３において、画像サーバ１２の制御部２０２は、通信部２０９に受信された要求タイルの変更の通知から、更新後のタイル番号を読み出し、このタイル番号を視点座標保持部２０５に記憶させる。例えば、図２９のデータとして、タイル番号Ｔ２１，Ｔ２２，Ｔ２３，Ｔ２４，Ｔ３１，Ｔ３２，Ｔ３３，Ｔ３４，Ｔ４１，Ｔ４２，Ｔ４３，Ｔ４４，Ｔ５１，Ｔ５２，Ｔ５３，Ｔ５４が記録されていた場合、図２９に示される通知を受信したとき、制御部２０２は、視点座標保持部２０５に、タイル番号Ｔ２１，Ｔ２２，Ｔ２３，Ｔ２４，Ｔ３１，Ｔ３２，Ｔ３３，Ｔ３４，Ｔ４１，Ｔ４２，Ｔ４３，Ｔ４４，Ｔ５１，Ｔ５２，Ｔ５３，Ｔ５４を記憶させる。
【０１６８】
ステップＳ４５３の処理の後、処理はステップＳ４５２に戻り、ステップＳ４５２以降の処理が繰り返される。
【０１６９】
ところで、マージンデータ１３１に含めるタイルの隣接度を変更すると、マージンデータ１３１に対応するタイルが変更される。次に、図３１のフローチャートを参照して、表示装置１１のマージン設定処理について説明する。
【０１７０】
本実施の形態においては、画像の視聴当初のマージンデータ１３１は、予め設定されている。すなわち、マージンデータ１３１に対応するタイルも予め設定されている。そこで、ステップＳ５０１において、制御部２５２は、マージン設定部２５４に、予め設定されているマージンデータ１３１に対応するタイルのタイル番号を記憶させる。
【０１７１】
ステップＳ５０２において、制御部２５２は、操作部２５１から操作が入力されるまで待機し、操作部２５１から操作が入力された場合、処理はステップＳ５０３に進む。ステップＳ５０３において、制御部２５２は、ステップＳ５０２で入力されたと判定された操作が、マージン設定の変更であるか否かを判定し、ステップＳ５０２で入力されたと判定された操作が、マージン設定の変更ではない場合、処理はステップＳ５０２に戻り、ステップＳ５０２以降の処理を繰り返す。
【０１７２】
ステップＳ５０３において、制御部２５２が、ステップＳ５０２で入力されたと判定された操作がマージン設定の変更であると判定した場合、処理はステップＳ５０４に進む。ステップＳ５０４において、マージン設定部２５４は、制御部２５１からの指示に従って、マージンデータ１３１に対応するタイルのタイル番号の記憶を更新する。
【０１７３】
例えば、図３に示されるように表示領域１０２が設定され、隣接度１のタイルがマージンデータとして設定されていた場合、マージン設定部２５４には、マージンデータに対応するタイルのタイル番号Ｔ３２，Ｔ３３，Ｔ３４，Ｔ４２，Ｔ４４，Ｔ５２，Ｔ５３，Ｔ５４が記憶されている。ここで、隣接度２のタイルまで、マージンデータに含める指示が入力された場合、マージン設定部２５４は、マージンデータに対応するタイルのタイル番号を、Ｔ２１，Ｔ２２，Ｔ２３，Ｔ２４，Ｔ２５，Ｔ３１，Ｔ３２，Ｔ３３，Ｔ３４，Ｔ３５，Ｔ４１，Ｔ４２，Ｔ４４，Ｔ４５，Ｔ５１，Ｔ５２，Ｔ５３，Ｔ５４，Ｔ５５，Ｔ６１，Ｔ６２，Ｔ６３，Ｔ６４，Ｔ６５として、記憶を更新する。
【０１７４】
ステップＳ５０４の処理の後、ステップＳ５０５において、表示装置１１の制御部２５２は、図２９のフォーマットのデータに、マージン設定部２５４に記憶されたタイル番号を記録した通知を、通信部２５５を介して、画像サーバ１２に送信する。
【０１７５】
その後、ステップＳ５０２に戻り、ステップＳ５０２以降の処理を繰り返す。
【０１７６】
表示装置１１がステップＳ５０５で送信した通知を受信した画像サーバ１２は、図３０のフローチャートに示されたものと同様の処理を実行し、表示装置１１に送信するタイルのタイル番号を変更する。
【０１７７】
以上、本実施の形態において説明したように、欠落したＲＴＰパケットに格納されているタイルのデータが表示領域１０２に対応したタイルのデータではない場合、ネットワークが輻輳している場合、欠落したＲＴＰパケットに格納されたデータが高域データである場合などに、表示装置１１から画像サーバ１２に再送を要求しないようにすることにより、ネットワーク１０の輻輳を低減することが可能となる。
【０１７８】
なお、本実施の形態においては、画像サーバ１２は、表示装置１１に対して、エンコードした画像データのみを送信する場合について説明したが、画像サーバ１２は、勿論、画像データと共に、音声データを送信するようにすることができる。すなわち、画像サーバ１２は、カメラ１３に備えられたマイクロフォンにより集音された音声データを、エンコーダ２０３により、画像データと共にエンコードし、通信部２０９を介して、表示装置１１に送信することができる。
【０１７９】
また、図１４には、画像サーバ１２から受信した音声データを再生するスピーカが記載されていないが、スピーカをさらに備えるようにすることもできる。すなわち、表示装置１１が、通信部２５５を介して、画像サーバ１２から受信したデータは、デコーダ２５７によりデコードされ、デコードされたデータのうち、画像データは、表示制御部２５８に表示され、音声データは、スピーカに供給され、音声データに対応する音声が出力される。
【０１８０】
また、本実施の形態においては、画像サーバ１２は、カメラ１３から取り込まれた画像をエンコードする場合を例として説明しているが、このことは、本発明がカメラ１３から取り込まれた画像をエンコードする場合に限定されることを意味するものではない。画像サーバ１２は、例えば、予め所定の記録媒体に記録された画像データをキャプチャし、エンコーダ２０３でエンコードし、通信部２０９を介して、表示装置１１に送信することもできる。
【０１８１】
上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウェアにより実行させることもできる。この場合、例えば、画像サーバ１２、または表示装置１１は、図３２に示されるような汎用のパーソナルコンピュータ７００により構成される。
【０１８２】
図３２において、ＣＰＵ７０１は、ＲＯＭ７０２に記憶されているプログラム、または記憶部７０９からＲＡＭ７０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７０３にはまた、ＣＰＵ７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１８３】
ＣＰＵ７０１、ＲＯＭ７０２、およびＲＡＭ７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インターフェース７０５も接続されている。
【０１８４】
入出力インターフェース７０５には、キーボード、マウスなどよりなる操作部７０６、スピーカなどよりなり、音声を出力する音声出力部７０７、ＬＣＤ、またはＣＲＴ（ＣａｔｈｏｄｅＲａｙ Ｔｕｂｅ）などよりなるディスプレイ７０８、ハードディスクなどより構成される記憶部７０９、モデム、ターミナルアダプタなどより構成される通信部７１０が接続されている。通信部７１０は、インターネットを含むネットワーク１０を介しての通信処理を行う。
【０１８５】
入出力インターフェース７０５にはまた、必要に応じてドライブ７１１が接続され、磁気ディスク７２１、光ディスク７２２、光磁気ディスク７２３、或いは半導体メモリ７２４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７０９にインストールされる。
【０１８６】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０１８７】
この記録媒体は、図３２に示されるように、装置本体とは別に、ユーザにプログラムを供給するために配布される、プログラムが記憶されている磁気ディスク７２１（フレキシブルディスクを含む）、光ディスク７２２（ＣＤ−ＲＯＭ，ＤＶＤを含む）、光磁気ディスク７２３（ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）を含む）、もしくは半導体メモリ７２４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに供給される、プログラムが記憶されているＲＯＭ７０２や、記憶部７０９に含まれるハードディスクなどで構成される。
【０１８８】
また、記録媒体へのプログラムの格納は、必要に応じて通信部７１０を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった有線または無線の通信媒体を利用して行われるようにしても良い。
【０１８９】
なお、本明細書において、媒体により提供されるプログラムを記述するステップは、記載された順序に従って、時系列的に行われる処理は勿論、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１９０】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１９１】
【発明の効果】
以上のように、第１の本発明によれば、ネットワークを介して画像データが格納されたパケットを送信することが可能となる。
【０１９２】
また、第１の本発明によれば、パケットの再送を原因とするネットワークの輻輳を、減少させることができる。
【０１９３】
第２の本発明によれば、ネットワークを介して画像データが格納されたパケットを受信し、表示することが可能となる。
【０１９４】
また、第２の本発明によれば、パケットの再送を原因とするネットワークの輻輳を、減少させることができる。
【図面の簡単な説明】
【図１】本発明を適用したサービス提供システムの構成例を示すブロック図である。
【図２】カメラにより撮影された画像の例を示す図である。
【図３】撮影画像、タイル、および表示領域の関係を説明する図である。
【図４】マージンデータについて説明する図である。
【図５】マージンデータについて説明する別の図である。
【図６】隣接度について説明する図である。
【図７】撮影画像、タイル、および表示領域の関係を説明する図である。
【図８】撮影画像、タイル、および表示領域の関係を説明する別の図である。
【図９】撮影画像、タイル、および表示領域の関係を説明するさらに別の図である。
【図１０】画像サーバから表示装置に送信されるパケットとタイルの関係を説明する図である。
【図１１】パケットの再送処理を説明する図である。
【図１２】パケットの再送処理を説明する別の図である。
【図１３】画像サーバの内部の構成例を示すブロック図である。
【図１４】表示装置の内部の構成例を示すブロック図である。
【図１５】表示装置の表示処理を説明するフローチャートである。
【図１６】表示装置の表示処理を説明する、図１５に続くフローチャートである。
【図１７】画像サーバの画像データ送信処理を説明するフローチャートである。
【図１８】画像サーバの画像データ送信処理を説明する、図１７に続くフローチャートである。
【図１９】視点座標保持部に記憶されるデータベースの例を示す図である。
【図２０】画像サーバのバッファインデックスに記憶されるデータの例を示す図である。
【図２１】ＲＴＣＰレシーバレポートのフォーマットを説明する図である。
【図２２】表示装置の再送要求処理を説明するフローチャートである。
【図２３】表示装置のバッファインデックスに記憶されるデータの例を示す図である。
【図２４】図２２のステップＳ３０９において送信されるパケットのフォーマットを説明する図である。
【図２５】画像サーバの再送処理を説明するフローチャートである。
【図２６】表示装置の表示領域決定処理を説明するフローチャートである。
【図２７】表示領域の移動を説明するための図である。
【図２８】表示領域の移動に伴う、表示領域に対応するタイルの変更を説明するための図である。
【図２９】図２６のステップＳ４０８において送信されるパケットのフォーマットを説明する図である。
【図３０】画像サーバの表示領域決定処理を説明するフローチャートである。
【図３１】表示装置のマージン設定処理を説明するフローチャートである。
【図３２】本発明を適用したパーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
１０ ネットワーク， １１−１，１１−２，１１−３，１１−ｎ 表示装置， １２ 画像サーバ， １３ カメラ， ２０１ 操作部， ２０２ 制御部， ２０３ エンコーダ， ２０４ バッファ， ２０５ 視点座標保持部， ２０６ 画像切り出し部， ２０７ ＲＴＰパケット作成部， ２０８ 送信バッファ， ２０９通信部， ２１０ 記憶部， ２１１ ＡＲＱエンジン， ２１２ バッファインデックス， ２５１ 操作部， ２５２ 制御部， ２５３ 表示タイル番号設定部，２５４ マージン設定部， ２５５ 通信部， ２５６ バッファ， ２５７ デコーダ， ２５８ 表示制御部， ２５９ ディスプレイ， ２６０ ＡＲＱエンジン， ２６１ バッファインデックス
【発明の属する技術分野】
本発明は、情報処理装置および方法、表示装置および方法、並びにプログラムに関し、特に、映像をストリーミング再生する場合に、ネットワークの輻輳を低減させることができるようにした情報処理装置および方法、表示装置および方法、並びにプログラムに関する。
【０００２】
【従来の技術】
従来、例えばパーソナルコンピュータなどの端末装置が、画像などのデータをサーバからダウンロードし、同時に再生する、所謂、ストリーミング再生の技術が知られている。
【０００３】
ストリーミング再生を行う場合、インターネットなどのネットワークを介して、サーバから端末装置に対して、画像などのデータを実時間通信で送信する際、ネットワークの輻輳により、送信中のパケットが途中で廃棄されてしまうことがある。この問題を解決するＡＲＱ（Ａｕｔｏｍａｔｉｃ−Ｒｅｐｅａｔ−ＲｅＱｕｅｓｔ）などの再送技術が知られている。以下に、ＡＲＱについて説明する。
【０００４】
まず、サーバから端末装置にパケットが送信される。その際、途中で廃棄されてしまったパケットがあった場合、端末装置は、欠落したパケットを検知し、欠落したパケットを再送するようにサーバに要求する。その情報を受信したサーバは、要求されたパケットを端末装置に再送する。
【０００５】
以上が、ＡＲＱの概要である。以上のようにして、端末装置は、欠落したパケットを取得することができる。
【０００６】
【発明が解決しようとする課題】
しかしながら、サーバが、要求されたパケットを、端末装置に再送する場合、すでに輻輳しているネットワークをさらに輻輳させるという課題があった。
【０００７】
すなわち、サーバから端末装置に送信中のパケットが欠落するのは、ネットワークが輻輳している場合が多い。従って、端末装置が欠落したパケットの再送をサーバに要求し、サーバが要求されたパケットを再送する場合、すでに輻輳しているネットワークを介して、パケットを再送することになり、ネットワークをさらに輻輳させる結果になる。結果的に、さらに欠落するパケットが増加する。ＡＲＱなどの再送技術においては、このような悪循環に陥ってしまうことがあるという課題があった。
【０００８】
本発明はこのような状況に鑑みてなされたものであり、映像をストリーミング再生する場合に、ネットワークの輻輳を減少させることを目的とする。
【０００９】
【課題を解決するための手段】
本発明の情報処理装置は、第１の画像を格子状に分割した複数の第２の画像のうち、表示装置により表示される表示領域に対応する１以上の第３の画像、および第３の画像の周囲を囲む複数の第４の画像を表示装置に供給する情報処理装置であって、１以上の第３の画像、および複数の第４の画像の個々を識別するための第１の識別情報を記憶する第１の記憶手段と、第１の記憶手段により記憶された第１の識別情報に基づいて、第３の画像および第４の画像を含む１以上のパケットを作成する第１の作成手段と、第１の作成手段により作成されたパケットを記憶する第２の記憶手段と、第１の作成手段により作成されたパケットが記憶された第２の記憶手段におけるアドレスを、パケットを識別する第２の識別情報と対応付けて記憶する第３の記憶手段と、第２の記憶手段により記憶されたパケットを表示装置に送信する第１の送信手段と、表示装置より、表示装置が受信できなかった欠落パケットの再送要求を受信する第１の受信手段と、第１の受信手段により受信された欠落パケットの再送要求に含まれている第２の識別情報に基づいて、第３の記憶手段により記憶されているパケットのアドレスを特定する特定手段と、特定手段により特定されたアドレスに記憶されているパケットを、第２の記憶手段より読み出す読み出し手段と、読み出し手段により読み出されたパケットを表示装置に送信する第２の送信手段とを備えることを特徴とする。
【００１０】
前記表示装置より、前記第１の識別情報の変更の通知を受信する第２の受信手段をさらに設けるようにし、前記第１の記憶手段には、第２の受信手段により通知が受信された場合、前記第１の識別情報の記憶を更新するようにさせることができる。
【００１１】
前記第１の画像を撮影する撮影手段と、撮影手段により撮影された前記第１の画像を格子状に分割して前記第２の画像を作成する第２の作成手段とをさらに設けるようにすることができる。
【００１２】
本発明の情報処理方法は、第１の画像を格子状に分割した複数の第２の画像のうち、表示装置により表示される表示領域に対応する１以上の第３の画像、および第３の画像の周囲を囲む複数の第４の画像を表示装置に供給する情報処理装置の情報処理方法であって、１以上の第３の画像、および複数の第４の画像の個々を識別するための第１の識別情報を記憶する第１の記憶ステップと、第１の記憶ステップの処理により記憶された第１の識別情報に基づいて、第３の画像および第４の画像を含む１以上のパケットを作成する作成ステップと、作成ステップの処理により作成されたパケットを所定の記憶手段に記憶する第２の記憶ステップと、作成ステップの処理により作成されたパケットが記憶された記憶手段におけるアドレスを、パケットを識別する第２の識別情報と対応付けて記憶する第３の記憶ステップと、第２の記憶ステップの処理により記憶されたパケットを表示装置に送信する第１の送信ステップと、表示装置より、表示装置が受信できなかった欠落パケットの再送要求を受信する受信ステップと、受信ステップの処理により受信された欠落パケットの再送要求に含まれている第２の識別情報に基づいて、第３の記憶ステップの処理により記憶されているパケットのアドレスを特定する特定ステップと、特定ステップの処理により特定されたアドレスに記憶されているパケットを、読み出す読み出しステップと、読み出しステップの処理により読み出されたパケットを表示装置に送信する第２の送信ステップとを含むことを特徴とする。
【００１３】
本発明の第１のプログラムは、第１の画像を格子状に分割した複数の第２の画像のうち、表示装置により表示される表示領域に対応する１以上の第３の画像、および第３の画像の周囲を囲む複数の第４の画像を表示装置に供給する情報処理装置を制御するコンピュータに、１以上の第３の画像、および複数の第４の画像の個々を識別するための第１の識別情報の記憶を制御する第１の記憶制御ステップと、第１の記憶制御ステップの処理により記憶が制御された第１の識別情報に基づいて、第３の画像および第４の画像を含む１以上のパケットを作成する作成ステップと、作成ステップの処理により作成されたパケットの所定の記憶手段への記憶を制御する第２の記憶制御ステップと、作成ステップの処理により作成されたパケットが記憶された記憶手段におけるアドレスの、パケットを識別する第２の識別情報と対応付けた記憶を制御する第３の記憶制御ステップと、第２の記憶制御ステップの処理により記憶が制御されたパケットの表示装置への送信を制御する第１の送信制御ステップと、表示装置からの、表示装置が受信できなかった欠落パケットの再送要求の受信を制御する受信制御ステップと、受信制御ステップの処理により受信が制御された欠落パケットの再送要求に含まれている第２の識別情報に基づいて、第３の記憶制御ステップの処理により記憶が制御されているパケットのアドレスを特定する特定ステップと、特定ステップの処理により特定されたアドレスに記憶されているパケットを、読み出す読み出しステップと、前記読み出しステップの処理により読み出されたパケットの表示装置への送信を制御する第２の送信制御ステップとを実行させることを特徴とする。
【００１４】
本発明の表示装置は、第１の画像を格子状に分割した複数の第２の画像のうち、表示領域に対応する第３の画像、および第３の画像の周囲を囲む第４の画像を含むパケットを情報処理装置から受信する第１の受信手段と、第１の受信手段により受信されたパケットを記憶する記憶手段と、情報処理装置と表示装置間のネットワークの輻輳の程度を示す輻輳情報を取得する取得手段と、第１の受信手段により情報処理装置から受信することができなかったパケットを検出する検出手段と、検出手段により情報処理装置から受信することができなかった欠落パケットが検出された場合、欠落パケットが第３の画像を含むパケットであるか否かを判定する第１の判定手段と、第１の判定手段により、欠落パケットは第３の画像を含むパケットではないと判定された場合、取得手段により取得された輻輳情報に基づいて、欠落パケットを表示装置に要求するか否かを判定する第２の判定手段と、第１の判定手段により、欠落パケットは第３の画像を含むパケットであると判定された場合、および第２の判定手段により欠落パケットを表示装置に要求すると判定された場合、欠落パケットを送信するように情報処理装置に要求する要求手段と、情報処理装置より、欠落パケットを受信する第２の受信手段と、第２の受信手段により受信された欠落パケットを記憶手段に記憶させる制御手段と、記記憶手段により記憶されたパケットおよび欠落パケットから、第３の画像データを読み出し、表示領域内の画像を表示する表示手段とを備えることを特徴とする。
【００１５】
前記表示領域の変更の指示を受け付ける受付手段と、受付手段により前記表示領域の変更の指示が受け付けられた場合、変更後の前記表示領域に対応する前記第３の画像および前記第４の画像の識別情報を特定する特定手段と、特定手段により特定された前記識別情報、並びに前記第３の画像および前記第４の画像の変更の通知を前期情報処理装置に送信する送信手段とをさらに設けるようにすることができる。
【００１６】
第１の画像を格子状に分割した複数の第２の画像のうち、表示領域に対応する第３の画像、および第３の画像の周囲を囲む第４の画像を含むパケットを情報処理装置から受信する第１の受信ステップと、第１の受信ステップの処理により受信されたパケットを所定の記憶手段に記憶する記憶ステップと、情報処理装置と表示装置間のネットワークの輻輳の程度を示す輻輳情報を取得する取得ステップと、第１の受信ステップの処理により情報処理装置から受信することができなかったパケットを検出する検出ステップと、検出ステップの処理により情報処理装置から受信することができなかった欠落パケットが検出された場合、欠落パケットが第３の画像を含むパケットであるか否かを判定する第１の判定ステップと、第１の判定ステップの処理により、欠落パケットは第３の画像を含むパケットではないと判定された場合、取得ステップの処理により取得された輻輳情報に基づいて、欠落パケットを表示装置に要求するか否かを判定する第２の判定ステップと、第１の判定ステップの処理により、欠落パケットは第３の画像を含むパケットであると判定された場合、および第２の判定ステップの処理により欠落パケットを表示装置に要求すると判定された場合、欠落パケットを送信するように情報処理装置に要求する要求ステップと、情報処理装置より、欠落パケットを受信する第２の受信ステップと、第２の受信ステップの処理により受信された欠落パケットを記憶手段に記憶させる制御ステップと、記憶手段に記憶されたパケットおよび欠落パケットから、第３の画像データを読み出し、表示領域内の画像を表示する表示ステップとを含むことを特徴とする。
【００１７】
本発明の第２のプログラムは、第１の画像を格子状に分割した複数の第２の画像のうち、表示領域に対応する第３の画像、および第３の画像の周囲を囲む第４の画像を含むパケットの情報処理装置からの受信を制御する第１の受信制御ステップと、第１の受信制御ステップの処理により受信が制御されたパケットの所定の記憶手段への記憶を制御する第１の記憶制御ステップと、情報処理装置と表示装置間のネットワークの輻輳の程度を示す輻輳情報を取得する取得ステップと、第１の受信制御ステップの処理により情報処理装置からの受信を制御することができなかったパケットを検出する検出ステップと、検出ステップの処理により情報処理装置からの受信を制御することができなかった欠落パケットが検出された場合、欠落パケットが第３の画像を含むパケットであるか否かを判定する第１の判定ステップと、第１の判定ステップの処理により、欠落パケットは第３の画像を含むパケットではないと判定された場合、取得ステップの処理により取得された輻輳情報に基づいて、欠落パケットを表示装置に要求するか否かを判定する第２の判定ステップと、第１の判定ステップの処理により、欠落パケットは第３の画像を含むパケットであると判定された場合、および第２の判定ステップの処理により欠落パケットを表示装置に要求すると判定された場合、欠落パケットを送信するように情報処理装置に要求する要求ステップと、情報処理装置からの、欠落パケットの受信を制御する第２の受信制御ステップと、第２の受信制御ステップの処理により受信が制御された欠落パケットの記憶手段への記憶を制御する第２の記憶制御ステップと、記憶手段に記憶されたパケットおよび欠落パケットからの、第３の画像データを読み出し、および表示領域内の画像の表示を制御する表示制御ステップとをコンピュータに実行させることを特徴とする。
【００１８】
本発明の情報処理装置および方法、並びにプログラムにおいては、第１の画像を格子状に分割した複数の第２の画像のうち、表示装置により表示される表示領域に対応する１以上の第３の画像、および第３の画像の周囲を囲む複数の第４の画像の個々を識別するための第１の識別情報が記憶され、記憶された第１の識別情報に基づいて、第３の画像および第４の画像を含む１以上のパケットが作成され、作成されたパケットが記憶され、作成されたパケットが記憶されたアドレスが、パケットを識別する第２の識別情報と対応付けて記憶され、記憶されたパケットが表示装置に送信される。また、表示装置より、表示装置が受信できなかった欠落パケットの再送要求が受信された場合、受信された欠落パケットの再送要求に含まれている第２の識別情報に基づいて、記憶されているパケットのアドレスが特定され、特定されたアドレスに記憶されているパケットが、読み出され、読み出されたパケットが表示装置に送信される。
【００１９】
本発明の表示装置および方法、並びにプログラムにおいては、第１の画像を格子状に分割した複数の第２の画像のうち、表示領域に対応する第３の画像、および第３の画像の周囲を囲む第４の画像を含むパケットが情報処理装置から受信され、受信されたパケットが記憶され、情報処理装置と表示装置間のネットワークの輻輳の程度を示す輻輳情報が取得される。そして、情報処理装置から受信することができなかったパケットが検出され、情報処理装置から受信することができなかった欠落パケットが検出された場合、欠落パケットが第３の画像を含むパケットであるか否かが判定され、欠落パケットは第３の画像を含むパケットではないと判定された場合、取得された輻輳情報に基づいて、欠落パケットを表示装置に要求するか否かが判定され、欠落パケットは第３の画像を含むパケットであると判定された場合、および欠落パケットを表示装置に要求すると判定された場合、欠落パケットを送信するように情報処理装置に要求され、情報処理装置より、欠落パケットを受信する第２の受信手段と、第２の受信手段により受信された欠落パケットが記憶され、記憶されたパケットおよび欠落パケットから、第３の画像データが読み出され、表示領域内の画像が表示される。
【００２０】
【発明の実施の形態】
図１は、本発明を適用したサービス提供システムの一実施の形態を示す図である。図１において、インターネットなどのネットワーク１０には、表示装置１１−１乃至１１−ｎ（以下の説明において、表示装置１１−１乃至１１−ｎを、それぞれ個々に区別する必要がない場合、まとめて表示装置１１と称する）、および画像サーバ１２が接続されている。また、画像サーバ１２は、カメラ１３に接続されている。カメラ１３により撮影された画像は、画像サーバ１２により加工され、ネットワーク１０を介して、表示装置１１に供給される。表示装置１１は、ネットワーク１０を介して、画像サーバ１２から供給された画像を表示し、ユーザに視聴させる。
【００２１】
図２は、カメラ１３により撮影され、表示装置１１に表示される画像の例を示している。図２において、全方位映像３２は、カメラ１３により撮影される画像を示している。すなわち、カメラ１３は、カメラ１３の周囲３６０度全ての映像を撮影する。よって、カメラ１３により撮影された全方位映像３２は、あたかも、視聴するユーザ３１の周囲を取り囲むようになっている。また、表示領域３３は、全方位映像３２のうち、ユーザにより視聴される範囲を示している。
【００２２】
表示装置１１は、カメラ１３により撮影された全方位映像３２の中から切り出された表示領域３３を表示し、ユーザに視聴させる。ユーザは、表示領域３３を、図２のＡ乃至Ｄの矢印のうちの、任意の矢印の方向に移動させることができる。表示装置１１は、ユーザからの指示に従って、全方位映像３２の中から切り出して表示する表示領域３３を移動させる。
【００２３】
なお、図１に示された実施の形態においては、カメラ１３が、全方位映像３２を撮影する場合を例にして説明しているが、このことは、本発明が、カメラ１３が全方位映像３２を撮影することに限定されることを意味するものではない。視点自由形の映像であれば、全方位映像３２に限らない。
【００２４】
画像サーバ１２は、カメラ１３により撮影された全方位映像３２を細かい画像に分割して、表示領域３３に対応する部分の画像を、表示装置１１に送信する。このようにすることにより、全方位映像３２の全てを表示装置１１に送信する場合と比較して、送信する画像データのデータ量を減少させることができる。以下、カメラ１３により撮影された画像を分割した画像のことをタイルとも称する。
【００２５】
図３は、カメラ１３により撮影され、画像サーバ１２により分割された撮影画像１０１の例を示している。撮影画像１０１は、図２の全方位映像３２と同一のものである。すなわち、図２の全方位映像３２は輪状になっているので、この全方位映像３２を、ある位置で開いたものが図３の撮影画像１０１である。
【００２６】
図３に示されるように、撮影画像１０１は、格子状に分割される。格子状に分割された各長方形が、それぞれ１つのタイルである。ここで、説明の便宜上、各タイルには、左端の１番上のタイルを基準として、右に向かって列の番号ｎをふり、下に向かって行の番号ｍをふって、Ｔｎｍとして表示する。例えば、左から２列目で、上から３行目のタイルは、Ｔ２３とする。なお、図３においては、撮影画像１０１は、７行７列に分割されているが、分割する行、および列の数は、７行７列に限定されるものではない。
【００２７】
図３においては、タイルＴ４３の枠が太線で示されているが、この太線内の画像が、表示領域１０２の画像として、表示装置１１に表示される。図２の表示領域３３と同一のものである。
【００２８】
画像サーバ１２は、撮影画像１０１を複数のタイルに分割し、この中から表示領域１０２のタイルを表示装置１１に送信するが、その際、表示領域１０２の周辺のタイルも、余白（マージン）として、表示装置１１に送信する。
【００２９】
画像サーバ１２から表示装置１１に送信されるタイルの例を図４に示す。画像サーバ１２は、図４の撮影画像１０１において、表示領域１０２のタイルと共に、表示領域１０２のタイルに隣接するタイルも、マージンデータ１３１として、表示装置１１に送信する。
【００３０】
もし、画像サーバ１２が、マージンデータ１３１を送信せず、表示領域１０２のタイルのみを表示装置１１に送信する場合、例えば、ユーザが、図２の矢印Ａ乃至Ｄで示される方向のうち、いずれかの方向に表示領域を移動させる指示を、表示装置１１に入力したとき、表示装置１１は、画像サーバ１２に対して、表示領域１０２の移動に対応する、それまでとは異なるタイルを要求する。そして、画像サーバ１２は、表示装置１１から要求されたタイルを表示装置１１に送信する。表示装置１１は、受信したタイルから、表示領域１０２の画像を切り出して表示する。従って、ユーザが表示領域１０２の移動を指示してから、実際に表示装置１１に表示領域１０２が表示されるまでに、長時間を必要とした。
【００３１】
それに対して、本発明のように、マージンデータ１３１を表示領域１０２のタイルと共に送信するようにした場合、ユーザが、表示装置１１に対して、例えば図２の矢印Ａ乃至Ｄで示される方向のうち、いずれかの方向に表示領域１０２を移動させる指示をしたとき、表示装置１１は、マージンデータ１３１として受信している画像から、表示領域１０２の移動に対応した部分の画像を切り出して表示させることができる。従って、ユーザが、表示領域１０２を移動させる指示をした直後に、表示領域１０２の移動を完了させることができる。
【００３２】
ところで、図４においては、マージンデータ１３１は、表示領域１０２のタイルに隣接するタイルのみであるが、表示領域１０２のタイルに隣接するタイルにさらに隣接するタイルまでをマージンデータ１３１とすることも勿論可能であり、その場合の例を図５に示す。図５に示されているように、表意領域１０２のタイルに隣接するタイル、および表意領域１０２のタイルに隣接するタイルにさらに隣接するタイルを、マージンデータ１３１としても良い。
【００３３】
ここで、以下の説明においては、図６に示すように、表示領域１０２のタイルに隣接するタイル（図６において、縦線で示されているタイル）を隣接度１とし、隣接度１のタイルの外側にさらに隣接するタイル（図６において横線で示されているタイル）を隣接度２とする。同様に、隣接度２のタイルの外側に隣接するタイルを隣接度３としてゆく。以下も同様に、隣接度ｎのタイルの外側に隣接するタイルを隣接度ｎ＋１とする。このように、表示領域１０２から遠ざかるにつれ、隣接度が大きくなってゆく。
【００３４】
図２において、隣接度１、隣接度２、および隣接度３のタイルまでを、マージンデータ１３１とすることもできる。同様に、隣接度１乃至隣接度ｎのタイルまでを、マージンデータ１３１とすることもできる。すなわち、マージンデータ１３１として送信するタイルの隣接度は、任意に設定することができる。
【００３５】
マージンデータ１３１が、隣接度のより大きいタイルまでを含むほど、表示装置１１は、ユーザからの表示領域１０２の広範囲な移動にも、すぐに対応することができる。しかし、この場合、画像サーバ１２から表示装置１１に送信するマージンデータ１３１のデータ量が大きくなってしまう。
【００３６】
反対に、マージンデータ１３１が、隣接度の小さいタイルしか含まない場合、画像サーバ１２から表示装置１１に送信するマージンデータ１３１のデータ量を少なく抑えることができる。しかし、表示装置１１は、ユーザにより表示領域１０２の広範囲な移動が指示された場合、表示領域１０２の移動に対応する画像が、マージンデータ１３１に含まれていない可能性が大きくなる。従って、表示装置１１は、表示領域１０２の移動先に対応するタイルを、画像サーバ１２から新たに取得する必要があり、迅速に表示領域１０２の移動に対応することができない。
【００３７】
ところで、図３においては、表示領域１０２と、タイルＴ４３の枠が同一であった場合の例を説明したが、表示領域１０２は、複数のタイルにまたがっている場合もありえる。図７乃至図９にその例を示す。
【００３８】
図７においては、表示領域１０２は、タイルＴ４３とタイルＴ４４の上下２個のタイルにまたがっている。この場合、タイルＴ４３とタイルＴ４４が、表示領域１０２に対応するタイルとされる。また、タイルＴ４３とタイルＴ４４に隣接するタイル、すなわち、タイルＴ３２，Ｔ３３，Ｔ３４，Ｔ３５，Ｔ４２，Ｔ４５，Ｔ５２，Ｔ５３，Ｔ５４，Ｔ５５が、隣接度１のタイルとされる。さらに、隣接度２のタイルは、タイルＴ２１，Ｔ２２，Ｔ２３，Ｔ２４，Ｔ２５，Ｔ２６，Ｔ３１，Ｔ３６，Ｔ４１，Ｔ４６，Ｔ５１，Ｔ５６，Ｔ６１，Ｔ６２，Ｔ６３，Ｔ６４，Ｔ６５，Ｔ６６である。
【００３９】
図８においては、表示領域１０２は、タイルＴ４３とタイルＴ５３の左右２個のタイルにまたがっている。この場合、タイルＴ４３とタイルＴ５３が、表示領域１０２に対応するタイルとされる。また、タイルＴ４３とタイルＴ５３に隣接するタイル、すなわち、タイルＴ３２，Ｔ３３，Ｔ３４，Ｔ４２，Ｔ４４，Ｔ５２，Ｔ５４，Ｔ６２，Ｔ６３，Ｔ６４が、隣接度１のタイルとされる。さらに、隣接度２のタイルは、タイルＴ２１，Ｔ２２，Ｔ２３，Ｔ２４，Ｔ２５，Ｔ３１，Ｔ３５，Ｔ４１，Ｔ４５，Ｔ５１，Ｔ５５，Ｔ６１，Ｔ６５，Ｔ７１，Ｔ７２，Ｔ７３，Ｔ７４，Ｔ７５である。
【００４０】
図９においては、表示領域１０２は、タイルＴ３３，Ｔ３４，Ｔ４３，Ｔ４４の４個のタイルにまたがっている。この場合、タイルＴ３３，Ｔ３４，Ｔ４３，Ｔ４４が、表示領域１０２に対応するタイルとされる。また、タイルＴ３３，Ｔ３４，Ｔ４３，Ｔ４４に隣接するタイル、すなわち、タイルＴ２２，Ｔ２３，Ｔ２４，Ｔ２５，Ｔ３２，Ｔ３５，Ｔ４２，Ｔ４５，Ｔ５２，Ｔ５３，Ｔ５４，Ｔ５５が、隣接度１のタイルとされる。さらに、隣接度２のタイルは、タイルＴ１１，Ｔ１２，Ｔ１３，Ｔ１４，Ｔ１５，Ｔ１６，Ｔ２１，Ｔ２６，Ｔ３１，Ｔ３６，Ｔ４１，Ｔ４６，Ｔ５１，Ｔ５６，Ｔ６１，Ｔ６２，Ｔ６３，Ｔ６４，Ｔ６５，Ｔ６６である。
【００４１】
以上のように、表示領域１０２は、複数のタイルにまたがる場合もある。
【００４２】
ところで、画像サーバ１２は、タイルを、パケット通信により表示装置１１に送信する。画像サーバ１２が、あるタイルを、パケット通信により表示装置１１に送信している場合、ユーザから表示領域１０２の移動が指示されたとき、表示装置１１は、画像サーバ１２に、移動先の表示領域１０２に対応するタイルを要求する。それ以降、画像サーバ１２は、移動先の表示領域１０２に対応するタイルを、表示装置１１に送信する。次に、図１０を参照して、表示装置１１が、画像サーバ１２に移動先の表示領域１０２に対応するタイルを要求し、画像サーバ１２が、表示装置１１に、移動先の表示領域１０２に対応するタイルを送信するまでの処理について説明する。
【００４３】
図１０において、左側から右側に向かって示されている２本の大きな矢印は、時間軸を表している。この平行な２本の矢印のうち、上側の矢印は、画像サーバ１２のパケット送信処理を表し、下側の矢印は、表示装置１１のパケット受信処理を表している。図の左側上部の「画像サーバ」と記載されている直下に、「送信タイル番号」と記載されている。送信タイル番号は、画像サーバ１２から表示装置１１に送信されるタイルの番号のことであり、「送信タイル番号」の右方に、送信されるタイルの番号が示されている。
【００４４】
「送信タイル番号」の記載の直下には、「パケット」と記されている。「パケット」の右方には、四角形内に、番号が記されている。この四角形のそれぞれが、画像サーバ１２が送信するパケットの１つ１つを表している。また、四角形内の番号は、パケットのシーケンス番号を示している。ここで、説明の便宜上、画像サーバ１２は、１タイルを１パケットとして、表示装置１１に送信するものとするが、実際には、１タイルが１パケットであるとは限らない。また、「パケット」の記載の右方の四角形は、４個（例えば、パケットのシーケンス番号１，２，３，４）が１セットとなっている。この１セットのパケットで、１フレーム分のタイルを含んでいる。
【００４５】
図１０の左側の「表示装置」の記載の直下には「パケット」と記されている。四角形内に、番号が記されている。この四角形のそれぞれが、表示装置１１が受信するパケットの１つ１つを表している。また、四角形内の番号は、画像サーバ１２側のパケットのシーケンス番号と対応している。
【００４６】
「パケット」の直下に記されている「表示領域」は、表示装置１１が表示する表示領域１０２に対応するタイルのタイル番号を表している。このタイル番号は、画像サーバ１２側のタイル番号と対応している。「表示領域」の記載の右方には、表示領域１０２に対応するタイル番号（例えば、「２，３」）が示されている。
【００４７】
図１０に示される例においては、表示装置１１は、タイル番号２，３に対応する表示領域１０２を表示しているとする。ステップＳ１において、画像サーバ１２は、表示装置１１に対して、タイル番号１のタイルを、シーケンス番号１のパケットとして、タイル番号２のタイルを、シーケンス番号２のパケットとして、タイル番号３のタイルを、シーケンス番号３のパケットとして、タイル番号４のタイルを、シーケンス番号４のパケットとして、順次、送信する。
【００４８】
ステップＳ２において、画像サーバ１２は、表示装置１１に対して、タイル番号１のタイルを、シーケンス番号５のパケットとして、タイル番号２のタイルを、シーケンス番号６のパケットとして、タイル番号３のタイルを、シーケンス番号７のパケットとして、タイル番号４のタイルを、シーケンス番号８のパケットとして、順次、送信する。
【００４９】
ステップＳ２の処理中、ステップＳ３において、表示装置１１は、操作部２５１（図１４）への、表示領域１０２の移動の指示の入力を受け付ける。図１０の例においては、表示領域１０２に対応するタイルのタイル番号が「２，３」から「３，４」に変更される。
【００５０】
表示装置１１は、ステップＳ３で、ユーザからの指示が入力されたタイミングで、ステップＳ４の処理を実行する。すなわち、表示装置１１は、ステップＳ４において、画像サーバ１２に対して、要求するタイル番号の変更を通知する。なお、図１０の例においては、画像サーバ１２から、表示装置１１に対して、シーケンス番号７のパケットが受信されたタイミングで、表示装置１１は、画像サーバ１２に対して、要求するタイル番号「２，３，４，５」を通知している。
【００５１】
表示装置１１からの、送信するタイルのタイル番号変更の通知を受信した画像サーバ１２は、ステップＳ５において、要求されたタイル番号２，３，４，５のタイルを、表示装置１１に対して送信する。すなわち、画像サーバ１２は、表示装置１１に対して、タイル番号２のタイルを、シーケンス番号９のパケットとして、タイル番号３のタイルを、シーケンス番号１０のパケットとして、タイル番号４のタイルを、シーケンス番号１１のパケットとして、タイル番号５のタイルを、シーケンス番号１２のパケットとして、順次、送信する。
【００５２】
画像サーバ１２は、表示装置１１から、要求するタイル番号の変更が通知されない限り、同様のタイル番号２，３，４，５のタイルを、表示装置１１に送信する。例えば、ステップＳ５の後、ステップＳ６において、画像サーバ１１は、表示装置１１に対して、タイル番号２のタイルを、シーケンス番号１３のパケットとして、タイル番号３のタイルを、シーケンス番号１４のパケットとして、タイル番号４のタイルを、シーケンス番号１５のパケットとして、タイル番号５のタイルを、シーケンス番号１６のパケットとして、順次、送信する。
【００５３】
以上のようにして、画像サーバ１２から、表示装置１１に対して、タイルがパケットとして送信される。
【００５４】
ところで、例えば、ネットワーク１０の輻輳により、画像サーバ１２から表示装置１１に送信中のパケットが欠落した場合、欠落したパケットが、表示領域１０２に対応するタイルを含んでいる場合、表示装置１１は、欠落したパケットの再送を画像サーバ１２に要求する。この場合の例を、図１１に示す。
【００５５】
なお、図１１においては、１つのタイルにつき、２つの階層で符号化されている画像の場合の例が示されている。すなわち、画像サーバ１２は、画像を分割した各タイルを、さらに低域のデータと高域のデータとに分離して、それぞれのデータ毎に１つのパケットを作成して、パケットを表示装置１１に送信する。１つのタイル分の高域データと低域データをそれぞれ格納する２つのパケットのうち、シーケンス番号が小さいパケットに低域データが含まれ、シーケンス番号が大きいパケットに高域データが含まれているものとする。なお、低域データは、それ自体で低解像度の画像を再現させることが可能なデータであり、高域データは、低域データをより高解像度にして表示させるためのデータである。
【００５６】
図１１において、左側から右側に向かって示されている３本の大きな矢印は、時間軸を表している。この平行な２本の矢印のうち、上側の矢印は、画像サーバ１２のパケット送信処理を表し、中央の矢印は、表示装置１１の、パケット受信処理を表している。下側の矢印は、表示装置１１の、画像表示処理を表している。図の左側上部の「画像サーバ」と記載されている直下に、「送信タイル番号」と記載されている。送信タイル番号は、画像サーバ１２から表示装置１１に送信されるタイルの番号のことであり、「送信タイル番号」の右方に、送信されるタイルの番号が示されている。
【００５７】
「送信タイル番号」の記載の直下には、「パケット」と記されている。「パケット」の右方には、四角形内に、番号が記されている。この四角形のそれぞれが、画像サーバ１２が送信するパケットの１つ１つを表している。また、四角形内の番号は、パケットのシーケンス番号を示している。ここで、先にも説明した通り、画像サーバ１２は、１タイルを高域データと低域データの２つのデータに分離し、各データをそれぞれ１パケットとして、表示装置１１に送信する。その際、１つのタイル分の高域データと低域データをそれぞれ格納する２つのパケットのうち、シーケンス番号が小さいパケットに低域データが含まれ、シーケンス番号が大きいパケットに高域データが含まれている。例えば、図１１のシーケンス番号１およびシーケンス番号２のパケットに、１つ分のタイルに対応するデータが格納され、シーケンス番号１のパケットに低域データが格納され、シーケンス番号２のパケットに高域データが格納される。
【００５８】
また、「パケット」の記載の右方の四角形は、８個（例えば、パケットのシーケンス番号１，２，３，４，５，６，７，８）が１セットとなっている。これは、４個分のタイルに相当する。例えば、シーケンス番号１とシーケンス番号２のパケットで、１つ分のタイル（タイル番号１のタイル）のデータを格納し、シーケンス番号３とシーケンス番号４のパケットで、１つ分のタイル（タイル番号２のタイル）のデータを格納し、シーケンス番号５とシーケンス番号６のパケットで、１つ分のタイル（タイル番号３のタイル）のデータを格納し、シーケンス番号７とシーケンス番号８のパケットで、１つ分のタイル（タイル番号４のタイル）のデータを格納する。この１セット、８個のパケットで、１フレーム分のタイルを含んでいる。
【００５９】
図１０の左側の「表示装置」の記載の直下には「パケット」と記されている。四角形内に、番号が記されている。この四角形のそれぞれが、表示装置１１が受信するパケットの１つ１つを表している。また、四角形内の番号は、画像サーバ１２側のパケットのシーケンス番号と対応している。
【００６０】
「パケット」の直下に記されている「表示領域」は、表示装置１１が表示する表示領域１０２に対応するタイルのタイル番号を表している。このタイル番号は、画像サーバ１２側のタイル番号と対応している。「表示領域」の記載の右方には、表示領域１０２に対応するタイル番号（例えば、「２，３」）が示されている。
【００６１】
さらに、図１１の１番下の時間軸、すなわち、表示装置１１の画像表示処理を示す時間軸上に示されている四角形のそれぞれは、１つのパケットを表している。四角形内の番号は、画像サーバ１２側のパケットのシーケンス番号と対応している。
【００６２】
ステップＳ２１において、画像サーバ１２は、表示装置１１に対して、タイル番号１のタイルのうち、低域データを、シーケンス番号１のパケットとして、タイル番号１のタイルのうち、高域データを、シーケンス番号２のパケットとして、タイル番号２のタイルのうち、低域データを、シーケンス番号３のパケットとして、タイル番号２のタイルのうち高域データを、シーケンス番号４のパケットとして、タイル番号３のタイルのうち、低域データを、シーケンス番号５のパケットとして、タイル番号３のタイルのうち、高域データを、シーケンス番号６のパケットとして、タイル番号４のタイルのうち、低域データを、シーケンス番号７のパケットとして、タイル番号４のタイルのうち、高域データを、シーケンス番号８のパケットとして、順次、送信する。
【００６３】
表示装置１１は、ステップＳ２１で画像サーバ１２が送信したパケットを受信してゆくが、図１１に示されるように、シーケンス番号５のパケットが、受信されなかったとする。シーケンス番号５のパケットには、表示領域１０２のタイル（タイル番号３のタイル）の低域データが格納されている。従って、このパケットがない場合、表示装置１１は、表示領域１０２の画像を表示させることができなくなる。そこで、ステップＳ２２において、表示装置１１は、シーケンス番号５のパケットを再送するように、画像サーバ１２に要求する。
【００６４】
表示装置１１からの再送要求を受信した画像サーバ１２は、ステップＳ２３において、再度、シーケンス番号５のパケットのみを、表示装置１１に送信する。シーケンス番号５のパケットは、表示装置１１に受信され記憶される。
【００６５】
次に、予め設定された所定のタイミングで、ステップＳ２４において、画像サーバ１２は、表示装置１１に対して、タイル番号１のタイルのうち、低域データを、シーケンス番号９のパケットとして、タイル番号１のタイルのうち、高域データを、シーケンス番号１０のパケットとして、タイル番号２のタイルのうち、低域データを、シーケンス番号１１のパケットとして、タイル番号２のタイルのうち高域データを、シーケンス番号１２のパケットとして、タイル番号３のタイルのうち、低域データを、シーケンス番号１３のパケットとして、タイル番号３のタイルのうち、高域データを、シーケンス番号１４のパケットとして、タイル番号４のタイルのうち、低域データを、シーケンス番号１５のパケットとして、タイル番号４のタイルのうち、高域データを、シーケンス番号１６のパケットとして、順次、送信する。
【００６６】
表示装置１１は、ステップＳ２４で画像サーバ１２が送信したパケットを受信してゆくが、図１１に示されるように、シーケンス番号１３，１４の２つのパケットが、受信されなかったとする。シーケンス番号１３およびシーケンス番号１４のパケットには、それぞれ、表示領域１０２のタイル（タイル番号３のタイル）の低域データおよび高域データが格納されている。従って、このパケットがない場合、表示装置１１は、表示領域１０２の画像を表示させることができなくなる。そこで、ステップＳ２５において、表示装置１１は、シーケンス番号５のパケットを再送するように、画像サーバ１２に要求する。
【００６７】
表示装置１１からの再送要求を受信した画像サーバ１２は、ステップＳ２６において、再度、シーケンス番号１３およびシーケンス番号１４のパケットを、表示装置１１に送信する。シーケンス番号１３およびシーケンス番号１４のパケットは、表示装置１１に受信され記憶される。
【００６８】
以上のようにして、表示装置１１は、表示領域１０２に対応するタイルのデータ（低域データおよび高域データのうち、少なくともいずれか片方のデータ）が欠落した場合、そのタイルの再送を画像サーバ１２に要求する。
【００６９】
ところで、図１１の１番下の時間軸に示されている画像の表示処理のタイミングについて説明する。ステップＳ３１において、表示装置１１は、ステップＳ２１で画像サーバ１２から受信したシーケンス番号１乃至４、およびシーケンス番号６乃至８のパケット、並びに、ステップＳ２３で受信したシーケンス番号５のパケットをバッファリングしておき、これらのパケットに格納されている１フレーム分の画像データの表示のタイミングになったとき、ステップＳ３２において、表示装置１１は、シーケンス番号１乃至８に格納されている１フレーム分の画像データを読み出し、表示領域１０２に対応する画像を表示させる。
【００７０】
ところで、画像サーバ１２から表示装置１１への送信中に、欠落したパケットが、表示領域１０２に対応するタイルのデータでは無かった場合、表示装置１１は、ネットワーク１０の輻輳の程度、および欠落パケットに格納されていたタイルの、表示領域１０２に対応するタイルとの隣接度を考慮して、再送を要求するか否かを判定する。また、画像サーバ１２から表示装置１１への送信中に、欠落したパケットが、表示領域１０２に対応するタイルのデータでは無かった場合、表示装置１１は、欠落パケットに格納されているデータの種類（高域データなのか低域データなのか）を考慮して、再送を要求するか否かを判定する。
【００７１】
図１２においては、画像サーバ１２は、表示装置１１に対して、図１１と同様にパケットを送信する。すなわち、ステップＳ５１において、画像サーバ１２は、表示装置１１に対して、タイル番号１のタイルのうち、低域データを、シーケンス番号１のパケットとして、タイル番号１のタイルのうち、高域データを、シーケンス番号２のパケットとして、タイル番号２のタイルのうち、低域データを、シーケンス番号３のパケットとして、タイル番号２のタイルのうち高域データを、シーケンス番号４のパケットとして、タイル番号３のタイルのうち、低域データを、シーケンス番号５のパケットとして、タイル番号３のタイルのうち、高域データを、シーケンス番号６のパケットとして、タイル番号４のタイルのうち、低域データを、シーケンス番号７のパケットとして、タイル番号４のタイルのうち、高域データを、シーケンス番号８のパケットとして、順次、送信する。
【００７２】
図１１の場合、表示領域１０２に対応するタイルが格納されているパケットが欠落していたが、図１２においては、表示領域１０２に対応していないタイルが格納されているパケットが欠落している。すなわち、画像サーバ１２がステップＳ５１で表示装置１１に送信したパケットのうち、シーケンス番号２のパケットのデータ（表示領域１０２には対応していないタイルの高域データ）が欠落している。
【００７３】
この場合、表示装置１１は、画像サーバ１２に対して再送を要求しないが、シーケンス番号７のパケットのデータ（表示領域１０２に対応していないタイルの低域データ）が欠落した場合、表示装置１１は、ステップＳ５２において、画像サーバ１２に対して再送を要求する。すなわち、欠落したパケットに含まれているデータが、表示領域１０２に対応していないタイルのデータである場合、表示装置１１は、欠落したパケットが高域データを含んでいるとき、画像サーバ１２に再送を要求せず、欠落したパケットが低域データを含んでいるとき、表示装置１１は、画像サーバ１２に再送を要求する。このようにすることにより、ユーザが表示領域１０２を変更する場合、変更後の表示領域１０２に対応するタイルの低域データだけは、少なくとも確保することができる。従って、表示装置１１は、低解像度である場合もあるが、表示領域１０２に対応する画像を表示させることが可能となる。
【００７４】
ステップＳ５３において、画像サーバ１２は、要求されたパケット（シーケンス番号７のパケット）を表示装置１１に再送する。ただし、先にも説明したように、ネットワークが輻輳していた場合、表示装置１１は、欠落パケットが、低域データを格納しているパケットであったとしても、画像サーバ１２に再送を要求しない。
【００７５】
すなわち、ステップＳ５４において、画像サーバ１２は、表示装置１１に対して、シーケンス番号９乃至１６のパケットを送信しているが、そのうちシーケンス番号１５のパケットが欠落パケットとなってしまったとする。この欠落パケットは、表示領域１０２ではないタイルの低域データである。しかしながら、ネットワークが輻輳していた場合、表示装置１１は、画像サーバ１２に対して、シーケンス番号１５のパケットの再送を要求しない。
【００７６】
このようにすることにより、ネットワーク１０の輻輳を増大させることを防ぐことができる。
【００７７】
次に、図１３は、画像サーバ１２の内部の構成例を示している。図１３において、操作部２０１は、画像サーバ１２の管理者の操作の入力を受け付け、入力された操作に対応する操作情報を制御部２０２に送信する。制御部２０２は、操作部２０１から受信した操作情報、および予め設定されたプログラムに従って、画像サーバ１２内の各部の動作を制御する。
【００７８】
エンコーダ２０３は、カメラ１３により取り込まれている画像を、キャプチャする。そして、エンコーダ２０３は、キャプチャした画像データを、例えばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）２０００によりエンコードし、エンコードした画像データをバッファ２０４に供給する。バッファ２０４は、エンコーダ２０３から供給された画像データを記憶し、所定のタイミングで、記憶している画像データを画像切り出し部２０６に供給する。
【００７９】
視点座標保持部２０５は、表示装置１１から通信部２０９により受信された要求タイルを記憶し、所定のタイミングで、記憶している要求タイル番号を画像切り出し部２０６に供給する。画像切り出し部２０６は、バッファ２０４から画像データを取得し、この画像データを分割してタイルを作成する。そして、視点座標保持部２０５から供給された要求タイル番号に対応するタイルをＲＴＰ（Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）パケット作成部２０７に供給する。
【００８０】
ＲＴＰパケット作成部２０７は、画像切り出し部２０６から供給されたタイルを、格納したＲＴＰパケットを作成し、送信バッファ２０８に記憶させると共に、送信バッファ２０８内においてＲＴＰパケットが記憶されているアドレスを、バッファインデックス２１２に供給する。ここで、ＲＴＰパケットとは、映像や音声の配信のようなリアルタイム性が要求されるデータストリーム転送のためのリアルタイム転送プロトコル（ＲＴＰ）に準じて作成されたパケットである。なお、リアルタイム転送プロトコルは、ＲＦＣ１８８９において規定されている。
【００８１】
送信バッファ２０８は、ＲＴＰパケット作成部２０７から供給されたパケットを記憶し、所定のタイミングで、記憶したパケットを通信部２０９に供給する。
【００８２】
通信部２０９は、送信バッファ２０８から供給されたパケットを、ネットワーク１０を介して、表示装置１１に送信する。また、通信部２０９は、ネットワーク１０を介して、表示装置１１より再送（欠落したパケットの再度の送信）要求を受信し、この要求内容をＡＲＱエンジン２１１に供給する。また、通信部２０９は、ネットワーク１０を介して、表示装置１１より要求タイルの変更の通知を受信し、この通知内容を視点座標保持部２０５に供給する。また、通信部２０９は、ネットワーク１０を介して、表示装置１１よりＲＴＣＰ（ＲＴＰ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）レシーバレポートを受信し、これを記憶部２１０に供給し、記憶させる。
【００８３】
ＡＲＱエンジン２１１は、通信部２０９から供給された再送要求に基づいて、バッファインデックス２１２内を検索し、再送を要求されたパケットが送信バッファ２０８に記憶されているか否かを判定する。そして、再送を要求されたパケットが送信バッファ２０８に記憶されていた場合、送信バッファ２０８からそのパケットを通信部２０９に供給し、ネットワーク１０を介して、表示装置１１に送信させる。
【００８４】
バッファインデックス２１２は、ＲＴＰパケット作成部２０７がパケットを記憶させた送信バッファ２０８内のアドレスを記憶する。
【００８５】
次に、図１４は、表示装置１１の内部の構成例を示している。図１４において、操作部２５１は、表示装置１１のユーザの操作の入力を受け付け、入力された操作に対応する操作情報を制御部２５２に送信する。また、操作部２５１は、ユーザにより入力された表示領域１０２の変更に関する操作情報を、表示タイル番号設定部２５３に供給する。また、操作部２５１は、マージンデータ１３１の範囲の変更に関する操作が入力された場合、その操作情報を、マージン設定部２５４に供給する。制御部２５２は、操作部２５１から受信した操作情報、および予め設定されたプログラムに従って、表示装置１１内の各部の動作を制御する。
【００８６】
表示タイル番号設定部２５３は、操作部２５１より供給された表示領域１０２の変更に関する操作情報に従って、表示領域１０２に対応するタイルのタイル番号を特定し、そのタイル番号を保持する。また、表示タイル番号設定部２５３は、特定したタイル番号をマージン設定部２５４、通信部２５５、およびＡＲＱエンジン２６０に供給する。
【００８７】
マージン設定部２５４は、操作部２５１より供給されたマージンデータ１３１の範囲の変更に関する操作情報、および表示タイル番号設定部２５３より供給された、表示領域１０２に対応するタイルのタイル番号に従ってマージンデータ１３１に対応するタイルのタイル番号を特定し、そのタイル番号を保持する。そして、マージン設定部２５４は、保持しているタイル番号を、通信部２５５に供給する。
【００８８】
通信部２５５は、ネットワーク１０を介して、画像サーバ１２より、ＲＴＰパケットを受信し、このＲＴＰパケットをバッファ２５６に供給する。また、通信部２５５は、表示タイル番号設定部２５３から表示領域１０２に対応するタイルのタイル番号を供給され、マージン設定部２５４からマージンデータ１３１のタイル番号を供給され、これらのタイル番号を、ネットワーク１０を介して画像サーバ１２に送信する。また、通信部２５５は、ＡＲＱエンジン２６０からの再送要求を、ネットワーク１０を介して、画像サーバ１２に送信する。
【００８９】
バッファ２５６は、通信部２５５から供給されたＲＴＰパケットを記憶し、所定のタイミングで、ＲＴＰパケットをデコーダ２５７に供給する。また、バッファ２５６内においてＲＴＰパケットが記憶されたアドレスをＡＲＱエンジン２６０に供給する。
【００９０】
デコーダ２５７は、バッファ２５６から供給されたＲＴＰパケット内のタイルのデータ（低域データ、および高域データ）をデコードし、表示制御部２５８に供給する。表示制御部２５８は、デコーダ２５７から供給された画像データの中から表示領域１０２の範囲を切り出して、ディスプレイ２５９に表示させる。ディスプレイ２５９は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、またはＣＲＴ（ＣａｔｈｏｄｅＲａｙ Ｔｕｂｅ）などよりなり、表示制御部２５８から供給された画像データを表示する。
【００９１】
ＡＲＱエンジン２６０は、バッファ２５６に記憶されたＲＴＰパケットのシーケンス番号に基づいて、バッファ２５６においてＲＴＰパケットが記憶されているアドレスをバッファインデックス２６１に供給し、記憶させる。また、ＡＲＱエンジン２６０は、受信したＲＴＰパケットの喪失率を演算する。また、ＡＲＱエンジン２６０は、バッファ２５６に記憶されたＲＴＰパケットのシーケンス番号に基づいて、欠落パケットの有無を判定する。欠落パケットがあった場合、ＡＲＱエンジン２６０は、そのＲＴＰパケットは、再送を要求するべきＲＴＰパケットであるのか否かを、表示タイル番号設定部２５３から供給されたタイル番号に基づいて、判定する。そして、再送を要求すべきＲＴＰパケットであると判定した場合、ＡＲＱエンジン２６０は、再送要求を、通信部２５５に供給する。
【００９２】
次に、図１５および図１６のフローチャートを参照して、表示装置１１の表示処理について説明する。また、図１７および図１８を参照して、画像サーバ１２の、画像データ送信処理について説明する。なお、表示装置１１と画像サーバ１２間の通信は、ネットワーク１０を介して行われる。以下の説明において、ネットワーク１０を介する旨の説明は省略する。
【００９３】
図１５のステップＳ２０１において、表示装置１１の制御部２５２は、操作部２５１からの操作情報に基づいて、ユーザにより画像の視聴が指示されるまで待機し、画像の視聴が指示されたとき、ステップＳ２０２に進む。
【００９４】
ステップＳ２０２において、制御部２５２からの指示により、表示装置１１の通信部２５５は、画像サーバ１２に画像の送信を要求する。
【００９５】
画像サーバ１２の制御部２０２は、図１７のステップＳ２５１において、表示装置１１より画像の視聴要求を受信するまで待機し、表示装置１１がステップＳ２０２で送信した画像の視聴要求を受信したとき、ステップＳ２５２に進む。
【００９６】
ステップＳ２５２において、画像サーバ１２の通信部２０９は、制御部２０２からの指示に従って、表示装置１１にパケット構成を通知する。
【００９７】
図１５のステップＳ２０３において、表示装置１１の通信部２５５は、画像サーバ１２がステップＳ２０３で送信したパケット構成に関する通知を受信する。パケット構成に関する通知の例を以下に示す。
【００９８】
ＯＰＴＩＯＮＳ ｒｔｓｐ：／／１０．０．１．１／ｐｉｃ．ｍｊ２ ＲＴＳＰ／１．０
ＣＳｅｑ： １
Ｐｉｃ−ｉｎｆｏ： ｈｉ １ ｌｏｗ １
【００９９】
この例では、３行目の「Ｐｉｃ−ｉｎｆｏ： ｈｉ １ ｌｏｗ １」が、高域データが１パケットに格納され、低域データが１パケットに格納されることを示している（すなわち、１タイル２パケット）。
【０１００】
ステップＳ２０４において、表示装置１１の通信部２５５は、制御部２５２からの指示により、画像サーバ１２に対して、パケット構成を了解した旨を通知する。以下に、パケット構成を了解した旨の通知の例を示す。
【０１０１】
ＲＴＳＰ／１．０ ２００ ＯＫ
ＣＳｅｑ： １
【０１０２】
ステップＳ２０３およびステップＳ２０４の処理は、例えば、ＲＦＣ２３２６で定義されているＲＴＳＰ（ＲｅａｌＴｉｍｅ Ｓｔｒｅａｍｉｎｇ Ｐｒｏｔｏｃｏｌ）のＯＰＴＩＯＮＳメソッドを用いればよい。
【０１０３】
図１７のステップＳ２５３において、画像サーバ１２の通信部２０９は、表示装置１１がステップＳ２０４で送信した、パケット構成を了解した旨の通知を受信する。
【０１０４】
ステップＳ２５４において、画像サーバ１２の制御部２０２は、バッファインデックス２１２を初期化し、これ以降表示装置１１に送信するＲＴＰパケットの、送信バッファ２０８内において記憶されているアドレスを記憶する領域を確保する。
【０１０５】
図１７のステップＳ２５５において、画像サーバ１２のエンコーダ２０３は、制御部２０２からの指示により、カメラ１３により撮影されている画像をキャプチャし、さらにキャプチャした画像データをエンコードする。そして、ステップＳ２５６において、エンコーダ２０３は、ステップＳ２５５でエンコードした画像データをバッファ２０４に記憶させる。
【０１０６】
ステップＳ２５７において、画像サーバ１２の制御部２０２は、ステップＳ２５６でバッファ２０４に記憶させた画像を送信する時刻になるまで待機し、送信時刻になったとき、処理は図１８のステップＳ２５８に進む。
【０１０７】
図１８のステップＳ２５８において、画像サーバ１２の画像切り出し部２０６は、制御部２０２からの指示により、視点座標保持部２０５に保持されているタイル番号を読み出す。視点座標保持部２０５に保持されているタイル番号のデータベースの例を図１９に示す。
【０１０８】
図１９に示されているように、タイル番号のデータベースには、表示装置１１−１乃至１１−ｎにより要求されているタイル番号が、ユーザＩＤにより識別されて記録されている。
【０１０９】
ステップＳ２５９において、画像サーバ１２の画像切り出し部２０６は、制御部２０２からの指示により、ステップＳ２５８で読み出したタイル番号に基づいて、バッファ２０４に記憶された画像データの中から、送信するタイルを切り出す。
【０１１０】
ステップＳ２６０において、画像サーバ１２のＲＴＰパケット作成部２０７は、ステップＳ２５９で画像切り出し部２０６が切り出したタイルを、画像切り出し部２０６より供給され、供給されたタイルのデータを含むＲＴＰパケットを作成する。なお、この例においては、ステップＳ２５２において、１つのタイルを高域データと低域データに分離し、それぞれをＲＴＰパケットに格納するというパケット構成を、表示装置１１に通知したので、その構成にしたがって、１つのタイルを高域データと低域データに分離し、それぞれをＲＴＰパケットに格納する。
【０１１１】
ステップＳ２６１において、画像サーバ１２のＲＴＰパケット作成部２０７は、ステップＳ２６０で作成したＲＴＰパケットを送信バッファ２０８に記憶させる。ステップＳ２６２において、ＲＴＰパケット作成部２０７は、ステップＳ２６１でＲＴＰパケットを記憶させた送信バッファ２０８内のアドレスをバッファインデックス２１２に記憶させる。図２０に示されるように、バッファインデックス２１２には、送信バッファ２０８に記憶させたＲＴＰパケットのシーケンス番号と、そのＲＴＰパケットが記憶された送信バッファ２０８内のアドレスが対応付けて記憶されている。図２０においては、左側の列に、シーケンス番号（上から順番に１，２，３，４，・・・）が示され、右側の列に、ＲＴＰパケットが記憶されたアドレスが示されている。
【０１１２】
ステップＳ２６３において、画像サーバ１２の通信部２０９は、制御部２０２からの指示に従って、ステップＳ２６１で送信バッファ２０８に記憶させたＲＴＰパケットを、表示装置１１に送信する。
【０１１３】
図１５のステップＳ２０５において、表示装置１１の通信部２５５は、画像サーバ１２より、ＲＴＰパケットを受信し、ステップＳ２０６において、制御部２５２は、ステップＳ２０５で通信部２５５により受信されたＲＴＰパケットを、バッファ２５６に記憶させる。このとき、ＡＲＱエンジン２６０は、バッファ２５６においてＲＴＰパケットが記憶されているバッファ２５６内のアドレスをバッファインデックス２６１に記憶させる。
【０１１４】
図１５のステップＳ２０７において、表示装置１１の通信部２５５は、制御部２５２からの指示に従って、画像サーバ１２に、ＲＴＣＰレシーバレポートを送信する。この際、ＡＲＱエンジン２６０は、パケット喪失率を算出し、算出したパケット喪失率を含むＲＴＣＰレシーバレポートを作成する。通信部２５５は、ＡＲＱエンジン２６０により作成されたＲＴＣＰレシーバレポートを画像サーバ１２に送信する。
【０１１５】
図１８のステップＳ２６５において、画像サーバ１２の通信部２０９は、表示装置１１がステップＳ２０７で送信したＲＴＣＰレシーバレポートを受信する。ＲＴＣＰレシーバレポートの例を、図２１に示す。図２１は、ＲＴＣＰレシーバレポートのフォーマットを示す図である。なお、ＲＴＣＰ Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃは、ＲＦＣ（Ｒｅｑｕｅｓｔ Ｆｏｒ Ｃｏｍｍｅｎｔｓ）１８８９に定義されている。
【０１１６】
図２１のＲＴＣＰレシーバレポートにおいて、１番上の段の１番左側から右に向かって、バージョン番号（ｖ）、パディング（ｐ）、ペイロードタイプ（Ｐｔ＝２０１）、メッセージ長が記録されている。上から２段目には、送信者の同期ソース識別子（ＳＳＲＣ）が記録されている。上から３段目には、左からパケット損失率、および累計喪失パケット数が記録されている。上から４段目には、最大受信シーケンス番号が記録されている。上から５段目には、パケット間隔ジッタが記録されている。上から６段目には、最新送信レポート時刻が記録されている。１番下の段には、送信レポート経過時間が記録されている。
【０１１７】
制御部２０２は、受信されたＲＴＣＰレシーバレポートを、記憶部２１０に記憶させる。
【０１１８】
図１５のステップＳ２０８において、表示装置１１の制御部２５２は、再送要求処理を実行する。ここで、表示装置１１の再送要求処理について、図２２のフローチャートを参照して説明する。
【０１１９】
表示装置１１の制御部２５２は、ステップＳ３０１において、図１５のステップＳ２０６でバッファ２５６に記憶させたＲＴＰパケットのシーケンス番号と、ＲＴＰパケットを記憶させたバッファ２５６内のアドレスを対応付けて、バッファインデックス２６１に記憶させる。図２３は、バッファインデックス２６１に記憶されたシーケンス番号とアドレスの例を示している。図２３において、左側の列にシーケンス番号（上から順番に１，２，４，５，・・・）が示され、右側の列にバッファ２５６内のアドレスが示されている。
【０１２０】
ステップＳ３０２において、ＡＲＱエンジン２６０は、制御部２５２からの指示に従って、図１５のステップＳ２０６でバッファ２５６に記憶させたＲＴＰパケットのシーケンス番号を検索し、欠落パケットがあるか否かを判定する。すなわち、画像サーバ１２から送信されてくるＲＴＰパケットには、連続したシーケンス番号が振られている。従って、１部のＲＴＰパケットが欠落した場合、そのシーケンス番号がなくなってしまう。ＡＲＱエンジン２６０は、シーケンス番号に基づいて、欠落パケットの有無を判定する。図２３の例においては、シーケンス番号３のＲＴＰパケットが欠落している。
【０１２１】
その結果、ステップＳ３０２において、ＡＲＱエンジン２６０が欠落パケットがあると判定した場合、処理はステップＳ３０３に進む。ステップＳ３０２において、ＡＲＱエンジン２６０が欠落パケットはないと判定した場合、ステップＳ３０３乃至ステップＳ３０９の処理はスキップされ、再送要求処理を終了し、処理は図１６のステップＳ２０９に進む。
【０１２２】
ステップＳ３０３において、ＡＲＱエンジン２６０は、欠落パケットのシーケンス番号を取得する。図２３の例においては、シーケンス番号３が抜けているので、ＡＲＱエンジン２６０は、シーケンス番号３を取得する。
【０１２３】
ステップＳ３０４において、ＡＲＱエンジン２６０は、まず、表示タイル番号設定部２５３から、表示領域１０２に対応するタイルのタイル番号を取得する。ＡＲＱエンジン２６０は、次に、欠落パケットに含まれているはずのデータに対応するタイルを特定する。次に、ＡＲＱエンジン２６０は、欠落パケットに含まれているはずのデータに対応するタイルが、表示領域１０２に対応するタイルと同一であるか否かを判定することにより、欠落パケットが表示領域１０２に対応するタイルのデータを含んでいるか否かを判定し、欠落パケットが、表示領域１０２に対応するタイルのデータを含んでいない場合、処理はステップＳ３０５に進む。
【０１２４】
ステップＳ３０４において、ＡＲＱエンジン２６０が、欠落パケットが、表示領域１０２に対応するタイルのデータを含んでいると判定した場合、ステップＳ３０５乃至ステップＳ３０８の処理はスキップされ、処理はステップＳ３０９に進む。
【０１２５】
ステップＳ３０５において、ＡＲＱエンジン２６０は、欠落パケットの隣接度を演算する。
【０１２６】
ステップＳ３０６において、ＡＲＱエンジン２６０は、ステップＳ３０５で演算した隣接度が、予め設定されている値ｎ（例えば、ｎ＝１）より大きいか否かを判定し、ステップＳ３０５で演算した隣接度が、ｎより大きい場合、処理はステップＳ３０７に進む。ステップＳ３０６において、ＡＲＱエンジン２６０が、ステップＳ３０５で演算した隣接度が、予め設定されている値ｎより大きくないと判定した場合、ステップＳ３０７の処理はスキップされ、処理はステップＳ３０８に進む。
【０１２７】
ステップＳ３０７において、ＡＲＱエンジン２６０は、欠落パケットは低域データを格納したＲＴＰパケットであるか否かを判定し、欠落パケットが低域データを格納したＲＴＰパケットである場合、処理はステップＳ３０８に進む。ステップＳ３０７において、ＡＲＱエンジン２６０が、欠落パケットは低域データを格納したＲＴＰパケットではない、すなわち、欠落パケットは高域データを格納したＲＴＰパケットであると判定した場合、ステップＳ３０８およびステップＳ３０９の処理はスキップされ、再送要求処理を終了し、処理は図１６のステップＳ２０９に進む。
【０１２８】
ステップＳ３０８において、ＡＲＱエンジン２６０は、ステップＳ２０７でＲＴＣＰレシーバレポートを作成する際に演算したパケット喪失率に基づいて、ネットワーク１０が、所定の基準値より輻輳しているか否かを判定し、ネットワーク１０が所定の基準値より輻輳していない場合、処理はステップＳ３０９に進む。
【０１２９】
なお、所定の基準値は、例えば、パケット喪失率１０パーセントとされる。すなわち、ＡＲＱエンジン２６０は、パケット喪失率が１０パーセント未満の場合、ネットワーク１０は輻輳していないと判定し、パケット喪失率が１０パーセント以上の場合、ネットワーク１０は輻輳していると判定する。
【０１３０】
ステップＳ３０８において、ＡＲＱエンジン２６０がネットワーク１０は、所定の基準値より輻輳していると判定した場合、ステップＳ３０９の処理はスキップされ、再送要求処理を終了し、処理は図１６のステップＳ２０９に進む。
【０１３１】
ステップＳ３０９において、ＡＲＱエンジン２６０は、通信部２５５を介して、画像サーバ１２に対して、欠落パケットの再送を要求する。図２４は、再送要求のフォーマットの例を示している。図２４は、ＲＴＣＰ Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃのフォーマットを表している。なお、ＲＴＣＰ Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃは、ＲＦＣ１８８９に定義されている。
【０１３２】
図２４において、１番上の段には、左側から右側に向かって順番に、バージョン番号（ｖ）、パディング（ｐ）、パケットタイプ（ＰＴ＝２０６）、メッセージ長が記録されている。上から２段目には、送信者の同期ソース識別子（ＳＳＲＣ）が記録されている。上から３段目には、アプリケーション名が記録されている。上から４段目には、データ、すなわち、再送を要求するＲＴＰパケットのシーケンス番号が記録されている。
【０１３３】
ここで、表示装置１１が図２２のステップＳ３０９で送信した欠落パケットの再送要求を受信する画像サーバ１２の処理について、図２５のフローチャートを参照して説明する。ステップＳ３５１において、画像サーバ１２の制御部２０２は、通信部２０９を介して、表示装置１１より再送要求を受信したか否かを判定し、表示装置１１より再送要求を受信するまで待機する。そして、表示装置１１より再送要求を受信した場合、処理はステップＳ３５２に進む。
【０１３４】
ステップＳ３５２において、制御部２０２からの指示により、ＡＲＱエンジン２１１は、表示装置１１により要求されたＲＴＰパケットが送信バッファ２０８に記憶されているか否かを判定し、表示装置１１により要求されたＲＴＰパケットが送信バッファ２０８に記憶されている場合、処理はステップＳ３５３に進む。なお、表示装置１１により要求されたＲＴＰパケットが送信バッファ２０８に記憶されているか否かの判定には、バッファインデックス２１２に記憶されているデータが利用される。
【０１３５】
すなわち、先に説明したように、バッファインデックス２１２には、図２０に示されるように、送信バッファ２０８に記憶されているＲＴＰパケットのシーケンス番号とアドレスが記憶されている。そこで、ＡＲＱエンジン２１１は、バッファインデックス２１２に記憶されたシーケンス番号に基づいて、再送を要求されているＲＴＰパケットのシーケンス番号と同一のシーケンス番号がバッファインデックス２１２に記憶されているか否かを判定する。
【０１３６】
そして、再送を要求されているＲＴＰパケットのシーケンス番号と同一のシーケンス番号がバッファインデックス２１２に記憶されていた場合、ＡＲＱエンジン２１１は、表示装置１１により要求されたＲＴＰパケットが送信バッファ２０８に記憶されていると判定する。その場合、処理はステップＳ３５３に進む。一方、再送を要求されているＲＴＰパケットのシーケンス番号と同一のシーケンス番号がバッファインデックス２１２に記憶されていなかった場合、ＡＲＱエンジン２１１は、表示装置１１により要求されたＲＴＰパケットが送信バッファ２０８に記憶されていないと判定する。その場合、処理はステップＳ３５１に戻り、ステップＳ３５１以降の処理が繰り返される。
【０１３７】
ステップＳ３５３において、画像サーバ１２のＡＲＱエンジン２１１は、送信バッファ２０８より、表示装置１１により要求されたＲＴＰパケットを読み出し、このＲＴＰパケットを、通信部２０９を介して表示装置１１に送信する。すなわち、ＡＲＱエンジン２１１は、まず、バッファインデックス２１２より、再送を要求されているＲＴＰパケットのシーケンス番号と同一のシーケンス番号と対応付けられて記憶されているアドレスを読み出す。次に、ＡＲＱエンジン２１１は、読み出したアドレスに基づいて、送信バッファ２０８内の、読み出したアドレスに記憶されているＲＴＰパケットを読み出す。次に、ＡＲＱエンジン２１１は、読み出したＲＴＰパケットを、通信部２０９を介して、表示装置１１に送信する。その後、処理はステップＳ３５１に戻る。
【０１３８】
以上で、画像サーバ１２の再送処理の説明を終了する。
【０１３９】
図１５に戻って、ステップＳ２０８の再送要求処理が終了した後、処理は図１６のステップＳ２０９に進む。ステップＳ２０９において、表示装置１１の制御部２５２は、画像を表示させるタイミングになるまで待機し、画像を表示させるタイミングになったとき、処理はステップＳ２１０に進む。
【０１４０】
ステップＳ２１０において、表示装置１１のデコーダ２５７は、制御部２５２からの指示に従って、バッファ２５６よりＲＴＰパケットに格納されている画像データのうち、表示領域１０２に対応するタイルの画像データを読み出す。ステップＳ２１１において、デコーダ２５７は、ステップＳ２１０で読み出した画像データをデコードする。
【０１４１】
ステップＳ２１２において、表示制御部２５８は、制御部２５２の指示に従って、ステップＳ２１１でデコーダ２５７がデコードした画像データを、デコーダ２５７より取得し、表示領域１０２の範囲の画像データをディスプレイ２５９に表示させる。
【０１４２】
ステップＳ２１３において、表示装置１１の制御部２５２は、操作部２５１から、視聴終了の指示が入力されたか否かを判定し、視聴終了の指示が入力された場合、処理はステップＳ２１４に進む。ステップＳ２１４において、表示装置１１の通信部２５５は、制御部２５２の指示に従って、画像サーバ１２に、視聴終了を通知する。
【０１４３】
このとき、画像サーバ１２は、通信部２０９を介して、表示装置１１より視聴終了の通知を受信するので、図１８のステップＳ２６６において、制御部２０２は、視聴終了の通知を受信したと判定し、処理はステップＳ２６７に進む。ステップＳ２６７において、画像サーバ１２の制御部２０２は、画像データ送信処理を終了する。
【０１４４】
図１６のステップＳ２１３において、表示装置１１の制御部２５２が、視聴終了の指示は入力されていないと判定した場合、処理は図１５のステップＳ２０５に戻りステップＳ２０５以降の処理が繰り返される。すなわち、ステップＳ２１３において、表示装置１１の制御部２５２が、視聴終了の指示は入力されていないと判定した場合、表示装置１１は、画像サーバ１２に対して、視聴終了の通知を送信しない。従って、図１８のステップＳ２６６において、画像サーバ１２の制御部２０２は、視聴終了の通知を受信していないと判定し、処理は図１７のステップＳ２５５に戻り、ステップＳ２５５以降の処理を実行する。よって、画像サーバ１２は、再び、ステップＳ２６３において、ＲＴＰパケットを表示装置１１に送信する。結果的に、表示装置１１は、図１５のステップＳ２０５において、再び、画像サーバ１２よりＲＴＰパケットを受信し、ステップＳ２０６以降の処理を繰り返し実行する。
【０１４５】
以上のようにして、表示装置１１の表示処理、および画像サーバ１２の画像データ送信処理が実行される。
【０１４６】
ところで、ユーザは、表示装置１１の操作部２５１を操作することにより、撮影画像１０１の中から切り出す表示領域１０２の範囲を移動させることができる。表示装置１１は、操作部２５１からの操作に従って、表示領域１０２を決定する。次に、図２６のフローチャートを参照して、表示装置１１の表示領域決定処理について説明する。
【０１４７】
画像の視聴が開始されたとき（図１５のステップＳ２０２）、表示装置１１は、表示領域決定処理を開始する。図２６のステップＳ４０１において、制御部２５２は、表示タイル番号設定部２５３を初期化する。本実施の形態においては、画像の視聴当初の表示領域１０２は、予め設定されている。すなわち、表示領域１０２に対応するタイルも予め設定されている。そこで、ステップＳ４０１において、制御部２５２は、表示タイル番号設定部２５３に、予め設定されている表示領域１０２に対応するタイルのタイル番号を記憶させる。
【０１４８】
ステップＳ４０２において、制御部２５２は、操作部２５１から操作が入力されるまで待機し、操作部２５１から操作が入力されたとき、処理はステップＳ４０３に進む。
【０１４９】
ステップＳ４０３において、制御部２５２は、ステップＳ４０２で入力されたと判定された操作が、表示領域１０２を移動させる操作であるか否かを判定し、ステップＳ４０２で入力されたと判定された操作が、表示領域１０２を移動させる操作ではない場合、処理はステップＳ４０２に戻り、ステップＳ４０２以降の処理が繰り返される。
【０１５０】
ステップＳ４０３において、制御部２５２が、ステップＳ４０２で入力されたと判定された操作が表示領域１０２を移動させる操作であると判定した場合、処理はステップＳ４０４に進む。
【０１５１】
ステップＳ４０４において、制御部２５２からの指示により、表示制御部２５８は、表示領域１０２として切り出してディスプレイ２５９に表示させる範囲を変更する。
【０１５２】
ステップＳ４０５において、表示タイル番号設定部２５３は、表示領域１０２に対応するタイルに変更があるか否かを判定し、表示領域１０２に対応するタイルに変更はない場合、処理はステップＳ４０２に戻りステップＳ４０２以降の処理を繰り返す。一方、ステップＳ４０５において、表示タイル番号設定部２５３が、表示領域１０２に対応するタイルに変更があると判定した場合、処理はステップＳ４０６に進む。
【０１５３】
例えば、変更前の表示領域１０２が、図９に示される位置であるとする。すなわち、図９においては、表示領域１０２は、タイル番号Ｔ３３，Ｔ３４，Ｔ４３，Ｔ４４の４つのタイルの中央であり、これら４つのタイルが、表示領域１０２に対応するタイルとされる。この表示領域１０２が、例えば、図２７に示されるように移動するように操作された場合、ディスプレイ２５９に表示される表示領域１０２こそ変更するが、表示領域１０２に対応するタイルは、表示領域１０２の変更前と同一、すなわち、タイル番号Ｔ３３，Ｔ３４，Ｔ４３，Ｔ４４の４つのタイルである。従って、この場合、表示タイル番号設定部２５３は、表示領域１０２に対応するタイルに変更はないと判定し、処理はステップＳ４０２に戻り、ステップＳ４０２以降の処理を繰り返す。
【０１５４】
一方、図９に示される表示領域１０２が、例えば、図２８に示されるように、移動するように操作された場合、ディスプレイ２５９に表示される撮影画像１０１の範囲が変更すると共に、表示領域１０２に対応するタイルが変更される。すなわち、表示領域１０２に対応するタイルのタイル番号は、タイル番号Ｔ３３，Ｔ３４，Ｔ４３，Ｔ４４の４つのタイルから、タイル番号Ｔ３２，Ｔ３３，Ｔ４２，Ｔ４３の４つのタイルに変更される。従って、この場合、表示タイル番号設定部２５３は、表示領域１０２に対応するタイルに変更があると判定し、処理はステップＳ４０６に進む。
【０１５５】
ステップＳ４０６において、表示タイル番号設定部２５３は、自らが保持（記憶）している、表示領域１０２に対応するタイルのタイル番号を変更する。例えば、図９に示される表示領域１０２が、図２８に示されるように、上方向に移動するように操作された場合、表示タイル番号設定部２５３に記憶されるタイル番号は、タイル番号Ｔ３３，Ｔ３４，Ｔ４３，Ｔ４４から、タイル番号Ｔ３２，Ｔ３３，Ｔ４２，Ｔ４３に変更される。
【０１５６】
ステップＳ４０７において、マージン設定部２５４は、表示タイル番号設定部２５３より、表示領域１０２に対応するタイルのタイル番号の更新情報を取得し、マージンデータ１３１に対応するタイルのタイル番号を更新する。
【０１５７】
例えば、隣接度１のタイルがマージンデータ１３１として設定され、表示領域１０２が図９に示されるように設定されている場合、マージンデータ１３１に対応するタイルのタイル番号は、Ｔ２２，Ｔ２３，Ｔ２４，Ｔ２５，Ｔ３２，Ｔ３５，Ｔ４２，Ｔ４５，Ｔ５２，Ｔ５３，Ｔ５４，Ｔ５５である。ここで、表示領域１０２が、図２８に示されるように、上方向に移動するように操作された場合、マージンデータ１３１に対応するタイルは、タイル番号Ｔ２１，Ｔ２２，Ｔ２３，Ｔ２４，Ｔ３１，Ｔ３４，Ｔ４１，Ｔ４４，Ｔ５１，Ｔ５２，Ｔ５３，Ｔ５４のタイルに変更される。
【０１５８】
従って、この場合、マージン設定部２５４は、マージンデータ１３１に対応するタイルのタイル番号を、タイル番号Ｔ２２，Ｔ２３，Ｔ２４，Ｔ２５，Ｔ３２，Ｔ３５，Ｔ４２，Ｔ４５，Ｔ５２，Ｔ５３，Ｔ５４，Ｔ５５から、タイル番号Ｔ２１，Ｔ２２，Ｔ２３，Ｔ２４，Ｔ３１，Ｔ３４，Ｔ４１，Ｔ４４，Ｔ５１，Ｔ５２，Ｔ５３，Ｔ５４に更新する。
【０１５９】
ステップＳ４０７の処理の後、ステップＳ４０８において、表示装置１１の通信部２５５は、制御部２５２からの指示により、表示タイル番号設定部２５３から、表示領域１０２に対応するタイルのタイル番号（更新されたタイル番号）を取得し、また、マージン設定部２５４から、マージンデータ１３１に対応するタイルのタイル番号（更新されたタイル番号）を取得し、これらのタイル番号を、まとめて、画像サーバ１２に送信し、要求するタイルのタイル番号の変更を通知する。
【０１６０】
ステップＳ４０８において、表示装置１１から画像サーバ１２に送信される、タイル番号変更の通知の例を図２９に示す。図２９は、再送要求のフォーマットの例を示している。図２９は、ＲＴＣＰ Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃのフォーマットを表している。なお、ＲＴＣＰ Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃは、ＲＦＣ１８８９に定義されている。
【０１６１】
図２９において、１番上の段には、左側から右側に向かって順番に、バージョン番号（ｖ）、パディング（ｐ）、パケットタイプ（ＰＴ＝２０５）、メッセージ長が記録されている。上から２段目には、送信者の同期ソース識別子（ＳＳＲＣ）が記録されている。上から３段目には、アプリケーション名が記録されている。上から４段目には、データ、すなわち、変更後のタイル番号が記録されている。
【０１６２】
例えば、図９に示される表示領域１０２が、図２８に示されるように、上方向に移動するように操作された場合、図２９のデータとして、タイル番号Ｔ２１，Ｔ２２，Ｔ２３，Ｔ２４，Ｔ３１，Ｔ３２，Ｔ３３，Ｔ３４，Ｔ４１，Ｔ４２，Ｔ４３，Ｔ４４，Ｔ５１，Ｔ５２，Ｔ５３，Ｔ５４が記録される。
【０１６３】
ステップＳ４０８の処理の後、処理はステップＳ４０２に戻り、ステップＳ４０２以降の処理が繰り返される。
【０１６４】
画像サーバ１２は、表示装置１１からのタイル番号変更の通知に従って、表示装置１１に送信するタイルのタイル番号を変更する。次に、図３０のフローチャートを参照して、画像サーバ１２の表示領域決定処理について説明する。
【０１６５】
ステップＳ４５１において、画像サーバ１２の制御部２０２は、表示装置１１から、画像視聴の要求を受信したとき（ステップＳ２５１）、視点情報保持部を初期化する。本実施の形態においては、画像の視聴当初の表示領域１０２は、予め設定されている。すなわち、表示領域１０２に対応するタイルも予め設定されている。ステップＳ４５１において、制御部２０２は、視点座標保持部２０５に、予め設定されている表示領域１０２に対応するタイルのタイル番号を記憶させる。
【０１６６】
ステップＳ４５２において、画像サーバ１２の制御部２０２は、通信部２０９を介して、表示装置１１より要求タイルの変更の通知（図２６のステップＳ４０８で送信された通知）を受信するまで待機し、表示装置１１より要求タイルの変更の通知を受信したとき、ステップＳ４５３に進む。
【０１６７】
ステップＳ４５３において、画像サーバ１２の制御部２０２は、通信部２０９に受信された要求タイルの変更の通知から、更新後のタイル番号を読み出し、このタイル番号を視点座標保持部２０５に記憶させる。例えば、図２９のデータとして、タイル番号Ｔ２１，Ｔ２２，Ｔ２３，Ｔ２４，Ｔ３１，Ｔ３２，Ｔ３３，Ｔ３４，Ｔ４１，Ｔ４２，Ｔ４３，Ｔ４４，Ｔ５１，Ｔ５２，Ｔ５３，Ｔ５４が記録されていた場合、図２９に示される通知を受信したとき、制御部２０２は、視点座標保持部２０５に、タイル番号Ｔ２１，Ｔ２２，Ｔ２３，Ｔ２４，Ｔ３１，Ｔ３２，Ｔ３３，Ｔ３４，Ｔ４１，Ｔ４２，Ｔ４３，Ｔ４４，Ｔ５１，Ｔ５２，Ｔ５３，Ｔ５４を記憶させる。
【０１６８】
ステップＳ４５３の処理の後、処理はステップＳ４５２に戻り、ステップＳ４５２以降の処理が繰り返される。
【０１６９】
ところで、マージンデータ１３１に含めるタイルの隣接度を変更すると、マージンデータ１３１に対応するタイルが変更される。次に、図３１のフローチャートを参照して、表示装置１１のマージン設定処理について説明する。
【０１７０】
本実施の形態においては、画像の視聴当初のマージンデータ１３１は、予め設定されている。すなわち、マージンデータ１３１に対応するタイルも予め設定されている。そこで、ステップＳ５０１において、制御部２５２は、マージン設定部２５４に、予め設定されているマージンデータ１３１に対応するタイルのタイル番号を記憶させる。
【０１７１】
ステップＳ５０２において、制御部２５２は、操作部２５１から操作が入力されるまで待機し、操作部２５１から操作が入力された場合、処理はステップＳ５０３に進む。ステップＳ５０３において、制御部２５２は、ステップＳ５０２で入力されたと判定された操作が、マージン設定の変更であるか否かを判定し、ステップＳ５０２で入力されたと判定された操作が、マージン設定の変更ではない場合、処理はステップＳ５０２に戻り、ステップＳ５０２以降の処理を繰り返す。
【０１７２】
ステップＳ５０３において、制御部２５２が、ステップＳ５０２で入力されたと判定された操作がマージン設定の変更であると判定した場合、処理はステップＳ５０４に進む。ステップＳ５０４において、マージン設定部２５４は、制御部２５１からの指示に従って、マージンデータ１３１に対応するタイルのタイル番号の記憶を更新する。
【０１７３】
例えば、図３に示されるように表示領域１０２が設定され、隣接度１のタイルがマージンデータとして設定されていた場合、マージン設定部２５４には、マージンデータに対応するタイルのタイル番号Ｔ３２，Ｔ３３，Ｔ３４，Ｔ４２，Ｔ４４，Ｔ５２，Ｔ５３，Ｔ５４が記憶されている。ここで、隣接度２のタイルまで、マージンデータに含める指示が入力された場合、マージン設定部２５４は、マージンデータに対応するタイルのタイル番号を、Ｔ２１，Ｔ２２，Ｔ２３，Ｔ２４，Ｔ２５，Ｔ３１，Ｔ３２，Ｔ３３，Ｔ３４，Ｔ３５，Ｔ４１，Ｔ４２，Ｔ４４，Ｔ４５，Ｔ５１，Ｔ５２，Ｔ５３，Ｔ５４，Ｔ５５，Ｔ６１，Ｔ６２，Ｔ６３，Ｔ６４，Ｔ６５として、記憶を更新する。
【０１７４】
ステップＳ５０４の処理の後、ステップＳ５０５において、表示装置１１の制御部２５２は、図２９のフォーマットのデータに、マージン設定部２５４に記憶されたタイル番号を記録した通知を、通信部２５５を介して、画像サーバ１２に送信する。
【０１７５】
その後、ステップＳ５０２に戻り、ステップＳ５０２以降の処理を繰り返す。
【０１７６】
表示装置１１がステップＳ５０５で送信した通知を受信した画像サーバ１２は、図３０のフローチャートに示されたものと同様の処理を実行し、表示装置１１に送信するタイルのタイル番号を変更する。
【０１７７】
以上、本実施の形態において説明したように、欠落したＲＴＰパケットに格納されているタイルのデータが表示領域１０２に対応したタイルのデータではない場合、ネットワークが輻輳している場合、欠落したＲＴＰパケットに格納されたデータが高域データである場合などに、表示装置１１から画像サーバ１２に再送を要求しないようにすることにより、ネットワーク１０の輻輳を低減することが可能となる。
【０１７８】
なお、本実施の形態においては、画像サーバ１２は、表示装置１１に対して、エンコードした画像データのみを送信する場合について説明したが、画像サーバ１２は、勿論、画像データと共に、音声データを送信するようにすることができる。すなわち、画像サーバ１２は、カメラ１３に備えられたマイクロフォンにより集音された音声データを、エンコーダ２０３により、画像データと共にエンコードし、通信部２０９を介して、表示装置１１に送信することができる。
【０１７９】
また、図１４には、画像サーバ１２から受信した音声データを再生するスピーカが記載されていないが、スピーカをさらに備えるようにすることもできる。すなわち、表示装置１１が、通信部２５５を介して、画像サーバ１２から受信したデータは、デコーダ２５７によりデコードされ、デコードされたデータのうち、画像データは、表示制御部２５８に表示され、音声データは、スピーカに供給され、音声データに対応する音声が出力される。
【０１８０】
また、本実施の形態においては、画像サーバ１２は、カメラ１３から取り込まれた画像をエンコードする場合を例として説明しているが、このことは、本発明がカメラ１３から取り込まれた画像をエンコードする場合に限定されることを意味するものではない。画像サーバ１２は、例えば、予め所定の記録媒体に記録された画像データをキャプチャし、エンコーダ２０３でエンコードし、通信部２０９を介して、表示装置１１に送信することもできる。
【０１８１】
上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウェアにより実行させることもできる。この場合、例えば、画像サーバ１２、または表示装置１１は、図３２に示されるような汎用のパーソナルコンピュータ７００により構成される。
【０１８２】
図３２において、ＣＰＵ７０１は、ＲＯＭ７０２に記憶されているプログラム、または記憶部７０９からＲＡＭ７０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７０３にはまた、ＣＰＵ７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１８３】
ＣＰＵ７０１、ＲＯＭ７０２、およびＲＡＭ７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インターフェース７０５も接続されている。
【０１８４】
入出力インターフェース７０５には、キーボード、マウスなどよりなる操作部７０６、スピーカなどよりなり、音声を出力する音声出力部７０７、ＬＣＤ、またはＣＲＴ（ＣａｔｈｏｄｅＲａｙ Ｔｕｂｅ）などよりなるディスプレイ７０８、ハードディスクなどより構成される記憶部７０９、モデム、ターミナルアダプタなどより構成される通信部７１０が接続されている。通信部７１０は、インターネットを含むネットワーク１０を介しての通信処理を行う。
【０１８５】
入出力インターフェース７０５にはまた、必要に応じてドライブ７１１が接続され、磁気ディスク７２１、光ディスク７２２、光磁気ディスク７２３、或いは半導体メモリ７２４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７０９にインストールされる。
【０１８６】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０１８７】
この記録媒体は、図３２に示されるように、装置本体とは別に、ユーザにプログラムを供給するために配布される、プログラムが記憶されている磁気ディスク７２１（フレキシブルディスクを含む）、光ディスク７２２（ＣＤ−ＲＯＭ，ＤＶＤを含む）、光磁気ディスク７２３（ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）を含む）、もしくは半導体メモリ７２４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに供給される、プログラムが記憶されているＲＯＭ７０２や、記憶部７０９に含まれるハードディスクなどで構成される。
【０１８８】
また、記録媒体へのプログラムの格納は、必要に応じて通信部７１０を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった有線または無線の通信媒体を利用して行われるようにしても良い。
【０１８９】
なお、本明細書において、媒体により提供されるプログラムを記述するステップは、記載された順序に従って、時系列的に行われる処理は勿論、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１９０】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１９１】
【発明の効果】
以上のように、第１の本発明によれば、ネットワークを介して画像データが格納されたパケットを送信することが可能となる。
【０１９２】
また、第１の本発明によれば、パケットの再送を原因とするネットワークの輻輳を、減少させることができる。
【０１９３】
第２の本発明によれば、ネットワークを介して画像データが格納されたパケットを受信し、表示することが可能となる。
【０１９４】
また、第２の本発明によれば、パケットの再送を原因とするネットワークの輻輳を、減少させることができる。
【図面の簡単な説明】
【図１】本発明を適用したサービス提供システムの構成例を示すブロック図である。
【図２】カメラにより撮影された画像の例を示す図である。
【図３】撮影画像、タイル、および表示領域の関係を説明する図である。
【図４】マージンデータについて説明する図である。
【図５】マージンデータについて説明する別の図である。
【図６】隣接度について説明する図である。
【図７】撮影画像、タイル、および表示領域の関係を説明する図である。
【図８】撮影画像、タイル、および表示領域の関係を説明する別の図である。
【図９】撮影画像、タイル、および表示領域の関係を説明するさらに別の図である。
【図１０】画像サーバから表示装置に送信されるパケットとタイルの関係を説明する図である。
【図１１】パケットの再送処理を説明する図である。
【図１２】パケットの再送処理を説明する別の図である。
【図１３】画像サーバの内部の構成例を示すブロック図である。
【図１４】表示装置の内部の構成例を示すブロック図である。
【図１５】表示装置の表示処理を説明するフローチャートである。
【図１６】表示装置の表示処理を説明する、図１５に続くフローチャートである。
【図１７】画像サーバの画像データ送信処理を説明するフローチャートである。
【図１８】画像サーバの画像データ送信処理を説明する、図１７に続くフローチャートである。
【図１９】視点座標保持部に記憶されるデータベースの例を示す図である。
【図２０】画像サーバのバッファインデックスに記憶されるデータの例を示す図である。
【図２１】ＲＴＣＰレシーバレポートのフォーマットを説明する図である。
【図２２】表示装置の再送要求処理を説明するフローチャートである。
【図２３】表示装置のバッファインデックスに記憶されるデータの例を示す図である。
【図２４】図２２のステップＳ３０９において送信されるパケットのフォーマットを説明する図である。
【図２５】画像サーバの再送処理を説明するフローチャートである。
【図２６】表示装置の表示領域決定処理を説明するフローチャートである。
【図２７】表示領域の移動を説明するための図である。
【図２８】表示領域の移動に伴う、表示領域に対応するタイルの変更を説明するための図である。
【図２９】図２６のステップＳ４０８において送信されるパケットのフォーマットを説明する図である。
【図３０】画像サーバの表示領域決定処理を説明するフローチャートである。
【図３１】表示装置のマージン設定処理を説明するフローチャートである。
【図３２】本発明を適用したパーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
１０ ネットワーク， １１−１，１１−２，１１−３，１１−ｎ 表示装置， １２ 画像サーバ， １３ カメラ， ２０１ 操作部， ２０２ 制御部， ２０３ エンコーダ， ２０４ バッファ， ２０５ 視点座標保持部， ２０６ 画像切り出し部， ２０７ ＲＴＰパケット作成部， ２０８ 送信バッファ， ２０９通信部， ２１０ 記憶部， ２１１ ＡＲＱエンジン， ２１２ バッファインデックス， ２５１ 操作部， ２５２ 制御部， ２５３ 表示タイル番号設定部，２５４ マージン設定部， ２５５ 通信部， ２５６ バッファ， ２５７ デコーダ， ２５８ 表示制御部， ２５９ ディスプレイ， ２６０ ＡＲＱエンジン， ２６１ バッファインデックス
Claims (9)
- 第１の画像を格子状に分割した複数の第２の画像のうち、表示装置により表示される表示領域に対応する１以上の第３の画像、および前記第３の画像の周囲を囲む複数の第４の画像を前記表示装置に供給する情報処理装置において、
１以上の前記第３の画像、および複数の前記第４の画像の個々を識別するための第１の識別情報を記憶する第１の記憶手段と、
前記第１の記憶手段により記憶された前記第１の識別情報に基づいて、前記第３の画像および前記第４の画像を含む１以上のパケットを作成する第１の作成手段と、
前記第１の作成手段により作成された前記パケットを記憶する第２の記憶手段と、
前記第１の作成手段により作成された前記パケットが記憶された前記第２の記憶手段におけるアドレスを、前記パケットを識別する第２の識別情報と対応付けて記憶する第３の記憶手段と、
前記第２の記憶手段により記憶された前記パケットを前記表示装置に送信する第１の送信手段と、
前記表示装置より、前記表示装置が受信できなかった欠落パケットの再送要求を受信する第１の受信手段と、
前記第１の受信手段により受信された前記欠落パケットの再送要求に含まれている前記第２の識別情報に基づいて、前記第３の記憶手段により記憶されている前記パケットの前記アドレスを特定する特定手段と、
前記特定手段により特定された前記アドレスに記憶されている前記パケットを、前記第２の記憶手段より読み出す読み出し手段と、
前記読み出し手段により読み出された前記パケットを前記表示装置に送信する第２の送信手段と
を備えることを特徴とする情報処理装置。 - 前記表示装置より、前記第１の識別情報の変更の通知を受信する第２の受信手段をさらに備え、
前記第１の記憶手段は、前記第２の受信手段により前記通知が受信された場合、前記第１の識別情報の記憶を更新する
ことを特徴とする請求項１に記載の情報処理装置。 - 前記第１の画像を撮影する撮影手段と、
前記撮影手段により撮影された前記第１の画像を格子状に分割して前記第２の画像を作成する第２の作成手段と
をさらに備える
ことを特徴とする請求項１に記載の情報処理装置。 - 第１の画像を格子状に分割した複数の第２の画像のうち、表示装置により表示される表示領域に対応する１以上の第３の画像、および前記第３の画像の周囲を囲む複数の第４の画像を前記表示装置に供給する情報処理装置の情報処理方法において、
１以上の前記第３の画像、および複数の前記第４の画像の個々を識別するための第１の識別情報を記憶する第１の記憶ステップと、
前記第１の記憶ステップの処理により記憶された前記第１の識別情報に基づいて、前記第３の画像および前記第４の画像を含む１以上のパケットを作成する作成ステップと、
前記作成ステップの処理により作成された前記パケットを所定の記憶手段に記憶する第２の記憶ステップと、
前記作成ステップの処理により作成された前記パケットが記憶された前記記憶手段におけるアドレスを、前記パケットを識別する第２の識別情報と対応付けて記憶する第３の記憶ステップと、
前記第２の記憶ステップの処理により記憶された前記パケットを前記表示装置に送信する第１の送信ステップと、
前記表示装置より、前記表示装置が受信できなかった欠落パケットの再送要求を受信する受信ステップと、
前記受信ステップの処理により受信された前記欠落パケットの再送要求に含まれている前記第２の識別情報に基づいて、前記第３の記憶ステップの処理により記憶されている前記パケットの前記アドレスを特定する特定ステップと、
前記特定ステップの処理により特定された前記アドレスに記憶されている前記パケットを、読み出す読み出しステップと、
前記読み出しステップの処理により読み出された前記パケットを前記表示装置に送信する第２の送信ステップと
を含むことを特徴とする情報処理方法。 - 第１の画像を格子状に分割した複数の第２の画像のうち、表示装置により表示される表示領域に対応する１以上の第３の画像、および前記第３の画像の周囲を囲む複数の第４の画像を前記表示装置に供給する情報処理装置を制御するコンピュータに、
１以上の前記第３の画像、および複数の前記第４の画像の個々を識別するための第１の識別情報の記憶を制御する第１の記憶制御ステップと、
前記第１の記憶制御ステップの処理により記憶が制御された前記第１の識別情報に基づいて、前記第３の画像および前記第４の画像を含む１以上のパケットを作成する作成ステップと、
前記作成ステップの処理により作成された前記パケットの所定の記憶手段への記憶を制御する第２の記憶制御ステップと、
前記作成ステップの処理により作成された前記パケットが記憶された前記記憶手段におけるアドレスの、前記パケットを識別する第２の識別情報と対応付けた記憶を制御する第３の記憶制御ステップと、
前記第２の記憶制御ステップの処理により記憶が制御された前記パケットの前記表示装置への送信を制御する第１の送信制御ステップと、
前記表示装置からの、前記表示装置が受信できなかった欠落パケットの再送要求の受信を制御する受信制御ステップと、
前記受信制御ステップの処理により受信が制御された前記欠落パケットの再送要求に含まれている前記第２の識別情報に基づいて、前記第３の記憶制御ステップの処理により記憶が制御されている前記パケットの前記アドレスを特定する特定ステップと、
前記特定ステップの処理により特定された前記アドレスに記憶されている前記パケットを、読み出す読み出しステップと、
前記読み出しステップの処理により読み出された前記パケットの前記表示装置への送信を制御する第２の送信制御ステップと
を実行させることを特徴とするプログラム。 - 第１の画像を格子状に分割した複数の第２の画像のうち、表示領域に対応する第３の画像、および前記第３の画像の周囲を囲む第４の画像を含むパケットを情報処理装置から受信する第１の受信手段と、
前記第１の受信手段により受信された前記パケットを記憶する記憶手段と、
前記情報処理装置と前記表示装置間のネットワークの輻輳の程度を示す輻輳情報を取得する取得手段と、
前記第１の受信手段により前記情報処理装置から受信することができなかったパケットを検出する検出手段と、
前記検出手段により前記情報処理装置から受信することができなかった欠落パケットが検出された場合、前記欠落パケットが前記第３の画像を含む前記パケットであるか否かを判定する第１の判定手段と、
前記第１の判定手段により、前記欠落パケットは前記第３の画像を含む前記パケットではないと判定された場合、前記取得手段により取得された前記輻輳情報に基づいて、前記欠落パケットを前記表示装置に要求するか否かを判定する第２の判定手段と、
前記第１の判定手段により、前記欠落パケットは前記第３の画像を含む前記パケットであると判定された場合、および前記第２の判定手段により前記欠落パケットを前記表示装置に要求すると判定された場合、前記欠落パケットを送信するように前記情報処理装置に要求する要求手段と、
前記情報処理装置より、前記欠落パケットを受信する第２の受信手段と、
前記第２の受信手段により受信された前記欠落パケットを前記記憶手段に記憶させる制御手段と、
前記記憶手段により記憶された前記パケットおよび前記欠落パケットから、前記第３の画像データを読み出し、前記表示領域内の画像を表示する表示手段と
を備えることを特徴とする表示装置。 - 前記表示領域の変更の指示を受け付ける受付手段と、
前記受付手段により前記表示領域の変更の指示が受け付けられた場合、変更後の前記表示領域に対応する前記第３の画像および前記第４の画像の識別情報を特定する特定手段と、
前記特定手段により特定された前記識別情報、並びに前記第３の画像および前記第４の画像の変更の通知を前期情報処理装置に送信する送信手段と
をさらに備えることを特徴とする請求項６に記載の情報処理装置。 - 第１の画像を格子状に分割した複数の第２の画像のうち、表示領域に対応する第３の画像、および前記第３の画像の周囲を囲む第４の画像を含むパケットを情報処理装置から受信する第１の受信ステップと、
前記第１の受信ステップの処理により受信された前記パケットを所定の記憶手段に記憶する記憶ステップと、
前記情報処理装置と前記表示装置間のネットワークの輻輳の程度を示す輻輳情報を取得する取得ステップと、
前記第１の受信ステップの処理により前記情報処理装置から受信することができなかったパケットを検出する検出ステップと、
前記検出ステップの処理により前記情報処理装置から受信することができなかった欠落パケットが検出された場合、前記欠落パケットが前記第３の画像を含む前記パケットであるか否かを判定する第１の判定ステップと、
前記第１の判定ステップの処理により、前記欠落パケットは前記第３の画像を含む前記パケットではないと判定された場合、前記取得ステップの処理により取得された前記輻輳情報に基づいて、前記欠落パケットを前記表示装置に要求するか否かを判定する第２の判定ステップと、
前記第１の判定ステップの処理により、前記欠落パケットは前記第３の画像を含む前記パケットであると判定された場合、および前記第２の判定ステップの処理により前記欠落パケットを前記表示装置に要求すると判定された場合、前記欠落パケットを送信するように前記情報処理装置に要求する要求ステップと、
前記情報処理装置より、前記欠落パケットを受信する第２の受信ステップと、
前記第２の受信ステップの処理により受信された前記欠落パケットを前記記憶手段に記憶させる制御ステップと、
前記記憶手段に記憶された前記パケットおよび前記欠落パケットから、前記第３の画像データを読み出し、前記表示領域内の画像を表示する表示ステップと
を含むことを特徴とする表示方法。 - 第１の画像を格子状に分割した複数の第２の画像のうち、表示領域に対応する第３の画像、および前記第３の画像の周囲を囲む第４の画像を含むパケットの情報処理装置からの受信を制御する第１の受信制御ステップと、
前記第１の受信制御ステップの処理により受信が制御された前記パケットの所定の記憶手段への記憶を制御する第１の記憶制御ステップと、
前記情報処理装置と前記表示装置間のネットワークの輻輳の程度を示す輻輳情報を取得する取得ステップと、
前記第１の受信制御ステップの処理により前記情報処理装置からの受信を制御することができなかったパケットを検出する検出ステップと、
前記検出ステップの処理により前記情報処理装置からの受信を制御することができなかった欠落パケットが検出された場合、前記欠落パケットが前記第３の画像を含む前記パケットであるか否かを判定する第１の判定ステップと、
前記第１の判定ステップの処理により、前記欠落パケットは前記第３の画像を含む前記パケットではないと判定された場合、前記取得ステップの処理により取得された前記輻輳情報に基づいて、前記欠落パケットを前記表示装置に要求するか否かを判定する第２の判定ステップと、
前記第１の判定ステップの処理により、前記欠落パケットは前記第３の画像を含む前記パケットであると判定された場合、および前記第２の判定ステップの処理により前記欠落パケットを前記表示装置に要求すると判定された場合、前記欠落パケットを送信するように前記情報処理装置に要求する要求ステップと、
前記情報処理装置からの、前記欠落パケットの受信を制御する第２の受信制御ステップと、
前記第２の受信制御ステップの処理により受信が制御された前記欠落パケットの前記記憶手段への記憶を制御する第２の記憶制御ステップと、
前記記憶手段に記憶された前記パケットおよび前記欠落パケットからの、前記第３の画像データの読み出し、および前記表示領域内の画像の表示を制御する表示制御ステップと
をコンピュータに実行させることを特徴とするプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002205396A JP2004048546A (ja) | 2002-07-15 | 2002-07-15 | 情報処理装置および方法、表示装置および方法、並びにプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002205396A JP2004048546A (ja) | 2002-07-15 | 2002-07-15 | 情報処理装置および方法、表示装置および方法、並びにプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004048546A true JP2004048546A (ja) | 2004-02-12 |
Family
ID=31710716
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002205396A Withdrawn JP2004048546A (ja) | 2002-07-15 | 2002-07-15 | 情報処理装置および方法、表示装置および方法、並びにプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004048546A (ja) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009277261A (ja) * | 2008-05-12 | 2009-11-26 | Sony Corp | コンテンツ再生装置、ステータスバー表示方法及びステータスバー表示プログラム |
| US7783700B2 (en) | 2006-10-24 | 2010-08-24 | Kabushiki Kaisha Toshiba | Server apparatus, screen sharing method and computer readable medium |
| WO2011007701A1 (ja) * | 2009-07-16 | 2011-01-20 | 株式会社Ｇｕｎｚｏｏ | 送信装置、受信装置、送信方法、受信方法及び伝送システム |
| JP2011504036A (ja) * | 2007-11-15 | 2011-01-27 | エスケーテレコム株式会社 | 端末機の動きによってメディアを再生する方法、システム及びサーバ |
| JP2015220595A (ja) * | 2014-05-16 | 2015-12-07 | 株式会社ユニモト | 全周動画配信システム、全周動画配信方法、通信端末装置およびそれらの制御方法と制御プログラム |
| US9741091B2 (en) | 2014-05-16 | 2017-08-22 | Unimoto Incorporated | All-around moving image distribution system, all-around moving image distribution method, image processing apparatus, communication terminal apparatus, and control methods and control programs of image processing apparatus and communication terminal apparatus |
| WO2018123646A1 (ja) * | 2016-12-28 | 2018-07-05 | ソニー株式会社 | 生成装置、識別情報生成方法、再生装置および画像生成方法 |
| JPWO2017195650A1 (ja) * | 2016-05-13 | 2019-03-14 | ソニー株式会社 | 生成装置および生成方法、並びに、再生装置および再生方法 |
| JP2021185713A (ja) * | 2017-06-02 | 2021-12-09 | ヴィド スケール インコーポレイテッド | 次世代ネットワークを介した３６０度ビデオ配信 |
-
2002
- 2002-07-15 JP JP2002205396A patent/JP2004048546A/ja not_active Withdrawn
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7783700B2 (en) | 2006-10-24 | 2010-08-24 | Kabushiki Kaisha Toshiba | Server apparatus, screen sharing method and computer readable medium |
| JP2011504036A (ja) * | 2007-11-15 | 2011-01-27 | エスケーテレコム株式会社 | 端末機の動きによってメディアを再生する方法、システム及びサーバ |
| US8560721B2 (en) | 2007-11-15 | 2013-10-15 | Sk Planet Co., Ltd. | Method, system and server playing media using user equipment with motion sensor |
| JP2009277261A (ja) * | 2008-05-12 | 2009-11-26 | Sony Corp | コンテンツ再生装置、ステータスバー表示方法及びステータスバー表示プログラム |
| JP4650701B2 (ja) * | 2008-05-12 | 2011-03-16 | ソニー株式会社 | コンテンツ再生装置、ステータスバー表示方法及びステータスバー表示プログラム |
| US8644968B2 (en) | 2008-05-12 | 2014-02-04 | Sony Corporation | Content reproduction apparatus, status bar display method, and status bar display program |
| WO2011007701A1 (ja) * | 2009-07-16 | 2011-01-20 | 株式会社Ｇｕｎｚｏｏ | 送信装置、受信装置、送信方法、受信方法及び伝送システム |
| JP2011024018A (ja) * | 2009-07-16 | 2011-02-03 | Gunzoo Inc | 送信装置、受信装置、送信方法、受信方法及び伝送システム |
| CN102474659A (zh) * | 2009-07-16 | 2012-05-23 | 株式会社Gnzo | 发送装置、接收装置、发送方法、接收方法以及传输系统 |
| EP2456201A1 (en) * | 2009-07-16 | 2012-05-23 | Gnzo Inc. | Transmitting apparatus, receiving apparatus, transmitting method, receiving method and transport system |
| EP2456201A4 (en) * | 2009-07-16 | 2014-08-13 | Gnzo Inc | TRANSMISSION DEVICE, RECEIVING DEVICE, TRANSMISSION METHOD, RECEIVING METHOD AND TRANSPORT SYSTEM |
| CN102474659B (zh) * | 2009-07-16 | 2015-11-25 | 株式会社Gnzo | 发送装置、接收装置、发送方法、接收方法以及传输系统 |
| JP2015220595A (ja) * | 2014-05-16 | 2015-12-07 | 株式会社ユニモト | 全周動画配信システム、全周動画配信方法、通信端末装置およびそれらの制御方法と制御プログラム |
| US9741091B2 (en) | 2014-05-16 | 2017-08-22 | Unimoto Incorporated | All-around moving image distribution system, all-around moving image distribution method, image processing apparatus, communication terminal apparatus, and control methods and control programs of image processing apparatus and communication terminal apparatus |
| JPWO2017195650A1 (ja) * | 2016-05-13 | 2019-03-14 | ソニー株式会社 | 生成装置および生成方法、並びに、再生装置および再生方法 |
| WO2018123646A1 (ja) * | 2016-12-28 | 2018-07-05 | ソニー株式会社 | 生成装置、識別情報生成方法、再生装置および画像生成方法 |
| JPWO2018123646A1 (ja) * | 2016-12-28 | 2019-10-31 | ソニー株式会社 | 生成装置、識別情報生成方法、再生装置および画像生成方法 |
| JP2022040409A (ja) * | 2016-12-28 | 2022-03-10 | ソニーグループ株式会社 | 再生装置および画像生成方法 |
| CN114745534A (zh) * | 2016-12-28 | 2022-07-12 | 索尼公司 | 再现装置、图像再现方法及计算机可读介质 |
| JP7218826B2 (ja) | 2016-12-28 | 2023-02-07 | ソニーグループ株式会社 | 再生装置および画像生成方法 |
| JP2021185713A (ja) * | 2017-06-02 | 2021-12-09 | ヴィド スケール インコーポレイテッド | 次世代ネットワークを介した３６０度ビデオ配信 |
| JP7206341B2 (ja) | 2017-06-02 | 2023-01-17 | ヴィド スケール インコーポレイテッド | 次世代ネットワークを介した３６０度ビデオ配信 |
| US11770594B2 (en) | 2017-06-02 | 2023-09-26 | Vid Scale, Inc. | 360-degree video delivery over next generation network |
| JP7473693B2 (ja) | 2017-06-02 | 2024-04-23 | ヴィド スケール インコーポレイテッド | 次世代ネットワークを介した３６０度ビデオ配信 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111586480B (zh) | 低延迟流媒体 | |
| JP3757857B2 (ja) | データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム | |
| KR101633239B1 (ko) | 공간적으로-세그먼트된 콘텐츠 전달 | |
| CN104137559B (zh) | 在无线显示系统中的宿设备处的定制回放 | |
| JP3816898B2 (ja) | ワイヤレス・ローカル・エリア・ネットワークによるリアルタイム映像・音声データの一対多伝送方法及びシステム | |
| JP2006319696A (ja) | 送受信システム、送信装置および送信方法、受信装置および受信方法、並びにプログラム | |
| KR20170130253A (ko) | 적응형 스트리밍 서비스 제공 방법 및 이를 위한 장치 | |
| JPWO2005086009A1 (ja) | メディア配信装置及びメディア受信装置 | |
| JP2008193510A (ja) | 映像送信装置、映像受信装置、及び映像伝送システム | |
| JP2004048546A (ja) | 情報処理装置および方法、表示装置および方法、並びにプログラム | |
| US7266610B2 (en) | Picture distribution system and method, picture distribution apparatus and a method therefor, picture receiving apparatus and a method therefore, and recording medium and program used therewith | |
| JP2004056393A (ja) | 再生データの保存結果の修復システム | |
| US20150113582A1 (en) | Communication System, Terminal Device, Video Display Method, and Storage Medium | |
| JPWO2012114774A1 (ja) | 動画像符号化装置および動画像復号装置 | |
| JP2015138990A (ja) | 受信装置、送信装置及び通信システム | |
| JP4580277B2 (ja) | コンテンツ送信装置及びそのプログラム、並びに、コンテンツ受信装置及びそのプログラム | |
| JP2005086362A (ja) | データ多重化方法、データ送信方法およびデータ受信方法 | |
| WO2019048733A1 (en) | TRANSMISSION OF VIDEO CONTENT BASED ON FEEDBACK | |
| KR101452269B1 (ko) | 콘텐트 가상 세그멘테이션 방법과, 이를 이용한 스트리밍 서비스 제공 방법 및 시스템 | |
| JP2018152656A (ja) | 伝送装置、映像配信装置、映像符号化装置及び伝送方法 | |
| EP3386203A1 (en) | Signalling of auxiliary content for a broadcast signal | |
| JP4991661B2 (ja) | 映像データ変換装置 | |
| WO2022259356A1 (ja) | 映像送信装置、映像受信装置、映像送信方法、映像受信方法、映像伝送システム、およびプログラム | |
| JP7293982B2 (ja) | 処理装置、方法、及びプログラム | |
| JP6587361B2 (ja) | デジタルファイルを伝送するためのシステム、装置、方法およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20051004 |