JP2003333569A - ファイルフォーマット、情報処理システム、情報処理装置および方法、記録媒体、並びにプログラム - Google Patents

ファイルフォーマット、情報処理システム、情報処理装置および方法、記録媒体、並びにプログラム

Info

Publication number
JP2003333569A
JP2003333569A JP2002137031A JP2002137031A JP2003333569A JP 2003333569 A JP2003333569 A JP 2003333569A JP 2002137031 A JP2002137031 A JP 2002137031A JP 2002137031 A JP2002137031 A JP 2002137031A JP 2003333569 A JP2003333569 A JP 2003333569A
Authority
JP
Japan
Prior art keywords
image data
information
data
packetizing
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002137031A
Other languages
English (en)
Inventor
Nobuyoshi Tomita
展由 富田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2002137031A priority Critical patent/JP2003333569A/ja
Publication of JP2003333569A publication Critical patent/JP2003333569A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

(57)【要約】 【課題】 配信処理に必要な負荷を軽減する。 【解決手段】 配信サーバは、コンテンツ作成装置によ
り作成されたコンテンツデータ250を取得すると、要
求された解像度や画質のレベルに基づいて、抽出するデ
ータの評価値の閾値を設定し、その閾値より大きい値の
評価値を有するプライオリティ272−1乃至272−
Nを検索し、動画像データ260の対応する部分を抽出
する。すなわち、配信するデータサイズを抑える場合、
配信サーバは、評価値の閾値を高く設定し、抽出される
データ量を抑制し、低解像度、低画質な画像に対応する
データを配信する。逆に、動画像データ260から、配
信するデータサイズを大きくする場合、配信サーバは、
評価値の閾値を低く設定し、抽出されるデータ量を増加
させ、高画質かつ高解像度な画像に対応するデータを配
信する。本発明は、パーソナルコンピュータに適用でき
る。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明はファイルフォーマッ
ト、情報処理システム、情報処理装置および方法、記録
媒体、並びにプログラムに関し、特に、配信用のコンテ
ンツデータの一部または全部を配信するための設定情報
をコンテンツデータに付加するようにすることにより、
配信処理に必要な負荷を軽減することができるようにす
るファイルフォーマット、情報処理システム、情報処理
装置および方法、記録媒体、並びにプログラムに関す
る。
【0002】
【従来の技術】近年、インターネットを介して、動画像
等のデータを取得しながらリアルタイムに表示ができる
ストリーミングデータを配信するサービスが普及しつつ
ある。
【0003】ネットワークを利用した動画像のストリー
ミングにおいては、ネットワーク帯域の太さや受信する
端末の能力によりストリームのレートが制限されるの
で、それぞれに応じたストリーミングを行う必要があ
る。
【0004】また、全方位画像のような様々な視点を持
つ画像から、ユーザが自分の好む視点を選択して見るこ
とを可能とする新しい画像空間のサービスが始まりつつ
ある。このような全方位画像のような多視点画像は、ユ
ーザが実際に見ている画像(あるいは表示されている画
像)以外に空間全体を構成する画像を含むので、そのデ
ータ量は膨大である。
【0005】そのため、ネットワークや送受信側の装置
の負荷を減らすために、全ての画像を配信するのでなく
必要な画像だけを配信する必要がある。
【0006】しかしながら、配信側において、上述した
場合を想定し、レートや視点の組み合わせについて、全
てのパターンのコンテンツデータを予め用意しておくこ
とは、編集、保存、および管理等に関して、莫大なコス
トがかかり、現実的ではない。
【0007】これに対して、例えば、JPEG2000(Joint
Photographic Expert Group 2000)等のような、1つの
圧縮されたデータより受信側の必要な部分のデータのみ
を抽出し、配信することができるコーデックを用いる方
法がある。
【0008】一般に、動画像データをストリーミング配
信する場合、配信サーバは、配信する動画像データを、
ストリーミングのためのコンテンツデータとして、所定
のファイルフォーマットで保存している。そのコンテン
ツデータには、実際にストリーミング配信される動画像
データと、その動画像データをストリーミングするため
の一般的な情報である情報トラック(例えば、送信する
データのファイル中の位置、サイズ、若しくは時間等の
情報、または、ネットワークを介して送信するためのパ
ケット化に関する情報等)が含まれている。
【0009】動画像データは、所定のサイズでパケット
化され、例えば、RTP(Real-time Transport Protoco
l)等の伝送プロトコルを用いて、受信側に配信され
る。
【0010】図1は、従来のファイルフォーマットによ
るコンテンツデータの構成例を示す図である。
【0011】図1において、配信サーバ(図示せず)が
保持するコンテンツデータ1には、ストリーミング配信
するデータである動画像データ10、および、動画像デ
ータ10を配信するための一般的な情報である情報トラ
ック20が含まれている。
【0012】情報トラック20には、それぞれ、RTPパ
ケット単位の動画像データに対応するエントリ21−1
乃至21−Nが含まれている。動画像データ10は、こ
れらのエントリ21−1乃至21−Nに基づいて、パケ
ット化され、配信される。
【0013】
【発明が解決しようとする課題】しかしながら、上述し
たような場合、エントリには、レートや視点位置の組み
合わせに関する情報は含まれておらず、配信サーバは、
ストリーミングの際に、コンテンツデータを配信可能な
配信データに変換し、受信側の要求やネットワークの状
況等に応じて配信データから実際に配信する部分を探し
出して抽出し、その抽出したデータを配信しなければな
らず、配信サーバに大きな負荷がかかってしまうという
課題があった。
【0014】図2は、従来のストリーミング配信方法の
例を示す図である。
【0015】図2において、配信サーバ(図示せず)
は、最初にコンテンツデータ1の動画像データ10を配
信するために情報トラック20の最初のエントリである
エントリ21−1に基づいて、動画像データ10より対
応する部分を抽出し、データ31とする。
【0016】そして、配信サーバは、受信側の要求やネ
ットワークの状況等に応じて、実際に送信する送信デー
タであるデータ31Aをデータ31より抽出する。従っ
て、配信サーバは、ストリーミングの際に多くの処理を
行わなければならず、負荷が大きくなってしまう。
【0017】これに対して、配信サーバが、予めコンテ
ンツデータに、レートや視点の組み合わせについて、全
てのパターンの情報トラックを含めるようにすることが
考えられる。
【0018】図3は、複数の情報トラックを有するコン
テンツデータの例を示す図である。
【0019】図3において、コンテンツデータ40に
は、配信される動画像データ10に対応する2つの情報
トラック50および60が含まれている。図1において
示される情報トラック20の場合と同様に、情報トラッ
ク50には、エントリ51−1乃至51−Nが含まれて
おり、情報トラック60には、エントリ61−1乃至6
1−Nが含まれている。
【0020】図3において、情報トラックは、配信され
る動画像データ10のレートおよび視点位置の組み合わ
せ毎のデータであり、情報トラック50が対応するレー
トおよび視点位置の組み合わせ、並びに、情報トラック
60が対応するレートおよび視点位置の組み合わせは互
いに異なる。
【0021】以上のように、コンテンツデータに複数の
情報トラックを含めるようにし、全てのレートおよび視
点位置の組み合わせに対応できるようにする方法が考え
られるが、この場合、多くの情報トラックを用意しなけ
ればならず、やはり、配信サーバに多大な負荷がかかっ
てしまう場合がある。
【0022】本発明はこのような状況に鑑みてなされた
ものであり、配信処理に必要な負荷を軽減することがで
きるようにするものである。
【0023】
【課題を解決するための手段】本発明のファイルフォー
マットは、画像データと、画像データをパケット化する
ための情報を含む複数のエントリと、パケット単位で分
割される画像データに関する情報を含む、エントリに付
加される付加情報と有することを特徴とする。
【0024】前記エントリは、画像データに関するパケ
ット毎の情報であるようにすることができる。
【0025】前記付加情報は、分割される画像データの
重要度の情報を含むようにすることができる。
【0026】前記付加情報は、分割される画像データに
対応する画像の、全体画像に対する位置情報を含むよう
にすることができる。
【0027】前記付加情報は、エントリに基づいて画像
データがパケット化される際に参照される情報であるよ
うにすることができる。
【0028】前記付加情報は、その内容が所定の条件を
満たす場合に、画像データがパケット化され、配信され
る情報であるようにすることができる。
【0029】前記パケットは、RTPに基づくRTPパケット
であり、画像データはJPEG2000のデータであるようにす
ることができる。
【0030】本発明の情報処理システムは、ネットワー
クに接続され、画像データを配信する第1の情報処理装
置と、ネットワークに接続され、第1の情報処理装置よ
り配信された画像データを取得する第2の情報処理装置
とを備える情報処理システムであって、第1の情報処理
装置は、画像データをパケット化するための情報を含む
エントリに、パケット単位で分割される画像データに関
する情報からなる付加情報を付加する付加手段と、付加
手段により付加された付加情報に基づいて、画像データ
をパケット化するか否かをエントリ毎に判定する判定手
段と、判定手段による判定結果に基づいて、画像データ
をパケット化するパケット化手段と、パケット化手段に
よりパケット化された画像データを配信する配信手段と
を備え、第2の情報処理装置は、配信手段により配信さ
れた画像データを取得する取得手段と、取得手段により
取得された画像データに対応する画像を出力する出力手
段とを備えることを特徴とする。
【0031】本発明の情報処理装置は、画像データをパ
ケット化するための情報を含むエントリに、パケット単
位で分割される画像データに関する情報からなる付加情
報を付加する付加手段と、付加手段により付加された付
加情報に基づいて、画像データをパケット化するか否か
を前記エントリ毎に判定する判定手段と、判定手段によ
る判定結果に基づいて、画像データをパケット化するパ
ケット化手段と、パケット化手段によりパケット化され
た画像データを配信する配信手段とを備えることを特徴
とする。
【0032】前記エントリは、画像データに関する、パ
ケット毎の情報であるようにすることができる。
【0033】前記付加情報は、分割される画像データの
重要度の情報を含むようにすることができる。
【0034】他の情報処理装置より負荷状況に関する情
報を取得する取得手段と、取得手段により取得された負
荷状況に関する情報に基づいて、判定手段による判定の
ための閾値を設定する閾値設定手段とをさらに備え、判
定手段は、閾値設定手段により設定された閾値と、付加
情報に含まれる画像データの重要度を比較し、画像デー
タをパケット化するか否かを判定するようにすることが
できる。
【0035】前記取得手段により他の情報処理装置より
さらに取得された、新たな負荷状況に関する情報に基づ
いて、閾値設定手段により設定された閾値を再設定する
閾値再設定手段をさらに備え、判定手段は、閾値再設定
手段により再設定された閾値と、付加情報に含まれる画
像データの重要度を比較し、画像データをパケット化す
るか否かをさらに判定するようにすることができる。
【0036】前記付加情報は、分割される画像データに
対応する画像の、全体画像に対する第1の位置情報を含
むようにすることができる。
【0037】他の情報処理装置より、他の情報処理装置
のユーザが要求する第2の位置情報を取得する取得手段
をさらに備え、判定手段は、取得手段により取得された
第2の位置情報と、付加情報に含まれる第1の位置情報
を比較し、画像データをパケット化するか否かを判定す
るようにすることができる。
【0038】前記判定手段は、取得手段により他の情報
処理装置よりさらに取得された、新たな第2の位置情報
と、付加情報に含まれる第1の位置情報を比較し、画像
データをパケット化するか否かをさらに判定するように
することができる。
【0039】本発明の情報処理方法は、画像データをパ
ケット化するための情報を含むエントリに、パケット単
位で分割される画像データに関する情報からなる付加情
報を付加する付加ステップと、付加ステップの処理によ
り付加された付加情報に基づいて、画像データをパケッ
ト化するか否かをエントリ毎に判定する判定ステップ
と、判定ステップの処理による判定結果に基づいて、画
像データをパケット化するパケット化ステップと、パケ
ット化ステップの処理によりパケット化された画像デー
タの配信を制御する配信制御ステップとを含むことを特
徴とする。
【0040】本発明の記録媒体のプログラムは、画像デ
ータをパケット化するための情報を含むエントリに、パ
ケット単位で分割される画像データに関する情報からな
る付加情報を付加する付加ステップと、付加ステップの
処理により付加された付加情報に基づいて、画像データ
をパケット化するか否かをエントリ毎に判定する判定ス
テップと、判定ステップの処理による判定結果に基づい
て、画像データをパケット化するパケット化ステップ
と、パケット化ステップの処理によりパケット化された
画像データの配信を制御する配信制御ステップとを含む
ことを特徴とする。
【0041】本発明のプログラムは、画像データをパケ
ット化するための情報を含むエントリに、パケット単位
で分割される画像データに関する情報からなる付加情報
を付加する付加ステップと、付加ステップの処理により
付加された付加情報に基づいて、画像データをパケット
化するか否かをエントリ毎に判定する判定ステップと、
判定ステップの処理による判定結果に基づいて、画像デ
ータをパケット化するパケット化ステップと、パケット
化ステップの処理によりパケット化された画像データの
配信を制御する配信制御ステップとをコンピュータに実
現させる。
【0042】本発明のファイルフォーマットにおいて
は、画像データと、画像データをパケット化するための
情報を含む複数のエントリと、パケット単位で分割され
る画像データに関する情報を含む、エントリに付加され
る付加情報が構成される。
【0043】本発明の情報処理システムにおいては、ネ
ットワークに接続され、画像データを配信する第1の情
報処理装置と、ネットワークに接続され、第1の情報処
理装置より配信された画像データを取得する第2の情報
処理装置とが備えられ、第1の情報処理装置において
は、画像データをパケット化するための情報を含むエン
トリに、パケット単位で分割される画像データに関する
情報からなる付加情報が付加され、その付加情報に基づ
いて、画像データをパケット化するか否かがエントリ毎
に判定され、その判定結果に基づいて、画像データがパ
ケット化され、配信され、第2の情報処理装置において
は、その配信された画像データが取得され、対応する画
像が出力される。
【0044】本発明の情報処理装置および方法、記録媒
体、並びにプログラムにおいては、画像データをパケッ
ト化するための情報を含むエントリに、パケット単位で
分割される画像データに関する情報からなる付加情報が
付加され、その付加情報に基づいて、画像データをパケ
ット化するか否かがエントリ毎に判定され、その判定結
果に基づいて、画像データがパケット化されて配信され
る。
【0045】ネットワークとは、少なくとも2つの装置
が接続され、ある装置から、他の装置に対して、情報の
伝達をできるようにした仕組みをいう。ネットワークを
介して通信する装置は、独立した装置どうしであっても
良いし、1つの装置を構成している内部ブロックどうし
であっても良い。
【0046】
【発明の実施の形態】図4は、本発明を適用した画像情
報配信システムの構成例を示す図である。
【0047】図4において、コンテンツデータをストリ
ーミング配信する配信サーバ101は、インターネット
等に代表されるネットワーク102に接続されている。
また、ネットワーク102に接続されているコンテンツ
作成装置103は、配信サーバ101にも接続されてお
り、動画像データから、配信サーバ101より配信する
ためのコンテンツデータを作成し、配信サーバ101に
供給する。さらに、クライアント104および105
は、ネットワーク102に接続されており、配信サーバ
101より配信されたコンテンツデータを、ネットワー
ク102を介して取得する。
【0048】コンテンツ作成装置103は、JPEG2000等
の圧縮方式で圧縮された動画像データから、配信サーバ
101よりストリーミング配信可能なフォーマットのコ
ンテンツデータを作成する。
【0049】クライアント104または105からの要
求に基づいて、配信サーバ101は、コンテンツ作成装
置103よりコンテンツデータを取得し、それをRTPパ
ケットに分割し、ネットワーク102を介して、要求元
のクライアント104または105への配信を行う。
【0050】クライアント104または105は、ネッ
トワーク102を介して配信サーバ101より供給され
るRTPパケットを取得すると同時に、取得したRTPパケッ
トより動画像データを再生し、対応する動画像をディス
プレイ等に表示する。
【0051】この例においては、クライアントが2台の
み示されているが、ネットワーク102には、任意の台
数のクライアントが接続される。また、ネットワーク1
02には、配信サーバ101およびコンテンツ作成装置
103が複数接続されているようにしてもよい。
【0052】図5は、配信サーバ101の構成例を示す
図である。
【0053】図5において、CPU(Central Processing
Unit)151は、ROM(Read Only Memory)152に記
憶されているプログラム、または記憶部163からRAM
(Random Access Memory)153にロードされたプログ
ラムに従って各種の処理を実行する。RAM153にはま
た、CPU151が各種の処理を実行する上において必要
なデータなども適宜記憶される。
【0054】CPU151、ROM152、およびRAM153
は、バス154を介して相互に接続されている。このバ
ス154にはまた、入出力インタフェース160も接続
されている。
【0055】入出力インタフェース160には、キーボ
ード、マウスなどよりなる入力部161、CRT、LCDなど
よりなるディスプレイ、並びにスピーカなどよりなる出
力部162、ハードディスクなどより構成される記憶部
163、モデム、ターミナルアダプタなどより構成され
る通信部164が接続されている。通信部164は、ネ
ットワーク102を介しての通信処理を行う。通信部1
64はまた、コンテンツ作成装置103との間で、アナ
ログ信号またはデジタル信号の通信処理を行う。
【0056】入出力インタフェース160にはまた、必
要に応じてドライブ170が接続され、磁気ディスク1
71、光ディスク172、光磁気ディスク173、或い
は半導体メモリ174などが適宜装着され、それらから
読み出されたコンピュータプログラムが、必要に応じて
記憶部163にインストールされる。
【0057】なお、図示は省略するが、コンテンツ作成
装置103、並びに、クライアント104および105
も、図5に示した配信サーバ101と基本的に同様の構
成を有するコンピュータにより構成される。そこで、以
下の説明においては、図5の構成は、コンテンツ作成装
置103、並びに、クライアント104および105な
どの構成としても引用される。
【0058】図4に示す配信サーバ102は、コンテン
ツ配信の要求元であるクライアント104または105
の処理能力や、クライアント104または105が接続
されているネットワーク102の帯域幅等に応じて、配
信するコンテンツデータの解像度や画質を調整する等し
てデータサイズを調整して配信するスケーラブル配信を
行うことができる。
【0059】JPEG2000方式により圧縮された動画像デー
タ(JPEG2000データ)は、レイヤードエンコーディング
により、エンコードされた一つの画質の粗いデータを取
り出すことが可能である。
【0060】図6は、JPEG2000データを、スケーラブル
配信する様子を示す図である。
【0061】データ201は、JPEG2000方式により圧縮
された1画像フレーム分の動画像データである。配信サ
ーバ101は、コンテンツ作成装置103により作成さ
れたコンテンツデータに含まれるデータ201から実際
に送信する部分のデータを抽出し、RTPパケット化を行
う。
【0062】JPEG2000圧縮方式においては、元画像デー
タをウェーブレット変換することにより、階層的に圧縮
処理が行われているので、圧縮データの一部分を抽出し
て伸張することにより、元画像データに対応する画像の
画質や解像度を調整した画像を取得することができる
(スケーラビリティ)。抽出されるデータサイズや部分
等は、要求された解像度や画質によって異なり、一般的
に、抽出されたデータ量が多いほど、そのデータに対応
する画像の解像度は高くなり、画質も向上する。
【0063】従って、配信サーバ101は、ネットワー
ク102の帯域幅や、クライアント104または105
の処理能力に応じて、配信画像の解像度や画質を調整す
ることで、データサイズを抑えたJPEG2000データを配信
することができる。
【0064】図6の例において、配信サーバ101は、
クライアント104または105等に要求された解像度
や画質に合わせて、データ201からデータ201A,
201B、または201Cを抽出する。解像度は、デー
タサイズの最も大きいデータ201Cに対応する画像が
一番高く、データサイズの最も小さいデータ201Aに
対応する画像が一番低い。同様に、画質もデータサイズ
の最も大きいデータ201Cに対応する画像が一番よ
く、データサイズの最も小さいデータ201Aに対応す
る画像が一番粗い。
【0065】以上のように、配信サーバ101が、要求
された解像度や画質に合わせて、データ201からデー
タ201A,201B、または201Cを抽出すること
ができるように、コンテンツ作成装置103は、図7に
示すように、情報トラック260の中にプライオリティ
情報を含めるようにコンテンツデータ250を生成す
る。
【0066】図7は、図4に示すコンテンツ作成装置1
03により作成されるコンテンツデータのファイルフォ
ーマットの例を示す図である。
【0067】図7において、コンテンツデータ250
は、図1に示す場合と同様に、動画像データ260およ
び情報トラック270を含んでいる。情報トラック27
0には、それぞれ、RTPパケット単位の動画像データに
対応するエントリ271−1乃至271−Nが含まれて
いる。
【0068】エントリ271−1乃至271−Nのそれ
ぞれに、配信サーバ101が動画像データ260より必
要なデータを抽出するための情報からなるプライオリテ
ィ272−1乃至272−Nが付加されている。
【0069】エントリ271−1乃至271−Nに付加
されたプライオリティ272−1乃至272−Nは、そ
れぞれ、動画像データ260の内、エントリ271−1
乃至271−Nが対応する部分が必要な画像の解像度や
画質に基づいた評価値を有している。評価値は、より高
解像度、かつ、より高画質な画像に対応するデータほど
値の小さい評価値が割り当てられ、より低解像度、か
つ、より低画質な画像に対応するデータほど値の大きい
評価値が割り当てられる。
【0070】図6の例において、データ201より抽出
されたデータ201A,201B、および201Cの
内、データ量の最も少ないデータ201Aに対応する画
像が、他と比べて、最も低解像度、低画質であり、デー
タ201の全てのデータを抽出したデータ201Cに対
応する画像が最も高解像度、高画質である。従って、デ
ータ201Aに対応するプライオリティが有する評価値
は、最も大きい値に設定され、データ201Cの、デー
タ201Bと重複する部分を除いた部分に対応するプラ
イオリティの有する評価値が最も小さい値に設定され
る。
【0071】コンテンツ作成装置103による、図7に
示されるファイルフォーマットのコンテンツデータの作
成方法は、図8のフローチャートを参照して後述する。
【0072】配信サーバ101は、コンテンツ作成装置
103により作成されたコンテンツデータ250を取得
すると、クライアント104または105等より要求さ
れた解像度や画質のレベルに基づいて、抽出するデータ
の評価値の閾値を設定し、その閾値より大きい値の評価
値を有するプライオリティ272−1乃至272−Nを
検索し、動画像データ260の、それらに対応する部分
を抽出する。
【0073】すなわち、配信サーバ101は、設定した
閾値に基づいて、コンテンツデータ250に含まれる動
画像データ260から必要なデータを選択して抽出す
る。従って、動画像データ260から、より低解像度、
かつ、より低画質な画像に対応する部分を抽出する場
合、すなわち、配信するデータサイズを抑える場合、配
信サーバ101は、評価値の閾値を高く設定する。これ
により、配信サーバ101は、動画像データ260より
抽出されるデータ量を抑制し、低解像度、低画質な画像
に対応するデータを配信することができる。
【0074】逆に、動画像データ260から、より高解
像度、かつ、より高画質な画像に対応する部分を抽出す
る場合、すなわち、配信するデータサイズを大きくする
場合、配信サーバ101は、評価値の閾値を低く設定す
る。これにより、配信サーバ101は、動画像データ2
60より抽出されるデータ量を増加させ、高画質かつ高
解像度な画像に対応するデータを配信することができ
る。
【0075】以上のような、配信サーバ101による配
信処理については、図9のフローチャートを参照して後
述する。
【0076】次に、図8のフローチャートを参照して、
コンテンツ作成装置103によるコンテンツ作成処理に
ついて説明する。
【0077】最初に、ステップS1において、コンテン
ツ作成装置103のCPU151は、予め記憶部163に
記憶されている動画像データ260の読み出しに関する
設定を行い、コンテンツデータを作成する準備を行う。
CPU151は、後述するように、記憶部163に記憶さ
れている動画像データ260を複数に分割して読み出す
ので、動画像データ260のアドレス情報や、データの
読み出し位置を設定したりする等して準備を行う。
【0078】そして、ステップS2において、CPU15
1は、情報トラック記述用のファイルを作成し、コンテ
ンツデータ250として記憶部163に記憶させる。さ
らに、CPU151は、ステップS151は、ステップS
3において、情報トラック270を作成する動画像デー
タ260の先頭の位置に読み出しポインタを移動させ
る。
【0079】ステップS1乃至3によりコンテンツ作成
の準備が完了したCPU151は、ステップS4に処理を
進め、記憶部163に記憶されている動画像データ26
0より、1エントリ分の動画像データを読み出す。そし
て、その読み出したデータに基づいて、CPU151は、
ステップS5において、エントリとして情報トラック2
70に登録するエントリ情報、および、情報トラックに
含まれるエントリに付加する付加情報を決定する。CPU
151は、記憶部163より読み出した動画像データ2
60の1エントリ分の動画像データより、そのデータの
位置やサイズ、タイムスタンプ、または、パケット化す
る際の情報等をエントリ情報として決定する。また、CP
U151は、読み出した1エントリ分の動画像データか
ら、そのデータの対応する画像について解像度や画質を
評価し、その評価値を付加情報として決定する。
【0080】ステップS6において、CPU151は、ス
テップS5において決定したエントリ情報に付加情報を
付加し、RTPパケット毎のエントリ271−1乃至27
1−Nを生成する。
【0081】そして、ステップS7に処理を進め、CPU
151は、ステップS6において生成したエントリを、
読み出した動画像データとともに、記憶部163に記憶
させている情報トラック記述用のファイルであるコンテ
ンツデータ250に書き込む。
【0082】エントリを書き込んだCPU151は、ステ
ップS8に処理を進め、次の動画像データを読み出すこ
とができるように、動画像データの読み出しポインタの
位置を移動させる。
【0083】そして、CPU151は、ステップS9に処
理を進め、全ての動画像データ260に対するエントリ
を生成したか否かを判定し、まだ、読み出していない動
画像データが存在し、全ての動画像データ260に対す
るエントリを生成していないと判定した場合、ステップ
S4に進み、それ以降の処理を繰り返す。
【0084】また、ステップS9において、記憶部16
3に記憶されている動画像データ260を全て読み出
し、全ての動画像データ260に対するエントリを生成
したと判定した場合、コンテンツ作成装置103のCPU
151は、コンテンツ作成処理を終了する。
【0085】すなわち、コンテンツ作成装置103のCP
U151は、ステップS1乃至ステップS3において、
コンテンツデータ250を生成する準備を行い、ステッ
プS4乃至S9の処理を繰り返すことによって、1エン
トリ分の動画像データ260を読み出し、対応するエン
トリを作成し、記憶部163に記憶する処理をエントリ
毎に繰り返し、全ての動画像データ260についてエン
トリ271−1乃至271−Nを生成してコンテンツデ
ータ250を作成する。
【0086】以上のようにして、作成されたコンテンツ
データ250は、記憶部163に記憶され、配信サーバ
101の要求に基づいて、通信部164を介して、配信
サーバ101に供給される。
【0087】次に、図9のフローチャートを参照して、
配信サーバ101によるコンテンツデータ250の配信
処理について説明する。
【0088】最初に、ステップS31において、配信サ
ーバ101のCPU151は、送信設定情報を生成する。C
PU151は、データの配信を要求したクライアント10
4および105等の要求に基づいて、配信する画像の解
像度および画質等を決定し、動画像データ260より配
信用のデータを抽出するための評価値の閾値を設定する
などして、送信設定情報を生成する。
【0089】ステップS32に処理を進めたCPU151
は、コンテンツ作成装置103より通信部164を介し
て取得し、記憶部163に記憶しているコンテンツデー
タ250の情報トラック270の先頭エントリ271−
1を取得する。
【0090】そして、CPU151は、ステップS33に
処理を進め、エントリに付加されたプライオリティを取
得し、ステップS34において、取得したプライオリテ
ィの評価値をステップS31において算出した閾値と比
較し、エントリに対応する動画像データを送信するか否
かを判定する。
【0091】送信すると判定した場合、CPU151は、
ステップS35において、記憶部163に記憶されてい
る動画像データ260の処理対象のエントリに対応する
部分から、RTPパケットを作成し、ステップS36にお
いて、作成したRTPパケットを、ネットワーク102を
介して、要求元であるクライアント104または105
に配信する。そして、作成したRTPパケットを配信したC
PU151は、ステップS37に処理を進める。
【0092】また、ステップS34において、取得した
プライオリティの評価値を算出した閾値と比較した結
果、エントリに対応する動画像データを送信しないと判
定した場合、CPU151は、ステップS35およびステ
ップS36の処理を省略し、ステップS37に処理を進
める。
【0093】ステップS37において、CPU151は、
処理したエントリが最後のエントリであるか否かを判定
し、まだ未処理のエントリが存在し、処理したエントリ
が最後のエントリではないと判定した場合、ステップS
38に処理を進め、記憶部163に記憶されているコン
テンツデータ250より次のエントリを取得し、ステッ
プS33に処理を戻し、それ以降の処理を繰り返す。
【0094】また、ステップS37において、処理した
エントリが最後のエントリであると判定した場合、配信
サーバ101のCPU151は、配信処理を終了する。
【0095】すなわち、CPU151は、ステップS33
乃至38の処理を繰り返すことにより、記憶部163に
記憶されているコンテンツデータ250に含まれる情報
トラック270の全てのエントリ271−1乃至271
−2について処理を行い、全てのエントリについて処理
が完了すると、配信処理を終了する。
【0096】以上のようにして、配信サーバ101は、
コンテンツ作成装置103が作成したコンテンツデータ
を、配信するデータ量を調節して、ネットワーク102
を介してクライアント104または105に配信する。
【0097】これにより、配信サーバ101は、過大な
負荷をかけることなく、配信を要求したクライアント1
04または105の処理能力等に合わせて、コンテンツ
データを調整し、配信することができる。
【0098】ところで、配信されたRTPパケットを取得
するクライアント104または105の処理能力は、通
常、例えばユーザが操作した場合や動作するプログラム
の処理などに影響され、時系列的に変化する。また、ネ
ットワーク102の通信速度もその他の通信等により変
化する。
【0099】従って、クライアント104または105
等が自身の処理能力やネットワーク102の負荷状況を
測定し、その情報を配信サーバ101に供給するように
し、配信サーバ101は、データを配信中もその情報を
取得し、その情報に基づいて配信する動画像データのレ
ートを調整し、図9のステップS31の処理において設
定した送信設定を変更するようにしてもよい。
【0100】図9のフローチャートを参照して説明した
配信処理を開始した配信サーバ101のCPU151は、
同時に、クライアント104または105より供給され
る情報を受け付け、その情報に基づいて送信設定を変更
する送信設定変更処理を実行する。
【0101】図4に示される配信サーバ101による送
信設定変更処理について図10のフローチャートを参照
して説明する。
【0102】最初に、ステップS61において、配信サ
ーバ101のCPU151は、通信部164を制御して、
配信された動画像データを取得するクライアント104
または105よりネットワーク102を介して供給され
る送信設定変更要求情報の受け付けを開始する。
【0103】送信設定変更要求情報は、例えば、クライ
アント104または105により測定された、クライア
ント104または105の現在の処理能力の状況、また
は、ネットワーク102の負荷状況等に関する情報であ
ってもよいし、また、それらの情報に基づいてクライア
ント104または105において作成された処理可能な
データのレート(例えば、対応する画像の解像度または
画質等)を指示する情報であってもよい。さらに、配信
サーバ101が設定する送信設定情報(例えば、閾値
等)を直接指示するものであってもよい。
【0104】そして、ステップS62において、CPU1
51は、通信部164を制御して、図9のフローチャー
トを参照して説明した配信処理により配信されるRTPパ
ケットの送信が終了したか否かを判定する。
【0105】RTPパケットの送信が終了していないと判
定した場合、CPU151は、ステップS63に処理を進
め、通信部164を制御して、今度は、ステップS61
において受け付けを開始した送信設定変更要求情報を取
得したか否かを判定する。
【0106】クライアント104または105よりネッ
トワーク102を介して送信設定変更要求情報が供給さ
れ、通信部164が取得したと判定した場合、CPU15
1は、処理をステップS64に進め、取得した送信設定
変更要求情報に基づいて、送信設定情報を変更する。そ
して、CPU151は、処理をステップS62に戻し、そ
れ以降の処理を繰り返す。
【0107】なお、ステップS63において、送信設定
変更要求情報を主としていないと判定した場合、CPU1
51は、ステップS62に処理を戻し、それ以降の処理
を繰り返す。
【0108】また、ステップS62において、RTPパケ
ットの送信処理が終了したと判定した場合、CPU151
は、送信設定変更処理を終了する。
【0109】すなわち、配信処理を開始したCPU151
は、ステップS61において、クライアント104また
は105から供給される送信設定変更要求情報の受け付
けを開始し、配信処理を実行している間、ステップS6
2乃至S64の処理を繰り返し、送信設定変更要求情報
が供給されたか否かを判定し、供給された場合は、その
情報に基づいて、送信するRTPパケットに含まれる動画
像データのレートを調整する。
【0110】例えば、配信サーバ101より配信された
RTPパケットを取得するクライアント104または10
5の処理能力が低下し、取得したRTPパケットを処理で
きなくなった場合、クライアント104または105
は、ネットワーク102を介して、送信する動画像デー
タに対応する画像の解像度または画質を低下させてデー
タ量を減らすように、配信サーバ101に要求する。配
信サーバ101は、その要求情報を取得すると、その要
求情報に基づいて設定された閾値を高くするように再設
定し、それ以降に配信する動画像データのレートを下げ
る。
【0111】また、例えば、クライアント104または
105の処理能力が向上し、取得したRTPパケットの処
理に余裕が生じた場合、クライアント104または10
5は、ネットワーク102を介して、送信する動画像デ
ータに対応する画像の解像度または画質を向上させてデ
ータ量を増やすように、配信サーバ101に要求する。
配信サーバ101は、その要求情報を取得すると、その
要求情報に基づいて設定された閾値を低くするように再
設定し、それ以降に配信する動画像データのレートを上
げる。
【0112】そして、配信処理が終了すると、CPU15
1は、送信設定変更処理を終了する。
【0113】以上のようにして、配信サーバ101は、
配信する動画像データのレートをリアルタイムに調整す
ることができるので、RTPパケットを取得するクライア
ント104または105の状況に応じた配信処理を実行
することができる。
【0114】以上においては、配信サーバ101が、受
信側の状況に応じてスケーラビリティに配信処理を行う
場合について説明したが、これに限らず、受信側の要求
に基づいて、動画像データ260に対応する画像の一部
分の画像に対応するデータのみを配信する部分配信を行
うようにしてもよい。
【0115】部分配信とは、例えば全方位画像のように
広範囲の画像等に対して、ユーザが全体の画像の一部分
だけを見る場合に、全体の画像に対応する画像データで
はなく、要求された部分(必要に応じてその周囲の部分
も含む)に対応する画像データだけを配信する方法であ
る。
【0116】例えば、円筒型の全方位画像に対して、画
像の圧縮形式としてJPEG2000を用いる。画像圧縮形式と
してJPEG2000を用いると次のような利点が生じる。
【0117】すなわち、JPEG2000は画像フレーム間の差
分をとらない画像圧縮方式であり、全方位画像の伝送に
適している。全方位画像のように空間全体を構成する画
像サイズが非常に大きく、表示されるのは任意の視点方
向の一部の画像のみであり、ユーザがランダムに視点を
移動させる使われ方の場合、MPEG(Moving Picture Cod
ing Experts Group/Moving Picture Experts Group)
などで使われている予測符号化方式はほとんど役に立た
ない。また、インターネットでの伝送を考えた場合、フ
レーム間差分を取るMPEG方式ではパケットロス時に、後
続フレームにエラーが伝搬してしまう。フレーム間差分
をとらないJPEG2000データにはそのような問題は発生し
ない。
【0118】また、JPEG2000では、画像をタイルと呼ば
れる幾つかの任意領域に分割して一部のタイルだけをデ
コードすることが可能である。各タイルサイズはエンコ
ード時に指定したサイズで一定となり、タイルサイズは
JPEG2000のヘッダに記述されている。また各タイルには
全体画像の左上から右下方向に向かってインデックス番
号がついているため、タイルインデックス番号が分かれ
ば、そのタイル画像が全体画像のどの部分の画像かを容
易に判断できるという利点がある。さらに、それぞれの
部分に対して独立に符号化を行うことが可能であり、ユ
ーザがあまり注目しない部分(たとえば円筒形にマッピ
ングされた空間画像の上端や下端部分)は画質を落とし
圧縮率を上げることで、記憶領域やネットワーク帯域を
更に節約することができる。
【0119】すなわち、JPEG2000には、TRUNCATE画像
(エンコードされたデータの一部分)をデコーダ(クライ
アント104または105の出力部162)に入力して
もデコードできる機能を有するため、必要なタイルだけ
を配信することが可能になる。図11に画像を10個の
タイルに分割した例を示す。タイルには0から9まで順
番に、インデックス番号が振られているため、例えば、
インデックス3のタイル画像の左上の座標は、(tile_wi
dth×3,0)と容易に知ることができる。なお、図11
に示されるように、tile_widthは、タイルの幅を表す。
また、tile_heigthは、タイルの高さを表す。
【0120】図12は、JPEG2000データを、部分配信す
る様子を示す図である。
【0121】図12において、データ321は、JPEG20
00方式により圧縮された、全方位画像に対応する動画像
データである。配信サーバ101は、コンテンツ作成装
置103により作成されたコンテンツデータに含まれる
データ321から実際に送信する部分のデータを抽出
し、RTPパケット化を行う。データ321より抽出され
る部分の場所は、要求された視点位置等によって異な
る。
【0122】図6の例において、配信サーバ101は、
クライアント104または105等に要求された視点位
置および視界範囲等に合わせて、予め定められたタイル
サイズを単位として、データ321からデータ321
A,321B、または321Cを抽出する。例えば、デ
ータ201全体に対応する全方位画像の内、左半分の画
像を要求された場合、配信サーバ101は、データ32
1よりデータ321Aを抽出する。
【0123】また、同様に、データ321全体に対応す
る全方位画像の内、中央部分の画像を要求された場合、
配信サーバ101は、データ321よりデータ321B
を抽出し、全体の画像を要求された場合、データ321
Cを抽出する。
【0124】なお、配信サーバ101は、例えば、全方
位画像の上側半分の画像や、下側4分の1の画像等、上
述した以外の画像範囲も、予め定められたタイルサイズ
を単位として抽出することができる。
【0125】以上のように、配信サーバ101が、要求
された画像の視点位置や視界範囲に合わせて、データ3
21からデータ321A,321B、または321Cを
抽出することができるように、コンテンツ作成装置10
3は、図13に示すように、情報トラック370の中に
タイル番号情報を含めるようにコンテンツデータ350
を生成する。
【0126】図13は、図4に示すコンテンツ作成装置
103により作成されるコンテンツデータのファイルフ
ォーマットの他の例を示す図である。
【0127】図13において、コンテンツデータ350
は、図1に示す場合と同様に、動画像データ360およ
び情報トラック370を含んでいる。情報トラック37
0には、それぞれ、RTPパケット単位の動画像データに
対応するエントリ371−1乃至371−Nが含まれて
いる。
【0128】エントリ371−1乃至371−Nのそれ
ぞれに、配信サーバ101が動画像データ360より必
要なデータを抽出するための情報からなるタイル番号3
72−1乃至372−Nが付加されている。
【0129】エントリ371−1乃至371−Nに付加
されたタイル番号372−1乃至372−Nは、それぞ
れ、動画像データ360の内、エントリ371−1乃至
371−Nが対応する部分の画像より抽出されるタイル
のタイルインデックス番号を有している。タイルインデ
ックス番号は、図11を用いて説明したように、全方位
画像を所定のサイズで分割したタイル毎に予め割り当て
られた番号である。
【0130】配信サーバ101は、コンテンツデータ3
50を取得し、RTPパケットを生成する際に、エントリ
371−1乃至371−Nに付加されたタイル番号37
2−1乃至372−Nを参照し、要求されたタイル番号
に対応するエントリを選択し、動画像データ360より
対応するデータを抽出する。
【0131】なお、コンテンツ作成装置103による図
13に示されるファイルフォーマットのコンテンツデー
タ350の作成処理、および、配信サーバ101による
コンテンツデータ350の配信処理は、図8および図9
のフローチャートを参照して説明したスケーラブル配信
の場合と同様であるので、その説明は省略する。
【0132】すなわち、コンテンツ作成装置103のCP
U151は、動画像データ360に対して、エントリを
作成し、各エントリに対応する動画像データ360の一
部分のタイル番号をエントリに付加し、それらを情報ト
ラック370として、動画像データ360とまとめてコ
ンテンツデータ350を作成する。
【0133】配信サーバ101のCPU151は、クライ
アント104または105の要求に基づいて、配信する
画像の視点位置および視界範囲等の情報より送信設定情
報を生成し、コンテンツ作成装置103により作成され
たコンテンツデータ350を取得すると、送信設定情報
に基づいてコンテンツデータ350より配信する情報を
抽出し、RTPパケットを生成して配信する。
【0134】以上のようにして、配信サーバ101は、
全方位画像の内、クライアント側に要求された部分の画
像に対応する動画像データのみを、過大な負荷をかけず
に配信することができる。
【0135】また、スケーラブル配信の場合と同様に、
配信サーバ101が、データを配信中にクライアント1
04または105より送信設定情報の変更要求を受け付
けるようにし、クライアント104または105のユー
ザの指示に基づいて、配信する画像の視点位置または視
界範囲等を変更することができるようにしてもよい。
【0136】この場合、配信サーバ101により実行さ
れる送信設定変更処理は、図10のフローチャートを参
照して説明した場合と同様であるので、その説明は省略
する。
【0137】すなわち、配信処理を開始した配信サーバ
101のCPU151は、クライアント104または10
5から供給される送信設定変更要求情報の受け付けを開
始し、配信処理を実行している間、送信処理が終了した
か否かを確認するとともに、送信設定変更要求情報が供
給されたか否かを判定し、供給された場合は、その情報
に基づいて、送信する動画像データの視点位置または視
界範囲を変更してRTPパケットを生成し、配信する。
【0138】以上のようにして、配信サーバ101は、
過大な負荷をかけることなく、配信する画像の視点位置
や視界範囲を調整することができるので、RTPパケット
を取得するクライアント104または105のユーザの
要求に応じた配信処理を実行することができる。
【0139】なお、以上において、システムとは、複数
の装置により構成される装置全体を表すものである。
【0140】また、図4において配信サーバ101およ
びコンテンツ作成装置103は、別体で構成されるよう
に説明したが、これに限らず、1つの装置として構成さ
れるようにしてもよい。
【0141】上述した一連の処理は、ハードウエアによ
り実行させることもできるが、ソフトウエアにより実行
させることもできる。一連の処理をソフトウエアにより
実行させる場合には、そのソフトウエアを構成するプロ
グラムが、専用のハードウエアに組み込まれているコン
ピュータ、または、各種のプログラムをインストールす
ることで、各種の機能を実行することが可能な、例えば
汎用のパーソナルコンピュータなどに、ネットワークや
記録媒体からインストールされる。
【0142】この記録媒体は、図5に示されるように、
装置本体とは別に、ユーザにプログラムを提供するため
に配布される、プログラムが記録されている磁気ディス
ク171(フレキシブルディスクを含む)、光ディスク
172(CD-ROM(Compact Disk - Read Only Memory),DV
D(Digital Versatile Disk)を含む)、光磁気ディスク
173(MD(Mini-Disk)(商標)を含む)、もしく
は半導体メモリ174などよりなるパッケージメディア
により構成されるだけでなく、装置本体に予め組み込ま
れた状態でユーザに提供される、プログラムが記録され
ているROM152や、記憶部163に含まれるハードデ
ィスクなどで構成される。
【0143】なお、本明細書において、記録媒体に記録
されるプログラムを記述するステップは、記載された順
序に沿って時系列的に行われる処理はもちろん、必ずし
も時系列的に処理されなくとも、並列的あるいは個別に
実行される処理をも含むものである。
【0144】
【発明の効果】以上のように、本発明によれば、配信用
のコンテンツデータの一部または全部を配信するための
設定情報をコンテンツデータに付加するようにしたの
で、配信処理に必要な負荷を軽減することができる。
【図面の簡単な説明】
【図1】従来のファイルフォーマットによるコンテンツ
データの構成例を示す図である。
【図2】従来のストリーミング配信方法の例を示す図で
ある。
【図3】複数の情報トラックを有するコンテンツデータ
の例を示す図である。
【図4】本発明を適用した画像情報配信システムの構成
例を示す図である。
【図5】図4の配信サーバの構成例を示す図である。
【図6】JPEG2000データを、スケーラブル配信する様子
を示す図である。
【図7】図4のコンテンツ作成装置により作成されるコ
ンテンツデータのファイルフォーマットの例を示す図で
ある。
【図8】図4のコンテンツ作成装置によるコンテンツ作
成処理について説明するフローチャートである。
【図9】図4の配信サーバによるコンテンツデータの配
信処理について説明するフローチャートである。
【図10】図4の配信サーバによる送信設定変更処理に
ついて説明するフローチャートである。
【図11】画像を10個のタイルに分割した例を示す図
である。
【図12】JPEG2000データを、部分配信する様子を示す
図である。
【図13】図4のコンテンツ作成装置により作成される
コンテンツデータのファイルフォーマットの他の例を示
す図である。
【符号の説明】
101 配信サーバ, 102 ネットワーク, 10
3 コンテンツ作成装置, 104および105 クラ
イアント, 151 CPU, 152 ROM,153 RA
M, 163 記憶部, 164 通信部, 201
データ, 250 コンテンツデータ, 260 動画
像データ, 270 情報トラック,271−1乃至2
71−N エントリ, 272−1乃至272−N プラ
イオリティ, 321 データ, 350 コンテンツ
データ, 360 動画像データ, 370 情報トラ
ック, 371−1乃至371−N エントリ, 37
2−1乃至372−N タイル番号
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 7/32 Fターム(参考) 5C053 FA14 GB06 GB36 JA21 LA06 LA15 5C059 MA00 PP04 RB02 SS06 5C063 AA01 AB03 AB07 AC01 AC05 AC10 CA23 CA36 DA03 DA07 DA13 DB10 5C064 BA07 BB05 BB10 BC10 BC18 BC23 BD02 BD08 BD09

Claims (19)

    【特許請求の範囲】
  1. 【請求項1】 ネットワークを介して配信する画像デー
    タをファイルとして保持する配信装置の前記画像データ
    のファイルフォーマットであって、 前記画像データと、 前記画像データをパケット化するための情報を含む複数
    のエントリと、 前記パケット単位で分割される前記画像データに関する
    情報を含む、前記エントリに付加される付加情報とを有
    することを特徴とするファイルフォーマット。
  2. 【請求項2】 前記エントリは、前記画像データに関す
    る前記パケット毎の情報であることを特徴とする請求項
    1に記載のファイルフォーマット。
  3. 【請求項3】 前記付加情報は、分割される前記画像デ
    ータの重要度の情報を含むことを特徴とする請求項1に
    記載のファイルフォーマット。
  4. 【請求項4】 前記付加情報は、分割される前記画像デ
    ータに対応する画像の、全体画像に対する位置情報を含
    むことを特徴とする請求項1に記載のファイルフォーマ
    ット。
  5. 【請求項5】 前記付加情報は、前記エントリに基づい
    て前記画像データがパケット化される際に参照される情
    報であることを特徴とする請求項1に記載のファイルフ
    ォーマット。
  6. 【請求項6】 前記付加情報は、その内容が所定の条件
    を満たす場合に、前記画像データがパケット化され、配
    信される情報であることを特徴とする請求項5に記載の
    ファイルフォーマット。
  7. 【請求項7】 前記パケットは、RTPに基づくRTPパケッ
    トであり、 前記画像データはJPEG2000のデータであることを特徴と
    する請求項1に記載のファイルフォーマット。
  8. 【請求項8】 ネットワークに接続され、画像データを
    配信する第1の情報処理装置と、 前記ネットワークに接続され、前記第1の情報処理装置
    より配信された前記画像データを取得する第2の情報処
    理装置とを備える情報処理システムであって、 前記第1の情報処理装置は、 前記画像データをパケット化するための情報を含むエン
    トリに、パケット単位で分割される前記画像データに関
    する情報からなる付加情報を付加する付加手段と、 前記付加手段により付加された前記付加情報に基づい
    て、前記画像データをパケット化するか否かを前記エン
    トリ毎に判定する判定手段と、 前記判定手段による判定結果に基づいて、前記画像デー
    タをパケット化するパケット化手段と、 前記パケット化手段によりパケット化された前記画像デ
    ータを配信する配信手段とを備え、 前記第2の情報処理装置は、 前記配信手段により配信された前記画像データを取得す
    る取得手段と、 前記取得手段により取得された前記画像データに対応す
    る画像を出力する出力手段とを備えることを特徴とする
    情報処理システム。
  9. 【請求項9】 ネットワークに接続され、画像データを
    配信する情報処理装置であって、 前記画像データをパケット化するための情報を含むエン
    トリに、パケット単位で分割される前記画像データに関
    する情報からなる付加情報を付加する付加手段と、 前記付加手段により付加された前記付加情報に基づい
    て、前記画像データをパケット化するか否かを前記エン
    トリ毎に判定する判定手段と、 前記判定手段による判定結果に基づいて、前記画像デー
    タをパケット化するパケット化手段と、 前記パケット化手段によりパケット化された前記画像デ
    ータを配信する配信手段とを備えることを特徴とする情
    報処理装置。
  10. 【請求項10】 前記エントリは、前記画像データに関
    する、前記パケット毎の情報であることを特徴とする請
    求項9に記載の情報処理装置。
  11. 【請求項11】 前記付加情報は、分割される前記画像
    データの重要度の情報を含むことを特徴とする請求項9
    に記載の情報処理装置。
  12. 【請求項12】 他の情報処理装置より負荷状況に関す
    る情報を取得する取得手段と、 前記取得手段により取得された前記負荷状況に関する情
    報に基づいて、前記判定手段による前記判定のための閾
    値を設定する閾値設定手段とをさらに備え、 前記判定手段は、前記閾値設定手段により設定された前
    記閾値と、前記付加情報に含まれる前記画像データの重
    要度を比較し、前記画像データをパケット化するか否か
    を判定することを特徴とする請求項11に記載の情報処
    理装置。
  13. 【請求項13】 前記取得手段により前記他の情報処理
    装置よりさらに取得された、新たな前記負荷状況に関す
    る情報に基づいて、前記閾値設定手段により設定された
    前記閾値を再設定する閾値再設定手段をさらに備え、 前記判定手段は、前記閾値再設定手段により再設定され
    た前記閾値と、前記付加情報に含まれる前記画像データ
    の重要度を比較し、前記画像データをパケット化するか
    否かをさらに判定することを特徴とする請求項12に記
    載の情報処理装置。
  14. 【請求項14】 前記付加情報は、分割される前記画像
    データに対応する画像の、全体画像に対する第1の位置
    情報を含むことを特徴とする請求項9に記載の情報処理
    装置。
  15. 【請求項15】 他の情報処理装置より、前記他の情報
    処理装置のユーザが要求する第2の位置情報を取得する
    取得手段をさらに備え、 前記判定手段は、前記取得手段により取得された前記第
    2の位置情報と、前記付加情報に含まれる前記第1の位
    置情報を比較し、前記画像データをパケット化するか否
    かを判定することを特徴とする請求項14に記載の情報
    処理装置。
  16. 【請求項16】 前記判定手段は、前記取得手段により
    前記他の情報処理装置よりさらに取得された、新たな前
    記第2の位置情報と、前記付加情報に含まれる前記第1
    の位置情報を比較し、前記画像データをパケット化する
    か否かをさらに判定することを特徴とする請求項15に
    記載の情報処理装置。
  17. 【請求項17】 ネットワークに接続され、画像データ
    を配信する情報処理装置の情報処理方法であって、 前記画像データをパケット化するための情報を含むエン
    トリに、パケット単位で分割される前記画像データに関
    する情報からなる付加情報を付加する付加ステップと、 前記付加ステップの処理により付加された前記付加情報
    に基づいて、前記画像データをパケット化するか否かを
    前記エントリ毎に判定する判定ステップと、 前記判定ステップの処理による判定結果に基づいて、前
    記画像データをパケット化するパケット化ステップと、 前記パケット化ステップの処理によりパケット化された
    前記画像データの配信を制御する配信制御ステップとを
    含むことを特徴とする情報処理方法。
  18. 【請求項18】 ネットワークに接続され、画像データ
    を配信する情報処理装置用のプログラムであって、 前記画像データをパケット化するための情報を含むエン
    トリに、パケット単位で分割される前記画像データに関
    する情報からなる付加情報を付加する付加ステップと、 前記付加ステップの処理により付加された前記付加情報
    に基づいて、前記画像データをパケット化するか否かを
    前記エントリ毎に判定する判定ステップと、 前記判定ステップの処理による判定結果に基づいて、前
    記画像データをパケット化するパケット化ステップと、 前記パケット化ステップの処理によりパケット化された
    前記画像データの配信を制御する配信制御ステップとを
    含むことを特徴とするコンピュータが読み取り可能なプ
    ログラムが記録されている記録媒体。
  19. 【請求項19】 ネットワークに接続され、画像データ
    を配信する情報処理装置を制御するコンピュータが実行
    可能なプログラムであって、 前記画像データをパケット化するための情報を含むエン
    トリに、パケット単位で分割される前記画像データに関
    する情報からなる付加情報を付加する付加ステップと、 前記付加ステップの処理により付加された前記付加情報
    に基づいて、前記画像データをパケット化するか否かを
    前記エントリ毎に判定する判定ステップと、 前記判定ステップの処理による判定結果に基づいて、前
    記画像データをパケット化するパケット化ステップと、 前記パケット化ステップの処理によりパケット化された
    前記画像データの配信を制御する配信制御ステップとを
    含むことを特徴とするプログラム。
JP2002137031A 2002-05-13 2002-05-13 ファイルフォーマット、情報処理システム、情報処理装置および方法、記録媒体、並びにプログラム Pending JP2003333569A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002137031A JP2003333569A (ja) 2002-05-13 2002-05-13 ファイルフォーマット、情報処理システム、情報処理装置および方法、記録媒体、並びにプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002137031A JP2003333569A (ja) 2002-05-13 2002-05-13 ファイルフォーマット、情報処理システム、情報処理装置および方法、記録媒体、並びにプログラム

Publications (1)

Publication Number Publication Date
JP2003333569A true JP2003333569A (ja) 2003-11-21

Family

ID=29698892

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002137031A Pending JP2003333569A (ja) 2002-05-13 2002-05-13 ファイルフォーマット、情報処理システム、情報処理装置および方法、記録媒体、並びにプログラム

Country Status (1)

Country Link
JP (1) JP2003333569A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005269323A (ja) * 2004-03-19 2005-09-29 Ricoh Co Ltd 画像処理装置、プログラムおよび記憶媒体
JP2011217345A (ja) * 2010-03-18 2011-10-27 Nippon Telegr & Teleph Corp <Ntt> 映像伝送方法、映像伝送装置、及びプログラム
JP2016537903A (ja) * 2013-08-21 2016-12-01 ジョーント・インコーポレイテッドJaunt Inc. バーチャルリアリティコンテンツのつなぎ合わせおよび認識
JP2018523331A (ja) * 2015-04-29 2018-08-16 ノースロップ グラマン システムズ コーポレイションNorthrop Grumman Systems Corporation 無人車両の制御のための動的に調整可能な状況認識インタフェース
JP2023515859A (ja) * 2020-06-18 2023-04-14 中興通訊股▲ふん▼有限公司 ビデオブロック化方法、伝送方法、サーバー、アダプタ及び記憶媒体
JP2023547287A (ja) * 2021-09-30 2023-11-10 17Live株式会社 ストリーミングをレンダリングするためのシステム、方法、及びコンピュータ可読媒体

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03234139A (ja) * 1990-02-08 1991-10-18 Oki Electric Ind Co Ltd 画像パケット多重化システム
JPH07288806A (ja) * 1994-04-20 1995-10-31 Hitachi Ltd 動画像通信システム
JPH08251192A (ja) * 1995-03-13 1996-09-27 Toshiba Corp 動画像通信方式
JPH1027165A (ja) * 1996-07-08 1998-01-27 Nec Corp 分散情報サービスシステム
JP2000078573A (ja) * 1998-09-03 2000-03-14 Hitachi Ltd 階層符号化データ配信装置
WO2000024188A1 (en) * 1998-10-21 2000-04-27 Telefonaktiebolaget Lm Ericsson (Publ) Partial retrieval of images in the compressed domain
JP2002112265A (ja) * 2000-07-24 2002-04-12 Matsushita Electric Ind Co Ltd 動画像符号化データの送信装置および送信方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03234139A (ja) * 1990-02-08 1991-10-18 Oki Electric Ind Co Ltd 画像パケット多重化システム
JPH07288806A (ja) * 1994-04-20 1995-10-31 Hitachi Ltd 動画像通信システム
JPH08251192A (ja) * 1995-03-13 1996-09-27 Toshiba Corp 動画像通信方式
JPH1027165A (ja) * 1996-07-08 1998-01-27 Nec Corp 分散情報サービスシステム
JP2000078573A (ja) * 1998-09-03 2000-03-14 Hitachi Ltd 階層符号化データ配信装置
WO2000024188A1 (en) * 1998-10-21 2000-04-27 Telefonaktiebolaget Lm Ericsson (Publ) Partial retrieval of images in the compressed domain
JP2002112265A (ja) * 2000-07-24 2002-04-12 Matsushita Electric Ind Co Ltd 動画像符号化データの送信装置および送信方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005269323A (ja) * 2004-03-19 2005-09-29 Ricoh Co Ltd 画像処理装置、プログラムおよび記憶媒体
JP4489474B2 (ja) * 2004-03-19 2010-06-23 株式会社リコー 画像処理装置、プログラムおよび記録媒体
JP2011217345A (ja) * 2010-03-18 2011-10-27 Nippon Telegr & Teleph Corp <Ntt> 映像伝送方法、映像伝送装置、及びプログラム
JP2016537903A (ja) * 2013-08-21 2016-12-01 ジョーント・インコーポレイテッドJaunt Inc. バーチャルリアリティコンテンツのつなぎ合わせおよび認識
JP2018523331A (ja) * 2015-04-29 2018-08-16 ノースロップ グラマン システムズ コーポレイションNorthrop Grumman Systems Corporation 無人車両の制御のための動的に調整可能な状況認識インタフェース
JP2023515859A (ja) * 2020-06-18 2023-04-14 中興通訊股▲ふん▼有限公司 ビデオブロック化方法、伝送方法、サーバー、アダプタ及び記憶媒体
JP7338075B2 (ja) 2020-06-18 2023-09-04 中興通訊股▲ふん▼有限公司 ビデオブロック化方法、伝送方法、サーバー、アダプタ及び記憶媒体
JP2023547287A (ja) * 2021-09-30 2023-11-10 17Live株式会社 ストリーミングをレンダリングするためのシステム、方法、及びコンピュータ可読媒体
JP7406713B2 (ja) 2021-09-30 2023-12-28 17Live株式会社 ストリーミングをレンダリングするためのシステム、方法、及びコンピュータ可読媒体

Similar Documents

Publication Publication Date Title
US8176199B2 (en) Content delivery system, communicating apparatus, communicating method, and program
US8265140B2 (en) Fine-grained client-side control of scalable media delivery
US7339993B1 (en) Methods for transforming streaming video data
US6981045B1 (en) System for redirecting requests for data to servers having sufficient processing power to transcast streams of data in a desired format
US7143432B1 (en) System for transforming streaming video data
US8731314B1 (en) Methods for encoding an image
US7668965B2 (en) Systems, methods, and media for managing an interactive streaming image system
US8533597B2 (en) Strategies for configuring media processing functionality using a hierarchical ordering of control parameters
US20020131496A1 (en) System and method for adjusting bit rate and cost of delivery of digital data
US20100020868A1 (en) Transitioning compression levels in a streaming image system
US20050180641A1 (en) System and method for transmitting live audio/video information
US20060140494A1 (en) Image processing method and image processing apparatus
JP2004046879A (ja) スケーラブルな符号化メディアを配信するシステム、方法及びフォーマット
JP2011024018A (ja) 送信装置、受信装置、送信方法、受信方法及び伝送システム
JP2008516477A (ja) ビデオ圧縮システム
JP2001204001A (ja) 動画像配信システム,再生端末装置,及び配信装置
US20200099973A1 (en) Information processing system, terminal apparatus, and non-transitory computer readable medium
US9258622B2 (en) Method of accessing a spatio-temporal part of a video sequence of images
JP4108640B2 (ja) 映像伝送システム
JP2003333569A (ja) ファイルフォーマット、情報処理システム、情報処理装置および方法、記録媒体、並びにプログラム
JP4000904B2 (ja) 情報処理装置および方法、記録媒体、並びにプログラム
CN107135403B (zh) 信息处理设备
WO2023104186A1 (zh) 一种高效低成本的云游戏系统
KR102251576B1 (ko) 관심 영역 기반의 vr 영상 수신 장치 및 방법
JP2005136983A (ja) 通信方法、通信セッションオーガナイザ、通信セッション参加装置、製品および通信システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050513

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070731

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071001

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080207

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080603