JP2002262286A - データ伝送方法、データ伝送装置、再生方法及び再生装置 - Google Patents

Abstract

(57)【要約】 【課題】 伝送エラーが発生しうるネットワーク環境に
おいて、MPEG-4等のマルチメディア符号化形式のコンテ
ンツ・データを確実に再生が行なえるように伝送するた
めのデータ伝送装置を提供する。 【解決手段】 マルチメディア符号化形式のコンテンツ
・データのデータ送出装置１０１は、前記コンテンツ・
データのシーン情報から予定されている更新内容を検出
し、シーンの更新を通知するための更新通知情報を生成
し、更新発生以前に伝送路１０３を用いて前記更新通知
情報を再生装置１０２に送付することを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、データ伝送手段、
データ送出装置及び再生装置に関し、特にデータ欠損が
発生しうる伝送形式を用いて伝送されるマルチメディア
符号化方式のコンテンツ・データの伝送及び再生処理に
関するものである。

【０００２】

【従来の技術】情報メディアの多様化にともない、映像
や音声、文章といったメディア・コンテンツをそれぞれ
単一で扱うのではなく、上記コンテンツを互いに関連付
けてひとつの複合コンテンツとして扱い、各コンテンツ
を同期させながらパーソナル・コンピュータなどの再生
装置で再生を行なうことが出来る、いわゆるマルチメデ
ィア・コンテンツも一般に見られるようになってきた。

【０００３】また、近年のインターネットの普及によっ
て、テレビ、ラジオなどの既存の情報伝達手段が行なっ
てきたようなメディア・コンテンツの配信も、伝送可能
な情報量や伝送品質などに関する制約はあるものの、ご
く限られた範囲でのサービスであればインターネットを
経由して行なえるようになってきており、実際にコンテ
ンツ配信サービスを行なういわゆるウェブサイトも現れ
てきている。

【０００４】上述した時代の要求に対応すべく、メディ
ア・コンテンツの合成操作や連携操作といった制御機能
を持ったマルチメディア・コンテンツを、ネットワーク
を介して配信を行なうことが可能なデジタル・データ形
式として表現するための様々な規格が検討され、策定さ
れてきている。

【０００５】上記の要求を充足する規格の代表的なもの
として、国際標準化機関ISO/IEC JTC1 SC29によるマル
チメディア符号化形式の国際標準規格であるISO/IEC 14
496-1〜3(MPEG-4)が挙げられる。

【０００６】MPEG-4は、映像（ビデオ）、音声（オーデ
ィオ）といった単一のメディア・データを、それぞれ再
生するシーンを構成する物体（オブジェクト）として取
り扱い、個別に符号化するといったオブジェクトベース
符号化形式であるという特徴を持っている。

【０００７】また、MPEG-4では、各オブジェクトを合成
して一つのシーンを表現するために、シーン記述という
考え方が導入されている。これは、オブジェクト自体の
符号化データとは別に、シーンを構成する各オブジェク
トの相関関係や、シーン上でのオブジェクトの配置を示
す空間的属性、及びオブジェクトが出現したり消滅した
りするタイミングを示す時間的属性などを記述した情報
（シーン記述情報）を持つことによって実現される。シ
ーン記述情報は、シーンの途中で動的に変更することが
出来るようになっていて、例えばオブジェクトの位置を
移動させたり、オブジェクトをシーン途中から表示させ
たりといった属性の変更や追加、削除を行なうことが可
能である。

【０００８】このシーン記述情報に加えて、シーン記述
情報で示されるオブジェクト情報とオブジェクト自体の
符号化データとの関連付けを行なう識別子（オブジェク
トディスクリプタ）を記述する情報（オブジェクトディ
スクリプタ情報）とを再生時に参照し解析することで、
オブジェクトの属性が反映されたシーンを合成すること
が可能になっている。

【０００９】このように、複数のオブジェクトから構成
されるマルチメディア・コンテンツを表現するために
は、映像や音声といったデータだけでは不完全であり、
シーン記述情報やオブジェクトディスクリプタ情報とい
った、マルチメディア・コンテンツのシーン構成を制御
するための情報（以下、シーン情報）が必要となる。シ
ーン情報が用いられることによって、はじめてコンテン
ツの作成者が意図したシーンの構成が正しく表現できる
ようになる。

【００１０】そのためMPEG-4では、シーン記述情報やオ
ブジェクトディスクリプタ情報の符号化形式などを規定
しており、マルチメディア・コンテンツのシーン構成に
関する部分の国際標準規格として提示している。

【００１１】一方で、符号化されたマルチメディア・コ
ンテンツのデータがネットワークを介して伝送される場
合に、どのような伝送形式や手順を用いるべきか、とい
った通信に関わる部分の詳細は、現在、Internet Engin
eering Task Force(IETF)やその他業界団体などで検討
が進められている。

【００１２】この検討作業において、伝送系にインター
ネットを用いた符号化データの配送を行なうために、い
くつかの草案が現在までに提案されている。例えば、RF
C1889によって規定されるデータの実時間転送を行なう
ためのプロトコルであるRTP(Real-Time Transport Prot
ocol)を通信プロトコルとして利用するという草案 (Ava
ro、Basso、Casner、Civanlar、Gentric、Herpel、Li
m、Perkins：RTP PayloadFormat for MPEG-4 Streams、
Internet Engineering Task Force、Internet Draft)
などが公開されている。

【００１３】

【発明が解決しようとする課題】前述のRTPは、再生装
置においてコンテンツ・データを受信しながら逐次再生
するといった、いわゆるストリーミング処理を行なうコ
ンテンツ配信システムで現在広く使われている通信プロ
トコルで、配送遅延や配送時間のぶれを小さく抑えるた
めの仕組みを有しているという長所を持っている。

【００１４】しかしその反面、配送非保証型のプロトコ
ルであるUDP(User Datagram Protocol)を基盤としてい
るため、パケット喪失や伝送エラーなどが発生して配送
データの一部が失われる可能性があるという短所も併せ
持っている。

【００１５】このRTPのように、データの伝送中に誤り
が発生しうる方式で伝送が行なわれる場合に備えて、MP
EG-4では、一定の範囲で伝送誤りや情報欠落に対する耐
性(Error resiliency)を符号化方式に持たせるために様
々な工夫がなされている。

【００１６】ビデオ・データやオーディオ・データに関
しては、誤りが発生した場合、再生中のビデオやオーデ
ィオの一部がスキップされたり、ノイズが混入したりと
いった影響が発生する可能性はあるものの、後続の正常
に配送されたデータ以降は正しく再生することが出来る
ようになる。

【００１７】このように、MPEG-4形式のビデオ・データ
やオーディオ・データの場合は、誤りによる影響を可能
な限り抑えるような対策がなされており、再生動作に大
きな問題は発生しないようになっている。

【００１８】しかし、シーン記述情報やオブジェクトデ
ィスクリプタ情報といったシーン情報に関しては、デー
タの欠損が発生すると、シーンを構成するオブジェクト
の情報が正しく得られなくなり、オブジェクトが不正な
状態で表示される、あるいはまったく表示されないとい
ったように、シーンの合成処理で異常をきたすという問
題が生じる。

【００１９】また、このことは表示に対して影響を与え
るだけにとどまらず、再生動作において予期されない挙
動を引き起こす原因となり得るため、場合によってはシ
ステムクラッシュなどの致命的な問題につながる可能性
を示唆している。

【００２０】上記の問題に対する第１の解決策として、
シーン記述情報やオブジェクトディスクリプタ情報など
のシーンを構成するための情報もRTPで配信し、受信側
で到着していないパケットの存在が検出されたら、未到
着のパケットを再送するように要求するという方法が考
えられる。

【００２１】RTPでは、パケットのヘッダ情報にシーケ
ンス番号を設定するよう規定しているため、このシーケ
ンス番号を監視することによってパケット喪失を検出す
ることは可能である。

【００２２】しかしこの方法では、パケット喪失が発見
されてから送出側に再送要求を行ない、再送されたパケ
ットが到着するまでの間は再生を行なうことが出来ない
ため、再生中に遅延が生じるという弊害が出てくる。

【００２３】第２の解決策として、再生に必要なシーン
情報を繰り返し配送しつづけるようにして、パケットが
喪失したとしても再度到着するパケットを受信すること
でデータを再構成するという方法もありえる。

【００２４】しかし、この方法を用いても、２回目以降
に到着するパケットを受信するまでの間は再生を行なえ
ないので、第１の解決策と同様再生に遅延が生じる。更
に、この方法ではシーン情報を繰り返し送出しつづけて
いる間は回線の帯域幅を占有しつづけるため、同時に配
信されているビデオやオーディオが使用する帯域を圧迫
してしまうという問題も起こってくる。

【００２５】第３の解決策として、シーン記述情報やオ
ブジェクトディスクリプタ情報や静止画像などの静的な
データは、TCP(Transmission Control Protocol)のよう
な配送保証型の通信プロトコルを用いて、シーンの再生
が開始される前にあらかじめ取得しておくというシステ
ムがある（特開2000-232632）。

【００２６】この方法は、シーンの再構成が確実に行な
うことができ、かつ、シーンの再生中は占有する帯域幅
を小さく抑えることが出来るという優れた点があるが、
シーンの再生時間が長く、かつシーン中にオブジェクト
の属性変更が頻繁に行なわれるような場合には、データ
を取得するオーバーヘッドが大きくなるため、コンテン
ツの視聴者は最初のシーンの再生前、あるいはシーンか
ら別のシーンに切り替わる時に待たされる可能性がある
という問題点を有している。

【００２７】また、この方法は、取得済みのシーン情報
で記述されているシーンの再生が終了するまで次のシー
ン情報は取得されないため、ライブ映像に対して編集を
行ないながら配信するような、リアルタイム性が要求さ
れるコンテンツ配信には対応できない。

【００２８】これまで述べてきた課題は、特にMPEG-4に
おけるシーン記述情報やオブジェクトディスクリプタ情
報に関するものであったが、上記の課題はMPEG-4に固有
のものではなく、マルチメディアを記述する類似の符号
化方式における共通の課題である。

【００２９】また、RTPは一般にUDPプロトコル上で利用
されるが、UDPのような配送の遅延やエラーが発生しう
る類似の通信プロトコルが利用される場合にも共通の課
題であることは言うまでもない。

【００３０】本発明は、このような問題点に鑑みてなさ
れたものであり、伝送エラーが発生しうるネットワーク
環境において、MPEG-4または類似の符号化形式によって
記述されたマルチメディア・コンテンツを確実に再生が
行なえるように配信するためのデータ伝送方法、データ
送出装置及び再生装置を提供することを目的としてい
る。

【００３１】また、本発明は、上述した第１の解決策の
ように再生時に遅延が発生することを最小限に抑えるこ
とが出来るデータ伝送方法、データ送出装置及び再生装
置を提供することを目的としている。

【００３２】また、本発明は、前述された第２の解決策
のように回線の帯域幅を占有しつづけることなく、コン
テンツを確実に配信することが出来るデータ伝送方法、
データ送出装置及び再生装置を提供することを目的とし
ている。

【００３３】また、本発明は、前述された第３の解決策
では困難であったリアルタイム性が要求されるコンテン
ツを配信することが出来、かつ、配信の遅延を最小限に
抑えることが出来るデータ伝送方法、データ送出装置及
び再生装置を提供することを目的としている。

【００３４】

【課題を解決するための手段】上記課題を解決するため
の本発明にかかるデータ伝送方法は、シーン構成を制御
するためのシーン情報を含むマルチメディア符号化形式
で符号化されたコンテンツ・データの伝送方法であっ
て、前記シーン情報から予定されている更新内容を検出
し、シーンの更新を示す更新通知情報を生成し、シーン
の更新発生以前に前記更新通知情報を外部装置へ伝送す
ることを特徴とする。

【００３５】また、本発明にかかるデータ伝送装置は、
シーンの構成を制御するためのシーン情報を含むマルチ
メディア符号化形式のコンテンツ・データのデータ伝送
装置であって、前記シーン情報の入力手段と、前記シー
ン情報を解析し予定されている更新内容を検出してシー
ンの更新を通知するための更新通知情報を生成する生成
手段と、シーンの更新発生以前に前記更新通知情報を外
部装置に伝送する伝送手段とを有することを特徴とす
る。

【００３６】また、本発明にかかる再生方法は、シーン
の構成を制御するためのシーン情報を含むマルチメディ
ア符号化形式で符号化されたコンテンツ・データの再生
方法であって、前記コンテンツ・データを構成するメデ
ィア・データを受信し、前記コンテンツ・データの更新
されたシーン情報を示す更新シーン情報を前記メディア
・データとは別の伝送方式で受信し、前記更新シーン情
報に基づいてメディア・データを再生することを特徴と
する。

【００３７】また、本発明にかかる再生装置は、シーン
の構成を制御するためのシーン情報を含むマルチメディ
ア符号化形式で符号化されたコンテンツ・データの再生
装置であって、前記コンテンツ・データを構成するメデ
ィア・データを受信する第1の受信手段と、前記コンテン
ツ・データの更新されたシーン情報を示す更新シーン情
報を前記メディア・データとは別の伝送方式で受信する
第２の受信手段と、前記更新シーン情報に基づいて前記
メディア・データを再生する再生手段とを有することを
特徴とする。

【００３８】また、本発明にかかる記憶媒体は、シーン
の構成を制御するためのシーン情報を含むマルチメディ
ア符号化形式のコンテンツ・データのデータ伝送装置の
制御プログラムをコンピュータ読出し可能に記憶する記
憶媒体であって、前記制御プログラムが、前記シーン情
報の入力モジュールと、前記シーン情報を解析し予定さ
れている更新内容を検出してシーンの更新を通知するた
めの更新通知情報を生成する生成モジュールと、シーン
の更新発生以前に前記更新通知情報を外部装置に伝送す
る第１伝送モジュールと、シーンの更新発生以前に前記
更新通知情報に対応する更新シーン情報を、前記更新通
知情報とは異なる伝送方式により前記外部装置へ伝送す
る第２伝送モジュールとを含むことを特徴とする。

【００３９】また、シーンの構成を制御するためのシー
ン情報を含むマルチメディア符号化形式で符号化された
コンテンツ・データの再生装置の制御プログラムをコン
ピュータ読出し可能に記憶する記憶媒体であって、前記
制御プログラムが、前記コンテンツ・データを構成する
メディア・データを受信する第１受信モジュールと、前
記コンテンツ・データの更新されたシーン情報を示す更
新シーン情報の要求メッセージを生成し、前記メッセー
ジを送信する送信モジュールと、前記更新シーン情報を
前記メディア・データとは別の伝送方式で受信する第２
受信モジュールと、前記更新シーン情報に基づいて前記
メディア・データを再生する再生モジュールとを含むこ
とを特徴とする。

【００４０】

【発明の実施の形態】本発明の原理および実施方法につ
いて、以下に図面を参照しながら詳細に説明する。

【００４１】図１は本発明の全体構成を説明するための
図である。

【００４２】図１において、データ送出装置101は、MPE
G-4あるいはこれに類似するマルチメディア符号化形式
において、シーン記述情報、オブジェクトディスクリプ
タ情報といった類のマルチメディア・コンテンツのシー
ン構成を制御するための情報（以下、シーン情報）を入
力し、ネットワークに送出する手段を有する。

【００４３】入力されるシーン情報は、データ送出装置
101と物理的に同一の装置内に備わった記憶部にあらか
じめ保存されていてもよいし、異なる装置から何らかの
通信手段を介して伝送されてもよい。また、データ送出
装置101に入力され、送出されるデータは、シーン情報
だけに限らず、シーンを構成するビデオ・データやオー
ディオ・データ、あるいはその他シーン情報以外のデー
タも対象とすることも出来る。

【００４４】再生装置102は、データ送出装置101からネ
ットワークを介して送出されたシーン情報、およびビデ
オ・データやオーディオ・データなどのシーンを構成す
るコンテンツのデータを受信し、シーンを再構成して再
生する手段を有する。シーン情報以外のデータは、デー
タ送出装置101から送出されても、他のデータ送出装
置、あるいは他の手段によって伝送されても良い。

【００４５】データ送出装置101と再生装置102は、ネッ
トワークを介してデータを交換するための伝送路103、
伝送路104、伝送路105を有する。尚、図１で示されるネ
ットワークとは、インターネットのように双方向のデー
タ通信が行なえる環境とする。

【００４６】伝送路103は、データ送出装置101から再生
装置102へ対し、伝送処理の効率は良いが伝送エラーや
パケット喪失などが発生し得る伝送方法を用いてデータ
を配送するための通信経路である。伝送路103は、決め
られた時間軸に連動して再生されるビデオやオーディオ
のように、リアルタイム性が要求されるデータ（実時間
型データ）をストリーミング配送するために用いられ
る。

【００４７】伝送路104は再生装置102からデータ送出装
置101へ、伝送路105はデータ送出装置101から再生装置1
02へデータを配送するための通信経路で、両方とも、伝
送処理の効率は必ずしも良くないが配送が確実に行なえ
るような配送保証型の伝送方法を用いるものとする。伝
送路104、伝送路105はいずれも、欠落があってはならな
いデータを配送するために用いられる。

【００４８】尚、上述した配送保証型の伝送方法とは、
TCPのように配送保証機能を内在した通信プロトコルを
用いるということを必ずしも意味してはいない。例え
ば、データの喪失を検出したら再送を行なうといった制
御を各装置の責任で行なうといったように、何らかの形
態でデータの欠落を回避する処理が実現出来るのであれ
ば、UDPのような配送非保証型の通信プロトコルを用い
ても良い。

【００４９】上記の伝送路103、伝送路104、伝送路105
はいずれもデータ伝送の流れを説明するための概念的な
通信経路であり、物理的な回線、あるいはセッションと
いうような論理的な回線とは必ずしも一致しない。した
がって、これらの伝送路は物理的、あるいは論理的に分
離したものであっても、同一のものであっても、どのよ
うな形態をとって実現されても良い。

【００５０】また、伝送路103、伝送路104、伝送路105
は、本発明を実現するために最低限必要とされる伝送路
であり、本発明の機能を補完するために他の伝送路を追
加することも可能である。

【００５１】データ送出装置101は、シーン情報に変更
が加わる場合、これからシーンに何らかの更新が発生す
るということを通知するデータ（更新通知情報）を実際
にシーンが切り替わる前にあらかじめ再生装置102に送
付する。

【００５２】再生装置102は受け取った更新通知情報か
らシーンの変更を検知すると、配送保証型の通信手段で
シーン情報を要求するメッセージ（要求メッセージ）を
データ送出装置101へ発し、更新されるシーンのシーン
情報（更新シーン情報）を受信するという手順でデータ
交換を行なう。

【００５３】このような手順をとることで、動的に変化
するシーン情報を確実に、かつ、再生の遅延が生じる可
能性を極力小さく抑えながら伝送することを可能にして
いる。

【００５４】上記の手順によってどのようにデータが交
換されるのかについて、以下により詳細に説明する。

【００５５】図２は、更新通知情報のデータ構造を示す
図である。

【００５６】図２において、更新通知情報201は、更新
指定子202、補助データ長203、補助データ204の３つの
データ・ブロックから成るデータ構造である。

【００５７】更新指定子202は、シーン情報に更新が発
生することを指定するための固定長の二値データを保持
する領域である。シーン情報が更新される場合は、更新
指定子202の値を変化させることによって更新が発生す
ることを表現する。更新指定子202に設定される値の内
容は実施の各形態に依存するが、任意の値から始まるシ
ーケンス番号、あるいはシーンが切り替わるタイミング
を示すクロック値などが利用可能である。

【００５８】シーケンス番号を用いる場合は、データ送
出装置101には、シーン情報が変更されることを通知す
るタイミングで更新指定子202の値を１だけ加算して更
新通知情報201を送出することが要求される。以降、デ
ータ送出装置101は次の更新通知を行なうまでは、更新
指定子202の値の変更は行なわずに更新通知情報201を送
出する。

【００５９】クロック値を用いる場合は、データ送出装
置101は、上記のシーケンス番号の例で示される更新指
定子202の変更時に、更新されるシーンが実際に再生さ
れるタイミングを示すクロック値が設定される。

【００６０】再生装置102は、到着した更新通知情報201
から更新指定子202の値を参照し、これまでに到着した
更新通知情報201の更新指定子202の値との比較を行な
う。その結果、異なる値であった場合は、シーン情報に
更新が発生すると解釈できる。

【００６１】上記のようにして、再生装置102はシーン
情報が更新されることを更新指定子202によって知るこ
とが可能となる。

【００６２】補助データ長203は、後述される補助デー
タ204のデータサイズを示す固定長の数値を保持する領
域である。

【００６３】補助データ204は、更新通知情報201に含め
て送出する必要がある付加的なデータを保持するための
領域で、任意形式の可変長データを保持することが出来
る。

【００６４】シーン情報の更新を通知するという目的を
果たすだけであれば、更新通知情報201が持つべきデー
タは更新指定子202のみで十分であるが、更新されるシ
ーンに関する情報をどこから、どのように取得するかに
関する情報も別途必要となる。補助データ204は、この
ようなデータ取得処理を支援するための情報を配送する
ために使用することが出来る。

【００６５】例えば、更新されるシーン情報データの取
得先を再生装置に知らせるために、データ取得先のURL
を補助データ204に設定して送付するという利用形態が
想定される。

【００６６】あるいは、更新されるシーン情報のデータ
サイズや、データを取得するための予想所要時間といっ
た、データの取得タイミングを算出するために有用とな
る情報を、補助データ204に設定して送付するといった
目的にも利用できる。

【００６７】なお、補助データ204に設定されるデータ
の内容および形式は、実施の各形態に依存するものとし
て、本発明での規定の範囲外とする。

【００６８】図３は、データ送出装置から送出される更
新通知情報を含むデータパケットの構造を示す図であ
る。

【００６９】図３（ａ）に示されるように、更新通知情
報201は、使用する通信プロトコルにおけるパケットの
配送制御に用いられるパケット・ヘッダ情報301と、パ
ケットのペイロードとなる送信データ302の間に配置さ
れる。

【００７０】データパケットに更新通知情報201をマッ
ピングする場合の形態として、ペイロードの一部とする
場合（図３（ｂ）参照）、パケット・ヘッダの一部とす
る場合（図３（ｃ）参照）が考えられるが、本発明では
いずれの形態をとっても可能である。

【００７１】ただし、図３で示されるデータ構造の配置
は、必ずしも図の通りとなっている必要はない。

【００７２】図３におけるパケット・ヘッダ情報301、
および送信データ302で送付されるデータ項目に、更新
通知情報201の各データ・ブロックと同様の目的で使用
することが出来る項目がすでに定義されている場合は、
データの重複をなくして伝送データのサイズを縮小し、
通信処理が最適化されるようにするため、データ・ブロ
ックのマッピングが変更されても良い。

【００７３】次に、データ送出装置101と再生装置102と
の間でデータがどのように交換されるか説明する。

【００７４】図４は、データ送出装置と再生装置との間
で交換されるデータの伝送形態、および各データが処理
されるタイミングを示す図である。

【００７５】図４において、伝送路103、伝送路104、伝
送路105（図１参照）を介して交換されるデータは矩形
で表され、左辺は伝送が開始されたタイミング、右辺は
伝送が完了したタイミング、上辺および底辺は伝送にか
かる所要時間を示す。

【００７６】図４における矩形401、402、403および404
は、伝送路103を介して配送される更新通知情報のデー
タを示す。これらの更新通知情報はいずれも同一のシー
ンの更新を示すもので、同一内容のデータが401から404
に至るまで繰り返し送出されている事を表わしている。

【００７７】矩形401の左辺に接する破線TXは、データ
の送出を開始するタイミングを示す。矩形の右辺に接す
る破線TU1、TU2、TU3およびTUnは、それぞれ更新通知情
報401、402、403および404に対応する更新通知情報デー
タの伝送が完了したタイミングを示す。

【００７８】矩形405は、伝送路104を介して配送される
更新されるシーン情報データの送付を要求するメッセー
ジ（要求メッセージ）を示す。矩形405の左辺に接する
破線TRsは要求メッセージの伝送が開始されるタイミン
グを示し、矩形405の左辺に接する破線TReは、要求メッ
セージの伝送が完了するタイミングを示す。

【００７９】矩形406は、伝送路105を介して配送される
更新されるシーン情報のデータ（更新シーン情報デー
タ）を示す。矩形406の左辺に接する破線TDsは更新シー
ン情報データの伝送が開始されるタイミングを示し、矩
形406の左辺に接する破線TDeは、更新シーン情報データ
の伝送が完了するタイミングを示す。

【００８０】尚、矩形405、矩形406で表現されるデータ
の伝送所要時間には、着信通知(ACK)等、配送が正しく
行われたか確認するためのデータの伝送時間も含まれ
る。

【００８１】破線TSは、配送された更新シーン情報デー
タを再生できるようにするための同期処理が完了するタ
イミングを示す。また、破線TPは、配送された更新シー
ン情報データによって示されるシーンが再生装置102で
再生されるタイミングを示す。

【００８２】図４は、再生装置102は更新通知情報404を
受信後に、要求メッセージ405を送出し、更新シーン情
報データ406をデータ送出装置101から受信するという流
れを示したものである。すなわち、(TRs-TUn)は再生装
置102における要求メッセージ405の送出準備処理の所要
時間を、(TDs-TRe)はデータ送出装置101における更新シ
ーン情報データ406の送出準備処理の所要時間を、(TS-T
De)はデータ送出装置101における更新シーン情報データ
406を再生するための同期処理の所要時間に対応する。

【００８３】データ送出装置101から送付される更新通
知情報は、シーンの更新を速やかに知らせられるよう、
伝送路103を用いて送られる。伝送路103でデータを送信
する場合はデータが欠落する可能性があるため、更新通
知情報は図４に示されるように複数回連続して送出され
なければならない。しかし、更新通知情報はシーン情報
の更新を知らせるために必要なデータしか持たず、デー
タサイズはきわめて小さいため、繰り返し送出されたと
してもネットワークの帯域占有率を少なく抑えられる。

【００８４】再生装置102は、更新通知情報からシーン
が変更されることを検知したら、伝送路104を介して更
新通知情報に対応付けられたシーン情報データの要求メ
ッセージをデータ送出装置101へ送信する。データ送出
装置101は、受信した要求メッセージに応じて、伝送路1
05を介して更新シーン情報データを再生装置102へ送付
する。要求メッセージおよび更新シーン情報データは、
配送保証型の伝送路で送られるため、確実に配送するこ
とが出来る。

【００８５】上記のデータ交換処理を行なうにあたっ
て、データ送出装置101は、実際にシーンの切り替えが
発生する前に再生装置102が更新シーン情報データを準
備出来るようにデータの送出を行なう必要がある。すな
わち、データ送出装置101および再生装置102が送出する
各データは、図４に示される条件式を満たすタイミング
で送出されることが要求される。

【００８６】条件式の項TUnは、データ送出装置101から
複数回送出される更新通知情報データの最終データの伝
送完了時間を示す。このように、送出タイミングは更新
通知情報データの配送条件が最も悪い状態を元に算出さ
れる必要がある。

【００８７】また、条件式の(TUn-TX)、(TRs-TUn)、(TD
s-TRe)、(TDe-TDs)、(TS-TDe)の各項は、更新シーン情
報のデータサイズ、更新通知パケットのデータサイズお
よび送出回数、要求メッセージの予想データサイズ、配
送確認制御処理の予想所要時間、ネットワークの伝送能
力、各装置の処理能力といった要因によって変動する可
能性がある。

【００８８】したがって、データ送出の際には、配送遅
延などが発生してもシーン切り替えに間に合う程度に十
分な時間的余裕を持たせて送出を行なうか、RTCP(RTP C
ontrol Protocol)などの通信プロトコルまたは同等の通
信手段データを用いて送出装置101と再生装置102との間
で配送能力に関する統計情報を適宜交換することによっ
て、送出時点でのデータ交換の所要時間を試算し、送出
タイミングを制御するといった処理を行なうことが求め
られる。

【００８９】次に、データ送出装置101および再生装置1
02において、データ交換のために行われる処理手順を例
示する。

【００９０】図５は、本発明のデータ送出装置及び再生
装置の内部構成を示す図であり、各装置内部の処理手順
を説明するために使用される。

【００９１】図５において、データ送出装置101は、シ
ーン記述データの取得および解析、管理を行なうデータ
処理部501、再生装置102とのデータ交換のタイミング制
御および要求メッセージの解釈を行なう通信制御部50
2、伝送路103を介してリアルタイム処理が必要なデータ
の送出を行なう実時間型データ送出部503、伝送路104を
介して再生装置102から送られるメッセージの受信を行
なうメッセージ受信部504、および伝送路105を介して確
実な配送が必要なデータの送出を行なう配送保証型デー
タ送出部505から構成される。

【００９２】また、再生装置102は、伝送路103、あるい
は他の伝送路を介して実時間型データの受信を行なう実
時間型データ受信部506、伝送路104を介してデータ送出
装置101へメッセージの送信を行なうメッセージ送出部5
07、伝送路105を介して確実な配送が必要なデータの受
信を行なう配送保証型データ受信部508、送出装置101と
のデータ交換のタイミング制御および要求メッセージの
生成を行なう通信制御部509、およびシーン情報データ
と他種のデータとを統合し、同期させるための制御処理
を行なう同期制御部510から構成される。尚、図５には
記載されないが、再生装置102は受信したデータの合成
および再生を行なう再生処理部を有するものとする。

【００９３】図６は、データ送出装置101、再生装置102
の各構成部の連携動作を説明するためのフロー図であ
る。縦軸は図５における各構成部に対応し、各処理は時
系列順に上から下へ実行されることを示す。

【００９４】図５、図６において、矢印は各構成部間の
データならびに処理要求の流れを表している。

【００９５】破線で示される矢印は、伝送路104、伝送
路105を介して交換されるデータの配送保証を実現する
ために交換されるデータの流れを示す。このデータはTC
Pにおける受信確認パケットに相当するもので、データ
が正常に配送されたことを確認するために交換される。
尚、本文では配送保証型データの配送制御処理に関する
詳細説明は省略する。

【００９６】以下、図６に示される各処理手順を時系列
順に説明する。

【００９７】（ステップ01）：データ処理部501は、配
信対象コンテンツのシーン情報データを取得する。シー
ン情報がコンテンツを構成する他種データと多重化され
て記録されている場合は、シーン情報を分離する処理を
行なう。シーン情報データの他に、ビデオ・データ、オ
ーディオ・データ等のシーンを構成するマルチメディア
データ（メディア・データ）がデータ処理部501で処理
されても良い。

【００９８】（ステップ02）：データ処理部501は、ス
テップ01で取得されたシーン情報の先読みを行ない、シ
ーンの切り替えやオブジェクトの出現、消失、属性変更
など、何らかのシーン情報の更新が予定されているかを
解析する。シーン情報の更新が検出された場合は、シー
ン情報の更新が再生シーンに反映されるタイミング（再
生タイミング）、および同タイミングにおけるシーン情
報の更新内容を示すデータを抽出する。再生タイミング
は、図４のTPに対応する。同時に、更新シーン情報に対
応する新しい更新指定子を生成する。更新が検出されな
ければ、ステップ01に戻り、後続のシーン情報を取得す
る。

【００９９】（ステップ03）：データ処理部501は通信
制御部502に対し、ステップ02で抽出された更新内容を
通知するための情報として、抽出された更新指定子、再
生タイミング、および関連する更新シーン情報データを
参照するための情報（参照情報）を受け渡す。参照情報
はデータ処理部501において管理される更新シーン情報
データを取得するために用いられるデータで、内容およ
び形式は更新シーン情報データの管理方法によって異な
るが、内部テーブルから更新シーン情報データを検索す
るためのキーデータ、もしくはデータファイルの名称や
URLなどが使用されると考えられる。更新指定子を参照
情報として用いることも可能である。データ処理部501
は、上述の経路を流用してメディア・データを通信制御
部502に受け渡しても良い。

【０１００】（ステップ04）：通信制御部502は、図４
で示される条件式を満たすよう、ステップ03で受け渡さ
れた更新通知情報を送出するタイミング（送出タイミン
グ）を算出する。送出タイミングは、条件式の変動項目
の総和で示されるデータ伝送処理の所要時間を再生タイ
ミングから減じたタイミングに相当し、図４のTXに対応
する。

【０１０１】（ステップ05）：通信制御部502は、ステ
ップ03で受け渡された更新通知情報を図２に示される形
式に再編成し、ステップ04で算出された送出タイミング
が到来した時点で、実時間型データ送出部503に対して
更新通知情報を受け渡して送出を行なうよう指示する。
通信制御部502は、上述の経路を流用してメディア・デ
ータを実時間型データ送出部503に受け渡しても良い。

【０１０２】（ステップ06）：実時間型データ送出部50
3は、更新通知情報を図３に示されるレイアウトにマッ
ピングしたデータパケットを生成し、伝送路103を介し
て再生装置102に送出する。伝送路103ではデータの配送
保証は行われないため、実時間型データ送出部503はデ
ータパケットの送出を複数回連続して行なう。同様に、
実時間型データ送出部503はシーン情報と同時に、伝送
路103を介してメディア・データを送出しても良い。

【０１０３】（ステップ07）：実時間型データ受信部50
6は、伝送路103を介してデータパケットを受信し、パケ
ットにマッピングされた更新通知情報を抽出して通信制
御部509に受け渡す。通信制御部509は、データ送出部10
1あるいはいずれかの送出手段からメディア・データを
受信し、通信制御部509に受け渡しても良い。

【０１０４】（ステップ08）：通信制御部509は、図４
で示される条件式を満たすよう、データ送出装置101に
対して更新シーン情報の要求メッセージを送出するタイ
ミング（要求タイミング）を算出する。要求タイミング
は、図４のTRsに対応する。

【０１０５】（ステップ09）：通信制御部509は、更新
通知情報の内容を元に更新シーン情報の要求メッセージ
を生成し、ステップ08で算出された要求タイミングが到
来した時点で、メッセージ送出部507に対して要求メッ
セージを受け渡して送出を行なうよう指示する。要求メ
ッセージには、後述のステップ12において更新シーン情
報を取得する際に、取得対象を特定するためにステップ
03で説明された参照情報が含まれていなければならな
い。

【０１０６】（ステップ10）：メッセージ送出部507
は、ステップ09で受け渡された要求メッセージを、デー
タ送出装置101に伝送路104を介して送出する。伝送路10
4においてはデータの配送は保証されるため、要求メッ
セージの送出は１回のみ行なう。

【０１０７】（ステップ11）：メッセージ受信部504
は、伝送路104を介して要求メッセージを受信し、通信
制御部502に受け渡す。

【０１０８】（ステップ12）：通信制御部502はデータ
処理部501に対して、ステップ11で受け渡された要求メ
ッセージで示される更新シーン情報データを要求する。
ここで取得対象となる更新シーン情報は、要求メッセー
ジの参照情報で特定することが可能となっているものと
する。

【０１０９】（ステップ13）：データ処理部501は、ス
テップ12で要求された更新シーン情報のデータを通信制
御部502に受け渡す。更新シーン情報はそのシーンの再
生タイミングを指定するデータを含んでいると仮定して
いるが、再生タイミングが含まれない場合は別途受け渡
す必要がある。

【０１１０】（ステップ14）：通信制御部502は配送保
証型データ送出部505に対して、ステップ13で受け渡さ
れた更新シーン情報データを受け渡して送出を行なうよ
う指示する。

【０１１１】（ステップ15）：配送保証型データ送出部
505は、ステップ14で受け渡された更新シーン情報デー
タを、再生装置102に伝送路105を介して送出する。伝送
路105においてはデータの配送は保証されるため、更新
シーン情報データの送出は１回のみ行なう。

【０１１２】（ステップ16）：配送保証型データ受信部
508は、伝送路105を介して更新シーン情報データを受信
し、通信制御部509に受け渡す。

【０１１３】（ステップ17）：通信制御部509は、ステ
ップ16で受け渡された更新シーン情報データを同期制御
部510に受け渡す。この処理において、必要であれば、
通信制御部509は更新シーン情報データを同期制御部510
が解釈出来るような形式に再編成する処理を行なう。通
信制御部509は、メディア・データが入力されている場
合、更新シーン情報データと同様に同期制御部510へ受
け渡す。

【０１１４】（ステップ18）：同期制御部510は、ステ
ップ17で受け渡された更新シーン情報データから再生タ
イミングを参照し、メディア・データなど他種のデータ
の再生タイミングと同期させる処理を行なう。同期処理
の詳細については、再生するコンテンツの規格によって
定められるものとして、説明を省略する。なお、同期処
理において、更新シーン情報の配信が遅れていることが
検知された場合に、同期制御部510は通信制御部509に対
して遅延の発生を通知する処理を行なうことも可能であ
る。この場合、通信制御部509は、遅延の発生状況に応
じてデータの送出タイミングを算出するためのパラメー
タを再設定して、遅延の発生を縮小するための処理を行
なうことが期待される。

【０１１５】（ステップ19）：同期制御部510は、再生
タイミングが到来した時点で、更新シーン情報および入
力されている再生に必要なメディア・データ等を再生処
理部へ受け渡す。

【０１１６】上記処理の補足説明として、ステップ02に
おいてシーン情報の更新はどのように発生し、抽出され
た更新シーン情報はどのように管理されるか、以下に図
を用いて例示する。

【０１１７】図７は、本発明において配信されるマルチ
メディアデータで表現されるシーンのイメージ図（図７
（ａ））、及びシーンを構成する各オブジェクトの再生
スケジュールを示す図（図７（ｂ））である。

【０１１８】図７（ａ）において、再生されるシーン60
1は、ビデオ・オブジェクト602、オーディオ・オブジェ
クト603、イメージ・オブジェクト604、ユーザーインタ
ーフェース・オブジェクト605から構成されていること
を示す。

【０１１９】各オブジェクトは図７（ｂ）に示す再生ス
ケジュールで示されるシナリオで再生されるようにシー
ン情報で記述されているものとする。再生スケジュール
において、ビデオ・オブジェクト602およびオーディオ
・オブジェクト603は、シーン601全体を通じて連続的に
再生され。イメージ・オブジェクト604は、シーン601途
中のタイミングT11で出現し、ユーザーインターフェー
ス・オブジェクト605は、シーン601の最初から存在はす
るが表示はされず、T21のタイミングで表示、T22のタイ
ミングで非表示になるよう表示属性が変更される。

【０１２０】シーン601のシーン情報から更新シーン情
報を抽出するには、データ処理部501は上述したステッ
プ02の処理で601の再生スケジュール全体を時間軸にし
たがって走査する。走査によって更新オブジェクトの再
生タイミングT11、T21、T22を検出したら、各タイミン
グに対応する更新の内容を示す部分のシーン情報データ
をシーン601のシーン情報データから切り出す。

【０１２１】さらに、データ処理部501は切り出したシ
ーン情報データを上述したステップ12の処理で要求に応
じて受け渡せるよう、シーン情報の参照情報と関連付け
て管理する。

【０１２２】再生タイミングT11とT21のように複数の更
新が短時間に連続して発生するような場合、データ処理
部501は複数の更新を統合して一つの更新データとして
管理するという処理を行っても良い。この処理を行なう
ことによって更新通知の回数を減少させる事が出来るた
め、更新データの取得にかかる総処理時間が圧縮される
という効果が期待できる。

【０１２３】次に、上記の更新シーン情報データの管理
方法について、図８を用いて説明する。

【０１２４】図８では、更新シーン情報の管理方法の例
として、更新指定子と更新シーン情報の関連及びデータ
の内容の管理テーブルを保持する場合（図８（ａ））、
及び更新シーン情報データをファイル出力する場合（図
８（ｂ））の２種類の方法を示している。

【０１２５】図８（ａ）では、データ処理部501は更新
シーン情報と参照情報との関連を定義するための更新シ
ーン情報管理テーブル701を用いて管理を行なうことを
示す。更新シーン情報管理テーブル701は、データ処理
部501の内部情報として、データ処理部501のメモリ上に
保持されるものとする。

【０１２６】更新シーン情報管理テーブル701は、図に
示されるように更新シーン情報データと対応する参照情
報のセットを管理しており、データ処理部501は更新シ
ーン情報の要求を受けた場合には更新シーン情報管理テ
ーブル701を検索して、指定された参照情報に一致する
更新シーン情報データを特定する。

【０１２７】この場合、参照情報には任意形式のデータ
を用いることが出来る。例えば、参照情報として更新指
定子を使用するようにして、管理するデータ項目および
更新通知データの簡略化を図り処理を効率化することも
可能である。

【０１２８】図８（ｂ）では、データ処理部501は更新
シーン情報データをファイルとして出力し、データ送出
装置においてファイル形式で管理することを示す。

【０１２９】この場合、更新シーン情報データの参照情
報としてファイル名を用いるようにして、データ処理部
501は指定されたファイル名から更新シーン情報データ
を特定する。

【０１３０】データ処理部501は、上述した方法などの
何れかの手段によって更新シーン情報データの管理を行
なうものとする。

【０１３１】以上、本発明の原理と実施方法について説
明を行なってきた。

【０１３２】続いて、上述の実施方法に基づいて実現さ
れる本発明の具体的な実施の形態について説明する。

【０１３３】＜実施の形態１＞図９は、本発明の実施の
形態１として、予め記憶装置に保存されているシーン情
報データ、ビデオ・データ、オーディオ・データが同一
のデータ送出装置から送出される場合の構成を示す図で
ある。

【０１３４】図９において、記憶装置801は、データ送
出装置101から再生装置102に対して配信されるマルチメ
ディア・コンテンツを構成するビデオ・データ、オーデ
ィオ・データ、およびシーン情報などの各種データを保
管し、記憶する手段を有する。

【０１３５】マルチメディア・コンテンツは、構成要素
がそれぞれ独立したデータとして分離された状態で記録
されている場合と、複数の異種メディア・データを集約
することが可能な記録形式によって多重化された単一デ
ータとして記録されている場合の２つの記録形態が想定
される。後者の形態を可能にする記録形式としては、例
えば米国アップルコンピュータ社が提供するマルチメデ
ィアを扱うための機能拡張「QuickTime」におけるデー
タ記録形式（以下、QuickTimeフォーマット）など、い
くつかの形式が業界標準となっており、一般的に利用可
能であると考えられる。

【０１３６】記憶装置801には、上述のいずれの形態で
記憶されていても良い。

【０１３７】データ送出装置101、再生装置102、伝送路
103、伝送路104および伝送路105は、図１の説明に準ず
る。

【０１３８】実施の形態１においては、データ送出装置
101は、記憶装置801に記憶されているマルチメディア・
コンテンツのデータを何らかの伝送手段を用いて取得
し、図６で示される処理手順にしたがって再生装置102
へのデータ配信を行なう。

【０１３９】本形態は、更新通知情報および他のメディ
ア・データが伝送路103を介して同一のデータ送出装置
から配信されることを特徴とする。したがって、各デー
タを一極集中管理することが求められる場合、あるいは
コンテンツ・データがQuickTimeフォーマットなどの記
録形式によって単一データとして記録されている場合に
本形態を適用することが出来る。

【０１４０】更新通知情報および他のメディア・データ
は、図６のステップ04において伝送路103に送出され
る。ここで送出されるデータがどのような形態で伝送路
103に送出されるか、以下に図を用いて補足説明する。

【０１４１】図１１は、データ送出装置がデータを送出
する際に、データタイプ別に独立した通信チャネルを用
いて送付する場合の伝送形態を説明するための図であ
る。また、図１２は、データ送出装置がデータを送出す
る際に、多重化したデータを単一の通信チャネルで送付
する場合の伝送形態を説明するための図である。

【０１４２】なお、前述の通信チャネルとは各装置がネ
ットワーク間通信を行なうための論理的な接続を示すも
のであり、TCPにおけるソケット接続に相当する実装上
の通信路を意味している。そのため、本発明においてデ
ータの概念的な交換手段を説明するための表現である伝
送路とは区別されている。

【０１４３】図１１、図１２において、データ送出装置
101から伝送路103へ送出されるデータパケットは矩形で
表され、矩形の幅はデータパケットのサイズ、矩形の配
置は、通信チャネルにおいてデータパケットが送出され
るタイミングを示す。

【０１４４】図１１は、更新通知情報のデータパケッ
ト、ビデオデータパケット、オーディオデータパケット
がそれぞれ別の通信チャネルで送出されている様子を示
している。なお、図１１で示される更新通知情報はいず
れも同一の内容を通知するものであり、データ欠落に対
する耐性向上のためにパケットの再送が行われているこ
とを表わしている。

【０１４５】図１１に示されるように、通信チャネルに
はパケットの連なりからなるデータの流れ（ストリー
ム）が送出されるが、送出の形態は、図１１のようにビ
デオ・データ、オーディオ・データ、更新通知情報デー
タをそれぞれ別の通信チャネルによって送出する場合、
および図１２のようにビデオ・データ、オーディオ・デ
ータ、更新通知情報データを１本のストリームに多重化
して、単一の通信チャネルによって送出する場合との２
通りが考えられる。

【０１４６】実施の形態１では、いずれの形態でデータ
の送出を行なうことも可能である。

【０１４７】＜実施の形態２＞図１０は、本発明の実施
の形態２として、予め記憶装置に保存されているシーン
情報データとその他のデータが異なるデータ送出装置か
ら送出される場合の構成を示す図である。

【０１４８】図１０において、データ送出装置901は、
マルチメディア・コンテンツを構成するデータのうち、
シーン情報を除いたメディア・データの送出を行なうた
めの装置であり、データ送出装置101と同等の送出手段
を有する。

【０１４９】記憶装置801は、データ送出装置101によっ
て送出されるマルチメディア・コンテンツのシーン情報
データを保管し、記憶する手段を有する。

【０１５０】記憶装置902は、データ送出装置901によっ
て送出されるシーン情報を除くメディア・データを保
管、記録する装置であり、記憶装置801と同等の記憶手
段を有する。

【０１５１】伝送路903は、データ送出装置901から再生
装置102に対し、シーン情報を除くメディア・データを
配送するための第２の実時間型データ伝送路であり、伝
送路103と同等の伝送方法を用いて実現される。

【０１５２】データ送出装置101、再生装置102、伝送路
103、伝送路104および伝送路105は、図１の説明に準ず
る。また、記憶装置801は、図９の説明に準ずる。

【０１５３】実施の形態２においては、データ送出装置
101は、記憶装置801に記憶されているシーン情報データ
を何らかの伝送手段を用いて取得し、図６で示される処
理手順にしたがって再生装置102へのデータ配信を行な
う。加えて、データ送出装置901は記憶装置802に記憶さ
れているメディア・データを何らかの伝送手段を用いて
取得し、伝送路903を用いて再生装置102へ配信する。再
生装置102は、図６のステップ18の処理として、データ
送出装置101から送付されたシーン情報に基づいて、デ
ータ送出装置901から送付されたメディア・データの同
期制御を行なう。

【０１５４】本形態は、マルチメディア・コンテンツを
構成する更新通知情報および他のメディア・データが物
理的に分離された状態で保管されている場合において、
互いに通信手段を持たない複数のデータ送出装置から、
異なる伝送路を介して非同期的に配信されることを特徴
とする。本形態は、例えば既存のサイトから配信される
メディア・データに対してシーン記述を追加する場合の
ように、メディア・データとシーン情報を物理的に同一
の場所で管理することが困難な場合、あるいは複数言語
の字幕表示が行なえる映画などで、保管するデータサイ
ズを最適化するために映像、音声データと各国語の字幕
部データとを分離させて別サイトで管理するというよう
に、処理上データを分離させる事が望ましい場合などに
適用可能である。

【０１５５】実施の形態２では、データの配送に複数の
伝送路が用いられるため、図１２で示すようにデータを
多重化して単一のストリームとして送出する事は不可能
である。したがって、データの送出は図１１で示すよう
にデータタイプ毎に異なる通信チャネルを使用する方法
で行なうか、もしくは使用する伝送路毎にデータの多重
化を行ない、複数の多重化ストリームとして扱うように
しなければならない。

【０１５６】なお、上述の実施の形態２において、デー
タ送出装置101によってシーン情報を、データ送出装置9
01はその他のメディア・データを送出するものとして説
明を行っているが、データ送出装置101はシーン情報の
他にメディア・データを送出しても良い。また、メディ
ア・データはデータ送出装置901に加えて、第３、第４
のデータ送出装置から送出されても良い。

【０１５７】ただし、シーン情報データに関しては、特
定の記憶装置およびデータ送出装置で管理され、特定の
伝送路で送出されることが望ましい。複数の伝送路を介
して同一のシーンに対する情報の配送を許可すると、各
伝送路で送出されるシーン情報間で矛盾が発生した場合
に解決を行なう手段が存在しないため、再生が正しく行
なえなくなるという可能性が生じる。そのため、同一の
シーン情報が複数存在するのは良いが、同一の再生装置
に対して、同時に複数の伝送路を介して配信されるべき
ではない。

【０１５８】＜実施の形態３＞図１３は、本発明の実施
の形態３として、データ送出装置から配信されたデータ
を再生装置単体で再生可能な形式に変換し、記録装置に
対して入出力を行なう場合の構成を示す図である。

【０１５９】図１３において、記録装置1001は、マルチ
メディア・コンテンツのデータを再生装置102が再生可
能な形式で記録するための装置であり、再生装置102と
の間でデータ交換を行なうための伝送手段を有する。

【０１６０】データ送出装置101、再生装置102、伝送路
103、伝送路104および伝送路105は、図１の説明に準ず
る。

【０１６１】実施の形態３は、再生装置102で受信され
たデータを、再生処理部ではなく他の記録装置に対して
受け渡す場合の形態を示す。本発明の原理を用いてハー
ドディスク・レコーダーのような記録装置を実現する場
合に、本形態が適用される。

【０１６２】実施の形態３においては、再生装置102
は、図６のステップ17の処理後に受信したコンテンツの
構成データを記録装置1001に受け渡す。その際、必要で
あれば、データを記録装置1001での管理に適した形式に
変換する処理を行なっても良い。記録されたコンテンツ
のデータを再生する場合は、再生装置102は、図６にお
けるステップ18の処理の直前に記録装置1001から再生す
るコンテンツのデータを取得し、後続の処理を行なう。

【０１６３】尚、本形態を実現するための装置構成は図
１３に示される構成に限定されない。図１２で示される
ように、複数のデータ送出装置からコンテンツ・データ
を受信する場合でも本形態の機能は実現される。

【０１６４】＜実施の形態４＞図１４は、本発明の実施
の形態４として、再生装置からデータ送出装置へ対する
更新シーン情報の要求メッセージの送出を行なわない場
合の構成を示す図である。

【０１６５】データ送出装置101、再生装置102、伝送路
103、伝送路105は、図１の説明に準ずる。

【０１６６】他の実施の形態とは異なり、実施の形態４
ではデータ送出装置101と再生装置102との間に伝送路10
4を持たない。したがって、本形態では再生装置102から
データ送出装置101への要求メッセージ交換にかかる処
理時間が不要になるため、シーン情報の配信が完了する
までの総処理時間が短縮されるという効果が期待でき
る。

【０１６７】ただし、本形態を実現するには、シーンの
再生が行なわれる間は、再生装置102 とデータ送出装置
101の間で伝送路105に対応する通信チャネルが確保され
ていなければならない。更新データを伝送する手段とし
て、HTTP等のように要求を行なう毎に通信チャネルを形
成する伝送方法が利用される場合には、この形態を適用
することは出来ない。

【０１６８】本形態を実現するには、データ送出装置10
1は再生装置102からの要求メッセージに応答して更新シ
ーン情報を送出といったするのではなく、データ送出装
置が能動的に再生装置102に対して更新シーン情報を配
信するという処理を行なうことが必要となる。以下、実
施の形態４において必要となる処理手順について説明す
る。

【０１６９】実施の形態４では、更新シーン情報を送出
するタイミングはデータ送出装置101で決定される。そ
のため、図６のステップ05の後に、通信制御部502にお
いて更新シーン情報の送出タイミングを算出する処理が
追加される。

【０１７０】後続のステップ08からステップ11までの処
理は行なわれず、ステップ12の処理として、通信制御部
502は、算出された更新シーン情報の送出タイミングが
到来したタイミングで、ステップ05で通知を行なった更
新内容に対応するデータを取得する。

【０１７１】ステップ13以降の処理は、図６に示される
通りである。

【０１７２】さらに、図４に示されるデータの送出タイ
ミングの条件式は、下記の通り変更される。

【０１７３】 TX+(TUn-TX)+(TDs-TUn)+(TDe-TDs)+(TS-TDe) ＜ TP 図６におけるステップ02、ステップ04、および本形態で
追加される更新シーン情報の送出タイミングの算出処理
は、変更後の条件式にしたがってタイミングの算出を行
なわなければならない。

【０１７４】＜実施の形態５＞実施の形態５は、編集装
置によってシーンの編集が行なわれたコンテンツをデー
タ送出装置から即時配信する場合の形態を示す。ライブ
映像に対して速報データを付加するといった、TV中継な
どで見る事が出来る即時性の高いコンテンツの配信シス
テムを実現する場合に本形態が適用される。

【０１７５】図１５は、本発明の実施の形態５として、
編集装置へ入力されたビデオ・データ、オーディオ・デ
ータ、シーン記述データを即時編集し、データ送出装置
から即時配信を行なう場合の構成を示す図である。

【０１７６】図１５において、編集装置1101は、ビデオ
・データ、オーディオ・データ等メディア・データの入
力手段と、シーン情報データの入力手段と、シーン情報
の編集手段と、編集されたシーン情報をデータ送出装置
101に対して伝送する手段を有する。

【０１７７】シーン編集者は編集装置1101によって提供
される編集手段によって、シーン情報を更新することが
出来るものとする。編集装置1101は、編集操作が行なわ
れた直後に操作によって更新されたシーン情報をデータ
送出装置101へ即時伝送するものとする。

【０１７８】データ送出装置101、再生装置102、伝送路
103、伝送路104および伝送路105は、図１の説明に準ず
る。

【０１７９】次に、更新データ作成処理の流れを説明す
るために、操作者が編集装置1101を介して行なう編集作
業の一例を示す。

【０１８０】図１６は、編集装置上で行なわれる編集操
作を説明するための図である。

【０１８１】図１６では、編集装置が操作者に提供する
編集手段として、パーソナル・コンピュータで動作する
アプリケーション・プログラムを用いる場合を例にとっ
て説明する。

【０１８２】図１６において、シーン編集プログラム12
01は、操作者に対してシーン編集を行なうための機能を
提供するパーソナル・コンピュータ上のアプリケーショ
ン・プログラムを示す。

【０１８３】シーン編集プログラム1201は編集操作のた
めのインターフェースとして、作業領域1202、更新ボタ
ン1203、キャンセルボタン1204を有する。操作者は上記
のインターフェースを、マウス等のポインティング・デ
バイスを用いて操作することで編集作業が行なえるもの
とする。

【０１８４】作業領域1202は、シーンに含まれるオブジ
ェクトのレイアウト設定を行なうための領域であり、作
業領域1202に対してオブジェクトのデータをペースト、
あるいはドラッグ・アンド・ドロップ等の操作を行なう
ことで、新規オブジェクトが作業領域1202に出現するも
のとする。上記操作によって追加された新規オブジェク
トは、ポインティング・デバイスで操作することによっ
て、位置やサイズの設定を行なえるものとする。

【０１８５】更新ボタン1203は、編集内容にしたがって
シーン情報を更新するためのボタンである。更新ボタン
1203が押下されると、シーン編集プログラム1201は、作
業領域1202上で行なわれた編集操作を確定して編集内容
をシーン情報に反映させるものとする。

【０１８６】キャンセルボタン1204は、更新をキャンセ
ルするためのボタンである。キャンセルボタン1204が押
下されると、シーン編集プログラムは、作業領域1202上
で行なわれた編集操作の内容をシーン情報に反映させず
に破棄するものとする。

【０１８７】シーン601は、作業領域1202上で編集操作
を行なう対象のシーンである。シーン601を構成するビ
デオ・オブジェクト602、オーディオ・オブジェクト60
3、イメージ・オブジェクト604、ユーザーインターフェ
ース・オブジェクト605は、図７（ａ）の説明に準ず
る。

【０１８８】図１６では、編集操作の一例として、シー
ン601にイメージ・オブジェクト604を追加する操作を行
なう手順を記述する。破線矢印は、操作手順を実行する
ためのポインティング・デバイスの動作を表わしてい
る。

【０１８９】手順（１）は、作業領域1202にイメージ・
オブジェクト604をドラッグ・アンド・ドロップして、
シーン601上に追加する操作を示す。

【０１９０】手順（２）は、作業領域1202上のイメージ
・オブジェクト604に対して、オブジェクトのサイズを
変更する操作を示す。

【０１９１】手順（３）は、更新ボタン1203をクリック
して、手順（１）および手順（２）で行なわれた編集内
容をシーン601に反映させる操作を示す。

【０１９２】編集装置1101は、上記の手順で示される操
作の直後に、データ送出装置101に対して編集内容を表
わしたシーン情報データを転送するものとする。転送さ
れたシーン情報データは、データ送出装置101から伝送
路105を介して再生装置102へ伝送される。

【０１９３】図１７は、編集装置によって作成されたシ
ーン情報データの伝送形態、および編集操作とシーン情
報データ送出のタイミングを説明するための図である。

【０１９４】図１７において、データ送出装置から伝送
路105を介して送出されるシーン情報データは矩形で表
わされ、左辺は送出が開始されたタイミング、右辺は送
出が完了したタイミング、上辺および底辺は送出にかか
る所要時間を示す。

【０１９５】図１７における矩形は、伝送路105を介し
て送出される、図１６の手順（１）、手順（２）、手順
（３）において生成されたシーン情報のデータを表わし
ている手順（１）において生成されたシーン情報データ
には、配置されたイメージ・オブジェクト604の表示位
置、初期サイズおよびイメージ・オブジェクト604の表
示用データが含まれる。手順（２）において生成された
シーン情報データは、イメージ・オブジェクト604の変
更後のサイズが含まれる。手順（３）において生成され
たシーン情報データは、には、送付されたシーン情報の
有効化/無効化メッセージが含まれる。

【０１９６】破線TE1、TE2およびTE3は、それぞれ図１
６の手順（１）、手順（２）、手順（３）が行なわれた
タイミングを示す。各矩形の左辺に接する破線TD1s、TD
2sおよびTD3sは、シーン情報データの送出が開始された
タイミングを示し、各矩形の右辺に接する破線TD1e、TD
2eおよびTD3eは、シーン情報データの送出が完了したタ
イミングを示す。

【０１９７】実施の形態５では、本発明の原理を利用し
て編集中の内容をデータ送出装置101から再生装置102に
逐次伝送することによって、編集操作が確定されてから
再生装置へシーン情報データの伝送が完了されるまでの
タイムラグを最小化するための方法を示している。

【０１９８】図１７に示されるように、イメージ・オブ
ジェクト604に関連するシーン情報データを伝送するた
めには、データの伝送時間の総和と、編集装置で操作が
行なわれてから送出が開始されるまでのタイムラグの総
和の合計時間 (TD1s-TE1)+(TD1e-TD1s)+(TD2s-TE2)+(TD
2e-TD2s)+(TD3s-TE3)+(TD3e-TD3s) に相当する時間が必
要になる。

【０１９９】本形態では、手順（３）で示される確定操
作を行なう前にそれまでの編集内容を送付しておき、手
順（３）の時点で手順（１）、手順（２）で送付された
シーン情報を有効にするメッセージを送付するという流
れでデータの送付を行なっている。この方法によれば、
編集内容の確定後に送付されるデータは手順（３）のデ
ータのみとなり、編集操作の確定から再生装置へのシー
ン情報データの伝送完了までの時間は(TD3s-TE3)+(TD3e
-TD3s)となる。

【０２００】なお、手順（３）で、キャンセルボタン12
04が押下されて編集内容が破棄される場合にも上述の処
理が適用される。編集内容が破棄する場合には、手順
（３）のデータとしてシーン情報を無効にするメッセー
ジを送付し、再生装置102ではメッセージの受信後にそ
れまで送付されているシーン情報データの内容を破棄す
るという動作を行なうようにする。

【０２０１】以上、編集装置上で編集されたシーン情報
を即時配信する場合における本発明の適用例を示した。

【０２０２】尚、本発明の目的は、前述した実施形態の
機能を実現するソフトウェアのプログラムコードを記録
した記憶媒体（または記録媒体）を、システムあるいは
装置に供給し、そのシステムあるいは装置のコンピュー
タ（またはCPUやMPU）が記憶媒体に格納されたプログラ
ムコードを読み出し実行することによっても、達成され
ることは言うまでもない。この場合、記憶媒体から読み
出されたプログラムコード自体が前述した実施形態の機
能を実現することになり、そのプログラムコードを記憶
した記憶媒体は本発明を構成することになる。また、コ
ンピュータが読み出したプログラムコードを実行するこ
とにより、前述した実施形態の機能が実現されるだけで
なく、そのプログラムコードの指示に基づき、コンピュ
ータ上で稼働しているオペレーティングシステム(OS)な
どが実際の処理の一部または全部を行い、その処理によ
って前述した実施形態の機能が実現される場合も含まれ
ることは言うまでもない。

【０２０３】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるCPUなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。

【０２０４】本発明を上記記憶媒体に適用する場合、そ
の記憶媒体には、先に説明した処理手順の全体あるいは
一部に対応するプログラムコードが格納されることにな
る。

【０２０５】

【発明の効果】以上のように、本発明によれば、MPEG-4
または類似の符号化形式によって記述されたマルチメデ
ィア・コンテンツを、伝送エラーが発生しうるネットワ
ーク環境においても、シーン情報が欠落することなく確
実に再生が行なえるように配信することが可能になる。

【０２０６】さらに、本発明によれば、再生の遅延ある
いは停止を最小限に抑えながらシーンの再生を行なえる
ようになる。

【０２０７】さらに、本発明によれば、シーン情報を確
実に配信するために回線の帯域幅を占有しないため、他
のメディア・データの配信を妨げずに帯域幅の総使用量
を抑制することが出来る。

【０２０８】さらに、本発明によれば、予め記録されて
いるコンテンツのみならず、ライブ映像などに対してリ
アルタイムに編集が行なわれる場合でも、最小限の遅延
でコンテンツを配信する事が出来る。

【図面の簡単な説明】

【図１】本発明の全体構成を示す図である。

【図２】更新通知情報のデータ構造を示す図である。

【図３】データ送出装置から送出される更新通知情報の
データパケットの構造（ａ）、及びそのマッピングの形
態として、ペイロードの一部とする場合（ｂ）、パケッ
ト・ヘッダの一部とする場合（ｃ）を示す図である。

【図４】データ送出装置と再生装置との間で交換される
データの伝送形態、および各データが処理されるタイミ
ングを示す図である。

【図５】本発明のデータ送出装置及び再生装置の内部構
成を示す図である。

【図６】データ送出装置、再生装置の各構成部の連携動
作を説明するためのフロー図である。

【図７】本発明において配信されるマルチメディアデー
タで表現されるシーンのイメージ図（ａ）、及びシーン
を構成する各オブジェクトの再生スケジュールを示す図
（ｂ）である。

【図８】更新シーン情報の管理方法として、更新指定子
と更新シーン情報の関連及びデータの内容の管理テーブ
ルを保持する場合（ａ）、及び更新シーン情報データを
ファイル出力する場合（ｂ）を説明するための図であ
る。

【図９】本発明の実施の形態１として、予め記憶装置に
保存されているシーン情報データ、ビデオ・データ、オ
ーディオ・データが同一のデータ送出装置から送出され
る場合の構成を示す図である。

【図１０】本発明の実施の形態２として、予め記憶装置
に保存されているシーン情報データとその他のデータが
異なるデータ送出装置から送出される場合の構成を示す
図である。

【図１１】データ送出装置がデータを送出する際に、デ
ータタイプ別に独立した通信チャネルを用いて送付する
場合の伝送形態を説明するための図である。

【図１２】データ送出装置がデータを送出する際に、多
重化したデータを単一の通信チャネルで送付する場合の
伝送形態を説明するための図である。

【図１３】本発明の実施の形態３として、データ送出装
置から配信されたデータを再生装置単体で再生可能な形
式に変換し、記録装置に対して入出力を行なう場合の構
成を示す図である。

【図１４】本発明の実施の形態４として、再生装置から
データ送出装置へ対する更新シーン情報の要求メッセー
ジの送出を行なわない場合の構成を示す図である。

【図１５】本発明の実施の形態５として、編集装置へ入
力されたビデオ・データ、オーディオ・データ、シーン
記述データを即時編集し、データ送出装置から即時配信
を行なう場合の構成を示す図である。

【図１６】編集装置上で行なわれる編集操作を説明する
ための図である。

【図１７】編集装置によって作成されたシーン情報デー
タの伝送形態、および編集操作とシーン情報データ送出
のタイミングを説明するための図である。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 小澤 毅 東京都大田区下丸子３丁目30番２号キヤノ ン株式会社内 Ｆターム(参考） 5C059 MA00 MB22 RB02 RB09 RC04 RC19 RC32 RE02 RF07 RF13 RF15 RF23 SS08 SS20 SS26 TA72 TC22

Claims (24)

【特許請求の範囲】
1. 【請求項１】 シーン構成を制御するためのシーン情報
   を含むマルチメディア符号化形式で符号化されたコンテ
   ンツ・データのデータ伝送方法であって、 前記シーン情報から予定されている更新内容を検出し、
   シーンの更新を示す更新通知情報を生成し、 シーンの更新発生以前に前記更新通知情報を外部装置へ
   伝送することを特徴とするデータ伝送方法。
2. 【請求項２】 シーンの更新発生以前に更新通知情報に
   対応する更新シーン情報を前記外部装置へ伝送すること
   を特徴とする請求項１に記載のデータ伝送方法。
3. 【請求項３】 前記更新通知情報と前記更新シーン情報
   とは異なる伝送方式により伝送されることを特徴とする
   請求項２に記載のデータ伝送方法。
4. 【請求項４】 前記更新シーン情報はデータの伝送が保
   証される伝送方式で伝送されることを特徴とする請求項
   ３に記載のデータ伝送方法。
5. 【請求項５】 前記シーン情報から予定されている更新
   の発生時刻を抽出して、前記更新発生時刻に基づいて前
   記更新通知情報及び前記更新シーン情報の伝送開始時刻
   を算出することを特徴とする請求項２乃至４のいずれか
   １項に記載のデータ伝送方法。
6. 【請求項６】 前記更新通知情報として作成されるデー
   タに、更新が生じる旨を指定する更新指定情報が含まれ
   ること請求項１乃至５のいずれか１項に記載のデータ伝
   送方法。
7. 【請求項７】 前記更新通知情報として作成されるデー
   タに、前記更新シーン情報データの特定あるいは前記更
   新シーン情報データの取得を補助する補助データが含ま
   れる請求項２乃至５のいずれか１項に記載のデータ伝送
   方法。
8. 【請求項８】 前記更新通知情報の送出時にデータ欠損
   に備えて同一内容を示すデータが複数回伝送することを
   特徴とする請求項１乃至７のいずれか１項に記載のデー
   タ伝送方法。
9. 【請求項９】 前記コンテンツ・データのシーン情報を
   編集直後に即時伝送を行なうことを特徴とする請求項１
   乃至８のいずれか１項に記載のデータ伝送方法。
10. 【請求項１０】 シーンの構成を制御するためのシーン
    情報を含むマルチメディア符号化形式のコンテンツ・デ
    ータのデータ伝送装置であって、 前記シーン情報の入力手段と、 前記シーン情報を解析し予定されている更新内容を検出
    してシーンの更新を通知するための更新通知情報を生成
    する生成手段と、 シーンの更新発生以前に前記更新通知情報を外部装置に
    伝送する伝送手段とを有することを特徴とするデータ伝
    送装置。
11. 【請求項１１】 シーンの更新発生以前に前記更新通知
    情報に対応する更新シーン情報を前記外部装置へ伝送す
    る手段とを有することを特徴とする請求項１０に記載の
    データ伝送装置。
12. 【請求項１２】 前記更新通知情報と前記更新シーン情
    報とは異なる伝送方式により伝送されることを特徴とす
    る請求項１１に記載のデータ伝送装置。
13. 【請求項１３】 前記更新シーン情報はデータの伝送が
    保証される伝送方式で伝送されることを特徴とする請求
    項１２に記載のデータ伝送装置。
14. 【請求項１４】 前記シーン情報から予定されている更
    新の発生時刻を抽出して、前記更新発生時刻に基づいて
    前記更新通知情報ならびに前記更新シーン情報の伝送開
    始時刻を算出する手段を有し、伝送開始処理時刻の到来
    時に当該データの伝送を行なうことを特徴とする請求項
    １１乃至１３のいずれか１項に記載のデータ伝送装置。
15. 【請求項１５】 前記更新通知情報と前記更新シーン情
    報を関連付けて管理する手段を有し、更新通知情報に対
    応する更新シーン情報の要求に対して当該更新シーン情
    報を伝送することを特徴とする請求項１１乃至１３のい
    ずれか１項に記載のデータ伝送装置。
16. 【請求項１６】 前記コンテンツ・データを構成するメ
    ディア・データを伝送する手段を有することを特徴とす
    る請求項１０乃至１６のいずれか１項に記載のデータ伝
    送装置。
17. 【請求項１７】 シーンの構成を制御するためのシーン
    情報を含むマルチメディア符号化形式で符号化されたコ
    ンテンツ・データの再生方法であって、 前記コンテンツ・データを構成するメディア・データを受
    信し、 前記コンテンツ・データの更新されたシーン情報を示す
    更新シーン情報を前記メディア・データとは別の伝送方
    式で受信し、 前記更新シーン情報に基づいてメディア・データを再生
    することを特徴とする再生方法。
18. 【請求項１８】 前記更新シーン情報の要求メッセージ
    を生成し、前記メッセージを送信することを特徴とする
    請求項１７記載の再生方法。
19. 【請求項１９】 前記更新シーン情報はデータの伝送が
    保証されている伝送方式で伝送されていることを特徴と
    する請求項１７又は１８に記載の再生方法。
20. 【請求項２０】 シーンの構成を制御するためのシーン
    情報を含むマルチメディア符号化形式で符号化されたコ
    ンテンツ・データの再生装置であって、 前記コンテンツ・データを構成するメディア・データを受
    信する第１の受信手段と、 前記コンテンツ・データの更新されたシーン情報を示す
    更新シーン情報を前記メディア・データとは別の伝送方
    式で受信する第２の受信手段と、 前記更新シーン情報に基づいて前記メディア・データを
    再生する再生手段とを有することを特徴とする再生装
    置。
21. 【請求項２１】 前記更新シーン情報の要求メッセージ
    を生成し、前記メッセージを送信する送信手段を有する
    ことを特徴とする請求項２０に記載の再生装置。
22. 【請求項２２】 前記更新シーン情報はデータの伝送が
    保証されている伝送方式で伝送されていることを特徴と
    する請求項２０又は２１に記載の再生装置。
23. 【請求項２３】 シーンの構成を制御するためのシーン
    情報を含むマルチメディア符号化形式のコンテンツ・デ
    ータのデータ伝送装置の制御プログラムをコンピュータ
    読出し可能に記憶する記憶媒体であって、 前記制御プログラムが、 前記シーン情報の入力モジュールと、 前記シーン情報を解析し予定されている更新内容を検出
    してシーンの更新を通知するための更新通知情報を生成
    する生成モジュールと、 シーンの更新発生以前に前記更新通知情報を外部装置に
    伝送する第１伝送モジュールと、 シーンの更新発生以前に前記更新通知情報に対応する更
    新シーン情報を、前記更新通知情報とは異なる伝送方式
    により前記外部装置へ伝送する第２伝送モジュールとを
    含むことを特徴とする記憶媒体。
24. 【請求項２４】 シーンの構成を制御するためのシーン
    情報を含むマルチメディア符号化形式で符号化されたコ
    ンテンツ・データの再生装置の制御プログラムをコンピ
    ュータ読出し可能に記憶する記憶媒体であって、 前記制御プログラムが、 前記コンテンツ・データを構成するメディア・データを受
    信する第１受信モジュールと、 前記コンテンツ・データの更新されたシーン情報を示す
    更新シーン情報の要求メッセージを生成し、前記メッセ
    ージを送信する送信モジュールと、 前記更新シーン情報を前記メディア・データとは別の伝
    送方式で受信する第２受信モジュールと、 前記更新シーン情報に基づいて前記メディア・データを
    再生する再生モジュールとを含むことを特徴とする記憶
    媒体。