JP2004254281A - 伝送データ構造、データ受信方法、データ受信装置およびデータ受信プログラム - Google Patents

伝送データ構造、データ受信方法、データ受信装置およびデータ受信プログラム Download PDF

Info

Publication number
JP2004254281A
JP2004254281A JP2003345492A JP2003345492A JP2004254281A JP 2004254281 A JP2004254281 A JP 2004254281A JP 2003345492 A JP2003345492 A JP 2003345492A JP 2003345492 A JP2003345492 A JP 2003345492A JP 2004254281 A JP2004254281 A JP 2004254281A
Authority
JP
Japan
Prior art keywords
data
text
reproduction
information
packet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003345492A
Other languages
English (en)
Inventor
Yoshinori Matsui
義徳 松井
Yoji Notoya
陽司 能登屋
Tadamasa Toma
正真 遠間
Taiji Ido
大治 井戸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2003345492A priority Critical patent/JP2004254281A/ja
Publication of JP2004254281A publication Critical patent/JP2004254281A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

【課題】 Timed Textをストリーミング型の配信で使用するのに好適な伝送データ構造を提供することを課題とする。
【解決手段】 PESパケット1は、MP4ファイルのテキストトラックを転送し、データ受信装置にストリーミング型の再生をさせるためのデータ構造を有している。トラックヘッダ111、サンプルディスクリプション112およびコンフィグインフォメーション113は、テキストトラック全体の再生に関わる情報である。テキストサンプル1142は、テキスト1142aを含んでいる。セグメントテキストヘッダは、テキストサンプル毎に配置され、テキストサンプルの個々の再生に関わる情報である。
【選択図】 図1

Description

本発明は、テキストデータの伝送データ構造、データ受信方法、データ受信装置およびデータ受信プログラムに関する。
近年、映像音声などを配信する技術の開発が行われている。例えば、デジタル化された映像音声をパケット化し伝送する方式である。映像音声の符号化方式としてMPEG−4を用い、映像音声ファイルの形式としてMP4(ISO/IEC 14496-1:2001)ファイル形式を用いた映像音声配信についての従来技術(例えば、特許文献1参照)が知られている。
第三世代移動体通信(W−CDMA)の国際標準規格を策定する団体3GPP(Third Generation Partnership Project)のSA(Service and System Aspect)WG4は、映像配信規格TS26.234を策定している。映像配信規格TS26.234のバージョン5.0.0では、ダウンロード型映像配信に使用可能なMP4ファイルを拡張してテキストデータのデータ構造を規定している(Timed Text)。これによって、MP4ファイルをダウンロードしながら再生するサービスにおいて、ビデオやオーディオのみならず、テキストも再生することが可能となっている(例えば、非特許文献1参照)。
テキストによる情報通知は、伝えたい情報を直接に使用者に伝えることができ、ビデオに比べて、データ量は極めて少なくて済むため、情報通知手段としては非常に重要である。上述のようなMP4ファイルをダウンロードしながら再生するサービスにおいては、ビデオとテキストとを合成して符号化し伝送するのではなく、テキストを独立したトラックとして伝送するため、テキストがつぶれて読めなくなることが少なくなっており、有効に情報通知を行うことが可能となっている。
さらに、3GPPで規定したTimed Textでは、テキストの一部を修飾したり、移動させたり、あるいは文字列に他のURLへのリンクを貼り付けたりすることが可能である(スタイル、ハイライト、カラオケ、テキストボックス、ブリンク、スクロール、パイパーリンク、他)。これにより、伝えたい情報を様々な表現形式で再生することが可能となっている。
ここで、図55を用いて、3GPPで規定したTimed Textのデータ構造について説明する。3GPPで規定したTimed Textでは、テキストの一部を修飾したり、移動させたり、あるいは他のURLへのリンクを貼り付けたりすることが可能となっている(スタイル、ハイライト、カラオケ、テキストボックス、ブリンク、スクロール、ハイパーリンク、他)。このため、Timed Textのデータ構造は、テキストデータと、それに対応する修飾情報とから構成されている。
MP4ファイル3000は、ヘッダ部3010とデータ部3020とから構成される。ヘッダ部3010は、トラックヘッダ3030と、サンプルディスクリプション3040と、サンプルテーブル3050とを備えている。データ部3020は、テキストサンプル3060,3061,・・・を備えている。
トラックヘッダ3030は、Timed Textの再生にかかる情報であり、レイアウト(表示領域の大きさ、ビデオとの相対位置)、レイヤ(ビデオなど他メディアとの階層関係)、Timed Textの再生時間、ファイルの作成日時、後述するTime−to−Sample−Box3051のタイムスケールなどの情報を含んでいる。
サンプルディスクリプション3040は、複数のサンプルエントリ3041,3042,・・・を有している。サンプルエントリ3041,3042,・・・は、テキストサンプル3060,3061,・・・のデフォルトの書式にかかる情報であり、スクロールの有無と方向、水平・垂直の寄席位置、背景色、フォント名、フォントサイズなどを含んでいる。
サンプルテーブル3050は、Time−to−Sample−Box3051と、Sample−Size−Box3052と、Sample−to−Chunk−Box3053とを有している。Time−to−Sample−Box3051は、テキストサンプル3060,3061,・・・のそれぞれの再生時間に関する情報3055,3056,・・・をテキストサンプル3060,3061,・・・の配置順に含んでいる。情報3055,3056,・・・が格納する値のタイムスケールは、トラックヘッダ3030により指定されている。具体的には、トラックヘッダ3030は、タイムスケールとして、1秒間の解像度を格納しており、例えば、トラックヘッダ3030が格納するタイムスケールの値が[1000]の場合、1/1000秒単位の解像度となる。従って、テキストサンプル3060,3061,・・・のそれぞれの再生時間を秒換算した値は、情報3055,3056,・・・をトラックヘッダ3030が格納するタイムスケールの値を除算した値となり、例えば、タイムスケールの値が[1000]の場合、情報3056の示す値[3400]は、テキストサンプル3061を3.4秒間再生することを意味している。以下、タイムスケールの値が[1000]と設定されているとして説明を行う。Sample−Size−Box3052は、テキストサンプル3060,3061,・・・のそれぞれのデータ長に関する情報3057,3058,・・・をテキストサンプル3060,3061,・・・の配置順に含んでいる。これにより、再生側では、テキストサンプル3060,3061,・・・のそれぞれの情報の境目を検出することができる。Sample−to−Chunk−Box3053は、テキストサンプル3060,3061,・・・のそれぞれとサンプルエントリ3041,3042,・・・のそれぞれとを関連づける情報を含んでいる。
テキストサンプル3060は、テキスト3065と、テキスト3065のデータ長3066と、モディファイア3067とを有している。テキスト3065は、文字情報そのものを格納している。文字コードは、Unicode規格のうち、UTF−8またはUTF−16 Big Endianでエンコードされている。UTF−8とUTF−16との識別は、テキスト3065の先頭2バイトに記述されるバイトオーダマーク(BOM)により行われる。先頭2バイトが[0xFEFF]の場合、UTF−16によりエンコードされていることを示す。また、テキスト3065の先頭にBOMが含まれ無い場合には、UTF−8でエンコードされていることを示す。データ長3066は、文字情報そのもののバイト長を示している。モディファイア3067は、テキスト3065のオプションの修飾情報であり、ハイライト、カラオケ、ブリンク、ハイパーリンクなど7種類の修飾タイプが定義されている。その他のテキストサンプル3061,・・・は、テキストサンプル3060と同様のデータ構造であるので、説明を省略する。
図56を用いて、Timed Textの再生に関して具体的に説明する。
まず、サンプルエントリ3041の詳細な構造について図56(a)を参照して説明する。その他のサンプルエントリ3042,・・・については、同様のデータ構造であるので、説明を省略する。サンプルエントリ3041は、スクロールの有無と方向(displayFlags)、表示領域内での水平・垂直の寄席位置(Horizontal justification, Vertical justification)、RGB値および透明度により指定される背景色(bgColor)、表示領域(TextBox)フォント名(fontTable, font-ID)、フォントサイズ(fontSize)、太字・イタリック・アンダーラインなどのスタイル(faceStyle)、RGB値および透明度により指定されるフォント色(fontColor)などを含んでいる。なお、この書式を適用する範囲を指定するデータ(startChar, EndChar)は、常に値[0]を取り、サンプルエントリ3041の指定する書式が適用されるテキストサンプル中の全範囲のテキストに対して、この書式が適用されることを示している。図56(a)に示すサンプルエントリ3041のそれぞれの値は、テキスト3065のデフォルトの書式を、背景色を白色、フォント色を黒色およびスタイルをノーマルに指定することを意味している。
次に、モディファイア3067の詳細な構造について図56(b)を参照して説明する。モディファイア3067は、モディファイア3067のデータ長(modifierSize)、テキスト3065のオプション書式の指定(modifierType, entryCount)、オプション書式を適用するテキスト3065の範囲の指定(startChar, EndChar)、フォント名(font-ID)、フォントサイズ(fontSize)、太字・イタリック・アンダーラインなどのスタイル(faceStyle)、RGB値および透明度により指定されるフォント色(fontColor)などを含んでいる。このオプション書式の指定は、サンプルエントリ3041,3042,・・・のいずれかで指定された書式に優先して適用される。図56(b)に示すモディファイア3067のそれぞれの値は、テキスト3065の5文字目から8文字目までを[太字]にすることを意味している。
図56(c)に以上の書式が適用されたテキストサンプル3060の再生状態を示す。例えば、テキスト3065が示す内容が、[It's fine today.]である場合に、5文字目から8文字目の[fine]が太字で再生される。またその再生時間は、Time−to−Sample−Box3051において最初に配置される情報3055の値[1000]により、1000[ミリ秒]であることが分かる(図55参照)。
以上に説明した構造を持つMP4ファイルの再生に際しては、あらかじめ受信端末にてMP4ファイルをダウンロードし、ダウンロード完了後に受信端末にてMP4ファイルの再生が行われる。
特開2002−199370号公報(第6頁) '3GPP TS26.234 v5.0.0'. Page56. [online]. 3GPP,2002. [Retr ieved on 2002-10-07]. Retrieved from the Internet:<URL:ftp://ftp.3gpp.or g/Specs/2002-03/Rel-5/26_series/26234-500.zip>
一方、ビデオ、オーディオを含むメディアデータを配信するサービスにおいて、ダウンロード型に代えてストリーミング型の配信が採用されることも多くなってきている。ストリーミング型の配信では、受信端末にてメディアデータを受信する処理と、受信したメディアデータを再生する処理とが並行して行われる。このため、長時間のメディアデータを再生する場合であっても、そのメディアデータの要求を行ってから、再生が行われるまでの待ち時間が少なくなるという利点を持つ。また、生中継されるメディアデータの配信にも好適な配信である。
このようなストリーミング型の配信において、Timed Textを用いた情報通知を行う場合、Timed Textは、そのコンテナファイルフォーマットであるMP4ファイルと切り離せないデータ構造となっており、ストリーミング型の配信での使用は難しい。
そこで、本発明では、Timed Textをストリーミング型の配信で使用するのに好適な伝送データ構造を提供することを課題とする。また別の本発明では、この伝送データ構造を持つデータを受信するデータ受信方法、データ受信装置およびデータ受信プログラムを提供することを課題とする。
請求項1にかかるテキスト伝送用データの伝送データ構造は、テキストデータの再生にかかるテキスト再生用データを転送し、データ受信装置に順次再生させるためのテキスト伝送用データの伝送データ構造であって、全体テキストヘッダデータと、分割テキストデータと、分割テキストヘッダデータとを備えている。全体テキストヘッダデータは、テキストデータ全体の再生に関わる。分割テキストデータは、分割されたテキストデータを含む。分割テキストヘッダデータは、分割テキストデータ毎に配置され、分割テキストデータの個々の再生に関わる。
ここで、テキスト再生用データとは、例えば、MP4ファイルなどのデータである。
データ受信装置では、全体テキストヘッダデータからテキストデータ全体の再生に関わる情報を取得する。さらに、分割テキストヘッダデータから、分割テキストデータの再生に関わる情報を取得する。分割テキストデータは、全体テキストヘッダデータおよび分割テキストヘッダデータに基づいて、順次再生される。
本発明の伝送データ構造により、テキスト再生用データのすべてが受信されなくとも、分割テキストデータを順次再生することが可能となる。すなわち、ストリーミング配信に適した伝送データ構造が提供される。
請求項2にかかるテキスト伝送用データの伝送データ構造は、請求項1に記載のテキスト伝送用データの伝送データ構造であって、分割テキストヘッダデータは、分割テキストデータの再生時間に関する再生時間情報を含んでいる。
データ受信装置では、分割テキストヘッダデータから分割テキストデータの再生時間に関する情報を取得する。分割テキストヘッダデータは、取得された再生時間情報に基づいて、順次再生される。
本発明の伝送データ構造により、各分割テキストヘッダデータは、再生時間情報が有する再生時間ずつ順次再生される。
請求項3にかかるテキスト伝送用データの伝送データ構造は、請求項1または2に記載のテキスト伝送用データの伝送データ構造であって、分割テキストヘッダデータは、分割テキストデータのデータ長に関するデータ長情報を含んでいる。
本発明の伝送データ構造により、順次伝送されるテキスト伝送用データにおける分割テキストデータのデータ境界が明確となる。このため、ストリーミング伝送における誤再生などが防止可能となる。
請求項4にかかるテキスト伝送用データの伝送データ構造は、請求項1〜3のいずれかに記載のテキスト伝送用データの伝送データ構造であって、全体テキストヘッダデータは、テキストデータの再生領域に関する情報を含むテキスト再生情報と、分割テキストデータの書式に関する情報を含む書式情報とを含んでいる。
ここで、テキスト再生情報とは、例えば、テキストデータのレイアウト(表示領域の大きさ、ビデオなど他メディアとの相対位置)、レイヤ(他メディアとの階層関係)などに関する情報である。書式情報とは、例えば、分割テキストデータのスクロールの有無と方向、再生位置、背景色、フォント書式(フォント名、大きさ、色、太字、下線、斜体など)などに関する情報である。
データ受信装置では、テキスト再生情報に基づいて、それぞれの分割テキストデータの再生領域を判断する。さらに、書式情報に基づいて、それぞれの分割テキストデータに適用される書式を判断する。
請求項5にかかるテキスト伝送用データの伝送データ構造は、請求項4に記載のテキスト伝送用データの伝送データ構造であって、全体テキストヘッダデータは、分割テキストヘッダデータのデータ長をカスタマイズするためのデータ長カスタマイズ情報をさらに含んでいる。
データ受信装置では、データ長カスタマイズ情報に基づいて、分割テキストヘッダデータのデータ長を判断する。データ長カスタマイズ情報は、例えば、分割テキストヘッダデータのデータ長をビット単位で指定する。
本発明の伝送データ構造により、分割テキストデータの個々の再生に係わる分割テキストヘッダデータのデータ長を必要に応じてカスタマイズすることができる。すなわち、分割テキストヘッダデータの情報量を必要かつ十分な量にカスタマイズすることができる。この結果、分割テキストデータの個々の再生に必要な情報量を少なくすることができる。
請求項6にかかるテキスト伝送用データの伝送データ構造は、請求項4または5に記載のテキスト伝送用データの伝送データ構造であって、分割テキストヘッダデータは、分割テキストデータと書式情報との関連を示すインデックスを含む。
データ受信装置では、インデックスに基づいて、分割テキストデータに適用する書式を書式情報から判断する。
本発明の伝送データ構造により、例えば、分割テキストデータ毎に書式に関する情報を伝送する必要が無くなる。このため、ビット効率を向上させることが可能となる。
請求項7にかかるテキスト伝送用データの伝送データ構造は、請求項4〜6のいずれかに記載のテキスト伝送用データの伝送データ構造であって、テキスト伝送用データは、複数のパケットから構成されている。テキスト再生情報は、分割テキストデータおよび分割テキストヘッダデータと異なる形式でパケット化されている。
ここで、テキスト再生情報は、例えば、セクション形式でパケット化されている。分割テキストデータおよび分割テキストヘッダデータは、例えば、PES形式でパケット化されている。
本発明の伝送データ構造により、分割テキストデータの伝送効率を向上させることが可能となる。すなわち、テキスト再生情報など、頻繁に伝送する必要の無い情報については、分割テキストデータと異なる形式で伝送することで、分割テキストデータの伝送に対して、より多くの帯域を確保することが可能となる。
請求項8にかかるテキスト伝送用データの伝送データ構造は、請求項7に記載のテキスト伝送用データの伝送データ構造であって、書式情報は、テキスト再生情報と同じ形式でパケット化されている。
ここで、テキスト再生情報、書式情報は、例えば、セクション形式でパケット化されている。
本発明の伝送データ構造により、書式情報を頻繁に伝送する必要が無い場合には、分割テキストデータの伝送に対して、さらにより多くの帯域を確保することが可能となる。
請求項9にかかるテキスト伝送用データの伝送データ構造は、請求項7に記載のテキスト伝送用データの伝送データ構造であって、書式情報は、分割テキストデータおよび分割テキストヘッダデータと同じ形式でパケット化されている。
ここで、書式情報、分割テキストデータおよび分割テキストヘッダデータは、例えば、PES形式でパケット化されている。
本発明の伝送データ構造により、書式情報を分割テキストデータと同じパケットとして伝送することが可能となる。このため、書式情報に変更がある場合であっても、変更された書式情報は、その書式が適用される分割テキストデータより以前に受信可能となる。すなわち、より確実に書式情報の変更などを反映することが可能となる。
請求項10にかかるテキスト伝送用データの伝送データ構造は、請求項9に記載のテキスト伝送用データの伝送データ構造であって、書式情報は、複数の書式情報単位を含んでいる。書式情報単位は、分割テキストデータ毎に配置される。
データ受信装置では、分割テキストデータ毎に配置される書式情報単位を取得し、分割テキストデータ毎の書式を判断する。
本発明の伝送データ構造により、分割テキストデータに適用する書式の変更などをより確実に反映することが可能となる。
請求項11にかかるテキスト伝送用データの伝送データ構造は、請求項1〜10のいずれかに記載のテキスト伝送用データの伝送データ構造であって、テキスト伝送用データは、多重化データとして伝送されるデータである。
データ受信装置では、多重化データからの分離により、テキスト伝送用データが取得される。
請求項12にかかるテキスト伝送用データのデータ受信方法は、受信ステップと、再生ステップとを備えている。受信ステップは、請求項1〜11のいずれかに記載の伝送データ構造を有するテキスト伝送用データを受信する。再生ステップは、テキスト伝送用データが含む全体テキストヘッダデータと分割テキストデータと分割テキストヘッダデータとに基づいて、分割テキストデータが含む分割されたテキストデータを順次再生する。
このデータ受信方法では、全体テキストヘッダデータからテキストデータ全体の再生に関わる情報が取得される。さらに、分割テキストヘッダデータから、分割テキストデータの再生に関わる情報が取得される。分割テキストデータは、全体テキストヘッダデータおよび分割テキストヘッダデータに基づいて、順次再生される。
本発明のデータ受信方法により、テキスト再生用データのすべてが受信されなくとも、分割テキストデータを順次再生することが可能となる。すなわち、ストリーミング配信に適したデータ受信方法が提供される。
請求項13にかかるテキスト伝送用データのデータ受信装置は、受信手段と、再生手段とを備えている。受信手段は、請求項1〜11のいずれかに記載の伝送データ構造を有するテキスト伝送用データを受信する。再生手段は、テキスト伝送用データが含む全体テキストヘッダデータと分割テキストデータと分割テキストヘッダデータとに基づいて、分割テキストデータが含む分割されたテキストデータを順次再生する。
このデータ受信装置では、全体テキストヘッダデータからテキストデータ全体の再生に関わる情報が取得される。さらに、分割テキストヘッダデータから、分割テキストデータの再生に関わる情報が取得される。分割テキストデータは、全体テキストヘッダデータおよび分割テキストヘッダデータに基づいて、順次再生される。
本発明のデータ受信装置により、テキスト再生用データのすべてが受信されなくとも、分割テキストデータを順次再生することが可能となる。すなわち、ストリーミング配信に適したデータ受信装置が提供される。
請求項14にかかるデータ受信プログラムは、コンピュータにより、請求項1〜11のいずれかに記載の伝送データ構造を有するテキスト伝送用データのデータ受信方法を行うためのデータ受信プログラムであって、データ受信方法は、受信ステップと、再生ステップとを備えている。受信ステップは、請求項1〜11のいずれかに記載の伝送データ構造を有するテキスト伝送用データを受信する。再生ステップは、テキスト伝送用データが含む全体テキストヘッダデータと分割テキストデータと分割テキストヘッダデータとに基づいて、分割テキストデータが含む分割されたテキストデータを順次再生する。
このデータ受信プログラムでは、全体テキストヘッダデータからテキストデータ全体の再生に関わる情報が取得される。さらに、分割テキストヘッダデータから、分割テキストデータの再生に関わる情報が取得される。分割テキストデータは、全体テキストヘッダデータおよび分割テキストヘッダデータに基づいて、順次再生される。
本発明のデータ受信プログラムにより、テキスト再生用データのすべてが受信されなくとも、分割テキストデータを順次再生することが可能となる。すなわち、ストリーミング配信に適したデータ受信プログラムが提供される。
請求項15にかかるテキスト伝送用データの伝送データ構造は、テキストデータの再生にかかるテキスト再生用データを転送し順次再生させるためのテキスト伝送用データの伝送データ構造であって、テキスト再生用データは、テキストデータを分割した複数の分割テキストデータと、分割テキストデータを再生するための情報を含むテキストヘッダデータとを含んでいる。テキスト伝送用データは、複数のパケットから構成されている。また、分割テキストデータは、各パケット内において表示順に配置されている。さらに、パケットは各分割テキストデータの再生時刻情報を有している。またさらに、第2のパケットは、その前の第1のパケットの分割テキストデータと再生時刻情報が重複する分割テキストデータを含んでいる。
ここで、再生時刻情報は、パケット内において最初に配置される分割テキストデータの再生時刻と各分割テキストデータの再生時間とから構成される情報、あるいは各分割テキストデータの再生時刻から構成される情報である。
第2のパケットと、その前の第1のパケットとは、再生時刻情報が重複する分割テキストデータを含む。すなわち、異なるパケットで重複する再生時刻情報を持つ分割テキストデータを複数回伝送することが許される。これにより、テキスト伝送用データのエラー耐性を高めることができる。
請求項16にかかるテキスト伝送用データの伝送データ構造は、請求項15に記載のテキスト伝送用データの伝送データ構造であって、パケットに含まれる分割テキストデータの個数は、テキスト伝送用データの伝送のために確保された伝送路帯域とほぼ一致する帯域でパケットが伝送されるような個数として決定される。
これにより、テキスト伝送用データの伝送のために確保された伝送路帯域を有効に利用し、重複する再生時刻情報を持つ分割テキストデータを複数回伝送し、テキスト伝送用データのエラー耐性をさらに高めることができる。
請求項17にかかるテキスト伝送用データの伝送データ構造は、請求項15または16に記載のテキスト伝送用データの伝送データ構造であって、テキスト伝送用データは、多重化データとして伝送されるデータである。
データ受信装置では、多重化データからの分離により、テキスト伝送用データが取得される。
請求項18にかかるテキスト伝送用データのデータ受信方法は、請求項15〜17のいずれかに記載の伝送データ構造を有するテキスト伝送用データのデータ受信方法であって、時刻取得ステップと、置換ステップとを備えている。時刻取得ステップは、第1のパケットの各分割テキストデータの再生時刻情報が示す時刻Tnと、第2のパケットの最初の分割テキストデータの再生時刻情報が示す時刻Taとを取得する。置換ステップは、第1のパケットにおいて時刻Tnが時刻Taと等しい又は後である分割テキストデータを、第2のパケットにおいて再生時刻情報が重複する分割テキストデータに置き換える。
このデータ受信方法により、あらかじめ伝送された分割テキストデータを最新の分割テキストデータにより更新することが可能となり、常に最新の情報を含む分割テキストデータを再生することが可能となる。
請求項19にかかるテキスト伝送用データのデータ受信方法は、請求項15〜17のいずれかに記載の伝送データ構造を有するテキスト伝送用データのデータ受信方法であって、受信遅延判断ステップと、再生ステップとを備えている。受信遅延判断ステップは、第1の分割テキストデータの受信時刻Tdが、第1の分割テキストデータの再生時刻情報が示す時刻Tnより遅くかつ次の第2の分割テキストデータの再生時刻情報の示す時刻Tn+1より早く受信されたか否かを判断する。再生ステップは、判断が肯定的であった場合に、第1の分割テキストデータを、受信時刻Tdから時刻Tn+1までの間に再生する。
このデータ受信方法により、再生時刻情報が示す時刻より遅く受信された分割テキストデータであっても、次の分割テキストデータの再生時刻情報に達するまでの間に再生を行うことができる。すなわち、再生されているべきテキストデータを途中からでも再生することができ、長時間にわたりテキストデータが再生されないなどの弊害を防ぐことができる。
請求項20にかかるテキスト伝送用データのデータ受信方法は、請求項19に記載のテキスト伝送用データのデータ受信方法であって、再生ステップでは、第1の分割テキストデータにおいて時刻Tnから受信時刻Tdまでの時間が経過した時点の再生状態から、第1の分割テキストデータの再生を開始する。
このデータ受信方法により、例えば、スクロール再生やカラオケ再生などの時刻変化を伴う分割テキストデータを途中からでも再生することができる。これにより、テキストデータの再生時に再生されているべき状態が再生されないという弊害を防ぐことができる。
請求項21にかかるテキスト伝送用データのデータ受信装置は、請求項15〜17のいずれかに記載の伝送データ構造を有するテキスト伝送用データのデータ受信装置であって、時刻取得手段と、置換手段とを備えている。時刻取得手段は、第1のパケットの各分割テキストデータの再生時刻情報が示す時刻Tnと、第2のパケットの最初の分割テキストデータの再生時刻情報が示す時刻Taとを取得する。置換手段は、第1のパケットにおいて時刻Tnが時刻Taと等しい又は後である分割テキストデータを、第2のパケットにおいて再生時刻情報が重複する分割テキストデータに置き換える。
このデータ受信装置により、あらかじめ伝送された分割テキストデータを最新の分割テキストデータにより更新することが可能となり、常に最新の情報を含む分割テキストデータを再生することが可能となる。
請求項22にかかるテキスト伝送用データのデータ受信装置は、請求項15〜17のいずれかに記載の伝送データ構造を有するテキスト伝送用データのデータ受信装置であって、受信遅延判断手段と、再生手段とを備えている。受信遅延判断手段は、第1の分割テキストデータの受信時刻Tdが、第1の分割テキストデータの再生開始時刻情報が示す時刻Tnより遅くかつ次の第2の分割テキストデータの再生開始時刻情報の示す時刻Tn+1より早く受信されたか否かを判断する。再生手段は、判断が肯定的であった場合に、第1の分割テキストデータを、受信時刻Tdから時刻Tn+1までの間に再生する。
このデータ受信装置により、再生時刻情報が示す時刻より遅く受信された分割テキストデータであっても、次の分割テキストデータの再生時刻情報に達するまでの間に再生を行うことができる。すなわち、再生されているべきテキストデータを途中からでも再生することができ、長時間にわたりテキストデータが再生されないなどの弊害を防ぐことができる。
請求項23にかかるテキスト伝送用データのデータ受信装置は、請求項22に記載のテキスト伝送用データのデータ受信装置であって、再生手段では、第1の分割テキストデータにおいて時刻Tnから受信時刻Tdまでの時間が経過した時点の再生状態から、第1の分割テキストデータの再生を開始する。
このデータ受信装置により、例えば、スクロール再生やカラオケ再生などの時刻変化を伴う分割テキストデータを途中からでも再生することができる。これにより、テキストデータの再生時に再生されているべき状態が再生されないという弊害を防ぐことができる。
請求項24にかかるデータ受信プログラムは、コンピュータにより、請求項15〜17のいずれかに記載の伝送データ構造を有するテキスト伝送用データのデータ受信方法を行うためのデータ受信プログラムであって、データ受信方法は、時刻取得ステップと、置換ステップとを備えている。時刻取得ステップは、第1のパケットの各分割テキストデータの再生時刻情報が示す時刻Tnと、第2のパケットの最初の分割テキストデータの再生時刻情報が示す時刻Taとを取得する。置換ステップは、第1のパケットにおいて時刻Tnが時刻Taと等しい又は後である分割テキストデータを、第2のパケットにおいて再生時刻情報が重複する分割テキストデータに置き換える。
このデータ受信プログラムにより、あらかじめ伝送された分割テキストデータを最新の分割テキストデータにより更新することが可能となり、常に最新の情報を含む分割テキストデータを再生することが可能となる。
請求項25にかかるデータ受信プログラムは、コンピュータにより、請求項15〜17に記載の伝送データ構造を有するテキスト伝送用データのデータ受信方法を行うためのデータ受信プログラムであって、データ受信方法は、受信遅延判断ステップと、再生ステップとを備えている。受信遅延判断ステップは、第1の分割テキストデータの受信時刻Tdが、第1の分割テキストデータの再生開始時刻情報が示す時刻Tnより遅くかつ次の第2の分割テキストデータの再生開始時刻情報の示す時刻Tn+1より早く受信されたか否かを判断する。再生ステップは、判断が肯定的であった場合に、第1の分割テキストデータを、受信時刻Tdから時刻Tn+1までの間に再生する。
このデータ受信プログラムにより、再生時刻情報が示す時刻より遅く受信された分割テキストデータであっても、次の分割テキストデータの再生時刻情報に達するまでの間に再生を行うことができる。すなわち、再生されているべきテキストデータを途中からでも再生することができ、長時間にわたりテキストデータが再生されないなどの弊害を防ぐことができる。
請求項26にかかるデータ受信プログラムは、請求項25に記載のデータ受信プログラムであって、再生ステップでは、第1の分割テキストデータにおいて時刻Tnから受信時刻Tdまでの時間が経過した時点の再生状態から、第1の分割テキストデータの再生を開始する。
このデータ受信プログラムにより、例えば、スクロール再生やカラオケ再生などの時刻変化を伴う分割テキストデータを途中からでも再生することができる。これにより、テキストデータの再生時に再生されているべき状態が再生されないという弊害を防ぐことができる。
本発明では、Timed Textをストリーミング型の配信で使用するのに好適な伝送データ構造を提供することが可能となる。また別の本発明では、この伝送データ構造を持つデータを受信するデータ受信方法、データ受信装置およびデータ受信プログラムを提供することが可能となる。
[第1実施形態]
本発明の第1実施形態として、MPEG−2 TSを用いたテキストトラックのストリーミング伝送について説明する。テキストトラックは、3GPPで規定されるTimed Textと同様な表現でテキスト再生を行うための情報を備えるデータである。
〈PESパケットのデータ構造〉
(1)
MPEG−2 TSを用いてテキストトラックをストリーミング伝送するためのPESパケット1のデータ構造を図1に示す。
MPEG−2システムでは、ビデオ、オーディオ、あるいはテキストといったトラックを構成する要素となる信号をES(Elementary Stream)と呼んでいる。さらに、ESを可変長のブロックに区切り、ヘッダ情報を付加したものをPES(Packetized Elementary Stream)と呼んでいる。MPEG−2システムでは、複数のPESを多重伝送する信号として、TS(Transport Stream)を規定している。
(2)
図1に示すPESパケット1のデータ構造は、MPEG−2システムで規定されるPESヘッダ部10と、ペイロード部11とから構成される。PESヘッダ部10は、ビデオ、オーディオ、あるいはテキストといったトラック間の同期再生のための時刻情報であるPTS(Presentation Time Stamp)を有している。ペイロード部11は、トラックヘッダ111と、サンプルディスクリプション112と、コンフィグインフォメーション113と、テキストフレーム114,114’,・・・と、それぞれの情報を識別する識別子(トラックヘッダ識別子111a,サンプルディスクリプション識別子112a,コンフィグインフォメーション識別子113a,テキストフレーム識別子114a)とを含んでいる。
トラックヘッダ111は、テキストトラックの全体の再生にかかる情報であり、レイアウト(表示領域の大きさ(幅および高さ)、ビデオとの相対位置(ビデオ表示領域から横方向および縦方向へのトランスレーション))、レイヤ(ビデオなど他メディアとの階層関係)、テキストトラックの再生時間、作成日時、後述するデュレーション1141bのタイムスケールなどの情報を含んでいる。
サンプルディスクリプション112は、複数のサンプルエントリ1121,1122,・・・を備えている(図2(b)参照)。それぞれのサンプルエントリ1121,1122,・・・は、テキストトラックの書式にかかる情報であり、スクロールの有無と方向、水平・垂直の寄席位置、背景色、フォント名、フォントサイズ、その他の書式のデフォルト情報などを含んでいる。
コンフィグインフォメーション113は、後述するテキストフレーム114,114’,・・・が含むインデックス1141aおよびデュレーション1141b(図2(a)参照)のデータ長をカスタマイズするための情報を含んでいる。例えば、インデックス1141aおよびデュレーション1141bのデータ長をそれぞれ1〜4バイトのいずれかに設定する。
テキストフレーム114,114’,・・・は、再生順に並べられている。また、PESヘッダ部10のPTSが示す値は、ペイロード部11において最初に配置されているテキストフレーム114の再生時刻を示している。
以下、図2(a)を用いて、テキストフレーム114について説明する。その他のテキストフレーム114’,・・・は、テキストフレーム114と同様の構造を有しているので説明は省略する。
テキストフレーム114は、セグメントテキストヘッダ1141とテキストサンプル1142とから構成される。
セグメントテキストヘッダ1141は、インデックス1141aと、デュレーション1141bとを有している。インデックス1141aは、サンプルエントリ1121,1122,・・・(図2(b)参照)を指定することにより、テキストサンプル1142のデフォルトの書式を示している。デュレーション1141bは、テキストサンプル1142の再生時間に関する情報である。デュレーション1141bが格納する値のタイムスケールは、トラックヘッダ111(図1参照)において指定されている。テキストサンプル1142は、テキスト1142aと、テキスト1142aのデータ長を格納するテキストレングス1142bと、モディファイア1142cとを有している。モディファイア1142cは、テキスト1142aの一部あるいは全部をオプションにて書式変更(ハイライト、カラオケ、ブリンク、ハイパーリンクなど)する場合に使用される。
図1に示す識別子111a,112a,113a,114aは、それぞれに共通のスタートコード115とそれぞれに固有のID111b,112b、113bおよび114bとから構成される。例えば、それぞれの識別子111a,112a,113a,114aは、3バイトのスタートコード115に1バイトのID111b,112b、113b,114bを付加した構造を有している。図1では、スタートコード115は[0x 00 00 01]、トラックヘッダ識別子111aのID111bは[0x 00],サンプルディスクリプション識別子112aのID112bは[0x 01],コンフィグインフォメーション識別子113aのID113bは[0x 02],テキストフレーム識別子114aのID114bは[0x 03]と決定されている。ただし本発明では、スタートコードおよびそれぞれのIDを上記に限定するものではない。
また、それぞれの識別子111a,112a,113a,114aは、トラックヘッダ111、サンプルディスクリプション112、コンフィグインフォメーション113、テキストフレーム114にそれぞれ付加されている。
(3)
図2を用いて、サンプルディスクリプション112、コンフィグインフォメーション113およびテキストフレーム114の具体的内容について説明する。
図2(a)に示すテキストフレーム114が備えるインデックス1141aの値[1]は、テキストサンプル1142の再生に際して参照すべきサンプルエントリ1121を指定している。
図2(b)に示すサンプルエントリ1121は、スクロールの有無と方向(displayFlags)、表示領域内での水平・垂直の寄席位置(Horizontal justification, Vertical justification)、RGB値および透明度により指定される背景色(bgColor)、表示領域(TextBox)フォント名(fontTable, font-ID)、フォントサイズ(fontSize)、太字・イタリック・アンダーラインなどのスタイル(faceStyle)、RGB値および透明度により指定されるフォント色(fontColor)などを含んでいる。なお、この書式を適用する範囲を指定するデータ(startChar, EndChar)は、常に値[0]を取り、サンプルエントリ1121の指定する書式が適用されるテキストサンプル1142中の全範囲のテキスト1142aに対して、この書式が適用されることを示している。図2(b)に示すサンプルエントリ1121のそれぞれの値により、テキスト1142aのデフォルトの書式は、背景色を白色、フォント色を黒色およびスタイルをノーマルに指定されている。
デュレーション1141bの値[4500]は、テキストサンプル1142の再生時間を表している。この値のタイムスケールは、トラックヘッダ111(図1参照)により指定されている。具体的には、トラックヘッダ111は、タイムスケールとして、1秒間の解像度を格納しており、例えば、トラックヘッダ111が格納するタイムスケールの値が[1000]の場合、1/1000秒単位の解像度となる。従って、テキストサンプル1142の再生時間を秒換算した値は、デュレーション1141bの値をトラックヘッダ111が格納するタイムスケールの値で除算した値となり、例えば、タイムスケールの値が[1000]の場合、デュレーション1141bの値[4500]は、テキストサンプル1142を4.5秒間再生することを意味している。以下、タイムスケールの値が[1000]と設定されているとして説明を行う。
インデックス1141aおよびデュレーション1141bのデータ長は、図2(c)に示すコンフィグインフォメーション113により指定可能である。コンフィグインフォメーション113は、1バイトのデータであり、4ビットのリザーブ領域1131aと、2ビットのインデックスサイズインジケータ1131bと、2ビットのデュレーションサイズインジケータ1131cとから構成される。すなわち、2ビットのインデックスサイズインジケータ1131bおよびデュレーションサイズインジケータ1131cにより、インデックス1141aおよびデュレーション1141bのデータ長は、1〜4バイトに指定される。例えば、インデックスサイズインジケータ1131bの値を[00]、デュレーションサイズインジケータ1131cの値を[01]とすると、図2(a)のインデックス1141aおよびデュレーション1141bのデータ長は、それぞれ1バイトおよび2バイトと指定される。
図2(a)のテキストレングス1142bは、テキスト1142aのデータ長を格納している。本実施形態では、テキストレングス1142bのデータ長を2バイトとしており、これによりテキスト1142aのデータ長は、最大65535バイトに制限されることとなるが、必要に応じてテキストレングス1142bのデータ長を変えてもよい。
モディファイア1142cは、モディファイア1142cのデータ長(modifierSize)、テキスト1142aのオプション書式の指定(modifierType, entryCount)、オプション書式を適用するテキスト1142aの範囲の指定(startChar, EndChar)、フォント名(font-ID)、フォントサイズ(fontSize)、太字・イタリック・アンダーラインなどのスタイル(faceStyle)、RGB値および透明度により指定されるフォント色(fontColor)などを含んでいる。このオプション書式の指定は、インデックス1141aにより参照したサンプルエントリ1121の書式に優先して適用される。図2(a)に示す値は、テキスト1142aの5文字目から8文字目までを[太字]にすることを意味している。
図2(d)にテキストフレーム114の再生状態を示す。テキスト1142aが示すテキスト内容(It's fine today.)のうち5文字目から8文字目(fine)が太字として再生される。またその再生時間は4500[ミリ秒]間である。
(4)
図1に示すPESパケット1のペイロード部11は、トラックヘッダ111と、サンプルディスクリプション112と、コンフィグインフォメーション113と、テキストフレーム114,114’,・・・のすべての情報を備えるとして説明した。
しかし、送出されるPESパケットのすべてが、上記すべての情報を備えている必要はない。トラックヘッダ111、サンプルディスクリプション112あるいはコンフィグインフォメーション113は、それぞれ所定のタイミングでPESパケットに出現するものであってもよい。また、一部の情報が含まれていない場合に再生側においては、過去のPESパケットにより受信した情報、あるいはあらかじめ設定されたデフォルト値を用いて再生を行うものであってもよい。
これにより、テキストの再生に必要な情報を必要な頻度で送ることとなり、テキストトラックの伝送に必要な情報量を削減することができる。
〈データ伝送装置〉
図3に、MPEG−2 TSの伝送に際して使用されるデータ伝送装置3を示す。データ伝送装置3は、蓄積部31と、PES送出部32と、システムエンコーダ部33とを備えており、蓄積されたメディアデータをTSパケットとして送出する装置である。
蓄積部31は、メディアデータを、例えば、MP4ファイル形式で蓄積している。PES送出部32は、MP4ファイルからビデオ、オーディオ、あるいはTimed Textなどといったトラック毎に独立したESを受信する。PES送出部32では、受け取ったTimed Textをトラックヘッダ3030、サンプルディスクリプション3040、サンプルテーブル3050およびテキストサンプル3060(図55参照)に分離してバッファリングする。さらに、バッファリングされたそれぞれの情報から、図1および図2に示すPESパケット1を作成する。また、PESパケット1のPESヘッダ部10のPTSには、PESパケット1において最初に配置されるテキストフレーム114を再生する時刻情報が格納される。システムエンコーダ部33は、トラック毎に得られたPESパケットをTSパケットとして多重化し送出する。
なお、本発明の特徴は、主にPES送出部32にあるため、データ伝送装置の形態はデータ伝送装置3に限定されるものではない。例えば、蓄積部31やシステムエンコーダ部33を外部に別体として備えるものであってもよいし、TSパケットとして送出されたデータに伝送路符号化および変調を加え、放送波として送出するものであってもよい。
また、蓄積部31が備えるメディアデータは、MP4ファイル形式に限られず、Timed Textと同じデータ構造を有している必要はない。例えば、Timed Textが備えるのと同じ情報を含み、よりストリーミング伝送に適したデータ構造として蓄積されていてもよい。
〈データ伝送方法〉
(1)
図4を用いて、MPEG−2 TSの伝送に際して使用されるデータ伝送装置3におけるデータ伝送方法について説明する。
MP4ファイル形式のビデオ、オーディオ、あるいはTimed Textなどといったトラック毎に独立したESのうち、Timed Textは、トラックヘッダ3030、サンプルディスクリプション3040、サンプルテーブル3050およびテキストサンプル3060(図55参照)に分離してバッファリングされる(ステップS401)。バッファリングされたそれぞれの情報に基づいて、図1および図2に示すPESパケット1のペイロード部11が合成される(ステップS402)。また、ペイロード部11の最初に配置されるテキストフレーム114を再生する時刻情報をPTSとして格納したPESヘッダ部10が付加され、PESパケット1が送出される(ステップS403)。さらに、得られたPESパケット1は、TSとして送出される(ステップS404)。
(2)
PESパケットの送出に際しては、異なるPESパケットで同一のテキストフレームを複数回伝送することができる。これについて、図5を用いて説明する。
図5に示すPESパケット5および5’は、図1に示すPESパケット1と同様のデータ構造を有している。PESパケット5’は、PESパケット5の次に送出される。PESパケット5のペイロード部51は、図2(a)に示すテキストフレーム114と同様のデータ構想を有するテキストフレーム(TF0,TF1,TF2,・・・)を有している。さらに、PESパケット5は、ペイロード部51において最初に配置されるテキストフレームであるTF0の再生時刻T0をPTSの値としてPESヘッダ部50に格納している。PESパケット5’のペイロード部51’は、図2(a)に示すテキストフレーム114と同様のデータ構想を有するテキストフレーム(TF1,TF2,TF3,・・・)を有している。さらに、PESパケット5’は、ペイロード部51’において最初に配置されるテキストフレームであるTF1の再生時刻T1をPTSの値としてPESヘッダ部50’に格納している。
このように、1つのPESパケットで複数のテキストフレームを送出し、さらに異なるPESパケット間で同一のテキストフレームを重複して伝送することにより、伝送時のエラー耐性を高めることができる。
(3)
また、PESパケットの伝送に際しては、テキストトラック用にあらかじめ固定の伝送路帯域を確保した場合、その固定の伝送路帯域を十分に利用するようPESパケットのデータ長あるいはPESパケットの伝送個数が決定される。例えば、テキストトラック用に16kbpsの伝送路帯域を割り当てた場合、1秒間に2000バイトのPESパケットを作成することができる。これにより、2000バイトのPESパケット内に入るだけのテキストフレームを詰め込んで伝送する。
これにより、伝送路帯域を十分に活用して、重複したテキストフレームを伝送することが可能となり、エラー耐性を高めた伝送が可能となる。
〈データ受信装置〉
図6に、MPEG−2 TSの伝送に際して使用されるデータ受信装置6を示す。データ受信装置6は、受信部60と、システムデコーダ部61と、メディアデコーダバッファ部62と、メディアデコーダ部63と、表示バッファ部64とを備えており、放送波等より受信したTSからテキストトラックを再生する装置である。データ受信装置6は、例えば、テレビ、コンピュータあるいはカーナビなどに内蔵あるいは外部接続される装置である。
受信部60は、放送波等を受信し、TSを復調する。システムデコーダ部61は、復調されたTSからビデオ、オーディオ、あるいはテキストといったトラック毎にPESパケットを分離する。さらに、TSパケットからトラック間の同期再生のための基準時刻であるSTC(System Time Clock)を再生する。メディアデコーダバッファ部62は、分離されたPESパケットのうちテキストトラックの再生にかかるPESパケット1のPESヘッダ部10からPTSを取り出す。さらに、システムデコーダ部61で再生されたSTCを参照し、STCに一致するPTSを持つPESパケット1のペイロード部11を送出する。メディアデコーダ部63は、取得したペイロード部11を解析し、トラックヘッダ111、サンプルディスクリプション112、コンフィグインフォメーション113の格納する情報、STC、デュレーション1141bおよびモディファイア1141cに基づいてテキストトラックをデコードする。表示バッファ部64は、デコードされたテキストトラックを格納し、表示装置65の表示レートに従って、デコードされたテキストトラックをビデオ、オーディオといった他のメディアと同期的に再生させる。
なお、本発明の特徴は、メディアデコーダ部63にあるため、データ受信装置の形態はデータ受信装置6に限定されるものではない。例えば、表示装置65を一体的に備えるものであってもよい。
〈データ受信方法〉
(1)
図7を用いて、MPEG−2 TSの伝送に際して使用されるデータ受信装置6におけるデータ受信方法について説明する。
受信されたTSから、ビデオ、オーディオ、あるいはテキストといったトラック毎にPESパケットが分離される。さらに、TSからトラック間の同期再生のための基準時刻であるSTCが再生される(ステップS701)。分離されたPESパケットのうち、テキストトラックの再生にかかるPESパケット1のPESヘッダ部10からPTSが取得される。さらに、再生されたSTCから、STCに一致するPTSを持つPESパケット1のペイロード部11が解析される(ステップS702)。ペイロード部11の解析により識別されたトラックヘッダ111、サンプルディスクリプション112およびコンフィグインフォメーション113の格納する情報、STC、デュレーション1141bおよびモディファイア1141cに基づいてテキストトラックがデコードされる(ステップS703)。
(2)
図8に、データ受信装置6において、テキストトラックシーケンスとして定義されるペイロード部11を解析するためのシンタクスを示す。
PESパケット1のペイロード部11の解析に際して、スタートコード115の検索が行われる。スタートコード115が見つかった場合、そのスタートコードに付加されるIDが解析される(ステップS802a,ステップS803a,ステップS804a,ステップS805a)。IDの解析により、トラックヘッダ111、サンプルディスクリプション112、コンフィグインフォメーション113、テキストフレーム114が識別され、それぞれの情報について処理が行われる(ステップS802b,ステップS803b,ステップS804b,ステップS805b)。
また、受信したPESパケット1にコンフィグインフォメーション113が含まれていない場合、インデックス1141aおよびデュレーション1141bのデータ長には、デフォルト値が使用される(ステップS801)。
このシーケンスは、テキストトラックが終了するまで続けられる。例えば、テキストトラックの終了は、テキストトラックの最後に付加されたスタートコード115とテキストトラックの終了を意味するID(例えば、[0x 04])とから構成される識別子などにより識別される(ステップS806)。
(3)
データ受信装置6においては、上記テキストトラックシーケンスにてPESパケット1のペイロード部11の解析を行う。さらに、ペイロード部11の含む複数のテキストフレーム114,114’,・・・のうちデコードすべきテキストフレームを判定する規則について、図9および図10を用いて説明する。
(3−1)
まず、複数のPESパケットが備えるテキストフレームの再生時刻が重複している場合について説明する。
図9に示すPESパケット9および9’は、図1に示すPESパケット1と同様のデータ構造を有している。
PESパケット9’は、PESパケット9の次に送出される。PESパケット9のペイロード部91は、図2(a)に示すテキストフレーム114と同様のデータ構想を有するテキストフレーム(TF0,TF1,・・・,TFn−1,TFn,TFn+1,・・・)を有している。また、それぞれのデュレーションをD0,D1,・・・,Dn−1,Dn,Dn+1,・・・とする。さらに、PESパケット9は、ペイロード部91において最初に配置されるテキストフレームであるTF0の再生時刻TaをPTSの値とするPESヘッダ部90を有している。
PESパケット9’のペイロード部91’は、図2(a)に示すテキストフレーム114と同様のデータ構造を有するテキストフレーム(TFk,TFk+1,・・・)を有している。また、それぞれのデュレーションをDk,Dk+1,・・・とする。さらに、PESパケット9’は、ペイロード部91’において最初に配置されるテキストフレームであるTFkの再生時刻TbをPTSの値とするPESヘッダ部90’を有している。
さらに、TFkの再生時刻Tbは、Tn<Tb<Tn+1を満たすとする。ここで、TnおよびTn+1は、テキストフレームTFnおよびTFn+1の再生時刻であり、Tn=Tn−1+Dn−1、Tn+1=Tn+Dn、である。
このとき、このPESパケット9とPESパケット9’との関係において、デコードされるべきテキストフレームは、PESパケット9において時刻Tb以前に再生されるべきテキストフレームおよびPESパケット9’が含むテキストフレームである。
すなわち、時刻Tbにおいては、PESパケット9の再生しているテキストフレームTFnの状態に係わらず、PESパケット9’の備えるテキストフレーム(TFk,TFk+1,・・・)の再生が開始される。
さらに具体的に説明する。例えば、PESパケット9は、3つのテキストフレームを備え、PESパケット9のPTSの値に対してそれぞれ0,20,30秒後に再生開始するようデュレーションの値が指定されているとする。一方、PESパケット9’は、3つのテキストフレームを備え、PESパケット9のPTSの値に対してそれぞれ26,38,52秒後に再生開始するようPTSおよびデュレーションの値が指定されているとする。PESパケット9とPESパケット9’とを受信した場合に、再生側では、PESパケット9のPTSの値に対して0,20,26,38,52秒後にそれぞれテキストフレームが再生される。
これによって、あらかじめ送った複数のテキストフレームを最新の情報に更新して再生することができ、例えば、緊急事態にテキストの再生を行うことなどが可能となる。
(3−2)
次に、PESパケットが受信された時刻がそのPESパケットのPTSが示す時刻を経過している場合について説明する。
図10に示すPESパケット110は、図1に示すPESパケット1と同様のデータ構造を有している。
PESパケット110のペイロード部101は、図2(a)に示すテキストフレーム114と同様のデータ構想を有するテキストフレーム(TF0,TF1,・・・,TFn−1,TFn,TFn+1,・・・)を有している。また、それぞれのデュレーションをD0,D1,・・・,Dn−1,Dn,Dn+1,・・・とする。さらに、PESパケット110は、ペイロード部101において最初に配置されるテキストフレームであるTF0の再生時刻TaをPTSの値とするPESヘッダ部100を有している。
ここで、PESパケット110の受信時刻をTdとする。時刻Tdが、Ta<Tn<Td<Tn+1を満たすとし、受信時においてすでにTF0の再生時刻Taを経過しているとする。ここで、TnおよびTn+1は、テキストフレームTFnおよびTFn+1の再生時刻であり、Tn=Tn−1+Dn−1、Tn+1=Tn+Dnである。
このとき、PESパケット110のテキストフレーム(TF0,TF1,・・・,TFn−1,TFn,TFn+1,・・・)のうち、デコードされるべきテキストフレームは、PESパケット110において、時刻Td以後に再生されるテキストフレームである。
すなわち、時刻Tdにおいて、テキストフレームTFnから再生が開始され、テキストフレームTFnは、時刻Tn+1までの[Tn+1−Td]だけ再生される。
さらに、テキストフレームTFnが時間変化を伴う処理を含む場合、例えば、スクロールやカラオケなどの書式で再生される場合には、時刻Tdにおいて再生されているべき状態から再生が開始される。
図11を用いて、具体的に説明する。テキストフレームTFnは、モディファイアによりカラオケのオプション書式が設定されているとし、時刻Tnからの5秒間で「あいうえお」の5文字を1秒間に1文字づつ色変化させるとする。再生状態1101は、時刻Tnに再生されているべき状態、再生状態1102は、時刻Tnから5秒後に再生されているべき状態とする。
このとき、テキストフレームTFnを含むPESパケット110を時刻Tnから3秒経過した時刻Tdに受信したとする。このとき、時刻Tdにおいては、3文字色変化した再生状態1103から再生が開始される。
〈第1実施形態の効果〉
(PESパケットのデータ構造)
本実施形態で示したPESパケット1のデータ構造により、Timed Textのヘッダ部3010(図55参照)のようなTimed Textの全体の再生に係わる情報を事前に伝送しておく必要がなくなる。このため、テキストトラックの受信開始から再生開始までの待ち時間が少なくなる。
また、テキストトラックの再生に必要な情報であるトラックヘッダ111、サンプルディスクリプション112、コンフィグインフォメーション113などといった情報が繰り返して伝送されており、テキストトラックにランダムアクセスし再生することが可能となる。
これらにより、PESパケット1のデータ構造は、ストリーミング伝送に好適なデータ構造であるといえる。
(データ伝送装置およびデータ伝送方法)
本実施形態で示したデータ伝送装置3およびデータ伝送方法では、1つのPESパケットで複数のテキストフレームを送出し、さらに異なるPESパケット間で同一のテキストフレームを重複して伝送する。これにより、伝送時のエラー耐性を高めることができ、データの再送要求などできないストリーミング伝送において好適な伝送が可能となる。
(データ受信装置およびデータ受信方法)
本実施形態で示したデータ受信装置6およびデータ受信方法では、あらかじめ送った複数のテキストフレームを最新の情報に更新して再生することができる。これにより、例えば、緊急事態にテキストの再生を行うことなどが可能となる。
また、PESパケットの受信時刻がPESパケットのPTSを経過している場合、ビデオあるいはオーディオであればそのPESパケットを破棄し、次のPESパケットの受信を待って再生を再開する。しかし、テキストトラックの再生では、PESパケットの途中のテキストフレームからでも再生を行うことを可能とし、情報の欠落をできる限り防ぐことが可能となる。さらに、カラオケ、スクロールなどの時間変化を伴う書式でテキストトラックの再生が行われる場合であっても、テキストトラックとビデオあるいはオーディオとのずれから感じられる違和感を軽減することが可能となる。
〈第1実施形態の変形例〉
(1)
第1実施形態において、トラックヘッダ識別子111a、サンプルディスクリプション識別子112a、コンフィグインフォメーション識別子113aおよびテキストフレーム識別子114aは、それぞれに共通のスタートコード115とそれぞれに固有のID111b,112b、113bおよび114bとから構成されると説明した。
ここで図12(a)に示すように、それぞれの識別子は、トラックヘッダ111、サンプルディスクリプション112、コンフィグインフォメーション113、あるいはテキストフレーム114,114’,・・・のそれぞれのデータ長を格納するレングス部(111c,112c,113c,114c,114’c,・・・)と、固有のID(111b,112b、113b,114b)とから構成されるものであってもよい。
例えば、それぞれのレングス部を2バイトとすると、トラックヘッダ111、サンプルディスクリプション112、コンフィグインフォメーション113、あるいはテキストフレーム114,114’,・・・のそれぞれのデータ長は、最大65535バイトに制限される。しかし、一般的には、テキストデータの伝送として十分なデータ長であるといえる。また、レングス部を2バイトとすると、3バイトのスタートコード115を用いた場合に比べてビット効率がよいといえる。さらに、スタートコード115を用いて識別する場合、ビット列中に疑似スタートコード(スタートコードではないが、スタートコードと同一のビット列)が発生してはならないため、ビット列中に疑似スタートコードが出現しないよう制限を設ける必要がある。しかし、識別子にレングス部を用いた場合、このような不都合の発生は防止できる。
このとき、レングス部のデータ長をコンフィグインフォメーション113により指定することも可能である。具体的には、コンフィグインフォメーション113のリザーブ領域1131aのうち2ビットをレングスサイズインジケータ1131’aとし、レングス部のデータ長を1〜4バイトに指定することも可能である(図12(b)参照)。
(2)
第1実施形態においては、PESパケット1は、図2に示す構造を持つテキストフレーム114を有しているとして説明した。ここで、PESパケットは、図13に示すPESパケット1’’であってもよい。
図13に示すPESパケット1’’は、MPEG−2システムで規定されるPESヘッダ部116と、ペイロード部117とを備えている。ペイロード部117は、ペイロードヘッダ部118と、ペイロードデータ部119とから構成される。ペイロードヘッダ部118は、カウント部118a、サンプルヘッダ部118bおよび118cとを有している。ペイロードデータ部119は、テキストサンプル119bおよび119cを有している。
カウント部118aは、PESパケット1’’に含まれるテキストサンプルの個数を示している。図13では、カウント部118aの値が[2]の場合を示しており、PESパケット1’’は、2つのテキストサンプル119bおよび119cを含んでいる。
サンプルヘッダ部118bは、レングス部と、インデックスと、デュレーションとを有している。レングス部は、サンプルヘッダ部118bのデータ長を格納している。インデックスおよびデュレーションは、図2に示すインデックス1141aおよびデュレーション1141bと同様である。サンプルヘッダ部118cは、サンプルヘッダ部118bと同様の構造を有している。
テキストサンプル119bおよび119cは、図2に示すテキストサンプル1142と同様の構造を有しているので説明は省略する。
ここで、サンプルヘッダ部118bおよび118cは、その配置順にテキストサンプル119bおよび119cと関連づけられている。すなわち、ペイロードヘッダ部118において最初に配置されるサンプルヘッダ部118bは、ペイロードデータ部119において最初に配置されるテキストサンプル119bのインデックスおよびデュレーションを示している。また、テキストサンプル119bおよび119cは、ペイロードデータ部119において再生順に配置されており、PESパケット1と同様に最初に配置されるテキストサンプル119bの再生時刻をPESヘッダ部116のPTSに格納している。
PESパケット1’’では、複数のテキストサンプル119bおよび119cを連結した構造を有しており、PESパケット1に比してMP4ファイル記録時の構造に近い構造を有しつつ、ストリーミング伝送に適したパケット構造となっている。
なお、PESパケット1’’は、トラックヘッダ111、サンプルディスクリプション112、コンフィグインフォメーション113(図1参照)をさらに有してもよい。この場合、それぞれを識別する識別子を付加することが求められる。
また、PESパケットは、テキストサンプル毎にサンプルヘッダ部を配置する構造であってもよい。図13を用いて具体的に説明すると、サンプルヘッダ部118b、テキストサンプル119b、サンプルヘッダ部118c、テキストサンプル119cの順にデータを格納する構造である。この場合、テキストサンプル118b(118c)は、直前に配置されるサンプルヘッダ部119b(119c)と関連づけられている。また、この場合、レングス部は、直後に配置されるテキストサンプルのデータ長を格納する。さらにこの場合、カウント部118aは、無くてもよい。
(3)
識別子の一部にスタートコード115を用いる場合、ビット列中の擬似スタートコードの出現は以下のようにして防止される。例えば、図1に示すように、スタートコード115は[0x 00 00 01]、トラックヘッダ識別子111aのID111bは[0x 00],サンプルディスクリプション識別子112aのID112bは[0x 01],コンフィグインフォメーション識別子113aのID113bは[0x 02],テキストフレーム識別子114aのID114bは[0x 03]と決定されているとする。このとき、トラックヘッダ111、サンプルディスクリプション112、コンフィグインフォメーション113あるいはテキストフレーム114のビット列中に2バイトのゼロが出現した場合、予め定めた1バイトコード(例えば[0x 05])を2バイトのゼロの後に挿入して伝送することとしてもよい。この場合、再生側では、トラックヘッダ111等のビット列中に2バイトのゼロが続いた後の1バイトを無条件に削除することで、オリジナルのデータに戻すことができる。
具体的には、トラックヘッダ111等のビット列中に、[00 00 EA 65 ・・・]というビット列が出現した場合、伝送側において、予め定めた1バイトコード[0x 05]を挿入して、[00 00 05 EA 65 ・・・]として伝送する。再生側において、[00 00 05 EA 65 ・・・]というビット列を受信した場合、2バイトのゼロが続いた後の1バイトを無条件に削除して、[00 00 EA 65 ・・・]というビット列を復元する。
(4)
テキストフレームが備えるデュレーションの値は、[無限大]を表現することも可能とする。
すなわち、再生側においては、[無限大]を表現するデュレーションの値をもつテキストフレームを受信した場合、そのテキストフレームの再生開始時刻を超える再生開始時刻を持つテキストフレームを受信するまでは、[無限大]を表現するデュレーションの値を持つテキストフレームを再生し続けるものとする。
また、[無限大]を表現するデュレーションの値をもつテキストフレームは、PESパケットにおいて、最後に配置されるものとする。
なお、デュレーションの値[無限大]を表現するために、具体的には、デュレーションの値として[0]が格納される。
(5)
図2(b)を用いて説明したサンプルディスクリプション112は、図14に示すデータ構造を有していてもよい。図14に示すサンプルディスクリプション112’は、サンプルエントリ毎にインデックスを有している点を特徴としている。具体的には、データ受信装置などでは、テキストフレームが有するインデックス(例えば、図2のインデックス1141aなど)をサンプルディスクリプション112’が有するインデックスと対応させ、テキストフレームに適用するサンプルエントリを判断する。以下、図14についてさらに詳細に説明を加える。
図14に示すサンプルディスクリプション112’は、エントリカウント501と、複数のサンプルエントリを有している。図14では、サンプルエントリ502とサンプルエントリ503との2つのサンプルエントリを有する場合を示す。
エントリカウント501は、サンプルディスクリプション112’が有するサンプルエントリの個数を、例えば1バイトのデータ長で示す。図14では、2つのサンプルエントリを有するため、値[2]が格納される。サンプルエントリ502は、インデックス504とサンプルアトリビュート505とを有している。サンプルエントリ503も同様の構造を有しており、インデックス506とサンプルアトリビュート507とを有している。以下、サンプルエントリ502を用いて説明を加える。
インデックス504は、あらかじめ設定されたデータ長(Nバイト)でサンプルエントリ502のインデックス値を示す。サンプルアトリビュート505は、図2(b)で説明したサンプルエントリ1121などと同様の書式情報を格納している。サンプルアトリビュート505のデータ長は、可変である。
このサンプルディスクリプション112’では、サンプルディスクリプション112’が有するインデックスとテキストフレームが有するインデックスとを対応させ、テキストフレームに適用する書式を判断させることが可能となる。
[第2実施形態]
〈データ構造〉
第1実施形態においては、テキストトラックの再生に係る情報をすべてPESパケット1により伝送した(インバンド伝送)。一方、トラックヘッダ、サンプルディスクリプションといった情報をMPEG−2 TSにおいて規定されるPSI(Program Specific Information)と呼ばれるテーブル情報として伝送することも可能である(アウトバンド伝送)。
TSはビデオ、オーディオなど複数のプログラムを多重化して伝送することができるため、ストリーム中に含まれているあるプログラムを他のどのプログラムと共に再生すればよいのかといった情報を送る必要がある。MPEG−2 TSでは、ビデオ、オーディオなどを伝送するPESではなく、セクションと呼ばれるデータ構造により、これらの情報を伝送している。PSIには、PAT(Program Association Table)、PMT(Program Map Table)といったテーブルが規定されている。さらに、PSIのセクションにおいては、ディスクリプタと呼ばれる構造を用いて様々な説明情報などを伝送することが可能となっている。
このPMT、あるいは応用システムで定義されるPSIプライベートセクションにおいてトラックヘッダ、サンプルディスクリプションといった情報をディスクリプタとしてカルーセル方式で伝送することが可能である。
この場合、PESパケットでは、テキストトラックの再生に係る情報のうち、テキストフレームのみを伝送すればよい。図15に第2実施形態において伝送されるPESパケット13を示す。
図15に示すPESパケット13のデータ構造は、MPEG−2 TSで規定されるPESヘッダ部130と、ペイロード部131とから構成される。PESヘッダ部130は、ビデオ、オーディオ、あるいはテキストといったトラック間の同期再生のための時刻情報であるPTS(Presentation Time Stamp)を有している。ペイロード部131は、図2(a)において定義されるテキストフレーム114と同じ構造を有するテキストフレーム1314,1314’,・・・と、それぞれのテキストフレーム1314,1314’,・・・のデータ長1315,1315’,・・・とから構成される。
なお、データ長1315,1315’,・・・に代わり、スタートコードを用いてテキストフレーム1314,1314’,・・・の境界の目印としてもよい。
PMT、あるいはPSIプライベートセクションにおいて伝送されるトラックヘッダ、サンプルディスクリプションは、それぞれ第1実施形態において説明したトラックヘッダ111、サンプルディスクリプション112、サンプルディスクリプション112’と同じ構造を有している。また、必要に応じてコンフィグインフォメーション113を伝送するとしてもよい。
また、図15に示すPESパケット13は、第1実施形態の変形例として説明した図13に示すPESパケット1’’と同様の構造を有するものであってもよい。
〈データ伝送装置〉
図16に、MPEG−2 TSの伝送に際して使用されるデータ伝送装置14を示す。データ伝送装置14は、蓄積部141と、PES送出部142と、システムエンコーダ部143とを備えており、蓄積されたメディアデータをTSパケットとして送出する装置である。
蓄積部141は、メディアデータを、例えば、MP4ファイル形式で蓄積している。PES送出部142は、MP4ファイルからビデオ、オーディオ、あるいはTimed Textなどといったトラック毎に独立したESを受信する。PES送出部142では、受け取ったTimed Textをトラックヘッダ3030、サンプルディスクリプション3040、サンプルテーブル3050およびテキストサンプル3060(図55参照)に分離してバッファリングする。バッファリングされたそれぞれの情報から、図15に示すPESパケット13を作成する。また、PESパケット13のPTSには、PESパケット13において最初に配置されるテキストフレーム1314をビデオあるいはオーディオなど他のトラックと同期再生する時刻情報が格納される。システムエンコーダ部143では、トラックヘッダ3030およびサンプルディスクリプション3040を、PMT、あるいはPSIプライベートセクションにおいて格納し、TSパケットとしてPESパケット13と多重して送出する。
また、データ伝送に際しては、第1実施形態の〈データ伝送方法〉(2)および(3)で説明したデータ伝送方法を採用することも可能である。
〈データ受信装置〉
図17に、MPEG−2 TSの伝送に際して使用されるデータ受信装置15を示す。データ受信装置15は、受信部150と、システムデコーダ部151と、メディアデコーダバッファ部152と、メディアデコーダ部153と、表示バッファ部154とを備えており、受信したTSからテキストトラックを再生する装置である。データ受信装置15は、例えば、テレビ、コンピュータあるいはカーナビなどに内蔵あるいは外部接続される。
受信部150は、放送波等を受信し、TSを復調する。システムデコーダ部151は、復調されたTSからビデオ、オーディオ、あるいはテキストといったトラック毎にPESパケットを分離する。さらに、TSパケットからメディア間の同期再生のための基準時刻であるSTCを再生する。また、PMT、あるいはPSIプライベートセクションにおいて格納されたトラックヘッダ3030およびサンプルディスクリプション3040をメディアデコーダ部153に設定する。
メディアデコーダバッファ部152は、分離されたPESパケットのうちテキストトラックの再生にかかるPESパケット13からPTSを取り出す。さらに、システムデコーダ部151で再生されたSTCを参照し、STCに一致するPTSを持つPESパケット13のペイロード部131を送出する。
メディアデコーダ部153は、取得したペイロード部131、STCおよび設定されたトラックヘッダ3030およびサンプルディスクリプション3040に基づいてテキストトラックをデコードする。
表示バッファ部154は、デコードされたテキストトラックを格納し、表示装置155の表示レートに従って、デコードされたテキストトラックをビデオ、オーディオといった他のメディアと同期的に再生させる。
また、データ受信に際しては、第1実施形態の〈データ受信方法〉(2)および(3)で説明したデータ受信方法を採用することも可能である。
〈第2実施形態の効果〉
第1実施形態の効果と同様の効果を得ることができる。
また、テキストトラックの再生に必要な情報であるトラックヘッダ、サンプルディスクリプションといった情報は、カルーセル方式により繰り返し伝送されており、PESパケット13を受信しつつ順次再生することが可能となる。
さらに、上記第1実施形態のようにインバンド伝送する場合、トラックヘッダやサンプルディスクリプションなどは、その内容に変化がなくても、PESパケットに含まれて繰り返し出現する。このため、再生の際には、その内容が変化したかどうかを毎回解析して確認する必要がある。一方、上記第2実施形態のようにアウトバンド伝送する場合、PMT中でトラックヘッダなどを繰り返し伝送する必要はあるが、内容の変化の有無は、PMTのヘッダ部にあるバージョン番号の変化で判断可能であり、その内容が変化したかどうかを毎回解析して確認する必要がなく、効率的な処理が可能となる。
〈第2実施形態の変形例〉
(1)
図15を用いて説明したPESパケット13において、データ長1315,1315’をセグメントテキストヘッダ(図2(a)参照)の一部として含んでいてもよい。この場合のPESパケットの構造を図18に示す。
図18に示すPESパケット511は、MPEG−2 TSで規定されるPESヘッダ部512と、ペイロード部513とから構成される。PESヘッダ部512は、図15を用いて説明したPESヘッダ部130と同様の構造を有している。ペイロード部513は、複数のテキストフレームを有している。以下、ペイロード部513の有するテキストフレームのうちの1つであるテキストフレーム514を用いて、テキストフレームの構造について説明する。
テキストフレーム514は、セグメントテキストヘッダ515とテキストサンプル516とから構成される。セグメントテキストヘッダ515は、インデックス517とデュレーション518とレングス519とを有している。インデックス517は、テキストサンプル516と、テキストサンプル516に適用されるサンプルエントリ(図2(b)、図14参照)とを関連づけるための情報である。デュレーション518は、テキストサンプル516の再生時間情報である。レングス519は、テキストサンプル516のデータ長を格納する。なお、セグメントテキストヘッダ515における、インデックス517、デュレーション518およびレングス519の順序は任意である。テキストサンプル516は、図2(a)に示すテキストサンプル1142と同様の構造を有している。
PESパケット511には、以上の構造を有するテキストフレームが複数格納される。
(2)
上記実施形態では、図15を用いて、トラックヘッダおよびサンプルディスクリプションをアウトバンド伝送する場合について説明した。ここで、サンプルディスクリプションは、インバンド伝送することとしてもよい。この場合のPESパケットの構造を図19を用いて説明する。
《2−1》
図19(a)は、ペイロード部の冒頭にサンプルディスクリプションをまとめて配置するPESパケットの構造について示している。
PESパケット526は、MPEG−2 TSで規定されるPESヘッダ部527と、ペイロード部528とから構成される。PESヘッダ部527は、図15を用いて説明したPESヘッダ部130と同様の構造を有している。ペイロード部528は、サンプルディスクリプション529および複数のテキストフレームを有している。図19(a)では、3つのテキストフレーム530〜532が格納されている。
サンプルディスクリプション529は、図14を用いて説明したサンプルディスクリプション112’と同様の構造を有しており、ペイロード部528が有するテキストフレーム530〜532により参照されるサンプルエントリを有している。より具体的には、テキストフレーム530〜532が有するインデックス値に対応するインデックス値を有するサンプルエントリを有している。すなわち、テキストフレーム530〜532が有するインデックス値がそれぞれ値[3]、[2]、[2]である場合、サンプルディスクリプション529は、インデックス値[3]を有するサンプルエントリと、値[2]を有するサンプルエントリの2つのサンプルエントリを備える。
テキストフレーム530〜532の構造は、図18を用いて説明したテキストフレーム514と同様である。
なお、サンプルディスクリプション529は、図2(b)に示すサンプルディスクリプション112と同様の構造、すなわち、インデックスを有さない構造であってもよい。この場合、インデックス値[N]を有するテキストフレームに対して、サンプルディスクリプション112において[N]番目に格納されているサンプルエントリが適用される。
また、テキストフレーム530〜532は、図2(a)に示すテキストフレーム114と同様の構造、すなわち、レングスを備えない構造を有していてもよい。この場合には、テキストフレーム530〜532の境界を明確にするために、識別子が用いられてもよい。
《2−2》
図19(b)は、テキストフレーム毎にサンプルエントリを配置するPESパケットの構造について示している。
PESパケット536は、MPEG−2 TSで規定されるPESヘッダ部537と、ペイロード部538とから構成される。PESヘッダ部537は、図15を用いて説明したPESヘッダ部130と同様の構造を有している。ペイロード部538は、複数のテキストフレームを有している。以下、ペイロード部538の有するテキストフレームのうちの1つであるテキストフレーム539を用いて、テキストフレームの構造について説明する。
テキストフレーム539は、セグメントテキストヘッダ540とテキストサンプル541とから構成される。セグメントテキストヘッダ540は、サンプルエントリ542とデュレーション543とレングス544とを有している。サンプルエントリ542は、テキストサンプル541に適用される書式情報であり、図2(b)に示すサンプルエントリ1121あるいは図14に示すサンプルアトリビュート505と同様の構造を有している。デュレーション543は、テキストサンプル541の再生時間情報である。レングス544は、テキストサンプル541のデータ長を格納する。なお、セグメントテキストヘッダ540における、サンプルエントリ542、デュレーション543およびレングス544の順序は任意である。テキストサンプル541は、図2(a)に示すテキストサンプル1142と同様の構造を有している。
PESパケット536には、以上の構造を有するテキストフレームが複数格納される。
《2−3》
サンプルディスクリプションをインバンド伝送とすることの効果について説明する。
サンプルディスクリプションをセクション形式によってアウトバンド伝送する場合、セクション形式のパケットとPESパケットとの伝送頻度が異なるため、PESパケットにより伝送されるテキストサンプルを再生するために必要となるタイミングでサンプルディスクリプションが伝送されていないということが起こりうる。すなわち、テキストサンプルが受信されていても、テキストサンプルの再生に必要なサンプルディスクリプションが伝送されていないために、サンプルディスクリプションの伝送が完了するまでテキストサンプルの再生開始が遅れてしまうことがある。とくに、サンプルディスクリプションの情報量が多い場合などには、複数のパケットに分けて伝送される必要があるため、さらに再生開始までの時間がかかることとなる。
一方、図19に示すPESパケットによりサンプルディスクリプションをインバンド伝送とする場合には、PESパケットが格納するテキストサンプルが必要とするサンプルエントリを含むサンプルディスクリプションを伝送すれば、テキストサンプルの再生が可能となる。すなわち、MP4ファイル(図55参照)が含む全てのテキストサンプルにより参照される可能性のあるサンプルエントリの全てを事前に伝送しておく必要がなく、テキストサンプルの再生開始までの時間を短縮化できる。
また、サンプルディスクリプションの内容を変更した場合であっても、変更内容を追加して伝送することが容易であり、リアルタイムでデータを作成しながら伝送するストリーミング伝送に好適な構造を有していると言える。
(3)
上記実施形態では、必要に応じてコンフィグインフォメーション113をアウトバンド伝送してもよいと説明した。
ここで、コンフィグインフォメーションは、アウトバンド伝送でも、インバンド伝送でも伝送されないもので有ってもよい。この場合、セグメントテキストヘッダのデータ長は、あるデフォルト値に設定されるとしてもよい。
[第3実施形態]
第3実施形態では、RTP(Real time Transport Protocol)、RTSP(Real Time Streaming Protocol)およびSDP(Session Description Protocol)を用いたテキストトラックのストリーミング伝送について説明する。RTPは、IETF(Internet Engineering Task Force)のRFC1889において規定されている、マルチメディアストリームのパケットフォーマットである。RTSP、SDPは、RFC2326、RFC2327でそれぞれ規定される、マルチメディアストリーミングの制御プロトコルである。
〈RTP・RTSPシーケンス〉
まず、インターネット上においてクライアント161がサーバ162からMP4ファイル形式のメディアデータを取得する際の一般的な処理の流れを図20に示す。
まず、ユーザが、パーソナルコンピュータなどのクライアント161に装備されているウェブブラウザにより、MP4ファイルへのリンクを含むHTML(Hyper Text Markup Language)ファイルを要求すると、クライアント161は、HTMLファイルを要求するコマンドC1を発行する。サーバ162は、コマンドC1を了解したことを示す応答R1(HTTP/1.0 OK)をクライアント161に発行すると共に、HTMLデータを送信する。(セッションS1)。
次に、ユーザが、MP4ファイルへのリンクをクリックすると、クライアント161は、MP4ファイルに関する詳細な情報を要求するコマンドC2を発行する。サーバ162は、コマンドC2を了解したことを示す応答R2(RTSP/1.0 OK)をクライアント161に発行すると共に、この詳細な情報を含むSDPデータがクライアント161に供給される(セッションS2)。
次に、クライアント161は、受信されたSDPの記述に基づいて、MP4ファイルのそれぞれのトラックを提供する準備を行うことを要求するコマンドC31〜C33を発行する。サーバ162は、それぞれのメディアデータを提供する準備が整い次第、上記コマンドC31〜C33を了解したことを示す応答R31〜R33(RTSP/1.0 OK)を発行する(セッションS3)。
次に、クライアント161は、すべてのメディアデータの提供を要求するコマンドC4を発行する。サーバ162は、コマンドC4を了解したことを示す応答R4(RTSP/1.0 OK)を発行する(セッションS4)。その後、MP4ファイル形式のメディアデータがRTPパケットとして伝送される。
クライアント161は、セッションの終了に際しては、セッションの終了を要求するコマンドC5を発行する。サーバ162は、コマンドC5を了解したことを示す応答R5(RTSP/1.0 OK)を発行しセッションが終了される(セッションS5)。
ここで、上記セッションS2〜S5は、RTSPにより行われる。
〈RTPパケットのデータ構造〉
(1)
サーバ162が備えるMP4ファイル形式のメディアデータは、RTPパケットとして伝送される。
ここで、MP4ファイルが備えるTimed Textをストリーミング伝送により利用するために、RTPパケットは図21に示すデータ構造を有している。図21に示すRTPパケット17のデータ構造は、図12に示すPESパケット1’のデータ構造と同様であるので詳しい説明は省略する。
RTPパケット17は、RTPヘッダ部170にタイムスタンプと呼ばれる時刻情報を有している。このタイムスタンプは、図12に示すPESパケット1’のPTS同様、ペイロード部171において最初に配置されるテキストフレームの再生時刻を有している。
(2)
トラックヘッダ、サンプルディスクリプション、コンフィグインフォメーションおよびテキストフレームといったテキストトラックの再生に係る情報をすべてRTPパケット17により伝送(インバンド伝送)するのに対し、一部の情報を図20のセッションS2において供給されるSDPとして伝送することも可能である(アウトバンド伝送)。
RTPを用いてサーバ162からメディアデータを取得する際には、サーバ・クライアント間でセッションS2が実行される。このため、SDPとしてトラックヘッダ、サンプルディスクリプションといった情報をあらかじめ伝送しておき利用することができる。
図22にRTPを用いたアウトバンド伝送で伝送されるRTPパケット18のデータ構造を示す。図22に示すRTPパケット18のデータ構造は、図15に示すPESパケット13のデータ構造とほぼ同様であるので詳しい説明は省略する。
RTPパケット18は、RTPヘッダ部180にタイムスタンプと呼ばれる時刻情報を有している。このタイムスタンプは、図15に示すPESパケット13のPTS同様、ペイロード部181において最初に配置されるテキストフレームの再生時刻を有している。
SDPにおいて伝送されるトラックヘッダ、サンプルディスクリプションは、それぞれ第1実施形態において説明したトラックヘッダ111、サンプルディスクリプション112と同じ構造を有している。また、必要に応じてコンフィグインフォメーション113を伝送するとしてもよい。
(3)
また、図21および図22に示すRTPパケット17および18は、第1実施形態の変形例として説明した図13に示すPESパケット1’’のペイロード部117と同様の構造を有するペイロード部にRTPヘッダ部170および180を付加した構造を有するものであってもよい。
〈データ伝送装置〉
図23に、RTPを用いたテキストトラックの伝送に際して使用されるデータ伝送装置19を示す。データ伝送装置19は、蓄積部191と、RTP送出部192と、RTSP通信部193と、RTP送信部194とを備えている。データ伝送装置19は、例えば、蓄積されたメディアデータをクライアント161からの要求に応じて、RTPパケット17あるいは18として送出するサーバ162などに搭載される装置である。以下、テキストトラックの伝送に係る部分を中心に説明する。
(1)
まず、テキストトラックの再生に係る情報をRTPパケットでインバンド伝送する場合について説明する。
蓄積部191は、メディアデータを、例えば、MP4ファイル形式で蓄積している。また、蓄積部191は、蓄積するファイルに関する詳細な情報を有している。
RTP送出部192は、MP4ファイルからビデオ、オーディオ、あるいはTimed Textなどといったトラック毎に独立したESを受信する。RTP送出部192では、受け取ったTimed Textをトラックヘッダ3030、サンプルディスクリプション3040、サンプルテーブル3050およびテキストサンプル3060(図55参照)に分離してバッファリングする。さらに、バッファリングされたそれぞれの情報から、図21に示すRTPパケット17を作成する。また、RTPパケット17のタイムスタンプには、RTPパケット17において最初に配置されるテキストフレームを再生する時刻情報が格納される。
RTSP通信部193は、メディアデータの提供を要求するクライアント161とセッションS2〜S5(図20参照)を行い、蓄積部191に蓄積されるファイルに関する情報を取得して送信する。また、クライアント161からのメディアデータの再生の要求を受け、RTP送出部192にRTPパケット17を作成させる。
RTP送信部194は、クライアント161に対して、RTPパケット17を送信する。
(2)
データ伝送装置19と同様の構成をもつデータ伝送装置により、テキストトラックの再生に係る情報をSDPでアウトバンド伝送する場合について説明する。以下、動作の相違するRTP送出部とRTSP通信部の動作について説明する。
アウトバンド伝送に用いられるデータ伝送装置において、RTP送出部は、蓄積部から受け取ったTimed Textをトラックヘッダ3030、サンプルディスクリプション3040、サンプルテーブル3050およびテキストサンプル3060(図55参照)に分離してバッファリングする。さらに、バッファリングされたそれぞれの情報から、図22に示すRTPパケット18を作成する。また、RTPパケット18のタイムスタンプには、RTPパケット18において最初に配置されるテキストフレームを再生する時刻情報が格納される。
RTSP通信部は、メディアデータの提供を要求するクライアント161とセッションS2〜S5(図20参照)を行う。セッションS2においては、蓄積部に蓄積されるファイルに関する情報、トラックヘッダ3030およびサンプルディスクリプション3060をSDPにて送信する。また、クライアント161からのメディアデータの再生の要求を受け、RTP送出部にRTPパケット18を作成させる。
RTP送信部は、クライアント161に対して、RTPパケット18を伝送する。
(3)
データ伝送に際しては、第1実施形態の〈データ伝送方法〉(2)および(3)で説明したデータ伝送方法を採用し、RTPパケットを作成することも可能である。
〈データ受信装置〉
図24にRTPにより伝送されるテキストトラックを受信するために使用されるデータ受信装置20を示す。データ受信装置20は、RTSP通信部201と、RTP受信部202と、受信バッファ部203と、クロック204と、デコーダ部205と、表示部206とを備えており、データ伝送装置19より受信したRTPパケット17あるいは18に基づいて、テキストトラックの再生を行うコンピュータ、携帯電話、PDA(personal digital assistant)などといった装置である。以下、テキストトラックの再生に係る部分を中心に説明する。
(1)
まず、テキストトラックの再生に係る情報がすべてRTPパケットでインバンド伝送される場合について説明する。ここで、テキストトラックの再生に係る情報がRTPパケットによりインバンド伝送されるか、SDPによりアウトバンド伝送されるかについては、セッションS2(図20参照)で伝送されるSDPに示されている。
RTSP通信部201は、メディアデータの提供を行うサーバ162とセッションS2〜S5(図20参照)を行う。さらに、このセッションS2〜S5に基づいて、RTP受信部202にRTPパケット17を受信させるための受信制御を行う。
RTP受信部202は、サーバ162から送信されたRTPパケット17を上記受信制御に基づいて受信し、一時的に受信バッファ部203に格納する。
受信バッファ部203は、格納したRTPパケット17からタイムスタンプを取得し、クロック204のカウントとタイムスタンプとに基づいて、RTPパケット17をデコーダ部205に送出する。
デコーダ部205は、取得したRTPパケット17とクロック204のカウントとに基づいて、テキストトラックのデコードを行う。
デコードされたテキストトラックは、表示部206にて表示される。
(2)
データ受信装置20と同様構成を持つデータ受信装置により、SDPでアウトバンド伝送されたテキストトラックの再生に係る情報を受信する場合について説明する。
RTSP通信部は、サーバ162とのセッションS2において、SDPによりTimed Textのトラックヘッダ3030、サンプルディスクリプション3040(図55参照)を取得する。取得されたトラックヘッダ3030、サンプルディスクリプション3040は、デコーダ部205に設定される。
RTP受信部は、サーバ162から送信されたRTPパケット18を受信し、一時的に受信バッファ部に格納する。
受信バッファ部は、格納したRTPパケット18からタイムスタンプを取得し、クロックのカウントとタイムスタンプとに基づいて、RTPパケット18をデコーダ部に送出する。
デコーダ部は、取得したRTPパケット18とクロックのカウントとRTSP通信部により設定された情報とに基づいて、テキストトラックのデコードを行う。
(3)
なお、データ受信に際しては、第1実施形態の〈データ受信方法〉(2)および(3)で説明したデータ受信方法を採用し、RTPパケットからテキストトラックを再生することも可能である。
また、本発明の特徴は、デコーダ部205にあるため、データ受信装置の形態はデータ受信装置20に限定されるものではない。例えば、表示部206を別体として外部に備えるものであってもよい。
〈第3実施形態の効果〉
第1実施形態および第2実施形態と同様の効果を得ることができる。
また、SDPを用いた伝送では、テキストトラックの伝送前にRTSPによるセッションS2〜S5が実行されることを利用してテキストトラックの再生に係る情報の一部を送信する。これにより、テキストトラックの再生に係る重要な情報を確実に伝送することができる。さらにこの場合、セッションS2において1度だけトラックヘッダやサンプルディスクリプションを送れば良いため、伝送路帯域を十分に活用してテキストフレームの伝送を行うことができる。
〈第3実施形態の変形例〉
(1)
図22に示すRTPパケット18のペイロード部181は、図18に示すペイロード部513と同様の構造を有していてもよい。また、図19に示すペイロード部528あるいはペイロード部538と同様の構造を有していてもよい。
(2)
上記実施形態では、必要に応じてコンフィグインフォメーション113をアウトバンド伝送してもよいと説明した。
ここで、コンフィグインフォメーションは、アウトバンド伝送でも、インバンド伝送でも伝送されないもので有ってもよい。この場合、セグメントテキストヘッダのデータ長は、あるデフォルト値に設定されるとしてもよい。
[第1〜第3実施形態に関する付記]
〈付記の内容〉
(付記1)
テキストデータの再生にかかるテキスト再生用データを転送し順次再生させるためのテキスト伝送用データの伝送データ構造であって、
前記テキスト再生用データは、前記テキストデータを分割した複数の分割テキストデータと、前記分割テキストデータを再生するための情報を含むテキストヘッダデータとを含み、
前記テキスト伝送用データは、前記分割テキストデータに付加された分割テキストデータ識別子と、前記テキストヘッダデータに付加されたテキストヘッダデータ識別子とを含んでいる、
テキスト伝送用データの伝送データ構造。
(付記2)
前記テキストヘッダデータは、前記テキストデータ全体の再生に係わる全体テキストヘッダデータと、前記分割テキストデータの個々の再生に係わる分割テキストヘッダデータとを含み、
前記テキスト伝送用データでは、前記分割テキストヘッダデータは前記分割テキストデータ毎に並べられており、
前記テキストヘッダデータ識別子は、前記全体テキストヘッダデータに付加された全体テキストヘッダデータ識別子を含む、付記1に記載のテキスト伝送用データの伝送データ構造。
(付記3)
前記全体テキストヘッダデータは、前記分割テキストデータの書式情報を複数有しており、
前記分割テキストヘッダデータは、前記分割テキストデータと前記書式情報との関連を示すインデックスを含む、付記2に記載のテキスト伝送用データの伝送データ構造。
(付記4)
前記分割テキストヘッダデータは、前記分割テキストデータの再生時間情報を含む、付記2または3に記載のテキスト伝送用データの伝送データ構造。
(付記5)
テキストデータの再生にかかるテキスト再生用データを転送し順次再生させるためのテキスト伝送用データの伝送データ構造であって、
前記テキスト再生用データは、前記テキストデータを分割した複数の分割テキストデータと、前記分割テキストデータを再生するための情報を含むテキストヘッダデータとを含み、
前記テキストヘッダデータは、前記テキストデータ全体の再生に係わる全体テキストヘッダデータと、前記分割テキストデータの個々の再生に係わる分割テキストヘッダデータとを含み、
前記全体テキストヘッダデータは、前記分割テキストヘッダデータのデータ長をカスタマイズするためのデータ長カスタマイズ情報を含んでいる、テキスト伝送用データの伝送データ構造。
(付記6)
前記全体テキストヘッダデータは、前記分割テキストデータの書式情報を複数さらに含み、
前記分割テキストヘッダデータは、前記分割テキストデータと前記書式情報との関連を示すインデックスを含んでいる、付記5に記載のテキスト伝送用データの伝送データ構造。
(付記7)
前記分割テキストヘッダデータは前記分割テキストデータの再生時間情報を含んでいる、付記5又は6に記載のテキスト伝送用データの伝送データ構造。
(付記8)
テキストデータの再生にかかるテキスト再生用データを転送し順次再生させるためのテキスト伝送用データの伝送データ構造であって、
前記テキスト再生用データは、前記テキストデータを分割した複数の分割テキストデータと、前記分割テキストデータの再生を開始する再生開始情報を含むテキストヘッダデータとを含み、
前記テキスト伝送用データは複数のパケットから構成され、
前記各パケットは前記テキストヘッダデータの前記再生開始情報を含んでいる、
テキスト伝送用データの伝送データ構造。
(付記9)
前記テキストヘッダデータは、前記テキストデータ全体の再生に係わる全体テキストヘッダデータと、前記分割テキストデータの個々の再生に係わる分割テキストヘッダデータとを含み、
前記各全体テキストヘッダデータは前記再生開始情報を含んでいる、付記8に記載のテキスト伝送用データの伝送データ構造。
(付記10)
前記全体テキストヘッダデータは、前記分割テキストデータの書式情報を複数さらに含み、
前記分割テキストヘッダデータは、前記分割テキストデータと前記書式情報との関連を示すインデックスを含んでいる、付記9に記載のテキスト伝送用データの伝送データ構造。
(付記11)
前記全体テキストヘッダデータは、前記分割テキストヘッダデータのデータ長をカスタマイズするためのデータ長カスタマイズ情報をさらに含んでいる、付記9又は10に記載のテキスト伝送用データの伝送データ構造。
(付記12)
テキストデータの再生にかかるテキスト再生用データを転送し順次再生させるためのテキスト伝送用データのデータ伝送方法であって、
前記テキスト再生用データは、前記テキストデータを分割した複数の分割テキストデータと、前記分割テキストデータの再生を開始する再生開始情報を含むテキストヘッダデータとを含み、
前記テキスト再生用データに基づいて、前記テキスト伝送用データのペイロード部を作成する作成ステップと、
前記作成された前記各ペイロード部に対してヘッダ部を付加しパケットとする付加ステップとを備え、
前記各ペイロード部は、前記テキストヘッダデータの前記再生開始情報を含んでいる、
テキスト伝送用データのデータ伝送方法。
(付記13)
テキストデータの再生にかかるテキスト再生用データを転送し順次再生させるためのテキスト伝送用データのデータ伝送装置であって、
前記テキスト再生用データは、前記テキストデータを分割した複数の分割テキストデータと、前記分割テキストデータの再生を開始する再生開始情報を含むテキストヘッダデータとを含み、
前記テキスト再生用データに基づいて、前記テキスト伝送用データのペイロード部を作成する作成手段と、
前記作成された前記各ペイロード部に対してヘッダ部を付加しパケットとする付加手段とを備え、
前記各ペイロード部は、前記テキストヘッダデータの前記再生開始情報を含んでいる、
テキスト伝送用データのデータ伝送装置。
(付記14)
コンピュータにより、テキストデータの再生にかかるテキスト再生用データを転送し順次再生させるためのテキスト伝送用データのデータ伝送方法を行うためのデータ伝送プログラムであって、
前記テキスト再生用データは、前記テキストデータを分割した複数の分割テキストデータと、前記分割テキストデータの再生を開始する再生開始情報を含むテキストヘッダデータとを含み、
前記データ伝送プログラムは、コンピュータに、
前記テキスト再生用データに基づいて、前記テキスト伝送用データのペイロード部を作成する作成ステップと、
前記作成された前記各ペイロード部に対してヘッダ部を付加しパケットとする付加ステップとを備え、
前記各ペイロード部は、前記テキストヘッダデータの前記再生開始情報を含んでいる、
テキスト伝送用データのデータ伝送方法
を、行わせるものであるデータ伝送プログラム。
(付記15)
テキストデータの再生にかかるテキスト再生用データを転送し順次再生させるためのテキスト伝送用データのデータ伝送方法であって、
前記テキスト再生用データは、前記テキストデータを分割した複数の分割テキストデータと、前記分割テキストデータを再生するための情報を含むテキストヘッダデータとを含み、
前記テキスト再生用データに基づいて、ペイロード部を作成する作成ステップと、
前記作成された前記各ペイロード部に対してヘッダ部を付加しパケットとする付加ステップとを備え、
前記テキスト伝送用データは、複数の前記パケットから構成され、
前記分割テキストデータは、前記各パケット内において表示順に配置され、
前記パケットは、前記各分割テキストデータの再生時刻情報を有し、
第2のパケットは、その前の第1のパケットの分割テキストデータと再生時刻情報が重複する分割テキストデータを含んでいる、
テキスト伝送用データのデータ伝送方法。
(付記16)
テキストデータの再生にかかるテキスト再生用データを転送し順次再生させるためのテキスト伝送用データのデータ伝送装置であって、
前記テキスト再生用データは、前記テキストデータを分割した複数の分割テキストデータと、前記分割テキストデータを再生するための情報を含むテキストヘッダデータとを含み、
前記テキスト再生用データに基づいて、ペイロード部を作成する作成手段と、
前記作成された前記各ペイロード部に対してヘッダ部を付加しパケットとする付加手段とを備え、
前記テキスト伝送用データは、複数の前記パケットから構成され、
前記分割テキストデータは、前記各パケット内において表示順に配置され、
前記パケットは、前記各分割テキストデータの再生時刻情報を有し、
第2のパケットは、その前の第1のパケットの分割テキストデータと再生時刻情報が重複する分割テキストデータを含んでいる、
テキスト伝送用データのデータ伝送装置。
(付記17)
コンピュータにより、テキストデータの再生にかかるテキスト再生用データを転送し順次再生させるためのテキスト伝送用データのデータ伝送方法を行うためのデータ伝送プログラムであって、
前記テキスト再生用データは、前記テキストデータを分割した複数の分割テキストデータと、前記分割テキストデータを再生するための情報を含むテキストヘッダデータとを含み、
前記データ伝送プログラムは、コンピュータに、
前記テキスト再生用データに基づいて、ペイロード部を作成する作成ステップと、
前記作成された前記各ペイロード部に対してヘッダ部を付加しパケットとする付加ステップとを備え、
前記テキスト伝送用データは、複数の前記パケットから構成され、
前記分割テキストデータは、前記各パケット内において表示順に配置され、
前記パケットは、前記各分割テキストデータの再生時刻情報を有し、
第2のパケットは、その前の第1のパケットの分割テキストデータと再生時刻情報が重複する分割テキストデータを含んでいる、
テキスト伝送用データのデータ伝送方法
を、行わせるものであるデータ伝送プログラム。
〈付記の説明〉
付記1にかかるテキスト伝送用データの伝送データ構造は、テキストデータの再生にかかるテキスト再生用データを転送し順次再生させるためのテキスト伝送用データの伝送データ構造であって、テキスト再生用データは、テキストデータを分割した複数の分割テキストデータと、分割テキストデータを再生するための情報を含むテキストヘッダデータとを含んでいる。さらに、テキスト伝送用データは、分割テキストデータに付加された分割テキストデータ識別子と、テキストヘッダデータに付加されたテキストヘッダデータ識別子とを含んでいる。
ここで、分割テキストデータ識別子とテキストヘッダデータ識別子とは、例えば、スタートコードと、分割テキストデータおよびテキストヘッダデータを識別する固有のIDとから構成される識別子や、分割テキストデータおよびテキストヘッダデータのそれぞれのデータ長と、それぞれに固有のIDとから構成される識別子などである。
テキスト伝送用データにおいて、分割テキストデータおよびテキストヘッダデータは、分割テキストデータ識別子およびテキストヘッダデータ識別子により識別可能となる。すなわち、分割テキストデータを再生するための情報を含むテキストヘッダデータを、分割テキストデータ毎にあるいは周期的に伝送しても、再生側において識別させることができる。これにより、再生側においては、テキストデータの再生にかかるテキスト再生用データの情報量に係わらず、分割テキストデータおよびテキストヘッダデータに基づいて、順次再生を行うことが可能となる。
付記2にかかるテキスト伝送用データの伝送データ構造は、付記1に記載のテキスト伝送用データの伝送データ構造であって、テキストヘッダデータは、テキストデータ全体の再生に係わる全体テキストヘッダデータと、分割テキストデータの個々の再生に係わる分割テキストヘッダデータとを含んでいる。また、テキスト伝送用データでは、分割テキストヘッダデータは分割テキストデータ毎に並べられている。さらに、テキストヘッダデータ識別子は、全体テキストヘッダデータに付加された全体テキストヘッダデータ識別子を含んでいる。
ここで、分割テキストデータ識別子や全体テキストヘッダデータ識別子は、例えば、スタートコードと、分割テキストデータおよび全体テキストヘッダデータを識別する固有のIDとから構成される識別子や、分割テキストデータおよび全体テキストヘッダデータのデータ長と、それぞれに固有のIDとから構成される識別子などである。
テキスト伝送用データにおいて、分割テキストデータおよび全体テキストヘッダデータは、分割テキストデータ識別子および全体テキストヘッダデータ識別子により識別可能となる。すなわち、テキスト伝送用データにおいて、全体テキストヘッダデータを必要なタイミングで伝送することができる。
付記3にかかるテキスト伝送用データの伝送データ構造は、付記2に記載のテキスト伝送用データの伝送データ構造であって、全体テキストヘッダデータは、分割テキストデータの書式情報を複数有している。また、分割テキストヘッダデータは、分割テキストデータと前記書式情報との関連を示すインデックスを含んでいる。
ここで、書式情報とは、例えば、分割テキストデータのスクロールの有無と方向、再生位置、背景色、フォント書式(フォント名、大きさ、色、太字、下線、斜体など)などで構成される分割テキストデータの書式のデフォルト情報である。
これにより、分割テキストデータ毎に書式情報を伝送する必要がなくなる。そのため、テキスト伝送用データの情報量を少なくすることが可能となる。
付記4にかかるテキスト伝送用データの伝送データ構造は、付記2または3に記載のテキスト伝送用データの伝送データ構造であって、分割テキストヘッダデータは、分割テキストデータの再生時間情報を含んでいる。
再生時間情報は、分割テキストデータ毎に並べられている。再生側では、この再生時間情報に従って、分割テキストデータの再生を行う。
付記5にかかるテキスト伝送用データの伝送データ構造は、テキストデータの再生にかかるテキスト再生用データを転送し順次再生させるためのテキスト伝送用データの伝送データ構造であって、テキスト再生用データは、テキストデータを分割した複数の分割テキストデータと、分割テキストデータを再生するための情報を含むテキストヘッダデータとを含んでいる。また、テキストヘッダデータは、テキストデータ全体の再生に係わる全体テキストヘッダデータと、分割テキストデータの個々の再生に係わる分割テキストヘッダデータとを含んでいる。さらに、全体テキストヘッダデータは、分割テキストヘッダデータのデータ長をカスタマイズするためのデータ長カスタマイズ情報を含んでいる。
データ長カスタマイズ情報により、分割テキストデータの個々の再生に係わる分割テキストヘッダデータのデータ長を必要に応じてカスタマイズすることができる。すなわち、テキスト伝送用データにおける分割テキストヘッダデータのしめる情報量を必要かつ十分な量にカスタマイズすることができる。この結果、分割テキストデータの個々の再生に必要な情報量を少なくすることができ、再生側における順次再生に係る負荷を軽減することができる。
付記6にかかるテキスト伝送用データの伝送データ構造は、付記5に記載のテキスト伝送用データの伝送データ構造であって、全体テキストヘッダデータは、分割テキストデータの書式情報を複数さらに含んでいる。また、分割テキストヘッダデータは、分割テキストデータと書式情報との関連を示すインデックスを含んでいる。
ここで、書式情報とは、例えば、分割テキストデータのスクロールの有無と方向、再生位置、背景色、フォント書式(フォント名、大きさ、色、太字、下線、斜体など)などで構成される分割テキストデータの書式のデフォルト情報である。
また、データ長カスタマイズ情報は、インデックスのデータ長を、例えば、8,16,24,32ビットといったデータ長に設定する。
これにより、分割テキストデータ毎に書式情報を伝送する必要がなくなる。この結果、分割テキストデータの個々の再生に必要な情報量を少なくすることができ、再生側における順次再生に係る負荷をさらに軽減することができる。
付記7にかかるテキスト伝送用データの伝送データ構造は、付記5又は6に記載のテキスト伝送用データの伝送データ構造であって、分割テキストヘッダデータは分割テキストデータの再生時間情報を含んでいる。
また、データ長カスタマイズ情報は、再生時間情報のデータ長を、例えば、8,16,24,32ビットといったデータ長に設定する。
再生時間情報は、分割テキストデータ毎に並べられている。再生側では、この再生時間情報に従って、分割テキストデータの再生を行う。
付記8にかかるテキスト伝送用データの伝送データ構造は、テキストデータの再生にかかるテキスト再生用データを転送し順次再生させるためのテキスト伝送用データの伝送データ構造であって、テキスト再生用データは、テキストデータを分割した複数の分割テキストデータと、分割テキストデータの再生を開始する再生開始情報を含むテキストヘッダデータとを含んでいる。また、テキスト伝送用データは複数のパケットから構成されている。さらに、各パケットはテキストヘッダデータの再生開始情報を含んでいる。
ここで、再生開始情報とは、例えば、テキストデータのレイアウト(表示領域、ビデオなど他メディアとの相対位置)、レイヤ(他メディアとの階層関係)、再生時間などの情報を含み、分割テキストデータの再生を開始するために必要な情報である。
これにより、再生側においては、テキストデータの再生にかかるテキスト再生用データの情報量に係わらず、各パケット単位で順次再生を開始することができ、再生開始までの待ち時間を少なくすることが可能となる。
付記9にかかるテキスト伝送用データの伝送データ構造は、付記8に記載のテキスト伝送用データの伝送データ構造であって、テキストヘッダデータは、テキストデータ全体の再生に係わる全体テキストヘッダデータと、分割テキストデータの個々の再生に係わる分割テキストヘッダデータとを含んでいる。また、各全体テキストヘッダデータは再生開始情報を含んでいる。
全体テキストヘッダデータは、各パケットに含まれ、分割テキストデータの再生を開始する再生開始情報を含む。また、各パケットは、それぞれのパケットが含む分割テキストデータの再生に係わる分割テキストヘッダデータを含んでいる。
付記10にかかるテキスト伝送用データの伝送データ構造は、付記9に記載のテキスト伝送用データの伝送データ構造であって、全体テキストヘッダデータは、分割テキストデータの書式情報を複数さらに含んでいる。また、分割テキストヘッダデータは、分割テキストデータと書式情報との関連を示すインデックスを含んでいる。
ここで、書式情報とは、例えば、分割テキストデータのスクロールの有無と方向、再生位置、背景色、フォント書式(フォント名、大きさ、色、太字、下線、斜体など)などで構成される分割テキストデータの書式のデフォルト情報である。
これにより、分割テキストデータ毎に書式情報を伝送する必要がなくなる。この結果、分割テキストデータの個々の再生に必要な情報量を少なくすることができ、再生側における順次再生に係る負荷を軽減することができる。
付記11にかかるテキスト伝送用データの伝送データ構造は、付記9又は10に記載のテキスト伝送用データの伝送データ構造であって、全体テキストヘッダデータは、分割テキストヘッダデータのデータ長をカスタマイズするためのデータ長カスタマイズ情報をさらに含んでいる。
データ長カスタマイズ情報により、分割テキストデータの個々の再生に係わる分割テキストヘッダデータのデータ長を必要に応じてカスタマイズすることができる。すなわち、各パケットにおける分割テキストヘッダデータの情報量を必要かつ十分な量にカスタマイズすることができる。この結果、分割テキストデータの個々の再生に必要な情報量を少なくすることができ、再生側における順次再生に係る負荷をさらに軽減することができる。
付記12にかかるテキスト伝送用データのデータ伝送方法は、テキストデータの再生にかかるテキスト再生用データを転送し順次再生させるためのテキスト伝送用データのデータ伝送方法であって、テキスト再生用データは、テキストデータを分割した複数の分割テキストデータと、分割テキストデータの再生を開始する再生開始情報を含むテキストヘッダデータとを含んでいる。また、テキスト再生用データに基づいて、テキスト伝送用データのペイロード部を作成する作成ステップと、作成された各ペイロード部に対してヘッダ部を付加しパケットとする付加ステップとを備えている。さらに、各ペイロード部は、テキストヘッダデータの再生開始情報を含んでいる。
ここで、再生開始情報とは、例えば、テキストデータのレイアウト(表示領域、ビデオなど他メディアとの相対位置)、レイヤ(他メディアとの階層関係)、再生時間などの情報を含み、分割テキストデータの再生を開始するために必要な情報である。
このデータ伝送方法により作成された各パケットを取得する再生側においては、テキストデータの再生にかかるテキスト再生用データの情報量に係わらず、各パケット単位で順次再生を開始することができ、再生開始までの待ち時間を少なくすることが可能となる。
付記13にかかるテキスト伝送用データのデータ伝送装置は、テキストデータの再生にかかるテキスト再生用データを転送し順次再生させるためのテキスト伝送用データのデータ伝送装置であって、テキスト再生用データは、テキストデータを分割した複数の分割テキストデータと、分割テキストデータの再生を開始する再生開始情報を含むテキストヘッダデータとを含んでいる。また、テキスト再生用データに基づいて、テキスト伝送用データのペイロード部を作成する作成手段と、作成された各ペイロード部に対してヘッダ部を付加しパケットとする付加手段とを備えている。さらに、各ペイロード部は、テキストヘッダデータの再生開始情報を含んでいる。
ここで、再生開始情報とは、例えば、テキストデータのレイアウト(表示領域、ビデオなど他メディアとの相対位置)、レイヤ(他メディアとの階層関係)、再生時間などの情報を含み、分割テキストデータの再生を開始するために必要な情報である。
このデータ伝送装置により作成された各パケットを取得する再生側においては、テキストデータの再生にかかるテキスト再生用データの情報量に係わらず、各パケット単位で順次再生を開始することができ、再生開始までの待ち時間を少なくすることが可能となる。
付記14にかかるデータ伝送プログラムは、コンピュータにより、テキストデータの再生にかかるテキスト再生用データを転送し順次再生させるためのテキスト伝送用データのデータ伝送方法を行うためのデータ伝送プログラムであって、テキスト再生用データは、テキストデータを分割した複数の分割テキストデータと、分割テキストデータの再生を開始する再生開始情報を含むテキストヘッダデータとを含んでいる。テキスト伝送用データのデータ伝送方法は、テキスト再生用データに基づいて、テキスト伝送用データのペイロード部を作成する作成ステップと、作成された前記各ペイロード部に対してヘッダ部を付加しパケットとする付加ステップとを備えている。また、各ペイロード部は、テキストヘッダデータの再生開始情報を含んでいる。
ここで、再生開始情報とは、例えば、テキストデータのレイアウト(表示領域、ビデオなど他メディアとの相対位置)、レイヤ(他メディアとの階層関係)、再生時間などの情報を含み、分割テキストデータの再生を開始するために必要な情報である。
このデータ伝送プログラムにより作成された各パケットを取得する再生側においては、テキストデータの再生にかかるテキスト再生用データの情報量に係わらず、各パケット単位で順次再生を開始することができ、再生開始までの待ち時間を少なくすることが可能となる。
付記15にかかるテキスト伝送用データのデータ伝送方法は、テキストデータの再生にかかるテキスト再生用データを転送し順次再生させるためのテキスト伝送用データのデータ伝送方法であって、テキスト再生用データは、テキストデータを分割した複数の分割テキストデータと、分割テキストデータを再生するための情報を含むテキストヘッダデータとを含んでいる。また、テキスト再生用データに基づいて、ペイロード部を作成する作成ステップと、作成された各ペイロード部に対してヘッダ部を付加しパケットとする付加ステップとを備えている。テキスト伝送用データは、複数の前記パケットから構成されている。また、分割テキストデータは、各パケット内において表示順に配置されている。さらに、パケットは、各分割テキストデータの再生時刻情報を有している。またさらに、第2のパケットは、その前の第1のパケットの分割テキストデータと再生時刻情報が重複する分割テキストデータを含んでいる。
ここで、再生時刻情報は、パケット内において最初に配置される分割テキストデータの再生時刻と各分割テキストデータの再生時間とから構成される情報、あるいは各分割テキストデータの再生時刻から構成される情報である。
このデータ伝送方法により作成された各パケットにおいては、第2のパケットと、その前の第1のパケットとは、再生時刻情報が重複する分割テキストデータを含む。すなわち、異なるパケットで重複する再生時刻情報を持つ分割テキストデータを複数回伝送することが許される。これにより、テキスト伝送用データのエラー耐性を高めることができる。
付記16にかかるテキスト伝送用データのデータ伝送装置は、テキストデータの再生にかかるテキスト再生用データを転送し順次再生させるためのテキスト伝送用データのデータ伝送装置であって、テキスト再生用データは、テキストデータを分割した複数の分割テキストデータと、分割テキストデータを再生するための情報を含むテキストヘッダデータとを含んでいる。また、テキスト再生用データに基づいて、ペイロード部を作成する作成手段と、作成された各ペイロード部に対してヘッダ部を付加しパケットとする付加手段とを備えている。テキスト伝送用データは、複数のパケットから構成されている。また、分割テキストデータは、各パケット内において表示順に配置されている。さらに、パケットは、各分割テキストデータの再生時刻情報を有している。またさらに、第2のパケットは、その前の第1のパケットの分割テキストデータと再生時刻情報が重複する分割テキストデータを含んでいる。
ここで、再生時刻情報は、パケット内において最初に配置される分割テキストデータの再生時刻と各分割テキストデータの再生時間とから構成される情報、あるいは各分割テキストデータの再生時刻から構成される情報である。
このデータ伝送装置により作成された各パケットにおいては、第2のパケットと、その前の第1のパケットとは、再生時刻情報が重複する分割テキストデータを含む。すなわち、異なるパケットで重複する再生時刻情報を持つ分割テキストデータを複数回伝送することが許される。これにより、テキスト伝送用データのエラー耐性を高めることができる。
付記17にかかるデータ伝送プログラムは、コンピュータにより、テキストデータの再生にかかるテキスト再生用データを転送し順次再生させるためのテキスト伝送用データのデータ伝送方法を行うためのデータ伝送プログラムであって、テキスト再生用データは、テキストデータを分割した複数の分割テキストデータと、分割テキストデータを再生するための情報を含むテキストヘッダデータとを含んでいる。テキスト伝送用データのデータ伝送方法は、テキスト再生用データに基づいて、ペイロード部を作成する作成ステップと、作成された各ペイロード部に対してヘッダ部を付加しパケットとする付加ステップとを備えている。テキスト伝送用データは、複数のパケットから構成されている。また、分割テキストデータは、各パケット内において表示順に配置されている。さらに、パケットは、各分割テキストデータの再生時刻情報を有している。第2のパケットは、その前の第1のパケットの分割テキストデータと再生時刻情報が重複する分割テキストデータを含んでいる。
ここで、再生時刻情報は、パケット内において最初に配置される分割テキストデータの再生時刻と各分割テキストデータの再生時間とから構成される情報、あるいは各分割テキストデータの再生時刻から構成される情報である。
このデータ伝送プログラムにより作成された各パケットにおいては、第2のパケットと、その前の第1のパケットとは、再生時刻情報が重複する分割テキストデータを含む。すなわち、異なるパケットで重複する再生時刻情報を持つ分割テキストデータを複数回伝送することが許される。これにより、テキスト伝送用データのエラー耐性を高めることができる。
[第4実施形態]
〈第4実施形態および第5実施形態の課題〉
Timed Textをストリーミング伝送する際、上記実施形態で説明した伝送データ構造を持つ伝送用データをパケットとしてパケット伝送することが考えられる。
一方、パケット伝送を行う際に、1つのパケットの最大データサイズであるMTU(Maximum Transmission Unit)が規定されている場合、伝送途中でパケットが分割されることがある。例えば、パケットがIPレイヤのMTUを超えるサイズで送出されると、送出されたパケットは、伝送途中にIPレイヤで分割される。しかし、パケットロスの起こりうる伝送(例えば、RTP/UDP/IP伝送)では、パケットロスに対するエラー補償がなく、IPレイヤで分割されたパケットの幾つかがロスすると、パケット全体の再生に影響を与えることが考えられる。
そこで、第4実施形態および第5実施形態では、修飾情報の付されたテキストデータを含む再生データをストリーミング伝送する際に、パケットロスに対する耐性を備えたパケットデータ構造を提供することを課題とする。また、第4実施形態あるいは第5実施形態で説明するパケットデータ構造を有するパケットデータを再生するデータ再生装置を提供することを課題とする。
〈第4実施形態の内容〉
図25〜図41を用いて、本発明の第4実施形態としてのパケットデータ構造、データ再生装置およびデータ多重装置について説明する。加えて、データ再生方法およびデータ多重方法について説明する。
本実施形態では、(1)本発明のパケットデータ構造を有するパケットが伝送される際のシーケンス(RTP・RTSPシーケンス)、(2)このシーケンスにより伝送される本発明のパケットデータ構造、(3)このパケットデータ構造を有するパケットのデータ再生装置およびデータ再生方法、(4)このパケットデータ構造を有するパケットのデータ多重装置およびデータ多重方法の順に説明を行う。
なお、図26〜図37において、符号の最後に付される英数字は、以下の規則に従って付されている。数字[0]は、後述する基本パケットおよび基本パケットを構成する要素に対して付されている(例えば図26、基本パケットPt0など)。また、数字[0]は、本発明のパケットデータ構造を説明するための基本となる分割前のテキストサンプルおよびテキストサンプルを構成する要素に対して付されている(例えば図26、テキストサンプルTs0など)。その他の英数字は、基本となるテキストサンプルを分割した何番目のパケットであるかを表すとともに(例えば図27、分割パケットPt1など)、そのパケットを構成する要素に対して付されている。なお、図中において、同じデータ内容を持つ要素については、上記規則に従わず、同じ符号を付している(例えば図29、テキストサンプルTs0におけるテキストレングスTl0と分割パケットPt1におけるテキストレングスTl0など)。
(1)〈RTP・RTSPシーケンス〉
RTP(Real time Transport Protocol)、RTSP(Real Time Streaming Protocol)およびSDP(Session Description Protocol)を用いたストリーミング伝送について説明する。RTPは、IETF(Internet Engineering Task Force)のRFC1889において規定されている、マルチメディアストリームのパケットフォーマットである。RTSP、SDPは、RFC2326、RFC2327でそれぞれ規定される、マルチメディアストリーミングの制御プロトコルである。
図25を用いて、インターネット上においてクライアントCLがサーバSVからMP4ファイル形式のメディアデータを取得する際の一般的な処理の流れを説明する。
最初に、パーソナルコンピュータなどのクライアントCLに装備されているウェブブラウザにより、ユーザがMP4ファイルへのリンクを含むHTML(Hyper Text Markup Language)ファイルを要求すると、クライアントCLは、HTMLファイルを要求するコマンドC1を発行する。サーバSVは、コマンドC1を了解したことを示す応答R1(HTTP/1.0 OK)をクライアントCLに発行すると共に、HTMLデータを送信する。(セッションS1)。
次に、ユーザが、MP4ファイルへのリンクをクリックすると、クライアントCLは、MP4ファイルに関する詳細な情報を要求するコマンドC2を発行する。サーバSVは、コマンドC2を了解したことを示す応答R2(RTSP/1.0 OK)をクライアントCLに発行すると共に、この詳細な情報を含むSDPデータがクライアントSVに供給される(セッションS2)。
次に、クライアントCLは、受信されたSDPの記述に基づいて、MP4ファイルのそれぞれのトラックを提供する準備を行うことを要求するコマンドC31〜C33を発行する。サーバSVは、それぞれのメディアデータを提供する準備が整い次第、上記コマンドC31〜C33を了解したことを示す応答R31〜R33(RTSP/1.0 OK)を発行する(セッションS3)。
次に、クライアントCLは、すべてのメディアデータの提供を要求するコマンドC4を発行する。サーバSVは、コマンドC4を了解したことを示す応答R4(RTSP/1.0 OK)を発行する(セッションS4)。その後、MP4ファイル形式のメディアデータがRTPパケットとして伝送される。このRTPパケットには、後述する本発明のパケットデータ構造を有するパケットが含まれている。
クライアントCLは、セッションの終了に際しては、セッションの終了を要求するコマンドC5を発行する。サーバSVは、コマンドC5を了解したことを示す応答R5(RTSP/1.0 OK)を発行しセッションが終了される(セッションS5)。
(2)〈RTPパケットのデータ構造〉
図26〜図37を用いて、RTPパケットとして伝送される本発明のパケットデータ構造を有するパケットについて説明する。
(i)基本パケットの概要
Timed TextをRTPパケットとして伝送する場合、基本的には、図26に示す基本パケットPt0が利用される。
基本パケットPt0は、ペイロード部Pl0と、ヘッダ部Hd0とを備えている。ペイロード部Pl0は、テキストサンプルTs0を備えている。テキストサンプルTs0は、図55に示すテキストサンプル3060,3061,・・・と同様の構造を有しており、テキストレングスTl0と、テキストTx0と、モディファイアMd0とから構成されている。テキストレングスTl0は、テキストTx0のデータ長(図中の値[TL])を格納している。テキストTx0は、テキスト本文Td0とバイトオーダマークBm0とから構成される。モディファイアMd0は、テキスト本文Td0の修飾情報であり、1つ以上のモディファイアボックスMb0,・・・を備えている。モディファイアボックスMb0,・・・は、テキスト本文Td0に修飾効果を利用するための情報である。モディファイアボックスMb0は、さらに、モディファイアボックスMb0のボックスサイズSz0と、修飾タイプTy0と、複数のレコードMr0,・・・とを含んでいる。モディファイアボックスMb0の構造は、修飾タイプTy0が記述する修飾タイプに依存する。モディファイアボックスMb0の構造については、後ほど詳しく説明する。
ヘッダ部Hd0は、RTPヘッダRh0と、サンプルヘッダSh0とを備えている。RTPヘッダRh0は、RTPで使用されるヘッダフォーマットを有しており、シーケンス番号Sn0、タイムスタンプTsp0あるいはマーカビットM0などを含んでいる。サンプルヘッダSh0は、サンプルレングスSln0と、サンプルインデックスSid0と、サンプルデュレーションSdr0とを記述している。サンプルレングスSln0は、テキストサンプルTs0のデータ長(図中の値[SL])を格納している。サンプルインデックスSid0は、テキストサンプルTs0とSDPデータとして伝送されたサンプルディスクリプション3040(図55参照)との関連づけを記述する情報である。サンプルデュレーションSdr0は、テキストサンプルTs0の再生時間に関する情報である。
Timed Textをストリーミング伝送により利用する場合、すべてのデータ内容をRTPパケットとして伝送することも可能である(RTPインバンド伝送)。しかし、本実施形態においては、MP4ファイル3000のヘッダ部3010(図55参照)に相当するデータの一部を、図25を用いて説明したセッションS2においてSDPデータとして通知する(RTPアウトバンド伝送)。具体的には、ヘッダ部3010のトラックヘッダ3030とサンプルディスクリプション3040とに相当するデータをSDPデータとして、セットアップ時に伝送しておく。また同時に、伝送されるRTPパケット中に後述する分割パケットが含まれるか否かに関する情報が通知される。
(ii)分割パケットの概要
基本パケットPt0のデータサイズは、伝送路のMTU(Maximum Transmission Unit)を超え、伝送途中で分割される可能性がある。伝送途中で分割される可能性があると判断された場合、テキストサンプルTs0を分割し、分割されたテキストサンプルTs0を再生するための情報を付し、あらかじめ伝送路のMTUを超えないサイズの分割パケットとして伝送する。以下、分割パケットの概要について、図26で説明したのと同様の構造を有するテキストサンプルTs0を分割する場合を例示して説明を行う。
図27を用いて、分割パケットの基本的構造について説明する。図27では、テキストサンプルTs0を2つに分割し(より詳しくは、L0バイトのTx0をL1バイトとL2バイトとに分割)、それぞれを分割パケットPt1,Pt2に格納する場合を示している。分割の個数については、任意であり伝送路のMTUにより決定される。分割パケットPt1,Pt2は、それぞれ、ペイロード部Pl1,Pl2と、ヘッダ部Hd1,Hd2とを備えている。
ペイロード部Pl1,Pl2は、それぞれテキストサンプルTs0を分割した分割テキストサンプルFt1,Ft2を備えている。ヘッダ部Hd1,Hd2は、基本パケットPt0(図26参照)のヘッダ部Hd0が有するのと同様の構造に加えてさらに分割ヘッダFh1,Fh2を備えている。すなわち、ヘッダ部Hd1,Hd2は、RTPヘッダRh1,Rh2と、サンプルヘッダSh1,Sh2と、分割ヘッダFh1,Fh2とを備えている。
RTPヘッダRh1,Rh2のマーカビットM1,M2は、それぞれ値[0],[1]を格納している。RTPヘッダにおいて、マーカビットの値については、ユーザが様々に定義できる。本実施形態では、基本パケットPt0(図26参照)および分割パケットPt1,Pt2がテキストサンプルTs0の最後尾のデータをペイロード部に含む場合、そのパケットのマーカビットが値[1]を格納すると定義する。そのため、基本パケットPt0および分割パケットPt2において、マーカビットM0,M2はそれぞれ値[1]を格納しており、分割パケットPt1において、マーカビットM1は値[0]を格納している。
基本パケットPt0のサンプルレングスSln0は、テキストサンプルTs0のデータ長(図26中の値[SL])を格納している。一方、分割パケットPt1,Pt2では、サンプルレングスSln1,Sln2にそれぞれ値[0]を格納している。この値[0]により、分割パケットPt1,Pt2が分割テキストサンプルFt1,Ft2を含んでいることを判別させる。
分割パケットPt1,Pt2は、分割ヘッダFh1,Fh2にペイロード部Pl1,Pl2の再生に必要な情報を備えており、他のパケットから独立して再生が可能となっている。そのため、分割ヘッダFh1,Fh2の備える情報は、分割テキストサンプルFt1,Ft2の備える情報に依存している。すなわち、テキストサンプルTs0のどの部分を境界として分割するかにより、分割ヘッダFh1,Fh2の備えるべき情報が決定される。
(iii)分割ヘッダの概要
テキストサンプルを複数に分割して格納する本発明の分割パケットの分割ヘッダは、それぞれ以下の4つの情報を格納可能である。4つの情報とは、(a)テキスト本文の文字コードの識別情報、(b)モディファイアまたはモディファイアボックスの開始位置情報、(c)分割テキストサンプルが含むテキスト本文の一部がテキスト本文の全体の何文字目以降を含むかに関する情報、および(d)分割されたモディファイアボックスの再生のために格納される情報である。
以下、分割パケットの構造を説明しながら、それぞれの分割ヘッダが格納する(a)〜(d)の情報について説明する。なお、以下で説明する分割パケットは、図27において説明した分割パケットPt1,Pt2と同様の構造を有しているので、詳細な構造については説明を省略する。また、以下で説明するテキストサンプルTs0の分割方法は、それぞれの(a)〜(d)の情報について説明するための例示であり、分割はこの方法に限られるものではない。
(a)テキスト本文の文字コードの識別情報
図28を用いて、分割ヘッダFh2が格納するテキスト本文Td0の文字コードの識別情報について説明する。
図28では、テキストサンプルTs0は、テキスト本文Td0において分割の境界を有している。分割パケットPt1,Pt2は、分割されたテキスト本文Td0を有している。
分割パケットPt2は、分割ヘッダFh2において、テキスト本文Td0の文字コード情報U2を格納している。文字コード情報U2は、テキスト本文Td0の文字コードを識別するための1ビットのフラグであり、例えば、値[1]は、UTF−16BEを、値[0]は、UTF−8を示す。
これにより、例えば、伝送途中にバイトオーダマークBm0を備える分割パケットPt1がロスされた場合、分割パケットPt2のみを取得したデータ再生装置において、分割パケットPt2の備える分割されたテキスト本文Td0の文字コードを文字コード情報U2により判別できる。この結果、分割パケットPt2の情報を再生することが可能となる。
なお、文字コード情報U2は、分割されたテキスト本文Td0を含む分割パケットPt2において備えられるが、テキストTx0の先頭部分を含む分割パケットPt1においては、必ずしも備える必要は無い。
(b)モディファイアまたはモディファイアボックスの開始位置情報
図29〜図31を用いて、モディファイアMd0またはモディファイアボックスMb0,・・・の開始位置情報について説明する。
《モディファイアの開始位置情報》
図29では、テキストサンプルTs0は、テキスト本文Td0において分割の境界を有している。分割パケットPt1,Pt2は、分割されたテキスト本文Td0を有している。
図29では、分割パケットPt2は、分割ヘッダFh2において、モディファイアMd0の開始位置を示すための情報として、モディファイアポインタMbp2と、モディファイアポインタレングスMl2と、テキストインジケータT2とを格納している。
モディファイアポインタMbp2は、ペイロード部Pl2におけるモディファイアMd0の開始位置、すなわち図29では、分割されたテキスト本文Td0の一部である分割テキスト本文Ftd2のデータ長(図中の値[X1])を格納している。モディファイアポインタレングスMl2は、モディファイアポインタMbp2のデータ長を、例えば、2ビットで指定する。テキストインジケータT2は、分割パケットPt2がテキストTx0の一部を含むことを識別するための1ビットのフラグであり、ここでは分割テキスト本文Ftd2を含むため、例えば、値[1]を格納している。
これにより、例えば、伝送途中にテキストレングスTl0を備える分割パケットPt1がロスされた場合、分割パケットPt2のみを取得したデータ再生装置において、分割パケットPt2の有するモディファイアMd0の開始位置を識別し、モディファイアMd0を再生することが可能となる。また、データ再生装置では、モディファイアMd0をテキスト本文Td0の一部として誤って再生することが防止される。
なお、モディファイアポインタレングスMl2を備えず、モディファイアポインタMbp2のデータ長を固定のデータ長としてもよい。
また、(a)において図28を用いて説明したのと同様に、図29に示す分割パケットPt2は、テキスト本文Td0の文字コード情報を備えていてもよいが、ここでは説明を省略する。
《モディファイアボックスの開始位置情報》
図30では、テキストサンプルTs0は、モディファイアボックスMb0において分割の境界を有している。分割パケットPtNは、分割されたモディファイアボックスMb0の一部である分割モディファイアボックスFmbNとモディファイアボックスMb1とを含んでいる。
分割パケットPtNは、分割ヘッダFhNにおいて、モディファイアボックスMb1の開始位置を示すための情報として、モディファイアポインタMbpNと、モディファイアポインタレングスMlNと、テキストインジケータTNとを格納している。
モディファイアポインタMbpNは、ペイロード部PlNにおけるモディファイアボックスMb1の開始位置、すなわち図30では、分割モディファイアボックスFmbNのデータ長(図中の値[X2])を格納している。モディファイアポインタレングスMlNは、モディファイアポインタMbpNのデータ長を2ビットで指定する。テキストインジケータTNは、分割パケットPtNがテキストTx0の一部を含むことを識別するための1ビットのフラグであり、ここではTx0を含まないため、例えば、値[0]を格納している。
これにより、例えば、伝送途中に分割パケットPtNの前後の分割パケットがロスされた場合、分割パケットPtNを取得したデータ再生装置において、分割パケットPtNの有するモディファイアボックスMb1の開始位置を識別し、モディファイアボックスMb1を再生することが可能となる。このため、テキストTx0を含む分割パケット(例えば、分割パケットPt1)がデータ再生装置において、正常に取得されていれば、その分割パケットに対してモディファイアボックスMb1の修飾効果を利用することができる。また、データ再生装置では、テキストインジケータTNに基づいて、分割されたモディファイアボックスMb0をテキスト本文Td0として誤って再生することが防止される。
《テキストサンプルTs0の分割のバリエーション》
図31を用いて、テキストサンプルTs0の分割のバリエーションとモディファイアMd0またはモディファイアボックスMb0,・・・の開始位置情報との関係について説明する。テキストサンプルTs0の分割のバリエーションにより得られる分割パケットは、分割パケットがペイロード部に有する情報に基づいて、分割タイプA〜分割タイプEの5種類に分類できる。
(分割タイプA)
分割タイプAの分割パケットは、テキストTx0の一部あるいは全部のみを含むあるいはテキストサンプルTs0の先頭を含む分割パケットである。例えば、図31において[TypeA]として指示された5つの分割パケットPtAが該当する。
この場合、それぞれの分割パケットPtAの分割ヘッダFhAは、テキストインジケータTAと、モディファイアポインタレングスMlAとを有している。テキストインジケータTAは、例えば、値[1]を格納し、分割パケットPtAがテキストTx0の一部を含むことを示している。モディファイアポインタレングスMlAは、2ビットのビット列によりモディファイアポインタMbpAのデータ長を0ビットと指定する。これにより、分割ヘッダFhAがモディファイアポインタMbpAを含まないことが示される。すなわち、分割パケットPtAは、テキストTx0の直前に配置されるテキストレングスTl0からテキストTx0とモディファイアMd0との境界が判断可能であるパケット、またはテキストTx0とモディファイアMd0との境界を含まないパケットである。
(分割タイプB)
分割タイプBの分割パケットは、テキストTx0の一部とモディファイアMd0の一部あるいは全部とを含む分割パケットである。すなわち、分割タイプBの分割パケットは、テキストサンプルTs0の先頭を含まない分割パケットである。例えば、図31において[TypeB]として指示された3つの分割パケットPtBが該当する。
この場合、それぞれの分割パケットPtBの分割ヘッダFhBは、テキストインジケータTBと、モディファイアポインタレングスMlBと、モディファイアポインタMbpBとを有している。テキストインジケータTBは、例えば、値[1]を格納し、分割パケットPtBがテキストTx0の一部を含むことを示している。モディファイアポインタレングスMlBは、2ビットのビット列によりモディファイアポインタMbpBのデータ長を、例えば、8,16,32ビットのいずれかに指定する。モディファイアポインタMbpBは、モディファイアポインタレングスMlBにより指定されたデータ長のビット列によりモディファイアMd0の位置を示す。
なお、分割パケットPtBの分割ヘッダFhBは、(a)において図28を用いて説明したのと同様に、テキスト本文Td0の文字コード情報を備えていてもよい。
(分割タイプC)
分割タイプCの分割パケットは、モディファイアボックスMb0,・・・のうちの一つの一部のみを含み、かつそのモディファイアボックスモディファイアボックスMb0,・・・の先頭を含まない分割パケットである。言い換えれば、テキストTx0を含まず、かつモディファイアボックスMb0,・・・の先頭を含まない分割パケットである。例えば、図31において[TypeC]として指示された分割パケットPtCが該当する。
この場合、分割パケットPtCの分割ヘッダFhCは、テキストインジケータTCと、モディファイアポインタレングスMlCとを有している。テキストインジケータTCは、例えば、値[0]を格納し、分割パケットPtCがテキストTx0の一部を含まないことを示している。モディファイアポインタレングスMlCは、2ビットのビット列によりモディファイアポインタMbpCのデータ長を0ビットと指定する。これにより、分割ヘッダFhCがモディファイアポインタMbpCを含まないことが示される。
(分割タイプD)
分割タイプDの分割パケットは、モディファイアボックスMb0,・・・のうちの一部のみを含み、かつモディファイアボックスMb0,・・・の先頭を含む分割パケットである。例えば、図31において[TypeD]として指示された分割パケットPtDが該当する。
この場合、分割パケットPtDの分割ヘッダFhDは、テキストインジケータTDと、モディファイアポインタレングスMlDと、モディファイアポインタMbpDとを有している。テキストインジケータTDは、例えば、値[0]を格納し、分割パケットPtDがテキストTx0の一部を含まないことを示している。モディファイアポインタレングスMlDは、2ビットのビット列によりモディファイアポインタMbpDのデータ長を、例えば、8,16,32ビットのいずれかに指定する。モディファイアポインタMbpDは、モディファイアポインタレングスMlDにより指定されたデータ長のビット列によりモディファイアボックスMb0・・・の先頭の位置を示す。
(分割タイプE)
分割タイプEの分割パケットは、分割タイプDの分割パケットの中でも特にペイロード部の先頭にモディファイアボックスMb0,・・・の先頭を含む分割パケットである。例えば、図31において[TypeE]として指示された分割パケットPtEが該当する。
この場合、分割パケットPtEの分割ヘッダFhEは、テキストインジケータTEと、モディファイアポインタレングスMlEと、モディファイアポインタMbpEとを有している。テキストインジケータTEは、例えば、値[0]を格納し、分割パケットPtEがテキストTx0の一部を含まないことを示している。モディファイアポインタレングスMlEは、2ビットのビット列によりモディファイアポインタMbpEのデータ長を、例えば、8,16,32ビットのいずれかに指定する。モディファイアポインタMbpEは、モディファイアポインタレングスMlEにより指定されたデータ長のビット列により値[0]を示し、ペイロード部PlEの先頭にモディファイアボックスMb0,・・・の先頭を含むことを示す。
(c)分割テキストサンプルが含むテキスト本文の一部がテキスト本文の全体の何文字目以降を含むかに関する情報
図32では、テキストサンプルTs0は、テキスト本文Td0において分割の境界を有している。分割パケットPt1,Pt2は、分割されたテキスト本文Td0である分割テキスト本文Ftd1,Ftd2を有している。
分割パケットPt2は、分割ヘッダFh2において、キャラクタオフセットSco2と、キャラクタオフセットレングスSl2とを格納している。キャラクタオフセットSco2は、分割テキストサンプルFt2が含む分割テキスト本文Ftd2がテキスト本文Td0の全体の何文字目以降であるかを文字数を単位として格納している(図中の値[X3])。キャラクタオフセットレングスSl2は、キャラクタオフセットSco2のデータ長を、例えば、2ビットで指定する。また、モディファイアMd0において、テキスト本文Td0の修飾は、バイト単位ではなく文字数を単位に指定されている。
これにより、例えば、伝送途中に分割パケットPt1がロスされた場合、分割パケットPt2のみを取得したデータ再生装置において、分割パケットPt2の備える分割テキスト本文Ftd2に、モディファイアMd0の修飾効果を適用することが可能となる。
なお、キャラクタオフセットSco2は、分割テキストサンプルFt2が含む分割テキスト本文Ftd2がテキスト本文Td0の全体のどこに位置するかをバイト単位として格納するとしてもよい。この場合、分割パケットPt2を取得したデータ再生装置において、モディファイアMd0を解析し、修飾効果を適用すべき分割テキスト本文Ftd2の範囲を導出することとなる。バイト単位の情報からでは正確な文字位置を検出することはできない場合もあるが、ある程度の推定は可能である。例えば、UTF−16で符号化されている場合、1文字は2バイト固定であるため、バイト位置を半分にすれば文字位置を求めることができる。
また、キャラクタオフセットSco2は、分割テキスト本文Ftd2を含む分割パケットPt2において備えられるが、テキストTx0の先頭部分を含む分割パケットPt1においては、必ずしも備える必要は無い。
さらに、分割パケットPt2は、(a)および(b)で説明した文字コード情報、モディファイアポインタ、モディファイアポインタレングス、テキストインジケータを備えていてもよい。
(d)分割されたモディファイアボックスの再生のために格納される情報
図33〜図36を用いて、分割されたモディファイアボックスの再生のために格納される情報について説明する。
図33を用いて、分割されたモディファイアボックスMbMの再生のために格納される情報について概要を説明する。なお、詳細な説明は、図34〜図36を用いて後ほど行う。
図33では、モディファイアボックスMbMは、モディファイアボックスMbMのボックスサイズSzMと、テキスト本文Td0への修飾効果を記述する修飾タイプTyMと、修飾効果の適用範囲などを記述する複数のレコードMrM1,MrM2,・・・とを含んでいる。テキストサンプルTs0は、M番目のモディファイアボックスであるモディファイアボックスMbMのレコードMrM2において分割の境界を有している。分割パケットPtN−1,PtNは、それぞれ分割されたモディファイアボックスMbMの一部を有している。
分割パケットPtNは、分割ヘッダFhNにおいて、ボックス分割フラグBNと、シンクオフセットSoNと,シンクオフセットレングスSolNと,エクステンションバイトExNと,エクステンションバイトレングスExlNと,アトムタイプAtNとを格納している。
ボックス分割フラグBNは、分割パケットPtNが分割されたモディファイアボックスMbMを有することを示すためのフラグであり、図中では値[1]を格納し、分割されたモディファイアボックスMbMの存在を示している。シンクオフセットSoNは、分割パケットPtNが有する分割されたモディファイアボックスMbMのうち部分的に利用可能なレコードMrM3の開始位置(図中の値[X5])を格納している。シンクオフセットレングスSolNは、シンクオフセットSoNのデータ長を、例えば、2ビットのビット列で指定する。エクステンションバイトExNは、分割パケットPtNが含む分割されたモディファイアボックスMbMの再生に必要な情報を記述する。情報の詳しい内容については、図34〜図36を用いて後ほど説明する。エクステンションバイトレングスExlNは、エクステンションバイトExNのデータ長を、例えば、3ビットのビット列で指定する。アトムタイプAtNは、モディファイアボックスMbMの修飾タイプであり、修飾タイプTyMと同じ内容を記述する。
これにより、例えば、伝送途中にモディファイアボックスMbMの修飾タイプTyMやその他再生に必要な情報を備える分割パケットPtN−1がロスされた場合、分割パケットPtNを取得したデータ再生装置において、分割ヘッダFhNが格納するアトムタイプAtNやエクステンションバイトExNを用いて、分割パケットPtNの有する分割されたモディファイアボックスMbMのデコードを行うことができる。また、例えば、伝送途中に分割パケットPtN−1がロスされた場合、分割パケットPtNを取得したデータ再生装置において、分割パケットPtNの有するレコードMrM3の先頭位置を識別し、修飾情報を利用することが可能となる。
なお、レコードMrM2においてTs0を分割する場合について説明したが、本発明の効果は、この場合に限られるものではない。具体的には、分割は、ボックスサイズSzM、修飾タイプTyMあるいはその他のレコードMrM1,MrM3,・・・において行われてもよい。
図34〜図36を用いて、分割されたモディファイアボックスの再生のために格納される情報について詳細に説明する。なお、図34〜図36では、モディファイアボックスは、それぞれ、カラオケ、文字スタイルおよびハイパーテキストの修飾を指定している。
《カラオケ》
図34では、テキストサンプルTs0は、M番目のモディファイアボックスであるモディファイアボックスMbMにおいて分割の境界を有している。モディファイアボックスMbMは、テキストTd0をカラオケスタイルで修飾する。分割パケットPtN−1,PtNは、分割されたモディファイアボックスMbMを有している。
カラオケスタイルのモディファイアボックスMbMは、ボックスサイズSzMと、修飾タイプTyMと、スタートタイムと、エントリカウントと、エントリEn1〜En5とを備えている。ボックスサイズSzMは、モディファイアボックスMbMのデータ長である。修飾タイプTyMは、モディファイアボックスがカラオケであることを示すため、[krok]を示すビット列を格納している。スタートタイムは、修飾開始時間を指定する。エントリカウントは、モディファイアボックスMbMが有するエントリの個数を指定する。エントリEn1〜En5は、それぞれ、カラオケの修飾終了時間と、修飾する文字を指定する情報とを備えている。それぞれのエントリEn2〜En5による修飾は、直前に配置されるエントリEn1〜En4の修飾終了時間から自身の修飾終了時間までの間、指定された文字に対して適用される(エントリEn1による修飾は、スタートタイムが指定する修飾開始時間から自身の修飾終了時間まで適用される)。
分割パケットPtNは、ペイロード部PlNにエントリEn3〜En5を有している。すなわち、モディファイアボックスMbMは、エントリEn2とエントリEn3との境界において分割されている。分割ヘッダFhNは、ボックス分割フラグBNと、アトムタイプAtNと、エクステンションバイトレングスExlNと、エクステンションバイトExNとを含んでいる。ボックス分割フラグBNは、例えば、値[1]を格納し、分割パケットPtNが分割されたモディファイアボックスMbMを有することを示す。アトムタイプAtNは、分割されたモディファイアボックスMbMの修飾タイプがカラオケであることを示すため、[krok]を示すビット列を格納している。エクステンションバイトレングスExlNは、エクステンションバイトExNのデータ長を、例えば、3ビットのビット列で指定する。エクステンションバイトExNは、分割により分割パケットPtNに含まれないこととなったエントリEn2が示すカラオケの修飾終了時間を格納する。
ここで、図34に示す分割パケットPtNは、図33において説明したシンクオフセットSoNおよびシンクオフセットレングスSolNに相当する情報は備えないものとして説明する。これらの情報は、テキストサンプルTs0の分割時に、「モディファイアボックスMbMのレコードMrM1,・・・の途中では分割を行わない。」との分割規則により分割を行うことにより不要となる情報であるからである。
これにより、例えば、伝送途中に分割パケットPtN−1がロスされた場合、分割パケットPtNを取得したデータ再生装置において、分割パケットPtNの備えるエントリEn3〜En5をカラオケスタイルとして解析することが可能となる。さらに、このデータ再生装置では、エントリEn3について、分割ヘッダFhNの備えるエクステンションバイトExNの格納する情報を参照して修飾開始時間を判別することが可能となる。
《文字スタイル》
図35では、テキストサンプルTs0は、M番目のモディファイアボックスであるモディファイアボックスMbMにおいて分割の境界を有している。モディファイアボックスMbMは、テキストTx0の文字スタイルを変更する。分割パケットPtN−1,PtNは、分割されたモディファイアボックスMbMを有している。
文字スタイルのモディファイアボックスMbMは、ボックスサイズSzMと、修飾タイプTyMと、エントリカウントと、エントリEn1〜En5とを備えている。ボックスサイズSzMは、モディファイアボックスMbMのデータ長である。修飾タイプTyMは、モディファイアボックスMbMが文字スタイルであることを示すため、[styl]を示すビット列を格納している。エントリカウントは、モディファイアボックスMbMが有するエントリの個数を指定する。エントリEn1〜En5は、それぞれ、文字スタイルを適用する範囲を指定する情報、フォントスタイル、フォントサイズなどを備えている。
分割パケットPtNは、ペイロード部PlNにエントリEn3〜En5を有している。すなわち、モディファイアボックスMbMは、エントリEn2とエントリEn3との境界において分割されている。分割ヘッダFhNは、ボックス分割フラグBNと、アトムタイプAtNと、エクステンションバイトレングスExlNとを含んでいる。ボックス分割フラグは、例えば、値[1]を格納し、分割パケットPtNが分割されたモディファイアボックスMbMを有することを示す。アトムタイプAtNは、分割されたモディファイアボックスMbMの修飾タイプが文字スタイルであることを示すため、[styl]を示すビット列を格納している。エクステンションバイトレングスExlNは、エクステンションバイトExNのデータ長を、例えば、3ビットのビット列で指定する。文字スタイルでは、エクステンションバイトExNにおいて格納する必要のある情報がないため、値[0]を格納している。
これにより、例えば、伝送途中に分割パケットPtN−1がロスされた場合、分割パケットPtNを取得したデータ再生装置において、分割パケットPtNの備えるエントリEn3〜En5を文字スタイルとして解析することが可能となる。
《ハイパーテキスト》
図36では、テキストサンプルTs0は、M番目のモディファイアボックスであるモディファイアボックスMbMにおいて分割の境界を有している。モディファイアボックスMbMは、テキストTd0をハイパーテキストスタイルで修飾する。分割パケットPtN−1,PtNは、分割されたモディファイアボックスMbMを有している。
ハイパーテキストのモディファイアボックスMbMは、ボックスサイズSzMと、修飾タイプTyMと、ハイパーテキストリンクが適用される文字列の範囲ScM,EcMと、リンクされるURLパスUrlMと、URLパスのデータ長を指定するURLレングスUrMと、代替テキストなどを指定するALT属性AltMと、ALT属性のデータ長を指定するALTレングスAlMとを備えている。
分割パケットPtNは、ペイロード部PlNにALT属性AltMと、ALTレングスAlMとを有している。分割ヘッダFhNは、ボックス分割フラグBNと、アトムタイプAtNと、エクステンションバイトレングスExlNと、エクステンションバイトExNとを含んでいる。ボックス分割フラグBNは、例えば、値[1]を格納し、分割パケットPtNが分割されたモディファイアボックスMbMを有することを示す。アトムタイプAtNは、分割されたモディファイアボックスMbMの修飾タイプがハイパーテキストであることを示すため、[href]を示すビット列を格納している。エクステンションバイトレングスExlNは、エクステンションバイトExNのデータ長を、例えば、3ビットのビット列で指定する。エクステンションバイトExNは、分割により分割パケットPtNに含まれないこととなったALT属性を適用する文字列の範囲を格納している。すなわち、エクステンションバイトExNは、モディファイアボックスMbMが有するハイパーテキストリンクが適用される文字列の範囲ScM,EcMに関する情報を格納している。
これにより、伝送途中に分割パケットPtN−1がロスされた場合、分割パケットPtNを取得したデータ再生装置において、分割パケットPtNの備えるALT属性AltMと、ALTレングスAlMとをハイパーテキストスタイルとして解析することが可能となる。さらに、ALT属性を適用する文字列の範囲を判別することが可能となる。
(iv)その他の分割パケット
(分割ヘッダの構造)
上記(a)〜(d)の情報の全体を分割ヘッダが一度に有する場合もある。図37に分割パケットPtNのヘッダ部HdNの構造の一例を示す。但し、各情報の配置は一例であり、これに限定されるものではない。
分割パケットPtNのヘッダ部HdNは、RTPヘッダRhN、サンプルヘッダShNと、分割ヘッダFhNとを備えている。RTPヘッダRhNでは、マーカビットMNの値により分割パケットPtNがテキストサンプルTs0の最後尾のデータをペイロード部PlNに含むか否かが識別される。図37では、マーカビットMNは、値[0]を格納し、分割パケットPtNがテキストサンプルTs0の最後尾のデータをペイロード部に含まないことを示している。サンプルヘッダShNでは、サンプルレングスSlnNに値[0]を格納し、分割パケットPtNが分割されたテキストサンプルTs0を含んでいることを判別させる。
分割ヘッダFhNは、上記(a)〜(b)で説明した情報をそれぞれ含んでいる。
(分割ヘッダの存在)
第4実施形態では、「サンプルレングスに値[0]を格納し、分割パケットが分割されたテキストサンプルを含んでいることを判別させる」と説明した。ここで、分割されたテキストサンプルを含むことを示すフラグを分割パケットに有し、このフラグにより分割パケットが分割されたテキストサンプルを含むことを判別させてもよい。
(文字コード情報の変形例)
第4実施形態では、「1ビットのフラグである文字コード情報により、テキスト本文の文字コードを識別させる」と説明した。ここで、分割パケットに、テキストサンプルの含むバイトオーダマーク(BOM)をさらに格納してもよい。例えば、BOMをすべての分割パケットに繰り返す。BOMは、分割パケットの有するテキスト本文の先頭に格納してもよいし、分割ヘッダに設けられた格納領域に格納してもよい。
ここで、BOMは可変長(0バイト,2バイト,4バイト)なので、分割ヘッダに格納領域を設ける場合は、BOMのデータ長を記述する情報をさらに設けてもよい。テキスト本文の先頭に格納する場合も、分割ヘッダにBOMのデータ長を記述しておけば、テキストの先頭にあるBOMの判定がより確実になる。
(3)〈データ再生装置およびデータ再生方法〉
図38および図39を用いて、上記したデータ構造を有するRTPパケットを再生するためのデータ再生装置およびデータ再生方法について説明する。
(i)データ再生装置
図38に、上記(2)〈RTPパケットのデータ構造〉で説明したデータ構造を有するRTPパケットを再生するためのデータ再生装置710のブロック図を示す。
データ再生装置710は、RTP受信部711と、基本ヘッダ解析部712と、分割ヘッダ解析部713と、デコーダ部714と、表示部715とを備えている。データ再生装置710は、後述するRTP伝送装置725,728(図40参照)より伝送されたRTPパケットに基づいて、Timed Textの再生を行うコンピュータ、携帯電話、PDA(personal digital assistant)などといった装置である。
RTP受信部711は、RTP伝送装置725,728から送信されたRTPパケットを受信し、一時的に基本ヘッダ解析部712に格納する。
基本ヘッダ解析部712は、格納したRTPパケットのRTPヘッダからシーケンス番号、タイムスタンプ、マーカビットなどを取得する。また、基本ヘッダ解析部712は、格納したRTPパケットのサンプルヘッダからサンプルレングスの値を取得する。基本ヘッダ解析部712は、シーケンス番号により、伝送途中にロスされたRTPパケットの存在を判断する。また、基本ヘッダ解析部712は、サンプルレングスの値により、RTPパケットがテキストサンプルを分割して含むか否かを判断する。さらに、基本ヘッダ解析部712は、タイムスタンプに従ってRTPパケットをデコーダ部714に送出する。
ここで、一つのテキストサンプルを分割して含む複数のRTPパケットについて、いずれかのRTPパケットが伝送途中にロスされていた場合、基本ヘッダ解析部712は、そのRTPパケットを分割ヘッダ解析部713へと送出する。
分割ヘッダ解析部713は、取得したRTPパケットの分割ヘッダを解析する。すなわち、図37に示した構造を有する分割ヘッダから、テキストインジケータ、文字コード情報、モディファイアポインタ、キャラクタオフセット、ボックス分割フラグ、シンクオフセット、エクステンションバイト、アトムタイプなどの情報を取得する。これらの情報については、上記(2)〈RTPパケットのデータ構造〉で説明したので説明は省略する。
デコーダ部714は、分割ヘッダの解析されたRTPパケットについて、分割ヘッダ解析部713の解析結果に基づいて、そのRTPパケットのペイロード部のデコードを行う。デコードされたペイロード部は、表示部715にて表示される。
このデータ再生装置710では、一つのテキストサンプルを分割して含む複数のRTPパケットについて、いずれかのRTPパケットが伝送途中にロスされていた場合に、取得されたRTPパケットの分割ヘッダが有する情報に基づいて、その取得されたRTPパケットのペイロード部の再生を行うことが可能となる。
(ii)データ再生方法
図39に、上記(2)〈RTPパケットのデータ構造〉で説明したデータ構造を有するRTPパケットを再生するためのデータ再生方法を説明するフローチャートを示す。
RTPパケットが受信されるとRTPパケットのRTPヘッダおよびサンプルヘッダが解析される。まず、サンプルヘッダの有するサンプルレングスの値が解析され(ステップS710)、RTPパケットが分割されたテキストサンプルを含むか否かが判断される(ステップS711)。
RTPパケットが分割されたテキストサンプルを含まないと判断された場合、すなわちRTPパケットがテキストサンプルの全部を含むと判断された場合、RTPパケットは、デコードされる(ステップS715)。
一方、RTPパケットが分割されたテキストサンプルを含むと判断された場合、RTPパケットのRTPヘッダの備えるシーケンス番号に基づいて(ステップS712)、伝送途中にロスしたパケットの有無が判断される(ステップS713)。伝送途中にロスされたパケットが無いと判断された場合、分割されたテキストサンプルを含む複数のRTPパケットは、一度にデコードされる(ステップS715)。
伝送途中にロスされたパケットが有ると判断された場合、それぞれのRTPパケットの分割ヘッダが解析され、それぞれのRTPパケットが有する分割されたテキストサンプルの再生に必要な情報が取得され(ステップS714)、取得された情報に基づいて、それぞれのRTPパケットがデコードされる(ステップS715)。
このデータ再生方法では、一つのテキストサンプルを分割して含む複数のRTPパケットについて、いずれかのRTPパケットが伝送途中にロスされていた場合に、取得されたRTPパケットの分割ヘッダが有する情報に基づいて、その取得されたRTPパケットのペイロード部の再生を行うことが可能となる。
(4)〈データ多重装置およびデータ多重方法〉
図40および図41を用いて、上記(2)〈RTPパケットのデータ構造〉で説明したデータ構造を有するRTPパケットを作成するためのデータ多重装置およびデータ多重方法について説明する。
(i)データ多重装置
図40に、上記(2)〈RTPパケットのデータ構造〉で説明したデータ構造を有するRTPパケットを作成するためのデータ多重装置720のブロック図を示す。
データ多重装置720は、Timed Textの蓄積されている蓄積部721と、Timed Textを解析し多重化に必要な情報を取得するES解析部722と、分割と分割ヘッダの作成とを行う分割ヘッダ生成部723と、基本ヘッダを生成する基本ヘッダ生成部724とから構成される。
蓄積部721は、メディアデータを、例えば、MP4ファイル形式(図55参照)で蓄積している。また、蓄積部721は、蓄積するファイルに関する詳細な情報を有している。ES解析部722は、蓄積部721からトラックヘッダとテキストサンプルとサンプルディスクリプションとサンプルテーブルを取得する。テキストサンプルのサイズに基づいて、分割を行わない場合のRTPパケットのサイズを推定する。推定サイズが目標のサイズを超える場合には、テキストサンプルの分割を行うと判断する。分割を行うと判断した場合には、分割ヘッダ生成部723へテキストサンプルを送出する。
分割ヘッダ生成部723においては、目標のRTPパケットのサイズに近づくように、取得されたテキストサンプルを分割する。さらに、分割されたテキストサンプルの再生に必要な情報を分割ヘッダに格納し、分割されたテキストサンプルに付与する。分割ヘッダと分割されたテキストサンプルとは複数個の組となり、基本ヘッダ作成部724へ送出される。ここで、分割ヘッダとは、例えば、図37に示した構造を有しており、テキストサンプルの内容に依存した情報を備えている。
基本ヘッダ作成部724は、分割されなかったテキストサンプルと分割されたテキストサンプルとに基本ヘッダを付与し、RTPパケットを作成する。
ここで、基本ヘッダとは、RTPヘッダ、サンプルヘッダ(図26参照)のことである。分割されたテキストサンプルに付与された基本ヘッダでは、サンプルヘッダのサンプルレングスの値は、例えば、値[0]を格納している。これにより、その基本ヘッダを有するRTPパケットは、分割されたテキストサンプルを含んでいることを示す。また、分割されなかったテキストサンプルおよび分割されたテキストサンプルのうち最後尾のテキストサンプルに付与された基本ヘッダでは、RTPヘッダのマーカビットは、例えば、値[1]を格納している。一方、その他の分割されたテキストサンプルに付与された基本ヘッダでは、RTPヘッダのマーカビットは、例えば、値[0]を格納している。
基本ヘッダ作成部724で作成されたRTPパケットは、RTP伝送装置725へ送られ、さらにデータ再生装置710(図38参照)へと伝送される。あるいは、伝送用蓄積ファイル作成部726へ送られる。伝送用蓄積ファイル作成部726は、伝送のためのサーバ蓄積ファイルを作成し、蓄積手段727へ蓄積する。RTP伝送装置728は、サーバ蓄積ファイルを解析し、RTPパケットへ変換し、データ再生装置710(図38参照)へと伝送される。
(ii)データ多重方法
図41に、上記(2)〈RTPパケットのデータ構造〉で説明したデータ構造を有するRTPパケットを作成するためのデータ多重方法を説明するフローチャートを示す。
入力されたTimed Textは、トラックヘッダ、サンプルディスクリプション、サンプルテーブルおよびテキストサンプルに分離される(ステップS720)。テキストサンプルのサイズに基づいて、分割を行わない場合のRTPパケットのサイズを推定し、推定サイズが目標のサイズを超えるか否かの判断を行う(ステップS721)。推定サイズが目標のサイズを超えないと判断されると、テキストサンプルは、分割されず、基本ヘッダが付与されRTPパケットと成る(ステップS724)。
推定サイズが目標のサイズを超えると判断されると、テキストサンプルの分割処理が行われる(ステップS722)。分割処理は、目標のサイズに近づき、かつ、分割したテキストサンプルを含むRTPパケットの一部がロスしても残りのRTPパケットの内容を表示可能となるよう行われる。また、分割されたテキストサンプルには、分割ヘッダが付与される(ステップS723)。分割ヘッダは、分割されたテキストサンプルの再生に必要な情報を格納している。さらに、分割ヘッダを付与された分割されたテキストサンプルには、基本ヘッダが付与される(ステップS724)。
ここで、基本ヘッダとは、RTPヘッダ、サンプルヘッダ(図26参照)のことである。分割されたテキストサンプルに付与された基本ヘッダでは、サンプルヘッダのサンプルレングスの値は、例えば、値[0]を格納している。これにより、その基本ヘッダを有するRTPパケットが分割されたテキストサンプルを含んでいることを示す。また、分割されなかったテキストサンプルおよび分割されたテキストサンプルのうち最後尾のテキストサンプルに付与された基本ヘッダでは、RTPヘッダ中のマーカビットは、例えば、値[1]を格納している。一方、その他の分割されたテキストサンプルに付与された基本ヘッダでは、RTPヘッダのマーカビットは、例えば、値[0]を格納している。
[第5実施形態]
図42〜図49を用いて、本発明の第5実施形態としてのパケットデータ構造、データ再生装置およびデータ多重装置について説明する。加えて、データ再生方法およびデータ多重方法について説明する。
本実施形態では、(1)分割ヘッダのオーバーヘッドを最小化するフラグ情報を持つパケットデータ構造、(2)テキストサンプルの分割状況を識別可能とさせるパケットデータ構造、(3)これらのパケットデータ構造を有するパケットのデータ再生装置およびデータ再生方法、(4)これらのパケットデータ構造を有するパケットのデータ多重装置およびデータ多重方法、の順に説明を行う。なお、本実施形態において、特に定義を与えない文言については、第4実施形態と同じ定義により用いるとする。
(1)〈分割ヘッダのオーバーヘッドを最小化するフラグ情報を持つパケットデータ構造〉
図37を用いて説明した分割ヘッダFhNでは、テキストインジケータTNと文字コード情報UNとキャラクタオフセットレングスSlNとモディファイアポインタレングスMlNとボックス分割フラグBNとの5つの情報を格納するデータ領域を常に確保する必要がある。
しかし、例えば、ペイロード部がテキスト本文を含まない場合、それに付される分割ヘッダには、文字コード情報とキャラクタオフセットレングスとは必要の無い情報であり、確保したデータ領域は無駄になる。
そこで、分割ヘッダのオーバーヘッドを最小化するために、1ビットの分割ヘッダフラグを定義する。分割ヘッダフラグは、分割ヘッダが、文字コード情報、キャラクタオフセットレングス、モディファイアポインタレングス、ボックス分割フラグのいずれかを含むことを示している。この分割ヘッダフラグと、テキストインジケータとを分割ヘッダの必須情報として格納する。
(分割ヘッダの備える情報)
図42を用いて分割ヘッダフラグFNとテキストインジケータTNとを備える分割ヘッダFhNの構造について説明する。図42では、分割パケットPtNは、ヘッダ部HdNと、ペイロード部PlNとを備えている。ヘッダ部HdNは、RTPヘッダRhNと、サンプルヘッダShNと、分割ヘッダFhNとを含んでいる。また、ペイロード部PlNは、テキストサンプルTs0の一部を含んでいる。
ここで、分割ヘッダFhNは、上記したテキストインジケータTNと、分割ヘッダフラグFNとを含んでいる。分割ヘッダFhNのその他の領域が備える情報は、テキストインジケータTNと分割ヘッダフラグFNとの組み合わせにより、図43に示すように決定されている。ここで、分割ヘッダFhNのその他の領域が備える情報とは、「[第4実施形態](2)〈RTPパケットのデータ構造〉(iii)分割ヘッダの概要」において示した(a)〜(d)のいずれかの情報である。
図43は、テキストインジケータTNと分割ヘッダフラグFNとの組み合わせに対する、図42に示す分割ヘッダFhNの備える情報を示している。この関係は、テキストサンプルTs0の先頭はテキストレングスTl0およびテキストTx0であることという前提に基づいて、上記したテキストインジケータTNと分割ヘッダフラグFNとの定義により論理的に導出されるものである。なお、図43では、テキストインジケータTNをT、分割ヘッダフラグFNをFと表している。
分割ヘッダフラグFNが値[0]の時、分割ヘッダFhNは、テキストインジケータTNと分割ヘッダフラグFNとの2ビットのみを格納する(図43、列(a),列(c)参照)。なお、欄内に値[0]を有しているとき、その情報は存在しないことを示している。
テキストインジケータTNが値[1]かつ分割ヘッダフラグFNが値[1]の時、分割ヘッダFhNは、文字コード情報と、キャラクタオフセットレングスと、モディファイアポインタレングスと、キャラクタオフセットと、モディファイアポインタとを格納する(図43、列(b)参照)。
テキストインジケータTNが値[0]かつ分割ヘッダフラグFNが値[1]の時、分割ヘッダFhNは、モディファイアポインタレングスと、モディファイアポインタと、ボックス分割フラグと、シンクオフセットと,シンクオフセットレングスと,エクステンションバイトと,エクステンションバイトレングスと,アトムタイプとを格納する(図43、列(d)参照)。
これにより、例えば、分割パケットPtNを取得したデータ再生装置において、テキストインジケータTNと分割ヘッダフラグFNとの値を取得し、分割ヘッダFhNの含む情報を解析することが可能となる。すなわち、分割ヘッダFhNにおいて、不要な情報のためのデータ領域を確保する必要が無くなり、伝送データのビット効率が向上する。
(サンプルヘッダの備える情報)
さらに、テキストインジケータTNと分割ヘッダフラグFNとの組み合わせにより、図42に示すサンプルヘッダShNの備える情報を表現することも可能である。
図44は、テキストインジケータTNと分割ヘッダフラグFNとの組み合わせと、サンプルヘッダShNの備える情報との関係を示している。この関係は、上記したテキストインジケータTNと分割ヘッダフラグTNとの定義により論理的に導出されるものである。
テキストインジケータTNが値[0]の時、分割パケットPtNは、サンプルヘッダShNを備えない。(図44、列(c),列(d)参照)。
テキストインジケータTNが値[1]かつ分割ヘッダフラグFNが値[0]の時、サンプルヘッダShNは、サンプルレングスSlnNとサンプルインデックスSidNとサンプルデュレーションSdrNとを格納する(図44、列(a)参照)。
テキストインジケータTNが値[1]かつ分割ヘッダフラグFNが値[1]の時、サンプルヘッダShNは、サンプルインデックスSidNと、サンプルデュレーションSdrNとを格納する(図44、列(b)参照)。
これにより、例えば、分割パケットPtNを取得したデータ再生装置において、テキストインジケータTNと分割ヘッダフラグFNとの値を取得し、サンプルヘッダShNの含む情報を解析することが可能となる。すなわち、サンプルヘッダShNにおいて、不要な情報のためのデータ領域を確保する必要が無くなり、伝送データのビット効率が向上する。
なお、分割ヘッダFhNのその他の領域が備える情報とは、「[第4実施形態](2)〈RTPパケットのデータ構造〉(iii)分割ヘッダの概要」において示した(a)〜(d)の情報であると記載したが、(a)〜(d)に示した情報のうちいずれかを規格として備えない場合も考えられる。その場合、図43は、分割ヘッダに規格として備えないとされる情報に関する部分を除いて利用される。
例えば、テキスト本文を分割する場合、分割ヘッダにキャラクタオフセットを付与し、分割パケットがテキスト本文の何文字目からを含むかを判断させる。しかし、分割パケットを作成するデータ多重装置によっては、文字数をカウントすることが出来ない場合がある。この場合、テキスト本文が分割されているにも関わらず、キャラクタオフセットは付与されない。この場合においては、分割パケットを取得したデータ再生装置において、図43の行(e)の情報は考慮せずに再生を行うこととなる。
(2)〈テキストサンプルの分割状況を識別可能なパケットデータ構造〉
一般的に、分割パケットの伝送にロスが無い状況では、テキストサンプルの分割状況は、RTPヘッダのシーケンス番号、タイムスタンプ、マーカビットを監視することにより識別可能である。同じテキストサンプルを分割して含む分割パケットには、同じタイムスタンプが付されている。さらに、マーカビットは、例えば、値[1]を格納し、同じテキストサンプルを分割して含む分割パケットのうち最後のパケットを判別させる。
しかし、分割パケットにロスが発生した場合、シーケンス番号、タイムスタンプ、マーカビットを監視するだけでは、その分割パケットが先頭の分割パケットであることの判断ができないために、正常なデコードに支障をきたしてしまう。すなわち、テキストサンプルの変わり目(タイムスタンプの変わり目)において、複数のパケットがロスした場合、マーカビットの値が[1]であるパケットをロスしており、前のテキストサンプルの最後が判断できない。
そこで、上記(1)〈分割ヘッダのオーバーヘッドを最小化するフラグ情報を持つパケットデータ構造〉で定義されたテキストインジケータTNと分割ヘッダフラグFNとに加え、RTPヘッダRhNの備えるマーカビットMNを組み合わせることにより(図42参照)、分割パケットPtNの有する分割されたテキストサンプルTs0の分割状況を図45に示すように判断する。
ここで、テキストサンプルTs0の先頭はテキストレングスTl0およびテキストTx0であること、およびテキストサンプルの先頭を含む分割パケットでは、分割ヘッダは、テキストインジケータと分割ヘッダフラグ以外を含まないことを前提としている。また、マーカビットMNは、分割パケットPtNがテキストサンプルTs0の最後尾を含むことを示すと定義されている。なお、図45では、テキストインジケータTNをT、分割ヘッダフラグFNをF、マーカビットMNをMと表している。
これにより、テキストインジケータTNと分割ヘッダフラグMNとマーカビットMNとを利用してテキストサンプルTs0の分割状況が判断可能となる。このため、例えば、分割パケットPtNを取得したデータ再生装置において、分割パケットPtNが分割の最後であることを判断(例えば、マーカビットMNの値[1]の場合)してデコードを開始することが可能となるだけでなく、分割パケットが分割の先頭であることを判断(例えば、テキストインジケータTNの値[1]かつ分割ヘッダフラグMNの値[0]の場合)することが可能となる。
(3)〈データ再生装置およびデータ再生方法〉
図46および図47を用いて、上記したデータ構造を有するRTPパケットを再生するためのデータ再生装置およびデータ再生方法について説明する。
(i)データ再生装置
図46に、上記(1)または(2)で説明したデータ構造を有するRTPパケット(図42参照)を再生するためのデータ再生装置730のブロック図を示す。
データ再生装置730は、図38に示したデータ再生装置710とほぼ同様の構成を有しているので、その特徴部分である分割ヘッダ解析部733を中心に説明する。
データ再生装置730は、RTP受信部731と、基本ヘッダ解析部732と、分割ヘッダ解析部733と、デコーダ部734と、表示部735とを備えている。データ再生装置730は、後述するRTP伝送装置745,748(図48参照)より伝送されたRTPパケットに基づいて、Timed Textの再生を行うコンピュータ、携帯電話、PDA(personal digital assistant)などといった装置である。
RTP受信部731は、RTP伝送装置745,748から送信されたRTPパケットを受信し、一時的に基本ヘッダ解析部732に格納する。
基本ヘッダ解析部732は、シーケンス番号により、伝送途中にロスされたRTPパケットの存在を判断する。
ここで、あるテキストサンプルを分割して含む複数のRTPパケットについて、いずれかのRTPパケットが伝送途中にロスされていた場合、基本ヘッダ解析部732は、残りのRTPパケットを分割ヘッダ解析部733へと送出する。
分割ヘッダ解析部733は、ロスされず取得されたRTPパケットの分割ヘッダを解析する。すなわち、分割ヘッダ解析部733は、分割ヘッダに必須の情報であるテキストインジケータと分割ヘッダフラグとの値を取得する。さらに、その値に基づいて、図43および図44に示す分割ヘッダおよびサンプルヘッダの情報の有無を判断し、それぞれの情報を取得する。
また、分割ヘッダ解析部733は、テキストインジケータと分割ヘッダフラグとマーカビットとの値の組み合わせに基づいて、図45に示すテキストサンプルの分割状態を判断する。
デコーダ部734は、分割ヘッダ解析部733が取得した分割ヘッダの情報と、テキストサンプルの分割状態とに基づいて、デコードのタイミングを決定する。
なお、RTPパケットがロス無く伝送された場合は、RTPパケットは、基本ヘッダ解析部732による解析の後、デコーダ部734へと送出され、デコードされる。
(ii)データ再生方法
図47に、上記(1)または(2)で説明したデータ構造を有するRTPパケットを再生するためのデータ再生方法を説明するフローチャートを示す。
RTPパケットが受信されるとRTPパケットのRTPヘッダが解析され(ステップS730)、シーケンス番号に基づいて、ロスしたパケットの有無が判断される(ステップS731)。また同時に、マーカビットも取得される。
ロスしたパケットが無いと判断されると、RTPパケットは、デコードされる(ステップS733)。
RTPパケットのロスが有ると判断された場合、分割ヘッダが解析される。具体的には、テキストインジケータと分割ヘッダフラグとの値が取得され、その値により、図43および図44に示す分割ヘッダの情報の有無が判断される。さらに、それぞれの情報が取得される(ステップS732)。また、同時にテキストインジケータと分割ヘッダフラグとマーカビットとの値の組み合わせに基づいて、図45に示すテキストサンプルの分割状態が判断される。
ステップS732で取得された情報に基づいて、RTPパケットがデコードされる(ステップS733)。
(4)〈データ多重装置およびデータ多重方法〉
図48および図49を用いて、上記したデータ構造を有するRTPパケットを作成するためのデータ多重装置およびデータ多重方法について説明する。
(i)データ多重装置
図48に、上記(1)または(2)で説明したデータ構造を有するRTPパケットを作成するためのデータ多重装置740のブロック図を示す。
データ多重装置740は、Timed Textの蓄積されている蓄積部741と、Timed Textを解析し多重化に必要な情報を取得するES解析部742と、分割と分割ヘッダの作成とを行う分割ヘッダ生成部743と、基本ヘッダを生成する基本ヘッダ生成部744とから構成される。
蓄積部741は、メディアデータを、例えば、MP4ファイル形式(図55参照)で蓄積している。また、蓄積部741は、蓄積するファイルに関する詳細な情報を有している。ES解析部742は、蓄積部741からトラックヘッダとテキストサンプルとサンプルディスクリプションとサンプルテーブルを取得し、テキストサンプルは、分割ヘッダ生成部743へ送出される。
分割ヘッダ生成部743においては、目標のRTPパケットのサイズに近づくように、取得されたテキストサンプルを分割する。なお、分割しなくても目標のRTPパケットのサイズを超えないならば、分割は行われない。また、分割されたテキストサンプルの再生に必要な情報を分割ヘッダに格納し、分割されたテキストサンプルに付与する。さらに、分割ヘッダフラグと、テキストインジケータとが適切な値を取って格納される。一方、分割されなかったテキストサンプルに対しても、分割ヘッダフラグとテキストインジケータとが適切な値を取って付与される。これらの情報は、基本ヘッダ作成部744へ送出される。
基本ヘッダ作成部744は、分割されなかったテキストサンプルと、分割されたテキストサンプルとに基本ヘッダを付与し、RTPパケットを作成する。ここで、基本ヘッダとは、RTPヘッダ、サンプルヘッダ(図26参照)のことである。なお、サンプルヘッダは、格納された分割ヘッダフラグと、テキストインジケータとに基づいて付与される(図44参照)。また、基本ヘッダでは、マーカビットは、RTPパケットのペイロード部の有するテキストサンプルの分割状況に適した値を格納している。
基本ヘッダ作成部744で作成されたRTPパケットは、RTP伝送装置745へ送られ、さらにデータ再生装置730(図46参照)へと伝送される。あるいは、伝送用蓄積ファイル作成部746へ送られる。伝送用蓄積ファイル作成部746は、伝送のためのサーバ蓄積ファイルを作成し、蓄積手段747へ蓄積する。RTP伝送装置748は、サーバ蓄積ファイルを解析し、RTPパケットへ変換し、データ再生装置730(図46参照)へと伝送される。
(ii)データ多重方法
図49に、上記(1)または(2)で説明したデータ構造を有するRTPパケットを作成するためのデータ多重方法を説明するフローチャートを示す。
入力されたTimed Textは、トラックヘッダ、サンプルディスクリプション、サンプルテーブルおよびテキストサンプルに分離される(ステップS740)。
テキストサンプルのサイズに基づいて、分割を行わない場合のRTPパケットのサイズを推定し、推定サイズが目標のサイズを超えると判断されると(ステップS741)、テキストサンプルの分割処理が行われる(ステップS742)。分割処理は、目標のサイズに近づき、かつ、分割したテキストサンプルを含むRTPパケットの一部がロスしても残りのRTPパケットの内容を表示可能となるような位置において行われる。さらに、分割されたテキストサンプルに分割ヘッダが付与される(ステップS743)。分割ヘッダには、分割されたテキストサンプルの再生に必要な情報と、分割ヘッダフラグとテキストインジケータとが格納されている。分割ヘッダを付与された分割されたテキストサンプルには、基本ヘッダが付与される(ステップS745)。
一方、分割を行わない場合、テキストサンプルには分割ヘッダフラグとテキストインジケータとが付与される(ステップS744)。さらにテキストサンプルには、基本ヘッダが付与される(ステップS745)。
ここで、基本ヘッダとは、RTPヘッダ、サンプルヘッダのことである。
[第4実施形態および第5実施形態に関する付記]
〈付記の内容〉
(付記1)
修飾情報の付されたテキストデータを含む再生データを伝送し再生装置にて順次再生させるためのパケットデータ構造であって、
前記再生データの分割された一部である分割再生データを有するペイロード部と、
前記ペイロード部が前記分割再生データを含むことを示す分割存在情報と、前記分割再生データの再生に必要な分割再生データ再生情報とを有するヘッダ部と、
を備えるパケットデータ構造。
(付記2)
修飾情報の付されたテキストデータを含む再生データを伝送し再生装置にて順次再生させるためのパケットデータ構造であって、
前記再生データの分割された一部である分割再生データを有するペイロード部と、
前記分割再生データが含む分割された前記テキストデータの文字コードを判別する文字コード情報を有するヘッダ部と、
を備えるパケットデータ構造。
(付記3)
前記ヘッダ部は、前記文字コード情報のデータ長を示す第1データ長情報をさらに有する、
付記2に記載のパケットデータ構造。
(付記4)
前記文字コード情報は、2種類の前記文字コードを判別する1ビットのフラグである、
付記2に記載のパケットデータ構造。
(付記5)
修飾情報の付されたテキストデータを含む再生データを伝送し再生装置にて順次再生させるためのパケットデータ構造であって、
前記再生データの分割された一部である分割再生データを有するペイロード部と、
前記分割再生データにおける前記修飾情報の位置情報である第1位置情報を有するヘッダ部と、
を備えるパケットデータ構造。
(付記6)
前記分割再生データは、前記テキストデータの少なくとも一部と前記テキストデータの少なくとも一部に続いて配置される前記修飾情報とを含んでおり、
前記第1位置情報は、前記分割再生データの含む前記テキストデータのデータ長である、
付記5に記載のパケットデータ構造。
(付記7)
前記修飾情報は、複数の部分修飾情報を含んでおり、
前記分割再生データは、第1部分修飾情報の分割された一部と、前記第1部分修飾情報の分割された一部に続いて配置される第2部分修飾情報とを含んでおり、
前記第1位置情報は、前記第1部分修飾情報の分割された一部のデータ長である、
付記5に記載のパケットデータ構造。
(付記8)
前記ヘッダ部は、前記分割再生データが前記テキストデータの少なくとも一部を含むことを示すテキスト存在情報をさらに有する、
付記6または7に記載のパケットデータ構造。
(付記9)
修飾情報の付されたテキストデータを含む再生データを伝送し再生装置にて順次再生させるためのパケットデータ構造であって、
前記再生データの分割された一部である分割再生データを有するペイロード部と、
前記分割再生データが含む分割された前記テキストデータである分割テキストデータの前記テキストデータにおける位置情報である第2位置情報を有するヘッダ部と、
を備えるパケットデータ構造。
(付記10)
前記第2位置情報は、前記分割テキストデータの位置情報をテキストの文字数を単位として含んでいる、
付記9に記載のパケットデータ構造。
(付記11)
修飾情報の付されたテキストデータを含む再生データを伝送し再生装置にて順次再生させるためのパケットデータ構造であって、
前記再生データの分割された一部である分割再生データを有するペイロード部と、
前記修飾情報が含む部分修飾情報の修飾タイプを示す情報であって、前記分割再生データに含まれない修飾タイプ情報を有するヘッダ部と、
を備えるパケットデータ構造。
(付記12)
修飾情報の付されたテキストデータを含む再生データを伝送し再生装置にて順次再生させるためのパケットデータ構造であって、
前記再生データの分割された一部である分割再生データを有するペイロード部と、
前記修飾情報が含む部分修飾情報を構成する単位修飾情報であって、前記分割再生データに含まれる第1単位修飾情報の位置情報である第3位置情報を有するヘッダ部と、
を備えるパケットデータ構造。
(付記13)
前記ヘッダ部は、前記第3位置情報のデータ長を示す第2データ長情報をさらに有する、
付記12に記載のパケットデータ構造。
(付記14)
修飾情報の付されたテキストデータを含む再生データを伝送し再生装置にて順次再生させるためのパケットデータ構造であって、
前記再生データの分割された一部である分割再生データを有するペイロード部と、
前記修飾情報が含む部分修飾情報を構成する単位修飾情報であって、前記分割再生データに含まれない第2単位修飾情報を有するヘッダ部と、
を備えるパケットデータ構造。
(付記15)
前記ヘッダ部は、前記第2単位修飾情報のデータ長を示す第3データ長情報をさらに有する、
付記14に記載のパケットデータ構造。
(付記16)
修飾情報の付されたテキストデータを含む再生データを伝送し再生装置にて順次再生させるためのパケットデータ構造であって、
前記再生データの分割された一部である分割再生データを有するペイロード部と、
前記ペイロード部に付加され、テキスト存在情報と再生情報存在情報とを有するヘッダ部とを備え、
前記テキスト存在情報は、前記分割再生データが前記テキストデータの少なくとも一部を含むことを示し、
前記再生情報存在情報は、前記ヘッダ部が前記分割再生データの再生に必要な分割再生データ再生情報を含むことを示す、
パケットデータ構造。
(付記17)
前記ヘッダ部は、前記分割再生データが前記再生データの最後に位置するデータであることを示す分割再生データ位置情報をさらに有する、
付記16に記載のパケットデータ構造。
(付記18)
付記1に記載のパケットデータ構造を有するパケットから再生データを再生するデータ再生装置であって、
前記分割存在情報から前記ペイロード部が前記分割再生データを含むことを判断する分割判断手段と、
前記分割判断手段の判断結果に基づいて、前記分割再生データ再生情報から前記分割再生データの再生を行うデータ再生手段と、
を備えるデータ再生装置。
(付記19)
付記2に記載のパケットデータ構造を有するパケットから再生データを再生するデータ再生装置であって、
前記文字コード情報から前記分割再生データが含む分割された前記テキストデータの文字コードを判別する文字コード判別手段と、
前記文字コード判別手段の判別結果に基づいて、前記分割再生データの再生を行うデータ再生手段と、
を備えるデータ再生装置。
(付記20)
付記5に記載のパケットデータ構造を有するパケットから再生データを再生するデータ再生装置であって、
前記第1位置情報から前記分割再生データにおける前記修飾情報の位置情報を取得する第1位置情報取得手段と、
前記第1位置情報取得手段の取得した前記位置情報に基づいて、前記分割再生データの再生を行うデータ再生手段と、
を備えるデータ再生装置。
(付記21)
付記9に記載のパケットデータ構造を有するパケットから再生データを再生するデータ再生装置であって、
前記第2位置情報から前記分割再生データが含む分割された前記テキストデータである分割テキストデータの前記テキストデータにおける位置情報を取得する第2位置情報取得手段と、
前記第2位置情報取得手段の取得した前記位置情報に基づいて、前記分割再生データの再生を行うデータ再生手段と、
を備えるデータ再生装置。
(付記22)
付記11に記載のパケットデータ構造を有するパケットから再生データを再生するデータ再生装置であって、
前記修飾タイプ情報から前記分割再生データが含む前記部分修飾情報の修飾タイプを取得する修飾タイプ取得手段と、
前記修飾タイプ取得手段の取得した前記修飾タイプに基づいて、前記分割再生データの再生を行うデータ再生手段と、
を備えるデータ再生装置。
(付記23)
付記12に記載のパケットデータ構造を有するパケットから再生データを再生するデータ再生装置であって、
前記第3位置情報から前記第1単位修飾情報を取得する第1単位修飾情報取得手段と、
前記第1単位修飾情報取得手段の取得した前記第1単位修飾情報に基づいて、前記再生データの再生を行うデータ再生手段と、
を備えるデータ再生装置。
(付記24)
付記14に記載のパケットデータ構造を有するパケットから再生データを再生するデータ再生装置であって、
前記第2単位修飾情報を取得する第2単位修飾情報取得手段と、
前記第2単位修飾情報取得手段の取得した前記第2単位修飾情報に基づいて、前記再生データの再生を行うデータ再生手段と、
を備えるデータ再生装置。
(付記25)
付記16に記載のパケットデータ構造を有するパケットから再生データを再生するデータ再生装置であって、
前記テキスト存在情報と前記再生情報存在情報とに基づいて、前記分割再生データの有する分割再生データ再生情報を判断する再生情報判断手段と、
前記再生情報判断手段の判断結果に基づいて、前記再生データの再生を行うデータ再生手段と、
を備えるデータ再生装置。
(付記26)
付記17に記載のパケットデータ構造を有するパケットから再生データを再生するデータ再生装置であって、
前記テキスト存在情報と前記再生情報存在情報と前記分割再生データ位置情報とに基づいて、前記分割再生データの分割状況を判断する分割状況判断手段と、
前記分割状況判断手段の判断結果に基づいて、前記分割再生データの再生を制御する再生制御手段と、
を備えるデータ再生装置。
〈付記の説明〉
付記1に記載のパケットデータ構造は、修飾情報の付されたテキストデータを含む再生データを伝送し再生装置にて順次再生させるためのパケットデータ構造であって、ペイロード部と、ヘッダ部とを備えている。ペイロード部は、再生データの分割された一部である分割再生データを有する。ヘッダ部は、ペイロード部が分割再生データを含むことを示す分割存在情報と、分割再生データの再生に必要な分割再生データ再生情報とを有する。
再生データとは、例えば、Timed Textにおけるテキストサンプルを含んでいる(以下、この欄において同じ。)。分割再生データ再生情報とは、例えば、再生データが含んでいた再生に必要な情報のうち再生データが分割されたために一部の分割再生データには含まないこととなった情報あるいは再生データが分割されたために新たに分割再生データの再生に必要となった情報などである(以下、この欄において同じ。)。
本発明のパケットデータ構造では、分割存在情報により、再生データが分割されていることが識別可能となる。また、分割再生データ再生情報により、パケットのいくつかが伝送途中でロスされた場合にも、取得したパケットの分割再生データの再生が可能となる。
付記2に記載のパケットデータ構造は、修飾情報の付されたテキストデータを含む再生データを伝送し再生装置にて順次再生させるためのパケットデータ構造であって、ペイロード部と、ヘッダ部とを備えている。ペイロード部は、再生データの分割された一部である分割再生データを有する。ヘッダ部は、分割再生データが含む分割されたテキストデータの文字コードを判別する文字コード情報を有する。
テキストデータは、例えば、先頭部分に文字コードを備えており、再生データの分割により、一部の分割再生データは、この文字コードを含まないこととなる。Timed Textでは、文字コードは、Unicode規格のUTF−8またはUTF−16 Big Endianでエンコードされている。文字コードは、例えば、BOM(バイトオーダマーク)と呼ばれるビット列により判断される。
本発明のパケットデータ構造では、分割再生データの文字コードを判別する文字コード情報をヘッダ部に有しており、再生データが含むテキストデータの文字コードを有するパケットが伝送途中でロスされた場合にも、分割再生データを正常な文字コードで再生可能となる。
付記3に記載のパケットデータ構造は、付記2に記載のパケットデータ構造であって、ヘッダ部は、文字コード情報のデータ長を示す第1データ長情報をさらに有する。
第1データ長情報は、文字コード情報のデータ長を、例えば、バイト長として指定するためのビット列である。
本発明のパケットデータ構造では、第1データ長情報により、可変長の文字コード情報を用いることができ、また文字コード情報の判定も確実に行うことが可能となる。
付記4に記載のパケットデータ構造は、付記2に記載のパケットデータ構造であって、文字コード情報は、2種類の文字コードを判別する1ビットのフラグである。
本発明のパケットデータ構造では、1ビットのフラグにより、例えば、分割再生データがUTF−8あるいはUTF−16 Big Endianのいずれでエンコードされているかなどを判別することが可能となる。
付記5に記載のパケットデータ構造は、修飾情報の付されたテキストデータを含む再生データを伝送し再生装置にて順次再生させるためのパケットデータ構造であって、ペイロード部と、ヘッダ部とを備えている。ペイロード部は、再生データの分割された一部である分割再生データを有する。ヘッダ部は、分割再生データにおける修飾情報の位置情報である第1位置情報を有する。
第1位置情報は、修飾情報の位置を、例えば、ペイロード部の先頭からのバイト長として指定する。
本発明のパケットデータ構造では、例えば、Timed Textにおけるテキストサンプルが有するテキストデータのデータ長を含むパケットが伝送途中でロスされた場合にも、分割再生データにおける修飾情報の識別が可能となる。この結果、修飾情報を確実にデコードすることが可能となり、また修飾情報とテキストデータとを混同し誤ったテキストを表示することが防止可能となる。
付記6に記載のパケットデータ構造は、付記5に記載のパケットデータ構造であって、分割再生データは、テキストデータの少なくとも一部と、テキストデータの少なくとも一部に続いて配置される修飾情報とを含んでいる。また、第1位置情報は、分割再生データの含むテキストデータのデータ長である。
分割再生データは、テキストデータをペイロード部の先頭から含んでおり、そのデータ長は、例えば、バイト長として指定されている。
本発明のパケットデータ構造では、修飾情報を確実にデコードすることが可能となり、また修飾情報とテキストデータとを混同し誤ったテキストを表示することが防止可能となる。
付記7に記載のパケットデータ構造は、付記5に記載のパケットデータ構造であって、修飾情報は、複数の部分修飾情報を含んでいる。分割再生データは、第1部分修飾情報の分割された一部と、第1部分修飾情報の分割された一部に続いて配置される第2部分修飾情報とを含んでいる。第1位置情報は、第1部分修飾情報の分割された一部のデータ長である。
分割された第1部分修飾情報は、ペイロード部の先頭から配置されており、そのデータ長は、例えば、バイト長として指定されている。
本発明のパケットデータ構造では、第2部分修飾情報を確実にデコードすることが可能となる。
付記8に記載のパケットデータ構造は、付記6または7に記載のパケットデータ構造であって、ヘッダ部は、分割再生データがテキストデータの少なくとも一部を含むことを示すテキスト存在情報をさらに有する。
本発明のパケットデータ構造では、複数の再生データを伝送する際に付記6または付記7に記載のパケットデータ構造を有するパケットが混在していても、テキストデータの有無により判別することが可能となる。
付記9に記載のパケットデータ構造は、修飾情報の付されたテキストデータを含む再生データを伝送し再生装置にて順次再生させるためのパケットデータ構造であって、ペイロード部と、ヘッダ部とを備えている。ペイロード部は、再生データの分割された一部である分割再生データを有する。ヘッダ部は、分割再生データが含む分割されたテキストデータである分割テキストデータのテキストデータにおける位置情報である第2位置情報を有する。
修飾情報は、テキストデータの修飾範囲を、例えば、バイト単位あるいはテキスト本文の文字数を単位などとして指定している。第2位置情報は、例えば、分割テキストデータのテキストデータにおける開始位置を、例えば、バイト単位あるいはテキスト本文の文字数を単位として表した情報などである。
本発明のパケットデータ構造では、第2位置情報により、修飾を付すべき分割テキストデータの範囲が判別可能となり、分割テキストデータに修飾効果を利用することが可能となる。
付記10に記載のパケットデータ構造は、付記9に記載のパケットデータ構造であって、第2位置情報は、分割テキストデータの位置情報をテキストの文字数を単位として含んでいる。
修飾情報は、テキストデータの修飾範囲を、テキスト本文の文字数を単位などとして指定している。
本発明のパケットデータ構造では、第2位置情報により、修飾を付すべき分割テキストデータの文字列の範囲が判別可能となり、分割テキストデータに修飾効果を利用することが可能となる。
付記11に記載のパケットデータ構造は、修飾情報の付されたテキストデータを含む再生データを伝送し再生装置にて順次再生させるためのパケットデータ構造であって、ペイロード部と、ヘッダ部とを備えている。ペイロード部は、再生データの分割された一部である分割再生データを有する。ヘッダ部は、修飾情報が含む部分修飾情報の修飾タイプを示す情報であって、分割再生データに含まれない修飾タイプ情報を有する。
部分修飾情報とは、例えば、Timed Textにおけるテキストサンプルのモディファイアなどである。
本発明のパケットデータ構造では、例えば、再生データの分割により、分割再生データが部分修飾情報の修飾タイプを示す情報を含まないこととなった場合に、ヘッダ部の有する修飾タイプ情報を用いて分割再生データの有する部分修飾情報を利用することが可能となる。
付記12に記載のパケットデータ構造は、修飾情報の付されたテキストデータを含む再生データを伝送し再生装置にて順次再生させるためのパケットデータ構造であって、ペイロード部と、ヘッダ部とを備えている。ペイロード部は、再生データの分割された一部である分割再生データを有する。ヘッダ部は、修飾情報が含む部分修飾情報を構成する単位修飾情報であって、分割再生データに含まれる第1単位修飾情報の位置情報である第3位置情報を有する。
本発明のパケットデータ構造では、例えば、再生データの分割により、分割再生データが分割された部分修飾情報を含む場合に、分割された部分修飾情報の第1単位修飾情報を判別してテキストデータに修飾効果を利用することが可能となる。
付記13に記載のパケットデータ構造は、付記12に記載のパケットデータ構造であって、ヘッダ部は、第3位置情報のデータ長を示す第2データ長情報をさらに有する。
本発明のパケットデータ構造では、第1単位修飾情報の識別に必要な第3位置情報をより確実に判別でき、第1単位修飾情報の識別をより確実に行うことが可能となる。
付記14に記載のパケットデータ構造は、修飾情報の付されたテキストデータを含む再生データを伝送し再生装置にて順次再生させるためのパケットデータ構造であって、ペイロード部と、ヘッダ部とを備えている。ペイロード部は、再生データの分割された一部である分割再生データを有する。ヘッダ部は、修飾情報が含む部分修飾情報を構成する単位修飾情報であって、分割再生データに含まれない第2単位修飾情報を有する。
第2単位修飾情報とは、例えば、分割により分割再生データに含まれないこととなった単位修飾情報のうち、分割再生データの含む単位修飾情報を利用するために必要となる情報などである。
本発明のパケットデータ構造では、第2単位修飾情報を用いて、分割再生データが含む分割された修飾情報を利用することが可能となる。
付記15に記載のパケットデータ構造は、付記14に記載のパケットデータ構造であって、ヘッダ部は、第2単位修飾情報のデータ長を示す第3データ長情報をさらに有する。
第2単位修飾情報は、部分修飾情報の修飾タイプに依存する情報である。
本発明のパケットデータ構造では、第3データ長情報により、第2単位修飾情報の識別をより確実に行うことが可能となる。
付記16に記載のパケットデータ構造は、修飾情報の付されたテキストデータを含む再生データを伝送し再生装置にて順次再生させるためのパケットデータ構造であって、ペイロード部と、ヘッダ部とを備えている。ペイロード部は、再生データの分割された一部である分割再生データを有する。ヘッダ部は、ペイロード部に付加され、テキスト存在情報と再生情報存在情報とを有する。また、テキスト存在情報は、分割再生データがテキストデータの少なくとも一部を含むことを示している。再生情報存在情報は、ヘッダ部が分割再生データの再生に必要な分割再生データ再生情報を含むことを示している。
分割再生データ再生情報とは、例えば、分割再生データが含むテキストデータの文字コード情報や分割再生データが含む修飾情報を利用するための情報などである。
分割再生データ再生情報が有する情報の種類は、テキスト存在情報に依存している。このため、テキスト存在情報と再生情報存在情報との組み合わせにより、分割再生データ再生情報が有する情報の種類が判別される。
本発明のパケットデータ構造では、分割再生データ再生情報が有する情報のすべてに対してビット列を割り当てなくとも、テキスト存在情報と再生情報存在情報との組み合わせにより分割再生データ再生情報の有する情報を判別可能となる。すなわち、パケットのロスに対する耐性を高めつつビット効率を高めることが可能となる。
付記17に記載のパケットデータ構造は、付記16に記載のパケットデータ構造であって、ヘッダ部は、分割再生データが再生データの最後に位置するデータであることを示す分割再生データ位置情報をさらに有する。
テキスト存在情報と、再生情報存在情報と、分割再生データ位置情報との組み合わせにより、分割再生データの分割状況を判別可能となる。
本発明のパケットデータ構造では、分割再生データの分割状況の判別を可能させる。これにより、分割再生データの再生開始のタイミングを判断することも可能となる。
付記18に記載のデータ再生装置は、付記1に記載のパケットデータ構造を有するパケットから再生データを再生するデータ再生装置であって、分割判断手段と、データ再生手段とを備えている。分割判断手段は、分割存在情報からペイロード部が分割再生データを含むことを判断する。データ再生手段は、分割判断手段の判断結果に基づいて、分割再生データ再生情報から分割再生データの再生を行う。
データ再生手段は、分割判断手段の判断結果に基づいて、パケットの解析を行う。すなわち、ペイロード部に分割再生データが含まれていると判断する場合、分割再生データ再生情報を解析し、分割再生データの再生を行うことができる。
本発明のデータ再生装置では、パケットのいくつかが伝送途中でロスされた場合にも、取得した分割再生データの再生を行うことが可能となる。
付記19に記載のデータ再生装置は、付記2に記載のパケットデータ構造を有するパケットから再生データを再生するデータ再生装置であって、文字コード判別手段と、データ再生手段とを備えている。文字コード判別手段は、文字コード情報から分割再生データが含む分割されたテキストデータの文字コードを判別する。データ再生手段は、文字コード判別手段の判別結果に基づいて、分割再生データの再生を行う。
データ再生手段は、文字コード判別手段の判別結果に基づいて、パケットの解析を行う。すなわち、分割再生データが含むテキストデータの文字コードを判別し、分割再生データの再生を行うことができる。
本発明のデータ再生装置では、パケットのいくつかが伝送途中でロスされた場合にも、取得した分割再生データを正常な文字コードで再生可能となる。
付記20に記載のデータ再生装置は、付記5に記載のパケットデータ構造を有するパケットから再生データを再生するデータ再生装置であって、第1位置情報取得手段と、データ再生手段とを備えている。第1位置情報取得手段は、第1位置情報から分割再生データにおける修飾情報の位置情報を取得する。データ再生手段は、第1位置情報取得手段の取得した位置情報に基づいて、分割再生データの再生を行う。
データ再生手段は、第1位置情報取得手段の取得した第1位置情報に基づいて、パケットの解析を行う。すなわち、第1位置情報から分割再生データにおける修飾情報を判別し、分割再生データの再生を行う。
本発明のデータ再生装置では、パケットのいくつかが伝送途中でロスされた場合にも、取得した分割再生データに修飾効果を利用することが可能となる。
付記21に記載のデータ再生装置は、付記9に記載のパケットデータ構造を有するパケットから再生データを再生するデータ再生装置であって、第2位置情報取得手段と、データ再生手段とを備えている。第2位置情報取得手段は、分割再生データが含む分割されたテキストデータである分割テキストデータのテキストデータにおける位置情報を取得する。データ再生手段は、第2位置情報取得手段の取得した位置情報に基づいて、分割再生データの再生を行う。
修飾情報は、テキストデータの修飾範囲を、例えば、バイト単位あるいはテキスト本文の文字数を単位などとして指定している。第2位置情報は、例えば、分割テキストデータのテキストデータにおける開始位置を、例えば、バイト単位あるいはテキスト本文の文字数を単位として表した情報などである。
データ再生手段は、第2位置情報取得手段の取得した第2位置情報に基づいて、パケットの解析を行う。すなわち、第2位置情報から修飾が付される分割テキストデータの範囲を特定し、分割テキストデータの再生を行う。
本発明のデータ再生装置では、パケットのいくつかが伝送途中でロスされた場合にも、取得した分割テキストデータに修飾効果を利用することが可能となる。
付記22に記載のデータ再生装置は、付記11に記載のパケットデータ構造を有するパケットから再生データを再生するデータ再生装置であって、修飾タイプ取得手段と、データ再生手段とを備えている。修飾タイプ取得手段は、修飾タイプ情報から分割再生データが含む部分修飾情報の修飾タイプを取得する。データ再生手段は、修飾タイプ取得手段の取得した修飾タイプに基づいて、分割再生データの再生を行う。
部分修飾情報とは、例えば、Timed Textにおけるテキストサンプルのモディファイアなどである。
本発明のデータ再生装置では、例えば、再生データの分割により、分割再生データが部分修飾情報の修飾タイプを示す情報を含まないこととなった場合に、ヘッダ部の有する修飾タイプ情報を用いて分割再生データの有する部分修飾情報を利用することができる。
付記23に記載のデータ再生装置は、付記12に記載のパケットデータ構造を有するパケットから再生データを再生するデータ再生装置であって、第1単位修飾情報取得手段と、データ再生手段とを備えている。第1単位修飾情報取得手段は、第3位置情報から第1単位修飾情報を取得する。データ再生手段は、第1単位修飾情報取得手段の取得した第1単位修飾情報に基づいて、再生データの再生を行う。
データ再生手段は、第1単位修飾情報取得手段の取得した第1単位修飾情報に基づいて、パケットの解析を行う。
本発明のデータ再生装置では、例えば、分割再生データが分割された部分修飾情報を含む場合に、分割された部分修飾情報のうち第1単位修飾情報を判別してテキストデータに修飾効果を利用することが可能となる。
付記24に記載のデータ再生装置は、付記14に記載のパケットデータ構造を有するパケットから再生データを再生するデータ再生装置であって第2単位修飾情報取得手段と、データ再生手段とを備えている。第2単位修飾情報取得手段は、第2単位修飾情報を取得する。データ再生手段は、第2単位修飾情報取得手段の取得した第2単位修飾情報に基づいて、再生データの再生を行う。
データ再生手段は、第2単位修飾情報取得手段の取得した第2単位修飾情報に基づいて、パケットの解析を行う。
本発明のデータ再生装置では、第2単位修飾情報により、分割再生データが含む分割された修飾情報を利用することが可能となる。
付記25に記載のデータ再生装置は、付記16に記載のパケットデータ構造を有するパケットから再生データを再生するデータ再生装置であって、再生情報判断手段と、データ再生手段とを備えている。再生情報判断手段は、テキスト存在情報と再生情報存在情報とに基づいて、分割再生データの有する分割再生データ再生情報を判断する。データ再生手段は、再生情報判断手段の判断結果に基づいて、再生データの再生を行う。
分割再生データ再生情報とは、例えば、分割再生データが含むテキストデータの文字コード情報や分割再生データが含む修飾情報を利用するための情報などである。
分割再生データ再生情報が有する情報の種類は、テキスト存在情報に依存している。このため、テキスト存在情報と再生情報存在情報との組み合わせにより、分割再生データ再生情報が有する情報の種類が判別される。
本発明のデータ再生装置では、テキスト存在情報と再生情報存在情報との組み合わせにより分割再生データ再生情報の有する情報を判別可能となる。
付記26に記載のデータ再生装置は、付記17に記載のパケットデータ構造を有するパケットから再生データを再生するデータ再生装置であって、分割状況判断手段と、再生制御手段とを備えている。分割状況判断手段は、テキスト存在情報と再生情報存在情報と分割再生データ位置情報とに基づいて、分割再生データの分割状況を判断する。再生制御手段は、分割状況判断手段の判断結果に基づいて、分割再生データの再生を制御する。
本発明のパケットデータ構造では、分割再生データの分割状況の判別を可能させる。これにより、再生制御手段は、分割再生データの再生開始のタイミングを判断することが可能となる。
[第6実施形態]
上記各実施形態で示したデータ伝送方法、データ受信方法、データ再生方法あるいはデータ多重方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
図50は、上記各実施形態のデータ伝送方法、データ受信方法、データ再生方法あるいはデータ多重方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。
図50(b)は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図50(a)は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクFDはケースF内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックTrが形成され、各トラックは角度方向に16のセクタSeに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクFD上に割り当てられた領域に、上記プログラムが記録されている。
また、図50(c)は、フレキシブルディスクFDに上記プログラムの記録再生を行うための構成を示す。データ伝送方法、データ受信方法、データ再生方法あるいはデータ多重方法を実現する上記プログラムをフレキシブルディスクFDに記録する場合は、コンピュータシステムCsから上記プログラムをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより上記データ伝送方法、データ受信方法、データ再生方法あるいはデータ多重方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ICカード、ROMカセット等、プログラムを記録できるものであれば同様に実施することができる。
[第7実施形態]
さらにここで、上記実施の形態で示したパケットデータ構造、データ伝送装置、データ受信装置、データ再生装置およびデータ多重装置の応用例とそれを用いたシステムを説明する。
図51は、コンテンツ配信サービスを実現するコンテンツ供給システムex100の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex107〜ex110が設置されている。
このコンテンツ供給システムex100は、例えば、インターネットex101にインターネットサービスプロバイダex102および電話網ex104、および基地局ex107〜ex110を介して、コンピュータex111、PDA(personal digital assistant)ex112、カメラex113、携帯電話ex114、カメラ付きの携帯電話ex115などの各機器が接続される。
しかし、コンテンツ供給システムex100は図51のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex107〜ex110を介さずに、各機器が電話網ex104に直接接続されてもよい。
カメラex113はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、PDC(Personal Digital Communications)方式、CDMA(Code Division Multiple Access)方式、W−CDMA(Wideband-Code Division Multiple Access)方式、若しくはGSM(Global System for Mobile Communications)方式の携帯電話機、またはPHS(Personal Handyphone System)等であり、いずれでも構わない。
また、ストリーミングサーバex103は、カメラex113から基地局ex109、電話網ex104を通じて接続されており、カメラex113を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex113で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラ116で撮影した動画データはコンピュータex111を介してストリーミングサーバex103に送信されてもよい。カメラex116はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex116で行ってもコンピュータex111で行ってもどちらでもよい。また、符号化処理はコンピュータex111やカメラex116が有するLSIex117において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータex111等で読み取り可能な記録媒体である何らかの蓄積メディア(CD−ROM、フレキシブルディスク、ハードディスクなど)に組み込んでもよい。さらに、カメラ付きの携帯電話ex115で動画データを送信してもよい。このときの動画データは携帯電話ex115が有するLSIで符号化処理されたデータである。
このコンテンツ供給システムex100では、ユーザがカメラex113、カメラex116等で撮影しているコンテンツ(例えば、音楽ライブを撮影した映像等)符号化処理してストリーミングサーバex103に送信する一方で、ストリーミングサーバex103は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex111、PDAex112、カメラex113、携帯電話ex114等がある。このようにすることでコンテンツ供給システムex100は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。
ここで、ストリーミングサーバex103は、本願発明のデータ伝送装置、データ多重装置としての機能も有している。さらにコンピュータex111、PDAex112、カメラex113、携帯電話ex114等は、本願発明のデータ受信装置、データ再生装置としての機能も有している。これにより、ストリーミングサーバex103からMP4ファイル形式で蓄積されたメディアデータをコンピュータex111、PDAex112、カメラex113、携帯電話ex114等で取得し、Timed Textをストリーミングにより表示させることが可能となる。
図52は、本発明のパケットデータ構造、データ受信装置、データ再生装置およびデータ多重装置を用いた携帯電話ex115を示す図である。携帯電話ex115は、基地局ex110との間で電波を送受信するためのアンテナex201、CCDカメラ等の映像、静止画を撮ることが可能なカメラ部ex203、カメラ部ex203で撮影した映像、アンテナex201で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex202、操作キーex204群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex208、音声入力をするためのマイク等の音声入力部ex205、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex207、携帯電話ex115に記録メディアex207を装着可能とするためのスロット部ex206を有している。記録メディアex207はSDカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるEEPROM(Electrically Erasable and Programmable Read Only Memory)の一種であるフラッシュメモリ素子を格納したものである。
さらに、携帯電話ex115について図53を用いて説明する。携帯電話ex115は表示部ex202及び操作キーex204を備えた本体部の各部を統括的に制御するようになされた主制御部ex311に対して、電源回路部ex310、操作入力制御部ex304、画像符号化部ex312、カメラインターフェース部ex303、LCD(Liquid Crystal Display)制御部ex302、画像復号化部ex309、多重分離部ex308、記録再生部ex307、変復調回路部ex306及び音声処理部ex305、テキスト復号化部ex314が同期バスex313を介して互いに接続されている。
電源回路部ex310は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex115を動作可能な状態に起動する。
携帯電話ex115は、CPU、ROM及びRAM等でなる主制御部ex311の制御に基づいて、音声通話モード時に音声入力部ex205で集音した音声信号を音声処理部ex305によってディジタル音声データに変換し、これを変復調回路部ex306でスペクトラム拡散処理し、送受信回路部ex301でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex201を介して送信する。また携帯電話機ex115は、音声通話モード時にアンテナex201で受信した受信信号を増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ex306でスペクトラム逆拡散処理し、音声処理部ex305によってアナログ音声信号に変換した後、これを音声出力部ex208を介して出力する。
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーex204の操作によって入力された電子メールのテキストデータは操作入力制御部ex304を介して主制御部ex311に送出される。主制御部ex311は、テキストデータを変復調回路部ex306でスペクトラム拡散処理し、送受信回路部ex301でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex201を介して基地局ex110へ送信する。
データ通信モード時に画像データを送信する場合、カメラ部ex203で撮像された画像データをカメラインターフェース部ex303を介して画像符号化部ex312に供給する。また、画像データを送信しない場合には、カメラ部ex203で撮像した画像データをカメラインターフェース部ex303及びLCD制御部ex302を介して表示部ex202に直接表示することも可能である。
画像符号化部ex312は、カメラ部ex203から供給された画像データを圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex308に送出する。また、このとき同時に携帯電話機ex115は、カメラ部ex203で撮像中に音声入力部ex205で集音した音声を音声処理部ex305を介してディジタルの音声データとして多重分離部ex308に送出する。
多重分離部ex308は、画像符号化部ex312から供給された符号化画像データと音声処理部ex305から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex306でスペクトラム拡散処理し、送受信回路部ex301でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex201を介して送信する。
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex201を介して基地局ex110から受信した受信信号を変復調回路部ex306でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex308に送出する。
また、アンテナex201を介して受信された多重化データを復号化するには、多重分離部ex308は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスex313を介して当該符号化画像データを画像復号化部ex309に供給すると共に当該音声データを音声処理部ex305に供給する。さらに、MP4ファイルのうち、Timed Textトラックをテキスト復号化部ex314に供給する。
次に、画像復号化部ex309は、画像データの符号化ビットストリームを復号することにより再生動画像データを生成し、これをLCD制御部ex302を介して表示部ex202に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ex305は、音声データをアナログ音声信号に変換した後、これを音声出力部ex208に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。また、テキスト復号化部ex314は、テキストサンプルを上記実施形態で述べたように再生し、LCD制御部ex302を介して表示部ex202に供給し、再生動画像データと同期的に表示させる。
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図54に示すようにディジタル放送用システムにも本発明のデータ伝送装置、データ受信装置、データ多重装置またはデータ再生装置のいずれかを組み込むことができる。
具体的には、放送局ex409では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ex410に伝送される。これを受けた放送衛星ex410は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex406で受信し、テレビ(受信機)ex401またはセットトップボックス(STB)ex407などの装置により符号化ビットストリームを復号化してこれを再生する。また、記録媒体であるCDやDVD等の蓄積メディアex402に記録した符号化ビットストリームを読み取り、復号化する再生装置ex403にも本発明のデータ受信装置、データ再生装置を実装することが可能である。この場合、再生された映像信号およびテキストトラックはモニタex404に表示される。また、ケーブルテレビ用のケーブルex405または衛星/地上波放送のアンテナex406に接続されたセットトップボックスex407内に本発明のデータ受信装置、データ再生装置を実装し、これをテレビのモニタex408で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内にデータ受信装置、データ再生装置を組み込んでも良い。また、アンテナex411を有する車ex412で衛星ex410からまたは基地局ex107等から信号を受信し、車ex412が有するカーナビゲーションex413等の表示装置に動画を再生することも可能である。
更に、画像信号を記録媒体に記録することもできる。具体例としては、DVDディスクex421に画像信号を記録するDVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダex420がある。更にSDカードex422に記録することもできる。レコーダex420が本発明のデータ再生装置を備えていれば、DVDディスクex421やSDカードex422に記録した画像信号を再生し、モニタex408で表示することができる。
なお、カーナビゲーションex413の構成は例えば図54に示す構成のうち、カメラ部ex203とカメラインターフェース部ex303、画像符号化部ex312を除いた構成が考えられ、同様なことがコンピュータex111やテレビ(受信機)ex401等でも考えられる。
また、上記携帯電話ex114等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の3通りの実装形式が考えられる。
このように、上記実施の形態で示したパケットデータ構造、データ伝送装置、データ伝送方法、データ受信装置、データ受信方法、データ再生装置およびデータ多重装置を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。
[第8実施形態]
本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形又は修正が可能である。また、上記実施形態で述べた方法は、プログラムとしてコンピュータなどにより実現されることも可能である。
本発明にかかる伝送データ構造は、Timed Textをストリーミング型の配信で使用するのに好適な伝送データ構造の提供が求められるテキスト伝送データ等に適用可能である。
本発明のPESパケットのデータ構造を示す図(第1実施形態) 本発明のPESパケットのデータ構造の詳細説明図(第1実施形態) 本発明のデータ伝送装置のブロック図(第1実施形態) 本発明のデータ伝送方法の動作フローチャート(第1実施形態) 本発明のデータ伝送方法の詳細説明図(第1実施形態) 本発明のデータ受信装置のブロック図(第1実施形態) 本発明のデータ受信方法の動作フローチャート(第1実施形態) 本発明のデータ受信装置におけるデータ解析のシンタクスを説明する説明図(第1実施形態) 複数のPESパケットが備えるテキストフレームの再生時刻が重複している場合にデコードすべきテキストフレームを判定する規則について説明する説明図(第1実施形態) PESパケットが受信された時刻がそのPESパケットのPTSが示す時刻を経過している場合にデコードすべきテキストフレームを判定する規則について説明する説明図(第1実施形態) 時間変化を伴う処理を含むテキストフレームを受信した場合の再生状態を説明する説明図(第1実施形態) 本発明の変形例としてのPESパケットのデータ構造を示す図(第1実施形態) 本発明の変形例としてのPESパケットのデータ構造を示す図(第1実施形態) 本発明の変形例としてのサンプルディスクリプションのデータ構造を示す図(第1実施形態) 本発明のPESパケットのデータ構造を示す図(第2実施形態) 本発明のデータ伝送装置のブロック図(第2実施形態) 本発明のデータ受信装置のブロック図(第2実施形態) 本発明の変形例としてのPESパケットのデータ構造を示す図(第2実施形態) 本発明の変形例としてのPESパケットのデータ構造を示す図(第2実施形態) RTP/RTSPシーケンスの一般的な処理を説明する説明図(第3実施形態) インバンド伝送におけるRTPパケットのデータ構造を示す図(第3実施形態) アウトバンド伝送におけるRTPパケットのデータ構造を示す図(第3実施形態) 本発明のデータ伝送装置のブロック図(第3実施形態) 本発明のデータ受信装置のブロック図(第3実施形態) MP4ファイル形式のメディアデータを取得する際の一般的な処理の流れを説明する説明図(第4実施形態) Timed TextをRTPパケットとして伝送する場合に伝送される基本パケットPt0について説明する説明図(第4実施形態) 分割パケットの基本的構造について説明する説明図(第4実施形態) テキスト本文Td0の文字コードの識別情報を有する分割ヘッダの概要について説明する説明図(第4実施形態) モディファイアMd0の開始位置を示すための情報を有する分割ヘッダの概要について説明する説明図(第4実施形態) モディファイアMd0の開始位置を示すための情報を有する分割ヘッダの概要について説明する説明図(第4実施形態) テキストサンプルTs0の分割のバリエーションとモディファイアまたはモディファイアボックスの開始位置情報との関係について説明する説明図(第4実施形態) 分割テキストサンプルが含むテキスト本文の一部がテキスト本文の全体の何文字目以降を含むかに関する情報を有する分割ヘッダの概要について説明する説明図(第4実施形態) 分割されたモディファイアボックスの再生のために格納される情報について概要を説明する説明図(第4実施形態) 分割されたカラオケスタイルのモディファイアボックスの再生のために格納される情報について説明する説明図(第4実施形態) 分割された文字スタイルのモディファイアボックスの再生のために格納される情報について説明する説明図(第4実施形態) 分割されたハイパーリンクスタイルのモディファイアボックスの再生のために格納される情報について説明する説明図(第4実施形態) 分割パケットPtNのヘッダ部HdNの構造の一例を説明する説明図(第4実施形態) 本発明のデータ構造を有するRTPパケットを再生するためのデータ再生装置710のブロック図(第4実施形態) 本発明のデータ構造を有するRTPパケットを再生するためのデータ再生方法を説明するフローチャート(第4実施形態) 本発明のデータ構造を有するRTPパケットを作成するためのデータ多重装置720のブロック図(第4実施形態) 本発明のデータ構造を有するRTPパケットを作成するためのデータ多重方法を説明するフローチャート(第4実施形態) 第5実施形態にかかる分割ヘッダFhNの構造について説明する説明図(第5実施形態) テキストインジケータと分割ヘッダフラグとの組み合わせに対する、分割ヘッダFhNの備える情報について説明する説明図(第5実施形態) テキストインジケータと分割ヘッダフラグとの組み合わせに対する、サンプルヘッダShNの備える情報について説明する説明図(第5実施形態) テキストサンプルの分割状況テーブル(第5実施形態) 本発明のデータ構造を有するRTPパケットを再生するためのデータ再生装置730のブロック図(第5実施形態) 本発明のデータ構造を有するRTPパケットを再生するためのデータ再生方法を説明するフローチャート(第5実施形態) 本発明のデータ構造を有するRTPパケットを作成するためのデータ多重装置740のブロック図(第5実施形態) 本発明のデータ構造を有するRTPパケットを作成するためのデータ多重方法を説明するフローチャート(第5実施形態) 上記各実施の形態のデータ伝送方法あるいはデータ受信方法をコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についての説明図(第6実施形態) コンテンツ供給システムの全体構成を示すブロック図(第7実施形態) 本発明のデータ受信装置、データ再生装置を搭載する携帯電話の例(第7実施形態) 携帯電話のブロック図(第7実施形態) ディジタル放送用システムの例(第7実施形態) 3GPPで規定されるTimedTextのデータ構造を説明する説明図(背景技術) TimedTextのデータ構造の詳細説明図(背景技術)
符号の説明
1 PESパケット
111 トラックヘッダ
111a トラックヘッダ識別子
112 サンプルディスクリプション
112a サンプルディスクリプション識別子
113 コンフィグインフォメーション
113a コンフィグインフォメーション識別子
114 テキストフレーム
114a テキストフレーム識別子
1141 セグメントテキストヘッダ
1141a インデックス
1141b デュレーション
1142 テキストサンプル
3 データ伝送装置
6 データ受信装置
Cs コンピュータ・システム
FD フレキシブルディスク
FDD フレキシブルディスクドライブ

Claims (26)

  1. テキストデータの再生にかかるテキスト再生用データを転送し、データ受信装置に順次再生させるためのテキスト伝送用データの伝送データ構造であって、
    前記テキストデータ全体の再生に関わる全体テキストヘッダデータと、
    分割された前記テキストデータを含む分割テキストデータと、
    前記分割テキストデータ毎に配置され、前記分割テキストデータの個々の再生に関わる分割テキストヘッダデータと、
    を備えるテキスト伝送用データの伝送データ構造。
  2. 前記分割テキストヘッダデータは、前記分割テキストデータの再生時間に関する再生時間情報を含んでいる、
    請求項1に記載のテキスト伝送用データの伝送データ構造。
  3. 前記分割テキストヘッダデータは、前記分割テキストデータのデータ長に関するデータ長情報を含んでいる、
    請求項1または2に記載のテキスト伝送用データの伝送データ構造。
  4. 前記全体テキストヘッダデータは、前記テキストデータの再生領域に関する情報を含むテキスト再生情報と、前記分割テキストデータの書式に関する情報を含む書式情報とを含んでいる、
    請求項1〜3のいずれかに記載のテキスト伝送用データの伝送データ構造。
  5. 前記全体テキストヘッダデータは、前記分割テキストヘッダデータのデータ長をカスタマイズするためのデータ長カスタマイズ情報をさらに含んでいる、
    請求項4に記載のテキスト伝送用データの伝送データ構造。
  6. 前記分割テキストヘッダデータは、前記分割テキストデータと前記書式情報との関連を示すインデックスを含む、
    請求項4または5に記載のテキスト伝送用データの伝送データ構造。
  7. 前記テキスト伝送用データは、複数のパケットから構成され、
    前記テキスト再生情報は、前記分割テキストデータおよび前記分割テキストヘッダデータと異なる形式でパケット化されている、
    請求項4〜6のいずれかに記載のテキスト伝送用データの伝送データ構造。
  8. 前記書式情報は、前記テキスト再生情報と同じ形式でパケット化されている、
    請求項7に記載のテキスト伝送用データの伝送データ構造。
  9. 前記書式情報は、前記分割テキストデータおよび前記分割テキストヘッダデータと同じ形式でパケット化されている、
    請求項7に記載のテキスト伝送用データの伝送データ構造。
  10. 前記書式情報は、複数の書式情報単位を含み、
    前記書式情報単位は、前記分割テキストデータ毎に配置される、
    請求項9に記載のテキスト伝送用データの伝送データ構造。
  11. 前記テキスト伝送用データは、多重化データとして伝送されるデータである、
    請求項1〜10のいずれかに記載のテキスト伝送用データの伝送データ構造。
  12. 請求項1〜11のいずれかに記載の伝送データ構造を有するテキスト伝送用データを受信する受信ステップと、
    前記テキスト伝送用データが含む前記全体テキストヘッダデータと前記分割テキストデータと前記分割テキストヘッダデータとに基づいて、前記分割テキストデータが含む分割された前記テキストデータを順次再生する再生ステップと、
    を備えるテキスト伝送用データのデータ受信方法。
  13. 請求項1〜11のいずれかに記載の伝送データ構造を有するテキスト伝送用データを受信する受信手段と、
    前記テキスト伝送用データが含む前記全体テキストヘッダデータと前記分割テキストデータと前記分割テキストヘッダデータとに基づいて、前記分割テキストデータが含む分割された前記テキストデータを順次再生する再生手段と、
    を備えるテキスト伝送用データのデータ受信装置。
  14. コンピュータにより、請求項1〜11のいずれかに記載の伝送データ構造を有するテキスト伝送用データのデータ受信方法を行うためのデータ受信プログラムであって、
    前記データ受信プログラムは、コンピュータに、
    請求項1〜11のいずれかに記載の伝送データ構造を有するテキスト伝送用データを受信する受信ステップと、
    前記テキスト伝送用データが含む前記全体テキストヘッダデータと前記分割テキストデータと前記分割テキストヘッダデータとに基づいて、前記分割テキストデータが含む分割された前記テキストデータを順次再生する再生ステップと、
    を備えるデータ受信方法
    を、行わせるものであるデータ受信プログラム。
  15. テキストデータの再生にかかるテキスト再生用データを転送し順次再生させるためのテキスト伝送用データの伝送データ構造であって、
    前記テキスト再生用データは、前記テキストデータを分割した複数の分割テキストデータと、分割テキストデータを再生するための情報を含むテキストヘッダデータとを含み、
    前記テキスト伝送用データは、複数のパケットから構成され、
    前記分割テキストデータは、前記各パケット内において表示順に配置され、
    前記パケットは前記各分割テキストデータの再生時刻情報を有し、
    第2のパケットは、その前の第1のパケットの分割テキストデータと再生時刻情報が重複する分割テキストデータを含んでいる、
    テキスト伝送用データの伝送データ構造。
  16. 前記パケットに含まれる前記分割テキストデータの個数は、前記テキスト伝送用データの伝送のために確保された伝送路帯域とほぼ一致する帯域で前記パケットが伝送されるような個数として決定される、
    請求項15に記載のテキスト伝送用データの伝送データ構造。
  17. 前記テキスト伝送用データは、多重化データとして伝送されるデータである、
    請求項15または16に記載のテキスト伝送用データの伝送データ構造。
  18. 請求項15〜17のいずれかに記載の伝送データ構造を有するテキスト伝送用データのデータ受信方法であって、
    前記第1のパケットの各分割テキストデータの再生時刻情報が示す時刻Tnと、前記第2のパケットの最初の分割テキストデータの再生時刻情報が示す時刻Taとを取得する時刻取得ステップと、
    前記第1のパケットにおいて前記時刻Tnが前記時刻Taと等しい又は後である分割テキストデータを、前記第2のパケットにおいて再生時刻情報が重複する分割テキストデータに置き換える置換ステップと、
    を備えたテキスト伝送用データのデータ受信方法。
  19. 請求項15〜17のいずれかに記載の伝送データ構造を有するテキスト伝送用データのデータ受信方法であって、
    第1の分割テキストデータの受信時刻Tdが、前記第1の分割テキストデータの再生時刻情報が示す時刻Tnより遅くかつ次の第2の分割テキストデータの再生時刻情報の示す時刻Tn+1より早く受信されたか否かを判断する受信遅延判断ステップと、
    前記判断が肯定的であった場合に、前記第1の分割テキストデータを、前記受信時刻Tdから前記時刻Tn+1までの間に再生する再生ステップと、
    を備えたテキスト伝送用データのデータ受信方法。
  20. 前記再生ステップでは、前記第1の分割テキストデータにおいて前記時刻Tnから前記受信時刻Tdまでの時間が経過した時点の再生状態から、前記第1の分割テキストデータの再生を開始する、
    請求項19に記載のテキスト伝送用データのデータ受信方法。
  21. 請求項15〜17のいずれかに記載の伝送データ構造を有するテキスト伝送用データのデータ受信装置であって、
    前記第1のパケットの各分割テキストデータの再生時刻情報が示す時刻Tnと、前記第2のパケットの最初の分割テキストデータの再生時刻情報が示す時刻Taとを取得する時刻取得手段と、
    前記第1のパケットにおいて前記時刻Tnが前記時刻Taと等しい又は後である分割テキストデータを、前記第2のパケットにおいて再生時刻情報が重複する分割テキストデータに置き換える置換手段と、
    を備えたテキスト伝送用データのデータ受信装置。
  22. 請求項15〜17のいずれかに記載の伝送データ構造を有するテキスト伝送用データのデータ受信装置であって、
    第1の分割テキストデータの受信時刻Tdが、前記第1の分割テキストデータの再生時刻情報が示す時刻Tnより遅くかつ次の第2の分割テキストデータの再生時刻情報の示す時刻Tn+1より早く受信されたか否かを判断する受信遅延判断手段と、
    前記判断が肯定的であった場合に、前記第1の分割テキストデータを、前記受信時刻Tdから前記時刻Tn+1までの間に再生する再生手段と、
    を備えたテキスト伝送用データのデータ受信装置。
  23. 前記再生手段では、前記第1の分割テキストデータにおいて前記時刻Tnから前記受信時刻Tdまでの時間が経過した時点の再生状態から、前記第1の分割テキストデータの再生を開始する、
    請求項22に記載のテキスト伝送用データのデータ受信装置。
  24. コンピュータにより、請求項15〜17のいずれかに記載の伝送データ構造を有するテキスト伝送用データのデータ受信方法を行うためのデータ受信プログラムであって、
    前記データ受信プログラムは、コンピュータに、
    前記第1のパケットの各分割テキストデータの再生時刻情報が示す時刻Tnと、前記第2のパケットの最初の分割テキストデータの再生時刻情報が示す時刻Taとを取得する時刻取得ステップと、
    前記第1のパケットにおいて前記時刻Tnが前記時刻Taと等しい又は後である分割テキストデータを、前記第2のパケットにおいて再生時刻情報が重複する分割テキストデータに置き換える置換ステップと、
    を備えたテキスト伝送用データのデータ受信方法
    を、行わせるものであるデータ受信プログラム。
  25. コンピュータにより、請求項15〜17のいずれかに記載の伝送データ構造を有するテキスト伝送用データのデータ受信方法を行うためのデータ受信プログラムであって、
    前記データ受信プログラムは、コンピュータに、
    第1の分割テキストデータの受信時刻Tdが、前記第1の分割テキストデータの再生時刻情報が示す時刻Tnより遅くかつ次の第2の分割テキストデータの再生時刻情報の示す時刻Tn+1より早く受信されたか否かを判断する受信遅延判断ステップと、
    前記判断が肯定的であった場合に、前記第1の分割テキストデータを、前記受信時刻Tdから前記時刻Tn+1までの間に再生する再生ステップと、
    を備えたテキスト伝送用データのデータ受信方法
    を、行わせるものであるデータ受信プログラム。
  26. 前記再生ステップでは、前記第1の分割テキストデータにおいて前記時刻Tnから前記受信時刻Tdまでの時間が経過した時点の再生状態から、前記第1の分割テキストデータの再生を開始する、
    請求項25に記載のデータ受信プログラム。
JP2003345492A 2002-10-08 2003-10-03 伝送データ構造、データ受信方法、データ受信装置およびデータ受信プログラム Pending JP2004254281A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003345492A JP2004254281A (ja) 2002-10-08 2003-10-03 伝送データ構造、データ受信方法、データ受信装置およびデータ受信プログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2002295423 2002-10-08
JP2003024613 2003-01-31
JP2003345492A JP2004254281A (ja) 2002-10-08 2003-10-03 伝送データ構造、データ受信方法、データ受信装置およびデータ受信プログラム

Publications (1)

Publication Number Publication Date
JP2004254281A true JP2004254281A (ja) 2004-09-09

Family

ID=33033040

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003345492A Pending JP2004254281A (ja) 2002-10-08 2003-10-03 伝送データ構造、データ受信方法、データ受信装置およびデータ受信プログラム

Country Status (1)

Country Link
JP (1) JP2004254281A (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1760604A2 (en) 2005-08-31 2007-03-07 Fujitsu Ltd. Text editing and reproduction apparatus, content editing and reproduction apparatus, and text editing and reproduction method
JP2007074627A (ja) * 2005-09-09 2007-03-22 Nec Corp デジタル放送受信再生装置、方法及びプログラム
JP2009506475A (ja) * 2005-08-31 2009-02-12 リサーチ・アンド・インダストリアル・コーオペレイション・グループ 統合マルチメディアファイルフォーマット構造と、統合マルチメディアファイルフォーマット構造に基づくマルチメディアサービスシステム及び方法
JP2011139221A (ja) * 2009-12-28 2011-07-14 Toshiba Corp 放送受信装置及び放送受信方法
JP2014503162A (ja) * 2011-01-19 2014-02-06 サムスン エレクトロニクス カンパニー リミテッド 放送システムにおけるマルチメディアデータの転送装置及び方法
CN105612407A (zh) * 2013-10-09 2016-05-25 富士机械制造株式会社 多路复用通信系统及作业用机器人
WO2017154607A1 (ja) * 2016-03-10 2017-09-14 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009506475A (ja) * 2005-08-31 2009-02-12 リサーチ・アンド・インダストリアル・コーオペレイション・グループ 統合マルチメディアファイルフォーマット構造と、統合マルチメディアファイルフォーマット構造に基づくマルチメディアサービスシステム及び方法
US7681115B2 (en) 2005-08-31 2010-03-16 Fujitsu Limited Text editing and reproduction apparatus, content editing and reproduction apparatus, and text editing and reproduction method
EP1760604A2 (en) 2005-08-31 2007-03-07 Fujitsu Ltd. Text editing and reproduction apparatus, content editing and reproduction apparatus, and text editing and reproduction method
JP2007074627A (ja) * 2005-09-09 2007-03-22 Nec Corp デジタル放送受信再生装置、方法及びプログラム
JP2011139221A (ja) * 2009-12-28 2011-07-14 Toshiba Corp 放送受信装置及び放送受信方法
US10484445B2 (en) 2011-01-19 2019-11-19 Samsung Electronics Co., Ltd. Apparatus and method for transmitting multimedia data in a broadcast system
JP2014503162A (ja) * 2011-01-19 2014-02-06 サムスン エレクトロニクス カンパニー リミテッド 放送システムにおけるマルチメディアデータの転送装置及び方法
JP2017147770A (ja) * 2011-01-19 2017-08-24 サムスン エレクトロニクス カンパニー リミテッド 放送システムにおけるマルチメディアデータの転送装置及び方法
US10911510B2 (en) 2011-01-19 2021-02-02 Samsung Electronics Co., Ltd. Apparatus and method for transmitting multimedia data in a broadcast system
US10506007B2 (en) 2011-01-19 2019-12-10 Samsung Electronics Co., Ltd. Apparatus and method for transmitting multimedia data in a broadcast system
US10104144B2 (en) 2011-01-19 2018-10-16 Samsung Electronics Co., Ltd. Apparatus and method for transmitting multimedia data in a broadcast system
CN105612407A (zh) * 2013-10-09 2016-05-25 富士机械制造株式会社 多路复用通信系统及作业用机器人
CN105612407B (zh) * 2013-10-09 2018-05-15 富士机械制造株式会社 多路复用通信系统及作业用机器人
JPWO2017154607A1 (ja) * 2016-03-10 2019-01-10 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2017154607A1 (ja) * 2016-03-10 2017-09-14 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Similar Documents

Publication Publication Date Title
KR102127733B1 (ko) 멀티미디어 시스템에서 미디어 컨텐츠 전송 방법 및 장치
KR101973544B1 (ko) 멀티미디어 시스템에서 복합 미디어 컨텐츠를 송수신하는 방법 및 장치
KR101429773B1 (ko) 내손실성 멀티미디어 멀티캐스팅 방법 및 시스템
US11617019B2 (en) Retrieving and accessing segment chunks for media streaming
CN105612753B (zh) 媒体流传输期间在适配集合间的切换方法和装置
JP6285608B2 (ja) ネットワークを介して交換されたファイルのためのエラー処理
US8756334B2 (en) Moving image reproducing apparatus and method
US20060291475A1 (en) Selective forward error correction
CN112154672B (zh) 一种检索媒体数据的方法、设备及可读存储介质
US9369508B2 (en) Method for transmitting a scalable HTTP stream for natural reproduction upon the occurrence of expression-switching during HTTP streaming
US7558296B2 (en) Multiplexer and demultiplexer
JP2006166453A (ja) ネットワークを通じてマルチメディアコンテンツを伝送する装置及び方法
CN110996160B (zh) 视频处理方法、装置、电子设备及计算机可读取存储介质
KR20160106150A (ko) 완벽 스플라이싱을 위한 인코딩된 오디오의 전송 스트림에의 삽입
JP3836077B2 (ja) 伝送データ構造及びそれを伝送するための方法並びに装置
EP1553733A1 (en) Transmission data structure, data receiving method, data receiving apparatus, and data receiving program
KR102473346B1 (ko) 디지털 방송 서비스 방법 및 장치
KR20220131314A (ko) 미디어 스트리밍을 위한 방법 및 장치
JP2004254281A (ja) 伝送データ構造、データ受信方法、データ受信装置およびデータ受信プログラム
JP4511952B2 (ja) メディア再生装置
KR102208814B1 (ko) 통신 시스템에서 패킷 송수신 방법 및 장치
JP4391412B2 (ja) ディジタルストリームの動的多重化方法
CN110574378B (zh) 用于媒体内容资产改变的方法及装置
CN114009030A (zh) 用于发信号通知和识别存取单元边界的技术
CN110798731A (zh) 视频数据的处理方法、装置、电子设备及计算机可读介质