JP2016072697A - 再生装置、および放送装置 - Google Patents

Abstract

【課題】処理が簡易で遅延が小さくエラーへの対応が容易なデータ構造を実現する。
【解決手段】先頭処理単位における先頭サンプルデータの表示タイムスタンプを符号化データの制御情報から取り出す同期制御部（２３）と、先頭サンプルデータの表示タイムスタンプからサンプルデータの再生タイミングを導出するオーディオパーサ（２４）、ビデオパーサ（２５）とを備える。
【選択図】図１

Description

本発明は、ＭＭＴ（MPEG Media Transport）を用いる放送システムにおける、コンテンツの放送装置および再生装置に関する。

近年、デジタル放送においてＭＭＴを用いた放送システムが採用されている。ＭＭＴでは、コンテンツを構成するアセット間の同期再生を実現するための時間情報として、ＭＰＵタイムスタンプ記述子、ＭＰＵ（Media Processing Unit）メタデータ、およびＭＦ（Media Fragment）メタデータを用いることを想定している。

また、新規格では、ＭＰＵメタデータおよびＭＦメタデータに代わり、ＭＰＵ拡張タイムスタンプ記述子を用いることが想定されている。

ＩＳＯ／ＩＥＣ ２３００８−１ Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ−Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｃｏｄｉｎｇ ａｎｄ ｍｅｄｉａ ｄｅｌｉｖｅｒｒｙ ｉｎ ｈｅｔｅｒｏｇｅｎｅｏｕｓ ｅｎｖｉｒｏｎｍｅｎｔｓ−Ｐａｒｔ １：ＭＰＥＧ Ｍｅｄｉａ Ｔｒａｎｓｐｏｒｔ（ＭＭＴ）、２０１３年１１月 「デジタル放送におけるＭＭＴによるメディアトランスポート方式」、ＡＲＩＢ ＳＴＤ−Ｂ６０、１．０版、一般社団法人電波産業会、平成２６年７月

しかしながら、上述のような従来技術は、以下の問題がある。まず、ＭＰＵメタデータ、およびＭＦメタデータを用いる場合、当該データの生成には、アセットを構成した各サンプルを符号化したＭＦＵ（Media Fragment Unit）のサイズが必要となるため、ＭＦＵ生成完了を待つ必要が生じ、アセットのライブエンコードを行う場合は、配信遅延が生じてしまう。よって、低遅延のライブ配信を実現することが難しい。

一方、ＭＰＵ拡張タイムスタンプ記述子を用いる場合、ＭＦＵサイズに関係なく当該データを生成できるため、低遅延のライブ配信に適応可能である。ＭＰＵ拡張タイムスタンプ記述子は、コンテンツを構成するアセット毎にＭＰＵタイムスタンプ記述子と共にＰＡ（Package Access）メッセージに記述される。１つのＰＡメッセージには、コンテンツを構成する全てのアセットに関する情報が記述されており、ＭＰＵ拡張タイムスタンプ記述子以外の多数の情報がまとめて記述されているため、再生対象のアセットに関するＭＰＵ拡張タイムスタンプ記述子の抽出、当該アセットの各サンプルに対するタイムスタンプ導出処理が煩雑となる問題がある。また、ＰＡメッセージに含まれる一部の情報に変更があった場合、当該メッセージに付与されるバージョン番号が更新されて新たなＰＡメッセージとして配信されるが、ＭＰＵ拡張タイムスタンプ記述子の更新頻度が、ＰＡメッセージに含まれる他の情報に比べて格段に高く、更新頻度が低い情報については、無駄な更新の有無の確認が頻発することとなる。また、ＰＡメッセージには、全てのアセットのＭＰＵ拡張タイムスタンプ記述子が記述されるため、ＰＡメッセージが伝送路上で消失した場合、その影響が全てのアセットに及んでしまう。

本発明は、上記課題に鑑みてなされたものであり、その目的は、処理が簡易で、遅延が小さく、エラーへの対応が容易なデータ構造で時間情報を記述したコンテンツデータを受信する再生装置、送信する送信装置を実現することにある。

上記の課題を解決するために、本発明の一態様に係る再生装置は、受信した符号化データを処理単位ごとに処理して再生する再生装置であって、再生対象の先頭である先頭処理単位における先頭サンプルデータの表示に関するタイムスタンプを上記符号化データに含まれる制御情報から取出すタイムスタンプ取出し手段と、上記タイムスタンプ取出し手段が取出した上記の先頭サンプルデータの表示に関するタイムスタンプを用いて、上記先頭処理単位に後続する後続処理単位におけるサンプルデータの再生タイミングを導出するタイミング導出手段と、上記タイミング導出手段が導出した再生タイミングで上記サンプルデータを再生する再生手段と、を備えている。

また、本発明の一態様に係る放送装置は、映像データを処理単位ごとに符号化した符号化データを再生装置に送信する放送装置であって、再生対象の先頭となる先頭処理単位に含まれる先頭サンプルデータの表示に関するタイムスタンプを上記符号化データの制御情報に格納した符号化データを生成する符号化データ生成手段と、上記符号化データ生成手段が生成した符号化データを再生装置に送信する送信手段と、を備えている。

本発明の一態様によれば、サンプルデータの再生タイミングの導出に必要な情報の配信および、当該情報から再生タイミング導出処理に遅延が生じることがなく、低遅延のライブ配信を実現できるという効果を奏する。

本発明に係る放送システムの要部構成を示すブロック図である。 符号化信号の概要を示す図である。 ＭＭＴで伝送されるＭＰＵのデータ構成を示す図である。 ＭＰＵタイムスタンプ記述子、およびＭＰＵ拡張タイムスタンプ記述子が記述されているＰＡ（Package Access）メッセージとＭＰＵとの関係を示す図である。 ＭＰＵタイムスタンプ記述子の具体的なデータ構造を示す図である。 ＭＰＵ拡張タイムスタンプ記述子の具体的なデータ構造を示す図である。 制御情報の構成を示す図である。 本実施形態に係る放送システムを用いて映像信号をＨＥＶＣで配信する場合のデータ構成例を示す図である。 上記実施形態に係る放送装置における処理の流れを示すフローチャートである。 上記実施形態に係る再生装置における処理の流れを示すフローチャートである。 本発明の他の実施形態で用いるＭＰＵ拡張タイムスタンプ記述子の構成を示す図である。 上記他の実施形態に係る放送システムを用いて映像信号をＨＥＶＣで配信する場合のデータ構成例を示す図である。

〔前提となる構成〕
本実施形態を説明する前に、本発明の前提となる構成について、図２〜図７を用いて説明する。本実施形態に係る放送システム１００は、デジタル放送におけるＭＭＴ（MPEG Media Transport）によるメディアトランスポート方式を用いるものである。

図２は、本実施形態における符号化信号の概要を示す図である。図２に示すように、ＭＭＴにおける符号化信号を構成する要素として、ＭＦＵ（Media Fragment Unit）、ＭＰＵ（Media Processing Unit）、ＭＭＴＰ（MMT Protocol）ペイロード、ＭＭＴＰパケットがある。

ＭＰＵは、映像信号および音声信号等のアセットを処理する単位である。ＭＰＵには、サンプルデータを符号化した一つ以上のアクセスユニットが含まれる。ＭＰＵは、単体で映像や音声の復号処理を行うことができる単位となる。ＭＰＵの大きさは任意であり、任意の数のアクセスユニットを含むことができる。

ＭＦＵは、ＭＰＵよりも小さな単位であり、サンプルデータを符号化して得られるアクセスユニットやアクセスユニットを細分化したＮＡＬユニットを単位としてＭＦＵとすることができる。

ＭＭＴＰペイロードは、ＭＦＵおよびＭＭＴの制御情報を伝送するものである。ＭＭＴＰパケットは、ＭＭＴＰペイロードを伝送するものである。ＭＭＴＰペイロードは１つのＭＭＴＰパケットで伝送される。

図３に、ＭＭＴで伝送されるＭＰＵのデータ構成を示す。図３に示すように、ＭＰＵの論理構造は、ISO Base Media Formatと共通であり、ISO Base Media Formatで規定される“ftyp”、“moov”、“moof”、“mdat”、…、“moof”、“mdat”を含む構成となっている。また、ＭＭＴ方式での伝送時には、上記ＭＰＵを構成する各データを“ＭＰＵメタデータ”、“ＭＦメタデータ”、“ＭＦＵ”、…“ＭＦメタデータ”、“ＭＦＵ”に分割して送信する。

ＭＰＵメタデータは、ISO Base Media Formatの“ftype”、“moov”の内容を伝送する。すなわち、ＭＰＵで伝送されるモノメディアに関する情報（コーデック種別等）を伝送する。なお、同様のデータはＰＡメッセージでも伝送される。

ＭＦメタデータは、ISO Base Media Formatの“moof”、“mdat”のヘッダ部分を伝送する。すなわち、ムービーフラグメントの再生に関わる時間情報（ＰＴＳ（Presentation Time Stamp）、ＤＴＳ（Decoding Time Stamp））、各サンプルへアクセスするための情報を伝送する。

ＭＦＵは、ISO Base Media Formatの“mdat”のうちサンプル（アセットの符号化データ）のみを伝送する。

次に、図４〜図６を参照して、ＭＰＵタイムスタンプ記述子、ＭＰＵ拡張タイムスタンプ記述子について説明する。図４は、ＭＰＵタイムスタンプ記述子、およびＭＰＵ拡張タイムスタンプ記述子が記述されているＰＡ（Package Access）メッセージとＭＰＵとの関係を示す図である。なお、図４のＭＰＵ Ａは音声データを示し、ＭＰＵ Ｖは映像データを示している。

ＭＰＵタイムスタンプ記述子は、ＰＡメッセージ内に記述されており、ＭＰＵ内において、表示順序で先頭のサンプル（アクセスユニット）の表示時刻を記述している。すなわち、ＰＡメッセージに各ＭＰＵのＭＰＵタイムスタンプ記述子を記述することで、ＭＰＵ単位でのＡＶ同期を実現している。例えば、図４に示すＰＡメッセージ１には、ＭＰＵ Ａ１、ＭＰＵ Ａ２、ＭＰＵ Ｖ１の先頭サンプルの表示時刻が記述されている。ＭＰＵタイムスタンプ記述子の具体的なデータ構造を図５に示す。図５に示すＭＰＵタイムスタンプ記述子の意味は、以下のとおりである。
mpu_sequence_number（ＭＰＵシーケンス番号）：タイムスタンプを記述するＭＰＵのシーケンス番号を示している。
mpu_presentation_time（ＭＰＵ表示時刻）：ＭＰＵの表示時刻を６４ビットのＮＴＰタイムスタンプ形式で示している。

なお、ＭＰＵ内の各サンプルのＰＴＳおよびＤＳＴの決定には、ＭＦメタデータが必要となる。そして、ＭＦメタデータを生成するには、各ＭＦＵサイズが既知でなければならず、当該ＭＦのエンコードが不可欠となる。よって、ライブエンコードを行う場合は、放送装置での配信遅延、あるいは復号装置での復号遅延が生じる。

次に、ＭＰＵ拡張タイムスタンプ記述子の具体的なデータ構造を図６に示す。ＭＰＵ拡張タイムスタンプ記述子は、ＭＰＵ内の各サンプル（アクセスユニット）の復号時刻を記述している。より詳細には、ＭＰＵ拡張タイムスタンプ記述子は、ＭＰＵの先頭サンプル以外の全てのサンプルのＤＴＳおよびＰＴＳを記述している。図６に示すＭＰＵ拡張タイムスタンプ記述子の意味は以下の通りである。
pts_offset_type（ＰＴＳオフセットタイプ）：同一ＭＰＵ内における表示順で直前のアクセスユニットと現在のアクセスユニットとの表示時刻の差分が、あらかじめ規定される固定値の場合は０を、本記述子にてデフォルト値として指定される場合は１を、本記述子にてアクセスユニットごとに指定される場合は２とするものである。
timescale_flag（タイムスケールフラグ）：後続のタイムスケールフラグフィールドの有無を示し、タイムスケールフィールドが存在するときは‘１’とし、存在しないときは‘０’とするものである。
timescale（タイムスケール）：この記述子における時間の単位を示す。１秒をタイムスケールで割った値を時間の単位としている。
default_pts_offset（デフォルトＰＴＳオフセット）：同一ＭＰＵ内における表示順で直前のアクセスユニットと現在のアクセスユニットとの表示時刻の差分をタイムスケールで示される時間単位で示し、デフォルトの値としている。
mpu_sequence_number（ＭＰＵシーケンス番号）：本記述子において復号時刻等を指定するアクセスユニットが含まれるＭＰＵのシーケンス番号を示している。
mpu_decoding_time_offset（ＭＰＵ復号時刻オフセット）：ＭＰＵにおいて、復号順で最初のアクセスユニットの復号時刻と、表示順で最初のアクセスユニットの表示時刻の差分の絶対値を、タイムスケールで示される時間単位で示している。
num_of_au（アクセスユニット数）：この記述子で復号時刻等を指定するアクセスユニットの数を示している。
dts_pts_offset（復号時刻・表示時刻オフセット）：アクセスユニットの復号時刻から表示時刻までの時間を、タイムスケールで示される時間単位で示している。
pts_offset（ＰＴＳオフセット）：同一ＭＰＵ内における表示順で直前のアクセスユニットと現在のアクセスユニットとの表示時刻の差分を、タイムスケールで示される時間単位で示している。

ここで、ＰＴＳとは、当該サンプルの表示時刻を示すものである。ＤＴＳとは、当該サンプルの復号時刻を示すものであり、表示時刻と該表示時刻との差分値で示されている。

なお、ＰＡメッセージには、全てのアセットのＭＰＵ拡張タイムスタンプ記述子が記述されるため、ＰＡメッセージが消失した場合、全てのアセットに影響が及ぶ。また、再生対象中のアセットでＭＰＵ拡張タイムスタンプ記述子が更新された場合、ＰＡメッセージのバージョンが変更されるため、ＰＡメッセージ全体が更新されたものと見なされ、ＰＡメッセージ内の各情報別に煩雑な更新有無の確認処理が必要になる。

次に、図７を参照して、制御情報の構成について説明する。図７は、制御情報の構成を示す図である。図７に示すように、制御情報は、メッセージ、テーブル、記述子で構成され、メッセージにはその種類に応じて１個以上のテーブルが格納されている。テーブルは、特定の情報を示す要素や属性を持つ制御情報である。記述子は、より詳細な情報を提供する制御情報である。

メッセージは、ＭＭＴＰペイロードに格納してＭＭＴＰパケットを用いて伝送する。上述したＰＡメッセージには、ＭＭＴパッケージテーブル（ＭＰＴ）、パッケージリストテーブル（ＰＬＴ）、レイアウト設定テーブル（ＬＣＴ）が格納されており、ＭＰＵタイムスタンプ記述子、ＭＰＵ拡張タイムスタンプ記述子は、ＭＰＴに配置されている。

〔実施形態１〕
以下、本発明の実施の形態について、図１、図８〜図１０を参照して説明する。図１は、本実施形態に係る放送システム１００の要部構成を示すブロック図である。図１に示すように、放送システム１００は、放送装置１および再生装置２を含む。

本実施形態に係る放送装置１では、１ＭＰＵ（処理単位、先頭処理単位、後続処理単位）＝１ＭＦの構成となっている。そして、例えば、１ＭＦを０．５秒間隔と定めることにより、予めＭＰＵタイムスタンプ記述子に記載する表示時刻が導出できる構成である。そして、各ＰＡメッセージ（制御情報）には、配信対象コンテンツを構成する各アセットの時間情報として、当該ＰＡメッセージ以降に送信する先頭ＭＰＵに関するＭＰＵタイムスタンプ記述子（表示に関するタイムスタンプ）のみ記述する。これにより、ＭＰＵ拡張タイムスタンプ記述子は不要となる。

また、ＭＦメタデータ、ＭＰＵメタデータは、ＭＦをエンコード後（送信後）に送信される。

また、ＭＰＵにおける各サンプルの再生タイミングを決定するためのＤＴＳ（復号時刻）、ＰＴＳ（再生時刻）を導出するための情報（タイミング情報）については、ＥＳ（各アセットの符号化データ）内に記述する。例えば、映像信号をＨＥＶＣ（High Efficiency Video Coding）を用いて符号化する場合、ＶＵＩ（Video Usability Information）、ＳＥＩ（Supplemental Enhancement Information）メッセージを用いて記述する。

図８に、本放送システムを用いて映像信号をＨＥＶＣで配信する場合のデータ構成例を示す。図８に示すように、ＰＡメッセージに格納されるＭＰＵタイムスタンプ記述子には、次に送信されるＭＰＵ（先頭処理単位）に含まれる先頭サンプル（先頭ＭＦＵ）の表示時刻が記述されている。ＭＰＵの先頭サンプルは単独で復号可能なＩＤＲピクチャ（キーフレーム）として符号化され、ＶＵＩメッセージ、Timing Info ＳＥＩメッセージを含む。その他のサンプルでは、当該ピクチャの符号化データと共にTiming Info ＳＥＩメッセージが含まれる。ＭＦおよびＭＰＵを構成する全てのサンプルの送信完了後、ＭＦメタデータ、ＭＰＵメタデータが送信される構造となっており、当該データを受信した受信機においては、ＭＦメタデータ、ＭＰＵメタデータを用いることなく、各サンプル（ＭＦＵ）を受信した時点における、ＭＰＵタイムスタンプ記述子、ＶＵＩメッセージ、Timing Info ＳＥＩメッセージを基に、当該サンプルのＰＴＳおよびＤＴＳが導出可能な構成となっている。

〔放送装置〕
図１に示すように、放送装置１は、オーディオエンコーダ（符号化データ生成手段）１０、ビデオエンコーダ（符号化データ生成手段）１１、多重化部１２、および送信部（送信手段）１３を含む構成である。

オーディオエンコーダ１０およびビデオエンコーダ１１は、コンテンツデータ（映像ストリーム）を構成する音声信号、映像信号をそれぞれ符号化（エンコード）する。符号化の詳細については後述する。

多重化部１２は、オーディオエンコーダ１０およびビデオエンコーダ１１が生成した符号化データを多重化して送信部１３に出力する。また、多重化部１２は、ＰＡメッセージに格納される制御情報を生成して送信部１３に出力する。

送信部１３は、多重化部１２から出力される多重化したコンテンツデータおよび制御情報をＭＭＴＰパケットとして放送網を介して再生装置２に送信する。

次に、放送装置１における処理の流れについて、図９を参照して説明する。図９は、放送装置１における処理の流れを示すフローチャートである。

まず、放送装置１では、予め設定されたエンコードパラメータによりエンコードを開始する。具体的には、キーフレームの符号化間隔、１ＭＰＵのサイズ（例えば０．５秒）、ＰＡ送信間隔（例えば０．１秒）として、エンコードを開始する。そして定めたＰＡ送信時刻となったとき（Ｓ１０１でＹＥＳ）、当該時刻以降に送信される各アセットの直近のＭＰＵについて、当該ＭＰＵの先頭サンプルの表示時刻をエンコードパラメータから決定し、当該情報をＭＰＵタイムスタンプ記述子に記載したＰＡメッセージを生成し、ＭＭＴＰパケット化して送信する（Ｓ１０２）。なお、ＰＡメッセージにはＭＰＵ拡張タイムスタンプ記述子は記述しない。

一方、ＰＡ送信時刻となっていないとき（Ｓ１０１でＮＯ）、または、ステップＳ１０２でＰＡメッセージを送信後、オーディオエンコーダ１０またはビデオエンコーダ１１から出力される符号化データをＭＭＴＰパケット化し送信する（Ｓ１０３）。そして、ＭＰＵに含まれる最終のサンプルの符号化データの送信が終了すると（Ｓ１０４でＹＥＳ）、エンコードパラメータおよび送信完了した符号化データの情報を基に、ＭＦメタデータ、ＭＰＵメタデータを生成し送信する（Ｓ１０５）。そして、ステップ１０１へ戻る。

なお、オーディオエンコーダ１０およびビデオエンコーダ１１では、１ＭＰＵのサイズに合わせて予め設定されたキーフレームの符号化間隔に従って、ＭＰＵの先頭サンプルが、当該サンプル単独で復号可能なキーフレームとして符号化を行うと共に、当該エンコーダが用いる符号化方式のシンタックスを用いて、各サンプルのＤＴＳ、ＰＴＳ導出に必要なタイミング情報（ＨＥＶＣの場合、ＶＵＩ、ＳＥＩメッセージ）を付与した符号化データを生成する。

〔再生装置〕
図１に示すように、再生装置２は、受信部２１、多重分離部２２、同期制御部（タイムスタンプ取出し手段）２３、オーディオパーサ（タイミング導出手段）２４、ビデオパーサ（タイミング導出手段）２５、ＥＳバッファ２６、ＥＳバッファ２７、オーディオデコーダ（再生手段）２８、ビデオデコーダ（再生手段）２９、スピーカ３０、およびディスプレイ３１を含む構成である。

受信部２１は、放送装置から送信されたＭＭＴＰパケット（コンテンツデータおよび制御情報）を受信する。

多重分離部２２は、受信したデータからＰＡメッセージを分離して、同期制御部２３へ通知する。また、多重分離部２２は、再生対象のアセットのＥＳ（エレメンタリーストリーム）を分離し、再生対象のＭＰＵの先頭から順次、オーディオパーサ２４、ビデオパーサ２５へ入力する。なお、多重分離部２２は、ＰＡメッセージの更新があっても、ＭＰＵタイムスタンプ、拡張タイムスタンプ記述子の更新はチェックしない。

同期制御部２３は、オーディオパーサ２４およびビデオパーサ２５へ、ＰＡメッセージに格納されているＭＰＵタイムスタンプの内容を、再生対象の先頭サンプルの再生時刻として通知する。

オーディオパーサ２４、およびビデオパーサ２５は、多重分離部２２から入力されたエレメンタリーストリームのヘッダを解析し、入力サンプルのＤＴＳおよびＰＴＳを導出する。そして、導出した先頭サンプルのＰＴＳと同期制御部２３から通知された再生時刻との差分を元に、各サンプルのＤＴＳおよびＰＴＳを補正し、入力サンプルと共にＥＳバッファ２６、ＥＳバッファ２７へ出力する。なお、ＤＴＳおよびＰＴＳの導出の詳細については後述する。

オーディオデコーダ２８、ビデオデコーダ２９は、ＥＳバッファ２６、２７から出力されたＤＴＳに基づき、各サンプルを入力してデコードした結果をＰＴＳに基づき、スピーカ３０、ディスプレイ３１へ出力する。

次に、図１０を参照して再生装置における処理の流れを説明する。図１０は、再生装置における処理の流れを示すフローチャートである。

ＭＭＴＰパケットの受信を開始し、再生対象の最初のＰＡメッセージを受信すると、当該ＰＡメッセージを同期制御部２３へ通知する（Ｓ２０１）。次に、多重分離部２２は、ステップ２０１で通知するＭＰＵを受信した後、多重分離（逆多重化）を開始する（Ｓ２０２）。そして、同期制御部２３は再生対象ＥＳごとに再生開始サンプルの再生時刻を各パーサ（オーディオパーサ２４、ビデオパーサ２５）へ通知する（Ｓ２０３）。各パーサは、同期制御部２３から通知された再生開始サンプルの再生時刻、符号化パラメータ、符号化データに付与された時間情報を基にＤＴＳ、およびＰＴＳをサンプル毎に導出し、当該サンプル（符号化データ）に付与してそれぞれのＥＳバッファ２６、２７へ出力する（Ｓ２０４）。その後、オーディオデコーダ２８およびビデオデコーダ２９は、ＤＴＳで示される時刻に当該サンプル（符号化データ）を入力して復号処理を行い、ＰＴＳで示される時刻に復号結果を出力する（Ｓ２０５）。

〔ＰＴＳおよびＤＴＳの導出〕
次に、各サンプルのＰＴＳおよびＤＴＳの導出方法について、ＨＥＶＣの場合を例として説明する。

先頭サンプルの表示時刻を基準とした、各サンプルの相対表示時刻（pts）は、ＳＥＩメッセージに含まれるパラメータ(vui_num_units_in_tick、vui_time_scale)、およびサンプル（ＡＵ）毎に付与されたpoc(Picture Order Count)を用いて、次式の通り導出される。
pts = poc x vui_num_units_in_tick / vui_time_scale
また、同様に先頭サンプルの表示時刻を基準とした、各サンプルの相対復号時刻（dts）は、各サンプルに付与されたPicture Timing ＳＥＩメッセージに含まれるpic_dpb_output_delayを用いて次式の通り導出される。
dts = pts - pic_dpb_output_delay / vui_time_scale
従って、各サンプルのＰＴＳ、ＤＴＳは、上述のpts、dtsに先頭サンプルの表示時刻を加えることで導出される。

以上、説明したように、本実施形態の放送システムにおいては、ＭＰＵメタデータ、ＭＦメタデータを用いることなく、各サンプルのＰＴＳ、ＤＴＳが決定できるため、低遅延でのコンテンツ配信が実現できる。

また、再生装置においては、再生開始サンプルの表示時刻の決定にのみ、ＰＡメッセージを利用し、他のサンプルの復号時刻、表示時刻の決定にＰＡメッセージを用いることがないため、頻繁にＰＡメッセージの更新が生じても、サンプルの復号時刻、表示時刻導出処理のために、ＭＰＵタイムスタンプ記述子、ＭＰＵ拡張タイムスタンプ記述子の更新有無を確認する必要がない。また再生開始後に、伝送エラーによるＰＡメッセージの欠損が生じても、コンテンツの再生を継続することが可能である。

〔実施形態２〕
本発明の他の実施形態について、図１２に基づいて説明すれば、以下のとおりである。本実施形態では、上記実施形態１と異なり、１ＭＰＵ＝複数ＭＦの構成となっている。そして、各ＰＡメッセージには、次に現れる各アセットの先頭ＭＰＵに関するＭＰＵタイムスタンプ記述子とＭＰＵ拡張タイムスタンプ記述子とが格納されている。なお、本実施形態で用いるＭＰＵ拡張タイムスタンプ記述子は、図１１に示す構成を用いる。本実施形態のＭＰＵ拡張タイムスタンプ記述子では、ＭＰＵを構成する全てのサンプルに関するＤＴＳ、ＰＴＳ導出のためのタイミング情報を記述する代わりに、ＭＰＵを構成する全てのＭＦ先頭サンプルのＰＴＳ導出に必要なタイミング情報のみを記述する。また、ＭＰＵメタデータ、ＭＦメタデータを、ＭＦをエンコードした後（送信後）に送信する点、各サンプルに当該データの符号化方式のシンタックスを用いてＤＴＳおよびＰＴＳを導出するためのタイミング情報を記述する点は、上記実施形態１と同様である。

図１２に、本放送システムを用いて映像信号をＨＥＶＣで配信する場合のデータ構成例を示す。図１２に示すように、ＰＡメッセージには、ＭＰＵの先頭サンプルの表示時刻が記述されたＭＰＵタイムスタンプ記述子、および、連続するＭＦの先頭サンプルの表示時刻差分が記述されたＭＰＵ拡張タイムスタンプ記述子が格納され、当該メッセージに含まれる情報を用いて、配信中のアセットのMFに含まれる先頭サンプル（先頭ＭＦＵ）の表示時刻が導出可能な構成となっている。また本システムにおいては同じ内容のＰＡメッセージが繰り返し送信される。ＭＦの先頭サンプルは単独で復号可能なＩＤＲピクチャとして符号化され、ＶＵＩメッセージ、Picture Timing ＳＥＩメッセージを含む。その他のサンプルでは、当該ピクチャの符号化データと共にPicture Timing ＳＥＩメッセージが含まれる。ＭＦおよびＭＰＵを構成する全てのサンプルの送信完了後、ＭＦメタデータ、ＭＰＵメタデータが送信される構造となっており、当該データを受信した受信機においては、ＭＦメタデータ、ＭＰＵメタデータを用いることなく、各サンプル（ＭＦＵ）を受信した時点における、ＭＰＵタイムスタンプ記述子、ＭＰＵ拡張タイムスタンプ記述子、ＶＵＩメッセージ、Timing Info ＳＥＩメッセージを基に、当該サンプルのＰＴＳおよびＤＴＳが導出可能な構成となっている。

また、再生装置では、受信した先頭ＭＦのサンプルから再生を開始する。再生開始サンプルに関するＰＴＳのみＰＡメッセージに格納されているＭＰＵタイムスタンプ記述子およびＭＰＵ拡張タイムスタンプ記述子を用いて決定し、先頭サンプルのＤＴＳおよび、その他のサンプルのＤＴＳ、ＰＴＳについては、符号化データに記述されたタイミング情報を基に導出する。

なお、本実施形態の放送システムにおいては、１ＭＰＵ＝複数ＭＦが可能な構成とすることで、１つのＭＰＵを１コンテンツ（１放送番組）として配信することが可能である。

〔ソフトウェアによる実現例〕
放送装置１の制御ブロック（特にオーディオエンコーダ１０、ビデオエンコーダ１１、多重化部１２）、および再生装置２の制御ブロック（多重分離部２２、同期制御部２３、オーディオパーサ２４、ビデオパーサ２５、オーディオデコーダ２８、ビデオデコーダ２９）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。

後者の場合、放送装置１および再生装置２は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

〔まとめ〕
本発明の態様１に係る再生装置は、受信した符号化データを処理単位ごとに処理して再生する再生装置であって、再生対象の先頭である先頭処理単位における先頭サンプルデータの表示に関するタイムスタンプを上記符号化データに含まれる制御情報から取出すタイムスタンプ取出し手段と、上記タイムスタンプ取出し手段が取出した上記の先頭サンプルデータの表示に関するタイムスタンプを用いて、上記先頭処理単位に後続する後続処理単位におけるサンプルデータの再生タイミングを導出するタイミング導出手段と、上記タイミング導出手段が導出した再生タイミングで上記サンプルデータを再生する再生手段と、を備えている。

上記の構成によれば、先頭処理単位における先頭サンプルデータの表示に関するタイムスタンプが制御情報に含まれる。よって、先頭サンプルデータの表示タイミングは制御情報から導出することができる。また、先頭サンプルデータ以外のサンプルデータの再生タイミングを先頭サンプルデータの表示に関するタイムスタンプから導出できる。

よって、サンプルデータの再生タイミングの導出に当該サンプルデータのサイズが必要なく、サンプルデータの復号処理に遅延が生じることがなくなる。また、後続処理単位の再生タイミングは、先頭サンプルデータの表示タイミングから導出し、この表示タイミングの決定に制御情報は用いない。よって、各処理単位の先頭サンプルデータの表示に関するタイムスタンプを制御情報に含める場合と比べて、制御情報の情報量を抑えることができる。

本発明の態様２に係る再生装置は、上記態様１において、上記タイミング導出手段は、上記後続処理単位におけるサンプルデータの再生タイミングを、上記タイムスタンプ取出し手段が取出した上記の先頭サンプルデータの表示に関するタイムスタンプと、上記先頭サンプルデータの再生タイミングを基準として上記後続処理単位の再生タイミングを示したタイミング情報とから導出するものであってもよい。

上記の構成によれば、符号化データに含まれるタイミング情報を用いてサンプルデータの再生タイミングを導出するので、制御情報に何らかのエラーが生じた場合でも、その影響を最小限に抑えることができる。

本発明の態様３に係る再生装置は、上記態様１または２において、上記先頭処理単位に複数の上記サンプルデータが含まれている場合、上記制御情報には、当該先頭処理単位に含まれる各サンプルデータの表示に関するタイムスタンプが含まれており、上記タイムスタンプ取出し手段は、上記先頭処理単位に含まれる各サンプルデータの表示に関するタイムスタンプを取り出すものであってもよい。

上記の構成によれば、先頭処理単位に複数のサンプルデータが含まれている場合、適切にサンプルデータの再生タイミングを導出することができる。

本発明の態様４に係る放送装置は、映像データを処理単位ごとに符号化した符号化データを再生装置に送信する放送装置であって、再生対象の先頭となる先頭処理単位に含まれる先頭サンプルデータの表示に関するタイムスタンプを上記符号化データの制御情報に格納した符号化データを生成する符号化データ生成手段と、上記符号化データ生成手段が生成した符号化データを再生装置に送信する送信手段と、を備えている。

上記の構成によれば、先頭処理単位における先頭サンプルデータの表示に関するタイムスタンプを制御情報に含める。よって、送信先の再生装置において先頭サンプルデータの表示タイミングを制御情報から導出することができる。また、先頭サンプルデータ以外のサンプルデータの再生タイミングを先頭サンプルデータの表示に関するタイムスタンプから導出できる。

よって、サンプルデータの再生タイミングの導出に当該サンプルデータのサイズが必要な場合のようにサンプルデータの復号処理に遅延が生じることがなくなる。また、先頭サンプルデータの表示タイミングからサンプルデータの再生タイミングを導出できるので、処理を簡易にすることができる。

本発明の態様５に係る放送装置は、上記態様４において、上記先頭処理単位に複数の上記サンプルデータを含める場合、上記符号化データ生成手段は、上記先頭処理単位に含まれる各サンプルデータの表示に関するタイムスタンプを上記符号化データの制御情報に格納するものであってもよい。

上記の構成によれば、先頭処理単位に複数のサンプルデータが含まれている場合、送信先の再生装置において適切にサンプルデータの再生タイミングを導出することができる。

本発明の各態様に係る再生装置、および放送装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記の再生装置、および放送装置が備える各手段として動作させることにより上記の再生装置、および放送装置をコンピュータにて実現させる再生装置の制御プログラム、放送装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

本発明は、デジタル放送における放送装置、再生装置に利用することができる。

１ 放送装置
２ 再生装置
１０ オーディオエンコーダ（符号化データ生成手段）
１１ ビデオエンコーダ（符号化データ生成手段）
１２ 多重化部
１３ 送信部（送信手段）
２１ 受信部
２２ 多重分離部
２３ 同期制御部（タイムスタンプ取出し手段）
２４ オーディオパーサ（タイミング導出手段）
２５ ビデオパーサ（タイミング導出手段）
２６ ＥＳバッファ
２７ ＥＳバッファ
２８ オーディオデコーダ（再生手段）
２９ ビデオデコーダ（再生手段）
３０ スピーカ
３１ ディスプレイ
１００ 放送システム

Claims (5)

1. 受信した符号化データを処理単位ごとに処理して再生する再生装置であって、
   再生対象の先頭である先頭処理単位における先頭サンプルデータの表示に関するタイムスタンプを上記符号化データに含まれる制御情報から取出すタイムスタンプ取出し手段と、
   上記タイムスタンプ取出し手段が取出した上記の先頭サンプルデータの表示に関するタイムスタンプを用いて、上記先頭処理単位に後続する後続処理単位におけるサンプルデータの再生タイミングを導出するタイミング導出手段と、
   上記タイミング導出手段が導出した再生タイミングで上記サンプルデータを再生する再生手段と、を備えていることを特徴とする再生装置。
2. 上記タイミング導出手段は、上記後続処理単位におけるサンプルデータの再生タイミングを、上記タイムスタンプ取出し手段が取出した上記の先頭サンプルデータの表示に関するタイムスタンプと、上記先頭サンプルデータの再生タイミングを基準として上記後続処理単位の再生タイミングを示したタイミング情報とから導出することを特徴とする請求項１に記載の再生装置。
3. 上記先頭処理単位に複数の上記サンプルデータが含まれている場合、上記制御情報には、当該先頭処理単位に含まれる各サンプルデータの表示に関するタイムスタンプが含まれており、
   上記タイムスタンプ取出し手段は、上記先頭処理単位に含まれる各サンプルデータの表示に関するタイムスタンプを取り出すことを特徴とする請求項１または２に記載の再生装置。
4. 映像データを処理単位ごとに符号化した符号化データを再生装置に送信する放送装置であって、
   再生対象の先頭となる先頭処理単位に含まれる先頭サンプルデータの表示に関するタイムスタンプを上記符号化データの制御情報に格納した符号化データを生成する符号化データ生成手段と、
   上記符号化データ生成手段が生成した符号化データを再生装置に送信する送信手段と、を備えていることを特徴とする放送装置。
5. 上記先頭処理単位に複数の上記サンプルデータを含める場合、
   上記符号化データ生成手段は、上記先頭処理単位に含まれる各サンプルデータの表示に関するタイムスタンプを上記符号化データの制御情報に格納することを特徴とする請求項４に記載の放送装置。

Images