JP2023119869A - 受信装置、放送システム、受信方法及びプログラム - Google Patents

Abstract

【課題】伝送されるコンテンツについて符号化と同期したコンテンツの提示を、より確実に実現する。【解決手段】受信部は放送される多重化データを受信し、分離部は所定のクロックに基づいて計時された同期時刻を示す同期データと、前記同期時刻と同期して符号化されたコンテンツデータを前記多重化データから分離し、提示処理部はコンテンツデータを復号したコンテンツを同期時刻と同期して出力する。ブラウザにより前記受信装置のコンピュータが、前記提示処理部としての機能を奏する。【選択図】図３

Description

本発明は、受信装置、放送システム、受信方法及びプログラムに関する。

４Ｋ８Ｋ超高精細度テレビジョン（ＵＨＤＴＶ: Ultra High-Definition Television）衛星放送では、映像、音声などのコンテンツの多重化方式としてＭＭＴ－ＴＬＶ（MPEG Media Transport - Type Length Value）方式を採用して、コンテンツと各種の制御情報を多重化している。受信装置との時刻同期を行うため、放送設備は、ＴＬＶパケットにＮＴＰ（Network Time Protocol）パケットを格納し、ＭＰＴ（MMT Package Table）のタイムスタンプ記述子にＭＰＵ（Media Processing Unit）の提示時刻を示す提示時刻タイムスタンプ（ＰＴＳ：Presentation Timestamp）を記述していた。

他方、次世代地上波ディジタル放送では、映像・音声データを格納するコンテナ形式としてＣＭＡＦ（Common Media Application Format）を採用することが検討されている。ＣＭＡＦは、インターネットを経由した動画のストリーミング配信にしばしば用いられる。ＣＭＡＦを用いたインターネットでのコンテンツ配信では、受信装置はインターネット上の標準時サーバ（ＮＴＰサーバ）からＮＴＰ方式で受信した同期データを用いて時刻同期を行う。送信側では、協定世界時などの所定の標準時にクロックを合わせておくことで、受信装置との時刻同期を実現する。

特開２００５－１２４１６３号公報

次世代地上波放送でも、放送番組のコンテンツはＭＭＴ－ＴＬＶ方式を用いて伝送される。しかしながら、ＭＰＴからタイムスタンプ記述子／拡張子が削除されることが検討されている。映像音声データの復号時刻を示すタイムスタンプ（ＤＴＳ：Decoding Timestamp）やＰＴＳはＣＭＡＦコンテナに格納して伝達される。受信装置は、自身が生成するクロックをＭＰＴに記述されるＴＯＴ（Time Offset Table）を用いて補正することも考えられる。放送で使用される復号時刻や提示時刻は、放送局独自の時刻と同期しており、標準時と同期しているとは限らない。次世代地上波放送では、ブラウザを用いて映像や音声を提示することが検討されているが、標準時に依拠しても同期は保証されない。

本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、放送される多重化データを受信する受信部と、所定のクロックに基づいて計時された同期時刻を示す同期データと、前記同期時刻と同期して符号化されたコンテンツデータを前記多重化データから分離する分離部と、前記コンテンツデータを復号したコンテンツを前記同期時刻と同期して出力する提示処理部と、を備える受信装置であって、ブラウザにより前記受信装置のコンピュータが、前記提示処理部としての機能を奏する受信装置である。

本発明の実施形態によれば、伝送されるコンテンツについて符号化と同期した提示を、より確実に実現することができる。

本実施形態に係る放送システムの概要を示す概略ブロック図である。 本実施形態に係る送信装置の機能構成例を示す概略ブロック図である。 本実施形態に係る受信装置の機能構成例を示す概略ブロック図である。 本実施形態に係る送信処理の一例を示すフローチャートである。 本実施形態に係る受信処理の一例を示すフローチャートである。 受信装置の比較例を示す概略ブロック図である。

以下、本発明の実施形態について、図面を参照して説明する。本実施形態に係る放送システム１の概要について説明する。図１は、本実施形態に係る放送システム１の概要を示す概略ブロック図である。

放送システム１は、送信装置１０と受信装置２０とを備える。送信装置１０は、主に放送事業者などのコンテンツ提供者が使用もしくは管理する設備を構成する。送信装置１０は、所定のクロックに基づいて計時された同期時刻を示す同期データを生成する。送信装置１０は、その同期時刻と同期して放送対象とするコンテンツを符号化してコンテンツデータを生成する。送信装置１０は、生成した同期データとコンテンツデータを所定の多重化方式を用いて多重化して多重化データを生成し、生成した多重化データを搬送する放送信号を放送伝送路ＢＴに送出する。

放送伝送路ＢＴは、送信装置１０から送出される放送信号を伝送する。放送伝送路ＢＴは、放送される放送信号（主にコンテンツが含まれる）を同時に不特定かつ複数の受信装置２０に一方向的に伝送可能とする伝送路である。放送信号は、所定の周波数帯域の放送波を用いて搬送される。放送伝送路ＢＴの一部には、インターネット、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）、専用回線、などの通信網を含まれてもよい。

受信装置２０は、主に視聴者が使用もしくは管理する機器である。受信装置２０は、放送伝送路ＢＴを経由して送信装置１０から伝送された放送信号で搬送される多重化データを受信する。受信装置２０は、受信した多重化データから同期データとコンテンツデータを分離する。受信装置２０は、分離したコンテンツデータを復号し、同期データに示される同期時刻と同期して復号したコンテンツを出力する。

次に、本実施形態に係る送信装置１０の機能構成例について説明する。図２は、本実施形態に係る送信装置１０の機能構成例を示す概略ブロック図である。送信装置１０は、ＡＶコンテンツ蓄積部１１２、計時部１１６、コンテンツ編成部１２０、同期データ生成部１２４、多重化部１２６、変調部１２８、および、送信部１３０を含んで構成される。

ＡＶ（Audio Visual）コンテンツ蓄積部１１２には、放送番組の素材となる各種のＡＶコンテンツを示すＡＶコンテンツデータが蓄積される。ＡＶコンテンツは、音声コンテンツと映像コンテンツの総称であり、音声と映像の一方または両方を指す。ＡＶコンテンツデータをなす音声データ、映像データは、それぞれ所定の長さを有する期間の音声、映像を示すデータである。

計時部１１６は、一定のクロック周波数で周期的に電圧が変化する電気信号をクロックとして生成し、生成したクロックに基づいて、逐次にその時点における時刻（現時刻）を所定の計時時間間隔（例えば、１～１０ｍｓ）で計時する。計時部１１６は、計時した時刻（以下、「計時時刻」と呼ぶ）を示す時刻信号をコンテンツ編成部１２０と同期データ生成部１２４に出力する。計時時刻として、所定の基準時を基準して正規化された時刻（以下、「正規化時刻」と呼ぶ）が用いられる。基準時として、例えば、放送番組の開始時刻が用いられてもよい。正規化時刻は、例えば、基準時において０時０分０秒と正規化された時刻であってもよいし、現実の絶対時刻と同期するように正規化されてもよいし、その他の任意の時刻が用いられてもよい。絶対時刻として、協定世界時、放送地域における標準時などの標準時が用いられてもよい。

コンテンツ編成部１２０は、計時部１１６から入力される時刻信号で示される正規化時刻に基づいてコンテンツを編成する。コンテンツ編成部１２０は、１個または複数の素材を要素コンテンツとして含む放送番組のコンテンツを提示するためのデータ放送コンテンツを取得する。データ放送コンテンツは、例えば、ＪＡＶＡスクリプト（登録商標）などの所定のスクリプト言語で記述されたスクリプト文書、または、ＨＴＭＬ（Hyper Text Modeling Language）などのモデリング言語で記述されたディジタル文書として構成されうる。コンテンツ編成部１２０は、データ放送コンテンツを外部機器から入力してもよいし、新たに制作または既存のものを編集してもよい。素材の選択、データ放送コンテンツの制作、編集に係る処理は、所定の規則またはプログラムに従ってもよいし、制作者の操作に応じて実行されてもよい。なお、本願では、「提示」とは、ユーザに認知できるように表現することを指す。即ち、「提示」とは、視認できるように表示すること、受聴できるように放音することの一方または両方を指す。

データ放送コンテンツには、放送時間と、放送時間における提示対象の要素コンテンツごとの提示を示す提示指令（コマンド）が記述される。提示指令では、その要素コンテンツの提示時間が指示される。提示時間は提示開始時刻と提示期間（長さ）を用いて定義される。要素コンテンツとして、テキストを含んで構成される文書コンテンツが指示されることがある。提示対象となる文書コンテンツの一部または全部は、データ放送コンテンツに含まれることもある。コンテンツ編成部１２０は、取得したデータ放送コンテンツデータを多重化部１２６に出力する。データ放送コンテンツデータは、所定の情報量ごとに符号ブロック（以下、「データ放送ブロック」と呼ぶことがある）として区分されてもよい。

コンテンツ編成部１２０は、放送番組の要素とする要素コンテンツ、即ち、素材として用いるＡＶコンテンツを示すＡＶコンテンツデータをＡＶコンテンツ蓄積部１１２から選択する。コンテンツ編成部１２０は、放送番組の提示に用いるＡＶコンテンツの種類、区間、および、番組における提示時間を定める。その区間の長さが提示期間に相当する。

コンテンツ編成部１２０は、ＡＶコンテンツ符号化部１２２を備える。ＡＶコンテンツ符号化部１２２は、選択されたＡＶコンテンツデータを符号化し、符号化されたＡＶコンテンツデータを生成する。ＡＶコンテンツ符号化部１２２は、選択されたＡＶコンテンツの符号化に用いる符号化方式、提示期間、個々のコンテンツのストリームを示す識別情報をメディア種別、即ち、音声、映像のそれぞれについて示す所定の形式のマニフェストファイルを生成する。マニフェストファイルとして、例えば、ＭＰＥＧ－ＤＡＳＨ（MPEG－Dynamic Adaptive Streaming over HTTP）方式で定義されたｍｐｄファイルなどが用いられてもよい。

コンテンツ編成部１２０は、所定の送信時間間隔ごとに、取得されたＡＶコンテンツデータを所定の形式を有するデータファイル（例えば、ＣＭＡＦ：Common Media Application Formatコンテナ）に格納する。ＡＶコンテンツデータには、音声データと映像データが含まれる。ＣＭＡＦコンテナでは、送信時間間隔に相当するチャンクは必ずしも一定ではなく、可変になることがある。１個のチャンクは、典型的には、０．２～数秒となり、後述する音声フレームおよび参照フレーム単位よりも長期間となる。コンテンツ編成部１２０は、ＡＶコンテンツデータを格納したデータファイルを多重化部１２６に出力する。

ＡＶコンテンツ符号化部１２２は、音声符号化部と映像符号化部を備える。音声符号化部は、選択された提示期間内の音声データを時系列順に指示された音声符号化方式を用いて符号化し、符号化音声データを生成する。音声符号化部は、正規化時刻を参照して所定の時間の音声フレームごとに符号化処理を行って音声符号を生成する。音声符号化部は、生成した音声符号の集合を細分化した所定の情報量ごとの符号ブロック（以下、「音声ブロック」と呼ぶ）に区分する。符号ブロックとして、例えば、ＭＦＵ（Media Fragment Unit）が適用されうる。ＭＦＵは、単独で復号を可能とするメディア処理単位（ＭＰ：Media Processing Unit）よりも小さい単位となる。
音声符号化部は、その音声符号を生成する音声符号化において参照した正規化時刻と同じまたは一定の遅延時間で遅延した時刻（以下、「音声時刻」と呼ぶ）を定める。音声の復号および提示では、映像と異なり復号時刻と提示時刻は区別されなくてもよい。音声符号化部は、音声フレームごとの冒頭の時刻を音声時刻として示す音声時刻情報を生成する。音声時刻情報は、タイムスタンプを用いて表されてもよい。音声符号化部は、例えば、音声フレームごとの音声時刻情報を、その音声フレームに係る音声ブロックに付随させる。生成された音声ブロックからなる一連の系列が音声ストリームをなし、ＡＶコンテンツデータを構成する。

映像符号化部は、選択された提示期間内の映像データを時系列順に指示された映像符号化方式を用いて符号化し、符号化映像データを生成する。映像符号化部は、正規化時刻を参照して所定の時間間隔の映像フレームごとに、所定の個々の符号化単位ごとに符号化処理を行って得られた映像符号を生成する。映像符号化部は、生成した映像符号の集合を所定の情報量ごとの符号ブロック（以下、「映像ブロック」と呼ぶ）に区分する。映像符号化部は、映像符号化において参照した正規化時刻に基づいて、映像フレームごとの復号時刻を示す復号時刻情報を定め、参照フレームごとの時刻を提示時刻として示す提示時刻情報を定める。映像符号化部は、提示時刻として、参照フレーム単位ごとの正規化時刻と同じまたは一定遅延時間で遅延した時刻を定める。提示時刻情報は、例えば、ＰＴＳを用いて表される。参照フレーム単位は、複数の映像フレームを含む区間である。参照フレーム単位は、例えば、ＡＶＣ（Advanced Video Coding）におけるＧＯＰ（Group Of Picture）、ＨＥＶＣ（High-Efficient Video Coding）における階層的ピクチャ構造の区間が該当する。これに対し、復号時刻は、正規化時刻を基準としながらも、その参照フレーム単位に属する個々のフレームに対する補償処理における他のフレームとの参照関係により定まる。復号時刻情報は、例えば、ＤＴＳ（Decoding Time Stamp）を用いて表される。参照フレーム単位およびその参照関係は、フレーム間予測符号化処理を採用した映像符号化方式において規定されている。映像符号化部は、参照フレーム単位ごとの提示時刻情報と映像フレームごとの復号時刻情報を、それぞれその参照フレーム単位と映像フレームに係る映像ブロックに付随させる。生成された映像ブロックからなる一連の系列が映像ストリームをなし、ＡＶコンテンツデータを構成する。

同期データ生成部１２４は、計時部１１６から入力される計時信号に基づいて同期データを生成する。同期データ生成部１２４は、計時信号に示される計時時刻を、所定の計時時間（例えば、数十ｍｓ～数ｓ）ごとに間引いて抽出し、抽出した計時時刻を同期時刻として定め、同期時刻を示す同期データを生成する。同期時刻は、所定の形式を有するタイムスタンプとして表される。同期データは、例えば、ＩＥＴＦ ＲＦＣ ５９０５ “Network Time Protocol Version 4: Protocol and Algorithms Specification”に規定されるＮＴＰ形式のＩＰパケットとして構成されてもよい。同期時刻は、上記の計時時刻、正規化時刻と同じクロックを基準とする時刻となる。同期データ生成部１２４は、生成した同期データを多重化部１２６に出力する。

多重化部１２６は、同期データ生成部１２４から入力される同期データとコンテンツ編成部１２０から入力されるコンテンツデータを所定の多重化方式を用いて多重化し、多重化データを生成する。コンテンツデータには、少なくともＡＶコンテンツデータが含まれる。ＡＶコンテンツデータを格納するデータファイルには、上記の音声ブロック、映像ブロック、および、マニフェストファイルが含まれうる。音声ブロックには音声時刻情報が付随し、映像ブロックには復号時刻情報と提示時刻情報が付随する。コンテンツデータには、データ放送ブロックが含まれる。所定の多重化方式として、ＭＭＴ－ＴＬＶ（MPEG Media Transport - Type Length Value）方式が利用可能である。ＭＭＴ－ＴＬＶ方式では、同期データを含むＮＴＰ形式のＩＰパケットと、コンテンツデータを含むＭＭＴＰパケットが並行して伝送される。多重化部１２６は、コンテンツ編成部１２０から入力されるコンテンツデータを細分化してＭＭＴＰパケットを生成する。個々のＭＭＴＰパケットには、音声ブロック、映像ブロック、マニファストファイル、および、データ放送ブロックのいずれか１個が含まれてもよい。

多重化データには、一連のコンテンツをなす放送番組に相当するパッケージ、即ちイベントを構成するコンポーネント（アセット）の構造を示す制御情報がコンテンツデータとは別個にＭＭＴＰパケットに格納されて多重化される。コンテンツ編成部１２０からデータ放送コンテンツデータが入力される場合には、多重化部１２６は、入力されるデータ放送コンテンツデータをさらに多重化する。多重化部１２６は、データ放送コンテンツデータを所定の情報量のブロックごとに細分化してＭＭＴＰパケットを生成する。
多重化部１２６は、所定の送信時間間隔ごとに取得されるＭＭＴＰパケットとＩＰパケットを格納したＴＬＶパケットを構成する。多重化部１２６は、一連のＴＬＶパケットからなるＴＬＶストリームを多重化データとして変調部１２８に出力する。

変調部１２８は、多重化部１２６から入力される多重化データを所定の変調方式を用いて変調して放送信号に変換する。所定の変調方式として、例えば、６４ＱＡＭ（Quadrature Amplitude Modulation）や２５６ＱＡＭなどの方式が利用可能である。変調部１２８は、変換した放送信号を送信部１３０に出力する。
送信部１３０は、変調部１２８から入力される放送信号を放送伝送路ＢＴに送出する。送信部１３０は、例えば、トランスミッタであり、アンテナに接続される。送信部１３０は、入力される放送信号を基底周波数から所定の搬送周波数にアップコンバートして送信信号としてアンテナに供給する。アンテナからは、放送信号を搬送する放送波が送出される。

次に、本実施形態に係る受信装置２０の機能構成例について説明する。図３は、本実施形態に係る受信装置２０の機能構成例を示す概略ブロック図である。受信装置２０は、受信部２１２、復調部２１４、分離部２１６、計時部２１８、ＡＶコンテンツ抽出部２２０、ＡＶコンテンツ保存部２２２、データ放送コンテンツ保存部２２４、提示処理部２３０、および、提示部２４０、および、入力部２５０を含んで構成される。

受信部２１２は、放送伝送路ＢＴを経由して伝送された放送信号を受信し、受信した放送信号を復調部２１４に出力する。受信部２１２は、例えば、チューナであり、アンテナに接続される。受信部２１２は、アンテナが受波して得られる受信信号の搬送周波数の成分を基底周波数にダウンコンバートして放送信号として復調部２１４に出力する。搬送周波数として、提示処理部２３０から指示された放送チャンネルに対応する搬送周波数が指示される。

復調部２１４は、受信部２１２から入力される放送信号を所定の復調方式を用いて復調し、多重化データに変換する。復調部２１４は、変換した多重化データを分離部２１６に出力する。復調方式として、伝送された多重化データの変調に用いた変調方式に対応する方式が用いられる。

分離部２１６は、復調部２１４から入力される多重化データから同期データとコンテンツデータを分離する。多重化方式としてＭＭＴ－ＴＬＶ方式が用いられる場合、分離部２１６は、多重化データをなすＴＬＶストリームの単位であるＴＬＶパケットから同期データを含むＮＴＰ形式のＩＰパケットと、コンテンツデータを含むＭＭＴＰパケットを抽出する。分離部２１６は、分離した同期データを計時部２１８に出力する。分離されるコンテンツデータには、ＡＶコンテンツデータを格納したデータファイルとデータ放送コンテンツデータが含まれる。

計時部２１８は、分離部２１６から入力される同期データに示される同期時刻と同期するように時刻を計時する。より具体的には、計時部２１８は、送信装置１０の計時部１１６と同様に、一定のクロック周波数で周期的に電圧が変化する電気信号をクロックとして生成し、生成したクロックに基づいて計時時刻を定める。但し、計時部２１８は、計時した計時時刻が同期データに示される同期時刻と等しくなるように、逐次または間欠的に校正する。計時部２１８は、校正された計時時刻を、さらに所定の基準時を基準として正規化してもよい。所定の基準時は、上記のように放送番組の開始時刻でもよい。計時部２１８は、多重化データから分離される制御情報（例えば、ＭＨ－ＥＩＴ：Event Information Table）を参照して、その番組の放送開始時刻を特定することができる。計時部２１８は、計時時刻を示す時刻信号を提示処理部２３０に出力する。

ＡＶコンテンツ抽出部２２０は、分離部２１６により分離されるコンテンツデータのうち、所定のデータファイルに格納されるＡＶコンテンツデータを抽出し、抽出したＡＶコンテンツデータをＡＶコンテンツ保存部２２２に記憶する。
ＡＶコンテンツ保存部２２２には、ＡＶコンテンツデータが逐次に記憶される。ＡＶコンテンツデータには、音声ブロック、映像ブロックおよびマニフェストファイルが含まれる。音声ブロックには音声時刻情報が音声フレームごとに付随し、映像ブロックには復号時刻情報が映像フレームごとに、映像時刻情報が参照フレーム単位ごとに付随する。
データ放送コンテンツ保存部２２４は、分離部２１６により分離されるコンテンツデータのうち、所定のコンテナに格納されないデータ放送コンテンツデータを分離部２１６から取得し、取得したデータ放送コンテンツデータを自部に記憶する。

提示処理部２３０は、放送で受信される受信コンテンツを提示するための処理を実行する。提示処理部２３０は、ＡＶコンテンツ復号部２３２を備える。提示処理部２３０の機能は、受信装置２０によりプログラムとしてのブラウザを実行し、ブラウザ上で実現される。即ち、提示処理部２３０の機能は、プログラムとしてのブラウザに記述された指令で指示される処理として、受信装置２０のコンピュータシステムが、データ放送コンテンツに記述された指令を解析し、解析された指令で指示される処理を実行して実現されてもよい。
なお、本願では、ブラウザなどのアプリケーションプログラム、その他のプログラムに記述された指令で示される処理を実行することを、「プログラムを実行する」、「プログラムの実行」などと呼ぶことがある。

提示処理部２３０は、入力部２５０から入力される操作信号で放送チャンネルが指示され、その放送チャンネルで放送されるコンテンツデータを取得する。提示処理部２３０は、計時部２１８から入力される時刻信号で示される計時時刻に基づいて指示された提示期間において、取得したコンテンツデータで示されるコンテンツを提示部２４０に提示させるための処理を実行する。

より具体的には、提示処理部２３０は、データ放送コンテンツ保存部２２４を監視し、データ放送コンテンツ保存部２２４に記憶されたデータ放送コンテンツデータの有無を検出する。提示処理部２３０は、データ放送コンテンツデータを検出するとき、そのデータ放送コンテンツデータをデータ放送コンテンツ保存部２２４から読み出す。提示処理部２３０は、読み出したデータ放送コンテンツデータをパーズ（構文解析）し、素材コンテンツの提示に係る指令を検出する。データ放送コンテンツデータに素材コンテンツの提示と、その提示時間を示す指令が記述されている場合、提示処理部２３０は、計時時刻が指示された提示時間に達する前、つまり、提示開始時刻よりも所定時間だけ先行した時刻に素材コンテンツを示す素材コンテンツデータを取得する。所定時間は、読み出し、復号、などの素材コンテンツの取得に要する時間に相当する。提示処理部２３０は、計時時刻が指示されたコンテンツ提示時刻となるときに取得した素材コンテンツを提示部２４０に提示させる。ＡＶコンテンツも、放送番組の一部をなす素材コンテンツとして呼び出されることがある。指示されたコンテンツ提示開始時刻にＡＶコンテンツの提示を開始するためには、それまでに符号化されたＡＶコンテンツデータの復号を開始する必要がある。

提示処理部２３０は、ＡＶコンテンツ復号部２３２を備える。ＡＶコンテンツ復号部２３２は、マニフェストファイルを参照し、メディア種別ごとに提示時間、符号化方式に対応する復号方式およびストリームを特定する。
ＡＶコンテンツ復号部２３２は、ＡＶコンテンツ保存部２２２に新たに記憶されたＡＶコンテンツデータのうち、特定したストリームをなす提示時間内の符号ブロックを取得し、取得した符号ブロックに対して特定した復号方式を用いて時系列順に復号処理を行う。音声については音声時刻が、特定された音声の提示時間に含まれる音声フレームに対応する音声ブロックが処理対象として特定される。映像については、復号時刻が特定された映像の提示時間に含まれる映像フレームに対応する映像ブロックが処理対象として特定される。

より具体的には、提示処理部２３０は、音声復号部と映像復号部を備える。音声復号部は、計時時刻を所定時間遅延した時刻が、特定された提示時間内の音声時刻のいずれかに達する都度、その音声時刻に対応する音声フレームに係る音声ブロックを特定する。音声時刻は、音声ブロックに付随した音声時刻情報を参照して特定される。音声復号部は、特定した音声ブロックに対して特定された音声復号方式を用いて音声復号処理を実行する。音声復号部は、音声フレームごとに復号された音声データに変換し、変換した音声データを提示部２４０に出力可能とする。

映像復号部は、計時時刻を所定時間遅延した時刻が、特定された提示時間内の復号時刻のいずれかに達する都度、その復号時刻に対応する映像フレームに係る映像ブロックを特定する。映像復号部は、特定した映像ブロックに対して特定された映像復号方式を用いて映像復号処理を実行し、映像フレームごとに復号された映像データに変換する。復号時刻は、映像ブロックに付随した復号時刻情報を参照して特定される。映像復号部は、フレームごとに変換された映像データを、参照フレーム単位における個々のフレームの提示順序に従って並び替える。映像復号部は、計時時刻を所定時間遅延した時刻が、特定された提示時間内の提示時刻のいずれかに達する都度、参照フレーム単位ごとに、順序を並び替えた映像データを映像フレームごとに提示部２４０に出力可能とする。
音声の復号、映像の復号ならびに提示を、それぞれマニフェストファイルに記述された提示期間に従うことで、音声と映像との同期が図られる。

なお、提示処理部２３０は、提示されるコンテンツのうち映像、テキスト、記号、模様などの視認可能な情報に対しては、その情報を伝達する表示画面を示す表示画面データを
データ放送コンテンツにより指示された構成に従って合成し、提示部２４０に出力する。ここで、表示画面データにデータ放送コンテンツにより指示された位置、大きさに従って復号した映像が配置される。
提示処理部２３０は、提示されるコンテンツのうち発話、音楽、物音、警告音などの受聴可能な情報（復号した音声も含まれることがある）を伝達する音声データを提示部２４０に出力する。個々の素材となる音は、同期時刻がデータ放送コンテンツにより指示される提示期間内にとなる間、再生される。同時に２個以上の音の提示が指示される場合には、提示処理部２３０は、指示された音をミキシングして得られる１系統の音声データを提示部２４０に出力する。

提示部２４０は、提示処理部２３０から入力される各種のコンテンツを提示するためのデバイスを備える。提示部２４０は、例えば、ディスプレイとスピーカを備える。ディスプレイは、提示部２４０から入力される表示画面データに基づく表示画面を表示する表示部として機能する。スピーカは、提示部２４０から入力される音声データに基づく音声を再生する再生部として機能する。提示部２４０は、ディスプレイとスピーカに代えて、または、ディスプレイとスピーカとともに出力インタフェースを備えてもよい。出力インタフェースには、さらに他のディスプレイとスピーカの一方または両方が接続されてもよい。

入力部２５０は、ユーザの操作を受け付け、受け付けた操作に応じた操作信号を提示処理部２３０に出力する。入力部２５０は、例えば、マウス、タッチパネル、などの汎用の部材を備えてもよいし、ボタン、レバー、つまみ、などの専用の部材を備えてもよい。入力部２５０として用いられるタッチセンサと提示部２４０として用いられるディスプレイは、互いには重なり合うように一体化され、タッチパネルとして構成されてもよい。
入力部２５０は、他の機器（例えば、遠隔制御装置（リモートコントローラ）、スマートフォンなど）から操作信号を検出する操作信号センサを備えてもよい。操作信号センサは、検出した操作信号を提示処理部２３０に出力する。

次に、本実施形態に係る送信処理について説明する。図４は、本実施形態に係る送信処理の一例を示すフローチャートである。
（ステップＳ１０２）送信装置１０の計時部１１６は、クロックを生成し、生成したクロックに基づいて現時刻を計時する。
（ステップＳ１０４）ＡＶコンテンツ符号化部１２２は、ＡＶコンテンツデータを符号化し、符号ブロックとして音声ブロックと映像ブロックを生成する。
（ステップＳ１０６）ＡＶコンテンツ符号化部１２２は、クロックに基づいて計時された計時時刻に基づいて処理単位ごとの提示時刻として、音声フレームごとの音声時刻と映像の参照ブロック単位ごとの提示時刻を定め、復号時刻として、映像フレームごとの復号時刻を定める。コンテンツ編成部１２０は、符号ブロック、提示時刻情報、復号時刻情報を含むコンテンツデータを構成する。

（ステップＳ１０８）同期データ生成部１２４は、クロックに基づいて計時された計時時刻を基準とする同期データを生成する。
（ステップＳ１１０）多重化部１２６は、生成された同期データとコンテンツデータを多重化し、多重化データを生成する。
（ステップＳ１１２）送信部１３０は、多重化データを変調して放送信号を放送伝送路ＢＴに送信する。その後、図４に示す処理を終了する。

次に、本実施形態に係る受信処理について説明する。図５は、本実施形態に係る受信処理の一例を示すフローチャートである。
（ステップＳ２０２）受信装置２０の受信部２１２は、放送伝送路ＢＴを経由して伝送された放送信号を受信する。
（ステップＳ２０４）分離部２１６は、放送信号を復調して得られる多重化データから同期データとコンテンツデータを分離する。
（ステップＳ２０６）計時部２１８は、同期データに同期するように計時時刻を計時して、送信装置１０においてクロックに基づいて計時された計時時刻を再現する。
（ステップＳ２０８）ＡＶコンテンツ復号部２３２は、計時された計時時刻に基づいてＡＶコンテンツデータを復号する。ＡＶコンテンツ復号部２３２の音声復号部は、計時された計時時刻が音声時刻に達するごとに対応する音声フレームについて復号し、出力する。ＡＶコンテンツ復号部２３２の映像復号部は、計時された計時時刻が復号時刻に達するごとに対応する映像フレームについて復号し、提示時刻に達するごとに対応する参照フレーム群について復号された映像を出力する。
（ステップＳ２１０）提示処理部２３０は、データ放送コンテンツで指示される素材コンテンツとするＡＶコンテンツを示すＡＶコンテンツデータを、計時された計時時刻が指示される提示時刻に達するときに提示部２４０に出力する。提示部２４０は、指示されるＡＶコンテンツを提示する。その後、図５に示す処理を終了する。

なお、図６に例示されるように、計時部２１８が独自に絶対時刻（即ち、標準時）を示す同期データに基づいて計時を行い、時刻信号を生成する場合を仮定する。ＡＶコンテンツ復号部２３２は、計時部２１８から通知される時刻信号に基づいて、放送される多重化データから分離されたＡＶコンテンツデータを復号する。ＡＶコンテンツデータの復号時刻と提示時刻は符号化において参照した時刻を基準とするが、必ずしも標準時を基準とするとは限らない。そのため、復号されるコンテンツと符号化されるコンテンツとの同期が保証されない。

これに対し、本実施形態に係る受信装置２０は、放送される多重化データを受信する受信部２１２と、所定のクロックに基づいて計時された同期時刻を示す同期データと、同期時刻と同期して符号化されたコンテンツデータを多重化データから分離する分離部２１６と、コンテンツデータを復号したコンテンツを同期時刻と同期して出力する提示処理部２３０と、を備える。ブラウザにより受信装置２０のコンピュータが、提示処理部２３０としての機能を奏する。
この構成によれば、放送により符号化において参照したクロックに基づく同期時刻を取得し、取得した同期時刻に同期して、復号したコンテンツが出力される。そのため、ブラウザにより各種のメディアを統合しながら、符号化と同期したコンテンツの提示を確実に実現することができる。

また、受信装置２０は、同期時刻と同期した時刻である計時時刻を計時する計時部２１８を備える。提示処理部２３０は、所定の基準時を基準とする計時時刻がコンテンツの提示時刻となるとき、復号したコンテンツを出力してもよい。
この構成によれば、同期時刻と同期した計時時刻がコンテンツの提示時刻となるとき、復号したコンテンツが出力される。同期時刻が離散的に設定される場合でも、より短い時間間隔で計時された計時時刻を用いて提示時刻が指示される。放送伝送路の伝送容量や多重化データのデータ構成に制約がある場合でも、高い時間精度でコンテンツの提示が制御される。

また、受信装置２０は、コンテンツデータを復号する復号部（例えば、ＡＶコンテンツ復号部２３２）を備え、復号部は、計時時刻がコンテンツデータの復号時刻となるとき、符号化されたコンテンツデータを復号してもよい。
この構成によれば、同期時刻と同期した計時時刻がコンテンツデータの復号時刻となるとき、符号化されたコンテンツデータが復号される。同期時刻が離散的に設定される場合でも、より短い時間間隔で計時された計時時刻を用いて復号時刻が指示される。放送伝送路の伝送容量や多重化データのデータ構成に制約がある場合でも、高い時間精度でコンテンツデータの復号が制御される。

また、コンテンツデータは、提示時刻におけるコンテンツの提示を指示するデータ放送コンテンツを含み、提示処理部２３０は、データ放送コンテンツを解析し、提示時刻を特定してもよい。
この構成によれば、復号対象となるコンテンツデータと並行して取得されたデータ放送コンテンツを解析して、コンテンツを提示する提示時刻が特定される。復号対象となるコンテンツデータと別個にコンテンツの提示時刻を示すデータ放送コンテンツを伝達することで、符号化と同期した多様なコンテンツの提示を制御することができる。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成は上述の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。上述の実施形態において説明した各構成は、任意に組み合わせることができる。

例えば、上記の説明では、放送番組の要素として用いられる実時間コンテンツが、映像と音声の組である場合を主としたが、これには限られない。放送される実時間コンテンツは、映像と音声のいずれか一方でもよいし、テキストなど他の種類のコンテンツが含まれてもよい。また、受信装置２０において、入力部２５０と提示部２４０の一方または両方が、提示処理部２３０と無線で入出力可能に接続できれば、必ずしも一体化されなくてもよい。
送信装置１０においてＡＶコンテンツ蓄積部１１２が省略されてもよい、送信装置１０のコンテンツ編成部１２０には、他の機器からＡＶコンテンツとデータ放送コンテンツが直接または間接的に入力されてもよい。

また、上記の説明では、放送で受信されるコンテンツをその時点で提示する場合（実時間再生）を主としたが、これには限られない。記録されたコンテンツデータに基づいて、その放送番組のコンテンツを提示する場合（録画再生）に適用されてもよい。その場合には、受信装置２０には、その放送番組についてコンテンツデータと対応付けて同期データを記憶する放送データ記憶部を備える。提示処理部２３０は、入力部２５０から入力される操作信号により、その放送番組の録画再生が指示されるとき、その放送番組に係る同期データを放送データ記憶部から時系列順に読み出し、読み出した同期データを計時部２１８に出力する。計時部２１８は、読み出された同期データに示される同期時刻と同期するように時刻を計時する。但し、計時部２１８は、基準時として、番組開始時刻に代え再生開始時刻を用いて計時時刻を定める。これにより、計時時刻が再生開始時刻を基準とする時刻に補償される。また、提示処理部２３０は、その放送番組に係るコンテンツデータを放送データ記憶部から読み出し、補償された計時時刻を用いて、読み出したコンテンツデータに対し、上記のコンテンツの提示に係る処理を実行すればよい。

放送データ記憶部は、さらに時刻サーバから標準時を示す標準時データを受信し、同期データを基準とする放送番組の放送開始時刻からの放送期間に対する標準時を基準とする期間を標準放送期間として計測してもよい。放送データ記憶部には、指示される放送期間の標準放送期間に対する補正率を算出し、その放送番組と算出した補正率を対応付けてもよい。提示処理部２３０は、その放送番組に係る同期データを読み出す際、時刻サーバから伝達される標準時の番組開始時刻からの経過時間をその放送番組の補正率で補正した補正時間を計時時刻として定めてもよい。これにより、符号化において参照したクロックに基づく計時時刻の時間間隔が得られるので、そのクロックに基づく時間経過が再現される。

また、上述の送信装置１０の全部または一部、例えば、計時部１１６、コンテンツ編成部１２０、同期データ生成部１２４、受信装置２０の全部または一部、例えば、計時部２１８、ＡＶコンテンツ抽出部２２０、提示処理部２３０の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、それらの機能を実現してもよい。また、これらのプログラムは、各部ごとに分割されていてもよい。例えば、提示処理部２３０の機能を実現するためのブラウザは、その他の機能を実現するためのプログラムと別個であってもよい。
ここでいう「コンピュータシステム」とは、プロセッサ、記憶媒体、周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、インターネットやＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、ＣＤ－ＲＯＭ等の非一過性の記録媒体であってもよい。また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部または外部に設けられた記録媒体も含まれる。配信サーバの記録媒体に記憶されるプログラムのコードは、端末装置で実行可能な形式のプログラムのコードと異なるものでもよい。すなわち、配信サーバからダウンロードされて端末装置で実行可能な形でインストールができるものであれば、配信サーバで記憶される形式は問わない。

なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に端末装置で一体化する構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えば、ＲＡＭ（Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

１…放送システム、１０…送信装置、２０…受信装置、１１２…ＡＶコンテンツ蓄積部、１１６…計時部、１２０…コンテンツ編成部、１２２…ＡＶコンテンツ符号化部、１２４…同期データ生成部、１２６…多重化部、１２８…変調部、１３０…送信部、２１２…受信部、２１４…復調部、２１６…分離部、２１８…計時部、２２０…ＡＶコンテンツ抽出部、２２２…ＡＶコンテンツ保存部、２２４…データ放送コンテンツ保存部、２３０…提示処理部、２３２…ＡＶコンテンツ復号部、２４０…提示部、２５０…入力部

Claims (7)

1. 放送される多重化データを受信する受信部と、
   所定のクロックに基づいて計時された同期時刻を示す同期データと、前記同期時刻と同期して符号化されたコンテンツデータを前記多重化データから分離する分離部と、
   前記コンテンツデータを復号したコンテンツを前記同期時刻と同期して出力する提示処理部と、を備える受信装置であって、
   ブラウザにより前記受信装置のコンピュータが、前記提示処理部としての機能を奏する
   受信装置。
2. 前記同期時刻と同期した時刻である計時時刻を計時する計時部を備え、
   前記提示処理部は、
   所定の基準時を基準とする前記計時時刻が、前記コンテンツの提示時刻となるとき、復号した前記コンテンツを出力する
   請求項１に記載の受信装置。
3. 前記コンテンツデータを復号する復号部を備え、
   前記復号部は、
   前記計時時刻が、前記コンテンツデータの復号時刻となるとき、
   符号化された前記コンテンツデータを復号する
   請求項２に記載の受信装置。
4. 前記コンテンツデータは、前記提示時刻におけるコンテンツの提示を指示するデータ放送コンテンツと対応付けて取得され
   前記提示処理部は、
   前記データ放送コンテンツを解析し、前記提示時刻を特定する
   請求項２または請求項３に記載の受信装置。
5. 所定のクロックに基づいて定めた同期時刻を示す同期データを生成する同期データ生成部と、
   前記同期時刻と同期してコンテンツを符号化してコンテンツデータを生成する符号化部と、
   前記同期データと前記コンテンツデータを多重化して多重化データを生成する多重化部と、
   前記多重化データを放送で送信する送信部と、を備える送信装置と、
   請求項１から請求項４のいずれか一項に記載の受信装置と、を備える
   放送システム。
6. コンピュータに
   請求項１から請求項４のいずれか一項に記載の受信装置、
   として機能させるためのプログラム。
7. 放送される多重化データを受信する受信部を備える受信装置における方法であって、
   前記受信装置が、
   所定のクロックに基づいて計時された同期時刻を示す同期データと、前記同期時刻と同期して符号化されたコンテンツデータを前記多重化データから分離する分離ステップと、
   前記コンテンツデータを復号したコンテンツを前記同期時刻と同期して出力する提示処理ステップとを実行する受信方法であって、
   ブラウザにより前記受信装置のコンピュータが、前記提示処理ステップを実行する
   受信方法。

Images