以下、本発明の実施形態について、図面を参照して説明する。
[第1の実施形態]
まず、本発明の第1の実施形態に係る受信装置1の概要について説明する。
図1は、本実施形態に係る受信装置1の機能構成例を示す概略ブロック図である。
受信装置1は、放送受信部12と、復調部14と、変換処理部20と、受信処理部30と、を含んで構成される。
放送受信部12は、送信装置(図示せず)から放送伝送路を介して伝送された放送信号を儒受信信号として受信する。放送伝送路は、放送信号を不特定多数の受信装置に一方的かつ一斉に送信する伝送路である。放送伝送路は、所定の周波数帯域の放送波である。放送伝送路には、その一部にネットワーク、専用回線など、有線又は無線の通信回線が含まれてもよい。放送受信部12は、動作制御部(図示せず)から入力される制御信号で指示される放送チャンネルに対応する周波数帯域の放送信号を受信する。動作制御部は、例えば、ユーザの操作に応じて遠隔制御装置(リモコン)から入力される操作信号を制御信号として放送受信部12に出力する。動作制御部は、変換処理部20、受信処理部30のいずれかに設けられてもよいし、そのいずれとの独立に設けされてもよい。
受信信号は、IF(Intermediate Frequency)信号であってもよい。放送受信部12は、例えば、チューナである。放送受信部12は、受信した放送信号を基底帯域(ベースバンド)の放送信号にダウンコンバートして得られる放送信号を復調部14に出力する。
復調部14は、放送受信部12から入力される放送信号を所定の復調方式を用いて復調し、所定の多重化方式で多重化された多重化データに変換する。復調方式は、送信装置において用いられた変調方式(例えば、8PSK:8 Phase Shift Keying(八相位相変調)、APSK:Amplitude and Phase Shift Keying(振幅位相変調))に対応する復調方式であればよい。多重化データは、例えば、TLV(Type−length−value)ストリームである。TLVストリームは、TLV/MMT方式により多重化された一連のTLVパケットからなるデータストリームである。TLV/MMT方式による多重化処理は、MMT方式による多重化と、TLV方式による多重化を含む。なお、TLV方式、MMT方式は、トランスポート方式(伝送方式)とみなされることもある。復調部14は、生成した多重化データを変換処理部20に出力する。復調部14は、例えば、復調器である。
変換処理部20は、復調部14から入力される多重化データを放送サービスの構成要素である音声データ、映像データ、付加コンテンツデータ及び放送に係る付加データに分離する。付加コンテンツデータは、放送サービスで提供される音声ならびに映像に付加される付加コンテンツに係るデータである。付加コンテンツは、音声ならび映像以外のコンテンツである。付加コンテンツデータには、例えば、映像に重畳させる文字を示す文字データ、マルチメディアデータ、等のいずれか又はこれらの組み合わせが含まれる。付加データには、受信処理に係る制御情報と基準時刻を示す基準時刻情報が含まれる。変換処理部20は、入力された多重化データの多重化に用いた第1多重化方式とは別個の多重化方式である第2多重化方式(例えば、MPEG−2 TS方式)で、分離した音声データと映像データとを多重化して第2多重化データを生成する。
以下の説明では、変換処理部20に復調部14から入力される多重化データを第1多重化データと呼び、第2多重化データと区別する。変換処理部20は、生成した第2多重化データ及び付加コンテンツデータを受信処理部30に出力する。
変換処理部20は、CPU(Central Processing Unit)等の汎用もしくは専用の演算デバイスを含んで構成されてもよい。演算デバイスは、所定の制御プログラムに記述された命令で指示される処理を実行することにより、その機能を実現してもよい。
受信処理部30は、変換処理部20から入力される第2多重化データから第2多重化方式に対応する分離方式で音声データと映像データを分離する。受信処理部30は、分離した音声データを所定の音声復号方式(例えば、MPEG−4 AUDIO)で音声信号に復号する。受信処理部30は、分離した映像データを所定の映像復号方式(例えば、HEVC:High Efficiency Video Coding)で映像信号に復号する。
また、受信処理部30は、変換処理部20から入力される付加コンテンツデータに基づいて付加コンテンツを構成する。構成される付加コンテンツに視覚情報が含まれる場合には、受信処理部30は、その視覚情報を映像データに合成し、合成した映像データを表示部(図示せず)に出力する。視覚情報は、視認可能とする情報、例えば、動画像、静止画像、文字、記号、図形などが含まれる。構成される付加コンテンツに聴覚情報が含まれる場合には、受信処理部30は、その聴覚情報を音声データに合成し、合成した音声データを再生部(図示せず)に出力する。聴覚情報は、受聴可能とする情報、例えば、発話音声、動作音、効果音、音楽などが含まれる。
受信処理部30は、例えば、専用の演算デバイスを含んで構成される集積回路、いわゆるSoCである。
次に、変換処理部20の機能構成について説明する。
変換処理部20は、入力部202と、復号部204と、デスクランブル部206と、ローカル暗号化部208と、TLV記憶部210と、ローカル復号部212と、変換部214と、分離部220と、解析部222と、多重化部230と、SI管理部232と、NTP管理部234と、TTML管理部236と、HTML管理部238と、出力部240と、入出力部242と、を含んで構成される。
入力部202には、復調部14から第1多重化データが入力され、入力された第1多重化データを復号部204に出力する。入力部202は、例えば、データ入力インタフェースである。
復号部204には、入力部202から第1多重化データが入力される。入力部202から入力される多重化データは、所定の暗号化方式(例えば、AES:Advanced Encryption Standard)暗号化され、さらに誤り訂正符号が付加されている。誤り訂正符号は、例えば、BCH(Bose Chaudhuri Hocquenghem)符号とLDPC(Low Density Parity Check)符号である。復号部204は、付加された誤り訂正符号を用いて暗号化された第1多重化データについて誤り訂正処理を行う。復号部204は、誤り訂正処理を行って得られた第1多重化データについて復号処理を行い、暗号化されていない第1多重化データに変換する。復号処理に用いられる復号方式は、暗号化に用いられる暗号化方式に対応する方式であればよい。復号部204は、変換した第1多重化データをデスクランブル部206に出力する。
デスクランブル部206には、復号部204から第1多重化データが入力される。デスクランブル部206に入力される第1多重化データは、スクランブルされた多重化データである。デスクランブル部206は、デスクランブル(スクランブルを解除)するための鍵情報を用いて第1多重化データをデスクランブルし、デスクランブルした多重化データをローカル暗号化部208又は変換部214に出力する。より具体的には、デスクランブル部206は、予め設定された識別情報を用いて個別情報(EMM:Entitlement Management Message)の暗号化を解除し、加入者ごとの契約情報や共通情報(ECM:Entitlement Control Message)の暗号化を解除(復号)するためのワーク鍵を生成する。デスクランブル部206は、生成したワーク鍵を用いて、第1多重化データを構成する付加データに含まれる共通情報(ECM)の暗号化を解除し、暗号化が解除されたデスクランブル鍵を抽出する。デスクランブル部206は、抽出したデスクランブル鍵を用いて多重化データをデスクランブルする。デスクランブル部206は、デスクランブルした多重化データを変換部214に出力する。
なお、受信装置1の動作を制御する動作制御部(図示せず)から入力される制御信号により録画が指示される場合には、デスクランブル部206は、デスクランブルした第1多重化データをローカル暗号化部208に出力してもよい。
ローカル暗号化部208は、デスクランブル部206から入力される第1多重化データを所定の暗号化方式で暗号化して暗号化された第1多重化データを生成し、生成した第1多重化データをTLV記憶部210に記憶する。
従って、TLV記憶部210には、暗号化されたTLVストリームが記憶される。TLV記憶部210は、例えば、HDD(Hard Disk Drive)などの記憶媒体を含んで構成される。
ローカル復号部212は、動作制御部(図示せず)から入力される制御信号で指示される区間のTLVストリームを順次読み出し、読み出したTLVストリームをなす第1多重化データを復号する。ローカル復号部212が用いる復号方式は、ローカル暗号化部208が暗号化に用いた暗号化方式に対応する復号方式であればよい。ローカル復号部212は、復号した暗号化データを変換部214に出力する。
変換部214は、デスクランブル部206又はローカル復号部212から入力される第1多重化データの形式をTLVストリームからMMTPパケットに変換し、形式を変換した第1多重化データを分離部220に出力する。ここで、変換部214は、TLVストリームを構成する各TLVパケットからIP(Internet Protocol)パケットを抽出する。変換部214は、抽出したIPパケットからさらにMMTP(MMT Protocol)パケットとNTP(Network Time Protocol)形式の時刻情報を格納したIPパケット(以下、NTPパケット)を抽出する。MMTPパケットには、MMT方式により多重化される種々の細分化されたデータが格納される。NTPパケットには、基準時刻を示す時刻情報である基準時刻情報が格納される。基準時刻は、例えば、協定世界時(UTC:Coordinated Universal Time)を基準とする所定時間毎の送信時刻が用いられる。NTPパケットでは、基準時刻情報は、その時刻のタイムスタンプで表される。変換部214は、抽出したMMTPパケットとNTPパケットを分離部220に順次出力する。
分離部220は、変換部214から入力される第1多重化データから放送サービスの構成要素(アセット)となる音声を示す音声データ、映像を示す映像データ、付加コンテンツを示す付加コンテンツデータ及び制御情報を分離する。付加コンテンツは、音声ならび映像以外のコンテンツである。付加コンテンツデータには、例えば、映像に重畳させる文字を示す文字データ、マルチメディアデータ、等のいずれか又はこれらの組み合わせが含まれる。文字データは、放送サービスで提供される音声や映像に関連する内容を示す文字列を示すデータ(字幕)であってもよいし、それらの音声や映像とは独立な内容を示す文字列を示すデータ(文字スーパー、非同期字幕)であってもよい。
文字データは、例えば、TTML(Timed Text Markup Language)で記述されたデータである。TTMLは、マークアップ言語の一つであり、テキストの表示タイミングや表示位置を指定できることを特徴とする。マルチメディアデータは、複数の表現メディアから構成される1セットの表現メディア(マルチメディア)を提示するためのデータである。個々の表現メディアは、例えば、動画、静止画、図形、音声、文字などである。マルチメディアデータは、必ずしも一部又は全部の表現メディアを示すデータが含まれていなくてもよい。マルチメディアデータは、表現メディアの所在を示す情報(ネットワーク上のアドレスなど)が含まれてもよい。マルチメディアデータは、例えば、HTML5(HyperText Markup Language)で記述されたアプリケーションとして提供される。HTML5は、マークアップ言語の一つであり、映像や音声の再生、停止などを指定できることを特徴とする。
付加データとして、放送の受信に関する制御情報と基準時刻情報が含まれる。制御情報には、メディアトランスポート方式であるMMTに関するMMT−SI(System Information)が含まれる。MMT−SIには、その要素情報として各種のテーブル、記述子が含まれる。MMT−SIには、本実施形態に関連するテーブルとして、上述のEMM、ECMの他、MPT(MMT Package Table、MMTパッケージテーブル)、MH−EIT(MH−Event Information Table、MH−イベント情報テーブル、MH−SDT(MH−Service Description Table、MH−サービス記述テーブル)、MH−TOT(MH−Time Offset Table、MH−タイムオフセットテーブル)、MH−AIT(MH−Application Information Table、アプリケーション情報テーブル)などが含まれる。MPTは、アセットのリストなどパッケージを構成する構成情報を示す。MH−EITは、番組(イベント)の名称、放送時間、タイトル、出演者、ジャンルなど、各番組に関する番組情報を示す。MH−SDTは、編成チャンネルの名称、放送事業者の名称など、各チャンネルに関するチャンネル情報を示す。MH−TOTは、現在日付と現在時刻を示す時刻情報を示す。但し、MH−TOTで示される現在時刻は、日本標準時を基準とする時刻(JST時刻)であり、受信装置1からの設定画面、案内画面その他の各種の表示に用いられる。以下では、MH−TOTで示される時刻情報をシステム時刻情報、その時刻をシステム時刻と呼び、NTP形式の基準時刻情報、基準時刻とそれぞれ区別する。MH−AITは、アプリケーションの実行、停止に制御情報及び実行に要する付加情報(アプリケーション制御情報)を示す。アプリケーション制御情報が存在する場合、その存在を示す情報がMPTに記述される。
また、MMT−SIには、本実施形態に関連する記述子として、MH−データ符号化方式記述子(MH−Data_Component_Descriptor)が含まれる。MH−データ符号化方式記述子には、付加識別情報(additional_data_component_info)が記述される。付加識別情報には、参照開始時刻(reference_start_time)が記述される。参照開始時刻は、文字情報の提示開始時刻であって、NTP形式で指定された時刻である。具体的には、参照開始時刻は、字幕や文字スーパーをTTMLで記述されたTTML文書内のタイムコードの起点となるUTC時刻で指定される。
分離部220は、分離した音声データと映像データを多重化部230に出力し、制御情報としてMMT−SIを解析部222に出力する。また、分離部220は、基準時刻情報をNTP管理部234に、文字データをTTML管理部236に、マルチメディアデータをHTML管理部238にそれぞれ出力する。
解析部222は、分離部220から入力された制御情報を解析し、構成情報を示すMPT、番組情報を示すMH−EIT、チャネル情報を示すMH−SDT、システム時刻情報を示すMH−TOT及びアプリケーション制御情報を示すMH−AITを抽出する。また、解析部222は、制御情報から、文字データの提示に係る参照開始時刻を示す付加識別情報を抽出する。解析部222は、抽出した各種情報をSI管理部232に記憶する。以下、MMT−SIから抽出した情報をSI情報と総称する。
解析部222は、分離部から入力される基準時刻情報が示す基準時刻に同期した所定のクロック周波数(例えば、27MHz)のクロック信号(STC:System Time Clock)を生成する。クロック信号は、変換処理部20の各構成要素間の処理を同期(クロック同期)させるために用いられる。解析部222は、生成したクロック信号を所定の分周率(例えば、2700分の1)で分周して、所定時間(例えば、0.1ms)毎の基準時刻を示す基準時刻情報を再構成する。解析部222は、再構成した基準時刻情報をMPEG−2 TS方式で規定されたPCR(Program Clock Reference)として多重化部230に出力する。解析部222は、構成情報を示すMPTを解析し、放送される音声を示す音声データと映像を示す映像データを構成要素として示すPMT(Program Map Table)に変換する。PMTは、MPEG−2 TS形式の構成情報を示す情報テーブルである。解析部222は、システム時刻情報を示すMH−TOTをMPEG−2 TS形式のシステム時刻情報を示すTOTに変換する。解析部222は、構成情報を示すPMTとシステム時刻情報を示すTOTを多重化部230に出力する。
多重化部230は、分離部220から入力される音声データと映像データのうち、解析部222から入力される構成情報を示すPMTで指定される音声データと映像データを特定する。多重化部230は、特定した音声データの形式と映像データの形式をMPEG−2 TS方式で規定された形式であるエレメンタリストリーム(ES:Elementary Stream)に変換する。また、多重化部230は、解析部222から入力される構成情報を示すPMTとシステム時刻情報を示すTOTを含む制御情報を構成する。構成される制御情報のデータ形式は、MPEG−2 TS方式で規定された形式となる。多重化部230は、形式を変換した音声データ、映像データ、解析部222から入力されるPCR及び制御信号を多重化し、MPEG−2 TS方式に規定された形式の第2多重化データを生成する。PCRは、第2多重化データをなすTSに所定時間(例えば、0.1ms)間隔で含まれる。多重化部230は、生成した第2多重化データを出力部240に出力する。
SI管理部232は、解析部222から入力されるSI情報を順次記憶する。SI管理部232は、そのSI情報の送信装置からの送信時刻を示す基準時刻情報と対応付けて記憶してもよい。なお、入出力部242を介して情報要求信号が受信処理部30から入力される場合には、SI管理部232は、その応答として情報要求信号で指定されるSI情報を受信処理部30に入出力部242を介して出力してもよい。
NTP管理部234は、分離部220から入力される基準時刻情報を順次記憶する。NTP管理部234は、新たに入力される基準時刻情報を受信処理部30に入出力部242を介して出力する。
TTML管理部236は、分離部220から入力される文字データを順次記憶する。TTML管理部236は、新たに入力される文字データを入出力部242に出力する。なお、入出力部242を介して情報要求信号が受信処理部30から入力される場合には、TTML管理部236は、その応答として情報要求信号で指定される文字データを受信処理部30に入出力部242を介して出力してもよい。
HTML管理部238は、分離部220から入力されるマルチメディアデータを順次記憶する。HTML管理部238は、新たに入力されるマルチメディアデータを入出力部242に出力する。なお、入出力部242を介して情報要求信号が受信処理部30から入力される場合には、HTML管理部238は、その応答として情報要求信号で指定されるマルチメディアデータを受信処理部30に入出力部242を介して出力してもよい。
なお、SI管理部232、NTP管理部234、TTML管理部236及びHTML管理部238は、それぞれリレーショナルデータベースとして構成されてもよい。
出力部240は、多重化部230から入力される多重化データを受信処理部30に出力する。出力部240は、例えば、出力インタフェースである。
入出力部242は、SI管理部232、NTP管理部234、TTML管理部236及びHTML管理部238から入力される各種のデータを受信処理部30に出力する。また、入出力部242は、受信処理部30から情報要求信号が入力される場合には、出力先の構成部(例えば、TTML管理部236)に入力される情報要求信号を出力する。入出力部242は、例えば、入出力インタフェースである。
次に、受信処理部30の機能構成について図2を用いて説明する。
図2は、本実施形態に係る受信処理部30の機能構成例を示す概略ブロック図である。図2では、変換処理部20を示す。但し、入力部202、復号部204、デスクランブル部206、ローカル暗号化部208、TLV記憶部210、ローカル復号部212、及び変換部214の図示が省略されている。
受信処理部30は、入力部320と、入出力部322と、通信部324と、分離部330と、映像復号部332と、映像合成部334と、音声復号部336と、音声ミキシング部338と、同期処理部340と、付加コンテンツ処理部342と、を含んで構成される。
入力部320は、変換処理部20から入力される第2多重化データを分離部330に出力する。入力部320は、例えば、入力インタフェースである。
入出力部322は、変換処理部20から入力される各種のデータを同期処理部340又は付加コンテンツ処理部342に出力する。また、入出力部322は、付加コンテンツ処理部342から入力される情報要求信号を変換処理部20に出力する。入出力部322は、例えば、入出力インタフェースである。
通信部324は、付加コンテンツ処理部342とネットワークに接続された機器との間で各種のデータを送受信する。ネットワークは、有線であっても無線であってもよい。通信部324は、例えば、通信インタフェースである。
分離部330は、入力部320から入力される第2多重化データから音声データ、映像データ及び制御情報を分離する。分離部330は、分離した音声データ、映像データをそれぞれ音声復号部336、映像復号部332に出力する。分離部330は、分離した制御情報からシステム時刻情報を抽出し、抽出したシステム時刻情報を示すTOTを同期処理部340に出力する。受信処理部30は、TOTで表されるシステム時刻を基準として放送されるコンテンツやそのコンテンツに関連する各種の関連情報を提示する。関連情報には、例えば、番組予約に係る予約情報、現在時刻を示す現在時刻表などが含まれる。
映像復号部332は、分離部330から入力された映像データを所定の映像復号方式を用いて復号する。映像復号部332に入力される映像データは、その映像復号方式に対応する映像符号化方式で符号化されている。映像復号部332は、復号した映像データを映像合成部334に出力する。
映像合成部334は、映像復号部332から入力された映像データに付加コンテンツ処理部342から入力される視覚情報を合成し、視覚情報が重畳された映像データを生成する。映像合成部334は、生成した映像データを表示部(図示せず)に出力する。
音声復号部336は、分離部330から入力された音声データを所定の音声復号方式を用いて復号する。音声復号部336に入力される音声データは、その音声復号方式に対応する音声符号化方式で符号化されている。音声復号部336は、復号した音声データを音声ミキシング部338に出力する。
音声ミキシング部338は、音声復号部336から入力された音声データに付加コンテンツ処理部342から入力される聴覚情報を合成し、聴覚情報が重畳された音声データを生成する。音声ミキシング部338は、生成した音声データを再生部(図示せず)に出力する。
同期処理部340は、付加コンテンツの提示制御時刻を、変換処理部20から入力される基準時刻情報が示す基準時刻から分離部330から入力されるシステム時刻情報が示すシステム時刻の時間差で補正させる。提示制御時刻は、提示開始時刻と提示終了時刻の総称である。より具体的には、同期処理部340は、TOT基準のシステム時刻からNTP基準の基準時刻の時間差を算出し、算出した時間差を示す時間差情報を付加コンテンツ処理部342に出力する。同期処理部340の機能は、上述の演算デバイスが、所定のスクリプト言語(例えば、ECMA−262:European Computer Manufacturers Association−262)で記述された命令で指示される処理を実行することにより実現される。
付加コンテンツ処理部342は、所定のアプリケーションプログラム(以下、アプリケーション)を実行して付加コンテンツを取得する。取得された付加コンテンツに視覚情報が含まれる場合には、付加コンテンツ処理部342は、その視覚情報を映像合成部334に出力する。取得された付加コンテンツに聴覚情報が含まれる場合には、付加コンテンツ処理部342は、その聴覚情報を音声ミキシング部338に出力する。アプリケーションは、例えば、HTML5で記述され、付加コンテンツその他の情報の提示に係る各種の命令が記述される。アプリケーションを実行するとは、そのアプリケーションに記述された命令で指示される処理を行うことを指す。付加コンテンツ処理部342は、例えば、ブラウザである。
付加コンテンツ処理部342が実行する所定のアプリケーションは、受信処理部30の記憶部(図示せず)に予め記憶されたアプリケーションであってもよいし、放送信号により伝送される放送アプリケーションであってもよい。既設定のアプリケーションとして、例えば、字幕表示アプリケーション、番組表表示アプリケーション、などがある。放送アプリケーションには、HTML管理部238に記憶されるマルチメディアデータなどがある。
ここで、字幕表示アプリケーションの実行について説明する。字幕表示アプリケーションの実行を開始する時点は、例えば、付加コンテンツ処理部342が、サービスの構成要素として文字データを構成要素として含む構成情報の受信を開始した時点である。構成情報は、上述したようにSI管理部232から送信される最新のSI情報に含まれる。字幕表示アプリケーションを実行するとき、付加コンテンツ処理部342は、次の処理を行う。付加コンテンツ処理部342は、その時点での最新の文字データの要求を示す情報要求信号を生成し、生成した情報要求信号をTTML管理部236に出力する。付加コンテンツ処理部342は、情報要求信号の応答としてTTML管理部236から文字データを受信する。付加コンテンツ処理部342は、受信したSI情報からMH−データ符号化方式記述子に記述された参照開始時刻(reference_start_time)を特定する。そして、付加コンテンツ処理部342は、特定した参照開始時刻に同期処理部340から入力された時間差情報が示す時間差を加算し、参照開始時刻からその時間差だけシフトした時刻を補正参照開始時刻として算出する。算出される補正参照開始時刻は、TOT基準の時刻スケールに合わせた字幕の表示時刻に相当する。付加コンテンツ処理部342は、現在時刻が補正参照開始時刻になったとき文字データが示す文字列からなる字幕を映像合成部334に出力する。ここで、基準時刻に基づく補正参照開始時刻は、システム時刻に基づく参照開始時刻に相当する。従って、表示部には、システム時刻に基づく参照開始時刻に字幕と放送される映像とが同期して表示される。
なお、補正参照開始時刻を算出する処理は、付加コンテンツ処理部342が行うのではなく、変換処理部20が実行してもよい。その場合、変換処理部20の解析部222は、MMT−SIから分離されたMH−TOTが示すTOT基準のシステム時刻から分離部220から入力される基準時刻情報が示すNTP基準の基準時刻の時間差を算出する。解析部222は、算出した時間差にMPTから抽出される参照開始時刻(reference_start_time)を加えて補正参照開始時刻を算出する。解析部222は、この参照開始時刻の適用対象の文字データと対応付けて、算出した補正参照開始時刻を示す補正参照開始時刻情報をTTML管理部236に出力する。解析部222は、MPTを参照して、その参照開始時刻が記述されたMH−データ符号化方式記述子を含むアセット記述子領域に対応するアセットを、適用対象の文字データを特定することができる。
付加コンテンツ処理部342は、字幕表示アプリケーションを実行するとき、その時点での最新の文字データの要求を示す情報要求信号を生成し、生成した情報要求信号をTTML管理部236に出力する。付加コンテンツ処理部342は、情報要求信号の応答としてTTML管理部236から文字データを補正参照開始時刻情報と対応付けて受信する。付加コンテンツ処理部342は、TOT基準の現在時刻が補正参照開始時刻情報が示す補正参照開始時刻に達したとき、受信した文字データが示す文字列からなる字幕を映像合成部334に出力する。よって、この手法によっても表示部には、システム時刻に基づく参照開始時刻に字幕と放送される映像とが同期して表示される。
次に、番組表表示アプリケーションの実行について説明する。番組表表示アプリケーションの実行を開始する時点は、例えば、付加コンテンツ処理部342に動作制御部(図示せず)から番組表表示を指示する制御信号が入力されるときである。番組表表示アプリケーションを実行するとき、付加コンテンツ処理部342は、次の処理を行う。付加コンテンツ処理部342は、その時点で最新のチャンネル情報と番組情報を示す情報要求信号を生成し、生成した情報要求信号をSI管理部232に出力する。付加コンテンツ処理部342は、SI管理部232から情報要求信号の応答として、チャンネル情報と番組情報を受信する。付加コンテンツ処理部342は、チャンネル情報が示すチャンネル毎に放送事業者名、チャンネル番号、番組毎の番組情報を放送時間の順に配列して番組表情報を生成する。付加コンテンツ処理部342は、生成した番組表情報を映像合成部334に出力する。これにより、表示部には番組表情報が表示される。なお、現時刻が放送時間内であるいずれかの番組情報が指示される場合には、動作制御部は、その番組のチャンネルを選局してもよい。より具体的には、動作制御部は、その番組が放送される放送チャンネルを指示する動作制御信号を放送受信部12に出力する。また、いずれかの番組情報に係る番組の録画が指示されるときには、動作制御部は、その番組の録画予約を行ってもよい。より具体的には、デスクランブル部206は、動作制御部からの動作制御信号の指示に応じて、その番組の番組開始時刻に第1多重化データをローカル暗号化部208に出力し、TLV記憶部210に記録させる。また、デスクランブル部206は、番組終了時刻に第1多重化データのローカル暗号化部208への出力を停止して、TLV記憶部210への記録を停止させる。TLV記憶部210に記録した第1多重化データによる録画再生は、基準時刻を基準として実行されるため、本実施形態では録画開始に係る番組開始時刻、録画終了に係る番組終了時刻の補正は行わなくてもよい。
次に、放送アプリケーションの実行について説明する。付加コンテンツ処理部342は、SI管理部232から受信した最新のアプリケーション制御情報に基づいて放送アプリケーションとしてHTML管理部238に記憶されるマルチメディアデータを取得する。そこで、付加コンテンツ処理部342は、アプリケーション制御情報に記述されている取得先情報としてHTML管理部238を特定し、HTML管理部238にそのマルチメディアデータを示す情報要求信号を出力する。付加コンテンツ処理部342には、その応答としてHTML管理部238から出力されるマルチメディアデータが入力される。そのために、解析部222は、アプリケーション制御情報に実行対象のアプリケーションとしてマルチメディアデータが指定されている場合には、その所在を示す情報としてHTML管理部238のアドレスをアプリケーション制御情報に記述する。そして、解析部222は、そのアプリケーション制御情報をSI管理部232に出力する。
付加コンテンツ処理部342は、アプリケーション制御情報に記述されている各種の命令に基づいて取得したアプリケーションの実行を制御する。かかる命令には、起動指示、終了などの情報が含まれる。それらの命令には、その命令を実行する実行時刻(即ち、アプリケーションの起動時刻、終了時刻、コンテンツの提示時刻など)が指定されることがある。指定される実行時刻が基準時刻に基づく時刻である場合には、付加コンテンツ処理部342は、実行時刻に上述の時間差を加算し、実行時刻からその時間差だけシフトした時刻を補正実行時刻として算出する。付加コンテンツ処理部342は、補正実行時刻になったとき、その命令で指示される処理を実行する。例えば、付加コンテンツ処理部342は、アプリケーションに記述される命令で指示される処理として、そのアプリケーションに含まれる要素コンテンツを抽出もしくはアプリケーションに関連付けられた要素コンテンツを取得する。そして、付加コンテンツ処理部342は、その提示時刻に時間差を加算して補正提示時刻を算出する。取得した要素コンテンツに視覚情報が含まれる場合、付加コンテンツ処理部342は、現在時刻が補正提示時刻になったとき、その視覚情報を映像合成部334に出力する。従って、表示部には、システム時刻に基づく提示時刻に視覚情報と放送される映像とが同期して表示される。取得した付加コンテンツに聴覚情報が含まれる場合、付加コンテンツ処理部342は、現在時刻が補正提示時刻になったとき、その聴覚情報を音声ミキシング部338に出力する。よって、表示部には、システム時刻に基づく提示時刻に聴覚情報と放送される音声とが同期して再生される。
なお、マルチメディアデータにより提示される付加コンテンツの構成要素となる要素コンテンツがネットワークに接続されている機器(例えば、ウェブサーバ)に格納されていることがある。その場合には、マルチメディアデータに要素コンテンツの取得先情報としてその機器のアドレスが記述される。付加コンテンツ処理部342は、マルチメディアデータに記述された取得先情報で指定される機器に要素コンテンツを示す情報要求信号を、通信部324を介して送信する。付加コンテンツ処理部342は、情報要求信号の応答として取得先情報で指定される機器から送信される要素コンテンツを受信する。
以上に説明したように、本実施形態に係る受信装置1は、第1多重化方式(例えば、TLV/MMT方式)で多重化された第1多重化データから放送サービスの構成要素である音声データ、映像データ及び前記音声データならびに映像データに付加される付加コンテンツデータを分離する分離部220を備える。また、受信装置1は、音声データ及び映像データを第1多重化方式とは第2多重化方式(例えば、MPEG−2 TS方式)で多重化して第2多重化データを生成する多重化部230と、第2多重化データと付加コンテンツデータをそれぞれ出力する出力部として出力部240と入出力部242を備える。
また、受信装置1は、第2多重化方式に対応する分離方式で第2多重化データから音声データと映像データを分離し、付加コンテンツデータに基づく付加コンテンツと少なくとも映像データが示す映像もしくは音声データが示す音声のいずれかを重畳する受信処理部30を備える。
ここで、付加コンテンツは、例えば、文字、マルチメディアデータで提供される放送サービスに関連するマルチメディアコンテンツ、などである。
この構成により、第1多重化データから分離された付加コンテンツデータは、第2多重化方式に基づく第2多重化データと独立に提供される。そのため、受信処理部が第2多重化方式に基づく第2多重化データから音声、映像を提供する機能に加え、第2多重化データとは独立に第2多重化方式に対応していない付加コンテンツを提供することができる。そのため、音声や映像以外の多様な放送サービスの提供が可能となる。
また、分離部220は、第1多重化データから基準時刻を示す基準時刻情報を分離し、受信処理部30は、システム時刻と基準時刻との時間差を検出し、付加コンテンツの提示時刻を検出した時間差で補正した時刻である補正提示時刻に付加コンテンツを出力する。
この構成により、第1多重化データで基準時刻を基準とする付加コンテンツの提示時刻が、補正提示時刻としてシステム時刻を基準とする提示時刻に補正される。そのため、付加コンテンツが提示されるタイミングが、システム時刻を基準として提示される音声もしくは映像のタイミングとを同期することができる。
[第2の実施形態]
次に、本発明の第2の実施形態について説明する。以下の説明では、第1の実施形態の差異を主とする。第1の実施形態と同一の構成については同一の符号を付してその説明を援用する。
まず、本実施形態に係る受信装置1の概略構成について図2を用いて説明する。受信装置1において、解析部222は、第1多重化データから分離される制御情報からシステム時刻情報及び基準時刻情報の他、付加識別情報が示す参照開始時刻を特定する。解析部222は、基準時刻情報が示す基準時刻からシステム時刻情報が示すシステム時刻の時間差を算出し、算出した時間差を参照開始時刻に加算して補正参照開始時刻1を算出する。解析部222は、サービスの構成要素として音声データ及び映像データを示す情報に、さらに文字データの提示時刻として補正参照開始時刻1を示す提示時刻情報を含む構成情報を生成する。解析部222は、生成した構成情報を多重化部230に出力する。従って、多重化部230が生成する第2多重化データには、提示時刻情報も多重化される。補正参照開始時刻1は、受信された時点におけるシステム時刻を基準とする参照開始時刻となる。受信装置1は、多重化部230により生成されたMPEG−2 TS形式の第2多重化データを記憶(録画)するTS記憶部250(図3)を備える。記憶される第2多重化データには、その時点のシステム時刻(録画時刻)を示すシステム時刻情報が含まれる。
TS記憶部250は、動作制御部(図示せず)から再生を指示する動作制御信号が入力されるとき、動作制御信号で指示された第2多重化データを読み出し、分離部330に出力する。分離部330は、第2多重化データからシステム時刻情報の他、提示時刻情報を分離し、分離したシステム時刻情報と提示時刻情報を同期処理部340に出力する。
同期処理部340は、その時点におけるシステム時刻を基準とする現在時刻から分離部330から入力されたシステム時刻情報が示す録画時刻の時間差を算出する。同期処理部340は、分離部330から入力された提示時刻情報が示す補正参照開始時刻1に算出した時間差を加算し、さらに補正された補正参照開始時刻2を算出する。補正参照開始時刻2は、その時点におけるシステム時刻を基準とする参照開始時刻となる。同期処理部340は、補正参照開始時刻2を示す提示時刻情報を付加コンテンツ処理部342に出力する。
付加コンテンツ処理部342は、分離部330が取得する第2多重化データと同時刻に記憶された文字データをTTML管理部236から読み出す。ここで、付加コンテンツ処理部342は、その文字データを指示する情報要求信号をTTML管理部236に出力し、その応答として指示された文字データが入力される。付加コンテンツ処理部342は、入力された文字データが示す文字列からなる字幕データを、基準時刻を基準とする現在時刻が同期処理部340から入力される提示時刻情報が示す補正参照開始時刻2になったときに映像合成部334に出力する。従って、録画再生される映像と字幕とがシステム時刻を基準として同期して再生される。
次に、本実施形態に係る同期処理の例について説明する。
図3は、本実施形態に係る同期処理の例を説明するための説明図である。
変換処理部20(図2)は、クロック生成部224を備え、受信処理部30(図2)は、クロック生成部344を備える。
変換処理部20において、解析部222は、第1多重化データから分離された制御情報を示すMMT−SIからシステム時刻情報を示すMH−TOT及び構成情報を示すMPTを分離する。(R02:MMT解析)また、解析部222には、分離部220から分離されたNTP形式の基準時刻情報が入力される。
解析部222は、第1多重化データから分離されたMPTからMH−データ符号化方式記述子に記述された付加識別情報から参照開始時刻(reference_start_time)を抽出する。(R04)
解析部222は、分離したシステム時刻情報MH−TOTを基準とする現在時刻としてシステム時刻を計時し、計時したシステム時刻を示すシステム時刻情報を生成する(R06)。
解析部222は、基準時刻情報が示す現在時刻である基準時刻からシステム時刻の時間差を算出する。(R08)
解析部222は、算出した時間差を参照開始時刻に加算して補正参照開始時刻1を算出する。(R10)
解析部222は、算出した補正参照開始時刻1が参照開始時刻(reference_start_time)として多重化した構成情報を示すPMTを生成し、生成したPMTを多重化部230(図2)に出力する。(R12)
解析部222は、NTP形式の基準時刻情報の周波数(例えば、1Hz)を逓倍し所定の周波数(例えば、10Hz)で基準時刻を示す基準時刻情報に変換する。(R20:周波数変換)
解析部222は、変換した基準時刻情報をMPEG−2 TS方式に規定の形式の基準時刻情報を示すPCRとして再構成する。解析部222は、再構成したPCRを多重化部230(図2)とクロック生成部224に出力する。(R22)
多重化部230(図2)は、分離部220(図2)から入力された音声データ、映像データ、PCR及びPMTを含む制御情報をMPEG−2 TSで規定された多重化方式で多重化して第2多重化データを生成する。(R24:TS化)
多重化部230は、動作制御部(図示せず)から録画を指示する動作制御信号が入力されるとき、生成した第2多重化データをTS記憶部250に記憶する。録画が指示されないとき、多重化部230は、生成した第2多重化データを受信処理部30の分離部330に出力する。なお、動作制御部(図示せず)から再生を指示する動作制御信号が入力されるとき、TS記憶部250は、動作制御信号で指示される区間の第2多重化データを受信処理部30の分離部330に出力する。
クロック生成部224は、比較器、発振器及びSTCカウンタを備える。比較器、発振器及びSTCカウンタは、PLL(Phase Locked Loop)回路を形成する。
比較器は、解析部222からPCRが入力されるタイミングで、STCカウンタから入力されるカウンタパルスがラッチされ、PCRとカウンタパルスとの位相を比較する。比較器は、位相差を示す比較誤差信号を発振器に出力する。(R26)
発振器は、比較器から入力される比較誤差信号に基づいて所定のクロック周波数(例えば、27MHz)のクロック信号を生成する。比較誤差信号によりクロック周波数が一定に制御される。発振器は、生成したクロック信号をSTCカウンタに出力する。(R28)
STCカウンタは、発振器から入力されるクロック信号を所定の分周率で分周し、クロックパルスを生成する。STCカウンタは、生成したクロックパルスを比較器に出力する。(R30)
受信処理部30において、分離部330は、変換処理部20又はTS記憶部250から入力される第2多重化データをなすTSを解析し、音声データ、映像データ、基準時刻情報を示すPCR及び制御情報に分離する。分離部330は、分離したPCRと制御情報を同期処理部340に出力する。(P02:TS解析)
同期処理部340は、分離部330から入力される制御情報のうちPMTから補正参照開始時刻1を示す参照開始時刻(reference_start_time)を抽出する。(P04)
同期処理部340の切替器は、録画再生を指示する動作制御信号が入力されず、通常再生(ライブ)時において、分離部330から入力される制御情報に含まれるシステム時刻情報を示すTOTを自部が備えるタイマに供給する。タイマに供給されるシステム時刻情報が示す時刻は、システム時刻を基準とする現在時刻となる。他方、同期処理部340の切替器は、録画再生を指示する動作制御信号が入力されるとき(録画再生時)、分離部330から入力される制御情報に含まれるシステム時刻情報を示すTOTを自部が備える減算器に供給する。減算器に供給されるシステム時刻情報が示す時刻は、システム時刻を基準とする録画時刻となる。(P06)
タイマは、入力されるシステム時刻情報が示す時刻を基準とする現在時刻を逐次に計時し、計時した現在時刻を示すシステム時刻情報を減算部に出力する。(P08)タイマには、少なくともシステム時刻情報が少なくとも1回入力されればよい。タイマは、録画時などシステム時刻情報が入力されなくなった後でも現在時刻の計時、出力を継続する。
同期処理部340の減算器は、切替器から録画時刻を示すシステム時刻情報と、タイマから現在時刻を示すシステム時刻情報とが入力されるとき、その録画時刻から現在時刻を減算して、録画時刻から現在時刻の時間差を算出し、算出した時間差を示す時間差情報を加算器に出力する。(P10)但し、同期処理部340の減算器は、タイマからシステム時刻情報が入力されない場合には、時間差情報を出力しない。
同期処理部340の加算器は、参照開始時刻(reference_start_time)として記述された補正参照開始時刻1に減算器から入力される時間差情報が示す時間差を加算して補正参照開始時刻2を算出する。加算器は、算出した補正参照開始時刻2を記述した参照開始時刻(reference_start_time)を提示時刻情報として付加コンテンツ処理部342(図2)に出力する。(P12)なお、減算器から時間差情報が入力されない場合には、加算器は、自器に入力される参照開始時刻(reference_start_time)をそのまま提示時刻情報として付加コンテンツ処理部342に出力する。
受信処理部30のクロック生成部344は、変換処理部20のクロック生成部224と同様に、比較器、発振器及びSTCカウンタを備え、PLL回路を形成する。この構成により、クロック生成部344は、分離部330から入力されるPCRに同期したクロック信号を生成する。クロック生成部344が生成したクロック信号は、受信処理部30の各構成要素間の処理を同期(クロック同期)させるために用いられる。従って、変換処理部20と受信処理部30との間では、基準時刻を基準として相互の動作が同期する。
従って、本実施形態に係る受信装置1は、録画再生時において、録画時に指示された提示時刻を、その時点におけるシステム時刻を基準とする時刻として補正された時刻に字幕を表示することができる。また、受信装置1は、通常再生時において、受信時に指示された提示時刻を、その時点におけるシステム時刻を基準とする時刻として補正された時刻に字幕を表示することができる。どちらの場合も、MPEG−2 TS方式で多重化された第2多重化データでシステム時刻を基準として提供される映像と、第2多重化データとは並行して基準時刻を基準として提供される字幕とが同期する。また、字幕の表示に係る参照開始時刻を示す提示時刻情報は、MMT方式、MPEG−2 TS方式で共通の形式であるため、提示時刻情報の変更に係る処理量や付加コンテンツの提示にかかる処理量が過大にならずに済む。
以上に説明したように、本実施形態に係る受信装置1は、第1多重化方式で多重化された第1多重化データから放送サービスの構成要素である音声データ、映像データ、音声データならびに映像データに付加される付加コンテンツに関する付加コンテンツデータ、基準時刻を示す基準時刻情報、システム時刻を示すシステム時刻情報及び付加コンテンツの提示時刻を示す提示時刻情報を分離する分離部220を備える。また、受信装置1は、解析部222、多重化部230及び出力部として出力部240ならびに入出力部242を備える。解析部222は、提示時刻を、基準時刻とシステム時刻との時間差で補正した補正提示時刻を算出する。多重化部230は、音声データ、映像データ及び補正提示時刻を示す補正提示時刻情報を第1多重化方式とは別の第2多重化方式で多重化して第2多重化データを生成する。出力部240は、第2多重化データを出力し、入出力部242は、付加コンテンツデータを出力する。
また、受信装置1は、第2多重化方式に対応する分離方式で第2多重化データから音声データ、映像データ及び補正提示時刻情報を分離し、補正提示時刻情報が示す補正提示時刻に付加コンテンツデータに関する付加コンテンツを出力する受信処理部30を備える。
この構成によれば、提示時刻が第1多重化方式、第2多重化方式の制御情報において指定可能である付加コンテンツについて、基準時刻を基準とする提示時刻がシステム時刻を基準とする補正提示時刻が第2多重化方式の制御情報で指定される。そのため、付加コンテンツを提示する時刻である補正提示時刻を、音声もしくは映像が提示されるシステム時刻を基準とするタイミングと同期させることができる。また、受信処理部30において提示時刻情報を補正する必要がないため、受信処理部30の仕様や設定の変更を軽減することができる。
また、受信装置1は、多重化部230が生成した第2多重化データを記憶するTS記憶部250と、付加コンテンツデータを記憶する記憶部としてTTML管理部236とHTML管理部238を備える。受信処理部30は、記憶部から第2多重化データと付加コンテンツデータが入力されるとき、第2多重化データを記憶した時刻と現在時刻との時間差である第2時間差を算出し、補正提示時刻を第2時間差で第2補正提示時刻を算出する。そして、受信処理部30は、第2補正提示時刻において、記憶部から入力される付加コンテンツデータに関する付加コンテンツを出力する。
この構成によれば、第2多重化データに係る音声もしくは映像と付加コンテンツデータに係る付加コンテンツを録画再生するとき、記憶時(録画時)のシステム時刻を基準とする補正提示時刻に録画時の時刻と現在時刻との時間差で補正した第2補正提示時刻を算出する。第2補正提示時刻は、録画再生時のシステム時刻を基準とする提示時刻に対応するその時点におけるシステム時刻を基準とする現在時刻に相当する。そのため、録画再生される付加コンテンツを提示する時刻である第2補正提示時刻を、録画再生に係る音声もしくは映像が提示されるタイミングと同期させることができる。
[第3の実施形態]
次に、本発明の第3の実施形態について説明する。以下の説明では、第2の実施形態の差異を主とする。上述の実施形態と同一の構成については同一の符号を付してその説明を援用する。
第2の実施形態では、解析部222は、基準時刻からシステム時刻の時間差を参照開始時刻に加算して補正参照開始時刻1を算出し、補正参照開始時刻1を示す提示時刻情報を第2多重化データに多重化していた。
これに対し、本実施形態では、解析部222は、第1多重化データの制御情報から抽出された参照開始時刻をそのまま多重化した第2多重化データを生成する。受信装置1はさらに時間差情報記憶部252を備える。録画を指示する動作制御信号が入力されるとき、解析部222は、基準時刻からシステム時刻の時間差を示す時間差情報を第2多重化データと対応付けて時間差情報記憶部252に記憶する。また、通常再生が設定されているとき、解析部222は、第2多重化データに対応付けて時間差情報を受信処理部30に出力する。
また、第2の実施形態では、同期処理部340は、現在時刻から録画時刻の時間差を算出し、分離部330(図2)から入力された提示時刻情報が示す補正参照開始時刻1に算出した時間差を加算して得られる補正参照開始時刻2を示す提示時刻情報を生成していた。
これに対し、本実施形態では、同期処理部340は、現在時刻から録画時刻の時間差を算出し、分離部330から入力された提示時刻情報が示す参照開始時刻に算出した時間差を加算して得られる補正参照開始時刻3を算出する。他方、同期処理部340は、録画再生を指示する動作制御信号が入力されるとき、動作制御信号で指示された区間の第2多重化データと対応付けて記憶された時間差情報を時間差情報記憶部252から記憶する。また、録画再生を指示する動作制御信号が入力されず、通常再生が設定されるとき、同期処理部340には分離部330に入力される第2多重化データと対応付けて時間差情報が入力される。同期処理部340は、取得した時間差情報が示す時間差を補正参照開始時刻3に加算して、補正参照開始時刻3からさらにその時間差がシフトした時刻である補正参照開始時刻4を算出する。同期処理部340は、補正参照開始時刻4を示す提示時刻情報を付加コンテンツ処理部342に出力する。
付加コンテンツ処理部342は、分離部330に入力される第2多重化データと同時刻に記憶された文字データを取得し、取得した文字データが示す文字列からなる字幕データを、基準時刻を基準とする現在時刻が同期処理部340から入力される提示時刻情報が示す補正参照開始時刻4になったときに映像合成部334に出力する。かかる構成によっても、録画再生される映像と字幕とがシステム時刻を基準として同期して再生される。
次に、本実施形態に係る同期処理の例について説明する。
図4は、本実施形態に係る同期処理の例を説明するための説明図である。
本実施形態でも変換処理部20(図2)は、クロック生成部224を備え、受信処理部30(図2)は、クロック生成部344を備える。
但し、解析部222が実行する処理ブロックR04、R06、R08、R10、R12、R20及びR22のうち、処理ブロックR10及びR12が省略されている。
ここで、解析部222は、第1多重化データから分離された参照開始時刻(reference_start_time)を示す提示時刻情報が示す時刻を補正せずにそのままPMTに多重化する。そして、多重化部230は、そのPMTを多重化して第2多重化データを生成する。(R24:TS化)
録画を指示する動作制御信号が入力される場合には、解析部222は、処理ブロックR08で算出した時間差を示す時間差情報(NPT_Diff)を、第2多重化データと対応付けて時間差情報記憶部252に記憶する。動作制御信号が入力されず、通常再生が設定される場合には、解析部222は、処理ブロックR08で算出した時間差を示す時間差情報(NPT_Diff)を、第2多重化データと対応付けて受信処理部30に出力する。
また、同期処理部340が実行する処理ブロックとして、処理ブロックP04、P06、P08、P10及びP12の他、処理ブロックP14が追加されている。
録画再生を指示する動作制御信号が入力される場合には、同期処理部340は、動作制御信号で指示される区間の第2多重化データに対応する時間差情報を時間差情報記憶部252から読み出す。
動作制御信号が入力されず、通常再生が設定される場合には、同期処理部340には、分離部330(図2)に入力される第2多重化データに対応する時間差情報が入力される。
同期処理部340は、処理ブロックP12から出力される参照開始時刻として記述される補正参照開始時刻3に取得した時間差情報が示す時間差を加算して補正参照開始時刻4を算出する。(P14)同期処理部340は、参照した補正参照開始時刻4を記述した参照開始時刻を提示時間情報として付加コンテンツ処理部342に出力する。
従って、本実施形態に係る受信装置1は、録画再生時には、録画時に指示された提示時刻を、その時点におけるシステム時刻を基準とする時刻に補正された補正参照開始時刻4に字幕を表示することができる。また、受信装置1は、通常再生時には、受信時に指示された提示時刻を、システム時刻を基準とする時刻に補正された補正参照開始時刻4に字幕を表示することができる。また、本実施形態では、変換処理部20は、字幕の表示に係る参照開始時刻に相当する提示時刻情報を都度、変更する必要がない。そのため、提示時刻情報の変更に係る処理量が過大にならずに済む。
以上に説明したように、本実施形態に係る受信装置1は、第1多重化方式で多重化された第1多重化データから放送サービスの構成要素である音声データ、映像データ、音声データならびに記映像データに付加される付加コンテンツに関する付加コンテンツデータ、基準時刻を示す基準時刻情報、システム時刻を示すシステム時刻情報及び付加コンテンツの提示時刻を示す提示時刻情報を分離する分離部330を備える。また、受信装置1は、解析部222、多重化部230及び出力部として出力部240ならびに入出力部242もしくはTS記憶部250ならびに時間差情報記憶部252を備える。
また、受信装置1は、第2多重化方式に対応する分離方式で第2多重化データから音声データ、映像データ及び提示時刻情報を分離し、提示時刻情報が示す提示時刻を時間差情報が示す時間差で補正して補正提示時刻を算出し、補正提示時刻において付加コンテンツデータに関する付加コンテンツを出力する受信処理部30を備える。
この構成によれば、提示時刻が第1多重化方式、第2多重化方式の制御情報において指定可能である付加コンテンツについて、第2多重化方式の制御情報で伝達された基準時刻を、基準時刻とシステム時刻との時間差で補正した補正提示時刻が得られる。受信処理部30は、システム時刻を基準とする補正提示時刻に付加コンテンツを提示させることができる。そのため、付加コンテンツを提示する時刻である補正提示時刻を音声もしくは映像が提示されるシステム時刻を基準とするタイミングと同期させることができる。また、第1多重化方式の制御情報に含まれる提示時刻情報を補正する必要がないため、補正に係る処理量の増加や設定が回避される。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成は上述の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。上述の実施形態において説明した各構成は、任意に組み合わせることができる。
例えば、第2、第3実施形態は、主に付加コンテンツデータが文字データであり、提示時刻情報に相当する時刻が参照開始時刻である場合を例にしたが、これには限られない。付加コンテンツデータは、マルチメディアデータであってもよい。その場合には、提示時刻情報に相当する時刻として、アプリケーション制御情報もしくはアプリケーションに記述された各種の実行時刻(例えば、起動時刻、終了時刻、提示時刻など)が適用されればよい。但し、番組表表示アプリケーションに係る放送時間は、上述した提示時刻情報として補正の対象としなくてもよい。
また、文字データのうち、文字スーパーは、放送される映像や音声と同期させる必要がない、そのため、参照開始時刻が文字スーパーの提示時刻を示す場合には、上述した提示時刻情報として補正の対象としなくてもよい。
付加コンテンツは、文字や映像等の視覚情報に限られず、音声、音楽、効果音等の聴覚情報もしくは視覚情報と聴覚情報の組み合わせであってもよい。
また、受信装置1の一部の構成が省略されてもよいし、他の構成が追加されてもよい。例えば、受信装置1において、放送受信部12、復調部14、表示部(図示せず)及び再生部(図示せず)のいずれか又はそれらの任意の組み合わせが省略されてもよい。受信装置1は、受信処理部30、表示部及び再生部を省略して変換装置として構成されてもよい。この変換装置からは、さらに放送受信部12と復調部14が省略されてもよい。
また、変換処理部20において、ローカル暗号化部208、TLV記憶部210、及びローカル復号部212が省略されてもよい。
第2、第3の実施形態において、TS記憶部250は、変換処理部20、受信処理部30とは独立の構成であってもよいし、変換処理部20又は受信処理部30の一部として構成されてもよい。
また、第3の実施形態において、時間差情報記憶部252は、変換処理部20、受信処理部30とは独立の構成であってもよいし、変換処理部20又は受信処理部30の一部として構成されてもよい。TS記憶部250は、時間差情報記憶部252と一体に構成されてもよいし、別体であってもよい。
なお、上述した発明は、次の態様でも実施することができる。
(1)第1多重化方式で多重化された第1多重化データから放送サービスの構成要素である音声データ、映像データ及び前記音声データならびに映像データに付加される付加コンテンツデータを分離する分離部と、前記音声データ及び前記映像データを前記第1多重化方式とは別の第2多重化方式で多重化して第2多重化データを生成する多重化部と、前記第2多重化データと前記付加コンテンツデータをそれぞれ出力する出力部と、を備える受信装置。
(2)前記第2多重化方式に対応する分離方式で前記第2多重化データから前記音声データと前記映像データを分離し、前記付加コンテンツデータに基づく付加コンテンツと少なくとも前記映像データが示す映像もしくは前記音声データが示す音声のいずれかを重畳する受信処理部を備える(1)の受信装置。
(3)前記分離部は、前記第1多重化データから基準時刻を示す基準時刻情報をさらに分離し、前記受信処理部は、システム時刻と前記基準時刻との時間差を検出し、前記付加コンテンツの提示時刻を前記時間差で補正した時刻に、前記付加コンテンツを提示する(2)の受信装置。
(4)前記分離部は、前記第1多重化データから放送チャンネルに関するチャンネル情報と、前記放送チャンネルで放送される番組に関する番組情報をさらに分離し、前記受信処理部は、前記放送チャンネル毎の番組情報を示す番組表情報を前記映像を合成する(2)又は(3)の受信装置。
(5)前記付加コンテンツデータは、前記放送サービスに関連するコンテンツを再生するためのマルチメディアデータを含む(1)から(4)のいずれかの受信装置。
(6)前記付加コンテンツデータは、文字を示す文字データを含む(1)から(5)のいずれかの受信装置。
(7)前記第1多重化方式は、Type−length−value/MPEG Media Transport方式であり、前記第2多重化方式は、MPEG−2 Transport Stream方式である(1)から(6)のいずれかの受信装置。
(8)受信装置における受信方法であって、前記受信装置が、第1多重化方式で多重化された第1多重化データから放送サービスの構成要素である音声データ、映像データ及び前記音声データならびに映像データに付加される付加コンテンツデータを分離する分離ステップと、前記音声データ及び前記映像データを前記第1多重化方式とは別の第2多重化方式で多重化して第2多重化データを生成する多重化ステップと、前記第2多重化データと前記付加コンテンツデータをそれぞれ出力する出力ステップと、を有する受信方法。
(9)受信装置のコンピュータに、第1多重化方式で多重化された第1多重化データから放送サービスの構成要素である音声データ、映像データ及び前記音声データならびに映像データに付加される付加コンテンツデータを分離する分離手順、前記音声データ及び前記映像データを前記第1多重化方式とは別の第2多重化方式で多重化して第2多重化データを生成する多重化手順、前記第2多重化データと前記付加コンテンツデータをそれぞれ出力する出力手順、を実行させるためのプログラム。
また、上述の変換処理部20、受信処理部30の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより変換処理部20及び受信処理部30を実現してもよい。当該プログラムは、上述の実施形態において説明したアプリケーションプログラムとは別個のプログラムであるが、その一部の機能が当該アプリケーションプログラムに基づいて実現されてもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、インターネットやWAN、LAN、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、CD−ROM等の非一過性の記録媒体であってもよい。また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部または外部に設けられた記録媒体も含まれる。配信サーバの記録媒体に記憶されるプログラムのコードは、端末装置で実行可能な形式のプログラムのコードと異なるものでもよい。すなわち、配信サーバからダウンロードされて端末装置で実行可能な形でインストールができるものであれば、配信サーバで記憶される形式は問わない。
なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に端末装置で一体化する構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えば、RAM)のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
1…受信装置、12…放送受信部、14…復調部、20…変換処理部、30…受信処理部、202…入力部、204…復号部、206…デスクランブル部、208…ローカル暗号化部、210…TLV記憶部、212…ローカル復号部、214…変換部、220…分離部、222…解析部、230…多重化部、232…SI管理部、234…NTP管理部、236…TTML管理部、238…HTML管理部、240…出力部、242…入出力部、250…TS記憶部、252…時間差情報記憶部、320…入力部、322…入出力部、324…通信部、330…分離部、332…映像復号部、334…映像合成部、336…音声復号部、338…音声ミキシング部、340…同期処理部、342…付加コンテンツ処理部