JP2017098607A - 放送受信装置 - Google Patents

放送受信装置 Download PDF

Info

Publication number
JP2017098607A
JP2017098607A JP2015225668A JP2015225668A JP2017098607A JP 2017098607 A JP2017098607 A JP 2017098607A JP 2015225668 A JP2015225668 A JP 2015225668A JP 2015225668 A JP2015225668 A JP 2015225668A JP 2017098607 A JP2017098607 A JP 2017098607A
Authority
JP
Japan
Prior art keywords
data
broadcast
information
unit
broadcast receiving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015225668A
Other languages
English (en)
Inventor
清水 宏
Hiroshi Shimizu
宏 清水
吉澤 和彦
Kazuhiko Yoshizawa
和彦 吉澤
橋本 康宣
Yasunobu Hashimoto
康宣 橋本
清水 拓也
Takuya Shimizu
拓也 清水
光信 渡辺
Mitsunobu Watanabe
光信 渡辺
益岡 信夫
Nobuo Masuoka
信夫 益岡
俊之 栗田
Toshiyuki Kurita
俊之 栗田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Holdings Ltd
Original Assignee
Hitachi Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Maxell Ltd filed Critical Hitachi Maxell Ltd
Priority to JP2015225668A priority Critical patent/JP2017098607A/ja
Publication of JP2017098607A publication Critical patent/JP2017098607A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】より付加価値の高い機能を実行可能なデジタル放送受信機を提供する。【解決手段】デジタル放送のメディアトランスポートデータが、符号化番組映像データ又は符号化番組音声データは所定の単位で、時間軸方向に複数の分割データとして分割されており、各々の分割データと、その分割データを表示・再生する時刻を示す提示時刻情報とが対になって番組放送データ内に含まれて放送されている。放送受信機は、復号部に入力される分割データの変換及び出力制御部に入力される時刻制御情報の変更を行うデータ変更部を備え、データ変更部は、複数の分割データのうちのn番目の分割放送データについての提示時刻情報に示される提示時刻を元の提示時刻情報より早い時刻に変更するともに、複数の分割データのうちのn−1番目の分割データの内容を、元の内容よりも時間軸上で短い内容に変更した分割データに変更する。【選択図】図36

Description

本発明は、放送受信装置に関する。
デジタル放送サービスの拡張機能の1つに、放送波でデジタルデータを送信し、天気予報やニュース、おすすめ番組等の各種情報を表示するデータ放送がある。データ放送を受信可能なテレビ受信機は既に多数市販されており、また、データ放送受信に関する技術も下記特許文献1をはじめ多数が公表されている。
特開2001−186486号公報
近年のコンテンツ配信に関する環境変化に対して、テレビ受信機も様々な機能拡張を求められている。特にインターネット等のブロードバンドネットワーク環境を利用したコンテンツや連携アプリケーションの配信に対する要求、及び、映像コンテンツの高解像度化/高精細化に対する要求、等が多い。しかしながら、現行のテレビ受信機が備えるデータ放送受信機能等のみの流用、或いは、前記データ放送受信機能等の機能拡張のみでは、前記要求に応え得る高付加価値のテレビ受信機を提供することは難しい。
本発明の目的は、より付加価値の高い機能を実行可能な放送受信装置を提供することである。
前記課題を解決するための手段として、特許請求の範囲に記載の技術を用いる。
一例を挙げるならば、デジタル放送のメディアトランスポートデータを受信可能な放送受信装置であって、メディアトランスポートデータに、放送番組毎の符号化番組映像データ又は符号化番組音声データを含む番組放送データが含められて伝送され、前記符号化番組映像データ又は前記符号化番組音声データは所定の単位で、時間軸方向に複数の分割データとして分割されており、各々の分割データと、その分割データを表示・再生する時刻を示す提示時刻情報とが対になって番組放送データ内に含まれて放送されており、各分割データに含まれる前記符号化番組映像データ又は前記符号化番組音声データを復号して、復号化番組映像データ又は復号化番組音声データを生成する復号部と、前記復号化番組映像データ又は前記復号化番組音声データ及び前記復号化番組映像データ又は前記復号化番組音声データについての前記提示時刻情報を取得し、復号化した前記復号化番組映像データ表示して出力又は前記復号化番組音声データを音声として出力する出力制御部と、前記復号部に入力される分割データの変換及び前記出力制御部に入力される時刻制御情報の変更を行うデータ変更部を備え、前記データ変更部は、前記複数の分割データのうちのn番目の分割放送データについての提示時刻情報に示される提示時刻を元の提示時刻情報より早い時刻に変更するともに、前記複数の分割データのうちのn−1番目の分割データの内容を、元の内容よりも時間軸上で短い内容に変更した分割データに変更する、ように構成する。
本発明の技術を用いることにより、より付加価値の高い機能を実行可能な放送受信装置を提供することができる。
実施例1に係る放送受信装置を含む放送通信システムの一例を示すシステム構成図である。 MMTにおける符号化信号の概要の説明図である。 MMTにおけるMPUの構成図である。 MMTにおけるMMTPパケットの構成図である。 MMTを用いる放送システムのプロトコルスタックの概念図である。 放送システムで用いる制御情報の階層構成図である。 放送システムのTLV−SIで使用されるテーブルの一覧である。 放送システムのTLV−SIで使用される記述子の一覧である。 放送システムのMMT−SIで使用されるメッセージの一覧である。 放送システムのMMT−SIで使用されるテーブルの一覧である。 放送システムのMMT−SIで使用される記述子の一覧(その1)である。 放送システムのMMT−SIで使用される記述子の一覧(その2)である。 放送システムのデータ伝送と各テーブルの関係を示す図である。 実施例1に係る放送受信装置のブロック図である。 実施例1に係る放送受信装置の提示機能の論理的プレーン構造の構成図である。 実施例1に係る放送受信装置のクロック同期/提示同期のシステム構成図である。 実施例1に係る放送受信装置のソフトウェア構成図である。 実施例1に係る放送局サーバのブロック図である。 実施例1に係るサービス事業者サーバのブロック図である。 実施例1に係る携帯情報端末のブロック図である。 実施例1に係る携帯情報端末のソフトウェア構成図である。 放送システムのMH−TOTのデータ構造を示す図である。 放送システムのJST_timeパラメータのフォーマットを示す図である。 実施例1に係る放送受信装置のMJDからの現在日付の算出方法を示す図である。 放送システムのNTP形式の構成を示す図である。 放送システムのMPUタイムスタンプ記述子のデータ構造を示す図である。 放送システムのTMCC拡張情報領域の時刻情報のデータ構造を示す図である。 実施例1に係る放送受信装置のチャンネルスキャン時の動作シーケンス図である。 放送システムのTLV−NITのデータ構造を示す図である。 放送システムの衛星分配システム記述子のデータ構造を示す図である。 放送システムのサービスリスト記述子のデータ構造を示す図である。 放送システムのAMTのデータ構造を示す図である。 実施例1に係る放送受信装置の選局時の動作シーケンス図である。 放送システムのMPTのデータ構造を示す図である。 放送システムのLCTのデータ構造を示す図である。 LCTに基づくレイアウト番号へのレイアウトの割当の例を示す図である。 LCTに基づくレイアウト番号へのレイアウトの割当の例を示す図である。 LCTに基づくレイアウト番号へのレイアウトの割当の例を示す図である。 LCTに基づくレイアウト番号へのレイアウトの割当の例を示す図である。 LCTに基づく画面レイアウト制御の例外処理の動作を説明する図である。 LCTに基づく画面レイアウト制御の例外処理の動作を説明する図である。 放送システムのMH−EITのデータ構造を示す図である。 実施例1に係る放送受信装置のEPG画面の画面表示図である。 実施例1に係る放送受信装置のEPG画面の画面表示図である。 実施例1に係る放送受信装置のEPG画面の画面表示図である。 実施例1に係る放送受信装置の緊急警報放送表示時の画面表示図である。 実施例2に係る放送受信装置のブロック図である。 放送サービス切り替え時の現在時刻表示の不整合を説明する図である。 実施例2に係る現在時刻情報参照元の選択制御の動作を説明する図である。 実施例2に係る現在時刻情報の更新処理の動作シーケンス図である。 実施例2に係る放送受信装置のEPG画面の画面表示図である。 実施例2に係る放送受信装置のEPG画面の画面表示図である。 放送システムのLATM/LOAS形式のビットストリーム構造を示す図である。 実施例3に係る22.2ch音声出力時のスピーカ配置を示す図である。 実施例3に係る22.2ch音声出力時のスピーカ配置の推奨範囲を示す図である。 実施例3に係る22.2ch音声データの符号化方式を説明する図である。 実施例3に係る放送システムのダイアログ制御機能の概念図である。 実施例3に係る放送システムのダイアログ制御機能の概念図である。 実施例3に係る差し替え用音声(ダイアログ)の選択方法を説明する図である。 実施例3に係る差し替え用音声(ダイアログ)の選択方法を説明する図である。 実施例3に係る差し替え用音声(ダイアログ)の選択方法を説明する図である。 実施例3に係る差し替え用音声(ダイアログ)の選択方法を説明する図である。 実施例3に係る差し替え用音声(ダイアログ)の選択方法を説明する図である。 実施例3に係るダイアログ音声及び背景音の音量調節方法を説明する図である。 実施例3に係るダイアログ音声及び背景音の音量調節方法を説明する図である。 実施例3に係るダイアログ音声及び背景音の音量調節方法を説明する図である。 実施例3に係るダイアログ音声及び背景音の音量レベル情報の画面表示図である。 実施例3に係るダイアログ音声及び背景音の音質調整方法を説明する図である。 実施例3に係るダイアログ音声及び背景音の音質調整方法を説明する図である。 実施例3に係るダイアログ音声の有無に応じた背景音の音量調節処理の概要を説明する図である。 実施例3に係るダイアログ音声の再生時間伸張処理の概要を説明する図である。 実施例4に係る映像及び音声アセットの特殊再生を行うための方法を示す説明図である。 実施例4に係るMPUの提示時刻を設定するフォーマットを示す説明図である。 実施例5に係る時間軸引き伸ばし/圧縮機能を用いて、コンテンツ再生中や再生前の事前設定により、コンテンツ内の各MPU単位にて任意の速度での特殊再生を行う、ダイナミック特殊再生設定を具体的に適用する方法を示す説明図である。 実施例5に係る演奏装置及び演奏方法を実行する機器のブロック図である。 実施例6に係る演奏装置及び演奏方法にて使用する指揮棒の動きを検出するパラメータを示した説明図である。 実施例6に係る演奏装置及び演奏方法により演奏練習や演奏本番を実行する内容を示すフローチャートである。 実施例6に係る演奏装置及び演奏方法による演奏練習時の、演奏される各楽器の種別(パート)毎に、音量の調整を行い、オーケストラを構成する楽団全体の演奏音量のバランスを取る操作を示した説明図である。 実施例6に係る演奏装置及び演奏方法による演奏練習時の、指揮者による指揮棒の振りと、演奏している楽曲との間で、異なる位相を楽曲の再生側で合わせる動作を示した説明図である。 実施例6に係る演奏装置及び演奏方法による、具体的な指揮棒の振り方を示す説明図である。 実施例6に係る演奏装置及び演奏方法による、コンピュータミュージックスコアによる楽譜の表記と、そのスコアに従った演奏を示す説明図である。 実施例7に係る演奏装置及び演奏方法により演奏する楽譜と音で構成されるコンテンツを、各種のメディアを通して演奏装置が読みこみ、実際の発音を行う演奏動作を示す説明図である。
以下、本発明の実施形態の例を、図面を用いて説明する。
(実施例1)
[システム構成]
図1は、本実施例の放送受信装置を含む放送通信システムの一例を示すシステム構成図である。本実施例の放送通信システムは、放送受信装置100とアンテナ100a、インターネット200等のブロードバンドネットワーク及びルータ装置200rとアクセスポイント200a、放送局の電波塔300tと放送衛星(又は通信衛星)300s、放送局サーバ300、サービス事業者サーバ400、その他のアプリケーションサーバ500、移動体電話通信サーバ600と移動体電話通信網の基地局600b、携帯情報端末700、で構成される。
放送受信装置100は、電波塔300tから送出された放送波を、放送衛星(又は通信衛星)300s及びアンテナ100aを介して受信する。或いは、電波塔300tから送出された放送波を、放送衛星(又は通信衛星)300sを介さずに、直接アンテナ100aから受信しても良い。また、放送受信装置100は、ルータ装置200rを介してインターネット200と接続可能であり、インターネット200上の各サーバ装置やその他の通信機器との通信によるデータの送受信が可能である。
ルータ装置200rは、インターネット200と有線通信により接続され、また、放送受信装置100とは有線通信又は無線通信で、携帯情報端末700とは無線通信で接続される。前記無線通信は、Wi−Fi(登録商標)等の方式が使用されて良い。これにより、インターネット200上の各サーバ装置やその他の通信機器と放送受信装置100と携帯情報端末700とが、ルータ装置200rを介して、データの送受信を相互に行うことが可能となる。なお、放送受信装置100と携帯情報端末700との通信は、ルータ装置200rを介さずに、BlueTooth(登録商標)やNFC(Near Field Communication)等の方式で直接通信を行っても良い。
電波塔300tは、放送局の放送設備であり、放送番組の符号化データや字幕情報、その他のアプリケーション、汎用データ、等を含む放送波を送出する。放送衛星(又は通信衛星)300sは、放送局の電波塔300tから送信された放送波を受信し、適宜周波数変換等を行った後に、放送受信装置100に接続されたアンテナ100aに対して前記放送波を再送信する中継器である。また、前記放送局は放送局サーバ300を備えるものとする。放送局サーバ300は、放送番組(動画コンテンツ等)及び各放送番組の番組タイトル、番組ID、番組概要、出演者情報、放送日時、等のメタデータを記憶し、前記動画コンテンツや各メタデータを、契約に基づいて、サービス事業者に対して提供することが可能であるものとする。なお、サービス事業者に対する前記動画コンテンツ及び各メタデータの提供は、放送局サーバ300が備えるAPI(Application Programming Interface)を通して行われるものであって良い。
サービス事業者サーバ400は、サービス事業者が用意するサーバ装置であり、放送局から配信される放送番組に連携した各種サービスを提供することが可能であるものとする。また、サービス事業者サーバ400は、放送局サーバ300から提供された動画コンテンツ及びメタデータや、放送番組に連携する各種コンテンツ及びアプリケーション等の記憶、管理及び配信等を行う。また、テレビ受信機等からの問い合わせに対して、提供可能なコンテンツやアプリケーション等の検索や一覧の提供を行う機能も有するものとする。なお、前記コンテンツ及びメタデータの記憶、管理及び配信と、前記アプリケーションの記憶、管理及び配信は、異なるサーバ装置が行うものであっても良い。前記放送局と前記サービス事業者は同一であっても良いし、異なっていても良い。サービス事業者サーバ400は、異なるサービス毎に複数用意されても良い。また、サービス事業者サーバ400の機能は、放送局サーバ300が兼ね備えるものであっても良い。
その他のアプリケーションサーバ500は、その他の一般的なアプリケーションや動作プログラム、コンテンツ、データ、等の記憶、管理及び配信等を行う公知のサーバ装置である。その他のアプリケーションサーバ500は、インターネット200上に複数あっても良い。
移動体電話通信サーバ600は、インターネット200と接続され、一方、基地局600bを介して携帯情報端末700と接続される。移動体電話通信サーバ600は、携帯情報端末700の移動体電話通信網を介した電話通信(通話)及びデータ送受信を管理し、携帯情報端末700とインターネット200上の各サーバ装置やその他の通信機器との通信によるデータの送受信を可能とする。基地局600bと携帯情報端末700との通信は、W−CDMA(Wideband Code Division Multiple Access)(登録商標)方式やGSM(Global System for Mobile communications)(登録商標)方式、LTE(Long Term Evolution)方式、或いはその他の通信方式によって行われるものであって良い。
携帯情報端末700は、移動体電話通信網を介した電話通信(通話)及びデータ送受信の機能やWi−Fi(登録商標)等による無線通信の機能を有するものとする。携帯情報端末700は、ルータ装置200rやアクセスポイント200aを介して、或いは、移動体電話通信網の基地局600b及び移動体電話通信サーバ600を介して、インターネット200と接続可能であり、インターネット200上の各サーバ装置やその他の通信機器との通信によるデータの送受信が可能である。アクセスポイント200aは、インターネット200と有線通信により接続され、また、携帯情報端末700とは無線通信で接続される。前記無線通信は、Wi−Fi(登録商標)等の方式が使用されて良い。なお、携帯情報端末700と放送受信装置100との通信は、アクセスポイント200a及びインターネット200とルータ装置200rを介して、或いは、基地局600bと移動体電話通信サーバ600及びインターネット200とルータ装置200rを介して行われるものであっても良い。
[MMT方式の概要]
図1に示した放送受信装置100は、映像や音声等のデータを伝送するメディアトランスポート方式として、従来のデジタル放送システムで多く採用されているMPEG(Moving Picture Experts Group)−2システムで規定されたTS(Transport Stream)(以下、MPEG2−TSと記述する。)に代替して、MMT(MPEG Media Transport)に対応可能なテレビ受信機であるものとする。MPEG2−TSとMMTの双方に対応可能なテレビ受信機であっても良い。
MPEG2−TSは、番組を構成する映像や音声等のコンポーネントを、制御信号やクロックと共に1つのストリームに多重することを特徴とする。クロックも含めて1つのストリームとして扱うため、伝送品質が確保された1つの伝送路で1つのコンテンツを伝送するのに適しており、従来の多くのデジタル放送システムで採用された。一方、近年のコンテンツの多様化、コンテンツを利用する機器の多様化、コンテンツを配信する伝送路の多様化、コンテンツ蓄積環境の多様化、等、コンテンツ配信に関する環境変化に対してMPEG2−TSの機能に限界があることから、新たに策定されたメディアトランスポート方式がMMTである。
図2Aに、本実施例のMMTにおける符号化信号の概要の一例を示す。同図に示したように、本実施例のMMTは、符号化信号を構成する要素として、MFU(Media Fragment Unit)、MPU(Media Processing Unit)、MMTP(MMT Protocol)ペイロード、MMTPパケットを有するものとする。MFUは、映像や音声等の伝送時の形式であり、NAL(Network Abstraction Layer)ユニット単位やアクセスユニット単位で構成されて良い。MPUは、MPU全体の構成に関する情報を含むMPUメタデータと、符号化したメディアデータの情報を含むムービーフラグメントメタデータと、符号化したメディアデータであるサンプルデータと、で構成されて良い。また、サンプルデータからはMFUを取り出すことが可能であるものとする。また、映像コンポーネントや音声コンポーネント等のメディアの場合、MPU単位やアクセスユニット単位で提示時刻や復号時刻が指定されても良い。図2Bに、MPUの構成の一例を示す。
MMTPパケットは、ヘッダ部とMMTPペイロードで構成され、MFU及びMMTの制御情報を伝送するものとする。MMTPペイロードは、ペイロード部に格納する内容(データユニット)に応じたペイロードヘッダを備えるものとする。図2Cに、映像/音声信号からMFUを構成し、更にMMTPペイロードに格納して、MMTPパケットを構成するまでの概要の一例を示す。なお、フレーム間予測を用いて符号化を行う映像信号では、MPUをGOP(Group Of Pictures)単位で構成することが望ましい。また、伝送するMFUの大きさが小さい場合、1つのペイロード部に1つのMFUを格納しても良いし、1つのペイロード部に複数のMFUを格納しても良い。また、伝送するMFUの大きさが大きい場合には、1つのMFUを複数のペイロード部に分割して格納しても良い。また、MMTPパケットは、伝送路上におけるパケットロスを回復するために、AL−FEC(Application Layer Forward Error Correction)やARQ(Automatic Repeat Request)等の技術を用いて保護されて良い。
本実施例の放送システムにおいては、映像符号化方式としてMPEG−H HEVC(High Efficiency Video Coding)が用いられ、音声符号化方式としてMPEG−4 AAC(Advanced Audio Coding)又はMPEG−4 ALS(Audio Lossless Coding)が用いられるものとする。前記各方式により符号化された、放送番組の映像や音声等の符号化データは、MFUやMPUの形式とし、更にMMTPペイロードに乗せてMMTPパケット化して、IP(Internet Protocol)パケットで伝送するものとする。また、放送番組に関連するデータコンテンツに関してもMFUやMPUの形式とし、更にMMTPペイロードに乗せてMMTPパケット化して、IPパケットで伝送して良い。データコンテンツの伝送方式としては、放送に同期したデータのストリーミングに用いる字幕/文字スーパー伝送方式、放送と非同期のデータ伝送に用いるアプリケーション伝送方式、テレビ受信機上で動作するアプリケーションに対する同期/非同期のメッセージ通知に用いるイベントメッセージ伝送方式、その他の汎用データを同期型/非同期型で伝送する汎用データ伝送方式、の四種類が用意されるものとする。
MMTPパケットの伝送には、放送伝送路ではUDP/IP(User Datagram Protocol/Internet Protocol)が用いられ、通信回線ではUDP/IP又はTCP/IP(Transmission Control Protocol/Internet Protocol)が用いられるものとする。また、放送伝送路においては、IPパケットの効率的な伝送のためにTLV(Type Length Value)多重化方式が用いられるものとする。本実施例の放送システムのプロトコルスタックの一例を図3に示す。図中、(A)は放送伝送路におけるプロトコルスタックの一例であり、(B)は通信回線におけるプロトコルスタックの一例である。
本実施例の放送システムでは、MMT−SI(MMT−Signaling Information)とTLV−SI(TLV−Signaling Information)の二種類の制御情報を伝送する仕組みを用意するものとする。MMT−SIは、放送番組の構成等を示す制御情報である。MMTの制御メッセージの形式とし、MMTPペイロードに乗せてMMTPパケット化して、IPパケットで伝送するものとする。TLV−SIは、IPパケットの多重に関する制御情報であり、選局のための情報やIPアドレスとサービスの対応情報を提供するものとする。
また、MMTを用いた放送システムにおいても、絶対時刻を提供するために時刻情報を伝送するものとする。なお、MPEG2−TSがTS毎に異なるクロックをベースとしてコンポーネントの表示時刻を示していたのに対し、MMTでは、協定世界時刻(Coordinated Universal Time:UTC)をベースとしてコンポーネントの表示時刻を示すものとする。これらの仕組みにより、異なる送信点から異なる伝送路で伝送されたコンポーネントを端末機器が同期して表示することが可能となる。UTCを提供するために、NTP(Network Time Protocol)形式のIPパケットを用いるものとする。
[MMTを用いる放送システムの制御情報]
本実施例の放送受信装置100が対応する放送システムでは、前述したように、制御情報として、IPパケットの多重のためのTLV多重化方式に関わるTLV−SIと、メディアトランスポート方式であるMMTに関わるMMT−SIを用意する。TLV−SIは、放送伝送路に多重化されたIPパケットを、放送受信装置100が多重解除するための情報を提供する。TLV−SIは、『テーブル』と『記述子』で構成される。『テーブル』はセクション形式で伝送され、『記述子』は『テーブル』内に配置されるものとする。MMT−SIは、MMTのパッケージの構成や放送サービスに関連する情報を示す伝送制御情報である。MMT−SIは、『テーブル』や『記述子』を格納する『メッセージ』、特定の情報を示す要素や属性を持つ『テーブル』、より詳細な情報を示す『記述子』の三階層で構成されるものとする。本実施例の放送システムで用いる制御情報の階層構成の一例を図4に示す。
<TLV−SIで使用されるテーブル>
図5Aに、本実施例の放送受信装置100が対応する放送システムのTLV−SIで使用される『テーブル』の一覧を示す。本実施例では、TLV−SIの『テーブル』として以下に示すものが用いられるものとする。
(1)TLV−NIT
TLV用ネットワーク情報テーブル(Network Information Table for TLV:TLV−NIT)は、ネットワークにより伝送されるTLVストリームの物理的構成に関する情報及びネットワーク自身の特性を表すものである。
(2)AMT
アドレスマップテーブル(Address Map Table:AMT)は、ネットワークにおいて伝送される各サービスを構成するIPパケットのマルチキャストグループの一覧を提供する。
(3)事業者が設定するテーブル
その他、サービス事業者等が独自に設定したテーブルを用意することが可能である。
<TLV−SIで使用される記述子>
図5Bに、本実施例の放送受信装置100が対応する放送システムのTLV−SIに配置される『記述子』の一覧を示す。本実施例では、TLV−SIの『記述子』として以下に示すものが用いられるものとする。
(1)サービスリスト記述子
サービスリスト記述子は、サービス識別とサービス形式種別によるサービスの一覧を提供する。
(2)衛星分配システム記述子
衛星分配システム記述子は、衛星伝送路の物理的条件を示す。
(3)システム管理記述子
システム管理記述子は、放送と非放送を識別するために使用される。
(4)ネットワーク名記述子
ネットワーク名記述子は、文字符号によりネットワーク名を記述する。
(5)事業者が設定する記述子
その他、サービス事業者等が独自に設定した記述子を用意することが可能である。
<MMT−SIで使用されるメッセージ>
図6Aに、本実施例の放送受信装置100が対応する放送システムのMMT−SIで使用される『メッセージ』の一覧を示す。本実施例では、MMT−SIの『メッセージ』として以下に示すものが用いられるものとする。
(1)PAメッセージ
Package Access(PA)メッセージは、種々のテーブルを伝送するために用いる。
(2)M2セクションメッセージ
M2セクションメッセージは、MPEG−2 Systemsのセクション拡張形式を伝送するために用いる。
(3)CAメッセージ
CAメッセージは、限定受信方式の識別のためのテーブルを伝送するために用いる。
(4)M2短セクションメッセージ
M2短セクションメッセージは、MPEG−2 Systemsのセクション短形式を伝送するために用いる。
(5)データ伝送メッセージ
データ伝送メッセージは、データ伝送に関するテーブルを格納するメッセージである。
(6)事業者が設定するメッセージ
その他、サービス事業者等が独自に設定したメッセージを用意することが可能である。
<MMT−SIで使用されるテーブル>
図6Bに、本実施例の放送受信装置100が対応する放送システムのMMT−SIで使用される『テーブル』の一覧を示す。テーブルは、特定の情報を示す要素や属性を持つ制御情報であり、メッセージに格納してMMTPパケットで伝送するものとする。なお、テーブルを格納するメッセージはテーブルに応じて決まっていても良い。本実施例では、MMT−SIの『テーブル』として以下に示すものが用いられるものとする。
(1)MPT
MMTパッケージテーブル(MMT Package Table:MPT)は、アセットのリストやアセットのネットワーク上の位置などのパッケージを構成する情報を与える。MPTはPAメッセージに格納されて良い。
(2)PLT
パッケージリストテーブル(Package List Table:PLT)は、放送サービスとして提供されるMMTパッケージのPAメッセージを伝送するIPデータフロー及びパケットID並びにIPサービスを伝送するIPデータフローの一覧を示す。PLTはPAメッセージに格納されて良い。
(3)LCT
レイアウト設定テーブル(Layout Configuration Table:LCT)は、提示のためのレイアウト情報をレイアウト番号に対応付けるために用いる。LCTはPAメッセージに格納されて良い。
(4)ECM
Entitlement Control Message(ECM)は、番組情報及び制御情報からなる共通情報であり、スクランブルを解除するための鍵情報などを配送する。ECMはM2セクションメッセージに格納されて良い。
(5)EMM
Entitlement Management Message(EMM)は、加入者毎の契約情報やECM(共通情報)の暗号を解くための鍵情報などを含む個別情報を伝送する。EMMはM2セクションメッセージに格納されて良い。
(6)CAT(MH)
CAテーブル(Conditional Access Table:CAT)(MH)は、限定受信方式の識別のための記述子を格納するために用いる。CAT(MH)はCAメッセージに格納されて良い。
(7)DCM
Download Control Message(DCM)は、ダウンロードのための伝送路暗号を復号するための鍵などからなる鍵関連情報を伝送する。DCMはM2セクションメッセージに格納されて良い。
(8)DMM
Download Management Message(DMM)は、DCMの暗号を解くためのダウンロード鍵などからなる鍵関連情報を伝送する。DMMはM2セクションメッセージに格納されて良い。
(9)MH−EIT
MH−イベント情報テーブル(MH−Event Information Table:MH−EIT)は、各サービスに含まれるイベントに関する時系列情報である。MH−EITはM2セクションメッセージに格納されて良い。
(10)MH−AIT
MH−アプリケーション情報テーブル(MH−Application Information Table:MH−AIT)は、アプリケーションに関する全ての情報及びアプリケーションに要求される起動状態等を格納する。MH−AITはM2セクションメッセージに格納されて良い。
(11)MH−BIT
MH−ブロードキャスタ情報テーブル(MH−Broadcaster Information Table:MH−BIT)は、ネットワーク上に存在するブロードキャスタの情報を提示するために用いる。MH−BITはM2セクションメッセージに格納されて良い。
(12)MH−SDTT
MH−ソフトウェアダウンロードトリガテーブル(MH−Software Download Trigger Table:MH−SDTT)は、ダウンロードの告知情報のために用いる。MH−SDTTはM2セクションメッセージに格納されて良い。
(13)MH−SDT
MH−サービス記述テーブル(MH−Service Description Table:MH−SDT)は、特定のTLVストリームに含まれるサービスを表すサブテーブルを有し、編成チャンネルの名称、放送事業者の名称など、編成チャンネルに関する情報を伝送する。MH−SDTはM2セクションメッセージに格納されて良い。
(14)MH−TOT
MH−タイムオフセットテーブル(MH−Time Offset Table:MH−TOT)は、JST時刻と日付(修正ユリウス日)情報を伝送する。MH−TOTはM2短セクションメッセージに格納されて良い。
(15)MH−CDT
MH−共通データテーブル(MH−Common Data Table:MH−CDT)は、これを受信する全ての受信機を対象として、不揮発性メモリに格納すべき共通データをセクション形式で伝送するために用いる。MH−CDTはM2セクションメッセージに格納されて良い。
(16)DDMテーブル
データディレクトリ管理テーブル(Data Directory Management Table:DDMテーブル)は、アプリケーションのファイル構成とファイル伝送のための構成を分離するために、アプリケーションを構成するファイルのディレクトリ構成を提供する。DDMテーブルはデータ伝送メッセージに格納されて良い。
(17)DAMテーブル
データアセット管理テーブル(Data Asset Management Table:DAMテーブル)は、アセット内のMPUの構成とMPU毎のバージョン情報を提供する。DAMテーブルはデータ伝送メッセージに格納されて良い。
(18)DCCテーブル
データコンテント管理テーブル(Data Content Configuration Table:DCCテーブル)は、柔軟で有効なキャッシュ制御を実現するため、データコンテンツとしてのファイルの構成情報を提供する。DCCテーブルはデータ伝送メッセージに格納されて良い。
(19)EMT
イベントメッセージテーブル(Event Message Table:EMT)は、イベントメッセージに関する情報を伝送するために用いる。EMTはM2セクションメッセージに格納されて良い。
(20)事業者が設定するテーブル
その他、サービス事業者等が独自に設定したテーブルを用意することが可能である。
<MMT−SIで使用される記述子>
図6C及び図6Dに、本実施例の放送受信装置100が対応する放送システムのMMT−SIに配置される『記述子』の一覧を示す。記述子は、より詳細な情報を提供する制御情報であり、テーブルに配置されるものとする。なお、記述子を配置するテーブルは記述子に応じて決まっていても良い。本実施例では、MMT−SIの『記述子』として以下に示すものが用いられるものとする。
(1)アセットグループ記述子
アセットグループ記述子は、アセットのグループ関係とグループ内での優先度を提供する。アセットグループ記述子はMPTに配置されて良い。
(2)イベントパッケージ記述子
イベントパッケージ記述子は、番組を表すイベントとパッケージの対応を提供する。イベントパッケージ記述子はM2セクションメッセージにて伝送されるMH−EITに配置されて良い。
(3)背景色指定記述子
背景色指定記述子は、レイアウト指定における最背面の背景色を提供する。背景色指定記述子はLCTに配置されて良い。
(4)MPU提示領域指定記述子
MPU提示領域指定記述子は、MPUを提示する位置を提供する。MPU提示領域指定記述子はMPTに配置されて良い。
(5)MPUタイムスタンプ記述子
MPUタイムスタンプ記述子は、MPUにおいて提示順序で最初のアクセスユニットの提示時刻を示す。MPUタイムスタンプ記述子はMPTに配置されて良い。
(6)依存関係記述子
依存関係記述子は、依存関係にあるアセットのアセットIDを提供する。依存関係記述子はMPTに配置されて良い。
(7)アクセス制御記述子
アクセス制御記述子は、限定受信方式を識別するための情報を提供する。アクセス制御記述子はMPT又はCAT(MH)に配置されて良い。
(8)スクランブル方式記述子
スクランブル方式記述子は、スクランブル時の暗号化対象及び暗号アルゴリズムの種別を識別するための情報を提供する。スクランブル方式記述子はMPT又はCAT(MH)に配置されて良い。
(9)メッセージ認証方式記述子
メッセージ認証方式記述子は、メッセージ認証を行う場合にメッセージ認証方式を識別するための情報を提供する。メッセージ認証方式記述子はMPT又はCAT(MH)に配置されて良い。
(10)緊急情報記述子(MH)
緊急情報記述子(MH)は、緊急警報放送を行う場合に用いる。緊急情報記述子(MH)はMPTに配置されて良い。
(11)MH−MPEG−4オーディオ記述子
MH−MPEG−4オーディオ記述子は、ISO/IEC 14496−3(MPEG−4オーディオ)のオーディオストリームの符号化パラメータを特定するための基本情報を記述するために用いる。MH−MPEG−4オーディオ記述子はMPTに配置されて良い。
(12)MH−MPEG−4オーディオ拡張記述子
MH−MPEG−4オーディオ拡張記述子は、MPEG−4オーディオストリームのプロファイルとレベル及び符号化方式固有の設定を記述するために用いる。MH−MPEG−4オーディオ拡張記述子はMPTに配置されて良い。
(13)MH−HEVCビデオ記述子
MH−HEVCビデオ記述子は、ITU−T勧告H.265|ISO/IEC 23008−2の映像ストリーム(HEVCストリーム)の基本的な符号化パラメータを記述するために用いる。MH−HEVCビデオ記述子はMPTに配置されて良い。
(14)MH−リンク記述子
MH−リンク記述子は、番組配列情報システムに記載されているある特定のものに関連した追加情報を視聴者が要求した場合に提供されるサービスを識別する。MH−リンク記述子は、MPT、MH−EIT、MH−SDT、等に配置されて良い。
(15)MH−イベントグループ記述子
MH−イベントグループ記述子は、複数のイベント間に関係がある場合にそれらのイベント群がグループ化されていることを示すために用いる。MH−イベントグループ記述子はMH−EITに配置されて良い。
(16)MH−サービスリスト記述子
MH−サービスリスト記述子は、サービス識別とサービス形式種別によるサービスの一覧を提供する。MH−サービスリスト記述子はMH−BITに配置されて良い。
(17)MH−短形式イベント記述子
MH−短形式イベント記述子は、イベント名及びそのイベントの短い記述をテキスト形式で表す。MH−短形式イベント記述子はMH−EITに配置されて良い。
(18)MH−拡張形式イベント記述子
MH−拡張形式イベント記述子は、MH−短形式イベント記述子に付け加えて使用され、イベントの詳細記述を提供する。MH−拡張形式イベント記述子はMH−EITに配置されて良い。
(19)映像コンポーネント記述子
映像コンポーネント記述子は、映像コンポーネントに関するパラメータや説明を示し、エレメンタリストリームを文字形式で表現するためにも利用される。映像コンポーネント記述子はMPT又はMH−EITに配置されて良い。
(20)MH−ストリーム識別記述子
MH−ストリーム識別記述子は、サービスのコンポーネントストリームにラベルを付け、このラベルによってMH−EIT内の映像コンポーネント記述子で示される記述内容を参照できるために使用する。MH−ストリーム識別記述子はMPTに配置されて良い。
(21)MH−コンテント記述子
MH−コンテント記述子は、イベントのジャンルを示す。MH−コンテント記述子はMH−EITに配置されて良い。
(22)MH−パレンタルレート記述子
MH−パレンタルレート記述子は、年齢に基づいた視聴制限を表し、また、他の制限条件に基づくよう拡張するために用いる。MH−パレンタルレート記述子はMPT又はMH−EITに配置されて良い。
(23)MH−音声コンポーネント記述子
MH−音声コンポーネント記述子は、音声エレメンタリストリームの各パラメータを示し、エレメンタリストリームを文字形式で表現するためにも利用される。MH−音声コンポーネント記述子はMPT又はMH−EITに配置されて良い。
(24)MH−対象地域記述子
MH−対象地域記述子は、番組又は番組を構成する一部のストリームが対象とする地域を記述するために使用される。MH−対象地域記述子はMPTに配置されて良い。
(25)MH−シリーズ記述子
MH−シリーズ記述子は、シリーズ番組を識別するために用いる。MH−シリーズ記述子はMH−EITに配置されて良い。
(26)MH−SI伝送パラメータ記述子
MH−SI伝送パラメータ記述子は、SIの伝送パラメータを示すために用いる。MH−SI伝送パラメータ記述子はMH−BITに配置されて良い。
(27)MH−ブロードキャスタ名記述子
MH−ブロードキャスタ名記述子は、ブロードキャスタの名称を記述する。MH−ブロードキャスタ名記述子はMH−BITに配置されて良い。
(28)MH−サービス記述子
MH−サービス記述子は、編成チャンネル名とその事業者名をサービス形式種別と共に文字符号で表す。MH−サービス記述子はMH−SDTに配置されて良い。
(29)IPデータフロー記述子
IPデータフロー記述子は、サービスを構成するIPデータフローの情報を提供する。IPデータフロー記述子はMH−SDTに配置されて良い。
(30)MH−CA起動記述子
MH−CA起動記述子は、CAS基盤上のCASプログラムを起動するための起動情報を記載する。MH−CA起動記述子はMPT又はCAT(CA)に配置されて良い。
(31)MH−Type記述子
MH−Type記述子は、アプリケーション伝送方式で伝送されるファイルの型を示す。MH−Type記述子はDAMテーブルに配置されて良い。
(32)MH−Info記述子
MH−Info記述子は、MPU又はアイテムに関する情報を記述する。MH−Info記述子はDAMテーブルに配置されて良い。
(33)MH−Expire記述子
MH−Expire記述子は、アイテムの有効期限を記述する。MH−Expire記述子はDAMテーブルに配置されて良い。
(34)MH−Compression Type記述子
MH−Compression Type記述子は、伝送するアイテムが圧縮されていることを意味し、その圧縮アルゴリズムと圧縮前のアイテムのバイト数を示す。MH−Compression Type記述子はDAMテーブルに配置されて良い。
(35)MH−データ符号化方式記述子
MH−データ符号化方式記述子は、データ符号化方式を識別するために使用される。MH−データ符号化方式記述子はMPTに配置されて良い。
(36)UTC−NPT参照記述子
UTC−NPT参照記述子は、NPT(Normal Play Time)とUTCの関係を伝達するために用いる。UTC−NPT参照記述子はEMTに配置されて良い。
(37)イベントメッセージ記述子
イベントメッセージ記述子は、イベントメッセージ一般に関する情報を伝達する。イベントメッセージ記述子はEMTに配置されて良い。
(38)MH−ローカル時間オフセット記述子
MH−ローカル時間オフセット記述子は、サマータイム実施時に実際の時刻(例えば、UTC+9時間)と人間系への表示時刻に一定のオフセット値を持たせるときに用いる。MH−ローカル時間オフセット記述子はMH−TOTに配置されて良い。
(39)MH−コンポーネントグループ記述子
MH−コンポーネントグループ記述子は、イベント内のコンポーネントの組み合わせを定義して識別する。MH−コンポーネントグループ記述子はMH−EITに配置されて良い。
(40)MH−ロゴ伝送記述子
MH−ロゴ伝送記述子は、簡易ロゴ用文字列、CDT形式のロゴへのポインティングなどを記述するために用いる。MH−ロゴ伝送記述子はMH−SDTに配置されて良い。
(41)MPU拡張タイムスタンプ記述子
MPU拡張タイムスタンプ記述子は、MPU内のアクセスユニットの復号時刻を提供する。MPU拡張タイムスタンプ記述子はMPTに配置されて良い。
(42)MPUダウンロードコンテンツ記述子
MPUダウンロードコンテンツ記述子は、MPUを用いてダウンロードされるコンテンツの属性情報を記述するために用いる。MPUダウンロードコンテンツ記述子はMH−SDTTに配置されて良い。
(43)MH−ネットワークダウンロードコンテンツ記述子
MH−ネットワークダウンロードコンテンツ記述子は、ネットワークを用いてダウンロードされるコンテンツの属性情報を記述するために用いる。MH−ネットワークダウンロードコンテンツ記述子はMH−SDTTに配置されて良い。
(44)MH−アプリケーション記述子
MH−アプリケーション記述子は、アプリケーションの情報を記述する。MH−アプリケーション記述子はMH−AITに配置されて良い。
(45)MH−伝送プロトコル記述子
MH−伝送プロトコル記述子は、放送や通信等の伝送プロトコルの指定と伝送プロトコルに依存したアプリケーションのロケーション情報を示すために用いる。MH−伝送プロトコル記述子はMH−AITに配置されて良い。
(46)MH−簡易アプリケーションロケーション記述子
MH−簡易アプリケーションロケーション記述子は、アプリケーションの取得先の詳細を指示するために記述する。MH−簡易アプリケーションロケーション記述子はMH−AITに配置されて良い。
(47)MH−アプリケーション境界権限設定記述子
MH−アプリケーション境界権限設定記述子は、アプリケーションバウンダリを設定し、かつ領域(URL)毎に放送リソースアクセスの権限を設定するために記述する。MH−アプリケーション境界権限設定記述子はMH−AITに配置されて良い。
(48)MH−起動優先情報記述子
MH−起動優先情報記述子は、アプリケーションの起動優先度を指定するために記述する。MH−起動優先情報記述子はMH−AITに配置されて良い。
(49)MH−キャッシュ情報記述子
MH−キャッシュ情報記述子は、アプリケーションの再利用が想定される場合に、アプリケーションを構成するリソースをキャッシュし保持しておく場合のキャッシュ制御に用いるために記述する。MH−キャッシュ情報記述子はMH−AITに配置されて良い。
(50)MH−確率的適用遅延記述子
MH−確率的適用遅延記述子は、アプリケーション取得のサーバアクセスの負荷分散を想定して、アプリケーション制御を行うタイミングを確率的に設定した遅延量だけ遅らせるために記述する。MH−確率的適用遅延記述子はMH−AITに配置されて良い。
(51)リンク先PU記述子
リンク先PU記述子は、当該プレゼンテーションユニット(PU)から遷移する可能性のある他のプレゼンテーションユニットを記述する。リンク先PU記述子はDCCテーブルに配置されて良い。
(52)ロックキャッシュ指定記述子
ロックキャッシュ指定記述子は、当該プレゼンテーションユニットにおいてキャッシュし、かつロックする対象のファイルの指定を記述する。ロックキャッシュ指定記述子はDCCテーブルに配置されて良い。
(53)アンロックキャッシュ指定記述子
アンロックキャッシュ指定記述子は、当該プレゼンテーションユニットにおいてロックされているファイルのうちのアンロックするファイルの指定を記述する。アンロックキャッシュ指定記述子はDCCテーブルに配置されて良い。
(54)事業者が設定する記述子
その他、サービス事業者等が独自に設定した記述子を用意することが可能である。
<MMT方式におけるデータ伝送と各制御情報の関係>
ここで、図6Eを用いて、本実施例の放送受信装置100が対応する放送システムにおけるデータ伝送と代表的なテーブルの関係について説明する。
本実施例の放送受信装置100が対応する放送システムでは、放送伝送路を介したTLVストリームや通信回線を介したIPデータフロー等、複数の経路でデータ伝送を行うことができる。TLVストリームには、TLV−NITやAMTなどのTLV−SIと、IPパケットのデータフローであるIPデータフローが含まれている。IPデータフロー内には一連の映像MPUを含む映像アセットや一連の音声MPUを含む音声アセットが含まれている。同様に、IPデータフロー内には一連の字幕MPUを含む字幕アセット、一連の文字スーパーMPUを含む文字スーパーアセット、一連のデータMPUを含むデータアセットなどが含まれても良い。これらの各種アセットは、PAメッセージに格納されて伝送されるMPT(MMTパッケージテーブル)により、『パッケージ』という単位で関連付けられる。具体的には、MPTにパッケージID(後述の図17に示す『MMT_package_id_byte』パラメータに対応)と、当該パッケージに含まれる各アセットのアセットID(後述の図17に示す『asset_id_byte』パラメータに対応)とが記載されることにより、前記関連付けが行われる。
パッケージを構成するアセットはTLVストリーム内のアセットのみとすることもできるが、図6Eに示すように、通信回線のIPデータフローで伝送されるアセットを含めることもできる。これは、当該パッケージに含まれる各アセットのロケーション情報(後述の図17に示す『MMT_general_location_info()』に対応)をMPT内に含めて、本実施例の放送受信装置100が各アセットの参照先を把握可能とすることにより実現できる。具体的には、前記ロケーション情報に配置される『MMT_general_location_infonolocation_type』パラメータの値を変更することにより、
(1)MPTと同一のIPデータフローに多重されているデータ
(location_type=0x00)
(2)IPv4データフローに多重されているデータ
(location_type=0x01)
(3)IPv6データフローに多重されているデータ
(location_type=0x02)
(4)放送のMPEG2−TSに多重されているデータ
(location_type=0x03)
(5)IPデータフロー内にMPEG2−TS形式で多重されているデータ
(location_type=0x04)
(6)指定するURLにあるデータ
(location_type=0x05)
など、様々な伝送経路で伝送される各種データを、放送受信装置100が参照できるように構成することが可能となる。
前述の参照先のうち、(1)は、例えば、後述する図7Aの放送受信装置100のチューナ/復調部131で受信するデジタル放送信号を経由して受信するIPデータフローである。MPTを通信回線側のIPデータフローにも含めて伝送する場合は、(1)の参照先が後述するLAN通信部121が通信回線を介して受信するIPデータフローになる場合もある。また、前記(2)、(3)、(5)、(6)は後述するLAN通信部121が通信回線を介して受信するIPデータフローである。また、前記(4)は、例えば、後述する図24に示す実施例2の放送受信装置800のように、MMT方式を用いるデジタル放送信号を受信する受信機能と、MPEG2−TS方式を用いるデジタル放送信号を受信する受信機能の両者を有する放送受信装置の場合に、MMT方式を用いるデジタル放送信号に含まれるMPTのロケーション情報(『MMT_general_location_info()』)に基づいて、MPEG2−TS方式を用いるデジタル放送信号を受信する受信機能で受信するMPEG2−TSに多重されているデータを参照する場合に用いることができる。
なお、『パッケージ』を構成するデータはこのように指定されるが、本実施例の放送受信装置100が対応する放送システムでは、当該『パッケージ』単位の一連のデータをデジタル放送の『サービス』単位として扱う。
更に、MPTには、MPTが指定する各MPUの提示時刻情報(後述の図13Bに示す『mpu_presentation_time』パラメータに対応)が記載されており、当該提示時刻情報を用いて、MPTが指定する複数のMPUを、UTC表記の時刻情報であるNTPに基づくクロックを基準に、連動して提示(表示、出力など)することが可能となる。当該NTPに基づくクロックを用いた各種データの提示制御については後述する。
図6Eに示される本実施例のデータ伝送方式では、更に『イベント』という概念がある。『イベント』は、M2セクションメッセージに含められて送られるMH−EITが扱う、いわゆる『番組』を示す概念である。具体的には、MH−EITに格納されたイベントパッケージ記述子が指し示す『パッケージ』において、MH−EITに格納された開示時刻(後述の図21に示す『start_time』パラメータに対応)から、継続時間(後述の図21に示す『duration』パラメータに対応)分の期間に含まれる一連のデータが、当該『イベント』の概念に含まれるデータである。MH−EITは、本実施例の放送受信装置100において当該『イベント』単位での各種処理(例えば、番組表の生成処理や、録画予約や視聴予約の制御、一時蓄積などの著作権管理処理)などに用いることができる。
[放送受信装置のハードウェア構成]
図7Aは、放送受信装置100の内部構成の一例を示すブロック図である。放送受信装置100は、主制御部101、システムバス102、ROM103、RAM104、ストレージ(蓄積)部110、LAN通信部121、拡張インタフェース部124、デジタルインタフェース部125、チューナ/復調部131、分離部132、映像デコーダ141、映像色域変換部142、音声デコーダ143、文字スーパーデコーダ144、字幕デコーダ145、字幕合成部146、字幕色域変換部147、データデコーダ151、キャッシュ部152、アプリケーション制御部153、ブラウザ部154、アプリケーション色域変換部155、音源部156、映像合成部161、モニタ部162、映像出力部163、音声合成部164、スピーカ部165、音声出力部166、操作入力部170、で構成される。
主制御部101は、所定の動作プログラムに従って放送受信装置100全体を制御するマイクロプロセッサユニットである。システムバス102は主制御部101と放送受信装置100内の各動作ブロックとの間でデータ送受信を行うためのデータ通信路である。
ROM(Read Only Memory)103は、オペレーティングシステムなどの基本動作プログラムやその他の動作プログラムが格納された不揮発性メモリであり、例えばEEPROM(Electrically Erasable Programmable ROM)やフラッシュROMのような書き換え可能なROMが用いられる。ROM103には、放送受信装置100の動作に必要な動作設定値が記憶されても良い。RAM(Random Access Memory)104は基本動作プログラムやその他の動作プログラム実行時のワークエリアとなる。ROM103及びRAM104は主制御部101と一体構成であっても良い。また、ROM103は、図7Aに示したような独立構成とはせず、ストレージ(蓄積)部110内の一部記憶領域を使用するようにしても良い。
ストレージ(蓄積)部110は、放送受信装置100の動作プログラムや動作設定値、放送受信装置100のユーザの個人情報等を記憶する。また、インターネット200を介してダウンロードした動作プログラムや前記動作プログラムで作成した各種データ等を記憶可能である。また、放送波から取得した、或いは、インターネット200を介してダウンロードした、動画、静止画、音声等のコンテンツも記憶可能である。ストレージ(蓄積)部110の一部領域を以ってROM103の機能の全部又は一部を代替しても良い。また、ストレージ(蓄積)部110は、放送受信装置100に外部から電源が供給されていない状態であっても記憶している情報を保持する必要がある。従って、例えば、フラッシュROMやSSD(Solid State Drive)などの不揮発性半導体素子メモリ、HDD(Hard Disc Drive)などの磁気ディスクドライブ、等のデバイスが用いられる。
なお、ROM103やストレージ(蓄積)部110に記憶された前記各動作プログラムは、インターネット200上の各サーバ装置からのダウンロード処理により、追加、更新及び機能拡張することが可能であるものとする。
LAN(Local Area Network)通信部121は、ルータ装置200rを介してインターネット200と接続され、インターネット200上の各サーバ装置やその他の通信機器とデータの送受信を行う。また、通信回線を介して伝送される番組のMMTデータ列(或いは、その一部)の取得も行うものとする。ルータ装置200rとの接続は有線接続であっても良いし、Wi−Fi(登録商標)等の無線接続であっても良い。LAN通信部121は符号回路や復号回路等を備えるものとする。また、放送受信装置100が、BlueTooth(登録商標)通信部やNFC通信部、赤外線通信部等、他の通信部を更に備えていても良い。
チューナ/復調部131は、アンテナ100aを介して電波塔300tから送信された放送波を受信し、主制御部101の制御に基づいてユーザの所望するサービスのチャンネルに同調(選局)する。更に、チューナ/復調部131は、受信した放送信号を復調してMMTデータ列を取得する。なお、図7Aに示した例では、チューナ/復調部が1つである構成を例示しているが、複数画面同時表示や裏番組録画等を目的として、放送受信装置100がチューナ/復調部を複数搭載する構成としても良い。
分離部132はMMTデコーダであり、入力したMMTデータ列中の制御信号に基づいてリアルタイム提示要素である映像データ列、音声データ列、文字スーパーデータ列、字幕データ列、等を、それぞれ映像デコーダ141、音声デコーダ143、文字スーパーデコーダ144、字幕デコーダ145、等に分配する。分離部132に入力されるデータは、放送伝送路を介して伝送されてチューナ/復調部131で復調されたMMTデータ列や、通信回線を介して伝送されてLAN通信部121で受信したMMTデータ列であって良い。また、分離部132は、マルチメディアアプリケーションやその構成要素であるファイル系データを再生し、キャッシュ部152で一時的に蓄積する。また、分離部132は、映像音声字幕以外のデータの提示を行うプレーヤで利用するデータ若しくはアプリケーションに対するデータのストリーミングに用いるために、汎用データを抽出してデータデコーダ151に出力する。また、分離部132は、主制御部101の制御に基づいて、前記入力したMMTデータ列に対するエラー訂正やアクセス制限の制御等を行っても良い。
映像デコーダ141は、分離部132から入力した映像データ列を復号して映像情報を出力する。映像色域変換部142は、映像デコーダ141で復号した映像情報に対して、映像合成部161での映像合成処理のために、必要に応じて色空間変換処理を施す。音声デコーダ143は、分離部132から入力した音声データ列を復号して音声情報を出力する。また、映像デコーダ141及び音声デコーダ143には、LAN通信部121を介してインターネット200上から取得した、例えば、MPEG−DASH(MPEG−Dynamic Adaptive Streaming over HTTP)形式等のストリーミングデータが入力されても良い。また、映像デコーダ141、映像色域変換部142、音声デコーダ143、等は、複数種類の映像データ列や音声データ列を同時に復号処理するために、複数備えられても良い。
文字スーパーデコーダ144は、分離部132から入力した文字スーパーデータ列を復号して文字スーパー情報を出力する。字幕デコーダ145は、分離部132から入力した字幕データ列を復号して字幕情報を出力する。文字スーパーデコーダ144から出力された文字スーパー情報と字幕デコーダ145から出力された字幕情報は、字幕合成部146において合成処理を施され、更に、字幕色域変換部147において、映像合成部161での映像合成処理のために、必要に応じて色空間変換処理を施される。なお、本実施例においては、放送番組の映像と同時に提示される、文字情報を中心とするサービスのうち、映像の内容と関連するものを字幕と呼称し、それ以外のものを文字スーパーと呼称する。また、それらを区別しない場合は、字幕と総称するものとする。
ブラウザ部154は、キャッシュ部152若しくはLAN通信部121を介してインターネット200上のサーバ装置から取得したマルチメディアアプリケーションファイルやその構成要素であるファイル系データを、MMTデータ列に含まれる制御情報やLAN通信部121を介してインターネット200上のサーバ装置から取得した制御情報を解釈するアプリケーション制御部153の指示に従って提示する。なお、前記マルチメディアアプリケーションファイルは、HTML(Hyper Text Markup Language)文書やBML(Broadcast Markup Language)文書等であって良い。ブラウザ部154から出力されたアプリケーション情報は、更に、アプリケーション色域変換部155において、映像合成部161での映像合成処理のために、必要に応じて色空間変換処理を施される。また、ブラウザ部154は、音源部156に働きかけることにより、アプリケーション音声情報の再生も行うものとする。
映像合成部161は、映像色域変換部142から出力された映像情報と字幕色域変換部147から出力された字幕情報とアプリケーション色域変換部155から出力されたアプリケーション情報等を入力し、適宜選択及び/又は重畳等の処理を行う。映像合成部161は図示を省略したビデオRAMを備え、前記ビデオRAMに入力された映像情報等に基づいてモニタ部162等が駆動される。また、映像合成部161は、主制御部101の制御に基づいて、必要に応じて、スケーリング処理やMMT−SIに含まれるMH−EIT等の情報に基づいて作成されたEPG(Electronic Program Guide)画面情報の重畳処理等を行う。モニタ部162は、例えば液晶パネル等の表示デバイスであり、映像合成部161で選択及び/又は重畳処理を施された映像情報を放送受信装置100のユーザに提供する。映像出力部163は、映像合成部161で選択及び/又は重畳処理を施された映像情報を出力する映像出力インタフェースである。
なお、本実施例の放送受信装置100の提示機能は、マルチメディアサービスを提供者の意図通りに表示させるために、論理的プレーン構造を備えるものとする。図7Bに、本実施例の放送受信装置100の提示機能が備える論理的プレーン構造の構成の一例を示す。前記論理的プレーン構造では、最前面に文字スーパーの表示を行う文字スーパープレーンを配置し、次層に字幕の表示を行う字幕プレーンを配置する。三層目に放送映像やマルチメディアアプリケーション、又はその合成映像の表示を行うマルチメディアプレーンを配置し、最背面に背景プレーンを配置する。字幕合成部146及び映像合成部161において、文字スーパー情報の文字スーパープレーンへの描画、字幕情報の字幕プレーンへの描画、映像情報やアプリケーション情報等のマルチメディアプレーンへの描画が行われる。また、MMT−SIに含まれるLCT等に基づいて背景色が背景プレーンに描画される。なお、三層目のマルチメディアプレーンは、映像デコーダ141の数に応じて複数用意することが可能であるものとする。ただし、マルチメディアプレーンが複数ある場合でも、アプリケーション色域変換部155から出力されたアプリケーション情報等は、最前面のマルチメディアプレーンにのみ出力されるものとする。
音声合成部164は、音声デコーダ143から出力された音声情報及び音源部156で再生されたアプリケーション音声情報を入力して、適宜選択及び/又はミックス等の処理を行う。スピーカ部165は、音声合成部164で選択及び/又はミックス処理を施された音声情報を放送受信装置100のユーザに提供する。音声出力部166は、音声合成部164で選択及び/又はミックス処理を施された音声情報を出力する音声出力インタフェースである。
拡張インタフェース部124は、放送受信装置100の機能を拡張するためのインタフェース群であり、本実施例では、アナログ映像/音声インタフェース、USB(Universal Serial Bus)インタフェース、メモリインタフェース等で構成されるものとする。アナログ映像/音声インタフェースは、外部映像/音声出力機器からのアナログ映像信号/音声信号の入力、外部映像/音声入力機器へのアナログ映像信号/音声信号の出力、等を行う。USBインタフェースは、PC等と接続してデータの送受信を行う。HDDを接続して放送番組やコンテンツの記録を行っても良い。また、キーボードやその他のUSB機器の接続を行っても良い。メモリインタフェースはメモリカードやその他のメモリ媒体を接続してデータの送受信を行う。
デジタルインタフェース部125は、符号化されたデジタル映像データ及び/又はデジタル音声データを出力若しくは入力するインタフェースである。デジタルインタフェース部125は、チューナ/復調部131で復調して得たMMTデータ列やLAN通信部121を介して取得したMMTデータ列、或いは、前記各MMTデータ列の混合データをそのまま出力可能であるものとする。また、デジタルインタフェース部125から入力したMMTデータ列を分離部132に入力するように制御しても良い。ストレージ(蓄積)部110に記憶したデジタルコンテンツの出力、或いは、ストレージ(蓄積)部110へのデジタルコンテンツの記憶を、デジタルインタフェース部125を介して行っても良い。
デジタルインタフェース部125は、DVI端子やHDMI(登録商標)端子やDisplay Port(登録商標)端子等であって、DVI仕様やHDMI仕様やDisplay Port仕様等に準拠した形式でデータの出力或いは入力がなされるものであって良い。IEEE1394仕様等に準拠したシリアルデータの形式で出力或いは入力されても良い。また、イーサネット(登録商標)や無線LAN等のハードウェアを介してデジタルインタフェース出力を行うIPインタフェースとして構成しても良い。この場合、デジタルインタフェース部125とLAN通信部121とはそのハードウェア構成を共有しても良い。
操作入力部170は、放送受信装置100に対する操作指示の入力を行う指示入力部であり、本実施例では、図示を省略したリモコンから送信されるコマンドを受信するリモコン受信部とボタンスイッチを並べた操作キーで構成されるものとする。何れか一方のみであっても良い。また、操作入力部170は、モニタ部162に重ねて配したタッチパネルで代替しても良い。拡張インタフェース部124に接続したキーボード等で代替しても良い。前記図示を省略したリモコンは、リモコンコマンド送信機能を備えた携帯情報端末700で代替しても良い。
なお、前述のように、放送受信装置100がテレビ受信機等である場合、映像出力部163及び音声出力部166は本発明に必須の構成ではない。また、放送受信装置100は、テレビ受信機の他、DVD(Digital Versatile Disc)レコーダなどの光ディスクドライブレコーダ、HDDレコーダなどの磁気ディスクドライブレコーダ、STB(Set Top Box)等であっても良い。デジタル放送受信機能や放送通信連携機能を備えたPC(Personal Computer)やタブレット端末、ナビゲーション装置、ゲーム機等であっても良い。放送受信装置100がDVDレコーダ、HDDレコーダ、STB等である場合、モニタ部162及びスピーカ部165は備えなくとも良い。映像出力部163及び音声出力部166或いはデジタルインタフェース部125に、外部モニタ及び外部スピーカを接続することにより、本実施例の放送受信装置100と同様の動作が可能となる。
[放送受信装置のクロック同期/提示同期のシステム構成]
図7Cは、本実施例の放送受信装置100が対応する放送システムにおけるクロック同期/提示同期のシステム構成の一例である。本実施例の放送システムでは、UTCを64ビット長のNTPタイムスタンプ形式で、放送送出システムから受信機(本実施例の放送受信装置100等)に伝送する。前記NTPタイムスタンプ形式においては、UTCの『秒以上』を32ビットで表し、また、『秒未満』を32ビットで表すものとする。しかしながら、実際には、1秒を32ビット精度で再現することは困難である。このため、映像システムの同期をとるためのシステムクロックやNTP形式の時計を動作させるためのシステムクロックとしては、例えば同図に示したような、『2の24乗』Hz(約16.8MHz)の周波数を用いるようにしても良い。なお、従来の放送システムにおけるシステムクロックが27MHzであったこと及び受信機のハードウェア構成を簡便に構築できること等を考慮すると、『2の24乗』〜『2の28乗』程度の、2のべき乗の周波数をシステムクロックとして採用することが望ましい。
なお、放送送出システム側や受信機側において、システムクロックを前述のように『2の24乗』〜『2の28乗』程度の2のべき乗の周波数に設定した場合、放送送出システム側から受信機側に伝送されるNTPタイムスタンプ形式における、前記システムクロックやNTP形式の時計を再生するためのPLL(Phase Locked Loop)系に参照されない下位の8〜4ビットは、『0』或いは『1』に固定するようにしても良い。即ち、システムクロックが『2のn乗』Hz(図7Cの例では、n=24)であれば、NTPタイムスタンプ形式の下位『32−n』ビットを『0』或いは『1』に固定するようにしても良い。或いは、受信機側において、前記NTPタイムスタンプ形式の下位『32−n』ビットを無視するように処理しても良い。
放送送出システム側では、NTP形式の時刻情報を外部から得ると、『2のn乗』HzのVCO(Voltage Controlled Oscillator)による32+nビットカウンタでPLL系を構成し、外部から与えられた時刻情報に同期する送出システム時計を実現する。また、『2のn乗』Hzのシステムクロックに同期して全体の信号処理系を動作させる。更に、前記送出システム時計の出力をNTP長形式の時刻情報として放送伝送路を介して受信機側に周期的に伝送する。
受信機側では、放送伝送路を介してNTP長形式の時刻情報を受信し、放送送出システム側と同様に、『2のn乗』HzのVCOに基づくPLL系により受信システム時計を再生する。これにより、受信システム時計は、放送送出システム側と同期した時計となる。また、『2のn乗』Hzのシステムクロックに同期して受信機の信号処理系を動作させることにより、放送送出システム側と受信機側のクロック同期が実現され、安定した信号再生が可能となる。また、映像/音声信号の提示単位毎の復号時刻及び提示時刻が、放送送出システム側において、前記NTP形式の時刻情報に基づいて設定される。ここで、放送信号で伝送されるPAメッセージに格納されるMPTには後述の図13Bに示すMPUタイムスタンプ記述子が格納されている。図13BのMPUタイムスタンプ記述子における『mpu_sequence_number(MPUシーケンス番号)』パラメータがタイムスタンプを記述するMPUのシーケンス番号を示し、『mpu_presentation_time(MPU提示時刻)』パラメータがMPUの提示時刻を64ビットのNTPタイムスタンプ形式で示している。よって、受信機はMPTに格納されるMPUタイムスタンプ記述子を参照し、映像信号、音声信号、字幕、文字スーパー等のMPU毎の提示(表示、出力など)タイミングを制御することが可能である。
なお、前述の映像/音声信号等の提示単位毎の復号タイミング及び提示タイミングの制御に着目した場合、『2の16乗』Hz(約65.5KHz)程度のクロックによっても映像/音声信号の同期は確保可能であり、この場合は、MPUタイムスタンプ記述子等に記述されるNTPタイムスタンプ形式の下位16ビットは参照しなくとも良い。即ち、復号タイミング及び提示タイミングの制御にシステムクロックの分周等により生成した『2のm乗』Hzのクロックを用いた場合は、MPUタイムスタンプ記述子等に記述されるNTPタイムスタンプ形式の下位『32−m』ビットは参照しなくとも良い。従って、MPUタイムスタンプ記述子等に記述されるNTPタイムスタンプ形式の下位『32−m』ビットは『0』或いは『1』に固定するようにしても良い。
[放送受信装置のソフトウェア構成]
図7Dは、本実施例の放送受信装置100のソフトウェア構成図であり、ROM103、RAM104及びストレージ(蓄積)部110におけるソフトウェアの構成を示す。本実施例においては、ROM103に基本動作プログラム1001及びその他の動作プログラムが記憶されており、ストレージ(蓄積)部110に受信機能プログラム1002及びその他の動作プログラムが記憶されている。また、ストレージ(蓄積)部110は、動画や静止画や音声等のコンテンツを記憶するコンテンツ記憶領域1200、外部の携帯端末機器や各サーバ装置にアクセスする際に必要な認証情報等を記憶する認証情報記憶領域1300、その他の各種情報を記憶する各種情報記憶領域を備えるものとする。
ROM103に記憶された基本動作プログラム1001はRAM104に展開され、更に主制御部101が前記展開された基本動作プログラムを実行することにより、基本動作実行部1101を構成する。また、ストレージ(蓄積)部110に記憶された受信機能プログラム1002も同様にRAM104に展開され、更に主制御部101が前記展開された受信機能プログラムを実行することにより、受信機能実行部1102を構成する。また、RAM104は、各動作プログラム実行時に作成したデータを、必要に応じて一時的に保持する一時記憶領域を備えるものとする。
なお、以下では、説明を簡単にするために、主制御部101がROM103に格納された基本動作プログラム1001をRAM104に展開して実行することにより各動作ブロックの制御を行う処理を、基本動作実行部1101が各動作ブロックの制御を行うものとして記述する。他の動作プログラムに関しても同様の記述を行う。
受信機能実行部1102は、本実施例の放送システムで伝送される映像や音声等のコンポーネントを再生するために放送受信装置100の各動作ブロックを制御する。特に、トランスポート処理部1102aは、分離部132のMMTデコーダ機能を主として制御し、MMTデータ列から分離した映像データ列や音声データ列等をそれぞれ対応するデコード処理部に分配する。AVデコード処理部1102bは、映像デコーダ141や音声デコーダ143等を主として制御する。アプリケーション処理部1102cは、キャッシュ部152やアプリケーション制御部153やブラウザ部154や音源部156を主として制御する。文字スーパー処理部1102dは、文字スーパーデコーダ144を主として制御する。字幕処理部1102eは、字幕デコーダ145を主として制御する。汎用データ処理部1102fは、データデコーダ151を主として制御する。EPG生成部1102gは、MMT−SIに含まれるMH−EIT等の記述内容を解釈してEPG画面を生成する。提示処理部1102hは、前記論理的プレーン構造に基づいて、映像色域変換部142や字幕合成部146や字幕色域変換部147やアプリケーション色域変換部155や映像合成部161や音声合成部164を主として制御する。
前記各動作プログラムは、製品出荷の時点で、予めROM103及び/又はストレージ(蓄積)部110に格納された状態であっても良い。製品出荷後に、インターネット200上のその他のアプリケーションサーバ500等からLAN通信部121を介して取得するものであっても良い。また、メモリカードや光ディスク等に格納された前記各動作プログラムを、拡張インタフェース部124等を介して取得するものであっても良い。
[放送局サーバの構成]
図8は、放送局サーバ300の内部構成の一例を示すブロック図である。放送局サーバ300は、主制御部301、システムバス302、RAM304、ストレージ部310、LAN通信部321、デジタル放送信号送出部360、で構成される。
主制御部301は、所定の動作プログラムに従って放送局サーバ300全体を制御するマイクロプロセッサユニットである。システムバス302は主制御部301と放送局サーバ300内の各動作ブロックとの間でデータ送受信を行うためのデータ通信路である。RAM304は各動作プログラム実行時のワークエリアとなる。
ストレージ部310は、基本動作プログラム3001及び放送コンテンツ管理/配信プログラム3002と放送コンテンツ送出プログラム3003を記憶し、更に、放送コンテンツ記憶領域3200及びメタデータ記憶領域3300を備える。放送コンテンツ記憶領域3200は放送局が放送する各放送番組の番組コンテンツ等を記憶する。メタデータ記憶領域3300は前記各放送番組の番組タイトル、番組ID、番組概要、出演者、放送日時、各番組コンテンツに係るコピー制御情報、等のメタデータを記憶する。
また、ストレージ部310に記憶された基本動作プログラム3001及び放送コンテンツ管理/配信プログラム3002と放送コンテンツ送出プログラム3003はそれぞれRAM304に展開され、更に主制御部301が前記展開された各プログラムを実行することにより、基本動作実行部3101、放送コンテンツ管理/配信実行部3102、放送コンテンツ送出実行部3103を構成する。
なお、以下では、説明を簡単にするために、主制御部301がストレージ部310に格納された基本動作プログラム3001をRAM304に展開して実行することにより各動作ブロックの制御を行う処理を、基本動作実行部3101が各動作ブロックの制御を行うものとして記述する。他の動作プログラムに関しても同様の記述を行う。
放送コンテンツ管理/配信実行部3102は、放送コンテンツ記憶領域3200及びメタデータ記憶領域3300に蓄積された各放送番組の番組コンテンツ等及び各メタデータの管理と、前記各放送番組の番組コンテンツ等及び各メタデータを契約に基づいてサービス事業者に提供する際の制御を行う。更に、放送コンテンツ管理/配信実行部3102は、前記サービス事業者に対して前記各放送番組の番組コンテンツ等及び各メタデータの提供を行う際に、必要に応じて前記契約に基づいたサービス事業者サーバ400の認証処理等を行っても良い。
放送コンテンツ送出実行部3103は、放送コンテンツ記憶領域3200に蓄積された放送番組の番組コンテンツや、メタデータ記憶領域3300に蓄積された放送番組の番組タイトル、番組ID、番組コンテンツのコピー制御情報等を含むMMTデータ列を、デジタル放送信号送出部360を介して電波塔300tから送出する際のタイムスケジュール管理等を行う。
LAN通信部321は、インターネット200と接続され、インターネット200上のサービス事業者サーバ400等と通信を行う。LAN通信部321は符号回路や復号回路等を備えるものとする。デジタル放送信号送出部360は、放送コンテンツ記憶領域3200に蓄積された各放送番組の番組コンテンツ等の映像データ列や音声データ列、番組情報データ列、等で構成されたMMTデータ列を変調して、電波塔300tを介して、デジタル放送波として送出する。
[サービス事業者サーバの構成]
図9は、サービス事業者サーバ400の内部構成の一例を示すブロック図である。サービス事業者サーバ400は、主制御部401、システムバス402、RAM404、ストレージ部410、LAN通信部421、で構成される。
主制御部401は、所定の動作プログラムに従ってサービス事業者サーバ400全体を制御するマイクロプロセッサユニットである。システムバス402は主制御部401とサービス事業者サーバ400内の各動作ブロックとの間でデータ送受信を行うためのデータ通信路である。RAM404は各動作プログラム実行時のワークエリアとなる。
ストレージ部410は、基本動作プログラム4001及び映像コンテンツ管理/配信プログラム4002とアプリケーション管理/配布プログラム4004を記憶し、更に、映像コンテンツ記憶領域4200及びメタデータ記憶領域4300、アプリケーション記憶領域4400、ユーザ情報記憶領域4500を備える。映像コンテンツ記憶領域4200は、放送局サーバ300から提供された放送番組の番組コンテンツを映像コンテンツとして記憶する。また、前記サービス事業者が制作した映像コンテンツ等を記憶する。メタデータ記憶領域4300は、放送局サーバ300から提供された各メタデータや、前記サービス事業者が制作した映像コンテンツに関するメタデータ等を記憶する。アプリケーション記憶領域4400は、各テレビ受信機からの要求に応じて配布するための、放送番組に連携したサービスを実現するための各種アプリケーション等を記憶する。ユーザ情報記憶領域4500は、サービス事業者サーバ400へのアクセスが許可されたユーザに関する情報(個人情報や認証情報等)を記憶する。
また、ストレージ部410に記憶された基本動作プログラム4001及び映像コンテンツ管理/配信プログラム4002とアプリケーション管理/配布プログラム4004はそれぞれRAM404に展開され、更に主制御部401が前記展開された基本動作プログラム及び映像コンテンツ管理/配信プログラムとアプリケーション管理/配布プログラムを実行することにより、基本動作実行部4101、映像コンテンツ管理/配信実行部4102、アプリケーション管理/配布実行部4104を構成する。
なお、以下では、説明を簡単にするために、主制御部401がストレージ部410に格納された基本動作プログラム4001をRAM404に展開して実行することにより各動作ブロックの制御を行う処理を、基本動作実行部4101が各動作ブロックの制御を行うものとして記述する。他の動作プログラムに関しても同様の記述を行う。
映像コンテンツ管理/配信実行部4102は、放送局サーバ300からの放送番組の番組コンテンツ等及びメタデータの取得、映像コンテンツ記憶領域4200及びメタデータ記憶領域4300に蓄積された映像コンテンツ等及び各メタデータの管理、及び各テレビ受信機に対する前記映像コンテンツ等及び各メタデータの配信の制御を行う。更に、映像コンテンツ管理/配信実行部4102は、前記各テレビ受信機に対して前記各映像コンテンツ等及び各メタデータの配信を行う際に、必要に応じて前記各テレビ受信機の認証処理等を行っても良い。また、アプリケーション管理/配布実行部4104は、アプリケーション記憶領域4400に蓄積された各アプリケーションの管理と、前記各アプリケーションを各テレビ受信機からの要求に応じて配布する際の制御と、を行う。更に、アプリケーション管理/配布実行部4104は、前記各テレビ受信機に対して前記各アプリケーションの配布を行う際に、必要に応じて前記各テレビ受信機の認証処理等を行っても良い。
LAN通信部421は、インターネット200と接続され、インターネット200上の放送局サーバ300や、ルータ装置200rを介して放送受信装置100と通信を行う。LAN通信部421は符号回路や復号回路等を備えるものとする。
[携帯情報端末のハードウェア構成]
図10Aは、携帯情報端末700の内部構成の一例を示すブロック図である。携帯情報端末700は、主制御部701、システムバス702、ROM703、RAM704、ストレージ部710、通信処理部720、拡張インタフェース部724、操作部730、画像処理部740、音声処理部750、センサ部760、で構成される。
主制御部701は、所定の動作プログラムに従って携帯情報端末700全体を制御するマイクロプロセッサユニットである。システムバス702は主制御部701と携帯情報端末700内の各動作ブロックとの間でデータ送受信を行うためのデータ通信路である。
ROM703は、オペレーティングシステムなどの基本動作プログラムやその他の動作プログラムが格納されたメモリであり、例えばEEPROMやフラッシュROMのような書き換え可能なROMが用いられる。RAM704は基本動作プログラムやその他の動作プログラム実行時のワークエリアとなる。ROM703及びRAM704は主制御部701と一体構成であっても良い。また、ROM703は、図10Aに示したような独立構成とはせず、ストレージ部710内の一部記憶領域を使用するようにしても良い。
ストレージ部710は、携帯情報端末700の動作プログラムや動作設定値、携帯情報端末700のユーザの個人情報等を記憶する。また、インターネット200を介してダウンロードした動作プログラムや前記動作プログラムで作成した各種データ等を記憶可能である。また、インターネット200を介してダウンロードした、動画、静止画、音声等のコンテンツも記憶可能である。ストレージ部710の一部領域を以ってROM703の機能の全部又は一部を代替しても良い。また、ストレージ部710は、携帯情報端末700に外部から電源が供給されていない状態であっても記憶している情報を保持する必要がある。従って、例えば、フラッシュROMやSSDなどの不揮発性半導体素子メモリ、HDDなどの磁気ディスクドライブ、等のデバイスが用いられる。
なお、ROM703やストレージ部710に記憶された前記各動作プログラムは、インターネット200上の各サーバ装置からのダウンロード処理により、追加、更新及び機能拡張することが可能であるものとする。
通信処理部720は、LAN通信部721、移動体電話網通信部722、NFC通信部723、で構成される。LAN通信部721は、ルータ装置200rやアクセスポイント200aを介してインターネット200と接続され、インターネット200上の各サーバ装置やその他の通信機器とデータの送受信を行う。ルータ装置200rやアクセスポイント200aとの接続はWi−Fi(登録商標)等の無線接続で行われるものとする。移動体電話網通信部722は、移動体電話通信網の基地局600bとの無線通信により、電話通信(通話)及びデータの送受信を行う。NFC通信部723は対応するリーダ/ライタとの近接時に無線通信を行う。LAN通信部721、移動体電話網通信部722、NFC通信部723は、それぞれ符号回路や復号回路、アンテナ等を備えるものとする。また、通信処理部720が、BlueTooth(登録商標)通信部や赤外線通信部等、他の通信部を更に備えていても良い。
拡張インタフェース部724は、携帯情報端末700の機能を拡張するためのインタフェース群であり、本実施例では、映像/音声インタフェース、USBインタフェース、メモリインタフェース等で構成されるものとする。映像/音声インタフェースは、外部映像/音声出力機器からの映像信号/音声信号の入力、外部映像/音声入力機器への映像信号/音声信号の出力、等を行う。USBインタフェースは、PC等と接続してデータの送受信を行う。また、キーボードやその他のUSB機器の接続を行っても良い。メモリインタフェースはメモリカードやその他のメモリ媒体を接続してデータの送受信を行う。
操作部730は、携帯情報端末700に対する操作指示の入力を行う指示入力部であり、本実施例では、表示部741に重ねて配置したタッチパネル730t及びボタンスイッチを並べた操作キー730kで構成されるものとする。何れか一方のみであっても良い。拡張インタフェース部724に接続したキーボード等を用いて携帯情報端末700の操作を行っても良い。有線通信又は無線通信により接続された別体の端末機器を用いて携帯情報端末700の操作を行っても良い。即ち、放送受信装置100から携帯情報端末700の操作を行っても良い。また、前記タッチパネル機能は表示部741が備え持っているものであっても良い。
画像処理部740は、表示部741、画像信号処理部742、第一画像入力部743、第二画像入力部744、で構成される。表示部741は、例えば液晶パネル等の表示デバイスであり、画像信号処理部742で処理した画像データを携帯情報端末700のユーザに提供する。画像信号処理部742は図示を省略したビデオRAMを備え、前記ビデオRAMに入力された画像データに基づいて表示部741が駆動される。また、画像信号処理部742は、必要に応じてフォーマット変換、メニューやその他のOSD(On Screen Display)信号の重畳処理等を行う機能を有するものとする。第一画像入力部743及び第二画像入力部744は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)センサ等の電子デバイスを用いてレンズから入力した光を電気信号に変換することにより、周囲や対象物の画像データを入力するカメラユニットである。
音声処理部750は、音声出力部751、音声信号処理部752、音声入力部753、で構成される。音声出力部751はスピーカであり、音声信号処理部752で処理した音声信号を携帯情報端末700のユーザに提供する。音声入力部753はマイクであり、ユーザの声などを音声データに変換して入力する。
センサ部760は、携帯情報端末700の状態を検出するためのセンサ群であり、本実施例では、GPS受信部761、ジャイロセンサ762、地磁気センサ763、加速度センサ764、照度センサ765、近接センサ766、で構成される。これらのセンサ群により、携帯情報端末700の位置、傾き、方角、動き、及び周囲の明るさ、周囲物の近接状況、等を検出することが可能となる。また、携帯情報端末700が、気圧センサ等、他のセンサを更に備えていても良い。
携帯情報端末700は、携帯電話やスマートホン、タブレット端末等であって良い。PDA(Personal Digital Assistants)やノート型PCであっても良い。また、デジタルスチルカメラや動画撮影可能なビデオカメラ、携帯型ゲーム機やナビゲーション装置等、又はその他の携帯用デジタル機器であっても良い。
なお、図10Aに示した携帯情報端末700の構成例は、センサ部760等、本実施例に必須ではない構成も多数含んでいるが、これらが備えられていない構成であっても本実施例の効果を損なうことはない。また、デジタル放送受信機能や電子マネー決済機能等、図示していない構成が更に加えられていても良い。
[携帯情報端末のソフトウェア構成]
図10Bは、本実施例の携帯情報端末700のソフトウェア構成図であり、ROM703、RAM704及びストレージ部710におけるソフトウェアの構成を示す。本実施例においては、ROM703に基本動作プログラム7001及びその他の動作プログラムが記憶されており、ストレージ部710に連携制御プログラム7002及びその他の動作プログラムが記憶されている。また、ストレージ部710は、動画、静止画、音声等のコンテンツを記憶するコンテンツ記憶領域7200、テレビ受信機や各サーバ装置にアクセスする際に必要な認証情報等を記憶する認証情報記憶領域7300、その他の各種情報を記憶する各種情報記憶領域を備えるものとする。
ROM703に記憶された基本動作プログラム7001はRAM704に展開され、更に主制御部701が前記展開された基本動作プログラムを実行することにより、基本動作実行部7101を構成する。また、ストレージ部710に記憶された連携制御プログラム7002も同様にRAM704に展開され、更に主制御部701が前記展開された連携制御プログラムを実行することにより、連携制御実行部7102を構成する。また、RAM704は、各動作プログラム実行時に作成したデータを、必要に応じて一時的に保持する一時記憶領域を備えるものとする。
なお、以下では、説明を簡単にするために、主制御部701がROM703に格納された基本動作プログラム7001をRAM704に展開して実行することにより各動作ブロックの制御を行う処理を、基本動作実行部7101が各動作ブロックの制御を行うものとして記述する。他の動作プログラムに関しても同様の記述を行う。
連携制御実行部7102は、携帯情報端末700がテレビ受信機との連係動作を行う際の、機器認証及び接続、各データの送受信、等の管理を行う。また、連携制御実行部7102は、前記テレビ受信機と連動するアプリケーションを実行するためのブラウザエンジン機能を備えるものとする。
前記各動作プログラムは、製品出荷の時点で、予めROM703及び/又はストレージ部710に格納された状態であっても良い。製品出荷後に、インターネット200上のその他のアプリケーションサーバ500等からLAN通信部721又は移動体電話網通信部722を介して取得するものであっても良い。また、メモリカードや光ディスク等に格納された前記各動作プログラムを、拡張インタフェース部724等を介して取得するものであっても良い。
[放送受信装置の時刻管理]
本実施例の放送受信装置は2種類の時刻管理機能を備える。1つ目の時刻管理機能は、NTPに基づく時刻管理機能であり、図7Cを用いて既に説明した通りである。二つ目の時刻管理機能は、MH−TOTに基づく時刻管理機能であり、図6Bで説明したMH−TOTにより伝送された時刻情報に基づいて管理される時刻である。
NTPで伝送する時刻情報の構成の一例を図13Aに示す。また、前記MPUタイムスタンプ記述子のデータ構造の一例を図13Bに示す。前記NTP形式における『reference_timestamp』パラメータや『transmit_timestamp』パラメータ等は、64ビット長のNTP長形式の時刻データであり、また、前記MPUタイムスタンプ記述子における『mpu_presentation_time』パラメータも64ビット長のNTPタイムスタンプ形式の時刻データである。前記NTP長形式の時刻データや前記NTPタイムスタンプ形式の時刻データは、UTCの『秒以上』を32ビットで、『秒未満』を32ビットで表したデータである。即ち、NTP形式の時刻情報は、『秒未満』までの時刻情報を伝送可能である。更にNTP形式の時刻情報はUTC表記であるため、従来のデジタル放送におけるクロック管理と異なり、図3(B)に示すように通信回線経路(例えば、図7AのLAN通信部121で受信可能な通信回線)で受信する信号に含まれるNTPとも整合をとることができる。
これに対し、MH−TOTで伝送される情報は以下の通りである。放送受信装置100は、MH−TOTにより現在日付と日本標準時刻を取得可能であるものとする。図11Aに、MH−TOTのデータ構造の一例を示す。放送受信装置100は、前記MH−TOTの『JST_time』パラメータから現在日付及び現在時刻を取得可能である。『JST_time』パラメータは、図11Bに示すように、修正ユリウス日(Modified Julian Date:MJD)による現在日付の符号化データの下位16ビットと、日本標準時(Japan Standard Time:JST)を6個の4ビット2進化10進数(Binary−Coded Decimal:BCD)で表した24ビットの情報を含むものとする。前記MJDの16ビット符号化データに所定の演算を施すことにより、現在日付を算出することが可能である。6個の4ビット2進化10進数とは、2個の4ビット2進化10進数により10進法2桁で『時』を表し、次の2個の4ビット2進化10進数により10進法2桁で『分』を表し、最後の2個の4ビット2進化10進数により10進法2桁で『秒』を表すものである。
よって、NTPに基づく時刻とMH−TOTに基づく時刻との相違点は、前者のNTPが前述のように『秒未満』までの時刻情報を伝送できるUTC表記の情報であるのに対し、MH−TOTで伝送される情報は、JST表記の『秒単位』までの情報であるという点である。
本実施例の放送受信装置100は、UTC表記の時刻情報であるNTPに基づく時刻管理機能を、放送信号のコンテンツである映像、音声、字幕、文字スーパー、その他提示データのデコード及び表示の同期処理に用いることにより、より高精度の同期処理を実現できる。更に放送局のクロック表記ではなく、UTC表記の情報を参照することにより、放送信号で受信する放送信号のコンテンツである映像、音声、字幕、文字スーパー、又はその他データと、通信回線経路で取得する映像、音声、字幕、文字スーパー、又はその他データとのデコード及び表示の同期処理を行うこともできる。
更に、本実施例の放送受信装置は、MH−TOTの6個の4ビット2進化10進数で表した24ビットの情報を含む『JST_time』に基づく時刻管理機能を、ユーザへの現在時刻の提示処理又は図6Bで説明したMH−イベント情報テーブル(MH−EIT)を扱う各処理に用いれば良い。一般的に、放送受信装置におけるユーザへの現在時刻の提示処理においては、秒未満までの精度が要求されることはほとんどない。また、MH−イベント情報テーブル(MH−EIT)に記述される各時間情報は、MPEG2−TS方式で伝送される従来のデジタル放送のEITと同様に、6個の4ビット2進化10進数で表した24ビットの情報で10進法2桁ずつの『時』、『分』、『秒』で格納されている。このため、本実施例の放送受信装置100におけるMH−TOTに基づく時刻管理機能は、MH−EITを用いる処理と整合し易いためである。MH−EITを用いる処理とは具体的には、番組表の生成処理(後述する)や、録画予約や視聴予約の制御、一時蓄積などの著作権管理処理等である。何れの処理も秒未満までの精度が要求されることは稀であり、1秒単位の精度で十分だからである。
また、当該番組表の生成処理や、録画予約や視聴予約の制御、一時蓄積などの著作権管理処理は、従来のMPEG2−TS方式を用いたデジタル放送システムの受信機でも搭載される機能である。すると、本実施例の放送システムにおいても、番組表の生成処理や、録画予約や視聴予約の制御、一時蓄積などの著作権管理処理等の処理において、従来のMPEG2−TS方式のデジタル放送システムと整合性がある時刻管理処理で対応できるように構成しておけば、従来のMPEG2−TS方式のデジタル放送の受信機能とMMT方式のデジタル放送の受信機能との両者を有する放送受信装置を構成する際に、これらの処理(番組表の生成処理や、録画予約や視聴予約の制御、一時蓄積などの著作権管理処理等の処理)において、処理アルゴリズムを別々に設計する必要がなくなり、コストを低くすることができる。
また、従来のMPEG2−TS方式のデジタル放送の受信機能を持たずMMT方式のデジタル放送の受信機能のみを有する受信機であっても、番組表の生成処理や、録画予約や視聴予約の制御、一時蓄積などの著作権管理処理等の処理のアルゴリズムを完全に新規に作成しなくとも、従来のMPEG2−TS方式を用いたデジタル放送システムの受信機でも搭載される機能のアルゴリズムを流用できるので、より低コストに開発することができる。
よって、MH−TOTの『JST_time』パラメータに基づく時刻管理機能をこれらの処理(番組表の生成処理や、録画予約や視聴予約の制御、一時蓄積などの著作権管理処理等の処理)に用いる構成にすることにより、MMT方式のデジタル放送の放送受信装置であっても、従来方式の放送システムとの整合性を高めることにより、より低コストに提供することが可能となる。
以上説明した通り、本実施例の放送受信装置100は、精度の異なる2種類の時刻情報を用いた時刻管理機能を備える。一方の時刻情報は従来のデジタル放送システムと整合性のある表記の時刻情報であり、他方の時刻情報は前記一方の時刻情報よりも分解能の高い時刻情報であり、後者の時刻情報を放送信号の各コンテンツデータの同期処理に用いることにより従来の放送システムよりも高度な情報提示処理を実現し、前者の時刻情報を番組表の生成処理や、録画予約や視聴予約の制御、一時蓄積などの著作権管理処理等に用いることにより放送受信装置を安価に提供することができる。
よって、本実施例の放送受信装置100では、以上説明した2種類の時刻管理機能を備えることにより、より高度な情報提示処理の実現と低コスト化とを両立することが可能である。
[時刻管理の第1の変形例]
次に、本実施例の放送システムにおける時刻管理の第1の変形例を以下に説明する。
第1の変形例では、図7Cを用いて既に説明したNTPに基づく時刻管理機能の当該管理時刻の精度を高めるために、時刻管理サーバ(図示省略)又は放送局サーバ300から放送受信装置100までの時刻情報伝送における想定遅延時間に関する情報を放送信号に含めて送信し、放送受信装置100において、当該想定遅延時間に関する情報をNTPに基づく時刻管理機能のシステム時計の修正に用いるように構成しても良い。
この際、当該想定遅延時間に関する情報は図3(A)に示すTLV多重化ストリーム内ではなく、TLV多重化ストリーム外のTMCC(Transmission and Multiplexing Configuration Control)領域内で伝送するように構成しても良い。TMCC領域内で伝送すれば、放送受信装置100において、TLV多重化ストリームの分離処理(デマックス処理)を経ることなしに当該想定遅延時間に関する情報を抽出することが可能となる。即ち、放送受信装置100における前記分離処理による遅延の影響を受けにくい情報取得が可能であり、従って、高精度なシステム時計の修正処理を行うことができる。当該TMCC信号で伝送される時刻情報のデータ構造の一例を、図13Cを用いて説明する。当該時刻情報は例えば、TMCC拡張情報領域に格納して伝送すれば良い。図13CのTMCC拡張情報領域の時刻情報において、『delta』パラメータは、UTCを配信する時刻管理サーバ又はTMCC信号を作成するサーバ装置から一般的な放送受信装置までの伝送遅延の想定値を32ビットの符号付き固定小数点で表す。なお、上位16ビットは整数部を、下位16ビットは小数点以下を記述するものである。『transmit_timestamp』パラメータは、送信タイムスタンプであり、本TMCC信号が前記サーバ装置から送出される時刻をNTPタイムスタンプ長形式で記述するものである。上位32ビットは整数部を、下位32ビットは小数点以下を表す。
当該第1の変形例では、本実施例の放送受信装置100は、TMCC拡張情報領域に格納して伝送された当該時刻情報に記述された前記想定遅延時間に関する情報(例えば、前述の『delta』パラメータ及び/又は『transmit_timestamp』パラメータ)を用いて、放送信号の各コンテンツデータの同期処理に用いるNTPに基づく時刻管理機能のシステム時計を、より高精度に修正することができる。
[時刻管理の第2の変形例]
次に、本実施例の放送システムにおける時刻管理の第2の変形例を以下に説明する。
前述の通り、本実施例の放送受信装置100においては、MH−TOTで伝送される情報により現在日付と日本標準時刻を取得して時刻を管理する時刻管理機能を有する。MH−TOTで伝送される情報により取得した現在日付と日本標準時刻は、放送受信装置100の映像合成部161で映像情報やアプリケーション情報等に重畳することにより、モニタ部162や映像出力部163に出力してユーザに提供可能である。前述の通り、MH−TOTは図11Aに示すデータ構造を有しており、放送受信装置100は、前記MH−TOTの『JST_time』パラメータから現在日付及び現在時刻を取得可能である。
しかしながら、前述の『JST_time』パラメータでは、MJDの符号化データの下位16ビットのみを使用しているため、『2038年4月22日』を以って桁あふれを生じることとなり、前記所定の演算のみでは『2038年4月23日』以降の日付を表現することができない。そこで、本実施例の第2の変形例では、MJDの値が所定値以上の場合と所定値未満の場合とで演算方法を切り替えることにより、『2038年4月23日』以降の日付を表現できるように制御するものとする。
図12に、MJDの値が所定値以上の場合に使用する第一の演算方法と、MJDの値が所定値未満の場合に使用する第二の演算方法の一例を示す。例えば、前記所定値を『32768(0x8000)』とした場合、MJDが『32768』以上の場合には前記第一の演算方法を用いて現在日付を算出し、MJDが『32768』未満の場合には前記第二の演算方法を用いて現在日付を算出する。なお、MJDが『32768』未満の場合とは、MJDの16ビットデータの最上位ビットが『0』の場合と等価である。これにより、本実施例の放送受信装置100においては、『2038年4月23日』以降の日付を表現することが可能となる。ただし、前記所定値は任意に設定することが可能であり、前記所定値を『16384(0x4000)』や『49152(0xC000)』等と設定しても良い。前記演算方法の切り替え条件は、MJDの16ビットデータの上位2ビットが『00』の場合、MJDの16ビットデータの上位2ビットが『11』ではない場合、としても良い。なお、前記所定値を『32768』として前述の手段を用いた場合、『1948年9月4日』以前の日付を表現できなくなるが、テレビ受信機としての実用上、特に問題となることはない。
また、MJDと前記所定値との比較結果に応じて前記第一の演算方法と前記第二の演算方法を切り替えるのではなく、図11Aに示したMH−TOTのデータ構造における『reserved』パラメータの一部又は全部を置き換えたフラグ或いは新たに追加したフラグに応じて前記第一の演算方法と前記第二の演算方法を切り替えるようにしても良い。例えば、前記フラグは、MJDの16ビット符号化データの最上位ビットが『0』である場合に、前記MJDが『2038年4月23日』以降を示すものであるならば『1』をセットし、『2038年4月23日』以降を示すものでないならば『0』をセットするようにすれば良い。そして、前記フラグが『1』の場合には図12に示した前記第二の演算方法を用い、前記フラグが『0』の場合には前記第一の演算方法を用いるようにすれば良い。又は、前記フラグと同様の意味を有する記述子を新たに用意して、MH−TOT内に配置しても良い。
また、本実施例の放送システムでは、前述の通り、NTP形式の絶対時刻を伝送し、本実施例の放送受信装置100は、当該NTPに基づく時刻管理機能を有する。更に、本実施例の放送受信装置100では、MPU単位に設定されるMPUタイムスタンプ記述子に記載されたNTPタイムスタンプ等を参照することにより、映像/音声信号の提示単位毎の復号タイミング及び提示タイミングを制御している。前述の通り、前記NTP形式の時刻情報は、図13Aに示す構成を有している。また、前記MPUタイムスタンプ記述子は図13Bに示す構成を有している。
このため、本実施例の放送受信装置100においては、前記『reference_timestamp』パラメータや『transmit_timestamp』パラメータ、或いは、『mpu_presentation_time』パラメータ等を参照し、前記参照した時刻データ等の値に応じて、前記第一の演算方法と前記第二の演算方法の何れを使用するかを選択するようにしても良い。即ち、例えば、前記64ビット長のNTP長形式の時刻データの最上位ビットが『0』の場合は前記第二の演算方法を使用し、『0』でない場合は前記第一の演算方法を使用する、等とすれば良い。
前記何れの方法によっても、本実施例の放送受信装置100においては、『2038年4月23日』以降の日付を表現することが可能となる。
[放送受信装置の選局処理(初期スキャン)]
本実施例の放送システムのAMTは、TLV多重化方式で伝送されるIPパケットを通信回線で伝送されるIPパケットと可能な限り区別なく受信するための、IPパケットのマルチキャストグループの一覧を提供するものとする。1つのサービス識別には、複数のIPマルチキャストグループをリストすることが可能である。また、連続するIPアドレスを効率的に記述するために、アドレスマスクを用いることが可能である。
本実施例の放送受信装置100では、初期設定の際のチャンネルスキャン時に、或いは、設定変更のための再スキャン時に、TLV−NITから取得したサービスの一覧をROM103やストレージ部110等の不揮発性メモリに記憶させることが可能であり、更に、前記各サービスに対応するIPマルチキャストグループの一覧を、IP関連情報として、前記各サービスに関連付けて、前記不揮発性メモリに記憶させることが可能であるものとする。前記サービスの一覧及びIP関連情報を不揮発性メモリに記憶させ、常時参照可能とすることにより、チャンネル切り替え時等に、TLV−NITやAMTを取得しなおす必要がなくなり、放送コンテンツの取得を効率よく行うことが可能となる。
図14は、本実施例の放送受信装置100におけるチャンネルスキャン(再スキャン)時の動作シーケンスの一例を示す図である。
チャンネルスキャンが開始されると、受信機能実行部1102は、チューナ/復調部131に対して周波数初期値を設定し、前記周波数値へのチューニングを行うように指示する(S101)。チューナ/復調部131において、前記設定された周波数値へのロックに成功する(S102:Yes)と、次に、受信機能実行部1102は、受信信号からTLV−NITを取得する(S103)。
S103の処理で取得したTLV−NITが有効なデータである場合(S104:Yes)、受信機能実行部1102は、前記取得したTLV−NITからTLVストリームID、オリジナルネットワークID、等の情報を取得する(S105)。図15Aに、TLV−NITのデータ構造の一例を示す。前記TLVストリームIDの情報は『tlv_stream_id』パラメータから、前記オリジナルネットワークIDの情報は『original_network_id』パラメータから、それぞれ取得可能であるものとする。更に、分配システム記述子から、各TLVストリームID/オリジナルネットワークIDに対応する放送伝送路の物理的条件に関する分配システム情報を取得し(S106)、サービスリスト記述子からサービスIDの一覧を取得する(S107)。図15Bに、衛星分配システム記述子のデータ構造の一例を示す。図15Cに、サービスリスト記述子のデータ構造の一例を示す。なお、TLV−NITが、TLVストリームID、オリジナルネットワークID、分配システム情報、サービスIDの一覧、等の異なるデータを複数有している場合は、S105〜S107の処理を繰り返す。次に、受信機能実行部1102は、S105〜S107の処理で取得したTLVストリームID、オリジナルネットワークID、分配システム情報、サービスIDの一覧、等のデータに基づいてサービスリストを作成し、前記作成したサービスリストをROM103又はストレージ部110等に記憶(再スキャン時は更新)する(S108)。
次に、受信機能実行部1102は、受信信号からAMTを取得し(S109)、更に、前記サービスリストに記憶された各サービスIDに関するIPマルチキャストグループの一覧を取得する(S110)。図15Dに、AMTのデータ構造の一例を示す。なお、AMTが複数のサービスIDに関するIPマルチキャストグループの一覧を有している場合は、S110の処理を繰り返す。異なるサービスIDに関するIPマルチキャストグループの一覧を有するAMTが複数ある場合には、S109〜S110の処理を繰り返す。次に、受信機能実行部1102は、S110の処理で取得したIPマルチキャストグループの一覧を、IP関連情報として、前記サービスIDと関連付けて、ROM103又はストレージ部110等に記憶(再スキャン時は更新)する(S111)。
なお、S102の処理で、チューナ/復調部131が前記設定された周波数値へのロックに成功しなかった場合(S102:No)、及び、S103の処理で取得したTLV−NITが有効なデータでない場合(S104:No)、S105〜S111の処理は行わない。
S111の処理を終えると、受信機能実行部1102は、チューナ/復調部131に設定されている周波数値がチャンネルスキャン範囲の最終周波数値であれば(S112:Yes)、処理を終了する。一方、前記設定されている周波数値がチャンネルスキャン範囲の最終周波数値でなければ(S112:No)、チューナ/復調部131に設定された周波数値をアップさせて(S113)、S102〜S111の処理を繰り返す。なお、1つのTLV−NITで、当該放送ネットワークを構成する全てのサービスに関するサービスIDを取得でき、更に、前記サービスIDに関するIPマルチキャストグループの一覧を有するAMTを取得できる場合には、S112〜S113の処理が不要である。
前述の一連の処理により、本実施例の放送受信装置100は、初期設定の際のチャンネルスキャン時に、或いは、設定変更のための再スキャン時に、放送ネットワークを構成するサービスの一覧(サービスリスト)の作成/更新と同時に、前記各サービスに対応するIPマルチキャストグループの一覧(IP関連情報)の作成/更新を行い、更に、ROM103やストレージ部110等の不揮発性メモリに記憶させることが可能となる。
なお、前記設定変更のための再スキャンは、TLV−NITやAMTの『version_number』パラメータを参照することにより、テーブル内の情報に変化があったことを検出した場合に、自動的に行うようにしても良い。TLV−NITとAMTの一方の『version_number』パラメータの変化を検出した場合に、前記パラメータの変化が検出されたテーブルに関する情報のみを自動的に更新するようにしても良い。ただし、前述の自動更新を行った場合、再スキャンを自動的に行った旨をユーザに通知することが望ましい。また、前記テーブル内の情報に変化があったことをユーザに報知し、ユーザに前記再スキャンを行うか否かを選択させるようにしても良い。
[放送受信装置の選局処理(チャンネル切り替え)]
図16は、本実施例の放送受信装置100における選局(チャンネル切り替え)時の動作シーケンスの一例を示す図である。
ユーザが図示を省略したリモコン等を操作してチャンネルの切り替えを指示すると、受信機能実行部1102が前記リモコンから送信されたコマンドを解釈して目的のサービスのサービスIDを指定する(S201)。次に、受信機能実行部1102は、チューナ/復調部131の受信信号からのAMTの取得を開始する。所定時間以内にAMTの取得に成功した場合(S202:Yes)、前記取得したAMTから前記サービスIDに対応するIPマルチキャストグループの一覧に関する情報を取得する(S204)。一方、所定時間以内にAMTの取得に成功しなかった場合(S202:No)、ROM103又はストレージ部110等に記憶されたIP関連情報を参照することにより(S203)、前記サービスIDに対応するIPマルチキャストグループの一覧に関する情報を取得する(S204)。なお、S202の判断処理を行わず、常にROM103又はストレージ部110等に記憶されたIP関連情報を参照するようにしても良い。
次に、受信機能実行部1102は、チューナ/復調部131の受信信号からのTLV−NITの取得を開始する。所定時間以内にTLV−NITの取得に成功した場合(S205:Yes)、前記取得したTLV−NITから前記サービスIDに対応するIPデータフローを取得するための分配システム情報を取得する(S207)。一方、所定時間以内にTLV−NITの取得に成功しなかった場合(S205:No)、ROM103又はストレージ部110等に記憶されたサービスリストを参照することにより(S206)、前記サービスIDに対応するIPデータフローを取得するための分配システム情報を取得する(S207)。なお、S205の判断処理を行わず、常にROM103又はストレージ部110等に記憶されたサービスリストを参照するようにしても良い。S207の処理で分配システム情報を取得すると、次に、受信機能実行部1102は、前記取得した分配システム情報にて指示される周波数値を以ってチューナ/復調部131を制御し、前記サービスIDに対応するIPデータフローを受信し(S208)、前記受信したIPデータフローからMMTデータ列を抽出して、分離部132に出力する。
分離部132において、トランスポート処理部1102aは、前記入力したMMTデータ列からパケットIDが『0』であるMMTPパケットを取得し(S209)、更に、前記取得したMMTPパケットに含まれるMPTを取得する(S210)。次に、トランスポート処理部1102aは、前記取得したMPTが有する『MMT_package_id_byte』パラメータを参照し、前記『MMT_package_id_byte』パラメータの下位16ビットが前記サービスIDと同一値か否かを確認する。図17に示すMPTのデータ構造の一例において、前記『MMT_package_id_byte』パラメータの下位16ビットが前記サービスIDと同一値である場合(S211:Yes)、前記パケットIDが『0』であるMMTPパケットが前記サービスIDに対応する番組のデータを有するMMTPパケットであるものと判断し、前記取得したMPTの有する情報に基づいてMFUの取得を実行する(S216)。
一方、前記『MMT_package_id_byte』パラメータの下位16ビットが前記サービスIDと同一値でない場合(S211:No)、前記パケットIDが『0』であるMMTPパケットは前記サービスIDに対応する番組のデータを有するMMTPパケットではないと判断する。この場合、トランスポート処理部1102aは、あらためてPLTを取得し(S212)、前記取得したPLTを確認することにより、前記サービスIDに対応する『MMT_package_id_byte』パラメータを有するMPTを伝送するMMTPパケットのパケットID(xとする)を確認する(S213)。更に、トランスポート処理部1102aは、前記入力したMMTデータ列からパケットIDが『x』であるMMTPパケットを取得し(S214)、前記取得したMMTPパケットに含まれるMPTを取得する(S215)。更に、前記取得したMPTの有する情報に基づいて、MFUを取得する(S216)。
なお、S209〜S211の処理を行わず、常にS212〜S215の処理を行うようにしても良い。この場合、前記サービスIDに対応する番組のデータがパケットID『0』以外のMMTPパケットに格納されている際に、処理時間の短縮が可能となる。
S216の処理でMFUを取得すると、トランスポート処理部1102aは、前記取得したMFUから符号化映像データや符号化音声データ等を抽出し、映像デコーダ141や音声デコーダ143等に出力する。以下、AVデコード処理部1102bの制御に基づく映像/音声デコード処理や、提示処理部1102hの制御に基づく提示処理が行われるが、前記各処理に関しては公知であるため、詳細の説明を省略する。
以上の一連の処理により、本実施例の放送受信装置100は、選局(チャンネル切り替え)動作を実行することが可能である。特に、図14及び図16を用いて説明したように、初期設定の際のチャンネルスキャン時に、或いは、設定変更のための再スキャン時に、サービスリストやIP関連情報を作成して、ROM103やストレージ部110等の不揮発性メモリに記憶させて常時参照可能とし、選局(チャンネル切り替え)時に、ROM103やストレージ部110等の不揮発性メモリに記憶させた前記サービスリストやIP関連情報を参照することにより、選局(チャンネル切り替え)時の動作の効率向上を可能とする。即ち、選局(チャンネル切り替え)時にAMTやTLV−NITの再取得を行う場合と比較して、選局(チャンネル切り替え)開始から選局(チャンネル切り替え)終了までの時間を短縮することが可能となる。
[放送受信装置の画面レイアウト制御]
本実施例の放送受信装置100では、LCTの記述に基づいた画面レイアウト制御が可能であるものとする。図18にLCTのデータ構造の一例を示す。
図中、特に、『left_top_pos_x』パラメータと『right_down_pos_x』パラメータは、全画面表示の左側を『0』/右側を『100』とした場合の、領域の左上の水平位置と右下の水平位置を、それぞれ水平方向の全画素数に対する割合で示すものとする。『left_top_pos_y』パラメータと『right_down_pos_y』パラメータは、全画面表示の上側を『0』/下側を『100』とした場合の、領域の左上の垂直位置と右下の垂直位置を、それぞれ垂直方向の全画素数に対する割合で示すものとする。また、『layer_order』パラメータは、領域の奥行き方向の相対位置を示すものとする。
前記各パラメータの設定に基づいた、レイアウト番号へのレイアウトの割当の例を、前記各パラメータの設定値と共に、図19A〜Dに示す。
図19Aは、本実施例の放送受信装置100のデフォルトのレイアウト設定であり、全画面に1つの領域のみを設定する例である。図19Bは、全画面を三つの領域に分割し、それぞれの領域を『領域0』、『領域1』、『領域2』とした場合の例である。例えば、全画面の画素数を水平7680画素/垂直4320画素とした場合、『領域0』は、『left_top_pos_x』パラメータが『0』、『left_top_pos_y』パラメータが『0』、『right_down_pos_x』パラメータが『80』、『right_down_pos_y』パラメータが『80』であることから、(0,0)−(6143,3455)の範囲に設定される。同様に、『領域1』は、(6144,0)−(7679,4319)の範囲に設定され、『領域2』は、(0,3456)−(6143,4319)の範囲に設定される。
図19Cは、図19Bと同様に三つの領域を設定する例であるが、『領域0』は、(0,0)−(7679,4319)の範囲に設定され、『領域1』と『領域2』は前述と同様の範囲で、『layer_order』パラメータの設定に応じて、『領域0』の前面に配置される。図19Dは、デバイス0(デフォルトのデバイス:本実施例では放送受信装置100)に『領域0』が設定され、デバイス1(本実施例においては、携帯情報端末700)に『領域1』が設定される場合の例である。
前述のように、本実施例の放送システムにおいては、LCTを用いることにより、マルチメディアサービスを受信機上でサービス提供者の意図通りに表示するための画面レイアウト制御を行うことが可能となる。
なお、前記『left_top_pos_x』等のパラメータの設定値に応じて画面を分割する際に生じた小数点以下の端数は、切り上げ若しくは切り捨て等の処理を行えば良い。四捨五入(或いは、二進数における零捨一入)の処理でも良い。例えば、全画面の画素数が7680画素/垂直4320画素で、『領域0』の『left_top_pos_x』パラメータが『0』、『left_top_pos_y』パラメータが『0』、『right_down_pos_x』パラメータが『51』、『right_down_pos_y』パラメータが『51』の場合、切り上げ処理により(0,0)−(3916,2203)の範囲に『領域0』を設定しても良いし、切り捨て処理により(0,0)−(3915,2202)の範囲に『領域0』を設定しても良い。また、映像圧縮処理の際のマクロブロックを考慮して、8画素単位や16画素単位等での切り上げ/切り捨て処理を行うようにしても良い。前記処理により、LCTに基づく領域設定や、前記領域におけるマルチメディアコンテンツの解像度変換処理を効率的に行うことが可能となる。
[放送受信装置の画面レイアウト制御の例外処理]
本実施例の放送受信装置100においては、前述のLCTにより画面レイアウトの領域制御が行われている場合であっても、ユーザによりEPG画面の表示が指示された場合等には、例外処理として、前記LCTの記述内容を無視した画面レイアウト制御を行うことが可能であるものとする。図20Aに、LCTに基づく画面レイアウト制御の例外処理の動作の一例を示す。
LCTの記述により図19Bと同様の画面レイアウト制御が行われ、『領域0』に放送番組映像が表示され、『領域1』及び『領域2』に前記放送番組に連携する番組連携データ等の放送コンテンツが表示されている状態で、ユーザが図示を省略したリモコンによりEPG画面の表示を指示した場合、本実施例の放送受信装置100では、図20A(A)に示したように、LCTの記述内容に関わらず画面レイアウト設定をデフォルトの設定(即ち、図19Aと同様の画面レイアウト制御が行われている状態)に戻し、EPG画面を画面全体に表示するように制御するものとする。更に、ユーザがEPG画面の表示終了を指示した場合に、LCTの記述内容に従った画面レイアウト制御を再実行するようにする。
前述の制御を行うことにより、図20A(B)に示したような、画面レイアウトの領域制御を維持したままEPG画面の表示を行う場合と比較して、EPG画面を大きく表示することができ、見易さを向上させることが可能である。
なお、前記画面レイアウト制御の例外処理は、EPG画面の表示を行う際にのみ適用されるものではなく、図20Bに示すように、放送受信装置100の各種設定画面(図示の例では録画設定画面)の子画面表示時や二画面表示時に適用されても良い。
同図(A)に示した録画設定画面の場合、放送コンテンツの表示エリアは画面全体から画面右下の子画面部分のみに変更される。同様に、同図(B)に示した二画面表示の場合、放送コンテンツの表示エリアは画面全体から画面中段左側の分割画面部分のみに変更される。何れの場合も、放送コンテンツを表示するための表示エリアが、画面全体を使用する場合と比較して狭くなるため、前記表示エリア内で画面レイアウトの領域制御を維持したまま(即ち、領域分割を行って複数の放送コンテンツを同時に表示したまま)とすることは視認上好ましくはない。従って、本実施例の放送受信装置100においては、前記状況の際には、前記表示エリアに『領域0』の放送コンテンツのみを選択して表示するようにする。なお、直前の領域選択状況に応じて、『領域1』や『領域2』の放送コンテンツを選択して表示するようにしても良い。
前述の制御を行うことにより、画面レイアウトの領域制御を維持したまま各種放送コンテンツの表示を行う場合と比較して、前記放送コンテンツの見易さを向上させることが可能となる。録画番組一覧画面における子画面表示やインターネットコンテンツのブラウザ表示時、等においても同様である。
[放送受信装置のEPG表示]
本実施例の放送システムでは、放送ネットワークを構成する各サービスに含まれるイベント(いわゆる番組)に関する時系列情報をMH−EITで伝送するものとする。図21に、本実施例のMH−EITのデータ構造の一例を示す。MH−EITは、テーブルID(図中の『talbe_id』パラメータに対応)により二つのクラスに識別され、自TLVストリームの現在/次のイベントの情報と自TLVストリームの各イベントのスケジュール情報を示すことが可能であるものとする。本実施例の放送受信装置100は、前記MH−EIT等を参照してサービスID(図中の『service_id』パラメータに対応)による識別を行うことにより、各イベントの開始時間や放送時間等の情報を取得してEPG画面を作成することが可能であり、前記作成したEPGを映像合成部161で映像情報等に重畳してモニタ部162に表示することが可能であるものとする。
図22Aは、本実施例の放送受信装置100におけるEPG画面の一例を示す図である。EPG画面162aは、縦軸を時間表示、横軸をサービスID(チャンネル)表示としたマトリクス形状で、各時間帯に各チャンネルで放送される放送番組の詳細情報を表示するものとする。また、各放送番組の詳細情報162a1は、主としてタイトル領域162a2と詳細説明領域162a3で構成される。
タイトル領域162a2には、前記放送番組の番組タイトル及び前記放送番組の属性を表す記号等を表示する。前記放送番組の属性を表す記号等とは、例えば、新番組であることを示す記号/文字や、再放送番組であることを示す記号/文字、等である。或いは、放送サービスによるデータ放送に対応していることを意味する『data』を記号化した印等でも良い。また、前記放送番組に関連するコンテンツやアプリケーション等をネットワーク上から取得可能であることを意味する『NetWork』を記号化した印162a4等であっても良い。また、詳細情報162a1の背景色を他と差別化することにより、或いは、太枠で詳細情報162a1の表示領域を囲むことにより、前記放送番組の属性を表す記号等を代替しても良い。
なお、本実施例の放送システムにおける各制御情報(メッセージ、テーブル、記述子、等)が、前記放送番組に関連するコンテンツやアプリケーション等がネットワーク上から取得可能であることを示している場合であっても、放送受信装置100のLAN通信部121にLANケーブルが接続されていない等、ネットワーク上の各サーバ装置へのアクセスができない状態である場合には、前記『NetWork』を記号化した印162a4等を表示しないように制御しても良い。
また、前記放送番組がインターネット200を介して配信される配信番組であり、放送波のみからの取得ができない場合であって、更に、前述と同様に、放送受信装置100がネットワーク上の各サーバ装置へアクセスできない状態である場合等には、図22Bに示すように、EPG画面162b上に表示される詳細情報162b1の部分をグレーアウトするように制御しても良い。即ち、視聴できない配信番組の詳細情報は表示しないように制御する。また、詳細情報162b1の背景色を他と差別化することにより、前記グレーアウト処理の代替としても良い。図示を省略したリモコンの操作により詳細情報162b1を選択した場合に、放送受信装置100がネットワーク上の各サーバ装置へアクセスできない状態である旨を、或いは、詳細情報162b1に関連付けられた配信番組を視聴できない旨を、ポップアップ等によりユーザに報知するようにしても良い。
前述の各制御により、放送受信装置100は、ネットワーク接続状況に応じて、ユーザに対してより違和感のない形式で各放送番組の番組情報を提供することが可能となる。
図22Cは、本実施例の放送受信装置100におけるEPG画面の別の一例を示す図である。図中、『M1テレビ』、『M2放送』、『M3チャンネル』、『M4TV』、『テレビM5』等は、各チャンネルの放送局名称であり、特に、『M2放送』局は、放送波により配信される放送番組とインターネット200を介して配信される配信番組(図中の『ネット放送』で示される枠の情報162c1)を同時に提供しているものとする。
同図に示したように、インターネット200を介して配信する配信番組のみを有するチャンネルがある場合、通常時は同図(A)のEPG画面162cに示すように(情報162c1を含む)全てのチャンネルの情報を表示するように制御する。一方、放送受信装置100がネットワーク上の各サーバ装置へアクセスできない状態である場合等には、同図(B)のEPG画面162dに示すように、インターネット200を介して配信する配信番組のみを有する『M2放送(ネット放送)』のチャンネルの情報(同図(A)における情報162c1)を表示しないように制御しても良い。
前述の各制御により、放送受信装置100のユーザは、自分の視聴できないチャンネルの情報の確認を不要とすることが可能となる。
[放送受信装置の緊急警報放送表示]
本実施例の放送受信装置100は、TLVストリームを含む伝送データに含まれるTMCC信号の緊急警報放送起動制御信号ビットが『0』から『1』になった場合に、緊急警報放送の受信処理を行うことが可能であるものとする。
前記緊急警報放送は、全画面表示のアプリケーションとして提供されても良いし、文字情報として文字スーパーで提供されても良い。前記緊急警報放送が文字情報として文字スーパーで提供されている場合、緊急警報放送の受信直前の放送受信装置100の状態に関わらず、前記文字スーパーの文字情報を表示することが好ましい。即ち、図23に示すように、ユーザが通常の放送番組を視聴し、モニタ部162に前記放送番組の番組画面162eが表示されている状態で緊急警報放送を受信した場合、前記緊急警報放送による文字情報162e1を番組画面162eに重畳して表示するようにする。同様に、ユーザがEPG画面の表示を指示し、モニタ部162にEPG画面162fが表示されている状態で緊急警報放送を受信した場合、前記緊急警報放送による文字情報162f1をEPG画面162fに重畳して表示するように制御する。
前述の制御により、本実施例の放送受信装置100においては、ユーザがEPG画面や各種設定画面、録画番組一覧画面、インターネットブラウザ等を選択して表示させている場合であっても、緊急警報放送を受信した際には、前記緊急警報放送に基づく重要な文字情報の見逃しを回避することが可能となる。なお、この制御は、緊急警報放送によらない通常の文字スーパーの文字情報に対して行われても良い。
[各種例外処理]
本実施例の放送受信装置100は、同一パッケージ内のTLVストリーム外データが取得できない場合、例えは、下記の様な例外処理を行っても良い。
図6Eで説明した通り、本実施例の放送受信装置100が対応する放送システムにおいては、MPTに格納されるロケーション情報(図17の『MMT_general_location_info()』に対応)に基づいて、TLVストリーム内で取得するデータとTLVストリーム以外の経路で取得するデータとを同一のパッケージに含めることができる。しかしながら、ロケーション情報が指し示す、TLVストリーム以外のデータ伝送経路(例えば、IPv4データフロー、IPv6データフロー、放送のMPEG2−TSなど)は、TLV/MMTストリームの受信機能とは別の受信機能である。よって、放送受信装置100の動作中であっても、これらの伝送経路の受信機能が動作していない状況や、受信機能自体は動作していても中継装置等が動作していない状況や、これらの伝送経路の有線又は無線接続がされていない状況や、そもそもこれらの伝送経路の接続できない環境に放送受信装置100が設置されている状況など、これらの伝送経路からデータが取得できない状況もありうる。
このような状況下で、MPTに格納されるロケーション情報が、TLVストリーム内で取得するデータとTLVストリーム以外の経路で取得するデータとを同一のパッケージに含めるように対応付けることを示しているイベントを受信した場合、本実施例の放送受信装置100は、例えば以下のような動作を行っても良い。
例えば、LCTが、図19Bや図19Cのように、画面内に複数の領域を設定しており、『領域0』にTLVストリーム内に含まれる映像を表示し、『領域1』や『領域2』にTLVストリーム以外の伝送経路で取得したデータが表示されるように対応付けられている場合であって、『領域1』や『領域2』に表示すべきTLVストリーム以外の伝送経路のデータが取得できない場合、LCTが指定する複数領域のレイアウト表示を禁止しても良い。具体的には、当該LCTを受信しても図19Aに示すデフォルトレイアウト表示の『領域0』にTLVストリーム内で受信する当該コンテンツの映像を表示した状態のままとし、図19Bや図19Cのような複数領域のレイアウト表示に移行しないようにすれば良い。また、更にこの状態で、デフォルトレイアウトからLCTの示すレイアウトへの変更指示が図7Aの操作入力部170に入力されたとしても、図19Aに示すデフォルトレイアウト表示のままとしたり、その他のデータ放送画面に切り替えるなどして、図19Bや図19Cのような複数領域のレイアウト表示に移行しないようにしても良い。
LCTが、図19Bや図19Cのように、画面内に複数の領域を設定しており、『領域0』にTLVストリーム内に含まれる映像を表示し、『領域1』や『領域2』にTLVストリーム以外の伝送経路で取得したデータが表示されるように対応付けられている場合であって、『領域1』や『領域2』に表示すべきTLVストリーム以外の伝送経路のデータが取得できない場合の別の動作例としては、一旦、LCTが示す図19Bや図19Cの複数領域の表示枠を表示し、『領域1』や『領域2』については背景色や所定の静止画を表示しておき、所定時間を経過してもMPTのロケーション情報が示すTLVストリーム以外の伝送経路のデータが取得できない場合は、図19Aに示すデフォルトレイアウト表示の状態に戻す表示切り替えを行っても良い。この場合は、図19A、図19B、図19Cのレイアウトの変更時も『領域0』にはTLVストリーム内に含まれる番組映像が継続して表示されるように動作すれば、ユーザの番組映像自体は継続するので好ましい。
また、『領域1』や『領域2』に表示すべきTLVストリーム以外の伝送経路のデータが取得できないことにより、図19Aに示すデフォルトレイアウト表示の『領域0』にTLVストリーム内で受信する当該コンテンツの映像を表示した状態となっているときに、本実施例の放送受信装置100の各種通信機能や各種受信機能の動作が開始したり、各種通信機能の通信環境、通信状況や各種受信機能の受信環境や受信状況が変化したことにより、『領域1』や『領域2』に表示すべきTLVストリーム以外の伝送経路のデータが取得できる状況になることもありうる。この場合、本実施例の放送受信装置100は、ただちに、図19Aに示すデフォルトレイアウト表示から、LCTが示す図19Bや図19Cに示すような複数領域のレイアウトに切り替えて、『領域0』にTLVストリーム内で受信する当該コンテンツの映像を表示し、『領域1』や『領域2』にTLVストリーム以外の伝送経路から取得したデータを表示するように切り替えても良い。また、当該レイアウト変更をすぐには行わずに、デフォルトレイアウトからLCTの示すレイアウトへの変更指示が操作入力部170から入力されてから当該レイアウト変更を実行しても良い。
[著作権保護機能]
本実施例の放送受信装置100が対応するデジタル放送システムにおいて、MPTにコピー制御情報を含めて伝送することにより、例えば、当該コピー制御情報により『無制限にコピー可』(『無制限にコピー可かつ蓄積及び出力時に暗号化処理要』と『無制限にコピー可かつ蓄積及び出力時に暗号化処理不要』の2種類に分けても良い)、『1世代のみコピー可』、『所定複数回数コピー可』(例えば、9回コピー可+ムーブ1回可ならいわゆる『ダビング10』)、『コピー禁止』など、MPTが参照するコンテンツのコピー制御状態を示して伝送するように構成しても良い。この場合、本実施例の放送受信装置100は当該コピー制御情報に応じて、当該コンテンツのストレージ(蓄積)部110への蓄積、リムーバブル記録媒体への記録、外部機器への出力、外部機器へのコピー、外部機器へのムーブ処理などを制御するように構成しても良い。なお、蓄積処理の対象は放送受信装置100内部のストレージ(蓄積)部110のみならず、放送受信装置100のみで再生可能となるように暗号化処理等の保護処理を施した記録を含んでも良い。具体的には、蓄積処理の対象には外付けの記録装置などのうち、放送受信装置100のみで記録再生可能な状態にしたものなどが含まれる。
当該コピー制御情報に基づく処理の具体例を以下に説明する。
まず、MPTに含まれるコピー制御情報が『無制限にコピー可』を示す場合は、本実施例の放送受信装置100は、ストレージ(蓄積)部110への蓄積、リムーバブル記録媒体への記録、外部機器への出力、外部機器へのコピー、外部機器へのムーブ処理を制限なしに行ってかまわない。ただし、『無制限にコピー可かつ蓄積及び出力時に暗号化処理要』と『無制限にコピー可かつ蓄積及び出力時に暗号化処理不要』とが分かれている場合は、『無制限にコピー可かつ蓄積及び出力時に暗号化処理要』の際には、ストレージ(蓄積)部110への蓄積、リムーバブル記録媒体への記録、外部機器への出力、外部機器へのコピー、外部機器へのムーブ処理を回数に制限なく行うことができるが、何れも暗号化処理を施す必要がある。
また、MPTに含まれるコピー制御情報が『1世代のみコピー可』を示す場合は、本実施例の放送受信装置100は、ストレージ(蓄積)部110への暗号化しての蓄積を可能とするが、蓄積後のコンテンツを外部機器へ視聴用に出力する場合には、『コピー禁止』のコピー制御情報とともに暗号化して出力することとする。ただし、外部機器へのいわゆるムーブ処理(外部機器へコンテンツをコピーし、放送受信装置100のストレージ(蓄積)部110内のコンテンツは消去処理などにより再生不能化する処理)は可能とする。
また、MPTに含まれるコピー制御情報が『所定複数回数コピー可』を示す場合は、本実施例の放送受信装置100は、ストレージ(蓄積)部110へ暗号化して蓄積することを可能とするが、蓄積後のコンテンツを外部機器へ視聴用に出力する場合には、『コピー禁止』のコピー制御情報とともに暗号化して出力することとする。ただし、外部機器へ予め定められた数のコピーとムーブ処理を可能として良い。いわゆる『ダビング10』規定の場合は、外部機器へ9回のコピーと1回のムーブ処理を行って良い。
また、MPTに含まれるコピー制御情報が『コピー禁止』を示す場合は、本実施例の放送受信装置100は、ストレージ(蓄積)部110へのコピーを禁止する。ただし、放送受信装置100は予め定められた所定時間又は放送信号に含まれる制御情報(例えば、図6Dに示したMH−Expire記述子等による)により指定される所定時間のみストレージ(蓄積)部110への保持を可能とする『一時蓄積』モードを有するように構成する場合には、MPTに含まれるコピー制御情報が『コピー禁止』を示す場合であっても、ストレージ(蓄積)部110への当該コンテンツの一時的な保持を可能とする。MPTに含まれるコピー制御情報が『コピー禁止』の当該コンテンツを外部機器への視聴用として出力する場合には、『コピー禁止』のコピー制御情報とともに暗号化して出力することとする。
なお、前述の外部機器への視聴用の出力は、図7Aの映像出力部163と音声出力部166、或いは、デジタルI/F部125やLAN通信部121などを介して行えば良い。前述の外部機器へコピー又はムーブ処理は、図7AのデジタルI/F部125やLAN通信部121などを介して行えば良い。
以上説明した処理によれば、コンテンツと対応付けられたコピー制御情報に応じて、適切なコンテンツ保護を実現することができる。
また、コピー制御情報が、『1世代のみコピー可』、『所定複数回数コピー可』、『コピー禁止』などのコピー制限を示しているコンテンツのLAN通信部121を介した外部機器へのコピー処理については、放送受信装置100からの送信パケットの宛先である外部機器のIPアドレスが、放送受信装置100のIPアドレスと同一サブネット内にある場合のみ可能とし、外部機器のIPアドレスが、放送受信装置100のIPアドレスと同一サブネット外にある場合は、禁止しても良い。コピー制御情報が『無制限にコピー可かつ蓄積及び出力時に暗号化処理要』のコンテンツも同様に扱っても良い。
同様に、コピー制御情報が、『1世代のみコピー可』、『所定複数回数コピー可』、『無制限にコピー可かつ蓄積及び出力時に暗号化処理要』などのコピー制限を示しているコンテンツを一度ストレージ(蓄積)部110へ蓄積した後、LAN通信部121を介して外部機器へムーブする処理についても、放送受信装置100からの送信パケットの宛先である外部機器のIPアドレスが、放送受信装置100のIPアドレスと同一サブネット内にある場合のみ可能とし、外部機器のIPアドレスが、放送受信装置100のIPアドレスと同一サブネット外にある場合は、禁止しても良い。
放送受信装置100のストレージ(蓄積)部110へ蓄積したコンテンツについての視聴用映像出力、音声出力は、原則として、放送受信装置100からの送信パケットの宛先である外部機器のIPアドレスが、放送受信装置100のIPアドレスと同一サブネット内にある場合のみ可能とし、外部機器のIPアドレスが、放送受信装置100のIPアドレスと同一サブネット外にある場合は禁止する。ただし、当該外部機器が所定期間以内に、放送受信装置100のIPアドレスと同一サブネット内で接続されており、かつ、放送受信装置100のIPアドレスと同一サブネット外でも視聴可能な機器としての登録処理(ペアリング)がなされている機器の場合は、外部機器のIPアドレスが、放送受信装置100のIPアドレスと同一サブネット外であっても、当該外部機器への放送受信装置100のストレージ(蓄積)部110へ蓄積したコンテンツについての視聴用映像出力、音声出力を可能とするように構成しても良い。この場合、当該視聴用映像出力、音声出力はコンテンツに暗号化を施して行う。
以上説明した処理によれば、外部機器が放送受信装置100のIPアドレスと同一サブネット内にあるか同一サブネット外にあるかに対応して異なる処理を行うことでユーザの利便性とコンテンツ保護の両立を実現できる。
次に、図6Eで説明したように、本実施例の放送受信装置100が対応するデジタル放送システムでは、MPT内のロケーション情報(図17の『MMT_general_location_info()』)により、放送経路のTLVストリームで取得したデータと違う経路(IPv4、IPv6、MPEG2−TS、URL、等)で取得したデータもTLVストリームで取得したデータと同一パッケージかつ同一イベントに含まれることがありうるが、このときMPTにコピー制御情報が含められている場合のコンテンツ保護について説明する。
まず、MPTにコピー制御情報が含まれる場合、ロケーション情報で同一パッケージかつ同一イベントに含まれるデータは、放送経路のTLVストリームで取得したデータと違う経路(IPv4、IPv6、MPEG2−TS、URL、等)で取得したデータであっても、TLVストリームに含まれるコピー制御情報に従って、制御するようにしても良い。これらのコピー制御情報によって、指定されるコンテンツのコピー制御状態としては、前述の通り、『無制限にコピー可』(『無制限にコピー可かつ蓄積及び出力時に暗号化処理要』と『無制限にコピー可かつ蓄積及び出力時に暗号化処理不要』の2種類に分けても良い)、『1世代のみコピー可』、『所定複数回数コピー可』(例えば、9回コピー可+ムーブ1回可ならいわゆる『ダビング10』)、『コピー禁止』などを指定可能とする。
ここで、ロケーション情報が示すデータの位置が、他のデジタル放送信号で伝送されるMPEG2−TSのデータを含む場合、当該MPEG2−TSのデータは、他のデジタル放送信号でもコピー制御情報と対応付けられて放送されている。すると、当該MPEG2−TSのデータのコピー制御をどの情報に従ってどのように行うか(TLV/MMTストリームに含まれるコピー制御情報に従うのか、MPEG2−TSに含まれるコピー制御情報に従うのか)が問題となる。
本実施例のデジタル放送システムでは、この課題の解決策として、放送受信装置100において、下記複数の解決策の何れかの動作を行うようにすれば良い。
<動作例1>
第一の動作例では、MPTにコピー制御情報が含まれ、ロケーション情報で同一パッケージかつ同一イベントに含まれるデータに他のデジタル放送信号で伝送されるMPEG2−TSのデータを含む場合に、MPEG2−TSに含まれるコピー制御情報により示されるコピー制御状態よりも、TLVストリームに含まれるコピー制御情報により示されるコピー制御状態を優先して制御する。
例えば、TLVストリームに含まれるコピー制御情報により示されるコピー制御状態が『1世代コピー可』であり、MPEG2−TSに含まれるコピー制御情報により示されるコピー制御状態が『所定複数回コピー可』であれば、TLVストリームで取得したデータと違う経路(MPEG2−TS伝送形式のデジタル放送)で取得したデータであっても、『1世代コピー可』のコンテンツとしてコピー制御を行っても良い。例えば、TLVストリームに含まれるコピー制御情報により示されるコピー制御状態が『無制限にコピー可』であり、MPEG2−TSに含まれるコピー制御情報により示されるコピー制御状態が『所定複数回コピー可』であれば、TLVストリームで取得したデータと違う経路(MPEG2−TS伝送形式のデジタル放送)で取得したデータであっても、『無制限にコピー可』のコンテンツとしてコピー制御を行っても良い。
この動作の場合、TLVストリーム以外の経路で取得したデータについても本実施例の放送受信装置100が対応する放送システムにおいて管理したいコピー状態にすることができる。
<動作例2>
第二の動作例では、MPTにコピー制御情報が含まれ、ロケーション情報で同一パッケージかつ同一イベントに含まれるデータに他のデジタル放送信号で伝送されるMPEG2−TSのデータを含む場合に、TLVストリームに含まれるコピー制御情報により示されるコピー制御状態とMPEG2−TSに含まれるコピー制御情報により示されるコピー制御状態とを比較し、MPEG2−TSに含まれるコピー制御情報により示されるコピー制御状態の方がTLVストリームに含まれるコピー制御情報により示されるコピー制御状態よりも厳しい場合は、ストレージ(蓄積)部110などへの蓄積処理、リムーバブル記録媒体への記録処理、又はデジタルインタフェースからの出力処理をする際に、当該MPEG2−TSのデータを処理対象コンテンツから除外するように動作する。
この動作の場合、TLVストリーム以外の経路で取得したデータについては、当該データを伝送する放送システムで設定されたオリジナルのコピー制御情報を尊重しながら、本実施例の放送受信装置100上でのコピー制御状態の重複を解消することができる。
また、当該比較の結果、MPEG2−TSに含まれるコピー制御情報により示されるコピー制御状態が、TLVストリームに含まれるコピー制御情報により示されるコピー制御状態と同じ状態又は、より緩いコピー制御状態の場合は、当該ロケーション情報で同一パッケージかつ同一イベントに含まれるMPEG2−TSのデータについても、TLVストリームに含まれるコピー制御情報により示されるコピー制御状態のコンテンツとしてコピー制御を行えば良い。
この動作の場合、TLVストリーム以外の経路で取得したデータについては、当該データを伝送する放送システムで設定されたオリジナルのコピー制御情報を尊重しながら、本実施例の放送受信装置100上でのコピー制御状態の重複を解消することができる。
以上の説明において、本実施例の放送受信装置100の著作権保護機能は、MPTに含まれるコピー制御情報に基づいて行うこととして説明した。しかし、コピー制御情報を配置するテーブルはMPTに限定されない。MPT以外にも、図6Bで説明したMH−サービス記述テーブル(MH−SDT)やMH−イベント情報テーブル(MH−EIT)、或いはその他のテーブルに配置して伝送し、放送受信装置100はこれらに従って著作権保護処理を行っても良い。
以上説明した本実施例によれば、MMTのデジタル放送に対応した放送受信機を提供することができる。
(実施例2)
以下では、本発明の実施例2に関して説明する。なお、本実施例における構成、処理及び効果等は特に断りのない限り実施例1と同様であるものとする。このため、以下では、本実施例と実施例1との相違点を主に説明し、共通する点については重複を避けるため極力説明を省略する。また、本実施例の放送受信装置は、メディアトランスポート方式として、MMT方式とMPEG2−TS方式の双方に対応するテレビ受信機であるものとして、以下、説明を行う。
[放送受信装置のハードウェア構成]
図24は、放送受信装置800の内部構成の一例を示すブロック図である。放送受信装置800は、主制御部801、システムバス802、ROM803、RAM804、ストレージ部810、LAN通信部821、拡張インタフェース部824、デジタルインタフェース部825、第一チューナ/復調部831、第二チューナ/復調部832、MMTデコード処理部841、MPEG2−TSデコード処理部842、映像合成部861、モニタ部862、映像出力部863、音声合成部864、スピーカ部865、音声出力部866、操作入力部870、で構成される。
主制御部801、システムバス802、ROM803、RAM804、ストレージ部810、拡張インタフェース部824、デジタルインタフェース部825、モニタ部862、映像出力部863、スピーカ部865、音声出力部866、操作入力部870、等は、実施例1の放送受信装置100における主制御部101、システムバス102、ROM103、RAM104、ストレージ(蓄積)部110、拡張インタフェース部124、デジタルインタフェース部125、モニタ部162、映像出力部163、スピーカ部165、音声出力部166、操作入力部170、等とそれぞれ同等の機能を有するものとし、詳細な説明を省略する。
第一チューナ/復調部831は、図示を省略したアンテナを介して、メディアトランスポート方式としてMMTを採用した放送サービスの放送波を受信し、主制御部801の制御に基づいてユーザの所望するサービスのチャンネルに同調(選局)する。更に、第一チューナ/復調部831は、受信した放送信号を復調してMMTデータ列を取得し、MMTデコード処理部841に出力する。第二チューナ/復調部832は、図示を省略したアンテナを介して、メディアトランスポート方式としてMPEG2−TSを採用した放送サービスの放送波を受信し、主制御部801の制御に基づいてユーザの所望するサービスのチャンネルに同調(選局)する。更に、第二チューナ/復調部832は、受信した放送信号を復調してMPEG2−TSデータ列を取得し、MPEG2−TSデコード処理部842に出力する。
MMTデコード処理部841は、第一チューナ/復調部831から出力されたMMTデータ列を入力し、前記MMTデータ列に含まれる制御信号に基づいてリアルタイム提示要素である映像データ列、音声データ列、文字スーパーデータ列、字幕データ列、等の分離処理、及び復号処理等を行う。MMTデコード処理部841は、実施例1の放送受信装置100における、分離部132、映像デコーダ141、映像色域変換部142、音声デコーダ143、文字スーパーデコーダ144、字幕デコーダ145、字幕合成部146、字幕色域変換部147、データデコーダ151、キャッシュ部152、アプリケーション制御部153、ブラウザ部154、アプリケーション色域変換部155、音源部156、等に相当する機能を備えるものとする。MMTデコード処理部841は、実施例1で説明した各種処理を行うことが可能である。なお、前記各種処理の詳細は実施例1で説明した通りであるので、説明を省略する。
MPEG2−TSデコード処理部842は、第二チューナ/復調部832から出力されたMPEG2−TSデータ列を入力し、前記MPEG2−TSデータ列に含まれる制御信号に基づいてリアルタイム提示要素である映像データ列、音声データ列、文字スーパーデータ列、字幕データ列、等の分離処理、及び復号処理等を行う。MPEG2−TSデコード処理部842は、メディアトランスポート方式としてMPEG2−TSを採用した放送サービスの放送波を受信する従来のテレビ受信機のIRD(Integrated Receiver Decoder)部と同等の機能を備えるものとし、詳細な説明を省略する。
映像合成部861は、MMTデコード処理部841から出力された映像情報や字幕情報やアプリケーション情報と、MPEG2−TSデコード処理部842から出力された映像情報や字幕情報やアプリケーション情報と、を入力し、適宜選択及び/又は重畳等の処理を行う。映像合成部861は図示を省略したビデオRAMを備え、前記ビデオRAMに入力された映像情報等に基づいてモニタ部862等が駆動される。また、映像合成部861は、主制御部801の制御に基づいて、必要に応じて、スケーリング処理やEPG画面情報の重畳処理等を行う。音声合成部164は、MMTデコード処理部841から出力された音声情報とMPEG2−TSデコード処理部842から出力された音声情報を入力し、適宜選択及び/又はミックス等の処理を行う。
LAN通信部821は、ルータ装置200rを介してインターネット200と接続され、インターネット200上の各サーバ装置やその他の通信機器とデータの送受信を行う。また、通信回線を介して伝送される番組のMMTデータ列(或いは、その一部)やMPEG2−TSデータ列(或いは、その一部)を取得し、適宜、MMTデコード処理部841やMPEG2−TSデコード処理部842に出力する。
[放送受信装置の時刻表示]
本実施例の放送受信装置800では、EPG画面や各種設定画面等において、現在日付や現在時刻を表示可能であるものとする。前記現在日付や現在時刻に関する情報は、メディアトランスポート方式としてMMTを採用した放送サービスにおいてはMH−TOT等により送信され、また、メディアトランスポート方式としてMPEG2−TSを採用した放送サービスにおいてはMPEG−2システムに規定されたSI(Service Information)が備えるTOT(Time Offset Table)等により送信される。放送受信装置800は、前記MH−TOTや前記TOTを参照することにより、前記現在日付や現在時刻に関する情報を取得可能である。
また、一般的には、映像合成部861がMMTデコード処理部841から出力された映像情報等を主として選択している場合には、前記MH−TOTから取得した現在日付や現在時刻に関する情報を前記映像情報等に重畳し、映像合成部861がMPEG2−TSデコード処理部842から出力された映像情報等を主として選択している場合には、前記TOTから取得した現在日付や現在時刻に関する情報を前記映像情報等に重畳するように制御すれば良い。
しかしながら、メディアトランスポート方式としてMMTを採用した放送サービスとメディアトランスポート方式としてMPEG2−TSを採用した放送サービスとでは、符号化処理/復号処理や伝送経路等に差異があるため、特に現在時刻表示において、メディアトランスポート方式としてMMTを採用した放送サービスの選択時とメディアトランスポート方式としてMPEG2−TSを採用した放送サービスの選択時とで、不整合を生じる可能性がある。例えば、図25に示すように、メディアトランスポート方式としてMMTを採用した放送サービスのチャンネル情報を表示するEPG画面162gからメディアトランスポート方式としてMPEG2−TSを採用した放送サービスのチャンネル情報を表示するEPG画面162hに画面表示を切り替えた際に、現在時刻の表示が現在時刻表示162g1から現在時刻表示162h1に切り替わることによる不整合によって、視覚的違和感をユーザに覚えさせる可能性を有するものである。
本実施例の放送受信装置800では、前記ユーザの視覚的違和感を防止するために、映像合成部861がMMTデコード処理部841から出力された映像情報等を主として選択している場合であっても、前記TOTから取得した現在日付や現在時刻に関する情報を前記映像情報等に重畳するように制御する。即ち、メディアトランスポート方式としてMMTを採用した放送サービスのコンテンツに、メディアトランスポート方式としてMPEG2−TSを採用した放送サービスで提供される現在時刻情報を重畳するように制御するものである。
前記制御を行うことにより、本実施例の放送受信装置800は、現在時刻を表示する際に、常に前記TOTを参照して取得した現在時刻情報を表示するようになる。従って、メディアトランスポート方式としてMMTを採用した放送サービスとメディアトランスポート方式としてMPEG2−TSを採用した放送サービスとを切り替えた際にも、現在時刻の表示の不整合による視覚的違和感をユーザに覚えさせることを防止することが可能となる。
なお、図26Aに、本実施例の放送受信装置800における、各放送サービスの受信状況に応じた現在時刻情報参照元の選択制御の一例を示す。本実施例の放送受信装置800では、メディアトランスポート方式としてMPEG2−TSを採用した放送サービスの受信が可能な状態にある場合には、常に前記TOTを参照して現在時刻情報を取得するようにし、メディアトランスポート方式としてMPEG2−TSを採用した放送サービスの受信が不可の状態で、かつメディアトランスポート方式としてMMTを採用した放送サービスの受信が可能な状態にある場合にのみ、前記MH−TOTを参照して現在時刻情報を取得するように制御する。
また、前述の制御とは逆に、メディアトランスポート方式としてMPEG2−TSを採用した放送サービスのコンテンツに、メディアトランスポート方式としてMMTを採用した放送サービスで提供される現在時刻情報を重畳するように制御しても、前述と同様の効果が得られる。
なお、前述のように、メディアトランスポート方式としてMMTを採用した放送サービスのコンテンツに、メディアトランスポート方式としてMPEG2−TSを採用した放送サービスで提供される現在時刻情報を重畳するように制御する場合と、メディアトランスポート方式としてMPEG2−TSを採用した放送サービスのコンテンツに、メディアトランスポート方式としてMMTを採用した放送サービスで提供される現在時刻情報を重畳するように制御する場合の、何れの場合においても、実施例1の[放送受信装置の時刻管理]での説明と同様に、前記TMCC拡張情報領域の時刻情報の『delta』パラメータを参照することにより、前記現在時刻情報を補正することが可能である。
また、メディアトランスポート方式としてMMTを採用した放送サービスとメディアトランスポート方式としてMPEG2−TSを採用した放送サービスの何れの場合においても、ネットワークを構成する各放送サービスが伝送するMH−TOT又はTOTが送信側システムの不具合や伝送エラー等による誤りを有する可能性が考えられる。本実施例の放送受信装置800では、前記MH−TOT又はTOTの前記誤りに対する対策として、受信中のサービスから取得したMH−TOT又はTOTが誤りを有すると判断した場合には、同一ネットワークの他の放送サービスから、或いは、他のネットワークの任意の放送サービスから、MH−TOT又はTOTを取得して現在時刻情報を参照することにより、内蔵クロックの時刻情報の更新処理を行うよう機能を有するものとする。
図26Bに、本実施例の放送受信装置800における、メディアトランスポート方式としてMPEG2−TSを採用した放送サービスを受信している際の、現在時刻情報の更新処理の一例を示す。なお、メディアトランスポート方式としてMMTを採用した放送サービスを受信している際であっても、同図に示した処理と同様の処理が可能である。
本実施例の放送受信装置800において内蔵クロックの時刻情報を更新する場合、まず、受信機能実行部1102が現在受信中の放送サービス(メディアトランスポート方式としてMPEG2−TSを採用した放送サービス)のMPEG2−TSデータ列からTOTを取得し(S301)、更に、前記取得したTOTを参照することにより、現在時刻情報を取得する(S302)。次に、受信機能実行部1102はS302の処理で取得した前記現在時刻情報と内蔵クロックの時刻情報を比較する処理を行う。
前記比較処理の結果、S302の処理で取得した前記現在時刻情報と内蔵クロックの時刻情報の差が所定値以内(例えば、3分以内)の場合(S303:Yes)、受信機能実行部1102は、S302の処理で取得した前記現在時刻情報を以って、内蔵クロックの時刻情報の更新を行う(S306)。一方、前記比較処理の結果、S302の処理で取得した前記現在時刻情報と内蔵クロックの時刻情報の差が所定値以内ではない場合(S303:No)、或いは、S301で取得したTOTがデータ内にエラーがあることを示すフラグ等を有している場合、受信機能実行部1102は、同一ネットワーク内の他の放送サービスのMPEG2−TSデータ列からTOTを取得し、或いは、他のネットワークの任意の放送サービス(メディアトランスポート方式としてMMTを採用した放送サービス)のMMTデータ列からMH−TOTを取得し(S304)、更に、前記取得したTOT又はMH−TOTから現在時刻情報を取得する(S305)。受信機能実行部1102は、S305の処理で取得した現在時刻情報を以って、再度S303の比較処理を行うようにすれば良い。
以上の処理により、本実施例の放送受信装置800は、受信中のサービスから取得したMH−TOT又はTOTが誤りを有すると判断した場合には、同一ネットワークの他の放送サービスから、或いは、他のネットワークの任意の放送サービスから、MH−TOT又はTOTを取得して現在時刻情報を参照することにより、内蔵クロックの時刻情報の更新処理を行うことが可能となる。
なお、工場出荷後の初期設定時等、S304〜S305の処理の繰り返しで内蔵クロックの時刻情報との差が所定範囲内となる現在時刻情報を取得できなかった場合には、S302の処理で取得した現在時刻情報を以って、あらためて内蔵クロックの時刻情報を設定するようにすれば良い。このようにすれば、本実施例の放送受信装置800の内蔵クロックの時刻情報側に誤りがある場合も対応することが可能となる。
[放送受信装置のEPG表示]
メディアトランスポート方式としてMMTを採用した放送サービスのイベントスケジュール情報はMH−EIT等により伝送される。一方、メディアトランスポート方式としてMPEG2−TSを採用した放送サービスのイベントスケジュール情報はMPEG−2システムに規定されたSIが備えるEIT(Event Information Table)等により伝送される。従って、一般的には、メディアトランスポート方式としてMMTを採用した放送サービスで提供される映像情報等の表示を行っている際には、前記MMTを採用した放送サービスのイベントスケジュール情報(MH−EIT)が取得可能であり、メディアトランスポート方式としてMPEG2−TSを採用した放送サービスで提供される映像情報等の表示を行っている際には、前記MPEG2−TSを採用した放送サービスのイベントスケジュール情報(EIT)が取得可能である。
しかしながら、本実施例の放送受信装置800は、メディアトランスポート方式としてMMTを採用した放送サービスで提供される映像情報等の表示を行っている際にも、或いは、メディアトランスポート方式としてMPEG2−TSを採用した放送サービスで提供される映像情報等の表示を行っている際にも、前記MH−EITと前記EITの双方を取得可能とし、ユーザにとっての使い勝手を向上させている。
図27Aに、本実施例の放送受信装置800におけるEPG画面の一例を示す。図中、EPG画面162iはメディアトランスポート方式としてMMTを採用した放送サービスのMH−EITに基づいて作成されたEPG画面であり、『M1テレビ』、『M2放送』、『M3チャンネル』、『M4TV』、『テレビM5』等は、それぞれメディアトランスポート方式としてMMTを採用した放送サービスの放送局名称であるものとする。また、EPG画面162jはメディアトランスポート方式としてMPEG2−TSを採用した放送サービスのEITに基づいて作成されたEPG画面であり、『T6テレビ』、『T7放送』、『T8チャンネル』、『T9TV』、『テレビTA』等は、それぞれメディアトランスポート方式としてMPEG2−TSを採用した放送サービスの放送局名称であるものとする。
例えば、ユーザがメディアトランスポート方式としてMMTを採用した放送サービスで提供される放送番組を視聴中に、図示を省略したリモコンを操作してEPG画面の表示を指示すると、EPG画面の初期画面(図示省略)が表示される。前記EPG画面の初期画面は、メディアトランスポート方式としてMMTを採用した放送サービスのMH−EITに基づいて作成されたEPG画面であり、『2014年10月7日(今日)』の『17時〜(現在時刻の近隣)』の各チャンネルの放送番組の詳細情報が表示される。次に、ユーザが『2014年10月9日』の『20時〜』の各チャンネルの放送番組の詳細情報を確認したいと所望し、図示を省略したリモコンを操作してEPG画面の更新を指示すると、EPG画面162iが表示される。
更に、ユーザがメディアトランスポート方式としてMPEG2−TSを採用した放送サービスで提供される放送番組の詳細情報を確認したいと所望し、図示を省略したリモコンを操作してネットワークの切り替えを指示すると、EPG画面162jが表示される。この際、本実施例の放送受信装置800においては、メディアトランスポート方式としてMPEG2−TSを採用した放送サービスのEITに基づいて作成されたEPG画面の初期画面(即ち、『2014年10月7日』の『17時〜』の各チャンネルの放送番組の詳細情報)ではなく、直前に表示されていたEPG画面162iと同日同時間帯(即ち、『2014年10月9日』の『20時〜』)の各チャンネルの放送番組の詳細情報を表示するように制御する。
前述の制御により、ユーザは、メディアトランスポート方式の異なる複数のネットワークの同日同時間帯の放送番組に関する詳細情報を、簡便な操作で、連続的に、確認することが可能となる。即ち、放送受信装置800の使い勝手が向上する。
図27Bは、本実施例の放送受信装置800におけるEPG画面の前述とは異なる一例を示す図である。EPG画面162kは、図27Aに示したEPG画面162iが表示された状態から、図示を省略したリモコンの操作により、チャンネル方向(横方向)にスクロールさせた状態を示している。即ち、図27Bに示した例では、EPG画面をチャンネル方向(横方向)にスクロールさせることにより、メディアトランスポート方式としてMMTを採用した放送サービスのMH−EITに基づいて作成されたチャンネル情報とメディアトランスポート方式としてMPEG2−TSを採用した放送サービスのEITに基づいて作成されたチャンネル情報とが、同一時間軸上でシームレスに表示される。
従って、ユーザがメディアトランスポート方式としてMMTを採用した放送サービスのMH−EITに基づいて作成されたチャンネル情報の確認中にメディアトランスポート方式としてMPEG2−TSを採用した放送サービスのEITに基づいて作成されたチャンネル情報を確認したいと所望した場合においても、図示を省略したリモコンの操作によるネットワークの切り替えの指示等を不要とすることができる。更に、ユーザは、メディアトランスポート方式の異なる複数のネットワークの同日同時間帯の放送番組に関する詳細情報を、同時に確認することが可能となる。即ち、放送受信装置800の使い勝手が向上する。
(実施例3)
以下では、本発明の実施例3に関して説明する。なお、本実施例における構成、処理及び効果等は特に断りのない限り実施例1と同様であるものとする。このため、以下では、本実施例と実施例1との相違点を主に説明し、共通する点については重複を避けるため極力説明を省略する。
[音声データの伝送方式]
前述の実施例1の説明でも述べたように、本実施例の放送システムにおいては、音声符号化方式として、MPEG−4 AAC又はMPEG−4 ALSが用いられるものとしている。前記MPEG−4 AAC又はMPEG−4 ALSとメディアトランスポート方式であるMMTとのインタフェースは、LATM/LOASストリーム形式であって良い。LATM(Low Overhead MPEG−4 Audio Transport Multiplex)は、オーディオデータのチャンネルコンフィギュレーション情報を含むことに加え、オーディオデータの順序や連結などの多重機能を提供可能である。また、LOAS(Low Overhead Audio Stream)は、同期機能を提供可能である。
図28に、LATM/LOAS形式のビットストリーム構造の一例を示す。LATM/LOASストリーム形式は、同期バイトやISO/IEC14496−3に規定される音声符号化情報により構成されるLOAS(ただし、図示省略)やLATMヘッダ、及びRaw_dataブロックで構成されるものとする。1個のRaw_dataブロック毎に最大22.2chの符号化音声データを有することが可能であるものとする。Raw_dataブロック内のSCEは、モノ音声を格納するエレメントである。CPEは、2chペア音声を格納するエレメントである。LFEは、低域効果チャンネル音声を格納するエレメントである。DSEは、22.2chから5.1chへのダウンミックス係数やダイアログ制御情報、差し替え用音声、等を格納するエレメントである。PCEは、CICPに記載されていない音声フォーマット情報、5.1chから2chへのダウンミックス係数やダイアログ制御フラグ、等を格納するエレメントである。TERMは、ストリームのターミネータである。なお、1個のRaw_dataブロック内に配置される、SCE、CPE、LFE、DSE、等の各エレメントの数は、同図に示した個数に限定されるものではない。
ここで、前記22.2chの音声信号を出力する際のスピーカ配置の一例を図29に示す。なお、図中のスクリーン100sはテレビ受信機等であって良い。この場合、前記テレビ受信機等が本実施例の放送受信装置100となる。また、放送受信装置100がDVDレコーダやSTB等である場合、スクリーン100sは、前記DVDレコーダやSTB等の出力映像を表示するモニタ装置等であって良い。また、放送受信装置100がプロジェクタ等である場合、スクリーン100sは、前記プロジェクタの映像が投影されるスクリーンであって良い。
本実施例では、22.2ch音声出力を行う場合、24個のスピーカを立体的に三層に配置するものとする。上層(Top Layer)には、前方左側(TpFL)のスピーカ901、前方中央(TpFC)のスピーカ903、前方右側(TpFR)のスピーカ905、左側方(TpSiL)のスピーカ911、中央(TpC)のスピーカ913、右側方(TpSiR)のスピーカ915、後方左側(TpBL)のスピーカ921、後方中央(TpBC)のスピーカ923、後方右側(TpBR)のスピーカ925、が配置される。中層(Middle Layer)には、前方左側(FL)のスピーカ931、前方左中央(FLc)のスピーカ932、前方中央(FC)のスピーカ933、前方右中央(FRc)のスピーカ934、前方右側(FR)のスピーカ935、左側方(SiL)のスピーカ941、右側方(SiR)のスピーカ945、後方左側(BL)のスピーカ951、後方中央(BC)のスピーカ953、後方右側(BR)のスピーカ955、が配置される。下層(Bottom Layer)には、前方左側(BtFL)のスピーカ961、前方中央(BtFC)のスピーカ963、前方右側(BtFR)のスピーカ965、が配置され、更に、低域効果用(LFE1、LFE2)のスピーカ972及びスピーカ974が配置される。また、前記各スピーカの配置推奨範囲を図29Bに示す。
前記22.2chの音声データは、図29Cに示すように、正中面に配置されるスピーカ(FC、BC、TpFC、TpC、TpBC、BtFC)用の音声データは、モノ信号として符号化され、LATM/LOASストリームのRaw_dataブロックの6個のSCEエレメントで伝送されるものとする。また、左右対称に位置するスピーカ(FLcとFRc、FLとFR、SiLとSiR、BLとBR、TpFLとTpFR、TpSiLとTpSiR、TpBLとTpBR、BtFLとBtFR)用の音声データは、それぞれステレオ信号として相関を利用して符号化され、前記Raw_dataブロックの8個のCPEエレメントで伝送されるものとする。また、低域効果チャンネルのスピーカ(LFE1、LFE2)用の音声データは、前記Raw_dataブロックの2個のLFEエレメントで伝送されるものとする。
なお、前述の22.2ch音声出力及びLATM/LOAS形式のビットストリーム構造は一例であり、異なる方式を用いても良い。例えば、音声出力は、7.1chや5.1ch、2chステレオ、モノラル出力、デュアルモノ出力、等として、対応するチャンネルの符号化音声データのみを前記LATM/LOASストリームのRaw_dataブロックで伝送するようにしても良い。7.1ch音声出力の場合であれば、例えば、FCの符号化音声データをLATM/LOASストリームのRaw_dataブロックの1個のSCEエレメントで伝送し、FLとFR、SiLとSiR、BLとBRの符号化音声データを3個のCPEエレメントで伝送し、LFEを1個のLFEエレメントで伝送すれば良い。
[ダイアログ制御機能]
本実施例の放送受信装置100は、視聴者が個別にダイアログ(スピーチ、ナレーション、等)の音量等を調節できる機能を有するものとする。即ち、好ましいダイアログ音量等に対する個人差、再生装置(放送受信装置)の性能差、再生装置(放送受信装置)周辺における生活騒音などの環境的要因、等により、ダイアログが聞き取りにくくなることを防止するためである。
図30A及び図30Bに、本実施例の放送システムにおけるダイアログ制御機能の概念図を示す。
例えば、図30Aに示したように、放送局が、前述のLATM/LOASストリーム形式を用いて、22.2chの音声(背景音)をSCE、CPE、LFEの各エレメントで、4chの差し替え用音声(ダイアログ)をDSE2〜5エレメントで、それぞれ送出する。放送受信装置A〜Cにおいては、前記LATM/LOASストリーム形式を含む放送波を受信し、前記4chの差し替え用音声(ダイアログ)から1chを選択する処理、前記選択した1chの差し替え用音声(ダイアログ)及び前記22.2chの音声(背景音)の音量等を適宜調節する処理、及び、前記選択した1chの差し替え用音声(ダイアログ)と前記22.2chの音声(背景音)をミックスして出力する処理、等を行う。
或いは、図30Bに示したように、放送局が、前述のLATM/LOASストリーム形式を用いて、2ch(例えば、FCとBtFC)分のダイアログ音声をSCEエレメントで、20.2ch(前記FCとBtFCを除く各チャンネル)分の背景音をSCE、CPE、LFEの各エレメントで、それぞれ送出する。放送受信装置D〜Fにおいては、前記LATM/LOASストリーム形式を含む放送波を受信し、前記2ch分のダイアログ音声を抽出する処理、前記抽出した2ch分のダイアログ音声の音量等と前記20.2ch分の背景音の音量等をそれぞれ独立に適宜調節して出力する処理等を行う。
或いは、図示は省略するが、放送局が、前述のLATM/LOASストリーム形式を用いて、2ch(例えば、FCとBtFC)分のダイアログ音声をSCEエレメントで、20.2ch(前記FCとBtFCを除く各チャンネル)分の背景音をSCE、CPE、LFEの各エレメントで、4chの差し替え用音声(ダイアログ)をDSE2〜5エレメントで、それぞれ送出する。放送受信装置においては、前記LATM/LOASストリーム形式を含む放送波を受信し、前記4chの差し替え用音声(ダイアログ)から1chを選択する処理、前記選択した1chの差し替え用音声(ダイアログ)と前記2ch分のダイアログ音声を差し替える処理、前記差し替えた2ch分のダイアログ音声と前記20.2ch分の背景音の音量等をそれぞれ独立に適宜調節して出力する処理、等を行う。
このような処理を行うことにより、本実施例の放送システムの放送波を受信する放送受信装置100では、視聴者が自らの嗜好に合わせて、ダイアログの選択及び音量バランスの調整等を行うことが可能となる。
以下では、本実施例の放送受信装置100におけるダイアログ制御処理の詳細に関して説明する。
<ダイアログ音声選択処理>
まず、図30Aに示したような、LATM/LOASストリーム形式が有する複数(同図の例では4ch分)の差し替え用音声(ダイアログ)から1chを選択する処理の動作に関して説明する。
本実施例の放送受信装置100における、複数の差し替え用音声(ダイアログ)から1chを選択する処理の第一の例を図31Aに示す。前記第一の例では、放送受信装置100を操作可能なリモコンの『メニュー』キーを押下することにより表示されるメインメニューで、『音声設定』項目及び『差替音声選択』項目を順に選択することにより表示される『差替音声選択サブメニュー』を用いる。前記『差替音声選択サブメニュー』は、前記複数の差し替え用音声(ダイアログ)の一覧であり、視聴者は、前記リモコンの『カーソル』キー及び『決定』キーを操作することにより、前記複数の差し替え用音声(ダイアログ)から所望の1chを選択することが可能となる。なお、前記メインメニューの表示項目や階層構造等は同図に示したものと異なっていても良い。また、前記リモコンに『ダイアログ選択』キーを用意し、前記『ダイアログ選択』キーを押下することにより、前記『差替音声選択サブメニュー』が直接表示されるようにしても良い。
また、前記差し替え用音声(ダイアログ)の差替え処理を解除するには、図31Bに示すように、『差替音声選択サブメニュー』において『オリジナル』項目を選択すれば良い。また、前記差し替え用音声(ダイアログ)を別の差し替え用音声(ダイアログ)に変更するには、前記『差替音声選択サブメニュー』において『オリジナル』以外の所望の項目を選択すれば良い。なお、同図に示した『差替音声選択サブメニュー』は、差し替え用音声(ダイアログ)として『日本語』が選択され、差し替え処理が実行されている状態における表示例である。
本実施例の放送受信装置100における、複数の差し替え用音声(ダイアログ)から1chを選択する処理の第二の例を図31Cに示す。前記第二の例では、放送受信装置100を操作可能なリモコンの『情報』キーを押下することにより表示される『差替音声選択ボックス』を用いる。前記『差替音声選択ボックス』は、前記複数の差し替え用音声(ダイアログ)を前記リモコンの『カラー』キーとそれぞれ関連付けて表示するものであり、視聴者は、前記リモコンの『カラー』キーを押下することにより、前記複数の差し替え用音声(ダイアログ)から所望の1chを選択することが可能となる。なお、前記『情報』キー押下の際には、その他の情報(例えば、現在表示中の放送番組の番組名や放送時間、チャンネル情報、等)が更に表示されていても良い。また、前記『差替音声選択ボックス』の形状等は同図に示したものと異なっていても良い。また、前記リモコンに『ダイアログ選択』キーを用意し、前記『ダイアログ選択』キーを押下することにより、前記『差替音声選択ボックス』のみが表示されるようにしても良い。
また、前記差し替え用音声(ダイアログ)の差替え処理を解除するには、図31Dに示すように、『差替音声選択ボックス』において『オリジナル』項目に関連付けられた『カラー』キーを押下すれば良い。また、前記差し替え用音声(ダイアログ)を別の差し替え用音声(ダイアログ)に変更するには、前記『差替音声選択ボックス』において『オリジナル』以外の所望の項目に関連付けられた『カラー』キーを押下すれば良い。なお、同図に示した『差替音声選択ボックス』は、差し替え用音声(ダイアログ)として『日本語』が選択され、差し替え処理が実行されている状態における表示例である。
本実施例の放送受信装置100における、複数の差し替え用音声(ダイアログ)から1chを選択する処理の第三の例を図31Eに示す。前記第三の例では、放送受信装置100を操作可能なリモコンの『ダイアログ選択』キーを押下する毎に、放送受信装置100で選択可能な差し替え用音声(ダイアログ)及びオリジナル音声が順次変更される。具体的には、前記『ダイアログ選択』キーを一度押下すると、現在選択されている差し替え用音声(ダイアログ)又はオリジナル音声に関する情報を示す『ダイアログ音声情報』を画面内の所定の位置(同図の例では右下部)に表示する。以降、前記『ダイアログ選択』キーの押下を繰り返す毎に差し替え用音声(ダイアログ)及びオリジナル音声の選択を順次変更することが可能となる。なお、前述のオリジナル音声とは、前記差し替え用音声(ダイアログ)の差替え処理等を行わず、前記背景音のみを22.2chで出力している状態を指し示すものとする。
また、前記処理を行う場合、前記『ダイアログ選択』キー押下の直後には音声切り替え処理(オリジナル音声から差し替え用音声(ダイアログ)への変更、差し替え用音声(ダイアログ)から別の差し替え用音声(ダイアログ)への変更、等)を実行しないようにする。例えば、前記『ダイアログ選択』キーの押下後、所定時間以上、前記『ダイアログ選択』キーの再押下が無い場合に、前記音声切り替え処理を実行するようにする。即ち、前記『ダイアログ選択』キーの押下の繰り返しの間に音声切り替えが頻繁に生じることの煩わしさを防止するためである。
なお、前記『差替音声選択サブメニュー』や『差替音声選択ボックス』や『ダイアログ音声情報』等は、現在表示中の放送番組が差し替え用音声(ダイアログ)のデータを有している場合にのみ表示するようにすることが望ましい。具体的には、前記DSEが有するダイアログ制御情報に記載された追加ダイアログの数を示すパラメータ(例えば、『num_additional_lang_chans』等)を参照し、前記追加ダイアログの数を示すパラメータの値に応じて、前記『差替音声選択サブメニュー』や『差替音声選択ボックス』や『ダイアログ音声情報』等の表示を制御するようにすれば良い。その他の追加ダイアログが存在することを示すパラメータを参照して前記制御を行っても良い。
例えば、前記第一の例では、前記追加ダイアログの数を示すパラメータの値が、現在表示中の放送番組が差し替え用音声(ダイアログ)のデータを有していない事を示している場合には、リモコンを操作してメインメニューから『音声設定』項目を選択した際に、『差替音声選択』項目が表示しないように制御を行えば良い。或いは、リモコンを操作してメインメニューから『音声設定』項目を選択した際に、『差替音声選択』項目は表示されるものの、前記『差替音声選択』項目を選択できないように無効化しておく(グレーアウトする等)ように制御すれば良い。前記第二の例では、前記追加ダイアログの数を示すパラメータの値が、現在表示中の放送番組が差し替え用音声(ダイアログ)のデータを有していない事を示している場合には、リモコンの『情報』キーを押下した際に、『差替音声選択ボックス』を表示しないように制御すれば良い。前記その他の情報は、表示しても問題ない。前記第三の例では、前記追加ダイアログの数を示すパラメータの値が、現在表示中の放送番組が差し替え用音声(ダイアログ)のデータを有していない事を示している場合には、リモコンの『ダイアログ選択』キーを押下した際に、『ダイアログ音声の選択はできません』や『この機能は現在使用できません』等のメッセージを表示するように制御すれば良い。
また、前述の各処理により、オリジナル音声を差し替え用音声(ダイアログ)に差替え処理する場合、差し替え用音声(ダイアログ)を別の差し替え用音声(ダイアログ)に変更する場合、オリジナル音声の差し替え用音声(ダイアログ)への差替え処理を解除する場合、等の音声切り替え処理の際には、変更前の音声をフェードアウトし、かつ変更後の音声をフェードインする処理、変更前の音声と変更後の音声をクロスフェードする処理、変更前の音声と変更後の音声の間に所定期間の無音を挿入する処理、等を行うようにすることが望ましい。
<ダイアログ音声用チャンネル抽出処理>
次に、図30Bに示したような、LATM/LOASストリーム形式で送出された音声データ(同図の例では22.2ch分)からダイアログ音声用のチャンネル(同図の例では2ch分)の音声データを抽出する処理の動作に関して説明する。
本実施例の放送システムでは、LATM/LOASストリーム形式で送出する音声データの所定のチャンネルをダイアログ音声用のチャンネルとして使用することが可能であるものとする。この場合、前記DSEのダイアログ制御情報に、ダイアログ情報が存在するかを示すパラメータ(例えば、『ext_dialoge_status』)やダイアログ専用チャンネルの数を示すパラメータ(例えば、『num_dialogue_chans』)等を記載するものとする。本実施例の放送受信装置100は、前記ダイアログ情報が存在するかを示すパラメータやダイアログ専用チャンネルの数を示すパラメータ等を参照して、LATM/LOASストリーム形式で送出する音声データにダイアログ音声用のチャンネルが存在するか否かを把握可能である。更に、ダイアログ専用チャンネルのインデックスを示すパラメータ(例えば、『dialogue_src_index[]』)等を参照することにより、LATM/LOASストリーム形式で送出された音声データのどのチャンネルが前記ダイアログ音声用のチャンネルとして使用されているかを把握可能である。従って、本実施例の放送受信装置100は、前記各パラメータを参照することにより、ダイアログ音声用チャンネルの特定及びダイアログ音声データの抽出処理を行うことができる。
<ダイアログ音声/背景音の音量調節処理>
本実施例の放送受信装置100は、ダイアログ音声と背景音の音量(レベル)をそれぞれ適宜調節して出力することが可能である。以下では、放送受信装置100におけるダイアログ音声及び背景音の音量調節処理に関して説明する。
本実施例の放送受信装置100におけるダイアログ音声及び背景音の音量調節処理には三つのパターンがある。第一のパターンは、図30Aに示した放送受信装置Aや図30Bに示した放送受信装置Dのように、ダイアログ音声の音量調節を行った後に、前記ダイアログ音声を含む全チャンネルの音声の音量調節を行うパターンである。第二のパターンは、図30Aに示した放送受信装置Bや図30Bに示した放送受信装置Eのように、背景音の音量調節を行った後に、前記背景音を含む全チャンネルの音声の音量調節を行うパターンである。第三のパターンは、図30Aに示した放送受信装置Cや図30Bに示した放送受信装置Fのように、ダイアログ音声の音量調節と背景音の音量調節とを、それぞれ独立で行うパターンである。なお、以下の記述では、前記放送受信装置A〜Fの構成図において『M』の文字を付されたレベル調節(音量調節)を『メイン音量調節』、『S』又は『s』の文字を付されたレベル調節(音量調節)を『サブ音量調節』と称して説明する場合がある。
本実施例の放送受信装置100における、『メイン音量調節』及び『サブ音量調節』の処理の第一の例を図32Aに示す。前記第一の例では、放送受信装置100を操作可能なリモコンの『音量』キーを操作することにより『メイン音量調節』を行う。また、前記リモコンの『メニュー』キーを押下することにより表示されるメインメニューで、『音声設定』項目及び『差替音声音量』項目を順に選択することにより表示される『差替音声音量調節バー』を操作することにより『サブ音量調節』を行う。視聴者は、前記リモコンの『カーソル』キーを操作して前記『差替音声音量調節バー』のつまみ位置を調整することにより、『サブ音量調節』を行うことが可能となる。なお、前記メインメニューの表示項目や階層構造、『差替音声音量調節バー』の形状等は同図に示したものと異なっていても良い。
前記『メイン音量調節』においては、前記放送受信装置A、放送受信装置B、放送受信装置D、放送受信装置E、等では、前記リモコンの『音量』キーの操作に連動して、ダイアログ音声と背景音を含む全チャンネルの音声データの音量レベルが調節されるものとする。一方、前記放送受信装置C、放送受信装置F、等では、前記リモコンの『音量』キーの操作に連動して、背景音の音量レベルのみが調節されるものとする。
また、前記『サブ音量調節』においては、前記放送受信装置A、放送受信装置C、放送受信装置D、放送受信装置F、等では、前記『差替音声音量調節バー』のつまみ位置を『Max』側に調節する処理に応じて、ダイアログ音声の音量レベルが上げられるように制御されるものとする。一方、前記放送受信装置B、放送受信装置E、等では、前記『差替音声音量調節バー』のつまみ位置を『Max』側に調節する処理に応じて、背景音の音量レベルが下げられ、結果的に、ダイアログ音声の音量レベルが背景音の音量レベルに対して相対的に上げられるように制御されるものとする。
本実施例の放送受信装置100における、『メイン音量調節』及び『サブ音量調節』の処理の第二の例を図32Bに示す。前記第二の例では、放送受信装置100を操作可能なリモコンに、『メイン音量調節』を行うための『音量(M)』キーと『サブ音量調節』を行うための『音量(S)』キーを用意する。視聴者は、前記リモコンの『音量(M)』キーを操作することにより『メイン音量調節』を行うことが可能であり、前記『音量(S)』キーを操作することにより『サブ音量調節』をダイレクトに行うことが可能となる。
前記『メイン音量調節』においては、前記放送受信装置A、放送受信装置B、放送受信装置D、放送受信装置E、等では、前記リモコンの『音量(M)』キーの操作に連動して、ダイアログ音声と背景音を含む全チャンネルの音声データの音量レベルが調節されるものとする。一方、前記放送受信装置C、放送受信装置F、等では、前記リモコンの『音量(M)』キーの操作に連動して、背景音の音量レベルのみが調節されるものとする。
また、前記『サブ音量調節』においては、前記放送受信装置A、放送受信装置C、放送受信装置D、放送受信装置F、等では、前記『音量(S)』キーのUp側の押下に応じて、ダイアログ音声の音量レベルが上げられるように制御されるものとする。一方、前記放送受信装置B、放送受信装置E、等では、前記『音量(S)』キーのUp側の押下に応じて、背景音の音量レベルが下げられ、結果的に、ダイアログ音声の音量レベルが背景音の音量レベルに対して相対的に上げられるように制御されるものとする。
本実施例の放送受信装置100における、『メイン音量調節』及び『サブ音量調節』の処理の第三の例を図32Cに示す。前記第三の例では、放送受信装置100を操作可能なリモコンに、『音声選択』キーを用意する。視聴者は、前記『音声選択』キーを押下することにより、前記リモコンの『音量』キーを操作した際に『メイン音量調節』と『サブ音量調節』の何れの処理を行うかを切り換えることが可能となる。即ち、初期状態においては、前記リモコンの『音量』キーを操作した際に『メイン音量調節』が可能であり、前記『音声選択』キーを一度押下した後は、前記『音量』キーの操作により『サブ音量調節』が可能となる。再度前記『音声選択』キーを押下した後は、前記『音量』キーの操作により再び『メイン音量調節』が可能となる。
前記『メイン音量調節』においては、前記放送受信装置A、放送受信装置B、放送受信装置D、放送受信装置E、等では、前記リモコンの『音量』キーの操作に連動して、ダイアログ音声と背景音を含む全チャンネルの音声データの音量レベルが調節されるものとする。一方、前記放送受信装置C、放送受信装置F、等では、前記リモコンの『音量』キーの操作に連動して、背景音の音量レベルのみが調節されるものとする。
また、前記『サブ音量調節』においては、前記放送受信装置A、放送受信装置C、放送受信装置D、放送受信装置F、等では、前記『音量』キーのUp側の押下に応じて、ダイアログ音声の音量レベルが上げられるように制御されるものとする。一方、前記放送受信装置B、放送受信装置E、等では、前記『音量』キーのUp側の押下に応じて、背景音の音量レベルが下げられ、結果的に、ダイアログ音声の音量レベルが背景音の音量レベルに対して相対的に上げられるように制御されるものとする。
図32Dは、前記第一〜三の例で『メイン音量調節』又は『サブ音量調節』を行った際に、放送受信装置100のモニタ部162に表示される音量レベル情報の一例を示す画面表示図である。本実施例の放送受信装置100では、前述の『メイン音量調節』又は『サブ音量調節』の操作に応じて、同図に示した前記音量レベル情報を表示することにより、視聴者に対して、現在のダイアログ音声の音量レベル及び/又は背景音を含む全チャンネルの音声データの音量レベルを、同時に或いは個別に、報知することが可能である。
同図(a)は、前記『メイン音量調節』又は『サブ音量調節』の操作に応じた音量レベル情報の表示方法の第一の例である。前記第一の例では、前記『メイン音量調節』の操作に応じた全チャンネルの音声データの音量レベルと前記『サブ音量調節』の操作に応じたダイアログ音声の音量レベルの何れか一方を、同じ形状の音量レベル情報表示で表示するものである。この場合、前記全チャンネルの音声データの音量レベルとダイアログ音声の音量レベルとは、前記音量レベル情報の表示色の違い等により、識別可能とすれば良い。音量レベル情報の表示に前記第一の例の表示方法を用いた場合、前記音量レベル情報により隠される表示番組の面積を少なくすることが可能であり、視聴上好ましい。
同図(b)は、前記『メイン音量調節』又は『サブ音量調節』の操作に応じた音量レベル情報の表示方法の第二の例である。前記第二の例では、前記『メイン音量調節』の操作に応じた全チャンネルの音声データの音量レベルと、前記『サブ音量調節』の操作に応じたダイアログ音声の音量レベルを、同時に表示するものである。この場合、視聴者は、前記全チャンネルの音声データの音量レベルとダイアログ音声の音量レベルのバランス等を容易に確認することが可能となる。
同図(c)は、前記『メイン音量調節』又は『サブ音量調節』の操作に応じた音量レベル情報の表示方法の第三の例である。前記第三の例では、前記『メイン音量調節』の操作に応じた全チャンネルの音声データの音量レベルと、前記『サブ音量調節』の操作に応じたダイアログ音声の音量レベルを、メイン/サブの種別情報を付加して表示するものである。この場合、視聴者は、表示されている音量レベル情報の種別を簡単に確認でき、更に、前記音量レベル情報により隠される表示番組の面積を少なくすることが可能である。前記メイン/サブの種別情報は、背景音/ダイアログ等の異なる文言であっても良い。
なお、前記『差替音声音量調節バー』やダイアログ音声に関する音量レベル情報等は、現在表示中の放送番組が差し替え用音声(ダイアログ)のデータを有している場合にのみ表示するようにすることが望ましい。具体的には、前記DSEが有するダイアログ制御情報に記載された追加ダイアログの数を示すパラメータ(例えば、『num_additional_lang_chans』等)を参照し、前記追加ダイアログの数を示すパラメータの値に応じて、前記『差替音声音量調節バー』やダイアログ音声に関する音量レベル情報等の表示を制御するようにすれば良い。その他の追加ダイアログが存在することを示すパラメータを参照して前記制御を行っても良い。前記参照したパラメータが、追加ダイアログが存在しないことを示している場合には、メニュー項目の無効化(グレーアウトする等)やメッセージの表示等の処理を、前述の<ダイアログ音声選択処理>の記載と同様に行えば良い。
また、前記追加ダイアログの数を示すパラメータが、現在表示中の放送番組が差し替え用音声(ダイアログ)のデータを有していないことを示している場合には、リモコンの『音量(S)』キー(前記第二の例の場合)や『音声選択』キー(前記第三の例の場合)が押下された場合に、『ダイアログ音声の音量調節はできません』や『この機能は現在使用できません』等のメッセージを表示するように制御すると良い。
<ダイアログ音声/背景音の音質調整処理>
本実施例の放送受信装置100は、ダイアログ音声と背景音の音質(音声モード等)をそれぞれ適宜調整して出力することが可能である。以下では、放送受信装置100におけるダイアログ音声及び背景音の音質調整処理に関して説明する。
なお、本実施例の音質(音声モード等)を調整する処理では、前記放送受信装置Cや前記放送受信装置Fにおけるレベル調節(音量調節)の処理と同様に、背景音の音質(音声モード等)の調整とダイアログ音声の音質(音声モード等)の調整とを、それぞれ独立で行うものとする。また、以下では、前記背景音の音質(音声モード等)を調整する処理を『メイン音質調整』、前記ダイアログ音声の音質(音声モード等)を調整する処理を『サブ音質調整』と称して説明する場合がある。
本実施例の放送受信装置100における、『メイン音質調整』及び『サブ音質調整』の処理の第一の例を図33Aに示す。前記第一の例では、放送受信装置100を操作可能なリモコンの『メニュー』キーを押下することにより表示されるメインメニューで、『音声設定』項目及び『音声モード』項目を順に選択することにより表示される『音声モード選択サブメニュー』(ただし、図示省略)を操作することにより『メイン音質調整』を行う。また、前記メインメニューで、『音声設定』項目及び『差替え音声音質』項目を順に選択することにより表示される『差替え音声音質選択サブメニュー』を操作することにより『サブ音質調整』を行う。視聴者は、前記リモコンの『カーソル』キー及び『決定』キーを操作することにより、『メイン音質調整』及び『サブ音質調整』を行うことが可能となる。なお、前記メインメニューの表示項目や階層構造等は同図に示したものと異なっていても良い。また、前記『音声モード選択サブメニュー』と前記『差替え音声音質選択サブメニュー』の表示項目(即ち、選択可能な背景音の音質(音声モード等)やダイアログ音声の音質(音声モード等))は同一であっても良いし、異なっていても良い。
本実施例の放送受信装置100における、『メイン音質調整』及び『サブ音質調整』の処理の第二の例は、図31Cに示した複数の差し替え用音声(ダイアログ)から1chを選択する処理と同様に、放送受信装置100で選択可能な背景音の音質(音声モード等)やダイアログ音声の音質(音声モード等)を、『カラー』キーと関連付けて表示する『音質選択ボックス』(ただし、図示省略)を用いるものである。視聴者は、リモコンの『カラー』キーを押下することにより、所望の背景音の音質(音声モード等)やダイアログ音声の音質(音声モード等)を選択することが可能となる。なお、前記『音質選択ボックス』を用いて前記背景音の音質(音声モード等)とダイアログ音声の音質(音声モード等)の何れを選択可能とするかは、例えば、前記リモコンの『情報』キーを押下するたびに切り替えられて良い。
本実施例の放送受信装置100における、『メイン音質調整』及び『サブ音質調整』の処理の第三の例は、図31Eに示した複数の差し替え用音声(ダイアログ)から1chを選択する処理と同様に、リモコンの『ダイアログ選択』キーの押下回数に応じて、所望のダイアログ音声の音質(音声モード等)を選択することを可能とするものである。また、この場合、背景音の音質(音声モード等)は、前記第一の例と同様にメインメニューから選択するものとすれば良い。
本実施例の放送受信装置100における、『メイン音質調整』及び『サブ音質調整』の処理の第四の例を図33Bに示す。前記第四の例では、放送受信装置100を操作可能なリモコンの『イコライザ』キーを押下することにより表示される『音質調整ボックス』を用いる。前記『音質調整ボックス』は、複数の帯域に分割した可聴範囲のそれぞれの帯域を独立にレベル調整可能とするアプリケーション表示である。視聴者は、前記リモコンの『カーソル(左右)』キーを操作して調整したい周波数帯域を選択し、『カーソル(上下)キー』を操作して前記周波数帯域のレベルを調整することが可能である。即ち、背景音及びダイアログ音声の音質を調整することが可能となる。
なお、前記『差替え音声音質選択サブメニュー』や『音質選択ボックス』や『音質調整ボックス』等は、現在表示中の放送番組が差し替え用音声(ダイアログ)のデータを有している場合にのみ表示するようにすることが望ましい。具体的には、前記DSEが有するダイアログ制御情報に記載された追加ダイアログの数を示すパラメータ(例えば、『num_additional_lang_chans』等)を参照し、前記追加ダイアログの数を示すパラメータの値に応じて、前記『差替え音声音質選択サブメニュー』や『音質選択ボックス』や『音質調整ボックス』等の表示を制御するようにすれば良い。その他の追加ダイアログが存在することを示すパラメータを参照して前記制御を行っても良い。前記参照したパラメータが、追加ダイアログが存在しないことを示している場合には、メニュー項目の無効化(グレーアウトする等)やメッセージの表示等の処理を、前述の<ダイアログ音声選択処理>の記載と同様に行えば良い。
<ダイアログ音声差替え/ミックス処理>
次に、本実施例の放送受信装置100における、ダイアログ音声の差し替え処理及びミックス処理の動作に関して説明する。
図30Aに示した例の場合、複数の差し替え用音声(ダイアログ)から選択された1chの差し替え用音声(ダイアログ)は、22.2chの背景音の予め定めた所定のチャンネルと差替え処理又はミックス処理が可能であって良い。前記予め定めた所定のチャンネルは、図30Bで説明したような、前記DSEのダイアログ制御情報に記述されたダイアログ専用チャンネルのインデックスを示すパラメータ(例えば、『dialogue_src_index[]』)で指定された、ダイアログ音声を送出するためのチャンネルであっても良いし、その他の、例えば、視聴者が任意に選択したチャンネルであっても良い。何れの場合も、正中面に配置されるスピーカ(FC、BC、TpFC、TpC、TpBC、BtFC)に対応するチャンネルは単独で選択されて良く、低域効果チャンネルのスピーカ(LFE1、LFE2)を除くその他のチャンネルは左右ペアで選択されるものとする。
前記差替え処理は、前記予め定めた所定のチャンネルの音声データに代替して前記選択された1chの差し替え用音声(ダイアログ)の音声データを出力する処理である。一方、前記ミックス処理は、前記予め定めた所定のチャンネルの音声データに前記選択された1chの差し替え用音声(ダイアログ)の音声データを合成して出力する処理である。本実施例の放送受信装置100において、前記差替え処理とミックス処理の何れを行うかは、放送受信装置100の機能設定等により予め定められていて良い。
例えば、前記予め定めた所定のチャンネルがFC及びBtFCのチャンネルである場合、(即ち、単独で選択可能なチャンネルである場合)前記差替え処理により、スピーカ933(FC)からは前記FCのチャンネルの音声データに代替して前記差し替え用音声(ダイアログ)の音声データが出力される。また、スピーカ963(BtFC)からは前記BtFCのチャンネルの音声データに代替して前記差し替え用音声(ダイアログ)の音声データが出力される。また、ミックス処理を行う場合には、スピーカ933(FC)からは前記FCのチャンネルの音声データと前記差し替え用音声(ダイアログ)の音声データの加算結果が出力される。また、スピーカ963(BtFC)からは前記BtFCのチャンネルの音声データと前記差し替え用音声(ダイアログ)の音声データの加算結果が出力される。なお、これらの場合、スピーカ933(FC)から出力される差し替え用音声(ダイアログ)の音声データとスピーカ963(BtFC)から出力される差し替え用音声(ダイアログ)の音声データは、それぞれ独立してレベル調整等が行われて良い。
また、例えば、前記予め定めた所定のチャンネルがFL及びFRのチャンネルである場合、(即ち、ペアで選択されるべきチャンネルである場合)前記差替え処理により、スピーカ931(FL)からは前記FLのチャンネルの音声データに代替して前記差し替え用音声(ダイアログ)の音声データが出力される。また、スピーカ935(FR)からは前記FRのチャンネルの音声データに代替して前記差し替え用音声(ダイアログ)の音声データが出力される。また、ミックス処理を行う場合には、スピーカ931(FL)からは前記FLのチャンネルの音声データと前記差し替え用音声(ダイアログ)の音声データの加算結果が出力される。また、スピーカ935(FR)からは前記FRのチャンネルの音声データと前記差し替え用音声(ダイアログ)の音声データの加算結果が出力される。なお、これらの場合、スピーカ931(FL)から出力される差し替え用音声(ダイアログ)の音声データとスピーカ935(FR)から出力される差し替え用音声(ダイアログ)の音声データは、レベル調整等が行われる場合には連動するものとする。前記連動は同一のレベル調整等の処理であっても良い。
<その他のダイアログ音声制御処理>
A.ダイアログ音声の有無に応じた背景音の音量調節処理
図34に、本実施例の放送受信装置100における、ダイアログ音声の有無に応じた背景音のレベル調節処理の概要を示す。本実施例の放送受信装置100では、ダイアログ音声の有無に応じて、ダイアログ音声がある場合(無音ではない場合)には、背景音の音量(レベル)を、視聴者の操作によらず自動的に、減少させる処理を行う機能を有するものとする。
例えば、図30Aに示した放送受信装置Aの場合、まず、前記LATM/LOASストリーム形式を含む放送波を受信し、前記4chの差し替え用音声(ダイアログ)から1chを選択する処理を行う。次に、前記選択した1chの差し替え用音声(ダイアログ)が無音か否かを確認する。更に、前記選択した1chの差し替え用音声(ダイアログ)が無音ではない場合、前記無音ではない期間に相当する前記22.2chの音声(背景音)の音量(レベル)を所定量減少させるように制御を行う。図34に示した例では、前記選択した1chの差し替え用音声(ダイアログ)のt1からt2の期間が無音ではない期間であり、従って、前記t1からt2の期間を少なくとも含む所定期間、前記22.2chの音声(背景音)の音量(レベル)を3dB減少させる制御を行っている。
また、例えば、図30Bに示した放送受信装置Fの場合、まず、前記LATM/LOASストリーム形式を含む放送波を受信し、前記2ch分のダイアログ音声を抽出する処理を行う。次に、前記抽出した2ch分のダイアログ音声が無音か否かを確認する。更に、前記抽出した2ch分のダイアログ音声の何れかのチャンネルが無音ではない場合、前記無音ではない期間に相当する前記20.2ch分の背景音の音量(レベル)を所定量減少させるように制御を行う。図34に示した例では、前記抽出した2ch分のダイアログ音声の何れかがt1からt2の期間で無音ではなく、従って、前記t1からt2の期間を少なくとも含む所定期間、前記20.2ch分の背景音の音量(レベル)を3dB減少させる制御を行っている。
なお、前記処理の後に、視聴者の操作に応じたダイアログ音声及び背景音の音量調節処理を、前述の<ダイアログ音声/背景音の音量調節処理>で説明したように行うものとする。
以上の処理を行うことにより、本実施例の放送受信装置100では、背景音によりダイアログが聞き取りにくくなることを防ぐことが可能となる。なお、前述のダイアログ音声の有無に応じた背景音のレベル調節処理は、視聴者の操作により実行するか否かを選択することができるようにするのが望ましい。例えば、図示は省略するが、放送受信装置100を操作可能なリモコンの『メニュー』キーを押下することにより表示されるメインメニューから、前記選択を可能とするように前記メインメニューを構成すれば良い。
B.ダイアログ音声の再生時間伸張処理
図35に、本実施例の放送受信装置100における、ダイアログ音声の再生時間伸張処理の概要を示す。本実施例の放送受信装置100では、ダイアログ音声の無音期間を利用して、ダイアログ音声の再生速度を伸張する(即ち、再生速度を遅くする)処理を行う機能を有するものとする。
例えば、図35に示したように、ダイアログ音声が、t3からt5の第一の期間に音声を有しており、前記第一の期間に続くt5からt7の第二の期間に無音であるものとする。一方、背景音が、t4からt6の第三の期間に音声を有しており、前記第三の期間に続くt6からt7の第四の期間に無音であるものとする。前述のような音声データを有するLATM/LOASストリーム形式を含む放送波を受信した場合、本実施例の放送受信装置100では、抽出したダイアログ音声(或いは差し替え用音声)に対して再生速度の伸張処理を行い、一方、背景音に対しては前記処理を行わない。具体的には、ダイアログ音声に対しては、音声を有する期間を前記第一の期間(t3からt5の期間)から、t3からt8の第五の期間に伸張し、また、前記音声を有する期間に続く無音期間を前記第二の期間(t5からt7の期間)から、t8からt7の第六の期間に圧縮するように、デジタル信号処理によるデータ加工を行う。なお、前記伸張処理を行うデジタル信号処理によるデータ加工に関しては、公知の技術を用いれば良く、詳細の説明を省略する。
なお、前記処理の後に、必要に応じて、視聴者の操作に応じたダイアログ音声及び背景音の音量調節処理を、前述の<ダイアログ音声/背景音の音量調節処理>で説明したように行っても良い。
以上の処理を行うことにより、本実施例の放送受信装置100では、ダイアログ音声をゆっくりと再生することが可能となり、視聴者が年配者の場合等にナレーション等が早口で聞きづらい等の状況を防ぐことが可能となる。一方、BGM等はオリジナルの状態で再生されるので、番組(コンテンツ)の有する雰囲気を損なうこともない。なお、前述のダイアログ音声の再生時間伸張処理は、視聴者の操作により実行するか否かを選択することができるようにするのが望ましい。例えば、図示は省略するが、放送受信装置100を操作可能なリモコンの『メニュー』キーを押下することにより表示されるメインメニューから、前記選択を可能とするように前記メインメニューを構成すれば良い。
以上、本実施例の放送受信装置100によれば、MPEG−4 AAC又はMPEG−4 ALS方式の音声データをLATM/LOASストリーム形式で送信する放送システムの放送波を受信し、前記放送波に含まれるダイアログ音声を個別に制御することが可能となる。即ち、より付加価値の高い機能を実行可能な放送受信装置を提供することが可能となる。
(実施例4)
図36は、本発明の実施例4に係る映像及び音声アセットの特殊再生を行うための方法を示す説明図である。
本実施例の方式を利用すれば、放送された映像情報や音声情報を長さ方向で時間軸引き伸ばし/圧縮を行うことができる。具体的にはスロー再生や早送りという、特殊再生を行うことが可能である。映像や音声のアセットは、図6Eに記載のように、複数のMPUで構成され、各々のMPUには個別にIDと共に、各MPUの提示時刻が絶対時刻で決められている。
例えばMPU#1(10010)は時刻T#1(10011)に再生、MPU#2(10020)は時刻T#2(10021)に再生、MPU#3(10030)は時刻T#1(10031)に再生、MPU#4(10040)は時刻T#4(10041)に再生し、各MPU各々の再生時間幅は、
ΔT#1(10012)=T#2(10021)-T#1(10011)
ΔT#2(10022)=T#3(10031)-T#2(10021)
ΔT#3(10032)=T#4(10041)-T#3(10031)
ΔT#4(10042)=T#5(10051)-T#4(10041)
となる。
ここで、時間軸引き伸ばし/圧縮の範囲が、元々の提示時刻を逸脱する範囲で行おうとした場合、例えば、
ΔT#1(10012)⇒ΔT#1’(10112)(ΔT#1(10012)<ΔT#1’(10112)。引き伸ばし)
ΔT#2(10022)⇒ΔT#2’(10122)(ΔT#2(10022)<ΔT#2’(10122)。引き伸ばし)
ΔT#3(10032)⇒ΔT#3’(10132)(ΔT#3(10032)>ΔT#3’(10132)。圧縮)
ΔT#4(10042)⇒ΔT#4’(10142)(ΔT#4(10042)>ΔT#4’(10142)。圧縮)
ただし、
ΔT#1’(10112)=T#2’(10121)-T#1’(10111)
ΔT#2’(10122)=T#3’(10131)-T#2’(10121)
ΔT#3’(10132)=T#4’(10141)-T#3’(10131)
ΔT#4’(10142)=T#5’(10151)-T#4’(10141)
という処理を行う場合、MPU#1、MPU#2は時間軸引き伸ばし、MPU#3、MPU#4は時間軸圧縮を行う。MPU#1’、MPU#2’、MPU#3’、MPU#4’は、元のMPU#1、MPU#2、MPU#3、MPU#4からデジタル補間計算により、開始時刻と終了時刻の変化に伴う各MPUの再生時間の変動に従ってデータの引き伸ばし/圧縮処理を行う。例えば映像の場合は、あるMPUの時間が例えば1秒だったとき、変化後のMPU’の時間を例えば1.2秒に引き伸ばしたとき、MPUを構成するフレーム(例えば10フレーム)のうち例えば5番目のフレームは、その前後のフレーム、例えば4番目〜6番目のフレームに適切な重み付けを施した結果を足し合わせることで、元のMPUにおける例えば5.1フレーム目の時刻位置にあるフレーム画像を生成する。
これらを各フレームに対して計算することにより、時間軸を1.2倍に伸ばした後の、元のMPUと同じ10フレームの映像を生成することができる。音声も同様であり、特に音声はデジタル処理のため、時間軸引き伸ばしや圧縮を行った場合でも、音声の高さは変化がないので、本発明のような再生時間を伸ばしたり縮めたりするときに都合がいい。
以上の計算操作により、PAメッセージ内の各MPU提示時刻を、その時間軸引き伸ばし/圧縮に合わせて変更し、ユーザが任意に特殊再生を行った結果のデータは、やはりMMTの方式に準拠した状態のまま生成されるので、MMT方式に対応したテレビジョンに送って、映像と音声を再生を行うことが可能となる。つまり特殊再生により、コンテンツを見易く、聞き易くユーザが変更を行った場合でも、出力した信号を、特殊再生の結果としてではなく、MMT方式に準拠する放送信号としてそのまま取り扱うので、そのまま記録し、それをいつでも再生することが可能になり、実施例で示した早口のナレーションをゆっくり再生する状態としていつでも見ることができる。
同様な方法で、MPU単位で音声の大小の調整をすることもできる。更に、音声アセットの音声は、例えば22.2chのマルチチャンネル音声を送ることができる。この各チャンネルを、異なる音声に割り当てると、6ch分のモノラル音声+8ペアのステレオ音声+2chのLFEにという構成とすることで、最大14の異なる音声を同時に送信し、各々の音量を独自に、MPU単位で時刻別にコントロールすることができる。
図37は、本発明の実施例4に係るMPUの提示時刻を設定するフォーマットを示す説明図である。
MMT方式において、MPUタイムスタンプ記述子のデータ構造は図37のようになっている。ここでは最大N個のMPUに関する記述を行うことができ、mpu_sequence_numberは、各MPUを指定するID番号であり、mpu_presentation_timeは、各MPUがその情報を提示する時刻を示している。実施例4における特殊再生は、このmpu_presentation_timeを書き換え、同時にMPU内のデータを当該MPUの提示時刻と、その次のMPUの提示時刻の範囲で示される、当該MPUの再生時間に合わせて、MPU内のデータを時間軸引き伸ばし/圧縮処理をかけることで、MMT方式に従ったフォーマットで、時間軸引き伸ばし/圧縮して再生することができる。
なお、このコンテンツを録画した場合、上記した方法による特殊再生時に、以下の(1)〜(3)に示すようなデータ保存を行っておくことにより、前記した時間軸引き伸ばし/圧縮再生を行うときにも、いつでも特殊再生前の元の再生を行うことができ、予め放送側でこれらを用意して提供されていれば、視聴者は自分の好みに合った速度での特殊再生を行うにあたり、自分で時間軸調整の処理を行う必要なく、放送局が提供したいくつかの特殊再生メニューから、自分の好みでタイムスタンプ記述子を選択することで、簡便に特殊再生を行って、見易い/聞き易い速度でコンテンツを視聴することができる。
(1)記録の際、オリジナルのデータ(タイムスタンプを書き換えていない)と特殊再生のために加工したデータの両方を記録しておく。
(2)記録の際、オリジナルのデータと、タイムスタンプの書換え指示(即ち変更後のタイムスタンプ記述子)を記録しておく。
(3)タイムスタンプ記述子のセットを放送で複数準備しておき、ユーザの好みで選択する。
(実施例5)
図38は、本発明の実施例5に係る時間軸引き伸ばし/圧縮機能を用いて、コンテンツ再生中や再生前の事前設定により、コンテンツ内の各MPU単位にて任意の速度での特殊再生を行う、ダイナミック特殊再生設定を具体的に適用する方法を示す説明図である。
ここでは、コンピュータを用いて、複数の音の種類で構成される楽曲を再生させる方法は、MIDI(Music Instrumental Digital Interface)という電子楽譜フォーマットに従って、コンピュータに内蔵又は外付けで構築されるシンセサイザーやPCM(Pulse Code Modulation)による実音データを再生させ、オーケストラ風に複数の楽器の同時使用による音楽の再生を行う機器は、音楽関係者によるコンピュータミュージックを始め、携帯電話の着信メロディなどに、広く一般に利用されているコンテンツ及び機器を用いた方法を示す。
上記MIDIフォーマットによる方法は、楽譜を予め電子情報としてコンピュータにインプットし、その楽譜は複数の楽器で構成されるパート毎に独立に記述することができるため、ユーザ自身が歌を歌うときのバックコーラスや、ユーザ自身が特定の楽器を演奏するときに、他のパートを演奏させることで、単一楽器ではなく複数の楽器を用いた楽曲を、自分の演奏で参加することができ、特に個人で音楽を趣味とする人にとって有用なツールである。
また、コンピュータを用いて、複数の音の種類で構成される楽曲を再生させる方法は、楽曲の再生音量、特に楽器毎のパート別音量や、演奏速度は、予めコンピュータにデータを入力することで、それに従って自動的に演奏を行うものであり、指揮者が特に情感を込めて、音量や演奏速度を、楽譜上の部分毎に変化させるというような、実際のオーケストラで行われるような指揮者による演奏制御を行うようにはできていなかった。
本発明の目的は、指揮棒に指揮棒を振る時の方向や強さに応じて、楽曲の演奏音量や速度を変化させることで、指揮者の演奏時の意図を演奏に反映して、あたかもオーケストラの指揮者のように楽曲を演奏することを可能にする装置及び方法を提供するものである。
更にリハーサルから本番の演奏に至るまで、楽譜の読みとりの可否、楽器の演奏の可否に関係なく、実際の指揮者と同様の体験を行うことができる。
本実施例では、実施例4で示した、時間軸引き伸ばし/圧縮機能を用いて、コンテンツ再生中や再生前の事前設定により、コンテンツ内の各MPU単位にて任意の速度での特殊再生を行う、ダイナミック特殊再生設定を用いて、オーケストラ等の音楽の演奏装置及び演奏方法による、実際の演奏動作を行えるような使用を可能にする方法を示す。
まず、前述のMMT方式における22.2chマルチチャンネル音声のデータ領域を流用し、マルチチャンネルの各チャンネルを、各楽器の演奏音声に流用するという方法を用いる。例えば、8ペアのステレオ音声に主に高周波音を構成する楽器である第一・第二ヴァイオリンやヴィオラなどの小型〜中型の弦楽器やフルートや、クラリネットなどの小型〜中型の木管・金管楽器、6ch分のモノラル音声にチェロやコントラバスなどの大型の弦楽器や、ファゴット、ホルン、チューバなどの大型の木管・金管楽器を、+2chのLFEに主に低周波音となるティンパニやスネアドラムなどの打楽器を割り当てる構成とすることで、一つの音声アセットで最大14の楽器を用いた演奏を行うことを可能にする。
これらの楽器の音声に、実施例4で示した時間軸の引き伸ばし/圧縮処理を行い、異なる楽器(ch)毎及び異なるMPU毎に、音量調整を個別に与えることで、複数の楽器の演奏音声を個別に録音したデジタルデータを用いて、本発明による演奏装置に利用する楽器演奏音声を提供することができる。
図38(A)は、オリジナルの楽譜1000であり、各小節単位の時間は全て同じ時間t0(1110〜1113)である。この小節の長さ全部を一つの音を鳴らすときは、全音符、図中の二つの音をそれぞれ等しい時間だけ鳴らすときは、二分音符、4つの音をそれぞれ等しい時間鳴らすときは四分音符、そして8分割して、それぞれの時間だけ音を鳴らす場合は、八分音符が使われる。更に図中の第二小節では、小節の3/4の時間を鳴らす音符と、四分音符の二種類の長さの音符で、この小節を構成している。楽譜はここでは上下二段に分かれており、本楽譜はピアノソナタなので、上段は右手、下段は左手のパートとして楽譜を記述している。楽譜がオーケストラなどの複数の楽器で構成された曲のものの場合は、このパートが各楽器毎に別々に並んでおり、本楽譜が上段下段の二段であるのに対して、楽器の数に合わせたn段の楽譜として記述されている。
各小節は、基本は前述のように全て等しい時間であるt0(1110〜1113)で演奏するが、実際の演奏では、指揮者の意図などに応じて、各小節毎にt1(1114)、t2(1115)、t3(1116)、t4(1117)のように、異なる時間で、時間軸方向に抑揚(ピッチ変化)を付けて演奏を行うことが多い。更に小節内での時間配分も微妙に変化させることも、同様に指揮者の意図によって行われる。このような演奏による楽譜は(B)のような形になるが、書類として記録される楽譜は、基本的に小節の長さは等間隔で、(A)のような楽譜として記録されている。
また、時間軸方向のピッチ変化だけではなく、各音符毎に強弱を付けて演奏をすることも、同様に行われる演奏方法である。これらは、特に楽譜に記載がない場合は、指揮者の意図により、その調整が行われる。
図38(C)は、本発明による図30(B)で指定した時間軸に従って指揮を行うときの、指揮棒の動きを示している。指揮棒1130は後述するように、その内部に指揮棒を振りまわす動作を検出する加速度センサが搭載されており、本図で示すように単純に指揮棒を上下に振った場合も、その振り方により表現できる指揮者の意図を表したものである。
図38(C)において、指揮棒1130は、楽譜上段のパートに対する指揮として動かし、楽譜(ピッチ変更)1120の時間軸での演奏を行うために、楽譜の最初の音の位置で、振り上げた指揮棒を振りおろし、次の小節までに振りおろした指揮棒をゆっくり振り上げていくという指揮棒振り動作1031を繰り返したものである。この指揮棒1130の振り上げた状態から急激に振りおろすタイミングを、指揮者が自身の意図により変えることで、各小節の時間を、t1(1114)、t2(1115)、t3(1116)、t4(1117)のように変化させることができる。これは、指揮棒1130に内蔵したセンサが検出した指揮棒の動き表す信号を、楽器を再生する演奏装置が受信して、その時間に従って楽器の音声を出力することで行う。この詳細な動作は、図41及び図42で後述する。
同じく図38(C)において、第一小節と第二小節で、指揮棒を振り上げてから振りおろす高さ(落差)を変えることで、指揮棒1130は内蔵したセンサが検出した加速度の大小を検出し、その信号を演奏装置に送信し、演奏装置は受信した加速度の大小に応じて、各小節毎の音量を変化させて、時間軸のピッチと同様に、音量も指揮者の意図に合わせて変化させた楽器の音声を出力する。
図38(D)は、指揮者の意図を更に細かく表現するための、指揮棒振りを示した図である。ここでは、小節単位ではなく、基本的に各音符単位で指揮棒を上下する。指揮棒の上下幅は、図38(C)で説明したように、その音符が示す音の音量を表す。ここでは、第三小節目で、各四分音符毎に指揮棒を振っており、このときは、第二小節までの指揮棒振り2回=一小節の長さではなく、これまでの小節で演奏していた速度における、一小節の時間長さに対して、略二倍の速度で指揮棒振りを行っているので、演奏装置は自動的に指揮棒振りのタイミングが四分音符に相当する位置が最も近いと解釈して、四分音符に対するタイミング信号として処理を行う。ここで、第三小節のように四分音符4つが徐々に音量を上げていく処理を、指揮棒の振り方により演奏装置に伝達することが可能となる。
以上のように、指揮棒の振り方で、楽譜通りの等間隔時間演奏、かつ等音量演奏から、指揮者の情感に従った意図に応じた演奏が可能になる。そのとき指揮棒の振り速度に応じて、指揮者がどのパートにタイミングを合わせて指示をしているかを、営巣装置が検出して処理を行うので、指揮の途中で指揮棒振りのピッチを倍半分の単位で変化させても、演奏全体の演奏速度は無理な変化を起こすことなく、演奏を続けることができる。音符単位でピッチを微妙に変化させる場合については、図42にて後述する。
これらのピッチ変化や音量変化を施すデータを、本発明によるMMT方式データストリーム上で実施することで、このコンテンツを放送波に乗せて、本発明の演奏装置機能を有するデジタルテレビにて受信し、その場で指揮棒による指揮振りに従った演奏を行うことができる。更に、デジタルテレビがHDDなどの内蔵記憶媒体や、光ディスクなどの外部記憶媒体への録画が可能な場合や、又はMMT方式に対応する放送を受信できるゲーム機や、レコーダ/プレイヤなどのセットトップボックスや、パソコンを用いた場合、受信したコンテンツを用いて、本実施例に示したような指揮棒による指揮振りで音楽の演奏に指示を与え、その結果をMMT方式準拠の信号として生成・保存し、後で何度もそれを視聴することも可能となる。この具体的な方法は図39以降で説明する。
図39は、本発明の実施例5に係る演奏装置及び演奏方法を実行する機器のブロック図である。
本発明による演奏装置は、本質的には通常のコンピュータシステムである。CPU2000が中央情報処理装置であり、そのバス2001には、MMT方式による放送を受信し、その信号を処理するチューナ2010、プログラムを実行するSD−RAM2020、電源SW等の入力を受け付けるハードSW2030、楽譜で指定した楽器と音階に従って、実際の楽器に近似した音の信号を発生するMIDI音源2040、実際の楽器の音をサンプリングしたデジタルデータとして記録し、実際の楽器の音の信号を発生するサンプリング音源2050、MIDI音源2040やサンプリング音源2050を時間軸差分圧縮データから解凍したり、図示しないマイクロフォンや外部I/Fから入力されたデジタル音声データを時間軸差分圧縮したりするエンコーダ/デコーダ2060、MIDI音源2040やサンプリング音源2050から出力された音声データをアナログ波形の信号に変換し、スピーカを鳴らすための増幅処理を行うオーディオアンプ2070が接続されている。
また、オーディオアンプ2070には、オーディオアンプ2070で生成された音声を外部に出力するスピーカ2080が接続されている。
また、バス2001には、CPU2010が実行するプログラム2091や、基本データを予め記録してあるフラッシュメモリ2090、表示装置であるLCD2101と、LCD2101上に重ねられてLCD2101に表示されたアイコンなどをタッチしたことを検出するタッチパネル2102の2つにより構成されるタッチパネルユニット2100、オリジナルの楽譜2111や、図41(A)及び図44(A)にて後述する、演奏事前練習の結果として生成したレベル調整を行った楽譜2112、そしてMIDI音源2040とサンプリング音源2050に加えて、特定の楽譜に付属して、楽譜の各パート別に予め録音した音声データであるパート別サンプリング音源2113などを、コンテンツ2114として保存する着脱可能な外部メモリ2110が接続されている。
そして、演奏装置をインターネット2121と接続して、MMT方式によるネットワーク放送を受信したり、コンテンツ3121を有償無償でダウンロード購入を行える機能の他、作成した演奏データを外部データベース2121にアップデートすることで、他の人にも演奏を楽しんで貰えるようにネットワーク経由で他の人にメールで送信したり、ソーシャルネットワークサービスサイトにアップロードしたりする機能を有するネットワーク接続2120、そして指揮棒2131の動きを受信する短距離無線通信2130などが、バス2001により接続され、相互に情報のやり取りを行うことができる構成となっている。
図40は、本発明の実施例5に係る演奏装置及び演奏方法にて使用する指揮棒の動きを検出するパラメータを示した説明図である。
指揮棒3000は、指揮者の手に握られて、それを振ることで楽団全員に対して指示を行うものであるが、本発明ではこの指揮棒の振り方を情報として取得し、演奏装置に送ることで、楽団全員に送る代わりに、楽団代わりの音源からの音声データを変化することにより、指揮者の意図を演奏に反映する。
ここで、指揮棒3000により得られる動きは、図38で示した上下動作に加えて左右動作の検出も行う上下左右動作3020、指揮棒の回転操作を用いて、演奏装置に指示を送る回転動作3040、図42で後述するように、指揮棒がどの方向を向いているかを示す方向ベクトル3030、そして演奏装置に明示的に何らかの操作のON/OFFのような明確な指示を行うボタンスイッチ3010などの情報がある。これらの情報を駆使して、指揮者は本発明で使用する指揮棒を用いて、楽団に指示するのと同様に、演奏装置に演奏に関する指示を行うことができる。
これらの指揮棒の操作は、指揮棒内に設けた加速度センサ、指揮棒の先端に設置し、指揮棒が向いている先を撮影して、指揮棒を向けた先のもの(例えば図41で後述する演奏パート選択部分)を撮影するカメラ等のデバイスを用いても良く、また指揮棒を本発明の演奏装置に設けた撮像装置等により撮影し、そこから指揮棒の動きを検出する等の方法など、如何なる方法を用いても良い。また検出する指揮棒の操作も、その振りだけではなく、テーブルにコツコツとぶつけるようなジェスチャーも、加速度センサの出力レベルを検出することによって識別し、指揮者の意図を検出しても良い。
(実施例6)
図41は、発明の実施例6に係る演奏装置及び演奏方法により演奏練習や本番演奏を実行する内容を示すフローチャートである。
図41(A)は、演奏練習時のフローチャートである。このときは、主に演奏される各楽器の種別(パート)毎に、音量の調整を行い、オーケストラを構成する楽団全体の演奏音量のバランスを取るための操作となる。
まず、演奏を開始し(S4000)、音量の調整が必要な指定位置まで演奏を継続する(S4010)。これは、練習中において、先に調整が完了した続きからはじめても良いし、演奏装置へのタッチパネルやハードSWなどによる入力により、指定した小節番号から再開しても良い。
次に、調整が必要な場所、即ち特定楽器音量変更を行う時点で停止する(S4020)。これは、図40に示した指揮棒の振りにおける、左右に振る動作や、指揮棒を譜面台等にコツコツと当てる等の、特定の動作を停止命令として利用するが、この特定の動作は指揮者の好みに応じて、予め設定しておくことができる。
そして当該パートの指定楽器音量の変更を行い(S4030)、変更した結果の音を出し(S4040)、その音声調整量が適切かどうかを判断し(S4050)、再調整要であれば、再びS4030の処理に戻る。このときの当該パートの音量調整は、図40における回転動作を用いても良いし、図42にて後述するように、音量を上げる場合は、指揮棒を上に強く、ゆっくり下に戻してから再度上に強く振るという動作を繰り返しても良い。
図39のブロック図には記載していないが、図示しないマイクロフォンを通して、音声による指示(「音量アップ」等)をしても良いし、指揮棒を持つ手の反対の手に、指揮棒と同様に動きを検出する機器(例えば指輪形状や腕輪形状)を用いても良く、更に図示しないカメラにより指揮者全身を撮影し、身振りによる指示を行っても良い。
音量調整が完了すれば、次の音量調節位置に向けて演奏を続行し(S4060)、全ての修正が終わったら、練習演奏を終了する。
図41(B)は、本番演奏を行うときのフローチャートである。
演奏を開始し(S4070)、指揮棒を図38で示したように、楽譜と合わせて振り続ける (S4080)。演奏の途中で、特定のパートの楽器の音量を変えたいときは、図42にて後述する方法で、パート楽器を指揮棒の方向検出を用いて指定し(S4090)、図38に示したように指揮棒の振り幅を変更(S4100)することで、パート楽器の音量を調整して、調整した音量でその楽器を演奏する(S4110)。これを演奏終了まで繰り返し、最終小節を越えたら(S4120)、演奏を終了する。
図42は、発明の実施例6に係る演奏装置及び演奏方法による演奏練習時の、演奏される各楽器の種別(パート)毎に、音量の調整を行い、オーケストラを構成する楽団全体の演奏音量のバランスを取る操作を示した説明図である。
テレビモニタ5060に、本発明による演奏装置の表示画面を示す。この画面は、実在の舞台を模倣して、第一ヴァイオリン、第二ヴァイオリン、サックス、トランペット、チェロなどの複数の場所に分かれた楽器パート5060が同時に表示されている。各々の楽器の音は、テレビモニタ5060に内蔵、又は演奏装置に接続したオーディオアンプの有する複数のスピーカからの出力により、テレビモニタ5060上での位置関係に従った音場で、楽器の音が出力される。テレビモニタ5060の画面には、楽譜の上で、その時点で演奏している部分5050が同時に表示されても良い。
図41(B)で説明したパート楽器指定は、テレビモニタ5060の表示画像のうちの一つの楽器パート方向に向けた指揮棒5000の方向ベクトル5030により指し示された楽器パートを、本実施例では例えば黒枠で囲った楽器パート選択部分5041で表示する。この選択は、他の楽器パートに対して、当該パートが独立して選択されたことを視覚的に示すための方法であれば、例えば当該パートのバックの色を変えるなど、他の方法を使っても良い。
この選択は、例えば一度ボタンスイッチ5010を押して離した後、後述する音量調整が終わってから、再度ボタンスイッチ5010を押すまで行われる。
パート選択指定が行われた後、演奏装置は当該演奏個所の所定範囲(小節単位、複数の小節による一定のメロディ単位など)を繰り返して演奏をし続ける。このとき、指揮棒を下方向にゆっくり、上方向に素早く動かすような「UP」ジェスチャー5020を行うことで、当該演奏範囲の、当該楽器パートの音量を増やすように設定する。音量を減らす場合は、この逆の操作をすれば良い。
また、一度音量を変更してみた後、元に戻したいときは、図示しないが、例えば指揮棒を左右に振るジェスチャーをすることで、音量変更をリセットすることができる。音量の増減は、図39で示した回転操作で行っても良い。また、ボタンスイッチ5010の操作やジェスチャーの組み合わせにより、当該演奏範囲の演奏を、当該楽器のみの演奏にするか、全ての楽器の同時演奏にするかを切り替えることもでき、各楽器パート毎に指揮棒を使う指揮者の意思通りに、各楽器の音量を変更することができる。
図43は、発明の実施例6に係る演奏装置及び演奏方法による演奏練習時の、指揮者による指揮棒の振りと、演奏している楽曲との間で、異なる位相を楽曲の再生側で合わせる動作を示した説明図である。
図43(A)は、楽譜の各小節に一度の割合で、タイミングを決める時刻を設定した状態である。図43(B)は、同じく各小節に、今度は2回のタイミングを決める時刻を設定した状態である。何れの場合も、その楽譜の小節に、1分音符又は2分音符がある場合、その音符の位置と一致する場所がタイミングを決める時刻である。
図43(C)は、この楽譜を演奏をする際の、指揮棒を振るタイミング6000を示している。ここで、指揮者は第二小節の2分音符位置後半で、少し指揮棒を振るタイミングを遅らせて演奏している。これよりわずかな指揮振りvs音符ずれタイミング(6010)という情報を発生し、図43(D)に示すように、これ以降の演奏を続ける同期信号を、このずれの分だけ遅らせたところで位相を新たに決定して演奏を続ける。更に第三小節でも同様に指揮棒を振るタイミングを遅らせる操作を行っており、これに伴い、更にこの遅れの分だけ演奏同期信号の位相をずらしている。
ここで、演奏ずれのタイミングは、本楽譜の場合、ある一か所の時点で最小でも8分音符以上の指揮棒を振るタイミングの遅れは無視する。これは全ての音符、特に本楽譜にて第二パートの音符のタイミング全てで指揮棒を振っているわけではなく、また第一パートでも、例えば図43(A)の如く、全ての音符の位置で指揮棒を振っているわけではないので、徐々に演奏ピッチを変化させていく場合、楽譜の最小音符である8分音符以下の遅れを、演奏全体の同期を変化させる情報として使っている。
ただし、これは本楽譜の場合であって、楽譜の途中で、完全に演奏の変化点がありうるような、それまでの演奏から切り替えるような位置づけの場所があった場合は、その小節の先端のタイミングを、演奏者が思い切り指揮棒を振るのを遅らせた場合でも、その指揮棒に従った演奏を行う。
また、これまでの実施例では、指揮棒ひとつからの演奏タイミングを示す信号を取得して、それを用いて演奏同期信号の位相変化を行ってきたが、例えば本楽譜の場合でも、第一のパートと第二のパートで、特に第二のパートの音符の流れを、第一のパートの2分音符の更に下の間隔で微妙な変更を行ったり、第一のパートと第二のパートの音量を独立して制御した場合がある。この場合は、指揮者が右手に持つ指揮棒だけではなく、左手にも同様に指揮棒を振るのと同じ信号を取得するデバイスを持たせて、本発明の演奏装置に左手の動きを送っても良い。この左手に持つデバイスは、左手が握るものでも良く、左手に付ける指輪や腕時計などの演奏者が意識して保持する必要なく、左手に貼りついたデバイスのような形状にしても良い。
このように、両手それぞれに指揮振りを検出するデバイスを持った場合、図42に示すようなリハーサルでの各楽器の音量調整は、右手の指揮棒でも、左手の指揮デバイスでも同じ操作を行うことができる。また、必要に応じて複数のパートのうち二つを同時に選択し、右手の指揮棒と左手の指揮デバイスを同時に用いることで、二つのパートを同時に発生させ、同時にそれぞれの音量を制御するようにしても良い。
図44は、本発明の実施例6に係る演奏装置及び演奏方法による、具体的な指揮棒の振り方を示す説明図である。
通常、指揮者が振る指揮棒7120の指揮棒振り7121と、実際の演奏との間には、所定の時間差がある。これを指揮遅延7100と呼ぶが、演奏者が指揮に従って、ピッチを変えるための反応に必要な時間で、いつも少し早目に指揮棒が振られ、楽器は指揮遅延7100の分だけ遅れたタイミングで演奏される。この値は、本発明による演奏装置では、その処理能力に従って、短くすることができるが、予め指揮者が、例えば所定の秒数や、小節を単位として、例えば8分音符分という形でプリセットすることで、実際の演奏と同じように指揮遅延7100が生じ、指揮者は指揮棒が振られてから、実際に確かに楽器演奏がその指揮に追随して変化していることを確認することができる。
指揮棒7120による指揮振り7121には、もうひとつ別な組み合わせがある。これまでの実施例で、例えば図37で示したように、指揮棒は楽譜に対して、常に同じ間隔(例えば小節単位、又は2分音符単位など)で振っているが、特定の場所で特に盛り上がりがあり、そこでは通常よりもっと小さな音符を複数使って演奏が行われる場合、強調を目的とするために、その部分だけ指揮棒を小さな音符、本図では第2パートの八分音符に合わせて振る(高速時ジェスチャー7110)ということをする場合がある。このときの図35で示したような指揮棒振りタイミングは、最小単位の8分音符に近くなるが、この場合は指揮棒の振りと楽譜の関係を小節単位ではなく、自動的にn倍速度である8分音符の位置に合わせて位相を調節した演奏を行う。
また、図44で示したように、高速時ジェスチャー7110は、右手により指揮棒を小節又は2分音符単位で振るのと同時に、左手により指揮デバイスを8分音符に合わせた高速時ジェスチャー7110を行うことにより、指揮を行っても良い。
図45は、本発明の実施例6に係る演奏装置及び演奏方法による、コンピュータミュージックスコアによる楽譜の表記と、そのスコアに従った演奏を示す説明図である。
図45(A)は、コンピュータが扱う楽譜のフォーマットの一例である。例えばMIDI(Music instrumental Digital Interface)に代表されるようなコンピュータミュージックの楽譜データは、本実施例とほぼ同じ形をしている。TRK(トラック番号)は、複数の楽器やパートを同時に演奏する際に、各楽器又はパートを分類する最小限の単位である。
ここでは、図38以降で示した楽譜の冒頭の2小節、即ち図45(B)の部分を表記しており、元の楽譜では二つのパートを同一の楽器(Piano)で演奏するが、その上部分を右手パート、下部分は左手パートであり、そのうちの右手で演奏する上部分のパートをここでは記載している。このとき、右手のパートのトラック番号は2とする。次にMIDI chは、本楽譜を演奏するときの楽器を指定する。
上記したMIDIという標準的なコンピュータフォーマットでは、コンピュータミュージックスコアに記載した楽器の番号は、実際に演奏を行うためにコンピュータに接続した音源によって異なる。一般的なコンピュータではgeneral MIDIと呼び、各ch番号と楽器の種類は、コンピュータ内の音源を使用する場合は予め規定されており、この場合ではMIDI ch=1として、ピアノの音源を利用することとしている。MEAS(メジャーメント)は、楽譜における小節番号を示す。
ここでは、図45(B)の楽譜の部分だけを記載しているので、1小節目と2小節目にデータ記載をしており、この楽譜は3小節目以降も存在するところを省略記述している。次にSTEP(ステップ)は、MEAS(小節)内における、一番目の音符、二番目の音符という、各音符を示している。この楽譜では表記した二つのMEAS(小節)にそれぞれ二つの音符があるので、各MEAS毎に1と2の二つのステップがある。Noteは音階を示し、この2小節の上のパートで、C4(ミ)、B3(レ)、E4(ソ)、D4(ファ)と音階が続く。
StepTimeは、各音符が発声を始めるタイミングを示す。ここでは1小節の長さを予め192ステップと設定し、その単位で音符の発声タイミングを記述する。最初の音符(C4)は1小節の最初のためStepTime=0、次の音符(B3)は最初の音符の2分音符時間経過後に発声するので、StepTime=1/2*192=96と記述する。次の小節の冒頭は分音符(E4)であり、StepTime=0。そして、その次の音符のStepTime=3/2*192=144となる。
小節内の各音符のStepTimeの合計は、必ず小節の長さ、即ち192となる。GateTimeはその音符の音が鳴らすために、ピアノだったらキーを押してから離すまで、弦楽器だったら音を鳴らしている間の時間である。これは他の音符と関係なく、次の小節までずれ込んでも構わないが、基本は次の音符の音を鳴らすまでの長さで設定し、例えばStepTimeで96の音符の場合は、GateTime=94と、少し手前で発音を終了する数値を設定する。
最後にVelocityは、鍵盤楽器の場合は打鍵の強さ、弦楽器の場合は弓を引く速度に相当し、実質的には音量に相当する値となる。ただし弦楽器の場合は、打鍵をしてから時間経過とともに音は小さくなるので、最初の打鍵時の音の強さを設定する値となる。
これらのデータを並べた図45(A)のデータは、楽譜データストリームとして時間経過に従って流れつつ、各MIDI ch毎、即ち1st Violinパケット8020、2nd Violin Packet8030、Oboe Packet8040、Trumpet Packet8050に分離され、各々のパートは各々のMIDI chに相当する楽器の音源、即ちMIDI ch=2 1st Violin8021、MIDI ch=3 2nd Violin8031、MIDI ch=4 Oboe8041、MIDI ch=5 Trumpet8051に入力されて、それぞれの音源が発音した音声をアンプ8060により音声増幅をしてから、スピーカ8070にて実際の楽音を発音する。
ここで、楽譜データストリーム8010の基本テンポは、各小節の長さ=192に相当する時間が一定であるとして、添付・打鍵力生成8020に入力され、基本となる等間隔添付で演奏されるが、ここに、指揮棒8000による指示をジェスチャー解析して(8001)得た指揮者の意図に従ったピッチや音量の変更を加味して、各音源に発音タイミングを流すことで、指揮者の意図に従った演奏を行うことができる。
(実施例7)
図46は、本発明の実施例7に係る演奏装置及び演奏方法により演奏する楽譜と音で構成されるコンテンツを、各種のメディアを通して演奏装置が読みこみ、実際の発音を行う演奏動作を示す説明図である。
図46(A)は、演奏する音楽の楽譜原本である。ここでは上から順に、ピアノの右手パート、左手パートを示しており、この他に図示しないが、OboeやTrumpetなどの楽器のパートも平行してこの楽譜に記載されている。図46(B)はピアノ右手パートの第一小節と第二小節の拡大で、記載内容は図45(B)と同じである。
図45ではMIDIインタフェースを用いて、電子音源を鳴らすためのスコアを記述しているが、本発明で発音する楽器は、図45(A)で示したパラメータで制御する電子音源にとどまらず、実際に本物の楽器で、この楽譜を演奏した実音声であった場合も制御することができる。このときは、実音声のストリーム上に各楽器の発音タイミング(StepTime)に相当する位置にタイミング信号を入れておき、本発明の演奏装置で演奏する際、指揮棒による発音タイミングに合わせて、実音声のストリーム上の発音タイミングを位相合わせすることで、指揮に合わせて実際の演奏音を同期させることができる。
以上のように、複数のパート(TRK)×複数の小節(MEAS)で構成される楽譜である図45(A)は、例えばその一部の図46(B)のパートに注目した場合、PianoパートPacket9000がデータストリームとして扱われ、このデータストリームを指揮者がタイミングや音量を変化させつつ演奏することになるが、このデータストリームは、上記のようにMIDI表記のデータの場合と、実際の演奏音に発音タイミングを付加したデータストリームの場合の両方がある。何れの場合も、特定のパートの演奏データストリームとして取り扱うことができる。
図46(C)は、このデータストリームの演奏装置への入力と、データストリームに従った再生を示している。データストリーム9130は、各小節(MEAS)毎に時系列で連続したデータストリームとして構成される。具体的には小節番号1を、データヘッダMEAS Header#1、この小節を演奏する各楽器のMIDIデータ又は実際の演奏音声であるデータパケット(Piano Packet#1、Oboe Packet#1、Clarinet Packet#1他)を一つのデータパックとして扱い、各小節毎に複数の楽器データをひとまとめにして、時系列に連続して並べた構成がデータストリームである。更に、特に実際の演奏音声の場合は、コンサートホールにおける舞台の上の全楽器パートを一望できるアングルで撮影した映像データも、Packetの一つとして扱い、データストリーム内に置くことで、演奏中のオーケストラのシーンを映像表示することができ、図42に示した画面を実際の映像を用いて構成することができる。
このデータストリームは、図1に示すような放送波とインターネットの二つの情報伝達を同時に用いてデータストリームを受信するMMT方式のテレビジョン放送を用いる。この場合、図6Eに示す、映像アセット、音声アセット、字幕アセット他の中の実データを構成する各MPUが、その提示時間を指揮によるピッチ変更により書き換えることで、MMT方式に準拠した方法にて、各MPU毎に指定されるPAメッセージに記載された提示時間で指定された時刻に再生することで、指揮者が指定した演奏速度で演奏を行うことができる。扱うデータの種類がMIDI信号の場合は、データアセットを用いても良く、実際に、各楽器毎に演奏された実音声を、パート別に送る場合は、音声アセットを用いれば良い。
更に、データストリーム9130は、例えば光ディスクを用いたパッケージメディア9111により提供され、このメディアを本発明の演奏装置機能を有する演奏プレイヤ9110や、本発明の演奏装置機能を有するソフトウェアをインストールしたパソコン9120に挿入して、前記したデータストリーム9130を光ディスクから逐次読みだしつつ演奏を行う方法があり、パソコン9120がインターネット9121からMMT方式に従ったデータストリーム9130を受信し、演奏を行うこともできる。
データストリーム9130は、図45で説明したように、Piano Packet#1〜#3(9011〜9031)、Oboe Packet#1〜#3(9012〜9032)、Clarinet Packet#1〜#3(9013〜9033)、と、楽器パート別データストリーム9131に分類整理され、楽器毎の独立したデータストリームとして、タイムシフトバッファ9140を経由して、楽音出力装置9150にて、データストリームがMIDI信号の場合は各楽器の音声の発音、データストリームが実際の楽器の演奏音である場合はそのまま、アンプ8030を通してスピーカ8040にて、実際の演奏楽音を出力する。
ここで、指揮者による指揮振り情報がなければ、各小節毎のテンポは一定速度で演奏されるが、本発明の演奏装置により指揮者による指揮振りのタイミングや音量制御情報を用いて、添付・打鍵力生成8002により、MIDIの場合はテンポ及びVelocityの変更、実際の楽器の演奏音である場合は、元のデータストリーム上にある演奏音の発音タイミングをタイムシフトバッファ9140からの読出しタイミングを変更し、楽音出力装置9150により各楽器の音量を独立に制御することで、本発明の演奏装置により、指揮者の指揮振りに従った演奏を行うことができる。
また、MMT方式上では、各言語に対応する複数の音声チャンネルの音声データにおいて、複数の音声アセットにそれぞれ異なるアセットIDを定義して、複数の音声アセットの音声データを同時に発音することを可能となるようにすれば、各々の音声チャンネルに、楽器毎の演奏音声を割り当てることで、楽器毎にそれぞれ独立して22.2chマルチチャンネルサウンドを提供することが可能になる。これを用いれば、図29で示すような22.2chマルチチャンネルシステムを用いて、指揮者が実際にコンサートホールでオーケストラの前で指揮をするような臨場感ある演奏を行うことができる。
以上、本発明の実施形態の例を、実施例1〜7を用いて説明したが、本発明の技術を実現する構成は前記実施例に限られるものではなく、様々な変形例が考えられる。例えば、ある実施例の構成の一部を他の実施例の構成と置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。これらは全て本発明の範疇に属するものである。また、文中や図中に現れる数値やメッセージ等もあくまでも一例であり、異なるものを用いても本発明の効果を損なうことはない。
前述した本発明の機能等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現しても良い。また、マイクロプロセッサユニット等がそれぞれの機能等を実現する動作プログラムを解釈して実行することによりソフトウェアで実現しても良い。ハードウェアとソフトウェアを併用しても良い。
なお、放送受信装置100を制御する前記ソフトウェアは、製品出荷の時点で予め放送受信装置100のROM103及び/又はストレージ(蓄積)部110等に格納された状態であっても良い。製品出荷後にインターネット200上のその他のアプリケーションサーバ500等からLAN通信部121を介して取得するものであっても良い。また、メモリカードや光ディスク等に格納された前記ソフトウェアを、拡張インタフェース部124等を介して取得しても良い。
更に、実施例4で説明したように、MMT方式に従った映像情報信号を、時間軸引き伸ばし/圧縮を行う特殊再生を可能にすることができる。
また、実施例5〜7で説明したように、オーケストラの指揮者が演奏時に行うように、演奏する楽曲のピッチ変化(演奏速度の変化)を、リアルタイムで実際の指揮者のように行うことができたり、また各楽器パートの発音音量を、演奏位置毎に変化させたりすることができ、楽器が弾けなくても、実際のオーケストラを、自分の情緒に従った速度や音量に揺らぎを与える演奏を行うことで、疑似的に指揮者の体験をすることができるようになる。
100,800…放送受信装置、100a…アンテナ、101,801…主制御部、102,802…システムバス、103,803…ROM、104,804…RAM、110,810…ストレージ部、121,821…LAN通信部、124,824…拡張インタフェース部、125,825…デジタルインタフェース部、131,831,832…チューナ/復調部、132…分離部、141…映像デコーダ、142…映像色域変換部、143…音声デコーダ、144…文字スーパーデコーダ、145…字幕デコーダ、146…字幕合成部、147…字幕色域変換部、151…データデコーダ、152…キャッシュ部、153…アプリケーション制御部、154…ブラウザ部、155…アプリケーション色域変換部、156…音源部、161,861…映像合成部、162,862…モニタ部、163,863…映像出力部、164,864…音声合成部、165,865…スピーカ部、166,866…音声出力部、170,870…操作入力部、841…MMTデコード処理部、842…MPEG2−TSデコード処理部、200…インターネット、200r…ルータ装置、200a…アクセスポイント、300t…電波塔、300s…放送衛星(又は通信衛星)、300…放送局サーバ、400…サービス事業者サーバ、500…その他のアプリケーションサーバ、600…移動体電話通信サーバ、600b…基地局、700…携帯情報端末、1000…カメラ、1010…ホームPC−A、1040…ホームPC−B、1060…携帯情報端末、2211…閲覧有効期限、7000…アイコン、7010…ショートカット、8000…画像ファイルフォーマット。

Claims (5)

  1. デジタル放送のメディアトランスポートデータを受信可能な放送受信装置であって、
    メディアトランスポートデータに、放送番組毎の符号化番組映像データ又は符号化番組音声データを含む番組放送データが含められて伝送され、前記符号化番組映像データ又は前記符号化番組音声データは所定の単位で、時間軸方向に複数の分割データとして分割されており、各々の分割データと、その分割データを表示・再生する時刻を示す提示時刻情報とが対になって番組放送データ内に含まれて放送されており、
    各分割データに含まれる前記符号化番組映像データ又は前記符号化番組音声データを復号して、復号化番組映像データ又は復号化番組音声データを生成する復号部と、
    前記復号化番組映像データ又は前記復号化番組音声データ及び前記復号化番組映像データ又は前記復号化番組音声データについての前記提示時刻情報を取得し、復号化した前記復号化番組映像データを表示して出力又は前記復号化番組音声データを音声として出力する出力制御部と、
    前記復号部に入力される分割データの変換及び前記出力制御部に入力される時刻制御情報の変更を行うデータ変更部と、を備え、
    前記データ変更部は、前記複数の分割データのうちのn番目の分割放送データについての提示時刻情報に示される提示時刻を元の提示時刻情報より早い時刻に変更するとともに、前記複数の分割データのうちのn−1番目の分割データの内容を、元の内容よりも時間軸上で短い内容に変更した分割データに変更する、放送受信装置。
  2. 請求項1に記載の放送受信装置において、
    ユーザによるジェスチャーを検出するジェスチャー検出部を備え、
    前記データ変更部は、前記ジェスチャー検出部の検出結果に応じて、前記提示時刻情報に示される提示時刻の変更及び前記分割データの内容変更を行う、放送受信装置。
  3. 請求項2に記載の放送受信装置において、
    出力音声についての出力音量変更部を備え、
    前記出力音量変更部は、前記ジェスチャー検出部の検出結果に応じて、出力音量変更を行う、放送受信装置。
  4. 請求項3に記載の放送受信装置において、
    前記メディアトランスポートデータには、複数チャンネルの符号化番組音声データが含められており、該複数チャンネルの符号化番組音声データによって伝送される音声データには、異なる楽器による複数のパートを含む合奏楽曲における前記複数のパートについての音声データが含まれる、放送受信装置。
  5. 請求項4に記載の放送受信装置において、
    前記放送受信装置による前記合奏楽曲についての音声データの音声出力は一時停止可能であって、前記一時停止中に、前記複数のパートのうち一つのパートに対応する音声データを選択して、該音声データの出力音量について音量調整を行い、前記一時停止の解除後の前記選択されたパートの音声データについて、前記音量調整が適用された音量での音声出力を行う、放送受信装置。
JP2015225668A 2015-11-18 2015-11-18 放送受信装置 Pending JP2017098607A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015225668A JP2017098607A (ja) 2015-11-18 2015-11-18 放送受信装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015225668A JP2017098607A (ja) 2015-11-18 2015-11-18 放送受信装置

Publications (1)

Publication Number Publication Date
JP2017098607A true JP2017098607A (ja) 2017-06-01

Family

ID=58817302

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015225668A Pending JP2017098607A (ja) 2015-11-18 2015-11-18 放送受信装置

Country Status (1)

Country Link
JP (1) JP2017098607A (ja)

Similar Documents

Publication Publication Date Title
JP6301849B2 (ja) 表示及び一時蓄積の処理方法
JP2008216889A (ja) 電子音楽装置、電子音楽装置システム、及びそれらに用いるプログラム
JP2006109233A (ja) デジタルラジオ放送受信装置
JP6222781B2 (ja) 制御方法
WO2016203833A1 (ja) システム
JP5062656B2 (ja) コンテンツ再生方法及びその装置並びに総覧情報生成方法及びその装置
JP7001639B2 (ja) システム
JP6382158B2 (ja) 一時蓄積の制御方法
JP2017098607A (ja) 放送受信装置
JP6412288B1 (ja) 録画制御方法
JP6405492B1 (ja) 録画制御方法
JP6405493B1 (ja) 一時蓄積の制御方法
JP6412289B1 (ja) 一時蓄積の制御方法
JP6317861B1 (ja) 放送番組のコンテンツの送出、受信、および蓄積制御方法
JP6283145B2 (ja) 制御方法
JP6378137B2 (ja) 録画制御方法
JP5233134B2 (ja) 電子音楽装置、電子音楽装置システム、及びそれらに用いるプログラム
JP2016181776A (ja) 放送受信装置及びコンテンツ出力方法
JP2019146248A (ja) 放送受信装置及びコンテンツ出力方法
JP2019017098A (ja) 録画制御方法
JP2019017100A (ja) 一時蓄積の制御方法
JP2018121363A (ja) 放送番組のコンテンツの送出、受信、および蓄積制御方法
JP4287243B2 (ja) 放送番組記録装置、放送番組再生装置、放送番組記録再生装置及び放送番組記録再生方法
JP6317534B1 (ja) 放送番組の録画予約の制御方法
JP6283146B2 (ja) 録画予約の制御方法

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20171102