以下、本発明に好適な実施形態の例(実施例)を説明する。但し、本発明は本実施例に限定されない。本実施例は、主には受信装置について説明してあり、受信装置での実施に好適であるが、受信装置以外への適用を妨げるものではない。また、実施例の構成すべてが採用される必要はなく取捨選択可能である。
<システム>
図1は、本実施例のシステムの構成例を示すブロック図である。放送で情報を送受信して記録再生する場合を例示している。ただし放送に限定されず通信によるVODであってもよく、総称して配信ともいう。
1は放送局などの情報提供局に設置される送信装置、2は中継局や放送用衛星などに設置される中継装置、3はインターネットなど一般家庭と放送局を繋ぐ公衆回線網、ユーザーの宅内などに設置される4は受信装置、10は受信装置4に内蔵される受信記録再生部である。受信記録再生部10では、放送された情報を記録し再生、またはリムーバブルな外部媒体からのコンテンツの再生、などができる。
送信装置1は、中継装置2を介して変調された信号電波を伝送する。図のように衛星による伝送以外にも例えばケーブルによる伝送、電話線による伝送、地上波放送による伝送、公衆回線網3を介したインターネットなどのネットワーク経由による伝送などを用いることもできる。受信装置4で受信されたこの信号電波は、後に述べるように、復調されて情報信号となった後、必要に応じ記録媒体に記録される。または公衆回線網3を介して伝送する場合には、公衆回線網3に適したプロトコル(例えばTCP/IP)に準じたデータ形式(IPパケット)等の形式に変換され、前記データを受信した受信装置4は、復号して情報信号とし、必要に応じ記録するに適した信号となって記録媒体に記録される。また、ユーザーは、受信装置4にディスプレイが内蔵されている場合はこのディスプレイで、内蔵されていない場合には受信装置4と図示しないディスプレイとを接続して情報信号が示す映像音声を視聴することができる。
<送信装置>
図2は、図1のシステムのうち、送信装置1の構成例を示すブロック図である。
11はソース発生部、12はMPEG2、或いはH.264方式等で圧縮を行い、番組情報などを付加するエンコード部、13はスクランブル部、14は変調部、15は送信アンテナ、16は管理情報付与部である。カメラ、記録再生装置などから成るソース発生部11で発生した映像音声などの情報は、より少ない占有帯域で伝送できるよう、エンコード部12でデータ量の圧縮が施される。必要に応じてスクランブル部13で、特定の視聴者には視聴可能となるように伝送暗号化される。変調部14でOFDM,TC8PSK,QPSK、多値QAMなど伝送するに適した信号となるよう変調された後、送信アンテナ15から、中継装置2に向けて電波として送信される。このとき、管理情報付与部16では、ソース発生部11で作成されたコンテンツの属性などの番組特定情報(例えば、映像や音声の符号化情報、音声の符号化情報、番組の構成、3D映像か否か等)が付与され、また、放送局が作成した番組配列情報(例えば現在の番組や次番組の構成、サービスの形式、1週間分の番組の構成情報等)なども付与される。これら番組特定情報および番組配列情報を合わせて、以下では番組情報と呼ぶ。
なお、一つの電波には複数の情報が、時分割、スペクトル拡散などの方法で多重されることが多い。簡単のため図2には記していないが、この場合、ソース発生部11とエンコード部12の系統が複数個あり、エンコード部12とスクランブル部13との間に、複数の情報を多重するマルチプレクス部(多重化部)が置かれる。
また、公衆回線網3を経由して送信する信号についても同様に、エンコード部12で作成された信号が必要に応じて暗号化部17で、特定の視聴者には視聴可能となるように暗号化される。通信路符号化部18で公衆回線網3で伝送するに適した信号となるよう符号化された後、ネットワークI/F(Interface)部19から、公衆回線網3に向けて送信される。
<3D伝送方式>
送信装置1から伝送される3D番組の伝送方式には大きく分けて二つの方式がある。一つの方式は、既存の2D番組の放送方式を生かし、1枚の画像内に左目用と右目用の映像を収めた方式がある。この方式は映像圧縮方式として既存のMPEG2(Moving Picture Experts Group 2)やH.264 AVCが利用され、その特徴は、既存の放送と互換があり、既存の中継インフラを利用でき、既存の受信機(STBなど)での受信が可能であるが、既存の放送の再高解像度の半分(垂直方向、あるいは水平方向)の3D映像の伝送となる。例えば、図39(a)で示すように1枚の画像を左右に分割して左目用映像(L)と右目用映像(R)それぞれの水平方向の幅が2D番組の約半分、垂直方向の幅が2D番組と同等の画面サイズで収めた「Side-by-Side」方式や1枚の画像を上下に分割して左目用映像(L)と右目用映像(R)それぞれの水平方向の幅が2D番組と同等、垂直方向が2D番組の約半分の画面サイズで収めた「Top-and-Bottom」方式、その他インタレースを利用して収めた「Field alternative」方式や走査線1本ごとに左目用と右目用の映像を交互に収めた「Line alternative」方式や2次元(片側の)映像と映像の各ピクセルごとの深度(被写体までの距離)情報を収めた「Left+Depth」方式がある。これらの方式は、1枚の画像を複数の画像に分割して複数の視点の画像を格納するものであるので、符号化方式自体は、元々多視点映像符号化方式ではないMPEG2やH.264 AVC(MVCを除く)符号化方式をそのまま用いることができ、既存の2D番組の放送方式を生かして3D番組放送を行うことができるというメリットがある。なお、例えば、2D番組を最大水平方向が1920ドット、垂直方向が1080ラインの画面サイズで伝送可能な場合には、「Side-by-Side」方式で3D番組放送を行う場合には、1枚の画像を左右に分割して左目用映像(L)と右目用映像(R)それぞれが水平方向が960ドット、垂直方向が1080ラインの画面サイズで収めて伝送すればよい。同様にこの場合、「Top-and-Bottom」方式で3D番組放送を行う場合には、1枚の画像を上下に分割して左目用映像(L)と右目用映像(R)それぞれが水平方向が1920ドット、垂直方向が540ラインの画面サイズで収めて伝送すればよい。
他の方式としては、左目用の映像と右目用の映像をそれぞれ別ストリーム(ES)で伝送する方式がある。本実施例では、当該方式を以下、「3D2視点別ES伝送」と称する。この方式の一例として、例えば、多視点映像符号化方式であるH.264 MVCによる伝送方式がある。その特徴は、高解像度の3D映像が伝送できる。この方式を用いると、高解像度の3D映像を伝送できるという効果がある。なお、多視点映像符号化方式とは、多視点の映像を符号化するために規格化された符号化方式であり、1画像を視点ごとに分割することなく、多視点の映像を符号化でき、視点ごとに別画像を符号化するものである。
この方式で3D映像を伝送する場合では、例えば左目用視点の符号化画像を主視点画像とし、右目用の符号化画像を他の視点画像として伝送すればよい。このようにすれば主視点画像については既存の2D番組の放送方式と互換性を保つことが可能である。例えば、多視点映像符号化方式としてH.264 MVCを用いる場合には、H.264 MVCのベースサブストリームについては、主視点画像はH.264 AVCの2D画像と互換性を保つことができ、主視点画像を2D画像として表示可能である。
さらに、本発明の実施例では、「3D2視点別ES伝送方式」の他の例として以下の方式も含めることとする。
「3D2視点別ES伝送方式」の他の一例に、左目用の符号化画像を主視点画像としMPEG2で符号化し、右目用の符号化画像を他の視点画像としH.264 AVCで符号化してそれぞれ別ストリームとする方式を含める。この方式によれば、主視点画像はMPEG2互換となり2D画像として表示可能となることから、MPEG2による符号化画像が広く普及している既存の2D番組の放送方式と互換性を保つことが可能である。
「3D2視点別ES伝送方式」の他の一例に、左目用の符号化画像を主視点画像としMPEG2で符号化し、右目用の符号化画像を他の視点画像としてMPEG2で符号化してそれぞれ別ストリームとする方式を含める。この方式も、主視点画像はMPEG2互換となり2D画像として表示可能となることから、MPEG2による符号化画像が広く普及している既存の2D番組の放送方式と互換性を保つことが可能である。
「3D2視点別ES伝送方式」の他の一例として、左目用の符号化画像を主視点画像としH.264 AVCまたはH.264 MVCで符号化し、右目用の符号化画像を他の視点画像としてMPEG2で符号化することもありえる。
なお、「3D2視点別ES伝送方式」とは別に、元々多視点映像符号化方式として規定された符号化方式ではないMPEG2やH.264 AVC(MVCを除く)などの符号化方式であっても左目用の映像と右目用のフレームを交互に格納したストリームを生成することで3D伝送も可能である。
<番組情報>
番組特定情報と番組配列情報とを番組情報という。
番組特定情報はPSI(Program Specific Information)とも呼ばれ、所要の番組を選択するために必要な情報で、放送番組に関連するPMT(Program Map Table)を伝送するTSパケットのパケット識別子を指定するPAT(Program Association Table)、放送番組を構成する各符号化信号を伝送するTSパケットのパケット識別子および有料放送の関連情報のうち共通情報を伝送するTSパケットのパケット識別子を指定するPMT、変調周波数など伝送路の情報と放送番組を関連付ける情報を伝送するNIT(Network Information Table)、有料放送の関連情報のうち個別情報を伝送するTSパケットのパケット識別子を指定するCAT(Conditional Access Table)の4つのテーブルからなり、MPEG2システム規格で規定されている。例えば、映像の符号化情報、音声の符号化情報、番組の構成を含む。本発明では、さらに3D映像か否かなどを示す情報を新たに含める。当該PSIは管理情報付与部16で付加される。
番組配列情報はSI(Service Information)とも呼ばれ、番組選択の利便性のために規定された各種情報であり、MPEG−2システム規格のPSI 情報も含まれ、番組名、放送日時、番組内容など、番組に関する情報が記載されるEIT(Event Information Table)、編成チャンネル名、放送事業者名など、編成チャンネル(サービス)に関する情報が記載されるSDT(Service Description Table)などがある。
例えば、現在放送されている番組や次に放送される番組の構成、サービスの形式、また、1週間分の番組の構成情報などを示す情報を含み、管理情報付与部16で付加される。
番組情報には番組情報の構成要素であるコンポーネント記述子、コンポーネントグループ記述子、3D番組詳細記述子、サービス記述子、サービスリスト記述子などを含む。これらの記述子は、PMT、EIT[schedule basic/schedule extended/present/following]、NIT、SDTといったテーブルの中に記載される。
PMT、EITそれぞれのテーブルの使い分けとしては、例えばPMTについては現在放送されている番組の情報のみの記載であるため、未来に放送される番組の情報については確認することができない。しかし、送信側からの送信周期が短いため受信完了までの時間が短く、現在放送されている番組の情報なので変更されることがないという意味での信頼度が高いといった特徴がある。一方、EIT[schedule basic/schedule extended]については現在放送されている番組以外に7日分先までの情報を取得できるが、送信側からの送信周期がPMTに比べ長いため受信完了までの時間が長く、保持する記憶領域が多く必要で、かつ未来の事象のため変更される可能性があるという意味で信頼度が低いなどのデメリットがある。EIT[following]については次の放送時間の番組の情報を取得できる。
番組特定情報のPMTは、ISO/IEC13818−1で規定されているテーブル構造を用い、その2ndループ(ES(Elementary Stream)毎のループ)に記載の8ビットの情報であるstream_type(ストリーム形式種別)により、放送されている番組のESの形式を示すことができる。本発明の実施例では、従来よりもESの形式を増やし、例えば、図3に示すように放送する番組のESの形式を割り当てる。
まず、多視点映像符号化(例:H.264/MVC)ストリームのベースビューサブビットストリーム(主視点)について、既存のITU-T 勧告H.264|ISO/IEC 14496-10 映像で規定されるAVC 映像ストリームと同じ0x1Bを割り当てる。次に、0x20に3D映像番組に用いることが可能な多視点映像符号化ストリーム(例えばH.264 MVC)のサブビットストリーム(他の視点)を割り当てる。
また、3D映像の複数視点を別ストリームで伝送する「3D2視点別ES伝送方式」でもちいる場合のH.262(MPEG2)方式のベースビュービットストリーム(主視点)について、既存のITU-T 勧告H.262|ISO/IEC 13818-2 映像と同じ0x02を割り当てる。ここで、3D映像の複数視点を別ストリームで伝送する場合のH.262(MPEG2)方式のベースビュービットストリーム(主視点)とは、3D映像の複数視点の映像のうち、主視点の映像のみをH.262(MPEG2)方式で符号化したストリームである。
さらに、0x21に、3D映像の複数視点を別ストリームで伝送する場合のH.262(MPEG2)方式の他の視点のビットストリームを割り当てる。
さらに、0x22に3D映像の複数視点を別ストリームで伝送する場合のITU-T 勧告H.264|ISO/IEC 14496-10 映像で規定されるAVC ストリーム方式の他の視点ビットストリームのビットストリームを割り当てる。
なお、ここでの説明では3D映像番組に用いることが可能な多視点映像符号化ストリームのサブビットストリームを0x20に割り当て、3D映像の複数視点を別ストリームで伝送する場合のH.262(MPEG2)方式の他の視点のビットストリームを0x21に割り当て、3D映像の複数視点を別ストリームで伝送する場合のITU-T 勧告H.264|ISO/IEC 14496-10 映像で規定されるAVC ストリームを0x22に割り当てるとしたが、0x23〜0x7Eの何れかに割り当てられることでも良い。また、MVC映像ストリームは単なる一例であって、3D映像番組に用いることが可能な多視点映像符号化ストリームを示すのであれば、H.264/MVC以外の映像ストリームでもよい。
以上ように、stream_type(ストリーム形式種別)のビットを割りあてることにより、送信装置1側の放送事業者が3D番組を伝送(放送)するにあたり、本発明の実施例では、例えば、図47に示すようなストリームの組合せで伝送することが可能となる。
組合せ例1では、主視点(左目用)映像ストリームとして、多視点映像符号化(例:H.264/MVC)ストリームのベースビューサブビットストリーム(主視点)(ストリーム形式種別0x1B)を伝送し、副視点(右目用) 映像ストリームとして多視点映像符号化(例:H.264/MVC)ストリームの他の視点用サブビットストリーム(ストリーム形式種別0x20)を伝送する。
この場合は、主視点(左目用)映像ストリーム、副視点(右目用) 映像ストリームともに、多視点映像符号化(例:H.264/MVC)方式のストリームを用いる。多視点映像符号化(例:H.264/MVC)方式は、そもそも多視点の映像を伝送するための方式であり、図47の組合せ例の中で最も効率よく3D番組を伝送することができる。
また、3D番組を3D表示(出力)する際には、受信装置は、主視点(左目用)映像ストリームと副視点(右目用) 映像ストリームとの両者を処理して、3D番組を再生することが可能となる。
受信装置が3D番組を2D表示(出力)する場合には、主視点(左目用)映像ストリームのみを処理すれば、2D番組として表示(出力)することが可能となる。
なお、多視点映像符号化方式H.264/MVCのベースビューサブビットストリームと、既存のH.264/AVC(MVCを除く)の映像ストリームには互換性があるので、図3のように両者のストリーム形式種別を同じ0x1Bに割り当てることにより以下の効果がある。つまり、3D番組を3D表示(出力)する機能を有していない受信装置が組合せ例1の3D番組を受信したとしても、受信装置に既存のH.264/AVC(MVCを除く)の映像ストリーム(ITU-T 勧告H.264|ISO/IEC 14496-10 映像で規定されるAVC 映像ストリーム)を表示(出力)する機能さえあれば、ストリーム形式種別に基づいて当該番組の主視点(左目用)映像ストリームを、既存のH.264/AVC(MVCを除く)の映像ストリームと同様のストリームと認識して通常の2D番組として表示(出力)することが可能となるという効果である。
さらに、副視点(右目用) 映像ストリームには、従来にないストリーム形式種別を割り当てているので既存の受信装置では無視される。これにより、既存の受信装置で副視点(右目用) 映像ストリームについて放送局側が意図しない表示(出力)を防止できる。
よって、新たに組合せ例1の3D番組の放送を開始したとしても、既存のH.264/AVC(MVCを除く)の映像ストリームを表示(出力)する機能を有する既存の受信装置で表示(出力)できないという状況を回避することができる。これにより、CM(commercial message)などの広告収入により運営する放送などで新たに当該3D番組放送を開始したとても、3D表示(出力)機能に対応していない受信装置でも視聴可能となるので、受信装置の機能の制限により、視聴率が低下すること回避することができ、放送局側でもメリットがある。
組合せ例2では、主視点(左目用)映像ストリームとして、3D映像の複数視点を別ストリームで伝送する場合のH.262(MPEG2)方式のベースビュービットストリーム(主視点)(ストリーム形式種別0x02)を伝送し、副視点(右目用) 映像ストリームとして3D映像の複数視点を別ストリームで伝送する場合のITU-T 勧告H.264|ISO/IEC 14496-10 映像で規定されるAVC ストリーム(ストリーム形式種別0x22)を伝送する。
組合せ例1と同様に、3D番組を3D表示(出力)する際には、受信装置は、主視点(左目用)映像ストリームと副視点(右目用) 映像ストリームとの両者を処理して、3D番組を再生することが可能となり、受信装置が3D番組を2D表示(出力)する場合には、主視点(左目用)映像ストリームのみを処理すれば、2D番組として表示(出力)することが可能となる。
さらに、3D映像の複数視点を別ストリームで伝送する場合のH.262(MPEG2)方式のベースビュービットストリーム(主視点)を、既存のITU-T勧告H.262|ISO/IEC 13818-2映像ストリームと互換性のあるストリームとし、図3のように両者のストリーム形式種別を同じ0x1Bに割り当てることにより、既存のITU-T勧告H.262|ISO/IEC 13818-2映像ストリームを表示(出力)する機能を有する受信装置であれば、3D表示(出力)機能を有しない受信装置でも、2D番組として表示(出力)することが可能となる。
また、組合せ例1と同様に、副視点(右目用) 映像ストリームには、従来にないストリーム形式種別を割り当てているので既存の受信装置では無視される。これにより、既存の受信装置で副視点(右目用) 映像ストリームについて放送局側が意図しない表示(出力)を防止できる。
既存のITU-T勧告H.262|ISO/IEC 13818-2映像ストリームについての表示(出力)機能を有する受信装置は広く普及しているので、受信装置の機能の制限による視聴率の低下をより防ぐことが可能となり、放送局にとって最も好ましい放送を実現することができる。
さらに、副視点(右目用) 映像ストリームを、ITU-T 勧告H.264|ISO/IEC 14496-10 映像で規定されるAVC ストリーム(ストリーム形式種別0x22)とすることにより、副視点(右目用) 映像ストリームを高い圧縮率で伝送することが可能となる。
すなわち、組合せ例2によれば、放送局の商業的なメリットと高効率伝送による技術的メリットを両立することが可能となる。
組合せ例3では、主視点(左目用)映像ストリームとして、3D映像の複数視点を別ストリームで伝送する場合のH.262(MPEG2)方式のベースビュービットストリーム(主視点)(ストリーム形式種別0x02)を伝送し、副視点(右目用) 映像ストリームとして3D映像の複数視点を別ストリームで伝送する場合のH.262(MPEG2)方式の他の視点のビットストリーム(ストリーム形式種別0x21)を伝送する。
この場合も、組合せ例2と同様に、既存のITU-T勧告H.262|ISO/IEC 13818-2映像ストリームを表示(出力)する機能を有する受信装置であれば、3D表示(出力)機能を有しない受信装置でも、2D番組として表示(出力)することが可能となる。
受信装置の機能の制限による視聴率の低下をより防ぐという放送局の商業的なメリットに加え、主視点(左目用)映像ストリームと副視点(右目用) 映像ストリームとの符号化方式をH.262(MPEG2)方式に統一することにより、受信装置における映像復号化機能のハードウェア構成を簡素化することが可能となる。
なお、組合せ例4のように、主視点(左目用)映像ストリームとして、多視点映像符号化(例:H.264/MVC)ストリームのベースビューサブビットストリーム(主視点)(ストリーム形式種別0x1B)を伝送し、副視点(右目用) 映像ストリームとして3D映像の複数視点を別ストリームで伝送する場合のH.262(MPEG2)方式の他の視点のビットストリーム(ストリーム形式種別0x21)を伝送することも可能である。
なお、図47の組合せにおいて、多視点映像符号化(例:H.264/MVC)ストリームのベースビューサブビットストリーム(主視点)(ストリーム形式種別0x1B)の代わりに、ITU-T 勧告H.264|ISO/IEC 14496-10 映像で規定されるAVC 映像ストリーム(ストリーム形式種別0x1B)としても同様の効果を得ることができる。
また、図47の組合せにおいて、3D映像の複数視点を別ストリームで伝送する場合のH.262(MPEG2)方式のベースビュービットストリーム(主視点)の代わりに、ITU-T勧告H.262|ISO/IEC 13818-2映像ストリーム(ストリーム形式種別0x02)としても同様の効果を得ることができる。
図4は、番組情報の一つであるコンポーネント記述子(Component Descriptor)の構造の一例を示す。コンポーネント記述子はコンポーネント(番組を構成する要素。例えば、映像、音声、文字、各種データなど)の種別を示し、エレメンタリストリームを文字形式で表現するためにも利用される。この記述子はPMTおよび/またはEITに配置される。
コンポーネント記述子の意味は次の通りである。つまり、descriptor_tagは8ビットのフィールドで、この記述子がコンポーネント記述子と識別可能な値が記載される。descriptor_lengthは8ビットのフィールドで、この記述子のサイズを記載している。stream_content(コンポーネント内容)は4ビットのフィールドで、ストリームの種別(映像、音声、データ)を表し、図4に従って符号化される。component_type(コンポーネント種別)は8ビットのフィールド、映像、音声、データといったコンポーネントの種別を規定し、図4に従って符号化される。component_tag(コンポーネントタグ)は、8 ビットのフィールドである。サービスのコンポーネントストリームは、この8ビットのフィールドにより、コンポーネント記述子で示される記述内容(図5)を参照できる。
プログラムマップセクションでは、各ストリームに与えるコンポーネントタグの値は異なる値とすべきである。コンポーネントタグは、コンポーネントストリームを識別するためのラベルであり、ストリーム識別記述子内のコンポーネントタグと同一の値である(ただし、ストリーム識別記述子がPMT内に存在する場合)。ISO_639_language_code(言語コード)の24 ビットのフィールドは、コンポーネント(音声、あるいはデータ)の言語、およびこの記述子に含まれる文字記述の言語を識別する。
言語コードは、ISO 639-2(22)に規定されるアルファベット3文字コードで表す。各文字はISO8859-1(24)に従って8ビットで符号化され、その順で24ビットフィールドに挿入される。例えば、日本語はアルファベット3文字コードで「jpn」であり、次のように符号化される。「0110 1010 0111 0000 0110 1110」。text_char(コンポーネント記述)は、8ビットのフィールドである。一連のコンポーネント記述のフィールドは、コンポーネントストリームの文字記述を規定する。
図5(a)〜(e)は、コンポーネント記述子の構成要素であるstream_content(コンポーネント内容)とcomponent_type(コンポーネント種別)の一例を示す。図5(a)に示すコンポーネント内容の0x01は、MPEG2形式で圧縮された映像ストリームの様々な映像フォーマットについて表す。
図5(b)に示すコンポーネント内容の0x05は、H.264 AVC形式で圧縮された映像ストリームの様々な映像フォーマットについて表す。図5(c)に示すコンポーネント内容の0x06は、多視点映像符号化(例えば、H.264 MVC形式)で圧縮された3D映像ストリームの様々な映像フォーマットについて表す。
図5(d)に示すコンポーネント内容の0x07は、MPEG2、またはH.264 AVC形式で圧縮された3D映像のSide-by-Side形式のストリームの様々な映像フォーマットについて表す。この例ではMPEG2とH.264 AVC形式で同じコンポーネント内容の値としたが、MPEG2とH.264 AVCで別の値を設定することでも良い。
図5(e)に示すコンポーネント内容の0x08は、MPEG2、またはH.264 AVC形式で圧縮された3D映像のTop-and-Bottom形式のストリームの様々な映像フォーマットについて表す。この例ではMPEG2とH.264 AVC形式で同じコンポーネント内容の値としたが、MPEG2とH.264 AVCで別の値を設定することでも良い。
図5(d)や図5(e)のように、コンポーネント記述子の構成要素であるstream_content(コンポーネント内容)とcomponent_type(コンポーネント種別)の組合せによって、3D映像であるか否か、3D映像の方式、解像度、アスペクト比の組合せを示す構成とすることにより、3Dと2Dの混合放送であっても、少ない伝送量で、2D番組/3D番組識別を含めた各種映像方式情報の伝送が可能となる。
特に、元々多視点映像符号化方式として規定された符号化方式ではないMPEG2やH.264 AVC(MVCを除く)などの符号化方式を用いて、Side-by-Side形式やTop-and-Bottom形式などの1画像中に複数の視点の画像を含めて3D映像番組を伝送する場合は、上述したstream_type(ストリーム形式種別)だけでは、3D映像番組用に一画像中に複数の視点の画像を含めて伝送しているのか、1視点の通常の画像なのかを識別することは困難である。よって、この場合は、stream_content(コンポーネント内容)とcomponent_type(コンポーネント種別)の組合せによって、当該番組が2D番組/3D番組識別を含めた各種映像方式の識別を行えばよい。また、EITにより現在放送している、或いは将来放送される番組に関するコンポーネント記述子が配信されることにより、受信装置4においてEITを取得することによりEPG(番組表)を作成し、EPGの情報として3D映像であるか否か、3D映像の方式、解像度、アスペクト比、3D映像であるか否かを作成することができる。受信装置は、EPGにこれらの情報を表示(出力)できるようになるメリットがある。
以上説明したとおり、受信装置4がstream_contentとcomponent_typeを監視することで、現在受信している、あるいは将来受信する番組が3D番組であることを認識できる効果がある。
図6は、番組情報の一つであるコンポーネントグループ記述子(Component Group Descriptor)の構造の一例を示す。コンポーネントグループ記述子は、イベント内のコンポーネントの組み合わせを定義し、識別する。つまり、複数コンポーネントのグループ化情報を記述する。この記述子はEITに配置される。
コンポーネントグループ記述子の意味は次の通りである。つまり、descriptor_tagは8ビットのフィールドで、この記述子がコンポーネントグループ記述子と識別可能な値が記載される。descriptor_lengthは8ビットのフィールドで、この記述子のサイズを記載している。component_group_type(コンポーネントグループ種別)は3ビットのフィールドで、図7に従い、コンポーネントのグループ種別を表す。
ここで、001は、3DTVサービスを表し、000のマルチビューTVサービスと区別される。ここで、マルチビューTVサービスとは、複数視点の2D映像をそれぞれの視点ごとに切り替えて表示可能なTVサービスである。例えば、多視点映像符号化映像ストリームや、元々多視点映像符号化方式として規定された符号化方式ではない符号化方式のストリームにおいて1画面中に複数の視点の画像を含めて伝送する場合のストリームを3D映像番組のみならず、マルチビューTV番組にも用いる場合もありえる。この場合には、ストリームに多視点の映像が含まれていても、上述したstream_type(ストリーム形式種別)だけでは3D映像番組なのか、マルチビューTV番組なのか識別できない場合もある。このような場合は、component_group_type(コンポーネントグループ種別)による識別が有効である。total_bit_rate_flag(総ビットレートフラグ)は1 ビットのフラグで、イベント中のコンポーネントグループ内の総ビットレートの記述状態を示す。このビットが「0」の場合、コンポーネントグループ内の総ビットレートフィールドが当該記述子中に存在しないことを示す。このビットが「1」の場合、コンポーネントグループ内の総ビットレートフィールドが当該記述子中に存在することを示す。num_of_group(グループ数)は4 ビットのフィールドで、イベント内でのコンポーネントグループの数を示す。
component_group_id(コンポーネントグループ識別)は4 ビットのフィールドで、図8に従い、コンポーネントグループ識別を記述する。num_of_CA_unit(課金単位数)は4 ビットのフィールドで、コンポーネントグループ内での課金/非課金単位の数を示す。CA_unit_id(課金単位識別)は4 ビットのフィールドで、図9に従い、コンポーネントが属する課金単位識別を記述する。
num_of_component(コンポーネント数)は4 ビットのフィールドで、当該コンポーネントグループに属し、かつ直前のCA_unit_id で示される課金/非課金単位に属するコンポーネントの数を示す。component_tag(コンポーネントタグ)は8 ビットのフィールドで、コンポーネントグループに属するコンポーネントタグ値を示す。
total_bit_rate(トータルビットレート)は8 ビットのフィールドで、コンポーネントグループ内のコンポーネントの総ビットレートを、トランスポートストリームパケットの伝送レートを1/4Mbps 毎に切り上げて記述する。text_length(コンポーネントグループ記述長)は8 ビットのフィールドで、後続のコンポーネントグループ記述のバイト長を表わす。text_char(コンポーネントグループ記述)は8 ビットのフィールドである。一連の文字情報フィールドは、コンポーネントグループに関する説明を記述する。
以上、受信装置4がcomponent_group_typeを監視することで、現在受信している、あるいは将来受信する番組が3D番組であることを認識できる効果がある。
次に、3D番組に関する情報を示す新たな記述子を用いる例を説明する。図10(a)は、番組情報の一つである3D番組詳細記述子の構造の一例を示す。3D番組詳細記述子は番組が3D番組である場合の詳細情報を示し、受信機における3D番組判定用などに利用される。この記述子はPMTおよび/またはEITに配置される。3D番組詳細記述子は、既に説明した図5(c)〜(e)に示す3D映像番組用のstream_content(コンポーネント内容やとcomponent_type(コンポーネント種別)と並存させてもよい。しかし、3D番組詳細記述子を伝送することにより、3D映像番組用のstream_content(コンポーネント内容やcomponent_type(コンポーネント種別)を伝送しない構成としても良い。3D番組詳細記述子の意味は次の通りである。次にdescriptor_tagは8ビットのフィールドで、この記述子が3D番組詳細記述子と識別可能な値(例えば0xE1)が記載される。descriptor_lengthは8ビットのフィールドで、この記述子のサイズを記載している。
3d_2d _type(3D/2D種別)は8ビットのフィールドで、図10(b)に従い、3D番組中における3D映像/2D映像の種別を表す。このフィールドは、例えば番組本編は3D映像であり、番組の途中で挿入されるコマーシャルなどが2D映像で構成されるような3D番組において、3D映像なのか2D映像なのかを識別するための情報であり、受信装置における誤動作(受信装置は3D処理を行っているのに放送番組が2D映像のため発生する表示(出力)の問題)を防ぐ目的で配置される。0x01は3D映像、0x02は2D映像を表す。
3d_method_type(3D方式種別)は8ビットのフィールドで、図11に従い、3Dの方式種別を表す。0x01は「3D2視点別ES伝送方式」方式、0x02はSide-by-Side 方式、0x03はTop-and-Bottom 方式を表す。stream_type(ストリーム形式種別)は8ビットのフィールドで、上記で説明した図3に従い、番組のESの形式を示す。なお、3D番組詳細記述子を、3D映像番組の場合に伝送し、2D映像番組では伝送しない構成としてもよい。受信した番組についての3D番組詳細記述子の伝送の有無だけで、当該番組が2D映像番組なのか、3D映像番組なのか識別することが可能となる。
component_tag(コンポーネントタグ)は、8ビットのフィールドである。サービスのコンポーネントストリームは、この8ビットのフィールドにより、コンポーネント記述子で示される記述内容(図5)を参照できる。プログラムマップセクションでは、各ストリームに与えるコンポーネントタグの値は異なる値とすべきである。コンポーネントタグは、コンポーネントストリームを識別するためのラベルであり、ストリーム識別記述子内のコンポーネントタグと同一の値である(ただし、ストリーム識別記述子がPMT内に存在する場合)。
以上、受信装置4が3D番組詳細記述子を監視することで、この記述子が存在すれば、現在受信している、あるいは将来受信する番組が3D番組であることを認識できる効果がある。加えて、番組が3D番組である場合には、3D伝送方式の種別を識別すること、3D映像と2D映像が混在している場合にはその識別が可能となる。
次に、サービス(編成チャンネル)単位で3D映像か2D映像かを識別する例について説明する。図12は、番組情報の一つであるサービス記述子(Service Descriptor)の構造の一例を示す。サービス記述子は、編成チャンネル名とその事業者名をサービス形式種別とともに文字符号で表す。この記述子はSDTに配置される。
サービス記述子の意味は次の通りである。つまり、service_type(サービス形式種別)は8ビットのフィールドで、図13に従ってサービスの種類を表す。0x01は、3D映像サービスを表す。service_provider_name_length(事業者名長)の8 ビットのフィールドは、後続の事業者名のバイト長を表す。char(文字符号)は8 ビットのフィールドである。一連の文字情報フィールドは、事業者名あるいはサービス名を表す。service_name_length(サービス名長)の8 ビットのフィールドは、後続のサービス名のバイト長を表す。
以上、受信装置4がservice_typeを監視することで、サービス(編成チャンネル)が3D番組のチャンネルであることを認識できる効果がある。このように、サービス(編成チャンネル)が3D映像サービスか2D映像サービスかを識別することができれば、例えば、EPG表示などで、当該サービスが3D映像番組放送サービスである旨の表示などが可能となる。但し、3D映像番組を中心に放送しているサービスといえども、広告映像のソースが2D映像しかない場合など、2D映像を放送しなければならない場合もありうる。よって、当該サービス記述子のservice_type(サービス形式種別)による3D映像サービスの識別は、既に説明した、stream_content(コンポーネント内容)とcomponent_type(コンポーネント種別)の組合せによる3D映像番組の識別、component_group_type(コンポーネントグループ種別)による3D映像番組の識別、または3D番組詳細記述子による3D映像番組の識別と併用することが望ましい。複数の情報を組み合わせて識別する場合は、3D映像放送サービスであるが、一部の番組だけ2D映像であるなどの識別も可能となる。このような識別ができる場合は、受信装置で、例えばEPGでは当該サービスが「3D映像放送サービス」であることを明示することができ、かつ、当該サービスに3D映像番組以外に2D映像番組が混在していても、番組受信時等に3D映像番組と2D映像番組とで表示制御等を必要に応じて切り替えることが可能となる。
図14は、番組情報の一つであるサービスリスト記述子(Service List Descriptor)の構造の一例を示す。サービスリスト記述子は、サービス識別とサービス形式種別によるサービスの一覧を提供する。つまり、編成チャンネルとその種別の一覧を記述する。この記述子はNITに配置される。
サービスリスト記述子の意味は次の通りである。つまり、service_id(サービス識別)は16 ビットのフィールドで、そのトランスポートストリーム内の情報サービスをユニークに識別する。サービス識別は、対応するプログラムマップセクション内の放送番組番号識別(program_number)に等しい。service_type(サービス形式種別)は8ビットのフィールドで、上記で説明した図12に従ってサービスの種類を表す。
これらのservice_type(サービス形式種別)によって「3D映像放送サービス」であるか否かを識別することができるので、例えば、当該サービスリスト記述子に示される編成チャンネルとその種別の一覧を用いて、EPG表示において「3D映像放送サービス」のみをグルーピングする表示を行うことなどが可能となる。
以上、受信装置4がservice_typeを監視することで、編成チャンネルが3D番組のチャンネルであることを認識できる効果がある。
以上説明した記述子の例は、代表的なメンバのみを記載しており、これ以外のメンバを持つこと、複数のメンバを一つに纏めること、一つのメンバを詳細情報を持つ複数のメンバに分割することも考えられる。
<番組情報の送出運用規則例>
上記で説明した番組情報のコンポーネント記述子、コンポーネントグループ記述子、3D番組詳細記述子、サービス記述子、サービスリスト記述子は、例えば管理情報付与部16で生成、付加され、MPEG-TSのPSI(一例としてPMTなど)、或いはSI(一例としてEIT、或いはSDT、或いはNITなど)に格納されて送信装置1から送出される情報である。
送信装置1における番組情報の送出運用規則例について以下説明する。
図15は、コンポーネント記述子の送信装置1における送出運用規則の一例を示す。「descriptor_tag」にはコンポーネント記述子を意味する“0x50”を記述する。「descriptor_length」には、コンポーネント記述子の記述子長を記述する。記述子長の最大値は規定しない。「stream_content」には、“0x01”(映像)を記述する。
「component_type」には、当該コンポーネントの映像コンポーネント種別を記述する。コンポーネント種別については、図5の中から設定する。「component_tag」は当該番組内で一意となるコンポーネントタグ値を記述する。「ISO_639_language_code」は“jpn(”0x6A706E“)”を記述する。
「text_char」は複数映像コンポーネント存在時に映像種類名として16byte(全角8文字)以下で記述する。改行コードは使用しない。コンポーネント記述がデフォルトの文字列である場合はこのフィールドを省略することができる。デフォルト文字列は「映像」である。
なお、イベント(番組)に含まれる0x00〜0x0F のcomponent_tag 値を持つ、全ての映像コンポーネントに対して必ず一つ送出する。
このように送信装置1で送出運用することにより、受信装置4がstream_contentとcomponent_typeを監視することで、現在受信している、あるいは将来受信する番組が3D番組であることを認識できる効果がある。
図16は、コンポーネントグループ記述子の送信装置1における送出運用規則の一例を示す。
「descriptor_tag」にはコンポーネントグループ記述子を意味する“0xD9”を記述する。「descriptor_length」には、コンポーネントグループ記述子の記述子長を記述する。記述子長の最大値は規定しない。「component_group_type」は、コンポーネントグループの種別を示す。‘000’は、マルチビューテレビを‘001’は、3Dテレビを示す。
「total_bit_rate_flag」には、イベント中のグループ内の総ビットレートがすべて規定のデフォルト値にある場合は’0’を、イベント中のグループ内の総ビットレートのいずれかが規定のデフォルト値を越えている場合は’1’を示す。
「num_of_group」はイベント内でのコンポーネントグループの数を記述する。マルチビューテレビ(MVTV)の場合には最大3とし、3Dテレビ(3DTV)の場合には最大2とする。
「component_group_id」はコンポーネントグループ識別を記述する。メイングループの場合には”0x0”を割り当て、各サブグループの場合には放送事業者がイベント内で一意に割り当てる。
「num_of_CA_unit」はコンポーネントグループ内での課金/非課金単位の数を記述する。最大値は2 とする。当該コンポーネントグループ内に課金を行うコンポーネントが一切含まれない場合は"0x1"とする。
「CA_unit_id」は課金単位識別を記述する。放送事業者がイベント内で一意に割り当てる。「num_of_component」は当該コンポーネントグループに属し、かつ直前の「CA_unit_id 」で示される課金/非課金単位に属するコンポーネントの数を記述する。最大値は15とする。
「component_tag」はコンポーネントグループに属するコンポーネントタグ値を記述する。「total_bit_rate」はコンポーネントグループ内の総ビットレートを記述する。ただし、デフォルト値の場合は”0x00”を記述する。
「text_length」は後続のコンポーネントグループ記述のバイト長を記述する。最大値は16(全角8 文字)とする。「text_char」はコンポーネントグループに関する説明を必ず記述する。デフォルト文字列は規定しない。また、改行コードは使用しない。
なお、マルチビューテレビサービスを行う場合には「component_group_type」は’000’として必ず送出する。また、3Dテレビサービスを行う場合には「component_group_type」は’001’として必ず送出する。
このように送信装置1で送出運用することにより、受信装置4がcomponent_group_typeを監視することで、現在受信している、あるいは将来受信する番組が3D番組であることを認識できる効果がある。
図17は、3D番組詳細記述子の送信装置1における送出運用規則の一例を示す。「descriptor_tag」には3D番組詳細記述子を意味する“0xE1”を記述する。「descriptor_length」には、3D番組詳細記述子の記述子長を記述する。「3d_2d_type」は3D/2D識別を記述する。図10(b)の中から設定する。「3d_method_type」は3D方式識別を記述する。図11の中から設定する。「stream_type」は番組のESの形式をを記述する。図3の中から設定する。「component_tag」は当該番組内で一意となるコンポーネントタグ値を記述する。
このように送信装置1で送出運用することにより、受信装置4が3D番組詳細記述子を監視することで、この記述子が存在すれば、現在受信している、あるいは将来受信する番組が3D番組であることを認識できる効果がある。
図18は、サービス記述子の送信装置1における送出運用規則の一例を示す。「descriptor_tag」にはサービス記述子を意味する“0x48”を記述する。「descriptor_length」には、サービス記述子の記述子長を記述する。「service_type」はサービス形式種別を記述する。
サービス形式種別については、図13の中から設定する。「service_provider_name_length」はBS/CSデジタルテレビジョン放送では事業者名長を記述する。最大値は20とする。地上デジタルテレビジョン放送ではservice_provider_name を運用しないため、“0x00”を記述する。
「char」はBS/CSデジタルテレビジョン放送では事業者名を記述する。最大全角10文字。地上デジタルテレビジョン放送では何も記述しない。「service_name_length」は編成チャンネル名長を記述する。最大値は20 とする。「char」は編成チャンネル名を記述する。20バイト以内かつ全角10文字以内である。なお、対象編成チャンネルに対し、1個のみを必ず配置する。
このように送信装置1で送出運用することにより、受信装置4がservice_typeを監視することで、編成チャンネルが3D番組のチャンネルであることを認識できる効果がある。
図19は、サービスリスト記述子の送信装置1における送出運用規則の一例を示す。「descriptor_tag」にはサービスリスト記述子を意味する“0x41”を記述する。「descriptor_length」には、サービスリスト記述子の記述子長を記述する。「loop」は対象トランスポートストリームに含まれるサービス数のループを記述する。
「service_id」は当該トランスポートストリームに含まれるservice_id を記述する。「service_type」は対象サービスのサービスタイプを記述する。図13の中から設定する。なお、NIT内TSループに対して必ず配置する。
このように送信装置1で送出運用することにより、受信装置4がservice_typeを監視することで、編成チャンネルが3D番組のチャンネルであることを認識できる効果がある。
以上、送信装置1における番組情報の送出例について説明したが、番組が2D番組から3D番組に切り替わる際に、3D番組の始まる最初の画面において、例えばテロップなどを用いて「これから3D番組が開始される旨」、「3D表示で視聴する場合には3D視聴用のメガネを装着する旨」、「眼が疲れているときや体調が悪いときには2D表示の視聴を勧める旨」、「3D番組の長時間の視聴は眼が疲れたり体調が悪くなる可能性がある旨」などを送信装置1で作成する3D番組の映像にはめ込んで送出することにより受信装置4で3D番組を視聴するユーザに対して3D番組視聴に対する注意・警告を行うことができるメリットがある。
<受信装置のハードウェア構成>
図25は、図1のシステムのうち、受信装置4の構成例を示すハードウェア構成図である。21は受信機全体を制御するCPU(Central Processing Unit)、22はCPU21と受信装置内各部との制御および情報を送信するための汎用バス、23は無線(衛星、地上)、ケーブルなどの放送伝送網を介して送信装置1から送信された放送信号を受信し、特定の周波数を選局し復調、誤り訂正処理、などを行い、MPEG2-Transport Stream(以下、「TS」ともいう。)などの多重化パケットを出力するチューナ、24はスクランブル部13によるスクランブルを復号するデスクランブラ、25はネットワークと情報を送受信し、インターネットと受信装置間で各種情報およびMPEG2―TSを送受信するネットワークI/F(Interface)、26は例えば受信装置4に内蔵されているHDD(Hard Disk Drive)やフラッシュメモリ、またはリムーバブルなHDD、ディスク型記録媒体、フラッシュメモリ、などの記録媒体、27は記録媒体26を制御し、記録媒体26への信号の記録や記録媒体26からの信号の再生を制御する記録再生部、29はMPEG2―TSなどの形式に多重化されている信号を、映像ES(Elementary Stream)、音声ES、番組情報などの信号に分離する多重分離部である。ESとは、圧縮・符号化された画像・音声データのそれぞれのことである。30は映像ESを、映像信号に復号する映像復号部、31は音声ESを、音声信号に復号し、スピーカ48に出力または音声出力42から出力する音声復号部、32は、映像復号部30で復号された映像信号を前記CPUの指示に従い3Dまたは2Dの映像信号を後述する変換処理により所定のフォーマットに変換する処理や、CPU21が作成したOSD(On Screen Display)などの表示を映像信号に重畳する処理などを行い、処理後の映像信号をディスプレイ47または映像信号出力部41に出力し、処理後の映像信号のフォーマットに対応する同期信号や制御信号(機器制御に使用)を映像信号出力部41および制御信号出力部43から出力する映像変換処理部、33はユーザー操作入力部45からの操作入力(例えばIR(Infrared Radiation)信号を発信するリモートコントローラーからのキーコード)を受信し、またCPU21や映像変換処理部32が生成した外部機器への機器制御信号(例えばIR)を機器制御信号送信部44から送信する制御信号送受信部、34は内部にカウンタを有し、また現在の時刻の保持を行うタイマー、46は前記多重分離部で再構成されたTSに対し暗号化等必要な処理を行い外部にTSを出力、または外部から受信したTSを復号化して多重分離部29に対して入力するシリアルインタフェースやIPインタフェースなどの高速デジタルI/F、47は映像復号部30が復号して映像変換処理部32により映像が変換された3D映像および2D映像を表示するディスプレイ、48は音声復号部が復号した音声信号に基づいて音を出力するスピーカを表しており、主にこれらの装置により、受信装置4は構成されている。ディスプレイに3D表示する場合も、必要であれば、同期信号や制御信号は制御信号出力部43や機器制御信号送信端子44から出力する。
受信装置および視聴装置および3D視聴補助装置(例えば3Dメガネ)を含めたシステム構成について、図35および図36に例を示す。図35は受信装置と視聴装置が一体となったシステム構成、また図36は受信装置と視聴装置が別構成となった場合の例である。
図35において、3501は前記受信装置4の構成を含み3D映像表示および音声出力が可能な表示装置、3503は前記表示装置3501から出力される3D視聴補助装置制御信号(例えばIR信号)、3502は3D視聴補助装置を表している。図35の例においては、映像信号は前記表示装置3501が具備する映像ディスプレイから表示され、また音声信号は前記表示装置3501が具備するスピーカから出力される。また同様に表示装置3501は機器制御信号44または制御信号43の出力部から出力される3D視聴補助装置制御信号を出力する出力端子を具備する。
なお、上記の説明は、図35に示す表示装置3501と3D視聴補助装置3502とが後述するアクティブシャッター方式により表示する例を前提として説明したが、図35に示す表示装置3501と3D視聴補助装置3502とが後述する偏光分離による3D映像表示装置を行う方式の場合には、3D視聴補助装置3502は左目と右目に異なる映像が入射するように偏光分離を行うものであればよく、表示装置3501から機器制御信号44または制御信号43の出力部から3D視聴補助装置3502へ出力される3D視聴補助装置制御信号3503を出力しなくともよい。
また図36において、3601は前記受信装置4の構成を含む映像音声出力装置、3602は映像/音声/制御信号を伝送する伝送経路(例えばHDMIケーブル)、3603は外部から入力された映像信号や音声信号を表示出力するディスプレイを表す。
この場合、映像音声出力装置3601(受信装置4)の映像出力41から出力される映像信号と音声出力42から出力される音声信号、制御信号出力部43から出力される制御信号は、伝送路3602で規定されているフォーマット(例えばHDMI規格により規定されるフォーマット)に適した形式の伝送信号に変換され、伝送経路3602を経由しディスプレイ3603に入力される。ディスプレイ3603では前記伝送信号を受信し、もとの映像信号、音声信号、制御信号に復号し、映像と音声を出力するとともに、3D視聴補助装置3502に対して3D視聴補助装置制御信号3503を出力する。
なお、上記の説明は、図36に示す表示装置3603と3D視聴補助装置3502とが後述するアクティブシャッター方式により表示する例を前提として説明したが、図36に示す表示装置3603と3D視聴補助装置3502とが後述する偏光分離による3D映像表示装置を行う方式の場合には、3D視聴補助装置3502は左目と右目に異なる映像が入射するように偏光分離を行うものであればよく、表示装置3603から3D視聴補助装置3502へ3D視聴補助装置制御信号3603を出力しなくともよい。
なお、図25に示した21〜46の各構成要件の一部は、1つの、又は複数のLSIで構成されていてもよい。また、図25に示した21〜46の各構成要件の一部の機能をソフトウェアで実現する構成としてもよい。
<受信装置の機能ブロック図>
図26は、CPU21内部における処理の機能ブロック構成の一例である。ここで各機能ブロックは例えばCPU21で実行されるソフトウェアのモジュールとして存在しており、それぞれのモジュール間は何らかの手段(例えばメッセージパッシング、ファンクションコール、イベント送信)などを行って情報やデータの受け渡しおよび制御指示を行う。
また、各モジュールは受信装置4内部の各ハードウェアとも、汎用バス22を介して情報の送受信を行っている。また図に記載の関係線(矢印)は今回の説明に関連する部分を主に記載しているが、その他のモジュール間についても通信手段および通信を必要とした処理は存在する。例えば選局制御部59は、選局に必要な番組情報を番組情報解析部54から適宜取得している。
次に各機能ブロックの機能について説明する。システム制御部51は各モジュールの状態やユーザーの指示状態などを管理し、各モジュールに対して制御指示を行う。ユーザー指示受信部52は制御信号送受信部33が受信したユーザー操作の入力信号を受信および解釈し、ユーザーの指示をシステム制御部51に伝える。機器制御信号送信部53はシステム制御部51や、他のモジュールからの指示に従い、制御信号送受信部33に対して機器制御信号を送信するように指示する。
番組情報解析部54は多重分離部29から番組情報を取得して内容を分析し、必要な情報を各モジュールに対して提供する。時間管理部55は番組情報解析部54から、TSに含まれる時刻補正情報(TOT:Time offset table)を取得して現在の時刻を管理するとともに、タイマー34が有するカウンタを使用し、各モジュールの要求に従いアラーム(指定時刻の到来を通知)やワンショットタイマ(一定時間の経過を通知)の通知を行う。
ネットワーク制御部56は、ネットワークI/F25を制御し、特定URL(Unique Resource Locater)や特定IP(Internet Protocol)アドレスからの各種情報およびTSの取得を行う。復号制御部57は、映像復号部30および音声復号部31を制御し、デコードの開始や停止、ストリームに含まれる情報の取得などを行う。
記録再生制御部58は記録再生部27を制御し、記録媒体26から、特定のコンテンツの特定の位置から、また任意の読み出しの形式(通常再生、早送り、巻戻し、一時停止)で信号を読み出す。また、記録再生部27に入力された信号を、記録媒体26に対して記録する制御を行う。
選局制御部59は、チューナ23、デスクランブラ24、多重分離部29および復号制御部57を制御し、放送の受信および放送信号の記録を行う。または記録媒体からの再生を行い、映像信号および音声信号を出力するまでの制御を行う。詳しい放送受信の動作および放送信号の記録動作、記録媒体からの再生動作については後述する。
OSD作成部60は、特定のメッセージを含むOSDデータを作成し、映像変換制御部61に対して前記作成したOSDデータを映像信号に重畳して出力するように指示を行う。ここでOSD作成部60は、左目用と右目用といった視差のあるOSDデータを作成し、映像変換制御部61に対して、前記左目用と右目用のOSDデータをもとに3D表示を要求することにより、3Dでのメッセージ表示等を行う。
映像変換制御部61は、映像変換処理部32を制御し、映像復号部30から映像変換処理部32に入力された映像信号を、前記システム制御部51からの指示に従い3Dまたは2Dの映像に変換し変換した映像と、OSD作成部60から入力されたOSDを重畳し、さらに必要に応じて映像を加工(スケーリングやPinP、3D表示など)してディスプレイ47に表示または外部に出力する。映像変換処理部32における3D映像、2D映像の所定のフォーマットへの変換方法の詳細については後述する。各機能ブロックはこれらのような機能を提供する。
<放送受信>
ここで放送受信を行う場合の制御手順と信号の流れについて説明する。まず特定チャンネル(CH)の放送受信を示すユーザーの指示(例えばリモコンのCHボタン押下)を、ユーザー指示受信部52から受信したシステム制御部51は、ユーザーの指示したCH(以下指定CH)での選局を選局制御部59に指示する。
前記指示を受信した選局制御部59は、チューナ23に対して指定CHの受信制御(指定周波数帯への選局、放送信号復調処理、誤り訂正処理)を指示し、TSをデスクランブラ24に出力させる。
次に選局制御部59は、デスクランブラ24に対して前記TSのデスクランブルし多重分離部29に出力するように指示し、多重分離部29に対しては、入力されたTSの多重分離、および多重分離した映像ESの映像復号部30への出力と、音声ESの音声復号部31への出力、を指示する。
また、選局制御部59は、復号制御部57に対し、映像復号部30と音声復号部31に入力された映像ESおよび音声ESの復号指示を行う。前記復号指示を受信した復号制御部31は、映像復号部30に対して復号した映像信号を映像変換処理部32に出力するように制御し、音声復号部31に対して復号した音声信号をスピーカ48または音声出力42に出力するように制御を行う。このようにして、ユーザーが指定したCHの映像および音声を出力する制御を行う。
また、選局時のCHバナー(CH番号や番組名、番組情報等を表示するOSD)を表示するために、システム制御部51はOSD作成部60に対してCHバナーの作成および出力を指示する。前記指示を受信したOSD作成部60は、作成したCHバナーのデータを映像変換制御部61に送信し、前記データを受信した映像変換制御部61はCHバナーを映像信号に重畳して出力するように制御を行う。このようにして、選局時等のメッセージ表示を行う。
<放送信号の記録>
次に放送信号の記録制御と信号の流れについて説明する。特定のCHの記録を行う場合には、システム制御部51は選局制御部59に対して特定CHの選局および記録再生部27への信号出力を指示する。
前記指示を受信した選局制御部59は、前記放送受信処理と同様に、チューナ23に対して指定CHの受信制御を指示し、デスクランブラ24に対して、チューナー23から受信したMPEG2−TSのデスクランブル、多重分離部29に対してデスクランブラ24からの入力を記録再生部27に出力するように制御する。
また、システム制御部51は、記録再生制御部58に対して、記録再生部27への入力TSを記録するように指示する。前記指示を受信した記録再生制御部58は、記録再生部27に入力される信号(TS)に対して、暗号化などの必要な処理を行い、また記録再生時に必要な付加情報(記録CHの番組情報、ビットレート等のコンテンツ情報)の作成、また管理データ(記録コンテンツのID、記録媒体26上の記録位置、記録形式、暗号化情報など)への記録を行った後に、前記MPEG2−TSおよび付加情報、管理データを記録媒体26へ書き込む処理を行う。このようにして放送信号の記録を行う。
<記録媒体からの再生>
次に記録媒体からの再生処理について説明する。特定の番組の再生を行う場合には、システム制御部51は、記録再生制御部58に対して、特定の番組の再生を指示する。この際の指示としては、コンテンツのIDと再生開始位置(例えば番組の先頭、先頭から10分の位置、前回の続き、先頭から100Mbyteの位置等)を指示する。前記指示を受信した記録再生制御部58は、記録再生部27を制御し、付加情報や管理データを用いて記録媒体26から信号(TS)を読み出して、暗号の復号などの必要な処理を行った後に、多重分離部29に対してTSを出力するように処理を行う。
また、システム制御部51は、再生信号の映像音声出力を選局制御部59に対して指示する。前記指示を受信した選局制御部59は、記録再生部27からの入力を多重分離部29に出力するように制御し、多重分離部29に対して、入力されたTSの多重分離、および多重分離された映像ESの映像復号部30への出力、および多重分離された音声ESの音声復号部31への出力、を指示する。
また、選局制御部59は、復号制御部57に対し、映像復号部30と音声復号部31に入力された映像ESおよび音声ESの復号指示を行う。前記復号指示を受信した復号制御部31は、映像復号部30に対して復号した映像信号を映像変換処理部32に出力するように制御し、音声復号部31に対して復号した音声信号をスピーカ48または音声出力42に出力するように制御を行う。このようにして記録媒体からの信号再生処理を行う。
<3D映像の表示方法>
本発明に用いることのできる3D映像の表示方式としては、左目と右目に視差を感じさせる左目用と右目用の映像を作成し、人間に立体物が存在しているように認識させるいくつかの方式がある。
ひとつの方式としては、ユーザーが着用するメガネに対して、液晶シャッター等を用いて左右のグラスを交互に遮光を行い、またそれと同期させて左目用と右目用の映像を表示させ、左右の目に映る画像に視差を発生させるアクティブシャッター方式がある。
この場合、受信装置4は、ユーザーが着用するアクティブシャッター方式メガネへ、制御信号出力部43や機器制御信号送信端子44から同期信号や制御信号を出力する。また、映像信号出力部41から映像信号を外部の3D映像表示装置へ出力して、左目用の映像と右目用の映像とを交互に表示させる。または、受信装置4の有するディスプレイ47に同様の3D表示を行う。このようにすれば、アクティブシャッター方式メガネを着用したユーザは、当該3D映像表示装置または受信装置4の有するディスプレイ47で3D映像を視聴することができる。
また、別の方式としては、ユーザーが着用するメガネに対して、左右のグラスに直線偏光で直交するフィルムを貼るもしくは直線偏光コートを施す、または円偏光で偏光軸の回転方向が逆方向のフィルムを貼るもしくは円偏光コートを施し、左目と右目のメガネの偏光にそれぞれ対応した互いに異なる偏光による左目用の映像と右目用の映像を同時に出力することにより、左目と右目のそれぞれに入射する映像を偏光状態により分離することで左目と右目で視差を発生させる偏光方式がある。
この場合、受信装置4は、映像信号出力部41から映像信号を外部の3D映像表示装置へ出力して、該3D映像表示装置は、左目用の映像と右目用の映像とを異なる偏光状態で表示させる。または、受信装置4の有するディスプレイ47によって同様の表示を行う。このようにすれば、偏光方式メガネを着用したユーザは、当該3D映像表示装置または受信装置4の有するディスプレイ47で3D映像を視聴することができる。なお、偏光方式では、偏光方式メガネには、受信装置4から同期信号や制御信号を送信することなく、3D映像視聴が可能となるため、制御信号出力部43や機器制御信号送信端子44から同期信号や制御信号を出力する必要はない。
また、このほか、色による左右の目の映像を分離させるカラー分離方式を用いてもよい。また、裸眼で視聴可能な視差障壁を利用して3D映像を作り出す視差障壁方式を用いてもよい。
なお、本発明に係る3D表示方式は特定の方式に限定されるものではない。
<番組情報を利用した3D番組の具体的な判定方法の例>
3D番組の判定方法の例としては、既に説明した放送信号および再生信号の番組情報に含まれる各種テーブルや記述子から、新たに含めた3D番組か否かを判定する情報を取得し、3D番組か否かを判定することが可能である。
PMTや、EIT[schedule basic/schedule extended/present/following]、といったテーブルの中に記載の、コンポーネント記述子、コンポーネントグループ記述子に新たに含められた3D番組か否かを判定する情報を確認する、または3D番組判定用の新たな記述子である3D番組詳細記述子を確認する、NITや、SDT、といったテーブルの中に記載の、サービス記述子、サービスリスト記述子などに新たに含められた3D番組か否かを判定する情報を確認する、などにより3D番組か否かを判定する。これらの情報は、前述した送信装置において放送信号に付与され、送信される。送信装置では、例えば管理情報付与部16によってこれらの情報が放送信号に付与される。
それぞれのテーブルの使い分けとしては、例えばPMTについては現在の番組の情報しか記載していないため、未来の番組の情報については確認することができないが、信頼度は高いといった特徴がある。一方EIT[schedule basic/schedule extended]については現在の番組だけでなく未来の番組の情報を取得できるが、受信完了までの時間が長く、保持する記憶領域が多く必要で、かつ未来の事象のため信頼度が低いなどのデメリットがある。EIT[following]については次の放送時間の番組の情報を取得できるため、本実施例への適用については好適である。またEIT[present]については現在の番組情報の取得に使用でき、PMTとは異なる情報を入手できる。
次に、送信装置1から送出された、図4、図6、図10、図12、図14で説明した番組情報に関係する受信装置4の処理の詳細例を説明する。
図20は、受信装置4における、コンポーネント記述子の各フィールドに対する処理の一例を示す。
「descriptor_tag」が“0x50”だと、当該記述子がコンポーネント記述子であると判断する。「descriptor_length」により、コンポーネント記述子の記述子長であると判断する。「stream_content」が“0x01”,“0x05”,“0x06”,“0x07”だと、当該記述子は有効(映像)である判断する。“0x01”,“0x05”,“0x06”,“0x07”以外の場合、当該記述子は無効である判断する。「stream_content」が“0x01”,“0x05”,“0x06”,“0x07”の場合、以降の処理を行う。
「component_type」は、当該コンポーネントの映像コンポーネント種別と判断する。このコンポーネント種別については、図5のいずれかの値が指定されている。この内容により、当該コンポーネントが3D映像番組についてのコンポーネントか否かが判断可能である。
「component_tag」は、当該番組内で一意となるコンポーネントタグ値で、PMT のストリーム識別子のコンポーネントタグ値と対応させて利用できる。
「ISO_639_language_code」は、“jpn(”0x6A706E“)”以外でも、後に配置される文字コードを”jpn”として扱う。
「text_char」は、16byte(全角8 文字)以内をコンポーネント記述と判断する。このフィールドが省略された場合はデフォルトのコンポーネント記述と判断する。デフォルト文字列は「映像」である。
以上説明したように、コンポーネント記述子はイベント(番組)を構成する映像コンポーネント種別を判断でき、コンポーネント記述を受信機における映像コンポーネント選択の際に利用する事ができる。
なお、component_tag値が0x00〜0x0F の値に設定された映像コンポーネントのみを単独での選択対象とする。前記以外のcomponent_tag 値で設定された映像コンポーネントは、単独での選択対象とはならず、コンポーネント選択機能などの対象としてはならない。
また、イベント(番組)中のモード変更などにより、コンポーネント記述が実際のコンポーネントと一致しないことが有る。(コンポーネント記述子のcomponent_type は、当該コンポーネントの代表的なコンポーネント種別を記載し、番組途中でのモード変更に対しリアルタイムでこの値を変えるようなことは行わない。)
また、コンポーネント記述子により記載されたcomponent_type は、デジタル記録機器におけるコピー世代を制御する情報および最大伝送レートの記述であるデジタルコピー制御記述子が当該イベント(番組)に対して省略された場合のデフォルトのmaximum_bit_rate を判断する際に参照される。
このように受信装置4における、本記述子の各フィールドに対する処理をおこなうことにより、受信装置4がstream_contentとcomponent_typeを監視することで、現在受信している、あるいは将来受信する番組が3D番組であることを認識できる効果がある。
図21は、受信装置4における、コンポーネントグループ記述子の各フィールドに対する処理の一例を示す。
「descriptor_tag」が“0xD9”だと、当該記述子がコンポーネントグループ記述子であると判断する。「descriptor_length」により、コンポーネントグループ記述子の記述子長であると判断する。
「component_group_type」が‘000’ だと、マルチビューテレビサービスと判断し、‘001’ だと、3Dテレビサービスと判断する。
「total_bit_rate_flag」が’0’だと、イベント(番組)中のグループ内の総ビットレートが当該記述子に記載されていないと判断する。’1’だと、イベント(番組)中のグループ内の総ビットレートが当該記述子に記載されていると判断する。
「num_of_group」は、イベント(番組)内でのコンポーネントグループの数と判断する。最大値が存在しこれを越えた場合には最大値として処理する可能性がある。「component_group_id」は、”0x0”だと、メイングループと判断する。”0x0”以外だと、サブグループと判断する。
「num_of_CA_unit」は、コンポーネントグループ内での課金/非課金単位の数と判断する。最大値を越えた場合には2 として処理する可能性がある。
「CA_unit_id」が“0x0”だと、非課金単位グループと判断する。“0x1”だと、デフォルトES群を含む課金単位と判断する。“0x0”と“0x1”以外だと、上記以外の課金単位識別と判断する。
「num_of_component」は、当該コンポーネントグループに属し、かつ直前のCA_unit_id で示される課金/非課金単位に属するコンポーネントの数と判断する。最大値を越えた場合には15として処理する可能性がある。
「component_tag」は、コンポーネントグループに属するコンポーネントタグ値と判断し、PMTのストリーム識別子のコンポーネントタグ値と対応させて利用できる。「total_bit_rate」は、コンポーネントグループ内の総ビットレートと判断する。ただし、”0x00”の際はデフォルトと判断する。
「text_length」が16(全角8 文字)以下だとコンポーネントグループ記述長と判断し、16(全角8 文字)より大きいと、コンポーネントグループ記述長が16(全角8文字)を超えた分の説明文は無視して良い。
「text_char」は、コンポーネントグループに関する説明文を指す。なお、component_group_type=’000’のコンポーネントグループ記述子の配置によって、当該イベント(番組)においてマルチビューテレビサービスを行うと判断し、コンポーネントグループ毎の処理に利用することができる。
また、component_group_type=’001’のコンポーネントグループ記述子の配置によって、当該イベント(番組)において3Dテレビサービスを行うと判断し、コンポーネントグループ毎の処理に利用することができる。
さらに、各グループのデフォルトES群は、CA_unit ループ先頭に配置されるコンポーネントループ中に必ず記載する。
メイングループ(component_group_id=0x0)において、
・グループのデフォルトES群が非課金対象ならば、free_CA_mode=0 とし、CA_unit_id=0x1 のコンポーネントループを設定してはならない。
・グループのデフォルトES群が課金対象ならば、free_CA_mode=1 とし、CA_unit_id=”0x1”のコンポーネントループを必ず設定し、記載する。
また、サブグループ(component_group_id>0x0)において、
・サブグループに対しては、メイングループと同じ課金単位、あるいは非課金単位のみ設定できる。
・グループのデフォルトES群が非課金対象ならば、CA_unit_id=0x0 のコンポーネントループを設定し、記載する。
・グループのデフォルトES群が課金対象ならば、CA_unit_id=0x1 のコンポーネントループを設定し、記載する。
このように受信装置4における、本記述子の各フィールドに対する処理をおこなうことにより、受信装置4がcomponent_group_typeを監視することで、現在受信している、あるいは将来受信する番組が3D番組であることを認識できる効果がある。
図22は、受信装置4における、3D番組詳細記述子の各フィールドに対する処理の一例を示す。
「descriptor_tag」が“0xE1”だと、当該記述子が3D番組詳細記述子であると判断する。「descriptor_length」により、3D番組詳細記述子の記述子長であると判断する。「3d_2d_type」は、当該3D番組における3D/2D識別であると判断する。図10(b)の中から指定される。「3d_method_type」は、当該3D番組における3D方式識別であると判断する。図11の中から指定される。
「stream_type」は、当該3D番組のESの形式であると判断する。図3の中から指定される。「component_tag」は、当該3D番組内で一意となるコンポーネントタグ値であると判断する。PMT のストリーム識別子のコンポーネントタグ値と対応させて利用できる。
なお、3D番組詳細記述子自体の有無により、当該番組が3D映像番組であるか否かを判断する構成としてもよい。すなわち、この場合は、3D番組詳細記述子がなければ、2D映像番組と判断し、3D番組詳細記述子がある場合には、3D映像番組であると判断する。
このように受信装置4における、本記述子の各フィールドに対する処理をおこなうことにより、受信装置4が3D番組詳細記述子を監視することで、この記述子が存在すれば、現在受信している、あるいは将来受信する番組が3D番組であることを認識できる効果がある。
図23は、受信装置4における、サービス記述子の各フィールドに対する処理の一例を示す。「descriptor_tag」が“0x48”だと、当該記述子がサービス記述子であると判断する。「descriptor_length」により、サービス記述子の記述子長であると判断する。「service_type」は、図13に示されたservice_type 以外の場合は当該記述子を無効と判断する。
「service_provider_name_length」は、BS/CSデジタルテレビジョン放送の受信の場合には、20以下だと、事業者名長と判断し、20より大きいと、事業者名を無効と判断する。一方、地上デジタルテレビジョン放送の受信の場合には、“0x00”以外は無効と判断する。
「char」は、BS/CSデジタルテレビジョン放送の受信の場合には、事業者名と判断する。一方、地上デジタルテレビジョン放送の受信の場合には、記載内容は無視する。「service_name_length」が20以下だと、編成チャンネル名長と判断し、20より大きいと、編成チャンネル名を無効と判断する。
「char」は、編成チャンネル名と判断する。なお、上記図18で説明した送出運用規則の一例に従い記述子を配置したSDTを受信できなければ、対象サービスの基本情報は無効であると判断する。
このように受信装置4における、本記述子の各フィールドに対する処理をおこなうことにより、受信装置4がservice_typeを監視することで、編成チャンネルが3D番組のチャンネルであることを認識できる効果がある。
図24は、受信装置4における、サービスリスト記述子の各フィールドに対する処理の一例を示す。「descriptor_tag」が“0x41”だと、当該記述子がサービスリスト記述子であると判断する。「descriptor_length」により、サービスリスト記述子の記述子長であると判断する。
「loop」は、対象トランスポートストリームに含まれるサービス数のループを記述する。「service_id」は、当該トランスポートストリームに対するservice_id と判断する。「service_type」は、対象サービスのサービスタイプを示す。図13で規定されるサービスタイプ以外は無効と判断する。
以上説明したように、サービスリスト記述子は対象ネットワークに含まれるトランスポートストリームの情報と判断することができる。
このように受信装置4における、本記述子の各フィールドに対する処理をおこなうことにより、受信装置4がservice_typeを監視することで、編成チャンネルが3D番組のチャンネルであることを認識できる効果がある。
次に各テーブル内の具体的な記述子について説明する。まず、PMTの2ndループ(ES毎のループ)に記載のstream_typeの中のデータの種類により、上記図3で説明したようにESの形式を判定することができるが、この中に、現在放送されているストリームが3D映像であることを示す記述が存在する場合には、その番組を3D番組と判定する(例えば、stream_typeに多視点映像符号化(例:H.264/MVC)ストリームのサブビットストリーム(他の視点)を示す0x1Fがあれば、その番組を3D番組と判定する。
また、stream_type以外にも、PMTの中で現在reservedとされている領域について、新たに3D番組または2D番組を識別する2D/3D識別ビットを割り当て、その領域で判定することも可能である。
EITについても同様にreservedの領域に新たに2D/3D識別ビットを割り当てして判定することも可能である。
PMTおよび/またはEITに配置されるコンポーネント記述子で3D番組を判定する場合は、上記図4および5で説明したようにコンポーネント記述子のcomponent_typeに、3D映像を示す種別を割り当て(例えば、図5(c)〜(e))、component_typeが3Dを表すものが存在すれば、その番組を3D番組と判定することが可能である。(例えば、図5(c)〜(e)などを割り当てし、その値が対象番組の番組情報に存在していることを確認する。)
EITに配置されるコンポーネントグループ記述子による判定方法としては、上記図6および7で説明したようにcomponent_group_typeの値に、3Dサービスを表す記述を割り当て、component_group_typeの値が、3Dサービスを表していれば、3D番組と判別可能である(例えば、ビットフィールドで001は、3DTVサービスなどを割り当てし、その値が対象番組の番組情報に存在していることを確認する。)
PMTおよび/またはEITに配置される3D番組詳細記述子による判定方法としては、上記図10および11で説明したように対象の番組が3D番組であるか判定する場合には、3D番組詳細記述子内の3d_2d _type(3D/2D種別)の内容により判定可能である。また、受信番組について3D番組詳細記述子が伝送されていない無い場合は、2D番組と判断する。また、前記記述子の中に含まれる3D方式種別(上記3d_method_type)に受信装置が対応可能な3D方式であれば、次番組を3D番組と判定する方法も考えられる。その場合には、記述子の解析処理は複雑になるが、受信装置が対応不可能な3D番組に対してメッセージ表示処理や記録処理を行う動作を中止することが可能になる。
SDTに配置されるサービス記述子やNITに配置されるサービスリスト記述子に含まれるservice_typeの情報に、上記図12および13および14で説明したように0x01に3D映像サービスを割り当て、当該記述子がある番組情報を取得した場合に、3D番組として判定することが可能である。この場合には、番組単位での判定ではなく、サービス(CH、編成チャンネル)単位での判定となり、同一編成チャンネル内での次番組の3D番組判定はできないが、情報の取得が番組単位でないため容易といった利点もある。
また番組情報については、専用の通信路(放送信号、またはインターネット)を通じて取得する方法もある。その場合にも、番組の開始時間とCH(放送編成チャンネル、URLまたはIPアドレス)、その番組が3D番組かをあらわす識別子があれば、同様に3D番組判定は可能である。
以上の説明では、サービス(CH)または番組単位で3D映像か否かを判定するためのさまざまな情報(テーブルや記述子に含まれる情報)について説明したが、これらは本発明において必ずしも全て送信する必要はない。放送形態に合せて必要な情報を送信すればよい。これらの情報のうち、それぞれ単独の情報を確認して、サービス(CH)または番組単位で3D映像か否かを判定してもよく、複数の情報を組み合わせてサービス(CH)または番組単位で3D映像か否かを判定してもよい。複数の情報を組み合わせて判定する場合は、3D映像放送サービスであるが、一部の番組だけ2D映像であるなどの判定も可能となる。このような判定ができる場合は、受信装置で、例えばEPGでは当該サービスが「3D映像放送サービス」であることを明示することができ、かつ、当該サービスに3D映像番組以外に2D映像番組が混在していても、番組受信時に3D映像番組と2D映像番組とで表示制御等を切り替えることが可能となる。
なお、以上説明した3D番組の判定方法により、3D番組と判定された場合において、例えば図5(c)〜(e)で指定された3Dコンポーネントが受信装置4で適切に処理(表示、出力)することができる場合には3Dにて処理(再生、表示、出力)し、受信装置4で適切に処理(再生、表示、出力)することができない場合(例えば、指定された3D伝送方式に対応する3D映像再生機能がない場合など)には2Dにて処理(再生、表示、出力)してもよい。このとき、2D映像の表示、出力とともに、当該3D映像番組が、受信装置において適切に3D表示または3D出力できない旨を合せて表示してもよい。このようにすれば、2D映像番組として放送された番組なのか、3D映像番組として放送された番組であるが受信装置で適切に処理できないため2D映像を表示しているのかをユーザが把握することができる。
<3D2視点別ES伝送方式の3Dコンテンツの3D再生/出力/表示処理>
次に3Dコンテンツ(3D映像を含むデジタルコンテンツ)再生時の処理について説明する。ここではまず、図47に示すような、1つのTSに主視点映像ESと副視点映像ESが存在する、3D2視点別ES伝送方式の場合の再生処理について説明する。まずユーザーが3D出力/表示への切替指示(例えばリモコンの「3D」キー押下)等を行った場合、前記キーコードを受信したユーザー指示受信部52は、システム制御部51に対して3D映像への切替を指示する(なお、以下の処理は、3D2視点別ES伝送方式のコンテンツについて、3Dコンテンツの3D表示/出力へのユーザー切替指示以外の条件で3D出力/表示に切り替える場合でも同様の処理を行う)。次に、システム制御部51は、上記の方法で現在の番組が3D番組か否かを判定する。
現在の番組が3D番組であった場合には、システム制御部51はまず選局制御部59に対して、3D映像の出力を指示する。前記指示を受信した選局制御部59は、まず番組情報解析部54から主視点映像ESと副視点映像ESそれぞれについて、PID(packet ID)、および符号化方式(例えばH.264/MVC,MPEG2,H.264/AVCなど)を取得し、次に多重分離部29に対して前記主視点映像ESと副視点映像ESを多重分離して映像復号部30に出力するよう制御を行う。
ここで、例えば前記主視点映像ESは、映像復号部の1番入力、前記副視点映像ESは映像復号部の2番入力に入力するように、多重分離部29を制御する。その後選局制御部59は、復号制御部57に対して、映像復号部30の1番入力は主視点映像ESで2番入力は副視点映像ESという情報およびそれぞれの前記符号化方式を送信し、かつこれらのESを復号するように指示を行う。
図47に示す3D2視点別ES伝送方式の組合せ例2や組合せ例4のように、主視点映像ESと副視点映像ESで符号化方式が異なる3D番組を復号するために、映像復号部30は、それぞれの符号化方式に対応した、複数種類の復号機能を有するように構成すればよい。
図47に示す3D2視点別ES伝送方式の組合せ例1や組合せ例3のように、主視点映像ESと副視点映像ESで符号化方式が同じ3D番組を復号するために、映像復号部30は、単一の符号化方式に対応した復号機能のみを有する構成でもかまわない。この場合は、映像復号部30を安価に構成することができる。
前記指示を受信した復号制御部57は、主視点映像ESと副視点映像ESそれぞれの符号化方式に対応した復号を行い、左目用と右目用の映像信号を映像変換処理部32に出力する。ここで、システム制御部51は映像変換制御部61に対して、3D出力処理を行うように指示を行う。前記指示をシステム制御部51から受信した映像変換制御部61は、映像変換処理部32を制御して、映像出力41から出力する、または受信装置4が備えるディスプレイ47に3D映像を表示する。
当該3D再生/出力/表示方法について、図37を用いて説明する。
図37(a)は、3D2視点別ES伝送方式の3Dコンテンツの左右の視点の映像を交互に表示、出力するフレームシーケンシャル方式の出力、表示に対応する再生/出力/表示方法の説明図である。図の左側上部のフレーム列(M1,M2,M3,・・・)が、3D2視点別ES伝送方式のコンテンツの主視点(左目用)映像ESに含まれる複数のフレーム、図の左側下部のフレーム列(S1,S2,S3,・・・)が3D2視点別ES伝送方式のコンテンツの副視点(右目用)映像ESに含まれる複数のフレームを表している。映像変換処理部32では、前記入力された主視点(左目用)/副視点(右目用)映像信号の各フレームを、図の右側のフレーム列(M1,S1,M2,S2,M3,S3,・・・・・・)で表すように、交互にフレームを映像信号として出力/表示する。このような出力/表示方式によれば、各視点それぞれについてディスプレイに表示可能な解像度を最大に用いることができ、高解像度の3D表示が可能となる。
図36のシステム構成において、図37(a)の方式を用いる場合には、上記映像信号の出力とともに、それぞれの映像信号が主視点(左目)用、副視点(右目)用と判別可能な同期信号を制御信号43から出力する。前記映像信号と前記同期信号を受信した外部の映像出力装置は、前記映像信号を前記同期信号に合わせて主視点(左目用)、副視点(右目用)の映像を出力し、かつ3D視聴補助装置に同期信号を送信することにより3D表示を行うことが可能になる。なお、外部の映像出力装置から出力される同期信号は、外部の映像出力装置で生成してもよい。
また図35のシステム構成において、図37(a)の方式を用いて、前記映像信号を受信装置4が備えるディスプレイ47に表示する場合には、前記同期信号を機器制御信号送信部53および制御信号送受信部33を経由し、機器制御信号送信端子44から出力して、外部の3D視聴補助装置の制御(例えばアクティブシャッターの遮光切替)を行うことにより、3D表示を行う。
図37(b)は、3D2視点別ES伝送方式の3Dコンテンツの左右の視点の映像をディスプレイの異なる領域に表示する方式の出力、表示に対応する再生/出力/表示方法の説明図である。当該処理は、3D2視点別ES伝送方式のストリームを映像復号部30で復号し、映像変換処理部32で映像変換処理を行うものである。ここで、異なる領域に表示するとは、例えば、ディスプレイの奇数ラインと偶数ラインをそれぞれ主視点(左目)用、副視点(右目)用の表示領域として表示する等の方法がある。または、表示領域はライン単位でなくともよく、視点ごとに異なる画素を持つディスプレイの場合は、主視点(左目)用の複数の画素の組合せと副視点(右目)用の画素の複数の画素の組合せのそれぞれの表示領域とすればよい。例えば、上述した偏光方式の表示装置では、例えば、上記の異なる領域から、3D視聴補助装置の左目右目のそれぞれの偏光状態に対応した、互いに異なる偏光状態の映像を出力すればよい。このような出力/表示方式によれば、各視点それぞれについてディスプレイに表示可能な解像度は、図37(a)の方式よりも少なくなるが、主視点(左目)用の映像と副視点(右目)用の映像を同時に出力/表示可能であり、交互に表示する必要がない。これにより、図37(a)の方式よりもちらつきの少ない3D表示が可能となる。
なお、図35、図36のいずれのシステム構成においても、図37(b)の方式を用いる場合には、3D視聴補助装置は、偏光分離メガネであればよく、特に電子制御を行う必要がない。この場合、3D視聴補助装置をより安価に提供することが可能となる。
<3D2視点別ES伝送方式の3Dコンテンツの2D出力/表示処理>
3D2視点別ES伝送方式の3Dコンテンツの2D出力/表示を行う場合の動作について以下に説明する。ユーザーが2D映像への切替指示(例えばリモコンの「2D」キー押下)を行った場合、前記キーコードを受信したユーザー指示受信部52は、システム制御部51に対して2D映像への信号切替を指示する(なお、以下の処理は、3D2視点別ES伝送方式の3Dコンテンツの2D出力/表示へのユーザー切替指示以外の条件で2D出力/表示に切り替える場合でも同様の処理を行う)。次に、システム制御部51はまず選局制御部59に対して、2D映像の出力を指示する。
前記指示を受信した選局制御部59は、まず番組情報解析部54から2D映像用のES(前記主視点ES、またはデフォルトタグを持つES)のPIDを取得し、多重分離部29に対して前記ESを映像復号部30に出力するよう制御を行う。その後選局制御部59は復号制御部57に対して、前記ESを復号するように指示を行う。すなわち、3D2視点別ES伝送方式では、主視点と副視点とで、サブストリームまたはESが異なっているので、主視点のサブストリームまたはESのみを復号すればよい。
前記指示を受信した復号制御部57は映像復号部30を制御して前記ESの復号を行い、映像信号を映像変換処理部32に出力する。ここで、システム制御部51は映像変換制御部61に対して、映像の2D出力を行うように制御を行う。前記指示をシステム制御部51から受信した映像変換制御部61は、映像変換処理部32に2D映像信号を映像出力端子41から出力する、またはディスプレイ47に2D映像を表示する制御を行う。
当該2D出力/表示方法について、図38を用いて説明する。符号化映像の構成は図37と同様であるが、上記説明の通り、映像復号部30では第2のES(副視点映像ES)は復号されないため、映像変換処理部32復号される一方のES側の映像信号を図の右側のフレーム列(M1,M2,M3,・・・・・・)で表すような2D映像信号に変換して出力する。このようにして2D出力/表示を行う。
ここでは2D出力/表示の方法として右目用ESの復号を行わない方法について記載したが、3D表示時と同様に、左目用ESと右目用ESの両方の復号を行い、映像変換処理部32で右目用映像信号を間引く処理を実施することにより2D表示を行っても良い。その場合は復号処理や多重分離処理の切り替え処理が無くなり切り替え時間の低減やソフトウェア処理の簡略化などの効果が期待できる。
<Side-by-Side方式/Top-and-Bottom方式の3Dコンテンツの3D出力/表示処理>
次に1つの映像ESに左目用映像と右目用映像が存在する場合(例えばSide-by-Side方式やTop-and-Bottom方式のように1つの2D画面中に左目用映像と右目用映像とを格納する場合)の3Dコンテンツの再生処理を説明する。上記と同様にユーザーが3D映像への切替指示を行った場合、前記キーコードを受信したユーザー指示受信部52は、システム制御部51に対して3D映像への切替を指示する(なお、以下の処理は、Side-by-Side方式やTop-and-Bottom方式の3Dコンテンツの2D出力/表示へのユーザー切替指示以外の条件で2D出力/表示に切り替える場合でも同様の処理を行う)。次に、システム制御部51は、同様に上記の方法で現在の番組が3D番組か否かを判定する。
現在の番組が3D番組であった場合には、システム制御部51はまず選局制御部59に対して、3D映像の出力を指示する。前記指示を受信した選局制御部59は、まず番組情報解析部54から3D映像を含む3D映像ESのPID(packet ID)、および符号化方式(例えばMPEG2,H.264/AVC等)を取得し、次に多重分離部29に対して前記3D映像ESを多重分離して映像復号部30に出力するよう制御し、また映像復号部30に符号化方式に応じた復号化処理を行い、復号した映像信号を映像変換処理部32に出力するように制御を行う。
ここで、システム制御部51は映像変換制御部61に対して、3D出力処理を行うように指示を行う。前記指示をシステム制御部51から受信した映像変換制御部61は、入力された映像信号を左目用映像と右目用映像に分離してスケーリング等の加工(詳細は後述する)を行うように映像変換処理部32に対して指示を行う。映像変換処理部32は変換した映像信号を映像出力41から出力する、または受信装置4が備えるディスプレイ47に映像を表示する。
当該3D映像の再生/出力/表示方法について、図39を用いて説明する。
図39(a)は、Side-by-Side方式またはTop-and-Bottom方式の3Dコンテンツの左右の視点の映像を交互に表示、出力するフレームシーケンシャル方式の出力、表示に対応する再生/出力/表示方法の説明図である。符号化映像としてSide-by-Side方式、Top-and-Bottom方式の説明を併記して図示しているが、両者の異なる点は左目用映像と右目用映像の映像内の配置が異なる点のみのため、以下の説明ではSide-by-Side方式を用いて説明し、Top-and-Bottom方式の説明を省略する。図の左側のフレーム列(L1/R1,L2/R2,L3/R3・・・)が、左目用と右目用の映像が1フレームの左側/右側に配置されたSide-by-Side方式映像信号を表している。映像復号部30では、左目用と右目用の映像1フレームの左側/右側に配置された状態のSide-by-Side方式映像信号が復号され、映像変換処理部32では、前記復号されたSide-by-Side方式映像信号の各フレームを左目用映像と右目用映像になるように左右分離して、さらにスケーリング(出力映像の横サイズに合うように伸張/補間、または圧縮/間引等を実施)をする。さらに、図の右側のフレーム列(L1,R1,L2,R2,L3,R3,・・・・・・)で表すように、交互にフレームを映像信号として出力する。
図39(a)において、交互にフレームを出力/表示する出力/表示映像に変換した後の処理および、3D視聴補助装置への同期信号や制御信号の出力等については、既に説明した、図37(a)で説明した3D2視点別ES伝送方式の3Dコンテンツの3D再生/出力/表示処理と同様であるため、説明を省略する。
図39(b)は、Side-by-Side方式またはTop-and-Bottom方式の3Dコンテンツの左右の視点の映像をディスプレイの異なる領域に表示する方式の出力、表示に対応する再生/出力/表示方法の説明図である。図39(a)と同様に、符号化映像としてSide-by-Side方式、Top-and-Bottom方式の説明を併記して図示しているが、両者の異なる点は左目用映像と右目用映像の映像内の配置が異なる点のみのため、以下の説明ではSide-by-Side方式を用いて説明し、Top-and-Bottom方式の説明を省略する。図の左側のフレーム列(L1/R1,L2/R2,L3/R3・・・)が、左目用と右目用の映像が1フレームの左側/右側に配置されたSide-by-Side方式映像信号を表している。映像復号部30では、左目用と右目用の映像1フレームの左側/右側に配置された状態のSide-by-Side方式映像信号が復号され、映像変換処理部32では、前記復号されたSide-by-Side方式映像信号の各フレームを左目用映像と右目用映像になるように左右分離して、さらにスケーリング(出力映像の横サイズに合うように伸張/補間、または圧縮/間引等を実施)をする。さらに、スケーリングした左目用映像と右目用映像とを異なる異なる領域に出力、表示する。図37(b)での説明と同様に、ここで、異なる領域に表示するとは、例えば、ディスプレイの奇数ラインと偶数ラインをそれぞれ主視点(左目)用、副視点(右目)用の表示領域として表示する等の方法がある。その他、異なる領域への表示処理および偏光方式の表示装置での表示方法等は、図37(b)で説明した3D2視点別ES伝送方式の3Dコンテンツの3D再生/出力/表示処理と同様であるため、説明を省略する。
図39(b)の方式では、ディスプレイの垂直解像度と入力映像の垂直解像度とが同じであっても、左目用映像と右目用映像とをそれぞれディスプレイの奇数ラインと偶数ラインに出力、表示する場合は、それぞれの垂直の解像度を減らす必要がある場合があるが、このような場合も上記スケーリング処理において、左目用映像と右目用映像の表示領域の解像度に対応した間引を実施すればよい。
<Side-by-Side方式/Top-and-Bottom方式の3Dコンテンツの2D出力/表示処理>
Side-by-Side方式またはTop-and-Bottom方式の3Dコンテンツの2D表示を行う場合の各部の動作について下記に説明する。ユーザーが2D映像への切替指示(例えばリモコンの「2D」キー押下)を行った場合、前記キーコードを受信したユーザー指示受信部52は、システム制御部51に対して2D映像への信号切替を指示する(なお、以下の処理は、Side-by-Side方式またはTop-and-Bottom方式の3Dコンテンツの2D出力/表示へのユーザー切替指示以外の条件で2D出力/表示に切り替える場合でも同様の処理を行う)。前記指示を受信したシステム制御部51は映像変換制御部61に対して、2D映像の出力を指示する。前記指示をシステム制御部51から受信した映像変換制御部61は、映像変換処理部32に入力された前記映像信号に対して、2D映像出力を行うように制御を行う。
映像の2D出力/表示方法について、図40を用いて説明する。図40(a)はSide-by-Side方式、図40(b)はTop-and-Bottom方式の説明を図示しており、どちらも左目用映像と右目用映像の映像内の配置が異なるのみのため、説明は図40(a)のSide-by-Side方式を用いて説明する。図の左側のフレーム列(L1/R1,L2/R2,L3/R3・・・)が、左目用と右目用の映像信号が、1フレームの左側/右側に配置されたSide-by-Side方式映像信号を表している。映像変換処理部32では、前記入力されたSide-by-Side方式映像信号の各フレームを左右の左目用映像、右目用映像の各フレームに分離した後、主視点映像(左目用映像)部分のみをスケーリングし、図の右側のフレーム列(L1,L2,L3,・・・・・・)で表すように、主視点映像(左目用映像)のみを映像信号として出力する。
映像変換処理部32は、上記処理を行った映像信号について、2D映像として映像出力41から出力し、制御信号43から制御信号を出力する。このようにして2D出力/表示を行う。
なお、Side-by-Side方式やTop-and-Bottom方式の3Dコンテンツを、1画像に2視点格納したそのままの2D出力/表示を行う例も図40(c)(d)に示す。例えば、図36のように、受信装置と視聴装置が別構成の場合などにおいて、受信装置からは復号したSide-by-Side方式やTop-and-Bottom方式の映像を1画像に2視点格納した映像のまま出力し、視聴装置で3D表示のための変換をおこなってもよい。
<現番組が3Dコンテンツであるか否かに基づく2D/3D映像表示処理フローの例>
次に、現番組が3Dコンテンツである場合、または現番組が3Dコンテンツになった場合のコンテンツの出力/表示処理について説明する。現番組が3Dコンテンツ番組である場合または3Dコンテンツ番組になった場合の3Dコンテンツの視聴に関して、無条件で3Dコンテンツの表示が開始されてしまうと、ユーザは当該コンテンツを視聴することはできず、ユーザの利便性を損ねるおそれがある。これに対し、以下に示す処理を行うことで、ユーザの利便性を向上させることができる。
図41は、番組の切り替わり時における現在番組や番組情報の変更などの契機で実行されるシステム制御部51の処理フローの一例である。図41の例では、2D番組でも、3D番組でも、まずは一方の視点(例えば主視点)の映像の2D表示を行うフローである。
システム制御部51は番組情報解析部54から現在の番組の番組情報を取得し、現在の番組が3D番組か否かを上記の3D番組の判定方法により判定し、さらに現在の番組の3D方式種別(例えば2視点別ES伝送方式/Side-by-Side方式など、例えば3D番組詳細記述子に記載の3D方式種別から判断)を同様に番組情報解析部54から取得する(S401)。なお、現在番組の番組情報の取得は、番組の切り替わり時に限らず、定期的に取得しても良い。
判定の結果、現在の番組が3D番組で無い場合(S402のno)、2Dの映像を2Dで表示するように制御を行う(S403)。
現在の番組が3D番組の場合(S402のyes)、システム制御部51は、図38や図40(a)(b)で説明した方法で、それぞれの3D方式種別に対応した形式で3D映像信号の一方の視点(例えば主視点)を2D表示するように制御を行う(S404)。このとき、3D番組である旨を示す表示を番組の2D表示映像に重畳して表示してもよい。このようにして、現在の番組が3D番組の場合に、一方の視点(例えば主視点)の映像を2D表示する。
なお、選局動作を行い、現在の番組が変更になった場合にも、システム制御部51において上記のフローが実施される。
このように、現在番組が3D番組である場合に、とりあえず一方の視点(例えば主視点)の映像の2D表示とする。これにより、ユーザが3D視聴補助装置を装着していない等、ユーザの3D視聴準備が整っていなくとも、ユーザはとりあえず2D番組とほぼ同様に視聴することが可能となる。特に、Side-by-Side方式やTop-and-Bottom方式の3Dコンテンツの場合には、図40(c)(d)に示すように、1画像に2視点格納した映像のまま出力するのではなく、図40(a)(b)に示すように、一方の視点の2D出力/表示とすることにより、1画像に2視点格納した映像を一方の視点のを2D表示する指示を、リモコン等を介してユーザが手動で行わなくとも、ユーザが通常の2D番組と同様に視聴することが可能となる。
次に、図42は、例えばステップS404で映像を2D表示するとともにシステム制御部51がOSD作成部60に表示させるメッセージの一例である。ユーザーに3D番組が開始されたことを通知するメッセージを表示し、さらにユーザーが応答を行うオブジェクト(以下ユーザー応答受信オブジェクト:例えばOSD上のボタン)1602を表示し、その後の動作を選択させる。
メッセージ1601表示時、例えばユーザーがリモコンの“OK”ボタンを押下した場合、ユーザー指示受信部52は“OK”が押下されたことをシステム制御部51に通知する。
図42の画面表示におけるユーザー選択の判定方法の一例としては、ユーザーがリモコンを操作し、リモコンの<3D>ボタンを押下した場合または画面の「OK/3D」にカーソルを合わせリモコンの<OK>ボタンを押下した場合は、ユーザー選択は“3D切替”と判定する。
または、ユーザーがリモコンの<キャンセル>ボタンまたは<戻る>ボタンを押下した場合または画面の「キャンセル」にカーソルを合わせリモコンの<OK>を押下した場合は、ユーザー選択は“3D切替以外”と判定する。これ以外にも、例えばユーザーの3D視聴準備が完了したか否かの状態(3D視聴準備状態)がOKになる動作が行われた場合(例えば3Dメガネ装着)には、ユーザー選択は“3D切替”となる。
ユーザーが選択を行った後に実行されるシステム制御部51の処理フローについて、図43に示す。ユーザー選択結果を、システム制御部51はユーザー指示受信部52から取得する(S501)。ユーザー選択が、“3D切替”で無かった場合(S502のno)、映像は2D表示のまま終了し、特に処理は行わない。
ユーザーの選択が“3D切替”であった場合(S502のyes)、上記の3D表示方法で映像を3D表示(S504)する。
以上のフローにより、3D番組開始時には、一方の視点の映像を2D出力/表示しておき、ユーザーが操作や3D視聴準備などを行った後など、ユーザが3D視聴を行いたいときに、3D映像を出力/表示して映像を3Dで視聴をすることが可能となり、ユーザの都合に合せた視聴方法を提供することができる。
なお、図42の表示例では、ユーザーが応答を行うためのオブジェクトを表示したが、単純に「3D番組」等、当該番組が「3D視聴」に対応した番組であることを単に示す文字または、ロゴ、マーク等を表示するのみでもよい。この場合は、「3D視聴」に対応した番組であることを認識したユーザがリモコンの「3D」キーを押下げ、当該リモコンからの信号を受信したユーザー指示受信部52からシステム制御部51への通知を契機に2D表示から3D表示に切り替えを行えばよい。
さらに、ステップS404で表示するメッセージ表示の別の例としては、図42のように単純にOKだけでなく、番組の表示方式を2D映像にするか3D映像にするかを明記する方法も考えられる。その場合のメッセージと、ユーザー応答受信オブジェクトの例を図44に示す。
このようにすると図42のような“OK”の表示に比べ、ユーザーがボタン押下後の動作をより判断しやすくなる他、明示的に2Dでの表示を指示できるなど(1202に記載の“2Dで見る”押下時には、ユーザー3D視聴準備状態をNGと判定)、利便性が高まる。
次に、3Dコンテンツの視聴に関して、3D番組視聴開始時に、特定の映像/音声を出力、または映像/音声をミュート(黒画面表示/表示停止、音声出力を停止)する例について説明する。これはユーザーが3D番組を視聴開始した場合に。無条件で3Dコンテンツの表示が開始されてしまうと、ユーザは当該コンテンツを視聴することはできず、ユーザの利便性を損ねるおそれがある。これに対し、以下に示す処理を行うことで、ユーザの利便性を向上させることができる。 この場合の3D番組開始時にシステム制御部51で実行される処理フローを図45に示す。図41の処理フローと異なる点は、S404の処理に代わり、特定映像音声を出力するステップ(S405)が追加された点である。
ここでいう特定映像音声とは、例えば映像であれば、3D準備を促すメッセージ、黒画面、番組の静止画、などが挙げられ、音声としては、無音、または固定パターンの音楽(環境音楽)などが挙げられる。
固定パターン映像(メッセージや環境映像、または3D映像等)の表示については、映像復号部30内部または図に記載していないROMまたは記録媒体26からデータを読み出し、映像復号部30が復号して出力することにより実現できる。黒画面の出力については、例えば映像復号部30が黒色を表す信号のみの映像を出力する、または映像変換処理部32が出力信号のミュートまたは黒映像の出力することにより実現できる。
また、固定パターン音声(無音、環境音楽)の場合も同様に、音声復号部31の内部またはROMまたは記録媒体26からデータを読み出して復号出力、出力信号のミュート等により実現できる。
番組映像の静止画の出力については、システム制御部51から記録再生制御部58に対して、番組の再生および映像の一時停止を指示することにより実現できる。ユーザー選択を実施した後のシステム制御部51の処理は上記と同様、図43のように実行する。
これによりユーザーが3D視聴準備を完了するまでの間、番組の映像や音声を出力しないことが可能になる。
前記の例と同様に、ステップS405で表示するメッセージ表示としては、図46のようになる。図42と異なる点は、表示されている映像および音声が異なるのみで、ひょうじされるメッセージやユーザー応答受信オブジェクトの構成、ユーザー応答受信オブジェクトの動作も同様である。
メッセージの表示については図46のように単純にOKだけでなく、番組の表示方式を2D映像にするか3D映像にするかを明記する方法も考えられる。その場合のメッセージと、ユーザー応答受信オブジェクトの例も図44と同様に表示可能であり、このようにすると前記のような“OK”の表示に比べ、ユーザーがボタン押下後の動作をより判断しやすくなる他、明示的に2Dでの表示を指示できるなど、前記の例と同様に利便性が高まる。
<次番組が3Dコンテンツであるか否かに基づく2D/3D映像表示処理フローの例>
次に、次番組が3Dコンテンツである場合のコンテンツの出力/表示処理について説明する。次番組が3Dコンテンツである場合の当該次番組である3Dコンテンツ番組の視聴に関して、ユーザが3Dコンテンツを視聴する状態ではないにもかかわらず、3Dコンテンツの表示が開始されてしまうと、ユーザはベストの状態で当該コンテンツを視聴することはできず、ユーザの利便性を損ねるおそれがある。これに対し、以下に示す処理を行うことで、ユーザの利便性を向上させることができる。
図27では、選局処理などにより次の番組開始までの時間が変化した場合や、放送局から送信される番組情報のEITに含まれる次番組の開始時刻または現在番組の終了時刻情報などにより、次の番組の開始時刻が変化したと判定した場合などに、システム制御部51で実行されるフローの一例である。まずシステム制御部51は番組情報解析部54から次の番組の番組情報を取得し(S101)、前記3D番組の判定方法により、次番組が3D番組か否かを判定する。
次番組が3D番組でない場合(S102のno)、特に処理は行わずに終了する。次番組が3D番組の場合(S102のyes)、次番組の開始までの時間を計算する。具体的には前記取得した番組情報のEITから次番組の開始時刻または現在番組の終了時刻を取得し、時間管理部55から現在時刻を取得して、その差分を計算する。
次番組開始までX分以下で無い場合(S103のno)、特に処理を行わずに次番組開始X分前となるまで待つ。次番組開始までX分以下の場合(S103のyes)、ユーザーに対して、3D番組がもうすぐ始まる旨のメッセージを表示する(S104)。
図28にその際のメッセージ表示の例を示す。701が装置が表示する画面全体、702に装置が表示するメッセージを示している。このようにして、3D番組が開始される以前に、ユーザーに対して3D視聴補助装置を準備させるように注意を促すことが可能となる。
上記番組開始前までの判定時間Xについては、Xを小さくすると番組開始までにユーザーの3D視聴準備が間に合わない可能性がある。またXを大きくすると、長期間メッセージ表示が視聴の妨げになる、準備が完了した後に間が空いてしまうというデメリットがあるため、適度な時間に調整する必要がある。
また、ユーザーに対してメッセージを表示する際に、具体的に次の番組の開始時間を表示しても良い。その場合の画面表示例を図29に示す。802が3D番組開始までの時間を表示したメッセージである。ここでは分単位での記載を行っているが、秒単位で記載を行っても良い。その場合には、より詳細な次番組の開始時間をユーザーが知ることができるが、処理負荷が高くなるというデメリットもある。
なお、図29には3D番組が開始されるまでの時間を表示する例を示したが、3D番組が開始される時刻を表示するようにしてもよい。午後9時に3D番組が開始される場合は、例えば「午後9時から3D番組が始まります。3Dメガネを着用して下さい。」というメッセージを表示すればよい。
このようなメッセージを表示することにより、ユーザーが具体的な次番組の開始時間を知り適切なペースで3D視聴の準備を行うことが可能になる。
また、図30のように、3D視聴補助装置使用時には立体的に見えるマーク(3Dチェックマーク)を付加することも考えられる。902が3D番組開始を予告するメッセージ、903が3D視聴補助装置使用時に立体に見えるマークである。これにより、3D番組開始前に、ユーザーが3D視聴補助装置の正常動作を確認することができる。例えば3D視聴補助装置に不具合(例えばバッテリー切れ、故障など)が発生した場合に、番組開始までに修理や交換等の対応を行うことも可能になる。
次に、次番組が3Dであることをユーザーに通知した後、ユーザーの3D視聴準備が完了したか否かの状態(3D視聴準備状態)を判定し、3D番組の映像を2D表示または3D表示に切り替える方法について説明する。
次番組が3Dであることをユーザーに通知する方法については、上述したとおりである。ただし、ステップS104でユーザーに表示するメッセージについて、ユーザーが応答を行うオブジェクト(以下ユーザー応答受信オブジェクト:例えばOSD上のボタン)が表示されている点が異なる。このメッセージの例について図31に示す。
1001はメッセージ全体、1002はユーザーが応答を行うためのボタンを表している。図31のメッセージ1001表示時、例えばユーザーがリモコンの“OK”ボタンを押下した場合、ユーザー指示受信部52は“OK”が押下されたことをシステム制御部51に通知する。
前記通知を受信したシステム制御部51は、ユーザーの3D視聴準備状態がOKであることを状態として保存する。次に時間が経過し、現在番組が3D番組になった場合のシステム制御部51の処理フローについて、図32を用いて説明する。
システム制御部51は番組情報解析部54から現在の番組の番組情報を取得し(S201)、現在の番組が3D番組か否かを上記の3D番組の判定方法により判定する。現在の番組が3D番組で無い場合(S202のno)、上記の方法で映像を2D表示するように制御を行う(S203)。
現在の番組が3D番組の場合(S202のyes)、次にユーザーの3D視聴準備状態を確認する(S204)。システム制御部51が保存している前記3D視聴準備状態が、OKで無い場合(S205のno)、同様に映像を2D表示するように制御を行う(S203)。
前記3D視聴準備状態がOKの場合(S205のyes)、上記の方法で映像を3D表示するように制御を行う(S206)。このようにして、現在の番組が3D番組でかつユーザーの3D視聴準備が完了したことを確認できた場合に、映像の3D表示を行う。
ステップS104で表示するメッセージ表示としては、図31のように単純にOKだけでなく、次番組の表示方式を2D映像にするか3D映像にするかを明記する方法も考えられる。その場合のメッセージと、ユーザー応答受信オブジェクトの例を図33および図34に示す。
このようにすると前記のような“OK”の表示に比べ、ユーザーがボタン押下後の動作をより判断しやすくなる他、明示的に2Dでの表示を指示できるなど(1202に記載の“2Dで見る”押下時には、ユーザー3D視聴準備状態をNGと判定)、利便性が高まる。
また、ユーザーの3D視聴準備状態の判定は、ここではリモコンでのユーザーメニューの操作としているが、他にも例えば3D視聴補助装置が発信するユーザー装着完了信号により、前記3D視聴準備状態を判定する方法や、撮像装置でユーザーの視聴状態を撮影し、前記撮影結果から画像認識やユーザーの顔認識を行い、3D視聴補助装置を着用していることを判定しても良い。
このように判定することにより、ユーザーが何か受信装置に対して操作を行う手間を省くことが可能になり、さらに誤操作で2D映像視聴と3D映像視聴を誤って設定してしまうことを避けることが可能になる。
また、別の方法としては、ユーザーがリモコンの<3D>ボタンを押下した場合に、3D視聴準備状態をOKと判断、ユーザーがリモコンの<2D>ボタンまたは<戻る>ボタンまたは<キャンセル>ボタンを押下した場合に、3D視聴準備状態をNGと判定する方法もある。この場合は明確で容易にユーザーが自分の状態を装置に通知できるが、誤操作や誤解による状態送信などのデメリットも考えられる。
また、上記例において、現在の番組の情報を取得せず、事前に取得した次の番組の番組情報のみを判定して処理を行うことも考えられる。この場合は、図32のステップS201において、現在の番組が3D番組かの判定を行なわず、事前に(例えば図27のステップS101)取得した番組情報を使用する方法も考えられる。この場合は処理構造が簡易になるなどのメリットが考えられるが、突如番組構成が変更になり、次番組が3D番組でなくなるような場合にも3D映像切替処理が実行される可能性があるなどのデメリットが存在する。
本実施例で説明した各ユーザーへのメッセージ表示については、ユーザー操作後に消去することが望ましい。その場合にはユーザーが操作を行った後には映像が視聴しやすいというメリットがある。また一定時間経過後についても同様に、ユーザーはすでにメッセージの情報を認識していると考え、メッセージを消去し、映像を視聴しやすい状態にすることがユーザーの利便性を高める。
上記で説明した実施例によれば、3D番組の開始部分について、事前にユーザーが3D視聴準備を完了できたり、3D番組の開始に間に合わない場合には記録再生機能を用いてユーザーが3D番組を視聴する準備が完了してから再度映像表示をさせたりするなど、より良い状態でユーザーが3D番組を視聴することが可能になる。また、ユーザーにとって望ましいと思われる表示方法(3D映像を視聴したい場合に3D映像表示、またはその逆)へ映像表示を自動的に切り替えるなど、ユーザーの利便性を高めることが可能になる。また、選局により3D番組へと切り替えた場合や、記録されている3D番組の再生開始時なども同様の効果が期待できる。
以上の説明においては、図10(a)で説明した3D番組詳細記述子をPMT(Program Map Table)やEIT(Event Information Table)などのテーブルに配置して伝送する例を説明した。これに替えて、またはこれに加えて、当該3D番組詳細記述子に含まれる情報を映像符号化時に映像とともに符号化するユーザデータ領域や付加情報領域に格納して伝送してもよい。この場合、これらの情報は番組の映像ES内に含まれることとなる。
格納する情報は、図10(b)で説明した3d_2d _type(3D/2D種別)情報や図11で説明した3d_method_type(3D方式種別)情報などが挙げられる。なお、格納する際には、3d_2d _type(3D/2D種別)情報と3d_method_type(3D方式種別)情報とは別情報でも良いが、3D映像か2D映像かの識別と、当該3D映像がどの3D方式であるかの識別とをあわせて識別する情報としてもよい。
具体的には、映像符号化方式がMPEG2方式である場合には、Picture header、Picture Coding Extensionに続くユーザデータ領域に上記の3D/2D種別情報や3D方式種別情報を含めて符号化を行えばよい。
また、映像符号化方式がH.264/AVC方式である場合には、アクセスユニットに含まれる付加情報(supplemental enhancement information)領域に上記の3D/2D種別情報や3D方式種別情報を含めて符号化を行えばよい。
このように、ES内の映像の符号化層において3D映像/2D映像の種別を表す情報や3D方式の種別を表す情報を伝送することにより、映像のフレーム(ピクチャー)単位での識別が可能になるという効果がある。
この場合、PMT(Program Map Table)に格納した場合よりも、短い単位で上記識別が可能となるため、送信される映像における3D映像/2D映像の切り替わりに対する受信機の応答速度を向上させることが可能となり、3D映像/2D映像切り替わり時に生じる可能性があるノイズなどをより抑えることが可能となる。
また、PMT(Program Map Table)には、上記3D番組詳細記述子を配置せず、映像符号化時に映像とともに符号化する映像符号化層に上記情報を格納する場合は、従来の2D放送の放送局で新たに2D/3D混在放送を開始する際に、例えば、放送局側は、図2の送信装置1におけるエンコード部12のみを新たに2D/3D混在放送に対応する構成とすればよく、管理情報付与部16で付加するPMT(Program Map Table)の構成を変更する必要がなく、より低コストに2D/3D混在放送を開始することが可能となる。
なお、映像符号化時に映像とともに符号化されるユーザデータ領域や付加情報領域などの所定領域に、3d_2d _type(3D/2D種別)情報や3d_method_type(3D方式種別)情報などの3D関連情報(特に3D/2Dを識別する情報)が格納されていない場合には、受信機は、当該映像は2D映像であると判断する構成にしてもよい。この場合、放送局は、2D映像については、符号化処理時にこれらの情報の格納を省略することも可能となり、放送における処理工数が低減できる。
以上の説明において、番組(イベント)単位、サービス単位で3D映像を識別する識別情報を配置する例として、コンポーネント記述子、コンポーネントグループ記述子、サービス記述子、サービスリスト記述子などの番組情報に含める例や、新たに3D番組詳細記述子を設ける例を説明した。また、これらの記述子をPMT、EIT[schedule basic/schedule extended/present/following]、NIT、SDTなどのテーブルに含めて伝送することとした。
ここで、さらに別の例として、図48に示すコンテント記述子(Content descriptor)に3D番組(イベント)の識別情報を配置する例を説明する。
図48は、番組情報の一つであるコンテント記述子の構造の一例を示す。コンテント記述子は、イベント(番組)のジャンルに関する情報を記述する。この記述子はEITに配置する。コンテント記述子には、イベント(番組)のジャンル情報のほか、番組特性を示す情報を記述できる。
コンテント記述子の構造は次の通りである。descriptor_tagは記述子自体を識別するための8ビットのフィールドで、この記述子がコンテント記述子と識別可能な値“0x54”が記載される。descriptor_lengthは8ビットのフィールドで、この記述子のサイズを記載している。
content_nibble_level_1(ジャンル1)は4ビットのフィールドで、コンテント識別の第一段階分類を表す。具体的には、番組ジャンルの大分類を記述する。番組特性を示す際には”0xE”を指定する。
content_nibble_level_2(ジャンル2)は4ビットのフィールドで、content_nibble_level_1(ジャンル1)より詳細なコンテント識別の第二段階分類を表す。具体的には、番組ジャンルの中分類を記述する。content_nibble_level1=”0xE”のときは、番組特性コード表の種類を記述する。
user_nibble(ユーザジャンル)は4ビットのフィールドで、content_nibble_level1=”0xE”としたときのみ、番組特性を記述する。その他の場合は、”0xFF”(未定義)とする。図48に示すようにuser_nibbleの4ビットのフィールドは二つ配置可能であり、当該二つのuser_nibbleの値の組合せ(以下、先に配置されるビットを「第1のuser_nibbleビット」、後に配置されるビットを「第2のuser_nibbleビット」と称する)により、番組特性を定義することができる。
当該コンテント記述子を受信した受信機は、descriptor_tagが“0x54”であれば、当該記述子はコンテント記述子と判断する。また、descriptor_lengthにより、本記述子で記述されるデータの終わりを判断できる。さらにdescriptor_lengthに示される長さ以下の部分の記述を有効と判断し、超えた部分の記述は無視して処理を行う。
また、受信機は、content_nibble_level_1の値が“0xE”か否かを判断し、“0xE”ではないときは、番組ジャンルの大分類であると判断する。“0xE”ではないときはジャンルとして判断せず、後続のuser_nibble で何らかの番組特性が指定されていると判断する。
受信機は、上記content_nibble_level_1の値が“0xE”でなかった場合には、content_nibble_level_2を番組ジャンルの中分類と判断し、番組ジャンルの大分類と共に、検索、表示等に利用する。上記content_nibble_level_1の値が“0xE”であった場合には、第1のuser_nibbleビットと第2のuser_nibbleビットの組合せにより定義される番組特性コード表の種類を示すと判断する。
受信機は、上記content_nibble_level_1の値が“0xE”である場合には、第1のuser_nibbleビット、第2のuser_nibbleビットを組合せにより番組特性を示すビットと判断する。上記content_nibble_level_1の値が“0xE”でない場合には、第1のuser_nibbleビット、第2のuser_nibbleビットにいかなる値が入っていても無視する。
よって、放送局は、当該コンテント記述子のcontent_nibble_level_1の値を“0xE”としない場合、content_nibble_level_1の値とcontent_nibble_level_2の値の組合せによって、受信機に対象イベント(番組)のジャンル情報を伝送することができる。
ここで、例えば、図49に示すように、content_nibble_level_1の値が“0x0”の場合、番組ジャンルの大分類を「ニュース/報道」と定義し、content_nibble_level_1の値が“0x0”であってcontent_nibble_level_2の値が”0x1”の場合を「天気」と定義し、content_nibble_level_1の値が“0x0”であってcontent_nibble_level_2の値が”0x2”の場合を「特集・ドキュメント」と定義し、content_nibble_level_1の値が“0x1”の場合、番組ジャンルの大分類を「スポーツ」と定義し、content_nibble_level_1の値が“0x1”であってcontent_nibble_level_2の値が”0x1”の場合を「野球」と定義し、content_nibble_level_1の値が“0x1”であってcontent_nibble_level_2の値が”0x2”の場合を「サッカー」と定義した場合について説明する。
この場合、受信機は、content_nibble_level_1の値により、番組ジャンルの大分類が「ニュース/報道」なのか「スポーツ」なのか判断することが可能となり、content_nibble_level_1の値とcontent_nibble_level_2の値の組合せにより、「ニュース/報道」や「スポーツ」などの番組ジャンルの大分類よりも下位の番組ジャンルである番組ジャンルの中分類まで判断することが可能となる。
なお、当該判断処理を実現するためには、受信機の有する記憶部にcontent_nibble_level_1の値とcontent_nibble_level_2の値の組合せと番組ジャンルの定義の対応関係を示すジャンルコード表情報を予め記憶しておけばよい。
ここで、当該コンテント記述子を用いて対象イベント(番組)の3D番組関連の番組特性情報を伝送する場合について説明する。以下では、3D番組の識別情報を番組ジャンルではなく番組特性として伝送する場合について説明する。
まず、コンテント記述子を用いて3D番組関連の番組特性情報を伝送する場合に、放送局は、コンテント記述子のcontent_nibble_level_1の値を“0xE”として伝送する。これにより、受信機は、当該コンテント記述子が伝送する情報が対象イベント(番組)のジャンル情報ではなく対象イベント(番組)の番組特性情報であると判断できる。また、これによりコンテント記述子に記述される第1のuser_nibbleビットと第2のuser_nibbleビットとがその組合せにより番組特性情報を示すものであると判断することができる。
ここで、例えば、図50に示すように、第1のuser_nibbleビットの値が“0x3”の場合、該コンテント記述子が伝送する対象イベント(番組)の番組特性情報が「3D番組関連の番組特性情報」であると定義し、第1のuser_nibbleビットの値が“0x3”であって第2のuser_nibbleビットの値が“0x0”の場合の番組特性を「対象イベント(番組)に3D映像が含まれない」と定義し、第1のuser_nibbleビットの値が“0x3”であって第2のuser_nibbleビットの値が“0x1”の場合の番組特性を「対象イベント(番組)の映像は3D映像である」と定義し、第1のuser_nibbleビットの値が“0x3”であって第2のuser_nibbleビットの値が“0x2”の場合の番組特性を「対象イベント(番組)中に3D映像と2D映像とが含まれる」と定義した場合について説明する。
この場合、受信機は、第1のuser_nibbleビットの値と第2のuser_nibbleビットの値の組合せによって、対象イベント(番組)の3D番組関連の番組特性を判断可能となり、当該コンテント記述子が含まれるEITを受信した受信機は、電子番組表(EPG)表示において、将来受信するまたは現在受信している番組について「3D映像が含まれない」旨、当該番組について「3D映像番組である」旨、当該番組について「3D映像と2D映像とが含まれる」旨の説明の表示や、その旨を示す図形の表示を行うことが可能となる。
また、当該コンテント記述子が含まれるEITを受信した受信機は、3D映像が含まれない番組、3D映像が含まれる番組、3D映像と2D映像とが含まれる番組等の検索が可能となり、該当番組の一覧表示等を行うことが可能となる。
なお、当該判断処理を実現するためには、受信機の有する記憶部に第1のuser_nibbleビットの値と第2のuser_nibbleビットの値の組合せと番組特性の定義の対応関係を示す番組特性コード表情報を予め記憶しておけばよい。
また、3D番組関連の番組特性情報の別の定義例として、例えば、図51に示すように、第1のuser_nibbleビットの値が“0x3”の場合、該コンテント記述子が伝送する対象イベント(番組)の番組特性情報が「3D番組関連の番組特性情報」であると定義し、第1のuser_nibbleビットの値が“0x3”であって第2のuser_nibbleビットの値が“0x0”の場合の番組特性を「対象イベント(番組)に3D映像が含まれない」と定義し、第1のuser_nibbleビットの値が“0x3”であって第2のuser_nibbleビットの値が“0x1”の場合の番組特性を「対象イベント(番組)に3D映像が含まれ、その3D映像伝送方式がSide-by-Side方式である」と定義し、第1のuser_nibbleビットの値が“0x3”であって第2のuser_nibbleビットの値が“0x2”の場合の番組特性を「対象イベント(番組)に3D映像が含まれ、その3D映像伝送方式がTop-and-Bottom方式である」と定義し、第1のuser_nibbleビットの値が“0x3”であって第2のuser_nibbleビットの値が“0x3”の場合の番組特性を「対象イベント(番組)に3D映像が含まれ、その3D映像伝送方式が3D2視点別ES伝送方式である」と定義した場合について説明する。
この場合、受信機は、第1のuser_nibbleビットの値と第2のuser_nibbleビットの値の組合せによって、対象イベント(番組)の3D番組関連の番組特性を判断可能となり、対象イベント(番組)に3D映像が含まれるかのみならず、3D映像が含まれる場合の3D伝送方式を判断することが可能となる。受信機が対応可能(3D再生可能)な3D伝送方式の情報を予め受信機が有する記憶部に記憶しておけば、受信機は、予め記憶部に記憶した当該対応(再生)可能な3D伝送方式の情報と、EITに含まれるコンテント記述子により判断した対象イベント(番組)の3D伝送方式の情報を比較することにより、電子番組表(EPG)表示において、将来受信するまたは現在受信している番組について「3D映像が含まれない」旨、当該番組について「3D映像が含まれ、本受信機で3D再生が可能である」旨、当該番組について「3D映像が含まれるが、本受信機で3D再生はできない」旨の説明の表示や、その旨を示す図形の表示を行うことが可能となる。
また、上記の例では、第1のuser_nibbleビットの値が“0x3”であって第2のuser_nibbleビットの値が“0x3”の場合の番組特性を「対象イベント(番組)に3D映像が含まれ、その3D映像伝送方式が3D2視点別ES伝送方式である」と定義したが、図47に示す「3D2視点別ES伝送方式」の詳細なストリーム組合せごとに第2のuser_nibbleビットの値を用意してもよい。このようにすれば、受信機においてさらに詳細な識別が可能となる。
また、対象イベント(番組)の3D伝送方式の情報を表示しても良い。
また、当該コンテント記述子が含まれるEITを受信した受信機は、3D映像が含まれない番組、3D映像が含まれ本受信機で3D再生可能な番組、3D映像が含まれるが本受信機で3D再生できない番組等の検索が可能となり、該当番組の一覧表示等を行うことが可能となる。
また、3D映像が含まれる番組について3D伝送方式ごとに番組検索も可能となり、3D伝送方式ごと番組の一覧表示を行うことも可能となる。なお、3D映像が含まれるが本受信機で3D再生できない番組の検索や3D伝送方式ごとの番組検索は、例えば、本受信機では3D再生できなくとも、利用者が有する他の3D映像番組再生機器において再生可能である場合に有効である。本受信機で3D再生できない3D映像が含まれる番組であっても、本受信機の映像出力部から他の3D映像番組再生機器に当該番組をトランスポートストリーム形式のまま出力して、3D映像番組再生機器で、受信したランスポートストリーム形式の番組を3D再生することも可能であり、また、本受信機にリムーバブルメディアへのコンテンツを記録する記録部があれば、リムーバブルメディアへ当該番組を記録して、上記他の3D映像番組再生機器で当該リムーバブルメディアに記録された上記番組を3D再生することも可能だからである。
なお、当該判断処理を実現するためには、受信機の有する記憶部に、第1のuser_nibbleビットの値と第2のuser_nibbleビットの値の組合せと番組特性の定義の対応関係を示す番組特性コード表情報と、受信機が対応可能(3D再生可能)な3D伝送方式の情報とを予め記憶しておけばよい。