JP2015204634A - 送信装置、送信方法、受信装置および受信方法 - Google Patents

Abstract

【課題】サービス切り替え時における表示ミュートの発生を容易に回避する。【解決手段】画像符号化部で、動画像データを構成する各ピクチャの画像データを符号化してビデオストリームを生成する。送信部で、画像符号化部で生成された第１のビデオストリームと第２のビデオストリームとを連続的に含む所定フォーマットのコンテナを送信する。第１のビデオストリームおよび第２のビデオストリームは、第１から第Ｎのうち、第１から第Ｍ（Ｍ≰Ｎ）のストリームにより構成される。送信部は、第１から第Ｎのストリームのそれぞれに固定の識別子を付与する。【選択図】図１６

Description

本技術は、送信装置、送信方法、受信装置および受信方法に関し、複数のサービスのビデオストリームを連続的に送信する送信装置等に関する。

放送において、画像フォーマット、例えばフレームレートを異にする複数のサービスを混在させて送信することが考えられる。例えば、スポーツ系の番組は１２０Ｐのサービスで提供し、その他は６０Ｐのサービスとする、などである。

従来、例えば、ＨＥＶＣ（High Efficiency Video Coding）において、動画像データを構成する各ピクチャの画像データを階層符号化することによる時間方向スケーラビリティが提案されている（非特許文献１参照）。受信側では、ＮＡＬ（Network Abstraction Layer）ユニットのヘッダに挿入されているテンポラルＩＤ（temporal_id）情報に基づき、各ピクチャの階層を識別でき、デコード能力に対応した階層までの選択的なデコードが可能となる。

Gary J. Sullivan, Jens-Rainer Ohm, Woo-Jin Han, Thomas Wiegand, "Overview of the High Efficiency Video Coding (HEVC) Standard" IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECNOROGY, VOL. 22, NO. 12, pp. 1649-1668, DECEMBER 2012

本技術の目的は、サービス切り替え時における表示ミュートの発生を容易に回避することにある。

本技術の概念は、
動画像データを構成する各ピクチャの画像データを符号化してビデオストリームを生成する画像符号化部と、
上記画像符号化部で生成された第１のビデオストリームと第２のビデオストリームとを連続的に含む所定フォーマットのコンテナを送信する送信部を備え、
上記第１のビデオストリームおよび上記第２のビデオストリームは、第１から第Ｎのうち、第１から第Ｍ（Ｍ≦Ｎ）のストリームにより構成され、
上記送信部は、
上記第１から第Ｎのストリームのそれぞれに固定の識別子を付与する
送信装置にある。

本技術において、画像符号化部により、動画像データを構成する各ピクチャの画像データが符号化されてビデオストリームが生成される。送信部により、画像符号化部で生成された第１のビデオストリームと第２のビデオストリームとを連続的に含む所定フォーマットのコンテナが送信される。例えば、第１のビデオストリームと第２のビデオストリームは、基本ストリームと拡張ストリームのうち少なくとも基本ストリームを含む、ようにされてもよい。

第１のビデオストリームおよび第２のビデオストリームは、第１から第Ｎのうち、第１から第Ｍ（Ｍ≦Ｎ）のストリームにより構成される。そして、送信部により、第１から第Ｎのストリームのそれぞれに固定の識別子が付与される。

このように本技術によれば、各ストリームに固定の識別子が付与されるものである。そのたえめ、受信側では、サービスが切り替わる場合にあっても、各ストリームを取り出すフィルタの設定を変更することを要せず、従って、表示ミュートの発生を抑制でき、シームレス表示が可能となる。

なお、本技術において、例えば、送信部は、第１のビデオストリームの送信期間において、常には、この第１のビデオストリームを構成する各ストリームの識別子情報をコンテナのレイヤに挿入して送信し、第２のビデオストリームの送信期間が開始される直前のタイミングでこの第２のビデオストリームを構成する各ストリームの識別情報をコンテナのレイヤに挿入して送信する、ようにされてもよい。この場合、受信側では、現在受信しているビデオストリームを構成する各ストリームの識別子を容易に把握でき、さらに、切り替え後に受信されるビデオストリームを構成する各ストリームの識別子を、切り替え前に容易に把握可能となる。

また、本技術において、例えば、各ビデオストリームの送信期間において、第１から第Ｎの各ストリームの識別情報をコンテナのレイヤに挿入して送信する、ようにされてもよい。この場合、受信側では、第１から第Ｎの各ストリームの識別情報を、常に把握可能となる。

また、本技術において、例えば、送信部は、各ビデオストリームの送信期間において、切り替え情報をコンテナのレイヤに挿入して送信する、ようにされてもよい。この場合、例えば、切り替え情報は、第２のビデオストリームが持つ符号化画像データのフレームレート情報および/またはストリーム構成情報を含む、ようにされてもよい。この場合、受信側では、切り替え後に受信されるビデオストリームのフレームレート等の切り替え情報を、切り替え前に容易に把握可能となる。

また、本技術において、例えば、第１のビデオストリームおよび第２のビデオストリームは、基本ストリームと拡張ストリームのうち少なくとも基本ストリームにより構成される、ようにされてもよい。この場合、例えば、基本ストリームにより構成されるビデオストリームは、第１のフレームレートの符号化画像データを持ち、基本ストリームおよび拡張ストリームにより構成されるビデオストリームは、第１のフレームレートの２倍の第２のフレームレートの符号化画像データを持つ、ようにされてもよい。

また、本技術において、例えば、画像符号化部は、動画像データを構成する各ピクチャの画像データを複数の階層に分類し、この分類された各階層のピクチャの画像データを符号化すると共に、複数の階層をＭ個の階層組に分割し、この分割された各階層組のピクチャの符号化画像データをそれぞれ持つ、各ビデオストリームの第１から第Ｍのストリームを生成し、第１から第Ｍの各ストリームのそれぞれに含めるピクチャの階層が予め割り当てられた互いに独立した範囲に収まるように階層符号化をする、ようにされてもよい。この階層符号化により、所定の階層が、どのストリームに含まれるか、システムレイヤとビデオレイヤとで不一致になることが回避可能となる。

また、本技術において、例えば、送信部は、第１のビデオストリームの送信期間において、常には、この第１のビデオストリームを構成する各ストリームのピクチャの階層範囲情報をコンテナのレイヤに挿入して送信し、第２のビデオストリームの送信期間が開始される直前のタイミングでこの第２のビデオストリームを構成する各ストリームのピクチャの階層範囲情報をコンテナのレイヤに挿入して送信する、ようにされてもよい。この場合、受信側では、現在受信しているビデオストリームを構成する各ストリームの階層範囲を容易に把握でき、さらに、切り替え後に受信されるビデオストリームを構成する各ストリームの階層範囲を、切り替え前に容易に把握可能となる。

また、本技術において、例えば、第１のビデオストリームおよび第２のビデオストリームは、基本ストリームと拡張ストリームのうち少なくとも基本ストリームを含み、画像符号化部は、拡張ストリームに含めるピクチャの階層が一つとなるように符号化する、ようにされてもよい。そして、この場合、例えば、送信部は、各ビデオストリームの送信期間において、ビデオストリームに基本ストリームのみが含まれるとき、基本ストリームのピクチャの階層範囲情報と共に、拡張ストリームのピクチャの階層範囲情報を、コンテナのレイヤに挿入して送信する、ようにされてもよい。

また、本技術の他の概念は、
符号化画像データを持つ第１のビデオストリームと第２のビデオストリームとを連続的に含む所定フォーマットのコンテナを受信する受信部を備え、
上記第１のビデオストリームおよび上記第２のビデオストリームは、第１から第Ｎのうち、第１から第Ｍ（Ｍ≦Ｎ）のストリームにより構成され、
上記第１から第Ｎのストリームのそれぞれに固定の識別子が付与されており、
上記第１のビデオストリームおよび上記第２のビデオストリームに含まれる各ストリームを、それぞれ、付与されている識別子に基づいてフィルタリングして処理する処理部をさらに備える
受信装置にある。

本技術において、受信部により、符号化画像データを持つ第１のビデオストリームと第２のビデオストリームとを連続的に含む所定フォーマットのコンテナが受信される。ここで、第１のビデオストリームおよび第２のビデオストリームは、第１から第Ｎのうち、第１から第Ｍ（Ｍ≦Ｎ）のストリームにより構成され、第１から第Ｎのストリームのそれぞれに固定の識別子が付与されている。そして、処理部により、第１のビデオストリームおよび第２のビデオストリームに含まれる各ストリームが、それぞれ、付与されている識別子に基づいてフィルタリングされて処理される。

このように本技術によれば、各ストリームに固定の識別子が付与されるものである。そのため、サービスが切り替わる場合にあっても、各ストリームを取り出すフィルタの設定を変更することを要せず、従って、表示ミュートの発生を抑制でき、シームレス表示が可能となる。

なお、本技術において、例えば、各ビデオストリームの第１から第Ｍのストリームは、動画像データを構成する各ピクチャの画像データが複数の階層に分類され、該分類された各階層のピクチャの画像データが符号化されると共に、複数の階層がＭ個の階層組に分割され、この分割された各階層組のピクチャの符号化画像データをそれぞれ持ち、第１から第Ｍの各ストリームのそれぞれに含めるピクチャの階層が予め割り当てられた互いに独立した範囲に収まるように階層符号化されている、ようにされてもよい。この階層符号化により、所定の階層が、どのストリームに含まれるか、システムレイヤとビデオレイヤとで不一致になることが回避される。

また、本技術の他の概念は、
符号化画像データを持つビデオストリームを生成する画像符号化部と、
上記画像符号化部で生成された第１のビデオストリームと第２のビデオストリームとを連続的に含む所定フォーマットのコンテナを送信する送信部を備え、
上記第１のビデオストリームおよび上記第２のビデオストリームは、第１から第Ｎのうち、第１から第Ｍ（Ｍ≦Ｎ）のストリームにより構成され、
上記画像符号化部は、
動画像データを構成する各ピクチャの画像データを複数の階層に分類し、該分類された各階層のピクチャの画像データを符号化すると共に、上記複数の階層をＭ個の階層組に分割し、該分割された各階層組のピクチャの符号化画像データをそれぞれ持つ、上記各ビデオストリームの上記第１から第Ｍのストリームを生成し、
上記第１から第Ｍの各ストリームのそれぞれに含めるピクチャの階層が予め割り当てられた互いに独立した範囲に収まるように階層符号化する
送信装置にある。

本技術において、画像符号化部により、動画像データを構成する各ピクチャの画像データが符号化されてビデオストリームが生成される。送信部により、画像符号化部で生成された第１のビデオストリームと第２のビデオストリームとを連続的に含む所定フォーマットのコンテナが送信される。第１のビデオストリームおよび第２のビデオストリームは、第１から第Ｎのうち、第１から第Ｍ（Ｍ≦Ｎ）のストリームにより構成される。

画像符号化部は、動画像データを構成する各ピクチャの画像データを複数の階層に分類し、この分類された各階層のピクチャの画像データを符号化すると共に、複数の階層をＭ個の階層組に分割し、この分割された各階層組のピクチャの符号化画像データをそれぞれ持つ、各ビデオストリームの第１から第Ｍのストリームを生成し、第１から第Ｍの各ストリームのそれぞれに含めるピクチャの階層が予め割り当てられた互いに独立した範囲に収まるように階層符号化をする。

このように本技術によれば、第１から第Ｍの各ストリームのそれぞれに含めるピクチャの階層が予め割り当てられた互いに独立した範囲に収まるように階層符号化されるものである。そのため、所定の階層が、どのストリームに含まれるか、システムレイヤとビデオレイヤとで不一致になることが回避可能となる。

なお、本技術において、例えば、送信部は、第１のビデオストリームの送信期間において、常には、この第１のビデオストリームに含まれる各ストリームのピクチャの階層範囲情報をコンテナのレイヤに挿入して送信し、第２のビデオストリームの送信期間が開始される直前のタイミングでこの第２のビデオストリームに含まれる各ストリームのピクチャの階層範囲情報をコンテナのレイヤに挿入して送信する、ようにされてもよい。この場合、受信側では、現在受信しているビデオストリームを構成する各ストリームの階層範囲を容易に把握でき、さらに、切り替え後に受信されるビデオストリームを構成する各ストリームの階層範囲を、切り替え前に容易に把握可能となる。

また、本技術において、第１のビデオストリームおよび第２のビデオストリームは、基本ストリームと拡張ストリームのうち少なくとも基本ストリームを含み、拡張ストリームに含まれるピクチャの階層は一つとされている、ようにされてもよい。この場合、例えば、送信部は、各ビデオストリームの送信期間において、このビデオストリームに基本ストリームのみが含まれるとき、基本ストリームのピクチャの階層範囲情報と共に、拡張ストリームのピクチャの階層範囲情報を、コンテナのレイヤに挿入して送信する、ようにされてもよい。

本技術によれば、サービス切り替え時における表示ミュートの発生を容易に回避できる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

実施の形態としての送受信システムの構成例を示すブロック図である。 サービス切り替えのケースの一例を示す図である。 階層符号化の一例を示す図である。 ＮＡＬユニットヘッダの構造例と、その構造例における主要なパラメータの内容を示す図である。 送信装置の構成例を示すブロック図である。 ＨＥＶＣデスクリプタの構造例を示す図である。 シームレス・スイッチ・デスクリプタの構造例を示す図である。 シームレス・スイッチ・デスクリプタの構造例における主要な情報の内容を示す図である。 ビデオ・デコード・コントロール・デスクリプタの構造例を示す図である。 ビデオ・デコード・コントロール・デスクリプタの構造例における主要な情報の内容を示す図である。 マルチプレクサの構成を概略的に示す図である。 ６０Ｐのサービスのビデオストリーム（基本ストリームのみ含む）を送信する場合におけるトランスポートストリームＴＳの構成例を示す図である。 １２０Ｐのサービスのビデオストリーム（基本ストリーム、拡張ストリームを含む）を送信する場合におけるトランスポートストリームＴＳの構成例を示す図である。 受信装置の構成例を示すブロック図である。 デマルチプレクサの構成例を示す図である。 送信側（送信装置）の動作例を示す図である。 受信側（受信装置）の動作例を示す図である。 送信側（送信装置）の他の動作例を示す図である。 受信側（受信装置）の他の動作例を示す図である。 サービスの切り替え動作に伴う階層符号化構造の変化の一例を示す図である。 サービスの切り替え動作に伴う階層符号化構造の変化の他の一例を示す図である。 サービスの切り替え動作に伴う階層符号化構造の変化の他の一例を示す図である。

以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例

＜１．実施の形態＞
［送受信システム］
図１は、実施の形態としての送受信システム１０の構成例を示している。この送受信システム１０は、送信装置１００と、受信装置２００とを有する構成となっている。

送信装置１００は、コンテナとしてのトランスポートストリームＴＳを放送波あるいはネットのパケットに載せて送信する。このトランスポートストリームＴＳには、複数のサービスのビデオストリームが連続的に含まれる。この場合、各ビデオストリームは、第１からＮのうち、第１から第Ｍ（Ｍ≦Ｎ）のストリームで構成される。この場合、第１からＮのストリームのそれぞれに固定のＰＩＤ（パケット識別子）が付与される。

また、各ビデオストリームを構成する第１から第Ｍのストリームは、動画像データを構成する各ピクチャの画像データが複数の階層に分類され、この分類された各階層のピクチャの画像データが符号化されると共に、複数の階層がＭ個の階層組に分割され、この分割された各階層組のピクチャの符号化画像データをそれぞれ持つものとされる。この場合、第１から第Ｍの各ストリームのそれぞれに含めるピクチャの階層が予め割り当てられた互いに独立した範囲に収まるように階層符号化される。

図２は、サービス切換えのケースの一例を示している。図２（ａ）は、２１６０/６０/ｐのビデオフォーマットのサービスから、２１６０/１２０/ｐのビデオフォーマットのサービスへの切替えを示している。この場合、１ストリームから２ストリームへの切替えとなる。図２（ｂ）は、１０８０/６０/ｐのビデオフォーマットのサービスから、２１６０/６０/ｐのビデオフォーマットのサービスへの切替えを示している。この場合、１ストリームから１ストリームへの切替えとなる。

図２（ｃ）は、１０８０/６０/ｐのビデオフォーマットのサービスから、２１６０/１２０/ｐのビデオフォーマットのサービスへの切替えを示している。この場合、１ストリームから２ストリームへの切替えとなる。図２（ｄ）は、２１６０/１２０/ｐのビデオフォーマットのサービスから、１０８０/６０/ｐのビデオフォーマットのサービスへの切替えを示している。この場合、２ストリームから１ストリームへの切替えとなる。

図２（ｅ）は、１０８０/６０/ｐのビデオフォーマットのサービスから、１０８０/６０/ｉのビデオフォーマットのサービスへの切替えを示している。この場合、１ストリームから１ストリームへの切替えとなる。図２（ｆ）は、２１６０/６０/ｐのビデオフォーマットの３番組サービスから、４３２０/６０/ｐのビデオフォーマットのサービスへの切替えを示している。この場合、３ストリームから１ストリームへの切替えとなる

図３は、階層符号化の一例を示し、矩形枠のそれぞれがピクチャを示している。図３（ａ）は、最上位階層が３とされた例であって、０から３の階層の全てが基本ストリームの階層範囲とされた例である。この例では、０から３の全ての階層にピクチャが存在している。図３（ｂ）は、最上位階層が３とされた例であって、０から３の階層の全てが基本ストリームの階層範囲とされた例である。この例では、３の階層にはピクチャが存在しておらず、階層ギャップとなっている。図３（ｃ）は、最上位階層が３とされた例であって、０から３の階層の全てが基本ストリームの階層範囲とされた例である。この例では、２の階層にはピクチャが存在しておらず、階層ギャップとなっている。

図３（ｄ）は、最上位階層が４とされた例であって、０から３の階層が基本ストリームの階層範囲とされ、４の階層が拡張ストリームの階層範囲とされた例である。この例では、３の階層にはピクチャが存在しておらず、階層ギャップとなっている。図３（ｅ）は、最上位階層が３とされた例であって、０から２の階層が基本ストリームの階層範囲とされ、３の階層が拡張ストリームの階層範囲とされた例である。この例では、０から３の全ての階層にピクチャが存在している。

階層符号化においては、例えば、Ｈ．２６４／ＡＶＣ、Ｈ．２６５/ＨＥＶＣなどの符号化が施され、被参照ピクチャが自己階層および／または自己階層よりも低い階層に所属するように符号化される。各階層のピクチャの符号化画像データに、ピクチャ毎に、所属階層を識別するための階層識別情報（temporal_id）が付加される。各ピクチャのＮＡＬユニット（nal_unit）のヘッダ部分に、階層識別情報（temporal_id）を意味する“nuh_temporal_id_plus1”）が配置される。このように階層識別情報が付加されることで、受信側では、各ピクチャの所属階層を知ることができる。

図４（ａ）は、ＮＡＬユニットヘッダの構造例（Syntax）を示し、図４（ｂ）は、その構造例における主要なパラメータの内容（Semantics）を示している。「Forbidden_zero_bit」の１ビットフィールドは、０が必須である。「Nal_unit_type」の６ビットフィールドは、ＮＡＬユニットタイプを示す。「Nuh_layer_id」の６ビットフィールドは、０を前提とする。「Nuh_temporal_id_plus1」の３ビットフィールドは、temporal_idを示し、１を加えた値（１〜６）をとる。

各サービスのビデオストリームの送信期間において、コンテナのレイヤに、ＰＩＤ（パケット識別子）情報が挿入される。この場合、例えば、以下の第１、第２のＰＩＤ情報挿入態様のいずれかで挿入される。このＰＩＤ情報は、例えば、プログラムマップテーブル（ＰＭＴ：Program Map Table）の配下に挿入される。

「第１のＰＩＤ情報挿入態様」
第１のＰＩＤ情報挿入態様では、あるサービスのビデオストリームの送信期間において、常には、そのビデオストリームを構成する各ストリームのＰＩＤ情報が挿入され、次のサービスのビデオストリームの送信期間が開始される直前のタイミングでこのビデオストリームを構成する各ストリームのＰＩＤ情報が挿入される。

「第２のＰＩＤ情報挿入態様」
第２のＰＩＤ情報挿入態様では、各サービスのビデオストリームの送信期間おいて、第１から第Ｎの各ストリームのＰＩＤ情報が挿入される。

また、各サービスのビデオストリームの送信期間において、コンテナのレイヤに、階層範囲情報が挿入される。この階層範囲情報は、例えば、プログラムマップテーブル（ＰＭＴ）の配下に挿入される。この場合、あるサービスのビデオストリームの送信期間において、常には、そのビデオストリームを構成する各ストリームのピクチャの階層範囲情報が挿入され、次のサービスのビデオストリームの送信期間が開始される直前のタイミングでこのビデオストリームを構成する各ストリームのピクチャの階層範囲情報が挿入される。

また、各サービスのビデオストリームの送信期間において、コンテナのレイヤに、切り替え情報が挿入される。この切り替え情報には、例えば、次のサービスのビデオストリームが持つ符号化画像データのフレームレート情報、ストリーム構成情報等が含まれる。この切り替え情報は、例えば、プログラムマップテーブル（ＰＭＴ）の配下に挿入される。

受信装置２００は、送信装置１００から放送波あるいはネットのパケットに載せて送られてくる上述のトランスポートストリームＴＳを受信する。このトランスポートストリームＴＳには、複数のサービスのビデオストリームが連続的に含まれている。各ビデオストリームは、第１からＮのうち、第１から第Ｍ（Ｍ≦Ｎ）のストリームで構成されている。ここで、第１からＮのストリームのそれぞれに固定のＰＩＤ（パケット識別子）が付与される。

受信装置２００は、コンテナのレイヤに挿入されているＰＩＤ（パケット識別子）情報から、トランスポートストリームＴＳに含まれているビデオストリームを構成する各ストリームのＰＩＤを認識する。受信装置２００は、ビデオストリームを構成する各ストリームを、それに付与されているＰＩＤに基づいてフィルタリングして処理する。受信装置２００は、トランスポートストリームＴＳに連続的に含まれる各サービスのビデオストリームによる画像を順次表示する。

この場合、第１からＮのストリームのそれぞれに固定のＰＩＤ（パケット識別子）が付与されることから、サービスが切り替わる場合にあっても、各ストリームを取り出すフィルタの設定を変更することを要せず、従って、表示ミュートの発生が抑制され、シームレス表示が行われる。

受信装置２００は、コンテナのレイヤに挿入されている階層範囲情報から、トランスポートストリームＴＳに含まれているビデオストリームを構成する各ストリームのピクチャの階層範囲を認識する。この場合、第１から第Ｍの各ストリームのそれぞれに含めるピクチャの階層が予め割り当てられた互いに独立した範囲に収まるように階層符号化されていることから、所定の階層が、どのストリームに含まれるか、システムレイヤとビデオレイヤとで不一致になることが回避される。

また、受信装置２００は、コンテナのレイヤに挿入されている切り替え情報から、サービスの切り替え前に、次のサービスのビデオストリームが持つ符号化画像データのフレームレート情報等を認識する。

この実施の形態では、Ｎ＝２とされ、各ビデオストリームは、基本ストリーム（Base stream）のみで構成されるか、あるいは基本ストリーム（Base stream）および拡張ストリーム（Enhanced stream）で構成される。ここで、６０Ｐのサービスの場合には、ビデオストリームは基本ストリームのみで構成され、１２０Ｐのサービスの場合には、ビデオストリームは基本ストリームおよび拡張ストリームで構成されるものとする。

そして、この実施の形態では、拡張ストリームに含めるピクチャの階層が一つとなるように符号化される。また、基本ストリームのみで構成されるビデオストリームの送信期間では、以下の第１、第２の態様のいずれかの態様とされる。第１の態様では、基本ストリームの階層範囲情報のみが挿入される。第２の態様では、基本ストリームの階層範囲情報が挿入される他、拡張ストリームが取り得る階層範囲の情報が挿入される。

この場合、例えば、最小（mix）と最大（max）の値が異なる値とされ、実際には拡張ストリームが存在しないことをも意味するものとされる。すなわち、この実施の形態では、拡張ストリームに含めるピクチャの階層が一つとなるように符号化されるものであり、拡張ストリームが存在する場合には、最小（mix）と最大（max）の値は同じくなるからである。

「送信装置の構成」
図５は、送信装置１００の構成例を示している。この送信装置１００は、ＣＰＵ（Central Processing Unit）１０１と、エンコーダ１０２Ａ，１０２Ｂと、圧縮データバッファ（ｃｐｂ：coded picture buffer）１０３Ａ，１０３Ｂと、マルチプレクサ１０４と、送信部１０５を有している。ＣＰＵ１０１は、制御部であり、送信装置１００の各部の動作を制御する。

エンコーダ１０２Ａは、フレーム周波数が６０Ｈｚの非圧縮の動画像データＶＤＡを入力し、例えば、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの符号化を行う。この際、エンコーダ１０２Ａは、この動画像データＶＤＡを構成する各ピクチャの画像データを複数の階層に分類し、この分類された各階層のピクチャの画像データを符号化し、各階層のピクチャの符号化画像データを持つ６０Ｐのサービスに係るビデオストリームを生成する。圧縮データバッファ(ｃｐｂ)１０３Ａは、このビデオストリームを、一時的に蓄積する。

このビデオストリームには、基本ストリームのみが含まれる。つまり、エンコーダ１０２Ａは、階層符号化されて得られる全ての階層のピクチャの符号化画像データを持つ基本ストリームを生成する。なお、この基本ストリームに含められるピクチャの階層範囲が予め割り当てられた範囲となるように階層符号化される。例えば、基本ストリームに含められるピクチャの階層範囲が０〜３の階層であるとき、例えば、図３（ａ）〜（ｃ）に示すように、最上位階層が３以下となるように階層符号化される。

エンコーダ１０２Ｂは、フレーム周波数が１２０Ｈｚの非圧縮の動画像データＶＤＢを入力し、例えば、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの符号化を行う。この際、エンコーダ１０２Ｂは、この動画像データＶＤＢを構成する各ピクチャの画像データを複数の階層に分類し、この分類された各階層のピクチャの画像データを符号化し、各階層のピクチャの符号化画像データを持つ１２０Ｐのサービスに係るビデオストリームを生成する。圧縮データバッファ(ｃｐｂ)１０３Ｂは、このビデオストリームを、一時的に蓄積する。

このビデオストリームには、基本ストリームおよび拡張ストリームが含まれる。つまり、エンコーダ１０２Ｂは、複数の階層を二分し、低階層側のピクチャの符号化画像データを持つ基本ストリームと、高階層側のピクチャの符号化画像データを持つ拡張ストリームを生成する。

なお、この基本ストリームおよび拡張ストリームに含められるピクチャの階層範囲が予め割り当てられた範囲となるように階層符号化され、かつ拡張ストリームに含めるピクチャの階層が一つとなるように符号化される。例えば、基本ストリームに含められるピクチャの階層範囲が０〜３の階層であり、拡張ストリームに含められるピクチャの階層範囲が４〜５の階層であるときには、例えば、図３（ｄ）に示すように、基本ストリームに含められるピクチャの階層は３以下とされ、拡張ストリームに含められるピクチャの階層は４とされる。

マルチプレクサ１０４は、６０Ｐのサービスを行う場合、圧縮データバッファ１０３Ａに蓄積されているビデオストリームを読み出し、ＰＥＳパケット化し、さらにトランスポートパケット化して多重し、多重化ストリームとしてのトランスポートストリームＴＳを得る。このトランスポートストリームＴＳには、上述したように、基本ストリームのみが含まれる。マルチプレクサ１０４は、この基本ストリームに固定のＰＩＤ（＝ＰＩＤ_１）を付与する。

また、マルチプレクサ１０４は、１２０Ｐのサービスを行う場合、圧縮データバッファ１０３Ｂに蓄積されているビデオストリームを読み出し、ＰＥＳパケット化し、さらにトランスポートパケット化して多重し、多重化ストリームとしてのトランスポートストリームＴＳを得る。このトランスポートストリームＴＳには、上述したように、基本ストリームおよび拡張ストリームが含まれる。マルチプレクサ１０４は、基本ストリームに固定のＰＩＤ（＝ＰＩＤ_１）を付与すると共に、拡張ストリームに固定のＰＩＤ（＝ＰＩＤ_２）を付与する。

送信部１０５は、マルチプレクサ１０４で得られたトランスポートストリームＴＳを、放送波あるいはネットのパケットに載せて、受信装置２００に送信する。この場合、例えば、６０Ｐのサービスに係るトランスポートストリームＴＳが送信され、続いて１２０Ｐのサービスに係るトランスポートストリームＴＳが送信される。あるいは、１２０Ｐのサービスに係るトランスポートストリームＴＳが送信され、続いて６０Ｐのサービスに係るトランスポートストリームＴＳが送信される。

マルチプレクサ１４０は、各サービスのビデオストリームの送信期間において、プログラムマップテーブル（ＰＭＴ）の配下に、ＰＩＤ情報を挿入する。この場合、マルチプレクサ１４０は、以下の第１のＰＩＤ情報挿入態様あるいは第２のＰＩＤ情報挿入態様で、ＰＩＤ情報を挿入する。

すなわち、第１のＰＩＤ情報挿入態様では、あるサービスのビデオストリームの送信期間において、常には、そのビデオストリームを構成する各ストリームのＰＩＤ情報を挿入し、次のサービスのビデオストリームの送信期間が開始される直前のタイミングでこのビデオストリームを構成する各ストリームのＰＩＤ情報を挿入する。また、第２のＰＩＤ情報挿入態様では、各サービスのビデオストリームの送信期間おいて、基本ストリームおよび拡張ストリームの両方のＰＩＤ情報を挿入する。

また、マルチプレクサ１０４は、各サービスのビデオストリームの送信期間において、プログラムマップテーブル（ＰＭＴ）の配下に、階層範囲情報を挿入する。この場合、あるサービスのビデオストリームの送信期間において、常には、そのビデオストリームを構成する各ストリームのピクチャの階層範囲情報を挿入し、次のサービスのビデオストリームの送信期間が開始される直前のタイミングでこのビデオストリームを構成する各ストリームのピクチャの階層範囲情報を挿入する。

ここで、マルチプレクサ１０４は、基本ストリームのみで構成されるビデオストリームの送信期間においては、以下の第１の態様あるいは第２の態様で、階層範囲情報を挿入する。すなわち、第１の態様では、基本ストリームの階層範囲情報のみ挿入する。また、第２の態様では、基本ストリームの階層範囲情報と共に、拡張ストリームが取り得る階層範囲の情報も挿入する。

上述したように、拡張ストリームに含めるピクチャの階層は一つとされるが、この拡張ストリームが取り得る階層範囲の情報は、例えば複数の階層を含むものとされる。これにより、この拡張ストリームが取り得る階層範囲の情報は、文字通り拡張ストリームが取り得る階層範囲を示す他、実際には拡張ストリームが存在していないことを示唆するものとなる。

この階層範囲情報の挿入には、既存のＨＥＶＣデスクリプタ（HEVC descriptor）の「temporal_id_min」、「temporal_id_max」のフィールドを用いる。図６は、ＨＥＶＣデスクリプタ（HEVC_descriptor）の構造例（Syntax）を示している。「descriptor_tag」の８ビットフィールドは、デスクリプタタイプを示し、ここでは、ＨＥＶＣデスクリプタであることを示す。「descriptor_length」の８ビットフィールドは、デスクリプタの長さ（サイズ）を示し、デスクリプタの長さとして、以降のバイト数を示す。

「level_idc」の８ビットフィールドは、ビットレートのレベル指定値を示す。また、「temporal_layer_subset_flag = 1」であるとき、「temporal_id_min」の５ビットフィールドと、「temporal_id_max」の５ビットフィールドが存在する。「temporal_id_min」は、対応するビデオストリームに含まれる階層符号化データの最も低い階層のtemporal_idの値を示す。「temporal_id_max」は、対応するビデオストリームが持つ階層符号化データの最も高い階層のtemporal_idの値を示す。

また、マルチプレクサ１４０は、各サービスのビデオストリームの送信期間において、少なくとも、次のサービスのビデオストリームの送信期間が開始される直前のタイミングで、プログラムマップテーブル（ＰＭＴ）の配下に、切り替え情報を挿入する。この切り替え情報の挿入には、新規定義するシームレス・スイッチ・デスクリプタ（Seamless_switch descriptor）、あるいは既存のビデオ・デコード・コントロール・デスクリプタ（Video_decode_control descriptor）を用いる。

図７は、シームレス・スイッチ・デスクリプタの構造例（Syntax）を示している。また、図８は、その構造例における主要な情報の内容（Semantics）を示している。「descriptor_tag」の８ビットフィールドは、デスクリプタタイプを示す。ここでは、シームレス・スイッチ・デスクリプタであることを示す。「descriptor_length」の８ビットフィールドは、デスクリプタの長さ（サイズ）を示し、デスクリプタの長さとして、以降のバイト数を示す。

「EOS_flag」の1ビットフィールドは、ストリームの最後に、“end_of_seq ”が符号化されていることを示すフラグである。“１”は、符号化されていることを示す。“０”は、符号化されていないことを示す。「number_of_streams」の３ビットフィールドは、切り替え後のサービス・ストリームの数を示す。「frame_rate」の４ビットフィールドは、切り替え後のサービス・ストリームのフレーム周波数を示す。例えば、“１００１”は６０Ｈｚを示し、“１１００”は１２０Ｈｚを示す。

「spatial_resolution」の４ビットフィールドは、切り替え後のサービス・ストリームの空間解像度を示す。例えば、“０００１”は７２０（ｈ）＊４８０（ｖ）を示し、“００１０”は１２８０（ｈ）＊７２０（ｖ）を示し、“００１１”は１９２０（ｈ）＊１０８０（ｖ）を示し、“０１００”は３８４０（ｈ）＊２１６０（ｖ）を示し、“０１０１”は７６８０（ｈ）＊４３２０（ｖ）を示す。「scanning_format」の１ビットフィールドは、フレーム構造を示す。“１”はプログレッシブを示し、“０”はインターレースを示す。

図９は、ビデオ・デコード・コントロール・デスクリプタの構造例（Syntax）を示している。また、図１０は、その構造例における主要な情報の内容（Semantics）を示している。「descriptor_tag」の８ビットフィールドは、デスクリプタタイプを示す。ここでは、ビデオ・デコード・コントロール・デスクリプタであることを示す。「descriptor_length」の８ビットフィールドは、デスクリプタの長さ（サイズ）を示し、デスクリプタの長さとして、以降のバイト数を示す。

「sequence_end_code_flag」の１ビットフィールドは、ストリームの最後に、“end_of_seq ”が符号化されていることを示すフラグである。“１”は、符号化されていることを示す。“０”は、符号化されていないことを示す。「video_encode_format」の４ビットフィールドは、切り替え後のサービス・ストリームのフォーマットを示す。例えば、“００００”は１０８０ｐ（２Ｋ）を示し、“０１１１”は２１６０ｐ（４Ｋ）を示し、“１０００”は４３２０ｐ（８Ｋ）を示す。

「frame_rate_type」の１ビットフィールドは、新規定義するフィールドであり、切り替え後のストリームのフレーム周波数の型を示し、“１”は従来からの、６０Ｈｚ以下のフレームレートを、“０”は１２０Ｈｚ以上を構成することを示す。「stream_not_extended_flag」の１ビットフィールドは、新規定義するフィールドであり、切り替え後のストリームに拡張ストリームが存在しないことを示し、“１”は別ＰＩＤの拡張ストリームは存在しない、“０”は別ＰＩＤの拡張ストリームが多重化され、それと合わせて１２０ｐを構成することを示す。

図１１は、マルチプレクサ１０４の構成を概略的に示している。マルチプレクサ１０４は、セクション情報（デスクリプタを含む）発生部１４１と、ヌルパケット発生部１４２と、セレクタ１４３と、ＰＩＤ割り当て部１４４と、ＴＳ多重化部１４５を有している。セレクタ１４３は、外部から入力される６０Ｐサービスのビデオストリーム（基本ストリーム）、１２０Ｐサービスのビデオストリーム（基本ストリーム、拡張ストリーム）、さらにはその他のサービスのストリーム、さらにはセクション情報発生部１４１で発生されるセクション情報やヌルパケット発生部１４２で発生されるヌルパケットを入力し、いずれかを選択的に取り出す。

ＰＩＤ割り当て部１４４は、セレクタ１４３で選択的に取り出された各信号、つまりビデオストリーム、セクション情報、ヌルパケット等にＰＩＤを割り当てる。ＴＳ多重化部１４５は、各信号を多重化し、トランスポートストリームＴＳを得る。

[トランスポートストリームＴＳの構成]
図１２は、６０Ｐのサービスのビデオストリーム（基本ストリームのみ含む）を送信する場合におけるトランスポートストリームＴＳの構成例を示している。この構成例では、ＰＩＤ１で識別される基本ストリームのＰＥＳパケット「video PES1」が存在する。ここで、ＰＩＤ１は基本ストリームに固定のＰＩＤである。

各ピクチャの符号化画像データには、ＶＰＳ、ＳＰＳ、ＰＰＳ、ＳＬＩＣＥ、ＳＥＩなどのＮＡＬユニットが存在する。上述したように、ＮＡＬユニットのヘッダには、そのピクチャの階層識別情報（temporal_idを意味する“nuh_temporal_id_plus1”）が配置されている。ＳＰＳには、ビットストリームのレベル指定値である「general_level_idc」が挿入されている。

また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（Program Map Table）が含まれている。ＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・ループ（Program loop）が存在する。また、ＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、基本ストリームに対応したビデオエレメンタリ・ループ（video ES1 loop）が存在する。

このビデオエレメンタリ・ループ（video ES1 loop）には、基本ストリーム（video PES1）に対応して、ストリームタイプ、ＰＩＤ（パケット識別子）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。基本ストリームの「Stream_type」の値は「０ｘ２４」に設定され、ＰＩＤ情報は、上述したように基本ストリームのＰＥＳパケット「video PES1」に付与されるＰＩＤ１を示すものとされる。

また、ビデオエレメンタリ・ループ（video ES1 loop）に配置されるデスクリプタとして、上述したＨＥＶＣデスクリプタ（HEVC descriptor）やシームレス・スイッチ・デスクリプタ（Seamless_switch descriptor）が挿入される。なお、「frame_rate」のフィールドが新規定義されたビデオ・デコード・コントロール・デスクリプタ（Video_decode_control descriptor）用いられる場合は、シームレス・スイッチ・デスクリプタの挿入は不要となる。

図示の例では、ＨＥＶＣデスクリプタにおいて、「level_idc 」は“level5.1”に設定されている。また、「temporal_id_min = 0」、「temporal_id_max = 3」に設定されており、基本ストリームの階層範囲が０から３の階層であることが示されている。

なお、第１の態様では、ＰＭＴの配下には、基本ストリームに対応したビデオエレメンタリ・ループ（video ES1 loop）のみが存在するが、第２の態様では、破線図示する、拡張ストリームに対応したビデオエレメンタリ・ループ（video ES2 loop）も存在する。

このビデオエレメンタリ・ループ（video ES2 loop）には、実際には存在しない拡張ストリーム（video PES2）に対応して、ストリームタイプ、ＰＩＤ（パケット識別子）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。拡張ストリームの「Stream_type」の値は「０ｘ２５」に設定され、ＰＩＤ情報は、拡張ストリームのＰＥＳパケット「video PES２」に付与されるＰＩＤ２を示すものとされる。

また、ビデオエレメンタリ・ループに配置されるデスクリプタとして、上述したＨＥＶＣデスクリプタ（HEVC descriptor）やシームレス・スイッチ・デスクリプタ（Seamless_switch descriptor）が挿入される。なお、「frame_rate」のフィールドが新規定義されたビデオ・デコード・コントロール・デスクリプタ（Video_decode_control descriptor）用いられる場合は、シームレス・スイッチ・デスクリプタの挿入は不要となる。

図示の例では、ＨＥＶＣデスクリプタにおいて、「level_idc 」は“level5.2”に設定されている。また、「temporal_id_min = 5」、「temporal_id_max = 6」に設定されており、拡張ストリームが取り得る階層範囲が５，６の階層であることが示され、かつ実際には拡張ストリームが存在していないことが示される。

なお、６０Ｐのサービスのビデオストリーム（基本ストリームのみ含む）を送信する場合におけるトランスポートストリームＴＳに含まれるＰＭＴは、常には、図示の内容とされるが、次のサービスのビデオストリームの送信が開始される直前のタイミングでは、そのビデオストリームに対応した内容の新ＰＭＴに更新される。

図１３は、１２０Ｐのサービスのビデオストリーム（基本ストリーム、拡張ストリームを含む）を送信する場合におけるトランスポートストリームＴＳの構成例を示している。この構成例では、ＰＩＤ１で識別される基本ストリームのＰＥＳパケット「video PES1」と、ＰＩＤ２で識別される拡張ストリームのＰＥＳパケット「video PES２」が存在する。ここで、「stream_id」が同じサービス（放送チャンネル）で、ＰＩＤ１は基本ストリームに固定のＰＩＤであり、ＰＩＤ２は拡張ストリームに固定のＰＩＤである。

基本ストリームの各ピクチャの符号化画像データには、ＶＰＳ、ＳＰＳ、ＰＰＳ、ＳＬＩＣＥ、ＳＥＩなどのＮＡＬユニットが存在する。ＮＡＬユニットのヘッダには、そのピクチャの階層識別情報（temporal_idを意味する“nuh_temporal_id_plus1”）が配置されている。ＳＰＳには、ビットストリームのレベル指定値である「general_level_idc」が挿入されている。また、ＳＰＳには、“temporal_id”で示される各階層に属するピクチャがサブレイヤ（sub_layer）として括られ、“sublayer_level_presented_flag”が“１”とされることで、サブレイヤごとのビットレートのレベル指定値である「sublayer_level_idc」が挿入される。

一方、拡張ストリームの各ピクチャの符号化画像データには、ＰＰＳ、ＳＬＩＣＥなどのＮＡＬユニットが存在する。ＮＡＬユニットのヘッダには、そのピクチャの階層識別情報（temporal_idを意味する“nuh_temporal_id_plus1”）が配置されている。

また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。

ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・ループ（Program loop）が存在する。また、ＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、２つのビデオエレメンタリ・ループ（video ES1 loop, video ES2 loop ）が存在する。

各ビデオエレメンタリ・ループには、ビデオストリーム（video PES1, video PES2）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。ビデオエレメンタリ・ループ（video ES1 loop）に関しては、詳細説明は省略するが、図１２におけるＴＳ構成と同様である。

ビデオエレメンタリ・ループ（video ES2 loop）には、拡張ストリーム（video PES2）に対応して、ストリームタイプ、ＰＩＤ（パケット識別子）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。拡張ストリームの「Stream_type」の値は「０ｘ２５」に設定され、ＰＩＤ情報は、拡張ストリームのＰＥＳパケット「video PES２」に付与されるＰＩＤ２を示すものとされる。

また、ビデオエレメンタリ・ループに配置されるデスクリプタとして、上述したＨＥＶＣデスクリプタ（HEVC descriptor）やシームレス・スイッチ・デスクリプタ（Seamless_switch descriptor）が挿入される。なお、「frame_rate」のフィールドが新規定義されたビデオ・デコード・コントロール・デスクリプタ（Video_decode_control descriptor）用いられる場合は、シームレス・スイッチ・デスクリプタの挿入は不要となる。図示の例では、ＨＥＶＣデスクリプタにおいて、「level_idc 」は“level5.2”に設定されている。また、「temporal_id_min = 5」、「temporal_id_max = 5」に設定されており、拡張ストリームに含まれるピクチャの階層が５であることが示されている。

なお、１２０Ｐのサービスのビデオストリーム（基本ストリームのみ含む）を送信する場合におけるトランスポートストリームＴＳに含まれるＰＭＴは、常には、図示の内容とされるが、次のサービスのビデオストリームの送信が開始される直前のタイミングでは、そのビデオストリームに対応した内容の新ＰＭＴに更新される。

図５に示す送信装置１００の動作を簡単に説明する。エンコーダ１０２Ａには、フレーム周波数が６０Ｈｚの非圧縮の動画像データＶＤＡが入力される。このエンコーダ１０２Ａでは、この動画像データＶＤＡに対して、例えば、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの符号化が行われる。この際、エンコーダ１０２Ａでは、この動画像データＶＤＡを構成する各ピクチャの画像データが複数の階層に分類され、この分類された各階層のピクチャの画像データが符号化され、各階層のピクチャの符号化画像データを持つ６０Ｐのサービスに係るビデオストリームが生成される。

このビデオストリームには、基本ストリームのみが含まれる。つまり、エンコーダ１０２Ａでは、階層符号化されて得られる全ての階層のピクチャの符号化画像データを持つ基本ストリームが生成される。なお、この基本ストリームに含められるピクチャの階層範囲が予め割り当てられた範囲となるように階層符号化される。エンコーダ１０２Ａで生成された、各階層のピクチャの符号化データを含むビデオストリーム（基本ストリーム）は、圧縮データバッファ（ｃｐｂ）１０３Ａに供給され、一時的に蓄積される。

また、エンコーダ１０２Ｂには、フレーム周波数が１２０Ｈｚの非圧縮の動画像データＶＤＢが入力される。このエンコーダ１０２Ｂでは、例えば、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの符号化が行われる。この際、エンコーダ１０２Ｂでは、この動画像データＶＤＢを構成する各ピクチャの画像データが複数の階層に分類され、この分類された各階層のピクチャの画像データが符号化され、各階層のピクチャの符号化画像データを持つ１２０Ｐのサービスに係るビデオストリームが生成される。

このビデオストリームには、基本ストリームおよび拡張ストリームが含まれる。つまり、エンコーダ１０２Ｂでは、複数の階層が二分され、低階層側のピクチャの符号化画像データを持つ基本ストリームと、高階層側のピクチャの符号化画像データを持つ拡張ストリームが生成される。なお、この基本ストリームおよび拡張ストリームに含められるピクチャの階層範囲が予め割り当てられた範囲となるように階層符号化され、かつ拡張ストリームに含めるピクチャの階層が一つとなるように符号化される。エンコーダ１０２Ｂで生成された、各階層のピクチャの符号化データを含むビデオストリーム（基本ストリーム、拡張ストリーム）は、圧縮データバッファ（ｃｐｂ）１０３Ｂに供給され、一時的に蓄積される。

マルチプレクサ１０４では、６０Ｐのサービスを行う場合、圧縮データバッファ１０３Ａに蓄積されているビデオストリームが読み出され、ＰＥＳパケット化され、さらにトランスポートパケット化されて多重され、多重化ストリームとしてのトランスポートストリームＴＳが得られる。このトランスポートストリームＴＳには、基本ストリームのみが含まれる。マルチプレクサ１０４では、この基本ストリームに固定のＰＩＤ（＝ＰＩＤ_１）が付与される。

また、マルチプレクサ１０４では、１２０Ｐのサービスを行う場合、圧縮データバッファ１０３Ｂに蓄積されているビデオストリームが読み出され、ＰＥＳパケット化され、さらにトランスポートパケット化されて多重され、多重化ストリームとしてのトランスポートストリームＴＳが得られる。このトランスポートストリームＴＳには、基本ストリームおよび拡張ストリームが含まれる。マルチプレクサ１０４では、基本ストリームに固定のＰＩＤ（＝ＰＩＤ_１）が付与されると共に、拡張ストリームに固定のＰＩＤ（＝ＰＩＤ_２）が付与される。

また、マルチプレクサ１０４では、各サービスのビデオストリームの送信期間において、プログラムマップテーブル（ＰＭＴ）の配下に、ＰＩＤ情報が挿入される。ここで、第１のＰＩＤ情報挿入態様では、あるサービスのビデオストリームの送信期間において、常には、そのビデオストリームを構成する各ストリームのＰＩＤ情報が挿入され、次のサービスのビデオストリームの送信期間が開始される直前のタイミングでこのビデオストリームを構成する各ストリームのＰＩＤ情報が挿入される。また、第２のＰＩＤ情報挿入態様では、各サービスのビデオストリームの送信期間おいて、基本ストリームおよび拡張ストリームの両方のＰＩＤ情報が挿入される。

また、マルチプレクサ１０４では、各サービスのビデオストリームの送信期間において、プログラムマップテーブル（ＰＭＴ）の配下に、階層範囲情報が挿入される。この場合、あるサービスのビデオストリームの送信期間において、常には、そのビデオストリームを構成する各ストリームのピクチャの階層範囲情報が挿入され、次のサービスのビデオストリームの送信期間が開始される直前のタイミングでこのビデオストリームを構成する各ストリームのピクチャの階層範囲情報が挿入される。

ここで、マルチプレクサ１０４では、基本ストリームのみで構成されるビデオストリームの送信期間において、第１の態様では基本ストリームの階層範囲情報のみ挿入され、第２の態様では基本ストリームの階層範囲情報と共に、拡張ストリームが取り得る階層範囲の情報も挿入すされる。拡張ストリームに含めるピクチャの階層は一つとされるが、この拡張ストリームが取り得る階層範囲の情報は、例えば複数の階層を含むものとされる。

また、マルチプレクサ１４０では、各サービスのビデオストリームの送信期間において、少なくとも、次のサービスのビデオストリームの送信期間が開始される直前のタイミングで、プログラムマップテーブル（ＰＭＴ）の配下に、切り替え情報が挿入される。この切り替え情報の挿入には、新規定義するシームレス・スイッチ・デスクリプタ（Seamless_switch descriptor）、あるいは既存のビデオ・デコード・コントロール・デスクリプタ（Video_decode_control descriptor）が用いられる。

送信部１０５では、マルチプレクサ１０４で得られたトランスポートストリームＴＳが、放送波あるいはネットのパケットに載せて、受信装置２００に送信される。この場合、例えば、６０Ｐのサービスに係るトランスポートストリームＴＳが送信され、続いて１２０Ｐのサービスに係るトランスポートストリームＴＳが送信される。あるいは、１２０Ｐのサービスに係るトランスポートストリームＴＳが送信され、続いて６０Ｐのサービスに係るトランスポートストリームＴＳが送信される。

なお、上述では、エンコーダ１０２Ａが６０Ｐのサービスに係るビデオストリーム（基本ストリーム）を生成し、エンコーダ１０２Ｂが１２０Ｐのサービスに係るビデオストリーム（基本ストリーム、拡張ストリーム）を生成し、マルチプレクサ１０４でこれらを切り替える旨の説明をした。しかし、これと同じ効果を、エンコーダ１０２Ｂに持たせることも可能である。この場合、エンコーダ１０２Ｂは、フレーム周波数が１２０Ｈｚの非圧縮の動画像データＶＤＢを入力し、６０Ｐのサービスに係るビデオストリーム（基本ストリーム）の出力と、１２０Ｐのサービスに係るビデオストリーム（基本ストリーム、拡張ストリーム）の出力とを、切り替えて出力する機能を持つ。

「受信装置の構成」
図１４は、受信装置２００の構成例を示している。この受信装置２００は、ＣＰＵ（Central Processing Unit）２０１と、受信部２０２と、デマルチプレクサ２０３と、圧縮データバッファ（ｃｐｂ：coded picture buffer）２０４を有している。また、この受信装置２００は、デコーダ２０５と、非圧縮データバッファ（ｄｐｂ：decoded picture buffer）２０６と、ポスト処理部２０７と、表示部２０８を有している。ＣＰＵ２０１は、制御部を構成し、受信装置２００の各部の動作を制御する。

受信部２０２は、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳを受信する。デマルチプレクサ２０３は、トランスポートストリームＴＳから、それに含まれるビデオストリームを構成するストリームをＰＩＤフィルタでフィルタリングして取り出し、圧縮データバッファ（ｃｐｂ：coded picture buffer）２０４に送る。

この場合、基本ストリームや拡張ストリームにはそれぞれ固定のＰＩＤが付与されている。そのため、例えば、６０ｐサービスから１２０ｐサービスに、あるいはその逆にサービスの切り替えがあっても、各ストリームを取り出すフィルタの設定を変更することを要せず、従って、表示ミュートの発生を抑制でき、シームレス表示が可能となる。

図１５は、デマルチプレクサ２０３の構成例を示している。このデマルチプレクサ２０３は、ＰＩＤフィルタ２３１と、多重化バッファ２３２_０〜２３２_ｎ，２３２_null，２３２_ｃと、セクションフィルタ２３３と、ＰＭＴ解析部２３４を有している。

ＰＩＤフィルタ２３１は、ＰＩＤに基づいて、トランスポートストリームＴＳに含まれるセクションデータ、ヌルパケットを通過させる。図示の例では、セクションデータのＰＩＤ値をＰＩＤ_cとし、ヌルパケットのＰＩＤをＰＩＤ_nullとしている。ヌルパケットは独自のＰＩＤ値を持たなく、ビデオのＰＩＤのストリームの中に挿入されるように伝送されてもよい。これにより、受信機の多重化バッファでヌルパケットを検知して切り替えが起こることの判定に利用することが可能となる。また、ＰＩＤフィルタ２３１は、トランスポートストリームＴＳに含まれる、放送サービスチャネルに相当するプログラムナンバー（program number）に対応したＴＳパケットを、セットされるＰＩＤ値に基づいて通過させる。図示の例では、セット可能なＴＳパケットのＰＩＤ値を、ＰＩＤ_0〜ＰＩＤ_nとしている。

多重化バッファ２３２_０〜２３２_ｎ，２３２_null，２３２_ｃは、ＰＩＤフィルタ２３１を通過したＴＳパケット、セクションデータ、ヌルパケットをそれぞれ一時的に蓄積する。つまり、デマルチプレクサ２０３では、多重化バッファがＰＩＤ値別に管理されている。セクションフィルタ２３３は、多重化バッファ２３２_cに蓄積されたセクションデータから、ＰＩＤ値に基づいて、プログラムマップテーブル（ＰＭＴ）を抽出する。

ＰＭＴ解析部２３４は、セクションフィルタ２３３で抽出されたＰＭＴを解析し、その解析結果に基づいて、ＰＩＤフィルタ２３１に、通過させるＴＳパケットのＰＩＤ値をセットする。例えば、トランスポートストリームＴＳが６０Ｐのサービスである場合、例えば、ＰＩＤ_0として、基本ストリームに付与されている固定のＰＩＤ値である「１０１」がセットされる。また、例えば、トランスポートストリームＴＳが１２０Ｐのサービスである場合、例えば、ＰＩＤ_0として基本ストリームに付与されている固定のＰＩＤ値である「１０１」がセットされると共に、ＰＩＤ_1として拡張ストリームに付与されている固定のＰＩＤ値である「１０２」がセットされる。

デマルチプレクサ２０３は、デコーダ２０５のデコード能力に応じて、多重化バッファ２３２_０〜２３２_ｎにＰＩＤ値別に蓄積されたＴＳパケットを、圧縮データバッファ２０４に転送する。例えば、デコーダ２０５が６０ｐデコーダである場合、多重化バッファ２３２_0に蓄積された基本ストリームに係るＴＳパケットを、圧縮データバッファ２０４に転送する。また、例えば、デコーダ２０５が１２０ｐデコーダである場合、多重化バッファ２３２_0に蓄積される基本ストリームに係るＴＳパケットと、多重化バッファ２３２_1に蓄積される拡張ストリームに係るＴＳパケットを、圧縮データバッファ２０４に転送する。

なお、上述では、例えば、トランスポートストリームＴＳが１２０Ｐのサービスである場合、ＰＩＤフィルタ２３１がＰＩＤ_0，ＰＩＤ_1のＴＳパケットを通過させるものとしたが、デコーダ２０５が６０ｐデコーダであるときには、ＰＩＤフィルタ２３１がＰＩＤ_0のＴＳパケットのみを通過させる方法も可能である。

図１４に戻って、圧縮データバッファ(ｃｐｂ)２０４は、デマルチプレクサ２０３から転送されるＴＳパケット、従って各ピクチャの符号化画像データを、一時的に蓄積する。デコーダ２０５は、圧縮データバッファ２０４に蓄積されている各ピクチャの符号化画像データを、それぞれ、そのピクチャのＤＴＳ（Decoding Time stamp）で与えられるデコードタイミングで読み出してデコードし、非圧縮データバッファ（ｄｐｂ）２０６に送る。

非圧縮データバッファ（ｄｐｂ）２０６は、デコーダ２０５でデコードされた各ピクチャの画像データを、一時的に蓄積する。ポスト処理部２０７は、非圧縮データバッファ（ｄｐｂ）２０６からＰＴＳ（Presentation Time stamp）で与えられる表示タイミングで順次読み出された各ピクチャの画像データに対して、そのフレームレートを、表示能力に合わせる処理を行う。

例えば、デコード後の各ピクチャの画像データのフレームレートが６０ｆｐｓであって、表示能力が１２０ｆｐｓであるとき、ポスト処理部２０７は、デコード後の各ピクチャの画像データに対して時間方向解像度が２倍となるように補間処理を施し、１２０ｆｐｓの画像データとして表示部２０８に送る。

表示部２０８は、例えば、ＬＣＤ(Liquid Crystal Display)、有機ＥＬ（Organic Electro-Luminescence）パネル等で構成されている。なお、この表示部２０８は、受信装置２００に接続される外部機器であってもよい。

図１４に示す受信装置２００の動作を簡単に説明する。受信部２０２では、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳが受信される。このトランスポートストリームＴＳは、デマルチプレクサ２０３に送られる。デマルチプレクサ２０３では、トランスポートストリームＴＳから、ＰＭＴに含まれるＰＩＤ情報に基づいて、サービスに対応したＴＳパケットが取り出される。このＴＳパケットは、圧縮データバッファ（ｃｐｂ）２０４に送られ、一時的に蓄積される。

例えば、トランスポートストリームＴＳが６０ｐのサービスである場合、基本ストリームに係るＴＳパケットが取り出されて圧縮データバッファ２０４に転送される。また、例えば、トランスポートストリームＴＳが１２０ｐのサービスである場合、デコーダ２０５が６０ｐデコーダであるときには、基本ストリームに係るＴＳパケットが取り出されて圧縮データバッファ２０４に転送され、デコーダ２０５が１２０ｐデコーダであるときには、基本ストリームおよび拡張ストリームの双方に係るＴＳパケットが取り出されて圧縮データバッファ２０４に転送される。

デコーダ２０５では、圧縮データバッファ２０４に蓄積されている各ピクチャの符号化画像データが、それぞれ、そのピクチャのデコードタイミングでデコードされ、非圧縮データバッファ（ｄｐｂ）２０６に送られ、一時的に蓄積される。そして、非圧縮データバッファ（ｄｐｂ）２０６から表示タイミングで順次読み出された各ピクチャの画像データは、ポスト処理部２０７に送られる。ポスト処理部２０７では、各ピクチャの画像データに対して、そのフレームレートを、表示能力に合わせるための補間あるいはサブサンプルが行われる。このポスト処理部２０７で処理された各ピクチャの画像データは、表示部２０８に供給され、動画像の表示が行われる。

次に、図１に示す送受信システム１０において、４Ｋ ６０ｐ番組から４Ｋ １２０ｐ番組への切り替え動作について説明する。図１６は、送信側、つまり送信装置１００の動作例を示している。６０ｐサービス送信期間では、エンコーダ１０２Ａで６０ｐサービスに係るビデオストリームが生成される。このビデオストリームには、ＰＩＤ値として例えば「１０１」が付与される基本ストリームのみが含まれている。

そして、この６０ｐサービス送信期間では、マルチプレクサ１０４において、この基本ストリームがＰＥＳパケット化され、さらにトランスポートパケット化されて多重され、多重化ストリームとしてのトランスポートストリームＴＳが得られ、４Ｋ ６０ｐ番組の送信ストリームとなる。

この６０ｐサービス送信期間では、コンテナのレイヤに、常には、図示では「旧ＰＭＴ」で示すＰＭＴが挿入されて送信される。このＰＭＴには、「Service_id」、「Version number」の情報が含まれる他、基本ストリームに対応した「Elementary_PID」、「Stream_type」の情報が含まれる。

また、この６０ｐサービス送信期間において、１２０ｐサービス送信期間が開始される直前のタイミング、例えば６０ｐサービス送信期間の終了から１秒前のタイミングで、コンテナのレイヤに、図示では「新ＰＭＴ」で示すＰＭＴが挿入されて送信される。このＰＭＴには「旧ＰＭＴ」と同様に、「Service_id」、「Version number」の情報が含まれる。「Version number」は、“Ｖ0”から“Ｖ0+1”に変更され、「新ＰＭＴ」に変更されたことが示される。

また、このＰＭＴには、基本ストリームに対応した「Elementary_PID」、「Stream_type」の情報が含まれると共に、拡張ストリームに対応した「Elementary_PID」、「Stream_type」の情報も含まれる。さらに、このＰＭＴには、切り替え情報が記述されたシームレス・スイッチ・デスクリプタ（Seamless_switch descriptor）が含まれる。

ここでは、「EOS_flag = 1」とされ、“end_of_seq ”が符号化されていることが示されている。また、「number_of_streams = 2」とされ、切り替え後のサービス・ストリームの数が２であることが示される。また、「frame_rate = 1100(120Hz)」とされ、切り替え後のサービス・ストリームのフレーム周波数が１２０Ｈｚであることが示される。

６０ｐサービス送信期間が終了すると、１２０ｐのサービス送信期間に切り替わる。１２０ｐサービス送信期間では、エンコーダ１０２Ｂで１２０ｐサービスに係るビデオストリームが生成される。このビデオストリームには、ＰＩＤ値として例えば「１０１」が付与される基本ストリームと、ＰＩＤ値として例えば「１０２」が付与される拡張ストリームが含まれている。

そして、この１２０ｐサービス送信期間では、マルチプレクサ１０４において、この基本ストリームおよび拡張ストリームがＰＥＳパケット化され、さらにトランスポートパケット化されて多重され、多重化ストリームとしてのトランスポートストリームＴＳが得られ、４Ｋ １２０ｐ番組の送信ストリームとなる。なお、４Ｋ ６０ｐ番組の送信ストリームと４Ｋ １２０ｐ番組の送信ストリームとの間にはヌルパケットが送信されるギャップ期間が設けられる。

図１７は、受信側、つまり受信装置２００の動作例を示している。６０ｐサービス送信期間では、デマルチプレクサ２０３から、４Ｋ ６０番組のビデオストリームが出力される。そして、デコーダ２０５からは、６０ｐデコーダであっても、１２０ｐデコーダであっても、４Ｋ ６０番組の画像データが出力される。

この６０ｐサービス送信期間では、コンテナのレイヤから、常には、「旧ＰＭＴ」で示すＰＭＴが取得され、１２０ｐサービス送信期間が開始される直前のタイミングで、「新ＰＭＴ」が取得される。この「新ＰＭＴ」に含まれる拡張ストリームのＰＩＤ値がＰＩＤフィルタにセットされることで、デマルチプレクサ２０３は、４Ｋ １２０番組のビデオストリームを出力し得る状態となる。

６０ｐサービス送信期間が終了すると、１２０ｐのサービス送信期間に切り替わる。この場合、デマルチプレクサ２０３の出力は、ヌルパケットが含まれるギャップ期間を経て、４Ｋ ６０ｐ番組のビデオストリーム（基本ストリームのみ）から４Ｋ １２０ｐ番組のビデオストリーム（基本ストリームと拡張ストリーム）に変わる。そして、デコーダ２０５からは、６０ｐデコーダである場合には、４Ｋ ６０番組の画像データが出力され、１２０ｐデコーダである場合には、４Ｋ １２０番組の画像データが出力される。

６０ｐサービス送信期間から１２０ｐサービス送信期間への切り替わりにおけるデマルチプレクサ２０３の動作についてさらに説明する。６０ｐサービス送信期間では、PID_0（１０１）のストリーム（基本ストリーム）のみがＰＩＤフィルタ２３１を通過して、多重化バッファ２３２_0に蓄積される。

この６０ｐサービス送信期間が終了する１秒前に、セクションフィルタ２３３では「新ＰＭＴ」が抽出される。この「新ＰＭＴ」がＰＭＴ解析部２３４で解析され、ＰＩＤフィルタ２３１を通過させるべきストリームのＰＩＤ値、さらには「Stream_type」、「Descriptor」が検知され、ＰＩＤフィルタ２３１へのＰＩＤ値のセットが行われる。これにより、ＰＩＤフィルタ２３１は、続く１２０ｐサービス送信期間において、PID_0（１０１）のストリーム（基本ストリーム）と共に、PID_1（１０２）のストリーム（拡張ストリーム）を通過させることが可能となる。

１２０ｐサービス送信期間への切り替わり後、PID_0（１０１）のストリーム（基本ストリーム）がＰＩＤフィルタ２３１を通過して多重化バッファ２３２_0に蓄積されると共に、PID_0（１０２）のストリーム（拡張ストリーム）がＰＩＤフィルタ２３１を通過して多重化バッファ２３２_1に蓄積される。なお、「新ＰＭＴ」のシームレス・スイッチ・デスクリプタの「EOS_flag」が“１”である場合、ビデオストリームのＥＯＳが判別された時点でビデオフォーマットとサービス・ストリームの数に関しての切り替えが起こることが、判別される。

なお、上述の図１６、図１７に示す動作例では、１２０ｐサービス送信期間が開始される直前のタイミング、例えば６０ｐサービス送信期間の終了から１秒前のタイミングでコンテナのレイヤに挿入される「新ＰＭＴ」で拡張ストリームのＰＩＤ値を通知する例を示した（第１のＰＩＤ挿入形態）。しかし、６０ｐサービス送信期間で常にコンテナのレイヤに挿入される「旧ＰＭＴ」に、拡張ストリームのＰＩＤ値を含め、拡張ストリームのＰＩＤ値を予約することも可能である（第２のＰＩＤ挿入形態）。図１８、図１９は、その場合における、送信側、受信側の動作例を示している。

次に、図１に示す送受信システム１０において、サービスの切り替え動作に伴う階層符号化構造の変化について説明する。図２０は、サービスの切り替え動作に伴う階層符号化構造の変化の一例を示している。この例では、０〜３の階層が基本ストリームに割り当てられており、４，５の階層が拡張ストリームに割り当てられている例である。

この例では、６０ｐサービスのビデオストリームには、階層符号化された各ピクチャの符号化画像データが含まれる。この場合、０〜３の階層のピクチャが存在している。６０ｐサービスのビデオストリームには、基本ストリームのみが含まれる。この基本ストリームに、０から３の全ての階層のピクチャが含まれる。この場合、基本ストリームのＳＰＳおいて、「general_level_idc」は“level5.1”に設定され、「sps_max_sublayer_minus1 = 3」に設定される。

また、この例では、１２０ｐサービスのビデオストリームには、階層符号化された各ピクチャの符号化画像データが含まれる。この場合、０〜４の階層のピクチャが存在している。１２０ｐサービスのビデオストリームには、基本ストリームおよび拡張ストリームが含まれる。基本ストリームに０から３の階層のピクチャが含まれ、拡張ストリームに４の階層のピクチャが含まれる。この場合、基本ストリームのＳＰＳ（Sequence Prameter Set）おいて、「general_level_idc」は“level5.2”に設定され、「sps_max_sublayer_minus1 = 4」に設定される。

６０ｐサービス送信期間が開始される直前のタイミングで、コンテナのレイヤに、その６０ｐサービスのビデオストリームの情報を持つＰＭＴが挿入される。このＰＭＴに含まれるＨＥＶＣデスクリプタ（HEVC descriptor）において、「level_idc 」は“level5.1”に設定され、さらに、「temporal_id_min = 0」、「temporal_id_max = 3」に設定される。

同様に、６０ｐサービス送信期間において、１２０ｐサービスが開始される直前のタイミングで、コンテナのレイヤに、その１２０ｐサービスのビデオストリームの情報を持つＰＭＴが挿入される。このＰＭＴに含まれる基本ストリームに係るＨＥＶＣデスクリプタにおいて、「level_idc 」は“level5.1”に設定され、さらに、「temporal_id_min = 0」、「temporal_id_max = 3」に設定される。また、このＰＭＴに含まれる拡張ストリームに係るＨＥＶＣデスクリプタにおいて、「level_idc 」は“level5.2”に設定され、さらに、「temporal_id_min = 4」、「temporal_id_max = 4」に設定される。

この場合、１２０ｐサービスのビデオストリームの情報を持つＰＭＴの挿入時点から６０ｐサービス送信期間が終了する期間Ｔでは、ビデオレイヤの情報が６０ｐサービスのビデオストリームの情報であるのに対して、システムレイヤの情報は１２０ｐサービスのビデオストリームの情報となる。しかし、この例では、ビデオの“temporal_id”の値と、ＨＥＶＣデスクリプタの“temporal_id”の値の範囲は整合する。これは、各サービスのビデオストリームが、基本ストリームおよび拡張ストリームにそれぞれ含めるピクチャの階層が予め割り当てられた互いに独立した範囲に収まるように、階層符号化が行われているからである。

図２１は、サービスの切り替え動作に伴う階層符号化構造の変化の他の一例を示している。この例では、０〜３の階層が基本ストリームに割り当てられており、５，６の階層が拡張ストリームに割り当てられている例である。

この例では、６０ｐサービスのビデオストリームには、階層符号化された各ピクチャの符号化画像データが含まれる。この場合、０〜３の階層のピクチャが存在している。６０ｐサービスのビデオストリームには、基本ストリームのみが含まれる。この基本ストリームに、０から３の全ての階層のピクチャが含まれる。この場合、基本ストリームのＳＰＳおいて、「general_level_idc」は“level5.1”に設定され、「sps_max_sublayer_minus1 = 3」に設定される。

また、この例では、１２０ｐサービスのビデオストリームには、階層符号化された各ピクチャの符号化画像データが含まれる。この場合、０〜２，５の階層のピクチャが存在している。１２０ｐサービスのビデオストリームには、基本ストリームおよび拡張ストリームが含まれる。基本ストリームに０から２の階層のピクチャが含まれ、拡張ストリームに５の階層のピクチャが含まれる。この場合、基本ストリームのＳＰＳ（Sequence Prameter Set）おいて、「general_level_idc」は“level5.2”に設定され、「sps_max_sublayer_minus1 = 5」に設定される。

６０ｐサービス送信期間が開始される直前のタイミングで、コンテナのレイヤに、その６０ｐサービスのビデオストリームの情報を持つＰＭＴが挿入される。このＰＭＴには、基本ストリームおよび拡張ストリームの情報が存在する。基本ストリームに係るＨＥＶＣデスクリプタにおいて、「level_idc 」は“level5.1”に設定され、さらに、「temporal_id_min = 0」、「temporal_id_max = 3」に設定される。

また、拡張ストリームに係るＨＥＶＣデスクリプタにおいて、「level_idc 」は“level5.2”に設定され、さらに、「temporal_id_min = 5」、「temporal_id_max = 6」に設定される。この設定により、拡張ストリームが取り得る階層範囲が５，６の階層であることが示され、かつ実際には拡張ストリームが存在していないことが示される。なお、図２０に示すと同様に、このＰＭＴに、基本ストリームの情報ななくともよい。

また、６０ｐサービス送信期間において、１２０ｐサービスが開始される直前のタイミングで、コンテナのレイヤに、その１２０ｐサービスのビデオストリームの情報を持つＰＭＴが挿入される。このＰＭＴに含まれる基本ストリームに係るＨＥＶＣデスクリプタにおいて、「level_idc 」は“level5.1”に設定され、さらに、「temporal_id_min = 0」、「temporal_id_max = 3」に設定される。また、このＰＭＴに含まれる拡張ストリームに係るＨＥＶＣデスクリプタにおいて、「level_idc 」は“level5.2”に設定され、さらに、「temporal_id_min = 5」、「temporal_id_max = 5」に設定される。

この場合、１２０ｐサービスのビデオストリームの情報を持つＰＭＴの挿入時点から６０ｐサービス送信期間が終了する期間Ｔでは、ビデオレイヤの情報が６０ｐサービスのビデオストリームの情報であるのに対して、システムレイヤの情報は１２０ｐサービスのビデオストリームの情報となる。しかし、この例では、ビデオの“temporal_id”の値と、ＨＥＶＣデスクリプタの“temporal_id”の値の範囲は整合する。これは、各サービスのビデオストリームが、基本ストリームおよび拡張ストリームにそれぞれ含めるピクチャの階層が予め割り当てられた互いに独立した範囲に収まるように、階層符号化が行われているからである。

図２２は、サービスの切り替え動作に伴う階層符号化構造の変化の一例を示している。この例は、基本ストリームおよび拡張ストリームにそれぞれ含めるピクチャの階層が予め割り当てられていない例である。

この例では、６０ｐサービスのビデオストリームには、階層符号化された各ピクチャの符号化画像データが含まれる。この場合、０〜３の階層のピクチャが存在している。６０ｐサービスのビデオストリームには、基本ストリームのみが含まれる。この基本ストリームに、０から３の全ての階層のピクチャが含まれる。この場合、基本ストリームのＳＰＳおいて、「general_level_idc」は“level5.1”に設定され、「sps_max_sublayer_minus1 = 3」に設定される。

また、この例では、１２０ｐサービスのビデオストリームには、階層符号化された各ピクチャの符号化画像データが含まれる。この場合、０〜３の階層のピクチャが存在している。１２０ｐサービスのビデオストリームには、基本ストリームおよび拡張ストリームが含まれる。基本ストリームに０から２の階層のピクチャが含まれ、拡張ストリームに３の階層のピクチャが含まれる。この場合、基本ストリームのＳＰＳ（Sequence Prameter Set）おいて、「general_level_idc」は“level5.2”に設定され、「sps_max_sublayer_minus1 = 3」に設定される。

６０ｐサービス送信期間が開始される直前のタイミングで、コンテナのレイヤに、その６０ｐサービスのビデオストリームの情報を持つＰＭＴが挿入される。このＰＭＴに含まれるＨＥＶＣデスクリプタ（HEVC descriptor）において、「level_idc 」は“level5.1”に設定され、さらに、「temporal_id_min = 0」、「temporal_id_max = 3」に設定される。

同様に、６０ｐサービス送信期間において、１２０ｐサービスが開始される直前のタイミングで、コンテナのレイヤに、その１２０ｐサービスのビデオストリームの情報を持つＰＭＴが挿入される。このＰＭＴに含まれる基本ストリームに係るＨＥＶＣデスクリプタにおいて、「level_idc 」は“level5.1”に設定され、さらに、「temporal_id_min = 0」、「temporal_id_max = 2」に設定される。また、このＰＭＴに含まれる拡張ストリームに係るＨＥＶＣデスクリプタにおいて、「level_idc 」は“level5.2”に設定され、さらに、「temporal_id_min = 3」、「temporal_id_max = 3」に設定される。

この場合、１２０ｐサービスのビデオストリームの情報を持つＰＭＴの挿入時点から６０ｐサービス送信期間が終了する期間Ｔでは、ビデオレイヤの情報が６０ｐサービスのビデオストリームの情報であるのに対して、システムレイヤの情報は１２０ｐサービスのビデオストリームの情報となる。そして、この例では、ビデオの“temporal_id”の値と、ＨＥＶＣデスクリプタの“temporal_id”の値の範囲は整合しなくなる。これは、各サービスのビデオストリームが、基本ストリームおよび拡張ストリームにそれぞれ含めるピクチャの階層が予め割り当てられた互いに独立した範囲に収まるように、階層符号化が行われていず、temporal_ID = 3のレイヤが、基本ストリームに存在したり、拡張ストリームに存在したり、と変動するからである。

以上説明したように、図１に示す送受信システム１０において、送信装置１００では、基本ストリーム、拡張ストリームに固定の識別子（ＰＩＤ）が付与されるものである。そのたえめ、受信側では、６０ｐサービスから１２０ｐに、あるいは１２０ｐサービスから６０ｐサービスに切り替わる場合にあっても、デマルチプレクサ２０３で各ストリームを取り出すフィルタの設定を変更することを要せず、従って、表示ミュートの発生を抑制でき、シームレス表示が可能となる。

また、図１に示す送受信システム１０において、これは、各サービスのビデオストリームが、基本ストリームおよび拡張ストリームにそれぞれ含めるピクチャの階層が予め割り当てられた互いに独立した範囲に収まるように、各サービスのビデオストリームの階層符号化が行われるものである。そのため、ビデオの“temporal_id”の値と、ＨＥＶＣデスクリプタの“temporal_id”の値の範囲が不整合となることを回避できる。

＜２．変形例＞
なお、上述実施の形態においては、送信装置１００と受信装置２００からなる送受信システム１０を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、受信装置２００の部分が、例えば、ＨＤＭＩ（High-Definition Multimedia Interface）などのデジタルインタフェースで接続されたセットトップボックスおよびモニタの構成などであってもよい。なお、「ＨＤＭＩ」は、登録商標である。

また、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、ＭＰ４やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）、インターネット配信で使用されているＭＰ４などの種々のフォーマットのコンテナが該当する。

また、本技術は、以下のような構成を取ることもできる。
（１）動画像データを構成する各ピクチャの画像データを符号化してビデオストリームを生成する画像符号化部と、
上記画像符号化部で生成された第１のビデオストリームと第２のビデオストリームとを連続的に含む所定フォーマットのコンテナを送信する送信部を備え、
上記第１のビデオストリームおよび上記第２のビデオストリームは、第１から第Ｎのうち、第１から第Ｍ（Ｍ≦Ｎ）のストリームにより構成され、
上記送信部は、
上記第１から第Ｎのストリームのそれぞれに固定の識別子を付与する
送信装置。
（２）上記送信部は、
上記第１のビデオストリームの送信期間において、
常には、該第１のビデオストリームを構成する各ストリームの識別子情報をコンテナのレイヤに挿入して送信し、
上記第２のビデオストリームの送信期間が開始される直前のタイミングで該第２のビデオストリームを構成する各ストリームの識別情報をコンテナのレイヤに挿入して送信する
前記（１）に記載の送信装置。
（３）上記送信部は、
上記各ビデオストリームの送信期間において、
上記第１から第Ｎの各ストリームの識別情報をコンテナのレイヤに挿入して送信する
前記（１）に記載の送信装置。
（４）上記送信部は、
上記各ビデオストリームの送信期間において、
切り替え情報をコンテナのレイヤに挿入して送信する
前記（１）から（３）のいずれかに記載の送信装置。
（５）上記切り替え情報は、上記第２のビデオストリームが持つ符号化画像データのフレームレート情報および/またはストリーム構成情報を含む
前記（４）に記載の送信装置。
（６）上記第１のビデオストリームおよび上記第２のビデオストリームは、基本ストリームと拡張ストリームのうち少なくとも基本ストリームにより構成される
前記（１）から（５）のいずれかに記載の送信装置。
（７）上記基本ストリームにより構成されるビデオストリームは、第１のフレームレートの符号化画像データを持ち、
上記基本ストリームおよび上記拡張ストリームにより構成されるビデオストリームは、上記第１のフレームレートの２倍の第２のフレームレートの符号化画像データを持つ
前記（６）に記載の送信装置。
（８）上記画像符号化部は、
動画像データを構成する各ピクチャの画像データを複数の階層に分類し、該分類された各階層のピクチャの画像データを符号化すると共に、上記複数の階層をＭ個の階層組に分割し、該分割された各階層組のピクチャの符号化画像データをそれぞれ持つ、上記各ビデオストリームの上記第１から第Ｍのストリームを生成し、
上記第１から第Ｍの各ストリームのそれぞれに含めるピクチャの階層が予め割り当てられた互いに独立した範囲に収まるように階層符号化をする
前記（１）から（７）のいずれかに記載の送信装置。
（９）上記送信部は、
上記第１のビデオストリームの送信期間において、
常には、該第１のビデオストリームを構成する各ストリームのピクチャの階層範囲情報をコンテナのレイヤに挿入して送信し、
上記第２のビデオストリームの送信期間が開始される直前のタイミングで該第２のビデオストリームを構成する各ストリームのピクチャの階層範囲情報をコンテナのレイヤに挿入して送信する
前記（８）に記載の送信装置。
（１０）上記第１のビデオストリームおよび上記第２のビデオストリームは、基本ストリームと拡張ストリームのうち少なくとも基本ストリームを含み、
上記画像符号化部は、
上記拡張ストリームに含めるピクチャの階層が一つとなるように符号化する
前記（８）または（９）に記載の送信装置。
（１１）上記送信部は、
上記各ビデオストリームの送信期間において、
該ビデオストリームに上記基本ストリームのみが含まれるとき、
上記基本ストリームのピクチャの階層範囲情報と共に、上記拡張ストリームのピクチャの階層範囲情報を、コンテナのレイヤに挿入して送信する
前記（１０）に記載の送信装置。
（１２）動画像データを構成する各ピクチャの画像データを符号化してビデオストリームを生成する画像符号化ステップと、
上記画像符号化ステップで生成された第１のビデオストリームと第２のビデオストリームとを連続的に含む所定フォーマットのコンテナを送信する送信ステップを有し、
上記第１のビデオストリームおよび上記第２のビデオストリームは、第１から第Ｎのうち、第１から第Ｍ（Ｍ≦Ｎ）のストリームにより構成され、
上記送信ステップでは、
上記第１から第Ｎのストリームのそれぞれに固定の識別子を付与する
送信方法。
（１３）符号化画像データを持つ第１のビデオストリームと第２のビデオストリームとを連続的に含む所定フォーマットのコンテナを受信する受信部を備え、
上記第１のビデオストリームおよび上記第２のビデオストリームは、第１から第Ｎのうち、第１から第Ｍ（Ｍ≦Ｎ）のストリームにより構成され、
上記第１から第Ｎのストリームのそれぞれに固定の識別子が付与されており、
上記第１のビデオストリームおよび上記第２のビデオストリームに含まれる各ストリームを、それぞれ、付与されている識別子に基づいてフィルタリングして処理する処理部をさらに備える
受信装置。
（１４）上記各ビデオストリームの上記第１から第Ｍのストリームは、
動画像データを構成する各ピクチャの画像データが複数の階層に分類され、該分類された各階層のピクチャの画像データが符号化されると共に、上記複数の階層がＭ個の階層組に分割され、該分割された各階層組のピクチャの符号化画像データをそれぞれ持ち、
上記第１から第Ｍの各ストリームのそれぞれに含めるピクチャの階層が予め割り当てられた互いに独立した範囲に収まるように階層符号化されている
前記（１３）に記載の受信装置。
（１５）符号化画像データを持つ第１のビデオストリームと第２のビデオストリームとを連続的に含む所定フォーマットのコンテナを受信する受信ステップを有し、
上記第１のビデオストリームおよび上記第２のビデオストリームは、第１から第Ｎのうち、第１から第Ｍ（Ｍ≦Ｎ）のストリームにより構成され、
上記第１から第Ｎのストリームのそれぞれに固定の識別子が付与されており、
上記第１のビデオストリームおよび上記第２のビデオストリームに含まれる各ストリームを、それぞれ、付与されている識別子に基づいてフィルリングして処理する処理ステップをさらに有する
受信方法。
（１６）符号化画像データを持つビデオストリームを生成する画像符号化部と、
上記画像符号化部で生成された第１のビデオストリームと第２のビデオストリームとを連続的に含む所定フォーマットのコンテナを送信する送信部を備え、
上記第１のビデオストリームおよび上記第２のビデオストリームは、第１から第Ｎのうち、第１から第Ｍ（Ｍ≦Ｎ）のストリームにより構成され、
上記画像符号化部は、
動画像データを構成する各ピクチャの画像データを複数の階層に分類し、該分類された各階層のピクチャの画像データを符号化すると共に、上記複数の階層をＭ個の階層組に分割し、該分割された各階層組のピクチャの符号化画像データをそれぞれ持つ、上記各ビデオストリームの上記第１から第Ｍのストリームを生成し、
上記第１から第Ｍの各ストリームのそれぞれに含めるピクチャの階層が予め割り当てられた互いに独立した範囲に収まるように階層符号化をする
送信装置。
（１７）上記送信部は、
上記第１のビデオストリームの送信期間において、
常には、該第１のビデオストリームに含まれる各ストリームのピクチャの階層範囲情報をコンテナのレイヤに挿入して送信し、
上記第２のビデオストリームの送信期間が開始される直前のタイミングで該第２のビデオストリームに含まれる各ストリームのピクチャの階層範囲情報をコンテナのレイヤに挿入して送信する
前記（１６）に記載の送信装置。
（１８）上記第１のビデオストリームおよび上記第２のビデオストリームは、基本ストリームと拡張ストリームのうち少なくとも基本ストリームを含み、
上記拡張ストリームに含まれるピクチャの階層は一つとされている
前記（１６）または（１７）に記載の送信装置。
（１９）上記送信部は、
上記各ビデオストリームの送信期間において、
該ビデオストリームに上記基本ストリームのみが含まれるとき、
上記基本ストリームのピクチャの階層範囲情報と共に、上記拡張ストリームのピクチャの階層範囲情報を、コンテナのレイヤに挿入して送信する
前記（１８）に記載の送信装置。

本技術の主な特徴は、基本ストリーム、拡張ストリームに固定の識別子を付与することで、サービスの切り替えがあっても、受信側では、デマルチプレクサで各ストリームを取り出すフィルタの設定を変更することを要せず、表示ミュートの発生を抑制し、シームレス表示を可能としたことである（図１６参照）。また、本技術の主な特徴は、基本ストリームおよび拡張ストリームにそれぞれ含めるピクチャの階層が予め割り当てられた互いに独立した範囲に収まるように各サービスのビデオストリームの階層符号化を行うことで、ビデオとＨＥＶＣデスクリプタの“temporal_id”の値が不一致となることを回避したことである（図２０参照）。

１０・・・送受信システム
１００・・・送信装置
１０１・・・ＣＰＵ
１０２Ａ，１０２Ｂ・・・エンコーダ
１０３Ａ，１０３Ｂ・・・圧縮データバッファ（ｃｐｂ）
１０４・・・マルチプレクサ
１０５・・・送信部
１４１・・・セクション情報発生部
１４２・・・ヌルパケット発生部
１４３・・・セレクタ
１４４・・・ＰＩＤ割り当て部
１４５・・・ＴＳ多重化部
２００・・・受信装置
２０１・・・ＣＰＵ
２０２・・・受信部
２０３・・・デマルチプレクサ
２０４・・・圧縮データバッファ（ｃｐｂ）
２０５・・・デコーダ
２０６・・・非圧縮データバッファ（ｄｐｂ）
２０７・・・ポスト処理部
２０８・・・表示部
２３１・・・ＰＩＤフィルタ
２３２_０〜２３２_ｎ，２３２_null，２３２_ｃ・・・多重化バッファ
２３３・・・セクションフィルタ
２３４・・・ＰＭＴ解析部

Claims (19)

1. 動画像データを構成する各ピクチャの画像データを符号化してビデオストリームを生成する画像符号化部と、
   上記画像符号化部で生成された第１のビデオストリームと第２のビデオストリームとを連続的に含む所定フォーマットのコンテナを送信する送信部を備え、
   上記第１のビデオストリームおよび上記第２のビデオストリームは、第１から第Ｎのうち、第１から第Ｍ（Ｍ≦Ｎ）のストリームにより構成され、
   上記送信部は、
   上記第１から第Ｎのストリームのそれぞれに固定の識別子を付与する
   送信装置。
2. 上記送信部は、
   上記第１のビデオストリームの送信期間において、
   常には、該第１のビデオストリームを構成する各ストリームの識別子情報をコンテナのレイヤに挿入して送信し、
   上記第２のビデオストリームの送信期間が開始される直前のタイミングで該第２のビデオストリームを構成する各ストリームの識別情報をコンテナのレイヤに挿入して送信する
   請求項１に記載の送信装置。
3. 上記送信部は、
   上記各ビデオストリームの送信期間において、
   上記第１から第Ｎの各ストリームの識別情報をコンテナのレイヤに挿入して送信する
   請求項１に記載の送信装置。
4. 上記送信部は、
   上記各ビデオストリームの送信期間において、
   切り替え情報をコンテナのレイヤに挿入して送信する
   請求項１に記載の送信装置。
5. 上記切り替え情報は、上記第２のビデオストリームが持つ符号化画像データのフレームレート情報および/またはストリーム構成情報を含む
   請求項４に記載の送信装置。
6. 上記第１のビデオストリームおよび上記第２のビデオストリームは、基本ストリームと拡張ストリームのうち少なくとも基本ストリームにより構成される
   請求項１に記載の送信装置。
7. 上記基本ストリームにより構成されるビデオストリームは、第１のフレームレートの符号化画像データを持ち、
   上記基本ストリームおよび上記拡張ストリームにより構成されるビデオストリームは、上記第１のフレームレートの２倍の第２のフレームレートの符号化画像データを持つ
   請求項６に記載の送信装置。
8. 上記画像符号化部は、
   動画像データを構成する各ピクチャの画像データを複数の階層に分類し、該分類された各階層のピクチャの画像データを符号化すると共に、上記複数の階層をＭ個の階層組に分割し、該分割された各階層組のピクチャの符号化画像データをそれぞれ持つ、上記各ビデオストリームの上記第１から第Ｍのストリームを生成し、
   上記第１から第Ｍの各ストリームのそれぞれに含めるピクチャの階層が予め割り当てられた互いに独立した範囲に収まるように階層符号化をする
   請求項１に記載の送信装置。
9. 上記送信部は、
   上記第１のビデオストリームの送信期間において、
   常には、該第１のビデオストリームを構成する各ストリームのピクチャの階層範囲情報をコンテナのレイヤに挿入して送信し、
   上記第２のビデオストリームの送信期間が開始される直前のタイミングで該第２のビデオストリームを構成する各ストリームのピクチャの階層範囲情報をコンテナのレイヤに挿入して送信する
   請求項８に記載の送信装置。
10. 上記第１のビデオストリームおよび上記第２のビデオストリームは、基本ストリームと拡張ストリームのうち少なくとも基本ストリームを含み、
    上記画像符号化部は、
    上記拡張ストリームに含めるピクチャの階層が一つとなるように符号化する
    請求項８に記載の送信装置。
11. 上記送信部は、
    上記各ビデオストリームの送信期間において、
    該ビデオストリームに上記基本ストリームのみが含まれるとき、
    上記基本ストリームのピクチャの階層範囲情報と共に、上記拡張ストリームのピクチャの階層範囲情報を、コンテナのレイヤに挿入して送信する
    請求項１０に記載の送信装置。
12. 動画像データを構成する各ピクチャの画像データを符号化してビデオストリームを生成する画像符号化ステップと、
    上記画像符号化ステップで生成された第１のビデオストリームと第２のビデオストリームとを連続的に含む所定フォーマットのコンテナを送信する送信ステップを有し、
    上記第１のビデオストリームおよび上記第２のビデオストリームは、第１から第Ｎのうち、第１から第Ｍ（Ｍ≦Ｎ）のストリームにより構成され、
    上記送信ステップでは、
    上記第１から第Ｎのストリームのそれぞれに固定の識別子を付与する
    送信方法。
13. 符号化画像データを持つ第１のビデオストリームと第２のビデオストリームとを連続的に含む所定フォーマットのコンテナを受信する受信部を備え、
    上記第１のビデオストリームおよび上記第２のビデオストリームは、第１から第Ｎのうち、第１から第Ｍ（Ｍ≦Ｎ）のストリームにより構成され、
    上記第１から第Ｎのストリームのそれぞれに固定の識別子が付与されており、
    上記第１のビデオストリームおよび上記第２のビデオストリームに含まれる各ストリームを、それぞれ、付与されている識別子に基づいてフィルタリングして処理する処理部をさらに備える
    受信装置。
14. 上記各ビデオストリームの上記第１から第Ｍのストリームは、
    動画像データを構成する各ピクチャの画像データが複数の階層に分類され、該分類された各階層のピクチャの画像データが符号化されると共に、上記複数の階層がＭ個の階層組に分割され、該分割された各階層組のピクチャの符号化画像データをそれぞれ持ち、
    上記第１から第Ｍの各ストリームのそれぞれに含めるピクチャの階層が予め割り当てられた互いに独立した範囲に収まるように階層符号化されている
    請求項１３に記載の受信装置。
15. 符号化画像データを持つ第１のビデオストリームと第２のビデオストリームとを連続的に含む所定フォーマットのコンテナを受信する受信ステップを有し、
    上記第１のビデオストリームおよび上記第２のビデオストリームは、第１から第Ｎのうち、第１から第Ｍ（Ｍ≦Ｎ）のストリームにより構成され、
    上記第１から第Ｎのストリームのそれぞれに固定の識別子が付与されており、
    上記第１のビデオストリームおよび上記第２のビデオストリームに含まれる各ストリームを、それぞれ、付与されている識別子に基づいてフィルリングして処理する処理ステップをさらに有する
    受信方法。
16. 符号化画像データを持つビデオストリームを生成する画像符号化部と、
    上記画像符号化部で生成された第１のビデオストリームと第２のビデオストリームとを連続的に含む所定フォーマットのコンテナを送信する送信部を備え、
    上記第１のビデオストリームおよび上記第２のビデオストリームは、第１から第Ｎのうち、第１から第Ｍ（Ｍ≦Ｎ）のストリームにより構成され、
    上記画像符号化部は、
    動画像データを構成する各ピクチャの画像データを複数の階層に分類し、該分類された各階層のピクチャの画像データを符号化すると共に、上記複数の階層をＭ個の階層組に分割し、該分割された各階層組のピクチャの符号化画像データをそれぞれ持つ、上記各ビデオストリームの上記第１から第Ｍのストリームを生成し、
    上記第１から第Ｍの各ストリームのそれぞれに含めるピクチャの階層が予め割り当てられた互いに独立した範囲に収まるように階層符号化をする
    送信装置。
17. 上記送信部は、
    上記第１のビデオストリームの送信期間において、
    常には、該第１のビデオストリームに含まれる各ストリームのピクチャの階層範囲情報をコンテナのレイヤに挿入して送信し、
    上記第２のビデオストリームの送信期間が開始される直前のタイミングで該第２のビデオストリームに含まれる各ストリームのピクチャの階層範囲情報をコンテナのレイヤに挿入して送信する
    請求項１６に記載の送信装置。
18. 上記第１のビデオストリームおよび上記第２のビデオストリームは、基本ストリームと拡張ストリームのうち少なくとも基本ストリームを含み、
    上記拡張ストリームに含まれるピクチャの階層は一つとされている
    請求項１６に記載の送信装置。
19. 上記送信部は、
    上記各ビデオストリームの送信期間において、
    該ビデオストリームに上記基本ストリームのみが含まれるとき、
    上記基本ストリームのピクチャの階層範囲情報と共に、上記拡張ストリームのピクチャの階層範囲情報を、コンテナのレイヤに挿入して送信する
    請求項１８に記載の送信装置。

Images