JP2019176528A - 送信装置および送信方法 - Google Patents

Abstract

【課題】フレームレートが動的に変化する場合であっても受信側において良好に表示可能とする。【解決手段】送信ビデオストリームのシーケンスが第１のシーケンスからこの第１のシーケンスとはフレームレートを異にする第２のシーケンスに切り替わる切り替わり部を持つ場合、少なくとも、この切り替わり部に対応するピクチャの符号化画像データ、またはこの符号化画像データをコンテナするパケットに、表示制御情報を挿入する。受信側では、この表示制御情報を用いて、ピクチャの表示制御を行って、良好な表示を実現する。【選択図】図３６

Description

本技術は、送信装置、送信方法および受信装置に関する。詳しくは、本技術は、動画像データを構成する各ピクチャの画像データを階層符号化して送信する送信装置等に関する。

圧縮動画を、放送、ネット等でサービスする際、受信機のデコード能力によって再生可能なフレーム周波数の上限が制限される。従って、サービス側は普及している受信機の再生能力を考慮して、低フレーム周波数のサービスのみに制限したり、高低複数のフレーム周波数のサービスを同時提供したりする必要がある。

受信機は、高フレーム周波数のサービスに対応するには、高コストとなり、早期普及の阻害要因となる。初期に低フレーム周波数のサービス専用の安価な受信機のみ普及していて、将来サービス側が高フレーム周波数のサービスを開始する場合、新たな受信機が無いと全く視聴不可能であり、新規サービスの普及の阻害要因となる。

例えば、Ｈ．２６５／ＨＥＶＣ（High Efficiency Video Coding）において、動画像データを構成する各ピクチャの画像データを階層符号化することによる時間方向スケーラビリティが提案されている（非特許文献１参照）。受信側では、ＮＡＬ（Network Abstraction Layer）ユニットのヘッダに挿入されているテンポラルＩＤ（temporal_id）に基づき、各ピクチャの階層を識別でき、デコード能力に対応した階層までの選択的なデコードが可能となる。

Gary J. Sullivan, Jens-Rainer Ohm, Woo-Jin Han, Thomas Wiegand, "Overview of the High Efficiency Video Coding (HEVC) Standard" IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECNOROGY, VOL. 22, NO. 12, pp. 1649-1668, DECEMBER 2012

本技術の目的は、フレームレートが動的に変化する場合であっても受信側において良好に表示可能とすることにある。

本技術の概念は、
動画像データを構成する各ピクチャの画像データを複数の階層に分類し、該分類された各階層のピクチャの画像データを符号化すると共に、上記複数の階層を所定数の階層組に分割し、該分割された各階層組のピクチャの符号化画像データをそれぞれ持つ上記所定数のビデオストリームを生成する画像符号化部を備え、
上記画像符号化部は、少なくとも、最下位の階層組のピクチャの符号化画像データのデコード間隔が所定間隔となるように符号化し、
上記生成された所定数のビデオストリームのうち少なくとも最下位の階層組のピクチャの符号化画像データを持つビデオストリームを含む所定フォーマットのコンテナを送信する送信部と、
上記送信されるビデオストリームのシーケンスが第１のシーケンスから該第１のシーケンスとはフレームレートを異にする第２のシーケンスに切り替わる切り替わり部を持つ場合、少なくとも、該切り替わり部に対応するピクチャの符号化画像データ、または該符号化画像データをコンテナするパケットに表示制御情報を挿入する情報挿入部とをさらに備える
送信装置にある。

本技術において、画像符号化部により、動画像データを構成する各ピクチャの画像データが符号化されて所定数のビデオストリームが生成される。この場合、動画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化される。そして、この複数の階層が所定数の階層組に分割され、この分割された各階層組のピクチャの符号化画像データをそれぞれ持つ所定数のビデオストリームが生成される。

画像符号化部では、少なくとも、最下位の階層組のピクチャの符号化画像データのデコード間隔が所定間隔、例えば等間隔となるように符号化される。これにより、例えば、受信側が、最下位の階層組に含まる複数の階層のピクチャの符号化画像データを処理可能なデコード能力がある場合、各ピクチャの符号化画像データのデコード処理を無理なく連続して行うことが可能となる。

例えば、画像符号化部は、最下位の階層組より上位に位置する階層組のピクチャの符号化画像データのデコードタイミングが、この階層組より下位側に位置するすべての階層組のピクチャの符号化画像データのデコードタイミングの中間タイミングとなるように符号化する、ようにされてもよい。なお、ここで言う中間タイミングは、必ずしも真ん中のタイミングである必要はなく、下位側のデコードタイミングと重ならないタイミングを意味するものである。これにより、例えば、受信側では、最下位の階層組だけでなく、それよりも上位に位置する階層組のピクチャの符号化画像データまでもデコードする能力がある場合に、各ピクチャのデコード処理を順次スムーズに進めることが可能となる。

送信部により、上述の所定数のビデオストリームのうち少なくとも最下位の階層組のピクチャの符号化画像データを持つビデオストリームを含む所定フォーマットのコンテナが送信される。例えば、コンテナは、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）であってもよい。また、例えば、コンテナは、インターネットの配信などで用いられるＭＰ４、あるいはそれ以外のフォーマットのコンテナであってもよい。

情報挿入部により、送信されるビデオストリームのシーケンスが第１のシーケンスからこの第１のシーケンスとはフレームレートを異にする第２のシーケンスに切り替わる切り替わり部を持つ場合、少なくとも、この切り替わり部に対応するピクチャの符号化画像データ、または該符号化画像データをコンテナするパケットに表示制御情報が挿入される。例えば、表示制御情報は、第１のシーケンスの最後のピクチャの表示を所定数だけリピートするように制御する、あるいは第１のシーケンスの最後のピクチャの表示期間は第２のシーケンスのピクチャの表示をスキップするように制御する情報である、ようにされてもよい。

また、例えば、表示制御情報は、第２のシーケンスのピクチャの表示タイミングを制御する表示オフセット情報である、ようにされてもよい。この場合、例えば、コンテナはトランスポートストリームであり、情報挿入部は、表示制御情報をＰＥＳパケットのエクステンションフィールドに挿入する、ようにされてもよい。これにより、例えば、この表示制御情報を用いて、非圧縮データバッファからの各ピクチャの画像データの読み出しを制御することが可能となる。

このように本技術においては、送信されるビデオストリームのシーケンスが第１のシーケンスからこの第１のシーケンスとはフレームレートを異にする第２のシーケンスに切り替わる切り替わり部を持つ場合、少なくとも、この切り替わり部に対応するピクチャの符号化画像データ、または該符号化画像データをコンテナするパケットに表示制御情報が挿入されて送信されるものである。そのため、例えば、受信側において、この表示制御情報に基づいて非圧縮データバッファからの各ピクチャの画像データの読み出しを制御でき、フレームレートが動的に変化する場合であっても、表示ギャップを発生させることなく良好な表示が可能となる。

なお、本技術において、例えば、情報挿入部は、第１のシーケンスの最後のピクチャの符号化画像データに、この第１のシーケンスの最後のピクチャであることを識別する識別情報をさらに挿入する、ようにされてもよい。これにより、送信されるビデオストリームのシーケンスが第１のシーケンスからこの第１のシーケンスとはフレームレートを異にする第２のシーケンスに切り替わる切り替わり部を持つ場合、受信側において、この識別情報に基づいて、第１のシーケンスの最後のピクチャを容易に識別可能となる。

また、本技術において、例えば、コンテナのレイヤに、符号化画像データ、または該符号化画像データをコンテナするパケットに表示制御情報が挿入されているか否かを識別する識別情報を挿入する識別情報挿入部をさらに備える、ようにされてもよい。例えば、コンテナはトランスポートストリームであり、識別情報挿入部は、識別情報を、プログラムマップテーブルの配下に所定数のビデオストリームにそれぞれ対応して配置されたビデオエレメンタリストリームループの中にデスクリプタとして挿入する、ようにされてもよい。この場合、受信側においては、符号化画像データをデコード処理することなく、この識別情報に基づいて、符号化画像データに表示制御情報が挿入されているか否かを容易に識別可能となる。

また、本技術の他の概念は、
動画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化されると共に、上記複数の階層が所定数の階層組に分割されることで得られた、各階層組のピクチャの符号化画像データをそれぞれ持つ上記所定数のビデオストリームのうち少なくとも最下位の階層組のピクチャの符号化画像データを持つビデオストリームを受信する受信部と、
上記受信されたビデオストリームを処理する処理部とを備え、
上記所定数のビデオストリームのうち、少なくとも、最下位の階層組のピクチャの符号化画像データを持つビデオストリームは、各ピクチャのデコード間隔が所定間隔となるように符号化されており、
上記受信されたビデオストリームのシーケンスが第１のシーケンスから該第１のシーケンスとはフレームレートを異にする第２のシーケンスに切り替わる切り替わり部を持つ場合、少なくとも、該切り替え部に対応するピクチャの符号化画像データ、または該符号化画像データをコンテナするパケットに表示制御情報が挿入されている
受信装置にある。

本技術において、受信部により、動画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化されると共に、この複数の階層が所定数の階層組に分割されて得られた、各階層組のピクチャの符号化画像データをそれぞれ持つ所定数のビデオストリームのうち少なくとも最下位の階層組のピクチャの符号化画像データを持つビデオストリームが受信される。そして、処理部により、その受信されたビデオストリームが処理される。

この場合、所定数のビデオストリームのうち、少なくとも、最下位の階層組のピクチャの符号化画像データを持つビデオストリームは、各ピクチャのデコード間隔が所定間隔、例えば等間隔となるように符号化されている。そのため、例えば、最下位の階層組に含まる複数の階層のピクチャの符号化画像データを処理可能なデコード能力がある場合、各ピクチャの符号化画像データのデコード処理を無理なく連続して行うことが可能となる。

また、この場合、受信されたビデオストリームのシーケンスが第１のシーケンスからこの第１のシーケンスとはフレームレートを異にする第２のシーケンスに切り替わる切り替わり部を持つ場合、少なくとも、この切り替え部に対応するピクチャの符号化画像データ、または該符号化画像データをコンテナするパケットに表示制御情報が挿入されている。そのため、例えば、この表示制御情報に基づいて非圧縮データバッファからの各ピクチャの画像データの読み出しを制御でき、フレームレートが動的に変化する場合であっても、表示ギャップを発生させることなく良好な表示が可能となる。

例えば、表示制御情報は、第１のシーケンスの最後のピクチャの表示を所定数だけリピートするように制御する、あるいは第１のシーケンスの最後のピクチャの表示期間はこの第２のシーケンスのピクチャの表示をスキップするように制御する情報である、ようにされてもよい。また、例えば、表示制御情報は、第２のシーケンスのピクチャの表示タイミングを制御する表示オフセット情報である、ようにされてもよい。

また、本技術の他の概念は、
動画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化されると共に、上記複数の階層が所定数の階層組に分割されることで得られた、各階層組のピクチャの符号化画像データをそれぞれ持つ上記所定数のビデオストリームのうち少なくとも最下位の階層組のピクチャの符号化画像データを持つビデオストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記所定数のビデオストリームのうち、少なくとも、最下位の階層組のピクチャの符号化画像データを持つビデオストリームは、各ピクチャのデコード間隔が所定間隔となるように符号化されており、
上記受信されたビデオストリームのシーケンスが第１のシーケンスから該第１のシーケンスとはフレームレートを異にする第２のシーケンスに切り替わる切り替わり部を持つ場合、少なくとも、該切り替え部に対応するピクチャの符号化画像データに表示制御情報が挿入されており、
上記受信されたコンテナに含まれるビデオストリームからデコード能力に応じた所定階層以下の階層のピクチャの符号化画像データを選択的にデコードし、該デコードされて得られた各ピクチャの画像データをバッファに取り込み、該各ピクチャの画像データを所定のタイミングで読み出して出力する画像復号処理部と、
上記画像復号処理部における上記バッファからの各ピクチャの画像の読み出しを上記表示制御情報に基づいて制御する制御部とをさらに備える
受信装置にある。

本技術において、受信部により、所定フォーマットのコンテナが受信される。このコンテナには、動画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化されると共に、この複数の階層が所定数の階層組に分割されて得られた、各階層組のピクチャの符号化画像データをそれぞれ持つ所定数のビデオストリームのうち少なくとも最下位の階層組のピクチャの符号化画像データを持つビデオストリームが含まれている。

この場合、所定数のビデオストリームのうち、少なくとも、最下位の階層組のピクチャの符号化画像データを持つビデオストリームは、各ピクチャのデコード間隔が所定間隔、例えば等間隔となるように符号化されている。そのため、例えば、最下位の階層組に含まる複数の階層のピクチャの符号化画像データを処理可能なデコード能力がある場合、各ピクチャの符号化画像データのデコード処理を無理なく連続して行うことが可能となる。

画像復号処理部により、受信されたコンテナに含まれるビデオストリームからデコード能力に応じた所定階層以下の階層のピクチャの符号化画像データが選択的にデコードされ、このデコードされて得られた各ピクチャの画像データがバッファに取り込まれ、この各ピクチャの画像データが所定のタイミングで読み出されて出力される。この読み出しが、制御部により、表示制御情報に基づいて制御される。

例えば、表示制御情報は、第１のシーケンスの最後のピクチャの表示を所定数だけリピートするように制御する、あるいは第１のシーケンスの最後のピクチャの表示期間はこの第２のシーケンスのピクチャの表示をスキップするように制御する情報である、ようにされてもよい。また、例えば、表示制御情報は、第２のシーケンスのピクチャの表示タイミングを制御する表示オフセット情報である、ようにされてもよい。

このように本技術においては、デコードされて得られた各ピクチャの画像データがバッファに取り込まれ、この各ピクチャの画像データが所定のタイミングで読み出されて出力される際に、この読み出しが表示制御情報に基づいて制御されるものである。そのため、例えば、フレームレートが動的に変化する場合であっても、表示ギャップを発生させることなく良好な表示が可能となる。

また、本技術の他の概念は、
動画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化されると共に、上記複数の階層が所定数の階層組に分割されることで得られた、各階層組のピクチャの符号化画像データをそれぞれ持つ上記所定数のビデオストリームのうち少なくとも最下位の階層組のピクチャの符号化画像データを持つビデオストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記所定数のビデオストリームのうち、少なくとも、最下位の階層組のピクチャの符号化画像データを持つビデオストリームは、各ピクチャのデコード間隔が所定間隔となるように符号化されており、
上記受信されたコンテナに含まれるビデオストリームに基づいて該ビデオストリームのシーケンスが第１のシーケンスから該第１のシーケンスとはフレームレートを異にする第２のシーケンスに切り替わる切り替わり部を検出するシーケンス切り替わり検出部と、
上記受信されたコンテナに含まれるビデオストリームからデコード能力に応じた所定階層以下の階層のピクチャの符号化画像データを選択的にデコードし、該デコードされて得られた各ピクチャの画像データをバッファに取り込み、該各ピクチャの画像データを所定のタイミングで読み出して出力する画像復号処理部と、
上記画像復号処理部における上記バッファからの各ピクチャの画像の読み出しを上記シーケンス切り替わり検出部の検出出力に基づいて制御する制御部とをさらに備える
受信装置にある。

本技術において、受信部により、所定フォーマットのコンテナが受信される。このコンテナには、動画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化されると共に、この複数の階層が所定数の階層組に分割されて得られた、各階層組のピクチャの符号化画像データをそれぞれ持つ所定数のビデオストリームのうち少なくとも最下位の階層組のピクチャの符号化画像データを持つビデオストリームが含まれている。

この場合、所定数のビデオストリームのうち、少なくとも、最下位の階層組のピクチャの符号化画像データを持つビデオストリームは、各ピクチャのデコード間隔が所定間隔、例えば等間隔となるように符号化されている。そのため、例えば、最下位の階層組に含まる複数の階層のピクチャの符号化画像データを処理可能なデコード能力がある場合、各ピクチャの符号化画像データのデコード処理を無理なく連続して行うことが可能となる。

シーケンス切り替わり検出部により、受信されたコンテナに含まれるビデオストリームに基づいて、このビデオストリームのシーケンスが第１のシーケンスからこの第１のシーケンスとはフレームレートを異にする第２のシーケンスに切り替わる切り替え部が検出される。そして、画像復号処理部により、受信されたコンテナに含まれる所定数のビデオストリームからデコード能力に応じた所定階層以下の階層のピクチャの符号化画像データが選択的にデコードされ、このデコードされて得られた各ピクチャの画像データがバッファに取り込まれ、この各ピクチャの画像データが所定のタイミングで読み出されて出力される。この読み出しが、制御部により、シーケンス切り替わり検出部の検出出力に基づいて制御される。

このように本技術においては、デコードされて得られた各ピクチャの画像データがバッファに取り込まれ、この各ピクチャの画像データが所定のタイミングで読み出されて出力される際に、この読み出しがシーケンス切り替わりの検出出力に基づいて制御されるものである。そのため、例えば、フレームレートが動的に変化する場合であっても、表示ギャップを発生させることなく良好な表示が可能となる。

本技術によれば、フレームレートが動的に変化する場合であっても受信側において良好に表示可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

実施の形態としての送受信システムの構成例を示すブロック図である。 送信装置の構成例を示すブロック図である。 エンコーダで行われる階層符号化の一例を示す図である。 エンコーダで行われる階層符号化の他の一例を示す図である。 ＮＡＬユニットヘッダの構造例およびその構造例における主要なパラメータの内容を示す図である。 ＨＥＶＣによる各ピクチャの符号化画像データの構成を説明するための図である。 所定数のビデオストリーム（２ストリーム）のピクチャの符号化タイミング（デコードタイミング）を説明するための図である。 ベースストリームとエンハンスストリームの２つのビデオストリームを生成する場合における、各ピクチャの符号化タイミング（デコードタイミング）の一例を示す図である。 所定数のビデオストリーム（３ストリーム）のピクチャの符号化タイミング（デコードタイミング）を説明するための図である。 ベースストリームと２つのエンハンスストリームの３つのビデオストリームを生成する場合における、各ピクチャの符号化タイミング（デコードタイミング）の一例を示す図である。 シーケンス切り替わり部の一例を示す図である。 シーケンス切り替わり部におけるエンコーダのＨＲＤ制御の一例を示す図である。 シーケンス切り替わり部の他の一例を示す図である。 シーケンス切り替わり部におけるエンコーダのＨＲＤ制御の他の一例を示す図である。 ＡＵタイミング・コントロール・インフォメーションＳＥＩを挿入するためのインタフェースの構造例を示す図である。 ＡＵタイミング・コントロール・インフォメーションＳＥＩの構造例を示す図である。 ＡＵタイミング・コントロール・インフォメーションＳＥＩの構造例における主要な情報の内容を示す図である。「 シーケンス切り替え（１倍速から２倍速への切り替え）における、ＡＵタイミング・コントロール・インフォメーションＳＥＩの各フラグの値の推移の一例を示す図である。 シーケンス切り替え（１倍速から２倍速への切り替え）における、ＡＵタイミング・コントロール・インフォメーションＳＥＩの各フラグの値の推移の他の一例を示す図である。 シーケンス切り替え（２倍速から１倍速への切り替え）における、ＡＵタイミング・コントロール・インフォメーションＳＥＩの各フラグの値の推移の一例を示す図である。 シーケンス切り替え（２倍速から１倍速への切り替え）における、ＡＵタイミング・コントロール・インフォメーションＳＥＩの各フラグの値の推移の他の一例を示す図である。 シーケンス切り替え（１倍速から４倍速への切り替え）における、ＡＵタイミング・コントロール・インフォメーションＳＥＩの各フラグの値の推移の一例を示す図である。 シーケンス切り替え（１倍速から４倍速への切り替え）における、ＡＵタイミング・コントロール・インフォメーションＳＥＩの各フラグの値の推移の他の一例を示す図である。 シーケンス切り替え（４倍速から１倍速への切り替え）における、ＡＵタイミング・コントロール・インフォメーションＳＥＩの各フラグの値の推移の一例を示す図である。 シーケンス切り替え（４倍速から１倍速への切り替え）における、ＡＵタイミング・コントロール・インフォメーションＳＥＩの各フラグの値の推移の他の一例を示す図である。 エンコーダの構成例を示すブロック図である。 エンコーダの処理フローの一例を示す図である。 ＰＥＳエクステンション・フィールド・データの構造例と、それにおける主要な情報の内容を示す図である。 オフセット・タイムスタンプ・インフォメーションの構造例と、それにおける主要な情報の内容を示す図である。 ＡＵプレゼンテーション・コントロールの構造例を示す図である。 ＡＵプレゼンテーション・コントロールの構造例における主要な情報の内容を示す図である。 テンポラル・コントロール・デスクリプタの構造例を示す図である。 ＨＥＶＣデスクリプタの構造例を示す図である。 マルチプレクサの構成例を示すブロック図である。 マルチプレクサの処理フローの一例を示す図である。 ２ストリーム配信におけるトランスポートストリームＴＳの構成例を示す図である。 受信装置の構成例を示すブロック図である。 デマルチプレクサの構成例を示すブロック図である。 ストリーム結合の一例を示す図である。 デマルチプレクサの処理フローの一例を示す図である。 ダの構成例を示すブロック図である。 ポスト処理部の構成例を示す図である。 デコーダ、ポスト処理部の処理フローの一例を示す図である。

以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例

＜１．実施の形態＞
［送受信システム］
図１は、実施の形態としての送受信システム１０の構成例を示している。この送受信システム１０は、送信装置１００と、受信装置２００とを有する構成となっている。

送信装置１００は、コンテナとしてのトランスポートストリームＴＳを放送波に載せて送信する。このトランスポートストリームＴＳには、動画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化されると共に、この複数の階層が所定数の階層組に分割されることで得られた、各階層組のピクチャの符号化画像データをそれぞれ持つ所定数のビデオストリームのうち少なくとも最下位の階層組のピクチャの符号化画像データを持つビデオストリームが含まれる。この場合、例えば、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの符号化が施され、被参照ピクチャが自己階層および／または自己階層よりも低い階層に所属するように符号化される。

この実施の形態において、複数の階層を所定数の階層組に分割する場合、最下位の階層組に複数の階層を含み、この最下位の階層組より上位に位置する階層組には１つの階層を含むようにされる。このような分割により、受信側では、例えば、最下位の階層組に含まる複数の階層のピクチャの符号化画像データを処理可能なデコード能力がある場合、この最下位の階層組のピクチャの符号化画像データを持つビデオストリームだけを選択してバッファに取り込んでデコード処理を行うことが可能となる。

各階層のピクチャの符号化画像データに、ピクチャ毎に、所属階層を識別するための階層識別情報が付加される。この実施の形態においては、各ピクチャのＮＡＬユニット（nal_unit）のヘッダ部分に、階層識別情報（temporal_idを意味する“nuh_temporal_id_plus1”）が配置される。このように階層識別情報が付加されることで、受信側では、ＮＡＬユニットのレイヤにおいて各ピクチャの階層識別が可能となり、所定階層以下の階層の符号化画像データを選択的に取り出してデコード処理を行うことができる。

この実施の形態において、所定数のビデオストリームのうち、少なくとも、最下位の階層組のピクチャの符号化画像データを持つビデオストリームは、各ピクチャのデコード間隔が等間隔となるように符号化される。この符号化により、受信側では、最下位の階層組に含まる複数の階層のピクチャの符号化画像データを処理可能なデコード能力がある場合、各ピクチャの符号化画像データのデコード処理を無理なく連続して行うことが可能となる。

この実施の形態において、最下位の階層組より上位に位置する階層組のピクチャの符号化画像データのデコードタイミングが、この階層組より下位側に位置するすべての階層組のピクチャの符号化画像データのデコードタイミングの中間タイミングとなるように符号化される。なお、ここで言う中間タイミングは、下位側の２つのピクチャのデコードタイミングの真ん中のタイミングである必要はなく、下位側のデコードタイミングと重ならないタイミングであることを意味するものである。したがって、この場合、例えば、下位側の２つのピクチャのデコードタイミングの間に、上位層の２つ以上のピクチャのデコードタイミングが来るような符号化も含まれる。この符号化により、受信側では、最下位の階層組だけでなく、それよりも上位に位置する階層組のピクチャの符号化画像データまでもデコードする能力がある場合に、各ピクチャのデコード処理を順次スムーズに進めることが可能となる。

この実施の形態において、送信されるビデオストリームのシーケンスが第１のシーケンスからこの第１のシーケンスとはフレームレートを異にする第２のシーケンスに切り替わる切り替わり部を持つ場合、少なくとも、この切り替わり部に対応するピクチャの符号化画像データ、または該符号化画像データをコンテナするパケットに、表示制御情報が挿入される。受信側では、この表示制御情報に基づいて、非圧縮データバッファからの各ピクチャの画像データの読み出しを制御でき、フレームレートが動的に変化する場合であっても、表示ギャップを発生させることなく良好な表示が可能となる。

例えば、表示制御情報は、例えば、第１のシーケンスの最後のピクチャの表示を所定数だけリピートするように制御する、あるいは第１のシーケンスの最後のピクチャの表示期間はこの第２のシーケンスのピクチャの表示をスキップするように制御する情報である。また、例えば、表示制御情報は、第２のシーケンスのピクチャの表示タイミングを制御する表示オフセット情報である。

なお、この実施の形態においては、第１のシーケンスの最後のピクチャの符号化画像データに、第１のシーケンスの最後のピクチャであることを識別する識別情報が挿入される。この識別情報により、受信側では、第１のシーケンスの最後のピクチャを容易に識別可能となる。

また、この実施の形態において、トランスポートストリームＴＳのレイヤに、符号化画像データ、または該符号化画像データをコンテナするパケットに上述の表示制御情報が挿入されているか否かを示す識別情報が挿入される。この構成情報は、プログラムマップテーブルの配下に所定数のビデオストリームにそれぞれ対応して配置されたビデオエレメンタリストリームループの中にデスクリプタとして挿入される。この識別情報により、受信側では、符号化画像データをデコード処理することなく、符号化画像データに表示制御情報が挿入されているか否かを容易に識別可能となる。

受信装置２００は、送信装置１００から放送波に載せて送られてくる上述のトランスポートストリームＴＳを受信する。受信装置２００は、このトランスポートストリームＴＳに含まれるビデオストリームからデコード能力に応じて選択された所定階層以下の階層のピクチャの符号化画像データを選択的にデコードし、デコードされて得られた各ピクチャの画像データをバッファ（非圧縮データバッファ）に取り込む。そして、受信装置２００は、このバッファから各ピクチャの画像データを所定のタイミングで読み出して出力し、画像再生を行う。

上述したように、受信されるビデオストリームおシーケンスが第１のシーケンスから該第１のシーケンスとはフレームレートを異にする第２のシーケンスに切り替わる切り替わり部を持つ場合、少なくとも、この切り替え部に対応するピクチャの符号化画像データ、または該符号化画像データをコンテナするパケットに表示制御情報が挿入されている。この表示制御情報に基づいて、バッファからの各ピクチャの画像の読み出しが制御される。この制御により、フレームレートが動的に変化する場合であっても、表示ギャップを発生させることなく良好な表示が可能となる。

「送信装置の構成」
図２は、送信装置１００の構成例を示している。この送信装置１００は、ＣＰＵ（Central Processing Unit）１０１と、エンコーダ１０２と、圧縮データバッファ（ｃｐｂ：coded picture buffer）１０３と、マルチプレクサ１０４と、送信部１０５を有している。ＣＰＵ１０１は、制御部であり、送信装置１００の各部の動作を制御する。

エンコーダ１０２は、非圧縮の動画像データを入力して、階層符号化を行う。エンコーダ１０２は、この動画像データを構成する各ピクチャの画像データを複数の階層に分類する。そして、エンコーダ１０２は、この分類された各階層のピクチャの画像データを符号化し、各階層のピクチャの符号化画像データを持つビデオストリームを生成する。エンコーダ１０２は、例えば、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの符号化を行う。この際、エンコーダ１０２は、参照するピクチャ（被参照ピクチャ）が、自己階層および／または自己階層よりも下位の階層に所属するように、符号化する。

図３は、エンコーダ１０２で行われる階層符号化の一例を示している。この例は、０から３までの４階層に分類され、各階層のピクチャの画像データに対して符号化が施された例である。縦軸は階層を示している。階層０から３のピクチャの符号化画像データを構成するＮＡＬユニット（nal_unit）のヘッダ部分に配置されるtemporal_id（階層識別情報）として、それぞれ、０から３が設定される。一方、横軸は表示順（ＰＯＣ：picture order of composition）を示し、左側は表示時刻が前で、右側は表示時刻が後になる。

また、図４は、エンコーダ１０２で行われる階層符号化の一例を示している。この例は、０から４までの５階層に分類され、各階層のピクチャの画像データに対して符号化が施された例である。縦軸は階層を示している。階層０から４のピクチャの符号化画像データを構成するＮＡＬユニット（nal_unit）のヘッダ部分に配置されるtemporal_id（階層識別情報）として、それぞれ、０から４が設定される。一方、横軸は表示順（ＰＯＣ：picture order of composition）を示し、左側は表示時刻が前で、右側は表示時刻が後になる。

図５（ａ）は、ＮＡＬユニットヘッダの構造例（Syntax）を示し、図５（ｂ）は、その構造例における主要なパラメータの内容（Semantics）を示している。「Forbidden_zero_bit」の１ビットフィールドは、０が必須である。「Nal_unit_type」の６ビットフィールドは、ＮＡＬユニットタイプを示す。「Nuh_layer_id」の６ビットフィールドは、０を前提とする。「Nuh_temporal_id_plus1」の３ビットフィールドは、temporal_idを示し、１を加えた値（１〜７）をとる。

図３、図４に戻って、矩形枠のそれぞれがピクチャを示し、数字は、符号化されているピクチャの順、つまりエンコード順（受信側ではデコード順）を示している。図３の例の場合、「２」から「９」の８個のピクチャによりサブ・ピクチャグループ（Sub group of pictures）が構成されており、「２」はそのサブ・ピクチャグループの先頭のピクチャとなる。「１」は前のサブ・ピクチャグループのピクチャである。このサブ・ピクチャグループがいくつか集まってＧＯＰ（Group Of Pictures）となる。

また、図４の例の場合、「２」から「１７」の１６個のピクチャによりサブ・ピクチャグループ（Sub group of pictures）が構成されており、「２」はそのサブ・ピクチャグループの先頭のピクチャとなる。「１」は前のサブ・ピクチャグループのピクチャである。このサブ・ピクチャグループがいくつか集まってＧＯＰ（Group Of Pictures）となる。

ＧＯＰの先頭ピクチャの符号化画像データは、図６に示すように、ＡＵＤ、ＶＰＳ、ＳＰＳ、ＰＰＳ、ＰＳＥＩ、ＳＬＩＣＥ、ＳＳＥＩ、ＥＯＳのＮＡＬユニットにより構成される。一方、ＧＯＰの先頭ピクチャ以外のピクチャは、ＡＵＤ、ＰＰＳ、ＰＳＥＩ、ＳＬＩＣＥ、ＳＳＥＩ、ＥＯＳのＮＡＬユニットにより構成される。ＶＰＳはＳＰＳと共に、シーケンス（ＧＯＰ）に一度、ＰＰＳは毎ピクチャで伝送可能とされている。

図３、図４に戻って、実線矢印は、符号化におけるピクチャの参照関係を示している。例えば、「２」のピクチャは、Ｐピクチャであり、「１」のピクチャを参照して符号化される。また、「３」のピクチャは、Ｂピクチャであり、「１」、「２」のピクチャを参照して符号化される。同様に、その他のピクチャは、表示順で近くのピクチャを参照して符号化される。なお、最上位の階層のピクチャは、他のピクチャからの参照がない。

エンコーダ１０２は、複数の階層を２以上の所定数の階層組に分割し、各階層組のピクチャの符号化画像データをそれぞれ持つ所定数のビデオストリームを生成する。例えば、エンコーダ１０２は、最下位の階層組に複数の階層を含み、この最下位の階層組より上位に位置する階層組には１つの階層を含むように分割する。

例えば、図３の階層符号化の例において、エンコーダ１０２は、一点鎖線で区切るように、階層０から２を最下位の階層組とし、階層３をその上位に位置する階層組として、２つの階層組に分割する。この場合、エンコーダ１０２は、各階層組のピクチャの符号化画像データをそれぞれ持つ２つのビデオストリーム（符号化ストリーム）を生成することになる。

また、例えば、図４の階層符号化の例において、エンコーダ１０２は、一点鎖線および２点鎖線で区切るように、階層０から２を最下位の階層組とし、階層３をその上位に位置する階層組とし、さらに階層４をその上位に位置する階層組として、３つの階層組に分割する。この場合、エンコーダ１０２は、各階層組のピクチャの符号化画像データをそれぞれ持つ３つのビデオストリーム（符号化ストリーム）を生成することになる。

この場合、最下位の階層組のピクチャの符号化画像データを持つビデオストリームはベースストリームとされ、そのストリームタイプは“０ｘ２４”とされる。また、この最下位の階層組より上位に位置する階層組のピクチャの符号化画像データを含むビデオストリームはエンハンスストリームとされ、そのストリームタイプは、新規定義する“０ｘ２５”とされる。

なお、エンハンスストリームが複数存在する場合、全てのエンハンスストリームのストリームタイプを“０ｘ２５”とするのではなく、各エンハンスストリームの識別が可能となるように、ストリームタイプを新規定義することも考えられる。例えば、エンハンスストリームが２つある場合、第１のエンハンスストリームのストリームタイプは“０ｘ２５”とされ、第２のエンハンスストリームのストリームタイプは“０ｘ２６”とされる。

このストリームタイプは、所定数のビデオストリームのそれぞれが、ベースストリームであるかエンハンスストリームであるかを識別するための識別情報を構成する。このストリームタイプは、トランスポートストリームＴＳのレイヤに挿入される。すなわち、このストリームタイプは、プログラムマップテーブル（ＰＭＴ：Program Map Table）の配下に所定数のビデオストリームにそれぞれ対応して配置されたビデオエレメンタリストリームループ（Video ES loop）の中に挿入される。

エンコーダ１０２は、少なくとも、最下位の階層組のピクチャの符号化画像データのデコード間隔が等間隔となるように、符号化する。図７（ａ）は、図３の階層符号化の例において、各ピクチャが時間解像度でフルな１２０Ｈｚタイミングで符号化される場合であって、階層０から２がベースストリーム（B stream）を構成する最下位の階層組とされ、階層３がその上位に位置するエンハンスストリーム（E stream）を構成する階層組とされて、２つの階層組に分割される場合を示している。

この場合、最下位の階層組のピクチャの時間解像度は６０ｆｐｓであるが、１２０Ｈｚのタイミングで連続して符号化されるピクチャが存在し、６０ｆｐｓのデコード能力を備えるデコーダでは連続して安定したデコード処理が不可能となる。そのため、図７（ｂ）に示すように、ベースストリームを構成する最下位の階層組のピクチャの符号化タイミングが６０Ｈｚとなるように調整され、この最下位の階層組のピクチャの符号化画像データのデコード間隔が等間隔となるように符号化される。これにより、６０ｆｐｓのデコード能力を備えるデコーダにより、ベースストリームを構成する最下位の階層組のピクチャの符号化画像データに対して連続して安定したデコード処理が可能となる。

また、図７（ｂ）に示すように、エンハンスストリーム（E stream）を構成する階層組のピクチャの符号化タイミング、従ってそのピクチャの符号化画像データのデコードタイミングは、ベースストリーム（B stream）を構成する最下位の階層組のピクチャの符号化画像データのデコードタイミングの中間タイミングとなるように符号化される。これにより、受信側で、ベースストリームだけでなく、エンハンスストリームを構成する階層組のピクチャの符号化画像データまでもデコードする能力がある場合に、各ピクチャのデコード処理を順次スムーズに進めることが可能となる。

図８は、図３の階層符号化の例において、ベースストリーム（B stream）と、エンハンスストリーム（E stream）の２つのビデオストリームを生成する場合における、各ピクチャの符号化タイミング（デコードタイミング）の一例を示している。この例は、エンハンスストリームのデコード遅延がベースストリームに対して最小となる例である。

この例では、ベースストリーム（B stream）のピクチャの符号化タイミングは偶数タイミングとされ、エンハンスストリーム（E stream）の符号化タイミングは奇数タイミングとされる。そして、この例では、エンハンスストリーム（E stream）は、ベースストリーム（B stream）の最上位層の符号化順のすぐ後に符号化される。すなわち、エンハンスストリーム（E stream）の「７」のピクチャは、ベースストリーム（B stream）の「６」のピクチャの直後に符号化される。

図９（ａ）は、図４の階層符号化の例において、各ピクチャが時間解像度でフルな１２０Ｈｚタイミングで符号化される場合であって、階層０から２がベースストリーム（B stream）を構成する最下位の階層組とされ、階層３がその上位に位置するエンハンスストリーム（E stream1）を構成する階層組とされ、さらに階層４がその上位に位置するエンハンスストリーム（E stream2）を構成する階層組とされて、３つの階層組に分割される場合を示している。

この場合、最下位の階層組のピクチャの時間解像度は３０ｆｐｓであるが、１２０Ｈｚのタイミングで連続して符号化されるピクチャが存在し、３０ｆｐｓのデコード能力を備えるデコーダでは連続して安定したデコード処理が不可能となる。そのため、図９（ｂ）に示すように、ベースストリームを構成する最下位の階層組のピクチャの符号化タイミングが３０Ｈｚとなるように調整され、この最下位の階層組のピクチャの符号化画像データのデコード間隔が等間隔となるように符号化される。これにより、３０ｆｐｓのデコード能力を備えるデコーダにより、ベースストリームを構成する最下位の階層組のピクチャの符号化画像データに対して連続して安定したデコード処理が可能となる。

また、図９（ｂ）に示すように、エンハンスストリーム（E stream1）を構成する階層組のピクチャの符号化タイミング、従ってそのピクチャの符号化画像データのデコードタイミングは、ベースストリーム（B stream）を構成する最下位の階層組のピクチャの符号化画像データのデコードタイミングの中間タイミングとなるように符号化される。さらに、図９（ｂ）に示すように、エンハンスストリーム（E stream2）を構成する階層組のピクチャの符号化タイミング、従ってそのピクチャの符号化画像データのデコードタイミングは、ベースストリーム（B stream）およびエンハンスストリーム（E stream1）を構成する階層組のピクチャの符号化画像データのデコードタイミングの中間タイミングとなるように符号化される。これにより、受信側で、ベースストリームだけでなく、２つのエンハンスストリームを構成する階層組のピクチャの符号化画像データまでもデコードする能力がある場合に、各ピクチャのデコード処理を順次スムーズに進めることが可能となる。

図１０は、図４の階層符号化の例において、ベースストリーム（B stream）と、エンハンスストリーム（E stream1）と、エンハンスストリーム（E stream2）の３つのビデオストリームを生成する場合における、各ピクチャの符号化タイミング（デコードタイミング）の一例を示している。この例は、エンハンスストリームのデコード遅延がベースストリームに対して最小となる例である。

この例では、ベースストリーム（B stream）のピクチャの符号化タイミングは４の倍数のタイミングとされ、エンハンスストリーム（E stream1）の符号化タイミングは４の倍数のタイミングで、ベースストリーム（B stream）のピクチャの符号化タイミングの中間のタイミングとされる。また、エンハンスストリーム（E stream1）の符号化タイミングは奇数タイミングとされる。

そして、この例では、エンハンスストリーム（E stream1）は、ベースストリーム（B stream）の最上位層の符号化順のすぐ後に符号化される。すなわち、エンハンスストリーム（E stream1）の「１０」のピクチャは、ベースストリーム（B stream）の「８」のピクチャの直後に符号化される。また、この例では、エンハンスストリーム（E stream2）は、エンハンスストリーム（E stream1）の符号化順のすぐ後に符号化される。すなわち、エンハンスストリーム（E stream2）の「１１」のピクチャは、エンハンスストリーム（E stream1）の「１０」のピクチャの直後に符号化される。

エンコーダ１０２は、生成するビデオストリームのシーケンスが第１のシーケンスからこの第１のシーケンスとはフレームレートを異にする第２のシーケンスに切り替わる切り替わり部を持つ場合、少なくとも切り替わり部に対応するピクチャの符号化画像データに表示制御情報を挿入する。

このようにシーケンス切り替わり部を持つ場合として、エンコーダ１０２に入力される非圧縮の動画像データのフレームレートが切り替わる場合、あるいは、エンコーダ１０２に入力される非圧縮の動画像データのフレームレートは同じであるが、フレームの間引き、あるいは補間によりフレームレートが切り替わる場合などがある。なお、シーケンス切り替わり部でフレームレートが切り替わるとき、エンコーダ１０２で生成されるビデオストリームの数は、同じ場合、あるいは異なる場合がある。

図１１は、シーケンス切り替わり部の一例を示している。この例は、第１のシーケンス（６０Ｈｚ画像のシーケンス）から第２のシーケンス（１２０Ｈ画像のシーケンス）に切り替わる例である。第１のシーケンスでは、図３の階層符号化の例の階層０から２のピクチャの符号化画像データを持つベースストリーム（B stream）のみが生成される。一方、第２のシーケンスでは、図３の階層符号化の例の階層０から２のピクチャの符号化画像データを持つベースストリーム（B stream）と、図３の階層符号化の例の階層３のピクチャの符号化画像データを持つエンハンスストリーム（E stream）が生成される。

図１２は、上述の図１１に示すようなシーケンス切り替わり部におけるエンコーダ１０２のＨＲＤ（Hypothetical Reference Decoder）制御の一例を示している。ここでは、ベースストリームをサブストリーム１（Encoding of Substream1）とし、エンハンスストリームをサブストリーム２（Encoding of Substream2）として説明する。

階段状の実線ａ１は、エンコード（符号化）により発生するサブストリーム１のデータ量の推移を示しており、各段がそれぞれ一つのピクチャの単位に対応している。段の高さは、エンコードにより発生するデータ量を示している。階段状の実線ｂ１は、デコード（復号化）により消費するｃｐｂ１（coded picture buffer 1:圧縮データバッファ）におけるデータ量の推移を示しており、各段がそれぞれ一つのピクチャの単位に対応している。段の高さは、デコードにより消費するデータ量を示している。傾斜した実線ｃ１の傾きＲ１は、ｃｐｂ１に入力される符号化画像データのビットレートを示している。

タイミングＰ01は、第１のシーケンスの最後の表示ピクチャである「２」のピクチャの最初のバイトデータがｃｐｂ１に入力されるタイミングである。このタイミングＰ01で、デコーダは、「２」のピクチャの符号化画像データのＳＥＩを検知し、「２」のピクチャが切り替え前の最後のピクチャ（アクセスユニット）であることを認識する共に、後続ピクチャ（アクセスユニット）の制御法を検知する。

この場合、切り替え前のピクチャの表示期間は、ＶＰＳあるいはＳＰＳ の「clock_tick」と「time_scale」から検知する。また、後続のアクセスユニット（AU）における同パラメータ要素の変動により、表示期間の変化を検知する。

また、現在のアクセスユニット（AU）の表示タイミングよりも遅い表示タイミングをもつアクセスユニット（AU）を有する上階層のサブストリーム（sub-stream）が、ｃｐｂに新たに追加されること(現在のフレームレートをＰとすると、ＰからＮのフレームレートへの変化：Ｐ＜Ｎ）、あるいは、現在のアクセスユニット（AU）の表示タイミングよりも遅い表示タイミングをもつアクセスユニット（AU）を有する上階層のサブストリーム（sub-stream）が、ｃｐｂに新たに入力されないこと(現在のフレームレートをＮとすると、ＮからＰのフレームレートへの変化：Ｐ＜Ｎ)を認識し、後のアクセスユニット（AU）のパラメータをチェックする。

例えば、「next_au_presentation_skip_flag」が“１”の場合は、現在のアクセスユニット（AU）の表示期間終了まで、後続のアクセスユニット（AU）の表示をスキップする。また、「current_au_repeat_flag」が“１”の場合は、「repeat_type」で指定の回数だけ、現在のアクセスユニット（AU）をリピート表示させることで後続のアクセスユニット（AU）を置き換える。なお、この各パラメータの詳細につては、後述する（図１６参照）。

また、タイミングＰ02は、第２のシーケンスの最初のデコードピクチャである「１０」のピクチャの最初のバイトデータがｃｐｂ１に入力されるタイミングである。このタイミングＰ02で、デコーダは、「１０」の符号化画像データのＳＥＩを検知し、切り替え後のピクチャ（アクセスユニット）の表示期間を検知する。この場合、表示期間をＶＰＳあるいはＳＰＳの「clock_tick」と「time_scale」から検知する。

また、階段状の実線ａ２は、エンコード（符号化）により発生するサブストリーム２のデータ量の推移を示しており、各段がそれぞれ一つのピクチャの単位に対応している。段の高さは、エンコードにより発生するデータ量を示している。階段状の実線ｂ２は、デコード（復号化）により消費するｃｐｂ２におけるデータ量の推移を示しており、各段がそれぞれ一つのピクチャの単位に対応している。段の高さは、デコードにより消費するデータ量を示している。傾斜した実線ｃ２の傾きＲ２は、ｃｐｂ２に入力される符号化画像データのビットレートを示している。

タイミングＰ03は、第２のシーケンスの最初の表示ピクチャである「１５」のピクチャの最初のバイトデータがｃｐｂ２に入力されるタイミングである。このタイミングＰ03で、デコーダは、「１５」の符号化画像データのＳＥＩを検知し、タイムスタンプ・オフセットを検知する。この場合、「dpb_output_delay」のタイミングに対してオフセット値を加えた修正表示タイミングでピクチャ表示を行う。デコードタイミングについても、「cpb_removal_delay」のタイミングに対してオフセット値を加えた修正デコードタイミングでピクチャのデコードを行う。

なお、上述では、Ｒ１，Ｒ２とも、固定ビットレート（constant_bit_rate）の例を示しているが、これに限定せずとも、可変ビットレート（variable_bit_rate）でも考え方は同じである。

図示の例では、サブストリーム１に関しては「０」、「２」、「４」、「６」、「８」、「１０」、「１２」・・・のピクチャ順にデコードされ、サブストリーム２に関しては「１５」、「１７」、「１９」・・・のピクチャ順にデコードされる。すなわち、第１のシーケンスではサブストリーム１のピクチャのみがデコードされ、第２のシーケンスではサブストリーム１のピクチャとサブストリーム２のピクチャが交互にデコードされる。デコードされた各ピクチャの画像データは、ｄｐｂ（decoded picture buffer:非圧縮データバッファ）に入力され、図示の「表示画１」のタイミングでｄｐｂから読み出されて出力される。

この場合、「２」のピクチャは第１のシーケンス（６０Ｈｚ画像のシーケンス）のピクチャであるが、１２０Ｈｚで表示される。そこで、この実施の形態においては、上述したように、少なくとも切り替わり部に対応するピクチャの符号化画像データに表示制御情報を挿入することで、受信側では、図示の「表示画２」あるいは「表示画３」の表示が可能とされる。

「表示画２」では、第２のシーケンスの各ピクチャの表示タイミングを１２０Ｈｚの１周期分だけ遅くされる。また、「表示画３」では、第１のシーケンスの最後のピクチャの表示期間だけ第２のシーケンスのピクチャの表示がスキップされる。「表示画２」、「表示画３」のいずれにおいても、「２」のピクチャは６０Ｈｚで表示されることとなり、表示ギャップの発生が解消される。

図１３は、シーケンス切り替わり部の他の一例を示している。この例は、第１のシーケンス（１２０Ｈｚ画像のシーケンス）から第２のシーケンス（６０Ｈ画像のシーケンス）に切り替わる例である。第１のシーケンスでは、図３の階層符号化の例の階層０から２のピクチャの符号化画像データを持つベースストリーム（B stream）と、図３の階層符号化の例の階層３のピクチャの符号化画像データを持つエンハンスストリーム（E stream）が生成される。一方、第２のシーケンスでは、図３の階層符号化の例の階層０から２のピクチャの符号化画像データを持つベースストリーム（B stream）のみが生成される。

図１４は、上述の図１３に示すようなシーケンス切り替わり部におけるエンコーダ１０２のＨＲＤ（Hypothetical Reference Decoder）制御の一例を示している。ここでは、ベースストリームをサブストリーム１（Encoding of Substream1）とし、エンハンスストリームをサブストリーム２（Encoding of Substream2）として説明する。

階段状の実線ａ11は、エンコード（符号化）により発生するサブストリーム１のデータ量の推移を示しており、各段がそれぞれ一つのピクチャの単位に対応している。段の高さは、エンコードにより発生するデータ量を示している。階段状の実線ｂ11は、デコード（復号化）により消費するｃｐｂ１（coded picture buffer 1:圧縮データバッファ）におけるデータ量の推移を示しており、各段がそれぞれ一つのピクチャの単位に対応している。段の高さは、デコードにより消費するデータ量を示している。傾斜した実線ｃ11の傾きＲ11は、ｃｐｂ１に入力される符号化画像データのビットレートを示している。

タイミングＰ11は、第１のシーケンスの最後の表示ピクチャである「２」のピクチャの最初のバイトデータがｃｐｂ１に入力されるタイミングである。このタイミングＰ11で、デコーダは、「２」のピクチャの符号化画像データのＳＥＩを検知し、「２」のピクチャが切り替え前の最後のピクチャ（アクセスユニット）であることを認識する共に、後続ピクチャ（アクセスユニット）の制御法を検知する。

また、タイミングＰ12は、第２のシーケンスの最初のデコードピクチャである「１０」のピクチャの最初のバイトデータがｃｐｂ１に入力されるタイミングである。このタイミングＰ12で、デコーダは、「１０」の符号化画像データのＳＥＩを検知し、切り替え後のピクチャ（アクセスユニット）の表示期間を検知する。

また、タイミングＰ13は、第２のシーケンスの最初の表示ピクチャである「１４」のピクチャの最初のバイトデータがｃｐｂ１に入力されるタイミングである。このタイミングＰ13で、デコーダは、「１４」の符号化画像データのＳＥＩを検知し、タイムスタンプ・オフセットを検知する。

なお、上述では、Ｒ11，Ｒ21とも、固定ビットレート（constant_bit_rate）の例を示しているが、これに限定せずとも、可変ビットレート（variable_bit_rate）でも考え方は同じである。

図示の例では、サブストリーム１に関しては「２」、「４」、「６」、「８」、「１０」、「１２」・・・のピクチャ順にデコードされ、サブストリーム２に関しては「３」、「５」、「７」・・・のピクチャ順にデコードされる。すなわち、第１のシーケンスではサブストリーム１のピクチャとサブストリーム２のピクチャが交互にデコードされ、第２のシーケンスではサブストリーム１のピクチャのみがデコードされる。デコードされた各ピクチャの画像データは、ｄｐｂ（decoded picture buffer:非圧縮データバッファ）に入力され、図示の「表示画１」のタイミングでｄｐｂから読み出されて出力される。

この場合、「２」のピクチャは第１のシーケンス（１２０Ｈｚ画像のシーケンス）のピクチャであるが、６０Ｈｚで表示される。そこで、この実施の形態においては、上述したように、少なくとも切り替わり部に対応するピクチャの符号化画像データに表示制御情報を挿入することで、受信側では、図示の「表示画２」あるいは「表示画３」の表示が可能とされる。

「表示画２」では、第２のシーケンスの各ピクチャの表示タイミングを１２０Ｈｚの１周期分だけ早くされる。また、「表示画３」では、第１のシーケンスの最後のピクチャの表示が１回だけリピートされる。「表示画２」、「表示画３」のいずれにおいても、「２」のピクチャは１２０Ｈｚで表示されることとなり、表示ギャップの発生が解消される。

エンコーダ１０２は、上述の表示制御情報を含む、新たに定義する、ＡＵタイミング・コントロール・インフォメーションＳＥＩ（au_timing_control_information SEI）を、プリフィックスＳＥＩ（Prefix_SEI）の一つとして挿入する。

図１５（ａ）は、ＡＵタイミング・コントロール・インフォメーションＳＥＩを挿入するためのインタフェース（I/F）の構造例(Syntax)を示している。「uuid_iso_iec_11578」のフィールドは、“ISO/IEC 11578:1996 Annex A.”で示されるＵＵＩＤ値を持つ。「user_data_payload_byte」のフィールドに、「au_timing_control_information()」が挿入される。

図１６は、「au_timing_control_information()」の構造例(Syntax)を示している。図１７は、その構造例における主要な情報の内容（Semantics）を示している。「userdata_id」の１６ビットフィールドには、所定のユーザデータのＩＤを付す。「au_timing_control_information_length」の８ビットフィールドは、“au_timing_control_information”のバイト数（本要素の次の要素からカウント）を示す。

「last_au_flag」の１ビットフィールドは、現在のアクセスユニット（ピクチャ）がＣＶＤ（coded video sequence）の最後のアクセスユニットであることを示す。“１”は最後のアクセスユニットであることを示し、“０”は最後のアクセスユニットではないことを示す。

「next_au_presentation_skip_flag」の１ビットフィールドは、後続のアクセスユニットの表示をスキップすることを示す。“１”は、現在のアクセスユニットの表示期間終了まで、後続のアクセスユニットの表示をスキップすることを示す。“０”は、後続のアクセスユニットの表示スキップをしないことを示す。この場合、デコードしたものをストリームで指定される表示タイミングで表示することを示す。

「current_au_repeat_flag」の１ビットフィールドは、現在のアクセスユニットを表示リピートすることを示す。“１”は、次のタイミンググリッド（timing grid）で表示すべきアクセスユニットを現在のアクセスユニットを表示リピートすることで置き換えることを示す。“０”は、次のアクセスユニットをストリームで指定される表示タイミングで表示することを示す。

この「current_au_repeat_flag」が“１”であるとき、「repeat_type」の４ビットフィールドが存在する。この４ビットフィールドは、現在のアクセスユニットのリピート回数を指定する。例えば、“０００１”はリピート回数が１であることを示し、“００１０”はリピート回数が２であることを示し、“００１１”はリピート回数が３であることを示す。

「offset_timing_control_flag」の１ビットフィールドは、オフセット情報を伝送することを示す。“１”は、「offset_to_cpb_removal_delay」、「offset_to_dpb_output_delay」を伝送することを示し、それぞれが配置される２４ビットフィールドが存在する。「offset_to_cpb_removal_delay」の２４ビットフィールドは、該当ピクチャの「cpb_removal_delay」との差分値を示す。「offset_to_dpb_output_delay」は、該当ピクチャの「dpb_output_delay」との差分値を示す。

図１８、図１９は、上述の図１１、図１２のシーケンス切り替え（１倍速から２倍速への切り替え）における、ＡＵタイミング・コントロール・インフォメーションＳＥＩ（図１５〜図１７参照）の各フラグの値の推移を示している。

図１８は、受信側において、「表示画１」の表示から「表示画２」の表示に変更制御する際の各フラグの値の推移を示している。この場合、第１のシーケンスの最後のピクチャである「２」のピクチャの「last_au_flag」は“１”となり、このピクチャが第１のシーケンスの最後のピクチャであることが示される。また、第２のシーケンスのピクチャの「offset_timing_control_flag」は“１”となり、「offset_to_cpb_removal_delay」、「offset_to_dpb_output_delay」が伝送される。これにより、受信側では、第２のシーケンスの各ピクチャの表示タイミングが第２のシーケンスの１周期分だけ遅くなるように制御され、「表示画２」の表示が実現される。

図１９は、受信側において、「表示画１」の表示から「表示画３」の表示に変更制御する際の各フラグの値の推移を示している。この場合、第１のシーケンスの最後のピクチャである「２」のピクチャの「last_au_flag」は“１”となり、このピクチャが第１のシーケンスの最後のピクチャであることが示される。また、この「２」のピクチャの「next_au_presentation_skip_flag」は“１”となり、現在のアクセスユニットの表示期間終了まで、後続のアクセスユニットの表示をスキップすることが示される。これにより、受信側では、「２」のピクチャの表示期間だけ第２のシーケンスのピクチャの表示がスキップされ、「表示画３」の表示が実現される。

図２０、図２１は、上述の図１３、図１４のシーケンス切り替え（１倍速から２倍速への切り替え）における、ＡＵタイミング・コントロール・インフォメーションＳＥＩ（図１５〜図１７参照）の各フラグの値の推移を示している。

図２０は、受信側において、「表示画１」の表示から「表示画２」の表示に変更制御する際の各フラグの値の推移を示している。この場合、第１のシーケンスの最後のピクチャである「２」のピクチャの「last_au_flag」は“１”となり、このピクチャが第１のシーケンスの最後のピクチャであることが示される。また、第２のシーケンスのピクチャの「offset_timing_control_flag」は“１”となり、「offset_to_cpb_removal_delay」、「offset_to_dpb_output_delay」が伝送される。これにより、受信側では、第２のシーケンスの各ピクチャの表示タイミングを第のシーケンスの１周期分だけ早くなるように制御され、「表示画２」の表示が実現される。

図２１は、受信側において、「表示画１」の表示から「表示画３」の表示に変更制御する際の各フラグの値の推移を示している。この場合、第１のシーケンスの最後のピクチャである「２」のピクチャの「last_au_flag」は“１”となり、このピクチャが第１のシーケンスの最後のピクチャであることが示される。また、この「２」のピクチャの「current_au_repeat_flag」は“１”となり、次のタイミンググリッド（timing grid）で表示すべきアクセスユニットを現在のアクセスユニットを表示リピートすることで置き換えることが示される。さらに、この「２」のピクチャの「repeat_type」は“０００１”とされ、リピート回数が１であることが示される。これにより、受信側では、「２」のピクチャの表示が１回だけリピートされ、「表示画３」の表示が実現される。

図２２、図２３は、１倍速から４倍速へのシーケンス切り替えにおける、ＡＵタイミング・コントロール・インフォメーションＳＥＩ（図１５〜図１７参照）の各フラグの値の推移を示している。この例は、第１のシーケンス（例えば、３０Ｈｚ画像のシーケンス）から第２のシーケンス（例えば、１２０Ｈｚ画像のシーケンス）に切り替わる例である。

第１のシーケンスでは、図４の階層符号化の例の階層０から２のピクチャの符号化画像データを持つベースストリーム（B stream）のみが生成される。一方、第２のシーケンスでは、図４の階層符号化の例の階層０から２のピクチャの符号化画像データを持つベースストリーム（B stream）と、図４の階層符号化の例の階層３のピクチャの符号化画像データを持つエンハンスストリーム（E stream 1）と、図４の階層符号化の例の階層４のピクチャの符号化画像データを持つエンハンスストリーム（E stream 2）が生成される。

図２２は、受信側において、「表示画１」の表示から「表示画２」の表示に変更制御する際の各フラグの値の推移を示している。この場合、第１のシーケンスの最後のピクチャである「０」のピクチャの「last_au_flag」は“１”となり、このピクチャが第１のシーケンスの最後のピクチャであることが示される。また、第２のシーケンスのピクチャの「offset_timing_control_flag」は“１”となり、「offset_to_cpb_removal_delay」、「offset_to_dpb_output_delay」が伝送される。これにより、受信側では、第２のシーケンスの各ピクチャの表示タイミングが第２のシーケンスの３周期分だけ遅くなるように制御され、「表示画２」の表示が実現される。

図２３は、受信側において、「表示画１」の表示から「表示画３」の表示に変更制御する際の各フラグの値の推移を示している。この場合、第１のシーケンスの最後のピクチャである「０」のピクチャの「last_au_flag」は“１”となり、このピクチャが第１のシーケンスの最後のピクチャであることが示される。また、この「０」のピクチャの「next_au_presentation_skip_flag」は“１”となり、現在のアクセスユニットの表示期間終了まで、後続のアクセスユニットの表示をスキップすることが示される。これにより、受信側では、「０」のピクチャの表示期間だけ第２のシーケンスのピクチャの表示がスキップされ、「表示画３」の表示が実現される。

図２４、図２５は、４倍速から１倍速へのシーケンス切り替えにおける、ＡＵタイミング・コントロール・インフォメーションＳＥＩ（図１５〜図１７参照）の各フラグの値の推移を示している。この例は、第１のシーケンス（例えば、１２０Ｈｚ画像のシーケンス）から第２のシーケンス（例えば、３０Ｈｚの画像のシーケンス）に切り替わる例である。

第１のシーケンスでは、図４の階層符号化の例の階層０から２のピクチャの符号化画像データを持つベースストリーム（B stream）と、図４の階層符号化の例の階層３のピクチャの符号化画像データを持つエンハンスストリーム（E stream 1）と、図４の階層符号化の例の階層４のピクチャの符号化画像データを持つエンハンスストリーム（E stream 2）が生成される。一方、第２のシーケンスでは、図４の階層符号化の例の階層０から２のピクチャの符号化画像データを持つベースストリーム（B stream）のみが生成される。

図２４は、受信側において、「表示画１」の表示から「表示画２」の表示に変更制御する際の各フラグの値の推移を示している。この場合、第１のシーケンスの最後のピクチャである「０」のピクチャの「last_au_flag」は“１”となり、このピクチャが第１のシーケンスの最後のピクチャであることが示される。また、第２のシーケンスのピクチャの「offset_timing_control_flag」は“１”となり、「offset_to_cpb_removal_delay」、「offset_to_dpb_output_delay」が伝送される。これにより、受信側では、第２のシーケンスの各ピクチャの表示タイミングを第１のシーケンスの３周期分だけ早くなるように制御され、「表示画２」の表示が実現される。

図２５は、受信側において、「表示画１」の表示から「表示画３」の表示に変更制御する際の各フラグの値の推移を示している。この場合、第１のシーケンスの最後のピクチャである「０」のピクチャの「last_au_flag」は“１”となり、このピクチャが第１のシーケンスの最後のピクチャであることが示される。また、この「２」のピクチャの「current_au_repeat_flag」は“１”となり、次のタイミンググリッド（timing grid）で表示すべきアクセスユニットを現在のアクセスユニットを表示リピートすることで置き換えることが示される。さらに、この「２」のピクチャの「repeat_type」は“０００１１”とされ、リピート回数が３であることが示される。これにより、受信側では、「０」のピクチャの表示が３回だけリピートされ、「表示画３」の表示が実現される。

なお、詳細説明は省略するが、１倍速から３倍速へのシーケンス切り替え、３倍速から１倍速へのシーケンス切り替えなどのその他の倍率での切り替えの場合も、同様に、ＡＵタイミング・コントロール・インフォメーションＳＥＩに基づいて制御されることで、受信側では、「表示画２」あるいは「表示画３」の表示が実現される。

図２６は、エンコーダ１０２の構成例を示している。このエンコーダ１０２は、テンポラルＩＤ発生部１２１と、バッファ遅延制御部１２２と、ＨＲＤ（Hypothetical Reference Decoder）設定部１２３と、パラメータセット/ＳＥＩエンコード部１２４と、スライスエンコード部１２５と、ＮＡＬパケット化部１２６を有している。

テンポラルＩＤ発生部１２１には、ＣＰＵ１０１から、階層数（Number of layers）の情報が供給される。テンポラルＩＤ発生部１２１は、この階層数の情報に基づいて、階層数に応じたtemporal_idを発生する。例えば、図３の階層符号例においては、temporal_id＝０〜３が発生される。また、例えば、図４の階層符号例においては、temporal_id＝０〜４が発生される。

バッファ遅延制御部１２２には、ＣＰＵ１０１から、ミニマムデコード能力（Target minimum decoder capability）の情報が供給されると共に、テンポラルＩＤ発生部１２１で発生されるtemporal_idが供給される。バッファ遅延制御部１２２は、ビデオストリーム毎に、ｃｐｂバッファリング（buffering）初期値である、“initial_cpb_removal_delay ”と、ピクチャ毎の“cpb_removal_delay”、“ dpb_output_delay”を計算する。

バッファ遅延制御部１２２は、サブストリーム（Sub-stream）毎のｃｐｂバッファにおいて、“Cpb_removal_delay”を制御する。バッファ遅延制御部１２２は、ｄｐｂバッファにおいて、デコーダのデコードタイミングと表示タイミングの間でバッファ破綻がないよう制御する。この場合、最下位の階層組のピクチャのデコードタイミングが等間隔となるように、“cpb_removal_delay”を制御する。

また、この場合、最下位の階層組より上位に位置する階層組のピクチャの符号化画像データのエンコードタイミングが、この階層組より下位側に位置するすべての階層組のピクチャの符号化画像データのエンコードタイミングの中間タイミングとなるように、“cpb_removal_delay”を制御する。また、ｃｐｂバッファの破たんを招かないように、“dpb_output_delay”を制御する。なお、エンコードタイミングは、受信側で圧縮データバッファ（ｃｐｂ：coded picture buffer）から読み出されるデコードタイミングと同じ意味を示す。

ＨＲＤ（Hypothetical Reference Decoder）設定部１２３には、バッファ遅延制御部１２２で計算された各ビデオストリームのピクチャの「cpb_removal_delay」、「dpb_output_delay」が供給されると共に、ＣＰＵ１０１からストリーム数（Number of streams）の情報が供給される。ＨＲＤ設定部１２３は、これらの情報に基づいてＨＲＤ設定を行う。

パラメータセット/ＳＥＩエンコード部１２４には、ＨＲＤ設定情報と共に、temporal_idが供給される。パラメータセット/ＳＥＩエンコード部１２４は、符号化するストリーム数に応じて、各階層のピクチャのＶＰＳ、ＳＰＳ、ＰＰＳなどのパラメータセットと、各種のＳＥＩを生成する。

例えば、上述のＡＵタイミング・コントロール ＳＥＩ（au_timing_control SEI）が生成される。また、例えば、「cpb_removal_delay」と「dpb_output_delay」を含むピクチャ・タイミング・ＳＥＩ（Picture timing SEI）が生成される。また、例えば、「initial_cpb_removal_time」を含むバッファリング・ピリオド・ＳＥＩ（Buffereing Perifod SEI）が生成される。バッファリング・ピリオド・ＳＥＩは、ＧＯＰの先頭のピクチャ（アクセスユニット）に対応して生成される。

「initial cpb removal time」は、圧縮データバッファ（ｃｐｂ）からＧＯＰ（Group Of Picture）の先頭のピクチャの符号化画像データをデコードする際に取り出す時刻（初期時刻）を示す。「cpb_removal_delay」は、各ピクチャの符号化画像データを圧縮データバッファ（ｃｐｂ）から取り出す時間であり、「initial_cpb_removal_time」と合わせて時刻が決まる。また、「dpb_output_delay」は、デコードして非圧縮データバッファ（ｄｐｂ）に入ってから取り出す時間を示す。

スライスエンコード部１２５は、各階層のピクチャの画像データをエンコードしてスライスデータ（slice segment header, slice segment data）を得る。スライスエンコード部１２５は、フレームバッファにより、時間方向の予測の状態を表す情報として、「Prediction Unit」の予測先ピクチャのインデックスを示す「ref_idx_l0_active(ref_idx_l1_active)を、「slice segment header」に挿入する。これにより、デコード時には、temporal_idで示される階層レベルと共に、被参照ピクチャが決定される。また、スライスエンコード部１２５は、現在のスライス（slice）のインデックスを、「short_term_ref_pic_set_idx」、 あるいは「it_idx_sps」として、「slice segment header」に挿入する。

ＮＡＬパケット化部１２６は、パラメータセット/ＳＥＩエンコード部１２４で生成されたパラメータセットおよびＳＥＩと、スライスエンコード部１２５で生成されるスライスデータに基づき、各階層のピクチャの符号化画像データを生成し、ストリーム数に応じた数のビデオストリーム（符号化ストリーム）を出力する。

その際、ピクチャごとに、その階層を示すtemporal_idがＮＡＬユニットヘッダに付される（図５参照）。また、temporal_idで示される階層に属するピクチャは、サブレイヤ（sub_layer）として括られ、サブレイヤごとのビットレートのレベル指定値「Level_idc」が「sublayer_level_idc」とされて、ＶＰＳやＳＰＳに挿入される。

図２７は、エンコーダ１０２の処理フローを示す。エンコーダ１０２は、ステップＳＴ１において、処理を開始し、その後に、ステップＳＴ２の処理に移る。このステップＳＴ２において、エンコーダ１０２は、符号化する動画シーケンスのパラメータをチェックする。このパラメータには、フレームレート（フレーム周波数）も含まれる。

次に、エンコーダ１０２は、ステップＳＴ３において、シーケンス間でフレームレートに変化があるか否かを判断する。フレームレートに変化があるとき、エンコーダ１０２は、ステップＳＴ４の処理に進む。このステップＳＴ４において、変化点の前後のバッファ入出力タイミング管理を行う。

ステップＳＴ４の処理後、エンコーダ１０２は、ステップＳＴ５の処理に進む。上述のステップＳＴ３でフレームレートに変化がないとき、エンコーダ１０２は、直ちに、ステップ５の処理に移る。このステップＳＴ５において、エンコーダ１０２は、すべてのピクチャ（Slice) において、ＨＲＤ管理を行い、スライス（Slice）、パラメータセット（parameter set）、ＳＥＩなどの符号化を行ったうえで、ストリームをＮＡＬパケット（NAL packet）で構成させる。その後、エンコーダ１０２は、ステップＳＴ６において、処理を終了する。

図２に戻って、圧縮データバッファ(ｃｐｂ)１０３は、エンコーダ１０２で生成された、各階層のピクチャの符号化データを含むビデオストリームを、一時的に蓄積する。マルチプレクサ１０４は、圧縮データバッファ１０３に蓄積されているビデオストリームを読み出し、ＰＥＳパケット化し、さらにトランスポートパケット化して多重し、多重化ストリームとしてのトランスポートストリームＴＳを得る。

このトランスポートストリームＴＳには、上述したように、複数の階層が分割されて得られた各階層組のピクチャの符号化画像データを持つ所定数のビデオストリームのうち少なくとも最下層の階層組のピクチャの符号化画像データを持つビデオストリームが含まれる。つまり、このトランスポートストリームＴＳには、通常は、エンコーダ１０２で生成された所定数のビデオストリームの全てが含まれるが、上位側の階層組がピクチャの符号化画像データを持つビデオストリームが除かれることも考えられる。

マルチプレクサ１０４は、ビデオストリームをコンテナするパケット、例えば、ＰＥＳパケットに、表示制御情報を挿入する。この表示制御情報は、上述したようにエンコーダ１０２で符号化画像データに挿入される表示制御情報と同様のものである。この実施の形態においては、ＰＥＳパケットのＰＥＳエクステンション（PES extension）のフィールドに、オフセット・タイプスタンプ・インフォメーション（offset_timestamp_information）、ＡＵプレゼンテーション・コントロール（au_presentation_control）などを定義する。

図２８（ａ）は、ＰＥＳエクステンション・フィールド・データ（pes_extension_field_data）の構造例(Syntax)を示している。図２８（ｂ）は、その構造例における主要な情報の内容（Semantics）を示している。なお、「PES_extension field length」は、このシンタクス構造の外部で与えられるものとする。「start_sync_byte」の８ビットフィールドは、エクステンション・フィールド（extension field）の開始を表す符号値を示す。

「extension_field_type」の８ビットフィールドは、エクステンションフィールドのタイプを示す。“０ｘ０２”は、「offset_timestamp_information ()」、「au_presentation_control()」を供給することを示す。「maximum_temporal_layer_minus1」の４ビットフィールドは、サービスを構成する複数のサブストリーム（sub-stream）全体の階層数を示し、「temporal_layer_id」の最大値から「１」を引いた値である。

図２９（ａ）は、「offset_timestamp_information ()」の構造例(Syntax)を示している。図２９（ｂ）は、その構造例における主要な情報の内容（Semantics）を示している。「offset_to_DTS」の２４ビットフィールドは、ＰＥＳヘッダ（PES header）に付すＤＴＳからのオフセット差分値（９０ＫＨｚ単位符号付き）を示す。「offset_to_PTS」の２４ビットフィールドは、ＰＥＳヘッダ（PES header）に付すＰＴＳからのオフセット差分値（９０ＫＨｚ単位符号付き）を示す。

図３０は、「au_presentation_control()」の構造例(Syntax)を示している。図３１は、その構造例における主要な情報の内容（Semantics）を示している。「last_au_flag」の１ビットフィールドは、現在のアクセスユニット（ピクチャ）がＣＶＤ（coded video sequence）の最後のアクセスユニットであることを示す。“１”は最後のアクセスユニットであることを示し、“０”は最後のアクセスユニットではないことを示す。

「next_au_presentation_skip_flag」の１ビットフィールドは、後続のアクセスユニットの表示をスキップすることを示す。“１”は、現在のアクセスユニットの表示期間終了まで、後続のアクセスユニットの表示をスキップすることを示す。“０”は、後続のアクセスユニットの表示スキップをしないことを示す。この場合、デコードしたものをストリームで指定される表示タイミングで表示することを示す。

「current_au_repeat_flag」の１ビットフィールドは、現在のアクセスユニットを表示リピートすることを示す。“１”は、次のタイミンググリッド（timing grid）で表示すべきアクセスユニットを現在のアクセスユニットを表示リピートすることで置き換えることを示す。“０”は、次のアクセスユニットをストリームで指定される表示タイミングで表示することを示す。

この「current_au_repeat_flag」が“１”であるとき、「repeat_type」の４ビットフィールドが存在する。この４ビットフィールドは、現在のアクセスユニットのリピート回数を指定する。例えば、“０００１”はリピート回数が１であることを示し、“００１０”はリピート回数が２であることを示し、“００１１”はリピート回数が３であることを示す。

また、マルチプレクサ１０４は、トランスポートストリームＴＳのレイヤに、符号化画像データにＡＵタイミング・コントロールＳＥＩ（au_timing_control SEI）が挿入されているか否かを示す識別情報を挿入する。この識別情報は、プログラムマップテーブルの配下に所定数のビデオストリームにそれぞれ対応して配置されたビデオエレメンタリストリームループの中にデスクリプタとして挿入される。

マルチプレクサ１０４は、ＨＥＶＣデスクリプタ（HEVC_descriptor）と共に、新規定義するテンポラル・コントロール・デスクリプタ（Temporal_control_descriptor）を挿入する。図３２は、テンポラル・コントロール・デスクリプタの構造例（Syntax）を示している。

「Temporal_control_descriptor_tag」の８ビットフィールドは、デスクリプタタイプを示す。ここでは、テンポラル・コントロール・デスクリプタであることを示す。「Temporal_control_descriptor_length」の８ビットフィールドは、デスクリプタの長さ（サイズ）を示し、デスクリプタの長さとして、以降のバイト数を示す。ここでは、１バイトを示す。「au_timing_control_SEI_existed」の１のビットフィールドは、ＡＵタイミング・コントロールＳＥＩが存在するか否かを示し、“１”は存在することを示す。

図３３は、ＨＥＶＣデスクリプタ（HEVC_descriptor）の構造例（Syntax）を示している。「descriptor_tag」の８ビットフィールドは、デスクリプタタイプを示し、ここでは、ＨＥＶＣデスクリプタであることを示す。「descriptor_length」の８ビットフィールドは、デスクリプタの長さ（サイズ）を示し、デスクリプタの長さとして、以降のバイト数を示す。

「level_idc」の８ビットフィールドは、ビットレートのレベル指定値を示す。また、「temporal_layer_subset_flag = 1」であるとき、「temporal_id_min」の５ビットフィールドと、「temporal_id_max」の５ビットフィールドが存在する。「temporal_id_min」は、対応するビデオストリームに含まれる階層符号化データの最も低い階層のtemporal_idの値を示す。「temporal_id_max」は、対応するビデオストリームが持つ階層符号化データの最も高い階層のtemporal_idの値を示す。

また、マルチプレクサ１０４は、それぞれのビデオストリームが、ベースストリームであるかエンハンスストリームであるかを識別するための識別情報を挿入する。この場合、識別情報は、プログラムマップテーブルの配下に所定数のビデオストリームにそれぞれ対応して配置されたビデオエレメンタリストリームループ（Video ES loop）の中にストリームタイプとして挿入する。

この場合、ベースストリームのストリームタイプは“０ｘ２４”とされる。また、エンハンスストリームのストリームタイプは新規定義される、例えば“０ｘ２５”とされる。なお、エンハンスストリームが複数存在する場合、全てのエンハンスストリームのストリームタイプが同じくされるのではなく、各エンハンスストリームの識別が可能となるようにエンハンスストリームのストリームタイプとして複数のストリームタイプが新規定義されてもよい。例えば、エンハンスストリームが２つある場合、第１のエンハンスストリームのストリームタイプは“０ｘ２５”とされ、第２のエンハンスストリームのストリームタイプは“０ｘ２６”とされる。

図３４は、マルチプレクサ１０４の構成例を示している。マルチプレクサ１０４は、セクションコーディング部１４２と、ＰＥＳパケット化部１４３-1〜１４３-Nと、スイッチ部１４４と、トランスポートパケット化部１４５を有している。

ＰＥＳパケット化部１４３-1〜１４３-Nは、それぞれ、圧縮データバッファ１０３に蓄積されているビデオストリーム１〜Ｎを読み込み、ＰＥＳパケットを生成する。ここで、ビデオストリーム１〜Ｎには、少なくとも１つのベースストリームが含まれている。Ｎが２以上である場合には、１つのベースストリームと、一つ以上のエンハンスストリームが含まれている。

この際、ＰＥＳパケット化部１４３-1〜１４３-Nは、ビデオストリーム１〜ＮのＨＲＤ情報を元にＤＴＳ（Decoding Time Stamp）、ＰＴＳ（Presentation Time Stamp）のタイムスタンプをＰＥＳヘッダに付与する。この場合、各ピクチャの「cpu_removal_delay」、「dpb_output_delay」が参照されて、ＳＴＣ（System Time Clock）時刻に同期した精度で、各々ＤＴＳ、ＰＴＳが生成され、ＰＥＳヘッダの所定位置に配置される。

ＰＥＳパケット化部１４３-1〜１４３-Nは、圧縮データバッファ１０３に蓄積されているビデオストリーム（Elementary Stream）を読み込み、ＰＥＳパケットを生成する。この際、ＰＥＳパケット化部１４３-1〜１４３-Nは、ビデオストリームのＨＲＤ情報等をもとに、ＤＴＳ（Decoding Time Stamp）、ＰＴＳ（Presentation Time Stamp）のタイムスタンプをＰＥＳヘッダに付与する。この場合、各ピクチャの「cpu_removal_delay」、「dpb_output_delay」が参照され、ＳＴＣ（System Time Clock）時刻に同期した精度で、各々ＤＴＳ、ＰＴＳに変換され、ＰＥＳヘッダの所定位置に配置される。

また、この際、ＰＥＳパケット化部１４３-1〜１４３-Nは、タイムスタンプが不連続であること、ＳＥＩ、あるいはビデオストリームのＨＲＤ情報等をもとに、ＰＥＳパケットのＰＥＳエクステンション（PES extension）のフィールドに、上述のオフセット・タイプスタンプ・インフォメーション（offset_timestamp_information）、ＡＵプレゼンテーション・コントロール（au_presentation_control）を作成する。そして、ＰＥＳパケット化部１４３-1〜１４３-Nは、この情報を、ＰＥＳパケットのＰＥＳエクステンション（PES extension）のフィールドに挿入する。

スイッチ部１４４は、ＰＥＳパケット化部１４３-1〜１４３-Nで生成されたＰＥＳパケットを、パケット識別子（ＰＩＤ）に基づいて選択的に取り出し、トランスポートパケット化部１４５に送る。トランスポートパケット化部１４５は、ＰＥＳパケットをペイロードに含むＴＳパケットを生成し、トランスポートストリームＴＳを得る。

セクションコーディング部１４２は、トランスポートストリームＴＳに挿入すべき各種のセクションデータを生成する。セクションコーディング部１４２には、ＣＰＵ１０１から、階層数（Number of layers）と、ストリーム数（Number of streams）などの情報が供給される。セクションコーディング部１４２は、これら情報に基づいて、上述したＨＥＶＣデスクリプタ（HEVC_descriptor）を生成する。また、セクションコーディング部１４２には、ＣＰＵ１０１から、階層数（Number of layers）と、ＣＰＵ１０１から、符号化画像データにＡＵタイミング・コントロールＳＥＩ（au_timing_control SEI）が挿入されているか否かの情報が供給される。セクションコーディング部１４２は、この情報に基づいて、上述したテンポラル・コントロール・デスクリプタ（Temporal_control_descriptor）を生成する。

セクションコーディング部１４２は、各種セクションデータを、トランスポートパケット化部１４５に送る。トランスポートパケット化部１４５は、このセクションデータを含むＴＳパケットを生成し、トランスポートストリームＴＳに挿入する。なお、この際、各ビデオストリームにそれぞれ対応して配置されたビデオエレメンタリストリームループ（Video ES loop）の中に、ストリームタイプも挿入される。この場合、ベースストリームのストリームタイプは“０ｘ２４”とされ、エンハンスストリームのストリームタイプは、例えば新規定義する“０ｘ２５”とされる。

図３５は、マルチプレクサ１０４の処理フローを示す。マルチプレクサ１０４は、ステップＳＴ１１において、処理を開始し、その後に、ステップＳＴ１２の処理に移る。このステップＳＴ１２において、マルチプレクサ１０４は、ビデオストリーム（Elementary Stream）のピクチャ・タイミング・ＳＥＩ、バッファリング・ピリオド・ＳＥＩ、ＡＵタイミング・コントロールＳＥＩ、あるいはＨＲＤ情報からタイムスタンプを計算する。

次に、マルチプレクサ１０４は、ステップＳＴ１３において、オフセット・タイプスタンプ・インフォメーション（offset_timestamp_information）、ＡＵプレゼンテーション・コントロール（au_presentation_control）を作成し、ＰＥＳエクステンション（PES extension）のフィールドに挿入する。次に、マルチプレクサ１０４は、ステップＳＴ１４において、ＰＥＳペイロードにビデオストリーム（Elementary Stream）を挿入する。

次に、マルチプレクサ１０４は、ステップＳＴ１５において、テンポラル・コントロール・デスクリプタ（Temporal_control_descriptor）を、セクション領域にエンコードする。そして、マルチプレクサ１０４は、ステップＳＴ１６において、ＴＳパケットにして出力する。マルチプレクサ１０４は、このステップＳＴ１６の処理の後、ステップＳＴ１７において、処理を終了する。

図３６は、あるサービスを２ストリームで配信する場合のトランスポートストリームＴＳの構成例を示している。このトランスポートストリームＴＳには、ベースストリームとエンハンスストリームの２つのビデオストリームが含まれている。すなわち、この構成例では、ベースストリームのＰＥＳパケット「video PES1」が存在すると共に、エンハンスストリームのＰＥＳパケット「video PES2」が存在する。

ＰＥＳヘッダ（PES header）のＰＥＳエクステンションのフィールドに、上述したオフセット・タイプスタンプ・インフォメーション（offset_timestamp_information）、ＡＵプレゼンテーション・コントロール（au_presentation_control）が挿入される。また、各ピクチャの符号化画像データには、バッファリング・ピリオドＳＥＩ、ピクチャ・タイミングＳＥＩ、ＡＵタイミング・コントロールＳＥＩなどが挿入される。なお、ＰＥＳヘッダには、ＤＴＳ、ＰＴＳも配置されている。

また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）の一つとして、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。

ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・ループ（Program loop）が存在する。また、ＰＭＴには、各ビデオストリームに関連した情報を持つエレメンタリストリーム・ループが存在する。この構成例では、ベースストリームに対応したビデオエレメンタリストリームループ「video ES1 loop」が存在すると共に、エンハンスストリームに対応したビデオエレメンタリストリームループ「video ES2 loop」が存在する。

「video ES1 loop」には、ベースストリーム（video PES1）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このストリームタイプは、ベースストリームを示す“０ｘ２４”とされる。また、デスクリプタの一つとして、上述したＨＥＶＣデスクリプタ、テンポラル・コントロール・デスクリプタが挿入される。

また、「video ES2 loop」には、エンハンスストリーム（video PES2）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このストリームタイプは、エンハンスストリームを示す、例えば新規定義する“０ｘ２５”とされる。また、デスクリプタの一つとして、上述したＨＥＶＣデスクリプタ、テンポラル・コントロール・デスクリプタが挿入される。

図２に戻って、送信部１０５は、トランスポートストリームＴＳを、例えば、ＱＰＳＫ／ＯＦＤＭ等の放送に適した変調方式で変調し、ＲＦ変調信号を送信アンテナから送信する。

図２に示す送信装置１００の動作を簡単に説明する。エンコーダ１０２には、非圧縮の動画像データが入力される。エンコーダ１０２では、この動画像データに対して、階層符号化が行われる。すなわち、エンコーダ１０２では、この動画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化され、各階層のピクチャの符号化画像データを持つビデオストリームが生成される。この際、参照するピクチャが、自己階層および／または自己階層よりも下位の階層に所属するように、符号化される。

エンコーダ１０２では、複数の階層が所定数の階層組に分割され、各階層組のピクチャの符号化画像データをそれぞれ持つ所定数のビデオストリームが生成される。この場合、最下位の階層組のピクチャの符号化画像データを持つベースストリームが生成されると共に、この最下位の階層組より上位に位置する階層組のピクチャの符号化画像データを持つ所定数のエンハンスストリームが生成される。そして、この場合、最下位の階層組のピクチャの符号化画像データのデコード間隔が等間隔となるように符号化される。

このエンコーダ１０２では、生成する所定数のビデオストリームのシーケンスが第１のシーケンスからこの第１のシーケンスとはフレームレートを異にする第２のシーケンスに切り替わる切り替わり部を持つ場合、少なくとも切り替わり部に対応するピクチャの符号化画像データに表示制御情報（ＡＵタイミング・コントロール・インフォメーションＳＥＩ：図１６参照）が挿入される。

エンコーダ１０２で生成された所定数のビデオストリームは、圧縮データバッファ（ｃｐｂ）１０３に供給され、一時的に蓄積される。マルチプレクサ１０４では、圧縮データバッファ１０３に蓄積されている各ビデオストリームが読み出され、ＰＥＳパケット化され、さらにトランスポートパケット化されて多重され、多重化ストリームとしてのトランスポートストリームＴＳが得られる。

このマルチプレクサ１０４では、ビデオストリームをコンテナするパケット、例えば、ＰＥＳパケットのＰＥＳエクステンション（PES extension）のフィールドに、表示制御情報（オフセット・タイプスタンプ・インフォメーション、ＡＵプレゼンテーション・コントロール：図２９、図３０参照）が挿入される。また、このマルチプレクサ１０４では、トランスポートストリームＴＳのレイヤに、符号化画像データにＡＵタイミング・コントロールＳＥＩ（au_timing_control SEI）が挿入されているか否かを示す識別情報（テンポラル・コントロール・デスクリプタ：図３２参照）が挿入される。

また、このマルチプレクサ１０４では、トランスポートストリームＴＳのレイヤに、所定数のビデオストリームのそれぞれが、ベースストリームであるかエンハンスストリームであるかを識別するための識別情報が挿入される。この識別情報は、例えば、各ビデオストリームにそれぞれ対応して配置されたビデオエレメンタリストリームループ（Video ES loop）の中に挿入されるストリームタイプである。この場合、ベースストリームのストリームタイプは“０ｘ２４”とされ、エンハンスストリームのストリームタイプは、例えば新規定義する“０ｘ２５”とされる。

マルチプレクサ１０４で生成されるトランスポートストリームＴＳは、送信部１０５に送られる。送信部１０５では、このトランスポートストリームＴＳが、例えば、ＱＰＳＫ／ＯＦＤＭ等の放送に適した変調方式で変調され、ＲＦ変調信号が送信アンテナから送信される。

「受信装置の構成」
図３７は、受信装置２００の構成例を示している。この受信装置２００は、ＣＰＵ（Central Processing Unit）２０１と、受信部２０２と、デマルチプレクサ２０３と、圧縮データバッファ（ｃｐｂ：coded picture buffer）２０４を有している。また、この受信装置２００は、デコーダ２０５と、非圧縮データバッファ（ｄｐｂ：decoded picture buffer）２０６と、ポスト処理部２０７を有している。ＣＰＵ２０１は、制御部を構成し、受信装置２００の各部の動作を制御する。

受信部２０２は、受信アンテナで受信されたＲＦ変調信号を復調し、トランスポートストリームＴＳを取得する。デマルチプレクサ２０３は、トランスポートストリームＴＳから、デコード能力（Decoder temporal layer capability）に応じた階層組のピクチャの符号化画像データを選択的に取り出し、圧縮データバッファ（ｃｐｂ：coded picture buffer）２０４に送る。

図３８は、デマルチプレクサ２０３の構成例を示している。デマルチプレクサ２０３は、ＰＩＤ処理部２３１と、Ｎ個のストリーム処理部２３２-1〜２３２−Ｎと、ストリーム統合部２３３を有している。ＰＩＤ処理部２３１は、デコード能力により、パケット識別子（ＰＩＤ）に基づくフィルタリングを行って、少なくともベースストリームを含む所定数のビデオストリームを抽出する。ＰＩＤ処理部２３１で抽出された各ビデオストリームは、それぞれ、対応するストリーム処理部に送られる。例えば、ストリーム処理部２３２-1はベースストリームを処理し、ストリーム処理部２３２-2〜２３２-Nはエンハンスストリームを処理する。

ストリーム処理部２３２-1は、セクション・パース部２４１と、ＰＥＳパケット・パース部２４２と、ＰＥＳヘッダ抽出部２４３と、ＰＥＳペイロード抽出部２４４を有している。セクション解析部２４１は、対象のビデオストリームのセクションデータを解析し、例えば、テンポラル・コントロール・デスクリプタに基づいて、符号化画像データにおけるＡＵタイミング・コントロールＳＥＩの存在情報を取得し、ＣＰＵ２０１に送る。

ＰＥＳパケット解析部２４２は、ＰＥＳパケットを解析する。ＰＥＳヘッダ抽出部は２４３、ＰＥＳパケット解析部２４２の解析に基づいて、ヘッダに挿入されているＰＴＳ，ＤＴＳと、さらにはＰＥＳエクステンションに挿入されているオフセットタイムスタンプを取得し、ＣＰＵ２０１に送る。ＣＰＵ２０１は、ＰＴＳ，ＤＴＳをオフセットタイムスタンプで修正し、デコーダタイミングや表示タイミングを決定する。ＰＥＳペイロード抽出部２４４は、ＰＥＳパケット解析部２４２の解析に基づいて、ＰＥＳペイロードに含まれるピクチャの符号化画像データを抽出し、ストリーム統合部２３３に送る。

ストリーム処理部２３２-2〜２３２-Nも、上述のストリーム処理部２３２-1と同様の処理を行って、それぞれ、ＥＳペイロードに含まれるピクチャの符号化画像データを抽出し、ストリーム統合部２３３に送る。ストリーム統合部２３３は、ストリーム処理部２３２-1〜２３２-Nから送られてくる各ピクチャの符号化画像データを統合して単一のビデオストリーム（エレメンタリビデオストリーム）として、圧縮データバッファ（ｃｐｂ）２０４に送る。

この場合、ストリーム統合部２３３は、対象階層選択部２５２から出力される各ビデオストリーム（符号化ストリーム）を一つに結合する。各ピクチャの符号化画像データをデコードタイミング情報に基づいて１つのストリームにする。図３９は、ストリーム結合の一例を示している。この例は、６０Ｈｚ間隔のベースストリームのピクチャと、６０Ｈｚ間隔のエンハンスストリームのピクチャとを結合した例である。この場合、各ピクチャは１２０Ｈｚのタイムスタンプの１つのストリームとされる。

図４０は、デマルチプレクサ２０３の処理フローの一例を示している。デマルチプレクサ２０３は、ステップＳＴ３１において、処理を開始し、その後に、ステップＳＴ３２において、ＴＳペイロードを抽出する。次に、デマルチプレクサ２０３は、ステップＳＴ３３において、ＰＩＤ解析を行って、セクションか否かを判断する。セクションと判断するとき、デマルチプレクサ２０３は、ステップＳＴ３４において、該当ＰＩＤフィルタを通過するパケットをデマルチプレクスし、セクションパーシング（Section parsing）を行う。

次に、デマルチプレクサ２０３は、ステップＳＴ３５において、テンポラル・コントロール・デスクリプタ（Temporal_control_descriptor）を解析する。そして、デマルチプレクサ２０３は、ステップＳＴ３６において、ＡＵタイミング・コントロールＳＥＩ（au_timing_control SEI）があるか否かを判断する。ＡＵタイミング・コントロールＳＥＩがあるとき、デマルチプレクサ２０３は、ステップＳＴ３７において、ＰＥＳヘッダ（PES header）のＰＥＳエクステンション（PES extension）をチェックする。

デマルチプレクサ２０３は、ステップＳＴ３７の処理の後、ステップＳＴ３８に進み、処理を終了する。なお、ステップＳＴ３６でＡＵタイミング・コントロールＳＥＩがあるとき、デマルチプレクサ２０３は、直ちに、ステップＳＴ３８に進み、処理を終了する。

また、ステップＳＴ３３でセクションでないとき、デマルチプレクサ２０３は、ステップＳＴ３９において、ＰＥＳパケットを抽出する。そして、デマルチプレクサ２０３は、ステップＳＴ４０において、ＰＥＳヘッダか否かを判断する。ＰＥＳヘッダであるとき、デマルチプレクサ２０３は、ステップＳＴ４２において、ＰＥＳエクステンションに、オフセット・タイムスタンプ・インフォメーション（offset_timestamp_information）があるか否かを判断する。

オフセット・タイプスタンプ・インフォメーションがあるとき、デマルチプレクサ２０３は、ステップＳＴ４３において、オフセットタイムスタンプ（offset_to_DTS, offset_to_PTS ）をシステム、つまりＣＰＵ２０１に通知する。その後、デマルチプレクサ２０３は、ステップＳＴ４４の処理に移る。なお、ステップＳＴ４２でオフセット・タイムスタンプ・インフォメーションがなおいとき、デマルチプレクサ２０３は、直ちに、ステップＳＴ４４の処理に移る。

このステップＳＴ４４において、デマルチプレクサ２０３は、ＤＴＳ、ＰＴＳがあるか否かを判断する。ＤＴＳ、ＰＴＳがあるとき、デマルチプレクサ２０３は、ステップＳＴ４６の処理に移る。一方、ＤＴＳ、ＰＴＳがないとき、デマルチプレクサ２０３は、ステップＳＴ４５において、ＤＴＳ、ＰＴＳを補間して生成し、その後に、ステップＳＴ４６の処理に移る。ステップＳＴ４６において、デマルチプレクサ２０３は、ＤＴＳ、ＰＴＳをシステム、つまりＣＰＵ２０１に通知する。その後、デマルチプレクサ２０３は、ステップＳＴ３８に移り、処理を終了する。

また、ステップＳＴ４０でＰＥＳヘッダでないとき、デマルチプレクサ２０３は、ステップＳＴ４７においてＰＥＳペイロード（PES payload）を抽出する。そして、デマルチプレクサ２０３は、ステップＳＴ４８において、ＰＩＤの対象となる符号化ストリームをＤＴＳ順に結合して圧縮データバッファ（ｃｐｂ）２０４へ転送する。その後、デマルチプレクサ２０３は、ステップＳＴ３８に移り、処理を終了する。

図３７に戻って、圧縮データバッファ(ｃｐｂ)２０４は、デマルチプレクサ２０３で取り出されるビデオストリーム（符号化ストリーム）を、一時的に蓄積する。デコーダ２０５は、圧縮データバッファ２０４に蓄積されているビデオストリームから、デコードすべき階層として指定された階層のピクチャの符号化画像データを取り出す。そして、デコーダ２０５は、取り出された各ピクチャの符号化画像データを、それぞれ、そのピクチャのデコードタイミングでデコードし、非圧縮データバッファ（ｄｐｂ）２０６に送る。

ここで、デコーダ２０５には、ＣＰＵ２０１からデコードすべき階層がtemporal_idで指定される。この指定階層は、デマルチプレクサ２０３で取り出されるビデオストリーム（符号化ストリーム）に含まれる全階層、あるいは低階層側の一部の階層とされ、ＣＰＵ２０１により自動的に、あるいはユーザ操作に応じて設定される。また、デコーダ２０５には、ＣＰＵ２０１から、ＤＴＳ（Decoding Time stamp）に基づいて、デコードタイミングが与えられる。なお、デコーダ２０５は、各ピクチャの符号化画像データをデコードする際に、必要に応じて、非圧縮データバッファ２０６から被参照ピクチャの画像データを読み出して利用する。

図４１は、デコーダ２０５の構成例を示している。このデコーダ２０５は、テンポラルＩＤ解析部２５１と、対象階層選択部２５２と、デコード部２５４を有している。テンポラルＩＤ解析部２５１は、圧縮データバッファ２０４に蓄積されているビデオストリーム（符号化ストリーム）を読み出し、各ピクチャの符号化画像データのＮＡＬユニットヘッダに挿入されているtemporal_idを解析する。

対象階層選択部２５２は、圧縮データバッファ２０４から読み出されたビデオストリームから、テンポラルＩＤ解析部２５１の解析結果に基づいて、デコードすべき階層として指定された階層のピクチャの符号化画像データを取り出す。対象階層選択部２５２で取り出された各ピクチャの符号化画像データはデコード部２５４に送られる。デコード部２５４は、各ピクチャの符号化画像データを、順次デコードタイミングでデコードし、非圧縮データバッファ（ｄｐｂ）２０６に送る。

この場合、デコード部２５４は、ＶＰＳ、ＳＰＳの解析を行って、例えば、サブレイヤごとのビットレートのレベル指定値「sublayer_level_idc」を把握し、デコード能力内でデコードし得るものかどうかを確認する。また、この場合、デコード部２５４は、ＳＥＩの解析を行って、例えば、「initial_cpb_removal_time」、「cpb_removal_delay」を把握し、ＣＰＵ２０１からのデコードタイミングが適切か確認する。

また、デコード部２５４は、ＡＵタイミング・コントロールＳＥＩ（au_timing_control SEI）を解析し、含まれる表示制御情報を、ＣＰＵ２０１に送る。ＣＰＵ２０１は、この表示制御情報に基づいて、被圧縮データバッファ（ｄｐｂ）２０６からの各ピクチャの読み出しを制御し、上述したように、シーケンス切り替え部において、「表示画２」あるいは「表示画３」の表示を実現する（図１２、図１４、図１８〜図２５参照）。

また、デコード部２５４は、スライス（Slice）のデコードを行う際に、スライスヘッダ（Slice header）から、時間方向の予測先を表す情報として、「ref_idx_l0_active(ref_idx_l1_active)を取得し、時間方向の予測を行う。なお、デコード後のピクチャは、スライスヘッダ（slice header）から得られる「short_term_ref_pic_set_idx」、あるいは「it_idx_sps」が指標とされて、他のピクチャによる被参照として処理される。

図３７に戻って、非圧縮データバッファ（ｄｐｂ）２０６は、デコーダ２０５でデコードされた各ピクチャの画像データを、一時的に蓄積する。ポスト処理部２０７は、非圧縮データバッファ（ｄｐｂ）２０６から表示タイミングで順次読み出された各ピクチャの画像データに対して、そのフレームレートを、表示能力に合わせる処理を行う。この場合、ＣＰＵ２０１から、ＰＴＳ（Presentation Time stamp）に基づいて、表示タイミングが与えられる。

例えば、デコード後の各ピクチャの画像データのフレームレートが１２０ｆｐｓであって、表示能力が１２０ｆｐｓであるとき、ポスト処理部２０７は、デコード後の各ピクチャの画像データをそのままディスプレイに送る。また、例えば、デコード後の各ピクチャの画像データのフレームレートが１２０ｆｐｓであって、表示能力が６０ｆｐｓであるとき、ポスト処理部２０７は、デコード後の各ピクチャの画像データに対して時間方向解像度が１/２倍となるようにサブサンプル処理を施し、６０ｆｐｓの画像データとしてディスプレイに送る。

また、例えば、デコード後の各ピクチャの画像データのフレームレートが６０ｆｐｓであって、表示能力が１２０ｆｐｓであるとき、ポスト処理部２０７は、デコード後の各ピクチャの画像データに対して時間方向解像度が２倍となるように補間処理を施し、１２０ｆｐｓの画像データとしてディスプレイに送る。また、例えば、デコード後の各ピクチャの画像データのフレームレートが６０ｆｐｓであって、表示能力が６０ｆｐｓであるとき、ポスト処理部２０７は、デコード後の各ピクチャの画像データをそのままディスプレイに送る。

図４２は、ポスト処理部２０７の構成例を示している。この例は、上述したようにデコード後の各ピクチャの画像データのフレームレートが１２０ｆｐｓあるいは６０ｆｐｓであって、表示能力が１２０ｆｐｓあるいは６０ｆｐｓである場合に対処可能とした例である。

ポスト処理部２０７は、補間部２７１と、サブサンプル部２７２と、スイッチ部２７３を有している。非圧縮データバッファ２０６からのデコード後の各ピクチャの画像データは、直接スイッチ部２７３に入力され、あるいは補間部２７１で２倍のフレームレートとされた後にスイッチ部２７３に入力され、あるいはサブサンプル部２７２で１/２倍のフレームレートとされた後にスイッチ部２７３に入力される。

スイッチ部２７３には、ＣＰＵ２０１から、選択情報が供給される。この選択情報は、ＣＰＵ２０１が、表示能力を参照して自動的に、あるいは、ユーザ操作に応じて発生する。スイッチ部２７３は、選択情報に基づいて、入力のいずれかを選択的に出力とする。これにより、非圧縮データバッファ（ｄｐｂ）２０６から表示タイミングで順次読み出された各ピクチャの画像データのフレームレートは、表示能力に合ったものとされる。

図４３は、デコーダ２０５、ポスト処理部２０７の処理フローの一例を示している。デコーダ２０５、ポスト処理部２０７は、ステップＳＴ５１において、処理を開始し、その後に、ステップＳＴ５２の処理に移る。このステップＳＴ５２において、デコーダ２０５は、圧縮データバッファ（ｃｐｂ）２０４に蓄積されているデコード対象のビデオストリームを読み出し、temporal_idに基づいて、ＣＰＵ２０１からデコード対象として指定される階層のピクチャを選択する。

次に、デコーダ２０５は、ステップＳＴ５３において、選択された各ピクチャの符号化画像データをデコードタイミングで順次デコードし、デコード後の各ピクチャの画像データを非圧縮データバッファ（ｄｐｂ）２０６に転送して、一時的に蓄積する。次に、ポスト処理部２０７は、ステップＳＴ５４において、非圧縮データバッファ（ｄｐｂ）２０６から、表示タイミングで各ピクチャの画像データを読み出す。

この際、シーケンス切り替わり部がある場合には、表示制御情報に基づいて、読み出しを制御する。この読み出しの制御としては、上述したように、「表示画３」を実現するためのリピート制御、スキップ制御がある他、「表示画２」を実現するための読み出しタイミングの制御がある。なお、表示制御情報としては、ＡＵタイミング・コントロールＳＥＩ（au_timing_control SEI）を利用できることは勿論であるが、ＰＥＳエクステンションに含まれるオフセット・タイプスタンプ・インフォメーション（offset_timestamp_information）、ＡＵプレゼンテーション・コントロール（au_presentation_control）を利用してもよい。

次に、ポスト処理部２０７は、ステップＳＴ５５において、読み出された各ピクチャの画像データのフレームレートが表示能力にあっているか否かを判断する。フレームレートが表示能力に合っていないとき、ポスト処理部２０７は、ステップＳＴ５６において、フレームレートを表示能力に合わせて、ディスプレイに送り、その後、ステップＳＴ５７において、処理を終了する。一方、フレームレートが表示能力に合っているとき、ポスト処理部２０７は、ステップＳＴ５８において、フレームレートそのままでディスプレイに送り、その後、ステップＳＴ５７において、処理を終了する。

図３７に示す受信装置２００の動作を簡単に説明する。受信部２０２では、受信アンテナで受信されたＲＦ変調信号が復調され、トランスポートストリームＴＳが取得される。このトランスポートストリームＴＳは、デマルチプレクサ２０３に送られる。デマルチプレクサ２０３では、トランスポートストリームＴＳから、デコード能力（Decoder temporal layer capability）に応じて全部あるいは一部のビデオストリームが、ＰＩＤフィルタリングされる。

例えば、デコード能力が高い場合には、ベースストリームおよびエンハンスストリームの全てのビデオストリームが選択される。また、例えば、デコード能力が低い場合には、デコード可能な階層を含む、ベースストリームを含む所定数のビデオストリームが選択される。そして、デマルチプレクサ２０３からは、選択されたビデオストリームのピクチャの符号化画像データが圧縮データバッファ（ｃｐｂ）２０４に送られ、一時的に蓄積される。

デコーダ２０５では、圧縮データバッファ２０４に蓄積されているビデオストリームから、デコードすべき階層として指定された階層のピクチャの符号化画像データが取り出される。そして、デコーダ２０５では、取り出された各ピクチャの符号化画像データが、それぞれ、そのピクチャのデコードタイミングでデコードされ、非圧縮データバッファ（ｄｐｂ）２０６に送られ、一時的に蓄積される。この場合、各ピクチャの符号化画像データがデコードされる際に、必要に応じて、非圧縮データバッファ２０６から被参照ピクチャの画像データが読み出されて利用される。

非圧縮データバッファ（ｄｐｂ）２０６から表示タイミングで順次読み出された各ピクチャの画像データは、ポスト処理部２０７に送られる。ポスト処理部２０７では、各ピクチャの画像データに対して、そのフレームレートを、表示能力に合わせるための補間あるいはサブサンプルが行われる。このポスト処理部２０７で処理された各ピクチャの画像データは、ディスプレイに供給され、その各ピクチャの画像データによる動画像の表示が行われる。

以上説明したように、図１に示す送受信システム１０においては、送信側において、送信されるビデオストリームのシーケンスが第１のシーケンスからこの第１のシーケンスとはフレームレートを異にする第２のシーケンスに切り替わる切り替わり部を持つ場合、少なくとも、この切り替わり部に対応するピクチャの符号化画像データおよび/またはＰＥＳエクステンションに表示制御情報が挿入されて送信されるものである。そのため、例えば、受信側において、この表示制御情報に基づいて非圧縮データバッファからの各ピクチャの画像データの読み出しを制御でき、フレームレートが動的に変化する場合であっても、表示ギャップを発生させることなく良好な表示が可能となる。

また、図１に示す送受信システム１０においては、送信側において、第１のシーケンスの最後のピクチャの符号化画像データおよび/またはＰＥＳエクステンションに、この第１のシーケンスの最後のピクチャであることを識別する識別情報が挿入されるものである。そのため、例えば、送信されるビデオストリームのシーケンスが第１のシーケンスからこの第１のシーケンスとはフレームレートを異にする第２のシーケンスに切り替わる切り替わり部を持つ場合、受信側において、この識別情報に基づいて、第１のシーケンスの最後のピクチャを容易に識別可能となる。

また、図１に示す送受信システム１０においては、送信側において、コンテナのレイヤに、符号化画像データに表示制御情報が挿入されているか否かを識別する識別情報が挿入されるものである。そのため、例えば、受信側においては、符号化画像データをデコード処理することなく、この識別情報に基づいて、符号化画像データに表示制御情報が挿入されているか否かを容易に識別可能となる。

また、図１に示す送受信システム１０においては、受信側において、デコードされて得られた各ピクチャの画像データがバッファに取り込まれ、この各ピクチャの画像データが所定のタイミングで読み出されて出力される際に、この読み出しが、符号化画像データおよび/またはＰＥＳエクステンションに挿入されている表示制御情報に基づいて制御されるものである。そのため、例えば、フレームレートが動的に変化する場合であっても、表示ギャップを発生させることなく良好な表示が可能となる。

＜２．変形例＞
なお、上述実施の形態においては、送信側において符号化画像データおよび/またはＰＥＳエクステンションに表示制御情報が挿入され、受信側では、その表示制御情報に基づいて表示制御を行う構成となっている。しかし、符号化画像データおよび/またはＰＥＳエクステンションに表示制御情報が挿入されていない場合であっても、受信側において、送信されてくるビデオストリームのシーケンスの切り替わり部を検出して、同様の表示制御を行うことが考えられる。この場合、例えば、ＶＰＳあるいはＳＰＳの「clock_tick」と「time_scale」から表示期間を求め、この表示期間の変化によりシーケンスの切り替わり部を検出することが可能となる。

また、上述実施の形態においては、送信装置１００と受信装置２００からなる送受信システム１０を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、受信装置２００の部分が、例えば、（ＨＤＭＩ（High-Definition Multimedia Interface）などのデジタルインタフェースで接続されたセットトップボックスおよびモニタの構成などであってもよい。なお、「ＨＤＭＩ」は、登録商標である。

また、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、ＭＰ４やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）、インターネット配信で使用されているＭＰ４などの種々のフォーマットのコンテナが該当する。

また、上述実施の形態においては、最下位の階層組のピクチャの符号化画像データのデコード間隔が等間隔となるように符号化されたものを示したが、本技術は、必ずしも、これに限定されるものではなく、所定の間隔で符号化がなされていればよい。

また、本技術は、以下のような構成を取ることもできる。
（１）動画像データを構成する各ピクチャの画像データを複数の階層に分類し、該分類された各階層のピクチャの画像データを符号化すると共に、上記複数の階層を所定数の階層組に分割し、該分割された各階層組のピクチャの符号化画像データをそれぞれ持つ上記所定数のビデオストリームを生成する画像符号化部を備え、
上記画像符号化部は、少なくとも、最下位の階層組のピクチャの符号化画像データのデコード間隔が所定間隔となるように符号化し、
上記生成された所定数のビデオストリームのうち少なくとも最下位の階層組のピクチャの符号化画像データを持つビデオストリームを含む所定フォーマットのコンテナを送信する送信部と、
上記送信されるビデオストリームのシーケンスが第１のシーケンスから該第１のシーケンスとはフレームレートを異にする第２のシーケンスに切り替わる切り替わり部を持つ場合、少なくとも、該切り替わり部に対応するピクチャの符号化画像データ、または該符号化画像データをコンテナするパケットに表示制御情報を挿入する情報挿入部とをさらに備える
送信装置。
（２）上記表示制御情報は、
上記第１のシーケンスの最後のピクチャの表示を所定数だけリピートするように制御する、あるいは上記第１のシーケンスの最後のピクチャの表示期間は上記第２のシーケンスのピクチャの表示をスキップするように制御する情報である
前記（１）に記載の送信装置。
（３）上記表示制御情報は、
上記第２のシーケンスのピクチャの表示タイミングを制御する表示オフセット情報である
前記（１）に記載の送信装置。
（４）上記コンテナはトランスポートストリームであり、
上記情報挿入部は、
上記表示制御情報をＰＥＳパケットのエクステンションフィールドに挿入する
前記（１）に記載の送信装置。
（５）上記情報挿入部は、
上記第１のシーケンスの最後のピクチャの符号化画像データに、該第１のシーケンスの最後のピクチャであることを識別する識別情報をさらに挿入する
前記（１）から（４）のいずれかに記載の送信装置。
（６）上記コンテナのレイヤに、上記符号化画像データに上記表示制御情報が挿入されているか否かを識別する識別情報を挿入する識別情報挿入部をさらに備える
前記（１）から（５）のいずれかに記載の送信装置。
（７）上記コンテナはトランスポートストリームであり、
上記識別情報挿入部は、
上記識別情報を、プログラムマップテーブルの配下に上記所定数のビデオストリームにそれぞれ対応して配置されたビデオエレメンタリストリームループの中にデスクリプタとして挿入する
前記（６）に記載の送信装置。
（８）上記画像符号化部は、
上記最下位の階層組より上位に位置する階層組のピクチャの符号化画像データのデコードタイミングが、該階層組より下位側に位置するすべての階層組のピクチャの符号化画像データのデコードタイミングの中間タイミングとなるように符号化する
前記（１）から（７）のいずれかに記載の送信装置。
（９）動画像データを構成する各ピクチャの画像データを複数の階層に分類し、該分類された各階層のピクチャの画像データを符号化すると共に、上記複数の階層を所定数の階層組に分割し、該分割された各階層組のピクチャの符号化画像データをそれぞれ持つ上記所定数のビデオストリームを生成する画像符号化ステップを有し、
上記画像符号化ステップでは、少なくとも、最下位の階層組のピクチャの符号化画像データのデコード間隔が所定間隔となるように符号化し、
送信部により、上記画像符号化ステップで生成された所定数のビデオストリームのうち少なくとも最下位の階層組のピクチャの符号化画像データを持つビデオストリームを含む所定フォーマットのコンテナを送信する送信ステップと、
上記送信されるビデオストリームのシーケンスが第１のシーケンスから該第１のシーケンスとはフレームレートを異にする第２のシーケンスに切り替わる切り替わり部を持つ場合、少なくとも、該切り替わり部に対応するピクチャの符号化画像データ、または該符号化画像データをコンテナするパケットに表示制御情報を挿入する情報挿入ステップとをさらに有する
送信方法。
（１０）動画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化されると共に、上記複数の階層が所定数の階層組に分割されることで得られた、各階層組のピクチャの符号化画像データをそれぞれ持つ上記所定数のビデオストリームのうち少なくとも最下位の階層組のピクチャの符号化画像データを持つビデオストリームを受信する受信部と、
上記受信されたビデオストリームを処理する処理部とを備え、
上記所定数のビデオストリームのうち、少なくとも、最下位の階層組のピクチャの符号化画像データを持つビデオストリームは、各ピクチャのデコード間隔が所定間隔となるように符号化されており、
上記受信されたビデオストリームのシーケンスが第１のシーケンスから該第１のシーケンスとはフレームレートを異にする第２のシーケンスに切り替わる切り替わり部を持つ場合、少なくとも、該切り替え部に対応するピクチャの符号化画像データ、または該符号化画像データをコンテナするパケットに表示制御情報が挿入されている
受信装置。
（１１）上記表示制御情報は、
上記第１のシーケンスの最後のピクチャの表示を所定数だけリピートするように制御する、あるいは上記第１のシーケンスの最後のピクチャの表示期間は上記第２のシーケンスのピクチャの表示をスキップするように制御する情報である
前記（１０）に記載の受信装置。
（１２）上記表示制御情報は、
上記第２のシーケンスのピクチャの表示タイミングを制御する表示オフセット情報である
前記（１０）に記載の受信装置。
（１３）動画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化されると共に、上記複数の階層が所定数の階層組に分割されることで得られた、各階層組のピクチャの符号化画像データをそれぞれ持つ上記所定数のビデオストリームのうち少なくとも最下位の階層組のピクチャの符号化画像データを持つビデオストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記所定数のビデオストリームのうち、少なくとも、最下位の階層組のピクチャの符号化画像データを持つビデオストリームは、各ピクチャのデコード間隔が所定間隔となるように符号化されており、
上記受信されたコンテナに含まれるビデオストリームのシーケンスが第１のシーケンスから該第１のシーケンスとはフレームレートを異にする第２のシーケンスに切り替わる切り替わり部を持つ場合、少なくとも、該切り替え部に対応するピクチャの符号化画像データ、または該符号化画像データをコンテナするパケットに表示制御情報が挿入されており、
上記受信されたコンテナに含まれるビデオストリームからデコード能力に応じた所定階層以下の階層のピクチャの符号化画像データを選択的にデコードし、該デコードされて得られた各ピクチャの画像データをバッファに取り込み、該各ピクチャの画像データを所定のタイミングで読み出して出力する画像復号処理部と、
上記画像復号処理部における上記バッファからの各ピクチャの画像の読み出しを上記表示制御情報に基づいて制御する制御部とをさらに備える
受信装置。
（１４）上記表示制御情報は、
上記第１のシーケンスの最後のピクチャの表示を所定数だけリピートするように制御する、あるいは上記第１のシーケンスの最後のピクチャの表示期間は上記第２のシーケンスのピクチャの表示をスキップするように制御する情報である
前記（１３）に記載の受信装置。
（１５）上記表示制御情報は、
上記第２のシーケンスのピクチャの表示タイミングを制御する表示オフセット情報である
前記（１３）に記載の受信装置。
（１６）動画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化されると共に、上記複数の階層が所定数の階層組に分割されることで得られた、各階層組のピクチャの符号化画像データをそれぞれ持つ上記所定数のビデオストリームのうち少なくとも最下位の階層組のピクチャの符号化画像データを持つビデオストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記所定数のビデオストリームのうち、少なくとも、最下位の階層組のピクチャの符号化画像データを持つビデオストリームは、各ピクチャのデコード間隔が所定間隔となるように符号化されており、
上記受信されたコンテナに含まれるビデオストリームに基づいて、該ビデオストリームのシーケンスが第１のシーケンスから該第１のシーケンスとはフレームレートを異にする第２のシーケンスに切り替わる切り替わり部を検出するシーケンス切り替わり検出部と、
上記受信されたコンテナに含まれるビデオストリームからデコード能力に応じた所定階層以下の階層のピクチャの符号化画像データを選択的にデコードし、該デコードされて得られた各ピクチャの画像データをバッファに取り込み、該各ピクチャの画像データを所定のタイミングで読み出して出力する画像復号処理部と、
上記画像復号処理部における上記バッファからの各ピクチャの画像の読み出しを上記シーケンス切り替わり検出部の検出出力に基づいて制御する制御部とをさらに備える
受信装置。

本技術の主な特徴は、送信されるビデオストリームのシーケンスが第１のシーケンスからこの第１のシーケンスとはフレームレートを異にする第２のシーケンスに切り替わる場合、少なくとも、この切り替わり部に対応するピクチャの符号化画像データやＰＥＳエクステンションに表示制御情報を挿入することで、フレームレートが動的に変化する場合であっても、受信側において良好な表示を可能としたことである（図３６参照）。

１０・・・送受信システム
１００・・・送信装置
１０１・・・ＣＰＵ
１０２・・・エンコーダ
１０３・・・圧縮データバッファ（ｃｐｂ）
１０４・・・マルチプレクサ
１０５・・・送信部
１２１・・・テンポラルＩＤ発生部
１２２・・・バッファ遅延制御部
１２３・・・ＨＲＤ設定部
１２４・・・パラメータセット/ＳＥＩエンコード部
１２５・・・スライスエンコード部
１２６・・・ＮＡＬパケット化部
１４２・・・セクションコーディング部
１４３-1〜１４３-N・・・ＰＥＳパケット化部
１４４・・・スイッチ部
１４５・・・トランスポートパケット化部
２００・・・受信装置
２０１・・・ＣＰＵ
２０２・・・受信部
２０３・・・デマルチプレクサ
２０４・・・圧縮データバッファ（ｃｐｂ）
２０５・・・デコーダ
２０６・・・非圧縮データバッファ（ｄｐｂ）
２０７・・・ポスト処理部
２３１・・・ＰＩＤ処理部
２３２-1〜２３２-N・・・ストリーム処理部
２３３・・・ストリーム統合部
２４１・・・セクション・パース部
２４２・・・ＰＥＳパケット・パース部
２４３・・・ＰＥＳヘッダ抽出部
２４４・・・ＰＥＳペイロード抽出部
２５１・・・テンポラルＩＤ解析部
２５２・・・対象階層選択部
２５４・・・デコード部
２７１・・・補間部
２７２・・・サブサンプル部
２７３・・・スイッチ部

本技術は、送信装置および送信方法に関する。詳しくは、本技術は、動画像データを構成する各ピクチャの画像データを階層符号化して送信する送信装置等に関する。

Claims (16)

1. 動画像データを構成する各ピクチャの画像データを複数の階層に分類し、該分類された各階層のピクチャの画像データを符号化すると共に、上記複数の階層を所定数の階層組に分割し、該分割された各階層組のピクチャの符号化画像データをそれぞれ持つ上記所定数のビデオストリームを生成する画像符号化部を備え、
   上記画像符号化部は、少なくとも、最下位の階層組のピクチャの符号化画像データのデコード間隔が所定間隔となるように符号化し、
   上記生成された所定数のビデオストリームのうち少なくとも最下位の階層組のピクチャの符号化画像データを持つビデオストリームを含む所定フォーマットのコンテナを送信する送信部と、
   上記送信されるビデオストリームのシーケンスが第１のシーケンスから該第１のシーケンスとはフレームレートを異にする第２のシーケンスに切り替わる切り替わり部を持つ場合、少なくとも、該切り替わり部に対応するピクチャの符号化画像データ、または該符号化画像データをコンテナするパケットに表示制御情報を挿入する情報挿入部とをさらに備える
   送信装置。
2. 上記表示制御情報は、
   上記第１のシーケンスの最後のピクチャの表示を所定数だけリピートするように制御する、あるいは上記第１のシーケンスの最後のピクチャの表示期間は上記第２のシーケンスのピクチャの表示をスキップするように制御する情報である
   請求項１に記載の送信装置。
3. 上記表示制御情報は、
   上記第２のシーケンスのピクチャの表示タイミングを制御する表示オフセット情報である
   請求項１に記載の送信装置。
4. 上記コンテナはトランスポートストリームであり、
   上記情報挿入部は、
   上記表示制御情報をＰＥＳパケットのエクステンションフィールドに挿入する
   請求項１に記載の送信装置。
5. 上記情報挿入部は、
   上記第１のシーケンスの最後のピクチャの符号化画像データに、該第１のシーケンスの最後のピクチャであることを識別する識別情報をさらに挿入する
   請求項１に記載の送信装置。
6. 上記コンテナのレイヤに、上記符号化画像データに上記表示制御情報が挿入されているか否かを識別する識別情報を挿入する識別情報挿入部をさらに備える
   請求項１に記載の送信装置。
7. 上記コンテナはトランスポートストリームであり、
   上記識別情報挿入部は、
   上記識別情報を、プログラムマップテーブルの配下に上記所定数のビデオストリームにそれぞれ対応して配置されたビデオエレメンタリストリームループの中にデスクリプタとして挿入する
   請求項６に記載の送信装置。
8. 上記画像符号化部は、
   上記最下位の階層組より上位に位置する階層組のピクチャの符号化画像データのデコードタイミングが、該階層組より下位側に位置するすべての階層組のピクチャの符号化画像データのデコードタイミングの中間タイミングとなるように符号化する
   請求項１に記載の送信装置。
9. 動画像データを構成する各ピクチャの画像データを複数の階層に分類し、該分類された各階層のピクチャの画像データを符号化すると共に、上記複数の階層を所定数の階層組に分割し、該分割された各階層組のピクチャの符号化画像データをそれぞれ持つ上記所定数のビデオストリームを生成する画像符号化ステップを有し、
   上記画像符号化ステップでは、少なくとも、最下位の階層組のピクチャの符号化画像データのデコード間隔が所定間隔となるように符号化し、
   送信部により、上記画像符号化ステップで生成された所定数のビデオストリームのうち少なくとも最下位の階層組のピクチャの符号化画像データを持つビデオストリームを含む所定フォーマットのコンテナを送信する送信ステップと、
   上記送信されるビデオストリームのシーケンスが第１のシーケンスから該第１のシーケンスとはフレームレートを異にする第２のシーケンスに切り替わる切り替わり部を持つ場合、少なくとも、該切り替わり部に対応するピクチャの符号化画像データ、または該符号化画像データをコンテナするパケットに表示制御情報を挿入する情報挿入ステップとをさらに有する
   送信方法。
10. 動画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化されると共に、上記複数の階層が所定数の階層組に分割されることで得られた、各階層組のピクチャの符号化画像データをそれぞれ持つ上記所定数のビデオストリームのうち少なくとも最下位の階層組のピクチャの符号化画像データを持つビデオストリームを受信する受信部と、
    上記受信されたビデオストリームを処理する処理部とを備え、
    上記所定数のビデオストリームのうち、少なくとも、最下位の階層組のピクチャの符号化画像データを持つビデオストリームは、各ピクチャのデコード間隔が所定間隔となるように符号化されており、
    上記受信されたビデオストリームのシーケンスが第１のシーケンスから該第１のシーケンスとはフレームレートを異にする第２のシーケンスに切り替わる切り替わり部を持つ場合、少なくとも、該切り替え部に対応するピクチャの符号化画像データ、または該符号化画像データをコンテナするパケットに表示制御情報が挿入されている
    受信装置。
11. 上記表示制御情報は、
    上記第１のシーケンスの最後のピクチャの表示を所定数だけリピートするように制御する、あるいは上記第１のシーケンスの最後のピクチャの表示期間は上記第２のシーケンスのピクチャの表示をスキップするように制御する情報である
    請求項１０に記載の受信装置。
12. 上記表示制御情報は、
    上記第２のシーケンスのピクチャの表示タイミングを制御する表示オフセット情報である
    請求項１０に記載の受信装置。
13. 動画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化されると共に、上記複数の階層が所定数の階層組に分割されることで得られた、各階層組のピクチャの符号化画像データをそれぞれ持つ上記所定数のビデオストリームのうち少なくとも最下位の階層組のピクチャの符号化画像データを持つビデオストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
    上記所定数のビデオストリームのうち、少なくとも、最下位の階層組のピクチャの符号化画像データを持つビデオストリームは、各ピクチャのデコード間隔が所定間隔となるように符号化されており、
    上記受信されたコンテナに含まれるビデオストリームのシーケンスが第１のシーケンスから該第１のシーケンスとはフレームレートを異にする第２のシーケンスに切り替わる切り替わり部を持つ場合、少なくとも、該切り替え部に対応するピクチャの符号化画像データ、または該符号化画像データをコンテナするパケットに表示制御情報が挿入されており、
    上記受信されたコンテナに含まれるビデオストリームからデコード能力に応じた所定階層以下の階層のピクチャの符号化画像データを選択的にデコードし、該デコードされて得られた各ピクチャの画像データをバッファに取り込み、該各ピクチャの画像データを所定のタイミングで読み出して出力する画像復号処理部と、
    上記画像復号処理部における上記バッファからの各ピクチャの画像の読み出しを上記表示制御情報に基づいて制御する制御部とをさらに備える
    受信装置。
14. 上記表示制御情報は、
    上記第１のシーケンスの最後のピクチャの表示を所定数だけリピートするように制御する、あるいは上記第１のシーケンスの最後のピクチャの表示期間は上記第２のシーケンスのピクチャの表示をスキップするように制御する情報である
    請求項１３に記載の受信装置。
15. 上記表示制御情報は、
    上記第２のシーケンスのピクチャの表示タイミングを制御する表示オフセット情報である
    請求項１３に記載の受信装置。
16. 動画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化されると共に、上記複数の階層が所定数の階層組に分割されることで得られた、各階層組のピクチャの符号化画像データをそれぞれ持つ上記所定数のビデオストリームのうち少なくとも最下位の階層組のピクチャの符号化画像データを持つビデオストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
    上記所定数のビデオストリームのうち、少なくとも、最下位の階層組のピクチャの符号化画像データを持つビデオストリームは、各ピクチャのデコード間隔が所定間隔となるように符号化されており、
    上記受信されたコンテナに含まれるビデオストリームに基づいて、該ビデオストリームのシーケンスが第１のシーケンスから該第１のシーケンスとはフレームレートを異にする第２のシーケンスに切り替わる切り替わり部を検出するシーケンス切り替わり検出部と、
    上記受信されたコンテナに含まれるビデオストリームからデコード能力に応じた所定階層以下の階層のピクチャの符号化画像データを選択的にデコードし、該デコードされて得られた各ピクチャの画像データをバッファに取り込み、該各ピクチャの画像データを所定のタイミングで読み出して出力する画像復号処理部と、
    上記画像復号処理部における上記バッファからの各ピクチャの画像の読み出しを上記シーケンス切り替わり検出部の検出出力に基づいて制御する制御部とをさらに備える
    受信装置。

Images