JP2019080362A

JP2019080362A - 受信装置、受信方法、送信装置および送信方法

Info

Publication number: JP2019080362A
Application number: JP2019031417A
Authority: JP
Inventors: 塚越　郁夫; Ikuo Tsukagoshi; 郁夫塚越
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2013-11-01
Filing date: 2019-02-25
Publication date: 2019-05-23
Anticipated expiration: 2034-10-01
Also published as: EP3065410B1; JP2020014260A; RU2016115957A; EP3065410A1; JP6493214B2; US10225566B2; JP6795076B2; US20160212435A1; EP3065410A4; BR112016008992A2; BR112016008992B1; WO2015064287A1; JP2021036709A; JP6617845B2; JPWO2015064287A1; JP7070639B2; RU2662222C2

Abstract

【課題】受信側がハイフレームレートに非対応、対応のいずれであっても良好に再生可能とする。【解決手段】動画像データを構成する各ピクチャの画像データを複数の階層に分類し、この分類された各階層のピクチャの画像データを符号化し、この符号化された各階層のピクチャの画像データを持つビデオストリームを生成する。このように生成されたビデオストリームを含む所定フォーマットのコンテナを送信する。所定階層以下の階層の各ピクチャの符号化画像データのそれぞれに対応して、この符号化画像データおよび/またはこの符号化画像データをコンテナするパケットに、デコード時刻を補正するための時刻補正情報を挿入する。【選択図】図８

Description

本技術は、受信装置、受信方法、送信装置および送信方法に関する。

圧縮動画を、放送、ネット等でサービスする際、受信機のデコード能力によって再生可能なフレーム周波数の上限が制限される。従って、サービス側は普及している受信機の再生能力を考慮して、低フレーム周波数のサービスのみに制限したり、高低複数のフレーム周波数のサービスを同時提供したりする必要がある。

受信機は、高フレーム周波数のサービスに対応するには、高コストとなり、早期普及の阻害要因となる。初期に低フレーム周波数のサービス専用の安価な受信機のみ普及していて、将来サービス側が高フレーム周波数のサービスを開始する場合、新たな受信機が無いと全く視聴不可能であり、新規サービスの普及の阻害要因となる。

例えば、Ｈ．２６５／ＨＥＶＣ（High Efficiency Video Coding）において、動画像データを構成する各ピクチャの画像データを階層符号化することによる時間方向スケーラビリティが提案されている（非特許文献１参照）。受信側では、ＮＡＬ（Network Abstraction Layer）ユニットのヘッダに挿入されているテンポラルＩＤ（temporal_id）に基づき、各ピクチャの階層を識別でき、デコード能力に対応した階層までの選択的なデコードが可能となる。

Gary J. Sullivan, Jens-Rainer Ohm, Woo-Jin Han, Thomas Wiegand, "Overview of the High Efficiency Video Coding (HEVC) Standard" IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECNOROGY, VOL. 22, NO. 12, pp. 1649-1668, DECEMBER 2012

本技術の目的は、受信側がハイフレームレート（ＨＦＲ：High flame rate）に非対応、対応のいずれであっても良好に再生可能とすることにある。

本技術の概念は、
動画像データを構成する各ピクチャの画像データを複数の階層に分類し、該分類された各階層のピクチャの画像データを符号化し、該符号化された各階層のピクチャの画像データを持つビデオストリームを生成する画像符号化部と、
上記ビデオストリームを含む所定フォーマットのコンテナを送信する送信部と、
所定階層以下の階層の各ピクチャの符号化画像データのそれぞれに対応して、該符号化画像データおよび/または該符号化画像データをコンテナするパケットに、デコード時刻を補正するための時刻補正情報を挿入する補正情報挿入部を備える
送信装置にある。

本技術において、画像符号化部により、動画像データを構成する各ピクチャの画像データが符号化されてビデオストリームが生成される。この場合、動画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化される。送信部により、このように生成されたビデオストリームを含む所定フォーマットのコンテナが送信される。例えば、コンテナは、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２ＴＳ）であってもよい。また、例えば、コンテナは、インターネットの配信などで用いられるＭＰ４、あるいはそれ以外のフォーマットのコンテナであってもよい。

補正情報挿入部により、所定階層以下の階層の各ピクチャの符号化画像データのそれぞれに対応して、この符号化画像データおよび/またはこの符号化画像データをコンテナするパケットに、デコード時刻を補正するための時刻補正情報が挿入される。例えば、コンテナは、トランスポートストリームであり、補正情報挿入部は、時刻補正情報をＰＥＳパケットのエクステンションフィールドに挿入する、ようにされてもよい。

例えば、画像符号化部は、動画像データを構成する各ピクチャの符号化画像データのデコード間隔が等間隔となるように符号化し、時刻補正情報は、所定階層以下の階層の各ピクチャの符号化画像データのデコード間隔が等間隔となるようにデコード時刻を補正するための情報である、ようにされてもよい。

また、例えば、画像符号化部は、所定階層より上の階層の各ピクチャの符号化画像データのデコードタイミングが、動画像データを構成する各ピクチャの符号化画像データのデコード間隔が等間隔とされる場合と同じデコードタイミングとなり、所定階層以下の階層の各ピクチャの符号化画像データのデコード間隔が等間隔となるように符号化し、時刻補正情報は、所定階層以下の階層の各ピクチャの符号化画像データのデコードタイミングが、動画像データを構成する各ピクチャの符号化画像データが等間隔とされる場合のデコードタイミングと同じくなるようにデコード時刻を補正するための情報である、ようにされてもよい。

このように本技術においては、符号化画像データおよび/またはこの符号化画像データをコンテナするパケットに、デコード時刻を補正するための時刻補正情報が挿入されて送信されるものである。そのため、受信側では、所定階層以下の階層の各ピクチャの符号化画像データのみをデコードするか全ての階層の各ピクチャの符号化画像データをデコードするかに応じて、この時刻補正情報を用いて、所定階層以下の階層の各ピクチャの符号化画像データのデコード時刻を補正できる。したがって、受信側がハイフレームレートに非対応、対応のいずれであっても良好に再生可能となる。

なお、本技術において、例えば、動画像データを構成する各ピクチャによるフレームレートを第１のフレームレートとし、所定階層以下の階層の各ピクチャによるフレームレートを第２のフレームレートとするとき、第２のフレームレートは第１のフレームレートの１/２倍である、ようにされてもよい。この場合、例えば、第１のフレームレートが１２０Ｈｚであるとき、第２のフレームレートは６０Ｈｚとなる。

また、本技術において、例えば、画像符号化部は、複数の階層を２以上の所定数の階層組に分割し、分割された各階層組のピクチャの符号化画像データを持つ所定数のビデオストリームを生成し、所定階層以下の階層と、この所定階層より上の階層とは、互いに異なる階層組に属する、ようにされてもよい。この場合、受信側では、所定階層以下の階層の各ピクチャの符号化画像データの抽出をビデオストリームのフィルタリングで行うことが可能となる。

また、本技術において、例えば、時刻補正情報には、この時刻補正情報が第１のタイプであるか第２のタイプであるかを識別するためのタイプ情報が付加されており、第１のタイプは、ビデオストリームが、動画像データを構成する各ピクチャの符号化画像データのデコード間隔が等間隔となるように符号化されており、時刻補正情報が、所定階層以下の階層の各ピクチャの符号化画像データのデコード間隔が等間隔となるようにデコード時刻を補正するための情報であることを示し、第２のタイプは、ビデオストリームが、所定階層より上の階層の各ピクチャの符号化画像データのデコードタイミングが、動画像データを構成する各ピクチャの符号化画像データのデコード間隔が等間隔とされる場合と同じデコードタイミングとなり、所定階層以下の階層の各ピクチャの符号化画像データのデコード間隔が等間隔となるように符号化されており、時刻補正情報が、所定階層以下の階層の各ピクチャの符号化画像データのデコードタイミングが、動画像データを構成する各ピクチャの符号化画像データが等間隔とされる場合のデコードタイミングと同じくなるようにデコード時刻を補正するための情報であることを示す、ようにされてもよい。

このように時刻補正情報にタイプ情報が付加されていることで、受信側では、時刻補正情報のタイプが第１のタイプであるか第２のタイプであるかを正確に把握可能となり、所定階層以下の階層の各ピクチャの符号化画像データのデコード時刻の補正を適切に行うことが可能となる。

例えば、第１のタイプであれば、受信側では、所定階層以下の階層の各ピクチャの符号化画像データのみをデコードする際に、時刻補正情報を用いて所定階層以下の階層の各ピクチャの符号化画像データのデコード時刻の補正が行われる。これにより、この所定階層以下の階層の各ピクチャの符号化画像データのデコード間隔が等間隔とされる。

また、第２のタイプであれば、受信側では、全ての階層の各ピクチャの符号化画像データをデコードする際に、時刻補正情報を用いて所定階層以下の階層の各ピクチャの符号化画像データのデコード時刻の補正が行われる。これにより、この全ての階層の各ピクチャの符号化画像データのデコード間隔が等間隔とされる。

また、本技術において、例えば、コンテナのレイヤに、符号化画像データおよび/またはこの符号化画像データをコンテナするパケットに、時刻補正情報が挿入されていることを識別するための識別情報を挿入する識別情報挿入部をさらに備える、ようにされてもよい。例えば、コンテナはトランスポートストリームであり、識別情報挿入部は、識別情報を、プログラムマップテーブルの配下にビデオストリームに対応して配置されたビデオエレメンタリストリームループの中にデスクリプタとして挿入する、ようにされてもよい。この場合、受信側においては、符号化画像データ、あるいはこの符号化画像データをコンテナするパケットを処理することなく、この識別情報に基づいて、時刻補正情報が挿入されていることを識別可能となる。

また、本技術の他の概念は、
動画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化されることで得られた各階層のピクチャの符号化画像データを持つビデオストリームを受信する受信部と、
上記ビデオストリームを処理する処理部を備え、
上記ビデオストリームが持つ上記各階層のピクチャの符号化画像データのうち、所定階層以下の階層の各ピクチャの符号化画像データのそれぞれに対応して、該符号化画像データおよび/または該符号化画像データをコンテナするパケットに、デコード時刻を補正するための時刻補正情報が挿入されている
受信装置にある。

本技術において、受信部により、ビデオストリームが受信される。このビデオストリームは、動画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化されることで得られた各ピクチャの符号化画像データを持つビデオストリームを持っている。このビデオストリームが持つ各階層のピクチャの符号化画像データのうち、所定階層以下の階層の各ピクチャの符号化画像データのそれぞれに対応して、この符号化画像データおよび/またはこの符号化画像データをコンテナするパケットに、デコード時刻を補正するための時刻補正情報が挿入されている。そして、処理部により、このビデオストリームが処理される。

例えば、ビデオストリームは、動画像データを構成する各ピクチャの符号化画像データのデコード間隔が等間隔となるように符号化されており、時刻補正情報は、所定階層以下の階層の各ピクチャの符号化画像データのデコード間隔が等間隔となるようにデコード時刻を補正するための情報である、ようにされていてもよい。

また、例えば、ビデオストリームは、所定階層より上の階層の各ピクチャの符号化画像データのデコードタイミングが、動画像データを構成する各ピクチャの符号化画像データのデコード間隔が等間隔とされる場合と同じデコードタイミングとなり、所定階層以下の階層の各ピクチャの符号化画像データのデコード間隔が等間隔となるように符号化されており、時刻補正情報は、所定階層以下の階層の各ピクチャの符号化画像データのデコードタイミングが、動画像データを構成する各ピクチャの符号化画像データが等間隔とされる場合のデコードタイミングと同じくなるようにデコード時刻を補正するための情報である、ようにされてもよい。

また、本技術の他の概念は、
動画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化され、該符号化されて得られた各階層のピクチャの符号化画像データを持つビデオストリームを含む所定フォーマットのコンテナを受信する受信部と、
上記ビデオストリームからデコード能力に応じた階層のピクチャの符号化画像データを選択的にバッファに取り込み、該バッファに取り込まれた各ピクチャの符号化画像データをデコードして画像データを得る画像復号処理部を備え、
上記ビデオストリームが持つ上記各階層のピクチャの符号化画像データのうち、所定階層以下の階層の各ピクチャの符号化画像データのそれぞれに対応して、該符号化画像データおよび/または該符号化画像データをコンテナするパケットに、デコード時刻を補正するための時刻補正情報が挿入されており、
上記画像復号処理部は、
上記所定階層以下の階層の各ピクチャの符号化画像データのみデコードするか全ての階層の各ピクチャの符号化画像データをデコードするかに応じて、上記時刻補正情報を用いて、上記所定階層以下の階層の各ピクチャの符号化画像データのデコード時刻を補正する
受信装置である。

本技術において、受信部により、所定フォーマットのコンテナが受信される。このコンテナには、動画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化されることで得られた各ピクチャの符号化画像データを持つビデオストリームが含まれている。画像復号処理部により、ビデオストリームからデコード能力に応じた階層のピクチャの符号化画像データが選択的にバッファに取り込まれ、このバッファに取り込まれた各ピクチャの符号化画像データがデコードされて画像データが得られる。

例えば、画像復号処理部は、バッファに取り込む所定階層以下の階層あるいは全ての階層の各ピクチャの符号化画像データが複数のビデオストリームに含まれている場合、各ピクチャの符号化画像データをデコードタイミング情報に基づいてデコード時刻の順に１つのストリームに結合してバッファに取り込む、ようにされてもよい。

ビデオストリームが持つ各階層のピクチャの符号化画像データのうち、所定階層以下の階層の各ピクチャの符号化画像データのそれぞれに対応して、この符号化画像データおよび/またはこの符号化画像データをコンテナするパケットに、デコード時刻を補正するための時刻補正情報が挿入されている。画像復号処理部では、所定階層以下の階層の各ピクチャの符号化画像データのみデコードするか全ての階層の各ピクチャの符号化画像データをデコードするかに応じて、時刻補正情報を用いて、所定階層以下の階層の各ピクチャの符号化画像データのデコード時刻が補正される。

例えば、ビデオストリームが、動画像データを構成する各ピクチャの符号化画像データのデコード間隔が等間隔となるように符号化されており、時刻補正情報が、所定階層以下の階層の各ピクチャの符号化画像データのデコード間隔が等間隔となるようにデコード時刻を補正するための情報であり、画像復号処理部は、所定階層以下の階層の各ピクチャの符号化画像データのみデコードする場合に、時刻補正情報を用いて、所定階層以下の階層の各ピクチャの符号化画像データのデコード時刻を補正する、ようにされてもよい。

また、例えば、ビデオストリームが、所定階層より上の階層の各ピクチャの符号化画像データのデコードタイミングが、動画像データを構成する各ピクチャの符号化画像データのデコード間隔が等間隔とされる場合と同じデコードタイミングとなり、所定階層以下の階層の各ピクチャの符号化画像データのデコード間隔が等間隔となるように符号化されており、時刻補正情報が、所定階層以下の階層の各ピクチャの符号化画像データのデコードタイミングが、動画像データを構成する各ピクチャの符号化画像データが等間隔とされる場合のデコードタイミングと同じくなるようにデコード時刻を補正するための情報であり、画像復号処理部は、全ての階層の各ピクチャの符号化画像データをデコードする場合に、時刻補正情報を用いて、所定階層以下の階層の各ピクチャの符号化画像データのデコード時刻を補正する、ようにされてもよい。

このように本技術においては、所定階層以下の階層の各ピクチャの符号化画像データのみデコードするか全ての階層の各ピクチャの符号化画像データをデコードするかに応じて、符号化画像データおよび/またはこの符号化画像データをコンテナするパケットに挿入されている時刻補正情報を用いて、所定階層以下の階層の各ピクチャの符号化画像データのデコード時刻を補正するものである。そのため、ハイフレームレートに非対応、対応のいずれであっても良好に再生可能となる。

なお、本技術において、例えば、時刻補正情報には、この時刻補正情報が第１のタイプであるか第２のタイプであるかを識別するタイプ情報が付加されており、第１のタイプは、ビデオストリームが、動画像データを構成する各ピクチャの符号化画像データのデコード間隔が等間隔となるように符号化されており、時刻補正情報が、所定階層以下の階層の各ピクチャの符号化画像データのデコード間隔が等間隔となるようにデコード時刻を補正するための情報であることを示し、第２のタイプは、ビデオストリームが、所定階層より上の階層の各ピクチャの符号化画像データのデコードタイミングが、動画像データを構成する各ピクチャの符号化画像データのデコード間隔が等間隔とされる場合と同じデコードタイミングとなり、所定階層以下の階層の各ピクチャの符号化画像データのデコード間隔が等間隔となるように符号化されており、時刻補正情報が、所定階層以下の階層の各ピクチャの符号化画像データのデコードタイミングが、動画像データを構成する各ピクチャの符号化画像データが等間隔とされる場合のデコードタイミングと同じくなるようにデコード時刻を補正するための情報であることを示し、画像復号処理部は、時刻補正情報に付加されているタイプ情報に基づき、所定階層以下の階層の各ピクチャの符号化画像データのみデコードする場合に時刻補正情報を用いたデコード時刻の補正を行うか、全ての階層の各ピクチャの符号化画像データをデコードする場合に時刻補正情報を用いたデコード時刻の補正を行うかを切り替える、ようにされてもよい。

本技術によれば、受信側がハイフレームレートに非対応、対応のいずれであっても良好に再生可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

実施の形態としての送受信システムの構成例を示すブロック図である。送信装置の構成例を示すブロック図である。エンコーダで行われる階層符号化の一例を示す図である。ＮＡＬユニットヘッダの構造例およびその構造例における主要なパラメータの内容を示す図である。ＨＥＶＣによる各ピクチャの符号化画像データの構成を説明するための図である。ベースストリーム（Stream_0）と、エンハンスストリーム（Stream_1）の２つのビデオストリームを生成する場合における、各ピクチャのデコードタイミングの一例を示す図である。ベースストリーム（Stream_0）の１つのビデオストリームを生成する場合における、各ピクチャのデコードタイミングの一例を示す図である。「第１の符号化」が施される場合の、所定階層以下の階層（低階層）の各ピクチャの符号化画像データにそれぞれ対応して挿入される第１のタイプの補正情報Ｓ（ｉ）を示す図である。ベースストリーム（Stream_0）と、エンハンスストリーム（Stream_1）の２つのビデオストリームを生成する場合における、各ピクチャのデコードタイミングの一例を示す図である。「第２の符号化」が施される場合の、所定階層以下の階層（低階層）の各ピクチャの符号化画像データにそれぞれ対応して挿入される第２のタイプの補正情報Ｓ（ｉ）を示す図である。タイミング・アジャストメントＳＥＩを挿入するためのインタフェースの構造例およびタイミング・アジャストメント・インフォメーションの構造例を示す図である。タイミング・アジャストメント・インフォメーションの構造例における主要な情報の内容を示す図である。エンコーダの構成例を示すブロック図である。エンコーダの処理フローの一例を示す図である。ＰＥＳエクステンション・フィールド・データの構造例を示す図である。ＰＥＳエクステンション・フィールド・データの構造例における主要な情報の内容を示す図である。テンポラル・エクステンション・デスクリプタの構造例を示す図である。テンポラル・エクステンション・デスクリプタの構造例における主要な情報の内容を示す図である。ＨＥＶＣデスクリプタの構造例を示す図である。マルチプレクサの構成例を示すブロック図である。マルチプレクサの処理フローの一例を示す図である。２ストリーム配信におけるトランスポートストリームＴＳの構成例を示す図である。１ストリーム配信におけるトランスポートストリームＴＳの構成例を示す図である。受信装置の構成例を示すブロック図である。ビデオストリームに「第１の符号化」が施されている場合における、デマルチプレクサ（システム解析部）の機能構成の一例を示す図である。ビデオストリームに「第２の符号化」が施されている場合における、デマルチプレクサ（システム解析部）の機能構成の一例を示す図である。デマルチプレクサの処理フローの一例を示す図である。デコーダの構成例を示すブロック図である。ポスト処理部の構成例を示す図である。デコーダ、ポスト処理部の処理フローの一例を示す図である。エンコーダで行われる階層符号化の他の一例を示す図である。「第１の符号化」が施される場合の、所定階層以下の階層（低階層）の各ピクチャの符号化画像データにそれぞれ対応して挿入される第１のタイプの補正情報Ｓ（ｉ）を示す図である。「第２の符号化」が施される場合の、所定階層以下の階層（低階層）の各ピクチャの符号化画像データにそれぞれ対応して挿入される第２のタイプの補正情報Ｓ（ｉ）を示す図である。

以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例

＜１．実施の形態＞
［送受信システム］
図１は、実施の形態としての送受信システム１０の構成例を示している。この送受信システム１０は、送信装置１００と、受信装置２００とを有する構成となっている。

送信装置１００は、コンテナとしてのトランスポートストリームＴＳを放送波に載せて送信する。このトランスポートストリームＴＳには、動画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化されることで得られた各ピクチャの符号化画像データを持つビデオストリームが含まれる。この場合、例えば、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの符号化が施され、被参照ピクチャが自己階層および／または自己階層よりも低い階層に所属するように符号化される。

ここで、トランスポートストリームＴＳには、単数あるいは複数のビデオストリームが含まれる。複数のビデオストリームが含まれる場合、複数の階層が２以上の所定数の階層組に分割され、分割された各階層組のピクチャの符号化画像データを持つ所定数のビデオストリームが生成される。この場合、例えば、複数の階層を所定数の階層組に分割する際、最下位の階層組に複数の階層を含み、この最下位の階層組より上位に位置する階層組には１つの階層を含むようにされる。このような分割により、受信側では、例えば、最下位の階層組に含まる複数の階層のピクチャの符号化画像データを処理可能なデコード能力がある場合、この最下位の階層組のピクチャの符号化画像データを持つビデオストリームだけを選択してバッファに取り込んでデコード処理を行うことが可能となる。

各階層のピクチャの符号化画像データに、ピクチャ毎に、所属階層を識別するための階層識別情報が付加される。この実施の形態においては、各ピクチャのＮＡＬユニット（nal_unit）のヘッダ部分に、階層識別情報（temporal_id）を意味する“nuh_temporal_id_plus1”）が配置される。このように階層識別情報が付加されることで、受信側では、ＮＡＬユニットのレイヤにおいて各ピクチャの階層識別が可能となり、所定階層以下の階層の符号化画像データを選択的に取り出してデコード処理を行うことができる。

この実施の形態において、所定階層以下の階層の各ピクチャの符号化画像データのそれぞれに対応して、この符号化画像データと、この符号化画像データをコンテナするＰＥＳパケットに、デコード時刻を補正するための時刻補正情報が挿入される。この時刻補正情報により、受信側では、所定階層以下の階層の各ピクチャの符号化画像データのデコード時刻を補正でき、受信側がハイフレームレートに非対応、対応のいずれであっても良好に再生可能となる。なお、この時刻補正情報を、符号化画像データにのみ、あるいはＰＥＳパケットにのみ挿入することも考えられる。

この時刻補正情報には、第１のタイプと、第２のタイプがある。第１のタイプの時刻補正情報は、動画像データを構成する各ピクチャの符号化画像データのデコード間隔が等間隔となるように符号化される場合に、適用される。この場合、所定階層以下の階層の各ピクチャの符号化画像データと、この所定階層より上の階層の各ピクチャの符号化画像データは、互いに異なるビデオストリームに含まれていてもよく、あるいは、同一のビデオストリームに含まれていてもよい。つまり、この場合には、複数のビデオストリーム構成だけでなく、単一のビデオストリーム構成でも可能である。この第１のタイプの時刻補正情報は、所定階層以下の階層の各ピクチャの符号化画像データのデコード間隔が等間隔となるようにデコード時刻を補正するための情報である。

第２のタイプの時刻補正情報は、所定階層より上の階層の各ピクチャの符号化画像データのデコードタイミングが、動画像データを構成する各ピクチャの符号化画像データのデコード間隔が等間隔とされる場合と同じデコードタイミングとなり、所定階層以下の階層の各ピクチャの符号化画像データのデコード間隔が等間隔となるように符号化される場合に、適用される。この場合、所定階層以下の階層の各ピクチャの符号化画像データと、この所定階層より上の階層の各ピクチャの符号化画像データは、互いに異なるビデオストリームに含まれている必要がある。つまり、この場合は、複数のビデオストリーム構成でのみ可能である。この第１のタイプの時刻補正情報は、所定階層以下の階層の各ピクチャの符号化画像データのデコードタイミングが、動画像データを構成する各ピクチャの符号化画像データが等間隔とされる場合のデコードタイミングと同じくなるようにデコード時刻を補正するための情報である。

この実施の形態において、上述の時刻補正情報には、その時刻補正情報が、第１のタイプであるか第２のタイプであるかを識別するタイプ識別情報が付加される。この識別情報により、受信側では、時刻補正情報のタイプが第１のタイプであるか第２のタイプであるかを正確に把握可能となり、所定階層以下の階層の各ピクチャの符号化画像データのデコード時刻の補正を適切に行うことが可能となる。なお、このタイプ識別情報の付加は、時刻補正情報のタイプが何らかの別の手段で与えられる場合には、必ずしも必要なものではない。

また、この実施の形態において、トランスポートストリームＴＳのレイヤに、符号化画像データやＰＥＳパケットに、上述の時刻補正情報が挿入されているか否かを識別するための識別情報が挿入される。この構成情報は、例えば、プログラムマップテーブルの配下にビデオストリームにそれぞれ対応して配置されたビデオエレメンタリストリームループの中にデスクリプタとして挿入される。この識別情報により、受信側では、符号化画像データをデコード処理することなく、符号化画像データやＰＥＳパケットに時刻補正情報が付加されているか否かを容易に識別可能となる。

受信装置２００は、送信装置１００から放送波に載せて送られてくる上述のトランスポートストリームＴＳを受信する。受信装置２００は、このトランスポートストリームＴＳに含まれるビデオストリームからデコード能力に応じて選択された所定階層以下の階層のピクチャの符号化画像データを選択的にデコードし、デコードされて得られた各ピクチャの画像データをバッファ（非圧縮データバッファ）に取り込む。そして、受信装置２００は、このバッファから各ピクチャの画像データを所定のタイミングで読み出して出力し、画像再生を行う。

上述したように、所定階層以下の階層の各ピクチャの符号化画像データのそれぞれに対応して、この符号化画像データと、この符号化画像データをコンテナするＰＥＳパケットに、デコード時刻を補正するための時刻補正情報が挿入されている。この時刻補正情報により、所定階層以下の階層の各ピクチャの符号化画像データのみをデコードするか全ての階層の各ピクチャの符号化画像データをデコードするかに応じて、この時刻補正情報が用いられ、所定階層以下の階層の各ピクチャの符号化画像データのデコード時刻が補正される。そのため、受信側がハイフレームレートに非対応、対応のいずれであっても良好に再生可能となる。

上述したように、時刻補正情報にはタイプ情報が付加されている。そのため、時刻補正情報のタイプが第１のタイプであるか第２のタイプであるかが正確に把握され、所定階層以下の階層の各ピクチャの符号化画像データのデコード時刻の補正が適切に行われる。すなわち、第１のタイプであるときは、所定階層以下の階層の各ピクチャの符号化画像データのみをデコードする際に、時刻補正情報を用いて所定階層以下の階層の各ピクチャの符号化画像データのデコード時刻の補正が行われ、所定階層以下の階層の各ピクチャの符号化画像データのデコード間隔が等間隔とされる。また、例えば、第２のタイプであるときは、全ての階層の各ピクチャの符号化画像データをデコードする際に、時刻補正情報を用いて所定階層以下の階層の各ピクチャの符号化画像データのデコード時刻の補正が行われ、全ての階層の各ピクチャの符号化画像データのデコード間隔が等間隔とされる。

「送信装置の構成」
図２は、送信装置１００の構成例を示している。この送信装置１００は、ＣＰＵ（Central Processing Unit）１０１と、エンコーダ１０２と、圧縮データバッファ（ｃｐｂ：coded picture buffer）１０３と、マルチプレクサ１０４と、送信部１０５を有している。ＣＰＵ１０１は、制御部であり、送信装置１００の各部の動作を制御する。

エンコーダ１０２は、非圧縮の動画像データを入力して、階層符号化を行う。エンコーダ１０２は、この動画像データを構成する各ピクチャの画像データを複数の階層に分類する。そして、エンコーダ１０２は、この分類された各階層のピクチャの画像データを符号化し、各階層のピクチャの符号化画像データを持つビデオストリームを生成する。エンコーダ１０２は、例えば、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの符号化を行う。この際、エンコーダ１０２は、参照するピクチャ（被参照ピクチャ）が、自己階層および／または自己階層よりも下位の階層に所属するように、符号化する。

図３は、エンコーダ１０２で行われる階層符号化の一例を示している。この例は、０から３までの４階層に分類され、各階層のピクチャの画像データに対して符号化が施された例である。縦軸は階層を示している。階層０から３のピクチャの符号化画像データを構成するＮＡＬユニット（nal_unit）のヘッダ部分に配置されるtemporal_id（階層識別情報）として、それぞれ、０から３が設定される。一方、横軸は表示順（ＰＯＣ：picture order of composition）を示し、左側は表示時刻が前で、右側は表示時刻が後になる。

図４（ａ）は、ＮＡＬユニットヘッダの構造例（Syntax）を示し、図４（ｂ）は、その構造例における主要なパラメータの内容（Semantics）を示している。「Forbidden_zero_bit」の１ビットフィールドは、０が必須である。「Nal_unit_type」の６ビットフィールドは、ＮＡＬユニットタイプを示す。「Nuh_layer_id」の６ビットフィールドは、本記載中は０を前提とする。「Nuh_temporal_id_plus1」の３ビットフィールドは、temporal_idを示し、１を加えた値（１〜７）をとる。

図３に戻って、矩形枠のそれぞれがピクチャを示し、数字は、符号化されているピクチャの順、つまりエンコード順（受信側ではデコード順）を示している。図３の例の場合、「２」から「９」の８個のピクチャによりサブ・ピクチャグループ（Sub group of pictures）が構成されており、「２」はそのサブ・ピクチャグループの先頭のピクチャとなる。「１」は前のサブ・ピクチャグループのピクチャである。このサブ・ピクチャグループがいくつか集まってＧＯＰ（Group Of Pictures）となる。

ＧＯＰの先頭ピクチャの符号化画像データは、図５に示すように、ＡＵＤ、ＶＰＳ、ＳＰＳ、ＰＰＳ、ＰＳＥＩ、ＳＬＩＣＥ、ＳＳＥＩ、ＥＯＳのＮＡＬユニットにより構成される。一方、ＧＯＰの先頭ピクチャ以外のピクチャは、ＡＵＤ、ＰＰＳ、ＰＳＥＩ、ＳＬＩＣＥ、ＳＳＥＩ、ＥＯＳのＮＡＬユニットにより構成される。ＶＰＳはＳＰＳと共に、シーケンス（ＧＯＰ）に一度、ＰＰＳは毎ピクチャで伝送可能とされている。

図３に戻って、実線矢印は、符号化におけるピクチャの参照関係を示している。例えば、「２」のピクチャは、Ｐピクチャであり、「１」のピクチャを参照して符号化される。また、「３」のピクチャは、Ｂピクチャであり、「１」、「２」のピクチャを参照して符号化される。同様に、その他のピクチャは、表示順で近くのピクチャを参照して符号化される。なお、最上位の階層のピクチャは、他のピクチャからの参照がない。

エンコーダ１０２は、単数あるいは複数のビデオストリームを生成する。単数のビデオストリームを生成する場合、エンコーダ１０２は、この単数のビデオストリームに、全ての階層の各ピクチャの符号化画像データを含める。一方、複数のビデオストリームを生成する場合、エンコーダ１０２は、複数の階層を２以上の所定数の階層組に分割し、各階層組のピクチャの符号化画像データをそれぞれ持つ所定数のビデオストリームを生成する。

例えば、図３の階層符号化の例において、エンコーダ１０２は、破線で区切るように、階層０から２を最下位の階層組とし、階層３をその上位に位置する階層組として、２つの階層組に分割する。この場合、エンコーダ１０２は、各階層組のピクチャの符号化画像データをそれぞれ持つ２つのビデオストリーム（符号化ストリーム）を生成する。例えば、図３の階層符号化の例において、全ての階層、つまり階層０から３の各ピクチャによるフレームレートは１２０Ｈｚであり、階層０から２の各ピクチャによるフレームレートは６０Ｈｚである。

この場合、最下位の階層組のピクチャの符号化画像データを持つビデオストリームはベースストリームとされ、そのストリームタイプは“０ｘ２４”とされる。また、この最下位の階層組より上位に位置する階層組のピクチャの符号化画像データを含むビデオストリームはエンハンスストリームとされ、そのストリームタイプは、新規定義する“０ｘ２５”とされる。

なお、エンハンスストリームが複数存在する場合、全てのエンハンスストリームのストリームタイプを“０ｘ２５”とするのではなく、各エンハンスストリームの識別が可能となるように、ストリームタイプを新規定義することも考えられる。例えば、エンハンスストリームが２つある場合、第１のエンハンスストリームのストリームタイプは“０ｘ２５”とされ、第２のエンハンスストリームのストリームタイプは“０ｘ２６”とされる。

このストリームタイプは、所定数のビデオストリームのそれぞれが、ベースストリームであるかエンハンスストリームであるかを識別するための識別情報を構成する。このストリームタイプは、トランスポートストリームＴＳのレイヤに挿入される。すなわち、このストリームタイプは、プログラムマップテーブル（ＰＭＴ：Program Map Table）の配下に所定数のビデオストリームにそれぞれ対応して配置されたビデオエレメンタリストリームループ（Video ES loop）の中に挿入される。

エンコーダ１０２は、各ピクチャの符号化画像データのデコードタイミングに関係して、「第１の符号化」あるいは「第２の符号化」を行う。以下、それぞれの符号化について説明する。

「第１の符号化」
エンコーダ１０２は、「第１の符号化」では、動画像データを構成する各ピクチャ、つまり全ての階層の各ピクチャの符号化画像データのデコード間隔が等間隔となるように符号化する。そして、この場合、エンコーダ１０２は、ＨＦＲ非対応の従来の受信機で再生可能な所定階層以下の階層の各ピクチャの符号化画像データのそれぞれに対応して、デコード時刻を補正するための時刻補正情報を挿入する。

この時刻補正情報は、第１のタイプの時刻補正情報であり、この所定階層以下の階層の各ピクチャの符号化画像データのデコード間隔が等間隔となるようにデコード時刻を補正するための情報である。この「第１の符号化」は、エンコーダ１０２が、単数のビデオストリームを生成する場合にも、複数のビデオストリームを生成する場合のいずれにも適用可能である。

図６は、図３の階層符号化の例において、ベースストリーム（Stream_0）と、エンハンスストリーム（Stream_1）の２つのビデオストリームを生成する場合における、各ピクチャのデコードタイミングの一例を示している。ここで、ベースストリーム（Stream_0）には、所定階層以下の階層、ここでは階層０から２の各ピクチャの符号化画像データが含まれている。また、エンハンスストリーム（Stream_1）には、所定階層の上の階層、ここでは階層３の各ピクチャの符号化画像データが含まれている。

この場合、図示のように、全ての階層の各ピクチャの符号化画像データのデコード間隔が等間隔となるように符号化されている。そして、ベースストリーム（Stream_0）に含まれる階層０から２の各ピクチャの符号化画像データのそれぞれに対応して、デコード時刻を補正するための時刻補正情報Ｓ（ｉ）が挿入されている。ここで、「ｉ」は、１/１２０秒単位のデコード時刻の補正値を示している。この時刻補正情報Ｓ（ｉ）は、例えば、新規定義するタイミング・アジャストメントＳＥＩ（Timing_adjustment SEI）に挿入される。

この場合、受信側では、例えば、ＨＦＲ非対応の６０Ｐデコーダ（ＨＦＲ対応の１２０Ｐデコーダで６０Ｐモードの場合も含む）で表示する場合、ベースストリーム（Stream_0）に含まれる階層０から２の各ピクチャの符号化画像データが選択的にバッファに取り込まれ、時刻補正情報Ｓ（ｉ）により等間隔（１/６０秒）となるように補正されたデコード間隔（破線枠のアクセスユニット（ＡＵ）参照）で順次デコードされる。

また、この場合、受信側では、例えば、ＨＦＲ対応の１２０Ｐデコーダで表示する場合、ベースストリーム（Stream_0）に含まれる階層０から２の各ピクチャと、エンハンスストリーム（Stream_1）に含まれる階層３の各ピクチャとがデコード順で１つのストリームに結合されてバッファに取り込まれ、等間隔（１/１２０秒）のデコード間隔で順次デコードされる。

図７は、図３の階層符号化の例において、ベースストリーム（Stream_0）の１つのビデオストリームを生成する場合における、各ピクチャのデコードタイミングの一例を示している。ここで、ベースストリーム（Stream_0）には、全ての階層、ここでは階層０から３の各ピクチャの符号化画像データが含まれている。

この場合、図示のように、全ての階層の各ピクチャの符号化画像データのデコード間隔が等間隔となるように符号化されている。そして、図６の例と同様に、ベースストリーム（Stream_0）に含まれる階層０から２の各ピクチャの符号化画像データのそれぞれに対応して、デコード時刻を補正するための時刻補正情報Ｓ（ｉ）が挿入されている。

この場合、受信側では、例えば、ＨＦＲ非対応の６０Ｐデコーダ（ＨＦＲ対応の１２０Ｐデコーダで６０Ｐモードの場合も含む）で表示する場合、ベースストリーム（Stream_0）に含まれる階層０から３のうち、階層０から２の各ピクチャの符号化画像データが選択的にバッファに取り込まれ、時刻補正情報Ｓ（ｉ）により等間隔（１/６０秒）となるように補正されたデコード間隔（破線枠のアクセスユニット（ＡＵ）参照）で順次デコードされる。

また、この場合、受信側では、例えば、ＨＦＲ対応の１２０Ｐデコーダで表示する場合、ベースストリーム（Stream_0）に含まれる階層０から３の各ピクチャがバッファに取り込まれ、等間隔（１/１２０秒）のデコード間隔で順次デコードされる。

図８は、図３の階層符号化の例において、「第１の符号化」が施される場合の、所定階層以下の階層（低階層）の各ピクチャの符号化画像データにそれぞれ対応して挿入される補正情報Ｓ（ｉ）を示している。

フル時間解像度の階層０から３のうち、６０ｐデコード向けに、１/２時間解像度部分である階層０から２の各ピクチャの符号化画像データのそれぞれに対応して時刻補正情報Ｓ（ｉ）が挿入される。この場合、「２」のアクセスユニット（ピクチャ）に対する補正値ｉは“０”とされ、「３」のアクセスユニット（ピクチャ）に対する補正値ｉは“１”とされ、「４」のアクセスユニット（ピクチャ）に対する補正値ｉは“２”とされ、さらに「７」のアクセスユニット（ピクチャ）に対する補正値ｉは“１”とされる。以降の各ｓｕｂＧＯＰ（Group Of Pictures）では、同様の繰り返しとなる。

そして、受信側では、６０ｐデコーダでの表示にあっては、１/２時間解像度部分である階層０から２の各ピクチャの符号化画像データがバッファに取り込まれてデコードされる。その際に、破線枠のアクセスユニット（ＡＵ）で示すように、各ピクチャの符号化画像データのデコード時刻が、時刻補正情報Ｓ（ｉ）に基づいて、等間隔（１/６０秒）となるように補正される。また、受信側では、１２０ｐデコーダでの表示にあっては、フル時間解像度の０から３の各ピクチャの符号化画像データがバッファに取り込まれて、当初のデコード時刻により等間隔（１/１２０秒）でデコードされる。

「第２の符号化」
エンコーダ１０２は、「第２の符号化」では、ＨＦＲ非対応の従来の受信機で再生可能な所定階層以下の階層の各ピクチャの符号化画像データのデコード間隔が等間隔となるように符号化する。また、エンコーダ１０２は、「第２の符号化」では、この所定階層の上の階層の各ピクチャの符号化画像データのデコードタイミングが、動画像データを構成する各ピクチャ、つまり全ての階層の各ピクチャの符号化画像データのデコード間隔が等間隔となるように符号化される場合と同じタイミングとなるように符号化する。

そして、この場合、「第１の符号化」と同様に、エンコーダ１０２は、ＨＦＲ非対応の従来の受信機で再生可能な所定階層以下の階層の各ピクチャの符号化画像データのそれぞれに対応して、デコード時刻を補正するための時刻補正情報を挿入する。この時刻補正情報は、第２のタイプの時刻補正情報であり、この所定階層以下の階層の各ピクチャの符号化画像データのデコードタイミングが、動画像データを構成する各ピクチャ、つまり全ての階層の各ピクチャの符号化画像データのデコード間隔が等間隔とされる場合のデコードタイミングと同じくなるようにデコード時刻を補正するための情報である。この「第２の符号化」は、エンコーダ１０２が、複数のビデオストリームを生成する場合にのみ適用可能である。

図９は、図３の階層符号化の例において、ベースストリーム（Stream_0）と、エンハンスストリーム（Stream_1）の２つのビデオストリームを生成する場合における、各ピクチャのデコードタイミングの一例を示している。ここで、ベースストリーム（Stream_0）には、所定階層以下の階層、ここでは階層０から２の各ピクチャの符号化画像データが含まれている。また、エンハンスストリーム（Stream_1）には、所定階層の上の階層、ここでは階層３の各ピクチャの符号化画像データが含まれている。

この場合、図示のように、ベースストリーム（Stream_0）に含まれる階層０から２の各ピクチャの符号化画像データのデコード間隔が等間隔となるように符号化されている。一方、エンハンスストリーム（Stream_1）に含まれる階層３の各ピクチャの符号化画像データのデコードタイミングが、動画像データを構成する各ピクチャ、つまり全ての階層の各ピクチャの符号化画像データのデコード間隔が等間隔となるように符号化されている。

そして、ベースストリーム（Stream_0）に含まれる階層０から２の各ピクチャの符号化画像データのそれぞれに対応して、デコード時刻を補正するための時刻補正情報Ｓ（ｉ）が挿入されている。ここで、「ｉ」は、１/１２０秒単位のデコード時刻の補正値（補正フレーム数）を示している。この時刻補正情報Ｓ（ｉ）は、例えば、新規定義するタイミング・アジャストメントＳＥＩ（Timing_adjustment SEI）に挿入される。

この場合、受信側では、例えば、ＨＦＲ非対応の６０Ｐデコーダ（ＨＦＲ対応の１２０Ｐデコーダで６０Ｐモードの場合も含む）で表示する場合、ベースストリーム（Stream_0）に含まれる階層０から２の各ピクチャの符号化画像データが選択的にバッファに取り込まれ、等間隔（１/６０秒）のデコード間隔で順次デコードされる。

また、この場合、受信側では、例えば、ＨＦＲ対応の１２０Ｐデコーダで表示する場合、エンハンスストリーム（Stream_1）に含まれる階層３の各ピクチャの符号化画像データと、時刻補正情報Ｓ（ｉ）により、全ての階層の各ピクチャの符号化画像データのデコード間隔が等間隔となるように符号化される場合と同じタイミングとなるように補正された（破線枠のアクセスユニット（ＡＵ）参照）ベースストリーム（Stream_0）に含まれる階層０から２の各ピクチャの符号化画像データがデコード順で１つのストリームに結合されてバッファに取り込まれ、等間隔（１/１２０秒）のデコード間隔で順次デコードされる。

図１０は、図３の階層符号化の例において、「第２の符号化」が施される場合の、所定階層以下の階層（低階層）の各ピクチャの符号化画像データにそれぞれ対応して挿入される補正情報Ｓ（ｉ）を示している。

時間解像度の階層０から３のうち、１/２時間解像度部分である階層０から２の各ピクチャの符号化画像データのそれぞれに対応して時刻補正情報Ｓ（ｉ）が挿入される。この場合、「２」のアクセスユニット（ピクチャ）に対する補正値ｉは“０”とされ、「３」のアクセスユニット（ピクチャ）に対する補正値ｉは“−１”とされ、「４」のアクセスユニット（ピクチャ）に対する補正値ｉは“−２”とされ、さらに「７」のアクセスユニット（ピクチャ）に対する補正値ｉは“−１”とされる。以降の各ｓｕｂＧＯＰ（Group Of Pictures）では、同様の繰り返しとなる。

そして、受信側では、６０ｐデコーダでの表示にあっては、１/２時間解像度部分である階層０から２の各ピクチャの符号化画像データがバッファに取り込まれて、当初のデコード時刻により等間隔（１/６０秒）でデコードされる。また、受信側では、１２０ｐデコーダでの表示にあっては、フル時間解像度の０から３の各ピクチャの符号化画像データがバッファに取り込まれてデコードされる。その際に、破線枠のアクセスユニット（ＡＵ）で示すように、階層０から２の各ピクチャの符号化画像データのデコード時刻が、全ての階層の各ピクチャの符号化画像データのデコード間隔が等間隔（１/１２０秒）となるように符号化される場合と同じタイミングとなるように補正される。

エンコーダ１０２は、上述したように、時刻補正情報を含む、新たに定義する、タイミング・アジャストメントＳＥＩ（Timing_adjustment SEI）を、プリフィックスＳＥＩ（Prefix_SEI）の一つとして挿入する。

図１１（ａ）は、タイミング・アジャストメントＳＥＩを挿入するためのインタフェース（I/F）の構造例(Syntax)を示している。「uuid_iso_iec_11578」のフィールドは、“ISO/IEC 11578:1996 Annex A.”で示されるＵＵＩＤ値を持つ。「user_data_payload_byte」のフィールドに、「Timing_adjustment information()」が挿入される。

図１１（ｂ）は、「Timing_adjustment information()」の構造例(Syntax)を示している。図１２は、その構造例における主要な情報の内容（Semantics）を示している。「userdata_id」の１６ビットフィールドには、所定のユーザデータのＩＤを付す。「Timing_adjustment information_length」の８ビットフィールドは、“Timing_adjustment information”のバイト数（本要素の次の要素からカウント）を示す。

「adjustment_type」の２ビットフィールドは、時刻補正情報のタイプ、従って、デコード時刻の補正のタイプを示す。“０１”は、第１のタイプを示す。この場合、例えば、エンコードは１２０ｐ単位で、受信側での補正は、ハイレート（High rate）の１２０ｐから、ローレート（Low rate）の６０ｐの時間間隔へ補正することを示す。“１０”は、第２のタイプを示す。この場合、例えば、エンコードは６０ｐ単位で、受信側での補正は、ローレート（Low rate）の６０ｐから、ハイレート（High rate）の１２０ｐの時間間隔へ補正することを示す。

「au_cpb_removal_delay_offset」の２４ビットフィールドは、時刻補正情報を示す。この時刻補正情報は、対象アクセスユニット（ＡＵ）の「cpb_removal_delay」との差分値(９０ＫＨｚ精度）である。「num_units_in_tick」で該当するスライス（slice）あるいはピクチャの表示期間を示すクロックベースが示され、「time_scale」で示される時間情報のスケーリング値によって、例えば１２０Ｈｚのフレーム間隔であることがわかり、この単位でのデコード時刻の補正フレーム数（符号付き）が９０ＫＨｚ精度で表現されたものとなる。

図１３は、エンコーダ１０２の構成例を示している。このエンコーダ１０２は、テンポラルＩＤ発生部１２１と、バッファ遅延制御部１２２と、ＨＲＤ（Hypothetical Reference Decoder）設定部１２３と、パラメータセット/ＳＥＩエンコード部１２４と、スライスエンコード部１２５と、ＮＡＬパケット化部１２６を有している。

テンポラルＩＤ発生部１２１には、ＣＰＵ１０１から、階層数（Number of layers）の情報が供給される。テンポラルＩＤ発生部１２１は、この階層数の情報に基づいて、階層数に応じた“temporal_id”を発生する。例えば、図３の階層符号例においては、”temporal_id”＝０〜３が発生される。

バッファ遅延制御部１２２には、ＣＰＵ１０１から、ミニマムデコード能力（Target minimum decoder capability）の情報が供給されると共に、テンポラルＩＤ発生部１２１で発生されるtemporal_idが供給される。バッファ遅延制御部１２２は、ビデオストリーム毎に、ｃｐｂバッファリング（buffering）初期値である、“initial_cpb_removal_delay ”と、ピクチャ毎の「cpb_removal_delay」、「dpb_output_delay」を計算する。

バッファ遅延制御部１２２は、サブストリーム（Sub-stream）毎のｃｐｂバッファにおいて、「cpb_removal_delay」を制御する。バッファ遅延制御部１２２は、ｄｐｂバッファにおいて、デコーダのデコードタイミングと表示タイミングの間でバッファ破綻がないよう制御する。

この場合、「第１の符号化」においては、動画像データを構成する各ピクチャ、つまり全ての階層の各ピクチャの符号化画像データのデコード間隔が等間隔となるように、「cpb_removal_delay」を制御する。また、「第２の符号化」においては、ＨＦＲ非対応の従来の受信機で再生可能な所定階層以下の階層の各ピクチャの符号化画像データのデコード間隔が等間隔となり、かつ、この所定階層の上の階層の各ピクチャの符号化画像データのデコードタイミングが、動画像データを構成する各ピクチャ、つまり全ての階層の各ピクチャの符号化画像データのデコード間隔が等間隔となるように符号化される場合と同じタイミングとなるように、「cpb_removal_delay」を制御する。

ＨＲＤ（Hypothetical Reference Decoder）設定部１２３には、バッファ遅延制御部１２２で計算された各ビデオストリームのピクチャの「cpb_removal_delay」、「dpb_output_delay」が供給されると共に、ＣＰＵ１０１からストリーム数（Number of streams）の情報が供給される。ＨＲＤ設定部１２３は、これらの情報に基づいてＨＲＤ設定を行う。

パラメータセット/ＳＥＩエンコード部１２４には、ＨＲＤ設定情報が供給される。パラメータセット/ＳＥＩエンコード部１２４は、符号化するストリーム数に応じて、各階層のピクチャのＶＰＳ、ＳＰＳ、ＰＰＳなどのパラメータセットと、各種のＳＥＩを生成する。

例えば、上述のタイミング・アジャストメントＳＥＩ（Timing_adjustment SEI）が生成される。また、例えば、「cpb_removal_delay」と「dpb_output_delay」を含むピクチャ・タイミング・ＳＥＩ（Picture timing SEI）が生成される。また、例えば、「initial_cpb_removal_time」を含むバッファリング・ピリオド・ＳＥＩ（Buffereing Perifod SEI）が生成される。バッファリング・ピリオド・ＳＥＩは、ＧＯＰの先頭のピクチャ（アクセスユニット）に対応して生成される。

「initial cpb removal time」は、圧縮データバッファ（ｃｐｂ）からＧＯＰ（Group Of Picture）の先頭のピクチャの符号化画像データをデコードする際に取り出す時刻（初期時刻）を示す。「cpb_removal_delay」は、各ピクチャの符号化画像データを圧縮データバッファ（ｃｐｂ）から取り出す時間であり、「initial_cpb_removal_time」と合わせて時刻が決まる。また、「dpb_output_delay」は、デコードして非圧縮データバッファ（ｄｐｂ）に入ってから取り出す時間を示す。

スライスエンコード部１２５は、各階層のピクチャの画像データをエンコードしてスライスデータ（slice segment header, slice segment data）を得る。スライスエンコード部１２５は、フレームバッファにより、時間方向の予測の状態を表す情報として、「Prediction Unit」の予測先ピクチャのインデックスを示す「ref_idx_l0_active(ref_idx_l1_active)を、「slice segment header」に挿入する。これにより、デコード時には、temporal_idで示される階層レベルと共に、被参照ピクチャが決定される。また、スライスエンコード部１２５は、現在のスライス（slice）のインデックスを、「short_term_ref_pic_set_idx」、あるいは「it_idx_sps」として、「slice segment header」に挿入する。

ＮＡＬパケット化部１２６は、パラメータセット/ＳＥＩエンコード部１２４で生成されたパラメータセットおよびＳＥＩと、スライスエンコード部１２５で生成されるスライスデータに基づき、各階層のピクチャの符号化画像データを生成し、ストリーム数に応じた数のビデオストリーム（符号化ストリーム）を出力する。

その際、ピクチャ毎に、その階層を示す“temporal_id”がＮＡＬユニットヘッダに付される（図４参照）。また、“temporal_id”で示される階層に属するピクチャは、サブレイヤ（sub_layer）として括られ、サブレイヤごとのビットレートのレベル指定値「Level_idc」が「sublayer_level_idc」とされて、ＶＰＳやＳＰＳに挿入される。

図１４は、エンコーダ１０２の処理フローの一例を示している。エンコーダ１０２は、ステップＳＴ１において、処理を開始し、その後に、ステップＳＴ２の処理に移る。このステップＳＴ２において、エンコーダ１０２は、符号化する動画シーケンス（動画像データ）のフレーム周波数ＦＲをチェックする。

次に、エンコーダ１０２は、ステップＳＴ３において、低周波数ＬＦ（ＬＦ＜ＬＲ）のデコーダ（非ＨＦＲ対応の受信機）向けに互換性をもつエンコードを行うか否かを判断する。つまり、上述の「第２の符号化」を行うか否かを判断する。このエンコードを行う場合、エンコーダ１０２は、ステップＳＴ４の処理に進む。

このステップＳＴ４において、エンコーダ１０２は、フレーム周波数ＦＲの動画シーケンスを階層的に符号化し、低周波数ＬＦに対応する階層が下位のピクチャ（picture）の「cpb_removal_delay」を、一定時間間隔となるようにエンコードする。

次に、エンコーダ１０２は、ステップＳＴ５において、フレーム周波数ＦＲの時間間隔でエンコードする場合の「cpb_removal_delay」との差分時間「au_cpb_removal_delay_offset」を時刻補正情報として、補正タイプ「adjustment_type」と共に、ＳＥＩに符号化する。エンコーダ１０２は、ステップＳＴ５の処理の後、ステップＳＴ６において、処理を終了する。

また、ステップＳＴ３で低周波数ＬＦのデコーダ向けに互換性をもつエンコードを行わない場合、エンコーダ１０２は、ステップＳＴ７の処理に進む。このステップＳＴ７において、エンコーダ１０２は、低周波数ＬＦ（ＬＦ＜ＬＲ）のデコーダ（非ＨＦＲ対応の受信機）が補正するための時刻補正情報を符号化するか否かを判断する。つまり、上述の「第１の符号化」を行うか否かを判断する。

時刻補正情報を符号化するとき、エンコーダ１０２は、ステップＳＴ８の処理に進む。このステップＳＴ８において、エンコーダ１０２は、フレーム周波数ＦＲの動画シーケンスを階層的に符号化し、フレーム周波数ＦＲの時間間隔で「cpb_removal_delay」を決定し、エンコードする。

次に、エンコーダ１０２は、ステップＳＴ９において、低周波数ＬＦの時間間隔でエンコードする場合の「cpb_removal_delay」との差分時間「au_cpb_removal_delay_offset」を時刻補正情報として、補正タイプ「adjustment_type」と共に、ＳＥＩに符号化する。エンコーダ１０２は、ステップＳＴ９の処理の後、ステップＳＴ６において、処理を終了する。

また、ステップＳＴ７で低周波数ＬＦのデコーダが補正するための時刻補正情報を符号化しないとき、エンコーダ１０２は、ステップＳＴ１０の処理に進む。このステップＳＴ１０において、エンコーダ１０２は、フレーム周波数ＦＲの動画シーケンスを階層的に符号化し、フレーム周波数ＦＲの時間間隔で「cpb_removal_delay」を決定し、エンコードする。エンコーダ１０２は、ステップＳＴ１０の処理の後、ステップＳＴ６において、処理を終了する。

図２に戻って、圧縮データバッファ(ｃｐｂ)１０３は、エンコーダ１０２で生成された、各階層のピクチャの符号化データを含むビデオストリームを、一時的に蓄積する。マルチプレクサ１０４は、圧縮データバッファ１０３に蓄積されているビデオストリームを読み出し、ＰＥＳパケット化し、さらにトランスポートパケット化して多重し、多重化ストリームとしてのトランスポートストリームＴＳを得る。このトランスポートストリームＴＳには、上述したように、単数あるいは複数のビデオストリームが含まれる。

マルチプレクサ１０４は、上述のタイミング・アジャストメントＳＥＩ（Timing_adjustment SEI）が挿入されている、所定階層以下の階層の各ピクチャの符号化画像データをコンテナするパケット、例えば、ＰＥＳパケットに、デコード時刻を補正するための時刻補正情報を挿入する。この時刻補正情報は、上述したようにエンコーダ１０２で符号化画像データに挿入される時刻補正情報と同様のものである。この実施の形態においては、ＰＥＳパケットのＰＥＳエクステンション（PES extension）のフィールドに、この時刻補正情報が挿入される。

図１５は、ＰＥＳエクステンション・フィールド・データ（pes_extension_field_data）の構造例(Syntax)を示している。図１６は、その構造例における主要な情報の内容（Semantics）を示している。なお、「PES_extension field length」は、このシンタクス構造の外部で与えられるものとする。「start_sync_byte」の８ビットフィールドは、エクステンション・フィールド（extension field）の開始を表す符号値を示す。「extension_field_type」の８ビットフィールドは、エクステンションフィールドのタイプを示す。“０ｘ０３”は、デコードタイミングに関する補正情報を供給することを示す。

「offset_to_DTS」の２４ビットフィールドは、ＰＥＳヘッダ（PES header）に付すＤＴＳ（Decoding Time Stamp）、あるいはＤＴＳが無いアクセスユニット（ＡＵ）はＰＴＳ(Presentation Time Stamp)からのオフセット差分値（９０ＫＨｚ単位符号付き）を示す。

また、マルチプレクサ１０４は、トランスポートストリームＴＳのレイヤに、符号化画像データやＰＥＳエクステンションに、時刻補正情報が挿入されていることを示す識別情報を挿入する。この識別情報は、プログラムマップテーブルの配下にビデオストリームにそれぞれ対応して配置されたビデオエレメンタリストリームループの中にデスクリプタとして挿入される。

マルチプレクサ１０４は、ＨＥＶＣデスクリプタ（HEVC_descriptor）と共に、新規定義するテンポラル・エクステンション・デスクリプタ（Temporal_extension_descriptor）を挿入する。図１７は、テンポラル・コントロール・デスクリプタの構造例（Syntax）を示している。図１８は、その構造例における主要な情報の内容（Semantics）を示している。

「Temporal_extension_descriptor_tag」の８ビットフィールドは、デスクリプタタイプを示す。ここでは、テンポラル・エクステンション・デスクリプタであることを示す。「Temporal_ extension_descriptor_length」の８ビットフィールドは、デスクリプタの長さ（サイズ）を示し、デスクリプタの長さとして、以降のバイト数を示す。ここでは、１バイトを示す。

「Temporal_extension_existed」の１ビットフィールドは、符号化画像データやＰＥＳエクステンションに、時刻補正情報が挿入されているか否かを示す。“１”は、ＰＥＳエクステンションに「offset_to_DTS」が付されており、また、符号化画像データ（ビデオストリーム）にタイミング・アジャストメントＳＥＩ（Timing_adjustment SEI）が存在することを示す。“０”は、ＰＥＳエクステンションに「offset_to_DTS」が付されているとは限らないことを示し、また、符号化画像データ（ビデオストリーム）にタイミング・アジャストメントＳＥＩ（Timing_adjustment SEI）が存在することは保証されないことを示す。

図１９は、ＨＥＶＣデスクリプタ（HEVC_descriptor）の構造例（Syntax）を示している。「descriptor_tag」の８ビットフィールドは、デスクリプタタイプを示し、ここでは、ＨＥＶＣデスクリプタであることを示す。「descriptor_length」の８ビットフィールドは、デスクリプタの長さ（サイズ）を示し、デスクリプタの長さとして、以降のバイト数を示す。

「level_idc」の８ビットフィールドは、ビットレートのレベル指定値を示す。また、「temporal_layer_subset_flag = 1」であるとき、「temporal_id_min」の５ビットフィールドと、「temporal_id_max」の５ビットフィールドが存在する。「temporal_id_min」は、対応するビデオストリームに含まれる階層符号化データの最も低い階層のtemporal_idの値を示す。「temporal_id_max」は、対応するビデオストリームが持つ階層符号化データの最も高い階層のtemporal_idの値を示す。

図２０は、マルチプレクサ１０４の構成例を示している。マルチプレクサ１０４は、セクションコーディング部１４２と、ＰＥＳパケット化部１４３-1〜１４３-Nと、スイッチ部１４４と、トランスポートパケット化部１４５を有している。

ＰＥＳパケット化部１４３-1〜１４３-Nは、それぞれ、圧縮データバッファ１０３に蓄積されているビデオストリーム（Elementary Stream）１〜Ｎを読み込み、ＰＥＳパケットを生成する。ここで、ビデオストリーム１〜Ｎには、少なくとも１つのベースストリームが含まれている。Ｎが２以上である場合には、１つのベースストリームと、一つ以上のエンハンスストリームが含まれている。

この際、ＰＥＳパケット化部１４３-1〜１４３-Nは、ビデオストリーム１〜ＮのＨＲＤ情報を元にＤＴＳ（Decoding Time Stamp）、ＰＴＳ（Presentation Time Stamp）のタイムスタンプをＰＥＳヘッダに付与する。この場合、各ピクチャの「cpu_removal_delay」、「dpb_output_delay」が参照されて、ＳＴＣ（System Time Clock）時刻に同期した精度で、各々ＤＴＳ、ＰＴＳが生成され、ＰＥＳヘッダの所定位置に配置される。

また、ＰＥＳパケット化部１４３-1〜１４３-Nのうち、タイミング・アジャストメントＳＥＩ（Timing_adjustment SEI）が存在する符号化画像データを含むビデオストリームを取り扱うＰＥＳパケット化部は、このタイミング・アジャストメントＳＥＩから、時刻補正情報である「au_cpb_removal_delay_offset」と、タイプ情報である「adjustment_type」を入手する。そして、このＰＥＳパケット化部は、ＰＥＳヘッダのＰＥＳエクステンションに、時刻補正情報である「offset_to_DTS」と、タイプ情報である「adjustment_type」を付す。

スイッチ部１４４は、ＰＥＳパケット化部１４３-1〜１４３-Nで生成されたＰＥＳパケットを、パケット識別子（ＰＩＤ）に基づいて選択的に取り出し、トランスポートパケット化部１４５に送る。トランスポートパケット化部１４５は、ＰＥＳパケットをペイロードに含むＴＳパケットを生成し、トランスポートストリームＴＳを得る。

セクションコーディング部１４２は、トランスポートストリームＴＳに挿入すべき各種のセクションデータを生成する。セクションコーディング部１４２には、ＣＰＵ１０１から、階層数（Number of layers）と、ストリーム数（Number of streams）などの情報が供給される。セクションコーディング部１４２は、これら情報に基づいて、上述したＨＥＶＣデスクリプタ（HEVC_descriptor）を生成する。

また、セクションコーディング部１４２には、ＣＰＵ１０１から、ＰＥＳパケット化部１４３-1〜１４３-Nで生成されたＰＥＳパケット毎の、タイミング・アジャストメントＳＥＩ（Timing_adjustment SEI）の存在情報、あるいはＰＥＳエクステンションへの「offset_to_DTS」の挿入情報などが供給される。セクションコーディング部１４２は、これら情報に基づいて、上述したテンポラル・エクステンション・デスクリプタ（Temporal_extension_descriptor）を生成する。

セクションコーディング部１４２は、各種セクションデータを、トランスポートパケット化部１４５に送る。トランスポートパケット化部１４５は、このセクションデータを含むＴＳパケットを生成し、トランスポートストリームＴＳに挿入する。なお、この際、各ビデオストリームにそれぞれ対応して配置されたビデオエレメンタリストリームループ（Video ES loop）の中に、ストリームタイプも挿入される。この場合、ベースストリームのストリームタイプは“０ｘ２４”とされ、エンハンスストリームのストリームタイプは、例えば新規定義する“０ｘ２５”とされる。

図２１は、マルチプレクサ１０４の処理フローを示す。マルチプレクサ１０４は、ステップＳＴ１１において、処理を開始し、その後に、ステップＳＴ１２の処理に移る。このステップＳＴ１２において、マルチプレクサ１０４は、ビデオストリーム（Elementary Stream）のピクチャ・タイミング・ＳＥＩ、バッファリング・ピリオド・ＳＥＩ、タイミング・アジャストメントＳＥＩ、あるいはＨＲＤ情報からタイムスタンプを計算する。

次に、マルチプレクサ１０４は、ステップＳＴ１３において、ＰＥＳヘッダにＤＴＳ，ＰＴＳを配置すると共に、所定階層以下の階層の各ピクチャの符号化画像データにそれぞれ対応して、ＰＥＳエクステンションに時刻補正情報である「offset_to_DTS」とタイプ情報である「adjustment_type」を配置する。次に、マルチプレクサ１０４は、ステップＳＴ１４において、ＰＥＳペイロードにビデオストリーム（Elementary Stream）を挿入する。

次に、マルチプレクサ１０４は、ステップＳＴ１５において、テンポラル・エクステンション・デスクリプタ（Temporal_extension_descriptor）を、セクション領域にエンコードする。そして、マルチプレクサ１０４は、ステップＳＴ１６において、ＴＳパケットにして出力する。マルチプレクサ１０４は、このステップＳＴ１６の処理の後、ステップＳＴ１７において、処理を終了する。

図２２は、あるＨＦＲサービスを２ストリームで配信する場合のトランスポートストリームＴＳの構成例を示している。このトランスポートストリームＴＳには、ベースストリームとエンハンスストリームの２つのビデオストリームが含まれている。すなわち、この構成例では、ベースストリームのＰＥＳパケット「video PES1」が存在すると共に、エンハンスストリームのＰＥＳパケット「video PES2」が存在する。

所定階層以下の階層の各ピクチャの符号化画像データをコンテナするＰＥＳパケット「video PES1」におけるＰＥＳヘッダ（PES header）のＰＥＳエクステンションのフィールドに、上述した時刻補正情報である「offset_to_DTS」と、タイプ情報である「adjustment_type」が配置される。なお、ＰＥＳヘッダには、ＤＴＳ、ＰＴＳも配置されている。また、各ピクチャの符号化画像データには、バッファリング・ピリオドＳＥＩ、ピクチャ・タイミングＳＥＩなどが挿入される。また、ＰＥＳパケット「video PES1」でコンテナされる各ピクチャの符号化画像データには、タイミング・アジャストメントＳＥＩが挿入される。

また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）の一つとして、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。

ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・ループ（Program loop）が存在する。また、ＰＭＴには、各ビデオストリームに関連した情報を持つエレメンタリストリーム・ループが存在する。この構成例では、ベースストリームに対応したビデオエレメンタリストリームループ「video ES1 loop」が存在すると共に、エンハンスストリームに対応したビデオエレメンタリストリームループ「video ES2 loop」が存在する。

「video ES1 loop」には、ベースストリーム（video PES1）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このストリームタイプは、ベースストリームを示す“０ｘ２４”とされる。また、デスクリプタの一つとして、上述したＨＥＶＣデスクリプタ、テンポラル・エクステンション・デスクリプタが挿入される。

また、「video ES2 loop」には、エンハンスストリーム（video PES2）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このストリームタイプは、エンハンスストリームを示す、例えば新規定義する“０ｘ２５”とされる。また、デスクリプタの一つとして、上述したＨＥＶＣデスクリプタが挿入される。

図２３は、あるＨＦＲサービスを１ストリームで配信する場合のトランスポートストリームＴＳの構成例を示している。このトランスポートストリームＴＳには、ベースストリームのみが含まれている。すなわち、この構成例では、ベースストリームのＰＥＳパケット「video PES1」が存在する。

ＰＥＳパケット「video PES1」のうち、所定階層以下の階層の各ピクチャの符号化画像データをコンテナするＰＥＳパケットにおけるＰＥＳヘッダ（PES header）のＰＥＳエクステンションのフィールドに、上述した時刻補正情報である「offset_to_DTS」と、タイプ情報である「adjustment_type」が配置される。なお、ＰＥＳヘッダには、ＤＴＳ、ＰＴＳも配置されている。また、各ピクチャの符号化画像データには、バッファリング・ピリオドＳＥＩ、ピクチャ・タイミングＳＥＩなどが挿入される。また、ＰＥＳパケット「video PES1」でコンテナされる各ピクチャの符号化画像データのうち、所定階層以下の階層の各ピクチャの符号化画像データには、タイミング・アジャストメントＳＥＩが挿入される。

ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・ループ（Program loop）が存在する。また、ＰＭＴには、各ビデオストリームに関連した情報を持つエレメンタリストリーム・ループが存在する。この構成例では、ベースストリームに対応したビデオエレメンタリストリームループ「video ES1 loop」が存在する。

図２に戻って、送信部１０５は、トランスポートストリームＴＳを、例えば、ＱＰＳＫ／ＯＦＤＭ等の放送に適した変調方式で変調し、ＲＦ変調信号を送信アンテナから送信する。

図２に示す送信装置１００の動作を簡単に説明する。エンコーダ１０２には、非圧縮の動画像データが入力される。エンコーダ１０２では、この動画像データに対して、階層符号化が行われる。すなわち、エンコーダ１０２では、この動画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化され、各階層のピクチャの符号化画像データを持つビデオストリームが生成される。この際、参照するピクチャが、自己階層および／または自己階層よりも下位の階層に所属するように、符号化される。

エンコーダ１０２では、単数あるいは複数のビデオストリームが生成される。単数のビデオストリームが生成される場合、そのビデオストリームには、全ての階層の各ピクチャの符号化画像データが含められる。一方、複数のビデオストリームが生成される場合、エンコーダ１０２では、複数の階層が２以上の所定数の階層組に分割され、各階層組のピクチャの符号化画像データをそれぞれ持つ所定数のビデオストリームが生成される。

エンコーダ１０２では、各ピクチャの符号化画像データのデコードタイミングに関係して、「第１の符号化」あるいは「第２の符号化」が行われる。「第１の符号化」は、生成されるビデオストリームが単数でも複数でも適用可能である。一方、「第２の符号化」は、生成されるビデオストリームが複数でのみ適用可能である。

「第１の符号化」では、動画像データを構成する各ピクチャ、つまり全ての階層の各ピクチャの符号化画像データのデコード間隔が等間隔となるように符号化される。「第２の符号化」では、ＨＦＲ非対応の従来の受信機で再生可能な所定階層以下の階層の各ピクチャの符号化画像データのデコード間隔が等間隔となるように符号化される。また、この「第２の符号化」では、この所定階層の上の階層の各ピクチャの符号化画像データのデコードタイミングが、動画像データを構成する各ピクチャ、つまり全ての階層の各ピクチャの符号化画像データのデコード間隔が等間隔となるように符号化される場合と同じタイミングとなるように符号化される。

エンコーダ１０２では、いずれの符号化の場合であっても、ＨＦＲ非対応の従来の受信機で再生可能な所定階層以下の階層の各ピクチャの符号化画像データのそれぞれに対応して、デコード時刻を補正するための時刻補正情報が挿入される。この時刻補正情報には、「第１の符号化」に対応した第１のタイプの時刻補正情報であるか「第２の符号化」に対応した第２のタイプの時刻補正情報であるか識別するためのタイプ情報が付加される。

第１のタイプの時刻補正情報は、上述の所定階層以下の階層の各ピクチャの符号化画像データのデコード間隔が等間隔となるようにデコード時刻を補正するための情報である。一方、第２のタイプの時刻補正情報は、上述の所定階層以下の階層の各ピクチャの符号化画像データのデコードタイミングが、動画像データを構成する各ピクチャ、つまり全ての階層の各ピクチャの符号化画像データが等間隔とされる場合のデコードタイミングと同じくなるようにデコード時刻を補正するための情報である。

具体的には、エンコーダ１０２において、上述の所定階層以下の階層の各ピクチャの符号化画像データに、新規定義するタイミング・アジャストメントＳＥＩ（Timing_adjustment SEI）が挿入される。このＳＥＩには、時刻補正情報である「au_cpb_removal_delay_offset」と、タイプ情報である「adjustment_type」が含まれている（図１１（ｂ）参照）。

エンコーダ１０２で生成されたビデオストリームは、圧縮データバッファ（ｃｐｂ）１０３に供給され、一時的に蓄積される。マルチプレクサ１０４では、圧縮データバッファ１０３に蓄積されているビデオストリームが読み出され、ＰＥＳパケット化され、さらにトランスポートパケット化されて多重され、多重化ストリームとしてのトランスポートストリームＴＳが得られる。

マルチプレクサ１０４では、上述のタイミング・アジャストメントＳＥＩ（Timing_adjustment SEI）が挿入されている、所定階層以下の階層の各ピクチャの符号化画像データをコンテナするパケット、例えば、ＰＥＳパケットに、デコード時刻を補正するための時刻補正情報が挿入される。この時刻補正情報は、上述したようにエンコーダ１０２で符号化画像データに挿入される時刻補正情報と同様のものであり、タイプ情報も付加されている。具体的には、マルチプレクサ１０４において、ＰＥＳパケットのＰＥＳエクステンション（PES extension）のフィールドに、時刻補正情報である「offset_to_DTS」と、タイプ情報である「adjustment_type」を付される（図１５参照）。

また、このマルチプレクサ１０４では、トランスポートストリームＴＳのレイヤに、符号化画像データやＰＥＳエクステンションに、時刻補正情報が挿入されていることを示す識別情報が挿入される。具体的には、マルチプレクサ１０４において、プログラムマップテーブルの配下にビデオストリームに対応して配置されたビデオエレメンタリストリームループの中に、新規定義するテンポラル・エクステンション・デスクリプタ（Temporal_extension_descriptor）が挿入される（図１７参照）。

マルチプレクサ１０４で生成されるトランスポートストリームＴＳは、送信部１０５に送られる。送信部１０５では、このトランスポートストリームＴＳが、例えば、ＱＰＳＫ／ＯＦＤＭ等の放送に適した変調方式で変調され、ＲＦ変調信号が送信アンテナから送信される。

「受信装置の構成」
図２４は、受信装置２００の構成例を示している。この受信装置２００は、ＣＰＵ（Central Processing Unit）２０１と、受信部２０２と、デマルチプレクサ２０３と、圧縮データバッファ（ｃｐｂ：coded picture buffer）２０４を有している。また、この受信装置２００は、デコーダ２０５と、非圧縮データバッファ（ｄｐｂ：decoded picture buffer）２０６と、ポスト処理部２０７を有している。

ＣＰＵ２０１は、制御部を構成し、受信装置２００の各部の動作を制御する。ＣＰＵ２０１は、タイミング・コントロール・プロセッサ（ＴＣＰ：Timing Control Processer）を備えており、アクセスユニット（ピクチャ）毎に、デコードタイミング、表示タイミングを制御する。

受信部２０２は、受信アンテナで受信されたＲＦ変調信号を復調し、トランスポートストリームＴＳを取得する。デマルチプレクサ２０３は、トランスポートストリームＴＳから、デコード能力（Decoder temporal layer capability）に応じた階層の各ピクチャの符号化画像データを選択的に取り出し、圧縮データバッファ（ｃｐｂ：coded picture buffer）２０４に送る。

デマルチプレクサ２０３は、トランスポートストリームＴＳに含まれるビデオストリームに施されている「第１の符号化」あるいは「第２の符号化」に応じた処理を行う。デマルチプレクサ２０３は、例えば、テンポラル・エクステンション・デスクリプタに存在する時刻補正情報のタイプ情報から、「第１の符号化」であるか「第２の符号化」であるかを判断する。すなわち、デマルチプレクサ２０３は、時刻補正情報が第１のタイプであるときは「第１の符号化」であると判断し、時刻補正情報が第２のタイプであるときは「第２の符号化」であると判断する。

図２５は、ビデオストリームに「第１の符号化」が施されている場合における、デマルチプレクサ（システム解析部）２０３の機能構成の一例を示している。デマルチプレクサ２０３は、ＰＩＤフィルタ部２３１と、セクション・パース部２３２と、ＰＥＳパケット・パース部２３３と、ＤＴＳ変換処理部２３４と、アクセスユニット・プロセッサ２３５，２３６を有している。

ＰＩＤフィルタ部２３１は、デコード能力により、パケット識別子（ＰＩＤ）に基づくフィルタリングを行って、必要とするビデオストリームを抽出する。例えば、図３の階層符号化の例において、ベースストリーム（Stream_0）と、エンハンスストリーム（Stream_1）の２つのビデオストリームが存在する場合（図６参照）を考える。この場合、ＨＦＲ非対応の６０ｐデコーダを持つときは、この６０ｐデコーダが処理可能な階層０から２の各ピクチャの符号化画像データを含むベースストリーム（Stream_0）のみが抽出される。また、例えば、ＨＦＲ対応の１２０ｐデコーダを持つときは、このベースストリーム（Stream_0）と共に、階層３の各ピクチャの符号化画像データを含むエンハンスストリーム（Stream_1）も抽出される。

また、例えば、図３の階層符号化の例において、ベースストリーム（Stream_0）のビデオストリームのみが存在する場合（図７参照）を考える。この場合、ＨＦＲ非対応の６０ｐデコーダを持つときも、ＨＦＲ対応の１２０ｐデコーダを持つときも、ベースストリーム（Stream_0）を抽出する。

セクション・パース部２３２は、ＰＩＤフィルタ部２３１で抽出されたビデオストリーム（対象ビデオストリーム）のセクションデータを解析する。そして、セクション・パース部２３２は、例えば、テンポラル・エクステンション・デスクリプタに基づいて、タイミング・アジャストメントＳＥＩの存在情報を取得してＣＰＵ２０１に送ると共に、時刻補正情報のタイプ情報「adjustment_type」もＣＰＵ２０１に送る。

ＰＥＳパケット・パース部２３３は、ＰＥＳパケットを解析する。ＰＥＳパケット・パース部２３３は、ＰＥＳヘッダに挿入されているＰＴＳ，ＤＴＳと、さらにはＰＥＳエクステンションに挿入されている時刻補正情報「offset_to_DTS」を取得してＣＰＵ２０１に送る。

ＤＴＳ変換処理部２３４は、デコーダ２０５が６０ｐデコーダであって、このデコーダ２０５に６０ｐデコーダが処理可能な所定階層以下の階層の各ピクチャの符号化画像データを含むビデオストリームを送る場合に、ＤＴＳ変換処理を行う。ＤＴＳ変換処理部２３４は、ベースストリーム（Stream_0）に含まれる各ピクチャの符号化画像データのうち、所定階層以下の階層の各ピクチャの符号化画像データをコンテナするＰＥＳパケットのヘッダに挿入されているＤＴＳを、時刻補正情報「offset_to_DTS」を用いて補正された補正後のＤＴＳ（＝New DTS）で置き換える。

ＤＴＳ変換処理部２３４は、補正後のＤＴＳ（＝New DTS）を自身で算出して用いることもできるが、図示のように、ＣＰＵ２０１で算出された補正後のＤＴＳ（＝New DTS）を用いることもできる。

アクセスユニット・プロセッサ２３５は、デコーダ２０５が６０ｐデコーダである場合、６０ｐデコーダが処理可能な所定階層以下の階層の各ピクチャの符号化画像データを含むビデオストリームを、圧縮データバッファ（ｃｐｂ）２０４を通じて、デコーダ２０５に送る。

ここで、ベースストリーム（Stream_0）に所定階層以下の階層の各ピクチャの符号化画像データのみが含まれている場合、アクセスユニット・プロセッサ２３５は、ＤＴＳ変換処理部２３４の出力をそのまま圧縮データバッファ（ｃｐｂ）２０４に送って蓄積する。一方、ベースストリーム（Stream_0）に動画像データを構成する各ピクチャ、つまり全ての階層の各ピクチャの符号化画像データが含まれている場合、アクセスユニット・プロセッサ２３５は、ＤＴＳ変換処理部２３４の出力から、例えばＰＥＳエクステンションの有無を参照して、所定階層以下の階層の各ピクチャの符号化画像データに対応した部分のみを抽出し、圧縮データバッファ（ｃｐｂ）２０４に送って蓄積する。

アクセスユニット・プロセッサ２３６は、デコーダ２０５が１２０ｐデコーダである場合、全ての階層の各ピクチャの符号化画像データを含むビデオストリームを、圧縮データバッファ（ｃｐｂ）２０４を通じて、デコーダ２０５に送る。

ここで、ベースストリーム（Stream_0）に動画像データを構成する各ピクチャ、つまり全ての階層の各ピクチャの符号化画像データが含まれている場合、アクセスユニット・プロセッサ２３６は、ベースストリーム（Stream_0）をそのまま圧縮データバッファ（ｃｐｂ）２０４に送って蓄積する。一方、ベースストリーム（Stream_0）に所定階層以下の階層の各ピクチャの符号化画像データが含まれ、エンハンスストリーム（Stream_1）に所定階層より上の階層の各ピクチャの符号化画像データが含まれている場合、アクセスユニット・プロセッサ２３６は、双方のストリームの符号化画像データをＤＴＳ順に結合して１つのビデオストリームを生成し、圧縮データバッファ（ｃｐｂ）２０４に送って蓄積する。

図２６は、ビデオストリームに「第２の符号化」が施されている場合における、デマルチプレクサ（システム解析部）２０３の機能構成の一例を示している。デマルチプレクサ２０３は、ＰＩＤフィルタ部２４１と、セクション・パース部２４２と、ＰＥＳパケット・パース部２４３と、ＤＴＳ変換処理部２４４と、アクセスユニット・プロセッサ２４５を有している。

ＰＩＤフィルタ部２４１は、デコード能力により、パケット識別子（ＰＩＤ）に基づくフィルタリングを行って、必要とするビデオストリームを抽出する。例えば、図３の階層符号化の例において、ベースストリーム（Stream_0）と、エンハンスストリーム（Stream_1）の２つのビデオストリームが存在する場合（図９参照）を考える。この場合、ＨＦＲ非対応の６０ｐデコーダを持つときは、この６０ｐデコーダが処理可能な階層０から２の各ピクチャの符号化画像データを含むベースストリーム（Stream_0）のみが抽出される。また、例えば、ＨＦＲ対応の１２０ｐデコーダを持つときは、このベースストリーム（Stream_0）と共に、階層３の各ピクチャの符号化画像データを含むエンハンスストリーム（Stream_1）も抽出される。

セクション・パース部２４２は、ＰＩＤフィルタ部２４１で抽出されたビデオストリーム（対象ビデオストリーム）のセクションデータを解析する。そして、セクション・パース部２４２は、例えば、テンポラル・エクステンション・デスクリプタに基づいて、タイミング・アジャストメントＳＥＩの存在情報を取得してＣＰＵ２０１に送ると共に、時刻補正情報のタイプ情報「adjustment_type」もＣＰＵ２０１に送る。

ＰＥＳパケット・パース部２４３は、ＰＥＳパケットを解析する。ＰＥＳパケット・パース部２４３は、ＰＥＳヘッダに挿入されているＰＴＳ，ＤＴＳと、さらにはＰＥＳエクステンションに挿入されている時刻補正情報「offset_to_DTS」を取得してＣＰＵ２０１に送る。

ＤＴＳ変換処理部２４４は、デコーダ２０５が１２０ｐデコーダである場合に、ＤＴＳ変換処理を行う。ＤＴＳ変換処理部２３４は、ベースストリーム（Stream_0）に含まれる各ピクチャの符号化画像データをコンテナするＰＥＳパケットのヘッダに挿入されているＤＴＳを、時刻補正情報「offset_to_DTS」を用いて補正された補正後のＤＴＳ（＝New DTS）で置き換える。ＤＴＳ変換処理部２４４は、補正後のＤＴＳ（＝New DTS）を自身で算出して用いることもできるが、図示のように、ＣＰＵ２０１で算出された補正後のＤＴＳ（＝New DTS）を用いることもできる。

アクセスユニット・プロセッサ２４５は、デコーダ２０５が１２０ｐデコーダである場合、全ての階層の各ピクチャの符号化画像データを含むビデオストリームを、圧縮データバッファ（ｃｐｂ）２０４を通じて、デコーダ２０５に送る。この場合、アクセスユニット・プロセッサ２４５は、ＤＴＳ変換処理部２４４の出力と、ＰＩＤフィルタ部２４１で抽出されたエンハンスストリーム（Stream_1）の双方のストリームの符号化画像データをＤＴＳ順に結合して１つのビデオストリームを生成し、圧縮データバッファ（ｃｐｂ）２０４に送って蓄積する。

なお、デコーダ２０５が６０ｐデコーダである場合、デマルチプレクサ２０３は、ＰＩＤフィルタ部２４１で抽出されたベースストリーム（Stream_0）をそのまま圧縮データバッファ（ｃｐｂ）２０４に送って蓄積する。

図２７は、デマルチプレクサ２０３の処理フローの一例を示している。デマルチプレクサ２０３は、ステップＳＴ３１において、処理を開始し、その後に、ステップＳＴ３２において、テンポラル・エクステンション・デスクリプタ（Temporal_extension_descriptor）の補正タイプ「adjustment_type」をチェックする。

次に、デマルチプレクサ２０３は、ステップＳＴ３３において、補正タイプが“０１”であるか否か、つまり時刻補正情報のタイプが第１のタイプであるか否かを判断する。補正タイプが“０１”であるとき、デマルチプレクサ２０３は、ステップＳＴ３４において、全階層をデコードするか否かを判断する。例えば、デコーダ２０５がＨＦＲ対応の１２０ｐデコーダであるときは全階層をデコードすると判断し、デコーダ２０５がＨＦＲ非対応の６０ｐデコーダであるときは全階層をデコードしないと判断する。

全階層をデコードするとき、デマルチプレクサ２０３は、ステップＳＴ３５の処理に進む。このステップＳＴ３５において、デマルチプレクサ２０３は、ＰＩＤの対象となるビデオストリーム（符号化ストリーム）を圧縮データバッファ（ｃｐｂ）２０４に供給する。なお、ＰＩＤの対象となるビデオストリームが複数ある場合は、ＤＴＳ順に結合して、圧縮データバッファ（ｃｐｂ）２０４に供給する。デマルチプレクサ２０３は、ステップＳＴ３５の処理の後、ステップＳＴ３６において、処理を終了する。

ステップＳＴ３４で全階層をデコードしないとき、デマルチプレクサ２０３は、ステップＳＴ３７の処理に進む。このステップＳＴ３７において、デマルチプレクサ２０３は、６０ｐデコーダで処理可能な低階層（所定階層以下の階層）のストリームが供給されるＰＥＳパケットのヘッダにあるＤＴＳに、ＰＥＳエクステンションにある時刻補正情報「offset_to_DTS」を加算し、補正ＤＴＳ（New DTS）を得る。

なお、ＣＰＵ２０１に、補正ＤＴＳを得る処理をさせてもよい。その場合、デマルチプレクサ２０３は、ＣＰＵ２０１にタイムスタンプ情報を通知し、補正ＤＴＳ（New DTS）をＣＰＵ２０１から受け取ることになる。

次に、デマルチプレクサ２０３は、ステップＳＴ３８において、補正後のＤＴＳ値で、低階層（所定階層以下の階層）のストリームを、圧縮データバッファ（ｃｐｂ）２０４に供給する。デマルチプレクサ２０３は、ステップＳＴ３８の処理の後、ステップＳＴ３６において、処理を終了する。

また、ステップＳＴ３３で補正タイプが“０１”でないとき、つまり補正タイプが“１０”であるとき、デマルチプレクサ２０３は、ステップＳＴ３９において、全階層をデコードするか否かを判断する。例えば、デコーダ２０５がＨＦＲ対応の１２０ｐデコーダであるときは全階層をデコードすると判断し、デコーダ２０５がＨＦＲ非対応の６０ｐデコーダであるときは全階層をデコードしないと判断する。

全階層をデコードするとき、デマルチプレクサ２０３は、ステップＳＴ３７の処理に進む。このステップＳＴ３７において、デマルチプレクサ２０３は、６０ｐデコーダで処理可能な低階層（所定階層以下の階層）のストリームが供給されるＰＥＳパケットのヘッダにあるＤＴＳに、ＰＥＳエクステンションにある時刻補正情報「offset_to_DTS」を加算し、補正ＤＴＳ（New DTS）を得る。

次に、デマルチプレクサ２０３は、ステップＳＴ４０において、複数のストリームを補正後のＤＴＳ順に結合して、圧縮データバッファ（ｃｐｂ）２０４に供給する。デマルチプレクサ２０３は、ステップＳＴ４０の処理の後、ステップＳＴ３６において、処理を終了する。

また、ステップＳＴ３９で全階層をデコードしないとき、デマルチプレクサ２０３は、ステップＳＴ４１の処理に進む。このステップＳＴ４１において、デマルチプレクサ２０３は、６０ｐデコーダで処理可能な低階層（所定階層以下の階層）のストリームをそのままのＤＴＳ値で、圧縮データバッファ（ｃｐｂ）２０４に供給する。デマルチプレクサ２０３は、ステップＳＴ４１の処理の後、ステップＳＴ３６において、処理を終了する。

図２４に戻って、圧縮データバッファ(ｃｐｂ)２０４は、デマルチプレクサ２０３で取り出されるビデオストリーム（符号化ストリーム）を、一時的に蓄積する。デコーダ２０５は、圧縮データバッファ２０４に蓄積されているビデオストリームから、デコードすべき階層として指定された階層のピクチャの符号化画像データを取り出す。そして、デコーダ２０５は、取り出された各ピクチャの符号化画像データを、それぞれ、そのピクチャのデコードタイミングでデコードし、非圧縮データバッファ（ｄｐｂ）２０６に送る。

ここで、デコーダ２０５には、ＣＰＵ２０１からデコードすべき階層がtemporal_idで指定される。この指定階層は、デマルチプレクサ２０３で取り出されるビデオストリーム（符号化ストリーム）に含まれる全階層、あるいは低階層側の一部の階層とされ、ＣＰＵ２０１により自動的に、あるいはユーザ操作に応じて設定される。また、デコーダ２０５には、ＣＰＵ２０１から、ＤＴＳ（Decoding Time stamp）に基づいて、デコードタイミングが与えられる。なお、デコーダ２０５は、各ピクチャの符号化画像データをデコードする際に、必要に応じて、非圧縮データバッファ２０６から被参照ピクチャの画像データを読み出して利用する。

図２８は、デコーダ２０５の構成例を示している。このデコーダ２０５は、テンポラルＩＤ解析部２５１と、対象階層選択部２５２と、デコード部２５４を有している。テンポラルＩＤ解析部２５１は、圧縮データバッファ２０４に蓄積されているビデオストリーム（符号化ストリーム）を読み出し、各ピクチャの符号化画像データのＮＡＬユニットヘッダに挿入されているtemporal_idを解析する。

対象階層選択部２５２は、圧縮データバッファ２０４から読み出されたビデオストリームから、テンポラルＩＤ解析部２５１の解析結果に基づいて、デコードすべき階層として指定された階層のピクチャの符号化画像データを取り出す。対象階層選択部２５２で取り出された各ピクチャの符号化画像データはデコード部２５４に送られる。デコード部２５４は、各ピクチャの符号化画像データを、順次デコードタイミングでデコードし、非圧縮データバッファ（ｄｐｂ）２０６に送る。

この場合、デコード部２５４は、ＶＰＳ、ＳＰＳの解析を行って、例えば、サブレイヤごとのビットレートのレベル指定値「sublayer_level_idc」を把握し、デコード能力内でデコードし得るものかどうかを確認する。また、この場合、デコード部２５４は、ＳＥＩの解析を行って、例えば、「initial_cpb_removal_time」、「cpb_removal_delay」を把握し、また、タイミング・アジャストメントＳＥＩからデコードタイミングに関する補正情報を取得し、ＣＰＵ２０１からのデコードタイミングが適切か確認する。

また、デコード部２５４は、スライス（Slice）のデコードを行う際に、スライスヘッダ（Slice header）から、時間方向の予測先を表す情報として、「ref_idx_l0_active(ref_idx_l1_active)を取得し、時間方向の予測を行う。なお、デコード後のピクチャは、スライスヘッダ（slice header）から得られる「short_term_ref_pic_set_idx」、あるいは「it_idx_sps」が指標とされて、他のピクチャによる被参照として処理される。

図２４に戻って、非圧縮データバッファ（ｄｐｂ）２０６は、デコーダ２０５でデコードされた各ピクチャの画像データを、一時的に蓄積する。ポスト処理部２０７は、非圧縮データバッファ（ｄｐｂ）２０６から表示タイミングで順次読み出された各ピクチャの画像データに対して、そのフレームレートを、表示能力に合わせる処理を行う。この場合、ＣＰＵ２０１から、ＰＴＳ（Presentation Time stamp）に基づいて、表示タイミングが与えられる。

例えば、デコード後の各ピクチャの画像データのフレームレートが１２０ｆｐｓであって、表示能力が１２０ｆｐｓであるとき、ポスト処理部２０７は、デコード後の各ピクチャの画像データをそのままディスプレイに送る。また、例えば、デコード後の各ピクチャの画像データのフレームレートが１２０ｆｐｓであって、表示能力が６０ｆｐｓであるとき、ポスト処理部２０７は、デコード後の各ピクチャの画像データに対して時間方向解像度が１/２倍となるようにサブサンプル処理を施し、６０ｆｐｓの画像データとしてディスプレイに送る。

また、例えば、デコード後の各ピクチャの画像データのフレームレートが６０ｆｐｓであって、表示能力が１２０ｆｐｓであるとき、ポスト処理部２０７は、デコード後の各ピクチャの画像データに対して時間方向解像度が２倍となるように補間処理を施し、１２０ｆｐｓの画像データとしてディスプレイに送る。また、例えば、デコード後の各ピクチャの画像データのフレームレートが６０ｆｐｓであって、表示能力が６０ｆｐｓであるとき、ポスト処理部２０７は、デコード後の各ピクチャの画像データをそのままディスプレイに送る。

図２９は、ポスト処理部２０７の構成例を示している。この例は、上述したようにデコード後の各ピクチャの画像データのフレームレートが１２０ｆｐｓあるいは６０ｆｐｓであって、表示能力が１２０ｆｐｓあるいは６０ｆｐｓである場合に対処可能とした例である。

ポスト処理部２０７は、補間部２７１と、サブサンプル部２７２と、スイッチ部２７３を有している。非圧縮データバッファ２０６からのデコード後の各ピクチャの画像データは、直接スイッチ部２７３に入力され、あるいは補間部２７１で２倍のフレームレートとされた後にスイッチ部２７３に入力され、あるいはサブサンプル部２７２で１/２倍のフレームレートとされた後にスイッチ部２７３に入力される。

スイッチ部２７３には、ＣＰＵ２０１から、選択情報が供給される。この選択情報は、ＣＰＵ２０１が、表示能力を参照して自動的に、あるいは、ユーザ操作に応じて発生する。スイッチ部２７３は、選択情報に基づいて、入力のいずれかを選択的に出力とする。これにより、非圧縮データバッファ（ｄｐｂ）２０６から表示タイミングで順次読み出された各ピクチャの画像データのフレームレートは、表示能力に合ったものとされる。

図３０は、デコーダ２０５、ポスト処理部２０７の処理フローの一例を示している。デコーダ２０５、ポスト処理部２０７は、ステップＳＴ５１において、処理を開始し、その後に、ステップＳＴ５２の処理に移る。このステップＳＴ５２において、デコーダ２０５は、圧縮データバッファ（ｃｐｂ）２０４に蓄積されているデコード対象のビデオストリームを読み出し、temporal_idに基づいて、ＣＰＵ２０１からデコード対象として指定される階層のピクチャを選択する。

次に、デコーダ２０５は、ステップＳＴ５３において、選択された各ピクチャの符号化画像データをデコードタイミングで順次デコードし、デコード後の各ピクチャの画像データを非圧縮データバッファ（ｄｐｂ）２０６に転送して、一時的に蓄積する。次に、ポスト処理部２０７は、ステップＳＴ５４において、非圧縮データバッファ（ｄｐｂ）２０６から、表示タイミングで各ピクチャの画像データを読み出す。

次に、ポスト処理部２０７は、読み出された各ピクチャの画像データのフレームレートが表示能力にあっているか否かを判断する。フレームレートが表示能力に合っていないとき、ポスト処理部２０７は、ステップＳＴ５６において、フレームレートを表示能力に合わせて、ディスプレイに送り、その後、ステップＳＴ５７において、処理を終了する。一方、フレームレートが表示能力に合っているとき、ポスト処理部２０７は、ステップＳＴ５８において、フレームレートそのままでディスプレイに送り、その後、ステップＳＴ５７において、処理を終了する。

図２４に示す受信装置２００の動作を簡単に説明する。受信部２０２では、受信アンテナで受信されたＲＦ変調信号が復調され、トランスポートストリームＴＳが取得される。このトランスポートストリームＴＳは、デマルチプレクサ２０３に送られる。デマルチプレクサ２０３では、トランスポートストリームＴＳから、デコード能力（Decoder temporal layer capability）に応じて、動画像データを構成する各ピクチャ、つまり全ての階層の各ピクチャの符号化画像データ、あるいは所定階層以下の階層（低階層）の各ピクチャの符号化画像データが抽出される。

デマルチプレクサ２０３では、所定階層以下の階層（低階層）の各ピクチャの符号化画像データにそれぞれ対応してＰＥＳエクステンションに挿入されている時刻補正情報に基づいて、そのＰＥＳヘッダに挿入されているＤＴＳが補正される。この場合、トランスポートストリームＴＳに含まれるビデオストリームに施されている「第１の符号化」あるいは「第２の符号化」に応じた処理が行われる。

「第１の符号化」では、動画像データを構成する各ピクチャ、つまり全ての階層の各ピクチャの符号化画像データのデコード間隔が等間隔となるように符号化されている。また、「第２の符号化」では、ＨＦＲ非対応の従来の受信機で再生可能な所定階層以下の階層の各ピクチャの符号化画像データのデコード間隔が等間隔となるように符号化されている。また、この「第２の符号化」では、この所定階層の上の階層の各ピクチャの符号化画像データのデコードタイミングが、動画像データを構成する各ピクチャ、つまり全ての階層の各ピクチャの符号化画像データのデコード間隔が等間隔となるように符号化される場合と同じタイミングとなるように符号化されている。

そして、「第１の符号化」であるとき、時刻補正情報は、第１のタイプであり、上述の所定階層以下の階層の各ピクチャの符号化画像データのデコード間隔が等間隔となるようにデコード時刻を補正するための情報である。また、「第２の符号化」であるとき、時刻補正情報は、第２のタイプであり、上述の所定階層以下の階層の各ピクチャの符号化画像データのデコードタイミングが、動画像データを構成する各ピクチャ、つまり全ての階層の各ピクチャの符号化画像データが等間隔とされる場合のデコードタイミングと同じくなるようにデコード時刻を補正するための情報である

そのため、デマルチプレクサ２０３では、「第１の符号化」が施されている場合には、所定階層以下の階層の各ピクチャの符号化画像データのみのストリームを出力するとき、時刻補正情報に基づいて、所定階層以下の階層の各ピクチャの符号化画像データのデコード時刻（ＤＴＳ）が補正される。これにより、この所定階層以下の階層の各ピクチャの符号化画像データのデコード間隔が等間隔とされる。

また、デマルチプレクサ２０３では、「第２の符号化」が施されている場合には、動画像データを構成する各ピクチャ、つまり全ての階層の各ピクチャの符号化画像データのストリームを出力するとき、時刻補正情報に基づいて、所定階層以下の階層の各ピクチャの符号化画像データのデコード時刻（ＤＴＳ）が補正される。これにより、全ての階層の各ピクチャの符号化画像データのデコード間隔が等間隔とされる。

デマルチプレクサ２０３で取り出されるビデオストリーム（符号化ストリーム）は、圧縮データバッファ（ｃｐｂ）２０４に送られ、一時的に蓄積される。デコーダ２０５では、圧縮データバッファ２０４に蓄積されているビデオストリームから、デコードすべき階層として指定された階層のピクチャの符号化画像データが取り出される。そして、デコーダ２０５では、取り出された各ピクチャの符号化画像データが、それぞれ、そのピクチャのデコードタイミングでデコードされ、非圧縮データバッファ（ｄｐｂ）２０６に送られ、一時的に蓄積される。この場合、各ピクチャの符号化画像データがデコードされる際に、必要に応じて、非圧縮データバッファ２０６から被参照ピクチャの画像データが読み出されて利用される。

非圧縮データバッファ（ｄｐｂ）２０６から表示タイミングで順次読み出された各ピクチャの画像データは、ポスト処理部２０７に送られる。ポスト処理部２０７では、各ピクチャの画像データに対して、そのフレームレートを、表示能力に合わせるための補間あるいはサブサンプルが行われる。このポスト処理部２０７で処理された各ピクチャの画像データは、ディスプレイに供給され、その各ピクチャの画像データによる動画像の表示が行われる。

以上説明したように、図１に示す送受信システム１０においては、送信側において、ＨＦＲ非対応の受信機が処理可能な所定階層以下の階層の各ピクチャの符号化画像データにそれぞれ対応して符号化画像データやＰＥＳエクステンションに、デコード時刻を補正するための時刻補正情報が挿入されて送信されるものである。そのため、例えば、受信側において、所定階層以下の階層の各ピクチャの符号化画像データのみをデコードするか全ての階層の各ピクチャの符号化画像データをデコードするかに応じて、この時刻補正情報を用いて、所定階層以下の階層の各ピクチャの符号化画像データのデコード時刻を補正できる。したがって、受信側がハイフレームレートに非対応、対応のいずれであっても良好に再生可能となる。

また、図１に示す送受信システム１０においては、受信側において、ＨＦＲ非対応の受信機が処理可能な所定階層以下の階層の各ピクチャの符号化画像データのみデコードするか全ての階層の各ピクチャの符号化画像データをデコードするかに応じて、符号化画像データやＰＥＳエクステンションに挿入されている時刻補正情報を用いて、所定階層以下の階層の各ピクチャの符号化画像データのデコード時刻を補正するものである。そのため、例えば、ハイフレームレートに非対応、対応のいずれであっても良好に再生可能となる。

＜２．変形例＞
なお、上述実施の形態においては、４階層の階層符号化の例を示し、また、複数のビデオストリームの場合のストリーム数が２の例を示している。しかし、本技術の適用は、これらの例に限定されるものでないことは勿論である。

例えば、図３１は、５階層の階層符号化の例を示している。この例は、０から４までの５階層に分類され、各階層のピクチャの画像データに対して符号化が施された例である。縦軸は階層を示している。階層０から４のピクチャの符号化画像データを構成するＮＡＬユニット（nal_unit）のヘッダ部分に配置されるtemporal_id（階層識別情報）として、それぞれ、０から４が設定される。一方、横軸は表示順（ＰＯＣ：picture order of composition）を示し、左側は表示時刻が前で、右側は表示時刻が後になる。

矩形枠のそれぞれがピクチャを示し、数字は、符号化されているピクチャの順、つまりエンコード順（受信側ではデコード順）を示している。この例の場合、「２」から「１７」の１６個のピクチャによりサブ・ピクチャグループ（Sub group of pictures）が構成されており、「２」はそのサブ・ピクチャグループの先頭のピクチャとなる。「１」は前のサブ・ピクチャグループのピクチャである。このサブ・ピクチャグループがいくつか集まってＧＯＰ（Group Of Pictures）となる。

実線矢印は、符号化におけるピクチャの参照関係を示している。例えば、「２」のピクチャは、Ｐピクチャであり、「１」のピクチャを参照して符号化される。また、「３」のピクチャは、Ｂピクチャであり、「１」、「２」のピクチャを参照して符号化される。同様に、その他のピクチャは、表示順で近くのピクチャを参照して符号化される。なお、最上位の階層のピクチャは、他のピクチャからの参照がない。

図３１の階層符号化の例においては、複数のビデオストリームが生成される場合、例えば、３つのビデオストリームが生成される。この場合、例えば、一点鎖線および２点鎖線で区切るように、階層０から２は最下位の階層組とされ、階層３はその上位に位置する階層組とされ、さらに階層４はその上位に位置する階層組とされて、３つの階層組に分割される。そして、各階層組のピクチャの符号化画像データをそれぞれ持つ３つのビデオストリーム（符号化ストリーム）が生成される。

図３２は、図３１の階層符号化の例において、「第１の符号化」が施される場合の、所定階層以下の階層（低階層）の各ピクチャの符号化画像データにそれぞれ対応して挿入される補正情報Ｓ（ｉ）を示している。例えば、図３１の階層符号化の例において、全ての階層、つまり階層０から４の階層の各ピクチャによるフレームレートは１２０Ｈｚであり、階層０から３の階層の各ピクチャによるフレームレートは６０Ｈｚである。

フル時間解像度の階層０から４のうち、６０ｐデコード向けに、１/２時間解像度部分である階層０から３の各ピクチャの符号化画像データのそれぞれに対応して時刻補正情報Ｓ（ｉ）が挿入される。この場合、「２」のアクセスユニット（ピクチャ）に対する補正値ｉは“０”とされ、「３」のアクセスユニット（ピクチャ）に対する補正値ｉは“３”とされ、「４」のアクセスユニット（ピクチャ）に対する補正値ｉは“６”とされ、「１１」のアクセスユニット（ピクチャ）に対する補正値ｉは“３”とされる。さらに、「５」のアクセスユニット（ピクチャ）に対する補正値ｉは“−１”とされ、「８」のアクセスユニット（ピクチャ）に対する補正値ｉは“０”とされ、「１２」のアクセスユニット（ピクチャ）に対する補正値ｉは“０”とされ、「１５」のアクセスユニット（ピクチャ）に対する補正値ｉは“１”とされる。以降の各ｓｕｂＧＯＰ（Group Of Pictures）では、同様の繰り返しとなる。

そして、受信側では、６０ｐデコーダでの表示にあっては、１/２時間解像度部分である階層０から３の各ピクチャの符号化画像データがバッファに取り込まれてデコードされる。その際に、破線枠のアクセスユニット（ＡＵ）で示すように、各ピクチャの符号化画像データのデコード時刻が、時刻補正情報Ｓ（ｉ）に基づいて、等間隔（１/６０秒）となるように補正される。また、受信側では、１２０ｐデコーダでの表示にあっては、フル時間解像度の０から４の各ピクチャの符号化画像データがバッファに取り込まれて、当初のデコード時刻により等間隔（１/１２０秒）でデコードされる。

図３３は、図３１の階層符号化の例において、「第２の符号化」が施される場合の、所定階層以下の階層（低階層）の各ピクチャの符号化画像データにそれぞれ対応して挿入される補正情報Ｓ（ｉ）を示している。

時間解像度の階層０から４のうち、１/２時間解像度部分である階層０から３の各ピクチャの符号化画像データのそれぞれに対応して時刻補正情報Ｓ（ｉ）が挿入される。この場合、「２」のアクセスユニット（ピクチャ）に対する補正値ｉは“０”とされ、「３」のアクセスユニット（ピクチャ）に対する補正値ｉは“−３”とされ、「４」のアクセスユニット（ピクチャ）に対する補正値ｉは“−６”とされ、「１１」のアクセスユニット（ピクチャ）に対する補正値ｉは“−３”とされる。さらに、「５」のアクセスユニット（ピクチャ）に対する補正値ｉは“１”とされ、「８」のアクセスユニット（ピクチャ）に対する補正値ｉは“０”とされ、「１２」のアクセスユニット（ピクチャ）に対する補正値ｉは“０”とされ、「１５」のアクセスユニット（ピクチャ）に対する補正値ｉは“−１”とされる。以降の各ｓｕｂＧＯＰ（Group Of Pictures）では、同様の繰り返しとなる。

そして、受信側では、６０ｐデコーダでの表示にあっては、１/２時間解像度部分である階層０から３の各ピクチャの符号化画像データがバッファに取り込まれて、当初のデコード時刻により等間隔（１/６０秒）でデコードされる。また、受信側では、１２０ｐデコーダでの表示にあっては、フル時間解像度の０から４の各ピクチャの符号化画像データがバッファに取り込まれてデコードされる。その際に、破線枠のアクセスユニット（ＡＵ）で示すように、階層０から３の各ピクチャの符号化画像データのデコード時刻が、全ての階層の各ピクチャの符号化画像データのデコード間隔が等間隔（１/１２０秒）となるように符号化される場合と同じタイミングとなるように補正される。

また、上述実施の形態においては、６０ｐ（６０Ｈｚ）と１２０ｐ（１２０Ｈｚ）の組み合わせを例にとって説明したが、フレームレートの組み合わせは、これに限定されるものではない。例えば、５０ｐ（５０Ｈｚ）と１００ｐ（１００Ｈｚ）の組み合わせでも同様である。

また、上述実施の形態においては、送信装置１００と受信装置２００からなる送受信システム１０を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、受信装置２００の部分が、例えば、（ＨＤＭＩ（High-Definition Multimedia Interface）などのデジタルインタフェースで接続されたセットトップボックスおよびモニタの構成などであってもよい。なお、「ＨＤＭＩ」は、登録商標である。

また、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ−２ＴＳ）である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、ＭＰ４やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２ＴＳ）、インターネット配信で使用されているＭＰ４などの種々のフォーマットのコンテナが該当する。

また、本技術は、以下のような構成を取ることもできる。
（１）動画像データを構成する各ピクチャの画像データを複数の階層に分類し、該分類された各階層のピクチャの画像データを符号化し、該符号化された各階層のピクチャの画像データを持つビデオストリームを生成する画像符号化部と、
上記ビデオストリームを含む所定フォーマットのコンテナを送信する送信部と、
上記所定階層以下の階層の各ピクチャの符号化画像データのそれぞれに対応して、該符号化画像データおよび/または該符号化画像データをコンテナするパケットに、デコード時刻を補正するための時刻補正情報を挿入する補正情報挿入部を備える
送信装置。
（２）上記画像符号化部は、
上記動画像データを構成する各ピクチャの符号化画像データのデコード間隔が等間隔となるように符号化し、
上記時刻補正情報は、
所定階層以下の階層の各ピクチャの符号化画像データのデコード間隔が等間隔となるようにデコード時刻を補正するための情報である
前記（１）に記載の送信装置。
（３）上記画像符号化部は、
上記所定階層より上の階層の各ピクチャの符号化画像データのデコードタイミングが、上記動画像データを構成する各ピクチャの符号化画像データのデコード間隔が等間隔とされる場合と同じデコードタイミングとなり、
上記所定階層以下の階層の各ピクチャの符号化画像データのデコード間隔が等間隔となるように符号化し、
上記時刻補正情報は、
上記所定階層以下の階層の各ピクチャの符号化画像データのデコードタイミングが、上記動画像データを構成する各ピクチャの符号化画像データが等間隔とされる場合のデコードタイミングと同じくなるようにデコード時刻を補正するための情報である
前記（１）に記載の送信装置。
（４）上記時刻補正情報には、該時刻補正情報が第１のタイプであるか第２のタイプであるかを識別するためのタイプ情報が付加されており、
上記第１のタイプは、
上記ビデオストリームが、上記動画像データを構成する各ピクチャの符号化画像データのデコード間隔が等間隔となるように符号化されており、
上記時刻補正情報が、上記所定階層以下の階層の各ピクチャの符号化画像データのデコード間隔が等間隔となるようにデコード時刻を補正するための情報であることを示し、
上記第２のタイプは、
上記ビデオストリームが、上記所定階層より上の階層の各ピクチャの符号化画像データのデコードタイミングが、上記動画像データを構成する各ピクチャの符号化画像データのデコード間隔が等間隔とされる場合と同じデコードタイミングとなり、上記所定階層以下の階層の各ピクチャの符号化画像データのデコード間隔が等間隔となるように符号化されており、
上記時刻補正情報が、上記所定階層以下の階層の各ピクチャの符号化画像データのデコードタイミングが、上記動画像データを構成する各ピクチャの符号化画像データが等間隔とされる場合のデコードタイミングと同じくなるようにデコード時刻を補正するための情報であることを示す
前記（１）から（３）のいずれかに記載の送信装置。
（５）動画像データを構成する各ピクチャによるフレームレートを第１のフレームレートとし、上記所定階層以下の階層の各ピクチャによるフレームレートを第２のフレームレートとするとき、上記第２のフレームレートは上記第１のフレームレートの１/２倍である
前記（１）から（４）のいずれかに記載の送信装置。
（６）上記画像符号化部は、
上記複数の階層を２以上の所定数の階層組に分割し、分割された各階層組のピクチャの符号化画像データを持つ上記所定数のビデオストリームを生成し、
上記所定階層以下の階層と、該所定階層より上の階層とは、互いに異なる階層組に属する
前記（１）から（５）のいずれかに記載の送信装置。
（７）上記コンテナはトランスポートストリームであり、
上記補正情報挿入部は、
上記時刻補正情報をＰＥＳパケットのエクステンションフィールドに挿入する
前記（１）から（６）のいずれかに記載の送信装置。
（８）上記コンテナのレイヤに、上記符号化画像データおよび/または該符号化画像データをコンテナするパケットに、上記時刻補正情報が挿入されていることを識別するための識別情報を挿入する識別情報挿入部をさらに備える
前記（１）から（７）のいずれかに記載の送信装置。
（９）動画像データを構成する各ピクチャの画像データを複数の階層に分類し、該分類された各階層のピクチャの画像データを符号化し、該符号化された各階層のピクチャの画像データを持つビデオストリームを生成するステップと、
送信部により、上記生成されたビデオストリームを含む所定フォーマットのコンテナを送信するステップと、
上記所定階層以下の階層の各ピクチャの符号化画像データのそれぞれに対応して、該符号化画像データおよび/または該符号化画像データをコンテナするパケットに、デコード時刻を補正するための時刻補正情報を挿入するステップを有する
送信方法。
（１０）動画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化されることで得られた各階層のピクチャの符号化画像データを持つビデオストリームを受信する受信部と、
上記ビデオストリームを処理する処理部を備え、
上記ビデオストリームが持つ上記各階層のピクチャの符号化画像データのうち、所定階層以下の階層の各ピクチャの符号化画像データのそれぞれに対応して、該符号化画像データおよび/または該符号化画像データをコンテナするパケットに、デコード時刻を補正するための時刻補正情報が挿入されている
受信装置。
（１１）上記ビデオストリームは、
上記動画像データを構成する各ピクチャの符号化画像データのデコード間隔が等間隔となるように符号化されており、
上記時刻補正情報は、
上記所定階層以下の階層の各ピクチャの符号化画像データのデコード間隔が等間隔となるようにデコード時刻を補正するための情報である
前記（１０）に記載の受信装置。
（１２）上記ビデオストリームは、
上記所定階層より上の階層の各ピクチャの符号化画像データのデコードタイミングが、上記動画像データを構成する各ピクチャの符号化画像データのデコード間隔が等間隔とされる場合と同じデコードタイミングとなり、
上記所定階層以下の階層の各ピクチャの符号化画像データのデコード間隔が等間隔となるように符号化されており、
上記時刻補正情報は、
上記所定階層以下の階層の各ピクチャの符号化画像データのデコードタイミングが、上記動画像データを構成する各ピクチャの符号化画像データが等間隔とされる場合のデコードタイミングと同じくなるようにデコード時刻を補正するための情報である
前記（１０）に記載の受信装置。
（１３）動画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化され、該符号化されて得られた各階層のピクチャの符号化画像データを持つビデオストリームを含む所定フォーマットのコンテナを受信する受信部と、
上記ビデオストリームからデコード能力に応じた階層のピクチャの符号化画像データを選択的にバッファに取り込み、該バッファに取り込まれた各ピクチャの符号化画像データをデコードして画像データを得る画像復号処理部を備え、
上記ビデオストリームが持つ上記各階層のピクチャの符号化画像データのうち、所定階層以下の階層の各ピクチャの符号化画像データのそれぞれに対応して、該符号化画像データおよび/または該符号化画像データをコンテナするパケットに、デコード時刻を補正するための時刻補正情報が挿入されており、
上記画像復号処理部は、
上記所定階層以下の階層の各ピクチャの符号化画像データのみデコードするか全ての階層の各ピクチャの符号化画像データをデコードするかに応じて、上記時刻補正情報を用いて、上記所定階層以下の階層の各ピクチャの符号化画像データのデコード時刻を補正する
受信装置。
（１４）上記時刻補正情報には、該時刻補正情報が第１のタイプであるか第２のタイプであるかを識別するタイプ情報が付加されており、
上記第１のタイプは、
上記ビデオストリームが、上記動画像データを構成する各ピクチャの符号化画像データのデコード間隔が等間隔となるように符号化されており、
上記時刻補正情報が、上記所定階層以下の階層の各ピクチャの符号化画像データのデコード間隔が等間隔となるようにデコード時刻を補正するための情報であることを示し、
上記第２のタイプは、
上記ビデオストリームが、上記所定階層より上の階層の各ピクチャの符号化画像データのデコードタイミングが、上記動画像データを構成する各ピクチャの符号化画像データのデコード間隔が等間隔とされる場合と同じデコードタイミングとなり、上記所定階層以下の階層の各ピクチャの符号化画像データのデコード間隔が等間隔となるように符号化されており、
上記時刻補正情報が、上記所定階層以下の階層の各ピクチャの符号化画像データのデコードタイミングが、上記動画像データを構成する各ピクチャの符号化画像データが等間隔とされる場合のデコードタイミングと同じくなるようにデコード時刻を補正するための情報であることを示し、
上記画像復号処理部は、上記時刻補正情報に付加されている上記タイプ情報に基づき、上記所定階層以下の階層の各ピクチャの符号化画像データのみデコードする場合に上記時刻補正情報を用いたデコード時刻の補正を行うか、上記全ての階層の各ピクチャの符号化画像データをデコードする場合に上記時刻補正情報を用いたデコード時刻の補正を行うかを切り替える
前記（１３）に記載の受信装置。
（１５）上記ビデオストリームが、上記動画像データを構成する各ピクチャの符号化画像データのデコード間隔が等間隔となるように符号化されており、
上記時刻補正情報が、上記所定階層以下の階層の各ピクチャの符号化画像データのデコード間隔が等間隔となるようにデコード時刻を補正するための情報であり、
上記画像復号処理部は、上記所定階層以下の階層の各ピクチャの符号化画像データのみデコードする場合に、上記時刻補正情報を用いて、上記所定階層以下の階層の各ピクチャの符号化画像データのデコード時刻を補正する
前記（１３）または（１４）に記載の受信装置。
（１６）上記ビデオストリームが、上記所定階層より上の階層の各ピクチャの符号化画像データのデコードタイミングが、上記動画像データを構成する各ピクチャの符号化画像データのデコード間隔が等間隔とされる場合と同じデコードタイミングとなり、上記所定階層以下の階層の各ピクチャの符号化画像データのデコード間隔が等間隔となるように符号化されており、
上記時刻補正情報が、上記所定階層以下の階層の各ピクチャの符号化画像データのデコードタイミングが、上記動画像データを構成する各ピクチャの符号化画像データが等間隔とされる場合のデコードタイミングと同じくなるようにデコード時刻を補正するための情報であり、
上記画像復号処理部は、上記全ての階層の各ピクチャの符号化画像データをデコードする場合に、上記時刻補正情報を用いて、上記所定階層以下の階層の各ピクチャの符号化画像データのデコード時刻を補正する
前記（１３）または（１４）に記載の受信装置。
（１７）上記画像復号処理部は、
上記バッファに取り込む所定階層以下の階層あるいは全ての階層の各ピクチャの符号化画像データが複数のビデオストリームに含まれている場合、各ピクチャの符号化画像データをデコードタイミング情報に基づいてデコード時刻の順に１つのストリームに結合して上記バッファに取り込む
前記（１３）から（１６）のいずれかに記載の受信装置。
（１８）受信部により、動画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化され、該符号化されて得られた各階層のピクチャの符号化画像データを持つビデオストリームを含む所定フォーマットのコンテナを受信する受信ステップと、
上記ビデオストリームからデコード能力に応じた階層のピクチャの符号化画像データを選択的にバッファに取り込み、該バッファに取り込まれた各ピクチャの符号化画像データをデコードして画像データを得る画像復号処理ステップとを有し、
上記ビデオストリームが持つ上記各階層のピクチャの符号化画像データのうち、所定階層以下の階層の各ピクチャの符号化画像データのそれぞれに対応して、該符号化画像データおよび/または該符号化画像データをコンテナするパケットに、デコード時刻を補正するための時刻補正情報が挿入されており、
上記画像復号処理ステップでは、
上記所定階層以下の階層の各ピクチャの符号化画像データのみデコードするか全ての階層の各ピクチャの符号化画像データをデコードするかに応じて、上記時刻補正情報を用いて、上記所定階層以下の階層の各ピクチャの符号化画像データのデコード時刻を補正する
受信方法。

本技術の主な特徴は、ＨＦＲ非対応の受信機が処理可能な所定階層以下の階層（低階層）の各ピクチャの符号化画像データにそれぞれ対応して符号化画像データやＰＥＳエクステンションにデコード時刻を補正するための時刻補正情報を挿入して送信することで、
受信側がハイフレームレートに非対応、対応のいずれであっても良好に再生可能としたことである（図８，図１０参照）。

１０・・・送受信システム
１００・・・送信装置
１０１・・・ＣＰＵ
１０２・・・エンコーダ
１０３・・・圧縮データバッファ（ｃｐｂ）
１０４・・・マルチプレクサ
１０５・・・送信部
１２１・・・テンポラルＩＤ発生部
１２２・・・バッファ遅延制御部
１２３・・・ＨＲＤ設定部
１２４・・・パラメータセット/ＳＥＩエンコード部
１２５・・・スライスエンコード部
１２６・・・ＮＡＬパケット化部
１４２・・・セクションコーディング部
１４３-1〜１４３-N・・・ＰＥＳパケット化部
１４４・・・スイッチ部
１４５・・・トランスポートパケット化部
２００・・・受信装置
２０１・・・ＣＰＵ
２０２・・・受信部
２０３・・・デマルチプレクサ
２０４・・・圧縮データバッファ（ｃｐｂ）
２０５・・・デコーダ
２０６・・・非圧縮データバッファ（ｄｐｂ）
２０７・・・ポスト処理部
２３１，２４１・・・ＰＩＤフィルタ部
２３２，２４２・・・セクション・パース部
２３３，２４３・・・ＰＥＳパケット・パース部
２３４，２４４・・・ＤＴＳ変換処理部
２３５，２３６，２４５・・・アクセスユニット・プロセッサ
２５１・・・テンポラルＩＤ解析部
２５２・・・対象階層選択部
２５４・・・デコード部
２７１・・・補間部
２７２・・・サブサンプル部
２７３・・・スイッチ部

Claims

動画像データを構成する各ピクチャの画像データが複数の階層に分類されてデコード順番と表示順番が異なるように符号化されると共に、上記複数の階層を２以上の所定数の階層組に分割し、分割された各階層組のピクチャの符号化画像データを持つ上記所定数のビデオストリームを受信する受信部と、
上記所定数のビデオストリームを処理する処理部を備え、
最下位の階層組の各ピクチャの符号化画像データおよび/または該符号化画像データをコンテナするパケットに、デコード時刻を補正するための時刻補正情報が挿入されており、
上記時刻補正情報は、上記最下位の階層組の各ピクチャの符号化画像データのデコードタイミングが上記動画像データを構成する全ての階層の各ピクチャの符号化画像データのデコード間隔が等間隔とされる場合のデコードタイミングと同じくなるようにデコード時刻を補正するための情報である
受信装置。
上記動画像データを構成する各ピクチャによるフレームレートを第１のフレームレートとし、上記最下位の階層組の各ピクチャによるフレームレートを第２のフレームレートとするとき、上記第２のフレームレートは上記第１のフレームレートの１/２倍である
請求項１に記載の受信装置。
受信部が、動画像データを構成する各ピクチャの画像データが複数の階層に分類されてデコード順番と表示順番が異なるように符号化されると共に、上記複数の階層を２以上の所定数の階層組に分割し、分割された各階層組のピクチャの符号化画像データを持つ上記所定数のビデオストリームを受信する受信ステップと、
処理部が、上記所定数のビデオストリームを処理する処理ステップを有し、
最下位の階層組の各ピクチャの符号化画像データおよび/または該符号化画像データをコンテナするパケットに、デコード時刻を補正するための時刻補正情報が挿入されており、
上記時刻補正情報は、上記最下位の階層組の各ピクチャの符号化画像データのデコードタイミングが上記動画像データを構成する全ての階層の各ピクチャの符号化画像データのデコード間隔が等間隔とされる場合のデコードタイミングと同じくなるようにデコード時刻を補正するための情報である
受信方法。
動画像データを構成する各ピクチャの画像データが複数の階層に分類されてデコード順番と表示順番が異なるように符号化されると共に、上記複数の階層を２以上の所定数の階層組に分割し、分割された各階層組のピクチャの符号化画像データを持つ上記所定数のビデオストリームを送信する送信部と、
最下位の階層組の各ピクチャの符号化画像データおよび/または該符号化画像データをコンテナするパケットに、デコード時刻を補正するための時刻補正情報を挿入する補正情報挿入部を備え、
上記時刻補正情報は、上記最下位の階層組の各ピクチャの符号化画像データのデコードタイミングが上記動画像データを構成する全ての階層の各ピクチャの符号化画像データのデコード間隔が等間隔とされる場合のデコードタイミングと同じくなるようにデコード時刻を補正するための情報である
送信装置。
送信部が、動画像データを構成する各ピクチャの画像データが複数の階層に分類されてデコード順番と表示順番が異なるように符号化されると共に、上記複数の階層を２以上の所定数の階層組に分割し、分割された各階層組のピクチャの符号化画像データを持つ上記所定数のビデオストリームを送信する送信ステップと、
補正情報挿入部が、最下位の階層組の各ピクチャの符号化画像データおよび/または該符号化画像データをコンテナするパケットに、デコード時刻を補正するための時刻補正情報を挿入する補正情報挿入ステップを有し、
上記時刻補正情報は、上記最下位の階層組の各ピクチャの符号化画像データのデコードタイミングが上記動画像データを構成する全ての階層の各ピクチャの符号化画像データのデコード間隔が等間隔とされる場合のデコードタイミングと同じくなるようにデコード時刻を補正するための情報である
送信方法。