JP2020205642A - Transmission method and transmission apparatus - Google Patents
Transmission method and transmission apparatus Download PDFInfo
- Publication number
- JP2020205642A JP2020205642A JP2020164375A JP2020164375A JP2020205642A JP 2020205642 A JP2020205642 A JP 2020205642A JP 2020164375 A JP2020164375 A JP 2020164375A JP 2020164375 A JP2020164375 A JP 2020164375A JP 2020205642 A JP2020205642 A JP 2020205642A
- Authority
- JP
- Japan
- Prior art keywords
- picture
- image data
- stream
- video stream
- identification information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本技術は、送信装置、送信方法、受信装置および受信方法に関する。詳しくは、本技術は、動画像データを構成する各ピクチャの画像データを階層符号化して送信する送信装置等に関する。 The present technology relates to a transmitting device, a transmitting method, a receiving device and a receiving method. More specifically, the present technology relates to a transmission device or the like that hierarchically encodes and transmits the image data of each picture constituting the moving image data.
圧縮動画を、放送、ネット等でサービスする際、受信機のデコード能力によって再生可能なフレーム周波数の上限が制限される。従って、サービス側は普及している受信機の再生能力を考慮して、低フレーム周波数のサービスのみに制限したり、高低複数のフレーム周波数のサービスを同時提供したりする必要がある。 When servicing compressed video over broadcasting, the Internet, etc., the upper limit of the reproducible frame frequency is limited by the decoding ability of the receiver. Therefore, it is necessary for the service side to limit the service to only the low frame frequency service or to provide the high and low frame frequency services at the same time in consideration of the reproduction capability of the widely used receiver.
受信機は、高フレーム周波数のサービスに対応するには、高コストとなり、早期普及の阻害要因となる。初期に低フレーム周波数のサービス専用の安価な受信機のみ普及していて、将来サービス側が高フレーム周波数のサービスを開始する場合、新たな受信機が無いと全く視聴不可能であり、新規サービスの普及の阻害要因となる。 Receivers are expensive to support high frame frequency services, which is a hindrance to early spread. Initially, only inexpensive receivers dedicated to low-frame frequency services were widespread, and if the service side starts high-frame frequency services in the future, it will not be possible to watch at all without a new receiver, and new services will spread. It becomes an inhibitory factor.
例えば、HEVC(High Efficiency Video Coding)において、動画像データを構成する各ピクチャの画像データを階層符号化することによる時間方向スケーラビリティが提案されている(非特許文献1参照)。受信側では、NAL(Network Abstraction Layer)ユニットのヘッダに挿入されているテンポラルID(temporal_id)に基づき、各ピクチャの階層を識別でき、デコード能力に対応した階層までの選択的なデコードが可能となる。 For example, in HEVC (High Efficiency Video Coding), temporal scalability by hierarchically encoding the image data of each picture constituting the moving image data has been proposed (see Non-Patent Document 1). On the receiving side, the hierarchy of each picture can be identified based on the temporal ID (temporal_id) inserted in the header of the NAL (Network Abstraction Layer) unit, and selective decoding up to the hierarchy corresponding to the decoding ability becomes possible. ..
本技術の目的は、受信側においてデコード能力に応じた良好なデコード処理を可能とすることにある。 An object of the present technology is to enable good decoding processing according to the decoding ability on the receiving side.
本技術の概念は、
動画像データを構成する各ピクチャの画像データを複数の階層に分類し、該分類された各階層のピクチャの画像データを符号化し、該符号化された各階層のピクチャの画像データを持つビデオデータを生成する画像符号化部と、
上記生成されたビデオデータを含む所定フォーマットのコンテナを送信する送信部と、
上記複数の階層を2以上の所定数の階層組に分割し、上記ビデオデータをコンテナするパケットに、該ビデオデータに含まれる各ピクチャの符号化画像データがそれぞれどの階層組に属するピクチャの符号化画像データであるかを識別する識別情報を挿入する識別情報挿入部を備える
送信装置。
The concept of this technology is
The image data of each picture constituting the moving image data is classified into a plurality of layers, the image data of the pictures of the classified layers is encoded, and the video data having the image data of the encoded pictures of each layer is obtained. And the image encoding unit that generates
A transmitter that transmits a container in a predetermined format containing the generated video data,
The plurality of layers are divided into two or more predetermined number of layer sets, and the encoded image data of each picture included in the video data is encoded in a packet that containers the video data. A transmission device including an identification information insertion unit that inserts identification information that identifies whether the data is image data.
本技術において、画像符号化部により、動画像データを構成する各ピクチャの画像データが符号化されてビデオデータが生成される。この場合、動画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化され、各階層のピクチャの符号化像データを持つビデオデータが生成される。 In the present technology, the image coding unit encodes the image data of each picture constituting the moving image data to generate video data. In this case, the image data of each picture constituting the moving image data is classified into a plurality of layers and encoded, and video data having the encoded image data of the pictures of each layer is generated.
送信部により、上述のビデオデータを含む所定フォーマットのコンテナが送信される。例えば、コンテナは、デジタル放送規格で採用されているトランスポートストリーム(MPEG−2 TS)であってもよい。また、例えば、コンテナは、インターネットの配信などで用いられるMP4、あるいはそれ以外のフォーマットのコンテナであってもよい。 The transmission unit transmits a container in a predetermined format containing the above-mentioned video data. For example, the container may be a transport stream (MPEG-2 TS) adopted in the digital broadcasting standard. Further, for example, the container may be a container of MP4 or another format used for distribution on the Internet.
識別情報挿入部により、複数の階層が2以上の所定数の階層組に分割され、ビデオデータをコンテナするパケットに、このビデオデータに含まれる各ピクチャの符号化画像データがそれぞれどの階層組に属するピクチャの符号化画像データであるかを識別する識別情報が挿入される。例えば、識別情報は、低階層側の階層組ほど高く設定される優先度情報である、ようにされてもよい。 The identification information insertion unit divides a plurality of layers into a predetermined number of layer sets of two or more, and the coded image data of each picture included in the video data belongs to which layer set in the packet that containers the video data. Identification information that identifies whether the picture is coded image data is inserted. For example, the identification information may be set to be higher priority information as the hierarchy set on the lower hierarchy side.
例えば、識別情報は、ペイロードにピクチャ毎の符号化画像データを含むPESパケットのヘッダに挿入される、ようにされてもよい。そして、この場合、例えば、識別情報は、ヘッダのPESプライオリティのフィールドを利用して挿入される、ようにされてもよい。また、例えば、識別情報は、アダプテーションフィールドを持つTSパケットの、このアダプテーションフィールドに挿入される、ようにされてもよい。そして、この場合、例えば、識別情報は、アダプテーションフィールドのESプライオリティインジケータのフィールドを利用して挿入される、ようにされてもよい。また、例えば、識別情報は、該当するピクチャのトラックに関連するヘッダのボックスに挿入される、ようにされてもよい。 For example, the identification information may be inserted into the header of a PES packet containing coded image data for each picture in the payload. Then, in this case, for example, the identification information may be inserted by utilizing the PES priority field of the header. Further, for example, the identification information may be inserted into the adaptation field of the TS packet having the adaptation field. Then, in this case, for example, the identification information may be inserted by utilizing the field of the ES priority indicator of the adaptation field. Also, for example, the identification information may be inserted into a box in the header associated with the track of the corresponding picture.
このように本技術においては、ビデオデータをコンテナするパケットに、このビデオデータに含まれる各ピクチャの符号化画像データがそれぞれどの階層組に属するピクチャの符号化画像データであるかを識別する識別情報が挿入されるものである。そのため、受信側においては、この識別情報を利用することで、デコード能力に応じた所定階層以下の階層のピクチャの符号化画像データを選択的にデコードすることが容易に可能となる。 As described above, in the present technology, in the packet for containerizing the video data, the identification information for identifying which layer group the coded image data of each picture included in the video data belongs to is the coded image data of the picture. Is inserted. Therefore, on the receiving side, by using this identification information, it is possible to easily selectively decode the encoded image data of the picture in the layer below the predetermined layer according to the decoding ability.
なお、本技術において、例えば、画像符号化部は、各階層のピクチャの符号化画像データを持つ単一のビデオストリームを生成するか、あるいは複数の階層を2以上の所定数の階層組に分割し、各階層組のピクチャの符号化画像データをそれぞれ持つ所定数のビデオストリームを生成し、コンテナのレイヤに、このコンテナに含まれるビデオストリームの構成情報を挿入する構成情報挿入部をさらに備える、ようにされてもよい。この場合、例えば、受信側では、コンテナに含まれるビデオストリームの構成情報に基づいて、ビデオストリームの構成を容易に把握可能となる。 In the present technology, for example, the image coding unit generates a single video stream having coded image data of pictures in each layer, or divides a plurality of layers into two or more predetermined number of layer sets. A configuration information insertion unit is further provided, which generates a predetermined number of video streams having encoded image data of each layer of pictures, and inserts the configuration information of the video stream contained in the container into the layer of the container. May be done. In this case, for example, the receiving side can easily grasp the configuration of the video stream based on the configuration information of the video stream included in the container.
また、本技術の他の概念は、
動画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化されることで得られた各階層のピクチャの符号化画像データを持つビデオデータを含む所定フォーマットのコンテナを受信する受信部と、
上記受信されたコンテナに含まれる上記ビデオストリームからデコード能力に応じた所定階層以下の階層のピクチャの符号化画像データを選択的にバッファに取り込み、該バッファに取り込まれた各ピクチャの符号化画像データをデコードして、上記所定階層以下の階層のピクチャの画像データを得る画像復号化部を備える
受信装置にある。
In addition, other concepts of this technology
Receives a container in a predetermined format containing video data having encoded image data of the pictures of each layer obtained by classifying and encoding the image data of each picture constituting the moving image data into a plurality of layers. With the receiver
From the video stream included in the received container, the encoded image data of the pictures in the predetermined layer or lower according to the decoding ability is selectively taken into the buffer, and the encoded image data of each picture taken into the buffer is taken. Is in the receiving device including an image decoding unit which decodes the image data of the picture in the layer below the predetermined layer.
本技術において、受信部により、所定フォーマットのコンテナが受信される。このコンテナには、動画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化されることで得られた各階層のピクチャの画像データを持つビデオデータが含まれている。 In the present technology, a container of a predetermined format is received by the receiving unit. This container contains video data having image data of the pictures of each layer obtained by classifying and encoding the image data of each picture constituting the moving image data into a plurality of layers.
画像復号化部により、受信されたコンテナに含まれるビデオデータからデコード能力に応じた所定階層以下の階層のピクチャの符号化画像データが選択的にバッファに取り込まれ、このバッファに取り込まれた各ピクチャの符号化画像データがデコードされて、所定階層以下の階層のピクチャの画像データが得られる。 The image decoding unit selectively fetches the encoded image data of the pictures in the predetermined hierarchy or lower according to the decoding ability from the video data contained in the received container into the buffer, and each picture captured in this buffer. The coded image data of the above is decoded, and the image data of the picture of the layer below the predetermined layer is obtained.
例えば、複数の階層は2以上の所定数の階層組に分割され、ビデオデータをコンテナするパケットに、このビデオデータに含まれる各ピクチャの符号化画像データがそれぞれどの階層組に属するピクチャの符号化画像データであるかを識別する識別情報が挿入されており、画像復号化部は、識別情報に基づいて、デコード能力に応じた所定階層組のピクチャの符号化画像データをバッファに取り込んでデコードする、ようにされてもよい。 For example, a plurality of layers are divided into a predetermined number of layer sets of two or more, and the coded image data of each picture included in the video data is encoded in a packet that containers the video data. Identification information for identifying whether the data is image data is inserted, and the image decoding unit takes in the encoded image data of a predetermined hierarchical set of pictures according to the decoding ability into a buffer and decodes the encoded image data based on the identification information. , May be done.
この場合、例えば、識別情報は、ペイロードにピクチャ毎の符号化画像データを含むPESパケットのヘッダに挿入されている、ようにされてもよい。また、この場合、例えば、識別情報は、アダプテーションフィールドを持つTSパケットの、このアダプテーションフィールドに挿入されている、ようにされてもよい。また、この場合、例えば、識別情報は、該当するピクチャのトラックに関連するヘッダのボックスに挿入されている、ようにされてもよい。 In this case, for example, the identification information may be inserted in the header of the PES packet containing the coded image data for each picture in the payload. Further, in this case, for example, the identification information may be inserted in the adaptation field of the TS packet having the adaptation field. Also, in this case, for example, the identification information may be inserted in the header box associated with the track of the corresponding picture.
また、例えば、複数の階層は2以上の所定数の階層組に分割され、受信されたコンテナには、所定数の階層組のピクチャの符号化画像データをそれぞれ持つ所定数のビデオストリームが含まれており、画像符号化部は、ストリーム識別情報に基づいて、デコード能力に応じた所定階層組のピクチャの符号化画像データをバッファに取り込んでデコードする、ようにされてもよい。このとき、例えば、画像復号化部は、所定階層組のピクチャの符号化画像データが複数のビデオストリームに含まれている場合、各ピクチャの符号化画像データをデコードタイミング情報に基づいて1つのストリームにしてバッファに取り込む、ようにされてもよい。 Further, for example, a plurality of layers are divided into a predetermined number of layer sets of two or more, and the received container contains a predetermined number of video streams each having encoded image data of a predetermined number of layers of pictures. Therefore, the image coding unit may be configured to take in the coded image data of a predetermined layer set of pictures according to the decoding ability into the buffer and decode it based on the stream identification information. At this time, for example, when the coded image data of a predetermined layer set of pictures is included in a plurality of video streams, the image decoding unit converts the coded image data of each picture into one stream based on the decoding timing information. And take it into the buffer.
このように本技術においては、受信されたビデオデータからデコード能力に応じた所定階層以下の階層のピクチャの符号化画像データが選択的にバッファに取り込まれてデコードされるものである。そのため、デコード能力に応じた適切なデコード処理が可能となる。 As described above, in the present technology, the encoded image data of the pictures in the predetermined layer or lower according to the decoding ability is selectively taken into the buffer and decoded from the received video data. Therefore, an appropriate decoding process according to the decoding ability becomes possible.
なお、本技術において、例えば、画像復号化部は、選択的にバッファに取り込まれる各ピクチャの符号化画像データのデコードタイムスタンプを書き換えて低階層ピクチャのデコード間隔を調整する機能を持つ、ようにされてもよい。この場合、デコード能力の低いデコーダでも無理のないデコード処理が可能となる。 In the present technology, for example, the image decoding unit has a function of rewriting the decoding time stamp of the encoded image data of each picture selectively taken into the buffer to adjust the decoding interval of the low-layer picture. May be done. In this case, even a decoder having a low decoding ability can perform a reasonable decoding process.
また、本技術において、例えば、画像復号化部で得られる各ピクチャの画像データのフレームレートを表示能力に合わせるポスト処理部をさらに備える、ようにされてもよい。この場合、デコード能力が低い場合であっても、高表示能力にあったフレームレートの画像データを得ることが可能となる。 Further, in the present technology, for example, a post processing unit that matches the frame rate of the image data of each picture obtained by the image decoding unit with the display capability may be further provided. In this case, even when the decoding ability is low, it is possible to obtain image data having a frame rate suitable for the high display ability.
本技術によれば、受信側においてデコード能力に応じた良好なデコード処理が可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。 According to the present technology, good decoding processing according to the decoding ability can be performed on the receiving side. The effects described here are not necessarily limited, and may be any of the effects described in the present disclosure.
以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明は以下の順序で行う。
1.実施の形態
2.変形例
Hereinafter, embodiments for carrying out the invention (hereinafter referred to as “embodiments”) will be described. The explanation will be given in the following order.
1. 1.
<1.実施の形態>
[送受信システム]
図1は、実施の形態としての送受信システム10の構成例を示している。この送受信システム10は、送信装置100と、受信装置200とを有する構成となっている。
<1. Embodiment>
[Transmission / reception system]
FIG. 1 shows a configuration example of the transmission /
送信装置100は、コンテナとしてのトランスポートストリームTSを放送波に載せて送信する。このトランスポートストリームTSには、動画像データを構成する各ピクチャの画像データが複数の階層に分類され、各階層のピクチャの画像データの符号化データを持つビデオストリームが含まれる。この場合、例えば、H.264/AVC、HEVCなどの符号化が施され、被参照ピクチャが自己階層および/または自己階層よりも低い階層に所属するように符号化される。
The
各階層のピクチャの符号化画像データに、ピクチャ毎に、所属階層を識別するための階層識別情報が付加される。この実施の形態においては、各ピクチャのNALユニット(nal_unit)のヘッダ部分に、階層識別情報(temporal_id)を意味する“nuh_temporal_id_plus1”が配置される。このように階層識別情報が付加されることで、受信側では、NALユニットのレイヤにおいて各ピクチャの階層識別が可能となり、所定階層以下の階層の符号化画像データを選択的に取り出してデコード処理を行うことができる。 Hierarchical identification information for identifying the affiliation hierarchy is added to the encoded image data of the pictures of each layer for each picture. In this embodiment, "nuh_temporal_id_plus1" meaning hierarchical identification information (temporal_id) is arranged in the header portion of the NAL unit (nal_unit) of each picture. By adding the hierarchy identification information in this way, the receiving side can identify the hierarchy of each picture in the layer of the NAL unit, and selectively extracts the encoded image data of the hierarchy below the predetermined hierarchy and performs the decoding process. It can be carried out.
この実施の形態において、複数の階層は2以上の所定数の階層組に分割され、ビデオストリームのレイヤに、このビデオストリームが持つ各ピクチャの符号化画像データがそれぞれどの階層組に属するピクチャの符号化画像データであるかを識別する識別情報が挿入される。 In this embodiment, the plurality of layers are divided into a predetermined number of layer sets of two or more, and the code of the picture to which the coded image data of each picture of the video stream belongs to the layer of the video stream. Identification information that identifies whether the data is converted image data is inserted.
この実施の形態において、この識別情報は、低階層側の階層組ほど高く設定される優先度情報とされ、ペイロードにピクチャ毎の符号化画像データを含むPESパケットのヘッダに挿入される。この識別情報により、受信側では、自身のデコード能力に応じた階層組のピクチャの符号化画像データのみをバッファに取り込んで処理することが可能となる。 In this embodiment, the identification information is set as priority information as the layer set on the lower layer side is set higher, and is inserted into the header of the PES packet including the encoded image data for each picture in the payload. With this identification information, the receiving side can take in only the encoded image data of the hierarchical set of pictures according to its own decoding ability into the buffer and process it.
トランスポートストリームTSには、各階層のピクチャの符号化画像データを持つ単一のビデオストリーム、あるいは上述の各階層組のピクチャの符号化画像データをそれぞれ持つ所定数のビデオストリームが含まれる。このトランスポートストリームTSには、階層符号化の階層情報と、ビデオストリームの構成情報が挿入される。この情報により、受信側では、階層構成やストリーム構成を容易に把握でき、適切なデコード処理を行うことが可能となる。 The transport stream TS includes a single video stream having encoded image data of each layer of pictures, or a predetermined number of video streams having each of the above-mentioned encoded image data of each layer of pictures. Hierarchical coding hierarchical information and video stream configuration information are inserted into the transport stream TS. With this information, the receiving side can easily grasp the hierarchical structure and the stream structure, and can perform appropriate decoding processing.
受信装置200は、送信装置100から放送波に載せて送られてくる上述のトランスポートストリームTSを受信する。受信装置200は、このトランスポートストリームTSに含まれるビデオストリームからデコード能力に応じて選択された所定階層以下の階層のピクチャの符号化画像データを選択的にバッファに取り込んでデコードし、各ピクチャの画像データを取得して、画像再生を行う。
The receiving
例えば、上述したように、トランスポートストリームTSに、複数の階層のピクチャの符号化画像データを持つ単一のビデオストリームが含まれている場合がある。その場合、上述の識別情報に基づいて、デコード能力に応じた所定階層組のピクチャの符号化画像データがバッファに取り込まれて処理される。 For example, as described above, the transport stream TS may include a single video stream having coded image data of pictures in a plurality of layers. In that case, based on the above-mentioned identification information, the encoded image data of a predetermined hierarchical set of pictures according to the decoding ability is taken into the buffer and processed.
また、例えば、上述したように、トランスポートストリームTSに、複数の階層が分割されて得られた2以上の所定数の階層組のピクチャの符号化画像データをそれぞれ持つ所定数のビデオストリームが含まれている場合がある。その場合、ストリーム識別情報に基づいて、デコード能力に応じた所定階層組のピクチャの符号化画像データがバッファに取り込まれて処理される。 Further, for example, as described above, the transport stream TS includes a predetermined number of video streams each having encoded image data of two or more predetermined number of hierarchical sets of pictures obtained by dividing a plurality of layers. It may be. In that case, based on the stream identification information, the encoded image data of a predetermined hierarchical set of pictures according to the decoding ability is taken into the buffer and processed.
また、受信装置200は、選択的にバッファに取り込まれる各ピクチャの符号化画像データのデコードタイムスタンプを書き換えて低階層ピクチャのデコード間隔を調整する処理を行う。この調整処理により、デコード能力の低いデコーダでも無理のないデコード処理が可能となる。
In addition, the receiving
また、受信装置200は、上述のようにデコードして得られた各ピクチャの画像データのフレームレートを表示能力に合わせるポスト処理を行う。このポスト処理により、例えば、デコード能力が低い場合であっても、高表示能力にあったフレームレートの画像データを得ることが可能となる。
In addition, the receiving
「送信装置の構成」
図2は、送信装置100の構成例を示している。この送信装置100は、CPU(Central Processing Unit)101と、エンコーダ102と、圧縮データバッファ(cpb:coded picture buffer)103と、マルチプレクサ104と、送信部105を有している。CPU101は、制御部であり、送信装置100の各部の動作を制御する。
"Configuration of transmitter"
FIG. 2 shows a configuration example of the
エンコーダ102は、非圧縮の動画像データを入力して、階層符号化を行う。エンコーダ102は、この動画像データを構成する各ピクチャの画像データを複数の階層に分類する。そして、エンコーダ102は、この分類された各階層のピクチャの画像データを符号化し、各階層のピクチャの符号化画像データを持つビデオストリームを生成する。エンコーダ102は、例えば、H.264/AVC、HEVCなどの符号化を行う。この際、エンコーダ102は、参照するピクチャ(被参照ピクチャ)が、自己階層および/または自己階層よりも下位の階層に所属するように、符号化する。
The
図3は、エンコーダ102で行われる階層符号化の一例を示している。この例は、0から4までの5階層に分類され、各階層のピクチャの画像データに対して、例えばHEVCの符号化が施された例である。
FIG. 3 shows an example of hierarchical coding performed by the
縦軸は階層を示している。階層0から4のピクチャの符号化画像データを構成するNALユニット(nal_unit)のヘッダ部分に配置されるtemporal_id(階層識別情報)として、それぞれ、0から4が設定される。一方、横軸は表示順(POC:picture order of composition)を示し、左側は表示時刻が前で、右側は表示時刻が後になる。
The vertical axis shows the hierarchy. 0 to 4 are set as temporary_id (layer identification information) arranged in the header portion of the NAL unit (nal_unit) constituting the encoded image data of the pictures in
図4(a)は、NALユニットヘッダの構造例(Syntax)を示し、図4(b)は、その構造例における主要なパラメータの内容(Semantics)を示している。「Forbidden_zero_bit」の1ビットフィールドは、0が必須である。「Nal_unit_type」の6ビットフィールドは、NALユニットタイプを示す。「Nuh_layer_id」の6ビットフィールドは、0を前提とする。「Nuh_temporal_id_plus1」の3ビットフィールドは、temporal_idを示し、1を加えた値(1〜7)をとる。 FIG. 4 (a) shows a structural example (Syntax) of the NAL unit header, and FIG. 4 (b) shows the contents (Semantics) of the main parameters in the structural example. 0 is required for the 1-bit field of "Forbidden_zero_bit". The 6-bit field of "Nal_unit_type" indicates the NAL unit type. The 6-bit field of "Nuh_layer_id" is assumed to be 0. The 3-bit field of "Nuh_temporal_id_plus1" indicates temporary_id and takes a value (1 to 7) to which 1 is added.
図3に戻って、矩形枠のそれぞれがピクチャを示し、数字は、符号化されているピクチャの順、つまりエンコード順(受信側ではデコード順)を示している。「1」から「17」(「2」を除く)の16個のピクチャによりサブ・ピクチャグループ(Sub group of pictures)を構成しており、「1」はそのサブ・ピクチャグループの先頭ピクチャである。「2」は、次のサブ・ピクチャグループの先頭ピクチャとなる。あるいは、「1」を除いて、「2」から「17」までの16個のピクチャによりサブ・ピクチャグループを構成しており、「2」はそのサブ・ピクチャグループの先頭のピクチャとなる。 Returning to FIG. 3, each of the rectangular frames indicates a picture, and the numbers indicate the order of the encoded pictures, that is, the encoding order (decoding order on the receiving side). A sub group of pictures is composed of 16 pictures from "1" to "17" (excluding "2"), and "1" is the first picture of the sub picture group. .. “2” is the first picture of the next sub picture group. Alternatively, except for "1", 16 pictures from "2" to "17" form a sub-picture group, and "2" is the first picture in the sub-picture group.
「1」のピクチャは、GOP(Group Of Pictures)の先頭のピクチャとなり得る。GOPの先頭ピクチャの符号化画像データは、図5に示すように、AUD、VPS、SPS、PPS、PSEI、SLICE、SSEI、EOSのNALユニットにより構成される。一方、GOPの先頭ピクチャ以外のピクチャは、AUD、PPS、PSEI、SLICE、SSEI、EOSのNALユニットにより構成される。VPSはSPSと共に、シーケンス(GOP)に一度、PPSはマイピクチャで伝送可能とされている。 The picture of "1" can be the first picture of GOP (Group Of Pictures). As shown in FIG. 5, the coded image data of the first picture of the GOP is composed of NAL units of AUD, VPS, SPS, PPS, PSEI, SLICE, SSEI, and EOS. On the other hand, the pictures other than the first picture of the GOP are composed of NAL units of AUD, PPS, PSEI, SLICE, SSEI and EOS. VPS, together with SPS, can be transmitted once in a sequence (GOP), and PPS can be transmitted in My Picture.
図3に戻って、実線矢印は、符号化におけるピクチャの参照関係を示している。例えば、「1」のピクチャは、Iピクチャであり、他のピクチャを参照しない。「2」のピクチャは、Pピクチャであり、「1」のピクチャを参照して符号化される。また、「3」のピクチャは、Bピクチャであり、「1」、「3」のピクチャを参照して符号化される。以下、同様、その他のピクチャは、表示順で近くのピクチャを参照して符号化される。なお、階層4のピクチャは、他のピクチャからの参照がない。
Returning to FIG. 3, the solid arrow indicates the reference relationship of the picture in the coding. For example, the picture of "1" is an I picture and does not refer to another picture. The picture of "2" is a P picture and is encoded with reference to the picture of "1". Further, the picture of "3" is a B picture, and is encoded with reference to the pictures of "1" and "3". Hereinafter, similarly, other pictures are encoded with reference to nearby pictures in the display order. Note that the picture in
エンコーダ102は、各階層のピクチャの符号化画像データを持つ単一のビデオストリーム(シングルストリーム)を生成するか、あるいは、複数の階層を2以上の所定数の階層組に分割し、各階層組のピクチャの符号化画像データをそれぞれ持つ所定数のビデオストリーム(マルチストリーム)を生成する。例えば、図3の階層符号化の例において、階層0から3を低階層の階層組とし、階層4を高階層の階層組として2つの階層組に分割されるとき、エンコーダ102は、各階層組のピクチャの符号化画像データをそれぞれ持つ2つのビデオストリーム(符号化ストリーム)を生成する。
The
エンコーダ102は、生成するビデオストリームの数によらず、上述したように、複数の階層を2以上の所定数の階層組に分割し、各階層組のピクチャの符号化画像データに、所属階層組を識別するための識別情報を付加する。この場合、例えば、識別情報として、SPSに含まれるビットストリームのレベル指定値である「general_level_idc」が利用され、高階層側の階層組ほど高い値とされる。なお、サブレイヤ(sublayer)毎に「sub_layer_level_idc」をSPSで送ることができるので、識別情報として、この「sub_layer_level_idc」を用いてもよい。以上はSPSだけでなくVPSにおいても供給される。
As described above, the
この場合、各階層組のレベル指定値の値は、この階層組のピクチャと、この階層組より低階層側の全ての階層組のピクチャとからなるフレームレートに対応した値とされる。例えば、図3の階層符号化の例において、階層0から3の階層組のレベル指定値は、階層0から3のピクチャのみからなるフレームレートに対応した値とされ、階層4の階層組のレベル指定値は、階層0から4の全ての階層のピクチャからなるフレームレートに対応した値とされる。
In this case, the value of the level designation value of each layer set is a value corresponding to the frame rate including the picture of this layer set and the picture of all the layer groups on the lower layer side of this layer group. For example, in the example of hierarchical coding in FIG. 3, the level designation value of the hierarchical set of
図6は、階層符号化の際のエンコード、デコード、表示順序と遅延の一例を示している。この例は、上述の図3の階層符号化例に対応している。この例は、全階層(全レイヤ)を、フル時間解像度で階層符号化する場合を示している。図6(a)はエンコーダ入力を示す。図6(b)に示すように、16ピクチャ分の遅延をもって、各ピクチャがエンコード順にエンコードされて、符号化ストリームが得られる。また、図6(b)はデコーダ入力を示し、各ピクチャがデコード順にデコードされる。そして、図6(c)に示すように、4ピクチャの遅延をもって、各ピクチャの画像データが表示順に得られる。 FIG. 6 shows an example of encoding, decoding, display order and delay during hierarchical coding. This example corresponds to the hierarchical coding example of FIG. 3 described above. This example shows the case where all layers (all layers) are hierarchically coded at full time resolution. FIG. 6A shows the encoder input. As shown in FIG. 6B, each picture is encoded in the encoding order with a delay of 16 pictures to obtain a coded stream. Further, FIG. 6B shows a decoder input, and each picture is decoded in the decoding order. Then, as shown in FIG. 6C, the image data of each picture is obtained in the display order with a delay of 4 pictures.
図7(a)は、上述の図6(b)に示す符号化ストリームと同様の符号化ストリームを、階層0から2、階層3、階層4の3段階に分けて示している。ここで、「Tid」は、temporal_idを示している。図7(b)は、階層0から2、つまりTid=0〜2の部分階層の各ピクチャを選択的にデコードする場合の表示期待(表示順)を示している。また、図7(c)は、階層0から3、つまりTid=0〜3の部分階層の各ピクチャを選択的にデコードする場合の表示期待(表示順)を示している。さらに、図7(d)は、階層0から4、つまりTid=0〜4の全階層の各ピクチャを選択的にデコードする場合の表示期待(表示順)を示している。
FIG. 7A shows a coded stream similar to the coded stream shown in FIG. 6B described above, divided into three stages of
図7(a)の符号化ストリームをデコード能力別にデコード処理するには、時間解像度がフルレートのデコード能力が必要となる。しかし、Tid=0〜2のデコードを行う場合、符号化されたフルの時間解像度に対して、1/4のデコード能力をもつデコーダが処理可能とすべきである。また、Tid=0〜3のデコードを行う場合、符号化されたフルの時間解像度に対して、1/2のデコード能力をもつデコーダが処理可能とすべきである。 In order to decode the encoded stream of FIG. 7A according to the decoding ability, a decoding ability having a full time resolution is required. However, when decoding Tid = 0 to 2, a decoder having a decoding capability of 1/4 should be able to process the encoded full time resolution. Further, when decoding Tid = 0 to 3, a decoder having a decoding capability of 1/2 should be able to process the encoded full time resolution.
しかし、階層符号化において参照される低階層に属するピクチャが連続し、それらが時間解像度でフルなタイミングで符号化されると、部分デコードするデコーダの能力が追い付かないことになる。図7(a)のAの期間がそれに該当する。Tid=0〜2、あるいはTid=0〜3の部分的な階層をデコードするデコーダは、表示の例で示すような、時間軸が1/4あるいは1/2の能力でデコード・表示を行うため、Aの期間符号化された時間解像度がフルで連続するピクチャのデコードはできない。 However, if the pictures belonging to the lower hierarchy referred to in the hierarchical coding are continuous and encoded at full timing at the time resolution, the ability of the decoder to partially decode cannot catch up. The period A in FIG. 7 (a) corresponds to this. A decoder that decodes a partial hierarchy of Tid = 0 to 2 or Tid = 0 to 3 is for decoding and displaying with the ability of 1/4 or 1/2 of the time axis as shown in the display example. , A period-encoded time resolution is full and continuous pictures cannot be decoded.
TaはTid=0〜2をデコードするデコーダにおけるピクチャ毎のデコード処理に要する時間を示す。TbはTid=0〜3をデコードするデコーダにおけるピクチャ毎のデコード処理に要する時間を示す。TcはTid=0〜4(全階層)をデコードするデコーダにおけるピクチャ毎のデコード処理に要する時間を示す。これらの各時間の関係は、Ta>Tb>Tcとなる。 Ta indicates the time required for the decoding process for each picture in the decoder that decodes Tid = 0 to 2. Tb indicates the time required for the decoding process for each picture in the decoder that decodes Tid = 0 to 3. Tc indicates the time required for the decoding process for each picture in the decoder that decodes Tid = 0 to 4 (all layers). The relationship between these times is Ta> Tb> Tc.
この実施の形態においては、後述するように、受信装置200は、デコード能力が低いデコーダを持ち、低階層ピクチャのデコードを選択的に行う場合、デコードタイムスタン(DTS:decoding Time stamp)を書き換えて低階層ピクチャのデコード間隔を調整する機能を持つようにされる。これにより、デコード能力の低いデコーダでも、無理のないデコード処理が可能となる。
In this embodiment, as will be described later, when the receiving
図2に戻って、圧縮データバッファ(cpb)103は、エンコーダ102で生成された、各階層のピクチャの符号化データを含むビデオストリームを、一時的に蓄積する。マルチプレクサ104は、圧縮データバッファ103に蓄積されているビデオストリームを読み出し、PESパケット化し、さらにトランスポートパケット化して多重し、多重化ストリームとしてのトランスポートストリームTSを得る。
Returning to FIG. 2, the compressed data buffer (cpb) 103 temporarily stores a video stream containing encoded data of the pictures of each layer generated by the
この実施の形態においては、上述したように、複数の階層は2以上の所定数の階層組に分割される。マルチプレクサ104は、PESパケットのヘッダ(PESヘッダ)に、ビデオストリームが持つ各ピクチャの符号化画像データがそれぞれどの階層組に属するピクチャの符号化画像データであるかを識別する識別情報を挿入する。この識別情報により、受信側では、自身のデコード能力に応じた階層組のピクチャの符号化画像データのみをバッファに取り込んで処理することが可能となる。
In this embodiment, as described above, the plurality of layers are divided into a predetermined number of layer sets of two or more. The
マルチプレクサ104は、例えば、複数の階層を低階層組と高階層組に二分する場合、PESヘッダに存在する、周知のPESプライオリティ(PES_priority)の1ビットフィールドを利用する。この1ビットフィールドは、PESペイロードに低階層側の階層組のピクチャの符号化画像データを含む場合は“1”、つまり優先度が高く設定される。一方、この1ビットフィールドは、PESペイロードに高階層側の階層組のピクチャの符号化画像データを含む場合は“0”、つまり優先度が低く設定される。
The
トランスポートストリームTSには、上述したように、各階層のピクチャの符号化画像データを持つ単一のビデオストリーム、あるいは上述の各階層組のピクチャの符号化画像データをそれぞれ持つ所定数のビデオストリームが含まれる。マルチプレクサ104は、トランスポートストリームTSに、階層情報、ストリーム構成情報を挿入する。
As described above, the transport stream TS includes a single video stream having encoded image data of the pictures of each layer, or a predetermined number of video streams having the encoded image data of the pictures of each layer set described above. Is included. The
トランスポートストリームTSには、PSI(Program Specific Information)の一つとして、PMT(Program Map Table)が含まれている。このPMTには、各ビデオストリームに関連した情報を持つビデオエレメンタリ・ループ(video ES1 loop)が存在する。このビデオエレメンタリ・ループには、各ビデオストリームに対応して、ストリームタイプ、パケット識別子(PID)等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。 The transport stream TS includes PMT (Program Map Table) as one of PSI (Program Specific Information). In this PMT, there is a video elemental loop (video ES1 loop) that has information related to each video stream. In this video elemental loop, information such as a stream type and a packet identifier (PID) is arranged corresponding to each video stream, and a descriptor describing information related to the video stream is also arranged.
マルチプレクサ104は、このデスクリプタの一つとして、HEVCデスクリプタ(HEVC_descriptor)を挿入し、さらに、新たに定義するスケーラビリティ・エクステンション・デスクリプタ(scalability_extension_descriptor)を挿入する。
The
図8は、HEVCデスクリプタ(HEVC_descriptor)の構造例(Syntax)を示している。また、図9は、その構造例における主要な情報の内容(Semantics)を示している。 FIG. 8 shows a structural example (Syntax) of the HEVC descriptor (HEVC_descriptor). In addition, FIG. 9 shows the contents (Semantics) of the main information in the structural example.
「descriptor_tag」の8ビットフィールドは、デスクリプタタイプを示し、ここでは、HEVCデスクリプタであることを示す。「descriptor_length」の8ビットフィールドは、デスクリプタの長さ(サイズ)を示し、デスクリプタの長さとして、以降のバイト数を示す。 The 8-bit field of "descriptor_tag" indicates the descriptor type, and here, it indicates that it is a HEVC descriptor. The 8-bit field of "descriptor_length" indicates the length (size) of the descriptor, and indicates the number of bytes thereafter as the length of the descriptor.
「level_idc」の8ビットフィールドは、ビットレートのレベル指定値を示す。また、「temporal_layer_subset_flag = 1」であるとき、「temporal_id_min」の5ビットフィールドと、「temporal_id_max」の5ビットフィールドが存在する。「temporal_id_min」は、対応するビデオストリームに含まれる階層符号化データの最も低い階層のtemporal_idの値を示す。「temporal_id_max」は、対応するビデオストリームが持つ階層符号化データの最も高い階層のtemporal_idの値を示す。 The 8-bit field of "level_idc" indicates the level specification value of the bit rate. Further, when "temporal_layer_subset_flag = 1", there are a 5-bit field of "temporal_id_min" and a 5-bit field of "temporal_id_max". "Temporal_id_min" indicates the value of temporary_id of the lowest hierarchy of the hierarchically encoded data contained in the corresponding video stream. “Temporal_id_max” indicates the value of temporary_id in the highest hierarchy of the hierarchically encoded data of the corresponding video stream.
「level_constrained_flag」の1ビットフィールドは、新たに定義するものであり、VPSのNALユニットに含まれるビットストリームのレベル指定値(general_level_idc)がピクチャ毎に変わり得ることを示す。“1”は変わり得ることを示し、“0”は変わらないことを示す。 The 1-bit field of "level_constrained_flag" is newly defined and indicates that the level specification value (general_level_idc) of the bitstream included in the NAL unit of the VPS can be changed for each picture. “1” indicates that it can change, and “0” indicates that it does not change.
上述したように、例えば、“general_level_idc”は、複数の階層を2以上の所定数の階層組に分割した際の所属階層組の識別情報として利用される。そのため、複数の階層組のピクチャの符号化画像データを持つビデオストリームの場合、“general_level_idc”がピクチャ毎に変わり得ることになる。一方、単一の階層組のピクチャの符号化画像データを持つビデオストリームの場合は、“general_level_idc”がピクチャ毎に変わるということはない。あるいは、sublayerごとに“sublayer_level_idc”が付され、デコーダはデコード可能な範囲のtemporal_idのパケットを読むことによって、対応する階層のデータを処理する。 As described above, for example, "general_level_idc" is used as identification information of the affiliation hierarchy group when a plurality of layers are divided into a predetermined number of hierarchy sets of two or more. Therefore, in the case of a video stream having coded image data of a plurality of hierarchical sets of pictures, "general_level_idc" can change for each picture. On the other hand, in the case of a video stream having encoded image data of a single hierarchical set of pictures, "general_level_idc" does not change for each picture. Alternatively, "sublayer_level_idc" is attached to each sublayer, and the decoder processes the data of the corresponding layer by reading the packet of temporary_id in the decodable range.
「scalability_id」の3ビットフィールドは、新たに定義するものであり、複数のビデオストリームがスケーラブルなサービスを供給する際、個々のストリームに付されるスケーラビリティを示すIDである。“0”はベースストリームを示し、“1”〜“7”はベースストリームからのスケーラビリティの度合いによって増加するIDである。 The 3-bit field of "scalability_id" is newly defined and is an ID indicating the scalability assigned to each stream when a plurality of video streams provide a scalable service. “0” indicates a base stream, and “1” to “7” are IDs that increase depending on the degree of scalability from the base stream.
図10は、スケーラビリティ・エクステンション・デスクリプタ(scalability_extension_descriptor)の構造例(Syntax)を示している。また、図11は、その構造例における主要な情報の内容(Semantics)を示している。 FIG. 10 shows a structural example (Syntax) of a scalability extension descriptor (scalability_extension_descriptor). In addition, FIG. 11 shows the contents (Semantics) of the main information in the structural example.
「scalability_extension_descriptor_tag」の8ビットフィールドは、デスクリプタタイプを示し、ここでは、スケーラビリティ・エクステンション・デスクリプタであることを示す。「scalability_extension_descriptor_length」の8ビットフィールドは、デスクリプタの長さ(サイズ)を示し、デスクリプタの長さとして、以降のバイト数を示す。「extension_stream_existing_flag」の1ビットフィールドは、別ストリームによる拡張サービスがあることを示すフラグである。“1”は拡張ストリームがあることを示し、“0”は拡張ストリームがないことを示す。 The 8-bit field of "scalability_extension_descriptor_tag" indicates the descriptor type, and here, it indicates that it is a scalability extension descriptor. The 8-bit field of "scalability_extension_descriptor_length" indicates the length (size) of the descriptor, and indicates the number of bytes thereafter as the descriptor length. The 1-bit field of "extension_stream_existing_flag" is a flag indicating that there is an extension service by another stream. “1” indicates that there is an extended stream, and “0” indicates that there is no extended stream.
「extension_type」の3ビットフィールドは、拡張のタイプを示す。“001”は、拡張が、時間方向スケーラブルであることを示す。“010”は、拡張が、空間方向スケーラブルであることを示す。“011”は、拡張が、ビットレートスケーラブルであることを示す。 The 3-bit field of "extension_type" indicates the type of extension. “001” indicates that the extension is time-wise scalable. “010” indicates that the extension is spatially scalable. “011” indicates that the extension is bit rate scalable.
「number_of_streams」の4ビットフィールドは、配信サービスに関与するストリームの総数を示す。「scalability_id」の3ビットフィールドは、複数のビデオストリームがスケーラブルなサービスを供給する際、個々のストリームに付されるスケーラビリティを示すIDである。“0”はベースストリームを示し、“1”〜“7”はベースストリームからのスケーラビリティの度合いによって増加するIDである。 The 4-bit field of "number_of_streams" indicates the total number of streams involved in the distribution service. The 3-bit field of "scalability_id" is an ID indicating the scalability attached to each stream when a plurality of video streams provide a scalable service. “0” indicates a base stream, and “1” to “7” are IDs that increase depending on the degree of scalability from the base stream.
「number_of_layers」の3ビットフィールドは、当該ストリームの総階層数を示す。「sublayer_level_idcの8ビットフィールドは、temporal_idで示される該当サブレイヤが、それより下位のレイヤを含んで、デコーダが対応するlevel_idcの値を示す。「Number of layers」は、NALユニットヘッダ(NAL unit header)の「Nuh_temporal_id_plus1」のすべての値を包含するものであり、デマルチプレクサ(demuxer)がこれを検知することで、所定のlevel_idcに対応するデコーダがどの階層までデコードできるかを、「sublayer_level_idc」により事前に認識することが可能となる。 The 3-bit field of "number_of_layers" indicates the total number of layers of the stream. "The 8-bit field of sublayer_level_idc indicates the value of level_idc corresponding to the corresponding sublayer indicated by temporary_id, including the layers below it." Number of layers "is the NAL unit header. It includes all the values of "Nuh_temporal_id_plus1" in It becomes possible to recognize.
上述したように、この実施の形態において、SPSに含まれるビットレートのレベル指定値(general_level_idc)などは、複数の階層を2以上の所定数の階層組に分割した際の所属階層組の識別情報として利用される。各階層組のレベル指定値の値は、この階層組のピクチャと、この階層組より低階層側の全ての階層組のピクチャとからなるフレームレートに対応した値とされる。 As described above, in this embodiment, the bit rate level specified value (general_level_idc) included in the SPS is the identification information of the affiliation hierarchy group when a plurality of layers are divided into a predetermined number of hierarchy sets of two or more. It is used as. The value of the level designation value of each layer set is a value corresponding to the frame rate consisting of the picture of this layer group and the picture of all the layer groups on the lower layer side of this layer group.
図12は、マルチプレクサ104の構成例を示している。PESプライオリティ発生部141と、セクションコーディング部142と、PESパケット化部143-1〜143-Nと、スイッチ部144と、トランスポートパケット化部145を有している。
FIG. 12 shows a configuration example of the
PESパケット化部143-1〜143-Nは、それぞれ、圧縮データバッファ103に蓄積されているビデオストリーム1〜Nを読み込み、PESパケットを生成する。この際、PESパケット化部143-1〜143-Nは、ビデオストリーム1〜NのHRD情報を元にDTS(Decoding Time Stamp)、PTS(Presentation Time Stamp)のタイムスタンプをPESヘッダに付与する、この場合、各ピクチャの「cpu_removal_delay」、「dpb_output_delay」が参照され、STC(System Time Clock)時刻に同期した精度で、各々DTS、PTSに変換され、PESヘッダの所定位置に配置される。
The PES packetizing units 143-1 to 143-N read the video streams 1 to N stored in the
PESプライオリティ発生部141には、CPU101から、階層数(Number of layers)とストリーム数(Number of streams)の情報が供給される。PESプライオリティ発生部141は、階層数で示される複数の階層を2以上の所定数の階層組に分割した場合における、各階層組の優先度情報を発生する。例えば、2分割される場合には、PESパケットヘッダの「PES_priority」の1ビットフィールドに挿入すべき値(低階層組は“1”、高階層組は“0”)を発生する。
Information on the number of layers and the number of streams is supplied from the
PESプライオリティ発生部141で発生される各階層組の優先度情報は、PESパケット化部143-1〜143-Nに供給される。PESパケット化部143-1〜143-Nは、この各階層組の優先度を、その階層組のピクチャの符号化画像データを含むPESパケットのヘッダに識別情報として挿入する。
The priority information of each layer set generated by the PES
なお、このようにピクチャ毎にPESパケットのヘッダにそのピクチャが属する階層組の優先度をヘッダ情報として挿入する処理は、エンコーダ102で単一のビデオストリーム(シングルストリーム)が生成される場合に限ってもよい。この場合は、PESパケット化部143-1でのみ処理が行われることとなる。
Note that the process of inserting the priority of the hierarchical set to which the picture belongs into the header of the PES packet for each picture as header information is limited to the case where the
スイッチ部144は、PESパケット化部143-1〜143-Nで生成されたPESパケットを、パケット識別子(PID)に基づいて選択的に取り出し、トランスポートパケット化部145に送る。トランスポートパケット化部145は、PESパケットをペイロードに含むTSパケットを生成し、トランスポートストリームTSを得る。
The
セクションコーディング部142は、トランスポートストリームTSに挿入すべき各種のセクションデータを生成する。セクションコーディング部142には、CPU101から、階層数(Number of layers)と、ストリーム数(Number of streams)の情報が供給される。セクションコーディング部142は、この情報に基づいて、上述したHEVCデスクリプタ(HEVC_descriptor)、スケーラビリティ・エクステンション・デスクリプタ(scalability_extension_descriptor)を生成する。
The
セクションコーディング部142は、各種セクションデータを、トランスポートパケット化部145に送る。トランスポートパケット化部145は、このセクションデータを含むTSパケットを生成し、トランスポートストリームTSに挿入する。
The
図13は、マルチプレクサ104の処理フローを示す。この例は、複数の階層を低階層組と高階層組の2つに分割する例である。マルチプレクサ104は、ステップST1において、処理を開始し、その後に、ステップST2の処理に移る。このステップST2において、マルチプレクサ104は、ビデオストリーム(ビデオエレメンタリストリーム)の各ピクチャのtemporal_id_と、構成する符号化ストリーム数を設定する。
FIG. 13 shows the processing flow of the
次に、マルチプレクサ104は、ステップST3において、HRD情報(cpu_removal_delay、dpb_output_delay)を参照して、DTS、PTSを決め、PESヘッダの所定位置に挿入する。
Next, in step ST3, the
次に、マルチプレクサ104は、ステップST4において、シングルストリーム(単一ビデオストリーム)か否かを判断する。シングルストリームであるとき、マルチプレクサ104は、ステップST5において、1つのPID(パケット識別子)で多重化処理を進めることとし、その後に、ステップST7の処理に移る。
Next, the
このステップST7において、マルチプレクサ104は、ピクチャのそれぞれについて低階層組のピクチャ(スライス)であるか判断する。低階層組のピクチャであるとき、マルチプレクサ104は、ステップST8において、ペイロードにそのピクチャの符号化画像データを含むPESパケットのヘッダの「PES_priority」を“1”に設定する。一方、高階層組(非低階層組)のピクチャであるとき、マルチプレクサ104は、ステップST9において、ペイロードにそのピクチャの符号化画像データを含むPESパケットのヘッダの「PES_priority」を“0”に設定する。マルチプレクサ104は、ステップST8、ステップST9の処理の後、ステップST10の処理に移る。
In this step ST7, the
ここで、ピクチャ(picture)とスライス(slice)の関連付けについて説明する。ピクチャは、概念で、構造定義としてはスライスと同じである。1ピクチャは、複数のスライスに分けられるが、この複数のスライスがアクセスユニットとしては同じであることは、パラメータセット(parameter set)でわかるようになっている。 Here, the association between the picture and the slice will be described. A picture is a concept and has the same structure definition as a slice. One picture is divided into a plurality of slices, and it can be seen from the parameter set that the plurality of slices are the same as an access unit.
上述のステップST4でシングルストリームでないとき、マルチプレクサ104は、ステップST6において、複数のパケットPID(パケット識別子)で多重化処理を進めることとし、その後に、ステップST10の処理に移る。このステップST10において、マルチプレクサ104は、符号化ストリーム(ビデオエレメンタリストリーム)をPESペイロードに挿入してPESパケット化する。
When it is not a single stream in step ST4 described above, the
次に、マルチプレクサ104は、ステップST11において、HEVCデスクリプタ、スケーラビリティ・エクステンション・デスクリプタなどをコーディングする。そして、マルチプレクサ104は、ステップST12においてトランスポートパケット化し、トランスポートストリームTSを得る。その後、マルチプレクサ104は、ステップST13において、処理を終了する。
Next, the
図14は、単一ストリームによる配信を行う場合のトランスポートストリームTSの構成例を示している。このトランスポートストリームTSには、1つのビデオストリームが含まれている。すなわち、この構成例では、複数の階層のピクチャの例えばHEVCによる符号化画像データを持つビデオストリームのPESパケット「video PES1」が存在すると共に、オーディオストリームのPESパケット「audio PES1」が存在する FIG. 14 shows a configuration example of the transport stream TS in the case of distribution by a single stream. This transport stream TS includes one video stream. That is, in this configuration example, a video stream PES packet "video PES1" having, for example, HEVC-encoded image data of a plurality of layers of pictures exists, and an audio stream PES packet "audio PES1" exists.
各ピクチャの符号化画像データには、VPS、SPS、SEIなどのNALユニットが存在する。上述したように、各ピクチャのNALユニットのヘッダには、そのピクチャの階層を示すtemporal_idが挿入されている。また、例えば、VPSにはビットレートのレベル指定値(general_level_idc)が含まれている。また、例えば、ピクチャ・タイミング・SEI(Picture timing SEI)には、「cpb_removal_delay」と「dpb_output_delay」が含まれている。 NAL units such as VPS, SPS, and SEI are present in the coded image data of each picture. As described above, a temporary_id indicating the hierarchy of the picture is inserted in the header of the NAL unit of each picture. Further, for example, the VPS includes a bit rate level specification value (general_level_idc). Further, for example, the picture timing SEI (Picture timing SEI) includes "cpb_removal_delay" and "dpb_output_delay".
また、PESパケットのヘッダ(PESヘッダ)に「PES_priority」の1ビットの優先度を示すフィールドが存在する。この「PES_priority」により、PESペイロードに含まれるピクチャの符号化画像データが、低階層組のピクチャのものか、あるいは高階層組のピクチャのものかが識別可能である。 Further, in the header (PES header) of the PES packet, there is a field indicating the priority of 1 bit of "PES_priority". By this "PES_priority", it is possible to identify whether the encoded image data of the picture included in the PES payload is that of a low-layer set of pictures or that of a high-layer set of pictures.
また、トランスポートストリームTSには、PSI(Program Specific Information)の一つとして、PMT(Program Map Table)が含まれている。このPSIは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。 Further, the transport stream TS includes PMT (Program Map Table) as one of PSI (Program Specific Information). This PSI is information describing which program each elementary stream included in the transport stream belongs to.
PMTには、プログラム全体に関連する情報を記述するプログラム・ループ(Program loop)が存在する。また、PMTには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、ビデオエレメンタリ・ループ(video ES1 loop)が存在すると共に、オーディオエレメンタリ・ループ(audio ES1 loop)が存在する。 The PMT has a program loop that describes information related to the entire program. In addition, the PMT has an elemental loop that has information related to each elementary stream. In this configuration example, there is a video elemental loop (video ES1 loop) and an audio elemental loop (audio ES1 loop).
ビデオエレメンタリ・ループには、ビデオストリーム(video PES1)に対応して、ストリームタイプ、パケット識別子(PID)等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このデスクリプタの一つとして、上述したHEVCデスクリプタ(HEVC_descriptor)、スケーラビリティ・エクステンション・デスクリプタ(scalability_extension_descriptor)が挿入される。 In the video elemental loop, information such as the stream type and packet identifier (PID) is arranged corresponding to the video stream (video PES1), and a descriptor that describes the information related to the video stream is also arranged. To. As one of the descriptors, the above-mentioned HEVC descriptor (HEVC_descriptor) and the scalability extension descriptor (scalability_extension_descriptor) are inserted.
図2に戻って、送信部105は、トランスポートストリームTSを、例えば、QPSK/OFDM等の放送に適した変調方式で変調し、RF変調信号を送信アンテナから送信する。
Returning to FIG. 2, the
図2に示す送信装置100の動作を簡単に説明する。エンコーダ102には、非圧縮の動画像データが入力される。エンコーダ102では、この動画像データに対して、階層符号化が行われる。すなわち、エンコーダ102では、この動画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化され、各階層のピクチャの符号化画像データを持つビデオストリームが生成される。この際、参照するピクチャが、自己階層および/または自己階層よりも下位の階層に所属するように、符号化される。
The operation of the
エンコーダ102では、各階層のピクチャの符号化画像データを持つ単一のビデオストリームが生成されるか、あるいは、複数の階層が2以上の所定数の階層組に分割され、各階層組のピクチャの符号化画像データをそれぞれ持つ所定数のビデオストリームが生成される。
In the
また、エンコーダ102で生成された、各階層のピクチャの符号化データを含むビデオストリームは、圧縮データバッファ(cpb)103に供給され、一時的に蓄積される。マルチプレクサ104では、圧縮データバッファ103に蓄積されているビデオストリームが読み出され、PESパケット化され、さらにトランスポートパケット化されて多重され、多重化ストリームとしてのトランスポートストリームTSが得られる。
Further, the video stream including the encoded data of the pictures of each layer generated by the
マルチプレクサ104では、例えば、単一のビデオストリーム(シングルストリーム)の場合、PESパケットのヘッダ(PESヘッダ)に、ビデオストリームが持つ各ピクチャの符号化画像データがそれぞれどの階層組に属するピクチャの符号化画像データであるかを識別する識別情報が挿入される。例えば、複数の階層を低階層組と高階層組に二分する場合、PESヘッダのPESプライオリティ(PES_priority)の1ビットフィールドが利用される。
In the
また、マルチプレクサ104では、トランスポートストリームTSに、階層情報、ストリーム構成情報が挿入される。すなわち、マルチプレクサ104では、各ビデオストリームに対応したビデオエレメンタリ・ループに、HEVCデスクリプタ(HEVC_descriptor)、スケーラビリティ・エクステンション・デスクリプタ(scalability_extension_descriptor)が挿入される。
Further, in the
マルチプレクサ104で生成されるトランスポートストリームTSは、送信部105に送られる。送信部105では、このトランスポートストリームTSが、例えば、QPSK/OFDM等の放送に適した変調方式で変調され、RF変調信号が送信アンテナから送信される。
The transport stream TS generated by the
「受信装置の構成」
図15は、受信装置200の構成例を示している。この受信装置200は、CPU(Central Processing Unit)201と、受信部202と、デマルチプレクサ203と、圧縮データバッファ(cpb:coded picture buffer)204を有している。また、この受信装置200は、デコーダ205と、非圧縮データバッファ(dpb:decoded picture buffer)206と、ポスト処理部207を有している。CPU201は、制御部を構成し、受信装置200の各部の動作を制御する。
"Receiver configuration"
FIG. 15 shows a configuration example of the receiving
受信部202は、受信アンテナで受信されたRF変調信号を復調し、トランスポートストリームTSを取得する。デマルチプレクサ203は、トランスポートストリームTSから、デコード能力(Decoder temporal layer capability)に応じた階層組のピクチャの符号化画像データを選択的に取り出し、圧縮データバッファ(cpb:coded picture buffer)204に送る。
The receiving
図16は、デマルチプレクサ203の構成例を示している。デマルチプレクサ203は、TSアダプテーションフィールド抽出部231と、クロック情報抽出部232と、TSペイロード抽出部233と、セクション抽出部234と、PSIテーブル/デスクリプタ抽出部235と、PESパケット抽出部236を有している。また、デマルチプレクサ203は、PESヘッダ抽出部237と、タイムスタンプ抽出部238と、識別情報抽出部239と、PESペイロード抽出部240と、ストリーム構成部(ストリームコンポーザ)241を有している。
FIG. 16 shows a configuration example of the
TSアダプテーションフィールド抽出部231は、トランスポートストリームTSのアダプテーションフィールドを持つTSパケットから当該アダプテーションフィールドを抽出する。クロック情報抽出部232は、PCR(Program Clock Reference)が含まれるアダプテーションフィールドから当該PCRを抽出し、CPU201に送る。
The TS adaptation
TSペイロード抽出部233は、トランスポートストリームTSのTSペイロードを持つTSパケットから当該TSペイロードを抽出する。セクション抽出部234は、セクションデータが含まれるTSペイロードから当該セクションデータを抽出する。PSIテーブル/デスクリプタ抽出部235は、セクション抽出部234で抽出されたセクションデータを解析し、PSIテーブルやデスクリプタを抽出する。そして、PSIテーブル/デスクリプタ抽出部235は、temporal_idの最小値(min)と最大値(max)を、CPU201に送ると共に、ストリーム構成部241に送る。
The TS
PESパケット抽出部236は、PESパケットが含まれるTSペイロードから当該PESパケットを抽出する。PESヘッダ抽出部237は、PESパケット抽出部236で抽出されたPESパケットからPESヘッダを抽出する。タイムスタンプ抽出部238は、ピクチャ毎にPESヘッダに挿入されているタイムスタンプ(DTS、PTS)を抽出し、CPU201に送ると共に、ストリーム構成部241に送る。
The PES packet extraction unit 236 extracts the PES packet from the TS payload including the PES packet. The PES
識別情報抽出部239は、ピクチャ毎にPESヘッダに挿入されている、そのピクチャが属する階層組を識別する識別情報を抽出し、ストリーム構成部241に送る。例えば、複数の階層が低階層組と高階層組に2分されている場合、PESヘッダの「PES_priority」の1ビットフィールドの優先度情報を抽出し、ストリーム構成部241に送る。なお、この識別情報は、トランスポートストリームTSに単一のビデオストリームが含まれる場合には送信側で必ず挿入されているが、トランスポートストリームTSに複数のビデオストリームが含まれる場合には送信側で挿入されないこともある。
The identification
PESペイロード抽出部240は、PESパケット抽出部236で抽出されたPESパケットからPESペイロード、つまり、各階層のピクチャの符号化画像データを抽出する。ストリーム構成部241は、PESペイロード抽出部240で取り出される各階層のピクチャの符号化画像データから、デコード能力(Decoder temporal layer capability)に応じた階層組のピクチャの符号化画像データを選択的に取り出し、圧縮データバッファ(cpb:coded picture buffer)204に送る。この場合、ストリーム構成部241は、PSIテーブル/デスクリプタ抽出部235で得られる階層情報、ストリーム構成情報、識別情報抽出部239で抽出される識別情報(優先度情報)などを参照する。
The PES
例えば、トランスポートストリームTSに含まれるビデオストリーム(符号化ストリーム)のフレームレートが120fpsである場合を考える。例えば、複数の階層が低階層側の階層組と高階層側の階層組とに2分され、各階層組のピクチャのフレームレートがそれぞれ60fpsであるとする。例えば、上述の図3に示す階層符号化例では、階層0から3は低階層側の階層組とされ、60fpsのlevel_idc対応のデコーダがデコード可能となる。また、階層4は高階層側の階層組とされ、120fpsのlevel_idc対応のデコーダがデコード可能となる。
For example, consider a case where the frame rate of the video stream (encoded stream) included in the transport stream TS is 120 fps. For example, it is assumed that a plurality of layers are divided into a lower layer side layer group and a higher layer side layer group, and the frame rate of the picture of each layer group is 60 fps. For example, in the hierarchical coding example shown in FIG. 3 described above, layers 0 to 3 are set on the lower layer side, and a decoder corresponding to level_idc at 60 fps can decode. Further, the
この場合、トランスポートストリームTSに、各階層のピクチャの符号化データを持つ単一のビデオストリーム(符号化ストリーム)が含まれているか、あるいは、低階層側の階層組のピクチャの符号化画像データ持つベースストリム(B_str)と、高階層側の階層組のピクチャの符号化画像データを持つ拡張ストリーム(E_str)の2つのビデオストリーム(符号化ストリーム)が含まれている。 In this case, the transport stream TS includes a single video stream (encoded stream) having encoded data of the pictures of each layer, or encoded image data of the pictures of the lower layer set. It includes two video streams (encoded streams), a base strrim (B_str) having a base strim, and an extended stream (E_str) having encoded image data of a hierarchical set of pictures on the higher layer side.
ストリーム構成部241は、デコード能力が、120fpsに対応している場合、全階層のピクチャの符号化画像データを取り出し、圧縮データバッファ(cpb)204に送る。一方、ストリーム構成部241は、デコード能力が、120fpsに対応していないが60fpsに対応している場合、低階層側の階層組のピクチャの符号化画像データのみを取り出し、圧縮データバッファ(cpb)204に送る。
When the decoding capability corresponds to 120 fps, the
図17は、トランスポートストリームTSに単一のビデオストリーム(符号化ストリーム)が含まれている場合におけるストリーム構成部241のピクチャ(スライス)選択の一例を示している。ここで、「High」は高階層側の階層組のピクチャを示し、「Low」は低階層側の階層組のピクチャを示す。また、「P」は「PES_priority」を示している。
FIG. 17 shows an example of picture (slice) selection of the
デコード能力が、120fpsに対応している場合、ストリーム構成部241は、全階層のピクチャの符号化画像データを取り出し、圧縮データバッファ(cpb)204に送る。一方、デコード能力が、120fpsに対応していないが60fpsに対応している場合、ストリーム構成部241は、「PES_priority」に基づくフィルタリングを行って、P=1である低階層側の階層組のピクチャだけを取り出し、圧縮データバッファ(cpb)204に送る。
When the decoding capability corresponds to 120 fps, the
図18は、トランスポートストリームTSにベースストリームと拡張ストリームの2つのビデオストリーム(符号化ストリーム)が含まれている場合におけるストリーム構成部241のピクチャ(スライス)選択の一例を示している。ここで、「High」は高階層側の階層組のピクチャを示し、「Low」は低階層側の階層組のピクチャを示す。また、ベースストリームのパケット識別子(PID)はPID Aであり、拡張ストリームのパケット識別子(PID)はPID Bであるとする。
FIG. 18 shows an example of picture (slice) selection of the
デコード能力が、120fpsに対応している場合、ストリーム構成部241は、全階層のピクチャの符号化画像データを取り出し、圧縮データバッファ(cpb)204に送る。この場合、ストリーム構成部241は、各ピクチャの符号化画像データをデコードタイミング情報に基づいて1つのストリームにして圧縮データバッファ(cpb)204に送る。
When the decoding capability corresponds to 120 fps, the
その場合、デコードタイミングとしてDTSの値をみて、それがピクチャ間で単調増加するようにストリームを一つにまとめる。このピクチャのまとめ処理自体は、圧縮データバッファ(cpb)204がストリーム分だけ複数存在して、その複数の圧縮データバッファ(cpb)204から読み出された複数ストリームに対して行って一つのストリームとしてデコード処理をするようにしもよい。 In that case, the value of DTS is viewed as the decoding timing, and the streams are combined so that it increases monotonically between the pictures. The picture grouping process itself is performed for a plurality of compressed data buffers (cpb) 204 for each stream, and is performed for a plurality of streams read from the plurality of compressed data buffers (cpb) 204 as one stream. Decoding processing may be performed.
一方、デコード能力が、120fpsに対応していないが60fpsに対応している場合、ストリーム構成部241は、パケット識別子(PID)に基づくフィルタリングを行って、PID Aである低階層側の階層組のピクチャだけを取り出し、圧縮データバッファ(cpb)204に送る。
On the other hand, when the decoding capability does not correspond to 120 fps but corresponds to 60 fps, the
なお、ストリーム構成部241は、選択的に圧縮データバッファ(cpb)204に送る各ピクチャの符号化画像データのデコードタイムスタンプを書き換えて低階層ピクチャのデコード間隔を調整する機能を持つ。これにより、デコーダ205のデコード能力の低い場合であっても、無理のないデコード処理が可能となる。
The
図19は、図3に示す階層符号化例で、低階層側の階層組と高階層側の階層組とに2分されている場合であって、ストリーム構成部241で低階層組に属するピクチャの符号化画像データが選択的に取り出されて、圧縮データバッファ(cpb)204に送られる場合を示している。
FIG. 19 is an example of hierarchical coding shown in FIG. 3, in which the lower layer side layer set and the higher layer side layer set are divided into two, and the picture belonging to the lower layer group in the
図19(a)は、デコード間隔調整前のデコードタイミングを示している。この場合、ピクチャ間のデコード間隔にばらつきがあり、最短のデコード間隔は120fpsフル解像度のデコード間隔と等しくなる。これに対して、図19(b)は、デコード間隔調整後のデコードタイミングを示している。この場合、ピクチャ間のデコード間隔は等しくされ、デコード間隔は、フル解像度のデコード間隔の1/2となる。このように、各階層において対象デコーダの能力に応じてデコード間隔が調整される。 FIG. 19A shows the decoding timing before adjusting the decoding interval. In this case, the decoding interval varies between pictures, and the shortest decoding interval is equal to the decoding interval of 120 fps full resolution. On the other hand, FIG. 19B shows the decoding timing after adjusting the decoding interval. In this case, the decoding intervals between the pictures are equalized, and the decoding interval is 1/2 of the full resolution decoding interval. In this way, the decoding interval is adjusted according to the capability of the target decoder in each layer.
図20は、デマルチプレクサ203の処理フローの一例を示している。この処理フローは、トランスポートストリームTSに単一のビデオストリーム(符号化ストリーム)が含まれている場合を示している。
FIG. 20 shows an example of the processing flow of the
デマルチプレクサ203は、ステップST31において、処理を開始し、その後に、ステップST32の処理に移る。このステップST32おいて、CPU201から、デコード能力(Decoder temporal layer capability)が設定される。次に、デマルチプレクサ203は、ステップST33おいて、全階層(レイヤ)をデコードする能力があるか否かを判断する。
The
全階層をデコードする能力があるとき、デマルチプレクサ203は、ステップST34において、該当PIDフィルタを通過する全TSパケットをデマルチプレクスし、セクションパーシング(Section parsing)を行う。その後、デマルチプレクサ203は、ステップST35の処理に移る。
When the
ステップST33で全階層をデコードする能力がないとき、デマルチプレクサ203は、ステップST36において、「PES_priority」が“1”のTSパケットをデマルチプレクスし、セクションパーシング(Section parsing)を行う。その後、デマルチプレクサ203は、ステップST35の処理に移る。
When the
ステップST35において、デマルチプレクサ203は、対象となるPIDのセクションの中で、HEVCデスクリプタ(HEVC_descriptor)、スケーラビリティ・エクステンション・デスクリプタ(scalability_extension_descriptor)を読み、拡張ストリームの有無、スケーラブルタイプ、ストリームの数とID、temporal_idの最大、最小値、そして、各レイヤのデコーダ対応Levelを得る。
In step ST35, the
次に、デマルチプレクサ203は、ステップST37で、PIDの対象となる符号化ストリームを圧縮データバッファ(cpb)204へ転送すると共に、DTS、PTSを、CPU201に通知する。デマルチプレクサ203は、ステップST37の処理の後、ステップST38において、処理を終了する。
Next, in step ST37, the
図21は、デマルチプレクサ203の処理フローの一例を示している。この処理フローは、トランスポートストリームTSにベースストリームと拡張ストリームの2つのビデオストリーム(符号化ストリーム)が含まれている場合を示している。
FIG. 21 shows an example of the processing flow of the
デマルチプレクサ203は、ステップST41において、処理を開始し、その後に、ステップST42の処理に移る。このステップST42おいて、CPU201から、デコード能力(Decoder temporal layer capability)が設定される。次に、デマルチプレクサ203は、ステップST43おいて、全階層(レイヤ)をデコードする能力があるか否かを判断する。
The
全階層をデコードする能力があるとき、デマルチプレクサ203は、ステップST44において、PIDフィルタにより全階層を構成する複数のストリームをデマルチプレクスし、セクションパーシング(Section parsing)を行う。その後、デマルチプレクサ203は、ステップST45の処理に移る。
When capable of decoding all layers, the
ステップST43で全階層をデコードする能力がないとき、デマルチプレクサ203は、ステップST46において、PID=PID Aのストリームをデマルチプレクスし、セクションパーシング(Section parsing)を行う。その後、デマルチプレクサ203は、ステップST45の処理に移る。
When the
ステップST45において、デマルチプレクサ203は、対象となるPIDのセクションの中で、HEVCデスクリプタ(HEVC_descriptor)、スケーラビリティ・エクステンション・デスクリプタ(scalability_extension_descriptor)を読み、拡張ストリームの有無、スケーラブルタイプ、ストリームの数とID、temporal_idの最大、最小値、そして、各レイヤのデコーダ対応Levelを得る。
In step ST45, the
次に、デマルチプレクサ203は、ステップST47で、PIDの対象となる符号化ストリームをDTS(無い場合はPTS)情報に基づき、1つのストリームに結合し、圧縮データバッファ(cpb)204へ転送すると共に、DTS、PTSを、CPU201に通知する。デマルチプレクサ203は、ステップST47の処理の後、ステップST48において、処理を終了する。
Next, in step ST47, the
図15に戻って、圧縮データバッファ(cpb)204は、デマルチプレクサ203で取り出されるビデオストリーム(符号化ストリーム)を、一時的に蓄積する。デコーダ205は、圧縮データバッファ204に蓄積されているビデオストリームから、デコードすべき階層として指定された階層のピクチャの符号化画像データを取り出す。そして、デコーダ205は、取り出された各ピクチャの符号化画像データを、それぞれ、そのピクチャのデコードタイミングでデコードし、非圧縮データバッファ(dpb)206に送る。
Returning to FIG. 15, the compressed data buffer (cpb) 204 temporarily stores the video stream (encoded stream) taken out by the
ここで、デコーダ205には、CPU201からデコードすべき階層がtemporal_idで指定される。この指定階層は、デマルチプレクサ203で取り出されるビデオストリーム(符号化ストリーム)に含まれる全階層、あるいは低階層側の一部の階層とされ、CPU201により自動的に、あるいはユーザ操作に応じて設定される。また、デコーダ205には、CPU201から、DTS(Decoding Time stamp)に基づいて、デコードタイミングが与えられる。なお、デコーダ205は、各ピクチャの符号化画像データをデコードする際に、必要に応じて、非圧縮データバッファ206から被参照ピクチャの画像データを読み出して利用する。
Here, in the
図22は、デコーダ205の構成例を示している。このデコーダ205は、テンポラルID解析部251と、対象階層選択部252と、デコード部253を有している。テンポラルID解析部251は、圧縮データバッファ204に蓄積されているビデオストリーム(符号化ストリーム)を読み出し、各ピクチャの符号化画像データのNALユニットヘッダに挿入されているtemporal_idを解析する。
FIG. 22 shows a configuration example of the
対象階層選択部252は、圧縮データバッファ204から読み出されたビデオストリームから、テンポラルID解析部251の解析結果に基づいて、デコードすべき階層として指定された階層のピクチャの符号化画像データを取り出す。デコード部253は、対象階層選択部252で取り出された各ピクチャの符号化画像データを、順次デコードタイミングでデコードし、非圧縮データバッファ(dpb)206に送る。
The target
この場合、デコード部253は、VPS、SPSの解析を行って、例えば、サブレイヤごとのビットレートのレベル指定値「sublayer_level_idc」を把握し、デコード能力内でデコードし得るものかどうかを確認する。また、この場合、デコード部253は、SEIの解析を行って、例えば、「initial_cpb_removal_time」、「cpb_removal_delay」を把握し、CPU201からのデコードタイミングが適切か確認する。
In this case, the
デコード部253は、スライス(Slice)のデコードを行う際に、スライスヘッダ(Slice header)から、時間方向の予測先を表す情報として、「ref_idx_l0_active(ref_idx_l1_active)を取得し、時間方向の予測を行う。なお、デコード後のピクチャは、スライスヘッダ(slice header)から得られる「short_term_ref_pic_set_idx」、あるいは「it_idx_sps」が指標とされて、他のピクチャによる被参照として処理される。
When decoding a slice, the
図15に戻って、非圧縮データバッファ(dpb)206は、デコーダ205でデコードされた各ピクチャの画像データを、一時的に蓄積する。ポスト処理部207は、非圧縮データバッファ(dpb)206から表示タイミングで順次読み出された各ピクチャの画像データに対して、そのフレームレートを、表示能力に合わせる処理を行う。この場合、CPU201から、PTS(Presentation Time stamp)に基づいて、表示タイミングが与えられる。
Returning to FIG. 15, the uncompressed data buffer (dpb) 206 temporarily stores the image data of each picture decoded by the
例えば、デコード後の各ピクチャの画像データのフレームレートが120fpsであって、表示能力が120fpsであるとき、ポスト処理部207は、デコード後の各ピクチャの画像データをそのままディスプレイに送る。また、例えば、デコード後の各ピクチャの画像データのフレームレートが120fpsであって、表示能力が60fpsであるとき、ポスト処理部207は、デコード後の各ピクチャの画像データに対して時間方向解像度が1/2倍となるようにサブサンプル処理を施し、60fpsの画像データとしてディスプレイに送る。
For example, when the frame rate of the image data of each decoded picture is 120 fps and the display capacity is 120 fps, the
また、例えば、デコード後の各ピクチャの画像データのフレームレートが60fpsであって、表示能力が120fpsであるとき、ポスト処理部207は、デコード後の各ピクチャの画像データに対して時間方向解像度が2倍となるように補間処理を施し、120fpsの画像データとしてディスプレイに送る。また、例えば、デコード後の各ピクチャの画像データのフレームレートが60fpsであって、表示能力が60fpsであるとき、ポスト処理部207は、デコード後の各ピクチャの画像データをそのままディスプレイに送る。
Further, for example, when the frame rate of the image data of each picture after decoding is 60 fps and the display capacity is 120 fps, the
図23は、ポスト処理部207の構成例を示している。この例は、上述したようにデコード後の各ピクチャの画像データのフレームレートが120fpsあるいは60fpsであって、表示能力が120fpsあるいは60fpsである場合に対処可能とした例である。
FIG. 23 shows a configuration example of the
ポスト処理部207は、補間部271と、サブサンプル部272と、スイッチ部273を有している。非圧縮データバッファ206からのデコード後の各ピクチャの画像データは、直接スイッチ部273に入力され、あるいは補間部271で2倍のフレームレートとされた後にスイッチ部273に入力され、あるいはサブサンプル部272で1/2倍のフレームレートとされた後にスイッチ部273に入力される。
The
スイッチ部273には、CPU201から、選択情報が供給される。この選択情報は、CPU201が、表示能力を参照して自動的に、あるいは、ユーザ操作に応じて発生する。スイッチ部273は、選択情報に基づいて、入力のいずれかを選択的に出力とする。これにより、非圧縮データバッファ(dpb)206から表示タイミングで順次読み出された各ピクチャの画像データのフレームレートは、表示能力に合ったものとされる。
Selection information is supplied to the
図24は、デコーダ205、ポスト処理部207の処理フローの一例を示している。デコーダ205、ポスト処理部207は、ステップST51において、処理を開始し、その後に、ステップST52の処理に移る。このステップST52において、デコーダ205は、圧縮データバッファ(cpb)204に蓄積されているデコード対象のビデオストリームを読み出し、temporal_idに基づいて、CPU201からデコード対象として指定される階層のピクチャを選択する。
FIG. 24 shows an example of the processing flow of the
次に、デコーダ205は、ステップST53において、選択された各ピクチャの符号化画像データをデコードタイミングで順次デコードし、デコード後の各ピクチャの画像データを非圧縮データバッファ(dpb)206に転送して、一時的に蓄積する。次に、ポスト処理部207は、ステップST54において、非圧縮データバッファ(dpb)206から、表示タイミングで各ピクチャの画像データを読み出す。
Next, in step ST53, the
次に、ポスト処理部207は、読み出された各ピクチャの画像データのフレームレートが表示能力にあっているか否かを判断する。フレームレートが表示能力に合っていないとき、ポスト処理部207は、ステップST56において、フレームレートを表示能力に合わせて、ディスプレイに送り、その後、ステップST57において、処理を終了する。一方、フレームレートが表示能力に合っているとき、ポスト処理部207は、ステップST58において、フレームレートそのままでディスプレイに送り、その後、ステップST57において、処理を終了する。
Next, the
図15に示す受信装置200の動作を簡単に説明する。受信部202では、受信アンテナで受信されたRF変調信号が復調され、トランスポートストリームTSが取得される。このトランスポートストリームTSは、デマルチプレクサ203に送られる。デマルチプレクサ203では、トランスポートストリームTSから、デコード能力(Decoder temporal layer capability)に応じた階層組のピクチャの符号化画像データが選択的に取り出され、圧縮データバッファ(cpb)204に送られ、一時的に蓄積される。
The operation of the receiving
デコーダ205では、圧縮データバッファ204に蓄積されているビデオストリームから、デコードすべき階層として指定された階層のピクチャの符号化画像データが取り出される。そして、デコーダ205では、取り出された各ピクチャの符号化画像データが、それぞれ、そのピクチャのデコードタイミングでデコードされ、非圧縮データバッファ(dpb)206に送られ、一時的に蓄積される。この場合、各ピクチャの符号化画像データがデコードされる際に、必要に応じて、非圧縮データバッファ206から被参照ピクチャの画像データが読み出されて利用される。
In the
非圧縮データバッファ(dpb)206から表示タイミングで順次読み出された各ピクチャの画像データは、ポスト処理部207に送られる。ポスト処理部207では、各ピクチャの画像データに対して、そのフレームレートを、表示能力に合わせるための補間あるいはサブサンプルが行われる。このポスト処理部207で処理された各ピクチャの画像データは、ディスプレイに供給され、その各ピクチャの画像データによる動画像の表示が行われる。
The image data of each picture sequentially read from the uncompressed data buffer (dpb) 206 at the display timing is sent to the
以上説明したように、図1に示す送受信システム10においては、送信側において、ビデオストリームのレイヤ(PESパケットのヘッダ)に、このビデオストリームに含まれる各ピクチャの符号化画像データがそれぞれどの階層組に属するピクチャの符号化画像データであるかを識別する識別情報が挿入されるものである。そのため、例えば、受信側においては、この識別情報を利用することで、デコード能力に応じた所定階層以下の階層のピクチャの符号化画像データを選択的にデコードすることが容易に可能となる。
As described above, in the transmission /
また、図1に示す送受信システム10においては、送信側において、トランスポートストリームTSのレイヤに、スケーラビリティ・エクステンション・デスクリプタ(scalability_extension_descriptor)等が挿入されるものである。そのため、例えば、受信側では、階層符号化における階層情報、トランスポートストリームTSに含まれるビデオストリームの構成情報などを容易に把握でき、適切なデコード処理を行うことが可能となる。
Further, in the transmission /
また、図1に示す送受信システム10においては、受信側において、受信されたビデオストリームからデコード能力(Decoder temporal layer capability)に応じた所定階層以下の階層のピクチャの符号化画像データが選択的に圧縮データバッファ204に取り込まれてデコードされるものである。そのため、例えば、デコード能力に応じた適切なデコード処理が可能となる。
Further, in the transmission /
また、図1に示す送受信システム10においては、受信側において、選択的に圧縮データバッファ204に取り込まれる各ピクチャの符号化画像データのデコードタイムスタンプを書き換えて低階層ピクチャのデコード間隔を調整する機能を持つものである。そのため、例えば、デコーダ205のデコード能力が低い場合であっても無理のないデコード処理が可能となる。
Further, in the transmission /
また、図1に示す送受信システム10においては、受信側において、復号化後の各ピクチャの画像データのフレームレートをポスト処理部207で表示能力に合わせるものである。そのため、例えば、デコード能力が低い場合であっても、高表示能力にあったフレームレートの画像データを得ることが可能となる。
Further, in the transmission /
<2.変形例>
なお、上述実施の形態においては、ビデオストリームに含まれる各ピクチャの符号化画像データが所定数の階層組のうちどの階層組に属するピクチャの符号化画像データであるかを識別する識別情報を、PESパケットのヘッダ(PESヘッダ)に挿入する例を示した。しかし、この識別情報の挿入位置は、これに限定されるものではない。
<2. Modification example>
In the above-described embodiment, the identification information for identifying which of the predetermined number of hierarchical groups the encoded image data of each picture included in the video stream belongs to is the coded image data of the picture. An example of inserting into the header (PES header) of the PES packet is shown. However, the insertion position of this identification information is not limited to this.
例えば、マルチプレクサ104(図2参照)は、この識別情報を、アダプテーションフィールドを持つTSパケットの、当該アダプテーションフィールドに挿入してよい。マルチプレクサ104は、例えば、複数の階層を低階層組と高階層組に二分する場合、アダプテーションフィールドに存在する、周知のエレメンタリ・ストリーム・プライオリティ・インジケータ(elementary_stream_priority_indicator)の1ビットフィールドを利用する。
For example, the multiplexer 104 (see FIG. 2) may insert this identification information into the adaptation field of the TS packet having the adaptation field. For example, when dividing a plurality of layers into a low-layer group and a high-level group, the
この1ビットフィールドは、後続するTSパケットのペイロードに、低階層側の階層組のピクチャの符号化画像データをペイロードに持つPESパケットを含む場合は“1”、つまり優先度が高く設定される。一方、この1ビットフィールドは、後続するTSパケットのペイロードに、低階層側の階層組のピクチャの符号化画像データをペイロードに持つPESパケットを含む場合“0”、つまり優先度が低く設定される。 This 1-bit field is set to "1", that is, a high priority when the payload of the subsequent TS packet includes a PES packet having the encoded image data of the pictures of the lower layer set in the payload. On the other hand, this 1-bit field is set to "0" when the payload of the subsequent TS packet includes a PES packet having the encoded image data of the pictures of the lower layer set in the payload, that is, the priority is set low. ..
図25は、アダプテーションフィールドの配置例を示している。この例は、複数の階層を低階層組と高階層組に二分されている場合であって、エレメンタリ・ストリーム・プライオリティ・インジケータ(elementary_stream_priority_indicator)の1ビットフィールドを利用した場合の例である。 FIG. 25 shows an example of arrangement of adaptation fields. This example is a case where a plurality of layers are divided into a low layer group and a high layer group, and a 1-bit field of the elementary stream priority indicator (elementary_stream_priority_indicator) is used.
図示の例において、1ピクチャの符号化画像データをペイロードに持つPESパケットを分割して持つ所定数のTSパケット群毎に、その直前に、アダプテーションフィールドを持つTSパケットが配置される。この場合、その1ピクチャが低階層側の階層組のピクチャであるとき、エレメンタリ・ストリーム・プライオリティ・インジケータの1ビットフィールドは“1”に設定される。一方、その1ピクチャが高階層側の階層組のピクチャであるとき、エレメンタリ・ストリーム・プライオリティ・インジケータの1ビットフィールドは“0”に設定される。 In the illustrated example, a TS packet having an adaptation field is arranged immediately before each of a predetermined number of TS packet groups having PES packets having one picture of encoded image data as a payload divided. In this case, when the one picture is a picture of the lower layer set, the 1-bit field of the elementary stream priority indicator is set to "1". On the other hand, when the one picture is a picture of a hierarchical set on the higher layer side, the 1-bit field of the elementary stream priority indicator is set to "0".
図25に示すように、アダプテーションフィールドを持つTSパケットを配置することで、受信側では、ビデオストリームに含まれるピクチャの符号化画像データ毎に、いずれの階層組に属するピクチャの符号化データであるかを容易に識別可能となる。なお、図25の配置例では、1ピクチャ毎にアダプテーションフィールドを持つTSパケットを配置するように示しているが、ピクチャが属する階層組が切り替わるごとに、その直前にアダプテーションフィールドを持つTSパケットを配置するようにされてもよい。 As shown in FIG. 25, by arranging the TS packet having the adaptation field, on the receiving side, for each coded image data of the picture included in the video stream, the coded data of the picture belonging to any hierarchical set is obtained. Can be easily identified. In the arrangement example of FIG. 25, the TS packet having an adaptation field is arranged for each picture, but every time the hierarchical group to which the picture belongs is switched, the TS packet having an adaptation field is arranged immediately before that. You may be made to do so.
図26は、階層組の識別情報を上述したようにアダプテーションフィールドに挿入する場合における、送信装置100のマルチプレクサ104Aの構成例を示している。この図26において、図12と対応する部分には同一符号を付し、その詳細説明は省略する。このマルチプレクサ104Aは、図12のマルチプレクサ104におけるPESプライオリティ発生部141の代わりに、アダプテーションフィールド・プライオリティ指示部146を有するものとされる。
FIG. 26 shows a configuration example of the
プライオリティ指示部146には、CPU101から、階層数(Number of layers)とストリーム数(Number of streams)の情報が供給される。プライオリティ指示部146は、階層数で示される複数の階層を2以上の所定数の階層組に分割した場合における、各階層組の優先度情報を発生する。例えば、2分割される場合には、エレメンタリ・ストリーム・プライオリティ・インジケータの1ビットフィールドに挿入すべき値(低階層組は“1”、高階層組は“0”)を発生する。
Information on the number of layers and the number of streams is supplied from the
プライオリティ指示部146で発生される各階層組の優先度情報は、トランスポートパケット化部145に供給される。トランスポートパケット化部145は、1ピクチャの符号化画像データをペイロードに持つPESパケットを分割して持つ所定数のTSパケット群毎に、その直前に、アダプテーションフィールドを持つTSパケットを配置する。そして、その場合、トランスポートパケット化部145は、アダプテーションフィールドに、ピクチャが属する階層組に対応した優先度情報を識別情報として挿入する。
The priority information of each layer set generated by the
図27は、階層組の識別情報を上述したようにアダプテーションフィールドに挿入する場合におけるトランスポートストリームTSの構成例を示している。この構成例は、上述の図14に示す構成例とほぼ同様の構成とされている。この構成例では、アダプテーションフィールドを持つTSパケットが存在し、このアダプテーションフィールドに、各ピクチャが属する階層組を識別するための識別情報が挿入される。例えば、複数の階層が低階層組と高階層組に二分される場合には、エレメンタリ・ストリーム・プライオリティ・インジケータ(elementary_stream_priority_indicator)の1ビットフィールドが利用される。 FIG. 27 shows a configuration example of the transport stream TS when the identification information of the hierarchical set is inserted into the adaptation field as described above. This configuration example has almost the same configuration as the configuration example shown in FIG. 14 described above. In this configuration example, a TS packet having an adaptation field exists, and identification information for identifying the hierarchical set to which each picture belongs is inserted into this adaptation field. For example, when a plurality of layers are divided into a low-layer group and a high-level group, the 1-bit field of the elementary stream priority indicator (elementary_stream_priority_indicator) is used.
図28は、階層組の識別情報を上述したようにアダプテーションフィールドに挿入する場合における、受信装置200のデマルチプレクサ203Aの構成例を示している。この図28において、図16と対応する部分には同一符号を付し、その詳細説明は省略する。このデマルチプレクサ203Aは、図16のデマルチプレクサ203における識別情報抽出部239の代わりに、識別情報抽出部242を有するものとされる。
FIG. 28 shows a configuration example of the
この識別情報抽出部242は、アダプテーションフィールドから識別情報を抽出し、ストリーム構成部241に送る。例えば、複数の階層が低階層組と高階層組に2分されている場合、アダプテーションフィールドの「elementary_stream_priority_indicator」の1ビットフィールドの優先度情報を抽出し、ストリーム構成部241に送る。
The identification
ストリーム構成部241は、PESペイロード抽出部240で取り出される各階層のピクチャの符号化画像データから、デコード能力(Decoder temporal layer capability)に応じた階層組のピクチャの符号化画像データを選択的に取り出し、圧縮データバッファ(cpb)204に送る。この場合、ストリーム構成部241は、PSIテーブル/デスクリプタ抽出部235で得られる階層情報、ストリーム構成情報、識別情報抽出部242で抽出される識別情報(優先度情報)などを参照する。
The
また、上述実施の形態においては、送信装置100と受信装置200からなる送受信システム10を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、受信装置200の部分が、例えば、(HDMI(High-Definition Multimedia Interface)などのデジタルインタフェースで接続されたセットトップボックスおよびモニタの構成などであってもよい。なお、「HDMI」は、登録商標である。
Further, in the above-described embodiment, the transmission /
また、上述実施の形態においては、コンテナがトランスポートストリーム(MPEG−2 TS)である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、MP4やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム(MPEG−2 TS)、インターネット配信で使用されているMP4などの種々のフォーマットのコンテナが該当する。 Further, in the above-described embodiment, an example in which the container is a transport stream (MPEG-2 TS) is shown. However, this technology can be similarly applied to a system configured to be delivered to a receiving terminal using a network such as the Internet. In Internet distribution, it is often distributed in containers of MP4 or other formats. That is, the container corresponds to a container of various formats such as transport stream (MPEG-2 TS) adopted in the digital broadcasting standard and MP4 used in Internet distribution.
例えば、図29は、MP4ストリームの構成例を示している。このMP4ストリームには、「moov
」、「moof」、「mdat」などのボックスが存在する。「mdat」のボックスに、トラックとして、ビデオの符号化ストリームであるビデオエレメンタリストリーム「track1:video ES1」が存在すると共に、オーディオの符号化ストリームであるオーディオエレメンタリストリーム「track1:audio ES1」が存在する
For example, FIG. 29 shows a configuration example of an MP4 stream. In this MP4 stream, "moov
, "Moof", "mdat" and other boxes exist. In the box of "mdat", there is a video elementary stream "track1: video ES1" which is a video coded stream as a track, and an audio elemental stream "track1: audio ES1" which is an audio coded stream. Exists
また、「moof」のボックスには、ヘッダ部分として「mfhd(movie fragment header」が存在し、そのデータ部分として、各トラックに対応した、「track fragment」が存在する。ビデオエレメンタリストリーム「track1:video ES1」に対応した「track1 fragment(video)」には、「Independent and disposal samples」が存在し、その中に、各ピクチャにそれぞれ対応した「SampleDependencyTypeBox」というボックスが挿入されている。 Also, in the "moof" box, "mfhd (movie fragment header"" exists as a header part, and "track fragment" corresponding to each track exists as its data part. Video elemental stream "track1:" In "track1 fragment (video)" corresponding to "video ES1", "Independent and disposal samples" exist, and a box called "SampleDependencyTypeBox" corresponding to each picture is inserted in it.
このボックスの中に、各ピクチャの符号化画像データがそれぞれどの階層組に属するピクチャの符号化画像データであるかを識別する識別情報を挿入できる。例えば、複数の階層を最上位層とそれ以外の下位層の2つの階層組に分割する場合、「sample_depends_on」の2ビットフィールドと、「sample_is_depended_on」の2ビットフィールドを利用して、当該識別情報の挿入が可能である。 In this box, identification information for identifying which layer set the coded image data of each picture belongs to can be inserted. For example, when dividing a plurality of layers into two layers, the uppermost layer and the other lower layers, the 2-bit field of "sample_depends_on" and the 2-bit field of "sample_is_depended_on" are used to obtain the identification information. It can be inserted.
図30は、「SampleDependencyTypeBox」の構造例(Syntax)を示している。また、図31は、その構造例における主要な情報の内容(Semantics)を示している。この場合、「sample_depends_on」を“1”として他のピクチャを参照するものでIピクチャでないことを示すと共に、「sample_is_depended_on」を“2”として他のピクチャに参照されないことを示すことで、最上位層の組に属するピクチャであるとの識別が可能となる。また、これ以外の状態では、そのピクチャは階層層の階層組に属するピクチャであるとの識別が可能となる。 FIG. 30 shows a structural example (Syntax) of the “SampleDependencyTypeBox”. Further, FIG. 31 shows the contents (Semantics) of the main information in the structural example. In this case, "sample_depends_on" is set to "1" to indicate that it refers to another picture and is not an I picture, and "sample_is_depended_on" is set to "2" to indicate that it is not referred to by another picture. It is possible to identify the picture as belonging to the set of. Further, in any other state, the picture can be identified as a picture belonging to the hierarchical set of the hierarchical layer.
なお、「SampleDependencyTypeBox」のボックスを使用する代わりに、新たに定義する、「SampleScalablePriorityBox」というボックスを使用することも考えられる。図32は、「SampleScalablePriorityBox」の構造例(Syntax)を示している。また、図33は、その構造例における主要な情報の内容(Semantics)を示している。 Instead of using the "SampleDependencyTypeBox" box, it is possible to use a newly defined box called "SampleScalablePriorityBox". FIG. 32 shows a structural example (Syntax) of the “SampleScalablePriorityBox”. In addition, FIG. 33 shows the contents (Semantics) of the main information in the structural example.
この場合、複数の階層を最低階層組と高階層組の2つの階層組に分割する場合、「base_and_priority」の2ビットフィールドを利用して、当該識別情報が挿入される。すなわち、「base_and_priority」を例えば“1”とすることで優先度が低く、高階層組に属するピクチャであるとの識別が可能となる。一方、「base_and_priority」を例えば“2”とすることで優先度が高く、低階層組に属するピクチャであるとの識別が可能となる。 In this case, when the plurality of layers are divided into two layers, the lowest layer group and the higher layer group, the identification information is inserted by using the 2-bit field of "base_and_priority". That is, by setting "base_and_priority" to, for example, "1", the priority is low and it is possible to identify the picture as belonging to a high-level group. On the other hand, by setting "base_and_priority" to, for example, "2", the picture has a high priority and can be identified as a picture belonging to a low-level group.
また、本技術は、以下のような構成を取ることもできる。
(1)動画像データを構成する各ピクチャの画像データを複数の階層に分類し、該分類された各階層のピクチャの画像データを符号化し、該符号化された各階層のピクチャの画像データを持つビデオデータを生成する画像符号化部と、
上記生成されたビデオデータを含む所定フォーマットのコンテナを送信する送信部と、
上記複数の階層を2以上の所定数の階層組に分割し、上記ビデオデータをコンテナするパケットに、該ビデオデータに含まれる各ピクチャの符号化画像データがそれぞれどの階層組に属するピクチャの符号化画像データであるかを識別する識別情報を挿入する識別情報挿入部を備える
送信装置。
(2)上記識別情報は、低階層側の階層組ほど高く設定される優先度情報である
前記(1)に記載の送信装置。
(3)上記識別情報は、ペイロードにピクチャ毎の符号化画像データを含むPESパケットのヘッダに挿入される
前記(1)に記載の送信装置。
(4)上記識別情報は、上記ヘッダのPESプライオリティのフィールドを利用して挿入される
前記(3)に記載の送信装置。
(5)上記識別情報は、アダプテーションフィールドを持つTSパケットの、該アダプテーションフィールドに挿入される
前記(1)に記載の送信装置。
(6)上記識別情報は、上記アダプテーションフィールドのESプライオリティインジケータのフィールドを利用して挿入される
前記(5)に記載の送信装置。
(7)上記識別情報は、該当するピクチャのトラックに関連するヘッダのボックスに挿入される
前記(1)に記載の送信装置。
(8)上記画像符号化部は、
上記各階層のピクチャの符号化画像データを持つ単一のビデオストリームを生成するか、あるいは上記各階層組のピクチャの符号化画像データをそれぞれ持つ所定数のビデオデータを生成し、
上記コンテナのレイヤに、該コンテナに含まれるビデオストリームの構成情報を挿入する構成情報挿入部をさらに備える
前記(1)から(7)のいずれかに記載の送信装置。
(9)動画像データを構成する各ピクチャの画像データを複数の階層に分類し、該分類された各階層のピクチャの画像データを符号化し、該符号化された各階層のピクチャの画像データを持つビデオデータを生成する画像符号化ステップと、
送信部により、上記生成されたビデオデータを含む所定フォーマットのコンテナを送信する送信ステップと、
上記複数の階層を2以上の所定数の階層組に分割し、上記ビデオデータをコンテナするパケットに、該ビデオデータに含まれる各ピクチャの符号化画像データがそれぞれどの階層組に属するピクチャの符号化画像データであるかを識別する識別情報を挿入する識別情報挿入ステップを有する
送信方法。
(10)動画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化されることで得られた各階層のピクチャの符号化画像データを持つビデオデータを含む所定フォーマットのコンテナを受信する受信部と、
上記受信されたコンテナに含まれる上記ビデオデータからデコード能力に応じた所定階層以下の階層のピクチャの符号化画像データを選択的にバッファに取り込み、該バッファに取り込まれた各ピクチャの符号化画像データをデコードして、上記所定階層以下の階層のピクチャの画像データを得る画像復号化部を備える
受信装置。
(11)上記複数の階層は2以上の所定数の階層組に分割され、上記ビデオデータをコンテナするパケットに、該ビデオデータに含まれる各ピクチャの符号化画像データがそれぞれどの階層組に属するピクチャの符号化画像データであるかを識別する識別情報が挿入されており、
上記画像復号化部は、上記識別情報に基づいて、上記デコード能力に応じた所定階層組のピクチャの符号化画像データを上記バッファに取り込んでデコードする
前記(10)に記載の受信装置。
(12)上記識別情報は、ペイロードにピクチャ毎の符号化画像データを含むPESパケットのヘッダに挿入されている
前記(11)に記載の受信装置。
(13)上記識別情報は、アダプテーションフィールドを持つTSパケットの、該アダプテーションフィールドに挿入されている
前記(11)に記載の受信装置。
(14)上記識別情報は、該当するピクチャのトラックに関連するヘッダのボックスに挿入されている
前記(11)に記載の送信装置。
(15)上記複数の階層は2以上の所定数の階層組に分割され、上記受信されたコンテナには、上記所定数の階層組のピクチャの符号化画像データをそれぞれ持つ上記所定数のビデオストリームが含まれており、
上記画像符号化部は、ストリーム識別情報に基づいて、上記デコード能力に応じた所定階層組のピクチャの符号化画像データを上記バッファに取り込んでデコードする
前記(10)に記載の受信装置。
(16)上記画像復号化部は、
上記所定階層組のピクチャの符号化画像データが複数のビデオストリームに含まれている場合、各ピクチャの符号化画像データをデコードタイミング情報に基づいて1つのストリームにして上記バッファに取り込む
前記(15)に記載の受信装置。
(17)上記画像復号化部は、
上記選択的にバッファに取り込まれる各ピクチャの符号化画像データのデコードタイムスタンプを書き換えて低階層ピクチャのデコード間隔を調整する機能を持つ
前記(10)から(16)のいずれかに記載の受信装置。
(18)上記画像復号化部で得られる各ピクチャの画像データのフレームレートを表示能力に合わせるポスト処理部をさらに備える
前記(10)から(17)のいずれかに記載の受信装置。
(19)受信部により、動画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化されることで得られた各階層のピクチャの符号化画像データを持つビデオデータを含む所定フォーマットのコンテナを受信する受信ステップと、
上記受信されたコンテナに含まれる上記ビデオデータからデコード能力に応じた所定階層以下の階層のピクチャの符号化画像データを選択的にバッファに取り込み、該バッファに取り込まれた各ピクチャの符号化画像データをデコードして、上記所定階層以下の階層のピクチャの画像データを得る画像復号化ステップを有する
受信方法。
In addition, the present technology can also have the following configurations.
(1) The image data of each picture constituting the moving image data is classified into a plurality of layers, the image data of the pictures of each classified layer is encoded, and the image data of the encoded pictures of each layer is obtained. An image encoding unit that generates video data to have
A transmitter that transmits a container in a predetermined format containing the generated video data,
The plurality of layers are divided into two or more predetermined number of layer sets, and the encoded image data of each picture included in the video data is encoded in a packet that containers the video data. A transmission device including an identification information insertion unit that inserts identification information that identifies whether the data is image data.
(2) The transmission device according to (1) above, wherein the identification information is priority information set higher as the layer set on the lower layer side.
(3) The transmission device according to (1) above, wherein the identification information is inserted into the header of a PES packet including encoded image data for each picture in the payload.
(4) The transmission device according to (3), wherein the identification information is inserted by using the PES priority field of the header.
(5) The transmission device according to (1) above, wherein the identification information is inserted into the adaptation field of a TS packet having an adaptation field.
(6) The transmitting device according to (5) above, wherein the identification information is inserted by using the field of the ES priority indicator of the adaptation field.
(7) The transmitting device according to (1) above, wherein the identification information is inserted into a box of a header related to a track of the corresponding picture.
(8) The image coding unit is
A single video stream having the coded image data of the pictures in each layer is generated, or a predetermined number of video data having each coded image data of the pictures in each layer are generated.
The transmission device according to any one of (1) to (7) above, further comprising a configuration information insertion unit for inserting configuration information of a video stream included in the container into the layer of the container.
(9) The image data of each picture constituting the moving image data is classified into a plurality of layers, the image data of the pictures of each classified layer is encoded, and the image data of the encoded pictures of each layer is obtained. Image coding step to generate video data to have
A transmission step in which the transmitter transmits a container in a predetermined format containing the generated video data,
The plurality of layers are divided into two or more predetermined number of layer sets, and the encoded image data of each picture included in the video data is encoded in a packet that containers the video data. A transmission method having an identification information insertion step that inserts identification information that identifies whether it is image data.
(10) A container in a predetermined format containing video data having coded image data of the pictures of each layer obtained by classifying the image data of each picture constituting the moving image data into a plurality of layers and encoding them. And the receiver that receives
From the video data contained in the received container, the encoded image data of the pictures in the predetermined layer or lower according to the decoding ability is selectively taken into the buffer, and the encoded image data of each picture taken into the buffer is taken. A receiving device including an image decoding unit that decodes an image data of a picture in a layer below the predetermined layer.
(11) The plurality of layers are divided into two or more predetermined number of layer sets, and the encoded image data of each picture included in the video data belongs to which layer set in the packet containing the video data. Identification information that identifies whether the data is encoded image data of
The receiving device according to (10), wherein the image decoding unit takes in the encoded image data of a predetermined layer set of pictures according to the decoding ability into the buffer and decodes it based on the identification information.
(12) The receiving device according to (11) above, wherein the identification information is inserted in the header of a PES packet including encoded image data for each picture in the payload.
(13) The receiving device according to (11) above, wherein the identification information is inserted into the adaptation field of a TS packet having an adaptation field.
(14) The transmitting device according to (11) above, wherein the identification information is inserted in a box of a header related to a track of the corresponding picture.
(15) The plurality of layers are divided into two or more predetermined number of layer sets, and the predetermined number of video streams having the encoded image data of the pictures of the predetermined number of layer sets in the received container. Is included,
The receiving device according to (10) above, wherein the image coding unit takes in the encoded image data of a predetermined layer set of pictures according to the decoding ability into the buffer and decodes it based on the stream identification information.
(16) The image decoding unit is
When the coded image data of the pictures of the predetermined layer set is included in a plurality of video streams, the coded image data of each picture is converted into one stream based on the decoding timing information and taken into the buffer (15). The receiver described in.
(17) The image decoding unit is
The receiving device according to any one of (10) to (16) above, which has a function of rewriting the decoding time stamp of the encoded image data of each picture selectively taken into the buffer to adjust the decoding interval of the low-layer picture. ..
(18) The receiving device according to any one of (10) to (17), further including a post processing unit that matches the frame rate of the image data of each picture obtained by the image decoding unit with the display capability.
(19) The receiving unit includes video data having coded image data of the pictures of each layer obtained by classifying the image data of each picture constituting the moving image data into a plurality of layers and encoding them. A receive step that receives a container of a given format, and
From the video data contained in the received container, the encoded image data of the pictures in the predetermined layer or lower according to the decoding ability is selectively taken into the buffer, and the encoded image data of each picture taken into the buffer is taken. A receiving method having an image decoding step of decoding an image data of a picture in a layer below the predetermined layer.
本技術の主な特徴は、ビデオデータをコンテナするパケットに、このビデオデータに含まれる各ピクチャの符号化画像データがそれぞれどの階層組に属するピクチャの符号化画像データであるかを識別する識別情報を挿入することで、受信側においては、この識別情報を利用して、デコード能力に応じた所定階層以下の階層のピクチャの符号化画像データを選択的にデコードすることを容易に可能としたことである(図12参照)。 The main feature of the present technology is identification information for identifying which layer group the encoded image data of each picture included in the video data belongs to in the packet that containers the video data. By inserting, the receiving side can easily use this identification information to selectively decode the encoded image data of the picture in the layer below the predetermined layer according to the decoding ability. (See FIG. 12).
10・・・送受信システム
100・・・送信装置
101・・・CPU
102・・・エンコーダ
103・・・圧縮データバッファ(cpb)
104,104A・・・マルチプレクサ
105・・・送信部
141・・・PESプライオリティ発生部
142・・・セクションコーディング部
143-1〜143-N・・・PESパケット化部
144・・・スイッチ部
145・・・トランスポートパケット化部
146・・・アダプテーションフィールド・プライオリティ指示部
200・・・受信装置
201・・・CPU
202・・・受信部
203・・・デマルチプレクサ
204・・・圧縮データバッファ(cpb)
205・・・デコーダ
206・・・非圧縮データバッファ(dpb)
207・・・ポスト処理部
231・・・TSアダプテーションフィールド抽出部
232・・・クロック情報抽出部
233・・・TSペイロード抽出部
234・・・セクション抽出部
235・・・PSIテーブル/デスクリプタ抽出部
236・・・PESパケット抽出部
237・・・PESヘッダ抽出部
238・・・タイムスタンプ抽出部
239・・・識別情報抽出部
240・・・PESペイロード抽出部
241・・・ストリーム構成部
242・・・識別情報抽出部
251・・・テンポラルID解析部
252・・・対象階層選択部
253・・・デコード部
271・・・補間部
272・・・サブサンプル部
273・・・スイッチ部
10 ... Transmission /
102 ...
104, 104A ... multiplexer 105 ...
202 ...
205 ...
207 ...
本技術は、送信方法および送信装置に関する。
BACKGROUND The present disclosure relates to transmit a method and a transmission apparatus.
Claims (6)
上記階層符号化された各ピクチャの符号化画像データには、階層識別情報が付加されており、
上記画像符号化部で生成された上記第1のビデオストリームおよび上記第2のビデオストリームを含むと共に、上記第1のビデオストリームに対応して該第1のビデオストリームに含まれる各ピクチャの符号化画像データが上記低階層側のピクチャの符号化画像データに属することを示す第1のストリーム識別情報と、上記第2のビデオストリームに対応して該第2のビデオストリームに含まれる各ピクチャの符号化画像データが上記高階層側のピクチャの符号化画像データに属することを示す第2のストリーム識別情報と、上記第1のビデオストリームに対応して上記低階層側のピクチャのみからなるフレームレートに基づいた第1値が挿入された第1のデスクリプタと、上記第2のビデオストリームに対応して上記低階層側のピクチャと上記高階層側のピクチャとからなるフレームレートに基づいた第2の値が挿入された第2のデスクリプタを含む多重化ストリームを生成する多重化ストリーム生成部と、
上記多重化ストリーム生成部で生成された上記多重化ストリームを送信する送信部をさらに備える
送信装置。 The image data of each picture constituting the moving image data is hierarchically encoded, and the first video stream having the encoded image data of the lower layer side picture and the second video having the encoded image data of the higher layer side picture are obtained. Equipped with an image encoding unit that generates a stream
Hierarchical identification information is added to the coded image data of each of the hierarchically coded pictures.
Coding of each picture included in the first video stream and the second video stream generated by the image coding unit and included in the first video stream corresponding to the first video stream. The first stream identification information indicating that the image data belongs to the coded image data of the lower layer picture, and the code of each picture included in the second video stream corresponding to the second video stream. A frame rate consisting of only the second stream identification information indicating that the converted image data belongs to the encoded image data of the picture on the higher layer side and the picture on the lower layer side corresponding to the first video stream. A second value based on a frame rate consisting of a first descriptor into which a first value based on the data is inserted, a picture on the lower layer side and a picture on the higher layer side corresponding to the second video stream. A multiplexing stream generator that generates a multiplexing stream containing a second descriptor in which
A transmission device further comprising a transmission unit that transmits the multiplexing stream generated by the multiplexing stream generation unit.
請求項1に記載の送信装置。 The level specification value of the first video stream and the level specification value of the video stream obtained by combining the first video stream and the second video stream are inserted into the NAL unit of the SPS of the first video stream. The transmitting device according to claim 1.
上記階層符号化された各ピクチャの符号化画像データには、階層識別情報が付加されており、
多重化ストリーム生成部が、上記画像符号化ステップで生成された上記第1のビデオストリームおよび上記第2のビデオストリームを含むと共に、上記第1のビデオストリームに対応して該第1のビデオストリームに含まれる各ピクチャの符号化画像データが上記低階層側のピクチャの符号化画像データに属することを示す第1のストリーム識別情報と、上記第2のビデオストリームに対応して該第2のビデオストリームに含まれる各ピクチャの符号化画像データが上記高階層側のピクチャの符号化画像データに属することを示す第2のストリーム識別情報と、上記第1のビデオストリームに対応して上記低階層側のピクチャのみからなるフレームレートに基づいた第1値が挿入された第1のデスクリプタと、上記第2のビデオストリームに対応して上記低階層側のピクチャと上記高階層側のピクチャとからなるフレームレートに基づいた第2の値が挿入された第2のデスクリプタを含む多重化ストリームを生成する多重化ストリーム生成ステップと、
送信部が、上記多重化ストリーム生成ステップで生成された上記多重化ストリームを送信する送信ステップをさらに有する
送信方法。 The image coding unit hierarchically encodes the image data of each picture constituting the moving image data, and the first video stream having the coded image data of the picture on the lower layer side and the coded image data of the picture on the higher layer side. Has an image coding step that produces a second video stream with
Hierarchical identification information is added to the coded image data of each of the hierarchically coded pictures.
The multiplexing stream generation unit includes the first video stream and the second video stream generated in the image coding step, and the first video stream corresponds to the first video stream. The first stream identification information indicating that the coded image data of each picture included belongs to the coded image data of the picture on the lower layer side, and the second video stream corresponding to the second video stream. The second stream identification information indicating that the coded image data of each picture included in the above belongs to the coded image data of the picture on the higher layer side, and the lower layer side corresponding to the first video stream. A frame rate consisting of a first descriptor in which a first value based on a frame rate consisting of only pictures is inserted, a picture on the lower layer side and a picture on the higher layer side corresponding to the second video stream. A multiplexing stream generation step that generates a multiplexing stream containing a second descriptor with a second value inserted based on
A transmission method in which the transmission unit further includes a transmission step of transmitting the multiplexing stream generated in the multiplexing stream generation step.
上記階層符号化された各ピクチャの符号化画像データには、階層識別情報が付加されており、
上記第1のストリーム識別情報および上記第2のストリーム識別情報と、上記第1の値および上記第2の値に基づいて、上記多重化ストリームから、上記第1のビデオストリームのみ、あるいは上記第1のビデオストリームおよび上記第2のビデオストリームの双方を抽出してデコード処理をする処理部をさらに備える
受信装置。 The first video stream having the coded image data of the picture on the lower layer side and the coded image data of the picture on the higher layer side generated by hierarchically coding the image data of each picture constituting the moving image data. The coded image data of each picture included in the first video stream corresponding to the first video stream, which includes the second video stream having the data, belongs to the coded image data of the picture on the lower layer side. The first stream identification information indicating that the data and the coded image data of each picture included in the second video stream corresponding to the second video stream become the coded image data of the picture on the higher layer side. A second stream identification information indicating that the data belongs, a first descriptor in which a first value based on a frame rate consisting of only the pictures on the lower layer side corresponding to the first video stream is inserted, and the above. Receives a multiplexed stream containing a second descriptor in which a second value based on a frame rate consisting of the picture on the lower layer side and the picture on the higher layer side is inserted corresponding to the second video stream. Equipped with a receiver
Hierarchical identification information is added to the coded image data of each of the hierarchically coded pictures.
Based on the first stream identification information, the second stream identification information, the first value, and the second value, only the first video stream or the first video stream can be obtained from the multiplexing stream. A receiving device further comprising a processing unit that extracts and decodes both the video stream of the above and the second video stream.
請求項4に記載の受信装置。 The receiving device according to claim 4, wherein the processing unit further performs processing for adjusting the frame rate of the image data of each picture obtained by performing the decoding according to the display capability.
上記階層符号化された各ピクチャの符号化画像データには、階層識別情報が付加されており、
処理部が、上記第1のストリーム識別情報および上記第2のストリーム識別情報と、上記第1の値および上記第2の値に基づいて、上記多重化ストリームから、上記第1のビデオストリームのみ、あるいは上記第1のビデオストリームおよび上記第2のビデオストリームの双方を抽出してデコード処理をする処理ステップをさらに有する
受信方法。 The receiver is generated by hierarchically coding the image data of each picture that constitutes the moving image data, and the code of the first video stream having the coded image data of the picture on the lower layer side and the picture on the higher layer side. A second video stream having the converted image data is included, and the coded image data of each picture included in the first video stream corresponding to the first video stream is the coding of the picture on the lower layer side. The first stream identification information indicating that the data belongs to the image data, and the coded image data of each picture included in the second video stream corresponding to the second video stream are the codes of the pictures on the higher layer side. A first value in which a second stream identification information indicating that the data belongs to the converted image data and a first value based on a frame rate consisting of only the pictures on the lower layer side corresponding to the first video stream are inserted. Multiplexing including a descriptor and a second descriptor in which a second value based on a frame rate consisting of the lower layer picture and the higher layer picture corresponding to the second video stream is inserted. Has a receive step to receive the stream,
Hierarchical identification information is added to the coded image data of each of the hierarchically coded pictures.
Based on the first stream identification information, the second stream identification information, the first value, and the second value, the processing unit can select only the first video stream from the multiplexing stream. Alternatively, a receiving method further comprising a processing step of extracting both the first video stream and the second video stream and performing decoding processing.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020164375A JP6950802B2 (en) | 2019-12-19 | 2020-09-30 | Transmission method and transmitter |
JP2021153059A JP7230981B2 (en) | 2020-09-30 | 2021-09-21 | Receiving device and receiving method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019228894A JP6773205B2 (en) | 2019-12-19 | 2019-12-19 | Transmitter, transmitter, receiver and receiver |
JP2020164375A JP6950802B2 (en) | 2019-12-19 | 2020-09-30 | Transmission method and transmitter |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019228894A Division JP6773205B2 (en) | 2019-12-19 | 2019-12-19 | Transmitter, transmitter, receiver and receiver |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021153059A Division JP7230981B2 (en) | 2020-09-30 | 2021-09-21 | Receiving device and receiving method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020205642A true JP2020205642A (en) | 2020-12-24 |
JP6950802B2 JP6950802B2 (en) | 2021-10-13 |
Family
ID=73838573
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020164375A Active JP6950802B2 (en) | 2019-12-19 | 2020-09-30 | Transmission method and transmitter |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6950802B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE112021006400T5 (en) | 2020-12-11 | 2023-10-12 | Kyb Corporation | Resin molded member and manufacturing method thereof |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014050425A1 (en) * | 2012-09-28 | 2014-04-03 | シャープ株式会社 | Image decoding device |
JP2015005976A (en) * | 2013-06-18 | 2015-01-08 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | Transmission method |
-
2020
- 2020-09-30 JP JP2020164375A patent/JP6950802B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014050425A1 (en) * | 2012-09-28 | 2014-04-03 | シャープ株式会社 | Image decoding device |
JP2015005976A (en) * | 2013-06-18 | 2015-01-08 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | Transmission method |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE112021006400T5 (en) | 2020-12-11 | 2023-10-12 | Kyb Corporation | Resin molded member and manufacturing method thereof |
Also Published As
Publication number | Publication date |
---|---|
JP6950802B2 (en) | 2021-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11601696B2 (en) | Transmission apparatus, transmission method, reception apparatus, and reception method | |
JP2021114785A (en) | Transmission method and transmission device | |
JP6795076B2 (en) | Transmission / reception system and transmission / reception method | |
JP6950802B2 (en) | Transmission method and transmitter | |
JP5905147B2 (en) | Transmitting apparatus, transmitting method, receiving apparatus, and receiving method | |
JP7095775B2 (en) | Transmitter and transmission method | |
JP6508270B2 (en) | Transmission apparatus, transmission method, reception apparatus and reception method | |
JP6773205B2 (en) | Transmitter, transmitter, receiver and receiver | |
JP7230981B2 (en) | Receiving device and receiving method | |
JP6648811B2 (en) | Transmitting device, transmitting method, receiving device and receiving method | |
JP5905148B2 (en) | Transmitting apparatus, transmitting method, receiving apparatus, and receiving method | |
JP6213482B2 (en) | Transmitting apparatus, transmitting method, receiving apparatus, and receiving method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201027 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201027 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210816 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210824 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210906 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6950802 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |