JP2022009528A - 送信方法 - Google Patents

送信方法 Download PDF

Info

Publication number
JP2022009528A
JP2022009528A JP2021175109A JP2021175109A JP2022009528A JP 2022009528 A JP2022009528 A JP 2022009528A JP 2021175109 A JP2021175109 A JP 2021175109A JP 2021175109 A JP2021175109 A JP 2021175109A JP 2022009528 A JP2022009528 A JP 2022009528A
Authority
JP
Japan
Prior art keywords
stream
descriptor
video
image data
video stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021175109A
Other languages
English (en)
Other versions
JP7184140B2 (ja
Inventor
郁夫 塚越
Ikuo Tsukagoshi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of JP2022009528A publication Critical patent/JP2022009528A/ja
Priority to JP2022186842A priority Critical patent/JP2023010912A/ja
Application granted granted Critical
Publication of JP7184140B2 publication Critical patent/JP7184140B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362Generation or processing of Service Information [SI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

Figure 2022009528000001
【課題】ビデオストリームの送信を良好に行い得るようにする。
【解決手段】動画像データを構成する各ピクチャの画像データを階層符号化し、各階層のピクチャの符号化画像データを持つビデオストリームを生成する。このビデオストリームを含む所定フォーマットのコンテナを送信する。コンテナのレイヤに、デコードに必要な値が記述されたデスクリプタを固定的に挿入する。このデコードに必要な値を、最大規模の値に固定する。送信側の運用が容易となると共に、受信側ではデコードに必要な値の最大規模の値をコンテナのレイヤで容易に認識し得る。
【選択図】図11

Description

本技術は、送信装置、送信方法、受信装置および受信方法に関し、特に、複数の番組のビデオストリームを連続的に送信する送信装置等に関する。
放送において、画像フォーマット、例えばフレームレート(フレーム周波数)を異にする複数の番組(イベント)を混在させて送信することが考えられる。例えば、スポーツ系の番組は100Pのサービスで提供し、その他は50Pのサービスとする、などである。
従来、例えば、HEVC(High Efficiency Video Coding)において、動画像データを構成する各ピクチャの画像データを階層符号化することによる時間方向スケーラビリティが提案されている(非特許文献1参照)。受信側では、NAL(Network Abstraction Layer)ユニットのヘッダに挿入されているテンポラルID(temporal_id)情報に基づき、各ピクチャの階層を識別でき、デコード能力に対応した階層までの選択的なデコードが可能となる。
Gary J. Sullivan, Jens-Rainer Ohm, Woo-Jin Han, Thomas Wiegand,"Overview of the High Efficiency Video Coding (HEVC) Standard" IEEETRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECNOROGY, VOL. 22, NO. 12, pp.1649-1668, DECEMBER 2012
本技術の目的は、ビデオストリームの送信を良好に行い得るようにすることにある。
本技術の概念は、
動画像データを構成する各ピクチャの画像データを階層符号化し、各階層のピクチャの符号化画像データを持つビデオストリームを生成する画像符号化部と、
上記ビデオストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
上記コンテナのレイヤに、デコードに必要な値が記述されたデスクリプタが固定的に挿入され、
上記デコードに必要な値は、最大規模の値に固定される
送信装置にある。
本技術において、画像符号化部により、動画像データを構成する各ピクチャの画像データが階層符号化され、各階層のピクチャの符号化画像データを持つビデオストリームが生成される。例えば、画像符号化部は、第1のフレームレートの動画像データを符号化して第1のビデオストリームを生成し、第1のフレームレートより高い第2のフレームレートの動画像データを符号化して第2のビデオストリームを生成し、送信部は、画像符号化部で生成された第1のビデオストリームおよび第2のビデオストリームを連続的に含む所定フォーマットのコンテナを送信する、ようにされてもよい。
この場合、例えば、第1のビデオストリームは、全階層のピクチャの符号化画像データを持つ基本ストリームからなり、第2のビデオストリームは、低階層側のピクチャの符号化画像データを持つ基本ストリームと高階層側のピクチャの符号化画像データを持つ拡張ストリームとからなる、ようにされてもよい。この場合は、HFR(High Frame Rate)の後方互換性を持ったモードでの配信となる。
このとき、例えば、拡張ストリームに含まれるピクチャの階層は、基本ストリームのピクチャが採り得る最大階層より大きな固定の階層とされてもよい。これにより、基本ストリームの各ピクチャの階層構造が変化する場合においても、基本ストリームに含まれる各階層のピクチャの符号化画像データの抽出を適切に行い得る。
また、この場合、例えば、第1のビデオストリームおよび第2のビデオストリームは、それぞれ、全階層のピクチャの符号化画像データを持つ基本ストリームからなる、ようにされてもよい。この場合は、HFR(High Frame Rate)の後方互換性を持たないモードでの配信となる。
コンテナのレイヤに、デコードに必要な値が記述されたデスクリプタが、固定的に挿入される。また、デコードに必要な値は、最大規模の値に固定される。例えば、デコードに必要な値は、ビデオストリームのレベル指定値およびビデオストリームに含まれる各ピクチャの符号化画像データの階層の最大と最小の値である、ようにされてもよい。
このように本技術によれば、コンテナのレイヤにデコードに必要な値が記述されたデスクリプタが固定的に挿入され、また、デコードに必要な値は最大規模の値に固定されるものであり、送信側の運用が容易となると共に、受信側ではデコードに必要な値の最大規模の値をコンテナのレイヤで容易に認識し得る。
なお、本技術において、例えば、コンテナは、トランスポートストリームであり、デスクリプタは、HEVC VIDEO デスクリプタであり、コンテナのレイヤに、番組(イベント)毎のビデオストリームにそれぞれ対応して、フレームレート情報および互換性情報が記述されたコンポーネントデスクリプタが挿入されてもよい。これにより、受信側では、HEVC VIDEO デスクリプタとコンポーネントデスクリプタの記述内容を組み合わせて受信ビデオストリームの状態を精度よく判別して適切な処理を行うことが可能となる。
また、本技術の他の概念は、
動画像データを構成する各ピクチャの画像データが階層符号化されて生成された、各階層のピクチャの符号化画像データを持つビデオストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記コンテナのレイヤに、デコードに必要な値が記述されたデスクリプタが固定的に挿入されており、
上記デコードに必要な値は、最大規模の値に固定されており、
上記デスクリプタの記述内容に基づいて、上記ビデオストリームの復号化処理を制御する制御部をさらに備える
受信装置にある。
本技術において、受信部により、動画像データを構成する各ピクチャの画像データが階層符号化されて生成された、各階層のピクチャの符号化画像データを持つビデオストリームを含む所定フォーマットのコンテナが受信される。
コンテナのレイヤに、デコードに必要な値が記述されたデスクリプタが固定的に挿入されている。また、デコードに必要な値は、最大規模の値に固定されている。制御部により、デスクリプタの記述内容に基づいて、ビデオストリームの復号化処理が制御される。
このように本技術によれば、コンテナのレイヤに挿入されており、デコードに必要な値が最大規模の値に固定されて記述されているデスクリプタに基づいてビデオストリームの復号化処理が制御されるものであり、ビデオストリームの復号化処理を適切に行うことが可能となる。
なお、本技術において、例えば、コンテナは、トランスポートストリームであり、デスクリプタは、HEVC VIDEO デスクリプタであり、コンテナのレイヤに、番組(イベント)毎のビデオストリームにそれぞれ対応して、フレームレート情報および互換性情報が記述されたコンポーネントデスクリプタが挿入されており、制御部は、HEVC VIDEO デスクリプタの記述内容およびコンポーネントデスクリプタの記述内容に基づいて、ビデオストリームの復号化処理を制御する、ようにされてもよい。これにより、制御部は、HEVC VIDEO デスクリプタとコンポーネントデスクリプタの記述内容を組み合わせて受信ビデオストリームの状態を精度よく判別して適切な処理を行うことが可能となる。
本技術によれば、ビデオストリームの送信を良好に行い得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
実施の形態としての送受信システムの構成例を示すブロック図である。 階層符号化の一例を示す図である。 NALユニットヘッダの構造例と、その構造例における主要なパラメータの内容を示す図である。 HEVC VIDEO デスクリプタの構造例を示す図である。 EITの構造例と、その構造例において関係する要素の内容を示す図である。 コンポーネントデスクリプタの構造例と、その構造例における主要な要素の内容を示す図である。 「component_type」の各値とそれで識別されるビデオストリームの対応関係を示す図である。 ストリーム・アイデンチファイヤ・デスクリプタの構造例を示す図である。 HEVC VIDEO デスクリプタの記述内容とコンポーネントデスクリプタの記述内容との対応関係の一例を示す図である。 送信装置の構成例を示すブロック図である。 後方互換性を持ったモードでの配信において、50Hz番組から100Hz番組に切り替えが行われる場合におけるシーケンスパラメータセット、HEVC VIDEO デスクリプタおよびコンポーネントデスクリプタの状態変化の一例を示す図である。 後方互換性を持ったモードでの配信において、50Hz番組の送信時におけるトランスポートストリームTSの構成例を示す図である。 後方互換性を持ったモードでの配信において、100Hz番組の送信時におけるトランスポートストリームTSの構成例を示す図である。 従来におけるシーケンスパラメータセットおよびHEVC VIDEO デスクリプタの状態変化の一例を示す図である。 後方互換性を持たないモードでの配信において、50Hz番組から100Hz番組に切り替えが行われる場合におけるシーケンスパラメータセット、HEVC VIDEO デスクリプタおよびコンポーネントデスクリプタの状態変化の一例を示す図である。 後方互換性を持たないモードでの配信において、50Hz番組の送信時におけるトランスポートストリームTSの構成例を示す図である。 後方互換性を持たないモードでの配信において、100Hz番組の送信時におけるトランスポートストリームTSの構成例を示す図である。 従来におけるシーケンスパラメータセットおよびHEVC VIDEO デスクリプタの状態変化の一例を示す図である。 受信装置の構成例を示すブロック図である。 TS解析部の構成例を示す図である。 受信装置においてユーザ操作に基づいて行われるEPG表示等の一例を示す図である。
以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明は以下の順序で行う。
1.実施の形態
2.変形例
<1.実施の形態>
[送受信システム]
図1は、実施の形態としての送受信システム10の構成例を示している。この送受信システム10は、送信装置100と、受信装置200とを有する構成となっている。
送信装置100は、コンテナ(多重化ストリーム)としてのトランスポートストリームTSを、放送波あるいはネットのパケットに載せて送信する。このトランスポートストリームTSには、複数の番組(イベント)のビデオストリームが連続的に含まれる。ビデオストリームは、動画像データを構成する各ピクチャの画像データが階層符号化されて生成されたものであり、各階層のピクチャの符号化画像データを持っている。
複数の番組には、第1のフレームレート(第1のフレーム周波数)の動画像データに係る番組と、第1のフレームレートより高い第2のフレームレート(第2のフレーム周波数)の動画像データに係る番組が含まれる。例えば、第1のフレームレートは50Hzであって第2のフレームレートは100Hz、あるいは第1のフレームレートは60Hzであって第2のフレームレートは120Hzである。ここでは、第1のフレームレートが50Hz、第2のフレームレートが100Hzである場合を例にとって説明する。
複数の番組は、サービスに応じて、HFR(High Frame Rate)の後方互換性を持ったモード(HFR BackwardCompatible Mode)での配信が行われるか、あるいはHFRの後方互換性を持たないモード(HFRNon-Backward Compatible Mode)での配信が行われる。
50Hzの動画像データに係る番組に関しては、当該動画像データが符号化されて第1のビデオストリームが生成される。一方、100Hzの動画像データに係る番組に関しては、当該動画像データが符号化されて第2のビデオストリームが生成される。
ここで、後方互換性を持ったモードでの配信において、第1のビデオストリームは、全階層のピクチャの符号化画像データを持つ基本ストリームからなる。また、この後方互換性を持ったモードでの配信において、第2のビデオストリームは、低階層側のピクチャの符号化画像データを持つ基本ストリームと高階層側のピクチャの符号化画像データを持つ拡張ストリームとからなる。
この場合、拡張ストリームに含まれるピクチャの階層は、基本ストリームのピクチャが採り得る最大階層より大きな固定の階層とされる。これにより、基本ストリームの各ピクチャの階層構造が変化する場合においても、基本ストリームに含まれる各階層のピクチャの符号化画像データの抽出を適切に行い得るようになる。
また、後方互換性を持たないモードでの配信において、第1のビデオストリームは、全階層のピクチャの符号化画像データを持つ基本ストリームからなる。また、この後方互換性を持たないモードでの配信において、第2のビデオストリームも、全階層のピクチャの符号化画像データを持つ基本ストリームからなる。
図2(a)は、後方互換性を持ったモードでの配信における第1のビデオストリーム(基本ストリーム)、あるいは後方互換性を持たないモードでの配信における第1のビデオストリーム(基本ストリーム)の階層符号化の一例を示している。矩形枠のそれぞれがピクチャを示している。この例は、最上位階層が「4」とされた例である。第1のビデオストリーム(基本ストリーム)は、「0」から「4」の階層のピクチャの符号化画像データを持つものとなる。
図2(b)は、後方互換性を持ったモードでの配信における第2のビデオストリーム(基本ストリーム、拡張ストリーム)の階層符号化の一例を示している。矩形枠のそれぞれがピクチャを示している。この例は、最上位階層が「5」とされた例である。基本ストリームは、「0」から「4」の階層のピクチャの符号化画像データを持つものとなる。拡張ストリームは、「5」の階層のピクチャの符号化画像データを持つものとなる。
図2(c)は、後方互換性を持たないモードでの配信における第2のビデオストリーム(基本ストリーム)の階層符号化の一例を示している。矩形枠のそれぞれがピクチャを示している。この例は、最上位階層が「5」とされた例である。第2のビデオストリーム(基本ストリーム)は、「0」から「5」の階層のピクチャの符号化画像データを持つものとなる。
なお、階層符号化においては、例えば、H.264/AVC、H.265/HEVCなどの符号化が施され、被参照ピクチャが自己階層および/または自己階層よりも低い階層に所属するように符号化される。各階層のピクチャの符号化画像データに、ピクチャ毎に、所属階層を識別するための階層識別情報(temporal_id)が付加される。各ピクチャのNALユニット(nal_unit)のヘッダ部分に、階層識別情報(temporal_id)を意味する“nuh_temporal_id_plus1”)が配置される。このように階層識別情報が付加されることで、受信側では、各ピクチャの所属階層を知ることができる。
図3(a)は、NALユニットヘッダの構造例(Syntax)を示し、図3(b)は、その構造例における主要なパラメータの内容(Semantics)を示している。「Forbidden_zero_bit」の1ビットフィールドは、0が必須である。「Nal_unit_type」の6ビットフィールドは、NALユニットタイプを示す。「Nuh_layer_id」の6ビットフィールドは、0を前提とする。「Nuh_temporal_id_plus1」の3ビットフィールドは、“temporal_id”を示し、1を加えた値(1~7)をとる。
コンテナのレイヤに、デコードに必要な値が記述されたデスクリプタ、ここではPMTデスクリプタとしてのHEVC VIDEO デスクリプタが固定的に挿入される。また、このHEVC VIDEO デスクリプタに記述されるデコードに必要な値は、最大規模の値に固定される。デコードに必要な値は、例えば、ビデオストリームのレベル指定値およびビデオストリームに含まれる各ピクチャの符号化画像データの階層の最大と最小の値などである。
図4は、HEVC VIDEO デスクリプタ(HEVC_video_descriptor)の構造例(Syntax)を示している。「descriptor_tag」の8ビットフィールドは、デスクリプタタイプを示し、ここでは、HEVC VIDEO デスクリプタであることを示す。「descriptor_length」の8ビットフィールドは、デスクリプタの長さ(サイズ)を示し、デスクリプタの長さとして、以降のバイト数を示す。
「level_idc」の8ビットフィールドは、ビデオストリームのレベル指定値を示す。また、「temporal_layer_subset_flag = 1」であるとき、「temporal_id_min」の5ビットフィールドと、「temporal_id_max」の5ビットフィールドが存在する。「temporal_id_min」は、対応するビデオストリームに含まれる階層符号化データの最も低い階層の“temporal_id”の値を示す。「temporal_id_max」は、対応するビデオストリームが持つ階層符号化データの最も高い階層の“temporal_id”の値を示す。
また、コンテナのレイヤに、番組(イベント)毎のビデオストリームにそれぞれ対応して、フレームレート情報および互換性情報が記述されたコンポーネントデスクリプタ(Component_descriptor)が挿入される。このコンポーネントデスクリプタは、EIT(Event Information Table)に配置される。
図5(a)は、EITの構造例(Syntax)を示している。図5(b)は、EITの構造例において関係する要素の内容(Semantics)を示している。「service_id」の16ビットフィールドは、配信サービスを示す識別IDである。「event_id」の16ビットフィールドは、番組(インベント)を識別するIDを示す。「start_time」の40ビットフィールドは、番組の開始時刻を示し、UTCUniversalTime, Coordinated)で表される。「descriptor()」のフィールドにデスクリプタが挿入される。N個のデスクリプタの挿入が可能である。
図6(a)は、コンポーネントデスクリプタの構造例(Syntax)を示している。図6(b)は、コンポーネントデスクリプタの構造例における主要な要素の内容(Semantics)を示している。「stream_content_ext」の4ビットフィールドは、後方互換性を持った配信であるか否かを示す。“0x1”は互換性ありを示し、“0x0”は互換性なしを示す。
「stream_content」の4ビットフィールドは、ストリームのタイプを示す。例えば、“0x9”は、HEVC符号化ストリームであってもよい。「component_type」の8ビットフィールドは、ストリームのパラメータの組み合わせを示す識別情報である。
図7は、「component_type」の各値とそれで識別されるビデオストリームの対応関係を示している。「stream_content_ext = 0x0」であって、「component_type= 0x05」であるとき、HEVCメイン10プロファイルのUHD(Ultra High Definition)ビデオで、50Hzのシングルストリーム(基本ストリーム)であることを示す。また、「stream_content_ext = 0x0」であって、「component_type= 0x06」であるとき、HEVCメイン10プロファイルのUHDビデオで、60Hzのシングルストリーム(基本ストリーム)であることを示す。
また、「stream_content_ext = 0x0」であって、「component_type= 0x07」であるとき、HEVCメイン10プロファイルのHD(High Definition)ビデオで、100Hzのシングルストリーム(基本ストリーム)であることを示す。また、「stream_content_ext = 0x0」であって、「component_type= 0x08」であるとき、HEVCメイン10プロファイルのHD(High Definition)ビデオで、120Hzのシングルストリーム(基本ストリーム)であることを示す。
また、「stream_content_ext = 0x0」であって、「component_type= 0x09」であるとき、HEVCメイン10プロファイルのUHDビデオで、100Hzのシングルストリーム(基本ストリーム)であることを示す。また、「stream_content_ext = 0x0」であって、「component_type= 0x0A」であるとき、HEVCメイン10プロファイルのUHDビデオで、120Hzのシングルストリーム(基本ストリーム)であることを示す。
また、「stream_content_ext = 0x1」であって、「component_type= 0x07」であるとき、HEVCメイン10プロファイルのHDビデオで、基本ストリームと合わせて100Hzとするための拡張ストリームであることを示す。また、「stream_content_ext = 0x1」であって、「component_type= 0x08」であるとき、HEVCメイン10プロファイルのHDビデオで、基本ストリームと合わせて120Hzとするための拡張ストリームであることを示す。
また、「stream_content_ext = 0x1」であって、「component_type= 0x09」であるとき、HEVCメイン10プロファイルのUHDビデオで、基本ストリームと合わせて100Hzとするための拡張ストリームであることを示す。また、「stream_content_ext = 0x1」であって、「component_type= 0x0A」であるとき、HEVCメイン10プロファイルのUHDビデオで、基本ストリームと合わせて120Hzとするための拡張ストリームであることを示す。
図6に戻って、「component_tag」の8ビットフィールドは、コンポーネントタグ(component_tag)を示し、対応するHEVC VIDEO デスクリプタと共に配置されたストリーム・アイデンチファイヤ・デスクリプタ(Stream_identifier_descriptor)のコンポーネントタグ(component_tag)と一致する。これにより、PMTとEITとの関連付け、つまりHEVC VIDEO デスクリプタとコンポーネントデスクリプタとの関連付けがなされる。図8は、ストリーム・アイデンチファイヤ・デスクリプタの構造例(Syntax)を示している。「ISO_639_language_code」の24ビットフィールドは、「text_char」のフィールドで表示する言語を“3-character code”で表す。
図9は、HEVC VIDEO デスクリプタの記述内容とコンポーネントデスクリプタの記述内容との対応関係の一例を示している。“サービス1”は、後方互換性を持ったモードにおける配信例である。この“サービス1”においては、PMTに、基本ストリームおよび拡張ストリームのそれぞれに対応したESループにHEVC VIDEO デスクリプタが固定的に挿入され、各HEVC VIDEO デスクリプタに記述されるデコードに必要な値(ビットレートのレベル指定値、階層の最大の値など)は最大規模の値に固定される。
基本ストリームに対応したESループには、基本ストリームに対応して、ストリームタイプ、PID(パケット識別子)等の情報が配置される。「Stream_type」の値は「0x24」に設定され、PID情報は基本ストリームのPESパケットに付与される「PID1」に設定される。
また、この基本ストリームに対応したESループには、HEVC VIDEO デスクリプタ、ストリーム・アイデンチファイヤ・デスクリプタが挿入される。HEVC VIDEO デスクリプタにおいて、「level_idc 」は“153”、つまり“level5.1”に設定されている。また、「temporal_id_max」は“4”に設定されている(図2(a),(b)参照)。
また、拡張ストリームに対応したESループには、拡張ストリームに対応して、ストリームタイプ、PID(パケット識別子)等の情報が配置される。「Stream_type」の値は「0x25」に設定され、PID情報は拡張ストリームのPESパケットに付与される「PID2」に設定される。
また、この拡張ストリームに対応したESループには、HEVC VIDEO デスクリプタ、ストリーム・アイデンチファイヤ・デスクリプタが挿入される。HEVC VIDEO デスクリプタにおいて、「level_idc 」は“156”、つまり“level5.2”に設定されている。また、「temporal_id_max」は“5”に設定されている(図2(b)参照)。
また、ストリーム・アイデンチファイヤ・デスクリプタにおけるコンポーネントタグが“Component_tag1”に設定され、HEVC VIDEO デスクリプタとコンポーネントデスクリプタとが対応付けられる。コンポーネントデスクリプタの記述内容により、EPG(Electronic program guide)情報が構成される。
EPG情報には、イベント毎のビデオストリームにそれぞれ対応して、フレームレート情報、互換性情報も含まれる。例えば、開始時刻(start_time)が“6:00:00”である番組(イベント)に関しては、1つのビデオストリームの存在が示されている。そして、この1つのビデオストリームは、「stream_content_ext = 0x0」、「component_type =0x05」であることから、HEVCメイン10プロファイルのUHD(Ultra High Definition)ビデオで、50Hzのシングルストリーム(基本ストリーム)であることがわかる。
また、例えば、開始時刻(start_time)が“7:00:00”である番組(イベント)に関しては、2つのビデオストリームが存在し、UHD100Hzの互換配信であることが示されている。そして、一方のビデオストリームは、「Component_tag1_1」により示される要素が「stream_content_ext= 0x0」、「component_type = 0x05」であることから、HEVCメイン10プロファイルのUHD(Ultra High Definition)ビデオで、50Hzの基本ストリームであることがわかる。また、他方のビデオストリームは、「Component_tag1_2」より示される要素が「stream_content_ext= 0x1」、「component_type = 0x09」であることから、HEVCメイン10プロファイルのUHDビデオで、基本ストリームと合わせて100Hzとするための拡張ストリームであることがわかる。
“サービス2”も、後方互換性を持ったモードにおける配信例である。上述した“サービス1”の場合と同様であるので、その詳細説明は省略する。
“サービス3”は、後方互換性を持たないモードにおける配信例である。この“サービス3”においては、PMTに、基本ストリームに対応したESループにHEVC VIDEO デスクリプタが固定的に挿入され、そのHEVC VIDEO デスクリプタに記述されるデコードに必要な値(ビットレートのレベル指定値、階層の最大の値など)は最大規模の値に固定される。
基本ストリームに対応したESループには、基本ストリームに対応して、ストリームタイプ、PID(パケット識別子)等の情報が配置される。「Stream_type」の値は「0x24」に設定され、PID情報は基本ストリームのPESパケットに付与される「PID1」に設定される。
また、この基本ストリームに対応したESループには、HEVC VIDEO デスクリプタ、ストリーム・アイデンチファイヤ・デスクリプタが挿入される。HEVC VIDEO デスクリプタにおいて、「level_idc 」は“156”、つまり“level5.2”に設定されている。また、「temporal_id_max」は“5”に設定されている(図2(c)参照)。ビデオストリームのレベル指定値が“level5.1”であっても、HEVC VIDEO デスクリプタでは“level5.2”を示す。元々1ストリームで100p放送をする場合は非互換サービスが前提なので、50p放送しか受信できない受信装置は、“サービス3”の対象にならない。
また、ストリーム・アイデンチファイヤ・デスクリプタにおけるコンポーネントタグが“Component_tag3”に設定され、HEVC VIDEO デスクリプタとコンポーネントデスクリプタとが対応付けられる。コンポーネントデスクリプタの記述内容により、EPG(Electronic program guide)情報が構成される。
EPG情報には、イベント毎のビデオストリームにそれぞれ対応して、フレームレート情報、互換性情報も含まれる。例えば、開始時刻(start_time)が“6:00:00”である番組(イベント)に関しては、1つのビデオストリームの存在が示されている。そして、この1つのビデオストリームは、「Component_tag3 」により示される要素が「stream_content_ext= 0x0」、「component_type = 0x05」であることから、HEVCメイン10プロファイルのUHD(Ultra High Definition)ビデオで、50Hzのシングルストリーム(基本ストリーム)であることがわかる。
また、例えば、開始時刻(start_time)が“7:00:00”である番組(イベント)に関しては、1つのビデオストリームが存在し、UHD100Hzの非互換配信であることが示されている。そして、このビデオストリームは、「Component_tag3 」により示される要素が「stream_content_ext= 0x0」、「component_type = 0x09」であることから、HEVCメイン10プロファイルのUHDビデオで、100Hzのシングルストリーム(基本ストリーム)であることがわかる。
図1に戻って、受信装置200は、送信装置100から放送波あるいはネットのパケットに載せて送られてくる上述のトランスポートストリームTSを受信する。このトランスポートストリームTSには、上述したように、複数の番組(イベント)のビデオストリームが連続的に含まれる。ここで、複数の番組には、50Hzの動画像データに係る番組と、100Hzの動画像データに係る番組が含まれる。
そして、後方互換性を持ったモードでの配信において、50Hzの動画像データに係る番組に関しては、全階層のピクチャの符号化画像データを持つ基本ストリームのみが存在し、100Hzの動画像データに係る番組に関しては、低階層側のピクチャの符号化画像データを持つ基本ストリームと高階層側のピクチャの符号化画像データを持つ拡張ストリームが存在する。
一方、後方互換性を持たないモードでの配信において、50Hzの動画像データに係る番組に関しては、全階層のピクチャの符号化画像データを持つ基本ストリームのみが存在し、100Hzの動画像データに係る番組に関しても、全階層のピクチャの符号化画像データを持つ基本ストリームのみが存在する。
コンテナのレイヤに、PMTデスクリプタとしてのHEVC VIDEO デスクリプタが固定的に挿入され、当該HEVC VIDEO デスクリプタに記述されるデコードに必要な値は、最大規模の値に固定されている(図9参照)。
また、コンテナのレイヤに、番組(イベント)毎のビデオストリームにそれぞれ対応して、フレームレート情報および互換性情報が記述されたコンポーネントデスクリプタが挿入され、コンポーネントタグによって、HEVC VIDEO デスクリプタとコンポーネントデスクリプタとの対応付けがなされている(図9参照)。
受信装置200は、HEVC VIDEO デスクリプタの記述内容、あるいはHEVC VIDEO デスクリプタの記述内容およびコンポーネントデスクリプタの記述内容に基づいて、ビデオストリームの復号化処理を制御し、各番組の画像表示をする。
例えば、後方互換性を持ったモードでの配信であって(図9のサービス1,2参照)、50Hzのシングルストリーム(基本ストリーム)のみが存在する番組(イベント)の場合、50p放送しか受信できない受信装置200および100p放送も受信できる受信装置200のいずれにおいても、当該基本ストリームの復号化処理を行って、当該番組の画像表示をする。
また、例えば、後方互換性を持ったモードでの配信であって(図9のサービス1,2参照)、50Hzのシングルストリーム(基本ストリーム)と、基本ストリームと合わせて100Hzとするための拡張ストリームの2つのビデオストリームが存在する場合、50p放送しか受信できない受信装置200は基本ストリームの復号化処理を行って当該番組の画像表示をし、100p放送も受信できる受信装置200は基本ストリームおよび拡張ストリームの双方の復号化処理を行って、当該番組の画像表示をする。
また、例えば、後方互換性を持たないモードでの配信であって(図9のサービス3参照)、50Hzあるいは100Hzのシングルストリーム(基本ストリーム)が存在する番組(イベントの場合、50p放送しか受信できない受信装置200は当該基本ストリームの復号化処理をせず、当該番組の画像表示をしないが、100p放送も受信できる受信装置200は当該基本ストリームの復号化処理を行って、当該番組の画像表示をする。
「送信装置の構成」
図10は、送信装置100の構成例を示している。この送信装置100は、CPU(Central Processing Unit)101と、エンコーダ102と、圧縮データバッファ(cpb:coded picture buffer)103と、TSフォーマッタ(マルチプレクサ)104と、送信部105を有している。CPU101は、制御部であり、送信装置100の各部の動作を制御する。
エンコーダ102は、フレームレートが50Hzの番組(以下、適宜、「50Hz番組」という)の動画像データVDAとフレームレートが100Hzの番組(以下、適宜、「100Hz番組」という)の動画像データVDBを選択的に入力し、例えば、H.264/AVC、H.265/HEVCなどの符号化を行って、ビデオストリームを生成する。この場合、ビデオストリームは、動画像データを構成する各ピクチャの画像データが階層符号化されて生成される。
HFRの後方互換性を持ったモード(HFR Backward Compatible Mode)での配信が行われる場合、50Hz番組の動画像データVDAに関しては、全階層のピクチャの符号化画像データを持つ基本ストリームが生成される(図2(a)参照)。また、この場合、100Hz番組の動画像データVDBに関しては、低階層側のピクチャの符号化画像データを持つ基本ストリームと高階層側のピクチャの符号化画像データを持つ拡張ストリームが生成される(図2(b)参照)。
また、HFRの後方互換性を持たないモード(HFR Non-Backward Compatible Mode)での配信が行われる場合、50Hz番組の動画像データVDAに関しては、全階層のピクチャの符号化画像データを持つ基本ストリームが生成される(図2(a)参照)。また、この場合、100Hz番組の動画像データVDBに関しても、全階層のピクチャの符号化画像データを持つ基本ストリームが生成される(図2(c)参照)。
圧縮データバッファ(cpb)103は、エンコーダ103で生成されたビデオストリームを、一時的に蓄積する。TSフォーマッタ104は、圧縮データバッファ103に蓄積されているビデオストリームを読み出し、PESパケット化し、さらにトランスポートパケット化して多重し、多重化ストリームとしてのトランスポートストリームTSを得る。
このトランスポートストリームTSには、50Hz番組のビデオストリームと100Hz番組のビデオストリームが連続的に含まれる。後方互換性を持ったモードでの配信では、50Hz番組のビデオストリームとしては基本ストリームのみが存在し、100Hz番組のビデオストリームとしては基本ストリームと拡張ストリームが存在する。また、後方互換性を持たないモードでの配信では、50Hz番組および100Hz番組のビデオストリームとしてはそれぞれ基本ストリームのみが存在する。
また、TSフォーマッタ104は、コンテナのレイヤに、PMTデスクリプタとしてのHEVC VIDEO デスクリプタを固定的に挿入し、当該HEVC VIDEO デスクリプタに記述されるデコードに必要な値を、最大規模の値に固定する。
後方互換性を持ったモードでの配信では、PMTに、基本ストリームおよび拡張ストリームのそれぞれに対応したESループにHEVC VIDEO デスクリプタを固定的に挿入する。そして、基本ストリームに対応したESループに挿入されるHEVC VIDEO デスクリプタにおいて、「level_idc 」を“153”に設定し、「temporal_id_max」を“4”に設定し、拡張ストリームに対応したESループに挿入されるHEVC VIDEO デスクリプタにおいて、「level_idc 」を“156”に設定し、「temporal_id_max」を“5”に設定する(図9のサービス1,2参照)。
一方、後方互換性を持たないモードでの配信では、PMTに、基本ストリームに対応したESループにHEVC VIDEO デスクリプタを固定的に挿入する。そして、このHEVC VIDEO デスクリプタにおいて、「level_idc 」を“156”に設定し、「temporal_id_max」を“5”に設定する(図9のサービス3参照)。
また、TSフォーマッタ104は、基本ストリームに固定のPID(=PID_1)を付与する。また、TSフォーマッタ104は、拡張ストリームに固定のPID(=PID_2)を付与する。
また、TSフォーマッタ104は、コンテナのレイヤに、番組(イベント)毎のビデオストリームにそれぞれ対応して、フレームレート情報および互換性情報が記述されたコンポーネントデスクリプタを挿入し、コンポーネントタグによって、HEVC VIDEO デスクリプタとコンポーネントデスクリプタとの対応付けをする(図9参照)。このコンポーネントデスクリプタは、EITに配置される。
送信部105は、TSフォーマッタ104で得られたトランスポートストリームTSを、放送波あるいはネットのパケットに載せて、受信装置200に送信する。
図10に示す送信装置100の動作を簡単に説明する。エンコーダ102には、50Hz番組の動画像データVDAと100Hz番組の動画像データVDBが選択的に入力される。エンコーダ102では、入力された動画像データに階層符号化が施されて、ビデオストリームが生成される。このビデオストリームは、圧縮データバッファ(cpb)103に一時的に蓄積される。
ここで、HFRの後方互換性を持ったモードでの配信が行われる場合、50Hz番組の動画像データVDAに関しては、全階層のピクチャの符号化画像データを持つ基本ストリームが生成される(図2(a)参照)。また、この場合、100Hz番組の動画像データVDBに関しては、低階層側のピクチャの符号化画像データを持つ基本ストリームと高階層側のピクチャの符号化画像データを持つ拡張ストリームが生成される(図2(b)参照)。
また、HFRの後方互換性を持たないモードでの配信が行われる場合、50Hz番組の動画像データVDAに関しては、全階層のピクチャの符号化画像データを持つ基本ストリームが生成される(図2(a)参照)。また、この場合、100Hz番組の動画像データVDBに関しても、全階層のピクチャの符号化画像データを持つ基本ストリームが生成される(図2(c)参照)。
TSフォーマッタ104では、圧縮データバッファ103に蓄積されているビデオストリームが読み出され、PESパケット化され、さらにトランスポートパケット化されて多重され、多重化ストリームとしてのトランスポートストリームTSが得られる。
このトランスポートストリームTSには、50Hz番組のビデオストリームと100Hz番組のビデオストリームが連続的に含まれる。後方互換性を持ったモードでの配信では、50Hz番組のビデオストリームとして基本ストリームのみが含まれ、100Hz番組のビデオストリームとして基本ストリームと拡張ストリームが含まれる。また、後方互換性を持たないモードでの配信では、50Hz番組および100Hz番組のビデオストリームとしてそれぞれ基本ストリームのみが含まれる。
また、TSフォーマッタ104では、コンテナのレイヤに、PMTデスクリプタとしてのHEVC VIDEO デスクリプタが固定的に挿入され、当該HEVC VIDEO デスクリプタに記述されるデコードに必要な値は、最大規模の値に固定される。この場合、後方互換性を持ったモードでの配信では、PMTに、基本ストリームおよび拡張ストリームのそれぞれに対応したESループにHEVC VIDEO デスクリプタが固定的に挿入される。一方、後方互換性を持たないモードでの配信では、PMTに、基本ストリームに対応したESループにHEVC VIDEO デスクリプタが固定的に挿入される。
また、TSフォーマッタ104では、基本ストリームに固定のPID(=PID_1)が付与されると共に、拡張ストリームに固定のPID(=PID_2)が付与される。
また、TSフォーマッタ104では、コンテナのレイヤに、番組(イベント)毎のビデオストリームにそれぞれ対応して、フレームレート情報および互換性情報が記述されたコンポーネントデスクリプタが挿入され、コンポーネントタグによって、HEVC VIDEO デスクリプタとコンポーネントデスクリプタとの対応付けがなされる。
TSフォーマッタ104で得られたトランスポートストリームTSは、送信部105に送られる。送信部105では、TSフォーマッタ104で得られたトランスポートストリームTSが、放送波あるいはネットのパケットに載せて、受信装置200に送信される。
図11は、後方互換性を持ったモードでの配信において、50Hz番組から100Hz番組に切り替えが行われる場合におけるシーケンスパラメータセット(SPS:Sequence Parameter Set)、HEVC VIDEO デスクリプタ(HEVC_video_descriptor)およびコンポーネントデスクリプタ(Component_descriptor)の状態変化の一例を示している。
50Hz番組のビデオストリームとして、基本ストリーム(base stream)のみが存在する。この基本ストリームに0から4の全ての階層のピクチャの符号化画像データが含まれる。この場合、基本ストリームのSPSおいて、「general_level_idc」は“level5.1”に設定され、「sps_max_sublayer_minus1」は“4”に設定される。
100Hz番組のビデオストリームとして、基本ストリーム(base stream)および拡張ストリーム(enhanced stream)が存在する。基本ストリームに0から4の階層のピクチャの符号化画像データが含まれ、拡張ストリームに5の階層のピクチャの符号化画像データが含まれる。この場合、基本ストリームのSPSおいて、「general_level_idc」は“level5.2”に設定され、「sps_max_sublayer_minus1」は“5”に設定される。
50Hz番組の送信期間が開始される直前のタイミングで、コンテナのレイヤに、その50Hz番組に対応したPMTが挿入される。ここで、50Hz番組のビデオストリームとしては基本ストリームだけが存在するが、PMTには、基本ストリームに対応したHEVC VIDEO デスクリプタと拡張ストリームに対応したHEVC VIDEO デスクリプタが挿入される。これは、本技術において、PMTデスクリプタを固定的に挿入することによる。
この場合、基本ストリームに対応したHEVC VIDEO デスクリプタにおいて、「level_idc 」は“level5.1”に設定され、さらに、「temporal_id_min」は“0”に設定され、「temporal_id_max」は“4”に設定される。また、拡張ストリームに対応したHEVC VIDEO デスクリプタにおいて、「level_idc 」は“level5.2”に設定され、さらに、「temporal_id_min」は“5”に設定され、「temporal_id_max」は“5”に設定される。
基本ストリームに対応したHEVC VIDEO デスクリプタに関連付けされたコンポーネントデスクリプタが存在する。このコンポーネントデスクリプタでは、「stream_content_ext」は“0x0”に設定され、「component_type」は“0x05”に設定されており、50Hzのシングルストリーム(基本ストリーム)の存在が示される。
同様に、50Hz番組の送信期間において、100Hz番組の送信期間が開始される直前のタイミングで、コンテナのレイヤに、その100Hz番組に対応したPMTが挿入される。ここで、100Hz番組のビデオストリームとしては基本ストリームおよび拡張ストリームが存在し、PMTには、基本ストリームに対応したHEVC VIDEO デスクリプタと拡張ストリームに対応したHEVC VIDEO デスクリプタが挿入される。
この場合、各HEVC VIDEO デスクリプタの記述内容は、50Hz番組に対応したPMTにおける各HEVCVIDEO デスクリプタの記述内容と同じである。すなわち、基本ストリームに対応したHEVC VIDEO デスクリプタにおいて、「level_idc 」は“level5.1”に設定され、さらに、「temporal_id_min」は“0”に設定され、「temporal_id_max」は“4”に設定される。また、拡張ストリームに対応したHEVC VIDEO デスクリプタにおいて、「level_idc 」は“level5.2”に設定され、さらに、「temporal_id_min」は“5”に設定され、「temporal_id_max」は“5”に設定される。
基本ストリームに対応したHEVC VIDEO デスクリプタに関連付けされた第1のコンポーネントデスクリプタと、拡張ストリームに対応したHEVC VIDEO デスクリプタに関連付けされた第2のコンポーネントデスクリプタが存在する。第1のコンポーネントデスクリプタでは、「stream_content_ext」は“0x0”に設定され、「component_type」は“0x05”に設定されており、50Hzのシングルストリーム(基本ストリーム)の存在が示される。また、第2のコンポーネントデスクリプタでは、「stream_content_ext」は“0x1”に設定され、「component_type」は“0x09”に設定されており、基本ストリームと合わせて100Hzとするための拡張ストリームの存在が示される。
このように、本技術においては、コンテナのレイヤに、PMTデスクリプタ(HEVC VIDEO デスクリプタ)が固定的に挿入される。つまり、50Hz番組に対応したPMTデスクリプタと100Hz番組に対応したPMTデスクリプタは全く同じ状態とされる。そして、このPMTデスクリプタに記述されるデコードに必要な値は最大規模の値に固定される。
図12は、50Hz番組の送信時におけるトランスポートストリームTSの構成例を示している。この構成例では、PID1で識別される基本ストリームのPESパケット「video PES1」が存在する。ここで、PID1は基本ストリームに固定のPIDである。
基本ストリームの各ピクチャの符号化画像データには、AUD、VPS、SPS、PPS、SLICE、SEIなどのNALユニットが存在する。上述したように、NALユニットのヘッダには、そのピクチャの階層識別情報(temporal_id)を意味する“nuh_temporal_id_plus1”が配置されている。SPSには、ビデオストリームのレベル指定値である「general_level_idc」が挿入されている。ここで、「general_level_idc」は“level5.1”に設定されている。
また、トランスポートストリームTSには、PSI(Program Specific Information)として、PMT(ProgramMap Table)が含まれている。PSIは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。PMTには、プログラム全体に関連する情報を記述するプログラム・ループ(Program loop)が存在する。また、PMTには、各エレメンタリストリームに関連した情報を持つESループが存在する。この構成例では、実際に存在する基本ストリーム(video PES1)に対応したビデオESループ(video ES1 loop)と、実際には存在しない拡張ストリーム(video PES2)に対応したビデオESループ(video ES2 loop)が存在する。
ビデオESループ(video ES1 loop)には、基本ストリーム(video PES1)に対応して、ストリームタイプ、PID(パケット識別子)等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。基本ストリームの「Stream_type」の値は「0x24」に設定され、PID情報は、上述したように基本ストリームのPESパケット「video PES1」に付与されるPID1を示すものとされる。
また、ビデオESループ(video ES1 loop)に、HEVC VIDEO デスクリプタ(HEVC descriptor)やストリーム・アイデンチファイヤ・デスクリプタ(Stream_identifier_descriptor)が挿入される。このHEVC VIDEO デスクリプタにおいて、「level_idc」は“level5.1”に設定されている。また、「temporal_id_min」は“0”に設定され、「temporal_id_max」は“4”に設定されている。ストリーム・アイデンチファイヤ・デスクリプタは、当該HEVC VIDEO デスクリプタとEIT配下のコンポーネントデスクリプタ(component_descriptor)とをコンポーネントタグタグ「Component_tag1」で対応付けるものである。
ビデオESループ(video ES2 loop)には、拡張ストリーム(video PES2)に対応して、ストリームタイプ、PID(パケット識別子)等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。拡張ストリームの「Stream_type」の値は「0x25」に設定され、PID情報は、上述したように拡張ストリームのPESパケット「video PES2」に付与されるPID2を示すものとされる。
また、ビデオESループ(video ES2 loop)に、HEVC VIDEO デスクリプタ(HEVC descriptor)やストリーム・アイデンチファイヤ・デスクリプタ(Stream_identifier_descriptor)が挿入される。このHEVC VIDEO デスクリプタにおいて、「level_idc」は“level5.2”に設定されている。また、「temporal_id_min」は“5”に設定され、「temporal_id_max」は“5”に設定されている。ストリーム・アイデンチファイヤ・デスクリプタは、当該HEVC VIDEO デスクリプタとEIT配下のコンポーネントデスクリプタ(component_descriptor)とをコンポーネントタグタグ「Component_tag2」で対応付けるものである。
図13は、100Hz番組の送信時におけるトランスポートストリームTSの構成例を示している。この構成例では、PID1で識別される基本ストリームのPESパケット「video PES1」と、PID2で識別される拡張ストリームのPESパケット「videoPES2」が存在する。ここで、PID1は基本ストリームに固定のPIDであり、PID2は拡張ストリームに固定のPIDである。
基本ストリームの各ピクチャの符号化画像データには、AUD、VPS、SPS、PPS、SLICE、SEIなどのNALユニットが存在する。上述したように、NALユニットのヘッダには、そのピクチャの階層識別情報(temporal_id)を意味する“nuh_temporal_id_plus1”が配置されている。
SPSには、ビデオストリームのレベル指定値である「general_level_idc」が挿入されている。ここで、「general_level_idc」は“level5.2”に設定されている。また、SPSには、“temporal_id”で示される各階層に属するピクチャがサブレイヤ(sub_layer)として括られ、“sublayer_level_presented_flag”が“1”とされることで、サブレイヤごとのビットレートのレベル指定値である「sublayer_level_idc」が挿入される。ここで、「sublayer_level_idc[4]」は、“level5.1”に設定されている。
一方、拡張ストリームの各ピクチャの符号化画像データには、AUD、PPS、SLICEなどのNALユニットが存在する。NALユニットのヘッダには、そのピクチャの階層識別情報(temporal_id)を意味する“nuh_temporal_id_plus1”が配置されている。
また、トランスポートストリームTSには、PSI(Program Specific Information)として、PMT(ProgramMap Table)が含まれている。PSIは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。PMTには、プログラム全体に関連する情報を記述するプログラム・ループ(Program loop)が存在する。また、PMTには、各エレメンタリストリームに関連した情報を持つESループが存在する。この構成例では、基本ストリーム(video PES1)に対応したビデオESループ(video ES1 loop)と、拡張ストリーム(video PES2)に対応したビデオESループ(video ES2 loop)が存在する。
ビデオESループ(video ES1 loop)には、基本ストリーム(video PES1)に対応して、ストリームタイプ、PID(パケット識別子)等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。基本ストリームの「Stream_type」の値は「0x24」に設定され、PID情報は、上述したように基本ストリームのPESパケット「video PES1」に付与されるPID1を示すものとされる。
また、ビデオESループ(video ES1 loop)に、HEVC VIDEO デスクリプタ(HEVC descriptor)やストリーム・アイデンチファイヤ・デスクリプタ(Stream_identifier_descriptor)が挿入される。このHEVC VIDEO デスクリプタにおいて、「level_idc」は“level5.1”に設定されている。また、「temporal_id_min」は“0”に設定され、「temporal_id_max」は“4”に設定されている。ストリーム・アイデンチファイヤ・デスクリプタは、当該HEVC VIDEO デスクリプタとEIT配下のコンポーネントデスクリプタ(component_descriptor)とをコンポーネントタグタグ「Component_tag1」で対応付けるものである。
ビデオESループ(video ES2 loop)には、拡張ストリーム(video PES2)に対応して、ストリームタイプ、PID(パケット識別子)等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。拡張ストリームの「Stream_type」の値は「0x25」に設定され、PID情報は、上述したように拡張ストリームのPESパケット「video PES2」に付与されるPID2を示すものとされる。
また、ビデオESループ(video ES2 loop)に、HEVC VIDEO デスクリプタ(HEVC descriptor)やストリーム・アイデンチファイヤ・デスクリプタ(Stream_identifier_descriptor)が挿入される。このHEVC VIDEO デスクリプタにおいて、「level_idc」は“level5.2”に設定されている。また、「temporal_id_min」は“5”に設定され、「temporal_id_max」は“5”に設定されている。ストリーム・アイデンチファイヤ・デスクリプタは、当該HEVC VIDEO デスクリプタとEIT配下のコンポーネントデスクリプタ(component_descriptor)とをコンポーネントタグタグ「Component_tag2」で対応付けるものである。
図14は、従来におけるシーケンスパラメータセットおよびHEVC VIDEO デスクリプタの状態変化の一例を図11の例と対比可能に示している。従来の場合、50Hz番組に対応したPMTには、基本ストリームに対応したHEVC VIDEO デスクリプタのみが存在し、拡張ストリームに対応したHEVC VIDEO デスクリプタの挿入はない。この点から、従来の場合には、PMTデスクリプタとしてのHEVC VIDEO デスクリプタが固定的に挿入されたものではない。なお、各HEVC VIDEOデスクリプタの記述内容(要素の値)に関しては固定である。
図15は、後方互換性を持たないモードでの配信において、50Hz番組から100Hz番組に切り替えが行われる場合におけるシーケンスパラメータセット(SPS:Sequence Parameter Set)、HEVC VIDEO デスクリプタ(HEVC_video_descriptor)およびコンポーネントデスクリプタ(Component_descriptor)の状態変化の一例を示している。
50Hz番組のビデオストリームとして、基本ストリーム(base stream)のみが存在する。この基本ストリームに0から4の全ての階層のピクチャの符号化画像データが含まれる。この場合、基本ストリームのSPSおいて、「general_level_idc」は“level5.1”に設定され、「sps_max_sublayer_minus1」は“4”に設定される。
100Hz番組のビデオストリームとしても、基本ストリーム(base stream)のみが存在する。この基本ストリームに0から5の階層のピクチャの符号化画像データが含まれる。この場合、基本ストリームのSPSおいて、「general_level_idc」は“level5.2”に設定され、「sps_max_sublayer_minus1」は“5”に設定される。
50Hz番組の送信期間が開始される直前のタイミングで、コンテナのレイヤに、その50Hz番組に対応したPMTが挿入される。このPMTには、基本ストリームに対応したHEVC VIDEO デスクリプタが挿入される。
この基本ストリームに対応したHEVC VIDEO デスクリプタにおいては、50Hz番組に対応するものであるが、後述の100Hz番組に対応するものと同様に、「level_idc 」は“level5.2”に設定され、さらに、「temporal_id_min」は“0”に設定され、「temporal_id_max」は“5”に設定される。これは、本技術において、PMTデスクリプタを固定的に挿入し、かつ当該デスクリプタに記述されるデコードに必要な値を最大規模の値に固定することによる。
この基本ストリームに対応したHEVC VIDEO デスクリプタに関連付けされたコンポーネントデスクリプタが存在する。このコンポーネントデスクリプタでは、「stream_content_ext」は“0x0”に設定され、「component_type」は“0x05”に設定されており、50Hzのシングルストリーム(基本ストリーム)の存在が示される。
同様に、50Hz番組の送信期間において、100Hz番組の送信期間が開始される直前のタイミングで、コンテナのレイヤに、その100Hz番組に対応したPMTが挿入される。このPMTには、基本ストリームに対応したHEVC VIDEO デスクリプタが挿入される。この基本ストリームに対応したHEVC VIDEOデスクリプタにおいては、「level_idc 」は“level5.2”に設定され、さらに、「temporal_id_min」は“0”に設定され、「temporal_id_max」は“5”に設定される。
この基本ストリームに対応したHEVC VIDEO デスクリプタに関連付けされたコンポーネントデスクリプタが存在する。このコンポーネントデスクリプタでは、「stream_content_ext」は“0x0”に設定され、「component_type」は“0x09”に設定されており、100Hzのシングルストリーム(基本ストリーム)の存在が示される。
このように、本技術においては、コンテナのレイヤに、PMTデスクリプタ(HEVC VIDEO デスクリプタ)が固定的に挿入される。つまり、50Hz番組に対応したPMTデスクリプタと100Hz番組に対応したPMTデスクリプタは全く同じ状態とされる。そして、このPMTデスクリプタに記述されるデコードに必要な値は最大規模の値に固定される。
図16は、50Hz番組の送信時におけるトランスポートストリームTSの構成例を示している。この構成例では、PID1で識別される基本ストリームのPESパケット「video PES1」が存在する。ここで、PID1は基本ストリームに固定のPIDである。
基本ストリームの各ピクチャの符号化画像データには、AUD、VPS、SPS、PPS、SLICE、SEIなどのNALユニットが存在する。上述したように、NALユニットのヘッダには、そのピクチャの階層識別情報(temporal_id)を意味する“nuh_temporal_id_plus1”が配置されている。SPSには、ビデオストリームのレベル指定値である「general_level_idc」が挿入されている。ここで、「general_level_idc」は“level5.1”に設定されている。
また、トランスポートストリームTSには、PSI(Program Specific Information)として、PMT(ProgramMap Table)が含まれている。PSIは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。PMTには、プログラム全体に関連する情報を記述するプログラム・ループ(Program loop)が存在する。また、PMTには、各エレメンタリストリームに関連した情報を持つESループが存在する。この構成例では、基本ストリーム(video PES1)に対応したビデオESループ(video ES1 loop)が存在する。
ビデオESループ(video ES1 loop)には、基本ストリーム(video PES1)に対応して、ストリームタイプ、PID(パケット識別子)等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。基本ストリームの「Stream_type」の値は「0x24」に設定され、PID情報は、上述したように基本ストリームのPESパケット「video PES1」に付与されるPID1を示すものとされる。
また、ビデオESループ(video ES1 loop)に、HEVC VIDEO デスクリプタ(HEVC descriptor)やストリーム・アイデンチファイヤ・デスクリプタ(Stream_identifier_descriptor)が挿入される。このHEVC VIDEO デスクリプタにおいて、「level_idc」は“level5.2”に設定されている。また、「temporal_id_min」は“0”に設定され、「temporal_id_max」は“5”に設定されている。ストリーム・アイデンチファイヤ・デスクリプタは、当該HEVC VIDEO デスクリプタとEIT配下のコンポーネントデスクリプタ(component_descriptor)とをコンポーネントタグタグ「Component_tag1」で対応付けるものである。
図17は、100Hz番組の送信時におけるトランスポートストリームTSの構成例を示している。この構成例では、PID1で識別される基本ストリームのPESパケット「video PES1」が存在する。ここで、PID1は基本ストリームに固定のPIDである。
基本ストリームの各ピクチャの符号化画像データには、AUD、VPS、SPS、PPS、SLICE、SEIなどのNALユニットが存在する。上述したように、NALユニットのヘッダには、そのピクチャの階層識別情報(temporal_id)を意味する“nuh_temporal_id_plus1”が配置されている。
SPSには、ビデオストリームのレベル指定値である「general_level_idc」が挿入されている。ここで、「general_level_idc」は“level5.2”に設定されている。また、SPSには、“temporal_id”で示される各階層に属するピクチャがサブレイヤ(sub_layer)として括られ、“sublayer_level_presented_flag”が“1”とされることで、サブレイヤごとのビットレートのレベル指定値である「sublayer_level_idc」が挿入される。ここで、「sublayer_level_idc[4]」は、“level5.1”に設定されている。
また、トランスポートストリームTSには、PSI(Program Specific Information)として、PMT(ProgramMap Table)が含まれている。PSIは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。PMTには、プログラム全体に関連する情報を記述するプログラム・ループ(Program loop)が存在する。また、PMTには、各エレメンタリストリームに関連した情報を持つESループが存在する。この構成例では、基本ストリーム(video PES1)に対応したビデオESループ(video ES1 loop)が存在する。
ビデオESループ(video ES1 loop)には、基本ストリーム(video PES1)に対応して、ストリームタイプ、PID(パケット識別子)等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。基本ストリームの「Stream_type」の値は「0x24」に設定され、PID情報は、上述したように基本ストリームのPESパケット「video PES1」に付与されるPID1を示すものとされる。
また、ビデオESループ(video ES1 loop)に、HEVC VIDEO デスクリプタ(HEVC descriptor)やストリーム・アイデンチファイヤ・デスクリプタ(Stream_identifier_descriptor)が挿入される。このHEVC VIDEO デスクリプタにおいて、「level_idc」は“level5.2”に設定されている。また、「temporal_id_min」は“0”に設定され、「temporal_id_max」は“5”に設定されている。ストリーム・アイデンチファイヤ・デスクリプタは、当該HEVC VIDEO デスクリプタとEIT配下のコンポーネントデスクリプタ(component_descriptor)とをコンポーネントタグタグ「Component_tag1」で対応付けるものである。
図18は、従来におけるシーケンスパラメータセットおよびHEVC VIDEO デスクリプタの状態変化の一例を図15の例と対比可能に示している。基本ストリームに対応したHEVC VIDEO デスクリプタの記述内容は、50Hz番組のビデオストリームにおけるSPSの記述内容に対応したものとなっている。すなわち、「level_idc」は“level5.1”に設定されている。また、「temporal_id_min」は“0”に設定され、「temporal_id_max」は“4”に設定されている。この点から、従来の場合には、PMTデスクリプタとしてのHEVC VIDEO デスクリプタの記述内容(要素の値)に関しては、デコードに必要な値が最大規模の値に固定されたものでなない。
「受信装置の構成」
図19は、受信装置200の構成例を示している。この受信装置200は、CPU(Central Processing Unit)201と、受信部202と、TS解析部(デマルチプレクサ)203と、圧縮データバッファ(cpb:coded picture buffer)204を有している。また、この受信装置200は、デコーダ205と、非圧縮データバッファ(dpb:decoded picture buffer)206と、ポスト処理部207と、表示部208を有している。CPU201は、制御部を構成し、受信装置200の各部の動作を制御する。
受信部202は、送信装置100から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームTSを受信する。TS解析部203は、トランスポートストリームTSから、それに含まれるビデオストリームを構成するストリームをPIDフィルタでフィルタリングして取り出し、圧縮データバッファ(cpb:coded picture buffer)204に送る。
この場合、基本ストリームや拡張ストリームにはそれぞれ固定のPIDが付与されている。そのため、例えば、50Hz番組(50pサービス)から100Hz番組(100pサービス)に、あるいはその逆にサービスの切り替えがあっても、各ストリームを取り出すフィルタの設定を変更することを要せず、従って、表示ミュートの発生を抑制でき、シームレス表示が可能となる。
図20は、TS解析部203の構成例を示している。このTS解析部203は、PIDフィルタ231と、多重化バッファ232_0~232_n,232_null,232_cと、セクションフィルタ233と、PMT解析部234を有している。
PIDフィルタ231は、PIDに基づいて、トランスポートストリームTSに含まれるセクションデータ、ヌルパケットを通過させる。図示の例では、セクションデータのPID値をPID_cとし、ヌルパケットのPIDをPID_nullとしている。ヌルパケットは独自のPID値を持たなく、ビデオのPIDのストリームの中に挿入されるように伝送されてもよい。これにより、受信機の多重化バッファでヌルパケットを検知して切り替えが起こることの判定に利用することが可能となる。
また、PIDフィルタ231は、トランスポートストリームTSに含まれる、放送サービスチャネルに相当するプログラムナンバー(program number)に対応したTSパケットを、セットされるPID値に基づいて通過させる。図示の例では、セット可能なTSパケットのPID値を、PID_0~PID_nとしている。
多重化バッファ232_0~232_n,232_null,232_cは、PIDフィルタ231を通過したTSパケット、セクションデータ、ヌルパケットをそれぞれ一時的に蓄積する。つまり、TS解析部203では、多重化バッファがPID値別に管理されている。セクションフィルタ233は、多重化バッファ232_cに蓄積されたセクションデータから、PID値に基づいて、プログラムマップテーブル(PMT)を抽出する。
PMT解析部234は、セクションフィルタ233で抽出されたPMTを解析し、その解析結果に基づいて、PIDフィルタ231に、通過させるTSパケットのPID値をセットする。
例えば、後方互換性を持ったモードでの配信であって(図9のサービス1,2参照)、50Hzのシングルストリーム(基本ストリーム)のみが存在する番組(イベント)の場合を考える。この場合、50p放送しか受信できない受信装置200および100p放送も受信できる受信装置200のいずれにおいても、PID_0として、基本ストリームに付与されている固定のPID値である“PID1”がセットされる。なお、100p放送を受信できる受信装置200では、PID_0として基本ストリームに付与されている固定のPID値である“PID1”がセットされると共に、PID_1として拡張ストリームに付与されている固定のPID値である“PID2”がセットされてもよい。
また、例えば、後方互換性を持ったモードでの配信であって(図9のサービス1,2参照)、50Hzのシングルストリーム(基本ストリーム)と、基本ストリームと合わせて100Hzとするための拡張ストリームの2つのビデオストリームが存在する場合を考える。この場合、50p放送しか受信できない受信装置200では、PID_0として、基本ストリームに付与されている固定のPID値である“PID1”がセットされる。また、この場合、100p放送も受信できる受信装置200では、PID_0として基本ストリームに付与されている固定のPID値である“PID1”がセットされると共に、PID_1として拡張ストリームに付与されている固定のPID値である“PID2”がセットされる。
また、例えば、後方互換性を持たないモードでの配信であって(図9のサービス3参照)、50Hzあるいは100Hzのシングルストリーム(基本ストリーム)が存在する番組(イベントの場合を考える。この場合、50p放送しか受信できない受信装置200では、受信の対象外であるので、PID_0,PID_1にはPID値のセットは行われない。また、この場合、100p放送も受信できる受信装置200では、PID_0として基本ストリームに付与されている固定のPID値である“PID1”がセットされる。
ここで、PMT解析部234におけるデスクリプタ解析による番組認識について説明する。最初に、後方互換性を持ったモードでの配信について説明する。PMT解析部234は、コンポーネントデスクリプタの「component_type」と「stream_type_ext」とから配信ストリームの番組(イベント)単位の情報を識別する。
コンポーネントデスクリプタは、ストリーム・アイデンチファイヤ・デスクリプタを介してコンポーネントタグ(component_tag)で、PMTのHEVC VIDEO デスクリプタと関連付けされている。そのため、PMT解析部234は、50Hz番組の配信時には、“PID1”のHEVC VIDEO デスクリプタにおける「level_idc 」=“level5.1”、「temporal_id_max」=“4”が、コンポーネントデスクリプタにおける「stream_content_ext」=“0x0”、「component_type」=“0x05”に対応し、UHD 50Hzの配信ストリームで、「level_idc 」=“level5.1”、「temporal_id_max」=“4”であることを認識する。
また、PMT解析部234は、100Hz番組の配信時には、PID1”のHEVC VIDEO デスクリプタにおける「level_idc 」=“level5.1”、「temporal_id_max」=“4”が、コンポーネントデスクリプタにおける「stream_content_ext」=“0x0”、「component_type」=“0x05”に対応し、UHD 50Hzの配信ストリームで、「level_idc 」=“level5.1”、「temporal_id_max」=“4”であることを認識する。
同時に、PMT解析部234は、“PID2”のHEVC VIDEO デスクリプタにおける「level_idc 」=“level5.2”、「temporal_id_max」=“5”が、コンポーネントデスクリプタにおける「stream_content_ext」=“0x1”、「component_type」=“0x09”に対応し、UHD 100Hzの配信ストリームで、「level_idc 」=“level5.2”、「temporal_id_max」=“5”であることを認識する。
この場合、同時に、コンポーネントデスクリプタが2つ存在することで、PMT解析部234は、この番組の配信は50Hz受信機互換モードの2ストリームで配信されていることを認識する。
次に、後方互換性を持たないモードでの配信について説明する。PMT解析部234は、コンポーネントデスクリプタの「component_type」と「stream_type_ext」とから配信ストリームの番組(イベント)単位の情報を識別する。
コンポーネントデスクリプタは、ストリーム・アイデンチファイヤ・デスクリプタを介してコンポーネントタグ(component_tag)で、PMTのHEVC VIDEO デスクリプタと関連付けされている。そのため、PMT解析部234は、50Hz番組の配信時には、“PID1”のHEVC VIDEO デスクリプタにおける「level_idc 」=“level5.2”、「temporal_id_max」=“5”が、コンポーネントデスクリプタにおける「stream_content_ext」=“0x0”、「component_type」=“0x05”に対応し、UHD 50Hzの配信ストリームで、「level_idc 」=“level5.1”、「temporal_id_max」=“4”であることを認識する。
また、PMT解析部234は、100Hz番組の配信時には、PID1”のHEVC VIDEO デスクリプタにおける「level_idc 」=“level5.2”、「temporal_id_max」=“5”が、コンポーネントデスクリプタにおける「stream_content_ext」=“0x0”、「component_type」=“0x09”に対応し、1ストリームによるUHD 100Hzの配信ストリームで、「level_idc」=“level5.2”、「temporal_id_max」=“5”であることを認識する。
この場合、同時に、コンポーネントデスクリプタが1つ存在することで、PMT解析部234は、この番組の配信は100Hz受信機非互換モードの1ストリームで配信されていることを認識する。
図20に戻って、TS解析部203は、多重化バッファ232_0~232_nにPID値別に蓄積されたTSパケットを、圧縮データバッファ204に転送する。例えば、後方互換性を持ったモードでの配信であって(図9のサービス1,2参照)、50p放送しか受信できない受信装置200の場合には、多重化バッファ232_0に蓄積された基本ストリームに係るTSパケットを、圧縮データバッファ204に転送する。
また、例えば、後方互換性を持ったモードでの配信であって(図9のサービス1,2参照)100p放送も受信できる受信装置200の場合には、多重化バッファ232_0に蓄積される基本ストリームに係るTSパケットと、多重化バッファ232_1に蓄積される拡張ストリームに係るTSパケットを、圧縮データバッファ204に転送する。
また、後方互換性を持たないモードでの配信であって(図9のサービス3参照)、100p放送も受信できる受信装置200の場合には、多重化バッファ232_0に蓄積された基本ストリームに係るTSパケットを、圧縮データバッファ204に転送する。なお、後方互換性を持たないモードでの配信であって(図9のサービス3参照)、50p放送しか受信できない受信装置200の場合には、受信対象外であり、多重化バッファ232_0への蓄積はなく、圧縮データバッファ204へのTSパケットの転送は行われない。
図19に戻って、圧縮データバッファ(cpb)204は、TS解析部203から転送されるTSパケット、従って各ピクチャの符号化画像データを、一時的に蓄積する。デコーダ205は、圧縮データバッファ204に蓄積されている各ピクチャの符号化画像データを、それぞれ、そのピクチャのDTS(Decoding Time stamp)で与えられるデコードタイミングで読み出してデコードし、非圧縮データバッファ(dpb)206に送る。
非圧縮データバッファ(dpb)206は、デコーダ205でデコードされた各ピクチャの画像データを、一時的に蓄積する。ポスト処理部207は、非圧縮データバッファ(dpb)206からPTS(Presentation Time stamp)で与えられる表示タイミングで順次読み出された各ピクチャの画像データに対して、そのフレームレートを、表示能力に合わせる処理を行う。
例えば、デコード後の各ピクチャの画像データのフレームレートが50fpsであって、表示能力が100fpsであるとき、ポスト処理部207は、デコード後の各ピクチャの画像データに対して時間方向解像度が2倍となるように補間処理を施し、100fpsの画像データとして表示部208に送る。なお、ポスト処理はフレーム周波数のみでなく、例えば、デコーダ出力がHD解像度である場合、ポスト処理にて解像度変換によりより高精細な解像度へ変換することも行われる。この場合、デコーダ出力が既にUHD解像度である場合は、解像度変換はバイパスされる。
表示部208は、例えば、LCD(Liquid Crystal Display)、有機EL(OrganicElectro-Luminescence)パネル等で構成されている。なお、この表示部208は、受信装置200に接続される外部機器であってもよい。
図19に示す受信装置200の動作を簡単に説明する。受信部202では、送信装置100から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームTSが受信される。このトランスポートストリームTSは、TS解析部203に送られる。TS解析部203では、トランスポートストリームTSから、それに含まれるビデオストリームを構成するストリームがPIDフィルタでフィルタリングされて取り出され、圧縮データバッファ(cpb)204に送られる。
この場合、後方互換性を持ったモードでの配信であるか後方互換性を持たないモードでの配信であるかによって、および50p放送しか受信できない受信装置200であるか100p放送も受信できる受信装置200であるかによって、フィルタリングすべきストリームが制御される。
本実施の形態においては、PMTデスクリプタ(HEVC VIDEO デスクリプタ)が固定的に挿入され、また、このデスクリプタに記述されるデコードに必要な値は最大規模の値に固定されている。しかし、HEVC VIDEO デスクリプタとコンポーネントタグで関連付けされているンポーネントデスクリプタの解析により、番組の認識が適切に行われる。
デコーダ205では、圧縮データバッファ204に蓄積されている各ピクチャの符号化画像データが、それぞれ、そのピクチャのデコードタイミングでデコードされ、非圧縮データバッファ(dpb)206に送られ、一時的に蓄積される。そして、非圧縮データバッファ(dpb)206から表示タイミングで順次読み出された各ピクチャの画像データは、ポスト処理部207に送られる。ポスト処理部207では、各ピクチャの画像データに対して、そのフレームレートを、表示能力に合わせるための補間あるいはサブサンプルが行われる。このポスト処理部207で処理された各ピクチャの画像データは、表示部208に供給され、動画像の表示が行われる。
図21(a)は、受信装置200において、例えば、ユーザ操作に基づいて行われるEPG表示の一例を示している。各番組(イベント)に対応したコンポーネントデスクリプタの記述内容によって、各番組の欄に、その番組のフレームレート情報、互換性情報の表記がなされている。例えば、チャネル1(サービス1)の6:00:00から始まる番組の場合、その番組の欄に「UHD 50Hz」と表記され、50Hz番組であることがわかる。
また、例えば、チャネル1(サービス1)の9:00:00から始まる番組の場合、その番組の欄に「UHD 100Hz 互換配信」と表記され、100Hz番組であるが、互換配信であることがわかり、50p放送しか受信できない受信装置200であっても受信可能であることがわかる。図21(b)は、この番組を、例えば50p放送しか受信できない受信装置200で選択した場合におけるUI表示の一例を示している。
また、例えば、チャネル3(サービス3)の9:00:00から始まる番組の場合、その番組の欄に「UHD 100Hz 非互換配信」と表記され、100Hz番組であって、非互換配信であることがわかり、50p放送しか受信できない受信装置200では受信不可能であることがわかる。図21(c)は、この番組を、例えば50p放送しか受信できない受信装置200で選択した場合におけるUI表示の一例を示している。
以上説明したように、図1に示す送受信システム10においては、コンテナのレイヤにデコードに必要な値が記述されたPMTデスクリプタ(HEVC VIDEO デスクリプタ)が固定的に挿入され、また、デコードに必要な値は最大規模の値に固定される。そのため、送信側の運用が容易となると共に、受信側ではデコードに必要な値の最大規模の値をコンテナのレイヤで容易に認識可能となる。
また、図1に示す送受信システム10においては、コンテナのレイヤに、イベント毎のビデオストリームにそれぞれ対応して、フレームレート情報および互換性情報が記述されたコンポーネントデスクリプタが挿入される。そのため、受信側では、HEVC VIDEO デスクリプタとコンポーネントデスクリプタの記述内容を組み合わせて受信ビデオストリームの状態を精度よく判別して適切な処理を行うことが可能となる。
<2.変形例>
なお、上述実施の形態においては、送信装置100と受信装置200からなる送受信システム10を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、受信装置200の部分が、例えば、HDMI(High-Definition Multimedia Interface)などのデジタルインタフェースで接続されたセットトップボックスおよびモニタの構成などであってもよい。なお、「HDMI」は、登録商標である。また、互換配信する際のコンポーネントデスクリプタの要素、「component_type」と「stream_content_ext」の値で基本ストリームか拡張ストリームかの識別を行う例を示したが、これに限定するものではなく、「component_type」の値のみによって基本ストリームか拡張ストリームかを識別するようにしてもよい。
また、上述実施の形態においては、コンテナがトランスポートストリーム(MPEG-2 TS)である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、MP4やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム(MPEG-2 TS)、インターネット配信で使用されているMP4などの種々のフォーマットのコンテナが該当する。
また、本技術は、以下のような構成を取ることもできる。
(1)動画像データを構成する各ピクチャの画像データを階層符号化し、各階層のピクチャの符号化画像データを持つビデオストリームを生成する画像符号化部と、
上記ビデオストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
上記コンテナのレイヤに、デコードに必要な値が記述されたデスクリプタが固定的に挿入され、
上記デコードに必要な値は、最大規模の値に固定される
送信装置。
(2)上記デコードに必要な値は、上記ビデオストリームのレベル指定値および上記ビデオストリームに含まれる各ピクチャの符号化画像データの階層の最大と最小の値である
前記(1)に記載の送信装置。
(3)上記画像符号化部は、第1のフレームレートの動画像データを符号化して第1のビデオストリームを生成し、上記第1のフレームレートより高い第2のフレームレートの動画像データを符号化して第2のビデオストリームを生成し、
上記送信部は、上記画像符号化部で生成された上記第1のビデオストリームおよび上記第2のビデオストリームを連続的に含む上記所定フォーマットのコンテナを送信する
前記(1)または(2)に記載の送信装置。
(4)上記第1のビデオストリームは、全階層のピクチャの符号化画像データを持つ基本ストリームからなり、
上記第2のビデオストリームは、低階層側のピクチャの符号化画像データを持つ基本ストリームと高階層側のピクチャの符号化画像データを持つ拡張ストリームとからなる
前記(3)に記載の送信装置。
(5)上記拡張ストリームに含まれるピクチャの階層は、上記基本ストリームのピクチャが採り得る最大階層より大きな固定の階層とされる
前記(4)に記載の送信装置。
(6)上記第1のビデオストリームおよび上記第2のビデオストリームは、それぞれ、全階層のピクチャの符号化画像データを持つ基本ストリームからなる
前記(3)に記載の送信装置。
(7)上記コンテナは、トランスポートストリームであり、
上記デスクリプタは、HEVC VIDEO デスクリプタであり、
上記コンテナのレイヤに、番組毎の上記ビデオストリームにそれぞれ対応して、フレームレート情報および互換性情報が記述されたコンポーネントデスクリプタが挿入される
前記(1)から(6)のいずれかに記載の送信装置。
(8)画像符号化部が、動画像データを構成する各ピクチャの画像データを階層符号化し、各階層のピクチャの符号化画像データを持つビデオストリームを生成する画像符号化ステップと、
送信部が、上記ビデオストリームを含む所定フォーマットのコンテナを送信する送信ステップを有し、
上記コンテナのレイヤに、デコードに必要な値が記述されたデスクリプタが固定的に挿入され、
上記デコードに必要な値は、最大規模の値に固定される
送信方法。
(9)動画像データを構成する各ピクチャの画像データが階層符号化されて生成された、各階層のピクチャの符号化画像データを持つビデオストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記コンテナのレイヤに、デコードに必要な値が記述されたデスクリプタが固定的に挿入されており、
上記デコードに必要な値は、最大規模の値に固定されており、
上記デスクリプタの記述内容に基づいて、上記ビデオストリームの復号化処理を制御する制御部をさらに備える
受信装置。
(10)上記コンテナは、トランスポートストリームであり、
上記デスクリプタは、HEVC VIDEO デスクリプタであり、
上記コンテナのレイヤに、番組毎の上記ビデオストリームにそれぞれ対応して、フレームレート情報および互換性情報が記述されたコンポーネントデスクリプタが挿入されており、
上記制御部は、上記HEVC VIDEO デスクリプタの記述内容および上記コンポーネントデスクリプタの記述内容に基づいて、上記ビデオストリームの復号化処理を制御する
前記(9)に記載の受信装置。
(11)上記コンテナは、トランスポートストリームであり、
上記デスクリプタは、HEVC VIDEO デスクリプタであり、
上記コンテナのレイヤに、番組毎の上記ビデオストリームにそれぞれ対応して、フレームレート情報および互換性情報が記述されたコンポーネントデスクリプタが挿入されており、
上記制御部は、上記コンポーネントデスクリプタの記述内容に基づいて、EPG表示の各番組の欄にそれぞれの番組のフレームレート情報および互換性情報が表記されるように制御する
前記(9)または(10)に記載の受信装置。
(12)上記コンテナは、トランスポートストリームであり、
上記デスクリプタは、HEVC VIDEO デスクリプタであり、
上記コンテナのレイヤに、番組毎の上記ビデオストリームにそれぞれ対応して、フレームレート情報および互換性情報が記述されたコンポーネントデスクリプタが挿入されており、
上記制御部は、所定の番組が選択されたとき、該所定の番組のフレームレート情報および互換性情報に基づいたUI表示が行われるように制御する
前記(9)から(11)のいずれかに記載の受信装置。
(13)受信部が、動画像データを構成する各ピクチャの画像データが階層符号化されて生成された、各階層のピクチャの符号化画像データを持つビデオストリームを含む所定フォーマットのコンテナを受信する受信ステップを有し、
上記コンテナのレイヤに、デコードに必要な値が記述されたデスクリプタが固定的に挿入されており、
上記デコードに必要な値は、最大規模の値に固定されており、
制御部が、上記デスクリプタの記述内容に基づいて、上記ビデオストリームの復号化処理を制御する制御ステップをさらに有する
受信方法。
本技術の主な特徴は、コンテナのレイヤにデコードに必要な値が記述されたPMTデスクリプタ(HEVC VIDEO デスクリプタ)を固定的に挿入し、また、このデコードに必要な値を最大規模の値に固定することで、送信側の運用を容易とすると共に、受信側でデコードに必要な値の最大規模の値をコンテナのレイヤで容易に認識可能としたことである(図11、図15参照)。
10・・・送受信システム
100・・・送信装置
101・・・CPU
102・・・エンコーダ
103・・・圧縮データバッファ(cpb)
104・・・TSフォーマッタ(マルチプレクサ)
105・・・送信部
200・・・受信装置
201・・・CPU
202・・・受信部
203・・・TS解析部(デマルチプレクサ)
204・・・圧縮データバッファ(cpb)
205・・・デコーダ
206・・・非圧縮データバッファ(dpb)
207・・・ポスト処理部
208・・・表示部
231・・・PIDフィルタ
232_0~232_n,232_null,232_c・・・多重化バッファ
233・・・セクションフィルタ
234・・・PMT解析部
本技術は、送信方法に関する。

Claims (13)

  1. 動画像データを構成する各ピクチャの画像データを階層符号化し、各階層のピクチャの符号化画像データを持つビデオストリームを生成する画像符号化部と、
    上記ビデオストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
    上記コンテナのレイヤに、デコードに必要な値が記述されたデスクリプタが固定的に挿入され、
    上記デコードに必要な値は、最大規模の値に固定される
    送信装置。
  2. 上記デコードに必要な値は、上記ビデオストリームのレベル指定値および上記ビデオストリームに含まれる各ピクチャの符号化画像データの階層の最大と最小の値である
    請求項1に記載の送信装置。
  3. 上記画像符号化部は、第1のフレームレートの動画像データを符号化して第1のビデオストリームを生成し、上記第1のフレームレートより高い第2のフレームレートの動画像データを符号化して第2のビデオストリームを生成し、
    上記送信部は、上記画像符号化部で生成された上記第1のビデオストリームおよび上記第2のビデオストリームを連続的に含む上記所定フォーマットのコンテナを送信する
    請求項1に記載の送信装置。
  4. 上記第1のビデオストリームは、全階層のピクチャの符号化画像データを持つ基本ストリームからなり、
    上記第2のビデオストリームは、低階層側のピクチャの符号化画像データを持つ基本ストリームと高階層側のピクチャの符号化画像データを持つ拡張ストリームとからなる
    請求項3に記載の送信装置。
  5. 上記拡張ストリームに含まれるピクチャの階層は、上記基本ストリームのピクチャが採り得る最大階層より大きな固定の階層とされる
    請求項4に記載の送信装置。
  6. 上記第1のビデオストリームおよび上記第2のビデオストリームは、それぞれ、全階層のピクチャの符号化画像データを持つ基本ストリームからなる
    請求項3に記載の送信装置。
  7. 上記コンテナは、トランスポートストリームであり、
    上記デスクリプタは、HEVC VIDEO デスクリプタであり、
    上記コンテナのレイヤに、番組毎の上記ビデオストリームにそれぞれ対応して、フレームレート情報および互換性情報が記述されたコンポーネントデスクリプタが挿入される
    請求項1に記載の送信装置。
  8. 画像符号化部が、動画像データを構成する各ピクチャの画像データを階層符号化し、各階層のピクチャの符号化画像データを持つビデオストリームを生成する画像符号化ステップと、
    送信部が、上記ビデオストリームを含む所定フォーマットのコンテナを送信する送信ステップを有し、
    上記コンテナのレイヤに、デコードに必要な値が記述されたデスクリプタが固定的に挿入され、
    上記デコードに必要な値は、最大規模の値に固定される
    送信方法。
  9. 動画像データを構成する各ピクチャの画像データが階層符号化されて生成された、各階層のピクチャの符号化画像データを持つビデオストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
    上記コンテナのレイヤに、デコードに必要な値が記述されたデスクリプタが固定的に挿入されており、
    上記デコードに必要な値は、最大規模の値に固定されており、
    上記デスクリプタの記述内容に基づいて、上記ビデオストリームの復号化処理を制御する制御部をさらに備える
    受信装置。
  10. 上記コンテナは、トランスポートストリームであり、
    上記デスクリプタは、HEVC VIDEO デスクリプタであり、
    上記コンテナのレイヤに、番組毎の上記ビデオストリームにそれぞれ対応して、フレームレート情報および互換性情報が記述されたコンポーネントデスクリプタが挿入されており、
    上記制御部は、上記HEVC VIDEO デスクリプタの記述内容および上記コンポーネントデスクリプタの記述内容に基づいて、上記ビデオストリームの復号化処理を制御する
    請求項9に記載の受信装置。
  11. 上記コンテナは、トランスポートストリームであり、
    上記デスクリプタは、HEVC VIDEO デスクリプタであり、
    上記コンテナのレイヤに、番組毎の上記ビデオストリームにそれぞれ対応して、フレームレート情報および互換性情報が記述されたコンポーネントデスクリプタが挿入されており、
    上記制御部は、上記コンポーネントデスクリプタの記述内容に基づいて、EPG表示の各番組の欄にそれぞれの番組のフレームレート情報および互換性情報が表記されるように制御する
    請求項9に記載の受信装置。
  12. 上記コンテナは、トランスポートストリームであり、
    上記デスクリプタは、HEVC VIDEO デスクリプタであり、
    上記コンテナのレイヤに、番組毎の上記ビデオストリームにそれぞれ対応して、フレームレート情報および互換性情報が記述されたコンポーネントデスクリプタが挿入されており、
    上記制御部は、所定の番組が選択されたとき、該所定の番組のフレームレート情報および互換性情報に基づいたUI表示が行われるように制御する
    請求項9に記載の受信装置。
  13. 受信部が、動画像データを構成する各ピクチャの画像データが階層符号化されて生成された、各階層のピクチャの符号化画像データを持つビデオストリームを含む所定フォーマットのコンテナを受信する受信ステップを有し、
    上記コンテナのレイヤに、デコードに必要な値が記述されたデスクリプタが固定的に挿入されており、
    上記デコードに必要な値は、最大規模の値に固定されており、
    制御部が、上記デスクリプタの記述内容に基づいて、上記ビデオストリームの復号化処理を制御する制御ステップをさらに有する
    受信方法。
JP2021175109A 2016-08-22 2021-10-27 送信方法 Active JP7184140B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022186842A JP2023010912A (ja) 2016-08-22 2022-11-22 送信方法および受信装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2016162278 2016-08-22
JP2016162278 2016-08-22
PCT/JP2017/029498 WO2018037985A1 (ja) 2016-08-22 2017-08-17 送信装置、送信方法、受信装置および受信方法
JP2018535624A JP6969559B2 (ja) 2016-08-22 2017-08-17 送信装置、送信方法、受信装置および受信方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018535624A Division JP6969559B2 (ja) 2016-08-22 2017-08-17 送信装置、送信方法、受信装置および受信方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022186842A Division JP2023010912A (ja) 2016-08-22 2022-11-22 送信方法および受信装置

Publications (2)

Publication Number Publication Date
JP2022009528A true JP2022009528A (ja) 2022-01-14
JP7184140B2 JP7184140B2 (ja) 2022-12-06

Family

ID=61245805

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2018535624A Active JP6969559B2 (ja) 2016-08-22 2017-08-17 送信装置、送信方法、受信装置および受信方法
JP2021175109A Active JP7184140B2 (ja) 2016-08-22 2021-10-27 送信方法
JP2022186842A Pending JP2023010912A (ja) 2016-08-22 2022-11-22 送信方法および受信装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2018535624A Active JP6969559B2 (ja) 2016-08-22 2017-08-17 送信装置、送信方法、受信装置および受信方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022186842A Pending JP2023010912A (ja) 2016-08-22 2022-11-22 送信方法および受信装置

Country Status (4)

Country Link
EP (1) EP3503564A4 (ja)
JP (3) JP6969559B2 (ja)
CN (1) CN109565612B (ja)
WO (1) WO2018037985A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3926954A4 (en) * 2019-02-15 2022-04-06 Panasonic Intellectual Property Corporation of America ENCODING DEVICE, DECODING DEVICE, ENCODING METHOD AND DECODING METHOD
CN113784094B (zh) * 2021-08-31 2024-04-30 上海三旺奇通信息科技有限公司 视频数据处理方法、网关、终端设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015046726A (ja) * 2013-08-27 2015-03-12 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
WO2015053157A1 (ja) * 2013-10-11 2015-04-16 ソニー株式会社 送信装置、送信方法および受信装置
JP2015204634A (ja) * 2015-08-03 2015-11-16 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US20160105688A1 (en) * 2014-10-10 2016-04-14 Qualcomm Incorporated Operation point for carriage of layered hevc bitstream

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6477202B1 (en) * 1997-09-03 2002-11-05 Matsushita Electric Industrial Co., Ltd. Apparatus of layered picture coding, apparatus of picture decoding, methods of picture decoding, apparatus of recording for digital broadcasting signal, and apparatus of picture and audio decoding
US6556624B1 (en) * 1999-07-27 2003-04-29 At&T Corp. Method and apparatus for accomplishing multiple description coding for video
CN100583977C (zh) * 2005-09-27 2010-01-20 韩国电子通信研究院 用于高质量视频服务的传送和接收数字多媒体广播的设备
JP4431619B2 (ja) * 2008-05-09 2010-03-17 日立コンシューマエレクトロニクス株式会社 デジタル信号受信装置、デジタル信号受信方法、デジタル信号送受信システム、デジタル信号送受信方法
JP2010118723A (ja) * 2008-11-11 2010-05-27 Panasonic Corp 予約装置、レコーダー
KR20130116782A (ko) * 2012-04-16 2013-10-24 한국전자통신연구원 계층적 비디오 부호화에서의 계층정보 표현방식
EP2903281A4 (en) * 2012-09-28 2016-04-27 Sony Corp ENCLOSURE DEVICE, ENCRYPTION METHOD, DECOMPOSITION DEVICE AND DECOMPOSITION METHOD
CN104756500B (zh) * 2012-10-09 2018-07-17 思科技术公司 向经编码视频的子层提供共同参数集
CA2877457C (en) * 2012-11-19 2018-07-17 Lg Electronics Inc. Signal transceiving apparatus and signal transceiving method
CN105144713B (zh) * 2013-01-17 2019-04-05 三星电子株式会社 用于解码器设置的对视频进行编码的方法及其装置以及基于解码器设置对视频进行解码的方法及其装置
US9467700B2 (en) * 2013-04-08 2016-10-11 Qualcomm Incorporated Non-entropy encoded representation format
WO2014200280A2 (en) * 2013-06-12 2014-12-18 Lg Electronics Inc. Apparatus for transmitting broadcast signals, apparatus for receiving broadcast signals, method for transmitting broadcast signals and method for receiving broadcast signals
JP6571314B2 (ja) * 2013-06-18 2019-09-04 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 送信方法
MX348561B (es) * 2013-07-12 2017-06-20 Sony Corp Aparato y método para la codificación de imágenes.
JP5789004B2 (ja) * 2013-08-09 2015-10-07 ソニー株式会社 送信装置、送信方法、受信装置、受信方法、符号化装置および符号化方法
JP6538324B2 (ja) * 2013-10-18 2019-07-03 パナソニック株式会社 画像符号化方法および画像符号化装置
US20160295220A1 (en) * 2013-11-21 2016-10-06 Lg Electronics Inc. Signal transceiving apparatus and signal transceiving method
JP5961317B2 (ja) * 2015-11-30 2016-08-02 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015046726A (ja) * 2013-08-27 2015-03-12 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
WO2015053157A1 (ja) * 2013-10-11 2015-04-16 ソニー株式会社 送信装置、送信方法および受信装置
US20160105688A1 (en) * 2014-10-10 2016-04-14 Qualcomm Incorporated Operation point for carriage of layered hevc bitstream
JP2015204634A (ja) * 2015-08-03 2015-11-16 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Also Published As

Publication number Publication date
CN109565612A (zh) 2019-04-02
EP3503564A4 (en) 2019-09-04
CN109565612B (zh) 2021-09-03
JP7184140B2 (ja) 2022-12-06
JPWO2018037985A1 (ja) 2019-06-20
JP2023010912A (ja) 2023-01-20
EP3503564A1 (en) 2019-06-26
JP6969559B2 (ja) 2021-11-24
WO2018037985A1 (ja) 2018-03-01

Similar Documents

Publication Publication Date Title
JP7439880B2 (ja) 受信装置および受信方法
JP2023010912A (ja) 送信方法および受信装置
US11758160B2 (en) Transmission device, transmission method, reception device, and reception method
EP3133816B1 (en) Transmission device, transmission method, reception device, and reception method
JP5976189B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP6350638B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP5976188B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP2016007012A (ja) 送信装置、送信方法、受信装置および受信方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211122

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221025

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221107

R151 Written notification of patent or utility model registration

Ref document number: 7184140

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151