JP2021132398A - 送信方法および送信装置 - Google Patents

送信方法および送信装置 Download PDF

Info

Publication number
JP2021132398A
JP2021132398A JP2021084808A JP2021084808A JP2021132398A JP 2021132398 A JP2021132398 A JP 2021132398A JP 2021084808 A JP2021084808 A JP 2021084808A JP 2021084808 A JP2021084808 A JP 2021084808A JP 2021132398 A JP2021132398 A JP 2021132398A
Authority
JP
Japan
Prior art keywords
image data
video stream
unit
basic
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021084808A
Other languages
English (en)
Other versions
JP7095776B2 (ja
Inventor
郁夫 塚越
Ikuo Tsukagoshi
郁夫 塚越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of JP2021132398A publication Critical patent/JP2021132398A/ja
Priority to JP2022100026A priority Critical patent/JP7375857B2/ja
Application granted granted Critical
Publication of JP7095776B2 publication Critical patent/JP7095776B2/ja
Priority to JP2023183042A priority patent/JP2024012367A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H04N21/4355—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen
    • H04N21/4356—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen by altering the spatial resolution, e.g. to reformat additional data on a handheld device, attached to the STB
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23608—Remultiplexing multiplex streams, e.g. involving modifying time stamps or remapping the packet identifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4343—Extraction or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】受信側において拡張ビデオストリームが持つ符号化画像データ対応する高品質フォーマットを容易に認識可能とする。【解決手段】基本フォーマット画像データの符号化画像データを持つ基本ビデオストリームと、複数種類の中から選択された一つの種類の高品質フォーマットの画像データの符号化画像データを持つ拡張ビデオストリームの２つのビデオストリームを生成する。基本ビデオストリームおよび拡張ビデオストリームを含む所定フォーマットのコンテナを送信する。拡張ビデオストリームおよび/またはコンテナに、拡張ビデオストリームが持つ符号化画像データが対応する高品質フォーマットを表す情報を挿入する。【選択図】図２０

Description

本技術は、送信方法および送信装置に関する。
従来、基本フォーマット画像データと共に高品質フォーマット画像データを送信し、受信側において、基本フォーマット画像データまたは高品質フォーマット画像データを選択的に用いることが知られている。例えば、特許文献１には、メディア符号化をスケーラブルに行って、低解像度のビデオサービスのためのベースレイヤのストリームと、高解像度のビデオサービスのための拡張レイヤのストリームを生成し、これらを含む放送信号を送信することが記載されている。
特表２００８−５４３１４２号公報
本技術の目的は、受信側において拡張ビデオストリームが持つ符号化画像データが対応する高品質フォーマットを容易に認識可能とすることにある。
本技術の概念は、
基本フォーマット画像データの符号化画像データを持つ基本ビデオストリームと、複数種類の中から選択された一つの種類の高品質フォーマットの画像データの符号化画像データを持つ拡張ビデオストリームの２つのビデオストリームを生成する画像符号化部と、
上記基本ビデオストリームおよび上記拡張ビデオストリームを含む所定フォーマットのコンテナを送信する送信部と、
上記拡張ビデオストリームおよび/またはコンテナに、上記拡張ビデオストリームが持つ符号化画像データが対応する高品質フォーマットを表す情報を挿入する情報挿入部を備える
送信装置にある。
本技術において、画像符号化部により、基本フォーマット画像データの符号化画像データを持つ基本ビデオストリームと、複数種類の中から選択された一つの種類の高品質フォーマット画像データの符号化画像データを持つ拡張ビデオストリームの２つのビデオストリームが生成される。そして、送信部により、基本ビデオストリームおよび拡張ビデオストリームを含む所定フォーマットのコンテナが送信される。
例えば、画像符号化部は、基本フォーマット画像データに関しては、この基本フォーマット画像データ内の予測符号化処理を行って符号化画像データを得、高品質フォーマット画像データに関しては、この高品質フォーマット画像データ内の予測符号化処理または基本フォーマット画像データとの間の予測符号化処理を選択的に行って符号化画像データを得る、ようにされてもよい。
この場合、例えば、基本フォーマット画像データは、通常ダイナミックレンジおよびローフレームレートの画像データであり、高品質フォーマット画像データは、ハイダイナミックレンジおよびハイフレームレートの画像データ、ハイダイナミックレンジおよびローフレームレートの画像データ、または通常ダイナミックレンジおよびハイフレームレートの画像データのいずれかであり、高品質フォーマット画像データの符号化画像データは、通常ダイナミックレンジ画像データに対する差分情報によるハイダイナミックレンジ画像データの符号化成分および/またはローフレームレート画像データに対する差分情報によるハイフレームレート画像データの符号化成分を持つ、ようにされてもよい。
例えば、画像符号化部は、通常ダイナミックレンジ画像データに対する差分情報を求めるとき、差分値を小さくするために通常ダイナミックレンジ画像データにダイナミックレンジ変換を行う、ようにされてもよい。この場合、例えば、画像符号化部は、通常ダイナミックレンジ画像データに、通常ダイナミックレンジ光電変換特性による変換データの値をハイダイナミックレンジ光電変換特性による変換データの値に変換するための変換情報に基づいて、ダイナミックレンジ変換を行う、ようにされてもよい。
情報挿入部により、拡張ビデオストリームおよび/またはコンテナに、拡張ビデオストリームの符号化画像データが対応する高品質フォーマットを表す情報（高品質フォーマット情報）が挿入される。例えば、拡張ビデオストリームはＮＡＬユニット構造を有し、情報挿入部は、高品質フォーマット情報を、ＮＡＬユニットのヘッダに挿入する、ようにされてもよい。
また、例えば、拡張ビデオストリームはＮＡＬユニット構造を有し、情報挿入部は、高品質フォーマット情報を、ＳＥＩ ＮＡＬユニットの領域に挿入する、ようにされてもよい。また、例えば、コンテナはＭＰＥＧ２−ＴＳであり、情報挿入部は、高品質フォーマット情報を、プログラムマップテーブルの配下に存在する拡張ビデオストリームに対応したビデオエレメンタリストリームループ内に挿入する、ようにされてもよい。
例えば、情報挿入部は、拡張ビデオストリームおよび/またはコンテナに、上記の変換情報をさらに挿入する、ようにされてもよい。この場合、受信側においては、この変換情報に基づいて、ハイダイナミックレンジ画像データを得るために通常ダイナミックレンジ画像データに行うべきダイナミックレンジ変換の処理を適切に行うことが可能となる。
このように本技術においては、拡張ビデオストリームの符号化画像データが対応する高品質フォーマットを表す情報（高品質フォーマット情報）が拡張ビデオストリームおよび/またはコンテナに挿入されるものである。そのため、受信側では、高品質フォーマット画像データの高品質フォーマットを容易に認識可能となる。そして、受信側では、この情報および表示能力情報に基づいて、基本ビデオストリームおよび拡張ビデオストリームから、表示能力に対応した画像データを表示用画像データとして得ることが可能となる。
なお、本技術において、例えば、画像符号化部は、拡張ビデオストリームに含まれる各ピクチャの符号化画像データに付加されるデコードタイムスタンプが示す時刻を、基本ビデオストリームに含まれる各ピクチャの符号化画像データに付加されるデコードタイムスタンプが示す時刻と同じか中間とし、基本ビデオストリームに含まれる各ピクチャの符号化画像データに付加されるデコードタイムスタンプが示す時刻の間隔を均等とし、拡張ビデオストリームに含まれる各ピクチャの符号化画像データに付加されるデコードタイムスタンプが示す時刻の間隔を均等とする、ようにされてもよい。このようにデコードタイムスタンプの間隔が均等とされることで、受信側におけるデコード能力を効率よく使用可能となる。
また、本技術の他の概念は、
基本フォーマット画像データの符号化画像データを持つ基本ビデオストリームと、複数種類の中から選択された一つの種類の高品質フォーマットの画像データの符号化画像データを持つ拡張ビデオストリームの２つのビデオストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記拡張ビデオストリームおよび/またはコンテナに、上記拡張ビデオストリームが持つ符号化画像データが対応する高品質フォーマットを表す情報が挿入されており、
上記拡張ビデオストリームおよび/またはコンテナから上記情報を抽出する情報抽出部と、
上記抽出された情報および表示能力情報に基づいて、上記基本ビデオストリームおよび上記拡張ビデオストリームから表示能力に対応した画像データを表示用画像データとして得る処理部をさらに備える
受信装置にある。
本技術において、受信部により、基本フォーマット画像データの符号化画像データを持つ基本ビデオストリームと、複数種類の中から選択された一つの種類の高品質フォーマットの画像データの符号化画像データを持つ拡張ビデオストリームの２つのビデオストリームを含む所定フォーマットのコンテナが受信される。例えば、基本ビデオストリームに含まれる符号化画像データは、基本フォーマット画像データに対して、この基本フォーマット画像データ内の予測符号化処理が行われて生成されており、拡張ビデオストリームに含まれる符号化画像データは、高品質フォーマット画像データに対して、この高品質フォーマット画像データ内の予測符号化処理または基本フォーマット画像データとの間の予測符号化処理が選択的に行われて生成されている、ようにされてもよい。
拡張ビデオストリームおよび/またはコンテナに、拡張ビデオストリームが持つ符号化画像データが対応する高品質フォーマットを表す情報が挿入されている。情報抽出部により、拡張ビデオストリームおよび/またはコンテナから、この情報が抽出される。処理部により、抽出された情報および表示能力情報に基づいて、基本ビデオストリームおよび拡張ビデオストリームから表示能力に対応した画像データが表示用画像データとして得られる。
このように本技術においては、拡張ビデオストリームが持つ符号化画像データが対応する高品質フォーマットを表す情報および表示能力情報に基づいて、基本ビデオストリームおよび拡張ビデオストリームから、表示能力に対応した画像データが表示用画像データとして得られるものである。そのため、表示能力に対応した画像データを表示用画像データとして効率よく得ることが可能となる。
本技術によれば、受信側において拡張ビデオストリームが持つ符号化画像データが対応する高品質フォーマットを容易に認識可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
実施の形態としての送受信システムの構成例を示すブロック図である。 送信装置の構成例を示すブロック図である。 基本フォーマット画像データＶｂと、高品質フォーマット画像データＶｅを生成する画像データ生成部の構成例を示すブロック図である。 エンコード部の主要部の構成例を示すブロック図である。 ダイナミックレンジ拡張の場合におけるレベル調整（ダイナミックレンジ変換）を説明するための図である。 ＮＡＬユニットヘッダの構造例と、その構造例における主要なパラメータの内容を示す図である。 符号化方式がＨＥＶＣである場合におけるＧＯＰの先頭のアクセスユニットを示す図である。 符号化方式がＨＥＶＣである場合におけるＧＯＰの先頭以外のアクセスユニットを示す図である。 スケーラブル・リンケージＳＥＩメッセージの構造例を示す図である。 スケーラブル・リンケージＳＥＩメッセージの構造例における主要な情報の内容を示す図である。 基本ビデオストリームＢＳの符号化画像データと拡張ビデオストリームＥＳの符号化画像データの構成例（ＨＤＲ＋ＨＦＲ）を示す図である。 符号化画像データにおけるデコード・表示タイミング（デコード・表示のタイムスタンプ）の管理を説明するための図である。 基本ビデオストリームＢＳの符号化画像データと拡張ビデオストリームＥＳの符号化画像データの構成例（ＨＤＲ＋ＬＦＲ）を示す図である。 基本ビデオストリームＢＳの符号化画像データと拡張ビデオストリームＥＳの符号化画像データの構成例（ＳＤＲ＋ＨＦＲ）を示す図である。 基本ビデオストリームＢＳの符号化画像データと拡張ビデオストリームＥＳの符号化画像データの構成例（「ＳＤＲ＋ＨＦＲ」→「ＨＤＲ＋ＨＦＲ」）を示す図である。 基本ビデオストリームＢＳの符号化画像データと拡張ビデオストリームＥＳの符号化画像データの構成例（「ＳＤＲ＋ＨＦＲ」→「ＨＤＲ＋ＬＦＲ」）を示す図である。 基本ビデオストリームＢＳの符号化画像データと拡張ビデオストリームＥＳの符号化画像データの構成例（「ＨＤＲ＋ＨＦＲ」→「ＨＤＲ＋ＬＦＲ」）を示す図である。 スケーラブル・リンケージ・デスクリプタの構造例およびその構造例における主要な情報の内容を示す図である。 ＮＡＬユニットのヘッダの「nuh_layer_id」の値を符号化成分によって固定とする場合およびＮＡＬユニットのヘッダの「nuh_layer_id」の値をフレキシブルに割り当てる場合における各フィールドの値の一例を示す図である。 トランスポートストリームＴＳの構成例を示す図である。 受信装置の構成例を示すブロック図である。 デコード部の主要部の構成例を示すブロック図である。
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
＜１．実施の形態＞
［送受信システム］
図１は、実施の形態としての送受信システム１０の構成例を示している。この送受信システム１０は、送信装置１００と、受信装置２００とを有している。送信装置１００は、コンテナとしてのトランスポートストリームＴＳを放送波あるいはネットのパケットに載せて送信する。
このトランスポートストリームＴＳには、基本ビデオストリームと拡張ビデオストリームの２本のビデオストリームが含まれる。基本ビデオストリームは、基本フォーマット画像データの符号化画像データを持つものである。この基本フォーマット画像データは、通常ダイナミックレンジおよびローフレームレートの画像データである。この基本フォーマット画像データの符号化画像データは、基本フォーマット画像データに、例えば、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの予測符号化処理が施されて生成されたものである。この場合、基本フォーマット画像データ内の予測符号化処理が行われて符号化画像データが得られる。
拡張ビデオストリームは、複数種類の中から選択された一つの種類の高品質フォーマット画像データの符号化画像データを持つものである。この実施の形態において、高品質フォーマット画像データは、ハイダイナミックレンジおよびハイフレームレートの画像データ、ハイダイナミックレンジおよびローフレームレートの画像データ、または通常ダイナミックレンジおよびハイフレームレートの画像データのいずれかである。
この拡張ビデオストリームの符号化画像データは、高品質フォーマット画像データに、例えば、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの予測符号化処理が施されて生成されたものである。この場合、高品質フォーマット画像データ内の予測符号化処理または基本フォーマット画像データとの間の予測符号化処理が選択的に行われて符号化画像データが得られる。
この場合、高品質フォーマット画像データの符号化画像データは、通常ダイナミックレンジ画像データに対する差分情報によるハイダイナミックレンジ画像データの符号化成分および/またはローフレームレート画像データに対する差分情報によるハイフレームレート画像データの符号化成分を持つものとなる。
送信装置１００は、拡張ビデオストリームおよび/またはコンテナとしてのトランスポートストリームＴＳに、拡張ビデオストリームの符号化画像データが対応する高品質フォーマットを表す情報（以下、適宜、「高品質フォーマット情報」という）を挿入する。この情報は、ＮＡＬユニットのヘッダやＳＥＩ ＮＡＬユニットの領域に挿入される。また、この情報は、プログラムマップテーブルの配下に存在する拡張ビデオストリームに対応したビデオエレメンタリストリームループ内に挿入される。
受信装置２００は、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳを受信する。このトランスポートストリームＴＳは、上述したように、基本フォーマット画像データの符号化画像データを持つ基本ビデオストリームと、高品質フォーマット画像データの符号化画像データを持つ拡張ビデオストリームを有している。
拡張ビデオストリームおよび/またはコンテナとしてのトランスポートストリームＴＳに、上述したように、高品質フォーマット情報が挿入されている。受信装置２００は、この情報と表示能力情報に基づいて、基本ビデオストリームおよび拡張ビデオストリームから表示能力に対応した画像データを表示用画像データとして取得する。
「送信装置の構成」
図２は、送信装置１００の構成例を示している。この送信装置１００は、送信画像データとして、基本フォーマット画像データＶｂと、高品質フォーマット画像データＶｅを取り扱う。ここで、基本フォーマット画像データＶｂは、フレーム周波数が５０Ｈｚ（ＬＦＲ：ローフレームレート）であるＳＤＲ（Standard Dynamic Range）画像データである。
高品質フォーマット画像データＶｅは、例えば、（ａ）フレーム周波数が１００Ｈｚ（ＨＦＲ：ハイフレームレート）であるＨＤＲ画像データ、（ｂ）フレーム周波数が５０Ｈｚ（ＬＦＲ）であるＨＤＲ画像データ、あるいは（ｃ）フレーム周波数が１００Ｈｚ（ＨＦＲ）であるＳＤＲ画像データの３つの種類の中から選択された一つの種類の高品質フォーマット画像データとされる。ＨＤＲ画像データは、従来のＬＤＲ画像の白ピークの明るさを１００％とすると、０〜１００％＊Ｎ、例えば０〜１０００％あるいはそれ以上の範囲の輝度を持つ。
図３は、基本フォーマット画像データＶｂと、高品質フォーマット画像データＶｅを生成する画像データ生成部１５０の構成例を示している。この画像データ生成部１５０は、カメラ１５１と、変換部１５２を有している。
カメラ１５１は、被写体を撮像して、高品質フォーマット画像データＶｅを出力する。カメラ１５１が出力する高品質フォーマット画像データＶｅが、フレーム周波数が１００ＨｚのＨＤＲ画像データである場合、変換部１５２は、フレームレートおよびダイナミックレンジの変換を行って、フレーム周波数が５０ＨｚのＳＤＲ画像データである基本フォーマット画像データＶｂを出力する。
また、カメラ１５１が出力する高品質フォーマット画像データＶｅが、フレーム周波数が５０ＨｚのＨＤＲ画像データである場合、変換部１５２は、ダイナミックレンジの変換のみを行って、フレーム周波数が５０ＨｚのＳＤＲ画像データである基本フォーマット画像データＶｂを出力する。また、カメラ１５１が出力する高品質フォーマット画像データＶｅが、フレーム周波数が１００ＨｚのＳＤＲ画像データである場合、変換部１５２は、フレームレートの変換のみを行って、フレーム周波数が５０ＨｚのＳＤＲ画像データである基本フォーマット画像データＶｂを出力する。
図２に戻って、送信装置１００は、制御部１０１と、光電変換部１０２と、ＲＧＢ/ＹＣｂＣｒ変換部１０３と、光電変換部１０４と、ＲＧＢ/ＹＣｂＣｒ変換部１０５と、ビデオエンコーダ１０６と、システムエンコーダ１０７と、送信部１０８を有している。制御部１０１は、ＣＰＵ（Central Processing Unit）を備えて構成され、制御プログラムに基づいて、送信装置１００の各部の動作を制御する。
光電変換部１０２は、基本フォーマット画像データＶｂに対して、ＳＤＲ光電変換特性（ＳＤＲ ＯＥＴＦカーブ）を適用して、伝送用の基本フォーマット画像データＶｂ´を得る。ＲＧＢ/ＹＣｂＣｒ変換部１０３は、この基本フォーマット画像データＶｂ´を、ＲＧＢドメインからＹＣｂＣｒ（輝度・色差）ドメインに変換する。
光電変換部１０４は、高品質フォーマット画像データＶｅに対して、ＨＤＲ光電変換特性（ＨＤＲ ＯＥＴＦカーブ）あるいはＳＤＲ光電変換特性（ＳＤＲ ＯＥＴＦカーブ）を適用して、伝送用の高品質フォーマット画像データＶｅ´を得る。ＲＧＢ/ＹＣｂＣｒ変換部１０５は、この高品質フォーマット画像データＶｅ´を、ＲＧＢドメインからＹＣｂＣｒ（輝度・色差）ドメインに変換する。
ビデオエンコーダ１０６は、エンコード部１０６ｂおよびエンコード部１０６ｅを有する。エンコード部１０６ｂは、伝送用の基本フォーマット画像データＶｂ´に対してＨ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの予測符号化処理を施して符号化画像データを得、この符号化画像データを持つ基本ビデオストリーム（ビデオエレメンタリストリーム）ＢＳを生成する。
エンコード部１０６ｅは、伝送用の高品質フォーマット画像データＶｅ´に対してＨ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの予測符号化処理を施して符号化画像データを得、この符号化画像データを持つ拡張ビデオストリーム（ビデオエレメンタリストリーム）ＥＳを生成する。この場合、エンコード部１０６ｅは、予測残差を小さくするために、符号化ブロック毎に、画像データＶｅ´内の予測、または画像データＶｂ´との間の予測を、選択的に行う。
図４は、エンコード部１０６ｅの主要部の構成例を示している。エンコード部１０６ｅは、レイヤ内予測部１６１と、レイヤ間予測部１６２と、予測調整部１６３と、選択部１６４と、エンコード機能部１６５を有している。
レイヤ内予測部１６１は、符号化対象の画像データＶ１に対して、この画像データＶ１内での予測（レイヤ内予測）を行って予測残差データを得る。レイヤ間予測部１６２は、符号化対象の画像データＶ１に対して、参照対象の画像データＶ２との間での予測（レイヤ間予測）を行って予測残差データを得る。
予測調整部１６３は、レイヤ間予測部１６２におけるレイヤ間予測を効率よく行うために、画像データＶ１の、画像データＶ２に対するスケーラブル拡張のタイプに応じて、以下の処理を行う。すなわち、ダイナミックレンジ拡張の場合は、ＳＤＲからＨＤＲに変換するためのレベル調整（ダイナミックレンジ変換）を行う。フレームレート拡張の場合は、バイパスする。
図５を参照して、ダイナミックレンジ拡張の場合におけるレベル調整（ダイナミックレンジ変換）についてさらに説明する。実線ａは、ＳＤＲ光電変換特性を示すＳＤＲ ＯＥＴＦカーブの一例を示している。実線ｂは、ＨＤＲ光電変換特性を示すＨＤＲ ＯＥＴＦカーブの一例を示している。横軸は入力輝度レベルを示し、Ｐ１はＳＤＲ最大レベルに対応する入力輝度レベルを示し、Ｐ２はＨＤＲ最大レベルに対応する入力輝度レベルを示している。
また、縦軸は伝送符号値または正規化された符号化レベルの相対値を示す。相対最大レベルＭはＨＤＲ最大レベルおよびＳＤＲ最大レベルを示す。基準レベルＧは、ＳＤＲ最大レベルに対応する入力輝度レベルＰ１におけるＨＤＲ ＯＥＴＦの伝送レベルを示すもので、いわゆるリファレンスの白レベルを意味する。分岐レベルＢは、ＳＤＲ ＯＥＴＦカーブとＨＤＲ ＯＥＴＦカーブとが同一軌道から分岐して別れるレベルを示す。Ｐｆは、分岐レベルに対応する入力輝度レベルを示す。なお、この分岐レベルＢは、０以上の任意の値とすることができる。
予測調整部１６３におけるレベル調整（ダイナミックレンジ変換）では、基本フォーマット画像データＶｂ´のうち、分岐レベルＢから相対最大レベルＭまでが、ＨＤＲ光電変換特性による変換データの値となるように変換される。この場合、ＳＤＲの相対最大レベルＭは基準レベルＧと一致するようにされる。なお、分岐レベルＢ未満の入力データは、そのまま出力データとされる。
ここで、変換情報は、変換テーブルあるいは変換係数で与えられる。変換テーブルで与えられる場合、予測調整部１６３は、この変換テーブルを参照して変換を行う。一方、変換係数で与えられる場合、予測調整部１６３は、この変換係数を用いた演算により変換を行う。例えば、変換係数をＣとするとき、分岐レベルＢから相対最大レベルＭまでの入力データに関して、以下の（１）式により、変換を行う。
出力データ＝分岐レベルＢ＋（入力データ−分岐レベルＢ）＊Ｃ ・・・（１）
選択部１６４は、符号化ブロック毎に、レイヤ内予測部１６１で得られる予測残差データ、またはレイヤ間予測部１６２で得られる予測残差データを選択的に取り出し、エンコード機能部１６５に送る。この場合、選択部１６４では、例えば、予測残差の小さい方が取り出される。エンコード機能部１６５は、選択部１６４から取り出された予測残差データに対して、変換符号化、量子化、エントロピー符号化などのエンコード処理を行って、符号化画像データＣＶを得る。
拡張ビデオストリームに含まれる符号化画像データには、高品質フォーマット画像データＶｅに応じた種類の符号化成分が含まれる。すなわち、画像データＶｅが（ａ）ＨＦＲ（１００Ｈｚ）かつＨＤＲの画像データであるときは、ＨＤＲでＨＦＲの符号化成分が含まれる。また、画像データＶｅが（ｂ）ＬＦＲ（５０Ｈｚ）かつＨＤＲの画像データであるときは、ＨＤＲでＬＦＲの符号化成分が含まれる。また、画像データＶｅが（ｃ）ＨＦＲ（１００Ｈｚ）かつＳＤＲの画像データであるときは、ＳＤＲでＨＦＲの符号化成分が含まれる。
図２に戻って、エンコード部１０６ｅは、拡張ビデオストリームＥＳに、拡張ビデオストリームの符号化画像データが対応する高品質フォーマットを表す情報（高品質フォーマット情報）を挿入する。エンコード部１０６ｅは、この高品質フォーマット情報を、例えば、ＮＡＬユニットのヘッダ、あるいはＳＥＩ ＮＡＬユニットの領域に挿入する。
図６（ａ）は、ＮＡＬユニットヘッダの構造例（Syntax）を示し、図６（ｂ）は、その構造例における主要なパラメータの内容（Semantics）を示している。「forbidden_zero_bit」の１ビットフィールドは、０が必須である。「nal_unit_type」の６ビットフィールドは、ＮＡＬユニットタイプを示す。「nuh_layer_id」の６ビットフィールドは、拡張レイヤのＩＤを示す。「nuh_temporal_id_plus1」の３ビットフィールドは、temporal_id（０〜６）を示し、１を加えた値（１〜７）を取る。
基本ビデオストリームにおいて、「nuh_layer_id」の値は“０”とされる。高品質フォーマット情報をＮＡＬユニットのヘッダに挿入するときには、当該拡張ビデオストリームにおいて、「nuh_layer_id」の値は、符号化画像データに含まれる符号化成分の種類によって固定とされる。つまり、符号化画像データが対応する高品質フォーマットの種類に応じた固定値とされる。
このとき、「nuh_layer_id」は、高品質フォーマット情報を構成する。例えば、符号化画像データに含まれる符号化成分がＨＤＲでＨＦＲの符号化成分であるときには、「nuh_layer_id」は“６”とされる。また、符号化画像データに含まれる符号化成分がＨＤＲでＬＦＲの符号化成分であるときには、「nuh_layer_id」は“５”とされる。また、符号化画像データに含まれる符号化成分がＳＤＲでＨＦＲの符号化成分であるときには、「nuh_layer_id」は“０”とされる。
一方、この拡張ビデオストリームにおいて、「nuh_layer_id」の値をフレキシブルに割り当てる場合には、高品質フォーマット情報をＳＥＩ ＮＡＬユニットに挿入する。この場合は、「nuh_layer_id」は、拡張ビデオストリームの符号化画像データが対応する高品質フォーマットを直接的に指し示す機能は持たない。
このとき、エンコード部１０６ｅは、アクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に、高品質フォーマット情報を持つ、新規定義するスケーラブル・リンケージＳＥＩメッセージ（Scalable_linkage SEI message）を挿入する。
図７は、符号化方式がＨＥＶＣである場合におけるＧＯＰ（Group Of Pictures）の先頭のアクセスユニットを示している。また、図８は、符号化方式がＨＥＶＣである場合におけるＧＯＰの先頭以外のアクセスユニットを示している。ＨＥＶＣの符号化方式の場合、画素データが符号化されているスライス（slices）の前にデコード用のＳＥＩメッセージ群「Prefix_SEIs」が配置され、このスライス（slices）の後に表示用のＳＥＩメッセージ群「Suffix_SEIs」が配置される。スケーラブル・リンケージＳＥＩメッセージは、図示のように、例えば、ＳＥＩメッセージ群「Suffix_SEIs」としてあるいは 「Prefix SEIs」として配置される。
図９は、スケーラブル・リンケージＳＥＩメッセージの構造例(Syntax)を示している。図１０は、その構造例における主要な情報の内容（Semantics）を示している。「Scalable_linkage_cancel_flag」の１ビットのフラグ情報は、“Scalable_linkage”のＳＥＩメッセージをリフレッシュするかを示す。“０”は、このＳＥＩメッセージをリフレッシュすることを示す。“１”は、このＳＥＩメッセージをリフレッシュしないこと、つまり前のメッセージをそのまま維持することを示す。
「Scalable_linkage_cancel_flag」が“０”であるとき、以下のフィールドが存在する。「scalable_index」の１６ビットフィールドは、スケーラブル拡張ストリームの種類を示すインデックスである。つまり、このフィールドは、高品質フォーマット情報を構成する。
例えば、“０ｘ８”は、ＨＤＲへの拡張成分、つまり符号化画像データに含まれる符号化成分がＨＤＲでＬＦＲの符号化成分であることを示す。また、“０ｘ１０”は、ＨＦＲへの拡張成分、つまり符号化画像データに含まれる符号化成分がＳＤＲでＨＦＲの符号化成分であることを示す。また、“０ｘ１８”は、ＨＤＲおよびＨＦＲへの拡張成分、つまり符号化画像データに含まれる符号化成分がＨＤＲでＨＦＲの符号化成分であることを示す。
「nuh_layer_id」の６ビットフィールドは、拡張ビデオストリームに含まれるレイヤＩＤ（layer ID）を示す。「reference_level」の１５ビットフィールドは、基準輝度レベル値、つまり基準レベルＧ（図５参照）を示す。「conversion_table_flag」の１ビットのフラグ情報は、変換テーブルによること、つまり変換テーブル情報が存在することを示す。
「conversion_table_flag」が“１”であるとき、「table_size」の８ビットフィールドが存在する。このフィールドは、変換テーブルの入力数を示す。そして、その入力数だけ、「predctrl_y[i]」、「predctrl_cb[i]」、「predctrl_cr[i]」の各１６ビットフィールドが存在する。「predctrl_y[i]」のフィールドは、輝度に関す予測調整変換の値を示す。「predctrl_cb[i]」のフィールドは、色差Ｃｂに関す予測調整変換の値を示す。「predctrl_cr[i]」のフィールドは、色差Ｃｒに関す予測調整変換の値を示す。
図１１は、エンコード部１０６ｂで得られる基本ビデオストリームＢＳの符号化画像データと、エンコード部１０６ｅで得られる拡張ビデオストリームＥＳの符号化画像データの構成例を示している。この例は、基本ビデオストリームＢＳの符号化画像データにＳＤＲでＬＦＲの符号化成分が含まれ、拡張ビデオストリームＥＳの符号化画像データにＨＤＲでＨＦＲの符号化成分が含まれる例である。この例は、「nuh_layer_id」の値が符号化画像データに含まれる符号化成分の種類によって固定とされ、この「nuh_layer_id」が高品質フォーマット情報を構成する例である。
横軸は表示順（ＰＯＣ：picture order of composition）を示し、左側は表示時刻が前で、右側は表示時刻が後になる。縦軸は階層を示している。矩形枠のそれぞれがピクチャを示し、矢印は、予測符号化処理におけるピクチャの参照関係の一例を示している。レイヤ間、レイヤ内の双方とも予測はブロックごとに対象ピクチャが変わり、また、予測の向き、参照数は図示の例に限定されるわけではない。矩形枠内の数字は、符号化されるピクチャの順、つまりエンコード順（受信側ではデコード順）を示している。サブ・ピクチャグループ（Sub group of pictures）がいくつか集まってＧＯＰ（Group Of Pictures）となる。
基本ビデオストリームの符号化画像データは、０，１の２階層で階層符号化されている。階層０，１のピクチャの符号化画像データを構成するＮＡＬユニット（nal_unit）のヘッダに配置されるtemporal_id（階層識別情報）として、それぞれ、０，１が設定される。また、各ＮＡＬユニットのヘッダの「nuh_layer_id」の値は“０”とされる。
また、拡張ビデオストリームの符号化画像データは、０，１，２の３階層で階層符号化されている。階層０，１，２のピクチャの符号化画像データを構成するＮＡＬユニット（nal_unit）のヘッダに配置されるtemporal_id（階層識別情報）として、それぞれ、０，１，２が設定される。また、各ＮＡＬユニットのヘッダの「nuh_layer_id」の値は“６”とされ、符号化画像データに含まれる符号化成分がＨＤＲでＨＦＲの符号化成分であることが示される。
図１２は、図１１の階層符号化の場合におけるデコード・表示タイミング（デコード・表示のタイムスタンプ）の管理を概略的に示している。各数字は、図１１のピクチャを示す各矩形枠内の数字に対応している。
「Ｂ」は、基本フレーム周波数を構成するピクチャを示している。「Ｌ」は、基本フレーム周波数で、ダイナミックレンジは基本ビデオストリームＢＳとの予測差分となるピクチャ成分を示している。「Ｕ」は、基本フレーム周波数のフレーム同士の中間のタイミングに位置するフレームで、「Ｌ」あるいは「Ｂ」のフレームと時間的に合成することでハイフレーム周波数となる。また、「Ｕ」には、ダイナミックレンジにおいても「Ｂ」あるいは「Ｌ」との差分成分を持つことができ、これらと合成することでハイダイナミックレンジとなる。
デコードタイミング（デコードタイムスタンプ）の管理では、「Ｂ」、「Ｌ」のデコードは同時刻に、「Ｕ」のデコードは前後の「Ｂ」または「Ｌ」のデコード時刻のちょうど中間になるようにエンコードバッファ管理(ＨＲＤ管理）が行われる。表示タイミング（表示タイムスタンプ）も同様に、「Ｂ」、「Ｌ」は同時刻に予測合成表示され、「Ｕ」の表示は前後の基本フレーム周波数画像の表示時刻のちょうど中間になるようにエンコードバッファ管理(ＨＲＤ管理）がなされる。
なお、詳細説明は省略するが、以下のその他の構成例においても、デコード・表示タイミング（デコード・表示のタイムスタンプ）の管理が同様に行われる。
図１３も、エンコード部１０６ｂで得られる基本ビデオストリームＢＳの符号化画像データと、エンコード部１０６ｅで得られる拡張ビデオストリームＥＳの符号化画像データの構成例を示している。この例は、基本ビデオストリームＢＳの符号化画像データにＳＤＲでＬＦＲの符号化成分が含まれ、拡張ビデオストリームＥＳの符号化画像データにＨＤＲでＬＦＲの符号化成分が含まれる例である。この例は、「nuh_layer_id」の値が符号化画像データに含まれる符号化成分の種類によって固定とされ、この「nuh_layer_id」が高品質フォーマット情報を構成する例である。
基本ビデオストリームの符号化画像データは、０，１の２階層で階層符号化されている。階層０，１のピクチャの符号化画像データを構成するＮＡＬユニット（nal_unit）のヘッダに配置されるtemporal_id（階層識別情報）として、それぞれ、０，１が設定される。また、各ＮＡＬユニットのヘッダの「nuh_layer_id」の値は“０”とされる。
また、拡張ビデオストリームの符号化画像データは、切換え前のサブ・ピクチャグループでは０，１の２階層で階層符号化されており、階層０，１のピクチャの符号化画像データを構成するＮＡＬユニット（nal_unit）のヘッダに配置されるtemporal_id（階層識別情報）として、それぞれ、０，１が設定される。
切り換え後のサブ・ピクチャグループでは０，２の２階層で階層符号化されており、階層０，２のピクチャの符号化画像データを構成するＮＡＬユニット（nal_unit）のヘッダに配置されるtemporal_id（階層識別情報）として、それぞれ、０，２が設定される。また、各ＮＡＬユニットのヘッダの「nuh_layer_id」の値は“５”とされ、符号化画像データに含まれる符号化成分がＨＤＲでＬＦＲの符号化成分であることが示される。
図１４も、エンコード部１０６ｂで得られる基本ビデオストリームＢＳの符号化画像データと、エンコード部１０６ｅで得られる拡張ビデオストリームＥＳの符号化画像データの構成例を示している。この例は、基本ビデオストリームＢＳの符号化画像データにＳＤＲでＬＦＲの符号化成分が含まれ、拡張ビデオストリームＥＳの符号化画像データにＳＤＲでＨＦＲの符号化成分が含まれる例である。この例は、「nuh_layer_id」の値が符号化画像データに含まれる符号化成分の種類によって固定とされ、この「nuh_layer_id」が高品質フォーマット情報を構成する例である。
基本ビデオストリームの符号化画像データは、０，１の２階層で階層符号化されている。階層０，１のピクチャの符号化画像データを構成するＮＡＬユニット（nal_unit）のヘッダに配置されるtemporal_id（階層識別情報）として、それぞれ、０，１が設定される。また、各ＮＡＬユニットのヘッダの「nuh_layer_id」の値は“０”とされる。
また、拡張ビデオストリームの符号化画像データは、切換え前のサブ・ピクチャグループでは０，１，２の３階層で階層符号化されており、階層０，１，２のピクチャの符号化画像データを構成するＮＡＬユニット（nal_unit）のヘッダに配置されるtemporal_id（階層識別情報）として、それぞれ、０，１，２が設定される。ここで、ピクチャ「２」、「５」、「８」、「１１」はそれぞれピクチャ「１」、「４」、「７」、「１０」のコピーであり、ピクチャ「３」はピクチャ「２」を、ピクチャ「６」はピクチャ「５」を参照する。
切り換え後のサブ・ピクチャグループでは０の１階層で階層符号化されており、階層０のピクチャの符号化画像データを構成するＮＡＬユニット（nal_unit）のヘッダに配置されるtemporal_id（階層識別情報）として０が設定される。なお、破線で示すように、階層１の１階層あるいは階層２の１階層を用いることもできる。また、各ＮＡＬユニットのヘッダの「nuh_layer_id」の値は“０”とされ、符号化画像データに含まれる符号化成分がＳＤＲでＨＦＲの符号化成分であることが示される。
図１５も、エンコード部１０６ｂで得られる基本ビデオストリームＢＳの符号化画像データと、エンコード部１０６ｅで得られる拡張ビデオストリームＥＳの符号化画像データの構成例を示している。この例は、基本ビデオストリームＢＳの符号化画像データにＳＤＲでＬＦＲの符号化成分が含まれ、拡張ビデオストリームＥＳの符号化画像データに、切換え前はＳＤＲでＨＦＲの符号化成分が含まれ、切換え後はＨＤＲでＨＦＲの符号化成分が含まれる例である。
この例は、「nuh_layer_id」の値がフレキシブルに割り当てられ、この「nuh_layer_id」が高品質フォーマット情報を構成しない例である。つまり、スケーラブル・リンケージＳＥＩメッセージの「scalable_index」が高品質フォーマット情報を構成する例である。
基本ビデオストリームの符号化画像データは、０，１の２階層で階層符号化されている。階層０，１のピクチャの符号化画像データを構成するＮＡＬユニット（nal_unit）のヘッダに配置されるtemporal_id（階層識別情報）として、それぞれ、０，１が設定される。また、各ＮＡＬユニットのヘッダの「nuh_layer_id」の値は“０”とされる。
また、拡張ビデオストリームの符号化画像データは、切換え前のサブ・ピクチャグループでは０，１，２の３階層で階層符号化されており、階層０，１，２のピクチャの符号化画像データを構成するＮＡＬユニット（nal_unit）のヘッダに配置されるtemporal_id（階層識別情報）として、それぞれ、０，１，２が設定される。ここで、ピクチャ「２」、「５」、「８」、「１１」はそれぞれピクチャ「１」、「４」、「７」、「１０」のコピーであり、ピクチャ「３」はピクチャ「２」を、ピクチャ「６」はピクチャ「５」を参照する。
切り換え後のサブ・ピクチャグループでは０，１，２の３階層で階層符号化されており、階層０，１，２のピクチャの符号化画像データを構成するＮＡＬユニット（nal_unit）のヘッダに配置されるtemporal_id（階層識別情報）として０，１，２が設定される。ここで、ピクチャ「１４」、「１７」、「２０」、「２３」はそれぞれピクチャ「１３」、「１６」、「１９」、「２２」のＨＤＲ差分のピクチャである。
各ＮＡＬユニットのヘッダの「nuh_layer_id」の値は切り換え前も切り換え後も“６”とされ、この「nuh_layer_id」では拡張ビデオストリームの符号化画像データに含まれる符号化成分の種類は示されない。この場合、切換え前に対応して「scalable_index」は“０ｘ１０”とされてＳＤＲでＨＦＲの符号化成分であることが示され、切換え後に対応して「scalable_index」は“０ｘ１８”とされてＨＤＲでＨＦＲの符号化成分であることが示される。
図１６も、エンコード部１０６ｂで得られる基本ビデオストリームＢＳの符号化画像データと、エンコード部１０６ｅで得られる拡張ビデオストリームＥＳの符号化画像データの構成例を示している。この例は、基本ビデオストリームＢＳの符号化画像データにＳＤＲでＬＦＲの符号化成分が含まれ、拡張ビデオストリームＥＳの符号化画像データに、切換え前はＳＤＲでＨＦＲの符号化成分が含まれ、切換え後はＨＤＲでＬＦＲの符号化成分が含まれる例である。
この例は、「nuh_layer_id」の値がフレキシブルに割り当てられ、この「nuh_layer_id」が高品質フォーマット情報を構成しない例である。つまり、スケーラブル・リンケージＳＥＩメッセージの「scalable_index」が高品質フォーマット情報を構成する例である。
基本ビデオストリームの符号化画像データは、０，１の２階層で階層符号化されている。階層０，１のピクチャの符号化画像データを構成するＮＡＬユニット（nal_unit）のヘッダに配置されるtemporal_id（階層識別情報）として、それぞれ、０，１が設定される。また、各ＮＡＬユニットのヘッダの「nuh_layer_id」の値は“０”とされる。
また、拡張ビデオストリームの符号化画像データは、切換え前のサブ・ピクチャグループでは０，１，２の３階層で階層符号化されており、階層０，１，２のピクチャの符号化画像データを構成するＮＡＬユニット（nal_unit）のヘッダに配置されるtemporal_id（階層識別情報）として、それぞれ、０，１，２が設定される。ここで、ピクチャ「２」、「５」、「８」、「１１」はそれぞれピクチャ「１」、「４」、「７」、「１０」のコピーであり、ピクチャ「３」はピクチャ「２」を、ピクチャ「６」はピクチャ「５」を参照する。
切り換え後のサブ・ピクチャグループでは０，１，２の３階層で階層符号化されており、階層０，１，２のピクチャの符号化画像データを構成するＮＡＬユニット（nal_unit）のヘッダに配置されるtemporal_id（階層識別情報）として０，１，２が設定される。ここで、ピクチャ「１４」、「１６」、「１８」、「２０」はそれぞれピクチャ「１３」、「１５」、「１７」、「１９」のＨＤＲ差分のピクチャである。
各ＮＡＬユニットのヘッダの「nuh_layer_id」の値は切り換え前も切り換え後も“６”とされ、この「nuh_layer_id」では拡張ビデオストリームの符号化画像データに含まれる符号化成分の種類は示されない。この場合、切換え前に対応して「scalable_index」は“０ｘ１０”とされてＳＤＲでＨＦＲの符号化成分であることが示され、切換え後に対応して「scalable_index」は“０ｘ０８”とされてＨＤＲでＬＦＲの符号化成分であることが示される。
図１７も、エンコード部１０６ｂで得られる基本ビデオストリームＢＳの符号化画像データと、エンコード部１０６ｅで得られる拡張ビデオストリームＥＳの符号化画像データの構成例を示している。この例は、基本ビデオストリームＢＳの符号化画像データにＳＤＲでＬＦＲの符号化成分が含まれ、拡張ビデオストリームＥＳの符号化画像データに、切換え前はＨＤＲでＨＦＲの符号化成分が含まれ、切換え後はＨＤＲでＬＦＲの符号化成分が含まれる例である。
この例は、「nuh_layer_id」の値がフレキシブルに割り当てられ、この「nuh_layer_id」が高品質フォーマット情報を構成しない例である。つまり、スケーラブル・リンケージＳＥＩメッセージの「scalable_index」が高品質フォーマット情報を構成する例である。
基本ビデオストリームの符号化画像データは、０，１の２階層で階層符号化されている。階層０，１のピクチャの符号化画像データを構成するＮＡＬユニット（nal_unit）のヘッダに配置されるtemporal_id（階層識別情報）として、それぞれ、０，１が設定される。また、各ＮＡＬユニットのヘッダの「nuh_layer_id」の値は“０”とされる。
また、拡張ビデオストリームの符号化画像データは、切換え前のサブ・ピクチャグループでは０，１，２の３階層で階層符号化されており、階層０，１，２のピクチャの符号化画像データを構成するＮＡＬユニット（nal_unit）のヘッダに配置されるtemporal_id（階層識別情報）として、それぞれ、０，１，２が設定される。ここで、ピクチャ「２」、「５」、「８」、「１１」はそれぞれピクチャ「１」、「４」、「７」、「１０」のＨＤＲ差分のピクチャである。
切り換え後のサブ・ピクチャグループでは０，１，２の３階層で階層符号化されており、階層０，１，２のピクチャの符号化画像データを構成するＮＡＬユニット（nal_unit）のヘッダに配置されるtemporal_id（階層識別情報）として０，１，２が設定される。ここで、ピクチャ「１４」、「１６」、「１８」、「２０」はそれぞれピクチャ「１３」、「１５」、「１７」、「１９」のＨＤＲ差分のピクチャである。
各ＮＡＬユニットのヘッダの「nuh_layer_id」の値は切り換え前も切り換え後も“６”とされ、この「nuh_layer_id」では拡張ビデオストリームの符号化画像データに含まれる符号化成分の種類は示されない。この場合、切換え前に対応して「scalable_index」は“０ｘ１８”とされてＨＤＲでＨＦＲの符号化成分であることが示され、切換え後に対応して「scalable_index」は“０ｘ０８”とされてＨＤＲでＬＦＲの符号化成分であることが示される。
図２に戻って、システムエンコーダ１０７は、ビデオエンコーダ１０６で生成された基本ビデオストリームＢＳおよび拡張ビデオストリームＥＳに対してＰＥＳパケット化およびＴＳパケット化を行って、トランスポートストリームＴＳを生成する。そして、送信部１０８は、このトランスポートストリームＴＳを、放送波あるいはネットのパケットに載せて、受信装置２００に送信する。
システムエンコーダ１０７は、コンテナとしてのトランスポートストリームＴＳに、高品質フォーマット情報を挿入する。この実施の形態において、ＰＭＴ（Program Map Table）の配下に存在する拡張ビデオストリームに対応したビデオエレメンタリストリームループ中に、新規定義するスケーラブル・リンケージ・デスクリプタ（Scalable_linkage descriptor）を挿入する。
図１８（ａ）は、スケーラブル・リンケージ・デスクリプタの構造例（Syntax）を示している。図１８（ｂ）は、その構造例における主要な情報の内容（Semantics）を示している。「descriptor_tag」の８ビットフィールドは、デスクリプタタイプを示し、ここでは、スケーラブル・リンケージ・デスクリプタであることを示す。「descriptor_length」の８ビットフィールドは、デスクリプタの長さ（サイズ）を示し、デスクリプタの長さとして以降のバイト数を示す。
「scalable_index」の１６ビットフィールドは、スケーラブル拡張ストリームの種類を示すインデックスである。この「scalable_index」のフィールドは、上述したスケーラブル・リンケージＳＥＩメッセージ（図９参照）の「scalable_index」のフィールドと同じ値に設定される。従って、ＮＡＬユニットのヘッダの「nuh_layer_id」の値がフレキシブルに割り当てられる場合であって、スケーラブル・リンケージＳＥＩメッセージの「scalable_index」のフィールドが高品質フォーマット情報を構成する場合、このスケーラブル・リンケージ・デスクリプタの「scalable_index」のフィールドも同様の情報を構成することになる。
「nuh_layer_id」の６ビットフィールドは、拡張ビデオストリームに含まれるレイヤＩＤ（layer ID）を示す。この「nuh_layer_id」のフィールドは、上述したＮＡＬユニットのヘッダの「nuh_layer_id」のフィールドと同じ値に設定される。従って、ＮＡＬユニットのヘッダの「nuh_layer_id」の値が拡張ビデオストリームの符号化画像データに含まれる符号化成分の種類によって固定とされる場合であって、当該「nuh_layer_id」のフィールドが高品質フォーマット情報を構成する場合、このスケーラブル・リンケージ・デスクリプタの「nuh_layer_id」のフィールドも同様の情報を構成することになる。
図１９（ａ）は、ＮＡＬユニットのヘッダの「nuh_layer_id」の値を符号化成分によって固定とする場合における各フィールドの値の一例を示している。この場合、ＮＡＬユニットのヘッダの「nuh_layer_id」のフィールドは、高品質フォーマット情報を構成する。この場合には、スケーラブル・リンケージ・デスクリプタの「nuh_layer_id」のフィールドも、高品質フォーマット情報を構成する。この場合、スケーラブル・リンケージ・デスクリプタの「scalable_index」の値は、拡張ビデオストリームの符号化画像データに対応した高品質フォーマットを表してはいない。
図１９（ｂ）は、ＮＡＬユニットのヘッダの「nuh_layer_id」の値をフレキシブルに割り当てる場合における各フィールドの値の一例を示している。この場合、ＮＡＬユニットのヘッダの「nuh_layer_id」のフィールドは、高品質フォーマット情報を構成しない。この場合、スケーラブル・リンケージＳＥＩメッセージの「scalable_index」のフィールドが、高品質フォーマット情報を構成する。この場合には、スケーラブル・リンケージ・デスクリプタの「scalable_index」のフィールドも、高品質フォーマット情報を構成する。なお、図示していないが、このスケーラブル・リンケージ・デスクリプタに、上述したスケーラブル・リンケージＳＥＩメッセージ（図９参照）と同様に、予測変換情報（ダイナミックレンジ変換情報）を含めることも考えられる。
[トランスポートストリームＴＳの構成]
図２０は、トランスポートストリームＴＳの構成例を示している。このトランスポートストリームＴＳには、基本ビデオストリームＢＳと拡張ビデオストリームＥＳが含まれている。この構成例では、各ビデオストリームのＰＥＳパケット「video PES」が存在する。
基本ビデオストリームＢＳのパケット識別子（ＰＩＤ）は例えばＰＩＤ１とされている。この基本ビデオストリームＢＳには、基本フォーマット画像データの各ピクチャの符号化画像データが含まれている。この符号化画像データには、ＡＵＤ、ＶＰＳ、ＳＰＳ、ＰＰＳ、ＰＳＥＩ、ＳＬＩＣＥ、ＳＳＥＩ、ＥＯＳなどのＮＡＬユニットが存在する。
また、拡張ビデオストリームＥＳのパケット識別子（ＰＩＤ）は例えばＰＩＤ２とされている。この拡張ビデオストリームＥＳには、高品質フォーマット画像データの各ピクチャの符号化画像データが含まれている。この符号化画像データには、ＡＵＤ、ＳＰＳ、ＰＰＳ、ＰＳＥＩ、ＳＬＩＣＥ、ＳＳＥＩ、ＥＯＳなどのＮＡＬユニットが存在する。
例えば、ＮＡＬユニットのヘッダの「nuh_layer_id」の値が符号化成分によって固定とされることで、この「nuh_layer_id」のフィールドは、高品質フォーマット情報を構成する。一方、ＮＡＬユニットのヘッダの「nuh_layer_id」の値がフレキシブルに割り当てられる場合、高品質フォーマット情報を構成する「scalable_index」のフィールドを持つスケーラブル・リンケージＳＥＩメッセージ（図９参照）が、アクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に挿入される。
また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。
ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・ループ（Program loop）が存在する。また、ＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリストリームループが存在する。
この構成例では、基本ビデオストリームＢＳと拡張ビデオストリームＥＳにそれぞれ対応したビデオエレメンタリストリームループ（video ES loop）が存在する。基本ビデオストリームＢＳに対応したビデオエレメンタリストリームループには、ストリームタイプ（ST0）、パケット識別子（PID1）等の情報が配置されると共に、この拡張ビデオストリームＥＳに関連する情報を記述するデスクリプタも配置される。
また、拡張ビデオストリームＥＳに対応したビデオエレメンタリストリームループには、ストリームタイプ（ST1）、パケット識別子（PID2）等の情報が配置されると共に、この拡張ビデオストリームＥＳに関連する情報を記述するデスクリプタも配置される。このデスクリプタの一つとして、上述したスケーラブル・リンケージ・デスクリプタ（図１８参照）が配置される。
図２に示す送信装置１００の動作を簡単に説明する。フレーム周波数が５０ＨｚのＳＤＲ画像データである基本フォーマット画像データＶｂは、光電変換部１０２に供給される。この光電変換部１０２では、基本フォーマット画像データＶｂに対して、ＳＤＲ光電変換特性（ＳＤＲ ＯＥＴＦカーブ）が適用されて、伝送用の基本フォーマット画像データＶｂ´が得られる。この基本フォーマット画像データＶｂ´は、ＲＧＢ/ＹＣｂＣｒ変換部１０３によりＲＧＢドメインからＹＣｂＣｒ（輝度・色差）ドメインに変換された後に、ビデオエンコーダ１０６のエンコード部１０６ｂ，１０６ｅに供給される。
また、高品質フォーマット画像データＶｅは、光電変換部１０４に供給される。高品質フォーマット画像データＶｅは、（ａ）フレーム周波数が１００ＨｚのＨＤＲ画像データ、（ｂ）フレーム周波数が５０ＨｚのＨＤＲ画像データ、あるいは（ｃ）フレーム周波数が１００ＨｚのＳＤＲ画像データのいずれかである。
光電変換部１０４では、高品質フォーマット画像データＶｅに対して、ＨＤＲ光電変換特性（ＨＤＲ ＯＥＴＦカーブ）あるいはＳＤＲ光電変換特性（ＳＤＲ ＯＥＴＦカーブ）が適用されて、伝送用の高品質フォーマット画像データＶｅ´が得られる。この高品質フォーマット画像データＶｅ´は、ＲＧＢ/ＹＣｂＣｒ変換部１０５によりＲＧＢドメインからＹＣｂＣｒ（輝度・色差）ドメインに変換された後に、ビデオエンコーダ１０６のエンコード部１０６ｅに供給される。
エンコード部１０６ｂでは、伝送用の基本フォーマット画像データＶｂ´に対してＨ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの予測符号化処理が施されて符号化画像データが得られ、この符号化ビデオデータを含む基本ビデオストリーム（ビデオエレメンタリストリーム）ＢＳが生成される。この基本ビデオストリームＢＳは、システムエンコーダ１０７に供給される。
エンコード部１０６ｅでは、伝送用の高品質フォーマット画像データＶｅ´に対してＨ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの予測符号化処理が施されて符号化画像データが得られ、この符号化ビデオデータを含む拡張ビデオストリーム（ビデオエレメンタリストリーム）ＥＳが生成される。この場合、エンコード部１０６ｅでは、予測残差を小さくするために、符号化ブロック毎に、画像データＶｅ´内の予測、または画像データＶｂ´との間の予測が、選択的に行われる。
エンコード部１０６ｅでは、拡張ビデオストリームＥＳに、高品質フォーマット情報が挿入される。例えば、この情報は、ＮＡＬユニットのヘッダに挿入される。この場合、「nuh_layer_id」（図６参照）の値が符号化画像データに含まれる符号化成分の種類によって固定とされる。また、例えば、この情報は、ＳＥＩ ＮＡＬユニットの領域に挿入される。この場合、アクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に新規定義するスケーラブル・リンケージＳＥＩメッセージ（図９参照）が挿入される。
システムエンコーダ１０７では、ビデオエンコーダ１０６で生成された基本ビデオストリームＢＳおよび拡張ビデオストリームＥＳに対してＰＥＳパケット化およびＴＳパケット化が施されて、トランスポートストリームＴＳが生成される。このとき、システムエンコーダ１０７では、コンテナとしてのトランスポートストリームＴＳに、高品質フォーマット情報が挿入される。すなわち、ＰＭＴの配下に存在する拡張ビデオストリームに対応したビデオエレメンタリストリームループ中に、新規定義するスケーラブル・リンケージ・デスクリプタ（図１８参照）が配置される。
システムエンコーダ１０７で生成されるトランスポートストリームＴＳは、送信部１０８に送られる。送信部１０８では、このトランスポートストリームＴＳが、放送波あるいはネットのパケットに載せて、受信装置２００に送信される。
「受信装置の構成」
図２１は、受信装置２００の構成例を示している。この受信装置２００は、図２の送信装置１００の構成例に対応したものである。この受信装置２００は、制御部２０１と、受信部２０２と、システムデコーダ２０３と、ビデオデコーダ２０４と、ＹＣｂＣｒ/ＲＧＢ変換部１０５と、電光変換部２０６と、ＹＣｂＣｒ/ＲＧＢ変換部２０７と、電光変換部２０８と、表示部２０９を有している。
制御部２０１は、ＣＰＵ（Central Processing Unit）を備えて構成され、制御プログラムに基づいて、受信装置２００の各部の動作を制御する。受信部２０２は、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳを受信する。システムデコーダ２０３は、このトランスポートストリームＴＳから、基本ビデオストリームＢＳと拡張ビデオストリームＥＳを抽出する。
また、システムデコーダ２０３は、コンテナとしてのトランスポートストリームＴＳに挿入されている種々の情報を抽出し、制御部２０１に送る。この情報には、上述した、スケーラブル・リンケージ・デスクリプタ（図１８参照）も含まれる。制御部２０１は、このデスクリプタの「nuh_layer_id」のフィールド、あるいは「scalable_index」のフィールドに基づいて、拡張ビデオストリームＥＳの符号化画像データに含まれている符号化成分の種類を認識する。すなわち、制御部２０１は、ＨＤＲでＨＦＲの符号化成分が含まれるか、ＨＤＲでＬＦＲの符号化成分が含まれるか、あるいはＳＤＲでＨＦＲの符号化成分が含まれるかを認識し、受信・表示システムの構成によってデコード対象を選択する。
ビデオデコーダ２０４は、デコード部２０４ｂおよびデコード部２０４ｅを有する。デコード部２０４ｂは、基本ビデオストリームＢＳに対してデコード処理を施して、基本フォーマット画像データＶｂ´を生成する。この場合、デコード部２０４ｂは、画像データＶｂ´内で予測補償を行う。
デコード部２０４ｅは、拡張ビデオストリームＥＳに対してデコード処理を施して、高品質フォーマット画像データＶｅ´を生成する。この場合、デコード部２０４eは、符号化時における予測に対応させて、符号化ブロック毎に、画像データＶｅ´内の予測補償、または画像データＶｂ´との間の予測補償を行う。
図２２は、デコード部２０４ｅの主要部の構成例を示している。このデコード部２０４ｅは、図４のエンコード部１０６ｅの処理とは逆の処理を行う。このデコード部２０４ｅは、デコード機能部２４１と、レイヤ内予測補償部２４２と、レイヤ間予測補償部２４３と、予測調整部２４４と、選択部２４５を有している。
デコード機能部２４１は、符号化画像データＣＶに対して、予測補償以外のデコード処理を行って予測残差データを得る。レイヤ内予測補償部２４２は、予測残差データに対して、画像データＶ１内での予測補償（レイヤ内予測補償）を行って、画像データＶ１を得る。レイヤ間予測補償部２４３は、予測残差データに対して、参照対象の画像データＶ２との間での予測補償（レイヤ間予測補償）を行って、画像データＶ１を得る。
予測調整部２４４は、詳細説明は省略するが、図４のエンコード部１０６ｅの予測調整部１６３と同様に、画像データＶ１の、画像データＶ２に対するスケーラブル拡張のタイプに応じた処理を行う。選択部２４５は、符号化時における予測に対応させて、符号化ブロック毎に、レイヤ内予測補償部２４２で得られる画像データＶ１、またはレイヤ間予測補償部２４３で得られる画像データＶ１を選択的に取り出して、出力とする。
図２１に戻って、デコード部２０４ｅは、拡張ビデオストリームＥＳを構成する各アクセスユニットに挿入されているパラメータセットやＳＥＩメッセージなどを抽出し、制御部２０１に送る。制御部２０１は、ＮＡＬユニットのヘッダの「nuh_layer_id」のフィールド、あるいはスケーラブル・リンケージＳＥＩメッセージの「scalable_index」のフィールドから、拡張ビデオストリームＥＳの符号化画像データが対応する高品質フォーマットを認識する。
上述したように、制御部２０１は、スケーラブル・リンケージ・デスクリプタの「nuh_layer_id」のフィールド、あるいは「scalable_index」のフィールドによっても、拡張ビデオストリームＥＳの符号化画像データに含まれている符号化成分の種類を認識する。しかし、デスクリプタのようなコンテナレベルの識別情報は、ビデオのフレーム単位の動的な変化に追従できない。ＮＡＬユニットのヘッダの「nuh_layer_id」のフィールド、あるいはスケーラブル・リンケージＳＥＩメッセージの「scalable_index」のフィールドから拡張ビデオストリームＥＳの符号化画像データに含まれている符号化成分の種類を認識することで、フレーム単位の動的な変化に追従できる。
また、制御部２０１は、スケーラブル・リンケージＳＥＩメッセージの「scalable_index」のフィールドから、予測調整のための変換テーブル情報を認識する。制御部２０１は、当該変換テーブルを予測調整部２４４に設定する。これにより、予測調整部２４４において、送信側における予測調整部１６３と同様のレベル調整（ダイナミックレンジ変換）を確実に行わせることが可能となる。
ＹＣｂＣｒ/ＲＧＢ変換部１０５は、デコード部２０４ｂで得られる基本フォーマット画像データＶｂ´を、ＹＣｂＣｒ（輝度・色差）ドメインからＲＧＢドメインに変換する。電光変換部２０６は、ＲＧＢドメインに変換された基本フォーマット画像データＶｂ´に、上述した送信装置１００における光電変換部１０２とは逆特性の電光変換を施し、基本フォーマット画像データＶｂを得る。この基本フォーマット画像データは、フレーム周波数が５０ＨｚのＳＤＲ画像データである。
ＹＣｂＣｒ/ＲＧＢ変換部２０７は、デコード部２０４ｅで得られる高品質フォーマット画像データＶｅ´を、ＹＣｂＣｒ（輝度・色差）ドメインからＲＧＢドメインに変換する。電光変換部２０８は、ＲＧＢドメインに変換された高品質フォーマット画像データＶｅ´に、上述した送信装置１００における光電変換部１０４とは逆特性の電光変換を施し、高品質フォーマット画像データＶｅを得る。
この高品質フォーマット画像データは、（ａ）フレーム周波数が１００Ｈｚ（ＨＦＲ：ハイフレームレート）であるＨＤＲ画像データ、（ｂ）フレーム周波数が５０Ｈｚ（ＬＦＲ）であるＨＤＲ画像データ、あるいは（ｃ）フレーム周波数が１００Ｈｚ（ＨＦＲ）であるＳＤＲ画像データのいずれかである。
表示部２０９は、例えば、ＬＣＤ(Liquid Crystal Display)、有機ＥＬ（Organic Electro-Luminescence）パネル等で構成されている。表示部２０９は、表示能力に応じて、基本フォーマット画像データＶｂ、高品質フォーマット画像データＶｅのいずれかによる画像を表示する。
この場合、制御部２０１は、表示部２０９に供給すべき画像データ、つまり表示用画像データとして得られる画像データを制御する。この制御は、拡張ビデオストリームＥＳの符号化画像データが対応する高品質フォーマットの情報、従って高品質フォーマット画像データＶｅの高品質フォーマットの情報と、表示部２０９の表示能力情報に基づいて、行われる。
すなわち、表示部２０９が高品質フォーマット画像データＶｅによる画像表示が不可能である場合には、表示部２０９に基本フォーマット画像データＶｂが供給されるように制御する。一方、表示部２０９が高品質フォーマット画像データＶｅによる画像表示が可能である場合には、表示部２０９に高品質フォーマット画像データＶｅが供給されるように制御する。
図２１に示す受信装置２００の動作を簡単に説明する。受信部２０２では、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳが受信される。このトランスポートストリームＴＳは、システムデコーダ２０３に供給される。システムデコーダ２０３では、このトランスポートストリームＴＳから基本ビデオストリームＢＳと拡張ビデオストリームＥＳが抽出される。基本ビデオストリームＢＳは、デコード部２０４ｂに供給される。拡張ビデオストリームＥＳは、デコード部２０４ｅに供給される。
また、システムデコーダ２０３では、コンテナとしてのトランスポートストリームＴＳに挿入されている種々の情報が抽出され、制御部２０１に送られる。この情報には、スケーラブル・リンケージ・デスクリプタ（図１８参照）も含まれる。制御部２０１では、このデスクリプタの「nuh_layer_id」のフィールド、あるいは「scalable_index」のフィールドに基づいて、拡張ビデオストリームＥＳの符号化画像データが対応する高品質フォーマットが認識される。
デコード部２０４ｂでは、基本ビデオストリームＢＳに対してデコード処理が施されて、基本フォーマット画像データＶｂ´が生成される。この場合、デコード部２０４ｂでは、画像データＶｂ´内で予測補償が行われる。デコード部２０４ｅでは、拡張ビデオストリームＥＳに対してデコード処理が施されて、高品質フォーマット画像データＶｅ´が生成される。この場合、デコード部２０４eでは、符号化時における予測に対応させて、符号化ブロック毎に、画像データＶｅ´内の予測補償、または画像データＶｂ´との間の予測補償が行われる。
また、デコード部２０４ｅでは、拡張ビデオストリームＥＳを構成する各アクセスユニットに挿入されているパラメータセットやＳＥＩメッセージなどが抽出され、制御部２０１に送られる。制御部２０１では、ＮＡＬユニットのヘッダの「nuh_layer_id」のフィールド、あるいはスケーラブル・リンケージＳＥＩメッセージの「scalable_index」のフィールドから、拡張ビデオストリームＥＳの符号化画像データが対応する高品質フォーマットが、フレーム単位で認識される。
デコード部２０４ｂで得られる基本フォーマット画像データＶｂ´は、ＹＣｂＣｒ/ＲＧＢ変換部２０５でＹＣｂＣｒ（輝度・色差）ドメインからＲＧＢドメインに変換されて、電光変換部２０６に供給される。電光変換部２０６では、ＲＧＢドメインに変換された基本フォーマット画像データＶｂ´に、送信装置１００における光電変換とは逆特性の電光変換が施されて、基本フォーマット画像データＶｂが得られる。
デコード部２０４ｅで得られる高品質フォーマット画像データＶｅ´は、ＹＣｂＣｒ/ＲＧＢ変換部２０７でＹＣｂＣｒ（輝度・色差）ドメインからＲＧＢドメインに変換されて、電光変換部２０８に供給される。電光変換部２０８では、ＲＧＢドメインに変換された高品質フォーマット画像データＶｅ´に、送信装置１００における光電変換とは逆特性の電光変換が施されて、高品質フォーマット画像データＶｅが得られる。
制御部２０１により、表示部２０９に供給すべき画像データ（表示用画像データ）が制御される。この制御は、拡張ビデオストリームＥＳの符号化画像データが対応する高品質フォーマットの情報、従って高品質フォーマット画像データＶｅの高品質フォーマットの情報と、表示部２０９の表示能力情報に基づいて、行われる。
表示部２０９が高品質フォーマット画像データＶｅによる画像表示が不可能である場合には、表示部２０９に基本フォーマット画像データＶｂが供給される。これにより、表示部２０９には、基本フォーマット（５０Ｈで通常ダイナミックレンジ）の画像が表示される。一方、表示部２０９が高品質フォーマット画像データＶｅによる画像表示が可能である場合には、表示部２０９に高品質フォーマット画像データＶｅが供給される。これにより、表示部２０９には、高品質フォーマットの画像が表示される。
以上説明したように、図１に示す送受信システム１０においては、拡張ビデオストリームの符号化画像データが対応する高品質フォーマットを表す情報（高品質フォーマット情報）が拡張ビデオストリームおよび/またはコンテナに挿入されるものである。そのため、受信側では、高品質フォーマット画像データの高品質フォーマットを容易に認識可能となる。そして、受信側では、この情報および表示能力情報に基づいて、基本フォーマット画像データＶｂまたは高品質フォーマット画像データＶｅを表示用画像データとして選択して、表示能力にあった画像表示を容易に行い得る。
＜２．変形例＞
なお、上述実施の形態においては、送信装置１００と受信装置２００とからなる送受信システム１０を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、受信装置２００の部分が、ＨＤＭＩ（High-Definition Multimedia Interface）などのデジタルインタフェースで接続されたセットトップボックスおよびモニタの構成などであってもよい。この場合、セットトップボックスは、モニタからＥＤＩＤ（Extended display identification data）を取得する等して表示能力情報を得ることができる。なお、「ＨＤＭＩ」は、登録商標である。
また、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、ＭＰ４やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）、あるいは次世代トランスポートのＭＭＴ（ＭＰＥＧ Ｍｅｄｉａ Ｔｒａｎｓｐｏｔ）、インターネット配信で使用されているＭＰ４などの種々のフォーマットのコンテナが該当する。
また、本技術は、以下のような構成を取ることもできる。
（１）基本フォーマット画像データの符号化画像データを持つ基本ビデオストリームと、複数種類の中から選択された一つの種類の高品質フォーマットの画像データの符号化画像データを持つ拡張ビデオストリームの２つのビデオストリームを生成する画像符号化部と、
上記基本ビデオストリームおよび上記拡張ビデオストリームを含む所定フォーマットのコンテナを送信する送信部と、
上記拡張ビデオストリームおよび/またはコンテナに、上記ビデオストリームが持つ符号化画像データが対応する高品質フォーマットを表す情報を挿入する情報挿入部を備える
送信装置。
（２）上記画像符号化部は、
上記基本フォーマット画像データに関しては、該基本フォーマット画像データ内の予測符号化処理を行って符号化画像データを得、
上記高品質フォーマット画像データに関しては、該高品質フォーマット画像データ内の予測符号化処理または上記基本フォーマット画像データとの間の予測符号化処理を選択的に行って符号化画像データを得る
前記（１）に記載の送信装置。
（３）上記基本フォーマット画像データは、通常ダイナミックレンジおよびローフレームレートの画像データであり、
上記高品質フォーマット画像データは、ハイダイナミックレンジおよびハイフレームレートの画像データ、ハイダイナミックレンジおよびローフレームレートの画像データ、または通常ダイナミックレンジおよびハイフレームレートの画像データのいずれかであり、
上記高品質フォーマット画像データの符号化画像データは、通常ダイナミックレンジ画像データに対する差分情報によるハイダイナミックレンジ画像データの符号化成分および/またはローフレームレート画像データに対する差分情報によるハイフレームレート画像データの符号化成分を持つ
前記（２）に記載の送信装置。
（４）上記画像符号化部は、
上記通常ダイナミックレンジ画像データに対する差分情報を求めるとき、差分値を小さくするために上記通常ダイナミックレンジ画像データにダイナミックレンジ変換を行う
前記（３）に記載の送信装置。
（５）上記画像符号化部は、
上記通常ダイナミックレンジ画像データに、通常ダイナミックレンジ光電変換特性による変換データの値をハイダイナミックレンジ光電変換特性による変換データの値に変換するための変換情報に基づいて、上記ダイナミックレンジ変換を行う
前記（４）に記載の送信装置。
（６）上記情報挿入部は、
上記拡張ビデオストリームおよび/またはコンテナに、上記変換情報をさらに挿入する
前記（５）に記載の送信装置。
（７）上記画像符号化部は、
上記拡張ビデオストリームに含まれる各ピクチャの符号化画像データに付加されるデコードタイムスタンプが示す時刻を、上記基本ビデオストリームに含まれる各ピクチャの符号化画像データに付加されるデコードタイムスタンプが示す時刻と同じか中間とし、
上記基本ビデオストリームに含まれる各ピクチャの符号化画像データに付加されるデコードタイムスタンプが示す時刻の間隔を均等とし、
上記拡張ビデオストリームに含まれる各ピクチャの符号化画像データに付加されるデコードタイムスタンプが示す時刻の間隔を均等とする
前記（１）から（６）のいずれかに記載の送信装置。
（８）上記拡張ビデオストリームはＮＡＬユニット構造を有し、
上記情報挿入部は、上記拡張ビデオストリームが持つ符号化画像データが対応する高品質フォーマットを表す情報を、上記ＮＡＬユニットのヘッダに挿入する
前記（１）から（７）のいずれかに記載の送信装置。
（９）上記拡張ビデオストリームはＮＡＬユニット構造を有し、
上記情報挿入部は、上記拡張ビデオストリームが持つ符号化画像データが対応する高品質フォーマットを表す情報を、ＳＥＩ ＮＡＬユニットの領域に挿入する
前記（１）から（７）のいずれかに記載の送信装置。
（１０）上記コンテナはＭＰＥＧ２−ＴＳであり、
上記情報挿入部は、上記拡張ビデオストリームが持つ符号化画像データが対応する高品質フォーマットを表す情報を、プログラムマップテーブルの配下に存在する上記拡張ビデオストリームに対応したビデオエレメンタリストリームループ内に挿入する
前記（１）から（９）のいずれかに記載の送信装置。
（１１）基本フォーマット画像データの符号化画像データを持つ基本ビデオストリームと、複数種類の中から選択された一つの高品質フォーマットの画像データの符号化画像データを持つ拡張ビデオストリームの２つのビデオストリームを生成する画像符号化ステップと、
送信部により、上記基本ビデオストリームおよび上記拡張ビデオストリームを含む所定フォーマットのコンテナを送信する送信ステップと、
上記拡張ビデオストリームおよび/またはコンテナに、上記高品質フォーマット画像データの符号化画像データが対応する高品質フォーマットを表す情報を挿入する情報挿入ステップを有する
送信方法。
（１２）基本フォーマット画像データの符号化画像データを持つ基本ビデオストリームと、複数種類の中から選択された一つの高品質フォーマットの画像データの符号化画像データを持つ拡張ビデオストリームの２つのビデオストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記拡張ビデオストリームおよび/またはコンテナに、上記高品質フォーマット画像データの符号化画像データが対応する高品質フォーマットを表す情報が挿入されており、
上記拡張ビデオストリームおよび/またはコンテナから上記情報を抽出する情報抽出部と、
上記抽出された情報および表示能力情報に基づいて、上記基本ビデオストリームおよび上記拡張ビデオストリームから表示能力に対応した画像データを表示用画像データとして得る処理部をさらに備える
受信装置。
（１３）上記基本ビデオストリームに含まれる符号化画像データは、上記基本フォーマット画像データに対して、該基本フォーマット画像データ内の予測符号化処理が行われて生成されており、
上記拡張ビデオストリームに含まれる符号化画像データは、上記高品質フォーマット画像データに対して、該高品質フォーマット画像データ内の予測符号化処理または上記基本フォーマット画像データとの間の予測符号化処理が選択的に行われて生成されている
前記（１２）に記載の受信装置。
（１４）受信部により、基本フォーマット画像データの符号化画像データを持つ基本ビデオストリームと、複数種類の中から選択された一つの高品質フォーマットの画像データの符号化画像データを持つ拡張ビデオストリームの２つのビデオストリームを含む所定フォーマットのコンテナを受信する受信ステップを有し、
上記拡張ビデオストリームおよび/またはコンテナに、上記高品質フォーマット画像データの符号化画像データが対応する高品質フォーマットを表す情報が挿入されており、
上記拡張ビデオストリームおよび/またはコンテナから上記情報を抽出する情報抽出ステップと、
上記抽出された情報および表示能力情報に基づいて、上記基本ビデオストリームおよび上記拡張ビデオストリームから表示能力に対応した画像データを表示用画像データとして得る処理ステップをさらに有する
受信方法。
本技術の主な特徴は、拡張ビデオストリームが持つ符号化画像データが対応する高品質フォーマットを表す情報を拡張ビデオストリームおよび/またはコンテナに挿入することで、受信側において拡張ビデオストリームが持つ符号化画像データが対応する高品質フォーマットを容易に認識可能としたことである（図２０参照）。
１０・・・送受信システム
１００・・・送信装置
１０１・・・制御部
１０２，１０４・・・光電変換部
１０３，１０５・・・ＲＧＢ/ＹＣｂＣＲ変換部
１０６・・・ビデオエンコーダ
１０６ｂ，１０６ｅ・・・エンコード部
１０７・・・システムエンコーダ
１０８・・・送信部
１５０・・・画像データ生成部
１５１・・・カメラ
１５２・・・変換部
１６１・・・レイヤ内予測部
１６２・・・レイヤ間予測部
１６３・・・予測調整部
１６４・・・選択部
１６５・・・エンコード機能部
２００・・・受信装置
２０１・・・制御部
２０２・・・受信部
２０３・・・システムデコーダ
２０４・・・ビデオデコーダ
２０４ｂ，２０４ｅ・・・デコード部
２０５，２０７・・・ＹＣｂＣｒ/ＲＧＢ変換部
２０６，２０８・・・電光変換部
２０９・・・表示部
２４１・・・デコード機能部
２４２・・・レイヤ内予測補償部
２４３・・・レイヤ間予測補償部
２４４・・・予測調整部
２４５・・・選択部

Claims (2)

  1. 基本フォーマット画像データの符号化画像データを持つ基本ビデオストリームとハイフレームレート画像データの符号化画像データを持つ拡張ビデオストリームの２つのビデオストリームを生成する画像符号化ステップと、
    送信部により、上記基本ビデオストリームおよび上記拡張ビデオストリームを含む所定フォーマットのコンテナを送信する送信ステップを有し、
    上記画像符号化ステップでは、
    上記基本ビデオストリームに含まれる各ピクチャの符号化画像データに付加されるデコードタイムスタンプが示す時刻の間隔を、基本ビデオストリームのフレームレートに対応する間隔とし、
    上記拡張ビデオストリームに含まれる各ピクチャの符号化画像データに付加されるデコードタイムスタンプが示す時刻を、上記基本ビデオストリームに含まれる各ピクチャの符号化画像データに付加されるデコードタイムスタンプが示す時刻の中間とする
    送信方法。
  2. 基本フォーマット画像データの符号化画像データを持つ基本ビデオストリームとハイフレームレート画像データの符号化画像データを持つ拡張ビデオストリームの２つのビデオストリームを生成する画像符号化部と、
    上記基本ビデオストリームおよび上記拡張ビデオストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
    上記画像符号化部は、
    上記基本ビデオストリームに含まれる各ピクチャの符号化画像データに付加されるデコードタイムスタンプが示す時刻の間隔を、基本ビデオストリームのフレームレートに対応する間隔とし、
    上記拡張ビデオストリームに含まれる各ピクチャの符号化画像データに付加されるデコードタイムスタンプが示す時刻を、上記基本ビデオストリームに含まれる各ピクチャの符号化画像データに付加されるデコードタイムスタンプが示す時刻の中間とする
    送信装置。
JP2021084808A 2015-02-27 2021-05-19 送信方法および送信装置 Active JP7095776B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022100026A JP7375857B2 (ja) 2015-02-27 2022-06-22 受信装置
JP2023183042A JP2024012367A (ja) 2015-02-27 2023-10-25 送信方法および送信装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015039234 2015-02-27
JP2015039234 2015-02-27
JP2020109360A JP6888717B2 (ja) 2015-02-27 2020-06-25 送信方法および送信装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020109360A Division JP6888717B2 (ja) 2015-02-27 2020-06-25 送信方法および送信装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022100026A Division JP7375857B2 (ja) 2015-02-27 2022-06-22 受信装置

Publications (2)

Publication Number Publication Date
JP2021132398A true JP2021132398A (ja) 2021-09-09
JP7095776B2 JP7095776B2 (ja) 2022-07-05

Family

ID=56788434

Family Applications (5)

Application Number Title Priority Date Filing Date
JP2017502052A Active JP6729548B2 (ja) 2015-02-27 2016-02-10 送信装置、送信方法、受信装置および受信方法
JP2020109360A Active JP6888717B2 (ja) 2015-02-27 2020-06-25 送信方法および送信装置
JP2021084808A Active JP7095776B2 (ja) 2015-02-27 2021-05-19 送信方法および送信装置
JP2022100026A Active JP7375857B2 (ja) 2015-02-27 2022-06-22 受信装置
JP2023183042A Pending JP2024012367A (ja) 2015-02-27 2023-10-25 送信方法および送信装置

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2017502052A Active JP6729548B2 (ja) 2015-02-27 2016-02-10 送信装置、送信方法、受信装置および受信方法
JP2020109360A Active JP6888717B2 (ja) 2015-02-27 2020-06-25 送信方法および送信装置

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2022100026A Active JP7375857B2 (ja) 2015-02-27 2022-06-22 受信装置
JP2023183042A Pending JP2024012367A (ja) 2015-02-27 2023-10-25 送信方法および送信装置

Country Status (7)

Country Link
US (3) US10791364B2 (ja)
EP (2) EP3264775B1 (ja)
JP (5) JP6729548B2 (ja)
KR (1) KR102423610B1 (ja)
CN (2) CN107431833B (ja)
BR (1) BR112017017792A2 (ja)
WO (1) WO2016136470A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6538324B2 (ja) * 2013-10-18 2019-07-03 パナソニック株式会社 画像符号化方法および画像符号化装置
US10609395B2 (en) * 2015-07-28 2020-03-31 Vid Scale, Inc. High dynamic range video coding architectures with multiple operating modes
US10687080B2 (en) * 2015-08-28 2020-06-16 Arris Enterprises Llc Color volume transforms in coding of high dynamic range and wide color gamut sequences
WO2018070822A1 (ko) * 2016-10-14 2018-04-19 엘지전자 주식회사 적응적 영상 재생을 위한 데이터 처리 방법 및 장치
JP6545205B2 (ja) * 2017-02-06 2019-07-17 セコム株式会社 データ配信システム及びデータ配信方法
JP7026450B2 (ja) 2017-04-24 2022-02-28 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法
JP6982990B2 (ja) 2017-06-19 2021-12-17 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法
EP3439308A1 (en) * 2017-07-31 2019-02-06 Zhilabs S.L. Determination of qoe in encrypted video streams using supervised learning
US11284134B2 (en) 2018-08-08 2022-03-22 Comcast Cable Communications, Llc Media content enhancement based on content importance
WO2020214899A1 (en) * 2019-04-19 2020-10-22 Beijing Dajia Internet Information Technology Co., Ltd. Supplemental enhancement information message for embedded image
CN115398898A (zh) 2020-03-30 2022-11-25 字节跳动有限公司 视频编解码中的条带类型
US20240193177A1 (en) * 2022-12-09 2024-06-13 Dell Products L.P. Data storage transformation system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012054800A (ja) * 2010-09-02 2012-03-15 Hitachi Consumer Electronics Co Ltd 映像送信装置
JP2013511201A (ja) * 2009-11-13 2013-03-28 サムスン エレクトロニクス カンパニー リミテッド データ伝送方法及び装置
JP2015005977A (ja) * 2013-06-18 2015-01-08 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信方法および受信方法
JP2015005976A (ja) * 2013-06-18 2015-01-08 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信方法
JP2015080203A (ja) * 2013-10-18 2015-04-23 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置

Family Cites Families (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9400101D0 (en) * 1994-01-05 1994-03-02 Thomson Consumer Electronics Consumer interface for a satellite television system
CN1259790C (zh) * 2003-10-24 2006-06-14 清华大学 一种用于跨网段传输视频码流的容错转码控制方法
JP2005142654A (ja) * 2003-11-04 2005-06-02 Matsushita Electric Ind Co Ltd 映像送信装置および映像受信装置
CA2604203A1 (en) * 2005-04-13 2006-10-19 Nokia Corporation Coding, storage and signalling of scalability information
US8483078B2 (en) * 2005-05-12 2013-07-09 Cisco Technology, Inc. Digital program management
JP2008543142A (ja) 2005-05-24 2008-11-27 ノキア コーポレイション デジタル放送における階層的な送受信のための方法および装置
US8194997B2 (en) 2006-03-24 2012-06-05 Sharp Laboratories Of America, Inc. Methods and systems for tone mapping messaging
KR20070120320A (ko) * 2006-06-19 2007-12-24 엘지.필립스 엘시디 주식회사 액정표시장치 제조방법 및 이를 위한 대면적 기판
AU2007342468B2 (en) * 2007-01-05 2011-11-24 Interdigital Vc Holdings, Inc. Hypothetical reference decoder for scalable video coding
US20080181298A1 (en) * 2007-01-26 2008-07-31 Apple Computer, Inc. Hybrid scalable coding
KR101094441B1 (ko) * 2007-06-20 2011-12-20 한국전자통신연구원 디지털 방송 신호의 전송 방법, 전송 장치, 수신 방법 및수신 장치
WO2009078810A1 (en) 2007-12-19 2009-06-25 Linda Seah Contact-less and dual interface inlays and methods for producing the same
EP2245770A1 (en) * 2008-01-23 2010-11-03 LiveU Ltd. Live uplink transmissions and broadcasting management system and method
EP3073746A1 (en) * 2009-02-03 2016-09-28 Electronics and Telecommunications Research Institute Transmission method, transmission apparatus, reception method, and reception apparatus for a digital multimedia broadcasting service
EA024522B1 (ru) * 2009-04-08 2016-09-30 Шарп Кабусики Кайся Устройство и способ кодирования видеокадров и устройство и способ декодирования видеокадров
CA2758903C (en) * 2009-04-27 2016-10-11 Lg Electronics Inc. Broadcast receiver and 3d video data processing method thereof
US8780999B2 (en) * 2009-06-12 2014-07-15 Qualcomm Incorporated Assembling multiview video coding sub-BITSTREAMS in MPEG-2 systems
US10410222B2 (en) * 2009-07-23 2019-09-10 DISH Technologies L.L.C. Messaging service for providing updates for multimedia content of a live event delivered over the internet
KR101144752B1 (ko) * 2009-08-05 2012-05-09 경희대학교 산학협력단 비디오 인코딩/디코딩 방법 및 그 장치
CN102388539B (zh) * 2010-02-10 2015-04-01 松下电器产业株式会社 发送装置、接收装置、发送方法及接收方法
RU2576484C2 (ru) * 2010-03-03 2016-03-10 Конинклейке Филипс Электроникс Н.В. Устройства и способы для определения цветовых режимов
KR20120012301A (ko) * 2010-07-30 2012-02-09 삼성전자주식회사 디지털 방송에서의 확장 방송 서비스 송수신 방법 및 장치
GB2491574B (en) * 2011-06-02 2013-11-20 Nds Ltd Content insertion in adaptive streams
US9277217B2 (en) * 2011-02-16 2016-03-01 Panasonic Intellectual Property Management Co., Ltd. Video coding device for coding videos of a plurality of qualities to generate streams and video playback device for playing back streams
ES2750234T3 (es) * 2011-04-14 2020-03-25 Dolby Laboratories Licensing Corp Predictor de regresión múltiple de múltiples canales de color
US9292940B2 (en) * 2011-04-28 2016-03-22 Koninklijke Philips N.V. Method and apparatus for generating an image coding signal
WO2012155119A1 (en) * 2011-05-11 2012-11-15 Pelican Imaging Corporation Systems and methods for transmitting and receiving array camera image data
US9160779B2 (en) * 2011-06-30 2015-10-13 Qualcomm Incorporated Dynamic adaptive streaming proxy for unicast or broadcast/multicast services
US8743496B2 (en) 2011-07-06 2014-06-03 HGST Netherlands B.V. Servo pattern compatible with planarization constraints of patterned media and use of a single master template
US9445136B2 (en) * 2011-09-21 2016-09-13 Qualcomm Incorporated Signaling characteristics of segments for network streaming of media data
KR101579831B1 (ko) * 2011-10-20 2015-12-23 돌비 레버러토리즈 라이쎈싱 코오포레이션 비디오 등화를 위한 방법 및 시스템
US20140344470A1 (en) * 2011-11-23 2014-11-20 Electronics And Telecommunications Research Institute Method and apparatus for streaming service for providing scalability and view information
US8990849B2 (en) * 2012-02-14 2015-03-24 Verizon Patent And Licensing Inc. Advertisement insertion into media content for streaming
US9129445B2 (en) * 2012-03-14 2015-09-08 Dolby Laboratories Licensing Corporation Efficient tone-mapping of high-bit-depth video to low-bit-depth display
US8806529B2 (en) * 2012-04-06 2014-08-12 Time Warner Cable Enterprises Llc Variability in available levels of quality of encoded content
WO2013155611A1 (en) * 2012-04-18 2013-10-24 Mdialog Corporation Method and system for inserting content into streaming media at arbitrary time points
US10205961B2 (en) * 2012-04-23 2019-02-12 Qualcomm Incorporated View dependency in multi-view coding and 3D coding
WO2013161442A1 (ja) * 2012-04-24 2013-10-31 ソニー株式会社 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
CN107087204B (zh) * 2012-06-12 2020-04-10 Lg 电子株式会社 图像解码方法及使用其的装置
EP2884752A4 (en) * 2012-08-10 2016-01-27 Lg Electronics Inc SIGNAL TRANSMISSION DEVICE AND SIGNAL TRANSMISSION METHOD
US8561102B1 (en) * 2012-08-16 2013-10-15 General Instrument Corporation Location specific video content retrieval enabling regional blackouts to be maintained
WO2014050447A1 (ja) 2012-09-27 2014-04-03 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US9313500B2 (en) * 2012-09-30 2016-04-12 Microsoft Technology Licensing, Llc Conditional signalling of reference picture list modification information
JP2014171097A (ja) * 2013-03-04 2014-09-18 Toshiba Corp 符号化装置、符号化方法、復号装置、および、復号方法
EP2819414A3 (en) * 2013-06-28 2015-02-25 Samsung Electronics Co., Ltd Image processing device and image processing method
AU2014291253B2 (en) * 2013-07-19 2018-07-05 Sony Corporation Information processing device and method
JP5789004B2 (ja) * 2013-08-09 2015-10-07 ソニー株式会社 送信装置、送信方法、受信装置、受信方法、符号化装置および符号化方法
CN105379263B (zh) * 2013-11-13 2017-09-22 杜比实验室特许公司 用于指导图像的显示管理的方法和设备
CN111246050B (zh) * 2014-02-25 2022-10-28 苹果公司 用于视频数据处理的系统、装置和方法
JP2015171746A (ja) * 2014-03-12 2015-10-01 ファナック株式会社 制動部を備えた駆動軸を有する産業用ロボット
US9414100B2 (en) * 2014-03-31 2016-08-09 Arris Enterprises, Inc. Adaptive streaming transcoder synchronization
WO2015167245A1 (ko) * 2014-04-30 2015-11-05 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
CN110675840B (zh) * 2014-06-26 2022-03-25 松下知识产权经营株式会社 显示装置及显示方法
US20160042227A1 (en) * 2014-08-06 2016-02-11 BAE Systems Information and Electronic Systems Integraton Inc. System and method for determining view invariant spatial-temporal descriptors for motion detection and analysis
JP2016538745A (ja) * 2014-08-08 2016-12-08 エルジー エレクトロニクス インコーポレイティド ディスプレイ適応的映像再生のためのビデオデータ処理方法及び装置
US20160050468A1 (en) * 2014-08-14 2016-02-18 Nagravision S.A. Mitigation of collusion attacks against watermarked content
WO2016038791A1 (ja) * 2014-09-10 2016-03-17 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 記録媒体、再生装置および再生方法
CA2962040C (en) * 2014-09-22 2020-07-21 Arris Enterprises Llc Video quality of experience based on video quality estimation
CA2965484C (en) * 2014-10-22 2019-07-23 Arris Enterprises Llc Adaptive bitrate streaming latency reduction
US10547844B2 (en) * 2014-12-04 2020-01-28 Lg Electronics Inc. Broadcasting signal transmission and reception method and device
WO2016092759A1 (ja) * 2014-12-09 2016-06-16 パナソニックＩｐマネジメント株式会社 送信方法、受信方法、送信装置および受信装置
JP6741975B2 (ja) * 2014-12-09 2020-08-19 パナソニックＩｐマネジメント株式会社 送信方法および送信装置
EP3231174B1 (en) * 2014-12-11 2020-08-26 Koninklijke Philips N.V. Optimizing high dynamic range images for particular displays
US9479801B2 (en) * 2014-12-19 2016-10-25 Telefonaktiebolaget L M Ericsson (Publ) End user-based personalized ad insertion in broadcast-broadband hybrid terminals
US9558538B2 (en) * 2015-01-09 2017-01-31 Vixs Systems, Inc. Dynamic range converter with frame by frame adaptation and methods for use therewith
WO2016129891A1 (ko) * 2015-02-11 2016-08-18 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
US10681107B2 (en) * 2015-06-16 2020-06-09 Apple Inc. Adaptive video content for cellular communication

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013511201A (ja) * 2009-11-13 2013-03-28 サムスン エレクトロニクス カンパニー リミテッド データ伝送方法及び装置
JP2012054800A (ja) * 2010-09-02 2012-03-15 Hitachi Consumer Electronics Co Ltd 映像送信装置
JP2015005977A (ja) * 2013-06-18 2015-01-08 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信方法および受信方法
JP2015005976A (ja) * 2013-06-18 2015-01-08 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信方法
JP2015080203A (ja) * 2013-10-18 2015-04-23 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置

Also Published As

Publication number Publication date
US20230247253A1 (en) 2023-08-03
EP4262213A1 (en) 2023-10-18
CN107431833A (zh) 2017-12-01
US11627367B2 (en) 2023-04-11
KR20170122736A (ko) 2017-11-06
US20180007423A1 (en) 2018-01-04
JPWO2016136470A1 (ja) 2017-12-07
WO2016136470A1 (ja) 2016-09-01
JP2020174365A (ja) 2020-10-22
EP3264775A1 (en) 2018-01-03
JP6888717B2 (ja) 2021-06-16
EP3264775A4 (en) 2018-07-11
JP7375857B2 (ja) 2023-11-08
EP3264775B1 (en) 2023-05-03
JP7095776B2 (ja) 2022-07-05
KR102423610B1 (ko) 2022-07-22
CN113613009A (zh) 2021-11-05
US20210051362A1 (en) 2021-02-18
US10791364B2 (en) 2020-09-29
JP2022125084A (ja) 2022-08-26
JP6729548B2 (ja) 2020-07-22
CN107431833B (zh) 2021-08-27
CN113613009B (zh) 2024-06-25
JP2024012367A (ja) 2024-01-30
BR112017017792A2 (ja) 2018-04-10

Similar Documents

Publication Publication Date Title
JP6888717B2 (ja) 送信方法および送信装置
US10735771B2 (en) Transmission device, transmission method, reception device, and reception method
JP7416164B2 (ja) 送信方法、送信装置、受信装置および受信方法
JP6801662B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP2021101566A (ja) 送信方法および送信装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210617

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220518

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220524

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220606

R151 Written notification of patent or utility model registration

Ref document number: 7095776

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151