JP2021093729A - 映像復号方法 - Google Patents

映像復号方法 Download PDF

Info

Publication number
JP2021093729A
JP2021093729A JP2021004337A JP2021004337A JP2021093729A JP 2021093729 A JP2021093729 A JP 2021093729A JP 2021004337 A JP2021004337 A JP 2021004337A JP 2021004337 A JP2021004337 A JP 2021004337A JP 2021093729 A JP2021093729 A JP 2021093729A
Authority
JP
Japan
Prior art keywords
layer
cpb
decoding
image
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021004337A
Other languages
English (en)
Other versions
JP7047146B2 (ja
Inventor
ジー． デシュパンド，サチン
g deshpande Sachin
ジー． デシュパンド，サチン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby International AB
Original Assignee
Dolby International AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US13/858,076 external-priority patent/US9591321B2/en
Application filed by Dolby International AB filed Critical Dolby International AB
Publication of JP2021093729A publication Critical patent/JP2021093729A/ja
Priority to JP2022046641A priority Critical patent/JP7303920B2/ja
Application granted granted Critical
Publication of JP7047146B2 publication Critical patent/JP7047146B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H04N19/433—Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Use Of Switch Circuits For Exchanges And Methods Of Control Of Multiplex Exchanges (AREA)
  • Bipolar Transistors (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】性能を向上させてデジタルメディアを効率的に表す復号化方法及び電子装置を提供する。【解決手段】復号化方法は、ベースビットストリームを受け取る工程と、複数のエンハンスメントビットストリームを受け取る工程と、映像パラメータセット拡張を示す一つのシンタックス要素と、エンハンスメントビットストリームのうち少なくとも一つと関連している複数のシンタックス要素と、を含む、一つの映像パラメータセットを受け取る工程と、第１シンタックス要素を含む複数のシンタックス要素を含む映像パラメータセット拡張を受け取る工程と、複数のシンタックス要素を受け取る工程と、を備える。複数のシンタックス要素は、映像ビットストリーム用に指定される出力レイヤセットの数に加え、出力レイヤ用に指定される追加レイヤセットの数を示す第２シンタックス要素を含む。【選択図】図６７Ａ

Description

本開示は、広くは電子装置に関する。より具体的には、本開示は、サブピクチャに基づく仮想参照復号装置パラメータを信号化する電子装置、および復号化画像バッファ（ＤＰＢ）のハイブリッド動作のためのシステムおよび方法に関する。
電子装置は、消費者の要求に応え、持ち運びやすさと利便性を増すために、より小さくより強力になってきた。消費者は、電子装置に依存するようになり、機能性が増すことを期待するようになってきた。電子装置の例としては、デスクトップコンピュータ、ラップトップコンピュータ、携帯電話、スマートフォン、メディア・プレイヤー、集積回路などが挙げられる。
電子装置には、デジタルメディアを処理し、表示するものがある。例えば、現在では、携帯型電子装置は、消費者がいる場所ならほとんどどこでも、デジタルメディアを消費することを可能にしている。さらに、電子装置には、デジタルメディアコンテンツを、消費者が利用し楽しむために、ダウンロードまたはストリーミングできるものがある。
デジタルメディアの増大する人気は、いくつかの問題をもたらした。例えば、保存、送信、および急速な再生のために高品質のデジタルメディアを効率的に表すことには、いくつかの困難がある。この検討からわかるように、性能を向上させてデジタルメディアを効率的に表すシステムおよび方法が有益である。
本発明の上記した目的、特徴、長所および他の目的、特徴、長所は、本発明の以下の詳細な説明を、添付の図面とともに考慮することで、より容易に理解されるであろう。
本発明の一つの態様は、映像ビットストリームを復号化する方法であって、
（ａ）符号化映像シーケンスを表すベースビットストリームを受け取る工程と、
（ｂ）上記符号化映像シーケンスを表す複数のエンハンスメントビットストリームを受け取る工程と、
（ｃ）上記ベースビットストリームと上記複数のエンハンスメントビットストリームとに適用される複数のシンタックス要素を含む一つの映像パラメータセットを受け取る工程であって、当該映像パラメータセットは、映像パラメータセット拡張を示す一つのシンタックス要素を含む工程と、
（ｄ）上記エンハンスメントビットストリームのうち少なくとも一つと関連している複数のシンタックス要素を含む上記映像パラメータセット拡張を受け取る工程であって、上記複数のシンタックス要素が、上記映像ビットストリーム用に指定される出力レイヤセットの数を示す第１シンタックス要素を含む工程と、
（ｅ）少なくとも一つの出力レイヤセットの変化を示す複数のシンタックス要素を受け取る工程と
を含み、
上記少なくとも一つの出力レイヤセットの変化を示す複数のシンタックス要素は、出力レイヤ用に指定される上記第１シンタックス要素によって示される、上記映像ビットストリーム用に指定される出力レイヤセットの数に加え、出力レイヤ用に指定される追加レイヤセットの数を示す第２シンタックス要素を含むことを特徴とする、方法を提供する。
図１Ａは、メッセージを送信し、ビットストリームをバッファリングするためのシステムおよび方法を実装できる１つ以上の電子装置の例を示すブロック図である。 図１Ｂは、メッセージを送信し、ビットストリームをバッファリングするためのシステムおよび方法を実装できる一つ以上の電子装置の例を示す別のブロック図である。 図２は、メッセージを送信するための方法の一構成を示すフローチャートである。 図３は、アクセスユニットにおける復号化ユニットに対する一つ以上の削除遅延を決定する方法の一構成を示すフローチャートである。 図４は、ビットストリームをバッファリングする方法の一構成を示すフローチャートである。 図５は、アクセスユニットにおける復号化ユニットに対する一つ以上の削除遅延を決定する方法の一構成を示すフローチャートである。 図６Ａは、電子装置の符号化装置６０４の一構成を示すブロック図である。 図６Ｂは、電子装置の符号化装置６０４の一構成を示す別のブロック図である。 図７Ａは、電子装置の復号装置の一構成を示すブロック図である。 図７Ｂは、電子装置の復号装置の一構成を示す別のブロック図である。 図８に、送信用電子装置に用いうるさまざまな構成部材を示す。 図９は、受信用電子装置に用いうるさまざまな構成部材を示すブロック図である。 図１０は、メッセージを送信するためのシステムおよび方法を実装する電子装置の一構成を示すブロック図である。 図１１は、ビットストリームをバッファリングするためのシステムおよび方法を実装する電子装置の一構成を示すブロック図である。 図１２は、復号化画像バッファの動作を行うための方法の一構成を示すブロック図である。 図１３Ａに、異なるＮＡＬユニットのヘッダーシンタックスを示す。 図１３Ｂに、異なるＮＡＬユニットのヘッダーシンタックスを示す。 図１３Ｃに、異なるＮＡＬユニットのヘッダーシンタックスを示す。 図１４に、一般的なＮＡＬユニットのシンタックスを示す。 図１５に、既存の映像パラメータセットを示す。 図１６に、既存のスケーラビリティタイプを示す。 図１７に、例示的な映像パラメータセットを示す。 図１８に、例示的なスケーラビリティマップシンタックスを示す。 図１９に、例示的な映像パラメータセットを示す。 図２０に、既存の映像パラメータセットを示す。 図２１に、既存のディメンションタイプ、ディメンションｉｄシンタックスを示す。 図２２に、例示的な映像パラメータセットを示す。 図２３に、例示的なスケーラビリティマップシンタックスを示す。 図２４に、例示的な映像パラメータセットを示す。 図２５に、例示的な映像パラメータセットを示す。 図２６に、例示的な映像パラメータセットを示す。 図２７に、例示的なスケーラビリティマスクシンタックスを示す。 図２８に、例示的な映像パラメータセット拡張シンタックスを示す。 図２９に、例示的な映像パラメータセット拡張シンタックスを示す。 図３０に、例示的な映像パラメータセット拡張シンタックスを示す。 図３１に、例示的な映像パラメータセット拡張シンタックスを示す。 図３２に、例示的な映像パラメータセット拡張シンタックスを示す。 図３３に、例示的な映像パラメータセット拡張シンタックスを示す。 図３４に、映像パラメータセットシンタックスの例を示す。 図３５に、映像パラメータセット拡張シンタックスの例を示す。 図３６に、出力レイヤセット変化シンタックスの例を示す。 図３７に、出力レイヤセット変化シンタックスの他の例を示す。 図３８Ａに、映像パラメータ拡張シンタックスの例を示す。 図３８Ｂに、映像パラメータ拡張シンタックスの例を示す。 図３９Ａに、op_dpb_info_parameters(j)シンタックスの例を示す。 図３９Ｂに、op_dpb_info_parameters(j)シンタックスの例を示す。 図４０に、映像パラメータ拡張シンタックスの他の例を示す。 図４１に、oop_dpb_info_parameters(j)シンタックスの他の例を示す。 図４２に、oop_dpb_info_parameters(j)シンタックスの他の例を示す。 図４３に、num_dpb_info_parametersシンタックスの例を示す。 図４４に、oop_dpb_info_parameters(j)シンタックスの他の例を示す。 図４５に、num_dpb_info_parametersシンタックスの他の例を示す。 図４６に、num_dpb_info_parametersシンタックスの他の例を示す。 図４７に、映像パラメータ拡張シンタックスとlayer_dpb_info(i)の他の例を示す。 図４８に、oop_dpb_info_parametersとlayer_dpb_info(i)シンタックスの例を示す。 図４９Ａに、vps_extension()の他の例を示す。 図４９Ｂに、vps_extension()の他の例を示す。 図５０に、oop_dpb_maxbuffering_parameters(i)の例を示す。 図５１に、layer_dpb_info_parameters(i)の例を示す。 図５２に、vps_extension()の他の例を示す。 図５３に、vps_extension()の他の例を示す。 図５４に、oop_dpb_maxbuffering_parameters(i,k)の例を示す。 図５５に、oop_dpb_maxbuffering_parameters(i,k)の例を示す。 図５６に、vps_extension()の他の例を示す。 図５７に、oop_dpb_maxbuffering_parameters(i,k)の例を示す。 図５８に、oop_dpb_maxbuffering_parameters(i,k)の例を示す。 図５９に、oop_dpb_maxbuffering_parameters(i,k)の例を示す。 図６０に、oop_dpb_maxbuffering_parameters(i,k)の例を示す。 図６１に、oop_dpb_maxbuffering_parameters(i,k)の例を示す。 図６２に、seq_parameter_set_rbsp()の例を示す。 図６３は、複数の電子装置間の映像符号化を示すブロック図である。 図６４はハイブリッド復号化画像バッファ（ＤＰＢ）の動作の方法を示すフローチャートである。 図６５はハイブリッド復号化画像バッファ（ＤＰＢ）の動作の別の方法を示すフローチャートである。 図６６は、復号装置の一構成を示すブロック図である。 図６７Ａは、映像符号化のために、エンハンスメントレイヤとベースレイヤを用い、当該エンハンスメントレイヤとベースレイヤに異なる復号化画像バッファ（ＤＰＢ）と異なるハイブリッド復号化画像バッファ（ＤＰＢ）動作モジュール５２０とを用いる様子を示すブロック図である。 図６７Ｂは、共有復号化画像バッファ（ＤＰＢ）と共有ハイブリッド復号化画像バッファ（ＤＰＢ）動作モジュールを、ベースレイヤとエンハンスメントレイヤ双方に用いることを示すブロック図である。 図６８は、ハイブリッド復号化画像バッファ（ＤＰＢ）動作を示すタイミング図である。 図６９は、第二エンハンスメントレイヤ（ＥＬ２）が、ベースレイヤ（ＢＬ）および第一エンハンスメントレイヤ（ＥＬ１）より低い画像率を有する場合の、符号化画像およびアクセスユニット（ＡＵ）用のレイヤのネットワーク抽象化レイヤ（ＮＡＬ）ユニットのための構造およびタイミングを示すブロック図である。 図７０は、ベースレイヤ（ＢＬ）が、第一エンハンスメントレイヤ（ＥＬ１）および第二エンハンスメントレイヤ（ＥＬ２）より低い画像率を有する場合の、符号化画像およびアクセスユニット（ＡＵ）用のレイヤのネットワーク抽象化レイヤ（ＮＡＬ）ユニットのための構造およびタイミングを示すブロック図である。
〔実施形態１〕
メッセージを送信するための電子装置を記載する。当該電子装置は、プロセッサと該プロセッサと電子的に通信するメモリに保存された指示とを含んでいる。符号化画像バッファ（ＣＰＢ）がサブピクチャレベルの動作をサポートする場合、上記電子装置は、画像タイミング付加エンハンスメント情報（ＳＥＩ）メッセージに共通復合化ユニットＣＰＢ削除遅延パラメータ（removal delay parameter）を含むべきかを決定する。また、上記共通復号化ユニットＣＰＢ削除遅延パラメータが、画像タイミングＳＥＩメッセージ（または、例えば、画像パラメータセット、シーケンスパラメータセット、映像パラメータセットまたは適応パラメータセットのような他の何らかのＳＥＩメッセージまたは他の何らかのパラメータセット）に含まれるべきである場合、上記電子装置は、上記共通復号化ユニットＣＰＢ削除遅延パラメータを生成する。ここで、上記共通復号化ユニットＣＰＢ削除遅延パラメータは、上記ＣＰＢからのアクセスユニットにおける全復号化ユニットに適用できる。また、上記共通復号化ユニットＣＰＢ削除遅延パラメータが上記画像タイミングＳＥＩメッセージ含まれるべきでない場合、上記電子装置は、上記アクセスユニットにおける復号化ユニットごとに別の復号化ユニットＣＰＢ削除遅延パラメータを生成する。さらにまた、上記電子装置は、上記共通復号化ユニットＣＰＢ削除遅延パラメータまたは上記復号化ユニットＣＰＢ削除遅延パラメータと共に上記画像タイミングＳＥＩメッセージを送信する。
上記共通復号化ユニットＣＰＢ削除遅延パラメータは、直前の復号化ユニットを上記ＣＰＢから削除した後から上記画像タイミングＳＥＩメッセージに関連する上記アクセスユニットにおける現在の復号化ユニットを上記ＣＰＢから削除するまでに待つべきサブピクチャクロックティック（sub-picture clock ticks）の量を規定してもよい。
さらに、復号化ユニットがアクセスユニットにおける第１の復号化ユニットである場合、上記共通復号化ユニットＣＰＢ削除遅延パラメータは、前のアクセスユニットにおける最も近いバッファリング期間ＳＥＩメッセージに関連するアクセスユニットにおける最新の復号化ユニットを上記ＣＰＢから削除した後から上記画像タイミングＳＥＩメッセージに関連する上記アクセスユニットにおける上記第１の復号化ユニットを上記ＰＣＢから削除するまでに待つべきサブピクチャクロックティックの量を規定してもよい。
一方、上記復号化ユニットがアクセスユニットにおける第１の復号化ユニットではない場合、上記共通復号化ユニットＣＰＢ削除遅延パラメータは、上記画像タイミングＳＥＩメッセージに関連する上記アクセスユニットにおける前の復号化ユニットを上記ＣＰＢから削除した後から上記画像タイミングＳＥＩメッセージに関連する上記アクセスユニットにおける現在の復号化ユニットを上記ＣＰＢから削除するまでに待つべきサブピクチャクロックティックの量を規定してもよい。
上記復号化ユニットＣＰＢ削除遅延パラメータは、上記最新の復号化ユニットを上記ＣＰＢから削除した後から上記画像タイミングＳＥＩメッセージに関連する上記アクセスユニットにおけるｉ番目の復号化ユニットを上記ＣＰＢから削除するまでに待つべきサブピクチャクロックティックの量を規定してもよい。
上記電子装置は、モジュロ２(cpb_removal_delay_length_minus1 + 1)計数器の剰余（remainder）によって、上記復号化ユニットＣＰＢ削除遅延パラメータを算出してもよい。ここで、cpb_removal_delay_length_minus1 + 1は、共通復号化ユニットＣＰＢ削除遅延パラメータの長さである。
さらに、上記ＣＰＢがアクセスユニットレベルの動作をサポートする場合、上記電子装置は、前のアクセスユニットにおける最も近いバッファリング期間ＳＥＩメッセージに関連するアクセスユニットを上記ＣＰＢから削除した後から上記画像タイミングＳＥＩメッセージに関連する上記アクセスユニットデータを上記ＣＰＢから削除するまでに待つべきクロックティックの数を規定するＣＰＢ削除遅延パラメータを含む画像タイミングＳＥＩメッセージを生成してもよい。
さらに、上記電子装置は、上記ＣＰＢがサブピクチャレベルの動作またはアクセスユニットレベルの動作のどちらをサポートするかを決定してもよい。この工程は、符号化画像バッファ（ＣＰＢ）が、画像タイミングフラグの値に基づいてサブピクチャレベルの動作をサポートするパラメータを提供するかどうかを示す画像タイミングフラグを決定する工程を含んでいてもよい。上記画像タイミングフラグが、上記画像タイミングＳＥＩメッセージに含まれていてもよい。
上記共通復号化ユニットＣＰＢ削除遅延パラメータが上記画像タイミングＳＥＩメッセージに含まれるべき場合、共通復号化ユニットＣＰＢ削除遅延パラメータを含むかどうかの決定には、共通復号化ユニットＣＰＢ削除遅延フラグを１に設定する工程を含んでいてもよい。さらに、上記共通復号化ユニットＣＰＢ削除遅延パラメータが上記画像タイミングＳＥＩメッセージに含まれるべきでない場合、この決定は、上記共通復号化ユニットＣＰＢ削除遅延フラグを０に設定する工程を含んでいてもよい。上記共通復号化ユニットＣＰＢ削除遅延フラグは、上記画像タイミングＳＥＩメッセージに含まれていてもよい。
さらに、上記ＣＰＢがサブピクチャレベルの動作をサポートする場合、上記電子装置は、アクセスユニットにおける各復号化ユニットに対するＮＡＬユニットの１でオフセットされる量を示す別のネットワーク抽象化レイヤ（ＮＡＬ）ユニット関連パラメータを生成してもよい。代わりに、または、追加で、上記電子装置は、アクセスユニットにおける各復号化ユニットに共通のＮＡＬユニットの１でオフセットされる量を示す共通ＮＡＬパラメータを生成してもよい。
さらに、ビットストリームをバッファリングするための電子装置を記載する。当該電子装置は、プロセッサと該プロセッサと電子的に通信するメモリに保存された指示とを含んでいる。上記電子装置は、ＣＰＢがアクセスユニットに対するサブピクチャレベルのパラメータを信号で伝達することを決定する。また、受信された画像タイミング付加エンハンスメント情報（ＳＥＩ）メッセージが上記共通復号化ユニット符号化画像バッファ（ＣＰＢ）削除遅延フラグを含む場合、上記電子装置は、上記アクセスユニットにおける全復号化ユニットに適用可能な共通復号化ユニットＣＰＢ削除遅延パラメータを決定する。さらに、上記画像タイミングＳＥＩメッセージが上記共通復号化ユニットＣＰＢ削除遅延フラグを含まない場合、上記電子装置は、上記アクセスユニットにおける復号化ユニットごとに別の復号化ユニットＣＰＢ削除遅延パラメータを決定する。さらに、上記電子装置は、上記共通復号化ユニットＣＰＢ削除遅延パラメータまたは上記別の復号化ユニットＣＰＢ削除遅延パラメータを用いて、上記ＣＰＢから復号化ユニットを削除する。さらに、上記電子装置は上記アクセスユニットにおける上記復号化ユニットを復号する。
ある構成において、上記電子装置は、上記画像タイミングＳＥＩメッセージに画像タイミングフラグが設定されることを決定する。また、上記電子装置は、下記数式１によって、ＣＰＢ削除遅延パラメータ（cpb_removal_delay）を設定してもよい。
Figure 2021093729
式中、du_cpb_removal_delay[i]は、上記復号化ユニットＣＰＢ削除遅延パラメータであり、tcはクロックティックであり、tc,subはサブピクチャクロックティックであり、num_decoding_units_minus1は、上記アクセスユニットにおいて復号化ユニットの１でオフセットされる量であり、iはインデックスである。
あるいは、上記電子装置は、下記数式を満たすようにＣＰＢ削除遅延パラメータ（cpb_removal_delayおよびdu_cpb_removal_delay[num_decoding_units_minus1]）を設定してもよい。
Figure 2021093729
式中、du_cpb_removal_delay[i]は、上記復号化ユニットＣＰＢ削除遅延パラメータであり、tcはクロックティックであり、tc,subはサブピクチャクロックティックであり、num_decoding_units_minus1は、上記アクセスユニットにおいて復号化ユニットの１でオフセットされる量であり、iはインデックスである。
あるいは、上記電子装置は、下記式によって、ＣＰＢ削除遅延パラメータ（cpb_removal_delayおよびdu_cpb_removal_delay[num_decoding_units_minus1]）を設定してもよい。cpb_removal_delay*tc = du_cpb_removal_delay[num_decoding_units_minus1]* tc_sub、式中、du_cpb_removal_delay[num_decoding_units_minus1]は、上記「num_decoding_units_minus1」番目の復号化ユニットに対する上記復号化ユニットＣＰＢ削除遅延パラメータであり、tcはクロックティックであり、tc,subはサブピクチャクロックティックであり、num_decoding_units_minus1は、上記アクセスユニットにおいて復号化ユニットの１でオフセットされる量である。
ある構成において、上記電子装置は、画像タイミングフラグが上記画像タイミングＳＥＩメッセージに設定されることを決定する。また、上記電子装置は、以下の式を満たすようにＣＰＢ削除遅延パラメータ（cpb_removal_delayおよびdu_cpb_removal_delay[num_decoding_units_minus1]）を設定してもよい。
-1<=(cpb_removal_delay*tc - du_cpb_removal_delay[num_decoding_units_minus1]* tc, sub) <=1
式中、du_cpb_removal_delay[num_decoding_units_minus1]は、上記「num_decoding_units_minus1」番目の復号化ユニットに対する上記復号化ユニットＣＰＢ削除遅延パラメータであり、tcはクロックティックであり、tc,subはサブピクチャクロックティックであり、num_decoding_units_minus1は、上記アクセスユニットにおいて復号化ユニットの１でオフセットされる量である。
ClockDiff変数は、以下のように定義してもよい。
ClockDiff = (num_units_in_tick-(num_units_in_sub_tick*(num_decoding_units_minus1+1)) / time_scale)
式中、num_units_in_tickは、クロックティック計数器の１増分に対応する周波数time_scale（Ｈｚ）で動作するクロックの時間単位の数であり、num_units_in_sub_tickは、サブピクチャクロックティック計数器の１増分に対応する上記周波数time_scale（Ｈｚ）で動作するクロックの時間単位の数であり、num_decoding_units_minus1+1は上記アクセスユニットにおける復号化ユニットの量であり、time_scaleは１秒間に経過する上記時間単位の数である。
低遅延仮想参照復号装置（low delay hypothetical reference decoder：HRD）フラグ（例：low_delay_hrd_flag）が１に設定されており、tr,n( m ) < taf( m )であり、画像タイミングフラグが１に設定されており、上記ＣＰＢがサブピクチャレベルで動作しており、かつ、ClockDiffがゼロより大きい場合、復号化ユニットｍに対する上記削除時間tr(
m )は、以下の式によって決定される。
tr( m ) = tr,n( m ) + tc_sub* Ceil( ( taf( m ) - tr,n( m ) ) / tc_sub) + ClockDiff
式中、tr,n( m )は上記復号化ユニットｍの公称削除時間であり、tc_subはサブピクチャクロックティックであり、Ceil()は天井関数であり、taf( m )は復号化ユニットｍの最終到着時間である。
低遅延仮想参照復号装置（ＨＲＤ）フラグ（例：low_delay_hrd_flag）が１に設定され、tr,n( n ) < taf( n )であり、画像タイミングフラグが１に設定されており、上記ＣＰＢがアクセスユニットレベルで動作しており、かつ、ClockDiffがゼロより大きい場合、アクセスユニットｎに対する上記削除時間tr( n )は、以下の式によって決定される。
tr( n )= tr,n( n ) + tc* Ceil( ( taf( n ) - tr,n( n ) ) / tc) - ClockDiff
式中、tr,n( n )は上記アクセスユニットｎの公称削除時間であり、tcはクロックティックであり、Ceil()は天井関数であり、taf( n )はアクセスユニットｎの最終到着時間である。
低遅延仮想参照復号装置（ＨＲＤ）フラグ（例：low_delay_hrd_flag）が１に設定されており、tr,n( m ) < taf( m )であり、画像タイミングフラグが１に設定されており、かつ、上記ＣＰＢがサブピクチャレベルで動作している場合、アクセスユニットの最新の復号化ユニットｍに対する上記削除時間tr( m )は、以下の式によって決定される。
tr( m ) = tr,n( m ) + max( (tc_sub* Ceil( ( taf( m ) - tr,n( m ) ) / tc_sub ))、 (tc * Ceil( ( taf( n ) - tr,n( n ) ) / tc )))
式中、tr,n( m )は上記最新の復号化ユニットｍの公称削除時間であり、tc_subはサブピクチャクロックティックであり、Ceil()は天井関数であり、taf( m )は最新の復号化ユニットｍの最終到着時間であり、tr,n( n )は上記アクセスユニットｎの公称削除時間であり、tcはクロックティックであり、taf( n )はアクセスユニットｎの最終到着時間である。
低遅延仮想参照復号装置（ＨＲＤ）フラグが１に設定されており、tr,n( n ) < taf( n
)であり、画像タイミングフラグが１に設定されており、かつ、上記ＣＰＢがアクセスユニットレベルで動作している場合、アクセスユニットｎに対する上記削除時間tr( n )は、以下の式によって決定される。
tr( n ) = tr,n( n ) + max( (tc_sub* Ceil( ( taf( m ) - tr,n( m ) ) / tc_sub ))、 (tc * Ceil( ( taf( n ) - tr,n( n ) ) / tc )))
式中、tr,n( m )は上記最新の復号化ユニットｎの公称削除時間であり、tc_subはサブピクチャクロックティックであり、Ceil()は天井関数であり、taf( m )は最新の復号化ユニットｍの最終到着時間であり、tr,n( n )は上記アクセスユニットｎの公称削除時間であり、tcはクロックティックであり、taf( n )はアクセスユニットｎの最終到着時間である。
低遅延仮想参照復号装置（ＨＲＤ）フラグ（例：low_delay_hrd_flag）が１に設定されており、tr,n( m ) < taf( m )であり、画像タイミングフラグが１に設定されており、かつ、上記ＣＰＢがサブピクチャレベルで動作している場合、アクセスユニットの最新の復号化ユニットｍに対する上記削除時間tr(m)は、以下の式によって決定される。
tr( m ) = tr,n( m ) + min( (tc_sub* Ceil( ( taf( m ) - tr,n( m ) ) / tc_sub )), (tc * Ceil( ( taf( n ) - tr,n( n ) ) / tc)))
式中、tr,n( m )は上記最新の復号化ユニットｍの公称削除時間であり、tc_subはサブピクチャクロックティックであり、Ceil()は天井関数であり、taf( m )は最新の復号化ユニットｍの最終到着時間であり、tr,n( n )は上記アクセスユニットｎの公称削除時間であり、tcはクロックティックであり、taf( n )はアクセスユニットｎの最終到着時間である。
低遅延仮想参照復号装置（ＨＲＤ）フラグが１に設定されており、tr,n( n ) < taf( n
)であり、画像タイミングフラグが１に設定されており、かつ、上記ＣＰＢがアクセスユニットレベルで動作している場合、アクセスユニットｎに対する上記削除時間tr( n )は、以下の式によって決定される。
tr( n ) = tr,n( n ) + min( (tc_sub* Ceil( ( taf( m ) - tr,n( m ) ) / tc_sub ))、 (tc * Ceil( ( taf( n ) - tr,n( n ) ) / tc )))
式中、tr,n( m )は上記最新の復号化ユニットｎの公称削除時間であり、tc_subはサブピクチャクロックティックであり、Ceil()は天井関数であり、taf( m )は最新の復号化ユニットｍの最終到着時間であり、tr,n( n )は上記アクセスユニットｎの公称削除時間であり、tcはクロックティックであり、taf( n )はアクセスユニットｎの最終到着時間である。
低遅延仮想参照復号装置（ＨＲＤ）フラグ（例：low_delay_hrd_flag）が１に設定されており、tr,n( m ) < taf( m )であり、画像タイミングフラグが１に設定されており、かつ、上記ＣＰＢがサブピクチャレベルで動作している場合、アクセスユニットの最新の復号化ユニットｍに対する上記削除時間tr(m)は、以下の式によって決定される。
tr( m ) = tr,n( m ) + (tc* Ceil( ( taf( n ) - tr,n( n ) ) / tc))
式中、tr,n( m )は上記最新の復号化ユニットｍの公称削除時間であり、tc_subはサブピクチャクロックティックであり、Ceil()は天井関数であり、taf( m )は最新の復号化ユニットｍの最終到着時間であり、tr,n( n )は上記アクセスユニットｎの公称削除時間であり、tcはクロックティックであり、taf( n )はアクセスユニットｎの最終到着時間である。
低遅延仮想参照復号装置（ＨＲＤ）フラグが１に設定されており、tr,n( n ) < taf( n
)であり、画像タイミングフラグが１に設定されており、かつ、上記ＣＰＢがアクセスユニットレベルで動作している場合、アクセスユニットｎに対する上記削除時間tr( n )は、以下の式によって決定される。
tr( n ) = tr,n( n ) + (tc* Ceil( ( taf( n ) - tr,n( n ) ) / tc))
式中、tr,n( m )は上記最新の復号化ユニットｎの公称削除時間であり、tc_subはサブピクチャクロックティックであり、Ceil()は天井関数であり、taf( m )は最新の復号化ユニットｍの最終到着時間であり、tr,n( n )は上記アクセスユニットｎの公称削除時間であり、tcはクロックティックであり、taf( n )はアクセスユニットｎの最終到着時間である。
低遅延仮想参照復号装置（ＨＲＤ）フラグ（例：low_delay_hrd_flag）が１に設定されており、tr,n( m ) < taf( m )であり、画像タイミングフラグが１に設定されており、かつ、上記ＣＰＢがサブピクチャレベルで動作している場合、上記最新の復号化ユニットではない復号化ユニットｍに対する上記削除時間は、tr( m ) = taf( m )（式中、taf( m )は復号化ユニットｍの最終到着時間）として設定される。低遅延仮想参照復号装置（ＨＲＤ）フラグ（例：low_delay_hrd_flag）が１に設定されており、tr,n( m ) < taf( m )であり、画像タイミングフラグが１に設定されており、かつ、上記ＣＰＢがサブピクチャレベルで動作している場合、アクセスユニットの最新の復号化ユニットｍである復号化ユニットｍに対する上記削除時間tr( m )は、以下の式によって決定される。
tr( m ) = tr,n( m ) + (tc_sub* Ceil( ( taf( m ) - tr,n( m ) ) / tc_sub))
式中、tr,n( m )は上記最新の復号化ユニットｍの公称削除時間であり、tc_subはサブピクチャクロックティックであり、Ceil()は天井関数であり、taf( m )は最新の復号化ユニットｍの最終到着時間であり、tr,n( n )は上記アクセスユニットｎの公称削除時間であり、tcはクロックティックであり、taf( n )はアクセスユニットｎの最終到着時間であり、taf( m )は、アクセスユニットｎにおける最新の復号化ユニットｍの最終到着時間である。
低遅延仮想参照復号装置（ＨＲＤ）フラグ（例：low_delay_hrd_flag）が１に設定されており、tr,n( m ) < taf( m )であり、画像タイミングフラグが１に設定されており、かつ、上記ＣＰＢがサブピクチャレベルで動作している場合、上記最新の復号化ユニットではない復号化ユニットｍに対する上記削除時間は、tr( m ) = taf( m )（式中、taf( m )は復号化ユニットｍの最終到着時間）として設定される。低遅延仮想参照復号装置（ＨＲＤ）フラグ（例：low_delay_hrd_flag）が１に設定されており、tr,n( m ) < taf( m )であり、画像タイミングフラグが１に設定されており、かつ、上記ＣＰＢがサブピクチャレベルで動作している場合、アクセスユニットの最新の復号化ユニットｍである復号化ユニットｍに対する上記削除時間tr( m )は、以下の式によって決定される。
tr( m ) = tr,n( m ) + (tc* Ceil( ( taf( m ) - tr,n( m ) ) / tc))
式中、tr,n( m )は上記最新の復号化ユニットｍの公称削除時間であり、tc_subはサブピクチャクロックティックであり、Ceil()は天井関数であり、taf(m)は最新の復号化ユニットｍの最終到着時間であり、tr,n( n )は上記アクセスユニットｎの公称削除時間であり、tcはクロックティックであり、taf( n )はアクセスユニットｎの最終到着時間であり、taf( m )は、アクセスユニットｎにおける最新の復号化ユニットｍの最終到着時間である。
低遅延仮想参照復号装置（ＨＲＤ）フラグ（例：low_delay_hrd_flag）が１に設定されており、tr,n( m ) < taf( m )であり、画像タイミングフラグが１に設定されており、かつ、上記ＣＰＢがサブピクチャレベルで動作している場合、復号化ユニットｍに対する上記削除時間は、tr( m ) = taf( m )として設定される。式中、tr,n( m )は、上記復号化ユニットｍの公称削除時間であり、tc_subはサブピクチャクロックティックであり、Ceil ()は天井関数であり、taf( m )は復号化ユニットｍの最終到着時間であり、tr,n( n )は、上記アクセスユニットｎの公称削除時間であり、tcはクロックティックであり、taf( n
)はアクセスユニットｎの最終到着時間であり、taf( m )は、上記アクセスユニットｎにおける復号化ユニットｍの最終到着時間である。
低遅延仮想参照復号装置（ＨＲＤ）フラグが１に設定されており、tr,n( n ) < taf( n
)であり、画像タイミングフラグが１に設定されており、かつ、上記ＣＰＢがアクセスユニットレベルで動作している場合、アクセスユニットｎに対する上記削除時間tr( n )は、tr( n ) = taf( n )によって決定される。式中、tr,n( m )は、上記最新の復号化ユニットｎの公称削除時間であり、tc_subはサブピクチャクロックティックであり、Ceil()は天井関数であり、taf( m )は最新の復号化ユニットｍの最終到着時間であり、tr,n( n )は、上記アクセスユニットｎの公称削除時間であり、tcはクロックティックであり、taf(
n )はアクセスユニットｎの最終到着時間である。
さらに、上記復号化ユニットの削除時間および上記アクセスユニットの削除時間を決定するために上記代替式のうちのいずれが用られるかを信号で伝達するために、フラグが上記ビットストリームの一部で送信される場合もある。ある場合には、上記フラグはdu_au_cpb_alignment_mode_flagと呼ばれる。du_au_cpb_alignment_mode_flagが１であれば、サブピクチャに基づくモードで動作するＣＰＢの動作をアクセスユニットモードで動作する上記ＣＰＢと同調させる上記式が用いられる。du_au_cpb_alignment_mode_flagが０であれば、サブピクチャに基づくモードで動作するＣＰＢの動作を上記アクセスユニットモードで動作する上記ＣＰＢと同調させない上記式が用いられる。
ある場合には、上記フラグ（du_au_cpb_alignment_mode_flag）は、ビデオユーザビリティ情報（ＶＵＩ）において信号で伝達されてもよい。別の場合には、上記フラグ（du_au_cpb_alignment_mode_flag）は、画像タイミングＳＥＩメッセージで送信されてもよい。さらに別の場合、上記フラグ（du_au_cpb_alignment_mode_flag）は、上記ビットストリームの別の標準的部位で送信されてもよい。本明細書において開示されるシステムおよび方法に係る変形シンタックスおよびセマンティックスの一例を以下の表０に示す。
Figure 2021093729
ここで、様々な変数に対して上で用いられるものと異なるシンボル（名称）が用いられる場合もあることに注意すべきである。例えば、アクセスユニットｎのtr( n )が、CpbRemovalTime( n )とも称される場合がある。また、復号化ユニットｎのtr( m )が、CpbRemovalTime( m )とも称される場合がある。tc_subが、ClockSubTickと称される場合もある。tcがClockTickと称される場合もある。アクセスユニットｍのtaf( n )が、アクセスユニットｎのFinalArrivalTime( n )と称される場合もある。復号化ユニットｍのtaf( m )が、FinalArrivalTime( m )と称される場合もある。tr,n( n )が、上記アクセスユニットｎのNominalRemovalTime( n )と称される場合もある。tr,n( m )が、上記復号化ユニットｍのNominalRemovalTime( m )と称される場合もある。
さらに、電子装置によりメッセージを送信する方法を記載する。この方法は、符号化画像バッファ（ＣＰＢ）がサブピクチャレベルの動作をサポートする場合に、画像タイミング付加エンハンスメント情報（ＳＥＩ）メッセージに共通復号化ユニットＣＰＢ削除遅延パラメータを含むべきかどうかを決定する工程を含んでいる。さらに、上記方法は、上記画像タイミングＳＥＩメッセージに上記共通復号化ユニットＣＰＢ削除遅延パラメータが含まれるべき場合に、上記共通復号化ユニットＣＰＢ削除遅延パラメータを生成する工程を含んでいる。ここで、上記共通復号化ユニットＣＰＢ削除遅延パラメータは、上記ＣＰＢからのアクセスユニットにおける全復号化ユニットに適用できるものである。さらに、上記方法は、上記画像タイミングＳＥＩメッセージに上記共通復号化ユニットＣＰＢ削除遅延パラメータが含まれるべきでない場合に、上記アクセスユニットにおける復号化ユニットごとに別の復号化ユニットＣＰＢ削除遅延パラメータを生成する工程を含んでいる。さらに、上記方法は、上記共通復号化ユニットＣＰＢ削除遅延パラメータまたは上記復号化ユニットＣＰＢ削除遅延パラメータと共に上記画像タイミングＳＥＩメッセージを送信する工程を含んでいる。
さらに、電子装置によってビットストリームをバッファリングする方法を記載する。上記方法は、ＣＰＢがアクセスユニットに対してサブピクチャレベルのパラメータを信号で伝達することを決定する工程を含んでいる。また、上記方法は、受信された画像タイミング付加エンハンスメント情報（ＳＥＩ）メッセージが上記共通復号化ユニット符号化画像バッファ（ＣＰＢ）削除遅延フラグを含む場合、上記アクセスユニットにおける全復号化ユニットに適用可能な共通復号化ユニットＣＰＢ削除遅延パラメータを決定する工程を含んでいる。さらに、上記方法は、上記画像タイミングＳＥＩメッセージが上記共通復号化ユニットＣＰＢ削除遅延フラグを含まない場合、上記アクセスユニットにおける復号化ユニットごとに別の復号化ユニットＣＰＢ削除遅延パラメータを決定する工程を含んでいる。さらに、上記方法は、上記共通復号化ユニットＣＰＢ削除遅延パラメータまたは上記別の復号化ユニットＣＰＢ削除遅延パラメータを用いて、上記ＣＰＢから復号化ユニットを削除する工程を含んでいる。さらに、上記方法は上記アクセスユニットにおける上記復号化ユニットを復号する工程を含んでいる。
本明細書中に開示される上記システム及び方法は、メッセージを送信し、ビットストリームをバッファリングする電子装置を説明する。例えば、本明細書中に開示される上記システム及び方法は、サブピクチャパラメータで始まるビットストリームのバッファリングを説明する。いくつかの構成において、本明細書中に開示される上記システム及び方法は、サブピクチャに基づく仮想参照復号装置（ＨＲＤ）パラメータを信号で伝達する工程を説明する場合がある。例えば、本明細書中に開示される上記システム及び方法は、画像タイミング付加エンハンスメント情報（ＳＥＩ）メッセージの変更を説明する。本明細書中に開示される上記システム及び方法（例：上記ＨＲＤの変形）は、定期的に、各サブピクチャが到着してＣＰＢから削除される場合に、パラメータのよりコンパクトな信号伝達をもたらす。
さらに、上記サブピクチャレベルＣＰＢ削除遅延パラメータが存在する場合、上記符号化画像バッファ（ＣＰＢ）は、アクセスユニットレベルまたはサブピクチャレベルで動作してもよい。また、本システム及び方法は、上記サブピクチャレベルのＣＰＢの動作と上記アクセスユニットレベルのＣＰＢの動作とが同じタイミングでの復号化ユニット削除をもたらすように、ビットストリーム上の制約を課してもよい。具体的には、サブピクチャモードで動作している場合のアクセスユニットにおける最新の復号化ユニットの削除のタイミングが、アクセスユニットモードで動作している場合のアクセスユニットの削除のタイミングと同じになる。
ここで、「仮想」という用語がＨＲＤについて用いられるが、上記ＨＲＤが物理的に実装されていてもよいということに注意すべきである。例えば，実際の復号装置の実装を説明するのに「ＨＲＤ」が用いられてもよい。いくつかの構成において、ビットストリームが高効率映像符号化方式（ＨＥＶＣ）仕様に適合するかどうかを判定するために、ＨＲＤが実装されていてもよい。例えば、ＨＲＤが、タイプＩビットストリームおよびタイプＩＩビットストリームがＨＥＶＣ仕様に適合するかどうかを判定するために用いられてもよい。タイプＩビットストリームは、映像符号化レイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットとフィラーデータ（ｆｉｌｌｅｒ ｄａｔａ）ＮＡＬユニットとのみを含んでいてもよい。タイプＩＩビットストリームは、さらに別のＮＡＬユニットとシンタックス要素とを含んでいてもよい。
映像符号化国際標準のＨＥＶＣ標準化の共同チーム（ＪＣＴＶＣ）の文献のＪＣＴＶＣ−Ｉ０３３３は、サブピクチャに基づくＨＲＤを含んでおり、画像タイミングＳＥＩメッセージをサポートしている。この機能性は、高効率映像符号化方式（ＨＥＶＣ）委員会草案（ＪＣＴＶＣ−Ｉ１００３）に組み込まれ、参照によりその全体が本明細書に援用される。Ｂ．Ｂｒｏｓ、Ｗ−Ｊ．Ｈａｎ、Ｊ−Ｒ．Ｏｈｍ、Ｇ．Ｊ．Ｓｕｌｌｉｖａｎ、ＷａｎｇおよびＴ−．Ｗｉｅｇａｎｄの「High efficiency video coding (HEVC) text specification draft 10 (for DFIS & Last Call)」、ＪＣＴＶＣ−Ｊ１０００３＿ｖ３４、ジュネーヴ、２０１３年１月がここで参照によりその全体が本明細書に援用される。Ｂ．Ｂｒｏｓ、Ｗ−Ｊ．Ｈａｎ、Ｊ−Ｒ．Ｏｈｍ、Ｇ．Ｊ．Ｓｕｌｌｉｖａｎ、ＷａｎｇおよびＴ−．Ｗｉｅｇａｎｄの「High efficiency video coding (HEVC) text specification draft 10」、ＪＣＴＶＣ−Ｌ１００３、ジュネーヴ、２０１３年１月がここで参照によりその全体が本明細書に援用される。
本明細書中に開示される上記システム及び方法に係る変形シンタックスおよびセマンティックスの一例を以下の表１に示す。
Figure 2021093729
本明細書中に開示される上記システム及び方法に係るバッファリング期間ＳＥＩメッセージセマンティックスに関する例を以下に挙げる。特に、上記変形シンタックス要素のセマンティックスに関する追加の詳細を以下に記載する。NalHrdBpPresentFlagまたはVclHrdBpPresentFlagが１に等しい場合、バッファリング期間ＳＥＩメッセージは、上記ビットストリームにおける任意のアクセスユニットと関係付けられることができ、かつ、バッファリング期間ＳＥＩメッセージは、各ＩＤＲアクセスユニット、各ＣＲＡアクセスユニット、および、リカバリーポイントＳＥＩメッセージに関連する各アクセスユニットに関連付けられていてもよい。いくつかの適用において、バッファリング期間ＳＥＩメッセージが頻繁に存在することが望ましいといえる。バッファリング期間は、復号化順序におけるバッファリング期間ＳＥＩメッセージの２つのインスタンス間のアクセスユニットのセットとして規定される。
seq_parameter_set_idは、シーケンスＨＲＤ属性を含む上記シーケンスパラメータセットを規定する。seq_parameter_set_idの値は、上記バッファリング期間ＳＥＩメッセージに関連する主符号化画像に参照される上記画像パラメータセットにおけるseq_parameter_set_idの値に等しくてもよい。上記seq_parameter_set_idの値は、０以上３０以下の範囲の値であってもよい。
initial_cpb_removal_delay[ SchedSelIdx ]は、ＨＲＤ初期化後の第１のバッファリング期間に対して、上記バッファリング期間ＳＥＩメッセージに関連する上記アクセスユニットと関連付けられる上記符号化データの第１番目のビットの上記ＣＰＢにおける到着時間と上記と同じアクセスユニットと関連付けられる上記符号化データの上記ＣＰＢからの削除時間との間のSchedSelIdx番目のＣＰＢに対する遅延を規定する。上記シンタックス要素は、initial_cpb_removal_delay_length_minus1 + 1により与えられるビットで表される長さを有している。これは、９０ｋＨｚクロックを単位にしている。initial_cpb_removal_delay[ SchedSelIdx ]は、０に等しくなることはなく、かつ、90000 * (CpbSize[SchedSelIdx ] / BitRate[ SchedSelIdx ])を超えることはなく、ＣＰＢの大きさは、９０ｋＨｚクロック単位の倍数である時間に相当する。
initial_cpb_removal_delay_offset [ SchedSelIdx ]は、上記ＣＰＢへの符号化されたアクセスユニットの初期デリバリー時間を規定するために、上記cpb_removal_delayと組み合わせてSchedSelIdx番目のＣＰＢに対して用いられる。initial_cpb_removal_delay_offset[ SchedSelIdx ]は、９０ｋＨｚクロックを単位にしている。上記initial_cpb_removal_delay_offset[ SchedSelIdx ]シンタックス要素は、ビットで表される長さがinitial_cpb_removal_delay_length_minus1 + 1で与えられる固定長の符号である。このシンタックス要素は、復号装置では用いられず、（例えば、ＪＣＴＶＣ−Ｉ１００３のアネックスＣに規定される）デリバリースケジューラ（ＨＳＳ）にのみ必要とされる。
符号化映像シーケンス全体にわたって、initial_cpb_removal_delay[ SchedSelIdx ]とinitial_cpb_removal_delay_offset[ SchedSelIdx ]との合計は、SchedSelIdxの各値に対して定数であってもよい。
initial_du_cpb_removal_delay[ SchedSelIdx ]は、ＨＲＤ初期化後の第１のバッファリング期間に対して、上記バッファリング期間ＳＥＩメッセージに関連する上記アクセスユニットにおける第１の復号化ユニットと関連付けられる符号化データの第１番目のビットの上記ＣＰＢにおける到着時間と、上記と同じ復号化ユニットと関連付けられる上記符号化データの上記ＣＰＢからの削除時間との間のSchedSelIdx番目のＣＰＢに対する遅延を規定する。上記シンタックス要素は、initial_cpb_removal_delay_length_minus1 + 1により与えられるビットで表される長さを有している。これは、９０ｋＨｚクロックを単位にしている。initial_du_cpb_removal_delay[ SchedSelIdx ]は、０に等しくはならず、かつ、90000 * (CpbSize[ SchedSelIdx ] / BitRate[ SchedSelIdx ])を超えることはなく、ＣＰＢの大きさは、９０ｋＨｚクロック単位の倍数である時間に相当する。
initial_du_cpb_removal_delay_offset[ SchedSelIdx ]は、上記ＣＰＢへの復号化ユニットの初期デリバリー時間を規定するために、上記cpb_removal_delayと組み合わせてSchedSelIdx番目のＣＰＢに対して用いられる。
initial_cpb_removal_delay_offset[ SchedSelIdx ]は、９０ｋＨｚクロックを単位にしている。上記initial_du_cpb_removal_delay_offset[ SchedSelIdx ]シンタックス要素は、ビットで表される長さがinitial_cpb_removal_delay_length_minus1 + 1で与えられる固定長の符号である。このシンタックス要素は、復号装置では用いられず、（例えば、ＪＣＴＶＣ−Ｉ１００３のアネックスＣに規定される）デリバリースケジューラ（ＨＳＳ）にのみ必要とされる。
符号化映像シーケンス全体にわたって、initial_du_cpb_removal_delay[ SchedSelIdx]とinitial_du_cpb_removal_delay_offset[ SchedSelIdx ]との合計は、SchedSelIdxの各値に対して定数であってもよい。
本明細書中に開示される上記システム及び方法に係る画像タイミングＳＥＩメッセージセマンティックスに関する例を以下に挙げる。特に、上記変形シンタックス要素のセマンティックスに関する追加の詳細を記載する。
上記画像タイミングＳＥＩメッセージの上記シンタックスは、上記画像タイミングＳＥＩメッセージに関連する上記符号化画像に対してアクティブな上記シーケンスパラメータセットの内容に依存する。しかし、瞬時復号リフレッシュ（ＩＤＲ）アクセスユニットの画像タイミングＳＥＩメッセージの前に、同じアクセスユニットにおけるバッファリング期間ＳＥＩメッセージが来なければ、上記符号化画像の第１の符号化スライスネットワーク抽象化レイヤ（ＮＡＬ）ユニットの復号化まで、上記関連シーケンスパラメータセットの活性化（および、上記ビットストリームにおける第１番目の画像ではないＩＤＲ画像に対しては、上記符号化画像がＩＤＲ画像であるという決定）は発生しない。上記符号化画像の上記符号化スライスＮＡＬユニットは、ＮＡＬユニット順で上記画像タイミングＳＥＩメッセージに従うので、上記符号化画像に対してアクティブになる上記シーケンスパラメータのパラメータの決定まで、復号装置が、上記画像タイミングＳＥＩメッセージを含むローバイトシーケンスペイロード（ＲＢＳＰ）を保存し、その後、上記画像タイミングＳＥＩメッセージの構文解析を実行する必要がある場合もある。
上記ビットストリームにおける画像タイミングＳＥＩメッセージの存在は以下のように規定される。CpbDpbDelaysPresentFlagが１に等しい場合、一つの画像タイミングＳＥＩメッセージが上記符号化映像シーケンスのアクセスユニットごとに存在してもよい。そうでない場合（CpbDpbDelaysPresentFlagが０に等しい）、上記符号化映像シーケンスのどのアクセスユニットにも画像タイミングＳＥＩメッセージは存在することはない。
cpb_removal_delayは、前のアクセスユニットにおける最も近いバッファリング期間ＳＥＩメッセージに関連する上記アクセスユニットを上記ＣＰＢから削除した後から上記画像タイミングＳＥＩメッセージに関連する上記アクセスユニットデータをバッファから削除するまでに待つべきクロックティックの数（ＪＣＴＶＣ−Ｉ１００３のサブクローズＥ．２．１参照）を規定する。また、この値は、ＪＣＴＶＣ−Ｉ１００３のアネックスＣに規定されるように、上記ＨＳＳ用に上記ＣＰＢに復号化ユニットデータが到着できる最も早い時間を算出するためにも用いられる。上記シンタックス要素は、ビットで表される長さがcpb_removal_delay_length_minus1 + 1で与えられる固定長の符号である。上記cpb_removal_delayは、モジュロ２(cpb_removal_delay_length_minus1 + 1)計数器の剰余である。
cpb_removal_delayは、異なる符号化映像シーケンスのアクセスユニットであってもよい、バッファリング期間ＳＥＩメッセージを含む上記前のアクセスユニットの上記削除時間に対するクロックティックの数を規定するが、上記シンタックス要素cpb_removal_delayの（ビットで表す）長さを決定するcpb_removal_delay_length_minus1の値は、上記画像タイミングＳＥＩメッセージに関連する上記主符号化画像に対してアクティブな上記シーケンスパラメータセットに符号化されたcpb_removal_delay_length_minus1の値である。
dpb_output_delayは、上記画像の復号化画像バッファ（ＤＰＢ）出力時間を算出するために用いられる。dpb_output_delayは、上記ＣＰＢからアクセスユニットにおける最新の復号化ユニットを削除した後から上記復号化画像が上記ＤＰＢから出力されるまでに待つべきクロックティックの数を規定する（ＪＣＴＶＣ−Ｉ１００３のサブクローズＣ．２参照）。
上記ＤＰＢについて、「短期参照用に使用」または「長期参照用に使用」と記されている状態のままにある場合、画像は、上記ＤＰＢからその出力時間には削除されない。一つのみのdpb_output_delayが復号化画像用に規定される。上記シンタックス要素dpb_output_delayの長さは、dpb_output_delay_length_minus1 + 1によりビットで与えられる。max_dec_pic_buffering[ max_temporal_layers_minus1 ]が０に等しい場合、dpb_output_delayは０に等しくてもよい。
ＪＣＴＶＣ−Ｉ１００３のサブクローズＣ．２に規定されるような出力タイミング適合復号装置から出力される任意の画像の上記dpb_output_delayから導かれる上記出力時間は、復号化順序において任意の後続の符号化映像シーケンスにおける全画像のdpb_output_delayから導かれる上記出力時間に先行してもよい。このシンタックス要素の値により定められた画像出力順序は、サブクローズにより規定されたPicOrderCnt( )の値により定められるものと同じ順序である。１に等しい、または、１に等しいと推定されるno_output_of_prior_pics_flagを有するＩＤＲ画像に復号化順序において先行するがためにサブクローズの「バンピング（ｂｕｍｐｉｎｇ）」工程によって出力されない画像について、dpb_output_delayから導かれる上記出力時間は、同じ符号化映像シーケンス内の全画像に対するPicOrderCnt( )の値の増大と共に増大してもよい。
num_decoding_units_minus1＋１は、上記画像タイミングＳＥＩメッセージが関連する上記アクセスユニットにおける復号化ユニットの数を規定する。num_decoding_units_minus1の値は、０以上PicWidthInCtbs * PicHeightInCtbs - 1以下であってもよい。
１に等しいcommon_du_cpb_removal_delay_flagは、上記シンタックス要素common_du_cpb_removal_delayが存在することを規定する。
０に等しいcommon_du_cpb_removal_delay_flagは、上記シンタックス要素common_du_cpb_removal_delayが存在しないことを規定する。
common_du_cpb_removal_delayは、以下の通りに情報を規定する。復号化ユニットが上記画像タイミングＳＥＩメッセージに関連する上記アクセスユニットにおける第１の復号化ユニットであれば、common_du_cpb_removal_delayは、前のアクセスユニットにおける上記最も近いバッファリング期間ＳＥＩメッセージに関連する上記アクセスユニットにおいて上記最新の復号化ユニットを上記ＣＰＢから削除した後から上記画像タイミングＳＥＩメッセージに関連する上記アクセスユニットにおいて第１の復号化ユニットを上記ＣＰＢから削除するまでに待つべきサブピクチャクロックティックの数を規定する（ＪＣＴＶＣ−Ｉ１００３のサブクローズＥ．２．１参照）。
上記の場合でなければ、common_du_cpb_removal_delayは、上記画像タイミングＳＥＩメッセージに関連する上記アクセスユニットにおける前の復号化ユニットを上記ＣＰＢから削除した後から上記画像タイミングＳＥＩメッセージに関連する上記アクセスユニットにおける現在の復号化ユニットを上記ＣＰＢから削除するまでに待つべきサブピクチャクロックティックの数を規定する（ＪＣＴＶＣ−Ｉ１００３のサブクローズＥ．２．１参照）。また、この値は、アネックスＣに規定されるように、上記ＨＳＳ用に上記ＣＰＢに復号化ユニットデータが到着できる最も早い時間を算出するために用いられる。上記シンタックス要素は、ビットで表される長さがcpb_removal_delay_length_minus1 + 1で与えられる固定長の符号である。上記common_du_cpb_removal_delayは、モジュロ２(cpb_removal_delay_length_minus1 + 1)計数器の剰余である。
common_du_cpb_removal_delayを規定する代替的な方法は以下のとおりである。
common_du_cpb_removal_delayは、上記最新の復号化ユニットを上記ＣＰＢから削除した後から上記画像タイミングＳＥＩメッセージに関連する上記アクセスユニットにおける現在の復号化ユニットを上記ＣＰＢから削除するまでに待つべきサブピクチャクロックティックの数を規定する（ＪＣＴＶＣ−Ｉ１００３のサブクローズＥ．２．１参照）。また、この値は、アネックスＣに規定されるように、上記ＨＳＳ用に上記ＣＰＢに復号化ユニットデータが到着できる最も早い時間を算出するために用いられる。上記シンタックス要素は、ビットで表される長さがcpb_removal_delay_length_minus1 + 1で与えられる固定長の符号である。上記common_du_cpb_removal_delayは、モジュロ２(cpb_removal_delay_length_minus1 + 1)計数器の剰余である。
common_du_cpb_removal_delayは、異なる符号化映像シーケンスのアクセスユニットであってもよい、バッファリング期間ＳＥＩメッセージを含む上記前のアクセスユニットにおける第１の復号化ユニットの上記削除時間に対するサブピクチャクロックティックの数を規定するが、上記シンタックス要素common_du_cpb_removal_delayの（ビットで表す）長さを決定するcpb_removal_delay_length_minus1の値は、上記画像タイミングＳＥＩメッセージに関連する上記符号化画像に対してアクティブな上記シーケンスパラメータセットに符号化されたcpb_removal_delay_length_minus1の値である。
num_nalus_in_du_minus1[ i ]＋１は、上記画像タイミングＳＥＩメッセージが関連する上記アクセスユニットのｉ番目の復号化ユニットにおけるＮＡＬユニットの数を規定する。num_nalus_in_du_minus1[ i ]の値は、０以上PicWidthInCtbs * PicHeightInCtbs - 1以下の範囲にあってもよい。
上記アクセスユニットの上記第１の復号化ユニットは、上記アクセスユニットにおける復号化順序における始めのnum_nalus_in_du_minus1[ 0 ] + 1個の連続するＮＡＬユニットで構成される。上記アクセスユニットの上記ｉ番目（ｉは０より大きい）の復号化ユニットは、復号化順序で上記アクセスユニットの先の復号化ユニットにおける上記最新のＮＡＬユニットの直後に来るnum_nalus_in_du_minus1[ i ] + 1個の連続するＮＡＬユニットで構成される。各復号化ユニットには少なくとも１個のＶＣＬ ＮＡＬユニットが存在していてもよい。ＶＣＬ ＮＡＬユニットに関連するすべての非ＶＣＬ ＮＡＬユニットが同じ復号化ユニットに含まれていてもよい。
du_cpb_removal_delay[ i ]は、前のアクセスユニットにおける上記最も近いバッファリング期間ＳＥＩメッセージに関連する上記アクセスユニットにおける上記第１の復号化ユニットを上記ＣＰＢから削除した後から上記画像タイミングＳＥＩメッセージに関連する上記アクセスユニットにおけるｉ番目の復号化ユニットを上記ＣＰＢから削除するまでに待つべきサブピクチャクロックティックの数を規定する（ＪＣＴＶＣ−Ｉ１００３のサブクローズＥ．２．１参照）。また、この値は、（例えば、ＪＣＴＶＣ−Ｉ１００３のアネックスＣに規定されるように）上記ＨＳＳ用に上記ＣＰＢに復号化ユニットデータが到着できる最も早い時間を算出するために用いられる。上記シンタックス要素は、ビットで表される長さがcpb_removal_delay_length_minus1 + 1で与えられる固定長の符号である。上記du_cpb_removal_delay[ i ]は、モジュロ２(cpb_removal_delay_length_minus1 + 1)計数器の剰余である。
du_cpb_removal_delay[ i ]は、異なる符号化映像シーケンスのアクセスユニットであってもよい、バッファリング期間ＳＥＩメッセージを含む上記前のアクセスユニットにおける第１の復号化ユニットの上記削除時間に対するサブピクチャクロックティックの数を規定するが、上記シンタックス要素du_cpb_removal_delay[ i ]の（ビットで表す）長さを決定するcpb_removal_delay_length_minus1の値は、上記画像タイミングＳＥＩメッセージに関連する上記符号化画像に対してアクティブな上記シーケンスパラメータセットに符号化されたcpb_removal_delay_length_minus1の値である。
ある構成において、復号化ユニット削除および復号化ユニットの復号化のタイミングは以下の通りに実装してもよい。
SubPicCpbFlagが０に等しければ、変数CpbRemovalDelay( m )は、復号化ユニットｍである上記アクセスユニットに関連する上記画像タイミングＳＥＩメッセージにおけるcpb_removal_delayの値に設定され、かつ、変数Tcがtcに設定される。上記の場合でなく、SubPicCpbFlagが１に等しく、かつ、common_du_cpb_removal_delay_flagが０であれば、変数CpbRemovalDelay( m )は、復号化ユニットｍを含む上記アクセスユニットに関連する上記画像タイミングＳＥＩメッセージにおいて、復号化ユニットｍ（ｍは０からnum_decoding_units_minus1の範囲で変動する）のdu_cpb_removal_delay[ i ] の値に設定され、かつ、変数Tcがtc_subに設定される。
場合によっては、SubPicCpbFlagが１に等しく、かつ、common_du_cpb_removal_delay_flagが０であれば、変数CpbRemovalDelay( m )は、復号化ユニットｍを含む上記アクセスユニットに関連する上記画像タイミングＳＥＩメッセージにおいて、復号化ユニットｍ（ｍは０からnum_decoding_units_minus1の範囲で変動する）の(m+1)*du_cpb_removal_delay[ i ]の値に設定され、かつ、変数Tcがtc_subに設定される。
上記の場合でなく、SubPicCpbFlagが１に等しく、かつ、common_du_cpb_removal_delay_flagが１であれば、変数CpbRemovalDelay( m )は、復号化ユニットｍを含む上記アクセスユニットに関連する上記画像タイミングＳＥＩメッセージにおいて、復号化ユニットｍのcommon_du_cpb_removal_delayの値に設定され、かつ、変数Tcがtc_subに設定される。
復号化ユニットｍが、ｎが０に等しい上記復号化ユニット（上記ＨＲＤを初期化する上記アクセスユニットの上記第１の復号化ユニット）である場合、上記ＣＰＢからの上記復号化ユニットの上記公称削除時間は、tr,n( 0 ) = InitCpbRemovalDelay[ SchedSelIdx ]
/ 90000で規定される。
復号化ユニットｍが上記ＨＲＤを初期化しないバッファリング期間の第１のアクセスユニットの上記第１の復号化ユニットである場合、上記ＣＰＢからの上記復号化ユニットの上記公称削除時間は、以下の式で規定される。
tr,n( m ) = tr,n( mb ) + Tc * CpbRemovalDelay( m )、
式中、tr,n(mb)は、先のバッファリング期間の上記第１の復号化ユニットの上記公称削除時間である。
復号化ユニットｍがバッファリング期間の第１の復号化ユニットである場合、mbは、上記復号化ユニットｍの削除時間tr,n( m )でのｍに等しく設定される。バッファリング期間の第１の復号化ユニットではない復号化ユニットｍの上記公称削除時間tr,n( m )は、以下の式で与えられる。
tr,n( m ) = tr,n( mb ) + Tc * CpbRemovalDelay( m )、
式中、tr,n( mb )は、現在のバッファリング期間の上記第１の復号化ユニットの上記公称削除時間である。
復号化ユニットｍの上記削除時間は、以下のように規定される。low_delay_hrd_flagが０に等しい、または、tr,n( m ) >= taf( m )であれば、復号化ユニットｍの上記削除時間は、tr( m ) = tr,n( m )により規定される。上記の場合でなければ（low_delay_hrd_flagが１に等しく、かつ、tr,n( m ) < taf( m )）、復号化ユニットｍの上記削除時間は、tr( m ) = tr,n( m ) + Tc * Ceil( ( taf( m ) - tr,n( m ) ) / Tc)で規定される。後者の事例（low_delay_hrd_flagが１に等しく、かつ、tr,n( m ) < taf( m )である）は、復号化ユニットｍのサイズ（b( m )）が非常に大きいので、上記公称削除時間での削除が妨げられることを示す。
他の場合、復号化ユニットｍの上記削除時間は以下のように規定される。low_delay_hrd_flagが０に等しい、または、tr,n( m ) >= taf( m )である場合、復号化ユニットｍの上記削除時間は、tr( m ) = tr,n( m )で規定される。上記の場合でなければ（low_delay_hrd_flagが１に等しく、かつ、tr,n( m ) < taf( m )である）、上記アクセスユニットにおける最新の復号化ユニットではない復号化ユニットｍの上記削除時間は、tr( m ) = taf( m )で規定され、かつ、上記アクセスユニットにおける最新の復号化ユニットである復号化ユニットｍの上記削除時間はtr( m ) = tr,n( m ) + Tc * Ceil( ( taf( m ) - tr,n( m ) ) / tc)で規定される。後者の事例（low_delay_hrd_flagが１に等しく、かつ、tr,n( m ) < taf( m )である）は、復号化ユニットｍのサイズ（b( m )）が非常に大きいので、上記公称削除時間での削除が妨げられることを示す。
他の場合、復号化ユニットｍの上記削除時間は以下のように規定される。low_delay_hrd_flagが０に等しい、または、tr,n( m ) >= taf( m )である場合、復号化ユニットｍの上記削除時間は、tr( m ) = tr,n( m )で規定される。上記の場合でなければ（low_delay_hrd_flagが１に等しく、かつ、tr,n( m ) < taf( m )である）、上記アクセスユニットにおける最新の復号化ユニットではない復号化ユニットｍの上記削除時間は、tr( m ) = taf( m )で規定され、かつ、上記アクセスユニットにおける最新の復号化ユニットである復号化ユニットｍの上記削除時間はtr( m ) = tr,n( m ) + tc * Ceil( ( taf( m ) - tr,n( m ) ) /tc)で規定される。後者の事例（low_delay_hrd_flagが１に等しく、かつ、tr,n( m ) < taf( m )である）は、復号化ユニットｍのサイズ（b( m )）が非常に大きいので、上記公称削除時間での削除が妨げられることを示す。
他の場合、復号化ユニットｍの上記削除時間は以下のように規定される。low_delay_hrd_flagが０に等しい、または、tr,n( m ) >= taf( m )である場合、復号化ユニットｍの上記削除時間は、tr( m ) = tr,n( m )で規定される。上記の場合でなければ（low_delay_hrd_flagが１に等しく、かつ、tr,n( m ) < taf( m )である）、復号化ユニットｍの上記削除時間は、tr( m ) = taf( m )で規定される。後者の事例（low_delay_hrd_flagが１に等しく、かつ、tr,n( m ) < taf( m )である）は、復号化ユニットｍのサイズ（b( m )）が非常に大きいので、上記公称削除時間での削除が妨げられることを示す。
SubPicCpbFlagが１に等しい場合、アクセスユニットｎの公称ＣＰＢ削除時間tr,n( n )は、アクセスユニットｎにおける上記最新の復号化ユニットの公称ＣＰＢ削除時間に設定され、アクセスユニットｎの上記ＣＰＢ削除時間tr( n )は、アクセスユニットｎにおける上記最新の復号化ユニットの上記ＣＰＢ削除時間に設定される。
SubPicCpbFlagが０に等しい場合、各復号化ユニットがアクセスユニットである。したがって、アクセスユニットｎの上記公称ＣＰＢ削除時間および上記ＣＰＢ削除時間は、復号化ユニットｎの上記公称ＣＰＢ削除時間および上記ＣＰＢ削除時間である。
上記復号化ユニットは、復号化ユニットｍのＣＰＢ削除時間に、瞬時に復号化される。
本明細書中に開示される上記システム及び方法に係る画像タイミングＳＥＩメッセージの変形シンタックスおよびセマンティックスの別の例を以下の表２に示す。本明細書中に開示される上記システム及び方法に係る変更は、太字で表示されている。
Figure 2021093729
表２に示された例は、復号化ユニットを削除する場合に上記ＣＰＢから削除されるべきデータの量を決定するために用いてもよいシンタックス要素（common_num_nalus_in_du_minus1）を含んでいる。common_num_nalus_in_du_minus1＋１は、上記画像タイミングＳＥＩメッセージが関連する上記アクセスユニットの各復号化ユニットにおけるＮＡＬユニットの数を規定する。common_num_nalus_in_du_minus1の値は、０以上PicWidthInCtbs * PicHeightInCtbs - 1以下の範囲の値であってもよい。
上記アクセスユニットの上記第１の復号化ユニットは、上記アクセスユニットにおける復号化順序における始めのcommon_num_nalus_in_du_minus1 + 1個の連続するＮＡＬユニットで構成される。上記アクセスユニットの上記ｉ番目（ｉは０より大きい）の復号化ユニットは、復号化順序で上記アクセスユニットの先の復号化ユニットにおける上記最新のＮＡＬユニットの直後に来るcommon_num_nalus_in_du_minus1 + 1個の連続するＮＡＬユニットで構成される。各復号化ユニットには少なくとも１個のＶＣＬ ＮＡＬユニットが存在していてもよい。ＶＣＬ ＮＡＬユニットに関連するすべての非ＶＣＬ ＮＡＬユニットが同じ復号化ユニットに含まれていてもよい。
本明細書中に開示される上記システム及び方法に係る画像タイミングＳＥＩメッセージの変形シンタックスおよびセマンティックスの別の例を以下の表３に示す。本明細書中に開示される上記システム及び方法に係る変更は、太字で表示されている。
Figure 2021093729
表３に示された例は、１に等しい場合に上記シンタックス要素（common_num_nalus_in_du_minus1）が存在することを規定するシンタックス要素（common_num_nalus_in_du_flag）を含んでいる。０に等しいcommon_num_nalus_in_du_flagは、上記シンタックス要素（common_num_nalus_in_du_minus1）が存在しないことを規定する。
さらに別の実施形態のフラグ（common_du_cpb_removal_delay_flag、common_num_nalus_in_du_minus1）は送信されることはない。代わりに、シンタックス要素（common_num_nalus_in_du_minus1およびcommon_du_cpb_removal_delay）を毎回送信することができる。この場合、これらの要素が信号で伝達されていないことを示すために、これらのシンタックス要素に対して０の値（または他の値）を使うことができる。
上記画像タイミングＳＥＩメッセージの上記シンタックス要素およびセマンティックスに対する変更に追加して、本システムおよび方法は、サブピクチャに基づくＣＰＢの動作とアクセスユニットレベルのＣＰＢ動作とが同じタイミングでの復号化ユニット削除をもたらすように、ビットストリーム上の制約も実装してもよい。
sub_pic_cpb_params_present_flagが１に等しく、つまり、サブピクチャレベルCPB削除遅延パラメータが存在する場合、上記ＣＰＢは、アクセスユニットレベルまたはサブピクチャレベルで動作してもよい。０に等しいsub_pic_cpb_params_present_flagは、サブピクチャレベルＣＰＢ削除遅延パラメータが存在せず、上記ＣＰＢがアクセスユニットレベルで動作することを規定する。sub_pic_cpb_params_present_flagが不在の場合、その値は０に等しいと推定される。
アクセスユニットレベルまたはサブピクチャレベルの両方での動作をサポートするために、以下のビットストリーム上の制約が用いられてもよい。sub_pic_cpb_params_present_flagが１であれば、cpb_removal_delayの値とすべてのｉに対するdu_cpb_removal_delay [i]の値とを信号で伝達する（signalingする）際に以下の制約に従っていることがビット
ストリーム適合性の要件となる。
Figure 2021093729
式中、du_cpb_removal_delay[i]は上記復号化ユニットＣＰＢ削除遅延パラメータであり、tcはクロックティックであり、tc,subはサブピクチャクロックティックであり、num_decoding_units_minus1は、上記アクセスユニットにおける復号化ユニットの１でオフセットされる量であり、iはインデックスである。いくつかの実施形態において、上記制約を満たすために耐性パラメータ（a tolerance parameter）を追加できる。
アクセスユニットレベルまたはサブピクチャレベルの両方の動作をサポートするために、変数Tdu(k)を以下の通りに定義した、以下のようなビットストリーム上の制約を用いてもよい。
Figure 2021093729
式中、du_cpb_removal_delay_minus1k[ i ]およびnum_decoding_units_minus1kは、ｋ番目のアクセスユニット（上記ＨＲＤを初期化する上記アクセスユニットについてk=0であり、かつ、k<1についてTdu(k)=0である）のＩ番目の復号化ユニットに対するパラメータであり、du_cpb_removal_delay_minus1k[ i ]+1=du_cpb_removal_delay_minus1k[i]は、上記ｋ番目のアクセスユニットの上記Ｉ番目の復号化ユニットに対する上記復号化ユニットＣＰＢ削除遅延パラメータであり、かつ、num_decoding_units_minus1kは、上記ｋ番目のアクセスユニットにおける復号化ユニットの数であり、tcはクロックティックであり、tc,subはサブピクチャクロックティックであり、ｉおよびｋはインデックスである。そして、上記画像タイミングフラグ（例：sub_pic_cpb_params_present_flag）が１に設定されている場合、以下の制約が真である。
(au_cpb_removal_delay_minus1 + 1)*tc== Tdu(k)、
式中、(au_cpb_removal_delay_minus1 + 1)=cpb_removal_delay、つまり、上記ＣＰＢ削除遅延である。したがって、この場合、上記ＣＰＢ削除遅延(au_cpb_removal_delay_minus1 + 1)は、サブピクチャに基づくＣＰＢの動作とアクセスユニットに基づくＣＰＢの動作とが同じタイミングでのアクセスユニット削除および上記アクセスユニットの最新の復号化ユニット削除をもたらすように設定される。
アクセスユニットレベルまたはサブピクチャレベルの両方での動作をサポートするために、以下のビットストリーム上の制約が用いられてもよい。sub_pic_cpb_params_present_flagが１であれば、cpb_removal_delayの値とすべてのｉに対するdu_cpb_removal_delay [i]の値とを信号で伝達する際に以下の制約に従っていることがビットストリーム適合性の要件となる。
Figure 2021093729
式中、du_cpb_removal_delay[i]は上記復号化ユニットＣＰＢ削除遅延パラメータであり、tcはクロックティックであり、tc,subはサブピクチャクロックティックであり、num_decoding_units_minus1は、上記アクセスユニットにおける復号化ユニットの１でオフセットされる量であり、iはインデックスである。
アクセスユニットレベルまたはサブピクチャレベルの両方での動作をサポートするために、以下のビットストリーム上の制約が用いられてもよい。sub_pic_cpb_params_present_flagが１であれば、cpb_removal_delayおよびdu_cpb_removal_delay[num_decoding_units_minus1]の値を信号で伝達する際に以下の制約に従っていることがビットストリーム適合性の要件となる。
cpb_removal_delay*tc = du_cpb_removal_delay[num_decoding_units_minus1]* tc,sub、式中、du_cpb_removal_delay[num_decoding_units_minus1]は「num_decoding_units_minus1」番目の復号化ユニットに対する上記復号化ユニットＣＰＢ削除遅延パラメータであり、tcはクロックティックであり、tc,subはサブピクチャクロックティックであり、num_decoding_units_minus1は、上記アクセスユニットにおける復号化ユニットの１でオフセットされる量である。いくつかの実施形態において、上記制約を満たすために耐性パラメータを追加できる。
アクセスユニットレベルまたはサブピクチャレベルの両方での動作をサポートするために、以下のビットストリーム上の制約が用いられてもよい。sub_pic_cpb_params_present_flagが１であれば、cpb_removal_delayおよびすべてのｉに対するdu_cpb_removal_delay [i]の値を信号で伝達する際に以下の制約に従っていることがビットストリーム適合性の要件となる。
-1<=(cpb_removal_delay*tc - du_cpb_removal_delay[num_decoding_units_minus1]* tc, sub) <=1、
式中、du_cpb_removal_delay[num_decoding_units_minus1]は「num_decoding_units_minus1」番目の復号化ユニットに対する上記復号化ユニットＣＰＢ削除遅延パラメータであり、tcはクロックティックであり、tc,subはサブピクチャクロックティックであり、num_decoding_units_minus1は、上記アクセスユニットにおける復号化ユニットの１でオフセットされる量である。
更に、本発明のシステムおよび方法は、復号化ユニット削除のタイミングを変更してもよい。サブピクチャレベルＣＰＢ削除遅延パラメータが存在する場合、「大画像」（low_delay_hrd_flagが１であり、かつ、tr,n( m ) < taf( m )である場合）に対する復号化ユニットの上記削除時間は、クロックティック計数器およびサブピクチャクロックティック計数器に起因して発生する可能性がある差を補償するように変更されてもよい。
sub_pic_cpb_params_present_flagが１に等しい場合、サブピクチャレベルＣＰＢ削除遅延パラメータが存在し、上記ＣＰＢは、アクセスユニットレベルまたはサブピクチャレベルで動作してもよい。０に等しいsub_pic_cpb_params_present_flagは、サブピクチャレベルＣＰＢ削除遅延パラメータが存在せず、上記ＣＰＢがアクセスユニットレベルで動作することを規定する。sub_pic_cpb_params_present_flagが存在しない場合、その値は、０に等しいと推定される。
具体的には、以下に復号化ユニット削除のタイミングと復号化ユニットの復号化の実装の一例を挙げる。変数SubPicCpbPreferredFlagは、外部手段によって規定されるか、または、外部手段によって規定されない場合は、０に設定される。変数SubPicCpbFlagは、SubPicCpbFlag = SubPicCpbPreferredFlag && sub_pic_cpb_params_present_flagで導かれる。SubPicCpbFlagが０に等しければ、上記ＣＰＢはアクセスユニットレベルで動作し、各復号化ユニットはアクセスユニットである。SubPicCpbFlagが０に等しくなければ、上記ＣＰＢは、サブピクチャレベルで動作し、各復号化ユニットは、アクセスユニットの部分集合である。
SubPicCpbFlagが０に等しければ、変数CpbRemovalDelay( m )は、復号化ユニットｍである上記アクセスユニットに関連する上記画像タイミングＳＥＩメッセージにおけるcpb_removal_delayの値に設定され、変数Tcはtcに設定される。SubPicCpbFlagが０に等しくなければ、上記変数CpbRemovalDelay( m )は、復号化ユニットｍを含む上記アクセスユニットに関連する上記画像タイミングＳＥＩメッセージにおける復号化ユニットｍのdu_cpb_removal_delay[ i ]の値に設定され、かつ、変数Tcがtc_subに設定される。
復号化ユニットｍが、ｎが０に等しい上記復号化ユニット（上記ＨＲＤを初期化する上記アクセスユニットの上記第１の復号化ユニット）である場合は、上記ＣＰＢからの上記復号化ユニットの上記公称削除時間が、
tr,n( 0 ) = InitCpbRemovalDelay[ SchedSelIdx ] / 90000
により規定される。
復号化ユニットｍが、上記ＨＲＤを初期化しないバッファリング期間の第１のアクセスユニットの第１の復号化ユニットである場合、上記ＣＰＢからの上記復号化ユニットの上記公称削除時間は、以下により規定される。
tr,n( m ) = tr,n( mb ) + Tc * CpbRemovalDelay( m )、
式中、tr,n(mb)は、上記先のバッファリング期間の上記第１の復号化ユニットの上記公称削除時間である。
復号化ユニットｍがバッファリング期間の第１の復号化ユニットである場合、mbは、上記復号化ユニットｍの上記削除時間tr,n( m )におけるｍに等しくなるように設定される。
バッファリング期間の第１の復号化ユニットではない復号化ユニットｍの上記公称削除時間tr,n( m )は、以下の式で与えられる。
tr,n( m ) = tr,n( mb) + Tc * CpbRemovalDelay( m )、
式中、tr,n(mb)は、現在のバッファリング期間の第１の復号化ユニットの上記公称削除時間である。
復号化ユニットｍの上記削除時間は、以下のように規定される。変数ClockDiffは、ClockDiff = (num_units_in_tick-(num_units_in_sub_tick*(num_decoding_units_minus1+1)) / time_scale)と定義される。ある場合において、以下の式を満たすように、パラメータnum_units_in_tick、num_units_in_sub_tick、num_decoding_units_minus1が信号で伝達されることがビットストリーム適合性の要件となっていてもよい。
(num_units_in_tick-(num_units_in_sub_tick*(num_decoding_units_minus1+1))) >=0
別の場合において、以下の式を満たすように、パラメータnum_units_in_tick、num_units_in_sub_tick、num_decoding_units_minus1が信号で伝達されることがビットストリーム適合性の要件となってもよい。
(num_units_in_tick-(num_units_in_sub_tick*(num_decoding_units_minus1+1))) <=0
もしlow_delay_hrd_flagが０に等しい、または、tr,n( m ) >= taf( m )ならば、復号化ユニットｍの上記削除時間は、tr( m ) = tr,n( m )で規定される。
上記の場合でなく（low_delay_hrd_flagが１に等しく、かつ、tr,n( m ) < taf( m )である）、かつ、sub_pic_cpb_params_present_flagが１に等しく、上記ＣＰＢがサブピクチャレベルで動作する場合に、ClockDiffがゼロより大きければ、上記アクセスユニットｎの最新の復号化ユニットである場合の復号化ユニットｍの上記削除時間は、tr( m ) = tr,n( m ) + Tc * Ceil( ( taf( m ) - tr,n( m ) ) / Tc) + ClockDiffで規定される。
上記の場合でなく（low_delay_hrd_flagが１に等しく、かつ、tr,n( m ) < taf( m )である）、かつ、sub_pic_cpb_params_present_flagが１に等しく、上記ＣＰＢがアクセスユニットレベルで動作する場合に、ClockDiffがゼロより小さければ、アクセスユニットｎの上記削除時間は、tr( m ) = tr,n( m ) + tc * Ceil( ( taf( m ) - tr,n( m ) ) / tc ) - ClockDiffで規定される。
上記の場合でなければ（low_delay_hrd_flagが１に等しく、かつ、tr,n( m ) < taf( m
)である）、復号化ユニットｍの上記削除時間は、tr( m ) = tr,n( m ) + Tc * Ceil( (
taf( m ) - tr,n( m ) ) / Tc)で規定される。後者の場合（low_delay_hrd_flagが１に等しく、かつ、tr,n( m ) < taf( m )である）は、復号化ユニットｍのサイズb( m )が非常に大きく、上記公称削除時間での削除が妨げられることを示す。
上記の場合でなく（low_delay_hrd_flagが１に等しく、かつ、tr,n( m ) < taf( m )である）、かつ、画像タイミングフラグが１に設定されており、上記ＣＰＢがサブピクチャレベルで動作している場合、アクセスユニットの最新の復号化ユニットｍの削除時間tr(m )は、以下の式によって設定される。
tr( m ) = tr,n( m ) + min( (tc_sub* Ceil( ( taf( m ) - tr,n( m ) ) / tc_sub ))、 (tc * Ceil( ( taf( n ) - tr,n( n ) ) / tc )))、
式中、tr,n( m )は、上記最新の復号化ユニットｍの上記公称削除時間であり、tc_subは、サブピクチャクロックティックであり、Ceil()は、天井関数であり、taf( m )は、最新の復号化ユニットｍの最終到着時間であり、tr,n( n )は、上記アクセスユニットｎの上記公称削除時間であり、tcはクロックティックであり、taf( n )は、アクセスユニットｎの最終到着時間である。
上記の場合でなく（low_delay_hrd_flagが１に等しく、かつ、tr,n( n ) < taf( n )である）、かつ、画像タイミングフラグが１に設定されており、上記ＣＰＢがアクセスユニットレベルで動作している場合、アクセスユニットｎの削除時間tr( n )は、以下の式によって設定される。
tr( n ) = tr,n( n ) + min( (tc_sub* Ceil( ( taf( m ) - tr,n( m ) ) / tc_sub )), (tc * Ceil( ( taf( n ) - tr,n( n ) ) / tc)))、
式中、tr,n( m )は、上記最新の復号化ユニットｎの上記公称削除時間であり、tc_subは、サブピクチャクロックティックであり、Ceil()は、天井関数であり、taf( m )は、最新の復号化ユニットｍの最終到着時間であり、tr,n( n )は、上記アクセスユニットｎの上記公称削除時間であり、tcはクロックティックであり、taf( n )は、アクセスユニットｎの最終到着時間である。
上記の場合でなく（low_delay_hrd_flagが１に等しく、かつ、tr,n( m ) < taf( m )である）、かつ、画像タイミングフラグが１に設定されており、上記ＣＰＢがサブピクチャレベルで動作している場合、アクセスユニットの最新の復号化ユニットｍの削除時間tr(m )は、以下の式によって設定される。
tr( m ) = tr,n( m ) + (tc* Ceil( ( taf( n ) - tr,n( n ) ) / tc))、
式中、tr,n( m )は、上記最新の復号化ユニットｍの上記公称削除時間であり、tc_subは、サブピクチャクロックティックであり、Ceil()は、天井関数であり、taf( m )は、最新の復号化ユニットｍの最終到着時間であり、tr,n( n )は、上記アクセスユニットｎの上記公称削除時間であり、tcはクロックティックであり、taf( n )は、アクセスユニットｎの最終到着時間である。
上記の場合でなく（low_delay_hrd_flagが１に等しく、かつ、tr,n( n ) < taf( n )である）、かつ、画像タイミングフラグが１に設定されており、上記ＣＰＢがアクセスユニットレベルで動作している場合、アクセスユニットｎの削除時間tr( n )は、以下の式によって設定される。
tr( n ) = tr,n( n ) + (tc* Ceil( ( taf( n ) - tr,n( n ) ) / tc))、
式中、tr,n( m )は、上記最新の復号化ユニットｎの上記公称削除時間であり、tc_subは、サブピクチャクロックティックであり、Ceil()は、天井関数であり、taf( m )は、最新の復号化ユニットｍの最終到着時間であり、tr,n( n )は、上記アクセスユニットｎの上記公称削除時間であり、tcはクロックティックであり、taf( n )は、アクセスユニットｎの最終到着時間である。
上記の場合でなく（low_delay_hrd_flagが１に等しく、かつ、tr,n( m ) < taf( m )である）、かつ、画像タイミングフラグが１に設定されており、上記ＣＰＢがサブピクチャレベルで動作している場合、上記アクセスユニットの最新の復号化ユニットではない復号化ユニットの削除時間は、tr( m ) = taf( m )（式中、taf( m )は、復号化ユニットｍの最終到着時間である）として設定される。そして、アクセスユニットの最新の復号化ユニットｍの削除時間tr( m )は、以下の式によって設定される。
tr( m ) = tr,n( m ) + (tc_sub* Ceil( ( taf( m ) - tr,n( m ) ) / tc_sub))、
式中、tr,n( m )は、上記最新の復号化ユニットｍの上記公称削除時間であり、tc_subは、サブピクチャクロックティックであり、Ceil()は、天井関数であり、taf( m )は、最新の復号化ユニットｍの最終到着時間であり、tr,n( n )は、上記アクセスユニットｎの上記公称削除時間であり、tcはクロックティックであり、taf( n )は、アクセスユニットｎの最終到着時間であり、taf( m )は、上記アクセスユニットｎにおける最新の復号化ユニットｍの最終到着時間である。
上記の場合でなく（low_delay_hrd_flagが１に等しく、かつ、tr,n( m ) < taf( m )である）、かつ、画像タイミングフラグが１に設定されており、上記ＣＰＢがサブピクチャレベルで動作している場合、上記アクセスユニットの最新の復号化ユニットではない復号化ユニットの削除時間は、tr( m ) = taf( m )（式中、taf( m )は、復号化ユニットｍの最終到着時間である）として設定される。そして、アクセスユニットの最新の復号化ユニットｍの削除時間tr( m )は、以下の式によって設定される。
tr( m ) = tr,n( m ) + (tc* Ceil( ( taf( m ) - tr,n( m ) ) / tc))、
式中、tr,n( m )は、上記最新の復号化ユニットｍの上記公称削除時間であり、tc_subは、サブピクチャクロックティックであり、Ceil()は、天井関数であり、taf( m )は、最新の復号化ユニットｍの最終到着時間であり、tr,n( n )は、上記アクセスユニットｎの上記公称削除時間であり、tcはクロックティックであり、taf( n )は、アクセスユニットｎの最終到着時間であり、taf( m )は、上記アクセスユニットｎにおける最新の復号化ユニットｍの最終到着時間である。
上記の場合でなく（low_delay_hrd_flagが１に等しく、かつ、tr,n( m ) < taf( m )である）、かつ、画像タイミングフラグが１に設定されており、上記ＣＰＢがサブピクチャレベルで動作している場合、上記復号化ユニットの削除時間は、以下の式として設定される。
tr( m ) = taf( m )、
式中、tr,n( m )は、上記復号化ユニットｍの上記公称削除時間であり、tc_suｂは、サブピクチャクロックティックであり、Ceil()は、天井関数であり、taf( m )は、復号化ユニットｍの最終到着時間であり、tr,n( n )は、上記アクセスユニットｎの上記公称削除時間であり、tcはクロックティックであり、taf( n )は、アクセスユニットｎの最終到着時間であり、taf( m )は、上記アクセスユニットｎにおける上記復号化ユニットｍの最終到着時間である。
上記の場合でなく（low_delay_hrd_flagが１に等しく、かつ、tr,n( n ) < taf( n )である）、かつ、画像タイミングフラグが１に設定されており、上記ＣＰＢがアクセスユニットレベルで動作している場合、アクセスユニットｎの削除時間tr( n )は、以下の式によって設定される。
tr( n ) = taf( n )、
式中、tr,n( m )は、上記最新の復号化ユニットｎの上記公称削除時間であり、tc_subは、サブピクチャクロックティックであり、Ceil()は、天井関数であり、taf( m )は、最新の復号化ユニットｍの最終到着時間であり、tr,n( n )は、上記アクセスユニットｎの上記公称削除時間であり、tcはクロックティックであり、taf( n )は、アクセスユニットｎの最終到着時間である。
SubPicCpbFlagが１に等しい場合、アクセスユニットｎの上記公称ＣＰＢ削除時間tr,n(
n )は、アクセスユニットｎにおける最新の復号化ユニットの上記公称ＣＰＢ削除時間に設定され、アクセスユニットｎの上記ＣＰＢ削除時間tr( n )は、アクセスユニットｎにおける上記最新の復号化ユニットの上記ＣＰＢ削除時間に設定される。
SubPicCpbFlagが０に等しい場合、各復号化ユニットはアクセスユニットである。よって、アクセスユニットｎの上記公称ＣＰＢ削除時間および上記ＣＰＢ削除時間は、復号化ユニットｎの上記公称ＣＰＢ削除時間および上記ＣＰＢ削除時間である。上記復号化ユニットは、復号化ユニットｍのＣＰＢ削除時間に、瞬時に復号化される。
上の記述に示されるように、本明細書中に開示される上記システム及び方法は、サブピクチャに基づくパラメータを伝える画像タイミングＳＥＩメッセージのビットストリームを変更するシンタックスおよびセマンティックスを実現する。いくつかの構成において、本明細書中に開示される上記システム及び方法をＨＥＶＣ仕様に適用してもよい。
便宜上、本明細書中に開示される上記システム及び方法に適用できるいくつかの定義が以下の通り与えられる。ランダムアクセスポイントは、現在の画像および出力順において、前記現在の画像の後にくる全画像を復号化するために、ビットストリームの復号化が上記ランダムアクセスポイントに先行するビットストリームにおけるどのポイントへのアクセスをも必要としない場合のデータストリーム（例：上記ビットストリーム）における任意のポイントであってもよい。
バッファリング期間は、復号化順序における上記バッファリング期間ＳＥＩメッセージにおける２つのインスタンス間のアクセスユニットのセットとして規定されてもよい。付加エンハンスメント情報（ＳＥＩ）は、ＶＣＬ ＮＡＬユニットからの符号化画像のサンプルを復号化するために必要とされない情報を含んでいてもよい。ＳＥＩメッセージは、復号化、表示、あるいは、その他目的に関係する手順において役に立つものであってもよい。適合する復号装置は、ＨＥＶＣ仕様（例えば、ＨＥＶＣ仕様のアネックスＣ（ＪＣＴＶＣ−Ｉ１００３）は、適合仕様を含んでいる）へ出力順を適合させる目的でこの情報を処理することを求められることはない。あるＳＥＩメッセージ情報が、ビットストリームの適合性を確認するため、および、出力タイミングに関する復号装置の適合を確認するために用いられてもよい。
バッファリング期間ＳＥＩメッセージは、バッファリング期間に関連するＳＥＩメッセージであってもよい。画像タイミングＳＥＩメッセージは、ＣＰＢの削除時間に関連するＳＥＩメッセージであってもよい。これらのメッセージは、ビットストリームの到着時間および符号化画像の削除時間を定義するシンタックスおよびセマンティックスを定義してもよい。
符号化画像バッファ（ＣＰＢ）は、仮想参照復号装置（ＨＲＤ）において規定される復号化順序でアクセスユニットを含む先入先出バッファであってもよい。アクセスユニットは、復号化順序で連続するネットワーク抽象化レイヤ（ＮＡＬ）ユニットのセットであってもよく、厳密に一つの符号化画像を含んでいてもよい。上記符号化画像の符号化スライスのＮＡＬユニットに加えて、上記アクセスユニットは、上記符号化画像のスライスを含んでいない他のＮＡＬユニットも含んでいてもよい。アクセスユニットの復号化は、常に、復号化画像をもたらす。ＮＡＬユニットは、続くデータのタイプの表示を含むシンタックス構造およびエミュレーション防止バイトと共に必要に応じて組み入れられるローバイトシーケンスペイロードの形式のそのデータを含むバイトであってもよい。
本明細書中に用いられる、用語「共通」は、通常、一つ以上のものに適用可能なシンタックス要素または変数を指す。例えば、画像タイミングＳＥＩメッセージにおけるシンタックス要素の内容において、用語「共通（ｃｏｍｍｏｎ）」は、上記シンタックス要素（例：common_du_cpb_removal_delay）が上記画像タイミングＳＥＩメッセージに関連するアクセスユニットにおける全復号化ユニットに適用できることを意味していてもよい。さらに、「ｎ」および「ｍ」で記載されるデータのユニットは、通常、それぞれ、アクセスユニットおよび復号化ユニットを指す。
類似する符号が機能上類似する構成要素を示す図面を参照して、以下に、様々な構成を記載する。本明細書において概要を記載され、図に示される上記システムおよび方法は、幅広く様々に異なる構成にして、設計することが可能である。よって、図面に表されるようないくつかの構成の以下のより詳細な記載は、請求の範囲を限定するものではなく、上記システムおよび方法の単に代表的なものである。
図１Ａは、メッセージを送信し、ビットストリームをバッファリングするためのシステムおよび方法を実装できる一つ以上の電子装置１０２の例を示すブロック図である。この例において、電子装置Ａ１０２ａおよび電子装置Ｂ１０２ｂが示される。ここで、電子装置Ａ１０２ａおよび電子装置Ｂ１０２ｂに関して記載される特徴および機能性の一つ以上のものは、いくつかの構成において、一つの電子装置に一体化されてもよいことに注意すべきである。
電子装置Ａ１０２ａは、符号化装置１０４を含んでいる。上記符号化装置１０４は、メッセージ生成モジュール１０８を含んでいる。電子装置Ａ１０２ａの中に含まれる各構成要素（例：上記符号化装置１０４および上記メッセージ生成モジュール１０８）は、ハードウェア、ソフトウェア、または、両者の組み合わせで実装してもよい。
電子装置Ａ１０２ａは、一つ以上の入力画像１０６を取得してもよい。いくつかの構成において上記入力画像１０６は、画像センサを用いて電子装置Ａ１０２ａで取得、メモリから取得、および/または、他の電子装置から取得してもよい。
上記符号化装置１０４は、符号化データを作り出すために、上記入力画像１０６を符号化してもよい。例えば、上記符号化装置１０４は、一連の入力画像１０６（例：映像）を符号化してもよい。ある構成において、上記符号化装置１０４は、ＨＥＶＣ符号化装置であってもよい。上記符号化データは、デジタルデータ（例：ビットストリーム１１４の一部）であってもよい。上記符号化装置１０４は、入力信号に基づき、オーバーヘッドシグナリングを発生させてもよい。
上記メッセージ生成モジュール１０８は、一つ以上のメッセージを生成してもよい。例えば、上記メッセージ生成モジュール１０８は、一つ以上のＳＥＩメッセージまたは他のメッセージを生成してもよい。サブピクチャレベルの動作をサポートするＣＰＢに対して、上記電子装置１０２は、サブピクチャパラメータ（例：ＣＰＢ削除遅延パラメータ）を送信してもよい。具体的には、上記電子装置１０２（例：上記符号化装置１０４）は、画像タイミングＳＥＩメッセージに共通復号化ユニットＣＰＢ削除遅延パラメータを含むかどうかを決定してもよい。例えば、上記符号化装置１０４が上記画像タイミングＳＥＩメッセージに共通復号化ユニットＣＰＢ削除遅延パラメータ（例：common_du_cpb_removal_delay）を含んでいる場合、上記電子装置は、フラグ（例：common_du_cpb_removal_delay_flag）を１に設定してもよい。上記共通復号化ユニットＣＰＢ削除遅延パラメータが含まれる場合、上記電子装置は、アクセスユニットにおける全復号化ユニットに適用できる上記共通復号化ユニットＣＰＢ削除遅延パラメータを生成してもよい。すなわち、アクセスユニットにおける復号化ユニットごとに復号化ユニットＣＰＢ削除遅延パラメータを含むよりも、共通パラメータが、上記画像タイミングＳＥＩメッセージが関連する上記アクセスユニットにおける全復号化ユニットに適用されてもよい。
一方、上記画像タイミングＳＥＩメッセージに上記共通復号化ユニットＣＰＢ削除遅延パラメータが含まれるべきでない場合、上記電子装置１０２は、上記画像タイミングＳＥＩメッセージが関連する上記アクセスユニットにおける復号化ユニットごとに別の復号化ユニットＣＰＢ削除遅延を発生してもよい。メッセージ生成モジュール１０８は、以下の図２および図３に関連して記載される手順のうちの一つ以上を実行してもよい。
いくつかの構成において、電子装置Ａ１０２ａは、ビットストリーム１１４の一部として電子装置Ｂ１０２ｂに上記メッセージを送信してもよい。いくつかの構成において、電子装置Ａ１０２ａは、別の伝送１１０で上記メッセージを電子装置Ｂ１０２ｂに送信してもよい。例えば、上記別の伝送は、ビットストリーム１１４の一部でなくてもよい。例えば、画像タイミングＳＥＩメッセージまたは他のメッセージは、ある帯域外機構を用いて送信してもよい。いくつかの構成において、他のメッセージが、上に記載の画像タイミングＳＥＩメッセージの特徴の一つ以上を含んでいてもよい。さらに、一つ以上の態様において、上記他のメッセージを上に記載のＳＥＩメッセージと同様に利用してもよいことに注意すべきである。
上記符号化装置１０４（および、例えば、メッセージ生成モジュール１０８）は、ビットストリーム１１４を作り出してもよい。上記ビットストリーム１１４は、上記入力画像１０６に基づく符号化画像データを含んでいてもよい。いくつかの構成において、上記ビットストリーム１１４は、画像タイミングＳＥＩメッセージまたは他のメッセージ、スライスヘッダー、ＰＰＳなどのオーバーヘッドデータを含んでいてもよい。追加入力画像１０６が符号化される時に、上記ビットストリーム１１４は、一つ以上の符号化画像を含んでもよい。例えば、上記ビットストリーム１１４は、対応するオーバーヘッドデータ（例：画像タイミングＳＥＩメッセージまたは他のメッセージ）と共に一つ以上の符号化画像を含んでいてもよい。
上記ビットストリーム１１４は、復号装置１１２に与えられてもよい。一例において、上記ビットストリーム１１４は、有線または無線リンクを用いて、電子装置Ｂ１０２ｂへ伝送してもよい。いつくかの場合において、これはインターネットまたはローカルエリア・ネットワーク（ＬＡＮ）のようなネットワーク上で行われてもよい。図１Ａに示されるように、上記復号装置１１２は、電子装置Ａ１０２ａの上記符号化装置１０４とは別に、電子装置Ｂ１０２ｂで実装してもよい。ここで、いくつかの構成において、上記符号化装置１０４と復号装置１１２とが、同じ電子装置に実装されてもよいことに注意すべきである。上記符号化装置１０４および復号装置１１２が同じ電子装置で実装されるように実施する場合、例えば、上記ビットストリーム１１４は、上記復号装置１１２へバスを経由して与えられてもよいし、上記復号装置１１２により取得されるようにメモリに保存されていてもよい。
上記復号装置１１２は、ハードウェア、ソフトウェア、または、両者の組み合わせにより実装してもよい。ある構成において、上記復号装置１１２は、ＨＥＶＣ復号装置であってもよい。上記復号装置１１２は、上記ビットストリーム１１４を受信（例：取得）してもよい。上記復号装置１１２は、上記ビットストリーム１１４に基づいて一つ以上の復号化画像１１８を生成してもよい。上記復号化画像１１８の表示、再生、メモリ保存、他の装置への伝送などのうちいずれか一つ以上をしてもよい。
上記復号装置１１２は、ＣＰＢ１２０を含んでいてもよい。上記ＣＰＢ１２０は、符号化画像を一時的に保存してもよい。上記ＣＰＢ１２０は、いつデータを削除するかを決定するために、画像タイミングＳＥＩメッセージにおいて見つけられるパラメータを用いてもよい。上記ＣＰＢ１２０がサブピクチャレベルの動作をサポートする場合、一度にアクセスユニット全体が削除されるのではなく、個別の復号化ユニットが削除されてもよい。上記復号装置１１２は、復号化画像バッファ（ＤＰＢ）１２２を含んでいてもよい。各復号化画像は、出力およびクロッピングのためだけでなく、復号化処理の参照用に上記ＤＰＢ１２２に配置される。復号化画像は、ＤＰＢ出力時間の後半に、または、インター予測参照用に必要とされなくなった時に、上記ＤＰＢから削除される。
上記復号装置１１２は、メッセージ（例：画像タイミングＳＥＩメッセージまたは他のメッセージ）を受信してもよい。さらに、上記復号装置１１２は、上記受信したメッセージが共通復号化ユニットＣＰＢ削除遅延パラメータ（例：common_du_cpb_removal_delay）を含んでいるかを判定してもよい。これの判定には、上記画像タイミングＳＥＩメッセージに上記共通パラメータが存在する場合に設定されるフラグ（例：common_du_cpb_removal_delay_flag）を識別する工程が含まれていてもよい。上記共通パラメータが存在すれば、上記復号装置１１２は上記アクセスユニットにおける全復号化ユニットに適用可能な上記共通復号化ユニットＣＰＢ削除遅延パラメータを決定できる。上記共通パラメータが存在しなければ、上記復号装置１１２は、上記アクセスユニットにおける復号化ユニットごとに別の復号化ユニットＣＰＢ削除遅延パラメータを決定してもよい。さらに、上記復号装置１１２は、上記共通復号化ユニットＣＰＢ削除遅延パラメータまたは上記別の復号化ユニットＣＰＢ削除遅延パラメータを用いて、上記ＣＰＢ１２０から復号化ユニットを削除してもよい。上記ＣＰＢ１２０は、以下の図４および図５に関係して記載される手順のうちの一つ以上を実行してもよい。
上に記載されたＨＲＤは、図１Ａに示される上記復号装置１１２の一例であってもよい。よって、いくつかの構成において、電子装置１０２は、上記のＨＲＤ、ＣＰＢ１２０およびＤＰＢ１２２に基づいて動作してもよい。
上記電子装置１０２に含まれる構成要素またはその部分の一つ以上がハードウェアで実装されてもよいことに注意すべきである。例えば、これらの構成要素またはその部分の一つ以上が、チップ、電気回路またはハードウェア部品などとして実装されていてもよい。本明細書において記載される上記機能および方法の一つ以上が、ハードウェアを用いて実装、および／または、実行されてもよいことにも注意をすべきである。例えば、本明細書において記載される上記方法のうちの一つ以上が、チップセット、特定用途向け集積回路（ＡＳＩＣ）、大規模集積回路（ＬＳＩ）または集積回路等として実装、および／または、それらを用いて実現されてもよい。
図１Ｂは、符号化装置１９０８および復号装置１９７２の別の例を示すブロック図である。本例において、電子装置Ａ１９０２および電子装置Ｂ１９７０が示される。しかし、いくつかの構成において、電子装置Ａ１９０２および電子装置Ｂ１９７０に関連して記載される特徴および機能性は、一つの電子装置に一体化されていてもよいことに注意すべきである。
電子装置Ａ１９０２は、上記符号化装置１９０８を含んでいる。上記符号化装置１９０８は、ベースレイヤ符号化装置１９１０およびエンハンスメントレイヤ符号化装置１９２０を含んでいてもよい。上記映像符号化装置１９０８は、後述するように、スケーラブル映像符号化およびマルチビュー映像符号化に適している。上記符号化装置１９０８は、ハードウェア、ソフトウェア、または、両者の組み合わせにより実装されていてもよい。ある構成において、上記符号化装置１９０８は、高効率映像符号化方式（ＨＥＶＣ）符号化装置であり、スケーラブルおよび／またはマルチビューを含んでいてもよい。別の符号化装置を同様に用いてもよい。電子装置Ａ１９０２は、ソース１９０６を取得してもよい。いくつかの構成において、上記ソース１９０６は、画像センサを用いて電子装置Ａ１９０２で取得、メモリから取得、または、別の電子装置から受信してもよい。
上記符号化装置１９０８は、ベースレイヤビットストリーム１９３４およびエンハンスメントレイヤビットストリーム１９３６を作り出すために、上記ソース１９０６を符号化してもよい。例えば、上記符号化装置１９０８は、上記ソース１９０６における一連の画像（例：映像）を符号化してもよい。特に、品質スケーラビリティとしても知られるＳＮＲスケーラビリティに関するスケーラブル映像符号化の目的で、同じソース１９０６を上記ベースレイヤおよび上記エンハンスメントレイヤ符号化装置に与えてもよい。特に、空間スケーラビリティのスケーラブル映像符号化の目的で、ダウンサンプルしたソースを上記ベースレイヤ符号化装置に使用してもよい。特に、マルチビュー符号化の目的で、異なるビューソースを上記ベースレイヤ符号化装置および上記エンハンスメントレイヤ符号化装置に使用してもよい。上記符号化装置１９０８は、図６Ｂに関連して後述する符号化装置１７８２に似ていてもよい。
上記ビットストリーム１９３４、１９３６は、上記ソース１９０６に基づく符号化画像データを含んでいてもよい。いくつかの構成において、上記ビットストリーム１９３４、１９３６は、スライスヘッダー情報やＰＰＳ情報などのようなオーバーヘッドデータも含んでいてもよい。上記ソース１９０６における追加画像が符号化される時に、上記ビットストリーム１９３４、１９３６は、一つ以上の符号化画像を含んでもよい。
上記ビットストリーム１９３４、１９３６は、上記復号装置１９７２に与えられてもよい。上記復号装置１９７２は、ベースレイヤ復号装置１９８０およびエンハンスメントレイヤ復号装置１９９０を含んでいてもよい。上記映像復号装置１９７２は、スケーラブル映像復号化およびマルチビュー映像復号化に適している。一例において、上記ビットストリーム１９３４、１９３６は、有線または無線リンクを用いて、電子装置Ｂ１９７０に伝送されてもよい。いくつかの場合、これの伝送は、インターネットまたはローカルエリア・ネットワーク（ＬＡＮ）のようなネットワーク上で行われてもよい。図１Ｂに示すように、上記復号装置１９７２は、電子装置Ａ１９０２の上記符号化装置１９０８とは別に電子装置Ｂ１９７０に実装されてもよい。ここで、いくつかの構成において、上記符号化装置１９０８および復号装置１９７２が同じ電子装置に実装されていてもよいことに注意すべきである。上記符号化装置１９０８と復号装置１９７２とが同じ電子装置に実装されるように実施する場合、例えば、上記ビットストリーム１９３４、１９３６は、上記復号装置１９７２へバスを経由して与えられてもよいし、上記復号装置１９７２により取得されるようにメモリに保存されていてもよい。上記復号装置１９７２は、出力として、復号化ベースレイヤ１９９２および復号化エンハンスメントレイヤ画像１９９４を供給してもよい。
上記復号装置１９７２は、ハードウェア、ソフトウェア、または両者の組み合わせにより実装してもよい。ある構成において、上記復号装置１９７２は、高効率映像符号化方式（ＨＥＶＣ）復号装置であり、スケーラブルおよび／またはマルチビューを含んでいてもよい。別の復号装置を同様に用いてもよい。上記復号装置１９７２は、図７Ｂに関連して後述する復号装置１８１２に類似するものであってもよい。また、上記ベースレイヤ符号化装置および／または上記エンハンスメントレイヤ符号化装置のそれぞれが、図１Ａに関連して記載されたもののような、メッセージ生成モジュールを含んでいてもよい。また、上記ベースレイヤ復号装置および／または上記エンハンスメントレイヤ復号装置は、図１Ａに関連して記載されたもののような符号化画像バッファおよび／または復号化画像バッファを含んでいてもよい。さらに、図１Ｂの上記電子装置は、適用できる場合、図１Ａの上記電子装置の機能に基づいて動作してもよい。
図２は、メッセージを送信するための方法２００の一構成を示すフローチャートである。上記方法２００は、符号化装置１０４またはその副部品の一つ（例：メッセージ生成モジュール１０８）によって実行してもよい。上記符号化装置１０４は、ＣＰＢ１２０がサブピクチャレベルの動作をサポートするかどうかを示す画像タイミングフラグ（例：sub_pic_cpb_params_present_flag）を決定してもよい（２０２）。例えば、上記画像タイミングフラグが１に設定されている場合、上記ＣＰＢ１２０は、アクセスユニットレベルまたはサブピクチャレベルで動作してもよい。上記画像タイミングフラグが１に設定されている場合であっても、上記サブピクチャレベルで実際に動作するかの決定は上記復号装置１１２自体に委ねられることに注意すべきである。
また、上記符号化装置１０４は、アクセスユニットにおける復号化ユニットに対する一つ以上の削除遅延を決定してもよい（２０４）。例えば、上記符号化装置１０４が、上記ＣＰＢ１２０からの上記アクセスユニットにおける全復号化ユニットに適用可能な一つの共通復号化ユニットＣＰＢ削除遅延パラメータ（例：common_du_cpb_removal_delay）を決定してもよい。あるいは、上記符号化装置１０４は、上記アクセスユニットにおける復号化ユニットごとに別の復号化ユニットＣＰＢ削除遅延（例：du_cpb_removal_delay[i]）を決定してもよい。
さらに上記符号化装置１０４は、上記アクセスポイントにおける各復号化ユニット内のＮＡＬユニットの１でオフセットされる量を示す一つ以上のＮＡＬパラメータを決定してもよい（２０６）。例えば、上記符号化装置１０４は、上記ＣＰＢ１２０からの上記アクセスユニットにおける全復号化ユニットに適用可能な一つの共通ＮＡＬパラメータ（例： common_num_nalus_in_du_minus1）を決定してもよい。あるいは、上記符号化装置１０４は、上記アクセスユニットにおける復号化ユニットごとに別の復号化ユニットＣＰＢ削除遅延（例：num_nalus_in_du_minus1[i]）を決定してもよい。
また、上記符号化装置１０４は、上記画像タイミングフラグ、上記削除遅延および上記ＮＡＬパラメータを含む画像タイミングＳＥＩメッセージを送付してもよい（２０８）。また、上記画像タイミングＳＥＩメッセージは、他のパラメータ（例：cpb_removal_delay、dpb_output_delayなど）も含んでいてもよい。例えば、上記電子装置１０２は、一つ以上の無線伝送、有線伝送、デバイスバス、ネットワークなどを経由して上記メッセージを伝送してもよい。例えば、電子装置Ａ１０２ａは、上記メッセージを電子装置Ｂ１０２ｂへ送信してもよい。上記メッセージは、例えば、上記ビットストリーム１１４の一部であってもよい。いくつかの構成において、電子装置Ａ１０２ａは、（上記ビットストリーム１１４の一部ではない）別の伝送１１０で上記メッセージを電子装置Ｂ１０２ｂへ送信してもよい（２０８）。
例えば、上記メッセージは、ある帯域外機構を用いて送信されてもよい。ある場合においては、２０４、２０６で示される上記情報は画像タイミングＳＥＩメッセージとは異なるＳＥＩメッセージで送信されてもよい。さらに別の場合、２０４、２０６に示される上記情報は、パラメータセット（例えば、映像パラメータセットおよび／またはシーケンスパラメータセットおよび／または画像パラメータセット および／または適応パラメータセットおよび／またはスライスヘッダー）で送信されてもよい。
図３は、アクセスユニットにおける復号化ユニットに対する一つ以上の削除遅延を決定する方法３００の一構成を示すフローチャートである。すなわち、図３に示される上記方法３００は、図２に示される上記方法２００におけるステップ２０４をさらに図示するものであってもよい。上記方法３００は、符号化装置１０４により実行してもよい。上記符号化装置１０４は、共通復号化ユニットＣＰＢ削除遅延パラメータ（例：common_du_cpb_removal_delay）を含むかどうかを決定してもよい（３０２）。
この決定は、共通復号化ユニットＣＰＢ削除遅延フラグ（例：common_du_cpb_removal_delay_flag）が設定されているかどうかを判定する工程を含んでいてもよい。上記復号化ユニットが上記ＣＰＢから定期的に削除される場合、符号化装置１０４はこの共通パラメータを送信してもよい。この場合とは、例えば、各復号化ユニットが画像の一定数の行に対応する場合、または、他の規則的な構造を有する場合であってもよい。
例えば、上記共通復号化ユニットＣＰＢ削除遅延パラメータが上記画像タイミングＳＥＩメッセージに含まれるべきである場合、上記共通復号化ユニットＣＰＢ削除遅延フラグを１に設定してもよく、上記共通復号化ユニットＣＰＢ削除遅延パラメータが上記画像タイミングＳＥＩメッセージに含まれるべきでない場合、上記共通復号化ユニットＣＰＢ削除遅延フラグを０に設定してもよい。Ｙｅｓ（例：フラグが１に設定されている）であれば、上記符号化装置１０４は、アクセスユニットにおける全復号化ユニットに適用可能な共通復号化ユニットＣＰＢ削除遅延パラメータ（例：common_du_cpb_removal_delay）を決定してもよい（３０４）。Ｎｏ（例：フラグが０に設定されている）であれば、上記符号化装置１０４は、アクセスユニットにおける復号化ユニットごとに別の復号化ユニットＣＰＢ削除遅延パラメータ（例：du_cpb_removal_delay[i]）を決定してもよい（３０６）。
共通復号化ユニットＣＰＢ削除遅延パラメータが画像タイミングＳＥＩメッセージに存在するのであれば、共通復号化ユニットＣＰＢ削除遅延パラメータは、直前の復号化ユニットを上記ＣＰＢ１２０から削除した後から上記画像タイミングＳＥＩメッセージに関連する上記アクセスユニットにおける現在の復号化ユニットを上記ＣＰＢ１２０から削除するまでに待つべきサブピクチャクロックティックの量を規定してもよい。
例えば、復号化ユニットが第１のアクセスユニットにおける第１の復号化ユニットである場合、上記共通復号化ユニットＣＰＢ１２０の削除遅延パラメータは、前のアクセスユニットにおける最も近いバッファリング期間ＳＥＩメッセージに関連するアクセスユニットにおける最新の復号化ユニットを上記ＣＰＢ１２０から削除した後から上記画像タイミングＳＥＩメッセージに関連する上記アクセスユニットにおける上記第１の復号化ユニットを上記ＣＰＢ１２０から削除するまでに待つべきサブピクチャクロックティックの量を規定してもよい。
上記復号化ユニットがアクセスユニットにおける第１の復号化ユニットではない場合、上記共通復号化ユニットＣＰＢ削除遅延パラメータは、上記画像タイミングＳＥＩメッセージに関連する上記アクセスユニットにおける前の復号化ユニットを上記ＣＰＢ１２０から削除した後から上記画像タイミングＳＥＩメッセージに関連する上記アクセスユニットにおける現在の復号化ユニットを上記ＣＰＢから削除するまでに待つべきサブピクチャクロックティックの量を規定してもよい。
逆に、共通復号化ユニットＣＰＢ削除遅延パラメータ（例：common_du_cpb_removal_delay）が、画像タイミングＳＥＩメッセージにおいて送付されない場合、別の復号化ユニットＣＰＢ削除遅延パラメータ（例：du_cpb_removal_delay[i]）がアクセスユニットにおける復号化ユニットごとの上記画像タイミングＳＥＩメッセージに含まれていてもよい。上記復号化ユニットＣＰＢ削除遅延パラメータ（例：du_cpb_removal_delay[i]）は、上記最新の復号化ユニットを上記ＣＰＢ１２０から削除した後から上記画像タイミングＳＥＩメッセージに関連する上記アクセスユニットにおけるｉ番目の復号化ユニットを上記ＣＰＢ１２０から削除するまでに待つべきサブピクチャクロックティックの量を規定してもよい。上記復号化ユニットＣＰＢ削除遅延パラメータは、モジュロ２(cpb_removal_delay_length_minus1 + 1)計数器の剰余（cpb_removal_delay_length_minus1 + 1は共通復号化ユニットＣＰＢ削除遅延パラメータの長さである）によって算出されてもよい。
図４は、ビットストリームをバッファリングする方法４００の一構成を示すフローチャートである。上記方法４００は、電子装置１０２（例：電子装置Ｂ１０２ｂ）における復号装置１１２により実行されてもよく、この電子装置１０２は、メッセージ（例：画像タイミングＳＥＩメッセージまたは他のメッセージ）を受信してもよい（４０２）。例えば、上記電子装置１０２は、無線伝送、有線伝送、デバイスバス、ネットワークなどのうちの一つ以上を経由して上記メッセージを受信してもよい（４０２）。例えば、電子装置Ｂ１０２ｂは、電子装置Ａ１０２ａから上記メッセージを受信してもよい（４０２）。上記メッセージは、例えば、上記ビットストリーム１１４の一部であってもよい。別の例において、電子装置Ｂ１０２ｂは、（例えば、上記ビットストリーム１１４の一部ではない）別の伝送１１０において、上記メッセージを電子装置Ａ１０２から上記メッセージを受信してもよい。例えば、上記画像タイミングＳＥＩメッセージは、ある帯域外機構を用いて受信されてもよい。いくつかの構成において、上記メッセージは、画像タイミングフラグと、アクセスユニットにおける復号化ユニットに対する一つ以上の削除遅延と、一つ以上のＮＡＬパラメータとのうちの一つ以上を含んでいてもよい。したがって、上記メッセージの受信（４０２）が、画像タイミングフラグと、アクセスユニットにおける復号化ユニットの一つ以上の削除遅延と、一つ以上のＮＡＬパラメータとのうちの一つ以上の受信を含んでいてもよい。
上記復号装置１１２は、ＣＰＢ１２０がアクセスユニットレベルで動作するのか、サブピクチャレベルで動作するのかを決定してもよい（４０４）。例えば、復号装置１１２は、低遅延を達成したい場合、サブピクチャに基づいて動作することを決定してもよい。あるいは、上記決定は上記復号装置１１２がサブピクチャに基づく動作をサポートするのに十分なリソースを有しているかどうかに基づいていてもよい。上記ＣＰＢ１２０がサブピクチャレベルで動作するならば、上記復号装置は、アクセスユニットにおける復号化ユニットに対する一つ以上の削除遅延を決定してもよい（４０６）。例えば、上記復号装置１１２は、上記アクセスユニットにおける全復号化ユニットに適用可能な一つの共通復号化ユニットＣＰＢ削除遅延パラメータ（例：common_du_cpb_removal_delay）を決定してもよい。あるいは、上記復号装置１１２は、上記アクセスユニットにおける復号化ユニットごとに別の復号化ユニットＣＰＢ削除遅延（例：du_cpb_removal_delay[i]）を決定してもよい。すなわち、上記画像タイミングＳＥＩメッセージは、アクセスユニットにおける全復号化ユニットに適用可能な共通パラメータまたは復号化ユニットごとに別のパラメータを含んでいてもよい。
さらに、上記復号装置１１２は、上記復号化ユニットに対する上記削除遅延に基づいて、すなわち、アクセスユニットにおける全復号化ユニットに適用可能な共通パラメータを用いて、または、復号化ユニットごとに別のパラメータを用いて、復号化ユニットを削除してもよい（４０８）。また、上記復号装置１１２は、上記復号化ユニットを復号化してもよい（４１０）。
上記復号装置１１２は、削除時間を決定する時に、様々な信号伝達されたパラメータより決定した変数ClockDiffを用いてもよい。具体的には、ClockDiffは、以下の式で決定されてもよい。
ClockDiff = (num_units_in_tick-(num_units_in_sub_tick*(num_decoding_units_minus1+1)) / time_scale)、
式中、num_units_in_tickはクロックティック計数器の１増分に対応する周波数time_scale（Ｈｚ）で動作するクロックの時間単位の数であり、num_units_in_sub_tickはサブピクチャクロックティック計数器の１増分に対応する上記周波数time_scale（Ｈｚ）で動作するクロックの時間単位の数であり、num_decoding_units_minus1+1は上記アクセスユニットにおける復号化ユニットの量であり、time_scaleは１秒間に経過する上記時間単位の数である。
低遅延仮想参照復号装置（hypothetical reference decoder：HRD）フラグ（例：low_delay_hrd_flag）が１に設定されており、tr,n( m ) < taf( m )であり、画像タイミングフラグが１に設定されており、上記ＣＰＢがサブピクチャレベルで動作しており、かつ、ClockDiffがゼロより大きい場合、復号化ユニットｍに対する上記削除時間tr( m )は、以下の式によって決定される。
tr( m ) = tr,n( m ) + tc_sub* Ceil( ( taf( m ) - tr,n( m ) ) / tc_sub) + ClockDiff
式中、tr,n( m )は上記復号化ユニットｍの公称削除時間であり、tc_subはサブピクチャクロックティックであり、Ceil()は天井関数であり、taf( m )は復号化ユニットｍの最終到着時間である。
低遅延仮想参照復号装置（ＨＲＤ）フラグ（例：low_delay_hrd_flag）が１に設定され、tr,n( n ) < taf( n )であり、画像タイミングフラグが１に設定されており、上記ＣＰＢがアクセスユニットレベルで動作しており、かつ、ClockDiffがゼロより大きい場合、アクセスユニットｎに対する上記削除時間tr( n )は、以下の式によって決定される。
tr( n )= tr,n( n ) + tc* Ceil( ( taf( n ) - tr,n( n ) ) / tc) - ClockDiff
式中、tr,n( n )は上記アクセスユニットｎの公称削除時間であり、tcはクロックティックであり、Ceil()は天井関数であり、taf( n )はアクセスユニットｎの最終到着時間である。
低遅延仮想参照復号装置（ＨＲＤ）フラグ（例：low_delay_hrd_flag）が１に設定されており、tr,n( m ) < taf( m )であり、画像タイミングフラグが１に設定されており、かつ、上記ＣＰＢがサブピクチャレベルで動作している場合、アクセスユニットの最新の復号化ユニットｍに対する上記削除時間tr(m)は、以下の式によって決定される。
tr( m ) = tr,n( m ) + max( (tc_sub* Ceil( ( taf( m ) - tr,n( m ) ) / tc_sub ))、 (tc * Ceil( ( taf( n ) - tr,n( n ) ) / tc )))
式中、tr,n( m )は上記最新の復号化ユニットｍの公称削除時間であり、tc_subはサブピクチャクロックティックであり、Ceil()は天井関数であり、taf( m )は最新の復号化ユニットｍの最終到着時間であり、tr,n( n )は上記アクセスユニットｎの公称削除時間であり、tcはクロックティックであり、taf(n)はアクセスユニットｎの最終到着時間である。
低遅延仮想参照復号装置（ＨＲＤ）フラグが１に設定されており、tr,n( n ) < taf( n
)であり、画像タイミングフラグが１に設定されており、かつ、上記ＣＰＢがアクセスユニットレベルで動作している場合、アクセスユニットｎに対する上記削除時間tr( n )は、以下の式によって決定される。
tr( n ) = tr,n( n ) + max( (tc_sub* Ceil( ( taf( m ) - tr,n( m ) ) / tc_sub ))、 (tc * Ceil( ( taf( n ) - tr,n( n ) ) / tc )))
式中、tr,n( m )は上記最新の復号化ユニットｎの公称削除時間であり、tc_subはサブピクチャクロックティックであり、Ceil()は天井関数であり、taf( m )は最新の復号化ユニットｍの最終到着時間であり、tr,n( n )は上記アクセスユニットｎの公称削除時間であり、tcはクロックティックであり、taf( n )はアクセスユニットｎの最終到着時間である。
低遅延仮想参照復号装置（ＨＲＤ）フラグ（例：low_delay_hrd_flag）が１に設定されており、tr,n( m ) < taf( m )であり、画像タイミングフラグが１に設定されており、かつ、上記ＣＰＢがサブピクチャレベルで動作している場合、アクセスユニットの最新の復号化ユニットｍに対する上記削除時間tr(m)は、以下の式によって決定される。
tr( m ) = tr,n( m ) + min( (tc_sub* Ceil( ( taf( m ) - tr,n( m ) ) / tc_sub ), (tc * Ceil( ( taf( n ) - tr,n( n ) ) / tc))
式中、tr,n( m )は上記最新の復号化ユニットｍの公称削除時間であり、tc_subはサブピクチャクロックティックであり、Ceil()は天井関数であり、taf( m )は最新の復号化ユニットｍの最終到着時間であり、tr,n( n )は上記アクセスユニットｎの公称削除時間であり、tcはクロックティックであり、taf( n )はアクセスユニットｎの最終到着時間である。
低遅延仮想参照復号装置（ＨＲＤ）フラグが１に設定されており、tr,n( n ) < taf( n
)であり、画像タイミングフラグが１に設定されており、かつ、上記ＣＰＢがアクセスユニットレベルで動作している場合、アクセスユニットｎに対する上記削除時間tr( n )は、以下の式によって決定される。
tr( n ) = tr,n( n ) + min( (tc_sub* Ceil( ( taf( m ) - tr,n( m ) ) / tc_sub ))、 (tc * Ceil( ( taf( n ) - tr,n( n ) ) / tc )))
式中、tr,n( m )は上記最新の復号化ユニットｎの公称削除時間であり、tc_subはサブピクチャクロックティックであり、Ceil()は天井関数であり、taf( m )は最新の復号化ユニットｍの最終到着時間であり、tr,n( n )は上記アクセスユニットｎの公称削除時間であり、tcはクロックティックであり、taf( n )はアクセスユニットｎの最終到着時間である。
低遅延仮想参照復号装置（ＨＲＤ）フラグ（例：low_delay_hrd_flag）が１に設定されており、tr,n( m ) < taf( m )であり、画像タイミングフラグが１に設定されており、かつ、上記ＣＰＢがサブピクチャレベルで動作している場合、アクセスユニットの最新の復号化ユニットｍに対する上記削除時間tr(m)は、以下の式によって決定される。
tr( m ) = tr,n( m ) + (tc* Ceil( ( taf( n ) - tr,n( n ) ) / tc))
式中、tr,n( m )は上記最新の復号化ユニットｍの公称削除時間であり、tc_subはサブピクチャクロックティックであり、Ceil()は天井関数であり、taf( m )は最新の復号化ユニットｍの最終到着時間であり、tr,n( n )は上記アクセスユニットｎの公称削除時間であり、tcはクロックティックであり、taf( n )はアクセスユニットｎの最終到着時間である。
低遅延仮想参照復号装置（ＨＲＤ）フラグが１に設定されており、tr,n( n ) < taf( n
)であり、画像タイミングフラグが１に設定されており、かつ、上記ＣＰＢがアクセスユニットレベルで動作している場合、アクセスユニットｎに対する上記削除時間tr( n )は、以下の式によって決定される。
tr( n ) = tr,n( n ) + (tc* Ceil( ( taf( n ) - tr,n( n ) ) / tc))
式中、tr,n( m )は上記最新の復号化ユニットｎの公称削除時間であり、tc_subはサブピクチャクロックティックであり、Ceil()は天井関数であり、taf( m )は最新の復号化ユニットｍの最終到着時間であり、tr,n( n )は上記アクセスユニットｎの公称削除時間であり、tcはクロックティックであり、taf( n )はアクセスユニットｎの最終到着時間である。
低遅延仮想参照復号装置（ＨＲＤ）フラグ（例：low_delay_hrd_flag）が１に設定されており、tr,n( m ) < taf( m )であり、画像タイミングフラグが１に設定されており、かつ、上記ＣＰＢがサブピクチャレベルで動作している場合、アクセスユニットの最新の復号化ユニットではない復号化ユニットに対する削除時間は、tr( m ) = taf( m )（式中、taf( m )は、復号化ユニットｍの最終到着時間である）として設定される。そして、アクセスユニットの最新の復号化ユニットｍに対する削除時間tr( m )は、以下の式によって設定される。
tr( m ) = tr,n( m ) + (tc_sub* Ceil( ( taf( m ) - tr,n( m ) ) / tc_sub))、
式中、tr,n( m )は、上記最新の復号化ユニットｍの上記公称削除時間であり、tc_subは、サブピクチャクロックティックであり、Ceil()は、天井関数であり、taf( m )は、最新の復号化ユニットｍの最終到着時間であり、tr,n( n )は、上記アクセスユニットｎの上記公称削除時間であり、tcはクロックティックであり、taf( n )は、アクセスユニットｎの最終到着時間であり、taf( m )は、上記アクセスユニットｎにおける最新の復号化ユニットの最終到着時間である。
低遅延仮想参照復号装置（ＨＲＤ）フラグ（例：low_delay_hrd_flag）が１に設定されており、tr,n( m ) < taf( m )であり、画像タイミングフラグが１に設定されており、かつ、上記ＣＰＢがサブピクチャレベルで動作している場合、アクセスユニットの最新の復号化ユニットではない復号化ユニットに対する削除時間は、tr( m ) = taf( m )（式中、taf( m )は、復号化ユニットｍの最終到着時間である）として設定される。そして、アクセスユニットの最新の復号化ユニットｍに対する削除時間tr( m )は、以下の式によって設定される。
tr( m ) = tr,n( m ) + (tc* Ceil( ( taf( m ) - tr,n( m ) ) / tc))、
式中、tr,n( m )は、上記最新の復号化ユニットｍの上記公称削除時間であり、tc_subは、サブピクチャクロックティックであり、Ceil()は、天井関数であり、taf( m )は、最新の復号化ユニットｍの最終到着時間であり、tr,n( n )は、上記アクセスユニットｎの上記公称削除時間であり、tcはクロックティックであり、taf( n )は、アクセスユニットｎの最終到着時間であり、taf( m )は、上記アクセスユニットｎにおける最新の復号化ユニットの最終到着時間である。
低遅延仮想参照復号装置（ＨＲＤ）フラグ（例：low_delay_hrd_flag）が１に設定されており、tr,n( m ) < taf( m )であり、画像タイミングフラグが１に設定されており、かつ、上記ＣＰＢがサブピクチャレベルで動作している場合、上記復号化ユニットに対する上記削除時間は、tr( m ) = taf( m )として設定される。式中、tr,n( m )は、上記復号化ユニットｍの公称削除時間であり、tc_subはサブピクチャクロックティックであり、Ceil()は天井関数であり、taf( m )は復号化ユニットｍの最終到着時間であり、tr,n( n )は、上記アクセスユニットｎの公称削除時間であり、tcはクロックティックであり、taf(
n ) はアクセスユニットｎの最終到着時間であり、taf( m )は、上記アクセスユニットｎにおける上記復号化ユニットの最終到着時間である。
低遅延仮想参照復号装置（ＨＲＤ）フラグが１に設定されており、tr,n( n ) < taf( n
)であり、画像タイミングフラグが１に設定されており、かつ、上記ＣＰＢがアクセスユニットレベルで動作している場合、アクセスユニットｎに対する上記削除時間tr( n )は、以下の式によって決定される。
tr( n ) = taf( n )、
式中、tr,n( m )は上記最新の復号化ユニットｎの公称削除時間であり、tc_subはサブピクチャクロックティックであり、Ceil()は天井関数であり、taf( m )は最新の復号化ユニットｍの最終到着時間であり、tr,n( n )は上記アクセスユニットｎの公称削除時間であり、tcはクロックティックであり、taf( n )はアクセスユニットｎの最終到着時間である。
上記ＣＰＢがアクセスユニットレベルで動作していれば、上記復号装置１１２は、ＣＰＢ削除遅延パラメータを決定してもよい（４１２）。このパラメータは、上記受信された画像タイミングＳＥＩメッセージ（例：cpb_removal_delay）に含まれていてもよい。また、上記復号装置１１２は、上記ＣＰＢ削除遅延パラメータに基づいてアクセスユニットを削除して（４１４）、上記アクセスユニットを復号化してもよい（４１６）。すなわち、上記復号装置１１２は、上記アクセスユニット内の復号化ユニットを復号化するよりは、全アクセスユニットを一度に復号化してもよい。
図５は、アクセスユニットにおける復号化ユニットに対する一つ以上の削除遅延を決定する方法５００の一構成を示すフローチャートである。すなわち、図５に示される上記方法５００は、図４に示される上記方法４００におけるステップ４０６をさらに図示するものであってもよい。上記方法５００は、復号装置１１２により実行されてもよい。上記復号装置１１２は、受信された画像タイミングＳＥＩメッセージが共通復号化ユニットＣＰＢ削除遅延パラメータを含むかどうかを判定してもよい（５０２）。これの判定には、共通復号化ユニットＣＰＢ削除遅延フラグ（例：common_du_cpb_removal_delay_flag）が設定されているかどうかを判定する工程を含んでいてもよい。Ｙｅｓならば、上記復号装置１１２は、アクセスユニットにおける全復号化ユニットに適用可能な共通復号化ユニットＣＰＢ削除遅延パラメータ（例：common_du_cpb_removal_delay）を決定してもよい（５０４）。Ｎｏであれば、上記復号装置１１２は、アクセスユニットにおける復号化ユニットごとに別の復号化ユニットＣＰＢ削除遅延パラメータ（例：du_cpb_removal_delay[i]）を決定してもよい（５０６）。
上記画像タイミングＳＥＩメッセージセマンティックスの変更に加えて、本システムおよび方法は、サブピクチャに基づくＣＰＢの動作およびアクセスユニットに基づくＣＰＢの動作が同じ復号化ユニット削除のタイミングをもたらすように、ビットストリーム上の制約を課してもよい。具体的には、上記画像タイミングフラグ（例：sub_pic_cpb_params_present_flag）が１に設定される場合、上記ＣＰＢ削除遅延は下記によって設定できる。
Figure 2021093729
式中、du_cpb_removal_delay[i]は上記復号化ユニットＣＰＢ削除遅延パラメータであり、tcはクロックティックであり、tc,subはサブピクチャクロックティックであり、num_decoding_units_minus1は、上記アクセスユニットにおける復号化ユニットの１でオフセットされる量であり、iはインデックスである。
または、上記ＣＰＢ削除遅延は、次に記載するように設定してもよい。まず変数Tdu(k)を以下のように定義する。
Figure 2021093729
式中、du_cpb_removal_delay_minus1k[i]およびnum_decoding_units_minus1kは、ｋ番目のアクセスユニット（上記ＨＲＤを初期化する上記アクセスユニットについてk=0であり、かつ、k<1についてTdu(k)=0である）のＩ番目の復号化ユニットに対するパラメータであり、du_cpb_removal_delay_ minus1k[i]+1=du_cpb_removal_delay_minus1k[i]は、上記ｋ番目のアクセスユニットの上記Ｉ番目の復号化ユニットに対する上記復号化ユニットＣＰＢ削除遅延パラメータであり、かつ、num_decoding_units_minus1kは、上記ｋ番目のアクセスユニットにおける復号化ユニットの数であり、tcはクロックティックであり、tc,subはサブピクチャクロックティックであり、ｉおよびｋはインデックスである。そして、上記画像タイミングフラグ（例：sub_pic_cpb_params_present_flag）が１に設定されている場合、以下の条件が真である。
(au_cpb_removal_delay_minus1 + 1)*tc== Tdu(k)、
式中、(au_cpb_removal_delay_minus1 + 1)=cpb_removal_delay、つまり、上記ＣＰＢ削除遅延である。したがって、この場合、上記ＣＰＢ削除遅延(au_cpb_removal_delay_minus1 + 1)は、サブピクチャに基づくＣＰＢの動作とアクセスユニットに基づくＣＰＢの動作とが同じタイミングでのアクセスユニット削除および上記アクセスユニット削除の最新の復号化ユニット削除をもたらすように設定される。
あるいは、上記ＣＰＢ削除遅延は以下の式によって設定されてもよい。
Figure 2021093729
式中、du_cpb_removal_delay[i]は上記復号化ユニットＣＰＢ削除遅延パラメータであり、tcはクロックティックであり、tc,subはサブピクチャクロックティックであり、num_decoding_units_minus1は、上記アクセスユニットにおける復号化ユニットの１でオフセットされる量であり、iはインデックスである。
あるいは、cpb_removal_delayおよびdu_cpb_removal_delay[num_decoding_units_minus1]は、以下の式によって設定されてもよい。
cpb_removal_delay*tc = du_cpb_removal_delay[num_decoding_units_minus1]* tc,sub、式中、du_cpb_removal_delay[num_decoding_units_minus1]は「num_decoding_units_minus1」番目の復号化ユニットに対する上記復号化ユニットＣＰＢ削除遅延パラメータであり、tcはクロックティックであり、tc,subはサブピクチャクロックティックであり、num_decoding_units_minus1は、上記アクセスユニットにおける復号化ユニットの１でオフセットされる量である。
上記画像タイミングＳＥＩメッセージセマンティックスの変更に加えて、本システムおよび方法は、サブピクチャに基づくＣＰＢの動作とアクセスユニットに基づくＣＰＢの動作とが同じタイミングでの復号化ユニット削除をもたらすように、ビットストリーム上の制約を課してもよい。具体的には、上記画像タイミングフラグ（例：sub_pic_cpb_params_present_flag）が１に設定される場合、cpb_removal_delayおよびdu_cpb_removal_delay [num_decoding_units_minus1]の値は次の式を満たすように設定してもよい。
-1<=(cpb_removal_delay*tc - du_cpb_removal_delay[num_decoding_units_minus1]* tc, sub) <=1、
式中、du_cpb_removal_delay[num_decoding_units_minus1]は「num_decoding_units_minus1」番目の復号化ユニットに対する上記復号化ユニットＣＰＢ削除遅延パラメータであり、tcはクロックティックであり、tc,subはサブピクチャクロックティックであり、num_decoding_units_minus1は、上記アクセスユニットにおける復号化ユニットの１でオフセットされる量である。
図６Ａは、電子装置６０２の符号化装置６０４の一構成を示すブロック図である。上記電子装置６０２に含まれているように示される一つ以上の要素は、ハードウェア、ソフトウェアまたは両者の組み合わせで実装してもよい。例えば、上記電子装置６０２は、符号化装置６０４を含んでおり、この符号化装置６０４はハードウェア、ソフトウェアまたは両者の組み合わせで実装してもよい。例えば、上記符号化装置６０４は、実行可能な命令、ファームウェア、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）など、または、これらの組み合わせを備えるメモリと電気的に通信する回路、集積回路、特定用途向け集積回路（ＡＳＩＣ）、プロセッサとして実装してもよい。いくつかの構成において、上記符号化装置６０４は、ＨＥＶＣ符号化装置であってもよい。
上記電子装置６０２は、ソース６２２を含んでいてもよい。上記ソース６２２は、一つ以上の入力画像６０６としての画像または画像データ（例：映像）を上記符号化装置６０４に供給してもよい。上記ソース６２２の例には、画像センサ、メモリ、通信インターフェース、ネットワークインターフェース、無線受信器、ポートなどを含んでいてもよい。
一つ以上の入力画像６０６は、フレーム内予測モジュール／再構成バッファ６２４に与えられてもよい。また、入力画像６０６は、動き推定／動き補償モジュール６４６と減算モジュール６２８とに与えられてもよい。
上記フレーム内予測モジュール／再構成バッファ６２４は、一つ以上の入力画像６０６および再構成データ６６０に基づいてイントラモード情報６４０およびイントラ信号６２６を生成してもよい。上記動き推定／動き補償モジュール６４６は、一つ以上の入力画像６０６および復号化画像バッファ６７６からの参照画像６７８に基づいて、インターモード情報６４８およびインター信号６４４を生成してもよい。いくつかの構成において、上記復号化画像バッファ６７６は、上記復号化画像バッファ６７６に一つ以上の参照画像からのデータを含んでいてもよい。
上記符号化装置６０４は、モードに合わせて上記イントラ信号６２６と上記インター信号６４４とから選択してもよい。上記イントラ信号６２６は、イントラ符号化モードにおいて画像内の空間的特徴を利用するために用いられてもよい。上記インター信号６４４は、インター符号化モードにおいて画像間の時間特性を利用するために用いられてもよい。上記イントラ符号化モードの間には、上記イントラ信号６２６が上記減算モジュール６２８に与えられてもよく、また、上記イントラモード情報６４０がエントロピー符号化モジュール６４２に与えられてもよい。上記インター符号化モードの間には、上記インター信号６４４は上記減算モジュール６２８に与えられてもよく、また、上記インターモード情報６４８は、上記エントロピー符号化モジュール６４２に与えられてもよい。
（上記モードに依存して）上記イントラ信号６２６と上記インター信号６４４とのどちらかが、予測残差６３０を作り出すために、上記減算モジュール６２８で入力画像６０６から差し引かれる。上記予測残差６３０は、変換モジュール６３２に与えられる。上記変換モジュール６３２は、量子化モジュール６３６に与えられる変換信号６３４を作り出すために上記予測残差６３０を圧縮してもよい。上記量子化モジュール６３６は、変換および量子化された係数（ＴＱＣ）６３８を作り出すために、上記変換信号６３４を量子化する。
上記ＴＱＣ６３８は、エントロピー符号化モジュール６４２および逆量子化モジュール６５０に与えられる。上記逆量子化モジュール６５０は、逆変換モジュール６５４に与えられる逆量子化信号６５２を作り出すために、上記ＴＱＣ６３８に逆量子化を実行する。上記逆変換モジュール６５４は、再構成モジュール６５８に与えられる解凍信号６５６を作り出すために、上記逆量子化信号６５２を解凍する。
上記再構成モジュール６５８は、上記解凍信号６５６に基づいて再構成データ６６０を作り出してもよい。例えば、上記再構成モジュール６５８は、（変形）画像を再構築してもよい。上記再構成データ６６０は、非ブロック化フィルタ６６２と上記フレーム内予測モジュール／再構成バッファ６２４とに与えられてもよい。上記非ブロック化フィルタ６６２は、上記再構成データ６６０に基づいてフィルタされた信号６６４を作り出してもよい。
上記フィルタされた信号６６４は、サンプルアダプティブオフセット（ＳＡＯ）モジュール６６６に与えられてもよい。上記ＳＡＯモジュール６６６は、上記エントロピー符号化モジュール６４２に与えられるＳＡＯ情報６６８を作り出してもよいし、適応ループフィルタ（ＡＬＦ）６７２に与えられるＳＡＯ信号６７０を作り出してもよい。上記ＡＬＦ６７２は、上記復号化画像バッファ６７６に与えられるＡＬＦ信号６７４を作り出す。上記ＡＬＦ信号６７４は、参照画像として用いてもよい一つ以上の画像からのデータを含んでいてもよい。
上記エントロピー符号化モジュール６４２は、ビットストリームＡ６１４ａ（例：符号化画像データ）を作り出すために、上記ＴＱＣ６３８を符号化してもよい。例えば、上記エントロピー符号化モジュール６４２は、コンテンツ適応可変長符号化（ＣＡＶＬＣ）またはコンテキスト適応バイナリ算術符号化（ＣＡＢＡＣ）を用いて上記ＴＱＣ６３８を符号化してもよい。特に、上記エントロピー符号化モジュール６４２は、イントラモード情報６４０、インターモード情報６４８およびＳＡＯ情報６６８のうちの一つ以上に基づいて上記ＴＱＣ６３８を符号化してもよい。ビットストリームＡ６１４ａ（例：符号化画像データ）は、メッセージ生成モジュール６０８に与えられてもよい。上記メッセージ生成モジュール６０８は、図１に関連して記載された上記メッセージ生成モジュール１０８と同様に構成されてもよい。追加的に、あるいは、代替的に、上記メッセージ生成モジュール６０８が、図２および図３に関連して記載された手順のうちの一つ以上を実行してもよい。
例えば、上記メッセージ生成モジュール６０８が、サブピクチャパラメータを含むメッセージ（例：画像タイミングＳＥＩメッセージまたは他のメッセージ）を生成してもよい。上記サブピクチャパラメータは、復号化ユニットに対する一つ以上の削除遅延（例：common_du_cpb_removal_delayまたはdu_cpb_removal_delay[i]）および一つ以上のＮＡＬパラメータ（例：common_num_nalus_in_du_minus1 or num_nalus_in_du_minus1[i]）を含んでいてもよい。いくつかの構成において、上記メッセージが、ビットストリームＢ６１４ｂを作り出すために、ビットストリームＡ６１４ａに挿入されてもよい。したがって、上記メッセージは、例えば、上記ビットストリームＡ６１４ａ全体が生成された後で（例：ビットストリームＢ６１４ｂのほとんどが生成された後で）生成されてもよい。他の構成において、上記メッセージは、ビットストリームＡ６１４ａに挿入されることはない（この場合、ビットストリームＢ６１４ｂはビットストリームＡ６１４ａと同じであろう）が、別の伝送信号６１０に与えられてもよい。
いくつかの構成において、上記電子装置６０２は、別の電子装置に上記ビットストリーム６１４を別の電子装置に送信する。例えば、上記ビットストリーム６１４は、通信インターフェース、ネットワークインターフェース、無線送信器、ポートなどに与えられてもよい。例えば、上記ビットストリーム６１４は、ＬＡＮ、インターネット、携帯電話基地局などを経由して別の電子装置に送信されてもよい。上記ビットストリーム６１４は、追加的に、または、代替的に、上記電子装置６０２のメモリまたは他の部品に保存されてもよい。
図６Ｂは、電子装置１７０２の映像符号化装置１７８２の一構成を示すブロック図である。上記映像符号化装置１７８２は、エンハンスメントレイヤ符号化装置１７０６、ベースレイヤ符号化装置１７０９、解像度アップスケーリングブロック１７７０および出力インターフェース１７８０を含んでいてもよい。例えば、図６Ｂの上記映像符号化装置は、本明細書中に記載のように、スケーラブル映像符号化およびマルチビュー映像符号化に適している。
上記エンハンスメントレイヤ符号化装置１７０６は、入力画像１７０４を受信する映像入力装置１７８１を含んでいてもよい。上記映像入力装置１７８１の出力は、予測選択１７５０の出力を受信する加算器／減算器１７８３に与えられてもよい。上記加算器／減算器１７８３の出力は、変換／量子化ブロック１７５２に与えられてもよい。上記変換／量子化ブロック１７５２の出力は、エントロピー符号化ブロック１７４８およびスケーリング／逆変換ブロック１７７２に与えられてもよい。エントロピー符号化１７４８が実行された後、上記エントロピー符号化ブロック１７４８の出力は、出力インターフェース１７８０に与えられてもよい。上記出力インターフェース１７８０は、符号化ベースレイヤ映像ビットストリーム１７０７と符号化エンハンスメントレイヤ映像ビットストリーム１７１０との両方を出力してもよい。
上記スケーリング／逆変換ブロック１７７２の出力は、加算器１７７９に与えられてもよい。上記加算器１７７９も、上記予測選択１７５０の出力を受信してもよい。上記加算器１７７９の出力は、非ブロック化ブロック１７５１に与えられてもよい。上記非ブロック化ブロック１７５１の出力は、参照バッファ１７９４に与えられてもよい。上記参照バッファ１７９４の出力は、動き補償ブロック１７５４に与えられてもよい。上記動き補償ブロック１７５４の出力は上記予測選択１７５０に与えられてもよい。上記参照バッファ１７９４の出力は、イントラ予測器１７５６にも与えられてもよい。上記イントラ予測器１７５６の出力は、上記予測選択１７５０に与えられてもよい。また、上記予測選択１７５０は、上記解像度アップスケーリングブロック１７７０の出力をも受信してもよい。
ベースレイヤ符号化装置１７０９は、ダウンサンプルされた入力画像、別の画像と組み合わせるのに適した他の画像コンテンツ、または別の表示入力画像、または同じ入力画像１７０３（すなわち、エンハンスメントレイヤ符号化装置１７０６より受信する入力画像１７０４と同じ画像）を受信する映像入力装置１７６２を備える。映像入力装置１７６２の出力を符号化予測ループ１７６４に供給する。エントロピー符号化１７６６は、符号化予測ループ１７６４の出力に対して行われる。符号化予測ループ１７６４の出力は、参照バッファ１７６８にも供給される。参照バッファ１７６８は、符号化予測ループ１７６４に対してフィードバックを行う。参照バッファ１７６８の出力は、解像度アップスケーリングブロック１７７０にも供給される。エントロピー符号化１７６６が行われると、出力が出力インターフェース１７８０に供給される。符号化ベースレイヤ映像ビットストリーム１７０７および／または符号化エンハンスメントレイヤ映像ビットストリーム１７１０は、必要に応じて１以上のメッセージ作成モジュールに供給される。
図７Ａは、電子装置７０２の復号装置７１２の一構成を示すブロック図である。復号装置７１２は電子装置７０２に備えられる。例えば、復号装置７１２はＨＥＶＣ復号装置である。復号装置７１２、および復号装置７１２に含まれる要素のうち１以上の要素は、ハードウェアによって実現されてもよいし、ソフトウェアによって実現されてもよいし、あるいは、ハードウェアとソフトウェアの両方の組み合せによって実現されてもよい。復号装置７１２は、ビットストリーム７１４（例えば、ビットストリーム７１４に含まれる１以上の符号化画像およびオーバーヘッドデータ）を受信して復号化する。いくつかの構成では、受信したビットストリーム７１４には、メッセージ（例えば、画像タイミングＳＥＩメッセージまたは他のメッセージ）、スライスヘッダー、ＰＰＳ等の受信オーバーヘッドデータが含まれる。いくつかの構成では、復号装置７１２は、さらに別の送信７１０を受信してもよい。別の送信７１０には、メッセージ（例えば、画像タイミングＳＥＩメッセージまたは他のメッセージ）が含まれる。例えば、画像タイミングＳＥＩメッセージまたは他のメッセージはビットストリーム７１４ではなく、別の送信７１０の形で受信されてもよい。なお、別の送信７１０は任意であり、いくつかの構成においては使用されない。
復号装置７１２はＣＰＢ７２０を含む。ＣＰＢ７２０は、上述した図１を通じて説明したＣＰＢ１２０と同様に構成される。追加的または代替的に、復号装置７１２は、図４および図５を通じて説明した工程のうち１以上の工程を行う。例えば、復号装置７１２は、サブピクチャパラメータと共にメッセージ（例えば、画像タイミングＳＥＩメッセージまたは他のメッセージ）を受信し、サブピクチャパラメータに基づくアクセスユニットで復号化ユニットを削除して復号化する。なお、１以上のアクセスユニットは、ビットストリームに含まれていてもよく、符号化画像データおよびオーバーヘッドデータのうち１以上のデータを含んでいてもよい。
符号化画像バッファ（ＣＰＢ）は、符号化画像データをエントロピー復号化モジュール７０１に供給する。符号化画像データは、エントロピー復号化モジュール７０１によってエントロピー復号化され、これにより、動き情報信号７０３および、量子化、スケーリング、および／または変換された係数７０５が生成される。
動き情報信号７０３は、フレーム間予測信号７８２を生成する動き補償モジュール７８０において、復号化画像バッファ７０９から出力された参照フレーム信号７９８の一部と組み合わされる。上記量子化、デスケーリング、および／または変換された係数７０５は、逆モジュール７０７によって逆量子化、スケーリング、および逆変換され、これにより復号化残差信号７８４が生成される。復号化残差信号７８４は予測信号７９２に加えられて、混合信号７８６が生成される。上記予測信号７９２は、動き補償モジュール７８０によって生成されるフレーム間予測信号７８２またはフレーム内予測モジュール７８８によって生成されるフレーム内予測信号７９０のいずれから選択される信号である。いくつかの構成において、この信号決定は、ビットストリーム７１４に基づいて（例えば制御によって）行われる。
フレーム内予測信号７９０は、（例えば、現在のフレームにおける）混合信号７８６から以前に復号化された情報から予測される。また、上記混合信号７８６は、非ブロック化フィルタ７９４によってフィルタリングされる。その結果得られるフィルタリングされた信号７９６は、復号化画像バッファ７０９に書き込まれる。上記フィルタリングされた信号７９６は復号化画像を含む。復号化画像バッファ７０９は、出力される復号化画像７１８を供給する。７０９をフレームメモリとして考える場合もある。
図７Ｂは、電子装置１８０２の映像復号装置１８１２の一構成を示すブロック図である。映像復号装置１８１２は、エンハンスメントレイヤ復号装置１８１５と、ベースレイヤ復号装置１８１３とを含む。映像復号装置８１２は、インターフェース１８８９と、解像度アップスケーリング１８７０とをさらに含む。図７Ｂの映像復号装置は、本明細書に記載のように、例えば、スケーラブル映像復号化およびマルチビュー映像復号化に適している。
上記インターフェース１８８９は、符号化映像ストリーム１８８５を受信する。符号化映像ストリーム１８８５は、ベースレイヤ符号化映像ストリームおよびエンハンスメントレイヤ符号化映像ストリームからなる。これらの２つのストリームは、別々にまたは一緒に送信される。上記インターフェース１８８９は、符号化映像ストリーム１８８５の一部またはすべてを、ベースレイヤ復号装置１８１３のエントロピー復号化ブロック１８８６に供給する。上記エントロピー復号化ブロック１８８６の出力は、復号化予測ループ１８８７に供給される。復号化予測ループ１８８７の出力は、参照バッファ１８８８に供給される。参照バッファは、復号化予測ループ１８８７に対してフィードバックを行う。また、参照バッファ１８８８は、復号化ベースレイヤ映像ストリーム１８８４を出力する。
上記インターフェース１８８９は、符号化映像ストリーム１８８５の一部またはすべてを、エンハンスメントレイヤ復号装置１８１５のエントロピー復号化ブロック１８９０に供給する。上記エントロピー復号化ブロック１８９０の出力は、逆量子化ブロック１８９１に供給される。上記逆量子化ブロック１８９１の出力は、加算器１８９２に供給される。上記加算器１８９２は、逆量子化ブロック１８９１の出力と予測選択ブロック１８９５の出力とを加算する。加算器１８９２の出力は、非ブロック化ブロック１８９３に供給される。上記非ブロック化ブロック１８９３の出力は、参照バッファ１８９４に供給される。上記参照バッファ１８９４は、復号化エンハンスメントレイヤ映像ストリーム１８８２を出力する。また、上記参照バッファ１８９４の出力は、イントラ予測器１８９７に供給される。上記エンハンスメントレイヤ復号装置１８１５は、動き補償１８９６を含む。上記動き補償１８９６は、解像度アップスケーリング１８７０の後に行われる。上記予測選択ブロック１８９５は、イントラ予測器１８９７の出力と動き補償１８９６の出力とを受信する。また、復号装置は、必要に応じて、例えば、インターフェース１８８９と共に１以上の符号化画像バッファを含む。
図８は、送信用電子装置８０２に用いられる様々な構成部材を示す。本明細書に記載する電子装置１０２、６０２、７０２のうち１以上の電子装置は、図８に示す送信用電子装置８０２に基づいて実現される。
上記送信用電子装置８０２は、当該電子装置８０２の動作を制御するプロセッサ８１７を備える。上記プロセッサ８１７は、ＣＰＵとも称することがある。メモリ８１１は、読み出し専用メモリ（ＲＯＭ）およびランダムアクセスメモリ（ＲＡＭ）または情報を格納するあらゆる種類の装置の両方を備え、指示８１３ａ（例えば、実行可能な指示）とデータ８１５ａとをプロセッサ８１７に供給する。また、メモリ８１１の一部には、不揮発性のランダムアクセスメモリ（ＮＶＲＡＭ）が含まれる。上記メモリ８１１は、プロセッサ８１７と電子通信を行っている。
指示８１３ｂおよびデータ８１５ｂは、プロセッサ８１７に存在する。また、プロセッサ８１７にロードされた指示８１３ｂおよび／またはデータ８１５ｂは、プロセッサ８１７による実行または処理のためにロードされたメモリ８１１からの指示８１３ａおよび／またはデータ８１５ａを含む。指示８１３ｂがプロセッサ８１７によって実行されることで、本明細書に開示するシステムおよび方法が実現される。例えば、指示８１３ｂは、上記に記載の方法２００、３００、４００、５００の１以上の方法が行われるように実行可能となっている。
送信用電子装置８０２は、他の電子装置（例えば、受信用電子装置）と通信するための１以上の通信インターフェース８１９を備える。上記通信インターフェース８１９は、有線通信技術、無線通信技術、あるいは両方に基づく。通信インターフェース８１９の例として、シリアルポート、パラレルポート、ユニバーサル・シリアルバス（ＵＳＢ）、イーサネット（登録商標）・アダプタ、ＩＥＥＥ１３９４バスインターフェース、小型コンピュータシステムインターフェース（ＳＣＳＩ）バスインターフェース、赤外線（ＩＲ）通信ポート、Ｂｌｕｅｔｏｏｔｈ（登録商標）無線通信アダプタ、第３世代パートナーシッププロジェクト（３ＧＰＰ）の仕様に準拠した無線送受信機などが挙げられる。
送信用電子装置８０２は、１以上の出力装置８２３および１以上の入力装置８２１を備える。出力装置８２３の例として、スピーカー、プリンター等が挙げられる。電子装置８０２に備えられる出力装置の一つとして、表示装置８２５が挙げられる。本明細書に開示された構成で使用される表示装置８２５は、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）、ガスプラズマ、エレクトロルミネッセンス等の、任意の好適な画像投影技術を利用する。表示制御装置８２７は、メモリ８１１に格納されたデータをテキスト、グラフィックス、および／または動画像に（必要に応じて）変換して表示装置８２５に表示するために設けられる。入力装置８２１の例として、キーボード、マウス、マイクロホン、リモコン、ボタン、ジョイスティック、トラックボール、タッチパッド、タッチスクリーン、ライトペン等が挙げられる。
送信用電子装置８０２の様々な構成部材は、データバスに加えて、電力バス、制御信号バス、およびステータス信号バスを含むバスシステム８２９を介して結合されている。しかし、図８には、理解しやすいように、バスシステム８２９として様々なバスが示されている。図８に示す送信用電子装置８０２は、特定の部材の一覧表ではなく、機能ブロック図である。
図９は、受信用電子装置９０２に用いられる様々な構成部材を示すブロック図である。本明細書に記載される電子装置１０２、６０２、７０２のうち１以上の電子装置は、図９に示す受信用電子装置９０２に基づいて実現される。
上記受信用電子装置９０２は、当該電子装置９０２の動作を制御するプロセッサ９１７を備える。上記プロセッサ９１７は、ＣＰＵとも称することがある。メモリ９１１は、読み出し専用メモリ（ＲＯＭ）、およびランダムアクセスメモリ（ＲＡＭ）または情報を格納する任意の種類の装置の両方を備え、指示９１３ａ（例えば、実行可能な指示）とデータ９１５ａとをプロセッサ９１７に供給する。また、メモリ９１１の一部には、不揮発性のランダムアクセスメモリ（ＮＶＲＡＭ）が含まれる。上記メモリ９１１は、プロセッサ９１７と電子通信を行っている。
指示９１３ｂおよびデータ９１５ｂは、プロセッサ９１７に存在する。また、プロセッサ９１７にロードされた指示９１３ｂおよび／またはデータ９１５ｂは、プロセッサ９１７による実行または処理のためにロードされたメモリ９１１からの指示９１３ａおよび／またはデータ９１５ａを含む。指示９１３ｂがプロセッサ９１７によって実行されることで、本明細書に開示されたシステムおよび方法が実現される。例えば、指示９１３ｂは、上記に記載の方法２００、３００、４００、５００の１以上の方法が行われるように実行可能となっている。
受信用電子装置９０２は、他の電子装置（例えば、送信用電子装置）と通信するための１以上の通信インターフェース９１９を備える。上記通信インターフェース９１９は、有線通信技術、無線通信技術、あるいは両方に基づく。通信インターフェース９１９の例として、シリアルポート、パラレルポート、ユニバーサル・シリアルバス（ＵＳＢ）、イーサネット（登録商標）・アダプタ、ＩＥＥＥ１３９４バスインターフェース、小型コンピュータシステムインターフェース（ＳＣＳＩ）バスインターフェース、赤外線（ＩＲ）通信ポート、Ｂｌｕｅｔｏｏｔｈ（登録商標）無線通信アダプタ、第３世代パートナーシッププロジェクト（３ＧＰＰ）の仕様に準拠した無線送受信機などが挙げられる。
受信用電子装置９０２は、１以上の出力装置９２３および１以上の入力装置９２１を備える。出力装置９２３の例として、スピーカー、プリンター等が挙げられる。電子装置９０２に備えられる出力装置の一つとして、表示装置９２５が挙げられる。本明細書に開示された構成で使用される表示装置９２５は、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）、ガスプラズマ、エレクトロルミネッセンス等の、任意の好適な画像投影技術を利用する。表示制御装置９２７は、メモリ９１１に格納されたデータをテキスト、グラフィックス、および／または動画像に（必要に応じて）変換して表示装置９２５に表示するために設けられる。入力装置９２１の例として、キーボード、マウス、マイクロホン、リモコン、ボタン、ジョイスティック、トラックボール、タッチパッド、タッチスクリーン、ライトペン等が挙げられる。
受信用電子装置９０２の様々な構成部材は、データバスに加えて、電力バス、制御信号バス、およびステータス信号バスを含むバスシステム９２９を介して結合されている。しかし、図９には、理解しやすいように、バスシステム９２９として様々なバスが示されている。図９に示す受信用電子装置９０２は、特定の部材の一覧表ではなく、機能ブロック図である。
図１０は、メッセージを送信するためのシステムおよび方法を実装する電子装置１００２の一構成を示すブロック図である。電子装置１００２は、符号化手段１０３１および送信手段１０３３を備える。符号化手段１０３１および送信手段１０３３は、上述した図１、図２、図３、図６および図８のうち１以上の図を通じて説明した機能のうち、１以上の機能を実行するように構成されている。例えば、符号化手段１０３１および送信手段１０３３は、ビットストリーム１０１４を生成する。上述した図８は、図１０の具体的な装置構造の一例を示す。他の様々な構造は、図１、図２、図３、図６および図８に示す１以上の機能を実現するために実装される。例えば、ＤＳＰはソフトウェアによって実現される。
図１１は、ビットストリーム１１１４をバッファリングするためのシステムおよび方法を実装する電子装置１１０２の一構成を示すブロック図である。電子装置１１０２は、受信手段１１３５および復号化手段１１３７を備える。受信手段１１３５および復号化手段１１３７は、上述した図１、図４、図５、図７および図９のうち１以上の図を通じて説明した機能のうち、１以上の機能を実行するように構成されている。例えば、受信手段１１３５および復号化手段１１３７は、ビットストリーム１１１４を受信する。上述した図９は、図１１の具体的な装置構造の一例を示す。他の様々な構造は、図１、図４、図５、図７および図９に示す１以上の機能を実現するために実装される。例えば、ＤＳＰはソフトウェアによって実現される。
図１２は、復号化画像バッファ（ＤＰＢ）の動作を行うための方法１２００の一構成を示すフロー図である。方法１２００は、符号化装置１０４またはそのサブパーツ（例えば、復号化画像バッファモジュール６７６）の一つによって実行される。方法１２００は、電子装置１０２（例えば、電子装置Ｂ１０２ｂ）の復号装置１１２によって実行される。追加的または代替的に、方法１２００は、復号装置７１２またはそのサブパーツ（例えば、復号化画像バッファモジュール７０９）の一つによって実行される。復号装置は、画像の第１のスライスヘッダーを解析する（１２０２）。現在の画像を復号化する前（ただし、現在の画像の第１のスライスのスライスヘッダーを解析した後）にＤＰＢからの画像の出力および削除は、現在の画像を含むアクセスユニットの第１の復号化ユニットがＣＰＢから削除されて以下のように進行すると、同時に行われる。
−参照画像セット（ＲＰＳ）の復号化処理が行われる。参照画像セットは、ある画像に関連する一連の参照画像であって、復号順序で関連画像の前に存在するすべての参照画像からなり、関連画像、または復号順序で関連画像に続く任意の画像のインター予測のために使用される。
−映像のビットストリームは、一般的にネットワーク抽象化レイヤ（ＮＡＬ）ユニットと呼ばれる論理データパケットへと配置（placed into）されるシンタックス構造を含む。各ＮＡＬユニットは、２バイトのＮＡＬユニットヘッダー（例えば、１６ビット）等のＮＡＬユニットヘッダーを含み、関連するデータペイロードの目的を特定する。例えば、各符号化スライス（および／または画像）は、１以上のスライス（および／または画像）ＮＡＬユニットで符号化される。他のＮＡＬユニットは、例えば、付加エンハンスメント情報、一時的サブレイヤアクセス（ＴＳＡ）画像の符号化スライス、段階的一時的サブレイヤアクセス（ＳＴＳＡ）画像の符号化スライス、非ＴＳＡの符号化スライス、非ＳＴＳＡトレイリング画像、リンク破損アクセス画像の符号化スライス、瞬時復号リフレッシュ画像の符号化スライス、クリーンランダムアクセス画像の符号化スライス、復号可能な先行画像の符号化スライス、タグ付き破棄画像の符号化スライス、映像パラメータセット、シーケンスパラメータセット、ピクチャパラメータセット、アクセスユニットデリミタ、シーケンスの終端、ビットストリームの終端、フィルターデータ、および／またはシーケンスエンハンスメント情報メッセージ等の他のカテゴリーのデータのために含まれてもよい。表４に、ＮＡＬユニットコードおよびＮＡＬユニットの種別の一例を示す。他の種類のＮＡＬユニットが必要に応じて含まれてもよい。また、表４に示すＮＡＬユニットのＮＡＬユニットの種類の値を入れ替えてもよいし、再割り当てしてもよい。また、さらなるＮＡＬユニットの種類が追加されてもよい。また、一部の種類のＮＡＬユニットが削除されてもよい。
イントラランダムアクセスポイント（ＩＲＡＰ）画像とは、表４に示すようにBLA_W_LPからRSV_IRAP_VCL23まで（BLA_W_LPおよびRSV_IRAP_VCL23を含む）の範囲でnal_unit_typeを有する各映像符号化レイヤのＮＡＬユニットのための符号化画像である。ＩＲＡＰ画像はイントラ符号化（Ｉ）スライスのみを含む。瞬時復号リフレッシュ（ＩＤＲ）画像とは、表４に示すようにIDR_W_RADLまたはIDR_N_LPと同等のnal_unit_typeを有する各映像符号化レイヤのＮＡＬユニットのためのＩＲＡＰ画像である。瞬時復号リフレッシュ（ＩＤＲ）画像は、Ｉスライスのみを含み、復号化順序におけるビットストリームの第１画像であってもよく、ビットストリームの後ろの方に現れてもよい。各ＩＤＲ画像は、復号化順序における符号化映像シーケンス（ＣＶＳ）の第１画像である。リンク破損アクセス（ＢＬＡ）画像とは、表４に示すようにBLA_W_LP、BLA_W_RADL、またはBLA_N_LPと同等のnal_unit_typeを有する各映像符号化レイヤのＮＡＬユニットのためのＩＲＡＰ画像である。ＢＬＡ画像は、Ｉスライスのみを含み、復号化順序におけるビットストリームの第１画像であってもよく、ビットストリームの後ろの方に現れてもよい。各ＢＬＡ画像は、新しい符号化映像シーケンスを開始し、復号化処理においてＩＤＲ画像と同じ効果を有する。しかし、ＢＬＡ画像は、空ではない参照画像セットを指定するシンタックス要素を含む。
Figure 2021093729
表５を参照すると、ＮＡＬユニットヘッダーシンタックスは、２バイト、すなわち１６ビットのデータを含む。最初のビットは、"forbidden_zero_bit"であり、ＮＡＬユニットの開始時に常に０に設定される。次の６ビットは、"nal_unit_type"であり、表４に示すＮＡＬユニットに含まれるローバイトシーケンスペイロード（ＲＢＳＰ）データ構造の種類を指定する。次の６ビットは、"nuh_layer_id"であり、レイヤの識別子を指定する。これらの６ビットは、代わりに、"nuh_reserved_zero_6bits"として指定される場合もある。上記nuh_reserved_zero_6bitsは、規格の基本仕様では０に等しい。スケーラブル映像符号化および／またはシンタックス拡張において、nuh_layer_idはこの特定のＮＡＬユニットがこれらの６ビットの値で識別されるレイヤに属することを指定している。次のシンタックス要素は、"nuh_temporal_id_plus1"である。上記nuh_temporal_id_plus1 minus 1
は、ＮＡＬユニットの一時的識別子を指定している。変数一時的識別子TemporalIdは、TemporalId＝nuh_temporal_id_plus1−１として指定される。上記一時的識別子TemporalIdは、一時的サブレイヤを識別するために使用される。変数HighestTidは、復号化対象となる、最上位の一時的サブレイヤを識別する。
Figure 2021093729
表６は、例示的なシーケンスパラメータセット（ＳＰＳ）のシンタックス構造を示す。
pic_width_in_luma_samplesは、輝度サンプルユニットにおける各復号化画像の幅を指定する。pic_width_in_luma_samplesは、０に等しくないものとする。
pic_height_in_luma_samplesは、輝度サンプルユニットにおける各復号化画像の高さを指定する。pic_height_in_luma_samplesは、０に等しくないものとする。
sps_max_sub_layers_minus1＋１は、ＳＰＳを参照する各ＣＶＳに存在する一時的サブレイヤの最大数を指定する。sps_max_sub_layers_minus1の値は、０以上６以下の範囲であるものとする。
sps_sub_layer_ordering_info_present_flagフラグが１に等しい場合は、sps_max_dec_pic_buffering_minus1[i]、sps_max_num_reorder_pics[i]、およびsps_max_latency_increase_plus1[i]のシンタックス要素が、sps_max_sub_layers_minus1＋１サブレイヤに対して存在することを指定する。sps_sub_layer_ordering_info_present_flagが０に等しい場合は、sps_max_dec_pic_buffering_minus1[sps_max_sub_layers_minus1]、sps_max_num_reorder_pics[sps_max_sub_layers_minus1]、およびsps_max_latency_increase_plus1[sps_max_sub_layers_minus1]の値がすべてのサブレイヤに該当することを指定する。
sps_max_dec_pic_buffering_minus1[i]＋１は、HighestTidがｉに等しいときの、画像保存バッファのユニットでのＣＶＳ用の復号化画像バッファの最大必要サイズを指定する。sps_max_dec_pic_buffering_minus1[i]の値は、MaxDpbSizeが最大復号化画像バッファのサイズを画像保存バッファユニットで指定する場合、０以上MaxDpbSize−１以下の範囲の値であるものとする。ｉが０よりも大きい時、sps_max_dec_pic_buffering_minus1[i]はsps_max_dec_pic_buffering_minus1[i-1]以上であるものとする。sps_sub_layer_ordering_info_present_flagが０に等しいことにより、sps_max_dec_pic_buffering_minus1[i]においてｉが０以上sps_max_sub_layers_minus1−１以下の範囲に対して存在しない場合、sps_max_dec_pic_buffering_minus1[i]はsps_max_dec_pic_buffering_minus1[sps_max_sub_layers_minus1]に等しいと推定される。
sps_max_num_reorder_pics[i]は、HighestTidがｉに等しい場合に、復号順序においてＣＶＳ内で任意の画像に先行するとともに出力順序においてその画像に続く画像の最大許容数を示す。sps_max_num_reorder_pics[i]の値は、０以上sps_max_dec_pic_buffering_minus1[i]以下の範囲の値であるものとする。ｉが０よりも大きい時、sps_max_num_reorder_pics[i]がsps_max_num_reorder_pics[i-1]以上であるものとする。sps_sub_layer_ordering_info_present_flagが０に等しいことにより、sps_max_num_reorder_pics[i]においてｉが０以上sps_max_sub_layers_minus1−１以下の範囲に対して存在しない場合、sps_max_num_reorder_pics[i]はsps_max_num_reorder_pics[ sps_max_sub_layers_minus1 ]に等しいと推定される。
０に等しくないsps_max_latency_increase_plus1[i]は、HighestTidがｉに等しい場合に、出力順序においてＣＶＳ内で任意の画像に先行するとともに復号順序においてその画像に続く画像の最大数を指定する値、SpsMaxLatencyPictures[i]を算出するために用いられる。
sps_max_latency_increase_plus1[i]が０に等しくない場合、SpsMaxLatencyPictures[i]の値は次のように指定される。
SpsMaxLatencyPictures[i]＝sps_max_num_reorder_pics[i]＋ sps_max_latency_increase_plus1[i]−１
sps_max_latency_increase_plus1[i]が０に等しい場合、対応する制限は表されない。
sps_max_latency_increase_plus1[i]の値は、０以上 ２３２−２以下の範囲の値であるものとする。
sps_sub_layer_ordering_info_present_flagが０に等しいことにより、sps_max_latency_increase_plus1[i]においてｉが０以上sps_max_sub_layers_minus1−１以下の範囲に対して存在しない場合、sps_max_latency_increase_plus1[i]はsps_max_latency_increase_plus1[ sps_max_sub_layers_minus1 ]に等しいと推定される。
Figure 2021093729
現在の画像がＩＲＡＰ画像である時、以下の事項が該当する。
−現在の画像がＩＤＲ画像、ＢＬＡ画像、復号順序におけるビットストリームの第１画像、または復号順序においてシーケンスＮＡＬユニットの末尾に続く第１画像である場合、変数NoRaslOutputFlagは１に等しく設定される。
−あるいは、変数HandleCraAsBlaFlagを現在の画像の値に設定するための何らかの外部手段が利用可能である場合、変数HandleCraAsBlaFlagは、その外部手段が提供する値に等しい値に設定され、変数NoRaslOutputFlagはHandleCraAsBlaFlagに等しい値に設定される。
−あるいは、変数HandleCraAsBlaFlagは０に等しく設定され、変数NoRaslOutputFlagは、０に等しく設定される。
現在の画像が、画像０ではない、１に等しい変数NoRaslOutputFlagを有するＩＲＡＰ画像である場合、以下の順序付けられた工程が適用される。
１．変数NoOutputOfPriorPicsFlagは、テスト中の復号装置のために以下のように導き出される。
−現在の画像がＣＲＡ画像である場合、（no_output_of_prior_pics_flagの値に関係なく）NoOutputOfPriorPicsFlagは１に等しく設定される。
−あるいは、アクティブなＳＰＳから導き出されたpic_width_in_luma_samples、pic_height_in_luma_samples、またはsps_max_dec_pic_buffering_minus1[HighestTid]の値が、前の画像のためにアクティブなＳＰＳから導き出されたpic_width_in_luma_samples、pic_height_in_luma_samples、またはsps_max_dec_pic_buffering_minus1[HighestTid]の値とそれぞれ異なる場合、NoOutputOfPriorPicsFlagは、no_output_of_prior_pics_flagの値に関係なく、テスト中の復号装置によって１に設定されてもよい（が、必ずしも設定されなくてもよい）。
−あるいは、NoOutputOfPriorPicsFlagはno_output_of_prior_pics_flagに等しく設定される。
２．テスト中の復号装置のために導き出されるNoOutputOfPriorPicsFlagの値は、ＨＲＤのために以下のように適用される。
−NoOutputOfPriorPicsFlagが１に等しい場合、ＤＰＢ内の全ての画像保存バッファは、当該画像保存バッファが格納する画像を出力せずに空になり、ＤＰＢフルネス（fullness）は０に等しく設定される。
−あるいは（NoOutputOfPriorPicsFlagが０に等しい場合）、「出力不要」および「参照に不使用」とマーキングされている画像を格納しているすべての画像保存バッファは（出力せずに）空になり、「バンピング」工程１２０４を繰り返し実行することでＤＰＢ内の空になっていないすべての画像保存バッファが空になり、ＤＰＢフルネスは０に等しく設定される。
−あるいは（現在の画像が１に等しいNoRaslOutputFlagを有するＩＲＡＰ画像ではない場合）、「出力不要」および「参照に不使用」と記されている画像を格納しているすべての画像保存バッファは（出力せずに）空になる。各画像保存バッファが空になると、ＤＰＢフルネスは１ずつ減少される。下記条件の１以上が真である時、下記条件がすべて真でなくなるまで、空になる画像保存バッファが増えるごとにＤＰＢフルネスを１ずつ減少させながら、「バンピング」工程１２０４を繰り返し実行する。
１．ＤＰＢ内の、その特定のnuh_layer_idの値を有する画像であって、「出力要」とマーキングされた画像の数が、アクティブなシーケンスパラメータセット（その特定のnuh_layer_idの値が０に等しい場合）に由来する、またはその特定のnuh_layer_idの値に対応するアクティブなレイヤのシーケンスパラメータセットに由来するsps_max_num_reorder_pics[HighestTid]よりも大きい。
２．アクティブなシーケンスパラメータセット（その特定のnuh_layer_idの値が０に等しい場合）に由来する、またはその特定のnuh_layer_idの値に対応するアクティブなレイヤのシーケンスパラメータセットに由来するsps_max_latency_increase_plus1[ HighestTid ] が０に等しくないとともに、ＤＰＢ内の、その特定のnuh_layer_idの値を有する画像であって、関連する変数PicLatencyCountが、その特定のnuh_layer_idの値に対応するSpsMaxLatencyPictures[HighestTid]以上である「出力要」とマーキングされた画像が少なくとも一つある場合。
３．ＤＰＢ内の、その特定のnuh_layer_idの値を有する画像であって、「出力要」とマーキングされた画像の数が、アクティブなシーケンスパラメータセット（その特定のnuh_layer_idの値が０に等しい場合）に由来する、またはその特定のnuh_layer_idの値に対応するアクティブなレイヤのシーケンスパラメータセットに由来するsps_max_dec_pic_buffering[ HighestTid ]＋１以上である。
ブロック１２０６（画像復号化およびマーキング）における画像復号処理は、現在の画像を含むアクセスユニットの最新の復号化ユニットがＣＰＢから削除されると同時に実行される。
ＤＰＢ内の、現在の画像のnuh_layer_idの値に等しいnuh_layer_idの値を有する画像であって、「出力要」とマーキングされた各画像について、関連する変数PicLatencyCountはPicLatencyCount＋１に等しく設定される。
画像の最新の復号化ユニットが復号化された後に、現在の画像が復号化されたと考えられる。現在の復号化画像は、ＤＰＢ内の空の画像保存バッファに保存され、次の事項が適用される。
−現在の復号化画像が１に等しいPicOutputFlagを有する場合、「出力要」とマーキングされ、その関連する変数PicLatencyCountが０に等しく設定される。
−あるいは（現在の復号化画像が０に等しいPicOutputFlagを有する場合）、「出力不要」とマーキングされる。
現在の復号化画像は「短期参照用に使用」とマーキングされる。
下記条件の１以上が真である時、下記条件がすべて真でなくなるまで、追加的な「バンピング」工程１２０８を繰り返し実行する。
−ＤＰＢ内の、現在の画像のnuh_layer_idの値に等しいnuh_layer_idを有する画像であって、「出力要」とマーキングされた画像の数が、アクティブなシーケンスパラメータセット（現在の画像のnuh_layer_idの値が０に等しい場合）に由来する、または現在の画像のnuh_layer_idの値に対応するアクティブなレイヤのシーケンスパラメータセットに由来するsps_max_num_reorder_pics[ HighestTid ]よりも大きい。
−アクティブなシーケンスパラメータセット（現在の画像のnuh_layer_idの値が０に等しい場合）に由来する、または現在の画像のnuh_layer_idの値に対応するアクティブなレイヤのシーケンスパラメータセットに由来するsps_max_latency_increase_plus1[ HighestTid ] が０に等しくないとともに、ＤＰＢ内の、その特定のnuh_layer_idの値を有する画像であって、関連する変数PicLatencyCountが、その特定のnuh_layer_idの値に対応するSpsMaxLatencyPictures[ HighestTid ]以上である「出力要」とマーキングされた画像が少なくとも一つある。
上記「バンピング」工程１２０４および追加的なバンピング工程１２０８は、工程の観点から同一のものであり、次の順序付けされた工程からなる。すなわち、初めて出力される画像は、ＤＰＢ内の「出力要」とマーキングされたすべての画像のうち、ピクチャオーダーカウント（picture order count）（PicOrderCntVal）の最も小さい値を有する画像として選択される。ピクチャオーダーカウントは、各画像に関連付けされる変数であり、ＣＶＳ内のすべての画像のうち、関連する画像を一意に識別する。また、上記ピクチャオーダーカウントは、当該関連する画像が復号化画像バッファから出力される時、復号化画像バッファから出力される同じＣＶＳに保存されている他の画像の出力順序の位置に対して、出力順序における当該関連画像の位置を示す。
−これらの画像は、０に等しいnuh_layer_idを有する画像のためのアクティブなシーケンスパラメータセットまたは当該画像のnuh_layer_idに等しいnuh_layer_idの値に対応するアクティブなレイヤのシーケンスパラメータセットに指定されたコンフォーマンスクロッピングウィンドウ（conformance cropping window）を用いてクロップされ、クロップされた画像はnuh_layer_idの昇順で出力され、当該画像は、「出力不要」とマーキングされる。
−「参照に不使用」とマーキングされた画像を含み、クロップされて出力された画像の一つを含んでいた各画像保存バッファが空になる。
図１３Ａを参照すると、上述したように、ＮＡＬユニットヘッダーシンタックスは、２バイト、すなわち１６ビットのデータを含む。最初のビットは、"forbidden_zero_bit"であり、ＮＡＬユニットの開始時に常に０に設定される。次の６ビットは、"nal_unit_type"であり、ＮＡＬユニットに含まれるローバイトシーケンスペイロード（ＲＢＳＰ）データ構造の種類を指定する。次の６ビットは、"nuh_reserved_zero_6bits"である。nuh_reserved_zero_6bits は、規格の基本仕様では０に等しい。必要に応じてnuh_reserved_zero_6bitsの他の値を指定することができる。復号装置は、規格の基本仕様に基づいてストリームを扱う時に、０に等しくないnuh_reserved_zero_6bitsの値を有するＮＡＬユニットをすべて無視する（つまり、ビットストリームから削除して破棄する）。スケーラブル拡張または他の拡張において、スケーラブル映像符号化および／またはシンタックス拡張を信号化するために、nuh_reserved_zero_6bitsは他の値を指定することもできる。シンタックス要素nuh_reserved_zero_6bitsがreserved_zero_6bitsと称される場合もある。シンタックス要素nuh_reserved_zero_6bitsは、図１３Ｂおよび図１３Ｃに示すように、layer_id_plus1またはlayer_idと称される場合もある。この場合、要素layer_idはlayer_id_plus1−１である。この場合、スケーラブル符号化映像のレイヤに関連する情報を信号化するために用いられる。次のシンタックス要素は、"nuh_temporal_id_plus1"である。nuh_temporal_id_plus1−１は、ＮＡＬユニットのための一時的識別子を指定する。変数一時的識別子TemporalIdは、TemporalId＝nuh_temporal_id_plus1−１で指定される。
一般的なＮＡＬユニットのシンタックス構造を図１４に示す。図１３に示すＮＡＬユニットヘッダーの２バイトのシンタックスは、図１４に示すnal_unit_header()を参照して含まれる。ＮＡＬユニットシンタックスの剰余は、主にＲＢＳＰに関連する。
"nuh_reserved_zero_6bits"を用いる既存の技術の一つは、６ビットのnuh_reserved_zero_6bitsをスケーラブル符号化映像の異なるレイヤの識別をそれぞれ参照する別個のビットフィールド、すなわち１以上の依存性ＩＤ、品質ＩＤ、ビューＩＤ、および深度フラグに分割することで、スケーラブル映像符号化情報を信号化するためのものである。そのため、上記６ビットは、この特定のＮＡＬユニットが、スケーラブル符号化技術のどのレイヤに属しているのかを示す。そして、図１５に示すような映像パラメータセット（ＶＰＳ）の拡張シンタックス（"scalability_type"）等のデータペイロードにおいて、レイヤの情報が定義される。図１５に示すＶＰＳ拡張シンタックスは、符号化映像シーケンスで使用されているスケーラビリティタイプと、ＮＡＬユニットヘッダーにおけるlayer_id_plus1（またはlayer_id）を介して信号化されるディメンション（dimensions）とを指定する、４ビットのスケーラビリティタイプ（シンタックス要素scalability_type）を含む。スケーラビリティタイプが０に等しい場合、符号化映像シーケンスは基本仕様に準拠する。そのため、すべてのＮＡＬユニットのlayer_id_plus1は０に等しくなり、エンハンスメントレイヤまたはビューに属しているＮＡＬユニットがなくなる。図１６に示すように、スケーラビリティタイプの値が高くなることがわかる。
layer_id_dim_len[i]は、ｉ番目のスケーラビリティディメンションＩＤの長さをビット単位で指定する。layer_id_dim_len[i]の値の和は、０から７までの範囲のすべてのｉの値について、６以下である。vps_extension_byte_alignment_reserved_zero_bitは０である。vps_layer_id[i]は、以下のレイヤ依存性情報が適用されるｉ番目のレイヤのレイヤＩＤの値を指定する。num_direct_ref_layers[i]は、ｉ番目のレイヤが直接依存するレイヤの数を指定する。ref_layer_id[i][j]は、ｉ番目のレイヤが直接依存するｊ番目のレイヤを識別する。
このように、既存の技術は、ＮＡＬユニット内および映像パラメータセット内の各スケーラビリティの識別子を信号化して、図１６に記載のスケーラビリティタイプのあいだでビットを割り当てる。次に、各スケーラビリティタイプについて、多くのディメンション（dimensions）をサポートする方法を図１６に定義する。例えば、スケーラビリティタイプ１は、２つのディメンション（すなわち、空間および品質）を有する。各ディメンションについて、layer_id_dim_len[i]は、これら２つのディメンションにそれぞれ割り当てられるビット数を定義し、layer_id_dim_len[i]のすべての値の総和は、ＮＡＬユニットヘッダーのnuh_reserved_zero_6bitsのビット数である６以下となる。このように、この技術を併用することで、どのタイプのスケーラビリティが使用中であるかと、ＮＡＬユニットヘッダーの６ビットがスケーラビリティ間でどのように割り当てられるかが識別される。
図１６に示すような異なるスケーラビリティディメンションの決まった組み合わせは多くの用途に適しているが、図１６には含まれていない望ましい組み合せもある。図１７を参照すると、修正された映像パラメータセットの拡張シンタックスは、シンタックス要素nuh_reserved_zero_6bitsのビットごとにスケーラビリティタイプを指定する。vps_extension_byte_alignment_reserved_zero_bitは０に設定される。max_num_layers_minus1_bitsは、図１３においてlayer_id_plus1またはnuh_reserved_zero_6bitsと称するＮＡＬユニットヘッダーの最初の２バイトのシンタックス要素に使用されるビットの総数を示す。scalability_map[i]は、シンタックス要素layer_id_plus1のビットごとにスケーラビリティタイプを指定する。シンタックス要素layer_id_plus1は、代わりに、シンタックス要素nuh_reserved_zero_6bitsまたはrserved_zero_6bitsと呼ばれる場合もある。シンタックス要素layer_id_plus1のすべてのビットのためのスケーラビリティマップは、符号化映像シーケンスで使用されているスケーラビリティを共に指定する。スケーラビリティタイプのそれぞれの識別子の実際の値は、ＮＡＬユニットヘッダーのlayer_id_plus1（nuh_reserved_zero_6bits）フィールドにおけるそれらの対応するビットを介して信号化される。scalability_map[i]がｉのすべての値について０に等しい場合、符号化映像シーケンスは基本仕様に準拠する。そのため、ＮＡＬユニットのlayer_id_plus1の値は０に等しくなり、エンハンスメントレイヤまたはビューに属しているＮＡＬユニットがなくなる。vps_layer_id[i]は、以下のレイヤ依存性情報が適用されるｉ番目のレイヤのレイヤＩＤの値を指定する。num_direct_ref_layers[i]は、ｉ番目のレイヤが直接依存するレイヤの数を指定する。ref_layer_id[i][j]は、ｉ番目のレイヤが直接依存するｊ番目のレイヤを識別する。
図１８に示すように、scalability_map[i]の値が高くなることがわかる。scalability_map [i]には、（０）無し、（１）空間、（２）品質、（３）深度、（４）マルチビュー、（５）未指定、（６）予約済、（７）予約済、といったスケーラビリティディメンションが含まれる。
したがって、ＮＡＬユニットヘッダーの各ビットは、映像パラメータセット内の３ビットに基づいてスケーラビリティスケーラビリティディメンション（例えば、無し、空間、品質、深度、マルチビュー、未指定、予約済）が何であるかが解釈される。例えば、layer_id_plus1のすべてのビットが空間スケーラビリティに対応することを信号化するために、ＶＰＳ内のscalability_mapの値は、ＮＡＬユニットヘッダーの６ビットについて、001
001 001 001 001 001と符号化される。また、例えば、layer_id_plus1の３ビットが空間スケーラビリティに対応し、３ビットが空間スケーラビリティに対応することを信号化するために、ＶＰＳ内のscalability_mapの値は、ＮＡＬユニットヘッダーの６ビットについて、001 001 001 010 010 010と符号化される。
図１９を参照すると、他の実施形態においては、num_scalability_dimensions_minus1を用いてＮＡＬユニットヘッダーの６ビットにスケーラビリティディメンションの数を信号化する映像パラメータセットが含まれる。num_scalability_dimensions_minus1＋１は、シンタックス要素layer_id_plus1、nuh_reserved_zero_6bits、および／または reserved_zero_6bitsを介して信号化されるスケーラビリティディメンションの数を示す。scalability_map[i]は、図１７に関連して上述したように、同じセマンティクスを有する。num_bits_for_scalability_map[i]は、Ｉ番目のスケーラビリティディメンションについて、長さをビット単位で指定する。ｉ＝０であるnum_bits_for_scalability_map[i]〜num_scalability_dimensions_minus1のすべての総和は、６に等しい（あるいは、シンタックス要素layer_id_plus1、vps_reserved_zero_6bits、max_num_layers_minus1、reserved_zero_6bits、nuh_reserved_zero_6bitsに使用されるビット数に等しい）。
図１７および図１９に関して、必要に応じて他の変形例を用いてもよい。一実施形態では、例えば、scalability_map[i]は、u(4)または、u(n)（ｎ＞３またはｎ＜３）で信号化されてもよい。この場合、scalability_map[i]の高い値は、映像技術の特定のプロファイルに準拠するビットストリームに予約済として指定される。例えば、スケーラビリティマップの値６〜１５は、scalability_map[i]をu(4)で信号化する時に「予約済」として指定される。他の実施形態においては、例えば、scalability_map[i]は、ue(v)またはその他のコード体系によって信号化されてもよい。他の実施形態においては、例えば、scalability_map[i]の値を単調な非降順（または非昇順）で配置するという制限が指定される。これにより、ＮＡＬユニットヘッダー中のlayer_id_plus1 field内に様々なスケーラビリティディメンションフィールドが連続するようになる。
シンタックス要素「layer_id_plus1」または「nuh_reserved_zero_6bits」を用いてスケーラブル映像符号化を信号化する別の既存の技術は、映像パラメータセット中の一般的なルックアップテーブルを信号化することで、ＮＡＬユニットヘッダー内のlayer_id_plus1をレイヤ識別にマッピングするために存在する。図２０を参照すると、既存の技術では、ルックアップテーブルのｉ番目のレイヤについてディメンションタイプとディメンション識別の数を指定する映像パラメータセットを含む。特に、vps_extension_byte_alignment_reserved_zero_bitは０である。num_dimensions_minus1[i]＋１は、ｉ番目のレイヤについて、ディメンションタイプ（dimension_type[i][j]）およびディメンション識別子（dimension_id[i][j]）の数を指定する。上記dimension_type[i][j]は、図３１に示すように、ｉに等しいlayer_idまたはlayer_id_plus1を有するｉ番目のレイヤのｊ番目のスケーラビリティディメンションタイプを指定する。図２１に示すように、識別されるディメンションは、（０）ビューオーダーｉｄｘ、（１）深度フラグ、（２）依存性ＩＤ、（３）品質ＩＤ、（４）〜（１５）予約済を含む。dimension_id[i][j]は、存在しない場合０だと推定されるｉ番目のレイヤのｊ番目のスケーラビリティディメンションタイプの識別子を指定する。num_direct_ref_layers[i]は、ｉ番目のレイヤが直接依存するレイヤの数を指定する。ref_layer_id[i][j]は、ｉ番目のレイヤが直接依存するｊ番目のレイヤを識別する。残念なことに、図２０に示す提案された実施形態では、非実際的なほど大きなルックアップテーブルとなっている。
図２２を参照すると、修正された映像パラメータセット拡張は、スケーラビリティディメンションと併用されるスケーラビリティマスクを含む。上記scalability_maskは、図２３に示すスケーラビリティマップのシンタックスで表すような一つのスケーラビリティディメンションに対応する各ビットを用いて、０と１のビットのパターンを信号化する。特定のスケーラビリティディメンションの値が１である場合、このスケーラビリティディメンションがこのレイヤ（Ｉ番目のレイヤ）に存在することを示す。特定のスケーラビリティディメンションの値が０である場合、このスケーラビリティディメンションがこのレイヤ（Ｉ番目のレイヤ）に存在しないことを示す。例えば、00100000といった一連のビットは、品質スケーラビリティを意味する。存在する特定のスケーラビリティディメンションの実際の識別子の値は、信号化されたscalability_id[j]の値で示される。num_scalability_types[i]の値は、１の値を有するscalability_mask内のビットの総数に等しい。
したがって、
Figure 2021093729
となる。
上記scalability_id[j]は、scalability_maskの値で信号化されたスケーラビリティタイプの値に対応するｊ番目のスケーラビリティディメンションの識別子の値を示す。
図２４を参照すると、図２２の変形例は、ループの外で信号化されているスケーラビリティマスクを含む。これにより、各レイヤの識別のための一つの共通のマスクが得られる。図２５を参照すると、本変形例では、対応する例示的な映像パラメータセットは、含まれていないスケーラビリティマスクを有するスケーラブルな識別（scalable identification）を含む。この場合、シンタックス要素scalable_id[j]は、図２２のシンタックス要素scalability_id[j]と同じように解釈される。
図２６を参照すると、図２２の変形例は、ループの外で信号化されているスケーラビリティマスク（scalability_mask）を含む。これにより、各レイヤの識別のための一つの共通のマスクが得られる。上記scalability_maskは、図２７に示すスケーラビリティマップのシンタックスで表すような一つのスケーラビリティディメンションに対応する各ビットを用いて、０と１のビットのパターンを信号化する。特定のスケーラビリティディメンションの値が１である場合、このスケーラビリティディメンションがこのレイヤ（ｉ番目のレイヤ）に存在することを示す。特定のスケーラビリティディメンションの値が０である場合、このスケーラビリティディメンションがこのレイヤ（ｉ番目のレイヤ）に存在しないことを示す。例えば、00100000といった一連のビットは、品質スケーラビリティを意味する。存在する特定のスケーラビリティディメンションの実際の識別子の値は、信号化されたscalability_id[j]の値で示される。num_scalability_types[i]の値は、１の値を有するscalability_mask内のビットの総数に等しい。したがって、
Figure 2021093729
となる。
この場合、変数scalability_id[j]は、代わりに、変数dimension_id[i][j]と呼ばれる。dimension_id[i][j]は、ｉ番目のレイヤのｊ番目のスケーラビリティディメンションのスケーラビリティの識別子を指定する。次に、変数ScalabilityId[i][j]は以下のように導き出される。
Figure 2021093729
ScalabilityId[i][k]は、対応するスケーラビリティタイプについて、ディメンションＩＤを以下のように信号化する。
Figure 2021093729
DependencyId[i][1]は、ｉ番目のレイヤの空間スケーラビリティディメンションについての依存性ＩＤである。QualityId[i][2]は、ｉ番目のレイヤの品質スケーラビリティディメンションについての品質ＩＤである。depthFlag[i][3]は、ｉ番目のレイヤの深度スケーラビリティディメンションについての深度フラグ／深度ＩＤである。ViewId[i][4]は、ｉ番目のレイヤのマルチビュースケーラビリティディメンションについてのビューＩＤである。
また、図２６において、１に等しいavc_base_codec_flagは、ベースレイヤがRec. ITU-T H.264 | ISO/IEC 14496-10に準拠することを指定し、１に等しいavc_base_codec_flagはＨＥＶＣに準拠することを指定する。vps_nuh_layer_id_presnet_flagは、ＮＡＬユニットヘッダーのlayer_idの値を信号化する変数layer_id_in_nuh[i]が信号化されているかを示す。
他の実施形態において、シンタックス要素scalability_mask[i]、scalability_maskおよびscalability_id[j]のうち１以上のシンタックス要素は、u(8)とは異なる数のビットを用いて信号化されてもよい。例えば、上記シンタックス要素は、u(16)またはu(n)（ｎ＞８またはｎ＜８）を用いて信号化してもよい。他の実施形態において、これらのシンタックス要素のうち１以上のシンタックス要素は、ue(v)を用いて信号化してもよい。scalability_maskは、シンタックス要素layer_id_plus1、vps_reserved_zero_6bits、max_num_layers_minus1、reserved_zero_6bitsおよび／またはnuh_reserved_zero_6bitsにおけるＮＡＬユニットヘッダーにおいて信号化される。いくつかの実施形態において、システムは、上記の処理をＶＰＳのＮＡＬユニットのみについて、非ＶＰＳのＮＡＬユニットのみについて、またはすべてのＮＡＬユニットについて行ってもよい。さらに他の実施形態において、scalability_maskは、ビットストリーム中の任意の箇所で、画像ごとに信号化してもよい。例えば、scalability_maskは、スライスヘッダー、ピクチャパラメータセット、映像パラメータセット、もしくはその他のパラメータセット、または上記ビットストリーム中の規準を定める他の部分において信号化してもよい。
なお、図１３のＮＡＬユニットヘッダー中のシンタックス要素nuh_reserved_zero_6bitsまたはlayer_id_plus1が６ビットであるため、図１３、１５、１８、２０、２１、２２、２３および対応する記載は、６ビットを表す。しかし、そのシンタックス要素に６ビットではない異なる数のビットを使用した場合には、上記の記載をすべて変更することができる。例えば、図１７においてそのシンタックス要素（nuh_reserved_zero_6bitsまたはlayer_id_plus1）に、９ビットを代わりに使用した場合、the value of max_num_layer_minus1のビットの値は、９となり、scalability_map[i]は６ビットではなく、９ビットの各ビットについて信号化される。
図２４を参照すると、図２２の変形例は、レイヤ依存性情報を信号化するためのシンタックスを備える。新たなシンタックス要素layer_dependency_information_patternを定義する。
layer_dependency_information_patternは、vps_max_layers_minus1に等しい長さを用いて、０と１のビットのパターンを信号化する。ｉ番目のビットの値が０である場合、layer_id (i+1)を有するレイヤが独立したレイヤであることを示す。ｉ番目のビットの値が１である場合、layer_id (i+1)を有するレイヤが１以上の他のレイヤに依存する依存レイヤであることを示す。
NumDepLayersの値は、１の値を有するlayer_dependency_information_patternのビットの総数に等しい。したがって、
Figure 2021093729
となる。
図２９を参照すると、図２６の変形例は、レイヤ依存性情報を信号化するためのシンタックスを備える。新たなシンタックス要素layer_dependency_flag[i]を定義する。上記layer_dependency_flag[i]は、あるレイヤが他のレイヤに依存する場合に信号化する。フラグの値が０である場合、layer_id iを有するレイヤが独立したレイヤであることを示す。ｉ番目のビットの値が１である場合、layer_id iを有するレイヤが依存レイヤであることを示す。
図３０を参照すると、図２６の変形例は、レイヤ依存性情報を信号化するためのシンタックスを備える。新たなシンタックス要素layer_dependency_map[i]を定義する。上記layer_dependency_map[i]は、vps_max_layers_minus1に等しい長さを用いて、０と１のビットのパターンを信号化する。layer_dependency_map[i]のｋ番目のビットの値が０である場合、レイヤｉがlayer_id (k+1)を有するレイヤに依存しないことを示す。layer_dependency_map[i]のｋ番目のビットの値が１である場合、レイヤｉがlayer_id (k+1)を有するレイヤに依存することを示す。
図３１を参照すると、図２６の変形例は、レイヤ依存性情報を信号化するためのシンタックスを備える。新たなシンタックス要素layer_dependency_information_patternを定義する。
上記layer_dependency_information_patternは、vps_max_layers_minus1に等しい長さを用いて、０と１のビットのパターンを信号化する。ｉ番目のビットの値が０である場合、layer_id (i+1)を有するレイヤが独立したレイヤであることを示す。ｉ番目のビットの値が１である場合、layer_id (i+1)を有するレイヤが１以上の他のレイヤに依存する依存レイヤであることを示す。NumDepLayersの値は、１の値を有するlayer_dependency_information_patternのビットの総数に等しい。したがって、
Figure 2021093729
となる。
layer_dependency_map[i]は、vps_max_layers_minus1に等しい長さを用いて、０と１のビットのパターンを信号化する。layer_dependency_map[i]のｋ番目のビットの値が０である場合、レイヤｉがlayer_id (k+1)を有するレイヤに依存しないことを示す。layer_dependency_map[i]のｋ番目のビットの値が１である場合、レイヤｉがlayer_id (k+1)を有するレイヤに依存することを示す。
図３２を参照すると、図２６の変形例は、レイヤ依存性情報を信号化するためのシンタックスを備える。図２８は、図２７に示すシンタックスに基づくシンタックスの変形例である。新たなシンタックス要素layer_dependency_information_patternを定義する。
layer_dependency_information_patternは、vps_max_layers_minus1に等しい長さを用いて、０と１のビットのパターンを信号化する。ｉ番目のビットの値が０である場合、layer_id (i+1)を有するレイヤが独立したレイヤであることを示す。ｉ番目のビットの値が１である場合、layer_id (i+1)を有するレイヤが１以上の他のレイヤに依存する依存レイヤであることを示す。
NumDepLayersの値は、１の値を有するlayer_dependency_information_patternのビットの総数に等しい。したがって、
Figure 2021093729
となる。
シンタックス要素num_direct_ref_layers[i]およびref_layer_id[i][j]は、layer_dependency_information_pattern(i)の値が１である場合にのみ信号化される。なお、layer_depdndency_information_pattern(i)はシンタックス要素layer_dependency_patternのｉ番目のビットである。
図３３を参照すると、図２６の変形例は、レイヤ依存性情報を信号化するためのシンタックスを備える。図２９は、図３１に示すシンタックスに基づくシンタックスの変形例である。新たなシンタックス要素layer_dependency_information_patternを定義する。
layer_dependency_information_patternは、vps_max_layers_minus1に等しい長さを用いて、０と１のビットのパターンを信号化する。ｉ番目のビットの値が０である場合、layer_id (i+1)を有するレイヤが独立したレイヤであることを示す。ｉ番目のビットの値が１である場合、layer_id (i+1)を有するレイヤが１以上の他のレイヤに依存する依存レイヤであることを示す。
NumDepLayersの値は、１の値を有するlayer_dependency_information_patternのビットの総数に等しい。したがって、
Figure 2021093729
となる。
layer_dependency_map[i]は、vps_max_layers_minus1に等しい長さを用いて、０と１のビットのパターンを信号化する。layer_dependency_map[i]のｋ番目のビットの値が０である場合、レイヤｉがlayer_id (k+1)を有するレイヤに依存しないことを示す。layer_dependency_map[i]のｋ番目のビットの値が１である場合、レイヤｉがlayer_id (k+1)を有するレイヤに依存することを示す。シンタックス要素layer_dependency_map[i]は、layer_dependency_information_pattern(i)の値が１である場合にのみ信号化される。なお、layer_depdndency_information_pattern(i)はシンタックス要素layer_dependency_patternのｉ番目のビットである。
他の実施形態において、シンタックス要素layer_dependency_information_patternは、一連の１ビットのフラグの値として信号化されてもよい。この場合、vps_max_layers_minus1の１ビットの値の合計は次のように信号化される。
Figure 2021093729
他の実施形態において、シンタックス要素layer_dependency_map[i]は、一連の１ビットのフラグの値として信号化されてもよい。この場合、vps_max_layers_minus1の１ビットの値の合計は次のように信号化される。
Figure 2021093729
他の実施形態において、上記シンタックス要素layer_dependency_information_pattern、layer_dependency_mapのうちの一または複数は、u(v)の代わりに既知の一定数のビットを用いて信号化してもよい。例えば、上記シンタックス要素は、u(64)を用いて信号化してもよい。
他の実施形態において、上記シンタックス要素layer_dependency_information_pattern、layer_dependency_mapのうちの一または複数は、ue(v)またはその他のコード体系によって信号化してもよい。
他の実施形態において、種々のシンタックス要素の名称およびセマンティクスは、上述のシンタックスおよびセマンティクスと比較して、plus1もしくはplus2を加算、またはminus1もしくはminus2を減算することによって変更してもよい。
さらに他の実施形態において、layer_dependency_information_pattern、layer_dependency_map、layer_dependency_flag[i]などの種々のシンタックス要素は、上記ビットストリーム中の任意の箇所で、画像ごとに信号化してもよい。例えば、スライスヘッダー、ｐｐｓ／ｓｐｓ／ｖｐｓ／ａｐｓもしくはその他のパラメータセット、または上記ビットストリーム中の規準を定める他の部分において信号化してもよい。
先述したように、スケーラブル映像符号化は、一または複数のサブセットビットストリームを含む映像ビットストリームを符号化する技術である。サブセット映像ビットストリームは、より大きい映像からパケットを減らして上記サブセットビットストリームに必要とされる帯域幅を削減することによって得られ得る。上記サブセットビットストリームは、より低い空間分解能（より小さい画面）、より低い時間分解能（より低いフレームレート）、またはより低い品質の映像信号を表すこともある。例えば、映像ビットストリームは５つのサブセットビットストリームを含み、これらサブセットビットストリームのそれぞれがベースビットストリームに追加内容を追加するものであってもよい。Hannukselaらによる２０１２年１０月の上海でのＪＣＴＶＣ−Ｌ０４５３「Test Model for Scalable Extensions of High Efficiency Video Coding (HEVC)」の全体が、本明細書中に参考として援用される。Chenらによる２０１３年３月のジュネーヴでのＪＣＴＶＣ−Ｌ１００８「SHVC Draft Text 1」の全体が、本明細書中に参考として援用される。Wangらによる２０１３年４月の仁川でのＪＣＴＶＣ−Ｍ０２６８「AHG9: On VPS and SPS in HEVC 3DV and scalable extensions」の全体が、本明細書中に参考として援用される。
先述したように、マルチビュー映像符号化は、代替ビュー（alternative view）を表す一または複数の他のビットストリームを含む映像ビットストリームを符号化する技術である。例えば、多重ビュー（multiple view）は、立体視的な映像のための一対のビューであってもよい。例えば、多重ビューは、異なる視点からの同一のシーンの多重ビューを表すものであってもよい。多重ビューは、その画像が異なる視点からの同一のシーンの画像であるため、一般にビュー間の統計的な依存性を多く含む。したがって、時間的な予測とビュー間の予測とを組み合わせることで、効率的なマルチビュー符号化を実現できる可能性がある。例えば、フレームは、時間的に関係するフレームからだけではなく、隣接する視点のフレームからも、効率的に予測できる可能性がある。Hannukselaらによる２０１３年１月のジュネーヴでのＪＣＴＶＣ−Ｌ０４５２「Common specification text for scalable and multi-view extensions」の全体が、本明細書中に参考として援用される。Techらによる２０１３年１月のジュネーヴでのＪＣＴ３Ｖ−Ｃ１００４＿ｄ３「MV-HEVC Draft Text 3 (ISO/IEC 23008-2:201x/PDAM2)」の全体が、本明細書中に参考として援用される。
Chenらによる２０１３年１月のジュネーヴでのＪＣＴＶＣ−Ｌ１００８「SHVC Draft Text 1」、Hannukselaらによる２０１２年１０月の上海でのＪＣＴＶＣ−Ｌ０４５３−ｓｐｅｃ−ｔｅｘｔ「Test Model for Scalable Extensions of High Efficiency Video Coding (HEVC)」、およびHannukselaによる２０１２年１０月の上海でのＪＣＴＶＣ−Ｌ０４５２−ｓｐｅｃ−ｔｅｘｔ−ｒ１「Draft Text for Multiview Extension of High Efficiency Video Coding (HEVC)」は、それぞれの全体が、本明細書中に参考として援用されるが、ＪＣＴＶＣ−Ｌ０４５２およびＪＣＴＶＣ−Ｌ０４５３のそれぞれが、出力動作点の概念を有する。これはその後、ＪＣＴＶＣ−Ｌ１００８において出力レイヤセットの概念へと変化した。シンタックス要素num_output_operation_pointsについては、output_op_point_index[]およびoutput_layer_flag[][]がＪＣＴＶＣ−Ｌ０４５３およびＬＣＴＶＣ−Ｌ０４５２の出力動作点のために定義され、ＪＣＴＶＣ−Ｌ１００８においてnum_output_layer_sets、output_layer_set_idx[]、およびoutput_layer_flag[][]に改変された。これらの文献のそれぞれにおいて、レイヤ依存性変化ＳＥＩメッセージが定義される。上記ＳＥＩメッセージにより、上記ＳＥＩメッセージを含む現在のアクセスユニットから開始するレイヤ依存性情報変化を信号化できる。
Chenらによる２０１３年１月のジュネーヴでのＪＣＴＶＣ−Ｌ１００８「SHVC Draft Text 1」、Hannukselaらによる２０１２年１０月の上海でのＪＣＴＶＣ−Ｌ０４５３−ｓｐｅｃ−ｔｅｘｔ「Test Model for Scalable Extensions of High Efficiency Video Coding (HEVC)」、およびHannukselaによる２０１２年１０月の上海でのＪＣＴＶＣ−Ｌ０４５２−ｓｐｅｃ−ｔｅｘｔ−ｒ１「Draft Text for Multiview Extension of High Efficiency Video Coding (HEVC)」は、それぞれの全体が、本明細書中に参考として援用されるものであり、それぞれが、上記ＤＰＢからの画像０の出力および削除のためのシンタックス要素sps_max_num_reorder_pics[HighestTid]、sps_max_latency_increase_plus1[HighestTid]、およびsps_max_dec_pic_buffering[HighestTid]を用いることに基づいて動作する出力順序復号化画像バッファ（ＤＰＢ）を有する。この情報は、上記ベースレイヤのための映像パラメータセット中に信号化されており、これにより、上記エンハンスメントレイヤがあればそれを含む映像内容のためのバッファ用情報が得られる。
図３４に、映像パラメータセットの他の例を示す。図３４の映像パラメータセットは、特に、関連する映像パラメータセット拡張（vps_extension）への参照を含む。このvps_extensionは、vps_extension_flag、vps_extension2_flag、および／またはvps_extension_data_flagによって信号化してもよい。
図３５に、映像パラメータセット拡張の他の例を示す。図３５の映像パラメータセット拡張は、特に、num_output_layer_setsへの参照を含むが、これは、ビットストリームのレイヤセットのうち、復号装置が視聴者に対して出力するレイヤを定義するものである。num_output_layer_setsは、出力レイヤがoutput_layer_set_index[ i ]およびoutput_layer_flag[ lsIdx ][ j ]によって指定されるレイヤセットの数を指定する。num_output_layer_setsは、存在しないとき、その値は０と等しいものと推定される。出力レイヤを記述するレイヤセットは、出力レイヤセットである。
output_layer_set_idx[ i ]は、output_layer_flag[ lsIdx][ j ]が存在するレイヤセットのインデックスlsIdxを指定する。
output_layer_flag[ lsIdx ][ j ]が１と等しい場合は、nuh_layer_idがｊと等しいレイヤがｌｓＩｄｘ番目のレイヤセットの対象出力レイヤであることを指定する。output_layer_flag[ lsIdx ][ j ]の値が０と等しい場合は、nuh_layer_idがｊと等しいレイヤがｌｓＩｄｘ番目のレイヤセットの対象出力レイヤではないことを指定する。
上記num_output_layer_setsが上述のようにvps_extensionに定義されることで、上記num_output_layer_setsは、新しい映像パラメータセットを対応する映像パラメータセット拡張とともに送ることで更新することができる。しかしながら、上記新しい映像パラメータセットを上記対応する映像パラメータセット拡張とともに送ることで、利用可能な帯域幅が著しく減少する結果になる。そのうえ、新しい映像パラメータセットは、例えばイントラランダムアクセスポイント画像などの一定種類の画像でしか有効化し得ない。
例えば、ビットストリームは、ベースレイヤ０と、４つのエンハンスメントレイヤ、すなわち、エンハンスメントレイヤ１、エンハンスメントレイヤ２、エンハンスメントレイヤ３、およびエンハンスメントレイヤ４とを含んでいてもよい。第一のレイヤセットは、ベースレイヤ０およびエンハンスメントレイヤ１であってもよい。第二のレイヤセットは、ベースレイヤ０、エンハンスメントレイヤ１、およびエンハンスメントレイヤ２であってもよい。第三のレイヤセットは、ベースレイヤ０、エンハンスメントレイヤ１、およびエンハンスメントレイヤ３であってもよい。第四のレイヤセットは、ベースレイヤ０およびエンハンスメントレイヤ４であってもよい。上記出力レイヤセットは、出力として得られることがあるレイヤセットの特定のレイヤを定義する。例えば、出力レイヤセット１は、レイヤ０は出力であり、レイヤ１は出力ではないことを定義してもよい。例えば、出力レイヤセット２は、レイヤ０は出力であり、レイヤ１は出力であり、レイヤ２は出力ではないことを定義してもよい。例えば、出力レイヤセット３は、レイヤ０は出力ではなく、レイヤ１は出力ではなく、レイヤ３は出力であることを定義してもよい。例えば、出力レイヤセット４は、レイヤ０は出力であり、レイヤ４は出力ではないことを定義してもよい。出力レイヤの数を制限することは、制限された復号化能力のを融通するのに有用である。場合によっては、異なるレイヤ間の依存性のいくつかを無効にして、他のレイヤの復号化および／または復号装置能力の余地を作ることが望ましい。レイヤ依存性のいくつかが変化する場合は、他のレイヤを有効にする、無効にする、および／または出力レイヤとして追加することが同様に望ましい。例えば、レイヤ依存性変化によって、特定の対象レイヤ（例えば、ＭＶ−ＨＥＶＣでのビュー）を復号化するために復号化する必要があるレイヤの数が少なくなる可能性がある。よって、復号装置が、レイヤ依存性変化の後に、ハードウェアの制限によって以前は復号化・出力できなかったレイヤ（および、例えば、追加ビュー）を復号化・出力できる可能性がある。現在は、新しい映像パラメータセットを送ることなく出力レイヤセットにおける変化を信号化できる機構は存在しない。
図３６を参照すると、ＳＥＩメッセージシンタックスを使用して、上記出力レイヤセット、すなわち、output_layer_sets_change(payloadSize)の変化を容易にすることができる。このＳＥＩメッセージは、上記出力層セット情報変化が上記ＳＥＩメッセージを含む現在のアクセスユニットから開始し、アクティブな映像パラメータセットに対して解釈されることを示す。１より大きい数の映像パラメータセットが上記ビットストリームとともに含まれていてもよく、上記アクティブな映像パラメータセットは所望のように変更される。出力レイヤセット変化ＳＥＩメッセージは、存在するとき、現在のアクセスユニットとそれに続くすべてのアクセスユニットからなる対象アクセスユニットセットに対して、復号化順序で、次の出力レイヤセット変化ＳＥＩメッセージまたは符号化映像シーケンスの末尾のうちの、いずれか復号化順序の早い方まで適用される。出力レイヤセット変化ＳＥＩメッセージには、蓄積効果がない方が好ましい。
active_vps_idは、上記変化または追加が適用された出力レイヤセット情報を含むアクティブな映像パラメータセットを特定する。active_vps_idの値は、上記ＳＥＩメッセージを含むアクセスユニットのＶＣＬ ＮＡＬユニットに対するアクティブな映像パラメータセットのvideo_parameter_set_idの値と等しい。
num_changed_output_layer_setsは、active_vps_idで特定されたアクティブな映像パラメータセットのｖｐｓ拡張部で出力レイヤが指定される変化した出力レイヤセットの数を指定する。num_changed_output_layer_setsの値は、０以上num_output_layer_sets以下の範囲になるであろう。存在しないとき、num_changed_output_layer_setsの値は０と等しいものと推定される。
changed_output_layer_sets_idx_entry'[ i ]は、output_layer_flag[ clsIdx ][ j ]の変化が適用されるactive_vps_idによって特定されるｖｐｓ拡張での出力レイヤセットのエントリのリスト中のインデックスエントリを特定する。changed_output_layer_set_idx_entry[ i ]の値は、０以上num_output_layer_sets以下の範囲になるであろう。ｊがｉと等しくない場合、changed_output_layer_sets_idx_entry[ i ]は、changed_output_layer_sets_idx_entry[ j ]と等しくない。
output_layer_flag'[ clsIdx ][ j ]が１と等しい場合は、nuh_layer_idがｊと等しいレイヤがｃｌｓＩｄｘ番目のレイヤセットの対象出力レイヤであることを指定する。output_layer_flag[ clsIdx ][ j ]の値が０と等しい場合は、nuh_layer_idがｊと等しいレイヤがｃｌｓＩｄｘ番目のレイヤセットの対象出力レイヤではないことを指定する。
ｃｌｓＩｄｘが０以上vps_num_layer_sets_minus1以下の範囲であり、ｊが０以上６３以下の範囲である場合に、output_layer_flag[ clsIdx ][ j ]が存在しないとき、output_layer_flag[ clsIdx ][ j ]は(j = = LayerSetLayerIdList[ clsIdx ][ NumLayersInIdList[ clsIdx ] - 1 ])と等しいものと推定される。
num_addl_output_layer_setsは、出力レイヤがaddl_output_layer_set_idx[ i ]およびoutput_layer_flag[ addllsIdx ][ j ]によって指定される追加レイヤセットの数を指定する。存在しないとき、num_addl_output_layer_setsの値は０と等しいものと推定される。addl_output_layer_sets_idx'[ i ]は、output_layer_flag[addllsIdx][j]が存在するレイヤセットのインデックスａｄｄｌｌｓＩｄｘを特定する。
output_layer_flag'[ addllsIdx ][ j ]が１と等しい場合は、nuh_layer_idがｊと等しいレイヤがａｄｄｌｌｓＩｄｘ番目のレイヤセットの対象出力レイヤであることを指定する。output_layer_flag[ addllsIdx ][ j ]の値が０と等しい場合は、nuh_layer_idがｊと等しいレイヤがａｄｄｌｌｓＩｄｘ番目のレイヤセットの対象出力レイヤではないことを指定する。
ａｄｄｌｌｓＩｄｘが０以上vps_num_layer_sets_minus1以下の範囲であり、ｊが０以上６３以下の範囲である場合に、output_layer_flag[ addllsIdx ][ j ]が存在しないとき、output_layer_flag[ addllsIdx ][ j ]は、(j = = LayerSetLayerIdList[ addllsIdx
][ NumLayersInIdList[ addllsIdx ] - 1 ])と等しいものと推定される。
ａｄｄｌｌｓＩｄｘが０以上vps_num_layer_sets_minus1以下の範囲であり、ｊが０以上６３以下の範囲である場合に、output_layer_flag[ addllsIdx ][ j ]が存在しないとき、および、ｃｌｓＩｄｘが０以上vps_num_layer_sets_minus1以下の範囲であり、ｊが０以上６３以下の範囲である場合に、output_layer_flag[ clsIdx ][ j ]が存在しないとき、output_layer_flag[ addllsIdx ][ j ]は、(j = = LayerSetLayerIdList[ addllsIdx
][ NumLayersInIdList[ addllsIdx ] - 1 ])と等しいものと推定される。
ａｄｄｌｌｓＩｄｘが０以上vps_num_layer_sets_minus1以下の範囲であり、ｊが０以上６３以下の範囲である場合に、output_layer_flag[ addllsIdx ][ j ]が存在しないとき、および、ｃｌｓＩｄｘが０以上vps_num_layer_sets_minus1以下の範囲であり、ｊが０以上６３以下の範囲である場合に、output_layer_flag[ clsIdx ][ j ]が存在しないとき、output_layer_flag[ clsIdx ][ j ]は、(j = = LayerSetLayerIdList[ clsIdx ][ NumLayersInIdList[ clsIdx ] - 1 ])と等しいものと推定される。
所望であれば、出力レイヤの対象リストを得ることもできる。対象出力レイヤ特定リストtargetOpLayerIdListは、nuh_layer_idの値のリストを、選択された出力レイヤセットの出力レイヤであるnuh_layer_idの値の小さい順に指定するものであり、以下のように得ることができる。
選択された出力レイヤセットoLsIdxについては、対象出力レイヤ特定リストtargetOpLayerIdListを以下のように得られる。
Figure 2021093729
対象出力レイヤセットは、関連する対象出力レイヤ特定リストtargetOpLayerIdListによって特定してもよい。
上記選択された出力レイヤセットoLsIdxは、出力レイヤセット変化ＳＥＩメッセージがない場合、０〜num_output_layer_setsである。
上記選択された出力レイヤセットoLsIdxは、出力レイヤセット変化ＳＥＩメッセージが存在する場合、０〜num_output_layer_sets＋num_addl_output_layer_setsである。
所望であれば、復号化済みレイヤの対象リストを得ることもできる。対象復号化済みレイヤ特定リストtargetDLayerIdListは、上記選択された出力レイヤセットのために復号化する必要があるnuh_layer_idの値のリストを指定するものであり、以下のように得ることができる。
上記選択された出力レイヤセットoLsIdxについては、対象出力レイヤ特定リストtargetOpLayerIdListを以下のように得られる。
Figure 2021093729
対象復号化済みレイヤ特定リストtargetDLayerIdListは、以下のように得られる。
Figure 2021093729
上記targetDLayerIdListをnuh_layer_idの値の小さい順に並べることによって、最終的なtargetDLayerIdListを得られる場合もある。
対象復号化済みレイヤセットは、関連する対象復号化済みレイヤ特定リストtargetDLayerIdListによって特定される。上記targetDLayerIdListは、ＪＣＴＶＣ−Ｌ１００８のレイヤ特定リストTargetDecLayerIdListと同じ場合もある。ＪＣＴＶＣ−Ｌ１００８は、復号化されるＮＡＬユニットのnuh_layer_idの値のリストを、nuh_layer_idの値の小さい順に指定する。
上記選択された出力レイヤセットoLsIdxは、出力レイヤセット変化ＳＥＩメッセージが存在しない場合、０〜num_output_layer_setsである。
上記選択された出力レイヤセットoLsIdxは、出力レイヤセット変化ＳＥＩメッセージが存在する場合、０〜num_output_layer_sets＋num_addl_output_layer_setsである。
図３７を参照すると、他のＳＥＩメッセージシンタックスを用いて、上記出力レイヤセットの変化、すなわちoutput_layer_sets_change(payloadSize)を容易にしてもよい。
num_deleted_output_layer_setsは、削除されて、もはや存在しない出力レイヤセットの数を指定する。num_deleted_output_layer_setsの値は、０以上num_output_layer_sets以下の範囲である。存在しないとき、num_deleted_output_layer_setsの値は、０と等しいものと推定される。
deleted_output_layer_sets_idx_entry'[ i ]は、出力レイヤセットのエントリのリスト中で、削除されて、もはや存在しないと示されるインデックスエントリを特定する。deleted_output_layer_set_idx_entry[ i ]の値は、０以上num_output_layer_sets以下の範囲になるだろう。上記deleted_output_layer_sets_idx_entry[ i ]は、ｊがｉと等しくない場合、deleted_output_layer_sets_idx_entry[ j ]と等しくない。
num_changed_output_layer_setsは、active_vps_idで特定されたアクティブな映像パラメータセットのｖｐｓ拡張部で出力レイヤが指定される変化した出力レイヤセットの数を指定する。num_changed_output_layer_setsの値は、０以上num_output_layer_sets−num_deleted_output_layer_sets以下の範囲になるであろう。存在しないとき、num_changed_output_layer_setsの値は０と等しいものと推定される。
所望であれば、出力レイヤの対象リストを得ることもできる。対象出力レイヤ特定リストtargetOpLayerIdListは、nuh_layer_idの値のリストを、選択された出力レイヤセットの出力レイヤであるnuh_layer_idの値の小さい順に指定するものであり、以下のように得ることができる。
上記選択された出力レイヤセットoLsIdxについては、対象出力レイヤ特定リストtargetOpLayerIdListを以下のように得られる。
Figure 2021093729
対象出力レイヤセットは、関連する対象出力レイヤ特定リストtargetOpLayerIdListによって特定される。
上記選択された出力レイヤセットoLsIdxは、出力レイヤセット変化ＳＥＩメッセージが存在しない場合、０からnum_output_layer_setsまでのあいだである。
上記選択された出力レイヤセットoLsIdxは、出力レイヤセット変化ＳＥＩメッセージが存在する場合、０からnum_output_layer_sets−num_deleted_output_layer_sets＋num_addl_output_layer_setsまでのあいだである。
所望であれば、復号化済みレイヤの対象リストを得ることもできる。
対象復号化済みレイヤ特定リストTargetDLayerIdListは、上記選択された出力レイヤセットのために復号化する必要があるnuh_layer_idの値のリストを指定するものであり、以下のように得ることができる。
上記選択された出力レイヤセットoLsIdxについては、対象出力レイヤ特定リストtargetOpLayerIdListを以下のように得ることができる。
Figure 2021093729
さらに、対象復号化済みレイヤ特定リストtargetDLayerIdListは、以下のように得ることができる。
Figure 2021093729
上記targetDLayerIdListをnuh_layer_idの値の小さい順に並べることによって、最終的なtargetDLayerIdListを得られる場合もある。
対象復号化済みレイヤセットは、関連する対象復号化済みレイヤ特定リストtargetDLayerIdListによって特定される。上記targetDLayerIdListは、ＪＣＴＶＣ−Ｌ１００８のレイヤ特定リストTargetDecLayerIdListと同じ場合もある。ＪＣＴＶＣ−Ｌ１００８は、復号化されるＮＡＬユニットのnuh_layer_idの値のリストを、nuh_layer_idの値の小さい順に指定する。
上記選択された出力レイヤセットoLsIdxは、出力レイヤセット変化ＳＥＩメッセージが存在しない場合、０からnum_output_layer_setsまでのあいだである。
上記選択された出力レイヤセットoLsIdxは、出力レイヤセット変化ＳＥＩメッセージが存在する場合、０からnum_output_layer_sets−num_deleted_output_layer_sets＋num_addl_output_layer_setsまでのあいだである。
上記出力レイヤセット変化ＳＥＩメッセージは、効果が蓄積するものではないと定義される。他の実施形態において、このメッセージシンタックスおよび／またはセマンティクスは、蓄積するものであると定義することができる。この場合、上記復号装置（および符号化装置）は、（ｖｐｓ拡張からの）num_output_layer_sets、および／またはnum_deleted_output_layer_sets、および／またはnum_changed_output_layer_sets、および／またはnum_addl_output_layer_setsの以前の値のすべてについて記録を取ることができ、新しいＳＥＩメッセージが信号化されるたびに、これらの変化を蓄積することができる。
他の実施形態において、上記シンタックス要素のうちの一または複数は、u(v)の代わりに、ue(v)の代わりに既知の一定の数のビットを用いて信号化してもよい。例えば、上記シンタックス要素は、u(8)、u(16)、u(32)、またはu(64)などを用いて信号化してもよい。
他の実施形態において、これらのシンタックス要素のうちの一または複数は、u(v)符号化などの一定の数のビットの代わりに、ue(v)またはその他のコード体系で信号化することもできる。
他の実施形態において、種々のシンタックス要素の名称およびセマンティクスは、上述のシンタックスおよびセマンティクスと比較して、plus1もしくはplus2を加算、またはminus1もしくはminus2を減算することによって変更してもよい。
さらに他の実施形態において、出力レイヤセットＳＥＩメッセージに含まれる種々のシンタックス要素は、ビットストリーム中の任意の箇所で、画像ごとに、または、他の周波数で、信号化してもよい。例えば、上記シンタックス要素は、スライスヘッダー、ｐｐｓ／ｓｐｓ／ｖｐｓ／適応パラメータセットもしくはその他のパラメータセット、または上記ビットストリーム中の規準を定める他の部分において信号化してもよい。
さらに他の実施形態において、種々のシンタックス要素は、ビットストリーム中の任意の箇所で、画像ごとに、または、他の周波数で、信号化してもよい。例えば、上記シンタックス要素は、スライスヘッダー、ｐｐｓ／ｓｐｓ／ｖｐｓ／適応パラメータセットもしくはその他のパラメータセット、または上記ビットストリーム中の規準を定める他の部分において信号化してもよい。
さらに他の実施形態において、本発明において定義される、出力レイヤセットに関する概念は、すべてＪＣＴＶＣ−Ｌ０４５２およびＪＣＴＶＣ−Ｌ０４５３で定義される出力動作点、ならびに／またはＪＣＴＶＣ−Ｌ１００３で定義される動作点に適用し得る。
〔実施形態２〕
本発明に係る他の実施例を以下に説明する。なお、説明の便宜上、実施例１にて説明した対応部材と同じ機能を有する部材については、同じ符号を付与し、本実施例ではその説明を省略する。
出力順序復号化画像バッファ（ＤＰＢ）から画像を出力および削除するためのシンタックス要素ps_max_num_reorder_pics[HighestTid]、sps_max_latency_increase_plus1[HighestTid]およびsps_max_dec_pic_buffering[HighestTid]の使用に基づいてのＤＰＢの信号化は、例えばユーザの視聴嗜好に基づいてコンテンツが符号化された後に変化する傾向にある様々な数のエンハンスメントレイヤが使用された場合や、ユーザの視聴嗜好に基づいてコンテンツが符号化された後に変化する傾向にあるマルチビューエンハンスメントレイヤが使用された場合など、スケーラブル映像符号化に起因する可能性のあるバッファ特性の要因とはならないと結論付けられた。また、出力順序復号化画像バッファ（ＤＰＢ）から画像を出力および削除するためのシンタックス要素ps_max_num_reorder_pics[HighestTid]、sps_max_latency_increase_plus1[HighestTid]およびsps_max_dec_pic_buffering[HighestTid]の使用に基づいてのＤＰＢの信号化は、復号装置が特定の動作点で動作する場合および／または復号装置が選択された出力レイヤセットを出力する場合に、ＤＰＢのメモリ使用という点で最適ではない可能性があると結論付けられた。視聴嗜好においてのこのような違いを調整するために、上記出力順序復号化画像バッファ（ＤＰＢ）は、さらにおよび／または代わりに上記映像パラメータセット拡張（ＶＰＳ拡張）と共に含まれるシンタックス要素に基づいていてもよく、それにより一または複数のエンハンスメントレイヤ用のシンタックス要素を提供する。このように、上記シンタックス要素はユーザの視聴嗜好に対応する傾向にある特定の動作点または出力レイヤセットに適するように特別に選択されてもよい。
ＤＰＢバファリング関連パラメータvps_max_dec_pic_buffering_minus1、vps_max_num_reorder_pics、vps_max_latency_increase_plus1は一または複数の動作点および／またはＶＰＳ拡張における出力レイヤセット用のＣＶＳのためのサブレイヤ用に信号化されてもよい。同様に、上記システムは、ＤＰＢバファリングパラメータが試験用動作点または選択された出力レイヤセット用に信号化される場合は、ＶＰＳ拡張から信号化された当該ＤＰＢバファリングパラメータを使用するために出力順序ＤＰＢ用の動作およびバンピング工程を定義してもよい。又は、現在のレイヤのlayer_idにより、アクティブなＳＰＳ（現在の画像のnuh_layer_idに対応するcurrLayerIdが０に等しい場合）あるいはアクティブレイヤＰＳからの対応ＳＰＳレベルパラメータが使用される。パラメータvps_max_dec_pic_buffering_minus1、vps_max_num_reorder_pics、vps_max_latency_increase_plus1は、それぞれmax_vps_dec_pic_buffering_minus1、max_vps_num_reorder_pics、max_vps_latency_increase_plus1と称される場合もある。
別の場合には、上記ＤＰＢバファリング関連パラメータmax_vps_dec_pic_buffering_minus1はＶＰＳ拡張における一または複数の出力レイヤセット用のＣＶＳのためのサブレイヤ用に信号化される。上記出力レイヤセットは動作点に対応してもよい。上記ＤＰＢバファリング関連パラメータmax_vps_num_reorder_pics、max_vps_latency_increase_plus1はＶＰＳ拡張におけるそれぞれのレイヤ用のＣＶＳのためのサブレイヤ用に信号化されてもよい。同様に、上記システムは、ＤＰＢバファリングパラメータが試験用動作点または選択された出力レイヤセット用に信号化される場合は、ＶＰＳ拡張から信号化された当該ＤＰＢバファリングパラメータを使用するために出力順序ＤＰＢ用の動作およびバンピング工程を定義してもよい。又は、現在のレイヤのlayer_idにより、アクティブなＳＰＳ（現在の画像のnuh_layer_idに対応するcurrLayerIdが０に等しい場合）あるいはアクティブレイヤＰＳからの対応ＳＰＳレベルパラメータが使用される。
図３８Ａには、vps_extensionの変形例が示されている。当該変形ＶＰＳ拡張は、新しいシンタックス、すなわちnum_op_dpb_info_parametersおよびoperation_point_layer_set_idx[i]を含んでいる。この変形ＶＰＳ拡張は、他のビットストリーム、対象最高TemporalId、および対象レイヤ識別子リストを入力としたサブビットストリーム抽出工程の動作により当該他のビットストリームから作成されたビットストリームである動作点をユニットとして定義されてもよい。
num_output_layer_setsはレイヤセットの数を特定し、その数だけ出力レイヤがoutput_layer_set_index[ i ]およびoutput_layer_flag[ lsIdx ][ j ]によって特定される。出力レイヤが存在しない場合、num_output_layer_setsの値は０に等しいと推測される。出力レイヤを説明するレイヤセットが出力レイヤセットである。
output_layer_set_idx[ i ]はレイヤセットのインデックスlsIdxを特定し、そのインデックスだけoutput_layer_flag[ lsIdx][ j ]が存在する。
１に等しいoutput_layer_flag[ lsIdx ][ j ]は、ｊに等しいnuh_layer_idのレイヤがlsIdx番目のレイヤセットの対象出力レイヤであることを特定する。０に等しいoutput_layer_flag[ lsIdx ][ j ]の値は、ｊに等しいnuh_layer_idのレイヤがlsIdx番目のレイヤセットの対象出力レイヤではないことを特定する。
上記num_op_dpb_info_parametersは、動作点をユニットとして定義される、ＶＰＳ拡張ＲＢＳＰに存在するシンタックス構造op_dpb_parameters( )の数を定義する。num_op_dpb_info_parameters復号装置は０以上vps_num_layer_sets_minus1以下の範囲である。
operation_point_layer_set_idx[ i ]は、ＶＰＳ拡張におけるｉ番目のシンタックス構造op_dpb_info_parameters( )が適用される動作点によって定義されるレイヤセットのリスト内にインデックスを特定する。上記operation_point_layer_set_idx[ i ]の値は０以上vps_num_layer_sets_minus1以下の範囲でもよい。ビットストリームの適合性のため、operation_point_layer_set_idx[ i ]はｉに等しくないどのｊにおいてもoperation_point_layer_set_idx[ j ]に等しくない。
図３９Ａにおいて、op_dpb_info_parametersはvps_max_sub_layers_minus1[ j ]、vps_sub_layer_ordering_info_present_flag[ j ]、vps_max_dec_pic_buffering_minus1[ j ]
[ k ]、vps_max_num_reorder_pics[ j ] [ k]、およびvps_max_latency_increase_plus1 [ j ] [ k ]を特定する。
vps_max_sub_layers_minus1[ j ] plus 1はサブレイヤの数が含まれていることを示している。当該vps_max_sub_layers_minus1[ j ] plus 1はｊに等しいnuh_layer_idのレイヤ用のＣＶＳにおいて存在する可能性のある一時的サブレイヤの最大数を特定する。vps_max_sub_layers_minus1[ j ]の値は０以上６以下の範囲である。
上記vps_sub_layer_ordering_info_present_flag[ j ]は、シンタックスが全てのレイヤを含む一つのセット用のものか又はそれぞれ個別のレイヤ用のものかを示す。１に等しいvps_sub_layer_ordering_info_present_flag[ j ]は、vps_max_sub_layers_minus1[ j] + 1 サブレイヤ用のｊに等しいnuh_layer_idのレイヤ用にvps_max_dec_pic_buffering_minus1[ j ][ k ]、vps_max_num_reorder_pics[ j ][ k ]、およびvps_max_latency_increase_plus1[ j ][ k ]が存在することを特定する。０に等しいvps_sub_layer_ordering_info_present_flag[ j ]は、vps_max_dec_pic_buffering_minus1[ j ][ vps_max_sub_layers_minus1[ j ] ]、vps_max_num_reorder_pics[ j ][ vps_max_sub_layers_minus1[ j ]]、およびvps_max_latency_increase_plus1[ j ][ vps_max_sub_layers_minus1[ j ] ]の値がｊに等しいnuh_layer_idのレイヤ用の全てのサブレイヤに適用されることを特定する。
The vps_max_dec_pic_buffering_minus1[ j ][ k ] plus 1は、HighestTidがｋに等しい場合に画像保存バッファのユニットにおけるｊに等しいnuh_layer_idのレイヤ用のＣＶＳ用の上記復号化画像バッファの最大必要サイズを特定する。上記vps_max_dec_pic_buffering_minus1[ j ][ k ]の値は０以上（サブクローズＡ．４に特定されるように）MaxDpbSize - 1以下の範囲である。ｋが０よりも大きい場合、vps_max_dec_pic_buffering_minus1[ j ][ k ]はvps_max_dec_pic_buffering_minus1[ j ][ k - 1 ]以上である。vps_max_dec_pic_buffering_minus1[ j ][ k ]は、vps_sub_layer_ordering_info_present_flag[j ]が０に等しいために０以上vps_max_sub_layers_minus1[ j ] - 1以下の範囲であるｋにおいて存在しない場合、vps_max_dec_pic_buffering_minus1[ j ] [ vps_max_sub_layers_minus1[ j ] ]に等しいと推定される。
上記vps_max_num_reorder_pics[ j ][ k ]はHighestTidがｋに等しい場合に、復号化順序ではｊに等しいnuh_layer_idのレイヤ用のＣＶＳにおける画像に先行し、出力順序ではその画像の後になる画像の最大許容数を示す。上記vps_max_num_reorder_pics[ j ][ k ]の値は０以上vps_max_dec_pic_buffering_minus1[ j ][ k ]以下の範囲である。ｋが０よりも大きい場合、vps_max_num_reorder_pics[ j ][ k ]はvps_max_num_reorder_pics[ j][ k- 1 ]以上である。vps_max_num_reorder_pics[ j ][ k ]は、vps_sub_layer_ordering_info_present_flag[ j ]が０に等しいために０以上vps_max_sub_layers_minus1[ j ] -
1以下の範囲であるｋにおいて存在しない場合、vps_max_num_reorder_pics[ j ][ vps_max_sub_layers_minus1[ j ] ]に等しいと推定される。
０に等しくないvps_max_latency_increase_plus1[ j ][ k ]は、HighestTidがｋに等しい場合、出力順序においてはｊに等しいnuh_layer_idのレイヤ用のＣＶＳにおける画像に先行し、復号化順序においてはその画像の後になる画像の最大数を特定するVpsMaxLatencyPictures[ j ][ k ]の値を計算するために使用される。
Vps_max_latency_increase_plus1[ j ][ k ]が０に等しくない場合、VpsMaxLatencyPictures[ j ][ k ]の値は以下のように特定されてもよい：
VpsMaxLatencyPictures[ j ][ k ] = vps_max_num_reorder_pics[ j ][ k ] + vps_max_latency_increase_plus1[ j ][ k ] - 1。
vps_max_latency_increase_plus1[ j ][ k ]が０に等しい場合、対応する制限はない。
vps_max_latency_increase_plus1[ j ][ k ]の値は０以上２３２−２以下の範囲である。vps_max_latency_increase_plus1[ j ][ k]は、vps_sub_layer_ordering_info_present_flag[ j ]が０に等しいために０以上vps_max_sub_layers_minus1[ j ] - 1以下の範囲のｋに存在しない場合、vps_max_latency_increase_plus1[ j ][ vps_max_sub_layers_minus1[ j ] ]に等しいと推定される。
'vps_max_sub_layers_minus1'[ id ] [ j ] plus 1は、index idと関連する動作点用のｊに等しいnuh_layer_idのレイヤ用のＣＶＳにおいて存在する可能性のある一時的サブレイヤの最大数を特定する。vps_max_sub_layers_minus1[ id ] [ j ]の値は０以上６以下の範囲である。
１に等しい'vps_sub_layer_ordering_info_present_flag'[ id ] [ j ]は、vps_max_sub_layers_minus1[ id ][ j ] + 1サブレイヤ用のindex idと関連する動作点用のｊに等しいnuh_layer_idのレイヤ用にvps_max_dec_pic_buffering_minus1[ id ][ j ][ k ]、vps_max_num_reorder_pics[ id ][ j ][ k ]、およびvps_max_latency_increase_plus1[ id ] [ j ][ k ]が存在することを特定する。
０に等しいvps_sub_layer_ordering_info_present_flag[ id ][ j ]は、vps_max_dec_pic_buffering_minus1[ id ][ j ][ vps_max_sub_layers_minus1[ id ][ j ] ]、vps_max_num_reorder_pics[ id ][ j ][ vps_max_sub_layers_minus1[ id ][ j ] ]、およびvps_max_latency_increase_plus1[ id ][ j ][ vps_max_sub_layers_minus1[ id ][ j ] ]の値が、index idと関連する動作点用のｊに等しいnuh_layer_idのレイヤ用の全てのサブレイヤに適用されることを特定する。
'vps_max_dec_pic_buffering_minus1'[ id ][ j ][ k ] plus 1は、HighestTidがｋに等しい場合、画像保存バッファのユニットにおけるindex idと関連する動作点用のｊに等しいnuh_layer_idのレイヤ用のＣＶＳ用の上記復号化画像バッファの最大必要サイズを特定する。vps_max_dec_pic_buffering_minus1[ id ][ j ][ k ]の値は０以上（サブクローズＡ．４に特定されるように）MaxDpbSize - 1以下の範囲である。ｋが０よりも大きい場合、vps_max_dec_pic_buffering_minus1[ id ][ j ][ k ]はvps_max_dec_pic_buffering_minus1[ id ][ j ][ k - 1 ]以上である。vps_max_dec_pic_buffering_minus1[ id ][ j][ k ]は、vps_sub_layer_ordering_info_present_flag[ id ][ j ]が０に等しいために０以上vps_max_sub_layers_minus1[ id ][ j ] - 1以下のｋにおいて存在しない場合、vps_max_dec_pic_buffering_minus1[ id ][ j ][ vps_max_sub_layers_minus1[ id ][ j ]]に等しいと推定される。
'vps_max_num_reorder_pics'[ id ][ j ][ k ]は、HighestTidがｋに等しい場合、復号化順序においてはindex idと関連する動作点用のｊに等しいnuh_layer_idのレイヤ用のＣＶＳにおける画像に先行し出力順序においてはその画像の後になる画像の最大許容数を示す。vps_max_num_reorder_pics[ id ][ j ][ k ]の値は０以上vps_max_dec_pic_buffering_minus1[ id ][ j ][ k ]以下の範囲である。ｋが０より大きい場合、vps_max_num_reorder_pics[ id ][ j ][ k ]はvps_max_num_reorder_pics[ id ][ j ][ k- 1 ]以上である。vps_max_num_reorder_pics[ id ][ j ][ k ]が、vps_sub_layer_ordering_info_present_flag[ id ][ j ]が０に等しいために０以上vps_max_sub_layers_minus1[ id ][ j ] - 1以下の範囲のｋにおいて存在しない場合、vps_max_num_reorder_pics[ id ][ j ][ vps_max_sub_layers_minus1[ id ][ j ] ]に等しいと推定される。
０に等しくない'vps_max_latency_increase_plus1'[ id ] [ j ][ k ]は、HighestTidがｋに等しい場合、出力順序においてはindex idと関連する動作点用のｊに等しいnuh_layer_idのレイヤ用のＣＶＳにおける画像に先行し復号化順序においてはその画像の後になる画像の最大数を特定するVpsMaxLatencyPictures[ id ][ j ][ k ]の値を計算する為に使用される。
vps_max_latency_increase_plus1[ id ][ j ][ k ]が０に等しくない場合、VpsMaxLatencyPictures[ id ][ j ][ k ]の値は以下のように特定される：
VpsMaxLatencyPictures[ id ][ j ][ k ] = vps_max_num_reorder_pics[ id ][ j ][ k
] + vps_max_latency_increase_plus1[ id ][ j ][ k ] - 1。
vps_max_latency_increase_plus1[ id ][ j ][ k ]が０に等しい場合、対応する制限はない。
vps_max_latency_increase_plus1[ id ][ j ][ k ]は０以上２３２−２以下の範囲である。vps_max_latency_increase_plus1[ id ][ j ][ k]は、vps_sub_layer_ordering_info_present_flag[ id ][ j ]が０に等しいために０以上vps_max_sub_layers_minus1[ id ][
j ] - 1以下の範囲であるｋにおいて存在しない場合、vps_max_latency_increase_plus1 [ id ][ j ][ vps_max_sub_layers_minus1[ id ][ j ] ]に等しいと推定される。
図３９Ｂにおいて、上記op_dpb_info_parametersはop_dpb_info_parameters(id,j)に示されるようにさらに変形されてもよい。この場合、ＶＰＳ拡張のシンタックスは図３８Ｂに示されるようであってもよい。仮想参照復号装置（ＨＲＤ）がビットストリームおよび復号装置の適合性を確認するために使用される。二種類のビットストリームまたはビットストリームサブセットが映像符号化国際標準のＨＥＶＣ標準化の共同チーム（ＪＣＴ−ＶＣ）のＨＲＤ適合性確認を受ける。タイプＩビットストリームと呼ばれる一つ目の種類は、ビットストリームにおけるすべてのアクセスユニット用の、ＶＣＬＮＡＬユニットおよびFD_NUT（フィラーデータＮＡＬユニット）に等しいnal_unit_typeのＮＡＬユニットを含むＮＡＬユニットストリームである。タイプＩＩビットストリームと呼ばれる二つ目の種類は、上記ＶＣＬＮＡＬユニットおよびビットストリームにおけるすべてのアクセスユニット用の上記フィラーデータＮＡＬユニットに加え、少なくとも以下を含む：（ａ）フィラーデータＮＡＬユニット以外の他の非ＶＣＬＮＡＬユニットおよび（ｂ）上記ＮＡＬユニットストリームからバイトストリームを形成する全てのシンタックス要素：leading_zero_8bits、zero_byte、start_code_prefix_one_3bytes、およびtrailing_zero_8bits。
ＨＲＤに必要な、上記非ＶＣＬＮＡＬユニットの上記シンタックス要素（または当該シンタックス要素のいくつかのためのデフォルトの値）はクローズ７のセマンティックスサブクローズならびにアネックスＤおよびＥにおいて特定される。
二種類のＨＲＤパラメータセット（ＮＡＬＨＲＤパラメータおよびＶＣＬＨＲＤパラメータ）が使用される。上記ＨＲＤパラメータセットは、ＳＰＳシンタックス構造またはＶＰＳシンタックス構造の一部でもよいhrd_parameters( )シンタックス構造を通して信号化される。
ビットストリームの適合性の確認のために多くの試験が必要になる場合がある。確認中のビットストリームを試験用ビットストリームと称す。それぞれの試験において、以下の工程が記載順に適用される：
（１）TargetOpと示される試験用動作点が選択される。TargetOpのレイヤ識別子リストOpLayerIdListは、昇順に一覧化されたnuh_layer_idの値によって構成され、試験用ビットストリームにおいて存在する上記nuh_layer_idの値のサブセットである、TargetOpに関連するビットストリームサブセットにおいて存在する。上記TargetOpのOpTidは、TargetOpに関連するビットストリームサブセットにおいて存在する最高値のTemporalIdに等しい。
（２）TargetDecLayerIdListは、TargetOpのOpLayerIdListに等しく設定され、HighestTidはTargetOpのOpTidに等しく設定され、クローズ１０において特定された上記サブビットストリーム抽出工程は上記試験用ビットストリーム、HighestTid、およびTargetDecLayerIdListを入力として実行され、そしてその出力はBitstreamToDecodeに割り当てられる。
（３）TargetOpに適用可能なhrd_parameters( )シンタックス構造およびsub_layer_hrd_parameters( )シンタックス構造が選択される。上記TargetDecLayerIdListが試験用ビットストリームにおいて存在する全てのnuh_layer_idの値を含む場合、上記アクティブなＳＰＳにおける（または本明細書の記載されない外部手段を介して供される）すべてのhrd_parameters( )シンタックス構造が選択される。または、TargetOpに適用されるアクティブなＶＰＳにおける（または本明細書の記載されない外部手段を介して供される）hrd_parameters( )シンタックス構造が選択される。上記選択されたhrd_parameters( )シンタックス構造の範囲内でBitstreamToDecodeがタイプＩビットストリームである場合、条件“if( vcl_hrd_parameters_present_flag )”の直後にくるsub_layer_hrd_parameters( HighestTid ) シンタックス構造が選択され、変数NalHrdModeFlagは０に等しく設定される；そうでない場合（BitstreamToDecodeがタイプＩＩビットストリームの場合）、条件“if(
vcl_hrd_parameters_present_flag )”（この場合、変数NalHrdModeFlagは０に等しく設定される）または条件“if( nal_hrd_parameters_present_flag )”（この場合、変数NalHrdModeFlagは１に等しく設定される）の直後にくるsub_layer_hrd_parameters( HighestTid ) シンタックス構造が選択される。BitstreamToDecodeがタイプＩＩビットストリームでありNalHrdModeFlagが０に等しい場合、（アネックスＢに特定される）ＮＡＬユニットストリームが存在する場合に当該ＮＡＬユニットストリームからバイトストリームを形成するフィラーデータＮＡＬユニットを除く全ての非ＶＣＬＮＡＬユニットまた全てのシンタックス要素leading_zero_8bits、zero_byte、start_code_prefix_one_3bytes、およびtrailing_zero_8bitsがBitstreamToDecodeから破棄され、残りのビットストリームはBitstreamToDecodeに割り当てられる。
ビットストリームの適合性の確認のために多くの試験が必要になる別の場合がある。確認中のビットストリームを試験用ビットストリームと称す。それぞれの試験において、以下の工程が記載順に適用される：
（１）TargetOpLsと示される試験用出力レイヤセットが選択される。output_layer_set_idx[]によりTargetOpLsにおいて参照される動作点が試験用動作点である。TargetOpLsのレイヤ識別子リストOpLayerIdListは、昇順に一覧化されたnuh_layer_idの値によって構成され、試験用ビットストリームにおいて存在する上記nuh_layer_idの値のサブセットである、TargetOpおよびにTargetOpLsに関連するビットストリームサブセットにおいて存在する。上記TargetOpのOpTidは、TargetOpに関連するビットストリームサブセットにおいて存在する最高値のTemporalIdに等しい。
（２）TargetDecLayerIdListは選択された出力レイヤセットTargetOpLs用の対象復号化レイヤ識別子リストtargetDLayerIdListに等しく設定され、HighestTidはTargetOpのOpTidに等しく設定され、クローズ１０において特定された上記サブビットストリーム抽出工程は上記試験用ビットストリーム、HighestTid、およびTargetDecLayerIdListを入力として実行され、そしてその出力はBitstreamToDecodeに割り当てられる。
（３）TargetOpに適用可能なhrd_parameters( )シンタックス構造およびsub_layer_hrd_parameters( )シンタックス構造が選択される。上記TargetDecLayerIdListが試験用ビットストリームにおいて存在する全てのnuh_layer_idの値を含む場合、上記アクティブなＳＰＳにおける（または本明細書の記載されない外部手段を介して供される）全てのhrd_parameters( )シンタックス構造が選択される。又は、TargetOpに適用されるアクティブなＶＰＳにおける（又は本明細書の記載されない外部手段を介して供される）hrd_parameters( )シンタックス構造が選択される。上記選択されたhrd_parameters( )シンタックス構造の範囲内でBitstreamToDecodeがタイプＩビットストリームである場合、条件“if( vcl_hrd_parameters_present_flag )”の直後にくるsub_layer_hrd_parameters( HighestTid
) シンタックス構造が選択され、変数NalHrdModeFlagは０に等しく設定される；そうでない場合（BitstreamToDecodeがタイプＩＩビットストリームの場合）、条件“if( vcl_hrd_parameters_present_flag )”（この場合、変数NalHrdModeFlagは０に等しく設定される）または条件“if( nal_hrd_parameters_present_flag )”（この場合、変数NalHrdModeFlagは１に等しく設定される）の直後にくるsub_layer_hrd_parameters( HighestTid )シンタックス構造が選択される。BitstreamToDecodeがタイプＩＩビットストリームでありNalHrdModeFlagが０に等しい場合、（アネックスＢに特定される）ＮＡＬユニットストリームが存在する場合に当該ＮＡＬユニットストリームからバイトストリームを形成するフィラーデータＮＡＬユニットを除く全ての非ＶＣＬＮＡＬユニットまた全てのシンタックス要素leading_zero_8bits、zero_byte、start_code_prefix_one_3bytes、およびtrailing_zero_8bitsがBitstreamToDecodeから破棄され、残りのビットストリームはBitstreamToDecodeに割り当てられる。
適合復号装置はこの項目に規定されるすべての要件を満たしていてもよい。
（１）特定のプロファイル、階層、レベルへの適合性を要求する復号装置は、アネックス Ａに規定されるような方法で、サブクローズＣ．４に規定されるビットストリーム適合性要件に適合するすべてのビットストリームを首尾よく復号化することができるものとする。ただし、ＶＣＬ ＮＡＬユニットにおいて参照されるすべてのＶＰＳ、ＳＰＳ、および、ＰＰＳ、そして、適切なバッファリング期間および画像タイミングＳＥＩメッセージがビットストリームにおいて（非ＶＣＬ ＮＡＬユニットによって）または本明細書に規定されていない外部手段によってタイムリーに復号装置へ伝達される。
（２）ビットストリームが、予約済と規定された値を有するシンタックス要素を含む場合で、復号装置がシンタックス要素または予約済の値を有するシンタックス要素を含むＮＡＬユニットを無視するものとすると規定される場合、そうでなければ、ビットストリームが本明細書に適合する場合、適合復号装置は、適合ビットストリームを復号化するのと同じ方法で当該ビットストリームを復号化するものとし、シンタックス要素または規定されたように予約済の値を有するシンタックス要素を含むＮＡＬユニットを無視するものとする。
出力タイミングの適合性と出力順の適合性との２種類の復号装置の適合性がある。
復号装置の適合性をチェックするには、サブクローズＣ．４に規定されるような要求されるプロファイル、階層、レベルに適合する試験ビットストリームが、仮想ストリームスケジューラ（hypothetical stream scheduler）（ＨＳＳ）によって、ＨＲＤと試験用復号装置（ＤＵＴ）との両方へ配信される。ＨＲＤによって出力されるすべてのクロップされた復号化画像もＤＵＴによって出力されるものとする。ＤＵＴによって出力される、クロップされた復号化画像それぞれはPicOutputFlagが１に等しい画像であるものとし、そのようなＤＵＴによって出力される、クロップされた復号化画像それぞれに対して、出力されるすべてのサンプルの値が、規定された復号化処理によって作製されるサンプルの値と等しいものとする。
出力タイミングに関する復号装置の適合性については、ＨＳＳは、規定されたプロファイル、階層、レベル用のアネックスＡに規定されたようにビットレートおよびＣＰＢのサイズが制限されたSchedSelIdxの値のサブセットからのみ選択されるデリバリースケジュールに従って動作するか、または、アネックスＡに規定されたようにビットレートおよＣＰＢのサイズが制限された以下に規定されるような「補間」デリバリースケジュールに従って動作する。ＨＲＤとＤＵＴの両方に対して同じデリバリースケジュールが用いられる。
ＨＲＤパラメータおよびバッファリング期間ＳＥＩメッセージが０よりも大きいcpb_cnt_minus1[ HighestTid ]とともに存在する場合、ピークビットレートｒ、ＣＰＢサイズｃ（ｒ）、および、最初のＣＰＢ削除遅延
Figure 2021093729
を有すると規定された「補間」デリバリースケジュールを用いて動作するＨＳＳから配信されるようなビットストリームを復号化装置は、次のように復号化することができる。
Figure 2021093729
０より大きいどのSchedSelIdxおよびｒについても、BitRate[ SchedSelIdx - 1 ] <=
r <= BitRate[ SchedSelIdx ]であり、ｒおよびｃ（ｒ）が規定されたプロファイル、階層、レベル用の最大ビットレートおよびバッファサイズについてアネックスＡに規定されたような制限の範囲内である。InitCpbRemovalDelay[ SchedSelIdx ] はバッファリング期間毎に異なっていてもよく、再計算されるべきでる。
出力タイミングに関する復号装置の適合性については、上述したようなＨＲＤが用いられ、画像出力の（最初のビットの配信時間に関する）タイミングがＨＲＤおよびＤＵＴの両方に対して一定の遅延まで同じである。
出力順に関する復号装置の適合性については、以下が適用される。
（１）ＤＵＴからの「請求により」、ＨＳＳはビットストリームBitstreamToDecodeをＤＵＴへ配信する。これは、ＤＵＴが処理を進めるためによりビットを必要とするときのみ、ＨＳＳはビットを（復号化順に）配信することを意味する。また、これは、この試験について、ＤＵＴの符号化画像バッファが、一番大きい復号化ユニットのサイズくらい小さいことを意味する。
（２）以下に記載される変形ＨＲＤを用いる。アネックスＡにおいて規定されたようにビットレートとＣＰＢサイズが制限されたようなビットストリームBitstreamToDecodeにおいて規定されたスケジュールのうちひとつによって、ＨＳＳはビットストリームをＨＲＤへ配信する。画像出力の順序はＨＲＤおよびＤＵＴの両方において同じであるものとする。
（３）ＨＲＤ ＣＰＢサイズは、サブクローズＥ．２．３に規定されるようにCpbSize[
SchedSelIdx ]によって与えられる。ここで、SchedSelIdxおよびＨＲＤパラメータはサブクローズＣ．１に規定されるように選択される。ＤＰＢサイズは、（現在の復号化画像に対するnuh_layer_idが０に等しい場合）アクティブＳＰＳから、もしくは、現在の復号化画像のnuh_layer_id の値に対するアクティブなＳＰＳからsps_max_dec_pic_buffering_minus1[ HighestTid ] + 1によって与えられる。動作点ＤＰＢ情報パラメータop_dpb_info_parameters()が選択された出力レイヤセットに対して存在する場合、ＤＰＢサイズはcurrLayerIdが０に等しい場合にvps_max_dec_pic_buffering_minus1[ HighestTid ]によって与えられるか、またはcurrLayerIdが０より大きい時に試験用動作点のためのcurrLayerId用のvps_max_dec_pic_buffering_minus1[ CurrLayerId ][ HighestTid ]に設定される場合がある。ここで、currLayerIdは現在の復号化画像のnuh_layer_idである。動作点ＤＰＢ情報パラメータop_dpb_info_parameters ()が試験用動作点に対して存在しない場合、ＤＰＢサイズは、（現在の復号化画像に対するnuh_layer_idが０に等しい場合）アクティブなＳＰＳから、または、現在の復号化画像のnuh_layer_id の値に対してアクティブなレイヤＳＰＳからsps_max_dec_pic_buffering_minus1[ HighestTid ] + 1によって与えられる。
出力レイヤセットＤＰＢ情報パラメータoop_dpb_info_parameters()が選択された出力レイヤセットに対して存在する場合、ＤＰＢサイズはcurrLayerIdが０に等しい場合にvps_max_dec_pic_buffering_minus1[ HighestTid ]によって与えられるか、または上記選択された出力レイヤセット用のcurrLayerId用のvps_max_dec_pic_buffering_minus1[ CurrLayerId ][ HighestTid ]に設定される場合がある。ここで、currLayerIdは現在の復号化画像のnuh_layer_idである。出力レイヤセットＤＰＢ情報パラメータoop_dpb_info_parameters ()が選択された出力レイヤセットに対して存在しない場合、ＤＰＢサイズは、（現在の復号化画像に対するnuh_layer_idが０に等しい場合）アクティブなＳＰＳから、または、現在の復号化画像のnuh_layer_id の値に対してアクティブなレイヤＳＰＳからsps_max_dec_pic_buffering_minus1[ HighestTid ] + 1によって与えられる。
ＨＲＤに対するＣＰＢからの削除時間は、最終ビット到着時間であり、復号化が差し迫っている。このＨＲＤのＤＰＢの動作はサブクローズＣ．５．２からＣ．５．２．３．に記載されている。
復号化画像バッファは画像保存バッファを含む。０に等しいnuh_layer_idに対する画像保存バッファの数はアクティブなＳＰＳから得られる。各０でないnuh_layer_id値に対する画像保存バッファの数は、その０でないnuh_layer_id値に対するアクティブなレイヤＳＰＳから得られる。画像保存バッファはそれぞれ、「参照用に使用」とマーキングされた復号化画像を含むか、今後の出力の為に保持される。サブクローズＦ．１３．５．２．２に規定されるようなＤＰＢからの画像の出力および削除の処理が起動され、続いて、サブクローズＦ．１３．５．２．３に規定されるような画像復号化、マーキング、追加バンピング、そして保存の処理が起動される。「バンピング」処理はサブクローズＦ．１３．５．２．４に規定されており、サブクローズＦ．１３．５．２．２およびＦ．１３．５．２．３に規定されるように起動される。
現在の画像の復号化の前の（しかし、現在の画像の第１のスライスのスライスヘッダーを解析した後の）ＤＰＢからの画像の出力および削除は、現在の画像を含むアクセスユニットの第１の復号化ユニットがＣＰＢから削除され次のように進んだときに、瞬時に起こる。
サブクローズ８．３．２に規定されるようなＲＰＳに対する復号化処理が起動される。
（１）現在の画像が、NoRaslOutputFlagが１に等しくnuh_layer_idが０に等しいＩＲＡＰ画像であって、画像０ではないＩＲＡＰ画像である場合、以下の順序の工程が適用される。
（Ａ）変数NoOutputOfPriorPicsFlagが、以下の様に、試験用復号装置に対して得られる。
（ｉ）現在の画像がＣＲＡ画像である場合、（no_output_of_prior_pics_flagの値とは関係なく）NoOutputOfPriorPicsFlagを１に等しくなるように設定する。
（ｉｉ）そうでない場合は、アクティブなＳＰＳから得られるpic_width_in_luma_samples、pic_height_in_luma_samples、またはsps_max_dec_pic_buffering_minus1[ HighestTid ]の値が、先行する画像に対してアクティブなＳＰＳから得られるpic_width_in_luma_samples、pic_height_in_luma_samples、またはsps_max_dec_pic_buffering_minus1[ HighestTid ]のそれぞれの値と異なる場合、no_output_of_prior_pics_flagの値に関係なく、NoOutputOfPriorPicsFlagは試験用復号装置によって１に設定されてもよい（しかしながら、必ずしも設定されなくてもよい）。これらの条件のもとではNoOutputOfPriorPicsFlagをno_output_of_prior_pics_flagに等しくなるように設定することが好ましいが、この場合、試験用復号装置はNoOutputOfPriorPicsFlagを１に設定することができる。
（ｉｉｉ）そうでない場合は、NoOutputOfPriorPicsFlagはno_output_of_prior_pics_flagに等しくなるよう設定される。
（Ｂ）試験用復号装置に対して得られたNoOutputOfPriorPicsFlagの値は、以下の様に、ＨＲＤに対して適用される。
（ｉ）NoOutputOfPriorPicsFlagが１に等しい場合、ＤＰＢにおける全ての画像保存バッファは、それらが含んでいる画像の出力はされず、空にされ、そしてＤＰＢフルネスが０に設定される。
（ｉｉ）そうでない場合（NoOutputOfPriorPicsFlagが０に等しい場合）、「出力不要」および「参照に不使用」とマーキングされた画像を含むすべての画像保存バッファが（出力は行わずに）空にされ、そして、サブクローズＦ．１３．５．２．４に規定される「バンピング」処理を繰り返し起動することによってＤＰＢにおけるすべての非空の画像保存バッファが空にされ、そしてＤＰＢフルネスが０に設定される。
（ｉｉｉ）そうでない場合（現在の画像が、NoRaslOutputFlagが１でありnuh_layer_idが０であるＩＲＡＰ画像でない場合）、「出力不要」および「参照に不使用」とマーキングされた、画像を含むすべての画像保存バッファが（出力を行わずに）空にされる。空にされた各画像保存バッファについて、ＤＰＢフルネスが１だけ減少する。変数currLayerIdは現在の復号化画像のnuh_layer_idに等しくなるように設定される。
変数MaxNumReorderPics[ TargetOp ][ currLayerId ][ HighestTid ]、MaxLatencyIncreasePlus1[ TargetOp ][ currLayerId ][ HighestTid ]、MaxLatencyPictures[ TargetOp][ currLayerId ][ HighestTid ]、MaxDecPicBufferingMinus1[ TargetOp ] [ currLayerId ][ HighestTid ]は現在の試験用動作点（operation point under test）に基づいて以下のように導き出される。
（１）動作点ＤＰＢ情報パラメータop_dpb_info_parameters()が試験用動作点TargetOpに対して存在するならば、MaxNumReorderPics[ TargetOp ] [ currLayerId ][HighestTid
]は、currLayerIdが０の場合にvps_max_num_reorder_pics[ HighestTid ]に設定され、currLayerIdが０より大きい場合に上記試験用動作点用のcurrLayerIdに対するvps_max_num_reorder_pics[ TargetOp ][ CurrLayerId ][ HighestTid ]に設定される。上記の場合でなく、動作点ＤＰＢ情報パラメータop_dpb_info_parameters()が上記試験用動作点に対して存在しないならば、MaxNumReorderPics[ TargetOp ] [ currLayerId ][HighestTid ]は、アクティブＳＰＳに由来する（currLayerIdが０の場合）、あるいはcurrLayerId 値に対するアクティブレイヤ SPSに由来する、sps_max_num_reorder_pics[ HighestTid ]に設定される。
（２）動作点ＤＰＢ情報パラメータop_dpb_info_parameters()が試験用動作点TargetOpに対して存在するならば、MaxLatencyIncreasePlus1[ TargetOp ][ currLayerId ][ HighestTid ]は、currLayerIdが０の場合にvps_max_latency_increase_plus1[ HighestTid ]に設定され、currLayerIdが０より大きい場合に上記試験用動作点用のcurrLayerIdに対するvps_max_latency_increase_plus1[ TargetOp ][ CurrLayerId ][ HighestTid ]に設定される。動作点ＤＰＢ情報パラメータop_dpb_info_parameters()が上記試験用動作点に対して存在するならば、MaxLatencyPictures[ TargetOp ][ currLayerId ][ HighestTid ]は、currLayerIdが０の場合にVpsMaxLatencyPictures[ HighestTid ]に設定され、currLayerIdが０より大きい場合に上記試験用動作点用のcurrLayerIdに対するVpsMaxLatencyPictures[ TargetOp ][ CurrLayerId ][ HighestTid ]に設定される。上記の場合でなく、動作点ＤＰＢ情報パラメータop_dpb_info_parameters()が上記試験用動作点に対して存在しないならば、MaxLatencyIncreasePlus1[ TargetOp ][ currLayerId ][ HighestTid ]は、アクティブＳＰＳのsps_max_latency_increase_plus1[ HighestTid ]に設定されるか（currLayerIdが０の場合）、あるいはcurrLayerId 値に対するアクティブレイヤSPSのsps_max_latency_increase_plus1[ HighestTid ]に設定され、MaxLatencyPictures[ TargetOp ] [ currLayerId ][ HighestTid ]は、アクティブＳＰＳに由来する（currLayerIdが０の場合）、あるいはcurrLayerId 値に対するアクティブレイヤSPSに由来する、SpsMaxLatencyPictures[ HighestTid ]に設定される。
（３）動作点ＤＰＢ情報パラメータop_dpb_info_parameters()が試験用動作点TargetOpに対して存在するならば、MaxDecPicBufferingMinus1[ TargetOp ] [ currLayerId ][HighestTid ]は、currLayerIdが０の場合、vps_max_dec_pic_buffering_minus1[ HighestTid
]に設定され、currLayerIdが０より大きい場合、上記試験用動作点用のcurrLayerIdに対するvps_max_dec_pic_buffering_minus1[ TargetOp ] [ CurrLayerId ][ HighestTid ]に設定される。上記の場合でなく、動作点ＤＰＢ情報パラメータop_dpb_info_parameters ()が上記試験用動作点に対して存在しないならば、MaxDecPicBufferingMinus1[ TargetOp
][ currLayerId ][HighestTid ]は、アクティブＳＰＳに由来する（currLayerIdが０の場合）sps_max_dec_pic_buffering_minus1[ HighestTid ]に設定されるか、currLayerId値に対するアクティブレイヤSPSに由来するsps_max_dec_pic_buffering_minus1[ HighestTid ]に設定される。
以下の条件の一または複数が真ならば、サブクローズF.13.5.2.4で規定された「バンピング」工程は、空にされた追加画像保存バッファごとに一つずつＤＰＢフルネスをさらに減らしつつ、繰り返し呼び出され、最終的には以下の条件のすべてが真でなくなる。
（１）ＤＰＢ内の、currLayerIdに等しいnuh_layer_idを有する、「出力要」とマークされた画像の数は、MaxNumReorderPics[ TargetOp ] [CurrLayerId][HighestTid]より大きい。
（２）MaxLatencyIncreasePlus1[ TargetOp ] [CurrLayerId][HighestTid]が０と等しくなく、ＤＰＢ内には、currLayerIdに等しいnuh_layer_idを有し、「出力要」とマークされた少なくとも一つの画像が存在し、この画像に関連付けられた変数PicLatencyCount[
currLayerId ]は、MaxLatencyPictures[ TargetOp ] [CurrLayerId][HighestTid]以上である。
（３）ＤＰＢ内の、currLayerIdに等しいnuh_layer_idを有する画像の数は、MaxDecPicBuffering[ TargetOp ] [CurrLayerId][HighestTid]以上である。
このサブクローズに規定されたこれらのプロセスは、現在の画像を含むアクセスユニットｎの最後の復号化ユニットがＣＰＢから削除されるとすぐに行われる。
変数currLayerIdは、現在の復号化画像のnuh_layer_idに等しく設定される。
ＤＰＢ内の、「出力要」とマークされ、currLayerIdに等しいnuh_layer_id値を有する画像ごとに、関連する変数PicLatencyCount[ currLayerId ]がPicLatencyCount[ currLayerId ] + 1に等しく設定される。
現在の画像は、当該画像の最後の復号化ユニットが復号化されてから、復号されたと見なされる。現在の復号化された画像は、ＤＰＢ内の空の画像保存バッファに保存され、以下の事項が該当する。
（Ａ）現在の復号化画像が１に等しいPicOutputFlagを有しているならば、「出力要」とマークされ、それと関連する変数PicLatencyCount[ currLayerId ]が０に等しく設定される。
（Ｂ）そうではないならば（現在の復号化画像が０に等しいPicOutputFlagを有しているならば）、「出力不要」とマークされる。
現在の復号化画像は「短期参照のために使用」とマークされる。
以下の条件の一または複数が真ならば、サブクローズF.13.5.2.4で規定された「バンピング」プロセスは繰り返し呼び出され、最終的には以下の条件のすべてが真でなくなる。
（Ａ）ＤＰＢ内の、currLayerIdに等しいnuh_layer_idを有し、「出力要」とマークされた画像の数は、MaxNumReorderPics[ TargetOp ] [CurrLayerId][HighestTid]より大きい。
（Ｂ）MaxLatencyIncreasePlus1[ TargetOp ] [CurrLayerId][HighestTid]が０と等しくなく、ＤＰＢ内で、currLayerIdに等しいnuh_layer_idを有する少なくとも一つの画像が存在し、その画像に関連した変数PicLatencyCount[ currLayerId ] は、MaxLatencyPictures[ TargetOp ] [CurrLayerId][HighestTid]以上である。
他の場合では、変数MaxNumReorderPics[ currLayerId ][ HighestTid ]、MaxLatencyIncreasePlus1[ currLayerId ][ HighestTid ]、MaxLatencyPictures[ currLayerId ][ HighestTid ]、MaxDecPicBufferingMinus1[ currLayerId ][ HighestTid ]は以下のように導き出してもよい。
（１）動作点ＤＰＢ情報パラメータop_dpb_info_parameters()が試験用動作点に対して存在するならば、MaxNumReorderPics[ currLayerId ][HighestTid ]は、currLayerIdが０のときにはvps_max_num_reorder_pics[ HighestTid ]に設定されるか、あるいはcurrLayerIdが０より大きいときには、上記試験用動作点用のcurrLayerIdに対するvps_max_num_reorder_pics[ CurrLayerId ][ HighestTid ]に設定される。上記の場合でなく、動作点ＤＰＢパラメータop_dpb_info_parameters()が試験用動作点に存在しないならば、MaxNumReorderPics[ currLayerId ][ HighestTid ]は、アクティブＳＰＳに由来する（currLayerIdが０の場合）sps_max_num_reorder_pics[ HighestTid ]、あるいはcurrLayerId 値に対するアクティブレイヤSPSに由来するsps_max_num_reorder_pics[ HighestTid ]に設定される。
（２）動作点ＤＰＢ情報パラメータop_dpb_info_parameters()が試験用動作点に対して存在するならば、MaxLatencyIncreasePlus1[ currLayerId ][ HighestTid ]は、currLayerIdが０のときにはvps_max_latency_increase_plus1[ HighestTid ] に設定されるか、あるいはcurrLayerIdが０より大きいときには、上記試験用動作点用のcurrLayerIdに対するvps_max_latency_increase_plus1[ CurrLayerId ][ HighestTid ]に設定される。動作点ＤＰＢ情報パラメータop_dpb_info_parameters()が試験用動作点に対して存在するならば、MaxLatencyPictures[ currLayerId ][ HighestTid ] は、currLayerIdが０のときにはVpsMaxLatencyPictures [ HighestTid ] に設定され、あるいはcurrLayerIdが０より大きいときには、上記試験用動作点用のcurrLayerIdに対するVpsMaxLatencyPictures [ CurrLayerId ][ HighestTid ]に設定される。上記の場合でなく、動作点ＤＰＢ情報パラメータop_dpb_info_parameters() が試験用動作点に対して存在しないならば、MaxLatencyIncreasePlus1[ currLayerId ][ HighestTid ]は、アクティブＳＰＳ（currLayerIdが０である場合）のsps_max_latency_increase_plus1[ HighestTid ] に設定されるか、あるいはthe active layer SPS for the value of currLayerIdのsps_max_latency_increase_plus1[ HighestTid ]に設定され、MaxLatencyPictures[ currLayerId ][ HighestTid ]は、アクティブＳＰＳ（currLayerIdが０である場合）に由来するSpsMaxLatencyPictures
[ HighestTid ] あるいはthe active layer SPS for the value of currLayerIdに由来するSpsMaxLatencyPictures [ HighestTid ]に設定される。
（３）動作点ＤＰＢ情報パラメータop_dpb_info_parameters()が選択された試験用動作点に対して存在するならば、MaxDecPicBufferingMinus1[ currLayerId ][HighestTid ]は、currLayerIdが０のときには、vps_max_dec_pic_buffering_minus1[ HighestTid ]に設定され、あるいはcurrLayerIdが０より大きいときには、上記試験用動作点用のcurrLayerIdに対するvps_max_dec_pic_buffering_minus1[ CurrLayerId ][ HighestTid ]に設定される。上記の場合でなく、動作点ＤＰＢ情報パラメータop_dpb_info_parameters() が試験用動作点に対して存在しないならば、 MaxDecPicBufferingMinus1[ currLayerId ][HighestTid ] は、アクティブＳＰＳ（currLayerIdが０である場合）に由来するsps_max_dec_pic_buffering_minus1[ HighestTid ] に設定されるか、あるいはcurrLayerId 値に対するアクティブレイヤSPSに由来するsps_max_dec_pic_buffering_minus1[ HighestTid ]に設定される。
以下の条件の一または複数が真ならば、サブクローズF.13.5.2.4で規定された「バンピング」工程は、空にされた追加画像保存バッファごとに一つずつＤＰＢフルネスをさらに減らしつつ、繰り返し呼び出され、最終的には以下の条件のすべてが真でなくなる。
（１）ＤＰＢ内の、currLayerIdに等しいnuh_layer_idを有する、「出力要」とマークされた画像の数は、MaxNumReorderPics[CurrLayerId][HighestTid]より大きい。
（２）MaxLatencyIncreasePlus1[CurrLayerId][HighestTid]が０と等しくなく、ＤＰＢ内には、currLayerIdに等しいnuh_layer_idを有し、「出力要」とマークされた少なくとも一つの画像が存在し、この画像に関連付けられた変数PicLatencyCount[ currLayerId ]
はMaxLatencyPictures[CurrLayerId][HighestTid]以上である。
（３）ＤＰＢ内の、currLayerIdに等しいnuh_layer_idを有する画像の数は、MaxDecPicBuffering[CurrLayerId][HighestTid]以上である。
このサブクローズに規定されたこれらのプロセスは、現在の画像を含むアクセスユニットｎの最後の復号化ユニットがＣＰＢから削除されるとすぐに行われる。
変数currLayerIdは、現在の復号化画像のnuh_layer_idに等しく設定される。
ＤＰＢ内の、「出力要」とマークされ、currLayerIdに等しいnuh_layer_id値を有する画像ごとに、関連する変数PicLatencyCount[ currLayerId ] がPicLatencyCount[ currLayerId ] + 1に等しく設定される。
現在の画像は、当該画像の最後の復号化ユニットが復号化されてから、復号されたと見なされる。現在の復号化された画像は、ＤＰＢ内の空の画像保存バッファに保存され、以下の事項が該当する。
（Ａ）現在の復号化画像が１に等しいPicOutputFlagを有しているならば、「出力要」とマークされ、それと関連する変数PicLatencyCount[ currLayerId ]が０に等しく設定される。
（Ｂ）そうではないならば（現在の復号化画像が０に等しいPicOutputFlagを有しているならば）、「出力不要」とマークされる。
現在の復号化画像は「短期参照のために使用」とマークされる。
以下の条件の一または複数が真ならば、サブクローズF.13.5.2.4で規定された「バンピング」工程は繰り返し呼び出され、最終的には以下の条件のすべてが真でなくなる。
（Ａ）ＤＰＢ内の、currLayerIdに等しいnuh_layer_idを有し、「出力要」とマークされた画像の数は、MaxNumReorderPics[CurrLayerId][HighestTid]より大きい。
（Ｂ）MaxLatencyIncreasePlus1[CurrLayerId][HighestTid]が０と等しくなく、ＤＰＢ内に、currLayerIdに等しいnuh_layer_idを有する少なくとも一つの画像が存在し、その画像に関連した変数PicLatencyCount[ currLayerId ] は、MaxLatencyPictures[CurrLayerId][HighestTid]以上である。
「バンピング」工程は、以下の順序のステップからなる。
（Ａ）最初に出力するべき画像は、ＤＰＢ内にある「出力要」とマークされたすべての画像の中でPicOrderCntValの値がもっとも小さいものとして選ばれる。
（Ｂ）これらの画像は、０に等しいnuh_layer_idを有する画像用のアクティブＳＰＳまたは当該画像のnuh_layer_idに等しいnuh_layer_id値用のアクティブレイヤＳＰＳで規定されたコンフォーマンスクロッピングウィンドウを用いてクロップされ、クロップされた画像はnuh_layer_idの昇順に出力され、当該画像は「出力不要」とマークされる。
（Ｃ）「参照に不使用」とマークされた画像を有し、画像のうち、クロップされ、出力された一つを含んでいた画像保存バッファそれぞれが空になる。
ＶＰＳ拡張は、必要なら追加の変更をしてもよい。
図４０を参照すると、追加の変更として、ＤＰＢパラメータが、動作点用ではなく出力レイヤセット用のＶＰＳ拡張に送られてもよく、当該ＶＰＳ拡張でのoops_dpb_info_parameters(j)を図４１に示す。
num_dpb_info_parametersは、ＶＰＳ拡張ＲＢＳＰに存在するoop_dpb_parameters( )シンタックス構造の数を規定する。num_dpb_info_parameters復号装置は、０以上num_output_layer_sets以下の範囲内で存在するものとする。
output_point_layer_set_idx[ i ] は、ＶＰＳ拡張内のi th oop_dpb_info_parameters ( )シンタックス構造が適用される対象出力レイヤセットのリストに、上記インデックスを特定する（specifies the index, into the list of target output layer sets）。
output_point_layer_set_idx[ i ] の値は、０以上num_output_layer_sets以下の範囲内にあるものとする。iと等しくないいかなるjについても、output_point_layer_set_idx
[ i ]がoutput_point_layer_set_idx [ j ]と等しくないものとするというのがビットストリームコンフォーマンスの要件である。
図４２を参照すると、the oop_dpb_info_paremters(c)をさらに変更して、ＶＰＳ拡張におけるシンタックスを図４３に示すようにしてもよい。
図４４を参照すると、the oop_dpb_info_paremters(c)をさらに変更して、ＶＰＳ拡張におけるシンタックスを図４５と図４６に示すようにしてもよい。
ＶＰＳ拡張におけるシンタックスの代替手段の一例として、
Figure 2021093729
を以下のように変えてもよい。
Figure 2021093729
vps_max_layer_idは、ＣＶＳ内のすべてのＮＡＬユニットのnuh_layer_idの最大許可値を特定する。vps_max_layers_minus1はＣＶＳ内に存在するレイヤの最大数を特定するものであり、レイヤは、例えば、空間スケーラブルレイヤ（spatial scalable layer）、品質スケーラブルレイヤ(quality scalable layer)、texture view、またはdepth viewであってもよい。
ＶＰＳ拡張におけるシンタックスの代替手段の他の一例として、
Figure 2021093729
を以下のように変えてもよい。
Figure 2021093729
選択された出力レイヤセットインデックスoplsIdxに対するnumOutputLayersは以下のように導き出される。
Figure 2021093729
ＶＰＳ拡張におけるシンタックスの代替手段の他の一例として、
Figure 2021093729
を以下のように変えてもよい。
Figure 2021093729
選択されたoplsIdxに対するnumOutputLayersは以下のように導き出される。
Figure 2021093729
そして、選択されたoplsIdxに対する対象復号化レイヤ識別子リストtargetDLayerIdListおよびnumDecodedLayersは、以下のように導き出される。
Figure 2021093729
一実施形態では、以下のように、付加フラグを信号化して、oop_dpb_information_parametersが特定のレイヤに対して信号化されたか示してもよい。
Figure 2021093729
vps_layer_info_present_flag[j]が１の場合、特定の出力レイヤセットに対してｊ番目のレイヤにoop_dpb_info_parametersが存在することを規定する。vps_layer_info_present_flag[j]が０の場合、特定の出力レイヤセットに対してｊ番目のレイヤにoop_dpb_info_parametersが存在しないことを規定する。
他の実施形態では、num_dpb_info_parameters復号装置は０以上１０２４以下の範囲であるものとする。さらに他の実施形態では、１０２４の代わりに異なる一定の数値を用いることができる。
代わりとなる実施形態では、output_point_layer_set_idx[ i ]は、０以上１０２３以下の範囲にある。
図４７を参照すると、出力レイヤセットと動作点と独立して、各レイヤごとにＶＰＳ拡張でＤＰＢパラメータが送られるとき、他の修正ＶＰＳ拡張とlayer_dpb_info(i)を用いてもよい。
図４８を参照すると、修正されたlayer_dpb_info(i)を用いてもよく、ＶＰＳから信号化されたシンタックス要素vps_max_sub_layer_minus1がすべてのレイヤに用いられ、oop_dpb_info_parameters(id) / op_dpb_info_parameters( id)において別々に信号化されない。
図４９Ａと４９Ｂを参照し、修正されたvps_extensionの一例を示す。修正されたｖｐｓ拡張は、新しいシンタックス、すなわち、max_sub_layers_vps_predict_flag[i]、max_sub_layers_vps_minus1[i] num_dpb_info_parameters、output_point_layer_set_idx[i]、oop_dpb_maxbuffering_parameters(i)、およびlayer_dpb_info_parameters(i)を含む。num_output_layer_setsは、出力レイヤがoutput_layer_set_index[ i ]およびoutput_layer_flag[ lsIdx ][ j ]と特定されるレイヤセットの数を規定する。存在しないときは、num_output_layer_setsの値は０だと推定される。複数の出力レイヤを記述するレイヤセットは、出力レイヤセットである。
'max_sub_layers_vps_predict_flag'[ i ]が１のときは、max_sub_layers_vps_minus1[
i ]はmax_sub_layers_vps_minus1[ i - 1 ]に等しいと推定されると規定する。
max_sub_layers_vps_predict_flag[ i ]が０のときは、max_sub_layers_vps_minus1[ i
]は明示的に信号化される。max_sub_layers_vps_predict_flag[ 0 ]の値は０だと推定される。
'max_sub_layers_vps_minus1'[ i ] plus 1は、ｉに等しいnuh_layer_idを有するレイヤに対してＣＶＳ内にあるかもしれない一時的サブレイヤの最大数を規定する。max_vps_sub_layers_vps_minus1[ i ]の値は、０以上６以下の範囲であるものとする。いくつかの場合では、max_sub_layers_vps_minus1[i]は、ＳＰＳシンタックス要素sps_max_sub_layers_minus1の推定に用いられる。max_sub_layers_vps_predict_flag[ i ]が１のときは、max_sub_layers_vps_minus1[ i ]はmax_sub_layers_vps_minus1[ i - 1 ]に等しいと推定される。max_sub_layers_vps_minus1[ 0 ]の値は、vps_max_sub_layers_minus1に等しいと推定される。
０以上num_dpb_info_parameters- 1以下の範囲にあるsetID用の変数MaxSubLayers[ setId ]は、以下のように導き出される。
Figure 2021093729
'num_dpb_info_parameters'は、ＶＰＳ拡張ＲＢＳＰに存在するoop_dpb_maxbuffering_parameters( i )シンタックス構造の数を規定する。num_dpb_info_parameters復号装置は、０以上numOutputLayerSets以下の範囲にあるものとする。
'output_point_layer_set_idx'[ i ]は、ＶＰＳ拡張内のi th oop_dpb_maxbuffering_parameters( i )シンタックス構造が適用される出力レイヤセットのリストに、上記インデックスを特定する。
output_point_layer_set_idx[ i ]の値は、０以上numOutputLayerSets以下の範囲にあるものとする。ビットストリームコンフォーマンスは、以下のように要請している。
iに等しくないいかなるjに対しても、output_point_layer_set_idx [ i ]はoutput_point_layer_set_idx [ j ]と等しくないものとする。
図５０を参照すると、oop_dpb_maxbuffering_parametersは、'sub_layer_vps_buf_info_present_flag'[ i ]、'max_vps_dec_pic_buffering_minus1'[ i ][ j ]を規定する。
'sub_layer_vps_buf_info_present_flag'[ i ]が１だと、max_vps_dec_pic_buffering_minus1[ i ][ j ]がMaxSubLayers[ i ] sub-layersに対して存在すると規定する。sub_layer_vps_buf_info_present_flag[ i ]が０だと、max_vps_dec_pic_buffering_minus1[ i][ MaxSubLayers[ i ] - 1 ]の値はすべてのサブレイヤに当てはまると規定する。
'max_vps_dec_pic_buffering_minus1'[ i ][ j ] plus 1は、HighestTidがjに等しいとき、画像保存バッファのユニットでインデックスiと関連した出力レイヤセット内のhighestLayerIdに等しいnuh_layer_idを有するレイヤ用のＣＶＳに対する復号化画像バッファの最大必要サイズを規定する。max_vps_dec_pic_buffering_minus1[ i ][ j ]の値は、０以上MaxDpbSize - 1 （サブクローズA.4で規定したように）以下の範囲であるものとする。ｊが０より大きい場合、max_vps_dec_pic_buffering_minus1[ i ][ j ]はmax_vps_dec_pic_buffering_minus1[ i ][ j - 1 ]より大きいか等しくあるものとする。いくつかの場合では、max_vps_dec_pic_buffering_minus1[ i ][ j ]は、ＳＰＳシンタックス要素sps_max_dec_pic_buffering_minus1[ j ]の値を推定するために用いられる。sub_layer_vps_buf_info_present_flag[ i ]が０に等しいために、０以上MaxSubLayers[ i ] - 2以内のiに対してmax_vps_dec_pic_buffering_minus1[ i ][ j ]が存在しないとき、max_vps_dec_pic_buffering_minus1[ i ][ j ]はmax_vps_dec_pic_buffering_minus1[ i ][ MaxSubLayers[ i ] - 1]に等しいと考えられる。
ｊの各値に対するmax_vps_dec_pic_buffering_minus1[ 0 ][ j ]の値は、vps_max_dec_pic_buffering_minus1[ j ]に等しいと推定される。
図５１を参照すると、layer_dpb_info_parametersは'sub_layer_vps_ordering_info_present_flag'[ i ]、max_vps_num_reorder_pics[ i ][ j ]、'max_vps_latency_increase_plus1'[ i ][ j ]を規定する。
'sub_layer_vps_ordering_info_present_flag'[ i ]は、１に等しいとき、max_vps_num_reorder_pics[ i ][ j ]とmax_vps_latency_increase_plus1[ i ][ j ]とがmax_sub_layers_vps_minus1 + 1のサブレイヤに対して存在すると規定する。
sub_layer_vps_ordering_info_present_flag[ i ]は、０に等しいとき、max_vps_num_reorder_pics[ i ][ vps_max_sub_layers_minus1 ]とmax_vps_latency_increase_plus1[ i
][ max_sub_layers_vps_minus1 ]の値がすべてのサブレイヤに適用されると規定する。
'max_vps_num_reorder_pics'[ i ][ j ]は、nuh_layer_idがｉであるレイヤに対するＣＶＳにおいて復号化順で任意の画像に先行し得る画像であって、HighestTidがｊに等しいときに出力順でその画像の後に続く画像の最大許容数を示す。max_vps_num_reorder_pics [ i ][ j ]の値は０からmax_vps_dec_pic_buffering_minus1[ i ][ j ]までの範囲にある
ものとする。ｊが０よりも大きい場合、max_vps_num_reorder_pics[ i ][ j ]はmax_vps_num_reorder_pics[ i ][ j- 1 ]よりも大きいか等しいものとする。max_vps_num_reorder_pics[ i ][ j ]はＳＰＳシンタックス要素sps_max_num_reorder_pics[ j ]の値を推測するために用いられることもある。max_vps_num_reorder_pics[ i ][ j ]が、sub_layer_vps_ordering_info_present_flag[ i ]が０に等しいために、０からmax_sub_layers_vps_minus1[ i ] - 1までの範囲にあるｉに対して存在しない場合、max_vps_num_reorder_pics[
i ][ max_sub_layers_vps_minus1[ i ] ]に等しいと推測される。
max_vps_latency_increase_plus1[ i ][ j ]は、０に等しくないとき、nuh_layer_idがｉであるレイヤに対するＣＶＳにおいて出力順で任意の画像に先行し得る画像であって、HighestTid がｊに等しいときに復号化順でその画像の後に続く画像の最大数を規定するVpsMaxLatencyPictures[ i ][ j ]の値を演算するのに用いられる。
max_vps_latency_increase_plus1[ i ][ j ]が０に等しくないとき、VpsMaxLatencyPictures[ i ][ j ]の値は次のように規定される。
VpsMaxLatencyPictures[ i ][ j ] = max_vps_num_reorder_pics[ i ][ j ] + max_vps_latency_increase_plus1[ i ][ j ] - 1
max_vps_latency_increase_plus1[ i ][ j ]が０に等しいとき、対応する制限は表わされない。
max_vps_latency_increase_plus1[ j ][ k ]の値は０から２３２−２までの範囲にあるものとする。max_vps_latency_increase_plus1[ i ][ j ]はＳＰＳシンタックス要素sps_max_latency_increase_plus1[ j ]の値を推測するために用いられる場合もある。max_vps_latency_increase_plus1[ i ][ j ]が、sub_layer_vps_ordering_info_present_flag[ i
]が０に等しいために、０からmax_sub_layers_vps_minus1[ i ] - 1までの範囲にあるｉに対して存在しない場合、max_vps_latency_increase_plus1[ i ][ max_sub_layers_vps_minus1[ i ] ]と等しいと推測される。
図５２を参照すると、vps_extensionの変形例が示されている。vps_extensionの変形例は、新しいシンタックス、すなわち、条件付きで信号化されたsub_layer_vps_buf_info_predict_flag[ i ]、sub_layer_vps_ordering_info_predict_flag[ i ]を有する、図４９におけるシンタックスの更なる変形例を含む。sub_layer_vps_buf_info_predict_flag[ i
]は、１に等しいとき、max_vps_dec_pic_buffering_minus1[ i ][ j ]がｊの各値について、max_vps_dec_pic_buffering_minus1[ i - 1 ][ j ]と等しいと推測されると規定する。
sub_layer_vps_buf_info_predict_flag[ i ]は、０に等しいとき、ｊの少なくともひとつの値に対するmax_vps_dec_pic_buffering_minus1[ i ][ j ]が明確に信号化されると規定する。sub_layer_vps_buf_info_predict_flag[ 0 ]は０に等しいと推測される。sub_layer_vps_buf_info_predict_flag[ i ]は、存在しないとき、０に等しいと推測される。
sub_layer_vps_ordering_info_predict_flag[ i ]は、１に等しいとき、シンタックス要素sub_layer_vps_ordering_info_present_flag[ i ]、max_vps_num_reorder_pics[ i ] [ j ]、およびmax_vps_latency_increase_plus1[ i ][ j ]は、それぞれ、sub_layer_vps
_ordering_info_present_flag[ i - 1 ]、max_vps_num_reorder_pics[ i - 1 ][ j ]、およびmax_vps_latency_increase_plus1[ i 1 ][ j ]に等しいと推測されると規定する。sub_layer_vps_ordering_info_predict_flag[ i ]は、０に等しいとき、シンタックス要素sub_layer_vps_ordering_info_present_flag[ i ]、 max_vps_num_reorder_pics[ i][ j ]、 およびmax_vps_latency_increase_plus1[ i ][ j ]が明確に信号化されることを示す。sub_layer_vps_ordering_info_predict_flag[ i ]の値は、存在しないとき、０に設定される。
図５２における他のシンタックス要素およびそれらの意味論的意味は図４９におけるシンタックス要素およびそれらの意味論的意味と同じである。
図５３を参照すると、vps_extensionの変形例が示されている。vps extensionの変形例は、図４９におけるシンタックスの更なる変形例を含む。出力レイヤセットｉにおける最上位レイヤｉｄに対してoop_dpb_maxbuffering_parameters(i)パラメータの１セットを信号化する図４９と比べて、図５３では、oop_dpb_maxbuffering_parameters(i,j)は、特定の出力レイヤセットｉの各レイヤｊに対して信号化される。
図５４を参照すると、oop_dpb_maxbuffering_parametersはsub_layer_vps_buf_info_present_flag[ i ][ k ]、max_vps_dec_pic_buffering_minus1[ i ][ k ][ j ]を規定する。
sub_layer_vps_buf_info_present_flag[ i ][ k ]は、１に等しいとき、max_vps_dec_pic_buffering_minus1[ i ][ k ][ j ]がmax_sub_layers_vps_minus1[ k ]のサブレイヤに対して存在すると規定する。sub_layer_vps_buf_info_present_flag[ i ]は、０に等しいとき、max_vps_dec_pic_buffering_minus1[ i ][ k ][max_sub_layers_vps_minus1[ k ]]の値がすべてのサブレイヤに適用されると規定する。
max_vps_dec_pic_buffering_minus1[ i ][ k ][ j ] plus 1は、HighestTidがｊに等しい場合、画像保存バッファのユニットにおいてインデックスｉと関連付けられた出力レイヤセットのnuh_layer_idがｋであるレイヤに対するＣＶＳ用の復号化画像バッファの最大所要サイズを規定する。max_vps_dec_pic_buffering_minus1[ i ][ k ][ j ]の値は０から（サブクローズＡ．４に規定されるように）MaxDpbSize - 1までの範囲にあるものとする。
ｊが0より大きい場合、max_vps_dec_pic_buffering_minus1[ i ][ k ][ j ]はmax_vps_dec_pic_buffering_minus1[ i ][ k ][ j - 1 ] より大きいか等しいものとし、ＳＰＳシンタックス要素sps_max_dec_pic_buffering_minus1[ j ]の値を推測するため用いられる。
max_vps_dec_pic_buffering_minus1[ i ][ j ]が、sub_layer_vps_buf_info_present_flag[ i ][ k ]が０に等しいために、０からmax_sub_layers_vps_minus1[ k ] - 1までの範囲にあるｉに対して存在しない場合、max_vps_dec_pic_buffering_minus1[ i ][ k ] [
max_sub_layers_vps_minus1[ k ]]に等しいと推測される。
ｉおよびｊの各値に対するmax_vps_dec_pic_buffering_minus1[ i ][ 0 ][ j ]の値はvps_max_dec_pic_buffering_minus1[ j ]と等しいと推測される。
図５５を参照すると、oop_dpb_maxbuffering_parametersはsub_layer_vps_buf_info_present_flag[ i ][ k ]、max_vps_dec_pic_buffering_minus1[ i ][ k ][ j ]を規定する。図５５は、oop_dpb_maxbuffering_parametersに対する図５４のシンタックスと比べると、oop_dpb_maxbuffering_parametersに対する異型シンタックスである。
０からnum_dpb_info_parameters - 1までの範囲にあるsetIdに対する変数MaxSubLayers [ setId ][ k ]は次のように得られる。
Figure 2021093729
この場合、oop_dpb_maxbuffering_parametersパラメータ（ｉ，ｋ）は図５５の様に定義される。
図５６を参照すると、vps_extensionの変形例が示されている。vps extensionの変形例は、新しいシンタックスを有する、図５２におけるシンタックスの更なる変形例を含む。出力レイヤセットｉにおける最上位レイヤｉｄに対してoop_dpb_maxbuffering_parameters(i)パラメータの1セットを信号化する図５２と比べて、図５３では、この異型oop_dpb_maxbuffering_parameters(i,j)は、特定の出力レイヤセットｉの各レイヤｊに対して信号化される。
oop_dpb_maxbuffring_parameters(I,k)は図５７に示されるとおりである。
図５８を参照すると、oop_dpb_maxbuffering_parametersはsub_layer_vps_buf_info_present_flag[ i ][ k ]、max_vps_dec_pic_buffering_minus1[ i ][ k ][ j ]を規定する。図５７のoop_dpb_maxbuffering_parametersに対するシンタックスと比べると、図５８はoop_dpb_maxbuffering_parametersに対する異型シンタックスである。
０からnum_dpb_info_parameters - 1までの範囲にあるsetIdに対する変数MaxSubLayers [ setId ][ k ]は次のように得られる。
Figure 2021093729
この場合、oop_dpb_maxbuffering_parametersパラメータ（ｉ，ｋ）は図５８の様に定義される。
図５９を参照すると、vps_extensionの変形例が示されている。vps extensionの変形例は、新しいシンタックス、すなわち、条件付きで信号化された追加フラグlayer_dpb_info_parameters_presence_flagを有する、図５６におけるシンタックスの更なる変形例を含む。layer_dpb_info_parameters_presence_flagは、ＶＰＳ拡張におけるlayer_dpb_info_parameters(i)の信号化を任意のものにする。
layer_dpb_info_parameters_presence_flag[ i ]は、１に等しいとき、シンタックス要素sub_layer_vps_ordering_info_predict_flag[ i ]およびlayer_dpb_info_parameters(i)がvps_max_num_layers_minus1レイヤに対して存在すると規定する。layer_dpb_info_parameters_presence_flag[ i ]は、０に等しいとき、シンタックス要素sub_layer_vps_ordering_info_predict_flag[ i ]およびlayer_dpb_info_parameters(i)がvps_max_num_layers_minus1レイヤに対して存在しないと規定する。
oop_dpb_maxbuffring_parameters(i,k)は図６０に示されるとおりである。
図６１を参照すると、oop_dpb_maxbuffering_parametersはsub_layer_vps_buf_info_present_flag[ i ][ k ]、 max_vps_dec_pic_buffering_minus1[ i ][ k ][ j ]を規定する。図６０のoop_dpb_maxbuffering_parametersに対するシンタックスと比べると、図６１はoop_dpb_maxbuffering_parametersに対するシンタックスの変形例である。
０からnum_dpb_info_parameters - 1までの範囲にあるsetIdに対する変数MaxSubLayers [ setId ][ k ]は次のように得られる。
Figure 2021093729
この場合、oop_dpb_maxbuffering_parametersパラメータ（ｉ,ｋ）は図６１の様に定義される。
VPS拡張におけるシンタックスのもうひとつの例として、
Figure 2021093729
が
Figure 2021093729
に変化してもよい。
このようにインデックスｋは１の代わりに０で始まってもよい。
ＶＰＳ拡張におけるシンタックスのもうひとつの例として、
Figure 2021093729
が
Figure 2021093729
に変化してもよい。
vps_max_layer_idはＣＶＳにおけるすべてのＮＡＬユニットのnuh_layer_idの最大許容値を規定する。vps_max_layers_minus1はＣＶＳに存在していてもよいレイヤの最大数を規定する。レイヤは、例えば、空間スケーラブルそう、品質スケーラブルレイヤ、a texture view or a depth view.
ＶＰＳ拡張におけるシンタックスの他のもうひとつの例として、
Figure 2021093729
が
Figure 2021093729
に変化してもよい。
式中、numOutputLayersは次の様に得られる
Figure 2021093729
もしくは、次のように変更してもよい。
Figure 2021093729
ある実施の形態では、追加フラグは、oop_dpb_information_parametersが次のように特定のレイヤに対して信号化されるかどうかを示すように信号化してもよい。
Figure 2021093729
vps_layer_info_present_flag[ k ]は、１に等しいとき、oop_dpb_maxbuffering_parametersが特定の出力レイヤセットのｋ番目のレイヤに対して存在すると規定する。vps_layer_info_present_flag[ k ]は、０に等しいとき、oop_dpb_maxbuffering_parametersが特定の出力レイヤセットのｋ番目のレイヤに対して存在しないと規定する。
ＨＲＤに必要な非ＶＣＬ ＮＡＬユニットのシンタックス要素（もしくは、シンタックス要素のいくつかに対するそれらのデフォルト値）がアネックスＤおよびＥのサブクローズ７の意味的項目に規定されている。
２種類のＨＲＤパラメータセット（ＮＡＬ ＨＲＤパラメータおよびＶＣＬ ＨＲＤパラメータ）が用いられる。ＨＲＤパラメータセットは、ＳＰＳシンタックス構造もしくはＶＰＳシンタックス構造の一部であってもよいhrd_parameters( )シンタックス構造を介して信号化される。
ビットストリームの適合性をチェックするために複数の試験が行われてもよい。なお、当該ビットストリームは試験用ビットストリームと呼ばれる。各試験について、以下の工程が記載された順に適用される。
（１）TargetOpLsと表される試験用出力レイヤセットを選択する。TargetOpLs においてoutput_layer_set_idx[]によって参照される動作点は試験用動作点を特定する。 TargetOpLsの出力レイヤ識別子リストOpLayerIdListは、試験用ビットストリームに存在するnuh_layer_id値のサブセットである、TargetOpおよびTargetOpLsに関連付けられたビットストリームサブセットにおいて値の小さい順で存在するnuh_layer_id値のリストからなる。TargetOpのOpTidは、TargetOpと関連付けられたビットストリームサブセットに存在する最も高いTemporalIdと等しい。
（２）TargetDecLayerIdListを、選択された出力レイヤセットTargetOpLsに対する対象復号化レイヤ識別子リストtargetDLayerIdListに等しくなるように設定する。HighestTidをTargetOpのOpTidに等しくなるように設定し、条項１０で規定されたようなサブビットストリーム抽出プロセスを試験用ビットストリーム、HighestTid、およびTargetDecLayerIdListを入力として用い起動し、そして、出力をBitstreamToDecodeに割り当てる。
（３）TargetOpに適用可能なhrd_parameters( )シンタックス構造とsub_layer_hrd_parameters( )シンタックス構造とを選択する。もし、TargetDecLayerIdListが試験用ビットストリームに存在するすべてのnuh_layer_id値を含む場合、アクティブなＳＰＳにおける（または、本明細書に規定されていない外部手段を介して提供される）hrd_parameters()シンタックス構造が選択される。そうでなければ、TargetOpに適用されるアクティブＶＰＳにおける（または、本明細書に規定されていないある外部手段を介して提供される）hrd_parameters( )シンタックス構造が選択される。選択されたhrd_parameters( )シンタックス構造のうち、もしBitstreamToDecodeがタイプＩビットストリームである場合、条件「if( vcl_hrd_parameters_present_flag )」のすぐ後に続くsub_layer_hrd_parameters( HighestTid )シンタックス構造が選択され、変数NalHrdModeFlagが０に等しくなるように設定される。そうでなければ（BitstreamToDecodeがタイプＩＩビットストリームである場合）、条件「if( vcl_hrd_parameters_present_flag )」（この場合、変数NalHrdModeFlagは０に等しくなるように設定される）または条件「if( nal_hrd_parameters_present_flag )」（この場合、変数NalHrdModeFlagが１に等しくなるように設定される）のいずれかのすぐ後に続くsub_layer_hrd_parameters( HighestTid )シンタックス構造が選択される。BitstreamToDecodeがタイプＩＩビットストリームである場合で、NalHrdModeFlagが０に等しい場合、フィラーデータＮＡＬユニットを除くすべての非ＶＣＬ ＮＡＬユニット、および、存在する場合、（アネックスＢに規定されるように）ＮＡＬユニットストリームからバイトストリームを形成するすべてのleading_zero_8bits, zero_byte、start_code_prefix_one_3bytes、trailing_zero_8bitsシンタックス要素がBitstreamToDecodeから廃棄され、残りのビットストリームがBitstreamToDecodeに割り当てられる。
適合復号装置はこの項目に規定されるすべての要件を満たしていてもよい。
（１）特定のプロファイル、階層、レベルへの適合性を要求する復号装置は、アネックスＡに規定されるような方法で、サブクローズＣ．４に規定されるビットストリーム適合性要件に適合するすべてのビットストリームを首尾よく復号化することができるものとする。ただし、ＶＣＬ ＮＡＬユニットにおいて参照されるすべてのＶＰＳ、ＳＰＳ、および、ＰＰＳ、そして、適切なバッファリング期間および画像タイミングＳＥＩメッセージがビットストリームにおいて（非ＶＣＬ ＮＡＬユニットによって）または本明細書に規定されていない外部手段によってタイムリーに復号装置へ伝達される。
（２）ビットストリームが、予約済と規定された値を有するシンタックス要素を含む場合で、復号装置がシンタックス要素または予約済の値を有するシンタックス要素を含むＮＡＬユニットを無視するものとすると規定される場合、そうでなければ、ビットストリームが本明細書に適合する場合、適合復号装置は、適合ビットストリームを復号化するのと同じ方法で当該ビットストリームを復号化するものとし、シンタックス要素または規定されたように予約済の値を有するシンタックス要素を含むＮＡＬユニットを無視するものとする。
出力タイミングの適合性と出力順の適合性との２種類の復号装置の適合性がある。
復号装置の適合性をチェックするため、サブクローズＣ．４に規定されるような要求されるプロファイル、階層、レベルに適合する試験ビットストリームが、仮想ストリームスケジューラ（hypothetical stream scheduler）（ＨＳＳ）によって、ＨＲＤと試験用復号装置（ＤＵＴ）との両方へ配信される。ＨＲＤによって出力されるすべてのクロップされた復号化画像もＤＵＴによって出力されるものとする。ＤＵＴによって出力される、クロップされた復号化画像それぞれはPicOutputFlagが１に等しい画像であるものとし、そのようなＤＵＴによって出力される、クロップされた復号化画像それぞれに対して、出力されるすべてのサンプルの値が、規定された復号化処理によって作製されるサンプルの値と等しいものとする。
出力タイミングに関する復号装置の適合性については、ＨＳＳは、規定されたプロファイル、階層、レベル用のアネックスＡに規定されたようにビットレートおよびＣＰＢのサイズが制限されたSchedSelIdxの値のサブセットからのみ選択されるデリバリースケジュールに従って動作するか、または、アネックスＡに規定されたようにビットレートおよＣＰＢのサイズが制限された以下に規定されるような「補間」デリバリースケジュールに従って動作する。ＨＲＤとＤＵＴの両方に対して同じデリバリースケジュールが用いられる。
ＨＲＤパラメータおよびバッファリング期間ＳＥＩメッセージが０よりも大きいcpb_cnt_minus1[ HighestTid ]とともに存在する場合、ピークビットレートｒ、ＣＰＢサイズｃ（ｒ）、および、初期のＣＰＢ削除遅延
初期のＣＰＢ削除遅延
Figure 2021093729
を有すると規定された「補間」デリバリースケジュールを用いて動作するＨＳＳから配信されるようなビットストリームを復号化装置は、次のように復号化することができる。
Figure 2021093729
０より大きいどのSchedSelIdxおよびｒについても、BitRate[ SchedSelIdx - 1 ] <=
r <= BitRate[ SchedSelIdx ]であり、ｒおよびｃ（ｒ）が規定されたプロファイル、階層、レベル用の最大ビットレートおよびバッファサイズについてアネックスＡに規定されたような制限の範囲内である該当する。InitCpbRemovalDelay[ SchedSelIdx ] はあるバッファリング期間から他のものへ異なっていてもよく、再計算されるべきである。
出力タイミングに関する復号装置の適合性については、上述したようなＨＲＤが用いられ、画像出力の（最初のビットの配信時間に関する）タイミングがＨＲＤおよびＤＵＴの両方に対して一定の遅延まで同じである。
出力順に関する復号装置の適合性については、以下が適用される。
（１）ＤＵＴからの「請求により」、ＨＳＳはビットストリームBitstreamToDecodeをＤＵＴへ配信する。これは、ＤＵＴが処理を進めるためによりビットを必要とするときのみ、ＨＳＳはビットを（復号化順に）配信することを意味する。また、これは、この試験について、ＤＵＴの符号化画像バッファが、一番大きい復号化ユニットのサイズくらい小さいことを意味する。
（２）以下に記載される変形ＨＲＤを用いる。アネックスＡにおいて規定されたようにビットレートとＣＰＢサイズが制限されたようなビットストリームBitstreamToDecodeにおいて規定されたスケジュールのうちひとつによって、ＨＳＳはビットストリームをＨＲＤへ配信する。画像出力の順序はＨＲＤおよびＤＵＴの両方において同じであるものとする。
（３）ＨＲＤ ＣＰＢサイズは、サブクローズＥ．２．３に規定されるようにCpbSize[
SchedSelIdx ]によって与えられる。ここで、SchedSelIdxおよびＨＲＤパラメータはサブクローズＣ．１に規定されるように選択される。ＤＰＢサイズは、（現在の復号化画像に対するnuh_layer_idが０に等しい場合）アクティブＳＰＳから、もしくは、現在の復号化画像のnuh_layer_id の値に対するアクティブなＳＰＳからsps_max_dec_pic_buffering_minus1[ HighestTid ] + 1によって与えられる。
出力レイヤセットＤＰＢ情報パラメータoop_dpb_maxbuffering_parameters()が選択された出力レイヤセットに対して存在する場合、ＤＰＢサイズはmax_vps_dec_pic_buffering_minus1[CurrLayerId][HighestTid]によって与えられることもある。ここで、currLayerIdは現在の復号化画像のnuh_layer_idである。出力レイヤセットＤＰＢ情報パラメータoop_dpb_maxbuffering_parameters ()が選択された出力レイヤセットに対して存在しない場合、ＤＰＢサイズは、（現在の復号化画像に対するnuh_layer_idが０に等しい場合）アクティブなＳＰＳから、または、現在の復号化画像のnuh_layer_id の値に対してアクティブなレイヤＳＰＳからsps_max_dec_pic_buffering_minus1[ HighestTid ] + 1によって与えられる。
ＨＲＤに対するＣＰＢからの削除時間は、最終ビット到着時間であり、復号化が差し迫っている。このＨＲＤのＤＰＢの動作はサブクローズＣ．５．２からＣ．５．２．３．に記載されている。
復号化画像バッファは画像保存バッファを含む。０に等しいnuh_layer_idに対する画像保存バッファの数はアクティブなＳＰＳから得られる。各０でないnuh_layer_id値に対する画像保存バッファの数は、その０でないnuh_layer_id値に対するアクティブなレイヤＳＰＳから得られる。画像保存バッファはそれぞれ、「参照用に使用」とマーキングされた復号化画像を含むか、今後の出力のために保持される。サブクローズＦ．１３．５．２．２に規定されるようなＤＰＢからの画像の出力および削除の処理が起動され、続いて、サブクローズＦ．１３．５．２．３に規定されるような画像復号化、マーキング、追加バンピング、そして保存の処理が起動される。「バンピング」処理はサブクローズＦ．１３．５．２．４に規定されており、サブクローズＦ．１３．５．２．２およびＦ．１３．５．２．３に規定されるように起動される。
現在の画像の復号化の前の（しかし、現在の画像の第１のスライスのスライスヘッダーを解析した後の）ＤＰＢからの画像の出力および削除は、現在の画像を含むアクセスユニットの第１の復号化ユニットがＣＰＢから削除され次のように進んだときに、瞬時に起こる。
サブクローズ８．３．２に規定されるようなＲＰＳに対する復号化処理が起動される。
（１）現在の画像が、NoRaslOutputFlagが１に等しくnuh_layer_idが０に等しいＩＲＡＰ画像であって、画像０ではないＩＲＡＰ画像である場合、以下の順序の工程が適用される。
（Ａ）変数NoOutputOfPriorPicsFlagが、以下の様に、試験用復号装置に対して得られる。
（ｉ）現在の画像がＣＲＡ画像である場合、（no_output_of_prior_pics_flagの値とは関係なく）NoOutputOfPriorPicsFlagを１に等しくなるように設定する。
（ｉｉ）そうでなければ、アクティブなＳＰＳから得られるpic_width_in_luma_samples、pic_height_in_luma_samples、またはsps_max_dec_pic_buffering_minus1[ HighestTid ]の値が、先行する画像に対してアクティブなＳＰＳから得られるpic_width_in_luma_samples、pic_height_in_luma_samples、またはsps_max_dec_pic_buffering_minus1[ HighestTid ]のそれぞれの値と異なる場合、no_output_of_prior_pics_flagの値に関係なく、NoOutputOfPriorPicsFlagは試験用復号装置によって１に設定されてもよい（しかしながら、必ずしも設定されなくてもよい）。これらの条件のもとではNoOutputOfPriorPicsFlagをno_output_of_prior_pics_flagに等しくなるように設定することが好ましいが、この場合、試験用復号装置はNoOutputOfPriorPicsFlagを１に設定することができる。
（ｉｉｉ）そうでない場合、NoOutputOfPriorPicsFlagはno_output_of_prior_pics_flagに等しくなるよう設定される。
（Ｂ）試験用復号装置に対して得られたNoOutputOfPriorPicsFlagの値は、以下の様に、ＨＲＤに対して適用される。
（ｉ）NoOutputOfPriorPicsFlagが１に等しい場合、ＤＰＢにおける全ての画像保存バッファは、それらが含んでいる画像の出力はされず、空にされ、そしてＤＰＢフルネスが０に設定される。
（ｉｉ）そうでない場合（NoOutputOfPriorPicsFlagが０に等しい場合）、「出力不要」および「参照に不使用」とマーキングされた画像を含むすべての画像保存バッファが（出力は行わずに）空にされ、そして、サブクローズＦ．１３．５．２．４に規定される「バンピング」処理を繰り返し起動することによってＤＰＢにおけるすべての非空の画像保存バッファが空にされ、そしてＤＰＢフルネスが０に設定される。
（ｉｉｉ）そうでない場合（現在の画像が、NoRaslOutputFlagが１でありnuh_layer_idが０であるＩＲＡＰ画像でない場合）、「出力不要」および「参照に不使用」とマーキングされた、画像を含むすべての画像保存バッファが（出力を行わずに）空にされる。空にされた各画像保存バッファについて、ＤＰＢフルネスが１だけ減少する。変数currLayerIdは現在の復号化画像のnuh_layer_idに等しくなるように設定される。
変数MaxNumReorderPics[ currLayerId ][ HighestTid ]、MaxLatencyIncreasePlus1[ currLayerId ][ HighestTid ]、MaxLatencyPictures[ currLayerId ][ HighestTid ]、MaxDecPicBufferingMinus1[ currLayerId ][ HighestTid ]は次のように得られる。
レイヤＤＰＢ情報パラメータlayer_dpb_info_parameters()がVPSに存在するならば、MaxNumReorderPics[ currLayerId ][HighestTid ] は、currLayerIdが０に等しいときは vps_max_num_reorder_pics[ HighestTid ] に設定され、currLayerIdが０より大きいときはcurrLayerId に対するmax_vps_num_reorder_pics[ CurrLayerId ][ HighestTid ]に設定される。そうではない場合は、レイヤＤＰＢ情報パラメータlayer_dpb_info_parameters()が存在しないならば、MaxNumReorderPics[ currLayerId ][ HighestTid ]は、アクティブＳＰＳに由来する（currLayerIdが０に等しいとき）sps_max_num_reorder_pics[ HighestTid ]に設定され、currLayerId 値に対するアクティブレイヤSPSに由来するsps_max_num_reorder_pics[ HighestTid ]に設定される。
レイヤＤＰＢ情報パラメータlayer_dpb_info_parameters()がＶＰＳに存在するならば、MaxLatencyIncreasePlus1[ currLayerId ][ HighestTid ]は、currLayerIdが０に等しいときはvps_max_latency_increase_plus1[ HighestTid ]に設定され、currLayerIdが０より大きいときは、currLayerId に対するmax_vps_latency_increase_plus1[ CurrLayerId ][ HighestTid ]に設定される。レイヤＤＰＢ情報パラメータlayer_dpb_info_parameters()がＶＰＳに存在するならば、MaxLatencyPictures[ currLayerId ][ HighestTid ]は、currLayerIdが０に等しいときはSpsMaxLatencyPictures [ HighestTid ] に設定され、currLayerIdが０より大きいときはcurrLayerIdに対するVpsMaxLatencyPictures [ CurrLayerId ][ HighestTid ]に設定される。そうではない場合は、レイヤＤＰＢ情報パラメータlayer_dpb_info_parameters()が試験用動作点に対して存在しないならば、MaxLatencyIncreasePlus1[ currLayerId ][ HighestTid ]は、アクティブＳＰＳ（currLayerIdが０に等しいとき）のsps_max_latency_increase_plus1[ HighestTid ] に設定されるか、the
active layer SPS for the value of currLayerIdのsps_max_latency_increase_plus1[HighestTid ]に設定され、MaxLatencyPictures[ currLayerId ][ HighestTid ]は、（currLayerIdが０に等しいときは）アクティブＳＰＳに由来するSpsMaxLatencyPictures[ currLayerId ][ HighestTid ]に設定されるか、the active layer SPS for the value of currLayerIdに由来するSpsMaxLatencyPictures[ currLayerId ][ HighestTid ]に設定される。
動作点ＤＰＢ情報パラメータoop_dpb_maxbuffering_parameters ()が選択された出力レイヤセットに対して存在するならば、MaxDecPicBufferingMinus1[ currLayerId ][HighestTid ]は、currLayerIdが０に等しいときはvps_max_dec_pic_buffering_minus1[ HighestTid ]に設定され、currLayerIdが０より大きいときは試験用動作点用のcurrLayerIdに対するmax_vps_dec_pic_buffering_minus1[ CurrLayerId ][ HighestTid ]に設定される。そうではない場合は、動作点ＤＰＢ情報パラメータoop_dpb_maxbuffering_parameters ()が試験用動作点に対して存在しないならば、MaxDecPicBufferingMinus1[ currLayerId ][ HighestTid ] は、（currLayerIdが０に等しいときは）アクティブＳＰＳに由来するsps_
max_dec_pic_buffering_minus1[ HighestTid ]に設定されるか、currLayerId値に対するアクティブレイヤSPSに由来するsps_max_dec_pic_buffering_minus1[ HighestTid ]に設定される。
以下の条件の一または複数が真ならば、サブクローズF.13.5.2.4で規定された「バンピング」工程は、空にされた追加画像保存バッファごとに一つずつＤＰＢフルネスをさらに減らしつつ、繰り返し呼び出され、最終的には以下の条件のすべてが真でなくなる。
（１）ＤＰＢ内の、currLayerIdに等しいnuh_layer_idを有する、「出力要」とマークされた画像の数は、MaxNumReorderPics[CurrLayerId][HighestTid]より大きい。
（２）MaxLatencyIncreasePlus1[CurrLayerId][HighestTid]が０と等しくなく、ＤＰＢ内には、currLayerIdに等しいnuh_layer_idを有し、「出力要」とマークされた少なくとも一つの画像が存在し、この画像に関連付けられた変数PicLatencyCount[ currLayerId ]
はMaxLatencyPictures[CurrLayerId][HighestTid]以上である。
（３）ＤＰＢ内の、currLayerIdに等しいnuh_layer_idを有する画像の数は、MaxDecPicBuffering[CurrLayerId][HighestTid]以上である。
このサブクローズに規定されたこれらのプロセスは、現在の画像を含むアクセスユニットｎの最後の復号化ユニットがＣＰＢから削除されるとすぐに行われる。
変数currLayerIdは、現在の復号化画像のnuh_layer_idに等しく設定される。
ＤＰＢ内の、「出力要」とマークされ、currLayerIdに等しいnuh_layer_id値を有する画像ごとに、関連する変数PicLatencyCount[ currLayerId ] がPicLatencyCount[ currLayerId ] + 1に等しく設定される。
現在の画像は、当該画像の最後の復号化ユニットが復号化されてから、復号されたと見なされる。現在の復号化された画像は、ＤＰＢ内の空の画像保存バッファに保存され、以下の事項が該当する。
（Ａ）現在の復号化画像が１に等しいPicOutputFlagを有しているならば、「出力要」とマークされ、それと関連する変数PicLatencyCount[ currLayerId ]が０に等しく設定される。
（Ｂ）そうではないならば（現在の復号化画像が０に等しいPicOutputFlagを有しているならば）、「出力不要」とマークされる。
現在の復号化画像は「短期参照のために使用」とマークされる。
以下の条件の一または複数が真ならば、サブクローズF.13.5.2.4で規定された「バンピング」工程は繰り返し呼び出され、最終的には以下の条件のすべてが真でなくなる。
（Ａ）ＤＰＢ内の、currLayerIdに等しいnuh_layer_idを有し、「出力要」とマークされた画像の数は、MaxNumReorderPics[CurrLayerId][HighestTid]より大きい。
（Ｂ）MaxLatencyIncreasePlus1[CurrLayerId][HighestTid]が０と等しくなく、ＤＰＢ内に、currLayerIdに等しいnuh_layer_idを有する少なくとも一つの画像が存在し、その画像に関連した変数PicLatencyCount[ currLayerId ] は、MaxLatencyPictures[CurrLayerId][HighestTid]以上である。
「バンピング」工程は、以下の順序のステップからなる。
（Ａ）最初に出力するべき画像は、ＤＰＢ内にある「出力要」とマークされたすべての画像の中でPicOrderCntValの値がもっとも小さいものとして選ばれる。
（Ｂ）これらの画像は、０に等しいnuh_layer_idを有する画像用のアクティブＳＰＳまたは当該画像のnuh_layer_idに等しいnuh_layer_id値用のアクティブレイヤＳＰＳで規定されたコンフォーマンスクロッピングウィンドウを用いてクロップされ、クロップされた画像はnuh_layer_idの昇順に出力され、当該画像は「出力不要」とマークされる。
（Ｃ）「参照に不使用」とマークされた画像を有し、画像のうち、クロップされ、出力された一つを含んでいた画像保存バッファそれぞれが空になる。
図６２を参照し、修正されたシーケンスパラメータセット（ｓｐｓ）の一例を示す。修正ｓｐｓはsps_dpb_params_present_flagを含む。このフラグの値およびnuh_layer_idの値に基づいた一実施形態では、シンタックス要素のいくつか（例えば、sps_sub_layer_ordering_info_present_flag、sps_max_dec_pic_buffering_minus1[i]、sps_max_num_reorder_pics[i]、sps_max_latency_incease_plus1[i]）は信号化されなくてもよい。
sps_dpb_params_present_flagが０に等しい場合は、nuh_layer_id >0のＳＰＳに対して、the syntax elements sps_sub_layer_ordering_info_present_flag、sps_max_dec_pic_buffering_minus1[ i ]、sps_max_num_reorder_pics[ i ]、 およびsps_max_latency_increase_plus1[ i ]が当該ＳＰＳに存在しないと規定する。これらのパラメータの値は、アクティブＶＰＳ拡張で信号化されたパラメータsub_layer_vps_buf_info_present_flag[ i
]、max_vps_num_reorder_pics[ i ][ j ]、およびmax_vps_latency_increase_plus1[ i][ j ]の値に等しく設定される。sps_dpb_params_present_flagが１に等しい場合は、nuh_layer_id >0のＳＰＳに対して、the syntax elements sps_sub_layer_ordering_info_present_flag、sps_max_dec_pic_buffering_minus1[ i ]、sps_max_num_reorder_pics[ i ]、およびsps_max_latency_increase_plus1[ i ]が当該ＳＰＳに存在すると規定する。
他の実施形態において、上記シンタックス要素の一または複数は、u(v)の代わりにue(v)の代わりに既知の一定数のビットを用いて信号化してもよい。例えば、上記シンタックス要素は、u(8) またはu(16)またはu(32)またはu(64)等を用いて信号化してもよい。
他の実施形態において、上記シンタックス要素の一または複数は、u(v)符号化のような一定数のビットの代わりに、ue(v)またはその他のコード体系によって信号化してもよい。
他の実施形態において、種々のシンタックス要素の名称およびセマンティクスは、上述のシンタックスおよびセマンティクスと比較して、plus1もしくはplus2を加算、またはminus1もしくはminus2を減算することによって変更してもよい。
さらに他の実施形態において、種々のシンタックス要素は、上記ビットストリーム中の任意の箇所で、画像ごとに信号化してもよい。例えば、スライスセグメントヘッダー、ｐｐｓ／ｓｐｓ／ｖｐｓもしくはその他のパラメータセット、または上記ビットストリーム中の規準を定める他の部分において信号化してもよい。
さらに他の実施形態において、本発明において出力レイヤセットに関して定義したすべての概念は、出力動作点[2,3] および／または動作点[1]に適用できる。
〔実施形態３〕
映像符号化の方法を開示する。当該方法は現在の画像の第一スライスヘッダーの解析を開始する工程を含む。復号化画像バッファ（ＤＰＢ）によって行われる工程のうち、どの工程が画像に基づくものであり、どの工程がアクセスユニット（ＡＵ）に基づくものかを決定する。上記ＤＰＢからの削除を行う。上記ＤＰＢからの画像出力を行う。上記ＤＰＢ内での現在の復号化画像の復号化および保存を行う。上記ＤＰＢ内での上記現在の復号化画像をマーキングする。上記ＤＰＢからの追加画像出力を行う。
いくつかの構成では、上記ＤＰＢからの上記削除および出力は、ＡＵ出力フラグ、ＡＵによるＲＡＳＬ不出力フラグ、および／またはＡＵによる先行画像不出力フラグなどの少なくとも一つのＡＵ出力フラグに基づいていてもよい。当該ＡＵ出力フラグはビットストリームおよび他の条件において信号化されたシンタックス要素に基づいて得られたものであってよい。これらＡＵフラグはアクセスユニット（ＡＵ）レベルで得られ、用いられるフラグを表す。いくつかの構成では、これらは、画像出力フラグ（例えば、pic_output_flag）、画像ＲＡＳＬ不出力フラグ（picture no rasl output flag）（例えば、NoRaslOutputFlag）、および／または画像の先行画像不出力フラグ（picture no output of prior
pictures flag）（例えば、no_output_of_prior_pics flag）などの画像レベルで信号化される、または、得られる同様のフラグとは異なるフラグである。
ある構成では、第一ＡＵ出力フラグが上記ＤＰＢにより得られかつ上記ＤＰＢによって用いられ、第二ＡＵ出力フラグが上記ＤＰＢにより得られかつ上記ＤＰＢによって用いられてもよい。他の構成では、上記第一スライスヘッダーに画像出力フラグがある場合は、ＡＵにおけるすべての符号化画像に対して、すべての画像出力フラグシンタックス要素値が同じ値に制限されていてもよい。いくつかの構成では、上記第一スライスヘッダーに画像不出力フラグがある場合は、ＡＵにおけるすべての符号化画像に対して、すべての画像出力フラグシンタックス要素値が同じ値に制限されている。
ある構成では、上記削除は画像に基づき、上記画像出力はＡＵに基づき、上記保存および復号化は画像に基づき、上記マーキングは画像に基づき、上記追加画像出力はＡＵに基づいてもよい。上記ＤＰＢからの上記削除では、上記現在の画像の復号化の前に、上記ＤＰＢから一または複数の画像の削除を行ってもよい。
他の構成では、上記削除は画像に基づき、上記画像出力、上記復号化および保存、上記マーキング、および上記追加画像出力はＡＵに基づいてもよい。さらに他の構成では、上記削除、上記画像出力、上記復号化および保存、上記マーキング、および上記追加画像出力はＡＵに基づいてもよい。他の構成では、上記削除、上記復号化および保存、および上記マーキングは画像に基づき、上記画像出力および上記追加画像出力はＡＵに基づいてもよい。さらに他の構成では、上記削除、上記画像出力、上記復号化および保存、上記マーキング、および上記追加画像出力は画像に基づいてもよい。
上記ＤＰＢ内での上記現在の復号化画像をマーキングする工程は、参照マーキング工程と出力マーキング工程とを含んでいてもよい。上記参照マーキング工程は画像に基づき、上記出力マーキング工程はＡＵに基づいてよい。空の保存バッファにおける上記ＤＰＢに復号化画像が保存されている場合は、ＤＰＢフルネスが一だけ増加し、上記ＤＰＢから画像が出力される場合は、上記ＤＰＢフルネスが一だけ減少してもよい。上記ＤＰＢフルネスはレイヤごとに追跡されてもよい。上記ＤＰＢフルネスは出力レイヤセットごとに追跡されてもよい。
上記ＤＰＢは、異なる解像度、異なる色深度（bit-depth）、および異なる色度のうち一つまたは複数を有する複数の復号化画像用に、別々に特定され管理されている複数の画像バッファを有してもよい。上記ＤＰＢは、複数の画像保存バッファの共通プールを有していてもよく、大きさ、解像度、および色深度（bit-depth）の少なくとも一つに基づいて、当該複数の画像保存バッファに復号化画像が保存されてもよい。ある構成では、当該複数の画像保存バッファのうちの一つの画像バッファスロットに復号化画像が保存されてもよい。
上記方法はスケーラブル高効率映像符号化方式（ＳＨＶＣ）基準に合致する電子装置内の復号装置によって行われてもよい。また、上記方法はマルチビュー高効率映像符号化方式（ＭＶ−ＨＥＶＣ）基準に合致する電子装置内の復号装置によって行われてもよい。
また、映像符号化のために構成された電子装置を開示する。当該電子装置はプロセッサと、上記プロセッサと電子的に通信するメモリとを備える。上記メモリに保存された指示を処理することにより、現在の画像の第一スライスヘッダーの解析を開始する。また、上記メモリに保存された指示を処理することにより、復号化画像バッファ（ＤＰＢ）によって行われる工程のうち、どの工程が画像に基づくものであり、どの工程がアクセスユニット（ＡＵ）に基づくものかを決定する。上記メモリに保存された指示を処理することにより、上記ＤＰＢからの削除も行う。上記メモリに保存された指示を処理することにより、上記ＤＰＢからの画像出力も行う。上記メモリに保存された指示を処理することにより、上記ＤＰＢ内での現在の復号化画像の復号化および保存も行う。上記メモリに保存された指示を処理することにより、上記ＤＰＢ内での上記現在の復号化画像のマーキングも行う。上記メモリに保存された指示を処理することにより、上記ＤＰＢからの追加画像出力も行う。
類似する符号が機能上類似する構成要素を示す図面を参照して、以下に、様々な構成を記載する。本明細書において概要を記載され、図に示される上記システムおよび方法は、幅広く様々に異なる構成にして、設計することが可能である。よって、図面に表されるようないくつかの構成の以下のより詳細な記載は、請求の範囲を限定するものではなく、上記システムおよび方法の単に代表的なものである。
図６３は、複数の電子装置２１０２ａ−ｂ間における映像符号化を示すブロック図である。第１の電子装置２１０２ａおよび第２の電子装置２１０２ｂが示されている。しかしながら、いくつかの構成では、第１の電子装置２１０２ａおよび第２の電子装置２１０２ｂに関して説明される特徴および機能性のうち、ひとつまたは複数の特徴および機能性を組み合わせてひとつの電子装置１０２としてもよい。各電子装置１０２は映像を符号化および／または複号化するよう構成されていてもよい。電子装置１０２はハイブリッド復号化画像バッファ（ＤＰＢ）動作を利用するように構成されていてもよい。ハイブリッド復号化画像バッファ（ＤＰＢ）動作では、復号化画像バッファ（ＤＰＢ）１１６で行われる削除、出力（バンピング）、保存、マーキング、追加出力（バンピング）の各種工程が画像単位またはアクセスユニット（ＡＵ）単位で発生するシナリオを参照する。これら工程の特定の組み合わせは画像単位またはアクセスユニット（ＡＵ）単位で行われていると見なされるが、画像単位またはアクセスユニット（ＡＵ）単位でこれらの工程それぞれを独立して行うことのすべてのあり得る組み合わせがサポートされている。
ここでは、アクセスユニット（ＡＵ）とは、規定された分類規則に従って互いに関連付けられたネットワーク抽象化レイヤ（ＮＡＬ）ユニットのセットである。ネットワーク抽象化レイヤ（ＮＡＬ）ユニットのセットは、復号化順に連続するものであって、同じ出力時間に関連付けられたすべての符号化画像の映像符号化レイヤ（ＶＣＬ）ＮＡＬユニットおよびそれらの関連付けられた非ＶＣＬ ＮＡＬユニットとを含むものである。ベースレイヤはすべてのＶＣＬ ＮＡＬユニットが０に等しいnuh_layer_idを有するレイヤである。符号化画像は、nuh_layer_idが特定の値であるＶＣＬ ＮＡＬユニットを含む画像であって、その画像のすべての符号化ツリーユニットを含む画像のコード化表現である。符号化画像はレイヤ成分と呼ばれることもある。画像もしくはアクセスユニット（ＡＵ）に基づく工程の更なる詳細については、図６９、７０に関連して説明する。
ある構成では、各電子装置１０２は高効率映像符号化（ＨＥＶＣ）方式、スケーラブル高効率映像符号化（ＳＨＶＣ）方式、またはマルチビュー高効率映像符号化（ＭＶ−ＨＷＶＣ）方式に適合していてもよい。ＨＥＶＣ方式はＨ．２６４／ＭＰＥＧ・４ ＡＶＣ （Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ ｃｏｄｉｎｇ）にとって代わる映像圧縮技術であり、映像画質が改良され、圧縮率が高くなっている。ここでは、モノクロフォーマットの輝度サンプル（luma samples）のアレイ、もしくは、４：２：０、４：２：２、４：４：４のカラーフォーマット、または他のカラーフォーマットの輝度サンプルのアレイと２つの対応するクロマサンプルの配列である。仮想参照復号装置（ＨＲＤ）の動作および出力順復号化画像バッファ（ＤＰＢ）１１６の動作は、ＪＣＴＶＣ‐Ｍ１００８，ＪＣＴＶＣ‐Ｌ１００８，ＪＣＴＶＣ‐Ｄ１００４，ＪＣＴ３Ｖ‐Ｃ１００４、ＪＣＴＶＣ‐Ｌ０４５３およびＪＣＴＶＣ‐Ｌ０４５２におけるＳＨＶＣおよびＭＶ‐ＨＥＶＣについて説明されている。
第１の電子装置２１０２ａは符号化装置２１０８およびオーバーヘッドシグナリングモジュール２１１２を備えるていてもよい。第１の電子装置２１０２ａは入力画像２１０６を得てもよい。いくつかの構成では、入力画像２１０６は、第１の電子装置２１０２ａにおいてイメージセンサを用いてキャプチャされてもよく、メモリから検索されてもよく、そして／または他の電子装置１０２によって受信されてもよい。符号化装置２１０８は入力画像２１０６を符号化して符号化データ２１１０を作製してもよい。例えば、符号化装置２１０８は一連の入力画像２１０６（例えば、映像）を符号化してもよい。符号化データ２１１０はデジタルデータ（例えば、ビットストリーム）であってもよい。
オーバーヘッドシグナリングモジュール２１１２は符号化データ２１１０に基づいてオーバーヘッドシグナリングを生成してもよい。例えば、オーバーヘッドシグナリングモジュール２１１２は、スライスヘッダー情報、映像パラメータセット（ＶＰＳ）情報、シーケンスパラメータセット（ＳＰＳ）情報、画像パラメータセット（ＰＰＳ）情報、ピクチャオーダーカウント（picture order count）（ＰＯＣ）、参照画像指示（reference picture designation）などの符号化データ２１１０にオーバーヘッドデータを加えてもよい。いくつかの構成では、オーバーヘッドシグナリングモジュール２１１２は、２つの画像セットの間の移行（transition）を示すラップインジケータ（wrap indicator）を作製してもよい。
符号化装置２１０８（および、例えば、オーバーヘッドシグナリングモジュール２１１２）はビットストリーム２１１４を作製してもよい。ビットストリーム２１１４は入力画像２１０６に基づく符号化画像データを含んでいてもよい。いくつかの構成では、ビットストリーム２１１４は、スライスヘッダー情報、ＶＰＳ情報、ＳＰＳ情報、ＰＰＳ情報などのオーバーヘッドデータも含んでいてもよい。追加入力画像２１０６が符号化されるとき、ビットストリーム２１１４はひとつまたは複数の符号化データを含んでいてもよい。例えば、ビットストリーム２１１４はひとつまたは複数の符号化参照画像および／または他の画像を含んでいてもよい。
ビットストリーム２１１４は復号装置２１０４に供給されてもよい。一例を挙げれば、ビットストリーム２１１４は、有線または無線リンクを用いて第２の電子装置２１０２ｂに送信されてもよい。場合によっては、インターネットやローカルエリアネットワーク（ＬＡＮ）などのネットワークを介して送信されてもよい。図６３に示すように、復号装置２１０４は、第１の電子装置２１０２ａにおける符号化装置２１０８から独立して、第２の電子装置２１０２ｂにおいて実現されてもよい。しがしながら、いくつかの構成では、符号化装置２１０８と復号装置２１０４は同じ電子装置１０２において実現されてもよい。符号化装置２１０８と復号装置２１０４が同じ電子装置において実現される場合、例えば、ビットストリーム２１１４は、バスを介して復号装置２１０４に供給されるか、または、復号装置２１０４が検索できるようメモリに格納されていてもよい。
復号装置２１０４はビットストリーム２１１４を受信（例えば、取得）してもよい。復号装置２１０４はビットストリーム２１１４に基づいて復号化画像２１１８（例えば、ひとつまたは複数の復号化画像２１１８）を生成してもよい。復号化画像２１１８は表示され、再生され、メモリに保存されて、そして／または他の装置などに送信されてもよい。
復号装置２１０４は復号化画像バッファ（ＤＰＢ）１１６を備えていてもよい。復号化画像バッファ（ＤＰＢ）１１６は、仮想参照復号装置（ＨＲＤ）に対して規定された、参照用、出力再順序付け、出力遅延用の復号化画像を保持するバッファであってもよい。電子装置１０２において、復号化画像バッファ （ＤＰＢ）１１６は、復号装置２１０４で再構成（例えば、復号化）された画像を保存するために用いられてもよい。これらの保存された画像は、例えば、インター予測機構で用いられてもよい。画像が順序通りに復号されない場合、それら画像は、あとで順番に表示されるように復号化画像バッファ（ＤＰＢ）１１６に保存されてもよい。
Ｈ．２６４またはａｄｖａｎｃｅ ｖｉｄｅｏ ｃｏｄｉｎｇ （ＡＶＣ）方式では、復号化画像バッファ（ＤＰＢ）１１６の管理（例えば、削除、画像の追加、画像の再順序付けなど）がメモリ管理制御動作（ＭＭＣＯ）を用いて行われる。多くの様々な復号化画像バッファ（ＤＰＢ）１１６管理アプローチが検討されている。
復号装置２１０４はハイブリッド復号化画像バッファ（ＤＰＢ）動作モジュール２１２０を備えていてもよい。ハイブリッド復号化画像バッファ（ＤＰＢ）動作モジュール２１２０は、画像に基づく工程２１２２による復号化画像バッファ（ＤＰＢ）１１６管理アプローチ、および／または、アクセスユニット（ＡＵ）に基づく工程２１２４による復号化画像バッファ（ＤＰＢ）１１６管理アプローチを可能にする。例えば、削除、保存、参照マーキングのために画像に基づく工程２１２４を用いることの利点のひとつは、最適な復号化画像バッファ（ＤＰＢ）１１６メモリが様々なレイヤによって用いられるということである。したがって、画像に基づく工程を用いる際の全体で要求されるメモリは低くてもよい。出力（出力、出力マーキング、追加出力を含む）のためにアクセスユニット（ＡＵ）に基づく工程２１２４を用いることの利点のひとつは、出力プロセスが単純になるということである。
図６４はハイブリッド復号化画像バッファ（ＤＰＢ）１１６動作の方法２２００を示すフローチャートである。当該方法２２００は、第２の電子装置１０２における復号装置２１０４の一部としての復号化画像バッファ（ＤＰＢ）１１６によって行われてもよい。ある構成では、当該方法２２００はハイブリッド復号化画像バッファ（ＤＰＢ）動作モジュール２１２０によって行われてもよい。復号化画像バッファ（ＤＰＢ）１１６は現在の画像の第一スライスヘッダーの解析を始める（２２０２）。復号化画像バッファ（ＤＰＢ）１１６は、ハイブリッド復号化画像バッファ（ＤＰＢ）動作のどの工程が画像に基づくか、どの工程がアクセスユニット（ＡＵ）に基づくかを決定する（２２０４）。
復号化画像バッファ（ＤＰＢ）１１６は、復号化画像バッファ（ＤＰＢ）１１６から、（出力せずに）削除する（２２０６）。上記削除によって、現在の画像を復号化する前に復号化画像バッファ（ＤＰＢ）１１６から画像を削除する。復号化画像バッファ（ＤＰＢ）１１６は、復号化画像バッファ（ＤＰＢ）１１６から画像出力（バンピング）する（２２０８）。画像出力（バンピング）は、符号化画像バッファ（ＣＰＢ）削除時間（coded picture buffer (CPB) removal time）に復号化画像バッファ（ＤＰＢ）１１６から画像を出力することをいう。いくつかの構成では、「バンピング」は復号化画像バッファ（ＤＰＢ）１１６からひとつ以上の画像を出力することを指すために用いてもよい。したがって、「バンピング」と「出力」は同じように用いられる。
復号化画像バッファ（ＤＰＢ）１１６は、復号化画像バッファ（ＤＰＢ）１１６内の現在の画像を復号化（２２１０）し保存する。復号化画像バッファ（ＤＰＢ）１１６は、復号化画像バッファ（ＤＰＢ）１１６に保存された現在の復号化画像をマーキングする（２２１２）。例えば、復号化画像バッファ（ＤＰＢ）１１６は、「参照用に不使用」、「参照用に使用」、「出力要」、や「出力不要」などと現在の復号化画像をマーキングする（２１２２）。復号化画像バッファ（ＤＰＢ）１１６は、復号化画像バッファ（ＤＰＢ）１１６から別の画像出力（追加バンピング）も行ってもよい（２２１４）。いくつかの構成では、復号化画像バッファ（ＤＰＢ）１１６からの画像の削除／バンピングは、ある条件が満たされるまで行われてもよい。
図６５はハイブリッド復号化画像バッファ（ＤＰＢ）１１６の動作の他の方法２３００を示すフローチャートである。例えば、図６５の上記方法２３００は、ハイブリッド復号化画像バッファ（ＤＰＢ）１１６の好ましい動作方法である。上記方法２３００は、電子装置１０２上の復号装置２１０４の一部としての復号化画像バッファ（ＤＰＢ）１１６によって行われてもよい。一構成において、上記方法２３００は、ハイブリッド復号化画像バッファ（ＤＰＢ）動作モジュール２１２０によって行われてもよい。上記復号化画像バッファ（ＤＰＢ）１１６は、現在の画像の第１スライスヘッダーの解析を開始してもよい（２３０２）。「ハイブリッド」という語は、上記復号化画像バッファ（ＤＰＢ）１１６のいくつかの動作工程が画像に基づいて行われ、上記復号化画像バッファ（ＤＰＢ）１１６のいくつかの動作工程がアクセスユニット（ＡＵ）に基づいて行われることを指す。上記復号化画像バッファ（ＤＰＢ）１１６は、上記復号化画像バッファ（ＤＰＢ）１１６から、（出力せずに）画像に基づく削除をしてもよい（２３０４）。上記復号化画像バッファ（ＤＰＢ）１１６は、上記復号化画像バッファ（ＤＰＢ）１１６から、アクセスユニット（ＡＵ）に基づく画像出力（バンピング）を行ってもよい（２３０６）。上記復号化画像バッファ（ＤＰＢ）１１６は、上記復号化画像バッファ（ＤＰＢ）において、画像に基づいて現在の画像を復号化し保存してもよい（２３０８）。
上記復号化画像バッファ（ＤＰＢ）１１６は、上記復号化画像バッファ（ＤＰＢ）において、画像に基づいて現在の復号化画像のマーキングを行ってもよい（３１０）。上記復号化画像バッファ（ＤＰＢ）１１６によって行われる上記マーキングする工程は、さらに参照マーキング工程および出力マーキング工程の両方を含んでもよい。本明細書では、画像が「参照用に不使用」または「参照用に使用」であるとマーキングすることを、参照マーキング工程と称する。上記復号化処理動作中のどの時点においても、上記復号化画像バッファ（ＤＰＢ）１１６における復号化画像には、「参照用に不使用」、「短期参照用に使用」、または「長期参照用に使用」のいずれか一つのみをマーキングすることができる。これらのマーキングのうちの一つを画像に割り当てるということは、上記画像に割り当てられている他のマーキングを削除するということになる。画像が「参照用に使用」とマーキングされたという場合、これは、その画像が「短期参照用に使用」もしくは「長期参照用に使用」とマーキングされたことをまとめて指すが、その両方としてマーキングされることはない。本明細書では、画像が「出力要」または「出力不要」であることをマーキングすることを、出力マーキング工程と称する。
上記復号化画像バッファ（ＤＰＢ）１１６は、上記参照マーキング工程および上記出力マーキング工程が画像に基づきまたはアクセスユニット（ＡＵ）に基づき行われるように動作してもよい。一般的に、これら二つのマーキングする工程のすべての可能な組み合わせ（通常は四つの組み合わせ）は、個々に、画像に基づきまたはアクセスユニット（ＡＵ）に基づき行われる。しかしながら、上記参照マーキング工程を画像に基づいて行い、上記出力マーキング工程をアクセスユニット（ＡＵ）に基づいて行うことが好ましい。
上記復号化画像バッファ（ＤＰＢ）１１６は、アクセスユニット（ＡＵ）に基づいて現在の復号化画像の出力をマーキングしてもよい（２３１２）。上記復号化画像バッファ（ＤＰＢ）１１６は、上記復号化画像バッファ（ＤＰＢ）１１６から、アクセスユニット（ＡＵ）に基づいて他の画像出力（追加バンピング）を行ってもよい（２３１４）。いくつかの構成においては、上記復号化画像バッファ（ＤＰＢ）１１６からの画像の削除／バンピングを、所定の条件を満たすまで繰り返してもよい。
いくつかのアプローチにおいて、上記スライスセグメントヘッダーのフラグに対して、ビットストリーム上の適合制約（bitstream conformance constraints）が必要であってもよい。いくつかの場合において、上記制約は、同じアクセスユニット（ＡＵ）に属する画像にわたるフラグに適用されてもよい。例えば、ビットストリーム上の適合制約に従うために、pic_output_flagおよび／またはno_output_of_prior_pics_flagというフラグが必要であってもよい。例えば、ＪＣＴＶＣ−Ｌ１００３、ＪＣＴＶＣ−Ｍ１００８、およびＪＣＴ３Ｖ−Ｄ１００４のそれぞれには、pic_output_flagおよびno_output_of_prior_pics_flagを用いた上記スライスセグメントヘッダーにおける信号化が記載されている。さらに、PicOutputFlag、NoRaslOutputFlag、およびNoOutputOfPriorPicsFlag等のフラグは、上記シンタックス要素およびＮＡＬユニットタイプに基づいて生成することができる。
ＪＣＴＶＣ−Ｌ１００３、ＪＣＴＶＣ−Ｍ１００８、およびＪＣＴ３Ｖ−Ｄ１００４は、ＨＥＶＣ、ＳＨＶＣ、およびＭＶ−ＨＥＶＣに対するＤＰＢについての記載も含んでいる。ＪＣＴＶＣ−Ｍ１００８ ＳＨＶＣ Ｄｒａｆｔ Ｔｅｘｔ １では、ＨＥＶＣのスケーラブル拡張用のテキストドラフトが提示されている。ＪＣＴ３Ｖ−Ｄ１００４ ＭＶ−ＨＥＶＣ Ｄｒａｆｔ Ｔｅｘｔ ４では、ＨＥＶＣのマルチビュー拡張用のテキストドラフトが記載されている。
ＪＣＴＶＣ−Ｌ１００３、ＪＣＴＶＣ−Ｍ１００８、および／またはＪＣＴ３Ｖ−Ｄ１００４に従って、上記映像符号化ビットストリームは、一般にネットワーク抽象化レイヤ（ＮＡＬ）ユニットと呼ばれる論理データパケットに置かれるシンタックス構造を含んでもよい。各ＮＡＬユニットは、関連データペイロードの目的を識別するための２バイトのＮＡＬユニットヘッダー（例えば１６ビット）等のＮＡＬユニットヘッダーを含む。例えば、各符号化スライス（および／または画像）は、一または複数のスライス（および／または画像）ＮＡＬユニットにおいて符号化されてもよい。他のＮＡＬユニットは、例えば、付加エンハンスメント情報、一時的サブレイヤアクセス（ＴＳＡ）画像の符号化スライス、段階的な一時的サブレイヤアクセス（ＳＴＳＡ）画像の符号化スライス、非ＴＳＡトレイリング画像（trailing picture）の符号化スライス、非ＳＴＳＡトレイリング画像の符号化スライス、区切られたリンクアクセス画像（broken link access picture）の符号化スライス、瞬時復号化更新画像の符号化スライス、クリーンランダムアクセス画像の符号化スライス、復号可能リーディング画像の符号化スライス、廃棄タグ付き画像、映像パラメータセット、シーケンスパラメータセット、画像パラメータセット、アクセスユニットデリミタ、シーケンスの終端、ビットストリームの終端、フィラーデータおよび／またはシーケンスエンハンスメント情報メッセージの符号化スライス等の他のデータカテゴリー用に含まれていてもよい。下記表（７）は、ＮＡＬユニットコードおよびＮＡＬユニットタイプクラスの一例を示す。他のＮＡＬユニットタイプも任意に含まれていてもよい。
なお、表（７）に記載の上記ＮＡＬユニットのＮＡＬユニットタイプ値は、再配置および再割り当てされてもよい。また、更なるＮＡＬユニットタイプが追加または削除されてもよい。
イントラランダムアクセスポイント（ＩＲＡＰ）画像は、下記表（７）に示す通り、各映像符号化レイヤＮＡＬユニットがBLA_W_LPからRSV_IRAP_VCL23を含む範囲のnal_unit_typeを持つ符号化画像である。ＩＲＡＰ画像は、イントラ符号化（Ｉ）スライスのみを含む。
瞬時復号化更新（ＩＤＲ）画像は、表（７）に示す通り、各映像符号化レイヤＮＡＬユニットがIDR_W_RADLまたはIDR_N_LPに等しいnal_unit_typeを持つＩＲＡＰ画像である。瞬時復号化更新（ＩＤＲ）画像は、Ｉスライスのみを含み、復号化順序においてビットストリームの一番目の画像であってもよく、ビットストリームにおいて後の方に現れてもよい。
各ＩＤＲ画像は、復号化順序における符号化映像シーケンス（ＣＶＳ）の一番目の画像である。区切られたリンクアクセス（ＢＬＡ）画像は、表（７）に示す通り、各映像符号化レイヤＮＡＬユニットがBLA_W_LP、BLA_W_RADL、またはBLA_N_LPに等しいnal_unit_typeを持つＩＲＡＰ画像である。
ＢＬＡ画像は、Ｉスライスのみを含み、復号化順序においてビットストリームの一番目の画像であってもよく、ビットストリームにおいて後の方に現れてもよい。各ＢＬＡ画像は新しい符号化映像シーケンスを開始し、上記復号化処理においてＩＤＲ画像と同じ効果がある。しかしながら、ＢＬＡ画像は、非空の参照画像セットを特定するシンタックス要素を含む。
Figure 2021093729
下記の表（８）から、上記ＮＡＬユニットヘッダーシンタックスは２バイトのデータ、つまり、１６ビットを含んでもよい。一番目のビットは、ＮＡＬユニットの開始時において常にゼロに設定される「forbidden_zero_bit」であってもよい。次の６ビットは、上記表（７）に示す通り、ＮＡＬユニットに含まれるローバイトシーケンスペイロード（「ＲＢＳＰ」）のデータ構造のタイプを特定する「nal_unit_type」であってもよい。次の６ビットは、レイヤの識別子を特定する「nuh_layer_id」であってもよい。いくつかの場合において、代わりに、これらの６ビットは「nuh_reserved_zero_6bits」として特定されてもよい。上記nuh_reserved_zero_6bitsは、基準の基礎仕様において０に等しくてもよい。スケーラブル映像符号化および／またはシンタックス拡張において、nuh_layer_idは、この特定のＮＡＬユニットがこれらの６ビットの値によって識別されたレイヤに属していることを特定してもよい。
次のシンタックス要素は「nuh_temporal_id_plus1」であってもよい。上記nuh_temporal_id_plus1 minus 1は、ＮＡＬユニットの一時的識別子を特定してもよい。変数の一時的識別子TemporalIdは、TemporalId = nuh_temporal_id_plus1 - 1のように特定されてもよい。上記一時的識別子TemporalIdは、一時的サブレイヤを識別するのに使われる。変数HighestTidは、復号化されるべき最上位の一時的サブレイヤを識別する。
Figure 2021093729
下記の表（９）は、典型的なシーケンスパラメータセット（ＳＰＳ）のシンタックス構造を示す。pic_width_in_luma_samplesは、輝度サンプル（luma samples）のユニットにおける各復号化画像の幅を特定する。pic_width_in_luma_samplesは、０に等しいということはない。pic_height_in_luma_samplesは、輝度サンプルのユニットにおける各復号化画像の高さを特定する。pic_height_in_luma_samplesは、０に等しいということはない。
sps_max_sub_layers_minus1 plus 1は、ＳＰＳを参照する各ＣＶＳに存在してもよい一時的サブレイヤの最大数を特定する。sps_max_sub_layers_minus1の値は、０から６を含む範囲である。
フラグsps_sub_layer_ordering_info_present_flagが１に等しい場合は、シンタックス要素sps_max_dec_pic_buffering_minus1[ i ]、sps_max_num_reorder_pics[ i ]、およびsps_max_latency_increase_plus1[ i ]が、sps_max_sub_layers_minus1 + 1のサブレイヤに対して存在していることを特定する。sps_sub_layer_ordering_info_present_flagが０に等しい場合は、sps_max_dec_pic_buffering_minus1[ sps_max_sub_layers_minus1 ]、sps_max_num_reorder_pics[ sps_max_sub_layers_minus1 ]、およびsps_max_latency_increase_plus1[ sps_max_sub_layers_minus1 ]の値がすべてのサブレイヤに適用されることを特定する。
sps_max_dec_pic_buffering_minus1[ i ] plus 1は、HighestTidがｉに等しい場合の、画像保存バッファのユニットにおけるＣＶＳについての上記復号化画像バッファの最大必要サイズを特定する。sps_max_dec_pic_buffering_minus1[ i ]の値は、０以上MaxDpbSize - 1以下の範囲であり、ここで、MaxDpbSizeは画像保存バッファのユニットにおける最大復号化画像バッファサイズを特定する。ｉが０よりも大きい場合、sps_max_dec_pic_buffering_minus1[ i ]はsps_max_dec_pic_buffering_minus1[ i - 1 ]以上である。sps_sub_layer_ordering_info_present_flagが０に等しく、よってsps_max_dec_pic_buffering_minus1[ i ]が０以上sps_max_sub_layers_minus1 - 1以下の範囲のｉに対して存在しない場合、sps_max_dec_pic_buffering_minus1[ sps_max_sub_layers_minus1 ]に等しいと推定される。
sps_max_num_reorder_pics[ i ]は、HighestTidがｉに等しい場合に、復号化順序ではＣＶＳの画像に先行し、出力順序ではその画像の後になる画像の最大許容数を示す。sps_max_num_reorder_pics[ i ]の値は、０以上sps_max_dec_pic_buffering_minus1[ i ]以下の範囲である。ｉが０よりも大きい場合、sps_max_num_reorder_pics[ i ]はsps_max_num_reorder_pics[ i - 1 ]以上であってもよい。sps_sub_layer_ordering_info_present_flagが０に等しく、よってsps_max_num_reorder_pics[ i ]が０以上sps_max_sub_layers_minus1 - 1以下の範囲のｉ用に存在しない場合、sps_max_num_reorder_pics[ sps_max_sub_layers_minus1 ]に等しいと推定される。
０に等しくないsps_max_latency_increase_plus1[ i ]は、HighestTidがｉに等しい場合に、出力順序ではＣＶＳの画像に先行し、復号化順序ではその画像の後になる画像の最大数を特定するSpsMaxLatencyPictures[ i ]の値を計算するために使用されてもよい。sps_max_latency_increase_plus1[ i ]が０に等しくない場合、SpsMaxLatencyPictures[ i]の値は以下の通り特定される：SpsMaxLatencyPictures[ i ] = sps_max_num_reorder_pics[ i ] + sps_max_latency_increase_plus1[ i ] - 1。sps_max_latency_increase_plus1[ i ]が０に等しい場合、対応する制限はない。
sps_max_latency_increase_plus1[ i ]の値は、０以上２３２−２以下の範囲である。sps_sub_layer_ordering_info_present_flagが０に等しく、よってsps_max_latency_increase_plus1[ i ]が０以上sps_max_sub_layers_minus1 - 1以下の範囲のｉ用に存在しない場合、sps_max_latency_increase_plus1[ sps_max_sub_layers_minus1 ]に等しいと推定される。
Figure 2021093729
さらに、ＪＣＴＶＣ−Ｌ１００３はＨＥＶＣ基準を記載する。例えば、pic_out_flagおよびno_output_of_prior_pics_flagに関する詳細が下記の表（１０）に記載されている。
Figure 2021093729
表（１０）において、ＩＤＲ、またはＪＣＴＶＣ−Ｌ１００３のアネックスＣにて特定されるように、ビットストリームにおける一番目の画像ではないＢＬＡ画像、の復号化の後、no_output_of_prior_pics_flagは上記復号化画像バッファ（ＤＰＢ）における先の復号化画像の出力に影響を及ぼす。
output_flag_present_flagが１に等しい場合は、pic_output_flagシンタックス要素が、関連するスライスヘッダー中に存在することを示す。output_flag_present_flagが０に等しい場合は、pic_output_flagシンタックス要素が、関連するスライスヘッダー中には存在しないことを示す。pic_output_flagは、ＪＣＴＶＣ−Ｌ１００３のアネックスＣで特定されるように復号化画像の出力および削除の処理に影響を及ぼす。pic_output_flagが存在しない場合、１に等しいと推定される。
一般的な（ＪＣＴＶＣ−Ｌ１００３の８．１にあるような）復号化処理用に、PicOutputFlagは下記の様に設定される：
‐現在の画像がＲＡＳＬ画像であり、関連するＩＲＡＰ画像のNoRaslOutputFlagが１に等しい場合、PicOutputFlagは０に等しく設定されてもよい。
‐そうでない場合、PicOutputFlagはpic_output_flagに等しく設定されてもよい。
加えて、利用できない参照画像を生成する一般的な（ＪＣＴＶＣ−Ｌ１００３の８．３．３．１にあるような）復号化処理中に、生成した画像のPicOutputFlagの値を、ある条件下で０に等しく設定してもよい。
現在の画像がＩＲＡＰ画像の場合、下記の通りである：
‐現在の画像がＩＤＲ画像、ＢＬＡ画像、復号化順序でビットストリームの一番目の画像、または復号化順序でシーケンスＮＡＬユニットの終端に続く一番目の画像である場合、変数NoRaslOutputFlagは１に等しく設定されてもよい。
‐別の場合として、ＪＣＴＶＣ−Ｌ１００３にて特定されないある外部の手段を用いて、変数HandleCraAsBlaFlagを現在の画像用の値に設定する場合、変数HandleCraAsBlaFlagは上記外部の手段によって得られた値に等しく設定されてもよく、変数NoRaslOutputFlagはHandleCraAsBlaFlagに等しく設定されてもよい。
‐別の場合として、変数HandleCraAsBlaFlagは０に等しく設定されてもよく、変数NoRaslOutputFlagは０に等しく設定されてもよい。
上述したとおり、アクセスユニット（ＡＵ）とは、特定の分類規則に従って互いに関連し、復号化順序で連続し、同じ出力時間に関連するすべての符号化画像の映像符号化レイヤ（ＶＣＬ）ＮＡＬユニットおよびそれらの関連する非ＶＣＬ ＮＡＬユニットを含む、ネットワーク抽象化レイヤ（ＮＡＬ）ユニットのセットを指す。上記ベースレイヤは、すべてのＶＣＬ ＮＡＬユニットが０に等しいnuh_layer_idを持つレイヤである。符号化画像は、nuh_layer_idが特定の値であるＶＣＬ ＮＡＬユニットを含み、その画像のすべての符号化ツリーユニットを含む画像のコード化表現である。いくつかの場合において、符号化画像はレイヤ成分と呼ばれてもよい。画像に基づくまたはアクセスユニット（ＡＵ）に基づく工程の更なる詳細については、図６９および図７０に関連して下記に記載する。
いくつかの構成において、pic_output_flagおよび／またはno_output_of_prior_pics_flagに対するビットストリーム上の適合制約は、アクセスユニット（ＡＵ）の符号化画像に使われてもよい。加えて、３つの新しいアクセスユニット出力フラグ、つまり、ＡＵ出力フラグ（例えば、AuOutputFlag）、ＡＵによるＲＡＳＬ不出力フラグ（AU no RASL output flag）（例えば、AuNoRaslOutputFlag）、およびＡＵによる先行画像不出力フラグ（AU no output of prior pictures flag）（例えば、AuNoOutputOfPriorPicsFlag）が、様々なシンタックス要素の値およびＡＵの符号化画像用のＮＡＬユニットタイプに基づいて、ＡＵ用に生成されてもよい。いくつかの構成において、画像の出力および削除は、ＳＨＶＣおよびマルチビューＨＥＶＣ用のこれらの３つのフラグ（例えば、AuOutputFlag、AuNoRaslOutputFlag、およびAuNoOutputOfPriorPicsFlag）に基づいて行われてもよい。
例えば、ＨＥＶＣ拡張用のビットストリーム上の適合制約が、本明細書におけるシステムおよび方法において記載されているように従われてもよい。特に、ビットストリーム上の適合制約は、ＳＨＶＣビットストリームに適用されてもよい。加えて、ビットストリーム上の適合制約は、ＭＶ−ＨＥＶＣビットストリームに適用されてもよい。
一構成において、スライスセグメントヘッダーシンタックス要素pic_output_flagが存在する場合、その値が、アクセスユニット（ＡＵ）における符号化画像のすべてのスライスセグメントヘッダーにおいて同じであることが必要であってもよい。他の構成において、スライスセグメントヘッダーシンタックス要素pic_output_flagが存在する場合、その値が、符号化画像が同じＮＡＬユニットタイプである場合にアクセスユニット（ＡＵ）における符号化画像のすべてのスライスセグメントヘッダーにおいて同じであってもよい。
一構成において、nuh_layer_idの値が対象レイヤのnuh_layer_idに等しいスライスセグメントに対するスライスセグメントヘッダーシンタックス要素pic_output_flagが存在する場合、その値が、アクセスユニット（ＡＵ）におけるそのような符号化画像のすべてのスライスセグメントヘッダーにおいて同じであってもよい。他の構成において、nuh_layer_idの値が対象レイヤのnuh_layer_idに等しくないスライスセグメントに対するスライスセグメントヘッダーシンタックス要素pic_output_flagが存在する場合、その値が、アクセスユニット（ＡＵ）におけるそのような符号化画像のすべてのスライスセグメントヘッダーにおいて０であってもよい。
一構成において、対象レイヤは、ＪＣＴＶＣ−Ｌ１００３、ＪＣＴＶＣ−Ｍ１００８、またはＪＣＴ３Ｖ−Ｄ１００４に規定されるとおり、レイヤセット、対象レイヤセット、または出力レイヤセットに属するレイヤであってもよい。他の構成において、対象レイヤは復号化されるべきレイヤであってもよい。さらに他の構成において、対象レイヤは、復号化および出力されるべきレイヤであってもよい（表示されるかそうでなければ出力される）。
いくつかの構成において、スライスセグメントヘッダーシンタックス要素no_output_of_prior_pics_flagが存在する場合、その値が、アクセスユニット（ＡＵ）における符号化画像のすべてのスライスセグメントヘッダーにおいて同じであってもよい。他の構成において、スライスセグメントヘッダーシンタックス要素no_output_of_prior_pics_flagが存在する場合、その値が、符号化画像が同じＮＡＬユニットタイプである場合にアクセスユニット（ＡＵ）における符号化画像のすべてのスライスセグメントヘッダーにおいて同じであってもよい。一構成において、nuh_layer_idの値が対象レイヤのnuh_layer_idに等しいスライスセグメントに対するスライスセグメントヘッダーシンタックス要素no_output_of_prior_pics_flagが存在する場合、その値が、アクセスユニット（ＡＵ）におけるそのような符号化画像のすべてのスライスセグメントヘッダーにおいて同じであってもよい。
ある構成において、上記シンタックス要素pic_output_flagおよび／またはno_output_of_prior_pics_flagは、nuh_layer_id > ０の時に信号化されなくてもよい。この場合、nuh_layer_id > ０のレイヤの値は、０に等しいnuh_layer_idのそれらの信号化された値に等しいと推定される。
いくつかの構成においては、AuOutputFlagおよびAuNoRaslOutputFlag等の追加のフラグを用いてもよい。上記フラグAuOutputFlagおよびAuNoRaslOutputFlagは多数のアプローチに従って得られてもよい。一アプローチまたは構成において、２つのフラグAuOutputFlagおよびAuNoRaslOutputFlagが生成され、ＤＰＢの動作に使用されてもよい。ＡＵにおけるすべての画像に対してPicOutputFlagが１に等しい場合、AuOutputFlagは１に等しく設定されてもよい。そうではない場合、AuOutputFlagは０に等しく設定されてもよい。
他のアプローチにおいて、ＡＵにおける少なくとも一つの画像に対してPicOutputFlagが１に等しい場合、AuOutputFlagは１に等しく設定されてもよい。そうではない場合、AuOutputFlagは０に等しく設定されてもよい。したがって、この場合、ＡＵにおけるすべての画像に対してPicOutputFlagが０に等しい場合、AuOutputFlagは０に等しく設定されてもよい。
更に他のアプローチにおいて、ＡＵにおけるすべての対象出力レイヤに属する画像に対するPicOutputFlagが１に等しい場合、AuOutputFlagは１に等しく設定されてもよい。そうではない場合、AuOutputFlagは０に等しく設定されてもよい。
更に他のアプローチにおいて、ＡＵにおける少なくとも一つの対象出力レイヤに属する画像に対してPicOutputFlagが１に等しい場合、AuOutputFlagは１に等しく設定されてもよい。そうではない場合、AuOutputFlagは０に等しく設定されてもよい。
一アプローチにおいて、ＡＵにおけるすべての画像に対してNoRaslOutputFlagが１に等しい場合、AuNoRaslOutputFlagは１に等しく設定されてもよい。そうではない場合、AuNoRaslOutputFlagは０に等しく設定されてもよい。
他のアプローチにおいて、ＡＵにおける少なくとも一つの画像に対してNoRaslOutputFlagが１に等しい場合、AuNoRaslOutputFlagは１に等しく設定されてもよい。そうではない場合、AuNoRaslOutputFlagは０に等しく設定されてもよい。したがって、この場合、ＡＵにおけるすべての画像に対してNoRaslOutputFlagが０に等しい場合、AuNoRaslOutputFlagは０に等しく設定されてもよい。
更に他のアプローチにおいて、ＡＵにおけるすべての対象出力レイヤに属する画像に対するNoRaslOutputFlagが１に等しい場合、AuNoRaslOutputFlagは１に等しく設定されてもよい。そうではない場合、AuNoRaslOutputFlagは０に等しく設定されてもよい。
更に他のアプローチにおいて、ＡＵにおける少なくとも一つの対象出力レイヤに属する画像に対してNoRaslOutputFlagが１に等しい場合、AuNoRaslOutputFlagは１に等しく設定されてもよい。そうではない場合、AuNoRaslOutputFlagは０に等しく設定されてもよい。
上述のアプローチおよび構成のいくつかにおいて、PicOutputFlagの代わりにAuOutputFlagを使ってＤＰＢが動作してもよい。加えて、NoRaslOutputFlagの代わりにAuNoRaslOutputFlagを使ってＤＰＢが動作してもよい。
本発明のシステムおよび方法において、AuOutputFlagやAuNoRaslOutputFlag等のＡＵ出力フラグを使用する例を、下記リスト１Ａおよびリスト２Ａに示す。また、下記リスト１、リスト１Ａ、リスト２、およびリスト２Ａに記載の通り、ＡＵ出力フラグAuNoOutputOfPriorPicsFlagがＤＰＢの動作用に生成および使用されてもよい。
本発明のシステムおよび方法は、規格の変更によって実施されてもよい。下記リスト１は、本発明のシステムおよび方法に適合するように変更されるＪＣＴＶＣ−Ｌ１００３のセクションを示す。
リスト１
リスト１
Figure 2021093729
Figure 2021093729
Figure 2021093729
Figure 2021093729
Figure 2021093729
上記のリスト１において、ＰＳＢは画像保存バッファ（picture storage buffer）を指す。ＤＰＢフルネスは、復号化画像バッファ（ＤＰＢ）１１６のフルネスを記す変数を指す。
下記のリスト１Ａは、本発明のシステムおよび方法を可能にするためのリスト１のセクションC.3.2へのもう一つのアプローチを提供する。いくつかの構成では、リスト１Ａは、JCTVC-L1003のセクションC.3.2に対する変更を表すだけである。リスト１Ａは、上記のように定義したフラグAuNoOutputOfPriorPicsFlagとAuNoRaslOutputFlagを用いてもよい。
リスト１A
リスト１Ａ
Figure 2021093729
Figure 2021093729
Figure 2021093729
下記のリスト２は、本発明のシステムおよび方法を包含するために変更されるJCTVC-L1008のセクションを提供する。
リスト２
リスト２
Figure 2021093729
Figure 2021093729
Figure 2021093729
Figure 2021093729
Figure 2021093729
Figure 2021093729
Figure 2021093729
下記のリスト２Ａは、本発明のシステムおよび方法を可能にするためのリスト２のセクションF.13.5.2.2へのもう一つのアプローチを提供する。いくつかの構成では、リスト２Ａは、JCTVC-L1008のセクションF.13.5.2.2に対する変更を表すだけである。リスト２Ａは、上記のように定義したフラグAuNoOutputOfPriorPicsFlagとAuNoRaslOutputFlagを用いてもよい。
リスト２Ａ
リスト２Ａ
Figure 2021093729
Figure 2021093729
Figure 2021093729
或る構成において、上記のリスト１、リスト１Ａ、リスト２、およびリスト２Ａで提案されているテキストにおける"current picture"は、全て、"current decoded picture"に置き換えてもよい。
下記のリスト３は、本発明のシステムおよび方法を包含するための復号化を行う付加的なセクションを提供する。リスト３は、本発明のシステムおよび方法を包含するために変更されるJCTVC-L1003（つまり、HEVC規格バージョン３４）のセクションを提供する。
リスト３
リスト３
Figure 2021093729
さまざまな工程が画像に基づく、またはアクセスユニットに基づく画像に基づくハイブリッド復号化画像バッファ（ＤＰＢ）１１６を定義するのに、多くの異なる変形例が可能である。
Figure 2021093729
Figure 2021093729
Figure 2021093729
Figure 2021093729
Figure 2021093729
図６６は、復号装置２４０４の一構成を示すブロック図である。復号装置２４０４は電子装置２４０２に含まれていてもよい。例えば、復号装置２４０４は、高効率映像符号化（HEVC）復号装置であってもよい。復号装置２４０４および／または復号装置２４０４に含まれているものとして示された一または複数の要素は、ハードウェアで実施してもよいし、ソフトウェアで実施してもよいし、それらの組み合わせで実施してもよい。復号装置２４０４は、復号用のビットストリーム２４１４（例えば、ビットストリーム２４１４に含まれる一または複数の符号化画像）を受け取ってもよい。いくつかの構成では、受け取られたビットストリーム２４１４は、受け取られたオーバーヘッド情報（例えば、受け取られたスライスヘッダー）、受け取られたＰＰＳ、受け取られたバッファ記述情報などを含んでもよい。ビットストリーム２４１４に含まれた符号化画像は、一または複数の符号化参照画像および／または一または複数の他の符号化画像を含んでいてもよい。
（ビットストリーム２４１４に含まれる上記一または複数の符号化画像内の）受け取られたシンボルは、エントロピー復号モジュール４５４によってエントロピー復号化されて動き情報信号４５６と量子化、縮小化、および／または変形係数４５８とを生成することができる。
動き情報信号４５６は、動き補償モジュール４６０におけるフレームメモリ４６４からの参照フレーム信号４８４の一部と結び付いてもよく、それによってフレーム間予測信号４６８を生成してもよい。量子化、縮小化、および／または変形係数４５８は、逆モジュール４６２によって逆に量子化、縮小化、逆に変形し、それによって復号化残余信号４７０を生成してもよい。復号化残余信号４７０を予測信号４７８に加えて、復号信号４７２を生成してもよい。予測信号４７８は、上記フレーム間予測信号４６８、またはフレーム内予測モジュール４７４によって生成されるフレーム内予測信号４７６のいずれかから選ばれる信号であってもよい。いくつかの構成では、この信号選択はビットストリーム２４１４に基づいて（例えば、制御されて）いる。
フレーム内予測信号４７６は、結合信号４７２（例えば、現在のフレーム内の）から前回復号化された情報から予測してもよい。結合信号４７２は、脱ブロッキングフィルタ４８０でフィルタしてもよい。その結果生成されるフィルタ後信号４８２をフレームメモリ４６４に書き込んでもよい。その結果生成されるフィルタ後信号４８２は復号化画像を含んでいてもよい。
フレームメモリ４６４は、以下に説明する復号化画像バッファ（ＤＰＢ）２４１６を含んでいてもよい。復号化画像バッファ（ＤＰＢ）２４１６は、ハイブリッド復号化画像バッファ（ＤＰＢ）１１６動作が可能であってもよい。復号化画像バッファ（ＤＰＢ）２４１６は、短期または長期参照フレームとして維持することができる一または複数の復号化画像を含んでいてもよい。フレームメモリ４６４は、復号化された画像に対応するオーバーヘッド情報を含んでいてもよい。例えば、フレームメモリ４６４は、スライスヘッダー、映像パラメータセット（ＶＰＳ）情報、シーケンスパラメータセット（ＳＰＳ）情報、画像パラメータセット（ＰＰＳ）情報、サイクルパラメータ、バッファ記述情報等を含んでもよい。これらの情報の一または複数を、符号化装置（例えば、符号化装置２１０８、オーバーヘッドシグナリングモジュール２１１２）から信号化してもよい。
図６７Ａは、映像符号化のために、エンハンスメントレイヤとベースレイヤを用い、当該エンハンスメントレイヤとベースレイヤに異なる復号化画像バッファ（ＤＰＢ）５１ａ−ｂと異なるハイブリッド復号化画像バッファ（ＤＰＢ）動作モジュール５２０ａ−ｂとを用いる様子を示すブロック図である。第一電子装置５０２ａと第二電子装置５０２ｂを示す。第一電子装置５０２ａは、エンハンスメントレイヤ符号化装置５２６とベースレイヤ符号化装置５２８とを含む映像符号化装置５０８を備えていてもよい。第一電子装置５０２ａ内に含まれる要素のそれぞれ（つまり、エンハンスメントレイヤ符号化装置５２６とベースレイヤ符号化装置５２８）は、ハードウェアで実施しても、ソフトウェアで実施しても、あるいはその両者の組み合わせで実施してもよい。第一電子装置５０２ａは、入力画像２５０６を取得してもよい。いくつかの実施形態では、入力画像２５０６は、画像センサを用いたり、メモリから読み出したり、他の電子装置５０２から受け取ったりして、第一電子装置５０２ａ上に記録してもよい。
エンハンスメントレイヤ符号化装置５２６は、入力画像２５０６を符号化して符号化データを生成してもよい。例えば、エンハンスメントレイヤ符号化装置５２６は、一連の入力画像２５０６（例えば、映像）を符号化してもよい。符号化されたデータは、符号化エンハンスメントレイヤ映像ビットストリーム５３０に含まれてもよい。エンハンスメントレイヤ符号化装置５２６は、入力画像２５０６に基づいて、オーバーヘッド信号を生成してもよい。
エンハンスメントレイヤ映像復号装置５３４は、復号化画像バッファ（ＤＰＢ）５１６ａとハイブリッド復号化画像バッファ（ＤＰＢ）動作モジュール５２０ａを含んでもよい。同様に、ベースレイヤ復号装置５３６は、復号化画像バッファ（ＤＰＢ）５１６ｂとハイブリッド復号化画像バッファ（ＤＰＢ）動作モジュール５２０ｂを含んでもよい。
ベースレイヤ符号化装置５２８も、入力画像２５０６を符号化してもよい。一つの構成では、エンハンスメントレイヤ符号化装置５２６に用いられたのと同じ入力画像２５０６が、ベースレイヤ符号化装置５２８に用いられてもよい。他の構成では、エンハンスメントレイヤ符号化装置５２６に用いられたのとは異なる（しかし類似した）入力画像２５０６が、ベースレイヤ符号化装置５２８に用いられてもよい。例えば、信号‐ノイズ比（ＳＮＲ）の拡張性（品質拡張性とも呼ぶ）のために、同じ入力画像２５０６が、エンハンスメントレイヤ符号化装置５２６とベースレイヤ符号化装置５２８の両方に用いられてもよい。他の例として、空間拡張性のため、ベースレイヤ符号化装置５２８は、間引きした画像を用いてもよい。さらに他の例では、マルチビュー拡張性のため、ベースレイヤ符号化装置５２８は、異なるビュー画像を用いてもよい。ベースレイヤ符号化装置５２８は、符号化ベースレイヤ映像ビットストリーム５３２に含まれる符号化データを生成してもよい。
符号化エンハンスメントレイヤ映像ビットストリーム５３０と符号化ベースレイヤ映像ビットストリーム５３２はそれぞれ、入力画像２５０６に基づく符号化データを含んでもよい。一例では、符号化エンハンスメントレイヤ映像ビットストリーム５３０と符号化ベースレイヤ映像ビットストリーム５３２は、符号化画像データを含んでもよい。いくつかの構成では、符号化エンハンスメントレイヤ映像ビットストリーム５３０および／または符号化ベースレイヤ映像ビットストリーム５３２は、シーケンスパラメータセット（ＳＰＳ）情報、画像パラメータセット（ＰＰＳ）情報、映像パラメータセット（ＶＰＳ）情報、スライスヘッダー情報等のオーバーヘッドデータを含んでもよい。
符号化エンハンスメントレイヤ映像ビットストリーム５３０が第二電子装置５０２ｂに供給されてもよい。同様に、符号化ベースレイヤ映像ビットストリーム５３２が第二電子装置５０２ｂに供給されてもよい。第二電子装置５０２ｂは映像復号装置２５０４を備えていてもよい。映像復号装置２５０４は、エンハンスメントレイヤ復号装置５３４とベースレイヤ復号装置５３６とを含んでいてもよい。一つの構成では、符号化ベースレイヤ映像ビットストリーム５３０はベースレイヤ復号装置５３６に復号化され、一方、符号化エンハンスメントレイヤ映像ビットストリーム５３０はエンハンスメントレイヤ復号装置５３６に復号化される。
一例では、符号化エンハンスメントレイヤ映像ビットストリーム５３０と符号化ベースレイヤ映像ビットストリーム５３２は、有線または無線で第二電子装置５０２ｂに送信されてもよい。いくつかの場合、この送信は、インターネット、ローカルエリア・ネットワーク（ＬＡＮ）、または機器間の通信を行う他の種類のネットワークなどのネットワークを介して行われる。なお、いくつかの構成では、符号化装置（つまり、エンハンスメントレイヤ符号化装置５２６とベースレイヤ符号化装置５２８）と復号装置２５０４（例えば、ベースレイヤ復号装置５３６とエンハンスメントレイヤ復号装置５３４）は、同じ電子装置５０２で実施されてもよい（つまり、第一電子装置５０２ａと第二電子装置５０２ｂは、一つの電子装置５０２の一部）。符号化装置と復号装置が同じ電子装置５０２で実施される例では、符号化エンハンスメントレイヤ映像ビットストリーム５３０と符号化ベースレイヤ映像ビットストリーム５３２は、映像復号装置２５０４にさまざまな方法で供給しうる。例えば、符号化エンハンスメントレイヤ映像ビットストリーム５３０と符号化ベースレイヤ映像ビットストリーム５３２は、映像復号装置２５０４に母線を介して供給されてもよいし、メモリに保存され、映像復号装置２５０４に読み出されてもよい。
映像復号装置２５０４は、符号化エンハンスメントレイヤ映像ビットストリーム５３０と符号化ベースレイヤ映像ビットストリーム５３２に基づいて、一または複数の復号化画像を生成してもよい。復号化画像２１１８（エンハンスメントレイヤ復号化画像５３８とベースレイヤ復号化画像５４０を含んでいてもよい）は、表示、再生、メモリへの保存、および／または他の機器への送信などをされてもよい。
一例では、復号化画像２１１８は、他の機器へ送信されるか、第一電子装置５０２ａへ戻されてもよい。復号化画像２１１８はまた、第二電子装置５０２ｂに保存されるか、あるいはその他のかたちで保持されてもよい。他の例では、第二電子装置５０２ｂは、復号化画像２１１８を表示してもよい。他の構成では、復号化画像２１１８は入力画像２５０６の諸要素を含んでもよい。当該諸要素は、ビットストリーム２１１４に加えられた符号化あるいは他の操作に応じて異なる性質を持つ。いくつかの構成では、復号化画像２１１８は、入力画像２５０６とは異なる解像度、フォーマット、仕様または他の性質を持つ画像ストリームに含まれてもよい。
図６７Ｂは、共有復号化画像バッファ（ＤＰＢ）５１６ｃと共有ハイブリッド復号化画像バッファ（ＤＰＢ）動作モジュール５２０ｃを、ベースレイヤとエンハンスメントレイヤ双方に用いることを示すブロック図である。図６７Ｂは、エンハンスメントレイヤ映像復号装置５３４とベースレイヤ復号装置５３６が復号化画像バッファ（ＤＰＢ）５１６ｃとハイブリッド復号化画像バッファ（ＤＰＢ）動作モジュール５２０ｃを共有すること以外は、図６７Ａと同じ要素を含む。
図６８は、ハイブリッド復号化画像バッファ（ＤＰＢ）１１６動作を示すタイミング図である。図６８のハイブリッド復号化画像バッファ（ＤＰＢ）１１６動作は、削除、保存、参照マーキングが画像に基づいて行われ、出力、出力マーキング、追加出力がアクセスユニット（ＡＵ）ベースで行われる、好ましい変形例の諸工程を示す。理想的な復号化画像バッファ（ＤＰＢ）１１６と仮想参照復号装置（ＨＲＤ）は、示されたさまざまな工程（例えば、削除６２１ａ‐ｂ、出力６２３、保存６２５ａ‐ｃ、マーキング６２７ａ‐ｃ、６２９および追加出力６３１）がすべて同時に行われるように動作する。これらの工程のシーケンスとタイミングオフセットは、個々の工程間に、説明のために描いたものである。復号装置間の出力タイミングの一致（output timing decoder conformance）のため、画像出力のタイミング（第一ビットの送出時間に対するタイミング）は、仮想参照復号装置（ＨＲＤ）と試験用復号装置（ＤＵＴ）の両方で、定められた遅れに到達するまでは同じである。したがって、図示されたタイミングオフセットは、ＨＲＤに対する定められた遅れを導入するＤＵＴに起こり得る。
第一エンハンスメントレイヤ（ＥＬ１）２６４２ａの復号化画像バッファ（ＤＰＢ）１１６、第二エンハンスメントレイヤ（ＥＬ２）２６４２ｂの復号化画像バッファ（ＤＰＢ）１１６、ベースレイヤ（ＢＬ）２６４４の復号化画像バッファ（ＤＰＢ）１１６を図示する。符号化画像バッファ（ＣＰＢ）削除時間２６４６を図示する。符号化画像バッファ（ＣＰＢ）削除時間２６４６の経過後、画像に基づく削除（出力なし）６２１ａが第二エンハンスメントレイヤ（ＥＬ２）２６４２ｂの復号化画像バッファ（ＤＰＢ）１１６によって行われ、画像に基づく削除（出力なし）６２１ｂがベースレイヤ（ＢＬ）２６４４の復号化画像バッファ（ＤＰＢ）１１６によって行われてもよい。タイミングオフセット後、アクセスユニット（ＡＵ）に基づく画像出力（バンピング（bumping））６２３が、ベースレイヤ（ＢＬ）２６４４の復号化画像バッファ（ＤＰＢ）１１６、第一エンハンスメントレイヤ（ＥＬ１）２６４２ａの復号化画像バッファ（ＤＰＢ）１１６、および第二エンハンスメントレイヤ（ＥＬ２）２６４２ｂの復号化画像バッファ（ＤＰＢ）１１６によって行われてもよい。
別のタイミングオフセット後の、現在の復号化画像関連プロセス６１３を図示する。画像に基づく保存工程６２５ａ‐ｃは、ベースレイヤ（ＢＬ）２６４４の復号化画像バッファ（ＤＰＢ）１１６、第一エンハンスメントレイヤ（ＥＬ１）２６４２ａの復号化画像バッファ（ＤＰＢ）１１６、および第二エンハンスメントレイヤ（ＥＬ２）２６４２ｂの復号化画像バッファ（ＤＰＢ）１１６によって行われてもよい。ベースレイヤ（ＢＬ）２６４４、第一エンハンスメントレイヤ（ＥＬ１）２６４２ａ、および第二エンハンスメントレイヤ（ＥＬ２）２６４２ｂの画像それぞれの復号化後、保存工程を行ってもよい。保存工程６２５はさらに細分してもよい。保存工程６２５において、復号化された画像は、空の保存バッファ内の復号化画像バッファ（ＤＰＢ）１１６内に保存され、復号化画像バッファ（ＤＰＢ）フルネスが一だけ増やされる。また、画像が復号化画像バッファ（ＤＰＢ）１１６から（出力なしに）削除されるときは、復号化画像バッファ（ＤＰＢ）フルネスが一だけ減らされる。同様に、画像が復号化画像バッファ（ＤＰＢ）１１６からはじき出される（bumped）とき（バンピング（bumping）中あるいは追加バンピング中）、復号化画像バッファ（ＤＰＢ）フルネスが一だけ減らされる。
復号化画像バッファ（ＤＰＢ）１１６は、異なる特徴を有する複数の復号化画像用に、別々に特定され管理されている複数の画像バッファを有してもよい。例えば、復号化画像バッファ（ＤＰＢ）１１６は、異なる解像度、異なる色深度（bit-depth）、および／または異なる色度を有する複数の復号化画像用に、別々に特定され管理されている複数の画像バッファを有してもよい。
復号化画像は、代わりに、復号化画像バッファ（ＤＰＢ）１１６内の複数の画像保存バッファの共通プールに保存されてもよい。例えば、二つの付加下位ケースを用いて、バンピング／削除プロセスおよびレベル定義に影響する復号化画像バッファ（ＤＰＢ）１１６のサイズ制限を決定してもよい。バイト基準の復号化画像バッファ（ＤＰＢ）１１６の制限では、解像度および／または色深度に基づいてサイズを考慮して復号化画像を保存してもよい。復号化画像バッファ（ＤＰＢ）１１６のサイズ制限は、復号化画像それぞれの解像度と色深度を考慮するバイト制限と定義できる。画像に基づく復号化画像バッファ（ＤＰＢ）１１６の制限では、復号化画像を保存してもよい（そして、画像バッファスロットを一つ占めると考えられる）。その場合、復号化画像バッファ（ＤＰＢ）１１６のサイズ制限は、復号化画像それぞれの解像度と色深度を考慮することなく、画像スロット数の制限と定義できる。
一つの構成では、復号化画像バッファ（ＤＰＢ）フルネスはレイヤごとに監視してもよい。例えば、レイヤごとに、復号化画像バッファ（ＤＰＢ）１１６のサイズ制限を信号化し、バンピング（bumping）を行ってもよい。それぞれのレイヤが独自の画像保存バッファを有している場合、変数ＤＰＢFullness[nuh_layer_id]を用いて、それぞれのレイヤの復号化画像バッファ（ＤＰＢ）フルネスを監視してもよい。nuh_layer_idと等しいレイヤＩＤ値を有するレイヤから画像が削除されると、変数ＤＰＢFullness[nuh_layer_id]がＤＰＢFullness[nuh_layer_id]-1に設定されてもよい（すなわち、ＤＰＢFullness[nuh_layer_id]が一だけ減らされてもよい）。この場合、当該画像は画像保存バッファＰＳＢ[nuh_layer_id]から削除された。
同様に、nuh_layer_idと等しいレイヤＩＤ値を有する現在復号化された画像が復号化画像バッファ（ＤＰＢ）１１６に保存されると、変数ＤＰＢFullness[nuh_layer_id]はＤＰＢFullness[nuh_layer_id]+1に設定される（すなわち、ＤＰＢFullness[nuh_layer_id]が一だけ増やされる）。この場合、当該画像は画像保存バッファＰＳＢ[nuh_layer_id]に保存された。
復号化画像バッファ（ＤＰＢ）フルネスはまた、出力レイヤセットごとに監視することもできる。その場合、出力レイヤセットごとに特定された制限に基づいて、復号化画像バッファ（ＤＰＢ）１１６のサイズ制限を信号化し、バンピング（bumping）を行ってもよい。ＤＰＢフルネス値は、試験用動作点（operation point under test）と関連付けられた出力レイヤセットごとに監視することができる。こうして、画像が上記出力レイヤセットに属するレイヤから削除されると、復号化画像バッファ（ＤＰＢ）フルネスの値が、DPBFullness=DPBFullness-1と、一だけ減らされてもよい。同様に、現在復号化された画像が復号化画像バッファ（ＤＰＢ）１１６に保存されると、復号化画像バッファ（ＤＰＢ）フルネスが、DPBFullness=DPBFullness+1と、一だけ増やされてもよい。
現在の復号化画像関連プロセス６１３のうち、マーキングプロセス６１１を図示する。マーキングプロセス６１１は、参照マーキング６２７ａ‐ｃと出力マーキング６２９を含む。保存工程６２５ａ‐ｃからのタイミングオフセット後、画像に基づく参照マーキング工程６２７ａ‐ｃが、ベースレイヤ（ＢＬ）２６４４の復号化画像バッファ（ＤＰＢ）１１６、第一エンハンスメントレイヤ（ＥＬ１）２６４２ａの復号化画像バッファ（ＤＰＢ）１１６、および第二エンハンスメントレイヤ（ＥＬ２）２６４２ｂの復号化画像バッファ（ＤＰＢ）１１６によって行われてもよい。別のタイミングオフセット後、アクセスユニット（ＡＵ）に基づく出力マーキング工程６２９が、ベースレイヤ（ＢＬ）２６４４の復号化画像バッファ（ＤＰＢ）１１６、第一エンハンスメントレイヤ（ＥＬ１）２６４２ａの復号化画像バッファ（ＤＰＢ）１１６、および第二エンハンスメントレイヤ（ＥＬ２）２６４２ｂの復号化画像バッファ（ＤＰＢ）１１６によって行われてもよい。現在の復号化画像関連プロセス６１３が終了すると、アクセスユニット（ＡＵ）に基づく画像出力（追加バンピング）工程６３１が、ベースレイヤ（ＢＬ）２６４４の復号化画像バッファ（ＤＰＢ）１１６、第一エンハンスメントレイヤ（ＥＬ１）２６４２ａの復号化画像バッファ（ＤＰＢ）１１６、および第二エンハンスメントレイヤ（ＥＬ２）２６４２ｂの復号化画像バッファ（ＤＰＢ）１１６によって行われてもよい。
図６９は、第二エンハンスメントレイヤ（ＥＬ２）９４２ｂが、ベースレイヤ（ＢＬ）９４４および第一エンハンスメントレイヤ（ＥＬ１）９４２ａより低い画像率を有する場合の、符号化画像およびアクセスユニット（ＡＵ）用のレイヤのネットワーク抽象化レイヤ（ＮＡＬ）ユニットのための構造およびタイミングを示すブロック図である。ＥＬ１符号化画像９５３ａの各ＮＡＬユニットを、第一エンハンスメントレイヤ（ＥＬ１）９４２ａに沿って図示する。ＥＬ２符号化画像９５３ｂの各ＮＡＬユニットを、第二エンハンスメントレイヤ（ＥＬ２）９４２ｂに沿って図示する。ベースレイヤ符号化画像９５３ｃの各ＮＡＬユニットを、ベースレイヤ（ＢＬ）９４４に沿って図示する。
時間ｔ１において、ＥＬ１符号化画像９５３ａの各ＮＡＬユニット、ＥＬ２符号化画像９５３ｂの各ＮＡＬユニット、ベースレイヤ符号化画像９５３ｃの各ＮＡＬユニットは、アクセスユニット（ＡＵ）９５５ａの一部である。時間ｔ２において、ＥＬ１符号化画像９５３ａの各ＮＡＬユニットとベースレイヤ符号化画像９５３ｃの各ＮＡＬユニットは、アクセスユニット（ＡＵ）９５５ｂの一部である。時間ｔ３において、ＥＬ１符号化画像９５３ａの各ＮＡＬユニット、ＥＬ２符号化画像９５３ｂの各ＮＡＬユニット、ベースレイヤ符号化画像９５３ｃの各ＮＡＬユニットは、アクセスユニット（ＡＵ）９５５ｃの一部である。時間ｔ４において、ＥＬ１符号化画像９５３ａの各ＮＡＬユニットとベースレイヤ符号化画像９５３ｃの各ＮＡＬユニットは、アクセスユニット（ＡＵ）９５５ｄの一部である。
図７０は、ベースレイヤ（ＢＬ）１０４４が、第一エンハンスメントレイヤ（ＥＬ１）１０４２ａおよび第二エンハンスメントレイヤ（ＥＬ２）１０４２ｂより低い画像率を有する場合の、符号化画像およびアクセスユニット（ＡＵ）用のレイヤのネットワーク抽象化レイヤ（ＮＡＬ）ユニットのための構造およびタイミングを示すブロック図である。ＥＬ１符号化画像１０５３ａの各ＮＡＬユニットを、第一エンハンスメントレイヤ（ＥＬ１）１０４２ａに沿って図示する。ＥＬ２符号化画像１０５３ｂの各ＮＡＬユニットを、第二エンハンスメントレイヤ（ＥＬ２）１０４２ｂに沿って図示する。ベースレイヤ符号化画像１０５３ｃの各ＮＡＬユニットを、ベースレイヤ（ＢＬ）１０４４に沿って図示する。
時間ｔ１において、ＥＬ１符号化画像１０５３ａの各ＮＡＬユニット、ＥＬ２符号化画像１０５３ｂの各ＮＡＬユニット、ベースレイヤ符号化画像１０５３ｃの各ＮＡＬユニットは、アクセスユニット（ＡＵ）１０５５ａの一部である。時間ｔ２において、ＥＬ１符号化画像１０５３ａの各ＮＡＬユニットとＥＬ２符号化画像１０５３ｂの各ＮＡＬユニットは、アクセスユニット（ＡＵ）１０５５ｂの一部である。時間ｔ３において、ＥＬ１符号化画像１０５３ａの各ＮＡＬユニット、ＥＬ２符号化画像１０５３ｂの各ＮＡＬユニット、ベースレイヤ符号化画像１０５３ｃの各ＮＡＬユニットは、アクセスユニット（ＡＵ）１０５５ｃの一部である。時間ｔ４において、ＥＬ１符号化画像１０５３ａの各ＮＡＬユニットとＥＬ１符号化画像１０５３ｂの各ＮＡＬユニットは、アクセスユニット（ＡＵ）１０５５ｄの一部である。
「コンピュータで読み取り可能な媒体」という用語は、コンピュータまたはプロセッサでアクセス可能なすべての入手可能な媒体を指す。本明細書での「コンピュータで読み取り可能な媒体」という用語は、非一時的で実体のあるコンピュータおよび／またはプロセッサで読み取り可能な媒体を示してもよい。コンピュータで読み取り可能な媒体またはプロセッサで読み取り可能な媒体の例として、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ‐ＲＯＭまたは他の光学ディスク記録装置、磁気ディスク記録装置または他の磁気記録装置、あるいは所望のプログラムコードを指示またはデータ構造のかたちで運搬または保存するのに使用でき、コンピュータまたはプロセッサでアクセス可能な他のすべての媒体を指す。本明細書において、ディスクは、コンパクトディスク（ＣＤ）、レーザーディスク（登録商標）、光学ディスク、デジタル多用途ディスク（ＤＶＤ）、フロッピーディスク、ブルーレイ(c)ディスクが挙げられるが、これらに限定されるものではない。ディスク（disk）は通常、データを磁気的に再生するものであり、ディスク（disc）はレーザを受けてデータを光学的に再生するものである。
なお、本明細書に記載された方法の一つまたは複数は、ハードウェアを用いて実施および／または実行してもよい。例えば、本明細書に記載された方法またはアプローチの一つまたは複数は、チップセット、ＡＳＩＣ、ＬＳＩ、または集積回路等を用いて実施および／または実現してもよい。
本明細書で開示された方法のそれぞれは、所望の方法を実現するための一または複数の工程または作用を含む。当該方法の複数の工程および／または複数の作用は、本願クレームの範囲から外れない限りにおいて、相互の交換および／または組み合わせて一つの工程にすることを行ってもよい。つまり、記載中の方法の適切な動作のために工程または作用を特定の順序にする必要があるのでない限り、特定の工程および／または作用の順序および／または仕様は、本願クレームの範囲から外れない限りにおいて、修正してもよい。
なお、本願クレームは、上記で説明した構成および要素そのものだけに限定されるものではない。本願クレームの範囲から外れない限りにおいて、本明細書に記載したシステム、方法、および装置の配置、動作、および詳細に対して、さまざまな修正、変化、変形を加えてよい。
＜付記事項＞
本発明の一つの態様は、映像ビットストリームを復号化する方法であって、
（ａ）符号化映像シーケンスを表すベースビットストリーム（base bitstream）を受け取る工程と、
（ｂ）上記符号化映像シーケンスを表す複数のエンハンスメントビットストリーム（enhancement bitstreams）を受け取る工程と、
（ｃ）上記ベースビットストリームと上記複数のエンハンスメントビットストリームとに適用される複数のシンタックス要素を含む一つの映像パラメータセットを受け取る工程であって、当該映像パラメータセットは、映像パラメータセット拡張を示す一つのシンタックス要素を含む工程と、
（ｄ）上記エンハンスメントビットストリームのうち少なくとも一つと関連している複数のシンタックス要素を含む上記映像パラメータセット拡張を受け取る工程と、
（ｅ）少なくとも一つの出力レイヤセットの変化を示す情報を含む出力レイヤセット変化メッセージを受け取る工程と、を含む方法を提供する。
本発明の一つの態様は、映像ビットストリームを復号化する方法であって、
（ａ）符号化映像シーケンスを表すベースビットストリームを受け取る工程と、
（ｂ）上記符号化映像シーケンスを表す複数のエンハンスメントビットストリームを受け取る工程と、
（ｃ）上記ベースビットストリームと上記複数のエンハンスメントビットストリームとに適用される複数のシンタックス要素を含む一つの映像パラメータセットを受け取る工程であって、当該映像パラメータセットは、映像パラメータセット拡張を示す一つのシンタックス要素を含む工程と、
（ｄ）上記複数のエンハンスメントビットストリームのうち少なくとも一つのための復号化画像バッファ用の複数の復号化画像バッファ関連パラメータを有する複数のシンタックス要素を含む上記映像パラメータセット拡張を受け取る工程と、を含む方法を提供する。
本発明の一つの態様は、映像符号化の方法であって、
現在の画像の第一スライスヘッダーの解析を開始する工程と、
復号化画像バッファ（ＤＰＢ）によって行われる工程のうち、どの工程が画像に基づくものであり、どの工程がアクセスユニット（ＡＵ）に基づくものかを決定する工程と、
上記ＤＰＢからの削除を行う工程と、
上記ＤＰＢからの画像出力を行う工程と、
上記ＤＰＢ内で現在の復号化画像を復号化および保存する工程と、
上記ＤＰＢ内で上記現在の復号化画像をマーキングする工程と、
上記ＤＰＢからの追加画像出力を行う工程と、を含む方法を提供する。
本発明の一つの態様は、映像符号化のために構成された電子装置であって、
プロセッサと、
上記プロセッサと電子的に通信するメモリとを備え、
上記メモリに保存された指示を処理することにより、
現在の画像の第一スライスヘッダーの解析の開始と、
復号化画像バッファ（ＤＰＢ）によって行われる工程のうち、どの工程が画像に基づくものであり、どの工程がアクセスユニット（ＡＵ）に基づくものかの決定と、
上記ＤＰＢからの削除と、
上記ＤＰＢからの画像出力と、
上記ＤＰＢ内での現在の復号化画像の復号化および保存と、
上記ＤＰＢ内での上記現在の復号化画像のマーキングと、
上記ＤＰＢからの追加画像出力と、を行うことができる、電子装置を提供する。
本発明の一つの態様は、映像を復号化する方法であって、
現在の画像を示す映像パラメータセット及びビットを含むビットストリームを受信する工程と、
上記現在の画像のスライスヘッダーの少なくとも一部を解析する工程と、
上記映像パラメータセット中の１つ以上のシンタックス要素に基づき、復号化画像バッファ（ＤＰＢ）からの削除の動作が画像ごとに実行されるべきであるか又はアクセスユニット（ＡＵ）ごとに実行されるべきであるかの第１の決定を実行する工程であって、アクセスユニットは、少なくともベースレイヤ及びエンハンスメントレイヤを含み、各レイヤは、画像を示す、工程と、
上記ＤＰＢからの画像出力の動作が画像ごとに実行されるべきであるか又はＡＵごとに実行されるべきであるかの、上記第１の決定とは別の第２の決定を実行する工程と、
上記削除の動作が画像ごとに実行されるべきであるか又はＡＵごとに実行されるべきであるかの上記第１の決定に従って、上記ＤＰＢからの上記削除の動作を実行する工程と、
上記画像出力の動作が画像ごとに実行されるべきであるか又はＡＵごとに実行されるべきであるかの上記第２の決定に従って、上記ＤＰＢからの上記画像出力の動作を実行する工程と、
上記ＤＰＢ中の現在の復号化画像の復号及び保存を実行する工程と、を含むことを特徴とする、方法を提供する。
本発明の一つの態様は、映像を復号化するための電子装置であって、
プロセッサと、上記プロセッサと電気的に接続されたメモリとを備え、
上記メモリに保存された指示を実行することにより、
現在の画像を示す映像パラメータセット及びビットを含むビットストリームを受信し、
上記現在の画像のスライスヘッダーの少なくとも一部を解析し、
上記映像パラメータセット中の１つ以上のシンタックス要素に基づき、復号化画像バッファ（ＤＰＢ）からの削除の動作が画像ごとに実行されるべきであるか又はアクセスユニット（ＡＵ）ごとに実行されるべきであるかの第１の決定を実行する工程であって、アクセスユニットは、少なくともベースレイヤ及びエンハンスメントレイヤを含み、各レイヤは、画像を示す、工程を実行し、
上記ＤＰＢからの画像出力の動作が画像ごとに実行されるべきであるか又はＡＵごとに実行されるべきであるかの、上記第１の決定とは別の第２の決定を実行し、
上記削除の動作が画像ごとに実行されるべきであるか又はＡＵごとに実行されるべきであるかの上記第１の決定に従って、上記ＤＰＢからの上記削除の動作を実行し、
上記画像出力の動作が画像ごとに実行されるべきであるか又はＡＵごとに実行されるべきであるかの上記第２の決定に従って、上記ＤＰＢからの上記画像出力の動作を実行し、
上記ＤＰＢ中の現在の復号化画像の復号及び保存を実行する、ことを特徴とする、電子装置を提供する。

Claims (12)

  1. 映像ビットストリームを復号化する方法であって、
    （ａ）符号化映像シーケンスを表すベースビットストリームを受け取る工程と、
    （ｂ）上記符号化映像シーケンスを表す複数のエンハンスメントビットストリームを受け取る工程と、
    （ｃ）上記ベースビットストリームと上記複数のエンハンスメントビットストリームとに適用される複数のシンタックス要素を含む一つの映像パラメータセットを受け取る工程であって、当該映像パラメータセットは、映像パラメータセット拡張を示す一つのシンタックス要素を含む工程と、
    （ｄ）上記エンハンスメントビットストリームのうち少なくとも一つと関連している複数のシンタックス要素を含む上記映像パラメータセット拡張を受け取る工程であって、上記複数のシンタックス要素が、上記映像ビットストリーム用に指定される出力レイヤセットの数を示す第１シンタックス要素を含む工程と、
    （ｅ）少なくとも一つの出力レイヤセットの変化を示す複数のシンタックス要素を受け取る工程と
    を含み、
    上記少なくとも一つの出力レイヤセットの変化を示す複数のシンタックス要素は、出力レイヤ用に指定される上記第１シンタックス要素によって示される、上記映像ビットストリーム用に指定される出力レイヤセットの数に加え、出力レイヤ用に指定される追加レイヤセットの数を示す第２シンタックス要素を含むことを特徴とする、方法。
  2. 少なくとも一つの出力レイヤセットの変化を示す上記複数のシンタックス要素は、上記映像パラメータセット拡張に含まれる、請求項１に記載の方法。
  3. 少なくとも一つの出力レイヤセットの変化を示す上記複数のシンタックス要素は、出力レイヤセット変化メッセージに含まれる、請求項１に記載の方法。
  4. 上記出力レイヤセット変化メッセージは、付加エンハンスメント情報（ＳＥＩ）メッセージである、請求項３に記載の方法。
  5. 上記出力レイヤセット変化メッセージは、上記少なくとも一つの出力レイヤセットのうちの一つを削除するシンタックスを含む、請求項３に記載の方法。
  6. 上記出力レイヤセット変化メッセージは、上記少なくとも一つの出力レイヤセットに出力レイヤセットを一つ追加するシンタックスを含む、請求項３に記載の方法。
  7. 上記出力レイヤセット変化メッセージは、上記少なくとも一つの出力レイヤセットのうちの一つの出力レイヤセットを変化させるシンタックスを含む、請求項３に記載の方法。
  8. 上記出力レイヤセット変化メッセージは、上記少なくとも一つの出力レイヤセットに出力レイヤセットを一つ追加するシンタックスを含む、請求項５に記載の方法。
  9. 上記出力レイヤセット変化メッセージは、上記少なくとも一つの出力レイヤセットのうちの一つの出力レイヤセットを変化させるシンタックスを含む、請求項８に記載の方法。
  10. 上記出力レイヤセット変化メッセージは、上記少なくとも一つの出力レイヤセットのうちの一つの出力レイヤセットを変化させるシンタックスを含む、請求項６に記載の方法。
  11. 上記出力レイヤセット変化メッセージは、上記少なくとも一つの出力レイヤセットのうちの一つを削除するシンタックスを含む、請求項７に記載の方法。
  12. 上記少なくとも一つの出力レイヤセットの変化を示す上記複数のシンタックス要素は、追加レイヤセットを識別する第３シンタックス要素と特定のレイヤが対象出力レイヤであるかを示すフラグとを含む、請求項１に記載の方法。
JP2021004337A 2013-04-07 2021-01-14 映像復号方法 Active JP7047146B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022046641A JP7303920B2 (ja) 2013-04-07 2022-03-23 映像復号方法

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US13/858,076 US9591321B2 (en) 2013-04-07 2013-04-07 Signaling change in output layer sets
US13/858,076 2013-04-07
US201361844272P 2013-07-09 2013-07-09
US61/844,272 2013-07-09
US201361845309P 2013-07-11 2013-07-11
US61/845,309 2013-07-11
US201361856575P 2013-07-19 2013-07-19
US61/856,575 2013-07-19

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019118837A Division JP2019193295A (ja) 2013-04-07 2019-06-26 映像復号方法および電子装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022046641A Division JP7303920B2 (ja) 2013-04-07 2022-03-23 映像復号方法

Publications (2)

Publication Number Publication Date
JP2021093729A true JP2021093729A (ja) 2021-06-17
JP7047146B2 JP7047146B2 (ja) 2022-04-04

Family

ID=51689239

Family Applications (5)

Application Number Title Priority Date Filing Date
JP2016505939A Active JP6401778B2 (ja) 2013-04-07 2014-04-04 出力レイヤセットにおける信号化の変化
JP2018110525A Active JP6549288B2 (ja) 2013-04-07 2018-06-08 出力レイヤセットにおける信号化の変化
JP2019118837A Pending JP2019193295A (ja) 2013-04-07 2019-06-26 映像復号方法および電子装置
JP2021004337A Active JP7047146B2 (ja) 2013-04-07 2021-01-14 映像復号方法
JP2022046641A Active JP7303920B2 (ja) 2013-04-07 2022-03-23 映像復号方法

Family Applications Before (3)

Application Number Title Priority Date Filing Date
JP2016505939A Active JP6401778B2 (ja) 2013-04-07 2014-04-04 出力レイヤセットにおける信号化の変化
JP2018110525A Active JP6549288B2 (ja) 2013-04-07 2018-06-08 出力レイヤセットにおける信号化の変化
JP2019118837A Pending JP2019193295A (ja) 2013-04-07 2019-06-26 映像復号方法および電子装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022046641A Active JP7303920B2 (ja) 2013-04-07 2022-03-23 映像復号方法

Country Status (19)

Country Link
US (3) US10448041B2 (ja)
EP (2) EP3457700A1 (ja)
JP (5) JP6401778B2 (ja)
KR (2) KR102223694B1 (ja)
CN (5) CN109547815B (ja)
AU (4) AU2014252043B2 (ja)
BR (1) BR112015025518B1 (ja)
CA (3) CA3034598C (ja)
ES (1) ES2708969T3 (ja)
HK (2) HK1216959A1 (ja)
IL (6) IL287526B (ja)
MX (3) MX351629B (ja)
MY (1) MY173433A (ja)
PL (1) PL2984847T3 (ja)
PT (1) PT2984847T (ja)
RU (2) RU2746310C2 (ja)
SG (7) SG10201705212WA (ja)
UA (1) UA115804C2 (ja)
WO (1) WO2014167817A1 (ja)

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2868092A4 (en) * 2012-07-02 2016-05-04 Nokia Technologies Oy METHOD AND DEVICE FOR VIDEO CODING
RU2746310C2 (ru) 2013-04-07 2021-04-12 Долби Интернэшнл Аб Способ для декодирования битового потока видео
US9591321B2 (en) 2013-04-07 2017-03-07 Dolby International Ab Signaling change in output layer sets
US9819941B2 (en) * 2013-10-10 2017-11-14 Qualcomm Incorporated Signaling for sub-decoded picture buffer (sub-DPB) based DPB operations in video coding
US9860540B2 (en) * 2014-01-03 2018-01-02 Qualcomm Incorporated Inference of nooutputofpriorpicsflag in video coding
JP6465863B2 (ja) * 2014-03-14 2019-02-06 シャープ株式会社 画像復号装置、画像復号方法及び記録媒体
PT3179729T (pt) * 2014-08-07 2021-09-21 Sony Group Corp Dispositivo de transmissão, método de transmissão e dispositivo de receção
WO2016098056A1 (en) 2014-12-18 2016-06-23 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
US10687055B2 (en) 2017-03-03 2020-06-16 Qualcomm Incorporated Coding MCTS-EIS SEI messages of an access unit
WO2019059721A1 (ko) * 2017-09-21 2019-03-28 에스케이텔레콤 주식회사 해상도 향상 기법을 이용한 영상의 부호화 및 복호화
CN117294837A (zh) * 2018-04-02 2023-12-26 深圳市大疆创新科技有限公司 用于图像处理的方法和图像处理装置
US10999590B2 (en) * 2018-12-28 2021-05-04 Tencent America LLC Method for identification of random access point and picture types
MX2021011029A (es) * 2019-03-11 2021-12-15 Huawei Tech Co Ltd Un codificador, un decodificador y métodos correspondientes.
EP3939318A1 (en) * 2019-03-11 2022-01-19 VID SCALE, Inc. Sub-picture bitstream extraction and reposition
US10986353B2 (en) * 2019-03-15 2021-04-20 Tencent America LLC Decoded picture buffer management for video coding
US11265580B2 (en) * 2019-03-22 2022-03-01 Tencent America LLC Supplemental enhancement information messages for neural network based video post processing
EP3957068A4 (en) * 2019-05-06 2022-06-22 Huawei Technologies Co., Ltd. OUTPUT OF PREVIOUS FRAMES FOR FRAMES THAT START A NEW ENCODED VIDEO SEQUENCE IN THE VIDEO ENCODER
LU101216B1 (de) * 2019-05-15 2020-11-16 Phoenix Contact Gmbh & Co Technik zur Korrektur eiines Zeitparameters
KR20220024721A (ko) * 2019-06-20 2022-03-03 노키아 테크놀로지스 오와이 비디오 인코딩 및 디코딩을 위한 장치, 방법 및 컴퓨터 프로그램
EP3977723B1 (en) * 2019-07-08 2024-01-10 Huawei Technologies Co., Ltd. Handling of multiple picture size and conformance windows for reference picture resampling in video coding
US11375223B2 (en) * 2019-09-20 2022-06-28 Tencent America LLC Method for signaling output layer set with sub-picture
US11109069B2 (en) * 2019-09-20 2021-08-31 Tencent America LLC Signaling of scalability parameters in video bitstream
BR122022009680A2 (pt) * 2019-09-24 2022-07-12 Huawei Technologies Co., Ltd. Método implementado em um codificador, dispositivo de codificação de vídeo, meio legível por computador não transitório e codificador
BR112022005265A2 (pt) * 2019-09-24 2022-06-14 Huawei Tech Co Ltd Sinalização de parâmetros de dpb para fluxos de bits de vídeo multicamadas
BR112022005372A2 (pt) * 2019-09-24 2022-06-14 Huawei Tech Co Ltd Mensagens sei de aninhamento escalável para camadas especificadas
JP7472425B2 (ja) * 2019-09-24 2024-04-23 ホアウェイ・テクノロジーズ・カンパニー・リミテッド デコーダによって実装される方法、エンコーダによって実装される方法、ビデオコーディングデバイス、コンピュータプログラム、デコーダ、エンコーダ、及びビットストリームを生成する方法
BR112022006429A2 (pt) 2019-10-07 2022-06-28 Huawei Tech Co Ltd Restrições de entrada de imagem de referência com base em tamanho de dpb
BR112022012288A8 (pt) 2019-12-20 2023-03-21 Humax Co L Td Método de processamento de sinal de vídeo e dispositivo para o mesmo
BR112022011719A2 (pt) 2019-12-26 2022-09-06 Bytedance Inc Método de processamento de vídeo, aparelho de processamento de dados de vídeo, e, mídias de armazenamento e de gravação legíveis por computador
WO2021137598A1 (ko) * 2019-12-30 2021-07-08 엘지전자 주식회사 Dpb 관리 프로세스를 포함하는 영상 디코딩 방법 및 그 장치
CN115299063A (zh) 2020-02-27 2022-11-04 抖音视界有限公司 变换跳过残差编解码
JP2023515626A (ja) 2020-02-28 2023-04-13 ホアウェイ・テクノロジーズ・カンパニー・リミテッド エンコーダ、デコーダ、および対応するシグナリングの方法、ならびにパラメータセット内のセマンティクス
JP7415035B2 (ja) * 2020-03-17 2024-01-16 バイトダンス インコーポレイテッド 映像コーディングにおけるピクチャ出力フラグの指示
KR20220156069A (ko) * 2020-03-24 2022-11-24 후아웨이 테크놀러지 컴퍼니 리미티드 인코더, 디코더 및 대응하는 방법
US11228776B1 (en) * 2020-03-27 2022-01-18 Tencent America LLC Method for output layer set mode in multilayered video stream
US11265568B2 (en) * 2020-03-27 2022-03-01 Tencent America LLC Method for derivation on sublayer-wise output layer set
WO2021201541A1 (ko) * 2020-03-30 2021-10-07 엘지전자 주식회사 Dpb 파라미터의 개수 정보를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체
CN115668944A (zh) * 2020-03-30 2023-01-31 Lg电子株式会社 用信号通知dpb参数的视频编码/解码方法和设备及存储比特流的计算机可读记录介质
KR20220162740A (ko) * 2020-04-02 2022-12-08 엘지전자 주식회사 Dpb 관련 정보 및 ptl 관련 정보를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체
WO2021208994A1 (en) * 2020-04-15 2021-10-21 Beijing Bytedance Network Technology Co., Ltd. Sub-bitstream extraction
CN115516860A (zh) 2020-05-04 2022-12-23 Lg电子株式会社 图像解码方法及其设备
US11818398B2 (en) * 2020-05-06 2023-11-14 Sharp Kabushiki Kaisha Systems and methods for signaling video parameter information in video coding
CN115699729A (zh) 2020-05-22 2023-02-03 抖音视界有限公司 子图片子比特流提取处理中的缩放窗口
CN115699765A (zh) 2020-05-22 2023-02-03 字节跳动有限公司 访问单元中图片信息的信令
EP4154524A4 (en) * 2020-06-08 2023-11-15 ByteDance Inc. SUBLAYER SIGNALING IN A VIDEO BIT STREAM
JP2023529422A (ja) 2020-06-09 2023-07-10 バイトダンス インコーポレイテッド 映像コーディングにおける補足強化情報メッセージのスケーラブルネスティング
WO2021252545A1 (en) 2020-06-09 2021-12-16 Bytedance Inc. Signaling constraints in non-scalable nested video syntax elements
CN115918076A (zh) * 2020-06-09 2023-04-04 字节跳动有限公司 子图片子比特流提取过程增强
WO2021252973A1 (en) 2020-06-12 2021-12-16 Bytedance Inc. Picture header constraints for multi-layer video coding
WO2022065799A1 (ko) * 2020-09-22 2022-03-31 엘지전자 주식회사 미디어 파일 처리 방법 및 그 장치
US20230102088A1 (en) * 2021-09-29 2023-03-30 Tencent America LLC Techniques for constraint flag signaling for range extension

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013106705A2 (en) * 2012-01-14 2013-07-18 Qualcomm Incorporated Coding parameter sets and nal unit headers for video coding
WO2014050677A1 (ja) * 2012-09-28 2014-04-03 ソニー株式会社 画像処理装置および方法
WO2014050748A1 (ja) * 2012-09-28 2014-04-03 ソニー株式会社 符号化装置および符号化方法、並びに、復号装置および復号方法
WO2014050090A1 (en) * 2012-09-30 2014-04-03 Sharp Kabushiki Kaisha Signaling scalability information in a parameter set

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI249356B (en) * 2002-11-06 2006-02-11 Nokia Corp Picture buffering for prediction references and display
AU2004214313B2 (en) * 2003-02-18 2010-05-20 Nokia Technologies Oy Picture coding method
US20050201471A1 (en) * 2004-02-13 2005-09-15 Nokia Corporation Picture decoding method
KR100679035B1 (ko) * 2005-01-04 2007-02-06 삼성전자주식회사 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
US7822116B2 (en) * 2005-04-14 2010-10-26 Broadcom Corporation Method and system for rate estimation in a video encoder
KR20080066784A (ko) * 2005-10-11 2008-07-16 노키아 코포레이션 규모가변적 비디오 코딩을 위한 효율적 디코딩 화상 버퍼관리
US8170116B2 (en) * 2006-03-27 2012-05-01 Nokia Corporation Reference picture marking in scalable video encoding and decoding
US20080002773A1 (en) * 2006-06-26 2008-01-03 Texas Instruments Incorporated Video decoded picture buffer
EP2632163A3 (en) * 2006-07-20 2013-11-27 Thomson Licensing Method and apparatus for signaling view scalability in multi-view video coding
WO2008018626A2 (en) * 2006-08-10 2008-02-14 Canon Kabushiki Kaisha Image decoding apparatus
US20080095228A1 (en) * 2006-10-20 2008-04-24 Nokia Corporation System and method for providing picture output indications in video coding
US9179157B2 (en) * 2007-01-05 2015-11-03 Thomson Licensing Hypothetical reference decoder for scalable video coding
JP5114495B2 (ja) * 2007-01-08 2013-01-09 トムソン ライセンシング ビデオストリームのスプライシングのための方法及び装置
GB0700381D0 (en) * 2007-01-09 2007-02-14 Mitsubishi Electric Inf Tech Generalised Hypothetical Reference Decoder for Scalable Video Coding with Bitstream Rewriting
US8345774B2 (en) * 2008-01-11 2013-01-01 Apple Inc. Hypothetical reference decoder
WO2010086501A1 (en) * 2009-01-28 2010-08-05 Nokia Corporation Method and apparatus for video coding and decoding
JP5072893B2 (ja) * 2009-03-25 2012-11-14 株式会社東芝 画像符号化方法および画像復号化方法
US8724710B2 (en) * 2010-02-24 2014-05-13 Thomson Licensing Method and apparatus for video encoding with hypothetical reference decoder compliant bit allocation
US9179149B2 (en) * 2010-05-12 2015-11-03 Nippon Telegraph And Telephone Corporation Video encoding control method, video encoding apparatus, and video encoding program
JP2012015603A (ja) * 2010-06-29 2012-01-19 Sony Corp 画像処理装置及び画像映像処理方法
GB2483294B (en) * 2010-09-03 2013-01-02 Canon Kk Method and device for motion estimation of video data coded according to a scalable coding structure
CN108737843B (zh) * 2010-09-27 2022-12-27 Lg 电子株式会社 用于分割块的方法和解码设备
US9654785B2 (en) * 2011-06-09 2017-05-16 Qualcomm Incorporated Enhanced intra-prediction mode signaling for video coding using neighboring mode
EP2732626A1 (en) * 2011-07-15 2014-05-21 Telefonaktiebolaget L M Ericsson (PUBL) An encoder and method thereof for assigning a lowest layer identity to clean random access pictures
US9131245B2 (en) * 2011-09-23 2015-09-08 Qualcomm Incorporated Reference picture list construction for video coding
CN102438141B (zh) * 2011-10-25 2013-03-27 中国科学技术大学 一种立体视频码流处理方法及装置
WO2013074964A1 (en) * 2011-11-16 2013-05-23 Vanguard Software Solutions, Inc. Video compression for high efficiency video coding
US9924169B2 (en) 2012-03-06 2018-03-20 Lg Electronics Inc. Method and apparatus for selecting a filter based on a variance of depth data
US9565431B2 (en) 2012-04-04 2017-02-07 Qualcomm Incorporated Low-delay video buffering in video coding
JP6026130B2 (ja) 2012-04-10 2016-11-16 富士通コンポーネント株式会社 コンタクト、コネクタ
RU2635251C2 (ru) 2012-06-29 2017-11-09 ДжиИ Видео Компрешн, ЭлЭлСи Концепция потока видеоданных
US9602827B2 (en) 2012-07-02 2017-03-21 Qualcomm Incorporated Video parameter set including an offset syntax element
US10051311B2 (en) * 2012-07-06 2018-08-14 Sharp Kabushiki Kaisha Electronic devices for signaling sub-picture based hypothetical reference decoder parameters
US9648352B2 (en) * 2012-09-24 2017-05-09 Qualcomm Incorporated Expanded decoding unit definition
US10021394B2 (en) 2012-09-24 2018-07-10 Qualcomm Incorporated Hypothetical reference decoder parameters in video coding
US8989508B2 (en) 2012-09-28 2015-03-24 Sharp Kabushiki Kaisha Electronic device for signaling a sub-picture buffer parameter
US9374585B2 (en) 2012-12-19 2016-06-21 Qualcomm Incorporated Low-delay buffering model in video coding
US20140192895A1 (en) * 2013-01-04 2014-07-10 Qualcomm Incorporated Multi-resolution decoded picture buffer management for multi-layer video coding
US9402076B2 (en) 2013-01-07 2016-07-26 Qualcomm Incorporated Video buffering operations for random access in video coding
US9591321B2 (en) 2013-04-07 2017-03-07 Dolby International Ab Signaling change in output layer sets
RU2746310C2 (ru) 2013-04-07 2021-04-12 Долби Интернэшнл Аб Способ для декодирования битового потока видео
WO2015004606A1 (en) * 2013-07-09 2015-01-15 Nokia Corporation Method and apparatus for video coding involving syntax for signalling motion information

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013106705A2 (en) * 2012-01-14 2013-07-18 Qualcomm Incorporated Coding parameter sets and nal unit headers for video coding
WO2014050677A1 (ja) * 2012-09-28 2014-04-03 ソニー株式会社 画像処理装置および方法
WO2014050748A1 (ja) * 2012-09-28 2014-04-03 ソニー株式会社 符号化装置および符号化方法、並びに、復号装置および復号方法
WO2014050090A1 (en) * 2012-09-30 2014-04-03 Sharp Kabushiki Kaisha Signaling scalability information in a parameter set

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BYEONGDOO CHOI, ET AL.: "On video parameter set extension", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JCTVC-M0163, JPN6022007027, April 2013 (2013-04-01), pages 1 - 4, ISSN: 0004711569 *
JILL BOYCE, ET AL.: "High level syntax hooks for future extensions", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, vol. JCTVC-H0388, JPN6022007029, February 2012 (2012-02-01), pages 1 - 6, ISSN: 0004711567 *
R. SKUPIN, V. GEORGE, AND T. SCHIERL: "AHG9/AHG10: Design of the Video Parameter Set", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JCTVC-J0257, JPN6022007028, July 2012 (2012-07-01), pages 1 - 9, ISSN: 0004711568 *
YE-KUI WANG, YING CHEN, AND ADARSH K. RAMASUBRAMONIAN: "AHG9: On VPS and SPS in HEVC 3DV and scalable extensions", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JCTVC-M0268_v2, JPN6022007026, April 2013 (2013-04-01), pages 1 - 25, ISSN: 0004711570 *

Also Published As

Publication number Publication date
US11653011B2 (en) 2023-05-16
AU2016238857B2 (en) 2018-11-15
SG10201913548WA (en) 2020-02-27
JP2022091862A (ja) 2022-06-21
RU2017135819A (ru) 2019-02-08
AU2021204708A1 (en) 2021-08-05
JP6401778B2 (ja) 2018-10-10
ES2708969T3 (es) 2019-04-12
IL281964B (en) 2021-12-01
CN109547815B (zh) 2021-05-18
BR112015025518A2 (pt) 2017-12-12
IL241918B (en) 2018-11-29
BR112015025518B1 (pt) 2023-02-07
AU2019200932A1 (en) 2019-02-28
US11044487B2 (en) 2021-06-22
SG10201705212WA (en) 2017-07-28
HK1216959A1 (zh) 2016-12-09
IL281964A (en) 2021-05-31
EP2984847B1 (en) 2018-10-31
CA3129121A1 (en) 2014-10-16
US10448041B2 (en) 2019-10-15
CN109379603A (zh) 2019-02-22
EP2984847A1 (en) 2016-02-17
CA3129121C (en) 2024-02-20
AU2014252043B2 (en) 2016-11-24
IL262780B (en) 2020-03-31
SG10201700399VA (en) 2017-02-27
JP2018164282A (ja) 2018-10-18
IL276193A (en) 2020-09-30
SG10201913545TA (en) 2020-02-27
MX2015014157A (es) 2016-06-02
PL2984847T3 (pl) 2019-05-31
JP7303920B2 (ja) 2023-07-05
KR20150140777A (ko) 2015-12-16
US20200077107A1 (en) 2020-03-05
IL276193B (en) 2021-04-29
CA3034598A1 (en) 2014-10-16
AU2019200932B2 (en) 2021-04-08
SG11201508300TA (en) 2015-11-27
RU2015147558A (ru) 2017-05-16
CN109547815A (zh) 2019-03-29
IL262780A (en) 2018-12-31
IL287526A (en) 2021-12-01
EP3457700A1 (en) 2019-03-20
CA2908888C (en) 2019-04-02
SG10201913539SA (en) 2020-02-27
KR20210021118A (ko) 2021-02-24
CA2908888A1 (en) 2014-10-16
RU2017135819A3 (ja) 2021-02-02
MX2020003705A (es) 2020-07-22
AU2014252043A1 (en) 2015-10-29
JP2019193295A (ja) 2019-10-31
JP2016518763A (ja) 2016-06-23
MX351629B (es) 2017-10-23
RU2633106C2 (ru) 2017-10-11
KR102383006B1 (ko) 2022-04-04
MY173433A (en) 2020-01-24
UA115804C2 (uk) 2017-12-26
SG10201913551WA (en) 2020-03-30
CN105379285B (zh) 2018-12-11
AU2021204708B2 (en) 2023-02-02
CA3034598C (en) 2021-10-19
IL287526B (en) 2022-07-01
IL272711A (en) 2020-04-30
US20220150516A1 (en) 2022-05-12
CN109379596A (zh) 2019-02-22
HK1221840A1 (zh) 2017-06-09
MX361490B (es) 2018-12-07
KR102223694B1 (ko) 2021-03-04
CN105379285A (zh) 2016-03-02
EP2984847A4 (en) 2016-11-23
JP7047146B2 (ja) 2022-04-04
JP6549288B2 (ja) 2019-07-24
RU2746310C2 (ru) 2021-04-12
US20190058895A1 (en) 2019-02-21
PT2984847T (pt) 2019-02-04
IL272711B (en) 2020-08-31
AU2016238857A1 (en) 2016-10-20
CN109729364A (zh) 2019-05-07
WO2014167817A1 (en) 2014-10-16

Similar Documents

Publication Publication Date Title
JP7047146B2 (ja) 映像復号方法
JP6765025B2 (ja) ビデオビットストリームを復号する方法およびデバイス
US11553198B2 (en) Removal delay parameters for video coding
JP6505026B2 (ja) 符号化方法
JP6352317B2 (ja) 復号方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220323

R150 Certificate of patent or registration of utility model

Ref document number: 7047146

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150