JP2022164946A - 共通メディアアプリケーションフォーマットでのビデオユーザビリティ情報 - Google Patents

共通メディアアプリケーションフォーマットでのビデオユーザビリティ情報 Download PDF

Info

Publication number
JP2022164946A
JP2022164946A JP2022068046A JP2022068046A JP2022164946A JP 2022164946 A JP2022164946 A JP 2022164946A JP 2022068046 A JP2022068046 A JP 2022068046A JP 2022068046 A JP2022068046 A JP 2022068046A JP 2022164946 A JP2022164946 A JP 2022164946A
Authority
JP
Japan
Prior art keywords
video
vvc
sps
flag
cmaf
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022068046A
Other languages
English (en)
Other versions
JP7413435B2 (ja
Inventor
ワン イェ-クイ
Ye-Kui Wang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LEMON Inc
Original Assignee
LEMON Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LEMON Inc filed Critical LEMON Inc
Publication of JP2022164946A publication Critical patent/JP2022164946A/ja
Application granted granted Critical
Publication of JP7413435B2 publication Critical patent/JP7413435B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/85406Content authoring involving a specific file format, e.g. MP4 format
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362Generation or processing of Service Information [SI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】ビデオデータを処理するメカニズムが開示される。【解決手段】バーサタイルビデオコーディング(VVC)共通メディアアプリケーションフォーマット(CMAF)トラックにおけるシーケンスパラメータセット(SPS)内の情報が決定される。規則は、SPS内のビデオユーザビリティ情報プログレッシブソースフラグ(vui_progressive_source_flag)フィールドの値が1に等しくなければならないことを定める。SPSに基づき、視覚メディアデータとメディアデータファイルとの間で変換が行われる。【選択図】図4

Description

[関連出願への相互参照]
適用可能な特許法及び/又はパリ条約に従う規則に下で、本願は、2021年4月18日付けで出願された米国特許仮出願第63/176315号に対する優先権及びその利益を適宜請求するようなされたものである。法の下での全ての目的のために、上記の出願の全開示は、本願の開示の部分として参照により援用される。
[技術分野]
本特許文献は、ファイルフォーマットでのデジタルオーディオビデオメディア情報の生成、記憶、及び消費に関係がある。
デジタルビデオは、インターネット及び他のデジタル通信網で使用される最大のバンド幅を占めている。ビデオを受信及び表示することができるユーザデバイスの接続数が増えるにつれて、デジタルビデオ利用に対するバンド幅要求は増え続ける可能性がある。
第1の態様は、ビデオデータを処理する方法であって、バーサタイルビデオコーディング(Versatile Video Coding,VVC)共通メディアアプリケーションフォーマット(Common Media Application Format,CMAF)トラックにおけるシーケンスパラメータセット(SPS)内の情報を決定するステップであり、規則により、前記SPS内のビデオユーザビリティ情報プログレッシブソースフラグ(vui_progressive_source_flag)フィールドの値が1に等しくなければならないことが定められる、ステップと、前記SPSに基づき、視覚メディアデータとメディアデータファイルとの間の変換を実行するステップとを有する方法に関する。
任意に、上記の態様のいずれかで、当該態様の他の実施は、前記vui_progressive_source_flagがビデオユーザビリティ情報ペイロード(vui_payload)構造に含まれる、ことを提供する。
任意に、上記の態様のいずれかで、当該態様の他の実施は、前記VVC CMAFトラック内のビデオがプログレッシブスキャニングに従ってコーディングされることを示すよう前記vui_progressive_source_flagが1に等しい、ことを提供する。
任意に、上記の態様のいずれかで、当該態様の他の実施は、前記規則により、前記SPS内のビデオユーザビリティ情報インターレースソースフラグ(vui_interlaced_source_flag)フィールドの値が1に等しくなければならないことが定められる、ことを提供する。
任意に、上記の態様のいずれかで、当該態様の他の実施は、前記vui_interlaced_source_flagがビデオユーザビリティ情報ペイロード(vui_payload)構造に含まれる、ことを提供する。
任意に、上記の態様のいずれかで、当該態様の他の実施は、前記VVC CMAFトラック内のビデオがインターレーシングに従ってコーディングされることを示すよう前記vui_interlaced_source_flagが1に等しい、ことを提供する。
任意に、上記の態様のいずれかで、当該態様の他の実施は、前記SPSがVVCエレメンタリストリームに含まれ、該VVCエレメンタリストリームが前記CMAFトラックに含まれる、ことを提供する。
任意に、上記の態様のいずれかで、当該態様の他の実施は、前記変換が、前記視覚メディアデータを前記メディアデータファイルに符号化することを含む、ことを提供する。
任意に、上記の態様のいずれかで、当該態様の他の実施は、前記変換が、前記視覚メディアデータを前記メディアデータファイルから復号することを含む、ことを提供する。
第2の態様は、ビデオデータを処理する装置であって、プロセッサと、命令を有する非一時的なメモリとを有し、前記命令は、前記プロセッサによる実行時に、前記プロセッサに、バーサタイルビデオコーディング(VVC)共通メディアアプリケーションフォーマット(CMAF)トラックにおけるシーケンスパラメータセット(SPS)内の情報を決定するステップであり、規則により、前記SPS内のビデオユーザビリティ情報プログレッシブソースフラグ(vui_progressive_source_flag)フィールドの値が1に等しくなければならないことが定められる、ステップと、前記SPSに基づき、視覚メディアデータとメディアデータファイルとの間の変換を実行するステップとを実行させる、装置に関する。
任意に、上記の態様のいずれかで、当該態様の他の実施は、前記vui_progressive_source_flagがビデオユーザビリティ情報ペイロード(vui_payload)構造に含まれる、ことを提供する。
任意に、上記の態様のいずれかで、当該態様の他の実施は、前記VVC CMAFトラック内のビデオがプログレッシブスキャニングに従ってコーディングされることを示すよう前記vui_progressive_source_flagが1に等しい、ことを提供する。
任意に、上記の態様のいずれかで、当該態様の他の実施は、前記規則により、前記SPS内のビデオユーザビリティ情報インターレースソースフラグ(vui_interlaced_source_flag)フィールドの値が1に等しくなければならないことが定められる、ことを提供する。
任意に、上記の態様のいずれかで、当該態様の他の実施は、前記vui_interlaced_source_flagがビデオユーザビリティ情報ペイロード(vui_payload)構造に含まれる、ことを提供する。
任意に、上記の態様のいずれかで、当該態様の他の実施は、前記VVC CMAFトラック内のビデオがインターレーシングに従ってコーディングされることを示すよう前記vui_interlaced_source_flagが1に等しい、ことを提供する。
任意に、上記の態様のいずれかで、当該態様の他の実施は、前記SPSがVVCエレメンタリストリームに含まれ、該VVCエレメンタリストリームが前記CMAFトラックに含まれる、ことを提供する。
第3の態様は、ビデオコーディングデバイスよって使用されるコンピュータプログラム製品を有する非一時的なコンピュータ可読媒体であって、前記コンピュータプログラム製品は、プロセッサによる実行時に、前記ビデオコーディングデバイスに、バーサタイルビデオコーディング(VVC)共通メディアアプリケーションフォーマット(CMAF)トラックにおけるシーケンスパラメータセット(SPS)内の情報を決定するステップであり、規則により、前記SPS内のビデオユーザビリティ情報プログレッシブソースフラグ(vui_progressive_source_flag)フィールドの値が1に等しくなければならないことが定められる、ステップと、前記SPSに基づき、視覚メディアデータとメディアデータファイルとの間の変換を実行するステップとを実行させるように前記非一時的なコンピュータ可読媒体に記憶されているコンピュータ実行可能命令を有する、非一時的なコンピュータ可読媒体に関する。
任意に、上記の態様のいずれかで、当該態様の他の実施は、前記vui_progressive_source_flagがビデオユーザビリティ情報ペイロード(vui_payload)構造に含まれる、ことを提供する。
任意に、上記の態様のいずれかで、当該態様の他の実施は、前記VVC CMAFトラック内のビデオがプログレッシブスキャニングに従ってコーディングされることを示すよう前記vui_progressive_source_flagが1に等しい、ことを提供する。
任意に、上記の態様のいずれかで、当該態様の他の実施は、前記規則により、前記SPS内のビデオユーザビリティ情報インターレースソースフラグ(vui_interlaced_source_flag)フィールドの値が1に等しくなければならないことが定められる、ことを提供する。
明りょうさのために、上記の実施形態のいずれか1つは、本開示の範囲内で新しい実施形態をもたらすように上記の他の実施形態のいずれか1つ以上と組み合わされてもよい。
これら及び他の特徴は、添付の図面及び特許請求の範囲とともに読まれる以下の詳細な説明から、より明りょうに理解されよう。
本開示のより完全な理解のために、これより、添付の図面及び詳細な説明とともに読まれる以下の簡単な説明が参照される。同じ参照番号は、同じ部分を表す。
例となる共通メディアアプリケーションフォーマット(CMAF)トラックを表す概略図である。 例となるビデオ処理システムを示すブロック図である。 例となるビデオ処理装置のブロック図である。 例となるビデオ処理方法のフローチャートである。 例となるビデオコーディングシステムを表すブロック図である。 例となるエンコーダを表すブロック図である。 例となるデコーダを表すブロック図である。 例となるエンコーダの概略図である。
最初に理解されるべきは、1つ以上の実施形態の実例となる実施が以下で与えられるが、開示されているシステム及び/又は方法は、現在知られていようと、また開発されていなかろうと、任意の数の技術を用いて実装されてよい点である。開示は、本明細書で図示及び記載されている例示的な設計及び実施を含む、以下で説明されている実例となる実施、図面及び技術に決して限定されるべきではなく、添付の特許請求の範囲及びそれらの均等の全範囲の中で変更されてよい。
本特許文献は、ビデオストリーミングに関係がある。具体的に、本文献は、ファイルフォーマットでのメディアトラック及びセグメントへのビデオ符号化及びカプセル化に関する制約を指定することに関係がある。このようなファイルフォーマットには、国際標準化機構(International Organization for Standardization,ISO)ベースメディアファイルフォーマット(base media file format)(ISOBMFF)が含まれ得る。このようなファイルフォーマットにはまた、HTTPによる動的適応ストリーミング(Dynamic Adaptive Streaming over hypertext transfer protocol,DASH)及び/又は共通メディアアプリケーションフォーマット(Common Media Application Format,CMAF)のような、適応ストリーミングメディア表現フォーマットも含まれ得る。本明細書で記載されるアイデアは、DASH標準規格及び関連する拡張に基づいたシステム並びに/又はCMAF標準規格及び関連する拡張に基づいたシステムのような、メディアストリーミングシステムのために、個々に又は様々な組み合わせで適用されてよい。
本開示は、次の略語を含む。適応色変換(Adaptive color transform,ACT)、適応ループフィルタ(Adaptive Loop Filter,ALF)、適応動きベクトル分解(Adaptive Motion Vector Resolution,AMVR)、適応パラメータセット(Adaptive Parameter Set,APS)、アクセスユニット(Access Unit,AU)、アクセスユニットデリミタ(Access Unit Delimiter,AUD)、アドバンスドビデオコーディング(Rec. ITU-T H.264|ISO/IEC 14496-10)(Advanced Video Coding,AVC)、双予測(Bi-predictive,B)、コーディングユニットレベル重み付き双予測(Bi-prediction with Coding unit level Weights,BCW)、双方向オプティカルフロー(Bi-Directional Optical Flow,BDOF)、ブロックベースのデルタパルスコード変調(Block-based Delta Pulse Code Modulation,BDPCM)、バッファリング周期(Buffering Period,BP)、コンテキストベースの適応バイナリ算術コーディング(Context-based Adaptive Binary Arithmetic Coding,CABAC)、コーディングブロック(Coding Block,CB)、固定ビットレート(Constant Bit Rate,CBR)、交差成分適応ループフィルタ(Cross-Component Adaptive Loop Filter,CCALF)、コーディングピクチャバッファ(Coded Picture Buffer,CPB)、クリーンランダムアクセス(Clean Random Access,CRA)、巡回冗長検査(Cyclic Redundancy Check,CRC)、コーディングツリーブロック(Coding Tree Block,CTB)、コーディングツリーユニット(Coding Tree Unit,CTU)、コーディングユニット(Coding Unit,CU)、コーディングビデオシーケンス(Coded Video Sequence,CVS)、復号化能力情報(Decoding Capability Information,DCI)、復号化初期化情報(Decoding Initialization Information,DII)、復号化ピクチャバッファ(Decoded Picture Buffer,DPB)、依存ランダムアクセスポイント(Dependent Random Access Point,DRAP)、復号化ユニット(Decoding Unit,DU)、復号化ユニット情報(Decoding Unit Information,DUI)、指数ゴロム(Exponential-Golomb,EG)、k次指数ゴロム(k-th exponential-Golomb,EGk)、エンド・オブ・ビットストリーム(End Of Bitstream,EOB)、エンド・オブ・シーケンス(End Of Sequence,EOS)、フィラーデータ(Filler Data,FD)、先入れ先出し(First-in, First-out,FIFO)、固定長(Fixed-Length,FL)、緑、青、及び赤(Green, Blue, and Red,GBR)、一般制約情報(General Constraints Information,GCI)、漸次復号リフレッシュ(Gradual Decoding Refresh,GDR)、幾何学的パーティショニングモード(Geometric Partitioning Mode,GPM)、Rec. ITU-T H.265|ISO/IEC 23008-2としても知られている高効率ビデオコーディング(High Efficiency Video Coding,HEVC)、仮想参照デコーダ(Hypothetical Reference Decoder,HRD)、仮想ストリームスケジューラ(Hypothetical Stream Scheduler,HSS)、イントラ(Intra,I)、イントラブロックコピー(Intra Block Copy,IBC)、瞬時復号リフレッシュ(Instantaneous Decoding Refresh,IDR)、レイヤ間参照ピクチャ(Intra Layer Reference Picture,ILRP)、イントラランダムアクセスポイント(Intra Random Access Point,IRAP)、低周波非分離変換(Low Frequency Non-Separable Transform,LFNST)、最低確率シンボル(Least Probable Symbol,LPS)、最下位ビット(Least Significant Bit,LSB)、長期参照ピクチャ(Long-Term Reference Picture,LTRP)、クロマスケーリングを伴うルーママッピング(Luma Mapping with Chroma Scaling,LMCS)、マトリクスベースのイントラ予測(Matrix-based Intra Prediction,MIP)、最高確率シンボル(Most Probable Symbol,MPS)、最上位ビット(Most Significant Bit,MSB)、多重変換選択(Multiple Transform Selection,MTS)、動きベクトル予測(Motion Vector Prediction,MVP)、ネットワーク抽象化レイヤ(Network Abstraction Layer,NAL)、出力レイヤセット(Output Layer Set,OLS)、動作点(Operation Point,OP)、動作点情報(Operating Point Information,OPI)、予測(Predictive,P)、ピクチャヘッダ(Picture Header,PH)、ピクチャ順序カウント(Picture Order Count,POC)、ピクチャパラメータセット(Picture Parameter Set,PPS)、オプティカルフローによる予測精緻化(Prediction Refinement with Optical Flow,PROF)、ピクチャタイミング(Picture Timing,PT)、ピクチャユニット(Picture Unit,PU)、量子化パラメータ(Quantization Parameter,QP)、ランダムアクセス復号可能リーディングピクチャ(Random Access Decodable Leading picture,RADL)、ランダムアクセススキップリーディングピクチャ(Random Access Skipped Leading picture,RASL)、ローバイトシーケンスペイロード(Raw Byte Sequence Payload,RBSP)、赤、緑、及び青(Red, Green, and Blue,RGB)、参照ピクチャリスト(Reference Picture List,RPL)、サンプル適応オフセット(Sample Adaptive Offset,SAO)、サンプルアスペクト比(Sample Aspect Ratio,SAR)、補足拡張情報(Supplemental Enhancement Information,SEI)、スライスヘッダ(Slice Header,SH)、サブピクチャレベル情報(Subpicture Level Information,SLI)、データビット列(String Of Data Bits,SODB)、シーケンスパラメータセット(Sequence Parameter Set,SPS)、短期参照ピクチャ(Short-Term Reference Picture,STRP)、ステップワイズ時間サブレイヤアクセス(Step-wise Temporal Sublayer Access,STSA)、トランケーテッド・ライス(Truncated Rice,TR)、可変ビットレート(Variable Bit Rate,VBR)、ビデオコーディングレイヤ(Video Coding Layer,VCL)、ビデオパラメータセット(Video Parameter Set,VPS)、Rec. ITU-T H.274|ISO/IEC 23002-7としても知られている多目的補足拡張情報(Versatile Supplemental Enhancement Information,VSEI)、ビデオユーザビリティ情報(Video Usability Information,VUI)、及びRec. ITU-T H.266|ISO/IEC 23090-3としても知られているバーサタイルビデオコーディング(Versatile Video Coding,VVC)。
ビデオコーディング標準規格は、国際電気通信連合(International Telecommunication Union,ITU)電気通信標準化部門(Telecommunications Standardization Sector)(ITU-T)及びISO/国際電気標準会議(International Electrotechnical Commission,IEC)標準規格の開発を通じて主に発展してきた。ITU-TはH.261及びH.263を作り出し、ISO/IECはモーションピクチャエキスパートグループ(Motion Picture Experts Group,MPEG)-1及びMPEG-4 Visualを作り出し、2つの組織は共同でH.262/MPEG-2 Video及びH264/MPEG-4アドバンスドビデオコーディング(AVC)及びH.265/HEVC標準規格を作り出した。H.262以降、ビデオコーディング標準規格は、時間予測に変換コーディングをプラスしたものが利用されるハイブリッド型ビデオコーディング構造に基づいている。HEVCを超える更なるビデオコーディング技術を探求するために、Joint Video Exploration Team(JVET)がビデオコーディングエキスパートグループ(Video Coding Experts Group,VCEG)及びMPEGによって共同で設立された。多くの方法がJVETによって採用され、Joint Exploration Model(JEM)と呼ばれる参照ソフトウェアに置かれてきた。JVETは後に、バーサタイルビデオコーディング(VVC)プロジェクトが公式に開始したときにJoint Video Experts Team(JVET)と改名された。VVCは、HEVCと比較して50%のビットレート低減を目標とするコーディング標準規格である。VVCはJVETによって完成された。
ITU-T H.266|ISO/IEC 23090-3としても知られているVVC標準規格、及びITU-T H.274|ISO/IEC 23002-7としても知られている関連する多目的補足拡張情報(VSEI)は、テレビ放送、ビデオ会議、記憶媒体からの再生、適応ビットレートストリーミング、ビデオ領域抽出、複数のコーディングされたビデオビットストリームからのコンテンツの組み立て及びマージ、マルチビュービデオ、スケーラブルレイヤードコーディング、並びにビューポート適応360度(360°)没入メディアのような、広範な用途での使用のために設計されている。エッセンシャルビデオコーディング(Essential Video Coding,EVC)標準規格(ISO/IEC 23094-1)は、MPEGによって開発されたもう1つのビデオコーディング標準規格である。
ファイルフォーマット標準規格について以下で説明する。メディアストリーミングアプリケーションは、通常は、インターネットプロトコル(Internet Protocol,IP)、伝送制御プロトコル(Transmission Control Protocol,TCP)、及びハイパーテキスト転送プロトコル(Hyper Transfer Protocol,HTTP)トランスポート方法に基づいており、通常は、ISOBMFFのようなファイルフォーマットに依存する。1つのそのようなストリーミングシステムは、HTTPによる動的適応ストリーミング(DASH)である。ビデオは、AVC及び/又はHEVCのようなビデオフォーマットで符号化され得る。符号化されたビデオは、ISOBMFFトラックにカプセル化され、DASH表現及びセグメントに含められ得る。プロファイル、ティア、及びレベルのような、ビデオビットストリームに関する重要な情報、及び多くの他の情報は、コンテンツ選択を目的としてDASHメディアプレゼンテーション記述(Media Presentation Description,MPD)において及び/又はファイルフォーマットレベルメタデータとして露わにされ得る。例えば、そのような情報は、ストリーミングセッションの開始時の初期化及びストリーミングセッション中のストリーム適応の両方のための適切なメディアセグメントの選択のために使用され得る。
同様に、ISOBMFFによる画像フォーマットを使用する場合に、AVC画像ファイルフォーマット及びHEVC画像ファイルフォーマットのような、画像フォーマットに特有のファイルフォーマット仕様が用いられてもよい。VVCビデオファイルフォーマットは、ISOBMFFに基づいたVVCビデオコンテンツの記憶のためのファイルフォーマットであり、MPEGによる開発中である。VVC画像ファイルフォーマットは、ISOBMFFに基づいた、VVCを用いてコーディングされた画像コンテンツの記憶のためのファイルフォーマットであり、やはりMPEGによる開発中である。
これより、ファイルフォーマット標準規格について説明する。メディアストリーミングアプリケーションは、インターネットプロトコル(IP)、伝送制御プロトコル(TCP)、及びハイパーテキスト転送プロトコル(HTTP)トランスポートメカニズムに基づき得る。そのようなメディアストリーミングアプリケーションも、ISOベースメディアファイルフォーマット(ISOBMFF)のようなファイルフォーマットに依存し得る。1つのそのようなストリーミングシステムは、HTTPによる動的適応ストリーミング(DASH)である。ISOBMFF及びDASHによるビデオフォーマットを使用するために、ビデオフォーマットに特有のファイルフォーマット仕様が、ISOBMFFトラックにおける並びにDASH表現及びセグメントにおけるビデオコンテンツのカプセル化のために用いられ得る。そのようなファイルフォーマット仕様には、AVCファイルフォーマット及びHEVCファイルフォーマットが含まれ得る。プロファイル、ティア、及びレベルのような、ビデオビットストリームに関する重要な情報、及び多くの他の情報は、コンテンツ選択を目的としてDASHメディアプレゼンテーション記述(MPD)において及び/又はファイルフォーマットレベルメタデータとして露わにされ得る。例えば、コンテンツ選択は、ストリーミングセッションの開始時の初期化及びストリーミングセッション中のストリーム適応の両方のための適切なメディアセグメントの選択を含み得る。同様に、ISOBMFFによる画像フォーマットを使用するために、AVC画像ファイルフォーマット及びHEVC画像ファイルフォーマットのような、画像フォーマットに特有のファイルフォーマット仕様が用いられてもよい。VVCビデオファイルフォーマットは、ISOBMFFに基づいたVVCビデオコンテンツの記憶のためのファイルフォーマットである。VVCビデオファイルフォーマットは、MPEGによって開発されている。VVC画像ファイルフォーマットは、ISOBMFFに基づいた、VVCを用いてコーディングされた画像コンテンツの記憶のためのファイルフォーマットである。VVC画像ファイルフォーマットも、MPEGによって開発されている。
これより、DASHについて説明する。DASHでは、マルチメディアコンテンツのビデオ及び/又はオーディオデータのための多数の表現が存在し得る。異なる表現は、ビデオコーディング標準規格の異なるプロファイル又はレベル、異なるビットレート、異なる空間分解能、などのような、異なるコーディング特性に対応し得る。そのような表現のマニフェストは、メディアプレゼンテーション記述(Media Presentation Description,MPD)データ構造で記述され得る。メディアプレゼンテーションは、DASHストリーミングクライアントデバイスがアクセスすることができるデータの構造化された集合に対応し得る。DASHストリーミングクライアントデバイスは、クライアントデバイスのユーザへストリーミングサービスを提示するためにメディアデータ情報を要求及びダウンロードし得る。メディアプレゼンテーションは、MPDデータ構造で記述されてもよく、これはMPDのアップデートを含み得る。
メディアプレゼンテーションは、1つ以上の周期の連続を含み得る。各周期は、次の周期の開始まで、又は最後の周期の場合には、メディアプレゼンテーションの終わりまで、延在し得る。各周期は、同じメディアコンテンツのための1つ以上の表現を含み得る。表現は、オーディオ、ビデオ、時限テキスト(timed text)、又は他のそのようなデータの多数の代替の符号化されたバージョンのうちの1つであってよい。表現は、符号化タイプごとに、例えば、ビットレート、分解能、ビデオデータ及びビットレートのためのコーデック、言語、及び/又はオーディオデータのためのコーディングごとに、異なり得る。表現という用語は、マルチメディアコンテンツの特定の周期に対応しかつ特定の方法で符号化されている符号化されたオーディオ又はビデオデータの区間に言及するために使用され得る。
特定の周期の表現は、表現が属する適応セットを示すMPD内の属性によって示されたグループに割り当てられ得る。同じ適応セット内の表現は、一般に、互いに代替するものと見なされる。従って、クライアントデバイスは、例えば、バンド幅適応を実行するために、それらの表現の間を動的にかつシームレスに切り替えることができる。例えば、特定の周期についてのビデオデータの各表現は同じ適応セットに割り当てられてもよく、それにより、表現のうちのいずれかが、対応する周期についてのマルチメディアコンテンツのビデオデータ又はオーディオデータのようなメディアデータを提示するように復号化のために選択され得る。1つの周期内のメディアコンテンツは、存在する場合には、グループ0からのどれか1つの表現、又はいくつかの例では、各非ゼログループからの多くても1つの表現の組み合わせによって表現され得る。ある周期の各表現についてのタイミングデータは、その周期の開始時に対して表され得る。
表現は1つ以上のセグメントを含み得る。各表現は、初期化セグメントを含んでよく、あるいは、表現の各セグメントは、自己初期化してもよい。存在する場合に、初期化セグメントは、表現にアクセスするための初期化情報を含み得る。一般に、初期化セグメントはメディアデータを含まない。セグメントは、ユニフォームリソースロケータ(Uniform Resource Locator,URL)、ユニフォームリソース名(Uniform Resource Name,URN)、又はユニフォームリソース識別子(Uniform Resource Identifier,URI)のような識別子によって一意に参照され得る。MPDは、セグメントごとに識別子を提供し得る。いくつか例では、MPDはまた、範囲属性の形でバイト範囲を提供してもよく、これは、URL、URN、又はURIによってアクセス可能なファイル内のセグメントのデータに対応し得る。
異なる表現は、異なるタイプのメディアデータの略同時の読み出しのために選択され得る。例えば、クライアントデバイスは、セグメントを読み出すためのオーディオ表現、ビデオ表現、及び時限テキスト表現を選択し得る。いくつかの例では、クライアントデバイスは、バンド幅適応を実行するための特定の適応セットを選択し得る。例えば、クライアントデバイスは、ビデオ表現を含む適応セット、オーディオ表現を含む適応セット、及び/又は時限テキストを含む適応セットを選択し得る。例において、クライアントデバイスは、ビデオのような特定のタイプのメディアについて適応セットを選択し、そして、オーディオ及び/又は時限テキストのような他のタイプのメディアについて表現を直接に選択し得る。
例となるDASHストリーミングプロシージャは、以下のステップによって示され得る。クライアントはMPDを取得する。次いで、クライアントは、ダウンリンクバンド幅を推定し、推定されたダウンリンクバンド幅、コーデック、復号化能力、表示サイズ、オーディオ言語設定、などに従ってビデオ表現及びオーディオ表現を選択する。メディアプレゼンテーションの終わりに達するまで、クライアントは、選択された表現のメディアセグメントを要求し、ストリーミングコンテンツをユーザに提示する。クライアントは、ダウンリンクバンド幅の推定を続ける。バンド幅が有意に、例えば、より低くなること又はより高くなることによって、変化すると、クライアントは、新たに推定されたバンド幅に一致するように異なるビデオ表現を選択し、更新されたダウンリンクバンド幅で引き続きセグメントをダウンロードする。
これより、CMAFについて説明する。CMAFは、ISOBMFFトラック、ISOBMFFセグメント、ISOBMFFフラグメント、DASH表現、及び/又はCMAFトラック、CMAFフラグメント、などへのメディア符号化及びカプセル化に関する制約の組を指定する。そのような制約は、メディアプロファイルとして定義された各インターオペラビリティポイント(interoperability point)のカプセル化のためのものである。CMAF開発の主な目標は、DASH及びAppleのHTTPライブストリーミング(HTPP Live Streaming,HLS)の2つの別個のメディアストリーミング世界による、特定のコーデック、例えば、ビデオのためのAVCを用いて符号化されて、特定のフォーマット、例えば、ISOBMFFにカプセル化された同じメディアコンテンツの再利用を可能にすることである。
これより、VVCにおける復号化能力情報(DCI)について説明する。DCI NALユニットは、ビットストリームレベルのプロファイル、ティア、及びレベル(Profile, Tier, and Level,PTL)情報を含む。DCI NALユニットは、VVCビットストリームの送信側と受信側との間のセッションネゴシエーション中に使用され得る1つ以上のPTLシンタックス構造を含む。DCI NALユニットがVVCビットストリームに存在する場合に、ビットストリームのCVS内の各出力レイヤセット(Output Layer Set,OLS)は、DCI NALユニット内のPTL構造の少なくとも1つで運ばれるPTL情報に従わなければならない。AVC及びHEVCでは、セッションネゴシエーションのためのPTL情報は、SPSで(HEVC及びAVC用)で及びVPS(HEVC階層化拡張用)で利用可能である。HEVC及びAVCでセッションネゴシエーションのためにPTL情報を運ぶこのような設計は、SPS及びVPSの範囲がビットストリーム全体ではなくCVS内にあるので、欠点がある。これにより、送信側-受信側間のセッションの開始は、新しいCVSごとにビットストリームストリーミング中の再開始に見舞われる可能性がある。DCIは、DCIがビットストリームレベルの情報を運ぶので、この問題を解決し、よって、示されている復号化能力に従うことは、ビットストリームの終わりまで保証され得る。
これより、VVCにおけるビデオパラメータセット(VPS)について説明する。VVCビットストリームは、スケーラブルビットストリームの復号化プロセスの動作のために使用されるレイヤ及び出力レイヤセット(OLS)を記述する情報を含むビデオパラメータセット(VPS)を含み得る。OLSは、1つ以上のレイヤがデコーダから出力されるよう指定されるビットストリーム内のレイヤの組である。OLSで特定される他のレイヤも、出力レイヤを復号するために復号され得るが、そのようなレイヤは、出力されるよう指定されない。VPSに含まれる情報の大半は、セッションネゴシエーション及びコンテンツ選択のような目的のためにシステム内で使用され得る。VPSは、マルチレイヤビットストリームを扱うために導入される。シングルレイヤVVCビットストリームについては、CVSでのVPSの存在は任意である。これは、VPSに含まれる情報がビットストリームの復号化プロセスの動作のために必須ではないからである。CVSでのVPSの欠如は、SPSで0に等しいVPS識別子(ID)を参照することによって、示される。その場合に、デフォルト値が、VPSパラメータのために推測される。
これより、VVCにおけるシーケンスパラメータセット(SPS)について説明する。SPSは、コーディングレイヤビデオシーケンス(Coded Layer Video Sequence,CLVS)全体における全てのピクチャによって共有されているシーケンスレベル情報を運ぶ。これは、PTLインジケータ、ピクチャフォーマット、特徴及び/又はツール制御フラグ、コーディング、予測、及び/又は変換ブロック構造及びヒエラルキ、エンコーダによって参照され得る候補RPL、などを含む。ピクチャフォーマットは、色サンプリングフォーマット、最大ピクチャ幅、最大ピクチャ高さ、及びビット深さを含み得る。ほとんどのアプリケーションで、ただ1つ又は少しのSPSしか、ビットストリーム全体に対して使用されない。よって、ビットストリーム内のSPSを更新する必要はない。SPSの更新は、既存のSPSのSPS IDを用いて、しかし特定のパラメータについては異なる値を有して、新しいSPSを送信することを含み得る。異なるSPS IDを有するか又はSPS IDは同じであるが異なるSPSコンテンツを有するSPSを参照する特定のレイヤからのピクチャは、異なるCLVSに属する。AVC及びHEVCと同様に、SPSは、インバンドで、又はインバンドとアウトオブバンドの混合シグナリングを用いて、運ばれ得る。インバンドのシグナリングは、SPSのようなデータが、コーディングされたピクチャとともに運ばれることを示し、アウトオブバンドのシグナリングは、SPSのようなデータが、コーディングされたピクチャとともに運ばれないことを示す。
これより、VVCにおけるピクチャパラメータセット(PPS)について説明する。PPSは、ピクチャの全てのスライスによって共有されるピクチャレベル情報を運ぶ。そのような情報はまた、複数のピクチャの間でも共有され得る。これは、特徴及び/又はツールオン/オフフラグ、ピクチャ幅及び高さ、デフォルトRPLサイズ、タイル及びスライスの設定、などを含む。設計によって、2つの連続したピクチャは、2つの異なるPPSを参照することができる。これは、多数のPPSがCLVS内で使用されることを生じさせる可能性がある。実際には、ビットストリーム全体のためのPPSの数は、PPSが、頻繁には変化せず、複数のピクチャに適用される可能性があるパラメータを運ぶよう設計されているということで、多くない。従って、CLVS内で、又はビットストリーム全体内でさえ、PPSを更新する必要がない場合がある。適応パラメータセット(APS)が、複数のピクチャに適用され得るパラメータに使用されてもよいが、ピクチャごとに頻繁に変化することが予想される。SPSのように、PPSは、インバンドで、アウトオブバンドで、又はインバンドとアウトオブバンドの混合シグナリングを用いて運ばれ得る。どのピクチャレベルパラメータがAPSに含まれるべきかに対するどのピクチャレベルパラメータがPPSに含まれるべきかに関する基本的な設計原則の1つは、そのようなパラメータが変更される可能性がある頻度である。従って、PPS更新を必要とすることを回避するために、頻繁に変更されるパラメータはPPSに含まれない。これにより、通常の使用ケースでは、PPSのアウトオブバンド送信が許可されなくなる。
これより、VVCにおける適応パラメータセット(APS)について説明する。APSは、ピクチャの複数のスライスによって及び/又は異なるピクチャのスライスによって共有され得るが、ピクチャ間で頻繁に変化する可能性があるピクチャ及び/又はスライスレベル情報を運ぶ。APSは、PPSでの包含に適さないバリアントの総数が多い情報をサポートする。APSに含まれるパラメータには3種類あり、適応ループフィルタ(ALF)パラメータ、クロマスケーリングを伴うルーママッピング(LMCS)パラメータ、及びスケーリングリストパラメータである。APSは、2つの異なるNALユニットタイプで運ばれ得る。これらは、プレフィックス(prefix)又はサフィックス(suffix)として、関連するスライスの前又は後にある。後者は、エンコーダがピクチャに基づきALFパラメータを生成する前にピクチャのスライスを送信できるようにするなど、超低遅延シナリオで役立ち得る。このパラメータは、後続のピクチャによって復号化順に使用される。
これより、ピクチャヘッダ(PH)について説明する。ピクチャヘッダ(PH)構造はPUごとに存在する。PHは、別個のPH NALユニットに存在するか、あるいは、スライスヘッダ(SH)に含まれるかのどちらかである。PHは、PUがただ1つのスライスしか含まない場合には、SHにしか含まれ得ない。設計を簡単にするために、CLVS内で、PHは、全てがPH NALユニットにあるか、あるいは、全てがSHにあるかのどちらかであることしかできない。PHがSHにある場合に、CLVSにPH NALユニットはない。PHは、2つの目的のために設計される。第1に、PHは、ピクチャごとに複数のスライスを含むピクチャのSHのシグナリングオーバーヘッドを低減するのを助ける。PHは、ピクチャの全てのスライスについて同じ値を有する全てのパラメータを運び、そのようにして各SHでの同じパラメータの繰り返しを防ぐことによって、これを達成する。これらのパラメータには、IRAP及び/又はGDRピクチャ指示、インター及び/又はイントラスライス許可フラグ、及びPOC、RPL、デブロッキングフィルタ、SAO、ALF、LMCS、スケーリングリスト、QPデルタ、重み付き予測、コーディングブロックパーティショニング、仮想境界、同一位置(collocated)ピクチャ、などに関する情報がある。第2に、PHは、デコーダが複数のスライスを含む各コーディングされたピクチャの最初のスライスを識別するのを助ける。PHごとにただ1つのPHが存在するので、デコーダは、デコーダがPH NALユニットを受け取る場合に、次のVCL NALユニットがピクチャの最初のスライスであることを認識する。
これより、動作点情報(OPI)について説明する。HEVC及びVVCの復号化プロセスは、復号化動作点をセットするための類似した入力変数を有する。これらには、デコーダAPIにより復号されるビットストリームの最高サブレイヤ及びターゲットOLSが含まれる。しかし、ビットストリームのレイヤ及び/又はサブレイヤが伝送中に削除されたり、あるいは、デバイスがデコーダアプリケーションプログラミングインターフェース(API)をアプリケーションに公開したりしないシナリオでは、デコーダは、ビットストリームを処理するための動作点を正確に決定することができない場合がある。従って、デコーダは、復号化ピクチャのための適切なバッファ割り当て、及び個々のピクチャが出力されるか否かのような、ビットストリーム内のピクチャの特性について結論を出すことができない可能性がある。この問題に対処するために、VVCは、OPI NALユニットによりビットストリーム内にこれら2つの変数を示すモードを含める。ビットストリームの先頭にあるAU及びビットストリームの個々のCVSでは、OPI NALユニットが、デコーダに、復号されるビットストリームの最高サブレイヤ及びターゲットOLSを知らせる。OPI NALユニットが存在し、動作点がデコーダAPI情報によってもデコーダに供給される場合には、デコーダAPI情報が優先される。例えば、アプリケーションは、ターゲットOLS及びサブレイヤに関する更に更新された情報を有する場合がある。ビットストリームにデコーダAPI及びOPI NALユニットの両方がない場合に、適切なデコーダ動作を可能にするために、適切なフォールバック選択がVVCで指定される。
これより、例となるCMAF仕様が説明される。VVCビデオCMAFトラックは、次のように記載される。VVC CMAFトラックは、NAL構造化ビデオCMAFトラックの要件に従わなければならない。更に、CMAFトラックは、ここで記載される他の全ての要件に従ってもよい。CMAFトラックがこれらの要件に従う場合に、CMAFトラックはVVCビデオCMAFトラックと呼ばれ、ブランド‘cvvc’を使用し得る。VVCビデオトラック制約についても説明する。例において、VVCビデオCMAFスイッチングセット制約は次の通りである。CMAFスイッチングセット内のあらゆるCMAFトラックが、ここで定義されるようにVVCビデオCMAFトラックに従わなければならない。VVCビデオCMAFスイッチングセットは、NAL構造化ビデオCMAFスイッチングセットに対する制約に従わなければならない。
これより、視覚サンプルエントリについて説明する。VVCビデオトラックの視覚サンプルエントリのシンタックス及び値は、VVCSampleEntry(‘vvcl’)又はVVCSampleEntry(‘vvci’)サンプルエントリに従わなければならない。VVCエレメンタリストリームに対する制約についてこれより説明する。VPSに関して、CMAFトラック内の各VVCビデオメディアサンプルは、0に等しいsps_video_parameter_set_idを用いてSPSを参照しなければならず、その場合に、エレメンタリストリームにはVPSが存在せず、あるいは、CMAFヘッダサンプルエントリ内のVPSを参照しなければならない。存在する場合には、次の更なる制約が適用される。VPS内の各profile_tier_level()構造について、次のフィールド:general_profile_idc、general_tier_flag、general_level_idc、num_sub_profiles、及びgeneral_subc_profile_idc[i]、の値はVVCエレメンタリストリームにわたって変化してはならない。
CMAF VVCトラック内で発生するSPS NALユニットは、次の更なる制約とともにここでの制約に従わなければならない。次のフィールドは、次のように、所定の値を有さなければならない:最初に、vui_parameters_present_flagは、1にセットされなければならず、第2に、profile_tier_level()構造がSPSに存在する場合には、次のフィールド:general_profile_idc、general_tier_flag、general_level_idc、num_sub_profiles、及びgeneral_sub_profile_idc[i]、の条件は、VVCエレメンタリストリームにわたって変化してはならない。
これより、画像クロッピングパラメータについて説明する。SPS及びPPSクロッピングパラメータconf_win_top_offset及びconf_win_left_offsetは、0にセットされなければならない。SPS及びPPSクロッピングパラメータconf_win_bottom_offset及びconf_win_right_offsetは、0以外の値にセットされてもよい。非ゼロ値にセットされる場合には、そのようなシンタックス要素は、表示を目的としていないビデオ空間サンプルを削除するためにCMAFプレイヤーによって使用されることが予想される。
これより、ビデオコーデックパラメータについて説明する。コーデックパラメータ(情報)のVVCシグナリングについて以下に記載する。プレゼンテーションアプリケーションは、パラメータを用いてビデオコーデックプロファイル及び各VVCトラック及びCMAFスイッチングセットのレベルを通知すべきである。暗号化についても説明する。CMAF VVCトラック及びCMAF VVCスイッチングセットの暗号化は、‘cenc’AES-CTRスキーム又は‘cbcs’AES-CBCサブサンプルパターン暗号化スキームのどちらか一方を使用しなければならない。更に、共通暗号化(Common Encryption)の‘cbcs’モードがパターン暗号化を使用する場合には、10のパターンブロック長さ及び1:9の暗号化:スキップパターンが適用されなければならない。
以下は、開示されている技術的解決法によって解決される技術的問題の例である。例えば、例となるVVC CMAF設計では、プロファイル、ティア、及びレベルは、VPS及びSPSで通知される必要があり得るので、VVCエレメンタリストリームにわたって変化しない可能性がある。しかし、VVCビットストリームについては、DCI NALユニットが、代わりに、プロファイル、ティア、及びレベルをビットストリーム内でCVSごとに異ならせることを可能にしながら、ビットストリーム全体に対する必要とされる復号化能力を運ぶために使用され得る。これは更なる柔軟性を可能にし、これにより、コンテンツ準備に必要とされるトランスコーディング及び他のプロセスは減ることになる。
上記の問題の1つ以上に対処するメカニズムが、ここでは開示される。例えば、VVCビットストリームとしても知られているVVCエレメンタリストリームは、VVC CMAFトラックに含まれ得る。VVCエレメンタリストリームは、1つ以上のCVSを含み得る。ビットストリームのプロファイル、ティア、及びレベル(PTL)情報は、同じビットストリーム内でCVSごとに変化し得る。この機能を可能にするために、PTL情報は、対応する制約が維持される限りは、DCI NALユニット、VPS、及び/又はSPSで通知され得る。例において、DCI NALユニットはCMAFトラックに含まれる必要がある。例において、複数のDCI NALユニットがCMAFトラックに含まれる場合に、全てのDCI NALユニットが同じコンテンツを含むことを求められ得る。他の例では、CMAFトラックは、単一のDCI NALユニットしか含まなくてもよい。例において、DCI NALユニットは、CMAFヘッダサンプルエントリに含まれることを求められ得る。様々な例において、DCI NALユニットは、PTLのDCI数から1をマイナスした数(dci_num_ptls_minus1)のフィールド、PTLフレームのみ制約フラグ(ptl_frame_only_contraint_flag)のフィールド、及びPTLマルチレイヤ有効化フラグ(ptl_multilayer_enabled_flag)を含み得る。これらは夫々、0、1、及び0等しい必要がある。例において、CMAFトラックは、単一のVPSを含むよう制限される。例において、DCI NALユニットが存在しない場合に、VPS内の様々なptl_frame_only_contraint_flag関連情報は、所定の値にセットされることを求められ、かつ/あるいは、以下で更に説明されるように、CVSごとに同じままであることを求められる。例において、SPS内の様々なPTL関連情報は、所定の値にセットされることを求められ、かつ/あるいは、以下で更に説明されるように、CVSごとに同じままであることを求められる。例において、タイミングに関連した仮想参照デコーダ(HRD)パラメータも、CVSごとに同じままであることを求められ得る。
図1は、例となるCMAFトラック100を表す概略図である。CMAFトラック100は、CMAF標準規格で定められている制約に基づきカプセル化されているビデオデータのトラックである。CMAFトラック100は、適応ストリーミングに従って広範囲のクライアントデバイスによる配信及び復号化をサポートするよう制約される。適応ストリーミングでは、メディアプロファイルは、複数の異なる交換可能な表現を記述する。これにより、クライアントデバイスは、デコーダ能力及び/又は現在のネットワーク条件に基づき所望の表現を選択することができる。CMAFトラック100は、対応するプロファイル、ティア、及びレベル(PTL)での復号化能力を有し、対応するコーディングツールを使用する能力を有し、かつ/あるいは、他の所定の制約を満足する能力を有するクライアントによって復号化可能であるよう制約される表現を含むことによって、そのような機能をサポートすることができる。
CMAFトラック123は、多くのタイプの復号化可能なビデオストリームを含むことができる。目下の例では、CMAFトラック123はVVCストリーム121を含む。ビットストリームとしても知られているVVCストリーム121は、VVC標準規格に従ってコーディングされているビデオデータのストリームである。例えば、VVCストリーム121は、コーディングされたピクチャのストリームと、コーディングプロセス及び/又はデコーダにとって有用である他のデータを記述する関連するシンタックスとを含むことができる。VVCストリーム121は1つ以上のCVS117を含み得る。CVS117は、復号化順でのアクセスユニット(AU)のシーケンスである。AUは、対応する出力/表示時間を有する1つ以上のピクチャの組である。そのようなものとして、CVS117は、一連の関連するピクチャと、ピクチャを復号及び/又は記述することをサポートするために使用される対応するシンタックスとを含む。
CVS117は、DCI NALユニット115、VPS111、SPS113、及び/又はコーディングされたビデオ119を有し得る。DCI NALユニット115は、CVS117における及び/又はVVCストリーム121全体におけるビデオデータを復号するための要件を記述する情報を含む。DCI NALユニット115は任意であり、いくつかのVVCストリーム121及び/又はCVS117では省略されてもよい。留意されるべきは、VVCストリーム121の部分として表されているが、DCI NALユニット115は、いくつかの例では、CMAFトラック123内のCMAFヘッダサンプルエントリに含まれてもよい点である。VPS111は、VVCストリーム121全体に関するデータを含み得る。例えば、VPS111は、VVCストリーム121で使用されるデータ関連出力レイヤセット(OLS)、レイヤ、及び/又はサブレイヤを含み得る。VPS111は任意であり、いくつかのVVCストリーム121及び/又はCVS117では省略されてもよい。SPS113は、VVCストリーム121に含まれるCVS117内の全てのピクチャに共通するシーケンスデータを含む。SPS113内のパラメータは、ピクチャサイジング、ビット深さ、コーディングツールパラメータ、ビットレート制限、などを含むことができる。SPS113は、少なくとも1つのCVS117に含まれるべきである。しかし、複数のCVS117が同じSPS113を参照することができる。従って、VVCストリーム121は1つ以上のSPS113を含むべきである。コーディングされたビデオ119は、VVCに従ってコーディングされたピクチャと、対応するシンタックスとを含む。
本開示は、DCI NALユニット115、VPS111、及び/又はSPS113に含まれるシンタックス要素に適用される制約に関する。例において、DCI NALユニット115は、CMAFトラック123に存在する必要がある。例において、1よりも多いDCI NALユニット115が単一のCMAFトラック123に存在する場合に、全てのそのようなDCI NALユニット115は、同じコンテンツを含むことを求められ得る。いくつかの例では、CMAFトラック123は、ただ1つのDCI NALユニット115を含むよう制限され得る。そのような場合に、ビデオコンテンツの複数のCVS117は、単一のDCI NALユニット115によって記述され得る。存在する場合に、DCI NALユニット115は、PTLのDCI数から1をマイナスした数(dci_num_ptls_minus1)132、及び/又はPTLシンタックス(profile_tier_level)構造130を含み得る。dci_num_ptls_minus1 132は、DCI NALユニット115に含まれるprofile_tier_level構造130の数をマイナス1形式で指定し得る。マイナス1形式は、シンタックス要素が実際の値よりも1少ない数を含むことを示すので、実際の値を決定するためには、シンタックス要素に含まれる値に1が加えられる。例において、dci_num_ptls_minus1 132は、ゼロに等しいよう制限される場合がある。これは、単一のprofile_tier_level構造130を示す。これは、ひと組のPTL情報に従うビデオがCMAFトラック123に含まれることを示す。profile_tier_level構造130は、例に応じて、DCI NALユニット115、VPS111、及び/又はSPS113に含まれ得る。これについて、以下で更に詳細に説明される。
例において、CMAFトラック123は、ただ1つのVPS111を含むよう制限される。そのような場合に、複数のCVS117が、単一のVPS111によって記述され得る。VPS111は、VPS最大レイヤから1をマイナスした数(vps_max_layers_minus1)のフィールド134、PTLのVPS数から1をマイナスした数(vps_num_ptls_minus1)のフィールド133、汎用仮想参照デコーダ(HRD)パラメータ(general_timing_hrd_parameters)構造131、及びprofile_tier_level構造130を含み得る。vps_max_layers_minus1 134は、VPS111によって指定されるレイヤの数をマイナス1形式で示す。例において、vps_max_layers_minus1 134は、ゼロの値を含むよう制限される場合がある。これは、VPS111が単一レイヤを記述することを示す。vps_num_ptls_minus1フィールド133は、VPS111に含まれるprofile_tier_level構造130の数をマイナス1形式で指定し得る。例において、vps_num_ptls_minus1フィールド133は、ゼロの値を含むよう制限され得る。これは、ひと組のPTL情報がVPS111に含まれることを示す。
general_timing_hrd_parameters131は、例に応じて、VPS111及び/又はSPS113に含まれ得る。例えば、VPS111が含まれる場合に、VPS111はgeneral_timing_hrd_parameters131を含み得る。VPS111が含まれない場合には、SPSがgeneral_timing_hrd_parameters131を含み得る。general_timing_hrd_parameters131は、エンコーダで作動するHRDによって使用されるタイミング関連パラメータを含む。一般に、HRDは、VVCストリーム121がVVC標準規格に従っているかどうかをチェックするためにHRDパラメータを使用することができる。general_timing_hrd_parameters131は、コーディングされたビデオ119に関する時間パラメータをエンコーダに示す。例えば、general_timing_hrd_parameters131は、どれくらい速く各ピクチャがデコーダによる正確な表示のために復号化及び再構成されるべきかを示し得る。例において、general_timing_hrd_parameters131は、時間スケール(time_scale)フィールド及びチック内のユニット数(num_units_in_tick)のフィールドを含み得る。time_scaleフィールドは、秒単位で経過する時間単位の数を示し、時間単位は、ビデオ信号のピクチャレート周波数に対応する。num_units_in_tickは、クロックチックと呼ばれる1インクリメントに対応するヘルツ(Hz)単位のtime_scaleの周波数で動作するクロックの時間単位の数を示す。例において、general_timing_hrd_parameters131におけるnum_units_in_tick及びtime_scaleの値は、同じVVCストリーム121内のCVS117ごとに変化しないように制限される。例において、general_timing_hrd_parameters131内のnum_units_in_tick及びtime_scaleの値は、CMAFトラック123全体について変化しないように制限される。
SPS113は、例えば、VPS111が含まれない場合に、上述されたgeneral_timing_hrd_parameters131を含み得る。SPS113はまた、例えば、DCI NALユニット115及び/又はVPS111が含まれない場合に、profile_tier_level構造130も含み得る。SPS113はまた、ビデオユーザビリティ情報ペイロード(vui_payload)構造135も含み得る。vui_payload構造135は、どのようにコーディングされたビデオ119がデコーダによって使用されるべきかを記述する情報を含む。例えば、vui_payload構造135は、ビデオユーザビリティ情報プログレッシブソースフラグ(vui_progressive_source_flag)フィールド139及びビデオユーザビリティ情報インターレースソースフラグ(vui_interlaced_source_flag)フィールド138を含み得る。vui_progressive_source_flagフィールド139は、CMAFトラック123内のビデオがプログレッシブスキャニングに従ってコーディングされるかどうかを示すようセットされ得る。vui_interlaced_source_flagフィールド138は、CMAFトラック123内のビデオがインターレーシングに従ってコーディングされるかどうかを示すようセットされ得る。例において、vui_interlaced_source_flagフィールド138、vui_progressive_source_flagフィールド139、又はその両方は、1にセットされることを必要とされ得る。これは、コーディングされたビデオ119がインターレーシング、プログレッシブスキャニング、又はその両方に従ってコーディングされていることを示す。
上述されたように、DCI NALユニット115、VPS111、及び/又はSPS113は、profile_tier_level構造130を含み得る。profile_tier_level構造130は、コーディングされたビデオをコーディングするために使用されるプロファイル、ティア、及びレベルに関する情報を含む。プロファイルは、コーディングされたビデオをコーディングするために使用されるプロファイルを示す。異なるプロファイルは、異なるビット深さ、異なるクロマサンプリングフォーマット、交差成分予測利用可能性、イントラ平滑化無効化利用可能性のような、異なるコーディング特性(例えば、異なるコーディングツールの利用可能性)を有する。ティアは、コーディングされたビデオ119が高ティア又は主ティアに従ってコーディングされており、従って一般的なアプリケーションのうち要件の厳しいアプリケーションのためにコーディングされているかどうかを示す。レベルは、ビットレート最大値、最大ピクチャサイズ、最大サンプルレート、最大フレームレートでの分解能、タイルの最大数、ピクチャごとのスライスの最大数、などのような、コーディングされたビデオ119に関する制約を示す。従って、profile_tier_level構造130内のPTL情報は、コーディングされたビデオ119を復号化及び表示するためにデコーダが有さなければならない能力を記述する。
profile_tier_level構造130は、PTLフレームのみ制約フラグ(ptl_frame_only_contraint_flag)フィールド141、PTLマルチレイヤ有効化フラグ(ptl_multilayer_enabled_flag)フィールド143、汎用プロファイル識別コード(general_profile_idc)145、汎用ティアフラグ(general_tier_flag)147、汎用レベル識別コード(general_level_idc)149、サブレイヤプロファイルの数(num_sub_profiles)142、及び/又は各i番目のインターオペラビリティインジケータの汎用サブレイヤプロファイル識別コード(general_sub_profile_idc[i])144を含み得る。ptl_frame_only_contraint_flagフィールド141は、フレーム(例えば、完全なスクリーン画像)又はフィールド(例えば、スクリーンを満たすために結合されるよう意図された部分的なスクリーン画像)を表すピクチャをCVS117が運ぶかどうかを指定する。例において、制約は、ptl_frame_only_contraint_flagフィールド141が1にセットされることを求める場合がある。これは、フレームとしてコーディングされたピクチャがコーディングされたビデオ119に含まれることを示す。ptl_multilayer_enabled_flag143は、コーディングされたビデオ119が複数のレイヤでコーディングされるかどうかを示す。例において、ptl_multilayer_enabled_flag143は0にセットされ、これは、コーディングされたビデオ119が単一のレイヤでコーディングされることを示す。
general_profile_idc145、general_tier_flag147、及びgeneral_level_idc149は、コーディングされたビデオ119のプロファイル、ティア、及びレベルを夫々示す。general_sub_profile_idc[i]144は、インターオペラビリティインジケータの0乃至i個の値を示す。num_sub_profiles142は、general_sub_profile_idc[i]144に含まれるシンタックス要素の数を示す。例において、general_profile_idc145、general_tier_flag147、general_level_idc149、num_sub_profiles142、及びgeneral_sub_profile_idc[i]144に含まれる値は、同じVVCストリーム内でCVS117ごとに不変であることを求められる。他の例では、general_profile_idc145、general_tier_flag147、general_level_idc149、num_sub_profiles142、及びgeneral_sub_profile_idc[i]144に含まれる値は、CMAFトラック123内で不変であることを求められる。
上記の問題及び他を解決するために、以下で要約される方法が開示される。項目は、一般概念について説明するための例と見なされるべきであり、狭い意味で解釈されるべきではない。更に、これらの項目は、個々に適用されても、又は任意の方法で組み合わされてもよい。
[例1]
一例で、規則は、DCI NALユニットがVVC CMAFトラックに存在すべきであることを定めてよい。
[例2]
一例で、規則は、DCI NALユニットがVVC CMAFトラックに存在しなければならないことを定めてよい。
[例3]
一例で、規則は、VVC CMAFトラックに存在する全てのDCI NALユニットが同じコンテンツを有さなければならないことを定めてよい。
[例4]
一例で、規則は、VVC CMAFトラックにはただ1つのDCI NALユニットが存在しなければならないことを定めてよい。
[例5]
一例で、規則は、DCI NALユニットがVVC CMAFトラックに存在する場合に、DCI NALユニットがCMAFヘッダサンプルエントリに存在しなければならないことを定めてよい。
[例6]
一例で、規則は、VVC CMAFトラック内のDCI NALユニットにおけるdci_num_ptls_minus1フィールドの値が0に等しくなければならないことを定めてよい。
[例7]
一例で、規則は、VVC CMAFトラック内のDCI NALユニットにおけるprofile_tier_level()構造内のptl_frame_only_contraint_flagフィールドの値が1に等しくなければならないことを定めてよい。
[例8]
一例で、規則は、VVC CMAFトラック内のDCI NALユニットにおけるprofile_tier_level()構造内のptl_multilayer_enabled_flagフィールドの値が0に等しくなければならないことを定めてよい。
[例9]
一例で、規則は、VVC CMAFトラックにはただ1つのVPSユニットが存在しなければならないことを定めてよい。
[例10]
一例で、規則は、DCI NALユニットがVVC CMAFトラックに存在せず、1つ以上のVPSがVVC CMAFトラックに存在する場合に、次の制約のうちの1つ以上が適用されることを定めてよい。制約は、vps_max_layers_minus1フィールドの値が各VPSについて0に等しくなければならず、かつ、vps_num_ptls_minus1フィールドの値が各VPSについて0に等しくなければならないことを含む。
例において、次の制約が、各VPS内のprofile_tier_level()構造に適用される。そのような制約は、ptl_frame_only_contraint_flagフィールドの値が1に等しくなければならず、かつ、ptl_multilayer_enabled_flagフィールドの値が0に等しくなければならないことを含む。
例において、参照されているVPSのprofile_tier_level()構造内の次のフィールド:general_profile_idc、general_tier_flag、general_level_idc、num_sub_profiles、及びi個の値の夫々のgeneral_sub_profile_idc[i]、の夫々の値は、VVCエレメンタリストリームにわたって、コーディングされたビデオシーケンスごとに変化してはならない。例において、規則は、これらの各フィールドの値が、VVC CMAFトラックに存在する全てのVPSについて同じであることを求めてもよい。
[例11]
一例で、規則は、VVC CMAFトラック内のSPSにおけるvui_payload()構造内のvui_progressive_source_flagフィールドの値が1に等しくなければならないことを定めてよい。
[例12]
一例で、規則は、VVC CMAFトラック内のSPSにおけるvui_payload()構造内のvui_interlaced_source_flagフィールドの値が1に等しくなければならないことを定めてよい。
[例13]
一例で、規則は、DCI NALユニットが存在せず、VPSがVVC CMAFトラックに存在しない場合に、参照されているSPSのprofile_tier_level()構造内の次のフィールド:general_profile_idc、general_tier_flag、general_level_idc、num_sub_profiles、及びi個の値の夫々のgeneral_sub_profile_idc[i]、の夫々の値が、VVCエレメンタリストリームにわたって、コーディングされたビデオシーケンスごとに変化してはならないことを定めてよい。例において、規則は、これらの各フィールドの値が、VVC CMAFトラックに存在する全てのSPSについて同じであることを求めてもよい。
[例14]
一例で、規則は、参照されているVPS又はSPS内で存在する場合にgeneral_timing_hrd_parameters()構造内の次のフィールド:num_units_in_tick及びtime_scale、の夫々の値が、VVCエレメンタリストリームにわたって、コーディングされたビデオシーケンスごとに変化してはならないことを定めてよい。例において、規則は、これらの各フィールドの値が、VVC CMAFトラックに存在するVPS又はSPS内の全てのgeneral_timing_hrd_parameters(構造)について同じでなければならないことを求めてもよい。
上記の例の実施形態についてこれより説明する。この実施形態はCMAFに適用され得る。VVC CMAF仕様に関して、追加又は変更されているほとんどの関連部分は、下線付き太字で示され、削除された部分のいくつかは、太字イタリック体で示される。本質的に編集的であって、従って強調表示されないいくつか他の変更がある場合がある。
X.1 VVCビデオCMAFトラック。VVC CMAFトラックは、NAL構造化ビデオCMAFトラックの要件に従わなければならない。更に、それは、この付録内の残り全ての要件に従わなければならない。CMAFトラックがこれらの要件に従う場合に、それは、VVCビデオCMAFトラックと呼ばれ、ブランド‘cvvc’を使用し得る。
X.2 VVCビデオトラック制約。X.2.1 VVCビデオCMAFスイッチングセット制約。CMAFスイッチングセット内のあらゆるCMAFトラックは、第X.1項で定義されるようにVVCビデオCMAFトラックに従わなければならない。VVCビデオCMAFスイッチングセットは、NAL構造化ビデオCMAFスイッチングセットに対する制約に従わなければならない。
X.2.2 視覚サンプルエントリ。VVCビデオトラックの視覚サンプルエントリのシンタックス及び値は、ISO/IEC 14496-15で定義されるように
(外1)
Figure 2022164946000002
に従わなければならない。
Figure 2022164946000003
Figure 2022164946000004
Figure 2022164946000005
Figure 2022164946000006
Figure 2022164946000007
図2は、本明細書で開示される様々な技術が実装され得る例示的なビデオ処理システム4000を示すブロック図である。様々な実施は、システム4000のコンポーネントの一部又は全部を含んでよい。システム4000は、ビデオコンテンツを受ける入力部4002を含み得る。ビデオコンテンツは、生の又は圧縮されていないフォーマット、例えば、8又は10ビットのマルチコンポーネントピクセル値で受け取られてもよく、あるいは、圧縮又は符号化されたフォーマットであってもよい。入力部4002は、ネットワークインターフェース、ペリフェラルバスインターフェース、又はストレージインターフェースに相当してもよい。ネットワークインターフェースの例には、Ethernet(登録商標)、受動光ネットワーク(PON)などのような有線インターフェース、及びWi-Fi又はセルラーネットワークなどの無線インターフェースが含まれる。
システム4000は、本明細書で記載されている様々なコーディング又は符号化方法を実装し得るコーディングコンポーネント4004を含んでもよい。コーディングコンポーネント4004は、ビデオのコーディングされた表現を生成するよう、入力部4002からコーディングコンポーネント4004の出力部へのビデオの平均ビットレートを低減し得る。コーディング技術は、従って、ビデオ圧縮又はビデオトランスコーディング技術と時々呼ばれる。コーディングコンポーネント4004の出力は、コンポーネント4006によって表されるように、保存されても、あるいは、接続された通信を介して伝送されてもよい。入力部4002で受け取られたビデオの保存又は通信されたビットストリーム(又はコーディングされた)表現は、ピクセル値又は表示インターフェース4010へ送られる表示可能なビデオを生成するためのコンポーネント4008によって使用されてもよい。ユーザが見ることができるビデオをビットストリーム表現から生成するプロセスは、ビデオ圧縮解除と時々呼ばれる。更に、特定のビデオ処理動作が「コーディング」動作又はツールと呼ばれる一方で、そのようなコーディングツール又は動作はエンコーダで使用され、コーディングの結果を入れ替える対応する復号化ツール又は動作は、デコーダによって実行されることになることが理解されるだろう。
ペリフェラルバスインターフェース又は表示インターフェースの例には、ユニバーサルシリアルバス(USB)又は高精細マルチメディアインターフェース(HDMI(登録商標))又はDisplayport(登録商標)などが含まれ得る。ストレージインターフェースの例には、SATA(Serial Advanced Technology Attachment)、PCI、IDEインターフェース、などがある。本明細書で説明されている技術は、携帯電話機、ラップトップ、スマートフォン、あるいは、デジタルデータ処理及び/又はビデオ表示を実行する能力がある他のデバイスなどの様々な電子デバイスで具現されてもよい。
図3は、ビデオ処理装置4100のブロック図である。装置4100は、本明細書で記載されている方法の1つ以上を実装するために使用され得る。装置4100は、スマートフォン、タブレット、コンピュータ、インターネット・オブ・シングス(IoT)レシーバ、などで具現されてもよい。装置4100は、1つ以上のプロセッサ4102、1つ以上のメモリ4104、及びビデオ処理回路4106を含み得る。プロセッサ4102は、本明細書で記載される1つ以上の方法を実装するよう構成され得る。メモリ(複数のメモリ)4104は、本明細書で記載される方法及び技術を実装するために使用されるデータ及びコードを記憶するために使用され得る。ビデオ処理回路4106は、ハードウェア回路において、本明細書で記載されるいくつかの技術を実装するために使用され得る。いくつかの実施形態において、ビデオ処理回路4106は、部分的に又は完全にプロセッサ4102、例えば、グラフィクスプロセッサコアに含まれてもよい。
図4は、ビデオ処理の例示的な方法4200についてのフローチャートである。方法4200は、ステップ4202で、VVC CMAFトラックにおけるSPS内の情報を決定するステップを含む。例において、規則は、SPS内のvui_progressive_source_flagフィールドの値が1に等しくなければならないことを定める。例において、vui_progressive_source_flagはvui_payload構造に含まれる。例において、vui_progressive_source_flagは、VVC CMAFトラック内のビデオがプログレッシブスキャニングに従ってコーディングされることを示すよう1に等しい。例において、規則は、SPS内のvui_interlaced_source_flagフィールドの値が1に等しくなければならないことを定める。例において、vui_interlaced_source_flagはvui_payload構造に含まれる。例において、vui_interlaced_source_flagは、VVC CMAFトラック内のビデオがインターレーシングに従ってコーディングされることを示すよう1に等しい。例において、SPSはVVCエレメンタリストリームに含まれ、VVCエレメンタリストリームはCMAFトラックに含まれる。
ステップ4204で、SPSに基づき、視覚メディアデータとメディアデータファイルとの間で変換が実行される。方法4200がエンコーダで実行される場合に、変換は、視覚メディアデータに従ってメディアデータファイルを生成することを有する。変換は、SPSを決定し、CMAFトラックに含まれるビットストリーム内に符号化することを含む。方法4200がデコーダで実行される場合に、変換は、SPSに従ってCMAFトラック内のビットストリームをパース及び復号化して、視覚メディアデータを取得することを有する。
留意されるべきは、方法4200は、ビデオエンコーダ4400、ビデオデコーダ4500、及び/又はエンコーダ4600のような、プロセッサと、命令を有する非一時的なメモリとを有するビデオデータ処理装置で実装され得ることである。更に、方法4200は、ビデオコーディングデバイスによって使用されるコンピュータプログラム製品を有する非一時的なコンピュータ可読媒体によって実行され得る。コンピュータプログラム製品は、プロセッサによって実行される場合にビデオコーディングデバイスに方法4200を実行させる、非一時的なコンピュータ可読媒体に記憶されたコンピュータ実行可能命令を有する。
図5は、本開示の技術を利用し得る、例となるビデオコーディングシステム4300を表すブロック図である。ビデオコーディングシステム4300は、発信元デバイス4310及び送信先デバイス4320を含んでよい。発信元デバイス4310は、符号化されたビデオデータを生成し、ビデオ符号化デバイスと呼ばれ得る。送信先デバイス4320は、発信元デバイス4310によって生成された符号化されたビデオデータを復号することができ、ビデオ復号化デバイスと呼ばれ得る。
発信元デバイス4310は、ビデオソース4312、ビデオエンコーダ4314、及び入力/出力(I/O)インターフェース4316を含んでよい。ビデオソース4312は、ビデオ捕捉デバイスなどのソース、ビデオコンテンツプロバイダからビデオデータを受け取るインターフェース、及び/又はビデオデータを生成するコンピュータグラフィクスシステム、あるいは、そのようなソースの組み合わせを含んでよい。ビデオデータは1つ以上のピクチャを有してもよい。ビデオエンコーダ4314は、ビットストリームを生成するようビデオソース4312からのビデオデータを符号化する。ビットストリームは、ビデオデータのコーディングされた表現を形成するビットのシーケンスを含んでよい。ビットストリームは、コーディングされたピクチャ及び関連するデータを含んでもよい。コーディングされたピクチャは、ピクチャのコーディングされた表現である。関連するデータは、シーケンスパラメータセット、ピクチャパラメータセット、及び他のシンタックス構造を含んでもよい。I/Oインターフェース4316は、変調器/復調器(モデム)及び/又は送信器を含んでよい。符号化されたビデオデータは、I/Oインターフェース4316を介して送信先デバイス4320に対してネットワーク4330を通じて直接に伝送されてよい。符号化されたビデオデータはまた、送信先デバイス4320によるアクセスのために記憶媒体/サーバ4340に記憶されてもよい。
送信先デバイス4320は、I/Oインターフェース4326、ビデオデコーダ4324、及び表示デバイス4322を含んでよい。I/Oインターフェース4326は、受信器及び/又はモデムを含んでよい。I/Oインターフェース4326は、発信元デバイス4310又は記憶媒体/サーバ4340から符号化されたビデオデータを取得してよい。ビデオデコーダ4324は、符号化されたビデオデータを復号してよい。表示デバイス4322は、復号されたビデオデータをユーザに表示してよい。表示デバイス4322は、送信先デバイス4320と一体化されてもよく、あるいは、外付け表示デバイスとインターフェース接続するよう構成されて送信先デバイス4320の外にあってもよい。
ビデオエンコーダ4314及びビデオデコーダ4324は、HEVC(High Efficiency Video Coding)標準規格、VVC(Versatile Video Coding)標準規格、並びに他の現在の及び/又は更なる標準規格などのビデオ圧縮規格に従って作動してもよい。
図6は、ビデオエンコーダ4400の例を表すブロックであり、図5に表されているシステム4300のビデオエンコーダ4314であってよい。ビデオエンコーダ4400は、本開示の技術のいずれか又は全てを実行するよう構成されてよい。ビデオエンコーダ4400は、複数の機能コンポーネントを含む。本開示で記載される技術は、ビデオエンコーダ4400の様々なコンポーネントの間で共有されてもよい。いくつかの例では、プロセッサは、本開示で記載される技術のいずれか又は全てを実行するよう構成されてもよい。
ビデオエンコーダ4400の機能コンポーネントは、パーティションユニット4401と、モード選択ユニット4403、動き推定ユニット4404、動き補償ユニット4405及びイントラ予測ユニット4406を含み得る予測ユニット4402と、残差生成ユニット4407と、変換ユニット4408と、量子化ユニット4409と、逆量子化ユニット4410と、逆変換ユニット4411と、再構成ユニット4412と、バッファ4413と、エントロピ符号化ユニット4414とを含んでよい。
他の例では、ビデオエンコーダ4400は、より多い、より少ない、又は異なる機能コンポーネントを含んでもよい。例において、予測ユニット4402は、イントラブロックコピー(Intra Block Copy,IBC)ユニットを含んでもよい。IBCユニットは、少なくとも1つの参照ピクチャが、現在のビデオブロックが位置しているピクチャであるIBCモードで、予測を実行し得る。
更に、動き推定ユニット4404及び動き補償ユニット4405などのいくつかのコンポーネントは、高度に集積されてもよいが、説明のために図6の例では別々に表されている。
パーティションユニット4401は、ピクチャを1つ以上のビデオブロックにパーティション化してよい。ビデオエンコーダ4400及びビデオデコーダ4500は、様々なビデオブロックサイズをサポートし得る。
モード選択ユニット4403は、例えば、エラー結果に基づいて、イントラ又はインターのコーディングモードの1つを選択し、結果として得られたイントラ又はインターコーディングされたブロックを、残差ブロックデータを生成する残差生成ユニット207へ、及び参照ピクチャとしての使用のために、符号化されたブロックを再構成する再構成ユニット212へ供給してよい。いくつかの例では、モード選択ユニット4403は、予測がインター予測信号及びイントラ予測信号に基づくイントラ-インター複合予測(Combination of Intra and Inter Prediction,CIIP)モードを選択してもよい。モード選択ユニット4403はまた、インター予測の場合に、ブロックの動きベクトルのための分解能(例えば、サブピクセル又は整数ピクセル精度)を選択してもよい。
現在のビデオブロックに対してインター予測を実行するために、動き推定ユニット4404は、バッファ4413からの1つ以上の参照フレームを現在のビデオブロックと比較することによって、現在のビデオブロックの動き情報を生成してもよい。動き補償ユニット4405は、動き情報と、現在のビデオブロックに関連したピクチャ以外のバッファ4413からのピクチャの復号されたサンプルとに基づいて、現在のビデオブロックの予測されたビデオブロックを決定してもよい。
動き推定ユニット4404及び動き補償ユニット4405は、例えば、現在のビデオブロックがIスライス、Pスライス、又はBスライスであるかどうかに応じて、現在のビデオブロックのために異なる動作を実行してもよい。
いくつかの例では、動き推定ユニット4404は、現在のビデオブロックのために一方向予測を実行してもよく、動き推定ユニット4404は、現在のビデオブロックのための参照ビデオブロックをリスト0又はリスト1の参照ピクチャから探してもよい。動き推定ユニット4404は、次いで、参照ビデオブロックを含むリスト0又はリスト1内の参照ピクチャを示す参照インデックスと、現在のビデオブロックと参照ビデオブロックとの間の空間変位を示す動きベクトルとを生成してよい。動き推定ユニット4404は、現在のビデオブロックの動き情報として参照インデックス、予測方向インジケータ、及び動きベクトルを出力し得る。動き補償ユニット4405は、現在のビデオブロックの動き情報によって示されている参照ビデオブロックに基づいて、現在のブロックの予測されたビデオブロックを生成し得る。
他の例では、動き推定ユニット4404は、現在のビデオブロックのために双方向予測を実行してもよく、動き推定ユニット4404は、現在のビデオブロックのための参照ビデオブロックをリスト0内の参照ピクチャから探してもよく、また、現在のビデオブロックのためのもう1つの参照ビデオブロックをリスト1内の参照ピクチャから探してもよい。動き推定ユニット4404は、次いで、参照ビデオブロックを含むリスト0及びリスト1内の参照ピクチャを示す参照インデックスと、参照ビデオブロックと現在のビデオブロックとの間の空間変位を示す動きベクトルとを生成してもよい。動き推定ユニット4404は、現在のビデオブロックの動き情報として現在のビデオブロックの参照インデックス及び動きベクトルを出力し得る。動き補償ユニット4405は、現在のビデオブロックの動き情報によって示されている参照ビデオブロックに基づいて、現在のビデオブロックの予測されたビデオブロックを生成し得る。
いくつかの例では、動き推定ユニット4404は、デコーダの復号化処理のために動き情報のフルセットを出力してもよい。いくつかの例では、動き推定ユニット4404は、現在のビデオの動き情報のフルセットを出力しなくてもよい。むしろ、動き推定ユニット4404は、他のビデオブロックの動き情報を参照して現在のビデオブロックの動き情報を通知してもよい。例えば、動き推定ユニット4404は、現在のビデオブロックの動き情報が隣接ビデオブロックの動き情報と十分に類似していることを決定してもよい。
一例において、動き推定ユニット4404は、現在のビデオブロックに関連したシンタックス構造において、現在のビデオブロックが他のビデオブロックと同じ動き情報を有していることをビデオデコーダ4500に示す値を示してもよい。
他の例では、動き推定ユニット4404は、現在のビデオブロックに関連したシンタックス構造において、他のビデオブロック及び動きベクトル差分(Motion Vector Difference,MVD)を特定してもよい。動きベクトル差分は、現在のビデオブロックの動きベクトルと、特定されているビデオブロックの動きベクトルとの間の差を示す。ビデオデコーダ4500は、現在のビデオブロックの動きベクトルを決定するために、特定されているビデオブロックの動きベクトル及び動きベクトル差分を使用し得る。
上述されたように、ビデオエンコーダ4400は、動きベクトルを予測的に通知してもよい。ビデオエンコーダ4400によって実装され得る予測シグナリング技術の2つの例には、アドバンスド動きベクトル予測(Advanced Motion Vector Prediction,AMVP)及びマージモードシグナリングがある。
イントラ予測ユニット4406は、現在のビデオブロックに対してイントラ予測を実行してもよい。イントラ予測ユニット4406が現在のビデオブロックに対してイントラ予測を実行する場合に、イントラ予測ユニット4406は、同じピクチャ内の他のビデオブロックの復号されたサンプルに基づいて、現在のビデオブロックの予測データを生成し得る。現在のビデオブロックの予測データは、予測されたビデオブロック及び様々なシンタックス要素を含んでもよい。
残差生成ユニット4407は、現在のビデオブロックから現在のビデオブロックの予測されたビデオブロックを減じることによって、現在のビデオブロックの残差データを生成し得る。現在のビデオブロックの残差データは、現在のビデオブロック内のサンプルの異なるサンプルコンポーネントに対応する残差ビデオブロックを含んでもよい。
他の例では、例えば、スキップモードにおいては、現在のビデオブロックについて、現在のビデオブロックの残差データは存在しない場合があり、残差生成ユニット4407は、減算演算を実行しなくてもよい。
変換処理ユニット4408は、現在のビデオブロックに関連した残差ビデオブロックに1つ以上の変換を適用することによって、現在のビデオブロックの1つ以上の変換係数ビデオブロックを生成し得る。
変換処理ユニット4408が現在のビデオブロックに関連した変換係数ビデオブロックを生成した後、量子化ユニット4409は、現在のビデオブロックに関連した1つ以上の量子化パラメータ(QP)値に基づいて、現在のビデオブロックに関連した変換係数ビデオブロックを量子化し得る。
逆量子化ユニット4410及び逆変換ユニット4411は、変換係数ビデオブロックに各々逆量子化及び逆変換を適用して、変換係数ビデオブロックから残差ビデオブロックを再構成し得る。再構成ユニット4412は、再構成された残差ビデオブロックを、予測ユニット4402によって生成された1つ以上の予測されたビデオブロックからの対応するサンプルに加えて、バッファ4413での記憶のために、現在のブロックに関連した再構成されたビデオブロックを生成し得る。
再構成ユニット4412がビデオブロックを再構成した後、ループフィルタリング動作が、ビデオブロックにおいてビデオブロッキングアーチファクトを低減するよう実行されてもよい。
エントロピ符号化ユニット4414は、ビデオエンコーダ4400の他の機能コンポーネントからデータを受け取ってもよい。エントロピ符号化ユニット4414がデータを受け取るとき、エントロピ符号化ユニット4414は、エントロピ符号化されたデータを生成し、そのエントロピ符号化されたデータを含むビットストリームを出力するよう、1つ以上のエントロピ符号化動作を実行してもよい。
図7は、ビデオデコーダ4500の例を表すブロック図であり、図5で表されているシステム4300のビデオデコーダ4324であってよい。ビデオデコーダ4500は、本開示の技術のいずれか又は全てを実行するよう構成されてよい。示されている例では、ビデオデコーダ4500は、複数の機能コンポーネントを含む。本開示で記載される技術は、ビデオデコーダ4500の様々なコンポーネントの間で共有されてもよい。いくつかの例では、プロセッサは、本開示で記載される技術のいずれか又は全てを実行するよう構成されてもよい。
示されている例では、ビデオデコーダ4500は、エントロピ復号化ユニット4501と、動き補償ユニット4502と、イントラ予測ユニット4503と、逆量子化ユニット4504と、逆変換ユニット4505と、再構成ユニット4506と、バッファ4507とを含む。ビデオデコーダ4500は、いくつかの例では、ビデオエンコーダ4400に関して記載された符号化パスとは概して逆の復号化パスを実行してもよい。
エントロピ復号化ユニット4501は、符号化されたビットストリームを取り出し得る。符号化されたビットストリームは、エントロピコーディングされたビデオデータ(例えば、ビデオデータの符号化されたブロック)を含んでもよい。エントロピ復号化ユニット4501は、エントロピコーディングされたビデオデータを復号してよく、エントロピ復号化されたビデオデータから、動き補償ユニット4502は、動きベクトル、動きベクトル精度、参照ピクチャリストインデックス、及び他の動き情報を含む動き情報を決定し得る。動き補償ユニット4502は、例えば、AMVP及びマージモードを実行することによって、そのような情報を決定してもよい。
動き補償ユニット4502は、場合により、補間フィルタに基づく補間を実行して、動き補償されたブロックを生成し得る。サブピクセル精度で使用される補間フィルタのための識別子は、シンタックス要素に含まれてもよい。
動き補償ユニット4502は、参照ブロックのサブ整数ピクセルについて補間値を計算するために、ビデオブロックの符号化中にビデオエンコーダ4400によって使用された補間フィルタを使用してもよい。動き補償ユニット4502は、受け取られたシンタックス情報に従って、ビデオエンコーダ4400によって使用された補間フィルタを決定し、その補間フィルタを使用して予測ブロックを生成し得る。
動き補償ユニット4502は、符号化されたビデオシーケンスのフレーム及び/又はスライスを符号化するために使用されたブロックのサイズと、符号化されたビデオシーケンスのピクチャの各マクロブロックがどのようにパーティション化されているかを記述するパーティション情報と、各パーティションがどのように符号化されているかを示すモードと、各インターコーディングされたブロックについての1つ以上の参照フレーム(及び参照フレームリスト)と、符号化されたビデオシーケンスを復号するための他の情報とを決定するために、シンタックス情報のいくつかを使用してもよい。
イントラ予測ユニット4503は、空間的に隣接するブロックから予測ブロックを形成するよう、例えば、ビットストリームで受け取られたイントラ予測モードを使用してもよい。逆量子化ユニット4504は、ビットストリームで供給されてエントロピ復号化ユニット4501によって復号された量子化されたビデオブロック係数を逆量子化する、すなわち、量子化解除する。逆変換ユニット4505は、逆変換を適用する。
再構成ユニット4506は、動き補償ユニット4502又はイントラ予測ユニット4503によって生成された対応する予測ブロックを残差ブロックに加算して、復号されたブロックを形成し得る。望まれる場合には、デブロッキングフィルタも、ブロッキネスアーチファクトを取り除くために、復号されたブロックにフィルタをかけるよう適用されてもよい。復号されたビデオブロックは、次いで、バッファ4507に格納され、バッファ4507は、その後の動き補償/イントラ予測のための参照ブロックを提供し、また、復号されたビデオを表示デバイスでの提示のために生成する。
図8は、例となるエンコーダ4600の概略図である。エンコーダ4600は、VVCの技術を実装するのに適している。エンコーダ4600は、3つのループフィルタ、つまり、デブロッキングフィルタ(Deblocking Filter,DF)4602、サンプル適応オフセット(Sample Adaptive Offset,SAO)4604、及び適応ループフィルタ(Adaptive Loop Filter,ALF)4606を含む。予め定義されたフィルタを使用するDF4602とは異なり、SAO4604及びALF4606は、夫々、オフセットを加えることによって、及び有限インパルス応答(Finite Impulse Response,FIR)フィルタを適用することによって、元のサンプルと再構成されたサンプルとの間の平均二乗誤差を低減するために現在のピクチャの元のサンプルを利用する。なお、コーディングされたサイド情報が、オフセット及びフィルタ係数を通知する。ALF4606は、各ピクチャの最後の処理段に位置し、前の段によって生じたアーチファクトを見つけて直そうと試みるツールと見なされ得る。
エンコーダ4600は、入力されたビデオを受け取るよう構成されたイントラ予測コンポーネント4608及び動き推定/補償(Motion Estimation/Compensation,ME/MC)コンポーネント4610を更に含む。イントラ予測コンポーネント4608は、イントラ予測を実行するよう構成され、一方、ME/MCコンポーネント4610は、参照ピクチャバッファ4612から取得された参照ピクチャを利用してインター予測を実行するよう構成される。インター予測又はイントラ予測からの残差ブロックは、量子化された残差変換係数を生成するために、変換(Transform,T)コンポーネント4614及び量子化(Quantization,Q)コンポーネント4616へ供給される。量子化された残差変換係数は、エントロピコーディングコンポーネント4618へ供給される。エントロピコーディングコンポーネント4618は、予測結果及び量子化された変換係数をエントロピコーディングし、それらをビデオデコーダ(図示せず)へ送信する。量子化コンポーネント4616から出力された量子化成分は、逆量子化(Inverse Quantization,IQ)コンポーネント4620、逆変換(Inverse Transform,IT)コンポーネント4622、及び再構成(Reconstruction,Rec)コンポーネント4624へ供給され得る。Recコンポーネント4624は、画像を、それらの画像が参照ピクチャバッファ4612に格納される前にフィルタ処理するために、DF4602、SAO4604及びALF4606へ出力することができる。
いくつか例によって好まれる解決法のリストが、次に与えられる。
以下の解決法は、本明細書で説明されている技術の例を示す。
解決法1.メディアデータ処理の方法(図4に表されている方法4200)であって、
視覚メディア情報と該視覚メディア情報のデジタル表現との間の変換を規則に従って実行するステップを有し、
前記規則は、復号化能力情報(DCI)ネットワーク抽象化レイヤ(NAL)ユニットが前記デジタル表現におけるコーディングされたエレメンタリストリームのトラックに含まれるかどうか又はどのように含まれるかを定める、
方法。
解決法2.前記規則は、前記DCI NALユニットが前記コーディングされたエレメンタリストリームの各トラックに含まれることを定める、解決法1に記載の方法。
解決法3.前記規則は、複数のDCI NALユニットが前記コーディングされたエレメンタリストリームのトラックに含まれる場合に、前記複数のDCI NALユニットが同じコンテンツを有することを定める、解決法1乃至2のうちいずれかに記載の方法。
解決法4.前記規則は、前記コーディングされたエレメンタリストリームのトラックにはただ1つのDCI NALユニットが含まれることを定める、解決法1乃至2のうちいずれかに記載の方法。
解決法5.前記規則は、前記DCI NALユニットが、前記コーディングされたエレメンタリストリームのトラックに存在する場合に、前記トラックのヘッダサンプルエントリにあるよう制約されることを定める、解決法1に記載の方法。
解決法6.前記規則は、前記DCI NALユニット内のフィールドの値が所定の値に等しいよう制約されるという制約に前記DCI NALユニットが従うことを定める、解決法1乃至5のうちいずれかに記載の方法。
解決法7.前記フィールドは、プロファイル、ティア、レイヤ構造の数から1をマイナスした数を示し、前記所定の値は0に等しい、解決法6に記載の方法。
解決法8.前記フィールドは、プロファイル-ティア-レベルのマルチレイヤ指示が有効であるかどうかを示し、前記所定の値は1に等しい、解決法6に記載の方法。
解決法9.メディアデータ処理の方法であって、
視覚メディア情報と該視覚メディア情報のデジタル表現との間の変換を規則に従って実行するステップを有し、
前記規則は、ビデオパラメータセット(VPS)ユニットが前記デジタル表現におけるコーディングされたエレメンタリストリームのトラックに含まれるかどうか又はどのように含まれるかを定める、
方法。
解決法10.前記規則は、前記コーディングされたエレメンタリストリームのトラックにただ1つのVPSユニットが含まれることを定める、解決法9に記載の方法。
解決法11.前記規則は、前記コーディングされたエレメンタリストリームのトラックが前記VPSユニットを含むが、復号化能力情報(DCI)ネットワーク抽象化レイヤ(NAL)ユニットを含まない場合に、前記デジタル表現が制約を満足することを定める、解決法9乃至10のうちいずれかに記載の方法。
解決法12.前記規則は、前記VPSユニット内のフィールドの値が所定の値に等しいよう制約されるという制約に前記VPSユニットが従うことを定める、解決法9乃至11のうちいずれかに記載の方法。
解決法13.前記規則は、前記コーディングされたエレメンタリストリームのトラックがVPSユニットを含まず、復号化能力情報(DCI)ネットワーク抽象化レイヤ(NAL)ユニットを含む場合に、前記デジタル表現が制約を満足することを定める、解決法9乃至12のうちいずれかに記載の方法。
解決法14.メディアデータ処理の方法であって、
視覚メディア情報と該視覚メディア情報のデジタル表現との間の変換を規則に従って実行するステップを有し、
前記規則は、シーケンスパラメータセットのビデオパラメータセットによって参照される仮想参照デコーダ構造に含まれるフィールドの値が前記デジタル表現におけるコーディングされたエレメンタリストリームで1つのコーディングされたビデオシーケンスから第2のコーディングされたビデオシーケンスへ変化することを許されるかどうか又はその方法を定める、
方法。
解決法15.前記値は時間スケールを示す、解決法14に記載の方法。
解決法16.前記規則は、前記フィールドの値が前記デジタル表現における各仮想参照デコーダ構造で同じであることを定める、解決法14乃至15のうちいずれかに記載の方法。
解決法17.メディアデータ処理の方法であって、
視覚メディア情報のデジタル表現を取得するステップであり、前記デジタル表現は、解決法1乃至16のうちいずれかに記載の方法に従って生成される、ステップと、
前記デジタル表現をストリーミングするステップと
を有する方法。
解決法18.メディアデータ処理の方法であって、
視覚メディア情報のデジタル表現を受け取るステップであり、前記デジタル表現は、解決法1乃至16のうちいずれかに記載の方法に従って生成される、ステップと、
前記デジタル表現から前記視覚メディア情報を生成するステップと
を有する方法。
解決法19.前記変換は、前記視覚メディア情報のビットストリーム表現を生成し、該ビットストリーム表現をフォーマット規則に従ってファイルに格納することを有する、解決法1乃至18のうちいずれかに記載の方法。
解決法20.前記変換は、フォーマット規則に従ってファイルをパースして前記視覚メディア情報を回復することを有する、解決法1乃至18のうちいずれかに記載の方法。
解決法21.解決法1乃至20のうちの1つ以上に記載の方法を実装するよう構成されたプロセッサを有するビデオ復号化装置。
解決法22.解決法1乃至20のうちの1つ以上に記載の方法を実装するよう構成されたプロセッサを有するビデオ符号化装置。
解決法23.コンピュータコードを記憶するコンピュータプログラム製品であって、
前記コードは、プロセッサによって実行される場合に、該プロセッサに、解決法1乃至20のうちいずれかに記載の方法を実装させる、コンピュータプログラム製品。
解決法24.解決法1乃至20のうちいずれかに記載の方法に従って生成される、ファイルフォーマットに従うビットストリーム表現が記憶されるコンピュータ可読媒体。
解決法25.本明細書で記載される方法、装置、又はシステム。本明細書で記載される解決法では、エンコーダは、コーディングされた表現をフォーマット規則に従って生成することによって、フォーマット規則に従い得る。本明細書で記載される解決法では、デコーダは、復号されたビデオを生成するために、フォーマット規則に従ってシンタックス要素の有無を知った上で、コーディングされた表現のシンタックス要素をパースするようフォーマット規則を使用し得る。
本明細書中、「ビデオ処理」(video processing)という用語は、ビデオ符号化(video encoding)、ビデオ復号化(video decoding)、ビデオ圧縮(video compression)又はビデオ圧縮解除(video decompression)を指し得る。例えば、ビデオ圧縮アルゴリズムは、ビデオのピクセル表現から、対応するビットストリーム表現への変換中に、又はその逆も同様に、適用されてもよい。現在のビデオブロックのビットストリーム表現は、例えば、シンタックスによって定義されるような、ビットストリーム内で同一位置にあるか又は異なった場所に広がっているかのどちらかであるビットに対応してもよい。例えば、マクロブロックは、変換及びコーディングされた誤差残余値に関して、更には、ビットストリーム内のヘッダ及び他のフィールドにおけるビットを用いて、符号化されてよい。更に、変換中に、デコーダは、上記の解決法で記載されるように、決定に基づき、いくつかのフィールドが存在又は不存在であり得ると知った上で、ビットストリームをパースし得る。同様に、エンコーダは、特定のシンタックスフィールドが含まれるべきか又は含まれないべきかを決定し、それに応じて、コーディングされた表現にシンタックス要素を含めること又はコーディングされた表現からシンタックス要素を除くことによって、コーディングされた表現を生成し得る。
本明細書中で記載されている開示された及び他の解決法、例、実施形態、モジュール及び機能動作は、デジタル電子回路で、あるいは、本明細書で開示されている構造及びそれらの構造的な同等物を含むコンピュータソフトウェア、ファームウェア、又はハードウェアで、あるいは、それらのうちの1つ以上の組み合わせで実装可能である。開示された及び他の実施形態は、1つ以上のコンピュータプログラム製品、つまり、データ処理装置によって実行されるか又はその動作を制御するためにコンピュータ可読媒体で符号化されたコンピュータプログラム命令の1つ以上のモジュール、として実装可能である。コンピュータ可読媒体は、マシン可読記憶デバイス、マシン可読記憶基板、メモリデバイス、マシン可読な伝播信号に影響を与える物質の組成、又はそれらの1つ以上の組み合わせであることができる。「データ処理装置」という用語は、例として、プログラム可能なプロセッサ、コンピュータ、又は複数のプロセッサ若しくはコンピュータを含む、データを処理するための全ての装置、デバイス、及びマシンを包含する。装置は、ハードウェアに加えて、問題となっているコンピュータプログラムのための実行環境を作り出すコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、又はそれらの1つ以上の組み合わせを構成するコードを含むことができる。伝播信号は、人工的に生成された信号、例えば、マシンにより生成された電気的、光学的、又は電磁気信号であり、適切なレシーバ装置への伝送のために情報を符号化するよう生成される。
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、又はコードとしても知られる。)は、コンパイル済み又は解釈済みの言語を含む如何なる形式のプログラミング言語でも記述可能であり、それは、スタンドアロンプログラムとして又はコンピューティング環境における使用に適したモジュール、コンポーネント、サブルーチン、若しくは他のユニットとしてを含め、如何なる形式でもデプロイ可能である。コンピュータプログラムは、必ずしもファイルシステムにおけるファイルに対応するわけではない。プログラムは、問題となっているプログラムに専用の単一のファイルで、又は複数の協調したファイル(例えば、1つ以上のモジュール、サブプログラム、又はコードの部分を保存するファイル)で、他のプログラム又はデータ(例えば、マークアップ言語文書で保存された1つ以上のスクリプト)を保持するファイルの部分において保存可能である。コンピュータプログラムは、1つのコンピュータで、あるいは、1つの場所に位置しているか、又は複数の場所にわたって分布しており、通信ネットワークによって相互接続されている複数のコンピュータで実行されるようデプロイ可能である。
本明細書で説明されているプロセス及びロジックフローは、入力データに作用して出力を生成することによって機能を実行するよう1つ以上のコンピュータプログラムを実行する1つ以上のプログラム可能なプロセッサによって実行可能である。プロセス及びロジックフローはまた、専用のロジック回路、例えば、FPGA(Field Programmable Gate Array)又はASIC(Application Specific Integrated Circuit)によっても実行可能であり、装置は、そのようなものとして実装可能である。
コンピュータプログラムの実行に適したプロセッサは、例として、汎用のマイクロプロセッサ及び専用のマイクロプロセッサの両方、並びにあらゆる種類のデジタルコンピュータのいずれか1つ以上のプロセッサを含む。一般に、プロセッサは、リード・オンリー・メモリ若しくはランダム・アクセス・メモリ又はその両方から命令及びデータを読み出すことになる。コンピュータの必須の要素は、命令を実行するプロセッサと、命令及びデータを保存する1つ以上のメモリデバイスとである。一般に、コンピュータはまた、データを保存する1つ以上の大容量記憶デバイス、例えば、磁気、光学磁気ディスク、又は光ディスクを含むか、あるいは、そのような1つ以上の大容量記憶デバイスからのデータの受信若しくはそれへのデータの転送又はその両方のために動作可能に結合されることになる。しかし、コンピュータは、そのようなデバイスを有する必要はない。コンピュータプログラム命令及びデータを保存するのに適したコンピュータ可読媒体は、例として、半導体メモリデバイス、例えば、消去可能なプログラム可能リード・オンリー・メモリ(EPROM)、電気的消去可能なプログラム可能リード・オンリー・メモリ(EEPROM)、及びフラッシュメモリデバイス;磁気ディスク、例えば、内蔵ハードディスク又はリムーバブルディスク;光学磁気ディスク;並びにコンパクトディスク型リード・オンリー・メモリ(CD ROM)及びデジタルバーサタイルディスク型リード・オンリー・メモリ(DVD-ROM)ディスクを含む全ての形式の不揮発性メモリ、媒体及びメモリデバイスを含む。プロセッサ及びメモリは、専用のロジック回路によって強化されるか、あるいは、それに組み込まれ得る。
本明細書は、多数の詳細を含むが、それらは、あらゆる対象の又は請求される可能性があるものの範囲に対する限定としてではなく、むしろ、特定の技術の特定の実施形態に特有であり得る特徴の説明として解釈されるべきである。別々の実施形態に関連して本明細書で説明されている特定の特徴は、単一の実施形態で組み合わせても実装可能である。逆に、単一の実施形態に関連して説明されている様々な特徴はまた、複数の実施形態で別々に、又は何らかの適切なサブコンビネーションで実装可能である。更に、特徴は、特定の組み合わせで動作するものとして先に説明され、更には、そのようなものとして最初に請求されることがあるが、請求されている組み合わせからの1つ以上の特徴は、いくつかの場合に、その組み合わせから削除可能であり、請求されている組み合わせは、サブコンビネーション又はサブコンビネーションの変形に向けられてもよい。
同様に、動作は、特定の順序で図面において表されているが、これは、所望の結果を達成するために、そのような動作が示されているその特定の順序で又は順次的な順序で実行されること、あるいは、表されている全ての動作が実行されることを求めている、と理解されるべきではない。更に、本明細書で説明されている実施形態における様々なシステムコンポーネントの分離は、全ての実施形態でそのような分離を求めている、と理解されるべきではない。
ほんのわずかの実施及び例が説明されており、他の実施、強化及び変形は、本特許文献で記載及び例示されているものに基づいて行われ得る。
第1のコンポーネントと第2のコンポーネントとの間のライン、トレース、又は他の媒質を除いて、介在するコンポーネントがない場合に、第1のコンポーネントは第2のコンポーネントへ直接に結合されている。第1のコンポーネントと第2のコンポーネントとの間にライン、トレース、又は他の媒質以外のコンポーネントが介在している場合には、第1のコンポーネントは第2コンポーネントへ間接的に結合されている。「結合される」という用語及びその変形は、直接的に結合される及び間接的に結合されることの両方を含む。「約」という用語の使用は、別段述べられない限りは、その後の数字の±10%を含む範囲を意味する。
いくつかの実施形態が本開示で提供されているが、開示されているシステム及び方法は、本開示の精神又は範囲から逸脱せずに、多くの他の具体的な形態で具現されてもよいことが理解されるべきである。本例は、例示と見なされるべきであり、限定と見なされるべきではなく、本明細書で与えられている詳細を限定する意図はない。例えば、様々な要素又はコンポーネントは、他のシステムでは結合又は一体化されてもよく、あるいは、特定の特徴は、省略されても、又は実装されなくてもよい。
更に、個別的なもの又は分離したものとして様々な実施形態で記載及び図示されている技術、システム、サブシステム、及び方法は、本開示の範囲から逸脱せずに、他のシステム、モジュール、技術、又は方法と結合又は一体化されてもよい。結合されるものとして図示又は説明されている他のアイテムは、直接に接続されても、あるいは、電気的、機械的、又は別なふうであろうとなかろうと、何らかのインターフェース、デバイス、又は中間コンポーネントを通じて間接的に結合され又は通信してもよい。変更、置換、又は代替の他の例は、当業者によって確かめられ、本明細書で開示されている精神又は範囲から逸脱せずに行われ得る。
100,123 CMAFトラック
111 VPS
113 SPS
115 DCI NALユニット
117 CVS
119 コーディングされたビデオ
121 VVCストリーム
4000 ビデオ処理システム
4002 入力部
4004 コーディングコンポーネント
4010 表示インターフェース
4100 ビデオ処理装置
4102 プロセッサ
4104 メモリ
4106 ビデオ処理回路
4300 ビデオコーディングシステム
4310 発信元デバイス
4312 ビデオソース
4314,4400 ビデオエンコーダ
4316,4326 入力/出力(I/O)インターフェース
4320 送信先デバイス
4322 表示デバイス
4324,4500 ビデオデコーダ
4401 パーティションユニット
4402 予測ユニット
4403 モード選択ユニット
4404 動き推定ユニット
4405,4502 動き補償ユニット
4406,4503 イントラ予測ユニット
4407 残差生成ユニット
4408 変換ユニット
4409 量子化ユニット
4410,4504 逆量子化ユニット
4411,4505 逆変換ユニット
4412,4506 再構成ユニット
4413,4507 バッファ
4414 エントロピ符号化ユニット
4600 エンコーダ

Claims (11)

  1. ビデオデータを処理する方法であって、
    バーサタイルビデオコーディング(VVC)共通メディアアプリケーションフォーマット(CMAF)トラックにおけるシーケンスパラメータセット(SPS)内の情報を決定するステップであり、規則により、前記SPS内のビデオユーザビリティ情報プログレッシブソースフラグ(vui_progressive_source_flag)フィールドの値が1に等しくなければならないことが定められる、ステップと、
    前記SPSに基づき、視覚メディアデータとメディアデータファイルとの間の変換を実行するステップと
    を有する方法。
  2. 前記vui_progressive_source_flagは、ビデオユーザビリティ情報ペイロード(vui_payload)構造に含まれる、
    請求項1に記載の方法。
  3. 前記vui_progressive_source_flagは、前記VVC CMAFトラック内のビデオがプログレッシブスキャニングに従ってコーディングされることを示すよう1に等しい、
    請求項2に記載の方法。
  4. 前記規則は、前記SPS内のビデオユーザビリティ情報インターレースソースフラグ(vui_interlaced_source_flag)フィールドの値が1に等しくなければならないことを定める、
    請求項1に記載の方法。
  5. 前記vui_interlaced_source_flagは、ビデオユーザビリティ情報ペイロード(vui_payload)構造に含まれる、
    請求項4に記載の方法。
  6. 前記vui_interlaced_source_flagは、前記VVC CMAFトラック内のビデオがインターレーシングに従ってコーディングされることを示すよう1に等しい、
    請求項5に記載の方法。
  7. 前記SPSはVVCエレメンタリストリームに含まれ、該VVCエレメンタリストリームが前記CMAFトラックに含まれる、
    請求項1に記載の方法。
  8. 前記変換は、前記視覚メディアデータを前記メディアデータファイルに符号化することを含む、
    請求項1乃至7のうちいずれか一項に記載の方法。
  9. 前記変換は、前記視覚メディアデータを前記メディアデータファイルから復号することを含む、
    請求項1乃至7のうちいずれか一項に記載の方法。
  10. ビデオデータを処理する装置であって、
    プロセッサと、
    命令を有する非一時的なメモリと
    を有し、
    前記命令は、前記プロセッサによる実行時に、前記プロセッサに、
    バーサタイルビデオコーディング(VVC)共通メディアアプリケーションフォーマット(CMAF)トラックにおけるシーケンスパラメータセット(SPS)内の情報を決定するステップであり、規則により、前記SPS内のビデオユーザビリティ情報プログレッシブソースフラグ(vui_progressive_source_flag)フィールドの値が1に等しくなければならないことが定められる、ステップと、
    前記SPSに基づき、視覚メディアデータとメディアデータファイルとの間の変換を実行するステップと
    を実行させる、
    装置。
  11. ビデオコーディングデバイスよって使用されるコンピュータプログラム製品を有する非一時的なコンピュータ可読媒体であって、
    前記コンピュータプログラム製品は、プロセッサによる実行時に、前記ビデオコーディングデバイスに、
    バーサタイルビデオコーディング(VVC)共通メディアアプリケーションフォーマット(CMAF)トラックにおけるシーケンスパラメータセット(SPS)内の情報を決定するステップであり、規則により、前記SPS内のビデオユーザビリティ情報プログレッシブソースフラグ(vui_progressive_source_flag)フィールドの値が1に等しくなければならないことが定められる、ステップと、
    前記SPSに基づき、視覚メディアデータとメディアデータファイルとの間の変換を実行するステップと
    を実行させるように前記非一時的なコンピュータ可読媒体に記憶されているコンピュータ実行可能命令を有する、
    非一時的なコンピュータ可読媒体。
JP2022068046A 2021-04-18 2022-04-18 共通メディアアプリケーションフォーマットでのビデオユーザビリティ情報 Active JP7413435B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202163176315P 2021-04-18 2021-04-18
US63/176315 2021-04-18

Publications (2)

Publication Number Publication Date
JP2022164946A true JP2022164946A (ja) 2022-10-28
JP7413435B2 JP7413435B2 (ja) 2024-01-15

Family

ID=81325132

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2022068041A Active JP7305000B2 (ja) 2021-04-18 2022-04-18 カプセル化及び適応ビデオストリーミングのための制約
JP2022068043A Active JP7414882B2 (ja) 2021-04-18 2022-04-18 共通メディアアプリケーションフォーマットでの復号化能力情報
JP2022068044A Active JP7305001B2 (ja) 2021-04-18 2022-04-18 共通メディアアプリケーションフォーマットでのパラメータセット
JP2022068046A Active JP7413435B2 (ja) 2021-04-18 2022-04-18 共通メディアアプリケーションフォーマットでのビデオユーザビリティ情報

Family Applications Before (3)

Application Number Title Priority Date Filing Date
JP2022068041A Active JP7305000B2 (ja) 2021-04-18 2022-04-18 カプセル化及び適応ビデオストリーミングのための制約
JP2022068043A Active JP7414882B2 (ja) 2021-04-18 2022-04-18 共通メディアアプリケーションフォーマットでの復号化能力情報
JP2022068044A Active JP7305001B2 (ja) 2021-04-18 2022-04-18 共通メディアアプリケーションフォーマットでのパラメータセット

Country Status (5)

Country Link
US (4) US20220337878A1 (ja)
EP (4) EP4075810A1 (ja)
JP (4) JP7305000B2 (ja)
KR (4) KR20220143986A (ja)
CN (4) CN115225909A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11445270B2 (en) * 2020-04-15 2022-09-13 Comcast Cable Communications, Llc Content information for manifest determination
US20230102088A1 (en) * 2021-09-29 2023-03-30 Tencent America LLC Techniques for constraint flag signaling for range extension

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016506693A (ja) * 2013-01-04 2016-03-03 クゥアルコム・インコーポレイテッドQualcomm Incorporated マルチビューコード化プラス深度のためのトラックにおけるテクスチャビューと深度ビューの存在の指示

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140079116A1 (en) * 2012-09-20 2014-03-20 Qualcomm Incorporated Indication of interlaced video data for video coding
US10284858B2 (en) * 2013-10-15 2019-05-07 Qualcomm Incorporated Support of multi-mode extraction for multi-layer video codecs
US20150264404A1 (en) * 2014-03-17 2015-09-17 Nokia Technologies Oy Method and apparatus for video coding and decoding
US10602190B2 (en) * 2016-05-13 2020-03-24 Sharp Kabushiki Kaisha Temporal sub-layer descriptor
WO2017204109A1 (en) * 2016-05-24 2017-11-30 Sharp Kabushiki Kaisha Systems and methods for signaling scalable video in a media application format
JP2020515169A (ja) 2017-03-20 2020-05-21 シャープ株式会社 メディアアプリケーションフォーマットでスケーラブル動画像をシグナリングするためのシステム及び方法
EP3515075A1 (en) * 2018-01-23 2019-07-24 THEO Technologies Video streaming
US11778215B2 (en) * 2020-02-28 2023-10-03 Qualcomm Incorporated Coding output layer set data and conformance window data of high level syntax for video coding
US11451811B2 (en) * 2020-04-05 2022-09-20 Tencent America LLC Method and apparatus for video coding
CN115769586A (zh) * 2020-05-28 2023-03-07 抖音视界有限公司 视频编解码中的参考图片列表信令通知
US11792433B2 (en) * 2020-09-28 2023-10-17 Sharp Kabushiki Kaisha Systems and methods for signaling profile and level information in video coding

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016506693A (ja) * 2013-01-04 2016-03-03 クゥアルコム・インコーポレイテッドQualcomm Incorporated マルチビューコード化プラス深度のためのトラックにおけるテクスチャビューと深度ビューの存在の指示

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
""Information technology - MPEG video technologies - Part 7: Versatile supplemental enhancement infor", ISO/IEC 23002-7:2021(E), vol. First edition, JPN7023002055, January 2021 (2021-01-01), pages 18 - 27, ISSN: 0005071668 *
""Information technology - Multimedia application format (MPEG-A) - Part 19: Common media application", ISO/IEC 23000-19:2020(E), vol. Second edition, JPN7023002054, March 2020 (2020-03-01), pages 1 - 61, ISSN: 0005071669 *
""Versatile video coding"", RECOMMENDATION ITU-T H.266 (08/2020), JPN6023021695, 29 August 2020 (2020-08-29), pages 38 - 44, ISSN: 0005071667 *

Also Published As

Publication number Publication date
KR20220143986A (ko) 2022-10-25
US11962808B2 (en) 2024-04-16
EP4075811A1 (en) 2022-10-19
US20220337879A1 (en) 2022-10-20
EP4075812A1 (en) 2022-10-19
US20220337860A1 (en) 2022-10-20
US20220337878A1 (en) 2022-10-20
JP2022164944A (ja) 2022-10-28
CN115225910A (zh) 2022-10-21
JP7305001B2 (ja) 2023-07-07
JP7414882B2 (ja) 2024-01-16
JP7305000B2 (ja) 2023-07-07
JP7413435B2 (ja) 2024-01-15
KR20220143988A (ko) 2022-10-25
CN115225908A (zh) 2022-10-21
KR20220143985A (ko) 2022-10-25
EP4075813A1 (en) 2022-10-19
EP4075810A1 (en) 2022-10-19
CN115225907A (zh) 2022-10-21
JP2022164945A (ja) 2022-10-28
CN115225909A (zh) 2022-10-21
JP2022164943A (ja) 2022-10-28
US20220337858A1 (en) 2022-10-20
KR20220143987A (ko) 2022-10-25

Similar Documents

Publication Publication Date Title
JP7268106B2 (ja) ビジュアル・メディア・データ処理方法、装置、及び記憶媒体
JP7222043B2 (ja) ビデオコーディングにおけるデコード機能情報のストレージ
JP7305001B2 (ja) 共通メディアアプリケーションフォーマットでのパラメータセット
US20230336753A1 (en) Video decoder initialization information
KR20230129008A (ko) 교차 랜덤 액세스 포인트 시그널링 향상
JP7307777B2 (ja) ビデオコーディングにおける適応パラメータセットの格納
KR20220142957A (ko) 서브픽처 엔티티 그룹에 대한 레벨 표시자
CN116547971A (zh) Vvc视频编解码中的滚动样点组
KR20230127982A (ko) 교차 랜덤 액세스 포인트 샘플 그룹

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220603

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231227

R150 Certificate of patent or registration of utility model

Ref document number: 7413435

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150