JP2022061954A - ビデオコーディングにおける適応パラメータセットの格納 - Google Patents
ビデオコーディングにおける適応パラメータセットの格納 Download PDFInfo
- Publication number
- JP2022061954A JP2022061954A JP2021160900A JP2021160900A JP2022061954A JP 2022061954 A JP2022061954 A JP 2022061954A JP 2021160900 A JP2021160900 A JP 2021160900A JP 2021160900 A JP2021160900 A JP 2021160900A JP 2022061954 A JP2022061954 A JP 2022061954A
- Authority
- JP
- Japan
- Prior art keywords
- video
- track
- video coding
- visual media
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000006978 adaptation Effects 0.000 title abstract description 5
- 238000000034 method Methods 0.000 claims abstract description 129
- 230000000007 visual effect Effects 0.000 claims abstract description 62
- 238000006243 chemical reaction Methods 0.000 claims abstract description 27
- 230000003044 adaptive effect Effects 0.000 claims description 40
- 230000008569 process Effects 0.000 claims description 11
- 230000015654 memory Effects 0.000 claims description 8
- 241000023320 Luma <angiosperm> Species 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 5
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 2
- 230000033001 locomotion Effects 0.000 description 71
- 239000010410 layer Substances 0.000 description 66
- 238000005516 engineering process Methods 0.000 description 19
- 238000012545 processing Methods 0.000 description 19
- 239000013598 vector Substances 0.000 description 18
- 238000004590 computer program Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000013139 quantization Methods 0.000 description 10
- 230000011664 signaling Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 238000005192 partition Methods 0.000 description 6
- 238000003672 processing method Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000000153 supplemental effect Effects 0.000 description 3
- 108091000069 Cystinyl Aminopeptidase Proteins 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 102100020872 Leucyl-cystinyl aminopeptidase Human genes 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 101100533821 Arabidopsis thaliana FSD1 gene Proteins 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 101150018269 sodB gene Proteins 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
適用可能な特許法及び/又はパリ条約に従う規則の下で、本願は、2020年10月7日付けで出願された米国特許仮出願第63/088809号の優先権及び利益を適宜主張するよう行われている。法の下での全ての目的のために、上記の出願の全開示は、本願の開示の部分として参照により組み込まれる。
本特許文献は、ファイルフォーマットでのデジタルオーディオビデオメディア情報の生成、記憶及び消費に関係がある。
本文書は、画像ファイルフォーマットに関係がある。具体的に、それは、ISO基本メディアファイルフォーマット(ISO Base media File Format,ISOBMFF)に基づいたメディアファイルでのピクチャヘッダ(Picture Header,PH)、適応パラメータセット(Adaptation Parameter Set,APS)、デコーディング能力情報(Decoding Capability Information,DCI)、及びバーサタイル・ビデオ・コーディング(Versatile Video Coding,VVC)ビデオビットストリームの動作点情報(Operating Point Information,OPI)ネットワーク抽象型レイヤ(Network Abstraction Layer,NAL)ユニットのシグナリング及びストレージに関係がある。アイデアは、任意のコーデック、例えば、VVC標準規格によってコーディングされている画像に対して、そして、任意の画像ファイルフォーマット、例えば、開発中のVVCビデオファイルフォーマットに対して、個々に又は様々な組み合わせで適用されてよい。
ACT Adaptive Colour Transform
ALF Adaptive Loop Filter
AMVR Adaptive Motion Vector Resolution
AU Access Unit
AUD Access Unit Delimiter
AVC Advanced Video Coding(Rec.ITU-T H264|ISO/IEC 14496-10)
B Bi-predictive
BCW Bi-prediction with CU-level Weights
BDOF Di-Directional Optical Flow
BDPCM Block-based Delta Pulse Code Modulation
BP Buffering Period
CABAC Context-based Adaptive Binary Arithmetic Coding
CB Coding Block
CBR Constant Bit Rate
CCALF Cross-Component Adaptive Loop Filter
CPB Coded Picture Buffer
CRA Clean Random Access
CRC Cyclic Redundancy Check
CTB Coding Tree Block
CTU Coding Tree Unit
CU Coding Unit
CVS Coded Video Sequence
DPB Decoded Picture Buffer
DCI Decoding Capability Information
DRAP Dependent Random Access Point
DU Decoding Unit
DUI Decoding Unit Information
EG Exponential-Golomb
EGk k-th order Exponential-Golomb
EOB End Of Bitstream
EOS End Of Sequence
FD Filler Data
FIFO First-In, First-Out
FL Fixed-Length
GBR Green, Blue, and Red
GCI General Constraints Information
GDR Gradual Decoding Refresh
GPM Geometric Partitioning Mode
HEVC High Efficiency Video Coding(Rec.ITU-T H.265|ISO/IEC 23008-2)
HRD Hypothetical Reference Decoder
HSS Hypothetical Stream Scheduler
I Intra
IBC Intra Block Copy
IDR Instantaneous Decoding Refresh
ILRP Inter-Layer Reference Picture
IRAP Intra Random Access Picture
LFNST Low Frequency Non-Separable Transform
LPS Least Probable Symbol
LSB Least Significant Bit
LTRP Long-Term Reference Picture
LMCS Luma Mapping with Chroma Scaling
MIP Matrix-based Intra Prediction
MPS Most Probable Symbol
MSB Most Significant Bit
MTS Multiple Transform Selection
MVP Motion Vector Prediction
NAL Network Abstraction Layer
OLS Output Layer Set
OP Operation Point
OPI Operating Point Information
P Predictive
PH Picture Header
POC Picture Order Count
PPS Picture Parameter Set
PROF Prediction Refinement with Optical Flow
PT Picture Timing
PU Picture Unit
QP Quantization Parameter
RADL Random Access Decodable Leading(ピクチャ)
RASL Random Access Skipped Leading(ピクチャ)
RBSP Raw Byte Sequence Payload
RGB Red, Green, and Blue
RPL Reference Picture List
SAO Sample Adaptive Offset
SAR Sample Aspect Ratio
SEI Supplemental Enhancement Information
SH Slice Header
SLI Subpicture Level Information
SODB String Of Data Bits
SPS Sequence Parameter Set
STRP Short-Term Reference Picture
STSA Step-wise Temporal Sublayer Access
TR Truncated Rice
VBR Variable Bit Rate
VCL Video Coding Layer
VPS Video Parameter Set
VSEI Versatile Supplemental Enhancement Information(Rec.ITU-T H.274|ISO/IEC 23002-7)
VUI Video Usability Information
VVC Versatile Video Coding(Rec.ITU-T H.266|ISO/IEC 23090-3)
3.1.ビデオコーディング標準規格
ビデオコーディング標準規格は、主として、よく知られているITU-T及びISO/IEC標準規格の開発を通じて、進化してきた。ITU-Tは、H.261及びH.263を作り出し、ISO/IECは、MPEG-1及びMPEG-4 Visualを作り出し、2つの組織は共同で、H.262/MPEG-2 Video及びH264/MPEG-4 AVC(Advanced Video Coding)並びにH.265/HEVC標準規格を作り出した。H.262以降、ビデオコーディング標準規格は、ハイブリッドビデオコーディング構造に基づいており、時間予測及び変換コーディングが利用される。HEVCを越える将来のビデオコーディング技術を探るために、JVET(Joint Video Exploration Team)が2015年にVCEG及びMPEGによって共同設立された。それ以来、多くの新しい方法がJVETによって導入され、JEM(Joint Exploration Model)と名付けられた参照ソフトウェアに置かれてきた。JVETは、VVC(Versatile Video Coding)プロジェクトが公式に始まったときに、JVET(Joint Video Experts Team)であるよう後に改名された。VVCは、2020年7月1日に終了したその第19回会議でJVETによってまとめられた、HEVCと比較してビットレート50%減を目指す新しいコーディング標準規格である。
メディアストリーミングアプリケーションは、通常は、IP、TCP、及びHTTPトランスポート方法に基づいており、通常は、ISO基本メディアファイルフォーマット(ISOBMFF)などのファイルフォーマットに依存する。1つのそのようなストリーミングシステムは、HTTPを介した動的適応ストリーミング(Dynamic Adaptive Streaming over HTTP,DASH)である。ISOBMFF及びDASHによるビデオフォーマットを使用するために、AVCファイルフォーマット及びHEVCファイルフォーマットなどのビデオフォーマットに特有のファイルフォーマット規格が、ISOBMFFトラックにおける並びにDASH表現及びセグメントにおけるビデオコンテンツのカプセル化のために必要とされることになった。ビデオビットストリームに関する重要な情報、例えば、プロファイル、ティア、及びレベル、並びにその他多くは、コンテンツ選択を目的として、例えば、ストリーミングセッションの開始時の初期化及びストリーミングセッション中のストリーム適応の両方のための適切なメディアセグメントの選択のために、ファイルフォーマットレベルメタデータ及び/又はDASHメディア提示記述(Media Presentation Description,MPD)として公開されることが必要となった。
PH、APS、DCI及びOPI NALユニットを含む、いくつかの新しいタイプのNALユニットが、VVCに導入されている。
適応パラメータセット(APS)は、ピクチャの複数のスライスによって及び/又は異なるピクチャのスライスによって共有され得るが、ピクチャ間で頻繁に変化する可能性があり、変動の総数が高くなるので、PPSへの包含には適さないピクチャ及び/又はスライスレベルの情報を運ぶ。APSには、3種類のパラメータが含まれる。適応ループフィルタ(ALF)パラメータ、クロマスケーリング付きルーマサンプリング(LMCS)パラメータ、及びスケーリングリストパラメータである。APSは、プリフィックス又はサフィックスとして、関連するスライスの前又は後のどちらかにある2つの相異なるNALユニットタイプで運ばれ得る。後者は、超低遅延シナリオで役立ち、例えば、エンコーダが、デコーディング順序で後続のピクチャによって使用されることになっているALFパラメータの生成前にピクチャのスライスを送信することを可能にすることができる。
ピクチャヘッダ(PH)構造は、PUごとに存在する。PHは、別個のPH NALユニットに存在するか、あるいは、スライスヘッダ(SH)に含まれるかのどちらかである。PHは、PUがただ1つのスライスから成る場合には、SHにしか含まれ得ない。設計を簡単にするために、CLVS内で、PHは、全部がPH NALユニットに又は全部がSHにのみあることができる。PHがSHにある場合に、CLVSにはPH NALユニットはない。
DCI NALユニットは、ビットストリームレベルのPTL情報を含む。DCI NALユニットは、VVCビットストリームの送信側及び受信側の間のセッションネゴシエーション中に使用され得る1つ以上のPTLシンタックス構造を含む。DCI NALユニットがVVCビットストリームに存在する場合に、ビットストリームのCVSにおける各出力レイヤセット(Output Layer Set,OLS)は、DCI NALユニット内のPTL構造の少なくとも1つで運ばれるPTL情報に従うべきである。
HEVC及びVVCのデコーディングプロセスは、デコーダAPIを通じて、デコーディング動作点、すなわちデコードされるべきビットストリームのターゲットOLS及び最上位サブレイヤ、をセットするための類似した入力変数を有している。しかし、ビットストリームのレイヤ及び/又はサブレイヤが伝送中に取り除かれるか、又はデバイスがデコーダAPIをアプリケーションに公開しないシナリオでは、デコーダは、デコーダが所与のビットストリームを処理するための動作点を正確に通知され得ないことが起こり得る。従って、デコーダは、ビットストリーム内のピクチャの特性、例えば、デコードされたピクチャのための適切なバッファ割り当て及び個々のピクチャが出力されるか否か、について結論を下すことができない可能性がある。この問題に対処するために、VVCは、これら2つの変数をビットストリーム内で示すモードを、新たに導入された動作点情報(OPI)NALユニットを通じて追加する。ビットストリームの最初にあるAU及びその個々のCVSで、OPI NALユニットは、デコードされるべきビットストリームのターゲットをデコーダに通知する。
3.4.1.トラックのタイプ
VVCビデオファイルフォーマットは、ISOBMFFファイルでのVVCビットストリームの搬送のために、次のタイプのビデオトラックを規定する:
a)VVCトラック:
VVCトラックは、そのサンプル及びサンプルエントリにNALユニットを含めることによって、場合により、VVCビットストリームの他のサブレイヤを含む他のVVCトラックを参照することによって、かつ、場合により、VVCサブピクチャトラックを参照することによって、VVCビットストリームを表す。VVCトラックがVVCサブピクチャトラックを参照する場合に、それはVVC基本トラックと呼ばれる。
b)VVC非VCLトラック:
ALF、LMCS、又はスケーリングリストパラメータを運ぶAPS、及び他の非VCL NALユニットは、VCL NALユニットを含むトラックとは別個であるトラックに格納され、それを通じて伝送され得る。これはVVC非VCLトラックである。
c)VVCサブピクチャトラック:
VVCサブピクチャトラックは、次の:
1つ以上のVVCサブピクチャのシーケンス、
長方形エリアを形成する1つ以上の完全スライスのシーケンス
のうちのどちらか一方を含む。
VVCサブピクチャトラックのサンプルは、次の:
デコーディング順序において連続している、ISO/IEC 23090-3で規定されている1つ以上の完全サブピクチャ、
長方形エリアを形成しかつデコーディング順序において連続している、ISO/IEC 23090-3で規定されている1つ以上の完全スライス
のうちのどちらか一方を含む。
VVCサブピクチャトラックのいずれかのサンプルに含まれているVVCサブピクチャ又はスライスは、デコーディング順序において連続している。
注釈:VVC非VCLトラック及びVVCサブピクチャトラックは、次のように、ストリーミングアプリケーションでのVVCビデオの最適な配信を可能にする。これらのトラックは夫々、それら自体のDASH表現で運ばれ得る。トラックのサブセットのデコーディング及びレンダリングのために、VVCサブピクチャトラックのサブセットを含むDASH表現及び非VCLトラックを含むDASH表現は、セグメントごとに、クライアントによって要求可能である。このようにして、APS及び他の非VCL NALユニットの冗長な伝送は回避され得る。
これらのタイプのエレメンタリストリームは、VVCコンテンツを格納するために定義される:
如何なるパラメータセットも含まないビデオエレメンタリストリーム(video elementary stream);全てのパラメータセットは、1つ以上のサンプルエントリに格納される;
パラメータセットを含むことができ、それらの1つ以上のサンプルエントリに格納されたパラメータセットも有することができるビデオ及びパラメータセットエレメンタリストリーム(video and parameter set elementary stream);
ビデオトラックで運ばれるエレメンタリストリームと同期した非VCL NALユニットを含む非VCLエレメンタリストリーム(non-VCL elementary stream)。
注釈:VVC非VCLトラックは、そのサンプルエントリでパラメータセットを含まない。
3.4.3.1.定義
このサンプルグループのサンプルグループ記述エントリはDCI NALユニットを含む。同じデコーダ設定情報サンプルグループ記述エントリにマッピングされた全てのサンプルは、同じVVCビットストリームに属する。
このサンプルグループは、同じDCI NALユニットがVVCトラック内の異なるサンプルエントリに対して使用されるかどうか、つまり、異なるサンプルエントリに属するサンプルが同じVVCビットストリームを属するかどうかを示す。2つのサンプルエントリのサンプルが同じデコーダ設定情報サンプルグループ記述エントリにマッピングされる場合に、プレイヤーは、デコーダの再初期化なしでサンプルエントリを切り替えることができる。
いずれかのDCI NALユニットがいずれかのサンプルエントリに又はインバンドに存在する場合には、それは、デコーダ設定情報サンプルグループに含まれているDCI NALユニットと厳密に同じであるべきである。
deciNalUnitLengthは、DCI NALユニットのバイトの長さを示す。
deciNalUnitは、ISO/IEC 23090-3で規定されているDCI NALユニットを含む。
PH、APS、DCI、及びOPI NALユニットのシグナリングに関するVVCビデオファイルフォーマットの最新の設計には、次の問題がある:
1)VVC基本トラック及びVVC非VCLトラックは、VCL NALユニットを含むべきではない。しかし、VVC非VCLトラックの現在の定義は、VVC基本トラックにも適用されることになる。更に、現在の定義によって、VVC非VCLトラックは常にAPS NALユニットを含む。しかし、それにより、非VCL NALユニットには、APS NALユニットを除いて、ピクチャヘッダNALユニット及び場合により他の非VCL NALユニットを含めることができなくなる。
そのようなVVC非VCLトラックを認めることは、例えば、1つのPHトラック(VVC基本トラックで見られるような同じ情報を含むが、非VCLトラックとして)、複数のAPSトラック(VVC非VCLトラックとして)、及び夫々がサブピクチャシーケンスを含む複数のVVCサブピクチャトラックを有することによって、異なるサブピクチャがAPSの異なるセットを使用する場合に、サブピクチャトラックのレイトバンディング(late-banding)のために、ファイルでの抽出可能なサブピクチャベースのシングルレイヤビットストリームの最適な格納を可能にする。
2)APS NALユニットは全て、1つのVVC非VCLトラックに又はVVCトラックに格納される。言い換えると、APS NALユニットは、1つよりも多いトラックに格納され得ない。これは、LMCSパラメータを含むAPS NALユニット(すなわち、LMCS APS)又はスケーリングリスト(Scaling List,SL)パラメータを含むAPS NALユニット(すなわち、SL APS)に有効であるが、ALFパラメータを含むAPS NALユニット(すなわち、ALF APS)にとって理想的でない。異なるVVCサブピクチャトラックはALF APSの異なるセットを使用する可能性があるので、複数のVVC非VCLトラックがVVCビットストリームのためにALF APSを運ぶことを可能にすることが望ましい。
3)DCI NALユニットは、ビデオエレメンタリストリームとビデオ及びパラメータセットエレメンタリストリームとの定義において考慮されない。その結果、ビデオエレメンタリストリームは、パラメータセットを含まないが、DCI NALユニットを含み得る。
4)非VCLエレメンタリストリームの定義は、非VCLエレメンタリストリームでVCL NALユニットを含む可能性を除外する。
5)デコーダ設定情報サンプルグループは、DCI NALユニットのシグナリングのためのメカニズムを提供する。しかし、次の問題が存在する:
a.最も一般的な使用ケースで、トラックの全てのサンプルは、同じビットストリームに属することになる(あるいは、ビットストリームの数に関わらず、同じDCIを共有することになる)。そのような場合については、適用可能なDCIをサンプルグループシグナリングを通じて見つけ出すことが複雑である。
b.同じデコーダ設定情報サンプルグループ記述エントリにマッピングされた全てのサンプルは同じVVCビットストリームに属する、と言われている。しかし、これは、(例えば、EOB NALユニットによって決定された)複数のVVCビットストリームに属するが同じトラック内にあるサンプルが、可能な場合でも同じDCI NALユニットを共有することを認めない。
6)OPI NALユニットは、同じエントリ記述に含められることを認められない。しかし、多くの場合に、OPI NALユニットは、VVCビットストリームに存在する場合に、パラメータセットと同様に扱われるべきであるから、それらは同じエントリ記述に含まれることを認められるべきである。
上記の問題及び他を解決するために、以下で要約された方法が開示される。項目は、一般概念を説明するための例として見なされるべきであり、狭い意味で解釈されるべきではない。更に、これらの項目は、個々に適用されても又は何らかの方法で組み合わされてもよい。
1)問題1及び2を解決するために、次の項目のうちの1つ以上が提案される:
a.VVC非VCLトラックは、非VCL NALユニットのみを含むトラックとして定義され、VVCトラックによって‘vvcN’トラック参照を通じて参照される。
b.VVC非VCLトラックは、他の非VCL NALユニットの有無によらず、VCL NALユニットを含むトラックとは別個であるトラックに格納され、それを通じて伝送されるALF、LMCS、又はスケーリングリストパラメータを運ぶAPSを含んでもよいことが定められる。
c.VVC非VCLトラックは、APS NALユニットの有無によらず、かつ、他の非VCL NALユニットの有無によらず、VCL NALユニットを含むトラックであるトラックに格納され、それを通じて伝送されるピクチャヘッダNALユニットも含んでもよいことが定められる。
d.ビデオストリームのためのピクチャヘッダNALユニットは、VVCトラックのサンプル又はVVC非VCLトラックのサンプルのどちらかに格納され得るが、同時に両方にではないことが定められる。
e.ビデオストリームのためのLMCS APS NALユニット(すなわち、LMCSパラメータを含むAPS NALユニット)及びスケーリングリストAPS NALユニット(すなわち、スケーリングリストパラメータを含むAPS NALユニット)は、VVCトラックのサンプル及び/又はサンプルエントリ、あるいは、VVC非VCLトラックのサンプルのどちらかに格納され得るが、同時に両方にではないことが定められる。
f.ビデオストリームのためのALF APS NALユニット(すなわち、ALFパラメータを含むAPS NALユニット)は、VVCトラックのサンプル及び/又はサンプルエントリに、VVC非VCLトラックのサンプルに、あるいは、同時に両方に格納され得ることが定められる。
2)問題3を解決するために、次の項目のうちの1つ以上が提案される:
a.ビデオエレメンタリストリームは、VCL NALユニットを含むが、如何なるパラメータセット、DCI、又はOPI NALユニットも含まないエレメンタリストリームとして定義される;全てのパラメータセット、DCI、及びOPI NALユニットはサンプルエントリに格納される。
i.代替的に、ビデオエレメンタリストリームは、VCL NALユニットを含むが、如何なるパラメータセット又はDCI NALユニットも含まないエレメンタリストリームとして定義される;全てのパラメータセット及びDCI NALユニットはサンプルエントリに格納される。
b.DCI NALユニットをパラメータセットと厳密に同じに扱うべきである。つまり、DCI NALユニットは、ビデオトラックのサンプルエントリにのみ含まれ得る(例えば、サンプルエントリタイプ名が‘vvc1’である場合)か、あるいは、ビデオトラックのサンプル及びサンプルエントリのどちらか一方又は両方にあることができる(例えば、サンプルエントリタイプ名が‘vvi1’である場合)。
3)問題4を解決するために、非VCLエレメンタリストリームは、非VCL NALユニットのみを含むエレメンタリストリームであり、これらの非VCL NALユニットは、ビデオトラックで運ばれるエレメンタリストリームと同期することが定められる。
4)問題5を解決するために、次の項目のうちの1つ以上が提案される:
a.トラックの全てのサンプルが同じビットストリームに属する(又はビットストリームの数に関わらず、同じDCIを共有する)場合については、DCI NALユニットは、トラックレベルボックス、例えば,トラックヘッダボックス、トラックレベルメタボックス、又は他のトラックレベルボックスでシグナリングされてもよい。
b.(例えば、EOB NALユニットによって決定された)複数のVVCビットストリームに属するが同じトラック内にあるサンプルが、同じDデコーダ設定情報サンプルグループに属し、その結果、同じデコーダ設定情報サンプルグループ記述エントリを共有することを認める。
5)問題6を解決するために、OPI NALユニットは、例えば、デコーダ設定記録での非VCL NALユニットアレイの1つとして、サンプルエントリ記述に含まれることを認められる。
a.代替的に、OPI NALユニットをパラメータセットと厳密に同じに扱うべきである。つまり、OPI NALユニットは、ビデオトラックのサンプルエントリにのみ含まれ得る(例えば、サンプルエントリタイプ名が‘vvc1’である場合)か、あるいは、ビデオトラックのサンプル及びサンプルエントリのどちらか一方又は両方にあることができる(例えば、サンプルエントリタイプ名が‘vvi1’である場合)。
以下は、上記のセクション5で要約された発明態様のいくつかについての実施形態のいくつかの例であり、これらは、VVCビデオファイルフォーマットのための標準仕様に適用され得る。変更されたテキストは、最新の仕様草案に基づく。追加又は修正されている最も関連する部分は、太字イタリック体で示され、削除された部分のいくつかは、削除またはキャンセルされたテキストを二重括弧(例えば、[[・・・]])で囲むことで示される。本質的に編集に関するものであって、強調表示されないその他の変更も存在することがある。
この実施形態は、項目1a、1b、1cに関する。
この仕様は、VVCビットストリームの搬送のために次のタイプのビデオトラックを規定する。
a)VVCトラック:
VVCサブピクチャトラックは、次の:
1つ以上のVVCサブピクチャのシーケンス、
長方形エリアを形成する1つ以上の完全スライスのシーケンス
のうちのどちらか一方を含む。
VVCサブピクチャトラックのサンプルは、次の:
デコーディング順序において連続している、ISO/IEC 23090-3で規定されている1つ以上の完全サブピクチャ、
長方形エリアを形成しかつデコーディング順序において連続している、ISO/IEC 23090-3で規定されている1つ以上の完全スライス
のうちのどちらか一方を含む。
VVCサブピクチャトラックのいずれかのサンプルに含まれているVVCサブピクチャ又はスライスは、デコーディング順序において連続している。
この実施形態は、項目5に関する。
この実施形態は、1a、1b、1c、1d、1e及び1fに関する。
VVCコンテンツの格納は、ISO基本メディアファイルフォーマットの既存の能力を使用するが、VVCコーデックの次の特徴をサポートするための拡張も定義する:
d)パラメータセット並びにDCI及びOPI NALユニット:
ピクチャヘッダ(PH)構造は、ピクチャの全てのスライスに対して同じであるパラメータを含み、ピクチャごとに存在し、それ自体のNALユニットに又はスライスヘッダ(SH)に直接に存在する。PHは、ピクチャが1つしかスライスを有してない場合には、SHにしか含まれ得ない。CLVS内で、PHは、全てPH NALユニットにのみ、又は全てSHにのみ存在し得る。
f)サブピクチャ
VVCサブピクチャは、ピクチャ内の1つ以上のスライスの長方形領域である。エンコーダは、ピクチャ境界のようにサブピクチャ境界を扱ってもよく、サブピクチャ境界にわたってループフィルタリングをオフしてもよい。よって、選択された構造がVVCビットストリームから抽出されたり、又はあて先VVCビットストリームへマージされたりすることができるように、サブピクチャをエンコードすることが可能である。更に、そのようなVVCビットストリーム抽出又はマージ動作は、VCL NALユニットの変更なしで行われ得る。ビットストリームに存在するサブピクチャのサブピクチャ識別子(ID)は、SPS又はPPSで示されてもよい。
この仕様は、VVCビットストリームの搬送のために次のタイプのビデオトラックを規定する。
g)VVCトラック:
VVCサブピクチャトラックは、次の:
1つ以上のVVCサブピクチャのシーケンス、
長方形エリアを形成する1つ以上の完全スライスのシーケンス
のうちのどちらか一方を含む。
VVCサブピクチャトラックのサンプルは、次の:
デコーディング順序において連続している、ISO/IEC 23090-3で規定されている1つ以上の完全サブピクチャ、
長方形エリアを形成しかつデコーディング順序において連続している、ISO/IEC 23090-3で規定されている1つ以上の完全スライス
のうちのどちらか一方を含む。
VVCサブピクチャトラックのいずれかのサンプルに含まれているVVCサブピクチャ又はスライスは、デコーディング順序において連続している。
視覚メディアデータと前記視覚メディアデータに対応する情報を格納するファイルとの間の変換をフォーマット規則に従って実行するステップ(3002)を含み、
前記フォーマット規則は、前記ファイルの非ビデオコーディングレイヤ(非VCL)トラックを識別する第1条件及び/又は前記ファイルのビデオコーディングレイヤ(VCL)トラックを識別する第2条件を指定する、
方法。
前記第1条件は、前記非VCLトラックが非VCLネットワーク抽象型レイヤのみを含み、特定のトラック参照を通じて前記VCLトラックで識別されることを指定する、
方法。
前記第1条件は、前記非VCLトラックが、前記VCLトラックに対応する適応パラメータセット(APS)を含むことを指定する、
方法。
前記VCLトラックのための前記第2条件は、前記VCLトラックがデコーディング能力情報(DCI)又は動作点情報(OPI)ネットワーク抽象型レイヤユニットを含むことができないことを指定する、
方法。
前記第1条件は、前記非VCLトラックが、非VCLネットワーク抽象型レイヤユニットを含む1つ以上のエレメンタリストリームを含み、
前記非VCLネットワーク抽象型レイヤユニットは、前記VCLトラック内のエレメンタリストリームと同期する、
方法。
前記変換は、前記視覚メディアデータのビットストリーム表現を生成し、該ビットストリーム表現を前記ファイルフォーマット規則に従って前記ファイルに格納することを有する、
方法。
前記変換は、前記視覚メディアデータを回復するよう前記フォーマット規則に従って前記ファイルをパースすることを有する、
方法。
コンピュータプログラム製品。
視覚メディアファイルと視覚メディアデータのビットストリームとの間の変換をフォーマット規則に従って実行するステップ(8002)を有し、
前記フォーマット規則は、適応パラメータセットネットワーク抽象型レイヤユニットが、(1)ビデオコーディングレイヤトラックのサンプル又は前記ビデオコーディングレイヤトラックのサンプルエントリのいずれか一方又は両方、及び(2)非ビデオコーディングレイヤトラックのサンプルで、前記視覚メディアファイルに同時に格納されないようにすることを指定し、
前記ビデオコーディングレイヤトラックは、ビデオコーディングレイヤネットワーク抽象型レイヤユニットを含むトラックであり、
前記適応パラメータセットネットワーク抽象型レイヤユニットは、ビデオストリームのためのクロマスケーリング付きルーママッピングパラメータと、前記ビデオストリームのためのスケーリングリストパラメータとを含む、
方法。
前記フォーマット規則は、前記適応パラメータセットネットワーク抽象型レイヤユニットが前記ビデオコーディングレイヤトラックのサンプル又は前記ビデオコーディングレイヤトラックのサンプルエントリのいずれか一方又は両方で前記視覚メディアファイルに格納されることを指定する、
方法。
前記フォーマット規則は、前記適応パラメータセットネットワーク抽象型レイヤユニットが前記非ビデオコーディングレイヤトラックのサンプルで前記視覚メディアファイルに格納されることを指定する、
方法。
前記フォーマット規則は、第2適応パラメータセットネットワーク抽象型レイヤユニットが、(1)ビデオコーディングレイヤトラックのサンプル又は前記ビデオコーディングレイヤトラックのサンプルエントリのいずれか一方又は両方、及び(2)非ビデオコーディングレイヤトラックのサンプルで、前記視覚メディアファイルに同時に格納されることを許されることを更に指定し、
前記ビデオコーディングレイヤトラックは、ビデオコーディングレイヤネットワーク抽象型レイヤユニットを含むトラックであり、
前記第2適応パラメータセットネットワーク抽象型レイヤユニットは、ビデオストリームのための適応ループフィルタパラメータを含む、
方法。いくつかの実施形態で、視覚メディアデータを処理方法は、視覚メディアファイルと視覚メディアデータのビットストリームとの間の変換をフォーマット規則に従って実行するステップを有し、フォーマット規則は、適応パラメータセットが、(1)ビデオコーディングレイヤトラックのサンプル又はビデオコーディングレイヤトラックのサンプルエントリのいずれか一方又は両方、及び(2)非ビデオコーディングレイヤトラックのサンプルで、視覚メディアファイルに同時に格納されることを許されることを指定し、ビデオコーディングレイヤトラックは、ビデオコーディングレイヤネットワーク抽象型レイヤユニットを含むトラックであり、適応パラメータセットネットワーク抽象型レイヤユニットは、ビデオストリームのための適応ループフィルタパラメータを含む。
前記フォーマット規則は、前記第2適応パラメータセットネットワーク抽象型レイヤユニットが前記ビデオコーディングレイヤトラックのサンプル又は前記ビデオコーディングレイヤトラックのサンプルエントリのいずれか一方又は両方で前記視覚メディアファイルに格納されることを指定する、
方法。いくつかの実施形態で、フォーマット規則は、適応パラメータセットネットワーク抽象型レイヤユニットが、ビデオコーディングレイヤトラックのサンプル又はビデオコーディングレイヤトラックのサンプルエントリのいずれか一方又は両方で視覚メディアファイルに格納されることを指定する。
前記フォーマット規則は、前記第2適応パラメータセットネットワーク抽象型レイヤユニットが前記非ビデオコーディングレイヤトラックのサンプルで前記視覚メディアファイルに格納されることを指定する、
方法。いくつかの実施形態で、フォーマット規則は、適応パラメータセットネットワーク抽象型レイヤユニットが非ビデオコーディングレイヤトラックのサンプルで視覚メディアファイルに格納されることを指定する。
前記変換は、前記視覚メディアファイルを生成し、前記フォーマット規則に従って前記視覚メディアファイルに前記ビットストリームを格納することを有する、
方法。
前記変換は、前記視覚メディアファイルを生成することを有し、
当該方法は、非一時的なコンピュータ可読記録媒体に前記視覚メディアファイルを記憶することを更に有する、
方法。
前記変換は、前記ビットストリームを再構成するよう前記フォーマット規則に従って前記視覚メディアファイルをパースすることを有する、
方法。
前記視覚メディアファイルは、バーサタイル・ビデオ・コーディング(VVC)によって処理され、
前記ビデオコーディングレイヤトラック又は前記非ビデオコーディングレイヤトラックは、VVCトラックである、
方法。
プロセッサと、命令を記憶している非一時的なメモリとを有し、
前記命令は、前記プロセッサによって実行されると、前記プロセッサに、技術1~10の1つ以上で記載されている方法を実装させる、
装置。
前記方法は、
技術1~10の1つ以上で記載されている方法に従ってフォーマット規則を決定するステップと、
前記決定に基づき前記視覚メディアファイルを生成するステップと
を有する、
非一時的なコンピュータ可読記録媒体。いくつかの実施形態で、非一時的なコンピュータ可読記録媒体は、ビデオ処理装置によって実行された方法によって生成される視覚メディアファイルのビットストリームを記憶しており、方法は、フォーマット規則に従って視覚メディアデータに基づき視覚メディアファイルを生成するステップを有し、フォーマット規則は、第1適応パラメータセットネットワーク抽象型レイヤユニットが、(1)ビデオコーディングレイヤトラックのサンプル又はビデオコーディングレイヤトラックのサンプルエントリのいずれか一方又は両方、及び(2)非ビデオコーディングレイヤトラックのサンプルで、視覚メディアファイルに同時に格納されないようにすることを指定し、記ビデオコーディングレイヤトラックは、ビデオコーディングレイヤネットワーク抽象型レイヤユニットを含むトラックであり、第1適応パラメータセットネットワーク抽象型レイヤユニットは、ビデオストリームのためのクロマスケーリング付きルーママッピングパラメータと、前記ビデオストリームのためのスケーリングリストパラメータとを含む。
コンピュータプログラム製品。
技術1~10のいずれかで記載されている方法に従って視覚メディアファイルを生成するステップと、
前記視覚メディアファイルをコンピュータ可読プログラム媒体に記憶するステップと
を有する方法。
110 発信元デバイス
112 ビデオソース
114,200 ビデオエンコーダ
116,126 入出力(I/O)インターフェース
120 送信先デバイス
122 表示デバイス
124,300 ビデオデコーダ
130a ネットワーク
130b 記憶媒体/サーバ
201 パーティションユニット
202 予測ユニット
203 モード選択ユニット
204 動き推定ユニット
205,302 動き補償ユニット
206,303 イントラ予測ユニット
207 残差生成ユニット
208 変換ユニット
209 量子化ユニット
210,304 逆量子化ユニット
211,305 逆変換ユニット
212,306 再構成ユニット
213、307 バッファ
214 エントロピエンコーディングユニット
301 エントロピデコーディングユニット
1900 ビデオ処理システム
3600 ビデオ処理装置
3602 プロセッサ
3604 メモリ
3606 ビデオ処理ハードウェア
Claims (12)
- 視覚メディアデータを処理する方法であって、
視覚メディアファイルと視覚メディアデータのビットストリームとの間の変換をフォーマット規則に従って実行するステップを有し、
前記フォーマット規則は、第1適応パラメータセットネットワーク抽象型レイヤユニットが、(1)ビデオコーディングレイヤトラックのサンプル又は前記ビデオコーディングレイヤトラックのサンプルエントリのいずれか一方又は両方、及び(2)非ビデオコーディングレイヤトラックのサンプルで、前記視覚メディアファイルに同時に格納されないようにすることを指定し、
前記ビデオコーディングレイヤトラックは、ビデオコーディングレイヤネットワーク抽象型レイヤユニットを含むトラックであり、
前記第1適応パラメータセットネットワーク抽象型レイヤユニットは、ビデオストリームのためのクロマスケーリング付きルーママッピングパラメータと、前記ビデオストリームのためのスケーリングリストパラメータとを含む、
方法。 - 前記フォーマット規則は、前記第1適応パラメータセットネットワーク抽象型レイヤユニットが前記ビデオコーディングレイヤトラックのサンプル又は前記ビデオコーディングレイヤトラックのサンプルエントリのいずれか一方又は両方で前記視覚メディアファイルに格納されることを指定する、
請求項1に記載の方法。 - 前記フォーマット規則は、前記第1適応パラメータセットネットワーク抽象型レイヤユニットが前記非ビデオコーディングレイヤトラックのサンプルで前記視覚メディアファイルに格納されることを指定する、
請求項1に記載の方法。 - 前記フォーマット規則は、第2適応パラメータセットネットワーク抽象型レイヤユニットが、(1)ビデオコーディングレイヤトラックのサンプル又は前記ビデオコーディングレイヤトラックのサンプルエントリのいずれか一方又は両方、及び(2)非ビデオコーディングレイヤトラックのサンプルで、前記視覚メディアファイルに同時に格納されることを許されることを更に指定し、
前記ビデオコーディングレイヤトラックは、ビデオコーディングレイヤネットワーク抽象型レイヤユニットを含むトラックであり、
前記第2適応パラメータセットネットワーク抽象型レイヤユニットは、ビデオストリームのための適応ループフィルタパラメータを含む、
請求項1乃至3のうちいずれか一項に記載の方法。 - 前記フォーマット規則は、前記第2適応パラメータセットネットワーク抽象型レイヤユニットが前記ビデオコーディングレイヤトラックのサンプル又は前記ビデオコーディングレイヤトラックのサンプルエントリのいずれか一方又は両方で前記視覚メディアファイルに格納されることを指定する、
請求項4に記載の方法。 - 前記フォーマット規則は、前記第2適応パラメータセットネットワーク抽象型レイヤユニットが前記非ビデオコーディングレイヤトラックのサンプルで前記視覚メディアファイルに格納されることを指定する、
請求項4に記載の方法。 - 前記変換は、前記視覚メディアファイルを生成し、前記フォーマット規則に従って前記視覚メディアファイルに前記ビットストリームを格納することを有する、
請求項1乃至6のうちいずれか一項に記載の方法。 - 前記変換は、前記視覚メディアファイルを生成することを有し、
当該方法は、非一時的なコンピュータ可読記録媒体に前記視覚メディアファイルを記憶することを更に有する、
請求項1乃至6のうちいずれか一項に記載の方法。 - 前記変換は、前記ビットストリームを再構成するよう前記フォーマット規則に従って前記視覚メディアファイルをパースすることを有する、
請求項1乃至6のうちいずれか一項に記載の方法。 - 前記視覚メディアファイルは、バーサタイル・ビデオ・コーディング(VVC)によって処理され、
前記ビデオコーディングレイヤトラック又は前記非ビデオコーディングレイヤトラックは、VVCトラックである、
請求項1乃至9のうちいずれか一項に記載の方法。 - 視覚メディアデータを処理する装置であって、
プロセッサと、命令を記憶している非一時的なメモリとを有し、
前記命令は、前記プロセッサによって実行されると、前記プロセッサに、請求項1乃至10のうちいずれか一項に記載の方法を実装させる、
装置。 - プロセッサに、請求項1乃至10のうちいずれか一項に記載の方法を実装させる命令を記憶している非一時的なコンピュータ可読記憶媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063088809P | 2020-10-07 | 2020-10-07 | |
US63/088,809 | 2020-10-07 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022061954A true JP2022061954A (ja) | 2022-04-19 |
JP7307777B2 JP7307777B2 (ja) | 2023-07-12 |
Family
ID=78086233
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021160900A Active JP7307777B2 (ja) | 2020-10-07 | 2021-09-30 | ビデオコーディングにおける適応パラメータセットの格納 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11611752B2 (ja) |
EP (1) | EP3982636A1 (ja) |
JP (1) | JP7307777B2 (ja) |
KR (1) | KR20220047409A (ja) |
CN (1) | CN114302143A (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11711518B2 (en) | 2020-09-17 | 2023-07-25 | Lemon Inc. | Decoding capability information storage in video coding |
US11818343B2 (en) * | 2021-03-12 | 2023-11-14 | Tencent America LLC | Sample offset with predefined filters |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017508334A (ja) * | 2014-01-07 | 2017-03-23 | キヤノン株式会社 | 多層分割タイムドメディアデータのカプセル化において層間依存性を符号化するための方法、デバイス、およびコンピュータプログラム |
WO2020097232A1 (en) * | 2018-11-07 | 2020-05-14 | Futurewei Technologies, Inc. | Header parameter set for video coding |
WO2020179713A1 (en) * | 2019-03-06 | 2020-09-10 | Sharp Kabushiki Kaisha | Systems and methods for signaling tile group information in video coding |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8365060B2 (en) | 2006-08-24 | 2013-01-29 | Nokia Corporation | System and method for indicating track relationships in media files |
KR101091792B1 (ko) | 2007-04-17 | 2011-12-08 | 노키아 코포레이션 | 피드백 기반 스케일러블 비디오 코딩 |
MX2009010322A (es) | 2007-04-24 | 2009-10-19 | Nokia Corp | Señalizacion de multiples tiempos de descodificacion en archivos multimedia. |
US9648299B2 (en) | 2013-01-04 | 2017-05-09 | Qualcomm Incorporated | Indication of presence of texture and depth views in tracks for multiview coding plus depth |
US9712843B2 (en) | 2013-10-23 | 2017-07-18 | Qualcomm Incorporated | Multi-layer video file format designs |
GB2522014A (en) | 2014-01-07 | 2015-07-15 | Canon Kk | Method, device, and computer program for encoding inter-layer dependencies in encapsulating multi-layer partitioned timed media data |
US9936128B2 (en) | 2015-05-20 | 2018-04-03 | Google Llc | Automatic detection of panoramic gestures |
US20160373771A1 (en) | 2015-06-18 | 2016-12-22 | Qualcomm Incorporated | Design of tracks and operation point signaling in layered hevc file format |
WO2017011793A1 (en) | 2015-07-16 | 2017-01-19 | Google Inc. | Camera pose estimation for mobile devices |
US20170111642A1 (en) | 2015-10-14 | 2017-04-20 | Qualcomm Incorporated | Support of random access and switching of layers and sub-layers in multi-layer video files |
US10306253B2 (en) | 2015-10-14 | 2019-05-28 | Qualcomm Incorporated | Signaling of parameter sets in files of multi-layer bitstreams |
US10034010B2 (en) | 2015-10-14 | 2018-07-24 | Qualcomm Incorporated | Alignment of operation point sample group in multi-layer bitstreams file format |
US10623755B2 (en) | 2016-05-23 | 2020-04-14 | Qualcomm Incorporated | End of sequence and end of bitstream NAL units in separate file tracks |
US10652630B2 (en) | 2016-05-24 | 2020-05-12 | Qualcomm Incorporated | Sample entries and random access |
US10917564B2 (en) | 2016-10-12 | 2021-02-09 | Qualcomm Incorporated | Systems and methods of generating and processing files for partial decoding and most interested regions |
US11290755B2 (en) | 2017-01-10 | 2022-03-29 | Qualcomm Incorporated | Signaling data for prefetching support for streaming media data |
US10805650B2 (en) | 2017-03-27 | 2020-10-13 | Qualcomm Incorporated | Signaling important video information in network video streaming using mime type parameters |
US10944977B2 (en) | 2018-04-03 | 2021-03-09 | Mediatek Singapore Pte. Ltd. | Methods and apparatus for encoding and decoding overlay compositions |
WO2020176636A1 (en) * | 2019-02-27 | 2020-09-03 | Futurewei Technologies, Inc. | Luma mapping with chroma scaling adaptation parameter set in video coding |
US11190793B2 (en) * | 2019-07-09 | 2021-11-30 | Qualcomm Incorporated | Memory constraint for adaptation parameter sets for video coding |
US11711518B2 (en) | 2020-09-17 | 2023-07-25 | Lemon Inc. | Decoding capability information storage in video coding |
-
2021
- 2021-09-15 US US17/475,826 patent/US11611752B2/en active Active
- 2021-09-28 CN CN202111145077.4A patent/CN114302143A/zh active Pending
- 2021-09-29 EP EP21199819.0A patent/EP3982636A1/en active Pending
- 2021-09-30 JP JP2021160900A patent/JP7307777B2/ja active Active
- 2021-10-01 KR KR1020210130585A patent/KR20220047409A/ko unknown
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017508334A (ja) * | 2014-01-07 | 2017-03-23 | キヤノン株式会社 | 多層分割タイムドメディアデータのカプセル化において層間依存性を符号化するための方法、デバイス、およびコンピュータプログラム |
US20190014162A1 (en) * | 2014-01-07 | 2019-01-10 | Canon Kabushiki Kaisha | Method, device, and computer program for encoding inter-layer dependencies in encapsulating multi-layer partitioned timed media data |
WO2020097232A1 (en) * | 2018-11-07 | 2020-05-14 | Futurewei Technologies, Inc. | Header parameter set for video coding |
JP2022506623A (ja) * | 2018-11-07 | 2022-01-17 | 華為技術有限公司 | ビデオエンコーダ、ビデオデコーダ、及び対応する方法 |
WO2020179713A1 (en) * | 2019-03-06 | 2020-09-10 | Sharp Kabushiki Kaisha | Systems and methods for signaling tile group information in video coding |
JP2022524354A (ja) * | 2019-03-06 | 2022-05-02 | シャープ株式会社 | ビデオ符号化におけるタイルグループ情報をシグナリングするためのシステム及び方法 |
Also Published As
Publication number | Publication date |
---|---|
US11611752B2 (en) | 2023-03-21 |
CN114302143A (zh) | 2022-04-08 |
JP7307777B2 (ja) | 2023-07-12 |
US20220109848A1 (en) | 2022-04-07 |
KR20220047409A (ko) | 2022-04-15 |
EP3982636A1 (en) | 2022-04-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11770498B2 (en) | Supplemental enhancement information for multi-layer video streams | |
JP7203921B2 (ja) | ピクチャユニット構造における非vclのnalユニットのハンドリング | |
JP7268106B2 (ja) | ビジュアル・メディア・データ処理方法、装置、及び記憶媒体 | |
EP3972279A1 (en) | Subpicture track referencing and processing | |
US11750815B2 (en) | Versatile video coding track coding | |
JP2022050360A (ja) | デコーダコンフィギュレーションレコードにおけるピクチャ寸法インジケーション | |
JP7307777B2 (ja) | ビデオコーディングにおける適応パラメータセットの格納 | |
KR20220142957A (ko) | 서브픽처 엔티티 그룹에 대한 레벨 표시자 | |
CN115428438A (zh) | 视频编解码中的水平信息 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211019 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230104 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230403 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230606 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230630 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7307777 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |