JP2022056417A - マルチレイヤービデオストリームのための補足向上情報 - Google Patents
マルチレイヤービデオストリームのための補足向上情報 Download PDFInfo
- Publication number
- JP2022056417A JP2022056417A JP2021158893A JP2021158893A JP2022056417A JP 2022056417 A JP2022056417 A JP 2022056417A JP 2021158893 A JP2021158893 A JP 2021158893A JP 2021158893 A JP2021158893 A JP 2021158893A JP 2022056417 A JP2022056417 A JP 2022056417A
- Authority
- JP
- Japan
- Prior art keywords
- picture
- drap
- bitstream
- video
- pictures
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000153 supplemental effect Effects 0.000 title claims abstract description 22
- 238000000034 method Methods 0.000 claims abstract description 168
- 230000000007 visual effect Effects 0.000 claims abstract description 79
- 238000006243 chemical reaction Methods 0.000 claims abstract description 42
- 230000001419 dependent effect Effects 0.000 claims abstract description 30
- 230000006872 improvement Effects 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 15
- 230000015654 memory Effects 0.000 claims description 9
- 238000011084 recovery Methods 0.000 claims description 6
- 230000000750 progressive effect Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 48
- 239000010410 layer Substances 0.000 description 54
- 239000013598 vector Substances 0.000 description 18
- 238000013139 quantization Methods 0.000 description 12
- 238000004590 computer program Methods 0.000 description 11
- 230000011664 signaling Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000003044 adaptive effect Effects 0.000 description 9
- 238000013459 approach Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 230000002123 temporal effect Effects 0.000 description 5
- 230000001174 ascending effect Effects 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 239000000945 filler Substances 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000019491 signal transduction Effects 0.000 description 2
- 239000002356 single layer Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 101100533821 Arabidopsis thaliana FSD1 gene Proteins 0.000 description 1
- 108091000069 Cystinyl Aminopeptidase Proteins 0.000 description 1
- 102100020872 Leucyl-cystinyl aminopeptidase Human genes 0.000 description 1
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000000804 electron spin resonance spectroscopy Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 101150018269 sodB gene Proteins 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/23614—Multiplexing of additional data and video streams
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
パリ条約に基づく適用可能な特許法および/または規則のもと、この出願は、2020年9月29日に出願された米国仮特許出願第63/084,953号の優先権および利益を適時に主張するために行われる。法に基づくすべての目的のために、前述の出願の開示全体は、本出願の開示の一部として引用により援用される。
本特許文献は、ビデオ・エンコード、トランスコードまたはデコードを含むデジタル・ビデオ符号化技術に関する。
本稿は、ビデオ符号化技術に関する。具体的には、本稿は、補足拡張情報(Supplemental Enhancement Information、SEI)メッセージに基づくビデオ符号化におけるランダムアクセスポイント(random access point、RAP)横断参照のサポートに関する。これらの発想は、個別に、またはさまざまな組み合わせで、任意のビデオ符号化標準または非標準のビデオ・コーデック、たとえば、最近最終化された多用途ビデオ符号化(Versatile Video Coding、VVC)に適用されうる。
2.略語
ACT adaptive colour transform(適応色変換)
ALF adaptive loop filter(適応ループ・フィルタ)
AMVR adaptive motion vector resolution(適応動きベクトル分解能)
APS adaptation parameter set(適応パラメータセット)
AU access unit(アクセス単位)
AUD access unit delimiter(アクセス単位デリミタ)
AVC advanced video coding(先進ビデオ符号化)(Rec. ITU-T H.264 | ISO/IEC 14496-10)
B bi-predictive(双予測)
BCW bi-prediction with CU-level weights(CUレベルの重みを用いた双予測)
BDOF bi-directional optical flow(双方向オプティカルフロー)
BDPCM block-based delta pulse code modulation(ブロックベースのデルタ・パルス符号変調)
BP buffering period(バッファリング期間)
CABAC context-based adaptive binary arithmetic coding(コンテキストベースの適応二値算術符号化)
CB coding block(符号化ブロック)
CBR constant bit rate(一定ビットレート)
CCALF cross-component adaptive loop filter(成分横断の適応ループ・フィルタ)
CLVS coded layer video sequence(符号化層ビデオ・シーケンス)
CLVSS coded layer video sequence start(符号化層ビデオ・シーケンス開始)
CPB coded picture buffer(符号化ピクチャー・バッファ)
CRA clean random access(クリーン・ランダムアクセス)
CRC cyclic redundancy check(循環冗長検査)
CRR cross RAP referencing(RAP横断参照)
CTB coding tree block(符号化ツリー・ブロック)
CTU coding tree unit(符号化ツリー単位)
CU coding unit(符号化単位)
CVS coded video sequence(符号化ビデオ・シーケンス)
CVSS coded video sequence start(符号化ビデオ・シーケンス開始)
DPB decoded picture buffer(デコードピクチャー・バッファ)
DCI decoding capability information(デコード機能情報)
DRAP dependent random access point(従属ランダムアクセスポイント)
DU decoding unit(デコード・ユニット)
DUI decoding unit information(デコード・ユニット情報)
EG exponential-Golomb(指数ゴロム)
EGk k-th order exponential-Golomb(k次指数ゴロム)
EOB end of bitstream(ビットストリーム終了)
EOS end of sequence(シーケンス終了)
FD filler data(フィラー・データ)
FIFO first-in, first-out(先入れ先出し)
FL fixed-length(固定長)
GBR green, blue, and red(緑、青、赤)
GCI general constraints information(一般制約条件情報)
GDR gradual decoding refresh(漸進的デコード・リフレッシュ)
GPM geometric partitioning mode(幾何学的パーティション分割モード)
HEVC high efficiency video coding(高効率ビデオ符号化) (Rec. ITU-T H.265 | ISO/IEC 23008-2)
HRD hypothetical reference decoder(仮想参照デコーダ)
HSS hypothetical stream scheduler(仮想ストリーム・スケジューラ)
I intra(イントラ)
IBC intra block copy(イントラブロックコピー)
IDR instantaneous decoding refresh(瞬時デコード・リフレッシュ)
ILRP inter-layer reference picture(層間参照ピクチャー)
IRAP intra random access point(イントラランダムアクセスポイント)
LFNST low frequency non-separable transform(低周波数非分離可能変換)
LPS least probable symbol(最低確率シンボル)
LSB least significant bit(最下位ビット)
LTRP long-term reference picture(長期参照ピクチャー)
LMCS luma mapping with chroma scaling(クロマスケーリングを伴うルーマ・マッピング)
MIP matrix-based intra prediction(マトリクスベースのイントラ予測)
MPS most probable symbol(最大確率シンボル[最確シンボル])
MSB most significant bit(最上位ビット)
MTS multiple transform selection(複数変換選択)
MVP motion vector prediction(動きベクトル予測)
NAL network abstraction layer(ネットワーク抽象化層)
OLS output layer set(出力層集合)
OP operation point(動作点)
OPI operating point information(動作点情報)
P predictive(予測)
PH picture header(ピクチャー・ヘッダ)
POC picture order count(ピクチャー順カウント)
PPS picture parameter set(ピクチャーパラメータセット)
PROF prediction refinement with optical flow(オプティカルフローを用いた予測洗練)
PT picture timing(ピクチャー・タイミング)
PU picture unit(ピクチャー単位)
QP quantization parameter(量子化パラメータ)
RADL random access decodable leading (picture)(ランダムアクセスデコード可能な先導(ピクチャー))
RAP random access point(ランダムアクセスポイント)
RASL random access skipped leading (picture)(ランダムアクセススキップ先導(ピクチャー))
RBSP raw byte sequence payload(生のバイト・シーケンス・ペイロード)
RGB red, green, and blue(赤、緑、青)
RPL reference picture list(参照ピクチャー・リスト)
SAO sample adaptive offset(サンプル適応オフセット)
SAR sample aspect ratio(サンプル・アスペクト比)
SEI supplemental enhancement information(補足向上情報)
SH slice header(スライス・ヘッダ)
SLI subpicture level information(サブピクチャー・レベル情報)
SODB string of data bits(データ・ビットのストリング)
SPS sequence parameter set(シーケンスパラメータセット)
STRP short-term reference picture(短期参照ピクチャー)
STSA step-wise temporal sublayer access(ステップごとの時間的サブレイヤー・アクセス)
TR truncated rice(打ち切りされたライス)
TU transform unit(変換単位)
VBR variable bit rate(可変ビットレート)
VCL video coding layer(ビデオ符号化層)
VPS video parameter set(ビデオパラメータセット)
VSEI versatile supplemental enhancement information(多用途補足向上情報) (Rec. ITU-T H.274 | ISO/IEC 23002-7)
VUI video usability information(ビデオ・ユーザービリティー情報)
VVC versatile video coding(多用途ビデオ符号化) (Rec. ITU-T H.266 | ISO/IEC 23090-3)
3.1 ビデオ符号化規格
ビデオ符号化規格は、主に、周知のITU-TおよびISO/IEC規格の開発を通じて発展してきた。ITU-TはH.261およびH.263を生み出し、ISO/IECはMPEG-1およびMPEG-4 Visualを生み出し、両機関は合同してH.262/MPEG-2 VideoおよびH.264/MPEG-4 先進ビデオ符号化(Advanced Video Coding、AVC)およびH.265/HEVC規格を生み出した。H.262以来、ビデオ符号化規格は、時間的予測と変換符号化が利用されるハイブリッドビデオ符号化構造に基づいている。HEVCを越えた将来のビデオ符号化技術を探求するため、2015年にVCEGとMPEGによって合同で、合同ビデオ探査チーム(Joint Video Exploration Team、JVET)が設立された。それ以来、JVETによって多くの新しい方法が採用され、JEM(Joint Exploration Model)と名付けられた参照ソフトウェアに入れられた。その後、多用途ビデオ符号化(VVC)プロジェクトが正式に開始されるとき、JVETは合同ビデオエキスパートチーム(Joint Video Expert Team、JVET)と改称された。VVCは、HEVCと比較して50%のビットレート低減を目標とする新しい符号化標準であり、2020年7月1日に終了した第19回会合でJVETによって最終化された。
HEVCおよびVVCでは、POCは基本的にはDPB管理(その一部が参照ピクチャー管理である)を含むデコード・プロセスの多くの部分においてピクチャー識別用のピクチャーIDとして使用される。
ランダムアクセスとは、デコード順においてビットストリームの最初のピクチャーではないピクチャーからビットストリームのアクセスとデコードを開始することを指す。ブロードキャスト/マルチキャストおよびマルチパーティー・ビデオ会議における同調およびチャネル切り換え、ローカル再生およびストリーミングにおけるシーク、ならびにストリーミングにおけるストリーム適応をサポートするために、ビットストリームは、頻繁なランダムアクセスポイントを含む必要がある。これは、典型的には、イントラ符号化されたピクチャーであるが、インター符号化されたピクチャーであってもよい(たとえば、漸進的なデコード・リフレッシュの場合)。
VUIは、SPSの一部として(そしてHEVCでは可能性としてはVPSにおいても)送信される構文構造である。VUIは、規範的なデコード・プロセスには影響しないが、符号化されたビデオの適正なレンダリングのためには重要でありうる情報を担持する。
・インターレースされたまたはプログレッシブのコンテンツ;
・コンテンツがフレームパックされた立体視ビデオまたは投影された全方向ビデオを含むかどうか;
・サンプル・アスペクト比;
・コンテンツがオーバースキャン・ディスプレイに適しているかどうか;
・カラー原色、マトリクスおよび伝達特性を含むカラー記述。これは、超高解像度(UHD)対高解像度(HD)色空間および高ダイナミックレンジ(HDR)を信号伝達することができるために特に重要である;
・ルミナンスと比較したクロマ位置(これについての信号伝達が、HEVCと比較して、プログレッシブ・コンテンツについて明らかにされた)。
外部デコード・リフレッシュ(external decoding refresh、EDR)とも呼ばれる、RAP横断参照(cross RAP reference、CRR)に基づくビデオ符号化アプローチが、JVET-M0360、JVET-N0119、JVET-O0149、およびJVET-P0114において提案された。
DASHコンテンツ準備動作
1)ビデオ・コンテンツが、一つまたは複数の表現にエンコードされ、各表現は、特定の空間分解能、時間分解能、および品質を有する。
2)ビデオ・コンテンツの各特定の表現は、メインストリーム、および可能性としては外部ストリームによって表現される。メインストリームは、EDRピクチャーを含んでいても含んでいなくてもよい符号化されたピクチャーを含む。少なくとも1つのEDRピクチャーがメインストリームに含まれている場合、外部ストリームも存在し、外部ピクチャーを含む。EDRピクチャーがメインストリームに含まれない場合、外部ストリームは存在しない。
3)各メインストリームは、メインストリーム表現(Main Stream Representation、MSR)において搬送される。MSRにおける各EDRピクチャーは、セグメントの最初のピクチャーである。
4)各外部ストリームは、存在する場合、外部ストリーム表現(External Stream Representation、ESR)において搬送される。
5)EDRピクチャーで始まるMSR中の各セグメントについて、対応するESR中に、MPDから導出された同じセグメント開始時間を有するセグメントがあり、そのEDRピクチャーのデコードに必要な諸外部ピクチャーと、その後の諸ピクチャーとを、MSRにおいて搬送されるビットストリーム中でデコード順に担持する。
6)同じビデオ・コンテンツの諸MSRは、1つの適応セット(Adaptation Set、AS)に含まれる。同じビデオ・コンテンツのESRは、1つのASに含まれる。
DASHストリーミング動作
1)クライアントは、DASHメディア呈示(DASH Media Presentation)のMPDを取得し、該MPDをパースし、MSRを選択し、コンテンツが消費される開始呈示時間を決定する。
2)クライアントは、開始呈示時間に等しい(またはそれに十分に近い)呈示時間をもつピクチャーを含むセグメントから始めて、MSRの諸セグメントを要求する。
a.開始セグメントにおける最初のピクチャーがEDRピクチャーである場合、関連するESRにおける対応するセグメント(MPDから導出された同じセグメント開始時間をもつ)も、好ましくは諸MSRセグメントを要求する前に、要求される。そうでない場合、関連するESRのセグメントは要求されない。
3)異なるMSRに切り換えるとき、クライアントは、切り換え元MSRの最後に要求されたセグメントのセグメント開始時間よりも大きいセグメント開始時間を有する最初のセグメントから始めて、切り換え先MSRの諸セグメントを要求する。
a.切り換え先MSRにおける開始セグメントにおける最初のピクチャーがEDRピクチャーである場合、関連するESRにおける対応するセグメントも、好ましくは諸MSRセグメントを要求する前に、要求される。そうでない場合、関連するESRのセグメントは要求されない。
4)(シークまたはストリーム切り換え操作の後に開始セグメントをデコードした後に)同じMSRで連続的に動作するときは、関連するESRのセグメントは要求される必要がなく、これは、EDRピクチャーで始まって任意のセグメントを要求するときも含む。
-DRAPピクチャーは後縁ピクチャー(a trailing picture)である。
-DRAPピクチャーは、0に等しい時間的サブレイヤー識別子を有する。
-DRAPピクチャーは、その参照ピクチャー・リストのアクティブなエントリーにおいて、DRAPピクチャーの関連するIRAPピクチャーを除いて、いかなるピクチャーも含まない。
-デコード順および出力順の両方でDRAPピクチャーに続くピクチャーは、その参照ピクチャー・リストのアクティブなエントリーにおいて、DRAPピクチャーの関連するIRAPピクチャーを除いて、デコード順または出力順でDRAPピクチャーに先行するいかなるピクチャーも含まない。
DRAP指示SEIメッセージの機能は、CRRアプローチのサブセットと考えることができる。簡単のため、DRAP指示SEIメッセージに関連するピクチャーは、タイプ1 DRAPピクチャーと呼ばれる。
上記の問題等を解決するために、以下にまとめた方法が開示される。これらの項目は、一般的な概念を説明するための例として考慮されるべきであり、狭義に解釈されるべきではない。さらに、これらの項目は、個別に適用され、または任意の仕方で組み合わされることができる。
1)一例では、DRAP指示SEIメッセージの意味内容は、SEIメッセージが多層ビットストリームに適用できるように変更される、すなわち、意味内容は、デコーダが、DRAPピクチャー(すなわち、DRAP指示SEIメッセージに関連付けられたピクチャー)および同じ層内にあり、デコード順および出力順の両方でそれに続く諸ピクチャーを、DRAPピクチャーの関連するIRAPピクチャーを除いて同じ層内の他のどのピクチャーもデコードする必要なく、適正にデコードすることを可能にする。
a.一例では、DRAPピクチャーは、DRAPピクチャーの関連するIRAPピクチャーを除いて、その参照ピクチャー・リストのアクティブなエントリー内に同じ層内のいかなるピクチャーも含まないことが要求される。
b.一例では、同じ層内にあり、デコード順および出力順の両方でDRAPピクチャーに続くどのピクチャーも、その参照ピクチャー・リストのアクティブなエントリーにおいて、DRAPピクチャーの関連するIRAPピクチャーを除いて、同じ層内にあり、デコード順または出力順でDRAPピクチャーに先行するいかなるピクチャーも含まないことが要求される。
2)一例では、RAPピクチャーIDが、DRAPピクチャーについて、DRAP指示SEIメッセージにおいて、IRAPピクチャーまたはDRAPピクチャーのいずれかでありうるRAPピクチャーの識別子を指定するために、信号伝達される。
a.一例では、RAPピクチャーIDがDRAP指示に存在するかどうかを示す存在フラグが信号伝達され、フラグが特定の値、たとえば1に等しい場合には、RAPピクチャーIDはDRAP指示SEIメッセージにおいて信号伝達され、フラグが別の値、たとえば0に等しい場合には、RAPピクチャーIDはDRAP指示SEIメッセージにおいて信号伝達されない。
3)一例では、DRAP指示SEIメッセージに関連するDRAPピクチャーは、関連するIRAPピクチャー、またはph_recovery_poc_cntが0に等しいGDRピクチャーであるデコード順で前のピクチャーのいずれかを、インター予測参照のために参照することが許容される。
4)一例では、新しいSEIメッセージが、たとえば、タイプ2のDRAP指示SEIメッセージと命名され、この新しいSEIメッセージに関連する各ピクチャーは、特殊なタイプのピクチャー、たとえば、タイプDRAPピクチャーと呼ばれる。
5)一例では、タイプ1 DRAPピクチャー(DRAP指示SEIメッセージに関連付けられる)およびタイプ2 DRAPピクチャー(タイプ2 DRAP指示SEIメッセージに関連付けられる)は、まとめてDRAPピクチャーと呼ばれることが指定される。
6)一例では、タイプ2 DRAP指示SEIメッセージは、RAPピクチャーの識別子を指定するために、たとえばRapPicIdとして記されるRAPピクチャーIDを含み、該RAPピクチャーは、IRAPピクチャーまたはDRAPピクチャーのいずれであってもよく、構文要素(たとえば、t2drap_num_ref_rap_pics_minus1)は、タイプ2 DRAPピクチャーと同じCLVS内にあり、タイプ2 DRAPピクチャーの参照ピクチャー・リストのアクティブなエントリーに含まれてもよいIRAPまたはDRAPピクチャーの数を示す。
a.一例では、前記数を示す構文要素(たとえば、t2drap_num_ref_rap_pics_minus1)は、u(3)として3ビットを用いて符号化される。
b.あるいはまた、前記数を示す構文要素(たとえば、t2drap_num_ref_rap_pics_minus1)は、ue(v)として符号化される。
7)一例では、DRAPピクチャーのRAPピクチャーIDについて、DRAP指示SEIメッセージまたはタイプ2 DRAP指示SEIメッセージにおいて、以下のアプローチのうちの一つまたは複数が適用される:
a.一例では、RAPピクチャーIDの信号伝達のための構文要素は、u(16)として16ビットを使用して符号化される。
i.あるいはまた、RAPピクチャーIDの信号伝達のための構文要素がue(v)を用いて符号化される。
b.一例では、DRAP指示SEIメッセージにおいてRAPピクチャーIDを信号伝達する代わりに、DRAPピクチャーのPOC値は、たとえばse(v)またはi(32)を使用して信号伝達される。
i.あるいはまた、関連するIRAPピクチャーのPOC値に対するPOCデルタが、たとえば、ue(v)またはu(16)を使用して信号伝達される。
8)一例では、IRAPまたはDRAPである各IRAPまたはDRAPピクチャーが、RAPピクチャーID RapPicIdに関連付けられることが指定される。
a.一例では、IRAPピクチャーについてのRapPicIdの値が0に等しいと推定されることが指定される。
b.一例では、RapPicIdの値がCLVS内の2つのIRAPまたはDRAPピクチャーについて異なることが指定される。
c.さらに、一例では、CLVS内のIRAPおよびDRAPピクチャーについてのRapPicIdの値は、IRAPまたはDRAPピクチャーのデコード順の昇順において増加する。
d.さらに、一例では、DRAPピクチャーのRapPicIdは、同じCLVS内でデコード順で、前のIRAPまたはDRAPピクチャーのRapPicIdより1大きい。
9)一例では、タイプ2 DRAP指示SEIメッセージは、RAPピクチャーIDのリストをさらに含む。RAPピクチャーIDは、タイプ2 DRAPピクチャーと同じCLVS内にあり、タイプ2 DRAPピクチャーの参照ピクチャー・リストのアクティブなエントリーに含まれうるIRAPまたはDRAPピクチャーのそれぞれについて1つある。
a.一例では、RAPピクチャーIDのリストのそれぞれは、タイプ2 DRAP指示SEIメッセージに関連付けられたDRAPピクチャーについてのRAPピクチャーIDと同じに符号化される。
b.あるいはまた、RAPピクチャーIDのリストの値がリスト・インデックスiの値の昇順で増加することを要求し、i番目のDRAPピクチャーのRapPicId値と、1)(i-1)番目のDRAPまたはIRAPピクチャーのRapPicId値(iが0より大きい場合)または2)0(iが0に等しい場合)との間のデルタのue(v)符号化を使用する。
c.あるいはまた、RAPピクチャーIDのリストのそれぞれは、RAPピクチャーのPOC値を表すように符号化され、たとえばse(v)またはi(32)として符号化される。
d.あるいはまた、RAPピクチャーIDのリストのそれぞれは、関連するIRAPピクチャーのPOC値に対するPOCデルタを表すように符号化され、たとえばue(v)、u(16)を使用して信号伝達される。
e.あるいはまた、RAPピクチャーIDのリストのそれぞれは、たとえばue(v)またはu(16)を使用して、現在のピクチャーのPOC値と、1)(i-1)番目のDRAPまたはIRAPピクチャーのPOC値(iが0より大きい場合)、または(2)IRAPピクチャーのPOC値(iが0に等しい場合)との間のPOCデルタを表すように符号化される。
f.あるいはまた、さらに、RAPピクチャーIDのリストに対し、リスト・インデックス値の任意の二つの値iおよびjについて、iがjより小さい場合、i番目のIRAPまたはDRAPピクチャーは、デコード順でj番目のIRAPまたはDRAPピクチャーに先行することが要求される。
6.実施形態
以下は、VSEI仕様に適用できる、上記でセクション5において要約されたいくつかの発明側面についてのいくつかの例示的な実施形態である。変更されたテキストは、JVET-S2007-v7における最新のVSEIテキストに基づいている。追加または修正されたほとんどの関連する部分は太字およびイタリック体でハイライトされ、削除された部分の一部は二重括弧でマークされる(たとえば、[[a]]は文字「a」の削除を示す)。編集上の変更であるため、ハイライトされない他のいくつかの変更があるかもしれない。
6.1 第1の実施形態
この実施形態は、既存のDRAP指示SEIメッセージに対する変更のためのものである。
6.1.1 従属ランダムアクセスポイント指示SEIメッセージ構文
この実施形態は、新しいタイプ2 DRAP指示SEIメッセージのためのものである。
6.2.1 タイプ2 DRAP指示SEIメッセージ構文
タイプ2 DRAP指示SEIメッセージに関連するピクチャーは、タイプ2 DRAPピクチャーと呼ばれる。タイプ1 DRAPピクチャー(DRAP指示SEIメッセージに関連)およびタイプ2 DRAPピクチャーは、まとめてDRAPピクチャーと呼ばれる。
タイプ2 DRAP指示SEIメッセージの存在は、このサブ箇条で指定されているピクチャー順およびピクチャー参照に関する制約条件が適用されることを示す。これらの制約条件により、デコーダは、タイプ2 DRAPピクチャーおよび同じ層内にあり、デコード順および出力順の両方でそれに続く諸ピクチャーを、ピクチャーのリストreferenceablePicturesを除いて、同じ層内の他のどのピクチャーもデコードする必要なく、適正にデコードすることができる。該ピクチャーのリストは、同じCLVS内にあり、t2drap_ref_rap_id[i]構文要素によって識別される、デコード順のIRAPまたはDRAPピクチャーのリストからなる。
タイプ2 DRAP指示SEIメッセージの存在によって示される制約条件は、すべて適用されるが、以下の通りである:
-タイプ2 DRAPピクチャーは末尾ピクチャーである。
-タイプ2 DRAPピクチャーは、0に等しい時間的サブレイヤー識別子を有する。
-タイプ2 DRAPピクチャーは、その参照ピクチャー・リストのアクティブなエントリーにおいて、前記referenceablePicturesを除いて、同じ層内のいかなるピクチャーも含まない。
-同じ層内にあり、デコード順および出力順の両方でタイプ2 DRAPピクチャーに続くどのピクチャーも、その参照ピクチャー・リストのアクティブなエントリーにおいて、前記referenceablePicturesを除いて、同じ層内にあり、デコード順または出力順でタイプ2 DRAPピクチャーに先行するいかなるピクチャーも含まない。リストreferenceablePictures内のどのピクチャーも、その参照ピクチャー・リストのアクティブなエントリーにおいて、同じ層内にあり、リストreferenceablePictures内の、より早い位置にあるピクチャーでないいかなるピクチャーも含まない。
注―結果的に、referenceablePicturesにおける最初のピクチャーは、たとえそれがIRAPピクチャーではなくDRAPピクチャーであっても、その参照ピクチャー・リストのアクティブなエントリーにおいて、同じ層からのいかなるピクチャーも含まない。
t2drap_rap_id_in_clvsは、タイプ2のDRAPピクチャーのRAPピクチャー識別子(RapPicIdと記される)を指定する。IRAPまたはDRAPである各IRAPまたはDRAPピクチャーは、RapPicIdに関連付けられる。IRAPピクチャーについてのRapPicIdの値は、0に等しいと推定される。RapPicIdの値は、CLVS内の任意の2つのIRAPまたはDRAPピクチャーについて異なる。
t2drap_reserved_zero_13bitsは、この仕様書のこのバージョンに準拠するビットストリームでは0に等しい。t2drap_reserved_zero_13bitsについての他の値は、ITU-T | ISO/IECによる将来の使用のために予約されている。デコーダは、t2drap_reserved_zero_13bitsの値を無視する。
t2drap_num_ref_rap_pics_minus1に1を加えたものは、タイプ2 DRAPピクチャーと同じCLVS内にあり、タイプ2 DRAPピクチャーの参照ピクチャー・リストのアクティブなエントリーに含まれうるIRAPまたはDRAPピクチャーの数を示す。
t2drap_ref_rap_id[i]は、タイプ2 DRAPピクチャーと同じCLVS内にあり、タイプ2 DRAPピクチャーの参照ピクチャー・リストのアクティブなエントリーに含まれうるi番目のIRAPまたはDRAPピクチャーのRapPicIdを示す。
前記SEIメッセージがランダムアクセスポイント(RAP)ピクチャーの識別子を含むことを指定する、
解決策1に記載の方法。
前記フォーマット規則は、前記SEIメッセージ内の前記RAPピクチャーの前記識別子の存在を示す存在フラグが前記ビットストリームに含まれることをさらに指定する、解決策4に記載の方法。
第1の値に等しい値をもつ前記存在フラグは、前記RAPピクチャーの前記識別子が前記SEIメッセージに存在することを示す、解決策6に記載の方法。
第2の値に等しい値をもつ前記存在フラグは、前記RAPピクチャーの前記識別子が前記SEIメッセージから省略されることを示す、解決策6に記載の方法。
112 ビデオ源
114 ビデオ・エンコーダ
116 I/Oインターフェース
120 宛先装置
122 表示装置
124 ビデオ・デコーダ
126 I/Oインターフェース
130a ネットワーク
130b 記憶媒体/サーバー
200 ビデオ・エンコーダ
201 分割部
202 予測部
203 モード選択部
204 動き推定部
205 動き補償部
206 イントラ予測部
208 変換部
209 量子化部
210 逆量子化部
211 逆変換部
213 バッファ
214 エントロピー符号化部
300 ビデオ・デコーダ
301 エントロピー復号部
302 動き補償部
303 イントラ予測部
304 逆量子化部
305 逆変換部
307 バッファ
Claims (15)
- 視覚的メディア・データを処理する方法であって:
フォーマット規則に従って、視覚的メディア・データと、複数の層を含む該視覚的メディア・データのビットストリームとの間の変換を実行する段階を含み、
前記フォーマット規則は、補足向上情報(SEI)メッセージが前記ビットストリームに含まれ、デコーダが、1)前記SEIメッセージに関連する層内の従属ランダムアクセスポイント(DRAP)ピクチャー、および/または、2)その層内に含まれ、かつ、デコード順および出力順で前記DRAPピクチャーに続くピクチャーを、前記DRAPピクチャーに関連するイントラランダムアクセスポイント(IRAP)ピクチャーを除いてその層内の他のピクチャーをデコードする必要なく、デコードすることが許容されることを示すことを指定する、
方法。 - 前記DRAPピクチャーは、前記IRAPピクチャーを除いて、前記層内のピクチャーを、前記DRAPピクチャーの参照ピクチャー・リストのアクティブなエントリーから除外する、請求項1に記載の方法。
- 前記層に含まれ、デコード順および出力順で前記DRAPピクチャーに続く第1のピクチャーが、前記IRAPピクチャーを除いて、前記層に含まれ、デコード順および出力順で前記DRAPピクチャーに先行する第2のピクチャーを、前記第1のピクチャーの参照ピクチャー・リストのアクティブなエントリーから除外する、請求項1に記載の方法。
- 前記フォーマット規則がさらに、
前記SEIメッセージがランダムアクセスポイント(RAP)ピクチャーの識別子を含むことを指定する、
請求項1ないし3のうちいずれか一項に記載の方法。 - 前記RAPピクチャーは、前記IRAPピクチャーまたは前記DRAPピクチャーである、請求項4に記載の方法。
- 前記フォーマット規則は、前記SEIメッセージ内の前記RAPピクチャーの前記識別子の存在を示す存在フラグが前記ビットストリームに含まれることをさらに指定する、請求項4または5に記載の方法。
- 第1の値に等しい値をもつ前記存在フラグは、前記RAPピクチャーの前記識別子が前記SEIメッセージに存在することを示す、請求項6に記載の方法。
- 第2の値に等しい値をもつ前記存在フラグは、前記RAPピクチャーの前記識別子が前記SEIメッセージから省略されることを示す、請求項6または7に記載の方法。
- 前記DRAPピクチャーは、前記IRAPピクチャー、または、出力順でそのデコードされたピクチャーの回復点が0に等しい漸進的デコード・リフレッシュ(GDR)ピクチャーである前のピクチャーを参照することが許容される、請求項1ないし8のうちいずれか一項に記載の方法。
- 前記ビットストリームが多用途ビデオ符号化ビットストリームである、請求項1ないし9のうちいずれか一項に記載の方法。
- 前記変換の実行が、前記視覚的メディア・データから前記ビットストリームを生成することを含む、請求項1ないし10のうちいずれか一項に記載の方法。
- 前記変換の実行が、前記ビットストリームから前記視覚的メディア・データを再構成することを含む、請求項1ないし10のうちいずれか一項に記載の方法。
- プロセッサと、命令を有する非一時的メモリとを含む、視覚的メディア・データを処理する装置であって、前記命令は、プロセッサによって実行されると、前記プロセッサに:
フォーマット規則に従って、視覚的メディア・データと、複数の層を含む該視覚的メディア・データのビットストリームとの間の変換を実行させるものであり、
前記フォーマット規則は、補足向上情報(SEI)メッセージが前記ビットストリームに含まれ、デコーダが、1)前記SEIメッセージに関連する層内の従属ランダムアクセスポイント(DRAP)ピクチャー、および/または、2)その層内に含まれ、かつ、デコード順および出力順で前記DRAPピクチャーに続くピクチャーを、前記DRAPピクチャーに関連するイントラランダムアクセスポイント(IRAP)ピクチャーを除いてその層内の他のピクチャーをデコードする必要なく、デコードすることが許容されることを示すことを指定する、
装置。 - 命令を記憶している非一時的なコンピュータ読み取り可能な記憶媒体であって、前記命令は、プロセッサに:
フォーマット規則に従って、視覚的メディア・データと、複数の層を含む該視覚的メディア・データのビットストリームとの間の変換を実行させるものであり、
前記フォーマット規則は、補足向上情報(SEI)メッセージが前記ビットストリームに含まれ、デコーダが、1)前記SEIメッセージに関連する層内の従属ランダムアクセスポイント(DRAP)ピクチャー、および/または、2)その層内に含まれ、かつ、デコード順および出力順で前記DRAPピクチャーに続くピクチャーを、前記DRAPピクチャーに関連するイントラランダムアクセスポイント(IRAP)ピクチャーを除いてその層内の他のピクチャーをデコードする必要なく、デコードすることが許容されることを示すことを指定する、
非一時的なコンピュータ読み取り可能な記憶媒体。 - 視覚的メディア・データ処理装置によって実行される方法によって生成された視覚的メディア・データのビットストリームを記憶している非一時的なコンピュータ読み取り可能な記録媒体であって、前記方法は:
補足向上情報(SEI)メッセージが前記ビットストリームに含まれ、デコーダが、1)前記SEIメッセージに関連する層内の従属ランダムアクセスポイント(DRAP)ピクチャー、および/または、2)その層内に含まれ、かつ、デコード順および出力順で前記DRAPピクチャーに続くピクチャーを、前記DRAPピクチャーに関連するイントラランダムアクセスポイント(IRAP)ピクチャーを除いてその層内の他のピクチャーをデコードする必要なく、デコードすることが許容されることを示していることを判別する段階と;
前記判別に基づいて前記ビットストリームを生成する段階とを含む、
非一時的なコンピュータ読み取り可能な記録媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063084953P | 2020-09-29 | 2020-09-29 | |
US63/084953 | 2020-09-29 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2022056417A true JP2022056417A (ja) | 2022-04-08 |
JP2022056417A5 JP2022056417A5 (ja) | 2022-06-13 |
JP7332662B2 JP7332662B2 (ja) | 2023-08-23 |
Family
ID=77998867
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021158893A Active JP7332662B2 (ja) | 2020-09-29 | 2021-09-29 | マルチレイヤービデオストリームのための補足向上情報 |
JP2021158897A Active JP7332663B2 (ja) | 2020-09-29 | 2021-09-29 | ビデオビットストリームにおける従属ランダムアクセスポイント指示のための構文 |
JP2021158894A Active JP7433280B2 (ja) | 2020-09-29 | 2021-09-29 | ビデオストリームにおける従属ランダムアクセスポイント指示 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021158897A Active JP7332663B2 (ja) | 2020-09-29 | 2021-09-29 | ビデオビットストリームにおける従属ランダムアクセスポイント指示のための構文 |
JP2021158894A Active JP7433280B2 (ja) | 2020-09-29 | 2021-09-29 | ビデオストリームにおける従属ランダムアクセスポイント指示 |
Country Status (5)
Country | Link |
---|---|
US (3) | US11962936B2 (ja) |
EP (3) | EP3975569A1 (ja) |
JP (3) | JP7332662B2 (ja) |
KR (3) | KR20220043910A (ja) |
CN (3) | CN114339246A (ja) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ES2907203T3 (es) | 2010-04-13 | 2022-04-22 | Ge Video Compression Llc | Codificación de vídeo que usa subdivisiones multiárbol de imágenes |
JP5718453B2 (ja) | 2010-04-13 | 2015-05-13 | フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | 復号化方法 |
CN102939750B (zh) * | 2010-04-13 | 2016-07-06 | Ge视频压缩有限责任公司 | 跨平面预测 |
CN106454370B (zh) | 2010-04-13 | 2019-11-01 | Ge视频压缩有限责任公司 | 解码器、重建数组的方法、编码器、编码方法及数据流 |
KR20220114557A (ko) | 2019-12-26 | 2022-08-17 | 바이트댄스 아이엔씨 | 코딩된 픽처 내에서 디코딩 순서를 구현하기 위한 기술들 |
EP4107957A4 (en) | 2020-03-21 | 2023-08-23 | Beijing Bytedance Network Technology Co., Ltd. | RESAMPLING REFERENCE IMAGE |
KR20230002446A (ko) | 2020-04-19 | 2023-01-05 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 변환 스킵 잔차 코딩 |
CN115812304A (zh) | 2020-06-20 | 2023-03-17 | 抖音视界有限公司 | 具有不同的编解码块大小的层间预测 |
US11962936B2 (en) | 2020-09-29 | 2024-04-16 | Lemon Inc. | Syntax for dependent random access point indication in video bitstreams |
US20220109865A1 (en) * | 2020-10-02 | 2022-04-07 | Sharp Kabushiki Kaisha | Systems and methods for signaling picture buffer information for intra random access point picture sub-bitstreams in video coding |
US11888913B2 (en) | 2021-04-28 | 2024-01-30 | Lemon Inc. | External stream representation properties |
WO2023081824A1 (en) * | 2021-11-05 | 2023-05-11 | Bytedance Inc. | Method, apparatus, and medium for media processing |
WO2023200879A1 (en) * | 2022-04-12 | 2023-10-19 | Bytedance, Inc. | Support of subsegments based streaming operations in edrap based video streaming |
CN114745600B (zh) * | 2022-06-10 | 2022-09-27 | 中国传媒大学 | 一种基于sei的视频标签标注方法及装置 |
WO2024006289A1 (en) * | 2022-06-28 | 2024-01-04 | Bytedance Inc. | Edrap support in isobmff for all media types |
WO2024006291A1 (en) * | 2022-06-29 | 2024-01-04 | Bytedance, Inc. | Edrap in dash based on ari track |
WO2024039723A1 (en) * | 2022-08-17 | 2024-02-22 | Bytedance Inc. | Presence and relative decoding order of neural-network post-filter sei messages |
WO2024053954A1 (ko) * | 2022-09-05 | 2024-03-14 | 엘지전자 주식회사 | 종속 랜덤 액세스 포인트 픽처에 기반한 영상 부호화/복호화 방법, 장치 및 비트스트림 전송 방법 |
CN116437127B (zh) * | 2023-06-13 | 2023-08-11 | 典基网络科技(上海)有限公司 | 一种基于用户数据共享的视频卡顿优化方法 |
CN117201789B (zh) * | 2023-11-07 | 2024-01-26 | 南京美乐威电子科技有限公司 | 视频码流生成方法、计算机存储介质及编码器 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017522766A (ja) * | 2014-06-18 | 2017-08-10 | テレフオンアクチーボラゲット エルエム エリクソン(パブル) | 従属ランダムアクセスポイントピクチャ |
Family Cites Families (54)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2675955C (en) | 2007-01-18 | 2013-07-23 | Nokia Corporation | Carriage of sei messages in rtp payload format |
RU2573222C2 (ru) | 2010-04-09 | 2016-01-20 | Мицубиси Электрик Корпорейшн | Устройство кодирования движущихся изображений и устройство декодирования движущихся изображений |
US9264717B2 (en) | 2011-10-31 | 2016-02-16 | Qualcomm Incorporated | Random access with advanced decoded picture buffer (DPB) management in video coding |
US9979958B2 (en) * | 2012-04-20 | 2018-05-22 | Qualcomm Incorporated | Decoded picture buffer processing for random access point pictures in video sequences |
US9736476B2 (en) * | 2012-04-27 | 2017-08-15 | Qualcomm Incorporated | Full random access from clean random access pictures in video coding |
US9225978B2 (en) * | 2012-06-28 | 2015-12-29 | Qualcomm Incorporated | Streaming adaption based on clean random access (CRA) pictures |
US9591303B2 (en) | 2012-06-28 | 2017-03-07 | Qualcomm Incorporated | Random access and signaling of long-term reference pictures in video coding |
US9479776B2 (en) | 2012-07-02 | 2016-10-25 | Qualcomm Incorporated | Signaling of long-term reference pictures for video coding |
US20140010277A1 (en) | 2012-07-09 | 2014-01-09 | Qualcomm, Incorporated | Supplemental enhancement information (sei) messages having a fixed-length coded video parameter set (vps) id |
US9584804B2 (en) | 2012-07-10 | 2017-02-28 | Qualcomm Incorporated | Coding SEI NAL units for video coding |
WO2014047351A2 (en) | 2012-09-19 | 2014-03-27 | Qualcomm Incorporated | Selection of pictures for disparity vector derivation |
US9426462B2 (en) | 2012-09-21 | 2016-08-23 | Qualcomm Incorporated | Indication and activation of parameter sets for video coding |
US9479774B2 (en) | 2012-09-24 | 2016-10-25 | Qualcomm Incorporated | Buffering period and recovery point supplemental enhancement information messages |
US9479782B2 (en) | 2012-09-28 | 2016-10-25 | Qualcomm Incorporated | Supplemental enhancement information message coding |
US9154785B2 (en) | 2012-10-08 | 2015-10-06 | Qualcomm Incorporated | Sub-bitstream applicability to nested SEI messages in video coding |
US9521393B2 (en) | 2013-01-07 | 2016-12-13 | Qualcomm Incorporated | Non-nested SEI messages in video coding |
US9402076B2 (en) | 2013-01-07 | 2016-07-26 | Qualcomm Incorporated | Video buffering operations for random access in video coding |
US9596486B2 (en) | 2013-04-05 | 2017-03-14 | Qualcomm Incorporated | IRAP access units and bitstream switching and splicing |
US11438609B2 (en) | 2013-04-08 | 2022-09-06 | Qualcomm Incorporated | Inter-layer picture signaling and related processes |
US9532052B2 (en) | 2013-04-08 | 2016-12-27 | Qualcomm Incorporated | Cross-layer POC alignment for multi-layer bitstreams that may include non-aligned IRAP pictures |
US10003815B2 (en) | 2013-06-03 | 2018-06-19 | Qualcomm Incorporated | Hypothetical reference decoder model and conformance for cross-layer random access skipped pictures |
US20150016502A1 (en) | 2013-07-15 | 2015-01-15 | Qualcomm Incorporated | Device and method for scalable coding of video information |
US9525883B2 (en) | 2013-07-15 | 2016-12-20 | Qualcomm Incorporated | Cross-layer alignment of intra random access point pictures |
US9900605B2 (en) | 2013-10-14 | 2018-02-20 | Qualcomm Incorporated | Device and method for scalable coding of video information |
US10264272B2 (en) | 2013-10-15 | 2019-04-16 | Qualcomm Incorporated | Device and method for scalable coding of video information |
EP3058747B1 (en) | 2013-10-15 | 2019-11-20 | Nokia Technologies Oy | Scalable video encoding and decoding using syntax element |
US10284858B2 (en) | 2013-10-15 | 2019-05-07 | Qualcomm Incorporated | Support of multi-mode extraction for multi-layer video codecs |
US9648348B2 (en) | 2013-10-23 | 2017-05-09 | Qualcomm Incorporated | Multi-layer video file format designs |
US9860540B2 (en) | 2014-01-03 | 2018-01-02 | Qualcomm Incorporated | Inference of nooutputofpriorpicsflag in video coding |
US10560710B2 (en) | 2014-01-03 | 2020-02-11 | Qualcomm Incorporated | Method for coding recovery point supplemental enhancement information (SEI) messages and region refresh information SEI messages in multi-layer coding |
US9794558B2 (en) | 2014-01-08 | 2017-10-17 | Qualcomm Incorporated | Support of non-HEVC base layer in HEVC multi-layer extensions |
US9807406B2 (en) | 2014-03-17 | 2017-10-31 | Qualcomm Incorporated | Picture flushing and decoded picture buffer parameter inference for multi-layer bitstreams |
US10880565B2 (en) | 2014-03-24 | 2020-12-29 | Qualcomm Incorporated | Use of specific HEVC SEI messages for multi-layer video codecs |
US10645404B2 (en) | 2014-03-24 | 2020-05-05 | Qualcomm Incorporated | Generic use of HEVC SEI messages for multi-layer codecs |
US9712871B2 (en) | 2014-05-01 | 2017-07-18 | Qualcomm Incorporated | Determination bitstream decoding capability in video coding |
US10063867B2 (en) | 2014-06-18 | 2018-08-28 | Qualcomm Incorporated | Signaling HRD parameters for bitstream partitions |
US9832463B2 (en) | 2014-06-18 | 2017-11-28 | Telefonaktiebolaget L M Ericsson (Publ) | Robust encoding and decoding of pictures in video |
US10542288B2 (en) | 2014-06-18 | 2020-01-21 | Telefonaktiebolaget Lm Ericsson (Publ) | Random access in a video bitstream |
US9716900B2 (en) | 2014-06-20 | 2017-07-25 | Qualcomm Incorporated | Extensible design of nesting supplemental enhancement information (SEI) messages |
US9807419B2 (en) | 2014-06-25 | 2017-10-31 | Qualcomm Incorporated | Recovery point SEI message in multi-layer video codecs |
BR112017015841B1 (pt) | 2015-02-04 | 2024-01-30 | Telefonaktiebolaget Lm Ericsson (Publ) | Dispositivo para decodificar amostras de ponto de acesso aleatório dependente, dispositivo para gerar um arquivo de recipiente de mídia, métodos relacionados e arquivo de recipiente de mídia |
US10200690B2 (en) | 2015-09-22 | 2019-02-05 | Qualcomm Incorporated | Video decoder conformance for high dynamic range (HDR) video coding using a core video standard |
US10148983B2 (en) | 2015-09-25 | 2018-12-04 | Qualcomm Incorporated | Methods and systems of improved video stream switching and random access |
US10306253B2 (en) | 2015-10-14 | 2019-05-28 | Qualcomm Incorporated | Signaling of parameter sets in files of multi-layer bitstreams |
US10897612B2 (en) | 2017-03-03 | 2021-01-19 | Qualcomm Incorporated | Coding identifiers for motion constrained tile sets |
EP3759920A1 (en) | 2018-03-21 | 2021-01-06 | Huawei Technologies Co., Ltd. | Signaling a constraint flag in a video bitstream |
WO2019234612A1 (en) | 2018-06-05 | 2019-12-12 | Beijing Bytedance Network Technology Co., Ltd. | Partition tree with four sub-blocks symmetric or asymmetric |
US10972755B2 (en) | 2018-12-03 | 2021-04-06 | Mediatek Singapore Pte. Ltd. | Method and system of NAL unit header structure for signaling new elements |
CN111526368B (zh) | 2019-02-03 | 2021-09-03 | 华为技术有限公司 | 视频解码方法、视频编码方法、装置、设备及存储介质 |
US11539957B2 (en) * | 2019-06-20 | 2022-12-27 | Tencent America LLC | Layered random access with reference picture resampling |
US11962936B2 (en) | 2020-09-29 | 2024-04-16 | Lemon Inc. | Syntax for dependent random access point indication in video bitstreams |
US20220109865A1 (en) | 2020-10-02 | 2022-04-07 | Sharp Kabushiki Kaisha | Systems and methods for signaling picture buffer information for intra random access point picture sub-bitstreams in video coding |
WO2022148269A1 (en) | 2021-01-06 | 2022-07-14 | Beijing Bytedance Network Technology Co., Ltd. | Cross random access point signaling enhancements |
CN117501687A (zh) * | 2021-04-08 | 2024-02-02 | 抖音视界有限公司 | 可缩放性维度信息补充增强信息消息 |
-
2021
- 2021-09-24 US US17/484,919 patent/US11962936B2/en active Active
- 2021-09-24 US US17/484,283 patent/US11770498B2/en active Active
- 2021-09-24 US US17/484,338 patent/US20220103847A1/en active Pending
- 2021-09-28 EP EP21199454.6A patent/EP3975569A1/en active Pending
- 2021-09-28 EP EP21199401.7A patent/EP3975568A1/en active Pending
- 2021-09-28 CN CN202111145060.9A patent/CN114339246A/zh active Pending
- 2021-09-28 EP EP21199462.9A patent/EP3975570A1/en active Pending
- 2021-09-28 CN CN202111142836.1A patent/CN114339244A/zh active Pending
- 2021-09-28 CN CN202111142837.6A patent/CN114339245A/zh active Pending
- 2021-09-29 JP JP2021158893A patent/JP7332662B2/ja active Active
- 2021-09-29 JP JP2021158897A patent/JP7332663B2/ja active Active
- 2021-09-29 KR KR1020210128840A patent/KR20220043910A/ko unknown
- 2021-09-29 KR KR1020210128836A patent/KR20220043909A/ko unknown
- 2021-09-29 JP JP2021158894A patent/JP7433280B2/ja active Active
- 2021-09-29 KR KR1020210128739A patent/KR20220043906A/ko unknown
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017522766A (ja) * | 2014-06-18 | 2017-08-10 | テレフオンアクチーボラゲット エルエム エリクソン(パブル) | 従属ランダムアクセスポイントピクチャ |
Non-Patent Citations (2)
Title |
---|
JILL BOYCE, ET AL.: ""Supplemental enhancement information for coded video bitstreams (Draft 4)"", DOCUMENT: JVET-R2007-V4, vol. JVET-R2007 (version 4), JPN6023000860, 26 June 2020 (2020-06-26), pages 1 - 6, ISSN: 0004965935 * |
LULIN CHEN, ET AL.: ""AHG17: New NAL unit types for VVC"", DOCUMENT: JVET-N0072-V1, vol. JVET-N0072 (version 1), JPN6023000858, 13 March 2019 (2019-03-13), pages 1 - 4, ISSN: 0004965936 * |
Also Published As
Publication number | Publication date |
---|---|
CN114339244A (zh) | 2022-04-12 |
JP7433280B2 (ja) | 2024-02-19 |
KR20220043910A (ko) | 2022-04-05 |
EP3975569A1 (en) | 2022-03-30 |
JP2022056419A (ja) | 2022-04-08 |
KR20220043906A (ko) | 2022-04-05 |
US20220103847A1 (en) | 2022-03-31 |
JP2022056418A (ja) | 2022-04-08 |
EP3975570A1 (en) | 2022-03-30 |
CN114339246A (zh) | 2022-04-12 |
CN114339245A (zh) | 2022-04-12 |
KR20220043909A (ko) | 2022-04-05 |
US11770498B2 (en) | 2023-09-26 |
EP3975568A1 (en) | 2022-03-30 |
US20220103867A1 (en) | 2022-03-31 |
JP7332663B2 (ja) | 2023-08-23 |
US20220103781A1 (en) | 2022-03-31 |
JP7332662B2 (ja) | 2023-08-23 |
US11962936B2 (en) | 2024-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7433280B2 (ja) | ビデオストリームにおける従属ランダムアクセスポイント指示 | |
JP2022050369A (ja) | コーディングされたビデオにおけるサブピクチャ・エンティティ・グループ・シグナリング | |
JP7222043B2 (ja) | ビデオコーディングにおけるデコード機能情報のストレージ | |
US11818337B2 (en) | Constraints on reference picture lists entries | |
JP2024501685A (ja) | クロスランダムアクセスポイント信号通知拡張 | |
JP7307777B2 (ja) | ビデオコーディングにおける適応パラメータセットの格納 | |
JP7418489B2 (ja) | サブピクチャエンティティグループに対するレベルインジケータ | |
CN115668924A (zh) | 参考图片信息的约束 | |
KR20230127982A (ko) | 교차 랜덤 액세스 포인트 샘플 그룹 | |
CN115428438A (zh) | 视频编解码中的水平信息 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220603 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230414 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230725 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230810 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7332662 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |