JP2016519513A - 効率的なマルチビュー/レイヤ符号化を可能とする符号化コンセプト - Google Patents
効率的なマルチビュー/レイヤ符号化を可能とする符号化コンセプト Download PDFInfo
- Publication number
- JP2016519513A JP2016519513A JP2016506938A JP2016506938A JP2016519513A JP 2016519513 A JP2016519513 A JP 2016519513A JP 2016506938 A JP2016506938 A JP 2016506938A JP 2016506938 A JP2016506938 A JP 2016506938A JP 2016519513 A JP2016519513 A JP 2016519513A
- Authority
- JP
- Japan
- Prior art keywords
- layer
- view
- inter
- prediction
- data stream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000010410 layer Substances 0.000 claims description 702
- 230000011664 signaling Effects 0.000 claims description 167
- 239000013598 vector Substances 0.000 claims description 143
- 230000007246 mechanism Effects 0.000 claims description 96
- 238000000034 method Methods 0.000 claims description 77
- 239000011229 interlayer Substances 0.000 claims description 68
- 230000008859 change Effects 0.000 claims description 41
- 230000001419 dependent effect Effects 0.000 claims description 39
- 239000000872 buffer Substances 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 26
- 230000002123 temporal effect Effects 0.000 claims description 25
- 230000004913 activation Effects 0.000 claims description 23
- 230000009849 deactivation Effects 0.000 claims description 15
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 3
- 230000002779 inactivation Effects 0.000 claims description 2
- 238000005457 optimization Methods 0.000 claims description 2
- 238000011084 recovery Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 32
- 230000000875 corresponding effect Effects 0.000 description 25
- 238000010586 diagram Methods 0.000 description 19
- 238000012986 modification Methods 0.000 description 12
- 230000004048 modification Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 238000009795 derivation Methods 0.000 description 11
- FMYKJLXRRQTBOR-UBFHEZILSA-N (2s)-2-acetamido-4-methyl-n-[4-methyl-1-oxo-1-[[(2s)-1-oxohexan-2-yl]amino]pentan-2-yl]pentanamide Chemical group CCCC[C@@H](C=O)NC(=O)C(CC(C)C)NC(=O)[C@H](CC(C)C)NC(C)=O FMYKJLXRRQTBOR-UBFHEZILSA-N 0.000 description 10
- 230000008901 benefit Effects 0.000 description 10
- 238000013461 design Methods 0.000 description 7
- 238000013507 mapping Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000001914 filtration Methods 0.000 description 6
- 230000007774 longterm Effects 0.000 description 5
- 238000013139 quantization Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000000638 solvent extraction Methods 0.000 description 5
- 241000023320 Luma <angiosperm> Species 0.000 description 4
- 238000003491 array Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 4
- 101150114515 CTBS gene Proteins 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 241001627144 Iris versicolor Species 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000002747 voluntary effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Description
また、スライスは、タイルまたはWPP境界において、ビットストリームを多重のNALユニットに分割するために用いることができる。画像12、15がタイルまたはWPPサブストリームを用いておよび加えてスライスを用いて分割され、スライス分割が他のWPP/タイル分割から変位する場合、空間セグメントは、画像12、15の最小の、独立して復号化可能なセクションとして定められる。あるいは、画像(12または15)内でコンセプトの組み合せを用いることができ、および/または、境界が異なって用いられたコンセプト間で整列しなければならない場合、ビットストリームに制限を課すことができる。
時には、これらのブロック90は、最大符号化ブロック(LCB)、最大符号化ユニット(LCU)、符号化ツリーブロック(CTB)等と呼ばれる。ブロック90への画像の再分割は、上述された予測および残差符号化が実行される一種のベースまたは最も粗いグラニュラリティを形成することができ、この最も粗いグラニュラリティ、すなわちブロック90のサイズは、シグナリングされ、エンコーダによってレイヤ0およびレイヤ1に対して個々にセットすることができる。たとえば、クワッドツリー再分割のようなマルチ木を用いることができ、各ブロック90を、それぞれ予測ブロック、残差ブロックおよび/または符号化ブロックに再分割するために、データストリーム内でシグナリングすることができる。特に、符号化ブロックはブロック90のリカーシブなマルチツリー再分割のリーフブロックとすることができ、いくつかの予測関連決定を予測モードのような符号化ブロックのグラニュラリティでシグナリングすることができ、そのグラニュラリティで時間的インター予測のケースにおけるモーションベクトルのような予測パラメータおよびたとえばインター予測のケースにおける視差ベクトルが符号化される予測ブロックおよびそのグラニュラリティで予測残差が符号化される残差ブロックをコードブロックの分離したリカーシブなマルチツリー再分割のリーフブロックとすることができる。
スライスは、WPPサブストリーム98a〜98dを形成するために用いることもできる。このために、パケット化に対して最小ユニットを形成するスライスは、一方ではノーマルスライスを、他方では従属スライスを備えることができる:ノーマルスライスは、予測およびエントロピーコンテキスト導出に上述された制限を課すが、従属スライスはこの種の制限を課さない。符号化/復号化順序92が実質的に行ワイズから離れてポイントする画像の境界で開始する従属スライスは、ブロック90の直前の行におけるエントロピー復号化ブロック90から結果として生ずるエントロピーコンテキストを採用し、他のどこかで開始する従属スライスは、直前のスライスのエントロピー符号化/復号化からその終了までに結果として生ずるようなエントロピー符号化コンテキストを採用することができる。この手段によって、各WPPサブストリーム98a〜98dは、1つ以上の従属スライスから構成することができる。
したがって、エンコーダ600は、いずれにせよこのビュー間符号化遅延/オフセットを守らなければならず、エンコーダ600は、ビュー12および15を時間オーバーラップ方法で符号化することによって、符号化遅延を更に低減することはできない。ビュー間予測602が、ちょうど概説された方法で、空間セグメント境界301において変更/修正されるとき、そのケースでは、いくつかのエンティティがビュー間予測される非常に問題の符号化ブロック302は、第1のビュー12の1つ(単に1つだけ)の空間セグメント301が完全に符号化されるとすぐに符号化の対象とすることができるので、ものは異なる。それによって、想定される符号化遅延は低減される。
算術符号化のケースにおいて、たとえば、2進演算スキームと組み合せる他の2値化は視差ベクトルの符号化に用いることができる、または想定される視差ベクトルの中の他の確率分布を用いることができる。この実施形態によれば、空間セグメント境界300でのビュー間予測の制限から結果として生じる軽微な符号化効率の減少は、空間セグメント境界300の同じ場所に配置された位置の近くの空間セグメント302に対する視差ベクトルの伝送に関してデータストリーム40内で伝達されるサイド情報の量を低減することによって、部分的に補償することができる。
拘束が可能な場合、以下を適用する:
レイヤ間予測(例えば、サンプル値、モーションベクトル、残差データまたは他のデータの予測のような)が参照用画像としてベースビュー(レイヤ12)を用いる場合、視差またはモーションベクトルは、参照された画面エリアが共起されたベースレイヤCTUと同じタイルに帰属するように、拘束される。特定の実施形態において、モーションまたは視差ベクトル308は、参照された画像エリアが同じタイルの内部に配置され、参照されたサブペル位置は同じタイルの内部の情報のみから予測されるように、復号プロセスにおいてクリップされる。現在のHEVCのサンプル補間プロセスにおいてより具体的には、これはタイル境界300から3〜4画素離れてクリップされるサブペル位置をポイントするモーションベクトルを拘束する、またはビュー間モーションベクトル、ビュー間残差予測プロセスにおいて、これは同じタイル内の位置をポイントする視差ベクトルを拘束する。代替の実施形態は、モーションベクトルがタイル境界に対してサブペル補間フィルタのカーネルサイズ310より近くに配置されるサブペル位置をポイントすることを可能とするために、画像境界に類似するタイル境界をハンドリングするようにサブペル補間フィルタを調整する。代替の実施形態は、前述の実施形態においてクリップされているモーションまたは視差ベクトルの使用を許容しないビットストリーム拘束を意味する。
制限が使用可能である場合、以下が適用される:
ベースレイヤが隣接するブロックからの予測(例えばTMVPまたは隣接するブロックの視差の導出のような)に用いられ、およびタイルが用いられる場合、以下が適用される:CTU Bが、共起されたベースレイヤCTU Aと同じタイルに帰属する場合、ベースレイヤにおいて共起されたCTU Aと異なるCTU Bから生ずる予測器候補が用いられるだけである。たとえば、現在のHEVCの導出プロセスにおいて、CTU Bは、共起されたCTU Aの右に配置される。本発明の特定の実施形態において、予測候補は、異なる予測によって置換される。たとえば、共起されたPUは、その代わりに予測に対して用いることができる。本発明の他の実施形態では、符号化ビットストリームにおいて、関連する予測モードの使用は許容されない。
特定の実施形態において、たとえば図13a、13bで示されたように、以下の高水準シンタックスを、N個のフラグを用いて上述された拘束/制限を可能とするために、VPSまたはSPSに用いることができる。
PREDTYPE は、制限/拘束が適用される予測タイプを指示し、リストされない以下のまたは他の予測タイプの1つとしてもよい:
− 例えば、ベースビューにおいて共起されたブロックの隣接するブロックからの時間的モーションベクトルの予測に対する、temporal_motion_vector_prediction
− 例えば、ベースビューにおいて共起されたブロックの隣接するブロックからの視差ベクトルの予測に対する、disparity_vector_prediction
− 例えば、ベースビューからの奥行き値の予測に対する、depth_map_derivation
− 例えば、ベースビューからのモーションベクトルの予測に対する、inter_view_motion_predition
− 例えば、ベースビューからの残差データの予測に対する、inter_view_residual_prediction
− 例えば、ベースビューからのサンプル値の予測に対する、inter_view_sample_prediction
− 例えば、拘束(ビットストリーム拘束を指示する。フラグをVUIに含めることができることを指示する)
− 例えば、制限(クリッピング(a)または異なる予測器の選択(b)を指示する)
− 例えば、same_scal(ベースレイヤが増強レイヤと同じスケーラビリティタイプであるとき、制限のみが適用されることを指示する)
− 例えば、diff_sca(ベースレイヤおよび増強レイヤのスケーラビリティタイプに関係なく、制限が適用されることを指示する)
ここで
各ビューが自身のアクセスユニットに含まれる場合、ビュー3の第1の復号化ユニットを復号化する最小遅延は、完全に受信ビュー1および2を含む。
シンタックスエレメントは、CTBまたはベースおよび増強レイヤの空間セグメント(たとえばWPPに対するタイル、スライスまたはCTB行)の間に空間領域の従属性を記述する。シンタックスエレメントは、NALユニットのインターリービングまたは符号化順序におけるNALユニットのシーケンシャル復号化に対しては必要でない。並列のマルチレイヤデコーダは、レイヤの並列復号化を準備するために、シンタックスエレメントを用いることができる。
lumaおよびクロマのリサンプリングに対する補間フィルタは、上位レイヤに対して必要なアップサンプルされたデータを生成するため、必要なデータ上の拘束を下位レイヤにセットする。たとえば、画像の空間セグメントは独立にアップサンプルすることができるので、復号化従属性は、これらのフィルタを拘束することによって低減することができる、タイル処理のための特定の拘束のシグナリングは、第1の形態に関して上述されている。
SHVCに対して、動き補償は、下位のレイヤによっては用いられない、すなわち、下位のレイヤが参照画像(HLSアプローチ)として使われる場合、結果として生じるモーションベクトルは零ベクトルでなければならない。しかしながら、MV‐HEVC 0または3D‐HEVC 0に対して、視差ベクトルは拘束することができるが、必ずしも零ベクトルであるというわけではない。すなわち、動き補償は、ビュー間予測に対して用いることができる。それ故に、モーションベクトルに対する制限は、前のNALユニットにおいて受け取られたデータのみが復号化に対して必要であることを確実にするために適用することができる。関連する発明およびシグナリングは、第1の形態に関して上述されている。
異なるレイヤからのNALユニットのインターリーブによって、並列処理および低遅延が効率的に望ましい場合、増強レイヤにおける画像分割は、参照レイヤにおける分割の画像分割の従属をなさなければならない。
図23も参照されたい。
コンセプトは、同じアクセスユニット内で、同じ現存するレイヤ識別子( nuh_layer_id )による多重のビュー成分の出現を可能とする。付加的な識別子拡張が、これらのビュー成分間を区別するために用いられる。この拡張は、NALユニットヘッダにおいて符号化されない。このように、それはNALユニットヘッダにおいてほど容易にアクセスすることはできないが、より多くのビューによる新規な用途ケースを依然として可能とする。特にビュークラスタリング(下記の説明を参照)については、一緒に帰属するビューのグループの抽出に対して、古い摘出機構がいかなる修正もなしに依然として用いることができる。
b.高水準レベルシンタックス構造における(例えば、本発明の以下の実施形態において与えられるようなスライスヘッダシンタックスにおけるまたはビデオ/シーケンス/画像パラメータセットの拡張における)フラグまたはインデックスまたはビット長の指示は、他のシンタックス構造による実在するレイヤ識別子値の各値の組み合わせを可能とする。
変形例I)変形例Iは、図26に図示される。ここで、
LayerIdExtEnabled = true
else
LayerIdExtEnabled = false
LayerIdExtEnabled = true
else
LayerIdExtEnabled = false
LayerIdExtEnabled = true
else
LayerIdExtEnabled = false
更なる記述において、特定のシンタックスエレメントは、ビットストリームシンタックスにおけるその位置に拘らず、layer_id_ext と称される。名前が、実施例として用いられる。以下のシンタックステーブルおよびセマンティクスは、可能な実施形態の実施例を与える。
LayerId = (nuh_layer_id << layer_id_ext_len) + layer_id_ext
else
LayerId = nuh_layer_id
if ( LayerIdExtEnabled == true)
LayerId = (layer_id_ext << 6) + nuh_layer_id
else
LayerId = nuh_layer_idd
LayerId = maxNuhLayerId + layer_id_ext
else
LayerId = nuh_layer_id
0 〜 VpsMaxNumLayers - 1 のレンジにおけるiに対して、包括的に、存在しないときは、layer_id_in_nalu[ i ] の値はiに等しいと推定される。
splitting_flag が1に等しいとき、セグメントにおけるビットの合計数が6より小さい場合は、layer_id_in_nuh のMSBは0とする必要がある。
for( smIdx= 0, j =0; smIdx< 16; smIdx ++ )
if( ( i ! = 0 ) && scalability_mask[ smIdx ] )
ScalabilityId[ i ][ smIdx ] = dimension_id[ i ][ j++ ]
else
ScalabilityId[ i ][ smIdx ] = 0
ViewId[ layer_id_in_nalu[ i ] ] = ScalabilityId[ i ][ 0 ]
DependencyId [ layer_id_in_nalu[ i ] ] = ScalabilityId[ i ][ 1 ]
]
DepthFlag = layer_id % 2
DepthFlag = LayerId % 2
現在の解決法の欠点は、これは direct_dependency_flags のアルゴリズム的に複雑な解析を必要とするので、現在のVPS設計からこの種のディメンション従属する従属性を識別することが直接的でないということである。
2.1つのスケーラブルディメンションタイプのみが利用されるときでさえ、レイヤのサブセットに対して同一の構造が一般的に用いられる。例えばビュースケーラビリティのみのケースに対して、ビューは水平および垂直のカメラ位置によってスパンされる空間にマッピングされるであろう。この種のシナリオに対する実施例は、図36に表され、ここでディメンション0および1は水平および垂直のカメラ位置のディメンションと解釈される。各カメラ位置のディメンションに対して1つの予測構造を用いるのが一般的な慣習であるが、現在のVPS設計はこれから結果として生じる冗長性を利用することができない。さらに、現在のVPS設計において、従属性がディメンション従属であるという直接の指示はない。
3.direct_dependency_flags の数は、ビットストリームにおけるレイヤの数の自乗に比例し、それゆえに、64レイヤによる現在の最悪のケースは、約64*63/2=2016ビットが必要とされる。さらに、ビットストリームにおいて最大数のレイヤが拡張されるとき、これはドラスティックに増加するビットの数に結果としてなる。
1.各従属性ディメンションに対する従属性は、ビットストリームにおいて直接的に利用可能であり、direct_dependency_flags の複雑な解析は必要でない。
2.従属性のシグナリングに対して必要なビット数は、低減することができる。
num_dims = NumScalabilityTypes
num_pos_minus1[ t ] = dimension_id_len_minus1[ t ]
dimDiv[ 0 ] = 1
for ( t = 0; t < T 1 ; t++ )
dimDiv[ t + 1 ] = dimDiv[ t ] * ( num_pos_minus1[ t ] + 1 )
for ( t = T 1 ; t >= 0; t-- ) [
pos_in_dim[ i ][ t ] = idx / dimDiv[ t ] // integer devision
idx = idx pos_in_dim[ i ][ t ] * dimDiv[ t ]
}
for( t = 0; t <= num_dims; t++ )
for( m = 1; m <= num_pos_minus1[ t ]; m++ )
num_ref_pos[ t ][ m ] = 0
for( n = 0; n < m; n++ ) [
if ( pos_dependency_flag[ t ][ m ][ n ] = = true ) [
ref_pos_set[ t ][ m ][ num_ref_pos[ t ][ m ] ] = n
num_ref_pos[ t ][ m ] ++
}
}
posIdx = posIdx + offset * posVector[ t ]
offset = offset * ( num_pos_minus1[ t ] + 1 );
}
posIdxToLayerIdInVps[ posVecToPosIdx( pos_in_dim[ i ] )] = i
for (k = 0; k < i; k++)
directDependencyFlag[ i ][ k ] = 0
curPosVec = pos_in_dim[ i ]
for (t = 0; t < num_dims; t++) [
for (j = 0; j < num_ref_pos[ t ][ curPosVec[ t ] ]; j++) [
refPosVec = curPosVec
refPosVec[ t ] = ref_pos_set[ t ][ curPosVec[ t ] ][ j ]
directDependencyFlag[ i ][ posIdxToLayerIdInVps[ posVecToPosIdx( refPosVec ) ] ] = 1
]
]
]
curPosVec = pos_in_dim[ i ];
for (j = 0; j < i; j++) [
refPosVec = pos_in_dim[ j ]
for (t = 0, nD = 0; t < num_dims; t++)
if ( curPosVec[ t ] ! = refPosVec[ j ][ t ] ) [
nD ++
tD = t
]
if ( nD = = 1 )
directDependencyFlag[ i ][ j ] = pos_dependency_flag[ tD ][ curPosVec[ tD ] ][ refPosVec[ tD ] ]
else
directDependencyFlag[ i ][ j ] = 0
]
]
for( j = 0, NumDirectRefLayers[ i ] = 0; j < i; j++ )
if( directDependencyFlag[ i ][ j ] = = 1 )
RefLayerId[ i ][ NumDirectRefLayers[ i ]++ ] = layer_id_in_nuh[ j ]
NumDirectRefLayers[ i ] = 0
curPosVec = pos_in_dim[ i ]
for (t = 0; t < num_dims; t++) [
for (j = 0; j < num_ref_pos[ t ][ curPosVec[ t ] ]; j++) [
refPosVec = curPosVec
refPosVec[ t ] = ref_pos_set[ t ][ curPosVec[ t ] ][ j ]
m = posIdxToLayerIdInVps[ posVecToPosIdx( refPosVec ) ]
RefLayerId[ i ][ NumDirectRefLayers[ i ]++ ] = layer_id_in_nuh[ m ]
]
]
[1]B. Bross et al., "High Efficiency Video Coding (HEVC) text specification draft 10", JCTVC-L1003, Geneva, CH, 14-23 Jan. 2013
[2]G. Tech et al., "MV-HEVC Draft Text 3", JCT3V-C1004, Geneva, CH , 17-23 Jan. 2013
[3]G. Tech et al., "3D-HEVC Test Model 3", JCT3V-C1005, Geneva, CH , 17-23 Jan. 2013
[4]J. Chen et al., "SHVC Draft Text 1", JCT-VCL1008, Geneva, CH , 17-23 Jan. 2013
[5]WILBURN, Bennett, et al. High performance imaging using large camera arrays. ACM Transactions on Graphics, 2005, 24. Jg., Nr. 3, S. 765-776.
[6]WILBURN, Bennett S., et al. Light field video camera. In: Electronic Imaging 2002. International Society for Optics and Photonics, 2001. S. 29-36.
[7]HORIMAI, Hideyoshi, et al. Full-color 3D display system with 360 degree horizontal viewing angle. In: Proc. Int. Symposium of 3D and Contents. 2010. S. 7-10.
1.第1のビュー(12)から第2のビュー(15)へのビュー間予測を用いて、データストリームから複数のビュー(12、15)を復元するように構成されたマルチビューデコーダであって、前記第1のビュー(12)が分割される空間セグメント(301)の空間セグメント境界(300)において、前記ビュー間予測を変更するために、前記データストリームにおけるシグナリングに対して応答するように構成された、マルチビューデコーダ。
2.前記ビュー間予測において、前記データストリームにおいてシグナル化可能な、想定される視差ベクトルのドメインの制限を実行することができるように構成された、実施形態1に記載のマルチビューデコーダ。
3.前記データストリームに基づいて、第2のビュー(15)の現在の部分(302)に対して、視差ベクトルのドメインから視差ベクトル(308)を決定し、前記決定された視差ベクトル(308)によって、前記現在の部分に対して同じ場所に配置された前記第1のビュー(12)の同じ場所に配置された部分(306)から変位した参照部分(304)において、前記第1のビュー(12)をサンプリングするように構成された、実施形態1または2に記載のマルチビューデコーダ。
4.前記ビュー間予測の変更において、前記データストリームにおいてシグナル化可能な、想定される視差ベクトルのドメインの制限を実行し、前記同じ場所に配置された部分(306)が空間的に配置される空間セグメント(301)内に前記参照部分(304)があるように、前記想定される視差ベクトルのドメインの制限を実行するように構成された、実施形態3に記載のマルチビューデコーダ。
5.前記ビュー間予測の変更において、前記データストリームにおいてシグナル化可能な、想定される視差ベクトルのドメインの制限を実行し、前記同じ場所に配置された部分(306)が空間的に配置された空間セグメント(301)内に前記参照部分(304)があり、前記境界(300)をポイントするディメンションの前記視差ベクトルのコンポーネントの場合に、前記空間セグメントの境界から1ピクセル未満の分解能を有する補間フィルタカーネルの半値幅(310)より大きいまたはそれに等しいだけ離れて配置されるように、前記想定される視差ベクトルのドメインの制限を実行するように構成された、実施形態3に記載のマルチビューデコーダ。
6.前記ビュー間予測の変更において、前記ビュー間予測を用いて現在予測される前記第2のビュー(15)の現在の部分(302)に対して同じ場所に配置された前記第1のビューの同じ場所に配置された部分(306)が空間的に配置される空間セグメントの境界(300)を越えて拡張する部分において、補間フィルタカーネル(311)に前記空間セグメントの境界の外側の情報から独立する代替データを装填するように構成された、実施形態1〜5のいずれかに記載のマルチビューデコーダ。
7.前記ビュー間予測において、前記第2のビューの現在の部分に対して、前記第1のビュー(12)内に参照部分(314)を導き出し、前記データストリームにおけるシグナリングに依存して、
前記参照部分(314)が、前記現在の部分(302)に対して同じ場所に配置された第1のビュー(12)の同じ場所に配置された部分(306)が空間的に配置される空間セグメント(301)内にあるかどうかをチェックし、前記現在の部分(302)に対して、前記参照部分(314)の属性から導き出される予測器を適用する、または、前記同じ場所に配置された部分(306)が空間的に配置される空間セグメント(301)内に前記参照部分(314)があるかどうかによって、前記現在の部分(302)のパラメータに対して、適用を抑制するまたは代替予測器を適用し、
前記同じ場所に配置された部分が空間的に配置される前記空間セグメント(82)内に前記参照部分(314)があるか否かに拘りなく、予測器を適用する、
ように構成された、実施形態1〜6のいずれかに記載のマルチビューデコーダ。
8.前記参照部分(314)を導き出すことにおいて、
前記現在の部分(302)に対する視差ベクトル(316)を推定し、
前記現在の部分(302)または前記現在の部分(302)に隣接する前記第1のビューの隣接部分(320)に対して同じ場所に配置された前記第1のビューの代表位置(318)を配置し、
前記代表位置(318)に前記視差ベクトルを適用することによって前記参照部分(314)を決定する、
ように構成された、実施形態7に記載のマルチビューデコーダ。
9.前記データストリームにおいて伝送される距離画像に基づいて、前記現在の部分に対する前記視差ベクトル、または、前記現在の部分に対して空間的または時間的に予測される視差ベクトルを推定するように構成された、実施形態8に記載のマルチビューデコーダ。
10.前記参照部分(314)の決定において、前記視差ベクトル(316)の使用によって、前記第1のビュー(12)の符号化ブロック、予測ブロック、残差ブロックおよび/または変換ブロックへの分割から、前記参照部分を選択するように構成された、実施形態8または9に記載のマルチビューデコーダ。
11.前記パラメータは、モーションベクトル、視差ベクトル、残差信号および/または奥行き値である、実施形態7〜10のいずれかに記載のマルチビューデコーダ。
12.前記属性は、モーションベクトル、視差ベクトル、残差信号および/または奥行き値である、実施形態7〜11のいずれかに記載のマルチビューデコーダ。
13.第1のビュー(12)から第2のビュー(15)へのビュー間予測を用いて、複数のビュー(12、15)をデータストリームに符号化するように構成されたマルチビューエンコーダであって、前記第1のビュー(12)が分割される空間セグメント(301)の空間セグメント境界(300)において、前記ビュー間予測を変更するように構成された、マルチビューエンコーダ。
14.前記ビュー間予測の変更において、想定される視差ベクトルのドメインの制限を実行するように構成された、実施形態13に記載のマルチビューエンコーダ。
15.前記第2のビュー(15)の現在の部分(302)(例えば視差補正によって予測された予測ブロック)に対して、想定される視差ベクトルのドメインから視差ベクトル(308)を(たとえば、最適化によって)決定し、前記決定された視差ベクトルによって、前記第1のビュー(12)が視差ベクトルによって前記現在の部分(302)に対して同じ場所に配置された前記第1のビュー(12)の同じ場所に配置された部分(306)から変位した参照部分(304)において、前記第1のビュー(12)をサンプリングするように構成された、実施形態13または14に記載のマルチビューエンコーダ。
16.前記同じ場所に配置された部分(306)が空間的に配置される空間セグメント(301)内に前記参照部分(304)が(例えば、完全に)あるように、前記想定される視差ベクトルのドメインの前記制限を実行するように構成された、実施形態15に記載のマルチビューエンコーダ。
17.前記同じ場所に配置された部分(306)が空間的に配置される空間セグメント内に前記参照部分(304)があり、前記境界(300)をポイントするディメンションの前記視差ベクトルのコンポーネントの場合に、前記空間セグメントの境界から1ピクセル未満の分解能を有する補間フィルタカーネルの半値幅(310)より大きいまたはそれに等しいだけ離れて配置されるように、前記想定される視差ベクトルのドメインの前記制限を実行するように構成された、実施形態15に記載のマルチビューエンコーダ。
18.前記ビュー間予測の変更において、前記ビュー間予測を用いて現在予測される前記第2のビュー(15)の現在の部分(302)に対して同じ場所に配置された前記第1のビューの同じ場所に配置された部分(306)が空間的に配置される空間セグメントの境界(300)を越えて拡張する部分において、補間フィルタカーネル(311)を装填するように構成された、実施形態13〜17のいずれかに記載のマルチビューエンコーダ。
19.前記第2のビューの現在の部分に対して、前記第1のビュー(12)内に参照部分(314)を導き出し、前記データストリームにおけるシグナリングに依存して、
前記参照部分(314)が、前記現在の部分(302)に対して同じ場所に配置された第1のビュー(12)の同じ場所に配置された部分(306)が空間的に配置される空間セグメント(301)内にあるかどうかをチェックし、前記現在の部分(302)に対して前記参照部分(314)の属性から導き出される予測器を適用する、または前記同じ場所に配置された部分(306)が空間的に配置される空間セグメント(301)内に前記参照部分(314)があるかどうかによって、前記現在の部分(302)のパラメータに対して、前記適用を抑制し、
前記同じ場所に配置された部分が空間的に配置される前記空間セグメント(301)内に前記参照部分(314)があるか否かに拘りなく、予測器を適用する、
ように構成された、実施形態13〜18のいずれかに記載のマルチビューエンコーダ。
20.前記参照部分(314)を導き出すことにおいて、
前記現在の部分(314)に対して視差ベクトル(316)を推定し、
前記現在の部分(302)または前記現在の部分(302)に隣接する前記第1のビューの隣接する部分(320)に対して同じ場所に配置された前記第1のビューの代表位置(318)を配置し、
前記代表位置(318)に前記視差ベクトルを適用することによって前記参照部分(314)を決定する、
ように構成された、実施形態19に記載のマルチビューエンコーダ。
21.前記データストリームにおいて伝送される距離画像に基づいて、前記現在の部分に対する前記視差ベクトル、または、前記現在の部分に対して空間的または時間的に予測される視差ベクトルを推定するように構成された、実施形態20に記載のマルチビューエンコーダ。
22.前記パラメータは、モーションベクトル、視差ベクトル、残差信号および/または奥行き値である、実施形態19〜21に記載のマルチビューエンコーダ。
23.前記属性は、モーションベクトル、視差ベクトル、残差信号および/または奥行き値である、実施形態19〜22のいずれかに記載のマルチビューエンコーダ。
24.前記デコーダが前記変更に依存することを可能とするため、前記データストリームにおいて前記変更を前記デコーダにシグナリングするように構成された、実施形態13〜23に記載のマルチビューエンコーダ。
25.第1のビュー(12)から第2のビュー(15)へのビュー間予測を用いて、複数のビューを復元するように構成されたマルチビューデコーダであって、前記第1のビュー(12)が分割される空間セグメント(301)の空間セグメント境界(300)において、前記ビュー間予測が、前記第2のビューの前記それぞれの現在の部分に対して同じ場所に配置された前記第1のビューの同じ場所に配置された部分(606)が配置される空間セグメント以外の空間セグメント上に、前記第2のビュー(15)のいかなる現在の部分(302)の従属性も含まないように、前記ビュー間予測(602)が制限されることの保証として、前記データストリームにおいてシグナリングを用いるように構成された、マルチビューデコーダ。
26.前記データストリームにおけるシグナリングに応答するビュー間並列性を用いて、ビュー間復号化オフセットを調整するまたは前記第1および第2のビューの前記復元の実行のトライアルを決定するように構成された、実施形態25に記載のマルチビューデコーダ。
27.前記データストリームに基づいて、前記第2のビュー(15)の現在の部分(302)に対して、想定される視差ベクトルのドメインから視差ベクトル(308)を決定し、前記決定された視差ベクトル(308)によって、前記現在の部分(302)に対して同じ場所に配置された前記第1のビュー(12)の同じ場所に配置された部分(306)から変位した参照部分(304)において、前記第1のビュー(12)をサンプリングするように構成された、実施形態25または26に記載のマルチビューデコーダ。
28.第1のビュー(12)から第2のビュー(15)へのビュー間予測を用いて、データストリームから複数のビュー(12、15)を復元する方法であって、前記第1のビュー(12)が分割される空間セグメント(301)の空間セグメント境界(300)において、前記ビュー間予測を変更するために、前記データストリームにおいてシグナリングに応答する、方法。
29.第1のビュー(12)から第2のビュー(15)へのビュー間予測を用いて、複数のビュー(12、15)をデータストリームに符号化する方法であって、前記第1のビュー(12)が分割される空間セグメント(301)の空間セグメント境界(300)において、前記ビュー間予測を変更するステップを備える、方法。
30.第1のビュー(12)から第2のビュー(15)へのビュー間予測を用いて、データストリームから複数のビュー(12、15)を復元する方法であって、前記第1のビュー(12)が分割される空間セグメント(301)の空間セグメント境界(300)において、前記ビュー間予測が、前記第2のビューの前記それぞれの現在の部分に対して同じ場所に配置された前記第1のビューの同じ場所に配置された部分(606)が配置される空間セグメント以外の空間セグメント上の前記第2のビュー(15)のいかなる現在の部分(302)の従属性も含まないように、前記ビュー間予測(602)が制限されることの保証として、前記データストリームにおいてシグナリングを用いるステップを備える、方法。
31.コンピュータプログラムがコンピュータ上で動作するとき、実施形態27〜30に記載の方法を実行するプログラムコードを有する、コンピュータプログラム。
32.NALユニット(202)のシーケンスから成るマルチレイヤビデオデータストリーム(200)であって、レイヤ間予測を用いて符号化される複数のレイヤの画像(204)を有し、レイヤインデックス(nuh_layer_id)を有する各NALユニット(202)が、それぞれのNALユニットが関係するレイヤを指示し、NALユニットが1つの時間的なタイムインスタントの画像に関係する1つのアクセスユニットに帰属するNALユニットのシーケンスが非インターリーブのアクセスユニット(206)のシーケンスに構造化され、異なるアクセスユニットのNALユニットは異なるタイムインスタントに関係し、各レイヤに対して、各アクセスユニット内で、それぞれのレイヤに関係するNALユニットは、1つ以上の復号化ユニット(208)にグループ化され、各復号化ユニット(208)に対して、それぞれの復号化ユニットを符号化するために用いられるレイヤ間予測が、それぞれの復号化ユニットが関係するレイヤ以外のレイヤの画像の部分に基づき、それぞれのアクセスユニット内でそれぞれの復号化ユニットの前の復号化ユニットに符号化されるように、異なるレイヤに関係するNALユニットの復号化ユニットはインターリーブされる、マルチレイヤビデオデータストリーム。
33.第1の想定される状態と第2の想定される状態を有するインターリービングのシグナリングを有し、
前記インターリービングのシグナリングが前記第1の想定される状態をとる場合、各アクセスユニット内で、各レイヤに対して、それぞれのレイヤに関係する少なくともいくつかの前記NALユニットは、1つ以上の復号化ユニットにグループ化され、異なるレイヤに関係するNALユニットの復号化ユニットは、各復号化ユニットに対して、それぞれの復号化ユニットを符号化するために用いられるレイヤ間予測が、それぞれの復号化ユニットが関係するレイヤ以外のレイヤの画像の部分に基づき、それぞれのアクセスユニット内でそれぞれの復号化ユニットの前の復号化ユニットに符号化されるように、インターリーブされ、
前記インターリービングのシグナリングが前記第2の想定される状態をとる場合に、各アクセスユニット内で、前記NALユニットは、それぞれの復号化ユニットが関係するレイヤに関して、非インターリーブで配置される、
実施形態32に記載のマルチレイヤビデオデータストリーム(200)。
34.各NALユニットは、可能なタイプのセットからそれぞれのNALユニットタイプを指示するNALユニットタイプインデックスを有し、それぞれのアクセスユニットの前記NALユニットタイプは、各アクセスユニット内で、前記NALユニットタイプの中の順序ルールを守り、アクセスユニットの各ペアの間では、前記順序ルールは破られる、実施形態32または33に記載のマルチレイヤビデオデータストリーム。
35.NALユニット(202)のシーケンスから成るマルチレイヤビデオデータストリーム(200)を生成するマルチレイヤビデオコーダであって、レイヤ間予測を用いて、符号化される複数のレイヤの画像(204)を有するように、マルチレイヤビデオデータストリーム(200)を生成するように構成され、各NALユニット(202)は、前記それぞれのNALユニットが関係するレイヤを指示するレイヤインデックス(例えば、nuh_layer_id)を有し、前記NALユニットのシーケンスは、NALユニットが1つの時間的タイムインスタントの画像に関係する1つのアクセスユニットに帰属する非インターリーブのアクセスユニット(206)のシーケンスに構造化され、異なるアクセスユニットのNALユニットは異なるタイムインスタントに関係し、各アクセスユニット内で、各レイヤに対して、前記それぞれのレイヤに関係する少なくともいくつかのNALユニットが1つ以上の復号化ユニット(208)にグループ化され、各復号化ユニット(208)に対して、前記それぞれの復号化ユニットを符号化するために用いられるレイヤ間予測が前記それぞれの復号化ユニットが関係するレイヤ以外のレイヤの画像の部分に基づき、前記それぞれのアクセスユニット内で前記それぞれの復号化ユニットの前の復号化ユニットに符号化されるように、異なるレイヤに関係するNALユニットの前記復号化ユニットがインターリーブされる、マルチレイヤビデオコーダ。
36.NALユニット(202)から成るマルチレイヤビデオデータストリーム(200)を復号化するように構成されたデコーダであって、前記マルチレイヤビデオデータストリーム(200)は、レイヤ間予測を用いて符号化される複数のレイヤの画像(204)を有し、各NALユニット(202)は、それぞれのNALユニットが関係するレイヤを指示するレイヤインデックス(例えば、nuh_layer_id)を有し、前記NALユニットのシーケンスは、非インターリーブのアクセスユニット(206)のシーケンスに構造化され、1つのアクセスユニットに帰属するNALユニットは1つの時間的タイムインスタントの画像に関係し、異なるアクセスユニットのNALユニットは異なるタイムインスタントに関係し、各アクセスユニット内で、各レイヤに対して、少なくとも前記それぞれのレイヤに関係するいくつかのNALユニットが1つ以上の復号化ユニット(208)にグループ化され、各復号化ユニット(208)に対して、前記それぞれの復号化ユニットを符号化するために用いられるレイヤ間予測が、前記それぞれの復号化ユニットが関係する前記レイヤ以外のレイヤの画像の部分に基づき、前記それぞれのアクセスユニット内で前記それぞれの復号化ユニットの前の復号化ユニットに符号化されるように、異なるレイヤに関係するNALユニットの前記復号化ユニットがインターリーブされる、デコーダ。
37.前記マルチレイヤビデオデータストリームから、前記1つのタイムインスタントに関係する前記複数のレイヤの画像を、並列の方法で復号化するように構成された、実施形態36に記載のデコーダ。
38.前記NALユニットが帰属するレイヤに従って、複数のバッファ上に前記NALユニットを配布することによって、前記マルチレイヤビデオデータストリームを前記複数のバッファにバッファリングするように構成された、実施形態36または37に記載のデコーダ。
39.前記マルチレイヤビデオデータストリームは、第1の想定される状態および第2の想定される状態を持つインターリービングのシグナリングを有し、前記デコーダは、
前記インターリービングのシグナリングが、各アクセスユニット内で、各レイヤに対して、前記第1の想定される状態をとる場合に、前記それぞれのレイヤに関係する少なくもいくつかのNALユニットは、1つ以上の復号化ユニットにグループ化され、各復号化ユニットに対して、前記それぞれの復号化ユニットを符号化するために用いられるレイヤ間予測が、前記それぞれの復号化ユニットが関係するレイヤ以外のレイヤの画像の部分に基づき、前記それぞれのアクセスユニット内で、前記それぞれの復号化ユニットの前の復号化ユニットに符号化されるように、異なるレイヤに関係するNALユニットの前記復号化ユニットはインターリーブされ、
前記インターリービングのシグナリングが、各アクセスユニット内で、前記第2の想定される状態をとる場合に、前記NALユニットは、関係するレイヤに関して非インターリーブで配置され、
デコーダが気づくという点でインターリーブシグナリングに応答するように構成された、実施形態36〜38のいずれかに記載のデコーダ。
40.前記マルチレイヤビデオデータストリームは、第1の想定される状態および第2の想定される状態を持つインターリービングのシグナリングを有し、前記デコーダは、前記第1の想定される状態を有する前記インターリービングのシグナリングのケースにおいて、前記NALユニットが帰属する前記レイヤに従って前記NALユニットを複数のバッファ上に配布することによって、前記複数のバッファに前記マルチレイヤビデオデータストリームをバッファリングし、前記第2の想定される状態を有する前記インターリービングのシグナリングのケースにおいて、前記それぞれのNALユニットが帰属する前記レイヤに拘らず、前記マルチレイヤビデオデータストリームをバッファリングするという点で、前記インターリービングのシグナリングに応答するように構成された、実施形態36〜39のいずれかに記載のデコーダ。
41.各NALユニットが、想定されるタイプのセットから、前記それぞれのNALユニットのタイプを指示するNALユニットタイプインデックスを有するように、前記マルチレイヤビデオデータストリーム(200)が構成され、各アクセスユニット内で、前記それぞれのアクセスユニットの前記NALユニットのタイプは、前記NALユニットタイプの中の順序ルールを守り、アクセスユニットの各ペアの間では前記順序ルールは破られる、前記デコーダは、アクセスユニットの境界を検出するように構成され、前記順序を用いて、前記順序ルールが2つの間近に連続するNALユニット間で破られているかどうかを検出することによってアクセスユニット境界を検出するように構成された、実施形態36〜40のいずれかに記載のデコーダ。
42.NALユニット(202)のシーケンスから成るマルチレイヤビデオデータストリーム(200)を生成する方法であって、レイヤ間予測を用いて符号化される複数のレイヤの画像(204)を有するように前記マルチレイヤビデオデータストリーム(200)を生成するステップを備え、レイヤインデックス(nuh_layer_id)を有する各NALユニット(202)が、それぞれのNALユニットが関係するレイヤを指示し、NALユニットが1つの時間的なタイムインスタントの画像に関係する1つのアクセスユニットに帰属するNALユニットのシーケンスが非インターリーブのアクセスユニット(206)のシーケンスに構造化され、異なるアクセスユニットのNALユニットは異なるタイムインスタントに関係し、各レイヤに対して、各アクセスユニット内で、それぞれのレイヤに関係するNALユニットは、1つ以上の復号化ユニット(208)にグループ化され、各復号化ユニット(208)に対して、それぞれの復号化ユニットを符号化するために用いられるレイヤ間予測が、それぞれの復号化ユニットが関係するレイヤ以外のレイヤの画像の部分に基づき、それぞれのアクセスユニット内でそれぞれの復号化ユニットの前の復号化ユニットに符号化されるように、異なるレイヤに関係するNALユニットの復号化ユニットはインターリーブされる、方法
43.NALユニット(202)のシーケンスから成るマルチレイヤビデオデータストリーム(200)を復号化する方法であって、前記マルチレイヤビデオデータストリーム(200)はレイヤ間予測を用いて符号化される複数のレイヤの画像(204)を有し、レイヤインデックス(nuh_layer_id)を有する各NALユニット(202)が、それぞれのNALユニットが関係するレイヤを指示し、NALユニットが1つの時間的なタイムインスタントの画像に関係する1つのアクセスユニットに帰属するNALユニットのシーケンスが非インターリーブのアクセスユニット(206)のシーケンスに構造化され、異なるアクセスユニットのNALユニットは異なるタイムインスタントに関係し、各レイヤに対して、各アクセスユニット内で、それぞれのレイヤに関係するNALユニットは、1つ以上の復号化ユニット(208)にグループ化され、各復号化ユニット(208)に対して、それぞれの復号化ユニットを符号化するために用いられるレイヤ間予測が、それぞれの復号化ユニットが関係するレイヤ以外のレイヤの画像の部分に基づき、それぞれのアクセスユニット内でそれぞれの復号化ユニットの前の復号化ユニットに符号化されるように、異なるレイヤに関係するNALユニットの復号化ユニットはインターリーブされる、方法
44.コンピュータプログラムがコンピュータ上で動作するとき、実施形態42または43に記載の方法を実行するプログラムコードを有するコンピュータプログラム。
45.各々がレイヤ識別シンタックスエレメント(806)を備えるパケットのシーケンスから成るマルチレイヤビデオ信号を復号化するように構成されたデコーダであって、前記マルチレイヤビデオ信号において、レイヤ識別拡張機構のシグナリング(808;808’)に対して、
前記レイヤ識別拡張機構のシグナリング(808;808’)が、レイヤ識別拡張機構の活性化をシグナリングする場合に、予め定められたパケット(810)に対して、マルチレイヤデータストリームから、レイヤ識別拡張(818)を読み込み(814)、前記レイヤ識別拡張(818)を用いて、前記予め定められたパケットのレイヤ識別インデックスを決定(816)し、
前記レイヤ識別拡張機構シグナリング(808;808’)が、前記レイヤ識別拡張機構の不活性化をシグナリングする場合に、前記予め定められたパケット(810)に対して、前記予め定められたパケットによって備えられるレイヤ識別シンタックスエレメント(806)から、前記予め定められたパケットの前記レイヤ識別インデックスを決定(820)する、
ように、応答するように構成された、デコーダ。
46.前記レイヤ識別拡張機構のシグナリング(808)に対して、前記レイヤ識別シンタックスエレメント(806)が少なくとも寄与し、前記レイヤ識別拡張機構のシグナリング(808)が、エスケープコードをとる前記予め定められたパケットによって備えられる前記レイヤ識別シンタックスエレメントに少なくとも従属して、前記予め定められたパケットに対して、前記レイヤ識別拡張機構の活性化または非活性化をシグナリングするかどうかを決定するように構成された、実施形態45に記載のデコーダ。
47.前記レイヤ識別拡張機構のシグナリング(808;808’)に対して、高水準シンタックスエレメント(822)が少なくとも寄与し、前記レイヤ識別拡張機構のシグナリングが、前記高水準シンタックスエレメント(822)に従属して、前記予め定められたパケット(810)に対して、前記レイヤ識別拡張機構の活性化または非活性化をシグナリングするかどうかを決定するように構成された、実施形態45または46に記載のデコーダ。
48.前記レイヤ識別拡張機構のシグナリング(808;808’)が、第1の状態をとる前記高水準シンタックスエレメントに応答して、前記レイヤ識別拡張機構の非活性化をシグナリングすることを決定するように構成された、実施形態47に記載のデコーダ。
49.前記レイヤ識別シンタックスエレメントは、前記レイヤ識別拡張機構のシグナリング(808)に付加的に寄与し、前記デコーダは、前記高水準シンタックスエレメントの両方が前記第1の状態と異なる第2の状態をとり、前記予め定められたパケットの前記レイヤ識別シンタックスエレメントがエスケープ値をとる場合に、前記レベル識別拡張機構のシグナリングが前記予め定められたパケットに対して前記レベル識別拡張機構の活性化をシグナリングすることを決定し、前記高水準シンタックスエレメントの1つが前記第1の状態をとり、前記レイヤ識別エレメントが前記エスケープ値と異なる値をとる場合に、前記予め定められたパケットの前記レイヤ識別拡張機構の非活性化をシグナリングすることを決定するように構成された、実施形態48に記載のデコーダ。
50.前記高水準シンタックスエレメントが前記第1および第2の状態と異なる第3の状態をとる場合に、前記予め定められたパケットの前記レベル識別インデックスを取得するために、前記予め定められたパケットによって備えられる前記レイヤ識別シンタックスエレメントを表すデジットと前記レイヤ識別拡張を表すデジットを連結するように構成された、実施形態49に記載のデコーダ。
51.前記高水準シンタックスエレメントが前記第2の状態をとる場合に、前記高水準シンタックスエレメントを用いて前記レベル識別拡張の長さnを決定し、前記予め定められたパケットの前記レベル識別インデックスを取得するために、前記予め定められたパケットによって備えられる前記レイヤ識別シンタックスエレメントを表すデジットと前記レイヤ識別拡張を表すn個のデジットを連結するように構成された、実施形態49に記載のデコーダ。
52.前記レイヤ識別拡張機構のシグナリングが、前記レイヤ識別拡張機構の活性化をシグナリングする場合に、前記予め定められたパケットの前記レベル識別インデックスを取得するために、前記予め定められたパケットによって備えられる前記レイヤ識別シンタックスエレメントを表すデジットと前記レベル識別拡張を表すデジットを連結することによって、前記予め定められたパケットの前記レイヤ識別インデックスを決定(816)するように構成された、実施形態45〜51のいずれかに記載のデコーダ。
53.前記レイヤ識別拡張機構のシグナリングが、前記レイヤ識別拡張機構の活性化をシグナリングする場合に、前記予め定められたパケットの前記レベル識別インデックスを取得するために、前記レベル識別拡張を、予め定められた値(例えば、maxNuhLayerId)に加えることによって、前記予め定められたパケットの前記レイヤ識別インデックスを決定するように構成された、実施形態45〜52のいずれかに記載のデコーダ。
54.各々がレイヤ識別シンタックスエレメント(806)を備えるパケットのシーケンスから成るマルチレイヤビデオ信号を復号化する方法であって、前記マルチレイヤビデオ信号において、
レイヤ識別拡張機構のシグナリング(808;808’)が、レイヤ識別拡張機構の活性化をシグナリングする場合に、予め定められたパケット(810)に対して、マルチレイヤデータストリームからレイヤ識別拡張(818)を読み込むステップ(814)と、前記レイヤ識別拡張を用いて、前記予め定められたパケットのレイヤ識別インデックスを決定するステップ(816)とを備え、
レイヤ識別拡張機構のシグナリング(808;808’)が、レイヤ識別拡張機構の不活性化をシグナリングする場合に、予め定められたパケット(810)に対して、前記レイヤ識別シンタックスエレメントから前記予め定められたパケットのレイヤ識別インデックスを決定するステップ(816)を備える、
ことによって、前記マルチレイヤビデオ信号において、前記レイヤ識別拡張機構のシグナリング(808;808’)に応答する、方法。
55.コンピュータプログラムがコンピュータ上で動作するとき、実施形態54に記載の方法を実行するプログラムコードを有するコンピュータプログラム。
56.レイヤ間予測を用いて、ビデオ材料が情報量の異なるレベルで符号化されるマルチレイヤビデオデータストリームであって、前記レベルは、その中で定められるシーケンシャル順序を有し、前記ビデオ材料は、いかなるレイヤも、前記レイヤ間予測を介してシーケンシャル順序に従って引き続くレイヤに従属しないように前記マルチレイヤビデオデータストリームに符号化され、前記レイヤ間予測を介して1つ以上の他のレイヤに従属する各レイヤは、前記ビデオ材料が前記1つ以上の他のレイヤに符号化される他のレイヤ(たとえば、異なるディメンションタイプに関して)に符号化される情報量を増大し、前記マルチレイヤビデオデータストリームは、
各従属性ディメンションに対して、前記それぞれのディメンション以外の従属性ディメンションの各々に沿ったサイクリックシフトに対して不変である前記それぞれの従属性ディメンションに平行であって、それによって前記全単射マッピングを介して前記レイヤ間の従属性と共に定める従属性によって、従属性ディメンションiにつき、従属性ディメンションiのN i ランクレベルの中の従属性を記述し、それにより高いランクレベルから低いランクレベルにポイントすることによって全てが従属性軸のそれぞれの1つに対して平行に走る前記従属性空間において、利用可能ポイントの間の従属性を定める、第2のシンタックス構造と、
を備えた、マルチレイヤビデオデータストリーム。
57.実施形態56のデータストリームの前記第1および第2のシンタックス構造を読み込み、
前記第1および第2のシンタックス構造に基づいてレイヤ間の従属性を決定する、
ように構成された、ネットワークエンティティ
58.前記レベルの1つを選択し、
前記選択されたレベルがレイヤ間の従属性として独立しているレイヤに帰属する(例えば、nuh_layer_idを介して)前記マルチレイヤビデオデータストリームのパケット(例えば、NALユニット)を廃棄する、
ように構成された、実施形態56に記載のネットワークエンティティ。
59.実施形態56のデータストリームの前記第1および第2のシンタックス構造を読み込み、
前記第1および第2のシンタックス構造に基づいてレイヤ間の従属を決定するステップを備える、
方法。
60.コンピュータプログラムがコンピュータ上で動作するとき、実施形態59に記載の方法を実行するプログラムコードを有する、コンピュータプログラム。
[参考文献]
[1]B. Bross et al., "High Efficiency Video Coding (HEVC) text specification draft 10", JCTVC-L1003, Geneva, CH, 14-23 Jan. 2013
[2]G. Tech et al., "MV-HEVC Draft Text 3", JCT3V-C1004, Geneva, CH , 17-23 Jan. 2013
[3]G. Tech et al., "3D-HEVC Test Model 3", JCT3V-C1005, Geneva, CH , 17-23 Jan. 2013
[4]J. Chen et al., "SHVC Draft Text 1", JCT-VCL1008, Geneva, CH , 17-23 Jan. 2013
[5]WILBURN, Bennett, et al. High performance imaging using large camera arrays. ACM Transactions on Graphics, 2005, 24. Jg., Nr. 3, S. 765-776.
[6]WILBURN, Bennett S., et al. Light field video camera. In: Electronic Imaging 2002. International Society for Optics and Photonics, 2001. S. 29-36.
[7]HORIMAI, Hideyoshi, et al. Full-color 3D display system with 360 degree horizontal viewing angle. In: Proc. Int. Symposium of 3D and Contents. 2010. S. 7-10.
Claims (60)
- 第1のビュー(12)から第2のビュー(15)へのビュー間予測を用いて、データストリームから複数のビュー(12、15)を復元するように構成されたマルチビューデコーダであって、前記第1のビュー(12)が分割される空間セグメント(301)の空間セグメント境界(300)において、前記ビュー間予測を変更するために、前記データストリームにおけるシグナリングに対して応答するように構成された、マルチビューデコーダ。
- 前記ビュー間予測において、前記データストリームにおいてシグナル化可能な、想定される視差ベクトルのドメインの制限を実行することができるように構成された、請求項1に記載のマルチビューデコーダ。
- 前記データストリームに基づいて、第2のビュー(15)の現在の部分(302)に対して、視差ベクトルのドメインから視差ベクトル(308)を決定し、前記決定された視差ベクトル(308)によって、前記現在の部分に対して同じ場所に配置された前記第1のビュー(12)の同じ場所に配置された部分(306)から変位した参照部分(304)において、前記第1のビュー(12)をサンプリングするように構成された、請求項1または2に記載のマルチビューデコーダ。
- 前記ビュー間予測の変更において、前記データストリームにおいてシグナル化可能な、想定される視差ベクトルのドメインの制限を実行し、前記同じ場所に配置された部分(306)が空間的に配置される空間セグメント(301)内に前記参照部分(304)があるように、前記想定される視差ベクトルのドメインの制限を実行するように構成された、請求項3に記載のマルチビューデコーダ。
- 前記ビュー間予測の変更において、前記データストリームにおいてシグナル化可能な、想定される視差ベクトルのドメインの制限を実行し、前記同じ場所に配置された部分(306)が空間的に配置された空間セグメント(301)内に前記参照部分(304)があり、前記境界(300)をポイントするディメンションの前記視差ベクトルのコンポーネントの場合に、前記空間セグメントの境界から1ピクセル未満の分解能を有する補間フィルタカーネルの半値幅(310)より大きいまたはそれに等しいだけ離れて配置されるように、前記想定される視差ベクトルのドメインの制限を実行するように構成された、請求項3に記載のマルチビューデコーダ。
- 前記ビュー間予測の変更において、前記ビュー間予測を用いて現在予測される前記第2のビュー(15)の現在の部分(302)に対して同じ場所に配置された前記第1のビューの同じ場所に配置された部分(306)が空間的に配置される空間セグメントの境界(300)を越えて拡張する部分において、補間フィルタカーネル(311)に前記空間セグメントの境界の外側の情報から独立する代替データを装填するように構成された、請求項1〜5のいずれかに記載のマルチビューデコーダ。
- 前記ビュー間予測において、前記第2のビューの現在の部分に対して、前記第1のビュー(12)内に参照部分(314)を導き出し、前記データストリームにおけるシグナリングに依存して、
前記参照部分(314)が、前記現在の部分(302)に対して同じ場所に配置された第1のビュー(12)の同じ場所に配置された部分(306)が空間的に配置される空間セグメント(301)内にあるかどうかをチェックし、前記現在の部分(302)に対して、前記参照部分(314)の属性から導き出される予測器を適用する、または、前記同じ場所に配置された部分(306)が空間的に配置される空間セグメント(301)内に前記参照部分(314)があるかどうかによって、前記現在の部分(302)のパラメータに対して、適用を抑制するまたは代替予測器を適用し、
前記同じ場所に配置された部分が空間的に配置される前記空間セグメント(82)内に前記参照部分(314)があるか否かに拘りなく、予測器を適用する、
ように構成された、請求項1〜6のいずれかに記載のマルチビューデコーダ。 - 前記参照部分(314)を導き出すことにおいて、
前記現在の部分(302)に対する視差ベクトル(316)を推定し、
前記現在の部分(302)または前記現在の部分(302)に隣接する前記第1のビューの隣接部分(320)に対して同じ場所に配置された前記第1のビューの代表位置(318)を配置し、
前記代表位置(318)に前記視差ベクトルを適用することによって前記参照部分(314)を決定する、
ように構成された、請求項7に記載のマルチビューデコーダ。 - 前記データストリームにおいて伝送される距離画像に基づいて、前記現在の部分に対する前記視差ベクトル、または、前記現在の部分に対して空間的または時間的に予測される視差ベクトルを推定するように構成された、請求項8に記載のマルチビューデコーダ。
- 前記参照部分(314)の決定において、前記視差ベクトル(316)の使用によって、前記第1のビュー(12)の符号化ブロック、予測ブロック、残差ブロックおよび/または変換ブロックへの分割から、前記参照部分を選択するように構成された、請求項8または9に記載のマルチビューデコーダ。
- 前記パラメータは、モーションベクトル、視差ベクトル、残差信号および/または奥行き値である、請求項7〜10のいずれかに記載のマルチビューデコーダ。
- 前記属性は、モーションベクトル、視差ベクトル、残差信号および/または奥行き値である、請求項7〜11のいずれかに記載のマルチビューデコーダ。
- 第1のビュー(12)から第2のビュー(15)へのビュー間予測を用いて、複数のビュー(12、15)をデータストリームに符号化するように構成されたマルチビューエンコーダであって、前記第1のビュー(12)が分割される空間セグメント(301)の空間セグメント境界(300)において、前記ビュー間予測を変更するように構成された、マルチビューエンコーダ。
- 前記ビュー間予測の変更において、想定される視差ベクトルのドメインの制限を実行するように構成された、請求項13に記載のマルチビューエンコーダ。
- 前記第2のビュー(15)の現在の部分(302)(例えば視差補正によって予測された予測ブロック)に対して、想定される視差ベクトルのドメインから視差ベクトル(308)を(たとえば、最適化によって)決定し、前記決定された視差ベクトルによって、前記第1のビュー(12)が視差ベクトルによって前記現在の部分(302)に対して同じ場所に配置された前記第1のビュー(12)の同じ場所に配置された部分(306)から変位した参照部分(304)において、前記第1のビュー(12)をサンプリングするように構成された、請求項13または14に記載のマルチビューエンコーダ。
- 前記同じ場所に配置された部分(306)が空間的に配置される空間セグメント(301)内に前記参照部分(304)が(例えば、完全に)あるように、前記想定される視差ベクトルのドメインの前記制限を実行するように構成された、請求項15に記載のマルチビューエンコーダ。
- 前記同じ場所に配置された部分(306)が空間的に配置される空間セグメント内に前記参照部分(304)があり、前記境界(300)をポイントするディメンションの前記視差ベクトルのコンポーネントの場合に、前記空間セグメントの境界から1ピクセル未満の分解能を有する補間フィルタカーネルの半値幅(310)より大きいまたはそれに等しいだけ離れて配置されるように、前記想定される視差ベクトルのドメインの前記制限を実行するように構成された、請求項15に記載のマルチビューエンコーダ。
- 前記ビュー間予測の変更において、前記ビュー間予測を用いて現在予測される前記第2のビュー(15)の現在の部分(302)に対して同じ場所に配置された前記第1のビューの同じ場所に配置された部分(306)が空間的に配置される空間セグメントの境界(300)を越えて拡張する部分において、補間フィルタカーネル(311)を装填するように構成された、請求項13〜17のいずれかに記載のマルチビューエンコーダ。
- 前記ビュー間予測において、前記第2のビューの現在の部分に対して、前記第1のビュー(12)内に参照部分(314)を導き出し、前記データストリームにおけるシグナリングに依存して、
前記参照部分(314)が、前記現在の部分(302)に対して同じ場所に配置された第1のビュー(12)の同じ場所に配置された部分(306)が空間的に配置される空間セグメント(301)内にあるかどうかをチェックし、前記現在の部分(302)に対して前記参照部分(314)の属性から導き出される予測器を適用する、または前記同じ場所に配置された部分(306)が空間的に配置される空間セグメント(301)内に前記参照部分(314)があるかどうかによって、前記現在の部分(302)のパラメータに対して、前記適用を抑制し、
前記同じ場所に配置された部分が空間的に配置される前記空間セグメント(301)内に前記参照部分(314)があるか否かに拘りなく、予測器を適用する、
ように構成された、請求項13〜18のいずれかに記載のマルチビューエンコーダ。 - 前記参照部分(314)を導き出すことにおいて、
前記現在の部分(314)に対して視差ベクトル(316)を推定し、
前記現在の部分(302)または前記現在の部分(302)に隣接する前記第1のビューの隣接する部分(320)に対して同じ場所に配置された前記第1のビューの代表位置(318)を配置し、
前記代表位置(318)に前記視差ベクトルを適用することによって前記参照部分(314)を決定する、
ように構成された、請求項19に記載のマルチビューエンコーダ。 - 前記データストリームにおいて伝送される距離画像に基づいて、前記現在の部分に対する前記視差ベクトル、または、前記現在の部分に対して空間的または時間的に予測される視差ベクトルを推定するように構成された、請求項20に記載のマルチビューエンコーダ。
- 前記パラメータは、モーションベクトル、視差ベクトル、残差信号および/または奥行き値である、請求項19〜21に記載のマルチビューエンコーダ。
- 前記属性は、モーションベクトル、視差ベクトル、残差信号および/または奥行き値である、請求項19〜22のいずれかに記載のマルチビューエンコーダ。
- 前記デコーダが前記変更に依存することを可能とするため、前記データストリームにおいて前記変更を前記デコーダにシグナリングするように構成された、請求項13〜23に記載のマルチビューエンコーダ。
- 第1のビュー(12)から第2のビュー(15)へのビュー間予測を用いて、複数のビューを復元するように構成されたマルチビューデコーダであって、前記第1のビュー(12)が分割される空間セグメント(301)の空間セグメント境界(300)において、前記ビュー間予測が、前記第2のビューの前記それぞれの現在の部分に対して同じ場所に配置された前記第1のビューの同じ場所に配置された部分(606)が配置される空間セグメント以外の空間セグメント上に、前記第2のビュー(15)のいかなる現在の部分(302)の従属性も含まないように、前記ビュー間予測(602)が制限されることの保証として、前記データストリームにおいてシグナリングを用いるように構成された、マルチビューデコーダ。
- 前記データストリームにおけるシグナリングに応答するビュー間並列性を用いて、ビュー間復号化オフセットを調整するまたは前記第1および第2のビューの前記復元の実行のトライアルを決定するように構成された、請求項25に記載のマルチビューデコーダ。
- 前記データストリームに基づいて、前記第2のビュー(15)の現在の部分(302)に対して、想定される視差ベクトルのドメインから視差ベクトル(308)を決定し、前記決定された視差ベクトル(308)によって、前記現在の部分(302)に対して同じ場所に配置された前記第1のビュー(12)の同じ場所に配置された部分(306)から変位した参照部分(304)において、前記第1のビュー(12)をサンプリングするように構成された、請求項25または26に記載のマルチビューデコーダ。
- 第1のビュー(12)から第2のビュー(15)へのビュー間予測を用いて、データストリームから複数のビュー(12、15)を復元する方法であって、前記第1のビュー(12)が分割される空間セグメント(301)の空間セグメント境界(300)において、前記ビュー間予測を変更するために、前記データストリームにおいてシグナリングに応答する、方法。
- 第1のビュー(12)から第2のビュー(15)へのビュー間予測を用いて、複数のビュー(12、15)をデータストリームに符号化する方法であって、前記第1のビュー(12)が分割される空間セグメント(301)の空間セグメント境界(300)において、前記ビュー間予測を変更するステップを備える、方法。
- 第1のビュー(12)から第2のビュー(15)へのビュー間予測を用いて、データストリームから複数のビュー(12、15)を復元する方法であって、前記第1のビュー(12)が分割される空間セグメント(301)の空間セグメント境界(300)において、前記ビュー間予測が、前記第2のビューの前記それぞれの現在の部分に対して同じ場所に配置された前記第1のビューの同じ場所に配置された部分(606)が配置される空間セグメント以外の空間セグメント上の前記第2のビュー(15)のいかなる現在の部分(302)の従属性も含まないように、前記ビュー間予測(602)が制限されることの保証として、前記データストリームにおいてシグナリングを用いるステップを備える、方法。
- コンピュータプログラムがコンピュータ上で動作するとき、請求項27〜30に記載の方法を実行するプログラムコードを有する、コンピュータプログラム。
- NALユニット(202)のシーケンスから成るマルチレイヤビデオデータストリーム(200)であって、レイヤ間予測を用いて符号化される複数のレイヤの画像(204)を有し、レイヤインデックス(nuh_layer_id)を有する各NALユニット(202)が、それぞれのNALユニットが関係するレイヤを指示し、NALユニットが1つの時間的なタイムインスタントの画像に関係する1つのアクセスユニットに帰属するNALユニットのシーケンスが非インターリーブのアクセスユニット(206)のシーケンスに構造化され、異なるアクセスユニットのNALユニットは異なるタイムインスタントに関係し、各レイヤに対して、各アクセスユニット内で、それぞれのレイヤに関係するNALユニットは、1つ以上の復号化ユニット(208)にグループ化され、各復号化ユニット(208)に対して、それぞれの復号化ユニットを符号化するために用いられるレイヤ間予測が、それぞれの復号化ユニットが関係するレイヤ以外のレイヤの画像の部分に基づき、それぞれのアクセスユニット内でそれぞれの復号化ユニットの前の復号化ユニットに符号化されるように、異なるレイヤに関係するNALユニットの復号化ユニットはインターリーブされる、マルチレイヤビデオデータストリーム。
- 第1の想定される状態と第2の想定される状態を有するインターリービングのシグナリングを有し、
前記インターリービングのシグナリングが前記第1の想定される状態をとる場合、各アクセスユニット内で、各レイヤに対して、それぞれのレイヤに関係する少なくともいくつかの前記NALユニットは、1つ以上の復号化ユニットにグループ化され、異なるレイヤに関係するNALユニットの復号化ユニットは、各復号化ユニットに対して、それぞれの復号化ユニットを符号化するために用いられるレイヤ間予測が、それぞれの復号化ユニットが関係するレイヤ以外のレイヤの画像の部分に基づき、それぞれのアクセスユニット内でそれぞれの復号化ユニットの前の復号化ユニットに符号化されるように、インターリーブされ、
前記インターリービングのシグナリングが前記第2の想定される状態をとる場合に、各アクセスユニット内で、前記NALユニットは、それぞれの復号化ユニットが関係するレイヤに関して、非インターリーブで配置される、
請求項32に記載のマルチレイヤビデオデータストリーム(200)。 - 各NALユニットは、可能なタイプのセットからそれぞれのNALユニットタイプを指示するNALユニットタイプインデックスを有し、それぞれのアクセスユニットの前記NALユニットタイプは、各アクセスユニット内で、前記NALユニットタイプの中の順序ルールを守り、アクセスユニットの各ペアの間では、前記順序ルールは破られる、請求項32または33に記載のマルチレイヤビデオデータストリーム。
- NALユニット(202)のシーケンスから成るマルチレイヤビデオデータストリーム(200)を生成するマルチレイヤビデオコーダであって、レイヤ間予測を用いて、符号化される複数のレイヤの画像(204)を有するように、マルチレイヤビデオデータストリーム(200)を生成するように構成され、各NALユニット(202)は、前記それぞれのNALユニットが関係するレイヤを指示するレイヤインデックス(例えば、nuh_layer_id)を有し、前記NALユニットのシーケンスは、NALユニットが1つの時間的タイムインスタントの画像に関係する1つのアクセスユニットに帰属する非インターリーブのアクセスユニット(206)のシーケンスに構造化され、異なるアクセスユニットのNALユニットは異なるタイムインスタントに関係し、各アクセスユニット内で、各レイヤに対して、前記それぞれのレイヤに関係する少なくともいくつかのNALユニットが1つ以上の復号化ユニット(208)にグループ化され、各復号化ユニット(208)に対して、前記それぞれの復号化ユニットを符号化するために用いられるレイヤ間予測が前記それぞれの復号化ユニットが関係するレイヤ以外のレイヤの画像の部分に基づき、前記それぞれのアクセスユニット内で前記それぞれの復号化ユニットの前の復号化ユニットに符号化されるように、異なるレイヤに関係するNALユニットの前記復号化ユニットがインターリーブされる、マルチレイヤビデオコーダ。
- NALユニット(202)から成るマルチレイヤビデオデータストリーム(200)を復号化するように構成されたデコーダであって、前記マルチレイヤビデオデータストリーム(200)は、レイヤ間予測を用いて符号化される複数のレイヤの画像(204)を有し、各NALユニット(202)は、それぞれのNALユニットが関係するレイヤを指示するレイヤインデックス(例えば、nuh_layer_id)を有し、前記NALユニットのシーケンスは、非インターリーブのアクセスユニット(206)のシーケンスに構造化され、1つのアクセスユニットに帰属するNALユニットは1つの時間的タイムインスタントの画像に関係し、異なるアクセスユニットのNALユニットは異なるタイムインスタントに関係し、各アクセスユニット内で、各レイヤに対して、少なくとも前記それぞれのレイヤに関係するいくつかのNALユニットが1つ以上の復号化ユニット(208)にグループ化され、各復号化ユニット(208)に対して、前記それぞれの復号化ユニットを符号化するために用いられるレイヤ間予測が、前記それぞれの復号化ユニットが関係する前記レイヤ以外のレイヤの画像の部分に基づき、前記それぞれのアクセスユニット内で前記それぞれの復号化ユニットの前の復号化ユニットに符号化されるように、異なるレイヤに関係するNALユニットの前記復号化ユニットがインターリーブされる、デコーダ。
- 前記マルチレイヤビデオデータストリームから、前記1つのタイムインスタントに関係する前記複数のレイヤの画像を、並列の方法で復号化するように構成された、請求項36に記載のデコーダ。
- 前記NALユニットが帰属するレイヤに従って、複数のバッファ上に前記NALユニットを配布することによって、前記マルチレイヤビデオデータストリームを前記複数のバッファにバッファリングするように構成された、請求項36または37に記載のデコーダ。
- 前記マルチレイヤビデオデータストリームは、第1の想定される状態および第2の想定される状態を持つインターリービングのシグナリングを有し、前記デコーダは、
前記インターリービングのシグナリングが、各アクセスユニット内で、各レイヤに対して、前記第1の想定される状態をとる場合に、前記それぞれのレイヤに関係する少なくもいくつかのNALユニットは、1つ以上の復号化ユニットにグループ化され、各復号化ユニットに対して、前記それぞれの復号化ユニットを符号化するために用いられるレイヤ間予測が、前記それぞれの復号化ユニットが関係するレイヤ以外のレイヤの画像の部分に基づき、前記それぞれのアクセスユニット内で、前記それぞれの復号化ユニットの前の復号化ユニットに符号化されるように、異なるレイヤに関係するNALユニットの前記復号化ユニットはインターリーブされ、
前記インターリービングのシグナリングが、各アクセスユニット内で、前記第2の想定される状態をとる場合に、前記NALユニットは、関係するレイヤに関して非インターリーブで配置され、
デコーダが気づくという点でインターリーブシグナリングに応答するように構成された、請求項36〜38のいずれかに記載のデコーダ。 - 前記マルチレイヤビデオデータストリームは、第1の想定される状態および第2の想定される状態を持つインターリービングのシグナリングを有し、前記デコーダは、前記第1の想定される状態を有する前記インターリービングのシグナリングのケースにおいて、前記NALユニットが帰属する前記レイヤに従って前記NALユニットを複数のバッファ上に配布することによって、前記複数のバッファに前記マルチレイヤビデオデータストリームをバッファリングし、前記第2の想定される状態を有する前記インターリービングのシグナリングのケースにおいて、前記それぞれのNALユニットが帰属する前記レイヤに拘らず、前記マルチレイヤビデオデータストリームをバッファリングするという点で、前記インターリービングのシグナリングに応答するように構成された、請求項36〜39のいずれかに記載のデコーダ。
- 各NALユニットが、想定されるタイプのセットから、前記それぞれのNALユニットのタイプを指示するNALユニットタイプインデックスを有するように、前記マルチレイヤビデオデータストリーム(200)が構成され、各アクセスユニット内で、前記それぞれのアクセスユニットの前記NALユニットのタイプは、前記NALユニットタイプの中の順序ルールを守り、アクセスユニットの各ペアの間では前記順序ルールは破られる、前記デコーダは、アクセスユニットの境界を検出するように構成され、前記順序を用いて、前記順序ルールが2つの間近に連続するNALユニット間で破られているかどうかを検出することによってアクセスユニット境界を検出するように構成された、請求項36〜40のいずれかに記載のデコーダ。
- NALユニット(202)のシーケンスから成るマルチレイヤビデオデータストリーム(200)を生成する方法であって、レイヤ間予測を用いて符号化される複数のレイヤの画像(204)を有するように前記マルチレイヤビデオデータストリーム(200)を生成するステップを備え、レイヤインデックス(nuh_layer_id)を有する各NALユニット(202)が、それぞれのNALユニットが関係するレイヤを指示し、NALユニットが1つの時間的なタイムインスタントの画像に関係する1つのアクセスユニットに帰属するNALユニットのシーケンスが非インターリーブのアクセスユニット(206)のシーケンスに構造化され、異なるアクセスユニットのNALユニットは異なるタイムインスタントに関係し、各レイヤに対して、各アクセスユニット内で、それぞれのレイヤに関係するNALユニットは、1つ以上の復号化ユニット(208)にグループ化され、各復号化ユニット(208)に対して、それぞれの復号化ユニットを符号化するために用いられるレイヤ間予測が、それぞれの復号化ユニットが関係するレイヤ以外のレイヤの画像の部分に基づき、それぞれのアクセスユニット内でそれぞれの復号化ユニットの前の復号化ユニットに符号化されるように、異なるレイヤに関係するNALユニットの復号化ユニットはインターリーブされる、方法
- NALユニット(202)のシーケンスから成るマルチレイヤビデオデータストリーム(200)を復号化する方法であって、前記マルチレイヤビデオデータストリーム(200)はレイヤ間予測を用いて符号化される複数のレイヤの画像(204)を有し、レイヤインデックス(nuh_layer_id)を有する各NALユニット(202)が、それぞれのNALユニットが関係するレイヤを指示し、NALユニットが1つの時間的なタイムインスタントの画像に関係する1つのアクセスユニットに帰属するNALユニットのシーケンスが非インターリーブのアクセスユニット(206)のシーケンスに構造化され、異なるアクセスユニットのNALユニットは異なるタイムインスタントに関係し、各レイヤに対して、各アクセスユニット内で、それぞれのレイヤに関係するNALユニットは、1つ以上の復号化ユニット(208)にグループ化され、各復号化ユニット(208)に対して、それぞれの復号化ユニットを符号化するために用いられるレイヤ間予測が、それぞれの復号化ユニットが関係するレイヤ以外のレイヤの画像の部分に基づき、それぞれのアクセスユニット内でそれぞれの復号化ユニットの前の復号化ユニットに符号化されるように、異なるレイヤに関係するNALユニットの復号化ユニットはインターリーブされる、方法
- コンピュータプログラムがコンピュータ上で動作するとき、請求項42または43に記載の方法を実行するプログラムコードを有するコンピュータプログラム。
- 各々がレイヤ識別シンタックスエレメント(806)を備えるパケットのシーケンスから成るマルチレイヤビデオ信号を復号化するように構成されたデコーダであって、前記マルチレイヤビデオ信号において、レイヤ識別拡張機構のシグナリング(808;808’)に対して、
前記レイヤ識別拡張機構のシグナリング(808;808’)が、レイヤ識別拡張機構の活性化をシグナリングする場合に、予め定められたパケット(810)に対して、マルチレイヤデータストリームから、レイヤ識別拡張(818)を読み込み(814)、前記レイヤ識別拡張(818)を用いて、前記予め定められたパケットのレイヤ識別インデックスを決定(816)し、
前記レイヤ識別拡張機構シグナリング(808;808’)が、前記レイヤ識別拡張機構の不活性化をシグナリングする場合に、前記予め定められたパケット(810)に対して、前記予め定められたパケットによって備えられるレイヤ識別シンタックスエレメント(806)から、前記予め定められたパケットの前記レイヤ識別インデックスを決定(820)する、
ように、応答するように構成された、デコーダ。 - 前記レイヤ識別拡張機構のシグナリング(808)に対して、前記レイヤ識別シンタックスエレメント(806)が少なくとも寄与し、前記レイヤ識別拡張機構のシグナリング(808)が、エスケープコードをとる前記予め定められたパケットによって備えられる前記レイヤ識別シンタックスエレメントに少なくとも従属して、前記予め定められたパケットに対して、前記レイヤ識別拡張機構の活性化または非活性化をシグナリングするかどうかを決定するように構成された、請求項45に記載のデコーダ。
- 前記レイヤ識別拡張機構のシグナリング(808;808’)に対して、高水準シンタックスエレメント(822)が少なくとも寄与し、前記レイヤ識別拡張機構のシグナリングが、前記高水準シンタックスエレメント(822)に従属して、前記予め定められたパケット(810)に対して、前記レイヤ識別拡張機構の活性化または非活性化をシグナリングするかどうかを決定するように構成された、請求項45または46に記載のデコーダ。
- 前記レイヤ識別拡張機構のシグナリング(808;808’)が、第1の状態をとる前記高水準シンタックスエレメントに応答して、前記レイヤ識別拡張機構の非活性化をシグナリングすることを決定するように構成された、請求項47に記載のデコーダ。
- 前記レイヤ識別シンタックスエレメントは、前記レイヤ識別拡張機構のシグナリング(808)に付加的に寄与し、前記デコーダは、前記高水準シンタックスエレメントの両方が前記第1の状態と異なる第2の状態をとり、前記予め定められたパケットの前記レイヤ識別シンタックスエレメントがエスケープ値をとる場合に、前記レベル識別拡張機構のシグナリングが前記予め定められたパケットに対して前記レベル識別拡張機構の活性化をシグナリングすることを決定し、前記高水準シンタックスエレメントの1つが前記第1の状態をとり、前記レイヤ識別エレメントが前記エスケープ値と異なる値をとる場合に、前記予め定められたパケットの前記レイヤ識別拡張機構の非活性化をシグナリングすることを決定するように構成された、請求項48に記載のデコーダ。
- 前記高水準シンタックスエレメントが前記第1および第2の状態と異なる第3の状態をとる場合に、前記予め定められたパケットの前記レベル識別インデックスを取得するために、前記予め定められたパケットによって備えられる前記レイヤ識別シンタックスエレメントを表すデジットと前記レイヤ識別拡張を表すデジットを連結するように構成された、請求項49に記載のデコーダ。
- 前記高水準シンタックスエレメントが前記第2の状態をとる場合に、前記高水準シンタックスエレメントを用いて前記レベル識別拡張の長さnを決定し、前記予め定められたパケットの前記レベル識別インデックスを取得するために、前記予め定められたパケットによって備えられる前記レイヤ識別シンタックスエレメントを表すデジットと前記レイヤ識別拡張を表すn個のデジットを連結するように構成された、請求項49に記載のデコーダ。
- 前記レイヤ識別拡張機構のシグナリングが、前記レイヤ識別拡張機構の活性化をシグナリングする場合に、前記予め定められたパケットの前記レベル識別インデックスを取得するために、前記予め定められたパケットによって備えられる前記レイヤ識別シンタックスエレメントを表すデジットと前記レベル識別拡張を表すデジットを連結することによって、前記予め定められたパケットの前記レイヤ識別インデックスを決定(816)するように構成された、請求項45〜51のいずれかに記載のデコーダ。
- 前記レイヤ識別拡張機構のシグナリングが、前記レイヤ識別拡張機構の活性化をシグナリングする場合に、前記予め定められたパケットの前記レベル識別インデックスを取得するために、前記レベル識別拡張を、予め定められた値(例えば、maxNuhLayerId)に加えることによって、前記予め定められたパケットの前記レイヤ識別インデックスを決定するように構成された、請求項45〜52のいずれかに記載のデコーダ。
- 各々がレイヤ識別シンタックスエレメント(806)を備えるパケットのシーケンスから成るマルチレイヤビデオ信号を復号化する方法であって、前記マルチレイヤビデオ信号において、
レイヤ識別拡張機構のシグナリング(808;808’)が、レイヤ識別拡張機構の活性化をシグナリングする場合に、予め定められたパケット(810)に対して、マルチレイヤデータストリームからレイヤ識別拡張(818)を読み込むステップ(814)と、前記レイヤ識別拡張を用いて、前記予め定められたパケットのレイヤ識別インデックスを決定するステップ(816)とを備え、
レイヤ識別拡張機構のシグナリング(808;808’)が、レイヤ識別拡張機構の不活性化をシグナリングする場合に、予め定められたパケット(810)に対して、前記レイヤ識別シンタックスエレメントから前記予め定められたパケットのレイヤ識別インデックスを決定するステップ(816)を備える、
ことによって、前記マルチレイヤビデオ信号において、前記レイヤ識別拡張機構のシグナリング(808;808’)に応答する、方法。 - コンピュータプログラムがコンピュータ上で動作するとき、請求項54に記載の方法を実行するプログラムコードを有するコンピュータプログラム。
-
- 請求項56のデータストリームの前記第1および第2のシンタックス構造を読み込み、
前記第1および第2のシンタックス構造に基づいてレイヤ間の従属性を決定する、
ように構成された、ネットワークエンティティ - 前記レベルの1つを選択し、
前記選択されたレベルがレイヤ間の従属性として独立しているレイヤに帰属する(例えば、nuh_layer_idを介して)前記マルチレイヤビデオデータストリームのパケット(例えば、NALユニット)を廃棄する、
ように構成された、請求項56に記載のネットワークエンティティ。 - 請求項56のデータストリームの前記第1および第2のシンタックス構造を読み込み、
前記第1および第2のシンタックス構造に基づいてレイヤ間の従属を決定するステップを備える、
方法。 - コンピュータプログラムがコンピュータ上で動作するとき、請求項59に記載の方法を実行するプログラムコードを有する、コンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018228292A JP6920271B2 (ja) | 2013-04-08 | 2018-12-05 | 効率的なマルチビュー/レイヤ符号化を可能とする符号化コンセプト |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361809605P | 2013-04-08 | 2013-04-08 | |
US61/809,605 | 2013-04-08 | ||
PCT/EP2014/057089 WO2014166964A1 (en) | 2013-04-08 | 2014-04-08 | Coding concept allowing efficient multi-view/layer coding |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018228292A Division JP6920271B2 (ja) | 2013-04-08 | 2018-12-05 | 効率的なマルチビュー/レイヤ符号化を可能とする符号化コンセプト |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016519513A true JP2016519513A (ja) | 2016-06-30 |
JP6449241B2 JP6449241B2 (ja) | 2019-01-09 |
Family
ID=50442530
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016506938A Active JP6449241B2 (ja) | 2013-04-08 | 2014-04-08 | 効率的なマルチビュー/レイヤ符号化を可能とする符号化コンセプト |
JP2018228292A Active JP6920271B2 (ja) | 2013-04-08 | 2018-12-05 | 効率的なマルチビュー/レイヤ符号化を可能とする符号化コンセプト |
JP2021121175A Active JP7485639B2 (ja) | 2013-04-08 | 2021-07-26 | 効率的なマルチビュー/レイヤ符号化を可能とする符号化コンセプト |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018228292A Active JP6920271B2 (ja) | 2013-04-08 | 2018-12-05 | 効率的なマルチビュー/レイヤ符号化を可能とする符号化コンセプト |
JP2021121175A Active JP7485639B2 (ja) | 2013-04-08 | 2021-07-26 | 効率的なマルチビュー/レイヤ符号化を可能とする符号化コンセプト |
Country Status (6)
Country | Link |
---|---|
US (2) | US11582473B2 (ja) |
EP (2) | EP3758379A3 (ja) |
JP (3) | JP6449241B2 (ja) |
KR (5) | KR102127281B1 (ja) |
CN (7) | CN110225356B (ja) |
WO (1) | WO2014166964A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2015012227A1 (ja) * | 2013-07-22 | 2017-03-02 | ソニー株式会社 | 情報処理装置および方法 |
KR20180059350A (ko) * | 2016-11-25 | 2018-06-04 | 경희대학교 산학협력단 | 영상 병렬 처리 방법 및 장치 |
JP2022506681A (ja) * | 2018-11-14 | 2022-01-17 | テンセント・アメリカ・エルエルシー | アフィンモデルの動きベクトルに対する制約 |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160065980A1 (en) * | 2013-04-05 | 2016-03-03 | Samsung Electronics Co., Ltd. | Video stream encoding method according to a layer identifier expansion and an apparatus thereof, and a video stream decoding method according to a layer identifier expansion and an apparatus thereof |
JP6261215B2 (ja) * | 2013-07-12 | 2018-01-17 | キヤノン株式会社 | 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム |
KR20160027978A (ko) | 2013-07-15 | 2016-03-10 | 지이 비디오 컴프레션, 엘엘씨 | 클러스터 기반 의존 시그널링 |
US9706228B2 (en) * | 2013-10-15 | 2017-07-11 | Qualcomm Incorporated | Support for large numbers of views in multi-layer coding |
US10110910B2 (en) * | 2013-10-21 | 2018-10-23 | Vid Scale, Inc. | Parallel decoding method for layered video coding |
US9794626B2 (en) | 2014-05-01 | 2017-10-17 | Qualcomm Incorporated | Partitioning schemes in multi-layer video coding |
US10250884B2 (en) * | 2014-06-20 | 2019-04-02 | Qualcomm Incorporated | Systems and methods for signaling information for layer sets in a parameter set |
CN105556968B (zh) * | 2014-06-23 | 2018-09-04 | 联发科技(新加坡)私人有限公司 | 三维或多视图视频编码系统中预测编码的装置及方法 |
KR101682627B1 (ko) * | 2014-09-05 | 2016-12-05 | 삼성에스디에스 주식회사 | 영상 스트림 제공 방법 및 시스템과 중계 장치 |
EP3254466A1 (en) * | 2015-02-05 | 2017-12-13 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | 3d-video codec supporting inter-component prediction |
WO2017043949A1 (ko) | 2015-09-11 | 2017-03-16 | 주식회사 케이티 | 비디오 신호 처리 방법 및 장치 |
US10230948B2 (en) | 2016-02-03 | 2019-03-12 | Mediatek Inc. | Video transmitting system with on-the-fly encoding and on-the-fly delivering and associated video receiving system |
FI20165256L (fi) * | 2016-03-24 | 2017-09-25 | Nokia Technologies Oy | Laitteisto, menetelmä ja tietokoneohjelma videokoodaukseen ja -dekoodaukseen |
GB2550150B (en) * | 2016-05-10 | 2020-01-22 | Advanced Risc Mach Ltd | Data processing systems |
US20170374364A1 (en) * | 2016-06-23 | 2017-12-28 | Mediatek Inc. | Method and Apparatus of Face Independent Coding Structure for VR Video |
GB2553315A (en) * | 2016-09-01 | 2018-03-07 | Nokia Technologies Oy | Determining inter-view prediction areas |
US20180098090A1 (en) * | 2016-10-04 | 2018-04-05 | Mediatek Inc. | Method and Apparatus for Rearranging VR Video Format and Constrained Encoding Parameters |
GB2572770B (en) * | 2018-04-09 | 2022-11-02 | Canon Kk | Method and apparatus for encoding or decoding video data with frame portions |
WO2020050884A1 (en) * | 2018-09-04 | 2020-03-12 | Google Llc | Temporal prediction shifting for scalable video coding |
WO2020056352A1 (en) | 2018-09-14 | 2020-03-19 | Futurewei Technologies, Inc. | Slicing and tiling in video coding |
BR112021010054A2 (pt) * | 2018-11-26 | 2021-08-17 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | fluxo de dados, decodificador e codificador de vídeo baseado em bloco e seus respectivos métodos |
US11310516B2 (en) * | 2018-12-21 | 2022-04-19 | Hulu, LLC | Adaptive bitrate algorithm with cross-user based viewport prediction for 360-degree video streaming |
KR20210106547A (ko) * | 2018-12-25 | 2021-08-30 | 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 | 디코딩 예측 방법, 장치 및 컴퓨터 저장 매체 |
KR20210094082A (ko) | 2018-12-29 | 2021-07-28 | 에스지 디제이아이 테크놀러지 코., 엘티디 | 비디오 처리 방법 및 기기 |
EP3987803A1 (en) * | 2019-06-24 | 2022-04-27 | InterDigital VC Holdings, Inc. | Method and apparatus for signaling decoding data using high level syntax elements |
EP3997883A4 (en) * | 2019-07-12 | 2023-08-02 | Telefonaktiebolaget LM Ericsson (publ) | EXTENDING HEADER VALUES INTO VIDEO AND IMAGE CODING UNITS |
US11706428B2 (en) * | 2020-04-06 | 2023-07-18 | Tencent America LLC | Method for signaling picture header in coded video stream |
JP2023529430A (ja) | 2020-06-08 | 2023-07-10 | バイトダンス インコーポレイテッド | 映像ビットストリームにおけるサブレイヤ信号通知 |
US11750843B2 (en) * | 2021-06-28 | 2023-09-05 | Tencent America LLC | Multiview-related supplementary enhancement information messages |
US20230079859A1 (en) * | 2021-09-13 | 2023-03-16 | Apple Inc. | Systems and methods for streaming extensions for video encoding |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009518981A (ja) * | 2005-12-08 | 2009-05-07 | ヴィドヨ,インコーポレーテッド | ビデオ通信システムでのエラー回復力およびランダムアクセスのためのシステムおよび方法 |
Family Cites Families (42)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0577310B1 (en) * | 1992-06-29 | 2001-11-21 | Canon Kabushiki Kaisha | Image processing device |
JPH10336668A (ja) * | 1997-06-02 | 1998-12-18 | Sharp Corp | 動きベクトル検出装置 |
JP4118049B2 (ja) * | 2001-12-28 | 2008-07-16 | 株式会社リコー | 画像処理装置及び方法 |
US8260661B2 (en) * | 2003-09-30 | 2012-09-04 | Visa U.S.A. Inc. | System and apparatus for linking multiple rewards programs to promote the purchase of specific product mixes |
ITMI20041971A1 (it) | 2004-10-15 | 2005-01-15 | Uni Degli Studi Brescia | Metodo di codifica video scalabile |
US7961963B2 (en) | 2005-03-18 | 2011-06-14 | Sharp Laboratories Of America, Inc. | Methods and systems for extended spatial scalability with picture-level adaptation |
KR100678907B1 (ko) | 2005-07-12 | 2007-02-06 | 삼성전자주식회사 | 하위 계층의 복원 데이터를 사용하여 fgs 계층을 인코딩및 디코딩하는 방법 및 장치 |
JP4490351B2 (ja) | 2005-08-29 | 2010-06-23 | 日本電信電話株式会社 | 階層間予測処理方法,階層間予測処理装置,階層間予測処理プログラムおよびその記録媒体 |
KR100772868B1 (ko) | 2005-11-29 | 2007-11-02 | 삼성전자주식회사 | 복수 계층을 기반으로 하는 스케일러블 비디오 코딩 방법및 장치 |
US20090141814A1 (en) * | 2006-01-09 | 2009-06-04 | Peng Yin | Method and Apparatus for Providing Reduced Resolution Update Mode for Multi-View Video Coding |
JP5535485B2 (ja) * | 2006-01-09 | 2014-07-02 | トムソン ライセンシング | 削減された分解能更新モードをマルチビュー・ビデオ符号化に提供する方法及び装置 |
EP2052545B1 (fr) | 2006-07-10 | 2013-10-02 | Orange | Dispositif et procede de codage et de decodage echelonnables de flux de donnees d'images, signal et programme d'ordinateur correspondants |
US7535383B2 (en) * | 2006-07-10 | 2009-05-19 | Sharp Laboratories Of America Inc. | Methods and systems for signaling multi-layer bitstream data |
KR101101965B1 (ko) * | 2006-10-16 | 2012-01-02 | 노키아 코포레이션 | 멀티뷰 비디오 코딩에 대한 병렬 디코딩가능 슬라이스들을 이용하기 위한 시스템 및 방법 |
JP5134001B2 (ja) * | 2006-10-18 | 2013-01-30 | アップル インコーポレイテッド | 下層のフィルタリングを備えたスケーラブルビデオ符号化 |
US8054885B2 (en) * | 2006-11-09 | 2011-11-08 | Lg Electronics Inc. | Method and apparatus for decoding/encoding a video signal |
EP1980107A4 (en) * | 2006-11-17 | 2010-01-13 | Lg Electronics Inc | METHOD AND APPARATUS FOR DECODING / ENCODING A VIDEO SIGNAL |
KR20080066522A (ko) * | 2007-01-11 | 2008-07-16 | 삼성전자주식회사 | 다시점 영상의 부호화, 복호화 방법 및 장치 |
US20100266042A1 (en) * | 2007-03-02 | 2010-10-21 | Han Suh Koo | Method and an apparatus for decoding/encoding a video signal |
BR122012013077A2 (pt) | 2007-04-18 | 2015-07-14 | Thomson Licensing | Sinal tendo parâmetros de decodificação para codificação de vídeo de múltiplas vistas |
BR122012021796A2 (pt) * | 2007-10-05 | 2015-08-04 | Thomson Licensing | Método para incorporar informação de usabilidade de vídeo (vui) em um sistema de codificação de vídeo de múltiplas visualizações (mvc) |
JP5534522B2 (ja) | 2007-10-15 | 2014-07-02 | トムソン ライセンシング | スケーラブルなビデオのためにレイヤー間残差予測を行う方法および装置 |
SG155797A1 (en) * | 2008-03-20 | 2009-10-29 | St Microelectronics Asia | System and process for image rescaling with edge adaptive phase control in interpolation process |
US8249142B2 (en) | 2008-04-24 | 2012-08-21 | Motorola Mobility Llc | Method and apparatus for encoding and decoding video using redundant encoding and decoding techniques |
JP5115498B2 (ja) * | 2009-03-05 | 2013-01-09 | 富士通株式会社 | 画像符号化装置、画像符号化制御方法およびプログラム |
AU2009201637B2 (en) * | 2009-04-24 | 2011-08-11 | Canon Kabushiki Kaisha | Processing multi-view digital images |
US8705624B2 (en) | 2009-11-24 | 2014-04-22 | STMicroelectronics International N. V. | Parallel decoding for scalable video coding |
FR2955730A1 (fr) * | 2010-01-25 | 2011-07-29 | Thomson Licensing | Procedes de codage et de decodage |
EP2557791A4 (en) * | 2010-04-07 | 2016-09-07 | Jvc Kenwood Corp | ANIMATED IMAGE ENCODING DEVICE, ANIMATED IMAGE ENCODING METHOD, ANIMATED IMAGE ENCODING PROGRAM, ANIMATED IMAGE DECODING DEVICE, ANIMATED IMAGE DECODING METHOD, AND ANIMATED IMAGE DECODING PROGRAM |
US20110293004A1 (en) * | 2010-05-26 | 2011-12-01 | Jicheng An | Method for processing motion partitions in tree-based motion compensation and related binarization processing circuit thereof |
ES2561078T3 (es) * | 2010-07-15 | 2016-02-24 | Ge Video Compression, Llc | Codificación de vídeo híbrido que soporta síntesis de vistas intermedias |
KR102472533B1 (ko) * | 2010-08-11 | 2022-11-30 | 지이 비디오 컴프레션, 엘엘씨 | 멀티-뷰 신호 코덱 |
BR112013006006A2 (pt) * | 2010-09-14 | 2017-07-18 | Thomson Licensing | método de compressão e aparelho para dados de oclusão |
CN103416003B (zh) * | 2011-01-14 | 2015-05-27 | 维德约股份有限公司 | 改进的nal单元头部 |
JP5747559B2 (ja) * | 2011-03-01 | 2015-07-15 | 富士通株式会社 | 動画像復号方法、動画像符号化方法、動画像復号装置、及び動画像復号プログラム |
PL2704435T3 (pl) * | 2011-04-25 | 2019-08-30 | Lg Electronics Inc. | Sposób intra-predykcji i koder oraz dekoder wykorzystujący go |
WO2012167711A1 (en) | 2011-06-10 | 2012-12-13 | Mediatek Inc. | Method and apparatus of scalable video coding |
US20140146891A1 (en) | 2011-06-10 | 2014-05-29 | Mediatek Inc. | Method and Apparatus of Scalable Video Coding |
KR20170005464A (ko) * | 2011-08-30 | 2017-01-13 | 노키아 테크놀로지스 오와이 | 비디오 코딩 및 디코딩을 위한 장치, 방법 및 컴퓨터 프로그램 |
GB2505643B (en) * | 2012-08-30 | 2016-07-13 | Canon Kk | Method and device for determining prediction information for encoding or decoding at least part of an image |
US9467707B2 (en) * | 2013-03-05 | 2016-10-11 | Qualcomm Incorporated | Parallel processing for video coding |
KR20160009543A (ko) * | 2013-04-17 | 2016-01-26 | 주식회사 윌러스표준기술연구소 | 비디오 신호 처리 방법 및 장치 |
-
2014
- 2014-04-08 CN CN201910419460.0A patent/CN110225356B/zh active Active
- 2014-04-08 CN CN202410127001.6A patent/CN117956143A/zh active Pending
- 2014-04-08 KR KR1020177023826A patent/KR102127281B1/ko active IP Right Grant
- 2014-04-08 CN CN202410125844.2A patent/CN117956141A/zh active Pending
- 2014-04-08 KR KR1020217036956A patent/KR102467038B1/ko active IP Right Grant
- 2014-04-08 WO PCT/EP2014/057089 patent/WO2014166964A1/en active Application Filing
- 2014-04-08 KR KR1020227039316A patent/KR20220156103A/ko active IP Right Grant
- 2014-04-08 JP JP2016506938A patent/JP6449241B2/ja active Active
- 2014-04-08 CN CN202410124092.8A patent/CN117956140A/zh active Pending
- 2014-04-08 CN CN201480032450.7A patent/CN105308968B/zh active Active
- 2014-04-08 CN CN202410127035.5A patent/CN117956144A/zh active Pending
- 2014-04-08 EP EP20176564.1A patent/EP3758379A3/en active Pending
- 2014-04-08 CN CN202410125863.5A patent/CN117956142A/zh active Pending
- 2014-04-08 EP EP14715932.1A patent/EP2984839B1/en active Active
- 2014-04-08 KR KR1020207017996A patent/KR102327617B1/ko active IP Right Grant
- 2014-04-08 KR KR1020157031931A patent/KR101773413B1/ko active IP Right Grant
-
2015
- 2015-10-06 US US14/875,808 patent/US11582473B2/en active Active
-
2018
- 2018-12-05 JP JP2018228292A patent/JP6920271B2/ja active Active
-
2021
- 2021-07-26 JP JP2021121175A patent/JP7485639B2/ja active Active
-
2022
- 2022-11-07 US US18/053,168 patent/US20230108814A1/en active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009518981A (ja) * | 2005-12-08 | 2009-05-07 | ヴィドヨ,インコーポレーテッド | ビデオ通信システムでのエラー回復力およびランダムアクセスのためのシステムおよび方法 |
Non-Patent Citations (2)
Title |
---|
BYEONGDOO CHOI(外3名): "AHG9: NAL unit header design for base spec", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 JCTVC, JPN6016045326, 19 October 2012 (2012-10-19), US, pages 1 - 5, ISSN: 0003688923 * |
BYEONGDOO CHOI(外3名): "AHG9: NAL unit header with layer ID partitioning", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 JCTVC, JPN6016045329, 19 October 2012 (2012-10-19), US, pages 1 - 8, ISSN: 0003688924 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2015012227A1 (ja) * | 2013-07-22 | 2017-03-02 | ソニー株式会社 | 情報処理装置および方法 |
JP2019050589A (ja) * | 2013-07-22 | 2019-03-28 | ソニー株式会社 | 情報処理装置および方法 |
US10356459B2 (en) | 2013-07-22 | 2019-07-16 | Sony Corporation | Information processing apparatus and method |
US10419801B2 (en) | 2013-07-22 | 2019-09-17 | Sony Corporation | Information processing apparatus and method |
US10701425B2 (en) | 2013-07-22 | 2020-06-30 | Sony Corporation | Information processing apparatus and method |
KR20180059350A (ko) * | 2016-11-25 | 2018-06-04 | 경희대학교 산학협력단 | 영상 병렬 처리 방법 및 장치 |
KR102011431B1 (ko) * | 2016-11-25 | 2019-08-16 | 경희대학교 산학협력단 | 영상 병렬 처리 방법 및 장치 |
JP2022506681A (ja) * | 2018-11-14 | 2022-01-17 | テンセント・アメリカ・エルエルシー | アフィンモデルの動きベクトルに対する制約 |
JP7242118B2 (ja) | 2018-11-14 | 2023-03-20 | テンセント・アメリカ・エルエルシー | アフィンモデルの動きベクトルに対する制約 |
US11736713B2 (en) | 2018-11-14 | 2023-08-22 | Tencent America LLC | Constraint on affine model motion vector |
Also Published As
Publication number | Publication date |
---|---|
US11582473B2 (en) | 2023-02-14 |
CN110225356B (zh) | 2024-02-13 |
CN117956141A (zh) | 2024-04-30 |
CN117956142A (zh) | 2024-04-30 |
KR20200077611A (ko) | 2020-06-30 |
JP7485639B2 (ja) | 2024-05-16 |
EP2984839A1 (en) | 2016-02-17 |
JP2021182750A (ja) | 2021-11-25 |
KR102327617B1 (ko) | 2021-11-17 |
CN105308968A (zh) | 2016-02-03 |
KR20170102045A (ko) | 2017-09-06 |
JP6449241B2 (ja) | 2019-01-09 |
CN117956143A (zh) | 2024-04-30 |
CN117956140A (zh) | 2024-04-30 |
US20160057441A1 (en) | 2016-02-25 |
CN105308968B (zh) | 2019-06-14 |
EP3758379A2 (en) | 2020-12-30 |
KR20210138166A (ko) | 2021-11-18 |
KR20220156103A (ko) | 2022-11-24 |
KR20150140354A (ko) | 2015-12-15 |
JP2019075793A (ja) | 2019-05-16 |
CN110225356A (zh) | 2019-09-10 |
JP6920271B2 (ja) | 2021-08-18 |
CN117956144A (zh) | 2024-04-30 |
EP3758379A3 (en) | 2021-02-24 |
KR102127281B1 (ko) | 2020-06-26 |
KR102467038B1 (ko) | 2022-11-14 |
EP2984839B1 (en) | 2020-05-27 |
KR101773413B1 (ko) | 2017-08-31 |
WO2014166964A1 (en) | 2014-10-16 |
US20230108814A1 (en) | 2023-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7485639B2 (ja) | 効率的なマルチビュー/レイヤ符号化を可能とする符号化コンセプト | |
US11677966B2 (en) | Efficient scalable coding concept | |
US9560358B2 (en) | Device and method for scalable coding of video information | |
CA2916679A1 (en) | Device and method for scalable coding of video information |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161024 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161129 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20170131 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170529 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171128 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20180223 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180525 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181106 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181205 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6449241 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |