JP2015525997A - 3dビデオ符号化におけるビュー間候補導出の方法と装置 - Google Patents

3dビデオ符号化におけるビュー間候補導出の方法と装置 Download PDF

Info

Publication number
JP2015525997A
JP2015525997A JP2015518817A JP2015518817A JP2015525997A JP 2015525997 A JP2015525997 A JP 2015525997A JP 2015518817 A JP2015518817 A JP 2015518817A JP 2015518817 A JP2015518817 A JP 2015518817A JP 2015525997 A JP2015525997 A JP 2015525997A
Authority
JP
Japan
Prior art keywords
candidate
inter
candidates
view
merge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015518817A
Other languages
English (en)
Other versions
JP2015525997A5 (ja
JP6042536B2 (ja
Inventor
ジャン−リャン リン,
ジャン−リャン リン,
イー−ウェン チェン,
イー−ウェン チェン,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of JP2015525997A publication Critical patent/JP2015525997A/ja
Publication of JP2015525997A5 publication Critical patent/JP2015525997A5/ja
Application granted granted Critical
Publication of JP6042536B2 publication Critical patent/JP6042536B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/521Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

【課題】三次元ビデオ符号化または復号化システムのための方法と装置を提供する。【解決手段】三次元ビデオ符号化の方法と装置が開示される。本発明の実施形態は、選択工程を、ひとつ以上の空間候補およびビュー間候補と一時的候補のすくなくともひとつに適用して、保留候補集合を生成する。選択工程は、ひとつ以上の空間候補およびビュー間候補と一時的候補の少なくともひとつ間で、任意の冗長候補を除去する。その後、マージ/スキップ候補リストが生成され、保留候補集合を含む。一実施形態において、一時的候補は、前記選択工程から除外される。別の実施形態において、ビュー間候補は選択工程から除外される。本発明の別の実施形態において、選択工程が、ビュー間候補と二個以上の空間候補に適用される。選択工程は、空間候補とビュー間候補を比較する。【選択図】 図4

Description

この出願は、2012年7月2日に出願された“Modification of the pruning process for interview candidate”と題された米国特許仮出願番号61/667,242号、および、2012年10月3日に出願された“Improvement of the pruning process for inter-view candidate”と題された米国特許仮出願番号61/744,859号から、優先権を主張するものであり、その内容は引用によって本願に援用される。
本発明は、三次元ビデオ符号化に関するものであって、特に、中間またはマージ/スキップモードにおける3Dビデオ符号化の候補リストの導出に関するものである。
三次元(3D)テレビは、近年、視聴者に、感覚的な視覚体験をもたらす技術となっている。3D鑑賞を可能にするために、各種技術が発展している。それらの間で、多視点ビデオは、その他の中の3DTVアプリケーションの鍵となる技術である。従来のビデオは、カメラの視点からの光景の単一ビューだけを視聴者に提供する二次元(2D)媒体である。しかし、多視点ビデオは、動的光景の任意の視点を提供し、視聴者に現実の感覚を提供することができる。
多視点ビデオは、一般に、多数のカメラを同時に用いることにより光景を捕捉することにより形成され、多数のカメラは適切に配置されて、各カメラが、一視点からの光景を捕捉する。したがって、多数のカメラは、多重の視点に対応する多重動画像列を捕捉する。さらに多くの表示を提供するため、さらに多くのカメラが用いられて、表示に関連する多くの動画像列と、多視点ビデオを生成する。したがって、多視点ビデオは、保存のための大きい格納スペースおよび/または伝送のための高バンド幅を必要とする。よって、多視点ビデオ符号化技術は、必要な格納スペースまたは送信バンド幅を減少させるという技術領域中で発展している。
真正面から正直に攻めるやり方は、従来のビデオ符号化技術を、単独で、各単一ビュー動画像列に適用すると共に、異なるビュー間では相互関係を無視するというものである。このような符号化システムは、とても非効率である。多視点ビデオ符号化の効率を改善するため、一般の多視点ビデオ符号化はビュー間冗長を利用する。よって、大部分の3Dビデオ符号化(3DVC)システムは、多重ビューと深度図に関連する映像データの相互関係を考慮する。標準的な発展体、ITU−Tビデオ符号化専門家グループ(VCEG)とISO/IECエムペグ(Moving Picture Experts Group、MPEG)のジョイントビデオチームは、H.264/MPEG−4 AVCを、ステレオと多視点ビデオの多視点ビデオ符号化(MVC)に拡張する。
MVCは、一時的と空間予測を採用し、圧縮効率を改善する。MVCの発展中、いくつかのマクロブロックレベルの符号化ツールが提案され、照明補償、適応参照フィルタリング、動きスキップモードとビュー合成予測を含む。これらの符号化ツールが提案され、多重ビュー間の冗長を利用する。照明補償は、異なるビュー間の照明変動の補償を対象とする。カメラ間の焦点ミスマッチのため、適応参照フィルタリングは、変動を減らすことを目的としている。動きスキップモードは、別のビューから推論される現在のビュー中で、運動ベクトルを許可する。ビュー合成予測は、別のビューから現在のビューのピクチャを予測する。
しかし、MVCにおいて、深度図とカメラパラメーターは符号化されない。新世代の3Dビデオ符号化(3DVC)の近年の標準化発展において、テクスチャデータ、深さデータとカメラパラメーターがすべて符号化される。たとえば、図1は、3Dビデオ符号化の一般的予測構造を示し、標準適合ビデオコーダーが、ベースビュービデオ(base-view video)に用いられる。入ってくる3D映像データは、多重ビューに対応するイメージ(110−0,110−1,110−2,…)からなる。各ビューに収集されるイメージは、対応する視点の画像シーケンスを形成する。通常、ベースビュー(独立視点とも称される)に対応する画像シーケンス110−0は、単独で、ビデオコーダー130−0適合により、ビデオ符号化基準、たとえば、H.264/AVCまたはHEVC(高効率ビデオ符号化)に符号化される。従属視点(つまり、視点1,2,…)に関する画像シーケンスのビデオコーダー(130−1,130−2,…)は、一時的予測に加え、さらに、ビュー間予測を利用する。ビュー間予測は図1の短い点線によって示される。
相互作用的アプリケーションをサポートするため、それぞれのビューで光景に関連する深度図(120−0,120−1,120−2,…)も、ビデオビットストリーム中に含まれる。深度図に関連するデータを減少させるため、深度図は、深度図符号器(140−0,140−1,140−2,…)を用いて圧縮され、圧縮深度図データは、図1に示されるビットストリーム中に含まれる。マルチプレクサ150が用いられて、画像符号器と深度図符号器から、圧縮データを結合する。立体情報(depth information)は、選択された中間視点で、バーチャルビューを合成するのに用いられる。選択された視点に対応するイメージは、別の視点に対応するイメージに基づいて、ビュー間予測を用いて符号化される。この場合、選択された視点のイメージは、従属視点と呼ばれる。
隣接するビューの前に符号化された動き情報を再利用するために、HEVCベース3Dビデオ符号化バージョン3.1(HTM3.1)の参照ソフトウェアにおいて、ビュー間候補が、中間(つまり、一時的)、マージおよびスキップモードの運動ベクトル(MV)または視差ベクトル(DV)候補として加えられる。HTM3.1において、符号化ユニット(CU)である圧縮のための基本単位は、2Nx2N四角ブロックである。所定の最小サイズに到達するまで、各CUは、再帰的に、四つの小さいCUに分割される。各CUは、ひとつ以上の予測単位(PUs)を含む。3DV−HTMにおいて、ビュー間候補導出プロセスは、選択工程、すなわち、冗長候補を除去する工程を含む。選択工程は、中間、マージおよびスキップモードで、空間候補だけに適用される。選択工程は、一時的候補にもビュー間候補にも適用されない。マージ候補導出プロセスが図2で示される。
図2に示されるように、選択工程は、少数の並列な、空間候補間の動き情報比較を含む。たとえば、空間候補1−4(211−214)が選択されて、数量が削減された空間候補または候補をマージ候補リスト(250)に提供する。マージ候補導出プロセスにおいて、一時的候補およびビュー間候補が、選択工程から除外される。つまり、ビュー間候補と一時的候補は、常に、選択された候補リスト中に含まれる。空間候補の動き情報は、この空間候補の特定条件に基づいて、マージリスト中に挿入される。運動ベクトルがA1に対し有効である場合、選択工程は、常に、リスト中で、A1(図3に示される)を保留する。マージ候補リストから除外されるこれらの空間候補の条件は以下のようである(図3に示される):
・B1:B1は、A1と同じ動き情報を有する(矢印310で示される)
・B0:B0は、B1と同じ動き情報を有する(矢印320で示される)
・A0:A0は、A1と同じ動き情報を有する(矢印330で示される)
・B2:B2は、A1と同じ動き情報を有する(矢印340で示される)またはB1と同じ動き情報を有する(矢印350で示される)。A1,B1,B0またはA0のいづれかがマージリストから除外される場合のみ、B2がチェックされる。
空間隣接ブロックの位置は図3に示され、空間隣接ブロック集合は、現在のブロックの対角線上の左下隅の位置(つまり、A0)、現在のブロックの左下側に隣接する位置(つまり、A1)、現在のブロックの対角線上の左上隅の位置(つまり、B2)、現在のブロックの対角線上の右上隅の位置(つまり、B0)、および、現在のブロックの右上側に隣接する位置(つまり、B1)を含む。ブロック指定(すなわち、B0,B1,B2,A0とA1)が上述のようであるとき、便宜上、ブロック指定は、ブロックに関連する運動ベクトルまたは運動ベクトル予測を参照する。たとえば、“A1は有効”は“A1の運動ベクトルは有効”という意味を含む。HTM3.1において、中間モードの候補集合は、一ビュー間予測(候補)、二つの空間予測(候補)とひとつの一時的予測(候補)を含む:
1. ビュー間予測(候補),
2. 1st空間予測(候補),
3. 2nd空間予測(候補)および
4. 一時的予測(候補)
HTM3.1中の二個の空間候補は、現在のブロックの左下側に隣接するA1ブロックと現在のブロックの右上側に隣接するブロックB1に対応する。ビュー間予測(候補)は、深度図から導出するビュー間画像または視差ベクトル中、対応するブロックの運動ベクトルである。一時的予測(候補)は、配列された画像中に位置するブロック(TBRまたはTCTR)から生成される。HTMv3.1において、有効なビュー間と空間予測の数が2である時だけ、選択工程が適用されて、これらの二つの予測を比較し、冗長の方を除去する。一時的予測が、選択工程から除外される。選択工程の後、最初の三つの有効な予測だけが、候補集合に含まれる。図2に示されるように、有効な予測の数が3より小さい場合、ゼロ予測(240)が挿入される。
マージ候補リスト中の候補の総数が、リストサイズ(たとえば、5)より小さい場合、ひとつ以上の結合された運動ベクトルが、追加候補として追加される。結合されたMVP230を用いることにより、選択工程220から、結合された運動ベクトルが、選択された空間候補から生成される。たとえば、バイプレディクティブ(bi-predictive)マージ候補は、リスト0中で、リファレンス画像をポイントするMV候補とリスト1中で、リファレンス画像をポイントする別のMV候補を結合することにより形成される。
改善されたパフォーマンス、たとえば、RD−レートまたは減少した計算時間または記憶保存を導くビュー間候補、空間候補および一時的候補で、選択工程を発展させることが望まれる。
上述の討論に示されるように、候補集合導出プロセスは、各種空間と一時的隣接ブロックを含む。候補集合導出の複雑性を減少させ、システムパフォーマンスへの顕著な影響がないことが望まれる。
本発明においては、三次元ビデオ符号化または復号化システムのための方法と装置が開示される。
本発明の実施形態は、選択工程を、ひとつ以上の空間候補およびビュー間候補と一時的候補の少なくともひとつに適用し、保留候補集合を生成する。選択工程は、ひとつ以上の空間候補およびビュー間候補と一時的候補の少なくともひとつ間で、任意の冗長候補を除去する。その後、マージ/スキップ候補リストが生成され、保留候補集合を含む。一実施形態において、ひとつ以上の空間候補とビュー間候補が選択工程により処理されると共に、一時的候補は、選択工程から除外される。別の実施形態において、ひとつ以上の空間候補と一時的候補が選択工程により処理され、ビュー間候補は選択工程から除外される。
本発明の一形態は、選択工程に取り組む。選択工程が、ひとつ以上の空間候補とビュー間候補に適用されるとき、ビュー間候補は、ひとつ以上の空間候補のうちのひとつと同じ動き情報を有する場合、ビュー間候補が、候補リストから選択される。ひとつ以上の空間候補のうちのひとつは、ひとつ以上の空間候補の第一有効候補に対応する。ひとつ以上の空間候補のうちのひとつは、また、隣接ブロック集合のA1またはB1ブロックに対応する。選択工程が、ひとつ以上の空間候補と一時的候補に適用されるとき、一時的候補が、ひとつ以上の空間候補のうちのひとつと同じ動き情報を有する場合、一時的候補は、候補リストから選択される。さらに、ひとつ以上の空間候補のうちのひとつは、ひとつ以上の空間候補の第一有効候補に対応する。また、ひとつ以上の空間候補のうちのひとつは、隣接ブロック集合のA1またはB1ブロックに対応する。ビュー間または一時的候補の選択に代わって、空間候補も選択される。たとえば、A1候補が、ビュー間候補または一時的候補と同じ動き情報を有する場合、A1候補は、候補リストから選択することができる。同様に、B1候補が、ビュー間候補または一時的候補と同じ動き情報を有する場合、B1候補が、候補リストから選択される。選択工程は、任意の順序で、候補を有する候補集合に適用される。
本発明の別の実施形態において、中間、マージまたはスキップモードにおける3Dビデオ符号化の選択工程が開示される。現在のブロックの空間隣接ブロックに関連する空間候補および現在のブロックのビュー間候補が決定される。候補は、運動ベクトル候補または視差ベクトル候補である。選択工程が選択候補集合に適用されて、保留候補集合を生成する;選択候補集合は、ビュー間候補と少なくとも二つの空間候補を含み、選択工程は、選択候補集合中の任意の冗長候補を除去する。その後、保留候補集合を含む中間、マージまたはスキップ候補リストが生成される。処理されるデータが、それぞれ、中間、マージまたはスキップモードで、符号化または復号化されるとき、中間、マージまたはスキップ候補リストを用いて、ビュー間予測符号化または復号化は、処理されるデータに適用される。一実施形態において、選択候補集合は、ビュー間候補、第一空間候補および第二空間候補に対応し、選択工程は、ビュー間候補と第一空間候補間の一比較、および、ビュー間候補と第二空間候補間の別の比較に対応する。さらに、第一または第二空間候補が、ビュー間候補と異なる場合に限り、第一または第二空間候補は、それぞれ、中間、マージまたはスキップモードの中間、マージまたはスキップ候補リストで保留される。別の実施形態において、選択候補集合は、さらに、一時的候補を有する。
図1は、三次元ビデオ符号化システムの予測構造の例を示す図である。 図2は、3DV−HTMバージョン3.1に従ったマージ候補リストの導出プロセスの例を示す図である。 図3は、3DV−HTMバージョン3.1に従ったマージ候補リストの空間候補における選択工程を示す図である。 図4は、本発明の一実施形態によるマージ/スキップ候補リストの空間候補とビュー間候補における導出プロセスの例を示す図である。 図5は、本発明の一実施形態による中間(AMVP)候補リストの空間候補とビュー間候補における導出プロセスの例を示す図である。 図6は、本発明の一実施形態による中間またはマージ/スキップ候補リストの導出プロセスの例を示す第1の図である。 図7は、本発明の一実施形態による中間またはマージ/スキップ候補リストの導出プロセスの例を示す第2の図である。 図8は、本発明の一実施形態による中間またはマージ/スキップ候補リストの導出プロセスの例を示す第3の図である。 図9は、本発明の一実施形態によるマージ/スキップ候補リストの空間候補、一時的候補およびビュー間候補における導出プロセスの例を示す図である。 図10は、本発明の一実施形態による中間(AMVP)候補リストの空間候補、一時的候補およびビュー間候補における導出プロセスの例を示す図である。 図11は、本発明の一実施形態による中間またはマージ/スキップ候補リストの導出プロセスの例を示す第1の図である。 図12は、本発明の一実施形態による中間またはマージ/スキップ候補リストの導出プロセスの例を示す第2の図である。 図13は、本発明の一実施形態による中間またはマージ/スキップ候補リストの導出プロセスの例を示す第3の図である。 図14は、本発明の一実施形態による中間またはマージ/スキップ候補リストの導出プロセスの例を示す第4の図である。 図15は、本発明の一実施形態による中間またはマージ/スキップ候補リストの導出プロセスの例を示す第5の図である。 図16は、本発明の一実施形態による中間またはマージ/スキップ候補リストの導出プロセスの例を示す第6の図である。 図17は、本発明の一実施形態による中間またはマージ/スキップ候補リストの導出プロセスの例を示す第7の図である。 図18は、本発明の一実施形態による選択工程を組み込んだ三次元符号化システムのフローチャートである。 図19は、本発明の一実施形態による選択工程を組み込んだ別の三次元符号化システムのフローチャートである。
三次元ビデオ符号化または復号化システム中、中間(Inter)またはマージ/スキップ候補リストの選択工程(pruning process)が開示され、選択工程は、空間候補およびビュー間(inter-view)候補と一時的候補の少なくともひとつに適用される。
第一実施形態において、選択工程は、中間、マージおよびスキップモードの空間候補とビュー間候補に適用される。一時的候補は、選択工程から除外される。図4は、マージ/スキップモードのマージ/スキップ候補導出プロセスを示す図で、ビュー間候補210と空間候補1−4(211−214)が選択工程410に提供される。一時的候補(215)に沿った選択工程410からの保留候補(つまり、選択工程により除去されない候補)が、マージ/スキップ候補リスト430中に含まれる。マージ/スキップ候補リスト430のリストサイズがスレショルドより小さい場合、結合されたMVP420を用いることにより、結合されたマージ/スキップ候補が加えられる。結合されたMVP420は、選択工程410と一時的候補215からの保留候補を用いて、ひとつ以上のバイプレディクティブマージ/スキップ候補を形成する。マージ/スキップ候補の数量がスレショルド(たとえば、3)より少ない場合、ゼロMVP(240)は、マージ/スキップ候補リスト430中に含まれる。図5は、中間モードの中間候補導出プロセスを示し、選択工程520が、ビュー間候補210、第一空間候補511と第二空間候補512に適用される。その後、選択工程520からの保留候補は、一時的候補215と共に、中間候補リスト530中に含まれる。再度、候補の数量がスレショルド以下である場合、ゼロMVP(240)は、中間候補リスト530中に含まれる。中間モードは、この領域で、高効率ビデオ符号化(HEVC)として知られている高度な運動ベクトル予測(AMVP)方法に対応する。この開示において、候補は、運動ベクトルまたは視差ベクトルに対応する。
第二実施形態において、中間、マージおよびスキップモードの選択工程は、空間候補とビュー間候補からの候補間で、少数の並列な動き情報比較を実行する。一時的候補は、選択工程から除外される。この空間候補またはビュー間候補の特定条件に基づいて、空間候補またはビュー間候補の動き情報がマージ/スキップ候補リストに挿入される。動き情報(たとえば、運動ベクトルまたは視差ベクトル)がA1に対し有効である場合、選択工程は、常に、リスト中で、A1を保留する。中間またはマージ/スキップ候補リストから排除される空間とビュー間候補の候補は以下のようである(図6に示される):
・B1:B1はA1と同じ動き情報を有する(矢印610で示される)
・B0:B0はB1と同じ動き情報を有する(矢印620で示される)
・A0:A0はA1と同じ動き情報を有する(矢印630で示される)
・B2:B2はA1と同じ動き情報を有する(矢印640で示される)またはB1と同じ動き情報を有する(矢印650で示される)。A1,B1,B0またはA0のいづれかが、中間またはマージ/スキップ候補リストから除外される場合のみ、B2がチェックされる。
・I:IはA1と同じ動き情報を有する(Iはビュー間候補)(矢印660で示される)
第三実施形態において、中間、マージおよびスキップモードの選択工程は、空間候補とビュー間候補からの候補間の少数の並列な動き情報比較を実行する。一時的候補は、選択工程から除外される。この空間候補またはビュー間候補の特定条件に基づいて、空間候補またはビュー間候補の動き情報が、マージ/スキップ候補リスト中に挿入される。動き情報(たとえば、運動ベクトルまたは視差ベクトル)がIに対し有効である場合、選択工程は、常に、マージ/スキップ候補リスト中で、I(つまり、ビュー間候補)を保留する。中間またはマージ/スキップ候補リストから除外される空間候補の条件は以下のようである(図7に示される):
・A1:A1はIと同じ動き情報を有する(矢印710で示される)
・B1:B1はA1と同じ動き情報を有する(矢印720で示される)
・B0:B0はB1と同じ動き情報を有する(矢印730で示される)
・A0:A0はA1と同じ動き情報を有する(矢印740で示される)
・B2:B2はA1と同じ動き情報を有する(矢印750で示される)またはB1と同じ動き情報を有する(矢印760で示される)。A1,B1,B0またはA0のいづれかが中間またはマージ/スキップ候補リストから除外される場合のみ、B2がチェックされる。
第四実施形態において、中間、マージおよびスキップモードの選択工程は、空間、一時的とビュー間候補からの候補間で、少数の並列な動き情報比較を実行する。この空間候補、一時的候補またはビュー間候補の特定条件に基づいて、空間候補、一時的候補またはビュー間候補の動き情報が、中間またはマージ/スキップ候補リストに挿入される。動き情報(たとえば、運動ベクトルまたは視差ベクトル)がA1に対し有効である場合、選択工程は、常に、リスト中で、A1を保留する。中間またはマージ/スキップ候補リストから排除される空間候補、一時的候補およびビュー間候補の条件は以下のようである(図8に示される):
・B1:B1はA1と同じ動き情報を有する(矢印810で示される)
・B0:B0はB1と同じ動き情報を有する(矢印820で示される)
・A0:A0はA1と同じ動き情報を有する(矢印830で示される)
・B2:B2はA1と同じ動き情報を有する(矢印840で示される)またはB1と同じ動き情報を有する(矢印850で示される)。A1,B1,B0またはA0のいづれかが、中間またはマージ/スキップ候補リストから除外される場合のみ、B2がチェックされる。
・I:IA1と同じ動き情報を有する(矢印860で示される)
・T:TはA1と同じ動き情報を有する(Tは一時的候補)(矢印870で示される)
第五実施形態において、選択工程は、中間、マージおよびスキップモードの空間候補、一時的候補およびビュー間候補に適用される。図9は、マージ/スキップモードのマージ/スキップ候補導出プロセスを示し、ビュー間候補210、空間候補1−4(211−214)と一時的候補215が選択工程910に提供される。選択工程910からの保留候補は、マージ/スキップ候補リスト930中に含まれる。候補の数量がスレショルド(たとえば、3)より小さい場合、ゼロMVP(240)は、マージ/スキップ候補リスト930中に含まれる。マージ/スキップ候補リストの候補の数量がスレショルド(たとえば、5)以下である場合、結合されたMVP920を用いて、ひとつ以上の結合されたMVPが含まれる。選択工程910からの保留候補に基づいて、結合されたMVPプロセス(920)が、ひとつ以上のバイプレディクティブマージ/スキップ候補を生成する。図10は、中間モードの中間(AMVP)候補導出プロセスを示す図であり、選択工程1010は、ビュー間候補210、第一空間候補511、第二空間候補512と一時的候補215に適用される。その後、選択工程1010からひとつ以上の保留候補は、中間(AMVP)候補リスト1020中に含まれる。再度、候補の数量がスレショルド(たとえば、3)以下である場合、ゼロMVP(240)は、中間(AMVP)候補リスト1020中に含まれる。
第六実施形態において、中間(AMVP)モードの選択工程は、二個の空間候補間の一比較だけを実行する。一時的候補とビュー間候補は、選択工程から除外される。たとえば、それが、第一空間候補と異なる場合だけ、第二空間候補が、候補集合に挿入される。HTM3.1中、中間モードの二個の空間候補は、現在のブロックの左下側に隣接するA1ブロックと現在のブロックの右上側に隣接するB1ブロックに対応する。しかし、本発明による中間モードの二個の空間候補は、A1とB1以外の空間隣接ブロックと関連する。
第七実施形態において、中間(AMVP)モードの選択工程は、空間とビュー間候補からの候補間で、少数の並列な動き情報比較を実行する。一時的候補は、選択工程から除外される。この空間候補またはビュー間候補の特定条件に基づいて、空間候補またはビュー間候補の動き情報が候補集合に挿入される。それが有効である限りは、第一空間候補は、常に、中間(AMVP)候補リストに挿入される。中間(AMVP)候補リストから除外される空間とビュー間候補の条件は以下のようである。
・第二空間候補:第二空間候補は、第一空間と同じ動き情報を有する。
・ビュー間候補:ビュー間候補は、第一空間候補と同じ動き情報を有する。
第八実施形態において、中間(AMVP)モードの選択工程は、空間とビュー間候補からの候補間で、少数の並列な動き情報比較を実行する。一時的候補は、選択工程から除外される。この空間候補またはビュー間候補の特定条件に基づいて、空間候補またはビュー間候補の動き情報が候補集合に挿入される。それが有効である限りは、ビュー間候補は、常に、中間(AMVP)候補リストに挿入される。中間(AMVP)候補リストから除外される空間候補の条件は以下のようである。
・第一空間候補:第一空間候補は、ビュー間候補と同じ動き情報を有する。
・第二空間候補:第二空間候補は、第一空間候補と同じ動き情報を有する。
第九実施形態において、中間(AMVP)モードの選択工程は、空間候補、一時的候補およびビュー間候補からの候補間で、少数の並列な動き情報比較を実行する。この空間候補、一時的候補またはビュー間候補の特定条件に基づいて、空間候補、一時的候補またはビュー間候補の動き情報が候補集合に挿入される。それが有効である限りは、第一空間候補は、常に、中間(AMVP)候補リストに挿入される。中間(AMVP)候補リストから除外される空間候補、一時的候補およびビュー間候補の条件は以下のようである。
・第二空間候補:第二空間候補は、第一空間候補と同じ動き情報を有する。
・ビュー間候補:ビュー間候補は、第一空間候補と同じ動き情報を有する。
・一時的候補:一時的候補は、第一空間と同じ動き情報を有する。
第十実施形態において、中間、マージおよびスキップモードの選択工程は、空間候補とビュー間候補からの候補間で、少数の並列な動き情報比較を実行する。一時的候補は、選択工程から除外される。この空間候補またはビュー間候補の特定条件に基づいて、空間候補またはビュー間候補の動き情報が、中間またはマージ/スキップ候補リストに挿入される。動き情報(たとえば、運動ベクトルまたは視差ベクトル)がA1に対し有効である場合、選択工程は、常に、リスト中で、空間候補A1を保留する。中間またはマージ/スキップ候補リストから除外される空間とビュー間候補の条件は以下のようである(図11に示される):
・I:Iは、A1と同じ動き情報を有する(矢印1110で示される)
・B1:B1は、A1と同じ動き情報を有する(矢印1120で示される)
・B0:B0は、B1と同じ動き情報を有する(矢印1130で示される)
・A0:A0は、A1と同じ動き情報を有する(矢印1140で示される)
先ほどの例において、B2が有効である場合、B2は、中間またはマージ/スキップ候補リスト中に含まれる。たとえば、B2は動き情報を有するか、または、イントラ符号化ブロックではない。A1,B1,B0またはA0のいづれかが、中間またはマージ/スキップ候補リストから除外される場合のみ、B2がチェックされる。
第十一実施形態において、中間、マージおよびスキップモードの選択工程は、空間候補とビュー間候補からの候補間で、少数の並列な動き情報比較を実行する。一時的候補は、選択工程から除外される。この空間候補またはビュー間候補の特定条件に基づいて、空間候補またはビュー間候補の動き情報が、中間またはマージ/スキップ候補リストに挿入される。運動ベクトルがIに対し有効である場合、選択工程は、常に、中間またはマージ/スキップ候補リスト中で、I(つまり、ビュー間候補)を保留する。中間またはマージ/スキップ候補リストから除外される空間候補の条件は以下のようである(図12に示される):
・A1:A1はIと同じ動き情報を有する(矢印1210で示される)
・B1:B1は、A1と同じ動き情報を有する(矢印1220で示される)
・B0:B0は、B1と同じ動き情報を有する(矢印1230で示される)
・A0:A0は、A1と同じ動き情報を有する(矢印1240で示される)
先ほどの例において、B2が有効である場合、B2は、中間またはマージ/スキップ候補リスト中に含まれる。たとえば、B2は動き情報を有するかまたは、イントラ符号化ブロックではない。A1,B1,B0またはA0のいづれかが、中間またはマージ/スキップ候補リストから除外される場合のみ、B2が確認される。
第十二実施形態において、中間、マージおよびスキップモードの選択工程は、空間候補とビュー間候補からの候補間で、少数の並列な動き情報比較を実行する。一時的候補は、選択工程から除外される。この空間候補またはビュー間候補の特定条件に基づいて、空間候補またはビュー間候補の動き情報が、中間またはマージ/スキップ候補リストに挿入される。動き情報(たとえば、運動ベクトルまたは視差ベクトル)がA1に対し有効である場合、選択工程は、常に、中間またはマージ/スキップ候補リスト中、A1を保留する。マージ/スキップ候補リストから除外される空間とビュー間候補の条件は以下のようである(図13に示される):
・I:Iは、A1と同じ動き情報を有する(矢印1310で示される)または、B1と同じ動き情報を有する(矢印1370で示される)
・B1:B1は、A1と同じ動き情報を有する(矢印1320で示される)
・B0:B0は、B1と同じ動き情報を有する(矢印1330で示される)
・A0:A0は、A1と同じ動き情報を有する(矢印1340で示される)
・B2:B2は、A1と同じ動き情報を有する(矢印1350で示される)または、B1と同じ動き情報を有する(矢印1360で示される)。A1,B1,B0またはA0のいづれかが、中間またはマージ/スキップ候補リストから除外される場合のみ、B2がチェックされる。
第十三実施形態において、中間、マージおよびスキップモードの選択工程は、空間候補とビュー間候補からの候補間で、少数の並列な動き情報比較を実行する。一時的候補は、選択工程から除外される。この空間候補またはビュー間候補の特定条件に基づいて、空間候補またはビュー間候補の動き情報が、マージ/スキップ候補リストに挿入される。運動ベクトルがA1に対し有効である場合、選択工程は、常に、中間またはマージ/スキップ候補リストで、A1を保留する。中間またはマージ/スキップ候補リストから除外される空間とビュー間候補の条件は以下のようである(図14):
・I:Iは、A1と同じ動き情報を有する(矢印1410で示される)または、B1と同じ動き情報を有する(矢印1450で示される)
・B1:B1は、A1と同じ動き情報を有する(矢印1420で示される)
・B0:B0は、B1と同じ動き情報を有する(矢印1430で示される)
・A0:A0は、A1と同じ動き情報を有する(矢印1440で示される)
先ほどの例において、B2が有効である場合、B2が中間またはマージ/スキップ候補リスト中に含まれる。たとえば、B2は動き情報を有するまたはイントラ符号化ブロックではない。A1,B1,B0またはA0のいづれかが、中間またはマージ/スキップ候補リストから除外される場合のみ、B2がチェックされる。
第十四実施形態において、中間、マージおよびスキップモードの選択工程は、空間候補とビュー間候補からの候補間で、少数の並列な動き情報比較を実行する。一時的候補は、選択工程から除外される。この空間候補またはビュー間候補の特定条件に基づいて、空間候補またはビュー間候補の動き情報は、中間またはマージ/スキップ候補リストに挿入される。運動ベクトルがIに対し有効である場合、選択工程は、常に、中間またはマージ/スキップ候補リスト中で、I(つまり、ビュー間候補)を保留する。中間またはマージ/スキップ候補リストから除外されるこれらの空間候補の条件は以下のようである(図15に示される):
・A1:A1はIと同じ動き情報を有する(矢印1510で示される)
・B1:B1は、A1と同じ動き情報を有する(矢印1520で示される)またはIと同じ動き情報を有する(矢印1530で示される)
・B0:B0は、B1と同じ動き情報を有する(矢印1540で示される)
・A0:A0は、A1と同じ動き情報を有する(矢印1550で示される)
・B2:B2は、A1と同じ動き情報を有する(矢印1560で示される)または、B1と同じ動き情報を有する(矢印1570で示される)。A1,B1,B0またはA0のいづれかが、中間またはマージ/スキップ候補リストから除外される場合のみ、B2がチェックされる。
第十五実施形態において、中間、マージおよびスキップモードの選択工程は、空間候補とビュー間候補からの候補間で、少数の並列な動き情報比較を実行する。一時的候補は、選択工程から除外される。この空間候補またはビュー間候補の特定条件に基づいて、空間候補またはビュー間候補の動き情報が、中間またはマージ/スキップ候補リストに挿入される。動き情報(たとえば、運動ベクトルまたは視差ベクトル)がIに対して有効である場合、選択工程は、常に、マージ/スキップ候補リスト中で、I(つまり、ビュー間候補)を保留する。マージ/スキップ候補リストから除外される空間候補の条件は以下のようである(図16に示される):
・A1:A1はIと同じ動き情報を有する(矢印1610で示される)
・B1:B1は、A1と同じ動き情報を有する(矢印1620で示される)またはIと同じ動き情報を有する(矢印1630で示される)
・B0:B0は、B1と同じ動き情報を有する(矢印1640で示される)
・A0:A0は、A1と同じ動き情報を有する(矢印1650で示される)
先ほどの例において、B2が有効である場合、B2が中間またはマージ/スキップ候補リスト中に含まれる。たとえば、B2は動き情報を有するまたはイントラ符号化ブロックではない。A1,B1,B0またはA0のいづれかが、中間またはマージ/スキップ候補リストから除外される場合のみ、B2がチェックされる。
第十六実施形態において、中間、マージおよびスキップモードの選択工程は、空間候補、一時的候補とビュー間候補からの候補間で、少数の並列な動き情報比較を実行する。この空間候補、一時的候補またはビュー間候補の特定条件に基づいて、空間候補、一時的候補またはビュー間候補の動き情報が、中間またはマージ/スキップ候補リストに挿入される。運動ベクトルがA1に対し有効である場合、選択工程は、常に、リスト中で、A1を保留する。中間またはマージ/スキップ候補リストから除外されるこれらの空間候補の条件は以下のようである(図17に示される):
・I:Iは、A1と同じ動き情報を有する(Iはビュー間候補)(矢印1710で示される)
・B1:B1は、A1と同じ動き情報を有する(矢印1720で示される)
・B0:B0は、B1と同じ動き情報を有する(矢印1730で示される)
・A0:A0は、A1と同じ動き情報を有する(矢印1740で示される)
・T:Tは、A1と同じ動き情報を有する(矢印1750で示される)
先ほどの例において、B2が有効である場合、B2は、中間またはマージ/スキップ候補リスト中に含まれる。たとえば、B2は動き情報を有するまたはイントラ符号化ブロックではない。A1,B1,B0またはA0のいづれかが、中間またはマージ/スキップ候補リストから除外される場合のみ、B2がチェックされる。
第十七実施形態において、マージとスキップモードの選択工程だけが、空間候補、一時的候補およびビュー間候補から候補間で、少数の並列な動き情報比較を実行する。ビュー間候補、一時的候補、または、ビュー間候補と一時的候補両方が、第一有効空間候補と比較される。
第十八実施形態において、中間モード(AMVP)の選択工程は、空間とビュー間候補からの候補間で、少数の並列な動き情報比較を実行する。一時的候補は、選択工程から除外される。この空間候補またはビュー間候補の特定条件に基づいて、空間候補またはビュー間候補の動き情報が、候補集合に挿入される。それが有効である限りは、ビュー間候補は、常に、中間(AMVP)候補リストに挿入される。AMVP候補リストから除外される空間候補の条件は以下のようである。
・第一空間候補:第一空間候補は、ビュー間候補と同じ動き情報を有する。
・第二空間候補:第二空間候補は、ビュー間候補と同じ動き情報を有する。
上述の実施形態において、一時的候補に代わって、ビュー間候補が、選択工程から除外される。それが有効である限りは、一時的候補は、常に、中間(AMVP)候補リストに挿入される。また、ビュー間候補と比較するのに代わって、第一と第二空間候補が、一時的候補と比較される。
さらに、上述の実施形態において、空間候補が常に候補リスト中に含まれるとき、A1ブロックが選択される。別の隣接ブロックも選択される。たとえば、空間候補が常に候補リスト中に含まれるとき、A1ブロックに代わって、B1ブロックが選択される。
図18は、本発明の一実施形態による選択工程を組み込んだ三次元符号または復号化システムのフローチャートである。ステップ1810において、システムは、現在のテクスチャブロックに関連する処理されるデータを受信する。符号化において、現在のテクスチャブロックに関連する処理されるデータは、オリジナルの画素データ、深さデータまたは符号化される現在のブロック(たとえば、運動ベクトル、視差ベクトル、運動ベクトル差異または視差ベクトル差異)に関連する別の情報に対応する。処理されるデータは、さらに、ビュー間予測される残余画素データに対応する。後者の場合は、残余画素データが、ビュー間予測を用いて、さらに予測されて、残余画素データの別の残余データを生成する。復号化において、処理されるデータは、残余データ(残余画素データまたは深さデータ)、または、別の残余データのビュー間残余データに対応して、画素データまたは深さデータ、または、現在のブロックに関連する別の圧縮されたまたは符号化情報(たとえば、運動ベクトル、視差ベクトル、運動ベクトル差異または視差ベクトル差異)を再構成する。処理されるデータは、ストレージ、たとえば、コンピュータメモリ、バッファ(RAMまたはDRAM)または別の媒体から検索される。処理されるデータは、また、プロセッサ、たとえば、処理されるデータを生成するコントローラー、中央処理装置、デジタル信号プロセッサまたは電子回路から受信される。現在のブロックの空間隣接ブロックに関連する空間候補および現在のブロックのビュー間候補と一時的候補がステップ1820で決定され、候補は、運動ベクトル候補または視差ベクトル候補に対応する。その後、ステップ1830に示されるように、選択工程が、ひとつ以上の空間候補およびビュー間候補と一時的候補の少なくともひとつに適用されて、保留候補集合を生成する;選択工程は、ひとつ以上の空間候補とビュー間候補と一時的候補の少なくともひとつ間で、任意の冗長候補を除去する。ステップ1840において、マージ/スキップ候補リストが生成され、候補リストは保留候補集合を含む。その後、ステップ1850において、処理されるデータが、マージ/スキップモードで符号化または復号化されるとき、ビュー間予測符号化は、マージ/スキップ候補リストを用いることにより、処理されるデータに適用される。
図19は、本発明の一実施形態による選択工程を組み込んだ別の三次元符号化または復号化システムのフローチャートである。ステップ1910に示されるように、システムは、現在のテクスチャブロックに関連する処理されるデータを受信する。ステップ1920において、現在のブロックの空間隣接ブロックに関連する空間候補と現在のブロックのビュー間候補が決定され、候補は、運動ベクトル候補または視差ベクトル候補に対応する。その後、ステップ1930において、選択工程が、選択候補集合に適用されて、保留候補集合を生成する;選択候補集合は、ビュー間候補と少なくとも二つの空間候補を含み、選択工程選択候補集合は、選択候補集合中、任意の冗長候補を除去する。保留候補集合を含む中間、マージまたはスキップ候補リストがステップ1940において生成される。その後、ステップ1950において、処理されるデータが、それぞれ、中間、マージまたはスキップモードで、符号化または復号化されるとき、ビュー間予測符号化または復号化は、中間、マージまたはスキップ候補リストを用いて、処理されるデータに適用される。
上述のフローチャートは、本発明の一実施形態によるひとつ以上の空間候補およびビュー間候補と一時的候補の少なくともひとつに基づいて、保留候補集合を生成する選択工程の例を説明することを目的する。当該技術を熟知する者なら誰でも、本発明の精神と領域を脱しない範囲内で、各ステップを修正、再アレンジ、ステップを分割、ステップを結合することができる。
上述の記述が提示され、当業者は、特定のアプリケーションとその要求の内容で提供されるように、本発明を実施することができる。記述された具体例への各種修正は当業者には明らかであり、ここで定義される一般原則は別の実施形態に適用できる。よって、本発明は、図示および記述される特定の実施形態に限定されず、開示される原則と新規特徴と一致する幅広い範囲が認められる。上記の詳細な説明において、本発明を十分に理解するため、各種特定の詳細が説明されている。
上述される本発明の実施形態は、各種ハードウェア、ソフトウェアコード、または、それらの組み合わせで実行される。たとえば、本発明の実施形態は、ビデオ圧縮チップに整合される回路またはビデオ圧縮ソフトウェアに整合されるプログラムコードで、ここで記述される処理を実行する。本発明の実施形態は、デジタル信号プロセッサ(DSP)で実行されるプログラムコードで、ここで記述される処理を実行する。本発明は、さらに、コンピュータプロセッサ、デジタル信号プロセッサ、マイクロプロセッサ、または、フィールドプログラマブルゲートアレイ(FPGA)により実行される複数の機能を含む。これらのプロセッサは、本発明により具体化される特定の方法を定義する機械可読ソフトウェアコードまたはファームウェアコードを実行することにより、本発明による特定のタスクを実行することができる。ソフトウェアコードまたはファームウェアコードは、異なるプログラミング言語および異なるフォーマットまたはスタイルで展開される。ソフトウェアコードは、異なるターゲットプラットフォームにコンパイルされる。しかし、本発明に関連するタスクを実行する異なるコードフォーマット、ソフトウェアコードのスタイルと言語および設定コードの別の手段は、本発明の精神と領域を脱しない。
本発明では好ましい実施例を前述の通り開示したが、これらは決して本発明に限定するものではなく、当該技術を熟知する者なら誰でも、本発明の精神と領域を脱しない範囲内で各種の変更を加えることができ、従って本発明の保護範囲は、特許請求の範囲で指定した内容を基準とする。

Claims (17)

  1. 三次元ビデオ符号化または復号化システムのための方法であって、前記方法は、
    現在のブロックに関連する処理されるデータを受信する工程と、
    前記現在のブロックの空間隣接ブロックに関連する空間候補、および、前記現在のブロックのビュー間候補と一時的候補であって、一つの候補が、一つの運動ベクトル候補または一つの視差ベクトル候補に対応する前記各候補を決定する工程と、
    ひとつ以上の前記空間候補、および、前記ビュー間候補と一時的候補の少なくともひとつに、前記ひとつ以上の空間候補および前記ビュー間候補と前記一時的候補の前記少なくともひとつの間の任意の冗長候補を除去する工程である選択工程を適用して、保留候補集合を生成する工程と、
    前記保留候補集合を含むマージ/スキップ候補リストを生成する工程と、
    前記処理されるデータが、マージ/スキップモードで、符号化または復号化されるとき、前記マージ/スキップ候補リストを用いて、ビュー間予測符号化または復号化を、前記処理されるデータに適用する工程と、
    を含むことを特徴とする方法。
  2. 前記ひとつ以上の空間候補および前記ビュー間候補は前記選択工程により処理され、前記一時的候補は、前記選択工程から除外されることを特徴とする請求項1に記載の方法。
  3. 前記ビュー間候補が、前記ひとつ以上の空間候補のうちのひとつと同じ動き情報を有する場合、前記ビュー間候補が、前記候補リストから除外されることを特徴とする請求項2に記載の方法。
  4. 前記ビュー間候補が、前記ひとつ以上の空間候補の第一有効候補と前記同じ動き情報を有する場合、前記ビュー間候補が前記候補リストから除外されることを特徴とする請求項2に記載の方法。
  5. 前記ひとつ以上の空間候補と前記一時的候補は前記選択工程により処理され、前記ビュー間候補は前記選択工程から除外されることを特徴とする請求項1に記載の方法。
  6. 前記一時的候補が、前記ひとつ以上の空間候補のうちのひとつと同じ動き情報を有する場合、前記一時的候補が、前記候補リストから除外されることを特徴とする請求項5に記載の方法。
  7. A1候補が前記ひとつ以上の空間候補に属し、A1ブロックが前記現在のブロックの左下側に隣接するものであるとき、当該A1候補が、前記ビュー間候補または前記一時的候補と同じ動き情報を有する場合、当該A1候補は候補リストから除外されることを特徴とする請求項1に記載の方法。
  8. B1候補が前記ひとつ以上の空間候補に属し、B1ブロックが前記現在のブロックの右上側に隣接するものであるとき、前記B1候補が、前記ビュー間候補または前記一時的候補と同じ動き情報を有する場合、当該B1候補は前記候補リストから除外されることを特徴とする請求項1に記載の方法。
  9. 前記ビュー間候補は、常に、前記保留候補集合中で保留されることを特徴とする請求項1に記載の方法。
  10. 三次元ビデオ符号化または復号化システムのための装置であって、前記装置は、
    現在のブロックに関連する処理されるデータを受信する手段と、
    前記現在のブロックの空間隣接ブロックに関連する空間候補および前記現在のブロックのビュー間候補と一時的候補であって、一つの候補が、一つの運動ベクトル候補または一つの視差ベクトル候補に対応する前記各候補を決定する手段と、
    選択工程を、ひとつ以上の前記空間候補、および、前記ビュー間候補と前記一時的候補の少なくともひとつに、前記ひとつ以上の空間候補および前記ビュー間候補と前記一時的候補の前記少なくともひとつの間の任意の冗長候補を除去する工程である選択工程を適用して、保留候補集合を生成する手段と、
    前記保留候補集合を含むマージ/スキップ候補リストを生成する手段と、
    前記処理されるデータが、マージ/スキップモードで、符号化または復号化されるとき、前記マージ/スキップ候補リストを用いて、ビュー間予測符号化または復号化を、前記処理されるデータに適用する手段と、
    を有することを特徴とする装置。
  11. 中間、マージまたはスキップモードを用いる三次元ビデオ符号化または復号化システムのための方法であって、前記方法は、
    現在のブロックに関連する処理されるデータを受信する工程と、
    前記現在のブロックの空間隣接ブロックに関連する空間候補と前記現在のブロックのビュー間候補であって、一つの候補が、一つの運動ベクトル候補または一つの視差ベクトル候補に対応する前記各候補を決定する工程と、
    前記ビュー間候補と少なくとも二つの空間候補を含む選択候補集合に、前記選択候補集合中の任意の冗長候補を除去する選択工程を適用し、保留候補集合を生成する工程と、
    前記保留候補集合を含む中間、マージまたはスキップ候補リストを生成する工程と、
    前記処理されるデータが、それぞれ、前記中間、マージまたはスキップモードで符号化、または、復号化されるとき、前記中間、マージまたはスキップ候補リストを用いて、ビュー間予測符号化または復号化を、前記処理されるデータに適用する工程と、
    を含むことを特徴とする方法。
  12. 前記選択候補集合は、前記ビュー間候補、第一空間候補および第二空間候補を含み、前記選択工程は、前記ビュー間候補と前記第一空間候補間の一比較、および、前記ビュー間候補と前記第二空間候補間の別の比較に対応することを特徴とする請求項11に記載の方法。
  13. 前記第一または第二空間候補が、前記ビュー間候補と異なる場合のみ、前記第一または第二空間候補が、それぞれ、前記中間、マージまたはスキップモードの前記中間、マージまたはスキップ候補リスト中で保留されることを特徴とする請求項12に記載の方法。
  14. さらに、前記現在のブロックの一時的候補を決定する工程を含み、前記選択候補集合は、さらに、前記一時的候補を有することを特徴とする請求項11に記載の方法。
  15. A1ブロックは、前記現在のブロックの左下側に隣接し、B1ブロックは、前記現在のブロックの右上側に隣接するものであるとき、前記選択候補集合中の二個の空間候補は、A1とB1ブロックに関連することを特徴とする請求項11に記載の方法。
  16. 前記ビュー間候補は、常に、前記保留候補集合中で保留されることを特徴とする請求項11に記載の方法。
  17. 中間、マージまたはスキップモードを用いた三次元ビデオ符号化または復号化システムのための装置であって、前記装置は、
    現在のブロックに関連する処理されるデータを受信する手段と、
    前記現在のブロックの空間隣接ブロックに関連する空間候補と前記現在のブロックのビュー間候補であって、一つの候補が、一つの運動ベクトル候補または一つの視差ベクトル候補に対応する前記各候補を決定し;前記ビュー間候補と少なくとも二つの空間候補を含む選択候補集合に、前記選択候補集合中の任意の冗長候補を除去する選択工程を適用し、保留候補集合を生成する手段と、
    前記保留候補集合を含む中間、マージまたはスキップ候補リストを生成する手段と、
    前記処理されるデータが、それぞれ、前記中間、マージまたはスキップモードで、符号化または復号化されるとき、前記中間、マージまたはスキップ候補リストを用いて、ビュー間予測符号化または復号化を、前記処理されるデータに適用する手段と、
    を含むことを特徴とする装置。
JP2015518817A 2012-07-02 2013-07-02 3dビデオ符号化におけるビュー間候補導出の方法と装置 Active JP6042536B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261667242P 2012-07-02 2012-07-02
US61/667,242 2012-07-02
US201261744859P 2012-10-03 2012-10-03
US61/744,859 2012-10-03
PCT/CN2013/078631 WO2014005503A1 (en) 2012-07-02 2013-07-02 Method and apparatus of inter-view candidate derivation in 3d video coding

Publications (3)

Publication Number Publication Date
JP2015525997A true JP2015525997A (ja) 2015-09-07
JP2015525997A5 JP2015525997A5 (ja) 2016-06-30
JP6042536B2 JP6042536B2 (ja) 2016-12-14

Family

ID=49881334

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015518817A Active JP6042536B2 (ja) 2012-07-02 2013-07-02 3dビデオ符号化におけるビュー間候補導出の方法と装置

Country Status (5)

Country Link
US (1) US10264281B2 (ja)
EP (1) EP2842333A4 (ja)
JP (1) JP6042536B2 (ja)
CN (1) CN104412587B (ja)
WO (1) WO2014005503A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022501912A (ja) * 2018-09-22 2022-01-06 エルジー エレクトロニクス インコーポレイティドLg Electronics Inc. インター予測に基づいて、ビデオ信号を処理するための方法及び装置
JP2022521701A (ja) * 2019-03-01 2022-04-12 コーニンクレッカ フィリップス エヌ ヴェ 画像信号を生成する装置および方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112015000240A2 (pt) * 2012-07-10 2017-08-08 Lg Electronics Inc método e dispositivo para o processamento de sinal de vídeo
WO2014013880A1 (ja) * 2012-07-18 2014-01-23 ソニー株式会社 画像処理装置および方法
FR3002716A1 (fr) * 2013-02-26 2014-08-29 France Telecom Derivation de vecteur de mouvement de disparite, codage et decodage video 3d utilisant une telle derivation
US9554150B2 (en) * 2013-09-20 2017-01-24 Qualcomm Incorporated Combined bi-predictive merging candidates for 3D video coding
KR102264679B1 (ko) * 2013-10-14 2021-06-14 삼성전자주식회사 휘도 보상 여부에 따른 뷰 합성 예측 적용 방법 및 장치
CN106471806B (zh) 2014-06-16 2019-06-04 高通股份有限公司 3d-hevc中的简化移位合并候选者及合并列表导出
CN109845253B (zh) * 2016-10-04 2023-09-12 株式会社Kt 一种用于对二维视频进行解码、编码的方法
EP3410717A1 (en) 2017-05-31 2018-12-05 Thomson Licensing Methods and apparatus for candidate list pruning
US11128887B2 (en) * 2018-03-19 2021-09-21 Kt Corporation Method and apparatus for processing video signal
JP2018164265A (ja) * 2018-05-14 2018-10-18 クゥアルコム・インコーポレイテッドQualcomm Incorporated 3d−hevcにおける簡略化シフティングマージ候補およびマージリスト導出
CN112166612A (zh) * 2018-05-23 2021-01-01 株式会社Kt 用于处理视频信号的方法和设备
CN112887720B (zh) * 2018-12-13 2022-11-29 Jvc建伍株式会社 图像解码装置和方法、以及图像编码装置和方法
US11558606B2 (en) * 2018-12-28 2023-01-17 Godo Kaisha Ip Bridge 1 Moving image encoding device, moving image encoding method, moving image encoding program, moving image decoding device, moving image decoding method, and moving image decoding program
CN112118447B (zh) * 2019-06-19 2023-06-20 华为技术有限公司 融合候选运动信息列表的构建方法、装置及编解码器

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013138621A1 (en) * 2012-03-14 2013-09-19 Qualcomm Incorporated Disparity vector construction method for 3d-hevc
WO2013184468A1 (en) * 2012-06-06 2013-12-12 Qualcomm Incorporated Redundancy removal for advanced motion vector prediction (amvp) in three-dimensional (3d) video coding
WO2013188784A1 (en) * 2012-06-14 2013-12-19 Qualcomm Incorporated Redundancy removal for merge/skip mode motion information candidate list construction

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060021391A (ko) * 2003-06-20 2006-03-07 코닌클리케 필립스 일렉트로닉스 엔.브이. 휘도 및 컬러 분리
US8031267B2 (en) * 2007-02-12 2011-10-04 Intel Corporation Motion adaptive upsampling of chroma video signals
US20100266042A1 (en) * 2007-03-02 2010-10-21 Han Suh Koo Method and an apparatus for decoding/encoding a video signal
US9532066B2 (en) * 2011-01-21 2016-12-27 Qualcomm Incorporated Motion vector prediction
US9143795B2 (en) * 2011-04-11 2015-09-22 Texas Instruments Incorporated Parallel motion estimation in video coding
US9729873B2 (en) * 2012-01-24 2017-08-08 Qualcomm Incorporated Video coding using parallel motion estimation
US9525861B2 (en) * 2012-03-14 2016-12-20 Qualcomm Incorporated Disparity vector prediction in video coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013138621A1 (en) * 2012-03-14 2013-09-19 Qualcomm Incorporated Disparity vector construction method for 3d-hevc
WO2013184468A1 (en) * 2012-06-06 2013-12-12 Qualcomm Incorporated Redundancy removal for advanced motion vector prediction (amvp) in three-dimensional (3d) video coding
WO2013188784A1 (en) * 2012-06-14 2013-12-19 Qualcomm Incorporated Redundancy removal for merge/skip mode motion information candidate list construction

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
JPN6016001523; Christian Bartnik et al.: 'HEVC Extension for Multiview Video Coding and Multiview Video plus Depth Coding' ITU - Telecommunications Standardization Sector STUDY GROUP 16 Question 6 Video Coding Experts Group VCEG-AR13, 201202, pp.1-42, 44nd Meeting: San Jose, CA, U&#xFF3 *
JPN6016001524; Thomas Wiegand et al.: 'WD3: Working Draft 3 of High-Efficiency Video Coding' Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 JCTVC-E603_d8, 201106, pp.i-vii,46-48,74-78,105-119, 5th Meeting: Geneva, CH *
JPN6016001525; Hideki Takehara et al.: 'Non-CE9: Merge candidates pruning without TMVP' Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 JCTVC-H0133, 201202, pp.1-6, 8th Meeting: San Jose, CA, USA *
JPN6016001526; Toshiyasu Sugio and Takahiro Nishi: 'Modified derivation process on motion vector predictor and weighted prediction for HEVC multi-view e' Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 JCTVC-I0436_r1, 201204, pp& *
JPN6016001527; Jian-Liang Lin et al.: '3D-CE5.h related: Pruning process for inter-view candidate' Joint Collaborative Team on 3D Video Coding Extension Development of ITU-T SG 16 WP 3 and ISO/IEC JT JCT2-A0048_r2, 201207, pp.1-4, 1st Meeting: Stockholm, SE *
JPN6016001528; Li Zhang et al.: '3D-CE5.h related: Improved merge mode for inter-view predicted motion' Joint Collaborative Team on 3D Video Coding Extension Development of ITU-T SG 16 WP 3 and ISO/IEC JT JCT2-A0096, 201207, pp.1-4, 1st Meeting: Stockholm, SE *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022501912A (ja) * 2018-09-22 2022-01-06 エルジー エレクトロニクス インコーポレイティドLg Electronics Inc. インター予測に基づいて、ビデオ信号を処理するための方法及び装置
JP7225381B2 (ja) 2018-09-22 2023-02-20 エルジー エレクトロニクス インコーポレイティド インター予測に基づいて、ビデオ信号を処理するための方法及び装置
US11902536B2 (en) 2018-09-22 2024-02-13 Lg Electronics Inc. Method and apparatus for processing video signal based on inter prediction
JP2022521701A (ja) * 2019-03-01 2022-04-12 コーニンクレッカ フィリップス エヌ ヴェ 画像信号を生成する装置および方法
JP7326457B2 (ja) 2019-03-01 2023-08-15 コーニンクレッカ フィリップス エヌ ヴェ 画像信号を生成する装置および方法

Also Published As

Publication number Publication date
CN104412587B (zh) 2017-01-11
US20150181229A1 (en) 2015-06-25
EP2842333A4 (en) 2016-01-06
CN104412587A (zh) 2015-03-11
EP2842333A1 (en) 2015-03-04
WO2014005503A1 (en) 2014-01-09
US10264281B2 (en) 2019-04-16
JP6042536B2 (ja) 2016-12-14

Similar Documents

Publication Publication Date Title
JP6042536B2 (ja) 3dビデオ符号化におけるビュー間候補導出の方法と装置
JP2015525997A5 (ja)
KR101638752B1 (ko) 3d 비디오 코딩에서 변이 벡터 도출을 제한하는 방법
US9918068B2 (en) Method and apparatus of texture image compress in 3D video coding
JP5970609B2 (ja) 3dビデオ符号化における統一された視差ベクトル導出の方法と装置
KR101706309B1 (ko) 3차원 비디오 코딩을 위한 뷰간 후보자 유도 방법 및 장치
AU2013284038B2 (en) Method and apparatus of disparity vector derivation in 3D video coding
KR101753171B1 (ko) 3d 비디오 코딩에서의 간략화된 뷰 합성 예측 방법
US20150172714A1 (en) METHOD AND APPARATUS of INTER-VIEW SUB-PARTITION PREDICTION in 3D VIDEO CODING
US9961370B2 (en) Method and apparatus of view synthesis prediction in 3D video coding
KR20140011481A (ko) 3d 비디오 코딩을 위한 움직임 벡터 및 변이 벡터의 예측과 보상 방법 및 장치
CA2891723C (en) Method and apparatus of constrained disparity vector derivation in 3d video coding
WO2014166304A1 (en) Method and apparatus of disparity vector derivation in 3d video coding
US20130335526A1 (en) Multi-view video encoding/decoding apparatus and method
CA2921759C (en) Method of motion information prediction and inheritance in multi-view and three-dimensional video coding

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160119

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160419

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20160511

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160621

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20160822

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20160822

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160920

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161019

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161109

R150 Certificate of patent or registration of utility model

Ref document number: 6042536

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250