JP2013545342A - ブロック分割及びブロック統合をサポートする画像符号化 - Google Patents

ブロック分割及びブロック統合をサポートする画像符号化 Download PDF

Info

Publication number
JP2013545342A
JP2013545342A JP2013532229A JP2013532229A JP2013545342A JP 2013545342 A JP2013545342 A JP 2013545342A JP 2013532229 A JP2013532229 A JP 2013532229A JP 2013532229 A JP2013532229 A JP 2013532229A JP 2013545342 A JP2013545342 A JP 2013545342A
Authority
JP
Japan
Prior art keywords
block
blocks
decoder
encoding
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013532229A
Other languages
English (en)
Inventor
ハイコ シュヴァルツ
ヘレ フィリップ
デトレフ マルペ
トーマス ウィーガント
ジーモン オーディン
ベンヤミン ブロス
Original Assignee
フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=44764172&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2013545342(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ filed Critical フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ
Publication of JP2013545342A publication Critical patent/JP2013545342A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/93Run-length coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Selective Calling Equipment (AREA)
  • Channel Selection Circuits, Automatic Tuning Circuits (AREA)
  • Error Detection And Correction (AREA)

Abstract

ビットストリームがサポートされた分割パターンのうちの1つをシグナリングする画像の現在ブロックに関して、ブロック統合による分割の逆が回避されれば、更なる符号化効率を高めることが成し遂げられる。特に、サポートされた分割パターンのうちのシグナリングされた1つが2つ以上の更なるブロックへのブロックの細分化を特定する場合、符号化順で更なるブロックのうちの1番目の更なるブロック以外の全ての更なるブロックに関して、特定の符号化パラメータ候補の除去が実行される。特に、それらの符号化パラメータ候補は、各更なるブロックのための符号化パラメータ候補のセットから除かれ、その符号化パラメータは、各更なるブロックと統合されるときに、サポートされた分割パターンのうちの1つとなるであろう更なるブロックのいずれかと関連した符号化パラメータと同じである。この方法によって、分割符号化と統合符号化との間の冗長が回避される。
【選択図】図1

Description

本願は、画像および/またはビデオ符号化、特に、ブロック分割およびブロック統合をサポートするコーデックに関する。
多くの画像および/またはビデオコーデックは、ブロックの単位で画像を処理する。例えば、予測コーデックは、予測パラメータについてあまりにも多くの補助情報を使うことになるが、高空間分解能で予測パラメータセットを非常に正確に設定することと、予測パラメータの低空間分解能のために予測残差を符号化するのに必要なビット量の増加を招く、予測パラメータを非常に粗く設定することとの間の良い妥協点を得るために、ブロック粒度を使用する。要するに、予測パラメータのための最適な設定が、両端の間のどこかにある。
上述の課題についての最適解を得るために、いくつかの試みがなされている。例えば、行および列に規則的に配置されたブロックへの画像の規則的な細分化を使用する代わりに、マルチツリー分割する細分化は、細分化情報のための適切な要求でブロックに画像を細分化することの自由度を増加させようとする。しかし、マルチツリー細分化さえも、著しい量のデータのシグナリングを必要とし、画像を細分化する際の自由度は、このようなマルチツリー細分化を使用する場合でさえ、かなり制限される。
画像細分化を信号化するために必要な補助情報の量と、画像を細分化する際の自由度との間のより良いトレードオフを可能にするために、ブロックの統合が、統合情報をシグナリングするために必要な妥当な量の追加データで、可能な画像細分化の数を増加させるために使用されることができる。統合されているブロックに関しては、結果として生じるブロックの統合されたグループが画像の直接細分化された部分であるかのように、同様に、符号化パラメータは、全体でただ一度だけビットストリームの中で送信されることを必要とする。
しかし、依然として、ブロック統合とブロック細分化との組合せによって新たに生じた冗長が残っているため、より良い符号化効率を達成する必要性がある。
このように、本発明の目的は、さらなる符号化効率を有する符号化構想を提供することである。この目的は、出願に係る独立請求項によって達成される。
本発明の根底にある考えは、ビットストリームがサポートされた分割パターンのうちの1つをシグナリングする画像の現在ブロックに関して、ブロック統合による分割の逆が回避されれば、更なる符号化効率の増加が達成されうるということである。特に、サポートされた分割パターンのシグナリングされた1つが、2つ以上の更なるブロックへのブロックの細分化を特定する場合、符号化順で更なるブロックのうちの1番目の更なるブロック以外の全ての更なるブロックに関して、特定の符号化パラメータ候補の除去が、実行される。特に、その符号化パラメータが、各更なるブロックと統合されるときに、結果としてサポートされた分割パターンのうちの1つとなるであろう更なるブロックのいずれかと関連した符号化パラメータと同じである、それらの符号化パラメータ候補は、各更なるブロックのための符号化パラメータ候補のセットから除かれる。この方法によって、分割符号化と統合符号化との間の冗長は回避され、統合情報をシグナリングするための信号オーバーヘッドを、さらに、削減されたサイズの符号化パラメータ候補のセットを利用することによって削減することができる。さらに、ブロック分割をブロック統合と組み合わせるプラスの効果は、維持される。すなわち、ブロック分割をブロック統合と組み合わせるために、達成可能な分割パターンの種類は、ブロック統合のない場合と比較して増加する。信号オーバーヘッドの増加は、妥当な許容値に保たれる。最後に、ブロック統合は、現在ブロックとの境界を越えて更なるブロックを結合させることを可能にする。それによって、ブロック統合なしでは可能でない粒度を提供する。
統合候補のセットのわずかに異なる考えを適用すると、上で説明された考えは、本発明の更なる態様によれば、各更なるブロックのための候補ブロックのセットから、符号化順で更なるブロックのうちの1番目の更なるブロック以外の全ての更なるブロックに関して、各更なるブロックと統合するとき、サポートされた分割パターンのうちの1つとなるであろう候補ブロックを除くように構成されている復号器を用いて、画像の現在ブロックに関してサポートされた分割パターンのビットストリーム信号を復号するように構成される復号器において、明らかになる。
本発明の有利な実施態様は、付随した従属請求項の対象である。
本願の好ましい実施形態は、図に関して更に詳細に以下に説明される。
図1は、実施形態による符号器のブロック図を示す。 図2は、実施形態による復号器のブロック図を示す。 図3は、図1の符号器の可能な内部構造のブロック図を示す。 図4は、図2の復号器の可能な内部構造のブロック図を示す。 図5Aは、ツリールートブロック、符号化単位(ブロック)、および予測単位(パーティション)に画像の可能な細分化を概略的に示す。 図5Bは、図示に従ってパーティションのレベルにまで、図5Aに示されたツリールートブロックの細分化ツリーを示す。 図6は、実施形態による可能なサポートされた分割パターンのセットのための実施形態を示す。 図7は、図6に従ってブロック分割を使用するときに、ブロック統合とブロック分割を組み合わせることから効率的に生じる可能な分割パターンを示す。 図8は、実施形態によるSKIP/DIRECTモードのための候補ブロックを示す。 図9は、実施形態によるシンタックスのシンタックス部分を示す。 図10は、実施形態によるシンタックスのシンタックス部分を示す。 図11Aは、実施形態によるシンタックスのシンタックス部分を示す。 図11Bは、実施形態によるシンタックスのシンタックス部分を示す。 図12は、実施形態によるパーティションのための隣接したパーティションの定義を概略的に示す。
以下の記載に関して、同じ参照符号が異なる図に関係して使用されるときはいつでも、これらの図の1つに関して提示された各要素に関連した説明が、1つの図から他の図へと説明を移ることがこの他の図の残りの記載と矛盾しない場合には、同様に、他の図に適用される点に留意されたい。
図1は、本発明の一実施形態による符号器10を示す。符号器10は、ビットストリーム30に画像20を符号化するように構成される。当然、画像20は、符号器がビデオエンコーダである場合にはビデオの一部でありえる。
画像20は、ここで、符号器10によって符号化されることになっているブロック40を含む。図1に示すように、画像20は、2つ以上のブロック40を含みうる。例えば、画像20は、例として図1に示されるように、ブロック40が行および列に配置されるように、ブロック40の規則的な配置に細分化されうる。しかし、ブロック40への画像20の他のいかなる細分化も可能でありうる。
いずれにせよ、符号器10は、現在ブロック40のためのサポートされた分割パターンのうちの1つをビットストリーム30の中で信号を送るように構成される。すなわち、符号器10は、例えば、それがレート歪み最適化の観点で、更にブロック40を分割することが良いかどうかや、特定の符号化パラメータが画像20の現在ブロック40の中にセットされる粒度を適合させるために、サポートされた分割パターンのうちのどれが現在ブロック40のために使用されるべきかに関して決定する。以下で更に詳細に概説されるように、符号化パラメータは、例えば、インター予測パラメータなどの予測パラメータを示すことができる。この種のインター予測パラメータは、例えば、参照画像インデックス、動きベクトル(motion vector)などを含むことができる。サポートされた分割パターンは、例えば、非分割モード(non−partitioning mode)、すなわち現在ブロック40が更に分割されないオプション、横分割モード(horizontally partitioning mode)、すなわち現在ブロック40が横方向に伸びた線に沿って上部又は最上部と下部又は最下部に分割されるオプション、および、縦分割モード(vertically partitioning mode)、すなわち現在ブロック40が縦方向に伸びた線に沿って左側部分および右側部分に縦に分割されるオプションを含むことができる。これの他に、サポートされた分割パターンは、現在ブロック40が現在ブロック40の4分の1とそれぞれみなされる更なる4つのブロックに更に規則的に分割されるオプションを含むこともできる。更に、その分割は、画像20のすべてのブロック40に、または、インター予測モードなどの、それと関連する特定の符号化モードを有するものなどの単にその適当なサブセットだけに関係することができる。さらに、統合がブロックのパーティションに適用されることになっているありうるブロックのセットは、統合がブロックのパーティションのために利用可能であるかどうかに関して、統合が実行されうるブロック40ごとにビットストリームシグナリングすることによって、更に、限定されうる。当然、この種のシグナリングはまた、可能性がある統合候補パーティションごとに、個々に、なされうる。更に、サポートされた分割モードの種々のサブセットは、組み合わせて又は個々に、それがマルチツリー細分化リーフである場合には、ブロック40の細分化レベル、例えばブロックサイズに依存して、ブロック40のために利用可能でありえる。
すなわち、特にブロック40を得るためのブロックへの画像20の細分化が、フィックスされうる、または、ビットストリームの中でシグナリングされうる一方で、現在ブロック40のために使用されることになる分割パターンは、分割情報の形で、ビットストリーム30の中でシグナリングされる。従って、その分割情報は、このように、ブロック40への画像20の細分化の一種の拡張であるとして考えることができる。一方では、ブロック40への画像20の細分化の元の粒度の更なる関連は、まだ維持されうる。例えば、符号器10は、ビットストリーム30の中で、ブロック40によって定められた粒度で、画像20の各部分またはブロック40のために使用される符号化モードをシグナリングするように構成されうる一方で、符号器10は、各ブロック40のために選択された各分割パターンによって定められる増加した(微細な)粒度で、各ブロック40の中で各符号化モードの符号化パラメータを変化させるように構成される。例えば、ブロック40の粒度でシグナリングされた符号化モードは、時間インター予測モード、視点間(inter−view)予測モードなどのイントラ予測モード、インター予測モードなどの間で区別することができる。各ブロック40の分割から生じる1つ又は複数のサブブロック(パーティション)と関連した符号化パラメータの種類は、各ブロック40に割り当てられた符号化モードに依存する。例えば、イントラ符号化されたブロック40に関して、符号化パラメータは、画像20の前に復号された部分のどの画像内容が各ブロック40を満たすように使用されるかについての空間方向を含みうる。インター符号化されたブロック40の場合、符号化パラメータは、特に、動き補償予測のための動きベクトルを含むことができる。
図1は、例として、2つの更なる(より小さい)ブロック50およびブロック60に細分化されているものとしての現在ブロック40を示す。特に、縦分割モードが例として示される。より小さいブロック50およびブロック60は、サブブロック50およびサブブロック60、または、パーティション50およびパーティション60、または、予測単位50および予測単位60とも呼ぶことができる。特に、符号器10は、サポートされた分割パターンのシグナリングされた1つが、2つ以上の更なるブロック50およびブロック60への現在ブロック40の細分化を特定する場合に、符号化順で更なるブロック50およびブロック60の1番目の更なるブロック以外の全ての更なるブロックに関して、各更なるブロックのための符号化パラメータ候補のセットから、各更なるブロックに統合されるときに、サポートされた分割パターンの1つとなるであろう更なるブロックのいずれかと関連した符号化パラメータと同じである符号化パラメータを有する符号化パラメータ候補を除くように構成される。もっと正確に言えば、サポートされた分割パターンの各々のために、符号化順は、結果として生じる1つ又は複数のパーティション50およびパーティション60の間で定められる。図1の場合、符号化順は、例として、左のパーティション50が右のパーティション60の前に符号化されることを定める矢印70で示される。横分割モードの場合には、上のパーティションが下のパーティションの前に符号化されることが定められうる。いずれにせよ、符号器10は、符号化順70で2番目のパーティション60に関して、各2番目のパーティション60についての符号化パラメータ候補のセットから、この統合の結果、すなわち、両方のパーティション50およびパーティション60が、実際、低い符号化率で現在ブロック40について非分割モードを選択することによって等しく生じうるそれと関連した同じ符号化パラメータを有するであろうことを回避するために、1番目のパーティション50と関連した符号化パラメータと同じである符号化パラメータを有する符号化パラメータ候補を除くように構成される。
より正確に言えば、符号器10は、ブロック分割とともに効率的な方法でブロック統合を使用するように構成される。ブロック統合に関する限り、符号器10は、パーティション50およびパーティション60ごとに、符号化パラメータ候補の各セットを決定する。符号器は、前に復号されたブロックと関連した符号化パラメータに基づいて、パーティション50およびパーティション60ごとに、符号化パラメータ候補のセットを決定するように構成されることができる。特に、符号化パラメータ候補のセットの中の符号化パラメータ候補の少なくともいくつかは、前に復号されたパーティションの符号化パラメータと等しいことがある、すなわち、前に復号されたパーティションの符号化パラメータから採用されることがある。加えて、または、代わりに、符号化パラメータ候補の少なくともいくつかは、中央値、平均などの適切な組み合わせによって、2つ以上の前に符号化されたパーティションと関連した符号化パラメータ候補から得られうる。しかし、符号器10が、符号化パラメータ候補の削減されたセットの決定と、除去後に1つ以上のこの種の符号化パラメータ候補が残る場合に、1つの除かれなかった又は選択された符号化パラメータ候補に依存して、各パーティションと関連した符号化パラメータをセットするために、1番目でないパーティション60ごとに、残りの除かれなかった符号化パラメータ候補のうちの1つの選択を実行するように構成されるので、符号器10は、パーティション50とパーティション60との再結合に効率よくつながるであろう符号化パラメータ候補が除かれるように除去を実行するように構成される。すなわち、それにより効率的な分割状況が、単に分割情報だけを用いてこの分割を直接シグナリングする場合よりも複雑に符号化されるシンタックスの集まりは、効果的に回避される。
さらに、符号化パラメータ候補のセットがより小さくなるにつれて、ビットストリーム30に統合情報を符号化するのに必要な補助情報の量は、これらの候補セットのより少ない数の要素のため減少しうる。特に、復号器が、図1の符号器がするのと同じ方法で符号化パラメータ候補のセットを決定して、その後削減することが可能であるので、図1の符号器10は、例えば、ビットストリーム30にシンタックス要素を挿入するためにより少ないビットを使用して、符号化パラメータ候補の削減されたセットを利用することができ、除かれなかった符号化パラメータのどれが統合のために使われることになるかを特定する。当然、ビットストリーム30へのシンタックス要素の導入は、各パーティションのための除かれなかった符号化パラメータ候補の数が単に1である場合には、完全に抑制されることができる。いずれにしても、統合により、すなわち、除かれなかった符号化パラメータ候補のうちの残りの1つ、又は選択された1つに依存して、各パーティションと関連した符号化パラメータを設定することにより、符号器10は、ビットストリーム30への各分割のための符号化パラメータの完全に新たな挿入を抑制することが可能であり、これにより同様に補助情報を削減する。本願のいくつかの実施形態によれば、符号器10は、各パーティションのための符号化パラメータ候補のうちの残りの1つ、又は選択された1つをリファインするためのリファインメント情報を、ビットストリーム30の中でシグナリングするように構成されうる。
上で述べられたように図1についての説明によれば、符号器10は、パーティションの符号化パラメータとのそれらの符号化パラメータの比較によって除かれることになる統合候補を決定するように構成され、それによる統合は、別のサポートされた分割パターンを生ずる。例えば、左のパーティション50の符号化パラメータが右のパーティション60のための符号化パラメータ候補のセットの1つの要素を形成するとすれば、符号化パラメータ候補を処理するこの方法は、効率的に、図1に示した場合の少なくとも1つの符号化パラメータ候補を除く。しかし、更なる符号化パラメータ候補は、それらが左のパーティション50の符号化パラメータに等しい場合にも、除かれうる。しかし、本発明の他の実施形態によれば、符号器10は、各パーティションに統合されるときに、結果としてサポートされた分割パターンのうちの1つとなるであろう候補ブロックのこのセットから、その又はそれらの候補ブロックを除去することによって、符号化順で2番目以降のパーティションごとに、候補ブロックのセットを決定するように構成されうる。ある意味では、これは以下のことを意味する。符号器10は、候補セットの各要素が、その候補がその関連したパーティションの各符号化パラメータを採用するという点でそれと関連した、現在ブロック40または前に符号化されるブロック40のいずれかのちょうど1つのパーティションを有するように、パーティション50またはパーティション60(すなわち、符号化順で1番目のものとその次のもの)それぞれのために、統合候補を決定するように構成されることができる。例えば、候補セットの各要素は、前に符号化されたパーティションのこの種の符号化パラメータのうちの1つに等しくありえる、すなわち、その中から採用されうる、または、少なくとも、追加的にスケーリングすること又は追加的に送信されたリファインメント情報を用いたリファインメントなどによって、ただ1つのこの種の前に符号化されたパーティションの符号化パラメータから得られうる。しかし、符号器10はまた、この種の候補セットに、更なる要素または候補を加えるように、すなわち、1つ以上の前に符号化されたパーティションの符号化パラメータの組み合わせから得られた、または、修正によって、1つの動きパラメータリストの符号化パラメータだけをとることなどによって1つの前に符号化されたパーティションの符号化パラメータから得られた符号化パラメータ候補を加えるように構成されうる。「組み合わされた(combined)」要素のために、各候補要素の符号化パラメータと各パーティションとの間の1:1の関連性がある。図1の説明の1番目の変形例によれば、符号器10は、全部の候補セットから全部の候補を除くように構成されることができ、その符号化パラメータは、パーティション50の符号化パラメータに等しい。図1の説明の後者の変形例によれば、符号器10は、パーティション50と関連している候補セットの要素だけを除くように構成されることができる。両方の見解を一致させれば、符号器10は、結合によって得られる符号化パラメータを有する候補セットの残りの部分まで除去(及び等しい符号化パラメータを有する候補のサーチ)を拡げることなく、いくつかの(例えば隣接した)前に符号化されたパーティションとの1:1の関連を示している候補セットの部分から候補を除くように構成されることができる。しかし、当然、1つの組み合わせが冗長表現にもつながる場合、これは、リストから冗長な符号化パラメータを除くことによって、または、組み合わされた候補にも冗長チェックを実行することによって、解決することができる。
本発明の一実施形態による符号器を説明した後に、図2を参照して、一実施形態による復号器80について説明する。図2の復号器80は、上記の通り、画像20の現在ブロック40のためのサポートされた分割パターンのうちの1つをシグナリングするビットストリーム30を復号するように構成される。復号器80は、サポートされた分割パターンが2つ以上のパーティション50およびパーティション60への現在ブロック40の細分化を特定する場合、符号化順70におけるパーティションのうちの1番目のパーティション50以外の全てのパーティションに関して、すなわち、図1及び図2に示された例におけるパーティション60に関して、各パーティションのための符号化パラメータ候補のセットから、各パーティションと統合されるときに、サポートされた分割パターンのうちの1つ、すなわち、サポートされた分割パターンのうちの1つであるがビットストリーム30の中でシグナリングされなかったものとなる、パーティションのいずれかと関連した符号化パラメータと同じである又は等しい符号化パラメータを有する符号化パラメータ候補を除くように構成される。
すなわち、復号器機能は、図1に関して説明された符号器のそれと大部分一致する。例えば、復号器80は、除かれなかった符号化パラメータ候補の数が0でない場合に、除かれなかったパラメータ候補のうちの1つに依存して、各パーティション60と関連した符号化パラメータをセットするように構成されることができる。例えば、復号器80は、付加的なリファインメントの有無にかかわらず、および/または、符号化パラメータが関連する時間的距離によるスケーリングの有無にかかわらず、除かれなかった符号化パラメータ候補のうちの1つに等しくなるように、それぞれ、パーティション60の符号化パラメータをセットする。例えば、除かれなかった候補のうち統合する符号化パラメータ候補は、パーティション60のためのビットストリーム30の中で明示的にシグナリングされた参照画像インデックスとは別のそれと関連した参照画像インデックスを有しうる。その場合、符号化パラメータ候補の符号化パラメータは、それぞれ参照画像インデックスと関連した動きベクトルを定めることができ、復号器80は、両方の参照画像インデックス間の比率に従って、最後に選択された除かれなかった符号化パラメータ候補の動きベクトルをスケールするように構成されることができる。このように、上述の変形例によれば、統合に従う符号化パラメータは、動きパラメータを含む一方で、参照画像インデックスは、それから分離される。しかし、上記のように、別の実施形態によれば、参照画像インデックスは、統合に従う符号化パラメータの一部でもありえる。
統合挙動がインター予測されたブロック40に制限されうることは、図1の符号器および図2の復号器に等しくあてはまる。したがって、復号器80および符号器10は、現在ブロック40に関してイントラおよびインター予測モードをサポートして、現在ブロック40がインター予測モードで符号化されている場合にだけ候補の統合および除去を実行するように構成されることができる。したがって、この種のインター予測された前に符号化されたパーティションの符号化/予測パラメータだけが、候補リストを決定/構築するために使用されることができる。
すでに上で述べたように、符号化パラメータは、予測パラメータでもよく、復号器80は、各パーティションのための予測信号を得るために、パーティション50およびパーティション60の予測パラメータを使用するように構成されることができる。当然、符号器10も、同様に予測信号の抽出を実行する。しかし、符号器10は、加えて、適切な最適化の意味において、いくつかの最適化を得るために、ビットストリーム30の中にすべての他のシンタックスとともに予測パラメータをセットする。
更に、すでに上で説明されたように、符号器は、各パーティションのための除かれなかった符号化パラメータ候補の数が1より大きいものである場合だけ、除かれなかった符号化パラメータ候補にインデックスを挿入するように構成されることができる。したがって、復号器80は、除かれなかった符号化パラメータ候補の数が1より大きいものである場合、例えばパーティション60のための除かれなかった符号化パラメータ候補の数に応じて、ビットストリーム30が、除かれなかった符号化パラメータ候補のうちのどれが統合のために使用されるかについて特定しているシンタックスを含むのを単に予想するように構成されうる。しかし、候補セットが総計で2より小さくなる場合は、上述の通り、ただ1つの前に符号化されたパーティションの符号化パラメータを採用するまたはそれらから抽出することによって得られたそれらの候補まで候補セットの削減の実行を制限することによって、組み合わされた符号化パラメータ、すなわち、1つ以上又は2つ以上の前に符号化されたパーティションの符号化パラメータの組合せによって得られたパラメータを使用した候補のリスト/セットを拡張することによって生じることから、通常、除外されうる。同様に逆のこと、すなわち、通常、他のサポートされた分割パターンとなるパーティションのそれと同じ値を有する全ての符号化パラメータ候補を除くことも可能である。
決定に関して、復号器80は、符号器10がするように動作する。すなわち、復号器80は、前に復号されたパーティションと関連した符号化パラメータに基づいて、符号化順70における1番目のパーティション50の後のパーティションのための符号化パラメータ候補のセットを決定するように構成されることができる。すなわち、符号化順は、各ブロック40のパーティション50およびパーティション60の中でだけでなく、画像20自体のブロック40の中でも定められる。パーティション60の前に符号化されていたすべてのパーティションは、このように、図2の場合のパーティション60などの、後に続くパーティションのいずれかのための符号化パラメータ候補のセットの決定のための基準として役立つ。上でも説明されているように、符号器および復号器は、符号化パラメータ候補のセットの決定を、特定の空間および/または時間的隣接にあるパーティションに制限することができる。例えば、復号器80は、それぞれ1番目でないパーティションに隣接する前に復号されたパーティションと関連した符号化パラメータに基づいて、1番目でないパーティション60のための符号化パラメータ候補のセットを決定するように構成されることができ、この種のパーティションは、現在ブロック40の外側および内部に位置する。当然、統合候補の決定は、符号化順で1番目のパーティションのために実行されることもできる。除去だけは実行されない。
図1の説明と一致して、復号器80は、前に復号されたパーティションの最初のセットから、各1番目でないパーティション60のための符号化パラメータ候補のセットを決定するように構成されることができ、イントラ予測モードで符号化されているものを除外する。
更に、符号器が、ブロック40に画像20を細分化するために、細分化情報をビットストリームに導入している場合には、復号器80は、ビットストリーム30の細分化情報に従って、この種の符号化ブロック40への画像20の細分化を元に戻すように構成されることができる。
図1および図2に関して、現在ブロック40のための残差信号が、符号化パラメータに関してパーティションによって定められた粒度と異なりうる粒度でビットストリーム30を介して送信されることができることに留意する必要がある。例えば、図1の符号器10は、パーティション50およびパーティション60への分割とは並列の又は独立した方法で、1つ又は複数の変換ブロックにブロック40を細分化するように構成されることができる。符号器は、更なる細分化情報によって、ブロック40のための各変換ブロック細分化をシグナリングすることができる。次に、復号器80は、ビットストリームの更なる細分化情報によって、1つ又は複数の変換ブロックへのブロック40のこの更なる細分化を元に戻して、これらの変換ブロックの単位で、ビットストリームから現在ブロック40の残差信号を抽出するように構成されることができる。変換ブロック分割の意義は、符号器におけるDCTなどの変換と復号器におけるIDCTなどの対応する逆変換が、個々に、ブロック40の各変換ブロックの中で実行されることである。ブロック40として画像20を再構築するために、符号器10は、各パーティション50およびパーティション60で符号化パラメータを適用することによって得られた予測信号と残差信号を、それぞれ、加算するなどして、結合する。しかし、残差符号化は、変換および逆変換をそれぞれ含まず、予測残差が例えば変わりに空間ドメインにおいて符号化されることに留意されたい。
下記の更なる実施形態の更にあり得る詳細を説明する前に、図1および図2の符号器および復号器の可能性のある内部構造は、図3および図4に関して説明される。図3は、例として、符号器10がどのように内部的に構築されるかについて示す。図に示すように、符号器10は、減算器108、変換器100、およびビットストリームジェネレータ102を含むことができ、それらは、図3に示すように、エントロピー符号化を実行することができる。要素108、要素100および要素102は、画像20を受信する入力112と前述のビットストリーム30を出力している出力114との間で連続的に接続される。特に、減算器108は、入力112と接続されるその非反転入力を有し、変換器100は、減算器108の出力とビットストリームジェネレータ102の1番目の入力との間に接続され、次に、ビットストリームジェネレータ102は、出力114と接続される出力を有する。図3の符号器10は、さらに、逆変換器104と、アダー110とを含み、それらは、変換器100の出力に、記載された順に、連続的に接続される。符号器10は、更に、アダー110の出力とアダー110の更なる入力と減算器108の逆入力との間に接続される予測器106とを含む。
図3の要素は、以下の通りに相互に作用する。予測器106は、減算器108の逆入力に印加されて、予測の結果、すなわち予測信号を用いて、画像20の部分を予測する。減算器108の出力は、次に、予測信号と画像20の各部との間の差、すなわち残差信号を示す。残差信号は、変換器100の変換符号化に従う。すなわち、変換器100は、変換係数レベルを得るために、DCTなどの変換、および変換された残差信号、すなわち、変換係数に関する量子化を実行しうる。逆変換器104は、変換器100の量子化のため情報損失を除いて変換器100に残差信号入力に対応する、再構築された残差信号を得るために、変換器100によって出力された最終的な残差信号を再構築する。再構築された残差信号と予測器106による出力としての予測信号の足し合わせは、結果として画像20の各部分の再構築となり、アダー110の出力から予測器106の入力へと送られる。予測器106は、イントラ予測モード、インター予測モードなどのような上述のような種々のモードで作動する。予測信号を得るために予測器106によって適用された予測モードおよび対応する符号化または予測パラメータは、ビットストリームへの挿入のためのエントロピー符号器102に、予測器106によって送られる。
符号器に関して図3に示された可能性に対応する図2の復号器80の内部構造の考えられる実施態様が、図4に示される。図に示すように、復号器80は、図4に示すようにエントロピー復号器として実施されるビットストリーム抽出器150、逆変換器152、およびアダー154として実行されることができ、それらは、記載の順に、復号器の入力158および出力160との間に接続される。更に、図4の復号器は、アダー154の出力とその更なる入力との間に接続される予測器156を含む。エントロピー復号器150は、予測器156のパラメータ入力と接続される。
図4の復号器の機能を簡単に説明すると、エントロピー復号器150は、ビットストリーム30に含まれるすべての情報を抽出するためにある。使用されたエントロピー符号化スキームは、可変長符号化または算術符号化でもよい。これによって、エントロピー復号器150は、残差信号を示しているビットストリーム変換係数レベルから元に戻し、逆変換器152にそれを送る。更に、エントロピー復号器150は、ビットストリームからすべての符号化モードおよび関連した符号化パラメータを元に戻して、予測器156にそれを送る。加えて、分割情報および統合情報は、抽出器150によってビットストリームから抽出される。逆変換された、すなわち再構築された残差信号および予測器から得られるような予測信号は、アダー154によって加算されるなどして、結合され、次に、こうして元に戻された再構築された信号を出力160で出力し、それを予測器156に送る。
図3および図4を比較することから明白になるように、要素152、要素154および要素156は、機能的に、図3の要素104、要素110および要素106に対応する。
図1〜図4についての上記説明において、いくつかの異なる可能性は、画像20の可能な細分化および画像20を符号化することに関係するパラメータのいくつかを変化させる際の対応する粒度に関して提示された。この種の可能性は、図5aおよび図5bに関しても説明される。図5aは、画像20のうちの一部を示す。図5aの実施形態によれば、符号器および復号器は、最初に、ツリールートブロック200に画像20を細分化するように構成される。そのようなツリールートブロックは、図5aに示される。ツリールートブロックへの画像20の細分化は、点線で示すように行および列で規則的になされる。ツリールートブロック200のサイズは、符号器によって選択されることができて、ビットストリーム30によって復号器にシグナリングされた。代わりに、これらのツリールートブロック200のサイズは、デフォルトで固定することができる。ツリールートブロック200は、符号化ブロックまたは符号化単位と呼ぶことがある上述の区別されたブロック40を生じさせるために、クワッドツリー分割を用いて細分化される。これらの符号化ブロックまたは符号化単位は、図5aの細い実線によって描画される。これによって、符号器は、各ツリールートブロック200に細分化情報を加えて、その細分化情報をビットストリームに挿入する。この細分化情報は、ツリールートブロック200がブロック40に細分化されることになる方法について示す。これらのブロック40の粒度で、およびその単位で、予測モードが、画像20の中で変化する。上記のように、各ブロック40、またはインター予測モードなどの特定の予測モードを有する各ブロックは、どのサポートされた分割パターンが各ブロック40のために使用されるかについての分割情報を伴う。図5aについて示した場合において、多くの符号化ブロック40に関しては、符号化ブロック40が空間的に対応するパーティションと一致するように、非分割モードが選択されている。換言すれば、符号化ブロック40は、同時に、それと関連した予測パラメータの各セットを有するパーティションである。予測パラメータの種類は、次に、各符号化ブロック40と関連したモードに依存する。しかし、他の符号化ブロックは、例として、更に分割されるように示される。ツリールートブロック200の一番右上の角の符号化ブロック40は、例えば、4つのパーティションに分割されることが示されるが、ツリールートブロック200の一番右下の角の符号化ブロックは2つのパーティションに縦に細分化されることが例示的に示される。パーティションへの分割のための細分化は、点線によって示される。図5aはまた、このように定められたパーティションの中の符号化順を示す。図に示すように、深さ優先走査順が使用される。ツリールートブロック境界を横切って、符号化順は、ツリールートブロック200の行が画像20の上から下への行ごとに走査される走査順で進められうる。この方法によって、特定のパーティションがその上側の境界と左側の境界に隣接する前に符号化されたパーティションを有する可能性を最大にすることが可能である。各ブロック40、またはインター予測モードなどの特定の予測モードを有する各ブロックは、統合がその中の対応するパーティションのために作動するかどうかについて示しているビットストリーム内の統合スイッチインジケータを有することができる。単にこのルールがブロック40の最も小さい可能なブロックサイズに関してなされるだけであるという例外によって、パーティション/予測単位へのブロックの分割が、最大で2つのパーティションの分割に制限されることができる点に留意する必要がある。これは、ブロック40を得るためにクワッドツリー細分化を使用する場合、ブロック40に画像20を細分化するための細分化情報と、パーティションにブロック40を細分化するための分割情報との間の冗長を回避することができる。あるいは、非対称のものを含む又は含まない、単に1つ又は2つのパーティションへの分割だけが許容されることができる。
図5bは、細分化ツリーを示す。実線については、ツリールートブロック200の細分化が示され、一方、点線は、符号化ブロック40であるクワッドツリー細分化のリーフブロックの分割を表す。すなわち、符号化ブロックの分割は、クワッド細分化の一種の拡張を示す。
すでに上で述べたように、各符号化ブロック40は、変換ブロックが各符号化ブロック40の異なる細分化を示しうるように、変換ブロックに並列して細分化されうる。図5aおよび図5bに示されないこれらの変換ブロックの各々に、符号化ブロックの残差信号を変換するための変換は、別々に実行されうる。
以下に、本発明の更なる実施形態について説明する。前記実施形態が、ブロック統合とブロック分割との間の関連に集中した一方で、以下の記載はまた、SKIP/DIRECTモードなどの現在のコーデックにおいて知られた他の符号化原理に関する本願の態様を含む。にもかかわらず、以下の記載は、別の実施形態、すなわち上記のものから分離された実施形態を単に説明するだけであるとみなされるということではない。むしろ、下記の説明も、上記実施形態に関する考えられる実施態様の詳細を明らかにする。したがって、下記の説明は、すでに上で示された図の引用符号を使用し、その結果、後述する各考えられる実施態様はまた、上記実施形態の考えられるバリエーションを定める。これらのバリエーションの大部分は、個々に前記実施形態に移されうる。
換言すれば、本願の実施形態は、関連した符号化パラメータを送信するために、サンプル、すなわちブロックの特定のセットと関連したシンタックス要素を統合することによって、画像およびビデオ符号化アプリケーションにおいて補助情報のレートを削減するための方法を説明する。本願の実施形態は、特に、さまざまな分割パターンへの画像の部分の分割との統合シンタックス要素の結合、および符号化パラメータが現在ブロックの空間的および/または時間的隣接から割り出される、SKIP/DIRECTモードとの結合を考慮することができる。その範囲において、上記実施形態は、種々の分割パターンおよびSKIP/DIRECTモードと組み合わせて、サンプル、すなわちブロックのセットのための統合を実行するために変更されることができる。
更に、これらのバリエーションおよび詳細を説明する前に、画像およびビデオコーデックに関する概要が示される。
画像およびビデオ符号化アプリケーションにおいて、画像と関連したサンプル配列は、任意に形作られた領域、三角形、または他の形状を含む長方形又は四角ブロックまたはサンプルの他の集合を示しうる、サンプルの特定のセット(またはサンプルセット)に通常分割される。サンプル配列の細分化は、シンタックスによって固定されうる、または、細分化は、ビットストリームの中で(少なくとも部分的に)シグナリングされる。細分化情報をシグナリングするための補助情報レートを小さく保つために、シンタックスは、通常、より小さいブロックへのブロックの細分化などの単純な分割となる限られた数の選択のみを許容する。よく使用される分割スキームは、4つのより小さい正方形ブロックへの、または、同一サイズの2つの長方形ブロックへの、または、異なるサイズの2つの長方形ブロックへの正方形ブロックの分割である。ここで、実際に使用される分割は、ビットストリームの中でシグナリングされる。サンプルセットは、予測情報または残差符号化モードなどを特定する特定の符号化パラメータと関係する。ビデオ符号化アプリケーションにおいて、分割は、しばしば、動き表現のためになされる。(分割パターン内の)ブロックのすべてのサンプルは、動きパラメータの同じセットと関係し、それは、予測の種類(例えば、リスト0、リスト1、または双予測;および/または平行移動またはアフィン予測または異なる動きモデルを用いた予測)を特定するパラメータ、使用される参照画像を特定するパラメータ、通常、予測器に差として送信される参照画像に対する動きを特定するパラメータ(例えば、変位ベクトル、アフィン動きパラメータベクトル、他の動きモデルのための動きパラメータベクトル)、動きパラメータの精度(例えば2分の1サンプルまたは4分の1サンプルの精度)、(例えば照度補償のための)参照サンプル信号の重み付けを特定するパラメータ、または、現在ブロックの動き補償された予測信号を得るために使用される補間フィルタを特定するパラメータを含みうる。サンプルセットごとに、(例えば、予測および/または残差符号化を特定するために)個々の符号化パラメータが送信されると仮定される。改善された符号化効率を得るために、本発明は、2つ以上のサンプルセットをいわゆるサンプルセットのグループに統合する方法および特定の実施形態を示す。この種のグループの全てのサンプルセットは、同じ符号化パラメータを共有する。そして、それは、そのグループにおけるサンプルセットのうちの1つと共に送信されることができる。こうすることによって、符号化パラメータは、個々にサンプルセットのグループのサンプルセットごとに送信される必要はなく、その代わりに、符号化パラメータは、サンプルセットの全グループのために一度だけ送信される。その結果、符号化パラメータを送信するための補助情報レートは削減され、全体の符号化効率は、改善される。代わりのアプローチとして、符号化パラメータのうちの1つ又は複数のための付加的なリファインメントは、サンプルセットのグループのサンプルセットの1つ又は複数のために送信されることができる。そのリファインメントは、グループのすべてのサンプルセットに、または、それが送信されるサンプルセットだけに、適用されうる。
本発明の実施形態は、特に、(上述のように)さまざまなサブブロック50、60に、ブロックの分割との統合処理の組み合わせに関する。通常、画像またはビデオ符号化システムは、ブロック40のためのさまざまな分割パターンをサポートする。一例として、正方形ブロックは、分割されないか、または、同じサイズの4つの正方形ブロックに、(正方形ブロックが縦又は横に分割される)2つの同じサイズの2つの長方形ブロックに、若しくは、(縦又は横に)2つの異なるサイズの長方形ブロックに分割されうる。説明された典型的なパーティションパターンは、図6に示される。上記説明に加えて、分割は、1以上のレベルの分割さえも関係しうる。例えば、正方形のサブブロックはまた、任意選択で、同じ分割パターンを使用して更に分割されうる。この種の分割処理が、(正方形又は長方形)ブロックを例えばその隣接ブロックのうちの1つと統合することを可能にする統合処理と組み合わされるときに生じる問題は、それが生じる分割が、分割パターンと統合信号の異なる組合せによって得ることができるということである。それ故、同じ情報は、異なる符号語を使用してビットストリームにおいて送信されることができ、それは、符号化効率に関して明らかに最適状態に及ばない。単純な例として、(図6の左上隅にて示したように、)更に分割されない正方形ブロックを考慮する。この分割は、このブロック40が細分化されないというシンタックス要素を送ることによって、直接、シグナリングされることができる。しかし、同じパターンは、このブロックが、例えば、2つの縦に(または横に)配置された長方形ブロック50、60に細分化されることを特定するシンタックス要素を送ることによってシグナリングされることもできる。それから、これらの長方形ブロックのうちの2番目が1番目の長方形ブロックと統合されることを特定する統合情報を送ることができ、結果として、そのブロックが更に分割されないという信号を送るときとちょうど同じ分割となる。同じことは、最初にブロックが4つの正方形のサブブロックに細分化されることを特定して、それから、全てのこれらの4つのブロックを効率的に統合する統合情報を送ることによって得られる。この構想は、明らかに最適状態に及ばない(我々が同じものをシグナリングするために異なる符号語を有するからである)。
本発明の実施形態は、補助情報レートを削減して、したがってブロックのための異なる分割パターンを提供するという構想を用いた統合についての構想との組み合わせのために符号化効率を増加させることに関する構想および可能性を説明する。図6の分割パターン例を見れば、2つ長方形ブロックを用いた分割パターンのいずれかによって更に分割されなかったブロックの「シミュレーション」は、長方形ブロックが1番目の長方形ブロックと統合される場合を禁ずる(すなわち、ビットストリームシンタックス仕様から除外する)ときに回避されうる。より深く問題をみるとき、1番目の長方形ブロックと同じパラメータ(例えば、予測を特定するための情報)と関係する隣接(すなわち、1番目でない長方形ブロック)と2番目の長方形を統合することによって細分化されなかったパターンを「シミュレートする」ことは可能である。本発明の実施形態は、これらの統合パラメータが、結果としてサポートされた分割パターンのうちの1つをシグナリングすることによって得ることもできるパターンになるとき、特定の統合パラメータの送信が、ビットストリームシンタックスから除外される方法で、統合情報の送信を条件づける。例として、現在の分割パターンが、例えば、2番目のブロック、すなわち図1及び図2の場合のブロック60のための統合情報を送る前に、図1及び図2に示すように、2つの長方形ブロックへの細分化を特定する場合、考えられる統合候補のうちのどれが、1番目の長方形ブロック、すなわち図1及び図2の場合のブロック50と同じパラメータ(例えば、予測信号を特定するためのパラメータ)を有するかをチェックされることができる。そして、(1番目の長方形ブロック自体を含む)同じ動きパラメータを有する全ての候補は、統合候補のセットから除かれる。統合情報をシグナリングするために送られる符号語またはフラグは、結果として生じる候補セットに適合される。候補セットがパラメータチェックによって空になる場合、統合情報は送信されない。候補セットがちょうど1つのエントリからなる場合、そのブロックが統合されるかどうかについてシグナリングされるだけであり、その候補は、復号器側で得られるので、シグナリングされる必要がない。上記例に関して、同じ構想はまた、4つのより小さい正方形ブロックに正方形ブロックを分割する分割パターンにも使用される。ここで、統合フラグの送信は、細分化を特定しない分割パターンも、同じサイズの2つの長方形ブロックへの細分化を特定する2つの分割パターンのいずれもが統合フラグの組み合わせによって達成されない方法で構成される。特定の分割パターンを用いた上記例に最も多い構想を説明したが、(他の分割パターンと対応する統合情報との組合せによって特定の分割パターンの仕様を回避する)同じ構想が分割パターンの他のセットのために使用されることができることは明らかである。
分割だけが許容される構想に対して、説明された本発明の利点は、(例えば、予測信号を特定するための)同じパラメータと関係している部分への画像の分割をシグナリングすることに関して、はるかに大きな自由度が提供されることである。例えば、細分化されたより大きいブロックの正方形ブロックの統合の結果として生じる付加的な分割パターンは、図7に表される。しかし、非常に多く結果として生じるパターンが、(前に細分化されたブロックの外に)更に隣接したブロックとの統合によって達成されることができる点に留意すべきである。分割及び統合情報をシグナリングするためのごくわずかな符号語を用いて、様々な分割可能性が提供され、符号器は、レート歪みの点において(例えば、特定のレート歪み測度を最小にすることによって、)(一定の符号器煩雑性のために)最も良い選択肢を選択することができる。ただ1つの分割パターン(例えば同じサイズの4つのブロックへの細分化)が統合アプローチと組み合わせて提供されるアプローチと比較した利点は、(例えば異なるサイズの長方形のような)よく用いられるパターンがいくつかの細分化および統合フラグの代わりに短い符号語によって送信されることができることである。
考慮される必要がある他の態様は、統合構想がビデオ符号化設計で見つけられるSKIPまたはDIRECTモードにある意味で類似しているということである。SKIP/DIRECTモードにおいて、基本的に、動きパラメータは、現在ブロックのために送信されないが、空間的および/または時間的隣接から割り出される。SKIP/DIRECTモードの特定の効率的な構想において、動きパラメータ候補(参照フレームインデックス、変位ベクトル、その他)のリストは、空間および/または時間的隣接から生成され、候補パラメータのうちのどれが選択されるかについて特定するこのリストへのインデックスが送信される。双予測されたブロック(または多重仮説フレーム)のために、別の候補が参照リストごとにシグナリングされることができる。考えられる候補は、現在ブロックの上部のブロック、現在ブロックの左のブロック、現在ブロックの左上のブロック、現在ブロックの右上のブロック、これらの候補でさまざまなものの中央値予測器、1つ又は複数の前の参照フレームにおける同じ位置に配置されたブロック(または、他のすでに符号化されたブロック、または、すでに符号化されたブロックから得られる組み合わせ)を含むことができる。統合構想をSKIP/DIRECTモードと組み合わせるときに、SKIP/DIRECTモードおよび統合モードの両方が同じ候補を含むべきでないことが確実にされなければならない。これは、異なる構成によって達成されることができる。特定のブロックに関してだけ(例えば特定されたサイズより大きいサイズを用いて、または、正方形ブロックに関してだけ、など)(例えば、統合モードより多くの候補を用いて)SKIP/DIRECTモードを可能にし、これらのブロックのための統合モードをサポートしないことがありえる。または、SKIP/DIRECTモードは、削除されることができ、(空間的/時間的隣接したブロックのためのパラメータの組み合わせを示すパラメータを含む)全ての候補は、候補として統合モードに付加される。この選択肢は、図1〜図5に関しては、すでに上で述べた。増加された候補セットは、(所定の最小サイズより大きいサイズのもの、または正方形のブロックなど)特定のブロックのために使用されるだけでありえる。ここで、他のブロックのために、削減された候補セットが使用される。または、更なる変形として、統合モードは、削減された候補セット(例えば上と左の隣だけ)に関して使用され、そして、更なる候補(例えば左上のモード、同じ位置に配置されたブロック、その他)は、SKIP/DIRECTモードのために使用される。また、この種の構成において、SKIP/DIRECTモードは、特定のブロック(所定の最小サイズより小さいサイズのもの、または、正方形のブロックなど)のために可能とされうるだけであるが、統合モードは、ブロックのより大きいセットのために可能とされる。この種の組み合わせの利点は、(例えば予測を特定するために)すでに送信されたパラメータの再使用をシグナリングするための複数のオプションが異なるブロックサイズのために提供されることである。例として、より大きい正方形のブロックに関して、より多くのオプションが提供される。というのも、ここで、追加的に費やされるビットレートがレート歪み効率の増加を供給するからである。より小さいブロックについては、オプションのより小さいセットが与えられる。候補セットの増加は、ここで、選択された候補をシグナリングするために必要とされるビットごとに、サンプルの小さい比率のため、レート歪み効率における利得をもたらさないだろう。
上述したように、本発明の実施形態はまた、統合アプローチが、画像のサンプル配列のための分割を選択するための可能性の数を著しく増加させるので、ビットストリームを生み出すためにより大きな自由度を符号器に供給する。符号器が、例えば、特定のレート歪み測度を最小化するために、より多くの選択肢の中から選ぶことができるので、符号化効率は、改善されうる。例として、分割と統合との組み合わせによって示されうる追加のパターンのいくつか(例えば図7のパターン)は、(動き推定およびモード決定のための対応するブロックサイズを使用して)追加的にテストされることができ、純粋に分割することによって(図6)、そして、分割および統合によって(図7)提供された最も良いパターンが、特定のレート歪み測度に基づいて選択されることができる。加えて、ブロックごとに、すでに符号化された候補セットのいずれかを用いた統合が、特定のレート歪み測度の減少において生ずるかどうかについてテストされることができ、対応する統合フラグは、符号化処理の間、セットされる。要約すると、符号器を作動させるいくつかの可能性がある。単純なアプローチにおいて、符号器は、(最高水準の符号化スキームとして)サンプル配列の最大の細分化を最初に決定することができる。そうすると、それは、サンプルセットごとに、他のサンプルセットまたはサンプルセットの他のグループを用いた統合が特定のレート歪みコスト測度を削減するかどうかをチェックすることができる。ここで、サンプルセットの統合されたグループと関連した予測パラメータは、(新たな動きサーチを実行することによって、)再推定されることができる。または、現在サンプルセットのためにすでに決定された予測パラメータおよび統合のための候補サンプルセット(またはサンプルセットのグループ)は、サンプルセットの考慮されたグループのために評価されることができる。より広範囲なアプローチにおいて、特定のレート歪みコスト測度は、サンプルセットの付加的な候補グループのために評価されることができる。特例として、さまざまな可能な分割パターン(例えば図6参照)をテストするときに、分割および統合の組み合わせによって示されることができるパターンの一部又は全部(例えば図7参照)は、加えて、テストされることができる。すなわち、パターンの全てに関して、特定の動き推定およびモード決定処理が実行され、最も小さいレート歪み測度を得るパターンが選択される。この処理は、上記の低煩雑性処理と組み合わされることもできる。その結果、結果として生じるブロックのために、(例えば図6および図7のパターンの外で)すでに符号化されたブロックに関する統合がレート歪み測度の減少を生じさせるかどうかが追加的にテストされる。
以下において、例えば図1および図3の符号器と図2および図4の復号器などに関して、上で概説された実施形態のためのいくつかの考えられる詳細な実施態様について説明される。すでに上で述べたように、それは画像およびビデオ符号化において使用可能である。上述の通り、画像または画像のためのサンプル配列の特定のセットは、ブロックに分解されることができ、それは、特定の符号化パラメータと関連している。画像は、通常、複数のサンプル配列からなる。加えて、画像は、付加的な補助のサンプル配列と関連しうる。そして、それは、例えば、透明性情報または距離画像を特定することができる。(補助のサンプル配列を含む)画像のサンプル配列は、1つ又は複数のいわゆる平面群に分類されることができる。ここで、各平面群は、1つ又は複数のサンプル配列からなる。画像の平面群は、独立に、または、画像が1つ又は複数の平面群と関連している場合には、同じ画像の他の平面群からの予測によって、符号化されうる。各平面群は、通常、ブロックに分解される。ブロック(またはサンプル配列の対応するブロック)は、インター画像予測またはイントラ画像予測によって予測される。ブロックは、異なるサイズを有することができて、正方形または長方形でありえる。ブロックへの画像の分割は、シンタックスによって固定することもでき、または、それは、(少なくとも部分的に)ビットストリームの中でシグナリングすることもできる。しばしば定められたサイズのブロックに関する細分化の信号を送るシンタックス要素が送信される。この種のシンタックス要素は、小さいブロックに細分化されるかや、どのように分割されるかを特定することができ、そして、例えば予測の目的で、符号化パラメータと関連している。考えられる分割パターンの例が図6に示される。ブロック(またはサンプル配列の対応するブロック)のすべてのサンプルに関して、関連した符号化パラメータの復号は、特定の方法で特定される。例において、ブロックの全てのサンプルが、(すでに符号化された画像のセットにおいて参照画像を識別する)参照インデックス、(参照画像と現在の画像との間のブロックの動きについての測度を特定する)動きパラメータ、補間フィルタを特定するためのパラメータ、イントラ予測モードなどの予測パラメータの同じセットを使用して、予測される。動きパラメータは、横成分および縦成分を有する変位ベクトルによって、または、6つの成分からなるアフィン動きパラメータなどの高次動きパラメータによって、示されることができる。特定の予測パラメータ(例えば参照インデックスおよび動きパラメータ)の複数のセットが1つのブロックと関連することも可能である。その場合、これらの特定の予測パラメータのセットごとに、ブロック(またはサンプル配列の対応するブロック)のための1つの中間の予測信号が生成され、そして、最終的な予測信号は、中間の予測信号を重畳することを含む結合によって構築される。対応する重み付けパラメータおよび場合によっては(重み付けされた和に加算される)一定のオフセットは、画像に関して、若しくは参照画像、若しくは参照画像セットに関して固定されうる、または、それらは、対応するブロックのための予測パラメータのセットに含まれうる。元のブロック(またはサンプル配列の対応するブロック)とそれらの予測信号との差(残差信号とも呼ばれる)は、通常、変換され、量子化される。しばしば、二次元変換が、残差信号(または残差ブロックのための対応するサンプル配列)に適用される。変換符号化のために、(予測パラメータの特定のセットが使用された)ブロック(またはサンプル配列の対応するブロック)は、変換を適用する前に、更に分割されることができる。変換ブロックは、予測のために使用されるブロックと等しくする、またはそれより小さくすることができる。変換ブロックが、予測のために使用されるブロックの2つ以上を含むことも可能である。異なる変換ブロックは、異なるサイズを有することができ、そして、変換ブロックは正方形または長方形のブロックを表すことができる。図1〜図5に関する上記例では、1番目の細分化のリーフノード、すなわち符号化ブロック40が、一方では、符号化パラメータの粒度を定めているパーティションに、一方では、二次元変換が個々に適用される変換ブロックに更に並列に分割されうる点が留意された。変換後、結果として生じる変換係数は、量子化され、そして、いわゆる変換係数レベルが得られる。変換係数レベル並びに予測パラメータ、そして、あれば、細分化情報は、エントロピー符号化される。
最新技術の画像およびビデオ符号化標準において、シンタックスによって供給されるブロックに画像(または平面群)を細分化することの可能性は、非常に制限される。通常、事前に定められたサイズのブロックがより小さいブロックに細分化されうるかどうか(場合によってはその方法)が特定されるだけでありえる。例えば、H.264における最大のブロックサイズは、16x16である。16x16ブロックは、マクロブロックとも呼ばれ、各画像は、1番目のステップにおいて、マクロブロックに分割される。16x16マクロブロックごとに、それが16x16ブロックとして、または、2つの16x8ブロックとして、または、2つの8x16ブロックとして、または、4つの8x8ブロックとして、符号化されるかどうかがシグナリングされうる。16x16ブロックが4つの8x8ブロックに細分化される場合、これらの8x8ブロックの各々は、1つの8x8ブロックとして、または、2つの8x4ブロックとして、または、2つの4x8ブロックとして、または、4つの4x4ブロックとして、符号化されうる。最新技術の画像およびビデオ符号化標準のブロックに分割を特定するための可能性の小さいセットは、細分化情報をシグナリングするための補助情報レートが小さく保たれることができる利点があるが、ブロックのための予測パラメータを送信するのに必要なビットレートが、以下に説明されるように有意になりうるという不利な点がある。予測情報の信号を送るための補助情報レートは、通常、ブロックのための全体のビットレートの有意な量を示す。そして、この補助情報が削減されるときに、符号化効率は、増加することができる。そして、それは、例えば、より大きいブロックサイズを使用することにより達成されることができる。H.264と比較してサポートされた分割パターンのセットを増加させることも可能である。例えば、図6に示された分割パターンは、すべてのサイズ(または選択されたサイズ)の正方形のブロックのために供給されることができる。ビデオシーケンスの実像または画像は、特定の性質を有する任意で形づくられたオブジェクトからなる。例えば、この種のオブジェクトまたはオブジェクトの部分は、一意なテクスチャまたは一意な動きによって特徴づけられる。そして、通常、予測パラメータの同一のセットは、この種のオブジェクトまたはオブジェクトの一部のために使用されることができる。しかし、オブジェクト境界は、通常、大きな予測ブロック(例えばH.264の16x16マクロブロック)のための考えられるブロック境界と一致しない。符号器は、通常、結果として特定のレート歪みコスト測度の最小限になる(可能性の限られたセットの中の)細分化を決定する。任意で形作られたオブジェクトのために、これは、結果として多数の小ブロックになる。この記述は、上記(述べたような)多くの分割パターンが供給されるときにも成立する。分割パターンの量があまりにも大きくなってはならない点に留意する必要がある。というのも、多くの補助情報および/または符号器/復号器の計算量が、これらのパターンを信号を送信し、処理するのに必要となるからである。そこで、任意で形作られたオブジェクトは、分割のため、しばしば結果として多数の小ブロックになる。そして、これらの小ブロックの各々が、送信される必要がある予測パラメータのセットと関連するので、補助情報レートは、全体のビットレートの有意な部分になりうる。しかし、小ブロックのいくつかが、まだ同じオブジェクトの領域またはオブジェクトの一部を示すので、多数の得られたブロックのための予測パラメータは、同じである又は非常に類似している。直観的に、ブロックを細分化することを可能にするだけなく、細分化の後に得られる2つ以上のブロックを統合することを可能にする方法でシンタックスが拡張されるとき、符号化効率は増加されうる。結果として、同じ予測パラメータによって符号化される一群のブロックを得る。この種の一群のブロックのための予測パラメータは、一回のみ符号化されることを必要とする。図1〜図5の上記例において、例えば、統合が起こる、すなわち、候補の削減されたセットが0にならない場合、現在のブロック40のための符号化パラメータは送信されない。すなわち、符号器は、現在ブロックと関連した符号化パラメータを送信せず、そして、復号器は、ビットストリーム30が現在ブロック40のための符号化パラメータを含むことを予想しない。むしろ、その特定の実施形態によれば、単にリファインメント情報だけが、統合された現在ブロック40のために伝達されうる。候補セットの決定およびその削減並びに統合などが、画像20のうちの他の符号化ブロック40のために実行される。符号化ブロックは、何とか符号化チェーンに沿って符号化ブロックのグループを形成する。そこにおいて、これらのグループのための符号化パラメータは、全体で一回だけビットストリームの中で送信される。
符号化予測パラメータの数を減らすことによってセーブされるビットレートが統合情報のために追加的に費やされるビットレートより大きい場合、説明された統合は、結果として増加した符号化効率になる。(統合のための)説明されたシンタックス拡張が、ブロックへの画像または平面群の分割を選択する際の付加的な自由度を符号器に供給することが、更に述べられなければならない。符号器は、まず細分化をして、それから結果として生じるブロックのいくつかが予測パラメータの同一のセットを有するかどうかをチェックするようには制限されない。1つの単純な変形例として、符号器は、最新技術の符号化技術として細分化を最初に決定することができる。次に、その隣接ブロック(またはブロックの関連したすでに決定されたグループ)のうちの1つとの統合が、レート歪みコスト測度を削減するかどうかをブロックごとにチェックすることができる。
これにおいて、ブロックの新しいグループと関連した予測パラメータが、(例えば新たな動きサーチを実行することによって、)再度推定されることができる、または、現在ブロックおよび隣接のブロック若しくはブロックのグループのためにすでに決定された予測パラメータが、ブロックの新たなグループのために評価されることができる。符号器は、分割および統合の組み合わせによって供給されるパターン(のサブセット)を直接チェックすることもできる。すなわち、動き推定およびモード決定は、すでに上で述べたように結果として生じる形状でなされることができる。統合情報は、ブロックベースでシグナリングされうる。実際上、その統合はまた、現在ブロックのための予測パラメータの推定で得た結果と解釈されることもできる。ここで、推定された予測パラメータは、隣接したブロックのうちの1つの予測パラメータに等しく設定される。これにおいて、異なる分割パターンと統合情報との組み合わせが、結果として(同じパラメータと関連している)同じ形状になりうる点に留意する必要がある。これは、同じメッセージが符号語の異なる組み合わせによって送信されることができるので、明らかに最適状態には及ばない。この欠点を回避する(または減らす)ために、本発明の実施形態は、(パラメータの特定のセットと関連している)同じ形状が異なる分割および統合シンタックス要素によってシグナリングされうることを禁止する構想を示す。従って、符号化順で1番目のもの以外の、前に細分化されたブロックの全てのブロックに関して、10や50などの符号器および復号器において、統合候補全てに関して、統合が統合情報なしでの分割によってシグナリングされうる結果となるかどうかがチェックされる。これが真である全ての候補ブロックは、統合候補のセットから除かれ、送信された統合情報は、結果として生じる候補セットに適用される。候補が残らない場合、統合情報は送信されない。1つの候補が残る場合、そのブロックが統合されるか否かを特定するフラグが送信されるなどする。この構想の更なる例として、好ましい実施形態が後述される。分割だけが許容される構想に関する説明された実施形態の利点は、はるかに大きな自由度が、(例えば、予測信号を特定するために)同じパラメータと関連している部分への画像の分割をシグナリングするために与えられることである。1つの分割パターン(例えば同じサイズの4つのブロックへの細分化)だけが統合アプローチと組み合わされて供給されるアプローチと比較した利点は、(例えば異なるサイズの長方形のような)よく使用されるパターンが、いくつかの細分化および統合フラグの代わりに、短い符号語によってシグナリングされることができることである。
H.264のような最新の技術のビデオ符号化標準はまた、SKIPおよびDIRECTモードと呼ばれている特定のインターコードモードを含む。そこにおいて、予測を特定しているパラメータは、空間的および/または時間的に隣接したブロックから完全に割り出される。SKIPとDIRECTとの差は、SKIPモードが残差信号が送信されないことを更にシグナリングすることである。SKIP/DIRECTモードのさまざまな提案されたリファインメントにおいて、(H.264のような)1つの候補の代わりに、考えられる候補のリストが、現在ブロックの空間および/または時間的隣接から割り出される。考えられる候補は、現在ブロックの上部に対するブロック、現在ブロックの左に対するブロック、現在ブロックの左上に対するブロック、現在ブロックの右上に対するブロック、これらの候補でさまざまなものの中央値予測器、1つ又は複数の前の参照フレームの同じ位置に配置されたブロック(または他のすでに符号化されたブロック、またはすでに符号化されたブロックから得られる組み合わせ)を含むことができる。統合モードとの組み合わせに関して、SKIP/DIRECTモードと統合モードの両方が同じ候補を含んではならないことが確実にされなければならない。これは、上述のように、種々の構成によって達成されることができる。説明された組み合わせの利点は、(例えば、予測を特定するために)すでに送信されたパラメータの再使用をシグナリングするための複数のオプションが異なるブロックサイズのために供給されることである。
本発明の実施形態の1つの利点は、隣接したブロックをブロックのグループに統合することによって、予測パラメータを送信するために必要とされるビットレートを削減することである。ここで、ブロックの各グループは、符号化パラメータ、例えば予測パラメータや残差符号化パラメータの一意のセットと関連する。統合情報は、ビットストリームの中で、(あれば、細分化情報に加えて、)シグナリングされる。種々の分割パターンとSKIP/DIRECTとを組み合わせて、対応する統合情報を送ることによって、SKIP/DIRECTモードが「シミュレートされ」、供給されたパターンのいずれも「シミュレートされない」ことが確実にされうる。本発明の実施形態の利点は、符号化パラメータのための減少された補助情報レートから生じる増加した符号化効率である。本発明の実施形態は、画像およびビデオ符号化アプリケーションで適用できる。そこにおいて、サンプルのセットは、特定の符号化または予測パラメータと関連する。ここで説明された統合処理はまた、3次元またはより高次元まで拡張する。例えば、いくつかのビデオ画像のグループのブロックは、ブロックの1つのグループに統合されることができる。それは、光線空間符号化の4D圧縮に適用されることもできる。一方では、それは、1D信号の圧縮のために使用されることもできる。ここで、1D信号は分割され、所定の分割が統合される。
本発明の実施形態はまた、画像およびビデオ符号化アプリケーションの補助情報レートを削減するための方法に関する。画像およびビデオ符号化アプリケーションにおいて、(長方形若しくは正方形のブロックまたは任意で形作られた領域またはサンプルの他のいかなる集まりを示しうる)サンプルの特定のセットは、通常、符号化パラメータの特定のセットと関連する。これらのサンプルセットごとに、符号化パラメータは、ビットストリームに含まれる。符号化パラメータは、サンプルの対応するセットがどのようにすでに符号化されたサンプルを使用して予測されるかについて特定する予測パラメータを示しうる。サンプルセットへの画像のサンプル配列の分割は、シンタックスによって固定することができる、または、ビットストリームの中で対応する細分化情報によってシグナリングされることができる。ブロックのための複数の分割パターンが、許容されることができる。サンプルセットのための符号化パラメータは、シンタックスによって与えられる、事前に定められた順で送信される。本発明の実施形態はまた、サンプルセットのグループへの1つ又は複数の他のサンプルセットと(例えば予測の目的で)統合される、サンプルの現在のセットのためにシグナリングできる方法を示す。従って、対応する統合情報のための値の考えられるセットは、特定の分割パターンが他の分割パターンおよび対応する統合データの組み合わせによって示されることができない方法で、使用される分割パターンに適用される。サンプルセットのグループのための符号化パラメータは、一度だけ送信されることを必要とする。特定の実施形態において、現在のサンプルセットが、符号化パラメータがすでに送信されたサンプルセット(またはサンプルセットのグループ)と統合される場合、現在のサンプルセットの符号化パラメータは、送信されない。その代わりに、サンプルの現在のセットのための符号化パラメータは、サンプルの現在のセットが統合されるサンプルセット(またはサンプルセットのグループ)の符号化パラメータに等しく設定される。代わりのアプローチとして、符号化パラメータの1つ又は複数のための付加的なリファインメントは、現在のサンプルセットのために、送信されることができる。そのリファインメントは、グループのすべてのサンプルセットに、または、それが送信されるサンプルセットだけに、適用されることができる。
好ましい実施形態において、サンプルのセットごとに、すべての前に符号化されたサンプルセットのうちのセットは、「原因サンプルセットのうちのセット(set of causal sample sets)」と呼ばれる。サンプルの現在のセットを用いた統合のために使用されうるサンプルのセットは、「候補サンプルセットのうちのセット(set of candidate sample sets)」と呼ばれ、常に「原因サンプルセットのうちのセット」のサブセットである。このサブセットが形成される方法は、復号器に知られることができて、または、それは、ビットストリーム内で特定されることができる。いずれにせよ、符号器10および復号器80は、削減されことになる候補セットを決定する。サンプルの中の特定の現在のセットが符号化されて、候補サンプルセットのうちのそのセットが空でない場合、サンプルの中の現在のセットが、候補サンプルセットのこのセットのうちの1つのサンプルセットと統合されるか、もしそうであれば、(複数の候補が存在する場合、)それらのどれとかについてシグナリングされる。そうでない場合、統合は、このブロックに関しては使用されることができない。統合が分割パターンによって直接特定されもする形状をもたらす候補ブロックは、同じ形状が分割情報と統合データの異なる組み合わせによって示されうることを回避するために、候補セットから除外される。すなわち、図1〜図5に関して上述したような各候補の除去によって、候補セットは、削減される。
好ましい実施形態において、いくつかの候補サンプルセットのセットは、サンプルの現在のセット内にサンプルの直接空間的な隣接を示す(1つ、2つまたはそれ以上でありえる)少なくとも特定の0でない数のサンプルを含む0以上のサンプルセットである。他の本発明の好ましい実施形態において、候補サンプルセットのセットは、加えて(またはもっぱら)、同じ空間位置を有する、すなわち、候補サンプルセットおよび目下統合の影響を受けている現在のサンプルセットの両方によって含まれるが、異なる画像に含まれる、(1つ、2つまたはそれ以上である)特定の0でない数のサンプルを含むサンプルのセットを含みうる。他の本発明の好ましい実施形態において、候補サンプルセットのセットは、現在の画像内に、または、他の画像に、前に処理されたデータから抽出されうる。その抽出方法は、特定の方向や現在の画像のイメージ勾配に関連した変換係数などの空間方向情報を含みうる、または、それは、隣接する動き表示などの時間的方向情報を含みうる。受信機で利用可能なこの種のデータや他のデータや(あれば)補助情報から、候補サンプルセットのセットが抽出されることができる。特定の分割パターンによって表現されうるものと同じ形状になる候補の(元の候補セットからの)除去は、符号器および復号器において、同じ方法で抽出され、その結果、符号器および復号器は、ちょうど同じ方法での統合のための最終的な候補セットを抽出する。
好ましい実施形態において、サンプルの考慮されたセットは、長方形または正方形のブロックである。それから、サンプルの統合されたセットは、長方形および/または正方形のブロックの集まりを示す。他の本発明の好ましい実施形態において、サンプルの考慮されたセットは、任意で形作られた画像領域であり、サンプルの統合されたセットは、任意で形作られた画像領域の集まりを示す。
好ましい実施形態において、1つ又は複数のシンタックス要素は、サンプルのセットごとに送信される。そして、それらは、サンプルのセットが、(サンプルセットのすでに統合されたグループの一部でありえる)他のサンプルセットと統合されるかどうかや候補サンプルセットのセットのどれが統合するために使用されるかを特定する。しかし、(例えば、統合なしで異なる分割パターンによってシグナリングされうる分割を生じさせる候補の除去のため)候補セットが空である場合、シンタックス要素は、送信されない。
好ましい実施形態において、1つまたは2つの要素は、統合情報を特定するために送信される。1番目のシンタックス要素は、サンプルの現在のセットが他のサンプルセットと統合されるかどうかを特定する。1番目のシンタックス要素がサンプルの現在のセットがサンプルの他のセットに統合されることを特定する場合にのみ送信される2番目のシンタックス要素は、候補サンプルセットのセットのうちどれが統合のために使用されるかについて特定する。好ましい実施形態において、1番目のシンタックス要素は、(統合なしで異なる分割パターンによってシグナリングされうる分割を生じさせる候補の可能性がある除去の後に、)候補サンプルセットの抽出されたセットが空でない場合にのみ送信される。他の好ましい実施形態において、2番目のシンタックス要素は、候補サンプルセットの抽出されたセットが1つ以上のサンプルセットを含む場合にのみ送信される。更なる本発明の好ましい実施形態において、2番目のシンタックス要素は、候補サンプルセットの抽出されたセットの少なくとも2つのサンプルセットが、異なる符号化パラメータと関連する場合にのみ送信される。
本発明の好ましい実施形態において、サンプルのセットための統合情報は、予測パラメータ(または、さらに一般的には、サンプルセットと関連する特定の符号化パラメータ)の前に符号化される。予測または符号化パラメータは、統合情報信号がサンプルの現在のセットがサンプルの他のセットに統合されないという信号を送る場合にのみ送信される。
他の好ましい実施形態において、予測パラメータ(または、さらに一般的には、サンプルセットと関連する特定の符号化パラメータ)のサブセットが送信された後に、サンプルのセットための統合情報が符号化される。予測パラメータのサブセットは、1つ又は複数の参照画像インデックス、あるいは、動きパラメータベクトルの1つ又は複数の成分、または参照インデックス、並びに、1つ又は複数の動きパラメータベクトルの成分などから構成されうる。予測または符号化パラメータのすでに送信されたサブセットは、候補サンプルセットの(削減された)セットを抽出するために使用されうる。例えば、すでに符号化予測又は符号化パラメータと、候補サンプルセットの元のセットの対応する予測又は符号化パラメータとの間の差の測度が、計算されうる。そして、算出された差測度が所定の又は抽出された閾値より小さい又は同じであるそれらのサンプルセットだけが、候補サンプルセットの最終的な(削減された)セットに含まれる。閾値は、算出された差測度に基づいて得ることができる。または、他の例として、差測度が最小化されるサンプルのそれらのセットだけが、選択される。または、サンプルの1セットだけが、差測度に基づいて選択される。後者の場合、統合情報は、それがサンプルの現在のセットがサンプルの1つの候補セットに統合されるかどうかを特定するだけである方法で、削減されうる。
以下の好ましい実施形態は、長方形および正方形のブロックを示すサンプルのセットのために説明されるが、それは、直接の方法でサンプルの任意で形作られた領域または他の集合にまで拡張されることができる。
1.候補ブロックの最初のセットの抽出
このセクションにおいて説明されるサンプルの最初のセットの抽出は、最初の候補セットの抽出に関する。全ての候補ブロックのうちのいくつかは、関連パラメータ(例えば予測情報)、および統合が結果として他の分割パターンを使用することにより得ることもできる最終的な分割になるそれらの候補ブロックの除去を分析することによって、後に除かれうる。この処理は、次のサブセクションにおいて説明される。
好ましい実施形態において、最初の候補ブロックのセットは、以下の通りに形成される。現在ブロックの左上のサンプル位置から始まって、その左の隣接したサンプル位置およびその一番上の隣接したサンプル位置の左上のサンプル位置が、抽出される。最初の候補ブロックのセットは、最大で2つの要素のみ、すなわち、2つのサンプル位置のうちの1つを含む原因ブロックのセットからのそれらのブロックを有する。このように、最初の候補ブロックのセットは、その要素として、現在ブロックの左上のサンプル位置の2つの直接隣接したブロックを有することができるだけである。
本発明の他の好ましい実施形態において、最初の候補ブロックのセットは、現在ブロックの前に符号化されて、現在ブロックのいかなるサンプルの直接の空間的隣接(直接の空間的隣接は、直接の左隣および/または直接の上隣および/または直接の右隣および/または直接の下隣に制限されうる)を示す1つ又は複数のサンプルを含むすべてのブロックによって与えられる。本発明の他の好ましい実施形態において、最初の候補ブロックのセットは、加えて(またはもっぱら)、現在ブロックのサンプルのいずれかと同じ位置にあるが、異なる(すでに符号化された)画像に含まれる1つ又は複数のサンプルを含むブロックを含む。本発明の他の好ましい実施形態において、ブロックの最初の候補セットは、(隣接した)ブロックの上述のセットのサブセットを示す。候補ブロックのサブセットは、固定されうる、シグナリングされうる、または、抽出されうる。候補ブロックのサブセットの抽出は、画像の、または、他の画像の他のブロックのためになされた決定を考慮することができる。例えば、他の候補ブロックと同じ(または非常に類似した)符号化パラメータと関連しているブロックは、ブロックの最初の候補セットに含まれないかもしれない。
本発明の好ましい実施形態において、最初の候補ブロックのセットは、上記の実施形態のうちの1つに関して抽出されるが、以下の制限を有する。動き補償予測(インター予測)を使用しているブロックだけが、候補ブロックのセットの要素でありえる。すなわち、イントラ符号化されたブロックは、(最初の)候補セットに含まれない。
上で既に述べたように、組み合わされた双予測統合候補、スケールされていない双予測統合候補、および0動きベクトルなどによるブロック統合のための追加の候補によって、候補のリストを拡張することは可能である。
候補ブロックの最初のセットの抽出は、同様に、符号器および復号器の両方によって実行される。
2.候補ブロックの最後のセットの抽出
最初の候補セットを抽出した後に、最初の候補セット内の候補ブロックの関連パラメータは、分析されて、統合が結果として異なる分割パターンを使用することにより示されることができる分割になる統合候補が、取り除かれる。統合されることができるサンプル配列が、異なる形状およびまたはサイズである場合、少なくとも2つの異なる符号語によって示されることができる同一の分割が、存在しうる。例えば、符号器がサンプル配列を2つのサンプル配列に分割することを決定する場合、この分割は、2つのサンプル配列を統合することによって逆にされるだろう。この種の冗長記述を回避するために、統合のための候補ブロックのセットは、許容される特定のブロック形状および分割に応じて拘束される。一方では、サンプル配列の許容される形状は、統合のために使用される特定の候補リストに応じて拘束されることができる。分割および統合の2つの機能は、2つを組み合わせて、冗長記述が回避されるように、合わせて設計される必要がある。
本発明の好ましい実施形態において、図6に示されるスプリッティングモード(または分割モード)のセットは、正方形のブロックのためにサポートされる。特定サイズの正方形ブロックが、同じサイズの4つの小さい正方形ブロックに分割される場合(図6の左下パターン)、分割パターンの同じセットは、階層分割が特定されることができるように、結果として生じる4つ正方形ブロックに適用されることができる。
最初の候補ブロックのセットを抽出した後に、候補リストの減少は、以下のようになされる。
− 現在ブロックが更に分割されない(図6の左上のパターン)場合、最初の候補リストは削減されない。すなわち、すべての最初の候補は、統合のための最終的な候補を示す。
− 現在ブロックが、任意のサイズのちょうど2つのブロックに分割される場合、これらの2つのブロックのうちの1つは、もう一方の前に符号化され、それはシンタックスで決定される。1番目の符号化ブロックに関して、最初の候補セットは削減されない。しかし、2番目の符号化ブロックに関して、1番目のブロックと同じ関連パラメータを有するすべての候補ブロックは、候補セット(これは1番目の符号化ブロックを含む)から除去される。
− ブロックが同じサイズの4つの正方形ブロックに分割される場合、(符号化順で)先頭の3つのブロックの最初の候補リストは削減されない。最初の候補リストのすべてのブロックは、最終的な候補リストにも存在する。しかし、符号化順で4番目の(最後の)ブロックに関しては、以下が適用される。
− 現在ブロックとは(図6の左下にて図示したような分割方式における)異なる行にあるブロックが、同じ関連パラメータ(例えば動きパラメータ)を有する場合、現在ブロックと同じ行にすでに符号化ブロックと同じ動きパラメータを有するすべての候補は、候補セット(これは同じ行のブロックを含む)から取り除かれる。
− 現在ブロックとは(図6の左下にて図示したような分割方式における)異なる列にあるブロックが、同じ関連パラメータ(例えば動きパラメータ)を有する場合、現在ブロックと同じ列のすでに符号化ブロックと同じ動きパラメータを有するすべての候補は、候補セット(これは同じ列のブロックを含む)から取り除かれる。
(図6の分割パターンを用いた)実施形態の低煩雑性のバリエーションにおいて、候補リストの削減は、以下の通りになされる。
− 現在ブロックが更に分割されない(図6の左上のパターン)場合、最初の候補リストは削減されない。すなわち、すべての最初の候補は、統合のための最終的な候補を示す。
− 現在ブロックが任意のサイズのちょうど2つのブロックに分割される場合、これらの2つのブロックのうちの1つは、もう一方の前に符号化され、それはシンタックスで決定される。1番目の符号化ブロックに関して、最初の候補セットは削減されない。しかし、2番目の符号化ブロックに関して、分割パターンの1番目の符号化ブロックは、候補セットから取り除かれる。
− ブロックが同一サイズの4つの正方形ブロックに分割される場合、(符号化順で)先頭の3つのブロックの最初の候補リストは削減されない。最初の候補リストのすべてのブロックは、最終的な候補リストにも存在する。しかし、符号化順で4番目の(最後の)ブロックに関しては、以下が適用される。
− 後に符号化される(現在ブロックとは)別の行のブロックのために、統合情報が、その行の1番目の符号化ブロックに統合されることをシグナリングする場合、現在ブロックと同じ行のブロックは、候補セットから取り除かれる。
− 後に符号化される(現在ブロックとは)別の列のブロックのために、統合情報が、その列の1番目の符号化ブロックに統合されることをシグナリングする場合、現在ブロックと同じ列のブロックは、候補セットから取り除かれる。
他の好ましい実施形態において、図6に示すのと同じ分割パターンが、同じサイズの2つの長方形ブロックに正方形ブロックを分割するパターンなしで、サポートされる。ブロックを4つの正方形ブロックに分割するパターンを除いて、上記実施形態のいずれかによって説明されるように、候補リストの削減が進行する。ここで、すべての最初の候補は、すべてのサブブロックのために許容される、または、最後の符号化サブブロックの候補リストだけが、以下のように拘束される。前に符号化された3つブロックが、同じパラメータと関係している場合、これらのパラメータと関連するすべての候補は、候補リストから取り除かれる。低煩雑性版において、これらの3つのサブブロックがともに組み合わせられた場合、最後の符号化サブブロックは、3つの前に符号化されたサブブロックのいずれにも統合されることができない。
他の好ましい実施形態において、ブロック(またはサンプル配列セットの他の形式)のための分割パターンの異なるセットがサポートされる。分割されないサンプル配列セットのために、最初の候補リストのすべての候補は、統合のために使用されることができる。サンプル配列がちょうど2つのサンプル配列に分割される場合、符号化順で1番目であるサンプル配列のために、最初の候補セットのすべての候補は、最終的な候補セットに挿入される。符号化順で2番目のサンプル配列に関して、1番目のサンプル配列と同じ関連パラメータを有するすべての候補は、取り除かれる。または、低煩雑性バリエーションにおいて、1番目のサンプル配列だけが、候補セットから取り除かれる。サンプル配列を2つ以上のサンプル配列に分割する分割パターンに関して、候補の除去は、他の分割パターンが現在の分割パターンおよび対応する統合情報によってシミュレートされることができるかどうかに依存する。候補除去の処理は、上で明示的に示された構想に従うが、実際にサポートされた候補パターンを考慮する。
別の好ましい実施形態において、SKIP/DIRECTモードが、特定のブロックのためにサポートされる場合、SKIP/DIRECTモードの現在の候補でもある統合候補は、候補リストから取り除かれる。この除去は、上で説明されたた候補ブロックの除去と置き換えることができる、または、上で説明された候補ブロックの除去と共に使用されうる。
3.SKIP/DIRECTモードとの組み合わせ
SKIP/DIRECTモードは、全てまたは1回だけの特定のブロックサイズおよび/またはブロック形状のためにサポートされることができる。候補ブロックのセットは、SKIP/DIRECTモードのために使用される。SKIPとDIRECTとの違いは、残差情報が送られるかどうかである。SKIPおよびDIRECTの(例えば予測のための)パラメータは、対応する候補のいずれかと等しいと推測される。候補は、候補リストにインデックスを送信することによって選択される。
好ましい実施形態において、SKIP/DIRECTのための候補リストは、異なる候補を含むことができる。一例を図8に示す。候補リストは、以下の候補を含みうる(現在ブロックは、Xiで示される):
− Median(中央値)(左、上、角の間)
− Left(左)ブロック(Li)
− Above(上)ブロック(Ai)
− Corner(角)ブロック(順番に:右上(Ci1)、左下(Ci2)、左上(Ci3))
− 異なるが、すでに符号化された画像のCollocated(配列)ブロック
好ましい実施形態において、統合のための候補は、Li(左ブロック)およびAi(上ブロック)を含む。統合のためのこれらの候補を選択することは、現在ブロックがどのブロックに統合されるかをシグナリングするための少しの量の補助情報を必要とする。
以下の記号は、以下の実施形態を説明するために使用される:
− set_mvp_oriは、SKIP/DIRECTモードのために使用される候補のセットである。このセットは、{Median(中央値)、Left(左)、Above(上)、Corner(角)、Collocated(配列)}から構成される。ここで、Median(中央値)は、中央値(Left(左)、Above(上)およびCorner(角)の順序付けられたセットにおける中央値)であり、collocated(配列)は、最も近い参照フレームによって与えられて、時間的距離に従ってスケールされる。
− set_mvp_combは、ブロック統合処理と組み合わせて、SKIP/DIRECTモードのために使用された候補のセットである。
好ましい実施形態のために、SKIP/DIRECTモードとブロック統合モードとの間の組み合わせは、候補の元のセットによって処理されうる。これは、SKIP/DIRECTモードが、それが単独で作動する時と同じ候補のセットを有することを意味する。この2つのモードを結合する関心は、フレーム間における補助情報の信号を送る際のそれらの相補性から来る。これらのモードの両方ともが現在ブロックのシグナリングを改善するために隣の情報を使用しているにもかかわらず、ブロック統合は、左および上の隣接のみを処理して、SKIP/DIRECTモードは、最大5つの候補を処理している。主な相補性は、隣接情報を処理する異なるアプローチにある。ブロック統合処理は、すべての参照リストのためのその隣接の情報の全部の集合を保持する。これは、ブロック統合が、参照リストごとにその動きベクトルだけでなく、これらの隣接からの全部の補助情報を保持し、一方で、SKIP/DIRECTモードは、別々に、参照リストごとに、予測パラメータを処理し、参照リストごとに、候補リストにインデックスを送信することを意味する。すなわち、双予測された画像のために、2つのインデックスは、参照リスト0のための候補および参照リスト1のための候補をシグナリングするために送信される。
他の好ましい実施形態において、set_mvp_combと呼ばれる候補の組み合わされたセットは、ブロック統合モードと組み合わせて、SKIP/DIRECTモードのために、見つけられることができる。この組み合わされたセットは、元のセット(set_mvp_ori)の一部であって、候補のリストset_mvp_combが削減するので、SKIP/DIRECTモードのためのシグナリングの削減を可能にする。元のリスト(set_mvp_ori)から取り除かれなければならない候補は、ブロック統合処理によって冗長でありえたか、またはあまり使用されないものである。
他の好ましい実施形態において、SKIP/DIRECTモードとブロック統合処理との間の組み合わせは、Median(中央値)のない元のセット(set_mvp_ori)である候補の組み合わせられたセット(set_mvp_comb)によって処理されうる。SKIP/DIRECTモードのためのMedian(中央値)のために観察される低効率のため、元のリストのその削減は、符号化効率における改善をもたらす。
他の好ましい実施形態において、SKIP/DIRECTモードとブロック統合との組み合わせは、候補として、Corner(角)、および/または、Collocated(配列)のみを有した元のセット(set_mvp_ori)である候補の組み合わされたセット(set_mvp_comb)によって処理されうる。
他の好ましい実施形態において、SKIP/DIRECTモードとブロック統合処理との組み合わせは、候補として、Corner(角)とCollocated(配列)だけを有するset_mvp_oriである候補の組み合わされたセットによって処理されうる。すでに述べたように、SKIP/DIRECTモードとブロック統合との間の相補性にもかかわらず、リストから除かれる必要がある候補は、ブロック統合処理の候補と重複しうるものである。これらの候補は、Left(左)およびAbove(上)である。候補の組み合わされたセット(set_mvp_comb)は、2つの候補Corner(角)およびCollocated(配列)だけに削減された。ブロック統合処理と組み合わされた、この候補セットset_mvp_combを使用したSKIP/DIRECTモードは、フレーム間における補助情報をシグナリングする効率の高い増加を与える。この実施形態において、SKIP/DIRECTモードおよび統合モードは、いかなる候補ブロックも共有しない。
更なる実施形態において、SKIP/DIRECTおよび統合モードのわずかに異なる組み合わせは、使用されることができる。特定のブロックのみに関して(例えば特定されたサイズより大きなサイズを有するブロック、または、正方形ブロックのみに関してなど)、(例えば、統合モードより多くの候補に関して)SKIP/DIRECTモードをイネーブルにして、これらのブロックについては統合モードをサポートしないことは、可能である。または、SKIP/DIRECTモードは、解除されることができ、(空間/時間的隣接したブロックのためのパラメータの組み合わせを示すパラメータを含む)すべての候補は、候補として統合モードに追加される。この選択肢は、図1〜図5において説明された。増加された候補セットは、特定のブロックのみに関して(例えば特定されたサイズより大きなサイズを有するブロック、または、正方形ブロックのみに関してなど)、使用されうる。ここで、他のブロックに関しては、削減された候補セットが使用される。または、更なる変形として、統合モードは、削減された候補セット(例えば上と左の隣だけ)を用いて使用され、更なる候補(例えば左上の隣、同じ位置に配置されたブロックなど)は、SKIP/DIRECTモードのために使用される。また、この種の構成において、SKIP/DIRECTモードは、特定のブロックのみに関して(例えば特定されたサイズより大きなサイズを有するブロック、または、正方形ブロックのみに関してなど)、許容されうり、一方、統合モードは、ブロックのより大きいセットのために許容される。
4.統合情報の送信
好ましい実施形態に関して、特に、図1〜図5の実施形態に関して、以下が適用されうる。現在ブロックの左上のサンプルの左と上の隣のサンプルを含む2つのブロックだけが候補として考慮されるのを想像してほしい。(上記のような候補の除去の後)最終的な候補ブロックのセットが空でない場合、現在ブロックが候補ブロックのいずれかに統合されるかどうかを特定するmerge_flagと呼ばれる1つのフラグがシグナリングされる。merge_flagが(「false(偽)」のための)0に等しい場合、このブロックは、その候補ブロックのうちの1つに統合されず、すべての符号化パラメータが、普通に送信される。merge_flagが(「true(真)」のための)1に等しい場合、以下が適用される。候補ブロックのセットがただ1つのブロックを含む場合、この候補ブロックは、統合のために使用される。そうでない場合、候補ブロックのセットは、ちょうど2つのブロックを含む。これらの2つのブロックの予測パラメータが同一である場合、これらの予測パラメータは、現在ブロックのために使用される。そうでない場合(2つのブロックが異なる予測パラメータを有する場合)、merge_left_flagと呼ばれているフラグが、シグナリングされる。merge_left_flagが、(「true(真)」のための)1に等しい場合、現在ブロックの左上のサンプル位置の左の隣接したサンプル位置を含んでいるブロックは、候補ブロックのセットから選択される。merge_left_flagが(「false(偽)」のための)0に等しい場合、候補ブロックのセットのうちの他の(すなわち上に隣接した)ブロックが選択される。選択されたブロックの予測パラメータは、現在ブロックのために使用される。他の実施形態において、統合処理の信号を送る組み合わされたシンタックス要素が送信される。他の実施形態において、2つの候補ブロックが同じ予測パラメータを有するに関係なく、merge_left_flagが送信される。
シンタックス要素merge_left_flagは、その機能が、除かれなかった候補の中の選択された1つを割出すので、merge_indexと名づけられうる点に留意する必要がある。
他の好ましい実施形態において、2ブロック以上は、候補ブロックのセットに含まれることができる。統合情報(すなわち、ブロックが統合されるか、もしそうであれば、どの候補ブロックに統合されるか)は、1つ又は複数のシンタックス要素によってシグナリングされる。これにおいて、符号語のセットは、最終的な候補セットの候補の数に依存し、符号器および復号器で、同じ方法で選択される。一実施形態において、統合情報は、1つのシンタックス要素を使用して送信される。他の実施形態において、1つのシンタックス要素は、そのブロックが候補ブロック(cp.上記merge_flag)のいずれかと統合されるかどうかを特定する。候補ブロックのセットが空でない場合にのみ、このフラグは送信される。2番目のシンタックス要素は、候補ブロックのうちどれが統合のために使用されるかについてシグナリングする。それは、1番目のシンタックス要素が、現在ブロックが候補ブロックのうちの1つと統合されることをシグナリングする場合にのみ、送信される。本発明の好ましい実施形態において、候補ブロックのセットが1つ以上の候補ブロックを含む場合、および/または、候補ブロックのいずれかが候補ブロックの他のものとは異なる予測パラメータを有する場合にのみ、2番目のシンタックス要素は送信される。シンタックスは、いくつの候補ブロックが与えられるか、および/または、異なる予測パラメータが候補ブロックとどのように関連しているかに依存することができる。
DIRECTモードのためになされたように、ブロック統合のための候補のセットを追加することは可能である。
他の好ましい実施形態において説明されたように、候補のリストが1つ以上の候補を含む場合のみ、2番目のシンタックス要素統合インデックスが送信される。これは、統合インデックスを解析する前にリストを抽出することを必要とし、これらの2つの処理を並列に実行することを防ぐ。増加した構文解析スループットを可能にするために、そして、構文解析処理を送信エラーに関してよりロバストにするために、インデックス値ごとの一定の符号語および一定数の候補を使用することにより、この依存を取り除くことが可能である。この数が、候補選択によって達しない場合、リストを完成させるために補助的候補を抽出することが可能である。これらの付加的な候補は、いわゆる組み合わされた候補を含むことができ、それらは、すでにリストにあるありうる異なる候補の動きパラメータ、および0動きベクトルから構築される。
他の好ましい形態において、候補のブロックのうちどれがセットされるかをシグナリングするためのシンタックスが、符号器および復号器で同時に適用される。例えば統合のためのブロックの3つの選択が与えられる場合、それら3つの選択は、シンタックスにおいて存在するだけであって、エントロピー符号化のために考慮される。他の全ての選択についての確率は、0であるとみなされ、エントロピーコーデックは、符号器および復号器で同時に調整される。
統合処理の結果として割り出される予測パラメータは、ブロックと関連する予測パラメータの全セットを示すことができる、または、それらは、これらの予測パラメータ(例えば多重仮説予測が使用されるブロックの1つの仮説のための予測パラメータ)のサブセットの中で示すことができる。
好ましい実施形態において、統合情報に関連したシンタックス要素は、コンテキストモデリング(context modeling)を使用してエントロピー符号化される。シンタックス要素は、上記のmerge_flagおよびmerge_left_flagから成ることができる。
好ましい実施形態において、3つのコンテキストモデルのうちの1つは、merge_flagを符号化するために使用される。使用されたコンテキストモデルmerge_flag_ctxは、以下のように得られる。候補ブロックのセットが2つの要素を含む場合、merge_flag_ctxの値は、2つの候補ブロックのmerge_flagの値の和に等しい。候補ブロックのセットが1つの要素を含む場合、merge_flag_ctxの値は、この1つの候補ブロックのmerge_flagの値の2倍に等しい。
好ましい実施形態において、merge_left_flagは、1つの確率モデルを使用して符号化される。
merge_idx(merge_left_flag)のための異なるコンテキストモデル符号化は、使用されることができる。
他の実施形態において、異なるコンテキストモデルが使用されうる。非バイナリシンタックス要素は、バイナリシンボル(ビン)のシーケンスにマップされることができる。いくつかのシンタックス要素またはシンタックス要素のビンのためのコンテキストモデルは、隣接したブロックのすでに送信されたシンタックス要素または候補ブロックの数または他の測度に基づいて、抽出されうり、その一方で、シンタックス要素の他のシンタックス要素またはビンは、固定されたコンテキストモデルで符号化されることができる。
5.符号器演算
統合アプローチが、当然、増加した信号化オーバーヘッドで、画像のサンプル配列のための分割を選択することの可能性の数を著しく増加するので、統合構想の包含は、符号器に、ビットストリームの生成のためのより大きな自由度を供給する。サブ分割および統合の組み合わせによって示されることができる追加のパターンの一部または全部(例えば、図6の分割パターンがサポートされる時の図7のパターン)は、(動き推定およびモード決定のための対応するブロックサイズを使用して)追加的にテストされうり、単に分割することによって(図6)、そして、分割および統合によって(図7)供給されるパターンのうちの最も良いものが、特定のレート歪み測度に基づいて選択されることができる。加えて、ブロックごとに、すでに符号化された候補セットのいずれかとの統合が特定のレート歪み測度の削減を生じさせるか、それから対応する統合フラグが符号化プロセスの間セットされるかがテストされうる。
他の好ましい実施形態において、符号器は、(最高水準のコード体系におけるものとして)サンプル配列の最高の細分化を最初に決定することができる。そうすると、他のサンプルセットまたはサンプルセットの他のグループを用いた統合が特定のレート歪みコスト測度を削減するかどうか、サンプルセットごとに、チェックすることができる。これにおいて、サンプルセットの統合されたグループと関連した予測パラメータは、(例えば、新たな動きサーチを実行することによって)再推定されうる、または、統合のための現在のサンプルセットおよび候補サンプルセット(またはサンプルセットのグループ)のためにすでに決定された予測パラメータは、サンプルセットの考慮したグループのために評価されうる。
他の好ましい実施形態において、特定のレート歪みコスト測度は、サンプルセットの付加的な候補グループのために評価されることができる。特定の例として、さまざまな考えられる分割パターン(例えば、図6参照)をテストするときに、分割および統合の組み合わせによって示されることができるパターンの一部または全部(例えば、図7参照)は、さらにテストされることができる。すなわち、パターンの全てに関して、特定の動き推定およびモード決定処理が実行され、最も小さいレート歪み測度に従うパターンが選択される。この処理はまた、上記の低煩雑性プロセスと組み合わされることもでき、その結果、結果として生じるブロックに関して、(例えば、図6および図7のパターン以外に)すでに符号化されたブロックとの統合がレート歪み測度の減少を生じさせるかどうかが更にテストされる。
他の好ましい実施形態において、符号器は、優先順位で分割および統合によって示されることができる種々のパターンをテストして、それは、一定の実時間要件によってできるだけ多くのパターンをテストする。優先順位はまた、すでに符号化されたブロックや選択された分割パターンに基づいて変更されることもできる。
上で概説された実施形態を特定のシンタックスへ移す方法が、以下の図に関して以下に説明される。特に、図9〜図11は、上で概説された実施形態を利用するシンタックスの異なる部分を示す。特に、下で概説された実施形態によれば、画像20は、まず、その画像内容が図9に示されるシンタックスcoding_treeを使用して符号化される符号化ツリーブロックに分割される。そこに示されるように、例えば、コンテキスト適応バイナリ算術符号化または他の特定のエントロピー符号化モードに関するentropy_coding_mode_flag=1について、現在の符号化ツリーブロックのクワッドツリー細分化は、記号400でsplit_coding_unit_flagと呼ばれているフラグによって、シンタックス部coding_tree内にシグナリングされる。図9に示すように、以下に説明される実施形態によれば、ツリールートブロックは、図9aに示すように深さ優先走査順でsplit_coding_unit_flagによってシグナリングされるように細分化される。リーフノードに達するときはいつでも、それは、シンタックス関数coding_unitを使用して、すぐに符号化される符号化単位を示す。現在のsplit_coding_unit_flagがセットされるかどうかに関してはチェックする402の条件節で見るときに、これは、図9から分かる。そうである場合は、関数coding_treeは、再帰的に呼ばれ、符号器および復号器で、それぞれ、更なるsplit_coding_unit_flagの更なる送信/抽出につながる。そうでない場合、すなわち、split_coding_unit_flag=0である場合、図5aのツリールートブロック200の現在のサブブロックは、リーフブロックであり、この符号化単位を符号化するために、図10の関数coding_unitは、404で呼ばれる。
現在説明された実施形態において、上述のオプションは、どの統合がインター予測モードが利用できる画像のために、単に使用可能なだけかに従って使用される。すなわち、イントラ符号化スライス/画像は、いずれにしろ統合を使用しない。これは、フラグmerge_flagが、スライスタイプが、イントラ画像スライスタイプと等しくない場合にだけ、406で送信される、図10から分かる。本実施形態によれば、統合は、単にインター予測に関連した予測パラメータだけに関する。本実施形態によれば、merge_flagは、全部の符号化単位40のためにシグナリングされて、また、現在の符号化単位のための特定の分割モード、すなわち、非分割モードを復号器にシグナリングする。したがって、関数prediction_unitは、予測単位であるとして、現在の符号化単位を意味することに関する408で呼ばれる。しかし、これは、統合オプションにスイッチするための唯一の可能性ではない。むしろ、全部の符号化単位に関連したmerge_flagが406でセットされない場合、非―内部―画像のスライスの符号化単位の予測タイプは、現在の符号化単位が更に分割されない場合に、例えば412で、現在の符号化単位のいかなる分割のための関数prediction_unitを呼ぶことによって、それに依存して、シンタックス要素pred_typeによって410でシグナリングされる。図10において、単に4つの異なる分割オプションだけが示されるが、図6に示される他の分割オプションが同様に利用可能でありえる。他の可能性は、分割オプションPART_NxNが入手不能であるが、他であるということである。図10において使用される分割モードから図6に示される分割オプションまでの名前の間の関連は、個々の分割オプションの下に各サブスクリプトによって図6に示される。関数prediction_unitは、パーティションごと、例えば前述の符号化順でパーティション50および60ごとに呼ばれる。関数prediction_unitは、414でmerge_flagをチェックすることから始める。merge_flagがセットされる場合、merge_indexは、416で必然的に続く。ステップ414でのチェックは、406でシグナリングされたような全部の符号化単位に関連したmerge_flagがセットされたかどうかに関してチェックするためにある。そうでない場合には、merge_flagは、418でさらにシグナリングされて、後者がセットされる場合、merge_indexは、現在のパーティションのための統合候補を示す420で続く。さらにまた、merge_flagは、現在の符号化単位の現在の予測モードが、インター予測モード(422参照)である場合には、単に418で現在のパーティションのためにシグナリングされる。
図11から分かるように、424の現在の予測単位のために使用される予測パラメータの送信は、本実施形態によれば、統合が現在の予測単位のために使用されていない場合にだけ実行される。
図9〜図11の実施形態の上述の記載は、すでに機能および意味のほとんどを示すが、いくつかの更なる情報は、下で示される。
merge_flag[x0][y0]は、現在の予測単位(図における50および60参照)のためのインター予測パラメータが、隣接したインター予測されたパーティションから割り出されるかどうか特定する。配列インデックスx0、y0は、画像(図における20参照)の左上のlumaサンプルと関連して、考慮された予測ブロック(図における50および60参照)の左上のlumaサンプルの位置(x0,y0)を特定する。
merge_idx[x0][y0]は、統合候補リストの統合候補インデックスを特定する。ここで、x0、y0は、画像の左上のlumaサンプルと関連して、考慮された予測ブロックの左上のlumaサンプルの位置(x0,y0)を特定する。
図9〜図11の前記説明において特に示されていないが、統合候補または統合候補のリストは、例として、符号化パラメータ又は空間的に隣接した予測の単位/パーティションの予測パラメータを使用して、この実施形態において決定されるだけでなく、むしろ、候補のリストは、前に符号化された画像の時間的に隣接したパーティションの予測パラメータを使用することによって形成される。さらに、空間的におよび/または時間的に隣接した予測の単位/パーティションの予測パラメータの組み合わせは、使用され、統合候補のリストに含まれる。当然、単にそのサブセットだけが使用されうる。特に、図12は、空間的な隣接関係、すなわち空間的に隣接したパーティションまたは予測単位を決定する1つの可能性を示す。図12は、例として、予測単位またはパーティション60およびピクセルB0〜B2およびA0、A1を示す。それは、パーティション60の境界500に直接隣り合って位置する、すなわち、B2は、パーティション60の左上ピクセルに斜めに隣り合って、B1は、パーティション60の縦方向上側かつ右上に隣接して位置して、B0は、パーティション60の縦方向上側かつ右上ピクセルに隣接して位置して、A1は、パーティション60の横方向左側かつ左下ピクセルに隣接して位置して、A0は、パーティション60の左下ピクセルに斜めに位置する。ピクセルB0〜B2およびA0、A1のうちの少なくとも1つを含むパーティションは、空間近接を形成し、その予測パラメータは、統合候補を形成する。
利用可能でもあった他の分割モードにつながるそれらの候補の上述の除去を実行するために、以下の関数が、使用されることができる。
特に、以下の状況のいずれかが真である場合、候補N、すなわち、ピクセルN=(B0,B1,B2,A0,A1)を変換する予測単位/パーティションから生じる符号化/予測パラメータ、すなわち、位置(xN,yN)は、候補リストから除去される(分割モードPartMode、および符号化単位内の各パーティションを割り出す対応する分割インデックスPartIdxのための図6を参照されたい)。
− 現在の予測単位のPartModeは、PART_2NxNであり、PartIdxは、1に等しく、luma位置(xP,yP−1)(PartIdx=0)およびluma位置(xN,yN)(Cand.N)をカバーしている予測単位は同一の動きパラメータを有する。
mvLX[xP,yP−1]==mvLX[xN,yN]
refIdxLX[xP,yP−1]==refIdxLX[xN,yN]
predFlagLX[xP,yP−1]==predFlagLX[xN,yN]
− 現在の予測単位のPartModeは、PART_Nx2Nであり、PartIdxは、1に等しく、luma位置(xP−1,yP)(PartIdx=0)およびluma位置(xN,yN)(Cand.N)をカバーしている予測単位は、同一の動きパラメータを有する。mvLX[xP−1,yP]==mvLX[xN,yN]
refIdxLX[xP−1,yP]==refIdxLX[xN,yN]
predFlagLX[xP−1,yP]==predFlagLX[xN,yN]
− 現在の予測単位のPartModeは、PART_NxNであり、PartIdxは、3に等しく、luma位置(xP−1,yP)(PartIdx=2)およびluma位置(xP−1,yP−1)(PartIdx=0)をカバーしている予測単位は、同一の動きパラメータを有する。
mvLX[xP−1,yP]==mvLX[xP−1,yP−1]
refIdxLX[xP−1,yP]==refIdxLX[xP−1,yP−1]
predFlagLX[xP−1,yP]==predFlagLX[xP−1,yP−1]
そして、luma位置(xP,yP−1)(PartIdx=1)およびluma位置(xN,yN)(Cand.N)をカバーしている予測単位は、同一の動きパラメータを有する。
mvLX[xP,yP−1]==mvLX[xN,yN]
refIdxLX[xP,yP−1]==refIdxLX[xN,yN]
predFlagLX[xP,yP−1]==predFlagLX[xN,yN]
− 現在の予測単位のPartModeは、PART_NxNであり、PartIdxは、3に等しく、luma位置(xP,yP−1)(PartIdx=1)およびluma位置(xP−1,yP−1)(PartIdx=0)をカバーしている予測単位は、同一の動きパラメータを有する。
mvLX[xP,yP−1]==mvLX[xP−1,yP−1]
refIdxLX[xP,yP−1]==refIdxLX[xP−1,yP−1]
predFlagLX[xP,yP−1]==predFlagLX[xP−1,yP−1]
そして、luma位置(xP−1,yP)(PartIdx=2)およびluma位置(xN、yN)(Cand.N)をカバーしている予測単位は、同一の動きパラメータを有する。
mvLX[xP−1,yP]==mvLX[xN,yN]
refIdxLX[xP−1,yP]==refIdxLX[xN,yN]
この点に関しては、ポジションまたは位置(xP,yP)が現在のパーティション/予測単位の最大画素を意味する点に留意されたい。すなわち、1番目の項目に従って、すべての符号化パラメータ候補が、隣接した予測単位、すなわち予測単位Nの各符号化パラメータを直接採用することによってどれが抽出されたかをチェックされる。しかし、他の追加の符号化パラメータ候補は、それが、シンタックスによってサポートされる他の分割パターンを得ることになるかについて現れている各予測単位の符号化パラメータに等しいどうかについて同様にチェックされうる。ちょうど説明された実施形態によれば、符号化パラメータが等しいことは、動きベクトル、すなわちmvLX、参照インデックス、すなわちrefIxLX、および、そのパラメータすなわち0または1であるXの参照リストXと関連する動きベクトルと参照インデックスがインター予測に使用されることを示している予測フラグpredFlagLXが等しいことのチェックを含む。
隣接した予測単位/パーティションの符号化パラメータ候補の除去のための前述の可能性も、図6の右半分に示される非対称分割モードをサポートする場合には適用できる点に留意されたい。その場合、モードPART_2NxNは、全て横に細分化するモードを示すことができ、PART_Nx2Nは、全て縦に細分化するモードに対応することができる。更に、モードPART_NxNは、サポートされた分割モードまたは分割パターンから除外されることができ、その場合、単に先頭の2つの除去チェックだけが実行されなければならない。
実施形態図9〜図12に関して、また、イントラ予測されたパーティションを候補のリストから除外することが可能であること、すなわちそれらの符号化パラメータが当然に候補のリストに含まれないことにも留意されるべきである。
更に、3つのコンテキストがmerge_flagおよびmerge_indexのために使用されることができることに留意されたい。
いくつかの態様が装置と関連して説明されたが、これらの態様はまた、対応する方法の記載を示すことが明らかである。ここで、ブロックまたはデバイスは、方法ステップまたは方法ステップの機能に対応する。同様に、方法ステップに関連して説明された態様は、対応するブロックまたは対応する装置の項目または機能の記載を示す。方法ステップの一部または全部は、例えばマイクロプロセッサ、プログラミング可能なコンピュータ、または電子回路のようなハードウェア装置によって(または使用することによって)実行されることができる。いくつかの実施形態において、いくつか又はそれ以上の最も重要な方法ステップは、この種の装置によって実行されることができる。
特定の実現要求に応じて、本発明の実施形態は、ハードウェアにおいて、または、ソフトウェアにおいて、実行されることができる。本実施態様は、各方法が実行されるように、それはプログラミング可能な計算機システムと協動する(または協動することができる)その上に格納される電子的に読み込み可能な制御信号を有するデジタル記憶媒体、例えばフロッピー(登録商標)ディスク、DVD、Blue―Ray、CD、ROM、PROM、EPROM、EEPROMまたはFLASHメモリを使用して実行されることができる。従って、デジタル記憶媒体は、計算機可読でもよい。
本発明によるいくつかの実施形態は、本願明細書において説明された方法のうちの1つが実行されるように、プログラミング可能な計算機システムと協動することができる電子的に読み込み可能な制御信号を有するデータキャリアを含む。
通常、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実行されることができる。そして、そのコンピュータプログラム製品は、コンピュータ上で動作するときに、プログラムコードが本方法のうちの1つを実行するために作動する。プログラムコードは、例えば、機械読み取り可読キャリアに、格納されることができる。
他の実施形態は、機械読み取り可読キャリアに格納された、本願明細書において説明された方法のうちの1つを実行するためのコンピュータプログラムを含む。
従って、換言すれば、本発明の方法の実施形態は、コンピュータプログラムがコンピュータ上で動作するときに、本願明細書において説明された方法のうちの1つを実行するためのプログラムコードを有するコンピュータプログラムである。
従って、本発明の方法の更なる実施形態は、その上に記録された、本願明細書において説明された方法のうちの1つを実行するためのコンピュータプログラムを含んでいるデータキャリア(またはデジタル記憶媒体またはコンピュータ可読媒体)である。データキャリア、デジタル記憶媒体または記録媒体は、一般的に、有形である、および/または、一時的でない。
従って、本発明の方法の更なる実施形態は、本願明細書において説明された方法のうちの1つを実行するためのコンピュータプログラムを示しているデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、データ通信接続を介して、例えばインターネットを介して、転送されるように例えば構成されることができる。
更なる実施形態は、本願明細書において説明された方法のうちの1つを実行するように構成された又は適合された処理手段、例えばコンピュータまたはプログラム可能な論理回路を含む。
更なる実施形態は、本願明細書において説明された方法のうちの1つを実行するためのコンピュータプログラムをその上にインストールしたコンピュータを含む。
本発明による更なる実施形態は、本願明細書において説明された方法のうちの1つを実行するためのコンピュータプログラムを受信機に(例えば、電子的に又は光学的に)転送するように構成された装置またはシステムを含む。受信機は、例えば、コンピュータ、モバイル機器、記憶装置等でもよい。その装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するためのファイルサーバを含むことができる。
いくつかの実施形態において、プログラム可能な論理回路(例えば論理プログラミング可能デバイス)は、本願明細書において説明された方法の機能の一部または全部を実行するために使用されることができる。いくつかの実施形態において、論理プログラミング可能デバイスは、本願明細書において説明された方法のうちの1つを実行するために、マイクロプロセッサと協動することができる。通常、本方法は、いかなるハードウェア装置によっても好ましくは実行される。
上記実施形態は、本発明の原理のために、単に示しているだけである。本願明細書において説明された本装置および詳細の修正変更が、他の当業者にとって明らかであるものと理解される。従って、間近に迫った特許請求の範囲により限定されるだけであり、本願明細書の実施形態の記載および説明によって示された具体的な詳細によっては限定されないという意図である。

Claims (29)

  1. 画像(20)の現在ブロック(40)のためのサポートされた分割パターンのうちの1つをシグナリングするビットストリーム(30)を復号するように構成される復号器(50)であって、前記復号器は、
    前記サポートされた分割パターンのうちの前記シグナリングされた1つが、2つ以上の更なるブロック(50、60)への前記現在ブロック(40)の細分化を特定する場合、
    符号化順(70)で前記更なるブロックのうちの1番目の更なるブロック以外の全ての更なるブロックに関して、
    前記各更なるブロック(60)についての符号化パラメータ候補のセットから、
    前記各更なるブロック(60)と統合されるときに、前記サポートされた分割パターンのうちの1つとなるであろう前記更なるブロックのいずれかと関連した符号化パラメータと同じである符号化パラメータを有する符号化パラメータ候補を除くように構成されることを特徴とする、復号器。
  2. 前記復号器(50)は、前記除かれなかった符号化パラメータ候補の数が0でない場合、前記除かれなかった符号化パラメータ候補のうちの1つに依存して、前記各更なるブロック(60)と関連した符号化パラメータを設定するように構成されることを特徴とする、請求項1に記載の復号器。
  3. 前記復号器(50)は、前記除かれなかった符号化パラメータ候補の数が0でない場合、付加的なリファインメントの有無にかかわらず、および/または、時間的距離に従ってスケーリングすることの有無にかかわらず、前記除かれなかった符号化パラメータ候補のうちの1つに等しい前記各更なるブロックと関連した符号化パラメータを設定するように構成されることを特徴とする、請求項1に記載の復号器。
  4. 前記復号器は、前記現在ブロックに関してイントラ予測モードおよびインター予測モードをサポートし、前記現在ブロック(40)がインター予測モードで符号化されている場合にだけ、前記統合および除去を実行するように構成されることを特徴とする、請求項2又は請求項3に記載の復号器。
  5. 前記符号化パラメータは、予測パラメータであり、前記復号器は、前記各更なるブロック(60)についての予測信号を得るために、前記各更なるブロック(60)の前記予測パラメータを使用するように構成されることを特徴とする、請求項2〜請求項4のいずれかに記載の復号器。
  6. 前記復号器は、各更なるブロックについての除かれなかった符号化パラメータ候補の数が1より大きい場合、前記各更なるブロックについての除かれなかった符号化パラメータ候補の前記数に依存して、前記ビットストリーム(30)が、前記除かれなかった符号化パラメータのうちのどれが統合するために使われるかを特定するシンタックス要素を含むことを予想するだけであるように構成されることを特徴とする、請求項1〜請求項5のいずれかに記載の復号器。
  7. 前記復号器(50)は、前に復号されたブロックと関連した符号化パラメータに基づいて、前記各更なるブロック(60)についての符号化パラメータ候補の前記セットを決定するように構成されることを特徴とする、請求項1〜請求項6のいずれかに記載の復号器。
  8. 前記復号器(50)は、前記各更なるブロックに隣接し、前記現在ブロックの外側および内側に位置する、前に復号されたブロックと関連した前記符号化パラメータに、少なくとも部分的に、基づいて、それぞれ、前記各更なるブロックについての符号化パラメータ候補の前記セットを決定するように構成されることを特徴とする、請求項1〜請求項7のいずれかに記載の復号器。
  9. 前記復号器(50)は、イントラ予測モードで符号化されているもの以外の、前に復号されたブロックの最初のセットから、前記各更なるブロックについての符号化パラメータ候補の前記セットを決定するように構成されることを特徴とする、請求項1〜請求項8のいずれかに記載の復号器。
  10. 前記復号器(50)は、前記ビットストリーム(30)に含まれる細分化情報に従って、符号化ブロックに前記画像(20)を細分化するように構成され、前記符号化ブロックは、前記現在ブロックを含むことを特徴とする、請求項1〜請求項9のいずれかに記載の復号器。
  11. 前記復号器(50)は、前記ビットストリームに含まれる更なる細分化情報に従って、前記現在ブロック(40)を1つ又は複数の変換ブロックに更に細分化して、前記変換ブロックの単位で、ビットストリーム(30)から前記現在ブロック(40)の残差信号を得るように構成されることを特徴とする、請求項10に記載の復号器。
  12. 前記復号器は、前記サポートされた分割パターンのうちの前記シグナリングされた1つが、2つの更なるブロックへの前記ブロックの細分化を特定する場合に、符号化順で前記更なるブロックのうちの2番目の更なるブロックに関して、前記2番目の更なるブロックについての符号化パラメータ候補の前記セットから、符号化順で前記更なるブロックのうちの前記1番目の更なるブロックと関連した符号化パラメータと同じである符号化パラメータを有する符号化パラメータ候補を除くように構成されることを特徴とする、請求項1〜請求項11のいずれかに記載の復号器。
  13. 前記サポートされた分割パターンは、非分割モード、横分割モード、および縦分割モードを含み、前記復号器は、前記サポートされた分割パターンのうちの前記シグナリングされた1つが、4つの更なるブロックへの前記ブロックの細分化を特定する場合に、
    符号化順で前記更なるブロックのうちの前記4番目のブロックに関して、前記4番目の更なるブロックについての符号化パラメータ候補のセットから、異なる行にある前記更なるブロックのうちの2つが、互いに等しいそれと関連した符号化パラメータを有するとき、前記4番目の更なるブロックと同じ行にある前記更なるブロックのうちの1つと関連した符号化パラメータと同じである符号化パラメータを有する符号化パラメータ候補を除き、
    前記4番目のブロックに関して、前記4番目の更なるブロックについての符号化パラメータ候補の前記セットから、異なる列にある前記更なるブロックのうちの2つが、互いに等しいそれと関連した符号化パラメータを有するとき、前記4番目の更なるブロックと同じ列にある前記更なるブロックのうちの1つと関連した符号化パラメータと同じである符号化パラメータを有する符号化パラメータ候補を除くように構成されることを特徴とする、請求項1〜請求項12のいずれかに記載の復号器。
  14. ビットストリーム(30)に画像(20)を符号化するように構成される符号器(10)であって、前記符号器は、
    現在ブロック(40)のためのサポートされた分割パターンのうちの1つをビットストリーム(30)の中でシグナリングし、
    前記サポートされた分割パターンのうちの前記シグナリングされた1つが、2つ以上の更なるブロック(50、60)への前記現在ブロック(40)の細分化を特定する場合、
    符号化順(70)で前記更なるブロックのうちの1番目の更なるブロック(50)以外の全ての更なるブロック(60)に関して、
    前記各更なるブロック(60)のための符号化パラメータ候補のセットから、
    前記各更なるブロックと統合されるときに、前記サポートされた分割パターンのうちの1つとなるであろう前記更なるブロックのいずれかと関連した符号化パラメータと同じである符号化パラメータを有する符号化パラメータ候補を除くように構成されることを特徴とする、符号器。
  15. 画像の現在ブロックのためのサポートされた分割パターンのうちの1つをシグナリングするビットストリームを復号するように構成される復号器であって、前記復号器は、
    前記サポートされた分割パターンのうちの前記シグナリングされた1つが、2つ以上の更なるブロックへの前記ブロックの細分化を特定する場合、
    符号化順で前記更なるブロックのうちの1番目の更なるブロック以外の全ての更なるブロックに関して、
    前記各更なるブロックのための候補ブロックのセットから、
    前記各更なるブロックと統合されるときに、前記サポートされた分割パターンのうちの1つとなるであろう候補ブロックを除くように構成されることを特徴とする、復号器。
  16. 前記復号器は、前記除かれなかった候補ブロックの数が0でない場合、前記1つの候補ブロックと関連した符号化パラメータに依存して、前記各更なるブロックの符号化パラメータを設定することによって、前記除かれなかった候補ブロックのうちの1つと前記各更なるブロックを統合するように構成されることを特徴とする、請求項15に記載の復号器。
  17. 前記復号器は、前記除かれなかった符号化パラメータ候補の数が0でない場合、付加的なリファインメントおよび/または時間的距離に従ってスケーリングすることの有無にかかわらず、前記1つの候補ブロックと関連した符号化パラメータと等しい前記各更なるブロックの符号化パラメータを設定することによって、前記除かれなかった候補ブロックのうちの1つと前記各更なるブロックを統合するように構成されることを特徴とする、請求項15に記載の復号器。
  18. 前記復号器は、前記現在ブロックに関してイントラ予測モードおよびインター予測モードをサポートし、前記現在ブロックがインター予測モードで符号化されている場合にだけ、前記統合および除去を実行するように構成されることを特徴とする、請求項16又は請求項17に記載の復号器。
  19. 前記符号化パラメータは、予測パラメータであり、前記復号器は、前記各更なるブロックのための予測信号を得るために、前記各更なるブロックの前記予測パラメータを使用するように構成されることを特徴とする、請求項16〜請求項18のいずれかに記載の復号器。
  20. 前記復号器は、各更なるブロックについての除かれなかった候補ブロックの数が1より大きい場合、前記各更なるブロックについての除かれなかった候補ブロックの前記数に依存して、前記ビットストリームが、前記除かれなかった候補ブロックのうちのどれが統合するために使われるかを特定するシンタックス要素を含むことを予測するだけであるように構成されることを特徴とする、請求項15〜請求項19のいずれかに記載の復号器。
  21. 前記復号器は、前に復号されたブロックから、前記各更なるブロックについての候補ブロックの前記セットを決定するように構成されることを特徴とする、請求項15〜請求項20のいずれかに記載の復号器。
  22. 前記復号器は、前記各更なるブロックと隣接する、前に復号されたブロックの最初のセットから、前記各更なるブロックについての候補ブロックの前記セットを決定するように構成され、前記最初のセットは、それぞれ、前記現在ブロックの外側および内側に隣接するブロックを含むことを特徴とする、請求項15〜請求項21のいずれかに記載の復号器。
  23. 前記復号器は、イントラ予測モードで符号化されているものを以外の、前に復号されたブロックの最初のセットから、前記各更なるブロックについての候補ブロックの前記セットを決定するように構成されることを特徴とする、請求項15〜請求項22のいずれかに記載の復号器。
  24. 前記復号器は、前記ビットストリームに含まれる細分化情報に従って、符号化ブロックに前記画像を細分化するように構成され、前記符号化ブロックは、前記現在ブロックを含むことを特徴とする、請求項15〜請求項23のいずれかに記載の復号器。
  25. 前記復号器は、更なる細分化情報に従って、前記現在ブロックを1つ又は複数の変換ブロックに更に細分化して、前記変換ブロックの単位で、ビットストリームから前記現在ブロックの残差信号を得るように構成されることを特徴とする、請求項24に記載の復号器。
  26. ビットストリーム(30)に画像(20)を符号化するように構成される符号器であって、前記符号器は、
    現在ブロック(40)のためのサポートされた分割パターンのうちの1つをビットストリーム(30)の中でシグナリングし、
    前記サポートされた分割パターンのうちの前記シグナリングされた1つが、2つ以上の更なるブロックへの前記ブロックの細分化を特定する場合、
    符号化順で前記更なるブロックのうちの1番目の更なるブロック以外の全ての更なるブロックに関して、
    前記各更なるブロックのための候補ブロックのセットから、
    前記各更なるブロックと統合されるときに、前記サポートされた分割パターンのうちの1つとなるであろう候補ブロックを除くように構成されることを特徴とする、符号器。
  27. 画像(20)の現在ブロック(40)のためのサポートされた分割パターンのうちの1つをシグナリングするビットストリーム(30)を復号するための方法であって、前記方法は、
    前記サポートされた分割パターンのうちの前記シグナリングされた1つが、2つ以上の更なるブロック(50、60)への前記現在ブロック(40)の細分化を特定する場合、
    符号化順(70)で前記更なるブロックのうちの1番目の更なるブロック以外の全ての更なるブロックに関して、
    前記各更なるブロック(60)についての符号化パラメータ候補のセットから、
    前記各更なるブロック(60)と統合されるときに、前記サポートされた分割パターンのうちの1つとなるであろう前記更なるブロックのいずれかと関連した符号化パラメータと同じである符号化パラメータを有する符号化パラメータ候補を除くステップを含む、方法。
  28. ビットストリーム(30)に画像(20)を符号化するための方法であって、前記方法は、
    現在ブロック(40)のためのサポートされた分割パターンのうちの1つをビットストリーム(30)の中でシグナリングするステップと、
    前記サポートされた分割パターンのうちの前記シグナリングされた1つが、2つ以上の更なるブロック(50、60)への前記現在ブロック(40)の細分化を特定する場合、
    符号化順(70)で前記更なるブロックのうちの1番目の更なるブロック以外の全ての更なるブロック(60)に関して、
    前記各更なるブロック(60)のための符号化パラメータ候補のセットから、
    前記各更なるブロックと統合されるときに、前記サポートされた分割パターンのうちの1つとなるであろう前記更なるブロックのいずれかと関連した符号化パラメータと同じである符号化パラメータを有する符号化パラメータ候補を除くステップを含むことを特徴とする、方法。
  29. コンピュータプログラムがコンピュータ上で動作するときに、請求項27又は請求項28に記載の方法を実行するためのプログラムコードを有する前記コンピュータプログラム。
JP2013532229A 2010-10-08 2011-10-10 ブロック分割及びブロック統合をサポートする画像符号化 Pending JP2013545342A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US39147310P 2010-10-08 2010-10-08
US61/391,473 2010-10-08
PCT/EP2011/067647 WO2012045886A1 (en) 2010-10-08 2011-10-10 Picture coding supporting block partitioning and block merging

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2015200777A Division JP6808310B2 (ja) 2010-10-08 2015-10-09 ブロック分割及びブロック統合をサポートする画像符号化

Publications (1)

Publication Number Publication Date
JP2013545342A true JP2013545342A (ja) 2013-12-19

Family

ID=44764172

Family Applications (6)

Application Number Title Priority Date Filing Date
JP2013532229A Pending JP2013545342A (ja) 2010-10-08 2011-10-10 ブロック分割及びブロック統合をサポートする画像符号化
JP2015200777A Active JP6808310B2 (ja) 2010-10-08 2015-10-09 ブロック分割及びブロック統合をサポートする画像符号化
JP2018000339A Active JP6728249B2 (ja) 2010-10-08 2018-01-04 ブロック分割及びブロック統合をサポートする画像符号化
JP2020046738A Pending JP2020120380A (ja) 2010-10-08 2020-03-17 ブロック分割及びブロック統合をサポートする画像符号化
JP2020156724A Active JP7391807B2 (ja) 2010-10-08 2020-09-17 ブロック分割及びブロック統合をサポートする画像符号化
JP2023159938A Pending JP2023179552A (ja) 2010-10-08 2023-09-25 ブロック分割及びブロック統合をサポートする画像符号化

Family Applications After (5)

Application Number Title Priority Date Filing Date
JP2015200777A Active JP6808310B2 (ja) 2010-10-08 2015-10-09 ブロック分割及びブロック統合をサポートする画像符号化
JP2018000339A Active JP6728249B2 (ja) 2010-10-08 2018-01-04 ブロック分割及びブロック統合をサポートする画像符号化
JP2020046738A Pending JP2020120380A (ja) 2010-10-08 2020-03-17 ブロック分割及びブロック統合をサポートする画像符号化
JP2020156724A Active JP7391807B2 (ja) 2010-10-08 2020-09-17 ブロック分割及びブロック統合をサポートする画像符号化
JP2023159938A Pending JP2023179552A (ja) 2010-10-08 2023-09-25 ブロック分割及びブロック統合をサポートする画像符号化

Country Status (14)

Country Link
US (7) US10735748B2 (ja)
EP (3) EP3703373B1 (ja)
JP (6) JP2013545342A (ja)
KR (10) KR20140139615A (ja)
CN (7) CN106878725B (ja)
BR (1) BR112013008461B1 (ja)
DK (1) DK2625855T3 (ja)
ES (1) ES2859635T3 (ja)
HK (2) HK1244981A1 (ja)
HU (1) HUE053483T2 (ja)
PL (2) PL2625855T3 (ja)
PT (1) PT2625855T (ja)
TW (8) TWI554086B (ja)
WO (1) WO2012045886A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018124249A1 (ja) * 2016-10-06 2018-07-05 日本放送協会 符号化装置、復号装置及びプログラム
JP2021520126A (ja) * 2018-04-02 2021-08-12 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 画像動き補償のための方法及び装置

Families Citing this family (95)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3703369B1 (en) 2010-04-13 2024-07-24 GE Video Compression, LLC Sample region merging
CN106067983B (zh) * 2010-04-13 2019-07-12 Ge视频压缩有限责任公司 解码数据流的方法、生成数据流的方法及解码器
CN106231337B (zh) 2010-04-13 2020-06-19 Ge视频压缩有限责任公司 解码器、解码方法、编码器以及编码方法
BR122020008249B1 (pt) 2010-04-13 2021-02-17 Ge Video Compression, Llc herança em amostra de arranjo em subdivisão multitree
HUE061303T2 (hu) * 2010-05-04 2023-06-28 Lg Electronics Inc Eljárás és berendezés videojel kódolására és dekódolására
KR20140139615A (ko) 2010-10-08 2014-12-05 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 블록 분할 및 블록 병합을 지원하는 픽처 코딩
KR102390352B1 (ko) * 2011-01-07 2022-04-25 엘지전자 주식회사 영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치
CN102595116B (zh) 2011-01-14 2014-03-12 华为技术有限公司 多图像块划分的编解码方法和装置
US9066110B2 (en) 2011-03-08 2015-06-23 Texas Instruments Incorporated Parsing friendly and error resilient merge flag coding in video coding
KR20120140181A (ko) 2011-06-20 2012-12-28 한국전자통신연구원 화면내 예측 블록 경계 필터링을 이용한 부호화/복호화 방법 및 그 장치
US9282338B2 (en) * 2011-06-20 2016-03-08 Qualcomm Incorporated Unified merge mode and adaptive motion vector prediction mode candidates selection
US9313494B2 (en) * 2011-06-20 2016-04-12 Qualcomm Incorporated Parallelization friendly merge candidates for video coding
US8743969B2 (en) 2011-06-23 2014-06-03 Panasonic Corporation Image decoding method and apparatus based on a signal type of the control parameter of the current block
USRE47366E1 (en) 2011-06-23 2019-04-23 Sun Patent Trust Image decoding method and apparatus based on a signal type of the control parameter of the current block
WO2012176464A1 (ja) 2011-06-24 2012-12-27 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置及び画像符号化復号装置
KR102062283B1 (ko) 2011-06-24 2020-01-03 선 페이턴트 트러스트 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치
CA2842646C (en) 2011-06-27 2018-09-04 Panasonic Corporation Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus
CN106878724B (zh) 2011-06-28 2020-06-05 太阳专利托管公司 图像编码解码装置
MX2013010892A (es) 2011-06-29 2013-12-06 Panasonic Corp Metodo de decodificacion de imagenes, metodo de codificacion de imagenes, aparato de decodificacion de imagenes, aparato de codificacion de imagenes y aparato de codificacion y decodificacion de imagenes.
AU2012277219A1 (en) 2011-06-30 2013-09-19 Sun Patent Trust Image decoding method, image encoding method, image decoding device, image encoding device, and image encoding/decoding device
CA2837537C (en) 2011-06-30 2019-04-02 Panasonic Corporation Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus
WO2013005966A2 (ko) * 2011-07-01 2013-01-10 한국전자통신연구원 비디오 부호화 방법 및 복호화 방법과 이를 이용한 장치
CA2838575C (en) 2011-07-11 2018-06-12 Panasonic Corporation Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus
EP2942961A1 (en) * 2011-11-23 2015-11-11 HUMAX Holdings Co., Ltd. Methods for encoding/decoding of video using common merging candidate set of asymmetric partitions
US9729873B2 (en) * 2012-01-24 2017-08-08 Qualcomm Incorporated Video coding using parallel motion estimation
US20130235926A1 (en) * 2012-03-07 2013-09-12 Broadcom Corporation Memory efficient video parameter processing
RU2658146C9 (ru) * 2012-04-12 2018-12-12 ДжейВиСи КЕНВУД КОРПОРЕЙШН Устройство декодирования движущегося изображения и способ декодирования движущегося изображения
US9635356B2 (en) 2012-08-07 2017-04-25 Qualcomm Incorporated Multi-hypothesis motion compensation for scalable video coding and 3D video coding
WO2014058280A1 (ko) * 2012-10-12 2014-04-17 한국전자통신연구원 영상의 부호화/복호화 방법 및 이를 이용하는 장치
US9300977B2 (en) * 2013-10-02 2016-03-29 Amlogic Co., Ltd. Methods for encoding motion vectors
WO2015100729A1 (en) * 2014-01-03 2015-07-09 Mediatek Singapore Pte. Ltd. Improved merging candidate list construction in 3dvc
CN104853216B (zh) * 2014-02-18 2018-10-02 寰发股份有限公司 基于深度的块分割方法和电子装置
WO2015135175A1 (en) * 2014-03-13 2015-09-17 Mediatek Singapore Pte. Ltd. Simplified depth based block partitioning method
CN104159121A (zh) * 2014-06-26 2014-11-19 华为技术有限公司 一种基于深度信息的图像块的编码、解码方法及装置
CN112087629B (zh) * 2014-09-30 2021-08-20 华为技术有限公司 图像预测方法、装置及计算机可读存储介质
JP6462119B2 (ja) * 2014-09-30 2019-01-30 マイクロソフト テクノロジー ライセンシング,エルエルシー コンピューティングデバイス
EP3270593A4 (en) * 2015-03-13 2018-11-07 LG Electronics Inc. Method of processing video signal and device for same
KR20170128390A (ko) * 2015-03-19 2017-11-22 엘지전자 주식회사 비디오 신호의 처리 방법 및 이를 위한 장치
CN107852506A (zh) * 2015-05-12 2018-03-27 三星电子株式会社 用于执行帧内预测的图像解码方法及其装置以及用于执行帧内预测的图像编码方法及其装置
JP6866369B2 (ja) * 2015-11-24 2021-04-28 サムスン エレクトロニクス カンパニー リミテッド 符号化順序符号化方法及びその装置、該復号方法及びその装置
CN105511759B (zh) * 2015-12-14 2020-01-31 联想(北京)有限公司 一种图片处理方法及电子设备
WO2017114450A1 (en) * 2015-12-31 2017-07-06 Mediatek Inc. Method and apparatus of prediction binary tree structure for video and image coding
US10469841B2 (en) 2016-01-29 2019-11-05 Google Llc Motion vector prediction using prior frame residual
US10306258B2 (en) 2016-01-29 2019-05-28 Google Llc Last frame motion vector partitioning
CN116506600A (zh) 2016-03-11 2023-07-28 数字洞察力有限公司 视频编码方法以及装置
KR102669632B1 (ko) * 2016-03-11 2024-05-28 디지털인사이트 주식회사 가변 크기의 양자화 계수 그룹을 이용한 비디오 코딩 방법 및 장치
US10560712B2 (en) 2016-05-16 2020-02-11 Qualcomm Incorporated Affine motion prediction for video coding
US10284845B2 (en) * 2016-05-25 2019-05-07 Arris Enterprises Llc JVET quadtree plus binary tree (QTBT) structure with multiple asymmetrical partitioning
US10880548B2 (en) 2016-06-01 2020-12-29 Samsung Electronics Co., Ltd. Methods and apparatuses for encoding and decoding video according to coding order
CN109565595B (zh) * 2016-06-24 2021-06-22 华为技术有限公司 一种使用基于分割的视频编码块划分的视频编码设备和方法
JP6938612B2 (ja) * 2016-07-12 2021-09-22 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートElectronics And Telecommunications Research Institute 画像復号方法、画像符号化方法、及び非一時的なコンピュータ可読の記録媒体
US11368681B2 (en) 2016-07-18 2022-06-21 Electronics And Telecommunications Research Institute Image encoding/decoding method and device, and recording medium in which bitstream is stored
WO2018045944A1 (en) * 2016-09-06 2018-03-15 Mediatek Inc. Methods and apparatuses of candidate set determination for binary-tree splitting blocks
US10448010B2 (en) * 2016-10-05 2019-10-15 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding
US11057624B2 (en) * 2016-10-14 2021-07-06 Industry Academy Cooperation Foundation Of Sejong University Image encoding method/device, image decoding method/device, and recording medium in which bitstream is stored
US20180109812A1 (en) * 2016-10-14 2018-04-19 Media Tek Inc. Block partitioning using tree structures
CN116405669A (zh) * 2016-10-14 2023-07-07 世宗大学校产学协力团 影像解码/编码方法、传送比特流的方法及记录介质
CN117119179A (zh) * 2016-11-18 2023-11-24 株式会社Kt 视频解码方法、视频编码方法和压缩视频数据发送设备
JP6565885B2 (ja) * 2016-12-06 2019-08-28 株式会社Jvcケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム
US11039135B2 (en) * 2016-12-27 2021-06-15 Samsung Electronics Co., Ltd. Encoding method based on encoding order change and device therefor, and decoding method based on encoding order change and device therefor
US10484703B2 (en) * 2017-02-07 2019-11-19 Mediatek Inc. Adapting merge candidate positions and numbers according to size and/or shape of prediction block
US20180242024A1 (en) * 2017-02-21 2018-08-23 Mediatek Inc. Methods and Apparatuses of Candidate Set Determination for Quad-tree Plus Binary-tree Splitting Blocks
KR102424411B1 (ko) * 2017-04-13 2022-07-25 엘지전자 주식회사 영상의 부호화/복호화 방법 및 이를 위한 장치
US20180332312A1 (en) * 2017-05-09 2018-11-15 Futurewei Technologies, Inc. Devices And Methods For Video Processing
EP3410717A1 (en) * 2017-05-31 2018-12-05 Thomson Licensing Methods and apparatus for candidate list pruning
CN114554221B (zh) 2017-07-19 2023-08-01 三星电子株式会社 编码方法及用于其的设备、解码方法及用于其的设备
US11089317B2 (en) * 2017-08-03 2021-08-10 Lg Electronics Inc. Method and apparatus for processing video signal using affine prediction
US11064217B2 (en) 2017-09-18 2021-07-13 Intellectual Discovery Co., Ltd. Method and apparatus for coding video using merging candidate list according to block division
US11877001B2 (en) * 2017-10-10 2024-01-16 Qualcomm Incorporated Affine prediction in video coding
EP3518536A1 (en) * 2018-01-26 2019-07-31 Thomson Licensing Method and apparatus for adaptive illumination compensation in video encoding and decoding
WO2019152283A1 (en) * 2018-02-02 2019-08-08 Apple Inc. Techniques of multi-hypothesis motion compensation
US11924440B2 (en) * 2018-02-05 2024-03-05 Apple Inc. Techniques of multi-hypothesis motion compensation
JP7179080B2 (ja) * 2018-03-29 2022-11-28 フラウンホーファー-ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 画像境界処理を使用して画像を符号化および復号する装置および方法
EP3794819A4 (en) * 2018-05-23 2022-12-07 HFI Innovation Inc. METHOD AND APPARATUS FOR VIDEO CODING WITH BI-DIRECTIONAL CU WEIGHTS
EP3804329A1 (en) * 2018-06-01 2021-04-14 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Video codec using template matching prediction
TWI746994B (zh) 2018-06-19 2021-11-21 大陸商北京字節跳動網絡技術有限公司 用於不同參考列表的不同精確度
TWI750486B (zh) 2018-06-29 2021-12-21 大陸商北京字節跳動網絡技術有限公司 運動資訊共用的限制
TWI728389B (zh) 2018-07-01 2021-05-21 大陸商北京字節跳動網絡技術有限公司 基於優先級的非相鄰merge設計
CN110677650B (zh) * 2018-07-01 2023-06-09 北京字节跳动网络技术有限公司 降低非相邻Merge设计的复杂度
TW202304207A (zh) * 2018-07-13 2023-01-16 弗勞恩霍夫爾協會 分區框內寫碼技術
AU2018217336A1 (en) * 2018-08-17 2020-03-05 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a transformed block of video samples
WO2020056095A1 (en) * 2018-09-13 2020-03-19 Interdigital Vc Holdings, Inc. Improved virtual temporal affine candidates
EP4325859A3 (en) 2018-09-19 2024-05-15 Beijing Bytedance Network Technology Co., Ltd. Syntax reuse for affine mode with adaptive motion vector resolution
US11012697B2 (en) * 2018-12-07 2021-05-18 Qualcomm Incorporated Shared candidate list and parallel candidate list derivation for video coding
US10893298B2 (en) 2018-12-12 2021-01-12 Tencent America LLC Method and apparatus for video coding
CN114222135A (zh) 2018-12-13 2022-03-22 北京达佳互联信息技术有限公司 视频编码方法以及设备
WO2020156517A1 (en) 2019-01-31 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Fast algorithms for symmetric motion vector difference coding mode
KR20210121021A (ko) 2019-01-31 2021-10-07 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 어파인 모드 적응적 움직임 벡터 해상도 코딩 문맥
KR102166337B1 (ko) * 2019-09-17 2020-10-15 삼성전자주식회사 영상의 ai 부호화 방법 및 장치, 영상의 ai 복호화 방법 및 장치
KR20220063248A (ko) * 2019-09-19 2022-05-17 알리바바 그룹 홀딩 리미티드 병합 후보 목록 구성 방법
CN114651446B (zh) * 2019-09-21 2024-10-18 Lg电子株式会社 基于变换的图像编译方法及其装置
CN111246046B (zh) * 2020-03-27 2022-03-15 支付宝(杭州)信息技术有限公司 图案编码方法及装置、图案解码方法及装置
US20220408098A1 (en) * 2021-06-18 2022-12-22 Tencent America LLC Block-wise entropy coding method in neural image compression
WO2023055146A1 (ko) * 2021-09-29 2023-04-06 한국전자통신연구원 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체
US20240129474A1 (en) * 2022-10-14 2024-04-18 Tencent America LLC Systems and methods for cross-component geometric/wedgelet partition derivation

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004040785A (ja) * 2002-06-03 2004-02-05 Microsoft Corp 双方向予測(b)ピクチャの時空間予測および複数ピクチャ参照動き補償の動きベクトル予測

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5225904A (en) * 1987-10-05 1993-07-06 Intel Corporation Adaptive digital video compression system
CN100454339C (zh) * 2001-09-14 2009-01-21 诺基亚有限公司 基于上下文的自适应二进制算术编码的方法和系统
EP1604530A4 (en) * 2003-03-03 2010-04-14 Agency Science Tech & Res FAST-DECISION ALGORITHM FOR INTRAPRADICTION FOR ADVANCED VIDEO CODING
US8179963B2 (en) * 2003-07-24 2012-05-15 Panasonic Corporation Coding mode determining apparatus, image coding apparatus, coding mode determining method and coding mode determining program
US7369709B2 (en) * 2003-09-07 2008-05-06 Microsoft Corporation Conditional lapped transform
US8064520B2 (en) * 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
US7724827B2 (en) 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
FR2875974A1 (fr) * 2004-09-28 2006-03-31 Thomson Licensing Sa Procede et dispositif de codage d'une sequence d'images sources
WO2006058921A1 (en) * 2004-12-03 2006-06-08 Thomson Licensing Method for scalable video coding
CN100471280C (zh) * 2005-01-07 2009-03-18 株式会社Ntt都科摩 运动图像编码及译码装置、方法
CN101223780A (zh) * 2005-07-18 2008-07-16 三星电子株式会社 减少编码器和解码器之间的不匹配的视频编码方法和设备
JP4047879B2 (ja) * 2005-08-23 2008-02-13 松下電器産業株式会社 動きベクトル検出装置および動きベクトル検出方法
US8265349B2 (en) * 2006-02-07 2012-09-11 Qualcomm Incorporated Intra-mode region-of-interest video object segmentation
EP2360843A3 (en) * 2006-02-16 2013-04-03 Vidyo, Inc. System and method for thinning of scalable video coding bit-streams
RU2426267C2 (ru) * 2007-01-08 2011-08-10 Нокиа Корпорейшн Усовершенствованное межуровневое предсказание для расширенной пространственной масштабируемости при кодировании видеосигнала
CN100495438C (zh) * 2007-02-09 2009-06-03 南京大学 一种基于视频监控的运动目标检测与识别方法
JP5666293B2 (ja) 2007-04-12 2015-02-12 トムソン ライセンシングThomson Licensing ビデオ・エンコーディング、およびデコーディングのためのスキップ/ダイレクトモードのコンテクストに依存するマージのための方法と装置
US7965900B2 (en) * 2007-09-26 2011-06-21 Hewlett-Packard Development Company, L.P. Processing an input image to reduce compression-related artifacts
US20090154567A1 (en) * 2007-12-13 2009-06-18 Shaw-Min Lei In-loop fidelity enhancement for video compression
US8854964B2 (en) 2007-12-14 2014-10-07 General Instrument Corporation Method and apparatus for determining a transport bit rate for a Multiprogram transport stream
WO2009091383A2 (en) * 2008-01-11 2009-07-23 Thomson Licensing Video and depth coding
CN100586184C (zh) * 2008-01-24 2010-01-27 北京工业大学 帧内预测方法
CN101282478A (zh) * 2008-04-24 2008-10-08 上海华平信息技术股份有限公司 实现高清视频并行编码的方法及系统
CN101409831B (zh) * 2008-07-10 2010-10-27 浙江师范大学 一种多媒体视频对象处理方法
JP5067361B2 (ja) * 2008-12-25 2012-11-07 ソニー株式会社 エンコーダ及びデコーダ、符号方法及び復号方法、並びに記録媒体
KR20140139615A (ko) 2010-10-08 2014-12-05 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 블록 분할 및 블록 병합을 지원하는 픽처 코딩
JP6248767B2 (ja) 2014-04-08 2017-12-20 新日鐵住金株式会社 パネル部材

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004040785A (ja) * 2002-06-03 2004-02-05 Microsoft Corp 双方向予測(b)ピクチャの時空間予測および複数ピクチャ参照動き補償の動きベクトル予測

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BIN LI, JIZHENG XU, FENG WU, GARY SULLIVAN: "Redundancy reduction in Cbf and Merge coding[online]", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 3RD M, vol. [JCTVC-C277], JPN6014022266, 2 October 2010 (2010-10-02), ISSN: 0002824347 *
JAEHYUN LIM, SEUNGWOOK PARK, BYOENGMOON JEON: "Extended merging scheme using motion-hypothesis inter prediction", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 2ND M, vol. [JCTVC-B023], JPN6014022268, 28 July 2010 (2010-07-28), ISSN: 0002824348 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018124249A1 (ja) * 2016-10-06 2018-07-05 日本放送協会 符号化装置、復号装置及びプログラム
US10757441B2 (en) 2016-10-06 2020-08-25 Nippon Hoso Kyokai Encoding device, decoding device, and program
JP2021520126A (ja) * 2018-04-02 2021-08-12 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 画像動き補償のための方法及び装置
JP7388659B2 (ja) 2018-04-02 2023-11-29 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 動画処理方法、ビットストリーム生成方法、動画処理装置、及びプログラム
US11871032B2 (en) 2018-04-02 2024-01-09 SZ DJI Technology Co., Ltd. Method and device for image motion compensation
US11949911B2 (en) 2018-04-02 2024-04-02 SZ DJI Technology Co., Ltd. Method and device for obtaining motion vector of video image
US11949912B2 (en) 2018-04-02 2024-04-02 SZ DJI Technology Co., Ltd. Method and device for video image processing
US11997312B2 (en) 2018-04-02 2024-05-28 SZ DJI Technology Co., Ltd. Method and device for video image processing

Also Published As

Publication number Publication date
BR112013008461A2 (pt) 2016-06-28
US20200244975A1 (en) 2020-07-30
JP2018082466A (ja) 2018-05-24
KR20200043496A (ko) 2020-04-27
PL3703373T3 (pl) 2024-09-02
HK1244981A1 (zh) 2018-08-17
KR20190021482A (ko) 2019-03-05
KR101893923B1 (ko) 2018-09-04
US20200128259A1 (en) 2020-04-23
KR20180099914A (ko) 2018-09-05
KR101526778B1 (ko) 2015-06-05
TWI554086B (zh) 2016-10-11
CN106878725B (zh) 2020-03-17
CN107071438B (zh) 2020-09-01
EP2625855A1 (en) 2013-08-14
US20130287116A1 (en) 2013-10-31
TW202332270A (zh) 2023-08-01
TWI520579B (zh) 2016-02-01
KR20170119727A (ko) 2017-10-27
EP2625855B1 (en) 2020-12-09
KR102277273B1 (ko) 2021-07-15
TWI673998B (zh) 2019-10-01
KR102034004B1 (ko) 2019-10-18
BR112013008461B1 (pt) 2022-06-07
TWI616089B (zh) 2018-02-21
KR102102600B1 (ko) 2020-04-21
CN107181944A (zh) 2017-09-19
CN106878726A (zh) 2017-06-20
US10743001B2 (en) 2020-08-11
TWI720831B (zh) 2021-03-01
EP3703373A1 (en) 2020-09-02
KR102405529B1 (ko) 2022-06-08
PL2625855T3 (pl) 2021-06-14
JP7391807B2 (ja) 2023-12-05
EP2625855B8 (en) 2021-03-10
KR20170118976A (ko) 2017-10-25
CN107360427B (zh) 2020-09-01
EP3833025A1 (en) 2021-06-09
TWI728431B (zh) 2021-05-21
US10735748B2 (en) 2020-08-04
JP2020205639A (ja) 2020-12-24
JP2016026454A (ja) 2016-02-12
JP6808310B2 (ja) 2021-01-06
CN107105258A (zh) 2017-08-29
US20210021842A1 (en) 2021-01-21
KR20130095292A (ko) 2013-08-27
TW201223289A (en) 2012-06-01
KR20140139615A (ko) 2014-12-05
CN107360427A (zh) 2017-11-17
TW202025724A (zh) 2020-07-01
WO2012045886A1 (en) 2012-04-12
TW201832553A (zh) 2018-09-01
PT2625855T (pt) 2021-03-16
JP6728249B2 (ja) 2020-07-22
EP3703373B1 (en) 2024-04-17
CN107071438A (zh) 2017-08-18
CN103477635A (zh) 2013-12-25
KR20200040940A (ko) 2020-04-20
ES2859635T3 (es) 2021-10-04
US11785229B2 (en) 2023-10-10
TW201515442A (zh) 2015-04-16
CN106878726B (zh) 2020-01-17
US11057630B2 (en) 2021-07-06
DK2625855T3 (da) 2021-03-08
CN107105258B (zh) 2020-09-01
CN106878725A (zh) 2017-06-20
JP2023179552A (ja) 2023-12-19
JP2020120380A (ja) 2020-08-06
US20240089468A1 (en) 2024-03-14
HUE053483T2 (hu) 2021-06-28
CN103477635B (zh) 2017-01-18
HK1246546A1 (zh) 2018-09-07
US10827187B2 (en) 2020-11-03
TWI792167B (zh) 2023-02-11
KR20240034886A (ko) 2024-03-14
CN107181944B (zh) 2020-06-02
KR20220079698A (ko) 2022-06-13
US20210281861A1 (en) 2021-09-09
TW202135526A (zh) 2021-09-16
KR101952103B1 (ko) 2019-02-27
US10812811B2 (en) 2020-10-20
TW201717628A (zh) 2017-05-16
US20200228806A1 (en) 2020-07-16
KR102647083B1 (ko) 2024-03-14
TW202021343A (zh) 2020-06-01

Similar Documents

Publication Publication Date Title
JP7391807B2 (ja) ブロック分割及びブロック統合をサポートする画像符号化
JP7381513B2 (ja) ブロック統合およびスキップモードをサポートする画像符号化

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130611

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130611

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140603

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140827

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140903

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141202

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150609

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20150716

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20150716