JP2019134466A - 高い分割自由度を伴う効果的なパーティション符号化 - Google Patents

高い分割自由度を伴う効果的なパーティション符号化 Download PDF

Info

Publication number
JP2019134466A
JP2019134466A JP2019051540A JP2019051540A JP2019134466A JP 2019134466 A JP2019134466 A JP 2019134466A JP 2019051540 A JP2019051540 A JP 2019051540A JP 2019051540 A JP2019051540 A JP 2019051540A JP 2019134466 A JP2019134466 A JP 2019134466A
Authority
JP
Japan
Prior art keywords
block
encoding
image
decoder
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019051540A
Other languages
English (en)
Other versions
JP6788699B2 (ja
Inventor
フィリップ メルクレ
Merkle Philipp
フィリップ メルクレ
クリスティアン バルトニク
Bartnik Christian
クリスティアン バルトニク
ハリチャラン ラクシュマン
Lakshman Haricharan
ハリチャラン ラクシュマン
デトレフ マルペ
Detlev Marpe
デトレフ マルペ
カルステン ミューラー
Mueller Karsten
カルステン ミューラー
トーマス ウィーガント
Thomas Wiegand
トーマス ウィーガント
ゲルハルト テヒ
Tech Gerhard
ゲルハルト テヒ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GE Video Compression LLC
Original Assignee
GE Video Compression LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GE Video Compression LLC filed Critical GE Video Compression LLC
Publication of JP2019134466A publication Critical patent/JP2019134466A/ja
Application granted granted Critical
Publication of JP6788699B2 publication Critical patent/JP6788699B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

【課題】高い分割自由度を伴う効果的なパーティション符号化及び復号方法を提供する。【解決手段】データストリーム３０４から画像２１５に関連付けられる奥行き／視差マップ２１３の既定のブロック２１０を再構成するためのデコーダ６００であって、参照ブロックの第１および第２のパーティションへの２つのセグメンテーションを得るために、既定のブロック２１０と同じ場所に位置する参照ブロック２１６の範囲内における画像２１５を二値化処理することによって、画像２１５の参照ブロック２１６をセグメント化し、既定のブロック２１０の第１および第２のパーティション２０２ａ，２０２ｂを得るために、画像の参照ブロック２１６の２つのセグメンテーションを、奥行き／視差マップ２１３の既定のブロック２１０に、空間的に転送し、第１および第２のウェッジレットパーティション２０２ａ，２０２ｂ単位で既定のブロック２１０を復号化する。【選択図】図２２

Description

本発明は、高い自由度を考慮する輪郭ブロック分割、またはブロック分割を使用するサンプルアレイ符号化に関する。
多くの符号化スキームは、ブロックにサンプルアレイの再分割を使用しているサンプルアレイデータを圧縮する。サンプルアレイは、テクスチャ（すなわち、画像）の空間サンプリングを定めることができるが、しかしながら、他のサンプルアレイは、例えば、奥行きマップ等の類似の符号化技術を使用して、圧縮されうる。それぞれのサンプルアレイによって、空間的にサンプルされる情報の異なる性質のために、異なる符号化概念は、異なる種類のサンプルアレイのために最適である。しかしながら、そのようなサンプルアレイにかかわりなく、個々の符号化オプションを、サンプルアレイのブロックに割り当てるために、これらの符号化概念の多くは、ブロック再分割処理を使用し、このことにより、一方の個々のブロックに割り当てられた符号化パラメータを符号化するためのサイド情報レートとそれぞれのブロックの予測ミスのための予測残差を符号化するための残差符号化レートとの間のよいトレードオフをみつけること、あるいは、残差符号化有りまたは無しでレート／歪の意味で良好な構成を見出す。
主に、ブロックは、矩形であるか、正方形である。明らかに、符号化ユニット（ブロック）の形状を符号化されるサンプルアレイの内容に適応させることが可能であることは、有利である。しかしながら、残念なことに、ブロックまたはコーディングユニットの形状をサンプルアレイの内容に適応させることは、付加的なサイド情報をブロック分割の信号伝送することに費やすことが必要である。ブロックのウェッジレット型分割が、可能ブロックと関連するサイド情報オーバーヘッドとの間の適切な妥協であるとわかった。ウェッジレット型分割は、ブロックの分割を、例えば、特有の符号化パラメータが用いられうるウェッジレットパーティションに導く。
しかしながら、ウェッジレット分割に対する制限さえ、ブロックの分割の信号伝送するための付加的なオーバーヘッドの重要な量を導く、そして、したがって、より効率的な方法のサンプルアレイの符号化におけるブロックを分割する際のより高い自由度を可能にするより有効な符号化の概念を手元に有することは好ましいであろう。
この目的は、係属中の独立の請求項の内容によって達成される。
本発明の基礎をなしている主要な考えは、ウェッジレットベースの分割は、輪郭分割と比較して、一方のサイド情報レートと他方の分割の可能性における達成可能な変化との良好なトレードオフを表すようであるのもかかわらず、奥行き／視差マップにおける２つのセグメンテーションのためのよい予測値を導出するためにパーティションは、ウェッジレットパーティションでなければならないという範囲に、分割の制約を軽減する能力は、比較的複雑でない統計的解析を空間的に重なったサンプルのテクスチャ情報に適用することを可能にする。このように、それが、正確に、第１の態様に従って、画像の形式におけるその同じ場所に位置するテクスチャ情報あることを提供する間接的なシグナリングを軽減する自由の増加である。
本発明の更なる態様が基礎をなしている他の考えは、この２つのセグメンテーションの転送モードを起こすために、対応する符号化オプション識別子のそれぞれの既定の値の指定を正当化するために、奥行き／視差マップの現行ブロックの内容の良好な近似を成し遂げる可能性が、十分に高い場合、奥行き／視差マップの現行ブロックにおいて、２つのセグメンテーションの次の転送を有する画像の範囲内における参照ブロックと同じ場所に基づく２つのセグメンテーションの導出に従って、ちょうど概説された考えが、ただ単に合理的である。換言すれば、それぞれの２つのセグメンテーションの転送の場合におけるこの符号化オプション識別子は、いずれにしろ、いつのエントロピー符号化が選択される場合に、サイド情報レートは、奥行き／視差マップの現行ブロックに対する符号化オプション識別子のそれぞれの既定の値を考慮に入れる必要を回避することによって保存されうる。
更なる下位の態様は、従属する請求項の主題である。
本発明の好ましい実施の形態は、添付する図に関して後に詳細に述べられる。
図１は、本発明の実施例が実施例に従って構築されうる多視点エンコーダのブロック図を示す。 図２は、視点および映像の奥行き／視差の境界全体の情報再使用の説明のための多視点信号の一部の概要図を示す。 図３は、図１に適合しているデコーダのブロック図を示す。 図４は、連続（左）および別々の信号空間（右）の二次ブロックのウェッジレットパーティションを示す。 図５は、ウェッジレットブロックパーティションの６つの異なる幾何学的配置の概略図を示す。 図６は、ブロックサイズ４×４（左）８×８（中間）および１６×１６（右）のウェッジレットパーティションパターンの実施例を示す。 図７は、パーティション情報およびＣＰＶ（パーティション領域の奥行き信号の平均値）を結合することによって、ウェッジレットモデルを有する奥行き信号の近似を示す。 図８は、ウェッジレットパーティションパターンの生成を示す。 図９は、連続（左）および別々の信号空間（右）の二次ブロックの輪郭パーティションを示す。 図１０は、ブロックサイズ８×８の輪郭パーティションパターンの実施例を示す。 図１１は、パーティション情報およびＣＰＶ（パーティション領域の奥行き信号の平均値）を結合することによって、輪郭モデルを有する奥行き信号の近似を示す。 図１２は、上記の参照ブロックがタイプのウェッジレットパーティション（左）または正規のイントラ方向（右）であるシナリオのためのウェッジレットパーティション（青）のイントラ予測を示す。 図１３は、テクスチャの輝度情報（ｌｕｍａ）の参照からウェッジレット（青）および輪郭（緑）パーティション情報の予測を示す。 図１４は、ブロックパーティションのＣＰＶを示す。隣接ブロック（左）の近接するサンプルおよびブロック（右）の横断面からのＣＰＶ予測，異なるＣＰＶタイプの関係を示す。 図１５は、テクスチャの輝度情報（ｌｕｍａ）の相違に基づくモードの事前選択を示す。 図１６は、実施例によるデコーダのブロック図を示す。 図１７は、図１６に適合しているエンコーダのブロック図を示す。 図１８は、実施例によるデコーダのブロック図を示す。 図１９は、図１８に適合しているエンコーダのブロック図を示す。 図２０は、実施例によるデコーダのブロック図を示す。 図２１は、図２０に適合しているエンコーダのブロック図を示す。 図２２は、実施例によるデコーダのブロック図を示す。 図２３は、図２２に適合しているエンコーダのブロック図を示す。 図２４は、実施例によるデコーダのブロック図を示す。 図２５は、図２４に適合しているエンコーダのブロック図を示す。
本発明の以下の好適な実施例の説明は、本発明の実施例が有利に使用されうる可能な環境から始める。特に、実施例による多視点コーデックは、図１〜３に関して記載されている。しかしながら、後文に記載されている実施例が多視点符号化に制限されないと強調されるべきである。それにもかかわらず、さらに以下において記載されているいくつかの形態は、よりよく理解されえ、多視点符号化、または、具体的には、特に、奥行きマップの符号化を有する場合、特別な相乗効果を有する。従って、図１〜３の後、説明は、イントロダクションから不規則性ブロック分割およびそれとともに含まれる課題に進める。この説明は図４〜１１を参照し、そして、その後記載された本発明の実施例の説明の基礎を構成する。
今述べたように、さらに、以下で概説される実施例は、画像および映像符号化アプリケーションにおいて、非矩形であるか不規則性ブロック分割およびモデリング機能を使用して、特に、例えば、場面のジオメトリを表すために、奥行きマップの符号化に適用できる。ただし、これらの実施例は、従来の画像および映像符号化にも適用できる。さらに、以下で概説される実施例は、さらに、画像および映像符号化アプリケーションにおいて、非矩形ブロック分割およびモデリング機能を使用するための概念を提供する。実施例は、特に、（場面のジオメトリを表すために）奥行きマップの符号化にも適用できる。しかし、従来の画像および映像符号化にも適用できる。
多視点映像符号化において、映像場面（複数のカメラによって同時に撮影される）の２以上の視点が、単一のビットストリームにおいて符号化される。多視点映像符号化の第１の目的は、３Ｄの視聴印象を提示することによって、エンドユーザに高度なマルチメディアの体験を提供することである。２つの視点が符号化される場合、２つの再構成された映像シーケンスは、（グラス（眼鏡）を装着して）従来の立体表示において、表示されうる。しかしながら、従来の立体表示のためのグラスの必要な使用は、ユーザに対してしばしば面倒である。グラスなしで、高品質なステレオ視聴印象を可能にすることは、現在、研究開発の重要なテーマである。そのような自動立体視的なディスプレイに対する有望な技術は、レンチキュラレンズ・システムに基づく。原則上は、円柱状レンズのアレイが、映像場面の多視点が同時に表示される方法における従来のディスプレイに搭載される。各視点は、小さい円錐において表示される。その結果、ユーザの各眼は、異なる画像を見る；この効果は、特別なグラスなしに、ステレオ印象を作り出す。しかしながら、この種の自動立体視的なディスプレイは、概して、同じ映像場面の１０−３０の視点を必要とする（技術がさらに改善される場合、より多くの視点が必要とされる）。２つ以上の視点が、映像場面に対する視点をインタラクティブに選択するために、可能性を提供するためにも使用されうる。しかしながら、映像場面の多視点の符号化は、従来の単眼視（２Ｄ）映像の多視点と比較して、必要とされるビットレートを大幅に増加させる。通常、必要とされるビットレートは、ほぼ線形に符号化された視点の数に伴って増加させる。自動立体視的なディスプレイのための送信データの量を減らすための概念は、少数の視点（おそらく、２−５の視点）のみを送信するように構成されるが、加えて、いわゆる奥行きマップを送信することが、１つ以上の視点に対する画像サンプルの奥行き（カメラに対する現実世界のオブジェクトの距離）を表現する。対応する奥行きマップとともに符号化された少数の視点を与えることは（高品質な中間視点（符号化される視点の間に位置する仮想視点）、および、付加的な視点もカメラアレイの一方または両端まで少し広げるために）、適切なレンダリング技術によって、レシーバ側で作成されうる。
最新技術の画像および映像符号化において、画像または、画像のためのサンプルアレイの特定の１組は、通常、特定の符号化パラメータに関連しているブロックに分解される。画像は、通常、複数のサンプルアレイ（輝度および色信号）を構成する。加えて、画像は、付加的な補助サンプルアレイに関連しうる。そして、それは、例えば、透過情報または奥行きマップを特定しうる。各画像またはサンプルアレイは、通常、ブロックに分解される。ブロック（またはサンプルアレイの対応するブロック）は、画像間予測または画像内予測によって予測される。ブロックは、異なるサイズを有し、そして、正方形または矩形でありうる。画像をブロックに分割することは、シンタックスによって調整することもでき、あるいは、それは、ビットストリームの内部で、（少なくとも部分的に）信号伝送しうる。しばしば、定義済みサイズのブロックのための再分割を信号伝送するシンタックス要素が、送信される。この種のシンタックス要素は、あるブロックがより小さいブロックに再分割され、そして、例えば、予測の目的で、関連する符号化パラメータに再分割されるかどうか、あるいはどのようにしたかを、を明確にすることができる。ブロック（または、サンプルアレイの対応しているブロック）の全てのサンプルのために、関連する符号化パラメータを復号化することは、特定の方法において、明確にされうる。例において、ブロックにおける全てのサンプルは、例えば、（１組の既に符号化された画像における参照画像を確認する）参照インデックス、（参照画像および現行画像の間のブロックにおける動きのための大きさを特定する）動きパラメータ、補間フィルタを特定するためのパラメータ、イントラ予測モード等の同一の１組の予測パラメータを使用して予測される。動きパラメータは、水平および垂直成分を有する変位ベクトルによって、または、６つの成分からなるアファイン動きパラメータのような、より高次の動きパラメータによって、表されうる。（例えば、参照インデックスおよび動きパラメータのような）２以上の組の特定の予測パラメータが、単一のブロックに関連していることも可能である。その場合、これらの特定の予測パラメータの組ごとに、ブロック（または、サンプルアレイの対応するブロック）のための単一の中間の予測信号が生成され、そして、最終的な予測信号は、中間の予測信号を重畳することを含む組み合わせによって形成される。対応する重みパラメータおよび（加重和に加えられる）潜在的に固定のオフセットも、画像、もしくは参照画像、もしくは１組の参照画像に対して調整されうるか、または対応するブロックに対する１組の予測パラメータにおいて、それらは含まれる。残差信号とも呼ばれる、元のブロック（または、サンプルアレイの対応するブロック）とそれらの予測信号との差は、たいてい、変換され、そして量子化される。しばしば、２次元変換は、残差信号（または、対応する残差ブロックのための対応するサンプルアレイ）に適用される。変換符号化のために、特定の１組の予測パラメータが用いられた、ブロック（またはサンプルアレイの対応するブロック）が変換を適用する前に、さらに、分割されうる。変換ブロックは、予測のために用いられるブロックに等しいか、あるいはより小さい。変換ブロックが、予測のために用いられる２以上のブロックを含むことも可能である。異なる変換ブロックは、異なるサイズを有しうる、そして、変換ブロックは、正方形または矩形のブロックを表しうる。変換の後、結果として得る変換係数は、量子化され、そして、いわゆる変換係数レベルが得られる。予測パラメータと同様に、変換係数レベルも、存在する場合、再分割情報は、エントロピー符号化される。
ＩＴＵ−Ｔ Ｒｅｃ．Ｈ．２６４｜ＩＳＯ／ＩＥＣ ＪＴＣ １ １４４９６−１０のような最高水準の符号化技術、またはＨＥＶＣのための現在のワーキングモデルは、奥行きマップにも適用でき、符号化ツールは、特に、自然な映像の符号化のための設計である。奥行きマップは、自然な映像シーケンスの画像として異なる特性を有する。例えば、奥行きマップは、空間的な詳細をより少なく含む。それらは、主に、（オブジェクトの境界を表す）鋭いエッジ、および、（オブジェクト領域を表す）ほとんど一定であるかゆっくり変化するサンプル値の大きな領域によって特徴付けられる。奥行きマップが、特に、奥行きマップの特性を利用するために設計された符号化ツールを適用することによって、より効率的に符号化する場合、奥行きマップを有する多視点映像符号化の全体の符号化効率は、改善されうる。
本発明のその後説明される実施例が、有利に使用されうる、可能な符号化環境の根拠として役立つために、可能な多視点符号化概念は、図１〜３に関してさらに記載される。
図１は、実施例による多視点信号を符号化するためのエンコーダを示す。図１の実施例は、多数の視点でも可能であるが、図１の多視点信号は、２つの視点１２1および１２2を含むように、１０で実例として示される。さらに、図１の実施例によれば、各視点１２1および１２2は、映像１４、奥行き／視差マップデータ１６を含む。ただし、いくつかの奥行き／視差マップデータを含まない視点を有する多視点信号と関連して使われる場合、さらに、以下で記載される実施例の有利な原則の多くは、有利でありうる。
それぞれの視点１２1および１２2の映像１４は、異なる投射／視聴方向に沿って、共通の場面の投射の空間時間的サンプリングを表す。この制約が、必ずしも条件が満たされている必要があるというわけではないにもかかわらず、好ましくは、視点１２1および１２2の映像１４の時間的なサンプリングレートが互いに等しい。図１において示されるように、好ましくは、各映像１４は、それぞれのタイムスタンプｔ，ｔ−１，ｔ−２，…に関連付けされている各フレームを有する一連のフレームを含む。図１において、映像フレームは、ｖview number,time stamp numberによって示される。各フレームｖi,tは、それぞれのタイムスタンプｔでのそれぞれの視点方向に沿った場面ｉの空間的なサンプリングを表す。そして、このように、例えば、輝度サンプルのための１つのサンプルアレイおよび色サンプルを有する２つのサンプル、またはただ単に輝度サンプルまたはＲＧＢ色空間の色要素のような他の色要素のためのサンプルアレイのような１つ以上のサンプルアレイを含む。１つ以上のサンプルアレイの空間分解能は、１つの映像１４、ならびに異なる視点１２1および１２2の映像１４の両方の範囲内で異なりうる。
同様に、奥行き／視差マップデータ１６は、視点１２1および１２2のそれぞれの視聴方向に沿って測定された共通の場面の場面オブジェクトの奥行きの空間的−時間的なサンプリングを表す。奥行き／視差マップデータ１６の時間的なサンプリングレートは、図１において図示するように、同じ視点の関連付けられた映像の時間的サンプリングレートに等しくてもよいか、または、そこから異なってもよい。図１の場合において、各映像フレームｖは、それとともに、それぞれの視点１２1および１２2の奥行き／視差マップデータ１６のそれぞれの奥行き／視差マップｄと関連付けている。換言すれば、図１の実施例において、視点ｉおよびタイムスタンプｔの各映像フレームｖi,tは、それに関連付けられる奥行き／視差マップｄi,tを有する。奥行き／視差マップｄの空間的な分解能に関して、同じことが、映像フレームに関して上記に示されるように適用する。すなわち、空間的な分解能は、異なる視点の奥行き／視差マップの間の差で異なってもよい。
多視点信号１０を効率的に圧縮するために、図１のエンコーダは、視点１２1および１２2をデータストリーム１８に並列に符号化する。しかしながら、第１の視点１２1を符号化するために使用される符号化パラメータは、同上を適応するために再利用されるか、または、第２の視点１２2を符号化する際に使用される第２の符号化パラメータを予測するために再利用される。この大きさによって、図１のエンコーダは、視点１２1および１２の並列符号化が、同様に、これらの視点に対する符号化パラメータを決定するエンコーダを結果として得るという事実を有効に使用する。その結果、これらの符号化パラメータの間の冗長性は、効果的に、圧縮率またはレート／歪率（測定された歪、例えば、全部のデータストリーム１８の符号化レートとして測定された視点およびレートの両方の平均歪として）を増加させるために有効に使用されうる。
特に、図１のエンコーダは、通常、参照符号２０によって示され、そして、多視点信号１０を受信するための入力、およびデータストリーム１８を出力するための出力を含む。図２において分かるように、図１のエンコーダ２０は、視点１２1および１２2ごとに、２つの符号化ブランチを含み、すなわち、映像データのための一方と、奥行き／視差マップデータのための他方である。したがって、エンコーダ２０は、視点１の映像データのための符号化ブランチ２２v,1、視点１の奥行き／視差マップデータのための符号化ブランチ２２d,1、第２の視点の映像データための符号化ブランチ２２v,2、および第２の視点の奥行き／視差マップデータのための符号化ブランチ２２d,2を含む。これらの符号化ブランチ２２の各々は、同様に構築される。エンコーダ２０の構成および機能性を記載するために、以下の説明は、符号化ブランチ２２v,1の構成および機能性から始める。この機能性は、すべてのブランチ２２に共通である。その後、ブランチ２２の個々の特徴が述べられる。
符号化ブランチ２２v,1は、多視点信号１２の第１の視点１２1の映像１４1を符号化するためにあり、そして、したがって、ブランチ２２v,1は、映像１４1を受信するための入力を有する。このほか、ブランチ２２v,1は、言及される順序で互いに直列に接続される、減算器２４、量子化／変換モジュール２６、再量子化／逆変換モジュール２８、加算器３０、さらなる処理モジュール３２、復号化画像バッファ３４、順に、並列に接続される２つの予測モジュール３６および３８、ならびに、一方において、予測モジュール３６および３８の出力の間に接続され、他方において減算器２４の反転入力に接続される結合器またはセレクタ４０を含む。結合器４０の出力は、さらに、加算器３０の入力にも接続される。減算器２４の非反転入力は映像１４1を受信する。
符号化ブランチ２２v,1の要素２４〜４０は、映像１４1を符号化するために協働する。符号化は、特定の部分を単位にして、映像１４1を符号化する。例えば、映像１４1の符号化において、フレームｖ1,kは、例えば、ブロック、または他のサンプルグループのセグメントにセグメント化される。セグメンテーションは、時間ともに一定であるか、または時間内に変化しうる。さらに、セグメンテーションは、初期設定でエンコーダおよびデコーダに知られうるか、またはデータストリーム１８の範囲内において、信号伝送されうる。セグメンテーションは、行および列におけるブロックの重なり合わない配列のようなブロックへのフレームの標準的なセグメンテーションでありうるか、または、様々なサイズのブロックへの４分木ベースのセグメンテーションでありうる。減算器２４の非反転入力に入力されている映像１４1の現在の符号化されたセグメントは、図１〜３の以下の記載における映像１４1の現行ブロックと呼ばれている。
予測モジュール３６および３８は、現行ブロックを予測するためにあり、そして、このために、予測モジュール３６および３８は、復号化画像バッファ３４に接続されるそれらの入力を有する。実際には、予測モジュール３６および３８の両方は、減算器２４の非反転入力から入ってくる現行ブロックの予測するために、復号化画像バッファ３４において存在している映像１４1の以前に再構成された部分を使用する。この点に関しては、予測モジュール３６は、映像１４1の同じフレームのすでに再構成された部分の空間的に隣接したところから、映像１４1の現在の部分を空間的に予測するイントラ予測器として作動するのに対して、予測モジュール３８は、映像１４1の以前に再構成されたフレームから現在の部分を時間的に予測するインター予測器として作動する。モジュール３６および３８の両方は、ある予測パラメータに従って、または記載されて、それらの予測を実行する。より、具体的には、後者のパラメータは、例えば、最大ビットレートのようないくつかの制約の下であるいは制約なしでレート／歪率を最適化することのような若干の最適化目的を最適化するために若干の最適化フレームワークにおいて、エンコーダ２０により決定される。
例えば、イントラ予測モジュール３６は、隣接する内容に沿ったイントラ予測方向のように現在の部分に対する空間的な予測パラメータを決定しえ、映像１４1のそのフレームすでに再構成された部分は、後者を予測するための現在の部分に拡大され／コピーされる。
インター予測モジュール３８は、以前に再構成されたフレームから現在の部分を予測するために、動き補償を使用しうる、そして、それとともに含まれるインター予測パラメータは、動きベクトル、参照フレームインデックス、現在の部分に関する動き予測再分割情報、仮定番号、またはいくつかのそれらの組み合わせを含む。
結合器４０は、モジュール３６および３８によって提供された１以上の予測を結合し、または、単にその１つだけを選択しうる。結合器または選択器４０は、減算器２４の挿入入力、およびさらに加算器３０のそれぞれに現在の部分結果として得る予測を転送する。
減算器２４の出力において、現在の部分の予測の残差が出力され、量子化／変換モジュール２６は、変換係数の量子化とともに、この残差信号を変換するために構成される。変換は、例えば、ＤＴＣのようないくつかのスペクトルで分解している変換でありうる。量子化のため、量子化／変換モジュール２６の結果として得る処理は、非可逆的である。すなわち、符号化損失が生じる。モジュール２６の出力は、データストリームの範囲内に送信されるための残差信号４２1である。すべてのブロックが残差符号化に依存するわけではない。むしろ、いくつかの符号化モードは、残差符号化を抑制しうる。
残差信号４２1は、可能な限り、残差信号を再構成するために、すなわち、量子化雑音にもかかわらず、減算器２４による出力として残差信号に対応するために、モジュール２８において、逆量子化され、逆変換される。加算器３０は、加算によって現在の部分の予測とともにこの再構成された残差信号を結合する。他の結合も可能である。例えば、減算器２４は、比率の残差を測定するための除算器として作動することができ、そして、変形例によれば、加算器は、現在の部分を再構成するための乗算器として実装されうる。このように、加算器３０の出力は、現在の部分の予備の再構成を表す。しかしながら、モジュール３２におけるさらなる処理は、再構成を促進するために任意に使用されうる。この種のさらなる処理は、例えば、非ブロック化すること、適応フィルタリングなどを含みうる。利用可能なすべての再構成は、今までのところ、復号化画像バッファ３４においてバッファリングされる。このように、復号化画像バッファ３４は、映像１４1の以前に再構成されたフレーム、および以前に、現在の部分が属する現在のフレームの再構成された部分をバッファリングする。
データストリーム１８から多視点信号を再構成するためのデコーダを有効にするために、量子化／変換モジュール２６は、残差信号４２1をエンコーダ２０のマルチプレクサ４４に送る。同時に、予測モジュール３６は、イントラ予測パラメータ４６1をマルチプレクサ４４に送り、インター予測モジュール３８は、インター予測パラメータ４８1をマルチプレクサに送り、さらに、処理モジュール３２は、さらなる処理パラメータ５０1をマルチプレクサ４４に送り、順に、全てのこの情報は、データストリーム１８に多重送信するか、または挿入する。
図１の実施例による上記の説明から明らかになったので、符号化ブランチ２２v,1による映像１４1の符号化は、符号化が、奥行き／視差マップデータ１６1および他の視点１２2のいくらかのデータから独立しているという点で、必要なものが完備されている。より一般の観点で、符号化ブランチ２２v,1は、修正データ、すなわち、上述の残差信号４２1を得るために、符号化パラメータを決定すること、そして、第１の符号化パラメータにしたがって、映像１４1の以前に符号化された部分から映像１４1の現行部分を予測すること、現行部分の符号化された部分からエンコーダ２０によってデータストリーム１８に符号化されること、および現行部分の予測の予測エラーを決定することによって、データストリーム１８に符号化映像１４1とみなされる。符号化パラメータおよび修正データは、データストリーム１８に挿入される。
符号化ブランチ２２v,1によってデータストリーム１８に挿入される上述の符号化パラメータは、以下の１つまたは、全ての組み合わせを含みうる。
−第１に、映像１４1のための符号化パラメータは、簡潔に議論されるように、映像１４1のフレームのセグメンテーションを定義し／送信しうる。
−さらに、符号化パラメータは、各セグメンテーションまたは現在の部分のために示している符号化モード情報を含みうる。そして、符号化モードは、イントラ予測、インター予測、またはそれらの組み合わせのようなそれぞれのセグメントを予測するために使用されうる。
−符号化パラメータは、イントラ予測によって予測される部分／セグメントのためのイントラ予測パラメータ、およびインター予測された部分／セグメントのためのインター予測パラメータのような述べられた予測パラメータも含みうる。
−しかしながら、符号化パラメータは、加えて、復号器側にどのように現在、または映像１４1の以下の部分を予測するためにそれを用いる前に、すでに、映像１４1の再構成された部分を処理するかについて信号伝送するさらなる処理パラメータ５０1を含みうる。これらのさらなる処理パラメータ５０1は、それぞれのフィルタ、フィルタ係数等をインデックス付けするインデックスを含みうる。
−予測パラメータ４６1，４８1および更なる処理パラメータ５０1は、加えて、モード選択の精度を定義すること、または、更なる処理の範囲内におけるフレームの異なる部分に対する異なる適応フィルタの装置のような、完全に独立したセグメンテーションを定義する前述のセグメンテーションと関連してさらなるサブセグメンテーションを定義するために、サブセグメンテーションデータを含む。
−符号化パラメータは、残差信号の決定にも影響を与え、このように、残差信号４２1の一部でもありうる。例えば、量子化／変換モジュール２６により出力されたスペクトル変換係数レベルは、修正データとみなされるが、量子化ステップサイズは、同様に、データストリーム１８の範囲内に信号伝送され、量子化ステップサイズパラメータは、符号化パラメータとみなされうる。
−符号化パラメータは、上述される第１の予測ステージで予測残差の第２のステージの予測を定義する予測パラメータをさらに定義しうる。イントラ／インター予測は、この点で使用されうる。
符号化効率を増加させるために、エンコーダ２０は、全ての符号化パラメータおよび、例えば、それぞれのモジュールの下から符号化情報交換モジュール５２に示される垂直に伸びる矢印によって実例として示されるように、モジュール３６，３８および３２の範囲内における処理により影響する、または影響される更なる情報を受信する、符号化情報変換モジュール５２を含む。符号化情報変換モジュール５２は、ブランチがお互いから符号化パラメータを予測し、または適応するように、符号化パラメータおよび符号化ブランチ２２の間の任意の更なる符号化情報を分配する役割を果たす。図１の実施例において、命令は、この目的を達成するために、データエントリー、すなわち、多視点信号１０の視点１２1および１２2の映像および奥行き／視差マップデータの中で定義される。特に、第１の視点１２1の映像１４1は、映像１４2に続いて第１の視点の奥行き／視差マップデータ１６1、および、そして、第２の視点１２2の奥行き／視差マップデータ１６2などに先行する。多視点信号１０のデータ要素の中のこの厳命は、全ての多視点信号１０の符号化のために厳しく適用される必要がない点に留意されたい。しかし、より簡単な考察のために、以下において、この命令が一定であると仮定される。データ要素の中の命令は、また、当然それとともに関連するブランチ２２の中の命令を定義する。
既に上で示されるように、符号化ブランチ２２d,1，２２v,2および２２d,2のような更なる符号化ブランチ２２は、それぞれの入力１６1，１４2および１６2をそれぞれ符号化するために符号化ブランチ２２v,1と同様に作動する。しかしながら、映像および視点１２1および１２2のそれぞれの奥行き／視差マップ１６1の中の言及された命令、ならびに符号化ブランチ２２の中で定義される対応する命令が原因のため、例えば、符号化ブランチ２２d,1は、第１の視点１２1の奥行き／視差マップの現在の部分を符号化するために使用されるために予測符号化パラメータにおいて付加的な自由を有する。これは、異なる視点の映像および奥行き／視差マップデータのうちの上記の命令のためである。例えば、これらの要素の各々は、これらのデータ要素の中の前述の命令において先立ってその要素と同様にそれ自体の再構成された部分を符号化されうる。したがって、奥行き／視差マップデータ１６1の符号化において、符号化ブランチ２２d,1は、対応する映像１４1の以前に再構成された部分から公知の情報を使用するために許容される。ブランチ２２d,1が、奥行き／視差マップデータ１６1の若干の特性を予測するために、映像１４1の再構成された部分を利用し、そして、それは、奥行き／視差マップデータ１６1の圧縮のより良好な圧縮率を可能にし、理論的には無制限である。例えば、符号化ブランチ２２d,1は、奥行き／視差マップデータ１６1を符号化に対する符号化パラメータを得るために、上述したように映像１４1を符号化することに関係する符号化パラメータを予測／適応されうる。適応の場合には、データストリーム１８の範囲内における奥行き／視差データマップ１６1に関するいくつかの符号化パラメータの信号伝送が、抑制されうる。予測の場合には、単に、これらの符号化パラメータに関する予測残差／修正データだけが、データストリーム１８の範囲内において信号伝送されなければならない。また、そのような符号化パラメータの予測／適応がさらに以下に記載される。
意外なことに、モジュール３６および３８に関して上記のモードに加えて、符号化ブランチ２２d,1は、奥行き／視差マップ１６1のブロックを符号化することが利用できる付加的な符号化モードを有しうる。このような付加的な符号化モードは、さらに、以下において記載され、不規則性ブロック分割モードに関する。代替の視点において、以下の記載のように、不規則性分割は、ブロック／パーティションへの奥行き／視差マップの再分割の継続とみなされうる。
どんな場合でも、付加的な予測機能は、次のデータ要素、すなわち、第２の視点１２2の映像１４2および奥行き／視差マップデータ１６2のために存在する。これらの符号化ブランチに関して、そのインター予測モジュールは、時間的な予測を実行するだけでなく、視点間予測を実行しうる。対応するインター予測パラメータは、時間的な予測と、すなわち、視点間予測セグメント、視差ベクトル、視点インデックス、参照フレームインデックス、および／または仮説の数の表示、すなわち、合計によって視点間予測を形成することにおける加入しているインター予測の数の表示と、比較するように、同様の情報を含む。このような視点間予測は、映像１４2に関するブランチ２２v,2でなく、奥行き／視差マップデータ１６2に関するブランチ２２d,2のインター予測モジュール３８のために利用可能である。当然ながら、これらのインター予測パラメータも、しかしながら、図１に示されない可能性がある３つの視点の次の視点データのために適応／予測の根拠として役立ちうる符号化パラメータを表す。
上記の程度に起因して、マルチプレクサ４４によって、データストリーム１８に挿入されるデータ量は、さらに低下する。特に、符号化ブランチ２２d,1，２２v,2および２２d,2の符号化パラメータの量は、先行する符号化ブランチの符号化パラメータを適応するか、または、単に、それに関係する予測残差を挿入するかによって大きく減少されうる。時間的およびインター予測のどちらかを選ぶ能力のため、符号化ブランチ２２v,2および２２d,2の残差データ４２3および４２4の量がより低下もする。残差データの量の減少は、時間的および視点間予測モードを区別する際の付加的な符号化効果を過度に補償する。
更に詳細に符号化パラメータの適応／予測の原則を説明するために、参照が図２にされる。図２は、多視点信号１０の典型的な部分を示す。図２は、セグメントまたは部分６０ａ，６０ｂおよび６０ｃにセグメント化される場合、映像フレームｖ1,tを示す。単純化の理由のため、フレームｖ1,tの３つの部分のみが示される。ただし、セグメンテーションは、フレームをセグメント／部分に、継ぎ目なくおよびギャップなく分離しうる。前述したように、映像フレームｖ1,tのセグメンテーションは、修正され、または時間内に変化され、そして、セグメンテーションは、データストリームの範囲内で信号伝送されるか、またはされない。図２は、部分６０ａおよび６０ｂがこの場合において、見本となるようなフレームｖ1,t-1である映像１４1のいくつかの参照フレームの再構成されたバージョンからも動きベクトル６２ａおよび６２ｂを使用して時間的に予測されることを示す。周知のように、映像１４1のフレームの中の符号化命令は、これらのフレームの中の表現命令と一致されえない。そして、従って、参照フレームは、表示時間命令６４における現行フレームｖ1,tに続きうる。例えば、部分６０ｃは、イントラ予測パラメータがデータストリーム１８に挿入されるためのイントラ予測された部分である。
奥行き／視差マップｄ1,tの符号化において、符号化ブランチ２２d,1は、図２に関して、以下において例示される下記の１つ以上の上述の可能性を利用しうる。
−例えば、奥行き／視差マップｄ1,tの符号化において、符号化ブランチ２２d,1は、符号化ブランチ２２v,1によって使用されるように、映像フレームｖ1,tのセグメンテーションを適応しうる。従って、映像フレームｖ1,tのための符号化パラメータの範囲内におけるセグメンテーションパラメータがある場合、奥行き／視差マップデータｄ1,tのためにその再送信が回避されうる。あるいは、符号化ブランチ２２d,1は、データストリーム１８を介して映像フレームｖ1,tと関連してセグメンテーションの偏差の信号を伝送することに関する奥行き／視差マップｄ1,tのために使用されるセグメンテーションの基礎／予測として、映像フレームｖ1,tのセグメンテーションを使用しうる。図２は、符号化ブランチ２２d,1が奥行き／視差マップｄ1,tのプリセグメンテーションとして映像フレームｖ1,tのセグメンテーションを使用するという場合を例示する。すなわち、符号化ブランチ２２d,1は、映像ｖ1,tのセグメンテーションからプリセグメント化を適応するかまたはそこからプリセグメントテーションを予測する。
−更に、符号化ブランチ２２d,1は、映像フレームｖ1,tにおけるそれぞれの部分６０ａ，６０ｂおよび６０ｃに割り当てられる符号化モードから、奥行き／視差マップｄ1,tの部分６６ａ，６６ｂおよび６６ｃの符号化モードを適応するかまたは予測しうる。映像フレームｖ1,tと奥行き／視差マップｄ1,tとの間の異なるセグメンテーションの場合において、映像フレームｖ1,tからの符号化モードの適応／予測が、映像フレームｖ1,tのセグメンテーションの同じ場所に位置された部分から得られるように、映像フレームｖ1,tからの符号化モードの選択／予測は制御されうる。同じ場所に位置することの適切な定義は、以下の通りである。奥行き／視差マップｄ1,tにおける現行部分に対する映像フレームｖ1,tにおける同じ場所に位置された部分は、例えば、奥行き／視差マップｄ1,tにおける現行フレームの左上の角で同じ場所に位置される部分を含んでいる。符号化モードの予測の場合において、符号化ブランチ２２d,1は、データストリーム１８の範囲内において、明示的に信号伝送される映像フレームｖ1,tの範囲内における符号化モードに関連して奥行き／視差マップｄ1,tの部分６６ａ〜６６ｃの符号化モードの偏差の信号伝送しうる。
−予測パラメータに関する限り、符号化ブランチ２２d,1は、同じ奥行き／視差マップｄ1,tの範囲内において隣接した部分を符号化するために使用される予測パラメータを空間的に、適応または予測するため、または、映像フレームｖ1,tの同じ場所に位置される部分６０ａ〜６０ｃを符号化するために使用される予測パラメータからそれを適応／予測する自由を有する。例えば、図２は、奥行き／視差マップｄ1,tの部分６６ａがインター予測部分であり、そして、対応する動きベクトル６８ａが、映像フレームｖ1,tの同じ場所に位置される部分６０ａの動きベクトル６２ａから適応または予測されうることを例示する。予測の場合において、単に動きベクトルの差だけが、インター予測パラメータ４８2の一部として、データストリーム１８に挿入される。
−符号化効率に関して、符号化ブランチ２２d,1が不規則性ブロック分割を使用している奥行き／視差マップｄ1,tのプリセグメンテーションのセグメントを再分割するための能力を有することは、有利であるだろう。同じ視点の再構成された画像ｖ1,tから、ウェジレット分離線分７０のようなパーティション情報を導出するために、さらに以下において記載される実施例のいくつかの不規則性ブロック分割モードが参照される。この基準によって、奥行き／視差マップｄ1,tのプリセグメンテーションのブロックが、再分割される。例えば、奥行き／視差マップｄ1,tのブロック６６ｃ、２つのウェジレット形のパーティション７２ａおよび７２ｂに再分割される。符号化ブランチ２２d,1は、これらのサブセグメント７２ａおよび７２ｂを別々に符号化するために構成されうる。図２の場合、両方のサブセグメント７２ａおよび７２ｂは、それぞれの動きベクトル６８ｃおよび６８ｄを使用して、インター予測されることを見本として示される。セクション３および４によると、符号化ブランチ２２d,1は、不規則性ブロック分割のためのいくつかの符号化オプションのどちらかを選択し、そして、データストリーム１８の範囲内においてサイド情報としてデコーダに選択の信号伝送するための自由を有しうる。
映像１４2の符号化において、符号化ブランチ２２v,1が利用できる符号化モードに加えて、符号化ブランチ２２v,2は、視点間予測のオプションを有する。
例えば、図２は、映像フレームｖ2,tのセグメンテーションの部分６４ｂが視差ベクトル７６を使用する第１の視点映像１４1の時間的に対応する映像フレームｖ1,tからの視点間予測であることを例示する。
この違いにもかかわらず、符号化ブランチ２２v,2は、加えて、特に、これらの符号化において使用される符号化パラメータのような映像フレームｖ1,tの符号化および奥行き／視差マップｄ1,tを形成する全ての利用可能な情報を有効に使用しうる。したがって、符号化ブランチ２２v,2は、位置合わせした映像フレームｖ1,tおよび奥行き／視差マップｄ1,tのそれぞれの同じ場所に位置する部分６０ａおよび６６ａの動きベクトル６２ａおよび６８のいくつかまたは組み合わせから映像フレームｖ2,tの時間的にインター予測された部分７４ａのための動きベクトル７８を含む動きパラメータを適応しまたは予測しうる。あるとしても、予測残差は、部分７４ａに対するインター予測パラメータに関して信号伝送される。この点に関しては、動きベクトル６８ａは、動きベクトル６２ａそれ自身から予測／適応にすでに受けさせることが、取り消されなければならない。
映像フレームｖ1,tおよび対応する奥行き／視差マップｄ1,tの両方の符号化パラメータが利用可能であるので、モジュール５２によって配信される利用可能な共通のデータが増加するとともに、その上、奥行き／視差マップｄ1,tの符号化に関して、上述したように、映像フレームｖ2,tを符号化するための適応／予測符号化パラメータの他の可能性は、符号化ブランチ２２v,2によって映像フレームｖ2,tの符号化に適用できる。
それから、符号化ブランチ２２d,2は、符号化ブランチ２２d,1によって奥行き／視差マップｄ1,tの符号化と同様に、奥行き／視差マップｄ2,tを符号化する。これは、例えば、同じ視点１２2の映像フレームｖ2,tから、符号化パラメータ適応／予測の場合の全てに関して、真である。しかしながら、加えて、符号化ブランチ２２d,2は、以前の視点１２1の奥行き／視差マップｄ1,tを符号化するために使用されていた符号化パラメータから符号化パラメータを適応し／予測するため機会も有する。加えて、符号化ブランチ２２d,2は、符号化ブランチ２２v,2に関して説明されるように、視点間予測を使用しうる。
図１のエンコーダ２０を記載した後、それは、例えば、ソフトウェア、ハードウェアまたはファームウェア、すなわち、プログラム可能なハードウェアにおいて実装されうる点に留意されたい。図１のブロックダイヤグラムは、エンコーダ２０が、構造的に並列符号化ブランチ、すなわち、映像毎の１つの符号化ブランチおよび多視点信号１０の奥行き／視差マップを含むことを示唆するにもかかわらず、これが事実である必要はない。例えば、要素２４〜４０のタスクを実行するように構成されるソフトウェアルーチン、回路部またはプログラム可能な論理部は、それぞれ、符号化ブランチの各々のためのタスクを成し遂げるために順次使用されうる。並列処理において、並列符号化ブランチの処理は、並行プロセッサコアまたは並行ランニング回路構成において実行されうる。
図３は、例えば、データストリーム１８から多視点信号によって表される場面に対応する１つまたはいくつかの視点映像を再構成するためにデータストリーム１８の復号化することができるデコーダを示す。大部分は、図１の引用符号が、図１に関しても上で設けられる機能性の記載が図３にも適用されることを示すために、出来るだけ再利用されるように、図３のデコーダの構造および機能性は、図２０のエンコーダと類似する。
図３のデコーダは、通常、引用符号１００によって示され、データストリーム１８のための入力および上記の１つまたはいくつかの視点１０２の再構成を出力するための出力を含む。デコーダ１００は、視点抽出器１０８および符号化パラメータ交換器１１０と同様に、データストリーム１８によって表される多視点信号１０（図１）のデータ要素の各々のためのデマルチプレクサ１０４および一対の復号化ブランチ１０６を含む。図１のエンコーダを有するケースであったように、復号化ブランチ１０６は、同じ相互接続において同じ復号化要素を含む。そして、それは、したがって、典型的に、第１の視点１２1の映像１４1の復号化のための原因である復号化ブランチ１０６v,1に関して記載される。特に、各符号化ブランチ１０６は、多視点信号１０、すなわち、復号化ブランチ１０６v,1のケースにおける映像１４1のそれぞれのデータ要素を視点抽出器１０８に出力するために、マルチプレクサ１０４のそれぞれの出力に接続される入力、および視点抽出器１０８のそれぞれの入力に接続される出力を含む。その間に、各符号化ブランチ１０６は、逆量子化／逆変換モジュール２８、加算器３０、さらなる処理モジュール３２、およびマルチプレクサ１０４および視点抽出器１０８との間に連続的に接続される復号化画像バッファ３４を含む。加算器３０は、さらなる処理モジュール３２および復号化画像バッファ３４は、復号化画像バッファ３４およびさらに加算器３０の入力との間に、予測モジュール３６および３８の並行接続の後に続く結合器／セレクタ４０とともにループを形成する。図１の場合のように同じ参照番号を用いて示されるように、復号化ブランチ１０６の要素２８〜４０の構造および機能性は、復号化ブランチ１０６の要素が、データストリーム１８の範囲内において、伝達される情報の使用によって符号化処理の処理をエミュレートする点において、図１における符号化ブランチの対応する要素と類似する。当然、復号化ブランチ１０６は、単にエンコーダ２０によって、最終的に選択される符号化パラメータに関して符号化手順を逆転させるだけであるが、図１のエンコーダ２０は、符号化パラメータの最適セットを、任意に、特定の制約（例えば、最大ビットレート等）に従属することに関するレート／歪曲コスト関数を最適化している符号化パラメータのような若干の最適化の意味で求めなければならない。
デマルチプレクサ１０４は、データストリーム１８をさまざまな復号化ブランチ１０６に分配するためにある。例えば、デマルチプレクサ１０４は、残差データ４２1を有する逆量子化／逆変換モジュール２８、さらなる処理パラメータ５０1を有するさらなる処理モジュール３２、イントラ予測パラメータ４６1を有するイントラ予測モジュール３６、およびインター予測モジュール４８1を有するインター予測モジュール３８に提供する。符号化パラメータ交換器１１０は、共通の符号化パラメータおよび様々な復号化ブランチ１０６の間の他の共通データを分配するために、図１の対応するモジュール５２のような作動する。
視点抽出器１０８は、並列の復号化ブランチ１０６によって再構成されるように多視点信号を受信し、そして、外部的に設けられている中間の抽出制御データ１１２によって定められる視点角または観察方向に対応する１つまたはいくつかの視点１０２をそれらから抽出する。
エンコーダ２０の対応する部分と関連するデコーダ１００の類似の構造のため、視点抽出器１０８に対するインタフェースまでのその機能性は、類似して、上記の記載に容易に説明される。
事実、復号化ブランチ１０６v,1および１０６d,1は、（４２1を有するスケーリングパラメータ、パラメータ４６1，４８1，５０1、および対応する非適応のパラメータ、および予測残差、第２のブランチ１６d,1の符号化パラメータ、すなわち、４２2、パラメータ４６2，４８2，５０2のような）データストリーム１８において含まれる第１の符号化パラメータにしたがって、多視点信号１０の以前の再構成された部分から第１の視点１２1の現行部分を予測すること、第１の視点１２1の現行部分の再構成の以前のデータストリーム１８から再構成され、およびデータストリーム１８において含まれる４２1および４２2の範囲内における第１の修正データを使用して第１の視点１２1の現行部分の予測の予測エラーを修正することによって、データストリーム１８から多視点信号１０の第１の視点１２1を再構成するために一緒に作動する。復号化ブランチ１０６v,1は、映像１４1を復号化する役割を果たす一方、符号化ブランチ１０６d,1は、奥行き／視差マップ１６1を再構成することに対する責任を負う。例えば、図２を参照されたい。復号化ブランチ１０６v,1は、データストリーム１８、すなわち、４２1を有するスケーリングパラメータ、パラメータ４６1，４８1，５０1から読み込まれた対応する符号化パラメータにしたがって、多視点信号１０の以前に再構成された部分からの６０ａ，６０ｂまたは６０ｃのような、映像１４1の現行部分を予測し、そして、データストリーム１８から、すなわち、４２1の範囲内における変換係数レベルから得られる、対応する修正データを使用してこの予測の予測エラーを修正することによって、データストリーム１８から第１の視点１２1の映像１４1を再構成する。例えば、復号化ブランチ１０６v,1は、映像フレームの間の符号化順序、および、フレームの範囲内におけるセグメントの符号化のために、エンコーダの対応する符号化ブランチのようなこれらのフレームのセグメントの間における符号化のために使用するセグメント／部分の単位における映像１４1を処理する。したがって、映像１４1の全ての以前に再構成された部分は、現行部分に対して予測するために利用可能である。現行部分の符号化パラメータは、１つ以上のイントラ予測パラメータ５０1、インター予測パラメータ４８1、さらなる処理モジュール３２のためのフィルタパラメータ等を含みうる。予測エラーを修正するための修正データは、残差データ４２1の範囲内におけるスペクトル変換係数レベルによって表されうる。符号化パラメータのこれらのすべてが、全部送信されるものに必要であるわけではない。それらのいくつかは、映像１４1の隣接したセグメントの符号化パラメータから空間的に予測されうる。例えば、映像１４1に対する動きベクトルは、映像１４1の隣接した部分／セグメントの動きベクトルの間の差の動きベクトルとしてビットストリームの範囲内において送信されうる。
第２の復号化ブランチ１０６d,1に関する限り、それは、残差データ４２2および対応する予測およびデータストリーム１８の範囲内における信号を伝送するようなフィルタパラメータおよびデマルチプレクサ１０４、すなわち、視点間の境界を横切ることによって予測されない符号化パラメータによってそれぞれの復号化ブランチ１０６d,1に分配されるだけでなく、符号化パラメータおよびデマルチプレクサ１０４を介して復号化ブランチ１０６v,1に提供された修正データ、または符号化情報変換モジュール１１０を介して分配されるようないかなる情報を経ても、アクセスされうる。このように、復号化ブランチ１０６d,1は、デマルチプレクサ１０４を介して送られる符号化パラメータの部分から第１の視点１２1に対する復号化ブランチ１０６v,1および１０６d,1のペアに、奥行き／視差マップ１６1を再構成するためのその符号化パラメータを決定する。そして、それは、部分的に、復号化ブランチ１０６v,1に費やされ、そして、送られるこれらの符号化パラメータの部分に重なる。例えば、一方、フレームｖ1,tの他の隣接した部分に対する動きベクトル差として、他方、４８2の範囲内において明示的に送信される動きベクトルの差として、例えば、４８1の範囲内において明示的に送信される動きベクトル６２ａから動きベクトル６８ａを決定する。加えて、または、代案として、復号化ブランチ１０６d,1は、奥行き／視差マップデータ１６1の復号化に関して一時的に、上記のように、不規則性ブロック分割を導出するためにウェッジレット分離線分の予測に関して、上述したように映像１４1の再構成された部分を使用しうる。そして、以下において、より詳細に概説される。
さらに、具体的に、復号化ブランチ１０６d,1は、少なくとも部分的に復号化ブランチ１０６v,1（または、そこから適応される）によって使用される符号化パラメータから予測されて、および／または復号化ブランチ１０６v,1の復号化画像バッファ３４における映像１４1の再構成された部分から予測される符号化パラメータの使用によってデータストリームから第１の視点１２1の奥行き／視差マップ１４1を再構成する。符号化パラメータの予測残差は、データストリーム１８からデマルチプレクサ１０４を介して得られうる。復号化ブランチ１０６d,1のための他の符号化パラメータは、完全にデータストリーム１０８の範囲内に送信されうるか、または、他の基準について、すなわち、符号化のために使用された符号化パラメータに、奥行き／視差マップデータ１６1自身の以前に再構成された部分のいくつかを参照にする。これらの符号化パラメータに基づいて、復号化ブランチ１０６d,1は、奥行き／視差マップデータ１６1の以前の再構成された部分から奥行き／視差マップデータ１４1の現行部分を予測し、奥行き／視差マップデータ１６1の現行部分の再構成の前に復号化ブランチ１０６d,1、によってデータストリーム１８から再構成され、そして、それぞれの修正データ４２2を使用して奥行き／視差マップデータ１６1の現行部分の予測の予測エラーを修正する。
符号化に関してすでに上述したように、第２の視点１２2に対する復号化ブランチ１０６v,2および１０６d,2のペアの機能性は、第１の視点１２1の場合と同様である。両方のブランチは、特有の符号化パラメータの使用によって、データストリーム１８から多視点信号１０の第２の視点１２2を再構成するために協働する。単に、これらの符号化パラメータの一部だけは、これらの２つの復号化ブランチ１０６v,2および１０６d,2のいずれかにデマルチプレクサ１０４を介して送信され、そして分配されることを必要とする。そして、それは、視点１４1および１４2、そして、任意に視点間予測された部分の残差の間の視点の境界全体を適応／予測されない。第２の視点１２2の現行部分は、多視点信号１０の以前に再構成された部分から予測され、第２の視点１２2のそれぞれの現行部分の再構成の前に復号化ブランチ１０６のいずれかによってデータストリーム１８から再構成され、そして、したがって、復号化ブランチ１０６v,2および１０６d,2のこのペアにデマルチプレクサ１０４によって送られる修正データ、すなわち、４２3および４２4を使用して予測エラーを修正する。
復号化ブランチ１０６d,2は、復号化ブランチ１０６v,1，１０６d,1および１０６v,2のいずれかによって使用された符号化パラメータから、再構成された映像１４2および／または第１の視点１２1の再構成された奥行き／視差マップデータ１６1から少なくとも部分的に適応／予測によってその符号化パラメータを決定しうる。例えば、現行部分８０ｂが映像１４1、奥行き／視差マップデータ１６1および映像１４2またはそれらの真部分集合のいずれかの同じ場所に位置する部分から適応または予測されるかどうか、または部分に関して、データストリーム１８は、奥行き／視差マップデータ１６2の現行部分８０ｂに対して信号伝送する。例えば、これらの符号化パラメータの感心のある部分は、８４のような動きベクトル、または視差ベクトル８２のような視差ベクトルを含みうる。さらに、不規則性分割されたブロックについて、他の符号化パラメータは、復号化ブランチ１０６d,2によって導出されうる。
いずれにせよ、多視点データ１０の再構成された部分は、その中で含まれる視点が、新しい視点、すなわち、例えば、これら新しい視点に関連した映像の視点抽出に基づく視点抽出器１０８に届く。この視点抽出は、それとともに関連した奥行き／視差マップデータを使用することによって、映像１４1および１４2の再投射を含むか、あるいはともないうる。率直に言って、他の中間視点への映像の再投射において、視聴者により近くに位置される場面部分に対応する映像の部分は、視聴者の位置からより遠くに位置する場面部分に対応する映像の部分より、視差方向、すなわち、方向の異なるベクトル視差方向に沿ってシフトされる。
デコーダが視点抽出器１０８を必ずしも含む必要はないと述べられなければならない。むしろ、視点抽出器１０８は、なくてもよい。この場合、デコーダ１００は、単に、それらのうちの１つ、いくつかまたは全体のような、視点１２1および１２2のいずれかを再構成するためである。奥行き／視差データが個々の視点１２1および１２2に対して存在しない場合において、視点抽出器１０８は、にもかかわらず、互いに隣接した視点の対応する部分を各々と関連づけている視差ベクトルを有効に使用することによって、中間視点抽出を実行しうる。隣接した視点の映像と関連した視差ベクトル場の視差ベクトルをサポートするようにこれらの視差ベクトルを使用して、視点抽出器１０８は、この視差ベクトル場を適用することによって、隣接した視点１２1および１２2のそのような映像から中間視点映像を構築しうる。例えば、映像フレームｖ2,tは、その部分／セグメントの視点間予測の５０％を有することを仮定する。すなわち、部分／セグメントの５０％に対して、視差ベクトルが存在する。残った部分のために、視差ベクトルは、空間印象における補間／外挿により、視点抽出器１０８によって決定されうる。映像１４2の以前に再構成されたフレームの部分／セグメントのための視差ベクトルを使用する時間的補間も使用されうる。映像フレームｖ2,tおよび／または参照映像フレームｖ1,tは、それから、中間視点を得るために、これらの視差ベクトルに従って歪められうる。この目的を達成するために、視差ベクトルは、第１の視点１２1および第２の視点１２2の視点位置との間の中間視点の中間視点位置に従って、スケールされる。この手順に関する詳細は、以下にさらに詳細に概説される。
しかしながら、単に、映像を含む１つの視点の符号化および上記に概説された実施例の第１の視点１２1のような対応する奥行き／視差マップデータである場合、以下に概説された実施例は、図１〜３のフレームワークにおいて有利に使用されうる。その場合、送信された信号情報、すなわち、単一の視点１２1は、視点合成に対応した信号、すなわち、視点合成を可能にする信号と呼ばれうる。奥行き／視差マップデータ１６1を有する映像１４1を加えることは、奥行き／視差マップデータ１６1を有効に使用することによって、隣接する新しい視点に再度投影する視点１２1によって視点合成のいくつかのソートを実行するために視点抽出器１０８を可能にする。符号化効率のゲインは、不規則性ブロック分割を使用することによって得られる。また、さらに、以下に記載される不規則性ブロック分割は、上記に記載される態様の視点間符号化情報の交換から、単一の視点の符号化概念の独立の範囲内において使用されうる。具体的には、図１〜３の上記の実施例は、ブランチ２２，１００v/d,2および関連する視点１２2が見当たらない範囲まで、変化しうる。
このように、図１〜３は、その後説明された不規則性ブロック分割が有利に使用されうる多視点符号化概念のための実施例を示した。しかしながら、以下に記載される符号化モードが、他の種類のサンプルアレイ符号化と関連して使用されうると、再び、強調され、サンプルアレイにかかわりなく、奥行き／視差マップであるか、そうではない。以下に記載される符号化モードは、対応するテクスチャマップに加えて奥行き／視差マップの共存さえ必要としない。
特に、以下で概説される実施例は、若干の符号化モードを含み、それによって、ブロックの信号は、信号のサンプルを２セットのサンプルに分けて、そして、固定サンプル値によってサンプルの各一組を表すモデルによって表される。以下で説明された符号化モードのいくつかが、ブロックの信号を直接表すために使用されるか、または、付加的な残差情報（例えば、変換係数レベル）の符号化によってさらにリファインされるブロックのための予測信号を生成するために使用されうる。その後説明された符号化モードのうちの１つが、奥行き信号に適用される場合、他の良好な面に加えて、有利な点は、奥行き信号が、徐々に変化する領域の間において徐々に変化する領域および鋭いエッジによって主に特徴付けられるという事実から結果として得られうる。徐々に変化する領域は、変換符号化アプローチ（すなわち、ＤＣＴに基づく）によって効率的に表されうる一方、２つのほぼ固定領域における鋭いエッジの表現は、符号化される多数の変換係数を必要とする。以下に概説されるいくつかの実施例に関して記載されるように、エッジを含むこの種のブロックは、２つの領域（各々固定サンプル値を有する）にブロックを分けるモデルを使用することによってよりよく表されうる。
以下において、本発明の異なる実施例は、さらに詳細に記載される。セクション１および２において、ブロックを固定サンプル値の２つの領域に分割するための基本概念が記載される。セクション３は、ブロックが異なる領域にどのように分割されるか、およびどのようなパラメータが領域に対するサンプル値と同様に分割を表すために送信されることを必要とするか特定するための異なる実施例を記載する。実施例は、他のいかなるブロックから独立している分割情報の信号伝送するため、空間的に隣接したブロックのための送信されたデータに基づいて分割情報の信号伝送するため、および符号化される奥行きマップに関するすでに送信されたテクスチャ画像（従来の映像の画像）に基づく分割情報の信号伝送するための概念を含む。そして、セクション４は、不規則に配置されたブロックを扱うための若干の実施例と関係しているモード情報、分割情報および固定サンプル値の符号化に関して、本発明の実施例を記載する。
以下の説明が、主に、（特に、多視点映像符号化の内容において）奥行きマップの符号化に対して対象とされ、そして、以下の説明が、所与の奥行きブロックに基づくにもかかわらず、本発明のいくつかの実施例は、従来の映像符号化に対しても適用されうる。それ故に、用語「奥行きブロック」が、一般的用語「信号ブロック」に置き換えられる場合、記載が、他の信号タイプに適用されうる。さらにまた、以下の記載は、時々正方形のブロックに集中するが、しかし、本発明は、矩形ブロックまたはサンプルの他に接続され、または単接続のセットにも適用されうる。
１．ウェッジレット
ブロックベースのハイブリッド映像符号化において、例えば、図１〜３に示されるように、フレームは、矩形ブロックにおいて再分割される。しばしば、これらのブロックは正方形であり、そして、各ブロックのための処理は、同じ機能的構造に従う。このセクションの大部分の実施例は正方形のブロックを使用するけれども、ウェッジレットブロックパーティションおよびすべての関連した方法は、正方形のブロックに限られているというわけではなく、如何なる矩形のブロックサイズに対してもむしろ可能である点に留意されたい。
１．１ ウェッジレットブロックパーティション
ウェッジレットブロックパーティションの基本的な原則は、図４において例示されるように、線分２０１によって分離されるようにブロック２００の領域を２つの領域２０２ａ，２０２ｂに分割することである。ここで、２つの領域は、Ｐ1およびＰ2を示すラベルがつけられる。分離線分は、開始点Ｓおよび終了点Ｅによって決定され、いずれもブロックの境界上に設置される。時々、以下において、領域Ｐ1は、ウェッジレットパーティション２０２ａと呼ばれ、一方、領域Ｐ2は、ウェッジレットパーティション２０２ｂと呼ばれる。
連続的な信号空間に対して（図４の左側参照）、開始点の位置は、Ｓ（ｘS，ｙS）であり、終了点の位置は、Ｅ（ｘE，ｙE）であり、いずれのブロックサイズの制限は、０≦ｘ≦ｘEおよび０≦ｙ≦ｙEである（ここで、座標のうちの１つは、最小値（０）または最大値（ｘEまたはｙE）に等しくなければならない。）。これらの定義によれば、分離線分の方程式は、以下の通りである：
Figure 2019134466
この方程式は、ｘS≠ｘEに対してのみ有効であることに留意されたい。そのとき、２つの領域Ｐ1およびＰ2は、それぞれ線分の左のエリアおよび右のエリアとして定義される。
通常、デジタル画像処理において、たいてい、個々に分離した信号空間（図４の右側を参照）が使用され、ここで、ブロックは、グリッド正方形で例示されるサンプル２０３の整数で構成される。ここで、開始点および終了点ＳおよびＥは、位置Ｓ（ｕS，ｖS）およびＥ（ｕE，ｖE）を有するブロック２００のサンプルに接しているために一致し、いずれのブロックサイズの制限は、０≦ｘ≦ｕE、および０≦ｙ≦ｖEである。個々に分離した場合において、分離線分の方程式は、式（１）に従って定式化されうる。しかしながら、図４の右において例示されるように、完全なサンプルのみが、２つの領域の部分として割り当てられるように、領域Ｐ1およびＰ2の定義は、ここでは異なる。この割り当ての問題は、セクション１．４．１において記載されるように、アルゴリズム的に解決されうる。
ウェッジレットブロックパーティション２０２ａ，２０２ｂは、ブロック２００の異なるエッジに位置するように、開始点および終了点２０４を必要とする。従って、図５において例示されるように、ウェッジレットブロックパーティション２０２ａ，２０２ｂの６つの異なる幾何学的配置が、矩形または正方形ブロック２００によって区別される。
１．２ ウェッジレットパーティションパターン
符号化処理におけるウェッジレットブロックパーティションを使用するために、パーティション情報は、パーティションパターンの形式で格納されうる。この種のパターンは、サイズのアレイｕB×ｖBからなり、そして、一致しているサンプルが領域Ｐ1またはＰ2に帰属するかどうか、各要素は、バイナリ情報を含む。図６は、例えば、異なるブロックサイズのウェッジレットパーティションパターンを示す。ここで、バイナリ領域情報、すなわち、２つのセグメンテーションは、サンプル２０３を黒または白によって表される。
１．３ ウェッジレットモデリングおよび近似
ウェッジレットをともなって１ブロックの奥行き信号のモデリングのために、必要情報は、概念的に２つの要素からなる。例えば、パーティションパターンの形式において、一方は、パーティション情報（セクション１．１を参照）であり、そして、それは、２つの領域（セクション１．２を参照）の１つに各サンプル２０３を割り当てる。必要な他の情報要素は、領域のサンプルに割り当てられる値である。２つのウェッジレット領域の各々の値は、定数として定義されうる。これは、いくつかの以下において概説される実施例である。このように、この値は、固定パーティション値（ＣＰＶ）として参照する。その場合、第２の情報要素は、指定された領域のための２つの代表的なサンプルを構成する。
ウェッジレットによって奥行きブロックの信号に近づけるために、図７において示すように、所与のパーティションのＣＰＶは、対応する領域の元の奥行き信号の平均値として算出されうる。図７の左側において、代表的な奥行きマップ以外のグレースケールの部分が示される。現在、ウェッジレットベースの分割の対象であるブロック２００が、見本として示される。特に、拡大されたグレースケールバージョンと同様に、元の奥行き信号２０５の範囲内におけるその図示する位置が示される。第１に、パーティション情報、すなわち、考えられる２つのセグメンテーションの領域Ｐ1およびＰ2が、ブロック２００に覆われる。それから、１つの領域のＣＰＶは、それぞれの領域によってカバーされた全てのサンプルの平均値として算出される。図５における実施例のパーティション情報がよく奥行き信号２０５に合致する場合、領域Ｐ1（濃いグレー）に対する低いＣＰＶおよび領域Ｐ2（薄いグレー）に対する高いＣＰＶを有するウェッジレットモデル、すなわち、概説されたウェッジレット分割モードに基づくブロック２００の予測を結果として得ることは、奥行きブロックの良好な近似を表す。
１．４ ウェッジレット処理
１．４．１ ウェッジレットパターンリスト
ウェッジレットブロックパーティションの効率的な処理および信号の伝送の目的のために、パーティションパターンは、ルックアップ・リストにおいて体系化されうる。ウェッジレットパターンリストは、領域の分離線分のための開始点の位置および終了点の位置のすべての可能な組み合わせに対するパターンを含み、または、全ての可能な組み合わせの適切なサブセットを含む。このように、１つのルックアップ・リストは、各予測ブロックサイズに対して生成されうる。特定のブロックサイズのリストの範囲内における特定のパターンの位置またはインデックスに依存しているエンコーダおよびデコーダ（詳細はセクション３を参照）の間における信号伝送することを可能にするために、同一のリストが、エンコーダおよびデコーダにおいて利用可能にされうる。これは、パターンの定義済みセットを含むことによっても、エンコーダおよびデコーダの初期設定の一部として、同一の生成アルゴリズムを実行することによっても実装されうる。
図８において例示されるように、ウェッジレットパーティションパターン・ルックアップ・リストを作成するための中心的な機能は、１つのリスト要素の生成である。これは、以下において説明するように（または、類似のアルゴリズムによって）、実現されうる。空のパターン（バイナリ要素のｕB×ｖBアレイ）並びに、開始点Ｓおよび終了点Ｅの座標（図８の左）が与えられ、第１のステップは、分離線分を描画することである。この目的のために、ブレゼンハムの線分アルゴリズムが適用されうる。一般に、アルゴリズムは、サンプル２０３が２つの所与の点の間の直線に近い近似を形成するためにプロットされる。ウェッジレットパーティションパターンの場合、開始点Ｓおよび終了点Ｅの間の線分に近い全ての要素２０３がマークされる（図８（中間の左）における黒色のボックス）。最後のステップは、マークされたサンプルによって結果として得ている分離された２つの領域のうちの一方を塗りつぶすことである。ここで、上述した割り当て問題が述べられることを必要とする。パターンの要素はバイナリであるので、ブレゼンハムのアルゴリズムによってマークされた分離線分は、１つの領域の部分となる。線分サンプルが理論的に、両方の領域の部分である場合、直感的に、これは不安定となるようにみえる。しかしながら、大部分の損失なしに、分離線分サンプルを１つの領域に割り当てることが可能である。これは、領域を塗りつぶしているアルゴリズムと同様に両方の線分のマークが、幾何学的配置の認識、すなわち、幾何学的配置に従って基礎となる角に関するという事実によって、確実にされる。事実に基づいて、角領域が分離線分によって完全に区切られ、この領域を塗りつぶすことは、比較的シンプルである。塗りつぶすアルゴリズムは、基礎となる角要素２０６から開始し、そして、それがすでにマークされる要素およびこのように線分２０７（図８（中間の右）を参照）の部分に達するまで、連続的にすべてのパターン要素にカラム−および線分のようにマークされる。その結果、所与の開始点の位置および終了点の位置のウェッジレットパーティションパターンは、バイナリ値（図８の右）によって表される。
特定のブロックサイズのウェッジレットパーティションパターン・ルックアップ・リストのための生成方法は、連続的に、線分開始位置および終了位置のためのリスト要素を作製する。これは、図５において示される６つの幾何学的配置を通じて反復することによって実現される。各幾何学的配置に対して、開始位置は、ブロックのエッジの一方に位置し、終了位置は、ブロックのエッジの他方に位置し、そして、リスト生成プロセスは、開始位置および終了位置の可能な各組み合わせに対して上記において導入されたウェッジレットパターンの生成方法を実行する。効率的な処理および信号伝送のために、ウェッジレットパターンリストは、特定の特有のパターンのみを含むべきである。したがって、新しいパターンがリストに追加される前に、それが既にリストのパターンのいずれかと同一であるか、または、同一でないかのチェックがなされる。このような場合、パターンは、冗長で、したがって、破棄される。それに加えて、それらが、有効なウェッジレットブロックパーティションを表していない場合、面パターン、すなわち、全てのサンプルが１つの領域に割り当てられ、リストからも除外される。
記載されているウェッジレットパターンリストに対する拡張として、パターンの生成に対して使用される線分開始位置と終了位置の解像度は、例えば、ブロックサイズに応じて、最適に増加、また減少されうる。この拡張の目的は、符号化の効率と複雑さとの間における、より良好なトレードオフを発見することである。解像度を上昇させることは、より多くのパターンを有するリストに至るが、その一方で、解像度を減少させることは、通常の解像度と比較して、より短いリストの解像度を結果として得る。従って、解像度は、小さいブロックサイズに対して増加し、大きいブロックサイズに対して減少する。開始位置および終了位置のため解像度の独立を注意することは重要であり、リストに格納されるウェッジレットパーティションパターンは、通常、標準の解像度、すなわち元のブロックサイズを有する必要がある。解像度を低下させることは、上述したように、開始位置および終了位置のサブセットの用途にのみ、パターンを生成することによってシンプルに実現されうる。例えば、半分の解像度は、パターンの生成をあらゆる第２の開始位置および終了位置への制限を意味する。その一方、解像度を増加させることは、より困難である。すべての開始位置および終了位置をカバーするために、上述したアルゴリズムを使用して、増加した解像度を有する一時的なパターンが最初に発生する。第２のステップにおいて、結果として得られるパターンは、一定の解像度に、低解像度処理がなされる。バイナリデータのため、低解像度処理は、補間値をサポートしない、そして、それは、増加した解像度の場合には、同一のパターンの大きい数を結果として得ることに注意されたい。
上述したウェッジレットパターン生成の最終結果として、ウェッジレットパターンの順序リストは、エンコーダ側およびデコーダ側の両方で導出される。実際の実装において、これらのパターンは、使用された符号化アルゴリズム／符号化規格によって予め定義されることもありうる。さらに、それは、上述した実際のアルゴリズムによってパターンを生成する必要はなく、このアルゴリズムの改良も使用される。エンコーダおよびデコーダのいずれもが、符号化プロセスおよび復号化プロセスのためのウェッジレットパターンの同じリストを生成した（そして、後の使用）ことが、重要なだけである。
１．４．２ 最小の歪みのウェッジレットサーチ
上述したルックアップ・リストに基づいて、ウェッジレットパーティションによるブロック信号の最良近似は、サーチアルゴリズムによって発見されうる。ウェッジレットベースの符号化アルゴリズムのために、最良近似は、最小の歪みをもたらすウェッジレットモデルとして理解されうる。換言すれば、サーチは、所与のブロックに対するウェッジレットパーティションパターンの最良の一致を発見しようとする。サーチは、導出されるパターン・リストを利用する。そして、それは、所与のブロックサイズ（詳細についてセクション１．４．１を参照）のためのすべての可能なウェッジレットパーティションパターンを含む。パターンは、再度生成することを必要としない場合、最小の歪みウェッジレットサーチが実行されるたびに、これらのリストは、サーチの処理時間を制限することを助ける。各サーチステップは、次のステップから構成されうる：
・ 所与のパーティションパターンおよび元のブロック信号からのＣＰＶ値の算出。
・ 元のブロック信号とウェッジレットモデルとの間の歪みＤW,curの算出。
・ ＤW,cur＞ＤW,minの評価：真の場合、最小の歪みのウェッジレット情報を更新し、ＤW,min＝ＤW,curを設定することによって、現在のパーティションパターンのリストインデックスを格納する。
歪みの代わりに、ラグランジアン・コストの大きさが、使用されるウェッジレットパターンを発見するために使用されうる。ラグランジアン定数の大きさは、加重和Ｄ＋λ・Ｒであり、歪みＤの加重はレートＲとともに特定のウェッジレットパターンによって得られ、レートＲは、ラグランジアン乗数λが与えられる付随するパラメータを送信するために必要である。
異なる方法は、包括的な検索から高速検索方法に及ぶ、サーチアルゴリズムに対して可能である。包括的な検索は、ウェッジレットパターンリストの全ての要素が最小の歪みに対して引き続いて検査されることを意味する。遅い（それは、特にエンコーダにとって重要である）ことの代償がなければ、この方法により、確実に全体的な最小値が分かることになる。方法を進歩させた高速検索手段は、必要な検索ステップの数を減らす。高速検索方法は、例えば、連続するリファインでありえた。第１のフェーズにおいて、開始位置および終了位置、例えば、あらゆる４つの境界サンプルのみの制限された数から結果として得るパーティションパターンのサブセットのための最小の歪みのウェッジレットは、検索される。第２のフェーズにおいて、開始位置および終了位置は、例えば、あらゆる第２の境界サンプルを許容することによってリファインされるが、第１のフェーズの結果、検査された開始位置および終了位置の範囲に制限している。あらゆるサイクルにおいて、ステップサイズをリファインすることによって、最後に、最小の歪みのウェッジレットが分かる。全ての検索と対比して、そのような高速検索方法は、極小を探し出すことを可能にするのみであるが、しかし、検査されるウェッジレットパターンの数は、著しくより低く、そして、従って、検索はより高速である。例えば、ブロックサイズの関数として、第１のフェーズのステップサイズが、一定値であることを必要とせず、最適に、セットされることができることに注意されたい。
ウェッジレット線分またはウェッジレットパターンのコースを割り出しているちょうど議論されたインデックスは、ｗｅｄｇｅ＿ｆｕｌｌ＿ｔａｂ＿ｉｄｘと呼ばれる。
２ 輪郭
このセクションにおいて、大部分の実施例は正方形ブロックを使用するけれども、輪郭ブロックパーティションおよびすべての関連した実施例が、正方形ブロックに限られるというわけではなく、いかなる矩形のブロックサイズにとってもむしろ可能である点に留意されたい。
２．１ 輪郭ブロックパーティション
輪郭ブロックパーティションの基本的な原則は、ブロック２００のエリアを２つの領域２０２ａ，２０２ｂに分割することである。ウェッジレットブロックパーティションとは異なり、領域の間の分離線分２０１は、幾何学の定式化によって記載されえない。図９において、Ｐ1およびＰ2を示すラベルがつけられた２つの領域によって例示されるように、輪郭の領域が任意の形状でありえ、それらは接続されることさえ必要としない。
図９は、輪郭ブロックパーティションのための連続および分離した信号空間の違いも例示する。また、完全なサンプルだけは、分離した信号空間（図９の右）に対する２つの領域のどちらかの部分として割り当てられうる。輪郭パーティション情報は、分離した信号空間から導出され（詳細はセクション３．２．２を参照）、そして、幾何学の定式は形成されず、ウェッジレットブロックパーティションに対する割り当て問題は、ここで考慮される必要はない。
２．２ 輪郭パーティションパターン
ウェッジレットパーティションパターンの一致において（セクション１．２を参照）、輪郭ブロックパーティション情報は、パーティションパターンの形で、格納されうる。そのようなパターンは、サイズｕB×ｖBのアレイを構成し、各要素は、一致しているサンプルが領域Ｐ1またはＰ2のいずれかに属するかのバイナリ情報を含む。図１０は、黒色または白色のサンプル色彩によってバイナリ領域情報を表す輪郭パーティションパターンの例を示す。
２．３ 輪郭モデリングおよび近似
輪郭によって有するブロックの奥行き信号に近似する原則は、セクション１．３において記載されたウェッジレットの概念と同一である。また、必須の情報は、２つの要素パーティション情報およびパーティションフィリング指示から構成され、そして、それは、対応する領域の元の深さ信号の平均値として算出され、各２つの領域に対して、順に１つの固定パーティション値（ＣＰＶ）を含みうる。
輪郭近似は、図１１において例示される。ここで、予測ブロック２００の元の奥行き信号は、その環境を示すために強調され、そして、拡大されて示される。また、領域Ｐ1およびＰ2に関してパーティション情報は、ブロックによって最初にオーバーレイされ、そうすると、ＣＰＶは、領域によって覆われる全てのサンプルの平均値として算出される。図１１における例において、パーティション情報がよく奥行き信号と一致する場合、領域Ｐ1（濃いグレー）に対する低いＣＰＶおよび領域Ｐ2（薄いグレー）に対する高いＣＰＶを有する結果として得る輪郭モデルが、奥行きブロックの良好な近似を表す。
３． ブロックパーティション符号化
例えば、図１〜３の符号化環境のような、多視点映像および奥行き（ＭＶＤ）のための符号化フレームワークの範囲内で、以前のセクションに記載された方法およびアルゴリズムを使用するために、新規な符号化ルーチンまたはモードが定義されるべきであり、そして、必要なツールは、エンコーダおよびデコーダにおいて実装されるべきである。
例えば、図１のエンコーダまたは符号化ブランチ２２v/d,1のような、ハイブリッドビデオエンコーダのために、これらのツールは、評価、予測または信号伝送の一部として分類されうる。評価は、それらが元の入力情報（例えば圧縮されていない画像）に依存するので、符号化プロセスの一部だけであるツールを要約する。それとは対照的に、それらが送信されたおよび／または再構成された情報（例えば復号化画像）に依存するだけであるので、予測は、符号化および復号化プロセスの一部であるツールを要約する。信号伝送は、エンコーダからデコーダまでビットストリーム中で送信した情報の符号化のためのツールを要約する。従って、それらは、同一のシンタックスおよび同一のエントロピー符号化状態を使用することを必要とする。
評価ツールにとって、歪は、古典的な映像符号化アプローチから公知であるように、歪およびブロックの元の奥行き信号の相違を測定して、例えば、平均二乗誤差（ＭＳＥ）または平均絶対差（ＭＡＤ）として、または、合成された視点の歪として、ブロックの歪奥行き信号のために変位されたサンプルにより生じた合成された視点の違いを測定することにより、導出できることに注意すべきである。
下記に概説された実施例に従って不規則性ブロックパーティション符号化のための概念は、パーティション情報（セクション３．１および３．２を参照）を処理するためにおよび処理ＣＰＶ（セクション３．３を参照）に対するものに分割することができる。
３．１． ウェッジレットベースのイントラ符号化
このセクションは、ウェッジレットブロックパーティション（セクション１を参照）に基づいて、２つのイントラ符号化モードを提示する。両方のモードは、デルタＣＰＶ法（セクション３．３．２を参照）と結合されうる。
３．１．１． ウェッジレットブロックパーティションのイントラモデリング
このモードの基本的な原則は、エンコーダでベストマッチしているウェッジレットパーティションを見つけて、ビットストリーム中にパーティション情報を明確に送信することである。デコーダにおいて、ブロックの信号は、明確に送信されたパーティション情報を使用して再構成される。従って、このモードのための主なツールは、評価および信号伝送の一部である。
このモードのためのウェッジレットパーティション情報は、予測されないが、エンコーダにおいて評価プロセス内で検索される。この目的のために、セクション１．４．２にて説明したように、最小歪ウェッジレット検索は、基準として現行ブロックの元の奥行き信号を用いて実行される。検索は、使用される変形法に関してベストマッチしているウェッジレットパーティションをもたらす。
デコーダでブロックを再構成して、ウェッジレットパーティション情報は、ビットストリーム中に信号伝送しなければならない。これは、リスト（セクション１．４．１を参照）の一致しているパターンの位置またはインデックスを明確に送信することにより、実現される。このリストインデックスは、ビンの定数により信号伝送される。Ｎ要素を有するウェッジレットパターンリストが与えられて、使用されるパターンのインデックスは、固定長符号または可変長符号または算数符号化（コンテキスト適応２進算術符号化を含む）、または、他のいかなるエントロピー符号化方法を使用して符号化される。ウェッジレットパーティション情報を信号伝送する高度な方法は、各パーティションパターンの確率に基づいてリストをソートするか、パーティション情報、例えば、線分の開始位置および終了位置または線分の開始位置と勾配、の代替表現を使用することを含むことができる。
３．１．２． ウェッジレットブロックパーティションのイントラ予測
このモードの基本的な原則は、同じ画像、すなわちイントラ予測における以前に符号化されたブロックが利用できる情報から、ウェッジレットパーティションを予測することである。より良好な近似のために、例えば、線分の終了位置を変化させることなどにより、予測されたパーティションは、例えば、エンコーダでリファインされる。ビットストリーム中の線分の終了位置へのオフセットの唯一の伝送は、十分であり得る、そして、デコーダで、ブロックの信号は、予測されたパーティションおよびオフセットなどの送信されたリファイン情報を結合することから生じるパーティション情報を使用して再構成されうる。従って、このモードのための主なツールは、予測、評価および信号伝送の一部である。
このモードのためのウェッジレットパーティション情報の予測は、分離線分の開始位置および勾配で構成されるウェッジレット表現により、内部的に働く。更なる処理のために、すなわち線分の終了位置オフセットを適応させて、ブロックの信号を再構成して、予測結果は、線分の開始位置および終了位置からなる表現に変換される。このモードの予測処理は、以前に符号化されたブロック、例えば現行ブロックの左側および上側の隣接ブロックの情報から、線分の開始位置および勾配を導き出す。図１２において、単に現行ブロック２１０および上記の隣接ブロック２１２だけが、示される。なお、数ブロックにとって、隣接ブロックの一方または両方は、利用できないことに注意すべきである。この種の場合、このモードのための処理は、スキップされるかまたは失った情報を意味あるデフォルト値に設定することと共に続けられる。
図１２にて示したように、２つの主な概念は、現在示唆された実施例に従ってウェッジレットパーティション情報を予測するために区別される。２つの隣接参照ブロックのうちの１つが、図１２の左側の実施例に示されるウェッジレットタイプであるときに、第１の概念は、ブロック２１２がウェッジレット分割に模範となるように従属するケースをカバーする。２つの隣接参照ブロックがウェッジレットタイプではなく、図１２の右側の実施例に示されるデフォルトイントラ符号化タイプでもよいイントラ方向タイプであるときに、第２の概念は、ブロック２１２がイントラ符号化に模範となるように従属するケースをカバーする。
参照ブロック２１２が、ウェッジレットタイプである場合、予測プロセスは、以下の通りに機能することができる：図１２、左側によれば、参照ウェッジレットの勾配ｍrefは、第１ステップの開始位置Ｓrefおよび終了位置Ｅrefから導出される。この概念の原則は、現行ブロック２１０の参照ウェッジレット、すなわちウェッジレット分離線分２０１’を、現行ブロック２１０内において、延長することである、そして、それは、参照ウェッジレット２１２の分離線分２０１’の延長が、実際に現行ブロック２１０を横切る場合のみ可能である。従って、次のステップは、参照ウェッジレットを延長し続けることが可能かどうかを調べることである。図１２、左側の実施例は、それが可能であるシナリオを示す、しかし、参照ウェッジレットの開始位置および終了位置が、ブロックの左および右のエッジにある場合、線分の延長は、下記のブロックを横切らないであろう。チェックが肯定的な場合に、開始位置ＳPおよび終了位置ＥPは、最終ステップで予測される。勾配ｍpが定義によりｍrefに等しいので、ブロック境界サンプルを有する延長線の交差ポイントとして、位置は単に算出される。
参照ブロック２１２が、イントラ方向タイプである場合、予測プロセスは、以下の通りに機能することができる：図１２、右側によれば、参照ブロック２１２の勾配ｍrefは、第１ステップのイントラ予測方向２１４から導出される。イントラ方向２１４が抽象的なインデックスの形で設けられているだけの場合には、マッピングまたは変換機能は、勾配ｍrefを達成するために必要であるかも知れない。ウェッジレットタイプの参照ブロック２１２から予測するための概念とは異なり、分離線分情報は、イントラ方向タイプの参照ブロック２１２により提供されていない。従って、開始位置Ｓpは、デコーダ、すなわち、左側および上記の隣接ブロックの隣接するサンプル、でも利用できる情報から導出される。それらは、図１２、右側においてハッチングされて示される。ハッチングの密度は、隣接しているサンプルの値を表す。図１２、右側に図示されるように、これらの隣接するサンプルから、最大傾斜を有する隣接するサンプルの一対に隣接しているものは、開始位置Ｓpとして選ばれる。ここで、傾斜は、２つの連続的なサンプルの値の絶対差として理解される。ウェッジレットパーティションのために、線分開始点Ｓpは、２つの領域２０２ａ，２０２ｂをブロック２１０の一つのエッジ２１６の異なる値で切り離す。従って、隣接ブロックの隣接するサンプルの中の最大傾斜点がＳpの最高の予測である。勾配に関し、再び定義することにより、ｍpは、ｍrefに等しく、かつ、Ｓpと共に、終了位置Ｅpは、最終ステップとして算出されうる。
２つの提示された概念は、相補的である。ウェッジレットタイプの参照ブロックからの予測は、より優れてマッチしているパーティション情報を有するが、必ずしも可能でない、イントラ方向タイプの参照ブロックからの予測は常に可能であるが、パーティション情報は、より悪く適合する。従って、２つの概念を１つの予測モードに結合することは、有益である。付加的な信号伝送なしにこれを実現するために、以下の処理階層が、定義されうる：上記参照ブロックがウェッジレットタイプである場合、パーティションの予測を試みる。さもなければ、左側の参照ブロックがウェッジレットタイプである場合、パーティションの予測を試みる。さもなければ、上記および左側の参照情報からパーティションを予測する。後者のために、上記および左方向の間に決定するための異なる決定基準は、可能である。そして、単に上記を優先させることから共同で方向および隣接するサンプルの傾斜を評価する高度な方法に及ぶ。上側および左側の参照ブロックがウェッジレットタイプである場合、この種の高度な基準も、適用されうる。
ウェッジレットパーティションをリファインするための線分終了位置オフセットは、予測されえないが、エンコーダにより評価プロセス内で検索することができる。検索のために、図１２にて図示したように、候補パーティションは、予測されたウェッジレットパーティションおよび線分終了位置Ｅoffのためのオフセット値から発生する。オフセット値の範囲にわたって繰り返すことにより、および、異なる結果として生じるウェッジレットパーティションの歪を比較することにより、ベストマッチしているウェッジレットパーティションのオフセット値は、使用される変形法に関して決定される。
デコーダでブロックを再構成するために、線分終了位置オフセット値は、ビットストリームにおいて信号伝送されることになっている。同上は、３つのシンタックス要素の使用によって信号伝送されうる。第１の信号伝送は、いかなるオフセットＥoffが存在するかに関する。すなわち、同上がゼロであるかに関する。第２のものは、オフセットの符号、すなわちオフセットがゼロでない場合に、時計回り、または、反時計回りの偏差を意味する。そして、第３は、絶対オフセット値−１を示す：dmm＿delta＿end＿flag、dmm＿delta＿end＿sign＿flag、dmm＿delta＿end＿abs＿minus1。疑似コードにおいて、これらのシンタックス要素は、以下として含めることができる。
Figure 2019134466
dmm＿delta＿end＿abs＿minus1およびdmm＿delta＿end＿sign＿flagは、DmmDeltaEnd、すなわち、Ｅoffを導出するために用いることができる。そして、以下の通りである：

DmmDeltaEnd[ x0 ][ y0 ] = ( 1 − 2 *dmm＿delta＿end＿sign＿flag[ x0 ][ y0 ] ) *
( dmm＿delta＿end＿abs＿minus1[ x0 ][ y0 ] + 1)
最も可能性が高い場合は、オフセット値がゼロであるということである。効率的な信号伝送のために、第１のビンが送られ、それはオフセットがゼロかどうかを示すフラグの機能を有する。そして、オフセットがゼロでない場合、ｋ＋１追加ビンは、±２kの範囲内のオフセット値を信号伝送するために続き、ここで、最初のビンは、符号を表し、そして、残りのｋ個のビンは、オフセットの絶対値を表す。効率的な符号化のために、ｋは概して小さい数であって、例えばブロックサイズに応じて、適応的に設定されるかも知れない。線分終了位置オフセットは、固定長符号、可変長符号または算術符号化（コンテキスト適応２進算術符号化を含む）を含む他のいかなるエントロピー符号化テクニックにより送信されうる。
３．２． ブロックパーティション符号化のコンポーネント間予測
このセクションは、テクスチャからパーティション情報を予測することに基づいて、２つの符号化モードを提示する。両方のモードは、デルタＣＰＶ法（セクション３．３．２を参照）と結合されうる。テクスチャ情報（すなわち従来のビデオ画像）は、関連する奥行きマップの前に送信されると仮定される。
ウェッジレットとして、または、輪郭ブロックパーティションとして、これらのモードの基本的な原則は、テクスチャ参照ブロックからパーティション情報を予測するとして記述することができる。この種の予測は、コンポーネント間予測と呼ばれうる。時間的または視点間予測とは異なり、テクスチャ基準ピクチャが同時に、そして、同じ斜視図から場面を示すように、動きまたは視差補償は、ここでは必要ない。パーティション情報が、これらのモードのために送信されないので、コンポーネント間予測は、参照として再構成されたテクスチャ画像を使用する。テクスチャ符号化のために使用する色空間に応じて、テクスチャ信号の１つ以上の構成要素は、コンポーネント間予測のために考慮される。映像符号化のために、一般的にＹＵＶ色空間が、使用される。ここで、輝度成分は、奥行きブロック、すなわちオブジェクト間のエッジ、の信号を予測するために最も重要な情報を含む。このように、先進的手法は、ジョイント予測のために、または、輝度予測結果をリファインするために、さらに彩度成分を利用するが、単純なコンポーネント間予測方法は、輝度成分の情報を利用するだけである。
３．２．１ ウェッジレットブロックパーティションのテクスチャベース予測
このモードの基本的な原則は、テクスチャ参照ブロック２１６から奥行きマップ２１３の深さブロック２１０のウェッジレットパーティションを予測することである。これは、図１３にて示したように、再構成されたテクスチャ画像のためにベストマッチしているウェッジレットパーティションを検索することにより実現される。この目的のために、参照として、最小限の歪ウェッジレット検索は、セクション１．４．２において説明したように、奥行きブロック２１０として再構成されたテクスチャ信号２１５、より詳しくは同じ位置およびサイズを有する輝度ブロック２１６を参照として使用して実行される。結果として生じるウェッジレットパーティションパターン２１８は、奥行きブロックの予測２２０のために使用される。図１３において、これは上側のボックスにより強調される、そして、示された実施例のために、予測されたウェッジレットパーティション（中央の）は、奥行きブロック２１０に非常によく接近する。記載されているウェッジレット予測は、エンコーダおよびデコーダで同時に実行されうることので、パーティション情報の信号伝送は、このモードのために必要とされない。
３．２．２． 輪郭ブロックパーティションのテクスチャベース予測
このモードの基本的な原則は、テクスチャ参照ブロックから奥行きブロックの輪郭パーティションを予測することである。図１０に示したように、これは、再構成されたテクスチャ画像２１５のための輪郭パーティション２１８’を導出することにより実現される。この目的のために、輪郭近似は、再構成されたテクスチャ信号２１５、より詳しくは奥行きブロック２１０として同じ位置およびサイズを有する輝度ブロック２１６を参照として使用して実行される。この種の輪郭予測が、エンコーダおよびデコーダで同時に実行されうるので、パーティション情報の信号伝送は、このモードのために必要とされない。
輪郭パーティションパターンは、参照ブロック２１６の平均値を算出すること、そして、それを閾値として設定することにより発生することができる。参照ブロック２１６のサンプルの値が閾値以下に、または、上回っているかどうかに依存して、一致している位置は、パーティションパターン２１８’において、領域Ｐ1またはＰ2の一部として、マークされる。結果として得る輪郭パーティションパターン２１８’は、奥行きブロック２１０の予測２２０のために使用される。図１３において、これは下側のボックスにより強調される、そして、示された実施例のために、予測された輪郭パーティション（中間）２１８’は、確実に奥行きブロック２１０に接近する。しかしながら、うまく奥行き信号に接近しない閾値アプローチは、潜在的に多くの分離された小さい部分を有する不安定なパターンを生じる。輪郭パターンの整合性を改善するために、例えばフィルタリングまたはセグメンテーションアプローチにより、偏差プロセスは、拡張することができる。
輪郭パーティションパターンを定義しているバイナリのパーティションパターンｄｍｍＷｅｄｇｅｌｅｔＰａｔｔｅｒｎ［ｘ，ｙ］は、分割されるべきブロックの範囲内でのサンプル位置を意味している、ただし、（ｘ，ｙ）、ただし、ｘ，ｙ＝０．．ｎＴ−１により、配置されたテクスチャ映像ブロックの輝度サンプルｖｉｄｅｏＬｕｍａＳａｍｐｌｅ［ｘ，ｙ］、ただし、ｘ，ｙ＝０．．ｎＴ−１の輝度サンプルから、以下のように得られる。

閾値tHは、以下として導出される：
tH=sumDC/(nT*nT),ただし、sumDC+=videoLumaSamples[x,y]for x,y=0..nT-1
パターン値は、以下のように設定される：
videoLumaSamples[x,y]がtHより大きい場合、以下を適用する：
dmmWedgeletPattern[x,y]=1
さもなければ、以下を適用する：
dmmWedgeletPattern[x,y]=0
３．３ ＣＰＶ符号化
ＣＰＶ符号化のための概念が、このセクションにおいて提供される。両方のパーティションタイプとして、ウェッジレットおよび輪郭、が、定義により一定値を持つ２つのパーティション領域を有するので、それらはブロックパーティション情報（セクション３．１および３．２を参照）を予測するかまたは推定するための全ての４つのモードに同じく適用されうる。従って、ＣＰＶ処理は、パーティションタイプまたは符号化モードを区別することを必要とせず、パーティションパターンが現行の奥行きブロックに与えられるとむしろ仮定する。
３．３．１ 予測ＣＰＶ
ＣＰＶ予測のより良好な理解のために、３種類のＣＰＶ、元のＣＰＶ、予測されたＣＰＶおよびデルタＣＰＶ、が区別される。それらの関係は、ブロック（図１４，左の点線２３０）の断面のための図１４，右側において略図で例示される。ここで、線分２３２は、線分２３０に沿ったブロック２００の元の信号を表す。セクション１．３および２．３の説明によれば、元のＣＰＶ（図１４，右側の線分２３４および２３６）は、それぞれ、対応する領域Ｐ1およびＰ2によりカバーされる信号の平均値として算出される。
元のＣＰＶのＷorig,P1およびＷorig,P2は、与えられたブロックパーティションに対し元の信号（図１４の左側または線分２３２）の最高の近似値を導くが、元の信号がデコーダにおいて利用できないので、ビットストリーム中に値を送信するのに必要である。これは、ビットレートに関して全く高価で、ＣＰＶの予測の原則を適応することにより回避することができる。元のＣＰＶとは対照的に、予測されたＣＰＶは、図１４、左のハッチングされたサンプル２０３に図示されるように、デコーダ、すなわち、左側および上側の隣接ブロックの隣接するサンプル、でも利用できる情報から導出される。ここで、隣接するサンプルはグレーにマークされ、そして、所与のパーティションの各領域のための予測されたＣＰＶは、対応する領域（図１４、左側の線分２３８および２４０）に隣接するそれらのサンプルの平均値を算出することから結果として生じる。左側または上側の隣接ブロックが必ずしも利用できないことに注意されたい。このような場合、それぞれの隣接するサンプルは、デフォルト値に設定することができる。
図１４、右側において、予測されたＣＰＶのＷpred,P1、およびＷpred,P2は、線分２３８および２４０により表わされ、かつ、説明図は、元のおよび予測されたＣＰＶが著しく異なることができることを強調する。実際、ΔＷP1およびΔＷP2の元のおよび予測値間の相違は、現行ブロック２００の元の信号２３２およびハッチングされたサンプル２０３上に示された再構成された隣接ブロックの境界信号の間の類似性に依存する。この差は、対応する領域のデルタＣＰＶとして定義される。これは、デルタＣＰＶΔＷP1およびΔＷP2がエンコーダで推定され、ビットストリームで送信されれば、デルタＣＰＶを予測されたＣＰＶに加えることにより、デコーダで元のＣＰＶを再構成することが可能であることを意味する。元の値の代わりにデルタを送信するだけで、必要なビットレートの大幅な減少に至る。
予測された固定パーティション値ＣＰＶは、dmmPredPartitionDC1およびdmmPredPartitionDC2と呼ぶことができて、以下のように隣接するサンプルｐ［ｘ，ｙ］より導出することができる。以下において、dmmWedgeletPatternが、サンプル（ｘ，ｙ）ただし、ｘ，ｙ＝０．．ｎＴ−１が手本となるように包囲している現行ブロックを分割することを意味する。すなわち、上部エッジに隣接しているサンプル位置は、（ｘ−１）ただし、ｘ＝０．．ｎＴ−１に位置し、左エッジに隣接しているサンプル位置は、（−１，ｙ）ただし、ｙ＝０．．ｎＴ−１に位置する。すでに再構成された隣接するサンプル値は、ｐ［ｘ，ｙ］を意味する。sumPredDC2、sumPredDC1、numSamplesPredDC2およびnumSamplesPredDC1は、最初にゼロにセットされる：
For x = 0..nT-1 the above neighbouring samples are summed up as:
− If dmmWedgeletPattern[ x, 0 ] is equal to 1 (partition P1, for instance), the following applies:
sumPredDC2 += p[ x, -1 ] and numSamplesPredDC2 += 1
− Otherwise (partition P2, for instance), the following applies:
sumPredDC1 += p[ x, -1 ] and numSamplesPredDC1 += 1
For y = 0..nT-1 the left neighbouring samples are summed up as:
− If dmmWedgeletPattern[ 0, y ] is equal to 1, the following applies:
sumPredDC2 += p[ -1, y ] and numSamplesPredDC2 += 1
− Otherwise, the following applies:
sumPredDC1 += p[ -1, y ] and numSamplesPredDC1 += 1
The predicted constant partition values are derived as follows.
− If numSamplesPredDC1 is equal to 0, the following applies:
dmmPredPartitionDC1 = 1 << ( BitDepthY − 1 )
− Otherwise, the following applies:
dmmPredPartitionDC1 = sumPredDC1 / numSamplesPredDC1
− If numSamplesPredDC2 is equal to 0, the following applies:
dmmPredPartitionDC2 = 1 << ( BitDepthY − 1 )
− Otherwise, the following applies:
dmmPredPartitionDC2 = sumPredDC2 / numSamplesPredDC2
３．３．２ 量子化およびデルタＣＰＶの適応
ＣＰＶ予測の原則に基づいて、デルタＣＰＶの効率的な処理のための概念は、このセクションにおいて紹介される。ビットストリームのデルタＣＰＶを送信することは、ブロックパーティション符号化のための再構成された信号の歪を減少する目的を果たす。しかしながら、元のおよび予測された信号の相違が視差の変換符号化によってもカバーされるので、デルタＣＰＶ値を信号伝送するために必要なビットレートは、この方法の利益を定める。従って、デルタＣＰＶの量子化は、以下の通りに導入することができる：値は、エンコーダで評価された後、線形に量子化され、デコーダで再構成の前に逆量子化される。量子化されたデルタＣＰＶを送信することは、ビットレートが減少する効果がある一方で、逆量子化された値から再構成された信号は、最高の近似値と僅かに異なるだけである。結論的には、これは、量子化なしのケースと比較して、低いレート−歪コストをもたらす。線形量子化のステップサイズに関して、パフォーマンスは、変換符号化、すなわちＱＰの関数として、かつ、固定値ではないとして、量子化ステップサイズを定めること、から公知の原則を適用することにより更に高めることができる。量子化ステップサイズをｑΔCPV＝２QP/10ただし１≦ｑΔCPV≦ｍａｘ（ΔＣＰＶ）／２としてデルタＣＰＶに設定することは、効率的かつ強固であることがわかった。
分割されたブロックの２つの領域のためのビットストリームのデルタＣＰＶの可能な信号伝送は、以下のように構成されうる：
Figure 2019134466
特定のブロックのためのビットストリーム上の伝送は、明確に送信されるかまたは若干の符号化モードシンタックス要素から導出されるシンタックス要素ＤｍｍＤｅｌｔａＦｌａｇに依存するようにされうる。
dmm＿dc＿1＿abs、dmm＿dc＿1＿sign＿flag、dmm＿dc＿2＿abs, dmm＿dc＿2＿sign＿flagは、以下の通りにDmmQuantOffsetDC1およびDmmQuantOffsetDC2の値を導出するために用いることができる：
DmmQuantOffsetDC1[ x0 ][ y0 ] = ( 1 − 2 *dmm＿dc＿1＿sign＿flag[ x0 ][ y0 ] ) *
dmm＿dc＿1＿abs[ x0 ][ y0 ]
DmmQuantOffsetDC2[ x0 ][ y0 ] = ( 1 − 2 *dmm＿dc＿2＿sign＿flag[ x0 ][ y0 ] ) *
dmm＿dc＿2＿abs[ x0 ][ y0 ]
逆量子化されたオフセットdmmOffsetDC1およびdmmOffsetDC2は、以下の通りDmmQuantOffsetDC1およびDmmQuantOffsetDC2から導出可能である。
dmmOffsetDC1 = DmmQuantOffsetDC1 * Clip3( 1, ( 1 << BitDepthY ) − 1, 2 (QP' Y /10)- 2 )
dmmOffsetDC2 = DmmQuantOffsetDC2 * Clip3( 1, ( 1 << BitDepthY ) − 1, 2 (QP' Y /10)- 2 )
BitDepthYは、DmmQuantOffsetDC1およびDmmQuantOffsetDC2が内部的に、エンコーダおよびデコーダ内、にあるビット幅でもよく、ＱＰ’は、例えば、現在のスライスの予測残差の符号化変換係数レベルに含まれるちょうど言及された量子化パラメータＱＰでもよい。
固定パーティション値ＣＰＶは、それから、逆量子化されたオフセットを予測されたＣＰＶに加えることにより入手できる：
第１のパーティションのために：dmmPredPartitionDC1 + dmmOffsetDC1
第２のパーティションのために：dmmPredPartitionDC2 + dmmOffsetDC2
セクション３の最初にすでに述べたように、評価ツールのための歪は、２つの異なる方法で測定されうる。デルタＣＰＶに関して、これらの変形方法は、評価プロセスに強く影響を及ぼす。歪がブロックの歪および元の奥行き信号の間の違いとして測定された場合に備えて、評価プロセスは、上述のようにデルタＣＰＶを単に計算し、量子化することにより、元のＣＰＶの最も近い近似値を検索する。歪が合成された視点のために測定される場合に、評価プロセスは、デルタＣＰＶを合成された視点の品質により優れて適応させるために延長されうる。これは、必然的に元のＣＰＶで最高の近似値に至るそれらのデルタＣＰＶが、必ずしも最良の合成された視点品質をもたらさないという事実に基づく。最も良好な合成された視点品質をもたらすデルタＣＰＶを見出すために、評価プロセスは、最小限の歪検索により延長される（セクション１．４．２と比較）。そして、それは、２つのパーティションのための可能なデルタＣＰＶの組合せのすべてにわたって繰返し適用される。効率的な処理および信号伝送のために、テストされた値の範囲は、制限されうる。検索は、合成された視点の中で最小限の歪が生じるデルタＣＰＶの組合せを結果として生じ、伝送のために、これらの値は最後に量子化される。
デルタＣＰＶ法が潜在的に、変換／量子化および（残りの）残余の伝送をスキップすることを可能にすることに注意されたい。それぞれ、元のあるいは最適奥行き信号に近い近似値のため、特に描写された視点の品質に関して評価される場合、視差を省略する影響は、制限される。
４． モードの符号化
４．１ モード信号伝送
符号化プロセスにおいて、１つのモードは、レート−歪最適化によるあらゆるブロックのために選択され、そして、モード情報は、ビットストリームにおいて、例えば、パーティションおよびＣＰＶ情報の前に信号伝送される。セクション３によれば、以下の４ブロックパーティションモードを、（例えば、不規則でない分割モードに加えて）定義することができる：
・ Ｗｅｄｇｅｌｅｔ＿ＭｏｄｅｌＩｎｔｒａ：ウェッジレットブロックパーティションのイントラモデリング（セクション３．１．１を参照）
・ Ｗｅｄｇｅｌｅｔ＿ＰｒｅｄｌＩｎｔｒａ：ウェッジレットブロックパーティションのイントラ予測（セクション３．１．２を参照）
・ Ｗｅｄｇｅｌｅｔ＿ＰｒｅｄＴｅｘｔｕｒｅ：ウェッジレットブロックパーティションのテクスチャベース予測（セクション３．２．１を参照）
・ Ｃｏｎｔｏｒ＿ＰｒｅｄＴｅｘｔｕｒｅ：輪郭ブロックパーティションのテクスチャベース予測（セクション３．２．２を参照）
４つのモードの各々は、デルタＣＰＶ処理（セクション３．３．２を参照）のための方法の有無にかかわらず適用されえ、デコーダの信号を送るための８つの異なるｍｏｄｅ＿ＩＤを結果として生じ、そして、それは、処理のタイプはブロックの予測および再構成のために適用されなければならない。
上記に導かれるブロックパーティションモードが、図１〜３の一つのような既存の符号化フレームワークへのブロック符号化モードの追加セットとして実行される場合、モード情報に先行する追加フラグは、ビットストリームにおいて送信されえ、そして、ブロックパーティションモードが用いられるか否かが信号伝送される。このフラグがセットされない場合に、通常のブロック符号化モード信号伝送が続く。そうでなければ、ｍｏｄｅ＿ＩＤが、信号伝送され、それは、実際のブロックパーティションモードおよびデルタＣＰＶが送信されるか否かをも示している。ビットストリームにおいて、ｍｏｄｅ＿ＩＤは、３つのビンにより表される。
４．２ モードプリセレクション
モードプリセレクションの背後にある発想は、現行ブロックのために選択されそうにないモードを除外する概念を実行することにより、ブロックパーティション符号化（セクション３を参照）のための処理および信号伝送を行う努力を減少することである。
第１のモードプリセレクション概念は、小さいブロックサイズのために確率が非常に低いモードを使用不能にする。これは、ほとんどの場合、歪がモード情報の信号伝送を行うために必要なレートと比較して高いことを意味する。セクション４．１において定義された４つのモードの中で、これは、Ｗｅｄｇｅｌｅｔ＿ＰｒｅｄＩｎｔｒａおよびＣｏｎｔｏｕｒ＿ＰｒｅｄＴｅｘｔｕｒｅに当てはまる。統計分析に基づいて、これらの２つのモードは、ブロックサイズ４×４およびそれ以下で、使用不能である。
第２のモードプリセレクション概念は、コンポーネント間予測、すなわち、Ｗｅｄｇｅｌｅｔ＿ＰｒｅｄＴｅｘｔｕｒｅおよびＣｏｎｔｏｕｒ＿ＰｒｅｄＴｅｘｔｕｒｅ、に基づいた２つのモードに当てはまる。意味あるブロックパーティションパターンがテクスチャ参照ブロックから導出できる可能性が非常に低い場合、この概念の背後にある発想は、適応的に、これらのモードを除外することである。この種のブロックは、相対的に重要なエッジおよび輪郭のない平面であることにより特徴づけられる。これらのブロックを特定するために、テクスチャ参照ブロックの相違が、分析される。２つの言及されたモードを無効にするための基準は、相違が特定の閾値以下にあるということである。このモードプリセレクション方法は、以下の通りに実行される：相違は、輝度サンプルおよび参照ブロック（図１３の２１６を参照）の平均値間の平均絶対誤差（ＭＡＥ）として測定される。固定値の代わりに、閾値は、量子化パラメータ（ＱＰ）の関数として、設定される。ＱＰがより高く逆もしかりである場合、ＭＡＥ値の統計分析の結果に基づいて、閾値は、ｔMAE（ＱＰ）＝ＱＰ／２として設定され、これらの２つのモードは、より多くのブロックを除外する効果を有する。
図１５は、それぞれ、２つのテクスチャ輝度ブロック２５０および２５０2に関する詳細および絶対差対２５２1および２５２2の右の平均値により、このモードプリセレクション方法の視覚化を示す。ブロック２５０1は、ほとんど構造を有さない非常に平坦な空間サンプル値外観を有する。そして、それは非常に低い差異により反映される。意味あるパーティション情報が、このブロック２５０1から予測されえないので、モードＷｅｄｇｅｌｅｔ＿ＰｒｅｄＴｅｘｔｕｒｅおよびＣｏｎｔｏｕｒ＿ＰｒｅｄＴｅｘｔｕｒｅは考慮されない。ブロック２５０2は高い相違を有することとは対照的に、重要なエッジおよび輪郭が結果として得る。このように、おそらく、ブロック２５０2から導出されるパーティション情報は、一致している奥行きブロックのパーティションのための良好な予測器であるので、２つのモードが考慮される。
Figure 2019134466
表１：プリセレクション決定によるモード。
表１は、利用できるモード上の２つのモードプリセレクション概念の効果をまとめる。特定のモードを除外することにより、ビットストリームにおいて信号伝送しなければならないｍｏｄｅ＿ＩＤの数は、減少する。各方法は、１つによりｍｏｄｅ＿ＩＤを信号伝送するために必要なビンの数を減らし、かつ、２つにより両方のモードの組合せがビンの数を減らすので、表は、２つの方法が効率的な方法に組み込まれうることを示す。
５． 一般化
いくつかの考えられる不規則性分割モード、一方ではその２つのセグメンテーション決定（３．１および３．２を参照）への概念的再分割および他方では２つのパーティション（３．３を参照）符号化パラメータの符号化のみならず、符号化フレームワークにおけるそれらのあり得る作業およびこの種のモードが付加的に供給することがあり得る符号化環境の説明を記述した後、それぞれのデコーダおよびエンコーダのための結果として生じる実施例は、部分的により一般的な用語で記載されるものとする。特に、以下のセクションは、上記で概説される特定の有利な詳細を強調して、これらの詳細がどのように上述よりも一般的であるという意味でデコーダおよびエンコーダ内で使われうるかについて、上述したよりもより包括的に説明する。特に、下記で概説されるように、上記のモードで使用される有利な態様のいくつかは、個々に利用することができる。
５．１． ブロック境界全体のウェッジレット分離線分の延長線
上記の議論から明白になったように、ウェッジレット分割の使用は、一方では分割する旨を信号伝送するための信号伝送オーバーヘッドおよび他方では不規則性分割による達成可能な多様性との間にあり得る妥協を形成する。それにもかかわらず、サイド情報データの著しい量は、パーティション情報、すなわち、ウェッジレット分離線分の位置、例えば、ウェッジレット分離線分の位置のインデックスを使用することにより、例えばセクション３．１．１に関して上記で概説される概念に従って、明確に送信するために必要である。
従って、ブロック境界全体のウェッジレット分離線分の延長線は、ちょうど概説された課題を解決する１つの考えられる方法を形成する。セクション３．１．２の前記説明は、この課題のソリューションを利用するための具体例を説明した。しかしながら、より一般的に、ブロック境界の上のウェッジレット分離線分の延長線についての発想を利用する際に、図１６に関して下記で概説されるように、デコーダは、本発明の実施例に従って、構成されうる。それにもかかわらず、セクション３．１．２および３〜４の中の他のセクションに記載されているすべての詳細は、個々に下記で提示される説明と結合されうる可能な実現の詳細として理解されることになっている。
図１６のデコーダは、一般に、参照符号３００により示されて、データストリーム３０４からサンプルアレイ３０２を再構成するように構成されている。デコーダは、ブロックベースの復号化により再構成を実行するように構成されている。例えば、サンプルアレイ３０２は、一連のサンプルアレイの一部でもよく、そして、デコーダ３００は、ブロック３０４毎に異なる符号化モードをサポートしているブロックベースのハイブリッドデコーダとして実行することができる。サンプルアレイは、任意の空間的にサンプルされた情報、例えばテクスチャまたは奥行きマップであってもよい。例えば、図１６のデコーダ３００は、サンプルアレイ３０２を表しているテクスチャ／映像および奥行き／視差マップを含んでいる１つの視点を再構成するために実行することができる。その限りにおいて、デコーダ３００は、復号化ブランチ１０６d,1さらに１０６v,1の一対として実行することができるか、または個々に復号化ブランチ１０６d,1により実行することができる。すなわち、予測残差の残差の符号化の有無にかかわらず、デコーダ３００は、イントラ予測、時間的（動き補償された）予測および／または視点間（視差補償された）予測のような符号化モードを使用しているサンプルアレイ３０２を再構成するように構成されうる。符号化モードは、例えば、それぞれのブロックのための明確なウェッジレット符号化モードを備えることができ、ウェッジレット分離線分の位置は、データストリーム３０４、例えばセクション３．１．１で概説されるモードの中で、明確に送信される。
いずれにせよ、このデコーダ３００は、現行ブロック２１０、例えば既定の符号化モードオプションが、データストリーム３０４の中で信号伝送されるブロック、のために実行するように構成され、ステップが現在概説された。これらのステップに含まれる機能は、イントラ予測モジュール３６またはイントラ予測モジュールおよび交換モジュール５２の範囲内で組み込むことができる。
それぞれのモードの１ブロックのためのデコーダ３００により実行されるステップは、ウェッジレット分離線分位置予測３０６であり、位置のリファイン３０８および復号化３１０が続く。特に、図１６のデコーダは、ステップ３０６ａで予測するように構成される。予測された位置３１２でのウェッジレット分離線分が、隣接ブロック２１２のウェッジレット分離線分２０１’の延長または継続を現行ブロック２１０中へ作成するように、サンプルアレイ３０２のブロック２１０の範囲内のウェッジレット分離線分の位置３１２は、ブロック２１０の隣接ブロック２１２のウェッジレット分離線分２０１’に依存している。また、デコーダ３００は、データストリーム３０４からブロック２１２のためのそれぞれの明確な信号伝送により、または若干の他の符号化オプションにより、例えばテクスチャ・サンプルアレイ中のエッジ検出により、どのサンプルアレイ３０２が属する等、隣接ブロック２１２のウェッジレット分離線分２０１’の位置を導出することができた。他の可能性は、上記で記載されていて、更に後述する。
上述の通り、それがセクション３．１．２の前記説明を有するケースであったので、位置３１２が３０６において予測されるブロック２１０のウェッジレット分離線分は、直線でもよい。しかしながら、その代わりに、例えば一連のサンプル位置ホップ、すなわち、線分に」おける各々次のピクセルを定め、分離線分に属する一連のシンボル、を使用して、線分は、さらに一般的に定義することができる。線分は、線分２０１’から予測されることもできる既定の分析的に決定された湾曲を有することができるか、またはデータストリーム３０４のいくつかの他の以前に処理された部分から導出することもできる。
特に、その後、ブロック２１０のウェッジレット分離線分が、ウェッジレット分離線分の一般の延長方向に横方向の位置と同様に一般の延長方向に関して前もって決定されるように、予測３０６は構成されうる。曲線の場合には、例えば、多項式関数を使用する曲線近似は、ブロック２１２の分離線を外挿して、それぞれ、ブロック２１０の分離線分の位置を決めるために用いることができる。直線の場合には、ウェッジレット分離線分への横方向の方向における傾きおよび位置が、決定される。
予測３０６に関して、近隣および延長が、空間的観点で必ずしも定義される必要はないとも述べられなければならない。むしろ、ブロック２１０および２１２は、時間的にも隣接しうる。例えば、ブロック２１２は、サンプルアレイ３０２に時間的に隣接しているサンプルアレイシーケンスのサンプルアレイの同じ位置に配置されたブロックであり得た。その場合、ブロック２１０へのウェッジレット分離線分２０１の延長は、「時間的継続」である。
どのようにして予測３０６が実行されうるかの明確な可能性は、セクション３．１．２において上記で概説され、説明はここで述べられる。位置のリファイン３０８は、予測された位置３１２をリファインするためにある。すなわち、デコーダ３００は、位置のリファイン３０８において、データストリーム３０４中で信号伝送されたリファイン情報を使用してブロック２１０のウェッジレット分離線分３０１の予測された位置３１２をリファインするように構成されている。従って、リファインされたウェッジレット分離線分２０１は、ブロック２１０を第１および第２のウェッジレットパーティション２０２ａおよび２０２ｂに分割する。
上述の通り、デコーダ３００は、予測された位置３１２のウェッジレット分離線分２０１が隣接ブロック２１２のウェッジレット分離線分２０１’の空間同一直線上の延長を形成するように、空間上で同一直線上の位置を占めるように構成することができる、そして、空間同一直線上の伸長を形成するように、リファイン情報にかかわりなく、隣接ブロック２１２に隣接している既定のブロック２１０のウェッジレット分離線分の開始位置３１４が、予測された位置３１２と関連して維持されるように、リファインは制限されうる。すなわち、まっすぐなウェッジレット分離線分の場合には、単にその傾斜だけがリファインされえ、その一方で、ブロック２１０および２１２を分離しているブロック２１０のエッジ３１６のウェッジレット分離線分２０１の開始点は、不変のままである。例えば、ウェッジレット分離線分２０１の反対側の終了位置の中で、予測されたウェッジレット分離線分位置３１２に従う終了位置３２０からブロック２１０の外周に沿ったウェッジレット分離線分２０１の反対端、すなわち、ウェッジレット分離線２０１の終了部分３１８、のオフセットは、セクション３．１．２に関して上述したようにデータストリーム３０４の中で信号伝送されうる。
セクション３．１．２において、オフセットは、Ｅoffとして示された。このセクションにて説明したように、より小さいオフセットは、それとともに関連付けられたより大きなオフセットよりもより高い確率を有するように、デコーダ３００は、外周方向に沿ってサンプル位置ピッチを単位にして測定された、ブロック２１０の外周に沿った直接的な延長サンプル位置３２０からの様々な起こり得るオフセットが、より大きなオフセットからより小さいオフセットまで単調に増加するそれとともに関連付けされた確率評価を持つエントロピー復号化を使用してデータストリームからリファイン情報を抽出するように構成されうる。例えば、ＶＬＣ符号語長は、単調に減少することができる。
また、上記でも記載されているように、３つのシンタックス要素は、Ｅoffを送信するために用いてもよい。第１の信号伝送は、いかなるオフセットＥoffが存在するかに関する。すなわち、同上がゼロであるかに関する。第２のものは、オフセットの符号、すなわちオフセットがゼロでない場合に、時計回り、または、反時計回りの偏差を意味する。そして第３は、絶対オフセット値−１を示す：dmm＿delta＿end＿flag、dmm＿delta＿end＿sign＿flag、dmm＿delta＿end＿abs＿minus1。疑似符号において、これらのシンタックス要素は、以下として含めることができる。
Figure 2019134466
dmm＿delta＿end＿abs＿minus1およびdmm＿delta＿end＿sign＿flagは、DmmDeltaEnd、すなわちＥoffを導出するのに使用することができる。そして、以下の通りである：

DmmDeltaEnd[ x0 ][ y0 ] = ( 1 − 2 *dmm＿delta＿end＿sign＿flag[ x0 ][ y0 ] ) *
( dmm＿delta＿end＿abs＿minus1[ x0 ][ y0 ] + 1)
それから、デコーダ３００が、復号化３１０において、第１および第２のウェッジレットパーティション２０２ａおよび２０２ｂを単位にして、既定のブロック２１０を復号化するように構成されている。セクション３および４、特にセクション４において、上記で提出される説明において、復号化３１０は、第１のウェッジレットパーティション２０２ａ内に第１の固定パーティション値Ｗpred,P1をサンプルアレイ位置のサンプルに、および第２のウェッジレットパーティション２０２ｂ内に第２の固定パーティション値Ｗpred,P2をサンプルアレイ位置のサンプルに割り当てることにより、現行ブロック２１０の予測を含む。復号化手順３１０のこの実現の効果は、サイド情報の量が低く保たれうるということである。特に、このあり得る実現は、その間で急なエッジを有する比較的平坦な平坦域から成る上記概説された性質を有するサンプルアレイにより運ばれるそのような情報の場合、例えば、奥行きマップのような場合には、特に有利である。しかしながら、デコーダが他の符号化パラメータをウェッジレットパーティション２０２ａおよび２０２ｂに割り当てたことは、個々に可能でさえある。例えば、動きおよび／または視差補償予測は、復号化３１０においてパーティション２０２ａおよび２０２ｂに個々に適用されえ、このことにより、例えば個々のベクトルなどのパーティション２０２ａおよび２０２ｂのために、それぞれの動きおよび／または視差パラメータを個々に得る。代わりに、パーティション２０２ａおよび２０２ｂは、例えば個々にイントラ符号化命令をそれぞれ同上に適用することにより、復号化３０６において個々にイントラ符号化されうる。
図１６によれば、以下の情報は、ブロック２１０のためにデータストリームに存在してもよい：１）ステップ３０６−３１０をトリガするそれぞれの既定の状態を有する符号化オプション識別子、２）終了位置オフセットなどのリファイン情報、３）任意に、符号化パラメータ−例えばＣＰＶまたはＣＰＶ残差のような−１つまたは両方のパーティション２０２ａ，２０２ｂのための−任意な、なぜなら同上は予測することが可能である−隣接するサンプル／ブロックから空間的にあるいは時間的に、４）任意に、デルタＣＰＶのような符号化パラメータ残差。
さらに、手順３０６〜３１０により実現される符号化モードが、データストリーム３０４の中でそれぞれの符号化オプション識別子のそれぞれの共通の既定の値によりトリガされる２つの符号化モードオプションの中の単にデフォルト符号化モードオプションだけであるように、図１６のデコーダ３００は、構成されうる。符号化オプション識別子が既定の値を有する場合、既定のブロックに隣接している一組の候補ブロックのいずれかがブロック２１０に達しているウェッジレット分離線分を有するかどうかをチェックすることを用いて、データストリーム３０４から符号化オプション識別子を検索するように、例えば、図１６のデコーダ３００は、構成されうる。例えば、候補ブロックは、サンプルアレイ３０２の復号化ブロック３０４のデコーダ３００により適用された符号化順序中−または、復号化順序中−の現行ブロック２１０に先行するサンプルアレイ３０２の空間的な隣接ブロック３０４を含むことができる。例えば、符号化順序は、ブロック３０４を行方向に左から右に、上から下に、走査することができ、そして、その場合、候補ブロックは、現行ブロック２１０の左に直接隣接しているブロックを含むことができ、かつ、例えばブロック２１２のように、現行ブロック２１０の上に直接隣接しているブロックを含むことができる。チェックで候補ブロックのセットの中にこの種のウェッジレットブロックがあることが分かる場合、デコーダ３００は、予測３０６、リファイン３０８および変更されていない方法の復号化３１０を実行することができる。しかしながら、そうでない場合には、デコーダ３００は、それと異なり予測３０６を実行することができる。セクション３．１．２において、上記に記述されたように、かつ、次のセクションに関して更に詳細に概説されるように、デコーダ３００は、そのとき、現行ブロック２１０に隣接している再構成された隣接サンプルに依存しているかまたは候補ブロックの一つ以上のイントラ予測されたブロックのイントラ予測方向に依存している現行ブロック２１０の中のウェッジレット分離線分２０１の延長方向を設定することにより、現行ブロック２１０中のウェッジレット分離線２０１の位置を予測するように構成されうる。復号化３１０の固定パーティション値の予測のための考え得る実現に関する限り、参照は上記、および、下記の説明でなされる。
更に、ブロック境界全体にわたるウェッジレット分離線分の延長が、現行ブロック、例えば上記で概説されて、下記で更に記載されているような輪郭モード、の２つのセグメンテーションのより多くの自由を可能にする符号化モードと結合される場合、特定の効果が結果として得られる点に留意する必要がある。具体的には、デコーダ３００は、輪郭分割モードと同様にブロック３０６〜３１０により実現されるモードをサポートするように構成されえ、それにより、符号化オーバーヘッドをブロックのニーズに適切に適応させることを可能にする。
いずれにせよ、手順３０６〜３１０による復号化／再構成としてのブロックは、デコーダ３００の予測ループの参照として役立つことができる。すなわち、２値予測を使用する場合における予測結果は、例えば、動きおよび／または視差補償予測のための参照として役立つことができる。さらに、復号化３１０により得られた再構成された値は、復号化順序に続くサンプルアレイ３０２のいかなるブロック３０４のイントラ予測における空間隣接サンプルとして役立つことができる。
図１７は、図１６のデコーダに適合しているあり得るエンコーダを示す。特に、予測された位置のウェッジレット分離線分が、隣接ブロックの既定のブロックへのウェッジレット分離線分の延長を形成するように、図１７は、サンプルアレイをデータストリームに符号化するために、既定のブロックの隣接ブロックのウェッジレット分離線分に依存するサンプルアレイの既定のブロック内にウェッジレット分離線分の位置を予測するように構成されるエンコーダ３３０を示す。この機能は、３３２で示される。更に、デコーダ３３０は、リファイン情報を使用してウェッジレット分離線分の予測された位置をリファインするために機能３３４を有する、そして、既定のブロックのウェッジレット分離線分が、既定のブロックを、第１および第２のウェッジレットパーティションに分割する。エンコーダ３３０も、リファイン情報がデータストリームに挿入される挿入機能３３６、および、エンコーダ３３０が既定のブロックを第１および第２のウェッジレットパーティションを単位として符号化する符号化機能を有する。
５．２ 隣接ブロックのイントラ予測方向からのウェッジレット分離線分延長方向予測
上記に記載されているように、ウェッジレットベースのブロック分割さえ、ウェッジレット分離線分の位置についてデコーダ側に知らせるために、サイド情報の著しい量を必要とする。
以下に概説された実施例が基づく発想は、隣接している、イントラ予測されたブロックのイントラ予測方向が、現行ブロックのウェッジレット分離線分の延長方向を予測するために使用することができ、これにより、分割情報を伝送するために必要なサイド情報のレートを低減することができる。
上記説明において、セクション３．１．２は、セクション３および４において上記で概説されている、不規則性分割モードの集合を制限しないように、より一般的な用語で同様に説明されている、下記に概説された実施例のあり得る実現が示された。むしろ、ちょうど言及された発想は、下記でより詳しく述べるように、セクション３．１．２に記載されている他の詳細から独立して有利に使用されうる。それにもかかわらず、セクション３．１．２および他のセクションに記載されているすべての詳細は、可能な実現の詳細として理解されるべきであり、それは下記で提示される説明と個々に結合されうる。
したがって、図１８は、デコーダ４００のための実施例を示し、そして、可能な付加的な機能性に関する限り、それはちょうど概説された発想を利用して、セクション３．１．２および／または図１〜３に関して上述したように実現することができる。すなわち、図１８のデコーダ４００は、データストリーム３０４からサンプルアレイ３０２を再構成するように構成される。図１８のデコーダ４００は、通常、図１８のデコーダにとっては任意である機能３０６〜３１０により定義される符号化モードを除いて、図１６のデコーダ３００に関してセクション５において上記で述べられるように、実現することができる。すなわち、図１８のデコーダ４００は、ブロックベースの復号化、例えばブロックベースのハイブリッド復号化により、図１８のサンプルアレイ３０２を再構成するために動作することができる。サンプルアレイ３０２のブロック３０３が利用できる符号化モードの中で、デコーダ４００の機能モジュール４０２に関して、更に概説されるイントラ予測モードがある。それがちょうど図１８のデコーダ３００を有するケースであるので、ブロック３０３へのサンプルアレイ３０２の再分割は、デフォルトで固定することができる、またはそれぞれの再分割情報によりデータストリーム３０４の中で信号伝送することができる。特に、図１８のデコーダ４００は、図１〜３に関して、すなわち符号化ブランチ１０６v/d,1の一対あるいは単に１０６d,1などの奥行きデコーダなどの図３のデコーダまたは視点デコーダのいずれかのように、上記で概説されたように構成されうる。
特に、図１８のデコーダ４００は、サンプルアレイ３０２の第１のブロック２１２がイントラ予測を使用して予測する機能４０２を有する。例えば、イントラ予測モードは、ブロック２１２のためのデータストリーム３０４の中で信号伝送される。デコーダ４００は、第１のブロック２１２にイントラ予測方向２１４に沿って第１のブロック２１２に隣接するサンプルアレイ３０２のサンプル４０４の再構成された値をコピーすることにより第１のブロック２１２を満たすことによって、イントラ予測４０２を実行するように構成されうる。イントラ予測方向２１４は、ブロック２１２のためのデータストリーム３０４の中で、例えばいくつかの可能な方向の中の１つを、インデックスを付けることにより信号伝送することもできる。あるいは、ブロック２１２そのもののイントラ予測方向２１４は、予測を受けうる。例えば、復号化ブランチ１０６d,1のイントラ予測器３６が、ステップ４０２を実行するように構成されうる図１〜３の説明を参照されたい。具体的には、隣接サンプル４０４は、それらの再構成がすでに利用でき、ブロック２１２に隣接している隣接サンプル４０４の再構成された値を含むように、デコーダ４００により復号化順序におけるすでにパスされたサンプルアレイ３０２のブロック３０３に属することができる。上述したように、さまざまな符号化モードが、復号化順序において先行しているこれら先行するブロックを再構成するためにデコーダ４００により用いられうる。
更に、図１８のデコーダ４００は、隣接ブロック２１２のイントラ予測方向２１４に依存している第２のブロック２１０内にウェッジレット分離線分２０１の延長方向をセットすることにより、第１のブロック２１２に隣接している第２のブロック２１０内にウェッジレット分離線分２０１の位置３１２を予測するように構成することができ、ウェッジレット分離線分２０１は、第２のブロック２１０を第１および第２のウェッジレットパーティション２０２ａおよび２０２ｂに分割する。例えば、図１８のデコーダ４００は、ウェッジレット分離線分２０１の延長方向の表現の量子化に関して可能な限りイントラ予測方向２１４に等しくなるべくウェッジレット分離線分２０１の延長方向を設定するように構成されうる。まっすぐな分離線分の場合には、延長方向は、単に線分の傾斜に対応する。カーブした分離線の場合には、隣接ブロックに対する境界での現行ブロックの分離線分の局所的な傾斜として、イントラ予測方向を、例えば、適応することができる。例えば、図１８のデコーダ４００は、イントラ予測方向２１４の最高の近似値を形成する一連の可能な延長方向の中から延長方向を選択する。
このように、予測４０４において、デコーダ４００は、少なくともその延長方向が関係する限り、現行ブロック２１０のウェッジレット分離線分２０１の位置３１２を予測する。第２のブロック２１０のウェッジレット分離線分２０１の位置の導出は、延長方向４０８を変更されていないままにすることで決定することができる。例えば、ウェッジレット分離線分２０１の開始点３１４の予測が、ステップ４０６のウェッジレット分離線分位置を導出する際にデコーダ４００により実行されうることがセクション３．１．２に記載されていたけれども、デコーダ４００は、その代わりに、データストリーム３０４の中で明確な信号伝送によりこの開始点３１４を導出するように構成されうる。さらに、図１８のデコーダ４００は、例えば延長方向３１６の保守中などで、延長方向に並行に延長方向３０６の側方における導出４０６において、以前に復号化されたサンプルアレイにおける同じ位置に配置されたウェッジレットブロックから横方向の距離を時間的に予測することにより、または、サンプルアレイ３０２と比較して異なる視点に属している他のサンプルアレイから横方向の位置を空間的に予測することにより、ウェッジレット分離線分２０１を空間的に配置するように構成することができた。
しかしながら、デコーダ４００が、サンプルアレイ３０２の第２のブロック２１０内にウェッジレット分離線分２０１の位置を導出する際に、第２のブロック２１０の外周の一部に沿って第２のブロック２１０に隣接して伸びていサンプル系統のサンプルの一連の再構成された値の連続的なものの間で最大の変化の位置にウェッジレット分離線分２０１の開始点３１４を配置することが好ましい。サンプルの線分は、小さいクロスにより表されているサンプルを有する図１８の参照符号４１０により示される。サンプルの線分４１０は、利用できる空間的に隣接したブロックのサンプルに制限されうる。いずれにせよ、最大の変化が決定されるサンプルの線分４１０が、図１８に示すように矩形ブロック２１０の角のうちの１つのまわりに延長することができることが強調されるべきである。このように、この手順によれば、デコーダ４００は、隣接するサンプルおよびサンプル線分４１０との間で始まるように導出４０６におけるウェッジレット分離線分を配置するように構成されえ、ここで、延長方向４０８と平行して、再構成された値の最大差が、存在する。
したがって、良好な予測がデータストリーム３０４中の明確な信号伝送より別の手段によりウェッジレット分離線分２０１の位置を導出するとわかった時から、サイド情報のレートが保存される。
それから、デコーダ４００による復号化４１２は、それが図１６に関してちょうど記載されていたように、どのデコーダ４００が、第１および第２のウェッジレットパーティション２０２ａおよび２０２ｂを単位にして第２のブロックを復号化するかについて、生じる。
当然に、図１８のデコーダ４００は、また、図１６のリファイン機能３０８を備えるように変更されうる。従って、ステップ４０６において導出されるように、ウェッジレット分離線分−上記で示されたものとして、まっすぐであると限られることができるかまたはできないか−の位置の終了位置３２０に関連して現行ブロック２１０のウェッジレット分離線分２０１の終了位置３１８のオフセットが、データストリーム３０４の中で信号伝送をすることができる。
また、上記でも記載されているように、３つのシンタックス要素は、この種の終了位置オフセットＥoffを送信するために用いることができ、第１の信号伝送は、いかなるオフセットＥoffが存在するかに関する。すなわち、同上がゼロかどうかに関する。第２のものは、オフセットの符号、すなわちオフセットがゼロでない場合に、時計回り、または、反時計回りの偏差を意味する。および、第３は絶対オフセット値−１を示す：dmm＿delta＿end＿flag、dmm＿delta＿end＿sign＿flag、dmm＿delta＿end＿abs＿minus1。疑似符号において、これらのシンタックス要素は、以下として含めることができる。
Figure 2019134466
dmm＿delta＿end＿abs＿minus1およびdmm＿delta＿end＿sign＿flagは、DmmDeltaEnd、すなわち、Ｅoffを導出するのに使用することができる。そして、以下の通りである：

DmmDeltaEnd[ x0 ][ y0 ] = ( 1 − 2 *dmm＿delta＿end＿sign＿flag[ x0 ][ y0 ] ) *
( dmm＿delta＿end＿abs＿minus1[ x0 ][ y0 ] + 1)
しかしながら、代わりの手順は、同様に実現可能である。例えば、終了位置オフセットの信号伝送を行う代わりに、イントラ予測方向２１４に応じてセットされる延長方向と関連して方向または角度オフセットは、ブロック２０２のためのデータストリーム３０４の中で信号伝送される可能性がある。
図１８によれば、以下の情報は、ブロック２１０のためのデータストリームに存在してもよい：１）ステップ４０６−４１２をトリガするそれぞれ既定の状態を有する符号化オプション識別子、２）任意に、終了位置オフセットなどのリファイン情報を、３）任意に、符号化パラメータ−例えばＣＰＶまたはＣＰＶ残差のような−１つまたは両方のパーティション２０２ａ，２０２ｂのための−任意な、なぜなら同上は−予測することが可能である−隣接するサンプル／ブロックから空間的にあるいは時間的に、４）任意に、デルタＣＰＶのような符号化パラメータ残差。
セクション３．３の説明に関連する復号化ステップ４１２の考えられる変更態様に関して、参照は、図１６のステップ３１０の上記説明になされる。
図１８のデコーダ４００が、ステップ４０６および４１２をデータストリーム３０４の中で符号化オプション識別子により有効化される符号化モードオプションとみなすように構成されうることは、言うまでもない、ここで、現行ブロック２１０の近隣の一組の候補ブロックのいずれもすでにそのウェッジレット分離線分を有しない場合に備えて、ウェッジレット分離線分位置導出４０６は、ウェッジレット分離線分位置を導出するための従属の計測を形成する。そして、それの延長は、現行ブロック２１０まで続く。
図１９は、図１８のデコーダに適合しているエンコーダのための実施例を示す。図１９のエンコーダは、通常、参照符号４３０で示されて、サンプルアレイをデータストリーム３０４に符号化するように構成される。内部的には、エンコーダ４３０は、ブロック４３２のイントラ予測およびブロック４３４の図１８のブロック４０６の説明に基づく線分導出を使用してサンプルアレイの第１のブロックを予測するように構成される。それから、エンコーダ４３０は、符号化ブロック４３６において第１および第２のパーティションを単位にして、４３４における線分導出の主題であった第２のブロックを符号化する。
当然、エンコーダ４３０は、図１９に示される機能を越えて、図１８のデコーダの機能を反映させるために動作するように構成される。すなわち、エンコーダ４３０は、ブロックベースを使用して、例えば、ブロックベースのハイブリッド符号化を使用して動作することができる。明確に述べられていないにもかかわらず、図１６のデコーダと比較したとき、同上も図１７のエンコーダに関して当てはまる。
５．３ 隣接サンプルの再構成された値に従ってその開始点を配置することによるウェッジレット分離線分導出
ウェッジレットブロックのウェッジレット分離線分の位置に関する情報を伝送するために必要なサイド情報を減少させる更なる方法は、更に以下で概説される実施例の基礎を形成する。特に、発想は、すなわち、ウェッジレット分離線分の開始点を外周に沿って現行ブロックに隣接して伸びているサンプル系統のサンプルの一連の再構成された値の連続的なものの間で最大の変化の位置に配置することにより、以前に再構成されたサンプル、すなわち符号化／復号化順序に従う現行ブロックに先行するブロックの再構成された値が、ウェッジレット分離線分の正しい配置の少なくとも予測を可能にする。このように、セクション５．１および５．２に関して上記で概説された可能性と同様、必要なサイド情報レートは、デコーダが正しくウェッジレット分離線分を配置するのを可能にするために、低下することができる。下記で概説される実施例の基礎をなしている発想は、したがって、下記で概説される実施例のあり得る実現が、記載されているセクション３．１．２の上記説明においても利用された。
従って、図２０は、デコーダ５００のための実施例を示す、そして、それはちょうど概説された発想を利用して、可能な更なる機能性が関係する限り、セクション３．１．２および／または図１〜３に関して上述したように実現することができる。すなわち、図２０のデコーダ５００は、データストリーム３０４からサンプルアレイ３０２を再構成するように構成される。通常、図２０のデコーダ５００は、例えば、それは図１８のデコーダのために任意である機能３０６〜３１０により定義された符号化モードを除いて、および、図１８のデコーダ４００に関して、例えば、図２０のデコーダのために任意である機能４０２、４０６および４１２により定義された符号化モードを除いて、例えば、図１６のデコーダ３００に関して、上記をセクション５．１または５．２で述べられるように、実現することができる。すなわち、図２０のデコーダ５００は、ブロックベースの復号化、例えばブロックベースのハイブリッド復号化、により、図２０のサンプルアレイ３０２を再構成するために動作することができる。それがちょうど図１８のデコーダ３００を有するケースである時、サンプルアレイ３０２のブロック３０３への再分割は、デフォルトで固定することができるか、またはそれぞれの再分割情報によりデータストリーム３０４の中で信号伝送することができる。特に、図２０のデコーダ５００は、図１〜３に関して上記で概説されるように、すなわち図３のデコーダのように、または符号化ブランチ１０６v/d,1のような視点デコーダ、あるいは単に１０６d,1のような奥行きデコーダとして、構成することができる。
率直に言って、参照符号５００で示される図２０のデコーダは、主に図１８のデコーダに対応する。しかしながら、ブロック４０２および４０６において、図１８に関して概説された機能は、単に図２０に関する任意のステップを表す。むしろ、図２０のデコーダ５００は、ステップ４０６’において、サンプルアレイ３０２の既定のブロック２１０内に、ウェッジレット分離線分２０１の位置を、ウェッジレット分離線分２０１の開始点３１４を既定のブロック２１０の外周の一部に沿った既定のブロック２１０に隣接して延長しているサンプルの線分４１０の一連の再構成された値の連続するものの間の最大変化位置に配置することにより導出するように構成され、ウェッジレット分離線分２０１は、既定のブロック２１０を第１および第２のウェッジレットパーティション２０２ａおよび２０２ｂに分割する。ステップ４１２’において、デコーダ５００は、図１８に関して上記で概説したやり方で、結果として得るパーティション２０２ａおよび２０２ｂの復号化を実行する。
具体的には、導出４０６’において、反時計回りまたは時計回り方向でこれらのサンプルを横断するときに、デコーダ５００は、それらの発生のそれらの順序に従ってブロック２１０のすでに復号化された隣接ブロックのサンプルの再構成された値を指令する。再構成された値の結果として得るシーケンスは、５０２で図２０において示される。以上のように、連続的な再構成された値の最も大きな差は、第ｎ番目および第（ｎ＋１）番目の隣接しているサンプルの間に生じる、そして、したがって、図２０のデコーダは、エッジ３１６にてウェッジレット分離線分を配置するであろう。そして、それに、隣接しているサンプルのこの一対は、次々と直接に隣接サンプルのこの一対に隣接するブロック２１０のサンプル間で隣接する。上記で概説されるように、デコーダ５００は、行方向のブロックスキャン方向を使用することができ、そして、したがって、サンプル線分４１０の隣接したサンプルは、ブロック２１０の左側のエッジおよび上部エッジに沿って延びることができる。同じことは、復号化／符号化順序に従って、行方向にスキャンされるツリールートブロックの行方向のスキャンのミックスを用いて達成することができ、ここで、現在訪問されるツリールートブロックごとに、四分木再分割は実行され、そのリーフルートブロックは、奥行き優先の横断順序においてスキャンされる。この種の順序を使用するときに、すでに再構成された隣接サンプルの最大数を有する可能性は、幅優先横断順序を使用することと比較して増加する。
導出４０６’において、図２０のデコーダ５００は、任意の方法と同様に、図１８に関して、および、セクション３．１．２において記載されているように、ウェッジレット分離線分延長方向４０８の導出を使用することができる。あるいは、デコーダ５００が現行ブロック２１０のウェッジレット分離線分２０１を配置するウェッジレット分離線分延長方向は、異なって、例えば、それは、サンプルアレイ３０２を含むサンプルアレイシーケンスの以前に復号化したサンプルアレイの同じ位置に配置されたウェッジレットブロックから、時間的に予測されうる。あるいは、ウェッジレット分離線分の終了点３１８の明確な信号伝送が、使用されうる。明確な信号伝送は、サンプル位置から終了点３１８のオフセットが、ブロック２１０の中間点全体の開始位置３１４と関連して逆の位置に位置していることを表すことができる。他のソリューションも、もちろん、実現可能である。
この点に関しては、第ｎ番目のサンプル位置、第（ｎ＋１）番目のサンプル位置またはその間のサブピクセル位置に対応するために、開始点３１４が、ステップ４０６’においてデコーダ５００により定義されうる点に留意する必要がある。
セクション５．１および５．２における前述の組合せ可能性の多くは、現在のセクションの実施例にも移転可能である。例えば、ブロック４０６’および４１２’により実現されるデコーダ５００の符号化モードは、候補隣接ブロックのセットのうちの１つが現行ブロック２１０まで続いているウェッジレット分離線分を備えているときはいつでも、その代わりに実行されるデフォルト符号化モードを表しているセクション５．１のウェッジレット分離線分延長概念を有する共通の符号化オプション識別子の共通の既定の値によりトリガされる補助的な代替システム機能を表すことができる。他の一般化および変更態様も、可能である。例えば、デコーダ５００は、輪郭分割モードその他をサポートすることもできた。
図２０によれば、以下の情報は、ブロック２１０のためのデータストリームに存在してもよい：１）ステップ４０６’−４１２’をトリガするそれぞれの既定の状態を有する符号化オプション識別子、２）任意に、終了位置オフセットなどのリファイン情報、３）任意に、符号化パラメータ−例えばＣＰＶまたはＣＰＶ残差のような−１つまたは両方のパーティション２０２ａ，２０２ｂのための−任意な、なぜなら同上は予測することが可能である−隣接するサンプル／ブロックから空間的にあるいは時間的に、４）任意に、デルタＣＰＶのような符号化パラメータ残差。
図２１は、図２０のデコーダに適合しているエンコーダを示す。ブロック４３６に関して図１９に関して概説されるように、同上は、参照符号５３０により示されて、ステップ４０６および符号化４３６’に従う線分導出４３４’を実行できるように構成される。
５．４ 画像の同じ位置に配置された部分の二値化処理による奥行き／視差マップのタイル（ピクセル）ベースの２つのセグメンテーション
上記説明から明白になったので、ウェッジレットベースの分割は、一方ではサイド情報レートおよび他方では分割の可能性の達成可能な多様性の間の一種のトレードオフを表す。それと比較して、輪郭に分割することは、サイド情報レートに関してより複雑なようである。
更に下記で記載されている実施例の基礎をなしている発想は、それであるパーティションがウェッジレットパーティションでなければならない程度まで、分割する制約を軽減する能力は、奥行き／視差マップの２つのセグメンテーションのための良好な予測器を導出するためにオーバーレイされた空間的にサンプリングされたテクスチャ情報に比較的複雑でない統計分析を適用することを可能にする。このように、この発想によれば、画像の形の同じ位置に配置されたテクスチャ情報が存在し、そして、その意味あるテクスチャ変化が、ここで、観察できれば、正確に信号伝送オーバーヘッドを軽減する自由が増加することである。この発想のありうる実現、それはこの発想を利用する、は、セクション３．２．２において上記で記載されていたが、より多くの一般名称で下記に更に詳細に記載されている。また、セクション３．２．２および他のセクションに記載されているすべての詳細は、可能な実現の詳細として理解されるべきである、そして、それは個々に下記で発表される説明と結合されうる。
特に、図２２は、本発明のこの種の実施例によるデコーダ６００を示す。デコーダ６００は、データストリーム３０４から画像２１５と関連した奥行き／視差マップ２１３の既定のブロックを再構成するためにある。デコーダは、セグメンタ６０２、空間転送器６０４およびデコーダ６０６を含む。デコーダ６００は、復号化ブランチ１０６d,1/2のいずれかに関して上述したように構成されうる。すなわち、デコーダ６００は、ブロック−ベースで作用することができる。更に、同上は、ハイブリッドビデオデコーダとして実現することができる。ブロックへの奥行き／視差マップ２１３の再分割は、ブロックに完全に画像２１５の再分割を導出することができるか、またはそこから逸脱することができ、ここで、奥行き／視差マップの再分割は、データストリーム３０４の中で信号伝送できるかまたは、さもなければデコーダ６００に知られうる。
セグメンタ６０２は、参照ブロックの第１および第２のパーティションへの２つのセグメンテーションを得る参照ブロック２１６の範囲内で画像２１５を二値化処理することにより、奥行き／視差マップ２１３の既定のブロック２１０と同じ位置に配置される、画像２１５の参照ブロック２１６をセグメント化するように構成される。
空間転送器６０４は、それから、既定のブロック２１０の第１および第２のパーティション２０２ａおよび２０２ｂを得るために、画像の参照ブロック２１６の２つのセグメンテーションを奥行き／視差マップ２１３の既定のブロック２１０に転送する。
デコーダ６０６は、第１および第２のパーティション２０２ａおよび２０２ｂを単位にして既定のブロック２１０を復号化するように構成される。デコーダ６０６の機能は、ボックス３１０、４１２および４１２’に関して上記の機能に対応する。
図１〜３について考えれば、セグメンタおよび転送器機能は、交換モジュール５２および１１０の範囲内でそれぞれ含まれうる。その一方で、例えば、デコーダ６０６の機能は、例えば、イントラ予測モジュールで実現することができる。
図２２の要素に関する可能な実施詳細を表すことができるセクション３．２．２に関して上述したように、セグメンタ６０２は、個々に、それぞれの値がそれぞれの既定の値より大きいか小さいかに関しては、画像２１５の参照ブロック２１６の第１および第２のパーティション２０２ａおよび２０２ｂの各々は、画像２１５の参照ブロック２１６を完全にカバーし互いに補完的であるタイルのセットであることができるように、二値化処理において、参照ブロック２１６の二次元再分割のタイル６０８での参照ブロック２１６の中で画像２１５の値を個々にチェックすることができるように構成することができる。すなわち、二値化処理は、タイル６０８が画像２１５のうちの個々のサンプル６１０に対応するという場合に、サンプル解像度で実行されうる。二値化処理における個々のチェックの対象である値が、再構成された画像２１５の再構成された値であるという点で、デコーダ６００が、画像２１５の再構成を担当してもよいと述べられなければならない。特に、図１〜３について述べたように、デコーダ６００は、それとともに関連する奥行き／視差マップ２１３の前に画像２１５を再構成するように構成されうる。
すでに上述したように、セグメンタ６０２は、セグメント化する際に、参照ブロック２１６の第１および第２のパーティションへの２つのセグメンテーションを得るために、モルフォロジカルホールフィリング（ｍｏｒｐｈｏｌｏｇｉｃａｌ ｈｏｌｅ ｆｉｌｌｉｎｇ）および／またはローパスフィルタリングを二値化処理の結果上に適用するように構成されうる。これは、空間転送器６０４により空間的に転送された参照ブロック２１６から得られた２つのセグメンテーションのパーティションの非常に多くの分離された部分の発生を回避する、しかしながら、この種の突然の奥行き変化が、目にみえて発生する可能性は、かなり低い。当然、エンコーダは、同じことを実行する。
更に、デコーダ６００およびセグメンタ６０２は、二値化処理において、画像２１５の参照ブロック２１６の再構成されたサンプル値の中心的傾向の大きさを決定し、画像２１５の参照ブロック２１６の各再構成されたサンプル値を決定された大きさに依存するそれぞれの閾値と比較することにより二値化処理を実行するよう構成することができる。上述の通り、閾値は、参照ブロック２１６の中のサンプル６１０の中でグローバルに定義されうる。中心傾向として、算術平均または中央値のような、いくつかの平均値が、使用されうる。
セクション４．２において上述した通り、デコーダ６００は、既定の閾値を上回っている画像２１５の参照ブロック２１６の中でサンプルの値の演繹的な決定された分散だけの場合には単にブロック６０２〜６０６により表される符号化モードの有効性を裏づけるように構成されえた。そうでない場合には、二値化処理により発見された２つのセグメンテーションは、奥行き／視差マップのブロック２１０の外観のための良好な予測器をおそらく形成せず、そして、したがって、この符号化モードは、このブロックを考慮に入れることができない。モードの可能性を抑圧することにより、エントロピー確率評価が考慮されなければならないそれぞれの符号化オプション識別子のシンボル値の数の不利なおよび不必要な増加、は、回避される。
図２２によれば、以下の情報は、ブロック２１０のためのデータストリームに存在してもよい：１）ステップ６０２−６０４をトリガするそれぞれの既定の状態を有する符号化オプション識別子、２）任意に、例えば閾値、指向性等を満たしている後続フィルタリング／ホールフィルタリング指向性等の情報ステアリング２つのセグメンテーション、３）任意に、符号化パラメータ−例えばＣＰＶまたはＣＰＶ残差のような−１つまたは両方のパーティション２０２ａ，２０２ｂのための−任意な、なぜなら同上は予測することが可能である−隣接するサンプル／ブロックから空間的にあるいは時間的に、４）任意に、デルタＣＰＶのような符号化パラメータ残差。
図１６、１８および２０の実施例に関して上述のすべての更なるバリエーションは、図２２の実施例にも適用できる。これは、デコーダ６００の予測ループの参照および図２２の符号化モードの結合の可能性の一部としての予測結果の使用にとって、セクション５．１〜５．３のいずれにおいても記載された他の符号化モードのいずれかに関して、または、セクション３〜４において上記のバリエーションに関して、特に真実である。
図２３は、図２２のデコーダに適合しているエンコーダのあり得る実施を示す。図２３のエンコーダは、通常、参照符号６３０により示されて、データストリーム３０４に画像と関連した奥行き／視差マップの既定のブロックを符号化するように構成される。エンコーダは、それらがデータストリーム３０４の前に符号化された部分の内部に再構成されたバージョンに作用するという点で、図２２の構成要素６０２および６０４のように作動するセグメンタ６３２および空間転送器６３４を含む。エンコーダ６３６は、結果として生じるパーティションを単位として、既定のブロックを符号化する。
５．５ 画像から画像の参照ブロックの中のサンプル値分散上の奥行き／視差マップへの２つのセグメンテーション伝送の有効性の依存性
下記で概説される実施例の基礎をなしている発想は、セクション４．２、すなわち、奥行き／視差マップの現行ブロックのコンテンツの良好な近似値を達成する可能性が、この２つのセグメンテーション移動モードをトリガするために対応する符号化オプション識別子のそれぞれの既定の値の条件を正当化するために十分に高い場合、奥行き／視差マップの現行ブロックの上の２つのセグメンテーションの次の移動を有する画像の範囲内の同じ位置に配置された参照ブロックに基づく２つのセグメンテーションの導出に従う発想が単に合理的なだけである、において、すでに述べられていた。換言すれば、それぞれの２つのセグメンテーション移動がいずれにしろ非常に選択されなさそうであるという場合のこの符号化オプション識別子をエントロピー符号化するときに、サイド情報レートは、奥行き／視差マップの現行ブロックのための符号化オプション識別子のそれぞれの既定の値を考慮に入れる必要性を回避することにより保存されうる。
このように、図２２のデコーダ６００の修正された実施例によれば、参照は、一般にデコーダ６００の考えられる実施態様に関する限り、上述の説明がなされるように、デコーダは通常、図２０のデコーダと同様に構成される。しかしながら、セグメンタ６０２は、参照ブロック２１６を輪郭パーティションにも、また、ウェッジレットパーティションにもセグメント化するように構成されるために制限されない。むしろ、セグメンタ６０２は、単に参照ブロックの２つのセグメンテーションから第１および第２のパーティションを得るために、参照ブロック２１６の中で画像２１５のテクスチャ特徴に応じて画像２１５の参照ブロック２１６をセグメント化するように構成されるだけである。例えば、セグメンタ６０２は、この種の修正された実施例に従って、空間転送器６０４により奥行き／視差ブロック２１０上に空間的にこのようにして位置する線分をブロック２１６から転送するためにウェッジレット分離線分の可能な延長方向を検出するため、エッジ検出を使用することができる。セグメンタ６０２による他のありうる２つのセグメンテーションも、実現可能である。
しかしながら、セグメンタ６０２によるセグメンテーション、空間転送器６０４による空間転送および復号化が、デコーダ６００の符号化オプションの第１のセットのうちの１つを形成し、そしてそれはデコーダ６００の符号化オプションの第２のセットの一部でないように、デコーダ６００は、この実施例に従って、構成されるであろうことを越えて、ここで、デコーダは、画像２１５の参照ブロック２１６の中でサンプル値の分散を決定するように、データストリーム３０４から符号化オプション識別子を検索するように、および、既定の閾値を越えた分散の場合の符号化オプションの第１のセットへのインデックスとして符号化オプション識別子を使用するように、セグメンテーション、空間転送および符号化オプションが１つの符号化オプションを示す場合に既定のブロック２１０上へのボックス６０２〜６０６の復号化、および分散の場合の符号化オプションの第２のセットへのインデックスとして既定の閾値を継承することを伴って、更に構成されるであろう。このように、符号化オプション識別子の信号伝送するためのオーバーヘッドの信号伝送することは、セーブされうる。分散として、平均絶対差、標準偏差または分散が、使用されうる。
図２２のちょうど言及された変更態様の実施例の更なる変更態様に関して、参照は、セクション４．２に関してセクション５．４および説明になされる。
対応するエンコーダは、図２３のエンコーダから導出可能である。
５．６ 隣接するサンプルから一方または両方の固定パーティション値の予測を使用した２分割による有効な予測
すでに今までに記載されている各種実施形態に関して上記で概説されるように、ブロックの２分割のパーティションに固定パーティション値を割り当てることにより現行ブロックを予測する方法は、特に、大抵は奥行き／視差マップのようなこれらのサンプルアレイのコンテンツが大部分は平坦域または急峻なエッジにより互いに分離された類似の値のシンプルに接続された領域からなる符号化サンプルアレイを符号化する場合に、全く効果的である。それにもかかわらず、この種の固定パーティション値の伝送さえ、回避されなければならないサイド情報の相当な量を必要とする。
更に下記で記載されている実施例の基礎をなしている発想は、隣接しているサンプルの値の平均値が関連付けられている、または、それぞれのパーティションに隣接することが固定パーティション値のための予測器として使用される場合、このサイド情報のレートが低減しうるということである。発明者は、サンプルアレイのブロックのためのこの種の符号化モードが、それぞれの固定パーティション値のリファインの信号伝送を放置しておくことさえできることを発見した。
図２４は、データストリーム３０４からサンプルアレイ３０２を再構成するためのデコーダ７００を示す。デコーダ７００は、ブロックベースの復号化を使用しているサンプルアレイ３０２を再構成するように構成することができて、ハイブリッド復号化を使用するように構成することができる。通常、セクション５．１〜５．５においても上記のすべての考えられる実施態様は、図２４のデコーダ７００に適用される。当然、現行ブロック２１０を２つのパーティションに分割するためのすべての考えられる実施態様は、単に、この点に関しては、異なって行うこともできる図２４のデコーダ７００の任意の代替手段を表すだけである。
特に、デコーダ７００は、現行ブロック２１０の予測を導出するために異なる作業または機能を実行するように構成される。特に、デコーダ７００は、サンプルアレイ３０２の既定のブロック２１０の２つのパーティションからハッチングされたサンプルで示される第１のパーティション、およびハッチングされていないサンプルで示された第２のパーティションへの導出７０２を実行するように構成される。更に、各隣接しているサンプルが、それが関連するパーティションに隣接するように、デコーダ７００は、第１および第２のパーティションのそれぞれの一つを有する、既定のブロック２１０まで隣接している、サンプルアレイ３０２の隣接しているサンプルの各々の関連７０４を実行するように構成される。図２４において、それは関連７０４の主題である隣接しているサンプリングは、２つの異なる種類のハッチング、すなわち、ドットハッチングおよびクロスハッチングで示される。ドットハッチングされたものは、ブロック２１０のサンプルに隣接しているサンプルを示し、それはブロック２１０の１つのパーティションに属するが、クロスハッチングされたものは、他のパーティションに属するブロック２１０のサンプルに隣接する。セクション５．１〜５．４に関して上述したように、デコーダ７００は、デコーダ７００によりすでに再構成されたサンプルアレイ３０２のブロック３０３の隣接しているサンプルの有用性のための高い確率を達成するために、サンプルアレイ３０２のブロック３０３の中の適切な符号化／復号化順序を使用することができる。
もちろん、利用できる隣接しているサンプル、すなわちサンプルアレイ３０２のすでに再構成されたブロック３０３内に配置されるブロック２１０の隣接しているサンプル、が単にブロック２１０のパーティションのうちの１つに加わるだけであることは、生じることができる。その場合、データストリーム３０４は、隣接しているサンプルのいずれも隣接しないそれぞれの他のパーティションのための固定パーティション値を明確に送信することができる。その代わりに、若干の他の代替手順は、その場合デコーダ７００により実行されうる。例えば、デコーダ７００は、その場合、この失われた固定パーティション値を既定の値またはサンプルアレイ３０２の以前に再構成された値の中の長期の平均および／または若干の他の以前に再構成されたサンプルアレイから決定された値に設定することができる。
最後に、予測７０６において、デコーダ７００は、第１のパーティションと関連付けされた隣接しているサンプルの値の平均値を、第１のパーティションの中に配置されるサンプルアレイのサンプルに、および／または第２のパーティションと関連付けされた隣接しているサンプルの値の平均値を、第２のパーティションの中に配置されているサンプルアレイのサンプルに配置されるサンプルアレイのサンプルに、割り当てることにより、既定のブロック２１０を予測する。
デコーダ７００は、データストリームの中でリファイン情報を使用して、すなわち第１のパーティションと関連した隣接しているサンプルの値の平均値上にリファイン情報の範囲内で第１のリファイン値を適用することにより、および／または、第２のパーティションと関連した隣接しているサンプルの値の平均値上にリファイン情報の範囲内で第２のリファイン値を適用することにより、既定のブロック２１０の予測をリファインするように構成されうる。この点に関し、デコーダ７００は、第１のおよび／または第２のリファイン値を適用する際に、線形結合するように、第１のおよび／または第２のリファイン値と、第１のパーティションと関連付けられる隣接しているサンプルの値の平均値および／または第２のパーティションと関連付けられる隣接しているサンプルの値の平均値とをそれぞれ例えば加算するように、さらに構成することができる。デコーダ７００は、第１のおよび／または第２のリファイン値を適用する際に、データストリームから第１のおよび／または第２のリファイン値を検索でき、サンプルアレイに関連付けられる既定の空間的にサンプリングされた成分−テクスチャおよび／または奥行きマップ−がデータストリーム内に送信される参照量子化ステップサイズに依存する量子化ステップサイズを使用して、検索された第１のおよび／または第２のリファイン値をスケールできるよう構成されうる。サンプルアレイは、例えば、奥行きマップでもよいが、参照量子化ステップサイズは、奥行きマップが関連付けられるビットストリームからテクスチャ・サンプルアレイを再構成するためにデコーダ７００により用いられてもよい。更なる参照は、詳しくはセクション３．３．２の各部になされる。
デコーダは、サンプルアレイの既定のブロックの２つのパーティションから、第１および第２のパーティションを導出する際に、予測された位置でのウェッジレット分離線分が隣接しているブロックのウェッジレット分離線分の既定のブロックへの延長を形成するように、既定のブロックの隣接しているブロックのウェッジレット分離線分に依存しているサンプルアレイの既定のブロック内にウェッジレット分離線分の位置を予測するように構成される。デコーダは、データストリーム内のリファイン情報を使用してウェッジレット分離線分の予測された位置をリファインするように更に構成され、既定のブロックのウェッジレット分離線分は、既定のブロックを第１および第２のパーティションに分離する。
前述のように、デコーダ７００は、セクション５．１〜５．５で述べられる考えのいずれかを使用して２分割を行うことができる。デコーダ７００は、既定のブロック２１０に隣接しているサンプルアレイ３０２の参照ブロックを、第１のブロックに隣接しているサンプルアレイのサンプルの再構成値をコピーすることにより、参照ブロックを満たすことによりイントラ予測を使用することにより、参照ブロックへのイントラ予測方向に沿って、予測するように構成されうる。サンプルアレイの既定のブロックの２つのパーティションから第１および第２のパーティションを導出する際に、デコーダ７００は、イントラ予測方向に応じて既定のブロックの中のウェッジレット分離線分の延長方向を設定することにより既定のブロック２１０内にウェッジレット分離線分の位置を予測することができ、ウェッジレット分離線分は、既定のブロックを第１および第２のパーティションに分割する。
その代わりに、サンプルアレイ３０２が、画像と関連した奥行き／視差マップである場合、デコーダ７００は、参照ブロックの２つのセグメンテーションから第１および既定のパーティションを得るために参照ブロック内で画像を二値化処理することにより既定のブロック２１０と同じ位置に配置される画像の参照ブロックをセグメント化するように、および、第１および第２のパーティションを得るために、奥行き／視差マップの既定のブロック上に画像の参照ブロックの２つのセグメンテーションを空間的に転送するように構成されうる。
デコーダは、デコーダの予測ループの参照として既定のブロックを使用するように更に構成されうる。
図２５は、図２４のデコーダ７００に適合しているエンコーダ７３０のための可能な実施例を示す。データストリーム中のサンプルアレイを符号化するためのエンコーダ７３０は、サンプルアレイの既定のブロックの２つのパーティションから第１および第２のパーティションを導出する７３２ように、および、各隣接しているサンプルが、同上が関連付けされているパーティションに隣接するように既定のブロックに隣接しているサンプルアレイの隣接しているサンプルの各々を第１および第２のパーティションのそれぞれのひとつに関連付ける７３４ように構成されている。エンコーダは、第１のパーティションに関連付けされた、第１のパーティション内に位置しているサンプルアレイのサンプルに隣接しているサンプルの値の平均値および第２のパーティションに関連付けされた、第２のパーティション内に位置しているサンプルアレイのサンプルに隣接しているサンプルの値の平均値を割り当てることにより、既定のブロックを予測する７３６ように更に構成される。
若干の態様が、装置に関連して記載されているが、これらの形態は対応する方法の記載も表すことは明らかである。ここで、１ブロックまたはデバイスは、方法ステップまたは方法ステップの特徴に対応する。類似して、方法ステップに関連して記載されている形態は、対応するブロックまたは項目または対応する装置の特徴の説明を表す。方法のステップのいくつかまたは全てが、例えば、マイクロプロセッサ、プログラミング可能なコンピュータ、または電子回路のようなハードウェア装置によって（または使用して）実行されうる。若干の実施の形態において、最も重要なステップの若干またはより多くは、そのような装置によって実行されうる。
特定の実現要求に応じて、本発明の実施の形態は、ハードウェアにおいて、または、ソフトウェアにおいて、実行されうる。その実現態様は、それぞれの方法が実行されるように、プログラミング可能なコンピュータシステムと協働するか（または、協働することができる）、そこに格納された電子的に読み込み可能な制御信号を有するデジタル記憶媒体、例えば、フロッピー（登録商標）ディスク、ＤＶＤ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、またはＦＬＡＳＨメモリを使用して実行されうる。従って、デジタル記憶媒体は、コンピュータ読み込み可能でもよい。
本発明による若干の実施の形態は、本願明細書において記載される方法のうちの１つが実行されるように、プログラミング可能なコンピュータシステムと協働することができる電子的に読み込み可能な信号を有するデータキャリアを含む。
通常、本発明の実施の形態は、プログラム・コードを有するコンピュータ・プログラム製品として実施され、コンピュータ・プログラム製品がコンピュータ上で実行する場合、プログラム・コードは、方法のうちの１つを実行するために作動される。プログラム・コードは、機械可読キャリアに、例えば、格納されうる。
他の実施の形態は、機械可読キャリアに格納され、本願明細書において記載される方法のうちの１つを実行するためのコンピュータ・プログラムを含む。
換言すれば、従って、コンピュータ・プログラムがコンピュータ上で実行する場合、本発明の方法の実施の形態は、本願明細書において記載される方法のうちの１つを実行するためのプログラム・コードを有するコンピュータ・プログラムである。
従って、本発明の方法の更なる実施の形態は、その上に記録され、本願明細書において記載される方法のうちの１つを実行するためのコンピュータ・プログラムを含むデータキャリア（または、デジタル記憶媒体、またはコンピュータ可読媒体）である。データキャリア、デジタル記憶媒体または記録された媒体は、一般的には、有形でありおよび／または、暫定的である。
従って、本発明の方法の更なる実施の形態は、本願明細書において記載される方法のうちの１つを実行するためのコンピュータ・プログラムを表しているデータストリームまたは一連の信号である。例えば、データストリームまたは一連の信号は、データ通信接続、例えば、インターネットを介して転送されるように構成されうる。
更なる実施の形態は、本願明細書において記載される方法のうちの１つを実行するために構成され、または適応される処理手段、例えば、コンピュータ、またはプログラミング可能な論理回路を含む。
更なる実施の形態は、その上にインストールされ、本願明細書において記載される方法のうちの１つを実行するためのコンピュータ・プログラムを有するコンピュータを含む。
本発明による更なる実施の形態は、レシーバに本願明細書に記載される方法のうちの１つを実行するためのコンピュータ・プログラムを（例えば、電子的にまたは光学的に）転送するために構成される装置またはシステムを含む。レシーバは、例えば、コンピュータ、モバイル機器、メモリ素子等でもよい。装置またはシステムは、例えば、レシーバにコンピュータ・プログラムを転送するためのファイルサーバを含む。
いくつかの実施の形態において、プログラミング可能な論理回路（例えば、現場でプログラム可能なゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ））が、本願明細書において記載されるいくつかまたは全ての機能を実行するために使用されうる。いくつかの実施の形態において、現場でプログラム可能なゲートアレイは、本願明細書において記載される方法の１つを実行するために、マイクロプロセッサと協働しうる。一般に、方法は、いくつかのハードウェア装置によって、好ましくは実行される。
上述した実施の形態は、本発明の原則の例を表すだけである。本願明細書において記載される装置の修正および変更は、他の当業者にとって明らかであるものと理解される。従って、間近に迫った特許請求の範囲だけによってのみ制限され、ならびに、本願発明の記述および説明によって表された明細書の詳細な記載によっては、制限されない。

Claims (22)

  1. データストリーム（３０４）から画像（２１５）に関連付けられる奥行き／視差マップ（２１３）の既定のブロック（２１０）を再構成するためのデコーダであって、前記デコーダは、
    参照ブロックの第１および第２のパーティションへの２つのセグメンテーションを得るために、前記既定のブロック（２１０）と同じ場所に位置する前記参照ブロック（２１６）の範囲内における前記画像（２１５）を二値化処理することによって、前記画像（２１５）の前記参照ブロック（２１６）をセグメント化し、
    前記既定のブロック（２１０）の第１および第２のパーティション（２０２ａ，２０２ｂ）を得るために、前記画像の前記参照ブロック（２１６）の前記２つのセグメンテーションを、前記奥行き／視差マップ（２１３）の前記既定のブロック（２１０）に、空間的に転送し、そして、
    前記第１および第２のウェッジレットパーティション（２０２ａ，２０２ｂ）単位で前記既定のブロック（２１０）を復号化するように構成される、デコーダ。
  2. 前記画像（２１５）の前記参照ブロック（２１６）の前記第１および第２のパーティション（２１８’）のそれぞれは、前記画像（２１５）の前記参照ブロック（２１６）を一緒に完全にカバーする一組のタイルであり、そして、お互いに対して相補的であるように、二値化処理において、それぞれの値がそれぞれの既定の値よりも大きいか低いかどうかに関して、前記参照ブロック（２１６）の二次元の再分割の前記タイルで、前記参照ブロック（２１６）の範囲内における前記画像（２１５）の前記値を個別にチェックするために構成される、請求項１に記載のデコーダ。
  3. 二値化処理において、各タイルが前記参照ブロックのサンプル位置に対応するように、サンプル解像度で前記参照ブロックの範囲内における前記画像の値を個別にチェックするために構成される、請求項２に記載のデコーダ。
  4. セグメント化において、前記参照ブロック（２１６）の前記第１および第２のパーティションへの前記２つのセグメンテーションを得るために、前記二値化処理の結果に、モルフォロジカルホールフィリングおよび／またはローパスフィルタを適用するために構成される、請求項１ないし請求項３のいずれかに記載のデコーダ。
  5. 二値化処理において、前記画像（２１５）の前記参照ブロック（２１６）の再構成されたサンプル値の中心的傾向の大きさを決定し、前記画像（２１５）の前記参照ブロック（２１６）の各再構成されたサンプル値と前記決定された大きさに依存するそれぞれの閾値とを比較することによって前記二値化処理を実行するように構成される、請求項１ないし請求項４のいずれかに記載のデコーダ。
  6. 前記デコーダは、前記セグメント化、空間的な転送および予測が、符号化オプションの第１の組の１つを形成し、符号化オプションの第２の組の部分ではないように構成され、ここで、前記デコーダは、さらに、
    前記画像（２１５）の前記参照ブロック（２１６）の範囲内におけるサンプルの値の分散を決定し、
    前記データストリームから符号化オプション識別子を受信し、
    インデックスが、前記符号化オプションの第１の組を示す場合、前記既定のブロックにセグメント化、空間的な転送および予測を実行して、前記分散が既定の閾値を超えている場合には、前記符号化オプションの第１の組に、前記インデックスとして前記符号化オプション識別子を使用し、そして、前記分散が前記既定の閾値に続く場合には、前記符号化オプションの第２の組に、前記インデックスとして前記符号化オプション識別子を使用するために構成される、請求項１ないし請求項５のいずれかに記載のデコーダ。
  7. データストリームから画像に関連付けられる奥行き／視差マップの既定のブロックを再構成するためのデコーダであって、前記デコーダは、
    参照ブロックの第１および第２のパーティションへの２つのセグメンテーションを得るために、前記既定のブロックと同じ場所に位置する前記参照ブロック（２１６）の範囲内における前記画像（２１５）のテクスチャ特徴に依存して、前記画像（２１５）の前記参照ブロック（２１６）をセグメント化し、
    前記既定のブロックの第１および第２のパーティションを得るために、前記画像の前記参照ブロックの前記２つのセグメンテーションを、前記奥行き／視差マップの前記既定のブロック（２１０）に、空間的に転送し、そして、
    前記第１および第２のウェッジレットパーティション（２０２ａ，２０２ｂ）単位で前記既定のブロック（２１０）を復号化するように構成され、
    ここで、前記デコーダは、前記セグメント化、空間的な転送および予測が、前記デコーダの符号化オプションの第１の組の１つを形成し、前記デコーダの符号化オプションの第２の組の部分ではないように構成され、ここで、前記デコーダは、さらに、
    前記画像（２１５）の前記参照ブロック（２１６）の範囲内におけるサンプルの値の分散を決定し、
    前記データストリーム（３０４）から符号化オプション識別子を受信し、
    インデックスが、前記符号化オプションの第１の組を示す場合、前記既定のブロック（２１０）にセグメント化、空間的な転送および予測を実行して、前記分散が既定の閾値を超えている場合には、前記符号化オプションの第１の組に、前記インデックスとして前記符号化オプション識別子を使用し、そして、前記分散が前記既定の閾値に続く場合には、前記符号化オプションの第２の組に、前記インデックスとして前記符号化オプション識別子を使用するために構成される、デコーダ。
  8. 前記デコーダは、エントロピー復号化によって、符号化オプション識別子を読み出すように構成される、請求項７に記載のデコーダ。
  9. 前記デコーダの予測ループにおける参照として、前記既定のブロックを使用するために、さらに構成される、請求項１ないし請求項８に記載のデコーダ。
  10. 前記デコーダは、前記既定のブロック（２１０）の復号化において、
    第１の固定パーティション値を前記第１のウェッジレットパーティション（２０２ａ）の範囲内において配置される前記サンプルアレイのサンプル（２０３）に割り当てること、および第２の固定パーティション値を前記第２のウェッジレットパーティション（２０２ｂ）の範囲内において配置される前記サンプルアレイのサンプル（２０３）に割り当てることによって、前記既定のブロック（２１０）を予測するように構成される、請求項１ないし請求項８のいずれかに記載のデコーダ。
  11. 前記既定のブロックを予測する処理において、前記既定のブロックに隣接している、前記サンプルアレイのそれぞれの隣接するサンプルを前記第１および第２のウェッジレットパーティションのうちのそれぞれの１つに関連付けるように構成され、その結果、各隣接するサンプルは、それが関連付けされる前記ウェッジレットパーティションに隣接し、そして、前記第１のパーティションに関連付けられる前記隣接するサンプルの値の平均値を、前記第１のパーティションの範囲内に位置される前記サンプルアレイのサンプルに割り当てることによって、および、前記第２のパーティションに関連付けられる前記隣接するサンプルの値の平均値を、前記第２のパーティションの範囲内に位置される前記サンプルアレイのサンプルに割り当てることによって前記既定のブロックを予測するために構成される、請求項１０に記載のデコーダ。
  12. 前記リファイン情報の範囲内における第１のリファイン値を前記第１のパーティションに関連付けられる前記隣接するサンプルの値の前記平均値に適用することによって、および／または、前記リファイン情報の範囲内における第２のリファイン値を前記第２のパーティションに関連付けられる前記隣接するサンプルの値の前記平均値に適用することによって、前記既定のブロックの前記予測をリファインするために構成される、請求項１０または請求項１１に記載のデコーダ。
  13. 前記第１および／または第２のリファイン値を適用する処理において、前記第１および／または第２のリファイン値を、前記第１のパーティションに関連付けられる前記隣接するサンプルの値の前記平均値、および／または前記第２のパーティションに関連付けられる前記隣接するサンプルの値の前記平均値のそれぞれと線形結合するために構成される、請求項１２に記載のデコーダ。
  14. 前記第１および／または第２のリファイン値を適用する処理において、前記データストリームから前記第１および／または第２のリファイン値を検索し、そして、前記サンプルアレイに関連付けられる既定のサンプル成分が、空間的に、前記データストリームの範囲内において伝送される参照量子化ステップサイズに依存する量子化ステップサイズを使用して検索されるように、前記第１および／または第２のリファイン値をスケールするために構成される、請求項１２または請求項１３のいずれかに記載のデコーダ。
  15. 前記サンプルアレイは、奥行きマップであり、そして、前記デコーダは、前記奥行きマップに関連付けられる前記ビットストリームからテクスチャ・サンプルアレイを再構成するために、前記参照量子化ステップサイズを使用するために構成される、請求項１４に記載のデコーダ。
  16. 画像に関連付けられる奥行き／視差マップの既定のブロックをデータストリームに符号化するためのエンコーダであって、前記エンコーダは、
    参照ブロックの第１および第２のパーティションへの２つのセグメンテーションを得るために、前記既定のブロックと同じ場所に位置する前記参照ブロックの範囲内における前記画像を二値化処理することによって、前記画像の前記参照ブロックをセグメント化し、
    前記既定のブロックの第１および第２のパーティションを得るために、前記画像の前記参照ブロックの前記２つのセグメンテーションを、前記奥行き／視差マップの前記既定のブロックに空間的に転送し、そして、
    前記第１および第２のウェッジレットパーティション（２０２ａ，２０２ｂ）単位で前記既定のブロック（２１０）を符号化するために構成される、エンコーダ。
  17. 画像に関連付けられる奥行き／視差マップの既定のブロックをデータストリームに符号化するためのエンコーダであって、前記エンコーダは、
    参照ブロックの第１および第２のパーティションへの２つのセグメンテーションを得るために、前記既定のブロックと同じ場所に位置する前記参照ブロック（２１６）の範囲内における前記画像（２１５）のテクスチャ特徴に依存して、前記画像（２１５）の参照ブロック（２１６）をセグメント化し、
    前記既定のブロックの第１および第２のパーティションを得るために、前記画像の前記参照ブロックの前記２つのセグメンテーションを、前記奥行き／視差マップの前記既定のブロックに、空間的に転送し、そして、
    前記第１および第２のウェッジレットパーティション（２０２ａ，２０２ｂ）単位で前記既定のブロック（２１０）を符号化するために構成され、
    ここで、前記エンコーダは、前記セグメント化、空間的な転送および符号化が、前記エンコーダの符号化オプションの第１の組を形成し、前記エンコーダの符号化オプションの第２の組の部分ではないように構成され、ここで、前記エンコーダは、さらに、
    前記画像（２１５）の前記参照ブロック（２１６）の範囲内におけるサンプルの値の分散を決定し、
    符号化オプション識別子を前記データストリーム（３０４）に符号化し、
    インデックスが、前記符号化オプションの第１の組を示す場合、前記分散が既定の閾値を超えている場合には、前記符号化オプションの第１の組に、前記インデックスとして前記符号化オプション識別子を使用し、そして、前記分散が前記既定の閾値に続く場合には、前記符号化オプションの第２の組に、前記インデックスとして前記符号化オプション識別子を使用するために構成される、エンコーダ。
  18. データストリーム（３０４）から画像（２１５）に関連付けられる奥行き／視差マップ（２１３）の既定のブロック（２１０）を再構成するための方法であって、前記方法は、
    参照ブロックの第１および第２のパーティションへの２つのセグメンテーションを得るために、前記既定のブロック（２１０）と同じ場所に位置する前記参照ブロック（２１６）の範囲内における前記画像（２１５）を二値化処理することによって、前記画像（２１５）の前記参照ブロックをセグメント化するステップと、
    前記既定のブロック（２１０）の第１および第２のパーティション（２０２ａ，２０２ｂ）を得るために、前記画像の前記参照ブロック（２１６）の前記２つのセグメンテーションを、前記奥行き／視差マップ（２１３）の前記既定のブロック（２１０）に、空間的に転送するステップと、
    前記第１および第２のウェッジレットパーティション（２０２ａ，２０２ｂ）単位で前記既定のブロック（２１０）を復号化するステップと、
    を含む、方法。
  19. データストリームから画像に関連付けられる奥行き／視差マップの既定のブロックを再構成するための方法であって、前記方法は、
    参照ブロックの第１および第２のパーティションへの２つのセグメンテーションを得るために、前記既定のブロックと同じ場所に位置する前記参照ブロック（２１６）の範囲内における前記画像（２１５）のテクスチャ特徴に依存して、前記画像（２１５）の前記参照ブロック（２１６）をセグメント化するステップと、
    前記既定のブロックの第１および第２のパーティションを得るために、前記画像の前記参照ブロックの前記２つのセグメンテーションを、前記奥行き／視差マップの前記既定のブロックに、空間的に転送するステップと、そして、
    前記第１および第２のウェッジレットパーティション（２０２ａ，２０２ｂ）単位で前記既定のブロック（２１０）を復号化するステップと、
    を含み、
    ここで、前記方法は、前記セグメント化、空間的な転送および復号化が、符号化オプションの第１の組を形成し、前記方法の符号化オプションの第２の組の部分ではないように実行され、ここで、前記方法は、さらに、
    前記画像（２１５）の前記参照ブロック（２１６）の範囲内におけるサンプルの値の分散を決定するステップと、
    前記データストリームから符号化オプション識別子を検索するステップと、
    インデックスが、前記符号化オプションの第１の組を示す場合、前記既定のブロック（２１０）に前記セグメント化、空間的な転送および予測を実行して、前記分散が既定の閾値を超えている場合には、前記符号化オプションの第１の組に、前記インデックスとして前記符号化オプション識別子を使用するステップ、そして、前記分散が前記既定の閾値に続く場合には、前記符号化オプションの第２の組に、前記インデックスとして前記符号化オプション識別子を使用するステップと、
    を含む、方法。
  20. データストリームに画像に関連付けられる奥行き／視差マップの既定のブロックを符号化するための方法であって、前記方法は、
    参照ブロックの第１および第２のパーティションへの２つのセグメンテーションを得るために、前記既定のブロックと同じ場所に位置する前記参照ブロックの範囲内における前記画像を二値化処理することによって、前記画像の前記参照ブロックをセグメント化するステップと、
    前記既定のブロックの第１および第２のパーティションを得るために、前記画像の前記参照ブロックの前記２つのセグメンテーションを、前記奥行き／視差マップの前記既定のブロックに空間的に転送するステップと、そして、
    前記第１および第２のウェッジレットパーティション（２０２ａ，２０２ｂ）単位で前記既定のブロック（２１０）を符号化するステップと、
    を含む、方法。
  21. データストリームに画像に関連付けられる奥行き／視差マップの既定のブロックを符号化するための方法であって、前記方法は、
    参照ブロックの第１および第２のパーティションへの２つのセグメンテーションを得るために、前記既定のブロックと同じ場所に位置する前記参照ブロック（２１６）の範囲内における前記画像（２１５）のテクスチャ特徴に依存して、前記画像（２１５）の前記参照ブロック（２１６）をセグメント化するステップと、
    前記既定のブロックの第１および第２のパーティションを得るために、前記画像の前記参照ブロックの前記２つのセグメンテーションを、前記奥行き／視差マップの前記既定のブロックに、空間的に転送するステップと、
    前記第１および第２のウェッジレットパーティション（２０２ａ，２０２ｂ）単位で前記既定のブロック（２１０）を符号化するステップと、
    を含み、
    ここで、前記方法は、前記セグメント化、空間的な転送および符号化が、前記方法の符号化オプションの第１の組の１つを形成し、前記方法の符号化オプションの第２の組の部分ではないように実行され、前記方法は、さらに、
    前記画像（２１５）の前記参照ブロック（２１６）の範囲内におけるサンプルの値の分散を決定するステップと、
    符号化オプション識別子を前記データストリーム（３０４）に符号化するステップと、
    インデックスが、前記符号化オプションの第１の組を示す場合、前記既定のブロック（２１０）に前記セグメント化、空間的な転送および予測を実行して、前記分散が既定の閾値を超えている場合には、前記符号化オプションの第１の組に、前記インデックスとして前記符号化オプション識別子を使用し、そして、前記分散が前記既定の閾値に続く場合には、前記符号化オプションの第２の組に、前記インデックスとして前記符号化オプション識別子を使用するステップと、
    を含む、方法。
  22. プログラムがコンピュータにおいて実行される場合、請求項１８または請求項２１に記載の方法を実行させるためのプログラム・コードを有するコンピュータ・プログラム。
JP2019051540A 2011-11-11 2019-03-19 高い分割自由度を伴う効果的なパーティション符号化 Active JP6788699B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161558631P 2011-11-11 2011-11-11
US61/558,631 2011-11-11

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017011008A Division JP6501808B2 (ja) 2011-11-11 2017-01-25 高い分割自由度を伴う効果的なパーティション符号化

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020182618A Division JP7121093B2 (ja) 2011-11-11 2020-10-30 高い分割自由度を伴う効果的なパーティション符号化

Publications (2)

Publication Number Publication Date
JP2019134466A true JP2019134466A (ja) 2019-08-08
JP6788699B2 JP6788699B2 (ja) 2020-11-25

Family

ID=47178013

Family Applications (6)

Application Number Title Priority Date Filing Date
JP2014540491A Active JP6084627B2 (ja) 2011-11-11 2012-11-09 高い分割自由度を伴う効果的なパーティション符号化
JP2017011008A Active JP6501808B2 (ja) 2011-11-11 2017-01-25 高い分割自由度を伴う効果的なパーティション符号化
JP2019051540A Active JP6788699B2 (ja) 2011-11-11 2019-03-19 高い分割自由度を伴う効果的なパーティション符号化
JP2020182618A Active JP7121093B2 (ja) 2011-11-11 2020-10-30 高い分割自由度を伴う効果的なパーティション符号化
JP2022124725A Active JP7389185B2 (ja) 2011-11-11 2022-08-04 高い分割自由度を伴う効果的なパーティション符号化
JP2023195015A Pending JP2024012629A (ja) 2011-11-11 2023-11-16 高い分割自由度を伴う効果的なパーティション符号化

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2014540491A Active JP6084627B2 (ja) 2011-11-11 2012-11-09 高い分割自由度を伴う効果的なパーティション符号化
JP2017011008A Active JP6501808B2 (ja) 2011-11-11 2017-01-25 高い分割自由度を伴う効果的なパーティション符号化

Family Applications After (3)

Application Number Title Priority Date Filing Date
JP2020182618A Active JP7121093B2 (ja) 2011-11-11 2020-10-30 高い分割自由度を伴う効果的なパーティション符号化
JP2022124725A Active JP7389185B2 (ja) 2011-11-11 2022-08-04 高い分割自由度を伴う効果的なパーティション符号化
JP2023195015A Pending JP2024012629A (ja) 2011-11-11 2023-11-16 高い分割自由度を伴う効果的なパーティション符号化

Country Status (15)

Country Link
US (7) US9756330B2 (ja)
EP (4) EP3249923B1 (ja)
JP (6) JP6084627B2 (ja)
KR (7) KR101663394B1 (ja)
CN (5) CN109257598B (ja)
BR (2) BR112014011406B1 (ja)
DK (1) DK2777285T3 (ja)
ES (1) ES2647514T3 (ja)
HK (1) HK1202202A1 (ja)
HU (1) HUE034631T2 (ja)
IN (1) IN2014KN01047A (ja)
NO (1) NO2806722T3 (ja)
PL (1) PL2777285T3 (ja)
PT (1) PT2777285T (ja)
WO (1) WO2013068566A1 (ja)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2777286B1 (en) 2011-11-11 2017-01-04 GE Video Compression, LLC Effective wedgelet partition coding
EP3657788B1 (en) * 2011-11-11 2021-08-04 GE Video Compression, LLC Effective prediction using partition coding
KR101663394B1 (ko) * 2011-11-11 2016-10-06 지이 비디오 컴프레션, 엘엘씨 적응적 분할 코딩
EP4161078A1 (en) 2011-11-11 2023-04-05 GE Video Compression, LLC Effective wedgelet partition coding using spatial prediction
WO2013129822A1 (ko) * 2012-02-27 2013-09-06 세종대학교산학협력단 영상 부호화와 복호화 장치 및 영상을 부호화와 복호화하는 방법
KR20130098122A (ko) * 2012-02-27 2013-09-04 세종대학교산학협력단 영상 부호화/복호화 장치 및 영상을 부호화/복호화하는 방법
WO2014042459A1 (ko) * 2012-09-17 2014-03-20 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
CN105409215B (zh) 2013-01-11 2018-10-09 华为技术有限公司 深度预测模式选择方法及装置
CN104427291B (zh) * 2013-08-19 2018-09-28 华为技术有限公司 一种图像处理方法及设备
US9544601B2 (en) * 2013-10-15 2017-01-10 Qualcomm Incorporated Wedgelet pattern extension for depth intra coding
US9756359B2 (en) * 2013-12-16 2017-09-05 Qualcomm Incorporated Large blocks and depth modeling modes (DMM'S) in 3D video coding
US20150189269A1 (en) * 2013-12-30 2015-07-02 Google Inc. Recursive block partitioning
WO2015101640A1 (en) * 2014-01-03 2015-07-09 Ge Video Compression, Llc Wedgelet-based coding concept
US10368097B2 (en) 2014-01-07 2019-07-30 Nokia Technologies Oy Apparatus, a method and a computer program product for coding and decoding chroma components of texture pictures for sample prediction of depth pictures
CN106576175A (zh) * 2014-06-18 2017-04-19 三星电子株式会社 多视点图像编码/解码方法和装置
JP2017523682A (ja) 2014-06-20 2017-08-17 サムスン エレクトロニクス カンパニー リミテッド インターレイヤビデオ符号化／復号のためのデプス映像の予測モード伝送方法及びその装置
WO2016003210A1 (ko) * 2014-07-04 2016-01-07 주식회사 케이티 다시점 비디오 신호 처리 방법 및 장치
AU2015327521B2 (en) * 2014-09-30 2018-07-26 Hfi Innovation Inc. Method of lookup table size reduction for depth modelling mode in depth coding
WO2016049913A1 (en) * 2014-09-30 2016-04-07 Mediatek Singapore Pte. Ltd. A simplified method for the depth modeling modes
WO2016049891A1 (en) * 2014-09-30 2016-04-07 Mediatek Singapore Pte. Ltd. Methods on segmentation coding in intra prediction
WO2016123783A1 (zh) * 2015-02-05 2016-08-11 华为技术有限公司 图像预测处理方法和相关设备
WO2016123782A1 (zh) * 2015-02-05 2016-08-11 华为技术有限公司 模板处理方法和相关设备
US20160277751A1 (en) * 2015-03-19 2016-09-22 Patrick J. Sweeney Packaging/mux and unpackaging/demux of geometric data together with video data
WO2016182316A1 (ko) * 2015-05-12 2016-11-17 삼성전자 주식회사 인트라 예측을 수행하는 영상 복호화 방법 및 그 장치 및 인트라 예측을 수행하는 영상 부호화 방법 및 그 장치
WO2016182317A1 (ko) * 2015-05-12 2016-11-17 삼성전자 주식회사 인트라 예측을 수행하는 영상 복호화 방법 및 그 장치 및 인트라 예측을 수행하는 영상 부호화 방법 및 그 장치
CN105007494B (zh) * 2015-07-20 2018-11-13 南京理工大学 一种3d视频深度图像的帧内楔形分割模式选择方法
WO2017097441A1 (en) * 2015-12-07 2017-06-15 Huawei Technologies Co., Ltd. Devices and methods for video coding using intra prediction
CN109565595B (zh) 2016-06-24 2021-06-22 华为技术有限公司 一种使用基于分割的视频编码块划分的视频编码设备和方法
CN109565592B (zh) 2016-06-24 2020-11-17 华为技术有限公司 一种使用基于分割的视频编码块划分的视频编码设备和方法
US20210337202A1 (en) * 2017-06-21 2021-10-28 Vid Scale, Inc. Adaptive quantization method for 360-degree video coding
US20190096041A1 (en) * 2017-09-25 2019-03-28 Texas Instruments Incorporated Methods and system for efficient processing of generic geometric correction engine
US11145079B2 (en) 2017-09-25 2021-10-12 Texas Instruments Incorporated Method and apparatus for arbitrary output shape processing of an image
US11108841B2 (en) 2018-06-19 2021-08-31 At&T Intellectual Property I, L.P. Apparatus, storage medium and method for heterogeneous segmentation of video streaming
US11265579B2 (en) * 2018-08-01 2022-03-01 Comcast Cable Communications, Llc Systems, methods, and apparatuses for video processing
CN110809159B (zh) 2018-08-04 2022-06-07 北京字节跳动网络技术有限公司 更新的mv或推导的mv的裁剪
JP2022502905A (ja) * 2018-09-21 2022-01-11 インターデイジタル ヴィーシー ホールディングス インコーポレイテッド 双予測を使用するビデオエンコーディングおよびデコーディングのための方法および装置
EP3861732A4 (en) * 2018-10-01 2022-07-06 OP Solutions, LLC EXPONENTIAL PARTITIONING METHODS AND SYSTEMS
US11317099B2 (en) 2018-10-05 2022-04-26 Tencent America LLC Method and apparatus for signaling an offset in video coding for intra block copy and/or inter prediction
CN111010569B (zh) 2018-10-06 2023-02-28 北京字节跳动网络技术有限公司 Bio中的时间梯度计算的改善
EP3891977A4 (en) * 2018-12-29 2022-06-22 Huawei Technologies Co., Ltd. METHOD AND DEVICE FOR INTRAPREDICTION
US20220132109A1 (en) * 2019-02-21 2022-04-28 Lg Electronics Inc. Image decoding method and apparatus using intra prediction in image coding system
CN110363212B (zh) * 2019-03-28 2022-02-15 西南石油大学 基于边界扫描的多wedgelet图像近似方法
US11240534B2 (en) * 2019-04-05 2022-02-01 Qualcomm Incorporated Extended multiple transform selection for video coding
CN110225339A (zh) * 2019-05-10 2019-09-10 上海德衡数据科技有限公司 一种hevc视频序列编解码加速方法
CN114731430A (zh) * 2019-12-05 2022-07-08 交互数字Vc控股法国有限公司 与多个变换选择、矩阵加权帧内预测或多参考线帧内预测结合的用于视频编码和解码的帧内子分区

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01303888A (ja) * 1988-05-31 1989-12-07 Fujitsu Ltd フレーム間符号化装置
JPH0799581A (ja) * 1992-09-25 1995-04-11 Olympus Optical Co Ltd 画像処理装置
JPH09275565A (ja) * 1996-04-05 1997-10-21 Kokusai Electric Co Ltd 画像ブロックマッチング方法及び画像符号化方法
JP2009017502A (ja) * 2006-08-08 2009-01-22 Canon Inc 画像符号化装置及び画像復号装置
WO2011046607A2 (en) * 2009-10-14 2011-04-21 Thomson Licensing Filtering and edge encoding
WO2013032423A1 (en) * 2011-08-26 2013-03-07 Thomson Licensing Depth coding

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60248076A (ja) 1984-05-24 1985-12-07 Matsushita Electric Ind Co Ltd 符号化方法及びその装置
JPH06153167A (ja) * 1992-11-13 1994-05-31 Oki Electric Ind Co Ltd 動きベクトル検出回路
JPH08298665A (ja) * 1994-04-21 1996-11-12 Sanyo Electric Co Ltd 動きベクトル検出回路、検出方法、及び動画像圧縮回路
JP3231618B2 (ja) * 1996-04-23 2001-11-26 日本電気株式会社 ３次元画像符号化復号方式
US6636633B2 (en) 1999-05-03 2003-10-21 Intel Corporation Rendering of photorealistic computer graphics images
WO2003101117A1 (en) 2002-05-28 2003-12-04 Sharp Kabushiki Kaisha Methods and systems for image intra-prediction mode estimation, communication, and organization
JP4088205B2 (ja) * 2002-06-11 2008-05-21 松下電器産業株式会社 符号化装置、コンピュータ読取可能なプログラム、符号化方法。
US7227901B2 (en) 2002-11-21 2007-06-05 Ub Video Inc. Low-complexity deblocking filter
US6900748B2 (en) 2003-07-17 2005-05-31 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Method and apparatus for binarization and arithmetic coding of a data value
US9351013B2 (en) * 2003-11-13 2016-05-24 Qualcomm Incorporated Selective and/or scalable complexity control for video codecs
EP1790168B1 (en) 2004-09-16 2016-11-09 Thomson Licensing Video codec with weighted prediction utilizing local brightness variation
US8948266B2 (en) * 2004-10-12 2015-02-03 Qualcomm Incorporated Adaptive intra-refresh for digital video encoding
CN1777289A (zh) 2005-11-30 2006-05-24 天津大学 利用选择性预测加快运动估计的方法
WO2007128706A2 (en) 2006-05-05 2007-11-15 Thomson Licensing Simplified inter-layer motion prediction for scalable video coding
EP2052546A4 (en) 2006-07-12 2010-03-03 Lg Electronics Inc METHOD AND DEVICE FOR SIGNAL PROCESSING
EP2047687B1 (en) 2006-08-02 2018-05-16 Thomson Licensing DTV Adaptive geometric partitioning for video encoding
US7756348B2 (en) 2006-10-30 2010-07-13 Hewlett-Packard Development Company, L.P. Method for decomposing a video sequence frame
JP5026092B2 (ja) 2007-01-12 2012-09-12 三菱電機株式会社 動画像復号装置および動画像復号方法
KR101680951B1 (ko) * 2007-04-12 2016-11-29 톰슨 라이센싱 비디오 인코더에서 고속으로 기하학적 모드를 결정하기 위한 방법들 및 장치
CN101822064A (zh) * 2007-10-16 2010-09-01 汤姆逊许可公司 用于几何分割超级块的视频编码和解码的方法和设备
JP5097523B2 (ja) 2007-12-07 2012-12-12 船井電機株式会社 音声入力装置
EP2243297B1 (en) 2008-02-05 2017-03-08 Thomson Licensing Methods and apparatus for implicit block segmentation in video encoding and decoding
JP5071721B2 (ja) 2008-02-27 2012-11-14 ソニー株式会社 画像処理装置および方法、並びにプログラム
KR20090095316A (ko) 2008-03-05 2009-09-09 삼성전자주식회사 영상 인트라 예측 방법 및 장치
CN101609548B (zh) 2008-09-12 2011-04-06 西安电子科技大学 基于Wavelet和Wedgelet变换HMT模型的图像分割方法
WO2010036772A2 (en) 2008-09-26 2010-04-01 Dolby Laboratories Licensing Corporation Complexity allocation for video and image coding applications
JP2012089905A (ja) 2009-01-13 2012-05-10 Hitachi Ltd 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法
EP2384004A4 (en) 2009-01-29 2012-08-01 Lg Electronics Inc METHOD AND APPARATUS FOR PROCESSING VIDEO SIGNALS USING INTRA MODE CONTOUR CODING
JP5456907B2 (ja) * 2009-12-04 2014-04-02 トムソン ライセンシング テクスチャー・パターン適応式の分割ブロック変換
KR20110068792A (ko) 2009-12-16 2011-06-22 한국전자통신연구원 적응적 영상 부호화 장치 및 방법
US8913661B2 (en) 2010-02-19 2014-12-16 Skype Motion estimation using block matching indexing
PL2559166T3 (pl) 2010-04-13 2018-04-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Koder i dekoder dzielący interwał prawdopodobieństwa
KR101447796B1 (ko) 2010-04-13 2014-10-07 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 평면 간 예측
PT3301648T (pt) * 2010-04-13 2020-04-20 Ge Video Compression Llc Herança em matriz de amostras em subdivisão multitree
US9020043B2 (en) 2010-05-10 2015-04-28 Google Inc. Pathway indexing in flexible partitioning
US20120008684A1 (en) 2010-07-09 2012-01-12 Samsung Electronics Co., Ltd. Method and apparatus of encoding and decoding video signal
EP2604036B1 (en) * 2010-08-11 2018-03-07 GE Video Compression, LLC Multi-view signal codec
WO2012147740A1 (ja) 2011-04-25 2012-11-01 シャープ株式会社 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法及び画像復号プログラム
EP2521357A1 (de) 2011-05-06 2012-11-07 Siemens Aktiengesellschaft Verfahren und Vorrichtung zur Filterung von kodierten Bildpartitionen
KR101663394B1 (ko) * 2011-11-11 2016-10-06 지이 비디오 컴프레션, 엘엘씨 적응적 분할 코딩
EP3657788B1 (en) 2011-11-11 2021-08-04 GE Video Compression, LLC Effective prediction using partition coding
JP6717790B2 (ja) 2017-09-14 2020-07-08 ファナック株式会社 レーザ加工中に光学系の汚染レベルに応じて焦点シフトを調整するレーザ加工装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01303888A (ja) * 1988-05-31 1989-12-07 Fujitsu Ltd フレーム間符号化装置
JPH0799581A (ja) * 1992-09-25 1995-04-11 Olympus Optical Co Ltd 画像処理装置
JPH09275565A (ja) * 1996-04-05 1997-10-21 Kokusai Electric Co Ltd 画像ブロックマッチング方法及び画像符号化方法
JP2009017502A (ja) * 2006-08-08 2009-01-22 Canon Inc 画像符号化装置及び画像復号装置
WO2011046607A2 (en) * 2009-10-14 2011-04-21 Thomson Licensing Filtering and edge encoding
WO2013032423A1 (en) * 2011-08-26 2013-03-07 Thomson Licensing Depth coding

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHRISTIAN BARTNIK ET AL.: "HEVC Extension for Multiview Video Coding and Multiview Video plus Depth Coding", ITU - TELECOMMUNICATIONS STANDARDIZATION SECTOR STUDY GROUP 16 QUESTION 6 VIDEO CODING EXPERTS GROUP, vol. VCEG-AR13, JPN6019051846, February 2012 (2012-02-01), pages 1 - 25, ISSN: 0004219505 *
SHUJIE LIU ET AL.: "New Depth Coding Techniques With Utilization of Corresponding Video", IEEE TRANSACTIONS ON BROADCASTING, vol. 57, no. 2, JPN6015034614, June 2011 (2011-06-01), pages 551 - 561, XP011476783, ISSN: 0004219504, DOI: 10.1109/TBC.2011.2120750 *

Also Published As

Publication number Publication date
JP6501808B2 (ja) 2019-04-17
US9756330B2 (en) 2017-09-05
BR122020014854B1 (pt) 2022-09-13
KR20190120444A (ko) 2019-10-23
EP3691262B1 (en) 2023-10-25
US20170332086A1 (en) 2017-11-16
JP6788699B2 (ja) 2020-11-25
KR102588425B1 (ko) 2023-10-12
US20200128260A1 (en) 2020-04-23
IN2014KN01047A (ja) 2015-10-09
CN109257597B (zh) 2023-05-16
CN109257599A (zh) 2019-01-22
EP2777285A1 (en) 2014-09-17
EP3691262A1 (en) 2020-08-05
EP3249923A1 (en) 2017-11-29
CN109257599B (zh) 2023-05-16
US10341667B2 (en) 2019-07-02
US10362317B2 (en) 2019-07-23
EP2777285B1 (en) 2017-08-16
CN109257598A (zh) 2019-01-22
US10567776B2 (en) 2020-02-18
JP2024012629A (ja) 2024-01-30
JP6084627B2 (ja) 2017-02-22
KR20160118373A (ko) 2016-10-11
JP2022153645A (ja) 2022-10-12
KR20230145540A (ko) 2023-10-17
US10986352B2 (en) 2021-04-20
JP7389185B2 (ja) 2023-11-29
US20200404294A1 (en) 2020-12-24
KR102373445B1 (ko) 2022-03-11
BR112014011406A2 (pt) 2017-06-27
CN109257596A (zh) 2019-01-22
EP3249923B1 (en) 2020-01-01
CN109257597A (zh) 2019-01-22
JP2015502063A (ja) 2015-01-19
CN109257598B (zh) 2023-05-12
HK1202202A1 (en) 2015-09-18
KR20200125750A (ko) 2020-11-04
CN104221379B (zh) 2019-01-01
HUE034631T2 (en) 2018-02-28
US20190297334A1 (en) 2019-09-26
CN109257596B (zh) 2023-06-13
KR102036175B1 (ko) 2019-10-24
EP4325865A2 (en) 2024-02-21
JP2021022947A (ja) 2021-02-18
WO2013068566A1 (en) 2013-05-16
US10771794B2 (en) 2020-09-08
US11863763B2 (en) 2024-01-02
BR112014011406A8 (pt) 2018-12-26
KR101663394B1 (ko) 2016-10-06
DK2777285T3 (da) 2017-11-27
US20140247871A1 (en) 2014-09-04
PT2777285T (pt) 2017-12-01
US20210185329A1 (en) 2021-06-17
NO2806722T3 (ja) 2018-03-10
KR20220162859A (ko) 2022-12-08
JP7121093B2 (ja) 2022-08-17
BR112014011406B1 (pt) 2022-06-14
ES2647514T3 (es) 2017-12-22
CN104221379A (zh) 2014-12-17
KR102171788B1 (ko) 2020-10-29
PL2777285T3 (pl) 2018-01-31
EP3691262C0 (en) 2023-10-25
KR20140077990A (ko) 2014-06-24
JP2017108427A (ja) 2017-06-15
KR20220035274A (ko) 2022-03-21
KR102471528B1 (ko) 2022-11-28
US20170332088A1 (en) 2017-11-16

Similar Documents

Publication Publication Date Title
JP7389185B2 (ja) 高い分割自由度を伴う効果的なパーティション符号化
JP6814783B2 (ja) パーティション符号化を用いた有効な予測

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190412

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190412

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200225

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200518

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200930

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201030

R150 Certificate of patent or registration of utility model

Ref document number: 6788699

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250