JP2022000954A - ジオメトリ投影を使用する３６０度ビデオ符号化 - Google Patents

ジオメトリ投影を使用する３６０度ビデオ符号化 Download PDF

Info

Publication number
JP2022000954A
JP2022000954A JP2021138935A JP2021138935A JP2022000954A JP 2022000954 A JP2022000954 A JP 2022000954A JP 2021138935 A JP2021138935 A JP 2021138935A JP 2021138935 A JP2021138935 A JP 2021138935A JP 2022000954 A JP2022000954 A JP 2022000954A
Authority
JP
Japan
Prior art keywords
reference block
frame
projection
packed picture
boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021138935A
Other languages
English (en)
Other versions
JP7295178B2 (ja
Inventor
ユーウェン・ヘー
Yuwen He
ヤン・イエ
Yan Ye
フィリッペ・ハンハート
Hanhart Philippe
シャオユー・シュー
Xiaoyu Xiu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vid Scale Inc
Original Assignee
Vid Scale Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vid Scale Inc filed Critical Vid Scale Inc
Publication of JP2022000954A publication Critical patent/JP2022000954A/ja
Priority to JP2023094844A priority Critical patent/JP2023105219A/ja
Application granted granted Critical
Publication of JP7295178B2 publication Critical patent/JP7295178B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/30—Polynomial surface description
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/563—Motion estimation with padding, i.e. with filling of non-object values in an arbitrarily shaped picture block or region for estimation purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Abstract

【課題】３６０度ビデオコンテンツを符号化するための投影ジオメトリを提供する。【解決手段】ビデオデータの処理は、複数のカメラを用いてビデオデータをキャプチャすることと、ビデオデータを一緒につなぎ合わせて、３６０度ビデオを獲得することとを含むことができる。キャプチャされ、つなぎ合わされたビデオデータに基づいて、フレームパッキングされたピクチャを提供できる。フレームパッキングされたピクチャ内において、現在のサンプルロケーションを識別することができる。近隣サンプルロケーションが、フレームパッキングされたピクチャのコンテンツ境界の外部に位置付けられているかどうかを、決定することができる。近隣サンプルロケーションが、コンテンツ境界の外部に位置付けられているとき、３６０度ビデオコンテンツの少なくとも１つの円特性と、投影ジオメトリとに基づいて、パディングサンプルロケーションを導出できる。パディングサンプルロケーションに基づいて、３６０度ビデオコンテンツを処理できる。【選択図】図２８

Description

本発明は、ジオメトリ投影を使用する３６０度ビデオ符号化に関する。
関連出願の相互参照
本出願は、その内容が参照によって本明細書に組み込まれる、２０１６年７月８日に出願された米国特許仮出願第６２／３６０１１２号明細書、２０１６年１０月４日に出願された米国特許仮出願第６２／４０４０１７号明細書、２０１７年２月２４日に出願された米国特許仮出願明細書第６２／４６３２４２号明細書、および２０１７年５月３日に出願された米国特許仮出願明細書第６２／５００６０５号の利益を主張し、本出願は、これらの優先出願の出願日の利益を主張する。
バーチャルリアリティ（ＶＲ）は、ヘルスケア、教育、ソーシャルネットワーキング、工業デザイン／トレーニング、ゲーム、映画、ショッピング、および／またはエンターテイメントなどを含むが、それらに限定されない、多くの応用分野において適用されている。ＶＲは、例えば、視聴者を取り巻く仮想環境を作り出し、視聴者が本当に「そこにいる」感覚を生み出すことによって、視聴者の体験を高めることができる。ＶＲシステムは、姿勢、ジェスチャ、視線、声などを通した対話をサポートすることができる。システムは、ユーザが、ＶＲ環境内のオブジェクトと自然な方法で対話することができるように、触覚フィードバックをユーザに提供することができる。
３６０度ビデオコンテンツを符号化するための投影ジオメトリを提供する。
ビデオデータの処理は、複数のカメラを用いてビデオデータをキャプチャすることと、ビデオデータを一緒につなぎ合わせて、３６０度ビデオを獲得することとを含むことができる。本明細書において使用される場合、３６０度ビデオは、全球ビデオ、全方位ビデオ、バーチャルリアリティ（ＶＲ）ビデオ、パノラマビデオ、没入型ビデオ（例えば、６自由度を含むことができるライトフィールドビデオ）、および／またはポイントクラウドビデオなどを含むことができる。３６０度ビデオのエンコーディングおよび／またはデコーディングの間、ジオメトリパディングを適用することができる。
３６０度ビデオコンテンツは、符号化することができる。１つまたは複数のカメラを用いてキャプチャされたビデオデータと、キャプチャされたビデオデータのつなぎ合わせとに基づいて、フレームピクチャを提供することができる。フレームパッキングされたピクチャ内において、現在のサンプルロケーションを識別することができる。フレームパッキングされたピクチャは、第１の投影ジオメトリと関連付けられた、１つまたは複数の面分を含むことができる。現在のサンプルロケーションは、第１の投影ジオメトリと関連付けることができる。第１の投影ジオメトリは、例えば、エクイレクタングラ投影、正積投影、キューブマップ投影、８面体投影、または円筒投影などのうちの少なくとも１つを含むことができる。３６０度ビデオコンテンツを符号化するための本明細書において説明される投影ジオメトリは、例示的な方法として使用され、当業者は、他の投影フォーマットを交換可能に使用することができることを理解するであろう。
近隣サンプルロケーションが、フレームパッキングされたピクチャのコンテンツ境界の外部に位置付けられているかどうかを、決定することができる。コンテンツ境界は、フレームパッキングされたピクチャの境界、および／または面分境界などを含むことができる。近隣サンプルロケーションが、フレームパッキングされたピクチャのコンテンツ境界の外部に位置付けられている場合、３６０度ビデオコンテンツの１つまたは複数の円特性と、第１の投影ジオメトリとに基づいて、パディングサンプルロケーションを導出することができる。近隣サンプルロケーションの３Ｄ位置を計算することができる。近隣サンプルロケーションは、現在のサンプルロケーションを含む面分と関連付けて、計算することができる。近隣サンプルロケーションの３Ｄ位置に基づいて、パディングサンプルロケーションを含む第２の面分を決定することができる。第２の面分は、現在のサンプルロケーションを含む第１の面分と異なることができる。第２の面分内における２Ｄ平面位置を導出するために、近隣サンプルロケーションの３Ｄ位置を用いて、ジオメトリ投影を適用することができる。第２の面分内における近隣サンプルロケーションの２Ｄ平面位置は、近隣サンプルロケーションの３Ｄ位置のジオメトリ投影に基づいて、パディングサンプルロケーションとして導出することができる。
近隣サンプルロケーションが、フレームパッキングされたピクチャのコンテンツ境界の内部に位置付けられている場合、パディングサンプルロケーションの導出は、スキップすることができる。３６０度ビデオコンテンツは、（例えば、コンテンツ境界の内部に位置付けられた）近隣サンプルロケーションを使用して、処理することができる。
パディングサンプルロケーションを導出するために、中間投影を使用することができる。例えば、第１の投影ジオメトリにおける座標は、第２の投影ジオメトリと関連付けられた中間座標に変換することができる。第１の投影ジオメトリは、ユニキューブ投影とすることができ、第２の投影ジオメトリは、キューブマップ投影とすることができる。近隣サンプルロケーションの３Ｄ位置は、中間座標において計算することができ、第２の面分内における近隣サンプルロケーションの２Ｄ平面位置は、中間座標において識別することができる。第２の投影ジオメトリと関連付けられた近隣サンプルロケーションの識別された２Ｄ平面位置は、第１の投影ジオメトリと関連付けられた座標に変換され戻すことができる。
３６０度ビデオコンテンツは、導出されたパディングサンプルロケーションに基づいて処理することができる。例えば、パディングサンプルロケーションにおいて、パディングサンプル値を導出することができる。パディングサンプルロケーションにおけるパディングサンプル値は、補間フィルタを使用して、導出することができる。例えば、双線形フィルタ、双三次フィルタ、ランチョスフィルタ、スプライン補間フィルタ、および／または離散コサイン変換ベースの補間フィルタなどを使用することができる。例えば、パディングサンプル値を導出するために、インター予測、イントラ予測、デブロッキング、ループフィルタリング、サンプル適応オフセッティング、および／または適応ループフィルタリングなどを実行することができる。現在のサンプルロケーションが、コンテンツ境界上に位置付けられているときは、パディングサンプルロケーションに基づいたデブロッキングフィルタを適用することができる。
３６０度ビデオコンテンツの円特性に従って、現在のサンプルロケーションが、フレームパッキングされたピクチャの右端コンテンツ境界の近くに位置付けられ、決定された近隣サンプルロケーションが、右側コンテンツ境界を越えて、フレームパッキングされたピクチャの外側に位置付けられているときは、パディングサンプルロケーションは、フレームパッキングされたピクチャの右端コンテンツ境界に円環的に接続される、フレームパッキングされたピクチャの左端コンテンツ境界の近くに位置付けることができる。現在のサンプルロケーションが、フレームパッキングされたピクチャの左端コンテンツ境界の近くに位置付けられ、決定された近隣サンプルロケーションが、左側コンテンツ境界を越えて、フレームパッキングされたピクチャの外側に位置付けられているときは、パディングサンプルロケーションは、フレームパッキングされたピクチャの左端コンテンツ境界に円環的に接続される、フレームパッキングされたピクチャの右端コンテンツ境界の近くに位置付けることができる。現在のサンプルロケーションが、フレームパッキングされたピクチャの上端コンテンツ境界の第１のエリアの近くに位置付けられ、決定された近隣サンプルロケーションが、上端コンテンツ境界の第１のエリアを越えて、フレームパッキングされたピクチャの外側に位置付けられているときは、パディングサンプルロケーションは、上端コンテンツ境界の第１のエリアの円環的な反対側に位置付けられる、上端コンテンツ境界の第２のエリアの近くに位置付けることができる。現在のサンプルロケーションが、フレームパッキングされたピクチャの下端コンテンツ境界の第１のエリアの近くに位置付けられ、決定された近隣サンプルロケーションが、下端コンテンツ境界の第１のエリアを越えて、フレームパッキングされたピクチャの外側に位置付けられているときは、パディングサンプルロケーションは、下端コンテンツ境界の第１のエリアの円環的な反対側に位置付けられる、下端コンテンツ境界の第２のエリアの近くに位置付けることができる。
３６０度ビデオコンテンツを符号化するために、導出またはマッピングされた基準ブロックに基づいて、現在のブロックを予測することができる。現在のブロックと関連付けられた初期基準ブロックが、フレームパッキングされたピクチャのコンテンツ境界の外側に位置付けられているかどうかを、決定することができる。初期基準ブロックが、コンテンツ境界の外側にある場合、３６０度ビデオコンテンツの１つまたは複数の円特性と、第１の投影ジオメトリとに基づいて、マッピングされた基準ブロックを導出することができる。初期基準ブロックと関連付けられたロケーションの３Ｄ位置を識別することができる。初期基準ブロックと関連付けられたロケーションは、現在のブロックを含む面分と関連付けて、計算することができる。初期基準ブロックと関連付けられたロケーションの３Ｄ位置に基づいて、マッピングされた基準ブロックを含む第２の面分を識別することができる。第１の面分は、第２の面分と異なることができる。ジオメトリ投影は、初期基準ブロックと関連付けられたロケーションの３Ｄ位置に基づいて、適用することができる。ジオメトリ投影に基づいて、マッピングされた基準ブロックについて、第２の面分内における初期基準ブロックの２Ｄ平面位置を導出することができる。
初期基準ブロックが、コンテンツ境界の内部にある場合、マッピングされた基準ブロックの導出は、スキップすることができる。現在のブロックは、（例えば、コンテンツ境界の内部に位置付けられた）初期基準ブロックに基づいて、予測することができる。
マッピングされた基準ブロックを導出するために、中間投影を使用することができる。例えば、第１の投影ジオメトリにおける座標は、第２の投影ジオメトリと関連付けられた中間座標に変換することができる。第１の投影ジオメトリは、ユニキューブ投影とすることができ、第２の投影ジオメトリは、キューブマップ投影とすることができる。初期基準ブロックロケーションと関連付けられたロケーションの３Ｄ位置は、中間座標において計算することができる。マッピングされた基準ブロックを導出するための第２の面分内における初期基準ブロックの２Ｄ平面位置は、中間座標において識別することができる。第２の投影ジオメトリと関連付けられた初期基準ブロックの識別された２Ｄ平面位置は、第１の投影ジオメトリと関連付けられた座標に変換され戻すことができる。
現在のブロックが、フレームパッキングされたピクチャの右端コンテンツ境界の近くに位置付けられ、決定された初期基準ブロックが、右側コンテンツ境界を越えて、フレームパッキングされたピクチャの外側に位置付けられているときは、マッピングされた基準ブロックは、フレームパッキングされたピクチャの右端コンテンツ境界に円環的に接続される、フレームパッキングされたピクチャの左端コンテンツ境界の近くに位置付けることができる。現在のブロックが、フレームパッキングされたピクチャの左端コンテンツ境界の近くに位置付けられ、決定された初期基準ブロックが、左側コンテンツ境界を越えて、フレームパッキングされたピクチャの外側に位置付けられているときは、マッピングされた基準ブロックは、フレームパッキングされたピクチャの左端コンテンツ境界に円環的に接続される、フレームパッキングされたピクチャの右端コンテンツ境界の近くに位置付けることができる。現在のブロックが、フレームパッキングされたピクチャの上端コンテンツ境界の第１のエリアの近くに位置付けられ、決定された初期基準ブロックが、上端コンテンツ境界の第１のエリアを越えて、フレームパッキングされたピクチャの外側に位置付けられているときは、マッピングされた基準ブロックは、上端コンテンツ境界の第１のエリアの円環的な反対側に位置付けられる、上端コンテンツ境界の第２のエリアの近くに位置付けることができる。現在のブロックが、フレームパッキングされたピクチャの下端コンテンツ境界の第１のエリアの近くに位置付けられ、決定された初期基準ブロックが、下端コンテンツ境界の第１のエリアを越えて、フレームパッキングされたピクチャの外側に位置付けられているときは、マッピングされた基準ブロックは、下端コンテンツ境界の第１のエリアの円環的な反対側に位置付けられる、下端コンテンツ境界の第２のエリアの近くに位置付けることができる。
マッピングされた基準ブロックと関連付けられたサンプル値は、補間フィルタを使用して、導出することができる。例えば、双線形フィルタ、双三次フィルタ、ランチョスフィルタ、スプライン補間フィルタ、および／または離散コサイン変換ベースの補間フィルタなどを使用することができる。
現在のブロックを予測するために、マッピングされた基準ブロックと関連付けられた１つまたは複数の属性を導出することができる。例えば、属性は、マッピングされたブロックの位置の、イントラモード、インターモード、マージモード、および／または動き情報などを含むことができる。現在のブロックは、属性に基づいて、予測することができる。３６０度ビデオコンテンツを処理するために、マッピングされた基準ブロック内のサンプル値を導出することができる。例えば、ビデオ処理のために、マッピングされた基準ブロック内の複数のサンプル値を導出するために、インター予測、イントラ予測、デブロッキング、ループフィルタリング、サンプル適応オフセッティング、および／または適応ループフィルタリングなどを使用することができる。
マッピングされた基準ブロックは、第１の投影ジオメトリと関連付けられた３Ｄジオメトリを展開することによって、導出することができる。初期基準ブロックが、コンテンツ境界に対して対角線位置上にないときは、現在のブロックは、コンテンツ境界に対して垂直または対角線に位置付けられた、最も近くの利用可能なブロックを複製することによって、予測することができる。
現在のブロックは、面分のサイズに基づいて、面分の有効なパディングされた領域を決定することによって、予測することができる。初期基準ブロックが、有効なパディングされた領域内に位置付けられているかどうかを、決定することができる。初期基準ブロックが、有効なパディングされた領域の外部に位置付けられているときは、現在のブロックは、有効なパディングされた領域内に位置付けられた、最も近くの利用可能なブロックに基づいて、予測することができる。初期基準ブロックが、有効なパディングされた領域の内部に位置付けられているときは、現在のブロックは、マッピングされた基準ブロックに基づいて、予測することができる。
初期基準ブロックは、部分的に、有効なパディングされた領域の外部に位置付けることができる。例えば、初期基準ブロックは、有効なパディングされた領域内に位置付けられた第１のサブブロックと、有効なパディングされた領域の外部に位置付けられた第２のサブブロックとを含むことができる。有効なパディングされた領域の外部に位置付けられた第２のサブブロックのサンプルは、その後、有効なパディングされた領域内に位置付けられたそれぞれの近隣サンプル値を使用して、パディングすることができる。現在のブロックは、第１のサブブロック内のサンプルと、第２のサブブロック内のパディングされたサンプルとに基づいて、予測することができる。
有効なパディングされた領域の範囲は、第１の投影ジオメトリと関連付けられた面分の少なくとも位置および／またはサイズに基づいて、決定することができる。初期基準ブロックが、少なくとも部分的に、有効なパディングされた領域の外部に位置付けられているかどうかを、決定することができる。初期基準ブロックが、少なくとも部分的に、有効なパディングされた領域の外部に位置付けられているときは、初期基準ブロックは、現在のブロックの予測から除外することができる。
本明細書において開示される実施形態についてのより詳細な理解は、添付の図面と併せて、例によって与えられる、以下の説明から得ることができる。
エクイレクタングラ投影（ＥＲＰ）における、経度方向および緯度方向に沿った、例示的な球サンプリングを示す図である。 ＥＲＰにおける例示的な２Ｄ平面を示す図である。 ＥＲＰを使用して生成された例示的なピクチャを示す図である。 キューブマップ投影（ＣＭＰ）における例示的な３Ｄジオメトリ構造を示す図である。 ４×３フレームパッキングを用いた６つの面分を有する例示的な２Ｄ平面を示す図である。 キューブマップ投影を使用し生成された例示的ピクチャの図である。 正積投影（ＥＡＰ）における例示的球サンプリングを示す図である。 ＥＡＰにおける例示的な２Ｄ平面を示す図である。 ＥＡＰを使用して生成された例示的なピクチャを示す図である。 ８面体投影における例示的な３Ｄジオメトリ構造を示す図である。 ８面体投影における例示的２Ｄ平面フレームパッキングの図である。 ８面体投影を使用して生成された例示的なピクチャを示す図である。 例示的な３６０度ビデオ処理を示す図である。 例示的なブロックベースのエンコーダのブロック図である。 例示的なブロックベースのデコーダのブロック図である。 ＨＥＶＣイントラ予測において基準サンプルを使用する例を示す図である。 ＨＥＶＣにおけるイントラ予測方向の例示的な表示を示す図である。 １つの動きベクトルを用いた例示的なインター予測を示す図である。 ＨＥＶＣ／Ｈ．２６４におけるピクチャ境界の外部の基準サンプルのためのパディングを示す図である。 ＨＥＶＣマージプロセスにおいて空間マージ候補を導出するために、いかに空間近隣ブロックを使用することができるかを示す図である。 キューブマップを使用して投影される面分ピクチャについての不連続性およびジオメトリパディングを示す図である。 （Ａ）は、キューブマップのためのパディングの例示的３Ｄ表現を示す図であり、（Ｂ）は、キューブマップのためのパディングの、正面面分の周囲に展開された面分を有する、例示的なフラット表現を示す図である。 （Ａ）は、最も近い近隣の技法を使用した、コーナエリアにおける欠損サンプルの例示的な外挿を示す図であり、（Ｂ）は、面分境界に対して対角線方向の技法を使用した、コーナエリアにおける欠損サンプルの例示的な外挿を示す図である。 キューブマップ４×３フレームパッキングされたピクチャについての例示的な動き補償予測を示す図である。 球上における連続性を示すための、エクイレクタングラ投影を用いて投影されたピクチャに対する例示的なパディングの図である。 エクイレクタングラ投影を用いて投影されたピクチャに対する例示的なパディングの別の図である。 ルックアップテーブルを使用してサイン関数どう導出するのかを示す図である。 動き推定のためのパディングされた面分用バッファの図である。 パディングされた面分用バッファ内における動き推定の図である。 ソースピクチャサイズが、最小符号化ユニット（ＣＵ）サイズの倍数ではないときの、水平方向におけるパディングを示す図である。 ソースピクチャサイズが、最小ＣＵサイズの倍数ではないときの、垂直方向におけるパディングを示す図である。 ソースピクチャサイズが、最小ＣＵサイズの倍数ではないときの、水平方向および垂直方向におけるパディングを示す図である。 現在のブロックをデブロッキングするときに使用される近隣ブロックを示す図である。 エッジオフセットサンプル適応オフセット（ＳＡＯ）によってフィルタリングすることができるピクセルを示す図である。 実行される例示的なデコード済みピクチャバッファ（ＤＰＢ）管理の図である。 実行される例示的なＤＰＢ管理の別の図である。 キューブマップについてキューブ面分の一様サンプリングの図である。 キューブマップについての非一様な球サンプリングの例示的図である。 ユニキューブについてキューブ面分の非一様サンプリングの図である。 ユニキューブについての一様な球サンプリングの例示的図である。 （Ａ）は、キューブ面分の非一様な区分化グリッドからユニキューブ面分の一様な区分化グリッドへの例示的マッピングを示す図であり、（Ｂ）は、ユニキューブ面分の一様な区分化グリッドからキューブ面分の非一様な区分化グリッドへの例示的マッピングを示す図である。 キューブ面分上における例示的な非一様な区分化を示す図である。 球上における例示的な一様な区分化を示す図である。 キューブ面分の座標βとユニキューブ面分の座標β’との間の例示的マッピングを示す図である。 １つのユニキューブ面分についてのパディングされるサンプルの有効な領域の例示的な図である。 ユニキューブフォーマットについてのパディングされるサンプルの有効な領域にＭＶをクリッピングする例示的な図である。 ユニキューブ投影についてのハイブリッドパディングの例示的図である。 ユニキューブ投影についてのハイブリッドパディングの例示的ピクチャを示す図である。 キューブマップ、ユニキューブ、ＡＣＰ、およびＥＡＣのマッピング関数の例示的な比較を示す図である。 ユニキューブについてのジオメトリパディングのために６つの面分に対してルックアップを使用する例示的な図である。 １つまたは複数の開示される実施形態を実施できる、例示的通信システムの図である。 図３３Ａに示される通信システム内において使用できる、例示的な無線送受信ユニット（ＷＴＲＵ）のシステム図である。 図３３Ａに示される通信システム内において使用できる、例示的な無線アクセスネットワークおよびコアネットワークのシステム図である。 図３３Ａに示される通信システム内で使用できる、別の例示的な無線アクセスネットワークおよびコアネットワークのシステム図である。 図３３Ａに示される通信システム内で使用できる、別の例示的な無線アクセスネットワークおよびコアネットワークのシステム図である。
説明的な実施形態についての詳細な説明が、様々な図を参照して、今から行われる。この説明は、可能な実施の詳細な例を提供するが、詳細は、例示的であることが意図されており、決して本出願の範囲を限定しないことに留意されたい。
ＶＲシステムは、１つまたは複数の３６０度ビデオを使用することができる。３６０度ビデオは、水平方向においては３６０度の角度から、垂直方向においては１８０度の角度から、見ることができる。ＶＲシステムおよび３６０度ビデオは、超高解像度（ＵＨＤ）サービスを超えたメディア消費のために、使用することができる。フリービューＴＶ（ＦＴＶ）は、ソリューションの性能をテストすることができる。例えば、ＦＴＶは、３６０度ビデオ（もしくは、例えば、全方位ビデオ）ベースのシステム、および／またはマルチビューベースのシステムの性能をテストすることができる。
ＶＲシステムは、処理チェーンを含むことができる。処理チェーンは、キャプチャリング、処理、表示、および／または適用を含むことができる。キャプチャリングに関して、ＶＲシステムは、１つまたは複数のカメラを使用して、異なる多様なビュー（例えば、６から１２のビュー）からシーンをキャプチャすることができる。ビューは、一緒につなぎ合わせることができ、（例えば、４Ｋまたは８Ｋなどの高解像度で）３６０度ビデオを形成することができる。ＶＲシステムのクライアントおよび／またはユーザサイドは、計算プラットフォーム、頭部装着型ディスプレイ（ＨＭＤ）、および／または頭部追跡センサを含むことができる。計算プラットフォームは、（例えば、３６０度ビデオを）受け取り、デコードし、および／または表示のためにビューポートを生成することができる。（例えば、各目に対して１つの）２つのピクチャを、表示のためにレンダリングすることができる。２つのピクチャは、立体視のために、ＨＭＤにおいて表示することができる。ＨＭＤにおいて表示される画像を拡大するために、レンズを使用することができる。例えば、より良く見えるように、レンズを使用して、ＨＭＤにおいて表示される画像を拡大することができる。頭部追跡センサは、視聴者の頭部の向きを追跡する（例えば、常に追跡する）ことができる。向き情報は、その向きのためのビューポートピクチャを表示するために、ＶＲシステムに供給することができる。ＶＲシステムは、専用のタッチデバイスを提供することができる。例えば、専用のタッチデバイスは、視聴者が、仮想世界内のオブジェクトと対話することを可能にすることができる。ＶＲシステムは、グラフィカル処理ユニット（ＧＰＵ）サポートを備えるワークステーションによって、駆動することができる。ＶＲシステムは、計算プラットフォームとして、ＨＭＤディスプレイとして、および／または頭部追跡センサとして、モバイルデバイス（例えば、スマートフォン）を使用することができる。空間ＨＭＤ解像度は、例えば、２１６０×１２００であることができる。リフレッシュレートは、例えば、９０Ｈｚであることができる。視野（ＦＯＶ）は、例えば、１１０度であることができる。頭部追跡センサのサンプリングレートは、速い動きをキャプチャするために、例えば、１０００Ｈｚであることができる。ＶＲシステムは、レンズと、カードボードとを備えることができ、スマートフォンによって駆動することができる。ＶＲシステムは、ゲーミングのために、使用することができる。１つまたは複数の３６０度ビデオストリーミングサービスを、提供することができる。
ＶＲシステムは、対話性および／または触覚フィードバックを提供することが可能であることができる。大きいＨＭＤは、人が着用するのに便利ではないことがある。（例えば、あるＨＭＤによって提供されるような）立体視のための２１６０×１２００の解像度は、十分でないことがあり、いくらかのユーザにめまいおよび不快感を起こさせることがある。解像度の増加が、望ましいことがある。ＶＲ体験は、ＶＲシステムの視覚的効果を、現実世界の力フィードバックと組み合わせることによって、高めることができる。ＶＲジェットコースタアプリケーションは、ＶＲシステムの視覚的効果を、現実世界の力フィードバックと組み合わせた例であることができる。
３６０度ビデオは、例えば、動的適応ストリーミングオーバＨＴＴＰ（ＤＡＳＨ）ベースのビデオストリーミング技法を使用して、圧縮および／または配信することができる。３６０度ビデオコンテンツは、球面ジオメトリ構造を用いて、表すことができる。例えば、同期が取られた複数のビューを、複数のカメラによってキャプチャすることができ、球上においてつなぎ合わせることができる。同期が取られた複数のビューは、一体構造として、球上においてつなぎ合わせることができる。球情報は、ジオメトリ変換プロセスを介して、２Ｄ平面上に投影することができる。例えば、球情報は、エクイレクタングラ投影（ＥＲＰ）を使用することによって、ジオメトリ変換プロセスを介して、２Ｄ平面上に投影することができる。図１Ａは、経度（φ）および緯度（θ）における例示的な球サンプリングを示している。図１Ｂは、ＥＲＰを使用して、２Ｄ平面上に投影された、例示的な球を示している。航空学においては、範囲［−π，π］内の経度φは、ヨーと呼ばれることがあり、範囲［−π／２，π／２］内の緯度θは、ピッチと呼ばれることがあり、πは、円の直径に対する円周の比であることができ、（ｘ，ｙ，ｚ）は、３Ｄ空間内における点の座標を表すことができ、（ｕｅ，ｖｅ）は、ＥＲＰ後の、２Ｄ平面内における点座標を表すことができる。ＥＲＰは、例えば、式（１）および／または（２）に示されるように、数学的に表すことができ、
ｕｅ＝（φ／２×π）＋０．５）×Ｗ （１）
ｖｅ＝（０．５−θ／π）×Ｈ （２）
ＷおよびＨは、２Ｄ平面ピクチャの幅および高さであることができる。図１Ａに示されるように、球上における経度Ｌ４と緯度Ａ１との間の交点である点Ｐは、式（１）および／または（２）を使用して、図１Ｂにおける２Ｄ平面内の一意的な点ｑにマッピングすることができる。図１Ｂに示された２Ｄ平面内の点ｑは、例えば、逆投影を介して、図１Ａに示された球上の点Ｐに投影し戻すことができる。図１Ｂにおける視野（ＦＯＶ）は、球におけるＦＯＶが、Ｘ軸方向では約１１０度の視野角で、２Ｄ平面にマッピングされる例を示している。
１つまたは複数の３６０度ビデオを、２Ｄビデオにマッピングすることができる。例えば、３６０度ビデオは、ＥＲＰを使用して、２Ｄビデオにマッピングすることができる。３６０度ビデオは、Ｈ．２６４または高効率ビデオ符号化（ＨＥＶＣ）などのビデオコーデックを用いて、エンコードすることができ、クライアントに配信することができる。クライアントサイドにおいては、ビデオは、例えば、エクイレクタングラピクチャ内のＦＯＶに属する部分をＨＭＤ上に投影し、表示することによって、ユーザのビューポートに基づいて、（例えば、エクイレクタングラフォーマットで）デコードし、レンダリングすることができる。エクイレクタングラ２Ｄピクチャの特性は、２Ｄピクチャ（例えば、レクティリニアビデオピクチャ）と異なることができる。図１Ｃは、例示的なエクイレクタングラピクチャを示している。ピクチャの上部は、北極に対応することができ、下部は、南極に対応することができる。図１Ｃに示されるように、上部および／または下部は、引き延ばすことができる。例えば、上部および／または下部は、赤道に対応するピクチャの中央部に比べて、引き延ばすことができる。上部および／または下部における引き延ばしは、２Ｄ空間領域におけるエクイレクタングラサンプリングが、非一様なことがあることを示すことができる。２Ｄエクイレクタングラピクチャ内のモーションフィールドは、複雑なことがある。例えば、時間方向における２Ｄエクイレクタングラピクチャ内のモーションフィールドは、複雑なことがある。
並進モデルを使用して、モーションフィールドを記述する、あるビデオコーデック（例えば、ＭＰＥＧ−２、Ｈ．２６４、および／またはＨＥＶＣ）は、エクイレクタングラ投影された２Ｄ平面ピクチャにおいて、形状変化運動を表すことができないことがある。ＥＲＰを用いる場合、極により近いエリアは、視聴者および／またはコンテンツプロバイダにとって、あまり関心がないことがある。例えば、極により近いエリアは、赤道により近いエリアと比べて、視聴者および／またはコンテンツプロバイダにとって、あまり関心がないことがあり、視聴者は、長い持続時間にわたって、上部および下部に焦点を合わせないことがある。上部および下部は、ＥＲＰの後、（例えば、歪曲効果のせいで）引き延ばされて、２Ｄ平面の大きい部分になることができる。引き延ばされた部分のビデオ圧縮は、多数のビットを要することができる。ある処理技法を、エクイレクタングラピクチャ符号化に適用することができる。例えば、平滑化などの前処理を極エリアに適用して、それらのエリアを符号化するためのビットコストを低減させることができる。
キューブマップ、正積、円筒、ピラミッド、および／または８面体などを含むが、それらに限定されない、１つまたは複数の異なるジオメトリ投影を使用して、３６０度ビデオを表すことができる。キューブマップは、６つの面分を利用することができる。キューブマップにおける面分は、平面正方形であることができる。図２Ａは、例示的なキューブマップ投影（ＣＭＰ）を示している。キューブマップは、６つの面分を含むことができる。例えば、キューブマップは、６つの正方形面分を含むことができる。示された内接球の半径が、１であると仮定すると、キューブマップの面分（例えば、正方形面分）の横長は、２であることができる。図２Ｂは、エンコーディングおよび配信のために使用することができる、６つの面分を長方形エリアに配置するための例示的なパッキングを示している。図２Ｃは、ＣＭＰを使用して生成された例示的なピクチャを示している。ピクチャのない、グレイ部分２０１、２０３は、長方形ピクチャを満たすための、１つまたは複数のパディングされた領域を表すことができる。ＣＭＰにおける面分については、ピクチャは、２Ｄピクチャと同じに見えることができる。面分の境界は、連続的でないことがある。例えば、２つの近隣面分を横断する直線は、それら２つの面分の境界において、曲げられることがある。面分境界における動きは、不連続なことがある。
図３Ａは、正積投影（ＥＡＰ）の例示的なジオメトリ構造を示している。正積投影の球上における垂直サンプリングは、一様な間隔のピッチに基づかないことがある。サンプリングされた緯度（例えば、各サンプリングされた緯度）のＹ軸上への投影は、球上のサンプルが同じ面積を占めることができるように、一様に分布することができる。垂直方向におけるサンプリングは、極領域に近い領域については、疎らになることができる。図３Ａに示されるように、赤道付近では、より多くのサンプルを使用することができる。ユーザは、極に近い領域よりも、赤道に近い領域を、より頻繁に見ることがある。図３Ｂは、ＥＡＰにおける例示的な２Ｄ平面を示している。図３Ｃは、ＥＡＰを用いた例示的なピクチャを示している。図３Ｃに示されるように、赤道付近の領域（例えば、３０１）は、拡大させることができ、一方、極付近の領域（例えば、３０３）は、すぼませることができる。
図４Ａは、８面体投影の例示的なジオメトリ構造を示している。８面体は、８つの等しい側面三角形面分を含むことができる。内接球の半径が、１である場合、各三角形の横長は、
Figure 2022000954
であることができる。図４Ｂは、８つの三角形を長方形エリアに配置するための例示的なパッキングを示している。図４Ｃは、８面体投影を用いた例示的なピクチャを示している。２つの隣接三角形の共有される境界のコーナ（例えば、４０１）において、歪曲歪みを観察することができる。
異なるジオメトリ投影の符号化効率を、比較することができる。例えば、比較のために、緯度ベースのピーク信号対雑音比（Ｌ−ＰＳＮＲ）を、使用することができる。１つまたは複数（例えば、２つ）の要因、すなわち、球上における一様なサンプリング、および／または視聴者の視聴挙動について考えることができる。球上に一様に分布するサンプルの具体的な数を定義することができる。緯度に基づいて、サンプルの重みを定義することができる。歪みは、一様に分布するサンプルを考えることによって、加重された平均２乗誤差（ＭＳＥ）を用いて、測定することができる。重みは、視聴者の視野角を追跡することによって、導出することができる。例えば、重みは、トレーニング系列を使用して、視聴者の視野角を追跡することによって、導出することができる。
サンプルに対して、それがより頻繁に視聴される場合、より大きい重みを与えることができる。例えば、興味深いコンテンツは、赤道周辺に位置付けられることがあるので、極に近いサンプルよりも、赤道周辺のサンプルに、より大きい重みを与えることができる。球上において一様に分布するサンプルを使用することによって、異なる投影の性能を比較できる。これらの球サンプルは、事前定義することができ、異なる投影が適用されるときは、整数サンプリング位置に投影されないことがある。補間フィルタベースの再サンプリングが、適用される場合、追加の補間誤差が、導入されることがある。最も近い近隣サンプリングが、適用される場合、一様なサンプリングは保証されないことがある。
１つまたは複数の３６０度カメラおよびつなぎ合わせを用いて、エクイレクタングラフォーマットをサポートすることができる。キューブマップジオメトリを用いた３６０度ビデオのエンコーディングの間に、エクイレクタングラフォーマットは、キューブマップフォーマットに変換することができる。エクイレクタングラとキューブマップとの間の関係が、存在することができる。図２Ａにおいては、面分は、球の中心から面分の中心へと延びる３つの軸の各々を用いて、参照することができる。図２Ａに示されるように、Ｐは、正を表すことができ、Ｎは、負を表すことができる。ＰＸは、球の中心からの、正のｘ軸沿いの方向を表すことができ、ＮＸは、ＰＸの反対方向を表すことができる。ＰＹ、ＮＹ、ＰＺ、および／またはＮＺに対しても、同様の記法を使用することができる。６つの面分（例えば、ＰＸ、ＮＸ、ＰＹ、ＮＹ、ＰＺ、および／またはＮＺ）は、それぞれ、前、後、上、下、左、および／または右の面分に対応することができる。面分には、０から５までのインデックスを付けることができる。例えば、面分には、以下のように、すなわち、ＰＸ（０）、ＮＸ（１）、ＰＹ（２）、ＮＹ（３）、ＰＺ（４）、および／またはＮＺ（５）のように、インデックスを付けることができる。Ｐｓ（Ｘ＿ｓ、Ｙ＿ｓ、Ｚ＿ｓ）は、半径１の球上の点とすることができる。点Ｐｓは、以下のように、ヨーφおよびピッチθで表すことができる。
Ｘ＿ｓ＝ｃｏｓ（θ）ｃｏｓ（φ） （３）
Ｙ＿ｓ＝ｓｉｎ（θ） （４）
Ｚ＿ｓ＝−ｃｏｓ（θ）ｓｉｎ（φ） （５）
点Ｐｆは、直線が、球中心からＰｓに延ばされたときの、キューブ上の点とすることができる。Ｐｆは、面分ＮＺ上に存在することができる。Ｐｆの座標（Ｘ＿ｆ，Ｙ＿ｆ，Ｚ＿ｆ）は、以下のように計算することができ、
Ｘ＿ｆ＝Ｘ＿ｓ／｜Ｚ＿ｓ｜ （６）
Ｙ＿ｆ＝Ｙ＿ｓ／｜Ｚ＿ｓ｜ （７）
Ｚ＿ｆ＝−１ （８）
ここで、｜ｘ｜は、変数ｘの絶対値とすることができる。面分ＮＺの２Ｄ平面内のＰｆの座標（ｕｃ，ｖｃ）は、以下のように計算することができる。
ｕｃ＝Ｗ×（１−Ｘ＿ｆ）／２ （９）
ｖｃ＝Ｈ×（１−Ｙ＿ｆ）／２ （１０）
１つまたは複数の式（３）から（１０）を使用して、特定の面分上のキューブマップにおける座標（ｕｃ，ｖｃ）と、球上の点（φ，θ）との間の関係を、導出することができる。エクイレクタングラ点（ｕｅ，ｖｅ）と、球上の座標（φ，θ）との間の関係は、式（１）および／または（２）から知ることができる。エクイレクタングラジオメトリとキューブマップジオメトリとの間の関係が、存在することができる。
キューブマップからエクイレクタングラへのジオメトリマッピングは、以下のように表現することができる。キューブマップ上の１つの面分上に点（ｕｃ，ｖｃ）を与えると、エクイレクタングラ平面上の出力（ｕｅ，ｖｅ）は、以下のうちの１つまたは複数として計算することができる。（ｕｃ，ｖｃ）を用いた面分上の３Ｄ点Ｐ＿ｆの座標は、式（９）および／または（１０）における関係に従って、計算することができる。Ｐ＿ｆを用いた球上の３Ｄ点Ｐ＿ｓの座標は、式（６）、（７）、および／または（８）における関係に従って、計算することができる。Ｐ＿ｓを用いた球上の（φ，θ）の座標は、式（３）、（４）、および／または（５）における関係に従って、計算することができる。（φ，θ）からのエクイレクタングラピクチャ上の点（ｕｅ，ｖｅ）の座標は、式（１）および／または（２）における関係に従って、計算することができる。
キューブマップを使用して、２Ｄピクチャで３６０度ビデオを表すために、キューブマップの６つの面分を、長方形エリア内にパッキングすることができる。これは、フレームパッキングと呼ばれることがある。フレームパッキングされたピクチャは、２Ｄピクチャとして扱う（例えば、符号化する）ことができる。異なるフレームパッキング構成（例えば、３×２および／または４×３）を使用することができる。３×２構成においては、６つのキューブマップ面分を、１行内に３つの面分を有する２行内にパッキングすることができる。４×３構成においては、４つの面分（例えば、ＰＸ、ＮＺ、ＮＸ、およびＰＺ）を、１つの行（例えば、中央行）内にパッキングすることができ、他の２つの面分（例えば、ＰＹおよびＮＹ）を、２つの異なる行（例えば、上行および下行）内に別々にパッキングすることができる。図２Ｃは、図１Ｃにおけるエクイレクタングラピクチャに対応する、４×３フレームパッキングの例を示している。
エクイレクタングラフォーマットにおける３６０度ビデオは、キューブマップフォーマットに変換することができる。例えば、エクイレクタングラフォーマットにおける３６０度ビデオは、エクイレクタングラフォーマットにおける３６０度ビデオを入力として使用して、キューブマップフォーマットに変換することができる。キューブマップフォーマットにおけるサンプル点（ｕｃ，ｖｃ）に対して、エクイレクタングラフォーマットにおける対応する座標（ｕｅ，ｖｅ）を計算することができる。エクイレクタングラにおける計算された座標（ｕｅ，ｖｅ）が、整数サンプル位置にない場合、補間フィルタを使用することができる。例えば、隣接整数位置のサンプルを使用して、この分数位置におけるサンプル値を獲得するために、補間フィルタを使用することができる。
キューブマップフォーマットは、３６０度ビデオの表現フォーマットであることができる。球上におけるサンプルは、キューブマップフォーマットによって非一様にサンプリングすることができる。例えば、球上におけるサンプルは、面分境界の近くでは、より高いサンプリングレートを、および／または面分中央の近くでは、より低いサンプリングレートを用いて、キューブマップフォーマットによって、非一様にサンプリングすることができる。球上におけるサンプルは、レクティリニア投影の制限のせいで、キューブマップフォーマットによって、非一様にサンプリングされることがある。キューブマップフォーマットには、ある球サンプリング特性が、存在することができる。例えば、キューブマップフォーマットには、面分境界では、より高いサンプリングレート、および／または面分中央では、より低いサンプリングレートという、球サンプリング特性が、存在することができる。キューブマップ投影は、面分の境界付近の領域を拡大することができ、および／または面分の中央付近の領域を縮めることができる。
モーションモデルは、並進モーションモデルおよび／またはアフィンモーションモデルなどを含むことができる。キューブマップ投影は、投影面分における結果のモーションフィールドの規則性を低下させることがある。
ユニキューブマップ投影フォーマットを提供することができる。キューブマップのサンプリンググリッドは、球上における一様なサンプリンググリッドに転換することができる。実際のキューブ面分が生成される前に、２Ｄ平面面分上におけるサンプルの座標を変更するために、マッピングを使用することができる。
図２４Ａ〜図２４Ｄは、キューブマップとユニキューブとの間の平面サンプリングパターンおよび球サンプリングパターンの例を示している。例えば、図２４Ａは、キューブマップについてのキューブ面分の例示的な一様なサンプリングを示している。図２４Ａに示されるように、キューブマップ面分のサンプリンググリッドは、平行な直線の２つのセット、すなわち、一方は水平方向の直線、他方は垂直方向の直線を含むことができる。平行な区分化直線のセットは、一様な間隔で隔てられることができる。キューブマップ面分が、球上に投影されるとき、サンプリンググリッドは、変形されることがある。例えば、図２４Ｂに示されるように、平面面分内の直線は、曲線になることがある。図２４Ｂは、キューブマップについての例示的な非一様な球サンプリングを示している。球上のサンプリンググリッドは、非一様になることがある。例えば、図２４Ｂに示されるように、レクティリニア投影は、距離が保存される投影ではないことがあるので、球上のサンプリンググリッドは、非一様になることがある。キューブマップと同様のサンプリング構造を維持するために、ユニキューブフォーマット内の面分は、平行な直線の１つまたは複数（例えば、２つ）のセットに基づいて、サンプリングすることができる。セット内の平行な直線は、球上の対応するサンプリンググリッドが、一様であることができるように、非一様に分布することができる。図２４Ｃは、ユニキューブについてのキューブ面分の例示的な非一様なサンプリングを示している。例えば、図２４Ｃに示されるように、セット内の平行な直線は、非一様に分布することができる。図２４Ｄは、ユニキューブについての例示的な一様な球サンプリングを示している。図２４Ｄに示されるように、球上の対応するサンプリンググリッドは、一様であることができる。
図２４Ｃの例に示されるような、キューブ面分上における非一様な区分化は、近隣サンプル間において変化する距離と関連付けることができる。非一様な平面サンプリンググリッドを、一様な平面サンプリンググリッドに変換するために、マッピングを使用することができる。図２５は、キューブ面分とユニキューブ面分との間の例示的なマッピングを示している。例えば、図２５Ａは、キューブ面分の非一様な区分化グリッドからユニキューブ面分の一様な区分化グリッドへの例示的なマッピングを示している。図２５Ｂは、ユニキューブ面分の一様な区分化グリッドからキューブ面分の非一様な区分化グリッドへの例示的なマッピングを示している。水平変換と垂直変換とが、分離可能である場合、（ｘ，ｙ）から（ｘ’，ｙ’）へのマッピングは、１つまたは複数（例えば、２つ）の別々の変換を含むことができ、例えば、ｘ’＝ｆ（ｘ）、ｙ’＝ｆ（ｙ）であり、変換は、ｘおよびｙに対して適用することができる。例えば、変換は、ｘおよびｙに対して独立に適用することができる。（ｘ’，ｙ’）を（ｘ，ｙ）にマッピングすることができる、逆変換を計算することができ、例えば、ｘ＝ｇ（ｘ’）、ｙ＝ｇ（ｙ’）である。ｘおよびｙの２つの変換は、同一であることができる。ｘおよびｙの２つの変換関数が、同一である場合、ｙの変換関数の導出を実行することができる。例えば、β∈［−１，１］が、キューブ上のパターンエリアのｙ座標である場合、図２６は、キューブ面分の座標とユニキューブ面分の座標との間のマッピング関数を計算する例を示している。図２６Ａは、キューブ面分上において１つの非一様な区分化を使用する、ユニキューブの例示的なマッピング関数を示している。図２６Ｂは、球上において対応する一様な区分化を使用する、ユニキューブの例示的なマッピング関数を示している。図２６Ｃは、キューブ面分の座標βとユニキューブ面分の座標β’との間のマッピング関数を示している。マッピング関数β’＝ｆ（β）は、（例えば、図２４Ｂに示されるように）球上において等しいレクティリニア構造区分化を用いて、βをβ’に変換することを目標とすることができ、ｆ（β）は、βに対応する球領域の面積に比例することができる。例えば、図２６Ｂに示されるように、ｆ（β）の値は、パターン球領域と球の４分の１との面積間の比に等しいことができる。例えば、マッピング関数ｆ（β）は、
Figure 2022000954
Figure 2022000954
のように計算することができ、ここで、β’∈［−１，１］である。図２６Ｃは、βとβ’との間の対応するマッピング関係を示している。
キューブマップに似た投影フォーマットは、キューブマップの座標を調整することによって、１つまたは複数の球サンプリング特徴を提供することができる。例えば、１つまたは複数のマッピング関数を使用することによって、キューブマップの座標を調整することができる。調整されたキューブマップ投影（ＡＣＰ）は、球サンプリング一様性を提供することができる。キューブ領域における座標は、以下のマッピング関数のうちの１つまたは複数に基づいて、調整することができ、
β’＝ｆ（β）＝ｓｇｎ（β）（−０．３６・β2＋１．３６・｜β｜） （１３）
Figure 2022000954
ここで、ｓｇｎ（・）は、入力の符号を返すことができる。
キューブ領域と等角キューブマップ（ＥＡＣ）領域との間の座標を変換することによって、ＥＡＣ投影を実行することができる。例えば、キューブ領域とＥＡＣ領域との間の座標は、キューブマップサンプリンググリッド上において、球サンプルの角度のタンジェントに基づいて、変換することができる。ＥＡＣ投影のためのマッピング関数は、
Figure 2022000954
Figure 2022000954
のように計算することができる。
図３１は、キューブマップ、ユニキューブ、ＡＣＰ、およびＥＡＣについてのマッピング関数ｇ（β’）の例示的な比較を示している。
図５は、３６０度ビデオ処理のための例示的なワークフローを示している。３６０度ビデオキャプチャは、１つまたは複数のカメラを使用して、キャプチャすることができる。例えば、１つまたは複数のカメラを使用して、球空間をカバーする３６０度ビデオをキャプチャすることができる。ビデオは、一緒につなぎ合わせることができる。例えば、ビデオは、エクイレクタングラジオメトリ構造を使用して、一緒につなぎ合わせることができる。エクイレクタングラジオメトリ構造は、エンコーディング（例えば、ビデオコーデックを用いたエンコーディング）のために、キューブマップジオメトリなど、他のジオメトリ構造に変換することができる。符号化されたビデオは、例えば、動的ストリーミングおよび／またはブロードキャスティングを介して、クライアントに配信することができる。ビデオは、例えば、受信機において、デコードすることができる。伸張されたフレームは、アンパッキングして、表示ジオメトリなどの表示にすることができる。例えば、表示ジオメトリは、エクイレクタングラジオメトリとすることができる。レンダリングのために、ジオメトリを使用することができる。例えば、レンダリングのために、ユーザの視野角に従ったビューポート投影を介して、ジオメトリを使用することができる。
クロマ成分は、サブサンプリングして、ルーマ成分のそれよりも小さい解像度にすることができる。クロマサブサンプリングは、エンコーディングのために使用されるビデオデータの量を減らすことができ、帯域幅および／またはコンピューティング能力を節約することができ、ビデオ品質に影響を与える（例えば、著しく影響を与える）ことなく、そうすることができる。４：２：０クロマフォーマットを用いる場合、両方のクロマ成分をサブサンプリングして、ルーマ解像度の１／４にすることができる。例えば、クロマ成分を、水平方向においてルーマ解像度の１／２、垂直方向においても１／２にサブサンプリングすることができる。クロマサブサンプリングの後、クロマサンプリンググリッドは、ルーマサンプリンググリッドと異なることができる。図５においては、処理フロー全体にわたって、１つまたは複数のステージにおいて処理される３６０度ビデオは、クロマ成分がサブサンプリングされたクロマフォーマットとすることができる。
図６は、例示的なブロックベースのハイブリッドビデオエンコーディングシステム６００のブロック図を示している。入力ビデオ信号６０２は、ブロック毎に処理することができる。高解像度（例えば、１０８０ｐおよび／またはそれ以上）のビデオ信号を圧縮するために、（例えば、ＨＥＶＣにおいては）（例えば、符号化ユニットまたはＣＵと呼ばれる）拡張されたブロックサイズを使用することができる。ＣＵは、（例えば、ＨＥＶＣにおいては）最大で６４×６４ピクセルを有することができる。ＣＵは、それに対して別々の予測を適用することができる、予測ユニットまたはＰＵに区分化することができる。入力ビデオブロック（例えば、マクロブロック（ＭＢ）またはＣＵ）に対して、空間予測６６０または時間予測６６２を実行することができる。空間予測（または、例えば、イントラ予測）は、同じビデオピクチャおよび／またはスライス内のすでに符号化された近隣ブロックに属するピクセルを使用して、現在のビデオブロックを予測することができる。空間予測は、ビデオ信号に内在する空間冗長性を低減させることができる。（例えば、インター予測または動き補償予測と呼ばれる）時間予測は、すでに符号化されたビデオピクチャに属するピクセルを使用して、現在のビデオブロックを予測することができる。時間予測は、ビデオ信号に内在する時間冗長性を低減させることができる。与えられたビデオブロックのための時間予測信号は、現在のブロックとそれの基準ブロックとの間の動きの量および／または方向を示す、動きベクトルによって伝達することができる。（例えば、Ｈ．２６４／ＡＶＣまたはＨＥＶＣにおいて）複数の基準ピクチャが、サポートされる場合、ビデオブロックの基準ピクチャインデックスを、デコーダに伝達することができる。時間予測信号が、基準ピクチャストア６６４内のどの基準ピクチャに由来することができるかを、基準インデックスを使用して、識別することができる。
空間および／または時間予測の後、エンコーダ内のモード決定６８０は、例えば、レート−歪み最適化に基づいて、予測モードを選択することができる。６１６において、現在のビデオブロックから予測ブロックを減算することができる。変換モジュール６０４および量子化モジュール６０６を使用して、予測残差を脱相関して、目標ビットレートを達成することができる。量子化された残差係数を、６１０において、逆量子化し、６１２において、逆変換して、再構成された残差を形成することができる。６２６において、再構成された残差を、予測ブロックに加算し直し、再構成されたビデオブロックを形成することができる。６６６において、再構成されたビデオブロックに、デブロッキングフィルタおよび／または適応ループフィルタなどの、インループフィルタを適用することができ、その後、それは、基準ピクチャストア６６４に入れられる。基準ピクチャストア６６４内の基準ピクチャは、将来のビデオブロックを符号化するために、使用することができる。出力ビデオビットストリーム６２０を形成することができる。符号化モード（例えば、インターもしくはイントラ）、予測モード情報、動き情報、および／または量子化された残差係数を、エントロピ符号化ユニット６０８に送って、圧縮およびパッキングを施し、ビットストリーム６２０を形成することができる。
図７は、例示的なブロックベースのビデオデコーダの全体的なブロック図を示している。エントロピデコーディングユニット２０８において、ビデオビットストリーム２０２を受け取り、アンパッキングし、および／またはエントロピデコードすることができる。（例えば、イントラ符号された場合）空間予測ユニット２６０に、および／または（例えば、インター符号された場合）時間予測ユニット２６２に、符号化モードおよび／または予測情報を送ることができる。空間予測ユニット２６０および／または時間予測ユニット２６２において、予測ブロックを形成することができる。逆量子化ユニット２１０および逆変換ユニット２１２に、残差変換係数を送って、残差ブロックを再構成することができる。２２６において、予測ブロックと残差ブロックとを加算することができる。再構成されたブロックは、インループフィルタリング２６６を通過することができ、基準ピクチャストア２６４内に記憶することができる。基準ピクチャストア２６４内の再構成されたビデオは、表示デバイスを駆動するために、および／または将来のビデオブロックを予測するために、使用することができる。
２Ｄ平面レクティリニアビデオを符号化するために、Ｈ．２６４および／またはＨＥＶＣなどのビデオコーデックを使用することができる。ビデオ符号化は、空間および／または時間相関を利用して、情報冗長性を除去することができる。ビデオ符号化の間に、イントラ予測および／またはインター予測など、１つまたは複数の予測技法を適用することができる。イントラ予測は、近隣の再構成されたサンプルを用いて、サンプル値を予測することができる。図８は、現在の変換ユニット（ＴＵ）をイントラ予測するために使用することができる、例示的な基準サンプルを示している。基準サンプルは、現在のＴＵの上および／または左に位置付けられた、再構成されたサンプルを含むことができる。
それらから選択する複数のイントラ予測モードが、存在することができる。図９は、ＨＥＶＣにおけるイントラ予測方向の例示的な表示を示している。例えば、ＨＥＶＣは、図９に示されるように、平面（０）、ＤＣ（１）、および／または角度予測（２〜３４）を含む、３５個のイントラ予測モードを指定することができる。適切なイントラ予測モードを選択することができる。例えば、エンコーダサイドにおいて、適切なイントラ予測モードを選択することができる。複数の候補イントラ予測モードによって生成された予測は、比較することができる。予測サンプルと元のサンプルとの間に最も小さい歪みを生成する、候補イントラ予測モードを選択することができる。選択されたイントラ予測モードは、符号化して、ビットストリーム内に収めることができる。
角度予測を使用して、方向性テクスチャを予測することができる。図１０は、１つの動きベクトル（ＭＶ）を用いた、例示的なインター予測を示している。基準ピクチャ内のブロックＢ０’およびＢ１’は、それぞれ、現在のピクチャのブロックＢ０およびＢ１についての基準ブロックであることができる。基準ブロックＢ０’は、部分的に、基準ピクチャの境界の外部にあることができる。パディングプロセスを使用して、ピクチャ境界の外部の未知のサンプルを満たすことができる。図１１は、ピクチャ境界の外部の基準サンプルのための例示的なパディングを示している。例えば、ブロックＢ０’のためのパディング例は、４つの部分Ｐ０、Ｐ１、Ｐ２、およびＰ３を有することができる。部分Ｐ０、Ｐ１、およびＰ２は、ピクチャ境界の外部にあることができ、例えば、パディングプロセスを介して、満たすことができる。例えば、部分Ｐ０は、基準ピクチャの左上サンプルを用いて、満たすことができる。部分Ｐ１は、基準ピクチャの上端行を使用して、垂直パディングを用いて、満たすことができる。部分Ｐ２は、ピクチャの左端列を使用して、水平パディングを用いて、満たすことができる。
インター符号化のために、動きベクトル予測および／またはマージモードを使用することができる。
動きベクトル予測においては、現在のＭＶの予測因子として、近隣ＰＵおよび／または時間的に併置されたＰＵからの動きベクトルを使用できる。選択されたＭＶ予測因子のインデックスは、符号化し、および／またはデコーダに伝達することができる。デコーダは、複数のエントリを有するＭＶ予測因子リストを構成することができる。伝達されたインデックスを有するエントリを使用して、現在のＰＵのＭＶを予測することができる。
マージモードを用いる場合、空間および／または時間近隣ＰＵについてのＭＶ情報を再使用することができ、現在のＰＵのための動きベクトル符号化は、スキップすることができる。図１２は、マージ候補導出のために使用することができる、例示的な空間近隣ブロックを示している。例えば、マージ候補導出のために、左下（Ａ０）、左（Ａ１）、右上（Ｂ０）、上（Ｂ１）、および／または左上（Ｂ２）を使用することができる。時間的に併置されたブロックを、マージ候補として使用できる。選択されたマージ候補のインデックスを符号化することができる。デコーダサイドにおいて、マージ候補リストを構成することができる。例えば、デコーダサイドにおいて構成されたマージ候補リストは、エンコーダサイドにおけるＭＶ予測因子リストの構成に類似することができる。伝達されたマージ候補インデックスを有するエントリを、現在のＰＵのＭＶとして使用することができる。
３６０度ビデオ符号化および２Ｄ平面ビデオ符号化は、様々な態様において異なることができる。例えば、３６０度ビデオは、フレームパッキングすることができ、視聴者を取り巻く環境の３６０度情報を含むことができる。そのため、３６０度ビデオは、２Ｄビデオが有さないことがある、１つまたは複数の本質的な円特性を有することができる。２Ｄビデオを符号化するのに適したものであることができる、ＭＰＥＧ−２、Ｈ．２６４、および／またはＨＥＶＣなどの、あるコーデックは、３６０度ビデオの円特性特徴を十分に考慮していないことがある。例えば、３６０度ビデオ内のピクセルは、ピクチャの境界の外部にある場合、反復的なパディングを適用することができる。
符号化のために、３６０度ビデオの１つまたは複数の面分を長方形ピクチャ内に配置するために、フレームパッキングを使用することができる。面分境界沿いのサンプル値は、連続的でないことがある。不連続性は、空間予測の効率を低下させることがある。図８に示されるように、近隣の再構成されたサンプルを使用して、現在のＴＵをイントラ予測するための基準サンプルを導出できる。近隣の再構成されたサンプルは、現在のＴＵが属する面分とは異なる面分内に位置付けることができる。例えば、現在のＴＵが、キューブマップ内の面分の境界に近い、または境界にある場合、対応するフレームパッキングされた２Ｄピクチャ内において最も近い近隣サンプルは、近隣面分内にあることができ、サンプルは、フレームパッキングされたピクチャ内において、連続的でないことがある。
図１３は、キューブマップの面分ピクチャ内における不連続サンプルおよびパディングの例を示している。円は、球の赤道を表すことができる。正方形の４つの側部／辺は、赤道が投影される、キューブマップの４つの辺面分上の４つの直線を表すことができる。Ｐは、キューブマップの面分を表すことができ、Ｑは、面分Ｐの近隣面分を表すことができる。Ｐｘ（ｘ∈［０，３］）は、面分Ｐ上におけるサンプリング点を表すことができる。Ｑｘ（ｘ∈［０，３］）は、近隣面分Ｑ上におけるサンプリング点を表すことができる。例えば、近隣サンプルＰ４、Ｐ５、およびＰ６が、面分境界の外側のサンプルである場合、およびＰ４、Ｐ５、およびＰ６が、（例えば、一様なサンプリング間隔を用いて）面分Ｐ上においてパディングされるべき場合、パディングサンプルＫ０、Ｋ１、およびＫ２は、それぞれ、球の中心から面分Ｑ上へのＰ４、Ｐ５、およびＰ６の投影を表すことができる。Ｐ４、Ｐ５、およびＰ６の点ロケーションは、近隣サンプルロケーション、または初期基準ブロックと関連付けられた初期サンプルロケーションと呼ばれることがある。図１３に示されるように、Ｋ０とＱ０とは、互いに重なり合わないことがある。Ｋ１とＱ１、およびＫ２とＱ２とは、重なり合わないことがある。延長されたサンプルが、面分境界に対して遠いほど、不一致は、より大きくなることができる。パディングサンプルＫ０、Ｋ１、およびＫ２を使用して、それぞれ、Ｐ４、Ｐ５、およびＰ６におけるサンプルを満たすことができる。Ｋ０、Ｋ１、およびＫ２は、基準サンプル、導出されたサンプルロケーション、パディングサンプルロケーション、またはそれぞれの基準サンプルロケーションに位置付けられたマッピングされた基準ブロックと関連付けられた複数のサンプル値と呼ばれることがある。図１３に示されるように、Ｋ０とＱ０とは、互いに重なり合わないことがあり、同じことが、Ｋ１とＱ１、およびＫ２とＱ２について当てはまることがある。パディングサンプルＫ０、Ｋ１、および／またはＫ２を使用して、Ｐ４、Ｐ５、および／またはＰ６におけるサンプルを満たすことができる。
インター動き補償予測は、不連続なサンプルを有することができる。例えば、（例えば、図２Ｂに示されるような）キューブマップ４×３フレームパッキングが、エンコーディングの間に適用される場合、現在のブロックの面分の外側の基準ブロックのピクセルは、不連続であることがある。図１６は、キューブマップ４×３フレームパッキングされたピクチャについての例示的な動き補償予測を示している。図１６に示されるように、面分Ｖは、フレームパッキングのための仮想面分であることができる。現在のブロックＢ０が、現在のピクチャの面分０に属し、動きベクトルによって指し示される時間基準ブロックＢ０’が、部分的に基準ピクチャの面分０の外側に位置付けられる場合、面分４上のサブブロック１４０２（例えば、ブロックＢ０’のサブブロック）は、異なるテクスチャ方向を有することができる。現在のブロックＢ０は、２つの予測ユニットに分割することができる。
フレームパッキングされたピクチャ内の面分境界沿いの動きは、連続的でないことがある。例えば、図１２における現在のＰＵは、面分境界にあることができる。近隣ブロックＡ０、Ａ１、Ｂ０、Ｂ１、および／またはＢ２は、１つまたは複数の異なる面分内に位置付けることができる。近隣ブロック（例えば、Ａ０、Ａ１、Ｂ０、Ｂ１、および／またはＢ２）の動きは、現在のブロックの動き方向とは異なる１つまたは複数の方向を有することができる。
３６０度ビデオ符号化は、符号化されるビデオのジオメトリ構造および／または特性を考慮することができる。イントラおよび／またはインター予測については、基準サンプルが、フレームパッキングされたピクチャの外部にある場合、ピクチャの１つまたは複数の円特性を考慮することによって、ジオメトリパディングを適用できる。ジオメトリパディングは、ピクチャの外部の基準サンプルに対する予測効率を高めることができる。例えば、ジオメトリパディングは、インター動き補償予測の場合に、ピクチャの外部の基準サンプルに対する予測効率を高めることができる。例えば、図１１に示されるようなサブブロックＰ０、Ｐ１、および／またはＰ２内の点ｐの値は、本明細書において説明されるように、ジオメトリマッピングおよび／または補間を介して、導出することができる。
イントラ予測および／またはインター予測については、フレームパッキングされたピクチャ内の基準サンプルが、ピクチャの内部にあるが、現在のブロックが属する面分の外部にある場合、基準サンプル値は、ジオメトリパディングを使用して、導出することができる。例えば、ジオメトリパディングを使用して、不連続性を扱うことができる。現在のブロックの面分の外部にあることができる、近隣サンプルロケーション、および／または初期基準ブロックと関連付けられた１つもしくは複数の初期サンプルロケーションと呼ばれることがある、基準サンプル位置は、例えば、ジオメトリマッピングを使用することによって、それの現在の面分から他の面分にマッピングすることができる。例えば、図１３における基準サンプル位置Ｐ４は、Ｋ０にマッピングすることができ、位置Ｋ０におけるサンプル値は、近隣面分上のサンプル値（例えば、Ｑ０および／またはＱ１など）から導出することができる。例えば、インター予測のために使用することができる、図１６におけるサブブロック１４０２は、ジオメトリパディングを介して、導出することができる。例えば、図１６においては、面分４上のサンプル値は、インター予測のために（例えば、直接的に）使用されないことがある。
動きベクトル予測および／またはインターマージモードにおいては、空間近隣ブロック、または時間動きベクトル予測のための時間的に併置されたブロックは、現在のブロックの面分の外部にあることができる。例えば、時間動きベクトル予測のための時間的に併置されたブロックは、ＨＥＶＣによって、定義することができる。近隣ブロック位置は、ジオメトリマッピングプロセスを介して、導出することができる。例えば、サンプル位置は、マッピングすることができる。サンプル値は、マッピングされた位置に基づいて、導出することができる。
３６０度ビデオは、ハイブリッド投影技法を使用して、エンコードすることができる。例えば、ハイブリッド投影技法は、ビデオの特性および／または投影技法に基づくことができる。例えば、イントラピクチャは、ある投影を用いて符号化することができ、一方、インターピクチャは、他の投影で符号化することができる。例えば、イントラピクチャは、ＥＲＰまたは正積投影を用いて符号化することができる。インターピクチャは、キューブマップ投影で符号化することができる。
３６０度ビデオ符号化において、ジオメトリパディングを適用することができる。図１７Ａおよび図１７Ｂは、エクイレクタングラピクチャについての例示的なジオメトリパディングを示している。図１７Ａおよび図１７Ｂに示されるように、右境界と左境界とは、球的に連続であることができる。例えば、図１７Ａに示された矢印は、球上における連続性を示すことができる。例えば、図１７Ａにおける、０２と０２’、３２と３２’、４２と４２’、０４と０４’、３４と３４’、および４４と４４’など、同じ参照番号を有する矢印は、球上における右および左境界の連続性を示すことができる。上境界は、球の北極を表すことができ、下境界は、球の南極を表すことができる。本明細書において説明されるように、上境界および下境界は、球的に接続しないことができ、球上において最も遠く離れていることができる。上境界２０と２０’、２２と２２’、２６と２６’、および／または２８と２８’は、北極における球的な連続性を示すことができる。下境界０６と０６’、０８と０８’、１０と１０’、および／または１２と１２’は、南極における球的な連続性を示すことができる。
本明細書において説明され、図１７Ａおよび図１７Ｂに示されるような、球特性を使用すると、近隣サンプルロケーションが、ピクチャの右境界を越える場合（例えば、０２、３２、４２、Ｄ、Ｅ、および／またはＦ）、ピクチャの左境界に巻き戻すことによって（例えば、それぞれ、０２’、３２’、４２’、Ｄ’、Ｅ’、および／またはＦ’）、パディングサンプルロケーションを使用して、パディングを実行することができる。パディングは、ピクチャの円特性のうちの１つまたは複数に基づいて、巻き戻すことによって、実行することができる。近隣サンプルロケーションが、ピクチャの右境界の内側にある場合、パディングのために、ピクチャ境界の内側の右端の線からの繰り返しを実行することができる。近隣サンプルロケーションが、ピクチャの下境界を越える場合（例えば、０６、０８、１０、１２、Ｋ、Ｌ、Ｍ、および／またはＮ）、パディングは、経度線を辿って、反対側の半球に進むことができる（例えば、それぞれ、０６’、０８’、１０’、１２’、Ｋ’、Ｌ’、Ｍ’、および／またはＮ’）。図１７Ｂにおける矢印および対応するアルファベットのラベルは、パディングされるサンプルと、近隣サンプルロケーションをパディングするために使用することができる、パディングするサンプルとの間の対応を示すことができる。例えば、矢印Ａにおいて満たされるパディングは、矢印Ａ’に沿って取得することができる。矢印Ｂにおいて満たされるパディングは、矢印Ｂ’に沿って取得することができ、他も同様である。
初期基準サンプル点（ｕ，ｖ）は、ピクチャ内における現在のロケーションに基づいて、提供することができる。例えば、点（ｕ，ｖ）は、エクイレクタングラピクチャの外部にあることができる。初期基準サンプルロケーション（ｕ，ｖ）を使用して、パディングサンプルロケーション（ｕｐ，ｖｐ）を導出することができる。点（ｕｐ，ｖｐ）は、パディングサンプル、またはマッピングされた基準ブロックと関連付けられた１つもしくは複数のサンプル値と呼ばれることがある。エクイレクタングラピクチャについての導出される基準サンプルロケーション（ｕｐ，ｖｐ）は、以下のように計算することができる。
ｕ＜０、またはｕ≧Ｗ、かつ０≦ｖ＜Ｈである場合、ｕｐ＝ｕ％Ｗ、ｖｐ＝ｖ （１７）
ｖ＜０である場合、ｖｐ＝−ｖ−１、ｕｐ＝（ｕ＋Ｗ／２）％Ｗ （１８）
ｖ≧Ｈである場合、ｖｐ＝２×Ｈ−１−ｖ、ｕｐ＝（ｕ＋Ｗ／２）％Ｗ （１９）
ここで、ＷおよびＨは、エクイレクタングラピクチャの幅および高さとすることができる。例えば、パディングサンプルロケーション（ｕｐ，ｖｐ）は、点（ｕ，ｖ）のロケーションに基づいて、計算することができる。例えば、点（ｕ，ｖ）が、右または左境界を越える場合、式（１７）に基づいて、パディングサンプル（ｕｐ，ｖｐ）を計算することができる。右または左境界を越える点（ｕ，ｖ）のパディングサンプル（ｕｐ，ｖｐ）は、それぞれ、エクイレクタングラピクチャの左または右境界の近くに位置付けられた点に対応することができる。他のパディングサンプルは、式（１８）および／または式（１９）に対応することができる点（ｕ，ｖ）の位置に基づいて、計算することができる。
図１３に示されるように、ＣＭＰのためのパディングを提供することができる。パディングは、点（ｕ，ｖ）に適用することができる。点ｐ（ｕ，ｖ）は、ジオメトリ構造におけるビデオコンテンツ内に位置付けることができる。点ｐ（ｕ，ｖ）は、現在のサンプルの近隣サンプルであることができる。以下のうちの１つまたは複数を使用して、サンプル値を導出することができる。
点ｐ（ｕ，ｖ）は、現在のサンプルロケーションにおける現在のサンプルに基づいて、識別することができる。例えば、現在のサンプルロケーションにおける現在のサンプルは、現在の面分ロケーションにあることができる。現在のサンプルは、パディングサンプルと関連付けることができる。点ｐ（ｕ，ｖ）は、現在の面分境界の外側に位置付けることができる。点ｐ（ｕ，ｖ）は、異なる面分内に位置付けることができる。点ｐ（ｕ，ｖ）が属する面分に応じて、点の３Ｄ位置Ｐｆ（Ｘ，Ｙ，Ｚ）を計算することができる。例えば、点ｐの面分が、ＮＺである場合、式（６）、式（７）、および／または式（８）を使用して、点ｐの３Ｄ位置（Ｘ，Ｙ，Ｚ）を計算することができる。パディングのために使用されるサンプルが属する新しい面分は、３Ｄ位置（Ｘ，Ｙ，Ｚ）に基づいて、決定することができる。サンプルは、以下のように（Ｘ，Ｙ，Ｚ）を使用して、パディングのために使用することができる。
｜Ｘ｜≧｜Ｙ｜、かつ｜Ｘ｜≧｜Ｚ｜、かつＸ＞０である場合、新しい面分は、ＰＸとすることができる。
｜Ｘ｜≧｜Ｙ｜、かつ｜Ｘ｜≧｜Ｚ｜、かつＸ＜０である場合、新しい面分は、ＮＸとすることができる。
｜Ｙ｜≧｜Ｘ｜、かつ｜Ｙ｜≧｜Ｚ｜、かつＹ＞０）である場合、新しい面分は、ＰＹとすることができる。
｜Ｙ｜≧｜Ｘ｜、かつ｜Ｙ｜≧｜Ｚ｜、かつＹ＜０）である場合、新しい面分は、ＮＹとすることができる。
｜Ｚ｜≧｜Ｘ｜、かつ｜Ｚ｜≧｜Ｙ｜、かつＺ＞０）である場合、新しい面分は、ＰＺとすることができる。
｜Ｚ｜≧｜Ｘ｜、かつ｜Ｚ｜≧｜Ｙ｜、かつＺ＜０）である場合、新しい面分は、ＮＺとすることができる。
点ｐの２Ｄ位置（ｕ’，ｖ’）は、Ｐｓ（Ｘ’，Ｙ’，Ζ’）を使用して、計算することができる。例えば、点ｐの２Ｄ位置（ｕ’，ｖ’）は、新しい面分のロケーションに基づいて、計算することができる。新しい面分が、ＮＺに位置付けられる場合、式（９）および／または式（１０）を使用し、（Ｘ’，Ｙ’）を用いて、パディングサンプルロケーション（ｕ’，ｖ’）を計算することができる。（ｕ’，ｖ’）におけるサンプル値は、補間フィルタを使用して、および／または（ｕ’，ｖ’）が属する新しい面分上の整数位置サンプルに基づいて、決定することができる。
ジオメトリ構造における点（ｕ，ｖ）のためのパディングは、以下のうちの１つまたは複数を含むことができる。パディングサンプルと関連付けられた、現在のサンプルロケーションにおける現在のサンプルを決定することができる。点（ｕ，ｖ）に基づいて、パディングされる面分上の３Ｄ位置Ｐｆ（Ｘ，Ｙ，Ｚ）を決定することができる。点（ｕ，ｖ）は、ピクチャ境界または面分の外側に位置付けられた点を表すことができる。パディングサンプルロケーションは、パディングされるサンプルのロケーションに基づいて、決定することができる。例えば、２Ｄ平面位置（ｕ’，ｖ’）は、パディングサンプルの３Ｄ位置のジオメトリ投影を、ジオメトリ構造に適用することによって、識別することができる。パディングサンプルロケーション、２Ｄ平面位置（ｕ’，ｖ’）におけるパディングサンプル値を導出することができる。２Ｄ平面位置（ｕ’，ｖ’）におけるサンプル値は、補間フィルタを使用して、および／または整数位置におけるサンプルに基づいて、決定することができる。マッピングされたサンプル位置、および／またはパディングサンプル値を導出することができる。
１つまたは複数の補間フィルタを使用することができる。例えば、新しい面分上の（ｕ’，ｖ’）におけるサンプル値を決定するときに、１つまたは複数の補間フィルタを使用することができる。例えば、双線形フィルタ、双三次フィルタ、ランチョスフィルタ、スプライン補間フィルタ、および／または離散コサイン変換ベースの補間フィルタ（ＤＣＴ−ＩＦ）を使用することができる。最も近い近隣による補間を、使用することができる。図１３に示されるように、最も近い近隣による補間が、使用される場合、Ｐ４および／またはＰ５をパディングするために、Ｑ０の値を使用することができる。例えば、Ｑ０は、Ｋ０およびＫ１に最も近い近隣であることができるので、Ｐ４および／またはＰ５をパディングするために、Ｑ０の値を使用することができる。Ｐ６をパディングするために、Ｑ１の値を使用することができる。例えば、Ｑ１は、Ｋ２に最も近い近隣であることができるので、Ｐ６をパディングするために、Ｑ１の値を使用することができる。図１３においては、近似は、粗いものであることができる。例えば、サンプリングが、疎らであることができるので、図１３における近似は、粗いものであることができる。それは、キューブマップジオメトリが、キューブ境界の近くの球をオーバサンプリングすることがあることを考慮して、より密なサンプリングのための近似を提供することができる。
最も近い近隣による補間は、マッピングされたサンプル位置を導出することができる。例えば、マッピングされたサンプル位置は、以下のうちの１つまたは複数を含むことができる。点（ｕ，ｖ）に基づいて、パディングされる面分上において、３Ｄ位置Ｐｆ（Ｘ，Ｙ，Ｚ）を計算することができる。Ｐｆ（Ｘ，Ｙ，Ｚ）をジオメトリ構造上に投影することによって、位置Ｐｓ（Ｘ’，Ｙ’，Ｚ’）を計算することができる。新しい面分上において、２Ｄ平面位置（ｕ’，ｖ’）を計算することができる。例えば、最も近い近隣による補間は、マッピングされたサンプル位置を導出することができ、それは、非線形関数を含むことがある。パディングを使用することができる。例えば、面分ベースのパディングを使用することができる。面分ベースのパディングを用いる場合、キューブの展開に対応することができる、周囲のパディングされる領域を満たすために、１つまたは複数の近隣面分を使用することができる。例えば、面分ベースのパディングの場合、周囲のパディングされる領域を満たすために、４つの近隣面分を使用する（例えば、直接的に使用する）ことができる。図１４は、キューブマップのためのパディングプロセスの例を示している。図１４Ａは、キューブマップのためのパディングプロセスの例示的な３Ｄ表現を示している。図１４Ｂは、キューブマップのためのパディングプロセスの、正面面分の周囲に展開された面分を有する、例示的なフラット表現を示している。図１４に示されるように、破線によって囲まれたパディングされる領域は、近隣面分からのサンプルを用いて満たすことができる。例えば、図１４に示される、破線によって囲まれたパディングされる領域は、近隣面分からのサンプルを用いて直接的に満たすことができる。図１３に示されるように、面分ベースのパディングが、使用される場合、Ｐ４、Ｐ５、および／またはＰ６をパディングするために、それぞれ、Ｑ０、Ｑ１、および／またはＱ２を使用することができる。Ｑ２は、Ｐサンプルを含む面分によって定義される半球に関して、反対側の半球に属することができ、および／またはＰサンプルを含む面分をパディングするためには、意味がないことがある。面分ベースのパディングは、面上の面分サイズの半分よりも大きいサイズによるパディングのためには、意味がないことがある。パディングされる領域のサイズが、小さい（例えば、数サンプル幅である）場合、投影角は、キューブ境界をそれの中心に結び付ける４５度の角度に近いことができ、および／または面分ベースのパディングは、十分な近似を提供することができる。図１４Ｂに示されるように、パディングされる領域の４つのコーナは、外挿することができる。図１４Ｂに示される、パディングされる領域の４つのコーナは、近隣面分から直接的に利用可能ではないサンプルを有することができる。１つまたは複数のコーナにおいて、反復パディングを使用することができる。例えば、４つのコーナにおいて、反復パディングを使用することができる。以下の外挿、すなわち、利用可能なサンプルを鏡像反転するもの、最も近い利用可能なサンプルを（例えば、図１５Ａに示されるように、面分境界に垂直に）複製するもの、および／またはサンプルを、図１５Ｂに示されるように、面分境界に対して対角線方向に複製するもののうちの１つまたは複数を使用することができる。例えば、サンプル値は、以下のように導出することができる。
｜ｘ｜≧｜ｙ｜である場合、ｖ（ｘ，ｙ）＝ｖ（ｓｉｇｎ（ｘ）（｜ｘ｜＋｜ｙ｜），０）
｜ｘ｜＜｜ｙ｜である場合、ｖ（ｘ，ｙ）＝ｖ（０，ｓｉｇｎ（ｙ）（｜ｘ｜＋｜ｙ｜）
それの位置が２つの既存のサンプルから等距離にある、外挿されるサンプルについては、２つの既存のサンプルの平均を使用することができる。例えば、図１５Ａおよび図１５Ｂに示されるように、（例えば、破線として示される）対角線沿いでは、外挿されるサンプルは、２つの既存のサンプルから等距離にあることができ、利用可能なサンプルまでの距離に基づいた加重和を、使用することができる。サンプル値を導出することができる。例えば、図１５Ａに示された例示的な原理に従って、以下のように、サンプル値を導出することができる。
｜ｘ｜≧｜ｙ｜である場合、ｖ（ｘ，ｙ）＝ａ×ｖ（ｘ，０）＋ｂ×ｖ（０，ｘ）、ａ＝（２×｜ｘ｜−｜ｙ｜）／（２×｜ｘ｜）、ｂ＝｜ｙ｜／（２×｜ｘ｜）
｜ｘ｜＜｜ｙ｜である場合、ｖ（ｘ，ｙ）＝ａ×ｖ（ｙ，０）＋ｂ×ｖ（０，ｙ）、ａ＝｜ｘ｜／（２×｜ｙ｜）、ｂ＝（２×｜ｙ｜−｜ｘ｜）／（２×｜ｙ｜）
および／または、図１５Ｂに示された例示的な原理に従って、以下のように、サンプル値を導出することができる。
ｖ（ｘ，ｙ）＝ａ×ｖ（ｓｉｇｎ（ｘ）（｜ｘ｜＋｜ｙ｜），０）＋ｂ×ｖ（０，ｓｉｇｎ（ｙ）（｜ｘ｜＋｜ｙ｜）、ａ＝｜ｘ｜／（｜ｘ｜＋｜ｙ｜）、ｂ＝｜ｙ｜／（｜ｘ｜＋｜ｙ｜）
１つまたは複数の面分を含む、１つまたは複数の投影ジオメトリについて、プロセス（例えば、類似のプロセス）を使用することができる。例えば、１つまたは複数の面分から構成される投影ジオメトリは、８面体および／または２０面体を含むことができるが、それらに限定されない。
以下のケースのうちの１つまたは複数において、ジオメトリパディングを適用することができる。例えば、イントラ予測において、ジオメトリパディングを実行することができる。例えば、近隣サンプルが、ピクチャ境界の外部にあるときに、ジオメトリパディングを実行することができる。例えば、近隣サンプルが、予測される現在のサンプルと同じ面分内にないときに、ジオメトリパディングを実行することができる。インター予測において、ジオメトリパディングを実行することができる。例えば、基準サンプルが、基準ピクチャ境界の外部にあるときに、ジオメトリパディングを実行することができる。例えば、基準サンプルが、予測される現在のサンプルと同じ面分内にないときに、ジオメトリパディングを実行することができる。マッピングされるサンプル位置の導出は、以下のうちの１つまたは複数を含むことができる。パディングされる面分上における３Ｄ位置Ｐｆ（Ｘ，Ｙ，Ｚ）を、点（ｕ，ｖ）に基づいて、計算することができる。Ｐｆ（Ｘ，Ｙ，Ｚ）をジオメトリ構造上に投影することによって、位置Ｐｓ（Ｘ’，Ｙ’，Ｚ’）を計算することができる。新しい面分上における２Ｄ平面位置（ｕ’，ｖ’）を計算することができる。ピクチャ境界の外部にあることができる空間近隣ブロックを導出するために、マッピングされるサンプル位置の導出を使用することができる。予測されるブロックと同じ面分内にないことがある空間近隣ブロックを導出するために、マッピングされるサンプル位置の導出を使用することができる。マッピングブロック位置の属性を、ブロック（例えば、現在のブロック）のための予測因子として、使用することができる。例えば、マッピングブロック位置の属性は、以下のうちの、すなわち、イントラモード、インターモード、マージモード、ならびに／または（動きベクトルおよび／もしくは基準ピクチャインデックスを含むことができる）動き情報などのうちの１つまたは複数を含むことができる。ブロックのための予測因子として使用されるマッピングブロック位置は、ｐ（ｕ，ｖ）の３Ｄ位置Ｐｆ（Ｘ，Ｙ，Ｚ）を計算すること、Ｐｓ（Ｘ’，Ｙ’，Ｚ’）を計算すること、および／または２Ｄ位置（ｕ’，ｖ’）を計算することなどの技法を使用して導出される、以下のうちの１つまたは複数を含むことができる。例えば、インターマージモードの動きベクトル予測および／または動きベクトル導出のために、本明細書において説明されるように導出されたマッピングブロック位置の動きベクトルは、動きベクトル予測因子として、および／またはマージ候補の動きベクトルとして、使用することができる。近隣ブロックの位置を導出することができ、および／またはマッピングされたブロックからの属性を推測することができる。近隣ブロックのどの１つ（例えば、左、上など）かを考慮して、例えば、現在のブロックに最も近いロケーションｐ（ｕ，ｖ）として、近隣ブロックの位置を計算することができる。例えば、（ｕｃ，ｖｃ）が、現在のブロックの左上コーナのロケーションである場合、（ｕｃ−１，ｖｃ）を使用して、左近隣ブロックのロケーションを計算することができ、（ｕｃ，ｖｃ−１）を使用して、上近隣ブロックのロケーションを計算することができるなどである。近隣ブロックの位置は、近隣ブロックの中心として、計算することができる。例えば、（ｕｃ，ｖｃ）が、現在のブロックの左上コーナのロケーションである場合、位置（ｕｃ−１，ｖｃ）を含むブロックの中心位置として、左近隣ブロックのロケーションを計算することができ、（ｕｃ，ｖｃ−１）を含むブロックの中心位置として、上近隣ブロックのロケーションを計算することができるなどである。例えば、３Ｄジオメトリを展開することによって、近隣ブロックの位置を決定できる。３Ｄジオメトリの展開は、近隣面分上におけるマッピングブロック位置を決定できる。
図１４Ｂに示されるように、パディングされる４つのコーナ領域における１つまたは複数のサンプルについてのマッピング位置は、反復パディングを使用するときは、面分内部の最も近いコーナサンプル位置であることができる。近隣ブロックの位置が、（例えば、図１５Ａおよび／または図１５Ｂにおいて破線を使用して表される）対角線上にある場合、それの位置は、面分に属さないことがある、キューブ面分境界にマッピングされることがあるので、利用不可能と見なすことができる。近隣ブロックの位置が、対角線上にない場合、近隣ブロック位置は、それぞれ、図１５Ａおよび／または図１５Ｂに示されるように、面分境界に関して最も近い利用可能な位置に投影することができる。例えば、近隣ブロック位置は、図１５Ａに示されるように、面分境界に関して垂直方向に最も近い利用可能な位置に投影することができる。例えば、近隣ブロック位置は、図１５Ｂに示されるように、面分境界に関して対角線方向に最も近い利用可能な位置に投影することができる。ジオメトリパディング技法は、ビデオ符号化の間に、１つまたは複数のフィルタリングプロセスに適用することができる。フィルタリングプロセスは、例えば、ループフィルタリング、サンプル適応オフセット（ＳＡＯ）、および／または適応ループフィルタリング（ＡＬＦ）を含むことができ、近隣サンプルを使用することができる。近隣サンプルが、ピクチャ境界の外部にある、またはフィルタリングされるサンプルと同じ面分内にないときは、近隣サンプル値を導出するために、ジオメトリパディングを使用することができる。
式（３）、式（４）、および／または式（５）は、サイン関数および／またはコサイン関数を使用する。式（３）、式（４）、および／または式（５）におけるサイン関数および／またはコサイン関数などの、非線形関数のハードウェア実施は、ルックアップテーブル（ＬＵＴ）および／または線形補間を使用することができる。それらは、円関数であるので、ＬＵＴは、範囲［０，９０］内において定義することができる。近似精度は、アプリケーション要件および／またはメモリサイズ制約に基づいて、決定することができる。図１８は、ＬＵＴを使用した、サイン関数の例示的な導出を示している。ｓｉｎ（ｘ）は、変数ｘのサイン関数とすることができる。１つまたは複数の黒く塗り潰した円１６０２は、範囲［０，９０］内において一様にサンプリングされた、関数ｓｉｎ（ｘ）についてのＬＵＴを定義することができる。ｘは、それの値がＬＵＴ内において定義されていないことがある、入力変数とすることができる。ＰおよびＱは、入力ｘの第１および第２の最も近い近隣（または、例えば、サンプリング点）とすることができる。１つまたは複数の異なる補間を適用して、ｓｉｎ（ｘ）の値を導出することができる。例えば、最も近い近隣による補間が、使用される場合、ｓｉｎ（ｘ）は、ｓｉｎ（ｘ）＝ｓｉｎ（Ｐ）として、近似することができる。線形補間が、使用される場合、ｓｉｎ（ｘ）は、ｓｉｎ（ｘ）＝ｓｉｎ（Ｐ）＋（ｓｉｎ（Ｑ）−ｓｉｎ（Ｐ））×（Ｑ−ｘ）／（Ｑ−Ｐ）として、近似することができる。
ＬＵＴは、ある範囲間では、非一様なサンプリングを用いて、定義することができる。例えば、ｓｉｎ（ｘ）については、（例えば、０度付近の勾配は、９０度付近のそれよりも大きいので）０度に近い範囲内においては、より多いサンプリング点を使用することができ、９０度に近い範囲内については、より少ないサンプリング点を使用できる。
フレームパッキングされたピクチャの面分は、ジオメトリパディングを用いてパディングし、および／またはデコード済みピクチャバッファ内に記憶することができる。例えば、図１９Ａに示されるように、１つまたは複数（例えば、すべて）の面分を、ジオメトリパディングを用いてパディングし、および／または将来のピクチャ符号化の動き推定のために、デコード済みピクチャバッファ内に記憶することができる。面分は、エンコーダサイドにおいて、および／またはデコーダサイドにおいて、ジオメトリパディングを用いてパディングし、および／またはデコード済みピクチャバッファ内に記憶することができる。面分は、基準ピクチャが再構成された後に、ジオメトリパディングを用いてパディングし、および／またはデコード済みピクチャ内に記憶することができる。１つまたは複数の面分を、ジオメトリパディングを用いてパディングし、および／または将来のピクチャ符号化の動き推定のために、デコード済みピクチャバッファ内に記憶することができる。動き推定プロセスは、フレームパッキング情報に従って、現在のブロックを位置付けることができる面分および／または位置を決定することができる。
エンコーディングを行うことなく、ブロック（例えば、ブロック全体）をスキップすることができる。例えば、ブロック（例えば、ブロック全体）が、図１９Ａにおいて「Ｖ」マークを付けられたヌル面分内部にある場合、エンコーディングを行うことなく、ブロック（例えば、ブロック全体）をスキップすることができる。ブロック（例えば、ブロック全体）が、図１９Ａにおいて「Ｖ」マークを付けられたヌル面分内部にない場合、動き推定プロセスは、開始位置および／または事前定義された探索範囲に基づいて、ブロックのための探索窓を決定することができる。例えば、図１９Ａおよび図１９Ｂに示されるように、ブロック「Ｂ」は、面分「０」内に位置付けることができる。開始位置は、それの空間および／または時間近隣ブロックから導出される、動きベクトル予測因子とすることができる。探索窓は、パディングされた面分用バッファ内にあるように、制限することができる。例えば、探索窓は、完全にパディングされた面分用バッファ内にあるように、制限することができる。動き探索を使用することができる。例えば、動き探索は、完全探索および／または高速探索などを含むことができる。例えば、動き探索は、探索窓を決定するときに、使用することができる。
パディングされる領域のサイズは、性能に影響を与えることができる。例えば、パディングされる面分用バッファ内にあるように、探索窓を制限することができるので、パディングされる領域のサイズは、性能に影響を与えることができる。基準ピクチャのためのパディングされる面分を得るために、ジオメトリパディングを実行することができる。ジオメトリパディングは、デコーダサイドにおいて、および／またはエンコーダサイドにおいて、実行することができる。パディングされる面分用バッファは、動き補償のために使用することができる。ジオメトリパディングは、予測ブロックを生成することができる。例えば、ジオメトリパディングは、臨機応変に、予測ブロックを生成することができる。ジオメトリパディングを介した予測ブロックの生成は、ブロック毎にパディングを実行することができる。例えば、ジオメトリパディングを介した予測ブロックの生成は、必要に応じて、パディングを実行することができる。
インターブロックをデコードするために、デコーダは、予測ブロック（または予測ブロックの部分）が、面分の外部にあることができるか、それとも面分の内部にあることができるかを決定することができる。例えば、デコーダは、予測ブロックが、現在の面分の外部にあることができるかどうかを決定することができる。デコーダは、予測ブロックの部分が、現在の面分の外部にあることができるかどうかを決定することができる。デコーダは、予測ブロック（または、例えば、予測ブロックの部分）が、現在の面分の外部にあることができるかどうかを、デコーディングブロックの位置、および／またはそれの動きベクトルに基づいて、決定することができる。デコーダは、いかなるパディングも実行しないことがある。例えば、予測ブロックが、面分の内部にある場合、デコーダは、パディングをスキップできる。デコーダは、ジオメトリパディング技法を使用して、特定のブロック（または、例えば、予測ブロックの部分）を生成することができる（例えば、それだけを生成することができる）。デコーダは、面分境界（例えば、面分境界全体）をパディングしないことがある。例えば、予測ブロック（および／または予測ブロックの部分）が、面分の外部にある場合、デコーダは、ジオメトリパディング技法を使用して、その特定のブロック（および／または、例えば、予測ブロックの部分）を生成することができる。
対応するサンプル位置情報を記憶するルックアップテーブルを使用することができる。ルックアップテーブルは、各面分のパディングされる各位置についての対応するサンプル位置情報を記憶することができる。パディングされる領域のサイズについての１つまたは複数の制約を定義することができる。例えば、ジオメトリパディングのために使用されるＬＵＴのサイズについての要件を低減させるために、パディング領域の最大サイズおよび／またはサイズについての制約を定義することができる。パディングされる領域のサイズ（例えば、最大サイズ）についての１つまたは複数の制約は、ピクチャサイズに応じて、定義することができ、それは、実施リソース要件を低減させるために、プロファイル／レベル定義とすることができる。例えば、より大きいピクチャサイズを有するビデオは、より大きいパディングされる領域のサイズを使用することができる。パディングされる領域のサイズは、シーケンスパラメータセット（ＳＰＳ）および／またはピクチャパラメータセット（ＰＰＳ）など、シーケンスレベルで伝達することができる。
デコーダは、初期化することができる。例えば、パディングされる領域のサイズをシーケンスレベルで伝達することによって、ＬＵＴを構築することができるので、デコーダを初期化することができる（例えば、より高速に初期化することができる）。ＬＵＴは、伝達された情報に基づいて、構築することができる。
動き補償予測のために、ジオメトリパディング技法が、使用されるとき、および時間基準サンプルが、現在のブロックが属する面分の外部にあるとき、現在のブロックの動きベクトル、および／または現在のブロックの近隣ブロックの動きベクトルは、異なることができる。例えば、現在のブロックおよびそれの近隣ブロックが、異なる投影面分に属するとき、現在のブロックおよび／または現在のブロックの近隣ブロックの動きベクトルは、まったく異なることができる。フレームパッキングされたピクチャ内の２つの近隣面分は、３Ｄ空間内において隣接（例えば、直に隣接）しないことがあるので、現在のブロックの動きベクトル、および／または現在のブロックの近隣ブロックの動きベクトルは、まったく異なることができる。３Ｄ空間内における２つの隣接（例えば、直に隣接）する面分が、２Ｄフレームパッキングされたピクチャ内に配置されるとき、歪曲効果が存在することがあり、それが、面分境界において、サンプル値および／または動きベクトルの不連続性を引き起こすことがあるので、現在のブロックの動きベクトル、および／または現在のブロックの近隣ブロックの動きベクトルは、まったく異なることができる。現在のブロックを予測するために、動きベクトル予測因子のための近隣ブロックの動きベクトルを使用することができるかどうかは、近隣ブロックが異なる面分に属するかどうかに基づいて、決定することができる。エンコーダおよび／またはデコーダは、１つまたは複数（例えば、２つ）の隣接する面分境界が、３Ｄ空間において接続することができるかどうかをチェックすることができる。１つの面分境界は、近隣ブロックが属することができる面分の境界であることができる。他の面分境界は、現在のブロックが属することができる面分の境界であることができる。１つまたは複数（例えば、２つ）の面分境界が、３Ｄ空間において接続される場合、近隣ブロックの動きベクトルは、現在のブロックのための動きベクトル予測因子として、使用することができる。１つまたは複数（例えば、２つ）の面分境界が、３Ｄ空間において接続されない場合、近隣ブロックの動きベクトルは、現在のブロックの動きベクトル予測のために、使用されないことがある。１つまたは複数（例えば、２つ）の動きベクトル予測制約が、インターマージモードに適用可能であることができる。例えば、近隣ブロックが、異なる面分に属する場合、近隣ブロックは、インターマージモードのためのマージ候補として、使用されないことがある。
ユニキューブ、ＡＣＰ、およびＥＡＣ投影のためのジオメトリパディングを実行することができる。
本明細書において説明されるように、式（１１）および／または式（１２）は、ユニキューブ領域における座標（ｘ’，ｙ’）と、キューブ領域における座標（ｘ，ｙ）との間の関係を提供することができる。キューブ領域における座標と、球上における対応する３Ｄ点Ｐｓとの間の幾何学的関係を知ることができる。ユニキューブ投影フォーマットについての、パディングされる領域内における基準サンプルを導出するために、中間ステージとしてキューブマップを使用して、キューブマップジオメトリパディングを拡張することができる。例えば、ユニキューブ面分のパディングされる領域内の座標における基準サンプルを導出するために、以下のうちの１つまたは複数を実行することができる。フレームパッキングされたピクチャの入力投影と関連付けられた座標は、中間座標にマッピングすることができる。例えば、ユニキューブ投影と関連付けられた座標は、例えば、式（１２）に基づいて、キューブ面分内において定義されたように、中間座標にマッピングすることができる。中間キューブ座標は、近隣面分内の１つまたは複数の他のキューブ座標上に投影することができる。例えば、中間キューブ座標は、キューブマップフォーマットのジオメトリ投影関数に基づいて、近隣面分内の１つまたは複数の他のキューブ座標上に投影することができる。キューブ座標は、例えば、式（１１）に基づいて、ユニキューブ領域において定義された基準座標にマッピングし戻すことができる。ユニキューブ面分内の基準座標におけるサンプルは、例えば、補間フィルタを使用して、導出することができる。
面分のパディングされる領域内の座標（ｕ，ｖ）を提供することができる。ユニキューブフォーマットのためのジオメトリパディングを実行することができる。１つまたは複数の座標を、ユニキューブフォーマット／ジオメトリからキューブフォーマット／ジオメトリに変換することができる。例えば、ユニキューブ面分内において、入力座標（ｕ，ｖ）を定義することができる。キューブ面分内において定義される中間座標（ｕｃ，ｖｃ）を、式（１２）に従って、計算することができる。以下のうちの１つまたは複数を介して、（ｕｃ，ｖｃ）を近隣キューブ面分上に投影することによって、基準座標（ｕｃ’，ｖｃ’）を導出することができる。キューブから３Ｄ空間への２Ｄから３Ｄへのマッピングを実行することができる。（ｕｃ，ｖｃ）が属する面分に応じて、対応する３Ｄ位置である（Ｘ，Ｙ，Ｚ）を計算することができる。例えば、面分が、ＮＺである場合、式（６）、式（７）、および／または式（８）を使用して、３Ｄ位置である（Ｘ，Ｙ，Ｚ）を計算することができる。基準サンプルが属する新しい面分は、例えば、３Ｄ座標（Ｘ，Ｙ，Ｚ）に基づいて、決定することができる。
｜Ｘ｜≧｜Ｙ｜、かつ｜Ｘ｜≧｜Ｚ｜、かつＸ＞０である場合、新しい面分は、ＰＸとすることができる。
｜Ｘ｜≧｜Ｙ｜、かつ｜Ｘ｜≧｜Ｚ｜、かつＸ＜０である場合、新しい面分は、ＮＸとすることができる。
｜Ｙ｜≧｜Ｘ｜、かつ｜Ｙ｜≧｜Ｚ｜、かつＹ＞０である場合、新しい面分は、ＰＹとすることができる。
｜Ｙ｜≧｜Ｘ｜、かつ｜Ｙ｜≧｜Ｚ｜、かつＹ＜０である場合、新しい面分は、ＮＹとすることができる。
｜Ｚ｜≧｜Ｘ｜、かつ｜Ｚ｜≧｜Ｙ｜、かつＺ＞０である場合、新しい面分は、ＰＺとすることができる。
｜Ｚ｜≧｜Ｘ｜、かつ｜Ｚ｜≧｜Ｙ｜、かつＺ＜０である場合、新しい面分は、ＮＺとすることができる。
３Ｄ空間からキューブへの３Ｄから２Ｄへのマッピングを実行することができる。（Ｘ，Ｙ，Ｚ）を使用して、新しい面分において、投影された２Ｄ座標（ｕｃ’，ｖｃ’）を計算することができる。例えば、新しい面分が、ＮＺである場合、式（９）および／または式（１０）を使用して、（Ｘ，Ｙ，Ｚ）を用いて、（ｕｃ’，ｖｃ’）を導出することができる。１つまたは複数の座標を、キューブフォーマット／ジオメトリからユニキューブフォーマット／ジオメトリに変換することができる。例えば、キューブ面分内において定義された基準座標（ｕｃ’，ｖｃ’）を与えられた場合、ユニキューブ面分内において定義された対応する基準座標（ｕ’，ｖ’）を計算することができる。パディングのために使用される、ユニキューブ面分内の基準座標（ｕ’，ｖ’）におけるサンプルは、ユニキューブ面分内の（ｕ’，ｖ’）周囲の整数位置におけるサンプルに補間フィルタを適用することによって、導出することができる。
式（１２）に示されるように、変換関数β＝ｇ（β’）は、座標をユニキューブ面分からキューブ面分にマッピングすることができる。式１２の変換関数β＝ｇ（β’）は、分母に平方根を含む、分数を含むことができる。分母がゼロになることを防止するために、以下を実行することができ、
Figure 2022000954
β’∈［−１，１］は、ユニキューブ面分の内部のサンプルの座標の範囲を定義することができる。β’∈［−１，１］が、ユニキューブ面分の内部のサンプルの座標の範囲を定義することができる場合、式（２０）は、任意の３Ｄ点が、ユニキューブ面分上に投影されるとき、面分上の投影は、面分中心に中心を置くことができる、ならびに／または水平および／もしくは垂直方向において面分サイズの１．５倍の大きさであることができる領域内にあることができることを提供することができる。ジオメトリパディングをユニキューブフォーマットに適用するとき、ユニキューブ面分についてのパディングされる領域の最大サイズに対する限界が存在することがある。例えば、ユニキューブ面分のパディングされる領域の最大サイズは、面分サイズの１．５倍を超えることはできない。図２７は、ユニキューブ投影フォーマットについての、面分内におけるパディングされるサンプルの有効な領域の例を示している。
動き補償予測が、ピクチャ境界および／または面分境界の外部にあるサンプルを参照するとき、符号化投影フォーマットによって表される３Ｄジオメトリ構造を考慮して、対応する基準サンプルをパディングするために、本明細書において説明されるジオメトリパディングを適用できる。例えば、予測ブロック（または予測ブロックの部分）は、ユニキューブ面分内のパディングされるサンプルの有効な領域の外部にあることができる。
ジオメトリパディングは、ユニキューブ投影に基づいて、３６０度ビデオ符号化において実行することができる。
図２８は、ユニキューブフォーマットについての、パディングされるサンプルの有効な領域への例示的なＭＶクリッピングを示している。図２８に示されるように、ＭＶクリッピング操作は、エンコーダおよび／またはデコーダにおいて、動き補償予測の前に、実行できる。例えば、時間予測は、ユニキューブ面分内のパディングされるサンプルの有効な領域からのものである、基準サンプルを使用することができる。ＭＶが、ユニキューブ面分の有効なパディングされる領域の外部にあること、または部分的に外部にあることができる、基準ブロックを指し示す場合、ＭＶは、予測ブロックの基準サンプルが、パディングについての有効な領域内にあることができるように、最も近い値にクリッピングすることができる。図２８に示されるように、基準ブロックＡは、部分的に、有効なパディングされる領域の外部にある。基準ブロックＡと関連付けられたＭＶは、基準ブロックＡ’を指し示す、ＭＶ’を生成するために、クリッピングすることができる。基準ブロックＡ’は、有効なパディングされる領域内にある、近隣ブロックであることができる。
符号化されたＭＶが、適切な値を有することを保証するために、ビットストリームコンフォーマンスを提供することができる。例えば、符号化されたＭＶが、予測ブロックの基準サンプルのうちの１つまたは複数（例えば、すべて）が、ユニキューブ面分の有効なパディングされる領域からのものである適切な値を有することを保証するために、ビットストリームコンフォーマンスを提供することができる。符号化ブロックの位置および／またはサイズを与えられた場合、有効なＭＶの範囲を決定することができる。例えば、有効なＭＶの範囲は、有効なパディングされる領域の外部の基準サンプルを使用しない、動き補償予測信号に対応することができる。適合されたビットストリーム内のＭＶの値は、事前決定された範囲内にあることができる。
ユニキューブについての動き補償予測のための基準サンプルをパディングするために、ハイブリッドパディングを実行することができる。ハイブリッドパディングは、ジオメトリパディングおよび反復パディングを合同で適用することができる。基準サンプルの位置が、ユニキューブ面分内のパディングされるサンプルの有効な領域内にある場合、３６０度ビデオにおいて表される３Ｄジオメトリ構造に基づいて、対応するサンプル値を導出するために、ジオメトリパディングを適用することができる。基準サンプルの位置が、ユニキューブ面分内のパディングされるサンプルの有効な領域内にない（例えば、基準サンプルの位置が、ユニキューブ面分内の有効なパディングされる領域の外部にある）場合、水平方向および／または垂直方向において、サンプル位置を有効なパディングされる領域内にある最も近い位置にクリッピングすることによって、サンプルをパディングするために、反復パディングを適用することができる。図２９は、ユニキューブ投影フォーマットについての例示的なハイブリッドパディングを示している。図２９に示されるように、基準ブロックＢは、ユニキューブ面分内の有効なパディングされる領域の外部（例えば、部分的に外部）にあることができる。サブブロックＢ３内のサンプルは、有効なパディングされる領域の内部にあることができ、サンプル値は、ジオメトリパディングに基づいて、導出することができる。サブブロックＢ０、Ｂ１、およびＢ２については、対応するサンプルは、有効なパディングされる領域の境界からサンプル値をコピー（例えば、反復的にコピー）することによって、パディングすることができる。例えば、Ｂ０は、Ｂ３の左上サンプルを用いて、満たすことができる。Ｂ１は、Ｂ３の最上行を用いて、満たすことができる。Ｂ２は、Ｂ３の左列を用いて、満たすことができる。図３０は、ハイブリッドパディングを使用してパディングされたピクチャの例を示している。反復パディングは、ハイブリッドパディングにおいて、例として利用することができる。ユニキューブ投影フォーマットについての、パディングされるサンプルの有効な領域の外部にあることができるサンプルをパディングするために、１つまたは複数の他のパディング方法（例えば、図１４における面分ベースのパディング、ならびに／または図１５における垂直外挿ベースおよび／もしくは対角線外挿ベースのパディングなど）を、ハイブリッドパディングにおいて適用することができる。
シーケンスレベルにおいて、ユニキューブ面分サイズが、知られているとき、以下のうちの１つまたは複数を事前計算し、および／またはＬＵＴとして記憶することができる。例えば、パディングサンプル位置ＬＵＴは、キューブ面分内において定義された計算された中間座標（ｕｃ，ｖｃ）、導出された基準座標（ｕｃ’，ｖｃ’）、および／またはユニキューブ面分内において定義された計算された基準座標（ｕ’，ｖ’）の相関を示すことができる。ＬＵＴは、パディングされるサンプル位置においてサンプル値をパディングするために使用することができる、導出されたサンプル位置を記憶することができる。ユニキューブ面分内の基準座標（ｕ’，ｖ’）における導出されたマッピングされたサンプルを、ピクチャのために計算する（例えば、動的に計算する）ことができる。３Ｄ空間から６つのユニキューブ面分上への投影は、対称的であることができる。他の５つの面分のうちの１つまたは複数によって再使用することができる面分のために、基準ＬＵＴを記憶することができる。例えば、他の５つの面分のうちの１つまたは複数によって再使用することができる面分のために、単一の基準ＬＵＴを記憶することができる。図３２は、ユニキューブについてのジオメトリパディングのために６つの面分に対してＬＵＴを使用する例示的な図を示している。図３２に示されるように、３×２のフレームパッキング配置を適用することができる。図３２においては、空白のブロック３２０１は、面分領域を表すことができる。パターンを付されたブロック３２０３は、パディングされる領域を表すことができる。図３２に示されるように、サンプルＡおよびサンプルＢは、それぞれ、面分＃０および面分＃５のパディングされる領域内の同じ位置に位置付けることができる、２つのサンプルとすることができる。サンプルＡは、面分＃４内の２Ｄ座標（ｕ，ｖ）上に投影することができる。図３２において提示されるような、対称的な３Ｄ投影構造に基づいて、サンプルＢは、面分＃５の近隣面分、例えば、面分＃０内の同じ座標（例えば、（ｕ，ｖ））に投影することができる。例えば、異なる面分のパディングされる領域内における同じサンプル位置については、投影面分内における対応する座標は、同一であることができる。他の面分内のパディングされるサンプルの投影される座標を計算するために再使用することができる面分のために、パディングされるサンプル位置についての投影される座標を含むＬＵＴを記憶することができる。ＬＵＴが、面分の１つまたは複数（例えば、すべて）にわたって、再使用されるとき、マッピングされるサンプルの座標は、投影面分内にマッピングすることができる。例えば、ＬＵＴ（例えば、同じＬＵＴ）が、フレームパッキングプロセスの間に、回転に基づいて、面分のうちの１つまたは複数（例えば、すべて）にわたって、再使用されるとき、マッピングされるサンプルの座標は、投影面分内にマッピングすることができる。
ジオメトリパディングが、３６０度ビデオ符号化に対して適用されるとき、限定されたパディングされる領域を記述するために、本明細書においては、ユニキューブ投影を使用することがあるが、限定されたパディングされる領域は、実際のキューブマップ面分が生成される前に、２Ｄ平面面分上のサンプルの座標を変更することによって、異なる球サンプリンググリッドを達成することができる、他のキューブ様の投影フォーマット（例えば、ＡＣＰおよび／またはＥＡＣなど）のために存在するように、適用することができる。ジオメトリパディングが、１つまたは複数の他の投影フォーマットと一緒に使用されるとき、本明細書において説明されるジオメトリパディング技法のうちの１つまたは複数（例えば、ＭＶクリッピング、ビットストリームコンフォーマンス、および／またはハイブリッドパディング）が、適用可能であることができる。異なる投影フォーマットによって使用されるマッピング関数は、様々であることができる。有効なパディングされる領域のサイズは、投影フォーマットに基づいて、調整することができる。例えば、ＡＣＰが、符号化投影フォーマットとして使用されるとき、式（１４）の平方根の内側が、ゼロよりも小さくないことを保証するために、−１．２８≦β’≦１．２８を使用することができる。例えば、ＡＣＰ面分についてのパディングされる領域の最大サイズは、面分サイズの１．２８倍であることができる。ＥＡＣが、符号化投影フォーマットとして使用されるとき、パディングされる領域の最大サイズは、式（１６）から、−２＜β’＜２として導出することができる。
コンフォーマンス窓を用いた、基準ピクチャのためのジオメトリパディングを提供することができる。符号化されるピクチャのサイズは、水平および／または垂直方向において、最小ＣＵサイズの倍数であることができる。例えば、ピクチャは、符号化のために符号化ユニットに区分化することができるので、符号化されるピクチャのサイズは、水平および／または垂直方向において、最小ＣＵサイズの倍数であることができる。コンフォーマンス窓を使用することができ、および／またはパディングされるピクチャのサイズを最小ＣＵサイズの倍数にするために、シーケンスパラメータセットに収めて、窓サイズを伝達することができる。例えば、ソースピクチャサイズが、最小ＣＵサイズの倍数ではない場合、パディングされるピクチャのサイズを最小ＣＵサイズの倍数にするために、シーケンスパラメータセットに収めて、窓サイズを伝達することができる。パラメータＷおよびＨは、ソースピクチャの幅および高さを示すことができる。パラメータｍＣＵ＿ｗｉｄｔｈおよびｍＣＵ＿ｈｅｉｇｈｔは、最小ＣＵの幅および高さを示すことができる。パラメータｄＷおよびｄＨは、コンフォーマンス窓のための水平および垂直方向におけるパディングされるサイズを示すことができる。Ｃｅｉｌ（ｘ）は、変数ｘ以上の最小の整数値を計算するためのシーリング関数とすることができる。
ｄＷ＝Ｃｅｉｌ（Ｗ／ｍＣＵ＿ｗｉｄｔｈ）×ｍＣＵ＿ｗｉｄｔｈ−Ｗ
ｄＨ＝Ｃｅｉｌ（Ｈ／ｍＣＵ＿ｈｅｉｇｈｔ）×ｍＣＵ＿ｈｅｉｇｈｔ−Ｈ
図２０Ａ、図２０Ｂ、および図２０Ｃは、ソースピクチャサイズが、水平および／または垂直方向において、最小ＣＵサイズの倍数ではないときの、パディングの３つの例を示している。図２０Ａは、ソースピクチャサイズが、最小ＣＵサイズの倍数ではないときの、水平方向における例示的なパディングを示している。図２０Ｂソースピクチャサイズが、最小ＣＵサイズの倍数ではないときの、垂直方向における例示的なパディングを示している。図２０Ｃは、ソースピクチャサイズが、最小ＣＵサイズの倍数ではないときの、水平方向および垂直方向における例示的なパディングを示している。基準ピクチャの面分に対して、ジオメトリパディングが、実行されるとき、パディングは、面分境界から開始することができ、パディングされる面分を連続にするために、コンフォーマンス窓を含まないことがある、外側に移動することができる。例えば、基準ピクチャの面分に対して、ジオメトリパディングが、実行されるとき、パディングは、面分境界から開始することができ、コンフォーマンス窓内におけるパディングは、エンコーダによって示すことができるので、外側に移動することができる。例えば、基準ピクチャの面分は、パディングされる面分を連続にするために、コンフォーマンス窓を含まないことがある。例えば、基準ピクチャの面分は、パディングされる面分を連続にするために、コンフォーマンス窓を含むことができる。コンフォーマンス窓は、変化させずに保つことができ、および／またはジオメトリパディングが、実行されるとき、パディングは、コンフォーマンス窓から開始することができる。
ジオメトリパディングを用いたデブロッキングを実行することができる。ブロッキングアーチファクトを除去するために、デブロッキングフィルタを適用することができる。例えば、１つもしくは複数（例えば、２つ）の近隣予測ユニット間の境界上において、および／または１つもしくは複数（例えば、２つ）の変換ユニット間の境界上において、エンコーディングプロセスによって導入されたブロッキングアーチファクトを除去するために、デブロッキングフィルタを適用することができる。境界については、近隣ブロック内の１つまたは複数のサンプルを、現在のブロック内におけるそれらのサンプルのフィルタリングのために、使用することができる。例えば、図２１においては、ブロック「ｐ」は、現在のブロック「ｑ」の近隣ブロックであることができる。１つまたは複数の基準サンプル（ｐ0、ｐ1、ｐ2、および／またはｐ3）を使用して、１つまたは複数の基準サンプル（ｑ0、ｑ1、ｑ2、および／またはｑ3）をフィルタリングすることができる。境界が、面分境界である場合、ブロック「ｐ」および／またはブロック「ｑ」は、１つまたは複数（例えば、２つ）の異なる面分内にあることができる。境界が、面分境界である場合、基準サンプル｛ｐ0、ｐ1、ｐ2、ｐ3｝と基準サンプル｛ｑ0、ｑ1、ｑ2、ｑ3｝との間に、不連続性が、存在することがある。例えば、境界が、面分境界である場合、ジオメトリ歪曲のために、サンプル｛ｐ0、ｐ1、ｐ2、ｐ3｝とサンプル｛ｑ0、ｑ1、ｑ2、ｑ3｝との間に、不連続性が、存在することがある。面分境界上におけるデブロッキングフィルタの適用は、ブロッキングアーチファクトを除去しないことがある。面分境界上におけるデブロッキングフィルタの適用は、主観的な視覚品質を低下させることがある。面分境界は、ピクチャ境界として扱うことができる。例えば、面分境界は、その面分境界上において、デブロッキングフィルタを実行しないことができるように、ピクチャ境界として扱うことができる。導出された近隣サンプル値は、それらの近隣サンプルを別の面分内において直接的に使用する代わりに、デブロッキングフィルタに対する入力として使用される近隣サンプルのために、ジオメトリパディング技法に従って、使用することができる。例えば、サンプルｑ0、ｑ1、ｑ2、および／またはｑ3をフィルタリングするとき、ジオメトリパディング技法を使用して、導出される基準サンプルｐ0、ｐ1、ｐ2、および／またはｐ3を、必要に応じて導出することができる。面分境界は、フレームパッキング情報に従って、決定することができる。
ジオメトリパディングを用いたサンプル適応オフセット（ＳＡＯ）を使用することができる。高周波数符号化アーチファクトを除去するために、ＳＡＯを使用することができる。例えば、ＨＥＶＣにおける高周波数符号化アーチファクトを除去するために、ＳＡＯを使用することができる。ＳＡＯは、バンドオフセットおよび／またはエッジオフセットを含むことができる。符号化ツリーユニット（ＣＴＵ）のために、ＳＡＯパラメータを伝達することができる。例えば、ＣＴＵは、６４×６４のブロックサイズを有することができる。エッジオフセットの場合、ＳＡＯプロセスは、ピクセルが、エッジ境界上にあるか、または与えられた方向に沿っていないかを決定することができる。図２２は、エッジオフセットＳＡＯによってピクセルを処理することができる例を示している。Ｓ（ｘ）は、位置ｘにおけるサンプル値とすることができる。Ｐは、現在のサンプルロケーションとすることができ、ｎ0は、それの左／上近隣位置とすることができ、ｎ1は、それの右／下近隣位置とすることができる。図２２に示される４つの例において、現在のサンプルは、エッジ境界にあることができる。エッジ境界は、エッジオフセットＳＡＯによって処理することができる。エッジオフセットＳＡＯプロセスは、それの近隣サンプル値を参照することができる。現在のサンプルが、面分境界に位置付けられる場合、現在のサンプルの近隣サンプルは、異なる面分内に位置付けることができる。例は、導出されたサンプルを使用することができる。例えば、導出されたサンプルは、１つまたは複数の近隣サンプルを置き換えることができる。現在のサンプルが、面分境界上にある場合、１つまたは複数の近隣サンプルを置き換えることができる。面分境界は、ピクチャ境界として扱うことができ、および／またはそれらの面分境界サンプルに対するＳＡＯフィルタリングは、スキップすることができる。
ＳＡＯパラメータを伝達するかどうかは、ＣＴＵのロケーションに基づいて、決定することができる。例えば、３６０度ビデオ符号化については、ＣＴＵ（例えば、ＣＴＵ全体）が、（図１９Ａにおいて「Ｖ」マークを付された）ヌル面分の内部にある場合、サンプルは、フレームパッキングのために使用されることがあり、ユーザに提供されないことがあるので、ＳＡＯパラメータは、伝達されないことがある。
異なる投影ジオメトリは、異なる特性を有することができる。例えば、ＥＲＰおよび／または正積投影は、１つの面分を有することがあり、面分境界問題は、ピクチャが引き延ばされるときでさえも、些細な事柄であることがある。キューブマップは、フレームパッキングされるピクチャにおいて、６つの面分と、多くの面分境界とを有することができる。そのため、ピクチャは、異なる投影ジオメトリで符号化することができる。（例えば、表１に列挙されるような）投影ジオメトリインデックスを、スライスのために（例えば、各スライスのために）伝達することができる。表１は、例示的な投影ジオメトリインデックスを提供する。
Figure 2022000954
投影フォーマットは、スライスレベルで伝達することができる。投影フォーマットシグナリングは、ピクチャレベルで実行することができる。例えば、投影フォーマットシグナリングは、投影ジオメトリのインデックスを介して、ピクチャレベルで実行することができる。シーケンスレベルにおいて、シーケンス全体において使用される投影フォーマットの総数、および／またはフォーマット自体を、伝達することができる。表２は、シーケンスレベルにおける、例示的な投影フォーマットシグナリングを提供する。
Figure 2022000954
パラメータｎｕｍ＿ｐｒｏｊｅｃｔｉｏｎ＿ｆｏｒｍａｔは、シーケンスにおいて使用される投影フォーマットの総数を指定することができる。パラメータｐｒｏｊｅｃｔ＿ｇｅｏｍｅｔｒｙ＿ｉｄｘ［ｉ］は、（例えば、ピクチャ／スライスレベルにおいて伝達されるような）第ｉのインデックスによって示される、（例えば、表１に示されるような）マッピングインデックスを指定することができる。例えば、エクイレクタングラ投影および正積投影が、シーケンスにおいて使用される場合、ならびにビットストリーム内において、正積およびエクイレクタングラを表すために、それぞれ、インデックス「０」および「１」が、使用される場合、ｐｒｏｊｅｃｔ＿ｇｅｏｍｅｔｉｙ＿ｉｄｘは、以下のようにカスタマイズし、表２に従って伝達することができる。
ｐｒｏｊｅｃｔ＿ｇｅｏｍｅｔｒｙ＿ｉｄｘ［０］＝２
ｐｒｏｊｅｃｔ＿ｇｅｏｍｅｔｒｙ＿ｉｄｘ［１］＝０
ピクチャのための投影フォーマットは、レート−歪み最適化を使用して、決定することができる。エンコーダは、１つまたは複数の利用可能な投影フォーマットを用いて、現在のピクチャをエンコードすることができる。例えば、エンコーダは、１つまたは複数の利用可能な投影フォーマットを用いて、現在のピクチャをエンコードすることができる。エンコーダは、投影されるフォーマットのレート−歪みコストを測定することができる。最小のレート−歪みコストを有する投影フォーマットを選択することができる。歪みは、元のフォーマット領域において、測定することができる。例えば、Ｏは、元の投影フォーマットを表すことができ、Ｘは、測定された投影フォーマットを表すことができ、Ｉは、元のピクチャを表すことができ、Ｉ’は、再構成されたピクチャを表すことができる。元のピクチャＩは、元の投影フォーマットＯから符号化投影フォーマットＸに変換することができる。ピクチャは、符号化および再構成することができる。Ｐｒｏｊｅｃｔｉｏｎ（Ｉ，Ｆ）は、ピクチャＩをフォーマットＦに変換するために使用される、投影関数を表すことができる。ＩとＩ’から変換されたピクチャとの間の歪みは、以下のように、決定することができる。｜｜ｔ｜｜は、変数ｔの平方誤差（ＳＳＥ）の和とすることができる。
歪み＝｜｜Ｉ−Ｐｒｏｊｅｃｔｉｏｎ（Ｉ’，Ｏ）｜｜
デコード済みピクチャバッファ（ＤＰＢ）管理は、以下のように実行することができる。オンザフライ変換モードを使用することができる。再構成されたピクチャは、ＤＰＢ内に記憶することができる。基準ピクチャと現在のピクチャとが、異なる投影フォーマットを有する場合、基準ピクチャは、現在のピクチャのフォーマットに変換することができる。図２３Ａおよび図２３Ｂは、ＤＰＢ管理をいかに実行することができるかについての例を示している。影付きブロックおよび空白ブロックは、それぞれ、２つの投影フォーマットを示すことができる。破線ブロックは、仮想的ピクチャを示すことができ、実線ブロックは、物理的ピクチャを示すことができる。基準ピクチャＲ０は、１つの投影フォーマットにあることができる。基準ピクチャＲ１およびＲ２は、他の投影フォーマット（例えば、Ｒ０のための投影フォーマットとは異なる投影フォーマット）にあることができる。現在のピクチャＰは、ピクチャＲ１およびＲ２と同じ投影フォーマットを有することができる。破線境界を有するブロックピクチャ（例えば図２３Ａに示される基準ピクチャリストに属するＲ１およびＲ２）は、仮想的ピクチャを表すことができる。実線境界を有するブロック（例えば、図２３Ａに示される基準ピクチャリストに属するＲ０）は、バッファ内に記憶された物理的ピクチャを表すことができる。図２３Ａに示されるように、基準ピクチャＲ０は、それがデコードされる前に、ピクチャＰの投影フォーマットに変換することができる。変換されたバージョンは、基準ピクチャリスト上に配置することができる。基準ピクチャＲ１およびＲ２は、基準ピクチャバッファ内に配置することができる。例えば基準ピクチャＲ１およびＲ２は、ピクチャＰと同じ投影フォーマットを有するので、それらは、基準ピクチャバッファ内に直接的に配置することができる。
基準ピクチャは、ＤＰＢ内に記憶される一方で、基準ピクチャは、異なる投影フォーマットに変換することができる。図２３Ｂに示されるように、基準ピクチャは、現在のピクチャＰの投影フォーマットに基づいて、ＤＰＢから選択することができる。基準ピクチャを使用して、基準ピクチャリストを構成することができる。
１つまたは複数（例えば、すべて）のイントラスライス、および１つまたは複数（例えば、すべて）のインタースライスは、同じ投影ジオメトリ符号化を使用することができる。１つまたは複数（例えば、すべて）のイントラスライスは、１つの投影ジオメトリ符号化を使用することができ、一方、１つまたは複数（例えば、すべて）のインタースライスは、（例えば、イントラスライスにおいて使用される投影ジオメトリ符号化とは異なる）他の投影ジオメトリを使用することができる。再構成されたイントラピクチャは、インタースライスが使用する投影ジオメトリに変換することができる。例えば、デコード済みピクチャバッファ内に存在することができる、再構成されたイントラピクチャは、動き補償を直接的に適用することができるように、インタースライスが使用する投影ジオメトリに変換することができる。例えば、イントラスライスは、符号化のためにＥＲＰを使用することができ、一方、インタースライスは、符号化のためにキューブマップ投影を使用することができる。２つの投影のための解像度は、異なることができる。例えば、イントラスライスは、インタースライスよりも大きい解像度を有することができる。解像度が、異なる場合、再構成されたイントラピクチャ（例えば、デコード済みピクチャバッファ内に記憶された１つ）を、インタースライスが使用するジオメトリ投影に変換することができる。再構成されたイントラピクチャは、インタースライスと同じ解像度に再サンプリングすることができる。
図３３Ａは、１つまたは複数の開示される実施形態を実施することができ、および／または使用することができる、例示的な通信システム１００の図を示している。通信システム１００は、音声、データ、ビデオ、メッセージング、放送などのコンテンツを複数の無線ユーザに提供する、多元接続システムとすることができる。通信システム１００は、複数の無線ユーザが、無線帯域幅を含むシステムリソースの共用を通して、そのようなコンテンツにアクセスすることを可能することができる。例えば、通信システム１００は、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、周波数分割多元接続（ＦＤＭＡ）、直交ＦＤＭＡ（ＯＦＤＭＡ）、およびシングルキャリアＦＤＭＡ（ＳＣ−ＦＤＭＡ）など、１つまたは複数のチャネルアクセス方法を利用することができる。
図３３Ａに示されるように、通信システム１００は、無線送受信ユニット（ＷＴＲＵ）１０２ａ、１０２ｂ、１０２ｃ、および／または１０２ｄ（全体として、または一括して、ＷＴＲＵ１０２と呼ばれることがある）、無線アクセスネットワーク（ＲＡＮ）１０３／１０４／１０５、コアネットワーク１０６／１０７／１０９、公衆交換電話網（ＰＳＴＮ）１０８、インターネット１１０、ならびに他のネットワーク１１２を含むことができるが、開示される実施形態は、任意の数のＷＴＲＵ、基地局、ネットワーク、および／またはネットワーク要素を企図していることが理解されよう。ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、および／または１０２ｄの各々は、無線環境において動作および／または通信するように構成された、任意のタイプのデバイスとすることができる。例として、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、および／または１０２ｄは、無線信号を送信および／または受信するように構成することができ、ユーザ機器（ＵＥ）、移動局、固定もしくは移動加入者ユニット、ページャ、セルラ電話、パーソナルデジタルアシスタント（ＰＤＡ）、スマートフォン、ラップトップ、ネットブック、パーソナルコンピュータ、無線センサ、および家電製品などを含むことができる。
通信システム１００は、基地局１１４ａおよび基地局１１４ｂも含むことができる。基地局１１４ａ、１１４ｂの各々は、コアネットワーク１０６／１０７／１０９、インターネット１１０、および／またはネットワーク１１２などの１つまたは複数の通信ネットワークへのアクセスを容易にするために、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、および／または１０２ｄのうちの少なくとも１つと無線でインターフェースするように構成された、任意のタイプのデバイスとすることができる。例として、基地局１１４ａおよび／または１１４ｂは、基地送受信機局（ＢＴＳ）、ノードＢ、ｅノードＢ、ホームノードＢ、ホームｅノードＢ、サイトコントローラ、アクセスポイント（ＡＰ）、および無線ルータなどとすることができる。基地局１１４ａ、１１４ｂは、各々が、単一の要素として示されているが、基地局１１４ａ、１１４ｂは、任意の数の相互接続された基地局および／またはネットワーク要素を含むことができることが理解されよう。
基地局１１４ａは、ＲＡＮ１０３／１０４／１０５の部分とすることができ、ＲＡＮ１０３／１０４／１０５は、他の基地局、および／または基地局コントローラ（ＢＳＣ）、無線ネットワークコントローラ（ＲＮＣ）、中継ノードなどのネットワーク要素（図示されず）も含むことができる。基地局１１４ａおよび／または基地局１１４ｂは、セル（図示されず）と呼ばれることがある、特定の地理的領域内において無線信号を送信および／または受信するように構成することができる。セルは、さらにセルセクタに分割することができる。例えば、基地局１１４ａに関連付けられたセルは、３つのセクタに分割することができる。したがって、一実施形態においては、基地局１１４ａは、送受信機を３つ、すなわち、セルのセクタ毎に１つずつ含むことができる。別の実施形態においては、基地局１１４ａは、多入力多出力（ＭＩＭＯ）技術を利用することができ、したがって、セルのセクタ毎に複数の送受信機を利用することができる。
基地局１１４ａおよび／または１１４ｂは、エアインターフェース１１５／１１６／１１７上において、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、および／または１０２ｄのうちの１つまたは複数と通信することができ、エアインターフェース１１５／１１６／１１７は、任意の適切な無線通信リンク（例えば、無線周波（ＲＦ）、マイクロ波、赤外線（ＩＲ）、紫外線（ＵＶ）、可視光など）とすることができる。エアインターフェース１１５／１１６／１１７は、任意の適切な無線アクセス技術（ＲＡＴ）を使用して確立することができる。
より具体的には、上で言及されたように、通信システム１００は、多元接続システムとすることができ、ＣＤＭＡ、ＴＤＭＡ、ＦＤＭＡ、ＯＦＤＭＡ、およびＳＣ−ＦＤＭＡなどの、１つまたは複数のチャネルアクセス方式を利用することができる。例えば、ＲＡＮ１０３／１０４／１０５内の基地局１１４ａ、ならびにＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃは、広帯域ＣＤＭＡ（ＷＣＤＭＡ（登録商標））を使用してエアインターフェース１１５／１１６／１１７を確立することができる、ユニバーサル移動体通信システム（ＵＭＴＳ）地上無線アクセス（ＵＴＲＡ）などの無線技術を実施することができる。ＷＣＤＭＡは、高速パケットアクセス（ＨＳＰＡ）および／または進化型ＨＳＰＡ（ＨＳＰＡ＋）などの通信プロトコルを含むことができる。ＨＳＰＡは、高速ダウンリンクパケットアクセス（ＨＳＤＰＡ）および／または高速アップリンクパケットアクセス（ＨＳＵＰＡ）を含むことができる。
別の実施形態においては、基地局１１４ａ、ならびにＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃは、ロングタームエボリューション（ＬＴＥ）および／またはＬＴＥアドバンスト（ＬＴＥ−Ａ）を使用してエアインターフェース１１５／１１６／１１７を確立することができる、進化型ＵＭＴＳ地上無線アクセス（Ｅ−ＵＴＲＡ）などの無線技術を実施することができる。
他の実施形態においては、基地局１１４ａ、およびＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃは、ＩＥＥＥ８０２．１６（すなわち、マイクロ波アクセス用の世界的相互運用性（ＷｉＭＡＸ））、ＣＤＭＡ２０００、ＣＤＭＡ２０００ １Ｘ、ＣＤＭＡ２０００ ＥＶ−ＤＯ、暫定標準２０００（ＩＳ−２０００）、暫定標準９５（ＩＳ−９５）、暫定標準８５６（ＩＳ−８５６）、移動体通信用グローバルシステム（ＧＳＭ（登録商標））、ＧＳＭエボリューション用の高速データレート（ＥＤＧＥ）、およびＧＳＭ ＥＤＧＥ（ＧＥＲＡＮ）などの無線技術を実施することができる。
図３３Ａの基地局１１４ｂは、例えば、無線ルータ、ホームノードＢ、ホームｅノードＢ、またはアクセスポイントとすることができ、職場、家庭、乗物、およびキャンパスなどの局所的エリアにおける無線接続性を容易にするために、任意の適切なＲＡＴを利用することができる。一実施形態においては、基地局１１４ｂ、およびＷＴＲＵ１０２ｃ、１０２ｄは、ＩＥＥＥ８０２．１１などの無線技術を実施して、無線ローカルエリアネットワーク（ＷＬＡＮ）を確立することができる。別の実施形態においては、基地局１１４ｂ、およびＷＴＲＵ１０２ｃ、１０２ｄは、ＩＥＥＥ８０２．１５などの無線技術を実施して、無線パーソナルエリアネットワーク（ＷＰＡＮ）を確立することができる。また別の実施形態においては、基地局１１４ｂ、およびＷＴＲＵ１０２ｃ、１０２ｄは、セルラベースのＲＡＴ（例えば、ＷＣＤＭＡ、ＣＤＭＡ２０００、ＧＳＭ、ＬＴＥ、ＬＴＥ−Ａなど）を利用して、ピコセルまたはフェムトセルを確立することができる。図３３Ａに示されるように、基地局１１４ｂは、インターネット１１０への直接的な接続を有することがある。したがって、基地局１１４ｂは、コアネットワーク１０６／１０７／１０９を介してインターネット１１０にアクセスする必要がないことがある。
ＲＡＮ１０３／１０４／１０５は、コアネットワーク１０６／１０７／１０９と通信することができ、コアネットワーク１０６／１０７／１０９は、音声、データ、アプリケーション、および／またはボイスオーバインターネットプロトコル（ＶｏＩＰ）サービスをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、および／または１０２ｄのうちの１つまたは複数に提供するように構成された、任意のタイプのネットワークとすることができる。例えば、コアネットワーク１０６／１０７／１０９は、呼制御、請求サービス、モバイルロケーションベースのサービス、プリペイド通話、インターネット接続性、ビデオ配信などを提供することができ、および／またはユーザ認証など、高レベルのセキュリティ機能を実行することができる。図３３Ａには示されていないが、ＲＡＮ１０３／１０４／１０５および／またはコアネットワーク１０６／１０７／１０９は、ＲＡＮ１０３／１０４／１０５と同じＲＡＴまたは異なるＲＡＴを利用する他のＲＡＮと直接的または間接的に通信することができることが理解されよう。例えば、Ｅ−ＵＴＲＡ無線技術を利用することができるＲＡＮ１０３／１０４／１０５に接続するのに加えて、コアネットワーク１０６／１０７／１０９は、ＧＳＭ無線技術を利用する別のＲＡＮ（図示されず）とも通信することができる。
コアネットワーク１０６／１０７／１０９は、ＰＳＴＮ１０８、インターネット１１０、および／または他のネットワーク１１２にアクセスするための、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、および／または１０２ｄのためのゲートウェイとしての役割も果たすことができる。ＰＳＴＮ１０８は、基本電話サービス（ＰＯＴＳ）を提供する回線交換電話網を含むことができる。インターネット１１０は、ＴＣＰ／ＩＰインターネットプロトコルスイート内の伝送制御プロトコル（ＴＣＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、およびインターネットプロトコル（ＩＰ）など、共通の通信プロトコルを使用する、相互接続されたコンピュータネットワークおよびデバイスからなるグローバルシステムを含むことができる。ネットワーク１１２は、他のサービスプロバイダによって所有および／または運営される有線または無線通信ネットワークを含むことができる。例えば、ネットワーク１１２は、ＲＡＮ１０３／１０４／１０５と同じＲＡＴまたは異なるＲＡＴを利用することができる１つまたは複数のＲＡＮに接続された、別のコアネットワークを含むことができる。
通信システム１００内のＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、および／または１０２ｄのいくつかまたはすべては、マルチモード機能を含むことができ、すなわち、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、および／または１０２ｄは、異なる無線リンク上で異なる無線ネットワークと通信するための複数の送受信機を含むことができる。例えば、図３３Ａに示されるＷＴＲＵ１０２ｃは、セルラベースの無線技術を利用することができる基地局１１４ａと通信するように、またＩＥＥＥ８０２無線技術を利用することができる基地局１１４ｂと通信するように構成することができる。
図３３Ｂは、例示的なＷＴＲＵ１０２のシステム図を示している。図３３Ｂに示されるように、ＷＴＲＵ１０２は、プロセッサ１１８と、送受信機１２０と、送信／受信要素１２２と、スピーカ／マイクロフォン１２４と、キーパッド１２６と、ディスプレイ／タッチパッド１２８と、非リムーバブルメモリ１３０と、リムーバブルメモリ１３２と、電源１３４と、全地球測位システム（ＧＰＳ）チップセット１３６と、他の周辺機器１３８とを含むことができる。ＷＴＲＵ１０２は、実施形態との整合性を保ちながら、上記の要素の任意のサブコンビネーションを含むことができることが理解されよう。また、実施形態は、基地局１１４ａ、１１４ｂ、ならびに／またはとりわけ、送受信機局（ＢＴＳ）、ノードＢ、サイトコントローラ、アクセスポイント（ＡＰ）、ホームノードＢ、進化型ノードＢ（ｅＮｏｄｅＢ）、ホーム進化型ノードＢ（ＨｅＮＢ）、ホーム進化型ノードＢゲートウェイ、およびプロキシノードなどの、しかしそれらに限定されない、基地局１１４ａ、１１４ｂが代表することができるノードが、図３３Ｂにおいて示され、本明細書において説明される要素のいくつかまたはすべてを含むことができることを企図している。
プロセッサ１１８は、汎用プロセッサ、専用プロセッサ、従来型プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つまたは複数のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）回路、他の任意のタイプの集積回路（ＩＣ）、および状態機械などとすることができる。プロセッサ１１８は、信号符号化、データ処理、電力制御、入力／出力処理、および／またはＷＴＲＵ１０２が無線環境で動作することを可能にする他の任意の機能性を実行することができる。プロセッサ１１８は、送受信機１２０に結合することができ、送受信機１２０は、送信／受信要素１２２に結合することができる。図３３Ｂは、プロセッサ１１８と送受信機１２０を別個の構成要素として示しているが、プロセッサ１１８と送受信機１２０は、電子パッケージまたはチップ内に一緒に統合することができることが理解できよう。
送信／受信要素１２２は、エアインターフェース１１５／１１６／１１７上において、基地局（例えば、基地局１１４ａ）に信号を送信し、または基地局から信号を受信するように構成することができる。例えば、一実施形態においては、送信／受信要素１２２は、ＲＦ信号を送信および／または受信するように構成されたアンテナとすることができる。別の実施形態においては、送信／受信要素１２２は、例えば、ＩＲ、ＵＶ、または可視光信号を送信および／または受信するように構成された放射器／検出器とすることができる。また別の実施形態においては、送信／受信要素１２２は、ＲＦ信号および光信号の両方を送信および受信するように構成することができる。送信／受信要素１２２は、無線信号の任意の組み合わせを送信および／または受信するように構成することができることが理解されよう。
加えて、図３３Ｂにおいては、送信／受信要素１２２は単一の要素として示されているが、ＷＴＲＵ１０２は、任意の数の送信／受信要素１２２を含むことができる。より具体的には、ＷＴＲＵ１０２は、ＭＩＭＯ技術を利用することができる。したがって、一実施形態においては、ＷＴＲＵ１０２は、エアインターフェース１１５／１１６／１１７上において無線信号を送信および受信するための２つ以上の送信／受信要素１２２（例えば、複数のアンテナ）を含むことができる。
送受信機１２０は、送信／受信要素１２２によって送信されることになる信号を変調し、送信／受信要素１２２によって受信された信号を復調するように構成することができる。上で言及されたように、ＷＴＲＵ１０２は、マルチモード機能を有することができる。したがって、送受信機１２０は、ＷＴＲＵ１０２が、例えば、ＵＴＲＡおよびＩＥＥＥ８０２．１１など、複数のＲＡＴを介して通信することを可能にするための、複数の送受信機を含むことができる。
ＷＴＲＵ１０２のプロセッサ１１８は、スピーカ／マイクロフォン１２４、キーパッド１２６、および／またはディスプレイ／タッチパッド１２８（例えば液晶表示（ＬＣＤ）ディスプレイユニットもしくは有機発光ダイオード（ＯＬＥＤ）ディスプレイユニット）に結合することができ、それらからユーザ入力データを受信することができる。プロセッサ１１８は、スピーカ／マイクロフォン１２４、キーパッド１２６、および／またはディスプレイ／タッチパッド１２８にユーザデータを出力することもできる。加えてプロセッサ１１８は、非リムーバブルメモリ１３０および／またはリムーバブルメモリ１３２など、任意のタイプの適切なメモリから情報を入手することができ、それらにデータを記憶することができる。非リムーバブルメモリ１３０は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、ハードディスク、または他の任意タイプのメモリ記憶デバイスを含むことができる。リムーバブルメモリ１３２は、加入者識別モジュール（ＳＩＭ）カード、メモリスティック、およびセキュアデジタル（ＳＤ）メモリカードなどを含むことができる。他の実施形態においては、プロセッサ１１８は、サーバまたはホームコンピュータ（図示されず）上などに配置された、ＷＴＲＵ１０２上に物理的に配置されていないメモリから情報を入手することができ、それらにデータを記憶することができる。
プロセッサ１１８は、電源１３４から電力を受け取ることができ、ＷＴＲＵ１０２内の他の構成要素への電力の分配および／または制御を行うように構成することができる。電源１３４は、ＷＴＲＵ１０２に給電するための任意の適切なデバイスとすることができる。例えば、電源１３４は、１つまたは複数の乾電池（例えば、ニッケル−カドミウム（ＮｉＣｄ）、ニッケル−亜鉛（ＮｉＺｎ）、ニッケル水素（ＮｉＭＨ）、リチウムイオン（Ｌｉ−ｉｏｎ）など）、太陽電池、および燃料電池などを含むことができる。
プロセッサ１１８は、ＧＰＳチップセット１３６に結合することもでき、ＧＰＳチップセット１３６は、ＷＴＲＵ１０２の現在ロケーションに関するロケーション情報（例えば、経度および緯度）を提供するように構成することができる。ＧＰＳチップセット１３６からの情報に加えて、またはその代わりに、ＷＴＲＵ１０２は、基地局（例えば、基地局１１４ａ、１１４ｂ）からエアインターフェース１１５／１１６／１１７上においてロケーション情報を受信することができ、および／または２つ以上の近くの基地局から受信している信号のタイミングに基づいて、自らのロケーションを決定することができる。ＷＴＲＵ１０２は、実施形態との整合性を保ちながら、任意の適切なロケーション決定方法を用いて、ロケーション情報を獲得することができることが理解されよう。
プロセッサ１１８は、他の周辺機器１３８にさらに結合することができ、他の周辺機器１３８は、追加的な特徴、機能性、および／または有線もしくは無線接続性を提供する、１つまたは複数のソフトウェアモジュールおよび／またはハードウェアモジュールを含むことができる。例えば、周辺機器１３８は、加速度計、ｅコンパス、衛星送受信機、（写真またはビデオ用の）デジタルカメラ、ユニバーサルシリアルバス（ＵＳＢ）ポート、バイブレーションデバイス、テレビ送受信機、ハンズフリーヘッドセット、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュール、周波数変調（ＦＭ）ラジオユニット、デジタル音楽プレーヤ、メディアプレーヤ、ビデオゲームプレーヤモジュール、およびインターネットブラウザなどを含むことができる。
図３３Ｃは、実施形態による、ＲＡＮ１０３およびコアネットワーク１０６のシステム図を示している。上で言及されたように、ＲＡＮ１０３は、ＵＴＲＡ無線技術を利用して、エアインターフェース１１５上においてＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃと通信することができる。ＲＡＮ１０３は、コアネットワーク１０６と通信することもできる。図３３Ｃに示されるように、ＲＡＮ１０３は、ノードＢ１４０ａ、１４０ｂ、および／または１４０ｃを含むことができ、ノードＢ１４０ａ、１４０ｂ、および／または１４０ｃは、各々が、エアインターフェース１１５上においてＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃと通信するための１つまたは複数の送受信機を含むことができる。ノードＢ１４０ａ、１４０ｂ、および／または１４０ｃは、各々、ＲＡＮ１０３内の特定のセル（図示されず）に関連付けることができる。ＲＡＮ１０３は、ＲＮＣ１４２ａおよび／または１４２ｂを含むこともできる。ＲＡＮ１０３は、実施形態との整合性を保ちながら、任意の数のノードＢおよびＲＮＣを含むことができることが理解されよう。
図３３Ｃに示されるように、ノードＢ１４０ａおよび／または１４０ｂは、ＲＮＣ１４２ａと通信することができる。加えて、ノードＢ１４０ｃは、ＲＮＣ１４２ｂと通信することができる。ノードＢ１４０ａ、１４０ｂ、および／または１４０ｃは、Ｉｕｂインターフェースを介して、それぞれのＲＮＣ１４２ａ、１４２ｂと通信することができる。ＲＮＣ１４２ａ、１４２ｂは、Ｉｕｒインターフェースを介して、互いに通信することができる。ＲＮＣ１４２ａ、１４２ｂの各々は、それが接続されたそれぞれのノードＢ１４０ａ、１４０ｂ、および／または１４０ｃを制御するように構成することができる。加えて、ＲＮＣ１４２ａ、１４２ｂの各々は、アウタループ電力制御、負荷制御、アドミッション制御、パケットスケジューリング、ハンドオーバ制御、マクロダイバーシティ、セキュリティ機能、およびデータ暗号化など、他の機能性を実施またはサポートするように構成することができる。
図３３Ｃに示されるコアネットワーク１０６は、メディアゲートウェイ（ＭＧＷ）１４４、モバイル交換センタ（ＭＳＣ）１４６、サービングＧＰＲＳサポートノード（ＳＧＳＮ）１４８、および／またはゲートウェイＧＰＲＳサポートノード（ＧＧＳＮ）１５０を含むことができる。上記の要素の各々は、コアネットワーク１０６の部分として示されているが、これらの要素のうちのいずれの１つも、コアネットワークオペレータとは異なるエンティティによって所有および／または運営することができることが理解されよう。
ＲＡＮ１０３内のＲＮＣ１４２ａは、ＩｕＣＳインターフェースを介して、コアネットワーク１０６内のＭＳＣ１４６に接続することができる。ＭＳＣ１４６は、ＭＧＷ１４４に接続することができる。ＭＳＣ１４６およびＭＧＷ１４４は、ＰＳＴＮ１０８などの回線交換ネットワークへのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃに提供して、ＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃと従来の固定電話回線通信デバイスとの間の通信を容易にすることができる。
ＲＡＮ１０３内のＲＮＣ１４２ａは、ＩｕＰＳインターフェースを介して、コアネットワーク１０６内のＳＧＳＮ１４８に接続することもできる。ＳＧＳＮ１４８は、ＧＧＳＮ１５０に接続することができる。ＳＧＳＮ１４８とＧＧＳＮ１５０は、インターネット１１０などのパケット交換ネットワークへのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃに提供して、ＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃとＩＰ対応デバイスとの間の通信を容易にすることができる。
上で言及されたように、コアネットワーク１０６は、ネットワーク１１２に接続することもでき、ネットワーク１１２は、他のサービスプロバイダによって所有および／または運営される他の有線または無線ネットワークを含むことができる。
図３３Ｄは、実施形態による、ＲＡＮ１０４およびコアネットワーク１０７のシステム図を示している。上で言及されたように、ＲＡＮ１０４は、エアインターフェース１１６上においてＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃと通信するために、Ｅ−ＵＴＲＡ無線技術を利用することができる。ＲＡＮ１０４は、コアネットワーク１０７と通信することもできる。
ＲＡＮ１０４は、ｅノードＢ１６０ａ、１６０ｂ、および／または１６０ｃを含むことができるが、ＲＡＮ１０４は、実施形態との整合性を保ちながら、任意の数のｅノードＢを含むことができることが理解されよう。ｅノードＢ１６０ａ、１６０ｂ、および／または１６０ｃは、各々が、エアインターフェース１１６上においてＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃと通信するための１つまたは複数の送受信機を含むことができる。一実施形態においては、ｅノードＢ１６０ａ、１６０ｂ、および／または１６０ｃは、ＭＩＭＯ技術を実施することができる。したがって、ｅノードＢ１６０ａは、例えば、複数のアンテナを使用して、ＷＴＲＵ１０２ａに無線信号を送信し、ＷＴＲＵ１０２ａから無線信号を受信することができる。
ｅノードＢ１６０ａ、１６０ｂ、および／または１６０ｃの各々は、特定のセル（図示されず）に関連付けることができ、無線リソース管理決定、ハンドオーバ決定、ならびにアップリンクおよび／またはダウンリンクにおけるユーザのスケジューリングなどを処理するように構成することができる。図３３Ｄに示されるように、ｅノードＢ１６０ａ、１６０ｂ、および／または１６０ｃは、Ｘ２インターフェース上において互いに通信することができる。
図３３Ｄに示されるコアネットワーク１０７は、モビリティ管理ゲートウェイ（ＭＭＥ）１６２と、サービングゲートウェイ１６４と、パケットデータネットワーク（ＰＤＮ）ゲートウェイ１６６とを含むことができる。上記の要素の各々は、コアネットワーク１０７の部分として示されているが、これらの要素のうちのいずれの１つも、コアネットワークオペレータとは異なるエンティティによって所有および／または運営することができることが理解されよう。
ＭＭＥ１６２は、Ｓ１インターフェースを介して、ＲＡＮ１０４内のｅノードＢ１６０ａ、１６０ｂ、および／または１６０ｃの各々に接続することができ、制御ノードとしての役割を果たすことができる。例えば、ＭＭＥ１６２は、ＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃのユーザの認証、ベアラアクティブ化／非アクティブ化、ＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃの初期接続中における特定のサービングゲートウェイの選択などを担うことができる。ＭＭＥ１６２は、ＲＡＮ１０４と、ＧＳＭまたはＷＣＤＭＡなどの他の無線技術を利用する他のＲＡＮ（図示されず）との間の交換のためのコントロールプレーン機能を提供することもできる。
サービングゲートウェイ１６４は、Ｓ１インターフェースを介して、ＲＡＮ１０４内のｅノードＢ１６０ａ、１６０ｂ、および／または１６０ｃの各々に接続することができる。サービングゲートウェイ１６４は、一般に、ユーザデータパケットのＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃへの／からのルーティングおよび転送を行うことができる。サービングゲートウェイ１６４は、ｅノードＢ間ハンドオーバ中におけるユーザプレーンのアンカリング、ダウンリンクデータがＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃに利用可能なときのページングのトリガ、ならびにＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃのコンテキストの管理および記憶など、他の機能を実行することもできる。
サービングゲートウェイ１６４は、ＰＤＮゲートウェイ１６６に接続することもでき、ＰＤＮゲートウェイ１６６は、インターネット１１０などのパケット交換ネットワークへのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃに提供して、ＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃとＩＰ対応デバイスとの間の通信を容易にすることができる。
コアネットワーク１０７は、他のネットワークとの通信を容易にすることができる。例えば、コアネットワーク１０７は、ＰＳＴＮ１０８などの回線交換ネットワークへのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃに提供して、ＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃと従来の固定電話回線通信デバイスとの間の通信を容易にすることができる。例えば、コアネットワーク１０７は、コアネットワーク１０７とＰＳＴＮ１０８との間のインターフェースとしての役割を果たすＩＰゲートウェイ（例えば、ＩＰマルチメディアサブシステム（ＩＭＳ）サーバ）を含むことができ、またはそれと通信することができる。加えて、コアネットワーク１０７は、ネットワーク１１２へのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃに提供することができ、ネットワーク１１２は、他のサービスプロバイダによって所有および／または運営される他の有線または無線ネットワークを含むことができる。
図３３Ｅは、実施形態による、ＲＡＮ１０５およびコアネットワーク１０９のシステム図を示している。ＲＡＮ１０５は、ＩＥＥＥ８０２．１６無線技術を利用して、エアインターフェース１１７上においてＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃと通信する、アクセスサービスネットワーク（ＡＳＮ）とすることができる。以下でさらに説明されるように、ＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃ、ＲＡＮ１０５、ならびにコアネットワーク１０９の異なる機能エンティティ間の通信リンクは、参照点として定義することができる。
図３３Ｅに示されるように、ＲＡＮ１０５は、基地局１８０ａ、１８０ｂ、および／または１８０ｃと、ＡＳＮゲートウェイ１８２とを含むことができるが、ＲＡＮ１０５は、実施形態との整合性を保ちながら、任意の数の基地局およびＡＳＮゲートウェイを含むことができることが理解されよう。基地局１８０ａ、１８０ｂ、および／または１８０ｃは、各々、ＲＡＮ１０５内の特定のセル（図示されず）に関連付けることができ、各々が、エアインターフェース１１７上においてＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃと通信するための１つまたは複数の送受信機を含むことができる。一実施形態においては、基地局１８０ａ、１８０ｂ、および／または１８０ｃは、ＭＩＭＯ技術を実施することができる。したがって、基地局１８０ａは、例えば、複数のアンテナを使用して、ＷＴＲＵ１０２ａに無線信号を送信し、ＷＴＲＵ１０２ａから無線信号を受信することができる。基地局１８０ａ、１８０ｂ、および／または１８０ｃは、ハンドオフトリガリング、トンネル確立、無線リソース管理、トラフィック分類、およびサービス品質（ＱｏＳ）ポリシ実施などの、モビリティ管理機能を提供することもできる。ＡＳＮゲートウェイ１８２は、トラフィック集約ポイントとしての役割を果たすことができ、ページング、加入者プロファイルのキャッシング、およびコアネットワーク１０９へのルーティングなどを担うことができる。
ＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃとＲＡＮ１０５との間のエアインターフェース１１７は、ＩＥＥＥ８０２．１６仕様を実施する、Ｒ１参照点として定義することができる。加えて、ＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃの各々は、コアネットワーク１０９との論理インターフェース（図示されず）を確立することができる。ＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃとコアネットワーク１０９との間の論理インターフェースは、Ｒ２参照点として定義することができ、Ｒ２参照点は、認証、認可、ＩＰホスト構成管理、および／またはモビリティ管理のために使用することができる。
基地局１８０ａ、１８０ｂ、および／または１８０ｃの各々の間の通信リンクは、Ｒ８参照点として定義することができ、Ｒ８参照点は、ＷＴＲＵハンドオーバおよび基地局間におけるデータの転送を容易にするためのプロトコルを含む。基地局１８０ａ、１８０ｂ、および／または１８０ｃとＡＳＮゲートウェイ１８２との間の通信リンクは、Ｒ６参照点として定義することができる。Ｒ６参照点は、ＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃの各々に関連付けられたモビリティイベントに基づいたモビリティ管理を容易にするためのプロトコルを含むことができる。
図３３Ｅに示されるように、ＲＡＮ１０５は、コアネットワーク１０９に接続することができる。ＲＡＮ１０５とコアネットワーク１０９との間の通信リンクは、Ｒ３参照点として定義することができ、Ｒ３参照点は、例えば、データ転送およびモビリティ管理機能を容易にするためのプロトコルを含む。コアネットワーク１０９は、モバイルＩＰホームエージェント（ＭＩＰ−ＨＡ）１８４と、認証認可課金（ＡＡＡ）サーバ１８６と、ゲートウェイ１８８とを含むことができる。上記の要素の各々は、コアネットワーク１０９の部分として示されているが、これらの要素のうちのいずれの１つも、コアネットワークオペレータとは異なるエンティティによって所有および／または運営することができることが理解されよう。
ＭＩＰ−ＨＡは、ＩＰアドレス管理を担うことができ、ＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃが、異なるＡＳＮおよび／または異なるコアネットワークの間においてローミングを行うことを可能にすることができる。ＭＩＰ−ＨＡ１８４は、インターネット１１０などのパケット交換ネットワークへのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃに提供して、ＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃとＩＰ対応デバイスとの間の通信を容易にすることができる。ＡＡＡサーバ１８６は、ユーザ認証、およびユーザサービスのサポートを担うことができる。ゲートウェイ１８８は、他のネットワークとの網間接続を容易にすることができる。例えば、ゲートウェイ１８８は、ＰＳＴＮ１０８などの回線交換ネットワークへのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃに提供して、ＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃと従来の固定電話回線通信デバイスとの間の通信を容易にすることができる。加えて、ゲートウェイ１８８は、ネットワーク１１２へのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃに提供することができ、ネットワーク１１２は、他のサービスプロバイダによって所有および／または運営される他の有線または無線ネットワークを含むことができる。
図３３Ｅには示されていないが、ＲＡＮ１０５は、他のＡＳＮに接続することができ、コアネットワーク１０９は、他のコアネットワークに接続することができることが理解されるべきであり、理解でき、および／または理解されよう。ＲＡＮ１０５と他のＡＳＮとの間の通信リンクは、Ｒ４参照点として定義することができ、Ｒ４参照点は、ＲＡＮ１０５と他のＡＳＮとの間においてＷＴＲＵ１０２ａ、１０２ｂ、および／または１０２ｃのモビリティを調整するためのプロトコルを含むことができる。コアネットワーク１０９と他のコアネットワークとの間の通信リンクは、Ｒ５参照点として定義することができ、Ｒ５参照は、ホームコアネットワークと在圏コアネットワークとの間の網間接続を容易にするためのプロトコルを含むことができる。
上では特徴および要素が特定の組み合わせで説明されたが、各特徴または要素は、単独で使用することができ、または他の特徴および要素との任意の組み合わせで使用することができることを当業者は理解されよう。加えて、本明細書において説明された方法は、コンピュータまたはプロセッサによって実行される、コンピュータ可読媒体内に含まれる、コンピュータプログラム、ソフトウェア、またはファームウェアで実施することができる。コンピュータ可読媒体の例は、（有線または無線接続上で送信される）電子信号、およびコンピュータ可読記憶媒体を含む。コンピュータ可読記憶媒体の例は、リードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、レジスタ、キャッシュメモリ、半導体メモリデバイス、内蔵ハードディスクおよびリムーバブルディスクなどの磁気媒体、光磁気媒体、ならびにＣＤ−ＲＯＭディスクおよびデジタル多用途ディスク（ＤＶＤ）などの光媒体を含むが、それらに限定されない。ソフトウェアと連携するプロセッサを使用して、ＷＴＲＵ、ＵＥ、端末、基地局、ＲＮＣ、または任意のホストコンピュータにおいて使用される、無線周波数送受信機を実施することができる。
本発明は、通信ビデオ符号化に利用できる。

Claims (52)

  1. ３６０度ビデオコンテンツを符号化する方法であって、
    第１の投影ジオメトリと関連付けられたフレームパッキングされたピクチャ内における現在のサンプルロケーションを識別するステップと、
    近隣サンプルロケーションが、前記フレームパッキングされたピクチャのコンテンツ境界の外部に位置付けられていると決定するステップと、
    前記３６０度ビデオコンテンツの少なくとも１つの円特性と、前記第１の投影ジオメトリとに基づいて、パディングサンプルロケーションを導出するステップと、
    前記パディングサンプルロケーションに基づいて、前記３６０度ビデオコンテンツを処理するステップと
    を備える方法。
  2. 前記コンテンツ境界は、フレームパッキングされたピクチャの境界、または面分境界
    のうちの少なくとも一方を含む請求項１に記載の方法。
  3. 前記第１の投影ジオメトリは、エクイレクタングラ投影、正積投影、キューブマップ投影、８面体投影、または円筒投影のうちの少なくとも１つを含む請求項１に記載の方法。
  4. 前記フレームパッキングされたピクチャは、前記第１の投影ジオメトリと関連付けられた複数の面分を含み、前記コンテンツ境界は、面分間の境界を定義し、前記パディングサンプルロケーションを導出するステップは、
    前記現在のサンプルロケーションを含む第１の面分を識別するステップと、
    前記第１の面分と関連付けられた前記近隣サンプルロケーションの３Ｄ位置を計算するステップと、
    前記近隣サンプルロケーションの前記３Ｄ位置に基づいて、前記パディングサンプルロケーションを含む第２の面分を識別するステップと、
    前記パディングサンプルロケーションとして、前記第２の面分内における前記近隣サンプルロケーションの２Ｄ平面位置を導出するために、前記近隣サンプルロケーションの前記３Ｄ位置を用いて、ジオメトリ投影を適用するステップと
    を含む請求項１に記載の方法。
  5. 前記パディングサンプルロケーションを導出するステップは、
    前記第１の投影ジオメトリにおける座標を、第２の投影ジオメトリと関連付けられた中間座標に変換するステップであって、前記近隣サンプルロケーションの前記３Ｄ位置は、前記中間座標で計算され、前記第２の面分内における前記近隣サンプルロケーションの前記２Ｄ平面位置は、前記中間座標で識別される、ステップと、
    前記第２の投影ジオメトリと関連付けられた前記近隣サンプルロケーションの前記識別された２Ｄ平面位置を、前記第１の投影ジオメトリと関連付けられた前記座標に変換し戻すステップと
    をさらに備える請求項４に記載の方法。
  6. 補間フィルタを使用して、前記パディングサンプルロケーションにおけるパディングサンプル値を導出するステップであって、前記３６０度ビデオコンテンツは、前記パディングサンプル値に基づいて処理される、ステップ
    をさらに備える請求項１に記載の方法。
  7. 前記補間フィルタは、双線形フィルタ、双三次フィルタ、ランチョスフィルタ、スプライン補間フィルタ、または離散コサイン変換ベースの補間フィルタのうちの少なくとも１つを含む請求項６に記載の方法。
  8. 前記３６０度ビデオコンテンツを処理するステップは、
    前記パディングサンプルロケーションにおけるパディングサンプル値を導出するステップと、
    前記導出されたパディングサンプル値を使用して、インター予測、イントラ予測、デブロッキング、ループフィルタリング、サンプル適応オフセッティング、または適応ループフィルタリングのうちの少なくとも１つを実行するステップと
    を含む請求項１に記載の方法。
  9. 前記３６０度ビデオコンテンツを処理するステップは、
    前記現在のサンプルロケーションが、前記コンテンツ境界上に位置付けられたときに、前記パディングサンプルロケーションに基づいて、デブロッキングフィルタを適用するステップ
    を含む請求項１に記載の方法。
  10. 前記現在のサンプルロケーションが、前記フレームパッキングされたピクチャの右端コンテンツ境界の近くに位置付けられ、前記決定された近隣サンプルロケーションが、前記右コンテンツ境界を越えた前記フレームパッキングされたピクチャの外部に位置付けられるとき、前記パディングサンプルロケーションは、前記フレームパッキングされたピクチャの前記右端コンテンツ境界に円環的に接続される、前記フレームパッキングされたピクチャの左端コンテンツ境界の近くに位置付けられ、
    前記現在のサンプルロケーションが、前記フレームパッキングされたピクチャの前記左端コンテンツ境界の近くに位置付けられ、前記決定された近隣サンプルロケーションが、前記左コンテンツ境界を越えた前記フレームパッキングされたピクチャの外部に位置付けられるとき、前記パディングサンプルロケーションは、前記フレームパッキングされたピクチャの前記左端コンテンツ境界に円環的に接続される、前記フレームパッキングされたピクチャの前記右端コンテンツ境界の近くに位置付けられ、
    前記現在のサンプルロケーションが、前記フレームパッキングされたピクチャの上端コンテンツ境界の第１のエリアの近くに位置付けられ、前記決定された近隣サンプルロケーションが、前記上端コンテンツ境界の前記第１のエリアを越えた前記フレームパッキングされたピクチャの外部に位置付けられるとき、前記パディングサンプルロケーションは、前記上端コンテンツ境界の前記第１のエリアの円環的な反対側に位置付けられる、前記上端コンテンツ境界の第２のエリアの近くに位置付けられ、
    前記現在のサンプルロケーションが、前記フレームパッキングされたピクチャの下端コンテンツ境界の第１のエリアの近くに位置付けられ、前記決定された近隣サンプルロケーションが、前記下端コンテンツ境界の前記第１のエリアを越えた前記フレームパッキングされたピクチャの外部に位置付けられるとき、前記パディングサンプルロケーションは、前記下端コンテンツ境界の前記第１のエリアの円環的な反対側に位置付けられる、前記下端コンテンツ境界の第２のエリアの近くに位置付けられる
    請求項１に記載の方法。
  11. ３６０度ビデオコンテンツを符号化する方法であって、
    第１の投影ジオメトリと関連付けられたフレームパッキングされたピクチャ内における現在のブロックを識別するステップと、
    初期基準ブロックが、前記フレームパッキングされたピクチャのコンテンツ境界の外部に位置付けられていると決定するステップと、
    前記初期基準ブロックが前記コンテンツ境界の外部にあるという条件において、前記３６０度ビデオコンテンツの少なくとも１つの円特性と、前記第１の投影ジオメトリとに基づいて、マッピングされた基準ブロックを導出するステップと、
    前記マッピングされた基準ブロックと関連付けられた属性を導出するステップと、
    前記マッピングされた基準ブロックと関連付けられた前記属性に基づいて、前記現在のブロックを予測するステップと
    を備える方法。
  12. 前記コンテンツ境界は、フレームパッキングされたピクチャの境界、または面分境界のうちの少なくとも一方を含む請求項１１に記載の方法。
  13. 前記第１の投影ジオメトリは、エクイレクタングラ投影、正積投影、キューブマップ投影、８面体投影、または円筒投影のうちの少なくとも１つを含む請求項１１に記載の方法。
  14. 前記フレームパッキングされたピクチャは、前記第１の投影ジオメトリと関連付けられた複数の面分を含み、前記コンテンツ境界は、面分間の境界を定義し、前記方法は、
    前記現在のブロックのロケーションを含む第１の面分を識別するステップと、
    前記初期基準ブロックと関連付けられたロケーションの３Ｄ位置を計算するステップであって、前記３Ｄ位置は、前記第１の面分と関連付けられる、ステップと、
    前記初期基準ブロックと関連付けられた前記ロケーションの前記３Ｄ位置に基づいて、前記マッピングされた基準ブロックを含む第２の面分を識別するステップと、
    前記マッピングされた基準ブロックを導出するための、前記第２の面分内における前記初期基準ブロックの２Ｄ平面位置を導出するために、前記初期基準ブロックと関連付けられた前記ロケーションの前記３Ｄ位置を用いて、ジオメトリ投影を適用するステップと
    をさらに備える請求項１１に記載の方法。
  15. 前記マッピングされた基準ブロックを導出するステップは、
    前記第１の投影ジオメトリにおける座標を、第２の投影ジオメトリと関連付けられた中間座標に変換するステップであって、前記初期基準ブロックロケーションと関連付けられた前記ロケーションの前記３Ｄ位置は、前記中間座標で計算され、前記マッピングされた基準ブロックを導出するための、前記第２の面分内における前記初期基準ブロックの前記２Ｄ平面位置は、前記中間座標で識別される、ステップと、
    前記第２の投影ジオメトリと関連付けられた前記初期基準ブロックの前記識別された２Ｄ平面位置を、前記第１の投影ジオメトリと関連付けられた前記座標に変換し戻すステップと
    を含む請求項１４に記載の方法。
  16. 補間フィルタを使用して、前記マッピングされた基準ブロックと関連付けられた複数のサンプル値を導出するステップであって、前記３６０度ビデオコンテンツは、前記マッピングされた基準ブロックと関連付けられた前記複数のサンプル値に基づいて処理される、ステップ
    をさらに含む請求項１１に記載の方法。
  17. 前記補間フィルタは、双線形フィルタ、双三次フィルタ、ランチョスフィルタ、スプライン補間フィルタ、または離散コサイン変換ベースの補間フィルタのうちの少なくとも１つを含む請求項１６に記載の方法。
  18. 前記マッピングされた基準ブロックにおいて複数のサンプル値を導出するステップと、
    前記マッピングされた基準ブロック内の前記複数のサンプル値を使用して、インター予測、イントラ予測、デブロッキング、ループフィルタリング、サンプル適応オフセッティング、または適応ループフィルタリングのうちの少なくとも１つを実行するステップと
    をさらに含む請求項１１に記載の方法。
  19. 前記現在のブロックが、前記フレームパッキングされたピクチャの右端コンテンツ境界の近くに位置付けられ、前記決定された初期基準ブロックが、前記右コンテンツ境界を越えた前記フレームパッキングされたピクチャの外部に位置付けられるとき、前記マッピングされた基準ブロックは、前記フレームパッキングされたピクチャの前記右端コンテンツ境界に円環的に接続される、前記フレームパッキングされたピクチャの左端コンテンツ境界の近くに位置付けられ、
    前記現在のブロックが、前記フレームパッキングされたピクチャの前記左端コンテンツ境界の近くに位置付けられ、前記決定された初期基準ブロックが、前記左コンテンツ境界を越えた前記フレームパッキングされたピクチャの外部に位置付けられるとき、前記マッピングされた基準ブロックは、前記フレームパッキングされたピクチャの前記左端コンテンツ境界に円環的に接続される、前記フレームパッキングされたピクチャの前記右端コンテンツ境界の近くに位置付けられ、
    前記現在のブロックが、前記フレームパッキングされたピクチャの上端コンテンツ境界の第１のエリアの近くに位置付けられ、前記決定された初期基準ブロックが、前記上端コンテンツ境界の前記第１のエリアを越えた前記フレームパッキングされたピクチャの外部に位置付けられるとき、前記マッピングされた基準ブロックは、前記上端コンテンツ境界の前記第１のエリアの円環的な反対側に位置付けられる、前記上端コンテンツ境界の第２のエリアの近くに位置付けられ、
    前記現在のブロックが、前記フレームパッキングされたピクチャの下端コンテンツ境界の第１のエリアの近くに位置付けられ、前記決定された初期基準ブロックが、前記下端コンテンツ境界の前記第１のエリアを越えた前記フレームパッキングされたピクチャの外部に位置付けられるとき、前記マッピングされた基準ブロックは、前記下端コンテンツ境界の前記第１のエリアの円環的な反対側に位置付けられる、前記下端コンテンツ境界の第２のエリアの近くに位置付けられる
    請求項１１に記載の方法。
  20. 前記属性は、マッピングされたブロックの位置の、イントラモード、インターモード、マージモード、または動き情報のうちの少なくとも１つを含む請求項１１に記載の方法。
  21. 前記マッピングされた基準ブロックは、前記第１の投影ジオメトリと関連付けられた３Ｄジオメトリを展開することによって、導出される請求項１１に記載の方法。
  22. 前記初期基準ブロックが、前記コンテンツ境界に対して対角線位置上にないとき、前記現在のブロックは、前記コンテンツ境界に対して垂直または対角線方向に位置付けられた最も近い利用可能なブロックを複製することによって予測される請求項２１に記載の方法。
  23. 前記現在のブロックを予測するステップは、
    面分の有効なパディングされる領域を、前記第１の投影ジオメトリと関連付けられた前記面分のサイズに基づいて、決定するステップと、
    前記初期基準ブロックが、前記有効なパディングされる領域内に位置付けられているかどうかを決定するステップであって、前記初期基準ブロックが、前記有効なパディングされる領域の外部に位置付けられているとき、前記現在のブロックは、前記有効なパディングされる領域内に位置付けられた最も近い利用可能なブロックに基づいて予測される、ステップと
    を含む請求項１１に記載の方法。
  24. 前記初期基準ブロックが、前記有効なパディングされる領域内に位置付けられているとき、前記現在のブロックは、前記マッピングされた基準ブロックに基づいて予測される請求項２３に記載の方法。
  25. 前記現在のブロックを予測するステップは、
    面分の有効なパディングされる領域を、前記第１の投影ジオメトリと関連付けられた前記面分のサイズに基づいて、決定するステップと、
    初期基準ブロックが、前記有効なパディングされる領域内に位置付けられた第１のサブブロックと、前記有効なパディングされる領域の外部に位置付けられた第２のサブブロックとを含むと決定するステップと、
    前記有効なパディングされる領域の外部に位置付けられた前記第２のサブブロック内の複数のサンプルを、前記有効なパディングされる領域内のそれぞれの近隣サンプル値を用いて、パディングするステップと、
    前記第１のサブブロック内の複数のサンプルと、前記第２のサブブロック内の前記複数のパディングされたサンプルとに基づいて、前記現在のブロックを予測するステップと
    を含む請求項１１に記載の方法。
  26. 前記第１の投影ジオメトリと関連付けられた面分の少なくとも位置またはサイズに基づいて、有効なパディングされる領域の範囲を決定するステップと、
    前記初期基準ブロックが、前記有効なパディングされる領域の外部に少なくとも部分的に位置付けられているかどうかを決定するステップであって、前記初期基準ブロックが、前記有効なパディングされる領域の外部に少なくとも部分的に位置付けられているとき、前記初期基準ブロックは、前記現在のブロックを予想することから除外される、ステップと
    をさらに備える請求項１１に記載の方法。
  27. ３６０度ビデオコンテンツを符号化するためのデバイスであって、
    プロセッサを備え、前記プロセッサは、
    第１の投影ジオメトリと関連付けられたフレームパッキングされたピクチャ内における現在のサンプルロケーションを識別することと、
    近隣サンプルロケーションが、前記フレームパッキングされたピクチャのコンテンツ境界の外部に位置付けられていると決定することと、
    前記３６０度ビデオコンテンツの少なくとも１つの円特性と、前記第１の投影ジオメトリとに基づいて、パディングサンプルロケーションを導出することと、
    前記パディングサンプルロケーションに基づいて、前記３６０度ビデオコンテンツを処理することと
    を行うように構成された、デバイス。
  28. 前記コンテンツ境界は、フレームパッキングされたピクチャの境界、または面分境界のうちの少なくとも一方を含む請求項２７に記載のデバイス。
  29. 前記第１の投影ジオメトリは、エクイレクタングラ投影、正積投影、キューブマップ投影、８面体投影、または円筒投影のうちの少なくとも１つを含む請求項２７に記載のデバイス。
  30. 前記フレームパッキングされたピクチャは、前記第１の投影ジオメトリと関連付けられた複数の面分を含み、前記コンテンツ境界は、面分間の境界を定義し、前記プロセッサは、
    前記現在のサンプルロケーションを含む第１の面分を識別することと、
    前記第１の面分と関連付けられた前記近隣サンプルロケーションの３Ｄ位置を計算することと、
    前記近隣サンプルロケーションの前記３Ｄ位置に基づいて、前記パディングサンプルロケーションを含む第２の面分を識別することと、
    前記パディングサンプルロケーションとして、前記第２の面分内における前記近隣サンプルロケーションの２Ｄ平面位置を導出するために、前記近隣サンプルロケーションの前記３Ｄ位置を用いて、ジオメトリ投影を適用することと
    を含む、前記パディングサンプルロケーションを導出することを行うように構成される請求項２７に記載のデバイス。
  31. 前記プロセッサは、
    前記第１の投影ジオメトリにおける座標を、第２の投影ジオメトリと関連付けられた中間座標に変換することであって、前記近隣サンプルロケーションの前記３Ｄ位置は、前記中間座標で計算され、前記第２の面分内における前記近隣サンプルロケーションの前記２Ｄ平面位置は、前記中間座標で識別される、変換することと、
    前記第２の投影ジオメトリと関連付けられた前記近隣サンプルロケーションの前記識別された２Ｄ平面位置を、前記第１の投影ジオメトリと関連付けられた前記座標に変換し戻すことと
    を含む、前記パディングサンプルロケーションを導出することを行うようにさらに構成される請求項３０に記載のデバイス。
  32. 前記プロセッサは、
    補間フィルタを使用して、前記パディングサンプルロケーションにおけるパディングサンプル値を導出することであって、前記３６０度ビデオコンテンツは、前記パディングサンプル値に基づいて処理される、導出すること
    を行うようにさらに構成される請求項２７に記載のデバイス。
  33. 前記補間フィルタは、双線形フィルタ、双三次フィルタ、ランチョスフィルタ、スプライン補間フィルタ、または離散コサイン変換ベースの補間フィルタのうちの少なくとも１つを含む請求項３２に記載のデバイス。
  34. 前記プロセッサは、
    前記パディングサンプルロケーションにおけるパディングサンプル値を導出することと、
    前記導出されたパディングサンプル値を使用して、インター予測、イントラ予測、デブロッキング、ループフィルタリング、サンプル適応オフセッティング、または適応ループフィルタリングのうちの少なくとも１つを実行することと
    を含む、前記３６０度ビデオコンテンツを処理することを行うように構成される請求項２７に記載のデバイス。
  35. 前記プロセッサは、
    前記現在のサンプルロケーションが、前記コンテンツ境界上に位置付けられたときに、前記パディングサンプルロケーションに基づいて、デブロッキングフィルタを適用すること
    を含む、前記３６０度ビデオコンテンツを処理することを行うように構成される請求項２７に記載のデバイス。
  36. 前記現在のサンプルロケーションが、前記フレームパッキングされたピクチャの右端コンテンツ境界の近くに位置付けられ、前記決定された近隣サンプルロケーションが、前記右コンテンツ境界を越えた前記フレームパッキングされたピクチャの外部に位置付けられるとき、前記パディングサンプルロケーションは、前記フレームパッキングされたピクチャの前記右端コンテンツ境界に円環的に接続される、前記フレームパッキングされたピクチャの左端コンテンツ境界の近くに位置付けられ、
    前記現在のサンプルロケーションが、前記フレームパッキングされたピクチャの前記左端コンテンツ境界の近くに位置付けられ、前記決定された近隣サンプルロケーションが、前記左コンテンツ境界を越えた前記フレームパッキングされたピクチャの外部に位置付けられるとき、前記パディングサンプルロケーションは、前記フレームパッキングされたピクチャの前記左端コンテンツ境界に円環的に接続される、前記フレームパッキングされたピクチャの前記右端コンテンツ境界の近くに位置付けられ、
    前記現在のサンプルロケーションが、前記フレームパッキングされたピクチャの上端コンテンツ境界の第１のエリアの近くに位置付けられ、前記決定された近隣サンプルロケーションが、前記上端コンテンツ境界の前記第１のエリアを越えた前記フレームパッキングされたピクチャの外部に位置付けられるとき、前記パディングサンプルロケーションは、前記上端コンテンツ境界の前記第１のエリアの円環的な反対側に位置付けられる、前記上端コンテンツ境界の第２のエリアの近くに位置付けられ、
    前記現在のサンプルロケーションが、前記フレームパッキングされたピクチャの下端コンテンツ境界の第１のエリアの近くに位置付けられ、前記決定された近隣サンプルロケーションが、前記下端コンテンツ境界の前記第１のエリアを越えた前記フレームパッキングされたピクチャの外部に位置付けられるとき、前記パディングサンプルロケーションは、前記下端コンテンツ境界の前記第１のエリアの円環的な反対側に位置付けられる、前記下端コンテンツ境界の第２のエリアの近くに位置付けられる
    請求項２７に記載のデバイス。
  37. ３６０度ビデオコンテンツを符号化するためのビデオ符号化デバイスであって、
    プロセッサを備え、前記プロセッサは
    第１の投影ジオメトリと関連付けられたフレームパッキングされたピクチャ内における現在のブロックを識別することと、
    初期基準ブロックが、前記フレームパッキングされたピクチャのコンテンツ境界の外部に位置付けられていると決定することと、
    前記初期基準ブロックが前記コンテンツ境界の外部にあるという条件において、前記３６０度ビデオコンテンツの少なくとも１つの円特性と、前記第１の投影ジオメトリとに基づいて、マッピングされた基準ブロックを導出することと、
    前記マッピングされた基準ブロックと関連付けられた属性を導出することと、
    前記マッピングされた基準ブロックと関連付けられた前記属性に基づいて、前記現在のブロックを予測することと
    を行うように構成される、ビデオ符号化デバイス。
  38. 前記コンテンツ境界は、フレームパッキングされたピクチャの境界、または面分境界のうちの少なくとも一方を含む請求項３７に記載のビデオ符号化デバイス。
  39. 前記第１の投影ジオメトリは、エクイレクタングラ投影、正積投影、キューブマップ投影、８面体投影、または円筒投影のうちの少なくとも１つを含む請求項３７に記載のビデオ符号化デバイス。
  40. 前記フレームパッキングされたピクチャは、前記第１の投影ジオメトリと関連付けられた複数の面分を含み、前記コンテンツ境界は、面分間の境界を定義し、前記プロセッサは、
    前記現在のブロックのロケーションを含む第１の面分を識別することと、
    前記初期基準ブロックと関連付けられたロケーションの３Ｄ位置を計算することであって、前記３Ｄ位置は、前記第１の面分と関連付けられる、計算することと、
    前記初期基準ブロックと関連付けられた前記ロケーションの前記３Ｄ位置に基づいて、前記マッピングされた基準ブロックを含む第２の面分を識別することと、
    前記マッピングされた基準ブロックを導出するための、前記第２の面分内における前記初期基準ブロックの２Ｄ平面位置を導出するために、前記初期基準ブロックと関連付けられた前記ロケーションの前記３Ｄ位置を用いて、ジオメトリ投影を適用することと
    を行うようにさらに構成される請求項３７に記載のビデオ符号化デバイス。
  41. 前記プロセッサは、
    前記第１の投影ジオメトリにおける座標を、第２の投影ジオメトリと関連付けられた中間座標に変換することであって、前記初期基準ブロックロケーションと関連付けられた前記ロケーションの前記３Ｄ位置は、前記中間座標で計算され、前記マッピングされた基準ブロックを導出するための、前記第２の面分内における前記初期基準ブロックの前記２Ｄ平面位置は、前記中間座標で識別される、変換することと、
    前記第２の投影ジオメトリと関連付けられた前記初期基準ブロックの前記識別された２Ｄ平面位置を、前記第１の投影ジオメトリと関連付けられた前記座標に変換し戻すことと
    を含む、前記マッピングされた基準ブロックを導出することを行うように構成される請求項４０に記載のビデオ符号化デバイス。
  42. 前記プロセッサは、
    補間フィルタを使用して、前記マッピングされた基準ブロックと関連付けられた複数のサンプル値を導出することであって、前記３６０度ビデオコンテンツは、前記マッピングされた基準ブロックと関連付けられた前記複数のサンプル値に基づいて処理される、導出すること
    を行うようにさらに構成される請求項３７に記載のビデオ符号化デバイス。
  43. 前記補間フィルタは、双線形フィルタ、双三次フィルタ、ランチョスフィルタ、スプライン補間フィルタ、または離散コサイン変換ベースの補間フィルタのうちの少なくとも１つを含む請求項４２に記載のビデオ符号化デバイス。
  44. 前記プロセッサは、
    前記マッピングされた基準ブロックにおいて複数のサンプル値を導出することと、
    前記マッピングされた基準ブロック内の前記複数のサンプル値を使用して、インター予測、イントラ予測、デブロッキング、ループフィルタリング、サンプル適応オフセッティング、または適応ループフィルタリングのうちの少なくとも１つを実行することと
    を行うようにさらに構成される請求項３７に記載のビデオ符号化デバイス。
  45. 前記現在のブロックが、前記フレームパッキングされたピクチャの右端コンテンツ境界の近くに位置付けられ、前記決定された初期基準ブロックが、前記右コンテンツ境界を越えた前記フレームパッキングされたピクチャの外部に位置付けられるとき、前記マッピングされた基準ブロックは、前記フレームパッキングされたピクチャの前記右端コンテンツ境界に円環的に接続される、前記フレームパッキングされたピクチャの左端コンテンツ境界の近くに位置付けられ、
    前記現在のブロックが、前記フレームパッキングされたピクチャの前記左端コンテンツ境界の近くに位置付けられ、前記決定された初期基準ブロックが、前記左コンテンツ境界を越えた前記フレームパッキングされたピクチャの外部に位置付けられるとき、前記マッピングされた基準ブロックは、前記フレームパッキングされたピクチャの前記左端コンテンツ境界に円環的に接続される、前記フレームパッキングされたピクチャの前記右端コンテンツ境界の近くに位置付けられ、
    前記現在のブロックが、前記フレームパッキングされたピクチャの上端コンテンツ境界の第１のエリアの近くに位置付けられ、前記決定された初期基準ブロックが、前記上端コンテンツ境界の前記第１のエリアを越えた前記フレームパッキングされたピクチャの外部に位置付けられるとき、前記マッピングされた基準ブロックは、前記上端コンテンツ境界の前記第１のエリアの円環的な反対側に位置付けられる、前記上端コンテンツ境界の第２のエリアの近くに位置付けられ、
    前記現在のブロックが、前記フレームパッキングされたピクチャの下端コンテンツ境界の第１のエリアの近くに位置付けられ、前記決定された初期基準ブロックが、前記下端コンテンツ境界の前記第１のエリアを越えた前記フレームパッキングされたピクチャの外部に位置付けられるとき、前記マッピングされた基準ブロックは、前記下端コンテンツ境界の前記第１のエリアの円環的な反対側に位置付けられる、前記下端コンテンツ境界の第２のエリアの近くに位置付けられる
    請求項３７に記載のビデオ符号化デバイス。
  46. 前記属性は、マッピングされたブロックの位置の、イントラモード、インターモード、マージモード、または動き情報のうちの少なくとも１つを含む請求項３７に記載のビデオ符号化デバイス。
  47. 前記マッピングされた基準ブロックは、前記第１の投影ジオメトリと関連付けられた３Ｄジオメトリを展開することによって、導出される請求項３７に記載のビデオ符号化デバイス。
  48. 前記初期基準ブロックが、前記コンテンツ境界に対して対角線位置上にないとき、前記現在のブロックは、前記コンテンツ境界に対して垂直または対角線方向に位置付けられた最も近い利用可能なブロックを複製することによって予測される請求項４７に記載のビデオ符号化デバイス。
  49. 前記プロセッサは、
    面分の有効なパディングされる領域を、前記第１の投影ジオメトリと関連付けられた前記面分のサイズに基づいて、決定することと、
    前記初期基準ブロックが、前記有効なパディングされる領域内に位置付けられているかどうかを決定することであって、前記初期基準ブロックが、前記有効なパディングされる領域の外部に位置付けられているとき、前記現在のブロックは、前記有効なパディングされる領域内に位置付けられた最も近い利用可能なブロックに基づいて予測される、決定することと
    を含む、前記現在のブロックを予測することを行うように構成される請求項３７に記載のビデオ符号化デバイス。
  50. 前記初期基準ブロックが、前記有効なパディングされる領域内に位置付けられているとき、前記現在のブロックは、前記マッピングされた基準ブロックに基づいて予測される請求項４９に記載のビデオ符号化デバイス。
  51. 前記プロセッサは、
    面分の有効なパディングされる領域を、前記第１の投影ジオメトリと関連付けられた前記面分のサイズに基づいて、決定することと、
    初期基準ブロックが、前記有効なパディングされる領域内に位置付けられた第１のサブブロックと、前記有効なパディングされる領域の外部に位置付けられた第２のサブブロックとを含むと決定することと、
    前記有効なパディングされる領域の外部に位置付けられた前記第２のサブブロック内の複数のサンプルを、前記有効なパディングされる領域内のそれぞれの近隣サンプル値を用いて、パディングすることと、
    前記第１のサブブロック内の複数のサンプルと、前記第２のサブブロック内の前記複数のパディングされたサンプルとに基づいて、前記現在のブロックを予測することと
    を含む、前記現在のブロックを予測することを行うように構成される請求項３７に記載のビデオ符号化デバイス。
  52. 前記プロセッサは、
    前記第１の投影ジオメトリと関連付けられた面分の少なくとも位置またはサイズに基づいて、有効なパディングされる領域の範囲を決定することと、
    前記初期基準ブロックが、前記有効なパディングされる領域の外部に少なくとも部分的に位置付けられているかどうかを決定することであって、前記初期基準ブロックが、前記有効なパディングされる領域の外部に少なくとも部分的に位置付けられているとき、前記初期基準ブロックは、前記現在のブロックを予想することから除外される、決定することと
    を行うようにさらに構成される請求項３７に記載のビデオ符号化デバイス。
JP2021138935A 2016-07-08 2021-08-27 ジオメトリ投影を使用する３６０度ビデオ符号化 Active JP7295178B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023094844A JP2023105219A (ja) 2016-07-08 2023-06-08 ジオメトリ投影を使用する３６０度ビデオ符号化

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201662360112P 2016-07-08 2016-07-08
US62/360,112 2016-07-08
US201662404017P 2016-10-04 2016-10-04
US62/404,017 2016-10-04
US201762463242P 2017-02-24 2017-02-24
US62/463,242 2017-02-24
US201762500605P 2017-05-03 2017-05-03
US62/500,605 2017-05-03
JP2019500358A JP6983862B2 (ja) 2016-07-08 2017-07-07 ジオメトリ投影を使用する３６０度ビデオ符号化

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019500358A Division JP6983862B2 (ja) 2016-07-08 2017-07-07 ジオメトリ投影を使用する３６０度ビデオ符号化

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023094844A Division JP2023105219A (ja) 2016-07-08 2023-06-08 ジオメトリ投影を使用する３６０度ビデオ符号化

Publications (2)

Publication Number Publication Date
JP2022000954A true JP2022000954A (ja) 2022-01-04
JP7295178B2 JP7295178B2 (ja) 2023-06-20

Family

ID=59581992

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2019500358A Active JP6983862B2 (ja) 2016-07-08 2017-07-07 ジオメトリ投影を使用する３６０度ビデオ符号化
JP2021138935A Active JP7295178B2 (ja) 2016-07-08 2021-08-27 ジオメトリ投影を使用する３６０度ビデオ符号化
JP2023094844A Pending JP2023105219A (ja) 2016-07-08 2023-06-08 ジオメトリ投影を使用する３６０度ビデオ符号化

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019500358A Active JP6983862B2 (ja) 2016-07-08 2017-07-07 ジオメトリ投影を使用する３６０度ビデオ符号化

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023094844A Pending JP2023105219A (ja) 2016-07-08 2023-06-08 ジオメトリ投影を使用する３６０度ビデオ符号化

Country Status (7)

Country Link
US (3) US10887621B2 (ja)
EP (1) EP3482563A1 (ja)
JP (3) JP6983862B2 (ja)
KR (3) KR20190035678A (ja)
CN (2) CN117135357A (ja)
TW (1) TWI775760B (ja)
WO (1) WO2018009746A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023040181A (ja) * 2017-07-17 2023-03-22 ビー１、インスティテュート、オブ、イメージ、テクノロジー、インコーポレイテッド 画像データ符号化／復号化方法及び装置
US11792525B2 (en) 2016-10-04 2023-10-17 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus

Families Citing this family (102)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI20165256A (fi) 2016-03-24 2017-09-25 Nokia Technologies Oy Laitteisto, menetelmä ja tietokoneohjelma videokoodaukseen ja -dekoodaukseen
WO2018035721A1 (en) * 2016-08-23 2018-03-01 SZ DJI Technology Co., Ltd. System and method for improving efficiency in encoding/decoding a curved view video
CN107801039B (zh) * 2016-08-30 2020-04-14 华为技术有限公司 运动补偿预测方法和装置
WO2018045108A1 (en) 2016-09-02 2018-03-08 Vid Scale, Inc. Method and system for signaling of 360-degree video information
EP3510744B1 (en) 2016-09-09 2022-05-04 Vid Scale, Inc. Methods and apparatus to reduce latency for 360-degree viewport adaptive streaming
KR20180029315A (ko) * 2016-09-12 2018-03-21 삼성전자주식회사 가상 현실 컨텐트의 영상을 투영하기 위한 영상 처리 방법 및 장치
EP3513561A1 (en) * 2016-09-30 2019-07-24 Huawei Technologies Co., Ltd. Apparatuses and methods for encoding and decoding a panoramic video signal
WO2018066991A1 (ko) * 2016-10-04 2018-04-12 김기백 영상 데이터 부호화/복호화 방법 및 장치
KR102531386B1 (ko) 2016-10-04 2023-05-12 주식회사 비원영상기술연구소 영상 데이터 부호화/복호화 방법 및 장치
US20190238888A1 (en) 2017-07-17 2019-08-01 Ki Baek Kim Image data encoding/decoding method and apparatus
CN117768645A (zh) * 2016-10-04 2024-03-26 有限公司B1影像技术研究所 图像编码/解码方法、记录介质和传输比特流的方法
KR20180042098A (ko) * 2016-10-17 2018-04-25 에스케이텔레콤 주식회사 영상 부호화 또는 복호화하기 위한 장치 및 방법
GB2555788A (en) * 2016-11-08 2018-05-16 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
US20200128238A1 (en) * 2016-12-22 2020-04-23 Kt Corporation Video signal processing method and device
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) * 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US11057643B2 (en) 2017-03-13 2021-07-06 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame that includes at least one padding region and at least one projection face packed in 360-degree virtual reality projection layout
US11004173B2 (en) * 2017-03-13 2021-05-11 Mediatek Inc. Method for processing projection-based frame that includes at least one projection face packed in 360-degree virtual reality projection layout
WO2018199792A1 (en) * 2017-04-26 2018-11-01 Huawei Technologies Co., Ltd Apparatuses and methods for encoding and decoding a panoramic video signal
US11093752B2 (en) * 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
GB2563944B (en) * 2017-06-30 2021-11-03 Canon Kk 360-Degree video encoding with block-based extension of the boundary of projected parts
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
EP3435676A1 (en) * 2017-07-25 2019-01-30 Thomson Licensing Method and apparatus for encoding and decoding an omnidirectional video
DE112018002432T5 (de) 2017-08-18 2020-01-23 Mediatek Inc. Verfahren und Vorrichtung zum Reduzieren von Artefakten in einem projektionsbasierten Rahmen
US10827159B2 (en) * 2017-08-23 2020-11-03 Mediatek Inc. Method and apparatus of signalling syntax for immersive video coding
EP3685585A1 (en) 2017-09-20 2020-07-29 Vid Scale, Inc. Handling face discontinuities in 360-degree video coding
US10818087B2 (en) 2017-10-02 2020-10-27 At&T Intellectual Property I, L.P. Selective streaming of immersive video based on field-of-view prediction
US11445215B2 (en) * 2017-12-28 2022-09-13 Electronics And Telecommunications Research Institute Method and device for image encoding and decoding, and recording medium having bit stream stored therein
CN117834831A (zh) 2018-01-16 2024-04-05 Vid拓展公司 用于360度视频译码的自适应帧封装
WO2019141907A1 (en) * 2018-01-22 2019-07-25 Nokia Technologies Oy An apparatus, a method and a computer program for omnidirectional video
US10721465B2 (en) * 2018-02-14 2020-07-21 Qualcomm Incorporated Motion compensation for cubemap packed frames
US10764605B2 (en) * 2018-02-14 2020-09-01 Qualcomm Incorporated Intra prediction for 360-degree video
US11212438B2 (en) * 2018-02-14 2021-12-28 Qualcomm Incorporated Loop filter padding for 360-degree video coding
US10659815B2 (en) 2018-03-08 2020-05-19 At&T Intellectual Property I, L.P. Method of dynamic adaptive streaming for 360-degree videos
US20190289316A1 (en) * 2018-03-19 2019-09-19 Mediatek Inc. Method and Apparatus of Motion Vector Derivation for VR360 Video Coding
WO2019182294A1 (ko) * 2018-03-19 2019-09-26 주식회사 케이티 비디오 신호 처리 방법 및 장치
WO2019181101A1 (ja) * 2018-03-19 2019-09-26 ソニー株式会社 画像処理装置と画像処理方法
CN111936929A (zh) * 2018-03-22 2020-11-13 联发科技股份有限公司 采用360°虚拟现实投影的投影布局的重构的基于投影的帧的样本适应性偏移滤波方法用于重构的基于投影的帧的样本适应性偏移滤波方法
US10986371B2 (en) 2018-03-22 2021-04-20 Mediatek Inc. Sample adaptive offset filtering method for reconstructed projection-based frame that employs projection layout of 360-degree virtual reality projection
WO2019190197A1 (ko) * 2018-03-27 2019-10-03 주식회사 케이티 비디오 신호 처리 방법 및 장치
KR20230098721A (ko) 2018-03-29 2023-07-04 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 패딩을 위한 화면내-예측 모드 선택을 위한 장치
CN110349226B (zh) * 2018-04-01 2021-06-01 浙江大学 一种全景图像处理方法及装置
KR102518869B1 (ko) * 2018-04-11 2023-04-06 알카크루즈 인코포레이티드 디지털 미디어 시스템
US11917127B2 (en) 2018-05-25 2024-02-27 Interdigital Madison Patent Holdings, Sas Monitoring of video streaming events
KR102435519B1 (ko) * 2018-06-20 2022-08-24 삼성전자주식회사 360도 영상을 처리하는 방법 및 장치
SG11202012942TA (en) * 2018-06-26 2021-01-28 Huawei Tech Co Ltd High-level syntax designs for point cloud coding
WO2020001790A1 (en) 2018-06-29 2020-01-02 Huawei Technologies Co., Ltd. Apparatuses and methods for encoding and decoding a video signal
US20200045288A1 (en) * 2018-07-31 2020-02-06 Intel Corporation Six degree of freedom video transcoding mechanism
US11178373B2 (en) 2018-07-31 2021-11-16 Intel Corporation Adaptive resolution of point cloud and viewpoint prediction for video streaming in computing environments
US10893299B2 (en) 2018-07-31 2021-01-12 Intel Corporation Surface normal vector processing mechanism
US10887574B2 (en) 2018-07-31 2021-01-05 Intel Corporation Selective packing of patches for immersive video
US11212506B2 (en) 2018-07-31 2021-12-28 Intel Corporation Reduced rendering of six-degree of freedom video
US10595000B1 (en) * 2018-08-02 2020-03-17 Facebook Technologies, Llc Systems and methods for using depth information to extrapolate two-dimentional images
US11094088B2 (en) * 2018-08-31 2021-08-17 Mediatek Inc. Method and apparatus of in-loop filtering for virtual boundaries in video coding
TWI719614B (zh) * 2018-08-31 2021-02-21 聯發科技股份有限公司 用於視頻編解碼中的虛擬邊界的環路內濾波的方法和裝置
US11765349B2 (en) 2018-08-31 2023-09-19 Mediatek Inc. Method and apparatus of in-loop filtering for virtual boundaries
TWI822863B (zh) * 2018-09-27 2023-11-21 美商Ｖｉｄ衡器股份有限公司 360度視訊寫碼樣本導出
US11057631B2 (en) 2018-10-10 2021-07-06 Intel Corporation Point cloud coding standard conformance definition in computing environments
US11736713B2 (en) 2018-11-14 2023-08-22 Tencent America LLC Constraint on affine model motion vector
WO2020101451A1 (ko) * 2018-11-15 2020-05-22 한국전자통신연구원 지역 기반 화면간/화면내 예측 기술을 이용한 부호화/복호화 방법 및 장치
CN113170184A (zh) 2018-11-22 2021-07-23 北京字节跳动网络技术有限公司 默认运动候选的配置方法
US11756153B2 (en) * 2018-12-31 2023-09-12 Intel Corporation Hemisphere cube map projection format in imaging environments
US11089335B2 (en) 2019-01-14 2021-08-10 Mediatek Inc. Method and apparatus of in-loop filtering for virtual boundaries
CN113366846A (zh) * 2019-02-02 2021-09-07 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的缓冲区更新
EP3915265A4 (en) 2019-03-01 2022-06-22 Beijing Bytedance Network Technology Co., Ltd. DIRECTION-BASED PREDICTION FOR INTRA BLOCK COPY IN VIDEO CODING
WO2020189876A1 (ko) * 2019-03-15 2020-09-24 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
US11334969B2 (en) * 2019-03-19 2022-05-17 Sony Group Corporation Point cloud geometry padding
US10979730B2 (en) * 2019-03-20 2021-04-13 Tencent America LLC Techniques and apparatus for interframe point cloud attribute coding
CN113455007B (zh) * 2019-03-22 2023-12-22 腾讯美国有限责任公司 帧间点云属性编解码的方法和装置
US10904558B2 (en) * 2019-04-26 2021-01-26 Tencent America LLC Method and apparatus for motion compensation for 360 video coding
EP3739880A1 (en) * 2019-05-14 2020-11-18 Axis AB Method, device and computer program product for encoding a distorted image frame
WO2020242023A1 (ko) * 2019-05-24 2020-12-03 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
WO2020249124A1 (en) 2019-06-14 2020-12-17 Beijing Bytedance Network Technology Co., Ltd. Handling video unit boundaries and virtual boundaries based on color format
US11190768B2 (en) * 2019-07-02 2021-11-30 Mediatek Inc. Video encoding method with syntax element signaling of packing of projection faces derived from cube-based projection and associated video decoding method and apparatus
US11190801B2 (en) * 2019-07-02 2021-11-30 Mediatek Inc. Video encoding method with syntax element signaling of mapping function employed by cube-based projection and associated video decoding method
US11659206B2 (en) 2019-07-02 2023-05-23 Mediatek Inc. Video encoding method with syntax element signaling of guard band configuration of projection-based frame and associated video decoding method and apparatus
CN114175633B (zh) 2019-07-10 2023-12-29 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的样点标识
CN117939170A (zh) * 2019-07-11 2024-04-26 北京字节跳动网络技术有限公司 自适应环路滤波中的样点填充
BR112022005046A2 (pt) 2019-09-18 2022-07-05 Beijing Bytedance Network Tech Co Ltd Método de processamento de dados de vídeo, aparelho para processar dados de vídeo, meio de armazenamento não transitório legível por computador e meio de gravação não transitório legível por computador
EP4018652A4 (en) 2019-09-22 2022-11-02 Beijing Bytedance Network Technology Co., Ltd. FILLING METHOD IN AN ADAPTIVE LOOP FILTER
CN114450954A (zh) 2019-09-27 2022-05-06 北京字节跳动网络技术有限公司 不同视频单元之间的自适应环路滤波
CN114556926A (zh) 2019-10-10 2022-05-27 北京字节跳动网络技术有限公司 几何分割模式中的运动矢量处理
WO2021068906A1 (en) 2019-10-10 2021-04-15 Beijing Bytedance Network Technology Co., Ltd. Padding process at unavailable sample locations in adaptive loop filtering
EP4042684A4 (en) 2019-10-29 2022-11-30 Beijing Bytedance Network Technology Co., Ltd. SIGNALING AN ADAPTIVE CROSS-COMPONENT LOOP FILTER
MX2022006734A (es) 2019-12-11 2022-06-09 Beijing Bytedance Network Tech Co Ltd Relleno de muestra para filtrado de circuito adaptivo de componente cruzado.
CN114788264B (zh) * 2019-12-30 2023-07-25 阿里巴巴（中国）有限公司 用于发出虚拟边界和环绕运动补偿的信号的方法
US11356698B2 (en) 2019-12-30 2022-06-07 Tencent America LLC Method for parameter set reference constraints in coded video stream
US11477490B2 (en) * 2020-01-03 2022-10-18 Mediatek Inc. Video processing method with sample adaptive offset filtering disabled across virtual boundary in reconstructed frame and associated video processing apparatus
WO2021163845A1 (en) * 2020-02-17 2021-08-26 Intel Corporation Enhancing 360-degree video using convolutional neural network (cnn) -based filter
WO2021182937A1 (ko) * 2020-03-11 2021-09-16 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
KR102406845B1 (ko) * 2020-04-13 2022-06-10 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
US11438628B2 (en) * 2020-06-03 2022-09-06 Tencent America LLC Hash-based accessing of geometry occupancy information for point cloud coding
CN113810734B (zh) * 2020-06-15 2024-04-05 浙江宇视科技有限公司 视频融合方法、装置、设备、系统及计算机可读存储介质
JP2023531223A (ja) 2020-06-30 2023-07-21 北京字節跳動網絡技術有限公司 適応ループフィルタリングのための境界位置
WO2022019713A1 (ko) * 2020-07-23 2022-01-27 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
US20230290006A1 (en) * 2020-09-03 2023-09-14 Lg Electronics Inc. Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
US20230334719A1 (en) * 2020-10-30 2023-10-19 Lg Electronics Inc. Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
WO2022197129A1 (ko) * 2021-03-19 2022-09-22 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
US20230306645A1 (en) * 2022-03-25 2023-09-28 Tencent America LLC Convolutional Approach to Fast and Compact Packing of 3D Mesh Into 2D Maps
WO2024007789A1 (en) * 2022-07-06 2024-01-11 Mediatek Inc. Prediction generation with out-of-boundary check in video coding
WO2024080841A1 (ko) * 2022-10-13 2024-04-18 한국전자통신연구원 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060034530A1 (en) * 2004-08-13 2006-02-16 Samsung Electronics Co., Ltd. Method and device for making virtual image region for motion estimation and compensation of panorama image
US20160112704A1 (en) * 2014-10-20 2016-04-21 Google Inc. Continuous prediction domain

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6331869B1 (en) 1998-08-07 2001-12-18 Be Here Corporation Method and apparatus for electronically distributing motion panoramic images
US6466254B1 (en) * 1997-05-08 2002-10-15 Be Here Corporation Method and apparatus for electronically distributing motion panoramic images
JP2003141562A (ja) * 2001-10-29 2003-05-16 Sony Corp 非平面画像の画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
KR100688383B1 (ko) * 2004-08-13 2007-03-02 경희대학교 산학협력단 파노라마 영상의 움직임 추정 및 보상
US7623682B2 (en) 2004-08-13 2009-11-24 Samsung Electronics Co., Ltd. Method and device for motion estimation and compensation for panorama image
CN101853552A (zh) * 2010-04-20 2010-10-06 长春理工大学 全方位无盲区运动目标检测方法
JP2012190299A (ja) * 2011-03-11 2012-10-04 Sony Corp 画像処理装置および方法、並びにプログラム
BR112013033697A2 (pt) * 2011-07-01 2017-07-11 Samsung Electronics Co Ltd método de codificação de vídeo com previsão intra usando processo de verificação para possibilidade de referência unificada, método de decodificação de vídeo e seu dispositivo
US8995772B2 (en) * 2012-11-09 2015-03-31 Microsoft Technology Licensing, Llc Real-time face detection using pixel pairs
US10368097B2 (en) * 2014-01-07 2019-07-30 Nokia Technologies Oy Apparatus, a method and a computer program product for coding and decoding chroma components of texture pictures for sample prediction of depth pictures
KR101583646B1 (ko) 2014-05-12 2016-01-19 (주)헥스하이브 전 방위 평면 이미지를 생성하는 방법 및 장치
US10204658B2 (en) * 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
JP6559337B2 (ja) 2015-09-23 2019-08-14 ノキア テクノロジーズ オーユー ３６０度パノラマビデオの符号化方法、符号化装置、及びコンピュータプログラム
FI20165256A (fi) * 2016-03-24 2017-09-25 Nokia Technologies Oy Laitteisto, menetelmä ja tietokoneohjelma videokoodaukseen ja -dekoodaukseen
WO2017205648A1 (en) 2016-05-26 2017-11-30 Vid Scale, Inc. Geometric conversion for 360-degree video coding
US10523913B2 (en) * 2017-06-30 2019-12-31 Apple Inc. Packed image format for multi-directional video

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060034530A1 (en) * 2004-08-13 2006-02-16 Samsung Electronics Co., Ltd. Method and device for making virtual image region for motion estimation and compensation of panorama image
US20160112704A1 (en) * 2014-10-20 2016-04-21 Google Inc. Continuous prediction domain

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HANHART, PHILIPPE ET AL.: "AHG8: Reference samples derivation using geometry padding for intra coding", JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 4TH MEETING: C, vol. JVET-D0092 (version 1), JPN6020021466, 6 October 2016 (2016-10-06), pages 1 - 6, ISSN: 0004932264 *
HE, YUWEN ET AL.: "AHG8: Geometry padding for 360 video coding", JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 4TH MEETING: C, vol. JVET-D0075 (version 1), JPN6020021468, 6 October 2016 (2016-10-06), pages 1 - 10, ISSN: 0004932265 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11792525B2 (en) 2016-10-04 2023-10-17 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
JP2023040181A (ja) * 2017-07-17 2023-03-22 ビー１、インスティテュート、オブ、イメージ、テクノロジー、インコーポレイテッド 画像データ符号化／復号化方法及び装置
JP2023040182A (ja) * 2017-07-17 2023-03-22 ビー１、インスティテュート、オブ、イメージ、テクノロジー、インコーポレイテッド 画像データ符号化／復号化方法及び装置
JP2023040176A (ja) * 2017-07-17 2023-03-22 ビー１、インスティテュート、オブ、イメージ、テクノロジー、インコーポレイテッド 画像データ符号化／復号化方法及び装置
JP2023040178A (ja) * 2017-07-17 2023-03-22 ビー１、インスティテュート、オブ、イメージ、テクノロジー、インコーポレイテッド 画像データ符号化／復号化方法及び装置
JP7269455B2 (ja) 2017-07-17 2023-05-08 ビー１、インスティテュート、オブ、イメージ、テクノロジー、インコーポレイテッド 画像データ符号化／復号化方法及び装置
JP7269457B2 (ja) 2017-07-17 2023-05-08 ビー１、インスティテュート、オブ、イメージ、テクノロジー、インコーポレイテッド 画像データ符号化／復号化方法及び装置
JP7269456B2 (ja) 2017-07-17 2023-05-08 ビー１、インスティテュート、オブ、イメージ、テクノロジー、インコーポレイテッド 画像データ符号化／復号化方法及び装置

Also Published As

Publication number Publication date
US20190215532A1 (en) 2019-07-11
TWI775760B (zh) 2022-09-01
KR20220047402A (ko) 2022-04-15
WO2018009746A1 (en) 2018-01-11
US10887621B2 (en) 2021-01-05
CN109417632B (zh) 2023-08-04
JP6983862B2 (ja) 2021-12-17
JP2019525563A (ja) 2019-09-05
KR102521272B1 (ko) 2023-04-12
US20210136413A1 (en) 2021-05-06
US20220368947A1 (en) 2022-11-17
US11388438B2 (en) 2022-07-12
JP7295178B2 (ja) 2023-06-20
CN109417632A (zh) 2019-03-01
EP3482563A1 (en) 2019-05-15
KR20230051319A (ko) 2023-04-17
JP2023105219A (ja) 2023-07-28
KR20190035678A (ko) 2019-04-03
TW201812708A (zh) 2018-04-01
CN117135357A (zh) 2023-11-28

Similar Documents

Publication Publication Date Title
JP6983862B2 (ja) ジオメトリ投影を使用する３６０度ビデオ符号化
JP7357747B2 (ja) 面連続性を使用する３６０度ビデオコーディング
US20230412839A1 (en) Geometry Conversion for 360-degree Video Coding
CN110999296B (zh) 解码360度视频的方法、设备及计算机可读介质
US20200322632A1 (en) Face discontinuity filtering for 360-degree video coding
KR20210080358A (ko) 360도 비디오 코딩을 위한 샘플 도출
CN111183646A (zh) 处理360度视频译码中的面不连续
WO2019089382A1 (en) 360-degree video coding using face-based geometry padding
EP3741124A1 (en) Adaptive frame packing for 360-degree video coding
WO2018170416A1 (en) Floating point to integer conversion for 360-degree video projection format conversion and spherical metrics calculation

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210927

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230608

R150 Certificate of patent or registration of utility model

Ref document number: 7295178

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150