JP2020517164A - 面連続性を使用する360度ビデオコーディング - Google Patents

面連続性を使用する360度ビデオコーディング Download PDF

Info

Publication number
JP2020517164A
JP2020517164A JP2019555437A JP2019555437A JP2020517164A JP 2020517164 A JP2020517164 A JP 2020517164A JP 2019555437 A JP2019555437 A JP 2019555437A JP 2019555437 A JP2019555437 A JP 2019555437A JP 2020517164 A JP2020517164 A JP 2020517164A
Authority
JP
Japan
Prior art keywords
current block
block
boundary
plane
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019555437A
Other languages
English (en)
Other versions
JP7169988B2 (ja
Inventor
フィリップ・ハンハルト
ユウェン・ヘ
ヤン・イェ
Original Assignee
ヴィド スケール インコーポレイテッド
ヴィド スケール インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヴィド スケール インコーポレイテッド, ヴィド スケール インコーポレイテッド filed Critical ヴィド スケール インコーポレイテッド
Publication of JP2020517164A publication Critical patent/JP2020517164A/ja
Priority to JP2022174378A priority Critical patent/JP7357747B2/ja
Application granted granted Critical
Publication of JP7169988B2 publication Critical patent/JP7169988B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167Position within a video image, e.g. region of interest [ROI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

コーディングデバイス(たとえば、エンコーダおよび/もしくはデコーダであってよく、またはそれらを含んでよい)は、360度ビデオのフレームパッキングされたピクチャを受信することができる。コーディングデバイスは、現在のブロックが属するフレームパッキングされたピクチャにおける面を識別することができる。コーディングデバイスは、現在のブロックが属する面の境界に現在のブロックが配置されていると決定することができる。コーディングデバイスは、現在のブロックの複数の球隣接ブロック識別することができる。コーディングデバイスは、クロス面境界隣接ブロックを識別することができる。コーディングデバイスは、クロス面境界隣接ブロックに対応するフレームパッキングされたピクチャにおけるブロックを識別することができる。コーディングデバイスは、識別されたブロックの使用可能性に基づいて、現在のブロックをコーディングするために識別されたブロックを使用するかどうかを決定することができる。コーディングデバイスは、識別されたブロックを使用するという決定に基づいて現在のブロックをコーディングすることができる。

Description

面連続性を使用する360度ビデオコーディングに関する。
関連出願の相互参照
本出願は、その内容が参照によって本明細書に組み込まれる、2017年4月11日に出願された米国特許仮出願第62/484,218号明細書、および2017年6月28日に出願された米国特許仮出願第62/525,880号明細書の利益を主張するものである。
バーチャルリアリティ(VR)が私たちの日常生活に入り始めている。たとえば、VRは、医療、教育、ソーシャルネットワーキング、産業デザイン/トレーニング、ゲーム、映画、買物、および/または娯楽を含むがこれらに限定されない分野で多くの用途を有する。VRは、たとえば、見る人を取り囲むバーチャル環境を作り出し、見る人にとって「そこにいる」という真の感覚を生成することによって、見る人の体験を高めることができる。ユーザの体験は、たとえば、VR環境において完全な現実感を提供することに依存することがある。たとえば、VRシステムは、姿勢、ジェスチャ、視線、および/または声を通した対話をサポートすることができる。VRシステムは、ユーザに触覚フィードバックを提供して、ユーザが自然な方法でVR世界内のオブジェクトと対話することを可能にすることができる。VRシステムは、360度ビデオを使用して、たとえば、水平方向に360度の角度および/または垂直方向に180度の角度からシーンを見る能力をユーザに与えることができる。
コーディングデバイス(たとえば、エンコーダおよび/もしくはデコーダであってよく、またはエンコーダおよび/もしくはデコーダを含んでよいデバイス)は、360度ビデオのフレームパッキングされたピクチャを受信することができる。フレームパッキングされたピクチャは、複数の面、および現在のブロックを含むことができる。コーディングデバイスは、現在のブロックが属するフレームパッキングされたピクチャにおける面を識別することができる。コーディングデバイスは、現在のブロックが属する面の退出境界に現在のブロックが配置されていると決定することができる。たとえば、コーディングデバイスは、フレームパッキングされたピクチャのコーディング順序に応じて、現在のブロックが属する面の退出境界に現在のブロックが配置されていると決定することができる。現在のブロックが属する面の退出境界は、現在のブロックに対してコーディング順序の同じ方向で配置され得る。
フレームパッキングされたピクチャは、コーディング順序でコーディングされ得る。例では、コーディング順序は、フレームパッキングされたピクチャに関連付けられた現在のブロックに対して左から右の方向を有することがある。例では、コーディング順序は、現在のブロックに対して上から下の方向を有することがある。例では、コーディング順序は、現在のブロックに対して左から右および上から下の方向を有することがある。例では、コーディング順序が現在のブロックに対して左から右の方向を有する場合、面の退出境界は、右側(たとえば、現在のブロックが属する面の最右側)に配置され得る。例では、コーディング順序が現在のブロックに対して上から下の方向を有する場合、面の退出境界は、下側(たとえば、現在のブロックが属する面の最下側)に配置され得る。例では、コーディング順序が現在のブロックに対して左から右および上から下の方向を有する場合、面の退出境界は、右および下側(たとえば、現在のブロックが属する面の最右および最下側)に配置され得る。
現在のブロックが属する面の退出境界に現在のブロックが配置されていると決定すると、コーディングデバイスは、現在のブロックをコーディングするために、現在のブロックが属する面の退出境界と境界を共有する面に配置されたクロス面境界隣接ブロックを使用することができる。たとえば、コーディングデバイスは、現在のブロックの複数の球隣接ブロックを識別することができる。たとえば、コーディングデバイスは、360度ビデオの球特性に基づいて、現在のブロックの複数の球隣接ブロックを識別することができる。コーディングデバイスは、現在のブロックに関連付けられたクロス面境界隣接ブロックを識別することができる。たとえば、コーディングデバイスは、現在のブロックの識別された複数の球隣接ブロックのうちのクロス面境界隣接ブロックを識別することができる。例では、クロス面境界隣接ブロックは、現在のブロックが属する面の退出境界と境界を共有する面に配置されることがある。例では、クロス面境界隣接ブロックは、現在のブロックが属しかつ現在のブロックに対してコーディング順序の同じ方向で配置された面境界の反対側に配置されることがある。
コーディングデバイスは、現在のブロックをコーディングするためにクロス面境界隣接ブロックを使用するかどうかを決定することができる。たとえば、クロス面境界隣接ブロックに対応するフレームパッキングされたピクチャにおけるブロックが識別され得る。クロス面境界隣接ブロックに対応するフレームパッキングされたピクチャにおけるブロックは、360度ビデオのフレームパッキング情報に基づいて識別され得る。コーディングデバイスは、現在のブロックをコーディングするためにクロス面境界隣接ブロックに対応するフレームパッキングされたピクチャにおける識別されたブロックを使用するかどうかを、フレームパッキングされたピクチャにおける識別されたブロックの使用可能性に基づいて決定することができる。たとえば、フレームパッキングされたピクチャにおける識別されたブロックの使用可能性は、識別されたブロックがコーディングされたかどうかに基づいて決定され得る。コーディングデバイスは、フレームパッキングされたピクチャにおける識別されたブロックを使用するという決定に基づいて、現在のブロックをコーディングすることができ、クロス面境界隣接ブロックに対応する識別された使用可能なブロックを使用して現在のブロックをコーディングすることができる。
本明細書で使用される場合、360度ビデオは、球面ビデオ、全方位ビデオ、バーチャルリアリティ(VR)ビデオ、パノラマビデオ、没入型ビデオ(たとえば、6自由度を含むことができるライトフィールドビデオ)、および/または点群ビデオなどを含んでよく、またはそれらであり得る。
経度(φ)および緯度(θ)における例示的な球面サンプリングを示す図である。 エクイレクタングラ投影(ERP)を使用して2D平面に投影されている例示的な球を示す図である。 ERPを使用して作成された例示的なピクチャを示す図である。 キューブマップ投影(CMP)における例示的な3Dジオメトリ構造を示す図である。 4×3フレームパッキングを用いた例示的な2D平面を示す図である。 CMPを使用して作成された例示的なピクチャを示す図である。 360度ビデオシステムの例示的なワークフローを示す図である。 ERPを使用して反復的パディング境界によって生成された例示的なピクチャを示す図である。 CMPを使用して反復的パディング境界によって生成された例示的なピクチャを示す図である。 パディングジオメトリを示すERPのための例示的なジオメトリパディングを示す図である。 パディングされたERPピクチャを示すERPのための例示的なジオメトリパディングを示す図である パディングされたジオメトリを示すCMPのための例示的なジオメトリパディングプロセスを示す図である パディングされたCMP面を示すCMPのための例示的なジオメトリパディングプロセスを示す図である。 ブロックベースのビデオエンコーダの例示的な図である。 ブロックベースのビデオデコーダの例示的な図である。 高効率ビデオコーディング(HEVC)イントラ予測において使用される例示的な基準サンプルを示す図である。 HEVCにおけるイントラ予測方向の例示的な表示を示す図である。 上基準行を左に延ばす左基準サンプルの例示的な投影を示す図である。 左基準列を上方へ延ばす上方基準サンプルの例示的な投影を示す図である。 イントラモード2のための例示的な境界予測フィルタリングを示す図である。 イントラモード34のための例示的な境界予測フィルタリングを示す図である。 イントラモード3〜6のための例示的な境界予測フィルタリングを示す図である。 イントラモード30〜33のための例示的な境界予測フィルタリングを示す図である。 HEVCイントラ角度プロセスにおける最確モードに使用される例示的な空間的隣接要素を示す図である。 クロスコンポーネント線形モデル予測におけるαおよびβの導出に使用されるサンプルの例示的なロケーションを示す図である。 1つの動きベクトルを有する例示的なインター予測を示す図である。 ピクチャ境界の外側の基準サンプルのための例示的なパディングを示す図である。 HEVCマージプロセスにおけるマージ候補に使用される例示的な空間的隣接要素を示す図である。 CMPの3D表現を示す図である。 CMPの例示的な3×2フレームパッキング構成を示す図である。 イントラおよびインターコーディングにおいて現在のブロックを予測するために使用される例示的な再構成されたサンプルを示す図である。 右面境界における例示的な空間的隣接要素を示す図である。 下面境界における例示的な空間的隣接要素を示す図である。 右下面境界における例示的な空間的隣接要素を示す図である。 右面境界における再構成されたサンプルの例示的な使用可能性を示す図である。 下面境界における再構成されたサンプルの例示的な使用可能性を示す図である。 右下面境界における再構成されたサンプルの例示的な使用可能性を示す図である。 右面境界における例示的な追加のイントラ予測モードを示す図である。 下面境界における例示的な追加のイントラ予測モードを示す図である。 右面境界における例示的な追加のイントラ予測モードを示す図である。 右面境界における例示的な追加のイントラ予測モードを示す図である。 下面境界における例示的な追加のイントラ予測モードを示す図である。 下面境界における例示的な追加のイントラ予測モードを示す図である。 右面境界における例示的な双方向イントラ予測を示す図である。 右面境界における例示的な双方向イントラ予測を示す図である。 下面境界における例示的な双方向イントラ予測を示す図である。 下面境界における例示的な双方向イントラ予測を示す図である。 イントラモード2についての右面境界における例示的な境界予測フィルタリングを示す図である。 イントラモード3〜6についての右面境界における例示的な境界予測フィルタリングを示す図である。 イントラモード7〜9についての右面境界における例示的な境界予測フィルタリングを示す図である。 イントラモード10についての右面境界における例示的な境界予測フィルタリングを示す図である。 イントラモード11〜17についての右面境界における例示的な境界予測フィルタリングを示す図である。 イントラモード18についての右面境界における例示的な境界予測フィルタリングを示す図である。 イントラモード19〜21についての右面境界における例示的な境界予測フィルタリングを示す図である。 イントラモード22についての右面境界における例示的な境界予測フィルタリングを示す図である。 イントラモード14についての下面境界における例示的な境界予測フィルタリングを示す図である。 イントラモード15〜17についての下面境界における例示的な境界予測フィルタリングを示す図である。 イントラモード18についての下面境界における例示的な境界予測フィルタリングを示す図である。 イントラモード19〜25についての下面境界における例示的な境界予測フィルタリングを示す図である。 イントラモード26についての下面境界における例示的な境界予測フィルタリングを示す図である。 イントラモード27〜29についての下面境界における例示的な境界予測フィルタリングを示す図である。 イントラモード30〜33についての下面境界における例示的な境界予測フィルタリングを示す図である。 イントラモード34についての下面境界における例示的な境界予測フィルタリングを示す図である。 右面境界におけるクロスコンポーネント線形モデル予測のために使用されるサンプルの例示的なロケーションを示す図である。 下面境界におけるクロスコンポーネント線形モデル予測のために使用されるサンプルの例示的なロケーションを示す図である。 右下面境界におけるクロスコンポーネント線形モデル予測のために使用されるサンプルの例示的なロケーションを示す図である。 線形モデルパラメータを計算するための例示的な式(たとえば、式(38)、(41)、(43)、および(44))を示す図である。 CMP3×2パッキング構成のためのブロック処理順序の例のラスタ走査順序を示す図である。 CMP3×2パッキング構成のためのブロック処理順序の例の面走査順序を示す図である。 例示的なコーディングツリーユニット(CTU)およびブロック分割を示す図である。 例示的な3×2パッキング構成を示し、破線はCTU境界を表すことができ、矢印は2つの面の間の共有された境界を表すことができる図である。 本明細書に説明されるような例示的な3×2パッキング構成を示し、破線はCTU境界を表すことができ、矢印は2つの面の間の共有された境界を表すことができる図である。 1つまたは複数の開示されている実施形態が実装され得る例示的な通信システムを示すシステム図である。 実施形態に従って図33Aに示される通信システム内で使用され得る例示的なワイヤレス送信/受信ユニット(WTRU)を示すシステム図である。 実施形態に従って図33Aに示される通信システム内で使用され得る例示的な無線アクセスネットワーク(RAN)および例示的なコアネットワーク(CN)を示すシステム図である。 実施形態に従って図33Aに示される通信システム内で使用され得る別の例示的なRANおよび別の例示的なCNを示すシステム図である。
ここで、例示的実施形態の詳細な説明が様々な図を参照して説明される。この説明は可能な実装形態の詳細な例を提供するが、詳細は例示であることが意図され、本出願の範囲を何ら限定するものでないことに留意されたい。
VRシステムおよび/または360度ビデオは、たとえば、超高精細(UHD)サービスを超えるメディア消費向けであり得る。VRにおける360度ビデオの品質を改善すること、および/またはクライアントの相互運用性のための処理チェーンを標準化することが、1つまたは複数のグループによって取り組まれていることがある。例では、ISO/IEC/MPEGにおいてアドホックグループが設立されて、全方位メディアアプリケーションフォーマットに関する要件および/または技術に取り組むことがある。例では、アドホックグループが、360度3Dビデオアプリケーションに関する調査実験を行っていることがある。アドホックグループは、360度ビデオ(たとえば全方位ビデオ)ベースのシステムおよび/またはマルチビューベースのシステムについて試験していることがある。次世代ビデオコーディング規格の技術を探索しているMPEGおよびITU−Tの共同ビデオ探索チーム(joint video exploration team:JVET)は、VRを含むテストシーケンスに対する要求を発表した。アドホックグループ(AHG8)が設立されており、AHG8グループの任務は、360度ビデオコーディングのための共通テスト条件、テストシーケンスフォーマット、および評価基準を作ることである。AHG8は、異なる投影法が適用されたときの圧縮に対する影響、および変換ソフトウェアについて検討することがある。1つまたは複数の会社が、360度ビデオ用のコーディング技術を開発するためにテストシーケンスとしていくつかの360度ビデオを進んで提供していた。投影フォーマット変換を行い、客観的360度ビデオ品質メトリックを測定して、共通テスト条件および評価手順のセットに従って実験を行うために、参照ソフトウェア360LibがJVETによって確立される。360度ビデオコーディングについての関心を考慮して、JVETは、HEVCを超える機能を有するビデオ圧縮に関するエビデンスを求める予備的共同要求に360度ビデオを含めることを合意した。
取り込み、処理、表示、および/または適用を含むVR処理チェーンにおける1つまたは複数の態様の品質および/またはユーザの体験が改善され得る。たとえば、取り込み側において、VRシステムは、1つまたは複数のカメラを使用して、1つまたは複数の異なるビュー(たとえば、6〜12ビュー)からシーンを取り込むことができる。異なるビューは、高解像度(たとえば、4Kまたは8K)で360度ビデオを形成するように一緒にスティッチされ得る。たとえば、クライアントまたはユーザ側において、VRシステムは、計算プラットフォーム、ヘッドマウントディスプレイ(HMD)、および/または頭部追跡センサを含むことができる。計算プラットフォームは、360度ビデオを受信および/またはデコードすることができ、表示のためのビューポートを生成することができる。各眼に1つずつの2つのピクチャが、ビューポートのためにレンダリングされ得る。2つのピクチャは、立体視のためにHMDにおいて表示され得る。レンズが使用され、より良く見えるようにHMDにおいてイメージを拡大することができる。頭部追跡センサが、見る人の頭部の向きを絶えず追跡し続ける(たとえば、継続的に追跡し続ける)ことができ、向き情報をシステムに供給してビューポートピクチャをその向きに表示することができる。VRシステムは、見る人のためにタッチデバイス(たとえば、専用タッチデバイス)を提供して、たとえば、仮想世界内でオブジェクトと対話することができる。例では、VRシステムは、GPUサポートを有するワークステーションによって駆動され得る。例では、VRシステムは、スマートフォンを、計算プラットフォーム、HMDディスプレイ、および/または頭部追跡センサとして使用することができる。空間HMD解像度は、2160×1200であってよい。リフレッシュレートは90Hzであってよく、視野(FOV)は110度であってよい。頭部追跡センサのサンプリングレートは、1000Hzであってよく、それにより、速い(たとえば非常に速い)動きを取り込むことができる。VRシステムの例は、計算プラットフォームとしてスマートフォンを使用してよく、レンズおよび/またはカードボードを含んでよい。360度ビデオストリーミングサービスが存在し得る。
対話性および/または触覚フィードバックなどの体感品質がVRシステムにおいて改善され得る。たとえば、HMDは、大きすぎることがあり、および/または着用するのに便利でないことがある。HMDにより提供される解像度(たとえば、立体視に対して2160×1200)は不十分なことがあり、ユーザに対して目まいおよび/または不快感を引き起こすことがある。解像度は増大され得る。VR環境における視覚からの感覚が、現実世界におけるフィードバック(たとえば、力フィードバック)と組み合わされてよく、VR体験を強化することができる。VRローラコースタは、そのような組み合わされた例示的なアプリケーションであり得る。
360度ビデオ配信は、360度情報を、たとえば球ジオメトリ構造を使用して表すことができる。たとえば、1つまたは複数のカメラにより取り込まれた同期された1つまたは複数のビューが、球上で一体構造としてスティッチされ得る。球情報は、ジオメトリ変換プロセスを用いて2D平面上に投影され得る。たとえば、投影フォーマットを示すために、エクイレクタングラ投影(ERP)および/またはキューブマップ投影(CMP)が使用されてよい。
ERPは、球体の緯度および/または経度座標をグリッドの水平および/または垂直座標に(たとえば直接的に)マッピングすることができる。図1Aは、経度(φ)および緯度(θ)における球面サンプリングの例を示す。図1Bは、たとえばERPを使用して、2D平面に投影されている球の例を示す。図1Cは、ERPを用いた投影ピクチャの例を示す。航空学において、範囲[−π,π]内の経度φは、ヨーとされることがあり、範囲[−π/2,π/2]内の緯度θは、ピッチとされることがある。πは、円の直径に対する円周の比であり得る。図1A〜Bでは、(x,y,z)は3D空間内の点の座標を表すことができ、(ue,ve)は、2D平面内の1点の座標を表すことができる。ERPは、式1および/または2で示されるように数学的に表され得る。
ue=(φ/2×π)+0.5)×W (1)
ve=(0.5−θ/π)×H (2)
ここで、WおよびHは、2D平面ピクチャの幅および高さとすることができる。図1Aに示されるように、球上の経度L4と緯度A1との間の交点である点Pは、式(1)および(2)を使用して2D平面内の一意の点q(たとえば図1B)にマッピングされ得る。2D平面内の点qは、逆投影を介して球上の点Pに投影されて戻され得る。図1Bにおける視野(FOV)では、球におけるFOVが、X軸に沿った視野角が約110度で2D平面にマッピングされる例を示すことができる。
360度ビデオは、ERPを使用して2Dビデオにマッピングされ得る。たとえば、360度ビデオは、H.264および/またはHEVCなどのビデオコーデックを用いてエンコードされ得る。エンコードされた360度ビデオは、クライアントに配信され得る。クライアント側では、エクイレクタングラビデオがデコードされ得る。エクイレクタングラビデオは、たとえば、ユーザのビューポートに基づいて、エクイレクタングラピクチャ内のFOVに属する部分をHMD上に投影および/または表示することによって、レンダリングされ得る。球面ビデオは、ERPを用いたエンコードのために2D平面ピクチャに変換され得る。エクイレクタングラ2Dピクチャの特性は、2Dピクチャ(たとえば、レクティリニアビデオ(rectilinear video)ピクチャ)と異なり得る。
図1Cは、ERPを使用して作成された例示的なピクチャを示す。図1Cに示されるように、ERPピクチャの最上部分および/または最下部分(たとえば、それぞれ北極および/または南極)が、たとえばピクチャの中央部(たとえば赤道)と比べて引き伸ばされ得る。ERPピクチャの最上部分および/または最下部分の引き伸ばしは、球サンプリング密度がERPフォーマットに対して不均一であり得ることを示し得る。隣接ERPピクチャ間の時間相関を記述し得る動きフィールドは、2Dビデオよりも複雑になり得る。
ビデオコーデック(たとえば、MPEG−2、H.264、またはHEVC)は、並進モデルを使用して動きフィールドを記述することができる。ビデオコーデックは、エクイレクタングラ投影された2D平面ピクチャにおいて、形状変化運動を表せない(たとえば、効率的に表せない)ことがある。図1Cに示されるように、ERPにおける極(たとえば、北極および/または南極)により近いエリアは、見る人および/またはコンテンツプロバイダにとって関心がより低くなり得る。たとえば、見る人は、長い持続時間にわたって最上領域および/または最下領域に焦点を合わせないことがある。歪み効果に基づいて、引き伸ばされたエリアは、ERP後に2D平面のより大きな部分となることがあり、これらの領域を圧縮することは、より多くのビットを要することがある。エクイレクタングラピクチャコーディングは、平滑化などの前処理を極エリアに適用して極エリアをコーディングするための帯域幅を減少させることによって改善され得る。1つまたは複数のジオメトリ投影が、360度ビデオを複数の面上にマッピングするために使用され得る。たとえば、1つまたは複数のジオメトリ投影は、キューブマップ、正積、円筒、角錐、および/または八面体を含み得るが、これらに限定されない。
キューブマップ投影(CMP)は、圧縮に都合の良いフォーマットであり得る。CMPは6つの面を含む。たとえば、CMPは、6つの正方形の面を含むことができる。面は、平面正方形であり得る。図2Aは、CMPにおける例示的な3Dジオメトリ構造を示す。示された内接球の半径が1である場合(たとえば図2A)、CMPの1つまたは複数の面(たとえば正方形面)の横方向長さは2であり得る。図2Bは、エンコードおよび/または配信のために使用され得る、長方形ピクチャに6つの面を配置するための例示的な2Dパッキング方法を示す。図2Cは、CMPを使用して作成された例示的なピクチャを示す。図2Cに示される網掛け部分は、長方形ピクチャを埋めるようにパディングされた領域であり得る。面について、ピクチャは2Dピクチャと同じに見え得る。面の境界は、連続してないことがある。たとえば、2つの隣接面を横切る直線は、2つの面の境界において、曲がることがあり、および/または複数の線分(たとえば、2つの線分)となることがある。面境界における動きは不連続であり得る。
1つまたは複数の異なるジオメトリ投影のコーディング効率のために1つまたは複数の客観的品質メトリクスが提案されている。たとえば、ピーク信号対雑音比(PSNR)測定値は、球PSNR(spherical PSNR:S−PSNR)およびビューポートPSNRを含み得る。S−PSNRでは、(たとえば、球上に均一に分布し得る)予め定義されたサンプルのセットに対して計算された平均二乗誤差(MSE)を用いて歪みが測定され得る。緯度ベースのPSNR(L−PSNR)が使用されてよい。L−PSNRは、サンプルの緯度に基づいて1つまたは複数のサンプルに重み付けすることによって見る人の見る挙動を考慮することができる。重みは、見る人がトレーニングシーケンスを見るときに見る人の視野角を追跡することによって導出され得る。重みは、それが頻繁に見られる場合により大きくなり得る。統計から、赤道周辺の重みがより大きくなり得る。たとえば、関心のあるコンテンツは赤道周辺に配置され得るので、赤道周辺の重みは極付近の重みよりも大きくなり得る。ビューポートPSNRの場合、ビューポートがレンダリングされてよく、レンダリングされたビューポートに対してPSNRが計算されてよい。球の部分は、たとえば歪み測定に関して考慮され得る。平均ビューポートPSNRは、球の異なる部分をカバーする複数のビューポートにわたって計算され得る。S−PSNRは、いくつかのサンプルを考慮することができる。たとえば、S−PSNRは、球上に均一に分布し得るサンプルを考慮することができる。球状に均一な重み付けPSNR(weighted to spherically uniform PSNR:WS−PSNR)が使用され得る。WS−PSNRは、2D投影面上で使用可能な1つまたは複数(たとえば全て)のサンプルを使用してPSNRを計算することができる。2D投影面上の1つまたは複数の位置に関して、歪みは、そのサンプル位置によりカバーされる球エリアによって重み付けされ得る。WS−PSNRは、たとえば直接的に投影面で計算され得る。異なる投影フォーマットに対して異なる重みが導出され得る。クラスター放物線投影(Craster parabolic projection:CPP)が360度イメージを投影するために使用されてよく、および/または投影されたイメージ上でPSNRを計算してよい。この手法はCPP−PSNRであり得る。
エクイレクタングラフォーマットは、360度カメラおよび/またはスティッチ手順でサポートされ得る。キューブマップジオメトリにおける360度ビデオのエンコードは、エクイレクタングラフォーマットからキューブマップフォーマットへの変換を使用することができる。エクイレクタングラは、キューブマップと関係を有し得る。図2Aでは、6つの面(たとえば、PX、NX、PY、NY、PZ、およびNZ)、および球の中心(たとえば、O)から面の中心に進む3つの軸(たとえば、X、Y、およびZ)が存在する。「P」は正を表すことができ、「N」は負を表すことができる。PXは、球の中心から正のx軸に沿った方向であってよく、NXは、PXの反対方向であってよい。同様の記法がPY、NY、PZ、およびNZに使用されてよい。6つの面(たとえば、PX、NX、PY、NY、PZ、およびNZ)はそれぞれ、前、後、上、下、左、および右の面に対応することができる。面は、0から5までインデックスを付けられ得る(たとえば、PX(0)、NX(1)、PY(2)、NY(3)、PZ(4)、およびNZ(5))。Ps(X_s、Y_s、Z_s)は、半径1の球上の点とすることができる。点Psは、以下のようにヨーφおよびピッチθで表され得る。
X_s=cos(θ)cos(φ) (3)
Y_s=sin(θ) (4)
Z_s=−cos(θ)sin(φ) (5)Pfは、直線を球中心からPsに延ばしたときの立方体上の点とすることができる。Pfは、面NZ上であることができる。Pfの座標(X_f,Y_f,Z_f)は以下のように計算され得る。
X_f=X_s/|Z_s| (6)
Y_f=Y_s/|Z_s| (7)
Z_f=−1 (8)
ここで、|x|は、変数xの絶対値とすることができる。面NZの2D平面内のPfの座標(uc,vc)は、以下のように計算され得る。
uc=W×(1−X_f)/2 (9)
vc=H×(1−Y_f)/2 (10)
1つまたは複数の式(3)から(10)を使用して、特定の面上のキューブマップにおける座標(uc,vc)と球上の座標(φ,θ)との間の関係が存在し得る。エクイレクタングラ点(ue,ve)と球上の座標(φ,θ)との間の関係は、式(1)および/または(2)から知られ得る。エクイレクタングラジオメトリとキューブマップジオメトリとの間の関係が存在し得る。キューブマップからエクイレクタングラへのジオメトリマッピングが表現され得る。たとえば、点(uc,vc)は、キューブマップ上の面上に与えられ得る。エクイレクタングラ面上の出力(ue,ve)が計算され得る。たとえば、面上の3D点P_fの座標は、式(9)および(10)に基づいて(uc,vc)で計算され得る。球上の3D点P_sの座標は、式(6)、(7)、および(8)に基づいてP_fで計算され得る。球上の(φ,θ)は、式(3)、(4)、および(5)に基づいてP_sで計算され得る。エクイレクタングラピクチャ上の点の座標(ue,ve)は、式(1)および(2)に基づいて(φ,θ)から計算され得る。
360度ビデオは、2Dピクチャで表され得る。たとえば、360度ビデオは、キューブマップを使用して2Dピクチャで表され得る。キューブマップの6つの面は、四角形エリア内にパッキングされ得る。これは、フレームパッキングであり得る。フレームパッキングされたピクチャは、2Dピクチャとして取り扱われる(たとえば、コーディングされる)ことが可能である。異なるフレームパッキング構成(たとえば、3×2および/または4×3パッキング構成)が使用されてよい。3×2構成では、6つのキューブマップ面が2つの行内にパッキングされてよく、3つの面が1つの行内となる。4×3構成では、4つの面(たとえば、PX、NZ、NX、およびPZ)が、1つの行(たとえば、中央行)内にパッキングされてよく、面PYおよびNYは、2つの異なる行(たとえば、上行および下行)内にパッキング(たとえば、別個にパッキング)されてよい。図2Cは、図1Cにおけるエクイレクタングラピクチャに対応する4×3フレームパッキングの例を示す。
エクイレクタングラフォーマットにおける360度ビデオは入力とされてよく、キューブマップフォーマットに変換され得る。キューブマップフォーマットにおける(たとえば各)サンプル位置(uc,vc)に対して、エクイレクタングラフォーマットにおける対応する座標(ue,ve)が計算され得る。計算されたエクイレクタングラにおける座標(ue,ve)が整数サンプル位置でない場合、この補間フィルタが使用され得る。たとえば、補間フィルタは、隣接整数位置からのサンプルを使用して小数位置でサンプル値を取得するために使用され得る。
図3は、360度ビデオシステムの例示的なワークフローを示す。ワークフローは、(たとえば、球空間全体をカバーする)1つまたは複数のカメラを使用する360度ビデオ取り込みを含み得る。ビデオは、(たとえば、エクイレクタングラジオメトリ構造を使用して)ジオメトリ構造において一緒にスティッチされ得る。エクイレクタングラジオメトリ構造は、エンコード(たとえば、ビデオコーデックを用いたエンコード)のために、別のジオメトリ構造(たとえば、キューブマップまたは他の投影フォーマット)に変換され得る。コーディングされたビデオは、たとえば動的ストリーミングまたはブロードキャストを介して、クライアントに配信され得る。ビデオはデコードされ得る。たとえば、ビデオは受信機でデコードされ得る。展開されたフレームは、ジオメトリ(たとえばエクイレクタングラ)を表示するためにアンパッキングされ得る。ジオメトリは、(たとえば、ユーザの視野角に応じるビューポート投影を介して)レンダリングのために使用され得る。
クロマ成分は、たとえば、より小さい解像度にサブサンプリングされ得る。たとえば、クロマ成分は、ルーマ成分のそれよりも小さな解像度にサブサンプリングされ得る。クロマサブサンプリングは、エンコードのために使用されるビデオデータの量を減らすことができ、ビデオ品質に影響する(たとえば、著しく影響する)ことなしに、帯域幅および/またはコンピューティング能力を節約することができる。4:2:0クロマフォーマットでは、両方のクロマ成分が、ルーマ解像度の1/4(たとえば、水平に1/2および垂直に1/2)にサブサンプリングされ得る。クロマサブサンプリングの後、クロマサンプリンググリッドはルーマサンプリンググリッドと異なり得る。図3では、処理フロー全体を通して、各段で処理される360度ビデオは、クロマ成分がサブサンプリングされたクロマフォーマットであり得る。
ビデオコーデックは、平面上にキャプチャされた2Dビデオを考慮して設計され得る。動き補償予測が参照ピクチャの境界の外側で1つまたは複数のサンプルを使用するとき、ピクチャ境界からサンプル値をコピーすることによってパディングが行われ得る。たとえば、反復的パディングが、ピクチャ境界からサンプル値をコピーすることによって行われ得る。図4A〜Bは、ERP(たとえば図4A)およびCMP(たとえば図4B)に関する反復的パディングによって生成された延ばされたピクチャの例を示す。図4A〜Bでは、元のピクチャは、点線のボックス内であってよく、延ばされた境界は、点線のボックスの外側であってよい。360度ビデオは、球全体に関するビデオ情報を含むことができ、周期的特性を有することができる。360度ビデオの周期的特性を考慮すると、360度ビデオの参照ピクチャは境界を有しなくてよく、なぜならば、360度ビデオのピクチャが含む情報が、球の周囲に巻き付けられ得るからである。周期的特性は、1つもしくは複数の異なる投影フォーマットについて維持されることができ、またはそのフレームパッキングが2D平面上で360度ビデオを表すために使用される。ジオメトリパディングは、360度ビデオコーディングのために使用され得る。たとえば、ジオメトリパディングは、サンプルをパディングすることによって、および/または360度ビデオに表された3Dジオメトリ構造を考慮することによって、360度ビデオコーディングのために使用され得る。
ERPのためのジオメトリパディングは、経度および/または緯度を用いて球上で定義され得る。たとえば、パディングされる点(u,v)が(たとえば、ERPピクチャの外側に)与えられると、パディングサンプルを導出するために使用される点(u’,v’)が以下のように計算され得る。
(u<0またはu≧W)かつ(0≦v<H)ならば、u’=u%W,v’=v; (11)
Figure 2020517164
Figure 2020517164
ここで、WおよびHは、ERPピクチャの幅および高さとすることができる。図5Aは、ERPのための例示的なジオメトリパディングプロセスを示す。ピクチャの左境界の外側、すなわち図5AのA、B、およびCにおけるサンプルのパディングの場合、サンプルは、ピクチャの右境界内側に配置されたA’、B’、およびC’における対応するサンプルでパディングされ得る。ピクチャの右境界の外側(たとえば、図5AのD、E、およびFにおけるサンプル)のパディングの場合、サンプルは、ピクチャの左境界内側に配置されたD’、E’、およびF’における対応するサンプルでパディングされ得る。ピクチャの上境界の外側に配置されたサンプル、すなわち図5AのG、H、I、およびJにおけるサンプルの場合、サンプルは、幅の半分のオフセットでピクチャの上境界内側に配置されたG’、H’、I’、およびJ’における対応するサンプルでパディングされる。ピクチャの下境界の外側に配置されたサンプル(たとえば、図5AのK、L、M、およびNにおけるサンプル)の場合サンプルは、幅の半分のオフセットでピクチャの下境界内側に配置されたK’、L’、M’、およびN’における対応するサンプルでパディングされる。図5Bは、ジオメトリパディングを使用した例示的な延ばされたERPピクチャを示す。図5A〜Bに示されるジオメトリパディングは、ERPピクチャ境界の外側のエリアについて、有意なサンプルを提供し、および/または隣接サンプルの連続性を改善することができる。
コーディングされたピクチャがCMPフォーマットである場合、CMPの面は、隣接面のサンプルを現在の面の延ばされたエリア上に投影することを通してジオメトリパディングを使用することによって延ばされ得る。図6Aは、3Dジオメトリにおける所与のCMP面についてジオメトリパディングが行われ得るやり方の例を示す。図6Aでは、点Pは、面F1上とすることができ、面F1’境界の外側とすることができる。点Pは、パディングされ得る。点Oは、球の中心であり得る。Rは、Pに最も近い左境界点とすることができ、面F1の内側とすることができる。点Qは、中心点Oからの点Pの面F2上の投影点とすることができる。ジオメトリパディングは、(たとえば、点Pにおけるサンプル値を充填するために点Rにおけるサンプル値は使用するのではなく、)点Pにおけるサンプル値を充填するために点Qにおけるサンプル値を使用することができる。図6Bは、CMP3×2ピクチャについてのジオメトリパディングを有する例示的な延ばされた面を示す。図6A〜Bに示されるジオメトリパディングは、CMP面境界の外側のエリアについて有意なサンプルを提供することができる。
図7は、例示的なブロックベースのハイブリッドビデオエンコードシステム600を示す。入力ビデオ信号602は、ブロック毎に処理され得る。高解像度(たとえば、1080pおよび/または1080p超)ビデオ信号を圧縮するために、(たとえば、HEVCにおいて)延ばされたブロックサイズ(たとえば、コーディングユニットまたはCU)が使用され得る。CUは、(たとえばHEVCにおいて)最大で64×64ピクセルを有することができる。CUは、別々の予測が適用され得る予測ユニットまたはPUに分割され得る。入力ビデオブロック(たとえば、マクロブロック(MB)またはCU)に対して、空間予測660または時間予測662が実行され得る。空間予測(たとえばイントラ予測)は、同じビデオピクチャおよび/またはスライス内の既にコーディングされた隣接ブロックからのピクセルを使用して、現在のビデオブロックを予測することができる。空間予測は、ビデオ信号に固有の空間冗長性を低減させることができる。時間予測(たとえば、インター予測または動き補償予測)は、既にコーディングされたビデオピクチャからのピクセルを使用して、現在のビデオブロックを予測することができる。時間予測は、ビデオ信号に固有の時間冗長性を低減させることができる。与えられたビデオブロックのための時間予測信号は、現在のブロックとその基準ブロックとの間の動きの量および/または方向を示す、動きベクトルによってシグナリングされ得る。(たとえば、H.264/AVCまたはHEVCにおいて)複数の参照ピクチャがサポートされる場合、ビデオブロックの参照ピクチャインデックスがデコーダにシグナリングされ得る。参照ピクチャストア664内のどの参照ピクチャから時間予測信号が到来し得るかを識別するために、基準インデックスが使用され得る。
空間予測および/または時間予測の後、エンコーダにおけるモード決定680が、たとえばレート−歪み最適化に基づいて、予測モードを選択することができる。616で、予測ブロックが現在のビデオブロックから減算され得る。予測残差は、変換モジュール604および量子化モジュール606を使用して非相関化されてターゲットビットレートを達成することができる。量子化された残差係数は、610で逆量子化され、612で逆変換されて、再構成された残差を形成することができる。再構成された残差は、626で予測ブロックに加算され直されて、再構成されたビデオブロックを形成することができる。デブロッキングフィルタおよび/または適応ループフィルタなどのループ内フィルタが、666で、再構成されたビデオブロックに適用されることができ、その後、それは参照ピクチャストア664に入れられる。参照ピクチャストア664における参照ピクチャは、将来のビデオブロックをコーディングするために使用され得る。出力ビデオビットストリーム620が形成され得る。コーディングモード(たとえば、インターまたはイントラ)、予測モード情報、動き情報、および/または量子化された残差係数が、エントロピーコーディングユニット608に送信され、圧縮およびパッキングされて、ビットストリーム620を形成することができる。
図8は、例示的なブロックベースのハイブリッドビデオデコーダを示す。図8のデコーダは、図7のエンコーダに対応し得る。ビデオビットストリーム202は、エントロピーデコードユニット208において受信、アンパッキングおよび/またはエントロピーデコードされ得る。コーディングモードおよび/または予測情報は、空間予測ユニット260(たとえば、イントラコーディングされている場合)および/または時間予測ユニット262(たとえば、インターコーディングされている場合)に送信され得る。予測ブロックは、空間予測ユニット260および/または時間予測ユニット262で形成され得る。残差変換係数は、逆量子化ユニット210および/または逆変換ユニット212に送信されて、残差ブロックを再構成することができる。226で、予測ブロックと残差ブロックが加算され得る。再構成されたブロックは、ループ内フィルタリング266を受けることができ、参照ピクチャストア264に記憶され得る。参照ピクチャストア264内の再構成されたビデオは、表示デバイスを駆動するために、および/または将来のビデオブロックを予測するために使用され得る。
2D平面レクティリニアビデオをコーディングするために、H.264およびHEVCなどのビデオコーデックが使用され得る。ビデオコーディングは、空間および/または時間相関を利用して、たとえば情報冗長性を除去することができる。様々な予測技法などのイントラ予測およびインター予測が、ビデオコーディング中に適用され得る。イントラ予測は、サンプル値を、その隣接の再構成されたサンプルを用いて予測することができる。図9は、現在の変換ユニット(TU)をイントラ予測するために使用され得る例示的な基準サンプルを示す。本明細書に説明されている現在のTUは、現在のブロックであってよく、この2つの用語は交換可能に使用されてよい。本明細書に説明されているように、基準サンプルは、現在のTUの上または左に配置された再構成されたサンプルを含むことができる。
1つまたは複数のイントラ予測モードが選択され得る。たとえば、HEVCは、図10に示されるように、平面(0)、DC(1)、および角度予測(2〜34)を含む、35個のイントラ予測モードを指定することができる。平面予測は、たとえば上および/または左の再構成されたサンプルを使用して、現在のブロックの一次近似を生成することができる。右上および左下サンプル値はそれぞれ、右列および下行に沿って(たとえば、ラスタ走査順序により)コピーされ得る。垂直予測子が、ブロック内の1つまたは複数の位置について、たとえば、対応する上および下のサンプルの重み付けされた平均を使用して形成され得る。水平予測子が、対応する左および右のサンプルを使用して形成され得る。最終予測子が、たとえば、垂直および水平予測子を平均することによって形成され得る。右下サンプル値は、右上および左下サンプル値の平均として推定され得る。右列(たとえば下行)は、右上および右下サンプル(たとえば左下および右下サンプル)を使用して推定され得る。
角度予測が、方向性テクスチャを予測するように設計され得る。たとえば、HEVCでは、イントラ角度予測プロセスが、所与の方向を利用して再構成された基準サンプルからサンプル値を推定することによって実行され得る。現在のブロック内の1つまたは複数(たとえば全て)のサンプルロケーションが、(たとえば角度モードに応じて)基準行または列に投影され得る。投影されたピクセルロケーションが負のインデックスを有する場合、基準行は、垂直予測のために左基準列を投影することによって左に延ばされることができ、基準列は、水平予測のために上基準行を投影することによって上方に延ばされることができる。図11A〜Bは、左基準サンプル(たとえば図11A)および上方基準サンプル(たとえば図11B)についての例示的な投影を示す。図11A〜Bにおける太い矢印は予測方向を表すことができ、細い矢印は基準サンプル投影を表すことができる。図11Aは、左基準列からのサンプルを使用して上基準行を延ばすための例示的なプロセスを示す。予測されたサンプルは、ブロッキングアーチファクトを減らすためにブロック境界でフィルタリングされ得る(たとえば、イントラ予測ブロックが生成されている)。(たとえば、HEVCにおける)垂直イントラモードの場合、予測サンプルsi,jの最左列は、左基準列Ri,jを使用して以下のように調整され得る。
1,j=s1,j+(R0,j−R0,0) j=1・・・N (14)
水平イントラモードでは、予測サンプルの最上行が同様のプロセスを使用して調整され得る。図12A〜Dは、他の角度モードのための境界予測フィルタリングの例を示す。たとえば、図12Aは、イントラモード2のための例示的な境界予測フィルタリングを示す。たとえば、図12Bは、イントラモード34のための例示的な境界予測フィルタリングを示す。たとえば、図12Cは、イントラモード3〜6のための例示的な境界予測フィルタリングを示す。たとえば、図12Dは、イントラモード30〜33のための例示的な境界予測フィルタリングを示す。1つまたは複数のイントラ予測モードにより生成された予測と元のサンプルとの間の歪みを最小にすることによって、近似イントラ予測モードがエンコーダ側で選択され得る。最確モード(MPM)が、(たとえば、イントラ予測モードを効率的にエンコードするために)イントラコーディングのために使用され得る。MPMは、空間的隣接PUのイントラ角度モードを再使用することができる。たとえば、MPMは、空間的隣接PUのイントラ角度モードを再使用することができ、したがって、それが現在のPUのためのイントラ角度モードをコーディングすることがない
図13は、MPM候補導出のために使用される例示的な空間的隣接要素(たとえば、左下(BL)、左(L)、右上(AR)、上(A)、左上(AL))を示す。選択されたMPM候補インデックスがコーディングされ得る。MPM候補リストは、エンコーダ側と同様の方法でデコーダで構築され得る。シグナリングされたMPM候補インデックスを有するエントリが、現在のPUのイントラ角度モードとして使用され得る。RGBからYUVへの色変換が、たとえば、異なるチャネル間の相関を減らすために実行され得る。ルーマチャネルとクロマチャネルとの間の相関が存在し得る。クロスコンポーネント線形モデル予測は、この相関を利用し、以下のように(たとえば、N×N個のサンプルのクロマブロックを想定し、図9と同じ記法に従う)、ダウンサンプリングされた再構成されたルーマサンプル値L’i,jからクロマサンプル値pi,jを予測するために線形モデルを使用して、ルーマチャネルからクロマチャネルを予測することができる。
i,j=α・L’i,j+β (15)
ダウンサンプリングされたルーマサンプルは、以下のように計算され得る。
Figure 2020517164
線形モデルのパラメータは、上と左の隣接の再構成されたサンプルの間の回帰誤差を最小にすることによって導出され得る。線形モデルのパラメータは、以下のように計算され得る。
Figure 2020517164
Figure 2020517164
図14は、αおよびβの導出のために使用される上および左の隣接の再構成されたサンプルの例示的なロケーションを示す。図15は、動きベクトル(MV)を有する例示的なインター予測を示す。参照ピクチャにおけるブロックB0’およびB1’はそれぞれ、ブロックB0’およびB1’の基準ブロックであり得る。基準ブロックB0’は、部分的にピクチャ境界の外側にあってよい。(たとえば、HEVC/H.264における)パディングプロセスは、ピクチャ境界の外側の知られていないサンプルを充填するように構成され得る。図16は、HEVC/H.264におけるピクチャ境界の外側の基準サンプル(たとえばブロックB0’)のための例示的なパディングを示す。ブロックB0は、4つの部分、たとえば、P0、P1、P2、およびP3を有することができる。部分P0、P1、およびP2は、ピクチャ境界の外側であってよく、パディングプロセスによって充填され得る。部分P0は、ピクチャの左上サンプルで充填され得る。部分P1は、ピクチャの最上行を使用して垂直パディングで充填され得る。部分P2は、ピクチャの最左列を使用して水平パディングで充填され得る。動きベクトル予測およびマージモードが、動きベクトル情報をエンコードするためにインターコーディングに使用され得る。動きベクトル予測は、現在のMVの予測子として動きベクトルをその隣接PUまたは時間的に併置されたPUから使用することができる。エンコーダおよび/またはデコーダは、動きベクトル予測子候補リストを、たとえば同じ様式で形成することができる。候補リストからの選択されたMV予測子のインデックスは、コーディングされデコーダにシグナリングされ得る。デコーダは、MV予測子リストを構築することができ、シグナリングされたインデックスを有するエントリは、現在のPUのMVの予測子として使用され得る。マージモードは、空間的および時間的隣接PUのMV情報を再使用することができ、したがって、それは、現在のPUのための動きベクトルをコーディングしなくてよい。エンコーダおよび/またはデコーダは、動きベクトルマージ候補リストを、たとえば同じ様式で形成することができる。図17は、マージ候補導出に使用される例示的な空間的隣接要素(たとえば、左下、左、右上、上、左上)を示す図である。選択されたマージ候補インデックスはコーディングされ得る。マージ候補リストは、たとえばエンコーダ側と同じ方法で、デコーダ側で構築され得る。シグナリングされたマージ候補インデックスを有するエントリは、現在のPUのMVとして使用され得る。
フレームパッキングされた360度ビデオは、2Dビデオと異なる特性を有し得る。360度ビデオは、見る人を取り囲む環境の360度情報を含むことができる。360度情報は、360度ビデオが固有の円形対称性を有することを示すことができる。2Dビデオは、この対称特性を有しない。ビデオコーデックは、2Dビデオ用に設計されていることがあり、360度ビデオ対称的特徴を考慮していないことがある。たとえば、コーデックは、コーディング順序でビデオを処理(たとえばコーディング)することができる。たとえば、コーデックは、上から下および/または左から右にブロックをコーディングするラスタ走査順序などのコーディング順序を使用して、ブロック毎にビデオ信号を処理することができる。現在のブロックをコーディングするための情報は、現在ブロックの上および/または左に配置されたブロックから推論され得る。
360度ビデオでは、フレームパッキングされたピクチャ内の隣接ブロックは、たとえば現在のブロックをコーディングするための該当ブロックでないことがある。フレームパッキングされたピクチャ内の現在のブロックの隣接要素であるブロックは、フレームパッキングされた隣接要素であり得る。3Dジオメトリにおける現在のブロックの隣接要素であるブロックは、面隣接要素または球隣接ブロックであり得る。図18A〜Bは、CMPの例を示す。図18Aは、CMPの例示的な3D表現を示す。図18Bは、CMPの例示的な3×2フレームパッキング構成を示す。図18A〜Bにおいて、ブロックAは、ブロックCより上に配置されたフレームパッキングされた隣接要素であり得る。3Dジオメトリを考慮すると、ブロックDは、ブロックAより上に配置された適切な面隣接要素(たとえば、または球隣接ブロック)であり得る。360度ビデオコーディングにおける追加の面隣接ブロックが使用されてよい。たとえば、現在のブロックが、フレームパッキングされたピクチャの面に関連付けられた右および/または下の面境界にあるとき、右および/または下面隣接ブロックが使用されてよい。右および/または下面隣接ブロックは、境界の他方側(たとえば、反対側またはクロス面)にある面に配置され得る。たとえば、右および/または下面隣接ブロックは、現在のブロックが属する面の右および/または下面境界に配置された境界を共有することができる。面配列および/または走査処理順序(たとえばラスタ走査順序)を使用して、本明細書に説明されるように現在のブロックをコーディングするためにどのブロックが使用され得るかを決定することができる。図18Bに示される例では、ブロックBは、ブロックAに対して右面隣接要素であり得る。ブロックBがブロックAに対して右面隣接要素である場合、右面隣接要素は、右のフレームパッキングされた隣接要素と一致することができる。ブロックが左から右に走査された場合(たとえば、左から右に動く走査順序を有するラスタ走査)、ブロックBは、ブロックAをコーディングするときにコーディングされることがなく、右面隣接要素が使用可能でない(たとえば、まだコーディングされていない)ことがある。ブロックEをエンコードするとき、その右面隣接要素(たとえば、360度ビデオの固有の球特性を使用するブロックF)がコーディングされていることがあり、ブロックEをコーディング(たとえば予測)するために使用されることがある。ブロックGをエンコードするとき、その下面隣接要素(たとえば、360度ビデオの固有の球特性を使用するブロックH)がコーディングされていることがあり、ブロックGをコーディング(たとえば予測)するために使用されることがある。図18A〜Bにおいて、斜線エリアの1つにおいて面境界に配置されたブロック(たとえば図18B)は、現在のブロックのコーディング(たとえば予測)プロセスにおいてその右および/または下の面隣接ブロックを使用してよく、なぜならば、それらの右および/または下の隣接要素は、たとえば360度ビデオの球特性を考慮すると、既にコーディングされている(たとえば使用可能である)からである。右および/または下面隣接ブロックは、基準ブロックとして使用されてよい。
たとえば、左(L)、上(A)、右上(AR)、左上(AL)、および/または左下(BL)隣接要素は、(たとえば図13および図17に示されるように)2Dビデオコーディングにおいて(たとえば、ラスタ走査処理などの走査順序により)情報を推論するために使用され得る。360度ビデオで、現在のブロックが右面境界にある場合、右(R)および右下(BR)面隣接ブロックは、動きベクトル予測および/またはマージモードにおける動きベクトル候補を導出するために、(たとえば、イントラ予測におけるMPMリストを導出するための)属性を推論するために使用され得る。現在のブロックが下面境界にある場合、下(B)および右下(BR)面隣接ブロックが属性を推論するために使用され得る。1つまたは複数の追加の空間的候補が、隣接ブロックから属性を推論するために使用されてよい。
たとえば、現在のブロックの上および/または左に配置された再構成されたサンプルは、(たとえば図9に示されるように)現在のブロックを予測するために2Dビデオコーディングにおいて(たとえば、ラスタ走査処理により)使用され得る。360度ビデオで、隣接の再構成されたサンプルが、現在のブロックが属する面の外側に配置されている場合、サンプルは、たとえば、ジオメトリパディングを使用して推定され得る。たとえば、ブロックが右面境界にある場合、サンプルRN+1,0・・・R2N,0はジオメトリパディングを使用して取得され得る。ブロックの右側に配置された再構成されたサンプル(たとえば、図19におけるRN+1,0・・・RN+1,2N)が使用され得る。図19は、イントラおよびインターコーディングにおいて現在のブロックを予測するために使用される例示的な再構成されたサンプルを示す。ブロックが下面境界にある場合、ブロックの下側に配置されたサンプル(たとえば、R0,N+1・・・R2N,N+1)が使用され得る。本明細書に説明されているように、再構成されたサンプル(たとえば、追加的および/またはより有意義な再構成されたサンプル)が様々な予測方法(たとえば、DC、平面、ならびに/または、イントラ予測、クロスコンポーネント線形モデル予測、境界予測フィルタリング、および/もしくはループ内フィルタリングでの角度モード)で使用され得る。
360度ビデオコーディングは、イントラ予測および/またはインター予測のために空間的隣接要素および再構成されたサンプルを使用することができる。本明細書に説明されているブロックは、現在のブロック、またはサブブロックを含んでよく、交換可能に使用され得る。ブロックが右(たとえば、または下)面境界にある場合、その右および右下(たとえば、または下および右下)面隣接ブロックは、(たとえば、イントラ角度プロセスにおけるMPMの導出、インター予測におけるマージモードの導出、および/または動きベクトル予測などのために)空間的隣接要素から属性を推論する様々な手順のための候補と見なされ得る。現在の面の外側のブロックが隣接面から取得され得る。面境界における空間的候補の位置は本明細書で説明され得る。
イントラおよび/またはインター予測では、ブロック(たとえば、現在のブロック)が右(たとえば、または下)面境界にある場合、その右および右下(たとえば、または下および右下)面隣接ブロックからの再構成されたサンプルが、現在のブロックをコーディング(たとえば予測)するために使用され得る。再構成されたサンプルは、現在の面の外側にあってよく、たとえば、ジオメトリパディングを使用して取得され得る。面境界における再構成されたサンプルの位置は、本明細書に説明されているように識別され得る。
イントラ予測では、ブロックが右(たとえば、または下)面境界にある場合、その右および右下(たとえば、または下および右下)面隣接ブロックからの再構成されたサンプルが、基準サンプルを導出するために使用され得る。ブロックが右(たとえば、または下)面境界にある場合、1つまたは複数の追加の水平(たとえば、または垂直)角度予測モードが定義され得る。基準サンプル導出プロセス、および面境界における1つまたは複数の追加の角度モードは、本明細書で説明され得る。
イントラ角度予測では、ブロックが右(たとえば、または下)面境界にある場合、境界フィルタリングがブロック右(たとえば、または下)境界において適用され得る。たとえば、境界フィルタリングは、補間されたサンプルと再構成されたサンプルとの交差部に現れ得る不連続を低減させるために、ブロック右(たとえば下)境界において適用され得る。面境界における境界予測フィルタリングは本明細書で説明され得る。
2Dビデオコーディングでは、上、右、下、および/または左ピクチャ境界は、たとえば、ループ内フィルタリングプロセス中にフィルタリングされなくてよい。デブロッキングのため、境界の外側(たとえば、上、右、下、および/または左)のサンプルが存在しなくてよい。360度ビデオコーディングのために、面の上、右、下、および/または左境界が別の面境界に接続され得る。たとえば、360度ビデオコーディングのために、面の上、右、下、および/または左境界が、360度ビデオの固有の円特性により、別の面境界に接続され得る。ループ内フィルタリングが、1つまたは複数(たとえば全て)の面境界にわたって適用され得る。面境界におけるループ内フィルタリングプロセスは本明細書で説明され得る。
クロスコンポーネント線形モデル予測では、ブロックが右(たとえば、または下)面境界にある場合、その右(たとえば、または下)面隣接ブロックからの再構成されたサンプルが、線形モデルのパラメータを推定するために使用され得る。再構成されたサンプルは、現在の面の外側にあってよく、たとえば、ジオメトリパディングを使用して取得され得る。面境界における再構成されたサンプルの位置、再構成されたルーマサンプルのダウンサンプリング、および/または線形モデルパラメータの導出については、本明細書で説明され得る。
1つまたは複数の面が、面内で走査順序(たとえばラスタ走査順序)を使用して処理(たとえば順次処理)され得る。面走査順序を用いると、面隣接ブロックの使用可能性が増大され得る。面走査順序については本明細書に説明されている。
CMPおよび/または関係付けられたキューブベースのジオメトリの場合、本明細書に説明されている構成を使用して1つまたは複数の面がパッキングされ得る。たとえば、1つまたは複数の面は、たとえば、3×2パッキング構成を有してパッキングされ得る。本明細書に説明されている3×2パッキング構成は、面隣接ブロックの使用可能性を最大限にすることができる。
コーディングデバイス(たとえば、エンコーダおよび/もしくはデコーダであってよく、またはそれらを含んでよい)は、たとえば、ジオメトリ面の内側の現在のブロックの位置に基づいて、1つまたは複数の追加の隣接ブロックを使用することができる。たとえば、コーディングデバイスは、隣接ブロックから情報を推論する候補の数を増加させるために、ジオメトリ面の内側の現在のブロックの位置に基づいて1つまたは複数の追加の隣接ブロックを使用することができる。コーディングデバイスは、イントラ予測におけるMPM、インター予測における動き推定、および/またはインター予測におけるマージモードを使用して、隣接ブロックから情報を推論することができる。
例では、コーディングデバイス(たとえば、エンコーダおよび/もしくはデコーダであってよく、またはそれらを含んでよい)は、コーディング順序でコーディングされたフレームパッキングされたピクチャを受信することができる。現在のブロックは、現在のブロックが属するフレームパッキングされたピクチャにおける面の退出境界に配置され得る。たとえば、コーディングデバイスは、フレームパッキングされたピクチャのコーディング順序に応じて、現在のブロックが属する面の退出境界に現在のブロックが配置されていると決定することがある。現在のブロックが属する面の退出境界は、現在のブロックに対してコーディング順序の同じ方向で配置され得る。
例では、コーディングブロックは、現在のブロックに対して左から右の方向を有することがある。コーディングブロックが現在のブロックに対して左から右の方向を有する場合、現在のブロックが属するフレームパッキングされたピクチャにおける面の退出境界は、(たとえば、コーディング順序と同じ方向であり得る)現在のブロックが属する右面境界(たとえば、最右面境界)に配置され得る。例では、コーディングブロックは、現在のブロックに対して上から下の方向を有することがある。コーディングブロックが現在のブロックに対して上から下の方向を有する場合、現在のブロックが属するフレームパッキングされたピクチャにおける面の退出境界は、(たとえば、コーディング順序と同じ方向であり得る)現在のブロックが属する下面境界(たとえば、最下面境界)に配置され得る。例では、コーディングブロックは、現在のブロックに対して左から右のおよび上から下の方向を有することがある。コーディングブロックが現在のブロックに対して左から右のおよび上から下の方向を有する場合、現在のブロックが属するフレームパッキングされたピクチャにおける面の退出境界は、(たとえば、コーディング順序と同じ方向であり得る)現在のブロックが属する右および下面境界(たとえば、最右および最下面境界)に配置され得る。
コーディングデバイスが、現在のブロックが属する面の退出境界(たとえば、現在のブロックが属する最右および/または最下面境界)に現在のブロックが配置されていると決定した場合、コーディングデバイスは、現在のブロックの1つまたは複数(たとえば多数)の球隣接ブロックを識別することができる。たとえば、コーディングデバイスは、360度ビデオの球特性に基づいて、現在のブロックの球隣接ブロックを識別することができる。
コーディングデバイスは、識別された球隣接ブロックのうち、面(たとえば、別の面)に配置されたクロス面境界隣接ブロックを識別することができる。クロス面境界隣接ブロックが属する面は、現在のブロックが属する面の境界(たとえば、右および/または下面境界)を共有することができる。たとえば、クロス面境界隣接ブロックは、現在のブロックの外側に配置されることができ、現在のブロックが属する面にわたって、および/または現在のブロックに対し面境界の反対側に配置されることができる。クロス面境界隣接ブロックは、現在のブロックに対してコーディング順序の同じ方向で配置され得る。たとえば、クロス面境界隣接ブロックは、現在のブロックの右(R)ブロック、下(B)ブロック、および/または右下(BR)ブロックであり得る。
例では、現在のブロックが現在のブロックが属する面の右境界(たとえば最右境界)に配置されている場合、コーディングデバイスは、図20Aに示されるように、クロス面隣接ブロック(たとえば、右(R)ブロックおよび/または右下(BR)ブロック)に対応する識別されたブロックが候補(たとえば、追加の候補)として使用され得るかどうかを決定することができる。
図20A〜Cは、現在のブロックが属する面の右面境界(たとえば図20A)、下面境界(たとえば図20B)、および右下面境界(たとえば図20C)における例示的な空間的隣接要素を示す。図20A〜Cで斜線パターンを使用して示されたブロックは、現在の面の外側に配置され得る。現在のブロックが下面境界にある場合、図20Bに示されるように、下(B)および/または右下(BR)(たとえば、既にコーディングされた隣接ブロック)が、たとえば現在のブロックを予測するために、候補(たとえば、追加の候補)として使用され得る。下面境界に配置された現在のブロックは、右面境界に関して本明細書に説明されたような同様の手法に従うことができる。現在のブロックが右下面境界にある場合、図20Cに示されるように、右、下、および/または右下(たとえば、既にコーディングされた隣接ブロック)が、たとえば現在のブロックを予測するために、候補(たとえば、追加の候補)として使用され得る。右下面境界に配置された現在のブロックは、右面境界に関して本明細書に説明されたような同様の手法に従うことができる。隣接ブロック位置が現在の面の外側である場合、(たとえば、本明細書に説明されているように空間的隣接ブロックを導出するためにサンプル位置をマッピングすることによって、)対応するブロックが、対応する隣接面から取得され得る。
クロス面境界隣接ブロックを識別すると、コーディングデバイスは、クロス面隣接ブロックに対応するフレームパッキングされたピクチャにおけるブロックを識別することができる。たとえば、コーディングデバイスは、360度ビデオのフレームパッキング情報に基づいて、クロス面隣接ブロックに対応するフレームパッキングされたピクチャにおけるブロックを識別することができる。
コーディングデバイスは、現在のブロックをコーディングするために、クロス面隣接ブロックに対応するフレームパッキングされたピクチャにおける識別されたブロックを使用するかどうかを決定することができる。たとえば、コーディングデバイスは、現在のブロックをコーディングするためにクロス面隣接ブロックに対応する識別されたブロックを使用するかどうかを、たとえば、フレームパッキングされたピクチャにおける識別されたブロックの使用可能性に基づいて決定することができる。フレームパッキングされたピクチャにおける識別されたブロックは、識別されたブロックがコーディングされている場合に使用可能であると見なされ得る。コーディングデバイスは、クロス面隣接ブロックに対応する識別されたブロック(たとえば、右および/または右下ブロック)がコーディングされているおよび/または現在のブロックをコーディングするために使用可能であるかどうかを識別することができる。コーディングデバイスが、クロス面隣接ブロックに対応する識別されたブロック(たとえば、右および/または右下ブロック)が使用可能である(たとえば、既にコーディングされている)と決定した場合、コーディングデバイスは、クロス面隣接ブロックに対応する識別されたブロックを使用することができる。
コーディングデバイスは、クロス面隣接ブロックに対応する識別されたブロックを使用しないと決定する場合がある。例では、コーディングデバイスは、クロス面隣接ブロックに対応する識別されたブロックが、コーディングされていないおよび/または現在のブロックをコーディングするのに使用不可能であると決定することがある。例では、コーディングデバイスは、現在のブロックが属する面内に現在のブロックが配置されていると決定することがある。例では、コーディングデバイスは、現在のブロックが属する面の進入境界に現在のブロックが配置されていると決定することがある。現在のブロックが属する面の進入境界は、フレームパッキングされたピクチャに対するコーディング順序に従って配置され得る。コーディングデバイスが、クロス面隣接ブロックに対応する識別されたブロックを使用しないと決定した場合(たとえば、クロス面隣接ブロックが使用可能でなくおよび/もしくはコーディングされていない、現在のブロックが面内に配置されている、または現在のブロックが属する面の進入境界に現在のブロックが配置されているとき)、コーディングデバイスは、現在のブロックをコーディングするために、コーディングされている1つまたは複数の球隣接ブロックを使用してよい。本明細書に説明されている球隣接ブロックは、フレームパッキングされたものの隣接ブロック、または(たとえば、既にコーディングされている)3Dジオメトリの隣接ブロックを含み得る。たとえば、コーディングデバイスは、現在のブロックをコーディング(たとえば予測)するために1つまたは複数の球隣接ブロックとして左(L)、上(A)、および/または左上ブロックのうちの少なくとも1つを使用することができる。例では、コーディングデバイスは、現在のブロックをコーディング(たとえば予測)するためにジオメトリパディングを使用することができる。
コーディングデバイスは、(たとえば、本明細書に説明されているクロス面隣接ブロックに対応する識別されたブロックに関連付けられた)1つまたは複数の追加のブロックを使用して、現在のブロックを予測(たとえばイントラ予測)するために1つまたは複数の追加のブロックに関連付けられた使用可能なサンプルの数を増加させることができる。たとえば、コーディングデバイスは、たとえば、ジオメトリ面の内側の現在のブロックの位置に基づいて、1つまたは複数の追加の再構成されたサンプルを使用することができる。たとえば、コーディングデバイスは、本明細書に説明されおよび/または図19に示されたクロス面隣接ブロックに対応する識別されたブロックに関連付けられた1つまたは複数の再構成されたサンプル(たとえば、追加の再構成されたサンプル)を使用することができる。
例では、コーディングデバイスは、1つまたは複数(たとえば全て)の再構成されたサンプル(たとえば、本明細書に説明されているような追加の再構成されたサンプル)を使用しないこともある。たとえば、現在のブロックが面内であるとコーディングデバイスが決定した場合、および/または、現在のブロックが面境界に配置され、かつ(たとえば、上面境界および/または左面境界において)現在のブロックが現在のブロックに対してコーディング順序の反対の方向で配置されている場合、コーディングデバイスは、図9に示された1つまたは複数の再構成されたサンプルを使用することができる。たとえば、コーディングデバイスは、使用可能な(たとえばコーディングされた)1つまたは複数の再構成されたサンプルを使用することができる。1つまたは複数の使用可能な再構成されたサンプルは、現在のブロックの左および/または上隣接ブロック(たとえば空間的隣接ブロック)に配置されることがある。現在のブロックの右および/または下隣接ブロックに配置された1つまたは複数のサンプルは、使用可能でないことがある(たとえば、コーディングおよび/または再構成されていないことがある)。1つまたは複数の再構成されたサンプルが現在のブロック(たとえば、現在の面に関連付けられた現在のブロック)の外側にある場合、コーディングデバイスは、たとえばジオメトリパディングを使用して、1つまたは複数の再構成されたサンプルを取得することができる。
本明細書に説明されているように、コーディングデバイスは、現在のブロックをコーディングするために、クロス面隣接ブロックに対応する識別されたブロックから1つまたは複数のサンプルを決定することができる。例では、コーディングデバイスが、フレームパッキングされたピクチャに関連付けられた面の右面境界に配置されていると決定した場合、コーディングデバイスは、(たとえば、図21Aに示されるように、現在のブロックの左および/または上に配置されたブロックに関連付けられた1つまたは複数の再構成されたサンプル(たとえば、それぞれ、R0,0・・・R0,2Nおよび/またはR0,0・・・RN,0)に加えて、)現在のブロックの右側に配置された1つまたは複数の再構成されたサンプル(たとえば、RN+1,0・・・RN+1,2N)を使用することができる。図21A〜Cは、右面境界(たとえば図21A)、下面境界(たとえば図21B)、および右下面境界(たとえば図21C)における1つまたは複数の(たとえば追加の)使用可能な再構成されたサンプルの例を示す。図21A〜Cにおいて斜線パターンを使用して示された再構成されたサンプルが、現在のブロック(たとえば、または現在の面)の外側に配置され得る。コーディングデバイスは、再構成されたサンプルの1つまたは複数に前処理を適用することができる。たとえば、前処理は、フィルタリング、補間、および/または再サンプリングを含み得るが、これらに限定されない。コーディングデバイスが、現在のブロックの左側に配置された再構成されたサンプルのうちの1つまたは複数に対して前処理(たとえば、フィルタリング、補間、および/または再サンプリング)を適用する場合、コーディングデバイスは、現在のブロックの右側に配置された1つまたは複数の再構成されたサンプルに対して同様の(たとえば同じ)前処理を適用することができる。
例では、コーディングデバイスが、フレームパッキングされたピクチャに関連付けられた面の下面境界に現在のブロックが配置されていると決定した場合、コーディングブロックは、(たとえば、図21Bに示されるように、現在のブロックの左および/または上に配置されたブロックに関連付けられた1つまたは複数の再構成されたサンプル(たとえば、それぞれ、R0,0・・・R0,Nおよび/またはR0,0・・・R2N,0)に加えて、)現在のブロックの下に配置された1つまたは複数の再構成されたサンプル(たとえば、R0,N+1・・・R2N,N+1)を使用することができる。コーディングデバイスが、現在のブロックの上に配置された再構成されたサンプルに対して前処理(たとえば、フィルタリング、補間、および/または再サンプリング)を適用する場合、コーディングデバイスは、現在のブロックの下に配置された再構成されたサンプルに対して同様の(たとえば同じ)前処理を適用することができる。
例では、コーディングデバイスが、フレームパッキングされたピクチャに関連付けられた面の右下面境界に現在のブロックが配置されていると決定した場合、コーディングブロックは、(たとえば、図21Cに示されるように、現在のブロックの左および/または上に配置されたブロックに関連付けられた1つまたは複数の再構成されたサンプル(たとえば、それぞれ、R0,0・・・R0,Nおよび/またはR0,0・・・R2N,0)に加えて、)現在のブロックの右側および下に配置された1つまたは複数の再構成されたサンプル(たとえば、それぞれ、RN+1,0・・・RN+1,N+1および/またはR0,N+1・・・RN+1,N+1)を使用することができる。コーディングデバイスが、現在のブロックの左側および/または上に配置された再構成されたサンプルに対して前処理(たとえば、フィルタリング、補間、および/または再サンプリング)を適用する場合、コーディングデバイスは、現在のブロックの右側および/または下に配置された再構成されたサンプルに対して同様の(たとえば同じ)前処理を適用することができる。
コーディングデバイスは、本明細書に説明されている1つまたは複数(たとえば全て)のケースにおいて1つまたは複数の基準サンプルラインを使用することができる。コーディングデバイスは、本明細書に説明されている1つまたは複数のケースを長方形ブロックに適用することができる。
面に関連付けられた現在のブロックが面の右面境界にある場合、クロス面境界隣接ブロックに配置された(たとえば、現在のブロックの右側に配置された)サンプル(たとえば、RN+1,0・・・RN+1,2N)が、図21A〜Cに示されるように使用され得る。クロス面境界隣接ブロックから導出される予測される基準サンプル(たとえば、RN+1,0・・・RN+1,2N)は、現在のブロックの右上(AR)側に配置されたサンプル(たとえば、RN+1,0・・・R2N,0)により近く配置され得る。基準サンプル(たとえば、RN+1,0・・・RN+1,2N)はフィルタリングされ得る。たとえば、1つまたは複数の基準サンプル(たとえば、RN+1,0・・・RN+1,2N)は、(たとえば、HEVCにおけるイントラ予測プロセスと同様の)予測を行うのに先立ってフィルタリングされ得る。
クロス面境界隣接ブロックは、(たとえば、本明細書に説明されているように)現在のブロックを予測するために使用され得る。(たとえば、選択された予測モードの方向性に応じて)基準行または基準列が使用され得る。上基準行は、図22Aに示されるように、たとえば右基準列を投影することによって、右に延ばされ得る。図22A〜Bは、右面境界(たとえば図22A)および下面境界(たとえば図22B)におけるイントラ予測の例を示す。図22A〜Bにおける太い矢印は予測方向を表すことができ、細い矢印は基準サンプル投影を表すことができる。図22A〜Bにおいて破線を使用して示されている基準サンプルは、現在の面の外側に配置され得る。図10において定義されたイントラ角度予測方向を考慮すると、サンプルRN+1,N・・・RN+1,2Nは上基準行を右に延ばすために使用されなくてよい。サンプルRN+1,N・・・RN+1,2Nは右基準列をフィルタリングするために使用され得る。
現在のブロックの右下に配置されたサンプル(たとえば、RN+1,N+1・・・RN+1,2N)は、たとえば、図10に示された範囲
Figure 2020517164
よりも広い範囲をカバーして、イントラ角度予測方向を考慮したときに使用され得る。右基準列は、図23Aに示されるように使用されてよく、または図23Bに示されるように上基準行を投影することによって上方に延びてよい。図23A〜Dは、右面境界(たとえば図23A〜B)および下面境界(たとえば図23C〜D)における追加のイントラ予測モードの例を示す。図23A〜Dにおける太い矢印は予測方向を表すことができ、細い矢印は基準サンプル投影を表すことができる。図23A〜Dにおいて破線を使用して示されている基準サンプルは、現在の面の外側に配置され得る。
水平角度方向について、左基準列と右基準列の間のブレンドを行って、図24A〜Bに示されるように現在のブロックサンプルを予測することができる。線形加重または同様のプロセスが、たとえば、予測されるサンプルと基準サンプルとの間の距離を考慮して行われ得る。例では、投影されたピクセルロケーションが負のインデックスを有することがある。投影されたピクセルロケーションが負のインデックスを有する場合、左基準列は、図24Aに示されるように、たとえば上基準行を投影することによって、上方に延ばされてよく、および/または右基準列は、図24Bに示されるように、たとえば上基準行を投影することによって、上方に延ばされてよい。図24A〜Dは、右面境界(たとえば図24A〜B)および下面境界(たとえば図24C〜D)における例示的な双方向イントラ予測を示す。図24A〜Dにおける太い矢印は予測方向を表すことができ、細い矢印は基準サンプル投影を表すことができる。図24A〜Dにおいて破線を使用して示されている基準サンプルは、現在の面の外側に配置され得る。
DCモードでは、現在のブロックが右面境界にある場合、現在のブロックの右側に配置されたサンプルが、以下のようにDC予測子を計算するために使用され得る。
Figure 2020517164
平面モードでは、現在のブロックが右面境界にある場合、たとえばジオメトリパディングを使用して取得されたサンプルRN+1,1・・・RN+1,Nが水平予測子のために使用され得る。垂直予測子について、サンプルRi,N+1(i=1・・・N)の値は、R0,N+1およびRN+1,N+1から、たとえば、これら2つのサンプルへの距離を考慮して線形加重または同様のプロセスを使用して、補間され得る。RN+1,N+1の値は、対応する使用可能な再構成されたサンプルから取得され得る。
現在のブロックが下面境界にある場合、現在のブロックの下に配置されたサンプル(たとえば、R0,N+1・・・R2N,N+1)が図21Bに示されるように使用され得る。このように、本明細書に説明されるようにクロス面境界隣接ブロックに関連付けられたブロックから導出された(たとえば、再構成されたサンプルから導出される)基準サンプルは、予測される現在のブロックサンプルにより近くなり得る。基準サンプルR0,N+1・・・R2N,N+1は、たとえば、予測を行うより前にフィルタリングされてよい。たとえば、基準サンプルR0,N+1・・・R2N,N+1は、(たとえばHEVCにおける)イントラ予測プロセスと同様の予測を行うより前にフィルタリングされてよい。
たとえば、左基準列は、(たとえば、図22Bに示されるように下基準行を投影することによって、)下方に延ばされ得る。図10において定義されたイントラ角度予測方向を考慮すると、サンプルRN,N+1・・・R2N,N+1は左基準列を下方に延ばすために使用されなくてよい。サンプルRN,N+1・・・R2N,N+1は下基準行をフィルタリングするために使用され得る
現在のブロックの右下に配置されたサンプル(たとえば、RN+1,N+1・・・R2N,N+1)は、たとえば、図10に示された範囲
Figure 2020517164
よりも広い範囲をカバーして、イントラ角度予測方向を考慮したときに使用され得る。この場合、下基準行は、図23Cに示されるように使用され得る。下基準行は、図23Dに示されるように、たとえば左基準列を投影することによって、左に延ばされてよい。
垂直角度方向について、上基準行と下基準行の間のブレンドを行って、図24C〜Dに示されるように現在のブロックサンプルを予測することができる。この場合、線形加重または同様のプロセスが、たとえば、予測されるサンプルと基準サンプルとの間の距離を考慮して行われ得る。いくつかの場合において、投影されたピクセルロケーションが負のインデックスを有することがある。投影されたピクセルロケーションが負のインデックスを有する場合、上基準行は、図24Cに示されるように、たとえば左基準列を投影することによって、左に延ばされてよい。下基準行は、図24Dに示されるように、たとえば左基準列を投影することによって、左に延ばされてよい。
DCモードでは、現在のブロックが下面境界にある場合、現在のブロックの下に配置されたサンプルが、以下のようにDC予測子を計算するために使用され得る。
Figure 2020517164
平面モードでは、現在のブロックが下面境界にある場合、ジオメトリパディングを使用して取得されたサンプルR1,N+1・・・RN,N+1が垂直予測子のために使用され得る。水平予測子について、サンプルRN+1,j、(j=1・・・N)の値は、RN+1,0およびRN+1,N+1から、たとえば、これら2つのサンプルへの距離を考慮して線形加重または同様のプロセスを使用して、補間され得る。RN+1,N+1の値は、対応する使用可能な再構成されたサンプルから取得され得る。
現在のブロックが右下面境界にある場合、現在のブロックの右側に配置されたサンプル(たとえば、RN+1,0・・・RN+1,N+1)が使用され得る。現在のブロックの下に配置されたサンプル(たとえば、R0,N+1・・・RN+1,N+1)は図21Cに示されるように使用され得る。本明細書に説明されるようにクロス面境界隣接ブロックから導出された基準サンプルは、予測される現在のブロックサンプルにより近くなり得る。
DCモードでは、現在のブロックが右下面境界にある場合、現在のブロックの右側および/または下に配置されたサンプルが、以下のようにDC予測子を計算するために使用され得る。
Figure 2020517164
平面モードでは、現在のブロックが右下面境界にある場合、ジオメトリパディングを使用して取得されたサンプルRN+1,1・・・RN+1,Nが水平予測子のために使用されてよく、ジオメトリパディングを使用して取得されたサンプルR1,N+1・・・RN,N+1が垂直予測子のために使用されてよい。
1つまたは複数の基準サンプルラインが、本明細書に説明されている1つまたは複数(たとえば全て)のケースにおいて使用されてよく、長方形ブロックが、本明細書に説明されているように、再構成されたサンプルを使用するように構成されてよい。
現在のブロックが、たとえば360度ビデオに関連付けられたフレームパッキングされたピクチャにおける面の、右、下、および/または右下面境界にある場合、(たとえばイントラ予測の後に)追加の境界予測フィルタリングが適用されてよい。たとえば、イントラ予測の後の追加の境界予測フィルタリングは、面境界における不連続を低減させるために適用され得る。本明細書に説明されているフィルタリングは、境界予測フィルタリングに加えて適用されてよい。例では、本明細書に説明されているフィルタリングは、ブロックの上行(たとえば最上行)および/または左列(たとえば最左列)に適用され得る。
たとえば水平に近くなり得る水平イントラモードでは、現在のブロックが右面境界にある場合、右列(たとえば最右列)に配置されたブロックの予測されたサンプルsi,jが、以下のように、たとえば右基準列Ri,jを使用して調整され得る。
N,j=sN,j+(RN+1,j−RN+1,0) J−1・・・N (22)
図25A〜Hは、イントラモード2(たとえば図25A)、イントラモード3〜6(たとえば図25B)、イントラモード7〜9(たとえば図25C)、イントラモード10(たとえば図25D)、イントラモード11〜17(たとえば図25E)、イントラモード18(たとえば図25F)、イントラモード19〜21(たとえば図25G)、およびイントラモード22(たとえば図25H)についての右面境界における例示的な境界予測フィルタリングを示す。図25A〜Hにおいて破線を使用して示されている基準サンプルは、現在の面の外側に配置され得る。
他のイントラ角度モードでは、現在のブロックが右面境界にある場合、右列(たとえば最右列)に配置されたブロックの予測されたサンプルsi,jが、以下のように、たとえば右基準列Ri,jを使用してフィルタリングされ得る。
モード2(たとえば図25A)の場合
N-δ,j=α(δ)・sN-δ,j+b(δ)・RN+1,j-1-δ (23)
j=1・・・N,δ=0・・・min(j−1,D),α(δ)+b(δ)=1
モード3〜6(たとえば図25B)および/またはモード7〜9(たとえば図25C)の場合
N,j=α・sN,j+b・RN+1,j+c・RN+1,j-1 (24)
j=1・・・N,a+b+c=1
モード10(たとえば図25D)の場合
N-δ,j=α(δ)・sN-δ,j+b(δ)・RN+1,j (25)
j=1・・・N,δ=0・・・D,α(δ)+b(δ)=1
モード11〜17(たとえば図25E)の場合
N,j=α・sN,j+b・RN+1,j+c・RN+1,j+1 (26)
j=1・・・N,a+b+c=1
モード18(たとえば図25F)の場合
N-δ,j=α(δ)・sN-δ,j+b(δ)・RN+1,j+1+δ (27)
j=1・・・N,δ=0・・・D,α(δ)+b(δ)=1
モード19〜21(たとえば図25G)の場合
N,j=α・sN,j+b・RN+1,j+1+c・RN+1,j+2 (28)
j=1・・・N,a+b+c=1
モード22(たとえば図25H)の場合
N,j=α・sN,j+b・RN+1,j+2+c・RN+1,j+3 (28)
j=1・・・N,a+b+c=1
ここで、Dは、最右列の数を制御するパラメータとすることができ、フィルタリングされることができる。重み「a」、「b」、および「c」は、たとえば、イントラモードおよび/または基準サンプルへの距離に応じて選択され得る。たとえば、ルックアップテーブル(LUT)が、イントラモードの関数としてパラメータを得るために使用され得る。LUTでは、イントラモードに依存して、現在の位置により近くあり得る基準サンプルに対して、より大きい重みが与えられ得る。たとえば、モード2および18の場合、表1に定義された重みを使用して(たとえば、それぞれ式(23)および(27))、ブロック最右列をフィルタリングすることができる。
Figure 2020517164
表1で定義された重みは、水平モード(たとえばモード10)に使用され得る。モード19から22では、表2で定義された重みが使用され得る。
Figure 2020517164
他のモードでは、重みは、「b」および/または「c」に対する値が右基準サンプル列における位置にマッピングできるように決定され得る。予測されたサンプルは、反対の角度方向を考慮して投影されてよく、この値で予測されたサンプル値を重み付け(たとえば等しく重み付け)してよい。たとえば、モード3から9では、重みは、a=0.5、
Figure 2020517164
、c=0.5bとして決定され、ここで、ΔxおよびΔyはそれぞれ、角度方向の水平成分および垂直成分である。
たとえば垂直線に近いことがある、垂直イントラモードでは、現在のブロックが、たとえば360度ビデオに関連付けられたフレームパッキングされたピクチャにおける面の、下面境界にある場合、最下行に配置されたブロックの予測されたサンプルsi,jは、以下のように、たとえば下基準行Ri,jを使用して調整され得る。
i,N=si,N+(Ri,N+1−R0,N+1) i=1・・・N (30)
フィルタリング(たとえば、境界予測フィルタリング)は、たとえば本明細書に説明されているようにクロス面境界隣接ブロックを使用して、現在のブロックに適用され得る。図26A〜Hは、イントラモード14(たとえば図26A)、イントラモード15〜17(たとえば図26B)、イントラモード18(たとえば図26C)、イントラモード19〜25(たとえば図26D)、イントラモード26(たとえば図26E)、イントラモード27〜29(たとえば図26F)、イントラモード30〜33(たとえば図26G)、およびイントラモード34(たとえば図26H)についての下面境界における例示的な境界予測フィルタリングを示す。図26A〜Hにおいて破線を使用して示されている基準サンプルは、現在の面の外側に配置され得る。
他のイントラ角度モードでは、現在のブロックが下面境界にある場合、下行(たとえば最下行)に配置されたブロックの予測されたサンプルsi,jが、以下のように、たとえば下基準行Ri,jを使用してフィルタリングされ得る。
モード14(たとえば図26A)の場合
i,N=a・si,N+b・Ri+2,N+1+c・Ri+3,N+1 (31)
j=1・・・N,a+b+c=1
モード15〜17(たとえば図26B)の場合
i,N=a・si,N+b・Ri+1,N+1+c・Ri+2,N+1 (32)
j=1・・・N,a+b+c=1
モード18(たとえば図26C)の場合
i,Nーδ=a(δ)・si,Nーδ+b(δ)・Ri+1+δ,N+1 (33)
i=1・・・N,δ=0・・・D,a(δ)+b(δ)=1
モード19〜25(たとえば図26D)の場合
i,N=a・si,N+b・Ri,N+1+c・Ri+1,N+1 (34)
i=1・・・N,a+b+c=1
モード26(たとえば図26E)の場合
i,Nーδ=a(δ)・si,Nーδ+b(δ)・Ri,N+1 (35)
i=1・・・N,δ=0・・・D,a(δ)+b(δ)=1
モード27〜29(たとえば図26F)およびモード30〜33(たとえば図26G)の場合
i,N=a・si,N+b・Ri-1,N+1+c・Ri,N+1 (36)
i=1・・・N,a+b+c=1
モード34(たとえば図26H)の場合
i,Nーδ=a(δ)・si,Nーδ+b(δ)・Ri-1ーδ,N+1 (37)
i=1・・・N,δ=0・・・min(i−1,D),a(δ)+b(δ)=1
ここで、Dは、最下行の数を制御するパラメータとすることができ、フィルタリングされることができる。重み「a」、「b」、および「c」は、たとえば、イントラモードおよび/または基準サンプルへの距離に応じて選択され得る。
イントラ角度モードでは、現在のブロックが、たとえば360度ビデオに関連付けられたフレームパッキングされたピクチャにおける面の、右下面境界にある場合、本明細書に説明されているように、右列(たとえば最右列)に配置されたブロックの予測されたサンプルは、たとえば右基準列を使用して、フィルタリングされてよく、下行(たとえば最下行)に配置されたブロックは、たとえば下基準行を使用して、フィルタリングされてよい。
DCモードでは、現在のブロックが、たとえば360度ビデオに関連付けられたフレームパッキングされたピクチャにおける面の、右面境界にある場合、右列(たとえば最右列)に配置されたブロックの予測されたサンプルは、(たとえば式(25)に従って)たとえば右基準列を使用して調整され得る。現在のブロックが、たとえば360度ビデオに関連付けられたフレームパッキングされたピクチャにおける面の、下面境界にある場合、下行(たとえば最下行)に配置されたブロックの予測されたサンプルは、(たとえば式(35)に従って)たとえば下基準列を使用してフィルタリングされ得る。現在のブロックが、たとえば360度ビデオに関連付けられたフレームパッキングされたピクチャにおける面の、右下面境界にある場合、(たとえば式(25)および(35)に従って、)右列(たとえば最右列)に配置されたブロックの予測されたサンプルは、たとえば右基準列を使用して調整され得、および下行(たとえば最下行)に配置されたブロックの予測されたサンプルは、たとえば下基準行を使用してフィルタリングされ得る。
フィルタリングプロセスは、たとえば、固定小数点精度および/またはビットシフト演算を使用して実装され得る。同様のフィルタリング動作は、たとえば、より細かいイントラ角度粒度および/または長方形ブロックを考慮するときに、右列(たとえば最右列)に配置されたブロックおよび/または下行(たとえば最下行)に配置されたブロックに適用され得る。
ループ内フィルタリングの場合、フィルタリングは1つまたは複数(たとえば全て)の面境界にわたって適用され得る。たとえば、フィルタリングは、右および/または下面境界を含む面境界にわたって適用され得る。現在のブロックが、たとえば360度ビデオに関連付けられたフレームパッキングされたピクチャにおける面の、左(たとえば、または上)面境界にある場合、左(たとえば、または上)の再構成されたサンプルは、フレームパッキングされたピクチャ境界上にブロックがあり得る場合でも、最左列(たとえば、または最上行)に配置されたブロックをフィルタリングするために使用され得る。ブロックが、たとえば360度ビデオに関連付けられたフレームパッキングされたピクチャにおける面の、上左面境界にある場合、左および上の再構成されたサンプルは、フレームパッキングされたピクチャ境界上にブロックがあり得る場合でも、それぞれ最左列および最上行に配置されたブロックをフィルタリングするために使用され得る。ブロックが、たとえば360度ビデオに関連付けられたフレームパッキングされたピクチャにおける面の、右(たとえば、または下)面境界にある場合、右(たとえば、または下)の再構成されたサンプルは、フレームパッキングされたピクチャ境界上にブロックがあり得る場合でも、最右列(たとえば、または最下行)に配置されたブロックをフィルタリングするために使用され得る。ブロックが、たとえば360度ビデオに関連付けられたフレームパッキングされたピクチャにおける面の、右下面境界にある場合、右および下の再構成されたサンプルは、フレームパッキングされたピクチャ境界上にブロックがあり得る場合でも、それぞれ最右列および最下行に配置されたブロックをフィルタリングするために使用され得る。再構成されたサンプルは、現在の面の外側にあってよく、再構成されたサンプルは、たとえば、ジオメトリパディングを使用して取得され得る。
クロスコンポーネント線形モデル予測のために、再構成されたサンプル(たとえば、追加のリソースサンプル)が使用され得る。たとえば、再構成されたサンプル(たとえば、追加のリソースサンプル)は、ジオメトリ面の内側の現在のブロックの位置に基づくことができる。
図27A〜Cは、右面境界(たとえば図27A)、下面境界(たとえば図27B)、および右下面境界(たとえば図27C)におけるクロスコンポーネント線形モデル予測のために使用されるサンプルの例示的なロケーションを示す。図27A〜Cにおいて点線を使用して示されている再構成されたサンプルは、現在の面の外側に配置され得る。現在のブロックが、たとえば360度ビデオに関連付けられたフレームパッキングされたピクチャにおける面の、右面境界にある場合、図27Aに示されるように、線形モデルのパラメータを予測するために、現在のブロックの右側に配置された再構成されたサンプルが、たとえば、現在のブロックの左側に配置された再構成されたサンプルおよび/または上に配置された再構成されたサンプルに加えて、使用され得る。この場合、線形モデルパラメータは、以下のように計算され得る(たとえば、式(38)〜(40))。式(38)は図28に示されており、そして、
Figure 2020517164
である。式中、
Figure 2020517164
は、ダウンサンプリングされた再構成されたルーマサンプルとすることができ、こうしたルーマサンプルは、たとえば現在のブロックの右側に配置される。
Figure 2020517164
は、以下のように、たとえば再構成されたルーマサンプルの使用可能性および/またはクロマロケーションを考慮して、計算され得る。
Figure 2020517164
1つまたは複数のダウンサンプリングフィルタが、たとえばクロス面境界隣接ブロックを使用して適用され得る。前処理(たとえばフィルタリング)が、現在のブロックの左側に配置された再構成されたサンプルに対して適用される場合、同様の(たとえば同じ)前処理が、現在のブロックの右側に配置された再構成されたサンプルに対して適用されてよい。
現在のブロックが、たとえば360度ビデオに関連付けられたフレームパッキングされたピクチャにおける面の、下面境界にある場合、図27Bに示されるように、線形モデルのパラメータを予測するために、現在のブロックの下に配置された再構成されたサンプルが、たとえば、現在のブロックの左側に配置された再構成されたサンプルおよび/または上に配置された再構成されたサンプルに加えて、使用され得る。この場合、線形モデルパラメータは、以下のように計算され得る(たとえば、式(41)〜(42))。
式(41)は図28に示されており、そして、
Figure 2020517164
である。
現在のブロックの下に配置された再構成されたルーマサンプルが、(たとえば式(16)に従って)ダウンサンプリングされ得る。1つまたは複数のダウンサンプリングフィルタが、たとえばクロス面境界隣接ブロックを使用して適用され得る。前処理(たとえばフィルタリング)が、現在のブロックの上に配置された再構成されたサンプルに対して適用される場合、同様の(たとえば同じ)前処理が、現在のブロックの下に配置された再構成されたサンプルに対して適用されてよい。
現在のブロックが、たとえば360度ビデオに関連付けられたフレームパッキングされたピクチャにおける面の、右下面境界にある場合、図27Cに示されるように、線形モデルのパラメータを予測するために、現在のブロックの右側および下に配置された再構成されたサンプルが、(たとえば、現在のブロックの左側に配置された再構成されたサンプルおよび/または上に配置された再構成されたサンプルに加えて、)使用され得る。線形モデルパラメータは、以下のように計算され得る(たとえば、式(43)および(44))。
式(43)および(44)は図28に示されている。
長方形ブロックの場合、より長い境界の隣接サンプルが、たとえばクロス面境界隣接ブロックを使用してサブサンプリングされ得る。たとえば、長方形ブロックのより長い境界の隣接サンプルが、より短い境界と同じ数のサンプルを有するようにサブサンプリングされ得る。本明細書に説明されているクロスコンポーネント線形モデル予測が、(たとえば、サンプルドメインまたは残差ドメインにおいて)2つのクロマ成分間で予測するために使用され得る。複数のクロスコンポーネント線形モデルが面境界において使用されてよく、1つまたは複数のクロスコンポーネント線形モデル予測が、サンプル値の範囲において定義されてよく、本明細書に説明されているように適用されてよい。再構成されたサンプルが現在の面の外側にある場合、再構成されたサンプルは、たとえばジオメトリパディングを使用して、取得され得る。
右および/または下面境界の他方側に(たとえば、現在のブロックロケーションから面境界の反対側に、およびクロス面境界隣接ブロックに対してコーディング順序の同じ方向で)配置された1つまたは複数の使用可能なブロックおよび/またはサンプルが、予測のために使用されてよい。面隣接ブロックおよび/またはサンプルの使用可能性は、フレームパッキングされたピクチャのブロックが処理されるコーディング順序に依存し得る。たとえば、図29Aは、CMP3×2パッキング構成のための例示的なラスタ走査順序(たとえば、上から下および/または左から右)を示す。ブロックは、(たとえば図29Bに示されるように)たとえば1つまたは複数の面内でラスタ走査順序を使用して、面毎に処理され得る。図29Bに示された面走査順序を使用することは、隣接ブロックおよび/またはサンプルの使用可能性を増大させることができる。1つまたは複数の異なるフレームパッキング構成が、同様の結果を達成するために使用され得る。たとえば、図29Aに示された状況において、(たとえば3×2パッキング構成に代えてまたは加えて)6×1パッキング構成が使用される場合、ラスタ走査順序は、1つまたは複数の面を1つずつ処理することができる。ブロックコーディング順序(たとえば処理順序)は、使用された面配列に応じて異なり得る。
制約が、たとえばブロック分割中に適用されてよい。たとえば、制約は、2つ以上の面にわたるブロックの重複を低減するためにブロック分割中に適用され得る。1つまたは複数のコーディングツリーユニット(CTU)が使用される場合、CTU内の1つまたは複数(たとえば全て)のコーディングされたブロックが同じ面に属するように構成され得る。面サイズがCTUサイズの倍数でない場合、CTUが属する面内にあるブロックがコーディングされ得る重複するCTUが使用されてよい。図30は、面サイズがCTUサイズの倍数ではない面の例示的なCTUおよびブロック分割を示す。図30内に示される実線は、面境界を表すことができる。破線はCTU境界を表すことができ、点線はブロック境界を表すことができる。斜線パターンを使用して示されたブロックは、現在の面の外側に配置され得る。1つまたは複数の異なるブロック走査順序は、イントラおよびインターコーディングされたフレームが使用され得る。たとえば、イントラコーディングされたフレームは面走査順序(たとえば図29B)を使用することができる。インターコーディングされたフレームはラスタ走査順序(たとえば図29A)を使用することができる。異なる面間および/または異なる面内で異なる走査順序が、たとえば面のコーディングモード(たとえば予測モード)に基づいて使用されてよい。
ループフィルタ動作(たとえば、本明細書に説明されているようなループフィルタ動作において、既にコーディングされた面から右および/または下境界に隣接サンプルを使用する)が、有効または無効にされてよい。たとえば、ループフィルタ動作は、面走査順序および/またはフレームパッキング構成に基づいて有効または無効にされ得る。3Dジオメトリにおける適切な隣接サンプルがデブロッキングフィルタまたは他のループ内フィルタにおいて使用されない場合、面継ぎ目の形態での好ましくない視覚アーチファクトが、再構成されたビデオにおいて可視となり得る。たとえば、再構成されたビデオが、たとえばヘッドマウントデバイス(HMD)を介してまたは2D画面を介して、ビューポートをレンダリングするために使用されユーザに表示されるとき、面継ぎ目が、再構成されたビデオにおいて可視となることがある。たとえば、図18Bは、3×2CMP例を示す。図18Bに示される上半分における3つの面は、3Dジオメトリで水平に連続し得る。下半分における3つの面は、3Dジオメトリで水平に連続し得る。上半分および下半分は、3Dジオメトリで不連続であり得る。3×2CMPピクチャは、2つのタイル(たとえば、3×2CMPピクチャの上半分用のタイルおよび下半分用のタイル)を使用してコーディングされてよく、ループフィルタリングは、タイル境界にわたって無効にされ得る。たとえば、ループフィルタリングは、たとえば、ピクチャパラメータセット(PPS)構文要素loop_filter_across_tiles_enabled_flagの値を0に設定することによって、タイル境界にわたって無効にされてよい。ループフィルタリングは、たとえば、不連続エッジ(たとえば、上半分と下半分を分離する水平エッジ)を横切るデブロッキングおよび/または他のループ内フィルタを適用することを回避するために、無効にされてよい。
面走査順序は、フレームパッキングされたピクチャにおけるブロックをエンコードおよび/またはデコードするために使用され得る。図18Bに示される6つの面は、図29Bに示される順序を使用して処理され得る。面走査順序は、6つの面を6つのタイルと揃えることによって達成され得る。この場合、インジケータを設定する(たとえば、loop_filter_across_tiles_enabled_flagを0にする)ことにより、(たとえば、不連続であり無効にされることがある)タイル間の水平エッジにまたがって、および(たとえば、連続であり無効にされないことがある)垂直エッジにまたがって、デブロッキングおよびループ内フィルタを無効にし得る。エッジループフィルタが適用されるかエッジループフィルタが適用されないかは指定されてよい。ループフィルタのタイプが考慮され得る。たとえば、デブロッキングおよび/または適応ループフィルタ(ALF)などのループフィルタは、フィルタリングプロセスにおいて隣接サンプルを使用するNタップフィルタであり得る。フィルタのために使用される隣接サンプルのうちの1つまたは複数は、不連続なエッジを交差し得る。サンプル適応オフセット(SAO)などのループフィルタは、現在の位置におけるデコードされたサンプル値を補正するためにオフセットを追加することができる。例では、ループフィルタ(たとえばSAO)は、フィルタリング動作において隣接サンプル値を使用しなくてよい。いくつかのタイルおよび/または面境界を横切るデブロッキングおよび/またはALFが無効にされてよい。SAOは有効にされてよい。たとえば、いくつかのタイルおよび/または面境界を横切るデブロッキングおよび/またはALFが無効にされ得る一方、SAOは有効にされ得る。
インジケータ(たとえば、loop_filter_across_tiles_enabled_flag)の拡張が、コーディングデバイスに対して(たとえばビットストリームにおいて)示されることがある。インジケータ(たとえば、loop_filter_across_tiles_enabled_flag)構文要素は分離されることがある。たとえば、loop_filter_across_tiles_enabled_flag構文要素は、2つ以上の構文要素(たとえば、2つの構文要素)に分離されてよい。例では、ループフィルタを水平エッジに適用するかどうかが、たとえば構文要素を介して示されることがある。例では、ループフィルタを垂直エッジに適用するかどうかが、たとえば構文要素を介して示されることがある。
インジケータ(たとえば、loop_filter_across_tiles_enabled_flag)構文要素は、2つ以上の構文要素に分離されてよく、コーディングデバイスに対して(たとえばビットストリームにおいて)示されてよい。所与のエッジにまたがってループフィルタを有効にするかまたは無効にするかは、たとえば2つ以上の分離された構文要素を介して示されてよい。たとえば、M×N面(たとえば、図18BではM=3およびN=2)を含むフレームパッキングされた投影フォーマットが考慮され得る。M×N面を含むフレームパッキングされた投影フォーマットでは、ピクチャ内の面間の(M−1)×N個の垂直エッジが存在してよく、ピクチャ内の面間のM×(N−1)個の水平エッジが存在してよい。この場合、(M−1)×N+M×(N−1)個のインジケーション(たとえばフラグ)が、複数水平および/または垂直エッジのうちの1つまたは複数を有効にするかまたは無効にするかを指定し得る。インジケータ(たとえば、loop_filter_across_tiles_enabled_flag)構文要素のセマンティクスは、連続する面の間のエッジを横切るループフィルタを無効または有効にするように適合され得る。この場合、ループフィルタは、たとえば継ぎ目の発生を回避するために、不連続な面の間のエッジにまたがって無効にされ得る。どのエッジが連続する面の間であり、および/またはどのエッジが不連続な面の間であるかを指定するために、シグナリングが構成されてよい。
インジケータ(たとえば、loop_filter_across_tiles_enabled_flag)構文要素は、2つ以上の構文要素に分離されることがある。2つ以上の構文要素は、異なるタイプのループフィルタを制御するために使用され得る。たとえば、インジケーション(たとえばフラグ)は、デブロッキングを有効または無効にするために使用され得る。インジケーション(たとえばフラグ)は、たとえば、ALFを有効または無効にするために使用され得る。インジケーション(たとえばフラグ)は、たとえば、SAOを有効または無効にするために使用され得る。より多くのループフィルタが(たとえば、図7および図8に示される)ビデオエンコーダおよび/またはデコーダにおいて使用される場合、より多くのインジケーション(たとえばフラグ)が使用されてよい。インジケータ(たとえば、loop_filter_across_tiles_enabled_flag)構文要素は、(たとえば2つの構文要素に)分離されることがある。たとえば、インジケーション(たとえばフラグ)は、隣接サンプルを使用するループフィルタを制御していることがある。異なるインジケーション(たとえばフラグ)が、たとえば、隣接サンプルを使用しないループフィルタを制御していることがある。インジケータ(たとえば、loop_filter_across_tiles_enabled_flag)構文要素は、隣接サンプルを使用するループフィルタを無効にするかまたは有効にするかを示すことができる。この場合、隣接サンプルを使用しないループフィルタが有効にされることがある。
本明細書に説明されている拡張機能が組み合わされてよい。たとえば、複数のインジケーション(たとえばフラグ)が使用される場合、1つまたは複数のインジケーション(たとえばフラグ)が、ループフィルタのタイプを制御するために使用されてよく、1つまたは複数のインジケーション(たとえばフラグ)のセマンティクスが相応に適合されてよい。たとえば、1つまたは複数のインジケーションのセマンティクスが、そのフィルタを連続する面を横切るエッジに適用するかどうかを制御するように適合されてよく、そのフィルタは、(たとえば、継ぎ目の発生を回避するために)不連続な面を横切るエッジに対して無効にされてよい。
本明細書に説明されているインジケータ(たとえば、loop_filter_across_tiles_enabled_flag)の拡張は、例示的な形式としてタイルを使用することができる。それらが他の面レベル(たとえばスライス)に適用し得ることは、当業者には理解されよう。たとえば、ループフィルタをスライスにまたがって適用するかどうかを制御するpps_loop_filter_across_slices_enabled_flagおよび/またはslice_loop_filter_across_slices_enabled_flagが、インジケータ(たとえば異なるインジケータ)として使用されてよい。CTU内のコーディングされたブロックは同じタイルおよび/またはスライスに属するので、タイルおよび/またはスライスはCTUサイズの倍数であり得る。面サイズは、CTUサイズの倍数でなくてよい。本明細書に説明されているタイルおよび/またはスライスは、(たとえば、タイルおよび/またはスライスの使用を回避するために、ならびに本明細書に説明されているセマンティックを変更するために、)面に置き換えられてもよい。たとえば、本明細書に説明されているインジケータ(たとえば、loop_filter_across_tiles_enabled_flag)構文およびその1つまたは複数の拡張は、異なるインジケータ(たとえば、loop_filter_across_faces_enabled_flag)と置き換えられる(たとえば、または併せて使用される)ことができる。面ベースのループフィルタ制御インジケーション(たとえばフラグ)は、タイルおよび/またはスライスが有効にされるときに作用する。この場合、そのような面ベースのループフィルタ制御インジケーション(たとえばフラグ)は、面境界上のエッジに適用可能であってよく、タイルおよび/またはスライスベースのループフィルタ制御インジケーション(たとえばフラグ)は、タイルおよび/またはスライス境界のエッジに適用可能であってよい。
同じ面に属するCTU内の1つまたは複数(たとえば全て)のコーディングされたブロック、およびCTUが属する面内にあるブロックがコーディングされ得るように、CTUを重複させる。このようにして、(たとえば、面サイズがCTUサイズの倍数でない場合でも)タイルおよび/またはスライスが使用され得る。
CMPおよび/または関係付けられたキューブベースのジオメトリに対して3×2パッキング構成が使用され得る。たとえば、3×2パッキング構成は、表現(たとえばコンパクト表現)のために使用されてよく、長方形フレームパッキングされたピクチャを形成してよい。3×2パッキング構成は、図2Bに示されている長方形フレームパッキングされたピクチャ(たとえば4×3パッキング構成)を形成するためにデフォルト(たとえば空)のサンプルで空き領域を充填することを省いてよい。3×2パッキング構成の1つまたは複数の面が、フレームピクチャ内の2つの隣接面の間の不連続が低減され得るように配列されてよい。3×2パッキング構成は、図31に示されるように、右、前、および左面が(たとえば、この特定の順序で)上行に置かれることができ、下、後、および上面が(たとえば、この特定の順序で)下行に置かれることができるように定義されてよい。図31は、(たとえば、上行に置かれた右、前、および左面、ならびに下行に置かれた下、後、および上面を有する)例示的な3×2パッキング構成を示す。図31における破線は、CTU境界を表すことができる。矢印は、2つの面の間の共有された境界を表すことができる。面行(たとえば各面行)内で、面は回転され得る。たとえば、面行は、2つの隣接面の間の不連続性を最小にするように回転することができる。面サイズは、CTUサイズの倍数でなくてよい。第2の面行の一部は、たとえば、第1の面行が完全にコーディングされる前にコーディングされてよい。下、後、および上面における1つまたは複数のブロックをコーディングするとき、右、前、および/または左面における隣接ブロックが使用可能でないことがある。たとえば、図31に示される3×2パッキング構成では、下面の第1の(たとえば部分的)CTU行(たとえば、図31の斜線エリア)におけるブロックをエンコードするとき、前および左面における隣接ブロックから情報が推論されないことがあり、それは、対応する隣接ブロックがまだエンコードされていないことがあるからである。同様に、後面に関して、第1の(たとえば部分的)CTU行(たとえば、図31の斜線エリア)におけるサイズh=mod(面サイズ,CTUサイズ)の幅内の第1のブロック(ここで、mod(x,y)はモジュロ演算子であり得る)は、左面における隣接ブロックから情報を推論しないことがあり、それは、対応する隣接ブロックがまだエンコードされていないことがあるからである。
3×2パッキング構成は、たとえばコーディングデバイスへ/からのビットストリームで使用および/またはシグナリングされ得る。たとえば、本明細書に説明されている3×2パッキング構成が使用されるとき、第2の面行に配置された面に関して、第1の面行における1つまたは複数の隣接面からの情報が推論され得る。3×2パッキング構成は、図32に示されるように、右、前、および左面が(たとえば、この特定の順序で)第1の面行に置かれ、上、後、および下面が(たとえば、この特定の順序で)第2の面行に置かれるように定義されてよい。図32は、(たとえば、第1の面行における右、前、および左面、ならびに第2の面行における上、後、および下面を有する)例示的な3×2パッキング構成を示す。面行(たとえば各面行)内で、面が、たとえば2つの隣接面の間の不連続を最小にするために回転され得る。図32に示される3×2パッキング構成では、第2の面行における1つまたは複数の面が、(たとえば、図31に示された3×2パッキング構成と比べて)180度回転され得る。図32に示される構成では、上、後、および下面をエンコードするとき、右、前、および左面における隣接ブロックが使用可能であり得る。
明細書に説明されている前、後、左、右、上、および/または下面の定義は、相対的であり得る。回転は、本明細書に説明されているように同様の配列を得るためにキューブに適用され得る。
図33Aは、1つまたは複数の開示されている実施形態が実装され得る例示的な通信システム100を示す図である。通信システム100は、音声、データ、ビデオ、メッセージング、ブロードキャストなどのコンテンツを複数のワイヤレスユーザに提供する、多元接続システムとすることができる。通信システム100は、複数のワイヤレスユーザが、ワイヤレス帯域幅を含むシステムリソースの共有を通じてそのようなコンテンツにアクセスすることを可能にし得る。たとえば、通信システム100は、符号分割多元接続(CDMA)、時分割多元接続(TDMA)、周波数分割多元接続(FDMA)、直交FDMA(OFDMA)、シングルキャリアFDMA(SC−FDMA)、ゼロテールユニークワードDFT拡散OFDM(ZT UW DTS−s OFDM)、ユニークワードOFDM(UW−OFDM)、リソースブロックフィルタOFDM、フィルタバンクマルチキャリア(FBMC)など、1つまたは複数のチャネルアクセス方法を利用することができる。
図33Aに示されるように、通信システム100は、ワイヤレス送信/受信ユニット(WTRU)102a、102b、102c、102d、RAN104/113、CN106/115、公衆交換電話網(PSTN)108、インターネット110、および他のネットワーク112を含むことができるが、開示されている実施形態は、任意の数のWTRU、基地局、ネットワーク、および/またはネットワーク要素を企図することが理解されよう。WTRU102a、102b、102c、102dのそれぞれは、ワイヤレス環境で動作および/または通信するように構成された任意のタイプのデバイスとすることができる。例として、WTRU102a、102b、102c、102dは、いずれも「局」および/または「STA」と呼ばれてよく、ワイヤレス信号を送信および/または受信するように構成されてよく、ユーザ機器(UE)、移動局、固定もしくは移動加入者ユニット、加入ベースのユニット、ページャ、セルラ電話、携帯情報端末(PDA)、スマートフォン、ラップトップ、ネットブック、パーソナルコンピュータ、ワイヤレスセンサ、ホットスポットもしくはMi−Fiデバイス、モノのインターネット(IoT)、時計または他のウェアラブル、ヘッドマウントディスプレイ(HMD)、乗り物、ドローン、医療デバイスおよびアプリケーション(たとえば遠隔手術)、産業用デバイスおよびアプリケーション(たとえば、産業用および/または自動処理チェーンコンテキストで動作するロボットおよび/もしくは他のワイヤレスデバイス)、家電、商用および/もしくは産業用ワイヤレスネットワーク上で動作するデバイスなどを含み得る。WTRU102a、102b、102c、および102dは、いずれも交換可能にUEと呼ばれることがある。
通信システム100は、基地局114aおよび/または基地局114bを含むこともできる。基地局114a、114bのそれぞれは、CN106/115、インターネット110、および/またはネットワーク112などの1つまたは複数の通信ネットワークへのアクセスを容易にするために、WTRU102a、102b、102c、102dのうちの少なくとも1つとワイヤレスでインターフェース接続するように構成された、任意のタイプのデバイスとすることができる。例として、基地局114a、114bは、トランシーバ基地局(BTS)、ノードB、eノードB、ホームノードB、ホームeノードB、gNB、NRノードB、サイトコントローラ、アクセスポイント(AP)、およびワイヤレスルータなどにすることができる。基地局114a、114bはそれぞれが単一の要素として示されているが、基地局114a、114bは、任意の数の相互接続された基地局および/またはネットワーク要素を含むことができることが理解されよう。
基地局114aは、RAN104/113の一部とすることができ、RAN104/113は、基地局コントローラ(BSC)、無線ネットワークコントローラ(RNC)、中継ノードなど、他の基地局および/またはネットワーク要素(図示せず)を含むこともできる。基地局114aおよび/または基地局114bは、セル(図示せず)と呼ばれることがある1つまたは複数のキャリア周波数でワイヤレス信号を送信および/または受信するように構成され得る。これらの周波数は、認可スペクトル、無認可スペクトル、または認可スペクトルと無認可スペクトルとの組み合わせであってよい。セルは、比較的固定され得るまたは時間と共に変化し得る特定の地理的エリアに対するワイヤレスサービスのためのカバレージを提供することができる。セルは、さらにセルセクタに分割され得る。たとえば、基地局114aに関連付けられたセルは、3つのセクタに分割され得る。したがって、一実施形態では、基地局114aは、3つのトランシーバを、すなわちセルのセクタごとに1つを含むことができる。実施形態において、基地局114aは、多入力多出力(MIMO)技術を利用することができ、セルのセクタごとに複数のトランシーバを利用することができる。たとえば、ビームフォーミングが、所望される空間方向で信号を送信および/または受信するために使用され得る。
基地局114a、114bは、エアインターフェース116を介してWTRU102a、102b、102c、102dのうちの1つまたは複数と通信することができ、エアインターフェース116は、任意の適切なワイヤレス通信リンク(たとえば、無線周波数(RF)、マイクロ波、センチメートル波、マイクロメートル波、赤外線(IR)、紫外線(UV)、可視光など)とすることができる。エアインターフェース116は、任意の適切な無線アクセス技術(RAT)を使用して確立され得る。
より具体的には、上記されたように、通信システム100は、多元接続システムとすることができ、CDMA、TDMA、FDMA、OFDMA、およびSC−FDMAなどの1つまたは複数のチャネルアクセス方式を利用することができる。たとえば、RAN104/113内の基地局114a、およびWTRU102a、102b、102cは、広帯域CDMA(WCDMA)を使用してエアインターフェース115/116/117を確立できる、ユニバーサル移動体通信システム(UMTS)地上無線アクセス(UTRA)などの無線技術を実装することができる。WCDMAは、高速パケットアクセス(HSPA)および/または進化型HSPA(HSPA+)などの通信プロトコルを含むことができる。HSPAは、高速ダウンリンク(DL)パケットアクセス(HSDPA)および/または高速ULパケットアクセス(HSUPA)を含むことができる。
実施形態において、基地局114a、およびWTRU102a、102b、102cは、ロングタームエボリューション(LTE)および/またはLTEアドバンスト(LTE−A)および/またはLTEアドバンストプロ(LTE−A Pro)を使用してエアインターフェース116を確立できる、進化型UMTS地上無線アクセス(E−UTRA)などの無線技術を実装することができる。
実施形態において、基地局114aおよびWTRU102a、102b、102cは、New Radio(NR)を使用してエアインターフェース116を確立できるNR無線アクセスなどの無線技術を実装することができる。
実施形態において、基地局114aおよびWTRU102a、102b、102cは、複数の無線アクセス技術を実装することができる。たとえば、基地局114aおよびWTRU102a、102b、102cは、たとえばデュアル接続性(DC)を使用して、LTE無線アクセスとNR無線アクセスを一緒に実装することができる。したがって、WTRU102a、102b、102cによって利用されるエアインターフェースは、複数のタイプの無線アクセス技術、および/または複数のタイプの基地局(たとえば、eNBおよびgNB)へ/から送られる送信によって特徴付けられ得る。
他の実施形態では、基地局114a、およびWTRU102a、102b、102cは、IEEE802.11(すなわち、ワイヤレスフィデリティ(WiFi))、IEEE802.16(すなわち、マイクロ波アクセス用世界的相互運用(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000 EV−DO、暫定標準2000(IS−2000)、暫定標準95(IS−95)、暫定標準856(IS−856)、移動体通信用グローバルシステム(GSM)、GSMエボリューション用拡張データレート(EDGE)、およびGSM EDGE(GERAN)などの無線技術を実装することができる。
図33Aにおける基地局114bは、たとえば、ワイヤレスルータ、ホームノードB、ホームeノードB、またはアクセスポイントとすることができ、職場、家庭、乗り物、キャンパス、産業施設、(たとえばドローンにより使用される)空中回廊、車道などの局所的エリアにおけるワイヤレス接続性を容易にするために任意の適切なRATを利用することができる。一実施形態では、基地局114bおよびWTRU102c、102dは、IEEE802.11などの無線技術を実装してワイヤレスローカルエリアネットワーク(WLAN)を確立することができる。実施形態において、基地局114bおよびWTRU102c、102dは、IEEE802.15などの無線技術を実装してワイヤレスパーソナルエリアネットワーク(WPAN)を確立することができる。さらに別の実施形態では、基地局114bおよびWTRU102c、102dは、セルラベースのRAT(たとえば、WCDMA、CDMA2000、GSM、LTE、LTE−A、LTE−A Pro、NRなど)を利用してピコセルまたはフェムトセルを確立することができる。図33Aに示されるように、基地局114bは、インターネット110への直接接続を有することができる。したがって、基地局114bは、CN106/115を介してインターネット110にアクセスすることを必要とされなくてよい。
RAN104/113は、CN106/115と通信することができ、CN106/115は、音声、データ、アプリケーション、および/またはボイスオーバーインターネットプロトコル(VoIP)サービスをWTRU102a、102b、102c、102dのうちの1つまたは複数に提供するように構成された、任意のタイプのネットワークとすることができる。データは、異なるスループット要件、待ち時間要件、エラー許容要件、信頼性要件、データスループット要件、およびモビリティ要件などの様々なサービス品質(QoS)要件を有することがある。CN106/115は、呼制御、請求サービス、モバイルロケーションベースのサービス、プリペイド通話、インターネット接続性、ビデオ配信などを提供し、および/またはユーザ認証などの高レベルセキュリティ機能を実行することができる。図33Aに示されていないが、RAN104/113および/またはCN106/115は、RAN104/113と同じRATまたは異なるRATを利用する他のRANとの直接的または間接的な通信が可能であることが理解されよう。たとえば、NR無線技術を利用し得るRAN104/113に接続されるのに加えて、CN106/115は、は、GSM、UMTS、CDMA2000、WiMAX、E−UTRA、またはWiFi無線技術を利用する別のRAN(図示せず)と通信することもできる。
CN106/115は、PSTN108、インターネット110、および/または他のネットワーク112にアクセスするWTRU102a、102b、102c、102dのためのゲートウェイの役割をすることもできる。PSTN108は、基本電話サービス(POTS)を提供する回線交換電話網を含むことができる。インターネット110は、TCP/IPインターネットプロトコルスイートにおける伝送制御プロトコル(TCP)、ユーザデータグラムプロトコル(UDP)、および/またはインターネットプロトコル(IP)などの共通の通信プロトコルを使用する、相互接続されたコンピュータネットワークおよびデバイスのグローバルシステムを含むことができる。ネットワーク112は、他のサービスプロバイダによって所有および/または運用される有線および/またはワイヤレス通信ネットワークを含むことができる。たとえば、ネットワーク112は、RAN104/113と同じRATまたは異なるRATを利用できる1つまたは複数のRANに接続された別のCNを含むことができる。
通信システム100におけるWTRU102a、102b、102c、102dの一部または全部は、マルチモード能力を含むことができる(たとえば、WTRU102a、102b、102c、102dは、異なるワイヤレスリンクを介して異なるワイヤレスネットワークと通信するための複数のトランシーバを含むことができる)。たとえば、図33Aに示されているWTRU102cは、セルラベースの無線技術を利用できる基地局114a、およびIEEE802無線技術を利用できる基地局114bと通信するように構成され得る。
図33Bは、例示的なWTRU102のシステム図である。図33Bに示されるように、WTRU102は、プロセッサ118、トランシーバ120、送信/受信要素122、スピーカ/マイクロフォン124、キーパッド126、ディスプレイ/タッチパッド128、着脱不能メモリ130、着脱可能メモリ132、電源134、全地球測位システム(GPS)チップセット136、および/または他の周辺機器138を含むことができる。WTRU102は、実施形態との整合性を保ちながら、上記要素の任意の部分的組み合わせを含むことができることが理解されよう。
プロセッサ118は、汎用プロセッサ、専用プロセッサ、従来のプロセッサ、デジタル信号プロセッサ(DSP)、複数のマイクロプロセッサ、DSPコアと関連した1つまたは複数のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)回路、他の任意のタイプの集積回路(IC)、および状態機械などとすることができる。プロセッサ118は、信号コーディング、データ処理、電力制御、入出力処理、および/またはWTRU102がワイヤレス環境で動作するのを可能にする他の任意の機能性を実行することができる。プロセッサ118はトランシーバ120に結合されてよく、トランシーバ120は送信/受信要素122に結合されてよい。図33Bはプロセッサ118とトランシーバ120を別々のコンポーネントとして示しているが、プロセッサ118とトランシーバ120は電子パッケージまたはチップに一緒に統合されてよいことが理解されよう。
送信/受信要素122は、エアインターフェース116を介して、基地局(たとえば基地局114a)に信号を送信し、または基地局から信号を受信するように構成され得る。たとえば、一実施形態では、一実施形態では、送信/受信要素122は、RF信号を送信および/または受信するように構成されたアンテナとすることができる。実施形態において、送信/受信要素122は、たとえば、IR、UV、または可視光信号を送信および/または受信するように構成されたエミッタ/検出器とすることができる。さらに別の実施形態では、送信/受信要素122は、RF信号と光信号の両方を送信および/または受信するように構成され得る。送信/受信要素122がワイヤレス信号の任意の組み合わせを送信および/または受信するように構成され得ることは理解されよう。
図33Bでは送信/受信要素122は単一の要素として示されているが、WTRU102は任意の数の送信/受信要素122を含むことができる。より具体的には、WTRU102はMIMO技術を利用することができる。したがって、一実施形態では、WTRU102は、エアインターフェース116を介してワイヤレス信号を送信および受信するための2つ以上の送信/受信要素122(たとえば、複数のアンテナ)を含むことができる。
トランシーバ120は、送信/受信要素122によって送信される信号を変調し、送信/受信要素122によって受信された信号を復調するように構成され得る。上記されたように、WTRU102はマルチモード能力を有することができる。したがって、トランシーバ120は、たとえば、NRおよびIEEE802.11などの複数のRATを介してWTRU102が通信することを可能にするための複数のトランシーバを含むことができる。
WTRU102のプロセッサ118は、スピーカ/マイクロフォン124、キーパッド126、および/またはディスプレイ/タッチパッド128(たとえば、液晶表示(LCD)ディスプレイユニットもしくは有機発光ダイオード(OLED)表示ユニット)に結合されることができ、それらからユーザ入力データを受信することができる。プロセッサ118は、スピーカ/マイクロフォン124、キーパッド126、および/またはディスプレイ/タッチパッド128にユーザデータを出力することもできる。加えて、プロセッサ118は、着脱不能メモリ130および/または着脱可能メモリ132などの任意のタイプの適切なメモリからの情報にアクセスすることができ、それらにデータを記憶することができる。着脱不能メモリ130は、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、ハードディスク、または他の任意のタイプのメモリストレージデバイスを含むことができる。着脱可能メモリ132は、加入者識別モジュール(SIM)カード、メモリスティック、およびセキュアデジタル(SD)メモリカードなどを含むことができる。他の実施形態では、プロセッサ118は、WTRU102上に物理的に配置されずにサーバまたはホームコンピュータ(図示せず)上などにあるメモリからの情報にアクセスすることができ、それらにデータを記憶することができる。
プロセッサ118は、電源134から電力を受け取ることができ、WTRU102内の他のコンポーネントへの電力の分配および/または制御をするように構成され得る。電源134は、WTRU102に電力供給するための任意の適切なデバイスとすることができる。たとえば、電源134は、1つまたは複数の乾電池(たとえば、ニッケル−カドミウム(NiCd)、ニッケル−亜鉛(NiZn)、ニッケル水素(NiMH)、リチウムイオン(Li−ion)など)、太陽電池、および燃料電池などを含むことができる。
プロセッサ118は、GPSチップセット136に結合されてもよく、GPSチップセット136は、WTRU102の現在のロケーションに関するロケーション情報(たとえば、経度および緯度)を提供するように構成され得る。GPSチップセット136からの情報に加えてまたは代えて、WTRU102は、基地局(たとえば、基地局114a、114b)からエアインターフェース116を介してロケーション情報を受信し、および/または2つ以上の近くの基地局から受信された信号のタイミングに基づいてそのロケーション情を決定することができる。WTRU102は、実施形態との整合性を保ちながら、任意の適切なロケーション決定方法によってロケーション情報を取得できることが理解されよう。
プロセッサ118は、他の周辺機器138にさらに結合されてよく、他の周辺機器138は、追加的な特徴、機能性、および/または有線もしくはワイヤレス接続性を提供する1つまたは複数のソフトウェアおよび/またはハードウェアモジュールを含むことができる。たとえば、周辺機器138は、加速度計、電子コンパス、衛星トランシーバ、(写真および/またはビデオ用)デジタルカメラ、ユニバーサルシリアルバス(USB)ポート、振動デバイス、テレビトランシーバ、ハンズフリーヘッドセット、Bluetooth(登録商標)モジュール、周波数変調(FM)無線ユニット、デジタル音楽プレーヤ、メディアプレーヤ、ビデオゲームプレーヤモジュール、インターネットブラウザ、バーチャルリアリティおよび/または拡張現実(VR/AR)デバイス、ならびにアクティビティトラッカなどを含むことができる。周辺機器138は、1つまたは複数のセンサを含むことができ、センサは、ジャイロスコープ、加速度計、ホール効果センサ、磁力計、方位センサ、近接センサ、温度センサ、時間センサ、地理位置センサ、高度計、光センサ、タッチセンサ、磁力計、気圧計、ジェスチャセンサ、バイオメトリックセンサ、および/または湿度センサのうちの1つまたは複数であってよい。
WTRU102は、全二重無線を含んでよく、全二重無線では、(たとえば、UL(たとえば送信用)とダウンリンク(たとえば受信用)の両方についての特定のサブフレームに関連付けられた)信号の一部または前部の送信および受信が、並列および/または同時であり得る。全二重無線は、ハードウェア(たとえばチョーク)またはプロセッサ(たとえば、別個のプロセッサ(図示せず)もしくはプロセッサ118)による信号処理を介して自己干渉を低減させまたは実質的に除去するための干渉管理ユニットを含むことができる。実施形態において、WTRU102は、(たとえば、UL(たとえば送信用)またはダウンリンク(たとえば受信用)のいずれかについての特定のサブフレームに関連付けられた)信号の一部または全部の送信および受信がある、半二重無線を含んでよい。
図33Cは、実施形態によるRAN104およびCN106を示すシステム図である。上記されたように、RAN104は、E−UTRA無線技術を利用して、エアインターフェース116を介してWTRU102a、102b、102cと通信することができる。RAN104はCN106と通信することもできる。
RAN104はeノードB160a、160b、160cを含むことができるが、RAN104は、実施形態との整合性を保ちながら、任意の数のeノードBを含むことができることが理解されよう。eノードB160a、160b、160cはそれぞれが、エアインターフェース116を介してWTRU102a、102b、102cと通信するための1つまたは複数のトランシーバを含むことができる。一実施形態では、eノードB160a、160b、160cはMIMO技術を実装することができる。したがって、eノードB160aは、たとえば、複数のアンテナを使用して、WTRU102aにワイヤレス信号を送信し、および/またはWTRU102aからワイヤレス信号を受信することができる。
eノードB160a、160b、160cのそれぞれは、セル(図示せず)に関連付けられてよく、無線リソース管理決定、ハンドオーバ決定、ならびにULおよび/またはDLにおけるユーザのスケジューリングなどを処理するように構成され得る。図33Cに示されるように、eノードB160a、160b、160cはX2インターフェースを介して互いに通信することができる。
図33Cに示されるCN106は、モビリティ管理エンティティ(MME)162、サービングゲートウェイ164、およびパケットデータネットワーク(PDN)ゲートウェイ166(またはPGW)を含むことができる。上記の要素のそれぞれはCN106の部分として示されているが、これらの要素のいずれも、CNオペレータとは異なるエンティティによって所有および/または運用され得ることが理解されよう。
MME162は、S1インターフェースを介してRAN104内のeノードB160a、160b、160cのそれぞれに接続されてよく、制御ノードの役割をすることができる。たとえば、MME162は、WTRU102a、102b、102cのユーザを認証すること、ベアラアクティブ化/非アクティブ化、およびWTRU102a、102b、102cの初期アタッチ中に特定のサービングゲートウェイを選択することなどを担当することができる。MME162は、RAN104と、GSMおよび/またはWCDMAなど他の無線技術を利用する他のRAN(図示せず)との間の切り替えのための制御プレーン機能を提供することができる。
SGW164は、S1インターフェースを介してRAN104内のeノードB160a、160b、160cのそれぞれに接続され得る。SGW164は一般に、WTRU102a、102b、102cへ/からのユーザデータパケットをルーティングおよび転送することができる。SGW164は、eノードB間ハンドオーバ中にユーザプレーンをアンカリングすること、DLデータがWTRU102a、102b、102cに利用可能なときにページングをトリガすること、ならびにWTRU102a、102b、102cのコンテキストを管理および記憶することなど、他の機能を実行することもできる。
SGW164は、PGW166に接続されてよく、PGW166は、インターネット110などのパケット交換ネットワークへのアクセスをWTRU102a、102b、102cに提供して、WTRU102a、102b、102cとIP対応デバイスとの間の通信を容易にすることができる。
CN106は、他のネットワークとの通信を容易にすることができる。たとえば、CN106は、PSTN108などの回線交換ネットワークへのアクセスをWTRU102a、102b、102cに提供して、WTRU102a、102b、102cと従来の陸線通信デバイスとの間の通信を容易にすることができる。たとえば、CN106は、CN106とPSTN108との間のインターフェースとしての役割をするIPゲートウェイ(たとえば、IPマルチメディアサブシステム(IMS)サーバ)を含むことができ、またはそのようなIPゲートウェイと通信することができる。加えて、CN106は、他のネットワーク112へのアクセスをWTRU102a、102b、102cに提供することができ、ネットワーク112は、他のサービスプロバイダによって所有および/または運用される他の有線および/またはワイヤレスネットワークを含むことができる。
図33A〜図33DではWTRUをワイヤレス端末として説明されているが、特定の代表的実施形態では、そのような端末は、通信ネットワークとの有線通信インターフェースを(たとえば、一時的または永続的に)使用し得ることが企図される。
代表的実施形態において、他のネットワーク112はWLANであってよい。
インフラストラクチャ基本サービスセット(BSS)モードにおけるWLANは、BSS用のアクセスポイント(AP)、およびAPに関連付けられた1つまたは複数の局(STA)を有することができる。APは、BSSの内および/または外へのトラフィックを搬送する配信システム(DS)または別のタイプの有線/ワイヤレスネットワークへのアクセスまたはインターフェースを有することができる。BSSの外部から生じるSTAへのトラフィックは、APを介して到着してよく、STAに送達されてよい。BSSの外部の宛先に向けてSTAから生じるトラフィックは、APに送られてそれぞれの宛先に送達され得る。BSS内のSTAの間のトラフィックは、APを通して送られてよく、たとえば、ソースSTAはAPにトラフィックを送ることができ、APは、宛先STAにトラフィックを送達することができる。BSS内のSTAの間のトラフィックは、ピアツーピアトラフィックと見なされ、および/または称されることがある。ピアツーピアトラフィックは、ダイレクトリンクセットアップ(DLS)を用いてソースSTAと宛先STAとの間で(たとえば、間で直接)送られてよい。特定の代表的実施形態では、DLSは、802.11e DLSまたは802.11zトンネリングされたDLS(tunneled DLS:TDLS)を使用してよい。独立BSS(IBSS)モードを使用するWLANはAPを有しなくてよく、IBSS内のまたはIBSSを使用するSTA(たとえば、STAの全て)は互いに直接通信してよい。IBSS通信モードは、時として本明細書では「アドホック」通信モードと呼ばれることがある。
802.11acインフラストラクチャ動作モードまたは同様の動作モードを使用するとき、APは、一次チャネルなどの固定チャネル上でビーコンを送信することができる。一次チャネルは、固定された幅(たとえば、20MHz幅の帯域幅)、またはシグナリングを介して動的に設定された幅であり得る。一次チャネルは、BSSの動作チャネルであってよく、APとの接続を確立するためにSTAによって使用されてよい。特定の代表的実施形態では、キャリア検知多重アクセス/衝突回避(CSMA/CA)が、たとえば802.11システムにおいて実装され得る。CSMA/CAでは、APを含むSTA(たとえば、全てのSTA)が一次チャネルを感知することができる。特定のSTAによって一次チャネルが感知/検出されおよび/またはビジーであると決定される場合、特定のSTAはバックオフし得る。1つのSTA(たとえば、単一の局)は、所与のBSSにおいて任意の所与の時間に送信をしてよい。
高スループット(HT)のSTAは、40MHz幅チャネルを形成するために、たとえば、隣接または非隣接の20MHzチャネルと一次20MHzチャネルの組み合わせを介して、通信用に40MHz幅チャネルを使用することができる。
超高スループット(VHT)のSTAは、20MHz、40MHz、80MHz、および/または160MHz幅チャネルをサポートすることができる。40MHzおよび/または80MHzチャネルは、連続する20MHzチャネルを組み合わせることによって形成され得る。160MHzチャネルは、8つの連続する20MHzチャネルを組み合わせることによって、または80+80構成と呼ばれることがある2つの連続していない80MHzチャネルを組み合わせることによって形成され得る。80+80構成では、データは、チャネルエンコード後に、2つのストリームにデータを分割できるセグメントパーサを通して渡されてよい。逆高速フーリエ変換(IFFT)処理と時間領域処理とが各ストリームで別々に行われてよい。ストリームは、2つの80MHzチャネル上にマッピングされてよく、データは、送信STAによって送信されてよい。受信STAの受信機では、80+80構成について上述された動作が逆にされてよく、組み合わされたデータが媒体アクセス制御(MAC)に送られてよい。
サブ1GHz動作モードが802.11afおよび802.11ahによってサポートされる。チャネル動作帯域幅およびキャリアは、802.11nおよび802.11acで使用されるものと比べて802.11afおよび802.11ahでは低減される。802.11afは、TVホワイトスペース(TVWS)スペクトル中の5MHz、10MHz、および20MHz帯域幅をサポートし、802.11ahは、非TVWSスペクトルを使用して1MHz、2MHz、4MHz、8MHz、および16MHz帯域幅をサポートする。代表的実施形態によれば、802.11ahは、マクロカバレージエリア内のMTCデバイスなどのメータタイプ制御/マシンタイプ通信をサポートすることができる。MTCデバイスは、特定の能力、たとえば、特定および/または限定された帯域幅のサポート(たとえば、それのみのサポート)を含む限定された能力を有してよい。MTCデバイスは、(たとえば、非常に長いバッテリ寿命を維持するために)閾値を上回るバッテリ寿命を有するバッテリを含んでよい。
802.11n、802.11ac、802.11af、および802.11ahなどの複数のチャネルおよびチャネル帯域幅をサポートし得る、WLANシステムは、一次チャネルとして指定され得るチャネルを含む。一次チャネルは、BSSにおける全てのSTAによってサポートされる最大の共通動作帯域幅に等しい帯域幅を有し得る。一次チャネルの帯域幅は、BSSにおいて動作している全てのSTAのうちから最小の帯域幅動作モードをサポートするSTAによって、設定および/または限定され得る。802.11ahの例では、AP、およびBSSにおける他のSTAが、2MHz、4MHz、8MHz、16MHz、および/または他のチャネル帯域幅動作モードをサポートする場合でも、一次チャネルは、1MHzモードをサポートする(たとえば、それのみをサポートする)STA(たとえば、MTCタイプデバイス)に対して1MHz幅であり得る。キャリア検知および/またはネットワーク割り当てベクトル(NAV)設定は、一次チャネルのステータスに依存し得る。たとえば、APに送信をする(1MHz動作モードのみをサポートする)STAにより、一次チャネルがビジーである場合、周波数帯域の大部分がアイドル状態のままで利用可能であり得る場合でも、利用可能な周波数帯域全体がビジーであると見なされ得る。
米国では、802.11ahによって使用され得る利用可能な周波数帯域は、902MHzから928MHzである。韓国では、利用可能な周波数帯域は、917.5MHzから923.5MHzである。日本では、利用可能な周波数帯域は、916.5MHzから927.5MHzである。802.11ahに利用可能な全帯域幅は、国コードに応じて6MHzから26MHzである。
図33Dは、実施形態によるRAN113およびCN115を示すシステム図である。上記されたように、RAN113は、NR無線技術を利用して、エアインターフェース116を介してWTRU102a、102b、102cと通信することができる。RAN113は、CN115と通信することもできる。
RAN113はgNB180a、180b、180cを含むことができるが、RAN113は、実施形態との整合性を保ちながら、任意の数のgNBを含むことができることが理解されよう。gNB180a、180b、180cはそれぞれが、エアインターフェース116を介してWTRU102a、102b、102cと通信するための1つまたは複数のトランシーバを含むことができる。一実施形態では、gNB180a、180b、180cはMIMO技術を実装することができる。たとえば、gNB180a、108bは、ビームフォーミングを利用して、gNB180a、180b、180cに信号を送信し、および/またはgNB180a、180b、180cから信号を受信することができる。したがって、gNB180aは、たとえば、複数のアンテナを使用して、WTRU102aにワイヤレス信号を送信し、および/またはWTRU102aからワイヤレス信号を受信することができる。実施形態において、gNB180a、180b、180cはキャリアアグリゲーション技術を実装することができる。たとえば、gNB180aは、複数のコンポーネントキャリアをWTRU102a(図示せず)に送信することができる。これらのコンポーネントキャリアのサブセットは、無認可スペクトル上にあり得る一方、残りのコンポーネントキャリアは、認可スペクトル上にあり得る。実施形態において、gNB180a、180b、180cは、協調マルチポイント(CoMP)技術を実装することができる。たとえば、WTRU102aは、gNB180aおよびgNB180b(および/またはgNB180c)から、協調された送信を受信することができる。
WTRU102a、102b、102cは、スケーラブルなヌメロロジに関連付けられた送信を使用してgNB180a、180b、180cと通信することができる。たとえば、OFDMシンボル間隔および/またはOFDMサブキャリア間隔は、異なる送信、異なるセル、および/またはワイヤレス送信スペクトルの異なる部分によって変動し得る。WTRU102a、102b、102cは、(たとえば、様々な数のOFDMシンボルを含む、および/または様々な長さの絶対時間を通して続く)様々またはスケーラブルな長さのサブフレームまたは送信時間間隔(TTI)を使用して、gNB180a、180b、180cと通信することができる。
gNB180a、180b、180cは、スタンドアロン構成および/または非スタンドアロン構成のWTRU102a、102b、102cと通信するように構成され得る。スタンドアロン構成では、WTRU102a、102b、102cは、他のRAN(たとえば、eノードB160a、160b、160cなど)にはアクセスすることなくgNB180a、180b、180cと通信し得る。スタンドアロン構成では、WTRU102a、102b、102cは、gNB180a、180b、180cのうちの1つまたは複数をモビリティアンカーポイントとして利用し得る。スタンドアロン構成では、WTRU102a、102b、102cは、無認可帯域において信号を使用してgNB180a、180b、180cと通信し得る。非スタンドアロン構成では、WTRU102a、102b、102cは、eノードB160a、160b、160cなどの別のRANとも通信/接続しながら、gNB180a、180b、180cと通信/接続し得る。たとえば、WTRU102a、102b、102cは、実質的に同時に1つまたは複数のgNB180a、180b、180cおよび1つまたは複数のeノードB160a、160b、160cと通信するためにDC原理を実装することができる。非スタンドアロン構成では、eノードB160a、160b、160cは、WTRU102a、102b、102cのためのモビリティアンカーの役割をすることができ、gNB180a、180b、180cは、WTRU102a、102b、102cにサービスするための追加のカバレージおよび/またはスループットを提供することができる。
gNB180a、180b、180cのそれぞれは、特定のセル(図示せず)に関連付けられてよく、無線リソース管理決定、ハンドオーバ決定、ULおよび/またはDLにおけるユーザのスケジューリング、ネットワークスライシングのサポート、デュアル接続性、NRとE−UTRAとの間のインターワーキング、ユーザプレーン機能(UPF)184a、184bに向けたユーザプレーンデータのルーティング、アクセスおよびモビリティ管理機能(AMF)182a、182bに向けた制御プレーン情報のルーティングなどを処理するように構成され得る。図33Dに示されるように、gNB180a、180b、180cは、Xnインターフェースを介して互いと通信することができる。
図33Dに示されるCN115は、少なくとも1つのAMF182a、182b、少なくとも1つのUPF184a、184b、少なくとも1つのセッション管理機能(SMF)183a、183b、および場合によってはデータネットワーク(DN)185a、185bを含むことができる。上記の要素のそれぞれがCN115の一部として示されているが、これらの要素のいずれも、CNオペレータとは異なるエンティティによって所有および/または運用され得ることが理解されよう。
AMF182a、182bは、N2インターフェースを介してRAN113内のgNB180a、180b、180cのうちの1つまたは複数に接続されてよく、制御ノードの役割をすることができる。たとえば、AMF182a、182bは、WTRU102a、102b、102cのユーザを認証すること、ネットワークスライシング(たとえば、異なる要件を有する異なるPDUセッションの処理)のサポート、特定のSMF183a、183bを選択すること、登録エリアの管理、NASシグナリングの終了、モビリティ管理などを担当することができる。ネットワークスライシングは、WTRU102a、102b、102cに利用されているサービスのタイプに基づいてWTRU102a、102b、102cのCNサポートをカスタマイズするために、AMF182a、182bによって使用され得る。たとえば、超高信頼低遅延(URLLC)アクセスに依存するサービス、拡張大規模モバイルブロードバンド(eMBB)アクセスに依存するサービス、および/またはマシンタイプ通信(MTC)アクセスのサービスなどの異なる使用事例のために、異なるネットワークスライスが確立され得る。AMF182は、RAN113と、LTE、LTE−A、LTE−A Pro、および/またはWiFiなどの非3GPPアクセス技術など他の無線技術を利用する他のRAN(図示せず)との間の切り替えのための制御プレーン機能を提供することができる。
SMF183a、183bは、N11インターフェースを介してCN115におけるAMF182a、182bに接続され得る。SMF183a、183bは、N4インターフェースを介してCN115におけるUPF184a、184bにも接続され得る。SMF183a、183bは、UPF184a、184bを選択および制御し、UPF184a、184bを介してトラフィックのルーティングを構成することができる。SMF183a、183bは、UE IPアドレスを管理し割り当てること、PDUセッションを管理すること、ポリシー実施およびQoSを制御すること、ダウンリンクデータ通知を提供することなど、他の機能を実行することができる。PDUセッションタイプは、IPベース、非IPベース、イーサネットベースなどであり得る。
UPF184a、184bは、N3インターフェースを介してRAN113内のgNB180a、180b、180cのうちの1つまたは複数に接続されてよく、それは、インターネット110などのパケット交換ネットワークへのアクセスをWTRU102a、102b、102cに提供して、WTRU102a、102b、102cとIP対応デバイスとの間の通信を容易にすることができる。UPF184a、184bは、パケットをルーティングおよび転送すること、ユーザプレーンのポリシーを実施すること、マルチホームPDUセッションをサポートすること、ユーザプレーンQoSを扱うこと、ダウンリンクパケットをバッファリングすること、モビリティアンカリングを提供することなど、他の機能を実行することができる。
CN115は、他のネットワークとの通信を容易にすることができる。たとえば、CN115は、CN115とPSTN108との間のインターフェースの役割をするIPゲートウェイ(たとえば、IPマルチメディアサブシステム(IMS)サーバ)を含むことができ、またはそのようなIPゲートウェイと通信することができる。加えて、CN115は、他のネットワーク112へのアクセスをWTRU102a、102b、102cに提供することができ、ネットワーク112は、他のサービスプロバイダによって所有および/または運用される他の有線および/またはワイヤレスネットワークを含むことができる。一実施形態では、WTRU102a、102b、102cは、UPF184a、184bへのN3インターフェース、ならびにUPF184a、184bとDN185a、185bとの間のN6インターフェースを介して、UPF184a、184bを通してローカルデータネットワーク(DN)185a、185bに接続され得る。
図33A〜33D、および図33A〜33Dの対応する説明に鑑みて、WTRU102a〜d、基地局114a〜b、eノードB160a〜c、MME162、SGW164、PGW166、gNB180a〜c、AMF182a〜b、UPF184a〜b、SMF183a〜b、DN185a〜b、および/または本明細書に説明された任意の他のデバイスのうちの1つまたは複数に関して本明細書に説明された機能のうちの1つもしくは複数または全ては、1つまたは複数のエミュレーションデバイス(図示せず)によって実行され得る。エミュレーションデバイスは、本明細書に説明された機能のうちの1つもしくは複数または全てをエミュレートするように構成された1つまたは複数のデバイスであり得る。たとえば、エミュレーションデバイスは、他のデバイスをテストする、ならびに/またはネットワークおよび/もしくはWTRU機能をシミュレートするために使用され得る。
エミュレーションデバイスは、ラボ環境および/またはオペレータネットワーク環境において他のデバイスの1つまたは複数のテストを実施するように設計され得る。たとえば、1つまたは複数のエミュレーションデバイスは、通信ネットワーク内の他のデバイスをテストするために、有線および/またはワイヤレス通信ネットワークの一部として完全または部分的に実装および/または展開されながら、1つもしくは複数または全ての機能を実行してよい。1つまたは複数のエミュレーションデバイスは、有線および/またはワイヤレス通信ネットワークの一部として一時的に実装/展開されながら、1つもしくは複数または全ての機能を実行してよい。エミュレーションデバイスは、テストのために別のデバイスに直接結合されてよく、および/または無線のワイヤレス通信を使用してテストを実行してよい。
1つまたは複数のエミュレーションデバイスは、有線および/またはワイヤレス通信ネットワークの一部として実装/展開されずに、全てを含む1つまたは複数の機能を実行してよい。たとえば、エミュレーションデバイスは、1つまたは複数のコンポーネントのテストを実施するために、試験所ならびに/または展開されていない(たとえばテスト)有線および/もしくはワイヤレス通信ネットワークにおいてテストシナリオで利用されてよい。1つまたは複数のエミュレーションデバイスは試験装置であり得る。直接RF結合、および/または(たとえば、1つもしくは複数のアンテナを含み得る)RF回路を介したワイヤレス通信が、データを送信および/または受信するためにエミュレーションデバイスによって使用され得る。

Claims (20)

  1. 360度ビデオをデコードする方法であって、
    コーディング順序でコーディングされたフレームパッキングされたピクチャを受信することであって、前記フレームパッキングされたピクチャは、複数の面および現在のブロックを含む、ことと、
    前記現在のブロックが属する前記フレームパッキングされたピクチャにおける第1の面を識別することと、
    前記フレームパッキングされたピクチャの前記コーディング順序に応じて前記第1の面の退出境界に前記現在のブロックが配置されていると決定することと、
    前記現在のブロックの複数の球隣接ブロックを識別することと、
    前記現在のブロックの前記複数の球隣接ブロックのうちの、第2の面に配置されたクロス面境界隣接ブロックを識別することであり、前記第1の面の前記退出境界は前記第1の面と前記第2の面との間で共有されている、ことと、
    前記360度ビデオのフレームパッキング情報に基づいて前記クロス面境界隣接ブロックに対応する前記フレームパッキングされたピクチャにおける第2のブロックを識別することと、
    識別された前記第2のブロックの使用可能性に基づいて、前記現在のブロックをコーディングするために前記フレームパッキングされたピクチャにおける識別された前記第2のブロックを使用するかどうかを決定することと、
    前記決定に基づいて、前記現在のブロックをコーディングすることであり、識別された前記第2のブロックを使用するという決定に基づいて、前記クロス面境界隣接ブロックに対応する前記第2のブロックを使用して前記現在のブロックがコーディングされる、ことと、を含む方法。
  2. 前記コーディング順序は、
    前記現在のブロックに対して左から右の方向を有する第1のコーディング順序、
    前記現在のブロックに対して上から下の方向を有する第2のコーディング順序、または
    前記現在のブロックに対して左から右且つ上から下の方向を有する第3のコーディング順序
    の少なくとも1つを含む、請求項1に記載の方法。
  3. 前記現在のブロックが、前記第1の面内に配置されていると決定する、または前記フレームパッキングされたピクチャの前記コーディング順序に応じて前記第1の面の進入境界に配置されていると決定することと、
    前記フレームパッキングされたピクチャに基づいて利用可能な前記現在のブロックの球隣接ブロックを識別することと、
    前記現在のブロックの識別された前記球隣接ブロックに基づいて前記現在のブロックをコーディングすることと
    をさらに含む、請求項1に記載の方法。
  4. 前記第1の面の前記退出境界は前記第1の面の第1の境界を含み、前記第1の境界は前記現在のブロックに対して前記コーディング順序と同じ方向に配置されている、請求項1に記載の方法。
  5. 前記第1の面の前記退出境界は、
    前記第1の面に関連付けられた最右面境界、
    前記第1の面に関連付けられた最下面境界、または
    前記第1の面に関連付けられた前記最右面境界且つ前記最下面境界
    の少なくとも1つを含む、請求項4に記載の方法。
  6. 前記フレームパッキングされたピクチャは、対応する面境界を有する前記複数の面を含む前記フレームパッキングされたピクチャのデコードされた表現を含む、請求項1に記載の方法。
  7. 前記クロス面境界隣接ブロックは前記現在のブロックに対して前記コーディング順序と同じ方向に配置され、前記クロス面境界隣接ブロックは、
    前記現在のブロックに関連付けられた右上(AR)ブロック、
    前記現在のブロックに関連付けられた右(R)ブロック、
    前記現在のブロックに関連付けられた下(B)ブロック、
    前記現在のブロックに関連付けられた右下(BR)ブロック、または
    前記現在のブロックに関連付けられた左下(BL)ブロック
    の少なくとも1つを含む、請求項1に記載の方法。
  8. 前記現在のブロックが前記第1の面の前記退出境界に配置されおり且つ前記退出境界が前記現在のブロックに対して前記コーディング順序と同じ方向に配置されているとき、前記クロス面境界隣接ブロックを使用して前記現在のブロックにフィルタリングを適用することをさらに含む、請求項1に記載の方法。
  9. 前記フィルタリングは、
    ループ内フィルタリング、
    サンプル適応オフセット(SAO)フィルタリング、
    デブロッキングフィルタリング、または
    適応ループフィルタリング(ALF)
    の少なくとも1つを含む、請求項8に記載の方法。
  10. 前記現在のブロックをコーディングすることは、
    イントラ予測、
    インター予測、
    クロスコンポーネント線形モデル予測、
    フィルタリング、または
    ジオメトリパディング
    の少なくとも1つを使用することをさらに含む、請求項1に記載の方法。
  11. 360度ビデオのデコーダであって、
    コーディング順序でコーディングされたフレームパッキングされたピクチャを受信し、前記フレームパッキングされたピクチャは、複数の面および現在のブロックを含み、
    前記現在のブロックが属する前記フレームパッキングされたピクチャにおける第1の面を識別し、
    前記フレームパッキングされたピクチャの前記コーディング順序に応じて前記第1の面の退出境界に前記現在のブロックが配置されていると決定し、
    前記現在のブロックの複数の球隣接ブロックを識別し、
    前記現在のブロックの前記複数の球隣接ブロックのうちの、第2の面に配置されたクロス面境界隣接ブロックを識別し、前記第1の面の前記退出境界は前記第1の面と前記第2の面との間で共有されており、
    前記360度ビデオのフレームパッキング情報に基づいて前記クロス面境界隣接ブロックに対応する前記フレームパッキングされたピクチャにおける第2のブロックを識別し、
    識別された前記第2のブロックの使用可能性に基づいて、前記現在のブロックをコーディングするために前記フレームパッキングされたピクチャにおける識別された前記第2のブロックを使用するかどうかを決定し、
    前記決定に基づいて、前記現在のブロックをコーディングし、識別された前記第2のブロックを使用するという決定に基づいて、前記クロス面境界隣接ブロックに対応する前記第2のブロックを使用して前記現在のブロックがコーディングされる、
    ように構成されたプロセッサを備えた、デコーダ。
  12. 前記コーディング順序は、
    前記現在のブロックに対して左から右の方向を有する第1のコーディング順序、
    前記現在のブロックに対して上から下の方向を有する第2のコーディング順序、または
    前記現在のブロックに対して左から右且つ上から下の方向を有する第3のコーディング順序
    の少なくとも1つを含む、請求項11に記載のデコーダ。
  13. 前記プロセッサは、
    前記現在のブロックが、前記第1の面内に配置されていると決定し、または前記フレームパッキングされたピクチャの前記コーディング順序に応じて前記第1の面の進入境界に配置されていると決定し、
    前記フレームパッキングされたピクチャに基づいて利用可能な前記現在のブロックの球隣接ブロックを識別し、
    前記現在のブロックの識別された前記球隣接ブロックに基づいて前記現在のブロックをコーディングする
    ようにさらに構成された、請求項11に記載のデコーダ。
  14. 前記第1の面の前記退出境界は前記第1の面の第1の境界を含み、前記第1の境界は前記現在のブロックに対して前記コーディング順序と同じ方向に配置されている、請求項11に記載のデコーダ。
  15. 前記第1の面の前記退出境界は、
    前記第1の面に関連付けられた最右面境界、
    前記第1の面に関連付けられた最下面境界、または
    前記第1の面に関連付けられた前記最右面境界且つ前記最下面境界
    の少なくとも1つを含む、請求項14に記載のデコーダ。
  16. 前記フレームパッキングされたピクチャは、対応する面境界を有する前記複数の面を含む前記フレームパッキングされたピクチャのデコードされた表現を含む、請求項11に記載のデコーダ。
  17. 前記クロス面境界隣接ブロックは前記現在のブロックに対して前記コーディング順序と同じ方向に配置され、前記クロス面境界隣接ブロックは、
    前記現在のブロックに関連付けられた右上(AR)ブロック、
    前記現在のブロックに関連付けられた右(R)ブロック、
    前記現在のブロックに関連付けられた下(B)ブロック、
    前記現在のブロックに関連付けられた右下(BR)ブロック、または
    前記現在のブロックに関連付けられた左下(BL)ブロック
    の少なくとも1つを含む、請求項11に記載のデコーダ。
  18. 前記プロセッサは、
    前記現在のブロックが前記第1の面の前記退出境界に配置されおり且つ前記退出境界が前記現在のブロックに対して前記コーディング順序と同じ方向に配置されているとき、前記クロス面境界隣接ブロックを使用して前記現在のブロックにフィルタリングを適用する
    ようにさらに構成された、請求項11に記載のデコーダ。
  19. 前記フィルタリングは、
    ループ内フィルタリング、
    サンプル適応オフセット(SAO)フィルタリング、
    デブロッキングフィルタリング、または
    適応ループフィルタリング(ALF)
    の少なくとも1つをさらに含む、請求項18に記載のデコーダ。
  20. 前記プロセッサは、
    イントラ予測、
    インター予測、
    クロスコンポーネント線形モデル予測、
    フィルタリング、または
    ジオメトリパディング
    の少なくとも1つを使用して、前記現在のブロックをコーディングする
    ようにさらに構成された、請求項11に記載のデコーダ。
JP2019555437A 2017-04-11 2018-04-10 面連続性を使用する360度ビデオコーディング Active JP7169988B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022174378A JP7357747B2 (ja) 2017-04-11 2022-10-31 面連続性を使用する360度ビデオコーディング

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762484218P 2017-04-11 2017-04-11
US62/484,218 2017-04-11
US201762525880P 2017-06-28 2017-06-28
US62/525,880 2017-06-28
PCT/US2018/026828 WO2018191224A1 (en) 2017-04-11 2018-04-10 360-degree video coding using face continuities

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022174378A Division JP7357747B2 (ja) 2017-04-11 2022-10-31 面連続性を使用する360度ビデオコーディング

Publications (2)

Publication Number Publication Date
JP2020517164A true JP2020517164A (ja) 2020-06-11
JP7169988B2 JP7169988B2 (ja) 2022-11-11

Family

ID=62067880

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019555437A Active JP7169988B2 (ja) 2017-04-11 2018-04-10 面連続性を使用する360度ビデオコーディング
JP2022174378A Active JP7357747B2 (ja) 2017-04-11 2022-10-31 面連続性を使用する360度ビデオコーディング

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022174378A Active JP7357747B2 (ja) 2017-04-11 2022-10-31 面連続性を使用する360度ビデオコーディング

Country Status (9)

Country Link
US (1) US20200120359A1 (ja)
EP (1) EP3610649A1 (ja)
JP (2) JP7169988B2 (ja)
KR (3) KR20230117492A (ja)
CN (1) CN110692249A (ja)
CA (1) CA3059870A1 (ja)
SG (1) SG11201909450WA (ja)
WO (1) WO2018191224A1 (ja)
ZA (1) ZA201906677B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7401554B2 (ja) 2019-03-11 2023-12-19 華為技術有限公司 エンコーダ、デコーダ及び対応する方法

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115150618A (zh) 2016-05-27 2022-10-04 松下电器(美国)知识产权公司 解码装置及系统
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
CN117061771A (zh) 2017-09-20 2023-11-14 Vid拓展公司 用于编码的方法和装置和用于解码的方法和装置
US11212438B2 (en) * 2018-02-14 2021-12-28 Qualcomm Incorporated Loop filter padding for 360-degree video coding
KR20190140387A (ko) * 2018-06-11 2019-12-19 에스케이텔레콤 주식회사 360도 영상의 인터 예측 방법 및 이를 이용한 영상 복호화 장치
WO2019240425A1 (ko) 2018-06-11 2019-12-19 에스케이텔레콤 주식회사 인터 예측 방법 및 영상 복호화 장치
MX2020012688A (es) 2018-06-27 2021-02-15 Kt Corp Metodo y aparato para procesar se?ales de video.
WO2020009400A1 (ko) * 2018-07-02 2020-01-09 엘지전자 주식회사 인트라 예측을 사용하여 비디오 신호를 처리하기 위한 방법 및 장치
CN110839153B (zh) 2018-08-17 2023-04-07 北京字节跳动网络技术有限公司 一种处理视频数据的方法和装置
US11284054B1 (en) * 2018-08-30 2022-03-22 Largo Technology Group, Llc Systems and method for capturing, processing and displaying a 360° video
US11094088B2 (en) * 2018-08-31 2021-08-17 Mediatek Inc. Method and apparatus of in-loop filtering for virtual boundaries in video coding
US11765349B2 (en) 2018-08-31 2023-09-19 Mediatek Inc. Method and apparatus of in-loop filtering for virtual boundaries
US11330277B2 (en) * 2018-08-31 2022-05-10 Hfi Innovation Inc. Method and apparatus of subblock deblocking in video coding
WO2020053804A1 (en) 2018-09-12 2020-03-19 Beijing Bytedance Network Technology Co., Ltd. Downsampling in cross-component linear modeling
CN113170104A (zh) * 2018-11-15 2021-07-23 韩国电子通信研究院 使用基于区域的帧间/帧内预测的编码/解码方法和设备
EP3895425A4 (en) 2018-12-14 2021-12-15 ZTE Corporation PROCESSING AN IMMERSIVE VIDEO BITSTREAM
US11039115B2 (en) * 2018-12-21 2021-06-15 Samsung Electronics Co., Ltd. Low complexity color smoothing of reconstructed point clouds
CN113261291A (zh) 2018-12-22 2021-08-13 北京字节跳动网络技术有限公司 基于多个参数的两步交叉分量预测模式
US11089335B2 (en) * 2019-01-14 2021-08-10 Mediatek Inc. Method and apparatus of in-loop filtering for virtual boundaries
WO2020249124A1 (en) 2019-06-14 2020-12-17 Beijing Bytedance Network Technology Co., Ltd. Handling video unit boundaries and virtual boundaries based on color format
EP3970366A4 (en) 2019-06-14 2023-03-29 Beijing Bytedance Network Technology Co., Ltd. HANDLING VIDEO UNIT LIMITS AND VIRTUAL LIMITS
US11070848B2 (en) 2019-06-24 2021-07-20 Tencent America LLC Method for efficient signaling of virtual boundary for loop filtering control
US11432015B2 (en) * 2019-07-11 2022-08-30 Qualcomm Incorporated Adaptive loop filtering across raster-scan slices
CN114424529A (zh) 2019-09-18 2022-04-29 北京字节跳动网络技术有限公司 视频编解码中自适应环路滤波器的两部分信令
CN114430902B (zh) 2019-09-22 2023-11-10 北京字节跳动网络技术有限公司 自适应环路滤波中的填充过程
WO2021057946A1 (en) 2019-09-27 2021-04-01 Beijing Bytedance Network Technology Co., Ltd. Adaptive loop filtering between different video units
WO2021062771A1 (zh) * 2019-09-30 2021-04-08 Oppo广东移动通信有限公司 颜色分量预测方法、编码器、解码器及计算机存储介质
CN114424568A (zh) * 2019-09-30 2022-04-29 Oppo广东移动通信有限公司 预测方法、编码器、解码器及计算机存储介质
KR20220071203A (ko) 2019-10-10 2022-05-31 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 적응적 루프 필터링에서 이용 불가능한 샘플 위치들에서의 패딩 프로세스
CN115244924A (zh) 2019-10-29 2022-10-25 抖音视界有限公司 跨分量自适应环路滤波器的信令通知
KR102619404B1 (ko) 2019-12-11 2023-12-28 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 크로스 컴포넌트 적응적 루프 필터링을 위한 샘플 패딩
US11356698B2 (en) * 2019-12-30 2022-06-07 Tencent America LLC Method for parameter set reference constraints in coded video stream
US11477490B2 (en) 2020-01-03 2022-10-18 Mediatek Inc. Video processing method with sample adaptive offset filtering disabled across virtual boundary in reconstructed frame and associated video processing apparatus
US20230054523A1 (en) * 2020-02-17 2023-02-23 Intel Corporation Enhancing 360-degree video using convolutional neural network (cnn)-based filter
CN111612885A (zh) * 2020-04-10 2020-09-01 安徽继远软件有限公司 输电智慧物联环境下数字化杆塔管控方法和系统
KR20230029670A (ko) 2020-06-30 2023-03-03 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 적응적 루프 필터링을 위한 경계 위치
US11638019B2 (en) * 2020-07-29 2023-04-25 Alibaba Group Holding Limited Methods and systems for prediction from multiple cross-components
US20240029312A1 (en) * 2020-12-04 2024-01-25 Lg Electronics Inc. Point cloud data transmission method, point cloud data transmission device, point cloud data reception method, and point cloud data reception device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016010668A1 (en) * 2014-07-14 2016-01-21 Sony Computer Entertainment Inc. System and method for use in playing back panorama video content
WO2017051072A1 (en) * 2015-09-23 2017-03-30 Nokia Technologies Oy A method, an apparatus and a computer program product for coding a 360-degree panoramic video

Family Cites Families (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8045615B2 (en) * 2005-05-25 2011-10-25 Qualcomm Incorporated Deblock filtering techniques for video coding according to multiple video standards
WO2011152425A1 (ja) * 2010-06-03 2011-12-08 シャープ株式会社 フィルタ装置、画像復号装置、画像符号化装置、および、フィルタパラメータのデータ構造
US8861617B2 (en) * 2010-10-05 2014-10-14 Mediatek Inc Method and apparatus of region-based adaptive loop filtering
GB2488829A (en) * 2011-03-10 2012-09-12 Canon Kk Encoding and decoding image data
WO2012175195A1 (en) * 2011-06-20 2012-12-27 Panasonic Corporation Simplified pipeline for filtering
EP2752011B1 (en) * 2011-08-31 2020-05-20 Nokia Technologies Oy Multiview video coding and decoding
CN108696753B (zh) * 2011-09-20 2021-07-27 Lg 电子株式会社 用于编码/解码图像信息的方法和装置
KR20130034566A (ko) * 2011-09-28 2013-04-05 한국전자통신연구원 제한된 오프셋 보상 및 루프 필터를 기반으로 하는 영상 부호화 및 복호화 방법 및 그 장치
EP2769550A4 (en) * 2011-10-14 2016-03-09 Mediatek Inc METHOD AND APPARATUS FOR LOOP FILTRATION
US9161046B2 (en) * 2011-10-25 2015-10-13 Qualcomm Incorporated Determining quantization parameters for deblocking filtering for video coding
US20130107973A1 (en) * 2011-10-28 2013-05-02 Qualcomm Incorporated Loop filtering control over tile boundaries
US9077998B2 (en) * 2011-11-04 2015-07-07 Qualcomm Incorporated Padding of segments in coded slice NAL units
US9124895B2 (en) * 2011-11-04 2015-09-01 Qualcomm Incorporated Video coding with network abstraction layer units that include multiple encoded picture partitions
US9538200B2 (en) * 2012-01-19 2017-01-03 Qualcomm Incorporated Signaling of deblocking filter parameters in video coding
CN107257490B (zh) * 2012-01-27 2019-12-17 太阳专利托管公司 图像编码方法及图像编码装置
WO2013140722A1 (ja) * 2012-03-21 2013-09-26 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、および画像符号化復号装置
US9503702B2 (en) * 2012-04-13 2016-11-22 Qualcomm Incorporated View synthesis mode for three-dimensional video coding
US10511843B2 (en) * 2012-04-16 2019-12-17 Hfi Innovation Inc. Method and apparatus for loop filtering across slice or tile boundaries
EP2870758B1 (en) * 2012-07-03 2016-11-16 Telefonaktiebolaget LM Ericsson (publ) Controlling deblocking filtering
US10397615B2 (en) * 2012-07-03 2019-08-27 Telefonaktiebolaget Lm Ericsson (Publ) Strong deblocking filtering decisions
CN104885456A (zh) * 2012-09-18 2015-09-02 Vid拓展公司 使用图块和图块组的感兴趣区域视频编码
US20140078249A1 (en) * 2012-09-20 2014-03-20 Qualcomm Incorporated Indication of frame-packed stereoscopic 3d video data for video coding
WO2014044908A1 (en) * 2012-09-21 2014-03-27 Nokia Corporation Method and apparatus for video coding
EP2904792B1 (en) * 2012-10-04 2021-08-25 Telefonaktiebolaget LM Ericsson (publ) Hierarchical deblocking parameter adaptation
CN116708767A (zh) * 2013-01-04 2023-09-05 Ge视频压缩有限责任公司 高效可伸缩编码概念
WO2014106692A1 (en) * 2013-01-07 2014-07-10 Nokia Corporation Method and apparatus for video coding and decoding
US20140282678A1 (en) * 2013-03-15 2014-09-18 Cisco Technology, Inc. Method for Enabling 3DTV on Legacy STB
US9369708B2 (en) * 2013-03-27 2016-06-14 Qualcomm Incorporated Depth coding modes signaling of depth data for 3D-HEVC
US9516306B2 (en) * 2013-03-27 2016-12-06 Qualcomm Incorporated Depth coding modes signaling of depth data for 3D-HEVC
US9473784B2 (en) * 2013-05-20 2016-10-18 Texas Instruments Incorporated Sample adaptive offset (SAO) filtering in video coding
US9854252B2 (en) * 2013-05-20 2017-12-26 Texas Instruments Incorporated Method and apparatus of HEVC de-blocking filter
US9510021B2 (en) * 2013-05-24 2016-11-29 Electronics And Telecommunications Research Institute Method and apparatus for filtering pixel blocks
GB2516422A (en) * 2013-07-09 2015-01-28 Sony Corp Data encoding and decoding
GB2516224A (en) * 2013-07-11 2015-01-21 Nokia Corp An apparatus, a method and a computer program for video coding and decoding
US10250897B2 (en) * 2013-07-14 2019-04-02 Sharp Kabushiki Kaisha Tile alignment signaling and conformance constraints
KR102657916B1 (ko) * 2013-07-15 2024-04-15 지이 비디오 컴프레션, 엘엘씨 다계층식 비디오 코딩에서의 저지연 개념
US20150016503A1 (en) * 2013-07-15 2015-01-15 Qualcomm Incorporated Tiles and wavefront processing in multi-layer context
GB2516824A (en) * 2013-07-23 2015-02-11 Nokia Corp An apparatus, a method and a computer program for video coding and decoding
US9237359B2 (en) * 2013-09-25 2016-01-12 Qualcomm Incorporated Filtering video data in video coding
CN105580370A (zh) * 2013-10-08 2016-05-11 夏普株式会社 图像解码装置、图像编码装置以及编码数据变换装置
CN105723712B (zh) * 2013-10-14 2019-06-28 韩国电子通信研究院 基于多层的图像编码/解码方法和设备
US9736488B2 (en) * 2013-11-27 2017-08-15 Nxp Usa, Inc. Decoding for high efficiency video transcoding
KR101851479B1 (ko) * 2014-01-03 2018-04-23 노키아 테크놀로지스 오와이 파라미터 세트 코딩
US20150271515A1 (en) * 2014-01-10 2015-09-24 Qualcomm Incorporated Block vector coding for intra block copy in video coding
US9628822B2 (en) * 2014-01-30 2017-04-18 Qualcomm Incorporated Low complexity sample adaptive offset encoding
US10205950B2 (en) * 2014-02-21 2019-02-12 Panasonic Corporation Image decoding method, image encoding method, image decoding apparatus, and image encoding apparatus
US20150264404A1 (en) * 2014-03-17 2015-09-17 Nokia Technologies Oy Method and apparatus for video coding and decoding
US10432928B2 (en) * 2014-03-21 2019-10-01 Qualcomm Incorporated Using a current picture as a reference for video coding
US10038919B2 (en) * 2014-05-29 2018-07-31 Apple Inc. In loop chroma deblocking filter
EP3178228B1 (en) * 2014-09-15 2023-10-04 HFI Innovation Inc. Method of deblocking for intra block copy in video coding
DE112015004764T5 (de) * 2014-10-20 2017-10-19 Google Inc. Kontinuierlicher prädiktionsbereich
US9918082B2 (en) * 2014-10-20 2018-03-13 Google Llc Continuous prediction domain
GB2532420A (en) * 2014-11-18 2016-05-25 Sony Corp Data encoding and decoding
GB2534409A (en) * 2015-01-23 2016-07-27 Sony Corp Data encoding and decoding
US10306246B2 (en) * 2015-02-13 2019-05-28 Mediatek Inc. Method and apparatus of loop filters for efficient hardware implementation
CN104702963B (zh) * 2015-02-13 2017-11-24 北京大学 一种自适应环路滤波的边界处理方法及装置
WO2016204374A1 (ko) * 2015-06-18 2016-12-22 엘지전자 주식회사 영상 코딩 시스템에서 영상 필터링 방법 및 장치
WO2017045101A1 (en) * 2015-09-14 2017-03-23 Mediatek Singapore Pte. Ltd. Advanced deblocking filter in video coding
KR101990753B1 (ko) * 2015-10-17 2019-06-20 콤캐스트 케이블 커뮤니케이션스 엘엘씨 부분 서브프레임 및 전체 서브프레임에서의 제어 채널 구성
WO2017075804A1 (en) * 2015-11-06 2017-05-11 Microsoft Technology Licensing, Llc Flexible reference picture management for video encoding and decoding
US9942557B2 (en) * 2016-01-26 2018-04-10 Beamr Imaging Ltd. Method and system of video encoding optimization
US10389999B2 (en) * 2016-02-17 2019-08-20 Qualcomm Incorporated Storage of virtual reality video in media files
FI20165114A (fi) * 2016-02-17 2017-08-18 Nokia Technologies Oy Laitteisto, menetelmä ja tietokoneohjelma videokoodausta ja videokoodauksen purkua varten
FI20165256A (fi) * 2016-03-24 2017-09-25 Nokia Technologies Oy Laitteisto, menetelmä ja tietokoneohjelma videokoodaukseen ja -dekoodaukseen
EP3301914A1 (en) * 2016-09-30 2018-04-04 Thomson Licensing Method and apparatus for encoding and decoding a large field of view video
GB2555788A (en) * 2016-11-08 2018-05-16 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
US11172208B2 (en) * 2017-02-28 2021-11-09 Nokia Technologies Oy Method and apparatus for improving the visual quality of viewport-based omnidirectional video streaming

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016010668A1 (en) * 2014-07-14 2016-01-21 Sony Computer Entertainment Inc. System and method for use in playing back panorama video content
WO2017051072A1 (en) * 2015-09-23 2017-03-30 Nokia Technologies Oy A method, an apparatus and a computer program product for coding a 360-degree panoramic video

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HUNG-CHIH LIN, ET AL.: "AHG8: Compact cube layout with tile partition", JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-D0104, JPN6022019027, October 2016 (2016-10-01), pages 1 - 6, ISSN: 0004773629 *
PHILIPPE HANHART, YUWEN HE, AND YAN YE: "AHG8: High level syntax extensions for signaling of 360-degree video information", JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-D0093, JPN6022019028, October 2016 (2016-10-01), pages 1 - 6, ISSN: 0004773628 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7401554B2 (ja) 2019-03-11 2023-12-19 華為技術有限公司 エンコーダ、デコーダ及び対応する方法
JP7485689B2 (ja) 2019-03-11 2024-05-16 華為技術有限公司 エンコーダ、デコーダ及び対応する方法

Also Published As

Publication number Publication date
CN110692249A (zh) 2020-01-14
US20200120359A1 (en) 2020-04-16
KR20230117492A (ko) 2023-08-08
JP7169988B2 (ja) 2022-11-11
ZA201906677B (en) 2023-01-25
KR20200005539A (ko) 2020-01-15
SG11201909450WA (en) 2019-11-28
EP3610649A1 (en) 2020-02-19
KR20230079466A (ko) 2023-06-07
JP2023002793A (ja) 2023-01-10
WO2018191224A1 (en) 2018-10-18
CA3059870A1 (en) 2018-10-18
JP7357747B2 (ja) 2023-10-06

Similar Documents

Publication Publication Date Title
JP7357747B2 (ja) 面連続性を使用する360度ビデオコーディング
CN111183646B (zh) 用于编码的方法和装置、用于解码的方法和装置以及存储介质
US12003770B2 (en) Face discontinuity filtering for 360-degree video coding
US11277635B2 (en) Predictive coding for 360-degree video based on geometry padding
JP7406378B2 (ja) 360度ビデオ符号化のための適応的量子化
TWI797234B (zh) 360度視訊編碼適應性訊框填裝
US11825116B2 (en) Predictive coding for 360-degree video based on geometry padding

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191210

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20191025

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20191023

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210412

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220512

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220816

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220830

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220928

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221031

R150 Certificate of patent or registration of utility model

Ref document number: 7169988

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150