JP2022501905A - 360度ビデオコード化のためのサンプル導出 - Google Patents

360度ビデオコード化のためのサンプル導出 Download PDF

Info

Publication number
JP2022501905A
JP2022501905A JP2021515214A JP2021515214A JP2022501905A JP 2022501905 A JP2022501905 A JP 2022501905A JP 2021515214 A JP2021515214 A JP 2021515214A JP 2021515214 A JP2021515214 A JP 2021515214A JP 2022501905 A JP2022501905 A JP 2022501905A
Authority
JP
Japan
Prior art keywords
picture
wraparound
reference sample
offset
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021515214A
Other languages
English (en)
Other versions
JPWO2020069058A5 (ja
Inventor
ハンハート、フィリップ
フ、ユーウェン
ユー、ヤン
Original Assignee
ヴィド スケール インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヴィド スケール インコーポレイテッド filed Critical ヴィド スケール インコーポレイテッド
Publication of JP2022501905A publication Critical patent/JP2022501905A/ja
Publication of JPWO2020069058A5 publication Critical patent/JPWO2020069058A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

水平ラップアラウンド動き補償が有効化されているかどうかを表示するラップアラウンド有効化表示の受け取りに基づいて、現在のサンプルに水平ジオメトリパディングを実行するためのシステム、方法、及び手段を開示する。ラップアラウンド有効化表示に基づいて、水平ラップアラウンド動き補償が有効化されている場合、ビデオコーディングデバイスは、ピクチャ内の現在のサンプルの参照サンプルのラップアラウンドオフセットを決定することができる。参照サンプルのラップアラウンドオフセットは、ピクチャの面幅を表示することができる。ビデオコーディングデバイスは、参照サンプルのラップアラウンドオフセット、ピクチャのピクチャ幅、及び現在のサンプルロケーションに基づいて、現在のサンプルの参照サンプルロケーションを決定することができる。ビデオコーディングデバイスは、参照サンプルロケーションに基づいて水平方向に現在のサンプルを予測することができる。反復的なパディング又はクリッピングを垂直方向に使用することができる。

Description

相互参照
[0001] 本出願は、2018年9月27日に出願された米国仮特許出願第62/737,303号の利益を主張し、その内容は、参照によって本明細書に組み込まれる。
背景
[0002] バーチャルリアリティ(VR)が、ますます我々の日常生活の中に入り込んできている。VRは、ヘルスケア、教育、ソーシャルネットワーキング、工業デザイン/トレーニング、ゲーム、映画、ショッピング、娯楽、等々を含む、多くの応用分野を有する。VRは、没入型の視聴経験をもたらすことができるので、VRは、産業界及び消費者の注目を集めている。VRは、視聴者を取り囲むバーチャル環境を作り出し、視聴者が本当に「そこにいる」ような感覚を生み出す。VR環境内において完全にリアルな感覚をいかにして提供するかは、ユーザの体験にとって重要である。例えば、VRシステムは、姿勢、ジェスチャ、視線、音声、等々を通した対話をサポートすることができる。ユーザがVR世界内のオブジェクトと自然なやり方で対話することを可能にするために、VRは、触覚フィードバックをユーザに提供することができる。
概要
[0003] 水平ラップアラウンド動き補償が有効化されていることを表示するラップアラウンド有効化表示の受け取りに基づいて、現在のサンプルに水平ジオメトリパディングを実行するためのシステム、方法、及び手段を開示する。
[0004] ビデオコーディングデバイスは、ビットストリームでビデオコンテンツに関連付けされたピクチャを受け取ることができる。本明細書に記載のビデオコーディングデバイスは、エンコーダ及び/又はデコーダであってもよいし、エンコーダ及び/又はデコーダを含んでもよい。ピクチャは、フレームパッキングされたピクチャであってもよいし、フレームパッキングされたピクチャを含んでもよい。ビデオコーディングデバイスは、ラップアラウンド有効化表示を受け取ることができる。例えば、ビデオコーディングデバイスは、シーケンスレベルでラップアラウンド有効化表示を受け取ることができる。ラップアラウンド有効化表示は、水平ラップアラウンド動き補償が有効化又は無効化されているかどうかを表示することができる。ラップアラウンド有効化表示は、水平ラップアラウンド動き補償が有効化又は無効化されているかどうかを表示する、ラップアラウンド有効化フラグであってもよいし、そのラップアラウンド有効化フラグを含んでもよい。
[0005] 水平ラップアラウンド動き補償が有効化されていることを表示するラップアラウンド有効化表示に基づいて、ビデオコーディングデバイスは、ピクチャ内の現在のサンプルの参照サンプルのラップアラウンドオフセットを決定することができる。例では、ビデオコーディングデバイスは、ビットストリーム内の参照サンプルのラップアラウンドオフセットのオフセット表示を受け取ることができる。参照サンプルのラップアラウンドオフセットは、オフセット表示に基づいて決定することができる。参照サンプルのラップアラウンドオフセットは、ピクチャの面幅を表示することができる。例では、ビデオコーディングデバイスは、ピクチャの面幅を表すサイズ表示を受け取ることができる。例えば、サイズ表示は、輝度(luma)サンプルにおけるガードバンドの幅であってもよいし、そのガードバンドの幅を含んでもよい。ビデオコーディングデバイスは、サイズ表示に基づいてピクチャの面幅を算出することができ、算出された面幅を参照サンプルのラップアラウンドオフセットとして使用することができる。例では、ガードバンドは、同じ幅を有することができる。例では、ガードバンドは、異なる幅を有することができる。
[0006] ビデオコーディングデバイスは、参照サンプルのラップアラウンドオフセット、ピクチャのピクチャ幅、及び現在のサンプルロケーションに基づいて、現在のサンプルの参照サンプルロケーションを決定することができる。ビデオコーディングデバイスは、シーケンスレベルで参照サンプルのラップアラウンドオフセットを受け取ることができる。
[0007] 例では、ビデオコーディングデバイスは、現在のサンプルロケーションに関連付けされた元々の参照サンプルロケーション(例えば、未処理の参照サンプルロケーション)がピクチャの外側にあるかどうかを判定することができる。元々の参照サンプルロケーションがピクチャの外側にある場合、ビデオコーディングデバイスは、水平ジオメトリパディングの参照サンプルロケーションを算出することができる。例えば、ビデオコーディングデバイスは、元々の参照サンプルロケーションに関連付けされた水平サンプル座標に参照サンプルのラップアラウンドオフセットを適用することによって、参照サンプルロケーションを算出することができる。
[0008] 例では、ビデオコーディングデバイスは、参照サンプルのラップアラウンドオフセット及びピクチャのピクチャ幅に基づいて、ピクチャの面幅を算出することができる。ビデオコーディングデバイスは、ピクチャ内の現在のサンプルロケーションを識別することができる。ビデオコーディングデバイスは、元々の参照サンプルロケーションがピクチャの外側にあるかどうかを判定することができる。元々の参照サンプルロケーションがピクチャの最左端の水平境界の外側にある場合、ビデオコーディングデバイスは、元々の参照サンプルロケーションに関連付けされた水平サンプル座標に参照サンプルのラップアラウンドオフセットを加算することによって、参照サンプルロケーションを決定することができる。元々の参照サンプルロケーションがピクチャの最右端の水平境界の外側にある場合、ビデオコーディングデバイスは、元々の参照サンプルロケーションに関連付けされた水平サンプル座標から参照サンプルのラップアラウンドオフセットを減算することによって、参照サンプルロケーションを決定することができる。
[0009] ビデオコーディングデバイスは、参照サンプルロケーションに基づいて現在のサンプルを予測することができる。
[0010] ビデオコーディングデバイスは、ラップアラウンド有効化表示に基づいて、水平ラップアラウンド動き補償が無効化されているかどうかを判定することができる。ラップアラウンド有効化表示が、水平ラップアラウンド動き補償が無効化されていることを表示した場合、ビデオコーディングデバイスは、ピクチャ内の現在のサンプルロケーションを識別することができる。ビデオコーディングデバイスは、現在のサンプルロケーションがピクチャの水平境界に位置しているかどうかを判定することができる。ビデオコーディングデバイスは、参照サンプルロケーションがピクチャの水平境界の外側に位置しているかどうかを判定することができる。ビデオコーディングデバイスが、参照サンプルロケーションがピクチャの水平境界の外側に位置することを判定した場合、ビデオコーディングデバイスは、ピクチャの水平境界上の参照サンプルロケーションを識別することができる。ビデオコーディングデバイスは、参照サンプルロケーションに基づいて現在のサンプルを予測することができる。
[0011] ピクチャは、正距円筒投影図法(ERP:equirectangular projection)フォーマット、正積投影図法(EAP:equal-area projection)フォーマット、又は調整された正積投影図法(AEP:adjusted equal-area projection)フォーマットであってもよいし、そのフォーマットを含んでもよい。
[0012] ビデオコーディングデバイスは、ラップアラウンド有効化表示に基づいて、参照サンプルのラップアラウンドオフセットのオフセット表示を受け取るかどうかを判定することができる。ビデオコーディングデバイスが、ラップアラウンド有効化表示が有効化されていることを判定した場合、ビデオコーディングデバイスは、ビットストリームを解析して、参照サンプルのラップアラウンドオフセットのオフセット表示を受け取ることができる。ビデオコーディングデバイスが、ラップアラウンド有効化表示が無効化されていることを判定した場合、ビデオコーディングデバイスは、ビットストリームの解析をスキップし、参照サンプルのラップアラウンドオフセットのオフセット表示の受け取りをスキップすることができる。
[0013] 表示は、ジオメトリパディングを有効化するように、(例えば、ビットストリームで)信号合図(signal)することができる。1つ又は複数の球面隣接物(spherical neighbor)の正しい位置を決定することができる。ジオメトリパディングは、ガードバンドの位置及び/又はサイズを考慮して、1つ又は複数の球面隣接物の正しい位置を計算することができる。ガードバンドの位置及び/又はサイズは、ピクチャ内に1つ又は複数の面をパッキングするとき(例えば、符号化の前)に、加算されている場合がある。ジオメトリパディングが適用されているかどうかを表示するように、及び/又はガードバンドを指定するように、ジオメトリパディングに関連する1つ又は複数の表示が信号合図される場合がある。
[0014] 面(例えば、単一面)を含むERP、EAP、AEP、及び/又はこれらに類する投影フォーマットのような投影ジオメトリの場合、ジオメトリパディングを水平方向に実行することができる。ジオメトリパディングを水平方向に実行するとき、垂直方向に反復的なパディングを使用することができる。水平サンプル座標をコード化されたピクチャ内に包み込むことができるので、サンプル位置を決定することができる。垂直サンプル座標は、例えば、反復的なパディングの場合のように、1つ又は複数のコード化されたピクチャ境界にクリップすることができる。単一面ベースの投影ジオメトリに関連付けされた、(例えば、水平ジオメトリパディングを使用する)インター予測のための整数サンプル導出プロセス及び/又は分数サンプル補間プロセスを決定することができる。
図面の簡単な説明
[0015]経度及び緯度での球面サンプリングの一例を図示する。 [0016]正距円筒投影図法を用いた二次元(2D)平面の一例を図示する。 [0017]キューブマップ投影図法(CMP:cubemap projection)の三次元(3D)ジオメトリ構造の一例を図示する。 [0018]CMPの6つの面の2D平面の一例を図示する。 [0019]正距円筒投影図法(ERP)を使用してパディングされた境界を有するピクチャの一例を図示する。 [0020]CMPを使用してパディングされた境界を有するピクチャの一例を図示する。 [0021]ERPのパディングジオメトリの一例を図示する。 [0022]パディングされたERPピクチャの一例を図示する。 [0023]CMPのパディングジオメトリの一例を図示する。 [0024]パディングされたCMP面の一例を図示する。 [0025]360度ビデオワークフローの一例を図示する。 [0026]ビデオエンコーダの一例を図示する。 [0027]ビデオデコーダの一例を図示する。 [0028]イントラ予測で使用される参照サンプルの一例を図示する。 [0029]イントラ予測方向の表示の一例を図示する。 [0030]動きベクトルを用いたインター予測(例えば、単予測)の一例を図示する。 [0031]ピクチャ境界外の参照サンプルのパディングの一例を図示する。 [0032]空間マージ候補を決定する際に使用される空間隣接物の一例を図示する。 [0033]水平ジオメトリパディングを使用する際のインター予測のために再構築されたサンプルのキャッシング(caching)の一例を図示する。 [0034]4分の1サンプル輝度補間のための整数サンプル(例えば、英大文字を有する網掛けされているブロック)及び分数サンプル(例えば、英小文字を有する網掛けされていないブロック)の位置の一例を図示する。 [0035]1つ又は複数の開示されている実施形態を実装し得る、通信システムの一例のシステム図である。 [0036]図16Aに図示されている通信システム内で使用し得る、ワイヤレス送信/受信ユニット(WTRU:wireless transmit/receive unit)の一例のシステム図である。 [0037]図16Aに図示されている通信システム内で使用し得る、無線アクセスネットワーク(RAN:radio access network)の一例及びコアネットワーク(CN:core network)の一例のシステム図である。 [0038]図16Aに図示されている通信システム内で使用し得る、RANのさらなる例及びCNのさらなる例のシステム図である。
詳細な説明
[0039] ここで、様々な図を参照して、例示的な実施形態の詳細な説明を行う。この説明は可能な実装形態の詳細な例を提供するが、詳細は例示であることが意図され、本出願の範囲を何ら限定するものでないことに留意されたい。
[0040] 本明細書に記載の360度ビデオは、球面ビデオ、全方位ビデオ、バーチャルリアリティ(VR)ビデオ、パノラマビデオ、没入型ビデオ(例えば、6自由度を含むことができるライトフィールドビデオ)、点群ビデオ、及び/又はこれらに類するものであってもよいし、それらビデオを含んでもよい。
[0041] VRシステムは、360度ビデオを使用して、水平方向に360度の角度から、及び垂直方向に180度の角度からシーンを見る機能をユーザに提供することができる。VRシステム及び/又は360度ビデオは、超高精細(UHD:ultra high definition)サービスを超えるメディア消費のための方向であると考えることができる。全方位メディアアプリケーションフォーマットの要件及び有望な技術への取り組みを実行して、VRシステムにおける360度ビデオの品質を向上させることができ、及び/又はクライアントの相互運用性の処理チェーンを標準化することができる。自由視点TV(FTV:Free view TV)は、以下の、(1)360度ビデオ(例えば、全方位ビデオ)ベースのシステム、(2)マルチビューベースのシステムのうちの1つ又は複数の性能を試験することができる。
[0042] VRシステムは、処理チェーンを含むことができる。処理チェーンは、取り込み、処理、表示、及び/又は適用であってもよいし、それらを含んでもよい。取り込みに関して、VRシステムは、1つ又は複数のカメラを使用して、異なる多岐にわたるビュー(例えば、6〜12個のビュー)からシーンを取り込むことができる。ビューは、一緒につなぎ合わされて、高解像度(例えば、4K又は8K)の360度ビデオを形成することができる。クライアント側及び/又はユーザ側では、VRシステムは、計算プラットフォーム、ヘッドマウントディスプレイ(HMD)、及び/又は1つ若しくは複数のヘッドトラッキングセンサを含むことができる。計算プラットフォームは、360度ビデオを受け取り及び/又は復号することができ、及び/又は、ディスプレイ用のビューポートを生成することができる。片眼に1つずつの2つのピクチャをビューポートのためにレンダリングすることができる。2つのピクチャは、HMD(例えば、ステレオ視聴用)に表示することができる。レンズを使用して、HMDに表示される画像を拡大してもっと良く見えるようにすることができる。ヘッドトラッキングセンサは、視聴者の頭部の向きを追跡し続け(例えば、継続的に追跡し続け)ることができ、及び/又は、システムに向き情報を送給してビューポートピクチャをその向きに表示することができる。
[0043] VRシステムは、タッチデバイスを提供し、視聴者がバーチャル世界内のオブジェクトと対話することができる。VRシステムは、GPUサポートを有するワークステーションによって駆動することができる。VRシステムは、計算プラットフォーム、HMDディスプレイ、及び/又はヘッドトラッキングセンサとしてスマートフォンを使用することができる。空間HMD解像度は2160x1200とすることができ、リフレッシュレートは90Hzとすることができ、及び/又は、視界(FOV)は110度とすることができる。ヘッドトラッキングセンサのサンプリング密度は1000Hzとすることができ、速い動きを捕らえることができる。VRシステムは、レンズ及び/又はボール紙を含むことができ、及び/又はスマートフォンによって駆動することができる。
[0044] 360度ビデオは、例えば、ダイナミックアダプティブストリーミングオーバーHTTP(DASH:dynamic adaptive streaming over HTTP)ベースのビデオストリーミング技法を使用して、圧縮及び/又は配信することができる。例えば、球面ジオメトリ構造を使用して360度のビデオ配信を実装して、360度の情報を表現することができる。例えば、複数のカメラによって取り込まれた、同期された複数のビューは、(例えば、一体構造として)球面上でつなぎ合わせることができる。球面情報は、ジオメトリ変換(例えば、正距円筒投影図法及び/又はキューブマップ投影図法)によって2D平面上に投影することができる。
[0045] 正距円筒投影図法を実行することができる。図1Aは、経度(φ)及び緯度(θ)での球面サンプリングの一例を示す。図1Bは、正距円筒投影図法(ERP)を使用して2D平面上に投影されている球面の一例を示す。航空学において、範囲[−π,π]内の経度φは、偏揺れと呼ばれる場合があり、範囲[−π/2,π/2]内の緯度θは、縦揺れと呼ばれる場合がある。πは、円の円周の、その直径に対する比とすることができる。座標(x,y,z)は、3D空間内のある点の座標を表現することができる。座標(ue,ve)は、ERP後の2D平面内のある点の座標を表現することができる。ERPは、例えば、(1)及び(2)に示されるように、数学的に表現することができる。
ue=(φ/(2*π)+0.5)*W(1)
ve=(0.5−θ/π)*H(2)
W及びHは、2D平面ピクチャの幅及び高さとすることができる。図1Aに見られるように、球面上の経度L4と緯度A1との間の交点である点Pは、(1)及び/又は(2)を使用して図1Bの2D平面内の一意の点qにマッピングすることができる。図1Bに示される2D平面内の点qは、例えば、逆投影によって、図1Aに示される球面上の点Pに投影し戻すことができる。図1Bの視野(FOV)は、球面におけるFOVが、X軸に沿った視野角が約110度で2D平面にマッピングされている例を示している。
[0046] 1つ又は複数の360度ビデオを2Dビデオにマッピングすることができる。マッピングされたビデオは、ビデオコーデック(例えば、H.264、HEVC、及び/又はこれらに類するもの)を使用して符号化することができ、及び/又はクライアントに配信することができる。クライアント側では、正距円筒ビデオは、ユーザのビューポートに基づいて(例えば、正距円筒投ピクチャ内のFOVに属する部分をHMD上に投影及び/又は表示することによって)、復号及び/又はレンダリングすることができる。球面ビデオは、ERPで符号化するために2D平面ピクチャに変換することができる。正距円筒2Dピクチャの特性は、非正距円筒2Dピクチャ(例えば、直線ビデオ)とは異なる場合がある。北極に相当し得るピクチャの上部、及び南極に相当し得るピクチャの下部は、(例えば、赤道に相当し得るピクチャの中央部と比べると)引き延ばされている場合がある。引き延ばしは、2D空間領域内の正距円筒サンプリングが不均一である可能性があることを示す場合がある。2D正距円筒ピクチャ内の動き場は、時間方向に沿って複雑になる場合がある。
[0047] ERPピクチャの左側境界及び/又は右側境界は、コード化すること(例えば、独立してコード化すること)ができる。例えば、再構築されたビデオを使用して、HMDを介して、又は2Dスクリーンを介して、その後ユーザに表示されるビューポートをレンダリングするとき、再構築されたビデオ内の面継ぎ目の形での好ましくない視覚アーチファクトが作り出される場合がある。N個(例えば、8個)の輝度サンプルのパディングをピクチャの左側及び/又は右側で適用することができる。パディングサンプルを含むパディングされたERPピクチャは、符号化することができる。パディングを用いて再構築されたERPは、元通りに変換することができる。例えば、パディングを用いて再構築されたERPは、複製されたサンプルをブレンドすること及び/又はパディングされた区域の縁を切り落とすことによって、(例えば、復号後に)元通りに変換することができる。
[0048] ランベルト円筒正積投影図法(EAP)は、経度でERPと同じサンプリングを使用することができる。ランベルト円筒EAPは、垂直サンプリング密度を減少させることによって、両極付近で増加する水平サンプリング密度を補償することができる。EAPでは、垂直サンプリング密度をcos(φ)に設定することができ、結合されたサンプリング密度を球面全体で一定にすることができる。調整された正積投影図法(AEP)は、EAPの概括とすることができる。AEPは、投影でのラインリサンプリングレートを制御し得るパラメータを導入することができる。
[0049] キューブマップ投影図法を実行することができる。ERPピクチャの上部及び下部はそれぞれ北極及び南極に相当し得るが、それらは、(例えば、ピクチャの中央部と比べると)引き延ばされている場合がある。これは、ピクチャの球面サンプリング密度が不均一である可能性があることを示す場合がある。隣接するERPピクチャ間の時間相関を記述し得る動き場は、複雑になる場合がある。ある特定のビデオコーデック(例えば、MPEG−2、H.264、及び/又はHEVC)は、並進運動モデルを使用して動き場を記述することができ、平面ERPピクチャ内で形状が変化する動きを表現することができない場合がある。
[0050] ジオメトリ投影フォーマットを使用して、360度ビデオを複数の面上にマッピングすることができる。例えば、キューブマップ投影図法(CMP)を使用することができる。図2Aは、CMPジオメトリの一例を図示する。図2Aに見られるように、CMPは6つの正方形面を含むことができ、それらはPX、PY、PZ、NX、NY、及び/又はNZと表示を付すことができる。Pは正の略とすることができ、Nは負の略とすることができる。X、Y、及びZは軸を指すことができる。番号0〜5を使用して、面に表示を付すことができる。例えば、面は、PX(0)、NX(1)、PY(2)、NY(3)、PZ(4)、NZ(5)と表示を付すことができる。正接する球の半径が1である場合、各面の横の長さは2とすることができる。CMPフォーマットの6つの面は、ピクチャ(例えば、単一のピクチャ)の中に一緒にパッキング(例えば、一緒にフレームパッキング)することができる。面は、隣接する面の間の連続性に影響を与える(例えば、影響を最大化する)可能性がある程度(例えば、ある特定の程度)だけ回転させることができる。図2Bは、6つの面を矩形のピクチャの中に配置するパッキングの一例を図示する。面インデックスは、面の対応する回転と位置合わせされた方向に配置することができる。例えば、面#3及び面#1は、それぞれ反時計回りに180度及び270度だけ回転させることができる。残りの面は回転させない場合がある。例では、フレームパッキングの方法は、(例えば、図2Bに示されるような)3x2レイアウトを含むことができる。図2Bに見られるように、3つ面の上側の行は、3Dジオメトリで空間的に隣接する面とすることができ、連続したテクスチャを有することができる。図2Bに見られるように、3つ面の下側の行は、3Dジオメトリで空間的に隣接する面とすることができ、連続したテクスチャを有することができる。上側の面の行及び下側の面の行は、3Dジオメトリで空間的に連続していない場合があり、2つの面の行の間に、不連続な境界などの継ぎ目が存在する場合がある。
[0051] CMPでは、サンプリング密度が面の中心で1であるとすると、サンプリング密度は、縁部に向かって増加する場合がある。中心でのテクスチャと比べると、縁部の周りのテクスチャは、引き延ばされている場合がある。例えば、キューブマップベースの投影図法(例えば、等角キューブマップ投影図法(EAC:equi-angular cubemap projection)、調整されたキューブマップ投影図法(ACP:adjusted cubemap projection)、及び/又はこれらに類するもの)は、垂直方向及び/又は水平方向の非線形ワーピング関数を使用して、面(例えば、それぞれの面)を調整することができる。EACでは、例えば、調整は、正接関数を使用して実行することができる。ACPでは、調整は、2次多項式関数を使用して実行することができる。
[0052] ハイブリッドキューブマップ投影図法(HCP:Hybrid cubemap projection)を実行することができる。HCPでは、調整関数及びそのパラメータは、面及び/又は方向に対して個々に調整することができる。キューブマップベースの投影フォーマットは、ハイブリッド等角キューブマップ投影(HEC:hybrid equi-angular cubemap projection)フォーマットを含むことができる。キューブベースの投影をパッキングすることができる。例えば、キューブベースの投影は、CMPと同様にパッキングすることができる。キューブベースの投影では、フレームパッキングされたピクチャ内で不連続な面が発生する場合がある。
[0053] 360度ビデオコード化のためのジオメトリパディングを実行することができる。
[0054] ビデオコーデックは、平面上で取り込まれた2Dビデオを考慮することができる。動き補償予測が参照ピクチャの境界の外側のサンプルを使用する場合、ピクチャ境界から1つ又は複数のサンプル値をコピーすることによって、パディングを実行することができる。このタイプのパディングは、反復的なパディングとして知られている場合がある。図3A及び図3Bは、(例えば、点線枠で境界が示されている)元々のピクチャを、ERP及びCMPの反復的なパディングを使用して、拡張する例をそれぞれ図示する。
[0055] 360度ビデオは、球面(例えば、球面全体)に関するビデオ情報を包含することができ、及び/又はサイクル性を有することができる。360度ビデオの参照ピクチャは、境界を有していない場合がある。例えば、360度ビデオの参照ピクチャは、球面の周りに巻き付けることができる(例えば、境界を有していない場合がある)。サイクル性は、2D平面上で360度ビデオを表現するときに存在する場合がある。サイクル性は、どの投影フォーマット及び/又はどのフレームパッキングの実装を使用したかに関係なく存在する場合がある。ジオメトリパディングは、3Dジオメトリを考慮することによりサンプルをパディングすることによって、360度ビデオコード化に対して実行することができる。
[0056] ERPのジオメトリパディングを実行することができる。ERPは、経度及び緯度を用いて球面上で画定することができる。(例えば、ERPピクチャの外側にある)パディングされる点(u,v)ならば、点(u’,v’)を使用して、パディングサンプルを導出することができる。これは、次の等式によって求めることができる。
(u<0又はu≧W)且つ(0≦v<H)である場合、u’=u%W,v’=v(3)
Figure 2022501905
W及びHは、ERPピクチャの幅及び高さとすることができる。
[0057] 図4Aは、ERPのジオメトリパディングの一例を図示する。パディングは、ピクチャの左境界の外側で実行することができる。例えば、図4Aに見られるように、ピクチャの左境界の外側に位置するサンプルA、B、及びCは、ピクチャの右境界の内側に位置し得るサンプルA’、B’、及びC’でパディングすることができる。パディングは、ピクチャの右境界の外側で実行することができる。例えば、図4Aに見られるように、サンプルD、E、及びFは、ピクチャの左境界の内側に位置し得るサンプルD’、E’、及びF’でパディングすることができる。パディングは、ピクチャの上境界の外側で実行することができる。例えば、図4Aに見られるように、サンプルG、H、I、及びJは、幅の半分をずらしてピクチャの上境界の内側に位置し得るサンプルG’、H’、I’、及びJ’でパディングすることができる。パディングは、ピクチャの下境界の外側で実行することができる。例えば、図4Aに見られるように、サンプルK、L、M、及びNは、幅の半分をずらしてピクチャの下境界の内側に位置し得るサンプルK’、L’、M’、及びN’でパディングすることができる。図4Bは、ジオメトリパディングを使用した、拡張されたERPピクチャの一例を示す。図4Bに見られるように、ジオメトリパディングは、ERPピクチャの境界の外側の区域の隣接するサンプル間に連続性を提供することができる。ERPのジオメトリパディングを単純化することができる。例えば、ピクチャの左境界及び/又は右境界は、ジオメトリパディングを使用してパディングすることができ、ピクチャの上境界及び下境界は、反復的なパディングを使用してパディングすることができる。ピクチャの左境界及び/又は右境界をジオメトリパディングすること、並びにピクチャの上境界及び下境界を反復的なパディングすることが望ましい場合がある。例えば、上境界及び下境界などの極区域と比較して、左境界及び/又は右境界などの赤道の周りの区域の方が、より関心のあるビデオコンテンツを含む可能性があり、及び/又はユーザによってより頻繁に視聴される可能性があるからである。
[0058] コード化されたピクチャがCMPフォーマットであるとき、ジオメトリパディングを使用して、CMPの1つ又は複数の面をパディングすることができる。図5Aは、3Dジオメトリの所与の面上で実行されるジオメトリパディングの一例を図示する。図5Aに見られるように、点Pは、面F1上とすることができ、面F1’の境界の外側とすることができる。点Pをパディングすることができる。図5Aに見られるように、点Oは、球の中心上とすることができる。図5Aに見られるように、Rは左の境界点とすることができ、Pに最も近く、面F1の内側にあってもよい。図5Aに見られるように、点Qは、中心点Oからの面F2上の点Pの投影点とすることができる。ジオメトリパディングは、点Pでのサンプル値を満たすために点Qでのサンプル値を使用して、実行することができる。図5Bは、CMP3x2ピクチャのジオメトリパディングを使用した、拡張された面の一例を図示する。図5Bに示されるように、パディングは各面上で個々に実行することができる。ジオメトリパディングは、CMP面の境界の外側の区域にサンプルを提供することができる。
[0059] ハイブリッドビデオ符号化を実行することができる。360度ビデオ配信実装形態の一例が図6に図示されている。図6で見られるように、例示的な360度のビデオ配信実装形態は、360度ビデオ取り込みを含むことができ、複数のカメラを使用して、球面空間(例えば、球面空間全体)をカバーするビデオを取り込むことができる。ビデオは、ネイティブなジオメトリ構造で一緒につなぎ合わせることができる。例えば、ビデオは、ERPフォーマットで一緒につなぎ合わせることができる。ネイティブなジオメトリ構造は、例えば、ビデオコーデックに基づいて、1つ又は複数の符号化のための投影フォーマットに変換することができる。受信機において、ビデオは復号することができ、及び/又は、圧縮解除されたビデオは、表示用ジオメトリに変換することができる。ビデオは、ユーザの視野角に従ったビューポート投影によってレンダリングするために使用することができる。
[0060] 図7は、ブロックベースのハイブリッドビデオ符号化システム600の一例を図示する。入力ビデオ信号602は、ブロックごとに処理することができる。拡張されたブロックサイズ(例えば、コーディングユニット(CU)と呼ばれる)を使用して(例えば、HEVCで使用して)、(例えば、1080p及び/又はこれを超える)高解像度のビデオ信号を圧縮することができる。CUは、(例えば、HEVCでは)最大で64x64画素を有することができる。CUは、予測ユニット(PU:prediction unit)に区分化することができ、それらに対して、別個の予測を適用することができる。入力ビデオブロック(例えば、マクロブロック(MB)又はCU)に対して、空間予測660又は動き予測662を実行することができる。空間予測(又は、例えば、イントラ予測)は、同じビデオピクチャ及び/又はスライス内のすでにコード化された隣接するブロックからの画素を使用して、現在のビデオブロックを予測することができる。空間予測は、ビデオ信号につきものの空間冗長性を低減させることができる。動き予測(例えば、インター予測又は時間予測と呼ばれる)は、すでにコード化されたビデオピクチャからの画素を使用して、現在のビデオブロックを予測することができる。動き予測は、ビデオ信号につきものの時間冗長性を低減させることができる。所与のビデオブロックに対する動き予測信号は、現在のブロックと、その参照ブロックとの間の動きの量及び/又は方向を表示する動きベクトルによって、信号合図することができる。複数の参照ピクチャが(例えば、H.264/AVC、HEVC、及び/又はこれらに類するものにおいて)サポートされる場合、ビデオブロックの参照ピクチャインデックスは、デコーダに信号合図することができる。参照インデックスを使用して、参照ピクチャストア664内のどの参照ピクチャから時間予測信号が到来し得るかを識別することができる。
[0061] 空間予測及び/又は動き予測の後、エンコーダ内のモード決定680は、例えば、レート−歪み最適化に基づいて、予測モードを選択することができる。616において、現在のビデオブロックから予測ブロックを減算することができる。変換モジュール604及び量子化モジュール606を使用して予測残差を脱相関化させて、目標ビットレートを実現することができる。量子化された残差係数は、610で逆量子化され、612で逆変換されて、再構築された残差を形成することができる。626において、再構築された残差を予測ブロックに加算し戻して、再構築されたビデオブロックを形成することができる。デブロッキングフィルタ及び/又はアダプティブループフィルタなどのループ内フィルタは、666において、再構築されたビデオブロックに適用することができ、その後、それは参照ピクチャストア664に入れられる。参照ピクチャストア664内の参照ピクチャを使用して、これから先のビデオブロックをコード化することができる。出力ビデオビットストリーム620を形成することができる。コード化モード(例えば、インター若しくはイントラコーディングモード)、予測モード情報、動き情報、及び/又は量子化された残差係数は、エントロピーコード化ユニット608に送信されて、圧縮及びパッキングされ、ビットストリーム620を形成することができる。
[0062] 図8は、ブロックベースのビデオデコーダの一例を図示する。ビデオビットストリーム202は、エントロピー復号ユニット208で受け取り、アンパッキング、及び/又はエントロピー復号することができる。コーディングモード及び/又は予測情報は、(例えば、イントラコード化されている場合には)空間予測ユニット260に、及び/又は(例えば、インターコード化されている場合には)時間予測ユニット262に送ることができる。予測ブロックは、空間予測ユニット260及び/又は時間予測ユニット262で形成することができる。残差変換係数は、逆量子化ユニット210及び逆変換ユニット212に送られて、残差ブロックを再構築することができる。226において、予測ブロック及び残差ブロックを加算することができる。再構築されたブロックは、ループ内フィルタリング266を通過することができ、参照ピクチャストア264内に格納することができる。参照ピクチャストア264内の再構築されたビデオを使用して、ディスプレイデバイスを駆動し、及び/又はこれから先のビデオブロックを予測することができる。
[0063] H.264及び/又はHEVCなどのビデオコーデックを使用して、2D平面直線ビデオをコード化することができる。ビデオコード化は、例えば、情報冗長性を排除するために、空間相関及び/又は時間相関を利用することができる。ビデオコード化の間に、イントラ予測及び/又はインター予測など、1つ又は複数の予測技法を適用することができる。イントラ予測は、その隣接する再構築されたサンプルを用いて、サンプル値を予測することができる。図9は、現在の変換ユニット(TU:transform unit)をイントラ予測するのに使用し得る参照サンプルの例を示す。参照サンプルは、現在のTUの上方に、及び/又は左側に位置している再構築されたサンプルであってもよいし、それらサンプルを含んでもよい。参照サンプルは、左及び/又は上から隣接する再構築されたサンプルであってもよいし、それらサンプルを含んでもよい。
[0064] 図10は、HEVCにおけるイントラ予測方向の表示の一例を図示する。例えば、HEVCは、図10に示されているように、平面(0)、DC(1)、及び/又は角度予測(2〜34)を含む35個のイントラ予測モードを指定することができる。適切なイントラ予測モードを選択することができる。例えば、適切なイントラ予測モードは、エンコーダ側で選択することができる。複数の候補イントラ予測モードによって生成された予測を比較することができる。予測サンプルと元々のサンプルとの間に生じる歪みが最小になる候補イントラ予測モードを選択することができる。選択されたイントラ予測モードは、ビットストリームへとコード化することができる。
[0065] 角度予測を使用して、方向性テクスチャを予測することができる。図11は、動きベクトル(MV:motion vector)を用いるインター予測の一例を示す。参照ピクチャ内のブロックB0’及びB1’は、現在のピクチャのブロックB0及びB1のそれぞれの参照ブロックとすることができる。参照ブロックB0’は、部分的に参照ピクチャの境界の外側にある場合がある。パディングを使用して、ピクチャ境界の外側の不明なサンプルを満たすことができる。図12は、ピクチャ境界の外側の参照サンプルに対するパディングの一例を示す。例えば、ブロックB0’に対するパディングの例は、4つの部分P0、P1、P2、及びP3を有することができる。部分P0、P1、及びP2は、ピクチャ境界の外側にある場合があり、例えば、パディングによって、満たすことができる。部分P0は、参照ピクチャの左上のサンプルで満たすことができる。部分P1は、参照ピクチャの最上行を使用して垂直パディングで満たすことができる。部分P2は、ピクチャの最左列を使用して水平パディングで満たすことができる。
[0066] マージモードは、空間的及び/又は時間的に隣接するPUのMV情報を使用(例えば、再使用)することができる。PU(例えば、現在のPU)のための動きベクトルは、コード化されない場合がある。エンコーダ及び/又はデコーダは、動きベクトルマージ候補リストを形成することができる。例えば、リストは、空間的及び/又は時間的に隣接するPUのMV情報を使用して作成することができる。図13は、マージ候補の導出に使用される空間隣接物(例えば、左下、左、右上、上、及び/又は左上)の一例を図示する。選択されたマージ候補のインデックスは、コード化及び/又は信号合図することができる。マージ候補リストは、デコーダによって構築することができる。デコーダによるリスト構築は、エンコーダによるリスト構築と同様(例えば、エンコーダによるリスト構築と同じ)であってもよい。信号合図されたマージ候補インデックスのエントリは、PU(例えば、現在のPU)のMVとして使用することができる。
[0067] 360度ビデオコード化のためのジオメトリパディングを実装することができる。例えば、360度ビデオコード化のためのジオメトリパディングは、2Dから3Dへの、及び3Dから2Dへのマッピング関数に基づいて実装することができる。2Dから3Dへの、及び3Dから2Dへのマッピング関数は、除算及び/又は正弦、余弦、正接などの三角関数、及び/又はこれらに類するものを使用することができる。ジオメトリパディングの実装形態は、CPU及び/又はメモリなどのコンピューティングリソースを利用することができる。ジオメトリパディングは、実装されたハードウェアとすることができる。分母が一定の除算を実装することができる。例えば、分母が一定の除算は、ビットシフト演算を使用して実装することができる。分母が可変の除算は、実装することが難しい場合がある。1つ又は複数の関数は、ルックアップテーブル(LUT)を使用して実装することができる。LUTは、復号プラットフォームでは利用可能でない場合がある。エンコーダ及び/又はデコーダは、メモリにLUTを格納することができる。
[0068] ジオメトリパディングは、参照ピクチャを作成することによって実装することができる。参照ピクチャ内の複数のサンプルは、ピクチャ境界の周りに事前にパディングすることができる。1つ又は複数の事前にパディングされたサンプルは、使用されない場合がある。例えば、1つ又は複数の事前にパディングされたサンプルは、省略される場合があり、ビットストリーム内の動きベクトルがパディングされたサンプルを参照しないときには、使用されない場合がある。参照ピクチャ及び/又は事前にパディングされたサンプルを格納することができる。例えば、参照ピクチャ及び/又は事前にパディングされたサンプルをメモリに格納することができる。
[0069] 例では、ジオメトリパディングは、例えば、本明細書に記載されているように、球面隣接物をフェッチするときに、1つ又は複数のサンプルを導出することに基づいて、実装することができる。例えば、1つ又は複数のサンプルは、水平ジオメトリパディングが使用されるときに、ERP、EAP、AEP、及び/又はこれらに類するフォーマットなど、単一面ベースの投影ジオメトリから導出することができる。クリッピング操作を使用して、復号されたピクチャ内のサンプルを制約することができる。
[0070] 例では、ブロックは、1つ又は複数のサブブロックに分割することができる。例えば、ブロックは、その動きベクトルに基づいて、1つ又は複数のサブブロックに分割することができる。投影されたビデオの異なる部分からのサブブロックの予測をフェッチすることができる。例えば、動きベクトルがERPピクチャの左縁部の外側にあるブロックの左部分を占める場合、ブロックは、2つの部分などの複数の部分に分割することができる。その部分は、ERPピクチャの縁部の内側にあってもよいし、外側にあってもよい。左縁部の外側にある部分は、ERPピクチャの右側からフェッチすることができ、左縁部の内側にある部分は、ERPピクチャの左側からフェッチすることができる。
[0071] ビデオコーディングデバイスは、ジオメトリパディングを実行することができる。本明細書に記載のビデオコーディングデバイスは、エンコーダ及び/又はデコーダであってもよいし、エンコーダ及び/又はデコーダを含んでもよい。例えば、ビデオコーディングデバイスは、1つ又は複数の球面隣接物をフェッチするときに、1つ又は複数のサンプルを導出することに基づいて、ジオメトリパディングを実行することができる。
[0072] 表示を信号合図して、水平ジオメトリパディングなどのジオメトリパディングを有効化することができる。例えば、ラップアラウンド有効化表示を信号合図して、ジオメトリパディングが有効化されていることを表示することができる。ラップアラウンド有効化表示は、水平ラップアラウンド動き補償が有効化されているかどうかを表示することができる。ラップアラウンド有効化表示は、水平ラップアラウンド動き補償が有効化されているかどうかを表示し得る、ラップアラウンド有効化フラグであってもよいし、そのラップアラウンド有効化フラグを含んでもよい。ラップアラウンド有効化表示などの表示は、ビットストリームで信号合図することができる。
[0073] 1つ又は複数の球面隣接物の正しい位置を決定することができる。例えば、ビデオコーディングデバイスは、現在のサンプルの参照サンプルのラップアラウンドオフセットに基づいて、現在のサンプルに関連付けされた1つ又は複数の球面隣接物の正しい位置を決定することができる。ビデオコーディングデバイスは、ジオメトリパディングによって、参照サンプルのラップアラウンドオフセットなどのオフセットを考慮することができ、1つ又は複数の球面隣接物の正しい位置を計算することができる。例えば、参照サンプルのラップアラウンドオフセットは、ビデオコンテンツに関連付けされたフレームパッキングされたピクチャなど、ピクチャの面幅を表す情報であってもよいし、それら情報を含んでもよい。ビデオコーディングデバイスは、フレームパッキングされたピクチャの面幅を表すサイズ表示に基づいて、1つ又は複数の球面隣接物の正しい位置を計算することができる。サイズ表示は、輝度サンプルにおけるガードバンドの幅などのガードバンドサイズであってもよいし、そのガードバンドサイズを含んでもよい。ガードバンドサイズの幅であってもよいし、ガードバンドサイズの幅を含んでもよいサイズ表示に基づいて、ビデオコーディングデバイスは、現在のサンプルに関連付けされた1つ又は複数の球面隣接物の正しい位置を計算することができる。ガードバンドの位置及び/又はサイズは、ピクチャ内に1つ又は複数の面をパッキングするとき、加算することができる(例えば、加算されている場合がある)。ガードバンドは、フレームパッキングされたピクチャなどのピクチャ内に1つ又は複数の面をパッキングするとき、加算されている場合がある。例えば、ガードバンドは、符号化の前にピクチャ内に1つ又は複数の面をパッキングするとき、加算されている場合がある。本明細書に記載されているように、ジオメトリパディングに関係する1つ又は複数の表示を信号合図して、水平ジオメトリパディングなどのジオメトリパディングが適用されているかどうかを表示し、及び/又はガードバンドを指定することができる。
[0074] ERP、EAP、AEP、及び/又はこれらに類する投影フォーマットのような、単一面などの面を含む投影ジオメトリの場合、ジオメトリパディングは、水平方向に実行することができる。ジオメトリパディングが水平方向に実行されるとき、垂直方向に反復的なパディングを使用することができる。水平サンプル座標をコード化されたピクチャ内に包み込むことができるので、サンプル位置を決定することができる(例えば、等式(3)参照)。垂直サンプル座標は、反復的なパディングの場合のように、1つ又は複数のコード化されたピクチャ境界にクリップすることができる。面(例えば、単一面)ベースの投影ジオメトリに対する(例えば、水平ジオメトリパディングを使用する)インター予測のための整数サンプル導出プロセス及び/又は分数サンプル補間プロセスを記述することができる。
[0075] ジオメトリパディングに関係する1つ又は複数の表示を信号合図することができる。本明細書に記載されているように、ラップアラウンド有効化表示を信号合図することができる。ラップアラウンド有効化表示は、水平ラップアラウンド動き補償が有効化されているかどうかを表示することができる。ラップアラウンド有効化表示は、シーケンス及び/又はピクチャレベルで信号合図することができる。例えば、ジオメトリパディングを表示するラップアラウンド有効化表示は、シーケンスパラメータセット(SPS)などの、シーケンスレベルで信号合図することができる。
[0076] 1つ又は複数のフレームパッキングパラメータは、ビットストリームで信号合図することができる。例えば、1つ又は複数のフレームパッキングパラメータは、高レベルシンタックス(HLS:high level syntax)要素を使用して、シーケンス及び/又はピクチャレベルで信号合図することができる。フレームパッキングされたピクチャの面の位置及び/又は向きは、ビットストリームで信号合図することができる。フレームパッキングされたピクチャに関連付けされた面幅を表す表示は、ビットストリームで信号合図することができる。ガードバンドの幅及び/又は1つ又は複数のガードバンドの存在を表すサイズ表示などの1つ又は複数のオフセットの表示は、ビットストリームで信号合図することができる。例えば、サイズ表示及び/又は面縁部における1つ又は複数の画素(例えば、追加の画素)のガードバンドの存在は、ビットストリームで信号合図することができる。オフセットなどのガードバンドの位置は、投影フォーマットに基づく場合がある。例えば、単一面ベースの投影ジオメトリの場合、ガードバンドは、左面境界及び/又は右面境界に位置している場合がある。例では、左面境界及び右面境界に位置するガードバンドのサイズは、同じであってもよい。例では、左面境界及び右面境界に位置するガードバンドのサイズは、異なっていてもよい。ガードバンドの幅を表示するサイズ表示は、左右のガードバンドなど、ガードバンドの幅を含む場合がある。CMPフォーマットなどの多面ベースの投影フォーマットの場合、ガードバンドは、連続的な面の群及び/又は面の行の周りに位置する場合がある。多面ベースの投影フォーマットでガードバンドのサイズが異なる場合、サイズ表示は、各ガードバンドの幅を含む場合がある。
[0077] 本明細書に記載されている1つ又は複数のガードバンド、及び/又はジオメトリパディングシンタックス要素は、信号合図することができる。例えば、ラップアラウンド有効化表示を信号合図して、水平ラップアラウンド動き補償が有効化されているかどうかを表示することができる。表示は、ラップアラウンド有効化フラグであってもよいし、そのラップアラウンド有効化フラグを含んでもよい。表示は、フレームパッキングされたピクチャの面幅を表すサイズ表示を含むことができ、信号合図することができる。本明細書に記載されているように、ガードバンドの幅を表示するために、サイズ表示(例えば、面幅を表す)は、guard_bands_param_present_flagのようなパラメータであってもよいし、そのパラメータを含んでもよい。表1は、ジオメトリパディング及びガードバンドシンタックス要素の一例を示す。ジオメトリパディング及び/又はガードバンドシンタックス要素は、シーケンスレベル及び/又はピクチャレベルで信号合図することができる。
Figure 2022501905
[0078] 例では、表1のパラメータは、以下のセマンティクスを有する場合がある。
[0079] シンタックス要素projection_geometryは、使用される投影ジオメトリのマッピングインデックス(例えば、表2に示されている)であってもよいし、そのマッピングインデックスを含んでもよい。
[0080] シンタックス要素guard_bands_param_present_flagは、シンタックス要素guard_bands_size_in_luma_samplesが存在するかどうかを表示する場合がある。シンタックス要素guard_bands_size_in_luma_samplesが存在しない場合、シンタックス要素guard_bands_param_present_flagの値は、0に等しいと推論してもよい。
[0081] オフセットが存在するかどうかを表示する表示などのオフセット存在表示は、オフセットに関する情報を含む場合がある。例えば、guard_bands_param_present_flagなどのオフセット存在表示を使用して、オフセットがビットストリームに存在するかどうかを判定することができる。オフセット存在表示が、オフセットがビットストリームに存在することを表示する場合、デコーダなどのビデオコーディングデバイスが、ビットストリームを解析して、オフセットを受け取ることができる。オフセット存在表示が、オフセットがビットストリームに存在しないことを表示する場合、ビデオコーディングデバイスは、ビットストリームを解析してオフセットを受け取ることをスキップすることができる。例えば、guard_bands_param_presnt_flagなどのオフセット存在表示が、オフセットが存在しないことを表示する場合、ビデオコーディングデバイスは、ガードバンドの使用をスキップすることができる。投影された面の最左端の境界及び最右端の境界は、球面で接続されている場合があり、フレームパッキングされたピクチャでは、境界が接続されていない場合がある。ガードバンド内の満たされた/拡張されたサンプルは、ビットストリームでコード化することができる。例えば、左側のガードバンド情報は、面の内側の最右端領域からのものとすることができ、右側のガードバンド情報は、面の内側の最左端領域からのものとすることができる。最左端の境界及び最右端の境界で再構築されたサンプルは、連続的である場合がある(例えば、最左端の境界及び最右端の境界で再構築されたサンプルは、コード化の際に隣接するサンプルとして扱われるためである)。ガードバンド内のサンプルは、(例えば、サンプルが物理的に存在しないので)レンダリングで廃棄することができる。
[0082] ピクチャ(例えば、フレームパッキングされたピクチャ)の面幅を表すサイズ表示を受け取ることができる。例えば、サイズ表示は、guard_bands_size_in_luma_samplesなどのシンタックス要素を含むことができる。フレームパッキングされたピクチャの面幅は、サイズ表示に基づいて算出することができる。算出された面幅は、参照サンプルのラップアラウンドオフセットとして使用することができる。例えば、シンタックス要素guard_bands_size_in_luma_samplesは、フレームパッキングされたピクチャで使用されるガードバンドの1つ又は複数の輝度サンプルのサイズを表現することができる。ガードバンドの場所(例えば、オフセット)は、投影フォーマットに対して画定することができる。例えば、ERP、EAP、AEP及び/又はこれらに類するフォーマットなどの単一面ベースの投影ジオメトリの場合、1つ又は複数のガードバンドは、左面境界及び/又は右面境界で画定することができる。例では、左面境界及び右面境界のガードバンドは同じ幅を有することができる。例では、左面境界及び右面境界のガードバンドは、異なる幅を有してもよい。CMPフォーマットなどの多面ベースの投影ジオメトリの場合、1つ又は複数のガードバンドは、面の群(例えば、連続的な面の各群又は各面の行)の周りに画定することができる。シンタックス要素guard_bands_size_in_luma_samplesは、0に等しくない場合がある。シンタックス要素guard_bands_size_in_luma_samplesは、MinCbSizeYの整数倍数とすることができる。
[0083] シンタックス要素geometry_padding_enabled_flagが1に等しい場合、シンタックス要素geometry_padding_enabled_flagは、参照ピクチャのジオメトリパディングが、ピクチャ境界の外側に位置する1つ又は複数のサンプルに対して適用されていることを表示することができる。シンタックス要素geometry_padding_enabled_flagが0に等しい場合、シンタックス要素geometry_padding_enabled_flagは、ジオメトリパディングがスキップされる(例えば、適用されない)ことを表示することができる。シンタックス要素geometry_padding_enabled_flagが存在しない場合、シンタックス要素geometry_padding_enabled_flagの値は、0に等しいと推論してもよい。
[0084] 表2は、投影ジオメトリインデックスの例を示す。
Figure 2022501905
[0085] ガードバンドのない面幅などの面の実際のサイズは、表1で信号合図された情報及び/又はコード化されたピクチャのサイズから計算することができる。例えば、ERP、EAP、AEP、及び/又はこれらに類するフォーマットなど、コード化されたピクチャの左側及び/又は右側にガードバンドを有する単一面ベースの投影ジオメトリの場合、実際の面幅は、例えば、等式(6)を使用して、算出することができる。本明細書に記載されているように、サイズ表示などの、フレームパッキングされたピクチャの面幅を表示するパラメータは、pic_width_in_luma_samplesであってもよいし、それを含んでいてもよい。サイズ表示又はpic_width_in_luma_samplesなどのパラメータは、復号されたピクチャの幅を輝度サンプルの単位で表現することができる。パラメータpic_width_in_luma_samplesは、シーケンスレベルで信号合図することができる。面の高さは、例えば、上側及び/又は下側のガードバンドがない場合には、コード化されたピクチャの高さから推論してもよい。
face_width_in_luma_samples=pic_width_in_luma_samples−2*guard_bands_size_in_luma_samples(6)
[0086] 例では、左側及び右側のガードバンドは、同じサイズを有することができる。例では、左側及び右側のガードバンドは、異なるサイズを有することができる。左側及び右側のガードバンドが異なるサイズを有する場合、ガードバンドのサイズ(例えば、個々のサイズ)は、例えば、表3に従って信号合図することができる。表3は、ジオメトリパディング及びガードバンドシンタックスの一例を示す。
Figure 2022501905
[0087] シンタックス要素guard_bands_param_present_flagは、シンタックス要素left_guard_band_width_in_luma_samples、right_guard_band_width_in_luma_samples、又はguard_bands_size_in_luma_samplesのうちの少なくとも1つが存在するかどうかを表現することができる。シンタックス要素、left_guard_band_width_in_luma_samples、right_guard_band_width_in_luma_samples、又はguard_bands_size_in_luma_samplesなどのうちの少なくとも1つが存在しない場合、シンタックス要素guard_bands_param_present_flagの値は、0に等しいと推論してもよい。
[0088] シンタックス要素left_guard_band_width_in_luma_samplesは、単一面ベースの投影(例えば、ERP、EAP、及び/又はAEPピクチャ)に関連付けされたピクチャの左面境界にあるフレームパッキングされたピクチャで使用されるガードバンドの輝度サンプルの幅を表現することができる。シンタックス要素left_guard_band_width_in_luma_samplesは、MinCbSizeYの整数倍数とすることができる。
[0089] シンタックス要素right_guard_band_width_in_luma_samplesは、単一面ベースの投影(例えば、ERP、EAP、及び/又はAEPピクチャ)に関連付けされたピクチャの右面境界にあるフレームパッキングされたピクチャで使用されるガードバンドの輝度サンプルの幅を表現することができる。シンタックス要素right_guard_band_width_in_luma_samplesは、MinCbSizeYの整数倍数とすることができる。
[0090] 本明細書に記載されているように、フレームパッキングされたピクチャの面幅は、left_guard_band_width_in_luma_samples、及び/又はright_guard_band_width_in_luma_samplesなどの、フレームパッキングされたピクチャの面幅を表示するサイズ表示に基づいて算出することができる。例えば、本明細書に記載されている表現を使用して、面幅は、例えば、等式(7)の使用に基づいて算出することができる。
face_width_in_luma_samples=pic_width_in_luma_samples−(left_guard_band_width_in_luma_samples+right_guard_band_width_in_luma_samples)(7)
[0091] 例では、ガードバンド幅の値は、MinCbSizeYの倍数とすることができる。ガードバンド幅の値がMinCbSizeYの倍数である場合、シンタックス要素は、例えば、輝度サンプルの単位の代わりに、又は輝度サンプルに加えて、MinCbSizeYの単位で指定することができる。
[0092] 単一面ベースの投影ジオメトリは、1つ又は複数のサンプルに基づいてパディングされたジオメトリとすることができる。インター予測では、現在のピクチャ内の現在のブロックは、参照ピクチャ内の参照ブロックから予測することができる。例えば、現在のピクチャ内の現在のブロックは、現在のブロック位置から参照ブロック位置への並進運動に対応するMVを使用して、参照ピクチャ内の参照ブロックから予測することができる。現在のブロック内のサンプル位置(x,y)の場合、予測信号Ipred(x,y)は、例えば、等式(8)を使用して、参照ピクチャIref及びMV(Δx,Δy)から取得することができる。
Ipred(x,y)=Iref(x+Δx,y+Δy)(8)
[0093] MVは、分数精度pを使用することができる。例えば、MVは、1/2、1/4、1/8、又は1/16画素精度を使用することができる。分数精度は、1つ又は複数の利用可能な整数サンプル位置からの補間を使用することができる。参照ピクチャ内のサンプル位置は、例えば、等式(9)〜(12)を使用して、整数部分及び分数部分として表現することができる。s=−log2(p)、≫、及び≪は、算術右シフト及び左シフトをそれぞれ表現することができる。&は、ビットごとの「and」演算子を表現することができる。
xInt=x+(Δx≫s)(9)
xFrac=Δx&[(1≪s)−1](10)
yInt=y+(Δy≫s)(11)
yFrac=Δy&[(1≪s)−1](12)
[0094] 予測信号は、整数位置で1つ又は複数の隣接するサンプルを補間することによって取得することができる。分数位置での値を決定するために、予測信号を取得することができる。整数位置(xInt,yInt)でのサンプルが、フレームパッキングされたピクチャの外側など、参照ピクチャ境界の外側にある場合、クリッピングを使用して、コード化されたピクチャ境界内にあるようにサンプル位置を制約することができる。これは、反復的なパディングを実行することに類似している(例えば、同等である)場合がある。輝度サンプルの場合、xInt及びyInt座標は、例えば、等式(13)及び(14)をそれぞれ使用してクリップすることができる。
Figure 2022501905
[0095] 例えば、ラップアラウンド有効化表示が、水平ラップアラウンド動き補償が無効化されていることを表示する場合、クリッピング及び/又は反復的なパディングを実行することができる。フレームパッキングされたピクチャ内に位置する現在のサンプルロケーションを識別することができる。ビデオコーディングデバイスは、現在のサンプルロケーションが、フレームパッキングされたピクチャの水平境界に位置しているかどうかを判定することができる。ビデオコーディングデバイスは、参照サンプルロケーションが、フレームパッキングされたピクチャの水平境界の外側に位置しているかどうかを判定することができる。フレームパッキングされたピクチャの水平境界上の参照サンプルロケーションを識別することができる。例えば、本明細書に記載されているように、フレームパッキングされたピクチャの水平境界上の参照サンプルロケーションは、クリッピングに基づいて識別することができる。現在のサンプルは、参照サンプルロケーションに基づいて予測することができる。
[0096] 輝度成分の場合、水平ジオメトリパディングを使用するとき、xInt座標は、例えば、WL=pic_width_in_luma_samplesであり、FL=face_width_in_luma_samplesであり、mod(x,n)=x−n[x/n]である等式(15)を使用して、コード化されたピクチャにラップされ、360度ビデオのサイクル性を考慮することができる。本明細書に記載されているように、ラップアラウンド有効化表示などの表示は、水平ジオメトリパディングが使用される情報を提供することができる。
Figure 2022501905
[0097] 本明細書に記載されているように、ビデオコーディングデバイスは、元々の参照サンプルロケーション(例えば、未処理の参照サンプルロケーション)がフレームパッキングされたピクチャの外側にあるかどうかを判定することができる。元々の参照サンプルロケーションがフレームパッキングされたピクチャの外側にある場合、参照サンプルロケーションは、元々の参照サンプルロケーションに関連付けされた水平サンプル座標に参照サンプルのラップアラウンドオフセットを適用することによって算出することができる。
[0098] 例では、フレームパッキングされたピクチャの面幅は、参照サンプルのラップアラウンドオフセットに基づいて決定することができる。現在のサンプルロケーションは、フレームパッキングされたピクチャ内で識別することができる。ビデオコーディングデバイスは、元々の参照サンプルロケーション(例えば、未処理の参照サンプルロケーション)がフレームパッキングされたピクチャの外側にあるかどうかを判定することができる。元々の参照サンプルロケーションがフレームパッキングされたピクチャの最左端の水平境界の外側にある場合、参照サンプルロケーションは、(例えば、等式15に示されているように)元々の参照サンプルロケーションに関連付けされた水平サンプル座標(例えば、xInt座標)に参照サンプルのラップアラウンドオフセットを加算することによって、決定することができる。元々の参照サンプルロケーションがフレームパッキングされたピクチャの最右端の水平境界の外側にある場合、参照サンプルロケーションは、(例えば、等式15に示されているように)元々の参照サンプルロケーションに関連付けされた水平サンプル座標から参照サンプルのラップアラウンドオフセットを減算することによって、決定することができる。
[0099] 単一面ベースの投影ジオメトリ(例えば、ERP、EAP、AEP、及び/又はこれらに類するフォーマット)の場合、例えば、表4に示されているように、輝度サンプルの位置を導出することができる。表4は、輝度サンプルの位置を導出する手法の一例を示す。例えば、表4は、インター予測のための整数サンプル導出プロセス及び/又は分数サンプル補間プロセスの一例を示す。
Figure 2022501905
[0100] 1つ又は複数の色差サンプルの場合、反復的なパディングが使用されるとき、xInt座標及びyInt座標は、例えば、等式(16)及び(17)をそれぞれ使用して、クリップすることができる。
Figure 2022501905
[0101] 色差成分の場合、水平ジオメトリパディングを使用するとき、xint座標は、例えば、Wc=pic_width_in_luma_samples/SubWidthCであり、Fc=face_width_in_luma_samples/SubWidthCである等式(18)を使用して、コード化されたピクチャにラップされ、360度ビデオのサイクル性を考慮することができる。
Figure 2022501905
[0102] 単一面ベースの投影ジオメトリ(例えば、ERP、EAP、AEP、及び/又はこれらに類するフォーマット)の場合、例えば、表5に示されているように、色差サンプルの位置を導出することができる。表5は、色差サンプルの位置を導出する手法の一例を示す。例えば、表5は、インター予測のための整数サンプル導出プロセス及び/又は分数サンプル補間プロセスの一例を示す。
Figure 2022501905
[0103] 本明細書に記載されている、モジュロ演算を使用するサンプルロケーションのラップアラウンドは、360度ビデオを表現するのに使用される投影フォーマットが、単一面投影フォーマット(例えば、ERP、EAP、AEP、及び/又はこれらに類する投影フォーマット)である場合、水平ジオメトリパディングに適用することができる。多面投影フォーマット(例えば、CMP、及び/又はCMPベースの投影フォーマット)などの他の投影フォーマットの場合、2Dから3Dへの、及び3Dから2Dへのマッピング関数を実装することができる。本明細書に記載されているモジュロ演算は、多面投影フォーマット(例えば、CMP、及び/又はCMPベースの投影フォーマット)に近似として適用することができる。
[0104] ビデオコーディングデバイスは、現在のCU内のサンプル位置の位置を決定することができ、及び/又はサンプルレベルで動き補償を実行することができる。標準ダイナミックレンジ(SDR:standard dynamic range)ビデオ、及び/又はそれに類するビデオの場合、動き補償は、ブロックレベルで実行することができる(例えば、ブロックは、CU又はサブCUとすることができる)。CUは、複数の部分(例えば、2つの部分)に分割することができ、及び/又はジオメトリパディングを使用して、複数の部分(例えば、2つの部分)のそれぞれに動き補償を実行することができる。
[0105] 図14は、水平ジオメトリパディングを使用する際のインター予測のために再構築されたサンプルのキャッシングの一例を図示する。インター予測では、いくつかのブロック、補間プロセス、及び/又は洗練化プロセスによって同じ区域が参照される場合があるので、参照ピクチャ内のサンプルに2回以上アクセスされる場合がある。復号された画像バッファにアクセスするとき、参照ピクチャの一部は、図14に示されるようにインター予測を実行するときの高速読み出しアクセスのためのメモリ(例えば、ローカルメモリ)にキャッシングすることができる。キャッシングされた区域は、現在のブロック位置及び/又は現在のCTU位置を中心とする隣接物とすることができる。キャッシングされた区域のサイズは、制限される場合がある。ジオメトリパディングが使用され、現在のブロックが第1の面の第1の面境界に、及び/又はその付近にある場合、キャッシングされた区域は、2つのサブ区域、すなわち、第1の面の現在のブロック位置の周りに位置する第1のサブ区域と、第1の面境界の他方側、例えば、第1の面に隣接する第2の面上に位置する第2のサブ区域と、に分割することができる。例えば、図12に描かれるようなERPピクチャを考慮すると、参照ピクチャでは、キャッシングされたデータは、2つのサブ区域、すなわち、現在のブロック位置の周りに位置する(例えば、図12の2つのサブ部分P1及びP3領域の予測のための)第1の区域と、ラップアラウンドされた、例えば、360度ビデオのサイクル性を考慮したデータに対応する(例えば、図12の2つのサブ部分P0及びP2領域の予測のための)第2の区域と、を含むことができる。
[0106] 図12に示されているP1及びP3領域に対応する部分を予測するために、1つ又は複数の予測サンプルがピクチャの左側から来る場合がある。動きベクトルが分数サンプル精度である場合、補間が実装され、及び/又は隣接物を調整して、ピクチャの右側(例えば、図12に示されているP0及びP2領域に対応する区域)から来るようにすることができる。反復的なパディングを適用して、図12に示されているP1及びP3領域の予測のための補間で使用される1つ又は複数のサンプル値を取得することができる。
[0107] 補間が必要とされるときに、P0及びP2領域に対応する部分を予測するために、反復的なパディングによって(例えば、360度ビデオのサイクル性を使用して、ピクチャの右縁部で1つ又は複数のサンプルを繰り返すことによって)、1つ又は複数の隣接するサンプルを取得することができる。ピクチャの左縁部から1つ又は複数のサンプルのフェッチをスキップすることができる。2つの部分のそれぞれに2つの動きベクトルを取得するために、P1及びP3領域に対応する第1の部分の場合、動きベクトルは変更されないままであってもよい。P0及びP2領域に対応する第2の部分の場合、モジュロ演算を動きベクトルの水平成分に適用して、例えば、本明細書に記載されているようなラップアラウンド効果を実現することができる。
[0108] データにはキャッシュの外部からアクセスすることができる。水平ジオメトリパディングの場合、ラッピング演算を制限して、キャッシングされたデータの外側に位置する1つ又は複数のサンプルのフェッチをスキップすることができる。例えば、水平ジオメトリパディングは、キャッシュサイズに関係する可能性のある所与の範囲SL(SL≦face_width_in_luma_samples,Sc=SL/SubWidthC)内で実行することができる。キャッシングされたデータの外側に位置する1つ又は複数のサンプルの場合、この範囲の外側で反復的なパディングを適用することができる。等式(15)及び(18)は、等式(19)及び(20)にそれぞれ置き換えることができる。
Figure 2022501905
[0109] 分数サンプルロケーションで1つ又は複数のサンプルを補間するとき、補間フィルタによって使用されるフルサンプルロケーションでの1つ又は複数のサンプルは、例えば、輝度成分及び色差成分についてそれぞれ表4及び/又は表5に示されているように、導出することができる。例えば、図15に描かれている状況を考慮すると、分数サンプル位置での輝度サンプルao,o〜ro,oは、フルサンプルロケーション(xAi,j,yAi,j)での輝度サンプルAi,jを使用して補間することができる。フルサンプルロケーションでの輝度サンプルAi,jの場合、xAi,j座標及びyAi,j座標は、例えば、輝度成分及び色差成分についてそれぞれ表4及び/又は表5に示されているように導出することができる。
[0110] 図16Aは、1つ又は複数の開示されている実施形態を実装することができる、通信システム100の一例を示す図である。通信システム100は、音声、データ、ビデオ、メッセージング、ブロードキャスト、等々のようなコンテンツを複数のワイヤレスユーザに提供する、多元接続システムとすることができる。通信システム100は、複数のワイヤレスユーザが、ワイヤレス帯域幅を含むシステムリソースの共有を通してそのようなコンテンツにアクセスすることを可能にし得る。例えば、通信システム100は、符号分割多元接続(CDMA)、時分割多元接続(TDMA)、周波数分割多元接続(FDMA)、直交FDMA(OFDMA)、シングルキャリアFDMA(SC−FDMA)、ゼロテールユニークワードDFT拡散OFDM(ZT UW DTS−s OFDM)、ユニークワードOFDM(UW−OFDM)、リソースブロックフィルタOFDM、フィルタバンクマルチキャリア(FBMC)、及びこれらに類するものなど、1つ又は複数のチャネルアクセス方法を用いることができる。
[0111] 図16Aに示されているように、通信システム100は、ワイヤレス送信/受信ユニット(WTRU)102a、102b、102c、102d、RAN104/113、CN106/115、公衆交換電話網(PSTN)108、インターネット110、及び他のネットワーク112を含むことができるが、開示されている実施形態は、任意の数のWTRU、基地局、ネットワーク、及び/又はネットワーク要素を企図していることが理解されよう。WTRU102a、102b、102c、102dはそれぞれ、ワイヤレス環境で動作及び/又は通信するように構成された任意のタイプのデバイスとすることができる。例として、それのどれもが、「局」及び/又は「STA」と呼ばれることがある、WTRU102a、102b、102c、102dは、ワイヤレス信号を送信及び/又は受信するように構成することができ、ユーザ機器(UE)、移動局、固定又は移動加入者ユニット、サブスクリクションベースのユニット、ページャ、セルラ電話、パーソナルデジタルアシスタント(PDA)、スマートフォン、ラップトップ、ネットブック、パーソナルコンピュータ、ワイヤレスセンサ、ホットスポット又はMi−Fiデバイス、モノのインターネット(IoT)デバイス、ウォッチ又は他のウェアラブル、ヘッドマウントディスプレイ(HMD)、乗り物、ドローン、医療用デバイス及びアプリケーション(例えば、遠隔手術)、工業用デバイス及びアプリケーション(例えば、工業用及び/又は自動化された処理チェーン状況で動作するロボット及び/又は他のワイヤレスデバイス)、家電デバイス、商業用及び/又は工業用ワイヤレスネットワーク上で動作するデバイス、及びこれらに類するものを含むことができる。WTRU102a、102b、102c、及び102dは、いずれも交換可能にUEと呼ばれることがある。
[0112] 通信システム100は、基地局114a及び/又は基地局114bを含んでもまたよい。基地局114a、114bはそれぞれ、CN106/115、インターネット110、及び/又は他のネットワーク112などの1つ又は複数の通信ネットワークへのアクセスを容易にするために、WTRU102a、102b、102c、102dのうちの少なくとも1つとワイヤレスでインターフェース接続するように構成された、任意のタイプのデバイスとすることができる。例として、基地局114a、114bは、トランシーバ基地局(BTS)、Node−B、eNode−B、Home Node−B、Home eNode−B、gNB、NR Node−B、サイトコントローラ、アクセスポイント(AP)、ワイヤレスルータ、及びこれらに類するものとすることができる。基地局114a、114bはそれぞれ単一の要素として描かれているが、基地局114a、114bは、任意の数の相互接続された基地局及び/又はネットワーク要素を含み得ることが理解されよう。
[0113] 基地局114aは、RAN104/113の一部とすることができ、RAN104/113は、基地局コントローラ(BSC)、無線ネットワークコントローラ(RNC)、中継ノード等々といったような、他の基地局及び/又はネットワーク要素(図示せず)を含んでもまたよい。基地局114a及び/又は基地局114bは、セル(図示せず)と呼ばれることがある1つ又は複数のキャリア周波数でワイヤレス信号を、送信及び/又は受信するように構成することができる。これらの周波数は、ライセンススペクトル、アンライセンススペクトル、又はライセンススペクトルとアンライセンススペクトルとの組み合わせの中にあってもよい。セルは、相対的に一定である場合もあれば、時間とともに変化する場合もある特定の地理的区域にワイヤレスサービスのカバレージを提供することができる。セルは、さらにセルセクタに分割することができる。例えば、基地局114aに関連付けされたセルは、3つのセクタに分割することができる。したがって、一実施形態では、基地局114aは、3つのトランシーバを、例えば、セルのセクタごとに1つ含むことができる。一実施形態では、基地局114aは、多入力多出力(MIMO)技術を用いることができ、複数のトランシーバをセルのセクタごとに利用することができる。例えば、ビームフォーミングを使用して、所望の空間方向に信号を送信及び/又は受信することができる。
[0114] 基地局114a、114bは、エアインターフェース116を介してWTRU102a、102b、102c、102dのうちの1つ又は複数と通信することができ、エアインターフェース116は、任意の適切なワイヤレス通信リンク(例えば、無線周波数(RF)、マイクロ波、センチメートル波、マイクロメートル波、赤外線(IR)、紫外線(UV)、可視光等々)とすることができる。エアインターフェース116は、任意の適切な無線アクセス技術(RAT)を使用して確立することができる。
[0115] より具体的には、上記で言及したように、通信システム100は、多元接続システムとすることができ、CDMA、TDMA、FDMA、OFDMA、SC−FDMA、及びこれらに類するものなど、1つ又は複数のチャネルアクセス方式を用いることができる。例えば、RAN104/113内の基地局114a、及びWTRU102a、102b、102cは、広帯域CDMA(WCDMA)を使用してエアインターフェース115/116/117を確立し得る、ユニバーサル移動体通信システム(UMTS)地上無線アクセス(UTRA)などの無線技術を実装することができる。WCDMAは、高速パケットアクセス(HSPA)及び/又は進化型HSPA(HSPA+)などの通信プロトコルを含むことができる。HSPAは、高速ダウンリンク(DL)パケットアクセス(HSDPA)及び/又は高速ULパケットアクセス(HSUPA)を含むことができる。
[0116] 一実施形態では、基地局114a、及びWTRU102a、102b、102cは、ロングタームエボリューション(LTE)及び/又はLTEアドバンスト(LTE−A)及び/又はLTEアドバンストプロ(LTE−A Pro)を使用してエアインターフェース116を確立し得る、進化型UMTS地上無線アクセス(E−UTRA)などの無線技術を実装することができる。
[0117] 一実施形態では、基地局114a及びWTRU102a、102b、102cは、新たな無線(NR:New Radio)を使用してエアインターフェース116を確立し得るNR無線アクセスなどの無線技術を実装することができる。
[0118] 一実施形態では、基地局114a及びWTRU102a、102b、102cは、複数の無線アクセス技術を実装することができる。例えば、基地局114a及びWTRU102a、102b、102cは、例えば、デュアルコネクティビティ(DC)原理を使用して、LTE無線アクセス及びNR無線アクセスを一緒に実装することができる。したがって、WTRU102a、102b、102cによって利用されるエアインターフェースは、複数のタイプの無線アクセス技術、及び/又は複数のタイプの基地局(例えば、eNB及びgNB)へ/から送られる送信によって特徴付けすることができる。
[0119] 他の実施形態では、基地局114a及びWTRU102a、102b、102cは、IEEE802.11(例えば、ワイヤレスフィデリティ(WiFi))、IEEE802.16(例えば、ワイマックス(WiMAX:Worldwide Interoperability for Microwave Access))、CDMA2000、CDMA2000 1X、CDMA2000 EV−DO、暫定標準2000(IS−2000)、暫定標準95(IS−95)、暫定標準856(IS−856)、移動体通信用グローバルシステム(GSM)、GSMエボリューション用拡張データレート(EDGE)、GSM EDGE(GERAN)、及びこれらに類するものなどの無線技術を実装することができる。
[0120] 図16Aにおける基地局114bは、例えば、ワイヤレスルータ、Home Node B、Home eNode B、又はアクセスポイントとすることができ、職場、家庭、乗り物、キャンパス、産業施設、(例えば、ドローンにより使用される)空中回廊、車道、及びこれらに類するものなど、局所的エリアでのワイヤレス接続性を容易にするために任意の適切なRATを利用することができる。一実施形態では、基地局114b及びWTRU102c、102dは、IEEE802.11などの無線技術を実装して、ワイヤレスローカルエリアネットワーク(WLAN)を確立することができる。一実施形態では、基地局114b及びWTRU102c、102dは、IEEE802.15などの無線技術を実装して、ワイヤレスパーソナルエリアネットワーク(WPAN)を確立することができる。さらに別の実施形態では、基地局114b及びWTRU102c、102dは、セルラベースのRAT(例えば、WCDMA、CDMA2000、GSM、LTE、LTE−A、LTE−A Pro、NR等々)を利用して、ピコセル又はフェムトセルを確立することができる。図16Aに示されているように、基地局114bは、インターネット110への直接的な接続を有することができる。したがって、基地局114bは、CN106/115を介してインターネット110にアクセスする必要がない場合がある。
[0121] RAN104/113は、CN106/115と通信状態にある場合があり、CN106/115は、音声、データ、アプリケーション、及び/又はボイスオーバーインターネットプロトコル(VoIP)サービスを、WTRU102a、102b、102c、102dのうちの1つ又は複数に提供するように構成された任意のタイプのネットワークとすることができる。データは、異なるスループット要件、レイテンシ要件、エラー許容要件、信頼性要件、データスループット要件、モビリティ要件、及びこれらに類する要件など、様々なサービス品質(QoS)要件を有する場合がある。CN106/115は、コール制御、請求サービス、モバイルロケーションベースのサービス、プリペイド通話、インターネット接続性、ビデオ配信、等々を提供し、及び/又はユーザ認証などの高レベルセキュリティ機能を実行することができる。図16Aには示されていないが、RAN104/113及び/又はCN106/115は、RAN104/113と同じRAT又は異なるRATを用いる他のRANと直接的又は間接的な通信状態にある場合があることが理解されよう。例えば、NR無線技術を利用し得るRAN104/113に接続されていることに加えて、CN106/115は、GSM、UMTS、CDMA2000、WiMAX、E−UTRA、又はWiFi無線技術を用いる別のRAN(図示せず)と通信状態にあってもまたよい。
[0122] CN106/115は、PSTN108、インターネット110、及び/又は他のネットワーク112にアクセスするWTRU102a、102b、102c、102dのためのゲートウェイとしての役割を果たしてもまたよい。PSTN108は、基本電話サービス(POTS)を提供する回線交換電話網を含むことができる。インターネット110は、伝送制御プロトコル(TCP)、ユーザデータグラムプロトコル(UDP)、及び/又はTCP/IPインターネットプロトコルスイートにおけるインターネットプロトコル(IP)などの共通の通信プロトコルを使用する、相互接続されたコンピュータネットワーク及びデバイスのグローバルシステムを含むことができる。ネットワーク112は、他のサービスプロバイダによって所有され、及び/又は運用される有線及び/又はワイヤレス通信ネットワークを含むことができる。例えば、ネットワーク112は、RAN104/113と同じRAT又は異なるRATを用いることができる1つ又は複数のRANに接続された別のCNを含むことができる。
[0123] 通信システム100のWTRU102a、102b、102c、102dの一部又は全部は、マルチモード機能を含むことができる(例えば、WTRU102a、102b、102c、102dは、異なるワイヤレスリンクを介して異なるワイヤレスネットワークと通信するための複数のトランシーバを含むことができる)。例えば、図16Aに示されているWTRU102cは、セルラベースの無線技術を用いることができる基地局114aと通信するように、またIEEE802無線技術を用いることができる基地局114bと通信するように構成することができる。
[0124] 図16Bは、WTRU102の一例を図示するシステム図である。図16Bに示されているように、WTRU102は、とりわけ、プロセッサ118、トランシーバ120、送信/受信要素122、スピーカ/マイクロフォン124、キーパッド126、ディスプレイ/タッチパッド128、非リムーバブルメモリ130、リムーバブルメモリ132、電源134、全地球測位システム(GPS)チップセット136、及び/又は他の周辺機器138を含むことができる。WTRU102は、実施形態との整合性を保った上で、上記要素の任意の部分的組み合わせを含み得ることが理解されよう。
[0125] プロセッサ118は、汎用プロセッサ、専用プロセッサ、従来のプロセッサ、デジタル信号プロセッサ(DSP)、複数のマイクロプロセッサ、DSPコアに関連付けされた1つ又は複数のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)回路、任意の他のタイプの集積回路(IC)、状態機械、及びこれらに類するものとすることができる。プロセッサ118は、信号コード化、データ処理、電力制御、入力/出力処理、及び/又はWTRU102がワイヤレス環境で動作することを可能にする任意の他の機能性を実行することができる。プロセッサ118は、トランシーバ120に結合することができ、このトランシーバは送信/受信要素122に結合することができる。図16Bは、プロセッサ118及びトランシーバ120を別個の構成要素として描いているが、プロセッサ118及びトランシーバ120は、一緒に電子パッケージ又はチップに一体化し得ることが理解されよう。
[0126] 送信/受信要素122は、エアインターフェース116を介して、基地局(例えば、基地局114a)に信号を送信し、又は基地局から信号を受信するように構成することができる。例えば、一実施形態では、送信/受信要素122は、RF信号を送信及び/又は受信するように構成されたアンテナとすることができる。一実施形態では、送信/受信要素122は、例えば、IR信号、UV信号、又は可視光信号を、送信及び/又は受信するように構成されたエミッタ/検出器とすることができる。さらに別の実施形態では、送信/受信要素122は、RF信号及び光信号の両方を送信及び/又は受信するように構成することができる。送信/受信要素122は、ワイヤレス信号の任意の組み合わせを送信及び/又は受信するように構成し得ることが理解されよう。
[0127] 図16Bでは、送信/受信要素122は単一の要素として描かれているが、WTRU102は、任意の数の送信/受信要素122を含むことができる。より具体的には、WTRU102は、MIMO技術を用いることができる。したがって、一実施形態では、WTRU102は、エアインターフェース116を介してワイヤレス信号を送信及び受信するための2つ以上の送信/受信要素122(例えば、複数のアンテナ)を含むことができる。
[0128] トランシーバ120は、送信/受信要素122によって送信される信号を変調し、送信/受信要素122によって受信された信号を復調するように構成することができる。上記で言及したように、WTRU102は、マルチモード機能を有することができる。したがって、トランシーバ120は、WTRU102が、例えば、NR及びIEEE802.11などの複数のRATを介して通信できるようにするための複数のトランシーバを含むことができる。
[0129] WTRU102のプロセッサ118は、スピーカ/マイクロフォン124、キーパッド126、及び/又はディスプレイ/タッチパッド128(例えば、液晶表示(LCD)ディスプレイユニット若しくは有機発光ダイオード(OLED)ディスプレイユニット)に結合することができ、それらからユーザ入力データを受信することができる。プロセッサ118はまた、スピーカ/マイクロフォン124、キーパッド126、及び/又はディスプレイ/タッチパッド128にユーザデータを出力することもできる。加えて、プロセッサ118は、非リムーバブルメモリ130及び/又はリムーバブルメモリ132などの任意のタイプの適切なメモリからの情報にアクセスすることができ、そこにデータを格納することができる。非リムーバブルメモリ130は、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、ハードディスク、又は任意の他のタイプのメモリストレージデバイスを含むことができる。リムーバブルメモリ132は、加入者識別モジュール(SIM)カード、メモリスティック、セキュアデジタル(SD)メモリカード、及びこれらに類するものを含むことができる。他の実施形態では、プロセッサ118は、WTRU102上に物理的に位置せずに、サーバ又はホームコンピュータ(図示せず)上などにあるメモリからの情報にアクセスすることができ、そこにデータを格納することができる。
[0130] プロセッサ118は、電源134から電力を受け取ることができ、WTRU102内の他の構成要素に電力を分配し、及び/又は制御するように構成することができる。電源134は、WTRU102に電力供給するための任意の適切なデバイスとすることができる。例えば、電源134は、1つ又は複数の乾電池(例えば、ニッケル−カドミウム(NiCd)、ニッケル−亜鉛(NiZn)、ニッケル水素(NiMH)、リチウムイオン(Li−ion)等々)、太陽電池、燃料電池、及びこれらに類するものを含むことができる。
[0131] プロセッサ118は、GPSチップセット136に結合してもまたよく、このGPSチップセットは、WTRU102の現在のロケーションに関する位置情報(例えば、経度及び緯度)を提供するように構成することができる。GPSチップセット136からの情報に加えて、又はそれに代えて、WTRU102は、基地局(例えば、基地局114a、114b)からエアインターフェース116を介して位置情報を受信し、及び/又は2つ以上の近くの基地局から受信されている信号のタイミングに基づいてその位置を決定することができる。WTRU102は、実施形態との整合性を保った上で、任意の適切なロケーション決定方法によって位置情報を獲得できることが理解されよう。
[0132] プロセッサ118は、他の周辺機器138にさらに結合することができ、他の周辺機器は、追加の特徴、機能性、及び/又は有線若しくはワイヤレス接続性を提供する1つ又は複数のソフトウェアモジュール、及び/又はハードウェアモジュールを含むことができる。例えば、周辺機器138は、加速度計、電子コンパス、衛星トランシーバ、(写真及び/又はビデオ用)デジタルカメラ、ユニバーサルシリアルバス(USB)ポート、振動デバイス、テレビトランシーバ、ハンズフリーヘッドセット、Bluetooth(登録商標)モジュール、周波数変調(FM)無線ユニット、デジタル音楽プレーヤ、メディアプレーヤ、ビデオゲームプレーヤモジュール、インターネットブラウザ、バーチャルリアリティ及び/又は拡張現実(VR/AR)デバイス、アクティビティトラッカ、並びにこれらに類するものを含むことができる。周辺機器138は、1つ又は複数のセンサを含むことができ、センサは、ジャイロスコープ、加速度計、ホール効果センサ、磁力計、方位センサ、近接センサ、温度センサ、時間センサ、地理位置センサ、高度計、光センサ、タッチセンサ、磁力計、気圧計、ジェスチャセンサ、バイオメトリックセンサ、及び/又は湿度センサのうちの1つ又は複数とすることができる。
[0133] WTRU102は、例えば、UL(例えば、送信用)及びダウンリンク(例えば、受信用)の両方の特定のサブフレームに関連付けされた信号の一部又は全部の、送信及び受信が、並行及び/又は同時であり得る全二重無線を含むことができる。全二重無線は、ハードウェア(例えば、チョーク)、又はプロセッサによる(例えば、別個のプロセッサ(図示せず)若しくはプロセッサ118による)信号処理のいずれかを介して、自己干渉を低減及び/又は実質的に除去する干渉管理ユニットを含むことができる。一実施形態では、WTRU102は、(例えば、特定のサブフレームに関連付けされた)信号の一部又は全部の、送信及び受信がUL(例えば、送信用)又はダウンリンク(例えば、受信用)のいずれかに対してである半二重無線を含むことができる。
[0134] 図16Cは、一実施形態によるRAN104及びCN106を図示するシステム図である。上記で言及したように、RAN104は、E−UTRA無線技術を用いて、エアインターフェース116を介してWTRU102a、102b、102cと通信することができる。RAN104はまた、CN106と通信することもできる。
[0135] RAN104は、eNode−B160a、160b、160cを含むことができるが、RAN104は、実施形態との整合性を保った上で、任意の数のeNode−Bを含み得ることが理解されよう。eNode−B160a、160b、160cはそれぞれ、エアインターフェース116を介してWTRU102a、102b、102cと通信するための1つ又は複数のトランシーバを含むことができる。一実施形態では、eNode−B160a、160b、160cはMIMO技術を実装することができる。したがって、eNode−B160aは、例えば、複数のアンテナを使用して、WTRU102aにワイヤレス信号を送信し、及び/又はWTRU102aからワイヤレス信号を受信することができる。
[0136] eNode−B160a、160b、160cはそれぞれ、特定のセル(図示せず)に関連付けすることができ、無線リソース管理決定、ハンドオーバ決定、UL及び/又はDLでのユーザのスケジューリング、並びにこれらに類するものを取り扱うように構成することができる。図16Cに示されているように、eNode−B160a、160b、160cは、X2インターフェースを介して、互いに通信することができる。
[0137] 図16Cに示されているCN106は、モビリティ管理エンティティ(MME)162と、サービングゲートウェイ(SGW)164と、パケットデータネットワーク(PDN)ゲートウェイ(又はPGW)166と、を含むことができる。上記の要素はそれぞれ、CN106の一部として描かれているが、これらの要素はいずれも、CNオペレータ以外のエンティティによって所有及び/又は運用され得ることが理解されよう。
[0138] MME162は、S1インターフェースを介してRAN104内のeNode−B162a、162b、162cのそれぞれに接続することができ、制御ノードとしての役割を果たすことができる。例えば、MME162は、WTRU102a、102b、102cのユーザを認証すること、ベアラアクティブ化/非アクティブ化、WTRU102a、102b、102cの初期アタッチ中に特定のサービングゲートウェイを選択すること、及びこれに類することを担うことができる。MME162は、RAN104と、GSM及び/又はWCDMAなどの他の無線技術を用いる他のRAN(図示せず)との間の切り替えのための制御プレーン機能を提供することができる。
[0139] SGW164は、S1インターフェースを介してRAN104内のeNode B160a、160b、160cのそれぞれに接続することができる。SGW164は概して、WTRU102a、102b、102cへの/からのユーザデータパケットをルーティングし、転送することができる。SGW164は、eNode B間ハンドオーバ中にユーザプレーンをアンカリングすること、DLデータがWTRU102a、102b、102cに利用可能なときにページングをトリガすること、WTRU102a、102b、102cの状況を管理及び格納すること、並びにこれらに類することなどの他の機能を実行することができる。
[0140] SGW164は、PGW166に接続することができ、このことが、WTRU102a、102b、102cにインターネット110などのパケット交換ネットワークへのアクセスを提供して、WTRU102a、102b、102cと、IP対応デバイスとの間の通信を容易にすることができる。
[0141] CN106は、他のネットワークとの通信を容易にすることができる。例えば、CN106は、WTRU102a、102b、102cにPSTN108などの回線交換ネットワークへのアクセスを提供して、WTRU102a、102b、102cと、従来型陸線通信デバイスとの間の通信を容易にすることができる。例えば、CN106は、CN106とPSTN108との間のインターフェースとしての役割を果たすIPゲートウェイ(例えば、IPマルチメディアサブシステム(IMS:IP multimedia subsystem)サーバ)を含んでもよいし、或いはそのようなIPゲートウェイと通信することができる。加えて、CN106は、WTRU102a、102b、102cに他のネットワーク112へのアクセスを提供することができ、この他のネットワークは、他のサービスプロバイダによって所有及び/又は運用される他の有線及び/又はワイヤレスネットワークを含むことができる。
[0142] WTRUは、図16A〜図16Dでは、ワイヤレス端末として説明されているが、ある特定の代表的な実施形態では、このような端末は、通信ネットワークとの有線通信インターフェースを(例えば、一時的又は永続的に)使用し得ることが企図されている。
[0143] 代表的実施形態では、他のネットワーク112は、WLANとすることができる。
[0144] インフラストラクチャ基本サービスセット(BSS:Basic Service Set)モードにおけるWLANは、BSS用のアクセスポイント(AP)と、APに関連付けされた1つ又は複数の局(STA)と、を有することができる。APは、BSSの内部への、及び/又はBSSの外部からのトラフィックを搬送する配信システム(DS)若しくは別のタイプの有線/ワイヤレスネットワークへのアクセス又はインターフェースを有することができる。BSSの外部から発生するSTAへのトラフィックは、APを通して到着する場合があり、STAに配信される場合がある。STAからBSSの外部の宛先に発生されるトラフィックは、APに送られてそれぞれの宛先に配信される場合がある。BSS内のSTA間のトラフィックは、例えば、APを通して送ることができ、ソースSTAは、APにトラフィックを送ることができ、APは、宛先のSTAにトラフィックを配信することができる。BSS内のSTA間のトラフィックは、ピアツーピアトラフィックと見なされる場合があり、及び/又はピアツーピアトラフィックと呼ばれる場合がある。ピアツーピアトラフィックは、ダイレクトリンクセットアップ(DLS)を用いてソースSTAと宛先のSTAとの間で(例えば、それらの間で直接)送ることができる。ある特定の代表的な実施形態では、DLSは、802.11eDLS、又は802.11zトンネリングされたDLS(TDLS:tunneled DLS)を使用することができる。独立BSS(IBSS)モードを使用するWLANは、APを有していない場合があり、IBSS内の、又はIBSSを使用するSTA(例えば、STAのすべて)は、互いに直接通信することができる。IBSSモードの通信は、本明細書では、ときに「アドホック」モードの通信と呼ばれることがある。
[0145] 802.11acインフラストラクチャモードの動作又は類似したモードの動作を使用するとき、APは、プライマリチャネルなどの固定されたチャネル上で、ビーコンを送信することができる。プライマリチャネルは、固定された幅(例えば、20MHz幅の帯域幅)、又は信号合図を介して動的に設定される幅とすることができる。プライマリチャネルは、BSSの動作チャネルとすることができ、APとの接続を確立するためにSTAによって使用されてもよい。ある特定の代表的実施形態では、例えば、802.11システムにおいて、キャリア検知多重アクセス衝突回避(CSMA/CA)を実装することができる。CSMA/CAの場合、APを含むSTA(例えば、あらゆるSTA)が、プライマリチャネルを感知することができる。プライマリチャネルが特定のSTAによってビジーであると感知/検出、及び/又は判定された場合、この特定のSTAはバックオフすることができる。1つのSTA(例えば、ただ1つの局だけ)が、所与のBSSにおいて任意の所与の時間に送信することができる。
[0146] 高スループット(HT:High Throughput)のSTAは、例えば、プライマリ20MHzチャネルを隣接する20MHzチャネル又は隣接しない20MHzチャネルと組み合わせることにより40MHz幅チャネルを形成して、通信用40MHz幅チャネルを使用することができる。
[0147] 超高スループット(VHT:Very High Throughput)のSTAは、20MHz、40MHz、80MHz、及び/又は160MHz幅チャネルをサポートすることができる。40MHz、及び/又は80MHzチャネルは、連続した20MHzチャネルを組み合わせることによって形成することができる。160MHzチャネルは、8つの連続した20MHzチャネルを組み合わせることによって、又は80+80構成と呼ばれることがある2つの連続していない80MHzチャネルを組み合わせることによって形成することができる。80+80構成の場合、データは、チャネルコード化後に、データを2つのストリームに分割できるセグメントパーサを通過させることができる。逆高速フーリエ変換(IFFT)処理、及び時間領域処理は、各ストリームで別々に行うことができる。ストリームは、2つの80MHzチャネル上にマッピングすることができ、データは、送信STAによって送信することができる。受信STAの受信機では、80+80構成について上述した動作を逆にすることができ、組み合わせられたデータは、媒体アクセス制御(MAC:Medium Access Control)に送ることができる。
[0148] 1GHz未満のモードの動作は、802.11af及び802.11ahによってサポートされる。チャネル動作帯域幅及びキャリアは、802.11n及び802.11acで使用されるものと比べて802.11af及び802.11ahでは低減される。802.11afは、TVホワイトスペース(TVWS:TV White Space)スペクトルで5MHz、10MHz、及び20MHz帯域幅をサポートし、802.11ahは、非TVWSスペクトルを使用して、1MHz、2MHz、4MHz、8MHz、及び16MHz帯域幅をサポートする。代表的な実施形態によれば、802.11ahは、マクロカバレージエリアにおけるMTCデバイスなどの、メータタイプ制御/マシンタイプコミュニケーションをサポートすることができる。MTCデバイスは、ある特定の機能、例えば、ある特定の帯域幅及び/又は限定的な帯域幅のサポート(例えば、その帯域幅のみのサポート)を含む限定された機能を有する場合がある。MTCデバイスは、(例えば、非常に長いバッテリ寿命を維持するために)閾値を上回るバッテリ寿命を有するバッテリを含む場合がある。
[0149] 複数のチャネルをサポートすることができるWLANシステム、並びに802.11n、802.11ac、802.11af、及び802.11ahなどのチャネル帯域幅には、プライマリチャネルとして指定することができるチャネルが含まれる。プライマリチャネルは、BSSのすべてのSTAによってサポートされている最大の共通動作帯域幅に等しい帯域幅を有する場合がある。プライマリチャネルの帯域幅は、BSSにおいて動作しているすべてのSTAの中から最小の帯域幅の動作モードをサポートするSTAによって、設定及び/又は制限することができる。802.11ahの例では、AP、及びBSS内の他のSTAが、2MHz、4MHz、8MHz、16MHz、及び/又は他のチャネル帯域幅の動作モードをサポートしている場合であっても、プライマリチャネルは、1MHzのモードをサポートする(例えば、そのモードのみをサポートする)STA(例えば、MTCタイプのデバイス)に対して1MHz幅とすることができる。キャリア検知及び/又はネットワーク割り当てベクトル(NAV:Network Allocation Vector)設定は、プライマリチャネルのステータスに依存する場合がある。例えば、APに送信をする(1MHz動作のモードのみをサポートしている)STAが原因で、プライマリチャネルがビジーである場合、周波数帯域の大部分がアイドル状態のままであり、利用可能であり得る場合であっても、利用可能な周波数帯域全体がビジーであると見なされる場合がある。
[0150] 米国では、802.11ahによって使用し得る利用可能な周波数帯域は、902MHzから928MHzである。韓国では、利用可能な周波数帯域は、917.5MHzから923.5MHzである。日本では、利用可能な周波数帯域は、916.5MHzから927.5MHzである。802.11ahに利用可能な全帯域幅は、国コードに応じて6MHzから26MHzである。
[0151] 図16Dは、一実施形態によるRAN113及びCN115を図示するシステム図である。上記で言及したように、RAN113は、NR無線技術を用いて、エアインターフェース116を介してWTRU102a、102b、102cと通信することができる。RAN113はまた、CN115と通信状態にある場合もある。
[0152] RAN113は、gNB180a、180b、180cを含むことができるが、RAN113は、実施形態との整合性を保った上で、任意の数のgNBを含み得ることが理解されよう。gNB180a、180b、180cはそれぞれ、エアインターフェース116を介してWTRU102a、102b、102cと通信するための1つ又は複数のトランシーバを含むことができる。一実施形態では、gNB180a、180b、180cは、MIMO技術を実装することができる。例えば、gNB180a、108bは、ビームフォーミングを利用して、gNB180a、180b、180cに信号を送信し、及び/又はそれらから信号を受信することができる。したがって、gNB180aは、例えば、複数のアンテナを使用して、WTRU102aにワイヤレス信号を送信し、及び/又はWTRU102aからワイヤレス信号を受信することができる。一実施形態では、gNB180a、180b、180cは、キャリアアグリゲーション技術を実装することができる。例えば、gNB180aは、複数のコンポーネントキャリアをWTRU102a(図示せず)に送信することができる。これらのコンポーネントキャリアのサブセットは、アンライセンススペクトル上にある場合があり、一方、残りのコンポーネントキャリアは、ライセンススペクトル上にある場合がある。一実施形態では、gNB180a、180b、180cは、多地点協調(CoMP:Coordinated Multi-Point)技術を実装することができる。例えば、WTRU102aは、gNB180a及びgNB180b(及び/又はgNB180c)から、協調された送信を受信することができる。
[0153] WTRU102a、102b、102cは、スケーラブルな数秘学(scalable numerology)に関連付けされた送信を使用してgNB180a、180b、180cと通信することができる。例えば、OFDMシンボル間隔及び/又はOFDMサブキャリア間隔は、ワイヤレス送信スペクトルの異なる送信、異なるセル、及び/又は異なる部分に対して変動し得る。WTRU102a、102b、102cは、様々な、又はスケーラブルな長さの(例えば、様々な数のOFDMシンボルを含み、及び/又は様々な長さの絶対時間の間続く)サブフレーム又は送信時間間隔(TTI:transmission time interval)を使用して、gNB180a、180b、180cと通信することができる。
[0154] gNB180a、180b、180cは、スタンドアロン構成及び/又は非スタンドアロン構成でWTRU102a、102b、102cと通信するように構成することができる。スタンドアロン構成では、WTRU102a、102b、102cは、(例えば、eNode−B160a、160b、160cなどの)他のRANにもアクセスすることなく、gNB180a、180b、180cと通信することができる。スタンドアロン構成では、WTRU102a、102b、102cは、gNB180a、180b、180cのうちの1つ又は複数をモビリティアンカポイントとして利用することができる。スタンドアロン構成では、WTRU102a、102b、102cは、アンライセンス帯域で信号を使用して、gNB180a、180b、180cと通信することができる。非スタンドアロン構成では、WTRU102a、102b、102cは、eNode−B160a、160b、160cなどの別のRANとも通信/接続しながら、gNB180a、180b、180cと通信/接続することができる。例えば、WTRU102a、102b、102cは、DC原理を実装して、1つ又は複数のgNB180a、180b、180c及び、1つ又は複数のeNode−B160a、160b、160cと実質的に同時に通信することができる。非スタンドアロン構成では、eNode−B160a、160b、160cは、WTRU102a、102b、102cのためのモビリティアンカとしての役割を果たすことができ、gNB180a、180b、180cは、WTRU102a、102b、102cにサービスするための追加のカバレージ及び/又はスループットを提供することができる。
[0155] gNB180a、180b、180cはそれぞれ、特定のセル(図示せず)に関連付けすることができ、無線リソース管理決定、ハンドオーバ決定、UL及び/又はDLでのユーザのスケジューリング、ネットワークスライシングのサポート、デュアルコネクティビティ、NRとE−UTRAとの間のインターワーキング、ユーザプレーン機能(UPF:User Plane Function)184a、184bに向けたユーザプレーンデータのルーティング、アクセス及びモビリティ管理機能(AMF:Access and Mobility Management Function)182a、182bに向けた制御プレーン情報のルーティング、及びこれらに類するものを取り扱うように構成することができる。図16Dに示されているように、gNB180a、180b、180cは、Xnインターフェースを介して互いに通信することができる。
[0156] 図16Dに示されているCN115は、少なくとも1つのAMF182a、182b、少なくとも1つのUPF184a、184b、少なくとも1つのセッション管理機能(SMF:Session Management Function)183a、183b、及び場合によっては、データネットワーク(DN:Data Network)185a、185bを含むことができる。上記の要素はそれぞれ、CN115の一部として描かれているが、これらの要素のいずれもが、CNオペレータ以外のエンティティによって所有及び/又は運用され得ることが理解されよう。
[0157] AMF182a、182bは、N2インターフェースを介してRAN113内のgNB180a、180b、180cのうちの1つ又は複数に接続することができ、制御ノードとしての役割を果たすことができる。例えば、AMF182a、182bは、WTRU102a、102b、102cのユーザの認証、ネットワークスライシングのサポート(例えば、異なる要件を有する異なるPDUセッションの取り扱い)、特定のSMF183a、183bの選択、登録エリアの管理、NASシグナリングの終了、モビリティ管理、及びこれらに類することを担うことができる。ネットワークスライシングは、WTRU102a、102b、102cによって利用されているサービスのタイプに基づいてWTRU102a、102b、102cのCNサポートをカスタマイズするために、AMF182a、182bによって使用される場合がある。例えば、超高信頼低レイテンシ(URLLC:ultra-reliable low latency)アクセスに依存するサービス、拡張大規模モバイルブロードバンド(eMBB:enhanced massive mobile broadband)アクセスに依存するサービス、マシンタイプ通信(MTC)アクセスのためのサービス、及び/又はこれらに類するサービスなどの異なる使用事例に対して、異なるネットワークスライスを確立することができる。AMF162は、RAN113と、LTE、LTE−A、LTE−A Pro、及び/又はWiFiなどの非3GPPアクセス技術などの他の無線技術を用いる他のRAN(図示せず)との間を切り替えるための制御プレーン機能を提供することができる。
[0158] SMF183a、183bは、N11インターフェースを介してCN115内のAMF182a、182bに接続することができる。SMF183a、183bもまた、N4インターフェースを介してCN115内のUPF184a、184bに接続することができる。SMF183a、183bは、UPF184a、184bを選択及び制御し、UPF184a、184bを介してトラフィックのルーティングを構成することができる。SMF183a、183bは、UEのIPアドレスを管理し割り当てること、PDUセッションを管理すること、ポリシー強制及びQoSを制御すること、ダウンリンクデータ通知を提供すること、及びこれらに類することなどの他の機能を実行することができる。PDUセッションタイプは、IPベース、非IPベース、イーサネットベース、及びこれらに類するものとすることができる。
[0159] UPF184a、184bは、N3インターフェースを介してRAN113内のgNB180a、180b、180cのうちの1つ又は複数に接続することができ、それは、インターネット110などのパケット交換ネットワークへのアクセスをWTRU102a、102b、102cに提供して、WTRU102a、102b、102cと、IP対応デバイスとの間の通信を容易にすることができる。UPF184a、184bは、パケットをルーティング及び転送すること、ユーザプレーンポリシーを強制すること、マルチホームPDUセッションをサポートすること、ユーザプレーンQoSを取り扱うこと、ダウンリンクパケットをバッファリングすること、モビリティアンカリングを提供すること、及びこれらに類することなどの他の機能を実行することができる。
[0160] CN115は、他のネットワークとの通信を容易にすることができる。例えば、CN115は、CN115と、PSTN108との間のインターフェースとしての役割を果たすIPゲートウェイ(例えば、IPマルチメディアサブシステム(IMS)サーバ)を含むことができ、或いはそのようなIPゲートウェイと通信することができる。加えて、CN115は、他のネットワーク112へのアクセスをWTRU102a、102b、102cに提供することができ、他のネットワーク112は、他のサービスプロバイダによって所有及び/又は運用される他の有線及び/又はワイヤレスネットワークを含むことができる。一実施形態では、WTRU102a、102b、102cは、UPF184a、184bへのN3インターフェース、及びUPF184a、184bと、DN185a、185bとの間のN6インターフェースを介して、UPF184a、184bを通してローカルデータネットワーク(DN)185a、185bに接続することができる。
[0161] 図16A〜図16D、及び図16A〜図16Dの対応する説明に鑑みて、WTRU102a〜d、基地局114a〜b、eNode−B160a〜c、MME162、SGW164、PGW166、gNB180a〜c、AMF182a〜b、UPF184a〜b、SMF183a〜b、DN185a〜b、及び/又は本明細書に記載の任意の他のデバイスのうちの1つ又は複数に関して、本明細書に記載の機能のうちの1つ若しくは複数、又はすべては、1つ又は複数のエミュレーションデバイス(図示せず)によって実行することができる。エミュレーションデバイスは、本明細書に記載の機能のうちの1つ若しくは複数、又はすべてをエミュレートするように構成された1つ又は複数のデバイスとすることができる。例えば、エミュレーションデバイスを使用して、他のデバイスを試験すること、及び/又はネットワーク、及び/又はWTRU機能をシミュレートすることができる。
[0162] エミュレーションデバイスは、ラボ環境及び/又はオペレータネットワーク環境において、他のデバイスの1つ又は複数の試験を実施するように設計することができる。例えば、1つ又は複数のエミュレーションデバイスは、通信ネットワーク内の他のデバイスを試験するために、有線及び/又はワイヤレス通信ネットワークの一部として完全に、又は部分的に、実装及び/又は展開されながら、1つ若しくは複数の機能、又はすべての機能を実行することができる。1つ又は複数のエミュレーションデバイスは、有線及び/又はワイヤレス通信ネットワークの一部として一時的に実装/展開されながら、1つ若しくは複数の機能、又はすべての機能を実行することができる。エミュレーションデバイスは、試験目的で、別のデバイスに直接結合することができ、及び/又は電波放送ワイヤレス通信を使用して試験を実行することができる。
[0163] 1つ又は複数のエミュレーションデバイスは、有線及び/又はワイヤレス通信ネットワークの一部として実装/展開されずに、すべての機能を含む1つ又は複数の機能を実行することができる。例えば、エミュレーションデバイスは、1つ又は複数の構成要素の試験を実施するために、試験ラボ及び/又は展開されていない(例えば、試験)有線及び/又はワイヤレス通信ネットワークにおけるテストシナリオで利用することができる。1つ又は複数のエミュレーションデバイスは、試験装置とすることができる。直接RF結合、及び/又は(例えば、1つ若しくは複数のアンテナを含み得る)RF回路を介したワイヤレス通信は、データを送信及び/又は受信するために、エミュレーションデバイスによって使用される場合がある。
[0164] 本明細書に記載のプロセス及び技法は、コンピュータ及び/又はプロセッサによって実行するために、コンピュータ可読媒体に組み込まれたコンピュータプログラム、ソフトウェア、及び/又はファームウェアで実装することができる。コンピュータ可読媒体の例には、限定するものではないが、(有線及び/又はワイヤレス接続を介して送信される)電子信号、及び/又はコンピュータ可読記憶媒体が含まれる。コンピュータ可読記憶媒体の例には、限定するものではないが、詠み出し専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、レジスタ、キャッシュメモリ、半導体メモリデバイス、限定するものではないが、内蔵ハードディスク、及びリムーバブルディスクなどの磁気媒体、光磁気媒体、及び/又はCD−ROMディスクなどの光媒体、及び/又はデジタル多用途ディスク(DVD)が含まれる。ソフトウェアに関連付けされたプロセッサを使用して、WTRU、端末、基地局、RNC、及び/又は任意のホストコンピュータで使用するための無線周波数トランシーバを実装することができる。

Claims (17)

  1. ビデオコンテンツをコード化する方法であって、
    ビットストリームで前記ビデオコンテンツに関連付けされたピクチャを受け取ることと、
    水平ラップアラウンド動き補償が有効化されているかどうかを表示するラップアラウンド有効化表示を受け取ることと、
    前記水平ラップアラウンド動き補償が有効化されていることを表示する前記ラップアラウンド有効化表示に基づいて、前記ピクチャ内の現在のサンプルの参照サンプルのラップアラウンドオフセットを決定することと、
    前記参照サンプルのラップアラウンドオフセット、前記ピクチャのピクチャ幅、及び現在のサンプルロケーションに基づいて、前記現在のサンプルの参照サンプルロケーションを決定することと、
    前記参照サンプルロケーションに基づいて、前記現在のサンプルを予測することと、
    を含む方法。
  2. 前記ラップアラウンド有効化表示に基づいて、前記参照サンプルのラップアラウンドオフセットのオフセット表示を受け取るかどうかを判定することをさらに含むとともに、前記ラップアラウンド有効化表示が有効化されていることを判定すると、前記ビットストリームを解析して、前記参照サンプルのラップアラウンドオフセットの前記オフセット表示を受け取り、前記ラップアラウンド有効化表示が無効化されていることを判定すると、前記ビットストリームの解析をスキップし、前記参照サンプルのラップアラウンドオフセットの前記オフセット表示を受け取る、請求項1に記載の方法。
  3. 前記ラップアラウンド有効化表示が、前記水平ラップアラウンド動き補償が有効化されているかどうかを表示する、ラップアラウンド有効化フラグを含む、請求項1に記載の方法。
  4. 前記ピクチャ内の前記現在のサンプルの前記参照サンプルのラップアラウンドオフセットを決定することが、
    前記ビットストリームで前記参照サンプルのラップアラウンドオフセットのオフセット表示を受け取ることを含むとともに、前記参照サンプルのラップアラウンドオフセットが、前記オフセット表示に基づいて決定され、前記参照サンプルのラップアラウンドオフセットが、前記ピクチャの面幅を表す、請求項1に記載の方法。
  5. 前記ピクチャ内の前記現在のサンプルの前記参照サンプルのラップアラウンドオフセットを決定することが、
    前記ピクチャの面幅を表すサイズ表示であって、輝度サンプルにおけるガードバンドの幅を含む前記サイズ表示を受け取ることと、
    前記サイズ表示に基づいて、前記ピクチャの前記面幅を算出することと、
    を含む、請求項1に記載の方法。
  6. 前記ガードバンドの前記幅が、前記ガードバンドの第1の幅であり、前記ピクチャの前記面幅を表す前記サイズ表示が、輝度サンプルにおける前記ガードバンドの第2の幅をさらに含み、前記ピクチャの前記面幅が、前記ガードバンドの前記第1の幅、及び輝度サンプルにおける前記ガードバンドの前記第2の幅に基づいて算出される、請求項5に記載の方法。
  7. 前記ラップアラウンド有効化表示、及び前記参照サンプルのラップアラウンドオフセットが、シーケンスレベルで受け取られる、請求項1に記載の方法。
  8. 前記参照サンプルロケーションを決定することが、
    前記参照サンプルのラップアラウンドオフセット、及び前記ピクチャの前記ピクチャ幅に基づいて、前記ピクチャの面幅を算出することと、
    前記ピクチャ内の前記現在のサンプルロケーションを識別することと、
    元々の参照サンプルロケーションが、前記ピクチャの外側にあることを判定することと、
    前記元々の参照サンプルロケーションが前記ピクチャの最左端の水平境界の外側にあることを判定すると、前記元々の参照サンプルロケーションに関連付けされた水平サンプル座標に前記参照サンプルのラップアラウンドオフセットを加算することによって、前記参照サンプルロケーションを決定することと、
    前記元々の参照サンプルロケーションが前記ピクチャの最右端の水平境界の外側にあることを判定すると、前記元々の参照サンプルロケーションに関連付けされた前記水平サンプル座標から前記参照サンプルのラップアラウンドオフセットを減算することによって、前記参照サンプルロケーションを決定することと、
    を含む、請求項1に記載の方法。
  9. 元々の参照サンプルロケーションが、前記ピクチャの外側にあることを判定することと、
    前記元々の参照サンプルロケーションに関連付けされた水平サンプル座標に前記参照サンプルのラップアラウンドオフセットを適用することによって、前記参照サンプルロケーションを算出することと、
    を含む、請求項1に記載の方法。
  10. 前記ピクチャ内の前記現在のサンプルロケーションを識別することと、
    前記現在のサンプルロケーションが、前記ピクチャの水平境界に位置することを判定することと、
    前記参照サンプルロケーションが、前記ピクチャの前記水平境界の外側に位置することを判定することと、
    前記水平ラップアラウンド動き補償が無効化されていることを表示する前記ラップアラウンド有効化表示に基づいて、前記ピクチャの前記水平境界上の前記参照サンプルロケーションを識別することと、
    前記参照サンプルロケーションに基づいて、前記現在のサンプルを予測することと、
    を含む、請求項1に記載の方法。
  11. 前記ピクチャが、正距円筒投影図法(ERP)フォーマット、正積投影図法(EAP)フォーマット、又は調整された正積投影図法(AEP)フォーマットに関連付けされている、請求項1に記載の方法。
  12. ビデオコンテンツをコーディングするデバイスであって、
    プロセッサを含み、前記プロセッサは、
    ビットストリームで前記ビデオコンテンツに関連付けされたピクチャを受け取り、
    水平ラップアラウンド動き補償が有効化されているかどうかを表示するラップアラウンド有効化表示を受け取り、
    前記水平ラップアラウンド動き補償が有効化されていることを表示する前記ラップアラウンド有効化表示に基づいて、前記ピクチャ内の現在のサンプルの参照サンプルのラップアラウンドオフセットを決定し、
    前記参照サンプルのラップアラウンドオフセット、前記ピクチャのピクチャ幅、及び現在のサンプルロケーションに基づいて、前記現在のサンプルの参照サンプルロケーションを決定し、且つ、
    前記参照サンプルロケーションに基づいて、前記現在のサンプルを予測する
    ように構成された、デバイス。
  13. 前記プロセッサが、
    前記ラップアラウンド有効化表示に基づいて、前記参照サンプルのラップアラウンドオフセットのオフセット表示を受け取るかどうかを判定するようにさらに構成され、
    前記ラップアラウンド有効化表示が有効化されていることを判定次第、前記ビットストリームを解析して、前記参照サンプルのラップアラウンドオフセットの前記オフセット表示を受け取り、且つ、前記ラップアラウンド有効化表示が無効化されていることを判定次第、前記ビットストリームの解析をスキップし、前記参照サンプルのラップアラウンドオフセットの前記オフセット表示を受け取る、請求項12に記載のデバイス。
  14. 前記ピクチャ内の前記現在のサンプルの前記参照サンプルのラップアラウンドオフセットを決定することは、前記プロセッサが、
    前記ビットストリームで前記参照サンプルのラップアラウンドオフセットのオフセット表示を受け取るように構成され、前記参照サンプルのラップアラウンドオフセットが、前記オフセット表示に基づいて決定され、且つ、前記参照サンプルのラップアラウンドオフセットが、前記ピクチャの面幅を表す、請求項12に記載のデバイス。
  15. 前記ピクチャ内の前記現在のサンプルの前記参照サンプルのラップアラウンドオフセットを決定することは、前記プロセッサが、
    フレームパッキングされたピクチャの面幅を表すサイズ表示であって、輝度サンプルにおけるガードバンドの幅を含む前記サイズ表示を受け取り、且つ、
    前記サイズ表示に基づいて、前記ピクチャの前記面幅を算出するように構成された、請求項12に記載のデバイス。
  16. 前記参照サンプルロケーションを決定することは、前記プロセッサが、
    前記参照サンプルのラップアラウンドオフセット、及び前記ピクチャの前記ピクチャ幅に基づいて、フレームパッキングされたピクチャの面幅を算出し、
    前記フレームパッキングされたピクチャ内の前記現在のサンプルロケーションを識別し、
    元々の参照サンプルロケーションが、前記ピクチャの外側にあることを判定し、
    前記元々の参照サンプルロケーションが前記ピクチャの最左端の水平境界の外側にあることを判定次第、前記元々の参照サンプルロケーションに関連付けされた水平サンプル座標に前記参照サンプルのラップアラウンドオフセットを加算することによって、前記参照サンプルロケーションを決定し、且つ、
    前記元々の参照サンプルロケーションが前記ピクチャの最右端の水平境界の外側にあることを判定次第、前記元々の参照サンプルロケーションに関連付けされた前記水平サンプル座標から前記参照サンプルのラップアラウンドオフセットを減算することによって、前記参照サンプルロケーションを決定するように構成された、請求項12に記載のデバイス。
  17. 前記プロセッサが、
    前記ピクチャ内の前記現在のサンプルロケーションを識別し、
    前記現在のサンプルロケーションが、前記ピクチャの水平境界に位置することを判定し、
    前記参照サンプルロケーションが、前記ピクチャの前記水平境界の外側に位置することを判定し、
    前記水平ラップアラウンド動き補償が無効化されていることを表示する前記ラップアラウンド有効化表示に基づいて、前記ピクチャの前記水平境界上の前記参照サンプルロケーションを識別し、且つ、
    前記参照サンプルロケーションに基づいて、前記現在のサンプルを予測するように構成された、請求項12に記載のデバイス。
JP2021515214A 2018-09-27 2019-09-26 360度ビデオコード化のためのサンプル導出 Pending JP2022501905A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862737303P 2018-09-27 2018-09-27
US62/737,303 2018-09-27
PCT/US2019/053055 WO2020069058A1 (en) 2018-09-27 2019-09-26 Sample derivation for 360-degree video coding

Publications (2)

Publication Number Publication Date
JP2022501905A true JP2022501905A (ja) 2022-01-06
JPWO2020069058A5 JPWO2020069058A5 (ja) 2024-02-06

Family

ID=68165853

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021515214A Pending JP2022501905A (ja) 2018-09-27 2019-09-26 360度ビデオコード化のためのサンプル導出

Country Status (8)

Country Link
US (2) US11601676B2 (ja)
EP (1) EP3857895A1 (ja)
JP (1) JP2022501905A (ja)
KR (1) KR20210080358A (ja)
CN (1) CN112740701A (ja)
BR (1) BR112021005945A2 (ja)
TW (1) TWI822863B (ja)
WO (1) WO2020069058A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022513715A (ja) * 2018-12-31 2022-02-09 テンセント・アメリカ・エルエルシー 無指向性媒体符号化及び復号のためのラップアラウンドパディングの方法

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7425808B2 (ja) 2019-06-04 2024-01-31 北京字節跳動網絡技術有限公司 動き候補リスト構築プロセスの条件付き実行
CN113966616B (zh) 2019-06-04 2023-11-14 北京字节跳动网络技术有限公司 使用临近块信息的运动候选列表构建
CN113994699B (zh) 2019-06-06 2024-01-12 北京字节跳动网络技术有限公司 视频编解码的运动候选列表构建
US11659206B2 (en) 2019-07-02 2023-05-23 Mediatek Inc. Video encoding method with syntax element signaling of guard band configuration of projection-based frame and associated video decoding method and apparatus
CN114175636B (zh) 2019-07-14 2024-01-12 北京字节跳动网络技术有限公司 自适应参数集中的自适应环路滤波的指示
US11095916B2 (en) * 2019-07-23 2021-08-17 Qualcomm Incorporated Wraparound motion compensation in video coding
CN117615155A (zh) 2019-09-19 2024-02-27 北京字节跳动网络技术有限公司 视频编解码中的参考样点位置推导
CN117596389A (zh) 2019-09-28 2024-02-23 北京字节跳动网络技术有限公司 视频编解码中的几何分割模式
WO2021068921A1 (en) 2019-10-10 2021-04-15 Beijing Bytedance Network Technology Co., Ltd. Motion vector handling in geometry partition mode
US11095912B2 (en) * 2019-10-28 2021-08-17 Mediatek Inc. Video decoding method for decoding part of bitstream to generate projection-based frame with constrained guard band size, constrained projection face size, and/or constrained picture size
JP7393550B2 (ja) 2019-12-11 2023-12-06 北京字節跳動網絡技術有限公司 クロス成分適応ループフィルタリングのためのサンプルパディング
US11711537B2 (en) 2019-12-17 2023-07-25 Alibaba Group Holding Limited Methods for performing wrap-around motion compensation
US11418804B2 (en) 2019-12-31 2022-08-16 Tencent America LLC Method for wrap around motion compensation with reference picture resampling
KR20220160038A (ko) * 2020-03-26 2022-12-05 알리바바 그룹 홀딩 리미티드 비디오 코딩 데이터를 시그널링하기 위한 방법들
JP7425224B2 (ja) 2020-04-07 2024-01-30 北京字節跳動網絡技術有限公司 高レベル構文におけるインター予測のための信号通知
WO2021204234A1 (en) 2020-04-09 2021-10-14 Beijing Bytedance Network Technology Co., Ltd. Deblocking signaling in video coding
CN115486064A (zh) 2020-04-10 2022-12-16 抖音视界有限公司 标头语法元素和自适应参数集的使用
CN115868159A (zh) 2020-04-17 2023-03-28 抖音视界有限公司 自适应参数集单元的存在
WO2021222037A1 (en) 2020-04-26 2021-11-04 Bytedance Inc. Conditional signaling of weighted prediction information
JP2023531223A (ja) 2020-06-30 2023-07-21 北京字節跳動網絡技術有限公司 適応ループフィルタリングのための境界位置
TWI828091B (zh) * 2022-03-23 2024-01-01 中華電信股份有限公司 全景影像傳輸系統、方法以及電腦程式產品
WO2024037645A1 (en) * 2022-08-19 2024-02-22 Mediatek Inc. Boundary sample derivation in video coding

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100703283B1 (ko) 2004-03-15 2007-04-03 삼성전자주식회사 회전 매칭을 통해 움직임을 예측하는 영상 부호화 장치 및방법
US7480335B2 (en) * 2004-05-21 2009-01-20 Broadcom Corporation Video decoder for decoding macroblock adaptive field/frame coded video data with spatial prediction
US7447337B2 (en) * 2004-10-25 2008-11-04 Hewlett-Packard Development Company, L.P. Video content understanding through real time video motion analysis
US8923384B2 (en) * 2007-12-31 2014-12-30 Netlogic Microsystems, Inc. System, method and device for processing macroblock video data
WO2011052142A1 (ja) * 2009-10-29 2011-05-05 パナソニック株式会社 画像符号化方法および画像復号方法
CN102088610B (zh) * 2011-03-08 2013-12-18 开曼群岛威睿电通股份有限公司 视频编解码器及运动估计方法
WO2012132237A1 (ja) * 2011-03-31 2012-10-04 パナソニック株式会社 立体視画像の描画を行う画像描画装置、画像描画方法、画像描画プログラム
US9805475B2 (en) * 2012-09-07 2017-10-31 Massachusetts Institute Of Technology Eulerian motion modulation
US9749627B2 (en) 2013-04-08 2017-08-29 Microsoft Technology Licensing, Llc Control data for motion-constrained tile set
US20150195564A1 (en) * 2014-01-03 2015-07-09 Qualcomm Incorporated Method for coding a reference picture set (rps) in multi-layer coding
US10404992B2 (en) * 2015-07-27 2019-09-03 Qualcomm Incorporated Methods and systems of restricting bi-prediction in video coding
KR102432085B1 (ko) * 2015-09-23 2022-08-11 노키아 테크놀로지스 오와이 360도 파노라마 비디오를 코딩하는 방법, 장치 및 컴퓨터 프로그램 제품
US20170214937A1 (en) 2016-01-22 2017-07-27 Mediatek Inc. Apparatus of Inter Prediction for Spherical Images and Cubic Images
FI20165256L (fi) 2016-03-24 2017-09-25 Nokia Technologies Oy Laitteisto, menetelmä ja tietokoneohjelma videokoodaukseen ja -dekoodaukseen
US11019257B2 (en) * 2016-05-19 2021-05-25 Avago Technologies International Sales Pte. Limited 360 degree video capture and playback
US20170374364A1 (en) 2016-06-23 2017-12-28 Mediatek Inc. Method and Apparatus of Face Independent Coding Structure for VR Video
KR20230051319A (ko) * 2016-07-08 2023-04-17 브이아이디 스케일, 인크. 지오메트리 투영을 이용한 360도 비디오 코딩
EP3301914A1 (en) 2016-09-30 2018-04-04 Thomson Licensing Method and apparatus for encoding and decoding a large field of view video
US10609284B2 (en) * 2016-10-22 2020-03-31 Microsoft Technology Licensing, Llc Controlling generation of hyperlapse from wide-angled, panoramic videos
EP3316212A1 (en) * 2016-10-28 2018-05-02 Thomson Licensing Method for deblurring a video, corresponding device and computer program product
US10506196B2 (en) * 2017-04-01 2019-12-10 Intel Corporation 360 neighbor-based quality selector, range adjuster, viewport manager, and motion estimator for graphics
US10893256B2 (en) * 2017-06-26 2021-01-12 Nokia Technologies Oy Apparatus, a method and a computer program for omnidirectional video
US11252434B2 (en) * 2018-12-31 2022-02-15 Tencent America LLC Method for wrap-around padding for omnidirectional media coding
BR112021012366B1 (pt) * 2019-01-15 2022-03-22 Lg Electronics Inc Método de decodificação de uma imagem realizado por um aparelho de decodificação, método de codificação de uma imagem realizado por um aparelho de codificação e mídia de armazenamento digital legível por computador não transitória

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022513715A (ja) * 2018-12-31 2022-02-09 テンセント・アメリカ・エルエルシー 無指向性媒体符号化及び復号のためのラップアラウンドパディングの方法
JP7110490B2 (ja) 2018-12-31 2022-08-01 テンセント・アメリカ・エルエルシー 無指向性媒体符号化及び復号のためのラップアラウンドパディングの方法
JP7342210B2 (ja) 2018-12-31 2023-09-11 テンセント・アメリカ・エルエルシー 無指向性媒体符号化及び復号のためのラップアラウンドパディングの方法

Also Published As

Publication number Publication date
KR20210080358A (ko) 2021-06-30
TWI822863B (zh) 2023-11-21
EP3857895A1 (en) 2021-08-04
US20230188752A1 (en) 2023-06-15
WO2020069058A1 (en) 2020-04-02
CN112740701A (zh) 2021-04-30
US11601676B2 (en) 2023-03-07
US20220007053A1 (en) 2022-01-06
BR112021005945A2 (pt) 2021-06-29
TW202029763A (zh) 2020-08-01

Similar Documents

Publication Publication Date Title
US11601676B2 (en) Sample derivation for 360-degree video coding
JP7357747B2 (ja) 面連続性を使用する360度ビデオコーディング
US20220377385A1 (en) Handling face discontinuities in 360-degree video coding
US11432010B2 (en) Face discontinuity filtering for 360-degree video coding
JP7406378B2 (ja) 360度ビデオ符号化のための適応的量子化
TWI797234B (zh) 360度視訊編碼適應性訊框填裝
WO2019089382A1 (en) 360-degree video coding using face-based geometry padding
RU2786015C2 (ru) Получение сэмпла для кодирования 360-градусного видео
US12003770B2 (en) Face discontinuity filtering for 360-degree video coding

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20210512

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210727

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220922

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220922

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231011

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231030

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20240129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240416

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240517