JP2022526943A - オプティカルフローによるデコーダ側動きベクトル精緻化についての予測精緻化のための方法および装置 - Google Patents

オプティカルフローによるデコーダ側動きベクトル精緻化についての予測精緻化のための方法および装置 Download PDF

Info

Publication number
JP2022526943A
JP2022526943A JP2021557372A JP2021557372A JP2022526943A JP 2022526943 A JP2022526943 A JP 2022526943A JP 2021557372 A JP2021557372 A JP 2021557372A JP 2021557372 A JP2021557372 A JP 2021557372A JP 2022526943 A JP2022526943 A JP 2022526943A
Authority
JP
Japan
Prior art keywords
subblock
block
sub
motion vector
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021557372A
Other languages
English (en)
Other versions
JPWO2020198497A5 (ja
Inventor
チェン、ウェイ
フ、ユーウェン
ルオ、チャンコン
Original Assignee
ヴィド スケール インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヴィド スケール インコーポレイテッド filed Critical ヴィド スケール インコーポレイテッド
Publication of JP2022526943A publication Critical patent/JP2022526943A/ja
Publication of JPWO2020198497A5 publication Critical patent/JPWO2020198497A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/109Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

動きベクトル(MV)精緻化方式サブブロック(SB)レベル動き補償予測を改善する方法、デバイス、装置、システム、アーキテクチャ、およびインタフェースが提供される。復号方法は、符号化されたビデオデータのビットストリームを受信するステップであって、ビットストリームは、複数のSBを含むビデオデータの少なくとも1つのブロックを含む、ステップと、SBごとの精緻化済み動きベクトルを生成するよう、ブロック内の少なくとも1つのSBに対して、デコーダ方式動きベクトル(DMVR)処理を含む、MV導出を実行するステップと、各々のSB内でSB方式予測を生成するよう、少なくとも1つのサブブロックに対してSB方式動き補償を実行するステップと、各々のSB内の予測についての空間的勾配を取得するステップと、各々のSB内の画素ごとのMVオフセットを判定するステップと、オプティカルフロー方程式を介して、空間的勾配およびMVオフセットに基づいて、各々のSBにおける強度変化を取得するステップと、取得された強度変化に基づいて、各々のSB内の予測を精緻化するステップと、を含む。

Description

本出願は、サブブロック(SB)レベル動き補償予測に基づく動きベクトル(MV)精緻化を改善する技術に関する。
デジタルビデオ信号を圧縮して、そのような信号の記憶の必要性および/または伝送帯域幅を低減させるために、ビデオコーディングシステムが広範囲に使用されている。ブロック方式システム、ウェーブレット方式システム、およびオブジェクト方式システムなどの様々なタイプのビデオコーディングシステムの中で、ブロック方式ハイブリッドビデオコーディングシステムが、最近では最も広く使用および開発されている。そのようなブロックベースビデオコーディングシステムの例は、MPEG1/2/4 part2、H.264/MPEG-4 part10 AVC[1][2]、VC-1[3]、ならびにITU-T/SG16/Q.6/VCEGおよびISO/IEC/MPEGのJCT-VC(Joint Collaborative Team on Video Coding)によって開発されたHigh Efficiency video Coding(HEVC)[4]と称される最新のビデオコーディング標準などの国際ビデオコーディング標準を含む。
添付された図面と共に例として与えられる、詳細な説明からより詳細な理解を得ることができる。詳細な説明と共にそのような図面は、例示である。それ自体として、図面および詳細な説明は、限定すると解釈されるわけではなく、他の等しく効果的な実施例が可能である。更に、図面における同様の参照符号は、同様の要素を示す。
1つまたは複数の実施形態を実施および/または実装することができる、実施例のビデオエンコーダを示すブロック図である。 1つまたは複数の実施形態を実施および/または実装することができる、図1のビデオ符号化および/または復号システムによる使用のための実施例のビデオデコーダを示すブロック図である。 実施形態に従った、2つの制御ポイント動きベクトルによって記述されたブロックのアフィン動きフィールドを示す図である。 実施形態に従った、4パラメータアフィンモード方式動き予測(4 parameter affine mode based motion prediction)におけるアフィンブロックについてのサブブロックレベル動き導出を示す図である。 実施形態に従った、6パラメータアフィンモード方式動き予測のための例示的なモデルを示す図である。 実施形態に従った、デコーディング側動きベクトル精緻化(decoding side motion vector refinement)を示す図である。 実施形態に従った、画素レベル動きベクトルとサブブロックレベル動きベクトルとの間の差を示す図である。 実施形態を示す目的のためにコーディングユニットにおける例示的なブロックを示す図である。 1つまたは複数の開示される実施形態を実装することができる、実施例の通信システムを示すシステム図である。 実施形態に従った、図8Aに示された通信システム内で使用することができる実施例の無線送信/受信ユニット(WTRU)を示すシステム図である。 実施形態に従った、図8Aに示された通信システム内で使用することができる実施例の無線アクセスネットワーク(RAN)および実施例のコアネットワーク(CN)を示すシステム図である。 実施形態に従った、図8Aに示された通信システム内で使用することができる更なる実施例のRANおよび更なる実施例のCNを示すシステム図である。 実施形態に従った、様々な態様および動作を実装するシステムを示すシステム図である。
導入
2018年7月に、Joint Video Expert Team(JVET)は、Versatile Video Coding(VVC)[6]と呼ばれる、新世代ビデオコーディング規格を開発する新たなプロジェクトを着手した。同月に、VVC test modelVTM)[7]と称される、1つの参照ソフトウェアコードベースがVVC規格のリファレンス実装を証明するために確立された。初期のVTM-1.0について、イントラ予測、インター予測、変換/逆変換、量子化/量子化解除、およびインループフィルタを含むコーディングモジュールのほとんどは、1つの重要な例外、つまり、1つのマルチタイプツリー方式ブロックパーティショニング分割構造がVTMにおいて使用されることを除き、既存のHEVC設計に準拠する。一方で、新たなコーディングツールの評価を促進するために、ベンチマークセット(BMS)[8]と称される別のリファレンスソフトウェアベースも生成された。BMSコードベースでは、より高いコーディング効率および適度な実装複雑度をもたらす、JEM[10]から引き継がれたコーディングツールのリストは、VTMの最上位に含まれ、VVC標準化工程の間に同様のコーディング技術を評価するときにベンチマークとして使用される。特に、65個の角度イントラ予測方向、修正済み係数コーディング、アドバンストマルチプル変換+4×4非分離可能二次変換(NSST)、アフィン動きモデル、一般化適応的ループフィルタ(GALF)、アドバンスト時間動きベクトル予測(ATMVP)、適応的動きベクトル精度、デコーダ側動きベクトル精緻化(DMVR)、および線形モデル(LM)クロマモードを含む、BMS-1.0に統合された9個のJEMコーディングツールが存在する。
HEVCのように、VVCは、ブロック方式ハイブリッドビデオコーディングフレームワーク上で構築される。図1は、汎用ブロック方式ハイブリッドビデオ符号化システムを示すブロック図である。入力ビデオ信号102は、ブロックごとに処理される。HEVCでは、高解像度(例えば、1080画素以上)ビデオ信号を効率的に圧縮するために、拡張されたブロックサイズ(「コーディングユニット」と称される)が使用される。HEVCでは、CUは、最大で64×64画素であってもよい。CUは更に、予測ユニット、すなわちPUにパーティション分割されてもよく、PUに対し、別個の予測方法が適用される。入力ビデオブロック(マスタブロック(MB)またはCUであってもよい)ごとの、ブロック方式ビデオエンコーダ(block based video encoder)の全体ブロック図を与える図1を参照して、空間予測(160)および/または時間予測(162)が実行されてもよい。空間予測(または、「イントラ予測」)は、カレントビデオブロックを予測するために、同一のビデオピクチャ/スライス内の既にコーディングされた隣接ブロックからの画素を使用する。空間予測ビデオ信号に内在する空間的冗長性を低減させる。時間予測(「インター予測」または「動き補償予測」とも称される)は、カレントビデオブロックを予測するために、既にコーディングされたビデオピクチャからの画素を使用する。時間予測は、ビデオ信号に内在する時間的冗長性を低減させる。所与のビデオブロックについての時間予測信号は通常、カレントブロックとその参照ブロックとの間の動きの量および方向を示す、1つまたは複数の動きベクトルによってシグナリングされる。また、複数の参照ピクチャがサポートされる場合(H.264/AVCまたはHEVCなどの多くの近年のビデオコーディング規格についてのケースにあるように)、ビデオブロックごとに、その参照ピクチャインデックスが追加で送信され、時間予測信号が参照ピクチャストア(164)内のどの参照ピクチャに基づいてオンオフしているかを識別するために、参照インデックスが使用される。空間予測および/または時間予測の後、エンコーダにおけるモード決定ブロック(180)は、例えば、レート歪み最適化方法に基づいて、最良の予測モードを選択する。空間予測160または時間予測162のいずれかからの予測ブロックは次いで、カレントビデオブロック(116)から差し引かれ、予測残差は、目標ビットレートを達成するために、変換(104)を使用して相関付け解除され、量子化される(106)。量子化済み残差係数は、再構築済み残差を形成するよう、逆量子化され(110)、逆変換され(112)、再構築済み残差は次いで、再構築済みビデオブロックを形成するよう、126において予測ブロックに再度追加される。更に、後のビデオブロックをコーディングする際の使用のために参照ピクチャストア(164)に置かれる前に、デブロッキングフィルタおよび適応的ループフィルタなどのインループフィルタリング(166)が再構築済みビデオブロックに適用されてもよい。出力ビデオビット-ストリーム120を形成するために、コーディングモード(インターまたはイントラ)、予測モード情報、動き情報、および量子化済み残差係数は全て、ビットストリームを形成するよう更に圧縮およびパッキングされるよう、エントロピコーディングユニット(108)に送信される。
図2は、ブロック方式ビデオデコーダの全体ブロック図を与える。ビデオビットストリーム202は、最初にアンパッキングされ、エントロピ復号ユニット208においてエントロピ復号される。コーディングモードおよび予測情報は、予測ブロックを形成するよう、その適切な1つに対し、空間予測ユニット260(イントラコーディングモードについての)および/または時間予測ユニット262(インターコーディングモードについての)に送信される。残差変換係数は、残差ブロックを再構築するよう、逆量子化ユニット210および逆変換ユニット212に送信される。予測ブロック(イントラコーディングモードの場合は空間予測260から、またはインターコーディングモードの場合は時間予測262から)は次いで、226において残差ブロックに追加される。再構築済みブロックは更に、参照ピクチャストア264に記憶される前に、インループフィルタリング266を受けてもよい。再構築済みビデオ220も、後のビデオブロックを予測する際の使用のために参照ピクチャストア保存されることに加えて、ディスプレイを駆動するよう送出される。
現代のビデオコーデックでは、双方向動き補償予測(MCP)は、ピクチャの間の時間的相関を利用することによって時間的冗長性を除去することにおけるその高い効率性について知られており、最新のビデオコーデックのほとんどにおいて広く適応されてきた[2][9][10][7]。なおも、0.5に等しい重み値を使用して2つの単予測信号を組み合わせることによって、双予測信号が単純に形成される。しかしながら、特に、照度(illuminance)が1つの参照ピクチャから別の参照ピクチャに急速に変化する条件では、それはこの単純な方式において単予測信号を組み合わせるのに最適ではない。よって、一部の全体的重みまたは局所的重みおよびオフセット値を参照ピクチャにおけるサンプル値の各々に適用することによって経時的な照度変動を補償することを目的としたいくつかの予測技術が開発されてきた。それらの技術のいくつかが以下で議論される。
アフィンモード
HEVCでは、並進運動モデル(translational motion model)のみが動き補償予測に対して適用されるのに対し、現実世界では、多くの種類の動き、例えば、拡大/縮小、回転、遠近動き(perspective motions)、および他の非規則的な動きが存在する。VTM-2.0[7]では、アフィン動き補償予測が適用される。アフィン動きモデルは、4パラメータまたは6パラメータのいずれかである。インターコーディング済みCUについての第1のフラグは、並進運動モデルまたはアフィン動きモデルがインター予測に対して適用されるかどうかを示すようシグナリングされる。それがアフィン動きモデルである場合、それが4パラメータまたは6パラメータであるかどうかを示すよう、第2のフラグが送信される。
4パラメータによるアフィン動きモデルは、以下のパラメータ:水平方向および垂直方向における並進移動のための2つのパラメータを有し、1つのパラメータは両方向における拡大縮小運動(zoom motion)のためであり、1つのパラメータは両方向における回転運動のためである。水平拡大縮小パラメータは、垂直拡大縮小パラメータに等しい。水平回転パラメータは、垂直回転パラメータに等しい。この4パラメータアフィン動きモデルは、カレントCUの左上隅および右上隅において定義された2つの制御ポイント位置において2つの動きベクトルを使用してVTMにおいてコーディングされる。図3Aに示されるように、ブロックのアフィン動きフィールドは、2つの制御ポイント動きベクトル(V0,V1)によって記述される。制御ポイント動きに基づいて、1つのアフィンコーディング済みブロックの動きフィールド(vx,vy)は、式(1)として記述される。
Figure 2022526943000002
図3Aに示されるように、(v0x,v0y)は、左上隅制御ポイントの動きベクトルであり、(v1x,v1y)は、右上隅制御ポイントの動きベクトルであり、wは、CUの幅である。VTM-2.0では、アフィンコーディング済みCUの動きフィールドは、4×4ブロックレベルにおいて導出され、すなわち、(vx,vy)は、カレントCU内の4×4ブロックの各々に対して導出され、対応する4×4ブロックに適用される。図3Bは、例えば、4×4ブロックレベルにおける、4パラメータアフィン動き予測におけるアフィンブロックについての動き導出を示す。
4パラメータアフィンモデルのそれらの4個のパラメータは、反復的に推定される。ステップkにおける動きベクトル(MV)ペアを
Figure 2022526943000003
として表し、元の輝度信号をI(i,j)として表し、予測輝度信号をI’k(i,j)として表す。空間的勾配gx(i,j)およびgy(i,j)は、水平方向および垂直方向のそれぞれにおいて、予測信号I’k(i,j)に対して適用されたSobelフィルタ[13]により導出される。式(1)の派生は、式(2)として表されてもよい。
Figure 2022526943000004
ステップkにおいて、(a,b)は、デルタ並進パラメータであり、(c,d)は、デルタ拡大縮小および回転パラメータである。制御ポイントにおけるデルタMVは、式(3)および(4)を使用してその座標により導出されてもよい。例えば、(0,0)、(w,0)は、左上制御ポイントおよび右上制御ポイントのそれぞれについての座標である。
Figure 2022526943000005
Figure 2022526943000006
オプティカルフロー方程式に基づいて、輝度の変化と空間的勾配および時間的移動との間の関係は、式(5)として定式化される。
Figure 2022526943000007
式(2)に
Figure 2022526943000008
および
Figure 2022526943000009
Figure 2022526943000010
を代入することによって、パラメータ(a,b,c,d)についての式(6)を得る。
Figure 2022526943000011
CUにおける全てのサンプルが式(6)を満たすので、最小二乗法を使用してパラメータセット(a,b,c,d)を解くことができる。式(3)および(4)によりステップ(k+1)での2つの制御ポイントにおけるMV
Figure 2022526943000012
を解くことができ、それらは、特定の精度(すなわち、1/4ペル)に丸められてもよい。反復を使用して、パラメータ(a,b,c,d)が全てゼロであるときにそれが収束するまで、または反復回数が予め定義された制限を満たすまで、2つの制御ポイントにおけるMVを精緻化することができる。
6パラメータによるアフィン動きモデルは、以下のパラメータ:水平方向および垂直方向における並進移動のための2つのパラメータを有し、1つのパラメータは水平方向における拡大縮小運動のためであり、1つのパラメータは水平方向における回転運動のためであり、1つのパラメータは垂直方向における拡大縮小運動のためであり、1つのパラメータは垂直方向における回転運動のためである。6パラメータアフィン動きモデルは、3個の制御ポイントにおける3個のMVによりコーディングされる。図4に示されるように、6パラメータアフィンコーディング済みCUについての3個の制御ポイントは、CUの左上隅、右上隅、および左下隅において定義される。左上制御ポイントにおける動きは、並進運動に関連し、右上制御ポイントにおける動きは、水平方向における回転運動および拡大縮小運動に関連し、左下制御ポイントにおける動きは、垂直方向における回転運動および拡大縮小運動に関連する。6パラメータアフィン動きモデルについて、水平方向における回転運動および拡大縮小運動は、垂直方向における回転運動および拡大縮小運動とは同一でなくてもよい。各々のサブブロックの動きベクトル(vx,vy)は、式(7-1)および式(7-2)として制御ポイントにおける3個のMVを使用して導出される。
Figure 2022526943000013
Figure 2022526943000014
(v2x,v2y)は、左下制御ポイントの動きベクトルであり、(x,y)は、サブブロックの中心位置であり、wおよびhは、CUの幅および高さである。
6パラメータアフィンモデルの6個のパラメータは、4パラメータアフィン動きモデルと関連して上記説明された方式と同様の方式において推定される。式(2)は、式(8)として変更される。
Figure 2022526943000015
ステップkにおいて、(a,b)は、デルタ並進パラメータであり、(c,d)は、水平方向におけるデルタ拡大縮小パラメータおよび回転パラメータであり、(e,f)は、垂直方向におけるデルタ拡大縮小パラメータおよび回転パラメータである。したがって、式(8)も、式(9)において以下に示されるように変更される。
Figure 2022526943000016
CU内の全てのサンプルを考慮することによって、最小二乗法を使用して、パラメータセット(a,b,c,d,e,f)を解くことができる。左上制御ポイントのMV
Figure 2022526943000017
は、式(3)を使用して計算される。右上制御ポイントのMV
Figure 2022526943000018
は、式10を使用して計算される。右上制御ポイントのMV
Figure 2022526943000019
は、式11を使用して計算される。
Figure 2022526943000020
Figure 2022526943000021
デコーダ側動きベクトル精緻化(DMVR)
マージモードのMVの精度を増大させるために、バイラテラルマッチング(BM)方式デコーダ側動きベクトル精緻化がVTM4[11]に適用される、双予測演算では、参照ピクチャリストL0および参照ピクチャリストL1における初期MVの周りの精緻化済みMVが探索される。BM方法は、参照ピクチャリストL0および参照ピクチャリストL1における2つの候補ブロックの間の歪みを計算する。図9に示されるように、初期MVの周りの各々のMV候補に基づいた赤色ブロックの間の絶対差合計(SAD)が計算される。最低SADを有するMV候補は、精緻化済みMVになり、双予測済み信号を生成するために使用される。
DMVR処理によって導出された精緻化済みMVは、インター予測サンプルを生成するために使用され、後のピクチャコーディングのために時間動きベクトル予測においても使用される。元のMVがデブロッキング処理において使用されると共に、後のCUコーディングのために空間動きベクトル予測においても使用される。
図5に示されるように、初期MVを囲む探索ポイントおよびMVオフセットは、MV差ミラーリング(MV difference mirroring)(すなわち、対称)ルールに従う。言い換えると、候補MVペア(MV0,MV1)によって表される、DMVRによってチェックされるいずれかのポイントは、式(12)に従う。
Figure 2022526943000022
MVoffsetは、参照ピクチャの1つにおける初期MVと精緻化済みMVとの間の精緻化オフセットを表す。VTM4では、精緻化探索範囲は、初期MVからの2つの整数ルマサンプルである。探索複雑度を低減させるために、早期終了機構(early termination mechanism)による高速探索方法が適用されてもよい。
アフィンモードについてのオプティカルフローによる予測精緻化(PROF)
より細かい粒度の動き補償を達成するために、[12]は、オプティカルフローによる予測精緻化(PROF:Prediction Refinement with Optical Flow)と呼ばれる、オプティカルフローによるサブブロック方式アフィン動き補償予測(sub-block based affine motion compensated prediction with optical flow)を精緻化する方法を提案する。
サブブロック方式アフィン動き補償が実行された後、オプティカルフロー方程式によって導出された差を追加することによって、ルマ予測サンプルが精緻化される。提案されたPROFは、以下の4個のステップとして記述される。
ステップ1:サブブロック予測I(i,j)を生成するよう、サブブロック方式アフィン動き補償が実行される。
ステップ2:3タップフィルタ[-1,0,1]を使用して各々のサンプル位置におけるサブブロック予測の空間的勾配(spatial gradients)gx(i,j)およびgy(i,j)が計算される。
Figure 2022526943000023
Figure 2022526943000024
サブブロック予測は、勾配計算に対して各々の側上の1つの画素によって拡張される。メモリ帯域幅および複雑度を低減させるために、拡張された境界上の画素は、参照ピクチャにおける最も近い整数画素位置から複製される。したがって、領域をパディングするための追加の補間が回避される。
ステップ3:オプティカルフロー方程式によってルマ予測精緻化が計算される。
Figure 2022526943000025
Δvx(i,j)は、v(i,j)によって表されるサンプル画素位置(i,j)に対して計算された画素MVと、水平方向において画素(i,j)が属するサブブロックのサブブロックMVとの間の差であり、Δvy(i,j)は、v(i,j)によって表されるサンプル画素位置(i,j)に対して計算された画素MVと、垂直方向において画素(i,j)が属するサブブロックのサブブロックMVとの間の差である。
図6は、各々の個々の画素のMVがサブブロックMVとどのように異なることができるかを示す。
アフィンモデルパラメータおよびサブブロックの中心に対する画素位置がサブブロックからサブブロックへと変化しないので、Δv(i,j)は、同一のCUにおいて、第1のサブブロックに対して計算されてもよく、他のサブブロックに対して再使用されてもよい。xおよびyが画素位置からサブブロックの中心までの水平オフセットおよび垂直オフセットであるとすると、Δv(x,j)は、以下の式によって導出されてもよい。
Figure 2022526943000026
4パラメータアフィンモデルについて、
Figure 2022526943000027
である。
6パラメータアフィンモデルについて、
Figure 2022526943000028
である。(v0x,v0y)、は、左上制御ポイント動きベクトルであり、(v1x,v1y)は、右上制御ポイント動きベクトルであり、(v2x,v2y)は、左下制御ポイント動きベクトルであり、wおよびhは、CUの幅および高さである。
ステップ4:最終的に、ルマ予測精緻化がサブブロック予測I(i,j)に追加される。最終予測I’ は、式(14)を使用して生成される。
Figure 2022526943000029
オプティカルフローによる動きベクトル精緻化方式予測精緻化
以下は、動きベクトル精緻化方式サブブロックレベル動き補償予測を改善する方法である。精緻化済み動きベクトル(RMV)がDMVR処理によって導出され、サブブロック方式動き補償がRMVに従って実行された後、オプティカルフロー方程式(式(13))によって導出された差値を追加することによって画素強度が精緻化され、オプティカルフロー方程式は、本明細書でオプティカルフローによる動きベクトル精緻化方式予測精緻化(MVRPROF:Motion vector refinement based prediction refinement)と称される。MVRPROF技術は、複雑度を著しく増大させることなく、また、標準的なDMVR方式サブブロックレベル動き補償に匹敵する最悪のケースのメモリアクセス帯域幅を維持することなく、画素レベル粒度を達成することができる。
この発明では、オプティカルフロー方程式から導出された画素強度にける変化を適用することによって、DMVR方式サブブロックレベル動き補償予測の粒度を改善するために、MVPROFが提案される。この方法は、VVCにおける既存のアフィン動き補償と同一である、サブブロックごとに1回の動き補償演算のみを必要とする。例示的な実施形態に従って、第1のステップでは、上記セクション1.2において説明されたような、CUにおけるサブブロックごとの精緻化済み動きベクトルは、DMVR処理を実行することによって導出される。これに続き、上記セクション0において説明されたような、サブブロック方式予測を生成する、サブブロック方式動き補償が続いてもよい。
第2のステップでは、記セクション0において説明された処理に準拠することによって、各々のサンプル位置におけるサブブロック予測の空間的勾配gx(i,j)およびgy(i,j)が計算される。
第3のステップでは、以下で説明される処理に準拠することによって、各々のサンプル位置において動きベクトルオフセットΔv(i,j)が計算される。
図7に示されるように、カレントCU内で利用可能な複数の動きベクトルオフセットが存在する。CU内のサブブロックごとに(例えば、図7におけるカレントサブブロック)(カレントCUの左境界および/または上境界に位置するサブブロック以外の)、DMVR処理の後にそれらのMVオフセット値が利用可能な3個の隣接サブブロックが存在する。図7にそれぞれ示されるように、4個のサブブロックについての4個のMVオフセットを考慮して、各々のサブブロックの動きは、式(15)として、6パラメータ動きモデルによって表されてもよい。
Figure 2022526943000030
MVX_offsetおよびMVY_offsetは、1つのMVオフセットの水平成分および垂直成分であり、Xsub_blockおよびYsub_blockは、対応するサブブロックの中心位置のX座標およびY座標である。4個の近接サブブロック(すなわち、カレントサブブロックおよび3個の上述した隣接サブブロック)の各々の既知のMVオフセットおよび中心位置に基づいて、4個の全てのサブブロックについての式(15)の線形回帰モデリングによって(8個の合計式)パラメータaxx、axy、ayx、ayy、bx、およびbyが計算されてもよい。
1つの実施形態では、3個の隣接サブブロックのMVオフセットおよび中心位置は、6パラメータを計算するために使用されてもよく、第4の(カレント)サブブロックは、モデル誤差を推定および評価するために使用されてもよい。実施形態では、モデル誤差が予め定義された閾値よりも大きい場合、MVPROFは、カレントサブブロック(すなわち、第4のサブブロック)に適用されなくてもよい。
別の実施形態では、サブブロックの4個全ては、6パラメータを計算するために使用されてもよい。
式(15)において定義されたアフィン動きモデルおよび上記説明されたように計算されたモデルパラメータを仮定して、1つのサブブロックに属する各々のサンプル位置における動きベクトルオフセットΔv(i,j)は、式(16-1)および式(16-2)によって計算されてもよい。
Figure 2022526943000031
Figure 2022526943000032
iおよびjは、各々のサンプル/画素のX座標およびY座標それぞれである。
いくつかのケースでは、4パラメータアフィンモデルは、6パラメータアフィンモデルよりも良好に動きに適合することができる。したがって、他のオフセットが利用可能である場合、検証/評価の目的のために2つのサブブロック(例えば、図7における4個の利用可能なMVオフセットのいずれかの2つ)および他の残りのオフセットからのMVオフセットのみを使用して、4パラメータアフィンモデルを導出することができる。4パラメータアフィンモデルでは、式(17-1)および式(17-2)である。
Figure 2022526943000033
Figure 2022526943000034
カレントCUの左境界または上境界に位置するサブブロックなどのいくつかのサブブロックについて、利用可能な隣接サブブロックが1つのみ存在することがある場合、上記定義された4パラメータアフィンモデルは、各々のサンプル位置において動きベクトルオフセットを導出するために使用されてもよい。
第4のステップでは、CUのサブブロックnにおける画素ごとの輝度強度変化は、式(18)のオプティカルフロー方程式によって計算される。
Figure 2022526943000035
Δv(i,j)およびg(i,j)は、前のステップにおいて既に計算された、各々のサンプル位置(i,j)におけるMVオフセットおよび空間的勾配それぞれである。
最終的に、輝度強度変化を追加することによって、参照ピクチャリストごとの予測を精緻化することができる。最終予測I’は、式(19)に準拠することによって生成される。
Figure 2022526943000036
以下を含む、提案されるMVRPROF方法の多くの実装態様の変形が可能である。
1つの代替的な実施形態では、式(15)に従って、モデルパラメータaxx、axy、ayx、ayy、bx、およびbyを導出するとき、考慮されるMVオフセットは、図7に示された4個のサブブロックのみに限定されなくてもよく、左上隣接サブブロック、左隣接サブブロック、および上隣接サブブロックが考慮される。カレントサブブロックから更に遠くないより多くの候補隣接サブブロックも考慮されてもよい。例えば、MVPROFは、CUについての1つのアフィン動きモデルを導出するために全てのサブブロックMVオフセットを使用してもよく、サンプルごとのサンプルに基づくMVオフセットを導出するためにアフィンモデルを適用してもよい。
代わりに、式(15)に従ってモデルパラメータを導出し、モデル誤差を評価するとき、モデル精度を評価するために、構成可能誤差閾値または適応的誤差閾値が設定されてもよい。1つの実施例では、6パラメータモデルおよび4パラメータモデルなどの複数のモデルが評価されてもよく、各々のサンプル位置においてΔv(i,j)を導出するために、最低L1誤差またはL2誤差が選択されてもよく、L1は、絶対差重み付け合計(SAD)であり、L2は、二乗差重み付け合計(SSD)である。
1つの例示的な実装態様では、モデル誤差を推定するとき、重み付けL1差または重み付けL2差(例えば、異なる隣接サブブロックのMVオフセットは、異なる重みを有してもよい)が考慮されてもよい。
別の例示的な実装態様では、4個のMVオフセットのみが動きモデルを導出するために使用される場合、計算複雑度を低減させるために(モデル誤差が大きい場合に動きモデル推定をスキップすることができることを理由に)、モデルが導出される前にモデル誤差が評価されてもよい。例えば、2つの対角線方向における2つのMVオフセットの合計が最初に計算されてもよく、モデル誤差に対して2つの合計の差が使用されてもよい。例えば、図7では、MVoff(x-1,y-1)およびMVoff(x,y)の合計、ならびにMVoff(x,y-1)およびMVoff(x-1,y)の合計がそれぞれ計算されてもよい。それらの2つの合計の間の差は、モデル誤差を表すために使用されてもよい。
更なる別の例示的な実施形態では、モデルパラメータを計算するために複数の隣接MVオフセットが使用されるとき、カレントサブブロックの同一の値としてサブブロックアスペクト比が維持されてもよい。代わりに、異なるアスペクト比が許容されてもよい。
更なる変形では、モデルパラメータを計算するために複数の隣接MVオフセットが使用されるとき、隣接サブブロックのサイズは、カレントサブブロックと同一であってもよい。代わりに、異なるサイズの隣接サブブロックが許容されてもよい。
更に、上記説明された例示的な実施形態では、カレントCU内の各々のサブブロックがモデルパラメータを独立して導出し、同一のサブブロック内の各々のサンプルが同一のモデルパラメータを共有するが、カレントCU内の異なるサブブロックからの各々のサンプルがモデルパラメータを共有しないことがある方式において、MVPPROFが機能する。しかしながら、別の実施形態では、モデルパラメータは1回のみ導出されてもよく、カレントCU内の全てのサンプルが同一のパラメータを共有する。
また更に、式(19)の1つの変形では、式(18)から導出された強度差は、式(20)に示されるように、予測に追加される前に重み因子と乗算されてもよい。
Figure 2022526943000037
wは、包括的に0~1の値に設定される。値wは、CUレベルまたはピクチャレベルにおいてシグナリングされてもよい。例えば、wは、重みインデックスによってシグナリングされてもよい。
DMVR方式L0予測およびL1予測が重みと組み合わされた後にMVRPROF技術が使用されてもよい。代わりに、MVRPROF技術は、L0またはL1などの1つの予測に適用されてもよい。例えば、1つの実施形態では、MVRPROF技術は、L0またはL1の時間ドメインにおいてカレントピクチャに近い方の1つに適用されてもよい。
実施形態の実装のための例示的なネットワーク
図8Aは、1つまたは複数の開示される実施形態を実装することができる、例示的な通信システム100を示す図である。通信システム100は、音声、データ、ビデオ、メッセージング、放送などのコンテンツを複数の無線ユーザに提供する、多元接続システムであってもよい。通信システム100は、複数の無線ユーザが、無線帯域幅を含むシステムリソースの共用を通じて、そのようなコンテンツにアクセスすることを可能にすることができる。例えば、通信システム100は、符号分割多元接続(CDMA)、時分割多元接続(TDMA)、周波数分割多元接続(FDMA)、直交FDMA(OFDMA)、シングルキャリアFDMA(SC-FDMA)、ゼロテールユニークワード離散フーリエ変換拡散OFDM(ZT UW DTS-S-OFDM)、ユニークワードOFDM(UW-OFDM)、リソースブロックフィルタードOFDM、およびフィルタバンクマルチキャリア(FBMC)など、1つまたは複数のチャネルアクセス方法を利用してもよい。
図8Aに示されるように、通信システム100は、無線送信/受信ユニット(WTRU)102a、102b、102c、102dと、RAN104/113と、CN106と、公衆交換電話網(PSTN)108と、インターネット110と、他のネットワーク112とを含んでもよいが、開示される実施形態は、いずれかの数のWTRU、基地局、ネットワーク、および/またはネットワーク要素を考慮していることが認識されよう。WTRU102a、102b、102c、102dの各々は、無線環境において動作および/または通信するように構成されたいずれかのタイプのデバイスであってもよい。例として、そのいずれかが、「局」および/または「STA」と称されてもよい、WTRU102a、102b、102c、102dは、無線信号を送信および/または受信するように構成されてもよく、ユーザ機器(UE)、移動局、固定または移動加入者ユニット、サブスクリクションベースのユニット、ページャ、セルラ電話、パーソナルデジタルアシスタント(PDA)、スマートフォン、ラップトップ、ネットブック、パーソナルコンピュータ、無線センサ、ホットスポットまたはMi-Fiデバイス、モノのインターネット(IoT)デバイス、ウォッチまたは他のウェアラブル、ヘッドマウントディスプレイ(HMD)、車両、ドローン、医療用デバイスおよびアプリケーション(例えば、遠隔手術)、工業用デバイスおよびアプリケーション(例えば、工業用および/または自動化された処理チェーン状況において動作するロボットおよび/または他の無線デバイス)、家電デバイス、ならびに商業用および/または工業用無線ネットワーク上において動作するデバイスなどを含んでもよい。WTRU102a、102b、102c、102dのいずれも、交換可能にUEと称されてもよい。
通信システム100はまた、基地局114aおよび/または基地局114bを含んでもよい。基地局114a、114bの各々は、CN106、インターネット110、および/または他のネットワーク112など、1つまたは複数の通信ネットワークへのアクセスを容易にするために、WTRU102a、102b、102c、102dのうちの少なくとも1つと無線でインタフェースをとるように構成されたいずれかのタイプのデバイスであってもよい。例として、基地局114a、114bは、基地送受信機局(BTS)、NodeB、eNodeB、ホームNodeB、ホームeNodeB、gNB、NR NodeB、サイトコントローラ、アクセスポイント(AP)、および無線ルータなどであってもよい。基地局114a、114bは、各々が、単一の要素として表されているが、基地局114a、114bは、任意の数の相互接続された基地局および/またはネットワーク要素を含んでもよいことが理解されよう。
基地局114aは、RAN104/113の一部であってもよく、RAN104/113は、他の基地局、および/または基地局コントローラ(BSC)、無線ネットワークコントローラ(RNC)、中継ノードなどのネットワーク要素(図示せず)も含んでもよい。基地局114aおよび/または基地局114bは、セル(図示せず)と称されてもよい、1つまたは複数のキャリア周波数上において、無線信号を送信および/または受信するように構成されてもよい。これらの周波数は、認可スペクトル、非認可スペクトル、または認可スペクトルと非認可スペクトルとの組み合わせの中にあってもよい。セルは、相対的に固定であってもよくまたは時間とともに変化してもよい特定の地理的エリアに、無線サービス用のカバレッジを提供してもよい。セルは、更に、セルセクタに分割されてもよい。例えば、基地局114aと関連付けられたセルは、3個のセクタに分割されてもよい。したがって、一実施形態では、基地局114aは、送受信機を3個、すなわち、セルの各セクタに対して1つずつ含んでよい。実施形態では、基地局114aは、多入力多出力(MIMO)技術を利用してもよく、セルの各セクタに対して複数の送受信機を利用してもよい。例えば、所望の空間的方向において信号を送信および/または受信するために、ビームフォーミングが使用されてもよい。
基地局114a、114bは、エアインタフェース116上において、WTRU102a、102b、102c、102dのうちの1つまたは複数と通信してもよく、エアインタフェース116は、いずれかの適切な無線通信リンク(例えば、無線周波(RF)、マイクロ波、センチメートル波、マイクロメートル波、赤外線(IR)、紫外線(UV)、可視光など)であってもよい。エアインタフェース116は、任意の適切な無線アクセス技術(RAT)を使用して確立されてもよい。
より具体的には、上述したように、通信システム100は、多元接続システムであってもよく、CDMA、TDMA、FDMA、OFDMA、およびSC-FDMAなど、1つまたは複数のチャネルアクセス方式を採用してもよい。例えば、RAN104/113内の基地局114aと、WTRU102a、102b、102cとは、広帯域CDMA(WCDMA)を使用して、エアインタフェース116を確立してもよい、ユニバーサル移動体通信システム(UMTS)地上無線アクセス(UTRA)などの無線技術を実装してもよい。WCDMAは、高速パケットアクセス(HSPA)および/または進化型HSPA(HSPA+)などの通信プロトコルを含んでよい。HSPAは、高速ダウンリンク(DL)パケットアクセス(HSDPA)、および/または高速アップリンク(UL)パケットアクセス(HSUPA)を含んでもよい。
実施例では、基地局114a、およびWTRU102a、102b、102cは、ロングタームエボリューション(LTE)、および/またはLTEアドバンスト(LTE-A)、および/またはLTEアドバンストプロ(LTE-A Pro)を使用して、エアインタフェース116を確立してもよい、進化型UMTS地上無線アクセス(E-UTRA)などの無線技術を実装してもよい。
実施形態では、基地局114a、およびWTRU102a、102b、102cは、ニューラジオ(NR)を使用して、エアインタフェース116を確立してもよい、NR無線アクセスなどの無線技術を実装してもよい。
実施例では、基地局114a、およびWTRU102a、102b、102cは、複数の無線アクセス技術を実装してもよい。例えば、基地局114a、およびWTRU102a、102b、102cは、例えば、デュアルコネクティビティ(DC)原理を使用して、LTE無線アクセスおよびNR無線アクセスを共に実装してもよい。したがって、WTRU102a、102b、102cによって利用されるエアインタフェースは、複数のタイプの無線アクセス技術、ならびに/または複数のタイプの基地局(例えば、eNBおよびgNB)に送信される/そこから送信される送信によって特徴付けられてもよい。
実施例では、基地局114a、およびWTRU102a、102b、102cは、IEEE802.11(すなわち、ワイヤレスフィデリティ(WiFi))、IEEE802.16(すなわち、Worldwide Interoperability for Microwave Access(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、暫定標準2000(IS-2000)、暫定標準95(IS-95)、暫定標準856(IS-856)、移動体通信用グローバルシステム(GSM)、GSMエボリューション用高速データレート(EDGE)、およびGSM EDGE(GERAN)などの無線技術を実装してもよい。
図8Aにおける基地局114bは、例えば、無線ルータ、ホームNodeB、ホームeNodeB、またはアクセスポイントであってもよく、事業所、自宅、車両、キャンパス、産業用施設、(例えば、ドローンによって使用される)エアコリド、および車道など、局所化されたエリアにおける無線接続性を容易にするために、任意の適切なRATを利用してもよい。一実施形態では、基地局114bと、WTRU102c、102dとは、IEEE802.11などの無線技術を実装して、無線ローカルエリアネットワーク(WLAN)を確立してもよい。実施形態では、基地局114bと、WTRU102c、102dとは、IEEE802.15などの無線技術を実装して、無線パーソナルエリアネットワーク(WPAN)を確立してもよい。また別の実施形態では、基地局114bと、WTRU102c、102dとは、セルラベースのRAT(例えば、WCDMA、CDMA2000、GSM、LTE、LTE-A、LTE-A Pro、NRなど)を利用して、ピコセルまたはフェムトセルを確立してもよい。図8Aに示されるように、基地局114bは、インターネット110への直接的な接続を有してもよい。したがって、基地局114bは、CN106/115を介してインターネット110にアクセスする必要がないことがある。
RAN104/113は、CN106/115と通信してもよく、CN106/115は、音声、データ、アプリケーション、および/またはボイスオーバインターネットプロトコル(VoIP)サービスを、WTRU102a、102b、102c、102dのうちの1つまたは複数に提供するように構成された任意のタイプのネットワークであってもよい。データは、異なるスループット要件、遅延要件、エラー耐性要件、信頼性要件、データスループット要件、およびモビリティ要件など、様々なサービス品質(QoS)要件を有してもよい。CN106/115は、呼制御、ビリングサービス、モバイルロケーションベースのサービス、プリペイド発呼、インターネット接続性、ビデオ配信などを提供してもよく、および/またはユーザ認証など、高レベルセキュリティ機能を実行してもよい。図8Aには示されていないが、RAN104/113および/またはCN106/115は、RAN104/113と同一のRATまたは異なるRATを利用する他のRANと直接的または間接的通信を行ってもよいことが理解されよう。例えば、NR無線技術を利用していることがあるRAN104/113に接続されていることに加えて、CN106/115は、GSM、UMTS、CDMA2000、WiMAX、E-UTRA、またはWiFi無線技術を利用する別のRAN(図示せず)とも通信してもよい。
CN106/115は、WTRU102a、102b、102c、102dが、PSTN108、インターネット110、および/または他のネットワーク112にアクセスするためのゲートウェイとしての役割も果たしてもよい。PSTN108は、基本電話サービス(POTS)を提供する、回線交換電話網を含んでよい。インターネット110は、TCP/IPインターネットプロトコルスイート内の送信制御プロトコル(TCP)、ユーザデータグラムプロトコル(UDP)、および/またはインターネットプロトコル(IP)など、共通の通信プロトコルを使用する、相互接続されたコンピュータネットワークおよびデバイスからなる地球規模のシステムを含んでよい。ネットワーク112は、他のサービスプロバイダによって所有および/または運営される、有線および/または無線通信ネットワークを含んでもよい。例えば、ネットワーク112は、RAN104/113と同一のRATまたは異なるRATを利用してもよい1つまたは複数のRANに接続された、別のCNを含んでもよい。
通信システム100内のWTRU102a、102b、102c、102dのうちのいくつかまたは全ては、マルチモード機能を含んでよい(例えば、WTRU102a、102b、102c、102dは、異なる無線リンク上において、異なる無線ネットワークと通信するための、複数の送受信機を含んでよい)。例えば、図8Aに示されるWTRU102cは、セルラベースの無線技術を採用してもよい基地局114aと通信するように、またIEEE802無線技術を利用してもよい基地局114bと通信するように構成されてもよい。
図8Bは、例示的なWTRU102を示すシステム図である。図8Bに示されるように、WTRU102は、とりわけ、プロセッサ118、送受信機120、送信/受信要素122、スピーカ/マイクロフォン124、キーパッド126、ディスプレイ/タッチパッド128、非リムーバブルメモリ130、リムーバブルメモリ132、電源134、全地球測位システム(GPS)チップセット136、および/または他の周辺機器138を含んでよい。WTRU102は、実施形態との整合性を維持しながら、上記の要素の任意のサブコンビネーションを含んでよいことが理解されよう。
プロセッサ118は、汎用プロセッサ、専用プロセッサ、従来型プロセッサ、デジタル信号プロセッサ(DSP)、複数のマイクロプロセッサ、DSPコアと連携する1つまたは複数のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)回路、他の任意のタイプの集積回路(IC)、および状態機械などであってもよい。プロセッサ118は、信号コーディング、データ処理、電力制御、入力/出力処理、および/またはWTRU102が無線環境において動作することを可能にする他の任意の機能性を実行してもよい。プロセッサ118は、送受信機120に結合されてもよく、送受信機120は、送信/受信要素122に結合されてもよい。図8Bは、プロセッサ118と送受信機120を別個の構成要素として表しているが、プロセッサ118と送受信機120は、電子パッケージまたはチップ内に一緒に統合されてもよいことが理解されよう。
送信/受信要素122は、エアインタフェース116上において、基地局(例えば、基地局114a)に信号を送信し、または基地局から信号を受信するように構成されてもよい。例えば、一実施形態では、送信/受信要素122は、RF信号を送信および/または受信するように構成されたアンテナであってもよい。実施形態では、送信/受信要素122は、例えば、IR、UV、または可視光信号を送信および/または受信するように構成された放射器/検出器であってもよい。また別の実施形態では、送信/受信要素122は、RF信号および光信号の両方を送信および/または受信するように構成されてもよい。送信/受信要素122は、無線信号の任意の組み合わせを送信および/または受信するように構成されてもよいことが理解されよう。
図8Bにおいては、送信/受信要素122は、単一の要素として表されているが、WTRU102は、任意の数の送信/受信要素122を含んでよい。より具体的には、WTRU102は、MIMO技術を利用してもよい。したがって、一実施形態では、WTRU102は、エアインタフェース116上において無線信号を送信および受信するための2つ以上の送信/受信要素122(例えば、複数のアンテナ)を含んでよい。
送受信機120は、送信/受信要素122によって送信されることになる信号を変調し、送信/受信要素122によって受信された信号を復調するように構成されてもよい。上で言及されたように、WTRU102は、マルチモード機能を有してもよい。したがって、送受信機120は、WTRU102が、例えば、NRおよびIEEE802.11など、複数のRATを介して通信することを可能にするための、複数の送受信機を含んでよい。
WTRU102のプロセッサ118は、スピーカ/マイクロフォン124、キーパッド126、および/またはディスプレイ/タッチパッド128(例えば、液晶表示(LCD)ディスプレイユニットもしくは有機発光ダイオード(OLED)ディスプレイユニット)に結合されてもよく、それらからユーザ入力データを受信してもよい。プロセッサ118は、スピーカ/マイクロフォン124、キーパッド126、および/またはディスプレイ/タッチパッド128にユーザデータを出力してもよい。加えて、プロセッサ118は、非リムーバブルメモリ130および/またはリムーバブルメモリ132など、任意のタイプの適切なメモリから情報を入手してもよく、それらにデータを記憶してもよい。非リムーバブルメモリ130は、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、ハードディスク、または他の任意のタイプのメモリ記憶デバイスを含んでよい。リムーバブルメモリ132は、加入者識別モジュール(SIM)カード、メモリスティック、およびセキュアデジタル(SD)メモリカードなどを含んでよい。他の実施形態では、プロセッサ118は、サーバまたはホームコンピュータ(図示せず)上などに配置された、WTRU102上に物理的に位置していないメモリから情報にアクセスしてもよく、それらにデータを記憶してもよい。
プロセッサ118は、電源134から電力を受信してもよく、WTRU102内の他の構成要素に電力を分配するように、および/またはそれらへの電力を制御するように構成されてもよい。電源134は、WTRU102に給電するための任意の適切なデバイスであってもよい。例えば、電源134は、1つまたは複数の乾電池(例えば、ニッケル-カドミウム(NiCd)、ニッケル-亜鉛(NiZn)、ニッケル水素(NiMH)、リチウム-イオン(Li-ion)など)、太陽電池、および燃料電池などを含んでよい。
プロセッサ118は、GPSチップセット136にも結合されてもよく、GPSチップセット136は、WTRU102の現在の位置に関する位置情報(例えば、経度および緯度)を提供するように構成されてもよい。GPSチップセット136からの情報に加えて、またはそれの代わりに、WTRU102は、基地局(例えば、基地局114a、114b)からエアインタフェース116上において位置情報を受信してもよく、および/または2つ以上の近くの基地局から受信されている信号のタイミングに基づいて、自身の位置を決定してもよい。WTRU102は、実施形態との整合性を維持しながら、任意の適切な位置決定方法を使用して、位置情報を取得してもよいことが理解されよう。
プロセッサ118は、更に他の周辺機器138に結合されてもよく、他の周辺機器138は、追加の特徴、機能性、および/または有線もしくは無線接続性を提供する、1つまたは複数のソフトウェアモジュールおよび/またはハードウェアモジュールを含んでよい。例えば、周辺機器138は、加速度計、eコンパス、衛星送受信機、(写真および/またはビデオ用の)デジタルカメラ、ユニバーサルシリアルバス(USB)ポート、バイブレーションデバイス、テレビ送受信機、ハンズフリーヘッドセット、Bluetooth(登録商標)モジュール、周波数変調(FM)ラジオユニット、デジタル音楽プレイヤ、メディアプレイヤ、ビデオゲームプレイヤモジュール、インターネットブラウザ、仮想現実および/または拡張現実(VR/AR)デバイス、ならびにアクティビティトラッカなどを含んでよい。周辺機器138は、1つまたは複数のセンサを含んでよく、センサは、ジャイロスコープ、加速度計、ホール効果センサ、磁力計、方位センサ、近接センサ、温度センサ、時間センサ、ジオロケーションセンサ、高度計、光センサ、タッチセンサ、磁力計、気圧計、ジェスチャセンサ、バイオメトリックセンサ、および/または湿度センサのうちの1つまたは複数であってもよい。
WTRU102は、(例えば、(例えば、送信用の)ULと(例えば、受信用の))ダウンリンクの両方のための特定のサブフレームと関連付けられた信号のいくつかまたは全ての送信および受信が、並列および/または同時であってもよい、全二重無線機を含んでよい。全二重無線機は、ハードウェア(例えば、チョーク)を介して、またはプロセッサ(例えば、別個のプロセッサ(図示せず)もしくはプロセッサ118)を介する信号処理を介して、自己干渉を低減させ、および/または実質的に除去するために、干渉管理ユニット139を含んでよい。実施形態では、WTRU102は、(例えば、(例えば、送信用の)ULまたは(例えば、受信用の)ダウンリンクのどちらかのための特定のサブフレームと関連付けられた)信号のいくつかまたは全ての送信および受信のための、半二重無線機を含んでよい。
図8Cは、RAN104およびCN106を示すシステム図である。上述されたように、RAN104は、エアインタフェース116を通じてWTRU102a、102b、102cと通信するためにE-UTRA無線技術を採用してもよい。RAN104は、CN106とも通信してもよい。
RAN104は、eNodeB160a、160b、160cを含んでよいが、RAN104は、実施形態との整合性を維持しながら、任意の数のeNodeBを含んでよいことが理解されよう。eNodeB160a、160b、160cは、各々が、エアインタフェース116上においてWTRU102a、102b、102cと通信するための、1つまたは複数の送受信機を含んでよい。一実施形態では、eNodeB160a、160b、160cは、MIMO技術を実装してもよい。したがって、eNodeB160aは、例えば、複数のアンテナを使用して、WTRU102aに無線信号を送信し、および/またはWTRU102aから無線信号を受信してもよい。
eNodeB160a、160b、160cの各々は、特定のセル(図示せず)と関連付けられてもよく、無線リソース管理決定、ハンドオーバ決定、ならびにULおよび/またはDLにおけるユーザのスケジューリングなどを処理するように構成されてもよい。図8Cに示されるように、eNodeB160a、160b、160cは、X2インタフェース上において、相互に通信してもよい。
図8Cに示されるCN106は、モビリティ管理エンティティ(MME)162と、サービングゲートウェイ(SGW)164と、パケットデータネットワーク(PDN)ゲートウェイ(またはPGW)166とを含んでよい。上記の要素の各々は、CN106の部分として描かれているが、これらの要素のうちのいずれも、CNオペレータとは異なるエンティティによって所有および/または操作されてもよいことが理解されよう。
MME162は、S1インタフェースを介して、RAN104内のeNodeB160a、160b、160cの各々に接続されてもよく、制御ノードとしての役割を果たしてもよい。例えば、MME162は、WTRU102a、102b、102cのユーザを認証すること、ベアラアクティブ化/非アクティブ化、およびWTRU102a、102b、102cの初期アタッチ中に特定のサービングゲートウェイを選択することなどを担ってもよい。MME162は、RAN104と、GSMおよび/またはWCDMAなどの他の無線技術を利用する他のRAN(図示せず)との間における交換のためのコントロールプレーン機能を提供してもよい。
SGW164は、S1インタフェースを介して、RAN104内のeNodeB160a、160b、160cの各々に接続されてもよい。SGW164は、一般に、ユーザデータパケットを、WTRU102a、102b、102cに/WTRU102a、102b、102cからルーティングおよび転送してもよい。SGW164は、eNodeB間ハンドオーバ中にユーザプレーンをアンカリングすること、DLデータがWTRU102a、102b、102cに利用可能なときにページングをトリガすること、ならびにWTRU102a、102b、102cのコンテキストを管理および記憶することなど、他の機能を実行してもよい。
SGW164は、PGW166に接続されてもよく、PGW166は、インターネット110など、パケット交換ネットワークへのアクセスをWTRU102a、102b、102cに提供して、WTRU102a、102b、102cとIP対応デバイスとの間の通信を容易にすることができる。
CN106は、他のネットワークとの通信を容易にすることができる。例えば、CN106は、PSTN108など、回線交換ネットワークへのアクセスをWTRU102a、102b、102cに提供して、WTRU102a、102b、102cと従来の固定電話回線通信デバイスとの間の通信を容易にしてもよい。例えば、CN106は、CN106とPSTN108との間のインタフェースとしての役割を果たすIPゲートウェイ(例えば、IPマルチメディアサブシステム(IMS)サーバ)を含んでよく、またはそれと通信してもよい。加えて、CN106は、他のネットワーク112へのアクセスをWTRU102a、102b、102cに提供してもよく、他のネットワーク112は、他のサービスプロバイダによって所有および/または運営される他の有線および/または無線ネットワークを含んでもよい。
図8A乃至8Dにおいては、WTRUは、無線端末として説明されるが、ある代表的な実施形態では、そのような端末は、通信ネットワークとの有線通信インタフェースを(例えば、一時的または永続的に)使用することができることが企図されている。
実施例では、他のネットワーク112は、WLANであってもよい。
インフラストラクチャ基本サービスセット(BSS)モードにあるWLANは、BSSのためのアクセスポイント(AP)と、APと関連付けられた1つまたは複数の局(STA)とを有してもよい。APは、トラフィックをBSS内および/またはBSS外に搬送する、ディストリビューションシステム(DS)または別のタイプの有線/無線ネットワークへのアクセスまたはインタフェースを有してもよい。BSS外部から発信されたSTAへのトラフィックは、APを通じて到着してもよく、STAに配送されてもよい。STAからBSS外部の送信先に発信されたトラフィックは、それぞれの送信先に配送するために、APに送信されてもよい。BSS内のSTA間のトラフィックは、APを通じて送信されてもよく、例えば、送信元STAは、トラフィックをAPに送信してもよく、APは、トラフィックを送信先STAに配送してもよい。BSS内のSTA間のトラフィックは、ピアツーピアトラフィックと見なされてもよく、および/またはピアツーピアトラフィックと呼ばれてもよい。ピアツーピアトラフィックは、直接リンクセットアップ(DLS)を用いて、送信元STAと送信先STAとの間で(例えば、直接的に)送信されてもよい。ある代表的な実施形態では、DLSは、802.11e DLSまたは802.11zトンネルDLS(TDLS)を使用してもよい。独立BSS(IBSS)モードを使用するWLANは、APを有さなくてもよく、IBSS内の、またはIBSSを使用するSTA(例えば、STAの全て)は、相互に直接的に通信してもよい。IBSSモードの通信は、本明細書においては、ときに「アドホック」モードの通信と称されてもよい。
802.11acインフラストラクチャモードの動作または類似したモードの動作を使用するとき、APは、プライマリチャネルなどの固定されたチャネル上において、ビーコンを送信してもよい。プライマリチャネルは、固定された幅(例えば、20メガヘルツ幅帯域幅)、またはシグナリングを介して動的に設定された幅であってもよい。プライマリチャネルは、BSSの動作チャネルであってもよく、APとの接続を確立するために、STAによって使用されてもよい。ある代表的な実施形態では、例えば、802.11システムにおいては、キャリアセンス多重アクセス/衝突回避(CSMA/CA)が、実装されてもよい。CSMA/CAの場合、APを含むSTA(例えば、あらゆるSTA)は、プライマリチャネルをセンスしてもよい。プライマリチャネルが、センス/検出され、および/または特定のSTAによってビジーであると決定された場合、特定のSTAは、バックオフしてもよい。与えられたBSS内においては、いずれかの所与の時間に、1つのSTA(例えば、ただ1つの局)が、送信してもよい。
高スループット(HT)STAは、例えば、プライマリ20メガヘルツチャネルを隣接または非隣接20メガヘルツチャネルと組み合わせて、40メガヘルツ幅のチャネルを形成することを介して、通信のために40メガヘルツ幅チャネルを使用してもよい。
超高スループット(VHT)STAは、20メガヘルツ、40メガヘルツ、80メガヘルツ、および/または160メガヘルツ幅のチャネルをサポートすることができる。40メガヘルツおよび/または80メガヘルツチャネルは、連続する20メガヘルツチャネルを組み合わせることによって形成されてもよい。160メガヘルツチャネルは、8つの連続する20メガヘルツチャネルを組み合わせることによって形成されてもよく、または2つの非連続な80メガヘルツチャネルを組み合わせることによって形成されてもよく、これは、80+80構成と呼ばれてもよい。80+80構成の場合、データは、チャネルエンコーディングの後、データを2つのストリームに分割し得るセグメントパーサを通過させられてもよい。各ストリームに対して別々に、逆高速フーリエ変換(IFFT)処理、および時間領域処理が、行われてもよい。ストリームは、2つの80メガヘルツチャネル上にマッピングされてもよく、データは、送信STAによって送信されてもよい。受信STAの受信機においては、80+80構成のための上で説明された動作が、逆転されてもよく、組み合わされたデータは、メディアアクセス制御(MAC)に送信されてもよい。
1ギガヘルツ未満モードの動作は、802.11afおよび802.11ahによってサポートされる。チャネル動作帯域幅およびキャリアは、802.11nおよび802.11acにおいて使用されるそれらと比べて、802.11afおよび802.11ahにおいては低減させられる。802.11afは、TVホワイトスペース(TVWS)スペクトルにおいて、5メガヘルツ、10メガヘルツ、および20メガヘルツ帯域幅をサポートし、802.11ahは、非TVWSスペクトルを使用して、1メガヘルツ、2メガヘルツ、4メガヘルツ、8メガヘルツ、および16メガヘルツ帯域幅をサポートする。実施形態に従って、802.11ahは、マクロカバレッジエリアにおけるMTCデバイスなど、メータタイプ制御/マシンタイプコミュニケーションをサポートしてもよい。MTCデバイスは、一定の機能を、例えば、一定の帯域幅および/または限られた帯域幅のサポート(例えば、それらのサポートだけ)を含む限られた機能を有してもよい。MTCデバイスは、(例えば、非常に長いバッテリ寿命を維持するために)閾値を上回るバッテリ寿命を有するバッテリを含んでよい。
802.11n、802.11ac、802.11af、および802.11ahなど、複数のチャネルおよびチャネル帯域幅をサポートすることができるWLANシステムは、プライマリチャネルとして指定されてもよいチャネルを含む。プライマリチャネルは、BSS内の全てのSTAによってサポートされる最大の共通動作帯域幅に等しい帯域幅を有してもよい。プライマリチャネルの帯域幅は、BSS内において動作する全てのSTAの中の、最小帯域幅動作モードをサポートするSTAによって設定および/または制限されてもよい。802.11ahの例においては、BSS内のAPおよび他のSTAが、2メガヘルツ、4メガヘルツ、8メガヘルツ、16メガヘルツ、および/または他のチャネル帯域幅動作モードをサポートする場合であっても、1メガヘルツモードをサポートする(例えば、それだけをサポートする)STA(例えば、MTCタイプデバイス)のために、プライマリチャネルは、1メガヘルツ幅であってもよい。キャリアセンシングおよび/またはネットワークアロケーションベクトル(NAV)設定は、プライマリチャネルのステータスに依存してもよい。例えば、(1メガヘルツ動作モードだけをサポートする)STAが、APに送信しているせいで、プライマリチャネルが、ビジーである場合、周波数バンドの大部分が、アイドルのままであり、利用可能であり得るとしても、利用可能な周波数バンド全体が、ビジーと見なされてもよい。
米国では、802.11ahによって使用されてもよい利用可能な周波数バンドは、902メガヘルツから928メガヘルツである。韓国においては、利用可能な周波数バンドは、917.5メガヘルツから923.5メガヘルツである。日本においては、利用可能な周波数バンドは、916.5メガヘルツから927.5メガヘルツである。802.11ahのために利用可能な合計帯域幅は、国の規則に応じて、6メガヘルツから26メガヘルツである。
図8Dは、例示的なRAN113およびCN115を示すシステム図である。上述されたように、RAN113は、NR無線技術を利用して、エアインタフェース116上において、WTRU102a、102b、102cと通信してもよい。RAN113は、CN115とも通信してもよい。
RAN113は、gNB180a、180b、180cを含んでよいが、RAN113は、実施形態との整合性を維持しながら、任意の数のgNBを含んでよいことが理解されよう。gNB180a、180b、180cは、各々が、エアインタフェース116上においてWTRU102a、102b、102cと通信するための、1つまたは複数の送受信機を含んでよい。一実施形態では、gNB180a、180b、180cは、MIMO技術を実装してもよい。例えば、gNB180a、108bは、ビームフォーミングを利用して、gNB180a、180b、180cに信号を送信し、および/またはgNB180a、180b、180cから信号を受信してもよい。したがって、gNB180aは、例えば、複数のアンテナを使用して、WTRU102aに無線信号を送信し、および/またはWTRU102aから無線信号を受信してもよい。実施形態では、gNB180a、180b、180cは、キャリアアグリゲーション技術を実装してもよい。例えば、gNB180aは、WTRU102aに複数のコンポーネントキャリアを送信してもよい(図示せず)。これらのコンポーネントキャリアのサブセットは、免許不要スペクトル上にあってもよいが、残りのコンポーネントキャリアは、免許要スペクトル上にあってもよい。実施形態では、gNB180a、180b、180cは、多地点協調(CoMP)技術を実装してもよい。例えば、WTRU102aは、gNB180aとgNB180b(および/またはgNB180c)とから調整された送信を受信してもよい。
WTRU102a、102b、102cは、スケーラブルなヌメロロジ(numerology)と関連付けられた送信を使用して、gNB180a、180b、180cと通信してもよい。例えば、OFDMシンボル間隔、および/またはOFDMサブキャリア間隔は、異なる送信、異なるセル、および/または無線送信スペクトルの異なる部分ごとに様々であってもよい。WTRU102a、102b、102cは、(例えば、様々な数のOFDMシンボルを含む、および/または様々な長さの絶対時間だけ持続する)様々なまたはスケーラブルな長さのサブフレームまたは送信時間間隔(TTI)を使用して、gNB180a、180b、180cと通信してもよい。
gNB180a、180b、180cは、スタンドアロン構成および/または非スタンドアロン構成で、WTRU102a、102b、102cと通信するように構成されてもよい。スタンドアロン構成においては、WTRU102a、102b、102cは、(例えば、eNodeB160a、160b、160cなどの)他のRANにアクセスすることもなしに、gNB180a、180b、180cと通信してもよい。スタンドアロン構成においては、WTRU102a、102b、102cは、gNB180a、180b、180cのうちの1つまたは複数を、モビリティアンカポイントとして利用してもよい。スタンドアロン構成においては、WTRU102a、102b、102cは、免許不要バンド内において信号を使用して、gNB180a、180b、180cと通信してもよい。非スタンドアロン構成においては、WTRU102a、102b、102cは、eNodeB160a、160b、160cなどの別のRANとも通信し/別のRANにも接続しながら、gNB180a、180b、180cと通信し/gNB180a、180b、180cに接続してもよい。例えば、WTRU102a、102b、102cは、DC原理を実装して、1つまたは複数のgNB180a、180b、180c、および1つまたは複数のeNodeB160a、160b、160cと実質的に同時に通信してもよい。非スタンドアロン構成においては、eNodeB160a、160b、160cは、WTRU102a、102b、102cのためのモビリティアンカとしての役割を果たしてもよく、gNB180a、180b、180cは、WTRU102a、102b、102cにサービスするための追加のカバレッジおよび/またはスループットを提供することができる。
gNB180a、180b、180cの各々は、特定のセル(図示せず)と関連付けられてもよく、無線リソース管理決定、ハンドオーバ決定、ULおよび/またはDLにおけるユーザのスケジューリング、ネットワークスライシングのサポート、デュアルコネクティビティ、NRとE-UTRAとの間のインターワーキング、ユーザプレーンデータのユーザプレーン機能(UPF)184a、184bへのルーティング、ならびにコントロールプレーン情報のアクセスおよびモビリティ管理機能(AMF)182a、182bへのルーティングなどを処理するように構成されてもよい。図8Dに示されるように、gNB180a、180b、180cは、Xnインタフェース上において、互いに通信してもよい。
図8Dに示されるCN115は、少なくとも1つのAMF182a、182bと、少なくとも1つのUPF184a、184bと、少なくとも1つのセッション管理機能(SMF)183a、183bと、おそらくは、データネットワーク(DN)185a、185bとを含んでよい。上記の要素の各々は、CN115の部分として描かれているが、これらの要素のうちのいずれも、CNオペレータとは異なるエンティティによって所有および/または操作されてもよいことが理解されよう。
AMF182a、182bは、N2インタフェースを介して、RAN113内のgNB180a、180b、180cのうちの1つまたは複数に接続されてもよく、制御ノードとしての役割を果たしてもよい。例えば、AMF182a、182bは、WTRU102a、102b、102cのユーザを認証すること、ネットワークスライシングのサポート(例えば、異なる要件を有する異なるPDUセッションの処理)、特定のSMF183a、183bを選択すること、レジストレーションエリアの管理、NASシグナリングの終了、およびモビリティ管理などを担ってもよい。ネットワークスライシングは、WTRU102a、102b、102cによって利用されるサービスのタイプに基づいて、WTRU102a、102b、102cに対するCNサポートをカスタマイズするために、AMF182a、182bによって使用されてもよい。例えば、超高信頼低遅延(URLLC)アクセスに依存するサービス、高速大容量モバイルブロードバンド(eMBB)アクセスに依存するサービス、および/またはマシンタイプコミュニケーション(MTC)アクセスのためのサービスなど、異なる使用事例のために、異なるネットワークスライスが、確立されてもよい。AMF162は、RAN113と、LTE、LTE-A、LTE-A Pro、および/またはWiFiなどの非3GPPアクセス技術など、他の無線技術を利用する他のRAN(図示せず)との間の交換のためのコントロールプレーン機能を提供してもよい。
SMF183a、183bは、N11インタフェースを介して、CN115内のAMF182a、182bに接続されてもよい。SMF183a、183bは、N4インタフェースを介して、CN115内のUPF184a、184bにも接続されてもよい。SMF183a、183bは、UPF184a、184bを選択および制御し、UPF184a、184bを通じたトラフィックのルーティングを構成してもよい。SMF183a、183bは、UE IPアドレスの管理および割り当てを行うこと、PDUセッションを管理すること、ポリシ実施およびQoSを制御すること、ならびにダウンリンクデータ通知を提供することなど、他の機能を実行してもよい。PDUセッションタイプは、IPベース、非IPベース、およびイーサネットベースなどであってもよい。
UPF184a、184bは、N3インタフェースを介して、RAN113内のgNB180a、180b、180cのうちの1つまたは複数に接続されてもよく、それらは、インターネット110など、パケット交換ネットワークへのアクセスをWTRU102a、102b、102cに提供して、WTRU102a、102b、102cとIP対応デバイスとの間の通信を容易することができる。UPF184a、184bは、パケットをルーティングおよび転送すること、ユーザプレーンポリシを実施すること、マルチホーミングPDUセッションをサポートすること、ユーザプレーンQoSを処理すること、ダウンリンクパケットをバッファすること、ならびにモビリティアンカリングを提供することなど、他の機能を実行してもよい。
CN115は、他のネットワークとの通信を容易にすることができる。例えば、CN115は、CN115とPSTN108との間のインタフェースとしての役割を果たすIPゲートウェイ(例えば、IPマルチメディアサブシステム(IMS)サーバ)を含んでよく、またはそれと通信してもよい。加えて、CN115は、他のネットワーク112へのアクセスをWTRU102a、102b、102cに提供してもよく、他のネットワーク112は、他のサービスプロバイダによって所有および/または運営される他の有線および/または無線ネットワークを含んでよい。一実施形態では、WTRU102a、102b、102cは、UPF184a、184bへのN3インタフェース、およびUPF184a、184bとDN185a、185bとの間のN6インタフェースを介して、UPF184a、184bを通じて、ローカルデータネットワーク(DN)185a、185bに接続されてもよい。
図8A乃至図8D、および図8A乃至図8Dについての対応する説明に鑑みて、WTRU102a乃至d、基地局114a乃至b、eNodeB160a乃至c、MME162、SGW164、PGW166、gNB180a乃至c、AMF182a乃至b、UPF184a乃至b、SMF183a乃至b、DN185a乃至b、および/または本明細書において説明される他の任意のデバイスのうちの1つまたは複数に関する、本明細書において説明される機能の1つもしくは複数または全ては、1つまたは複数のエミュレーションデバイス(図示せず)によって実行されてもよい。エミュレーションデバイスは、本明細書において説明される機能の1つもしくは複数または全てをエミュレートするように構成された、1つまたは複数のデバイスであってもよい。例えば、エミュレーションデバイスは、他のデバイスをテストするために、ならびに/またはネットワークおよび/もしくはWTRU機能をシミュレートするために、使用されてもよい。
エミュレーションデバイスは、実験室環境において、および/またはオペレータネットワーク環境において、他のデバイスの1つまたは複数のテストを実施するように設計されてもよい。例えば、1つまたは複数のエミュレーションデバイスは、通信ネットワーク内の他のデバイスをテストするために、有線および/または無線通信ネットワークの一部として、完全または部分的に実施および/または展開されながら、1つもしくは複数または全ての機能を実行してもよい。1つまたは複数のエミュレーションデバイスは、有線および/または無線通信ネットワークの一部として、一時的に実施/展開されながら、1つもしくは複数または全ての機能を実行してもよい。エミュレーションデバイスは、テストの目的で、別のデバイスに直接的に結合されてもよく、および/またはオーバザエア無線通信を使用して、テストを実行してもよい。
1つまたは複数のエミュレーションデバイスは、有線および/または無線通信ネットワークの一部として実施/展開されずに、全ての機能を含む、1つまたは複数の機能を実行してもよい。例えば、エミュレーションデバイスは、1つまたは複数の構成要素のテストを実施するために、テスト実験室、ならびに/または展開されていない(例えば、テスト)有線および/もしくは無線通信ネットワークにおける、テストシナリオにおいて利用されてもよい。1つまたは複数のエミュレーションデバイスは、テスト機器であってもよい。データを送信および/または受信するために、直接RF結合、および/または(例えば、1つもしくは複数のアンテナを含んでよい)RF回路を介した無線通信が、エミュレーションデバイスによって使用されてもよい。
図9は、実施形態に従った、様々な態様および動作を実装するシステムを示すシステム図である。
図9を参照して、システム1000は、以下で説明される様々な構成要素を含むデバイスとして具体化されてもよく、本明細書において説明される態様のうちの1つまたは複数を実行するように構成される。そのようなデバイスの例は、それらに限定されないが、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受信機、パーソナルビデオレコーディングシステム、接続された家電製品、およびサーバなどの様々な電子デバイを含む。システム1000の要素は、単独でまたは組み合わせで、単一の集積回路(IC)、複数のIC、および/または離散構成要素において具体化されてもよい。例えば、少なくとも1つの実施形態では、システム1000の処理要素およびエンコーダ/デコーダ要素は、複数のICおよび/または離散構成要素にわたって分散される。様々な実施形態では、システム1000は、例えば、通信バスを介して、または専用入力ポートおよび/もしくは出力ポートを通じて、1つもしくは複数の他のシステム、または他の電子デバイスに通信可能に結合される。様々な実施形態では、システム1000は、本明細書において説明される態様のうちの1つまたは複数を実装するように構成される。
システム1000は、例えば、本明細書において説明される様々な態様を実装するためにそこにロードされた命令を実行するように構成された少なくとも1つのプロセッサ1010を含んでもよい。プロセッサ1010は、組み込みメモリ、入力出力インタフェース、および本分野において既知の様々な他の回路を含んでもよい。システム1000は、少なくとも1つのメモリ1020(例えば、揮発性メモリデバイスおよび/または不揮発性メモリデバイス)を含んでもよい。システム1000は、それらに限定されないが、電気的消去可能プログラマブルリードオンリメモリ(EEPROM)、リードオンリメモリ(ROM)、プログラム可能リードオンリメモリ(PROM)、ランダムアクセスメモリ(RAM)、ダイナミックランダムアクセスメモリ(DRAM)、スタティックランダムアクセスメモリ(SRAM)、フラッシュ、磁気ディスクドライブ、および/または光学ディスクドライブを含む、不揮発性メモリおよび/または揮発性メモリを含むことができる、記憶装置1040を含んでもよい。記憶装置1040は、非限定的な例として、内部ストレージ、アタッチドストレージ、および/またはネットワークアクセス可能ストレージを含んでもよい。
システム1000は、例えば、符号化されたデータまたは復号されたデータを提供するようデータを処理するように構成されたエンコーダ/デコーダモジュール1030を含んでもよく、エンコーダ/デコーダモジュール1030は、その自身のプロセッサおよびメモリを含んでもよい。エンコーダ/デコーダモジュール1030は、符号化機能および/または復号機能を実行するデバイスに含まれてもよいモジュール(複数可)を表してもよい。既知のように、デバイスは、符号化モジュールおよび復号モジュールの一方または両方を含んでもよい。加えて、エンコーダ/デコーダモジュール1030は、システム6000の別個の要素として実装されてもよく、または当業者に既知なハードウェアおよびソフトウェアの組み合わせとしてプロセッサ1010内に組み込まれてもよい。
本明細書において説明される様々な態様を実行するようプロセッサ1010またはエンコーダ/デコーダ1030にロードされることになるプログラムコードは、記憶装置1040に記憶されてもよく、プロセッサ1010による実行のためにその後メモリ1020にロードされてもよい。様々な実施形態に従って、プロセッサ1010、メモリ1020、記憶装置1040、およびエンコーダ/デコーダモジュール1030のうちの1つまたは複数は、本明細書において説明される処理の実行の間に様々なアイテムのうちの1つまたは複数を記憶してもよい。そのような記憶されるアイテムは、それらに限定されないが、ポイントクラウドフレーム、符号化/復号されたジオメトリ/テキスチャビデオ/画像または符号化/復号されたジオメトリ/テキスチャビデオ/画像の一部、ビットストリーム、マトリクス、ならびに変数、式、数式、演算、演算ロジックの処理からの中間結果または最終結果を含んでもよい。
いくつかの実施形態では、プロセッサ1010および/またはエンコーダ/デコーダモジュール1030の内部のメモリは、符号化または復号の間に実行することができる処理のための命令を記憶し、ワーキングメモリを設けるために使用されてもよい。しかしながら、他の実施形態では、処理デバイス(例えば、処理デバイスは、プロセッサ1010またはエンコーダ/デコーダモジュール1030のいずれかであってもよい)の外部のメモリは、それらの機能のうちの1つまたは複数に対して使用されてもよい。外部メモリは、メモリ1020、ならびに/または記憶装置1040、例えば、動的揮発性メモリおよび/もしくは不揮発性フラッシュメモリであってもよい。いくつかの実施形態では、外部不揮発性フラッシュメモリは、テレビのオペレーティングシステムを記憶するために使用されてもよい。少なくとも1つの実施形態では、MPEG-2(MPEGは、Moving Picture Experts Groupを指し、MPEG-2は、ISO/IEC13818とも称され、13818-1は、H.222としても知られ、13818-2は、H.262としても知られる)、HEVC(HEVCは、H.265およびMPEG-H Part 2としても知られる、High Efficiency Video Codingを指す)、またはVVC(JVET(Joint Video Experts Team)によって開発される新世代規格、Versatile Video Coding)など、ビデオ符号化および復号演算のためのワーキングメモリとして、RAMなどの高速外部動的揮発性メモリが使用されてもよい。
システム1000の要素への入力は、ブロック1130において示されるように、様々な入力デバイスを通じて提供されてもよい。そのような入力デバイスは、それらに限定されないが、(i)例えば、ブロードキャスタによって無線で送信された無線周波数(RF)信号を受信することができるRF部分、(ii)コンポジット(COMP)入力端子、(iii)ユニバーサルシリアルバス(USB)入力端子、および/または(iv)高精細度マルチメディアインタフェース(HDMI)入力端子を含む。図10に示されない他の例は、コンポジットビデオを含む。
様々な実施形態では、ブロック1130の入力デバイスは、本分野において既知な関連するそれぞれの入力処理要素を有してもよい。例えば、RF部分は、(i)所望の周波数を選択し(信号を選択し、または信号を周波数の帯域に帯域制限するとも称される)、(ii)選択された信号をダウンコンバートし、(iii)(例えば、)特定の実施形態ではチャネルと称されてもよい信号周波数帯域を選択するよう、より狭い帯域の周波数に再度帯域制限し、(iv)ダウンコンバートされ、帯域制限された信号を復調し、(v)誤り訂正を実行し、(vi)データパケットの所望のストリームを選択するよう逆多重化するために必要な要素と関連付けられてもよい。様々な実施形態のRF部分は、それらの機能を実行する1つまたは複数の要素、例えば、周波数セレクタ、信号セレクタ、帯域リミッタ、チャネルセレクタ、フィルタ、ダウンコンバータ、デモジュレータ、誤り訂正器、およびデマルチプレクサを含んでもよい。RF部分は、例えば、受信された信号をより低い周波数(例えば、中間周波数もしくはニアベースバンド周波数)またはベースバンドにダウンコンバートすることを含む、様々なそれらの機能を実行するチューナを含んでもよい。1つのセットトップボックスの実施形態では、RF部分およびその関連する入力処理要素は、有線(例えば、ケーブル)媒体を通じてRF信号を受信してもよい。次いで、RF部分は、所望の周波数帯域にフィルタリング、ダウンコンバート、および再度フィルタリングすることによって、周波数選択を実行してもよい。様々な実施形態は、上記説明された(および、他の)要素の順序を再配列し、それらの要素のいくつかを除去し、および/または同様の機能もしくは異なる機能を実行する他の要素を追加する。要素を追加することは、例えば、増幅器およびアナログ-デジタル変換器を挿入することなど、既存の要素の間に要素を挿入することを含んでもよい。様々な実施形態では、RF部分は、アンテナを含んでもよい。
加えて、USB端子および/またはHDMI端子は、USB接続および/またはHDMI接続にわたってシステム1000を他の電子デバイスに接続するためのそれぞれのインタフェースプロセッサを含んでもよい。入力処理の様々な態様、例えば、リードソロモン誤り訂正が、必要に応じて、例えば、別個の入力処理IC内で、またはプロセッサ1010内で実装されてもよいことが理解されよう。同様に、USBインタフェース処理またはHDMIインタフェース処理の態様は、必要に応じて、別個のインタフェースIC内で、またはプロセッサ1010内で実装されてもよい。復調され、誤り訂正され、および逆多重化されたストリームは、例えば、出力デバイス上での提示のために必要なデータストリームを処理するためにメモリおよび記憶素子との組み合わせで動作するプロセッサ1010およびエンコーダ/デコーダ1030を含む様々な処理要素に提供されてもよい。
システム1000の様々な要素は、統合された筐体内に設けられてもよい。統合された筐体内で、適切な接続配列1140、例えば、I2Cバス、ワイヤリング、およびプリント回路基板を含む、本分野において既知の内部バスを使用して、様々な要素が相互接続されてもよく、その間でデータを送信してもよい。
システム1000は、通信チャネル1060を介して他のデバイスとの通信を可能にする通信インタフェース1050を含んでもよい。通信インタフェース1050は、それらに限定されないが、通信チャネル1060を通じてデータを送信および受信するように構成された送受信機を含んでもよい。通信インタフェース1050は、それらに限定されないが、モデムまたはネットワークカードを含んでもよく、通信チャネル1060は、例えば、有線媒体および/または無線媒体内で実装されてもよい。
様々な実施形態では、IEEE802.11(IEEEは、Institute of Electrical and Electronics Engineersを指す)などのWi-Fiネットワークを使用して、データがシステム1000にストリーミングされてもよい。それらの実施形態のWi-Fi信号は、Wi-Fi通信に対して適合された、通信チャネル1060および通信インタフェース1050を通じて受信されてもよい。それらの実施形態の通信チャネル1060は典型的には、アクセスポイントまたはルータに接続されてもよく、アクセスポイントまたはルータは、ストリーミングアプリケーションおよび他のオーバザトップ通信を可能にするためのインターネットを含むネットワークの外部へのアクセスをもたらす。他の実施形態は、入力ブロック1130のHDMI接続を通じてデータを配信するセットトップボックスを使用して、システム1000にストリーミングされたデータを提供してもよい。更なる他の実施形態は、入力ブロック1130のRF接続を使用して、システム1000にストリーミングされたデータを提供してもよい。上記示されたように、様々な実施形態は、非ストリーミング方式においてデータを提供する。加えて、様々な実施形態は、Wi-Fi以外の無線ネットワーク、例えば、セルラネットワークまたはBluetoothネットワークを使用する。
システム1000は、ディスプレイ1100、スピーカ1110、および他の周辺デバイス1120を含む様々な出力デバイスに出力信号を提供してもよい。様々な実施形態のディスプレイ1100は、例えば、タッチスクリーンディスプレイ、有機発光ダイオード(OLED)ディスプレイ、湾曲ディスプレイ、および/または折り畳み式ディスプレイのうちの1つまたは複数を含む。ディスプレイ1100は、テレビ、タブレット、ラップトップ、セルフォン(携帯電話)、または他のデバイスに対するものであってもよい。ディスプレイ1100はまた、他の構成要素と統合されてもよく(例えば、スマートフォン)にあるような)、または別個であってもよい(例えば、ラップトップについての外部モニタ)。他の周辺デバイス1120は、様々な例示的な実施形態では、スタンドアロンDVR、ディスクプレイヤ、ステレオシステム、および照明システムのうちの1つまたは複数を含んでもよい。様々な実施形態は、システム1000の出力に基づいて機能を提供する1つまたは複数の周辺デバイスを使用する。例えば、ディスクプレイヤは、システム1000の出力を再生する機能を実行する。
様々な実施形態では、制御信号は、AV.Link(音声/ビデオリンク)、CEC(Consumer Electronics Control)、またはユーザの介入によりもしくはユーザの介入なしにデバイスツーデバイス制御を可能にする他の通信プロトコルなどのシグナリングを使用して、システム1000とディスプレイ1100、スピーカ1110、または他の周辺デバイス1120との間で通信されてもよい。出力デバイスは、それぞれのインタフェース1070、1080、および1090を通じて専用接続を介して、システム1000に通信可能に結合されてもよい。代わりに、出力デバイスは、通信インタフェース1050を介して通信チャネル1060を使用して、システム1000に接続されてもよい。ディスプレイ1100およびスピーカ1110は、例えば、テレビなどの電子デバイス内のシステム1000の他の構成要素との単一のユニットにおいて統合されてもよい。様々な実施形態では、ディスプレイインタフェース1070は、例えば、タイミングコントローラ(T Con)チップなどのディスプレイドライバを含んでもよい。
ディスプレイ1100およびスピーカ1110は代わりに、例えば、入力1130のRF部分が別個のセットトップボックスの一部である場合に、他の構成要素のうちの1つまたは複数とは別個であってもよい。ディスプレイ1100およびスピーカ1110が外部構成要素であってもよい様々な実施形態では、出力信号は、例えば、HDMIポート、USBポート、またはCOMP出力を含む専用出力接続を介して提供されてもよい。
実施形態は、プロセッサ1010もしくはハードウェア、またはハードウェアおよびソフトウェアの組み合わせによって実施されてもよい。非限定的な例として、実施形態は、1つまたは複数の集積回路によっても実装されてもよい。メモリ1020は、技術的環境に適切ないずれかのタイプのメモリであってもよく、非限定的な例として、光学メモリデバイス、磁気メモリデバイス、半導体方式メモリデバイス、固定メモリ、および着脱可能メモリなどのいずれかの適切なデータ記憶技術を使用して実装されてもよい。プロセッサ6010は、技術的環境に適切ないずれかのタイプのプロセッサであってもよく、非限定的な例として、マイクロプロセッサ、汎用コンピュータ、特殊目的コンピュータ、およびマルチコアに基づいたプロセッサのうちの1つまたは複数を包含してもよい。
様々な実装態様は、復号することを伴う。「復号」は、本出願において使用されるように、例えば、表示に適切な最終出力を生成するために、受信された符号化シーケンスに対して実行される処理の全てまたは一部を包含してもよい。様々な実施形態では、そのような処理は、典型的にはデコーダによって実行される処理、例えば、エントロピ復号、逆量子化、逆変換、および差分復号のうちの1つまたは複数を含む。様々な実施形態では、そのような処理は、加えてまたは代わりに、本出願において説明された様々な実装態様のデコーダによって実行される処理、例えば、タイリングされた(パッキングされた)ピクチャからピクチャを抽出すること、使用するアップサンプリングフィルタを判定し、次いで、ピクチャをアップサンプリングすること、およびその意図して方位にピクチャを再度フリップすることを含む。
更なる例として、1つの実施形態では、「復号」はエントロピ復号のみを指してもよく、別の実施形態では、「復号」は差分復号のみを指してもよく、別の実施形態では、「復号」はエントロピ復号および差分復号の組み合わせを指してもよい。フレーズ「復号処理」が演算のサブセットまたはより広義に全体的に復号処理を特に指すことを意図することができるかどうかは、特定の説明のコンテキストに基づいて明白であり、当業者によって良好に理解されると信じられている。
様々な実装態様は、符号化することを伴う。「復号」に関する議論と同様の方式において、「符号化」は、本出願において使用されるように、符号化されたビットストリームを生成するために、例えば、入力ビデオシーケンスに対して実行される処理の全てまたは一部を包含してもよい。様々な実施形態では、そのような処理は、典型的にはエンコーダによって実行される処理、例えば、パーティション分割、差分符号化、変換、量子化、およびエントロピ符号化のうちの1つまたは複数を含む。様々な実施形態では、そのような処理は、加えてまたは代わりに、本出願において説明された様々な実装態様のエンコーダによって実行される処理を含む。
更なる例として、1つの実施形態では、「符号化」はエントロピ符号化のみを指してもよく、別の実施形態では、「符号化」は差分符号化のみを指してもよく、別の実施形態では、「符号化」はエントロピ符号化および差分符号化の組み合わせを指してもよい。フレーズ「符号化処理」が演算のサブセットまたはより広義に全体的に符号化処理を特に指すことを意図することができるかどうかは、特定の説明のコンテキストに基づいて明白であり、当業者によって良好に理解されると信じられている。本明細書で使用されるシンタックス要素は、記述的用語であり、開示はそれに限定されない。それ自体として、それらは、他のシンタックス要素名の使用を排除しない。
図がフローチャートとして提示されるとき、それは、対応する装置のブロック図も提供することが理解されるべきである。同様に、図がブロック図として提示されるとき、それは、対応する方法/処理のフローチャートも提供することが理解されるべきである。
本明細書で説明される実装態様および態様は、例えば、方法もしくは処理、装置、ソフトウェアプログラム、データストリーム、または信号において実装されてもよい。単一の形式のコンテキストのみにおいて議論される場合でさえ(例えば、方法としてのみ議論される)、議論される特徴の実装態様は、他の形式(例えば、装置またはコンピュータプログラム)においても実装されてもよい。装置は、例えば、適切なハードウェア、ソフトウェア、およびファームウェアにおいても実装されてもよい。方法は、例えば、コンピュータ、マイクロプロセッサ、集積回路、またはプログラマブル論理回路を含む、概して処理デバイスを指すプロセッサにおいて実装されてもよい。プロセッサは、コンピュータ、携帯電話、ポータブル/携帯情報端末(「PDA」)、およびエンドユーザの間の情報の通信を促進する他のデバイスなどの通信デバイスをも含む。
「1つの実施形態」、「実施形態」、「1つの実装態様」、または「実装態様」と共に、それらの他の変形例は、実施形態と関連して特定の特徴、構造、および特性などが少なくとも1つの実施形態に含まれることも意味する。よって、本出願の全体を通じて様々な場所で出現するフレーズ「1つの実施形態では」、「実施形態では」、「1つの実装態様では」、または「実装態様では」と共に、いずれかの他の変形例の出現は、その全てが必ずしも同一の実施形態を指すわけではない。
加えて、本出願は、情報の様々な部分を「判定する」ことに言及することがある。情報を判定することは、例えば、情報を評価すること、情報を計算すること、情報を予測すること、またはメモリから情報を取り出すことのうちの1つまたは複数を含んでもよい。
更に、本出願は、情報の様々な部分に「アクセスする」ことに言及することがある。情報にアクセスすることは、例えば、情報を受信すること、情報を取り出すこと(例えば、はメモリから)、情報を記憶すること、情報を移動させること、情報を複製すること、情報を計算すること、情報を判定すること、情報を予測すること、または情報を評価することのうちの1つまたは複数を含んでもよい。
加えて、本出願は、情報の様々な部分を「受信する」ことに言及することがある。受信することは、「アクセスする」と同様に、広義の用語であることを意図している。情報を受信することは、例えば、情報にアクセスすること、または情報を取り出すこと(例えば、はメモリから)のうちの1つまたは複数を含んでもよい。更に、「受信する」は典型的には、例えば、情報を記憶すること、情報を処理すること、情報を伝送すること、情報を移動させること、情報を複製すること、情報を消去すること、情報を計算すること、情報を判定すること、情報を予測すること、または情報を評価することなどの演算の間に1つの方式または別の方式において関与する。
シンボル/用語「/」、「and/or」、および「at least one」は、例えば、「A/B」、「A and/or B」、および「at least one of A and B」のケースでは、第1の表記された選択肢(A)のみの選択、第2の表記された選択肢(B)のみの選択、または(AおよびB)の両方の選択を包含することを意図していることが認識されよう。更なる例として、「A、B、and/or C」および「at least one of A、B、and C」のケースでは、そのようなフレーズは、第1の表記された選択肢(A)のみの選択、第2の表記された選択肢(B)のみの選択、第3の表記された選択肢(C)のみの選択、第1の表記された選択肢および第2の表記された選択肢(AおよびB)のみの選択、第1の表記された選択肢および第3の表記された選択肢(AおよびC)のみの選択、第2の表記された選択肢および第3の表記された選択肢(BおよびC)のみの選択、または全ての3つの選択肢(A、B、およびC)の選択を包含することを意図している。これは、多くのアイテムが表記されるように、当業者に対して明確であるように拡張されてもよい。
また、本明細書で使用されるように、単語「シグナリング」は、とりわけ、対応するデコーダに何かを示すことを指す。例えば、特定の実施形態では、エンコーダは、特定のシンタックス要素SE1、場合によってはシンタックス要素SE2をシグナリングする。このようにして、実施形態では、エンコーダ側およびデコーダ側の両方において同一のパラメータが使用されてもよい。よって、例えば、エンコーダは、デコーダに特定のパラメータを伝送することができ(明確にシグナリングする)、その結果、デコーダは、同一の特定のパラメータを使用することができる。逆に、デコーダが特定のパラメータと共にその他のパラメータを既に有している場合、デコーダが特定のパラメータを認識および選択することを単純に可能にするよう、伝送することなく、シグナリングが使用されてもよい(暗黙的にシグナリングする)。いずれかの実際の関数を伝送することを回避することによって、様々な実施形態では、ビット節約が実現される。様々な方式においてシグナリングを達成することができることを認識されよう。様々な実施形態では、対応するデコーダに情報をシグナリングするために、例えば、1つまたは複数のシンタックス要素およびフラグなどが使用される。先述したことは、単語「シグナリングの動詞の形式に関連するが、単語「信号」も本明細書で名詞として使用されてもよい。
当業者によって明白であるように、実装態様は、例えば、記憶または送信することができる情報を搬送するようにフォーマットされた様々な信号を生成することができる。情報は、例えば、方法を実行するための命令、または説明された実装態様の1つによって生成されるデータを含んでもよい。例えば、信号は、説明された実施形態のビットストリームを搬送するようにフォーマットされてもよい。そのような信号は、例えば、電磁波としてフォーマットされてもよく(例えば、スペクトルの無線周波数部分を使用して)、またはベースバンド信号としてフォーマットされてもよい。フォーマットすることは、例えば、データストリームを符号化すること、および符号化されたデータストリームと共に搬送波を変調することを含んでもよい。信号が搬送する情報は、例えば、アナログ情報またはデジタル情報であってもよい。信号は、既知なように、様々な異なる有線リンクまたは無線リンクを通じて送信されてもよい。信号は、プロセッサ可読媒体に記憶されてもよい。
いくつかの実施形態を説明する。それらの実施形態の特徴は、様々な請求項のカテゴリおよびタイプにわたって単独で、またはいずれかの組み合わせで提供されてもよい。更に、実施形態は、様々な請求項のカテゴリおよびタイプにわたって、以下の特徴、デバイス、または態様:(1)デコーダおよび/またはエンコーダにおいて適用される予測処理を修正すること、(2)デコーダおよび/またはエンコーダにおいていくつかの進化型予測方法を有効にすること、(3)使用する予測方法をデコーダが識別することを可能にするシンタックス要素をシグナリングに挿入すること、(4)それらのシンタックス要素に基づいて、デコーダにおいて適用する予測方法を選択すること、(5)デコーダにおいて予測を導出するための予測方法を適用すること、(6)議論された実施形態のいずれかに従って、エンコーダにおいて残差に適合すること、(7)説明されたシンタックス要素またはそれらの変形のうちの1つまたは複数を含むビットストリームまたは信号、(8)説明された実施形態のいずれかに従って生成された情報を搬送するシンタックスを含むビットストリームまたは信号、エンコーダによって使用される方式に対応する方式においてデコーダが残差に適合することを可能にするシンタックス要素をシグナリングに挿入すること、(10)説明されたシンタックス要素またはそれらの変形のうちの1つまたは複数を含むビットストリームまたは信号を生成、送信、受信、および/または復号すること、(11)説明された実施形態のいずれかに従って、生成、送信、受信、および/または復号すること、(12)説明された実施形態のいずれかに従った、方法、処理、装置、命令を記憶した媒体、データを記憶した媒体、または信号、(13)説明された実施形態のいずれかに従ってフィルタパラメータの適合を実行する、TV、セットトップボックス、携帯電話、タブレット、または他の電子デバイス、(14)説明された実施形態のいずれかに従ってフィルタパラメータの適合を実行し、結果として生じる画像を表示する(例えば、モニタ、スクリーン、または他のタイプのディスプレイを使用して)、説明された実施形態のいずれかに従って、TV、セットトップボックス、携帯電話、タブレット、または他の電子デバイス、(15)符号化された画像を含む信号を受信するチャネルを選択し(例えば、チューナを使用して)、フィルタパラメータの適合を実行する、TV、セットトップボックス、携帯電話、タブレット、または他の電子デバイス、ならびに説明された実施形態のいずれかに従って、符号化された画像を含む信号を無線で受信し(例えば、アンテナを使用して)、フィルタパラメータの適合を実行する、TV、セットトップボックス、携帯電話、タブレット、または他の電子デバイス、のうちのいずれかを含んでもよい。
特徴および要素が特定の組み合わせで上記説明されてきたが、当業者は、各々の特徴または要素が単独で、または他の特徴および要素とのいずれかの組み合わせで使用されてもよいことを認識するであろう。加えて、本明細書で説明される方法は、コンピュータまたはプロセッサによる実行のためにコンピュータ可読媒体に組み込まれたコンピュータプログラム、ソフトウェア、またはファームウェアにおいて実装されてもよい。非一時的コンピュータ可読記憶媒体の例は、それらに限定されないが、リードオンリメモリ(ROM)、ランダムアクセスメモリ(RAM)、レジスタ、キャッシュメモリ、半導体メモリデバイス、内蔵ハードディスクおよび着脱可能ディスクなどの磁気媒体、磁気光学媒体、ならびにCD-ROMディスクおよびデジタル多用途ディスク(DVD)などの光学媒体を含む。ソフトウェアと関連したプロセッサは、WTRU102、UE、端末、基地局、RNC、またはいずれかのホストコンピュータにおける使用のために無線周波数送受信機を実装するために実装されてもよい。
その上、上記説明された実施形態では、処理プラットフォーム、コンピューティングシステム、コントローラ、およびプロセッサを含む他のデバイスが述べられる。それらのデバイスは、少なくとも1つの中央処理装置(「CPU」)およびメモリを含んでもよい。コンピュータプログラミングにおける当業者の慣習に従って、動作ならびに演算および命令のシンボル表現への参照は、様々なCPUおよびメモリによって実行されてもよい。そのような動作および演算または命令は、「実行される」、「コンピュータによって実行される」、または「CPUによって実行される」と称されてもよい。
当業者は、動作およびシンボル的に表現された演算または命令が、CPUによる電気信号の操作を含んでもよいことを認識するであろう。電子システムは、メモリシステムにおいて電気信号の結果として生じる変換または換算、ならびにメモリ位置におけるデータビットの維持を生じさせ、その結果、CPUの演算と共に信号の他の処理を再構成または改変することができるデータビットを表す。データビットが維持されるメモリ位置は、データビットに対応し、またはデータビットを表す特定の電気特性、磁気特性、光学特性、または有機特性である。例示的な実施形態は、上記言及されたプラットフォームまたはCPUに限定されず、他のプラットフォームおよびCPUが提供された方法をサポートすることができることを理解されるべきである。
データビットは、CPUによって読み取り可能な、磁気ディスク、光学ディスク、およびいずれかの他の揮発性(例えば、ランダムアクセスメモリ(「RAM」))または不揮発性(例えば、リードオンリメモリ(「ROM」))大容量記憶装置システムを含むコンピュータ可読媒体上で維持されてもよい。コンピュータ可読媒体は、処理システムに対してローカルまたはリモートであってもよい、処理システム上で排他的に存在し、または複数の相互接続された処理システムにわたって分散される、協調コンピュータ可読媒体システム相互接続コンピュータ可読媒体を含んでもよい。代表的な実施形態は、上記言及されたメモリに限定されず、他のプラットフォームおよびメモリが説明された方法をサポートすることができることを理解されるべきである。
例示的な実施形態では、本明細書で説明される演算、処理などは、コンピュータ可読媒体に記憶されたコンピュータ可読命令として実装されてもよい。コンピュータ可読命令は、モバイルユニットのプロセッサ、ネットワーク要素、および/またはいずれかの他のコンピューティングデバイスによって実行されてもよい。
システムの態様のハードウェア実装態様とソフトウェア実装態様との間には、わずかな区別しかない。ハードウェアまたはソフトウェアの使用は全体的に(常にではないが、特定のコンテキストでは、ハードウェアとソフトウェアとの間の選択は、重要になる場合がある)、コスト対効率性のトレードオフを表す設計選択である。本明細書で説明される処理、システム、および/または他の技術が影響されることがある様々な車両が存在してもよく、好ましい車両は、処理、システム、および/または他の技術が配備されるコンテキストと共に変化してもよい。例えば、速度および精度が最も重要であると実装者が判定する場合、実装者は、主要なハードウェア車両および/またはファームウェア車両を選択することがある。柔軟性が最も重要である場合、実装者は、主要なソフトウェアの実装態様を選択することがある。代わりに、実装者は、ハードウェア、ソフトウェア、および/またはファームウェアの何らかの組み合わせを選択することがある。
先述の詳細な説明は、ブロック図、フローチャート、および/または実施例の使用を介して、デバイスおよび/または処理の様々な実施形態を示してきた。そのようなブロック図、フローチャート、および/または実施例が1つまたは複数の関数および/または演算を包含する限り、そのようなブロック図、フローチャート、または実施例内の各々の関数および/または演算が、広範囲のハードウェア、ソフトウェア、ファームウェア、または仮想的ないずれかのそれらの組み合わせによって、個々におよび/または集合的に実装されてもよいことが当業者によって理解されよう。適切なプロセッサは、例として、汎用プロセッサ、特殊目的プロセッサ、従来型プロセッサ、デジタルシグナルプロセッサ(DSP)、複数のマイクロプロセッサ、DSPコアと関連した1つもしくは複数のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路(ASIC)、特定用途向け標準製品(ASSP)、フィールドプログラマブルゲートアレイ(FPGA)回路、いずれかの他のタイプの集積回路(IC)、および/または状態機械を含む。
特徴および要素が特定の組み合わせで上記提供されたが、当業者は、各々の特徴または要素が単独で、または他の特徴および要素とのいずれかの組み合わせで使用されてもよいことを認識するであろう。本開示は、様々な態様の例示として意図される、本出願において説明された特定の実施形態の観点において限定されない。当業者にとって明らかなように、その精神および範囲から逸脱することなく、多くの修正および変形が行われてもよい。本出願の説明において使用される要素、動作、または命令は、明示的にそのように提供されない限り、発明にとって重要または必須として解釈されるべきではない。本明細書で列挙されたものに加えて、開示の範囲内の機能的に同様な方法および装置は、先述の説明から当業者にとって明らかである。そのような修正および変形は、添付の請求項の範囲内に収まることが意図される。本開示は、そのような請求項が適格になる同等物の全範囲に従って、添付の請求項の用語によってのみ限定されることになる。本開示は、特定の方法またはシステムに限定されないことが理解されよう。
また、本明細書で使用される技術用語は、特定の実施形態を説明することのみを目的としており、限定することをいとしていないことが理解されよう。本明細書で使用されるように、本明細書で言及されるとき、用語「基地局」およびその省略語「STA」、「ユーザ機器」およびその省略語「UE」は、(i)以下でそのように説明される、無線送信/受信ユニット(WTRU)、(ii)以下でそのように説明される、WTRUのいくつかの実施形態のいずれか、(iii)以下でそのように説明される、WTRUの一部もしくは全ての構造および機能性により特に構成された無線能力デバイスおよび/もしくは有線能力(例えば、テザー可能)デバイス、または(iv)同様のもの、を意味してもよい。
特定の代表的な実施形態では、本明細書で説明される主題のいくつかの部分は、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、デジタルシグナルプロセッサ(DSPs)、および/または他の統合化形式を介して実装されてもよい。しかしながら、当業者は、本明細書で開示される実施形態のいくつかの態様が、全体的にまたは部分的に、1つもしくはコンピュータ上で稼働する1つもしくは複数のコンピュータプログラムとして(例えば、1つもしくは複数のコンピュータシステムで稼働する1つもしくは複数のプログラムとして)、1つもしくは複数のプロセッサ上で稼働する1つもしくは複数のプログラムとして(例えば、1つもしくは複数のマイクロプロセッサ上で稼働する1つもしくは複数のプログラムとして)、ファームウェアとして、または仮想的ないずれかのそれらの組み合わせとして、集積回路において等しく実装されてもよく、ソフトウェアおよび/またはファームウェアについての回路を記述し、および/またはコードを記述することが、本開示を考慮して、当業者に公知であることを認識するであろう。加えて、当業者は、本明細書で説明される主題の機構が、様々な形式にあるプログラム製品として分散されてもよく、本明細書で説明される主題の例示的な実施形態が、分散を実際に実施するために使用される信号搬送媒体の特定のタイプに関わらずに適用されることを認識するであろう。信号搬送媒体の例は、それらに限定されないが、フロッピーディスク、ハードディスクドライブ、CD、DVD、デジタルテープ、コンピュータメモリなどの記録可能タイプの媒体、ならびにデジタルおよび/またはアナログ通信媒体(例えば、光ファイバーケーブル、導波管、有線通信リンク、無線通信リンクなど)などの伝送タイプの媒体を含む。
本明細書で説明された主題は、異なる他の構成要素内に包含され、またはそれらと接続された異なる構成要素を例示することがある。そのような描写されたアーキテクチャは例にすぎず、実際には、同一の機能性を達成する多くの他のアーキテクチャが実装されてもよいことが理解されよう。概念的な意味で、同一の機能性を達成するいずれかの配列の構成要素は、所望の機能性を達成することができるように、効果的に「関連付けられる」。よって、特定の機能性を達成するために組み合わされる本明細書におけるいずれかの2つの構成要素は、アーキテクチャまたは中間構成要素に関係なく、所望の機能性を達成するように、相互に「関連付けられる」と見なされてもよい。同様に、そのように関連付けられたいずれかの2つの構成要素はまた、所望の機能性を達成するために相互に「動作可能に接続され」または「動作可能に結合される」と見なされてもよく、そのように関連付けられることが可能ないずれかの2つの構成要素は、所望の機能性を達成するために「動作可能に結合可能である」と見なされてもよい。動作可能に結合可能であることの特定の例は、それらに限定されないが、物理的に合致可能な構成要素、物理的に相互作用する構成要素、無線で相互作用可能な構成要素、無線で相互作用する構成要素、論理的に相互作用する構成要素、および/または論理的に相互作用可能な構成要素を含む。
本明細書における実質的ないずれかの複数形および/または単数形の使用に関して、当業者は、コンテキストおよび/または用途に応じて、複数形を単数形に変換することができ、および/または単数形を複数形に変換することができる。様々な単数形/複数形の置換は、明確にするために本明細書で明確に示される。
概して、本明細書において、特に、添付の特許請求の範囲(例えば、添付の特許請求の範囲の本文)において使用される用語は全体的に、「オープン」タームとして解釈されるべきであることが理解されよう(例えば、用語「~を含む」は、「~を含むが、それに限定されない」として解釈されるべきであり、用語「~有する」は、「少なくとも~有する」として解釈されるべきであり、用語「~を含む」は、「~を含むが、それに限定されない」として解釈されるべきである)。更に、特定の数の導入された請求項が意図される場合、そのような意図は、請求項に明確に記載され、そのような意図が存在しない場合、そのような意図は存在しないことが理解されよう。例えば、1つの項目が意図される場合、用語「単一の」または同様の用語が使用されてもよい。理解への支援として、以下の請求項および/または本明細書における説明は、請求項の記載を導入するために、フレーズ「少なくとも1つの」および「1つまたは複数の」の使用を包含してもよい。しかしながら、そのようなフレーズの使用は、同一の請求項が導入的フレーズ「1つもしくは複数の」または「少なくとも1つの」および不定冠詞「a」もしくは「an」(例えば、「a」および/または「an」は、「少なくとも1つの」または「1つもしくは複数の」を意味すると解釈されるべきである)を含むときでさえ、不定冠詞「a」または「an」による請求項の記載の導入が、そのような導入された請求項の記載を包含するいずれかの特定の請求項を、1つのそのような記載のみを包含する実施形態に限定すると解釈されるべきではない。このことは、請求項の記載を導入するために使用される定冠詞の使用にも当てはまる。加えて、特定の数の導入される請求項の記載が明確に記載される場合でさえ、当業者は、そのような記載が、少なくとも記載される数(例えば、他の修正子を有さない「2つの記載」の空の記載は、少なくとも2つの記載、または2つ以上の記載を意味する)を意味すると解釈されるべきであることを認識するであろう。更に、「A、B、およびCなどのうちの少なくとも1つ」と同様の規定が使用される例では、そのような解釈は概して、当業者が理解する意味において、当該規定を意図する(例えば、「A、B、およびCのうちの少なくとも1つを有するシステム」は、それらに限定されないが、A単独、B単独、C単独、AおよびB共に、AおよびC共に、BおよびC共に、ならびに/またはA、B、およびC共に、などを含む)。「A、B、またはCなどのうちの少なくとも1つ」と同様の規定が使用される例では、そのような解釈は概して、当業者が理解する意味において、当該規定を意図する(例えば、A、B、またはCのうちの少なくとも1つを有するシステム」は、それらに限定されないが、A単独、B単独、C単独、AおよびB共に、AおよびC共に、BおよびC共に、ならびに/またはA、B、およびC共に、などを含む)。更に、2つ以上の代替的な用語を提示する仮想的ないずれかの離接的単語および/またはフレーズは、詳細な説明、請求項、または図面にあるかどうかに関わらず、用語の一方、用語のいずれか、または両方の用語を含む可能性を考慮することが理解されるべきであることが当業者によって理解されよう。例えば、フレーズ「AまたはB」は、「A」もしくは「B」または「A」および「B」の可能性を含むことが理解されよう。更に、複数の項目および/または複数のカテゴリの項目のリストがそれに続くものの「うちのいずれか」という用語は、本明細書で使用されるように、複数の項目および/またはカテゴリの項目を単独で、または他の項目および/もしくは他のカテゴリの項目と共に、それらの「うちのいずれか」、「いずれかの組み合わせ」、「複数のいずれか」、および/または複数のいずれかの組み合わせ」を含むことが意図される。その上、本明細書で使用されるように、用語「セット」または「グループ」は、ゼロを含むいずれかの数の項目を含むことが意図される。加えて、本明細書で使用されるように、用語「数」は、ゼロを含むいずれかの数を含むことが意図される。
加えて、開示の特徴または態様がマーカッシュグループの観点において説明される場合、当業者は、それによって開示も、マーカッシュグループのいずれかの個々のメンバーまたはメンバーのサブグループの観点において説明されることを認識するであろう。
当業者によって理解されるように、記載された説明を提供する観点においてなど、いずれかの目的および全ての目的のために、本明細書で開示される全範囲は、その考えられるいずれかおよび全ての下位の範囲、ならびに下位の範囲の組み合わせをも包含する。同一の範囲が少なくとも2分の1、3分の1、4分の1、5分の1、10分の1などぬ分解されることを十分に説明し、且つ十分に可能にするとして、いずれかの記載された範囲を容易に認識することができる。非限定的な例として、上位3分の1、中間3分の1、および下位3分の1などに、本明細書で議論される各々の範囲を用意に分解することができる。また、当業者によって理解されるように、「最大で」、「少なくとも」、「~よりも大きい」、および「~よりも少ない」などの全ての言語は、記載された数を含み、上記議論されたような下位の範囲にその後分解することができる範囲を指す。最終的に、当業者によって理解されるように、範囲は、各々の個々のメンバーを含む。よって、例えば、1~3個のセルを有するグループは、1、2、または3個のセルを有するグループを指す。同様に、1~3個のセルを有するグループは、1、2、3、4、または5個のセルを有するグループを指す、などである。
その上、請求項は、その旨を述べられない限り、提供される順序又は要素に限定されると読まれるべきではない。加えて、いずれかの請求項における用語「~する手段」の使用は35 U.S.C.Section 112(f)またはミーンズプラスファンクションフォーマット、および、そのように意図する用語「~する手段」を有しないいずれかの請求項を引き起こすことを意図している。
本発明が特定の実施形態を参照して本明細書で例示および説明されてきたが、本発明は、示された詳細に限定することを意図していない。むしろ、請求項の同等物の範囲内で、および本発明から逸脱することなく、様々な修正が詳細において行われてもよい。
開示の全体を通じて、当業者は、代替的な実施形態または他の代表的な実施形態との組み合わせで特定の代表的な実施形態が使用されてもよいことを理解するであろう。
特徴および要素が特定の組み合わせにおいて上記説明されたが、当業者は、各々の特徴または要素が単独で、または他の特徴および要素とのいずれかの組み合わせにおいて使用されてもよいことを認識するであろう。加えて、本明細書で説明される方法は、コンピュータまたはプロセッサによる実行のためにコンピュータ可読媒体に組み込まれたコンピュータプログラム、ソフトウェア、またはファームウェアにおいて実装されてもよい。非一時的コンピュータ可読記憶媒体の例は、それらに限定されないが、リードオンリメモリ(ROM)、ランダムアクセスメモリ(RAM)、レジスタ、キャッシュメモリ、半導体メモリデバイス、内蔵ハードディスクおよび着脱可能ディスクなどの磁気媒体、磁気光学媒体、ならびにCD-ROMディスクおよびデジタル多用途ディスク(DVD)などの光学媒体を含む。ソフトウェアに関連するプロセッサは、WRTU、UE、端末、基地局、RNC、またはいずれかのホストコンピュータにおける使用のために無線周波数送受信機を実装するために使用されてもよい。
その上、上記説明された実施形態では、処理プラットフォーム、コンピューティングシステム、コントローラ、およびプロセッサを含む他のデバイスが述べられる。それらのデバイスは、少なくとも1つの中央処理装置(「CPU」)およびメモリを含んでもよい。コンピュータプログラミングにおける当業者の慣習に従って、動作ならびに演算または命令のシンボル表現への参照は、様々なCPUおよびメモリによって実行されてもよい。そのような動作および演算または命令は、「実行される」、「コンピュータによって実行される」、または「CPUによって実行される」と称されてもよい。
当業者は、動作およびシンボル的に表現された演算または命令が、CPUによる電気信号の操作を含むことを認識するであろう。電子システムは、メモリシステムにおいて電気信号の結果として生じる変換または換算、ならびにメモリ位置におけるデータビットの維持を生じさせ、その結果、CPUの演算と共に信号の他の処理を再構成または改変することができるデータビットを表す。データビットが維持されるメモリ位置は、データビットに対応し、またはデータビットを表す特定の電気特性、磁気特性、光学特性、または有機特性である。
データビットはまた、CPUによって読み取り可能な、磁気ディスク、光学ディスク、およびいずれかの他の揮発性(例えば、ランダムアクセスメモリ(「RAM」))または不揮発性(例えば、リードオンリメモリ(「ROM」))大容量記憶装置システムを含むコンピュータ可読媒体上で維持されてもよい。コンピュータ可読媒体は、処理システムに対してローカルまたはリモートであってもよい、処理システム上で排他的に存在し、または複数の相互接続された処理システムにわたって分散される、協調コンピュータ可読媒体システム相互接続コンピュータ可読媒体を含んでもよい。代表的な実施形態は、上記言及されたメモリに限定されず、他のプラットフォームおよびメモリが説明された方法をサポートすることができることが理解されよう。
本出願の説明において使用される要素、動作、または命令は、明示的にそのように説明されない限り、発明にとって重要または必須として解釈されるべきではない。加えて、本明細書で使用されるように、冠詞「a」は、1つまたは複数の項目を含むことが意図される。1つの項目のみが意図される場合、用語「1つの」または同様の言語が使用される。更に、複数の項目および/または複数のカテゴリの項目のリストがそれに続くものの「うちのいずれか」という用語は、本明細書で使用されるように、複数の項目および/またはカテゴリの項目を単独で、または他の項目および/もしくは他のカテゴリの項目と共に、それらの「うちのいずれか」、「いずれかの組み合わせ」、「複数のいずれか」、および/または複数のいずれかの組み合わせ」を含むことが意図される。その上、本明細書で使用されるように、用語「セット」は、ゼロを含むいずれかの数の項目を含むことが意図される。加えて、本明細書で使用されるように、用語「数」は、ゼロを含むいずれかの数を含むことが意図される。
その上、請求項は、その旨を述べられない限り、提供される順序又は要素に限定されると読まれるべきではない。加えて、いずれかの請求項における用語「手段」の使用は、35 U.S.C.Section 112(f)またはそのように意図する用語「手段」を有さないいずれかの請求項を引き起こすことを意図している。
適切なプロセッサは、例として、汎用プロセッサ、特殊目的プロセッサ、従来型プロセッサ、デジタルシグナルプロセッサ(DSP)、複数のマイクロプロセッサ、DSPコアと関連した1つもしくは複数のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路(ASIC)、特定用途向け標準製品(ASSP)、フィールドプログラマブルゲートアレイ(FPGA)回路、いずれかの他のタイプの集積回路(IC)、および/または状態機械を含む。
ソフトウェアと関連するプロセッサは、無線送信/受信ユニット(WRTU)、ユーザ機器(UE)、端末、基地局、モビリティ管理エンティティ(MME)もしくは進化型パケットコア(EPC)、またはいずれかのホストコンピュータにおける使用のための無線周波数送受信機を実装するために使用されてもよい。WRTUは、ソフトウェア定義無線機、ならびにカメラ、ビデオカメラモジュール、ビデオ電話、スピーカ電話、振動デバイス、スピーカ、マイクロフォン、テレビ送受信機、ハンズフリーヘッドセット、キーボード、Bluetoothモジュール、周波数変調(FM)無線ユニット、近接場通信(NFC)モジュール、液晶ディスプレイ(LCD)ディスプレイユニット、有機発光ダイオード(OLED)ディスプレイユニット、デジタルミュージックプレイヤ、メディアプレイヤ、ビデオゲームプレイヤモジュール、インターネットブラウザ、および/またはいずれかの無線ローカルエリアネットワーク(WLAN)もしくは超広帯域無線(UWB)モジュールなどの他の構成要素を含む、ハードウェアおよび/またはソフトウェアにおいて実装されたモジュールと共に使用されてもよい。
本発明が通信システムの観点において説明されてきたが、システムがマイクロプロセッサ/汎用コンピュータ(図示せず)上のソフトウェアにおいて実装されてもよいことが考慮されよう。特定の実施形態では、様々な構成要素の機能のうちの1つまたは複数は、汎用コンピュータを制御するソフトウェアにおいて実装されてもよい。
加えて、本発明が特定の実施形態を参照して本明細書で例示および説明されてきたが、本発明は、示された詳細に限定することを意図していない。むしろ、請求項の同等物の範囲内で、および本発明から逸脱することなく、様々な修正が詳細において行われてもよい。

Claims (20)

  1. ビデオデータを復号する方法であって、
    符号化されたビデオデータのビットストリームを受信するステップであって、前記ビットストリームは、ビデオデータの少なくとも1つのブロックを含み、前記ブロックは、複数のサブブロックを含む、ステップと、
    サブブロックごとの精緻化済み動きベクトルを生成するよう、前記ブロック内の少なくとも1つのサブブロックに対して、デコーダ方式動きベクトル(DMVR)処理を含む、動きベクトル導出を実行するステップと、
    各々のサブブロック内でサブブロック方式予測を生成するよう、前記少なくとも1つのサブブロックに対してサブブロック方式動き補償を実行するステップと、
    各々のサブブロック内の前記予測についての空間的勾配を取得するステップと、
    各々のサブブロック内の画素ごとの動きベクトルオフセットを判定するステップと、
    オプティカルフロー方程式を介して、前記空間的勾配および動きベクトルオフセットに基づいて、各々のサブブロックにおける強度変化を取得するステップと、
    前記取得された強度変化に基づいて、各々のサブブロック内の前記予測を精緻化するステップと、
    を備えたことを特徴とする方法。
  2. 各々のサブブロック内の画素ごとの前記動きベクトルオフセットを判定するステップは、
    前記サブブロックごとに、線形回帰モデリングによって、前記サブブロックおよび前記サブブロックに隣接した少なくとも2つの他のサブブロックの動きベクトルオフセットおよび中心位置に基づいて、前記動きベクトルオフセットを判定するステップを含み、
    前記サブブロック方式予測は、各々のサブブロック内の画素ルマ予測ごとに生成され、
    前記強度変化は、各々のサブブロック内の画素ごとの輝度強度変化である、
    ことを特徴とする請求項1に記載の方法。
  3. 前記サブブロック方式動き補償は、前記サブブロックのうちの少なくとも1つに対して6パラメータアフィン動きモデルを利用し、前記少なくとも1つのサブブロックの画素ごとの前記動きベクトルオフセットを判定するステップは、
    前記少なくとも1つのサブブロックの第1の隣接サブブロック、第2の隣接サブブロック、および第3の隣接サブブロックを使用して、前記動きベクトルオフセットを判定するステップと、
    前記少なくとも1つのサブブロックを使用して、回帰分析についてのモデル誤差を推定するステップと、
    前記推定されたモデル誤差が前記少なくとも1つのサブブロックについての閾値を上回る場合、前記復号において前記少なくとも1つのサブブロックに対して前記動きベクトルオフセットを使用しないステップと、
    を含む、ことを特徴とする請求項1に記載の方法。
  4. 前記サブブロック方式動き補償は、前記サブブロックのうちの少なくとも1つに対して6パラメータアフィン動きモデルを利用し、前記少なくとも1つのサブブロックの画素ごとの前記動きベクトルオフセットを判定するステップは、
    前記動きベクトルオフセットを判定する際に、前記少なくとも1つのサブブロック、ならびに前記少なくとも1つのサブブロックの第1の隣接サブブロック、第2の隣接サブブロック、および第3の隣接サブブロックを使用するステップを含む、
    ことを特徴とする請求項1に記載の方法。
  5. 前記サブブロック方式動き補償は、前記サブブロックのうちの少なくとも1つに対して6パラメータアフィン動きモデルを利用し、前記少なくとも1つのサブブロックの画素ごとの前記動きベクトルオフセットを判定するステップは、
    前記少なくとも1つのサブブロックおよび前記少なくとも1つのサブブロックに隣接した少なくとも2つのサブブロックに対し、線形回帰モデリングによって、パラメータaxx、axy、ayx、ayy、bx、およびbxについて、式(1)を解くステップを含み、
    Figure 2022526943000038
    MVX_offsetおよびMVY_offsetは、1つのMVオフセットの水平成分および垂直成分であり、Xsub_blockおよびYsub_blockは、対応するサブブロックの中心位置の水平成分および垂直成分それぞれである、
    ことを特徴とする請求項1に記載の方法。
  6. 前記サブブロック方式動き補償が6パラメータアフィン動きモデリングを利用した前記少なくとも1つのサブブロックについての前記強度変化を取得するステップは、パラメータaxx、axy、ayx、ayy、bx、およびbxについて、式(2)および式(3)を解くステップを含み、
    Figure 2022526943000039
    Figure 2022526943000040
    iおよびjは、各々のサンプル/画素の水平座標および垂直座標それぞれであり、Δvx(i,j)は、座標における前記サンプル/画素についての水平方向における輝度変化であり、Δvy(i,j)は、座標(i,j)における前記サンプル/画素についての垂直方向における輝度変化である、
    ことを特徴とする請求項5に記載の方法。
  7. 前記サブブロック方式動き補償は、前記サブブロックのうちの少なくとも1つの他のサブブロックに対して4パラメータアフィン動きモデルを利用し、前記少なくとも1つの他のサブブロックに関連して、式(4)および式(5)の仮定が利用される、
    Figure 2022526943000041
    Figure 2022526943000042
    ことを特徴とする請求項5に記載の方法。
  8. 4パラメータアフィン動きモデルが利用される前記サブブロックの前記少なくとも1つの他のサブブロックは、前記ブロックの左境界および/または上境界に位置するサブブロックである、ことを特徴とする請求項7に記載の方法。
  9. 前記サブブロック方式動き補償は、
    少なくともいくつかのサブブロックに対して6パラメータアフィン動きモデルを利用することと、
    前記少なくともいくつかのサブブロックに対して4パラメータアフィン動きモデルを利用することと、
    前記6パラメータアフィン動きモデルの誤り率を推定することと、
    前記4パラメータアフィン動きモデルの誤り率を推定することと、
    前記6パラメータアフィンモデルおよび前記4パラメータアフィンモデルのどちらが低い方の誤り率かを判定することと、
    各々のサブブロックにおける前記強度変化を取得する際の使用のために、前記低い方の誤り率を有する前記モデルの結果を選択することと、
    を含む、ことを特徴とする請求項1に記載の方法。
  10. 前記取得された強度変化に基づいて、各々のサブブロック内の前記予測を精緻化するステップは、
    重み付け因子によって前記取得された強度変化を重み付けるステップと、
    前記重み付けられた強度変化を各々のサブブロック内の各々の画素に追加するステップと、を含み、
    前記ビットストリームを受信するステップは、前記取得された強度変化を重み付けるための前記重み付け因子を前記ビットストリームにおいて受信するステップを含み、
    前記ビットストリームにおける前記重み付け因子は、ピクチャレベルにおいてシグナリングされる、
    ことを特徴とする請求項1に記載の方法。
  11. 送信機、受信機、プロセッサ、およびメモリを含むデバイスのデコーダであって、
    符号化されたビデオデータのビットストリームを受信し、前記ビットストリームは、ビデオデータの少なくとも1つのブロックを含み、前記ブロックは、複数のサブブロックを含み、
    サブブロックごとの精緻化済み動きベクトルを生成するよう、前記ブロック内のサブブロックごとに、デコーダ方式動きベクトル(DMVR)処理を含む、動きベクトル導出を実行し、
    各々のサブブロック内でサブブロック方式予測を生成するよう、前記少なくとも1つのサブブロックに対してサブブロック方式動き補償を実行し、
    各々のサブブロック内の予測ごとの空間的勾配を取得し、
    各々のサブブロック内の画素ごとの動きベクトルオフセットを判定し、
    オプティカルフロー方程式を介して、前記空間的勾配および動きベクトルオフセットに基づいて、各々のサブブロックにおける強度変化を取得し、
    前記取得された強度変化に基づいて、各々のサブブロック内の前記予測を精緻化する、
    ように構成されていることを特徴とするデコーダ。
  12. 各々のサブブロック内の画素ごとの前記動きベクトルオフセットを判定するように構成されたデコーダは、
    前記サブブロックごとに、線形回帰モデリングによって、前記サブブロックおよび前記サブブロックに隣接した少なくとも2つの他のサブブロックの動きベクトルオフセットおよび中心位置に基づいて、前記動きベクトルオフセットを判定するように更に構成され、
    前記サブブロック方式予測は、各々のサブブロック内の画素ルマ予測ごとに生成され、
    前記強度変化は、各々のサブブロック内の画素ごとの輝度強度変化である、
    ことを特徴とする請求項11に記載のデコーダ。
  13. 前記サブブロック方式動き補償に対し、前記サブブロックのうちの少なくとも1つに対して6パラメータアフィン動きモデルを利用し、
    前記少なくとも1つのサブブロックの第1の隣接サブブロック、第2の隣接サブブロック、および第3の隣接サブブロックを使用して、前記動きベクトルオフセットを判定することと、
    前記少なくとも1つのサブブロックを使用して、回帰分析についてのモデル誤差を推定することと、
    前記推定されたモデル誤差が前記少なくとも1つのサブブロックについての閾値を上回る場合、復号において前記少なくとも1つのサブブロックに対して前記動きベクトルオフセットを使用しないことと、
    を含む、前記少なくとも1つのサブブロックの画素ごとの前記動きベクトルオフセットを判定する、
    ように更に構成されている、ことを特徴とする請求項11に記載のデコーダ。
  14. 前記サブブロック方式動き補償に対し、前記サブブロックのうちの少なくとも1つに対して6パラメータアフィン動きモデルを利用し、
    前記動きベクトルオフセットを判定する際に、前記少なくとも1つのサブブロック、ならびに前記少なくとも1つのサブブロックの第1の隣接サブブロック、第2の隣接サブブロック、および第3の隣接サブブロックを更に使用して、前記少なくとも1つのサブブロックの画素ごとの前記動きベクトルオフセットを判定する、
    ように更に構成されている、ことを特徴とする請求項11に記載のデコーダ。
  15. 前記サブブロック方式動き補償に対し、前記サブブロックのうちの少なくとも1つに対して6パラメータアフィン動きモデルを利用するように更に構成され、前記少なくとも1つのサブブロックの画素ごとの前記動きベクトルオフセットを判定することは、
    前記少なくとも1つのサブブロックおよび前記少なくとも1つのサブブロックに隣接した少なくとも2つのサブブロックに対し、線形回帰モデリングによって、パラメータaxx、axy、ayx、ayy、bx、およびbxについて、式(6)を解くことを含み、
    Figure 2022526943000043
    MVX_offsetおよびMVY_offsetは、1つのMVオフセットの水平成分および垂直成分であり、Xsub_blockおよびYsub_blockは、対応するサブブロックの中心位置の水平成分および垂直成分それぞれである、
    ことを特徴とする請求項11に記載のデコーダ。
  16. 前記サブブロック方式動き補償が6パラメータアフィン動きモデリングを利用することによって、パラメータaxx、axy、ayx、ayy、bx、およびbxについて、式(7)および式(8)を解くことを含む、前記少なくとも1つのサブブロックについての前記強度変化を取得するように更に構成され、
    Figure 2022526943000044
    Figure 2022526943000045
    iおよびjは、各々のサンプル/画素の水平座標および垂直座標それぞれであり、Δvx(i,j)は、座標における前記サンプル/画素についての水平方向における輝度変化であり、Δvy(i,j)は、座標(i,j)における前記サンプル/画素についての垂直方向における輝度変化である、
    ことを特徴とする請求項15に記載のデコーダ。
  17. 前記サブブロック方式動き補償に対し、前記サブブロックのうちの少なくとも1つの他のサブブロックに対して4パラメータアフィン動きモデルを利用するように更に構成され、前記少なくとも1つの他のサブブロックに関連して、式(9)および式(10)の仮定が利用される、
    Figure 2022526943000046
    Figure 2022526943000047
    ことを特徴とする請求項15に記載のデコーダ。
  18. 4パラメータアフィン動きモデルが利用される前記サブブロックの前記少なくとも1つの他のサブブロックは、前記ブロックの左境界および/または上境界に位置するサブブロックである、ことを特徴とする請求項17に記載のデコーダ。
  19. 前記サブブロック方式動き補償に対し、
    少なくともいくつかのサブブロックに対して6パラメータアフィン動きモデルを利用し、
    前記少なくともいくつかのサブブロックに対して4パラメータアフィン動きモデルを利用し、
    前記6パラメータアフィン動きモデルの誤り率を推定し、
    前記4パラメータアフィン動きモデルの誤り率を推定し、
    前記6パラメータアフィンモデルおよび前記4パラメータアフィンモデルのどちらが低い方の誤り率かを判定し、
    各々のサブブロックにおける前記強度変化を取得する際の使用のために、前記低い方の誤り率を有する前記モデルの結果を選択する、
    ように更に構成されている、ことを特徴とする請求項11に記載のデコーダ。
  20. 前記取得された強度変化に基づいて、各々のサブブロック内の前記予測を精緻化することは、
    重み付け因子によって前記取得された強度変化を重み付けることと、
    前記重み付けられた強度変化を各々のサブブロック内の各々の画素に追加することと、を含み、
    前記ビットストリームを受信することは、前記取得された強度変化を重み付けるための前記重み付け因子を前記ビットストリームにおいて受信することを含み、
    前記ビットストリームにおける前記重み付け因子は、ピクチャレベルにおいてシグナリングされる、
    ことを特徴とする請求項11に記載のデコーダ。
JP2021557372A 2019-03-26 2020-03-26 オプティカルフローによるデコーダ側動きベクトル精緻化についての予測精緻化のための方法および装置 Pending JP2022526943A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962823935P 2019-03-26 2019-03-26
US62/823,935 2019-03-26
PCT/US2020/024996 WO2020198497A1 (en) 2019-03-26 2020-03-26 Methods and apparatus for prediction refinement for decoder side motion vector refinement with optical flow

Publications (2)

Publication Number Publication Date
JP2022526943A true JP2022526943A (ja) 2022-05-27
JPWO2020198497A5 JPWO2020198497A5 (ja) 2023-04-05

Family

ID=70286029

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021557372A Pending JP2022526943A (ja) 2019-03-26 2020-03-26 オプティカルフローによるデコーダ側動きベクトル精緻化についての予測精緻化のための方法および装置

Country Status (5)

Country Link
US (1) US20220191502A1 (ja)
EP (1) EP3949416A1 (ja)
JP (1) JP2022526943A (ja)
CN (1) CN113826400A (ja)
WO (1) WO2020198497A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230344984A1 (en) * 2022-04-25 2023-10-26 Tencent America LLC Affine models use in affine bilateral matching
US20240121426A1 (en) * 2022-09-29 2024-04-11 Qualcomm Incorporated Methods of subblock skipping for affine motion search for video coding
WO2024081497A1 (en) * 2022-10-11 2024-04-18 Qualcomm Incorporated Regression-based decoder side affine motion derivation for video coding
CN117593211A (zh) * 2023-12-15 2024-02-23 书行科技(北京)有限公司 视频处理方法、装置、电子设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020191034A1 (en) * 2019-03-18 2020-09-24 Tencent America LLC Method and apparatus for video coding

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8363721B2 (en) * 2009-03-26 2013-01-29 Cisco Technology, Inc. Reference picture prediction for video coding
US20200296405A1 (en) * 2019-03-14 2020-09-17 Qualcomm Incorporated Affine motion compensation refinement using optical flow

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020191034A1 (en) * 2019-03-18 2020-09-24 Tencent America LLC Method and apparatus for video coding

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JIANCONG (DANIEL) LUO, AND YUWEN HE: "CE2-related: Prediction refinement with optical flow for affine mode", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-N0236-r4, JPN6023050887, 22 March 2019 (2019-03-22), pages 1 - 7, XP030202914, ISSN: 0005217076 *
JIANCONG (DANIEL) LUO, YUWEN HE: "CE4: Prediction refinement with optical flow for affine mode (Test 2.1)", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-O0070, JPN6023050888, June 2019 (2019-06-01), pages 1 - 4, ISSN: 0005217077 *
WEI CHEN, AND YUWEN HE: "Non-CE9: Block Boundary Prediction Refinement with Optical Flow for DMVR", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-O0581, JPN6023050889, July 2019 (2019-07-01), pages 1 - 3, ISSN: 0005217078 *

Also Published As

Publication number Publication date
US20220191502A1 (en) 2022-06-16
CN113826400A (zh) 2021-12-21
WO2020198497A1 (en) 2020-10-01
EP3949416A1 (en) 2022-02-09

Similar Documents

Publication Publication Date Title
US20210185353A1 (en) Overlapped block motion compensation
JP2022526943A (ja) オプティカルフローによるデコーダ側動きベクトル精緻化についての予測精緻化のための方法および装置
JP2022519358A (ja) オプティカルフローを用いたインター予測リファインメントのためのシステム、装置、および方法
US20220377344A1 (en) Systems and methods for versatile video coding
US20230045182A1 (en) Quantization parameter coding
US20220394298A1 (en) Transform coding for inter-predicted video data
US20230046946A1 (en) Merge mode, adaptive motion vector precision, and transform skip syntax
US20220385897A1 (en) Adaptive interpolation filter for motion compensation
US20240196007A1 (en) Overlapped block motion compensation
JP7495433B2 (ja) オプティカルフローを用いたブロック境界予測リファインメント
JP2022549008A (ja) 双方向オプティカルフローのための切り替え論理
CN114556928A (zh) 帧内子分区相关的帧内编码
WO2024133762A1 (en) Extension of spatial geometric prediction mode
WO2024133058A1 (en) Gradual decoding refresh padding
WO2024133624A1 (en) Local illumination compensation with extended models
WO2023194193A1 (en) Sign and direction prediction in transform skip and bdpcm
WO2023057501A1 (en) Cross-component depth-luma coding
WO2024133767A1 (en) Motion compensation for video blocks
WO2023194558A1 (en) Improved subblock-based motion vector prediction (sbtmvp)
WO2024133053A1 (en) Combination of intra template prediction and intra block copy with other coding tools
WO2023194556A1 (en) Implicit intra mode for combined inter merge/intra prediction and geometric partitioning mode intra/inter prediction

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20211027

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20220124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230327

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240307

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240416