JP2022502924A - ビデオコーディングのための双予測 - Google Patents

ビデオコーディングのための双予測 Download PDF

Info

Publication number
JP2022502924A
JP2022502924A JP2021516970A JP2021516970A JP2022502924A JP 2022502924 A JP2022502924 A JP 2022502924A JP 2021516970 A JP2021516970 A JP 2021516970A JP 2021516970 A JP2021516970 A JP 2021516970A JP 2022502924 A JP2022502924 A JP 2022502924A
Authority
JP
Japan
Prior art keywords
weight
current
prediction
weights
bdof
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021516970A
Other languages
English (en)
Other versions
JP7398442B2 (ja
JPWO2020069076A5 (ja
Inventor
フ、ユーウェン
ルオ、チャンコン
シウ、シャオユウ
ユー、ヤン
Original Assignee
ヴィド スケール インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヴィド スケール インコーポレイテッド filed Critical ヴィド スケール インコーポレイテッド
Publication of JP2022502924A publication Critical patent/JP2022502924A/ja
Publication of JPWO2020069076A5 publication Critical patent/JPWO2020069076A5/ja
Priority to JP2023204572A priority Critical patent/JP2024023521A/ja
Application granted granted Critical
Publication of JP7398442B2 publication Critical patent/JP7398442B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

双方向オプティカルフロー(BDOF)がコーディングユニット(CU)重みによる双予測(例えば、一般化双予測(GBi))との組み合わせにおいて使用される場合、BDOFをバイパスするかどうかを判定するシステム、方法、および手段を提供することができる。コーディングシステムは、コーディングモード、コーディング技術、および/またはコーディングツールを組み合わせることができる。コーディングシステムは、無線送信/受信ユニット(WTRU)を含んでもよい。例えば、コーディングシステムは、BDOFおよびCU重みによる双予測(BCW)を組み合わせてもよい。BDOFは、カレントCUにおける位置と関連付けられた勾配に少なくとも部分的に基づいて、カレントCUと関連付けられた動きベクトルを精緻化することを含んでもよい。コーディングシステムは、BDOFが有効にされると判定してもよく、および/またはCU重みによる双予測がカレントCUに対して有効にされると判定してもよい。CU重みによる双予測が有効にされ、および/またはBDOFが有効にされるとのコーディングシステムの判定は、1つまたは複数のインジケーションに基づいてもよい。

Description

関連出願の相互参照
本出願は、その全体を参照することによってその内容が以下に組み込まれる、2018年9月26日に出願された米国仮特許出願第62/736,790号および2018年12月31日に出願された米国仮特許出願第62/786,641号の利益を主張する。
本出願は、ビデオ信号の圧縮技術に関する。
例えば、デジタルビデオに対して使用される記憶帯域幅および/または伝送帯域幅を削減するために、そのような信号を圧縮するのにビデオコーディングシステムが使用されることがある。ビデオコーディングシステムは、ブロック方式(block based)システム、ウェーブレット方式(wavelet based)システム、および/またはオブジェクト方式(object based)システムを含むことがある。システムは、ピクチャの間の時間的相関を利用することによって時間的冗長性を削減することができる、双方向動き補償予測(MCP)などのビデオコーディング技術を採用する。或る技術は、符号化および/または復号の間に実行される計算の複雑性を増大させることがある。
双方向オプティカルフロー(BDOF)がコーディングユニット(CU)重みによる双予測(bi-prediction with coding unit (CU) weights)(例えば、一般化双予測(GBi:generalized bi-prediction))との組み合わせで使用される場合、BDOFをバイパスするかどうかを判定する、システム、方法、および手段を提供することができる。コーディングシステムは、コーディングモード、コーディング技術、および/またはコーディングツールを組み合わせてもよい。コーディングシステムは、無線送信/受信ユニット(WTRU)を含んでもよい。例えば、コーディングシステムは、BDOFおよびCU重みによる双予測(BCW)を組み合わせてもよい。BDOFは、カレントCUにおける位置と関連付けられた勾配に少なくとも部分的に基づいて、カレントCUと関連付けられた動きベクトルを精緻化することを含んでもよい。コーディングシステムは、BDOFが有効にされると判定してもよく、および/またはCU重みによる双予測がカレントCUに対して有効にされると判定してもよい。CU重みによる双予測が有効にされ、および/またはBDOFが有効にされるとのコーディングシステムの判定は、1つまたは複数のインジケーションに基づいてもよい。
コーディングシステムは、CU重みによる双予測の重みに基づいて、BDOFを実行またはバイパスするかどうかを判定してもよい。実施例では、コーディングシステムは、カレントCUに対するCU重みによる双予測の重みインジケーションを識別してもよい。重みインジケーションは、CU重みによる双予測においてカレントCUに対して使用されることになる重みを示すことができる。コーディングシステムは、カレントCUに対するCU重みによる双予測の重みインジケーションに少なくとも部分的に基づいて、カレントCUに対してBDOFをバイパスするかどうかを判定してもよい。等しくない重みがCU重みによる双予測においてカレントCUに対して使用されることになると重みインジケーションが示す場合、コーディングシステムは、カレントCUに対してBDOFをバイパスすると判定してもよい。カレントCUを再構築するために、コーディングシステムは、BDOFをバイパスするとの判定に基づいて、BDOFなしにCU重みによる双予測を実行してもよい。等しい重みがCU重みによる双予測においてカレントCUに対して使用されることになると重みインジケーションが示す場合、コーディングシステムは、カレントCUに対してBDOFを実行するかどうかを判定してもよい。
実施例では、重みインジケーションは、等しくない重みがCU重みによる双予測においてカレントCUに対して使用されることになることを示すことができる。コーディングシステムは、予測CU重みを導出してもよい。例えば、コーディングシステムは、CU重みによる双予測の重みインジケーションに基づいて、第1の予測CU重みを判定してもよい。コーディングシステムは、第1の予測CU重みおよびCU重みによる双予測と関連付けられた制約に基づいて、第2の予測CU重みを導出してもよい。コーディングシステムは、第1の予測CU重みおよび第2の予測CU重みに基づいて、CU重みによる双予測を実行してもよい。CU重みによる双予測の重みインジケーションは、インデックス値を含んでもよい。インデックス値は、予め定められた重みに対応してもよい。異なるインデックス値は、異なる予め定められた重みを示すことができる。
例示的な通信システムを示すシステム図である。 図1Aに示された通信システム内で使用することができる例示的な無線送信/受信ユニット(WTRU)を示すシステム図である。 図1Aに示された通信システム内で使用することができる例示的な無線アクセスネットワーク(RAN)および例示的なコアネットワーク(CN)を示すシステム図である。 図1Aに示された通信システム内で使用することができる更に例示的なRANおよび更に例示的なCNを示すシステム図である。 例示的なブロック方式ビデオエンコーダの図である。 例示的なビデオデコーダの図である。 CU重みによる双予測についてのサポートを有する例示的なブロック方式ビデオエンコーダの図である。 エンコーダに対するCU重みによる双予測についてのサポートを有する例示的なモジュールの図である。 CU重みによる双予測についてのサポートを有する例示的なブロック方式ビデオデコーダの図である。 デコーダに対するCU重みによる双予測についてのサポートを有する例示的なモジュールの図である。 例示的な4パラメータアフィンモードの図である。 例示的な6パラメータアフィンモードの図である。 時間レイヤ(TL)を有する例示的な階層予測構造の図である。 特定のMVD精度および/または重みに対してアフィンをスキップするかどうかを判定する実施例の図である。 BDOFをバイパスするかどうかを判定する実施例の図である。
図1Aは、1つまたは複数の開示される実施形態を実装することができる、例示的な通信システム100を示す図である。通信システム100は、音声、データ、ビデオ、メッセージング、放送などのコンテンツを複数の無線ユーザに提供する、多元接続システムであってもよい。通信システム100は、複数の無線ユーザが、無線帯域幅を含むシステムリソースの共用を通じて、そのようなコンテンツにアクセスすることを可能にすることができる。例えば、通信システム100は、符号分割多元接続(CDMA)、時分割多元接続(TDMA)、周波数分割多元接続(FDMA)、直交FDMA(OFDMA)、シングルキャリアFDMA(SC−FDMA)、ゼロテールユニークワード離散フーリエ変換拡散OFDM(ZT UW DTS−S−OFDM)、ユニークワードOFDM(UW−OFDM)、リソースブロックフィルタードOFDM、およびフィルタバンクマルチキャリア(FBMC)など、1つまたは複数のチャネルアクセス方法を利用してもよい。
図1Aに示されるように、通信システム100は、無線送信/受信ユニット(WTRU)102a、102b、102c、102dと、RAN104/113と、CN106と、公衆交換電話網(PSTN)108と、インターネット110と、他のネットワーク112とを含んでもよいが、開示される実施形態は、いずれかの数のWTRU、基地局、ネットワーク、および/またはネットワーク要素を考慮していることが認識されよう。WTRU102a、102b、102c、102dの各々は、無線環境において動作および/または通信するように構成されたいずれかのタイプのデバイスであってもよい。例として、そのいずれかが、「局」および/または「STA」と称されてもよい、WTRU102a、102b、102c、102dは、無線信号を送信および/または受信するように構成されてもよく、ユーザ機器(UE)、移動局、固定または移動加入者ユニット、サブスクリクションベースのユニット、ページャ、セルラ電話、パーソナルデジタルアシスタント(PDA)、スマートフォン、ラップトップ、ネットブック、パーソナルコンピュータ、無線センサ、ホットスポットまたはMi−Fiデバイス、モノのインターネット(IoT)デバイス、ウォッチまたは他のウェアラブル、ヘッドマウントディスプレイ(HMD)、車両、ドローン、医療用デバイスおよびアプリケーション(例えば、遠隔手術)、工業用デバイスおよびアプリケーション(例えば、工業用および/または自動化された処理チェーン状況において動作するロボットおよび/または他の無線デバイス)、家電デバイス、ならびに商業用および/または工業用無線ネットワーク上において動作するデバイスなどを含んでもよい。WTRU102a、102b、102c、102dのいずれも、交換可能にUEと称されてもよい。
通信システム100はまた、基地局114aおよび/または基地局114bを含んでもよい。基地局114a、114bの各々は、CN106、インターネット110、および/または他のネットワーク112など、1つまたは複数の通信ネットワークへのアクセスを容易にするために、WTRU102a、102b、102c、102dのうちの少なくとも1つと無線でインタフェースをとるように構成されたいずれかのタイプのデバイスであってもよい。例として、基地局114a、114bは、基地送受信機局(BTS)、NodeB、eNodeB、ホームNodeB、ホームeNodeB、gNB、NR NodeB、サイトコントローラ、アクセスポイント(AP)、および無線ルータなどであってもよい。基地局114a、114bは、各々が、単一の要素として表されているが、基地局114a、114bは、任意の数の相互接続された基地局および/またはネットワーク要素を含んでもよいことが理解されよう。
基地局114aは、RAN104/113の一部であってもよく、RAN104/113は、他の基地局、および/または基地局コントローラ(BSC)、無線ネットワークコントローラ(RNC)、中継ノードなどのネットワーク要素(図示されず)も含んでもよい。基地局114aおよび/または基地局114bは、セル(図示されず)と称されてもよい、1つまたは複数のキャリア周波数上において、無線信号を送信および/または受信するように構成されてもよい。これらの周波数は、認可スペクトル、非認可スペクトル、または認可スペクトルと非認可スペクトルとの組み合わせの中にあってもよい。セルは、相対的に固定であってもよくまたは時間とともに変化してもよい特定の地理的エリアに、無線サービス用のカバレッジを提供してもよい。セルは、更に、セルセクタに分割されてもよい。例えば、基地局114aと関連付けられたセルは、3個のセクタに分割されてもよい。したがって、一実施形態では、基地局114aは、送受信機を3個、すなわち、セルの各セクタに対して1つずつ含んでよい。実施形態では、基地局114aは、多入力多出力(MIMO)技術を利用してもよく、セルの各セクタに対して複数の送受信機を利用してもよい。例えば、所望の空間的方向において信号を送信および/または受信するために、ビームフォーミングが使用されてもよい。
基地局114a、114bは、エアインタフェース116上において、WTRU102a、102b、102c、102dのうちの1つまたは複数と通信してもよく、エアインタフェース116は、いずれかの適切な無線通信リンク(例えば、無線周波(RF)、マイクロ波、センチメートル波、マイクロメートル波、赤外線(IR)、紫外線(UV)、可視光など)であってもよい。エアインタフェース116は、任意の適切な無線アクセス技術(RAT)を使用して確立されてもよい。
より具体的には、上述されたように、通信システム100は、多元接続システムであってもよく、CDMA、TDMA、FDMA、OFDMA、およびSC−FDMAなど、1つまたは複数のチャネルアクセス方式を採用してもよい。例えば、RAN104/113内の基地局114aと、WTRU102a、102b、102cとは、広帯域CDMA(WCDMA)を使用して、エアインタフェース116を確立してもよい、ユニバーサル移動体通信システム(UMTS)地上無線アクセス(UTRA)などの無線技術を実装してもよい。WCDMAは、高速パケットアクセス(HSPA)および/または進化型HSPA(HSPA+)などの通信プロトコルを含んでよい。HSPAは、高速ダウンリンク(DL)パケットアクセス(HSDPA)、および/または高速アップリンク(UL)パケットアクセス(HSUPA)を含んでもよい。
実施例では、基地局114a、およびWTRU102a、102b、102cは、ロングタームエボリューション(LTE)、および/またはLTEアドバンスト(LTE−A)、および/またはLTEアドバンストプロ(LTE−A Pro)を使用して、エアインタフェース116を確立してもよい、進化型UMTS地上無線アクセス(E−UTRA)などの無線技術を実装してもよい。
実施例では、基地局114a、およびWTRU102a、102b、102cは、NRを使用して、エアインタフェース116を確立してもよい、NR無線アクセスなどの無線技術を実装してもよい。
実施例では、基地局114a、およびWTRU102a、102b、102cは、複数の無線アクセス技術を実装してもよい。例えば、基地局114a、およびWTRU102a、102b、102cは、例えば、デュアルコネクティビティ(DC)原理を使用して、LTE無線アクセスおよびNR無線アクセスを共に実装してもよい。したがって、WTRU102a、102b、102cによって利用されるエアインタフェースは、複数のタイプの無線アクセス技術、ならびに/または複数のタイプの基地局(例えば、eNBおよびgNB)に送信される/そこから送信される送信によって特徴付けられてもよい。
実施例では、基地局114a、およびWTRU102a、102b、102cは、IEEE802.11(すなわち、ワイヤレスフィデリティ(WiFi))、IEEE802.16(すなわち、Worldwide Interoperability for Microwave Access(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000 EV−DO、暫定標準2000(IS−2000)、暫定標準95(IS−95)、暫定標準856(IS−856)、移動体通信用グローバルシステム(GSM)、GSMエボリューション用高速データレート(EDGE)、およびGSM EDGE(GERAN)などの無線技術を実装してもよい。
図1Aにおける基地局114bは、例えば、無線ルータ、ホームNodeB、ホームeNodeB、またはアクセスポイントであってもよく、事業所、自宅、車両、キャンパス、産業用施設、(例えば、ドローンによって使用される)エアコリド、および車道など、局所化されたエリアにおける無線接続性を容易にするために、任意の適切なRATを利用してもよい。一実施形態では、基地局114bと、WTRU102c、102dとは、IEEE802.11などの無線技術を実装して、無線ローカルエリアネットワーク(WLAN)を確立してもよい。実施形態では、基地局114bと、WTRU102c、102dとは、IEEE802.15などの無線技術を実装して、無線パーソナルエリアネットワーク(WPAN)を確立してもよい。また別の実施形態では、基地局114bと、WTRU102c、102dとは、セルラベースのRAT(例えば、WCDMA、CDMA2000、GSM、LTE、LTE−A、LTE−A Pro、NRなど)を利用して、ピコセルまたはフェムトセルを確立してもよい。図1Aに示されるように、基地局114bは、インターネット110への直接的な接続を有してもよい。したがって、基地局114bは、CN106/115を介してインターネット110にアクセスする必要がないことがある。
RAN104/113は、CN106/115と通信してもよく、CN106/115は、音声、データ、アプリケーション、および/またはボイスオーバインターネットプロトコル(VoIP)サービスを、WTRU102a、102b、102c、102dのうちの1つまたは複数に提供するように構成された任意のタイプのネットワークであってもよい。データは、異なるスループット要件、遅延要件、エラー耐性要件、信頼性要件、データスループット要件、およびモビリティ要件など、様々なサービス品質(QoS)要件を有してもよい。CN106/115は、呼制御、ビリングサービス、モバイルロケーションベースのサービス、プリペイド発呼、インターネット接続性、ビデオ配信などを提供してもよく、および/またはユーザ認証など、高レベルセキュリティ機能を実行してもよい。図1Aには示されていないが、RAN104/113および/またはCN106/115は、RAN104/113と同じRATまたは異なるRATを利用する他のRANと直接的または間接的通信を行ってもよいことが理解されよう。例えば、NR無線技術を利用していることがあるRAN104/113に接続されていることに加えて、CN106/115は、GSM、UMTS、CDMA2000、WiMAX、E−UTRA、またはWiFi無線技術を利用する別のRAN(図示されず)とも通信してもよい。
CN106/115は、WTRU102a、102b、102c、102dが、PSTN108、インターネット110、および/または他のネットワーク112にアクセスするためのゲートウェイとしての役割も果たしてもよい。PSTN108は、基本電話サービス(POTS)を提供する、回線交換電話網を含んでよい。インターネット110は、TCP/IPインターネットプロトコルスイート内の送信制御プロトコル(TCP)、ユーザデータグラムプロトコル(UDP)、および/またはインターネットプロトコル(IP)など、共通の通信プロトコルを使用する、相互接続されたコンピュータネットワークおよびデバイスからなる地球規模のシステムを含んでよい。ネットワーク112は、他のサービスプロバイダによって所有および/または運営される、有線および/または無線通信ネットワークを含んでもよい。例えば、ネットワーク112は、RAN104/113と同じRATまたは異なるRATを利用してもよい1つまたは複数のRANに接続された、別のCNを含んでもよい。
通信システム100内のWTRU102a、102b、102c、102dのうちのいくつかまたは全ては、マルチモード機能を含んでよい(例えば、WTRU102a、102b、102c、102dは、異なる無線リンク上において、異なる無線ネットワークと通信するための、複数の送受信機を含んでよい)。例えば、図1Aに示されるWTRU102cは、セルラベースの無線技術を採用してもよい基地局114aと通信するように、またIEEE802無線技術を利用してもよい基地局114bと通信するように構成されてもよい。
図1Bは、例示的なWTRU102を示すシステム図である。図1Bに示されるように、WTRU102は、とりわけ、プロセッサ118、送受信機120、送信/受信要素122、スピーカ/マイクロフォン124、キーパッド126、ディスプレイ/タッチパッド128、非リムーバブルメモリ130、リムーバブルメモリ132、電源134、全地球測位システム(GPS)チップセット136、および/または他の周辺機器138を含んでよい。WTRU102は、実施形態との整合性を維持しながら、上記の要素の任意のサブコンビネーションを含んでよいことが理解されよう。
プロセッサ118は、汎用プロセッサ、専用プロセッサ、従来型プロセッサ、デジタル信号プロセッサ(DSP)、複数のマイクロプロセッサ、DSPコアと連携する1つまたは複数のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)回路、他の任意のタイプの集積回路(IC)、および状態機械などであってもよい。プロセッサ118は、信号コーディング、データ処理、電力制御、入力/出力処理、および/またはWTRU102が無線環境において動作することを可能にする他の任意の機能性を実行してもよい。プロセッサ118は、送受信機120に結合されてもよく、送受信機120は、送信/受信要素122に結合されてもよい。図1Bは、プロセッサ118と送受信機120を別個の構成要素として表しているが、プロセッサ118と送受信機120は、電子パッケージまたはチップ内に一緒に統合されてもよいことが理解されよう。
送信/受信要素122は、エアインタフェース116上において、基地局(例えば、基地局114a)に信号を送信し、または基地局から信号を受信するように構成されてもよい。例えば、一実施形態では、送信/受信要素122は、RF信号を送信および/または受信するように構成されたアンテナであってもよい。実施形態では、送信/受信要素122は、例えば、IR、UV、または可視光信号を送信および/または受信するように構成された放射器/検出器であってもよい。また別の実施形態では、送信/受信要素122は、RF信号および光信号の両方を送信および/または受信するように構成されてもよい。送信/受信要素122は、無線信号の任意の組み合わせを送信および/または受信するように構成されてもよいことが理解されよう。
図1Bにおいては、送信/受信要素122は、単一の要素として表されているが、WTRU102は、任意の数の送信/受信要素122を含んでよい。より具体的には、WTRU102は、MIMO技術を利用してもよい。したがって、一実施形態では、WTRU102は、エアインタフェース116上において無線信号を送信および受信するための2つ以上の送信/受信要素122(例えば、複数のアンテナ)を含んでよい。
送受信機120は、送信/受信要素122によって送信されることになる信号を変調し、送信/受信要素122によって受信された信号を復調するように構成されてもよい。上で言及されたように、WTRU102は、マルチモード機能を有してもよい。したがって、送受信機120は、WTRU102が、例えば、NRおよびIEEE802.11など、複数のRATを介して通信することを可能にするための、複数の送受信機を含んでよい。
WTRU102のプロセッサ118は、スピーカ/マイクロフォン124、キーパッド126、および/またはディスプレイ/タッチパッド128(例えば、液晶表示(LCD)ディスプレイユニットもしくは有機発光ダイオード(OLED)ディスプレイユニット)に結合されてもよく、それらからユーザ入力データを受信してもよい。プロセッサ118は、スピーカ/マイクロフォン124、キーパッド126、および/またはディスプレイ/タッチパッド128にユーザデータを出力してもよい。加えて、プロセッサ118は、非リムーバブルメモリ130および/またはリムーバブルメモリ132など、任意のタイプの適切なメモリから情報を入手してもよく、それらにデータを記憶してもよい。非リムーバブルメモリ130は、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、ハードディスク、または他の任意のタイプのメモリ記憶デバイスを含んでよい。リムーバブルメモリ132は、加入者識別モジュール(SIM)カード、メモリスティック、およびセキュアデジタル(SD)メモリカードなどを含んでよい。他の実施形態では、プロセッサ118は、サーバまたはホームコンピュータ(図示されず)上などに配置された、WTRU102上に物理的に位置していないメモリから情報にアクセスしてもよく、それらにデータを記憶してもよい。
プロセッサ118は、電源134から電力を受信してもよく、WTRU102内の他の構成要素に電力を分配するように、および/またはそれらへの電力を制御するように構成されてもよい。電源134は、WTRU102に給電するための任意の適切なデバイスであってもよい。例えば、電源134は、1つまたは複数の乾電池(例えば、ニッケル−カドミウム(NiCd)、ニッケル−亜鉛(NiZn)、ニッケル水素(NiMH)、リチウム−イオン(Li−ion)など)、太陽電池、および燃料電池などを含んでよい。
プロセッサ118は、GPSチップセット136にも結合されてもよく、GPSチップセット136は、WTRU102の現在の位置に関する位置情報(例えば、経度および緯度)を提供するように構成されてもよい。GPSチップセット136からの情報に加えて、またはそれの代わりに、WTRU102は、基地局(例えば、基地局114a、114b)からエアインタフェース116上において位置情報を受信してもよく、および/または2つ以上の近くの基地局から受信されている信号のタイミングに基づいて、自身の位置を決定してもよい。WTRU102は、実施形態との整合性を維持しながら、任意の適切な位置決定方法を使用して、位置情報を取得してもよいことが理解されよう。
プロセッサ118は、更に他の周辺機器138に結合されてもよく、他の周辺機器138は、追加の特徴、機能性、および/または有線もしくは無線接続性を提供する、1つまたは複数のソフトウェアモジュールおよび/またはハードウェアモジュールを含んでよい。例えば、周辺機器138は、加速度計、eコンパス、衛星送受信機、(写真および/またはビデオ用の)デジタルカメラ、ユニバーサルシリアルバス(USB)ポート、バイブレーションデバイス、テレビ送受信機、ハンズフリーヘッドセット、Bluetooth(登録商標)モジュール、周波数変調(FM)ラジオユニット、デジタル音楽プレイヤ、メディアプレイヤ、ビデオゲームプレイヤモジュール、インターネットブラウザ、仮想現実および/または拡張現実(VR/AR)デバイス、ならびにアクティビティトラッカなどを含んでよい。周辺機器138は、1つまたは複数のセンサを含んでよく、センサは、ジャイロスコープ、加速度計、ホール効果センサ、磁力計、方位センサ、近接センサ、温度センサ、時間センサ、ジオロケーションセンサ、高度計、光センサ、タッチセンサ、磁力計、気圧計、ジェスチャセンサ、バイオメトリックセンサ、および/または湿度センサのうちの1つまたは複数であってもよい。
WTRU102は、(例えば、(例えば、送信用の)ULと(例えば、受信用の))ダウンリンクの両方のための特定のサブフレームと関連付けられた信号のいくつかまたは全ての送信および受信が、並列および/または同時であってもよい、全二重無線機を含んでよい。全二重無線機は、ハードウェア(例えば、チョーク)を介して、またはプロセッサ(例えば、別個のプロセッサ(図示されず)もしくはプロセッサ118)を介する信号処理を介して、自己干渉を低減させ、および/または実質的に除去するために、干渉管理ユニット139を含んでよい。実施形態では、WTRU102は、(例えば、(例えば、送信用の)ULまたは(例えば、受信用の)ダウンリンクのどちらかのための特定のサブフレームと関連付けられた)信号のいくつかまたは全ての送信および受信のための、半二重無線機を含んでよい。
図1Cは、RAN104およびCN106を示すシステム図である。上述されたように、RAN104は、エアインタフェース116を通じてWTRU102a、102b、102cと通信するためにE−UTRA無線技術を採用してもよい。RAN104は、CN106とも通信してもよい。
RAN104は、eNodeB160a、160b、160cを含んでよいが、RAN104は、実施形態との整合性を維持しながら、任意の数のeNodeBを含んでよいことが理解されよう。eNodeB160a、160b、160cは、各々が、エアインタフェース116上においてWTRU102a、102b、102cと通信するための、1つまたは複数の送受信機を含んでよい。一実施形態では、eNodeB160a、160b、160cは、MIMO技術を実装してもよい。したがって、eNodeB160aは、例えば、複数のアンテナを使用して、WTRU102aに無線信号を送信し、および/またはWTRU102aから無線信号を受信してもよい。
eNodeB160a、160b、160cの各々は、特定のセル(図示されず)と関連付けられてもよく、無線リソース管理決定、ハンドオーバ決定、ならびにULおよび/またはDLにおけるユーザのスケジューリングなどを処理するように構成されてもよい。図1Cに示されるように、eNodeB160a、160b、160cは、X2インタフェース上において、相互に通信してもよい。
図1Cに示されるCN106は、モビリティ管理エンティティ(MME)162と、サービングゲートウェイ(SGW)164と、パケットデータネットワーク(PDN)ゲートウェイ(またはPGW)166とを含んでよい。上記の要素の各々は、CN106の部分として描かれているが、これらの要素のうちのいずれも、CNオペレータとは異なるエンティティによって所有および/または運営されてもよいことが理解されよう。
MME162は、S1インタフェースを介して、RAN104内のeNodeB160a、160b、160cの各々に接続されてもよく、制御ノードとしての役割を果たしてもよい。例えば、MME162は、WTRU102a、102b、102cのユーザを認証すること、ベアラアクティブ化/非アクティブ化、およびWTRU102a、102b、102cの初期アタッチ中に特定のサービングゲートウェイを選択することなどを担ってもよい。MME162は、RAN104と、GSMおよび/またはWCDMAなどの他の無線技術を利用する他のRAN(図示されず)との間における交換のためのコントロールプレーン機能を提供してもよい。
SGW164は、S1インタフェースを介して、RAN104内のeNodeB160a、160b、160cの各々に接続されてもよい。SGW164は、一般に、ユーザデータパケットを、WTRU102a、102b、102cに/WTRU102a、102b、102cからルーティングおよび転送してもよい。SGW164は、eNodeB間ハンドオーバ中にユーザプレーンをアンカリングすること、DLデータがWTRU102a、102b、102cに利用可能なときにページングをトリガすること、ならびにWTRU102a、102b、102cのコンテキストを管理および記憶することなど、他の機能を実行してもよい。
SGW164は、PGW166に接続されてもよく、PGW166は、インターネット110など、パケット交換ネットワークへのアクセスをWTRU102a、102b、102cに提供して、WTRU102a、102b、102cとIP対応デバイスとの間の通信を容易にすることができる。
CN106は、他のネットワークとの通信を容易にすることができる。例えば、CN106は、PSTN108など、回線交換ネットワークへのアクセスをWTRU102a、102b、102cに提供して、WTRU102a、102b、102cと従来の固定電話回線通信デバイスとの間の通信を容易にしてもよい。例えば、CN106は、CN106とPSTN108との間のインタフェースとしての役割を果たすIPゲートウェイ(例えば、IPマルチメディアサブシステム(IMS)サーバ)を含んでよく、またはそれと通信してもよい。加えて、CN106は、他のネットワーク112へのアクセスをWTRU102a、102b、102cに提供してもよく、他のネットワーク112は、他のサービスプロバイダによって所有および/または運営される他の有線および/または無線ネットワークを含んでもよい。
図1A乃至1Dにおいては、WTRUは、無線端末として説明されるが、ある代表的な実施形態では、そのような端末は、通信ネットワークとの有線通信インタフェースを(例えば、一時的または永続的に)使用することができることが企図されている。
実施例では、他のネットワーク112は、WLANであってもよい。
インフラストラクチャ基本サービスセット(BSS)モードにあるWLANは、BSSのためのアクセスポイント(AP)と、APと関連付けられた1つまたは複数の局(STA)とを有してもよい。APは、トラフィックをBSS内および/またはBSS外に搬送する、ディストリビューションシステム(DS)または別のタイプの有線/無線ネットワークへのアクセスまたはインタフェースを有してもよい。BSS外部から発信されたSTAへのトラフィックは、APを通じて到着してもよく、STAに配送されてもよい。STAからBSS外部の送信先に発信されたトラフィックは、それぞれの送信先に配送するために、APに送信されてもよい。BSS内のSTA間のトラフィックは、APを通じて送信されてもよく、例えば、送信元STAは、トラフィックをAPに送信してもよく、APは、トラフィックを送信先STAに配送してもよい。BSS内のSTA間のトラフィックは、ピアツーピアトラフィックと見なされてもよく、および/またはピアツーピアトラフィックと呼ばれてもよい。ピアツーピアトラフィックは、直接リンクセットアップ(DLS)を用いて、送信元STAと送信先STAとの間で(例えば、直接的に)送信されてもよい。ある代表的な実施形態では、DLSは、802.11e DLSまたは802.11zトンネルDLS(TDLS)を使用してもよい。独立BSS(IBSS)モードを使用するWLANは、APを有さなくてもよく、IBSS内の、またはIBSSを使用するSTA(例えば、STAの全て)は、相互に直接的に通信してもよい。IBSSモードの通信は、本明細書においては、ときに「アドホック」モードの通信と称されてもよい。
802.11acインフラストラクチャモードの動作または類似したモードの動作を使用するとき、APは、プライマリチャネルなどの固定されたチャネル上において、ビーコンを送信してもよい。プライマリチャネルは、固定された幅(例えば、20メガヘルツ幅帯域幅)、またはシグナリングを介して動的に設定された幅であってもよい。プライマリチャネルは、BSSの動作チャネルであってもよく、APとの接続を確立するために、STAによって使用されてもよい。ある代表的な実施形態では、例えば、802.11システムにおいては、キャリアセンス多重アクセス/衝突回避(CSMA/CA)が、実装されてもよい。CSMA/CAの場合、APを含むSTA(例えば、あらゆるSTA)は、プライマリチャネルをセンスしてもよい。プライマリチャネルが、センス/検出され、および/または特定のSTAによってビジーであると決定された場合、特定のSTAは、バックオフしてもよい。与えられたBSS内においては、いずれかの所与の時間に、1つのSTA(例えば、ただ1つの局)が、送信してもよい。
高スループット(HT)STAは、例えば、プライマリ20メガヘルツチャネルを隣接または非隣接20メガヘルツチャネルと組み合わせて、40メガヘルツ幅のチャネルを形成することを介して、通信のために40メガヘルツ幅チャネルを使用してもよい。
超高スループット(VHT)STAは、20メガヘルツ、40メガヘルツ、80メガヘルツ、および/または160メガヘルツ幅のチャネルをサポートすることができる。40メガヘルツおよび/または80メガヘルツチャネルは、連続する20メガヘルツチャネルを組み合わせることによって形成されてもよい。160メガヘルツチャネルは、8つの連続する20メガヘルツチャネルを組み合わせることによって形成されてもよく、または2つの非連続な80メガヘルツチャネルを組み合わせることによって形成されてもよく、これは、80+80構成と呼ばれてもよい。80+80構成の場合、データは、チャネルエンコーディングの後、データを2つのストリームに分割し得るセグメントパーサを通過させられてもよい。各ストリームに対して別々に、逆高速フーリエ変換(IFFT)処理、および時間領域処理が、行われてもよい。ストリームは、2つの80メガヘルツチャネル上にマッピングされてもよく、データは、送信STAによって送信されてもよい。受信STAの受信機においては、80+80構成のための上で説明された動作が、逆転されてもよく、組み合わされたデータは、メディアアクセス制御(MAC)に送信されてもよい。
1ギガヘルツ未満モードの動作は、802.11afおよび802.11ahによってサポートされる。チャネル動作帯域幅およびキャリアは、802.11nおよび802.11acにおいて使用されるそれらと比べて、802.11afおよび802.11ahにおいては低減させられる。802.11afは、TVホワイトスペース(TVWS)スペクトルにおいて、5メガヘルツ、10メガヘルツ、および20メガヘルツ帯域幅をサポートし、802.11ahは、非TVWSスペクトルを使用して、1メガヘルツ、2メガヘルツ、4メガヘルツ、8メガヘルツ、および16メガヘルツ帯域幅をサポートする。実施形態に従って、802.11ahは、マクロカバレッジエリアにおけるMTCデバイスなど、メータタイプ制御/マシンタイプコミュニケーションをサポートしてもよい。MTCデバイスは、一定の機能を、例えば、一定の帯域幅および/または限られた帯域幅のサポート(例えば、それらのサポートだけ)を含む限られた機能を有してもよい。MTCデバイスは、(例えば、非常に長いバッテリ寿命を維持するために)閾値を上回るバッテリ寿命を有するバッテリを含んでよい。
802.11n、802.11ac、802.11af、および802.11ahなど、複数のチャネルおよびチャネル帯域幅をサポートすることができるWLANシステムは、プライマリチャネルとして指定されてもよいチャネルを含む。プライマリチャネルは、BSS内の全てのSTAによってサポートされる最大の共通動作帯域幅に等しい帯域幅を有してもよい。プライマリチャネルの帯域幅は、BSS内において動作する全てのSTAの中の、最小帯域幅動作モードをサポートするSTAによって設定および/または制限されてもよい。802.11ahの例においては、BSS内のAPおよび他のSTAが、2メガヘルツ、4メガヘルツ、8メガヘルツ、16メガヘルツ、および/または他のチャネル帯域幅動作モードをサポートする場合であっても、1メガヘルツモードをサポートする(例えば、それだけをサポートする)STA(例えば、MTCタイプデバイス)のために、プライマリチャネルは、1メガヘルツ幅であってもよい。キャリアセンシングおよび/またはネットワークアロケーションベクトル(NAV)設定は、プライマリチャネルのステータスに依存してもよい。例えば、(1メガヘルツ動作モードだけをサポートする)STAが、APに送信しているせいで、プライマリチャネルが、ビジーである場合、周波数バンドの大部分が、アイドルのままであり、利用可能であり得るとしても、利用可能な周波数バンド全体が、ビジーと見なされてもよい。
米国では、802.11ahによって使用されてもよい利用可能な周波数バンドは、902メガヘルツから928メガヘルツである。韓国においては、利用可能な周波数バンドは、917.5メガヘルツから923.5メガヘルツである。日本においては、利用可能な周波数バンドは、916.5メガヘルツから927.5メガヘルツである。802.11ahのために利用可能な合計帯域幅は、国の規則に応じて、6メガヘルツから26メガヘルツである。
図1Dは、例示的なRAN113およびCN115を示すシステム図である。上述されたように、RAN113は、NR無線技術を利用して、エアインタフェース116上において、WTRU102a、102b、102cと通信してもよい。RAN113は、CN115とも通信してもよい。
RAN113は、gNB180a、180b、180cを含んでよいが、RAN113は、実施形態との整合性を維持しながら、任意の数のgNBを含んでよいことが理解されよう。gNB180a、180b、180cは、各々が、エアインタフェース116上においてWTRU102a、102b、102cと通信するための、1つまたは複数の送受信機を含んでよい。一実施形態では、gNB180a、180b、180cは、MIMO技術を実装してもよい。例えば、gNB180a、108bは、ビームフォーミングを利用して、gNB180a、180b、180cに信号を送信し、および/またはgNB180a、180b、180cから信号を受信してもよい。したがって、gNB180aは、例えば、複数のアンテナを使用して、WTRU102aに無線信号を送信し、および/またはWTRU102aから無線信号を受信してもよい。実施形態では、gNB180a、180b、180cは、キャリアアグリゲーション技術を実装してもよい。例えば、gNB180aは、WTRU102aに複数のコンポーネントキャリアを送信してもよい(図示されず)。これらのコンポーネントキャリアのサブセットは、免許不要スペクトル上にあってもよいが、残りのコンポーネントキャリアは、免許要スペクトル上にあってもよい。実施形態では、gNB180a、180b、180cは、多地点協調(CoMP)技術を実装してもよい。例えば、WTRU102aは、gNB180aとgNB180b(および/またはgNB180c)とから調整された送信を受信してもよい。
WTRU102a、102b、102cは、スケーラブルなヌメロロジ(numerology)と関連付けられた送信を使用して、gNB180a、180b、180cと通信してもよい。例えば、OFDMシンボル間隔、および/またはOFDMサブキャリア間隔は、異なる送信、異なるセル、および/または無線送信スペクトルの異なる部分ごとに様々であってもよい。WTRU102a、102b、102cは、(例えば、様々な数のOFDMシンボルを含む、および/または様々な長さの絶対時間だけ持続する)様々なまたはスケーラブルな長さのサブフレームまたは送信時間間隔(TTI)を使用して、gNB180a、180b、180cと通信してもよい。
gNB180a、180b、180cは、スタンドアロン構成および/または非スタンドアロン構成で、WTRU102a、102b、102cと通信するように構成されてもよい。スタンドアロン構成においては、WTRU102a、102b、102cは、(例えば、eNodeB160a、160b、160cなどの)他のRANにアクセスすることもなしに、gNB180a、180b、180cと通信してもよい。スタンドアロン構成においては、WTRU102a、102b、102cは、gNB180a、180b、180cのうちの1つまたは複数を、モビリティアンカポイントとして利用してもよい。スタンドアロン構成においては、WTRU102a、102b、102cは、免許不要バンド内において信号を使用して、gNB180a、180b、180cと通信してもよい。非スタンドアロン構成においては、WTRU102a、102b、102cは、eNodeB160a、160b、160cなどの別のRANとも通信し/別のRANにも接続しながら、gNB180a、180b、180cと通信し/gNB180a、180b、180cに接続してもよい。例えば、WTRU102a、102b、102cは、DC原理を実装して、1つまたは複数のgNB180a、180b、180c、および1つまたは複数のeNodeB160a、160b、160cと実質的に同時に通信してもよい。非スタンドアロン構成においては、eNodeB160a、160b、160cは、WTRU102a、102b、102cのためのモビリティアンカとしての役割を果たしてもよく、gNB180a、180b、180cは、WTRU102a、102b、102cにサービスするための追加のカバレッジおよび/またはスループットを提供することができる。
gNB180a、180b、180cの各々は、特定のセル(図示されず)と関連付けられてもよく、無線リソース管理決定、ハンドオーバ決定、ULおよび/またはDLにおけるユーザのスケジューリング、ネットワークスライシングのサポート、デュアルコネクティビティ、NRとE−UTRAとの間のインターワーキング、ユーザプレーンデータのユーザプレーン機能(UPF)184a、184bへのルーティング、ならびにコントロールプレーン情報のアクセスおよびモビリティ管理機能(AMF)182a、182bへのルーティングなどを処理するように構成されてもよい。図1Dに示されるように、gNB180a、180b、180cは、Xnインタフェース上において、互いに通信してもよい。
図1Dに示されるCN115は、少なくとも1つのAMF182a、182bと、少なくとも1つのUPF184a、184bと、少なくとも1つのセッション管理機能(SMF)183a、183bと、おそらくは、データネットワーク(DN)185a、185bとを含んでよい。上記の要素の各々は、CN115の部分として描かれているが、これらの要素のうちのいずれも、CNオペレータとは異なるエンティティによって所有および/または運営されてもよいことが理解されよう。
AMF182a、182bは、N2インタフェースを介して、RAN113内のgNB180a、180b、180cのうちの1つまたは複数に接続されてもよく、制御ノードとしての役割を果たしてもよい。例えば、AMF182a、182bは、WTRU102a、102b、102cのユーザを認証すること、ネットワークスライシングのサポート(例えば、異なる要件を有する異なるPDUセッションの処理)、特定のSMF183a、183bを選択すること、レジストレーションエリアの管理、NASシグナリングの終了、およびモビリティ管理などを担ってもよい。ネットワークスライシングは、WTRU102a、102b、102cによって利用されるサービスのタイプに基づいて、WTRU102a、102b、102cに対するCNサポートをカスタマイズするために、AMF182a、182bによって使用されてもよい。例えば、超高信頼低遅延(URLLC)アクセスに依存するサービス、高速大容量モバイルブロードバンド(eMBB)アクセスに依存するサービス、および/またはマシンタイプコミュニケーション(MTC)アクセスのためのサービスなど、異なる使用事例のために、異なるネットワークスライスが、確立されてもよい。AMF162は、RAN113と、LTE、LTE−A、LTE−A Pro、および/またはWiFiなどの非3GPPアクセス技術など、他の無線技術を利用する他のRAN(図示されず)との間の交換のためのコントロールプレーン機能を提供してもよい。
SMF183a、183bは、N11インタフェースを介して、CN115内のAMF182a、182bに接続されてもよい。SMF183a、183bは、N4インタフェースを介して、CN115内のUPF184a、184bにも接続されてもよい。SMF183a、183bは、UPF184a、184bを選択および制御し、UPF184a、184bを通じたトラフィックのルーティングを構成してもよい。SMF183a、183bは、UE IPアドレスの管理および割り当てを行うこと、PDUセッションを管理すること、ポリシ実施およびQoSを制御すること、ならびにダウンリンクデータ通知を提供することなど、他の機能を実行してもよい。PDUセッションタイプは、IPベース、非IPベース、およびイーサネットベースなどであってもよい。
UPF184a、184bは、N3インタフェースを介して、RAN113内のgNB180a、180b、180cのうちの1つまたは複数に接続されてもよく、それらは、インターネット110など、パケット交換ネットワークへのアクセスをWTRU102a、102b、102cに提供して、WTRU102a、102b、102cとIP対応デバイスとの間の通信を容易することができる。UPF184a、184bは、パケットをルーティングおよび転送すること、ユーザプレーンポリシを実施すること、マルチホーミングPDUセッションをサポートすること、ユーザプレーンQoSを処理すること、ダウンリンクパケットをバッファすること、ならびにモビリティアンカリングを提供することなど、他の機能を実行してもよい。
CN115は、他のネットワークとの通信を容易にすることができる。例えば、CN115は、CN115とPSTN108との間のインタフェースとしての役割を果たすIPゲートウェイ(例えば、IPマルチメディアサブシステム(IMS)サーバ)を含んでよく、またはそれと通信してもよい。加えて、CN115は、他のネットワーク112へのアクセスをWTRU102a、102b、102cに提供してもよく、他のネットワーク112は、他のサービスプロバイダによって所有および/または運営される他の有線および/または無線ネットワークを含んでよい。一実施形態では、WTRU102a、102b、102cは、UPF184a、184bへのN3インタフェース、およびUPF184a、184bとDN185a、185bとの間のN6インタフェースを介して、UPF184a、184bを通じて、ローカルデータネットワーク(DN)185a、185bに接続されてもよい。
図1A乃至図1D、および図1A乃至図1Dについての対応する説明に鑑みて、WTRU102a乃至d、基地局114a乃至b、eNodeB160a乃至c、MME162、SGW164、PGW166、gNB180a乃至c、AMF182a乃至b、UPF184a乃至b、SMF183a乃至b、DN185a乃至b、および/または本明細書において説明される他の任意のデバイスのうちの1つまたは複数に関する、本明細書において説明される機能の1つもしくは複数または全ては、1つまたは複数のエミュレーションデバイス(図示されず)によって実行されてもよい。エミュレーションデバイスは、本明細書において説明される機能の1つもしくは複数または全てをエミュレートするように構成された、1つまたは複数のデバイスであってもよい。例えば、エミュレーションデバイスは、他のデバイスをテストするために、ならびに/またはネットワークおよび/もしくはWTRU機能をシミュレートするために、使用されてもよい。
エミュレーションデバイスは、実験室環境において、および/またはオペレータネットワーク環境において、他のデバイスの1つまたは複数のテストを実施するように設計されてもよい。例えば、1つまたは複数のエミュレーションデバイスは、通信ネットワーク内の他のデバイスをテストするために、有線および/または無線通信ネットワークの一部として、完全または部分的に実施および/または展開されながら、1つもしくは複数または全ての機能を実行してもよい。1つまたは複数のエミュレーションデバイスは、有線および/または無線通信ネットワークの一部として、一時的に実施/展開されながら、1つもしくは複数または全ての機能を実行してもよい。エミュレーションデバイスは、テストの目的で、別のデバイスに直接的に結合されてもよく、および/またはオーバザエア無線通信を使用して、テストを実行してもよい。
1つまたは複数のエミュレーションデバイスは、有線および/または無線通信ネットワークの一部として実施/展開されずに、全ての機能を含む、1つまたは複数の機能を実行してもよい。例えば、エミュレーションデバイスは、1つまたは複数の構成要素のテストを実施するために、テスト実験室、ならびに/または展開されていない(例えば、テスト)有線および/もしくは無線通信ネットワークにおける、テストシナリオにおいて利用されてもよい。1つまたは複数のエミュレーションデバイスは、テスト機器であってもよい。データを送信および/または受信するために、直接RF結合、および/または(例えば、1つもしくは複数のアンテナを含んでよい)RF回路を介した無線通信が、エミュレーションデバイスによって使用されてもよい。
ビデオ信号の記憶要件および/または伝送帯域幅を削減するために、デジタルビデオ信号を圧縮するのにビデオコーディングシステムが使用されてもよい。ビデオコーディングシステムは、ブロック方式システム、ウェーブレット方式システム、および/またはオブジェクト方式システムを含んでもよい。ブロック方式ビデオコーディングシステムは、MPEG−1/2/4 part 2、H.264/MPEG−4 part 10 AVC、VC−1、High Efficiency Video Coding(HEVC)、および/またはVersatile Video Coding(VVC)を含んでもよい。
ブロック方式ビデオコーディングシステムは、ブロック方式ハイブリッドビデオコーディングフレームワークを含んでもよい。図2は、エンコーダに対する例示的なブロック方式ハイブリッドビデオ符号化フレームワークを示す。WTRUは、エンコーダを含んでもよい。入力ビデオ信号202は、ブロックごとに処理されてもよい。ブロックサイズ(例えば、コーディングユニット(CU)などの拡張されたブロックサイズ)は、高解像度(例えば、1080ピクセル以上)のビデオ信号を圧縮することができる。例えば、CUは、64×64画素またはそれよりも大きい画素を含んでもよい。CUは、予測ユニット(PU)に区分化されてもよく、および/または別個の予測が使用されてもよい。入力ビデオブロック(例えば、マクロブロック(MB)および/またはCU)に対し、空間予測260および/または時間予測262が実行されてもよい。空間予測260(例えば、イントラ予測)は、カレントビデオブロックを予測するために、ビデオピクチャ/スライス内のコーディングされた隣接ブロックのサンプル(例えば、参照サンプル(reference sample))からの画素を使用してもよい。空間予測260は、例えば、ビデオ信号に内在することがある空間的冗長性を削減することができる。動き予測262(例えば、インター予測および/または時間予測)は、例えば、カレントビデオブロックを予測するために、コーディングされたビデオピクチャからの再構築された画素を使用することができる。動き予測262は、例えば、ビデオ信号に内在することがある時間的冗長性を削減することができる。ビデオブロックについての動き予測信号は、1つもしくは複数の動きベクトルによってシグナリングされてもよく、ならびに/またはカレントブロックおよび/もしくはカレントブロックの参照ブロックの間の動きの量および/もしくは動きの方向を示すことができる。複数の参照ピクチャが(例えば、各々の)ビデオブロックに対してサポートされる場合、ビデオブロックの参照ピクチャインデックスが送信されてもよい。参照ピクチャインデックスは、動き予測信号が参照ピクチャストア264内のどの参照ピクチャから導出することができるかを識別するために使用されてもよい。
空間予測260および/または動き予測262の後、エンコーダにおけるモード決定ブロック280は、例えば、レート歪み最適化に基づいて、予測モード(例えば、最良の予測モード)を判定してもよい。予測ブロックは、カレントビデオブロック216から差し引かれてもよく、ならびに/または予測残差は、ターゲットビットレートなどのビットレートを達成するために変換204および/もしくは量子化206を使用して相関解除されてもよい。量子化された残差係数は、例えば、再構築された残差を形成するよう、量子化210において逆量子されてもよく、および/または変換212において逆変換されてもよく、再構築された残差は、例えば、再構築されたビデオブロックを形成するよう、予測ブロック226に追加されてもよい。再構築されたビデオブロックを参照ピクチャストア264に置くことができ、および/または再構築されたビデオブロックを、ビデオブロック(例えば、後のビデオブロック)をコーディングするために使用することができる前に、再構築されたビデオブロックに対してループフィルタ266においてインループフィルタリング(例えば、デブロッキングフィルタおよび/または適応ループフィルタ)が適用されてもよい。出力ビデオビットストリーム220を形成するために、コーディングモード(例えば、インターもしくはイントラ)、予測モード情報、動き情報、および/または量子化された残差係数は、例えば、圧縮および/またはパックされてビットストリームを形成するよう、エントロピコーディングモジュール208に送信されてもよい(例えば、全てが送信されてもよい)。
図3は、デコーダに対する例示的なブロック方式ビデオ復号フレームワークのブロック図を示す。WTRUは、デコーダを含んでもよい。ビデオビットストリーム302(例えば、図2におけるビデオビットストリーム220)は、エントロピ復号モジュール308においてアンパックされ(例えば、最初にアンパックされ)、および/またはエントロピ復号されてもよい。コーディングモードおよび予測情報は、予測ブロックを形成するよう、空間予測モジュール360に(例えば、イントラコーディングされる場合)、および/または動き補償予測モジュール362に(例えば、インターコーディングされる場合)送信されてもよい。残差変換係数は、例えば、残差ブロックを再構築するよう、逆量子化モジュール310および/または逆変換モジュール312に送信されてもよい。予測ブロックおよび/または残差ブロックは、326において共に追加されてもよい。再構築されたブロックは、例えば、再構築されたブロックが参照ピクチャストア364に記憶される前に、ループフィルタ366においてループフィルタリングを通ってもよい。参照ピクチャストア364内の再構築されたビデオ320は、ディスプレイデバイスに送信されてもよく、および/またはビデオブロック(例えば、後のビデオブロック)を予測するために使用されてもよい。
ビデオコーデックにおける双方向動き補償予測(MCP)の使用は、ピクチャの間の時間的相関を利用することによって、時間的冗長性を除去することができる。双予測信号は、重み値(例えば、0.5)を使用して、2つの片予測信号を組み合わせることによって形成されてもよい。特定のビデオでは、照度特性(illuminance characteristic)が1つの参照ピクチャから別の参照ピクチャに急激に変化することがある。よって、予測技術は、参照ピクチャにおける1つまたは複数のサンプル値に全体的(global)重みおよび全体的オフセット値または局所的(local)重みおよび局所的オフセット値を適用することによって、経時的な照度における変動(例えば、フェードする変遷(fading transition))を補償することができる。
経時的な照度における変化(例えば、フェードする変遷)を補償するために、1つまたは複数のコーディングツールが使用されてもよい。例えば、動き補償が実行される場合、経時的な照度における変化を補償するために、1つまたは複数のコーディングツールが使用されてもよい。1つまたは複数のコーディングツールは、例えば、重み付け予測(WP:weighted prediction)を含んでもよい。WPの例として、重みのセットおよび/またはオフセットのセットがスライスレベルにおいてシグナリングされてもよい。重みのセットは、倍数的重み(multiplicative weight)(複数可)を含んでもよい。オフセットのセットは、加算的オフセット(additive offset)(複数可)を含んでもよい。実施例では、各々の参照ピクチャリスト(L0およびL1)における参照ピクチャごとに、倍数的重みのセットおよび加算的オフセットのセットがシグナリングされてもよい(例えば、スライスレベルにおいて)。例えば、対応する参照ピクチャを使用することができるとき、重み(複数可)および/またはオフセット(複数可)のうちの1つまたは複数は、MCPの間に適用されてもよい。実施例では、照度がピクチャからピクチャへと線形的に変化するとき、WPが採用されてもよい。照度における変化が、例えば、ピクチャ/スライスレベルにおいて全体的である場合に、WPが採用されてもよい。
双予測モードにおけるMCPは、CU重みを使用して実行されてもよい。実施例として、MCPは、CU重みによる双予測を使用して実行されてもよい。CU重みによる双予測(BCW)の例は、一般化双予測(GBi)を含んでもよい。双予測信号は、重み(複数可)および/または参照ピクチャリスト(複数可)と関連付けられた動きベクトルに対応する動き補償予測信号(複数可)などのうちの1つまたは複数に基づいて計算されてもよい。実施例では、双予測モードでの(と仮定して)サンプルxにおける予測信号は、式(1)を使用して計算されてもよい。
Figure 2022502924
P[x]は、ピクチャ位置xに位置するサンプルxの結果として生じる予測信号を表してもよい。Pi[x+vi]は、i番目のリスト(例えば、リスト0、リスト1など)についての動きベクトル(MV)viを使用したxの動き補償予測信号を表してもよい。W0およびW1は、ブロックおよび/またはCUについての予測信号(複数可)に適用される2つの重み値を表してもよい。実施例として、W0およびW1は、ブロックおよび/またはCUにおけるサンプルにわたって共有された2つの重み値を表してもよい。様々な予測信号は、重み値(複数可)を調節することによって取得されてもよい。式(1)に示されるように、様々な予測信号は、重み値W0およびW1を調節することによって取得されてもよい。
重み値W0およびW1のいくつかの構成は、片予測および/または双予測などの予測を示すことができる。例えば、(W0,W1)=(1,0)は、参照リストL0による片予測と関連して使用されてもよい。(W0,W1)=(0,1)は、参照リストL1による片予測と関連して使用されてもよい。(W0,W1)=(0.5,0.5)は、2つの参照リスト(例えば、L1およびL2)による双予測と関連して使用されてもよい。
重み(複数可)は、CUレベルにおいてシグナリングされてもよい。実施例では、重み値W0およびW1は、CUごとにシグナリングされてもよい。双予測は、CU重みを使用してもよい。重みについての制約は、重みのペアに適用されてもよい。制約は、事前構成されてもよい。例えば、重みについての制約は、W0+W1=1を含んでもよい。重みがシグナリングされてもよい。シグナリングされた重みは、別の重みを判定するために使用されてもよい。例えば、CU重みについての制約により、1つの重みのみがシグナリングされてもよい。シグナリングオーバヘッドを削減することができる。重みのペアの例は、{(4/8,4/8),(3/8,5/8),(5/8,3/8),(−2/8,10/8),(10/8,−2/8)}を含んでもよい。
例えば、等しくない重みが使用されることになるとき、重みは、重みについての制約に基づいて導出されてもよい。WTRUは、重みインジケーションを受信してもよく、重みインジケーションに基づいて、第1の重みを判定してもよい。WTRUは、判定された第1の重みおよび重みについての制約に基づいて、第2の重みを導出してもよい。
式(2)が使用されてもよい。実施例では、式(2)は、式(1)およびW0+W1=1の制約に基づいて生成されてもよい。
Figure 2022502924
重み値(例えば、W1および/またはW0)が離散化されてもよい。重みシグナリングオーバヘッドを削減することができる。実施例では、双予測CU重み値W1が離散化されてもよい。離散化された重み値W1は、例えば、−2/8、2/8、3/8、4/8、5/8、6/8、および/または10/8などのうちの1つまたは複数を含んでもよい。例えば、双予測のために、CUに対して使用されることになる重みを示すために、重みインジケーションが使用されてもよい。重みインジケーションの例は、重みインデックスを含んでもよい。実施例では、各々の重み値は、インデックス値によって示されてもよい。
図4は、BCW(例えば、GBi)のサポートを有する例示的なビデオエンコーダのブロック図を示す。WTRUは、図4に示された実施例において説明されたようなエンコーダを含んでもよい。エンコーダは、モード決定モジュール404、空間予測モジュール406、動き予測モジュール408、変換モジュール410、量子化モジュール412、逆量子化モジュール416、逆変換モジュール418、ループフィルタ420、参照ピクチャストア422、およびエントロピコーディングモジュール414を含んでもよい。実施例では、エンコーダのモジュールまたは構成要素のいくつかまたは全て(例えば、空間予測モジュール406)は、図2と関連して説明されたモジュールまたは構成要素と同一または類似であってもよい。加えて、空間予測モジュール406および動き予測モジュール408は、画素ドメイン予測モジュールであってもよい。よって、入力ビデオビットストリーム402は、ビデオビットストリーム424を出力するよう、入力ビデオビットストリーム202と同様の方式において処理されてもよい。動き予測モジュール408は更に、CU重みによる双予測のサポートを含んでもよい。それ自体として、動き予測モジュール408は、重み付けされた平均化方式において2つの別個の予測信号を組み合わせてもよい。更に、選択された重みインデックスは、入力ビデオビットストリーム402においてシグナリングされてもよい。
図5は、エンコーダに対するCU重みによる双予測についてのサポートを有する例示的なモジュールの図である。図5は、推定モジュール500のブロック図を示す。推定モジュール500は、動き予測モジュール408など、エンコーダの動き予測モジュールにおいて採用されてもよい。推定モジュール500は、BCW(例えば、GBi)と関連して使用されてもよい。推定モジュール500は、重み値推定モジュール502および動き推定モジュール504を含んでもよい。推定モジュール500は、最終的なインター予測信号などのインター予測信号を生成するために、2ステップ処理を利用してもよい。動き推定モジュール504は、参照ピクチャストア506から受信された参照ピクチャ(複数可)を使用して、および(例えば、2つの)参照ブロックを示す2つの最適な動きベクトル(MV)を探索することによって、動き推定を実行してもよい。重み値推定モジュール502は、カレントビデオブロックと双予測との間の重み付けされた双予測誤差を最小化するよう、最適な重みインデックスを探索してもよい。一般化双予測の予測信号は、2つの予測ブロックの重み付け平均として計算されてもよい。
図6は、CU重みによる双予測についてのサポートを有する例示的なブロック方式ビデオデコーダの図である。図6は、エンコーダからビットストリームを復号することができる例示的なビデオデコーダのブロック図を示す。エンコーダは、BCWをサポートすることができ、および/または図4と関連して説明されたエンコーダといくつかの類似点を共有してもよい。WTRUは、図6に示される実施例において説明されるようなデコーダを含んでもよい。図6に示されるように、デコーダは、エントロピデコーダ604、空間予測モジュール606、動き予測モジュール608、参照ピクチャストア610、逆量子化モジュール612、逆変換モジュール614、およびループフィルタモジュール618を含んでもよい。デコーダのモジュールのいくつかまたは全ては、図3と関連して説明されたモジュールと同一または類似であってもよい。例えば、予測ブロックおよび/または残差ブロックは、616においてともに加算されてもよい。ビデオビットストリーム602は、ディスプレイデバイスに送信することができ、および/またはビデオブロック(例えば、後のビデオブロック)を予測するために使用することができる、再構築されたビデオ620を生成するよう処理されてもよい。動き予測モジュール608は更に、BCWについてのサポートを含んでもよい。コーディングモードおよび/または予測情報は、BCWについてのサポートを有する空間予測またはMCPのいずれかを使用して予測信号を導出するために使用されてもよい。BCWに対し、ブロック動き情報および/または重み値(例えば、重み値を示すインデックスの形式にある)は、予測ブロックを生成するよう受信および復号されてもよい。
図7は、デコーダに対するCU重みによる双予測についてのサポートを有する例示的なモジュールの図である。図7は、予測モジュール700のブロック図を示す。予測モジュール700は、動き予測モジュール608など、デコーダの動き予測モジュールにおいて採用されてもよい。予測モジュール700は、BCWと関連して使用されてもよい。予測モジュール700は、重み付け平均モジュール702および動き補償モジュール704を含んでもよく、動き補償モジュール704は、参照ピクチャストア706から1つまたは複数の参照ピクチャを受信してもよい。予測モジュール700は、BCWの予測信号を、(例えば、2つの)動き補償予測ブロックの重み付け平均として計算するために、ブロック動き情報および重み値を使用してもよい。
ズームイン/アウト動き、回転動き、視点動き(perspective motion)、および他の不規則な動きなど、特定のビデオ内の様々なタイプの動きが存在することがある。並進動きモデル(translational motion model)および/またはアフィン動きモデルがMCPに対して適用されてもよい。アフィン動きモデルは、4パラメータおよび/または6パラメータであってもよい。並進動きモデルまたはアフィン動きモデルがインター予測に対して適用されるかどうかを示す、(例えば、各々の)インターコーディングされたCUについての第1のフラグがシグナリングされてもよい。アフィン動きモデルが適用される場合、モデルが4パラメータまたは6パラメータであるかどうかを示す、第2のフラグが送信されてもよい。
4パラメータアフィン動きモデルは、垂直方向および水平方向における並進移動についての2パラメータ、垂直方向および水平方向におけるズーム動きについての1パラメータ、ならびに/または垂直方向および水平方向における回転動きについての1パラメータを含んでもよい。水平ズームパラメータは、垂直ズームパラメータに等しくてもよい。水平回転パラメータは、垂直回転パラメータに等しくてもよい。4パラメータアフィン動きモデルは、(例えば、カレント)CUの左上角および右上角において定義された2つの制御点位置における2つの動きベクトルを使用してコーディングされてもよい。
図8は、例示的な4パラメータアフィンモードの図である。図8は、ブロックの例示的なアフィン動きフィールドを示す。図8に示されるように、ブロックは、2つの制御点動きベクトル(V0,V1)によって記述されてもよい。制御点動きに基づいて、1つのアフィンコーディングされたブロックの動きフィールド(vx,vy)は、式(3)において記述されてもよい。
Figure 2022502924
式(3)では、(v0x,v0y)は、左上角の制御点の動きベクトルであってもよい。(v1x,v1y)は、右上角の制御点の動きベクトルであってもよい。wは、CUの幅であってもよい。アフィンコーディングされたCUの動きフィールドは、4×4ブロックのレベルにおいて導出されてもよい。例えば、(vx,vy)は、カレントCU内の4×4ブロックごとに導出されてもよく、対応する4×4ブロックに適用されてもよい。
4パラメータは、反復的に推定されてもよい。ステップkにおける動きベクトルのペアは、
Figure 2022502924
として表されてもよく、元の輝度信号は、I(i,j)として表されてもよく、予測輝度信号は、I'k(i,j)として表されてもよい。空間的勾配
Figure 2022502924
および
Figure 2022502924
は、水平方向および垂直方向のそれぞれにおいて予測信号I'k(i,j)に対して適用されるSobelフィルタを使用して導出されてもよい。式(1)の導関数は、式(4)として表されてもよい。
Figure 2022502924
式(4)では、(a,b)は、ステップkにおけるデルタ並進パラメータであってもよく、(c,d)は、ステップkにおけるデルタズームパラメータおよびデルタ回転パラメータであってもよい。制御点におけるデルタMVは、式(5)および式(6)にあるその座標により導出されてもよい。例えば、(0,0)、(w,0)は、左上の制御点および右上の制御点のそれぞれについての座標であってもよい。
Figure 2022502924
Figure 2022502924
オプティカルフローの式に基づいて、輝度の変化と空間的勾配および時間的移動との間の関係は、式(7)として定式化されてもよい。
Figure 2022502924
式(4)により
Figure 2022502924
および
Figure 2022502924
を構成することは、パラメータ(a,b,c,d)について式(8)を生成することができる。
Figure 2022502924
CUにおけるサンプルが式(8)を満たす場合、パラメータセット(a,b,c,d)は、例えば、最小二乗法計算を使用して導出されてもよい。ステップ(k+1)における2つの制御点
Figure 2022502924
での動きベクトルは、式(5)および式(6)により導出されてもよく、それらは、特定の精度(例えば、1/4ペル)に丸められてもよい。反復を使用して、パラメータ(a,b,c,d)がゼロになることができるときに集束するまで、または反復回数が予め定義された制限を満たすまで、2つの制御点における動きベクトルを精緻化(refine)することができる。
6パラメータアフィン動きモデルは、水平方向および垂直方向における並進移動についての2つパラメータを含んでもよく、1つのパラメータは、ズーム動きについてのものであり、1つのパラメータは、水平方向における回転動きについてのものであり、1つのパラメータは、ズーム動きについてのものであり、および/または1つのパラメータは、垂直方向における回転動きについてのものである。6パラメータアフィン動きモデルは、3つの制御点における3つの動きベクトルによりコーディングされてもよい。図9は、例示的な6パラメータアフィンモードの図である。図9に示されるように、6パラメータアフィンのコーディングされたCUについての3つの制御点は、CUの左上角、右上角、および/または左下角において定義されてもよい。左上の制御点における動きは、並進動きに関連してもよい。右上の制御点における動きは、水平方向における回転動きおよびズーム動きに関連してもよい。左下の制御点における動きは、垂直方向における回転動きおよびズーム動きに関連してもよい。6パラメータアフィン動きモデルでは、水平方向における回転動きおよびズーム動きは、垂直方向におけるそれらの動きと同一でないことがある。実施例では、各々のサブブロック(vx,vy)の動きベクトルは、3つの動きベクトルを制御点として使用して、式(9)および式(10)から導出されてもよい。
Figure 2022502924
Figure 2022502924
式(9)および式(10)では、(v2x,v2y)は、左下の制御点の動きベクトルであってもよい。(x,y)は、サブブロックの中心位置であってもよい。wおよびhは、CUの幅および高さであってもよい。
6パラメータアフィンモデルの6パラメータは、例えば、同様の方式において推定されてもよい。例えば、式(11)は、式(4)に基づいて生成されてもよい。
Figure 2022502924
式(11)では、ステップkの間、(a,b)は、デルタ並進パラメータであってもよい。(c,d)は、水平方向についてのデルタズームパラメータおよびデルタ回転パラメータであってもよい。(e,f)は、垂直方向についてのデルタズームパラメータおよびデルタ回転パラメータであってもよい。例えば、式(12)は、式(8)に基づいて生成されてもよい。
Figure 2022502924
パラメータセット(a,b,c,d,e,f)は、CU内のサンプルを考慮することによって、最小二乗法計算を使用して導出されてもよい。左上の制御点
Figure 2022502924
の動きベクトルは、式(5)を使用して計算されてもよい。右上の制御点
Figure 2022502924
の動きベクトルは、式(13)を使用して計算されてもよい。左下の制御点
Figure 2022502924
の動きベクトルは、式(14)を使用して計算されてもよい。
Figure 2022502924
Figure 2022502924
並進動きモデルについての適応的精度が利用されてもよい。非マージモードおよび非アフィンインターモードとしてコーディングされたCUに対し、カレントCUの動きベクトルとその予測子との間の動きベクトル差(MVD)は、1/4ペルの精度、1ペルの精度、または4ペルの精度などの異なる精度においてコーディングされてもよい。1/4ペルは、分数精度(fractional precision)であってもよい。1ペルおよび4ペルの両方は、整数精度(integer precision)に属してもよい。実施例では、精度は、MVD精度を示すよう、CUごとの複数の(例えば、2つの)フラグによりシグナリングされてもよい。第1のフラグは、精度が1/4ペルなどの分数精度であるかどうかを示すことができる。精度が分数精度(例えば、1/4ペル)でない場合、精度が1ペルの精度または4ペルの精度などの整数精度であるかどうかを示す、第2のフラグがシグナリングされてもよい。動き推定では、デルタ動きベクトルは、初期動きベクトルの周りで探索されてもよく、初期動きベクトルは、開始位置として扱われてもよい。開始位置は、その空間的予測子および時間的予測子から選択されてもよい。開始動きベクトルは、例えば、実装を容易にするために、MVDシグナリングのための精度に丸められてもよい。判定された(例えば、必要とされる)精度を有するMVD候補が探索されてもよい。
動きベクトル予測子は、MVD精度に丸められてもよい。エンコーダは、異なるMVD精度についてのレート歪み(RD)コストをチェックしてもよく、および/またはMVD精度を選択してもよい。実施例では、選択されたMVD精度は、最小RDコストを有する最適な精度であってもよい。RDコストは、サンプル値歪みおよびコーディングレートの重み付け合計によって計算されてもよい。RDコストは、コーディング性能の測定値であってもよい。より低いRDコストによるコーディングモードは、より良好な全体的なコーディング性能を示すことができる。MVD精度に関連するフラグは、MVD成分のうちの少なくとも1つ(例えば、L0動きベクトルまたはL1動きベクトルの水平成分または垂直成分)がゼロでないときにシグナリングされてもよい。シグナリングオーバヘッドを削減することができる。シグナリングされたMVD成分がゼロである場合、MVD精度は、1/4ペルの精度であると推測されてもよい。
(例えば、効率的な)時間予測をもたらすために、ランダムアクセス構成において階層予測構造が使用されてもよい。図10は、時間レイヤ(TL)を有する例示的な階層予測構造の図である。図10は、ピクチャ0〜8などのピクチャオーダカウント(POC)を有するピクチャと関連して、4つの時間レイヤ(TL)(例えば、TL−0、TL−1、TL−2、およびTL−3)を使用した例示的な階層予測を示す。図10における矢印は、カレントピクチャとその参照ピクチャ(複数可)との間の予測関係を表す。参照ピクチャ(複数可)から始まる矢印は、予測されるカレントピクチャにつながってもよい。階層予測では、より上位のTLピクチャは、時間的距離においてより近い参照ピクチャから予測されてもよい。例えば、TL−3におけるピクチャ(例えば、ピクチャ3)は、時間的に隣接したピクチャ(例えば、TL−2におけるピクチャ2)から予測されてもよい。より下位のTLピクチャは、それらの参照ピクチャからのより長い時間的距離を有してもよい。図10に示されるように、TL−0におけるピクチャ8は、TL−0におけるその参照ピクチャ0から8個分離れたピクチャ(8 pictures away from its reference picture 0 in TL-0)であってもよい。図10におけるTL−3などの最高位のTLにおけるピクチャ(複数可)は、参照ピクチャとしての役割を果たさなくてもよい。それらは、非参照ピクチャと称されてもよい。図10は、4つのTLを有する実施例を示すが、所望の(例えば、より深い)階層を達成するために、いずれかの適切な数のTL(例えば、5つ以上)が採用されてもよい。
階層予測では、例えば、カレントピクチャが存在するTLに応じて、ピクチャ/スライスレベル量子化パラメータ(QP)値が適合されてもよい。例えば、TL0におけるピクチャに対してQP0が使用されてもよく、TLxにおけるピクチャに対してQP0+Delt(TLx)が使用されてもよい。Delta()は、TLに基づいた関数であってもよい。Delta()は、ゼロまたは正の整数であってもよい。実施例では、Delta(TLx)は、TLxに設定されてもよい。
ビデオコーディングにおける双予測は、複数の(例えば、2つの)時間予測ブロックおよび/またはCUの組み合わせに基づいてもよい。時間予測ブロック(および/またはCU)が組み合わされてもよい。実施例では、再構築された参照ピクチャから取得された2つの時間予測ブロックは、平均化を使用して組み合わされてもよい。双予測は、ブロック方式動き補償に基づいてもよい。双予測における(例えば、2つの)予測ブロックの間で相対的に小さい動きを観察することができる。
例えば、予測ブロックの間で観察された相対的に小さい動きを補償するために、双方向オプティカルフロー(BDOF)が使用されてもよい。BDOFは、ブロックの内部のサンプルについてのそのような動きを補償するために適用されてもよい。実施例では、BDOFは、ブロックの内部の個々のサンプルについてのそのような動きを補償することができる。これは、動き補償予測の効率性を増大させることができる。
BDOFは、ブロックおよび/またはCUと関連付けられた動きベクトル(複数可)を精緻化することを含んでもよい。実施例では、BDOFは、双予測が使用されるとき、ブロック方式動き補償予測の最上部で実行されるサンプルワイズ動き精緻化(sample-wise motion refinement)を含んでもよい。BDOFは、サンプルに対する精緻化された動きベクトル(複数可)を導出することを含んでもよい。BDOFの例として、ブロックにおける個々のサンプルに対する精緻化された動きベクトルの導出は、オプティカルフローモデルに基づいてもよい。
BDOFは、ブロックおよび/もしくはCUの位置、ブロックおよび/もしくはCUの位置と関連付けられた勾配(例えば、水平および/もしくは垂直など)、ならびに/または位置についての対応する参照ピクチャリストと関連付けられたサンプル値など、のうちの1つまたは複数に基づいて、ブロックおよび/またはCUと関連付けられた動きベクトルを精緻化することを含んでもよい。サンプルに対する精緻化された動きベクトルを導出するために、式(14B)が使用されてもよい。式(14B)に示されるように、I(k)(x,y)は、参照ピクチャリストk(k=0,1)から導出された、予測ブロックの座標(x,y)におけるサンプル値を表すことができる。∂I(k)(x,y)/∂xおよび∂I(k)(x,y)/∂yは、サンプルの水平勾配および垂直勾配であってもよい。(x,y)における動き精緻化(vx,vy)は、式(14B)を使用して導出されてもよい。式(14B)は、オプティカルフローモデルが有効であるとの推定に基づいてもよい。
Figure 2022502924
BDOF予測は、オプティカルフローモデルおよび動き軌道に沿った予測ブロックの補間に基づいてもよい。式(14C)は、BDOF予測のためのオプティカルフローモデル(例えば、式(14B)に示された)および動き軌道に沿った予測ブロックの補間の組み合わせを使用した実施例を示す。τ1およびτ0は、参照ピクチャからカレントピクチャへの時間距離を表すことができる。
Figure 2022502924
例示的なエンコーダ/デコーダ(例えば、図4に示された例示的なエンコーダおよび図6に示された例示的なデコーダ)と共に、複数のコーディング技術が利用されてもよい。実施例では、WPおよびBCW(例えば、GBi)は、例示的なエンコーダ/デコーダにおいて共に利用されてもよい。BCWおよびWPが共に使用されるとき、WPが有効にされてもよい。例えば、参照ピクチャは、重みおよびオフセットなどのWPパラメータによりシグナリングされてもよい。コーディングブロックレベルにおいて、参照ピクチャが双予測によりコーディングされる場合、BCW重みがシグナリングされてもよい。WPパラメータは、全体的照度変化と関連付けられてもよい。BCWについてのパラメータは、コーディングブロックについての局所的照度変化と関連付けられてもよい。
WPパラメータおよびBCWについてのパラメータは、共に適用されてもよい。例えば、WPパラメータおよびBCWについてのパラメータは、2ステップ処理の一部として適用されてもよい。2ステップ処理の実施例として、WPパラメータが最初に適用されてもよく、それに続き、BCWについてのパラメータが適用されてもよい。図15は、WPパラメータおよびBCWについてのパラメータを適用する実施例を示す。図15に示されるように、コーディングブロックBは、2つの参照ピクチャリストからの参照ピクチャr0およびr1により双予測されてもよい。P(r0)およびP(r1)は、r0およびr1からの2つの予測子を表すことができる。r0およびr1についてのWPパラメータは、(W0,O0)および(W1,O1)を含んでもよい。r0およびr1についてのCU重みによる双予測の重み付けパラメータは、r0およびr1についてのCU重みによる双予測の重み付けパラメータは、((1−WGBi),WGBi)を含んでもよい。
Figure 2022502924
固定点の実装(fixed-point implementation)の実施例として、WPおよびBCW(例えば、GBi)は、NGBi,NWPをスケーリングするためのいくつかのビットなど、スケーリングするための1つまたは複数のビットを含んでもよい。式(15)は、式(16)に示される実施例として記述されてもよい。
Figure 2022502924
式(16)では、SGBiは、(1<<NGBi)に等しくてもよい。W’GBiは、SGBiによってスケーリングされたWGBiの固定点表現であってもよい。(W’0,O’0)および(W’1,O’1)は、(1<<NWP)によってスケーリングされたWPパラメータの固定点表現であってもよい。丸められた値は、(1<<(NGBi+NWP−1)に等しくてもよく、丸めのために使用されてもよい。
実施例では、WPが双予測によりコーディングされたコーディングブロックに対して使用されないとき、BCWが使用されてもよい。WPが双予測によりコーディングされたコーディングブロックに対して使用されるとき、GBiが使用されてもよい。例えば、いくつかの参照ピクチャに対し、WPパラメータがシグナリングされなくてもよい。いくつかの参照ピクチャに対し、重みが1であってもよく、オフセットが0であってもよい。カレントブロックが両方の参照ピクチャについてのWPを使用しない場合、BCWについてのパラメータ(複数可)がシグナリングされてもよい。カレントコーディングブロックがいずれかの参照ピクチャリストにおけるWPを使用する場合、BCWについてのパラメータ(複数可)がシグナリングされなくてもよい。BCWと関連付けられたシグナリングオーバヘッドを削減することができる。
実施例では、コーディングブロックがWPを使用する場合、BCWについてのパラメータ(複数可)がシグナリングされてもよい。CU重みが特定の値(例えば、0.5)に等しくないとき、双予測信号は、BCWについてのCU重み(複数可)およびWPのオフセットパラメータを使用することによって生成されてもよい。実施例では、式(17)は、式(15)に基づいて生成されてもよい。
Figure 2022502924
CU重みが特定の値(例えば、0.5)に等しい場合、修正されていないWPが適用されてもよい。実施例では、エンコーダ側において、WPオフセットは、重み(例えば、0.5に等しくない)を仮定して、双予測動き推定において考慮されてもよい。全体的照度における変化は、WPオフセットによって補償されてもよく、局所的照度における変化は、CU重みによって補償されてもよい。
BCW(例えば、GBi)は、1つまたは複数の重みに基づいてもよい。BCW重みがシグナリングされてもよい。実施例では、低遅延ピクチャに対して5つの重み(例えば、−2/8、3/8、4/8、5/8、および10/8)が使用されてもよく、非低遅延ピクチャに対して3つの重み(例えば、3/8、4/8、5/8)が使用されてもよい。CUが双予測モードを使用してコーディングされる場合、CUについてのBCW重みがシグナリングされてもよい。例えば、BCWにおけるカレントCUに対して使用されることになるBCW重みを示すために、重みインジケーションが使用されてもよい。表1に示されるように、重みインジケーションは、予め定められたBCW重み(例えば、−2/8、3/8、4/8、5/8、および10/8)に対応するインデックス値を含んでもよい。異なる予め定められたBCW重みは、異なる対応するインデックス値を有してもよい。
実施例では、CUが双予測モードを使用してコーディングされる場合、BCW重みは、切り捨てられた単項コーディング(truncated unary coding)に基づいてシグナリングされてもよい。表1は、低遅延ピクチャに対する例示的な切り捨てられた単項コーディングスキームを示す。表2は、非低遅延ピクチャに対する例示的な切り捨てられた単項コーディングスキームを示す。
Figure 2022502924
Figure 2022502924
特定の重みが最も頻繁に使用される重みであるとして考慮されてもよい。例えば、重み4/8は、最も頻繁に使用される重みであるとして考慮されてもよい。最も頻繁に使用される重みであるとして考慮される重みは、他の重みをシグナリングするために使用されるビットの数よりも少ない数のビットを使用してシグナリングされてもよい。最も頻繁に使用される重みであるとして考慮される重みは、最小数のビットによりシグナリングされてもよい。実施例では、最も頻繁に使用される重みであるとして考慮される重みは、1ビットによりシグナリングされてもよい。重みがシグナリングされない場合、最も頻繁に使用される重みは、デフォルトの重みであってもよい。
例えば、隣接したCU(複数可)の重みに基づいて、CUの重みが導出されてもよい。実施例では、CUの重みは、空間的相関などの因子に起因して発生することがある、隣接したCU(複数可)の重みと同一であってもよい。CUの重みは、空間的相関に基づいて導出されてもよい。シグナリングオーバヘッドを削減することができる。
実施例では、カレントCUについての最も可能性のある重みは、隣接したCU(複数可)から導出されてもよい。例えば、カレントCUの最も可能性のある重みは、5つの空間的に隣接したCUの最も使用される重みであるように設定されてもよい。5つの空間的に隣接したCUは、(例えば、マージモードにおける)左に隣接したCU、上に隣接したCU、左下に隣接したCU、右上に隣接したCU、および左上に隣接したCUを含んでもよい。隣接したCUが双予測を使用して、またはマージモードを使用してコーディングされない場合、隣接したCUの重みは、特定の値(例えば、4/8)として扱われてもよい。
カレントCUの重みが最も可能性のある重みに等しいことを示すインジケーション(例えば、フラグ)がシグナリングされてもよい。カレントCUの重みが最も可能性のある重みとは異なる場合、重みがシグナリングされてもよい。本明細書における実施例では、低遅延ピクチャに対する4つの残りの重み(remaining weight)および非低遅延に対する2つの残りの重みが存在してもよい。残りの重みは、可変長コーディング(例えば、二値化の後の)および/または固定長コーディングによりシグナリングされてもよい。固定長コーディングが使用される場合、4つの重みは、重み値ごとに2ビットを使用してシグナリングされてもよく、2つの重みは、重み値ごとに1ビットを使用してシグナリングされてもよい。
BCW(例えば、GBi)は、並進モデル、4パラメータアフィン動きモデル、および/または6パラメータアフィン動きモデルなどのうちの1つ以上を含む、1つまたは複数の動きモデルに適用されてもよい。CU重みによる双予測のために1つまたは複数の重みが使用されてもよい。本明細書における実施例として、低遅延ピクチャに対して5つの重み(例えば、−2/8、3/8、4/8、5/8、10/8)が使用されてもよく、非低遅延ピクチャに対して3つの重み(例えば、3/8、4/8、5/8)が使用されてもよい。重みは、異なるMVD精度(例えば、1/4ペル、1ペル、および/または4ペルなど)の双予測インターコーディングモードに対して選択されてもよい。実施例では、異なるMVD精度による双予測インターコーディングモードごとに、重みは、RDコストに基づいて選択されてもよい。RDコスト計算(例えば、GBiについての)は、双予測および/またはエントロピコーディングに対する動き推定を含んでもよい。特定のケースにおいてアフィン動き推定が無効にされてもよい。
動きモデルおよび/またはMVD精度と関連付けられた特定の動き推定は、BCW重みに基づいてスキップされてもよい。実施例では、異なる重みについてのアフィン動き推定は、早期に終結(terminated)されてもよい。MVD精度と関連付けられた特定の重み候補選択がバイパスされてもよい。特定のMVD精度についての特定の重み候補選択がバイパスされてもよい。実施例では、最も可能性のある重みではないいくつかの重みについての動き推定は、特定の動きモデルおよび/または特定のMVD精度に対してスキップされてもよい。
特定の重みと関連付けられたアフィン動き推定は、無効にされてもよく、またはバイパスされてもよい。アフィン動き推定は、反復処理であってもよい。アフィン動き推定(例えば、反復ごとの)は、予測信号を生成するために動き補償を適用すること、予測信号を使用して水平勾配および/もしくは垂直勾配を計算すること、相関行列を計算すること、ならびに/または最小二乗法計算に基づいてアフィン動きモデルパラメータを導出することなど、のうちの1つまたは複数を含んでもよい。1つの反復の計算のレベルは、相対的に高くてもよい。1つまたは複数の重みと関連付けられた動き推定が実行されてもよい。例えば、CU重みによる双予測が有効にされる場合、コーディングブロックまたはCUの参照ピクチャリストと関連付けられた取り得る重みは、テストまたは試験されてもよい。重みに対し、エンコーダは、4パラメータアフィン動き推定および/または6パラメータアフィン動き推定を実行してもよい。重みが特定の値に等しく、または等しくない場合、アフィン動き推定が早期に終結されてもよい。実施例では、重みが4/8に等しくない場合、アフィン動き推定が無効にされてもよく、またはバイパスされてもよい。
重みが特定の値(例えば、4/8)に等しいことを条件に、アフィン動き推定が実行されてもよく、他の重みに対してアフィン動き推定が実行されなくてもよい。それ自体として、それぞれの重み(例えば、4/8)は、アフィンコーディングモードに対して適用可能であってもよい。例えば、インターコーディングされたCUについての重みが示され、またはシグナリングされる前に、アフィンモードが示されてもよく、またはシグナリングされてもよい。コーディングブロックがアフィンモードである場合、重みが推測されてもよい。コーディングブロックがアフィンモードである場合、重みがシグナリングされなくてもよい。アフィンコーディングされたCUについてのシグナリングオーバヘッドを削減することができる。
他の重みと関連付けられたアフィン動き推定を無効にし、またはバイパスするかどうかを判定するために、特定の重み(複数可)と関連付けられたコーディング結果が使用されてもよい。実施例では、重み4/8と関連付けられた動き推定に対するRDコストは、他の重みと関連付けられたアフィン動き推定をバイパスするかどうかを判定するために使用されてもよい。エンコーダは、特定の順序において重みのRDコストを評価してもよい。例えば、エンコーダは、重み4/8を最初に評価してもよく、それに続き、重み−2/8、10/8、3/8、および5/8を評価してもよい。エンコーダは、他の重みと関連付けられたアフィン動き推定をバイパスするかどうかを判定するために、重み4/8のコーディング結果を使用してもよい。例えば、重みが4/8であるときに、アフィンモデルの動き推定コストが、閾値(例えば、1.05)によって乗算された並進モデルの動き推定コストよりも大きい場合、−2/8、10/8、3/8、および/または5/8などの1つまたは複数の他の重みに対してアフィン動き推定がスキップされてもよい。
エンコーダは、カレントモードに基づいて、1つまたは複数の他の重みについてのアフィン動き推定をバイパスするかどうかを判定してもよい。図11は、特定のMVD精度および/または特定の重みについてアフィン動き推定をスキップするかどうかを判定する実施例の図である。図11(a)に示される実施例では、ペル1/4について、全ての重みおよびアフィンモードがチェックされてもよい。図11(b)に示される実施例では、エンコーダは、重み4/8による符号化の後に、(例えば、最良の)コーディングモードをチェックしてもよい。BCW重みは、式(17)に示されるように、WBCWを含んでもよい。例えば、リストごとの重みの合計は、1であってもよい。WBCWは、list1に対するものであってもよく、list0に対する重みは、(1−WBCW)であってもよい。重み4/8によるアフィンモードがカレント(例えば、最良の)モードとして選択される場合、他の重みについての動き推定が実行されてもよい。このケースでは、並進モデルについての動き推定が実行されてもよく、または実行されなくてもよい。重み4/8によるアフィンモーがカレント(例えば、最良の)モードとして選択されない場合、−2/8、10/8、3/8、および/または5/8などの1つまたは複数の他の重みに対して、アフィン動き推定がスキップされてもよい。アフィンモードと関連付けられた重みは、1つのリストに対するものであってもよく、別のリストに対する重みは、1である2つの重みの合計に基づいて導出されてもよい。例えば、この制約を使用して、4/8が1つのリストに対するものである場合、別のリストに対する重みは、等しい重みを示す4/8であってもよい。
異なるMVD精度の中で、重み候補選択が早期に終結されてもよい。特定のMVD精度と関連付けられた特定の重み候補選択がバイパスされてもよい。コーディングシステムは、MVDについての1つまたは複数の精度(例えば、1/4ペル、1ペル、4ペル)をサポートすることができる。エンコーダは、1つもしくは複数の精度(例えば、3つの)のRDコストを計算してもよく、および/または計算されたRDに基づいて、最良の精度を選択してもよい。エンコーダは、1つまたは複数の精度のRDコストを比較してもよい。最良の精度は、相対的に低い(例えば、最低の)RDコストを有する1つであってもよい。エンコーダは、順番に1つまたは複数の精度のRDコストを計算してもよい。実施例では、CU重みによる双予測(例えば、GBi)が有効にされるとき、MVD精度ごとに異なる重みがテストされてもよい。いくつかのケースでは、重みごとに双予測探索が実行されてもよい。
特定のMVD精度と関連付けられたいくつかの重みについてのRD計算がバイパスされてもよい。MVD精度が特定の値(例えば、1/4ペル)であるとき、コーディングデバイス(例えば、エンコーダおよび/またはデコーダ)は、異なる重みのRDコストを記録してもよい。コーディングデバイスは、特定の重み値を除く重みのRDコストに基づいて、重みの一部または全てを昇順または降順に順序付けてもよい。実施例では、コーディングデバイスは、重み4/8を除く重みのRDコストに従った昇順または降順に、記録されたRDコストと関連付けられた重みを順序付けてもよい。コーディングデバイスは、1ペルの精度および/または4ペルの精度についての全ての重みをテストしなくてもよい。実施例では、順序付けられた重みの中で最初にいくつかの重みおよび4/8重みは、1ペルの精度および4ペルの精度に対してテストされてもよい。1ペルの精度および4ペルのMVD精度に対してテストされることになる重みの数を削減することができる。
1つよりも多い参照ピクチャリストにおける同一の参照ピクチャに対して、何らかの双予測(例えば、GBi)探索がスキップされてもよい。例えば、階層予測構造にあるより下位のTLにおけるいくつかのピクチャに対し、同一のピクチャが複数の参照ピクチャリスト(例えば、list0およびlist1)において発生してもよい。表3は、第1のグループオブピクチャ(GOP)についての参照ピクチャ構造を含んでもよい。表3に示されるように、GOPサイズは、16であってもよい。POCは、カレントピクチャのピクチャオーダカウントであってもよい。TLは、カレントピクチャが属する時間的レベルであってもよい。L0およびL1は、カレントピクチャコーディングのために2つの参照ピクチャリストのそれぞれの参照ピクチャリストによって使用される参照ピクチャのPOC値を識別することができる。
Figure 2022502924
表3に示されるように、POC16、8、4、2、1、12、14、および15は、両方のリストにおいて同一の参照ピクチャ(複数可)を有してもよい。例えば、POC16は、L0およびL1において参照ピクチャ0を有してもよく、POC8は、L0およびL1において参照ピクチャ16を有してもよい。双予測に対し、L0およびL1についての同一の参照ピクチャが選択されてもよい。双予測における2つの参照ピクチャが同一である場合、コーディングデバイス(例えば、エンコーダ)は、特定の双予測動き推定をスキップしてもよい。実施例では、例えば、双予測における2つの参照ピクチャが同一である場合、コーディングデバイス(例えば、エンコーダ)は、重み4/8についての双予測動き推定を実行してもよく、他の重みについての双予測動き推定をスキップしてもよい。実施例では、MVD精度が特定の値(例えば、1ペル、4ペル)であるとき、コーディングデバイスは、他の重みについての双予測動き推定をスキップしてもよい。アフィンモデルが4パラメータモデルまたは6パラメータモデルであるとき、コーディングデバイスは、他の重みについてのアフィン双予測動き推定をスキップしてもよい。コーディング損失を削減することができる。
カレントピクチャのTLと関連付けられた条件の下に、特定の双予測動き推定がバイパスされてもよい。例えば、TLが1などの予め定義された閾値よりも大きいとき、コーディングデバイスは、他の重みについての双予測動き推定をスキップしてもよい。
双予測探索(例えば、4/8以外の他の重みについての)をスキップするための本明細書における条件のいずれかが組み合わされてもよい。例えば、いくつかの重みをスキップするための本明細書における条件は、符号化を加速化するエンコーダアプローチとして実装されてもよい。
いくつかの重みをスキップするための本明細書における条件は、規範的方式において実装されてもよい。実施例では、MVD精度が1/4ペルであるとき、および/またアフィン4パラメータモードが使用されないときに、デフォルトでない重みによるBCWが許可されてもよい。MVD精度が1ペルまたは4ペルであるとき、BCWインデックスシグナリングが無効にされてもよい。アフィン4パラメータモードが使用されるとき、BCWインデックスシグナリングが無効にされてもよい。シグナリングオーバヘッドを削減することができる。
例えば、ピクチャを符号化するために使用されるそれらのTLおよび/またはQPに応じて、いくつかのピクチャに対してBCW(例えば、GBi)が無効にされてもよい。実施例では、BCWは、低いQP値から中間のQP値までに対してより効果的であることができる。BCWは、中間品質の符号化から高品質の符号化までに対してより効果的であることができる。カレントピクチャを符号化するために使用されるQPが閾値を上回る場合、BCWが無効にされてもよい。非参照ピクチャ(例えば、最高TLにおけるピクチャ)に対してBCWが無効にされてもよい。他のピクチャによって参照ピクチャとして、非参照ピクチャが使用されなくてもよい。
例えば、カレントブロックまたはCUに対して、BCWがBDOFと組み合わされてもよい。実施例では、コーディングシステムは、BCWおよび/またはBDOFが有効にされることの1つまたは複数のインジケーションを受信してもよい。コーディングシステムは、WTRUを含んでもよい。WTRUは、1つまたは複数のインジケーションに基づいて、BCWおよびBDOFの組み合わせを使用してもよい。1つまたは複数のインジケーションは、ブロックおよび/またはピクチャ/スライスレベルにおいてシグナリングされてもよい。例えば、WTRUは、BCWがカレントカレントCUに対して有効にされると判定してもよい。WTRUは、カレントCUに対してBCWの重みインジケーションを識別してもよい。重みインジケーションは、例えば、BCWにおいて、カレントCUに対して使用されることになる重みを示すことができる。重みインジケーションの実施例は、重みインデックスを含んでもよい。WTRUは、BDOFがカレントCUに対して有効にされると判定してもよい。
CU重みによる双予測とBDOFとの間の相互作用に対して、以下の特徴のうちの1つまたは複数が適用されてもよい。BDOFは、カレントCUにおける位置と関連付けられた勾配に少なくとも部分的に基づいて、カレントCUと関連付けられた動きベクトルを精緻化することを含んでもよい。
等しい重み(例えば、4/8または0.5)がCU重みによる双予測においてカレントCUに対して使用されることになる場合、BDOFが実行されてもよい。実施例では、等しい重みがカレントCUに対して使用されることになり、少なくとも別の条件が満たされる場合、カレントCUに対してBDOFが実行されてもよい。別の条件は、例えば、等しい重みがL0予測およびL1予測に適用されること、ならびに/またはカレントCUが双予測されることを含んでもよい。実施例では、1つまたは複数の他の条件に基づいて、等しい重みがCU重みによる双予測においてカレントCUに対して使用されることになることを重みインジケーションが示す場合、WTRUは、カレントCUに対してBDOFを実行するかどうかを更に判定してもよい。
双予測信号を更に精緻化するためにBDOFを適用するかどうかの決定は、適用される重みに依存してもよい。WTRUは、カレントCUに対してBCWの重みインジケーションを識別してもよい。重みインジケーションは、BCWにおいてカレントCUに対して使用されることになる重みを示すことができる。図12は、BDOFをバイパスするかどうかを判定する実施例の図である。実施例では、カレントCUに対してBDOFをバイパスするかどうかは、カレントCUに対するBCWの重みインジケーションに少なくとも部分的に基づいて判定されてもよい。図12に示されるように、1204において、動き補償が実行されてもよい。1206において、カレントCUに対してBCWが有効にされるかどうか、およびBDOFが許可されるかどうかが判定されてもよい。カレントCUに対してBCWが有効にされず、またはBDOFが許可されないと判定される場合、CU重みによる双予測の重みをチェックすることがスキップされてもよく、BDOFが実行されなくてもよい。カレントCUに対してBCWが有効にされ、BDOFが許可されると判定される場合、BCWの重みがチェックされてもよく、1208において、等しい重みが適用されるかどうかが判定されてもよい。等しい重みが適用される場合、1210において、BDOFが実行されてもよい。実施例として、BCWにおいてカレントCUに対して等しい重みが使用されることになると重みインジケーションが示す場合、カレントCUに対してBDOFが実行されてもよい。等しくない重みが適用されるケースでは、BDOFがバイパスされてもよい。実施例として、BCWにおいてカレントCUに対して等しくない重みが使用されることになると重みインジケーションが示す場合、WTRUは、カレントCUに対してBDOFをバイパスすると判定してもよい。重みインジケーションは、予め定められた重みに対応するインデックス値を含んでもよい。
カレントCUは、BDOFをバイパスするかどうかの判定に基づいて再構築されてもよい。WTRUは、BDOFをバイパスするかどうかの判定に基づいて、BDOFなしにBCWを実行するように構成されてもよい。例えば、第1の予測CU重みは、重みインジケーションに基づいて判定されてもよい。第2の予測CU重みは、第1の予測CU重みおよびBCW重みについての制約に基づいて導出されてもよい。BCWは、第1の予測CU重みおよび第2の予測CU重みに基づいて、カレントCUに対して実行されてもよい。図12に示されるように、1212において、インター予測が終了してもよい。
実施例では、BDOFは、等しい重みまたは等しくない重みが双予測されたCUに適用されるかどうかに関わらず有効にされてもよい。オプティカルフローモデルに基づいて、カレントCUにおけるサンプル(例えば、各々のサンプル)精緻化された動きベクトルの導出は、本明細書で説明されるようなBDOF導出と同一のままであってもよい。例えば、BDOFが適用される前に、BCWについての元のL0予測信号および元のL1予測信号の重み付けされた組み合わせが適用されてもよい。BDOFの後に取得された予測信号は、式(18)の実施例に示されるように計算されてもよい。
Figure 2022502924
本明細書で説明される1つまたは複数の実施例では、BCWについての重みは、元のL0予測信号および元のL1予測信号に適用されてもよいと共に、導出された動き精緻化は、元のBDOF設計と同一のままであってもよい。動き精緻化(例えば、vxおよびvy)に適用される対応する重みは、元の予測信号に適用される重みと一致しなくてもよい。
CU重みによる双予測に対する同一の重みは、元の双予測ならびに/またはL0およびL1において導出された動き精緻化に適用されてもよい。動き精緻化(例えば、vxおよびvy)導出は、本明細書で説明されるように同一であってもよい。実施例では、BDOFの後に取得された予測信号は、式(19)に示されるように計算されてもよい。
Figure 2022502924
特徴および要素が特定の組み合わせにおいて上記説明されたが、当業者は、各々の特徴または要素が、単独で、または他の特徴および要素とのいずれかの組み合わせにおいて使用されてもよいことを認識するであろう。加えて、本明細書で説明される方法は、コンピュータまたはプロセッサによる実行のためにコンピュータ可読媒体に組み込まれたコンピュータプログラム、ソフトウェア、またはファームウェアにおいて実装されてもよい。非一時的コンピュータ可読記憶媒体の例は、それらに限定されないが、リードオンリメモリ(ROM)、ランダムアクセスメモリ(RAM)、レジスタ、キャッシュメモリ、半導体メモリデバイス、内蔵ハードディスクおよび着脱可能ディスクなどの磁気媒体、磁気光学媒体、ならびにCD−ROMディスクおよびデジタル多用途ディスク(DVD)などの光学媒体を含む。ソフトウェアと関連したプロセッサは、WRTU、UE、端末、基地局、RNC、またはいずれかのホストコンピュータにおける使用のために無線周波数送受信機を実装するために使用されてもよい。

Claims (12)

  1. 無線送信/受信ユニット(WTRU)であって、
    双方向オプティカルフロー(BDOF)が有効にされると判定し、
    コーディングユニット(CU)重みによる双予測がカレントCUに対して有効にされると判定し、
    前記カレントCUに対するCU重みによる双予測の重みインジケーションを識別し、前記重みインジケーションは、CU重みによる双予測において前記カレントCUに対して使用されることになる重みを示し、
    前記カレントCUに対するCU重みによる双予測の前記重みインジケーションに少なくとも部分的に基づいて、前記カレントCUに対してBDOFをバイパスするかどうかを判定し、
    等しくない重みがCU重みによる双予測において前記カレントCUに対して使用されることになると前記重みインジケーションが示すことを条件に、前記カレントCUに対してBDOFをバイパスすると判定し、
    BDOFをバイパスするかどうかの前記判定に基づいて、前記カレントCUを再構築する、
    ように構成されたプロセッサを備えたことを特徴とするWTRU。
  2. 前記プロセッサは、等しい重みがCU重みによる双予測において前記カレントCUに対して使用されることになると前記重みインジケーションが示すことを条件に、少なくとも別の条件に基づいて、前記カレントCUに対してBDOFを実行するかどうかを判定するように更に構成されている、ことを特徴とする請求項1に記載のWTRU。
  3. 前記カレントCUに対するCU重みによる双予測の前記重みインジケーションは、予め定められた重みに対応するインデックス値を含む、ことを特徴とする請求項1に記載のWTRU。
  4. 前記重みインジケーションは、等しくない重みがCU重みによる双予測において前記カレントCUに対して使用されることになることを示し、前記プロセッサは、
    前記重みインジケーションに基づいて、第1の予測CU重みを判定し、
    前記第1の予測CU重みおよび制約に基づいて、第2の予測CU重みを導出し、
    前記第1の予測CU重みおよび前記第2の予測CU重みに基づいて、前記カレントCUに対してCU重みによる双予測を実行する、
    ように更に構成されている、ことを特徴とする請求項1に記載の装置。
  5. BDOFは、前記カレントCUにおける位置と関連付けられた勾配に少なくとも部分的に基づいて、前記カレントCUと関連付けられた動きベクトルを精緻化することを含む、ことを特徴とする請求項1に記載の装置。
  6. 前記プロセッサは、前記カレントCUを再構築するよう、BDOFをバイパスするとの前記判定に基づいて、BDOFなしにCU重みによる双予測を実行するように更に構成されている、ことを特徴とする請求項1に記載の装置。
  7. 無線送信/受信ユニット(WTRU)によって実行される方法であって、
    双方向オプティカルフロー(BDOF)が有効にされると判定するステップと、
    コーディングユニット(CU)重みによる双予測がカレントCUに対して有効にされると判定するステップと、
    前記カレントCUに対するCU重みによる双予測の重みインジケーションを識別するステップであって、前記重みインジケーションは、CU重みによる双予測において前記カレントCUに対して使用されることになる重みを示す、ステップと、
    前記カレントCUに対するCU重みによる双予測の前記重みインジケーションに少なくとも部分的に基づいて、前記カレントCUに対してBDOFをバイパスするかどうかを判定するステップと、
    等しくない重みがCU重みによる双予測において前記カレントCUに対して使用されることになると前記重みインジケーションが示すことを条件に、前記カレントCUに対してBDOFをバイパスすると判定するステップと、
    BDOFをバイパスするかどうかの前記判定に基づいて、前記カレントCUを再構築するステップと、
    を備えたことを特徴とする方法。
  8. 等しい重みがCU重みによる双予測において前記カレントCUに対して使用されることになると前記重みインジケーションが示すことを条件に、少なくとも別の条件に基づいて、前記カレントCUに対してBDOFを実行するかどうかを判定するステップを更に備えた、ことを特徴とする請求項7に記載の方法。
  9. 前記カレントCUに対するCU重みによる双予測の前記重みインジケーションは、予め定められた重みに対応するインデックス値を含む、ことを特徴とする請求項7に記載の方法。
  10. 前記重みインジケーションは、等しくない重みがCU重みによる双予測において前記カレントCUに対して使用されることになることを示し、前記方法は、
    前記重みインジケーションに基づいて、第1の予測CU重みを判定するステップと、
    前記第1の予測CU重みおよび制約に基づいて、第2の予測CU重みを導出するステップと、
    前記第1の予測CU重みおよび前記第2の予測CU重みに基づいて、前記カレントCUに対してCU重みによる双予測を実行するステップと、
    を更に備えたことを特徴とする請求項7に記載の方法。
  11. BDOFは、前記カレントCUにおける位置と関連付けられた勾配に少なくとも部分的に基づいて、前記カレントCUと関連付けられた動きベクトルを精緻化することを含む、ことを特徴とする請求項7に記載の方法。
  12. 前記カレントCUを再構築するステップは、BDOFをバイパスするかどうかの前記判定に基づいて、BDOFなしにCU重みによる双予測を実行することを更に含む、ことを特徴とする請求項7に記載の方法。
JP2021516970A 2018-09-26 2019-09-26 ビデオコーディングのための双予測 Active JP7398442B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023204572A JP2024023521A (ja) 2018-09-26 2023-12-04 ビデオコーディングのための双予測

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862736790P 2018-09-26 2018-09-26
US62/736,790 2018-09-26
US201862786641P 2018-12-31 2018-12-31
US62/786,641 2018-12-31
PCT/US2019/053088 WO2020069076A1 (en) 2018-09-26 2019-09-26 Bi-prediction for video coding

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023204572A Division JP2024023521A (ja) 2018-09-26 2023-12-04 ビデオコーディングのための双予測

Publications (3)

Publication Number Publication Date
JP2022502924A true JP2022502924A (ja) 2022-01-11
JPWO2020069076A5 JPWO2020069076A5 (ja) 2022-10-04
JP7398442B2 JP7398442B2 (ja) 2023-12-14

Family

ID=69950792

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021516970A Active JP7398442B2 (ja) 2018-09-26 2019-09-26 ビデオコーディングのための双予測
JP2023204572A Pending JP2024023521A (ja) 2018-09-26 2023-12-04 ビデオコーディングのための双予測

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023204572A Pending JP2024023521A (ja) 2018-09-26 2023-12-04 ビデオコーディングのための双予測

Country Status (10)

Country Link
US (2) US11553206B2 (ja)
EP (2) EP3857886B1 (ja)
JP (2) JP7398442B2 (ja)
KR (1) KR20210077671A (ja)
CN (1) CN112806005B (ja)
CA (1) CA3114103A1 (ja)
SG (1) SG11202103016RA (ja)
TW (1) TW202029755A (ja)
WO (1) WO2020069076A1 (ja)
ZA (1) ZA202101992B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022502904A (ja) * 2018-10-02 2022-01-11 インターデジタル ヴイシー ホールディングス, インコーポレイテッド 一般化された双予測および重み付き予測

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020084465A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Simplified coding of generalized bi-directional index
CN113330747A (zh) * 2019-01-14 2021-08-31 交互数字Vc控股公司 利用适应于加权预测的双向光流进行视频编码和解码的方法和装置
US11190797B2 (en) * 2019-03-01 2021-11-30 Qualcomm Incorporated Constraints on decoder-side motion vector refinement based on weights for bi-predicted prediction
SG11202112279WA (en) 2019-05-11 2021-12-30 Beijing Bytedance Network Technology Co Ltd Selective use of coding tools in video processing
WO2020236719A2 (en) 2019-05-19 2020-11-26 Bytedance Inc. Transform design for large blocks in video coding
KR20220009952A (ko) 2019-05-21 2022-01-25 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 서브블록 머지 모드에서의 신택스 시그널링
CN114175655B (zh) 2019-07-27 2024-01-02 北京字节跳动网络技术有限公司 根据参考图片类型使用工具的限制
KR20220073752A (ko) 2019-10-12 2022-06-03 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩 툴들을 위한 상위 레벨 신택스
KR20220078600A (ko) 2019-10-18 2022-06-10 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 서브픽처들의 파라미터 세트 시그널링에서의 신택스 제약들
CN115606183A (zh) * 2020-04-07 2023-01-13 抖音视界有限公司(Cn) 参考图片环绕的剪裁操作
CN115486064A (zh) 2020-04-10 2022-12-16 抖音视界有限公司 标头语法元素和自适应参数集的使用
WO2021209061A1 (en) 2020-04-17 2021-10-21 Beijing Bytedance Network Technology Co., Ltd. Presence of adaptation parameter set units
KR20230002447A (ko) 2020-04-26 2023-01-05 바이트댄스 아이엔씨 비디오 코딩 신택스 요소의 조건적 시그널링
US11863774B2 (en) * 2021-01-15 2024-01-02 Tencent America LLC Method and apparatus for video coding
US20230171405A1 (en) * 2021-11-30 2023-06-01 Tencent America LLC Scene transition detection based encoding methods for bcw

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180184117A1 (en) * 2016-12-22 2018-06-28 Mediatek Inc. Method and Apparatus of Adaptive Bi-Prediction for Video Coding
US20180192072A1 (en) * 2017-01-04 2018-07-05 Qualcomm Incorporated Motion vector reconstructions for bi-directional optical flow (bio)
WO2018173895A1 (ja) * 2017-03-21 2018-09-27 シャープ株式会社 予測画像生成装置、動画像復号装置、および動画像符号化装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8995527B2 (en) * 2010-02-19 2015-03-31 Qualcomm Incorporated Block type signalling in video coding
EP3304907B1 (en) * 2015-06-08 2022-03-23 VID SCALE, Inc. Intra block copy mode for screen content coding
KR20180008445A (ko) 2015-06-10 2018-01-24 삼성전자주식회사 적응적 가중치 예측을 위한 신택스 시그널링을 이용하여 영상을 부호화 또는 복호화하는 방법 및 장치
US10271064B2 (en) * 2015-06-11 2019-04-23 Qualcomm Incorporated Sub-prediction unit motion vector prediction using spatial and/or temporal motion information
CN106331703B (zh) * 2015-07-03 2020-09-08 华为技术有限公司 视频编码和解码方法、视频编码和解码装置
US10375413B2 (en) * 2015-09-28 2019-08-06 Qualcomm Incorporated Bi-directional optical flow for video coding
US10200719B2 (en) * 2015-11-25 2019-02-05 Qualcomm Incorporated Modification of transform coefficients for non-square transform units in video coding
CN108541375B (zh) * 2016-02-03 2022-04-12 夏普株式会社 运动图像解码装置、运动图像编码装置、以及预测图像生成装置
CN115118971A (zh) * 2016-05-13 2022-09-27 Vid拓展公司 用于视频编码的通用式多假设预测的系统及方法
US20180060562A1 (en) * 2016-09-01 2018-03-01 Lenovo (Singapore) Pte. Ltd. Systems and methods to permit an attempt at authentication using one or more forms of authentication
US10674165B2 (en) * 2016-12-21 2020-06-02 Arris Enterprises Llc Constrained position dependent intra prediction combination (PDPC)
US20180184101A1 (en) * 2016-12-23 2018-06-28 Apple Inc. Coding Mode Selection For Predictive Video Coder/Decoder Systems In Low-Latency Communication Environments
US10701366B2 (en) * 2017-02-21 2020-06-30 Qualcomm Incorporated Deriving motion vector information at a video decoder
US10904565B2 (en) * 2017-06-23 2021-01-26 Qualcomm Incorporated Memory-bandwidth-efficient design for bi-directional optical flow (BIO)
WO2019223746A1 (en) * 2018-05-23 2019-11-28 Mediatek Inc. Method and apparatus of video coding using bi-directional cu weight
WO2019234578A1 (en) * 2018-06-05 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Asymmetric weighted bi-predictive merges

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180184117A1 (en) * 2016-12-22 2018-06-28 Mediatek Inc. Method and Apparatus of Adaptive Bi-Prediction for Video Coding
US20180192072A1 (en) * 2017-01-04 2018-07-05 Qualcomm Incorporated Motion vector reconstructions for bi-directional optical flow (bio)
JP2020503799A (ja) * 2017-01-04 2020-01-30 クゥアルコム・インコーポレイテッドQualcomm Incorporated 双方向オプティカルフロー(bio)についての動きベクトル再構築
WO2018173895A1 (ja) * 2017-03-21 2018-09-27 シャープ株式会社 予測画像生成装置、動画像復号装置、および動画像符号化装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022502904A (ja) * 2018-10-02 2022-01-11 インターデジタル ヴイシー ホールディングス, インコーポレイテッド 一般化された双予測および重み付き予測
JP7450611B2 (ja) 2018-10-02 2024-03-15 インターデジタル ヴイシー ホールディングス, インコーポレイテッド 一般化された双予測および重み付き予測

Also Published As

Publication number Publication date
JP7398442B2 (ja) 2023-12-14
CA3114103A1 (en) 2020-04-02
EP4294009A3 (en) 2024-02-28
EP3857886B1 (en) 2024-04-03
EP4294009A2 (en) 2023-12-20
WO2020069076A1 (en) 2020-04-02
SG11202103016RA (en) 2021-04-29
US20230179795A1 (en) 2023-06-08
US20220007048A1 (en) 2022-01-06
EP3857886A1 (en) 2021-08-04
CN112806005A (zh) 2021-05-14
ZA202101992B (en) 2023-10-25
TW202029755A (zh) 2020-08-01
US11553206B2 (en) 2023-01-10
CN112806005B (zh) 2024-04-23
JP2024023521A (ja) 2024-02-21
KR20210077671A (ko) 2021-06-25

Similar Documents

Publication Publication Date Title
JP7398442B2 (ja) ビデオコーディングのための双予測
US11962759B2 (en) Motion compensated bi-prediction based on local illumination compensation
JP7168593B2 (ja) 双方向オプティカルフローに基づいた動き補償予測
JP7382332B2 (ja) マージモード用のサブブロック動き導出およびデコーダサイド動きベクトル精緻化
US11575933B2 (en) Bi-directional optical flow method with simplified gradient derivation
US10917660B2 (en) Prediction approaches for intra planar coding
US11546604B2 (en) Symmetric motion vector difference coding
JP2021529462A (ja) アフィン動きモデルを基にしたビデオコーディングのためのアダプティブ制御点の選択
JP2021502019A (ja) マルチタイプツリーコーディング
KR20210118070A (ko) 인터 및 인트라 결합 예측
JP2022516091A (ja) 履歴ベースの動きベクトル予測
CN113615186B (zh) 对称运动矢量差译码

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210526

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210414

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210728

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220926

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220926

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230927

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231003

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231102

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231204

R150 Certificate of patent or registration of utility model

Ref document number: 7398442

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150