JP2021005900A - スクリーンコンテンツコード化のための改善されたパレットコード化 - Google Patents

スクリーンコンテンツコード化のための改善されたパレットコード化 Download PDF

Info

Publication number
JP2021005900A
JP2021005900A JP2020171731A JP2020171731A JP2021005900A JP 2021005900 A JP2021005900 A JP 2021005900A JP 2020171731 A JP2020171731 A JP 2020171731A JP 2020171731 A JP2020171731 A JP 2020171731A JP 2021005900 A JP2021005900 A JP 2021005900A
Authority
JP
Japan
Prior art keywords
palette
mode
flag
run
pallet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020171731A
Other languages
English (en)
Inventor
ホー ユーウェン
Yuwen He
ホー ユーウェン
シアオユー シウ
Xiaoyu Xiu
シアオユー シウ
イエン イエ
Yan Ye
イエン イエ
ネフ ラルフ
Neff Ralph
ネフ ラルフ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vid Scale Inc
Original Assignee
Vid Scale Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vid Scale Inc filed Critical Vid Scale Inc
Publication of JP2021005900A publication Critical patent/JP2021005900A/ja
Priority to JP2022030001A priority Critical patent/JP2022079463A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/93Run-length coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

【課題】スクリーンコンテンツビデオの処理方法を提供する。【解決手段】スケッチコピーモードを使用し、不規則なラインを含むブロックをコード化され得、シンタックス冗長性が、特別な特性を有するブロックから除去され得、および/またはラン値コード化が単純化され得る。パレットコード化設計におけるパース依存性が除去され得る。たとえば、シンタックス要素palette_transpose_flagのコンテキストモデル化依存性が、たとえば対応するコンテキストモデルを簡素化することによって除去され得る。シンタックス要素palette_modeのコンテキストモデル化が、たとえばコンテキストを使用することなしにランレングスコード化を使用することによって除去され得る。エスケープ色シグナリングに関係するシンタックスパース依存性および/またはシンタックスシグナリング依存性が除去され得る。【選択図】図1

Description

本発明は、スクリーンコンテンツコード化のための改善されたパレットコード化に関する。
(関連出願の相互参照)
本願は、2014年10月6日に出願された米国特許仮出願第62/060,536号、および2015年2月24日に出願された米国特許仮出願第62/120,293号の利益を主張し、それらの開示は、それらの全体を参照により本明細書に組み込む。
リモートデスクトップ、ビデオ会議、およびモバイルメディアプレゼンテーションアプリケーションの使用の拡大に伴って、近年、スクリーンコンテンツ共有アプリケーションが、より普及している。自然のビデオコンテンツに比べて、スクリーンコンテンツは、たとえば鋭い曲線および内部のテキストにより、いくつかの主要色(major color)および鋭いエッジを有する多数のブロックを含み得る。
既存のビデオ圧縮法は、スクリーンコンテンツの特徴を十分に特徴付けることができず、低い圧縮の性能に通じることがあり、たとえば再構築されたピクチャは、品質の問題を有することがある。たとえば、曲線およびテキストがぼけることがあり、および/またはそれらを認識することが困難なことがある。したがって、スクリーンコンテンツを効果的に再構築するために、十分に設計されたスクリーン圧縮法が必要とされている。
デコーダは、ピクチャのコード化ユニット(Coded Unit)のパレット復号を実施し得る。たとえば、デコーダは、CUのパレットインデックスラン値をパースし得る。パレットインデックスラン値は、インデックスランまたはコピーランを示し得る。パレットインデックスラン値は、CU内の対応するピクセル位置について連続するパレットインデックスの長さを示し得、連続するパレットインデックスの少なくとも1つは、エスケープ色インデックスに対応し得る。たとえば、連続するパレットインデックスは、第1のエスケープ色インデックスおよび第2のエスケープ色インデックスに対応し得る。
デコーダは、パレットインデックスラン値に従ってCUの対応するピクセル位置について連続するパレットインデックスを再構築し得る。デコーダは、連続するパレットインデックスおよび1または複数のpalette_escape_val値に従ってCUの対応するピクセル位置について色値を再構築し得る。たとえば、デコーダは、第1のパス中、1または複数のpalette_escape_val値以外のCU内のすべてのパレットインデックスを再構築するために十分なパレットシンタックス値(たとえば、パレットモードフラグ、パレットインデックス値、および/もしくはインデックスモードのためのラン値、またはコピーモードのためのパレットモードフラグおよび/もしくはラン値を含み得る)をパースし、第2のパス中、第1のパスからパースされたパレットインデックスがエスケープ色インデックスに対応するCU内の対応するピクセル位置について1または複数のpalette_escape_val値をパースし得る。
デコーダは、ピクチャのCUについてパレット復号を実施し得る。デコーダは、ピクチャのコード化ユニット(CU)についてパレットテーブルサイズを決定し得る。たとえば、デコーダは、CUのパレットテーブルサイズが0であると決定してもよい。CUのためのパレットテーブルサイズが0に等しいことは、CUのすべてのピクセルがエスケープ色としてコード化(符号化)されていることを示し得る。CUのパレットテーブルサイズが0であるとデコーダが決定した場合には、デコーダは、(たとえば、CUについてのpalette_escape_val_present_flagが1に等しいと推測することによって)エスケープ値を復号してもよい。たとえば、palette_escape_val_present_flagは、パレットテーブルサイズが0である場合、そのCUについて受信されなくてもよい。CUのパレットテーブルサイズが0以外の値であるとデコーダが決定した場合には、デコーダは、CUについてpalette_escape_val_present_flagをパースしてもよい。デコーダは、CUのためのパレットテーブルおよびCUのpalette_escape_val_present_flagに関連付けられた値に基づいて、CUの対応するピクセル位置についてパレットインデックスを再構築し得る。
デコーダは、ピクチャのCUについてパレット復号を実施し得る。デコーダは、ピクチャのコード化ユニット(CU)が単一の主要色(たとえば、1つだけの主要色)またはエスケープ色だけを含むと決定し得る。デコーダは、(たとえば、CUについてpalette_modeを受信しないことに基づいて)CUがインデックスモードおよびパレットインデックスモードに従って符号化されていると決定し得る。デコーダは、CUの対応するピクセル位置について色値(color value)を再構築してもよい。デコーダは、CUについてパレットラン値を示すシンタックス値を受信しないことに基づいて、CUについてのインデックスモードのラン値がCUのサイズから1を引いたものに等しいと決定してもよい。デコーダは、CUについてパレットインデックス値を受信しないことに基づいて、CUについてのパレットインデックス値が0に等しいと決定してもよい。デコーダは、CUについてのpalette_escape_val_present_flagが0に等しいと決定し、および/またはCUについてのパレットテーブルサイズが1に等しいと決定し、たとえばCUが単一の主要色を含むと決定してもよい。デコーダは、CUについてのpalette_escape_val_present_flagが1に等しいと決定し、および/またはCUについてのパレットテーブルサイズが0に等しいと決定し、たとえばCUがエスケープ色だけを含むと決定してもよい。デコーダは、CUについてpalette_modeを受信しないことに基づいて、CUのpalette_modeが0に等しいと推測してもよい。デコーダは、たとえばCUがエスケープ色だけを含む場合、CU内の1または複数のピクセル位置(たとえば、各ピクセル位置)についてpalette_escape_valを受信し得る。
スケッチコピーモードを使用し、不規則なラインを含むブロックをコード化され得、シンタックス冗長性が、特別な特性を有するブロックから除去され得、および/またはラン値コード化が単純化され得る。
パレットコード化設計におけるパース依存性が除去され得る。たとえば、シンタックス要素palette_transpose_flagのコンテキストモデル化依存性が、たとえば単一のコンテキストを使用して除去され得る。シンタックス要素palette_modeのコンテキストモデル化依存性が、たとえばコンテキストを使用することなしにランレングスコード化を使用すること、または単一のコンテキストを使用することによって除去され得る。エスケープ色シグナリングに関係するシンタックスパース依存性および/またはシンタックスシグナリング依存性が除去され得る。パレットテーブル生成プロセスが、たとえばエンコーダ側で、高いビットデプスを有する入力スクリーンコンテンツビデオを処理し得る。
本発明により、スクリーンコンテンツコード化のための改善されたパレットコード化を提供する。
スクリーンコンテンツ共有システムの例示的なブロック図を示す図である。 ブロックベースの単一レイヤビデオエンコーダの一例を示す図である。 ブロックベースの単一レイヤビデオデコーダの一例を示す図である。 8つの分割モードの一例を示す図である。 スクリーンコンテンツブロックの一例を示す図である。 図5Aのスクリーンコンテンツブロックのパレットインデックスマップの一例を示す図である。 コンソールのための例示的なSCCテストシーケンスを示す図である。 破線がパレットコード化におけるスキャニング順を示す、4色を有する例示的な8×8ブロックを示す図である。 破線がインデックスモードおよびコピーモードを使用するパレットコード化におけるスキャニング順を示す、4色を有する例示的8×8ブロックを示す図である。 粗い粒度での16の方向の一例を示す図である。 細かい粒度での16の方向の一例を示す図である。 スケッチコピーモードのための方向コード化アルゴリズムの例示的な流れ図を示す図である。 スケッチコピーモードでのパレットコード化の一例を示す図である。 水平トラバーススキャンのコード化順の一例を示す図である。 垂直トラバーススキャンのコード化順の一例を示す図である。 逆水平トラバーススキャンのコード化順の一例を示す図である。 逆垂直トラバーススキャンのコード化順の一例を示す図である。 CPI位置がインデックスモードでコード化されているパレットインデックスコード化の冗長除去方法の一例を示す図である。 CPI位置がコピーモードでコード化されているパレットインデックスコード化の冗長除去方法の一例を示す図である。 拡張されたコピーモードの一例を示す図である。 1または複数の開示された実施形態の例示的通信システムの図である。 図14Aの通信システム内で使用され得る例示的ワイヤレス送信/受信ユニット(WTRU)の図である。 図14Aの通信システム内で使用され得る例示的無線アクセスネットワークおよびコアネットワークのシステム図である。 図14Aの通信システム内で使用され得る別の例示的無線アクセスネットワークおよびコアネットワークのシステム図である。 図14Aの通信システム内で使用され得る別の例示的無線アクセスネットワークおよびコアネットワークのシステム図である。
次に、例示的な実施形態の詳細な説明について、様々な図を参照して記載する。この説明は可能な実装の詳細な例を提供するが、これらの詳細は、例示的なものであり、本願の範囲を決して限定しないものとする。
モバイルデバイスの画面表示は、高精細解像度コンテンツ、超高精細解像度コンテンツ、および/または同様のものを表示することが可能であり得る。ブロックコード化モードおよび変換などビデオコード化ツールは、スクリーンコンテンツ符号化のために最適化され得ない。
図1は、スクリーンコンテンツ(screen content)共有システムの例示的なブロック図を示す図である。スクリーンコンテンツ共有システムは、受信機、デコーダ、および/またはディスプレイ(レンダラ)を含み得る。図2は、ブロックベースの単一レイヤビデオエンコーダの一例を示す図である。図3は、ブロックベースの単一レイヤビデオデコーダの一例を示す図である。図3のビデオデコーダは、図2のエンコーダによって作り出されたビデオビットストリームを受信し得る。ビデオデコーダは、ビデオ信号を表示されるように再構築し得る。ビデオデコーダでは、ビットストリームがエントロピーデコーダ(entropy decoder)によってパース(parse)され得る。再構築された残差(residual)を得るために、残差係数が逆量子化および逆変換され得る。コード化モードおよび/または予測情報を使用し、空間予測および/または時間予測を使用して予測信号を得てもよい。予測信号および/または再構築された残差を足し合わせ、再構築されたビデオを生成し得る。再構築されたビデオは、ループフィルタリングを通ってから、参照ピクチャストア内に記憶されてもよい。再構築されたビデオは、表示され、および/または将来のビデオ信号を復号(decode)するために使用されてもよい。
単一レイヤエンコーダは、空間予測(たとえば、イントラ予測)および/または時間予測(たとえば、インター予測および/または動き補償予測)を使用し、入力ビデオ信号を予測し得る。エンコーダは、たとえばレートおよび/または歪みの考慮すべき点に基づいて、予測の形態を選択するモード判断論理を含み得る。エンコーダは、予測残差(たとえば、入力信号と予測信号との差信号)を変換および量子化し得る。量子化された残差、モード情報(たとえば、イントラ予測またはインター予測)、および/または予測情報(たとえば、動きベクトル、参照ピクチャインデックス、イントラ予測モード、および/または同様のもの)は、エントロピーコーダで圧縮され、出力ビデオビットストリーム内にパック(pack)され得る。図2に示されているように、エンコーダは、量子化された残差に逆量子化および逆変換を適用し、再構築された残差を得て、その再構築された残差を予測信号に加えることによって、再構築されたビデオ信号を生成し得る。再構築されたビデオ信号は、ループフィルタプロセス(たとえば、デブロッキングフィルタ、サンプル適応オフセット、適応ループフィルタ、および/または同様のもの)を通ってもよい。再構築されたビデオ信号は、将来のビデオ信号を予測するために使用されるように参照ピクチャストア内に記憶されてもよい。
高効率ビデオコーディング(HEVC)は、そのエンコーダおよびデコーダが実質的に図2および図3の例示的なエンコーダおよびデコーダに従って動作し得る点で、ブロックベースのハイブリッドビデオコード化標準となり得る。HEVCは、より大きなビデオブロックの使用を可能にし得、および/または4分木分割を使用し、ブロックコード化情報をシグナリングし得る。ピクチャまたはスライスは、同じサイズ(たとえば、64×64)を有するコード化ツリーブロック(CTB)に分割され得る。CTBは、4分木でCUに分割され得る。CUは、4分木で予測ユニット(PU)および/または変換ユニット(TU)に分割され得る。
図4は、8つの分割モードの一例を示す図である。インターコード化CUの場合、そのPUは、たとえば図4に示されているように、8つの分割モードの1つであり得る。時間予測(たとえば、動き補償)を適用し、インターコード化PUを再構築してもよい。動きベクトルの精度(たとえば、HEVC内の最大4分の1ピクセルとなり得る)に応じて、線形フィルタを適用し、断片的位置におけるピクセル値を得てもよい。補間フィルタは、輝度のために7つ以上のタップ(tap)、および/または彩度のために4つのタップを有し得る。HEVCにおけるデブロッキングフィルタは、たとえばコード化モードの違い、動きの違い、参照ピクチャの違い、ピクセル値の違い、および/または同様のものに応じて、たとえば異なるデブロッキングフィルタ動作がTUおよびPU境界で適用され得るように、コンテンツベースであり得る。エントロピーコード化の場合、HEVCは、ブロックレベルシンタックス要素(たとえば、高レベルパラメータを除く)のためにコンテキストベースの適応2値算術コード化(CABAC)を使用し得る。CABACコード化は、コンテキストベースのコード化レギュラビン(coded regular bin)および/またはコンテキストなしのバイパスコード化ビン(by-pass coded bin)を含み得る。
HEVCは、4:2:0フォーマットで連続的なトーンビデオコンテンツに重点が置かれていることがある。モード判断および変換コード化ツールは、たとえば4:4:4ビデオのフォーマットで取り込まれ得る離散的なトーンスクリーンコンテンツのために最適化され得ない。
図5Aは、スクリーンコンテンツブロックの一例を示す図である。図5Bは、図5Aのスクリーンコンテンツブロックのパレットインデックスマップの一例を示す図である。図5Aに示されているように、スクリーンコンテンツブロックは、限られた数の色を含み得、各ピクセルの色値は、その上方および/または左のピクセルから繰り返され得る。ピクセル値を直接コード化(code)するのではなく、パレットテーブルが、有意な色値を記録するために辞書として使用され得る。また、たとえば図5Bに示されているように、対応するパレットインデックスマップを使用し、各ピクセルの色値を表してもよい。ラン値(run value)を使用し、空間冗長性を低減するために、同じ色を有する連続するピクセルの長さ(たとえば、パレットインデックス)を示してもよい。従来のブロックコード化モードではなくパレットベースのコード化方法を使用することは、スクリーンコンテンツをコード化する圧縮性能を改善し得る。
パレットコード化(palette coding)モードは、インデックスモード(たとえば、ランモード)および/またはコピーモードを含み得る。インデックスモードでは、色インデックスが最初にコード化され得る。色インデックスがパレットテーブルサイズに等しい場合、それはエスケープ色(escape color)がパレットテーブル内に含まれないことを示し得る。また、色インデックスの後で、色値が明示的にコード化され得る。パレットテーブル内の主要色を意味し得る、色インデックスがパレットテーブルサイズ未満である場合には、スキャニング順内のいくつの連続的なピクセルがコード化された色と同じ色を有するかシグナリングするために、ラン値がコード化され得る。コピーモードでは、ラン値がコード化され、いくつのピクセルがその上方のピクセルと同じ色を有するか示し得る。スキャニング順は、それだけには限らないが、たとえば図11Aおよび図11Bに示されているように、また本明細書に記載のように、水平トラバーススキャンおよび/または垂直トラバーススキャンを含み得る。
ランコード内にコード化されたピクセル位置のために、ランレングス(run-length)チェイン(chain)内の第1の位置のパレットインデックスがビットストリーム内に存在し得る。パレットインデックスは、打切り2値コード(TBC:truncated binary code)を使用して2値化され、および/またはバイパスモードでコード化され得る。TBCは、固定長コード(FLC)の変形形態であり、および/または均一の分布を有するアルファベットのために使用され得る。TBCは、アルファベットのサイズが2のべき乗であるときFLCに退化し得る。たとえば、1つのパレットインデックスレベルpLevelについて、その最大値pMaxが既知であると仮定され得る。一例として、2k<n<2(k+l)およびu=2(k+l)−nであるようにn=pMax+lおよび
Figure 2021005900
である。パレットインデックスは、たとえば以下のように2値化され得る。すなわち、pLevel<uである場合、コードワードは、長さkでpLevelの2値表現によって指定され得、そうでない場合、コードワードは、長さk+1でpLevel+uの2値表現によって指定され得る。表1は、pMax=8のときのパレットインデックス2値化の一例を提供する。
Figure 2021005900
表1からわかるように、1つのパレットインデックスレベルを2値化する前に、最大レベルpMaxがTBCプロセスへの入力として指定され得る。
1つのパレットコード化CU内のパレットインデックス間の相関を利用するために、コード化されたパレットインデックスの大きさおよび/またはTBCコードワードの最大長さを低減することによってパレットインデックスコード化の効率を改善するための1つの冗長除去方法が適用され得る。たとえば、以下の条件の1または複数が、インデックスモードで1つのパレットインデックスをコード化する前にチェックされ得る。現在のピクセル位置の左隣がインデックスモードでコード化されている場合には、現在のパレットインデックスは、その左隣のものと同じになり得る。そうでない場合、2つのパレットインデックスが同じである場合、それらのパレットインデックスは、より大きなランレングスで、共にインデックスモードでコード化され得る。現在のピクセル位置の左隣がコピーモードでコード化されている場合には、現在のパレットインデックスは、その上隣のものと同じになり得る。そうでない場合、2つのパレットインデックスが同じである場合、それらのパレットインデックスは、より大きなランレングスで、共にコピーモードでコード化され得る。したがって、上記2つの条件のどちらかが満たされる場合、パレットインデックスpLevelおよび/または最大TBC値pMaxは、(たとえば、1だけ)低減され得、これは、現在のピクセル位置のパレットインデックスを提示するために使用されるコードワード長さを減少させ得る。
図12Aは、CPI位置がインデックスモードでコード化されているパレットインデックスコード化の冗長除去方法の一例を示す図である。図12Bは、CPI位置がコピーモードでコード化されているパレットインデックスコード化の冗長除去方法の一例を示す図である。図12Aおよび図12Bは、左隣のピクセルがインデックスモードで(たとえば、図12Aに示されている)、またコピーモードで(たとえば、図12Bに示されている)コード化されているときの冗長除去プロセスの例を示す。図12Aおよび図12Bにおいて黒破線によって囲まれている現在のピクセル位置iによって参照される、比較されるパレットインデックス(CPI)位置kが、以下のように計算され得る。
Figure 2021005900
上式で、iWidthは、現在のCUの幅である。
パレットインデックスは、インデックスモードまたはコピーモードでコード化されているのではなく独立にコード化され得るが、たとえばエスケープ色は、現在のパレットコード化設計におけるパレットサイズに等しいパレットインデックスによって示され得る。換言すれば、同じパレットインデックス値を有するピクセル位置の1つのランレングスチェインが、エスケープ色位置がスキャンされるとき中断(break)され得る。エスケープ色に使用されるパレットインデックスはランレングスベースのコード化において含まれ得ないため、対応するCPI位置がエスケープ色を有する位置でない場合、パレットインデックスをコード化するとき使用される上記の冗長除去アルゴリズムが適用可能(たとえば、適用可能のみ)となり得る。
コピーモードの場合、パレットインデックスは、上方の行内の上記の復号されたインデックスから予測され得る。1つのパレットCUの第1の行内のピクセルについて、コピーモードは、それらのピクセルがインデックスモードでコード化されている(たとえば、常にコード化されている)ように使用不能にされ得る。なぜなら、たとえば上方の参照ピクセルがCU境界を超えるからである。コピーモードは、たとえばコピーモードの効率を改善するために、隣接するCUの境界ピクセルを参照として使用することによって、第1の行(たとえば、またはpalette_transpose_flagが1に等しいとき第1の列)内のピクセルについて使用可能にされ得る。図13は、palette_transpose_flagが0に等しいとき(たとえば、水平スキャン順)の拡張されたコピーモードの一例を示す。現在のCUの第1の行の色インデックスを再構築するために、インデックスがコピーモードによって符号化(encode)されている場合、デコーダは、上隣のCUからの対応する隣接する参照ピクセル(NCP)からそれらを再構築し得る。NCPの色値は、第1のラインのコピーモードに使用され得、デコーダは、たとえば図13に示されているように、NCPのパレットインデックスを有していなくても導出しなくてもよい。したがって、パレットインデックスコード化冗長除去方法は、そのCPIピクセルがNCPを参照するピクセルに適用されなくてもよい。たとえば、そのスキャン順における現在のピクセルの先行するピクセルがコピーモードでコード化され、現在のピクセルの上隣(たとえば、CPI位置)がNCPを参照する場合、インデックスコード化冗長除去方法は、使用不能にされてもよい。
シンタックス要素は、ビン(bin)の文字列(string)に2値化され得、たとえばパレットモードおよびHEVCスクリーンコンテンツコード化拡張における他のコード化モードに使用されるコンテキストベースの2値算術コード化(CABAC)のために、バイパスビン(bypass bin)とコンテキストコード化ビン(context-coded bin)が2値算術コード化(BAC)のエンジンによって別々にコード化され得る。コンテキストコード化ビンの場合、コンテキストモデル(たとえば、確率モデル)が、符号化および復号の両方においてBACのために維持され得る。バイパスビンの場合、シンタックス要素は、コンテキストモデルなしでコード化され得る。バイパスビンを共により長いチェインにグループ化することは、サイクル当たり処理されるビンの数(たとえば、パーススループット)を増大し得、これは、たとえば動きベクトルコード化および係数コード化などHEVCにおける複数のシンタックス要素をコード化するために使用され得る。パレットインデックスコード化のシンタックス要素(たとえば、palette_index_idc)は、バイパスコード化され、および/または、たとえばHEVCスクリーンコンテンツコード化におけるパレット設計のためのpalette_run_typeおよびpalette_run_msb_id_plus1など他のコンテキストコード化シンタックス要素とインターリーブされ得る。palette_index_idcのパースは、共にグループ化され、たとえばパーススループットを改善するために他のコンテキストコード化シンタックス要素の前に置かれてもよい。表2は、パレットコード化のそのようなシンタックステーブルの一例である。
Figure 2021005900
シンタックス要素num_palette_indexは、現在のブロック内でシグナリングされるパレットインデックスの数を指定し得る。シンタックス要素palette_last_run_type_flagは、現在のブロック内の最後のランのパレットコード化モードを指定し得る。
本明細書に記載の1または複数の実施形態は、HEVC標準を基礎となるビデオコード化標準として使用して記述されることがあるが、これらの実施形態は、他のビデオコーデックにも適用され得る。
パレットコード化効率が提供され得る。パレットコード化は、水平ラインおよび/または垂直ラインをコード化し得る。水平ラインである場合、インデックスモードは、連続的なピクセルをラン値(たとえば、大きなラン値)でコード化し得る。垂直ラインである場合には、たとえば図11Bに示されているように、その垂直ラインは、垂直トラバーススキャン順で水平ラインとして扱われ得る。様々な方向におけるラインがスクリーンコンテンツ内で使用され得る。図6は、コンソールのための例示的なSCCテストシーケンスを示す図である。
水平方向でも垂直方向でもないラインは、不規則なラインと呼ばれることがある。ブロックは、たとえば不規則なラインがある場合、複数の不連続のセグメントに分割され得る。複数の不連続のセグメントを既存のパレットコード化モードで効率的に符号化することは困難となり得る。図7Aは、破線がパレットコード化におけるスキャニング順を示す、4色を有する例示的な8×8ブロックを示す図である。図7Bは、破線がインデックスモードおよびコピーモードを使用するパレットコード化におけるスキャニング順を示す、4色を有する例示的な8×8ブロックを示す図である。たとえば、1つの8×8ブロック内に2本の不規則なラインが、たとえば図7Aに示されているようにあり得る。4種類の色、すなわち白、灰色、青、黄があり得、これらは、図7Aおよび図7Bにおいて異なる斜線および/または網掛けとして示され得る。図7Bは、8×8ブロックについて水平トラバーススキャニング順でランおよびコピーモードでのパレットコード化の一例を示す。合計では、たとえば黒い破線で示されているインデックスモードおよび黒い実線で示されているコピーモードで、17のランがコード化され得る。
パレットコード化のパース依存性がもたらされ得る。たとえば、スクリーンコンテンツのためのパレットコード化の高いコード化効率を考えると、パレットコード化を最適なコード化モードとして選択するCUの割合が大きくなり得、したがってパレットコード化は、高スループット実装を可能にするためにデータパース依存性を制限し得る。パレットコード化設計には、複数の異なる種類の依存性があり得る。たとえば、コンテキストモデル化依存性が使用されることがあり、これは、以前にコード化されたシンタックス要素に対する1つのシンタックス要素のコンテキスト導出の依存性を指し得る。シンタックスパース依存性が使用されることがあり、これは、あるピクセル位置での1つのシンタックス要素の復号された値が、以下のピクセル位置についてシンタックス要素のパースへの入力として使用される依存性を指し得る。シンタックスシグナリング依存性が使用されることがあり、これは、1つのシンタックス要素のシグナリングが他のシンタックス要素の復号された値に依存し得る依存性を指し得る。
コンテキストモデル化依存性がもたらされ得る。palette_transpose_flagのコンテキストモデル化依存性がもたらされ得る。水平トラバーススキャンおよび/または垂直トラバーススキャンを使用可能にし、1つのパレットコード化されたCUのパレットインデックスをスキャンし得る。1つのフラグpalette_transpose_flagをパレットモードでコード化された各CUについてシグナリングし、現在のCUについて2つのスキャンパターンの1つを選択してもよい。2つのコンテキストモデルを使用し、フラグpalette_transpose_flagをコード化してもよく、これは、現在のCUの左隣のCUのパレットインデックスが水平でスキャンされるか、それとも垂直かに応じて選択されてもよい。隣ベースのコンテキストモデル化手法は、より高いコード化効率を提供し得る。隣ベースのコンテキストモデル化手法は、2つの隣接するパレットコード化されたCUが同時に復号され得ないので、高い度合いの並列性を可能にし得ない。隣ベースのコンテキストモデル化手法は、1つの追加のバッファを使用し、左隣のCUについてpalette_transpose_flagのステータスを記憶してもよい。
パレットモードのコンテキストモデル化依存性がもたらされ得る。たとえば1つのパレットコード化されたCUの第1の行内のピクセル位置を除いて(たとえば、コピーすべき上方のピクセルがないことがあるので、コピーモードは、第1の行内のピクセル位置について無効となり得る)、フラグpalette_modeが1または複数のピクセル位置についてシグナリングされ得る。2つのコンテキストモデルを使用し、パレットモードフラグをコード化され得、これは、上方の行内の並置されたピクセル(collocated pixel)の同じシンタックス要素の値に基づいて決定され得る。したがって、パレットモード手法のコンテキストモデル化依存性は、1つのピクセルでのコンテキストの決定がスキャン順で先行するピクセルのパレットインデックスコード化モードに依存し得るので、スループットを低減し得る。
エスケープ色シグナリングに関係する依存性がもたらされ得る。パレットインデックスのシンタックスパース依存性がもたらされ得る。インデックスモードでコード化されたピクセルの場合、ランレングスチェイン内の第1のピクセルのパレットインデックスがシンタックス要素パレットインデックスを介してシグナリングされ得る。シンタックス要素パレットインデックスは、TBCを使用して2値化され得、パレットインデックスの最大値(たとえば、pMax)がTBCプロセスへの入力として使用され得る。1つのピクセル位置のTBCプロセスへの入力pMaxの計算は、たとえば、冗長除去手法がパレットインデックスコード化に適用され得、エスケープ色を示すために使用されるパレットインデックスはインデックスモードでもコピーモードでもコード化されないことがあるので、現在のピクセル位置の左隣およびCPI位置がエスケープ色としてコード化されているか否かに依存し得る。たとえば、現在のピクセル位置の左隣およびCPI位置がエスケープ色としてコード化されている場合、pMaxは、現在のCUのパレットテーブルサイズ
Figure 2021005900
に設定され得る。そうでない場合(たとえば、現在のピクセル位置の左隣およびCPI位置が共に主要色である場合)、pMaxは、
Figure 2021005900
に設定され得る。現在のパレットコード化設計におけるエスケープ色シグナリングによれば、エスケープ色は、1つのピクセル位置で復号されるパレットインデックスがパレットテーブルサイズに等しいかどうかチェックすることによって識別され得る。したがって、現在のパレットインデックスシンタックス要素の復号された値が、処理されることになる次のシンタックス要素の値を決定し得る。1つのパレットインデックス(たとえば、1つのパレットインデックスだけ)が、そのCPI位置のパレットインデックスが完全に再構築された後、たとえば冗長除去手法がパレットインデックスコード化で使用されるとき、復号され得る。
palette_escape_valのシンタックスシグナリング依存性がもたらされ得る。エスケープ色位置について(たとえば、CUの各エスケープ色位置について)、位置の色値が(たとえば、ロッシー符号化(lossy coding)が使用される場合)量子化され、デコーダに送信され得る。たとえば、エスケープ色は、シンタックス要素palette_index(たとえば、これは、冗長除去手法が適用されないとき
Figure 2021005900
に等しく、冗長除去手法が適用されるとき
Figure 2021005900
に等しい)と、その後に続く(たとえば、ロッシー符号化が使用される場合)量子化された色値を示し得る別のシンタックス要素palette_escape_valをシグナリングすることによってビットストリーム内に存在し得る。シンタックスpalette_escape_val要素は、1つのピクセルがpalette_indexによって示されるようにエスケープ色として識別されるときシグナリングされ(たとえば、シグナリングのみされ)得る。したがって、palette_indexシンタックス要素の値は、どのシンタックス要素が処理されることになるか決定し得る。たとえば、現在のピクセルがエスケープ色であることをpalette_indexが示す場合には、次のシンタックス要素がpalette_escape_valとなり得、そうでない場合、次のシンタックス要素がpalette_runとなり得る。palette_indexのシンタックスパース依存性の同じ解析に基づいて、1つのピクセルが、そのCPI位置のパレットインデックスがたとえばパレットインデックスコード化に適用された冗長除去プロセスにより完全に再構築された後でエスケープ色として(たとえば、だけ)識別され得る。したがって、エスケープ色のシンタックスシグナリング依存性は、スループット問題を引き起こし得る。
palette_runのシンタックスシグナリング依存性がもたらされ得る。シンタックス要素palette_runは、インデックスモードおよびコピーモードで同じパレットインデックスを有する連続するピクセルの数を示し得る。シンタックス要素palette_runのシグナリングは、1つのピクセルが主要色として識別されるときシグナリングされ(たとえば、シグナリングのみされ)得、これは、たとえばpalette_escape_valとは対照的となり得る。したがって、要素palette_escape_valに適用可能な同様のシンタックスシグナリング依存性問題がpalette_runのシグナリングについて存在し得る。
パレットテーブル生成(たとえば、エンコーダにおいてのみ)がもたらされ得る。1つの色クラスタ化ベースのパレットテーブル生成方法を使用し、現在のCUの色値を複数のセットにクラスタ化し、色クラスタのセントロイド(centroid)をパレットテーブル内の主要色として使用することによって、パレットモードでコード化された1つのCUの主要色を選択し得る。ロッシー符号化では、1つの色クラスタは、クラスタの色値とセントロイドの間の歪みが予め定義された閾値であり得るピクセルを同じ主要色に量子化することによって生成され得る。この閾値は、輝度成分と彩度成分のビットデプス(bit depth)が8ビットに等しいという仮定に基づいて設定され得る。したがって、現在のパレットテーブル生成方法は、入力スクリーンコンテンツビデオのビットデプスが8ビットを超える場合を適正に処理し得ない。
1または複数の実施形態は、拡張されたコピーモードと冒頭でパレットインデックスをグループ化することの組合せについての競合に対処し得る。たとえば、パレットインデックスコード化ビンが1つのパレットCUの冒頭でグループ化され得る。パレットインデックス(たとえば、シンタックス要素palette_index_idcによって指定される)は、最大可能なレベルが知られていることを必要とするTBCコードによって2値化され得る。冗長除去は、それらのCPIピクセルがNCPを参照するピクセルに適用され得ない。したがって、異なる最大TBCレベルが、ピクセルの位置に応じて導出され得る。たとえば、隣接するCUからのNCPに関連付けられたCPIピクセルを参照するピクセルについて、最大TBCレベルpMaxは、変わらないまま保たれ得る(たとえば、現在のCU内にエスケープ色ピクセルがないときパレットテーブルのサイズから1を引いたものであり、または現在のCU内に少なくとも1つのエスケープ色ピクセルがあるときパレットテーブルのサイズ)。隣接するCUからのNCPに関連付けられないCPIピクセルを参照するピクセルについては、最大TBCレベルpMaxは、1だけ低減され得る。1つのピクセルについてのシンタックスpalette_index_idcのパースは、パレットスキャン順における先行するピクセルのパレットコード化モードの知識に依存し得る。そして、この知識は、現在のピクセルの先行するピクセルについてパレットコード化モード(たとえば、palette_run_type_flag)およびパレットラン(たとえば、palette_run_msb_id_plus_1およびpalette_run_refinement_bits)を復号した後で獲得され得る。したがって、拡張されたコピーモードが使用可能にされているとき、グループ化されたパレットインデックスのパースは、パレットモードおよびパレットランのパースの前に置かれ得ない。
たとえば、拡張された上方コピー(extended copy-above)を使用可能にしながらパレットパースプロセスの始めにパレットインデックスをグループ化するために、パレットシグナリング方法が、最大TBCレベルpMaxを1だけ減少させ得る。これらのピクセルのためのパレットインデックスのダイナミックレンジは、たとえば、冗長除去がそれらのCPIピクセルが隣接するCUからのNCPを参照するピクセルに適用され得ないので、0からpMaxとなり得る。たとえばパレットインデックスの低減されたダイナミックレンジを補償するために、対応するパースされたパレットインデックスがpMax−1に等しいとき、追加のフラグがこれらのピクセル(たとえば、それらのCPIピクセルが隣接するCUからのNCPを参照するピクセル)についてシグナリングされ得る。このフラグが1に等しい場合、パレットインデックスは、pMaxとなるように復号され得る。このフラグが0に等しい場合、パレットインデックスは、pMax−1となるように復号され得る。たとえば、表3は、例示的なパレットシンタックステーブルである。
Figure 2021005900
Figure 2021005900
Figure 2021005900
1または複数の実施形態は、拡張された上方コピーモード(extended copy-above mode)を冒頭でインデックスをグループ化することと組み合わせるときの未知のTBC最大問題に対処し得る。シンタックス要素palette_index_refinement_flagは、バイパスビンとしてコード化され、ならびに/またはコンテキストコード化され得るシグナリングパレットモードおよびパレットランのシンタックス要素でインターリーブされ得る。palette_index_refinement_flagの値をパースするために、デコーダは、現在のピクセルが隣接するCUからのピクセルを参照する1つのCPI位置を有するかどうか、および/または以前にパースされたパレットインデックスがpMax−1に等しいか否かチェックしてもよい。
不規則なラインを含むブロックをコード化するために、コード化モードスケッチコピーモードが提案される。シンタックス冗長性が、特別な特性を有するブロックから除去され得る。ラン値コード化が簡素化され得る。現在のパレットコード化設計におけるパース依存性が除去され得る。たとえば、シンタックス要素palette_transpose_flagのコンテキストモデル化依存性が、たとえば対応するコンテキストモデルを簡素化することによって除去され得る。シンタックス要素palette_modeのコンテキストモデル化が、たとえばコンテキストを使用することなしにランレングスコード化を使用することによって除去され得る。エスケープ色シグナリングに関係するシンタックスパース依存性および/またはシンタックスシグナリング依存性が除去され得る。パレットテーブル生成プロセスが、たとえばエンコーダ側において高いビットデプスで入力スクリーンコンテンツビデオを処理し得る。
パレットコード化のためのスケッチコピーモードが提供され得る。スケッチコピーモードは、1または複数の方向(たとえば、これは任意の種類の対角線、水平方向および/または垂直方向を含み得る)でパレットインデックスをコード化された隣接するサンプル位置からコピーすることによって実施され得る。スケッチコピーモードは、1または複数の特定の方向でピクセルコピーを可能にし得る。コード化された不規則なライン(たとえば、対角ライン)が、ランの計数中に考慮され得る。1または複数(たとえば3つ)のシンタックス要素、すなわち色インデックス、方向、および/またはランが、スケッチモードのためにコード化され得る。色インデックスは、パレットテーブル内のインデックスである、および/またはエスケープ色を示すようにパレットテーブルのサイズに等しいことがある。方向情報は、色インデックスに続いてコード化され得る。そのシグナリングされる方向における第1のピクセルと同じ色インデックスを有するピクセルの数を示すために、ラン値がコード化され得る。
コード化されることになる方向が定義され得る。図8Aは、粗い粒度での16の方向の一例を示す図である。図8Bは、細かい粒度での16の方向の一例を示す図である。図8Aおよび図8Bは、異なる粒度での16の方向についての例示的な定義を示し、各側は、それぞれ8の方向を有することがある。図8Aにおける方向は、以下のように定義され得る。
θi=tan-1(xi),xi={1,2,...,8}
図8Bにおいて定義されている方向は、細かい粒度にあり、それらの方向は、以下のように定義され得る。
θi=tan-1(xi),xi={1/2,1,...,4}
たとえば垂直トラバーススキャンにおけるインデックスモードが垂直ラインを効率的にコード化し得るので、垂直方向は、スケッチコピーモードにおいて考慮されなくてもよい。たとえば低ビットレートコード化において、方向コード化のためのオーバーヘッドが性能に影響を及ぼす場合、方向の数が削減され得る。方向情報は、1または複数の要素、たとえばフラグ「is_right_flag」および1つの側における方向のインデックスにセグメント化され得る。「is_right_flag」を使用し、その方向がどの側に属するか示し得る。方向の最大インデックスは、図8Aおよび図8Bの例によって提供されているように、複数の異なる方向、たとえば7つの異なる方向(たとえば、各側に)に等しくなり得る。以前にコード化された隣接するピクセルの方向が、たとえば方向コード化の冗長性をさらに除去するために考慮され得る。現在のピクセルが、以前にコード化された隣接するピクセルの方向に比べて同じ方向を有する場合には、フラグ「same_direction_flag」がコード化され得る(たとえば、フラグ「same_direction_flag」だけがコード化されている)。方向が同じでないが「is_right_flag」と同じ値を有する場合には、刈り込み(pruning)プロセスが実施され得る。図9は、スケッチコピーモードのための方向コード化アルゴリズムの例示的な流れ図を示す図である。
図10は、スケッチコピーモードでのパレットコード化の一例を示す図である。図10は、図7Bにおけるパレットコード化に比較され得る。不規則なラインは、スケッチモードでコード化され得る。位置S11では、不規則なライン(たとえば、S11からS39に進む対角線)は、スケッチモードによってコード化され得、ラン値は3に等しい。is_right_flagは1に設定され得、方向インデックスは、0となり得る。位置S12では、不規則なライン(たとえば、S12からS32に進む対角線)は、スケッチモードによってコード化され得、ランは3に等しい。is_right_flagは0に設定され得、方向インデックスは、0となり得る。位置S12の後、インデックスモードは、ブロック内の残りのピクセルをコード化し得る。たとえば不規則なラインが含まれないので、合計で5つのランがコード化され得る。そのブロック内のセグメントの数は、スケッチコピーモードを使用可能にすることによって削減され得る。
パレットコード化を適用する傾向があるブロックは、複数の色を含み得る。スケッチコピーモードは、1または複数の不規則なラインを含むブロックのために適用され(たとえば、適用のみされ)得る。ブロック内に不規則なラインがない場合には、スケッチコピーモードは、たとえば使用可能にされ得るが選択されないことがある。ランおよびコピーモードのためのシグナリングオーバーヘッドは、追加される1または複数の追加のモードにより増大され得る。したがって、スケッチコピーモードの使用は、シグナリングオーバーヘッドを低減するように制約され得る。スケッチコピーモードが使用可能にされているか否か示すために、パレットでコード化されたコード化ユニット内にフラグが追加され得る。たとえば、使用可能にされていない場合には、シグナリングオーバーヘッドが追加されない。スケッチコピーモードの適用は限定され得、たとえば、スケッチコピーモードは多数のピクセルが残っていない場合あまり節約しないことになるので、スケッチコピーモードは、1つのブロック内で使用され得る。スケッチコピーモードは、たとえばコード化位置が閾値によって定義された特定の行を越える場合、残りのピクセルコード化のためのシグナリングオーバーヘッドを節約し得ない。閾値は、コード化ユニットのサイズに対して適応的であり得る。たとえば、閾値は、8×8、16×16、32×32、および/または64×64コード化ユニットについて[4,7,12,16]となり得る。
スキャニング方法は、拡張され得る。図11Aおよび図11Bは、それぞれ水平トラバーススキャンおよび垂直トラバーススキャンのコード化順の例を示す。水平トラバーススキャンおよび/または垂直トラバーススキャンは、逆の順で実施されてもよく、これは、たとえば、ブロックが時計回りまたは反時計回りに180度だけ回転されることに相当し得る。図11Cおよび図11Dは、それぞれ逆水平トラバーススキャンおよび逆垂直トラバーススキャンのコード化順の例を示す。
パレットテーブルシンタックス要素のための冗長除去がもたらされ得る。シンタックス要素palette_escape_val_present_flagを使用し、エスケープ色がコード化ユニット(CU)内に存在するかどうか示し得る。エスケープ色は、色インデックスがパレットテーブルサイズに等しいことでシグナリングされ得る。エスケープ色がない場合には、最大色インデックスがパレットテーブルサイズから1を引いたものに等しくなり得る。そうでない場合、最大色インデックスは、パレットテーブルサイズに等しくなり得る。この最大値は、たとえば色インデックスが打切り2値コードでコード化され得るので、色インデックスコード化に影響を及ぼし得る。打切り2値コード内の変数xのためのビットの数は、以下によって提供され得る。
Figure 2021005900
上式で、Mは、変数xの最大値に1を足したものである。上式から、追加の値は、より小さいMで、(n−1)ビットでコード化され得ると決定され得る。要素palette_escape_val_present_flagは、たとえばパレットシグナリング冗長性を除去するための信号でないことがある。CUのためのパレットテーブルサイズが0である(たとえば、パレットテーブルが空である)とき、デコーダは、すべてのピクセルがエスケープ色である(たとえば、パレットテーブル内に主要色がない)と決定してもよい。したがって、CUのためのパレットテーブルサイズが0であるとき、palette_escape_val_present_flagは、シグナリングされなくてもよく、デコーダは、その値が1であると推測し得る。パレットテーブルサイズが0以外の値であるときには、palette_escape_val_present_flagがシグナリングされ得る。したがって、palette_escape_val_present_flagは、パレットテーブルサイズが0以外の値であるときシグナリングされ(たとえば、シグナリングのみされ)得る。コード化ユニット内に1つの色(たとえば、1つの色だけ)がある(たとえば、パレットテーブルサイズが1でありpalette_escape_val_present_flagが0である)場合、またはすべてのピクセルがエスケープ色としてコード化されている(たとえば、パレットテーブルサイズが0でありpalette_escape_val_present_flagが1である)場合には、パレットモードは、インデックスモードであり得(たとえば、インデックスモード(たとえば、ランモード)にあると推測され得)、ラン値は、ランがコード化されている場合、コード化ユニットのサイズから1を引いたものとなり得る。たとえば、コード化ユニット内に1つの色(たとえば、1つの色だけ)がある(たとえば、パレットテーブルサイズが1でありpalette_escape_val_present_flagが0である)場合には、デコーダは、palette_modeを受信しなくてもよく、および/もしくはpalette_modeが0に等しいと推測し(たとえば、インデックスモード(たとえば、ランモード)にあると推測され)得、ならびに/またはpalette_runを受信しなくてもよく、および/もしくはpalette_runがCUのサイズから1を引いたものに等しいと推測し得る。たとえば表6に示されているように、パレットモードシグナリングおよび/またはランコード化のために条件が追加され得る。
パレットコード化におけるシンタックス要素Runのエントロピーコード化が提供され得る。2つの異なるコードを使用し、シンタックス要素Runをコード化し得る。表4は、Runの値の2値化の一例である。Runの範囲全体について3つのセグメントがあり得る。ビンの第1の1桁、2桁、または3桁がコンテキストコード化され得(たとえば、表4において太字で示されているもの)、ビン内の後続の桁は、コンテキストなしでバイパスコード化され得る(たとえば、表4において太字でなく示されているもの)。0から2は、各ビンについて固定されたコンテキストでコード化されている第1のセグメントとなり得る。3から26は、第2のセグメントとなり得る。プレフィックス(prefix)のコード化は、セグメント1と同じであり得、サフィックス(suffix)は、ゴロム−ライス符号でコード化され得、および/またはライスパラメータ(rice parameter)は3に等しくなり得る。26を越える値は、第3のセグメントとなり得る。第3のセグメントのプレフィックスは、セグメント1と同じようにコード化され得る。サフィックスは、指数ゴロム符号でコード化され得る。3から10までのRun値、3つのプレフィックスビン、および/または4つのサフィックスビンがコード化され得る。2次の指数ゴロムが、2を越える値のために提供され得る。例示的な2値化が表5に提供され得る。小さいランについては、ビンの数が削減され得る。
Figure 2021005900
Figure 2021005900
パレットコード化のためのパース依存性改善がもたらされ得る。シンタックス要素「palette_transpose_flag」のコンテキストモデル化依存性を除去することが提供され得る。1または複数(たとえば、2つのコンテキストモデル)を使用し、シンタックス要素palette_transpose_flagをコード化し得る。たとえば、現在のCUの左隣のCUのパレットインデックスが水平でスキャンされるか、それとも垂直かに基づいて、1つのコンテキストモデルがpalette_transpose_flagのために選択されてもよい。これは、2つの隣接するパレットコード化されたCUのビットストリームが同時にパースされ得ないため、実際的な実装のための並列性設計を複雑にする可能性がある。この隣ベースのコンテキストモデル化は、1つの2値バッファを使用し、左隣のCUのためのシンタックス要素の値を記憶してもよい。palette_transpose_flagフラグは、その空間的な隣を使用してそのコンテキストモデルを確立するCUレベルのフラグであり得、たとえば一方、他のCUレベルのフラグ(たとえば、palette_share_flag、palette_escape_val_present_flag、num_signalled_palette_entries、および/または同様のものなど)は、バイパスモードでコード化され、および/または単一のコンテキストを使用してコンテキストモードでコード化され得る。
現在のCUの左隣におけるシンタックス要素palette_transpose_flagのコンテキストモデル化依存性は、たとえばフラグを単一のコンテキストでコード化することによって除去され得る。これは、並列性能力を改善するために、および/またはパレットコード化のCUレベルのシグナリング設計をより一貫したものにするために実施され得る。
シンタックス要素palette_transpose_flagは、バイパスモードでコード化され得る。
シンタックス要素「palette_mode」のコンテキストモデル化依存性が除去され得る。1または複数のコンテキストモデルを使用し、palette_modeフラグをコード化し得、これは、上方の行内の並置された(collocated pixel)ピクセルの同じシンタックス要素の値に基づいて決定され得る。表6は、palette_modeフラグをコード化するために使用されるコンテキストモデル化の一例を示す。インデックスモードおよび/またはコピーモードでは、パレットモードは、同じパレットインデックスを有する連続するピクセルの各ランレングスチェインについて復号され得る。それに応じて、このコンテキストモデル化手法は、1つのピクセルでのコンテキストの決定がスキャン順で先行するピクセルのパレットインデックスコード化モードに依存し得るので、パースプロセスのスループットを低減し得る。
Figure 2021005900
1つのCUのフラグpalette_modeは、要素「0」および「1」から構成され得る2値ベクトルを形成し得る。ランレングスコード化(RLE)は、2つの1の間の連続する0の数を示すことによって2値ベクトルをコード化する方法である。RLEは、たとえば複数のビンを単一のサイクル内で共に生成することができるので、高スループットを必要とする応用例に使用され得る。たとえば、palette_modeのコンテキストモデル化を除去するために、RLEを使用し、シンタックス要素palette_modeをコード化し得る。
シンタックス要素palette_modeのコンテキストモデル化依存性は、フラグを単一のコンテキストでコード化することによって除去され得る。
エスケープ色シグナリングに関連するシンタックスパースおよび/またはシグナリング依存性が除去され得る。シンタックス要素palette_index、palette_escape_val、およびpalette_runをパースするとき、たとえばパレットインデックスコード化に適用されるTBCベースの2値化および冗長除去アルゴリズムにより、エスケープ色のシグナリングに関連付けられたシンタックスパース依存性およびシンタックスシグナリング依存性があり得る。パース依存性は、たとえば、より高いスループットのために、および/またはパレットコード化の効率を改善するために除去され得る。
エスケープ色に使用されるパレットインデックスは、インデックスモードでもコピーモードでもコード化され得ないが、たとえば現在のパレットコード化方法が最大パレットインデックスを使用しエスケープ色を示し得る。たとえば、同じパレットインデックスを有する連続するピクセルの1つのランレングスチェインが、エスケープ色に遭遇したとき中断され得る。これは、パレットコード化のコード化効率全体を損ない、および/またはパレットモードでコード化されたCUのためのパースプロセスに依存性を導入し得る。冗長除去アルゴリズムが適用された後、1つのピクセルのパレットインデックスが、そのCPI位置のパレットインデックスが完全に再構築された後でパースされ得る(たとえば、TBC2値化プロセスのための入力パラメータpMaxを決定し得る、CPI位置がエスケープ色としてコード化されているか否かチェックするため)。
エスケープ色を示すために使用されるパレットインデックスは、1つの通常のパレットインデックスとして使用され得、インデックスモードおよび/またはコピーモードを使用してコード化され得る。たとえば、デコーダは、CUのパレットインデックスラン値をパースし得る。パレットインデックスラン値は、CU内の対応するピクセル位置について連続するパレットインデックスの長さを示し得る。パレットインデックスの1または複数がエスケープ色に対応し得る。たとえば、パレットインデックスは、複数の異なるエスケープ値に対応し得る。したがって、エスケープ色のラン(たとえば、同じまたは異なるエスケープ色であり得る)は、インデックスモードおよび/またはコピーモードでコード化され得る。たとえば、CUの異なるピクセル位置のための色値は、1または複数のランに従ってコード化され得、これは、主要色の1または複数のランおよび/またはエスケープ色の1または複数のランを含み得る。エスケープ色のランは、同じエスケープ色または異なるエスケープ色のランであり得る。デコーダは、パレットインデックスラン値(たとえば、これはエスケープ色のランであり得る)に従ってCUの対応するピクセル位置について連続するパレットインデックスを再構築し得る。デコーダは、CUのピクセル位置のための色値を、パレットインデックスおよび/または1または複数のpalette_escape_val値に従って再構築し得る。シンタックス要素palette_escape_valのパースは、たとえば要素palette_escape_valのシンタックスシグナリング依存性を除去するために他のシンタックス要素のものとは別々であってもよい。たとえば、1つのパレットコード化されたCUのシンタックス要素をパースするために、1または複数のスキャンパス(scan pass)が適用され得る。たとえば、スキャンパス(たとえば、第1のスキャンパス)が、palette_escape_valを除く既存のパレットシンタックス要素をパースし得る。スキャンパス(たとえば、第2のスキャンパス)が、たとえば第1のスキャンパスからの復号されたパレットインデックスに基づいて、シンタックス要素palette_escape_valをパースし得る。第2のスキャンパスでは、palette_escape_valは、第1のパスによって導出されるそのパレットインデックスが現在のCUのパレットテーブルサイズに等しいとき(たとえば、エスケープ色)、1つのピクセル位置についてパースされ得る。
パレットインデックスのシンタックスパース依存性が除去され得る。最大パレットインデックスpMaxが、パレットインデックスコード化のためのTBC2値化プロセスへの入力として固定値(たとえば、パレットテーブルサイズの最大)と共に使用され得る。エスケープ色に対する要素palette_escape_valおよびpalette_runのシンタックスシグナリング依存性を除去するために、エスケープ色のための冗長除去方法が除去され得る。
高いビットデプスのための改善されたパレットテーブル生成がもたらされ得る。色クラスタ化ベースのパレットテーブル生成方法を使用し、現在のCUの色値を複数のセットにクラスタ化し、色クラスタのセントロイドをパレットテーブル内の主要色として使用することによって、パレットモードでコード化された1つのCUの主要色を選択し得る。ロッシー符号化では、1つの色クラスタは、以下によって示されているように、クラスタの色値とセントロイドの間の歪みが予め定義された閾値T以下であるピクセル(たとえば、すべてのピクセル)を同じ主要色に量子化することによって生成され得る。
Figure 2021005900
上式で、P_iおよびC_iは、それぞれ現在のピクセルおよびクラスタのセントロイドのi番目の成分の値を表し得る。閾値Tは、量子化パラメータに応じて設定され得る。表7は、Tと量子化パラメータの値間のマッピングの一例を示す。
Figure 2021005900
表7では、閾値Tの値は、輝度成分および彩度成分の入力ビットデプスが8ビットであると仮定して決定され得る。したがって、現在のパレットテーブル生成方法によるパレットテーブルは、入力スクリーンコンテンツビデオのビットデプスが8ビットを超える場合を適正に処理し得ない。高いビットデプスのためのパレットコード化のコード化効率を改善するために、8ビット歪みがパレットテーブル生成プロセスのために使用され得る。輝度成分および彩度成分のビットデプスは、
Figure 2021005900
および
Figure 2021005900
として示され得、歪み計算式は、以下のようになり得る。
Figure 2021005900
表8は、本明細書に記載のシンタックス冗長除去方法を使用可能にするために、および/または本明細書に記載のパース依存性を除去するために使用され得るシンタックスの一例を示す。
Figure 2021005900
Figure 2021005900
Figure 2021005900
Figure 2021005900
1または複数の実施形態は、拡張されたコピーモードのためのパーススループットを含み得る。グループ化されたパレットインデックスのパースは、たとえば、拡張されたコピーモードが使用可能にされているとき、パレットモードおよびパレットランのパースの前に置かれ得ない。パーススループットを高め、拡張されたコピーモードと共に適用され得る1または複数の実施形態が提供され得る。
パレットインデックスは、共にグループ化され、(たとえば、インデックスをモードおよびランの前に配置することに比べて)パレットモードおよびパレットランの後に配置され得る。エスケープ色は、別々に、パレットインデックスの後に配置され得る。たとえば、以下のパレットシンタックス配置が使用され得る。パレットモードおよびパレットランに関係するシンタックス要素(たとえば、これらはpalette_run_type_flag、palette_run_msb_id_plus1、palette_run_refinement_bitsおよび/または同様のものを含み得る)は、現在のCU(たとえば、現在のCUの最初のもの)に配置され得る。インデックスモードによってコード化されているピクセルの1または複数(たとえば、すべて)についてのパレットインデックス(たとえば、palette_index_idc)の1または複数(たとえば、すべて)は、パレットモードおよびパレットランに関係するシンタックス要素の後に配置され得る。エスケープ色としてコード化されているピクセルの1または複数(たとえば、すべて)についてのエスケープ色(たとえば、palette_escape_val)の1または複数(たとえば、すべて)は、ピクセルのパレットインデックスの後に配置され得る。表9は、この配置を有するパレットシンタックステーブルの一例を示す。
Figure 2021005900
Figure 2021005900
Figure 2021005900
パレットランは、HEVC SCCランコード化方法によってコード化され得る。本明細書に記載のランコード化方法の1または複数は、記載の実施形態の1または複数と組み合わされてもよい。たとえば、表10は、ランツーエンド(run-to-end)コード化が含まれる、上記の配置を有するパレットシンタックスの一例である。
Figure 2021005900
Figure 2021005900
パレットインデックスコード化のシンタックス要素(たとえば、palette_index_idc)とエスケープ色のシンタックス要素(たとえば、palette_escape_val)は、たとえば表10の例示的なパレットコード化シンタックスでは別々にグループ化され得る。そのような実施形態では、2つの個々のスキャンループが、現在のCUにおけるパレットインデックスおよびエスケープ色値のために使用され得る。
1または複数の実施形態は、パレットインデックスとエスケープ色を共にグループ化し(たとえば、グループ内では、palette_index_idcとpalette_escape_valは依然としてインターリーブされる)、たとえば、それらをパレットモードおよびパレットランの後に置いてもよい。palette_index_idcおよびpalette_escape_valはどちらも、バイパスコード化され得る。たとえば、以下のシンタックス要素配置が提供され得る。すなわち、パレットモードおよびパレットランに関係するシンタックス要素(たとえば、palette_run_type_flag、palette_run_msb_id_plus1、および/またはpalette_run_refinement_bits)が現在のCUにおいて最初に配置され、シンタックス要素(たとえば、palette_index_idcおよびpalette_escape_val)の1または複数(たとえば、すべて)が共にグループ化され、パレットモードおよびパレットランの後に配置される。その例が表11に提供されている。
Figure 2021005900
Figure 2021005900
第2のランコード化方法が使用され得る。たとえば、表12は、第2のランコード化(たとえば、ランツーエンドシンタックス要素)が含まれる、上記の配置を有するパレットシンタックステーブルの一例である。
Figure 2021005900
Figure 2021005900
パレットインデックスがパレットモード、パレットラン、およびエスケープ色の前で、冒頭でグループ化され、拡張された上方コピーモード(extended copy above mode)が使用可能にされている場合、TBCにおけるパレットインデックスコード化のための最大値は、その上隣のピクセルが隣接するCUのピクセルを参照するパレットインデックスについて決定され得ない。上隣の位置におけるインデックスは、使用可能でないことがある。コード化された値が最大値(たとえば、index_max)から1を引いたものに等しいときには、コード化された値が最大値から1を引いたものとして解釈されるべきか、それとも最大値として解釈されるべきかを示すために、追加のフラグがシグナリングされ得る。
パレットインデックスが冒頭でグループ化(たとえば、配置)され、拡張された上方コピーモード(extended copy above mode)が使用可能にされている1または複数の実施形態が提供され得る。CUレベルインジケーション(たとえば、フラグ)が提供され得る。たとえば、CUレベルインジケーションは、パレットインデックスをどのように解釈し、および/またはエントロピー復号するかをデコーダに指令するために最前列に配置され得る。
シンタックス要素use_index_max_for_palette_indicesが、たとえば表13に示されているようにCUレベルフラグとして送られ得る。use_index_max_for_palette_indicesフラグが値1を有する場合には、パレットインデックスのコード化は、エスケープ色がない場合、パレットテーブルサイズに等しいTBCのための最大値を使用し得、または、パレットインデックスのコード化は、エスケープ色がある場合、パレットテーブルサイズに1を足したものに等しいTBCのための最大値を使用し得る。use_index_max_for_palette_indicesフラグが値0を有する場合には、パレットインデックスのコード化は、エスケープ色がない場合、パレットテーブルサイズから1を引いたものに等しいTBCのための最大値を使用し得、または、パレットインデックスのコード化は、エスケープ色がある場合、パレットテーブルサイズに等しいTBCのための最大値を使用し得る。デコーダは、TBCのための最大値を決定し、それに応じてパレットインデックスを復号し得る。
Figure 2021005900
シンタックス要素use_index_max_for_palette_indicesは、index_maxがパレットインデックスのTBC符号化のために最大値として使用されるかどうか示し得る。1の値を有するシンタックス要素use_index_max_for_palette_indicesは、エスケープ色がない場合、パレットインデックスのコード化が、パレットテーブルサイズに等しいTBCのための最大値を使用することを示し、または、エスケープ色がある場合、パレットインデックスのコード化が、パレットテーブルサイズに1を足したものに等しいTBCのための最大値を使用することを示し得る。0の値を有するシンタックス要素use_index_max_for_palette_indicesは、エスケープ色がない場合、パレットインデックスのコード化が、パレットテーブルサイズから1を引いたものに等しいTBCのための最大値を使用することを示し、または、エスケープ色がある場合、パレットインデックスのコード化が、パレットテーブルサイズに等しいTBCのための最大値を使用することを示し得る。
シンタックス要素use_index_max_for_palette_indicesは、たとえば表14に示されているように、CUレベルフラグとして使用され得る。シンタックス要素use_index_max_for_palette_indicesが値1を有する場合には、エスケープ色がない場合、先頭のパレットインデックスの数が、パレットテーブルサイズに等しいTBCのための最大値を使用して符号化され得、または、エスケープ色がある場合、先頭のパレットインデックスの数が、パレットテーブルサイズに1を足したものに等しいTBCのための最大値を使用して符号化され得る。パレットインデックスの残りの数は、エスケープ色がない場合、パレットテーブルサイズから1を引いたものに等しい、または、エスケープ色がある場合、パレットテーブルサイズに等しいTBCのための最大値を使用して符号化され得る。先頭のパレットインデックスの数は、値palette_num_leading_indicesとしてデコーダに送られ得る。残りのパレットインデックスの数は、値palette_num_remaining_indicesとしてデコーダに送られ得る。palette_num_leading_indicesの値は、条件付きで送られ得、たとえば、palette_num_leading_indicesの値は、use_index_max_for_palette_indicesが値1を有する場合にだけビットストリーム内で送られ得る。
シンタックス要素use_index_max_for_palette_indicesが0の値を有する場合には、palette_num_leading_indicesの値がビットストリーム内に存在し得ず、0の値を有すると推測され得る。この場合、パレットインデックスの1または複数(たとえば、すべて)は、エスケープ色がない場合、パレットテーブルサイズから1を引いたものに等しいTBCのための最大値を使用して符号化され得、または、パレットインデックスの1または複数(たとえば、すべて)は、エスケープ色がある場合、パレットテーブルサイズに等しいTBCのための最大値を使用して符号化され得る。デコーダは、これらのシンタックス要素を使用し、1または複数の(たとえば、各)パレットインデックスについてTBCのための最大値を決定し、それに応じてパレットインデックスを復号し得る。
Figure 2021005900
シンタックス要素use_index_max_for_palette_indicesは、palette_num_leading_indicesの非0値がビットストリーム内でシグナリングされているかどうか示し得る。シンタックス要素palette_num_leading_indicesは、現在のCU内にエスケープ色コード化がない場合、パレットテーブルサイズに設定された、または、現在のCU内にエスケープ色コード化がある場合、パレットテーブルサイズに1を足したものに設定されたTBCコード化のための最大値でコード化されている先頭のパレットインデックスの数を示し得る。存在しない場合、palette_num_leading_indicesの値は、0であると推測され得る。シンタックス要素palette_num_remaining_indicesは、現在のCU内にエスケープ色コード化がない場合、パレットテーブルサイズから1を引いたものに設定された、または、現在のCU内にエスケープ色コード化がある場合、パレットテーブルサイズに設定されたTBCコード化のための最大値でコード化されているパレットインデックスの数を示し得る。
たとえば表15に示されているように、use_index_max_for_palette_indicesがシグナリングされておらず、および/またはpalette_num_leading_indicesが存在する(たとえば、常に存在する)場合、パレットシンタックスが提供され得る。
Figure 2021005900
palette_index_refinement_flagのシグナリングが、パレットモードおよびパレットランのパースループからパレットインデックスのパースループに移動され得る。最大TBCレベルが、1つのパレットコード化されたCUのパレットインデックスをパースする前に1だけ(たとえば、pMax−1)低減され得る。palette_index_refinement_flagは、1つのピクセルのパースされるパレットインデックスがpMax−1に等しいときシグナリングされ(たとえば、常にシグナリングされ)得る。そのようなシンタックスは、たとえばパレットインデックスコード化のバイパスビンがパレットモードおよびパレットランのコンテキストコード化されているビンとは別々にされ得るので、より高いパーススループットを含み得る。このシンタックスの一例が表16に提供されている。
Figure 2021005900
Figure 2021005900
Figure 2021005900
図14Aは、1または複数の開示されている実施形態が実装され得る例示的な通信システム100の図である。通信システム100は、音声、データ、ビデオ、メッセージング、ブロードキャストなどコンテンツを複数のワイヤレスユーザに提供する多元接続システムであってよい。通信システム100は、複数のワイヤレスユーザがそのようなコンテンツに、ワイヤレス帯域幅を含むシステムリソースの共有を通じてアクセスすることを可能にし得る。たとえば、通信システム100は、符号分割多元接続(CDMA)、時分割多元接続(TDMA)、周波数分割多元接続(FDMA)、直交FDMA(OFDMA)、シングルキャリアFDMA(SC−FDMA)など1または複数のチャネルアクセス方法を使用し得る。
図14Aに示されているように、通信システム100は、ワイヤレス送信/受信ユニット(WTRU)102a、102b、102c、および/または102d(これらは一般に、またはまとめてWTRU102と呼ばれることがある)、無線アクセスネットワーク(RAN)103/104/105、コアネットワーク106/107/109、公衆電話網(PSTN)108、インターネット110、ならびに他のネットワーク112を含み得るが、開示されている実施形態は、任意の数のWTRU、基地局、ネットワーク、および/またはネットワーク要素を企図することを理解されたい。WTRU102a、102b、102c、102dのそれぞれは、ワイヤレス環境内で動作および/または通信するように構成された任意のタイプのデバイスであってよい。例として、WTRU102a、102b、102c、102dは、ワイヤレス信号を送信および/または受信するように構成されてよく、ユーザ機器(UE)、移動局、固定または移動加入者ユニット、ページャ、セルラ電話、携帯情報端末(PDA)、スマートフォン、ラップトップ、ネットブック、パーソナルコンピュータ、ワイヤレスセンサ、家庭用電化製品などを含み得る。
また、通信システム100は、基地局114aおよび基地局114bを含み得る。基地局114a、114bのそれぞれは、WTRU102a、102b、102c、102dの少なくとも1つとワイヤレスでインターフェースし、コアネットワーク106/107/109、インターネット110、および/またはネットワーク112など1または複数の通信ネットワークへのアクセスを容易にするように構成された任意のタイプのデバイスであってよい。例として、基地局114a、114bは、トランシーバ基地局(BTS)、ノードB、高度化ノードB、ホームノードB、高度化ホームノードB、サイトコントローラ、アクセスポイント(AP)、ワイヤレスルータなどであってよい。基地局114a、114bは、それぞれ単一の要素として示されているが、基地局114a、114bは、任意の数の相互接続された基地局および/またはネットワーク要素を含み得ることを理解されたい。
基地局114aは、RAN103/104/105の一部であってよく、RANは、他の基地局、および/または基地局コントローラ(BSC)、無線ネットワークコントローラ(RNC)、リレーノードなどネットワーク要素(図示せず)を含んでもよい。基地局114aおよび/または基地局114bは、セル(図示せず)と呼ばれることがある特定の地理的領域内でワイヤレス信号を送信および/または受信するように構成され得る。セルは、さらにセルセクタに分割され得る。たとえば、基地局114aに関連付けられたセルは、3つのセクタに分割され得る。したがって、一実施形態では、基地局114aは、3つのトランシーバを、たとえばセルの各セクタごとに1つ含み得る。別の実施形態では、基地局114aは、多重入力・多重出力(MIMO)技術を使用し得、したがってセルの各セクタについて複数のトランシーバを使用し得る。
基地局114a、114bは、任意の好適なワイヤレス通信リンク(たとえば、無線周波数(RF)、マイクロ波、赤外(IR)、紫外(UV)、可視光など)であってよいエアインターフェース115/116/117を介してWTRU102a、102b、102c、102dの1または複数と通信し得る。エアインターフェース115/116/117は、任意の好適な無線アクセス技術(RAT)を使用して確立され得る。
より具体的には、上記で指摘したように、通信システム100は、多元接続システムであってよく、CDMA、TDMA、FDMA、OFDMA、SC−FDMAなど1または複数のチャネルアクセス方式を使用し得る。たとえば、RAN103/104/105内の基地局114aおよびWTRU102a、102b、102cは、広帯域CDMA(WCDMA)を使用してエアインターフェース115/116/117を確立し得るユニバーサル移動体通信システム(UMTS)地上波無線アクセス(UTRA)など無線技術を実装し得る。WCDMAは、高速パケットアクセス(HSPA)および/または発展型HSPA(HSPA+)など、通信プロトコルを含み得る。HSPAは、高速ダウンリンクパケットアクセス(HSDPA)および/または高速アップリンクパケットアクセス(HSUPA)を含み得る。
別の実施形態では、基地局114a、およびWTRU102a、102b、102cは、ロングタームエボリューション(LTE)および/または拡張LTE(LTE−A)を使用してエアインターフェース115/116/117を確立し得る拡張UMTS地上波無線アクセス(E−UTRA)など無線技術を実装し得る。
他の実施形態では、基地局114a、およびWTRU102a、102b、102cは、IEEE802.16(たとえば、WiMAX(worldwide interoperability for microwave access))、CDMA2000、CDMA2000 1X、CDMA2000EV−DO、暫定標準2000(IS−2000)、暫定標準95(IS−95)、暫定標準856(IS−856)、グローバル移動体通信システム(GSM)、GSMエボリューション用の拡張データ転送速度(EDGE)、GSM EDGE(GERAN)など、無線技術を実装し得る。
図14Aにおける基地局114bは、たとえば、ワイヤレスルータ、ホームノードB、ホーム高度化ノードB、またはアクセスポイントであってよく、事業所、自宅、乗物、キャンパスなど、局所的な領域でのワイヤレスコネクティビティを容易にするための任意の好適なRATを使用し得る。一実施形態では、基地局114b、およびWTRU102c、102dは、ワイヤレスローカルエリアネットワーク(WLAN)を確立するために、IEEE802.11など無線技術を実装し得る。別の実施形態では、基地局114b、およびWTRU102c、102dは、ワイヤレスパーソナルエリアネットワーク(WPAN)を確立するために、IEEE802.15など無線技術を実装し得る。さらに別の実施形態では、基地局114b、およびWTRU102c、102dは、ピコセルまたはフェムトセルを確立するために、セルラベースのRAT(たとえば、WCDMA、CDMA2000、GSM、LTE、LTE−Aなど)を使用し得る。図14Aに示されているように、基地局114bは、インターネット110に対する直接接続を有してもよい。したがって、基地局114bは、コアネットワーク106/107/109を介してインターネット110にアクセスすることが必要とされ得ない。
RAN103/104/105は、コアネットワーク106/107/109と通信し、コアネットワークは、音声、データ、アプリケーション、および/またはボイスオーバーインターネットプロトコル(VoIP)サービスを、WTRU102a、102b、102c、102dの1または複数に提供するように構成された任意のタイプのネットワークであってよい。たとえば、コアネットワーク106/107/109は、呼制御、支払い請求サービス、移動体位置をベースとするサービス、プリペイド呼、インターネットコネクティビティ、ビデオ配信などを提供し、および/またはユーザ認証などハイレベルセキュリティ機能を実施し得る。図14Aには示されていないが、RAN103/104/105および/またはコアネットワーク106/107/109は、RAN103/104/105と同じRATまたは異なるRATを使用する他のRANと直接または間接的に通信し得ることを理解されたい。たとえば、E−UTRA無線技術を使用していることがあるRAN103/104/105に接続されることに加えて、コアネットワーク106/107/109はまた、GSM無線技術を使用する別のRAN(図示せず)と通信し得る。
また、コアネットワーク106/107/109は、WTRU102a、102b、102c、102dがPSTN108、インターネット110、および/または他のネットワーク112にアクセスするためのゲートウェイとして働き得る。PSTN108は、基本電話サービス(POTS/plain old telephone service)を提供する回線交換電話網を含み得る。インターネット110は、TCP/IPインターネットプロトコルスイートにおける伝送制御プロトコル(TCP)、ユーザデータグラムプロトコル(UDP)、インターネットプロトコル(IP)など、一般的な通信プロトコルを使用する相互接続されたコンピュータネットワークおよびデバイスのグローバルシステムを含み得る。ネットワーク112は、他のサービスプロバイダによって所有および/または運営される有線もしくはワイヤレス通信ネットワークを含み得る。たとえば、ネットワーク112は、RAN103/104/105と同じRATまたは異なるRATを使用し得る1または複数のRANに接続された別のコアネットワークを含み得る。
通信システム100におけるWTRU102a、102b、102c、102dの一部または全部がマルチモード機能を含み得る。たとえば、WTRU102a、102b、102c、102dは、異なるワイヤレスリンクを介して異なるワイヤレスネットワークと通信するために複数のトランシーバを含み得る。たとえば、図14Aに示されているWTRU102cは、セルラベースの無線技術を使用し得る基地局114a、およびIEEE802無線技術を使用し得る基地局114bと通信するように構成され得る。
図14Bは、例示的なWTRU102のシステム図である。図14Bに示されているように、WTRU102は、プロセッサ118、トランシーバ120、送信/受信要素122、スピーカ/マイクロフォン124、キーパッド126、ディスプレイ/タッチパッド128、非取外し式メモリ130、取外し式メモリ132、電源134、全世界測位システム(GPS)チップセット136、および他の周辺機器138を含み得る。WTRU102は、一実施形態と一貫したまま前述の要素の任意のサブコンビネーションを含み得ることを理解されたい。また、実施形態は、基地局114a、114b、および/または、それだけには限らないがとりわけトランシーバ局(BTS)、ノードB、サイトコントローラ、アクセスポイント(AP)、ホームノードB、高度化ホームノードB(高度化ノードB)、ホーム高度化ノードB(HeNB)、ホーム高度化ノードBゲートウェイ、およびプロキシノードなど、基地局114a、114bが表すノードが、図14Bに示され本明細書に記載されている要素の一部または全部を含み得ることを企図する。
プロセッサ118は、汎用プロセッサ、専用プロセッサ、従来のプロセッサ、デジタル信号プロセッサ(DSP)、複数のマイクロプロセッサ、DSPコアに関連付けられた1または複数のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)回路、任意の他のタイプの集積回路(IC)、状態機械などであってよい。プロセッサ118は、信号コード化、データ処理、電力制御、入力/出力処理、および/またはWTRU102がワイヤレス環境で動作することを可能にする任意の他の機能を実施し得る。プロセッサ118は、トランシーバ120に結合され得、トランシーバは、送信/受信エレメント122に結合され得る。図14Bは、プロセッサ118とトランシーバ120を別個の構成要素として示しているが、プロセッサ118とトランシーバ120は、電子パッケージまたはチップ内で共に集積されてもよいことを理解されたい。
送信/受信要素122は、エアインターフェース115/116/117を介して基地局(たとえば、基地局114a)に信号を送信する、または基地局から信号を受信するように構成され得る。たとえば、一実施形態では、送信/受信要素122は、RF信号を送信および/または受信するように構成されたアンテナであってよい。別の実施形態では、送信/受信要素122は、たとえばIR信号、UV信号、または可視光信号を送信および/または受信するように構成されたエミッタ/検出器であってよい。さらに別の実施形態では、送信/受信要素122は、RF信号と光信号を共に送信および受信するように構成され得る。送信/受信要素122は、任意の組合せのワイヤレス信号を送信および/または受信するように構成され得ることを理解されたい。
さらに、送信/受信要素122は、図14Bに単一の要素として示されているが、WTRU102は、任意の数の送信/受信要素122を含み得る。より具体的には、WTRU102は、MIMO技術を使用し得る。したがって、一実施形態では、WTRU102は、エアインターフェース115/116/117を介してワイヤレス信号を送信および受信するために2つ以上の送信/受信要素122(たとえば、複数のアンテナ)を含み得る。
トランシーバ120は、送信/受信要素122によって送信しようとする信号を変調するように、また送信/受信要素122によって受信される信号を復調するように構成され得る。上記で指摘したように、WTRU102は、マルチモード機能を有してもよい。したがって、トランシーバ120は、たとえばUTRAおよびIEEE802.11など複数のRATを介してWTRU102が通信することを可能にするために複数のトランシーバを含み得る。
WTRU102のプロセッサ118は、スピーカ/マイクロフォン124、キーパッド126、および/またはディスプレイ/タッチパッド128(たとえば、液晶ディスプレイ(LCD)ディスプレイユニット、または有機発光ダイオード(OLED)ディスプレイユニット)に結合され得、それらからユーザ入力データを受け取り得る。また、プロセッサ118は、ユーザデータをスピーカ/マイクロフォン124、キーパッド126、および/またはディスプレイ/タッチパッド128に出力し得る。さらに、プロセッサ118は、非取外し式メモリ130および/または取外し式メモリ132など、任意のタイプの好適なメモリからの情報にアクセスし、それらにデータを記憶させ得る。非取外し式メモリ130は、ランダムアクセスメモリ(RAM)、読出し専用メモリ(ROM)、ハードディスク、または任意の他のタイプのメモリ記憶装置を含み得る。取外し式メモリ132は、加入者識別モジュール(SIM)カード、メモリスティック、セキュアデジタル(SD)メモリカードなどを含み得る。他の実施形態では、プロセッサ118は、サーバ上または家庭用コンピュータ(図示せず)上など、物理的にWTRU102上に位置しないメモリからの情報にアクセスし、それらにデータを記憶させ得る。
プロセッサ118は、電源134から電力を受け取り得、WTRU102内の他の構成要素に電力を分配し、かつ/またはその電力を制御するように構成され得る。電源134は、WTRU102に給電するための任意の好適なデバイスであってよい。たとえば、電源134は、1または複数の乾電池(たとえば、ニッケルカドミウム(NiCd)、ニッケル亜鉛(NiZn)、ニッケル水素(NiMH)、リチウムイオン(Li−ion)など)、太陽電池、燃料電池などを含み得る。
また、プロセッサ118は、WTRU102の現在位置に関する位置情報(たとえば、経度および緯度)を提供するように構成され得るGPSチップセット136に結合され得る。GPSチップセット136からの情報に加えて、またはその代わりに、WTRU102は、エアインターフェース115/116/117を介して基地局(たとえば、基地局114a、114b)から位置情報を受信し、かつ/または近くの2つ以上の基地局から受信される信号のタイミングに基づいてその位置を決定し得る。WTRU102は、一実施形態と一貫したまま任意の好適な位置決定方法により位置情報を獲得し得ることを理解されたい。
さらに、プロセッサ118は他の周辺機器138に結合され得、それらの周辺機器は、追加の特徴、機能、および/または有線もしくはワイヤレスコネクティビティを提供する1または複数のソフトウェアおよび/またはハードウェアモジュールを含み得る。たとえば、周辺機器138は、加速度計、電子コンパス(e−compass)、衛星トランシーバ、デジタルカメラ(写真またはビデオ用)、ユニバーサルシリアルバス(USB)ポート、振動デバイス、テレビトランシーバ、ハンズフリー用ヘッドセット、Bluetooth(登録商標)モジュール、周波数変調(FM)無線ユニット、デジタル音楽プレーヤ、メディアプレーヤ、ビデオゲームプレーヤモジュール、インターネットブラウザなどを含み得る。
図14Cは、一実施形態によるRAN103およびコアネットワーク106のシステム図である。上記で指摘したように、RAN103は、UTRA無線技術を使用し、エアインターフェース115を介してWTRU102a、102b、102cと通信し得る。また、RAN103は、コアネットワーク106と通信し得る。図14Cに示されているように、RAN103は、ノードB140a、140b、140cを含み得、これらのノードBは、それぞれが、エアインターフェース115を介してWTRU102a、102b、102cと通信するために1または複数のトランシーバを含み得る。ノードB140a、140b、140cは、それぞれがRAN103内の特定のセル(図示せず)に関連付けられ得る。また、RAN103は、RNC142a、142bを含み得る。RAN103は、一実施形態と一貫したまま任意の数のノードBおよびRNCを含み得ることを理解されたい。
図14Cに示されているように、ノードB140a、140bは、RNC142aと通信し得る。さらに、ノードB140cは、RNC142bと通信し得る。ノードB140a、140b、140cは、Iubインターフェースを介して、それぞれのRNC142a、142bと通信し得る。RNC142a、142bは、Iurインターフェースを介して互いに通信し得る。RNC142a、142bのそれぞれは、接続されているそれぞれのノードB140a、140b、140cを制御するように構成され得る。さらに、RNC142a、142bのそれぞれは、外部ループ電力制御、負荷制御、許可制御、パケットスケジューリング、ハンドオーバ制御、マクロダイバシティ、セキュリティ機能、データ暗号化など、他の機能を実施する、またはサポートするように構成され得る。
図14Cに示されているコアネットワーク106は、メディアゲートウェイ(MGW)144、移動交換センタ(MSC)146、サービングGPRSサポートノード(SGSN)148、および/またはゲートウェイGPRSサポートノード(GGSN)150を含み得る。前述の要素のそれぞれはコアネットワーク106の一部として示されているが、これらの要素のいずれか1つがコアネットワークオペレータ以外の企業体(entity)によって所有および/または運営されてもよいことを理解されたい。
RAN103内のRNC142aは、IuCSインターフェースを介してコアネットワーク106内のMSC146に接続され得る。MSC146は、MGW144に接続され得る。MSC146およびMGW144は、WTRU102a、102b、102cにPSTN108など回線交換ネットワークに対するアクセスを提供し、WTRU102a、102b、102cと従来の陸線通信デバイスとの間の通信を容易にし得る。
また、RAN103内のRNC142aは、IuPSインターフェースを介してコアネットワーク106内のSGSN148に接続され得る。SGSN148は、GGSN150に接続され得る。SGSN148およびGGSN150は、WTRU102a、102b、102cにインターネット110などパケット交換ネットワークに対するアクセスを提供し、WTRU102a、102b、102cとIP対応デバイスの間の通信を容易にし得る。
上記で指摘したように、コアネットワーク106はまた、他のサービスプロバイダによって所有および/または運営される他の有線もしくはワイヤレスネットワークを含み得るネットワーク112に接続され得る。
図14Dは、一実施形態によるRAN104およびコアネットワーク107のシステム図である。上記で指摘したように、RAN104は、E−UTRA無線技術を使用し、エアインターフェース116を介してWTRU102a、102b、102cと通信し得る。また、RAN104は、コアネットワーク107と通信し得る。
RAN104は高度化ノードB160a、160b、160cを含むが、RAN104は、一実施形態と一貫したまま任意の数の高度化ノードBを含み得ることを理解されたい。高度化ノードB160a、160b、160cは、それぞれが、エアインターフェース116を介してWTRU102a、102b、102cと通信するために1または複数のトランシーバを含み得る。一実施形態では、高度化ノードB160a、160b、160cは、MIMO技術を実装し得る。したがって、たとえば高度化ノードB160aは、複数のアンテナを使用し、WTRU102aにワイヤレス信号を送信し、WTRU102aからワイヤレス信号を受信し得る。
高度化ノードB160a、160b、160cのそれぞれは、特定のセル(図示せず)に関連付けられ得、無線リソース管理判断、ハンドオーバ判断、アップリンクおよび/またはダウンリンクにおけるユーザのスケジューリングなどを処理するように構成され得る。図14Dに示されているように、高度化ノードB160a、160b、160cは、X2インターフェースを介して互いに通信し得る。
図14Dに示されているコアネットワーク107は、移動管理ゲートウェイ(MME)162、サービングゲートウェイ164、およびパケットデータネットワーク(PDN)ゲートウェイ166を含み得る。前述の要素のそれぞれはコアネットワーク107の一部として示されているが、これらの要素のいずれか1つがコアネットワークオペレータ以外の企業体によって所有および/または運営されてもよいことを理解されたい。
MME162は、S1インターフェースを介してRAN104内の高度化ノードB160a、160b、160cのそれぞれに接続され得、制御ノードとして働き得る。たとえば、MME162は、WTRU102a、102b、102cのユーザを認証すること、ベアラの活動化/非活動化、WTRU102a、102b、102cの初期アタッチ中に特定のサービングゲートウェイを選択することなどの責任を担い得る。また、MME162は、RAN104と、GSMまたはWCDMAなど他の無線技術を使用する他のRAN(図示せず)との間で切り替えるための制御プレーン機能を提供し得る。
サービングゲートウェイ164は、S1インターフェースを介してRAN104内の高度化ノードB160a、160b、160cのそれぞれに接続され得る。サービングゲートウェイ164は、一般に、ユーザデータパケットをWTRU102a、102b、102cに/WTRU102a、102b、102cからルーティングおよび転送し得る。また、サービングゲートウェイ164は、高度化ノードB間ハンドオーバ中にユーザプレーンをアンカリングすること、WTRU102a、102b、102cにとってダウンリンクデータが使用可能であるときページングをトリガすること、ならびにWTRU102a、102b、102cのコンテキストを管理および記憶することなど、他の機能を実施し得る。
また、サービングゲートウェイ164はPDNゲートウェイ166に接続され得、PDNゲートウェイは、WTRU102a、102b、102cにインターネット110などパケット交換ネットワークに対するアクセスを提供し、WTRU102a、102b、102cとIP対応デバイスの間の通信を容易にし得る。
コアネットワーク107は、他のネットワークとの通信を容易にし得る。たとえば、コアネットワーク107は、WTRU102a、102b、102cにPSTN108など回線交換ネットワークに対するアクセスを提供し、WTRU102a、102b、102cと従来の陸線通信デバイスとの間の通信を容易にし得る。たとえば、コアネットワーク107は、コアネットワーク107とPSTN108の間のインターフェースとして働くIPゲートウェイ(たとえば、IPマルチメディアサブシステム(IMS)サーバ)を含み得、またはIPゲートウェイと通信し得る。さらに、コアネットワーク107は、他のサービスプロバイダによって所有および/または運営される他の有線もしくはワイヤレスネットワークを含み得るネットワーク112に対するアクセスを、WTRU102a、102b、102cに提供し得る。
図14Eは、一実施形態によるRAN105およびコアネットワーク109のシステム図である。RAN105は、エアインターフェース117を介してWTRU102a、102b、102cと通信するためにIEEE802.16無線技術を使用するアクセスサービスネットワーク(ASN)であってよい。下記でさらに論じるように、WTRU102a、102b、102c、RAN105、およびコアネットワーク109の異なる機能エンティティ間の通信リンクが、参照ポイントとして定義され得る。
図14Eに示されているように、RAN105は、基地局180a、180b、180c、およびASNゲートウェイ182を含むが、RAN105は、一実施形態と一貫したまま任意の数の基地局およびASNゲートウェイを含み得ることを理解されたい。基地局180a、180b、180cは、それぞれがRAN105内の特定のセル(図示せず)に関連付けられ得、それぞれが、エアインターフェース117を介してWTRU102a、102b、102cと通信するために1つまたは複数のトランシーバを含み得る。一実施形態では、基地局180a、180b、180cは、MIMO技術を実装し得る。したがって、たとえば基地局180aは、複数のアンテナを使用し、WTRU102aにワイヤレス信号を送信し、WTRU102aからワイヤレス信号を受信し得る。また、基地局180a、180b、180cは、ハンドオフのトリガ、トンネル確立、無線リソース管理、トラフィック分類、サービス品質(QoS)ポリシ施行など、移動管理機能を提供し得る。ASNゲートウェイ182は、トラフィック集約ポイントとして働き得、ページング、加入者プロファイルのキャッシング、コアネットワーク109へのルーティングなどの責任を担い得る。
WTRU102a、102b、102cとRAN105の間のエアインターフェース117は、IEEE802.16仕様を実装するR1参照ポイントとして定義され得る。さらに、WTRU102a、102b、102cのそれぞれは、コアネットワーク109との論理インターフェース(図示せず)を確立し得る。WTRU102a、102b、102cとコアネットワーク109の間の論理インターフェースは、R2参照ポイントとして定義され得、認証、許可、IPホスト構成管理、および/または移動管理のために使用され得る。
基地局180a、180b、180cのそれぞれの間の通信リンクは、WTRUハンドオーバおよび基地局間のデータの転送を容易にするためのプロトコルを含むR8参照ポイントとして定義され得る。基地局180a、180b、180cとASNゲートウェイ182の間の通信リンクは、R6参照ポイントとして定義され得る。R6参照ポイントは、WTRU102a、102b、102cのそれぞれに関連する移動イベントに基づいて移動管理を容易にするためのプロトコルを含み得る。
図14Eに示されているように、RAN105は、コアネットワーク109に接続され得る。RAN105とコアネットワーク109の間の通信リンクは、たとえばデータ転送および移動管理機能を容易にするためのプロトコルを含むR3参照ポイントとして定義され得る。コアネットワーク109は、移動IPホームエージェント(MIP−HA)184と、認証、許可、アカウンティング(AAA)サーバ186と、ゲートウェイ188とを含み得る。前述の要素のそれぞれはコアネットワーク109の一部として示されているが、これらの要素のいずれか1つがコアネットワークオペレータ以外の企業体によって所有および/または運営されてもよいことを理解されたい。
MIP−HAは、IPアドレス管理の責任を担い得、WTRU102a、102b、102cが、異なるASNおよび/または異なるコアネットワーク間でローミングすることを可能にし得る。MIP−HA184は、WTRU102a、102b、102cにインターネット110などパケット交換ネットワークに対するアクセスを提供し、WTRU102a、102b、102cとIP対応デバイスの間の通信を容易にし得る。AAAサーバ186は、ユーザ認証、およびユーザサービスをサポートすることの責任を担い得る。ゲートウェイ188は、他のネットワークとの網間接続を容易にし得る。たとえば、ゲートウェイ188は、WTRU102a、102b、102cにPSTN108など回線交換ネットワークに対するアクセスを提供し、WTRU102a、102b、102cと従来の陸線通信デバイスとの間の通信を容易にし得る。さらに、ゲートウェイ188は、他のサービスプロバイダによって所有および/または運営される他の有線もしくはワイヤレスネットワークを含み得るネットワーク112に対するアクセスを、WTRU102a、102b、102cに提供し得る。
図14Eには示されていないが、RAN105は他のASNに接続され得、コアネットワーク109は他のコアネットワークに接続され得ることを理解されたい。RAN105と他のASNとの間の通信リンクは、RAN105と他のASNとの間でのWTRU102a、102b、102cの移動を調整するためのプロトコルを含み得るR4参照ポイントとして定義され得る。コアネットワーク109と他のコアネットワークとの間の通信リンクは、ホームコアネットワークと訪問を受けるコアネットワークとの間の網間接続を容易にするためのプロトコルを含み得るR5参照ポイントとして定義され得る。
上記では特徴および要素が特定の組合せで記載されているが、各特徴または要素は、単独で、または他の特徴および要素との任意の組合せで使用することができることを、当業者なら理解するであろう。さらに、本明細書に記載の方法は、コンピュータまたはプロセッサによって実行するためのコンピュータ可読媒体内に組み込まれるコンピュータプログラム、ソフトウェア、またはファームウェアで実装され得る。コンピュータ可読媒体の例は、(有線接続またはワイヤレス接続を介して伝送される)電子信号、およびコンピュータ可読記憶媒体を含む。コンピュータ可読記憶媒体の例は、それだけには限らないが、読出し専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、レジスタ、キャッシュメモリ、半導体メモリデバイス、内部ハードディスクおよび取外し式ディスクなど磁気媒体、光磁気媒体、ならびにCD−ROMディスクおよびデジタル多用途ディスク(DVD)など光媒体を含む。ソフトウェアと関連付けられたプロセッサを使用し、WTRU、UE、端末、基地局、RNC、または任意のホストコンピュータで使用するために、無線周波数トランシーバを実装し得る。
本発明は、一般的に無線通信システムに利用することができる。
100 通信システム
102a〜102d ワイヤレス送信/受信ユニット(WTRU)
103 RAN
106 コアネットワーク
108 PSTN
110 インターネット
112 その他のネットワーク
118 プロセッサ
120 トランシーバ
122 アンテナ

Claims (32)

  1. パレット復号のための方法であって、
    ビデオビットストリームを受信するステップと、
    主要色またはエスケープ色のみのいずれかを含む、前記ビデオビットストリームのコード化ユニット(CU)を決定するステップと、
    前記CUのサイズに基づいて、前記CUに対するパレットモードがランモードであると決定するステップと、
    前記パレットモードに対するラン値を決定するステップと、
    前記ランモードおよび前記ラン値に基づいて、前記CUを復号するステップと
    を備えることを特徴とする方法。
  2. 前記ラン値は、前記CUのサイズマイナス1に等しいことを特徴とする請求項1に記載の方法。
  3. 前記CUが前記主要色を含むと決定するステップは、
    前記CUに対するパレットテーブルのパレットテーブルサイズが1に等しいと決定することと、
    前記CUに対するエスケープ色プレゼンスフラグの値が0に等しいと決定すること
    を含むことを特徴とする請求項1に記載の方法。
  4. 前記CUがエスケープ色のみを含むと決定するステップは、
    前記CUに対するパレットテーブルのパレットテーブルサイズが0に等しいと決定することと、
    前記CUに対するエスケープ色プレゼンスフラグの値が1に等しいと決定すること
    を含むことを特徴とする請求項1に記載の方法。
  5. パレット復号のための装置であって、
    ビデオビットストリームを受信し、
    主要色またはエスケープ色のみのいずれかを含む、前記ビデオビットストリームのコード化ユニット(CU)を決定し、
    前記CUのサイズに基づいて、前記CUに対するパレットモードがランモードであると決定し、
    前記パレットモードに対するラン値を決定し、
    前記ランモードおよび前記ラン値に基づいて、前記CUを復号する
    よう構成されたプロセッサ
    を備えたことを特徴とする装置。
  6. 前記ラン値は、前記CUのサイズマイナス1に等しいことを特徴とする請求項5に記載の装置。
  7. 前記プロセッサは、
    前記CUに対するパレットテーブルのパレットテーブルサイズが1に等しいと決定すること、および、
    前記CUに対するエスケープ色プレゼンスフラグの値が0に等しいと決定すること
    によって、前記CUが前記主要色を含むと決定するようさらに構成されたことを特徴とする請求項5に記載の装置。
  8. 前記プロセッサは、
    前記CUに対するパレットテーブルのパレットテーブルサイズが0に等しいと決定すること、および、
    前記CUに対するエスケープ色プレゼンスフラグの値が1に等しいと決定することによって、前記CUがエスケープ色のみを含むと決定するようさらに構成されたことを特徴とする請求項5に記載の装置。
  9. パレット符号化の方法であって、
    ビデオビットストリームのコード化ユニット(CU)が主要色またはエスケープ色のみのいずれかを含むと決定するステップと、
    前記CUのサイズに基づいて、前記CUに対するパレットモードがランモードであると決定するステップと、
    前記ランモードに対するラン値を決定するステップと、
    前記ランモードおよび前記ラン値を前記ビデオビットストリームでシグナリングするステップと
    を備えることを特徴とする方法。
  10. 前記ラン値は、前記CUのサイズマイナス1に等しいことを特徴とする請求項9に記載の方法。
  11. 前記ランモードおよび前記ラン値を前記ビデオビットストリームでシグナリングするステップは、
    前記CUに対するパレットテーブルのパレットテーブルサイズが1に等しいとシグナリングすること、および、
    前記CUに対するエスケープ色プレゼンスフラグの値が0に等しいとシグナリングすること
    を含むことを特徴とする請求項9に記載の方法。
  12. 前記ランモードおよび前記ラン値を前記ビデオビットストリームでシグナリングするステップは、
    前記CUに対するパレットテーブルのパレットテーブルサイズが0に等しいとシグナリングすること、および、
    前記CUに対するエスケープ色プレゼンスフラグの値が1に等しいとシグナリングすること
    を含むことを特徴とする請求項9に記載の方法。
  13. パレット符号化のための装置であって、
    ビデオビットストリームのコード化ユニット(CU)が主要色またはエスケープ色のみのいずれかを含むと決定し、
    前記CUのサイズに基づいて、前記CUに対するパレットモードがランモードであると決定し、
    前記ランモードに対するラン値を決定し、
    前記ランモードおよび前記ラン値を前記ビデオビットストリームでシグナリングする
    よう構成されたプロセッサ
    を備えたことを特徴とする装置。
  14. 前記ラン値は、前記CUのサイズマイナス1に等しいことを特徴とする請求項13に記載の装置。
  15. 前記プロセッサは、
    前記CUに対するパレットテーブルのパレットテーブルサイズが1に等しいとシグナリングすること、および、
    前記CUに対するエスケープ色プレゼンスフラグの値が0に等しいとシグナリングすること
    によって、前記ランモードおよび前記ラン値を前記ビデオビットストリームでシグナリングするようさらに構成されたことを特徴とする請求項13に記載の装置。
  16. 前記プロセッサは、
    前記CUに対するパレットテーブルのパレットテーブルサイズが0に等しいとシグナリングすること、および、
    前記CUに対するエスケープ色プレゼンスフラグの値が1に等しいとシグナリングすること
    によって、前記ランモードおよび前記ラン値を前記ビデオビットストリームでシグナリングするようさらに構成されたことを特徴とする請求項13に記載の装置。
  17. パレット復号のための方法であって、
    ビデオビットストリームを受信するステップと、
    前記ビデオビットストリームの第1のコード化ユニット(CU)のための第1のパレットモードフラグを受信するステップであって、前記第1のパレットモードフラグは、第2のCUの1つ以上のピクセルに対する第2のパレットモードフラグの値に依存しない単一のコンテキストで符号化される、ステップと、
    前記第1のパレットモードフラグに基づいて、前記CUをパースするステップ
    を備えることを特徴とする方法。
  18. 前記CUに対する前記第1のパレットモードフラグは、スキャン方向フラグであることを特徴とする請求項17に記載の方法。
  19. 前記第2のCUは、前記第1のCUの隣接するCUであり、前記第2のパレットモードフラグは前記隣接するCUのパレットインデックスであることを特徴とする請求項18に記載の方法。
  20. 前記CUに対する前記第1のパレットモードフラグは、palette_transpose_flagであることを特徴とする請求項17に記載の方法。
  21. パレット復号のための装置であって、
    ビデオビットストリームを受信し、
    前記ビデオビットストリームの第1のコード化ユニット(CU)のための第1のパレットモードフラグを受信し、前記第1のパレットモードフラグは、第2のCUの1つ以上のピクセルに対する第2のパレットモードフラグの値に依存しない単一のコンテキストで符号化され、
    前記第1のパレットモードフラグに基づいて、前記CUをパースする
    よう構成されたプロセッサ
    を備えたことを特徴とする装置。
  22. 前記CUに対する前記第1のパレットモードフラグは、スキャン方向フラグであることを特徴とする請求項21に記載の装置。
  23. 前記第2のCUは、前記第1のCUの隣接するCUであり、前記第2のパレットモードフラグは前記隣接するCUのパレットインデックスであることを特徴とする請求項22に記載の装置。
  24. 前記CUに対する前記第1のパレットモードフラグは、palette_transpose_flagであることを特徴とする請求項21に記載の装置。
  25. パレット符号化のための方法であって、
    ビデオビットストリームの第1のコード化ユニット(CU)を決定するステップと、
    前記ビデオビットストリームの第1CUのための第1のパレットモードフラグをシグナリングするステップであって、記第1のパレットモードフラグは、第2のCUの1つ以上のピクセルに対する第2のパレットモードフラグの値に依存しない単一のコンテキストで符号化される、ステップと、
    前記ビデオビットストリームを送るステップと
    を備えることを特徴とする方法。
  26. 前記CUに対する前記第1のパレットモードフラグは、スキャン方向フラグであることを特徴とする請求項25に記載の方法。
  27. 前記第2のCUは、前記第1のCUの隣接するCUであり、前記第2のパレットモードフラグは前記隣接するCUのパレットインデックスであることを特徴とする請求項26に記載の方法。
  28. 前記CUに対する前記第1のパレットモードフラグは、palette_transpose_flagであることを特徴とする請求項26に記載の方法。
  29. パレット符号化のための装置であって、
    ビデオビットストリームの第1のコード化ユニット(CU)を決定し、
    前記ビデオビットストリームの前記第1CUのための第1のパレットモードフラグをシグナリングし、記第1のパレットモードフラグは、第2のCUの1つ以上のピクセルに対する第2のパレットモードフラグの値に依存しない単一のコンテキストで符号化され、
    前記ビデオビットストリームを送る
    よう構成されたプロセッサ
    を備えたことを特徴とする装置。
  30. 前記CUに対する前記第1のパレットモードフラグは、スキャン方向フラグであることを特徴とする請求項29に記載の装置。
  31. 前記第2のCUは、前記第1のCUの隣接するCUであり、前記第2のパレットモードフラグは前記隣接するCUのパレットインデックスであることを特徴とする請求項30に記載の装置。
  32. 前記CUに対する前記第1のパレットモードフラグは、palette_transpose_flagであることを特徴とする請求項29に記載の装置。
JP2020171731A 2014-10-06 2020-10-12 スクリーンコンテンツコード化のための改善されたパレットコード化 Pending JP2021005900A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022030001A JP2022079463A (ja) 2014-10-06 2022-02-28 スクリーンコンテンツコード化のための改善されたパレットコード化

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201462060536P 2014-10-06 2014-10-06
US62/060,536 2014-10-06
US201562120293P 2015-02-24 2015-02-24
US62/120,293 2015-02-24

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019009581A Division JP6778770B2 (ja) 2014-10-06 2019-01-23 スクリーンコンテンツコード化のための改善されたパレットコード化

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022030001A Division JP2022079463A (ja) 2014-10-06 2022-02-28 スクリーンコンテンツコード化のための改善されたパレットコード化

Publications (1)

Publication Number Publication Date
JP2021005900A true JP2021005900A (ja) 2021-01-14

Family

ID=54360539

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2017518553A Pending JP2017535169A (ja) 2014-10-06 2015-10-06 スクリーンコンテンツコード化のための改善されたパレットコード化
JP2019009581A Active JP6778770B2 (ja) 2014-10-06 2019-01-23 スクリーンコンテンツコード化のための改善されたパレットコード化
JP2020171731A Pending JP2021005900A (ja) 2014-10-06 2020-10-12 スクリーンコンテンツコード化のための改善されたパレットコード化
JP2022030001A Pending JP2022079463A (ja) 2014-10-06 2022-02-28 スクリーンコンテンツコード化のための改善されたパレットコード化

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2017518553A Pending JP2017535169A (ja) 2014-10-06 2015-10-06 スクリーンコンテンツコード化のための改善されたパレットコード化
JP2019009581A Active JP6778770B2 (ja) 2014-10-06 2019-01-23 スクリーンコンテンツコード化のための改善されたパレットコード化

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022030001A Pending JP2022079463A (ja) 2014-10-06 2022-02-28 スクリーンコンテンツコード化のための改善されたパレットコード化

Country Status (9)

Country Link
US (3) US20160100179A1 (ja)
EP (2) EP3205107A2 (ja)
JP (4) JP2017535169A (ja)
KR (4) KR20200051066A (ja)
CN (2) CN110677656A (ja)
AU (3) AU2015328326B2 (ja)
MX (2) MX2017004467A (ja)
TW (2) TW201626798A (ja)
WO (1) WO2016057444A2 (ja)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10136141B2 (en) * 2014-06-11 2018-11-20 Qualcomm Incorporated Determining quantization parameter (QP) values and delta QP values for palette coded blocks in video coding
US9924175B2 (en) 2014-06-11 2018-03-20 Qualcomm Incorporated Determining application of deblocking filtering to palette coded blocks in video coding
US10469870B2 (en) * 2014-09-26 2019-11-05 Kt Corporation Method and apparatus for predicting and restoring a video signal using palette entry
TW201626798A (zh) 2014-10-06 2016-07-16 Vid Scale Inc 用於螢幕內容編碼之改良調色編碼
WO2016064123A1 (ko) * 2014-10-20 2016-04-28 주식회사 케이티 비디오 신호 처리 방법 및 장치
US9961351B2 (en) * 2014-11-26 2018-05-01 Qualcomm Incorporated Palette mode coding
CN105704491B (zh) 2014-11-28 2020-03-13 同济大学 图像编码方法、解码方法、编码装置和解码装置
KR102596896B1 (ko) * 2015-01-15 2023-11-01 주식회사 케이티 비디오 신호 처리 방법 및 장치
US10477244B2 (en) * 2015-01-29 2019-11-12 Kt Corporation Method and apparatus for predicting and restoring a video signal using palette entry and palette mode
WO2016122251A1 (ko) * 2015-01-29 2016-08-04 주식회사 케이티 비디오 신호 처리 방법 및 장치
US10057587B2 (en) * 2015-01-31 2018-08-21 Qualcomm Incorporated Coding escape pixels for palette mode coding
CN111031326B (zh) * 2015-04-02 2022-02-11 株式会社Kt 用于处理视频信号的方法
US10448058B2 (en) * 2015-05-21 2019-10-15 Qualcomm Incorporated Grouping palette index at the end and index coding using palette size and run value
CN107810637B (zh) * 2015-05-27 2022-02-15 株式会社Kt 用于处理视频信号的方法和设备
WO2016192662A1 (en) * 2015-06-03 2016-12-08 Mediatek Inc. Method and apparatus for resource sharing between intra block copy mode and inter prediction mode in video coding systems
US10097842B2 (en) 2015-09-18 2018-10-09 Qualcomm Incorporated Restriction of escape pixel signaled values in palette mode video coding
JP6812149B2 (ja) * 2016-06-30 2021-01-13 オリンパス株式会社 走査型顕微鏡、及び、走査型顕微鏡の制御方法
CN107454425B (zh) * 2017-08-26 2019-10-18 同济大学 一种scc帧内编码单元候选预测模式缩减方法
US10916041B2 (en) * 2018-03-30 2021-02-09 Samsung Electronics Co., Ltd. Method for depth image di coding
CN108986180B (zh) * 2018-06-07 2022-09-16 创新先进技术有限公司 一种调色板的生成方法、装置及电子设备
US10848787B2 (en) * 2018-08-28 2020-11-24 Google Llc Lossy image compression using palettization of locally mixed colors
US10951895B2 (en) * 2018-12-31 2021-03-16 Alibaba Group Holding Limited Context model selection based on coding unit characteristics
CN113475062A (zh) 2019-02-24 2021-10-01 北京字节跳动网络技术有限公司 确定屏幕内容编解码的条件
WO2020216288A1 (en) 2019-04-23 2020-10-29 Beijing Bytedance Network Technology Co., Ltd. Conditional use of multiple transform matrices in video coding
JP7436519B2 (ja) 2019-05-31 2024-02-21 バイトダンス インコーポレイテッド イントラブロックコピー予測を備えたパレットモード
CN114072849B (zh) 2019-06-28 2023-12-15 字节跳动有限公司 屏幕内容编解码中的色度帧内模式推导
CN117459744A (zh) 2019-07-20 2024-01-26 北京字节跳动网络技术有限公司 调色板模式使用指示的条件相关编解码
CN117221536A (zh) 2019-07-23 2023-12-12 北京字节跳动网络技术有限公司 调色板模式编解码的模式确定
CN114208174B (zh) 2019-07-29 2023-11-28 北京字节跳动网络技术有限公司 预测过程中的调色板模式编解码
MX2022001244A (es) 2019-08-06 2022-02-22 Beijing Bytedance Network Tech Co Ltd Restricción de tamaño basada en formato de color.
CN117395420A (zh) 2019-08-15 2024-01-12 字节跳动有限公司 用于调色板逸出符号的熵编解码
EP4000269A4 (en) 2019-08-15 2022-09-07 ByteDance Inc. PALLET MODE WITH DIFFERENT DIVISION STRUCTURES
WO2021040459A1 (ko) * 2019-08-30 2021-03-04 주식회사 케이티 비디오 신호 처리 방법 및 장치
BR112022003656A2 (pt) 2019-09-02 2022-05-24 Beijing Bytedance Network Tech Co Ltd Método e aparelho de processamento de dados de vídeo, e, meios de armazenamento e de gravação legíveis por computador não transitórios
KR20220057544A (ko) 2019-09-12 2022-05-09 바이트댄스 아이엔씨 비디오 코딩에서 팔레트 예측자 사용
KR102624438B1 (ko) 2019-09-19 2024-01-15 바이트댄스 아이엔씨 팔레트 모드에 대한 양자화 파라미터 도출
BR112022005109A2 (pt) 2019-09-21 2023-03-14 Beijing Bytedance Network Tech Co Ltd Método de processamento de vídeo, aparelho para processamento de dados de vídeo, e, meios de armazenamento e de gravação legíveis por computador não transitórios
WO2021062017A1 (en) * 2019-09-24 2021-04-01 Beijing Dajia Internet Information Technology Co., Ltd. Methods and apparatus of performing rate-distortion analysis for palette mode
US11076151B2 (en) * 2019-09-30 2021-07-27 Ati Technologies Ulc Hierarchical histogram calculation with application to palette table derivation
WO2021091214A1 (ko) * 2019-11-05 2021-05-14 엘지전자 주식회사 크로마 양자화 파라미터 오프셋 관련 정보를 코딩하는 영상 디코딩 방법 및 그 장치
US20220394302A1 (en) * 2019-11-05 2022-12-08 Lg Electronics Inc. Image or video coding based on quantization-related information
CN116134820A (zh) * 2020-08-04 2023-05-16 现代自动车株式会社 基于补丁本的视频数据编码和解码的方法和装置
KR20220037382A (ko) 2020-09-17 2022-03-24 레몬 인크. 디코더 구성 레코드에서의 픽처 치수 표시
CN113141509B (zh) * 2021-03-30 2022-06-28 中山大学 一种颜色列表生成方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016046814A (ja) * 2014-08-25 2016-04-04 聯發科技股▲ふん▼有限公司Mediatek Inc. イメージ、および、ビデオ符号化のパレットインデックスシグナリングの方法および装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7162080B2 (en) * 2001-02-23 2007-01-09 Zoran Corporation Graphic image re-encoding and distribution system and method
US7511718B2 (en) 2003-10-23 2009-03-31 Microsoft Corporation Media integration layer
US8953690B2 (en) * 2011-02-16 2015-02-10 Google Technology Holdings LLC Method and system for processing video data
US9654777B2 (en) * 2013-04-05 2017-05-16 Qualcomm Incorporated Determining palette indices in palette-based video coding
GB201321851D0 (en) * 2013-12-10 2014-01-22 Canon Kk Run length parameters coding for palette mode
WO2015176683A1 (en) * 2014-05-23 2015-11-26 Mediatek Inc. Method and apparatus for palette table prediction and signaling
WO2015176685A1 (en) 2014-05-23 2015-11-26 Mediatek Inc. Methods for palette size signaling and conditional palette escape flag signaling
WO2016044974A1 (en) * 2014-09-22 2016-03-31 Mediatek Singapore Pte. Ltd. Palette table signalling
US10687064B2 (en) 2014-08-04 2020-06-16 Qualcomm Incorporated Palette mode encoding and decoding with inferred pixel scan order
TW201626798A (zh) 2014-10-06 2016-07-16 Vid Scale Inc 用於螢幕內容編碼之改良調色編碼

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016046814A (ja) * 2014-08-25 2016-04-04 聯發科技股▲ふん▼有限公司Mediatek Inc. イメージ、および、ビデオ符号化のパレットインデックスシグナリングの方法および装置

Also Published As

Publication number Publication date
WO2016057444A2 (en) 2016-04-14
US11558627B2 (en) 2023-01-17
JP2022079463A (ja) 2022-05-26
US20230132221A1 (en) 2023-04-27
EP3205107A2 (en) 2017-08-16
CN110677656A (zh) 2020-01-10
CN106797469A (zh) 2017-05-31
MX2021010428A (es) 2021-09-14
KR20170065648A (ko) 2017-06-13
KR102109154B1 (ko) 2020-05-12
TW202005377A (zh) 2020-01-16
TW201626798A (zh) 2016-07-16
JP2017535169A (ja) 2017-11-24
WO2016057444A3 (en) 2016-05-26
AU2018223030B2 (en) 2020-05-28
EP3723378A1 (en) 2020-10-14
US20160100179A1 (en) 2016-04-07
MX2017004467A (es) 2017-12-14
AU2018223030C1 (en) 2020-11-19
JP2019110539A (ja) 2019-07-04
KR20220000419A (ko) 2022-01-03
JP6778770B2 (ja) 2020-11-04
KR20200051066A (ko) 2020-05-12
US20190158854A1 (en) 2019-05-23
AU2018223030A1 (en) 2018-09-20
AU2020210245B2 (en) 2022-09-15
TWI786321B (zh) 2022-12-11
AU2015328326B2 (en) 2018-05-31
KR20190042761A (ko) 2019-04-24
AU2020210245A1 (en) 2020-08-20
AU2015328326A1 (en) 2017-05-04

Similar Documents

Publication Publication Date Title
JP6778770B2 (ja) スクリーンコンテンツコード化のための改善されたパレットコード化
JP6725596B2 (ja) スクリーンコンテンツ符号化のためのパレット符号化
TWI735424B (zh) 調色編碼模式逃逸色彩編碼
KR20160104695A (ko) 스크린 컨텐츠 코딩을 위한 2차원 팔레트 코딩

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211130

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220628