JP2022064913A - マルチレイヤビデオコーディングのコンバインドスケーラビリティ処理 - Google Patents

マルチレイヤビデオコーディングのコンバインドスケーラビリティ処理 Download PDF

Info

Publication number
JP2022064913A
JP2022064913A JP2022005155A JP2022005155A JP2022064913A JP 2022064913 A JP2022064913 A JP 2022064913A JP 2022005155 A JP2022005155 A JP 2022005155A JP 2022005155 A JP2022005155 A JP 2022005155A JP 2022064913 A JP2022064913 A JP 2022064913A
Authority
JP
Japan
Prior art keywords
bit depth
component
saturation
video
luminance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022005155A
Other languages
English (en)
Other versions
JP7448572B2 (ja
Inventor
イエ イエン
Yan Ye
ドン ジエ
Dong Jie
ホー ユーウェン
Yuwen He
ネフ ラルフ
Neff Ralph
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vid Scale Inc
Original Assignee
Vid Scale Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vid Scale Inc filed Critical Vid Scale Inc
Publication of JP2022064913A publication Critical patent/JP2022064913A/ja
Priority to JP2023199799A priority Critical patent/JP2024020538A/ja
Application granted granted Critical
Publication of JP7448572B2 publication Critical patent/JP7448572B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Color Image Communication Systems (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

【課題】逆トーンマッピングと色域変換のスケーラビリティ処理をビデオ信号のビデオ信号レイヤで同時に遂行できるビデオコーディングシステムを提供する。【解決手段】ビデオコーディングシステムは、輝度成分および彩度成分が同一の調整されたビット深度を有するように、輝度成分および彩度成分にビット深度アラインメントを実行するステップと、ビット深度の調整された輝度成分および彩度成分へ、カラーマッピングを実行するステップとを備える。【選択図】図13

Description

本発明は、マルチレイヤビデオコーディングのコンバインドスケーラビリティ処理に関する。
(相互参照)
本特許出願は、2013年10月7日に出願された米国特許仮出願第61/887,782号明細書および2014年9月3日に出願された米国特許仮出願第62/045,495号明細書の利益を主張し、その開示内容は、参照により完全に記載されているかのように本明細書に組み込まれる。
デジタルディスプレイ技術が発展するにつれて、ディスプレイ解像度が上がり続けている。例えば、利用可能な最適な商業用ディスプレイ解像度を具体化したばかりの高精細度(HD)デジタルビデオストリームは、超高精細度(UHD)ディスプレイ(例えば、4Kディスプレイ、8Kディスプレイなど)によって影を潜めた状態にある。
ビデオコーディングシステムは、デジタルビデオ信号を圧縮するため、例えば、消費される記憶空間を削減するおよび/またはそのようなビデオ信号と関連付けられた伝送帯域幅の消費を削減するために使用されることが多い。スケーラブルビデオコーディング(SVC)は、異種ネットワークを通じて異なる能力を有するデバイス上で稼働するビデオアプリケーションの体感品質(Quality of Experience)を改善することが知られている。スケーラブルビデオコーディングは、スケーラブルでないビデオコーディング技術と比較する場合、リソース(例えば、通信ネットワーク帯域幅、記憶域など)をより少なく消費できる。
周知のSVCビデオコーディングの実装(例えば、空間スケーラビリティを用いる実装)は、HDビデオ信号のコーディングに効果的であることが証明されているが、HD解像度を上回るデジタルビデオ信号、例えば、UHDビデオ信号を処理する時に欠陥が出る。
米国特許仮出願第61/887,782号明細書 米国特許仮出願第62/045,495号明細書
ビデオコーディングシステムは、レイヤ間処理を遂行できる。ビデオコーディングシステムは、逆トーンマッピング(inverse tone mapping)と色域変換のスケーラビリティ処理をビデオ信号のビデオ信号レイヤで同時に遂行できる。ビデオコーディングシステムは、ビデオ信号レイヤでアップサンプリングを遂行できる。例えば、アップサンプリング処理は、組み合わされた(combined)逆トーンマッピングと色域変換のスケーラビリティ処理の後で遂行される。本明細書で用いられるコーディングは、符号化および/または復号化を含む。
例えば、コンバインド(combined)処理モジュールを使用して逆トーンマッピングと色域変換のスケーラビリティ処理をベースレイヤなどの下位レイヤで同時に遂行できる。コンバインド処理モジュールは、入力輝度(luma)成分のサンプルビット深度および入力彩度(chroma)成分(複数)のサンプルビット深度を入力と見なし、そしてその入力に基づいて出力輝度成分のサンプルビット深度および出力彩度成分(複数)のサンプルビット深度を計算する。出力(例えば、出力輝度成分および出力彩度成分を備えるビデオ)、および/または出力の表示(例えば、出力輝度および彩度成分のサンプルビット深度を示す1または複数のパラメータ)、および/またはコンバインド処理モジュールの出力の表示は、アップサンプリングのためのアップサンプリング処理モジュールに送信される。処理されたベースレイヤを使用してエンハンスメント(enhancement)レイヤをコード化することができる。処理されたベースレイヤを使用してエンハンスメントレイヤを予測できる。
ビデオコーディングシステムは、第1の色空間から第2の色空間への色変換を遂行できる。例えば、輝度成分および/または彩度成分(複数)など、ピクセルの色成分値が読み出される。色成分値は、異なるビット深度で表される。ビット深度はアラインメントされ、そして色成分値は、色間成分モデル(cross color component model)を使用して第1の色空間から第2の色空間に変換される。アラインメントは、入力輝度ビット深度、入力彩度ビット深度、最小入力ビット深度、および/または最大入力ビット深度に基づく。ビット深度は、ビット深度のより大きい値にアラインメントされる場合もあり、および/またはビット深度のより小さい値にアラインメントされる場合もある。ビデオ信号の彩度成分の色マッピングを遂行すると、ビデオ信号の輝度成分のビット深度は、彩度成分のビット深度にアラインメントされる。ビデオ信号の輝度成分の色マッピングを遂行すると、ビデオ信号の彩度成分のビット深度は、輝度成分のビット深度にアラインメントされる。
例示的なマルチレイヤスケーラブルビデオコーディングシステムを示す図である。 立体ビデオコーディングの時間およびレイヤ間予測の例を示す図である。 ビデオコーディングにおいて遂行できる例示的なスケーラビリティのタイプのテーブルである。 超高精細度テレビ(UHDTV)と高精細度テレビ(HDTV)の技術仕様のテーブルである。 超高精細度テレビ(UHDTV)と高精細度テレビ(HDTV)の色空間の比較を示す図である。 HDがUHDのスケーラビリティを有するようにサポートすることができるビットストリームレイヤの例を示すテーブルである。 HDがUHDのスケーラビリティを有するようにサポートすることができるビットストリームレイヤの別の例を示すテーブルである。 HDがUHDのスケーラビリティを遂行するように構成することができる、例示的な2レイヤスケーラブルビデオエンコーダを示す簡略化されたブロック図である。 HDがUHDのスケーラビリティを遂行するように構成することができる、例示的な2レイヤスケーラブルビデオデコーダを示す簡略化されたブロック図である。 複数の処理モジュールを使用したレイヤ間処理の例を示す図である。 レイヤ間処理および/またはレイヤ間処理モジュールの選択および処理順序をシグナルする例を示すシンタックステーブルである。 図11の例示的なシンタックステーブルを用いて使用できる例示的な値のテーブルである。 組み合わされた逆トーンマッピングとアップサンプリング処理モジュールを使用したレイヤ間処理の例を示す図である。 組み合わされた逆トーンマッピングと色域変換処理モジュールを使用したレイヤ間処理の例を示す図である。 組み合わされた色域変換と逆トーンマッピング処理の例を示すシンタックステーブルである。 図11の例示的なシンタックステーブルを用いて使用できる例示的な値のテーブルである。 開示された1または複数の実施形態を実装することができる例示的な通信システムのシステム図である。 図17Aに示した通信システム内で使用できる例示的な無線送信/受信ユニット(WTRU)のシステム図である。 図17Aに示した通信システム内で使用できる例示的な無線アクセスネットワークおよび例示的なコアネットワークのシステム図である。 図17Aに示した通信システム内で使用できる例示的な無線アクセスネットワークおよび例示的なコアネットワークのシステム図である。 図17Aに示した通信システム内で使用できる例示的な無線アクセスネットワークおよび例示的なコアネットワークのシステム図である。
図1は、例示的なブロックベースのハイブリッドのスケーラブルビデオコーディング(SVC)システムを示す簡略化されたブロック図である。レイヤ1(例えば、ベースレイヤ)によって表される空間および/または時間信号分解能は、入力ビデオ信号のダウンサンプリングによって生成される。後続の符号化ステージにおいて、Q1などの量子化器の設定は、基本情報の品質レベルを導くことができる。1または複数の後続の上位レイヤ(複数)は、上位レイヤの分解能レベルの近似値を表す、ベースレイヤの再構成Y1を使用して符号化および/または復号化される。アップサンプリングユニットは、ベースレイヤの再構成信号のアップサンプリングをレイヤ2の分解能に遂行できる。ダウンサンプリングおよび/またはアップサンプリングは、複数のレイヤ(例えば、Nレイヤの場合、レイヤ1,2,…N)にわたって遂行できる。ダウンサンプリングおよび/またはアップサンプリング比は、例えば、2つレイヤ間のスケーラビリティの次元に応じて異なるようにすることができる。
図1の例示的なスケーラブルビデオコーディングシステムにおいて、所与の上位レイヤn(例えば、2≦n≦N、Nはレイヤの総数である)の場合、差分信号は、アップサンプリングされた下位レイヤの信号(例えば、レイヤn-1の信号)を現在のレイヤnの信号から差し引くことによって生成される。この差分信号を符号化することができる。2つのレイヤ、n1およびn2によって表されるそれぞれのビデオ信号が同じ空間分解能を有していれば、対応するダウンサンプリングおよび/またはアップサンプリングの動作はバイパスされる。上位レイヤからの復号化された情報を使用せずに、所与のレイヤn(例えば、1≦n≦N)または複数のレイヤを復号化することができる。
例えば、図1の例示的なSVCシステムを使用して、ベースレイヤ以外のレイヤが残差信号(例えば、2つのレイヤ間の差分信号)のコーディングに依存することによって、視覚的アーチファクトが生じる場合がある。このような視覚的アーチファクトは、例えば、残差信号のダイナミックレンジを制限するための残差信号の量子化および/または正規化、および/または残差のコード化中に遂行される量子化に起因する場合がある。1または複数の上位レイヤのエンコーダは、動き推定および/または動き補償予測をそれぞれの符号化モードとして採用することができる。残差信号の動き推定および/または補償が従来の動き推定とは異なる恐れがあり、視覚的アーチファクトが起こりやすい。視覚的アーチファクトの発生を削減する(例えば、最小限にする)ために、より高度な残差量子化を、例えば、残差信号のダイナミックレンジを制限するための残差信号の量子化および/または正規化と、残差のコード化中に遂行される量子化との両方を含むことができるジョイント(joint)量子化プロセスと共に実装することができる。
スケーラブルビデオコーディングによって、部分的ビットストリームの伝送および復号化が可能になる。これによりSVCが、相対的に高い再構成品質(例えば、部分的ビットストリームのそれぞれの所与のレート)を保持しながら、より低い時間および/または空間分解能または低下した忠実度でビデオサービスを提供することを可能にする。SVCデコーダが、復号化されるレイヤにおいて1つの動き補償ループを起動することができ、且つ1または複数の他の下位レイヤにおいて動き補償ループを起動しなくてよいように、シングルループ復号化を用いてSVCを実装することができる。例えば、ビットストリームは、ベースレイヤとなり得る第1のレイヤ(例えば、レイヤ1)とエンハンスメントレイヤとなり得る第2のレイヤ(例えば、レイヤ2)を含む、2つのレイヤを含むことができる。このようなSVCデコーダがレイヤ2のビデオを再構成する場合、復号化ピクチャバッファおよび動き補償予測の起動はレイヤ2に限定される。このようなSVCの実装において、下位レイヤからのそれぞれの参照ピクチャは、完全に再構成されなくてもよく、これによりデコーダの計算の複雑性および/またはメモリ消費を削減できる。
シングルループ復号化は、制約されたレイヤ間テクスチャ予測によって実現され、そこで所与のレイヤの現在のブロックに対し、下位レイヤからの空間テクスチャ予測は、対応する下位レイヤブロックがイントラモードでコード化されていれば許可される。これは、制限付きイントラ予測と呼ばれることもある。下位レイヤブロックがイントラモードでコード化されると、動き補償動作および/または復号化ピクチャバッファを用いずに再構成される。
SVCは、1または複数の下位レイヤからの動きベクトル予測、残差予測、モード予測などの1または複数の付加的なレイヤ間予測技術を用いることができる。これによりエンハンスメントレイヤのレート歪み効率を改善することができる。シングルループ復号化を用いたSVCの実装は、デコーダにおける削減された計算の複雑性および/または削減されたメモリ消費を示す場合もあれば、例えば、ブロックレベルのレイヤ間予測への依存に起因して、増大した実装の複雑性を示す場合もある。シングルループ復号化制約を課すことによって受ける恐れのある性能ペナルティを補償するために、所望の性能を実現するためにエンコーダの設計および計算の複雑性が増大する恐れがある。インタレースされるコンテンツのコーディングは、SVCでサポートされない。
マルチビュービデオコーディング(MVC)は、ビュースケーラビリティを提供することができる。ビュースケーラビリティの例において、ベースレイヤのビットストリームを復号化して従来の二次元(2D)ビデオを再構成することができ、そして1または複数の付加的なエンハンスメントレイヤを復号化して同じビデオ信号の他のビュー表現を再構成することができる。このようなビューが組み合わされて三次元(3D)ディスプレイで表示されると、適正な奥行き知覚を有する3Dビデオが作り出される。
図2は、MVCを使用して左ビュー(例えば、レイヤ1)と右ビュー(例えば、レイヤ2)を有する立体ビデオをコード化するための例示的な予測構造を示している。I-B-B-P予測構造を用いて左ビューのビデオをコード化することができ、P-B-B-B予測構造を用いて右ビューのビデオをコード化することができる。図2に示すように、右ビューにおいて、左ビューの第1のピクチャIと配列(collocate)された第1のピクチャをPピクチャとしてコード化することができ、右ビューの時間参照に由来する第1の予測と左ビューのレイヤ間参照に由来する第2の予測を用いて、右ビューの後続ピクチャをBピクチャとしてコード化することができる。MVCは、シングルループ復号化特性をサポートしなくてよい。例えば、図2に示すように、右ビュー(例えば、レイヤ2)のビデオの復号化は、各レイヤ(例えば、ビュー)がそれぞれの補償ループを有する、左ビュー(レイヤ1)のすべてのピクチャの可用性に条件付けられる。MVCの実装は、ハイレベルシンタックスの変更を含むことができ、ブロックレベルの変更を含まなくてよい。これによりMVCの実装を容易にすることができる。例えば、MVCは、参照ピクチャをスライスおよび/またはピクチャレベルで構成することによって実装することができる。MVCは、例えば、図2に示した例を拡張することによって、複数のビューにわたってレイヤ間予測を遂行する3以上のビューのコーディングをサポートすることができる。
MPEGフレームコンパチブル(MFC)ビデオコーディングは、スケーラブルな拡張を3Dビデオコーディングに提供することができる。例えば、MFCは、フレームコンパチブルなベースレイヤビデオ(例えば、同じフレームにパックされた2つのビュー)にスケーラブルな拡張を提供することができ、そして1または複数のエンハンスメントレイヤを提供してフル解像度のビューに回復することができる。立体3Dビデオは、左ビューと右ビューを含む、2つのビューを有することができる。2つのビューを1つのフレームにパック(pack)するおよび/または多重化することによって、そしてパックされたビデオを圧縮および送信することによって立体3Dコンテンツを配信することができる。受信機側において、復号化の後、フレームをアンパック(unpack)して2つのビューとして表示することができる。ビューのこのような多重化を時間領域または空間領域で遂行できる。空間領域で遂行される場合、同じピクチャサイズを維持するために、2つのビューを(例えば、2つの因子によって)空間的にダウンサンプリングし、そして1または複数の配置に従ってパックすることができる。例えば、サイドバイサイド配置は、ダウンサンプリングされた左ビューをピクチャの左半分に置き、ダウンサンプリングされた右ビューをピクチャの右半分に置くことができる。他の配置は、トップアンドボトム配置、ラインバイライン配置、格子配置などを含むことができる。フレームコンパチブル3Dビデオを実現するために使用される配置を、例えば、1または複数のフレームパッキング配置のSEIメッセージによって伝達することができる。このような配置は、3D配信を最小限の帯域幅消費で実現できる。
図3は、ビデオコーディングに遂行できる例示的なスケーラビリティのタイプのテーブルである。例示的なスケーラビリティの1または複数のタイプをレイヤ間予測処理モードとして実装することができる。これによりビデオコーディングシステム(例えば、高効率ビデオコーディングのスケーラブル拡張規格(SHVC)に従ったビデオコーディングシステム)の圧縮効率を改善することができる。ビット深度スケーラビリティ、色域スケーラビリティ、および/または彩度フォーマットスケーラビリティをベースレイヤ(BL)とエンハンスメントレイヤ(EL)のビデオフォーマットと関係付けることができる。ビット深度スケーラビリティの場合、例えば、BLビデオは、8ビットとなる一方、ELビデオは、8ビットよりも高くなる。色域スケーラビリティの場合、例えば、BLビデオは、BT.709色域にカラーグレーディングされる一方、ELビデオは、BT.2020色域にカラーグレーディングされる。彩度フォーマットスケーラビリティの場合、例えば、BLビデオは、YUV4:2:0フォーマットとなる一方、ELビデオは、YUV4:2:2またはYUV4:4:4フォーマットとなる。
図4は、例示的な超高精細度テレビ(UHDTV)と高精細度テレビ(HDTV)の技術仕様のテーブルである。図4に示すように、(例えば、ITU-R BT.709で定義されるような)HDTVビデオフォーマットと比較して、(例えば、ITU-R BT.2020で定義されるような)UHDTVビデオフォーマットは、より大きい空間分解能(例えば、4K×2K(3840×2160)および8K×4K(7680×4320)解像度)、より高いフレームレート(例えば、120Hz)、より高いサンプルビット深度(例えば、10ビットまたは12ビット)、およびより広い色域をサポートすることができる。
図5は、CIE色定義におけるHDTV色域とUHDTV色域のそれぞれの比較を示している。図示されるように、UHDTV色域によってカバーされている色ボリュームは、HDTV色域によってカバーされている色ボリュームよりもずっと広範である。
ビデオコーディングシステム(例えば、高効率ビデオコーディングのスケーラブル拡張規格(SHVC)に従ったビデオコーディングシステム)は、ビデオコーディングを遂行するように構成されている1または複数のデバイスを含むことができる。ビデオコーディング(例えば、ビデオ信号を符号化するおよび/または復号化する)を遂行するように構成されているデバイスは、ビデオコーディングデバイスと呼ばれることがある。このようなビデオコーディングデバイスは、ビデオ対応デバイス、例えば、テレビ、デジタルメディアプレーヤ、DVDプレーヤ、Blu-ray(商標)プレーヤ、ネットワークメディアプレーヤデバイス、デスクトップコンピュータ、ラップトップパーソナルコンピュータ、タブレットデバイス、携帯電話、ビデオ会議システム、ハードウェアおよび/またはソフトウェアベースのビデオ符号化システムなどを含むことができる。このようなビデオコーディングデバイスは、無線送信/受信ユニット(WTRU)、基地局、ゲートウェイ、または他のネットワーク要素などの無線通信ネットワーク要素を含むことができる。
ビデオコーディングシステムは、UHDTVディスプレイフォーマットとHDTVディスプレイフォーマットをサポートするように構成することができる。例えば、1または複数のビデオビットストリームを、例えば、HDTVディスプレイによって消費されるHDTVビデオ信号を表すベースレイヤと、UHDTVディスプレイによって消費されるUHDTVビデオ信号を表すエンハンスメントレイヤの2つのレイヤを使用する階層化方法によって符号化することができる。図4に示すように、HDTVフォーマットとUHDTVフォーマットとの間の技術仕様の差は、空間および時間分解能の差を超える範囲に広がる場合があり、例えば、サンプルビット深度および色域の差を含む。UHDTVをサポートするように構成されたビデオコーディングシステムは、空間スケーラビリティ、時間スケーラビリティ、ビット深度スケーラビリティ(BDS)、および色域スケーラビリティ(CGS)のサポートを含むことができる。ビデオコーディングシステムは、複数のスケーラビリティ(例えば、空間、時間、ビット深度、および色域スケーラビリティ)を同時にサポートするように構成することができる。
ビデオコーディングシステムは、例えば、3レイヤ以上を含むスケーラブルなビットストリームを使用して複数のスケーラビリティタイプをサポートするように構成することができる。このようなビデオコーディングシステムは、各エンハンスメントレイヤが1つのビデオパラメータを強化する(enhance)ように構成することができる。例えば、図6は、HDビデオ信号をUHDビデオ信号にスケール(scale)するために使用することができる例示的なビットストリームレイヤ構成を示している。図示されたように、例示的なビットストリームは、ベースレイヤ(レイヤ0)、および3つのエンハンスメントレイヤ(それぞれレイヤ1、レイヤ2、およびレイヤ3)を含む4つのレイヤを有することができる。ベースレイヤ(レイヤ0)は、例えば、1080p60 HDビデオ信号を含むことができる。第1のエンハンスメントレイヤ(例えば、レイヤ1)において、空間分解能を、例えば、4K×2K(3840×2160)にスケールアップすることができる。第2のエンハンスメントレイヤ(例えば、レイヤ2)において、サンプルビット深度を、例えば、8ビットから10ビットにスケールアップすることができる。第3のエンハンスメントレイヤ(例えば、レイヤ3)において、色域を、例えば、BT.709からBT.2020にスケールアップすることができる。図6に示したビットストリームレイヤ処理の順序は例示的な処理順序であること、および他のビットストリームレイヤの処理順序を実装してもよいことを認識されたい。図示された例示的なビットストリームレイヤ構成は、ビデオ信号のフレームレートを増加することを含んでいない。しかしながら、例えば、レイヤのうちの1または複数においてフレームレートを、例えば、120fpsにスケールアップするように時間スケーラビリティを実装することができる。エンハンスメントレイヤは、2以上のビデオパラメータを強化することができる。
ビデオコーディングシステムは、マルチループ復号化を遂行するように構成することができる。マルチループ復号化において、現在のエンハンスメントレイヤを復号化するために、現在のエンハンスメントレイヤの1または複数の依存レイヤ(例えば、全ての依存レイヤ)を完全に復号化することができる。依存レイヤのうちの1または複数(例えば、それぞれの依存レイヤ)において復号化ピクチャバッファ(DPB(decoded picture buffer))を作成することができる。レイヤの数が増加するにつれて、復号化の複雑性(例えば、計算の複雑性および/またはメモリ消費)が増加することもある。所望のビデオフォーマットをサポートするために使用されるレイヤの数は、例えば、復号化の複雑性の増加に従って制限されることもある。例えば、HDとUHD間のスケーラビリティの場合、2つのレイヤを有するスケーラブルなビットストリーム(例えば、図7に示した例示的なビットストリームレイヤ構成)を実装することができる。
図8は、例示的なエンコーダ(例えば、SHVCエンコーダ)を示す簡略化されたブロック図である。図示された例示的なエンコーダを使用して、(例えば、図7に示すような)HDとUHD間の2レイヤスケーラブルなビットストリームを生成することができる。図8に示すように、ベースレイヤ(BL)ビデオ入力830はHDビデオ信号となり、エンハンスメントレイヤ(EL)ビデオ入力802はUHDビデオ信号となる。HDビデオ信号830とUHDビデオ信号802は、例えば、以下のうちの1または複数:1または複数のダウンサンプリングパラメータ(例えば、空間スケーラビリティ)、1または複数の色域パラメータ(例えば、色域スケーラビリティ)、または1または複数のトーンマッピングパラメータ(例えば、ビット深度スケーラビリティ)828によって互いに対応することができる。
BLエンコーダ818は例えば、高効率ビデオコーディング(HEVC)ビデオエンコーダまたはH.264/AVCビデオエンコーダを含むことができる。BLエンコーダ818は、予測のための(例えば、BL DPB820に記憶された)1または複数のBL再構成ピクチャを使用してBLビットストリーム832を生成するように構成することができる。ELエンコーダ804は、例えば、HEVCエンコーダを含むことができる。ELエンコーダ804は、例えば、レイヤ間参照ピクチャをEL DPB806に付加することによってレイヤ間予測をサポートする、1または複数のハイレベルシンタックスの変更を含むことができる。ELエンコーダ804は、予測のための(例えば、EL DPB806に記憶された)1または複数のEL再構成ピクチャを使用してELビットストリーム808を生成するように構成することができる。
BL DPB820の1または複数の再構成BLピクチャを、レイヤ間処理(ILP)ユニット822において(例えば、空間スケーラビリティのための)アップサンプリング、(例えば、色域スケーラビリティのための)色域変換、または(例えば、ビット深度スケーラビリティのための)逆トーンマッピングのうちの1または複数を含む、1または複数のピクチャレベルのレイヤ間処理技術を使用して処理することができる。1または複数の処理された再構成BLピクチャをELコーディングのための参照ピクチャとして使用することができる。ELエンコーダ804から受信されたエンハンスメントビデオ情報814および/またはBLエンコーダ818から受信されたベースビデオ情報816に基づいてレイヤ間処理を遂行できる。
826において、ELビットストリーム808、BLビットストリーム832、およびILP情報824などのレイヤ間処理で使用されるパラメータを一緒に多重化してスケーラブルビットストリーム812にすることができる。例えば、スケーラブルビットストリーム812は、SHVCビットストリームを含むことができる。
図9は、図8に示した例示的なエンコーダに対応することができる例示的なデコーダ(例えば、SHVCデコーダ)を示す簡略化されたブロック図である。図示された例示的なデコーダを使用して例えば、(例えば、図7に示すような)HDとUHD間の2レイヤビットストリームを復号化することができる。
図9に示すように、逆多重化モジュール912は、スケーラブルビットストリーム902を受信することができ、そしてスケーラブルビットストリーム902を逆多重化してILP情報914、ELビットストリーム904、BLビットストリーム918を生成することができる。スケーラブルビットストリーム902は、SHVCビットストリームを含むことができる。ELビットストリーム904をELデコーダ906で復号化することができる。ELデコーダ906は、例えば、HEVCデコーダを含むことができる。ELデコーダ906は、予測のための(例えば、EL DPB908に記憶された)1または複数のEL再構成ピクチャを使用してUHDビデオ信号910を生成するように構成することができる。BLビットストリーム918をBLデコーダ920で復号化することができる。BLデコーダ920は例えば、HEVCビデオデコーダまたはH.264/AVCビデオデコーダを含むことができる。BLデコーダ920は、予測のための(例えば、BL DPB922に記憶された)1または複数のBL再構成ピクチャを使用してHDビデオ信号924を生成するように構成することができる。UHDビデオ信号910および/またはHDビデオ信号924などの再構成されたビデオ信号を使用して表示デバイスを駆動することができる。
BL DPB922の1または複数の再構成BLピクチャを、ILPユニット916において1または複数のピクチャレベルのレイヤ間処理技術を使用して処理することができる。このようなピクチャレベルのレイヤ間処理技術は、(例えば、空間スケーラビリティのための)アップサンプリング、(例えば、色域スケーラビリティのための)色域変換、または(例えば、ビット深度スケーラビリティのための)逆トーンマッピングのうちの1または複数を含むことができる。1または複数の処理された再構成BLピクチャをEL復号化のための参照ピクチャとして使用することができる。レイヤ間処理で使用されるILP情報914などのパラメータに基づいてレイヤ間処理を遂行できる。予測情報は、予測ブロックサイズ、1または複数の動きベクトル(例えば、動きの方向および量を示すことができる)、および/または1または複数の参照インデックス(どの参照ピクチャから予測信号が取得されるかを示すことができる)を備えることができる。これによりEL復号化効率を改善することができる。
ビデオコーディングシステムは、組み合わされたレイヤ間スケーラビリティ処理を遂行できる。ビデオコーディングシステムは、レイヤ間予測を遂行する時に複数のレイヤ間処理モジュールを使用することができる。1または複数のレイヤ間処理モジュールを組み合わせることができる。ビデオコーディングシステムは、レイヤ間処理モジュールのカスケード構成に従ってレイヤ間処理を遂行できる。組み合わされたレイヤ間スケーラビリティ処理および/または対応するモデルパラメータをシグナルすることができる。
例示的なビデオコーディングプロセスは、ビデオ信号のベースレイヤにレイヤ間処理を遂行することを含むことができる。第1のスケーラビリティ処理と第2のスケーラビリティ処理を同時に遂行する、コンバインド処理モジュールを使用してレイヤ間処理の第1部分を遂行できる。例示的なビデオコーディングプロセスは、処理されたベースレイヤをビデオ信号のエンハンスメントレイヤに適用することを含むことができる。レイヤ間処理の第1部分は、逆トーンマッピング処理および色域変換処理を含むことができる。アップサンプリング処理モジュールを使用してレイヤ間処理の第2部分を遂行できる。
ビデオコーディングシステムは、レイヤ間処理のステップを固有の順序で例えば、レイヤ間処理モジュールのうちの1または複数を固有の順序で実行させることによって遂行するように構成することができる。レイヤ間処理モジュールは、特定のレイヤ間プロセスを実行することに関与することができる。レイヤ間処理モジュールが2以上のレイヤ間プロセスを同時に遂行できるように、1または複数のレイヤ間プロセスを1または複数の対応するレイヤ間処理モジュールに組み合わせることができる。これらのモジュール構成をそれぞれの実装の複雑性、計算の複雑性、および/またはスケーラブルコーディング性能の測定と関連付けることができる。レイヤ間処理モジュールは、複数のレイヤ間プロセスを実行することに関与することができる。
ビデオコーディングシステムは、組み合わされたスケーラビリティに従ってレイヤ間処理を遂行するように構成することができる。例えば、組み合わされたスケーラビリティを、(例えば、図8に示したILPユニット822のような)ビデオエンコーダのILPユニットおよび/または(例えば、図9に示したILPユニット916のような)ビデオデコーダのILPユニットに実装することができる。組み合わされたスケーラビリティを実装するために複数の処理モジュールを使用することができる。
組み合わされたスケーラビリティ処理の構成の例において、各処理モジュールは、それぞれのスケーラビリティタイプと関連付けられたプロセスを遂行するように構成することができる。図10は、ビデオコーディングをカスケード化方法で遂行するように構成された複数の処理モジュールを使用する例示的なレイヤ間ビデオコーディングプロセスを示している。図示されたように、各処理モジュールは、特定のスケーラビリティタイプの処理を遂行するように構成することができる。例示的なレイヤ間ビデオコーディングプロセスを使用して、例えば、HDとUHD間のスケーラブルコーディングを遂行できる。処理モジュールは、複数のスケーラビリティタイプの処理を遂行するように構成することができる。
図10に示すように、逆トーンマッピングモジュール1020は、8ビットビデオ1010を10ビットビデオ1030に変換することができる。色域変換モジュール1040は、BT.709ビデオ1030をBT.2020ビデオ1050に変換することができる。アップサンプリングモジュール1060を使用して1920×1080空間分解能1050のビデオを3840×2160空間分解能1070のビデオに変換することができる。組み合わせ中、これらの処理モジュールは、図8および図9に示したILPユニットの処理を履行することができる。図10に示した処理順序(例えば、処理モジュールの順序)(逆トーンマッピング、その後に色域変換、その後にアップサンプリングが続く)は例示的な処理順序であること、および他の処理順序を実装してもよいことを認識されたい。例えば、ILPユニットの処理モジュールの順序は置き換え可能であってもよい。
1または複数のレイヤ間処理モジュール(例えば、各レイヤ間処理モジュール)は、サンプル毎の動作のために構成することができる。例えば、8ビットビデオを10ビットビデオに変換する逆トーンマッピングモジュール1020をビデオピクチャの各サンプルに適用することができる。サンプル毎の動作を色域変換モジュール1040によって遂行できる。ビデオピクチャのサンプル数は、アップサンプリングモジュール1060が適用された後、(例えば、著しく)増加することがある(例えば、2×空間比率の場合、サンプル数はアップサンプリングの後に4倍になる)。
組み合わされたスケーラビリティ処理の例示的な実装において、ILPユニットは、アップサンプリングモジュール1060による処理を(例えば、図10に示したような)レイヤ間処理の最後に遂行できるように構成することができる。
スケーラブルビデオコーディングシステムを複数のレイヤに実装することができる。1または複数のレイヤ(例えば、各レイヤ)の場合、カスケードされたレイヤ間処理フローのそれぞれのプロセスの可用性、選択、および/または適用を異なるようにすることができる。例えば、1または複数のレイヤの場合、処理を色域変換プロセスとアップサンプリングプロセスに限定することができる。例えば、逆トーンマッピングプロセスを省略することができる。(例えば、図10に示すような)スケーラビリティ変換プロセスのそれぞれの選択および/または処理順序を、各レイヤに対して、(例えば、図11に示したサンプルシンタックステーブルに従った)処理順序でシグナルすることができる。この情報を、例えば、レイヤのビデオパラメータセット(VPS)および/またはシーケンスパラメータセット(SPS)にカプセル化することができる。デコーダによる1または複数のプロセスの適用を、各それぞれのプロセスが使用可能でありおよび/または処理するために選択されたかどうかを示すことによって限定することができる。これを、例えば、プロセス可用性および/またはプロセス選択情報で示すことができる。レイヤ間処理のプロセスの順序を、例えば、ビットストリームでシグナルすることができる。実施形態において、処理順序を事前定義することができる。実施形態において、レイヤ間処理のプロセスの順序をビットストリームでシグナルすることができる。
1または複数の適用可能なプロセスに対応するプロセスインデックスを指定することができる。プロセスインデックスは、プロセスまたはプロセスの組み合わせに対応することができ、それぞれのプロセス(複数)を示すことができる。例えば、図12は、図11に示したprocess_indexフィールドに使用することができるインデックスを定義する例示的なシンタックステーブルを示している。エンコーダは、例えば、図10に示すようなカスケードされた処理に従って、処理モジュールの選択および/または順序をシグナルする1または複数のインデックスを送信することができる。選択は任意の選択であってもよい。デコーダは、このシグナリングを受信および復号化することができ、そしてシグナリングに応答して、(例えば、ILPユニットを使用して)レイヤ間処理を遂行する時に、選択されたプロセスを指定された順序に適用することができる。
1または複数の付加的なパラメータをシグナリングおよび/またはビットストリームに含めてそれぞれのモジュールの定義を指定することができる。例えば、それぞれの処理モジュールがどのように適用されるかをシグナルすることができる。1または複数の付加的なパラメータは、個々のおよび/または組み合わされたモジュールの定義を指定することができる。このようなパラメータを、例えば、ILP情報の一部としてシグナルすることができる。
例示的なアップサンプリングプロセスにおいて、シグナリングは例えば、アップサンプリングモジュールによって適用されるアップサンプリングフィルタの形式、形状、サイズまたは係数のうちの1または複数を定義することができる。シグナリングは、例えば、分離できる2Dフィルタまたは分離できない2Dフィルタを指定することができる。シグナリングは、複数のフィルタを指定することができる。例えば、そのようなフィルタを輝度ピクチャ成分および/または彩度ピクチャ成分をアップサンプリングために定義することができる。フィルタを別個にまたは一緒に定義することができる。逆トーンマッピングプロセスと組み合わされる場合、シグナリングは、それぞれの入力ビット深度および/または出力ビット深度間の差を反映することができる。
例示的な色域変換プロセスにおいて、シグナリングは例えば、色変換装置(例えば、3Dルックアップテーブル(3D-LUT))、区分線形モデル、成分間共通の(cross-component)線形モデル、線形利得および/またはオフセットモデルなどのうちの1または複数を定義することができる。選択されたモデルに対して、形式、サイズ、係数または他の定義パラメータのうちの1または複数をシグナルすることができる。逆トーンマッピングプロセスと組み合わされる場合、シグナリングは、それぞれの入力ビット深度および/または出力ビット深度間の差を反映することができる。
例示的な逆トーンマッピングプロセスにおいて、シグナリングは例えば、入力ビット深度および/または出力ビット深度を定義することができる。複数の入力および/または出力ビット深度をシグナルすることができる。例えば、入力ビット深度と出力ビット深度のそれぞれの定義を輝度ピクチャ成分および1または複数の彩度ピクチャ成分のためにシグナルすることができる。シグナリングは、区分線形モデル、多項式モデルなどといった、逆トーンマッピング装置のパラメータを指定することができ、および/または定義することができる。
図12の例示的なシンタックステーブルは、エンコーダ(例えば、図8のスケーラブルビデオエンコーダ)でシグナルすることができる使用可能なレイヤ間処理モジュールのパレットの例を与えている。1または複数のプロセスインデックス値をシグナルすることができる。プロセスインデックス値は、(例えば、スケーラビリティの他のモードの)1または複数のレイヤ間処理モジュール(複数)に対応することができる。デコーダ(例えば、図9のスケーラブルビデオデコーダ)は、エンコーダからのシグナリングを介して1または複数のプロセスインデックスを受信することができ、そして受信したプロセスインデックスに対応することができるレイヤ間処理モジュール(複数)を適用することができる。
例えば、空間リサンプリング(resampling)プロセスは、アスペクト比スケーラビリティをサポートすることができる。空間リサンプリングプロセスに対応するインデックスを図12のテーブルに付加することができる。例において、彩度リサンプリングプロセスは、彩度フォーマットスケーラビリティをサポートすることができる。彩度リサンプリングプロセスに対応するインデックスを図12のテーブルに付加することができる。図11および図12のテーブルで定義されるシンタックスは、任意の数のレイヤ間処理モジュールをサポートすることができる。
組み合わされたスケーラビリティ処理の例示的な実装において、複数のレイヤ間処理モジュールの適用の順序を既定する(例えば、エンコーダとデコーダ間で同意して固定する)ことができる。図11のテーブルのシグナリングは、処理順序を定義しなくてよく、デコーダは、固定された順序付けを1または複数の選択されたおよび/またはシグナルされたプロセスに適用することができる。
組み合わされたスケーラビリティ処理の例示的な実装において、複数のレイヤ間処理モジュールの適用の選択および/または順序は、(例えば、経時的に)変更することができる。このような実装において、レイヤ間処理モジュールの選択、レイヤ間処理モジュールの適用の順序、またはそれぞれのモジュールの定義(例えば、それぞれのモジュールを定義するパラメータ)のうちの1または複数を指定するシグナリングを、1または複数のスケーラブルレイヤの(例えば、ピクチャレベルにおいて)送信するおよび/または動的に更新することができる。例えば、図11および図12のテーブルで定義されたシグナリングを使用して、レイヤ間処理をピクチャからピクチャへと変更することができる。例えば、色域変換モジュールと関連付けられた3D-LUTの定義は、(例えば、コンテンツプロバイダによって適用される色差調整を反映するために)経時的に変更することができる。
図10に従った組み合わされたスケーラビリティ処理の例示的な実装において、レイヤ間処理関数は別個に実装されてもよいし、一緒にカスケードされてもよい。例えば、レイヤ間処理関数を任意の順序でカスケードすることができる。サンプル値(例えば、各サンプル値)に対する反復されたアクセスは、例えば、実装(例えば、パイプラインおよび並列化設計)に基づくと(例えば、メモリアクセスに関する)高いリソースコストを負担する恐れがある。ビデオコーディングおよび/または処理は、固定小数点演算を使用することができる。例えば、三次元ルックアップテーブル(3D LUT)プロセスを色域変換に使用することができる。
スケーラブル処理を一度に履行することができるように処理モジュールを単一の処理モジュールに組み合わせることができる。組み合わされたスケーラビリティ処理の例示的な実装において、図10に示した処理モジュールを単一の処理モジュールに組み合わせることができる。このような一体化実装(all-in-one implementation)において、入力のピクセルにアクセスして一度に(または別個のアップサンプリングが遂行される場合は二度)処理して出力の1または複数の対応するピクセルを生成することができる。
一部の処理モジュールは線形処理で十分である一方、他の処理モジュールは非線形処理が(例えば、ELコーディング性能の改善に関して)より効果的である場合もある。例えば、線形フィルタを使用するアップサンプリングが効果的である一方、色域変換の場合は非線形モデル(例えば、3D LUT)が線形モデルよりも効率的である場合もある。ビデオコンテンツが生成される時に使用されるトーンマッピングのタイプに応じて、逆トーンマッピングモジュールは線形であってもよいし、非線形であってもよい。非線形処理と線形処理の組み合わせは非自明的であってよいし、組み合わされたモジュールは本質的に非線形であってよい。
一部の処理モジュールを他のモジュールよりも広域に使用することができる。例えば、空間スケーラビリティをビデオ会議などのアプリケーションに使用し、そこで入力ビデオのサンプルビット深度および色域を同等に(例えば、1サンプル当たり8ビットおよびBT.709色域に)保つことができる。空間スケーラビリティに限定されるアプリケーションの場合、レイヤ間処理は、アップサンプリング処理モジュールを含むことができる。このようなアプリケーションにおいて、アップサンプリング処理モジュールをILPユニットの1または複数の他のモジュールと別個に保持することができる。処理がアップサンプリング処理モジュールによって単独で実行される場合、1または複数の他の処理モジュール(例えば、逆トーンマッピングモジュールおよび/または色域変換処理モジュール)はバイパスされる。
レイヤ間処理ユニットの1または複数の関数をビデオコーデックの1または複数の他の部分とアラインメントすることができる。例えば、SHVCの実装に従って、1/2と1/4のピクセルポジションのアップサンプリングフィルタは、HEVCの動き補償予測に使用される対応するフェーズの補間フィルタと同様に保つことができる。
図13は、組み合わされたスケーラビリティ処理の例示的な実装を示している。1または複数の処理モジュールを組み合わせることができる。図示したように、アップサンプリング処理モジュールを逆トーンマッピング処理モジュールと組み合わせることができ、そして色域変換処理モジュールを(例えば、組み合わされたアップサンプリングと逆トーンマッピング処理モジュールの前に順序付けて)別個に保つことができる。
図13に示したように、色域変換モジュール1320は、BT.709ビデオ1310をBT.2020ビデオ1330に変換することができる。組み合わされた逆トーンマッピングとアップサンプリングモジュール1340は、8ビットの1920×1080空間分解能BT.2020ビデオ1330を10ビットの3840×2160空間分解能ビデオ1350に変換することができる。
1または複数のアップサンプリングフィルタは、フィルタリングの後に右シフトの数を削減することができる。SHVCの例示的な実装を示すために、以下の式でアップサンプリングのステップ(例えば、垂直フィルタリング)を表す。
Figure 2022064913000002
フィルタリングステップは、例えば、BLとELとの間のサンプルビット深度の差を示すことができるdelta_bit_depthの値に応じて右シフトの数を削減することができる。
Figure 2022064913000003
実施形態において、非線形トーンマッピングを使用してBLおよびELビデオコンテンツを生成することができる。多項式モデル、区分線形モデルなどといった非線形モデルを使用して、組み合わされたアップサンプリングと逆トーンマッピング処理を実現することができる。これによりコーディング効率を上げることができる。
図1に示したビデオコーディングシステムなどのビデオコーディングデバイス、図8に示したビデオエンコーダおよび/または図9に示したビデオデコーダは、ビデオ信号をコード化することができる。ビデオコーディングデバイスは、逆トーンマッピングと色域変換のスケーラビリティプロセスを同時遂行するコンバインド処理モジュールを使用して、第1のレイヤ間処理をビデオ信号の下位レイヤで遂行できる。ビデオコーディングデバイスは、アップサンプリング処理モジュールを使用して第2のレイヤ間処理をビデオ信号のレイヤで遂行できる。
図14は、少なくとも1つのコンバインド処理モジュールを有する組み合わされたスケーラビリティ処理の例示的な実装を示している。図示したように、逆トーンマッピング処理モジュールを色域変換処理モジュールと組み合わせることができ、そしてアップサンプリング処理モジュールを別個に保つことができる。組み合わされた逆トーンマッピングと色域変換処理をアップサンプリング処理の前に適用することができる。
図14に示すように、組み合わされた逆トーンマッピングと色域変換モジュール1420は、8ビットのBT.709ビデオ1410を10ビットのBT.2020ビデオ1430に変換することができる。ビデオの空間分解能は、1920×1080空間分解能など同じ状態を保つことができる。組み合わされた逆トーンマッピングと色域変換モジュール1420は、入力輝度成分のサンプルビット深度と入力彩度成分(複数)のサンプルビット深度に基づいて出力輝度成分のサンプルビット深度と出力彩度成分(複数)のサンプルビット深度を計算することができる。組み合わされた逆トーンマッピングと色域変換モジュール1420は、シグナリング例えば、ビデオビットストリームで受信されたパラメータに基づいて出力サンプルビット深度を計算および/または判定できる。組み合わされた逆トーンマッピングと色域変換モジュール1420は、その結果をアップサンプリング処理モジュール1440に送信することができる。例えば、出力輝度成分のサンプルビット深度の表示および出力彩度成分(複数)のサンプルビット深度の表示をアップサンプリング処理モジュール1440に送信することができる。組み合わされた逆トーンマッピングと色域変換モジュール1420は、(例えば、変換された)出力輝度成分および出力彩度成分を備えるビデオをアップサンプリング処理モジュール1440に送信することができる。アップサンプリング処理モジュール1440は、1920×1080空間分解能BT.2020ビデオ1430内の10ビットを受信し且つ3840×2160空間分解能BT.2020ビデオ1450内の10ビットに変換することができる。組み合わされた逆トーンマッピングと色域変換モジュール1420から受信した出力輝度成分のサンプルビット深度および出力彩度成分(複数)のサンプルビット深度に基づいて、アップサンプリングプロセスを遂行できる。
非線形モデルを使用して逆トーンマッピングおよび色域変換をより効果的にできる。例えば、3D LUTを色域変換に使用することができる。変更された3D LUT(例えば、8ビット入力および10ビット出力を有する)を、例えば、図14に示した例示的な実装の組み合わされた逆トーンマッピング処理と色域変換処理モジュールで使用することは、別個の非線形モデルを(例えば、図10に示した例示的な実装に従った)それぞれの別個の処理モジュールで使用することと同様に効果的にできる。
図13および図14に示した組み合わされたスケーラビリティ処理の例示的な実装を使用してテストシーケンスが遂行された。例えば、図13に従った例示的な実装の場合、8ビット入力および8ビット出力を有する3D LUT技術は、色域変換処理モジュールに使用され、および技術は組み合わされた逆トーンマッピング処理とアップサンプリング処理モジュールで使用された。図14に従った例示的な実装の場合、8ビット入力および10ビット出力を有する強化された3D LUT技術は、組み合わされた色域変換処理と逆トーンマッピング処理モジュールで使用され、およびアップサンプリング処理モジュールは、SHVCの実装に従った。
組み合わされたスケーラビリティ処理の両方の例示的な実装のテストシーケンスの場合、3D LUTのモデルパラメータは、最小二乗(LS)法とBLおよびEL(分解能が異なればダウンサンプリングする)ビデオをトレーニングシーケンスとして使用して推定された。シミュレーション結果は、両方の例示的な実装の強化されたスケーラブルコーディング効率では図14の例示的な実装が図13の例示的な実装をわずかに凌ぐことを示した。より高いコーディング効率は、強化された3D LUTが逆トーンマッピングプロセスに内在する非線形性を吸収できるという事実に起因する。コンバインド処理モジュール(例えば、図14に示した例示的な実装の組み合わされた逆トーンマッピング処理と色域変換処理モジュール)で使用することができる強化された3D LUTの1または複数のモデルパラメータの推定および/またはトレーニングは、例えば、コンバインド処理モジュールによって遂行される逆トーンマッピングプロセスの入力ビット深度および/または出力ビット深度を反映することができるトレーニングコンテンツに基づくことができる。
成分独立線形、成分間共通の(cross-component)線形、区分線形、および/または多項式を異なる順序で使用して、逆トーンマッピング処理と色域変換処理を組み合わせることができる。エンコーダは、あるレイヤのソースコンテンツと別のレイヤのターゲットコンテンツに基づく最小二乗トレーニング技術を用いてモデルパラメータを導いて、削減された(例えば、最小限の)マッチングエラーを実現することができる。
組み合わされたレイヤ間スケーラビリティ処理および/または対応するモデルパラメータをシグナルすることができる。例えば、組み合わされたスケーラビリティ処理のプロセスをビットストリームでシグナルすることができ、そこでシンタックス要素は、どの組み合わされたスケーラビリティ処理のプロセス(例えば、図13に示すようなまたは図14に示すようなプロセス)が使用されるかを示すことができる。このシンタックス要素をシーケンスレベルで、例えば、VPSの一部としておよび/またはSPSの一部としてシグナルすることができる。シンタックス要素をピクチャレベルで、例えば、スライスセグメントヘッダのピクチャパラメータセット(PPS)の一部として、または適応パラメータセット(APS)の一部としてシグナルすることができる。組み合わされたスケーラビリティ処理のプロセスを選択するエンコーダは、例えば、ビデオ入力に基づく。エンコーダは、組み合わされたスケーラビリティ処理のプロセスをデコーダに示すことができる。
組み合わされたレイヤ間スケーラビリティ処理の例示的な実装において、組み合わされたスケーラビリティ処理のプロセスを事前定義することができる。例えば、図14に示した組み合わされたスケーラビリティ処理のプロセスを選択することができる。エンコーダとデコーダは、付加的なシグナリング用いずに、特定の組み合わされたスケーラビリティ処理のプロセスを反復的に使用することができる。
組み合わされたレイヤ間スケーラビリティ処理で使用される色域変換技術は、利得およびオフセット、成分間共通の(cross-component)線形、区分線形、または3D LUTのうちの1または複数を含むことができる。図15に示した例示的なシンタックステーブルは、組み合わされたスケーラビリティ処理のプロセス、および組み合わされた色域変換処理と逆トーンマッピング処理に使用されるパラメータをシグナリングする例を示している。図15に示した例示的なシンタックスは、図14に示した例示的な実装に従った例に使用され得る。
図15に示すように、入力および出力ビット深度値を色マッピングプロセスのパラメータとして含むことができる。色マッピングプロセスは、色マッピングプロセスの入力輝度成分のサンプルビット深度を示すパラメータを処理の基準にすることができる。例えば、入力輝度成分のサンプルビット深度をエイト(8)からのデルタとしてシグナルすることができる。例えば、入力輝度成分のサンプルビット深度を示すパラメータを、図15に示すようにbit_depth_input_luma_minus8と呼ぶことができる。他のパラメータ名を使用してもよい。
色マッピングプロセスは、色マッピングプロセスの入力彩度成分(複数)のサンプルビット深度を示すパラメータを処理の基準にすることができる。例えば、入力彩度成分(複数)のサンプルビット深度をエイト(8)からのデルタとしてシグナルすることができる。例えば、入力彩度ビット深度を入力輝度ビット深度からのデルタとしてシグナルすることができる。例えば、入力彩度成分のサンプルビット深度を示すパラメータを、図15に示すようにbit_depth_input_chroma_deltaと呼ぶことができる。他のパラメータ名を使用してもよい。これは、コード化されるシンタックス要素の値(例えば、小さいデルタ値)の削減によってシグナリングコストを削減することができる。他のビット深度のシグナリング技術を使用してもよい
色マッピングプロセスは、色マッピングプロセスの出力輝度成分のサンプルビット深度を示すパラメータを出力することができる。例えば、出力輝度成分のサンプルビット深度をエイト(8)からのデルタとしてシグナルすることができる。例えば、出力輝度成分のサンプルビット深度を入力輝度ビット深度からのデルタとしてシグナルすることができる。この出力パラメータを、図15に示すようにbit_depth_output_luma_deltaと呼ぶことができる。他のパラメータ名を使用してもよい。
色マッピングプロセスは、色マッピングプロセスの出力彩度成分(複数)のサンプルビット深度を示すパラメータを出力することができる。例えば、出力彩度成分(複数)のサンプルビット深度をエイト(8)からのデルタとしてシグナルすることができる。例えば、出力彩度成分(複数)のサンプルビット深度を入力彩度ビット深度からのデルタとしてシグナルすることができる。この出力パラメータを、図15に示すようにbit_depth_output_chroma_deltaと呼ぶことができる。他のパラメータ名を使用してもよい。
使用されるCGS技術を示すシンタックス要素CGS_methodを、図15の例示的なシンタックステーブルに含めることができる。CGS_methodの例は、利得および/またはオフセット、成分間共通の(cross-component)線形、区分線形、3D LUT、カスタマイズされたCGS方法などを含む。CGS_methodが送信された後、対応する1または複数のモデルパラメータを(例えば、それぞれのCGS技術に従って)シグナルすることができる。図15に示した例示的なシンタックステーブルをシーケンスレベルのシグナリングに(VPS、SPS、またはPPSなどのうちの1または複数に)含めることができる。図15に示した例示的なシンタックステーブルをピクチャレベルのシグナリングに(1または複数のスライスヘッダまたはAPSなど)含めることができる。
輝度および/または彩度ビット深度をVPSまたはSPSのシンタックス要素から推定することができる。例えば、図8と図9のそれぞれ例示的な2レイヤスケーラブルなビデオエンコーダとデコーダにおいて、(例えば、コンバインド処理モジュールの入力ビット深度に等しい)BLビット深度と(例えば、コンバインド処理モジュールの出力ビット深度に等しい)ELビット深度を、例えば、SPSのbit_depth_luma/chroma_minus8などのシンタックス要素から読み出すことができる。色域変換パラメータをPPSに送信することができる。パラメータセット(例えば、VPS、SPS、およびPPS)を解析して独立に復号化することができる。図15に示した例示的なシンタックステーブルを使用してビット深度値をシグナリングすることは、組み合わされた色域変換と逆トーンマッピングプロセスのモデルパラメータの解析および復号化を簡略化することができる。
図15のテーブルに示した例示的なシグナリングは、例えば、図14の例示的な実装で示した組み合わされた逆トーンマッピング処理と色域変換処理モジュールに対応する、第1の組み合わされたレイヤ間処理モジュールのプロセス定義として機能することができる。この第1の組み合わされたレイヤ間処理モジュールを、図14に示した例示的な実装の形式で固定された構成に使用することができる。第1の組み合わされたレイヤ間処理モジュールは、(例えば、図10に示すような)カスケード処理構成で使用可能な1つのレイヤ間処理モジュールを含むことができる。第1の組み合わされたレイヤ間処理モジュールの選択および適用を、例えば、図11および図12の例示的なシンタックステーブルを使用してシグナルすることができる。第1の組み合わされたレイヤ間処理モジュールの適用を示すのに適したprocess_indexを図12の例示的なシンタックステーブルに付加することができる。
組み合わされたレイヤ間処理モジュール(例えば、図13の例示的な実装で示した組み合わされた逆トーンマッピング処理とアップサンプリング処理モジュール)を定義することができる。組み合わされたレイヤ間処理モジュールに適したプロセス定義を定義することができる。例えば、プロセス定義は、空間スケーラビリティアップサンプリングのアップサンプリングフィルタの形式、サイズ、形状、または係数のうちの1または複数を定義することができ、そして1または複数の入力ビット深度および/または1または複数の出力ビット深度をさらに定義することができる。第2の組み合わされたレイヤ間処理モジュールの適用を示すのに適したprocess_indexを図12の例示的なシンタックステーブルに付加することができる。第2の組み合わされたレイヤ間処理モジュールは、(例えば、図10に示すような)カスケード処理構成で使用可能な別のレイヤ間処理モジュールであってよい。
組み合わされたレイヤ間処理モジュールの任意の数を定義するおよび/または例えば、図11および図12の例示的なシンタックステーブルで定義されるシグナリングフレームワークを使用して、図10に示したカスケードフレームワークに組み込むことができる。
図16は、プロセスインデックスの定義を示す例示的なシンタックステーブルを示している。図示したように、プロセスインデックスは、組み合わされた逆トーンマッピングと色域変換に対応することができる。例えば、process_index=3は、第1の組み合わされたレイヤ間処理モジュールに対応することができる。図示したように、プロセスインデックスは、組み合わされた逆トーンマッピングとアップサンプリングに対応することができる。例えば、process_index=4は、第2の組み合わされたレイヤ間処理モジュールに対応することができる。
ビット深度は、色域変換モジュールに考慮される。色域変換プロセスは、信号をある色空間から別の色空間へと変換することができる。色間成分関係(cross color component relationships)を色域変換関数に適用することができる。例えば、HEVCのスケーラブル拡張規格の最終バージョンで採用された色域変換プロセスなどの色域変換に基づく3D LUTにおいて、3D色空間を複数のオクタントにパーティションすることができる。1または複数のオクタントにおいて、色間成分線形モデル(cross color component linear model)を以下のように適用することができる。
Figure 2022064913000004
パラメータoutputSampleXは、色域変換後の色成分X(例えば、XはY、UまたはVであってよい)の出力サンプル値を示す。パラメータLutX[yIdx][uIdx][vIdx][i]は、色成分X(yIdx,uIdx,vIdx)によって指定されるオクタントのi番目のLUTパラメータを示す。ここに0<=i<=3である。パラメータnMappingShiftとnMappingOffsetは、色域変換中に固定小数点演算の精度を制御し、パラメータinputSampleY、inputSampleU、およびinputSampleVは、色域変換前の色成分Y、UおよびVのそれぞれの入力値を含む。
実施形態において、輝度サンプルと彩度サンプルのそれぞれのビット値は異なる場合がある。これらのビット深度値を、例えば、図15のbit_depth_input_luma_minus8とbit_depth_input_chroma_deltaによって指定することができる。ビット深度値を、例えば、VPS、SPS、および/またはPPSなどのパラメータセットを介して指定することができる。入力輝度ビット深度をInputLumaBitDepthと示すことができ、入力彩度ビット深度をInputChromaBitDepthと示すことができる。入力輝度ビット深度と入力彩度ビット深度を導くことができる。例えば、図15に示したシグナリングに基づいて入力輝度ビット深度と入力彩度ビット深度を導くことができる。入力輝度ビット深度と入力彩度ビット深度を以下に従って導くことができる。
Figure 2022064913000005
Figure 2022064913000006
H.264/AVCおよびHEVCなどのビデオ規格は、輝度成分と彩度成分のビットのそれぞれの深度が異なるようにすることができる。色間成分モデルが使用される場合、色間成分線形モデルが適用されると、それぞれの色成分のビット深度はアラインメントされる。例えば、式(1)が適用されると、それぞれの色成分のビット深度はアラインメントされる。例示的な色域変換プロセスに従って、輝度および/または彩度サンプルビット深度は、式(1)などの色間成分モデルが適用される前に、
MaxBitDepth=max(InputLumaBitDepth,InputChromaBitDepth)
と示される、輝度および/または彩度のそれぞれのより大きいビット深度値にアラインメントされる。例えば、DeltaMaxLumaBitDepthとDeltaMaxChromaBitDepthは以下のように定義される。
Figure 2022064913000007
Figure 2022064913000008
色間成分線形モデルは以下のように適用される。
Figure 2022064913000009
輝度および/または彩度ビット深度は、色変換プロセス中に
MinBitDepth=min(InputLumaBitDepth,InputChromaBitDepth)
と示される、輝度および/または彩度のそれぞれのより小さいビット深度値にアラインメントされる。例えば、DeltaMinLumaBitDepthとDeltaMinChromaBitDepthは以下のように定義される。
Figure 2022064913000010
Figure 2022064913000011
色間成分線形モデルは以下のように適用される。
Figure 2022064913000012
Figure 2022064913000013
色マッピングの1または複数の乗算演算の複雑性が削減されるように色間成分線形モデルを適用することができる。式(3)の乗算演算の第2の項のビット深度はより小さくなる。これにより、例えば、ASIC設計を使用する実装の複雑性を削減することができる。
輝度ビット深度と彩度ビット深度との間の可能性のある差を考慮する上記の例示的なプロセスは、3D LUTベースの色域変換関数の実装に限定されないこと、および上記の例示的なプロセスは、色間成分モデルを使用する任意の色域変換および/またはトーンマッピング関数に実装されてもよいことを認識されたい。
nMappingShiftおよび/またはnMappingOffsetの各値は、色域変換中に固定小数点演算の精度を制御することができる。例えば、nMappingShiftとnMappingOffsetの値は以下のように計算される。
Figure 2022064913000014
Figure 2022064913000015
ここにInputBitDepthXとOutputBitDepthXはそれぞれ、色変換プロセスの色成分X(例えば、XはY、UまたはVであってよい)の入力ビット深度と出力ビット深度を含む。
例えば、式(1a)と(1b)を使用して、輝度と彩度のそれぞれのInputBitDepthXの値を導くことができる。例えば、以下の式を使用して、輝度と彩度のそれぞれのOutputBitDepthXの値を導くことができる。
Figure 2022064913000016
Figure 2022064913000017
実施形態において、色成分の出力ビット深度がその色成分の入力ビット深度よりも大きいまたは等しい色域変換プロセスを遂行できる。値(InputBitDepthX-OutputBitDepthX)が負となるように、低品質のBLから高品質のELまでの色変換プロセスを遂行できる。値nMappingShiftは、入力ビット深度と出力ビット深度との間の差が増加するにつれてより小さくなる。これは、それに応じて固定小数点計算の精度を下げる。
輝度成分の入力と出力との間のビット深度デルタ値(InputBitDepthY-OutputBitDepthY)が、彩度成分の入力と出力との間のビット深度デルタ値(InputBitDepthC-OutputBitDepthC)と異なる場合、輝度および/または彩度に対し、nMappingShiftおよび/またはnMappingOffsetを計算する技術が使用される。例えば、nMappingShiftは、(InputBitDepthY-OutputBitDepthY)を使用して計算されて、輝度と彩度のうちの1つまたは両方に適用される。またはnMappingShiftは、(InputBitDepthC-OutputBitDepthC)を使用して計算されて、輝度と彩度のうちの1つまたは両方に適用される。別の例において、nMappingShiftおよび/またはnMappingOffsetは、以下の式を使用して計算される。
Figure 2022064913000018
Figure 2022064913000019
これらの値は、色変換プロセスの輝度成分と彩度成分のうちの1つまたは両方に適用される。例えば、それらの値は、式(2)および/または式(3)のnMappingShiftとnMappingOffset、例えば、{Y,U,V}の各色成分Xに使用される。
上記のプロセスは、大量の精度を保存することができる。例えば、これにより色域変換プロセスの高い(例えば、最大限の)固定小数点の精度が可能となる。
本明細書で説明した、例えば、組み合わされたスケーラビリティ処理を用いるビデオコーディング技術は、図17Aから図17Eまでに示した例示的な無線通信システム100、およびそれらのコンポーネントなどの無線通信システムで移送するビデオに従って実装することができる。
図17Aは、開示された1または複数の実施形態を実装することができる例示的な通信システム100の図である。通信システム100は、音声、データ、ビデオ、メッセージング、ブロードキャストなどのコンテンツを複数の無線ユーザに提供する、多元接続システムにすることができる。通信システム100は、複数の無線ユーザが、無線帯域幅を含むシステムリソースの共有を通じてそのようなコンテンツにアクセスすることを可能にできる。例えば、通信システム100は、符号分割多元接続(CDMA)、時分割多元接続(TDMA)、周波数分割多元接続(FDMA)、直交FDMA(OFDMA)、シングルキャリアFDMA(SC-FDMA)などの、1または複数のチャネルアクセス方法を用いることができる。
図17Aに示すように、通信システム100は、複数のWTRU、例えば、WTRU102a、102b、102c、および102dなど少なくとも1つの無線送信/受信ユニット、無線アクセスネットワーク(RAN)104、コアネットワーク106、公衆交換電話網(PSTN)108、インターネット110、および他のネットワーク112を含むことができるが、開示された実施形態は、任意の数のWTRU、基地局、ネットワーク、および/またはネットワーク要素を企図することを認識されたい。それぞれのWTRU102a、102b、102c、102dは、無線環境で動作および/または通信するように構成された任意のタイプのデバイスであってよい。一例として、WTRU102a、102b、102c、102dは、無線信号を送信および/または受信するように構成することができ、そしてユーザ機器(UE)、移動局、固定式または移動式加入者ユニット、ページャ、セルラー電話、携帯情報端末(PDA)、スマートフォン、ラップトップ、ネットブック、パーソナルコンピュータ、無線センサ、家電製品などを含むことができる。
通信システム100はまた、基地局114aと基地局114bを含むこともできる。それぞれの基地局114a、114bは、WTRU102a、102b、102c、102dのうちの少なくとも1つとワイヤレスにインタフェースして、コアネットワーク106、インターネット110、および/またはネットワーク112など1または複数の通信ネットワークへのアクセスを容易にするように構成された任意のタイプのデバイスであってよい。一例として、基地局114a、114bは、ベーストランシーバ基地局(BTS)、ノードB、eノードB、ホームノードB、ホームeノードB、サイトコントローラ、アクセスポイント(AP)、無線ルータなどであってよい。基地局114a、114bはそれぞれ、単一要素として示されているが、基地局114a、114bは、相互接続された任意の数の基地局および/またはネットワーク要素を含んでもよいことを認識されたい。
基地局114aは、基地局コントローラ(BSC)、無線ネットワークコントローラ(RNC)、中継ノードなどといった他の基地局および/またはネットワーク要素(図示せず)を含むこともできる、RAN104の一部にすることができる。基地局114aおよび/または基地局114bは、セル(図示せず)と呼ぶことができる特定の地理的領域内で無線信号を送信するおよび/または受信するように構成することができる。セルをセルセクタにさらに分割することができる。例えば、基地局114aと関連付けられたセルを3つのセクタに分割することができる。従って、一実施形態において、基地局114aは、3つのトランシーバ、即ち、セルの各セクタに1トランシーバを含むことができる。別の実施形態において、基地局114aは、MIMO(multiple-input multiple output)技術を用いることができ、従って、セルの各セクタに複数のトランシーバを利用することができる。
基地局114a、114bは、適した任意の無線通信リンク(例えば、無線周波数(RF)、マイクロ波、赤外線(IR)、紫外線(UV)、可視光線など)であってよい、エアインタフェース116を介してWTRU102a、102b、102c、102dのうちの1または複数と通信することができる。エアインタフェース116は、適した任意の無線アクセス技術(RAT)を使用して確立することができる。
より詳細には、上記のように、通信システム100は、多元接続システムにすることができ、そして、CDMA、TDMA、FDMA、OFDMA、SC-FDMAなど1または複数のチャネルアクセススキームを用いることができる。例えば、RAN104の基地局114aおよびWTRU102a、102b、102cは、WCDMA(広域帯CDM)を使用してエアインタフェース116を確立することができる、UTRA(ユニバーサル移動体通信システム(UMTS)地上波無線アクセス)などの無線技術を実装することができる。WCDMAは、高速パケットアクセス(HSPA)および/または発展型HSPA(HSPA+)など通信プロトコルを含むことができる。HSPAは、高速ダウンリンクパケットアクセス(HSDPA)および/または高速アップリンクパケットアクセス(HSUPA)を含むことができる。
別の実施形態において、基地局114aおよびWTRU102a、102b、102cは、LTE(ロングタームエボリューション)および/またはLTE-A(LTEアドバンスト)を使用してエアインタフェース116を確立することができる、E-UTRA(発展型UMTS地上波無線アクセス)など無線技術を実装することができる。
他の実施形態において、基地局114aおよびWTRU102a、102b、102cは、IEEE802.16(即ち、WiMAX(Worldwide Interoperability for Microwave Access)、CDMA2000、CDMA20001X、CDMA2000EV-DO、IS-2000(Interim Standard 2000)、IS-95(Interim Standard 95)、IS-856(Interim Standard 856)、GSM(Global System for Mobile communications)、EDGE(Enhanced Data rates for GSM Evolution)、GERAN(GSM EDGE)などといった無線技術を実装することができる。
図17Aの基地局114bは、例えば、無線ルータ、ホームノードB、ホームeノードB、またはアクセスポイントにすることができ、職場、自宅、車、キャンパスなど局所的な場所で無線接続性を容易にするために適した任意のRATを利用することができる。一実施形態において、基地局114bおよびWTRU102c、102dは、無線ローカルエリアネットワーク(WLAN)を確立するIEEE802.11など無線技術を実装することができる。別の実施形態において、基地局114bおよびWTRU102c、102dは、無線パーソナルエリアネットワーク(WPAN)を確立するIEEE802.15など無線技術を実装することができる。さらに別の実施形態において、基地局114bおよびWTRU102c、102dは、セルベースのRAT(例えば、WCDMA、CDMA2000、GSM、LTE、LTE-Aなど)を利用して、ピコセルまたはフェムトセルを確立することができる。図17Aに示すように、基地局114bは、インターネット110に直接接続できる。従って、基地局114bは、コアネットワーク106経由でインターネット110にアクセスする必要がない。
RAN104は、音声、データ、アプリケーション、および/またはVoIP(ボイスオーバーインターネットプロトコル)サービスをWTRU102a、102b、102c、102dのうちの1または複数に提供するように構成された任意のタイプのネットワークであってよい、コアネットワーク106と通信することができる。例えば、コアネットワーク106は、呼制御、課金サービス、モバイルロケーションベースのサービス、プリペイド電話、インターネット接続性、ビデオ配信などを提供し、および/またはユーザ認証などハイレベルのセキュリティ機能を遂行できる。図17Aに示していないが、RAN104および/またはコアネットワーク106は、RAN104と同じRATまたは異なるRATを用いる、他のRATとの直接または間接通信であってもよいことを認識されたい。例えば、E-UTRA無線技術を利用することができるRAN104に接続されることに加えて、コアネットワーク106はまた、GSM無線技術を用いる別のRAN(図示せず)と通信することもできる。
コアネットワーク106はまた、WTRU102a、102b、102c、102dがPSTN108、インターネット110、および/または他のネットワーク112にアクセスするためのゲートウェイとして機能することもできる。PSTN108は、旧来の音声電話サービス(POST)を提供する回線交換電話網を含むことができる。インターネット110は、TCP/IPインターネットプロトコルスイートにおける伝送制御プロトコル(TCP)、ユーザデータグラムプロトコル(UDP)およびインターネットプロトコル(IP)など共通の通信プロトコルを使用する相互接続されたコンピュータネットワークおよびデバイスのグローバルシステムを含むことができる。ネットワーク112は、他のサービスプロバイダによって所有されるおよび/または運用される有線または無線通信ネットワークを含むことができる。例えば、ネットワーク112は、RAN104と同じRATまたは異なるRATを用いることができる1または複数のRANに接続された別のコアネットワークを含むことができる。
通信システム100のWTRU102a、102b、102c、102dの一部またはすべては、マルチモード能力を含むことができる。即ち、WTRU102a、102b、102c、102dは、異なる無線リンクを介して異なる無線ネットワークと通信する複数のトランシーバを含むことができる。例えば、図17Aに示したWTRU102cは、セルベースの無線技術を用いることができる基地局114aと、IEEE802無線技術を用いることができる基地局114bとの通信を行うように構成することができる。
図17Bは、例示的なWTRU102のシステム図である。図17Bに示すように、WTRU102は、プロセッサ118、トランシーバ120、送信/受信要素122、スピーカ/マイクロフォン124、キーパッド126、ディスプレイ/タッチパッド128、ノンリムーバブルメモリ130、リムーバブルメモリ132、電源134、全地球測位システム(GPS)チップセット136、および他の周辺機器138を含むことができる。WTRU102は、実施形態と整合性を保った上で、上述の要素の任意の組み合わせを含んでもよいことを認識されたい。
プロセッサ118は、汎用プロセッサ、専用プロセッサ、従来型プロセッサ、デジタル信号プロセッサ(DSP)、複数のマイクロプロセッサ、DSPコアと協働する1または複数のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路(ASIC)、現場プログラム可能ゲートアレイ(FPGA)回路、その他のタイプの集積回路(IC)、ステートマシンなどであってよい。プロセッサ118は、信号コーディング、データ処理、電力制御、入力/出力処理、および/またはWTRU102が無線環境で動作することを可能にするその他の機能性を遂行できる。プロセッサ118をトランシーバ120に結合することができ、そのトランシーバを送信/受信要素122に結合することができる。図17Bは、プロセッサ118とトランシーバ120とを別個のコンポーネントとして示しているが、プロセッサ118とトランシーバ120とを電子パッケージまたはチップに統合できることを認識されたい。
送信/受信要素122は、エアインタフェース116を介して基地局(例えば、基地局114a)に信号を送信するまたは基地局から信号を受信するように構成することができる。例えば、一実施形態において、送信/受信要素122は、RF信号を送信するおよび/または受信するように構成されたアンテナにすることができる。別の実施形態において、送信/受信要素122は、例えば、IR、UV、または可視光線信号を送信するおよび/または受信するように構成されたエミッタ/検出器にすることができる。さらに別の実施形態において、送信/受信要素122は、RF信号と光信号との両方を送受信するように構成することができる。送信/受信要素122は、無線信号の任意の組み合わせを送信するおよび/または受信するように構成することができることを認識されたい。
さらに、送信/受信要素122を単一要素として図17Bに示しているが、WTRU102は、任意の数の送信/受信要素122を含むことができる。より詳細には、WTRU102は、MIMO技術を用いることができる。従って、一実施形態において、WTRU102は、エアインタフェース116を介して無線信号を送信するおよび受信するための2以上の送信/受信要素122(例えば、複数のアンテナ)を含むことができる。
トランシーバ120は、送信/受信要素122によって送信される信号を変調して、送信/受信要素122によって受信される信号を復調するように構成することができる。上記のように、WTRU102は、マルチモード能力を有することができる、従って、トランシーバ120は、WTRU102が、例えば、UTRAおよびIEEE802.11など複数のRAT経由で通信することを可能にする複数のトランシーバを含むことができる。
WTRU102のプロセッサ118は、スピーカ/マイクロフォン124、キーバッド126、および/またはディスプレイ/タッチパッド128(例えば、液晶ディスプレイ(LCD)ディスプレイユニットまたは有機発光ダイオード(OLED)ディスプレイユニット)に結合することができ、そしてそれらからユーザ入力データを受信することができる。プロセッサ118はまた、スピーカ/マイクロフォン124、キーバッド126、および/またはディスプレイ/タッチパッド128にユーザデータを出力することもできる。さらに、プロセッサ118は、ノンリムーバブルメモリ130および/またはリムーバブルメモリ132などの適した任意のタイプのメモリからの情報にアクセスして、それらのメモリにデータを記憶することができる。ノンリムーバブルメモリ130は、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、ハードディスク、またはその他のタイプのメモリ記憶デバイスを含むことができる。リムーバブルメモリ132は、契約者識別モジュール(SIM)カード、メモリスティック、セキュアデジタル(SD)メモリカードなどを含むことができる。他の実施形態において、プロセッサ118は、サーバまたはホームコンピュータ(図示せず)など、物理的にWTRU102に置かれていないメモリからの情報にアクセスして、それらのメモリにデータを記憶することができる。
プロセッサ118は、電源134から電力を受信することができ、その電力をWTRU102の他のコンポーネントに分散および/または制御するように構成することができる。電源134は、WTRU102に電力供給するのに適した任意のデバイスであってよい。例えば、電源134は、1または複数の乾電池(例えば、ニッケルカドミウム(NiCd)、ニッケル亜鉛(NiZn)、ニッケル水素(NiMH)、リチウムイオン(Li-ion)など)、太陽電池、燃料電池などを含むことができる。
プロセッサ118はまた、GPSチップセット136を、WTRU102の現在のロケーションに関するロケーション情報(例えば、経緯度)を提供するように構成することができる、GPSチップセット136にも結合され得る。GPSチップセット136からの情報の追加または代替として、WTRU102は、基地局(例えば、基地局114a、114b)からエアインタフェース116を介してロケーション情報を受信し、および/または2以上の近隣の基地局から受信される信号のタイミングに基づいてWTRUのロケーションを判定することができる。WTRU102は、実施形態と整合性を保った上で、適した任意のロケーション判定方法によってロケーション情報を獲得できることを認識されたい。
プロセッサ118は、付加的な特徴、機能性および/または有線または無線接続性を提供する、1または複数のソフトウェアモジュールおよび/またはハードウェアモジュールを含むことができる、他の周辺機器138にさらに結合され得る。例えば、周辺機器138は、加速度計、電子コンパス、衛星トランシーバ、デジタルカメラ(写真またはビデオ用)、ユニバーサルシリアルバス(USB)ポート、振動デバイス、テレビトランシーバ、ハンズフリーヘッドセット、Bluetooth(登録商標)モジュール、周波数変調(FM)無線ユニット、デジタル音楽プレーヤ、メディアプレーヤ、ビデオゲームプレーヤモジュール、インターネットブラウザなどを含むことができる。
図17Cは、RAN104aとコアネットワーク106aの例示的な実装をそれぞれ備えるRAN104aとコアネットワーク106aを含む通信システム100の実施形態のシステム図である。上記のように、RAN104、例えば、RAN104aは、UTRA無線技術を用いてエアインタフェース116を介してWTRU102a、102b、102cと通信することができる。RAN104aはまた、コアネットワーク106aと通信することもできる。図17Cに示すように、RAN104aは、エアインタフェース116を介してWTRU102a、102b、102cと通信するための1または複数のトランシーバを含むことができる、ノードB140a、140b、140cを含むことができる。ノードB140a、140b、140cのそれぞれをRAN104a内の特定のセル(図示せず)と関連付けることができる。RAN104aはまた、RNC142a、142bを含むこともできる。RAN104aは、実施形態と整合性を保った上で、任意の数のノードBおよびRNCを含んでもよいことを認識されたい。
図17Cに示すように、ノードB140a、140bは、RNC142aと通信することができる。さらに、ノードB140cは、RNC142bと通信することができる。ノードB140a、140b、140cは、Iubインタフェース経由でそれぞれのRNC142a、142bと通信することができる。RNC142a、142bは、Iurインタフェース経由で互いに通信することができる。それぞれの142a、142bは、接続されているそれぞれのノードB140a、140b、140cを制御するように構成することができる。さらに、それぞれのRNC142a、142bは、外ループ電力制御、読み込み制御、許可制御、パケットスケジューリング、ハンドオーバー制御、マクロダイバーシティ、セキュリティ関数、データ暗号化などといった他の機能性を実行するまたはサポートするように構成することができる。
図17Cに示したコアネットワーク106aは、メディアゲートウェイ(MGW)144、モバイル交換センター(MSC)146、サービングGPRSサポートノード(SGSN)148、および/またはゲートウェイGPRSサポートノード(GGSN)150を含むことができる。それぞれの上述した要素をコアネットワーク106aの一部として示しているが、これらの要素のいずれもコアネットワークオペレータ以外のエンティティによって所有されるおよび/または運用されてもよいことを認識されたい。
RAN104aのRNC142aをIuCSインタフェース経由でコアネットワーク106aのMSC146に接続することができる。MSC146をMGW144に接続することができる。MSC146およびMGW144は、WTRU102a、102b、102cにPSTN108など回線交換ネットワークへのアクセスを提供して、WTRU102a、102b、102cと従来の固定電話回線の通信デバイスとの間の通信を容易にすることができる。
RAN104aのRNC142aをIuPSインタフェース経由でコアネットワーク106aのSGSN148に接続することもできる。SGSN148をGGSN150に接続することができる。SGSN148およびGGSN150は、WTRU102a、102b、102cにインターネット110などパケット交換ネットワークへのアクセスを提供して、WTRU102a、102b、102cとIP対応(IP-enabled)デバイスとの間の通信を容易にすることができる。
上記のように、コアネットワーク106aを他のサービスプロバイダによって所有されるおよび/または運用される他の有線または無線ネットワークを含むことができる、ネットワーク112に接続することもできる。
図17Dは、RAN104とコアネットワーク106aの例示的な実装をそれぞれ備えるRAN104bとコアネットワーク106bを含む通信システム100の実施形態のシステム図である。上記のように、RAN104、例えば、RAN104bは、エアインタフェース116を介してWTRU102a、102b、102cと通信するE-UTRA無線技術を用いることができる。RAN104はまた、コアネットワーク106bと通信することもできる。
RAN104bは、eノードB170a、170b、170cを含むことができるが、RAN104bは、実施形態と整合性を保った上で、任意の数のeノードBを含んでもよいことを認識されたい。eノードB170a、170b、170cはそれぞれ、エアインタフェース116を介してWTRU102a、102b、102cと通信するための1または複数のトランシーバを含むことができる。一実施形態において、eノードB170a、170b、170cは、MIMO技術を実装することができる。従って、eノードB170aは、例えば、WTRU102aに無線信号を送信し、そしてそのWTRUから無線信号を受信するための複数のアンテナを使用することができる。
それぞれのeノードB170a、170b、170cを特定のセル(図示せず)と関連付けることができ、そして無線リソース管理決定、ハンドオーバー決定、アップリンクおよび/またはダウンリンクのユーザのスケジューリングなどを処理するように構成することができる。図17Dに示すように、eノードB170a、170b、170cは、X2インタフェースを介して互いに通信することができる。
図17Dに示したコアネットワーク106bは、モビリティ管理ゲートウェイ(MME)172、サービングゲートウェイ174、およびパケットデータネットワーク(PDN)ゲートウェイ176を含むことができる。それぞれの上述した要素をコアネットワーク106bの一部として示しているが、これらの要素のいずれもコアネットワークオペレータ以外のエンティティによって所有されるおよび/または運用されてもよいことを認識されたい。
MME172をS1インタフェース経由でRAN104bのそれぞれのeノードB170a、170b、170cに接続することができ、制御ノードとして機能することができる。例えば、MME172は、WTRU102a、102b、102cのユーザを認証すること、ベアラのアクティブ化/非アクティブ化、WTRU102a、102b、102cの初期接続(initial attach)中に特定のサービングゲートウェイを選択することなどに関与することができる。MME172はまた、RAN104bと、GSMまたはWCDMAなどの他の無線技術を用いる他のRAN(図示せず)とを切り替える制御プレーン機能を提供することもできる。
サービングゲートウェイ174をS1インタフェース経由でRAN104bのそれぞれのeノードB170a、170b、170cに接続することができる。サービングゲートウェイ174は一般に、WTRU102a、102b、102cへの/からのユーザデータパケットをルーティングして転送することができる。サービングゲートウェイ174はまた、eノードB間のハンドオーバー中にユーザプレーンをアンカーすること、ダウンリンクデータがWTRU102a、102b、102cに使用可能になった時にページングをトリガすること、WTRU102a、102b、102cのコンテキストを管理して記憶することなどといった他の機能を遂行することもできる。
サービングゲートウェイ174はまた、WTRU102a、102b、102cにインターネット110などのパケット交換ネットワークへのアクセスを提供して、WTRU102a、102b、102cとIP対応(IP-enabled)デバイスとの間の通信を容易にすることができる、PDNゲートウェイ176に接続されることもできる。
コアネットワーク106bは、他のネットワークとの通信を容易にすることもできる。例えば、コアネットワーク106bは、WTRU102a、102b、102cにPSTN108など回線交換ネットワークへのアクセスを提供して、WTRU102a、102b、102cと従来の固定電話回線による通信デバイスとの間の通信を容易にすることができる。例えば、コアネットワーク106bは、コアネットワーク106bとPSTN108との間のインタフェースとして機能するIPゲートウェイ(例えば、IPマルチメディアサブシステム(IMS)サーバ)を含むことができるか、またはこれと通信することができる。さらに、コアネットワーク106bは、他のサービスプロバイダによって所有されるおよび/または運用される他の有線または無線通信ネットワークを含むことができる、ネットワーク112へのアクセスをWTRU102a、102b、102cに提供することができる。
図17Eは、RAN104とコアネットワーク106の例示的な実装をそれぞれ備えるRAN104cとコアネットワーク106cを含む通信システム100の実施形態のシステム図である。RAN104、例えば、RAN104cは、エアインタフェース116を介してWTRU102a、102b、102cと通信するIEEE802.16無線技術を用いるアクセスサービスネットワーク(ASN)にすることができる。本明細書に記載の通り、WTRU102a、102b、102cの異なる機能エンティティとRAN104cとコアネットワーク106cとの間の通信リンクを参照ポイントとして定義することができる。
図17Eに示したように、RAN104cは、基地局180a、180b、180cおよびASNゲートウェイ182を含むことができるが、RAN104cは、実施形態と整合性を保った上で、任意の数の基地局およびASNゲートウェイを含んでもよいことを認識されたい。基地局180a、180b、180cをそれぞれ、RAN104cの特定のセル(図示せず)と関連付けることができ、そしてそれぞれは、エアインタフェース116を介してWTRU102a、102b、102cと通信するための1または複数のトランシーバを含むことができる。一実施形態において、基地局180a、180b、180cは、MIMO技術を実装することができる。従って、基地局180aは、例えば、WTRU102aに無線信号を送信する、およびそのWTRUから無線信号を受信するための複数のアンテナを使用することができる。基地局180a、180b、180cはまた、ハンドオフトリガリング、トンネル確立、無線リソース管理、トラフィック分類、サービス品質(QoS)ポリシー強制などといったモビリティ管理機能を提供することもできる。ASNゲートウェイ182は、トラフィック集合ポイントとして機能することができ、そしてページング、加入者プロファイルのキャッシング、コアネットワーク106cへのルーティングなどに関与することができる。
WTRU102a、102b、102cとRAN104cとの間のエアインタフェース116を、IEEE802.16仕様を実装するR1参照ポイントとして定義することができる。さらに、それぞれのWTRU102a、102b、102cは、コアネットワーク106cとの論理インタフェース(図示せず)を確立することができる。WTRU102a、102b、102cとコアネットワーク106cとの間の論理インタフェースを、認証、承認、IPホスト構成管理、および/またはモビリティ管理に使用することができる、R2参照ポイントとして定義することができる。
それぞれの基地局180a、180b、180c間の通信リンクを、WTRUハンドオーバーおよび基地局間のデータ転送を容易にするためのプロトコルを含むR8参照ポイントとして定義することができる。基地局180a、180b、180cとASNゲートウェイ182との間の通信リンクをR6参照ポイントとして定義することができる。R6参照ポイントは、それぞれのWTRU102a、102b、102cと関連付けられるモビリティイベントに基づいてモビリティ管理を容易にするためのプロトコルを含むことができる。
図17Eに示すように、RAN104cをコアネットワーク106cに接続できる。RAN104cとコアネットワーク106cとの間の通信リンクを、例えば、データ転送およびモビリティ管理能力を容易にするためのプロトコルを含むR3参照ポイントとして定義することができる。コアネットワーク106cは、モバイルIPホームエージェント(MIP-HA)184、認証、承認、アカウンティング(AAA)サーバ186、およびゲートウェイ188を含むことができる。上述したそれぞれの要素はコアネットワーク106cの一部として示されているが、これらの要素のいずれもコアネットワークオペレータ以外のエンティティによって所有されるおよび/または運用されてもよいことを認識されたい。
MIP-HA184は、IPアドレス管理に関与することができ、そしてWTRU102a、102b、102cが異なるASNおよび/または異なるコアネットワーク間でローミングできるようにする。MIP-HA184は、WTRU102a、102b、102cにインターネット110などパケット交換ネットワークへのアクセスを提供して、WTRU102a、102b、102cとIP対応の(IP-enabled)デバイスとの間の通信を容易にすることができる。AAAサーバ186は、ユーザ認証およびユーザサービスをサポートすることに関与することができる。ゲートウェイ188は、他のネットワークとの相互作用を容易にすることができる。例えば、ゲートウェイ188は、WTRU102a、102b、102cにPSTN108などの回線交換ネットワークへのアクセスを提供して、WTRU102a、102b、102cと従来の固定電話回線の通信デバイスとの間の通信を容易にすることができる。さらに、ゲートウェイ188は、他のサービスプロバイダによって所有されるおよび/または運用される他の有線または無線ネットワークを含むことができる、ネットワーク112へのアクセスをWTRU102a、102b、102cに提供することができる。
図17Eに示していないが、RAN104cを他のASNに接続でき、およびコアネットワーク106cを他のコアネットワークに接続できることを認識されたい。RAN104cと他のASNとの間の通信リンクを、RAN104cと他のASNとの間のWTRU102a、102b、102cのモビリティを調整するためのプロトコルを含むことができる、R4参照ポイントとして定義することができる。コアネットワーク106cと他のコアネットワークとの間の通信リンクを、ホームコアネットワークと移動してきた(visited)コアネットワークとの間の相互作用を容易にするためのプロトコルを含むことができる、R5参照ポイントとして定義することができる。
特徴および要素を特定の組み合わせにおいて上記に説明しているが、各特徴または要素は、単独で、または他の特徴および要素との任意の組み合わせにおいて使用されもよいことが当業者には認識されよう。さらに、本明細書で説明される方法は、コンピュータまたはプロセッサによって実行されるコンピュータ可読媒体に組み込まれるコンピュータプログラム、ソフトウェア、またはファームウェアに実装されてもよい。コンピュータ可読媒体の例は、(有線または無線接続を介して送信される)電子信号およびコンピュータ可読記憶媒体を含む。コンピュータ可読記憶媒体の例は、リードオンリーメモリ(ROM)、ランダムアクセスメモリ(RAM)、レジスタ、キャッシュメモリ、半導体メモリデバイス、内部ハードディスクおよびリムーバブルディスクなどの磁気媒体、光磁気媒体、およびCD-ROMディスク、およびデジタル多用途ディスク(DVD)などの光媒体を含むが、これらに限定されない。ソフトウェアと協働するプロセッサを使用して、WTRU、端末機、基地局、RNC、または任意のホストコンピュータで使用される無線周波数トランシーバを実装することができる。本明細書で説明した1または複数の例示的な実施形態に従った特徴および/または要素は、本明細書で説明した1または複数の他の例示的な実施形態に従った特徴および/または要素との組み合わせにおいて使用されてよい。

Claims (20)

  1. ビデオ処理の方法であって、
    輝度成分および彩度成分が同一の調整されたビット深度を有するように、前記輝度成分および前記彩度成分にビット深度アラインメントを実行するステップと、
    前記ビット深度の調整された輝度成分および彩度成分へ、カラーマッピングを実行するステップと
    を備えることを特徴とする方法。
  2. ビット深度アラインメントを実行する前記ステップは、
    前記輝度成分のビット深度を前記彩度成分のビット深度へ調整するステップ
    をさらに含むことを特徴とする請求項1に記載の方法。
  3. ビット深度アラインメントを実行する前記ステップは、
    前記彩度成分のビット深度を前記輝度成分のビット深度へ調整するステップ
    をさらに含むことを特徴とする請求項1に記載の方法。
  4. ビット深度アラインメントを実行する前記ステップは、
    前記輝度成分のビット深度および前記彩度成分のビット深度に基づいて、調整された色成分ビット深度を決定するステップと、
    前記輝度成分の前記ビット深度および前記彩度成分の前記ビット深度を、前記調整された色成分ビット深度に調整するステップと
    をさらに含むことを特徴とする請求項1に記載の方法。
  5. 前記調整された色成分ビット深度は、前記輝度成分の前記ビット深度および前記彩度成分の前記ビット深度の大きい方であることを特徴とする請求項4に記載の方法。
  6. 前記調整された色成分ビット深度は、前記輝度成分の前記ビット深度および前記彩度成分の前記ビット深度の小さい方であることを特徴とする請求項4に記載の方法。
  7. ビット深度アラインメントを実行する前記ステップは、
    前記輝度成分のビット深度および前記彩度成分のビット深度の間のビット深度差分を決定するステップと、
    より小さいビット深度の色成分に対するサンプル値を、より高いビット深度の色成分のビット深度に一致させるように、スケーリングするステップと
    をさらに含むことを特徴とする請求項1に記載の方法。
  8. ビデオエンコーディングデバイスまたはビデオデコーディングデバイスによって実施されることを特徴とする請求項1乃至7いずれかに記載の方法。
  9. ビデオ処理装置であって、
    輝度成分および彩度成分が同一の調整されたビット深度を有するように、前記輝度成分および前記彩度成分にビット深度アラインメントを実行し、
    前記ビット深度の調整された輝度成分および彩度成分へ、カラーマッピングを実行するよう構成されたプロセッサ
    を備えたことを特徴とするビデオ処理装置。
  10. 前記プロセッサは、
    前記輝度成分のビット深度を前記彩度成分のビット深度へ調整することによって、ビット深度アラインメントを実行するよう構成されたことを特徴とする請求項9に記載のビデオ処理装置。
  11. 前記プロセッサは、
    前記彩度成分のビット深度を前記輝度成分のビット深度へ調整することによって、ビット深度アラインメントを実行するよう構成されたことを特徴とする請求項9に記載のビデオ処理装置。
  12. 前記プロセッサは、
    前記輝度成分のビット深度および前記彩度成分のビット深度に基づいて、調整された色成分ビット深度を決定すること、および
    前記輝度成分の前記ビット深度および前記彩度成分の前記ビット深度を、前記調整された色成分ビット深度に調整すること
    によって、ビット深度アラインメントを実行するよう構成されたことを特徴とする請求項9に記載のビデオ処理装置。
  13. 前記調整された色成分ビット深度は、前記輝度成分の前記ビット深度および前記彩度成分の前記ビット深度の大きい方であることを特徴とする請求項12に記載のビデオ処理装置。
  14. 前記調整された色成分ビット深度は、前記輝度成分の前記ビット深度および前記彩度成分の前記ビット深度の小さい方であることを特徴とする請求項12に記載のビデオ処理装置。
  15. 前記プロセッサは、
    前記輝度成分のビット深度および前記彩度成分のビット深度の間のビット深度差分を決定すること、および、
    より小さいビット深度の色成分に対するサンプル値を、より高いビット深度の色成分のビット深度に一致させるように、スケーリングすること
    によって、ビット深度アラインメントを実行するよう構成されたことを特徴とする請求項9に記載のビデオ処理装置。
  16. ビデオエンコーディングデバイスまたはビデオデコーディングデバイスであることを特徴とする請求項9乃至15いずれかに記載のビデオ処理装置。
  17. 1つ以上のプロセッサに、
    輝度成分および彩度成分が同一の調整されたビット深度を有するように、前記輝度成分および前記彩度成分にビット深度アラインメントを実行させ、
    前記ビット深度の調整された輝度成分および彩度成分へ、カラーマッピングを実行させる
    命令を含んでいるコンピュータ読取り可能媒体。
  18. ビット深度アラインメントを実行させることは、
    前記輝度成分のビット深度を前記彩度成分のビット深度へ調整すること
    をさらに含むことを特徴とする請求項17に記載のコンピュータ読取り可能媒体。
  19. ビット深度アラインメントを実行させることは、
    前記彩度成分のビット深度を前記輝度成分のビット深度へ調整すること
    をさらに含むことを特徴とする請求項17に記載のコンピュータ読取り可能媒体。
  20. ビット深度アラインメントを実行させることは、
    前記輝度成分のビット深度および前記彩度成分のビット深度に基づいて、調整された色成分ビット深度を決定すること、および
    前記輝度成分の前記ビット深度および前記彩度成分の前記ビット深度を、前記調整された色成分ビット深度に調整すること
    をさらに含むことを特徴とする請求項17に記載のコンピュータ読取り可能媒体。
JP2022005155A 2013-10-07 2022-01-17 マルチレイヤビデオコーディングのコンバインドスケーラビリティ処理 Active JP7448572B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023199799A JP2024020538A (ja) 2013-10-07 2023-11-27 マルチレイヤビデオコーディングのコンバインドスケーラビリティ処理

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361887782P 2013-10-07 2013-10-07
US61/887,782 2013-10-07
US201462045495P 2014-09-03 2014-09-03
US62/045,495 2014-09-03
JP2019136698A JP7012048B2 (ja) 2013-10-07 2019-07-25 マルチレイヤビデオコーディングのコンバインドスケーラビリティ処理

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019136698A Division JP7012048B2 (ja) 2013-10-07 2019-07-25 マルチレイヤビデオコーディングのコンバインドスケーラビリティ処理

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023199799A Division JP2024020538A (ja) 2013-10-07 2023-11-27 マルチレイヤビデオコーディングのコンバインドスケーラビリティ処理

Publications (2)

Publication Number Publication Date
JP2022064913A true JP2022064913A (ja) 2022-04-26
JP7448572B2 JP7448572B2 (ja) 2024-03-12

Family

ID=51794970

Family Applications (5)

Application Number Title Priority Date Filing Date
JP2016521268A Pending JP2017501599A (ja) 2013-10-07 2014-10-07 マルチレイヤビデオコーディングのコンバインドスケーラビリティ処理
JP2018032293A Active JP6564086B2 (ja) 2013-10-07 2018-02-26 マルチレイヤビデオコーディングのコンバインドスケーラビリティ処理
JP2019136698A Active JP7012048B2 (ja) 2013-10-07 2019-07-25 マルチレイヤビデオコーディングのコンバインドスケーラビリティ処理
JP2022005155A Active JP7448572B2 (ja) 2013-10-07 2022-01-17 マルチレイヤビデオコーディングのコンバインドスケーラビリティ処理
JP2023199799A Withdrawn JP2024020538A (ja) 2013-10-07 2023-11-27 マルチレイヤビデオコーディングのコンバインドスケーラビリティ処理

Family Applications Before (3)

Application Number Title Priority Date Filing Date
JP2016521268A Pending JP2017501599A (ja) 2013-10-07 2014-10-07 マルチレイヤビデオコーディングのコンバインドスケーラビリティ処理
JP2018032293A Active JP6564086B2 (ja) 2013-10-07 2018-02-26 マルチレイヤビデオコーディングのコンバインドスケーラビリティ処理
JP2019136698A Active JP7012048B2 (ja) 2013-10-07 2019-07-25 マルチレイヤビデオコーディングのコンバインドスケーラビリティ処理

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023199799A Withdrawn JP2024020538A (ja) 2013-10-07 2023-11-27 マルチレイヤビデオコーディングのコンバインドスケーラビリティ処理

Country Status (9)

Country Link
US (2) US10063886B2 (ja)
EP (2) EP3055997B1 (ja)
JP (5) JP2017501599A (ja)
KR (2) KR102027027B1 (ja)
CN (3) CN105874793B (ja)
HK (1) HK1222965A1 (ja)
RU (1) RU2658812C2 (ja)
TW (1) TWI652937B (ja)
WO (1) WO2015054307A2 (ja)

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102027027B1 (ko) * 2013-10-07 2019-09-30 브이아이디 스케일, 인크. 다계층 비디오 코딩을 위해 조합된 확장성 프로세싱
US9948916B2 (en) 2013-10-14 2018-04-17 Qualcomm Incorporated Three-dimensional lookup table based color gamut scalability in multi-layer video coding
US10531105B2 (en) 2013-12-17 2020-01-07 Qualcomm Incorporated Signaling partition information for 3D lookup table for color gamut scalability in multi-layer video coding
US9756337B2 (en) 2013-12-17 2017-09-05 Qualcomm Incorporated Signaling color values for 3D lookup table for color gamut scalability in multi-layer video coding
US10368097B2 (en) * 2014-01-07 2019-07-30 Nokia Technologies Oy Apparatus, a method and a computer program product for coding and decoding chroma components of texture pictures for sample prediction of depth pictures
CA2943216A1 (en) 2014-03-19 2015-09-24 Arris Enterprises Llc Scalable coding of video sequences using tone mapping and different color gamuts
US10448029B2 (en) * 2014-04-17 2019-10-15 Qualcomm Incorporated Signaling bit depth values for 3D color prediction for color gamut scalability
BR112017004886A2 (pt) * 2014-09-12 2017-12-05 Vid Scale Inc dispositivo de codificação de vídeo e método de codificação de vídeo
US10135577B2 (en) * 2015-03-02 2018-11-20 Lg Electronics Inc. Scalable service in a wireless communication system
JP6565330B2 (ja) * 2015-05-26 2019-08-28 日本電気株式会社 映像処理装置、映像処理方法及び映像処理プログラム
EP3107300A1 (en) * 2015-06-15 2016-12-21 Thomson Licensing Method and device for encoding both a high-dynamic range frame and an imposed low-dynamic range frame
WO2017011636A1 (en) 2015-07-16 2017-01-19 Dolby Laboratories Licensing Corporation Signal reshaping and coding for hdr and wide color gamut signals
US10349067B2 (en) * 2016-02-17 2019-07-09 Qualcomm Incorporated Handling of end of bitstream NAL units in L-HEVC file format and improvements to HEVC and L-HEVC tile tracks
US10440401B2 (en) 2016-04-07 2019-10-08 Dolby Laboratories Licensing Corporation Backward-compatible HDR codecs with temporal scalability
US11102495B2 (en) * 2016-05-17 2021-08-24 Qualcomm Incorporated Methods and systems for generating and processing content color volume messages for video
GB2553556B (en) * 2016-09-08 2022-06-29 V Nova Int Ltd Data processing apparatuses, methods, computer programs and computer-readable media
JP6915483B2 (ja) * 2017-09-27 2021-08-04 富士フイルムビジネスイノベーション株式会社 画像処理装置、画像処理システムおよびプログラム
US11265579B2 (en) * 2018-08-01 2022-03-01 Comcast Cable Communications, Llc Systems, methods, and apparatuses for video processing
TWI814890B (zh) * 2018-08-17 2023-09-11 大陸商北京字節跳動網絡技術有限公司 簡化的跨分量預測
WO2020053806A1 (en) 2018-09-12 2020-03-19 Beijing Bytedance Network Technology Co., Ltd. Size dependent down-sampling in cross component linear model
EP3861728A4 (en) 2018-11-06 2022-04-06 Beijing Bytedance Network Technology Co., Ltd. COMPLEXITY REDUCTION IN A DERIVATION OF PARAMETERS FOR AN INTRA PREDICTION
CN113170122B (zh) 2018-12-01 2023-06-27 北京字节跳动网络技术有限公司 帧内预测的参数推导
CA3121671C (en) 2018-12-07 2024-06-18 Beijing Bytedance Network Technology Co., Ltd. Context-based intra prediction
CN111491168A (zh) * 2019-01-29 2020-08-04 华为软件技术有限公司 视频编解码方法、解码器、编码器和相关设备
CN113366833A (zh) 2019-02-01 2021-09-07 北京字节跳动网络技术有限公司 对环路整形的限制
CN113366841B (zh) 2019-02-01 2024-09-20 北京字节跳动网络技术有限公司 配置用于视频编解码的依赖于亮度的色度残差缩放
AU2020226565C1 (en) * 2019-02-22 2024-01-11 Beijing Bytedance Network Technology Co., Ltd. Neighbouring sample selection for intra prediction
CA3128769C (en) 2019-02-24 2023-01-24 Beijing Bytedance Network Technology Co., Ltd. Parameter derivation for intra prediction
WO2020175893A1 (ko) * 2019-02-28 2020-09-03 엘지전자 주식회사 Aps 시그널링 기반 비디오 또는 영상 코딩
WO2020177702A1 (en) 2019-03-04 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Two-level signaling of filtering information in video processing
WO2020185879A1 (en) 2019-03-11 2020-09-17 Dolby Laboratories Licensing Corporation Video coding using reference picture resampling supporting region of interest
PL4064706T3 (pl) 2019-03-11 2023-08-21 Dolby Laboratories Licensing Corporation Sygnalizowanie informacji związanej z kątem otwarcia migawki
WO2020184928A1 (ko) * 2019-03-11 2020-09-17 엘지전자 주식회사 루마 맵핑 및 크로마 스케일링 기반 비디오 또는 영상 코딩
CN113574889B (zh) 2019-03-14 2024-01-12 北京字节跳动网络技术有限公司 环路整形信息的信令和语法
KR20210139272A (ko) 2019-03-23 2021-11-22 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 적응적 루프 필터링 파라미터 세트들에 대한 제한들
CN117880494A (zh) 2019-03-24 2024-04-12 北京字节跳动网络技术有限公司 用于帧内预测的参数推导的条件
KR20210141683A (ko) 2019-03-25 2021-11-23 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 이미지 요소의 예측 방법, 인코더, 디코더 및 컴퓨터 저장 매체
US20200322656A1 (en) * 2019-04-02 2020-10-08 Nbcuniversal Media, Llc Systems and methods for fast channel changing
CA3208670A1 (en) * 2019-06-25 2020-12-30 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image encoding method, image decoding method, encoder, decoder and storage medium
CN114827612B (zh) * 2019-06-25 2023-04-11 北京大学 视频图像编码和解码方法、设备及介质
EP4011079A1 (en) 2019-08-06 2022-06-15 Dolby Laboratories Licensing Corporation Canvas size scalable video coding
US11272187B2 (en) * 2019-08-13 2022-03-08 Tencent America LLC Method and apparatus for video coding
WO2021030788A1 (en) 2019-08-15 2021-02-18 Bytedance Inc. Entropy coding for palette escape symbol
JP7494289B2 (ja) 2019-08-15 2024-06-03 バイトダンス インコーポレイテッド 異なるパーティション構造をもつパレット・モード
US11172237B2 (en) * 2019-09-11 2021-11-09 Dolby Laboratories Licensing Corporation Inter-layer dynamic range scalability for HDR video
CN114424545B (zh) * 2019-09-19 2024-07-16 字节跳动有限公司 用于调色板模式的量化参数推导
US11877011B2 (en) 2020-09-17 2024-01-16 Lemon Inc. Picture dimension indication in decoder configuration record
US12058310B2 (en) 2021-02-26 2024-08-06 Lemon Inc. Methods of coding images/videos with alpha channels
US20220279185A1 (en) * 2021-02-26 2022-09-01 Lemon Inc. Methods of coding images/videos with alpha channels
CN115080547A (zh) 2021-03-15 2022-09-20 伊姆西Ip控股有限责任公司 用于数据处理的方法、电子设备和计算机程序产品
US12041248B2 (en) * 2021-08-02 2024-07-16 Mediatek Singapore Pte. Ltd. Color component processing in down-sample video coding
KR102674361B1 (ko) 2022-01-03 2024-06-13 엘지전자 주식회사 디스플레이 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7012048B2 (ja) * 2013-10-07 2022-01-27 ヴィド スケール インコーポレイテッド マルチレイヤビデオコーディングのコンバインドスケーラビリティ処理

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7035460B2 (en) * 2002-05-31 2006-04-25 Eastman Kodak Company Method for constructing an extended color gamut digital image from a limited color gamut digital image
JP2004064629A (ja) * 2002-07-31 2004-02-26 Canon Inc 画像処理装置およびその方法
US20050259729A1 (en) * 2004-05-21 2005-11-24 Shijun Sun Video coding with quality scalability
AU2005299534A1 (en) * 2004-10-21 2006-05-04 Sony Electonics, Inc. Supporting fidelity range extensions in advanced video codec file format
WO2008049445A1 (en) * 2006-10-25 2008-05-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Quality scalable coding
CN101589625B (zh) * 2006-10-25 2011-09-21 弗劳恩霍夫应用研究促进协会 质量可缩放编码
CN101888559B (zh) 2006-11-09 2013-02-13 Lg电子株式会社 用于解码/编码视频信号的方法及装置
US8737474B2 (en) * 2007-06-27 2014-05-27 Thomson Licensing Method and apparatus for encoding and/or decoding video data using enhancement layer residual prediction for bit depth scalability
CN102084653B (zh) * 2007-06-29 2013-05-08 弗劳恩霍夫应用研究促进协会 支持像素值细化可缩放性的可缩放视频编码
EP2051527A1 (en) * 2007-10-15 2009-04-22 Thomson Licensing Enhancement layer residual prediction for bit depth scalability using hierarchical LUTs
KR20100086478A (ko) * 2007-10-19 2010-07-30 톰슨 라이센싱 조합된 공간 및 비트 심도 확장성
US8953673B2 (en) * 2008-02-29 2015-02-10 Microsoft Corporation Scalable video coding and decoding with sample bit depth and chroma high-pass residual layers
US9338475B2 (en) * 2008-04-16 2016-05-10 Intel Corporation Tone mapping for bit-depth scalable video codec
HUE024173T2 (en) * 2008-04-16 2016-05-30 Ge Video Compression Llc Bit depth scalability
WO2012122423A1 (en) * 2011-03-10 2012-09-13 Dolby Laboratories Licensing Corporation Pre-processing for bitdepth and color format scalable video coding
US9571856B2 (en) * 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
EP2406959B1 (en) 2009-03-13 2015-01-14 Dolby Laboratories Licensing Corporation Layered compression of high dynamic range, visual dynamic range, and wide color gamut video
CN103283227A (zh) * 2010-10-27 2013-09-04 Vid拓展公司 用于自适应视频编码的系统和方法
KR101756442B1 (ko) * 2010-11-29 2017-07-11 에스케이텔레콤 주식회사 인트라예측모드의 중복성을 최소화하기 위한 영상 부호화/복호화 방법 및 장치
CA2807545C (en) * 2011-02-22 2018-04-10 Panasonic Corporation Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
UA109312C2 (uk) * 2011-03-04 2015-08-10 Імпульсно-кодова модуляція з квантуванням при кодуванні відеоінформації
US20130321675A1 (en) * 2012-05-31 2013-12-05 Apple Inc. Raw scaler with chromatic aberration correction
WO2014084564A1 (ko) * 2012-11-27 2014-06-05 엘지전자 주식회사 신호 송수신 장치 및 신호 송수신 방법
US9800884B2 (en) * 2013-03-15 2017-10-24 Qualcomm Incorporated Device and method for scalable coding of video information
US10230950B2 (en) * 2013-05-30 2019-03-12 Intel Corporation Bit-rate control for video coding using object-of-interest data
US10075735B2 (en) * 2013-07-14 2018-09-11 Sharp Kabushiki Kaisha Video parameter set signaling
CA2943216A1 (en) * 2014-03-19 2015-09-24 Arris Enterprises Llc Scalable coding of video sequences using tone mapping and different color gamuts
BR112017004886A2 (pt) * 2014-09-12 2017-12-05 Vid Scale Inc dispositivo de codificação de vídeo e método de codificação de vídeo

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7012048B2 (ja) * 2013-10-07 2022-01-27 ヴィド スケール インコーポレイテッド マルチレイヤビデオコーディングのコンバインドスケーラビリティ処理

Also Published As

Publication number Publication date
JP7448572B2 (ja) 2024-03-12
CN110572662B (zh) 2024-03-08
EP3055997A2 (en) 2016-08-17
CN105874793A (zh) 2016-08-17
US10986370B2 (en) 2021-04-20
US20190014348A1 (en) 2019-01-10
JP6564086B2 (ja) 2019-08-21
US10063886B2 (en) 2018-08-28
HK1222965A1 (zh) 2017-07-14
JP2018129814A (ja) 2018-08-16
CN105874793B (zh) 2019-10-11
JP2024020538A (ja) 2024-02-14
TWI652937B (zh) 2019-03-01
JP2020010341A (ja) 2020-01-16
JP7012048B2 (ja) 2022-01-27
CN118301359A (zh) 2024-07-05
RU2016117907A (ru) 2017-11-13
KR20190110644A (ko) 2019-09-30
US20150098510A1 (en) 2015-04-09
KR102127603B1 (ko) 2020-06-26
EP3055997B1 (en) 2019-12-04
RU2658812C2 (ru) 2018-06-22
CN110572662A (zh) 2019-12-13
EP3629582A1 (en) 2020-04-01
WO2015054307A2 (en) 2015-04-16
KR102027027B1 (ko) 2019-09-30
KR20160064204A (ko) 2016-06-07
WO2015054307A3 (en) 2015-08-20
JP2017501599A (ja) 2017-01-12
TW201536032A (zh) 2015-09-16

Similar Documents

Publication Publication Date Title
JP7012048B2 (ja) マルチレイヤビデオコーディングのコンバインドスケーラビリティ処理
US10841615B2 (en) Systems and methods for model parameter optimization in three dimensional based color mapping
KR102028186B1 (ko) 색역 확장성을 위한 3d 룩업 테이블 코딩을 제공하기 위한 시스템 및 방법
TWI628959B (zh) 提供色域可縮放性3d查找表(lut)估計
TW201532031A (zh) 色空間轉換
TW201836356A (zh) 在哆層視訊編碼中空間層取樣格網資訊

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230501

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231127

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20231205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240229

R150 Certificate of patent or registration of utility model

Ref document number: 7448572

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150