JP2016519854A - 色ビット深度スケーリングを用いたビデオ圧縮 - Google Patents

色ビット深度スケーリングを用いたビデオ圧縮 Download PDF

Info

Publication number
JP2016519854A
JP2016519854A JP2015545574A JP2015545574A JP2016519854A JP 2016519854 A JP2016519854 A JP 2016519854A JP 2015545574 A JP2015545574 A JP 2015545574A JP 2015545574 A JP2015545574 A JP 2015545574A JP 2016519854 A JP2016519854 A JP 2016519854A
Authority
JP
Japan
Prior art keywords
prediction
video
color space
color
uhdtv
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015545574A
Other languages
English (en)
Other versions
JP2016519854A5 (ja
Inventor
サーチン ジー. デシュパンダ
サーチン ジー. デシュパンダ
ルイス ジェイ. ケロフスキー
ルイス ジェイ. ケロフスキー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of JP2016519854A publication Critical patent/JP2016519854A/ja
Publication of JP2016519854A5 publication Critical patent/JP2016519854A5/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/15Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/642Multi-standard receivers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

ビデオデコーダは、複数の参照ピクチャと、異なる色特性を有する少なくとも2つのデジタルビデオ・フォーマットのうちの1つに対応する複数のピクチャ・サンプル値とを含む、符号化されたビデオの復号を適用する。デコーダは、異なるデジタルビデオ・フォーマットにおいて使用される様々な色特性(例えば、解像度、量子化ビット深度、および色域)の取り扱いを改良するために、符号化されたビデオにおける複数の参照ピクチャのビット深度スケーリングと、符号化されたビデオにおける複数のピクチャ・サンプル値のビット深度スケーリングとを提供するビット深度スケーリング演算子を含む。

Description

この開示は、一般にビデオ符号化に関し、より詳しくは、ビデオ符号化のための色空間予測に関する。
多くのシステムは、ビデオ符号化規格を実装して、限られた帯域幅および/または限られた記憶容量をもつチャネル上でビデオデータを送信すべく圧縮するためにビデオエンコーダを含む。これらのビデオ符号化規格は、フレームをより効果的に符号化するために、複数の符号化段階、例えば、イントラ予測、空間領域から周波数領域への変換、周波数領域から空間領域への逆変換、量子化、エントロピー符号化、動き推定、および動き補償を含むことができる。
従来のデジタル高精細度(HD:High Definition)コンテンツは、ビデオコンテンツに関する解像度、色域、ガンマ、および量子化ビット深度を規定するビデオ符号化規格、国際電気通信連合無線通信部門(ITU−R:International Telecommunication Union Radiocommunication Sector)勧告BT.709により記述されるフォーマットで表現できる。より高解像度のビデオ規格、例えば、ITU−R超高精細度テレビ(UHDTV:Ultra High Definition Television)は、BT.709と比較して、高い解像度を有するのに加えて、広い色域と増加した量子化ビット深度とを有することができ、その出現に伴い、より低解像度のHDコンテンツに基づく多くのレガシーシステムでは圧縮されたUHDTVコンテンツを利用することができない。これらレガシーシステムのユーザビリティを維持するための現在の解決法の1つは、圧縮されたHDコンテンツおよび圧縮されたUHDTVコンテンツの両方を別々にサイマルキャストすることを含む。サイマルキャストを受信したレガシーシステムは、圧縮されたHDコンテンツを復号して利用する能力を有するが、基礎をなすコンテンツが同じ複数のビットストリームを圧縮してサイマルキャストすることは、処理、帯域幅、および記憶リソースを非効率的に用いることになりかねない。
本発明の一態様は、ビデオ復号方法を提供し、複数の参照ピクチャと、異なるビット深度を有する少なくとも2つのデジタルビデオ・フォーマットのうちの1つに対応するピクチャとを含む、符号化されたビデオの復号を提供するビデオ復号方法において、改良は、1つのレイヤ間参照ピクチャセットを復号するステップと、1つのリサンプリングされたレイヤ間参照ピクチャを取得するステップと、現ピクチャのビット深度および参照ピクチャのビット深度をもつ前記リサンプリングされたレイヤ間参照ピクチャを用いて現ピクチャを導出するステップとを含む。
本発明の一態様は、ビデオ復号方法を提供し、複数の参照ピクチャと、異なる色特性を有する少なくとも2つのデジタルビデオ・フォーマットのうちの1つに対応する複数のピクチャ・サンプル値とを含む、符号化されたビデオの復号を提供するビデオ復号方法において、改良は、符号化されたビデオにおける複数の参照ピクチャのビット深度スケーリングと、符号化されたビデオにおける複数のピクチャ・サンプル値のビット深度スケーリングとを含む。
本発明の別の態様は、ビデオデコーダを提供し、複数の参照ピクチャと、異なる色特性を有する少なくとも2つのデジタルビデオ・フォーマットのうちの1つに対応する複数のピクチャ・サンプル値とを含む、符号化されたビデオの復号を提供するビデオデコーダにおいて、改良は、符号化されたビデオにおける複数の参照ピクチャのビット深度スケーリングと、符号化されたビデオにおける複数のピクチャ・サンプル値のビット深度スケーリングとを提供する、1つのビット深度スケーリング演算子を含む。
ビデオ符号化システムのブロック図の例である。 BT.709ビデオ規格およびUHDTVビデオ規格においてサポートされる色域を示す例のグラフ200である。 図1に示されるビデオエンコーダのブロック図の例である。 図1に示されるビデオエンコーダのブロック図の例である。 図3Aおよび3Bに示される色空間予測器のブロック図の例である。 図1に示されるビデオデコーダのブロック図の例である。 図1に示されるビデオデコーダのブロック図の例である。 図5Aおよび5Bに示される色空間予測器のブロック図の例である。 図1に示されるビデオエンコーダでの色空間予測に関する例の動作フローチャートである。 図1に示されるビデオデコーダでの色空間予測に関する例の動作フローチャートである。 図1に示されるビデオデコーダでの色空間予測に関する別の例の動作フロー図である。 色ビット深度スケーリングを含むビデオエンコーダのブロック図の例である。 色ビット深度スケーリングを含むビデオエンコーダのブロック図の例である。 ビット深度スケーリングを含む符号化方法のフロー図である。 色ビット深度スケーリングを含むビデオデコーダのブロック図の例である。 色ビット深度スケーリングを含むビデオデコーダのブロック図の例である。 ビット深度スケーリングを含む復号方法のフロー図である。
図1は、ビデオ符号化システム100のブロック図の例である。ビデオ符号化システム100は、ビデオストリーム、例えば、BT.2020として規格化された超高精細度テレビジョン(UHDTV)ビデオストリーム102、およびBT.709ビデオストリーム104を受信するため、ならびにこれらのビデオストリームに基づいて符号化されたビデオストリーム112を生成するためのビデオエンコーダ300を含むことができる。ビデオエンコーダ300は、符号化されたビデオストリーム112をビデオデコーダ500へ送信できる。ビデオデコーダ500は、復号されたUHDTVビデオストリーム122および/または復号されたBT.709ビデオストリーム124を生成するために符号化されたビデオストリーム112を復号できる。
UHDTVビデオストリーム102は、BT.709ビデオストリーム104と比較して異なる解像度、異なる量子化ビット深度を有し、異なる色域を表現できる。例えば、UHDTVまたはBT.2020ビデオ規格は、4k(3840×2160画素)もしくは8k(7680×4320画素)解像度および10もしくは12ビット量子化ビット深度をサポートできるフォーマット勧告を有する。BT.709ビデオ規格は、2k(1920×1080画素)解像度および8または10ビット量子化ビット深度をサポートできるフォーマット勧告を有する。UHDTVフォーマット勧告は、BT.709フォーマット勧告より広い色域もサポートできる。UHDTVビデオ規格とBT.709ビデオ規格との間の色域差の実施形態が図2を参照して以下にさらに詳細に図示され、記載されるであろう。
ビデオエンコーダ300は、エンハンスメントレイヤ・エンコーダ302およびベースレイヤ・エンコーダ304を含むことができる。ベースレイヤ・エンコーダ304は、高精細度(HD)コンテンツのビデオ符号化を、例えば、ムービング・ピクチャ・エクスパーツ・グループ(MPEG:Moving Picture Experts Group)−2規格を実装したコーデックなどを用いて実装できる。エンハンスメントレイヤ・エンコーダ302は、UHDTVコンテンツのビデオ符号化を実装できる。いくつかの実施形態において、エンハンスメントレイヤ・エンコーダ302は、ベースレイヤ・エンコーダ302で符号化されたBT.709画像フレームからの動き補償予測、フレーム内予測、およびスケーリングされた色予測を用いて、UHDTV画像フレームの少なくとも一部分の予測を生成することにより、UHDTVビデオフレームを符号化できる。ビデオエンコーダ300は、予測を利用して、予測残差、例えば、予測とUHDTV画像フレームとの間の差を生成し、この予測残差を符号化されたビデオストリーム112中に符号化できる。
いくつかの実施形態において、ビデオエンコーダ300がBT.709画像フレームからのスケーリングされた色予測を利用するときに、ビデオエンコーダ300は、色予測パラメータ114をビデオデコーダ500へ送信できる。色予測パラメータ114は、スケーリングされた色予測を生成するためにビデオエンコーダ300によって利用されたパラメータを含むことができる。例えば、ビデオエンコーダ300は、それぞれが異なるパラメータ、例えば、チャネルごとの利得パラメータもしくはチャネルごとの利得パラメータおよびオフセット・パラメータを有する独立チャネル予測またはアフィン行列ベースの色予測を通じて、スケーリングされた色予測を生成できる。色予測パラメータ114は、ビデオエンコーダ300によって利用された独立チャネル予測またはアフィン行列ベースの色予測に対応するパラメータを含むことができる。いくつかの実施形態において、エンコーダ300は、色予測パラメータ114を符号化されたビデオストリーム112の規範的な部分に、例えば、シーケンスパラメータセット(SPS:Sequence Parameter Set)、ピクチャパラメータセット(PPS:Picture Parameter Set)、または符号化されたビデオストリーム112の規範的な部分の別のより低レベルの区分に含むことができる。いくつかの実施形態では、ビデオエンコーダ300は、デフォルトの色予測パラメータ114を利用でき、このパラメータがビデオデコーダ500にプリセットされて、ビデオエンコーダ300が色予測パラメータ114をビデオデコーダ500へ送信する必要性が軽減される。ビデオエンコーダ300の実施形態が以下にさらに詳細に記載されるであろう。
ビデオデコーダ500は、エンハンスメントレイヤ・デコーダ502およびベースレイヤ・デコーダ504を含むことができる。ベースレイヤ・デコーダ504は、高精細度(HD)コンテンツのビデオ復号を、例えば、ムービング・ピクチャ・エクスパーツ・グループ(MPEG)−2規格を実装したコーデックなどを用いて実装でき、復号されたBT.709ビデオストリーム124を生成するために符号化されたビデオストリーム112を復号する。エンハンスメントレイヤ・デコーダ502は、UHDTVコンテンツのビデオ復号を実装でき、復号されたUHDTVビデオストリーム122を生成するために符号化されたビデオストリーム112を復号する。
いくつかの実施形態において、エンハンスメントレイヤ・デコーダ502は、符号化されたビデオストリーム112の少なくとも一部分をUHDTVビデオフレームの予測残差に復号できる。エンハンスメントレイヤ・デコーダ502は、符号化処理の間にビデオエンコーダ300によって生成されたUHDTV画像フレームと同じかまたは同様の予測を生成でき、次に、復号されたUHDTVビデオストリーム122を生成するためにその予測を予測残差と結合させることができる。エンハンスメントレイヤ・デコーダ502は、ベースレイヤ・デコーダ504で復号されたBT.709画像フレームからの動き補償予測、フレーム内予測、またはスケーリングされた色予測を通じて、UHDTV画像フレームの予測を生成できる。ビデオエンコーダ300の実施形態が以下にさらに詳細に記載されるであろう。
図1は、ビデオエンコーダ300およびビデオデコーダ500を用いたUHDTVビデオストリームおよびBT.709ビデオストリームの色予測ベースのビデオ符号化を示すが、いくつかの実施形態では、色予測ベースのビデオ符号化を用いて様々な色域を表現する任意のビデオストリームを符号化または復号することができる。
図2は、BT.709ビデオ規格およびUHDTVビデオ規格でサポートされる色域を示す例のグラフ200である。図2を参照すると、グラフ200は、国際照明委員会(CIE:International Commission on Illumination)1931xy色差(chrominance)図フォーマットでの色域の2次元表現を示す。グラフ200は、1931年にCIEによって確定された、標準的な人間の観測者が見ることができる色の範囲を表すための標準観測者色域210を含む。グラフ200は、UHDTVビデオ規格がサポートされる色の範囲を表すためのUHDTV色域220を含む。グラフ200は、UHDTV色域220より狭い、BT.709ビデオ規格がサポートされる色の範囲を表すためのBT.709色域230を含む。このグラフは、白色240を表すポイントも含み、このポイントは、標準観測者色域210、UHDTV色域220、およびBT.709色域230に含まれる。
図3Aおよび3Bは、図1に示されるビデオエンコーダ300のブロック図の例である。図3Aを参照すると、ビデオエンコーダ300は、エンハンスメントレイヤ・エンコーダ302およびベースレイヤ・エンコーダ304を含むことができる。ベースレイヤ・エンコーダ304は、HD画像フレームを有するBT.709ビデオストリーム104を受信するためのビデオ入力362を含むことができる。ベースレイヤ・エンコーダ304は、ビデオ入力362から受信されたBT.709ビデオストリーム104を符号化するための符号化予測ループ364を含み、BT.709ビデオストリームの再構成されたフレームを参照バッファ368に記憶できる。参照バッファ368は、同じフレームの他の部分、またはBT.709ビデオストリーム104の他のフレームの符号化に用いるために、再構成されたBT.709画像フレームを符号化予測ループ364へ戻すことができる。参照バッファ368は、符号化予測ループ364によって符号化された画像フレームを記憶できる。ベースレイヤ・エンコーダ304は、符号化予測ループ364からのBT.709ビデオストリームの符号化バージョンに対してエントロピー符号化演算を行うためのエントロピー符号化機能366を含み、エントロピー符号化されたストリームを出力インターフェース380へ供給できる。
エンハンスメントレイヤ・エンコーダ302は、UHDTV画像フレームを有するUHDTVビデオストリーム102を受信するためのビデオ入力310を含むことができる。エンハンスメントレイヤ・エンコーダ302は、UHDTV画像フレームの予測を生成し、この予測を利用して、予測残差、例えば、結合機能315を用いて確定される予測とUHDTV画像フレームとの間の差を生成できる。いくつかの実施形態において、結合機能315は、UHDTV画像フレームの予測から予測残差を生成するために、重み付け、例えば、線形重み付けを含むことができる。エンハンスメントレイヤ・エンコーダ302は、変換および量子化機能320を用いて予測残差を変換および量子化できる。エントロピー符号化機能330は、変換および量子化機能320の出力を符号化して、エントロピー符号化されたストリームを出力インターフェース380へ供給できる。出力インターフェース380は、符号化されたビデオストリーム112を生成するために、エントロピー符号化機能366および330からのエントロピー符号化されたストリームを多重化できる。
エンハンスメントレイヤ・エンコーダ302は、それぞれがUHDTV画像フレームの予測を生成できる色空間予測器400、動き補償予測機能354、およびイントラ予測器356を含むことができる。エンハンスメントレイヤ・エンコーダ302は、結合機能315へ供給するために色空間予測器400、動き補償予測機能354、および/またはイントラ予測器356によって生成された予測を選択するための予測選択機能350を含むことができる。
いくつかの実施形態において、動き補償予測機能354およびイントラ予測器356は、エンハンスメントレイヤ・エンコーダ302によって前に符号化され、かつ復号されたUHDTV画像フレームに基づいてそれらの各予測を生成できる。例えば、予測残差が変換および量子化された後、変換および量子化機能320は、変換および量子化された予測残差をスケーリングおよび逆変換機能322へ供給でき、結合機能325ではその結果が予測残差を生成するために利用される予測と結合され、復号されたUHDTV画像フレームを生成できる。結合機能325は、復号されたUHDTV画像フレームをデブロッキング機能351へ供給でき、デブロッキング機能351は、復号されたUHDTV画像フレームを参照バッファ340に記憶でき、この参照バッファは、復号されたUHDTV画像フレームを動き補償予測機能354およびイントラ予測器356による使用のために保持する。いくつかの実施形態において、デブロッキング機能351は、例えば、復号されたUHDTV画像フレームに対応する画像におけるマクロブロック間の鋭いエッジを平滑にするために、復号されたUHDTV画像フレームをフィルタできる。
動き補償予測機能354は、1つ以上の復号されたUHDTV画像フレームを参照バッファ340から受信できる。動き補償予測機能354は、参照バッファ340からの1つ以上の復号されたUHDTV画像フレームとUHDTV画像フレームとの間の画像の動きに基づいて現UHDTV画像フレームの予測を生成できる。
イントラ予測器356は、現UHDTV画像フレームの第1の部分を参照バッファ340から受信できる。イントラ予測器356は、エンハンスメントレイヤ・エンコーダ302によって前に符号化され、かつ復号された現UHDTV画像フレームの少なくとも第2の部分に基づいて現UHDTV画像フレームの第1の部分に対応する予測を生成できる。
色空間予測器400は、ベースレイヤ・エンコーダ304によって前に符号化されたBT.709画像フレームに基づいてUHDTV画像フレームの予測を生成できる。いくつかの実施形態において、ベースレイヤ・エンコーダ304における参照バッファ368は、再構成されたBT.709画像フレームを解像度アップスケーリング機能370へ供給でき、この機能は、再構成されたBT.709画像フレームの解像度をUHDTVビデオストリーム102に対応する解像度へスケーリングできる。解像度アップスケーリング機能370は、再構成されたBT.709画像フレームのアップスケーリングされた解像度バージョンを色空間予測器400へ供給できる。色空間予測器は、再構成されたBT.709画像フレームのアップスケーリングされた解像度バージョンに基づいてUHDTV画像フレームの予測を生成できる。いくつかの実施形態において、色空間予測器400は、再構成されたBT.709画像フレームのアップスケーリングされた解像度バージョンのYUV色空間を、UHDTVビデオストリーム102によってサポートされるYUV表現に対応するようにスケーリングできる。
色空間予測器400がBT.709ビデオ符号化規格によってサポートされる色空間を、UHDTVビデオストリーム102によってサポートされる色空間へスケーリングするためのいくつかの方法、例えば、独立チャネル予測およびアフィン混合チャネル予測がある。独立チャネル予測は、BT.709画像フレームのためのYUV色空間のそれぞれの部分を別々にUHDTV画像フレームの予測へ変換することを含むことができる。Y部分または輝度は、数式1:
UHDTV=g・YBT.709+o
に従ってスケーリングできる。
U部分または色差(chrominance)部分のうちの1つは、数式2:
UHDTV=g・UBT.709+o
に従ってスケーリングできる。
V部分または色差(chrominance)部分のうちの1つは、数式3:
UHDTV=g・VBT.709+o
に従ってスケーリングできる。
利得パラメータg1、g2およびg3ならびにオフセット・パラメータo1、o2およびo3は、BT.709ビデオ符号化規格およびUHDTVビデオ規格によってサポートされる色空間における差に基づくことができ、各BT.709画像フレームおよびUHDTV画像フレームのコンテンツに依存して変化しうる。エンハンスメントレイヤ・エンコーダ302は、UHDTV画像フレームの予測を生成するために色空間予測器400によって利用された利得パラメータg1、g2およびg3ならびにオフセット・パラメータo1、o2およびo3を、色予測パラメータ114として、例えば、出力インターフェース380経由でビデオデコーダ500へ出力できる。
いくつかの実施形態において、独立チャネル予測は、利得パラメータg1、g2およびg3、ならびにゼロ・パラメータを含むことができる。Y部分または輝度は、数式4:
UHDTV=g・(YBT.709−YzeroBT.709)+YzeroUHDTV
に従ってスケーリングできる。
U部分または色差(chrominance)部分のうちの1つは、数式5:
UHDTV=g・(UBT.709−UzeroBT.709)+UzeroUHDTV
に従ってスケーリングできる。
V部分または色差(chrominance)部分のうちの1つは、数式6:
UHDTV=g・(VBT.709−VzeroBT.709)+VzeroUHDTV
に従ってスケーリングできる。
利得パラメータg1、g2およびg3は、BT.709ビデオ符号化規格およびUHDTVビデオ規格によってサポートされる色空間における差に基づくことができ、各BT.709画像フレームおよびUHDTV画像フレームのコンテンツに依存して変化しうる。エンハンスメントレイヤ・エンコーダ302は、UHDTV画像フレームの予測を生成するために色空間予測器400によって利用された利得パラメータg1、g2およびg3を、色予測パラメータ114として、例えば、出力インターフェース380経由でビデオデコーダ500へ出力できる。ビデオデコーダ500がゼロ・パラメータをプリロードできるので、ビデオエンコーダ300は、より少ない色予測パラメータ114、例えば、6つの代わりに3つを生成してビデオデコーダ500へ送信できる。
いくつかの実施形態において、数式4〜6に用いられるゼロ・パラメータは、関連する色空間のビット深度および色チャネルに基づいて定義できる。例えば、表1では、ゼロ・パラメータを次のように定義できる。

表1
アフィン混合チャネル予測は、例えば、行列乗算機能を用いてUHDTV画像フレームを予測するために、BT.709画像フレームのYUVチャネルを混合することによって、BT.709画像フレームのためのYUV色空間を変換することを含むことができる。いくつかの実施形態において、BT.709の色空間は、数式7:

に従ってスケーリングできる。
行列パラメータm11、m12、m13、m21、m22、m23、m31、m32、m33およびオフセット・パラメータo1、o2およびo3は、BT.709ビデオ・フォーマット勧告およびUHDTVビデオ・フォーマット勧告によってサポートされる色空間における差に基づくことができ、各BT.709画像フレームおよびUHDTV画像フレームのコンテンツに依存して変化しうる。エンハンスメントレイヤ・エンコーダ302は、UHDTV画像フレームの予測を生成するために色空間予測器400によって利用された行列およびオフセット・パラメータを、色予測パラメータ114として、例えば、出力インターフェース380経由でビデオデコーダ500へ出力できる。
いくつかの実施形態において、BT.709の色空間は、数式8:

に従ってスケーリングできる。
行列パラメータm11、m12、m13、m22およびm33ならびにオフセット・パラメータo1、o2およびo3は、BT.709ビデオ符号化規格およびUHDTVビデオ規格によってサポートされる色空間における差に基づくことができ、各BT.709画像フレームおよびUHDTV画像フレームのコンテンツに依存して変化しうる。エンハンスメントレイヤ・エンコーダ302は、UHDTV画像フレームの予測を生成するために色空間予測器400によって利用された行列およびオフセッチ・パラメータを、色予測パラメータ114として、例えば、出力インターフェース380経由でビデオデコーダ500へ出力できる。
行列パラメータm21、m23、m31およびm32をゼロと置き換えることによって、UHDTV画像フレーム予測の輝度チャネルYは、BT.709画像フレームの色チャネルUおよびVと混合できるが、UHDTV画像フレーム予測の色チャネルUおよびVは、BT.709画像フレームの輝度チャネルYとは混合されない。選択的なチャネル混合は、輝度チャネルUHDTV画像フレーム予測のより正確な予測を可能にして、一方ではビデオデコーダ500へ送信すべき予測パラメータ114の数を削減できる。
いくつかの実施形態において、BT.709の色空間は、数式9:

に従ってスケーリングできる。
行列パラメータm11、m12、m13、m22、m23、m32およびm33ならびにオフセット・パラメータo1、o2、o3は、BT.709ビデオ規格およびUHDTVビデオ規格によってサポートされる色空間における差に基づくことができ、各BT.709画像フレームおよびUHDTV画像フレームのコンテンツに依存して変化しうる。エンハンスメントレイヤ・エンコーダ302は、UHDTV画像フレームの予測を生成するために色空間予測器400によって利用された行列およびオフセッチ・パラメータを色予測パラメータ114として、例えば、出力インターフェース380経由でビデオデコーダ500へ出力できる。
行列パラメータm21およびm31をゼロと置き換えることによって、UHDTV画像フレーム予測の輝度チャネルYは、BT.709画像フレームの色チャネルUおよびVと混合できる。UHDTV画像フレーム予測のUおよびV色チャネルは、BT.709画像フレームのUおよびV色チャネルと混合できるが、BT.709画像フレームの輝度チャネルYとは混合されない。選択的なチャネル混合は、輝度チャネルUHDTV画像フレーム予測のより正確な予測を可能にして、一方ではビデオデコーダ500へ送信すべき予測パラメータ114の数を削減できる。
色空間予測器400は、スケーリングされた色空間予測を予測選択機能350のためにシーケンス(フレーム間)ごと、フレームごと、またはスライス(フレーム内)ごとに生成でき、ビデオエンコーダ300は、スケーリングされた色空間予測に対応する予測パラメータ114をシーケンス(フレーム間)ごと、フレームごと、またはスライス(フレーム内)ごとに送信できる。いくつかの実施形態において、スケーリングされた色空間予測を生成するための粒度は、色空間予測器400にプリセットもしくは固定でき、または符号化機能またはUHDTV画像フレームのコンテンツに基づいて、ビデオエンコーダ300によって動的に調整可能である。
ビデオエンコーダ300は、色予測パラメータ114を符号化されたビデオストリーム112の規範的な部分で、例えば、シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、または符号化されたビデオストリーム112の規範的な部分の別のより低レベルの区分で送信できる。いくつかの実施形態において、色予測パラメータ114は、符号化されたビデオストリーム112へ1つのシンタックスとともに挿入でき、このシンタックスは、ビデオデコーダ500が符号化されたビデオストリーム112に色予測パラメータ114が存在することを識別し、パラメータの精度またはサイズ、例えば、それぞれのパラメータを表すために利用されたビットの数を識別し、かつ色空間予測を生成するためにビデオエンコーダ300の色空間予測器400が利用した色空間予測のタイプを識別することを可能にする。
いくつかの実施形態において、符号化されたビデオストリーム112の規範的な部分は、フラグ(use_color_space_prediction)、例えば、符号化されたビデオストリーム112における色空間パラメータ114の包含を通知できる1つ以上のビットを含むことができる。符号化されたビデオストリーム112の規範的な部分は、サイズパラメータ(color_predictor_num_fraction_bits_minus1)、例えば、それぞれのパラメータを表すために利用されたビットの数または精度を識別できる1つ以上のビットを含むことができる。符号化されたビデオストリーム112の規範的な部分は、予測器タイプ・パラメータ(color_predictor_idc)、例えば、色空間予測を生成するためにビデオエンコーダ300によって利用された色空間予測のタイプを識別できる1つ以上のビットを含むことができる。色空間予測のタイプは、独立チャネル予測、アフィン予測、それらの様々な実装などを含むことができる。色予測パラメータ114は、ビデオエンコーダ300によって利用される予測のタイプに依存して利得パラメータ、オフセット・パラメータおよび/または行列パラメータを含むことができる。
図3Bを参照すると、ビデオエンコーダ301は、図3Aに先に示され、記載されたビデオエンコーダ300と同様とすることができ、相違は、次の通りである。ビデオエンコーダ301は、色空間予測器400を解像度アップスケーリング機能370と入れ替えることができる。色空間予測器400は、ベースレイヤ・エンコーダ304によって前に符号化されたBT.709画像フレームに基づいてUHDTV画像フレームの予測を生成できる。
いくつかの実施形態において、ベースレイヤ・エンコーダ304における参照バッファ368は、符号化されたBT.709画像フレームを色空間予測器400へ供給できる。色空間予測器は、符号化されたBT.709画像フレームのYUV色空間をUHDTVビデオ・フォーマットによってサポートされるYUV表現に対応するようにスケーリングできる。色空間予測器400は、色空間予測を解像度アップスケーリング機能370へ供給でき、この機能は、符号化されたBT.709画像フレームの色空間予測の解像度をUHDTVビデオ・フォーマットに対応する解像度へスケーリングできる。解像度アップスケーリング機能370は、解像度がアップスケーリングされた色空間予測を予測選択機能350へ供給できる。
図4は、図3Aに示される色空間予測器400のブロック図の例である。図4を参照すると、色空間予測器400は、再構成されたBT.709ビデオフレーム402を、例えば、ベースレイヤ・エンコーダ304から解像度アップスケーリング機能370経由で受信して、色空間予測406の生成に関する予測タイプおよびタイミングを選択するための色空間予測制御デバイス410を含むことができる。いくつかの実施形態において、色空間予測制御デバイス410は、再構成されたBT.709ビデオフレーム402を独立チャネル予測機能420、アフィン予測機能430、またはクロスカラー予測機能440のうちの少なくとも1つへ渡すことができる。予測機能420、430および440のそれぞれは、UHDTV画像フレーム(またはその部分)の色空間予測を再構成されたBT.709ビデオフレーム402から、例えば、BT.709画像フレームの色空間をUHDTV画像フレームの色空間へスケーリングすることによって生成できる。
独立チャネル予測機能420は、再構成されたBT.709ビデオフレーム402のYUV成分を別々に、例えば、数式1〜6に先に示されたようにスケーリングできる。アフィン予測機能430は、再構成されたBT.709ビデオフレーム402のYUV成分を行列乗算を用いて、例えば、数式7に先に示されたようにスケーリングできる。クロスカラー予測機能440は、再構成されたBT.709ビデオフレーム402のYUV成分を修正された行列乗算を用いてスケーリングでき、この行列乗算は、UHDTV画像フレームのUおよびV成分を、例えば、数式8から9に先に示されたように生成するときに、再構成されたBT.709ビデオフレーム402からのY成分の混合を除外できる。
いくつかの実施形態において、色空間予測器400は、独立チャネル予測機能420、アフィン予測機能430、およびクロスカラー予測機能440からの出力を選択するための選択デバイス450を含むことができる。選択デバイス450は、また、色空間予測406を生成するために利用された色予測パラメータ114を出力できる。色予測制御デバイス410は、色空間予測406の生成のタイミングと色空間予測406を生成するために行われる演算のタイプとを、例えば、選択デバイス450のタイミングおよび出力を制御することによって制御できる。いくつかの実施形態において、色予測制御デバイス410は、再構成されたBT.709ビデオフレーム402を独立チャネル予測機能420、アフィン予測機能430、およびクロスカラー予測機能440のうちの少なくとも1つへ選択的に供給することによって、色空間予測406の生成のタイミングと色空間予測406を生成するために行われる演算のタイプとを制御できる。
図5Aおよび5Bは、図1に示されるビデオデコーダ500のブロック図の例である。図5Aを参照すると、ビデオデコーダは、符号化されたビデオストリーム112を、例えば、ビデオエンコーダ300から受信するためのインターフェース510を含むことができる。インターフェース510は、符号化されたビデオストリーム112を逆多重化して、符号化されたUHDTV画像データをビデオデコーダ500のエンハンスメントレイヤ・デコーダ502へ供給し、符号化されたBT.709画像データをビデオデコーダ500のベースレイヤ・デコーダ504へ供給できる。ベースレイヤ・デコーダ504は、インターフェース510から受信された符号化BT.709画像データを復号するためのエントロピー復号機能552および復号予測ループ554を含むことができ、復号されたBT.709ビデオストリーム124を参照バッファ556に記憶できる。参照バッファ556は、復号されたBT.709ビデオストリーム124を同じフレームの他の部分または符号化されたBT.709画像データの他のフレームの復号に用いるために復号予測ループ554へ戻すことができる。ベースレイヤ・デコーダ504は、復号されたBT.709ビデオストリーム124を出力できる。いくつかの実施形態では、復号予測ループ554からの出力かつ参照バッファ556への入力が再構成されたフレームデータではなく、残差フレームデータであってもよい。
エンハンスメントレイヤ・デコーダ502は、インターフェース510から受信された符号化UHDTV画像データを復号するためのエントロピー復号機能522、逆量子化機能524、逆変換機能526、および結合機能528を含むことができる。デブロッキング機能541は、復号されたUHDTV画像フレームを、例えば、復号されたUHDTV画像フレームに対応する画像におけるマクロブロック間の鋭いエッジを平滑にするためにフィルタして、復号されたUHDTVビデオストリーム122を参照バッファ530に記憶できる。いくつかの実施形態において、符号化されたUHDTV画像データは、予測残差、例えば、ビデオエンコーダ300によって確定されるような予測とUHDTV画像フレームとの間の差に対応することができる。エンハンスメントレイヤ・デコーダ502は、UHDTV画像フレームの予測を生成でき、結合機能528は、復号されたUHDTVビデオストリーム122を生成するために、エントロピー復号、逆量子化、および逆変換を受けた符号化UHDTV画像データにUHDTV画像フレームの予測を加えることができる。いくつかの実施形態において、結合機能528は、復号されたUHDTVビデオストリーム122を生成するための重み付け、例えば、線形重み付けを含むことができる。
エンハンスメントレイヤ・デコーダ502は、それぞれがUHDTV画像フレームの予測を生成できる色空間予測器600、動き補償予測機能542、およびイントラ予測器544を含むことができる。エンハンスメントレイヤ・デコーダ502は、結合機能528へ供給するために色空間予測器600、動き補償予測機能542、および/またはイントラ予測器544によって生成された予測を選択するための予測選択機能540を含むことができる。
いくつかの実施形態において、動き補償予測機能542およびイントラ予測器544は、エンハンスメントレイヤ・デコーダ502によって前に復号され、参照バッファ530に記憶されたUHDTV画像フレームに基づいてそれらの各予測を生成できる。動き補償予測機能542は、1つ以上の復号されたUHDTV画像フレームを参照バッファ530から受信できる。動き補償予測機能542は、参照バッファ530からの1つ以上の復号されたUHDTV画像フレームとUHDTV画像フレームとの間の画像の動きに基づいて、現UHDTV画像フレームの予測を生成できる。
イントラ予測器544は、参照バッファ530から現UHDTV画像フレームの第1の部分を受信できる。イントラ予測器544は、エンハンスメントレイヤ・デコーダ502によって前に復号された現UHDTV画像フレームの少なくとも第2の部分に基づいて現UHDTV画像フレームの第1の部分に対応する予測を生成できる。
色空間予測器600はベースレイヤ・デコーダ504によって復号されたBT.709画像フレームに基づいてUHDTV画像フレームの予測を生成できる。いくつかの実施形態において、ベースレイヤ・デコーダ504における参照バッファ556は、復号されたBT.709ビデオストリーム124の一部分を解像度アップスケーリング機能570へ供給でき、この機能は、符号化されたBT.709画像フレームの解像度をUHDTVビデオ・フォーマットに対応する解像度へスケーリングできる。解像度アップスケーリング機能570は、符号化されたBT.709画像フレームのアップスケーリングされた解像度バージョンを色空間予測器600へ供給できる。色空間予測器は、符号化されたBT.709画像フレームのアップスケーリングされた解像度バージョンに基づいて、UHDTV画像フレームの予測を生成できる。いくつかの実施形態において、色空間予測器600は、符号化されたBT.709画像フレームのアップスケーリングされた解像度バージョンのYUV色空間を、UHDTVビデオ・フォーマットによってサポートされるYUV表現に対応するようにスケーリングできる。
色空間予測器600は、BT.709ビデオ符号化規格によってサポートされる色空間をUHDTVビデオ・フォーマットによってサポートされる色空間へ、例えば、独立チャネル予測、アフィン混合チャネル予測、またはクロスカラーチャネル予測を用いてスケーリングすることにより、ビデオエンコーダ300における色空間予測器400と同様に動作できる。しかしながら、色空間予測器600は、ビデオエンコーダ300から受信された色予測パラメータ114に、少なくとも部分的に、基づいて生成すべき色空間予測のタイプを選択できる。色予測パラメータ114は、色空間予測の特定のタイプを明示的に識別でき、または色空間予測のタイプを、例えば、色予測パラメータ114の量および/または配置によって暗黙的に識別できる。
先に考察されたように、いくつかの実施形態において、符号化されたビデオストリーム112の規範的な部分は、フラグ(use_color_space_prediction)、例えば、符号化されたビデオストリーム112における色空間パラメータ114の包含を通知できる1つ以上のビットを含むことができる。符号化されたビデオストリーム112の規範的な部分は、サイズパラメータ(color_predictor_num_fraction_bits_minus1)、例えば、それぞれのパラメータを表すために利用されるビットの数または精度を識別できる1つ以上のビットを含むことができる。符号化されたビデオストリーム112の規範的な部分は、予測器タイプ・パラメータ(color_predictor_idc)、例えば、色空間予測を生成するためにビデオエンコーダ300によって利用される色空間予測のタイプを識別できる1つ以上のビットを含むことができる。色空間予測のタイプは、独立チャネル予測、アフィン予測、それらの様々な実装などを含むことができる。色予測パラメータ114は、ビデオエンコーダ300によって利用される予測のタイプに依存して利得パラメータ、オフセット・パラメータおよび/または行列パラメータを含むことができる。
色空間予測器600は、ビデオエンコーダ300が次に符号化されるビデオストリーム112を生成するときに色空間予測を利用するかどうかをフラグ(use_color_space_prediction)に基づいて識別する。符号化されたビデオストリーム112に色予測パラメータ114が存在するときに、色空間予測器600は、色予測パラメータ114を構文解析でき、符号化されたビデオによって利用された色空間予測のタイプを予測器タイプ・パラメータ(color_predictor_idc)およびパラメータ(color_predictor_num_fraction_bits_minus1)のサイズまたは精度に基づいて識別して、色空間予測を生成するために利用する色空間パラメータの位置を特定できる。
例えば、ビデオデコーダ500は、符号化されたビデオストリーム112に色予測パラメータ114が存在するかどうかを確定し、次の表2におけるコード例に基づいて色予測パラメータ114を構文解析できる。

表2
表2におけるコード例は、ビデオデコーダ500が符号化されたビデオストリーム112に色予測パラメータ114が存在するかどうかをuse_color_space_predictionフラグに基づいて識別することを可能にできる。ビデオデコーダ500は、色空間パラメータの精度またはサイズをサイズパラメータ(color_predictor_num_fraction_bits_minus1)に基づいて識別でき、ビデオエンコーダ300によって利用された色空間予測のタイプをタイプ・パラメータ(color_predictor_idc)に基づいて識別できる。表2におけるコード例は、ビデオデコーダ500が、色空間パラメータの識別されたサイズと、ビデオエンコーダ300によって利用され、色空間パラメータの数、セマンティクスおよび位置を識別できる識別されたタイプの色空間予測とに基づいて、符号化されたビデオストリーム112からの色空間パラメータを構文解析することを可能にできる。表2におけるコード例は、9つの行列パラメータおよび3つのオフセット・パラメータを含んだアフィン予測を示すが、いくつかの実施形態において、色予測パラメータ114は、例えば、行列パラメータがゼロであるときに、より少ない行列および/またはオフセット・パラメータを含むことができ、コード例は、色予測パラメータ114をそれに従って構文解析するように修正できる。
色空間予測器600は、色空間予測を予測選択機能540のためにシーケンス(フレーム間)ごと、フレームごと、またはスライス(フレーム内)ごとに生成できる。いくつかの実施形態において、色空間予測器600は、色空間予測を固定もしくはプリセットされたタイミングで、あるいはビデオエンコーダ300からの色予測パラメータ114の受信に応じて動的に生成できる。
図5Bを参照すると、ビデオデコーダ501は、図5Aに先に示され、記載されたビデオデコーダ500と同様とすることができ、相違は、次の通りである。ビデオデコーダ501は、色空間予測器600を解像度アップスケーリング機能570と入れ替えることができる。色空間予測器600は、ベースレイヤ・デコーダ504からの復号されたBT.709ビデオストリーム124の部分に基づいてUHDTV画像フレームの予測を生成できる。
いくつかの実施形態において、ベースレイヤ・デコーダ504における参照バッファ556は、復号されたBT.709ビデオストリーム124の部分を色空間予測器600へ供給できる。色空間予測器600は、復号されたBT.709ビデオストリーム124の部分のYUV色空間をUHDTVビデオ規格によってサポートされるYUV表現に対応するようにスケーリングできる。色空間予測器600は、色空間予測を解像度アップスケーリング機能570へ供給でき、この機能は、色空間予測の解像度をUHDTVビデオ規格に対応する解像度へスケーリングできる。解像度アップスケーリング機能570は、解像度がアップスケーリングされた色空間予測を予測選択機能540へ供給できる。
図6は、図5Aに示される色空間予測器600のブロック図の例である。図6を参照すると、色空間予測器600は、復号されたBT.709ビデオストリーム122を、例えば、ベースレイヤ・デコーダ504から解像度アップスケーリング機能570経由で受信して、色空間予測606の生成に関する予測タイプおよびタイミングを選択するための色空間予測制御デバイス610を含むことができる。色空間予測器600は、ビデオエンコーダ300から受信された色予測パラメータ114に、少なくとも部分的に、基づいて生成すべき色空間予測のタイプを選択できる。色予測パラメータ114は、色空間予測の特定のタイプを明示的に識別でき、あるいは色空間予測の特定のタイプを、例えば、色予測パラメータ114の量および/または配置によって暗黙的に識別できる。いくつかの実施形態において、色空間予測制御デバイス610は、復号されたBT.709ビデオストリーム122および色予測パラメータ114を独立チャネル予測機能620、アフィン予測機能630、またはクロスカラー予測機能640のうちの少なくとも1つへ渡すことができる。予測機能620、630および640のそれぞれは、UHDTV画像フレーム(またはその部分)の色空間予測を復号されたBT.709ビデオストリーム122から、例えば、BT.709画像フレームの色空間をUHDTV画像フレームの色空間へ色空間パラメータ114に基づいてスケーリングすることによって生成できる。
独立チャネル予測機能620は、復号されたBT.709ビデオストリーム122のYUV成分を別々に、例えば、数式1〜6に先に示されたようにスケーリングできる。アフィン予測機能630は、復号されたBT.709ビデオストリーム122のYUV成分を行列乗算を用いて、例えば、数式7に先に示されたようにスケーリングできる。クロスカラー予測機能640は、復号されたBT.709ビデオストリーム122のYUV成分を修正された行列乗算を用いてスケーリングでき、この乗算行列は、UHDTV画像フレームのUおよびV成分を、例えば、数式8または9に先に示されたように生成するとき、復号されたBT.709ビデオストリーム122からのY成分の混合を除外できる。
いくつかの実施形態において、色空間予測器600は、独立チャネル予測機能620、アフィン予測機能630、およびクロスカラー予測機能640からの出力を選択するための選択デバイス650を含むことができる。色予測制御デバイス610は、色空間予測606の生成のタイミングと色空間予測606を生成するために行われる演算のタイプとを、例えば、選択デバイス650のタイミングおよび出力を制御することによって制御できる。いくつかの実施形態において、色予測制御デバイス610は、復号されたBT.709ビデオストリーム122を独立チャネル予測機能620、アフィン予測機能630、およびクロスカラー予測機能640のうちの少なくとも1つへ選択的に供給することによって、色空間予測606の生成のタイミングと色空間予測606を生成するために行われる演算のタイプとを制御できる。
図7は、ビデオエンコーダ300における色空間予測に関する例の動作フロー図である。図7を参照すると、第1のブロック710において、ビデオエンコーダ300は、第1の画像フォーマットを有する第1の画像を符号化できる。いくつかの実施形態において、第1の画像フォーマットは、BT.709ビデオ規格に対応することができ、ビデオエンコーダ300は、BT.709画像フレームを符号化するためのベースレイヤを含むことができる。
ブロック720において、ビデオエンコーダ300は、第1の画像の色空間を第1の画像フォーマットから第2の画像フォーマットに対応する色空間へスケーリングできる。いくつかの実施形態において、ビデオエンコーダ300は、色空間をBT.709ビデオ規格と第2の画像フォーマットに対応する超高精細度テレビ(UHDTV)ビデオ規格との間でスケーリングできる。
ビデオエンコーダ300がBT.709ビデオ符号化規格によってサポートされる色空間をUHDTVビデオ・フォーマットによってサポートされる色空間へスケーリングするためのいくつかの方法、例えば、独立チャネル予測およびアフィン混合チャネル予測がある。例えば、独立チャネル予測は、符号化されたBT.709画像フレームのYUV成分を別々に、例えば、数式1〜6に先に示されたようにスケーリングできる。アフィン混合チャネル予測は、符号化されたBT.709画像フレームのYUV成分を、行列乗算を用いて、例えば、数式7〜9に先に示されたようにスケーリングできる。
いくつかの実施形態において、ビデオエンコーダ300は、第1の画像の解像度を第1の画像フォーマットから第2の画像フォーマットに対応する解像度へスケーリングできる。例えば、UHDTVビデオ規格は、4k(3840×2160画素)または8k(7680×4320画素)および10または12ビット量子化ビット深度をサポートできる。BT.709ビデオ規格は、2k(1920×1080画素)解像度および8または10ビット量子化ビット深度をサポートできる。ビデオエンコーダ300は、符号化された第1の画像をBT.709ビデオ規格に対応する解像度からUHDTVビデオ規格に対応する解像度へスケーリングできる。
ブロック730において、ビデオエンコーダ300は、色空間予測を第1の画像のスケーリングされた色空間に、少なくとも部分的に、基づいて生成できる。色空間予測は、UHDTV画像フレーム(またはその部分)の対応する符号化されたBT.709画像フレームの色空間からの予測とすることができる。いくつかの実施形態において、ビデオエンコーダ300は、色空間予測を第1の画像のスケーリングされた解像度に、少なくとも部分的に、基づいて生成できる。
ブロック740において、ビデオエンコーダ300は、第2の画像フォーマットを有する第2の画像を色空間予測に、少なくとも部分的に、基づいて符号化できる。ビデオエンコーダ300は、符号化された第2の画像と第1の画像の色空間をスケーリングするために利用された色予測パラメータとをビデオデコーダへ出力できる。
図8は、ビデオデコーダ500における色空間予測に関する例の動作フロー図である。図8を参照すると、第1のブロック810において、ビデオデコーダ500は、第1の画像フォーマットを有する第1の画像を生成するために、符号化されたビデオストリームを復号できる。いくつかの実施形態において、第1の画像フォーマットは、BT.709ビデオ規格に対応することができ、ビデオデコーダ500は、BT.709画像フレームを復号するためのベースレイヤを含むことができる。
ブロック820において、ビデオデコーダ500は、第1の画像フォーマットに対応する第1の画像の色空間を第2の画像フォーマットに対応する色空間へスケーリングできる。いくつかの実施形態において、ビデオデコーダ500は、色空間をBT.709ビデオ規格と第2の画像フォーマットに対応する超高精細度テレビ(UHDTV)ビデオ規格との間でスケーリングできる。
ビデオデコーダ500がBT.709ビデオ符号化規格によってサポートされる色空間をUHDTVビデオ規格によってサポートされる色空間へスケーリングするためのいくつかの方法、例えば、独立チャネル予測およびアフィン混合チャネル予測がある。例えば、独立チャネル予測は、符号化されたBT.709画像フレームのYUV成分を別々に、例えば、数式1〜6に先に示されたようにスケーリングできる。アフィン混合チャネル予測は、符号化されたBT.709画像フレームのYUV成分を、行列乗算を用いて、例えば、数式7〜9に先に示されたようにスケーリングできる。
ビデオデコーダ500は、例えば、独立チャネル予測もしくは各種のアフィン混合チャネル予測のうちの1つを行うための色空間スケーリングのタイプを、ビデオデコーダ500がビデオエンコーダ300から受信するチャネル予測パラメータに基づいて選択できる。いくつかの実施形態において、ビデオデコーダ500は、復号されたBT.709画像フレームのデフォルトまたはプリセット色空間スケーリングを行うことができる。
いくつかの実施形態において、ビデオデコーダ500は、第1の画像の解像度を第1の画像フォーマットから第2の画像フォーマットに対応する解像度へスケーリングできる。例えば、UHDTVビデオ規格は、4k(3840×2160画素)または8k(7680×4320画素)解像度および10または12ビット量子化ビット深度をサポートできる。BT.709ビデオ規格は、2k(1920×1080画素)解像度および8または10ビット量子化ビット深度をサポートできる。ビデオデコーダ500は、復号された第1の画像をBT.709ビデオ規格に対応する解像度からUHDTVビデオ規格に対応する解像度へスケーリングできる。
ブロック830において、ビデオデコーダ500は、色空間予測を第1の画像のスケーリングされた色空間に、少なくとも部分的に、基づいて生成できる。色空間予測は、UHDTV画像フレーム(またはその部分)の対応する復号されたBT.709画像フレームの色空間からの予測とすることができる。いくつかの実施形態において、ビデオデコーダ500は、色空間予測を第1の画像のスケーリングされた解像度に、少なくとも部分的に、基づいて生成できる。
ブロック840において、ビデオデコーダ500は、符号化されたビデオストリームを色空間予測に、少なくとも部分的に、基づいて第2の画像フォーマットを有する第2の画像へ復号できる。いくつかの実施形態において、ビデオデコーダ500は、ビデオエンコーダ300からの予測残差に対応する符号化されたビデオストリームの一部分と結合させるために色空間予測を利用できる。色空間予測と復号された予測残差との結合は、復号されたUHDTV画像フレームまたはその部分に対応することができる。
図9は、ビデオデコーダ500における色空間予測に関する別の例の動作フロー図である。図9を参照すると、第1のブロック910において、ビデオデコーダ500は、第1のフォーマットを有する第1の残差フレームを生成するために、符号化されたビデオストリームの少なくとも一部分を復号できる。第1の残差フレームは、2つの画像フレームの間の差に対応するデータのフレームとすることができる。いくつかの実施形態において、第1のフォーマットは、BT.709ビデオ規格に対応でき、ビデオデコーダ500は、BT.709画像フレームを復号するためのベースレイヤを含むことができる。
ブロック920において、ビデオデコーダ500は、第1のフォーマットに対応する第1の残差フレームの色空間を第2のフォーマットに対応する色空間へスケーリングできる。いくつかの実施形態において、ビデオデコーダ500は、色空間をBT.709ビデオ規格と第2のフォーマットに対応する超高精細度テレビ(UHDTV)ビデオ規格との間でスケーリングできる。
ビデオデコーダ500がBT.709ビデオ符号化規格によってサポートされる色空間をUHDTVビデオ規格によってサポートされる色空間へスケーリングするためのいくつかの方法、例えば、独立チャネル予測およびアフィン混合チャネル予測がある。例えば、独立チャネル予測は、符号化されたBT.709画像フレームのYUV成分を別々に、例えば、数式1〜6に先に示されたようにスケーリングできる。アフィン混合チャネル予測は、符号化されたBT.709画像フレームのYUV成分を、行列乗算を用いて、例えば、数式7〜9に先に示されたようにスケーリングできる。
ビデオデコーダ500は、例えば、独立チャネル予測もしくは各種のアフィン混合チャネル予測のうちの1つを行うための色空間スケーリングのタイプを、ビデオデコーダ500がビデオエンコーダ300から受信するチャネル予測パラメータに基づいて選択できる。いくつかの実施形態において、ビデオデコーダ500は、復号されたBT.709画像フレームのデフォルトまたはプリセット色空間スケーリングを行うことができる。
いくつかの実施形態において、ビデオデコーダ500は、第1の残差フレームの解像度を第1の画像フォーマットから第2の画像フォーマットに対応する解像度へスケーリングできる。例えば、UHDTVビデオ規格は、4k(3840×2160画素)または8k(7680×4320画素)解像度および10または12ビット量子化ビット深度をサポートできる。BT.709ビデオ規格は、2k(1920×1080画素)解像度および8または10ビット量子化ビット深度をサポートできる。ビデオデコーダ500は、復号された第1の残差フレームをBT.709ビデオ規格に対応する解像度からUHDTVビデオ規格に対応する解像度へスケーリングできる。
ブロック930において、ビデオデコーダ500は、色空間予測を第1の残差フレームのスケーリングされた色空間に、少なくとも部分的に、基づいて生成できる。色空間予測は、UHDTV画像フレーム(またはその部分)の対応する復号されたBT.709画像フレームの色空間からの予測とすることができる。いくつかの実施形態において、ビデオデコーダ500は、色空間予測を第1の残差フレームのスケーリングされた解像度に、少なくとも部分的に、基づいて生成できる。
ブロック940において、ビデオデコーダ500は、符号化されたビデオストリームを色空間予測に、少なくとも部分的に、基づいて第2のフォーマットを有する第2の画像へ復号できる。いくつかの実施形態において、ビデオデコーダ500は、ビデオエンコーダ300からの予測残差に対応する符号化されたビデオストリームの一部分と結合させるために色空間予測を利用できる。色空間予測と復号された予測残差との結合は、復号されたUHDTV画像フレームまたはその部分に対応することができる。
「色ビット深度スケーリング」
色ビット深度スケーリングは、高効率ビデオ符号化(HEVC:High Efficiency Video Coding)、草案の形態で公開された現在開発中のビデオ符号化規格、または他のビデオ圧縮システムなどのビデオ圧縮において色符号化および復号の強化を提供できる。ビット深度スケーリングは、例えば、特に復号の間に、BT.709およびUHDTV BT.2020のような、異なるデジタルビデオ・フォーマットで使用される様々な色特性(例えば、解像度、量子化ビット深度、および色域)の取り扱いを改良する。以下の記載は、HEVC、すなわち、スケーラブルなHEVC拡張の公的に定められた試験モデルを参照して行われるが、他の類似したビデオ圧縮システムにも同様に適用可能である。
図3Aおよび3Bのエンコーダ300ならびに301は、HDおよびUHDTVビデオストリームの符号化を提供し、それぞれが、UHDTV画像フレーム(またはピクチャ)の予測を再構成されたBT.709画像フレーム(またはピクチャ)のアップスケーリングされた解像度バージョンに基づいて生成できる色空間予測器400を含む。上述のように、色空間予測器400は、いくつかの実施形態では、再構成されたBT.709画像フレームのアップスケーリングされた解像度バージョンのYUV色空間を、UHDTVビデオストリーム102によってサポートされるYUV表現に対応するようにスケーリングできる。
図10Aおよび10Bは、エンコーダ300および301にそれぞれ類似し、同じ参照数字によって指示された対応要素を含むビデオエンコーダ1000および1001のブロック図の例である。加えて、エンコーダ1000および1001は、それぞれが、参照ピクチャのビット深度スケーリングを含めて、フレームまたはピクチャの強化された色ビット深度スケーリングを提供するために、色空間予測器400ではなく、ビット深度スケーリング機能1010を含む。
ビデオエンコーダ1000および1001は、ビデオストリームのピクチャを処理するときに、参照バッファ340および368に記憶された、参照ピクチャ(またはフレーム)を参照する。
図11は、機能1010によって行われるようなビット深度スケーリングを含み、HEVC符号化に関連して記載されるビデオ符号化方法1100の簡略化されたフロー図である。
現ピクチャCurrPicに関して、ステップ1110は、入力として輝度サンプルのアレイrsPicSampleL、成分Cbの色差サンプルのアレイrsPicSampleCb、および成分Crの色差サンプルのアレイrsPicSampleCrを用い、出力として輝度サンプルのアレイrlPicSampleL、成分Cbの色差サンプルのアレイrlPicSampleCb、および成分Crの色差サンプルのアレイrlPicSampleCrを供給する、ピクチャ・サンプル値に関するサンプリング処理を提供する。
ステップ1120は、入力としてビデオピクチャ入力rlPicからサンプリングされたレイヤ間参照ピクチャrsPicを取得するための参照ピクチャに関するサンプリング処理を提供する。ステップ1120は、現ピクチャCurrPicの第1のPまたはBスライスに対する符号化処理の始めに起動される。
ステップ1125は、レイヤ間参照ピクチャのビット深度のスケーリングを提供する。
ステップ1130は、レイヤ間ピクチャのリストを取得するためにレイヤ間参照ピクチャセットの符号化を提供し、この符号化は、ビット深度スケーリングされたレイヤ間参照ピクチャrsbPicのサンプリングを含む。ステップ1140は、ユニット・ツリー符号化レイヤの符号化を提供する。ステップ1150は、PまたはBスライスごとの符号化処理とPまたはBスライスごとの参照ピクチャリストの構築とを含めて、スライスセグメント・レイヤの符号化を提供する。ステップ1160は、ネットワーク抽象化レイヤ(NAL:network abstraction layer)・ユニット、またはパケットの符号化を提供する。
図5Aおよび5Bのデコーダ500ならびに501は、HDおよびUHDTVビデオストリームに対応する符号化されたビデオストリームの復号を提供する。デコーダ500および501それぞれは、上記のように、UHDTV画像フレーム(またはピクチャ)の予測をベースレイヤ・デコーダ504によって復号されたBT.709画像フレームに基づいて生成できる色空間予測器600を含む。
図12Aおよび12Bは、デコーダ500および501にそれぞれ類似し、同じ参照数字によって指示された対応要素を含むビデオデコーダ1200および1201のブロック図の例である。加えて、デコーダ1200および1201は、それぞれが、フレームまたはピクチャの深度スケーリングを利用するために、デコーダ500および501の色空間予測器600ではなく、ビット深度スケーリング機能1210を含む。ビデオデコーダ1200および1201は、符号化されたピクチャ(またはフレーム)のスライスとともにネットワーク抽象化レイヤ・ユニット(またはパケット)を含む符号化されたビデオストリームの復号を提供する。復号は、ビデオストリームの連続したピクチャのピクチャ・サンプル値を取得するために、参照ピクチャとレイヤ間参照ピクチャセットとを取得して利用する。
図13は、機能1210によって行われるようなビット深度スケーリング処理を含む、HEVC復号に関連して記載される復号方法1300の一実装のフロー図である。現ピクチャCurrPicに関して、ステップ1310は、ネットワーク抽象化レイヤ(NAL)・ユニット、またはパケットの復号を提供する。ステップ1320は、PまたはBスライスごとの復号処理とPまたはBスライスごとの参照ピクチャリストの構築とを含む、スライスセグメント・レイヤに関する復号を提供する。ステップ1330は、ユニット・ツリー符号化レイヤに関する復号を提供する。ステップ1340は、レイヤ間ピクチャのリストを取得するためのレイヤ間参照ピクチャセットに関する復号を提供し、このステップは、リサンプリングされビット深度スケーリングされたレイヤ間参照ピクチャrsbPicの導出を含む。
ステップ1350は、リサンプリングされたレイヤ間参照ピクチャrsPicを入力として復号されたピクチャrlPicから取得するための参照ピクチャに関するリサンプリング処理を提供する。ステップ1350は、現ピクチャCurrPicの第1のPまたはBスライスに対する符号化処理の始めに起動される。ステップ1360は、入力として輝度サンプルのアレイrlPicSampleL、成分Cbの色差サンプルのアレイrlPicSampleCb、および成分Crの色差サンプルのアレイrlPicSampleCrを用い、出力として輝度サンプルのアレイrsPicSampleL、成分Cbの色差サンプルのアレイrsPicSampleCb、および成分Crの色差サンプルのアレイrsPicSampleCrを供給する、ピクチャ・サンプル値に関するリサンプリング処理を提供する。
ステップ1310〜1360は、ステップ1340におけるリサンプリングされビット深度スケーリングされたレイヤ間参照ピクチャrsbPicの導出を除いて、一般に、従来のHEVC復号に対応する。新規な追加ステップとして、方法1300は、参照ピクチャに対するビット深度スケーリング処理を提供するステップ1370とピクチャ・サンプル値に対するビット深度スケーリング処理を提供するステップ1380とを含む。
ステップ1370の参照ピクチャに対するビット深度スケーリング処理は、入力としてのリサンプリングされたレイヤ間参照ピクチャrsPicに作用して、リサンプリングされビット深度スケーリングされたレイヤ間参照ピクチャrsbPicを出力として供給する。リサンプリングされビット深度スケーリングされたレイヤ間参照ピクチャrsbPicの利点は、それが、異なるビット深度のピクチャからのレイヤ間参照の形成に適合することである。ステップ1370は、現ピクチャCurrPicの輝度アレイのサンプルのビット深度および色差アレイのサンプルのビット深度を指定する、変数nBdbYおよびnBdbCと、リサンプリングされた参照レイヤ・ピクチャrsPicの輝度アレイのサンプルのビット深度および色差アレイのサンプルのビット深度を指定する、変数nBdYおよびnBdCとを用いる。ステップ1370は、リサンプリングされビット深度スケーリングされたレイヤ間参照ピクチャrsbPicを、ビット深度スケーリングにより次のように導出する。
ステップ1380のビット深度スケーリングは、rsPicSampleのリサンプリングされたサンプル値を入力として用い、rsbPicSampleのリサンプリングされビット深度スケーリングされたサンプル値を出力として用いて起動される。ステップ1380のピクチャ・サンプル値に対するビット深度スケーリング処理は、入力:

に作用し、出力として、

を供給する。これらの出力アレイは、エンハンスメントレイヤ・ピクチャを符号化するために用いられる参照ピクチャに対応する。ピクチャ・サンプルのビット深度スケーリングの利点は、異なるビット深度のサンプルを有するピクチャ間で予測を適合させることである。
ステップ1380のピクチャ・サンプル値に対するビット深度処理は、次のように動作する。輝度サンプル・アレイrsPicSampleLにおける輝度サンプル位置(xP=0..ScaledW−1,yP=0..ScaledH−1)ごとに、対応する輝度サンプル値は、

として導出される。成分Cb rsPicSampleCbに関する色差サンプル・アレイにおける色差サンプル位置(xP=0..ScaledW/2−1,yP=0..ScaledH/2−1)ごとに、対応する色差サンプル値は、

として導出される。成分Cr rsPicSampleCrに関する色差サンプル・アレイにおける色差サンプル位置(xP=0..ScaledW/2−1,yP=0..ScaledH/2−1)ごとに、対応する色差サンプル値は、

として導出される。これらの数式は、ベースおよびエンハンスメントレイヤ間のサンプル・ビット深度差に対して参照ピクチャを補償する。
当然のことながら、上記のビット深度スケーリングは、様々な代わりの実施形態において実装されてもよい。例えば、ステップ1370および1380で用いられたビット深度変数は、色域スケーラブルな(CGS:color gamut scalable)エンハンスメントレイヤを生成するために用いることもできるであろう。一実装において、ビット深度スケーリングは、(例えば、リサンプリングおよびビット深度スケーリングされた)ベースレイヤ・ピクチャである予測器と同様に片予測を利用することによって、色域スケーラブルな(CGS)エンハンスメントレイヤ・ピクチャに対する動き補償が重み付き予測を用いて生じることを必要とするであろう。この実装の利点は、色空間予測を行うために、既存のHEVCベースの仕様において定められた重み付き予測処理を利用しうることである。
別の実施形態では、レイヤiがCGSエンハンスメントレイヤであるときはいつでも、direct_dependency_flag[i][i−1]は、1に等しくセットでき、direct_dependency_flag[i][j]は、j<i−1に対して0に等しくできるであろう。これは、インデックスi−1をもつレイヤのみがインデックスiをもつレイヤのための直接参照レイヤであってもよく、それによって、この色域スケーラブルな符号化を用いるときにレイヤ従属性シグナリングを制約するように動作することを意味する。レイヤ従属性シグナリングを制約する利点は、参照ピクチャリストが簡略化されることである。別の選択肢として、レイヤiがCGSエンハンスメントレイヤであるときはいつでも、

である。
結果として、インデックスiをもつレイヤは、他のレイヤから1つの直接参照レイヤのみを有する。レイヤ従属性シグナリングを制約する利点は、参照ピクチャリストが簡略化されることである。
別の実装では、CGSエンハンスメントレイヤ・ピクチャに対するスライスごとの復号処理は、変数NumRpsCurrTempList0に関して参照ピクチャリストRefPicList0を次のように導出することから始めることができ、この変数は、リストRefPicList0を作り出すために後で用いられる一時的な参照ピクチャリスト−RefPicListTemp0−におけるエントリの数を参照する、すなわち、

ここで、num_ref_idx_10_active_minus1+1およびNumPocTotalCurrは、それぞれ一時的変数であり、次に、リストRefPicList0を次のように構築する。

レイヤiがCGSエンハンスメントレイヤであるときには、num_ref_idx_IO_active_minus1が0に等しいとすることも必要条件となりうるであろう。
HEVCのようなビデオ圧縮システム、および先行ビデオ圧縮規格H.264/MPEG−4 AVCは、ビデオパラメータセット(VPS:video parameter set)構造を使用し、この構造中にビデオパラメータセットは、ビデオパラメータセットの拡張を含めて、符号化されたビデオのいくつかの領域を復号するために用いることができる情報を含む。例えば、現行のHEVCは、表3に提示されるように、vps_extension()下にビデオパラメータセットを拡張するためのシンタックスを含む。

表3
HEVCにおけるvps_extension()下の従来のビデオパラメータセットは、表3に提示されるように、符号化されたビデオ・フォーマットの色特性の限られたキャラクタリゼーションを提供するに過ぎない。対照的に、表4に提示される拡大されたvps_extension()は、符号化されたビデオ・フォーマットの色特性に関する特有の属性を含み、それによって、エンハンスメントレイヤに関する色域スケーラビリティおよびビット深度情報をvps拡張でシグナリングする。各レイヤの輝度および色差成分のビット深度についての情報ならびに各レイヤのソース原色の色度座標についての情報は、端末デバイスに復号すべきレイヤをそれらのビット深度および色サポート能力に基づいて選択させる際に、セッション・ネゴシエーションに役立つことができる。

表4
拡大されたvps_extension()セットは、属性:「bit_depth_layer_luma_minus8[id]+8」を含み、この属性は、

によって指定されるように、レイヤid idをもつレイヤに関する(時には「輝度(luma)」と呼ばれる)輝度(luminance)アレイのサンプルのビット深度を指定し、bit_depth_layer_luma_minus8は、ビデオの8から14までの範囲内の輝度成分のビット深度に従うか、またはそれを指示する、両端値を含めて0から6までの範囲内にある。「bit_depth_layer_chroma_minus8[id]+8」は、

によって指定されるように、レイヤid idをもつレイヤに関する(時には「色差(chroma)」と呼ばれる)色差(chrominance)アレイのサンプルのビット深度を指定し、bit_depth_layer_chroma_minus8は、ビデオの8から14までの範囲内の色差成分のビット深度に従うか、またはそれを指示する、両端値を含めて0から6までの範囲内にある。「layer_color_gamut[id]」は、レイヤidのためのソース原色の色度座標が勧告ITU−R BT.2020に従って定義されることを指定するために1に等しくセットされ、layer_color_gamut[id]は、レイヤidのためのソース原色の色度座標が勧告ITU−R BT.709に従って定義されることを指定するために0に等しくセットされる。
代わりの実施形態では、色差成分CbおよびCrに関して別々のビット深度がシグナリングされる。別の代わりの実施形態では、ベースレイヤに関してbitdepth_colorgamut_info()もシグナリングできるであろう。この場合、vps_extensionにおけるforループ・インデックスは、i=1の代わりにi=0から開始できる。さらに別の代わりの実施形態では、例えば、HEVC仕様草案のビデオ・ユーザビリティ情報(VUI:video usability information)でシグナリングされる原色シンタックス要素と同様のシンタックス要素によって、BT.709およびBT.2020以外の原色が指示され、その原色を指示するためにレイヤごとにシグナリングできるであろう。
上記のシステムおよび機器は、本明細書に記載されるオペレーションのいくつかまたはすべてを行うために、専用プロセッサシステム、マイクロコントローラ、プログラマブル論理デバイス、マイクロプロセッサ、またはそれらの任意の組み合わせを用いることができる。上記のオペレーションのいくつかがソフトウェアで実装されてもよく、他のオペレーションがハードウェアで実装されてもよい。本明細書に記載されるオペレーション、処理、および/または方法のいずれも、示された図面を参照して、本明細書に記載されるものと実質的に同様の機器、デバイスおよび/またはシステムにより行うことができる。
処理デバイスは、メモリに記憶された命令または「コード」を実行する。メモリは、データも同様に記憶する。処理デバイスは、以下には限定されないが、アナログプロセッサ、デジタルプロセッサ、マイクロプロセッサ、マルチコアプロセッサ、プロセッサアレイ、ネットワークプロセッサなどを含む。処理デバイスは、集積化制御システムまたはシステムマネージャの一部であってもよく、あるいはネットワーク化されたシステムと無線送信を通じて局所的あるいは遠隔的にインターフェース接続するように構成されたポータブル電子デバイスとして設けられてもよい。
プロセッサメモリは、処理デバイスと集積化されてもよく、例えば、RAMまたはFLASHメモリが集積回路マイクロプロセッサ内などに配置される。他の例では、メモリは、外付けディスクドライブ、記憶アレイ、ポータブルFLASHキーフォブなどのような独立したデバイスを備える。メモリおよび処理デバイスは、例えば、I/Oポート、ネットワーク接続などにより作動的に連結されるか、または互いに通信を行い、処理デバイスは、メモリ上に記憶されたファイルを読み取る。関連するメモリは、設計(ROM)によりアクセス許可の設定に基づいて「リードオンリ」であってもなくてもよい。メモリの他の例は、以下には限定されないが、固体半導体デバイスに実装されたWORM、EPROM、EEPROM、FLASHなどを含む。他のメモリは、既知の回転ディスクドライブのように可動部を備えてもよい。すべてのかかるメモリは、「機械読み取り可能」であり、処理デバイスによって読み取り可能である。
動作命令またはコマンドは、(「コンピュータプログラム」または「コード」としても知られる)記憶されたコンピュータソフトウェアの具体的な形態で実装または具現されうる。プログラム、またはコードは、ディジタルメモリに記憶され、処理デバイスによって読み取られる。「コンピュータ可読記憶媒体」(または代わりに、「機械可読記憶媒体」)は、メモリがコンピュータプログラムまたは他のデータの特質をもつデジタル情報を、少なくとも一時的に、記憶できる限り、かつ記憶された情報が適切な処理デバイスによって「読み取られる」限り、メモリの前述のタイプのすべてに加えて将来の新技術を含みうる。用語「コンピュータ可読」は、完全なメインフレーム、ミニコンピュータ、デスクトップまたはさらにラップトップコンピュータも示唆する「コンピュータ」の歴史的な用法に限定されない。むしろ、「コンピュータ可読」は、プロセッサ、処理デバイス、または任意の計算システムにより可読の記憶媒体を備える。かかる媒体は、コンピュータもしくはプロセッサにより局所的および/または遠隔的にアクセスされる任意の利用可能な媒体であってもよく、揮発性および不揮発性媒体、ならびにリムーバブルおよびノンリムーバブル媒体、あるいはそれらの任意の組み合わせを含みうる。
コンピュータ可読記憶媒体に記憶されたプログラムは、コンピュータプログラム製品を備えてもよい。例えば、記憶媒体は、コンピュータプログラムを記憶または輸送するための便利な手段として用いられる。便宜上、オペレーションは、相互接続または結合された様々な機能ブロックまたは図として記載される。しかしながら、これらの機能ブロックまたは図は、単一の論理デバイス、境界が不明確なプログラムまたはオペレーションに同等な状態で統合されてもよい場合がありうる。
本明細書に教示される概念が多くの他の方法で特定の用途に適合しうることを当業者は理解するであろう。特に、示された例が本開示を読んだときに明らかになるであろう多くの代わりの実装の1つに過ぎないことを当業者は理解するであろう。
本明細書は、数箇所で「an(1つの)」、「one(1つの)」、「another(別の)」または「some(いくつかの)」例(単数または複数)に言及するが、これはそれぞれのかかる言及が同じ例(単数または複数)を対象とすること、または特徴が単一の例にのみ当て嵌まることを必ずしも意味しない。

Claims (6)

  1. 複数の参照ピクチャと、異なるビット深度を有する少なくとも2つのデジタルビデオ・フォーマットのうちの1つに対応するピクチャとを含む、符号化されたビデオの復号を提供するビデオ復号方法において、改良は、
    1つのレイヤ間参照ピクチャセットを復号するステップと、
    1つのリサンプリングされたレイヤ間参照ピクチャを取得するステップと、
    現ピクチャの前記ビット深度および前記参照ピクチャの前記ビット深度をもつ前記リサンプリングされたレイヤ間参照ピクチャを用いて前記現ピクチャを導出するステップと
    を備える、ビデオ復号方法。
  2. 現ピクチャを前記導出するステップは、前記参照ピクチャのビット深度スケーリングを含む、請求項1に記載の方法。
  3. 前記ビット深度スケーリングは、前記現ピクチャおよび前記参照ピクチャの前記ビット深度間の差を用いる、請求項2に記載の方法。
  4. 複数の参照ピクチャと、異なる色特性を有する少なくとも2つのデジタルビデオ・フォーマットのうちの1つに対応する複数のピクチャ・サンプル値とを含む、符号化されたビデオの復号を提供するビデオ復号方法において、改良は、
    前記符号化されたビデオにおける複数の参照ピクチャのビット深度スケーリングと、前記符号化されたビデオにおける複数のピクチャ・サンプル値のビット深度スケーリングと
    を備える、ビデオ復号方法。
  5. 異なる色特性を有する前記少なくとも2つのデジタルビデオ・フォーマットは、異なる符号化されたビデオレイヤに対応し、前記複数の参照ピクチャは、レイヤ間参照ピクチャを含み、前記方法は、前記レイヤ間参照ピクチャをビット深度スケーリングすることを含む、請求項4に記載の方法。
  6. 複数の参照ピクチャと、異なる色特性を有する少なくとも2つのデジタルビデオ・フォーマットのうちの1つに対応する複数のピクチャ・サンプル値とを含む、符号化されたビデオの復号を提供するビデオデコーダにおいて、改良は、
    前記符号化されたビデオにおける複数の参照ピクチャのビット深度スケーリングと、前記符号化されたビデオにおける複数のピクチャ・サンプル値のビット深度スケーリングとを提供するビット深度スケーリング演算子
    を備える、ビデオデコーダ。
JP2015545574A 2013-04-05 2014-04-02 色ビット深度スケーリングを用いたビデオ圧縮 Pending JP2016519854A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361809024P 2013-04-05 2013-04-05
US61/809,024 2013-04-05
PCT/JP2014/001914 WO2014162736A1 (en) 2013-04-05 2014-04-02 Video compression with color bit depth scaling

Publications (2)

Publication Number Publication Date
JP2016519854A true JP2016519854A (ja) 2016-07-07
JP2016519854A5 JP2016519854A5 (ja) 2017-05-18

Family

ID=51654454

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015545574A Pending JP2016519854A (ja) 2013-04-05 2014-04-02 色ビット深度スケーリングを用いたビデオ圧縮

Country Status (6)

Country Link
US (2) US20140301478A1 (ja)
EP (1) EP2982118A4 (ja)
JP (1) JP2016519854A (ja)
CN (1) CN105122804A (ja)
HK (1) HK1217846A1 (ja)
WO (1) WO2014162736A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11438609B2 (en) * 2013-04-08 2022-09-06 Qualcomm Incorporated Inter-layer picture signaling and related processes
RU2653295C2 (ru) * 2014-03-04 2018-05-07 МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи Адаптивное переключение цветовых пространств, частот цветовой дискретизации и/или битовых глубин
EP3114835B1 (en) 2014-03-04 2020-04-22 Microsoft Technology Licensing, LLC Encoding strategies for adaptive switching of color spaces
EP3123716B1 (en) 2014-03-27 2020-10-28 Microsoft Technology Licensing, LLC Adjusting quantization/scaling and inverse quantization/scaling when switching color spaces
WO2016054765A1 (en) 2014-10-08 2016-04-14 Microsoft Technology Licensing, Llc Adjustments to encoding and decoding when switching color spaces
JP6065934B2 (ja) 2015-04-08 2017-01-25 ソニー株式会社 映像信号処理装置および撮像システム
EP3185556A1 (en) * 2015-12-21 2017-06-28 Thomson Licensing Method and apparatus for combined adaptive resolution and internal bit-depth increase coding
KR20220066045A (ko) 2019-09-19 2022-05-23 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩의 스케일링 윈도우
KR20220061108A (ko) 2019-09-19 2022-05-12 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩에서 레퍼런스 샘플 위치 유도
EP4026336A4 (en) 2019-10-05 2022-12-07 Beijing Bytedance Network Technology Co., Ltd. LEVEL-BASED SIGNALING OF VIDEO CODING TOOLS
WO2021068955A1 (en) 2019-10-12 2021-04-15 Beijing Bytedance Network Technology Co., Ltd. Use and signaling of refining video coding tools
CN117376557A (zh) 2019-10-13 2024-01-09 北京字节跳动网络技术有限公司 参考图片重采样与视频编解码工具之间的相互作用
WO2021129866A1 (en) 2019-12-27 2021-07-01 Beijing Bytedance Network Technology Co., Ltd. Signaling of slice types in video pictures headers
KR20220123094A (ko) * 2019-12-31 2022-09-05 후아웨이 테크놀러지 컴퍼니 리미티드 인코더, 디코더 그리고 대응하는 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010531585A (ja) * 2007-06-29 2010-09-24 フラウンホファー・ゲゼルシャフト・ツール・フォルデルング・デル・アンゲバンテン・フォルシュング・アインゲトラーゲネル・フェライン ビデオエンコーダ、ビデオデコーダ、エンコードするための方法、デコードするための方法、コンピュータプログラム、およびスケーラブルなビットストリーム
JP2011501568A (ja) * 2007-10-19 2011-01-06 トムソン ライセンシング 統合された空間・ビット深度スケーラビリティ

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5256025B2 (ja) * 2006-04-26 2013-08-07 パナソニック株式会社 映像処理装置、記録媒体、映像信号処理方法、映像信号処理用プログラムおよび集積回路
US8446961B2 (en) * 2008-07-10 2013-05-21 Intel Corporation Color gamut scalability techniques
US9521434B2 (en) * 2011-06-09 2016-12-13 Qualcomm Incorporated Internal bit depth increase in video coding
RU2559839C1 (ru) 2011-06-24 2015-08-10 Нтт Докомо, Инк. Способ и устройство для компенсации движения с предсказанием
JP5232319B2 (ja) * 2011-10-20 2013-07-10 株式会社東芝 通信装置及び通信方法
US9591302B2 (en) * 2012-07-02 2017-03-07 Microsoft Technology Licensing, Llc Use of chroma quantization parameter offsets in deblocking
US9124899B2 (en) * 2012-09-28 2015-09-01 Sharp Laboratories Of America, Inc. Motion derivation and coding for scaling video

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010531585A (ja) * 2007-06-29 2010-09-24 フラウンホファー・ゲゼルシャフト・ツール・フォルデルング・デル・アンゲバンテン・フォルシュング・アインゲトラーゲネル・フェライン ビデオエンコーダ、ビデオデコーダ、エンコードするための方法、デコードするための方法、コンピュータプログラム、およびスケーラブルなビットストリーム
JP2011501568A (ja) * 2007-10-19 2011-01-06 トムソン ライセンシング 統合された空間・ビット深度スケーラビリティ

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MARTIN WINKEN FRAUNHOFER HHI EINSTEINUFER 37 10587 BERLIN, GERMANY: "CE2: SVC bit-depth scalable coding[online]", JVT-X JVT-X057, JPN6018003122 *
MARTIN WINKEN FRAUNHOFER HHI EINSTEINUFER 37 10587 BERLIN, GERMANY: "SVC CE1: Results for bit-depth scalability[online]", JVT-Y JVT-Y039, JPN6018003123 *

Also Published As

Publication number Publication date
US20170041641A1 (en) 2017-02-09
EP2982118A4 (en) 2016-05-18
WO2014162736A1 (en) 2014-10-09
CN105122804A (zh) 2015-12-02
EP2982118A1 (en) 2016-02-10
HK1217846A1 (zh) 2017-01-20
US20140301478A1 (en) 2014-10-09

Similar Documents

Publication Publication Date Title
JP6472441B2 (ja) ビデオを復号するための方法
JP2016519854A (ja) 色ビット深度スケーリングを用いたビデオ圧縮
US20180352262A1 (en) Video parameter set signaling
EP2898694B1 (en) Video compression with color space scalability
JP6800896B2 (ja) ビデオコーディングのためにハイダイナミックレンジおよび広色域ビデオデータを処理すること
AU2017315417A1 (en) Color gamut adaptation with feedback channel
WO2016168652A1 (en) Dynamic range adjustment for high dynamic range and wide color gamut video coding
TW201729594A (zh) 用於高動態範圍及廣色域視訊寫碼之補充增強資訊(sei)訊息
JP2017513312A (ja) 色空間スケーラビリティを用いたビデオ圧縮
US20140086316A1 (en) Video compression with color space scalability
JP7323099B2 (ja) マルチレイヤビデオビットストリームのためのdpbパラメータのシグナリング
CN114424561B (zh) 不允许不必要的层包括在多层视频码流中
JP6982060B2 (ja) 表示適応のための色再マッピング情報seiメッセージシグナリング
WO2021212014A9 (en) Flexible chroma processing for dynamic range adjustment
JP2024001318A (ja) プロファイルおよびレベル依存コーディングオプションによる符号化器および復号器、符号化方法および復号方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170327

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170327

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180404

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20181002