JP2018534883A - 映像復号化器における高ダイナミックレンジ適応演算 - Google Patents

映像復号化器における高ダイナミックレンジ適応演算 Download PDF

Info

Publication number
JP2018534883A
JP2018534883A JP2018534520A JP2018534520A JP2018534883A JP 2018534883 A JP2018534883 A JP 2018534883A JP 2018534520 A JP2018534520 A JP 2018534520A JP 2018534520 A JP2018534520 A JP 2018534520A JP 2018534883 A JP2018534883 A JP 2018534883A
Authority
JP
Japan
Prior art keywords
color
color space
decoder
hdr
adaptive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018534520A
Other languages
English (en)
Other versions
JP6608067B2 (ja
Inventor
グ、ジョーイ
ミヌー、クーヒャー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Arris Enterprises LLC
Original Assignee
Arris Enterprises LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Arris Enterprises LLC filed Critical Arris Enterprises LLC
Publication of JP2018534883A publication Critical patent/JP2018534883A/ja
Application granted granted Critical
Publication of JP6608067B2 publication Critical patent/JP6608067B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/70Media network packetisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)

Abstract

ビットストリーム(108)を復号化する方法は、復号化器によって実行される適応後処理演算に関する情報を示すメタデータ項目および色値へビットストリームを復号化すること(302)と、メタデータ項目に基づいて色値に高ダイナミックレンジ(HDR)適応演算を行うこと(308)と、固定後処理演算を行って色値からHDR映像を再構成すること(312)とを含み、HDR適応演算は、固定後処理演算によって予想されるフォーマットへ色値を変換する。

Description

本開示は、映像符号化および復号化の分野に関し、特に、再構成高ダイナミックレンジ(HDR)映像を生成する後の演算によって予想されるフォーマットへ復号化値を変換する方法に関する。
高ダイナミックレンジ(HDR)映像の色値および/または広色域(WCG)を有する映像シーケンスは、標準ダイナミックレンジ(SDR)の色値および/またはより狭い色域を有する従来の映像よりも広範な輝度および色値を与える。たとえば、従来のSDR映像は、輝度および色の範囲が制限され得るため、画像の取り込み、符号化、および/または表示に際して、暗部またはハイライトの詳細が失われてしまう可能性がある。これに対して、HDR映像では、より広範な輝度および色情報を取り込めるため、映像がより自然かつ実際に近い形で人間の眼に映ることになる。
符号化器は、HEVC(高効率映像符号化)またはAVC(高度映像符号化)などの符号化フォーマットを使用してビットストリームへHDR映像を符号化することができる。符号化器は、ビットストリームを符号化する前にHDR映像のオリジナル色値を処理することができる。そのような前処理は、符号化効率を向上させることができ、および/または、特定の符号化フォーマットとの互換性をその値に持たせることができる。ビットストリームはそして、復号化器に送達されることができ、これにより、ビットストリームは復号化されてテレビまたは他のモニタ上にて視聴者に表示されることができる。前処理演算が符号化器によってHDR映像に行われた場合、復号化器は、復号化に続く後処理演算を使用して符号化器の前処理演算を逆転させ、復号化値からHDR映像を再構成することができる。
そのような後処理演算を特定し、後処理演算のために復号化値を準備するための改良された技術が望まれる。
符号化器およびディスプレイに結合された復号化器を備えた映像システムの例示的な実施形態を示す図。 1つ以上の前処理演算を使用してHDR映像を変換および符号化するために符号化器が使用できる例示的な処理を示す図。 ビットストリームを復号化して、1つ以上のHDR適応演算を使用してHDR映像を再構成するために復号化器が使用できる例示的な処理を示す図。 色空間適応演算を示す図。 伝達関数適応演算を示す図。 ビット深度適応演算を示す図。 1つ以上のHDR適応演算を使用する符号化処理の代替実施形態を示す図。
本開示は、ビットストリームを復号化する方法であって、復号化器が、ビットストリームを受信する工程と、復号化器によって実行されるべき適応後処理演算に関する情報を示すメタデータ項目および色値へ復号化器でビットストリームを復号化する工程と、復号化器が、メタデータ項目に基づいて色値に1つ以上の高ダイナミックレンジ(HDR)適応演算を行う工程と、復号化器が、1つ以上の固定後処理演算を行って色値からHDR映像を再構成する工程とを備え、1つ以上のHDR適応演算は、1つ以上の固定後処理演算によって予想されるフォーマットへ色値を変換する、方法を提供する。
本開示はまた、ビットストリームを受信するように構成されたデータ伝送インターフェース、および、プロセッサであって、プロセッサによって実行される適応後処理演算に関する情報を示すメタデータ項目および色値へビットストリームを復号化し、メタデータ項目に基づいて色値に1つ以上の高ダイナミックレンジ(HDR)適応演算を行い、1つ以上の固定後処理演算を行って色値からHDR映像を再構成するように構成されたプロセッサを備え、1つ以上のHDR適応演算は、1つ以上の固定後処理演算によって予想されるフォーマットへ色値を変換し、1つ以上のHDR適応演算は、色値の色空間を変換し色値のビット深度を変換すること、および、色値が調整される伝達関数を変更することの少なくとも一方を行う、映像復号化器を提供する。
本発明のさらなる詳細については、添付の図面を用いて説明する。
図1は、符号化器100とディスプレイ104に結合された復号化器102とを含む映像システムの実施形態を示す。符号化器100は、映像106を受信し、その画像エッセンスを含む映像106の要素からビットストリーム108およびメタデータ項目110を生成することができる。映像の画像エッセンスは、フレームまたはピクチャシーケンスなどの画像の順序付けられたシーケンスとすることができる。符号化器100によって生成されたビットストリーム108およびメタデータ項目110を、インターネットを介して、直交振幅変調(QAM)などのデジタルケーブルテレビ接続を介して、または、任意の他のデジタル伝送または配信メカニズムを介して、復号化器102に提供することができる。復号化器102は、ビットストリーム108およびメタデータ項目110を使用して復号を行い、ディスプレイ104での再生のために映像106の再構成バージョンを出力することができる。ディスプレイ104は、再構成映像206を提示するよう構成された、テレビ、モニタ、デバイススクリーンまたは任意の他の種類のディスプレイであり得る。
符号化器100は、その画像エッセンスなどの映像106の要素をビットストリーム108へと符号化、トランスコードおよび/または圧縮するよう構成された、プロセッサ、メモリ、回路および/または他のハードウェアおよびソフトウェア要素を含むことができる。符号化器100は、HEVC(高効率映像符号化)、H.264/MPEG−4 AVC(高度映像符号化)またはMPEG−2などの映像符号化フォーマットおよび/または圧縮方式に従ってビットストリーム108を生成するように構成することができる。非限定的な例として、符号化器100は、Main10 HEVC符号化器またはAVC High10プロファイル符号化器とすることができる。
同様に、復号化器102は、ビットストリーム108を再構成映像106へと復号化、トランスコードおよび/または解凍するよう構成された、プロセッサ、メモリ、回路および/または他のハードウェアおよびソフトウェア要素を含むことができる。復号化器102は、HEVC、H.264/MPEG−4 AVCまたはMPEG−2などの映像符号化フォーマットおよび/または圧縮方式に従ってビットストリーム108を復号化するように構成することができる。非限定的な例として、復号化器102は、Main10 HEVC復号化器またはAVC High10プロファイル復号化器とすることができる。
いくつかの実施形態では、符号化器100および/または復号化器102は、専用のハードウェアデバイスとすることができる。他の実施形態では、符号化器100および/または復号化器102は、サーバ、コンピュータまたは映像処理デバイスなどの他のハードウェア上で実行されるソフトウェアプログラムであり得、または、それらを使用することができる。非限定的な例として、符号化器100は、映像サービスプロバイダによって運用される映像符号化器とすることができ、一方、復号化器102は、テレビまたは他のディスプレイ104に接続された、ケーブルボックスなどのセットトップボックスの一部とすることができる。いくつかの実施形態では、復号化器102およびディスプレイ104は、単一のデバイスへと統合することができる。
いくつかの実施形態または状況では、符号化器100に提供される映像106は、高ダイナミックレンジ(HDR)映像106とすることができる。HDR映像106は、より小さい標準ダイナミックレンジ(SDR)および/または標準色域(SCG)の値を有する映像106に対して、高ダイナミックレンジ(HDR)の輝度値および/または広色域(WCG)の色度値を有することができる。非限定的な例として、HDR映像106は、SDR映像106に比べて最大可視輝度の最小可視輝度に対するより高い比を有することができる。このように、HDR映像106は、知覚可能な暗部および/またはハイライトの詳細のレベル増加など、SDR映像106より色および詳細のより大きな範囲を含むことができる。
符号化器100に提供される映像106がHDR映像106である場合、符号化効率を増大させるため、所望の符号化方式を用いて符号化することができる形式に値を変換するため、および/または、任意の他の理由のために、ビットストリーム108へとそれらを符号化する前に、符号化器100は、HDR映像106から色値を変換するための1つ以上の前処理演算を使用することができる。非限定的な例として、いくつかの実施形態では、HDR映像106についての色値は、赤チャネル、緑チャネルおよび青チャネルを含む各色チャネルについての16ビット浮動小数点値を用いて線形光RGB領域で表されるRGB色値を有するEXRファイルフォーマットなどの、高ビット深度フォーマットで提供することができる。このように、符号化器100は、10ビットHEVCプロファイルを使用して符号化することができる10ビット値へとHDR映像106の16ビット値を変換することができる。非限定的な例として、符号化器100はまた、RGB原色からの色値をYCbCr色空間へ変換することができ、これは、YCbCr値がしばしばRGB値よりもより少ないビットを用いて符号化され得るからである。
符号化器100がビットストリーム108へと色値を符号化する前に1つ以上の演算を用いてそれらを変換する場合、復号化器102はまず、ビットストリーム108を復号化し、そして、HDR映像106を再構成するために符号化器の演算を実質的に逆転させる1つ以上の対応する逆演算を行うことができる。ビットストリーム108を符号化する前に符号化器100によって行われた演算に関する情報は、メタデータ項目110内で復号化器102に提供することができ、これにより、復号化器102は、HDR映像106を再構成する際にメタデータ項目110から対応する逆演算を特定および実行することができる。復号化器102が固定逆演算で構成される場合、復号化器は、メタデータ項目110に基づいてHDR適応演算を使用して、固定逆演算の前に、予想されるフォーマットへと復号化値を変換することができる。
非限定的な例として、図2は、HDR映像106を変換して符号化するために符号化器100が使用できる例示的な処理を示す。
ステップ202において、符号化器100は、原色変換を実行することができる。原色変換演算は、異なる原色へと値を変換することができる。いくつかの実施形態では、原色変換は、本明細書に参照として援用される、勧告ITU−R BT.709および勧告ITU−R BT.2020で定義されたRGB原色などのRGB原色、LMS原色および/またはXYZ原色間で値を変換することができる。非限定的な例として、符号化器100は、1つの原色セットの原色値を有するRGB値を異なる原色セットの値へと変換するための原色変換を実行することができる。
ステップ204において、符号化器100は、色値のカラーアピアランス伝達関数を使用することができる。カラーアピアランス伝達関数は、非線形曲線で線形色値を再分配することができ、これにより、同系色間の知覚差を符号化中に保存することができる。非限定的な例として、線形領域における同様の値は同じ値へと符号化器により量子化され得るが、これらの同様の値が非線形に再分配される場合、それらは同じ値へと量子化されにくくなり得る。このように、カラーアピアランス伝達関数は、同系色間の遷移をより均一に見せることができる。カラーアピアランス伝達関数は、ガンマ関数、参照により本明細書に援用されるSMPTE ST.2084で定義される伝達関数の逆などのPQ(知覚量子化)伝達関数、または、他の非線形関数とすることができる。
ステップ206において、符号化器100は、色空間変形演算を実行することができる。色空間変形演算は、1つの色空間からIPTまたはYCbCrなどの別の色空間に原色成分を変換することができる。非限定的な例として、カラーアピアランス伝達関数に従うRGB値をYCbCr値に変換することができる。
ステップ208において、符号化器100は、クロマサブサンプリングを行って、クロマ成分にあてられるサンプル数を減少させることができる。非限定的な例として、YCbCr値は、Yルマ成分、Cbクロマ成分およびCrクロマ成分が同数のサンプルで記述される4:4:4解像度を有することができる。符号化器100は、クロマサブサンプリング演算を行って、4:4:4値をCbおよびCrクロマ成分にあてられるサンプル数を減少させる4:2:0値に変換することができ、これは、人間の目が一般的にYルマ成分に比べてこれらの成分に敏感ではないからである。
ステップ210において、符号化器100は、符号化伝達関数演算を行うことができる。符号化伝達関数演算は、ウェーバーの法則、スティーブンスのべき法則に基づく伝達関数、または他のパラメトリックもしくは適応伝達関数を用いてなど、異なるスケール上に値を非直線的に再分配することができる。非限定的な例として、符号化伝達関数は、映像106の内容、意図された最大および最小サンプル値、最大輝度または輝度コントラスト、および/または量子化ステップサイズに基づいて選択されたガンマ指数を用いて、スティーブンスのべき法則から導出することができる。
ステップ212において、符号化器100は、知覚正規化演算を行うことができる。知覚正規化演算は、すべての色チャネルにわたって知覚的に均一な出力信号を生成するために、人間視覚系(HVS)の心理マスキング効果に基づいて色値をスケーリングすることができる。いくつかの実施形態では、原色変換、カラーアピアランス伝達関数、色空間変形および符号化伝達関数などの演算を画素毎に演算させることができ、一方、知覚正規化演算実行は、周囲画素に対して画素を時間的および/または空間的に考慮して、知覚的に互いに対して値を調整することができる。このように、知覚正規化演算は、色値間の相対的な強度およびコントラストを調整することができ、これは、一緒に見た時と単独で見た時とで人間が色を異なって知覚する可能性があるからである。
ステップ214において、符号化器100は、所与のビット深度を有する固定小数点値へと色値を量子化することができる。非限定的な例として、HDR映像106の色値を16ビット値で表現するとすれば、符号化器100は、10ビット値などの低いビット深度へとそれらを量子化することができる。
ステップ216では、符号化器100は、ビットストリーム108へと色値を符号化することができる。上述したように、符号化器100は、HEVC、AVCまたはMPEG−2などの映像符号化フォーマットおよび/または圧縮方式に従ってビットストリーム108を生成するように構成することができる。
代替の実施形態では、ステップ216の前の図2に示した前処理演算のいずれかまたはすべては存在しなくてもよく、または異なる順序で実行することができる。非限定的な例として、いくつかの実施形態において、符号化器100は、ステップ208の間の処理で先にではなく、ステップ214での量子化に続いて、4:4:4フォーマットから4:2:0フォーマットへのクロマサブサンプリングを行うことができる。別の非限定的な例として、ステップ212の知覚正規化は、いくつかの実施形態では存在しなくてもよい。
符号化器100によって生成されたビットストリーム108を、1つ以上のメタデータ項目110とともに復号化器102に送達することができる。メタデータ項目110は、原色変換、カラーアピアランス伝達関数、色空間変換、符号化伝達関数、知覚正規化および/またはクロマサブサンプリング演算に関するパラメータまたは他の情報などの、符号化器100が図2に示された演算の一部または全部を行う方法に関する情報を示すことができる。後述するように、復号化器102は、HDR映像106の再構成を生成するために符号化器の演算を実質的に逆転させる逆演算を特定して実行するために、これらのメタデータ項目110を使用することができる。いくつかの実施形態では、メタデータ項目110を、ビットストリーム108へと符号化する、または、別様にビットストリーム108に含めることができ、一方、他の実施形態では、メタデータ項目110およびビットストリーム108を別個に復号化器102へ送達することができる。メタデータ項目110はまた、符号化または復号化の間に符号化参照ピクチャを再構成する際に、符号化器100および/または復号化器102により使用されることができる。
いくつかの実施形態では、符号化器100により行われる一部またはすべての演算は、異なるシーン、異なるフレームおよび/または同じフレームの異なる領域についての異なるパラメータで演算を行うなど、映像106の内容に基づいて調整することができる。このように、各シーン、フレームおよび/またはフレーム領域について行われる前処理演算に関する情報を示すメタデータ項目110を符号化することができる。
いくつかの実施形態において、図2に示した前処理演算は、オリジナルHDR値をSDR値へと変換することができ、これにより、符号化器100によって生成されたビットストリーム108は、符号化SDR値を含む。非限定的な例として、図2の前処理演算は、10ビット4:2:0SDR互換性色値へとHDR色値を変換することができる。これらの実施形態では、SDRディスプレイ用復号化器102は、ビットストリーム108からSDR値を復号化して逆の後処理演算を行うことなくSDRディスプレイ104にそれらを出力することができる一方、HDRディスプレイ用復号化器102は、ビットストリーム108を復号化し、メタデータ項目110から逆演算を特定し、逆の後処理演算を行ってHDR値へと復号化SDR値を変換することができる。
他の実施形態において、図2に示した演算の後に符号化器100によって生成されたビットストリーム108は、復号化に続く追加処理なしにSDRディスプレイ上に提示するには好適ではないかもしれない値を含む可能性がある。これらの実施形態のいくつかにおいて、符号化器100は、ステップ218で、HDR映像106からのオリジナル値および/またはSDRにマスターされた映像106の別個のインスタンスからのSDR値に対してステップ206以下の変換値をレビューして、復号化器102がSDRディスプレイ104での表示に適した値へとビットストリーム108からの復号化値を変換するために使用できる1つ以上のトーンマッピング演算を決定することができる。ルックアップテーブルまたは伝達関数などの、特定されたトーンマッピング演算に関する情報は、メタデータ項目110で復号化器102に提供することができる。
上述したように、復号化器102は、ビットストリーム108の復号化に続いてそれが使用できる後処理演算を特定するためにメタデータ項目110を使用して、符号化前に符号化器100によって行われた演算を実質的に逆転させることができる。しかし、いくつかの実施形態では、復号化器102における1つ以上の後処理演算は、特定のビット深度、特定の色空間の値、および/または、特定の伝達関数で調整されている値などの特定のフォーマットの値を処理するように構成することができる。このように、復号化器102は、1つ以上のHDR適応演算を実行して、後の後処理演算によって予想されるフォーマットへと値を変換することができる。
非限定的な例として、復号化器102は、ビットストリーム108から値を復号化し、より高いビット深度へとそれらを逆量子化し、そして、メタデータ項目110によって特定される逆知覚正規化演算を実行することができる。この例では、逆知覚正規化演算後の値を、PQ関数で調整されている10ビット4:2:0XYZ値とすることができる。しかし、復号化器102を、クロマアップサンプリング演算、逆色空間変換演算、逆カラーアピアランス伝達関数および逆原色変換演算などの追加の後処理演算でそれらの値をさらに処理するように構成することができる。後の後処理演算が、以前の演算によって生成されたのとは異なるフォーマットであると値を予想する場合、復号化器102は、1つ以上のHDR適応演算を行って、ガンマ関数で調整される16ビット4:2:0YCbCr値へとPQ関数で調整される10ビット4:2:0XYZ値を変換するなど、予想されるフォーマットへと値を変換することができる。予想されるフォーマットへとHDR適応演算で値を変換した後、復号化器102は、さらに後処理演算を続行してHDR映像を再構成することができる。
非限定的な例として、図3は、ビットストリーム108を復号化し、1つ以上のHDR適応演算を使用してHDR映像106を再構成するために復号化器102が使用できる例示的な処理を示す。
ステップ302において、復号化器102は、ビットストリーム108を復号化することができる。上述のように、復号化器102は、HEVC、AVCまたはMPEG−2などの映像符号化フォーマットおよび/または圧縮方式に従ってビットストリーム108を復号化するように構成することができる。
ステップ304において、復号化器102は、異なるビット深度へと色値を逆量子化することができる。非限定的な例として、ビットストリーム108から復号化された色値が10ビット値である場合、復号化器102は、16ビット値または浮動小数点値などの、より高いビット深度へとそれらを逆量子化することができる。
ステップ306において、復号化器102は、逆知覚正規化演算を行うことができる。逆知覚正規化演算は、ステップ212において符号化器100によって行われた知覚正規化演算を実質的に逆転させることができる。逆知覚正規化演算は、それぞれが3セットの値のうちの1つの要素を変換するために使用することができる3つの一次元ルックアップテーブルのセットなどの、メタデータ項目110によって特定することができる。
ステップ308において、復号化器102は、1つ以上のHDR適応演算を実行することができる。本明細書で説明するように、HDR適応演算は、ステップ310、312、314および316に示した本例の演算などの、後の後処理演算によって予想されるフォーマットへと、先の演算による出力値を変換することができる。
ステップ310において、復号化器102は、クロマ成分にあてられるサンプル数を増加させるためにクロマアップサンプリングを実行することができる。非限定的な例として、復号化器102は、4:2:0値を4:4:4値に変換するためにクロマアップサンプリング演算を行うことができる。
ステップ312において、復号化器102は、逆色空間変形演算を実行することができる。逆色空間変形演算は、IPTおよび/またはYCbCr色空間の間で値を変換するなど、異なる色空間へと値を変換することができる。いくつかの実施形態では、逆色空間変形演算は、メタデータ項目110によって特定することができ、これにより、復号化器102は、ステップ206において符号化器100によって行われた色空間変形演算を実質的に逆転させることができる。他の実施形態では、復号化器の逆色空間変形演算は、入力値が特定入力色空間であると予想して別の特定出力色空間へとそれらを変換する固定演算とすることができる。これらの実施形態では、ステップ308の間のHDR適応演算は、復号化器の固定逆色空間変形演算によって予想される入力色空間へと値を変換することができる。
ステップ314において、復号化器102は、色値に逆カラーアピアランス伝達関数を使用することができる。逆カラーアピアランス伝達関数は、逆ガンマ関数、逆PQ関数、または他の非線形関数とすることができる。非限定的な例として、逆ガンマ関数は、符号化器100で行われる順ガンマ関数を逆転させることができ、一方、逆PQ関数は、符号化器100で行われる逆転PQ関数を元に戻すSMPTE ST.2084で定義されたPQ関数などの順伝達関数とすることができる。いくつかの実施形態では、逆カラーアピアランス伝達関数をメタデータ項目110によって識別することができ、これにより、復号化器102は、ステップ204において符号化器100によって使用されるカラーアピアランス伝達関数を実質的に逆転させることができる。他の実施形態では、復号化器の逆カラーアピアランス伝達関数は、ガンマ関数またはPQ関数などの特定の伝達関数によって以前に調整された値に演算するように予想する固定関数とすることができる。これらの実施形態では、ステップ308の間のHDR適応演算は入力値を変換することができ、これにより、復号化器の固定逆カラーアピアランス伝達関数が予想されるように値に演算することができる。非限定的な例として、入力値がガンマ関数によって調整されているが、固定逆カラーアピアランス伝達関数がPQ関数を逆転させるように構成されている場合、HDR適応ブロックは、ガンマ調整された値をPQ調整された値へと変換することができ、これにより、固定逆カラーアピアランス伝達関数が適切にPQ調整された値に演算する。
ステップ316において、復号化器102は、逆原色変換演算を行うことができる。逆原色変換演算は、異なる原色へと値を変換することができる。いくつかの実施形態では、逆原色変換演算は、メタデータ項目110によって特定することができ、これにより、復号化器102は、ステップ202において符号化器100によって行われた原色変換演算を実質的に逆転させることができる。他の実施形態では、復号化器の逆原色変換演算は、入力値が特定の入力原色であることを予想してそれらを別の特定の出力原色に変換する固定演算とすることができる。これらの実施形態では、ステップ308の間のHDR適応演算は、復号化器の固定逆原色変換演算によって予想される入力原色へと値を変換することができる。
代替の実施形態では、ステップ302の後の図3に示した後処理演算のいずれかまたはすべては存在しなくてもよく、または異なる順序で実行することができる。非限定的な例として、いくつかの実施形態において、符号化器100は、後のステップ310中の処理ではなく逆量子化に先立つステップ304の前に、4:2:0フォーマットから4:4:4フォーマットへのクロマアップサンプリングを実行することができる。別の非限定的な例として、ステップ306の逆知覚正規化は、いくつかの実施形態では存在しなくてもよい。
図3に示す演算は、HDRディスプレイ104上に表示するためのHDR映像106を実質的に再構成することができる。
ビットストリーム108を符号化する前の符号化器の前処理演算がオリジナルHDR値をSDR値へと変換するいくつかの実施形態において、SDRディスプレイ104用の復号化器102は、ステップ304からステップ316に示されたもののような後の後処理演算を行うことなく、ステップ302で復号化演算を実行して、そしてSDRディスプレイ104上に表示するためのそれらの復号化SDR値を出力することができる。
ビットストリーム108から復号化された値がSDRディスプレイ104への表示に適していないが、符号化器100がステップ218でトーンマッピング演算を特定してトーンマッピング演算に関するメタデータ項目110を提供した他の実施形態では、ステップ318で復号化器102は、特定されたトーンマッピング演算を復号化および/または処理された値に行って、HDR値からSDRディスプレイ104によって提示することができるSDR値にそれらを変換することができる。非限定的な例として、ステップ318において行われるトーンマッピング演算は、ステップ308においてHDR適応演算によって生成される変換されたHDR値などの、ビットストリーム108から復号化されるHDR値に演算することができ、それらはSDR値に変換される。いくつかの実施形態では、ステップ318で行われるトーンマッピング演算はまた、ステップ316の後の再構成HDR映像106の値に部分的に基づいていてもよい。
上述のように、復号化器102におけるHDR適応演算は、復号化器102における後の後処理演算によって、および/またはディスプレイ104によって予想される特定のフォーマットへと復号化値を変換することができる。いくつかの実施形態では、復号化器102は、上述のようにメタデータ項目110に基づく逆色空間変換、逆カラーアピアランス伝達関数および/または逆原色変換を採用することができる一方、他の実施形態では、そのような後処理演算を固定とすることができ、特定のフォーマットの値を予想することができる。HDR適応演算は、そのような固定後処理演算によって予想されるフォーマットへと値を変換することができる。
第1の非限定的な例として、復号化器の逆知覚正規化演算は、メタデータ項目により特定される3つの一次元ルックアップテーブルに基づいて値を変換することができ、その逆色空間変形演算は、固定単位行列を使用することができ、その逆カラーアピアランス伝達関数は、固定逆PQ関数とすることができ、その逆原色変換演算は、固定XYZ−RGB原色変換行列を使用する。いくつかの実施形態では、逆知覚正規化演算によって生成される値はまた、固定演算の前にステップ310で4:2:0から4:4:0にクロマアップサンプリングすることができる。
したがって、この例ではHDR適応演算は、3つの一次元ルックアップテーブルから求めた値をPQ関数によって調整される10ビット4:2:0XYZ値へと変換することができる。このように、HDR適応演算によって出力される値をその後、4:4:4値にクロマアップサンプリングして、固定逆PQ関数によって処理し、そして、固定原色変換演算を使用してXYZ値からRGB値に変換することができる。
同様の非限定的な例として、復号化器の逆色空間変換演算が固定単位行列を使用する場合、その逆カラーアピアランス伝達関数は、固定逆PQ関数であり、その逆原色変換演算は、固定変換行列を使用して、PQ関数によって変換されたR’G’B’成分へYCbCr値を変換し、復号化器のHDR適応演算は、逆知覚正規化演算によって求められた値をPQ関数によって調整された10ビット4:2:0YCbCr値へと変換することができる。
一般に、HDR適応演算の前後の色値のフォーマットは、ABCTF_Nのように表すことができ、「ABC」は、色値の色空間を示し、「TF」は、復号化器102が逆カラーアピアランス伝達関数で逆転させると予想する伝達関数を示し、「N」は、色値のビット深度を示す。「ABC」で示される色空間を、YUV、YCbCr、XYZ、YDxDz、IPT、RGB、YFbFr、YCbCr一定輝度、Y”u”v”または任意の他の色空間とすることができる。「TF」で示される伝達関数は、ガンマ関数、PQ関数、または任意の他の伝達関数とすることができる。ビット深度は8ビット、10ビット、12ビット、14ビット、16ビット、24ビット、32ビット、または任意の他の数のビットであってもよい。
このように、HDR適応演算は、以下を含むフォーマット間の変換などの、入力ABCTF_Nフォーマットと所望の出力ABCTF_Nフォーマットとの間で色値を変換することができる:XYZPQ_12,XYZPQ_14,XYZPQ_16,YDxDzPQ_10,YDxDzPQ_12,YDxDzPQ_14,YDxDzPQ_16,IPTPQ_10,IPTPQ_12,IPTPQ_14,IPTPQ_16,XYZGamma_10,XYZGamma_12,XYZGamma_14,XYZGamma_16,YCbCrPQ_10,YCbCrPQ_12,YCbCrPQ_14,YCbCrPQ_16,RGBPQ_10,RGBPQ_12,RGBPQ_14,RGBPQ_16,YCbCrGamma_10,YCbCrGamma_12,YCbCrGamma_14,YCbCrGamma_16,RGBGamma_10,RGBGamma_12,RGBGamma_14,RGBGamma_16および/または任意の他のフォーマット。HDR適応演算は、したがって後述するように、色空間適応演算400、伝達関数適応演算500および/またはビット深度適応演算600を含むことができる。
図4は、色空間適応演算400を示す。色空間適応演算400は、入力色空間から出力色空間へ値を変換するHDR適応演算とすることができる。いくつかの実施形態では、入力および/または出力色空間は、一定輝度(CL)または非一定輝度(NCL)のいずれかとすることができる。
いくつかの実施形態では、色空間適応演算400はまず、RGB BT.2020または線形XYZ原色などの原色の線形セットへと、入力色空間からの値を変換することができる。色空間適応演算400はそして、所望の出力色空間に中間線形領域色空間値を変換することができる。
非限定的な例として、入力色空間がYCbCr NCL輝度色空間であって、所望の出力色空間がPQ関数によって値が調整されているYPQCbPQCrPQNCL色空間である場合、色空間適応演算400は、伝達関数TFでPQ Yルマ成分へと入力Yルマ成分を変換することができ、これにより、YPQ=TF(Y)となる。
色空間適応演算400はまた、式B=a1*Y+a2*Cb+a3*Crを用いて青(B)値へと3つの入力YCbCr成分を変換することができ、続いて、マッピング関数TFを用いてPQ B値へとB値を変換し、これにより、BPQ=TF(B)となる。
同様に、色空間適応演算400はまた、式R=a4*Y+a5*Cb+a6*Crを用いて赤(R)値へと3つの入力YCbCr成分を変換することができ、続いて、マッピング関数TFを用いてPQ R値へとR値を変換し、これにより、RPQ=TF(R)となる。
色空間適応演算400はそして、伝達関数TFCbおよびTFCrをそれぞれ用いてPQ CbおよびPQ Cr値を求めるためにPQ Y、PQ BおよびPQ R値を使用することができ、これにより、CbPQ=TFCb(YPQ、BPQ、RPQ)およびCrPQ=TFCr(YPQ、BPQ、RPQ)となる。TFCbおよびTFCrは、以下のように定義することができる。
CbPQ=TFcb(YPQ,BPQ,RPQ)=a1PQ*YPQ+a2PQ*BPQ+a3PQ*PQ
CrPQ=TFCr(YPQ,BPQ,RPQ)=a4PQ*YPQ+a5PQ*BPQ+a6PQ*PQ
いくつかの実施形態において、TF、TF、TF、TFCbおよびTFCrなどの関数は、固定マッピング関数、または、メタデータ項目110を介して通信されるパラメータに応じて変更することができるかもしくは別様に復号化器102に知られている適応マッピング関数とすることができる。非限定的な例として、いくつかの実施形態において、a1、a2、a3、a4、a5および/またはa6は、勧告ITU−R BT.2020またはSMPTE ST.2084などの規格に基づいて符号化器100および復号化器102に知られているデフォルト値を有することができるが、符号化器100が符号化の間にそれらの値を修正する場合、符号化器100は、メタデータ項目110を使用して復号化器102に変更値を通信することができる。他の実施形態では、復号化器102は、TF、TF、TF、TFCbおよびTFCrについての固定または適応ルックアップテーブルを使用して値を変換することができる。
代替の実施形態では、色空間適応演算400は、値を中間線形領域色空間に変換することなく、入力色空間から出力色空間へそれらを直接、変換することができる。
これらの直接変換実施形態のいくつかでは、3つの成分を有するトリプレット信号で表される入力値が、以下の3つの関数を用いて出力トリプレット信号の3つの成分へと変換することができ、Input_Comp_1、Input_Comp_2およびInput_Comp_3は、入力色空間の色値の成分を表し、Output_Comp_1、Output__Comp_2およびOutput_Comp_3は、入力色空間の色値の成分を表す。
Output_Comp_1=TFOutput_Comp_1(Input_Comp_1,Input_Comp_2,Input_Comp_3)
Output_Comp_2=TFOutput_Comp_2(Input_Comp_1,Input_Comp_2,Input_Comp_3)
Output_Comp_3=TFOutput_Comp_3(Input_Comp_1,Input_Comp_2,Input_Comp_3)
非限定的な例として、TFOutput_Comp_1、TFOutput_Comp_2およびTFOutput_Comp_3関数は、入力BT.2020 YCbCr値の3つの成分に演算して、出力PQ Y成分、出力PQ Cb成分および出力PQ Cr成分をそれぞれ生成することができる。
いくつかの実施形態では、TFOutput_Comp_1、TFOutput_Comp_2およびTFOutput_Comp_3は、固定マッピング関数、または、メタデータ項目110を介して通信されるパラメータに応じて変更することができるかもしくは別様に復号化器102に知られている適応マッピング関数とすることができる。他の実施形態では、復号化器102は、固定または適応ルックアップテーブルを使用して、入力色空間および出力色空間の値の間で直接、変換することができる。
図5は、伝達関数適応演算500を示す。上述のように、逆カラーアピアランス伝達関数などの演算は、色値への特定の伝達関数の効果を逆転するように構成することができる。このように、伝達関数適応演算500は、入力伝達関数に基づく調整から出力伝達関数に基づく調整に値を変換するHDR適応演算とすることができる。入力および/または出力伝達関数は、ガンマ関数、PQ関数または任意の他の関数などの、線形または非線形伝達関数とすることができる。出力伝達関数は、逆カラーアピアランス伝達関数などの復号化器102における後の逆伝達関数によって逆転されると予想される伝達関数とすることができる。
いくつかの実施形態では、伝達関数適応演算500は、固定マッピング関数、または、メタデータ項目110を介して通信されるパラメータに応じて変更することができるかもしくは別様に復号化器102に知られている適応マッピング関数とすることができる。他の実施形態では、復号化器102は、固定または適応ルックアップテーブルを使用して、入力伝達関数による調整値および出力伝達関数による調整値の間で直接、変換することができる。
非限定的な例として、符号化器100によって生成されたメタデータ項目110が、適応逆カラーアピアランス伝達関数についてシーン毎、フレーム毎、またはフレーム領域毎の適応カラーアピアランス伝達関数についてのパラメータを示すが、復号化器102が、固定逆カラーアピアランス伝達関数を使用する場合、復号化器102は、伝達関数適応演算500でそれらのメタデータ項目110を使用して、そのシーン、フレームまたはフレーム領域についてのパラメータに基づいて値を変換することができ、これにより、伝達関数調整を固定逆カラーアピアランス伝達関数によって適切に逆転させることができる。
いくつかの実施形態において、復号化器102が、それが使用できる固定数の潜在逆カラーアピアランス伝達関数を有する場合、復号化器102は、潜在逆伝達関数のそれぞれについて1つずつ、対応する数の固定ルックアップテーブルを有することができる。このように、復号化器102においてX個の潜在入力値とM個の潜在逆カラーアピアランス伝達関数とがある場合、入力値をx(0≦x≦X)とし、特定の逆カラーアピアランス伝達関数のインデックスをm(0≦m≦M)とすれば、復号化器102は、ルックアップテーブルLUTを使用して、LUT[x][m]における出力値Yを求めることができる。いくつかの実施形態において、同様の固定ルックアップテーブルを、CbおよびCr成分などの他の成分についても提供することができる。これらの実施形態のいくつかにおいて、xの値は、1つ以上のY、CbおよびCr成分の組み合わせに基づくことができる。
他の実施形態では、ルックアップテーブルを、メタデータ項目110で受信した情報から適応的に生成することができる。非限定的な例として、メタデータ項目110は、二次または任意の他の次数の複数の区分的多項式曲線などの複数の区分的セグメント曲線を定義することができる。この例では、復号化器102は、その曲線から伝達関数を決定し、各曲線セグメントのパラメータに基づいて伝達関数適応演算500で使用するために対応ルックアップテーブルを生成することができる。
図6は、ビット深度適応演算600を示す。いくつかの実施形態では、復号化値は、後の演算で予想されるのとは異なるビット深度で表すことができる。非限定的な例として、逆知覚正規演算などの復号化器での演算は、任意の計算精度で値を生成するかまたは任意のビット深度で表現される、1つ以上の伝達関数、三次元ルックアップテーブル、または、3つの一次元ルックアップテーブルのセットを使用することができる。非限定的な例として、逆知覚正規化演算は、10ビット、16ビット、24ビット、32ビットまたは任意の他の数のビットで表される浮動小数点値を生成することができる。しかし、後の演算は、8ビットまたは10ビットなどの特定のビット深度で値を予想することができる。このように、ビット深度適応演算600は、入力ビット深度から出力ビット深度へ値を変換することができる。
HDR適応演算は、後の後処理演算によって予想されるフォーマットへと値を変換するように復号化器102によって実行されるものとして上記で説明されている一方、同様のHDR適応演算を、後の前処理演算の前のステップにおいて、符号化器100によって実行して、これらの後の演算で予想されるフォーマットへと値を変換することができる。非限定的な例として、符号化器の原色変換、カラーアピアランス伝達関数、色空間変換および/またはクロマサブサンプリング演算が後の前処理演算により予想されるのとは異なるフォーマットで値を生成する場合、符号化器100は、1つ以上のHDR適応演算を実行して、それらの色空間、伝達関数調整、ビット深度、または任意の他の属性を変換することができる。
非限定的な例として、図7は、図2に示した符号化ステップの代替実施形態を示し、ステップ209は、ステップ208でのクロマサブサンプリングとステップ210での符号化伝達関数との間で起こる。ステップ209において、符号化器100は、図4〜図6に関して記載されたものなどの1つ以上のHDR適応演算を実行することができる。この例示的な実施形態においてステップ209の間に実行されるHDR適応演算は、ステップ210、212、214および/または216などの後のステップによって予想されるフォーマットへとステップ202〜208を介して生成されたフォーマットから値を変換することができる。代替的な実施形態では、HDR適応演算は、任意の他のステップにおいて、符号化器100によって行うことができる。
以上、本発明を詳細に説明したが、これは、本発明の構成および使用方法を当業者に教示しようとしたものに過ぎない。別の多くの改良についても、以下の特許請求の範囲に定義される本発明の範囲に含まれることになる。

Claims (20)

  1. ビットストリームを復号化する方法であって、
    復号化器が、ビットストリームを受信する工程と、
    前記復号化器が、前記復号化器によって実行されるべき適応後処理演算に関する情報を示すメタデータ項目および色値へ前記ビットストリームを復号化する工程と、
    前記復号化器が、前記メタデータ項目に基づいて前記色値に1つ以上の高ダイナミックレンジ(HDR)適応演算を行う工程と、
    前記復号化器が、1つ以上の固定後処理演算を行って前記色値からHDR映像を再構成する工程と、を備え、
    前記1つ以上のHDR適応演算は、前記1つ以上の固定後処理演算によって予想されるフォーマットへと前記色値を変換する、方法。
  2. 前記固定後処理演算のうちの1つが、逆色空間変形演算であり、前記HDR適応演算のうちの1つが、入力色空間から前記逆色空間変形演算によって予想される出力色空間へ前記色値を変換する色空間適応演算である、請求項1に記載の方法。
  3. 前記色空間適応演算は、前記色値を固定ルックアップテーブルまたは固定マッピング関数に基づいて変換する、請求項2に記載の方法。
  4. 前記色空間適応演算は、前記メタデータ項目でのパラメータから決定された適応ルックアップテーブルまたは適応マッピング関数に基づいて前記色値を変換する、請求項2に記載の方法。
  5. 前記色空間適応演算は、前記色値の少なくともいくつかの成分を、まず前記入力色空間から中間線形色空間へと、次いで、前記中間線形色空間から前記出力色空間へと変換する、請求項2に記載の方法。
  6. 前記入力色空間はYCbCr色空間であり、前記出力色空間は、知覚量子化(PQ)YCbCr色空間であり、前記復号化器は、
    ルマ変換演算を用いて、Yルマ成分を前記YCbCr色空間から前記PQ YCbCr色空間についてのPQ Yルマ成分に変換し、
    青変換演算を用いて、前記Yルマ成分、Cbクロマ成分およびCrクロマ成分を前記YCbCr色空間から中間PQ青成分に変換し、
    赤変換演算を用いて、前記Yルマ成分、前記Cbクロマ成分および前記Crクロマ成分を前記YCbCr色空間から中間PQ赤成分に変換し、
    Cb変換演算を用いて、前記PQ Yルマ成分、前記中間PQ青成分および前記中間PQ赤成分をPQ Cbクロマ成分へと変換し、
    Cr変換演算を用いて、前記PQ Yルマ成分、前記中間PQ青成分および前記中間PQ赤成分をPQ Crクロマ成分へと変換し、
    前記ルマ変換演算、前記青変換演算、前記赤変換演算、前記Cb変換演算および前記Cr変換演算は、マッピング関数またはルックアップテーブルで定義される、請求項5に記載の方法。
  7. 前記入力色空間および前記出力色空間の一方は、非一定輝度色空間であり、前記入力色空間および前記出力色空間の他方は、一定輝度色空間である、請求項6に記載の方法。
  8. 前記固定後処理演算の1つは、逆カラーアピアランス伝達関数であり、前記HDR適応演算の1つは、入力伝達関数による調整から逆カラーアピアランス伝達関数によって予想される出力伝達関数による調整に前記色値を変換する伝達関数適応演算である、請求項1に記載の方法。
  9. 前記入力伝達関数および前記出力伝達関数の一方はガンマ関数であり、前記入力伝達関数および前記出力伝達関数の他方は知覚量子化器(PQ)関数である、請求項8に記載の方法。
  10. 前記伝達関数適応演算は、固定ルックアップテーブルまたは固定マッピング関数に基づいて前記色値を変換する、請求項8に記載の方法。
  11. 前記復号化器は、前記復号化器によって使用され得る各潜在逆カラーアピアランス伝達関数についての固定ルックアップテーブルを有し、前記復号化器は、前記メタデータ項目を使用して特定された前記固定ルックアップテーブルのうちの1つで出力色値を求めることにより色値を変換する、請求項10に記載の方法。
  12. 前記伝達関数適応演算は、前記メタデータ項目内のパラメータから決定される適応ルックアップテーブルまたは適応マッピング関数に基づいて前記色値を変換する、請求項8に記載の方法。
  13. 前記メタデータ項目は、複数の区分的セグメント曲線を定義し、前記復号化器は、前記複数の区分的セグメント曲線の各セグメントを定義するパラメータを用いて前記適応ルックアップテーブルを生成する、請求項12に記載の方法。
  14. 前記複数の区分的セグメント曲線は、複数の二次の区分的多項式曲線である、請求項13に記載の方法。
  15. 前記HDR適応演算の1つは、前記固定後処理演算が出力ビット深度で前記色値を予想する場合、入力ビット深度から前記出力ビット深度へ前記色値を変換するビット深度適応演算である、請求項1に記載の方法。
  16. 前記メタデータ項目は、シーン毎、フレーム毎またはフレーム領域毎の符号化器の前処理演算に関する情報を示し、これにより、前記復号化器は、異なるシーン、フレームまたはフレーム領域についての前記メタデータ項目に基づいて前記1つ以上のHDR適応演算を変更する、請求項1に記載の方法。
  17. ビットストリームを受信するように構成されたデータ伝送インターフェースと、
    プロセッサと、を備える映像復号化器であって、前記プロセッサは、
    前記プロセッサによって実行される適応後処理演算に関する情報を示すメタデータ項目および色値へ前記ビットストリームを復号化し、
    前記メタデータ項目に基づいて前記色値に1つ以上の高ダイナミックレンジ(HDR)適応演算を行い、
    1つ以上の固定後処理演算を行って前記色値からHDR映像を再構成する
    ように構成され、
    前記1つ以上のHDR適応演算は、前記1つ以上の固定後処理演算によって予想されるフォーマットへ前記色値を変換し、
    前記1つ以上のHDR適応演算は、前記色値の色空間を変換し前記色値のビット深度を変換すること、および、前記色値が調整される伝達関数を変更することの少なくとも一方を行う、映像復号化器。
  18. 前記1つ以上のHDR適応演算は、固定ルックアップテーブルまたは固定マッピング関数に基づいて前記色値を変換する、請求項17に記載の映像復号化器。
  19. 前記1つ以上のHDR適応演算は、前記メタデータ項目内のパラメータから決定された適応ルックアップテーブルまたは適応マッピング関数に基づいて前記色値を変換する、請求項17に記載の映像復号化器。
  20. 前記メタデータ項目は、シーン毎、フレーム毎またはフレーム領域毎の符号化器の前処理演算に関する情報を示し、これにより、前記復号化器は、異なるシーン、フレームまたはフレーム領域についての前記メタデータ項目に基づいて前記1つ以上のHDR適応演算を変更する、請求項17に記載の映像復号化器。
JP2018534520A 2015-09-23 2016-09-23 映像復号化器における高ダイナミックレンジ適応演算 Active JP6608067B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562222715P 2015-09-23 2015-09-23
US62/222,715 2015-09-23
US15/274,653 2016-09-23
US15/274,653 US9819956B2 (en) 2015-09-23 2016-09-23 High dynamic range adaptation operations at a video decoder
PCT/US2016/053531 WO2017053860A1 (en) 2015-09-23 2016-09-23 High dynamic range adaptation operations at a video decoder

Publications (2)

Publication Number Publication Date
JP2018534883A true JP2018534883A (ja) 2018-11-22
JP6608067B2 JP6608067B2 (ja) 2019-11-20

Family

ID=58283636

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018534520A Active JP6608067B2 (ja) 2015-09-23 2016-09-23 映像復号化器における高ダイナミックレンジ適応演算

Country Status (5)

Country Link
US (4) US9819956B2 (ja)
EP (1) EP3338243B1 (ja)
JP (1) JP6608067B2 (ja)
KR (1) KR102243844B1 (ja)
WO (1) WO2017053860A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10244245B2 (en) * 2015-06-08 2019-03-26 Qualcomm Incorporated Content-adaptive application of fixed transfer function to high dynamic range (HDR) and/or wide color gamut (WCG) video data
WO2017015564A1 (en) * 2015-07-22 2017-01-26 Arris Enterprises Llc System for coding high dynamic range and wide color gamut sequences
JP6320440B2 (ja) * 2015-08-04 2018-05-09 ドルビー ラボラトリーズ ライセンシング コーポレイション ハイダイナミックレンジ信号のための信号再構成
US10679582B2 (en) * 2015-09-21 2020-06-09 Dolby Laboratories Licensing Corporation Techniques for operating a display in the perceptual code space
JP6608067B2 (ja) * 2015-09-23 2019-11-20 アリス エンタープライジズ エルエルシー 映像復号化器における高ダイナミックレンジ適応演算
US10332481B2 (en) * 2015-11-02 2019-06-25 Dolby Laboratories Licensing Corporation Adaptive display management using 3D look-up table interpolation
CN107027027B (zh) * 2016-01-31 2021-02-12 西安电子科技大学 图像的编码、解码方法及装置、以及图像的编解码系统
US10771795B2 (en) * 2016-06-13 2020-09-08 Intel Corporation Switchable chroma sampling for wireless display
CN109417616B (zh) * 2016-08-22 2020-05-08 华为技术有限公司 用于图像处理的方法和装置
WO2018070822A1 (ko) * 2016-10-14 2018-04-19 엘지전자 주식회사 적응적 영상 재생을 위한 데이터 처리 방법 및 장치
US10218952B2 (en) 2016-11-28 2019-02-26 Microsoft Technology Licensing, Llc Architecture for rendering high dynamic range video on enhanced dynamic range display devices
US20180152686A1 (en) * 2016-11-28 2018-05-31 Microsoft Technology Licensing, Llc Tone mapping functions for rendering high dynamic range video on enhanced dynamic range display devices
US10176561B2 (en) 2017-01-27 2019-01-08 Microsoft Technology Licensing, Llc Content-adaptive adjustments to tone mapping operations for high dynamic range content
CN109194962B (zh) * 2017-04-08 2022-07-22 腾讯科技(深圳)有限公司 一种图片文件处理方法及系统
EP3725078A1 (en) * 2017-12-12 2020-10-21 InterDigital VC Holdings, Inc. Processing an image
GB2575009B (en) * 2018-05-14 2022-12-14 Advanced Risc Mach Ltd Media processing systems
US11151748B2 (en) * 2018-07-13 2021-10-19 Electronics And Telecommunications Research Institute 3D point cloud data encoding/decoding method and apparatus
US11523118B2 (en) * 2018-10-09 2022-12-06 V-Nova International Limited Dynamic range support within a multi-layer hierarchical coding scheme
US10957024B2 (en) 2018-10-30 2021-03-23 Microsoft Technology Licensing, Llc Real time tone mapping of high dynamic range image data at time of playback on a lower dynamic range display
US11503310B2 (en) * 2018-10-31 2022-11-15 Ati Technologies Ulc Method and apparatus for an HDR hardware processor inline to hardware encoder and decoder

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014130343A2 (en) * 2013-02-21 2014-08-28 Dolby Laboratories Licensing Corporation Display management for high dynamic range video
US20150248747A1 (en) * 2012-09-12 2015-09-03 Dolby Laboratories Licensing Corporation Display management for images with enhanced dynamic range
JP2017500814A (ja) * 2013-12-19 2017-01-05 トムソン ライセンシングThomson Licensing 高ダイナミックレンジ画像を符号化するための方法およびデバイス
JP2018524870A (ja) * 2015-06-08 2018-08-30 クアルコム,インコーポレイテッド 高ダイナミックレンジ(hdr)および/または広色域(wcg)ビデオデータへの固定伝達関数のコンテンツ適応型適用
JP2018530189A (ja) * 2015-08-04 2018-10-11 ドルビー ラボラトリーズ ライセンシング コーポレイション 高ダイナミックレンジ信号のための信号整形

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112015026979B1 (pt) * 2013-04-30 2023-04-11 Sony Corporation Dispositivos e métodos de transmissão e recepção
MX2016012130A (es) 2014-03-19 2017-04-27 Arris Entpr Inc Codificacion escalable de secuencias de video utilizando mapeo de tonos y diferentes gamas de colores.
WO2016055875A1 (en) * 2014-10-07 2016-04-14 Agostinelli Massimiliano Improved video and image encoding process
CN107409213B (zh) 2015-03-02 2020-10-30 杜比实验室特许公司 用于高动态范围图像的内容自适应感知量化器
WO2016172395A1 (en) 2015-04-21 2016-10-27 Arris Enterprises Llc Scalable video coding system with parameter signaling
US10735755B2 (en) 2015-04-21 2020-08-04 Arris Enterprises Llc Adaptive perceptual mapping and signaling for video coding
WO2017015564A1 (en) 2015-07-22 2017-01-26 Arris Enterprises Llc System for coding high dynamic range and wide color gamut sequences
US10536695B2 (en) * 2015-09-09 2020-01-14 Qualcomm Incorporated Colour remapping information supplemental enhancement information message processing
JP6608067B2 (ja) * 2015-09-23 2019-11-20 アリス エンタープライジズ エルエルシー 映像復号化器における高ダイナミックレンジ適応演算

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150248747A1 (en) * 2012-09-12 2015-09-03 Dolby Laboratories Licensing Corporation Display management for images with enhanced dynamic range
WO2014130343A2 (en) * 2013-02-21 2014-08-28 Dolby Laboratories Licensing Corporation Display management for high dynamic range video
JP2017500814A (ja) * 2013-12-19 2017-01-05 トムソン ライセンシングThomson Licensing 高ダイナミックレンジ画像を符号化するための方法およびデバイス
JP2018524870A (ja) * 2015-06-08 2018-08-30 クアルコム,インコーポレイテッド 高ダイナミックレンジ(hdr)および/または広色域(wcg)ビデオデータへの固定伝達関数のコンテンツ適応型適用
JP2018530189A (ja) * 2015-08-04 2018-10-11 ドルビー ラボラトリーズ ライセンシング コーポレイション 高ダイナミックレンジ信号のための信号整形

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FRANCOIS, E., ET AL.: ""High Dynamic Range and Wide Color Gamut Video Coding in HEVC: Status and Potential Future Enhanceme", IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, vol. 26, no. 1, JPN6019036022, 31 July 2015 (2015-07-31), pages 63 - 75, XP011592169, ISSN: 0004117622, DOI: 10.1109/TCSVT.2015.2461911 *

Also Published As

Publication number Publication date
US20190028727A1 (en) 2019-01-24
JP6608067B2 (ja) 2019-11-20
US10432955B2 (en) 2019-10-01
US20170085895A1 (en) 2017-03-23
WO2017053860A1 (en) 2017-03-30
EP3338243A1 (en) 2018-06-27
KR102243844B1 (ko) 2021-04-22
US20190379896A1 (en) 2019-12-12
US20180054627A1 (en) 2018-02-22
US9819956B2 (en) 2017-11-14
US11153589B2 (en) 2021-10-19
US20220021893A1 (en) 2022-01-20
US10116954B2 (en) 2018-10-30
KR20180043807A (ko) 2018-04-30
EP3338243B1 (en) 2022-04-20

Similar Documents

Publication Publication Date Title
JP6608067B2 (ja) 映像復号化器における高ダイナミックレンジ適応演算
JP7114653B2 (ja) 高ダイナミックレンジおよび広色域シーケンスを符号化するシステム
US20230171429A1 (en) Color volume transforms in coding of high dynamic range and wide color gamut sequences
US10506232B2 (en) System for reshaping and coding high dynamic range and wide color gamut sequences
EP3308541B1 (en) System for coding high dynamic range and wide color gamut sequences
US12028542B2 (en) High dynamic range adaptation operations at a video decoder

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180328

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190417

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190924

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191021

R150 Certificate of patent or registration of utility model

Ref document number: 6608067

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350