JP2021530884A - Sl−hdr2形式の中間ダイナミックレンジビデオ信号を処理する方法及び装置 - Google Patents

Sl−hdr2形式の中間ダイナミックレンジビデオ信号を処理する方法及び装置 Download PDF

Info

Publication number
JP2021530884A
JP2021530884A JP2020567231A JP2020567231A JP2021530884A JP 2021530884 A JP2021530884 A JP 2021530884A JP 2020567231 A JP2020567231 A JP 2020567231A JP 2020567231 A JP2020567231 A JP 2020567231A JP 2021530884 A JP2021530884 A JP 2021530884A
Authority
JP
Japan
Prior art keywords
dynamic range
video signal
display
range video
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020567231A
Other languages
English (en)
Other versions
JP7483634B2 (ja
JPWO2020018331A5 (ja
Inventor
アンドリフォン,ピエール
ロペス,パトリック
コライティス,マリー−ジャン
トゥゼ,デイビッド
Original Assignee
インターデジタル ヴイシー ホールディングス, インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インターデジタル ヴイシー ホールディングス, インコーポレイテッド filed Critical インターデジタル ヴイシー ホールディングス, インコーポレイテッド
Publication of JP2021530884A publication Critical patent/JP2021530884A/ja
Publication of JPWO2020018331A5 publication Critical patent/JPWO2020018331A5/ja
Application granted granted Critical
Publication of JP7483634B2 publication Critical patent/JP7483634B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98Adaptive-dynamic-range coding [ADRC]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)

Abstract

中間ダイナミックレンジビデオ信号及び付随するメタデータが受信され、メタデータは信号のピーク輝度値を表すデータを含む。中間ダイナミックレンジビデオ信号は、中間ダイナミックレンジビデオ信号のピーク輝度値が表示ディスプレイのピーク輝度値よりも小さい場合、受信した標準ダイナミックレンジビデオ信号及び付随するメタデータに基づいて、高ダイナミックレンジビデオ信号を再構築すべく第1のモードで処理され、中間ダイナミックレンジビデオ信号のピーク輝度値が表示ディスプレイのピーク輝度値よりも大きい場合、受信した高ダイナミックレンジビデオ信号をレンダリング機器向けに最適化すべく第2のモードで処理される。

Description

2.分野
本原理は、中間ピーク輝度のHDRビデオ信号の配信に関する。
3.背景
本節は、以下に記述及び/又は請求する本原理の各種態様に関連する技術分野の各種態様を読者に紹介することを意図している。本考察は、本原理の各種態様に対する理解を深めるべく読者に背景情報を提供するのに役立つものと思われる。従って、これらの陳述は従来技術の紹介ではなく上述の主旨で読まれるべきであることを理解されたい。
以下において、画像データとは、画像(又はビデオ)のピクセル値に関する全ての情報及び例えば画像(又はビデオ)を知覚化及び/又は復号化すべくディスプレイ及び/又は他の任意の装置により利用可能な全ての情報を指定する特定の画像/ビデオ形式のサンプル(ピクセル値)の1個又は数個のアレイを指す。画像は、通常は画像の輝度(又はルーマ)を表すサンプルの第1のアレイの形式をなす第1の成分と、通常は画像の色度(又は彩度)を表すサンプルの他のアレイの形式をなす第2及び第3の成分を含む。又は等価的に、同じ情報を色サンプルのアレイの組、例えば従来の三色RGB表現のような組により表されていてよい。
ピクセル値はC値のベクトルで表され、Cは成分の個数である。ベクトルの各値は、ピクセル値のダイナミックレンジを定義する多数のビットで表される。
標準ダイナミックレンジ画像(SDR画像)は、限定されたビット数(典型的には8)で輝度値が表される画像である。この限定的な表現では特に暗い、及び明るい輝度範囲における信号の僅かな変動を正確にレンダリングすることは不可能である。高ダイナミックレンジ画像(HDR画像)において、全範囲にわたる信号の高い精度を維持すべく信号表現が拡張される。HDR画像において、ピクセル値は通常、浮動小数点形式(典型的には少なくとも10ビット/成分、すなわち浮動又は半浮動小数点)で表現され、最も普及している形式はopenEXR半浮動小数点形式(16ビット/RGB成分、すなわち48ビット/ピクセル)又は長い、典型的には少なくとも16ビットで表現された整数である。
高効率ビデオコーディング(HEVC)標準(ITU-T H.265 Telecommunication standardization sector of ITU (02/2018), series H: audiovisual and multimedia systems, infrastructure of audiovisual services - coding of moving video, High efficiency video coding, Recommendation ITU-T H.265)の出現により、ウルトラHDサービス等の視聴体感が向上した新たなビデオサービスの展開が可能になる。ウルトラHD形式により空間分解能の向上に加え、現在展開されている高精細形式標準色域(SCG)及び標準ダイナミックレンジ(SDR)よりも各々広い色域(WCG)及び高いダイナミックレンジ(HDR)が得られる。知覚伝達関数に基づく知覚量子化器(PQ)等、HDR/WCGビデオの表現及び符号化の異なるソリューションが提案されている(SMPTE ST 2084, “High Dynamic Range Electro-Optical Transfer Function of Mastering Reference Displays”, Society of Motion Picture and Television Engineers, 2014, or Diaz, R., Blinstein, S. and Qu, S. “Integrating HEVC Video Compression with a High Dynamic Range Video Pipeline”, SMPTE Motion Imaging Journal, Vol. 125, Issue 1. Feb, 2016, pp 14-21)。典型的には、SMPTE ST 2084により、10又は12ビットだけで最大10000cd/mピーク輝度までのHDRビデオ信号を表されていてよい。
復号化及びレンダリング機器とのSDR後方互換性は、ブロードキャスティング又はマルチキャスティングシステム等、いくつかのビデオ配信システムにおける重要な特徴である。単層符号化/復号化処理に基づくソリューションは、後方互換性、例えばSDR互換性を有していてよく、既存の旧型配信ネットワーク及びサービスを利用できる。
このような単層配信ソリューションは、SDR対応CE機器に対する高品質SDRレンダリングを提供すると共にHDR対応家電製品(CE)に対する高品質HDRレンダリングも可能にする。このようなソリューションは、符号化信号、例えばSDR信号、及び復号化された信号から別の信号、例えばSDR又はHDR信号のいずれかの再構築に使用できる関連メタデータ(ビデオフレーム又はシーン毎に数バイト)に基づいている。
単層配信ソリューションの一例がETSI技術仕様TS 103 433-1 V1.2.1(2017年8月)に見られ得る。そのような単層配信ソリューションは以下でSL−HDR1と表記されている。
また、HDR配信システムは(ワークフロー、但し復号化及びレンダリング機器も)既に展開されていてよい。実際、HDRコンテンツを含む多くの大域的ビデオサービスプロバイダが存在する。しかし、配信されたHDR素材は、消費者端末機器の特徴に合致しない形式又は特徴で表されている場合がある。通常、消費者端末機器は復号化された素材を自身の特徴に適合させる。しかし、HDRテレビで使用される技術の多様性により、制作環境において元コンテンツの等級付けに用いられたマスタリングディスプレイと比較して消費者端末機器の特徴間の差異に起因して見栄えの観点から重大な差異が生じる。コンテンツ制作者にとって、芸術的意図の忠実度及び消費者への見栄えが最も重要である。従って、等級付け処理中に制作段階又は配信前の品質検査担当者の制御下のいずれかで生成された「ディスプレイ適合」メタデータにより、復号化された信号を端末機器の特徴に適合させる際に消費者にその芸術的意図を伝えることが可能になる。
ディスプレイ適合と組み合わせた単層配信ソリューションの一例が、ETSI技術仕様TS 103 433-2 V1.1.1(2018年1月)に見られる。このような単層配信ソリューションを以下ではSL−HDR2と表記する。
このような単層配信ソリューション、すなわちSL−HDR1又はSL−HDR2は信号の再構築に用いるパラメータとしてメタデータを生成する。メタデータは静的であっても又は動的であってもよい。
静的メタデータとは、ビデオコンテンツ又はその形式を表す、ビデオ(画像の組)及び/又はプログラムを通じて不変なパラメータを意味する。
静的メタデータは、ビデオコンテンツ全体(シーン、ムービー、クリップ...)を通じて有効であり、画像コンテンツ自体又は画像コンテンツの表現形式に依存してよい。静的メタデータは例えば、画像形式又は色空間或いは色域を各々定義することができる。例えば、SMPTE ST 2086:2014, “Mastering Display Color Volume Metadata Supporting High Luminance and Wide Color Gamut Images”は制作環境において素材の等級付けに用いるマスタリングディスプレイを記述する種類の静的メタデータを定義する。マスタリングディスプレイカラーボリューム(MDCV)SEI(補足的追加情報)メッセージは、H.264/AVC(“Advanced video coding for generic audiovisual Services”, SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS, Recommendation ITU-T H.264, Telecommunication Standardization Sector of ITU, April 2017)及びHEVCビデオコーデックの両方の場合におけるST2086の配信に用いられる。
動的メタデータはコンテンツに依存する情報であるため、メタデータは画像/ビデオコンテンツに応じて、例えば画像毎又は画像グループ毎に変化し得る。一例として、SMPTE ST 2094:2016標準ファミリー“Dynamic Metadata for Color Volume Transform”は典型的に制作環境で生成された動的メタデータである。SMPTE ST 2094-30は、色再マッピング情報(CRI)SEIメッセージによりHEVC及びAVC符号化ビデオストリームと共に配信することができる。
中間ダイナミックレンジブロードキャスティングに関心を持つ有料テレビオペレータが存在する。基本的に、これは中間ピーク輝度のHDRビデオを送信するものである。消費者はより高いピーク輝度で表示して信号をアップマッピングするのに対し、より低いピーク輝度を有する消費者は信号をダウンマッピングする。SL−HDR2は、ダウンマッピングされた元のHDR信号から配信MDR信号が(より高いピーク輝度で)着信する間、現在のアップマッピング特徴がどれほど外挿に基づいていてもMDR配信を操作することができる。
本実施形態は、上述の内容を考慮しつつ考案されたものである。
4.概要
以下に、本原理のいくつかの態様の基本が理解されるよう本原理の簡素化された概要を示す。本概要は、本原理の広範に俯瞰するものではない。本原理の主要又は必須要素を明示することは意図していない。以下の概要は単に本原理のいくつかの態様を提供する、より詳細な記述の導入部として簡素化された形式で提示するものに過ぎない。
本開示の一態様に従いビデオ信号を処理する方法を開示する。本方法は、
−中間ダイナミックレンジビデオ信号及び付随するメタデータ、すなわち当該中間ダイナミックレンジビデオ信号のピーク輝度値を表すデータを含むメタデータを受信すること、
−表示ディスプレイのピーク輝度値を表すデータを受信すること、
−中間ダイナミックレンジビデオ信号のピーク輝度値が表示ディスプレイのピーク輝度値よりも大きいか又は小さいかを判定すること、
−受信した標準ダイナミックレンジビデオ信号及び付随するメタデータに基づいて高ダイナミックレンジビデオ信号を再構築する第1のモードと、受信した高ダイナミックレンジビデオ信号をレンダリング機器向けに最適化する第2のモードとを有するプロセッサを当該判定に基づいて構成すること、及び
−当該プロセッサにより中間ダイナミックレンジビデオ信号を、当該中間ダイナミックレンジビデオ信号のピーク輝度値が表示ディスプレイのピーク輝度値よりも小さい場合は第1のモードで、及び当該中間ダイナミックレンジビデオ信号のピーク輝度値が表示ディスプレイのピーク輝度値よりも大きい場合は第2のモードで処理することを含む。
本開示の別の態様に従いビデオ信号を処理するプロセッサを開示し、当該プロセッサは、受信した標準ダイナミックレンジビデオ信号及び付随するメタデータに基づいて高ダイナミックレンジビデオ信号を再構築する第1のモードと、受信した高ダイナミックレンジビデオ信号をレンダリング機器向けに最適化する第2のモードとを有している。当該プロセッサは、
−中間ダイナミックレンジビデオ信号及び付随するメタデータ、すなわち当該中間ダイナミックレンジビデオ信号のピーク輝度値を表すデータを含むメタデータを受信する手段と、
−表示ディスプレイのピーク輝度値を表すデータを受信する手段と、
−中間ダイナミックレンジビデオ信号のピーク輝度値が表示ディスプレイのピーク輝度値よりも大きいか又は小さいかを判定する手段と、
−中間ダイナミックレンジビデオ信号を、当該中間ダイナミックレンジビデオ信号のピーク輝度値が表示ディスプレイのピーク輝度値よりも小さい場合は第1のモードで、及び当該中間ダイナミックレンジビデオ信号のピーク輝度値が表示ディスプレイのピーク輝度値よりも大きい場合は第2のモードで処理する手段を含む。
本開示はまた、上の記述によるプロセッサを含む装置を提供する。本実施形態はまた、コンピュータにより実行された場合に、当該コンピュータに上述の方法を実行させる命令を含むコンピュータプログラム製品を提供する。
本原理の具体的な性質及び他の目的、利点、特徴及び本原理の利用は、添付の図面と合わせて以下の実施例の記述から明らかになろう。
5.図面の簡単な説明
図面に本原理の例を示す。
本原理の一例による、ディスプレイ適合機能が向上したディスプレイへのコンテンツ配信をサポートするエンドツーエンドワークフローの高水準表現を示す。 単層配信ソリューションによる、コンテンツ制作とHDR及びSDR CEディスプレイへの配信とをサポートするエンドツーエンドワークフローを示す。 図2のワークフローの特定の実装を示す。 知覚的伝達関数を示す。 マッピングに用いる区分的曲線の一例を示す。 知覚的に均一な信号を線光領域に後方変換すべく用いる曲線の一例を示す。 図1〜4cとの関係で記述する方法を実装すべく構成可能な装置のアーキテクチャの例示的な実施形態を示す。 MDR配信ユースケースを模式的に示す。 S−LHDR−2内蔵ディスプレイマッピングを模式的に示す。 MDRにアドレス指定するS−LHDR−2ソリューションを模式的に示す。 MDRにアドレス指定する本実施形態の一例を模式的に示す。 適合済みSL−HDRポストプロセッサ論理を示す。
類似又は同一要素には同一参照番号が付与されている。
5.本原理の例の説明
本原理について、本原理の複数の例を示す添付の図面を参照しながら以下により完全に記述する。但し、本原理は多くの代替形式で実現されてよく、本明細書に記述する例に限定されるものと解釈すべきでない。従って、本原理は各種の変型及び代替形式をとり得るが、それらの具体例を図面の例を通じて示すと共に本明細書に詳述する。但し、本原理を開示する特定の形式に限定することは意図しておらず、逆に本開示は請求項により規定される本原理の範囲内に含まれるあらゆる変型、等価物及び代替例を包含するものと理解されたい。
以下で用いる用語は、特定の例だけの記述を目的としており、本原理で限定することは意図していない。本明細書で用いる単数形「a」、「an」及び「the」は、別途文脈から明らかでない限り、複数形も含むものとする。更に、用語「含む(comprises)(comprising)」、「包含する」及び/又は「包含している」は本明細書で用いられた場合、言及された特徴、整数、ステップ、動作、要素及び/又は成分の存在を指定するが、1個以上の他の特徴、整数、ステップ、動作、要素、成分及び/又はそれらの組の存在又は追加を排除しない点を理解されたい。更に、ある要素が別の要素に「応答する」か又は「接続されている」ものとして言及された場合、他方の要素に直接応答し得る、又は接続可能であるか、或いは介在要素が存在してもよい。対照的に、ある要素が他の要素に「直接応答する」か又は「直接接続されている」場合、介在要素は存在しない。本明細書で用いる用語「及び/又は」は、1個以上の列挙された関連項目の任意の、及び全ての組み合わせを含み、「/」と略記される場合がある。本明細書で第1、第2等の用語を用いて各種の要素を記述する場合があるが、当該要素は当該用語に限定されない点を理解されたい。これらの用語は、ある要素を別の要素から区別するために用いるに過ぎない。例えば、第1の要素を第2の要素と称してよく、同様に第2の要素を第1の要素と称しても本原理の内容から逸脱することはない。いくつかの図面は通信経路上に通信の主方向を示す矢印を含むが、図示する矢印とは逆方向に通信が生起し得る点を理解されたい。いくつかの例をブロック図及び動作フロー図に関して記述しており、各ブロックは、指定された論理関数を実装する1個以上の実行可能な命令を含むコードの回路要素、モジュール、又は部分を表している。また、他の実装において、ブロックに記述する関数が記述された順序とは異なる順序で生起し得る点に注意されたい。例えば、逐次的に示す2個のブロックが実際にはほぼ並行して実行されてよく、又は当該ブロックは関係する関数に応じて逆の順序で実行される場合もある。本明細書における「一例による」又は「一例において」という語句は、当該例に関連して記述された特定の特徴、構造、又は特性が本原理の少なくとも1個の実装に含まれ得ることを意味する。本明細書の様々な箇所で語句「一例による」又は「一例において」が出現した場合、必ずしも全てが同じ例を指す訳ではなく、且つ別個又は代替的な例が必ずしも互いに他の例を排除するものでもない。請求項に出現する参照番号は、説明目的に過ぎず、請求の範囲を限定する効果は一切無い。明示的に記述していないが、複数の例及び変型は任意の組み合わせ又は下位要素の組み合わせで用いられてよい。
典型的に、2個の異なる画像で輝度のダイナミックレンジが異なる。画像の輝度のダイナミックレンジとは、前記画像の輝度値の最小値に対する最大値の比である。
典型的に、画像の輝度のダイナミックレンジが1000未満(例えば500:0.2cd/mに対して100cd/m)ならば前記画像は標準ダイナミックレンジ(SDR)画像と称し、画像の輝度のダイナミックレンジが1000以上(例えば10000:0.1cd/mに対して1000cd/m)ならば前記画像はHDR画像と称する。輝度は、単位カンデラ毎平方メートル(cd/m)で表される。当該単位は、(国際単位系では非推奨であるが)同じく使用可能な用語「nit」を代替するものである。
本原理は、画像の前処理、符号化、復号化及び後処理について記述されているが、後述するようにシーケンスの各画像を逐次前処理、符号化、復号化及び後処理されるため、一連の画像(ビデオ)の前処理、符号化、復号化及び後処理に拡張される。
図1に、本原理の一例による、ディスプレイ適合機能が向上したディスプレイへのコンテンツ配信をサポートするエンドツーエンドワークフローの高水準表現を示す。装置A1は画像又はビデオストリームを前処理及び符号化する方法を実装すべく構成され、装置A2は後述するように画像又はビデオストリームを復号化及び後処理する方法を実装すべく構成され、装置A3は復号化及び後処理された画像又はビデオストリームを表示すべく構成されている。2個の遠隔装置A1、A2は、装置A1から装置A2へ符号化画像又はビデオストリームを少なくとも提供すべく構成された配信ネットワークNETを介して通信している。
装置A1は、以下に記述する前処理及び/又は符号化方法を実装すべく構成された少なくとも1個の機器を含む。前記少なくとも1個の機器は、モバイル機器、通信機器、ゲーム機器、タブレット(又はタブレットコンピュータ)、ラップトップ等のコンピュータ機器、静止画像カメラ、ビデオカメラ、符号化チップ、静止画像サーバ及びビデオサーバ(例:ブロードキャストサーバ、ビデオオンデマンドサーバ又はウェブサーバ)を含む機器の組に属する。
装置A2は、以下に記述するとして復号化及び/又はポスト処理方法を実装すべく構成された少なくとも1個の装置を含む。前記少なくとも1個の装置は、モバイル機器、通信機器、ゲーム機器、コンピュータ機器及びセットトップボックスを含む機器の組に属する。
装置A3は、表示方法を実装すべく構成された少なくとも1個の機器を含む。前記少なくとも1個の機器は、テレビ受像機(又はテレビジョン)、タブレット(又はタブレットコンピュータ)、ラップトップ等のコンピュータ機器、ディスプレイ、ヘッドマウント式ディスプレイ及びレンダリング/表示チップを含む機器の組に属する。
一例によれば、ネットワークは、装置A1から複数の装置A2へ静止画像又はビデオ画像をブロードキャストすべく適合されたブロードキャストネットワークである。DVB及びATSCに基づくネットワークがこのようなブロードキャストネットワークの例である。
別の例によれば、ネットワークは、装置A1から複数の装置A2へ静止画像又はビデオ画像を配信すべく適合された広帯域ネットワークである。インターネットに基づくネットワーク、GSMネットワーク又はIPネットワークTVがこのような広帯域ネットワークの例である。
例示的な実施形態において、エンドツーエンドワークフローは、装置A1にブロードキャストサーバ、装置A2にセットトップボックス、装置A3にテレビ、及びDVB地上ブロードキャストネットワークを用いる。
代替的な実施形態において、装置A2とA3は、単一機器、例えばセットトップボックス復号化と後処理機能を統合したテレビに組み込まれている。
代替的な実施形態において、配信ネットワークNETは符号化画像又はビデオストリームが保存された物理的パッケージ媒体で代替されている。
物理的パッケージ媒体は、Blu-rayディスク及びUltra HD Blu-ray等の光学的パッケージ媒体、そしてOTT及びVoDサービスで用いられるようなメモリに基づくパッケージ媒体をも含む。
図2に、単層配信ソリューションによる、コンテンツ制作とHDR及びSDR CEディスプレイへの配信とをサポートするエンドツーエンドワークフローを示す。
基本的に、前記単層配信ソリューションは、SDR直接後方互換性を保証できる、すなわち既存のSDR配信ネットワーク及びサービスを利用して、SDR CE機器に対する高品質SDRレンダリングを含むHDR対応CE機器に対する高品質HDRレンダリングを可能にする。
SL−HDR1は、そのような単層配信ソリューションの一例である。
しかし、前記単層配信ソリューションはまた、ディスプレイ適合動的メタデータがPQ HDRビデオ信号と共に配信される配信ネットワークで用いられるソリューションにも関係していてよい。PQは、ITU-R BT.2100-1勧告“Image parameter values for high dynamic range television for use in production and international programme exchange”で定義された「知覚的量子化」を意味する。
図2に示すワークフローは、メタデータが関連付けられた単層配信ソリューションを含み、入力画像の3個の成分
Figure 2021530884
を表現する3個の成分
Figure 2021530884
を、復号化画像及び前記メタデータを指定されたように、例えばSL−HDR1又はSL−HDR2で表現する3個の復号化成分
Figure 2021530884
から再構築する方法を用いる一例を示す。
情報データIDは、考慮すべき単層配信ソリューションを判定する。通常、実際には1個の単一に基づく層配信ソリューションだけがインスタンス化され、情報データIDは固定値である。複数の単層配信ソリューションインスタンス化される場合、情報データIDは、当該単層配信ソリューションのうち考慮すべきものを示している。
典型的には、SL−HDR1及びSL−HDR2がインスタンス化されてよく、情報データIDはSL−HDR1又はSL−HDR2のいずれを考慮すべきかを示している。
基本的に、図2に示す単層配信ソリューションは、前処理ステップ20、符号化ステップ23、復号化ステップ25、26、及び後処理ステップ28を含む。
以下において、成分
Figure 2021530884
は画像nの成分mを指す。これらの成分
Figure 2021530884
は画像Iを特定の画像形式で表現する。典型的には、画像形式はカラーボリューム(例:色度及びダイナミックレンジ)、色符号化システム(例:RGB、YCbCr)により特徴付けられる。
前処理ステップ20の入力及び出力は、各々
Figure 2021530884
及び
Figure 2021530884
と表記される3個の成分で表される画像であり、後処理ステップ28の入力及び出力は各々
Figure 2021530884
及び
Figure 2021530884
と表記される3個の成分で表される画像である。
図2に示すに基づく単層配信ソリューションは、3個の成分
Figure 2021530884
の形式を、当該成分に適用される更なる処理の入力に適合させる形式適合ステップ21、22、27、29を含んでいてよい。
例えば、ステップ21(任意選択)において、3個の成分
Figure 2021530884
の形式を、前処理ステップ20の入力形式に合致する形式に適合させる。
例えば、成分
Figure 2021530884
は文献にルーマと表記されている非線形信号であり、次式によりガンマ圧縮成分
Figure 2021530884
から得られ、
Figure 2021530884
成分
Figure 2021530884
は入力画像の成分にガンマ圧縮を適用することにより得られ、
Figure 2021530884
ここにγはガンマ係数であって、好適には2.4に等しく、A=[Aは3個の1×3小行列A,A,Aを含む変換行列であって、
=[A11 12 13
=[A21 22 23
=[A31 32 33
であり、Amn(m=1,..,3,n=1,..3)は小行列係数である。
例えば、変換行列Aは、3個の成分
Figure 2021530884
がRGB成分である場合、ITU-R BT.2020-2勧告又はITU-R BT.709-6勧告で指定されているように正準3×3R’G’B’対Y’CbCr変換行列であってよい。
BT.2020色域を考慮すれば次式
Figure 2021530884
が得られる。
BT.709色域を考慮すれば次式
Figure 2021530884
が得られる。
変換行列Aは可逆である。例えば、A−1と表記する行列Aの逆行列は次式で与えられ、
Figure 2021530884
A’mn(m=1,..,3,n=1,..3)は小行列係数である。
BT.2020色域を考慮すれば次式
Figure 2021530884
が得られ、
BT.709色域を考慮すれば次式
Figure 2021530884
が得られる。
前記入力形式適合ステップ21はまた、入力画像の3個の成分
Figure 2021530884
の少なくとも1個にPQ又はHLG伝達関数又はその逆関数のような伝達関数を適用することにより、入力画像Iのビット深度を例えば10ビットのビット深度に適合させることを含んでいてよい(ITU-R BT.2100勧告)。
ステップ22(任意選択)において、3個の成分
Figure 2021530884
の形式もまた、符号化ステップ23の入力形式に合致する形式に適合されていてよい。
ステップ27(任意選択)において、3個の成分
Figure 2021530884
の形式は後処理ステップ28の入力に合致する形式に適合されていてよく、ステップ29において、3個の成分
Figure 2021530884
の形式は、対象装置(例:セットトップボックス、接続TV、HDR/SDR対応CE機器、Ultra HD Blu-rayディスクプレーヤ)の少なくとも1個の特徴から定義できる形式に適合されていてよい。ステップ21では行列Aの逆行列を用いる。
前記形式適合ステップ(21、22、27、29)は、他の色空間変換及び/又は色域マッピング(及び/又は逆色域マッピング)を含んでいてよい。逆色域マッピングは例えば、出力画像の3個の復号化された成分
Figure 2021530884
及びの3個の成分
Figure 2021530884
又は入力画像の3個の成分
Figure 2021530884
が異なる色空間及び/又は色域で表現されている場合に用いることができる。
通常の形式適合処理、例えばR’G’B’対Y’CbCr又はY’CbCr対R’G’B変換、BT.709対BT.2020又はBT.2020対BT.709、ダウンサンプリング又はアップサンプリング彩度成分等を用いてよい。
例えば、SL−HDR1は、ETSI技術仕様TS 103 433-1 V1.2.1(2017年8月)の付録Dで指定するような形式適合処理及び逆色域マッピングを用いてよい。
前処理ステップ20において、3個の成分
Figure 2021530884
が3個の成分
Figure 2021530884
(その形式は恐らく3個の成分
Figure 2021530884
を得るためにステップ22の実行中に適合されていてよい)とパラメータSPの組とに分解され、切換ステップ24で、3個の成分
Figure 2021530884
がビットストリームBに符号化された3個の成分
Figure 2021530884
又は3個の成分
Figure 2021530884
(又は
Figure 2021530884
)のいずれかであるか否かが判定される(ステップ23)。
ステップ23において、3個の成分
Figure 2021530884
は任意のビデオコーデックにより符号化されてよく、ビットストリームBを含む信号が配信ネットワーク全体にわたり搬送される。
変型ステップ23によれば、パラメータSPの組及び/又は情報データIDが付随する静的及び/又は動的メタデータとしてビットストリームBにより配送される。
一変型例によれば、パラメータSPの組及び/又は情報データIDが付随する静的及び/又は動的メタデータとして特定のチャネルへ配送される。
次いで、図1の装置A2による復号化を意図された少なくとも1個の信号がビットストリームB及び付随するメタデータを搬送する。
一変型例において、ビットストリームBは、Blu-rayディスク又はハードディスク或いはセットトップボックスのメモリ等の記憶媒体に保存される。
一変型例において、少なくともいくつかの付随する関連メタデータが例えばUltraHD Blu-rayディスク又はハードディスク或いはセットトップボックスのメモリ等の記憶媒体に保存される。
好適には、ステップ23において、各々が画像及び恐らくは付随するメタデータを表す成分
Figure 2021530884
の少なくとも1個の3つ組のシーケンスが、H.265/HEVCコーデック又はH.264/AVC等のビデオコーデックにより符号化される。
ステップ25において、パラメータSPの組が、ビットストリームB又は別の特定のチャネルから少なくとも部分的に得られる。パラメータSPの組の複数のパラメータのうち少なくとも1個もまた、別個の記憶媒体から得られる。
ステップ26において、3個の復号化された成分
Figure 2021530884
がビットストリームBから得られる。
前処理ステップ20の近似的に逆関数である後処理ステップ28において、3個の成分
Figure 2021530884
は3個の復号化された成分
Figure 2021530884
及び得られたパラメータSPの組から再構築される。
より詳細には、前処理ステップ20はステップ200〜203を含む。
ステップ200において、成分
Figure 2021530884
は、入力画像の輝度を表す成分
Figure 2021530884
に対してマッピング関数を適用することにより得られる。
数学的には、
Figure 2021530884
であり、
MFは画像の輝度のダイナミックレンジを低下させることが可能なマッピング関数である。IMFと表記する逆関数により、画像の輝度のダイナミックレンジが逆向きに増大し得る点に注意されたい。
ステップ202において、成分
Figure 2021530884
に対してマッピング関数を適用することにより、再構築された成分
Figure 2021530884
が次式のように得られる。
Figure 2021530884
ここにIMFはマッピング関数MFの逆関数である。再構築された成分
Figure 2021530884
の値は従って成分
Figure 2021530884
の値のダイナミックレンジに属する。
ステップ201において、入力画像の彩度を成分
Figure 2021530884
及び再構築された成分
Figure 2021530884
の関数として表す成分
Figure 2021530884
及び
Figure 2021530884
を補正することにより、成分
Figure 2021530884
及び
Figure 2021530884
が導かれる。
上述のステップ201により、3個の成分
Figure 2021530884
から得られた色を制御して入力画像の色との知覚的マッチングを保証することができる。(通常彩度成分と表記する)成分
Figure 2021530884
及び
Figure 2021530884
の補正は、彩度補正及び逆マッピングステップのパラメータを調整することにより制御下に保つことができる。3個の成分
Figure 2021530884
から得られた色飽和度及び色相は従って制御下にある。ノンパラメトリックマッピング関数(ステップ200)が用いられる場合、このような制御は通常不可能である。
任意選択的に、ステップ203において、成分
Figure 2021530884
は、次式のように、知覚される飽和度を更に制御すべく調整することができる。
Figure 2021530884
ここにa及びbは2個のパラメータである。
上述のステップ203により、3個の成分
Figure 2021530884
から得られた色(飽和度及び色相)と入力画像の色との間の知覚される色マッチングを保証すべく(成分
Figure 2021530884
で表される)輝度を制御することができる。
パラメータSPの組は、マッピング関数又はその逆関数(ステップ200、202及び282)に関する情報データ、彩度補正(ステップ201及び281)に関する情報データ、飽和度調整関数に関する情報、特にそれらのパラメータa及びb(ステップ203及び280)、及び形式適合段階21、22、27、29(例:色域マッピング及び/又は逆色域マッピングパラメータ)で用いる変換に関する情報を含んでいてよい。
例えば、関数TM及び/又はITMに関する制御パラメータは条項C.2.2(ETSI技術仕様TS 103 433-1 V1.2.1)に指定されているように決定することができ、彩度補正関数β(.)及びパラメータは条項C.2.3及びC.3.4(ETSI技術仕様TS 103 433-1 V1.2.1)に指定されているように決定されてよい。
パラメータSPの組のパラメータの数値の例は、例えば別添(表F.1)(ETSI技術仕様TS 103 433-1 V1.2.1)に見ることができる。
パラメータSPの組はまた、3個の成分
Figure 2021530884
の情報データID及び情報特徴を含んでいてよい(図2、3のステップ29及び図3の284)。
より詳細には、後処理ステップ28は、パラメータSPの組の少なくとも1個のパラメータを入力とするステップ280〜282を含む。
任意選択的ステップ280において、ステップ27の出力である、3個の成分
Figure 2021530884
の成分
Figure 2021530884
は次式のように調整することができる。
Figure 2021530884
ここにa及びbはパラメータSPの組の2個のパラメータである。
例えば、ステップ280は、情報データIDがSL−HDR1を考慮すべきであることを示す場合に実行され、SL−HDR2を考慮すべきであることを示す場合には実行されない。
ステップ282において、3個の成分
Figure 2021530884
の成分
Figure 2021530884
は、成分
Figure 2021530884
又は任意選択的に
Figure 2021530884
に対して次式のようにマッピング関数を適用することにより得られる。
Figure 2021530884
ここにITMはパラメータSPの組の少なくとも1個のパラメータから導かれた逆マッピング関数である。
ステップ281において、3個の成分
Figure 2021530884
の成分
Figure 2021530884
は、成分
Figure 2021530884
又は、任意選択的に
Figure 2021530884
に従い3個の成分
Figure 2021530884
の成分
Figure 2021530884
を逆補正することにより導かれる。
一実施形態によれば、成分
Figure 2021530884
及び
Figure 2021530884
に、パラメータSPの組のパラメータにより定義されて値が成分
Figure 2021530884
又は任意選択的
Figure 2021530884
に依存する彩度補正関数β(.)が乗算される。
数学的には、成分
Figure 2021530884
は次式で与えられる。
Figure 2021530884
又は任意選択的に、
Figure 2021530884
図3は、図2の単層ソリューションのハードウェアに適した最適化を表している。前記最適化は、2個の追加的ステップ283、284を含み、バスが使用するビット幅を減らすることによりハードウェア実装の複雑さを低減させることができる。
ステップ283において、(R,G,B)と表記される3個の成分が、出力パラメータSPの組のパラメータを考慮することにより、ステップ281の出力である成分
Figure 2021530884
及び
Figure 2021530884
から得られる。
Figure 2021530884
ここにm,m,m,mはパラメータSPの組のパラメータであり、Sは成分
Figure 2021530884
及び
Figure 2021530884
並びにパラメータSPの組の他のパラメータから導かれる。
パラメータm,m,m,m及びSは条項6.3.2.6(ETSI技術仕様TS 103 433-1 V1.2.1)に規定されているように決定されてよく、再構築への利用は条項7.2.4(ETSI技術仕様TS 103 433-1 V1.2.1及びETSI技術仕様TS 103 433-2 V1.1.1)に規定されているように決定されてよい。
ステップ284において、3個の成分
Figure 2021530884
は次いで、ステップ282の出力である成分
Figure 2021530884
に従い3個の成分(R,G,B)をスケーリングすることにより得られる。
Figure 2021530884
ここでは
Figure 2021530884
である(ステップ282)。
例えば、マッピング関数MF及び/又はその逆関数IMFに関する制御パラメータは条項C.3.2(ETSI技術仕様TS 103 433-1 V1.2.1)で指定されているように決定されてよい。彩度補正関数β(.)及びそのパラメータは条項C.2.3及びC.3.4(ETSI技術仕様TS 103 433-1 V1.2.1)で指定されているように決定されてよい。マッピング関数又はそれらの逆関数に関する制御パラメータに関する情報データ及び彩度補正関数β(.)及びそれらのパラメータに関する情報データは、パラメータSPの組の要素である。パラメータSPの組のパラメータの数値の例を、例えば別添F(表F.1)(ETSI技術仕様TS 103 433-1 V1.2.1に見ることができる。
パラメータm,m,m,m及びSは、ETSI技術仕様TS 103 433-1 V1.2.1の条項6.3.2.6(matrixCoefficient[i]でm,m,m,mを規定)及び条項6.3.2.8(kCoefficient[i]を用いてSを構築)で指定されているように決定されてよく、再構築におけるそれらの使用は条項7.2.4(ETSI技術仕様TS 103 433-1 V1.2.1)で指定されているように決定されてよい。
マッピング関数MF(.)は、入力画像の成分を出力画像の成分に変換することにより、輝度の値のダイナミックレンジを減少(又は増大)させることを目的とする、知覚的伝達関数に基づいている。出力画像の成分の値は従って、入力画像の成分の値よりも小さい(又は大きい)ダイナミックレンジに属する。前記知覚的伝達関数は、制御パラメータの限定された組を用いる。
図2又は3のエンドツーエンドワークフローの第1の例示的な実施形態によれば、情報データIDはSL−HDR1を考慮すべきであることを示す。
前記第1の例示的な実施形態の第1の変型例によれば、成分
Figure 2021530884
は文献でルーマと表記される非線形信号であり、次式により入力画像のガンマ圧縮RGB成分から得られる(ステップ21)。
Figure 2021530884
次に、前記第1の変型例によれば、次いで入力画像のRGB成分にガンマ圧縮を適用することにより、第2及び第3の成分
Figure 2021530884
が得られる(ステップ21)。
Figure 2021530884
ここにγは好適には2.4に等しいガンマ係数であり、A=[A]は正準3×3R’G’B’ 対Y’CbCr変換行列(例:色空間に応じて勧告ITU-R BT.2020-2又は勧告ITU-R BT.709-6)であり、A,A,Aは1×3行列である。
次に、前記第1の変型例によれば、第2及び第3の成分
Figure 2021530884
及び
Figure 2021530884
は、第1の成分
Figure 2021530884
の再構築された成分
Figure 2021530884
に対する比から次式のように彩度補正される。
Figure 2021530884
ここにΩは、3個の成分
Figure 2021530884
(例えば勧告BT.2020では1.2に等しい)の原色に応じて定数値である、又はパラメータSPの組のパラメータである。
最後に、前記第1の変型例によれば、3個の成分
Figure 2021530884
はY’CbCr4:2:0ガンマ伝達特性ビデオ信号として表されていてよい。
前記第1の例示的な実施形態の第2の変型例によれば、入力画像の成分
Figure 2021530884
は、次式により入力画像IのRGB成分から得られた線光輝度成分Lである。
Figure 2021530884
次に、前記第2の変型例によれば、第2及び第3の成分
Figure 2021530884
が、次式のように入力画像IのRGB成分にガンマ圧縮を適用することにより導かれる。
Figure 2021530884
次に、前記第2の変型例によれば、第2及び第3の成分
Figure 2021530884
が、次式のようにガンマ圧縮されて再構築された成分
Figure 2021530884
に対する第1の成分
Figure 2021530884
の比から第1及び第2の成分
Figure 2021530884
を補正することにより導かれる(ステップ201)。
Figure 2021530884
図2又は図3のエンドツーエンドワークフローの第2の例示的な実施形態によれば、情報データIDはSL−HDR2を考慮すべきであることを示す。
3個の成分
Figure 2021530884
は従ってY’CbCr4:4:4フルレンジPQ10(PQ10ビット)ビデオ信号として表されていてよい(ITU-R BT.2100勧告に指定)。PQ10ビット画像データであって、付随するメタデータが3個の成分
Figure 2021530884
(典型的には10、12又は16ビット)から計算される3個の成分
Figure 2021530884
が与えられ、次いで、例えばHEVC Main10プロファイル符号化スキームを用いて前記PQ10ビット画像データが符号化(ステップ23)される。
次に、前記第2の変型例によれば、第2及び第3の成分
Figure 2021530884
が、第1の成分
Figure 2021530884
の再構築された成分
Figure 2021530884
に対する比から第1及び第2の成分
Figure 2021530884
を補正することにより導かれる(ステップ201)。
前記第2の例示的な実施形態で第1の変型例によれば、3個の成分
Figure 2021530884
は、3個の復号化された成分
Figure 2021530884
から直接得られる。
前記第2の例示的な実施形態の第2の変型例によれば、後処理ステップ28において、3個の成分
Figure 2021530884
は3個の復号化された成分
Figure 2021530884
及びパラメータSPの組から再構築される(ステップ25)。
3個の成分
Figure 2021530884
次いで、SDR又はHDRのいずれかに対応するCEディスプレイに利用できる。画像Iの形式は恐らく上で説明したように適合される(ステップ29)。図2、3のマッピング関数TMは、入力画像Iの成分を画像I12の成分に変換してそれらの輝度の値のダイナミックレンジを減少(又は増大)させることを目的とする知覚的伝達関数に基づいている。画像I12の成分の値は従って、入力画像Iの成分の値よりも小さい(又は大きい)ダイナミックレンジに属する。前記知覚的伝達関数は制御パラメータの限定された組を用いる。
図4aに、輝度成分のマッピングに用いられる知覚的伝達関数TMの例を示すが、同様の知覚的伝達関数を輝度成分のマッピングに用いてもよい。マッピングは、マスタリングディスプレイピーク輝度パラメータ(図4aでは5000cd/mに等しい)により制御される。白黒レベルの制御を向上させるべく、コンテンツに依存する白黒レベル間にわたる信号が適用される。次いで、図4bに示すように、3個の部分で構築された区分的曲線を用いて変換信号がマッピングされる。上下の区間は線形であり、険しさは潜在利得制御及び強調利得制御パラメータにより各々判定される。中央の区間は、二つの線形区間を連続的且つ滑らかに連結する放物線である。重なり部分の幅は、中間階調幅調整係数パラメータにより判定される。マッピングを制御する全てのパラメータは例えばETSI TS 103 433-1別添A.2メタデータで指定されているようにSEIメッセージを用いてメタデータとして配送することができる。
図4cに、知覚的に最適化された輝度信号が、目標とするレガシー表示最大輝度、例えば100cd/mに基づいて線光領域へ後方変換される様子を説明するために、知覚的伝達関数TM(図4a)の逆関数の一例を示す。
ステップ25(図2又は3)において、3個の成分
Figure 2021530884
から3個の成分
Figure 2021530884
を再構築すべくパラメータSPの組が得られる。これらのパラメータは、ビットストリーム、例えばビットストリームBから得られたメタデータから取得することができる。
ETSI TS 103 433-1 V1.2.1の条項6及び別添A.2に前記メタデータの構文の一例を提示している。当該ETSI勧告の構文はSDRビデオからHDRビデオを再構築すべく記述されているが、当該構文は任意の復号化された成分からの任意の画像の再構築に拡張することができる。一例として、TS 103 433-2 V1.1.1は、表示に適合されたHDRビデオを(異なるダイナミックレンジの)HDRビデオ信号から再構築するのに同一構文を用いる。
ETSI TS 103 433-1 V1.2.1によれば、前記動的メタデータは、いわゆるパラメータ利用モード又はテーブル利用モードに従い配送されてよい。パラメータ利用モードは、極めて低い追加的ペイロード又はバンド幅使用度で動的メタデータを搬送する直接SDR後方互換サービスを提供することを主な目的とする配信ワークフローにおいて関心対象となり得る。テーブル利用モードは、ローエンド端末を備えたワークフロー、又はHDR及びSDRストリームの両方を正しく表すのにより高いレベルの適合が必要とされる場合に関心対象となり得る。パラメータ利用モードにおいて、配送したい動的メタデータは、後処理ステップで適用する逆マッピング関数を表す輝度マッピングパラメータ、すなわちtmInputSignalBlackLevelOffset、tmInputSignalWhiteLevelOffset、潜在利得、強調利得、中間階調幅調整係数、tmOutputFineTuningパラメータである。
更に、配送される他の動的メタデータは、関数β(.)を補正する既定彩度の微調整に用いられる、ETSI TS 103 433-1 V1.2.1の条項6.3.5及び6.3.6に指定された色補正パラメータ(saturationGainNumVal、saturationGainX(i)及びsaturationGainY(i))である。パラメータa、bは上述のsaturationGain関数パラメータにより各々搬送されてよい。これらの動的メタデータは、HEVC SL-HDR情報(SL−HDRI)ユーザーデータが登録されたSEIメッセージ(ETSI TS 103 433-1 V1.2.1別添A.2参照)又はAVS2/IEEE1857.4仕様に指定された別の拡張データ機構を用いて配送されてよい。典型的な動的メタデータペイロードサイズは一画像又はシーン当たり100バイト未満である。
図3に戻り、ステップ25において、SL-HDRI SEIメッセージを構文解析してパラメータSPの組の少なくとも1個のパラメータを取得する。
ステップ282、202において、逆マッピング関数ITM(いわゆるlutMapY)が、得られたマッピングパラメータ(詳細ついてはTS 103 433-2 V1.1.1の同一条項であるETSI TS 103 433-1 V1.2.1条項7.2.3.1参照)から再構築される(導かれる)。
ステップ282、202において、彩度補正関数β(.)(いわゆるlutCC)もまた、得られた色補正パラメータから再構築される(導かれる)(詳細ついてはTS 103 433-2 V1.1.1の同一条項であるETSI TS 103 433-1 V1.2.1条項7.2.3.2参照)。
テーブル利用モードにおいて、配送される動的データはマッピング関数を表す区分的線形曲線のピボット点である。例えば、動的メタデータは、ピボット点の個数を示すluminanceMappingXNumVal、ピボット点の横座標(x)値を示すluminanceMappingX、ピボット点の縦座標(y)値を示すluminanceMappingYである(詳細ついてはETSI TS 103 433-1 V1.2.1条項6.2.7及び6.3.7参照)。更に、配送される他の動的メタデータは、彩度補正関数β(.)の区分的線形曲線を表すピボット点であってよい。例えば、動的メタデータは、ピボット点の個数を示すcolorCorrectionNumVal、ピボット点のx値を示すcolorCorrectionX、及びピボット点のy値を示すcolorCorrectionYである(詳細ついてはETSI TS 103 433-1 V1.2.1条項6.2.8及び6.3.8参照)。これらの動的メタデータは、HEVC SL-HDRI SEIメッセージを用いて配送されてよい(条項6のパラメータと別添Aの配信メタデータとの間のマッピングがETSI TS 103 433-1 V1.2.1の別添A.2.3に提供されている)。
ステップ25において、SL-HDRI SEIメッセージが構文解析されて逆マッピング関数を表す区分的線形曲線のピボット点及び彩度補正関数β(.)の区分的線形曲線を表すピボット点、並びに彩度からルーマへの注入パラメータa、bを取得する。
ステップ282、202において、逆マッピング関数が、逆マッピング関数ITMを表す区分的線形曲線に関連するピボット点から導かれる(詳細ついてはETSI TS 103 433-2 V1.1.1の同一条項であるETSI TS 103 433-1 V1.2.1条項7.2.3.3を参照)。
ステップ281、201において、彩度補正関数β(.)はまた、彩度補正関数β(.)を表す区分的線形曲線に関する前記ピボット点から導かれる。(詳細ついてはTS 103 433-2 V1.1.1の同一条項であるETSI TS 103 433-1 V1.2.1条項7.2.3.4参照)。
後処理ステップでも使用される静的メタデータがSEIメッセージにより配送されてよい点に注意されたい。例えば、パラメータ利用モード又はテーブル利用モードの選択は、ETSI TS 103 433-1 V1.2.1(条項A.2.2)に指定されているようにpayloadMode情報により行われてよい。例えば原色又は最大マスタリングディスプレイ輝度等の静的メタデータ、AVC、HEVCに指定されているようにマスタリングディスプレイカラーボリューム(MDCV)SEIメッセージにより配送されるか、又はETSI TS 103 433-1 V1.2.1別添A.2に指定されているようにSL-HDRI SEIメッセージ内に埋め込まれている。
ステップ25の一実施形態によれば、情報データIDはビットストリーム内の構文要素により明示的に通知され、従ってビットストリームを構文解析することにより得られる。例えば、前記構文要素は、SL-HDRI SEIメッセージに含まれるsl_hdr_mode_value_minus1構文要素等のSEIメッセージの一部である。
一実施形態によれば、前記情報データIDは、パラメータSPの組を処理するために入力画像Iにどの処理を適用するかを識別する。
本実施形態によれば、情報データIDは次いで、3個の成分
Figure 2021530884
を再構築するのにパラメータをどのように用いるかを推論に用いてよい(ステップ25)。
例えば、情報データIDが1に等しい場合、入力画像にSL−HDR1前処理ステップ(ステップ20)を適用することによりパラメータSPの組が得られたこと、及び3個の復号化された成分
Figure 2021530884
がSDR画像を形成することを示す。情報データIDが2に等しい場合、HDR10ビット画像(ステップ20の入力)にSL−HDR2前処理ステップ(ステップ20)を適用することによりパラメータが得られたこと、3個の復号化された成分
Figure 2021530884
がHDR10画像であること、及びPQ変換関数(又はその逆関数)により逆マッピング関数ITM関数が構成できることを示す。
中間ダイナミックレンジ(MDR)配信は、(DMIとも表記する)DVB動的マッピング情報(すなわちHDR動的メタデータ)標準化フェーズ中に抽出されたユースケースに対応する。典型的には、(本明細書で明示したような)MDR表示は、数百cd/m(例:500cd/m)のピーク輝度により特徴付けられるHDR表示であるのに対し、(本明細書で言及するような)HDR表示は千〜数千cd/m(例:1000又は2000cd/m)のピーク輝度にわたる。特にHDRピーク輝度はMDRピーク輝度よりも大きい。
実際に、オペレータが最も関心を抱くのはクライアントへの画像の見栄えの観点から可能な最高品質を保証することである。従って、MDR配信は、消費者向けディスプレイに「平均的に」適合する信号をブロードキャストする第1のステップとして現れる。
図6にMDR配信のユースケースを示す。同図において、前処理ブロック60によりソース信号HDRsが中間ダイナミックレンジ信号MDRに変換されて、上述のようなネットワークNETを介して配信される。受信側において、中間ダイナミックレンジ信号MDRは、接続されたディスプレイの表示ディスプレイのピーク輝度Lpdispに応じて、ブロック61でHDR又はSDR信号にダウンマッピング、又はブロック62でHDR信号にアップマッピングされる。HDR信号の「HDR(>MDR)レンダリング」64がハイエンドTVにより優れた処理及びピーク輝度で実行される一方、HDR信号の「HDR(<MDR)/SDRレンダリング63が初心者向け〜中級ディスプレイにより実行される。HDR/MDR信号は典型的にPQ10信号符号化により配信される(ITU-R BT.2100勧告[3]参照)。簡素化のため、符号化/復号化段階はスキームに現れない。更に、ディスプレイマッピングとも称するディスプレイ適合処理61、62は、レンダリングと共にディスプレイに埋め込まれていてよく、又はソース装置(例:STB)のディスプレイ外に設定することができる。
当該ユースケースの背景にある発想は、コンテンツディストリビュータが大多数の展開されたHDRディスプレイの特徴を、より高いダイナミックレンジでハイエンドマスタリングディスプレイ上でマスタリングされた元のHDRS信号よりも良好に表す中間ダイナミックレンジMDR信号でHDR信号をブロードキャストするというものである。オペレータが配信段階の上流でHDR対MDR下方変換60を制御するに従い、表示画像処理余裕が最小化されるため、消費者向けディスプレイ上でのレンダリング品質がより良好に維持される。実際、表示画像処理は往々にしてレンダリング対象のコンテンツの統計を介して実行されるが、コンテンツ制作者からのガイダンスは一切無く、少なくとも発信エンコーダからもたらされて結果がオペレータにより制御される(動的)メタデータにより誘導されるディスプレイ適合処理とは異なり、ディスプレイ適合は「ブラインド」と評価される場合がある。
MDR配信のいくつかの利点は以下の通りである。
−配信されたMDR信号は、実際に展開されたHDRディスプレイ特徴よりよく適合し(ディスプレイでの信号変換用のレンジが小さい)、
−HDR対MDR信号はオペレータにより制御されるため、コンテンツの芸術的意図の維持を保証し(特に垂直市場/有料テレビオペレータに必須)、
−オペレータは、自身のクライアントの平均的ディスプレイ特徴により良く適合するよう数年にわたり配信された信号を適合させることができる(例:クライアントディスプレイ全体のピーク輝度が増大した場合に配信MDRピーク輝度を高める)。
ディスプレイマッピングアルゴリズムは、(MDR)信号ダイナミックレンジをディスプレイ能力に適合させる役割を果たす。しかし、安価に処理するローエンド機器から極めて複雑な画像処理モジュールが埋め込まれたハイエンドのシステムオンチップまで広範な製品群にわたるディスプレイ、及びLED、OLED又はQDOT等の各種表示技術によりコンテンツの見栄えの観点から顕著な差異が生じる。格差は、より高い差別化機会をもたらすHDRの出現により昨今むしろ増加している。問題は、内蔵ディスプレイマッピングがディスプレイの価格帯(SoC複雑度)及びレンダリング技術に多大に依存していることである。また、このような「ブラインド」ディスプレイマッピングアルゴリズム(すなわち、オペレータによる誘導も選択も無い)は、特にディスプレイ特徴がコンテンツの等級付けに用いるマスタリングディスプレイとは大幅に異なる場合、元のコンテンツの芸術的意図を維持できない恐れがある。この場合、オペレータが承認したコンテンツの動的マッピングを配送する動的マッピングメタデータを利用する利点がある。
HDR信号を搬送する二つの形式HLG及びPQがある([3]参照)。有料テレビオペレータは、品質を低下させることなくエンドツーエンドのビデオチェーン全体を通じて信号が搬送されるため品質が保証されるならば、むしろPQを検討する。HLG形式は内蔵ディスプレイ適合を提案するが、品質の観点から有料テレビオペレータの要求を満たさないという制約がある([3]及び[4]参照)。しかし、以下の原理もまた、HLG形式のHDR信号に対するディスプレイ適合に当てはまる。
SL−HDR技術(ETSI TS 103 433標準集)を考慮して、SL−HDR2は、HDR PQ10符号化信号用の動的メタデータにより導かれるディスプレイマッピングを提案する。
これを図7に示しており、配信段階で着信するHDR PQ10符号化信号が前処理ブロック70により解析されて動的メタデータSL-HDR2 MDが生成される。HDR信号は後処理ブロック71により中間ダイナミックレンジ信号MDRに変換されて、付随するメタデータMDと共に配信ネットワークNETを介して配信される。また、追加的な動的メタデータSL-HDR2 MDは、典型的にSEIメッセージ送信機構を介して、配信ネットワークへ送信される。
配信ネットワークの下流でMDR信号をPQ10対応ディスプレイにより直接解釈することができ、ディスプレイマッピング72がディスプレイ(又はディスプレイの上流、例えばSTB、UltraHD Blu-rayディスクプレーヤ等のソース受信器等)で生じる場合がある。代替的に、MDR対HDR/SDRメタデータ(例:SL−HDR2メタデータ)が付随するMDR信号を「MDR対HDR/SDR後処理」ブロック73(例:SL−HDR2ポストプロセッサが一体化されたSTB又はTV)を含む機器により解釈してディスプレイ適合されたHDR又はSDR信号を再構築することができる。当該ブロック73は表示ディスプレイに直接埋め込まれていても、又はディスプレイ適合/再構築された信号をHDR/SDRレンダリング74用の表示ディスプレイに送信するソース機器(例:STB)に別個に設定されていてもよい。
SL−HDR2仕様の別添H「Minimum and maximum value of Lpdisp for display adaptation」([2])は、SL−HDR2ディスプレイマッピングが使用可能な表示ディスプレイのピーク輝度範囲に対する勧告を与える。当該勧告で述べるように、Lpdispが100cd/mとHDR等級付けモニタの最大輝度hdrDisplayMaxLuminanceとの間の任意の箇所にある場合([1]の条項6.2.3)、条項7.3のディスプレイ適合のためのメタデータ再計算は実質的に内挿である。条項7.3と同一プロシージャを用いてメタデータを再計算してHDR等級付けモニタの最大輝度より高いLpdispの値で表示ディスプレイに対するディスプレイ適合を実行することが可能である。これは外挿であるため、Lpdispに大き過ぎる値を使用しないよう注意すべきである。当該条項は、勧告をディスプレイ適合のために条項7.3のプロシージャを適用する際のLpdispの上下限の推奨値を提供する。ディスプレイ適合は、Lpdisp_minよりも小さいLpdisp値又はLpdisp_maxよりも大きい値に対して使用すべきでなく、次式を参照されたい。
pdisp_min=100cd/m
HDR≦1000cd/mならばLpdisp_max=LHDR×2、
さもなければMin(Max(LHDR×1.25;2000);10000)
ここに、
HDRはHDRマスタリングディスプレイ最大輝度hdrDisplayMaxLuminanceである。
MDR信号にアドレス指定するS−LHDR−2ソリューションを図8に模式的に示しており、HDRs、MDR、HDR及びHDR信号のピーク輝度は例えば次式の通りである。
LHDR>500cd/m
LMDR=500cd/m
LHDR>500cd/m
LHDR<500cd/m
図7と同様に、着信PQ10符号化信号HDRsは前処理ブロック80により解析されて動的メタデータMDが生成される。HDR信号は、後処理ブロック81により中間ダイナミックレンジ信号MDRに変換される。
配信ネットワークの下流でMDR信号が表示ディスプレイのピーク輝度に適合される。最大輝度値LHDRを有するHDRディスプレイ83の場合、表示ディスプレイLpdisp1のピーク輝度値が、配信されたMDR信号のアップマッピングを外挿により実行する「Post-proc SL-HDR2」ブロック82に供給される。一方、SDR/HDRディスプレイ85において最大輝度値LHDRで受信した信号をレンダリングすべく、内挿を介した配信MDR信号のダウンマッピングが表示ディスプレイLpdisp2のピーク輝度値に応答して「Post-proc SL-HDR2」ブロック84により実行される。
当該SL−HDR2ソリューションは、送信されたMDR信号のピーク輝度よりピーク輝度が低い表示ディスプレイをアドレス指定するのに好適に設計されている。しかし、現在のSL−HDR2技術ではMDRピーク輝度信号をより高いHDRピーク輝度(例:ピーク輝度が1000cd/m超のプレミアムTV受像機を考慮して)に外挿可能であるが、外挿された信号は元のソースHDR信号(発信エンコーダ側のHDR対MDR前処理モジュールの上流)を考慮しないため、このようなディスプレイ適合された信号は元の信号意図から逸脱する場合がある。本実施形態は、MDR信号向けのSL−HDR2設計の上述の制約を回避するソリューションを提案するものである、以下の原理はHLGに基づく技術にあてはまる場合がある。
ETSI TS 103 433(SL−HDR)標準集はSL−HDR1を指定する部分1及びSL−HDR2を指定する部分2を含み、前処理及び後処理モジュールを実装している。前処理モジュールは(オペレータ承認の)メタデータを生成し、後処理モジュールは別の信号を再構築すべくメタデータを信号に適用する。後処理モジュールは一意なハードウェアブロックとして消費者向け機器に実装されているため、当該同一ハードウェアブロックを用いてSL−HDR1及びSL−HDR2信号を解釈することができる。SL−HDRメタデータもまた部分1及び2に共通である。
本実施形態の大域的な発想は、当該既存の共通ハードウェアモジュール(SL−HDRポストプロセッサを実装する家電機器に存在)を再利用して、SL−HDR1又はSL−HDR2モードのいずれかに再設定して現在の制約に応答することにより、MDR信号をダウンマッピングするSL−HDR2ポストプロセッサ又はMDR信号をアップマッピングするSL−HDR1ポストプロセッサのいずれかを利用するものである。
対応するSL−HDRポストプロセッサ論理変更を図9に示す。典型的には、配信前段階80、81は、図8を参照しながら上で述べたものと同一である。特に、SL−HDR2メタデータはSL−HDR2プリプロセッサにより一回生成され、次いで、SL−HDR2ポストプロセッサが計算されたメタデータを適用してHDR対MDR変換を実行する(すなわち、実際には配信段階の前にSL−HDR2ディスプレイマッピング処理を実行する)。その後、MDR信号及びSL−HDRメタデータが、配信ネットワークへ送信される。
配信ネットワークの後で、消費者電子機器に一体化可能なSL−HDRポストプロセッサは図10に示すように変更される。
1)第1のステップ10においてSL−HDRポストプロセッサは、
a)MDR信号
b)MDR対HDR/SDR(SL−HDR)メタデータ
c)(少なくとも)表示ディスプレイのピーク輝度(Lpdisp
を受信する(例:EDIDを介して。CTA-861.3/CTA-861-G[5]参照)。
2)SL−HDRポストプロセッサは後続のステップ11において、MDR信号のピーク輝度(LMDR)が、MDR信号を適合させるべき表示ディスプレイのピーク輝度(Lpdisp)よりも大きいか小さいかを判定する。
3)SL−HDRポストプロセッサにおけるメタデータの適用。
a)(LMDR>Lpdisp)ならばステップ12においてSL−HDR2ポストプロセッサを用いてSL−HDR2メタデータに適用する。
b)さもなければ(LMDR≦Lpdispならば)、ステップ13においてSL−HDR2メタデータの外挿を用いるのではなく、変更済みSL−HDR1ポストプロセッサを用いてSL−HDR2メタデータに適用する。
SL−HDRポストプロセッサハードウェアと同様に、SL−HDRメタデータはSL−HDR1及び2に共通であることに注意されたい。
一実施形態によれば、共通SL−HDRポストプロセッサ(すなわちSL−HDR1又は2に共通)は通常、[1]の別添Aに指定されているSL−HDR動的メタデータの欄sl_hdr_mode_value_minus1(PartID変数に合致する)に応答する特定のモード(SL−HDR1又は2)に入る。当該欄の値は、図10(上述のケース3)b))に示す論理に従い上書きされる。また、当該欄はSL−HDRポストプロセッサ内で上書きされた場合、SL−HDR1ポストプロセッサは後述するように変更(適合)される。
SL−HDR1ポストプロセッサの入力に施される適合は以下の二通りである。
−SL−HDR1ポストプロセッサへの従来の入力はガンマ伝達関数により符号化される信号であってPQ(又はHLG)ではなく、
−SL−HDR1ポストプロセッサへの従来の入力はSDR信号(ピーク輝度が100cd/mとみなされる)であってHDR/MDR信号のピーク輝度(典型的には100cd/m超)ではない。
従って、変更済みSL−HDR1ポストプロセッサによるMDR信号の処理において、TS 103 433-1の条項7.2.3.1.3[1](「知覚的に均一な信号へ」ブロック)で指定される処理が、TS 103 433-2[2]の条項7.2.3.1.3(「知覚的に均一な信号へ」ブロック)で指定される処理により代替されるため、SL−HDR1は、SDR(ガンマ符号化された)信号ではなくHDR PQ信号(MDR信号を表している)を線形化できることを示している。条項7.2.3.1.3に指定されている処理は図2、及び3のステップ282の一部である。
同様に、[1]の条項7.2.3.1.9(ブロック「逆EOTF」)に指定されている処理ブロックが、[2]の7.2.3.1.9に指定されている処理ブロックで代替される。条項7.2.3.1.9に指定されている処理は、図2、及び3のステップ282の一部である。
また、マスタリングディスプレイSDRの最大マスタリングディスプレイ輝度100cd/mを表すLSDRは、[1]の任意の関連部分においてMDR信号の最大輝度(又はピーク輝度)に設定されなければならない、すなわち仕様にLSDRが出現する都度、文書全体にわたりLMDRで代替されなければならない。
例えば、当該情報は、coded_picture_info_present_flagが1に設定された際に設定されるcoded_picture_max_luminance欄を通じて得られる。
代替的に、情報はtarget_picture_max_luminance欄から取得することができる。これらの欄は[1]の別添Aに指定されている。
一変型例において、SL−HDR2では0に固定されているパラメータ値chroma_to_luma_injection[i]及びk_coefficient[j]は、SL−HDR1ポストプロセッサが使用された場合、すなわちSL−HDRポストプロセッサがMDR信号をアップマッピングすべくSL−HDR1ポストプロセッサモードに設定された場合に変化する。
一例として、これらの値は既定値としてTS 103 433-1の別添Fの表F.1に記述されている回復モード値に設定されている。
当該実施形態のいくつかの利点は以下の通りである。
−MDR信号のアップマッピングにSL−HDR1後処理を用いることにより、設計上SL−HDR1は信号を自発的にアップマッピングするのに対しSL−HDR2は信号を自発的にダウンマッピングするため(自身のMDR下方変換の前に元の信号ピーク輝度を考慮しないMDR信号の外挿は無い)、SL−HDR2後処理に対する再構築されたHDRの見栄えが向上し、従って結果的にSL−HDRポストプロセッサの使用が最適化される。
−当該ソリューションは既に市販されているSL−HDR対応消費者製品用のファームウェア更新として展開可能であろう。
図1〜4c、図6〜10においてモジュールは関数ユニットであり、識別可能な物理ユニットに関連付けられていてもいなくてもよい。例えば、当該モジュール又はその一部が一意な要素又は回路にまとめられていてよく、或いはソフトウェアの機能性に寄与することもできる。逆に、いくつかのモジュールは潜在的に別々の物理的実体で構成されていてもよい。本原理と互換性を有する装置は、純粋なハードウェアを用いて、例えば各々「特定用途向け集積回路」、「フィールドプログラマブルゲートアレイ」、「超大規模集積回路」を意味するASIC又はFPGA或いはVLSI等の専用ハードウェアを用いて、又は装置に埋め込まれたいくつかの集積電子部品から、或いはハードウェアとソフトウェア要素の組み合わせから構成されていてよい。
図5に、図1〜図4c、図6〜10との関連で記述した方法を実装すべく構成可能な装置50のアーキテクチャの例示的な一実施形態を示す。
装置50は、データ及びアドレスバス51により紐付けられた以下の素子、すなわちマイクロプロセッサ52(CPU)、例えばDSP(デジタル信号プロセッサ)、ROM(読み出専用メモリ)53、RAM(ランダムアクセスメモリ)54、送信対象データをアプリケーションから受信するためのI/Oインターフェース55及び任意選択的に電池56を含む。一例によれば、電池56は装置の外部にある。上述の各メモリにおいて、本明細書で用いる用語「レジスタ」は、小容量(数ビット)の領域又は極めて大容量の領域(例:プログラム全体、又は大量の受信或いは復号化データ)に対応していてよい。ROM53は少なくとも1個のプログラム及び複数のパラメータを含む。ROM53は、本原理による技術を実行するアルゴリズム及び命令を保存することができる。電源投入時に、CPU52はプログラムをRAM54にアップロードして対応する命令を実行する。RAM54は、CPU52により実行されて、装置50の電源投入後にアップロードされるプログラムをレジスタに、入力データをレジスタに、本方法の異なる状態の中間データをレジスタに、及び本方法の実行に用いる他の変数をレジスタに含む。
本明細書に記述する実装は例えば、方法又は処理、装置、ソフトウエアプログラム、データストリーム、又は信号に実装されていてよい。単一形式の実装の文脈でのみ議論(例えば方法又は装置としてのみ議論)する場合であっても、議論する特徴の実装もまた他の形式(例えばプログラム)で実装されていてよい。装置は、例えば適当なハードウェア、ソフトウェア、及びファームウェアに実装されていてよい。方法は、例えばコンピュータ、マイクロプロセッサ、集積回路、又はプログラム可能論理装置を含む一般に処理装置を指すプロセッサ等の装置に実装されていてよい。プロセッサはまた、通信装置、例えばコンピュータ、携帯電話、可搬/携帯情報端末(「PDA」)、及びエンドユーザー間の情報通信を司る他の装置を含む。
一例によれば、入力ビデオ又は入力ビデオの画像がソースから得られる。例えばソースは、ローカルメモリ(53又は54)、例えばビデオメモリ又はRAM(ランダムアクセスメモリ)、フラッシュメモリ、ROM(読み出し専用メモリ)、ハードディスク、記憶インターフェース(55)、例えば大容量記憶装置、RAM、フラッシュメモリ、ROM、光ディスク又は磁気サポートとのインターフェース、通信インターフェース(55)、例えば有線インターフェース(例えばバスインターフェース、ワイドエリアネットワークインターフェース、ローカルエリアネットワークインターフェース)又は無線インターフェース(IEEE 802.11インターフェース又はBluetooth(登録商標)インターフェース等)、及び画像取得回路(例えばCCD(電荷結合素子)又はCMOS(相補型金属酸化膜半導体)等のセンサ)を含む組に属している。
複数の例によれば、メタデータを搬送するビットストリームは宛先へ送られる。一例として、ビットストリームはローカル又はリモートメモリ、例えばビデオメモリ又はRAM(54)、ハードディスクに保存される。一変型例において、複数のビットストリームのうち少なくとも1個は、記憶インターフェース(55)、例えば大容量記憶装置、フラッシュメモリ、ROM、光ディスク又は磁気サポートとのインターフェースへ送られ、及び/又は通信インターフェース(55)、例えばポイントツーポイントリンク、通信バス、ポイントツーマルチポイントリンク又はブロードキャストネットワークとのインターフェースを介して送信される。
他の複数の例によれば、メタデータを搬送するビットストリームがソースから得られる。例示的に、ビットストリームはローカルメモリ、例えばビデオメモリ(54)、RAM(54)、ROM(53)、フラッシュメモリ(53)又はハードディスク(53)から読み込まれる。一変型例において、ビットストリームは記憶インターフェース(55)、例えば大容量記憶装置、RAM、ROM、フラッシュメモリ、光ディスク又は磁気サポートとのインターフェースから受信され、及び/又は通信インターフェース(55)、例えばポイントツーポイントリンク、バス、ポイントツーマルチポイント又はブロードキャストネットワークとのインターフェースから受信される。
複数の例によれば、上述の方法を実装すべく構成されている装置50は、モバイル機器、通信機器、ゲーム機器、タブレット(タブレットコンピュータ)、ラップトップ、静止画像カメラ、ビデオカメラ、符号化/復号化チップ、テレビジョン、セットトップボックス、ディスプレイ、静止画像サーバ及びビデオサーバ(例:ブロードキャストサーバ、ビデオオンデマンドサーバ又はウェブサーバ)を含む組に属する。
本明細書に記述する各種の処理及び特徴の実装は各種の異なる設備又はアプリケーションで実現可能である。そのような設備の例として、エンコーダ、デコーダ、デコーダからの出力を処理するポストプロセッサ、エンコーダへの入力を提供しているプリプロセッサ、ビデオコーダー、ビデオデコーダ、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話、PDA、及び画像又はビデオを処理する他の任意の装置、或いは他の通信装置を含む。言うまでもなく、設備は移動可能であってよく、乗り物に設置されていてもよい。
また、上述の方法はプロセッサにより実行される命令により実装されてよく、そのような命令(及び/又は実行により生成されるデータ値)はコンピュータ可読記憶媒体に保存されていてよい。コンピュータ可読記憶媒体は1個以上のコンピュータ可読媒体に実装され且つコンピュータにより実行可能なコンピュータ可読プログラムコードが実装されたコンピュータ可読プログラム製品の形式をなしていてよい。本明細書で用いるコンピュータ可読記憶媒体は、情報を保存する固有の能力及び当該情報を検索する固有の能力を備えた非一時的記憶媒体と考えられる。コンピュータ可読記憶媒体は例えば、電子、磁気、光、電磁気、赤外、又は半導体システム、装置、又は機器、或いは上述の任意の適当な組み合わせであってよいが、これらに限定されない。以下の記述は、本原理を適用可能なコンピュータ可読記憶媒体のより具体的な例を与えるが、当業者には容易に理解されるように例示目的に過ぎず、且つ網羅的でないことを理解されたい。可搬コンピュータ、フロッピーディスク、ハードディスク、読み出し専用メモリ(ROM)、消去可能プログラム可能読み出し専用メモリ(EPROM又はフラッシュメモリ)、可搬コンパクトディスク読出し専用メモリ(CD−ROM)、光記憶装置、磁気記憶装置、又は上記の任意の適当な組み合わせ。
命令は、プロセッサ可読媒体に有形的に実装されたアプリケーションプログラムを形成していてよい。命令は例えば、ハードウェア、ファームウェア、ソフトウェア、又はこれらの組み合わせであってよい。命令は例えば、オペレーティングシステム、別個のアプリケーション、又は両者の組み合わせに見出すことができる。プロセッサは従って、例えば、処理を実行すべく構成された装置、及び処理を実行する命令を有するプロセッサ可読媒体(記憶装置など)を含む装置の両方として特徴付けることができる。更に、プロセッサ可読媒体は、命令に加え、又は命令の代わりに、実行により生成されたデータ値を保存することができる。
当業者には明らかになるように、実装により例えば保存又は送信可能な情報を搬送すべく形式化された各種の信号を生成することができる。情報は例えば、方法を実行する命令、又は上述の実行の一つにより生成されたデータを含んでいてよい。例えば、信号は、本原理の記述された例の構文を読み書きする規則をデータとして搬送すべく、又は本原理の記述された例により書かれた実際の構文値をデータとして搬送すべく形式化されていてよい。このような信号は例えば、電磁波(例えばスペクトルの無線周波数部分を用いて)として、又はベースバンド信号として形式化されていてよい。形式化は例えば、データストリームを符号化して、符号化されたデータストリームで配送波を変調することを含んでいてよい。信号が搬送する情報は例えばアナログ又はデジタル情報であってよい。信号は、公知のように各種の異なる有線又は無線リンクを介して送信されてよい。信号はプロセッサ可読媒体に保存されていてよい。
多くの実装について記述してきたが、各種の変更が可能であることが理解されよう。例えば、異なる実装の要素を組み合わせ、補完、変更、又は除外して他の実装を実現することができる。また、当業者には、開示した構造及び処理は他の構造及び処理で代替可能であって、得られた実装が少なくとも実質的に同一の関数を、少なくとも実質的に同一の仕方で実行して、開示した実装と少なくとも実質的同一の結果が得られることが理解されよう。従って、本出願により上述の、及び他の実装に想到し得る。
参考文献
[1] ETSI TS 103 433-1 v1.2.1(2017-08),≪High-Performance Single Layer High Dynamic Range(HDR)System for use in Consumer Electronics devices;Part 1:Directly Standard Dynamic Range(SDR)Compatible HDR system(SL-HDR1)”.
[2] ETSI TS 103 433-2 v1.1.1 :,≪High-Performance Single Layer High Dynamic Range(HDR)System for use in Consumer Electronics devices;Part 2:Enhancements for EPRceptual Quantization(PQ)transfer function based High Dynamic Range(HDR)Systems(SL-HDR-2)”.
[3] Rec.ITU-R BT.2100-2(2018-07),“Image parameter values for High dynamic range television for use in production and international programme exchange”
[4] Report ITU-R BT.2390-4,“High dynamic range television for production and international programme exchange”,(04-2018).
[5] CTA-861-G,CTA Standard CTA-861-G,November 2016:“A DTV Profile for Uncompressed High Speed Digital Interfaces”.

Claims (14)

  1. ビデオ信号を処理する方法であって、
    中間ダイナミックレンジビデオ信号及び付随するメタデータ、すなわち前記中間ダイナミックレンジビデオ信号のピーク輝度値を表すデータを含むメタデータを受信すること、
    表示ディスプレイのピーク輝度値を表すデータを受信すること、
    前記中間ダイナミックレンジビデオ信号のピーク輝度値が前記表示ディスプレイのピーク輝度値よりも大きいか又は小さいかを判定すること、
    受信した標準ダイナミックレンジビデオ信号及び付随するメタデータに基づいて高ダイナミックレンジビデオ信号を再構築する第1のモードと、受信した高ダイナミックレンジビデオ信号をレンダリング機器向けに最適化する第2のモードとを有するプロセッサを前記判定に基づいて構成すること、及び
    前記プロセッサにより前記中間ダイナミックレンジビデオ信号を、前記中間ダイナミックレンジビデオ信号のピーク輝度値が前記表示ディスプレイのピーク輝度値よりも小さい場合は前記第1のモードで、及び前記中間ダイナミックレンジビデオ信号のピーク輝度値が前記表示ディスプレイのピーク輝度値よりも大きい場合は前記第2のモードで処理することを含む方法。
  2. ビデオ信号を処理するプロセッサであって、前記プロセッサが、受信した標準ダイナミックレンジビデオ信号及び付随するメタデータに基づいて高ダイナミックレンジビデオ信号を再構築する第1のモードと、受信した高ダイナミックレンジビデオ信号をレンダリング機器向けに最適化する第2のモードとを有し、前記プロセッサが、
    中間ダイナミックレンジビデオ信号及び付随するメタデータ、すなわち、前記中間ダイナミックレンジビデオ信号のピーク輝度値を表すデータを含むメタデータを受信する手段と、
    表示ディスプレイのピーク輝度値を表すデータを受信する手段と、
    前記中間ダイナミックレンジビデオ信号のピーク輝度値が前記表示ディスプレイのピーク輝度値よりも大きいか又は小さいかを判定する手段と、
    前記中間ダイナミックレンジビデオ信号を、前記中間ダイナミックレンジビデオ信号のピーク輝度値が前記表示ディスプレイのピーク輝度値よりも小さい場合は第1のモードで、及び前記中間ダイナミックレンジビデオ信号のピーク輝度値が前記表示ディスプレイのピーク輝度値よりも大きい場合は第2のモードで処理する手段を含むプロセッサ。
  3. 前記中間ダイナミックレンジビデオ信号が、前記中間ダイナミックレンジビデオ信号をアップマッピングすべく前記第1のモードで処理され、前記中間ダイナミックレンジビデオ信号をダウンマッピングすべく前記第2のモードで処理される、請求項1に記載の方法又は請求項2に記載のプロセッサ。
  4. 前記メタデータに含まれる変数が、前記中間ダイナミックレンジビデオ信号を生成すべく高ダイナミックレンジビデオ信号が前記第2のモードによる配信前に処理されたことを示すべく前記第2のモードを表すデータ値を有している、請求項3に記載の方法又はプロセッサ。
  5. 前記中間ダイナミックレンジビデオ信号のピーク輝度値が前記表示ディスプレイのピーク輝度値よりも小さい場合、前記変数が前記第1のモードを表すデータ値により上書きされる、請求項4に記載の方法又はプロセッサ。
  6. 前記変数が、前記受信したメタデータ内のSEIメッセージの一部である、請求項4又は5に記載の方法又はプロセッサ。
  7. 前記プロセッサが前記第1のモードでSL−HDR1信号を、及び前記第2のモードでSL−HDR2信号を処理すべく構成されていて、前記変数がsl_hdr_mode_value_minus1構文要素に対応している、請求項6に記載の方法又はプロセッサ。
  8. 前記受信した中間ダイナミックレンジビデオ信号がSL−HDR2信号として表されていて、前記プロセッサが前記信号を前記第1のモードで処理すべく適合されている、請求項7に記載の方法又はプロセッサ。
  9. 前記プロセッサが前記中間ダイナミックレンジビデオ信号を前記第1のモードで線形化すべく適合されている、請求項8に記載の方法又はプロセッサ。
  10. 前記第1のモードによる処理において、標準ダイナミックレンジマスタリングディスプレイの最大ディスプレイマスタリング輝度を表すパラメータが、前記中間ダイナミックレンジビデオ信号のピーク輝度値に設定されている、請求項8又は9に記載の方法又はプロセッサ。
  11. 請求項2〜10のいずれか1項に記載のプロセッサを含む装置。
  12. 前記処理された中間ダイナミックレンジビデオ信号を前記ディスプレイ機器に提供する出力を更に含む、請求項11に記載の装置。
  13. 前記処理された中間ダイナミックレンジビデオ信号を表示するディスプレイを更に含む、請求項11に記載の装置。
  14. コンピュータにより実行された場合、請求項1及び3〜10のいずれか1項に記載の方法を前記コンピュータに実行させる命令を含むコンピュータプログラム製品。
JP2020567231A 2018-07-20 2019-07-11 Sl-hdr2形式の中間ダイナミックレンジビデオ信号を処理する方法及び装置 Active JP7483634B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18305993.0 2018-07-20
EP18305993 2018-07-20
PCT/US2019/041275 WO2020018331A1 (en) 2018-07-20 2019-07-11 Method and apparatus for processing a medium dynamic range video signal in sl-hdr2 format

Publications (3)

Publication Number Publication Date
JP2021530884A true JP2021530884A (ja) 2021-11-11
JPWO2020018331A5 JPWO2020018331A5 (ja) 2022-07-15
JP7483634B2 JP7483634B2 (ja) 2024-05-15

Family

ID=67383776

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020567231A Active JP7483634B2 (ja) 2018-07-20 2019-07-11 Sl-hdr2形式の中間ダイナミックレンジビデオ信号を処理する方法及び装置

Country Status (7)

Country Link
US (2) US11388447B2 (ja)
EP (1) EP3824633A1 (ja)
JP (1) JP7483634B2 (ja)
KR (1) KR20210028654A (ja)
CN (1) CN112400324A (ja)
IL (1) IL280223B2 (ja)
WO (2) WO2020018331A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7453214B2 (ja) 2018-09-05 2024-03-19 コーニンクレッカ フィリップス エヌ ヴェ マルチレンジhdrビデオコード化
US11991380B2 (en) 2020-07-01 2024-05-21 Dolby Laboratories Licensing Corporation Distribution of high dynamic range images in a mixed capability playback system

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11544826B2 (en) * 2021-04-30 2023-01-03 Realnetworks, Inc. Intelligent metadata service for video enhancement
US11587213B1 (en) 2021-11-05 2023-02-21 GM Cruise Holdings LLC. Preserving dynamic range in images
CN115564659B (zh) * 2022-02-28 2024-04-05 荣耀终端有限公司 视频处理方法和装置
WO2024023008A1 (en) * 2022-07-27 2024-02-01 Interdigital Ce Patent Holdings, Sas Method for preventing clipping in sl-hdrx systems

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6368365B2 (ja) 2013-07-18 2018-08-01 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. Hdrイメージの符号化のためのコードマッピング関数を作成するための方法及び装置、並びに、かかる符号化イメージの使用のための方法及び装置
TWI630821B (zh) 2013-07-19 2018-07-21 新力股份有限公司 File generation device, file generation method, file reproduction device, and file reproduction method
EP3022935A1 (en) * 2013-07-19 2016-05-25 Koninklijke Philips N.V. Hdr metadata transport
WO2015124754A1 (en) * 2014-02-21 2015-08-27 Koninklijke Philips N.V. High definition and high dynamic range capable video decoder
CN107005720B (zh) * 2014-08-08 2020-03-06 皇家飞利浦有限公司 用于编码hdr图像的方法和装置
EP3220645A1 (en) * 2016-03-18 2017-09-20 Thomson Licensing A method and a device for encoding a high dynamic range picture, corresponding decoding method and decoding device
US10368099B2 (en) * 2016-08-09 2019-07-30 Qualcomm Incorporated Color remapping information SEI message signaling for display adaptation
CN107995497B (zh) * 2016-10-26 2021-05-28 杜比实验室特许公司 高动态范围视频的屏幕自适应解码
KR102554379B1 (ko) * 2016-10-31 2023-07-11 엘지디스플레이 주식회사 하이 다이나믹 레인지 영상 처리 방법 및 영상 처리 모듈과 그를 이용한 표시 장치
US10218952B2 (en) * 2016-11-28 2019-02-26 Microsoft Technology Licensing, Llc Architecture for rendering high dynamic range video on enhanced dynamic range display devices
EP3525463A1 (en) * 2018-02-13 2019-08-14 Koninklijke Philips N.V. System for handling multiple hdr video formats

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7453214B2 (ja) 2018-09-05 2024-03-19 コーニンクレッカ フィリップス エヌ ヴェ マルチレンジhdrビデオコード化
US11991380B2 (en) 2020-07-01 2024-05-21 Dolby Laboratories Licensing Corporation Distribution of high dynamic range images in a mixed capability playback system

Also Published As

Publication number Publication date
KR20210028654A (ko) 2021-03-12
US20210266608A1 (en) 2021-08-26
US11902595B2 (en) 2024-02-13
IL280223A (en) 2021-03-01
WO2020016331A1 (en) 2020-01-23
EP3824633A1 (en) 2021-05-26
JP7483634B2 (ja) 2024-05-15
CN112400324A (zh) 2021-02-23
IL280223B2 (en) 2024-02-01
IL280223B1 (en) 2023-10-01
WO2020018331A1 (en) 2020-01-23
US20220368954A1 (en) 2022-11-17
US11388447B2 (en) 2022-07-12

Similar Documents

Publication Publication Date Title
CN111316625B (zh) 用于从第一图像生成第二图像的方法和设备
JP7483634B2 (ja) Sl-hdr2形式の中間ダイナミックレンジビデオ信号を処理する方法及び装置
JP7086587B2 (ja) 復号された画像データから画像データを再構成する方法および装置
US20180249182A1 (en) Method and device for reconstructing image data from decoded image data
US10600163B2 (en) Method and device for reconstructing a display adapted HDR image
KR102496345B1 (ko) Hdr 대 sdr 변환 동안의 컬러 보정을 위한 방법 및 장치
WO2019203973A1 (en) Method and device for encoding an image or video with optimized compression efficiency preserving image or video fidelity
WO2019108899A1 (en) Saturation control for high-dynamic range reconstruction
JP7074461B2 (ja) ディスプレイ適合hdr画像を再構成する方法およびデバイス
CA2986520A1 (en) Method and device for reconstructing a display adapted hdr image
JP7464537B2 (ja) 画像を符号化するための方法および装置
EP3528201A1 (en) Method and device for controlling saturation in a hdr image
US20220086507A1 (en) Decoding an image

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220707

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220707

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230928

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240327

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240401

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240501

R150 Certificate of patent or registration of utility model

Ref document number: 7483634

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150