JP2018524924A - Hdrピクチャ及び前記hdrピクチャから得られるsdrピクチャの両方をカラーマッピング関数を使用して符号化するための方法及びデバイス - Google Patents

Hdrピクチャ及び前記hdrピクチャから得られるsdrピクチャの両方をカラーマッピング関数を使用して符号化するための方法及びデバイス Download PDF

Info

Publication number
JP2018524924A
JP2018524924A JP2017568278A JP2017568278A JP2018524924A JP 2018524924 A JP2018524924 A JP 2018524924A JP 2017568278 A JP2017568278 A JP 2017568278A JP 2017568278 A JP2017568278 A JP 2017568278A JP 2018524924 A JP2018524924 A JP 2018524924A
Authority
JP
Japan
Prior art keywords
picture
color
sdr
hdr
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017568278A
Other languages
English (en)
Inventor
オリヴィエ,ヤニック
ルレアンネック,ファブリス
ロペス,パトリック
フィリップ ボルデ
フィリップ ボルデ
ラセール,セバスティアン
トウゼ,デイビッド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2018524924A publication Critical patent/JP2018524924A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98Adaptive-dynamic-range coding [ADRC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

HDRピクチャ(IHDR)及び前記HDRピクチャから得られる第1のSDRピクチャ(ISDR1)の両方を少なくとも1つのビットストリーム(F1、F2、F3、F4)に符号化する方法及びデバイス。方法は:− HDRピクチャ(IHDR)をトーンマッピングすることによって第2のSDRピクチャ(ISDR2)を取得するステップ(210)と、− 第1のSDRピクチャ(ISDR1)から得られる(220)第3のSDRピクチャ(ISDR3)の色への第2のSDRピクチャ(ISDR2)の色のマッピングを可能にするカラーマッピング関数(CMF)を取得するステップ(230)と、− カラーマッピング関数を表す情報(INF)をビットストリームに符号化するステップ(240)と、− 第1のSDRピクチャ(ISDR1)から得られる(250)第4のSDRピクチャ(ISDR4)をビットストリームに符号化するステップ(260)とを備える。本開示は、復号の方法及びデバイスに更に関する。

Description

本開示は一般にピクチャ/ビデオ符号化及び復号に関する。
本セクションは、以下に記載及び/又は特許請求された本原理の様々な態様に関連し得る、技術の様々な態様を読者に紹介することを意図したものである。この議論は、本原理の様々な態様のより良い理解を容易にするために背景情報を読者に提供するのに役立つと考えられる。したがって、これらの記述は、従来技術の承認としてではなく、この観点から読まれるべきであることを理解されたい。
以下では、ピクチャは、特定のピクチャ/ビデオフォーマットの1つ又はいくつかのサンプル(画素値)のアレイを含み、このフォーマットは、ピクチャ(又はビデオ)の画素値に関する全ての情報と、たとえば、ピクチャ(又はビデオ)を視覚化及び/又は復号するためのディスプレイ及び/又は任意の他のデバイスによって使用され得る全ての情報とを指定するものである。ピクチャは、第1のサンプルのアレイの形状の少なくとも1つの成分、通常はルマ(luma)(又は輝度(luminance))成分、及び場合によっては、少なくとも1つの他のサンプルのアレイの形状の少なくとも1つの他の成分、通常は色成分を含む。又は、等価的に、同一の情報は、従来の3色のRGB表現などのカラーサンプルのアレイのセットによっても表現され得る。
画素値はC個の値のベクトルによって表現され、ここでCは成分の数である。ベクトルの各値はいくつかのビットで表現され、これは画素値の最大のダイナミックレンジを規定する。
標準ダイナミックレンジピクチャ(SDR(Standard-Dynamic-Range)ピクチャ)は、輝度値が2のべき乗又はfストップで通常は測定される限定されたダイナミックで表現されるカラーピクチャである。SDRピクチャは、以下ではダイナミックとも呼ばれる、約10fストップのダイナミックレンジ、すなわち、線形領域において最も明るい画素と最も暗い画素との比率1000を有し、たとえば、ITU−R BT.709 OETF(光電伝達関数)(Rec.ITU−R BT.709−5、2002年4月)、又はITU−R BT.2020 OETF(Rec.ITU−R BT.2020−1、2014年6月)を使用してダイナミックを低減することによって、非線形領域において限定されたビット数(HDTV(高精細度テレビジョンシステム)及びUHDTV(超高精細度テレビジョンシステム)では8又は10であることが最も多い)で符号化される。この限定された非線形表現は、暗い及び明るい輝度範囲において特に、小信号変動の正しいレンダリングを可能にしない。高ダイナミックレンジピクチャ(HDR(High-Dynamic-Range)ピクチャ)では、信号のダイナミックがはるかに高く(最大で20fストップ、最も明るい画素と最も暗い画素との比率100万まで)、その全範囲にわたって信号の高精度を維持するためには新たな非線形表現が必要とされる。HDRピクチャでは、生データは通常、浮動小数点フォーマット(コンポーネントごとに32ビット又は16ビット、すなわち、浮動小数又は半浮動小数)で表現され、最も一般的なフォーマットはopenEXR半浮動小数フォーマット(RGB成分ごとに16ビット、すなわち、画素あたり48ビット)、又は、通常は少なくとも16ビットであるlong表現の整数である。
色域は特定の完全な色のセットである。最も一般的な使用法は、たとえば、所与の色空間内で、又は特定の出力デバイスによってなど、所与の状況において正確に表現され得る色のセットを指す。
色域は、図1に示されたCIE1931色空間色度図に与えられたRGB原色と、白色点とによって定義される場合がある。
いわゆるCIE1931色空間色度図において原色を定義することは一般的である。これは、輝度成分と独立して色を定義する2次元図(x、y)である。そして、任意の色XYZは、以下の変換を使用してこの図に投影される:
(外1)
Figure 2018524924
z=1−x−y成分も定義されるが、追加情報を持たない。
この図では、3原色RGBの(x,y)座標のセットを頂点とする三角形によって色域が定義されている。白色点Wは、三角形に属する他の所与の(x,y)点であり、通常は三角形の中心に近い。
カラーボリュームは、色空間と、前記色空間において表現される値のダイナミックレンジとによって定義される。
たとえば、色域は、UHDTV用のRGB ITU−R勧告BT.2020色空間によって定義される。より古い規格であるITU−R勧告BT.709は、HDTV用により小さい色域を定義している。SDRでは、データが符号化されるカラーボリュームについて正式に100ニット(カンデラ/平方メートル)までダイナミックレンジが定義されているが、一部のディスプレイ技術はより明るい画素を表示することができる。
Danny Pascaleによる「A Review of RGB Color Spaces」で広範に説明されているように、色域の変更、すなわち3原色及び白色点をある色域から他のものにマッピングする変換は、線形RGB色空間において3×3行列を使用して実施され得る。また、XYZからRGBへの空間の変更は、3×3行列によって実施される。結果として、RGB又はXYZのいずれが色空間であるかにかかわらず、色域の変更は3×3行列によって実施され得る。たとえば、BT.2020線形RGBからBT.709 XYZへの色域の変更は、3×3行列によって実施され得る。
高ダイナミックレンジピクチャ(HDRピクチャ)は、輝度値がSDRピクチャのダイナミックよりも高いHDRダイナミックで表現されるカラーピクチャである。
HDRダイナミックは規格ではまだ定義されていないが、数千ニットまでのダイナミックレンジを予想するものもいる。たとえば、HDRカラーボリュームはRGB BT.2020色空間によって定義され、前記RGB色空間で表現される値は0から4000ニットのダイナミックレンジに属する。HDRカラーボリュームの他の例はRGB BT.2020色空間によって定義され、前記RGB色空間で表現される値は0から1000ニットのダイナミックレンジに属する。
ピクチャ(又はビデオ)のカラーグレーディングは、ピクチャ(又はビデオ)の色を変更/増強する処理である。通常、ピクチャのカラーグレーディングは、このピクチャに対するカラーボリューム(色空間及び/又はダイナミックレンジ)の変更、又は色域の変更を含む。したがって、同一のピクチャの2つの異なるカラーグレーディングバージョンは、異なるカラーボリューム(又は色域)において値が表現されたこのピクチャのバージョン、又は、それらの色の少なくとも1つが異なるカラーグレードに従って変更/増強されたピクチャのバージョンである。これはユーザとのインタラクションを含み得る。
たとえば、映画製作では、3色のカメラを使用して、ピクチャ(ビデオ)が3つのコンポーネント(赤、緑及び青)で構成されるRGBカラー値へキャプチャされる。RGBカラー値は、センサの3色の特性(原色)に依存する。
次いで、キャプチャされたピクチャ(又はビデオ)のHDRカラーグレーディングバージョンは、(特定の劇場用グレードを使用して)劇場用レンダリングを得るために取得される。典型的には、キャプチャされたピクチャ(又はビデオ)の第1のカラーグレーディングバージョンの値は、UHDTV用のパラメータ値を定義するBT.2020などの規格化されたYUVフォーマットに従って表現される。
YUVフォーマットは、典型的には、非線形関数、いわゆる光電伝達関数(OETF)を線形RGB成分に適用して非線形成分R’G’B’を取得し、次いで、色変換(通常は3×3行列)を得られた非線形R’G’B’成分に適用して3つの成分YUVを得ることによって実施される。第1の成分Yは輝度成分であり、2つの成分U、Vは色差(chrominance)成分である。
次いで、カラリスト(Colorist)は、通常は撮影監督と共同して、キャプチャされたピクチャ(又はビデオ)の第1のカラーグレーディングバージョンのカラー値への調整を、一部のカラー値を微調整/微調節して芸術的意図を吹き込むことによって実施する。
キャプチャされたピクチャのSDRカラーグレーディングバージョンも取得されて、(特定の家庭用ブルーレイディスク/DVDグレードを使用して)家庭用リリースレンダリングが取得される。典型的には、キャプチャされたピクチャの第2のカラーグレーディングバージョンの値は、規格化されたYUVフォーマット、たとえば、標準4:3及びワイドスクリーン16:9のアスペクト比の標準デジタルテレビジョンのスタジオ符号化パラメータを定義するITU−R勧告BT.601(Rec.601)、又は高精細度テレビジョンシステム(HDTV)用のパラメータ値を定義するITU−R勧告BT.709に従って表現される。
キャプチャされたピクチャのそのようなSDRカラーグレーディングバージョンを取得することは、通常、キャプチャされたピクチャの第1のカラーグレーディングバージョンのカラーボリューム(たとえば、カラリストによって修正されたRGB BT.2020 1000ニット)を縮小して、キャプチャされたピクチャの第2のカラーグレーディングバージョンが第2のカラーボリューム(たとえば、RGB BT.709 1000ニット)に属するようにすることを備える。これは、通常は3次元ルックアップテーブル(3D LUTとも呼ばれる)によって近似されるカラーマッピング関数(CMF)(たとえば、RGB BT.2020フォーマットをRGB BT.709にマッピングするためのもの)を使用する自動的なステップである。検討される全てのYUVフォーマットが、任意のRGBからYUV及びYUVからRGBへのカラーマッピングの定義を可能にする原色パラメータによって特徴付けられることに留意されたい。
次いで、カラリストは、通常は撮影監督と共同して、キャプチャされたピクチャの第2のカラーグレーディングバージョンのカラー値への調整を、一部のカラー値を微調整/微調節して家庭用リリースに芸術的意図を吹き込むことによって実施する。
解決されるべき問題は、キャプチャされたピクチャ(又はビデオ)のHDRカラーグレーディングバージョン及びSDRカラーグレーディングバージョンの両方を配信すること、すなわち、キャプチャされたピクチャ(又はビデオ)のカラーグレーディングバージョンを表す圧縮されたHDRピクチャ(又はビデオ)を配信しつつ、同時に、たとえばレガシーSDRディスプレイとの後方互換性などのために、前記キャプチャされたピクチャ(又はビデオ)のカラーグレーディングSDRバージョンを表す関連するSDRピクチャ(又はビデオ)を配信することである。前記関連するSDRピクチャ(又はビデオ)は、課せられたSDRピクチャ(ビデオ)と呼ばれることもある。
直接的な解決法は、これらのHDR及びSDRカラーグレーディングピクチャ(又はビデオ)の両方を配信インフラストラクチャ上で同時配信することである。この解決法の欠点は、SDRピクチャ(又はビデオ)をブロードキャストするように適合されたレガシーインフラストラクチャ、たとえば、HEVCメイン10プロファイル(「High Efficiency Video Coding」、SERIES H:AUDIOVISUAL AND MULTIMEDIA SYSTEMS、Recommendation ITU−T H.265、Telecommunication Standardization Sector of ITU、2014年10月)と比較して、必要な帯域幅を実質的に2倍にすることである。
レガシー配信インフラストラクチャを使用することは、HDRピクチャ(又はビデオ)の配信の出現を加速するための要件である。また、HDR及びSDRピクチャ(又はビデオ)の両方の良好な品質を確保しながら、ビットレートが最小化されなければならない。
以下は、本開示のいくつかの態様の基本的な理解を提供するために、本開示の簡略化された概要を提示する。この概要は本開示の広範な概観ではない。本開示の主要な要素も重要な要素も特定するものではない。以下の概要は、以下に提供されるより詳細な説明の前置きとして、簡略化した形態で本開示のいくつかの態様を提示するにすぎない。
本原理は従来技術の欠点の少なくとも1つを改善することを目的とし、これを、HDRピクチャ及び前記HDRピクチャから得られる第1のSDRピクチャの両方を少なくとも1つのビットストリームに符号化する方法であって:
− HDRピクチャから第2のHDRピクチャを取得するステップであって、
− カラーピクチャの輝度から得られる変調値に依存する非線形関数をカラーピクチャの輝度に適用して、輝度成分のダイナミックがカラーピクチャの輝度のダイナミックと比較して低減されるようにすることによって、前記輝度成分を取得するステップと、
− 2つの色差成分を取得するステップであって、
− 輝度成分に依存する係数により各色成分をスケーリングすることによって少なくとも1つの中間色成分を取得するステップと、
− 前記少なくとも1つの中間色成分から前記2つの色差成分を取得するステップと
によって取得するステップと
によって取得するステップにおいて、
第2のHDRピクチャが、輝度成分及び2つの色差成分を組み合わせることによって得られる、
取得するステップと、
− 第1のSDRピクチャから得られる第3のSDRピクチャの色への第2のSDRピクチャの色のマッピングを可能にするカラーマッピング関数を取得するステップと、
− カラーマッピング関数を表す情報をビットストリームに符号化するステップと、
− 第1のSDRピクチャから得られる第4のSDRピクチャをビットストリームに符号化するステップと
を備える、方法によって行う。
本原理の一例によれば、第3及び第4のSDRピクチャが第1のSDRピクチャである。
本原理の一例によれば、第4のSDRピクチャが第1のSDRピクチャであり、第3のSDRピクチャが符号化された第1のSDRピクチャの復号されたバージョンである。
本原理の一例によれば、第3のSDRピクチャが第1のSDRピクチャであり、第4のSDRピクチャが、カラーマッピング関数を第2のSDRピクチャの色に適用することによって得られる。
本原理の一例によれば、第3のSDRピクチャが符号化された第1のSDRピクチャの復号されたバージョンであり、第4のSDRピクチャが、カラーマッピング関数を第2のSDRピクチャの色に適用することによって得られる。
それらの態様の他の1つによれば、本原理は、少なくとも1つのビットストリームからHDRピクチャを復号する方法であって:
− ビットストリームを復号することによって得られる復号された第4のSDRピクチャから復号された第1のSDRピクチャを取得するステップと、
− ビットストリームを復号することによってカラーマッピング関数を表す情報を取得するステップと、
− 復号された第1のSDRピクチャから得られる復号された第3のSDRピクチャの色にカラーマッピング関数の逆関数を適用することによって復号された第2のSDRピクチャを取得するステップと、
− 復号された第2のSDRピクチャから復号されたHDRピクチャを取得するステップであって、
− ビットストリームから得られる輝度成分に非線形関数を適用して、第1の成分のダイナミックが輝度成分のダイナミックと比較して増加されるようにすることによって、前記第1の成分を取得するステップと、
− ビットストリームから得られる前記第1の成分及び2つの色差成分と、輝度成分に依存する係数(L)とから少なくとも1つの色成分を取得するステップと
によって取得するステップと
を備え、
復号されたピクチャが、前記少なくとも1つの色成分を組み合わせることによって得られる、
方法に関する。
それらの態様の他の1つによれば、本原理は、HDRピクチャ及び前記HDRピクチャから得られる第1のSDRピクチャの両方を少なくとも1つのビットストリームに符号化するデバイスであって:
− HDRピクチャから第2のHDRピクチャを取得することであって、
− カラーピクチャの輝度から得られる変調値に依存する非線形関数をカラーピクチャの輝度に適用して、輝度成分のダイナミックがカラーピクチャの輝度のダイナミックと比較して低減されるようにすることによって、前記輝度成分を取得することと、
− 2つの色差成分を取得することであって、
− 輝度成分に依存する係数により各色成分をスケーリングすることによって少なくとも1つの中間色成分を取得することと、
− 前記少なくとも1つの中間色成分から前記2つの色差成分を取得することと
によって取得することと
によって取得することにおいて、
第2のHDRピクチャが、輝度成分及び2つの色差成分を組み合わせることによって得られる、
取得することと、
− 第1のSDRピクチャから得られる第3のSDRピクチャの色への第2のSDRピクチャの色のマッピングを可能にするカラーマッピング関数を取得することと、
− カラーマッピング関数を表す情報をビットストリームに符号化することと、
− 第1のSDRピクチャから得られる第4のSDRピクチャをビットストリームに符号化することと
を行うように構成されるプロセッサを備えることを特徴とする、デバイスに関する。
それらの態様の他の1つによれば、本原理は、少なくとも1つのビットストリームからHDRピクチャを復号するデバイスであって、
− ビットストリームを復号することによって得られる復号された第4のSDRピクチャから復号された第1のSDRピクチャを取得することと、
− ビットストリームを復号することによってカラーマッピング関数を表す情報を取得することと、
− 復号された第1のSDRピクチャから得られる復号された第3のSDRピクチャの色にカラーマッピング関数の逆関数を適用することによって復号された第2のSDRピクチャを取得することと、
− 復号された第2のSDRピクチャから復号されたHDRピクチャを取得することであって、
− ビットストリームから得られる輝度成分に非線形関数を適用して、第1の成分のダイナミックが輝度成分のダイナミックと比較して増加されるようにすることによって、前記第1の成分を取得することと、
− ビットストリームから得られる前記第1の成分及び2つの色差成分と、輝度成分に依存する係数とから少なくとも1つの色成分を取得することと
によって取得することと
を行うように構成されるプロセッサを備え、
復号されたピクチャが、前記少なくとも1つの色成分を組み合わせることによって得られる
ことを特徴とする、デバイスに関する。
それらの態様のその他によれば、本原理は、上記の方法を実装するように構成されるプロセッサを備えるデバイスと、プログラムコード命令であって、このプログラムがコンピュータ上で実行された場合に、上記の方法のステップを実行するためのプログラムコード命令を含む、コンピュータプログラム製品と、少なくとも上記の方法のステップをプロセッサに実施させるための命令が記憶された、プロセッサ読み取り可能な媒体と、プログラムコードの命令であって、前記プログラムがコンピューティングデバイス上で実行された場合に、上記の方法のステップを実行するためのプログラムコードの命令を保持する、非一時的記憶媒体とに関する。
本開示の特定の性質、並びに本開示の他の目的、利点、特徴及び使用は、添付の図面と併せた以下の実施例の説明から明らかとなろう。
図面には、本開示の一実施例が示されている。
CIE1931色空間色度図の例を示す図である。 本原理によるHDRピクチャ及びSDRピクチャの両方を符号化するための方法のステップのブロック図である。 本原理の一例によるHDRピクチャIHDR及びSDRピクチャISDR1を復号するための方法のステップの図である。 図2に関連して説明されるHDRピクチャIHDR及び第1のSDRピクチャISDR1の両方を符号化するための方法の一例のステップの図である。 図4の一変形例によるHDRピクチャ及びSDRピクチャの両方を符号化するための方法のステップの図である。 図2に関連して説明されたHDRピクチャIHDR及び第1のSDRピクチャISDR1の両方を符号化するための方法の一例のステップの図である。 図6の一変形例によるHDRピクチャ及びSDRピクチャの両方を符号化するための方法のステップの図である。 本原理の例によるステップ210のサブステップの図である。 本原理の例によるステップ210のサブステップの図である。 本原理の例によるステップ210のサブステップの図である。 本原理の例によるステップ210のサブステップの図である。 本原理の一例によるHDRピクチャ及びSDRピクチャの両方を復号するための方法のステップの図である。 本原理の例によるステップ210のサブステップの図である。 本原理の例によるステップ210のサブステップの図である。 本原理の例によるステップ210のサブステップの図である。 本原理の一例による少なくとも1つのビットストリームからHDRピクチャ及びSDRピクチャを復号する方法のステップの図である。 本原理の一例による少なくとも1つのビットストリームからHDRピクチャ及びSDRピクチャを復号する方法のステップの図である。 本原理の一例による少なくとも1つのビットストリームからHDRピクチャ及びSDRピクチャを復号する方法のステップの図である。 本原理の一例による少なくとも1つのビットストリームからHDRピクチャ及びSDRピクチャを復号する方法のステップの図である。 本原理の一例によるデバイスのアーキテクチャの一例を示す図である。 本原理の一例による通信ネットワークを介して通信する2つのリモートデバイスを示す図である。
類似又は同一の要素は、同一の参照番号で参照される。
本開示は、本開示の実施例が示されている添付の図面を参照して、以下により完全に説明される。しかしながら、この開示は、多数の代替形態で具体化され得、本明細書に記載の実施例に限定されるものと解釈されるべきではない。したがって、本開示は様々な変更及び代替形態が可能であるが、その特定の実施例は、図面の例として示されており、本明細書で詳細に説明される。しかしながら、本開示を開示された特定の形態に限定することは意図しておらず、逆に本開示は、特許請求の範囲によって定義される本開示の精神及び範囲内に入る全ての修正、均等物、代替物を網羅するものであることを理解されたい。
本明細書で使用される用語は、特定の実施例を説明するためのものにすぎず、本開示を限定するものではない。本明細書で使用される場合、単数形「a」、「an」及び「the」は、文脈が別途明確に示さない限り、複数形も含むものとする。本明細書で使用される場合、「備える」、「備えている」、「含む」及び/又は「含んでいる」という用語は、記載された特徴、整数、ステップ、動作、要素、及び/又は構成要素の存在を指定するが、1つ又は複数の他の特徴、整数、ステップ、動作、要素、構成要素、及び/又はそれらのグループの存在又は追加を排除しないことは更に理解されよう。更に、ある要素が他の要素に「応答する」又は「接続される」と言及されている場合、それは他の要素に直接的に応答する若しくは接続され得、又は介在要素が存在し得る。対照的に、ある要素が他の要素に「直接的に応答する」又は「直接的に接続される」と言及されている場合、介在要素は存在しない。本明細書で使用される場合、「及び/又は」という用語は、関連する列挙された項目の1つ又は複数の任意の及び全ての組合せを含み、「/」と省略され得る。
第1、第2などの用語は、様々な要素を説明するために本明細書で使用され得るが、これらの要素はこれらの用語によって限定されるべきではないことは理解されよう。これらの用語は、ある要素を他の要素と区別するためだけに使用される。たとえば、本開示の教示から逸脱することなく、第1の要素は第2の要素と呼ばれ得、同様に第2の要素は第1の要素と呼ばれ得る。
図のいくつかは、通信の主要な方向を示すために通信経路上に矢印を含むが、図示された矢印とは反対の方向に通信が発生し得ることは理解されたい。
いくつかの実施例は、各ブロックが、指定された論理機能を実装するための1つ又は複数の実行可能命令を含む回路要素、モジュール、又はコード部分を表すブロック図及び動作フローチャートに関連して説明される。また、他の実施例では、ブロック内に記載された機能が、記載された順序外で生じ得ることにも留意されたい。たとえば、連続して示された2つのブロックは、実際には実質的に同時に実行され得、又はブロックは、関連する機能性に応じて逆の順序で実行されることもあり得る。
本明細書における「一例」、「一実施例」又は「ある実施例」の言及は、実施例又は一例に関連して説明される特定の特徴、構造又は特性が、本開示の少なくとも1つの実装に含まれ得ることを意味する。本明細書の様々な場所における「一実施例では」、「一実施例によれば」、「一例では」、又は「一例によれば」という語句の出現は、必ずしも全てが同一の実施例又は例を参照するものではなく、他の実施例又は例と必然的に相互排他的な別個の又は代替の実施例又は例でもない。
特許請求の範囲に出現する参照番号は、例示のためのものにすぎず、特許請求の範囲を限定するものではない。
明示的に記載されていないが、本実施例及び変形例は、任意の組合せ又はサブコンビネーションで使用され得る。
本原理は、ピクチャの符号化/復号について説明されているが、ピクチャのシーケンス(ビデオ)の符号化/復号に拡張され、その理由は、シーケンスの各ピクチャが以下に説明されるように順次符号化/復号されるためである。
図2は、本原理によるHDRピクチャIHDR及びSDRピクチャISDR1の両方を符号化するための方法のステップの図を示す。
HDRピクチャIHDRは、第1のグレードに応じたキャプチャされたピクチャ(又はビデオ)のカラーグレーディングバージョンであり、第1のSDRピクチャISDR1は、上記で説明された第2のグレードに応じた前記キャプチャされたピクチャ(又はビデオ)のカラーグレーディングバージョンである。この符号化方法への制約は、芸術家の意図を保存するために、SDRピクチャISDR1のカラーグレードが復号器でレンダリングされなければならないか、又は少なくともSDRピクチャがSDRピクチャISDR1の視覚的内容に非常に近い視覚的内容を有することである。
ステップ210において、モジュールTMは、HDRピクチャIHDRをトーンマッピングすることによって第2のSDRピクチャISDR2を取得する。
「トーンマッピング」という用語は、HDRピクチャIHDRのダイナミックレンジを目標のダイナミックレンジに低減する任意の手法を意味する。トーンマッピング手法の例は図8a−d、図9、図10a−dに与えられているが、本開示は特定のトーンマッピング手法に限定されない。
ステップ220において、モジュールSDR1−to−SDR3は、第1のSDRピクチャISDR1から第3のSDRピクチャISDR3を取得する。
ステップ230において、モジュールCMは、第2のSDRピクチャISDR2と第3のSDRピクチャISDR3との差を最小化するような、第3のSDRピクチャISDR3の色への第2のSDRピクチャISDR2の色のマッピングを可能にするカラーマッピング関数CMFを取得する。
たとえば、カラーマッピング関数は、SDRピクチャISDR2の画素から第3のSDRピクチャISDR3の画素値を減算することによって計算される平均二乗誤差を最小化することによって取得される。カラーマッピング関数の一例は、HEVC規格によって、カラーリマッピング情報SEIメッセージ(付属書D.2.32)を用いて与えられる。本開示は、特定のカラーマッピング関数に限定されず、任意の種類のマッピング関数に拡張される。
ステップ240において、符号化器ENC1は、カラーマッピング関数CMFを表す情報INFをビットストリームF1に符号化する。
本方法の一実施例によれば、情報INFは、カラーマッピング関数のリストからカラーマッピング関数CMFを検索することを可能にするインデックスである。
本方法の一実施例によれば、情報INFはカラーマッピング関数CMFのパラメータを表す。
ステップ250において、モジュールSDR1−to−SDR4は、第1のSDRピクチャISDR1から第4のSDRピクチャISDR4を取得する。
ステップ260において、符号化器ENC2は、第4のSDRピクチャISDR4をビットストリームF2に符号化する。
図3は、本原理の一例によるHDRピクチャIHDR及びSDRピクチャISDR1を復号するための方法のステップの図を示す。
ステップ310において、復号器DEC2は、ビットストリームF2を復号することによって、復号された第4のSDRピクチャISDR4と呼ばれる復号されたSDRピクチャを取得する。
ステップ320において、モジュールSDR4−to−SDR1は、復号された第4のSDRピクチャISDR4から復号された第1のSDRピクチャISDR1を取得する。
ステップ220において、モジュールSDR1−to−SDR3は、復号された第1のSDRピクチャISDR1から復号された第3のSDRピクチャISDR3を取得する。
ステップ330において、復号器DEC1は、ビットストリームF1を少なくとも部分的に復号することによってカラーマッピング関数CMFを表す情報INFを取得する。
一変形例によれば、情報INFはカラーマッピング関数CMFの逆関数を表す。
ステップ340において、モジュールAP−1は、復号された第3のSDRピクチャISDR3の色にカラーマッピング関数CMFの逆関数CMF−1を適用することによって、復号された第2のSDRピクチャISDR2を取得する。
ステップ350において、モジュールITMは、復号された第2のSDRピクチャISDR2に逆トーンマッピングを適用することによって、復号されたHDRピクチャIHDRを取得する。
逆トーンマッピングは、図2のステップ210において使用されるトーンマッピングの逆関数である。
図4は、図2に関連して説明されたHDRピクチャIHDR及び第1のSDRピクチャISDR1の両方を符号化するための方法の一例のステップの図を示す。
モジュールSDR1−to−SDR3及びSDR1−to−SDR4は、SDRピクチャISDR3及びISDR4がSDRピクチャISDR1と等しくなるように構成される。
換言すれば、それらのモジュールはいかなる方法も実装していない。
ステップ230において、カラーマッピング関数CMFが次いで取得されて、第1のSDRピクチャISDR1の色への第2のSDRピクチャISDR2の色のマッピングが可能になり、ステップ260において、第1のSDRピクチャISDR1は符号化器ENC2によって直接符号化される。
したがって、本原理のこの例によれば、カラリストによってカラーグレーディングされた第1のSDRピクチャISDR1は、ビットストリームF2を復号することによって直接利用可能となる。このようにして、復号された第1のSDRピクチャISDR1が表示された場合に、アーティストの意図が保存される。
図5は、図4の一変形例によるHDRピクチャIHDR及びSDRピクチャISDR1の両方を符号化するための方法のステップの図を示す。
モジュールSDR1−to−SDR4は、第4のSDRピクチャISDR4が第1のSDRピクチャISDR1となるように構成される。したがって、カラリストによってカラーグレーディングされた第1のSDRピクチャISDR1は、ビットストリームF2を復号することによって直接利用可能となる。このようにして、復号された第1のピクチャISDR1が表示された場合に、アーティストの意図が保存される。
モジュールSDR1−to−SDR3は、符号化器ENC2を使用して第1のSDRピクチャISDR1を符号化し、復号器DEC2に従って符号化された第1のSDRピクチャISDR1を復号することによって第3のSDRピクチャISDR3を取得する(ステップ310)ように構成される。
ステップ230において、カラーマッピング関数CMFが次いで取得されて、符号化された第1のSDRピクチャISDR1の復号されたバージョンの色へのSDRピクチャISDR2の色のマッピングが可能になる。
第1のSDRピクチャISDR1からではなく、符号化された第1のSDRピクチャISDR1の復号されたバージョンからカラーマッピング関数CMFを決定することは、内容が符号化側で使用された第2のSDRピクチャISDR2の内容により近い(復号側で得られた)復号された第2のSDRピクチャISDR2をもたらす。次いで、復号された第2のSDRピクチャISDR2と、前記復号された第2のSDRピクチャISDR2から決定されたカラーマッピング関数とから取得された復号されたHDRピクチャは、符号化側において、元のHDRピクチャの視覚的内容により近い視覚的内容を有し、図4のHDR符号化/復号方式の性能が向上する。
図6は、図2に関連して説明されたHDRピクチャIHDR及び第1のSDRピクチャISDR1の両方を符号化するための方法の一例のステップの図を示す。
モジュールSDR1−to−SDR3は、SDRピクチャISDR3がSDRピクチャISDR1となるように構成される。
ステップ230において、カラーマッピング関数CMFが次いで取得されて、第1のSDRピクチャISDR1の色への第2のSDRピクチャISDR2の色のマッピングが可能になる。
モジュールSDR1−to−SDR4は、第2のSDRピクチャISDR2の色に(SDRピクチャISDR1から得られた)カラーマッピング関数CMFを適用することによって、第4のSDRピクチャISDR4を取得するためのモジュールAP(ステップ610)を備える。
したがって、第4のSDRピクチャISDR4の内容は第1のSDRピクチャISDR1の内容に近くなり、その理由は、カラーマッピング関数CMFがこれら2つのピクチャ間の差を最小化するように決定されるためである。
図7は、図6の一変形例によるHDRピクチャIHDR及びSDRピクチャISDR1の両方を符号化するための方法のステップの図を示す。
モジュールSDR1−to−SDR3は、符号化器ENC2を使用して第1のSDRピクチャISDR1を符号化し(ステップ260)、復号器DEC2に従って符号化された第1のSDRピクチャISDR1を復号することによって第3のSDRピクチャISDR3を取得する(ステップ310)ように構成される。
第1のSDRピクチャISDR1からではなく符号化された第1のSDRピクチャISDR1の復号されたバージョンからカラーマッピング関数CMFを決定することは、内容が符号化側で使用された第2のSDRピクチャISDR2の内容により近い(復号側で得られた)復号された第2のSDRピクチャISDR2をもたらす。次いで、復号された第2のSDRピクチャISDR2と、前記復号された第2のSDRピクチャISDR2から決定されたカラーマッピング関数とから取得された復号されたHDRピクチャは、符号化側において、元のHDRピクチャの視覚的内容により近い視覚的内容を有し、図6のHDR符号化/復号方式の性能が向上する。
本原理の一例によれば、ステップ210において、モジュールTMは、HDRピクチャIHDRの輝度のダイナミックレンジを目標ダイナミックレンジに低減するために、HDRピクチャIHDRにトーンマッピングオペレータを適用する。
本発明は任意の特定のトーンマッピングオペレータに限定されない。この単一の条件は、トーンマッピングオペレータが可逆でなければならないということである。
たとえば、Reinhardによって定義されたトーンマッピングオペレータ(Reinhard,E.、Stark,M.、Shirley,P.、及びFerwerda,J.、「Photographic tone reproduction for digital images」、ACM Transactions on Graphics 21(2002年7月))、又はBoitard,R.、Bouatouch,K.、Cozot,R.、Thoreau,D.、及びGruson,A.(2012年)、Temporal coherency for video tone mapping、A.M.J.van Eijk、C.C.Davis、S.M.Hammel、及びA.K.Majumdar(Eds.)、Proc.SPIE8499、Applications of Digital Image Processing(p.84990D−84990D−10))によって定義されたものが使用され得る。
図8a−dは、本原理の例によるステップ210のサブステップの図を示す。
図8aに示されたように、モジュールTMは、HDRピクチャIHDRからバックライトピクチャBaを取得するように構成されるモジュールBAMを備える(ステップ2101)。
図8bに示されたステップ2101の一実施例によれば、モジュールBAMは、HDRピクチャIHDRの輝度成分LからバックライトピクチャBaを取得するモジュールBIを備える。
HDRピクチャIHDRがRGB色空間に属する場合、輝度成分Lは、たとえば709色域において、次式で与えられる線形結合によって得られる:
L=0.2127.R+0.7152.G+0.0722.B
一実施例によれば、バックライトピクチャBaは、次式によって与えられる形状関数(
shape functions)
ψの加重線形結合として決定され:
Ba=Σψ (1)
ここでaは重み係数である。
したがって、輝度成分LからバックライトピクチャBaを決定することは、バックライトピクチャBaが輝度成分Lに適合するような最適な重み係数(潜在的には、事前には未知である場合、最適な形状関数も)を発見することを含む。
重み係数aを発見するための多数のよく知られている方法が存在する。たとえば、最小平均二乗誤差法を使用して、バックライトピクチャBa及び輝度成分Lの間の平均二乗誤差を最小化することができる。
形状関数は、ディスプレイのバックライトの真の物理的応答であり得(たとえば、LEDで作られたものであって、そして各形状関数が1つのLEDの応答に対応するもの)、又は輝度成分に最良に適合するような純粋な数学的構造であり得ることに留意されたい。
図8cに示されたこの実施例の一変形例によれば、モジュールBAMは、モジュールHLによって取得されたHDRピクチャIHDRの平均輝度値Lmeanを用いて(式(1)によって与えられた)バックライトピクチャBaを変調するモジュールBMを更に備える。
一例によれば、モジュールHLは、全輝度成分Lにわたる平均輝度値Lmeanを計算するように構成される。
一例によれば、モジュールHLは、次式によって平均輝度値Lmeanを計算するように構成され:
(外2)
Figure 2018524924
ここでβは1未満の係数であり、E(X)は輝度成分Lの数学的期待値(平均値)である。
この最後の例は、HDRピクチャIHDRが画像のシーケンスに属する場合に、非常に不快な時間平均の明るさ(brightness)の不安定性を通常伴う極端に高い値を有するいくつかの画素によって平均輝度値Lmeanが影響されることを回避するので、有利である。
本発明は、平均輝度値Lmeanを算出するための特定の実施例に限定されない。
図8dに示された一変形例によれば、モジュールNは、((1)式で与えられる)バックライト画像Baをその平均値E(Ba)で正規化して、HDRピクチャについて(又はHDRピクチャがピクチャのシーケンス又はグループに属する場合は全てのHDRピクチャについて)バックライトピクチャBagray(1に等しいミッドグレーを有する)を取得する:
(外3)
Figure 2018524924
次いで、モジュールBMは、以下の関係を使用してHDRピクチャIHDRの平均輝度値LmeanでバックライトピクチャBagrayを変調するように構成され:
Bamod≒cstmod.Lmean α.Bagray (2)
ここでcstmodは変調係数であり、αは1未満の他の変調係数、典型的には1/3である。たとえば、バックライトピクチャについてのcstmod≒1.7が、最小平均二乗によって得られる。
実際には、線形性により、バックライトピクチャを変調するための全ての演算は、バックライト係数aに補正係数として適用され、これは係数aを新たな係数
(外4)
Figure 2018524924
に変換するものであり、以下を得る:
(外5)
Figure 2018524924
本開示は、HDRピクチャIHDRからバックライトピクチャBaを取得するためのいかなる方法にも限定されない。
図8aのステップ2102において、第2のSDRピクチャISDR2は、画素ごとにHDRピクチャIHDRをバックライトピクチャBaで除算することによって取得される。
ステップ2103において、符号化器ENC3は、バックライトピクチャBaをビットストリームF3に符号化する。
HDRピクチャIHDRをバックライトピクチャBaで除算することは、HDRピクチャのダイナミックレンジを低減する。したがって、図8a−dに関連して説明された方法は、HDRピクチャIHDRのトーンマッピングであると考えられ得る。
図9は、本原理の一例によるHDRピクチャ及びSDRピクチャの両方を復号するための方法のステップの図を示す。
この例は、HDRピクチャ及びSDRピクチャの両方を、それらのピクチャが図8a−dに関連して説明された方法によって事前に符号化されている場合に、取得することを可能にする。
モジュールITMは、ステップ350において、ビットストリームF3を復号することによって復号されたバックライトピクチャBaを取得する(ステップ3501)復号器DEC3を備える。ステップ3502において、第2のSDRピクチャISDR2に復号されたバックライトピクチャBaを乗算することによって、復号されたHDRピクチャIHDRが取得される。
第2のSDRピクチャISDR2に復号されたバックライトピクチャBaを乗算することは、結果のHDRピクチャのダイナミックレンジを第2のSDRピクチャISDR2と比較して増加させ、すなわち、そのような乗算は、逆トーンマッピングであると考えられ得る。
図10a−cは、本原理の例によるステップ210のサブステップの図を示す。
この例では、HDRピクチャIHDRは、HDRピクチャIHDRの画素値が表現される3つの色成分Ec(c=1、2又は3)を有すると考えられる。
本開示は、3つの成分Ecが表現される任意の色空間に限定されず、任意の色空間、たとえば、RGB、CIELUV、XYZ、CIELabなどに拡張される。
基本的には、輝度成分L及び2つの色差成分C1及びC2は、HDRピクチャIHDRの3つの色成分Ecから決定される。輝度及び色差成分は、画素値が色空間(L,C1,C2)内で表現されるSDRカラーピクチャを形成する。前記SDRカラーピクチャは、レガシーSDRディスプレイで視認可能であり、すなわち、レガシーSDRディスプレイで見られるのに十分な視覚的品質を有する。
ステップ100aにおいて、モジュールICは、HDRピクチャIHDRの輝度を表す成分Yを、3つの成分Ecを線形結合することによって取得し:
(外6)
Figure 2018524924
ここでA1は、(E1,E2,E3)色空間から色空間(Y,C1,C2)への色空間変換を定義する3×3行列Aの第1行である。
ステップ130aにおいて、モジュールBMMは成分Yからモジュール値Bmを取得する。
ステップ130aの一例によれば、変調値Bmは、成分Yの画素値の平均値、中央値、最小値又は最大値である。これらの演算は、線形HDR輝度ドメインYlinにおいて、又は非線形領域、たとえば、ln(Y)若しくはγ<1のYγにおいて実施され得る。
ステップ110aにおいて、モジュールFMは、非線形関数fを成分Yに適用することによって輝度成分Lを取得する:
L=f(Bm,Y) (3)
非線形関数fを成分Yに適用することは、そのダイナミックレンジを低減する。言い換えれば、輝度成分Lのダイナミックは、成分Yのダイナミックと比較して低減される。
基本的に、成分Yのダイナミックレンジは、成分Lの輝度値が10ビットを使用して表現されるように低減される。
一実施例によれば、成分Yは、非線形関数fを適用する前に、変調値Bmで除算される:
L=f(Y/Bm) (4)
一実施例によれば、非線形関数fはガンマ関数であり:
(外7)
Figure 2018524924
ここでYは、式(3)又は(4)の実施例に応じてY又はY/Baに等しく、Bは一定値であり、γはパラメータ(厳格に1未満の実数値)である。
一例によれば、非線形関数fはS−Log関数であり:
L=a.ln(Y+b)+c
ここで、a、b及びcは、f(0)及びf(1)が不変となり、SLog曲線の導関数が、1未満のガンマ曲線によって延長された場合に1で連続するように決定されるSLog曲線のパラメータ(実数値)である。したがって、a、b及びcは、パラメータγの関数である。典型的な値が表1に示されている。
Figure 2018524924
有利な一実施例では、1/2.5に近いγの値が、HDR圧縮性能、並びに得られたSDRルマの良好な視認性の点で効率的である。したがって、3つのパラメータは、有利には、以下の値:a=0.44955114、b=0.12123691、c=0.94855684をとり得る。
一例によれば、非線形関数fは、成分Yの画素値に応じて、ガンマ補正又はSLog補正のいずれかである。
ガンマ補正を成分Yに適用することは、暗い領域を持ち上げるが、明るい画素の飽和を回避するために十分なハイライトを低下させない。
次いで、一実施例によれば、モジュールFMは、成分Yの画素値に応じてガンマ補正又はSLog補正のいずれかを適用する。情報データInfは、ガンマ補正又はSLog補正のいずれが適用されるかを示すことができる。
たとえば、成分Yの画素値がしきい値(1に等しい)未満である場合、ガンマ補正が適用され、そうでない場合はSLog補正が適用される。
一例によれば、本方法がピクチャのシーケンスに属するいくつかのHDRピクチャを符号化するために使用される場合、変調値Bmは、各々のHDRピクチャ、ピクチャのグループ(GOP)について、又はHDRピクチャの一部、たとえば、限定はされないが、スライス若しくはHEVCで定義された転送単位について決定される。
一実施例によれば、値Bm及び/又は非線形関数fのパラメータ(たとえば、a、b、c又はγ)、及び/又は情報データInfは、ローカル若しくはリモートのメモリに記憶され、及び/又はビットストリームF3に追加される。
ステップ120aにおいて、少なくとも1つの色成分EC(c=1、2、3)がHDRピクチャIHDRから取得される。色成分Ecは、ローカル又はリモートのメモリから直接的に、又は色変換をHDRピクチャIHDRに適用することによって取得され得る。
ステップ140aにおいて、中間色成分E’c(c=1、2又は3)が、輝度成分Lに依存する係数r(L)により各色成分Ecをスケーリングすることによって得られ:
(外8)
Figure 2018524924
ここで、r(L(i))は成分Lの画素iの値に依存する、モジュールRM(ステップ150a)によって決定される係数(実数値)であり、E’(i)は中間色成分E’cの画素iの値であり、E(i)は色成分Ecの画素iの値である。
係数によってスケーリングすることは、前記係数を乗算すること、又は前記係数の逆数で除算することを意味する。
輝度成分Lに依存する係数r(L)によって各色成分Ecをスケーリングすることは、HDRピクチャIHDRの色の色相を保存する。
ステップ150aの一例によれば、係数r(L)は成分Yに対する輝度成分Lの比率であり:
(外9)
Figure 2018524924
ここでY(i)は成分Yの画素iの値である。実際には、成分Yの画素の値Y(i)は、輝度成分Lの画素の値L(i)に明確に依存するので、比率はL(i)のみの関数として書かれ得る。
この例は、成分Yに更に依存する係数r(L)によって各色成分Ecをスケーリングすることが、HDRピクチャIHDRの色の色相を保存して、復号されたカラーピクチャの視覚的品質を向上させるので有利である。
より正確には、色彩学及び色彩理論では、色彩度(colorfulness)、色度(chroma)、及び彩度(saturation)は、特定の色の知覚強度を指す。色彩度は、色及びグレーの差の度合いである。色度は、類似した観察条件の下で白色に見える他の色の明るさに対する色彩度である。彩度は、ある色の、その明るさに対する色彩度である。
非常にカラフルな刺激は鮮やかかつ強烈であり、あまりカラフルでない刺激はより落ちついて、グレーに近く見える。全く色彩度がない場合、色は「ニュートラル」グレーである(色のいずれにも色彩度を有さないピクチャはグレースケールと呼ばれる)。任意の色は、その色彩度(若しくは色度又は彩度)、明度(lightness)(又は明るさ)、及び色相から記述され得る。
色の色相及び彩度の定義は、前記色を表現するために使用される色空間に依存する。
たとえば、CIELUV色空間が使用される場合、彩度suvは、輝度Lに対する色度Cuv の比率として定義される:
(外10)
Figure 2018524924
そして、色相は次式で与えられる:
(外11)
Figure 2018524924
他の例によれば、CIELAB色空間が使用される場合、彩度は輝度に対する色度の比率として定義される:
(外12)
Figure 2018524924
そして、色相は次式で与えられる:
(外13)
Figure 2018524924
これらの式は、人間の彩度の知覚と一致する彩度及び色相の合理的な予測因子であり、CIELAB(又はCIELUV)色空間における明るさを、角度a*/b*(又はu*/v*)を固定しながら調整することが、色相ひいては同一色の知覚に影響することを示している。ステップ140aにおいて、同一の係数によって色成分Ecをスケーリングすることは、この角度、ひいては色相を保存する。
ここで、HDRピクチャIHDRがCIELUV色空間において表現され、HDRピクチャIHDRの輝度のダイナミックレンジと比較してダイナミックレンジが低減された(ステップ110a)CIELUV色空間の輝度成分Lと、2つの色差成分U(=C1)及びV(=C2)とを組み合わせることによって、第2のSDRピクチャISDR2が形成されることを考える。したがって、第2のSDRピクチャISDR2の色は、色の彩度及び色相が変化しているので、人間により異なって知覚される。図10aに関連して説明される方法は、第2のSDRピクチャISDR2の色の色相がHDRピクチャIHDRの色の色相に最も一致するように、第2のSDRピクチャISDR2の色差成分C1及びC2を決定する。
ステップ150aの一例によれば、係数r(L)は次式で与えられる:
(外14)
Figure 2018524924
この最後の実施例は、非常に暗い画素について係数がゼロに向かうのを防ぎ、すなわち、画素値に関係なく、比率を反転可能にすることができるので、有利である。
ステップ160aにおいて、2つの色差成分C1、C2は、前記少なくとも1つの中間色成分E’cから得られる。
図10bに示されたステップ160aの一実施例によれば、少なくとも1つの中間成分Dc(c=1、2又は3)が、OETFを各々の中間色成分(E’c)に適用すること(ステップ161b)によって得られる:
(外15)
Figure 2018524924
たとえば、OETFは、ITU−R勧告BT.709又はBT.2020によって定義され、次のように記述される:
(外16)
Figure 2018524924
この実施例は、特定のOETFに応じたダイナミックレンジの低減を可能にするが、後に詳述されるように複雑な復号処理を伴う。
図10cに示されたこの例の一変形例によれば、OETFは平方根によって近似され、すなわち、少なくとも1つの中間成分Dc(c=1、2又は3)が、各々の中間色成分(E’c)の平方根をとること(ステップ161c)によって得られる:
(外17)
Figure 2018524924
この変形例は、ITU−R勧告BT.709又はBT.2020によって定義されたOETFの良好な近似を提供し、低複雑度の復号器につながるので、有利である。
他の変形例によれば、OETFは立方根によって近似され、すなわち、少なくとも1つの中間成分Dc(c=1、2又は3)が、各々の中間色成分(E’c)の立方根をとることによって得られる:
(外18)
Figure 2018524924
この変形例は、ITU−R勧告BT.709又はBT.2020によって定義されたOETFの良好な近似を提供するので有利であるが、OETFが平方根によって近似された場合に得られる復号器よりも幾分より複雑な復号器につながる。
ステップ162bにおいて、モジュールLC1は、3つの中間成分Dcを線形結合することによって、2つの色差成分C1及びC2を取得し:
(外19)
Figure 2018524924
ここでA2及びA3は3×3行列Aの第2行及び第3行である。
図10aに示されたステップ170aにおいて、モジュールCOMは、輝度成分Lと色差成分C1及びC2とを組み合わせることによって、第2のSDRピクチャISDR2を取得する。
図11a−dは、本原理の一例による少なくとも1つのビットストリームからHDRピクチャ及びSDRピクチャを復号する方法のステップの図を示す。
ステップ111aにおいて、モジュールDECOMBは、第2のSDRピクチャISDR2から輝度成分L及び2つの色差成分C1、C2を取得する。
ステップ113aにおいて、モジュールIFMは、非線形関数f−1を輝度成分Lに適用して、第1の成分Yのダイナミックが輝度成分Lのダイナミックと比較して増加されるようにすることによって、第1の成分Yを取得する。
Y=f−1(Ba,L) (5)
非線形関数f−1は非線形関数f(ステップ110a)の逆関数である。
したがって、関数f−1の例は、関数fの例に応じて定義される。
一例によれば、値Bm及び/又は非線形関数f−1のパラメータ(たとえば、a、b、c又はγ)、及び/又は情報データInfは、ローカル若しくはリモートのメモリ(たとえばルックアップテーブル)から、及び/又は図11aに示されたビットストリームF3から得られる。
一実施例によれば、輝度成分Lは、非線形関数f−1を適用した後に、変調値Bmが乗算される:
Y=Bm*f−1(L) (6)
一例によれば、非線形関数f−1は、ガンマ関数の逆関数である。
そして、成分Yは次式で与えられ:
(外20)
Figure 2018524924
ここでYは式(5)又は(6)の実施例に応じてY又はY/Bmに等しく、Bは一定値であり、γはパラメータ(厳格に1未満の実数値)である。
一実施例によれば、非線形関数f−1はS−Log関数の逆関数である。コンポーネントYは次式で与えられる:
(外21)
Figure 2018524924
一実施例によれば、非線形関数fは、成分Yの画素値に応じてガンマ補正又はSLog補正のいずれかの逆関数である。これは情報データInfによって示される。
ステップ112aにおいて、モジュールILCは、第1の成分Y、2つの色差成分C1、C2と、輝度成分Lに依存する係数r(L)とから、少なくとも1つの色成分Ecを取得する。次いで、復号されたHDRピクチャIHDRは、前記少なくとも1つの色成分Ecを組み合わせることによって得られる。
係数r(L)は、ローカル若しくはリモートのメモリ(たとえばルックアップテーブル)、又はビットストリームから得られ得る。
一般的なOETFが各々の中間色成分E’cに適用される場合(図10bのステップ161b)、中間成分Dcは、成分Y、2つの色差成分C1、C2、及び係数r(L)に関連し:
(外22)
Figure 2018524924

及び、
(外23)
Figure 2018524924
ここでEOTF(電光伝達関数)はステップ161bにおいて適用されるOETFの逆関数である。
式(7b)は以下を与え:
(外24)
Figure 2018524924
ここで、OETF(E)=Dであり、
(外25)
Figure 2018524924
は行列Aに応じた定数であり、Lは同様に行列Aに応じた線形関数である。そして、式(7a)は以下となり:
r(L)*Y=A11EOTF(D)+A12EOTF(D)+A13EOTF(D) (9)
そして、
(外26)
Figure 2018524924
式(10)はDのみに関する暗黙的な式である。EOTFの式に応じて、式(10)はおおよそ単純に解かれ得る。解かれると、Dが得られ、D、Dが式(8)によってDから導出される。次いで、3つの得られた中間成分DcにEOTFを適用することによって、中間色成分E’cが得られ、すなわち、E’c=EOTF(Dc)である。
この一般的な場合では、すなわち、一般的なOETF(いかなる特定の特性を有さない)が各中間色成分E’cに適用される場合、式(10)に解析解は存在しない。たとえば、OETFがITU−R BT.709/2020 OETFである場合、式(10)は、いわゆるニュートン法、又は正則関数の根を発見するための任意の他の数値的方法を使用して数値的に解かれ得る。しかしながら、これは非常に複雑な復号器につながる。
この一般的な場合では、図11bに示されたステップ112aの第1の例によれば、ステップ1121aにおいて、モジュールILECは、上記で説明されたように、第1の成分Y、2つの色差成分C1、C2、及び係数r(L)から3つの中間色成分E’cを取得する。ステップ1122aにおいて、3つの色成分Ecは、係数r(L)によって各中間色成分E’cをスケーリングすることによって得られ:
Ec(i)=E’c(i)/r(L(i))
ここでr(L(i))は、成分L(ステップ111aの出力)の画素iの値に依存するステップ150aによって与えられる係数であり、E’(i)は中間色成分E’cの画素iの値であり、E(i)は色成分Ecの画素iの値である。
実際には、ステップ1121aがステップ1122aの前にあるこの順序は、符号化方法(図10b)の、ステップ161bにステップ162bが続く順序の逆である。
この第1の例の一変形例によれば、OEFTは平方根関数であり、そしてEOTFは二乗関数である。
この第1の例の他の変形例によれば、OEFTは立方根関数であり、そしてEOTFは3次関数である。
ステップ161bにおいて使用されるOETFがコミュテーション条件を満たす場合、すなわち、以下の場合:
OETF(x*y)=OETF(x)*OETF(y)
成分Y及び色成分Ecは以下によって関連付けられ:
(外27)
Figure 2018524924
ここでFcはOETF(Ec)に等しい成分であり、及び、
(外28)
Figure 2018524924
その結果、コミュテーション条件(commutation condition)は以下を与える:
(外29)
Figure 2018524924
式(11)は以下を与え:
(外30)
Figure 2018524924
ここで、
(外31)
Figure 2018524924
は行列Aに依存する定数であり、Lは同様に行列Aに依存する線形関数である。
そして、式(11)は以下となり:
Y=A11EOTF(F)+A12EOTF(F)+A13EOTF(F) (13)
そして、
(外32)
Figure 2018524924
OETFがコミュテーション条件を満たす場合、図11cに示されたステップ112aの第2の例によれば、ステップ1121cにおいて、2つの中間成分C’1及びC’2は、係数OEFT(r(L(i)))によって2つの色差成分C1及びC2をスケーリングすることによって得られ、ここでOETFは図10bのステップ161bにおいて使用される関数であり:
(外33)
Figure 2018524924
ここで、r(L(i))は成分L(ステップ111aの出力)の画素iの値に依存するステップ150aによって与えられる係数であり、C’(i)、C’(i)はそれぞれ成分C’1及びC’2の画素iの値であり、C(i)、C(i)はそれぞれ成分C1及びC2の画素iの値である。
ステップ1122cにおいて、モジュールILECは、上記で説明されたように、第1の成分Y及び2つの中間色差成分C’1、C’2から3つの色成分Ecを取得する。
この第2の例の一変形例によれば、OEFTは平方根関数であり、そしてEOTFは二乗関数である。そして、ステップ1122cにおいて、2つの中間成分C’1及びC’2は、係数
(外34)
Figure 2018524924
によって2つの色差成分C1及びC2をスケーリングすることによって得られる:
(外35)
Figure 2018524924
式(11)は以下となり:
(外36)
Figure 2018524924
及び、
(外37)
Figure 2018524924
その結果、コミュテーションは以下を与える:
(外38)
Figure 2018524924
式(14)は以下となる:
(外39)
Figure 2018524924
及び、
(外40)
Figure 2018524924
式(17)は解析的に解かれ得る2次方程式である。この解析解は、図11dに示されたステップ1122cの特定の実施例を導く。この実施例は、EOTF(OETFの逆関数)の、ひいてはHDRピクチャの復号された成分の解析的な式を可能にするので、有利である。また、EOTFはそのとき、復号側における低複雑度の処理である二乗関数となる。
ステップ11221cにおいて、モジュールSMは、2つの中間色差成分C’1、C’2、及び第1の成分Yを組み合わせることによって、第2の成分Sを取得し:
(外41)
Figure 2018524924
ここでk、k及びkはパラメータ値であり、
(外42)
Figure 2018524924
は成分C’c(c=1又は2)の二乗を意味する。
ステップ11222cにおいて、モジュールLC2は、中間色差成分C’1、C’2、及び第2の成分Sを線形結合することによって、3つのソルバー成分(solver component)Fcを取得し:
(外43)
Figure 2018524924
ここでCは行列Aの逆行列として定義される3×3行列である。
ステップ11223cにおいて、3つの色成分Ecが、各中間色成分(Dc)の二乗をとることによって取得される:
(外44)
Figure 2018524924
行列Aは、符号化対象HDRピクチャの画素値が表現される色空間(E1,E2,E3)から色空間(Y,C1,C2)への符号化対象HDRピクチャIHDRの変換を決定する。
そのような行列は、符号化対象HDRピクチャIHDRの色域に依存する。
たとえば、符号化対象HDRピクチャがITU−R Rec.709によって定義されるBT709色域で表現される場合、行列Aは次式で与えられ:
(外45)
Figure 2018524924
行列Cは次式で与えられる:
(外46)
Figure 2018524924
この第2の実施例の一変形例によれば、OETFは立方根関数であり、そしてEOTFは3次関数である。そして、図11cのステップ1121cにおいて、2つの中間成分C’1及びC’2が次いで、2つの色差成分C1及びC2を係数
(外47)
Figure 2018524924
によりスケーリングすることによって得られ得る:
(外48)
Figure 2018524924
そして、EOTFは3次関数となり、それによってFの式(17)がより複雑な3次方程式となり、これはいわゆるCardano法によって解析的に解かれ得る。
非常に複雑な解析解は、4次方程式についても存在するが(Ferrari法)、Abel−Ruffiniの理論によって述べられたように、5以上のいかなる次数についてはもはや存在しない。
復号器DEC1(それぞれDEC2、DEC3)は、符号化器ENC1(それぞれENC2、ENC3)によって符号化されたデータを復号するように構成される。符号化器ENC1及び/又はENC2及び/又はENC3(並びに復号器DEC1及び/又はDEC2及び/又はDEC3)は、ブロックベースの処理とすることができる。
符号化器ENC1及び/又はENC2及び/又はENC3(並びに復号器DEC1及び/又はDEC2及び/又はDEC3)は、特定の符号化器(復号器)に限定されない。
一実施例によれば、符号化器ENC1は、HEVC規格(付属書D.2.32)で定義されたカラーリマッピング情報SEIメッセージなどのSEIメッセージに情報INFを符号化するように構成される。
一実施例によれば、符号化器ENC3は、HEVC規格に記載されたように、補助ピクチャとして、又はフレームパッキングを使用して(付属書D.2.16)バックライトピクチャBaを符号化するか、又は重み係数及び場合によっては形状関数をSEIメッセージ(HEVC規格、付属書D1)に符号化するように構成される。
一実施例によれば、復号器DEC3は、HEVC規格に記載されたようにビットストリームF1に符号化された補助ピクチャ又はパックされたフレームから得られた、又はビットストリームF1内のSEIメッセージから得られた重み係数及び場合によっては形状関数から得られた、復号されたバックライトピクチャBaを...するように構成される。
符号化器ENC1及び/又はENC2(並びに復号器DEC1及び/又はDEC2)は、特定の符号化器に限定されず、これはたとえば、損失を伴う画像/ビデオ符号化器、たとえば、JPEG、JPEG2000、MPEG2、HEVC勧告又はH264/AVC勧告(「Advanced video coding for generic audiovisual Services」、SERIES H:AUDIOVISUAL AND MULTIMEDIA SYSTEMS、Recommendation ITU−T H.264、Telecommunication Standardization Sector of ITU、2014年2月))とすることができる。
ビットストリームF1、F2、F3は、単一のビットストリームを形成するように共に多重化され得る。
図1−11dでは、モジュールは機能ユニットであり、これは区別可能な物理ユニットに関するものであってもなくてもよい。たとえば、これらのモジュール又はその一部は、固有の部品又は回路にまとめられ得、又はソフトウェアの機能性に寄与し得る。反対に、いくつかのモジュールは、潜在的には別個の物理的実体で構成され得る。本開示と互換性のある装置は、純粋なハードウェアを使用して、たとえば、ASIC又はFPGA又はVLSI、それぞれ、「特定用途向け集積回路」、「フィールドプログラマブルゲートアレイ」、「超大規模集積」などの専用のハードウェアを使用して、又はデバイスに組み込まれたいくつかの集積電子部品から、又はハードウェア及びソフトウェアコンポーネントのブレンドから実装される。
図12は、図1−11dに関連して説明された方法を実装するように構成され得るデバイス1200の一例示的アーキテクチャを表す。
デバイス1200は、データ及びアドレスバス1201によって共に連結された以下の要素:
− マイクロプロセッサ1202(又は、CPU)、たとえば、DSP(すなわち、デジタル信号プロセッサ)と、
− ROM(すなわち、読み出し専用メモリ)1203と、
− RAM(すなわち、ランダムアクセスメモリ)1204と、
− アプリケーションから送信用データを受信するためのI/Oインターフェース1205と、
− バッテリー1206と
を備える。
一例によれば、バッテリー1206はデバイスの外部にある。上記メモリのそれぞれにおいて、本明細書で使用される「登録する」という単語は、小容量(いくつかのビット)の領域、又は非常に大きい領域(たとえば、プログラム全体、又は大量の受信若しくは復号されたデータ)に対応することができる。ROM1203は少なくともプログラム及びパラメータを含む。ROM1203は、本原理による技法を実施するためのアルゴリズム及び命令を記憶することができる。スイッチオンされた場合、CPU1202はプログラムをRAMにアップロードし、対応する命令を実行する。
RAM1204は、CPU1202によって実行され、デバイス1200のスイッチオンの後にアップロードされるプログラムをレジスタに、入力データをレジスタに、本方法の異なる状態の中間データをレジスタに、及び本方法の実行に使用される他の変数をレジスタに含む。
本明細書に記載の実装は、たとえば、方法若しくは処理、装置、ソフトウェアプログラム、データストリーム、又は信号で実装され得る。単一の形態の実装の文脈でのみ論じられている(たとえば、方法又はデバイスとしてのみ論じられている)場合であっても、論じられた特徴の実装は、他の形態(たとえば、プログラム)でも実装され得る。装置は、たとえば、適切なハードウェア、ソフトウェア、及びファームウェアで実施され得る。本方法は、たとえば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラマブルロジックデバイスを含む、一般的には処理デバイスを指す、たとえばプロセッサなどの装置などで実装され得る。プロセッサは、通信デバイス、たとえば、コンピュータ、携帯電話、ポータブル/パーソナルデジタルアシスタント(「PDA」)、及びエンドユーザ間の情報の通信を容易にする他のデバイスを更に含む。
符号化又は符号化器の一例によれば、HDR又はSDRピクチャはソースから取得される。たとえば、ソースは、
− ローカルメモリ(1203又は1204)、たとえば、ビデオメモリ又はRAM(すなわち、ランダムアクセスメモリ)、フラッシュメモリ、ROM(すなわち、読み出し専用メモリ)、ハードディスクと、
− ストレージインターフェース(1205)、たとえば、大容量ストレージ、RAM、フラッシュメモリ、ROM、光ディスク又は磁気支持体とのインターフェースと、
− 通信インターフェース(1205)、たとえば、有線インターフェース(たとえば、バスインターフェース、ワイドエリアネットワークインターフェース、ローカルエリアネットワークインターフェース)、又は無線インターフェース(たとえば、IEEE802.11インターフェース又はBluetooth(登録商標)インターフェース)と、
− ピクチャキャプチャ用回路(たとえば、センサ、たとえば、CCD(すなわち、電荷結合素子)、又はCMOS(すなわち、相補型金属酸化膜半導体))と
を含むセットに属する。
復号又は復号器の一例によれば、復号されたSDR又はHDRピクチャは宛先に送信され、具体的には、宛先は、
− ローカルメモリ(1203又は1204)、たとえば、ビデオメモリ又はRAM、フラッシュメモリ、ハードディスクと、
− ストレージインターフェース(1205)、たとえば、大容量ストレージ、RAM、フラッシュメモリ、ROM、光ディスク又は磁気支持体とのインターフェースと、
− 通信インターフェース(1205)、たとえば、有線インターフェース(たとえば、バスインターフェース(たとえば、USB(すなわち、ユニバーサルシリアルバス))、ワイドエリアネットワークインターフェース、ローカルエリアネットワークインターフェース、HDMI(登録商標)(高品位マルチメディアインターフェース)インターフェース)、又は無線インターフェース(たとえば、IEEE802.11インターフェース、WiFi(登録商標)若しくはBluetooth(登録商標)インターフェース)と、
− ディスプレイと
を含むセットに属する。
符号化又は符号化器の例によれば、ビットストリームF1、F2及び/又はF3は宛先に送信される。一例として、ビットストリームF1、F2及びF3の1つ、又は両方のビットストリームは、ローカル又はリモートのメモリ、たとえば、ビデオメモリ(1204)又はRAM(1204)、ハードディスク(1203)に記憶される。一変形例では、一方又は両方のビットストリームは、ストレージインターフェース(1205)、たとえば、大容量ストレージ、フラッシュメモリ、ROM、光ディスク若しくは磁気支持体とのインターフェースに送信され、及び/又は通信インターフェース(1205)、たとえば、ポイントツーポイントリンク、通信バス、ポイントツーマルチポイントリンク、若しくはブロードキャストネットワークとのインターフェースを介して送信される。
復号又は復号器の例によれば、ビットストリームF1、F2及び/又はF3はソースから取得される。例示的に、ビットストリームは、ローカルメモリ、たとえば、ビデオメモリ(1204)、RAM(1204)、ROM(1203)、フラッシュメモリ(1203)又はハードディスク(1203)から読み出される。一変形例では、ビットストリームは、ストレージインターフェース(1205)、たとえば、大容量ストレージ、RAM、ROM、フラッシュメモリ、光ディスク若しくは磁気支持体とのインターフェースから受信され、及び/又は通信インターフェース(1205)、たとえば、ポイントツーポイントリンク、バス、ポイントツーマルチポイントリンク、若しくはブロードキャストネットワークとのインターフェースから受信される。
例によれば、図2、図4−8d、図10a−cの1つに関連して説明された符号化方法を実装するように構成されるデバイス1200は、
− モバイルデバイスと、
− 通信デバイスと、
− ゲームデバイスと、
− タブレット(又はタブレットコンピュータ)と、
− ラップトップと、
− 静止画カメラと、
− ビデオカメラと、
− 符号化チップと、
− 静止画サーバと、
− ビデオサーバ(たとえば、ブロードキャストサーバ、ビデオオンデマンドサーバ又はWebサーバ)と
を含むセットに属する。
例によれば、図3、図9、図11a−dの1つに関連して説明された復号方法を実装するように構成されるデバイス1200は、
− モバイルデバイスと、
− 通信デバイスと、
− ゲームデバイスと、
− セットトップボックスと、
− テレビセットと、
− タブレット(又はタブレットコンピュータ)と、
− ラップトップと、
− ディスプレイと、
− 復号チップと
を含むセットに属する。
図13に示された一実施例によれば、通信ネットワークNETを介した2つのリモートデバイスA、B間の伝送の文脈において、デバイスAは、図2、図4−8d、図10a−cの1つに関連して説明されたピクチャを符号化するための方法を実装するように構成されるメモリRAM及びROMと関連するプロセッサを備え、デバイスBは、図3、図9、図11a−dの1つに関連して説明された復号のための方法を実装するように構成されるメモリRAM及びROMと関連するプロセッサを備える。
一例によれば、ネットワークは、デバイスAからデバイスBを含む復号デバイスに静止画又はビデオピクチャをブロードキャストするように適合されたブロードキャストネットワークである。
本明細書に記載の様々な処理及び特徴の実装は、種々の異なる機器又はアプリケーションにおいて具現化され得る。そのような機器の例は、符号化器、復号器、復号器からの出力を処理するポストプロセッサ、符号化器に入力を提供するプリプロセッサ、ビデオ符号化器、ビデオ復号器、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話、PDA、及びピクチャ若しくはビデオを処理するための任意の他のデバイス、又は他の通信デバイスを含む。明らかなはずであるように、機器はモバイルであり得、更には移動車両内に設置され得る。
また、本方法は、プロセッサによって実行される命令によって実装され得、そのような命令(及び/又は一実装によって生成されるデータ値)は、コンピュータ読み取り可能な記憶媒体に記憶され得る。コンピュータ読み取り可能な記憶媒体は、1つ又は複数のコンピュータ読み取り可能な媒体に具現化され、コンピュータによって実行可能なコンピュータ読み取り可能なプログラムコードがその上に具現化されたコンピュータ読み取り可能なプログラム製品の形態をとることができる。本明細書で使用されるコンピュータ読み取り可能な記憶媒体は、情報を内部に記憶する固有の能力、並びにそこからの情報の検索を提供する固有の能力が与えられた非一時的記憶媒体であると考えられる。コンピュータ読み取り可能な記憶媒体は、たとえば、限定はされないが、電子、磁気、光学、電磁、赤外線、又は半導体のシステム、装置、又はデバイス、或いは前述の任意の適切な組合せとすることができる。以下、すなわち、ポータブルコンピュータディスケット、ハードディスク、読み出し専用メモリ(ROM)、消去可能プログラマブル読み出し専用メモリ(EPROM又はフラッシュメモリ)、ポータブルコンパクトディスク読み出し専用メモリ(CD−ROM)、光記憶デバイス、磁気記憶デバイス、又は前述の任意の適切な組合せは、本原理が適用され得るコンピュータ読み取り可能な記憶媒体のより具体的な例を提供したものであるが、当業者によって容易に理解されるように、例示的であって網羅的ではないリストにすぎないことを理解されたい。
命令は、プロセッサ読み取り可能な媒体上に有形に具現化されたアプリケーションプログラムを形成することができる。
命令は、たとえば、ハードウェア、ファームウェア、ソフトウェア、又は組合せのものとすることができる。命令は、たとえば、オペレーティングシステム、別個のアプリケーション、又はその2つの組合せの中に含まれ得る。したがって、プロセッサは、たとえば、処理を実行するように構成されるデバイスと、処理を実施するための命令を有するプロセッサ読み取り可能な媒体を含むデバイス(たとえば記憶デバイスなど)との両方として特徴付けられ得る。更に、プロセッサ読み取り可能な媒体は、命令に加えて又はその代わりに、一実装によって生成されるデータ値を記憶することができる。
当業者には明らかであろうように、実装は、たとえば、記憶又は送信され得る情報を保持するようにフォーマットされた種々の信号を生成することができる。情報は、たとえば、方法を実施するための命令、又は記載された実装の1つによって生成されるデータを含むことができる。たとえば、信号は、記載された実施例のシンタックスを書き込む又は読み出すためのルールをデータとして保持するように、又は記載された実施例によって書き込まれた実際のシンタックス値をデータとして保持するようにフォーマットされ得る。そのような信号は、たとえば、(たとえば、スペクトルの無線周波数部分を使用する)電磁波として、又はベースバンド信号としてフォーマットされ得る。フォーマット化は、たとえば、データストリームを符号化することと、符号化されたデータストリームによって搬送波を変調することとを含むことができる。信号が保持する情報は、たとえば、アナログ又はデジタル情報とすることができる。信号は、知られているように、種々の異なる有線又は無線リンクを介して送信され得る。信号は、プロセッサ読み取り可能な媒体に記憶され得る。
いくつかの実装が記載されている。それにもかかわらず、様々な修正がなされ得ることは理解されよう。たとえば、異なる実装の要素は、他の実装を生成するために、結合、補充、修正、又は除去され得る。更に、当業者は、他の構造及び処理が開示されたものの代わりに使用され得、得られた実装が、開示された実装と少なくとも実質的に同一の結果を実現するために、少なくとも実質的に同一の方法で、少なくとも実質的に同一の機能を実行するであろうことを理解するであろう。したがって、これら及び他の実装は、本出願によって企図されている。
いくつかの実装が記載されている。それにもかかわらず、様々な修正がなされ得ることは理解されよう。たとえば、異なる実装の要素は、他の実装を生成するために、結合、補充、修正、又は除去され得る。更に、当業者は、他の構造及び処理が開示されたものの代わりに使用され得、得られた実装が、開示された実装と少なくとも実質的に同一の結果を実現するために、少なくとも実質的に同一の方法で、少なくとも実質的に同一の機能を実行するであろうことを理解するであろう。したがって、これら及び他の実装は、本出願によって企図されている。
ここで例としていくつかの付記を記載する。
(付記1)
HDRピクチャ(I HDR )及び前記HDRピクチャから得られる第1のSDRピクチャ(I SDR1 )の両方を少なくとも1つのビットストリーム(F1、F2、F3、F4)に符号化する方法であって、
前記HDRピクチャ(I HDR )から第2のHDRピクチャ(I SDR2 )を取得するステップ(210)であって、
カラーピクチャの輝度(Y)から得られる変調値に依存する非線形関数を前記カラーピクチャの前記輝度(Y)に適用して、輝度成分(L)のダイナミックが前記カラーピクチャの前記輝度(Y)のダイナミックと比較して低減されるようにすることによって、前記輝度成分(L)を取得するステップ(110a)と、
2つの色差成分(C1、C2)を取得するステップであって、
前記輝度成分(L)に依存する係数(r(L))により各色成分(Ec)をスケーリングすることによって少なくとも1つの中間色成分(E’c)を取得するステップ(140a)と、
前記少なくとも1つの中間色成分(E’c)から前記2つの色差成分(C1、C2)を取得するステップ(160a)と
によって取得するステップと
によって取得するステップ(210)において、
前記第2のHDRピクチャ(I SDR2 )が、前記輝度成分(L)及び前記2つの色差成分(C1、C2)を組み合わせること(170a)によって得られる、
取得するステップ(210)と、
前記第1のSDRピクチャ(I SDR1 )から得られる(220)第3のSDRピクチャ(I SDR3 )の色への前記第2のSDRピクチャ(I SDR2 )の色のマッピングを可能にするカラーマッピング関数(CMF)を取得するステップ(230)と、
前記カラーマッピング関数を表す情報(INF)をビットストリームに符号化するステップ(240)と、
前記第1のSDRピクチャ(I SDR1 )から得られる(250)第4のSDRピクチャ(I SDR4 )をビットストリームに符号化するステップ(260)と
を備える、方法。
(付記2)
前記第3(I SDR3 )及び第4(I SDR4 )のSDRピクチャが前記第1のSDRピクチャである、付記1に記載の方法。
(付記3)
前記第4のSDRピクチャ(I SDR4 )が前記第1のSDRピクチャ(I SDR1 )であり、前記第3のSDRピクチャ(I SDR3 )が前記符号化された第1のSDRピクチャ(I SDR1 )の復号されたバージョンである、付記1に記載の方法。
(付記4)
前記第3のSDRピクチャ(I SDR3 )が前記第1のSDRピクチャであり、前記第4のSDRピクチャ(I SDR4 )が、前記カラーマッピング関数を前記第2のSDRピクチャ(I SDR2 )の色に適用することによって得られる、付記1に記載の方法。
(付記5)
前記第3のSDRピクチャ(I SDR3 )が前記符号化された第1のSDRピクチャ(I SDR1 )の復号されたバージョンであり、前記第4のSDRピクチャ(I SDR4 )が、前記カラーマッピング関数を前記第2のSDRピクチャ(I SDR2 )の色に適用することによって得られる、付記1に記載の方法。
(付記6)
少なくとも1つのビットストリームからHDRピクチャを復号する方法であって、
ビットストリームを復号することによって得られる(310)復号された第4のSDRピクチャ(I SDR4 )から復号された第1のSDRピクチャ(I SDR1 )を取得するステップ(340)と、
ビットストリームを復号することによってカラーマッピング関数(CMF)を表す情報(INF)を取得するステップ(330)と、
前記復号された第1のSDRピクチャ(I SDR1 )から得られる(220)復号された第3のSDRピクチャ(I SDR3 )の色に前記カラーマッピング関数の逆関数(CMF −1 )を適用することによって復号された第2のSDRピクチャ(I SDR2 )を取得するステップ(340)と、
前記復号された第2のSDRピクチャ(I SDR2 )から復号されたHDRピクチャ(I HDR )を取得するステップ(350)であって、
前記ビットストリームから得られる(111a)輝度成分(L)に非線形関数を適用して、第1の成分(Y)のダイナミックが前記輝度成分(L)のダイナミックと比較して増加されるようにすることによって、前記第1の成分(Y)を取得するステップ(113a)と、
前記ビットストリームから得られる前記第1の成分(Y)及び2つの色差成分(C1、C2)と、前記輝度成分(L)に依存する係数(r(L))とから少なくとも1つの色成分(Ec)を取得するステップ(112a)と
によって取得するステップ(350)と
を備え、
前記復号されたピクチャが、前記少なくとも1つの色成分(Ec)を組み合わせることによって得られる、
方法。
(付記7)
HDRピクチャ(I HDR )及び前記HDRピクチャから得られる第1のSDRピクチャ(I SDR1 )の両方を少なくとも1つのビットストリーム(F1、F2、F3、F4)に符号化するデバイスであって、
前記HDRピクチャ(I HDR )から第2のHDRピクチャ(I SDR2 )を取得することであって、
カラーピクチャの輝度(Y)から得られる変調値に依存する非線形関数を前記カラーピクチャの前記輝度(Y)に適用して、輝度成分(L)のダイナミックが前記カラーピクチャの前記輝度(Y)のダイナミックと比較して低減されるようにすることによって、前記輝度成分(L)を取得すること(110a)と、
2つの色差成分(C1、C2)を取得することであって、
前記輝度成分(L)に依存する係数(r(L))により各色成分(Ec)をスケーリングすることによって少なくとも1つの中間色成分(E’c)を取得すること(140a)と、
前記少なくとも1つの中間色成分(E’c)から前記2つの色差成分(C1、C2)を取得すること(160a)と
によって取得することと
によって取得することにおいて、
前記第2のHDRピクチャ(I SDR2 )が、前記輝度成分(L)及び前記2つの色差成分(C1、C2)を組み合わせること(170a)によって得られる、
取得することと、
前記第1のSDRピクチャ(I SDR1 )から得られる(220)第3のSDRピクチャ(I SDR3 )の色への前記第2のSDRピクチャ(I SDR2 )の色のマッピングを可能にするカラーマッピング関数(CMF)を取得することと、
前記カラーマッピング関数を表す情報(INF)をビットストリームに符号化することと、
前記第1のSDRピクチャ(I SDR1 )から得られる(250)第4のSDRピクチャ(I SDR4 )をビットストリームに符号化することと
を行うように構成されるプロセッサを備えることを特徴とする、デバイス。
(付記8)
少なくとも1つのビットストリームからHDRピクチャを復号するデバイスであって、
ビットストリームを復号することによって得られる復号された第4のSDRピクチャ(I SDR4 )から復号された第1のSDRピクチャ(I SDR1 )を取得することと、
ビットストリームを復号することによってカラーマッピング関数(CMF)を表す情報(INF)を取得することと、
前記復号された第1のSDRピクチャ(I SDR1 )から得られる復号された第3のSDRピクチャ(I SDR3 )の色に前記カラーマッピング関数の逆関数(CMF −1 )を適用することによって復号された第2のSDRピクチャ(I SDR2 )を取得することと、
前記復号された第2のSDRピクチャ(I SDR2 )から復号されたHDRピクチャ(I HDR )を取得することであって、
前記ビットストリームから得られる(111a)輝度成分(L)に非線形関数を適用して、第1の成分(Y)のダイナミックが前記輝度成分(L)のダイナミックと比較して増加されるようにすることによって、前記第1の成分(Y)を取得すること(113a)と、
前記ビットストリームから得られる前記第1の成分(Y)及び2つの色差成分(C1、C2)と、前記輝度成分(L)に依存する係数(r(L))とから少なくとも1つの色成分(Ec)を取得すること(112a)と
によって取得することと
を行うように構成されるプロセッサを備え、
前記復号されたピクチャが、前記少なくとも1つの色成分(Ec)を組み合わせることによって得られる
ことを特徴とする、デバイス。
(付記9)
プログラムコード命令であって、このプログラムがコンピュータ上で実行された場合に、付記1に記載の符号化方法のステップを実行するためのプログラムコード命令を含む、コンピュータプログラム製品。
(付記10)
プログラムコード命令であって、このプログラムがコンピュータ上で実行された場合に、付記6に記載の復号方法のステップを実行するためのプログラムコード命令を含む、コンピュータプログラム製品。
(付記11)
少なくとも付記1に記載の符号化方法のステップをプロセッサに実施させるための命令が記憶された、プロセッサ読み取り可能な媒体。
(付記12)
少なくとも付記6に記載の復号方法のステップをプロセッサに実施させるための命令が記憶された、プロセッサ読み取り可能な媒体。
(付記13)
プログラムコードの命令であって、前記プログラムがコンピューティングデバイス上で実行された場合に、付記1から6のいずれか一項に記載の方法のステップを実行するためのプログラムコードの命令を保持する、非一時的記憶媒体。

Claims (13)

  1. HDRピクチャ(IHDR)及び前記HDRピクチャから得られる第1のSDRピクチャ(ISDR1)の両方を少なくとも1つのビットストリーム(F1、F2、F3、F4)に符号化する方法であって、
    前記HDRピクチャ(IHDR)から第2のHDRピクチャ(ISDR2)を取得するステップ(210)であって、
    カラーピクチャの輝度(Y)から得られる変調値に依存する非線形関数を前記カラーピクチャの前記輝度(Y)に適用して、輝度成分(L)のダイナミックが前記カラーピクチャの前記輝度(Y)のダイナミックと比較して低減されるようにすることによって、前記輝度成分(L)を取得するステップ(110a)と、
    2つの色差成分(C1、C2)を取得するステップであって、
    前記輝度成分(L)に依存する係数(r(L))により各色成分(Ec)をスケーリングすることによって少なくとも1つの中間色成分(E’c)を取得するステップ(140a)と、
    前記少なくとも1つの中間色成分(E’c)から前記2つの色差成分(C1、C2)を取得するステップ(160a)と
    によって取得するステップと
    によって取得するステップ(210)において、
    前記第2のHDRピクチャ(ISDR2)が、前記輝度成分(L)及び前記2つの色差成分(C1、C2)を組み合わせること(170a)によって得られる、
    取得するステップ(210)と、
    前記第1のSDRピクチャ(ISDR1)から得られる(220)第3のSDRピクチャ(ISDR3)の色への前記第2のSDRピクチャ(ISDR2)の色のマッピングを可能にするカラーマッピング関数(CMF)を取得するステップ(230)と、
    前記カラーマッピング関数を表す情報(INF)をビットストリームに符号化するステップ(240)と、
    前記第1のSDRピクチャ(ISDR1)から得られる(250)第4のSDRピクチャ(ISDR4)をビットストリームに符号化するステップ(260)と
    を備える、方法。
  2. 前記第3(ISDR3)及び第4(ISDR4)のSDRピクチャが前記第1のSDRピクチャである、請求項1に記載の方法。
  3. 前記第4のSDRピクチャ(ISDR4)が前記第1のSDRピクチャ(ISDR1)であり、前記第3のSDRピクチャ(ISDR3)が前記符号化された第1のSDRピクチャ(ISDR1)の復号されたバージョンである、請求項1に記載の方法。
  4. 前記第3のSDRピクチャ(ISDR3)が前記第1のSDRピクチャであり、前記第4のSDRピクチャ(ISDR4)が、前記カラーマッピング関数を前記第2のSDRピクチャ(ISDR2)の色に適用することによって得られる、請求項1に記載の方法。
  5. 前記第3のSDRピクチャ(ISDR3)が前記符号化された第1のSDRピクチャ(ISDR1)の復号されたバージョンであり、前記第4のSDRピクチャ(ISDR4)が、前記カラーマッピング関数を前記第2のSDRピクチャ(ISDR2)の色に適用することによって得られる、請求項1に記載の方法。
  6. 少なくとも1つのビットストリームからHDRピクチャを復号する方法であって、
    ビットストリームを復号することによって得られる(310)復号された第4のSDRピクチャ(ISDR4)から復号された第1のSDRピクチャ(ISDR1)を取得するステップ(340)と、
    ビットストリームを復号することによってカラーマッピング関数(CMF)を表す情報(INF)を取得するステップ(330)と、
    前記復号された第1のSDRピクチャ(ISDR1)から得られる(220)復号された第3のSDRピクチャ(ISDR3)の色に前記カラーマッピング関数の逆関数(CMF−1)を適用することによって復号された第2のSDRピクチャ(ISDR2)を取得するステップ(340)と、
    前記復号された第2のSDRピクチャ(ISDR2)から復号されたHDRピクチャ(IHDR)を取得するステップ(350)であって、
    前記ビットストリームから得られる(111a)輝度成分(L)に非線形関数を適用して、第1の成分(Y)のダイナミックが前記輝度成分(L)のダイナミックと比較して増加されるようにすることによって、前記第1の成分(Y)を取得するステップ(113a)と、
    前記ビットストリームから得られる前記第1の成分(Y)及び2つの色差成分(C1、C2)と、前記輝度成分(L)に依存する係数(r(L))とから少なくとも1つの色成分(Ec)を取得するステップ(112a)と
    によって取得するステップ(350)と
    を備え、
    前記復号されたピクチャが、前記少なくとも1つの色成分(Ec)を組み合わせることによって得られる、
    方法。
  7. HDRピクチャ(IHDR)及び前記HDRピクチャから得られる第1のSDRピクチャ(ISDR1)の両方を少なくとも1つのビットストリーム(F1、F2、F3、F4)に符号化するデバイスであって、
    前記HDRピクチャ(IHDR)から第2のHDRピクチャ(ISDR2)を取得することであって、
    カラーピクチャの輝度(Y)から得られる変調値に依存する非線形関数を前記カラーピクチャの前記輝度(Y)に適用して、輝度成分(L)のダイナミックが前記カラーピクチャの前記輝度(Y)のダイナミックと比較して低減されるようにすることによって、前記輝度成分(L)を取得すること(110a)と、
    2つの色差成分(C1、C2)を取得することであって、
    前記輝度成分(L)に依存する係数(r(L))により各色成分(Ec)をスケーリングすることによって少なくとも1つの中間色成分(E’c)を取得すること(140a)と、
    前記少なくとも1つの中間色成分(E’c)から前記2つの色差成分(C1、C2)を取得すること(160a)と
    によって取得することと
    によって取得することにおいて、
    前記第2のHDRピクチャ(ISDR2)が、前記輝度成分(L)及び前記2つの色差成分(C1、C2)を組み合わせること(170a)によって得られる、
    取得することと、
    前記第1のSDRピクチャ(ISDR1)から得られる(220)第3のSDRピクチャ(ISDR3)の色への前記第2のSDRピクチャ(ISDR2)の色のマッピングを可能にするカラーマッピング関数(CMF)を取得することと、
    前記カラーマッピング関数を表す情報(INF)をビットストリームに符号化することと、
    前記第1のSDRピクチャ(ISDR1)から得られる(250)第4のSDRピクチャ(ISDR4)をビットストリームに符号化することと
    を行うように構成されるプロセッサを備えることを特徴とする、デバイス。
  8. 少なくとも1つのビットストリームからHDRピクチャを復号するデバイスであって、
    ビットストリームを復号することによって得られる復号された第4のSDRピクチャ(ISDR4)から復号された第1のSDRピクチャ(ISDR1)を取得することと、
    ビットストリームを復号することによってカラーマッピング関数(CMF)を表す情報(INF)を取得することと、
    前記復号された第1のSDRピクチャ(ISDR1)から得られる復号された第3のSDRピクチャ(ISDR3)の色に前記カラーマッピング関数の逆関数(CMF−1)を適用することによって復号された第2のSDRピクチャ(ISDR2)を取得することと、
    前記復号された第2のSDRピクチャ(ISDR2)から復号されたHDRピクチャ(IHDR)を取得することであって、
    前記ビットストリームから得られる(111a)輝度成分(L)に非線形関数を適用して、第1の成分(Y)のダイナミックが前記輝度成分(L)のダイナミックと比較して増加されるようにすることによって、前記第1の成分(Y)を取得すること(113a)と、
    前記ビットストリームから得られる前記第1の成分(Y)及び2つの色差成分(C1、C2)と、前記輝度成分(L)に依存する係数(r(L))とから少なくとも1つの色成分(Ec)を取得すること(112a)と
    によって取得することと
    を行うように構成されるプロセッサを備え、
    前記復号されたピクチャが、前記少なくとも1つの色成分(Ec)を組み合わせることによって得られる
    ことを特徴とする、デバイス。
  9. プログラムコード命令であって、このプログラムがコンピュータ上で実行された場合に、請求項1に記載の符号化方法のステップを実行するためのプログラムコード命令を含む、コンピュータプログラム製品。
  10. プログラムコード命令であって、このプログラムがコンピュータ上で実行された場合に、請求項6に記載の復号方法のステップを実行するためのプログラムコード命令を含む、コンピュータプログラム製品。
  11. 少なくとも請求項1に記載の符号化方法のステップをプロセッサに実施させるための命令が記憶された、プロセッサ読み取り可能な媒体。
  12. 少なくとも請求項6に記載の復号方法のステップをプロセッサに実施させるための命令が記憶された、プロセッサ読み取り可能な媒体。
  13. プログラムコードの命令であって、前記プログラムがコンピューティングデバイス上で実行された場合に、請求項1から6のいずれか一項に記載の方法のステップを実行するためのプログラムコードの命令を保持する、非一時的記憶媒体。
JP2017568278A 2015-06-30 2016-06-27 Hdrピクチャ及び前記hdrピクチャから得られるsdrピクチャの両方をカラーマッピング関数を使用して符号化するための方法及びデバイス Pending JP2018524924A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15306048.8A EP3113496A1 (en) 2015-06-30 2015-06-30 Method and device for encoding both a hdr picture and a sdr picture obtained from said hdr picture using color mapping functions
EP15306048.8 2015-06-30
PCT/EP2016/064837 WO2017001330A1 (en) 2015-06-30 2016-06-27 Method and device for encoding both a hdr picture and a sdr picture obtained from said hdr picture using color mapping functions

Publications (1)

Publication Number Publication Date
JP2018524924A true JP2018524924A (ja) 2018-08-30

Family

ID=53724153

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017568278A Pending JP2018524924A (ja) 2015-06-30 2016-06-27 Hdrピクチャ及び前記hdrピクチャから得られるsdrピクチャの両方をカラーマッピング関数を使用して符号化するための方法及びデバイス

Country Status (7)

Country Link
US (1) US11006151B2 (ja)
EP (2) EP3113496A1 (ja)
JP (1) JP2018524924A (ja)
KR (1) KR102367205B1 (ja)
CN (2) CN114189691B (ja)
TW (1) TWI763629B (ja)
WO (1) WO2017001330A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3298766A1 (en) * 2015-05-18 2018-03-28 Thomson Licensing Method and device for processing color image data representing colors of a color gamut.
KR102711913B1 (ko) * 2015-08-28 2024-09-27 앤드류 와이어리스 시스템스 유케이 리미티드 높은 동적 범위 및 넓은 컬러 영역 시퀀스들의 코딩에서의 컬러 볼륨 변환들
JP7086587B2 (ja) * 2017-02-24 2022-06-20 インターデジタル ヴイシー ホールディングス, インコーポレイテッド 復号された画像データから画像データを再構成する方法および装置
US10574959B2 (en) * 2017-07-05 2020-02-25 Qualcomm Incorporated Color remapping for non-4:4:4 format video content
CN111466117B (zh) * 2017-12-12 2024-05-28 交互数字Vc控股公司 处理图像
US20190356891A1 (en) * 2018-05-16 2019-11-21 Synaptics Incorporated High dynamic range (hdr) data conversion and color space mapping
EP3672254A1 (en) * 2018-12-21 2020-06-24 InterDigital VC Holdings, Inc. Decoding an image
ES3052786T3 (en) * 2019-07-30 2026-01-14 Dolby Laboratories Licensing Corp Electro-optical transfer function conversion and signal legalization
EP4107946B1 (en) 2020-02-19 2023-11-22 Dolby Laboratories Licensing Corporation Joint forward and backward neural network optimization in image processing
CN113257174B (zh) * 2021-04-26 2022-07-12 长春希达电子技术有限公司 一种led显示屏色度校正目标色域的确定方法
CN114222187B (zh) * 2021-08-12 2023-08-29 荣耀终端有限公司 视频编辑方法和电子设备
US12260526B2 (en) 2021-08-13 2025-03-25 Samsung Electronics Co., Ltd. Self-emitting display (SED) burn-in prevention based on stationary luminance reduction
US12211434B2 (en) 2021-08-13 2025-01-28 Samsung Electronics Co., Ltd. Detecting stationary regions for organic light emitting diode (OLED) television (TV) luminance reduction
US12367565B2 (en) 2021-08-18 2025-07-22 Samsung Electronics Co., Ltd. Efficient inverse tone mapping network for standard dynamic range (SDR) to high dynamic range (HDR) conversion on HDR display
CN115797152A (zh) * 2021-09-10 2023-03-14 北京字跳网络技术有限公司 一种颜色映射色卡生成方法及装置
WO2023140514A1 (ko) * 2022-01-19 2023-07-27 삼성전자주식회사 전자 장치 및 그 제어 방법
US12051364B2 (en) 2022-05-06 2024-07-30 Samsung Electronics Co., Ltd. Organic light emitting diode (OLED) burn-in prevention based on stationary pixel and luminance reduction
CN118450165A (zh) * 2023-02-03 2024-08-06 华为技术有限公司 转码方法、装置及电子设备
US12430732B2 (en) 2023-05-24 2025-09-30 Synaptics Incorporated High dynamic range (HDR) image processing with adaptive color volume mapping

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110194618A1 (en) * 2009-03-13 2011-08-11 Dolby Laboratories Licensing Corporation Compatible compression of high dynamic range, visual dynamic range, and wide color gamut video
WO2014128586A1 (en) * 2013-02-21 2014-08-28 Koninklijke Philips N.V. Improved hdr image encoding and decoding methods and devices
US20160253792A1 (en) * 2013-10-22 2016-09-01 Dolby Laboratories Licensing Corporation Guided color grading for extended dynamic range

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3134784B2 (ja) 1996-08-05 2001-02-13 松下電器産業株式会社 画像合成回路
JP4040171B2 (ja) 1998-04-24 2008-01-30 キヤノン株式会社 信号処理装置
US8698840B2 (en) 1999-03-05 2014-04-15 Csr Technology Inc. Method and apparatus for processing video and graphics data to create a composite output image having independent and separate layers of video and graphics display planes
JP4003399B2 (ja) 2000-10-23 2007-11-07 ソニー株式会社 画像処理装置および方法、並びに記録媒体
US7106352B2 (en) 2003-03-03 2006-09-12 Sun Microsystems, Inc. Automatic gain control, brightness compression, and super-intensity samples
US20070091213A1 (en) 2003-09-12 2007-04-26 Koninklijke Philips Electronics N.V. Luminance control method and luminance control apparatus for controlling a luminance, computer program and a computing system
KR101356548B1 (ko) 2006-01-23 2014-01-28 막스-플랑크-게젤샤프트 츄어 푀르더룽 데어 비쎈샤프텐 에.파우. 하이 다이나믹 레인지 코덱들
US8014445B2 (en) 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding
US7558436B2 (en) 2006-07-20 2009-07-07 Max-Viz, Inc. Image dynamic range control for visual display
US8274525B2 (en) 2006-10-12 2012-09-25 TP Vision Holding, B.V. Converting color primaries and luminances of an input signalt to different color primaries and luminances for a display
US7826673B2 (en) 2007-01-23 2010-11-02 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction with color-conversion
WO2009000110A1 (en) * 2007-06-27 2008-12-31 Thomson Licensing Method and apparatus for encoding and/or decoding video data using enhancement layer residual prediction for bit depth scalability
EP2051527A1 (en) * 2007-10-15 2009-04-22 Thomson Licensing Enhancement layer residual prediction for bit depth scalability using hierarchical LUTs
US8411206B2 (en) 2007-12-27 2013-04-02 Texas Instruments Incorporated Apparatus and method for decoding extended color space data
KR101539379B1 (ko) * 2008-12-31 2015-07-29 주식회사 동부하이텍 실시간 영상 발생기
WO2012004709A1 (en) 2010-07-06 2012-01-12 Koninklijke Philips Electronics N.V. Generation of high dynamic range images from low dynamic range images
TWI479898B (zh) * 2010-08-25 2015-04-01 杜比實驗室特許公司 擴展影像動態範圍
WO2012122426A1 (en) 2011-03-10 2012-09-13 Dolby Laboratories Licensing Corporation Reference processing for bitdepth and color format scalable video coding
TWI538473B (zh) * 2011-03-15 2016-06-11 杜比實驗室特許公司 影像資料轉換的方法與設備
EP2697972B1 (en) 2011-04-14 2015-01-14 Dolby Laboratories Licensing Corporation Image prediction based on primary color grading model
TWI513327B (zh) 2011-04-15 2015-12-11 Dolby Lab Licensing Corp 高動態範圍影像的編碼、解碼及表示
CN103621084A (zh) * 2011-04-28 2014-03-05 皇家飞利浦有限公司 用于生成图像编码信号的方法和装置
JP6009538B2 (ja) 2011-04-28 2016-10-19 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. Hdr画像を符号化及び復号するための装置及び方法
CN103535038B (zh) * 2011-05-16 2017-10-13 杜比实验室特许公司 用于分层vdr编码的有效架构
CN103765436B (zh) 2011-08-26 2017-05-31 皇家飞利浦有限公司 失真减小的信号检测
UA116082C2 (uk) 2011-09-27 2018-02-12 Конінклійке Філіпс Н.В. Пристрій та спосіб для перетворення динамічного діапазону зображень
WO2013090120A1 (en) 2011-12-15 2013-06-20 Dolby Laboratories Licensing Corporation Backwards-compatible delivery of digital cinema content with extended dynamic range
TWI556629B (zh) 2012-01-03 2016-11-01 杜比實驗室特許公司 規定視覺動態範圍編碼操作及參數
US9438904B2 (en) 2012-01-19 2016-09-06 Futurewei Technologies, Inc. Reduced look-up table for LM mode calculation
RU2652465C2 (ru) 2012-07-13 2018-04-26 Конинклейке Филипс Н.В. Усовершенствованные способы и устройства для кодирования и декодирования hdr изображений
EP2836983B1 (en) 2012-10-08 2017-07-12 Koninklijke Philips N.V. Luminance changing image processing with color constraints
KR102149115B1 (ko) 2012-11-16 2020-08-27 인터디지털 브이씨 홀딩스 인코포레이티드 높은 동적 범위 이미지들의 프로세싱
EP3011741B1 (en) 2013-06-17 2018-03-07 Dolby Laboratories Licensing Corporation Adaptive reshaping for layered coding of enhanced dynamic range signals
EP2819414A3 (en) 2013-06-28 2015-02-25 Samsung Electronics Co., Ltd Image processing device and image processing method
JP6351313B2 (ja) 2013-07-11 2018-07-04 キヤノン株式会社 画像符号化装置、画像復号装置、画像処理装置、並びにそれらの制御方法
PL3022895T3 (pl) * 2013-07-18 2019-09-30 Koninklijke Philips N.V. Sposoby i urządzenia do tworzenia funkcji odwzorowywania kodu do kodowania obrazu hdr, oraz sposoby i urządzenia do używania tak zakodowanych obrazów
EP2887667A1 (en) * 2013-12-19 2015-06-24 Thomson Licensing Coding of high dynamic range images
EP2890129A1 (en) 2013-12-27 2015-07-01 Thomson Licensing Method and device for encoding a high-dynamic range image and/or decoding a bitstream
WO2015097118A1 (en) 2013-12-27 2015-07-02 Thomson Licensing Method and device for encoding a high-dynamic range image into a bitstream and/or decoding a bitstream representing a high-dynamic range image
EP2958327A1 (en) 2014-06-20 2015-12-23 Thomson Licensing Method and device for encoding a sequence of pictures
EP3251084B1 (en) 2015-01-30 2022-05-18 InterDigital VC Holdings, Inc. A method and apparatus of encoding and decoding a color picture

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110194618A1 (en) * 2009-03-13 2011-08-11 Dolby Laboratories Licensing Corporation Compatible compression of high dynamic range, visual dynamic range, and wide color gamut video
WO2014128586A1 (en) * 2013-02-21 2014-08-28 Koninklijke Philips N.V. Improved hdr image encoding and decoding methods and devices
US20160253792A1 (en) * 2013-10-22 2016-09-01 Dolby Laboratories Licensing Corporation Guided color grading for extended dynamic range

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LASSERRE, S. ET AL.: "Modulation-based HDR video coding with SDR backward compatibility", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JCTVC-U0085 (version 2), JPN6020024043, 15 June 2015 (2015-06-15), pages 1 - 16, ISSN: 0004577032 *

Also Published As

Publication number Publication date
EP3113496A1 (en) 2017-01-04
CN107852501A (zh) 2018-03-27
CN114189691A (zh) 2022-03-15
WO2017001330A1 (en) 2017-01-05
US20180192077A1 (en) 2018-07-05
KR20180021747A (ko) 2018-03-05
US11006151B2 (en) 2021-05-11
KR102367205B1 (ko) 2022-02-23
TW201701658A (zh) 2017-01-01
CN114189691B (zh) 2024-12-17
EP3318063A1 (en) 2018-05-09
TWI763629B (zh) 2022-05-11

Similar Documents

Publication Publication Date Title
JP7356478B2 (ja) カラー・ピクチャを符号化および復号する方法および装置
TWI763629B (zh) 將高動態範圍圖像與使用色映射函數從該高動態範圍圖像得到之標準動態範圍圖像兩者編碼之方法及裝置
JP6946325B2 (ja) 高ダイナミックレンジピクチャを符号化する方法及び装置、対応する符号化方法及並びに符号化装置
RU2710291C2 (ru) Способы и устройства для кодирования и декодирования цветного изображения hdr
JP2021013172A (ja) コード化および復号方法ならびに対応するデバイス
EP3051489A1 (en) A method and apparatus of encoding and decoding a color picture
CN107211129A (zh) 对彩色图片进行编码和解码的方法和装置
HK40081874A (en) A method and apparatus of encoding and decoding a color picture

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180302

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20181220

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20181227

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190614

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20191106

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200608

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200708

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201007

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20201217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210318

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210825