JP2018537056A - 高ダイナミックレンジ色変換補正 - Google Patents

高ダイナミックレンジ色変換補正 Download PDF

Info

Publication number
JP2018537056A
JP2018537056A JP2018543296A JP2018543296A JP2018537056A JP 2018537056 A JP2018537056 A JP 2018537056A JP 2018543296 A JP2018543296 A JP 2018543296A JP 2018543296 A JP2018543296 A JP 2018543296A JP 2018537056 A JP2018537056 A JP 2018537056A
Authority
JP
Japan
Prior art keywords
value
color space
component
component value
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018543296A
Other languages
English (en)
Other versions
JP6719572B2 (ja
Inventor
ノーキン,アンドレイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netflix Inc
Original Assignee
Netflix Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netflix Inc filed Critical Netflix Inc
Publication of JP2018537056A publication Critical patent/JP2018537056A/ja
Application granted granted Critical
Publication of JP6719572B2 publication Critical patent/JP6719572B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/67Circuits for processing colour signals for matrixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/68Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/77Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Developing Agents For Electrophotography (AREA)
  • Ink Jet (AREA)

Abstract

【要約書】 本発明の一実施形態は、色値を補正するための技法を記載する。本技法は、第1の色空間値をダウンサンプリングしてダウンサンプリング済み色空間値を生成するステップ、及び上記ダウンサンプリング済み色空間値をアップサンプリングして第2の色空間値を生成するステップを含む。本技法は更に、上記ダウンサンプリング済み色空間値に含まれる少なくとも1つの成分値を、上記第1の色空間値に含まれる第1の成分値、第2の色空間値に含まれる第2の成分値、及び非線形伝達関数の近似関数に基づいて変調するステップを含む。

Description

関連出願の相互参照
本出願は、2016年6月10日出願の米国特許出願第15/179,857号(代理人整理番号NETF/0109US)、2015年11月9日出願の米国仮特許出願第62/253,098号(代理人整理番号NETF/0109USL)、及び2015年11月16日出願の米国仮特許出願第62/256,080号(代理人整理番号NETF/0109USL2)に対する優先権を主張するものである。これらの関連出願の主題は、参照により本出願に援用される。
本発明の実施形態は一般に音響映像処理に関し、より詳細には、高ダイナミックレンジ(HDR)色変換補正に関する。
高ダイナミックレンジ(HDR)イメージングは、従来のイメージング技法によって典型的に可能なものよりも幅広い輝度値を表現できる技法である。特に、従来のイメージング設備は、限定的な輝度範囲しかキャプチャ及び再生できず、これは一般に、影及び/又はハイライトに関連する輝度範囲の細部の損失につながる。対照的に、HDR技法は、ヒトの視覚系が知覚する範囲により近い輝度範囲をキャプチャ及び表現できる。従ってHDR技法は、多くのタイプのマルチメディアコンテンツの視覚的品質を大幅に改善することが期待される。
中程度のビットデプス(例えばサンプルあたり10〜12ビット)を用いてHDRコンテンツに関連する輝度値(例えばおよそ0〜10,000cd/mの輝度値)を表現するために、様々な規格は、HDRコンテンツに高度に非線形の伝達関数を適用する。ビットデプスは一般に、1つの画像成分サンプル(例えば輝度又は彩度値)を表現するために使用されるビット数を指す。より具体的には、ヒトの視覚系は、輝度値が低い場合に輝度値の差異に対してより敏感となるため、非線形伝達関数をHDRコンテンツに関連する線形色値(例えばRGB値)に共通して適用することにより、輝度範囲の下端に対してより大きい値を割り当てる。輝度範囲の下端に対してより大きい値を割り当てることにより、視認者の視点からのいずれの知覚可能なアーティファクトを発生させずに、中程度のビットデプスでの量子化を達成できる。
非線形伝達関数をHDRコンテンツに適用した後、得られた非線形値を所望の色空間に変換し、HDRコンテンツをより効率的に伝送及び放送できるように更に処理する。これらの追加の処理操作は典型的には、彩度サブサンプリング及び動画圧縮を含み、これらはそれぞれ、HDRコンテンツのビットレートを低減するために実施される。例えばDigital Entertainment Content Ecosystems (DECE)が最近採用したHDR10仕様に関しては、ST.2084非線形伝達関数が線形RGB値に適用される。続いて非線形R’G’B’値をBT.2020色空間に変換し、得られたY’CbCr4:4:4値をサブサンプリングして、Y’CbCr 4:2:0値を生成する。次にY’CbCr 4:2:0値を、High Efficiency Video Coding(HEVC)Main10エンコーディングによって圧縮して、圧縮動画ストリームを生成する。
従来のHDR変換プロセスの1つの欠点は、HDRコンテンツに関連する色値(例えばY’CbCr4:4:4値)をサブサンプリングする際、彩度値は、平均化に類似したプロセスによって、例えばローパスフィルタの適用及びこれに続く(例えばY’CbCr4:2:2値又はY’CbCr4:2:0値を生成するための)サンプルのデシメーションによってサブサンプリングされるものの、輝度値はそうではないことである。HDRコンテンツの再構成時、平均化された彩度値をアップサンプリングした後、元の輝度値と組み合わせる。よって、彩度値が最初の段階で修正されているため、上記非線形伝達関数の逆関数をアップサンプリングされた値に適用すると、再構成された色値が、元のHDRコンテンツに存在する色値とは大きく異なってしまう場合がある。これらのタイプの差異は、急峻な傾斜を有する非線形光電気的伝達関数の範囲内にある色値(例えば低輝度値の色成分)については非常に知覚されやすくい。というのはこれらの領域では、色成分の値のわずかな変動が、Y’、Cb及びCr値に大きな影響を及ぼし得るためである。
例えばある色成分がゼロに近い値を有し、他の色成分がより大きい値を有する場合(これは一般に色域境界に近い色に関する場合である)、低強度の色成分値は、得られるY’CbCr4:4:4信号に対して反比例的に高い寄与を有することになる。即ちこの低強度色成分値のわずかな変動が、対応する線形RGB値が同様であるにもかかわらず、Y’、Cb及びCr成分に関して有意に異なる値をもたらすことになる。その結果、Y’CbCr4:2:0色値を後にY’CbCr4:4:4色値へとアップサンプリングして、非線形伝達関数の逆関数を提供すると、サブサンプリングによるCb及び/又はCr値の変化によって、大きく異なる値に再構成された、飽和した色が発生する場合があり、これは最終的な画像にアーティファクトを生成する。
上述の問題に対する1つの解決策は、(例えばY’CbCr4:2:0色値をY’CbCr4:4:4色値にアップサンプリングすることによって)再構成した場合に、元の信号の線形輝度に最も近い線形輝度をもたらす輝度値を選択することを、異なる輝度値にわたって繰り返すことである。しかしながら、例えば10ビット信号に関して輝度値を選択するために、この特定のアプローチは、各輝度サンプルに関して10回の反復を必要とする。1回の反復は、非線形伝達関数の逆関数の算出、及び色の逆変換の適用を必要とするため、これらのタイプの従来の技法は、光電気的伝達関数をルックアップテーブルとして実装した場合でさえ、極めて遅くなり得る。
以上に示すように、高ダイナミックレンジ(HDR)色値を変換及び補正するための改善された技法が有用である。
本発明の一実施形態は、色値を補正するための方法を記載する。本方法は、第1の色空間値をダウンサンプリングしてダウンサンプリング済み色空間値を生成するステップ、及び上記ダウンサンプリング済み色空間値をアップサンプリングして第2の色空間値を生成するステップを含む。本方法は更に、上記ダウンサンプリング済み色空間値に含まれる少なくとも1つの成分値を、上記第1の色空間値に含まれる第1の成分値、第2の色空間値に含まれる第2の成分値、及び非線形伝達関数の近似に基づいて修正するステップを含む。
更なる実施形態は特に、上述の方法を実装するために構成された、非一時的コンピュータ可読媒体及び計算デバイスを提供する。
本開示の技法の少なくとも1つの利点は、得られる再構成されたHDR画像が、従来の彩度ダウンサンプリングによって生成される画像に比べて、元のHDR画像に対してより正確である点である。更に本開示の技法の複雑さは従来のアプローチより大幅に低く、これにより、1回の反復によって最適な成分値(例えば輝度値)をリアルタイムで決定できる。
本発明の上述の特徴を詳細に理解できるよう、上で簡潔にまとめた本発明のより詳細な説明を、実施形態を参照して行うことができ、上記実施形態の一部は添付の図面に図示されている。しかしながら、添付の図面は本発明の典型的な実施形態のみを図示しているため、本発明の範囲の限定とみなしてはならないことに留意されたい。というのは、本発明は他の同等に有効な実施形態も許容し得るためである。
本発明の1つ以上の態様を実装するために構成された計算デバイスの概念図 本発明の様々な実施形態による、線形光/色値を非線形光/色値に変換するために実装できる非線形光電気的伝達関数(opto‐electrical transfer function:OETF) 本発明の様々な実施形態による、高ダイナミックレンジ(HDR)コンテンツを変換、圧縮及び再構成するためのプロセス 元のHDR画像 従来の技法に従って処理された画像 本発明の1つ以上の実施形態に従って処理された画像 元のHDR画像 従来の技法に従って処理された画像 本発明の1つ以上の実施形態に従って処理された画像 本発明の様々な実施形態による、HDR色変換補正をある画像に対して実施するための方法ステップのフローチャート
以下の説明では、本発明の実施形態のより完全な理解を提供するために、多数の具体的詳細を記載する。しかしながら、本発明の実施形態を、これらの具体的詳細のうちの1つ以上を用いずに実践してよいことは、当業者には明らかであろう。
図1は、本発明の1つ以上の態様を実装するために構成された計算デバイス100の概念図である。図示されているように、色変換システムは計算デバイス100を含む。計算デバイス100は、プロセッサ102、入出力(I/O)デバイス104及びメモリ110を含む。メモリ110は、データベース114と対話するよう構成された色変換アプリケーション112を含む。
プロセッサ102は、データを処理してプログラムコードを実行するよう構成された処理デバイスの、いずれの技術的に実行可能な形態であってよい。プロセッサ102は例えば、限定するものではないが、中央演算処理装置(CPU)、画像処理装置(GPU)、特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)等であってよい。
メモリ110は、メモリモジュール、又は複数のメモリモジュールの集合を含んでよい。メモリ110内の色変換アプリケーション112をプロセッサ102が実行することにより、色変換システムの全体的な機能性が実装される。例えば限定するものではないが、色変換システムが受信したマルチメディアコンテンツ(例えば画像、動画等)を色変換アプリケーション112が処理することにより、線形及び/若しくは非線形伝達関数を上記マルチメディアコンテンツに適用し、上記マルチメディアコンテンツを1つ以上の色空間の間で変換し、ダウンサンプリング、サブサンプリング、アップサンプリング等を上記マルチメディアコンテンツに対して実施し、並びに/又は1つ以上の圧縮アルゴリズムを上記マルチメディアコンテンツに適用してよい。メモリ110内のデータベース114は、画像、動画、アルゴリズム、パラメータ、ルックアップテーブル、並びに/又は伝達関数、色空間、不可逆及び/若しくは可逆コーデック等に関連する他のタイプのデータを保存してよい。
I/Oデバイス104は、入力デバイス、出力デバイス、並びに入力の受信及び出力の提供の両方が可能なデバイスを含んでよい。例えば限定するものではないが、I/Oデバイス104は、データをカメラ、ディスプレイスクリーン、メディアプレーヤー、ストレージデバイス、スピーカ、マイクロフォン、ネットワーキングデバイス及び/若しくは別の計算デバイスにデータを送信する、並びに/又はこれらからデータを受信する、有線及び/又は無線通信デバイスを含んでよい。
一般に、計算デバイス100は、色変換システム全体の動作を協調させるよう構成される。他の実施形態では、計算デバイス100は色変換システムに結合されてよいが、色変換システムの他の成分からは分離されていてよい。しかしながら、本明細書に記載の実施形態は、色変換システムの機能性を実装するよう構成されたいずれの技術的に実行可能なシステムを想定している。
図2は、本発明の様々な実施形態による、線形光/色値を非線形光/色値に変換するために実装できる非線形光電気的伝達関数(OETF)を示す。図示されているように、上記伝達関数の傾斜は、低輝度領域において急峻であり、高輝度領域において緩やかである。というのは、ヒトの視覚系は、輝度値が低い場合に輝度値の差異に対してより感受性となるためである。その結果、上記非線形伝達関数は、低輝度領域においてより多くの符号語を割り当て、またより小さい量子化ステップを使用し、これにより、量子化が画像に視認可能なアーティファクトを生成する可能性を低減する。本明細書に記載の技法は、図2に示すOETFと組み合わせて説明されるが、様々な実施形態において、いずれの形態を有する他のいずれのタイプの非線形伝達関数を、線形色値の変換及び再構成のために実装してよい。
図3は、本発明の様々な実施形態による、HDRコンテンツを変換、圧縮及び再構成するためのプロセスを示す。図示されているように、非線形伝達関数を線形RGB値に適用して、非線形R’G’B’値を生成する。次に上記非線形R’G’B’値を所望の色空間に変換し、得られた色値を、上記HDRコンテンツをより効率的に伝送及び放送できるように処理する。
例えばいくつかの実施形態では、OETF知覚量子化器(perceptual quantizer:PQ)を各線形光R、G及びB成分に対して別個に適用することにより、非線形R’G’B’値を生成する。次に非線形R’G’B’値を、以下に示す式1に従って、非定常輝度BT.2020色空間へと変換する。次に例えばY’CbCr4:4:4色値に対して更なる処理を実施することにより、伝送を容易にするためにビットレートを低減してよい。
Figure 2018537056
いくつかの実施形態では、色値を特定の色空間に変換した後、色値を、彩度サブサンプリング等のサブサンプリングによって更に処理する。色値をサブサンプリングする際、輝度及び/又は彩度情報を隣接するピクセルにわたって平均することにより、処理済み画像のビットレートを低減する。典型的には、輝度成分の元の解像度を保持したまま、画像の彩度成分をサブサンプリングする。というのは、ヒトの視覚系は、色の差異よりも輝度の差異を容易に検出できるためである。従って図3に示すように、Y’CbCr4:4:4フォーマットで特定される色値をサブサンプリングして、Y’CbCr4:2:2値又はY’CbCr4:2:0値を生成してよい。続いて、得られた色値を、HEVC、H.264等のコーデックによって任意に圧縮する。
上述のように、これらの従来のHDR変換プロセスの1つの欠点は、サブサンプリング済みの色値の再構成によってアーティファクトが生成され得る点である。特に、色空間変換の逆変換及び非線形伝達関数の逆関数(例えばEOTF PQ)をY’CbCr4:4:4色値に適用することにより、元の線形RGB信号と略同一の再構成済み色値が得られるが、Y’CbCr4:4:4色値にサブサンプリングを適用する場合、彩度値は効果的に平均される。その結果、これらのダウンサンプリング済み彩度値をアップサンプリングしてY’CbCr4:4:4色値に戻し、このアップサンプリング済みの値に上記非線形伝達関数の逆関数を適用すると、再構成された色値は、元の線形RGB信号に存在した色値とは大幅に異なるものとなり得る。このようなアーティファクトは、飽和した色において特に知覚でき、これは、色成分(例えばR、G及び/又はB)のうちの1つ以上が0に近い値を有する場合であり、この場合、特定の成分値(例えば、R、G又はB)のわずかな変動によって、線形光RGB値のそれぞれが同等であるにもかかわらず有意に異なるY’、Cb及びCr成分値がもたらされ得る。このようなアーティファクトの例を図4B及び5Bに示し、これらはそれぞれ、図4A及び5Aに示す元の画像には存在しなかった細部を含む。
従って様々な実施形態では、アーティファクトの発生率及び/又は視認性を低減するために、色変換アプリケーション112は、ダウンサンプリング済み成分値のうちの1つ以上を調整することにより、上記値が、アップサンプリング及び再構成された場合に、元のHDRコンテンツに存在した色値と同様の色値を生成するようにする。より具体的には、色変換アプリケーション112は彩度値をダウンサンプリングする。いくつかの実施形態では、色変換アプリケーション112は、図3に示すように、Y’CbCr4:4:4色値から直接、ダウンサンプリング済み彩度を得ることができる。あるいは色変換アプリケーション112は、線形RGB色値を直接ダウンサンプリングした後、ダウンサンプリング済みの値にOETF PQ及び色変換を適用してよい。
ダウンサンプリング済み彩度を得た後、色変換アプリケーション112は、選択されたアップサンプリングフィルタを適用することにより、上記彩度をアップサンプリングする。次に色変換アプリケーション112は、Y’、Cb及びCr値のうちの1つ以上を修正することにより、これらの値を線形RGB信号へと再構成することによって、元の線形RGB信号に存在した色値と同様の色値が生成されるようにする。参考のために、非線形R’G’B’値から線形RGB値を再構成するために使用してよいEOTF PQの例を以下の式2で示す。
Figure 2018537056
いくつかの実施形態では、色変換アプリケーション112は、Y’、Cb及びCr値のそれぞれを同時に推定することにより、Y’、Cb及びCr値を修正する。他の実施形態では、より迅速な推定を得るために、Cb及びCrの値を一定に保ったまま、Y’の値を得てよい。後者のアプローチは、彩度成分のアップサンプリングに使用されるフィルタが規格によって定義されておらず、従って異なる複数のハードウェア及びソフトウェアプラットフォーム間で変更してよいため、有益となり得る。更に、どのアップサンプリングフィルタを用いるかに応じて、彩度サンプルの修正は、近接した位置にあるアップサンプリング済み彩度値も変更してよい。
従って様々な実施形態では、色変換アプリケーション112は、元のRGBorg(x,y)値と略同様のRGBnew(x,y)値に対応する新規のY’、Cb及びCr成分値を見出すことによって、輝度成分Y’(x,y)の値を決定する。この表記法では、x及びyはそれぞれ、サンプルの水平及び垂直位置である。
実施例1‐一次コスト関数
いくつかの実施形態では、RGBnew(x,y)とRGBorg(x,y)との間の距離(D)は、ユークリッドノルム(例えば各成分の二乗誤差)として測定してよい:
Figure 2018537056
より単純な表記のためにサンプルの座標を省略すると、コスト関数は以下のようになる:
Figure 2018537056
より一般的なケースでは、各色成分R、G及びBに、重み付け係数wで重み付けすることもでき、ここでXは、色成分、w、w及びwに対応する。すると、本発明者らによるコスト関数は式5又は式6の形態を取り、ここでfは、ST.2084 EOTF PQ等のEOTF関数である:
Figure 2018537056
Figure 2018537056
値R’、G’及びB’は、元のY’CbCr値から、上記Y’CbCr値に関連する色空間に応じた色の逆変換を適用することによって得ることができる。例えばBT.709及びBT.2020色空間内のY’CbCr値に関する色の逆変換は、以下の形態を有する:
Figure 2018537056
ST.2084等の複雑な表現を有するEOTFに関するコスト関数を最小化する試みには、相当な処理リソースが必要となる。従って、EOTFを、切り捨てテイラー級数(例えば一次、二次又は三次多項式)を用いて近似して、閉じた形の解によってコスト関数Dを最小化できる。式3〜6に示されているコスト関数Dを最小化するための閉じた形の解の2つの例は、式8〜17と合わせて以下で説明する。特に、以下で記載される技法はRGB値を実装するが、RGB以外の色空間も使用できる。
EOTF(一次コスト関数)の線形近似
元のRGBorg(x,y)値と略同様のRGBnew(x,y)値に対応するより良好な輝度成分Y’(x,y)を推定するための、閉じた形の一次解を得るために、EOTF f(X)を、一次多項式を用いて近似してよく、ここでf’(X)は、点XにおけるXに関するf(X’)の導関数の値である:
Figure 2018537056
続いて、式8のEOTF近似を式6に代入することにより、コスト関数を以下のように近似できる;
Figure 2018537056
次に、式9のΔに、色の逆変換に基づいて(a1,1Y’new+e)を代入し、同様の代入をΔ及びΔに関して行う。続いてコスト関数DをY’に関して微分して、極小値に関する閉じた形の解を求める。Y’の値に関するこの閉じた形の解を、以下のようにして得ることができる。まず、新規の彩度値、元の彩度値及び色の逆変換パラメータに基づいて、e、e及びeを算出する:
Figure 2018537056
そして、Y’の値は以下に等しくなる:
Figure 2018537056
BT.709及びBT.2020におけるように、a1,1=a2,1=a3,1=1である場合、この表現は以下のように簡略化される:
Figure 2018537056
更に全ての重みを1に設定すると、Y’は以下のようになることが分かる:
Figure 2018537056
いくつかの実施形態では、EOTFの導関数の2乗f’(X)の値を事前に計算して、ルックアップテーブルに記憶させることができる。特に、ビットデプス10の動画に関して、10ビットの固定小数点処理を使用する場合、1024のエントリを含むルックアップテーブルを使用できる。より高い固定小数点又は浮動小数点精度の場合、より多くのテーブルエントリを用いて精度を向上させることができる。
EOTF(一次コスト関数)の二次近似
あるいは、式14に示すような二次多項式を用いてEOTFを近似してもよい:
Figure 2018537056
得られる近似は、線形近似よりも実際のEOTFに近い。しかしながら、コスト関数Dの極小値を得るには、三次方程式の根を得る必要があり、これは、上述の線形近似に比べてより高い複雑性及びより多くの処理リソースを伴う。
二次近似に関して、線形近似と同様の方法で導出を実施してよく、また簡潔にするためにこの導出を省略してもよい。a1,1=a2,1=a3,1=1とした場合の解は以下の通りである:
Figure 2018537056
そして、以下のようになる:
Figure 2018537056
ここでXはR、G及びBを表し、f’(X)は一次導関数f’(R’org)、f’(G’org)又はf’(B’org)を表し、f”(X)は二次導関数f”(R’org)、f”(G’org)又はf”(B’org)を表す。これらの導関数は、対応する非線形色成分に関して得られたものである。
コスト関数Dを最小化するために、以下の三次方程式をY’newに関して解く:
Figure 2018537056
上記三次方程式は、1つ又は3つの実根を有する。実根が3つである場合、コスト関数Dが4次項に正の係数を有する二次式であるという事実により、最大値又は最小値を有する根において最小化が達成される。次にコスト関数Dの値を両方の根に関して算出し、より小さい値をもたらした根をY’newとして選択する。
式3が実根を1つしか有しない場合、2つの複素根の実部を、更に可能な解とみなすことができる。具体的には、EOTFの近似を使用することにより、式の項の値のわずかな変化が、3つの実根ではなく1つの実根しか有しない式17に発生し得る。しかしながら場合によっては、2つの実根(その一方はコスト関数の最小化をもたらす)が2つの複素根となる場合、複素根のペアの実部は、残りの実根の値よりも良好な解の近似を表す。
実施例2‐二次コスト関数
いくつかの実施形態では、距離(D)は、RGBnew(x,y)及びRGBorg(x,y)の個々のR、G及びB成分の間の重み付けの差の合計として測定できる。このような実施形態では、これら2つの値の間の差異を式18に従って算出してよく、ここでw、w及びwは、各色成分R、G及びBに対応する重みである:
Figure 2018537056
次に、より簡潔な表記のためにピクセルの座標を省略した後、式19又は式20によってコスト関数を定義し、ここでf(X)はEOTF関数である:
Figure 2018537056
Figure 2018537056
上述のように、伝達関数の定義域値R’、G’及びB’を、BT.709及びBT.2020変換等の色の逆変換を適用することによって、Y’CbCrから得ることができる:
Figure 2018537056
様々な実施形態では、式18〜20に示されているコスト関数Dの絶対値(即ち|D|)を最小化することにより、RGBnew(x,y)とRGBorg(x,y)との間の差異を最小化してよい。しかしながら、絶対値関数は0において微分できないため、Dの絶対値の最小化は些細な作業ではない。従っていくつかの実施形態では、代わりに関数Dを最小化する。というのは、|D|及びDは同一の点において最小値に到達し、かつ関数Dは、全範囲の実数Rに関して微分可能であるためである。従って、最適化を代わりに関数Dに関して実施する。
Figure 2018537056
次にEOTFを、切り捨てテイラー級数を用いて近似して、閉じた形の解によってコスト関数Dを最小化できる。
EOTF(二次コスト関数)の線形近似
(8)を(22)に代入すると、コスト関数を以下のように近似できる:
Figure 2018537056
次に、式23のΔに(a1,1Y’new+e)を代入し、同様の代入をΔ及びΔに関しても行う。続いてコスト関数DをY’に関して微分して、極小値に関する閉じた形の解を求める。Y’の値に関するこの閉じた形の解を得るために、まず式10に従ってe、e及びeを算出する。Y’の値は以下となる:
Figure 2018537056
BT.709及びBT.2020におけるように、a1,1=a2,1=a3,1=1である場合、この表現は以下のように簡略化される:
Figure 2018537056
いくつかの実施形態では、EOTFの導関数f’(X)の値を事前に計算して、ルックアップテーブル(例えば、10ビットの固定小数点処理を用いる場合に、ビットデプス10の動画に関して1024のエントリを有するテーブル)に記憶させることができる。より高い固定小数点又は浮動小数点精度の場合、より多くのテーブルエントリを用いて精度を向上させることができる。
EOTF(二次コスト関数)の二次近似
あるいは、式14に示すような二次多項式を用いてEOTFを近似してもよい。a1,1=a2,1=a3,1=1とした場合の解は以下の通りである:
Figure 2018537056
そして、以下のようになる:
Figure 2018537056
ここでXはR、G及びBを表し、f’(X)は一次導関数f’(R’org)、f’(G’org)又はf’(B’org)を表し、f”(X)は二次導関数f”(R’org)、f”(G’org)又はf”(B’org)を表す。
コスト関数Dを最小化するために、以下の三次方程式をY’newに関して解く:
Figure 2018537056
上述のように、上記三次方程式は、1つ又は3つの実根を有する。実根が3つである場合、最大値又は最小値を有する根において最小化が達成される。次にコスト関数Dの値を両方の根に関して算出し、より小さい値をもたらした根をY’newとして選択する。式28が実根を1つしか有しない場合、残りの複素根の実部を解とみなすことができる。
他の実施形態では、上述の技法のうちのいずれを、ST.2084又はBT.1886を含む他のタイプの伝達関数を用いて実装できる。更に上述の技法を、BT.709及びBT.2020等の他の色空間に適用できる。更にいくつかの実施形態では、EOTFの導関数を、EOTFの微分によって、又は例えば導関数の定義を用いたEOTFの数値近似(例えば、EOTFの値の変化をEOTF引数の変化で除算すること)によって、得ることができる。単一のEOTFの代わりに、2つ以上のEOTFの平均又は重み付け平均を、閉じた形の解に組み込むことによって、複数の伝達関数への適合性のために本アプローチを最適化することもできる。このような実施形態では、EOTFの導関数を、EOTFの導関数の平均又は重み付け平均(例えば重み付け合計)に置き換えてよい。
本明細書に記載の技法は、より高次の多項式を用いてEOTFを近似することもできる。更にいくつかの実施形態では、コスト関数Dを、近接したピクセルに対応する複数の値等の複数の値(例えば、Y’、Cb及びCr)に対して最小化できる。このような実施形態ではY’、Cb及びCr成分それぞれに関して部分導関数を得て、Y’、Cb及びCrの最適な値を得ることができる。
様々な実施形態では、重みw、w及びwは、所望の精度又は各色成分の重要性に基づいて選択できる。例えば重みを1とすることができる。いくつかの実施形態では、重みw、w及びwは、ピクチャベース又はシーケンスベースで選択される。重みw、w及びwはまた、各サンプルに関する元のR、G及びB値に基づいて(例えば各サンプルに関するR、G及びBの強度と逆の関係に基づいて)、又は他の何らかのアルゴリズムに基づいて、サンプル/ピクセルベースで適応するように設定することもできる。他の実施形態では、重みは、輝度に対する各色成分の寄与に基づいて設定できる。例えば重みは、XYZ色空間のY成分に対するR、G及びB成分それぞれの寄与と等しく設定できる。BT.709の場合、重み0.212639、0.715169及び0.072192をそれぞれw、w及びwに割り当ててよい。BT.2020の場合、重み0.262700、0.677998及び0.059302をそれぞれw、w及びwに割り当ててよい。
図6は、本発明の様々な実施形態による、ある画像のHDR色変換補正を実施するための方法ステップのフローチャートを示す。これらの方法ステップは、図1〜3のシステムと合わせて説明されるが、当業者であれば、これらの方法ステップをいずれの順序で実施するよう構成されたいずれのシステムが、本発明の範囲内となることを理解するだろう。
図6に示すように、方法600は、色変換アプリケーション112が非線形伝達関数(例えばOETF PQ)に基づいて1つ以上の線形RGB値をR’G’B’org(x,y)値に変換するステップ610で開始される。次にステップ620では、色変換アプリケーション112は、標的となる色空間に関連する変換パラメータに基づいて、R’G’B’org(x,y)値をY’CbCrorg4:4:4値に変換する。次に色変換アプリケーション112は、上記Y’CbCrorg4:4:4値をサブサンプリングして、Y’CbCrnew4:2:2値又はY’CbCrnew4:2:0値を生成する。
ステップ640では、色変換アプリケーション112は上記Y’CbCr4:2:2値又は上記Y’CbCrorg4:2:0値をアップサンプリングして、Y’CbCrnew4:4:4値を生成する。次にステップ650では、色変換アプリケーション112は、EOTFの近似から導出した閉じた形の式に基づいて、輝度値Y’new(x,y)を算出する。様々な実施形態では、色変換アプリケーション112は、式11〜13、17、24、25、及び/又は28のうちのいずれに基づいて輝度値Y’new(x,y)を算出できる。例えば色変換アプリケーション112は、式11〜13、17、24、25、及び/又は28のうちの1つ以上に従って、R’G’B’org(x,y)値、Y’CbCrorg(x,y)値、Y’CbCrnew(x,y)値、1つ以上の色空間変換パラメータ、及び/又は非線形伝達関数の近似に基づいて、Y’new(x,y)を算出できる。
続いてステップ660では、色変換アプリケーション112は、Y’new(x,y)を対応するピクセル(x,y)に割り当てる。ステップ670では、色変換アプリケーション112は、1つ以上の追加のピクセルに関してY’newを決定すべきかどうかを決定する。追加のピクセルを処理すべきである場合、方法600はステップ650に戻り、ここでは色変換アプリケーション112が、R’G’B’org値、Y’CbCrorg値、Y’CbCrnew値、1つ以上の色空間変換パラメータ、及び/又は非線形伝達関数の近似に基づいて、1つ以上の追加の輝度値Y’newを算出する。そして方法600は終了する。
方法600を、特定のタイプの色値、色空間パラメータ、伝達関数及び近似に関して説明しているが、色変換アプリケーション112は、いずれのタイプの色値、色空間パラメータ、伝達関数及び近似を使用して、Y’、Cb、及び/又はCr値を修正してよい。
実験結果及び計算の複雑性
上述のように、線形近似アプローチの複雑性は、従来の輝度マイクログレーディングアプローチよりも大幅に低い。本明細書に記載の技法は、閉じた形の解を用いて、1回の反復でY’の値を得る。対照的に、従来のマイクログレーディングアプローチは、図2のチェーンの最後の2つのボックス、即ちR’G’B’値を得るステップ、EOTFを適用するステップ、及び線形光輝度を算出するステップを含む、10ビットの動画に関して10回の反復を必要とする。従って、ここで提案される線形近似アプローチは、複雑性と品質との間の良好なトレードオフを有し、これにより本アプローチは、リアルタイムシステムに好適なものとなる。
上述のアルゴリズムを、輝度マイクログレーディングアルゴリズムを実装した従来の技法と比較した。各アルゴリズムを、BT.709コンテナ内において、シーケンスFireEater(図4A〜4Cに図示)、Market(図5A〜5Cに図示)、及びTibulに対して実行した。各シーケンスは1920×1080pであり、ピーク輝度は4000cd/mであった。各シミュレーションにおいて、[‐2 16 54 ‐4]/64及び[‐4 36 36 ‐4]/64フィルタをそれぞれ垂直及び水平アップサンプリングのために使用した。アルゴリズムにおいて他のアップサンプリング及びダウンサンプリングフィルタを代わりに使用してもよい。
図4A〜4C及び5A〜5Cは、XYZ色空間のY成分に対するR、G及びB成分の寄与の係数と等しい重みw、w及びwを用いた線形近似アルゴリズムの効果を実証する。BT.709の場合、重みはw、w及びwそれぞれに関して0.212639、0.715169及び0.072192としてよい。BT.2020の場合、重みはw、w及びwそれぞれに関して0.262700、0.677998及び0.059302としてよい。
図4C及び5Cが示すように、EOTFの線形近似に基づく閉じた形の解から得られた画像は、従来の彩度ダウンサンプリングによって生成された画像よりも、元の画像に対してより正確である。
客観的結果を以下の表1〜4に示す。表1〜4中の値は、線形光定義域のPSNRと、tPSNRとを表す。tPSNRは、RGB色空間をXYZ色空間に変換すること、2つの伝達関数PQ(ST.2084)及びPhilipsの出力を平均すること、並びにX、Y及びZ成分のPSNRを算出することに関わる。
表1〜4の結果から観察されるように、平均PSNRは、従来の彩度ダウンサンプリングに比べて1.75dB超だけ増大する。更に、EOTFの線形近似を実装すると、3.65dBの改善が見られる。より低速の従来の輝度マイクログレーディングアプローチと比較すると、本明細書において開示されている様々な実施形態は、EOTFの線形近似を実装した場合に0.07dB低い平均PSNRをもたらし、またEOTFの二次多項式近似に関して0.01dB高い平均PSNRをもたらす。tPSNRメトリックは、従来の輝度マイクログレーディングアプローチより、平均0.17dB低い。更に、二次近似法は、線形近似よりわずかに良好なPSNR及びtPSNR測定値をもたらす。
特に、本明細書で開示される各技法は、試験された動画の主観的品質を大幅に改善し、近くできるアーティファクトを除去する。別の観察結果は、本明細書で開示される技法が、従来の彩度ダウンサンプリングより滑らかな輝度を生成し、その結果として、得られる動画を後で圧縮する際の利得がもたらされる可能性があることである。
Figure 2018537056
Figure 2018537056
Figure 2018537056
Figure 2018537056
要約すると、色変換アプリケーションは彩度値をダウンサンプリングし、続いてアップサンプリングフィルタを適用することにより、上記彩度値をアップサンプリングする。次に色変換アプリケーションは、ダウンサンプリング済みY’CbCr値のうちの1つ以上を、これらの値を線形RGB信号へと再構成することによって元の線形RGB信号の値と同等の値が生成されるように修正する。様々な実施形態では、色変換アプリケーションは、非線形伝達関数の近似に基づいた閉じた形の解を評価することによって、Cb及びCrの値を一定に維持しながら、Y’の最適な値を算出する。
本開示の技法の少なくとも1つの利点は、得られる再構成済みHDR画像が、従来の彩度ダウンサンプリングによって生成される画像よりも、元のHDR画像に対してより正確である点である。更に、本開示の技法の複雑性は、従来のアプローチの複雑性よりも大幅に低く、これにより、1回の反復によって最適な成分値(例えば輝度値)をリアルタイムで決定できる。
1.いくつかの実施形態では、非一時的コンピュータ可読記憶媒体は、命令を含み、
上記命令は、プロセッサが上記命令を実行した場合に、上記プロセッサに:
第1の色空間値をダウンサンプリングして、ダウンサンプリング済み色空間値を生成するステップ;
上記ダウンサンプリング済み色空間値をアップサンプリングして、第2の色空間値を生成するステップ;並びに
上記ダウンサンプリング済み色空間値に含まれる少なくとも1つの成分値を、上記第1の色空間値に含まれる第1の成分値、上記第2の色空間値に含まれる第2の成分値、及び非線形伝達関数の近似に基づいて修正するステップ
を実施させる、命令である。
2.上記少なくとも1つの成分値は、少なくとも1つの輝度値を含む、項目1の非一時的コンピュータ可読記憶媒体。
3.上記非線形伝達関数の上記近似は、電気光学的伝達関数(EOTF)の線形近似及び上記EOTFの二次近似のうちの少なくとも1つを含む、項目1又は2の非一時的コンピュータ可読記憶媒体。
4.上記第1の色空間値は、線形色値及び上記非線形伝達関数に基づいて生成される。項目1〜3のいずれか1項の非一時的コンピュータ可読記憶媒体。
5.上記第2の色空間値に含まれる上記第2の成分値と、上記第1の色空間値に含まれる上記第1の成分値との間の第1の差を算出するステップを更に含み、
上記少なくとも1つの成分値は、上記第1の差に基づいて修正される、項目1〜4のいずれか1項の非一時的コンピュータ可読記憶媒体。
6.上記第1の成分値、上記第2の成分値、上記第1の色空間値に含まれる第3の成分値、及び上記第2の色空間値に含まれる第4の成分値は、彩度値を含み、
上記少なくとも1つの成分値は、上記彩度値、及び上記第1の色空間値に含まれる輝度値に基づいて修正される、項目1〜5のいずれか1項の非一時的コンピュータ可読記憶媒体。
7.上記第1の色空間値及び上記第2の色空間値は、4:4:4Y’CbCr値を含み、
上記ダウンサンプリング済み色空間値は、4:2:2Y’CbCr値及び4:2:0Y’CbCr値のうちの少なくとも1つを含む、項目1〜6のいずれか1項の非一時的コンピュータ可読記憶媒体。
8.上記少なくとも1つの成分値は、上記非線形伝達関数の上記近似に関連するルックアップテーブルに基づいて修正される、項目1〜7のいずれか1項の非一時的コンピュータ可読記憶媒体。
9.上記少なくとも1つの成分値は、非線形色空間成分値及び色空間変換パラメータに基づいて修正され、
上記第1の色空間値は、上記色空間変換パラメータを上記非線形色空間成分値に適用することによって生成される、項目1〜8のいずれか1項の非一時的コンピュータ可読記憶媒体。
10.上記少なくとも1つの成分値は、赤色値に適用される第1の重み付け、緑色値に適用される第2の重み付け、及び青色値に適用される第3の重み付けのうちの少なくとも1つに基づいて修正される、項目1〜9のいずれか1項の非一時的コンピュータ可読記憶媒体。
11.上記第1の重み付けは、非線形色空間輝度に対する赤色の寄与に対応し、
上記第2の重み付けは、非線形色空間輝度に対する緑色の寄与に対応し、
上記第3の重み付けは、非線形色空間輝度に対する青色の寄与に対応する、項目1〜10のいずれか1項の非一時的コンピュータ可読記憶媒体。
12.上記第1の重み付けは、線形色空間輝度に対する赤色の寄与に対応し、
上記第2の重み付けは、線形色空間輝度に対する緑色の寄与に対応し、
上記第3の重み付けは、線形色空間輝度に対する青色の寄与に対応する、項目1〜11のいずれか1項の非一時的コンピュータ可読記憶媒体。
13.いくつかの実施形態では、方法は:
第1の色空間値をダウンサンプリングして、ダウンサンプリング済み色空間値を生成するステップ;
上記ダウンサンプリング済み色空間値をアップサンプリングして、第2の色空間値を生成するステップ;並びに
上記ダウンサンプリング済み色空間値に含まれる少なくとも1つの成分値を、非線形伝達関数の近似に基づいて修正するステップ
を含む。
14.上記少なくとも1つの成分値は、上記第1の色空間値に含まれる第1の成分値、及び上記第2の色空間値に含まれる第2の成分値に基づいて修正され、
上記少なくとも1つの成分値は、少なくとも1つの輝度値を含む、項目13の方法。
15.上記第2の色空間値に含まれる上記第2の成分値と、上記第1の色空間値に含まれる上記第1の成分値との間の第1の差を算出するステップを更に含み、
上記少なくとも1つの成分値は、上記第1の差に基づいて修正される、項目13又は14の方法。
16.上記第1の成分値、上記第2の成分値、上記第1の色空間値に含まれる第3の成分値、及び上記第2の色空間値に含まれる第4の成分値は、彩度値を含み、
上記少なくとも1つの成分値は、上記彩度値、及び上記第1の色空間値に含まれる輝度値に基づいて修正される、項目13〜15のいずれか1項の方法。
17.上記第1の色空間値及び上記第2の色空間値は、4:4:4Y’CbCr値を含み、
上記ダウンサンプリング済み色空間値は、4:2:2Y’CbCr値及び4:2:0Y’CbCr値のうちの少なくとも1つを含む、項目13〜16のいずれか1項の方法。
18.上記非線形伝達関数の上記近似は、電気光学的伝達関数(EOTF)の線形近似及び上記EOTFの二次近似のうちの少なくとも1つを含む、項目13〜17のいずれか1項の方法。
19.上記第1の色空間値は、線形色値及び上記非線形伝達関数に基づいて生成される、項目13〜18のいずれか1項の方法。
20.上記少なくとも1つの成分値は、上記非線形伝達関数の上記近似に関連するルックアップテーブルに基づいて修正される、項目13〜19のいずれか1項の方法。
21.計算デバイスは:
色補正アプリケーションを記憶するメモリ;及び
上記メモリに連結されたプロセッサ
を備え、
上記色補正アプリケーションを実行する際に:
第1の色空間値をダウンサンプリングして、ダウンサンプリング済み色空間値を生成し;
上記ダウンサンプリング済み色空間値をアップサンプリングして、第2の色空間値を生成し;
上記ダウンサンプリング済み色空間値に含まれる少なくとも1つの成分値を、上記第1の色空間値に含まれる第1の成分値、上記第2の色空間値に含まれる第2の成分値、及び非線形伝達関数の近似に基づいて修正する
よう構成される。
例示を目的として、様々な実施形態の説明を提示したが、これは網羅的なものとなること、又は本開示の実施形態に限定されることを意図したものではない。上述の実施形態の範囲及び精神から逸脱しない多くの修正及び変形が、当業者には明らかであろう。
上記実施形態の複数の態様は、システム、方法又はコンピュータプログラム製品として具現化できる。従って本開示の複数の態様は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態(ファームウェア、常駐ソフトウェア、マイクロコード等を含む)、又は本明細書中ではその全てを一般に「モジュール」若しくは「システム」と呼ぶことができる、ソフトウェア態様とハードウェア態様とを組み合わせた実施形態の形態を取ってよい。更に、本開示の複数の態様は、その上で具現化されたコンピュータ可読プログラムコードを有する、1つ以上のコンピュータ可読媒体内に具現化されたコンピュータプログラム製品の形態を取ってよい。
1つ以上のコンピュータ可読媒体のいずれの組み合わせを利用してよい。コンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体であってよい。コンピュータ可読記憶媒体は例えば、限定するものではないが、電子、磁気、光、電磁気、赤外線又は半導体システム、装置、又はデバイス、又はこれらのいずれの好適な組み合わせであってよい。コンピュータ可読記憶媒体のより具体的な例(非網羅的なリスト)には、以下が含まれる:1つ以上のワイヤ、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、消去可能プログラマブル読み出し専用メモリ(EPROM若しくはフラッシュメモリ)、光ファイバ、ポータブルコンパクトディスク読み出し専用メモリ(CD‐ROM)、光学記憶デバイス、磁気記憶デバイス、又はこれらのいずれの好適な組み合わせ。本文書の文脈においては、コンピュータ可読記憶媒体は、命令実行システム、装置若しくはデバイスが使用するための、又は命令実行システム、装置若しくはデバイスと接続された、プログラムを内包又は記憶できるいずれの有形媒体であってよい。
本開示の複数の態様を、本開示の実施形態による方法、装置(システム)及びコンピュータプログラム製品のフローチャート及び/又はブロック図を参照して上述した。フローチャート及び/又はブロック図の各ブロック、並びにフローチャート及び/又はブロック図の複数のブロックの組み合わせは、コンピュータプログラム命令によって実装できることが理解されるだろう。これらのコンピュータプログラム命令を、汎用コンピュータ、特定目的コンピュータ、又は機械を形成する他のプログラマブルデータ処理装置に提供することにより、上記コンピュータ又は他のプログラマブルデータ処理装置のプロセッサによって実行される上記命令は、フローチャート及び/又はブロック図の1つ以上のブロックに明記された機能/動作を実装できる。このようなプロセッサは、限定するものではないが、汎用プロセッサ、特定目的プロセッサ、特定用途向けプロセッサ、又はフィールドプログラマブルプロセッサ若しくはゲートアレイであってよい。
図面中のフローチャート及びブロック図は、本開示の様々な実施形態によるシステム、方法及びコンピュータプログラム製品の可能な実装形態のアーキテクチャ、機能性及び動作を示す。これに関して、フローチャート又はブロック図の各ブロックは、モジュール、セグメント又はコードの一部分を表してよく、これらは、明記された1つ以上の論理機能を実装するための1つ以上の実行可能な命令を含む。また、いくつかの代替的な実装形態では、ブロック内に記された機能は、図面内に記された順序以外の順序で発生し得ることにも留意されたい。例えば、関与する機能性に応じて、連続して示されている2つのブロックを、実際には略同時に実行してよく、又はこれらのブロックを、時には逆の順序で実行してもよい。また、ブロック図及び/又はフローチャートの各ブロック、並びにブロック図及び/又はフローチャートの複数のブロックの組み合わせは、明記された機能若しくは動作を実施する特定目的ハードウェアベースのシステム、又は特定目的ハードウェアとコンピュータ命令との組み合わせによって実装できることにも留意されたい。
以上の記述は、本開示の実施形態を対象としているが、本開示の他の実施形態及び更なる実施形態を、本開示の基本的な範囲から逸脱することなく考案してよく、また本開示の範囲は、以下の特許請求の範囲によって決定される。
100 計算デバイス
102 プロセッサ
104 入出力(I/O)デバイス
110 メモリ
112 色変換アプリケーション
114 データベース

Claims (21)

  1. 非一時的コンピュータ可読記憶媒体であって、
    前記非一時的コンピュータ可読記憶媒体は、命令を含み、
    前記命令は、プロセッサが前記命令を実行した場合に、前記プロセッサに:
    第1の色空間値をダウンサンプリングして、ダウンサンプリング済み色空間値を生成するステップ;
    前記ダウンサンプリング済み色空間値をアップサンプリングして、第2の色空間値を生成するステップ;並びに
    前記ダウンサンプリング済み色空間値に含まれる少なくとも1つの成分値を、前記第1の色空間値に含まれる第1の成分値、前記第2の色空間値に含まれる第2の成分値、及び非線形伝達関数の近似に基づいて修正するステップ
    を実施させる、命令である、非一時的コンピュータ可読記憶媒体。
  2. 前記少なくとも1つの成分値は、少なくとも1つの輝度値を含む、請求項1に記載の非一時的コンピュータ可読記憶媒体。
  3. 前記非線形伝達関数の前記近似は、電気光学的伝達関数(EOTF)の線形近似及び前記EOTFの二次近似のうちの少なくとも1つを含む、請求項1に記載の非一時的コンピュータ可読記憶媒体。
  4. 前記第1の色空間値は、線形色値及び前記非線形伝達関数に基づいて生成される。請求項1に記載の非一時的コンピュータ可読記憶媒体。
  5. 前記第2の色空間値に含まれる前記第2の成分値と、前記第1の色空間値に含まれる前記第1の成分値との間の第1の差を算出するステップを更に含み、
    前記少なくとも1つの成分値は、前記第1の差に基づいて修正される、請求項1に記載の非一時的コンピュータ可読記憶媒体。
  6. 前記第1の成分値、前記第2の成分値、前記第1の色空間値に含まれる第3の成分値、及び前記第2の色空間値に含まれる第4の成分値は、彩度値を含み、
    前記少なくとも1つの成分値は、前記彩度値、及び前記第1の色空間値に含まれる輝度値に基づいて修正される、請求項1に記載の非一時的コンピュータ可読記憶媒体。
  7. 前記第1の色空間値及び前記第2の色空間値は、4:4:4Y’CbCr値を含み、
    前記ダウンサンプリング済み色空間値は、4:2:2Y’CbCr値及び4:2:0Y’CbCr値のうちの少なくとも1つを含む、請求項6に記載の非一時的コンピュータ可読記憶媒体。
  8. 前記少なくとも1つの成分値は、前記非線形伝達関数の前記近似に関連するルックアップテーブルに基づいて修正される、請求項1に記載の非一時的コンピュータ可読記憶媒体。
  9. 前記少なくとも1つの成分値は、非線形色空間成分値及び色空間変換パラメータに基づいて修正され、
    前記第1の色空間値は、前記色空間変換パラメータを前記非線形色空間成分値に適用することによって生成される、請求項1に記載の非一時的コンピュータ可読記憶媒体。
  10. 前記少なくとも1つの成分値は、赤色値に適用される第1の重み付け、緑色値に適用される第2の重み付け、及び青色値に適用される第3の重み付けのうちの少なくとも1つに基づいて修正される、請求項1に記載の非一時的コンピュータ可読記憶媒体。
  11. 前記第1の重み付けは、非線形色空間輝度に対する赤色の寄与に対応し、
    前記第2の重み付けは、非線形色空間輝度に対する緑色の寄与に対応し、
    前記第3の重み付けは、非線形色空間輝度に対する青色の寄与に対応する、請求項10に記載の非一時的コンピュータ可読記憶媒体。
  12. 前記第1の重み付けは、線形色空間輝度に対する赤色の寄与に対応し、
    前記第2の重み付けは、線形色空間輝度に対する緑色の寄与に対応し、
    前記第3の重み付けは、線形色空間輝度に対する青色の寄与に対応する、請求項10に記載の非一時的コンピュータ可読記憶媒体。
  13. 第1の色空間値をダウンサンプリングして、ダウンサンプリング済み色空間値を生成するステップ;
    前記ダウンサンプリング済み色空間値をアップサンプリングして、第2の色空間値を生成するステップ;並びに
    前記ダウンサンプリング済み色空間値に含まれる少なくとも1つの成分値を、非線形伝達関数の近似に基づいて修正するステップ
    を含む、方法。
  14. 前記少なくとも1つの成分値は、前記第1の色空間値に含まれる第1の成分値、及び前記第2の色空間値に含まれる第2の成分値に基づいて修正され、
    前記少なくとも1つの成分値は、少なくとも1つの輝度値を含む、請求項13に記載の方法。
  15. 前記第2の色空間値に含まれる前記第2の成分値と、前記第1の色空間値に含まれる前記第1の成分値との間の第1の差を算出するステップを更に含み、
    前記少なくとも1つの成分値は、前記第1の差に基づいて修正される、請求項14に記載の方法。
  16. 前記第1の成分値、前記第2の成分値、前記第1の色空間値に含まれる第3の成分値、及び前記第2の色空間値に含まれる第4の成分値は、彩度値を含み、
    前記少なくとも1つの成分値は、前記彩度値、及び前記第1の色空間値に含まれる輝度値に基づいて修正される、請求項14に記載の方法。
  17. 前記第1の色空間値及び前記第2の色空間値は、4:4:4Y’CbCr値を含み、
    前記ダウンサンプリング済み色空間値は、4:2:2Y’CbCr値及び4:2:0Y’CbCr値のうちの少なくとも1つを含む、請求項16に記載の方法。
  18. 前記非線形伝達関数の前記近似は、電気光学的伝達関数(EOTF)の線形近似及び前記EOTFの二次近似のうちの少なくとも1つを含む、請求項13に記載の方法。
  19. 前記第1の色空間値は、線形色値及び前記非線形伝達関数に基づいて生成される、請求項13に記載の方法。
  20. 前記少なくとも1つの成分値は、前記非線形伝達関数の前記近似に関連するルックアップテーブルに基づいて修正される、請求項13に記載の方法。
  21. 計算デバイスであって、
    前記計算デバイスは:
    色補正アプリケーションを記憶するメモリ;及び
    前記メモリに連結されたプロセッサ
    を備え、
    前記色補正アプリケーションを実行する際に:
    第1の色空間値をダウンサンプリングして、ダウンサンプリング済み色空間値を生成し;
    前記ダウンサンプリング済み色空間値をアップサンプリングして、第2の色空間値を生成し;
    前記ダウンサンプリング済み色空間値に含まれる少なくとも1つの成分値を、前記第1の色空間値に含まれる第1の成分値、前記第2の色空間値に含まれる第2の成分値、及び非線形伝達関数の近似に基づいて修正する
    よう構成される、計算デバイス。
JP2018543296A 2015-11-09 2016-11-09 高ダイナミックレンジ色変換補正 Active JP6719572B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201562253098P 2015-11-09 2015-11-09
US62/253,098 2015-11-09
US201562256080P 2015-11-16 2015-11-16
US62/256,080 2015-11-16
US15/179,857 US10080005B2 (en) 2015-11-09 2016-06-10 High dynamic range color conversion correction
US15/179,857 2016-06-10
PCT/US2016/061190 WO2017083426A1 (en) 2015-11-09 2016-11-09 High dynamic range color conversion correction

Publications (2)

Publication Number Publication Date
JP2018537056A true JP2018537056A (ja) 2018-12-13
JP6719572B2 JP6719572B2 (ja) 2020-07-08

Family

ID=58668130

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018543296A Active JP6719572B2 (ja) 2015-11-09 2016-11-09 高ダイナミックレンジ色変換補正

Country Status (12)

Country Link
US (2) US10080005B2 (ja)
EP (1) EP3375190B1 (ja)
JP (1) JP6719572B2 (ja)
KR (1) KR102054092B1 (ja)
CN (1) CN108476325B (ja)
AU (2) AU2016352896B2 (ja)
BR (1) BR112018009432B1 (ja)
CA (1) CA3004769C (ja)
DK (1) DK3375190T3 (ja)
MX (1) MX2018005859A (ja)
SG (1) SG11201803876UA (ja)
WO (1) WO2017083426A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10742986B2 (en) 2015-11-09 2020-08-11 Netflix, Inc. High dynamic range color conversion correction
US10080005B2 (en) 2015-11-09 2018-09-18 Netflix, Inc. High dynamic range color conversion correction
US10715772B2 (en) 2015-11-09 2020-07-14 Netflix, Inc. High dynamic range color conversion correction
JP2019047223A (ja) * 2017-08-30 2019-03-22 シャープ株式会社 変換装置、変換方法、表示装置、プログラム、および記録媒体
WO2019071046A1 (en) * 2017-10-04 2019-04-11 Netflix, Inc. HIGH DYNAMIC RANGE OF COLOR CONVERSION CORRECTION
WO2019071045A1 (en) * 2017-10-04 2019-04-11 Netflix, Inc. HIGH DYNAMIC RANGE COLORING CORRECTION
EP3718304A1 (en) 2017-12-01 2020-10-07 InterDigital VC Holdings, Inc. Processing an image
US10832613B2 (en) 2018-03-07 2020-11-10 At&T Intellectual Property I, L.P. Image format conversion using luminance-adaptive dithering
EP3591955A1 (en) * 2018-07-06 2020-01-08 InterDigital VC Holdings, Inc. Method of processing data by an iterative application of a same lut

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7154557B2 (en) * 2003-02-11 2006-12-26 Texas Instruments Incorporated Joint pre-/post-processing approach for chrominance mis-alignment
ATE524923T1 (de) 2004-07-29 2011-09-15 Microsoft Corp Bildverarbeitung unter verwendung linearer lichtwerte und anderer bildverarbeitungsoptimierungen
US7843465B1 (en) * 2007-05-31 2010-11-30 Zoran Corporation Method and apparatus for mapping a multi-dimensional signal from one space to another space
US8089670B2 (en) * 2007-12-20 2012-01-03 Xerox Corporation Method for upsampling color correction tables, an apparatus for creating an upsampled color corretion table, and a program for upsampling color correction tables
TWI513327B (zh) * 2011-04-15 2015-12-11 Dolby Lab Licensing Corp 高動態範圍影像的編碼、解碼及表示
CN103747162B (zh) * 2013-12-26 2016-05-04 南京洛菲特数码科技有限公司 一种用于外置拼接器或混合矩阵的图像采样方法
CN103714570A (zh) * 2013-12-30 2014-04-09 四川九洲电器集团有限责任公司 一种通过粗采样深度值加速粒子渲染算法
MX2016012130A (es) * 2014-03-19 2017-04-27 Arris Entpr Inc Codificacion escalable de secuencias de video utilizando mapeo de tonos y diferentes gamas de colores.
WO2016130066A1 (en) 2015-02-13 2016-08-18 Telefonaktiebolaget Lm Ericsson (Publ) Pixel pre-processing and encoding
US10349064B2 (en) * 2015-03-10 2019-07-09 Apple Inc. Adaptive chroma downsampling and color space conversion techniques
US10244245B2 (en) * 2015-06-08 2019-03-26 Qualcomm Incorporated Content-adaptive application of fixed transfer function to high dynamic range (HDR) and/or wide color gamut (WCG) video data
US20170118489A1 (en) * 2015-10-23 2017-04-27 Broadcom Corporation High Dynamic Range Non-Constant Luminance Video Encoding and Decoding Method and Apparatus
US10080005B2 (en) 2015-11-09 2018-09-18 Netflix, Inc. High dynamic range color conversion correction
AU2015275320A1 (en) 2015-12-23 2017-07-13 Canon Kabushiki Kaisha Method, apparatus and system for determining a luma value

Also Published As

Publication number Publication date
MX2018005859A (es) 2018-11-12
AU2019240705A1 (en) 2019-10-24
CN108476325B (zh) 2021-01-26
CA3004769A1 (en) 2017-05-18
AU2016352896B2 (en) 2019-07-04
DK3375190T3 (da) 2022-10-03
BR112018009432A2 (pt) 2018-12-04
US20170134703A1 (en) 2017-05-11
AU2016352896A1 (en) 2018-05-31
US10080005B2 (en) 2018-09-18
KR20180084861A (ko) 2018-07-25
US10750146B2 (en) 2020-08-18
KR102054092B1 (ko) 2019-12-09
EP3375190A1 (en) 2018-09-19
CN108476325A (zh) 2018-08-31
EP3375190B1 (en) 2022-08-17
BR112018009432B1 (pt) 2023-12-26
WO2017083426A1 (en) 2017-05-18
US20190014297A1 (en) 2019-01-10
JP6719572B2 (ja) 2020-07-08
SG11201803876UA (en) 2018-06-28
CA3004769C (en) 2020-08-04

Similar Documents

Publication Publication Date Title
US10750146B2 (en) High dynamic range color conversion correction
US11265559B2 (en) High dynamic range image/video coding
JP6312775B2 (ja) エンハンストダイナミックレンジ信号の階層符号化のための適応的再構成
JP2020171022A (ja) 高ダイナミックレンジおよび広色域シーケンスを符号化するシステム
CN107615761B (zh) 用于像素处理和编码的方法、设备和计算机可读介质
WO2013067101A1 (en) Layer decomposition in hierarchical vdr coding
JP7138935B2 (ja) Hdr映像をsdr映像に変換するhdr広色域映像変換装置及びhdr広色域映像変換方法
JP6360841B2 (ja) 画像ダイナミックレンジ変換演算子を選択するための方法およびデバイス
US10742986B2 (en) High dynamic range color conversion correction
JP2021524647A (ja) 適応的なsdrからhdrへの再構成関数による、hdr画像化におけるバンディングアーチファクトの低減
Norkin Fast algorithm for HDR color conversion
US11895416B2 (en) Electro-optical transfer function conversion and signal legalization
US10715772B2 (en) High dynamic range color conversion correction
JP6860415B2 (ja) 映像信号変換装置、ダイナミックレンジ変換装置およびそれらのプログラム
WO2019071045A1 (en) HIGH DYNAMIC RANGE COLORING CORRECTION
WO2019071046A1 (en) HIGH DYNAMIC RANGE OF COLOR CONVERSION CORRECTION

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180703

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180703

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190527

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190605

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200401

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200424

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200520

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200616

R150 Certificate of patent or registration of utility model

Ref document number: 6719572

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250