JP2020014244A - 装置、方法、及びプログラム - Google Patents
装置、方法、及びプログラム Download PDFInfo
- Publication number
- JP2020014244A JP2020014244A JP2019185912A JP2019185912A JP2020014244A JP 2020014244 A JP2020014244 A JP 2020014244A JP 2019185912 A JP2019185912 A JP 2019185912A JP 2019185912 A JP2019185912 A JP 2019185912A JP 2020014244 A JP2020014244 A JP 2020014244A
- Authority
- JP
- Japan
- Prior art keywords
- data
- color
- conversion processing
- conversion
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 27
- 238000006243 chemical reaction Methods 0.000 claims abstract description 162
- 238000012545 processing Methods 0.000 claims abstract description 133
- 239000011159 matrix material Substances 0.000 claims abstract description 8
- 230000014509 gene expression Effects 0.000 claims description 13
- 238000012937 correction Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 18
- 238000004364 calculation method Methods 0.000 description 7
- 239000003086 colorant Substances 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Processing Of Color Television Signals (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
【課題】非線形性が強いガンマ変換と色変換を実行する場合に、所望の精度で階調データ抜けを防ぎつつ演算量を抑えること。【解決手段】本発明は、各画素が複数の色成分の値を持つ入力データに第1のガンマ変換処理を行うことで、該各画素値が変換された色データを生成し、該生成した色データに基づき、前記複数の色成分の全てに共通な共通指数部データと各色成分の仮数部データとを生成する、第1のガンマ変換処理手段と、前記各色成分の仮数部データに対し、固定小数のマトリクス演算による色変換処理を行い、色変換処理データを生成する色変換処理手段と、前記共通指数部データを用いて、前記色変換処理データを固定小数データに変換する固定小数変換手段と、前記固定小数データに第2のガンマ変換処理を行うことで、出力データを生成する第2のガンマ変換処理手段とを有することを特徴とする画像処理装置である。【選択図】図1
Description
本発明は、装置、方法、及びプログラムに関する。
近年、映像ディスプレイ、プロジェクタ等の表示装置の技術革新により、従来のCRTディスプレイに比べて、より高輝度、ハイダイナミックレンジの映像表示が可能になってきた。例えば、従来のCRTディスプレイのマスターモニタ(CRTマスターモニタ)は、映像信号の100%ホワイトに対して100nit(cd/m2)の輝度で表示していたが、現在の表示装置では100nit以上の輝度で表示できる物が一般的である。また、HDR(High Dynamic Range)ディスプレイと呼ばれる表示装置には、1000〜4000 nitの輝度で表示できる物も登場している。
HDRディスプレイ等の表示装置を用いて、より高ダイナミックレンジな映像表示を行うために、電気光伝達関数(以下EOTF)を拡張し、HDR信号レンジを表現できるようにしたHDR EOTFが必要となった。尚、EOTFは、従来のSDR(Standard Dynamic Range)ディスプレイに対して規定されていたディスプレイのガンマ規格である。
HDR EOTFの例として、従来のレンジより広い10000nitまでの表示輝度レンジに対して、視覚的に最適な量子化精度となるPQ(Perceptual Quantizer)を適用したHDR EOTFが規格化されている。PQに代表されるようなEOTFは、表示装置の映像出力での絶対輝度に対する量子化値として規定されるため、絶対輝度方式のEOTFである。
また、上述の輝度同様に、従来よりも表示できる色の範囲(色域)が広くなった表示装置が増えてきている。色域が広い画像データは、「広色域画像データ」と呼ばれる。この広色域画像データをカメラ撮影によって生成し、記録可能な撮影装置がある。広色域画像データは、例えばBT2020規格で定められた色域を有する。ところが、映像表示装置には、この広色域のBT2020規格を表示可能な物もあれば、従来の狭い色域規格、例えばBT709規格で定められた色域しか表示できない物もある。
映像表示装置は、表示パネルの表示性能を越える色信号が入力されることもあるため、RGBの3つの色信号の最大値を検出し、その最大値を表示パネルで表示可能なレベルに減衰させて表示パネルのダイナミックレンジに適合させる処理を行っている。例えば、特許文献1に記載の色信号変換装置は、外部からの映像信号を逆ガンマ補正により輝度に線形なRGBの階調データに変換し、表示装置の特性に合わせた色変換及び彩度変換を行い、更に表示パネルのガンマ特性に合わせてガンマ補正を行った上で出力する。
表示パネルに合わせた色変換を行う場合、前述のSDR OETFでは特に問題は無かった。しかし、例えばPQのような、HDRディスプレイでのHDR EOTFに組み合わせる場合、内部演算で要するビット幅が大きな問題になってくる。例えば、逆ガンマ補正へ入力される入力信号を12ビット精度、ガンマ補正から出力される出力信号を12ビット精度とした場合、内部演算のビット幅は概ね30ビット以上必要となってくる。この理由は、PQの特性が強い非線形性を示すものであることから、それに対応した逆ガンマ補正やガンマ補正において所望の精度で階調データ抜けを防ぐために必要となるためである。
そこで本発明は、上記の課題に鑑み、PQカーブ等の非線形性が強いガンマ変換と色変換を実行する場合に、所望の精度で階調データ抜けを防ぎつつ演算量を抑えることを目的とする。
本発明は、各画素が複数の色成分の値を持つ入力データに第1のガンマ変換処理を行うことで、該各画素値が変換された色データを生成し、該生成した色データに基づき、前記複数の色成分の全てに共通な共通指数部データと各色成分の仮数部データとを生成する、第1のガンマ変換処理手段と、前記各色成分の仮数部データに対し、固定小数のマトリクス演算による色変換処理を行い、色変換処理データを生成する色変換処理手段と、前記共通指数部データを用いて、前記色変換処理データを固定小数データに変換する固定小数変換手段と、前記固定小数データに第2のガンマ変換処理を行うことで、出力データを生成する第2のガンマ変換処理手段とを有することを特徴とする画像処理装置である。
本発明により、非線形性が強いガンマ変換と色変換を実行する場合に、所望の精度で階調データ抜けを防ぎつつ演算量を抑えることが可能になる。
[第1実施形態]
<映像信号規格変換装置の構成について>
以下、本実施形態における映像信号規格変換装置について、図1(a)を用いて説明する。図1(a)は、本実施形態を適用可能な画像処理装置である映像信号規格変換装置1000の全体構成を示すブロック図である。
<映像信号規格変換装置の構成について>
以下、本実施形態における映像信号規格変換装置について、図1(a)を用いて説明する。図1(a)は、本実施形態を適用可能な画像処理装置である映像信号規格変換装置1000の全体構成を示すブロック図である。
映像信号規格変換装置1000は、ガンマ規格と色規格との両方又は何れか一方の規格変換処理を実行することができるが、ここでは色規格の変換処理のみを実行するものとする。
映像信号規格変換装置1000に入力する信号である入力映像信号1の映像信号規格は第1のHDR規格であり、例えばガンマ規格はST2084、色規格はBT709とする。これに対し、映像信号規格変換装置1000が出力する信号である出力映像信号5の映像信号規格は第2のHDR規格であり、例えばガンマ規格は同様にST2084、色規格はBT2020とする。
図3にST2084のEOTF階調特性を示す。この階調特性は、物理量である輝度と、画像処理装置で用いられるデータ又は入出力信号のデータである階調との間の関係である。図3では輝度10000[nit]が1.0の階調になるように規格化して示している。尚、ここで取り扱う映像信号は、RGB三原色に対応する3成分のデータであり、各成分のデータは該当する色の階調情報を示している。1つの画素のデータは、当該画素の3成分の色データ(階調データ、つまりRGBの各画素値)から成り、全ての画素のデータを処理することで映像全体の画像処理が行われる。
<デガンマ処理について>
映像信号規格変換装置1000内の浮動小数デガンマ処理部1001は、第1のガンマ変換処理として、入力映像信号1のガンマ規格であるST2084の逆ガンマ特性(EOTFの逆特性)の補正処理を実行する。具体的には、入力映像信号1のRGBデータを輝度リニアなRGB階調データに変換し、該変換したデータを、固定小数色変換処理部1002への色変換入力仮数部データ2と浮動小数ガンマ補正処理部1003への共通指数部データ3として出力する。ここで「輝度リニア」とは、階調データとその階調データが表現する輝度情報とが線形な関係であることを指す。また、共通指数部データ3とは、RGBの3成分で構成される色変換入力仮数部データ2に共通な1つの指数部データである。本実施形態ではこのように、輝度リニアなRGB階調データを前述の色変換入力仮数部データ2と共通指数部データ3とを用いることで浮動小数として扱う。
映像信号規格変換装置1000内の浮動小数デガンマ処理部1001は、第1のガンマ変換処理として、入力映像信号1のガンマ規格であるST2084の逆ガンマ特性(EOTFの逆特性)の補正処理を実行する。具体的には、入力映像信号1のRGBデータを輝度リニアなRGB階調データに変換し、該変換したデータを、固定小数色変換処理部1002への色変換入力仮数部データ2と浮動小数ガンマ補正処理部1003への共通指数部データ3として出力する。ここで「輝度リニア」とは、階調データとその階調データが表現する輝度情報とが線形な関係であることを指す。また、共通指数部データ3とは、RGBの3成分で構成される色変換入力仮数部データ2に共通な1つの指数部データである。本実施形態ではこのように、輝度リニアなRGB階調データを前述の色変換入力仮数部データ2と共通指数部データ3とを用いることで浮動小数として扱う。
図2(a)は、本実施形態における浮動小数デガンマ処理部1001の構成を示すブロック図である。入力映像信号1は、RGB三原色の3つの色データから成るが、これらの色データの夫々について、対応するデータ変換処理部でガンマ処理を行う。具体的には、Rの色データについてはデータ変換処理部101aで、Gの色データについてはデータ変換処理部101bで、Bの色データについてはデータ変換処理部101cで、夫々ガンマ処理を行う。データ変換処理部101a、データ変換処理部101b、及びデータ変換処理部101cが夫々出力するデータは、固定小数形式のデータであり、まとめて固定小数輝度リニアデータ11として、共通指数部浮動小数変換部102に入力される。
図4(a)に、3つのデータ変換処理部、即ち、データ変換処理部101a、データ変換処理部101b、及びデータ変換処理部101cにおいて共通な変換特性を示す。図4(a)では、最大階調を1.0に規格化して示しており、この特性は図3で示したST2084の階調特性の逆変換特性(縦軸と横軸を入れ替えて、輝度10000nitを1.0の階調で表現したもの)となっている。尚、固定小数輝度リニアデータ11は所望のビット幅のデータであり、例えば32ビット幅のデータである。これは12ビット幅のST2084規格の入力映像信号1を、理想的なデガンマ処理、および後述するガンマ補正処理によって12ビット幅のST2084規格の出力映像信号5に変換した場合に、2階調以下の変換誤差とするために必要なビット幅である。
<共通指数部浮動小数変換部について>
ビット幅が大きい固定小数輝度リニアデータ11をそのまま使用して後述する色変換処理を実施すると、ビット幅に応じて演算回路規模が増大する。そのため本実施形態では、色変換処理の演算回路規模を削減するため、共通指数部浮動小数変換部102において、固定小数輝度リニアデータ11を小さいビット幅の色変換入力仮数部データ2と共通指数部データ3とに変換する。図5に、共通指数部浮動小数変換部102のブロック図を示す。
ビット幅が大きい固定小数輝度リニアデータ11をそのまま使用して後述する色変換処理を実施すると、ビット幅に応じて演算回路規模が増大する。そのため本実施形態では、色変換処理の演算回路規模を削減するため、共通指数部浮動小数変換部102において、固定小数輝度リニアデータ11を小さいビット幅の色変換入力仮数部データ2と共通指数部データ3とに変換する。図5に、共通指数部浮動小数変換部102のブロック図を示す。
最大値抽出部201は、固定小数輝度リニアデータ11のR成分、G成分、B成分という3つのデータの中から最大値を導出し、それを最大値情報21として指数部決定部202に出力する。指数部決定部202は、最大値情報21に基づき共通指数部データ3を出力する。共通指数部データ3の決定方法としては、例えば最大値情報21の最上位ビットから連続する“0”の個数を共通指数部データ3の値とする。仮数部決定部203は、共通指数部データ3に基づき、固定小数輝度リニアデータ11における仮数部データの位置を決定し、色変換入力仮数部データ2を出力する。具体的には、固定小数輝度リニアデータ11を共通指数部データ3の値だけ左シフトさせ、上位所望の桁数だけ抽出する。図6に、共通指数部浮動小数変換部102で行われる変換処理の概念図を示す。同図では、例として、固定小数輝度リニアデータ11は32ビット幅、色変換入力仮数部データ2は14ビット幅、共通指数部データ3は5ビット表現の場合を示している。
図6(a)は、3つの色成分が全て高階調(高輝度)の場合を示す。この3つの中で最大値となるものはR成分であり、この値から共通指数部データ3は“3” (R成分の最上位ビットから連続する“0”の個数が“3”)となる。よって、色変換入力仮数部データ2は、固定小数輝度リニアデータ11の最上位から4ビット目からの14ビット幅となる。この場合、固定小数輝度リニアデータ11の全ての色成分の下位ビットデータ、つまり低階調情報(低輝度情報)は失われることになるが、元々が高輝度の情報であるために、失われる情報は人の目には視認されない領域の情報である。映像信号規格変換装置1000が表示装置等につながれて、出力映像信号5が該表示装置に直接入力されて用いられる場合には問題にならない。
図6(b)は、3つの色成分が全て低階調(低輝度)の場合を示す。この3つの中で最大値となるものはG成分であり、この値から共通指数部データ3は“17” (G成分の最上位ビットから連続する“0”の個数が“17”)となる。よって、色変換入力仮数部データ2は、固定小数輝度リニアデータ11の最上位から18ビット目からの14ビット幅となる。この場合、固定小数輝度リニアデータ11の殆ど全ての色成分の下位ビットデータ、つまり低階調情報(低輝度情報)を有効に保存できている。従って、出力映像信号5が表示装置に直接入力されて用いられる場合、階調とびや色ずれなく低階調(低輝度領域)の情報を表現可能となる。
図6(c)は、3つの色成分の中に高階調(高輝度)と低階調(低輝度)が混在している場合を示す。この3つの中で最大値となるものはB成分であり、この値から共通指数部データ3は“4” (B成分の最上位ビットから連続する“0”の個数が“4”)となる。よって、色変換入力仮数部データ2は、固定小数輝度リニアデータ11の最上位から5ビット目からの14ビット幅となる。この場合、固定小数輝度リニアデータ11のG成分とB成分の下位ビットデータ(低階調、低輝度情報)は失われることになるが、図6(a)の場合と同じ理由により、階調表現上問題ない。但し一方で、R成分の低階調情報が失われることになり、R成分のデータは、高階調情報を有さないため問題になるようにも思われる。しかし、後述の色変換のマトリクス演算によって色変換する際のR成分の寄与度が低く、かつ図6(a)の場合と同様の理由により、他色の高階調(高輝度)の色成分があるため、低階調(低輝度)のR成分が消失しても、人の目には視認されない(されにくい)。よって、階調表現上問題にならない。
図6(d)は、図6(b)よりもさらに低階調(低輝度)の場合を示す。この場合、色変換入力仮数部データ2の14ビット幅を確保することを優先するために、最大値(B成分)の最上位ビットから連続する“0”の個数が“20”となるが、“18”でクリップされる。よって、色変換入力仮数部データ2は、固定小数輝度リニアデータ11の最下位から14ビット幅となり、共通指数部データ3は“18”となる。
<色変換処理について>
固定小数色変換処理部1002の入力データである色変換入力仮数部データ2は、既に述べた通り、色規格がBT709かつ輝度リニアなデータである。一方、固定小数色変換処理部1002の出力データ(色変換処理データ)である色変換出力仮数部データ4は、固定小数色変換処理部1002で色変換処理が行われた結果、色規格がBT2020となった輝度リニアなデータである。尚、色変換入力仮数部データ2および色変換出力仮数部データ4の全ての色成分は、共通指数部データ3が指数部である浮動小数表現のデータである。これら浮動小数データの仮数部データのみに着目すると、式(1)で示される共通ゲイン(GAINとする)がかけられた固定小数表現のデータと解釈できる。式(1)において、DATA3は共通指数部データ3を指す。
固定小数色変換処理部1002の入力データである色変換入力仮数部データ2は、既に述べた通り、色規格がBT709かつ輝度リニアなデータである。一方、固定小数色変換処理部1002の出力データ(色変換処理データ)である色変換出力仮数部データ4は、固定小数色変換処理部1002で色変換処理が行われた結果、色規格がBT2020となった輝度リニアなデータである。尚、色変換入力仮数部データ2および色変換出力仮数部データ4の全ての色成分は、共通指数部データ3が指数部である浮動小数表現のデータである。これら浮動小数データの仮数部データのみに着目すると、式(1)で示される共通ゲイン(GAINとする)がかけられた固定小数表現のデータと解釈できる。式(1)において、DATA3は共通指数部データ3を指す。
よって、固定小数色変換処理部1002は、輝度リニアなRGBデータである色変換入力仮数部データ2に対して、固定小数のマトリクス演算によって色変換演算を行うことが可能である。固定小数色変換処理部1002は、この色変換の結果として、色変換出力仮数部データ4を出力する。具体的な演算式の一例を式(2)に示す。式(2)において、DATA2は色変換入力仮数部データ2を指し、DATA4は色変換出力仮数部データ4を指す。また例えば、RDATA2は、色変換入力仮数部データ2のR成分を指す。尚、式(2)中に示すマトリクス係数は実数表現で表記しているが、ハードウェアに実装される際は所望のビット幅の固定小数データに変換されるものとする。
<ガンマ補正処理について>
浮動小数ガンマ補正処理部1003は、共通指数部データ3と色変換出力仮数部データ4とに基づき、ガンマ規格がST2084のガンマ特性(EOTFそのもの)の補正処理を行うことによって、出力映像信号5を生成し出力する。
浮動小数ガンマ補正処理部1003は、共通指数部データ3と色変換出力仮数部データ4とに基づき、ガンマ規格がST2084のガンマ特性(EOTFそのもの)の補正処理を行うことによって、出力映像信号5を生成し出力する。
図7は、本実施形態における浮動小数ガンマ補正処理部1003の構成を示すブロック図である。共通指数部固定小数変換部301は、共通指数部データ3と色変換出力仮数部データ4とに基づき、式(3)で示す処理によって、固定小数色変換出力データ12を出力する。式(3)において、DATA3は共通指数部データ3を指し、DATA4は色変換出力仮数部データ4を指し、DATA12は固定小数色変換出力データ12を指す。
尚、固定小数色変換出力データ12は所望のビット幅のデータであり、例えば32ビット幅のデータである。これは、固定小数輝度リニアデータ11と同様に、変換誤差を2階調以下に抑えるためである。
浮動小数ガンマ補正処理部1003内のデータ変換処理部101d、101e、101fは、浮動小数デガンマ処理部1001内のデータ変換処理部101a、101b、101cと逆の変換を行うものである。図4(b)は、浮動小数ガンマ補正処理部1003内の3つのデータ変換処理部に共通の変換特性を示す図である。図4(b)では、最大階調を1.0に規格化して示しており、この特性は図3で示したST2084の階調特性と等価(輝度10000nitを階調1.0としたもの)となっている。
以上のようにして生成された出力映像信号5はそのまま、或いは所定のデジタル映像伝送フォーマットへの変換がなされて、ディスプレイ等の表示装置に出力される。
[第2実施形態]
以下、映像信号規格変換装置が色調整処理部を更に備える場合について説明する。尚、以降では、既述の実施形態と異なる点について主に説明し、既述の実施形態と同様の内容については説明を適宜省略する。
以下、映像信号規格変換装置が色調整処理部を更に備える場合について説明する。尚、以降では、既述の実施形態と異なる点について主に説明し、既述の実施形態と同様の内容については説明を適宜省略する。
図1(b)は、本実施形態における映像信号規格変換装置1000の全体構成を示すブロック図である。
実施形態1と比べると、本実施形態における映像信号規格変換装置1000には、階調オフセット処理を行う色調整処理部1004が追加されている。階調オフセット処理とは例えば、低階調を持ち上げるためにR成分、G成分、B成分に同じ値のオフセット値を加算する処理である。尚、階調オフセット処理の際に用いるオフセット値(OFFSETとする)は、固定値として予め設定されている。ここで、本実施形態における固定小数色変換処理部1002から出力される色変換出力仮数部データ4は、第1実施形態でも述べたように浮動小数表現になっている。そのため、オフセット値は共通指数部データ3に応じて調整する必要がある。従って、式(4)で示すオフセット処理を行うことで、色調整データ13を出力する。式(4)において、DATA3は共通指数部データ3を指し、DATA4は色変換出力仮数部データ4を指し、DATA13は色調整データ13を指す。
この処理を実行しておくことで、浮動小数ガンマ補正処理部1003で固定小数に戻した時に、共通指数部データ3が異なる別々の画素においても同じオフセット処理がなされることになる。
以降の処理では、第1実施形態で用いた色変換出力仮数部データ4に代わって色調整データ13を用いて、浮動小数ガンマ補正処理部1003における浮動小数ガンマ補正処理部が行われる。
[第3実施形態]
以下、浮動小数デガンマ処理部の構成が第1実施形態と異なる場合について説明する。尚、以降では、既述の実施形態と異なる点について主に説明し、既述の実施形態と同様の内容については説明を適宜省略する。
以下、浮動小数デガンマ処理部の構成が第1実施形態と異なる場合について説明する。尚、以降では、既述の実施形態と異なる点について主に説明し、既述の実施形態と同様の内容については説明を適宜省略する。
<デガンマ処理について>
本実施形態における浮動小数デガンマ処理部1001は、第1のガンマ変換処理として、入力映像信号1のガンマ規格がST2084の逆ガンマ特性の補正処理を実行する。具体的には、入力映像信号1のRGBデータを輝度リニアなRGB階調データに変換し、該変換したデータを、固定小数色変換処理部1002への色変換入力仮数部データ2と浮動小数ガンマ補正処理部1003への共通指数部データ3として出力する。
本実施形態における浮動小数デガンマ処理部1001は、第1のガンマ変換処理として、入力映像信号1のガンマ規格がST2084の逆ガンマ特性の補正処理を実行する。具体的には、入力映像信号1のRGBデータを輝度リニアなRGB階調データに変換し、該変換したデータを、固定小数色変換処理部1002への色変換入力仮数部データ2と浮動小数ガンマ補正処理部1003への共通指数部データ3として出力する。
図2(b)は、本実施形態における浮動小数デガンマ処理部1001のブロック図である。図示するように、本実施形態における浮動小数デガンマ処理部1001は、第1実施形態では設けられていた共通指数部浮動小数変換部102がなくなりその代わりに、各指数部決定部401が設けられる(図2(a)参照)。また本実施形態の浮動小数デガンマ処理部1001では、各指数部決定部401で決定される各指数部データに基づき補間データ変換処理部402でガンマ変換処理が行われ、補間データ変換処理部402の出力が色変換入力仮数部データ2となっている。以下、これらの構成要素について詳細に述べていく。
各指数部決定部401は、入力映像信号1データに基づき、各色成分の指数部を決定し、3チャンネルの各色成分指数部データ14(R成分、G成分、B成分の各データから成る)を出力する。また、各指数部決定部401は、各色成分指数部データ14の最小値を、共通指数部データ3として出力する。ここで図8に、指数部データの決定方法の例として、入力階調のデータ範囲に応じて指数部データを決定する方法を示す。尚、図8の横軸の入力階調は、最大階調を1.0として規格化している。例えば、入力映像信号1が0から0.125の範囲だった場合、指数部データは“14”となり、入力映像信号1が0.25から0.375の範囲だった場合、指数部データは“8”となる。
3つの補間データ変換処理部402は共通の変換特性を有し、第1実施形態と同じく図4(a)に示した特性に加え、第1実施形態における共通指数部浮動小数変換部102の特性も有している。つまり、補間データ変換処理部402の出力は、第1実施形態のデータ変換処理部101の出力と異なり、既に仮数部情報となっており、色変換入力仮数部データ2そのものとなる。ビット幅は例えば第1実施形態と同様に14ビット幅である。
図9に、補間処理によってデータ変換を行う補間データ変換処理部402のブロック図を示す。
参照データ保存部501には例えば、図10に示す特性のテーブルデータが保存されており、入力映像信号1に対応するデガンマ後の参照データ15を、参照データ補正部502に出力する。この特性は、図4(a)のデガンマ変換特性を、図8に示す指数部決定部の特性図における縦軸の指数部データに応じて倍率補正したものである。本例では、入力映像信号1が0から0.125の範囲だった場合、指数部データは“14”であり、図4(a)のデガンマ後リニア階調のデータに対して214倍した値がデガンマ参照データとなる。また、0.25から0.375の範囲だった場合、指数部データは“8”であり、同様に28倍した値がデガンマ参照データとなる。このようにして生成されるデガンマ参照データ15は言い換えると既に仮数部データに相当する情報である為、色変換入力仮数部データ2のビット幅が14ビット幅である場合、それと同様に14ビットのテーブルデータを参照データ保存部501で保存すれば済む。また、テーブルデータは入力映像信号1に対して所定の格子間隔で保存されているものとし、格子間のデータは後述する補間演算によって生成される。こうすることで、保存するテーブルデータ量を更に削減することが可能になる。
図10で示す特性は、入力映像信号1のR成分、G成分、B成分の全ての階調データが同じ場合の補間データ変換処理部402における変換特性と等価である。これは入力映像信号1のR成分、G成分、B成分の全ての階調データが同じ場合、各色成分指数部データ14と共通指数部データ3とが同一であるためである。一方で、入力映像信号1の各色成分の階調データが異なる場合には、各色成分指数部データ14が共通指数部データ3と異なる可能性がある。よって、デガンマ参照データが共通指数部データ3と同じになるよう参照データ補正部502で補正される。具体的には、デガンマ参照データ15と、共通指数部データ3と、各色成分指数部データ14とに基づく式(5)で示す演算処理の結果として、補正デガンマ参照データ16が出力される。式(5)において、DATA3は共通指数部データ3を指し、DATA14は各色成分指数部データ14を指し、DATA15はデガンマ参照データ15を指し、DATA16は補正デガンマ参照データ16を指す。
補間演算部503は、補正デガンマ参照データ16と入力映像信号1とを用いて所定の補間演算を実行して、色変換入力仮数部データ2を生成し出力する。
[まとめ、その他の実施形態]
以上の説明は、本発明の各実施形態について好適な実施例を用いて説明したものであり、本発明を限定するものではなく、様々な形態に本発明の変形例を容易に適用することができる。
以上の説明は、本発明の各実施形態について好適な実施例を用いて説明したものであり、本発明を限定するものではなく、様々な形態に本発明の変形例を容易に適用することができる。
例えば、前述の実施形態では、入力映像信号1と出力映像信号5とのガンマ規格はHDR規格の一つであるST2084としているが、別のHDR規格例えばHLG(ハイブリットログガンマ)や各社が提案するガンマ規格であっても良い。但し、本発明の効果が顕著に現れるのは、従来のSDRのガンマ規格よりも非線形性が強い場合である。また、入力映像信号1と出力映像信号5とのガンマ規格について、両方HDR規格のST2084としているが、少なくとも一方がHDR規格(非線形性が強いガンマ規格)であれば良く、もう一方は、別のHDR規格又はSDR規格であっても良い。
色規格に関しては、入力映像信号1の色域規格はBT709、出力映像信号5の色域規格はBT2020としているが、それぞれの規格はこれらに限定されず、AdobeRGB、BT601等の任意の規格を用いて良い。但し、入力映像信号1の色域が出力映像信号5の色域よりも広い場合は、マトリクス演算だけでは表現できない色データが発生してしまうため、3Dルックアップテーブルを用いたカラーマッチング技術等が別途必要になる。尚、3Dルックアップテーブルを使用する場合や、カラーマッチング処理を実行する場合は、絶対的な輝度情報が必要な場合があり、その場合は、第2実施形態のように色調整処理部1004に共通指数部データ3を入力することで対処する。
データ変換処理部101の詳細の構成は述べていないが、演算規模と変換性能とを考慮して好適な公知技術を採用すれば良い。例えば、データ変換用の理論式をそのまま実装しても良いし、この理論式に近似する式を実装しても良い。或いは、第3実施形態で述べたようなテーブルデータと各種補間処理を実装しても良い。補間処理を採用する場合、格子間隔は、第3実施形態で述べたように入力階調に対して任意間隔の均等間隔でも良いし、不均等間隔でも良い。また、入力階調に対応する変換データ全てをテーブルデータとして保存しても良い。この場合、第3実施形態で実行した補間演算は省略可能である。更に、補間処理の方法は、所望のデータ変換精度によって好適な公知技術を採用すれば良い。例えば、線形補間、二次近似補間、三次近似補間、高次補間等がある。
共通指数部データ3について、画素毎に階調データ(RGB)の最大値に基づいて共通指数部データ3を決定する方法を述べたが、共通指数部データ3は、複数画素から成る所定領域毎に決定しても良いし、フレームを跨いで決定しても良い。また、最大値ではなく、所定の固定値を用いても良い。但し、これらの場合は、有効なデータ(特に低階調)を保存することができないケースや、固定小数に戻す際にデータが飽和するケースが出てくる可能性があるため、処理性能と画質との関係から好適な構成を採用する必要がある。
更に、前述の各実施形態における構成要素、機能、特徴、又は演算式を適宜組み合わせて構成される装置、方法、及びプログラムも本発明に含まれる。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
1 映像信号規格変換装置
1001 浮動小数デガンマ処理部
1002 固定小数色変換処理部
1003 浮動小数ガンマ補正処理部
301 共通指数部浮動小数変換部
101 データ変換処理部
1001 浮動小数デガンマ処理部
1002 固定小数色変換処理部
1003 浮動小数ガンマ補正処理部
301 共通指数部浮動小数変換部
101 データ変換処理部
Claims (10)
- 各画素が複数の色成分の値を持つ入力データに第1のガンマ変換処理を行うことで、該各画素値が変換された色データを生成し、該生成した色データに基づき、前記複数の色成分の全てに共通な共通指数部データと各色成分の仮数部データとを生成する、第1のガンマ変換処理手段と、
前記各色成分の仮数部データに対し、固定小数のマトリクス演算による色変換処理を行い、色変換処理データを生成する色変換処理手段と、
前記共通指数部データを用いて、前記色変換処理データを固定小数データに変換する固定小数変換手段と、
前記固定小数データに第2のガンマ変換処理を行うことで、出力データを生成する第2のガンマ変換処理手段と
を有することを特徴とする画像処理装置。 - 第1のガンマ変換処理手段は、前記色データの複数の色成分の値のうちの最大値に基づいて、前記共通指数部データを生成することを特徴とする請求項1に記載の画像処理装置。
- 前記最大値は、前記色データの画素毎に、又は、該色データにおける複数画素から成る所定領域毎に、導出されることを特徴とする請求項2に記載の画像処理装置。
- 前記第1のガンマ変換処理手段は、データを変換するための理論式もしくは該理論式に近似する式に従って、又は、補間処理を実行することで、前記入力データを前記色データに変換することを特徴とする請求項1乃至3の何れか1項に記載の画像処理装置。
- 前記色変換処理データに対し、前記共通指数部データを用いた色調整処理を行う色調整処理手段を更に有することを特徴とする請求項1乃至4の何れか1項に記載の画像処理装置。
- 前記色調整処理は、階調オフセット処理であることを特徴とする請求項5に記載の画像処理装置。
- 前記第1のガンマ変換処理手段は、前記補間処理で用いる仮数部データをテーブルデータとして有し、前記共通指数部データに応じて、前記仮数部データを調整することを特徴とする請求項4に記載の画像処理装置。
- 請求項1乃至7の何れか1項に記載の画像処理装置を含む、HDR規格に対応した信号規格変換装置。
- 各画素が複数の色成分の値を持つ入力データに第1のガンマ変換処理を行うことで、該各画素値が変換された色データを生成し、該生成した色データに基づき、前記複数の色成分の全てに共通な共通指数部データと各色成分の仮数部データとを生成するステップと、
前記各色成分の仮数部データに対し、固定小数のマトリクス演算による色変換処理を行い、色変換処理データを生成するステップと、
前記共通指数部データを用いて、前記色変換処理データを固定小数データに変換するステップと、
前記固定小数データに第2のガンマ変換処理を行うことで、出力データを生成するステップと
を有することを特徴とする画像処理方法。 - コンピュータを請求項1乃至請求項7の何れか1項に記載の画像処理装置における各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019185912A JP7005570B2 (ja) | 2019-10-09 | 2019-10-09 | 装置、方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019185912A JP7005570B2 (ja) | 2019-10-09 | 2019-10-09 | 装置、方法、及びプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018049796A Division JP6602414B2 (ja) | 2018-03-16 | 2018-03-16 | 装置、方法、及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020014244A true JP2020014244A (ja) | 2020-01-23 |
JP2020014244A5 JP2020014244A5 (ja) | 2021-05-06 |
JP7005570B2 JP7005570B2 (ja) | 2022-01-21 |
Family
ID=69170895
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019185912A Active JP7005570B2 (ja) | 2019-10-09 | 2019-10-09 | 装置、方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7005570B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006129437A (ja) * | 2004-09-30 | 2006-05-18 | Nec Corp | ガンマ補正、画像処理方法及びプログラム、並びにガンマ補正回路、画像処理装置、表示装置 |
JP2008236725A (ja) * | 2007-02-20 | 2008-10-02 | Seiko Epson Corp | 映像出力装置、映像出力方法及び映像出力プログラム、映像処理システム、並びに映像処理装置、映像処理方法及び映像処理プログラム |
JP2008236726A (ja) * | 2007-02-20 | 2008-10-02 | Seiko Epson Corp | 撮像装置、撮像システム、撮像方法及び画像処理装置 |
JP2014519620A (ja) * | 2011-05-10 | 2014-08-14 | コーニンクレッカ フィリップス エヌ ヴェ | ハイダイナミックレンジ画像信号生成及び処理 |
-
2019
- 2019-10-09 JP JP2019185912A patent/JP7005570B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006129437A (ja) * | 2004-09-30 | 2006-05-18 | Nec Corp | ガンマ補正、画像処理方法及びプログラム、並びにガンマ補正回路、画像処理装置、表示装置 |
JP2008236725A (ja) * | 2007-02-20 | 2008-10-02 | Seiko Epson Corp | 映像出力装置、映像出力方法及び映像出力プログラム、映像処理システム、並びに映像処理装置、映像処理方法及び映像処理プログラム |
JP2008236726A (ja) * | 2007-02-20 | 2008-10-02 | Seiko Epson Corp | 撮像装置、撮像システム、撮像方法及び画像処理装置 |
JP2014519620A (ja) * | 2011-05-10 | 2014-08-14 | コーニンクレッカ フィリップス エヌ ヴェ | ハイダイナミックレンジ画像信号生成及び処理 |
Also Published As
Publication number | Publication date |
---|---|
JP7005570B2 (ja) | 2022-01-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4067594B2 (ja) | 信号変換回路および入力ワードのデジタル出力ワードへの変換方法 | |
JP4613702B2 (ja) | ガンマ補正、画像処理方法及びプログラム、並びにガンマ補正回路、画像処理装置、表示装置 | |
US20210110755A1 (en) | Integrated circuit for nonlinear data encoding | |
JP2006270893A (ja) | ガンマ補正装置及びこれを用いた画像変換装置並びに表示装置 | |
JP2015142276A (ja) | 表示装置、表示装置の制御方法、及び、プログラム | |
JP2010199659A (ja) | 画像処理装置、及び画像処理方法 | |
RU2430487C1 (ru) | Преобразователь видеосигнала, устройство видеодисплея и способ преобразования видеосигнала | |
JP2005518158A (ja) | ガンマ補正回路 | |
JP6602414B2 (ja) | 装置、方法、及びプログラム | |
JP2002359755A (ja) | 階調補正装置 | |
KR100420789B1 (ko) | 플라즈마 디스플레이(pdp)에서의 계조 표현을 위한디더링 방법 및 그 시스템 | |
JP2020014244A (ja) | 装置、方法、及びプログラム | |
JP2005260405A (ja) | 画像処理装置および画像処理方法 | |
US11158285B2 (en) | Color conversion processor, control method thereof and storage medium | |
JP2006254432A (ja) | デジタル画像データを処理するデジタル画像データ処理方法 | |
JP2019126025A (ja) | 色変換処理装置およびその制御方法 | |
JP6604109B2 (ja) | 色域変換装置、色域変換方法及び色域変換プログラム | |
JP2004343560A (ja) | 画像処理方法、画像処理装置及びそれらを用いた液晶表示装置 | |
CN107591142B (zh) | 一种画面显示质量的调控方法、装置及存储介质 | |
JP2019053402A (ja) | 画像処理装置及び画像処理方法及びプログラム | |
JP7364250B2 (ja) | 映像処理装置、映像処理方法、映像処理システム、および映像処理プログラム | |
WO2023070582A1 (en) | A device and method for noise-adaptive high dynamic range image processing | |
US11184593B2 (en) | Image capturing device and method | |
JP2012049627A (ja) | 信号処理装置、信号処理方法およびプログラム | |
JP2005091858A (ja) | 液晶表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210316 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210316 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211130 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220105 |