以下、本発明を実施するための形態について図面を用いて詳細に説明する。本発明は、HDR映像をSDR映像に階調変換する際に、CIELAB空間において、SDR映像の色域体積(の領域)の境界面を表すクロマが定義されたテーブルを用いて、色域体積内のクロマはそのままとし、色域体積外のクロマについては、その境界面のクロマに補正することを特徴とする。
これにより、SDR映像で再現可能な色の再現範囲を超えるSDRビデオ信号が生成されることがなく、ハイライトの色相変化を軽減することが可能となる。
〔映像信号変換装置〕
まず、本発明の実施形態による映像信号変換装置の構成及び処理について説明する。図1は、映像信号変換装置の構成例を示すブロック図であり、図2は、映像信号変換装置の処理例を示すフローチャートである。
この映像信号変換装置1は、HDRビデオ/光変換部10、HDR光/三刺激値変換部11、HDRクロマ処理部(HDR彩度処理部)12、HDR三刺激値/色度変換部13、圧縮処理部14、SDR輝度/三刺激値変換部15、SDRクロマ処理部(SDR彩度処理部)16、SDR三刺激値/光変換部17及びSDR光/ビデオ変換部18を備えている。
映像信号変換装置1は、HDR映像のビデオ信号であるHDRビデオ信号Eh’を入力し、HDRビデオ信号Eh’を、SDR映像のビデオ信号であるSDRビデオ信号Es’に変換する。HDRビデオ信号Eh’は、ディスプレイにて光信号として出力するためにリニア信号に変換される。
HDRビデオ/光変換部10は、HDR映像のビデオ信号であるHDRビデオ信号Eh’を入力する(ステップS201)。そして、HDRビデオ/光変換部10は、HDR映像のEOTFにより、HDRビデオ信号Eh’をディスプレイ光のリニア信号であるHDRのディスプレイ光信号Fdに変換する(ステップS202)。HDRビデオ/光変換部10は、ディスプレイ光信号FdをHDR光/三刺激値変換部11に出力する。
HDR光/三刺激値変換部11は、HDRビデオ/光変換部10からディスプレイ光信号Fdを入力し、ディスプレイ光信号Fdを三刺激値XHDRYHDRZHDRに変換する(ステップS203)。そして、HDR光/三刺激値変換部11は、三刺激値XHDRYHDRZHDRをHDRクロマ処理部12に出力する。
HDRクロマ処理部12は、HDR光/三刺激値変換部11から三刺激値XHDRYHDRZHDRを入力し、三刺激値XHDRYHDRZHDRの空間(三刺激値空間)をCIELAB空間に変換する。そして、HDRクロマ処理部12は、CIELAB空間の信号に対し、予め設定されたパラメータσに基づいて、基準白レベル以上の色を無彩色または白色に近づけるためのクロマ補正を行い、クロマ補正後の三刺激値XHDRYHDRZHDRを求める(ステップS204)。そして、HDRクロマ処理部12は、クロマ補正後の三刺激値XHDRYHDRZHDRをHDR三刺激値/色度変換部13に出力する。
HDR三刺激値/色度変換部13は、HDRクロマ処理部12からクロマ補正後の三刺激値XHDRYHDRZHDRを入力する。そして、HDR三刺激値/色度変換部13は、クロマ補正後の三刺激値XHDRYHDRZHDRを色情報である色度座標x,yに変換する(ステップS205)。そして、HDR三刺激値/色度変換部13は、輝度YHDRを圧縮処理部14に出力すると共に、色度座標x,yをSDR輝度/三刺激値変換部15に出力する。
圧縮処理部14は、HDR三刺激値/色度変換部13から輝度YHDRを入力する。そして、圧縮処理部14は、予め設定されたゲイン値k1等に基づいて、輝度YHDRに対し所定のトーンマッピングカーブの関数によるダイナミックレンジの圧縮処理を行い、輝度YSDRを求める(ステップS206)。そして、圧縮処理部14は、輝度YSDRをSDR輝度/三刺激値変換部15に出力する。所定のトーンマッピングカーブの関数は、人肌レベル、基準白レベル及びハイライトの色再現を考慮した演算を含む関数である。
SDR輝度/三刺激値変換部15は、圧縮処理部14から輝度YSDRを入力すると共に、HDR三刺激値/色度変換部13から色度座標x,yを入力する。そして、SDR輝度/三刺激値変換部15は、色度座標x,yを、輝度YSDRを含む三刺激値XSDRYSDRZSDRに変換する(ステップS207)。SDR輝度/三刺激値変換部15は、三刺激値XSDRYSDRZSDRをSDRクロマ処理部16に出力する。
SDRクロマ処理部16は、SDR輝度/三刺激値変換部15から三刺激値XSDRYSDRZSDRを入力し、三刺激値XSDRYSDRZSDRの空間(三刺激値空間)をCIELAB空間に変換する。そして、SDRクロマ処理部16は、CIELAB空間の信号に対し、SDRの色域体積(の領域)外のクロマをその境界面に補正するためのクロマ補正を行い、クロマ補正後の三刺激値XSDRYSDRZSDRを求める(ステップS208)。そして、SDRクロマ処理部16は、クロマ補正後の三刺激値XSDRYSDRZSDRをSDR三刺激値/光変換部17に出力する。
SDR三刺激値/光変換部17は、SDRクロマ処理部16からクロマ補正後の三刺激値XSDRYSDRZSDRを入力する。そして、SDR三刺激値/光変換部17は、クロマ補正後の三刺激値XSDRYSDRZSDRを、ディスプレイ光のリニア信号であるSDRのディスプレイ光信号Fdsに変換する(ステップS209)。SDR三刺激値/光変換部17は、ディスプレイ光信号FdsをSDR光/ビデオ変換部18に出力する。
SDR光/ビデオ変換部18は、SDR三刺激値/光変換部17からディスプレイ光信号Fdsを入力する。そして、SDR光/ビデオ変換部18は、SDR映像のEOTFの逆関数により、ディスプレイ光信号FdsをSDR映像のビデオ信号であるSDRビデオ信号Es’に変換する(ステップS210)。SDR光/ビデオ変換部18は、SDRビデオ信号Es’を出力する(ステップS211)。
本発明の実施形態では、HDR映像をSDR映像に階調変換する際に、人肌レベル、基準白レベル及びハイライトの色再現を考慮した変換を実現すると共に、色相変化を抑制しながら無彩色または白色に近いハイライトの色再現を実現する。さらに、SDR映像における色の再現範囲内のSDRビデオ信号Es’を生成するための処理を行う。
特に、本発明の実施形態では、SDR映像における色の再現範囲内のSDRビデオ信号Es’において、SDRの色域体積内のクロマはそのままとし、SDRの色域体積外のクロマについては、その境界面のクロマに補正することを特徴とする。
(HDRビデオ/光変換部10)
次に、図1に示したHDRビデオ/光変換部10について詳細に説明する。前述のとおり、HDRビデオ/光変換部10は、HDR映像のEOTFにより、HDRビデオ信号Eh’であるRGB信号を、ディスプレイ光のリニア信号であるディスプレイ光信号Fdに変換する。
HDRビデオ/光変換部10は、入力したHDRビデオ信号Eh’がHLG信号である場合、まず、HLG映像の光−電気伝達関数(OETF:Opto Electronic Transfer Function)の逆関数により、HLGのHDRビデオ信号Eh’をシーン光のリニア信号E={Rs,Gs,Bs}に変換する。シーン光のリニア信号Eは、以下の式で算出される。
リニア信号Eに変換するのは、後段のディスプレイにおいて光信号として出力するためである。ここで、a=0.17883277,b=1−4a=0.28466892,c=0.5−a・ln(4a)=0.55991073である。尚、ln(x)はxの自然対数を示す。
HDRビデオ/光変換部10は、次に、HLG映像の光−光伝達関数(OOTF:Opto Optical Transfer Function)により、リニア信号Eをディスプレイ光信号Fd={RHDR,GHDR,BHDR}に変換する。そして、HDRビデオ/光変換部10は、ディスプレイ光信号FdをHDR光/三刺激値変換部11に出力する。
ディスプレイ光信号Fdは、以下の式で算出される。
ここで、c1=0.2627,c2=0.6780,c3=0.0593,α=1000,β=0,γ=1.2とする。このα,βは、ディスプレイのピーク輝度LW及び黒の輝度LBとして、α=LW−LB、β=LBでそれぞれ求められる。γは、ディスプレイのピーク輝度LWに応じたシステムガンマである。
尚、システムガンマγは、以下の式で算出される。
一方、HDRビデオ/光変換部10は、入力したHDRビデオ信号Eh’がPG信号である場合、以下の式にてディスプレイ光信号Fd={RHDR,GHDR,BHDR}を算出する。
ここで、c1=0.8359375、c2=18.8515625、c3=18.6875、m1=0.1593017578125、m2=78.84375である。
(HDR光/三刺激値変換部11)
次に、図1に示したHDR光/三刺激値変換部11について詳細に説明する。前述のとおり、HDR光/三刺激値変換部11は、ディスプレイ光信号Fdを三刺激値XHDRYHDRZHDRに変換する。
HDR光/三刺激値変換部11は、HDRビデオ/光変換部10からディスプレイ光信号Fd={RHDR,GHDR,BHDR}を入力し、以下の行列演算にて、ディスプレイ光信号Fd={RHDR,GHDR,BHDR}を三刺激値XHDRYHDRZHDRに変換する。
(HDRクロマ処理部12)
次に、図1に示したHDRクロマ処理部12について詳細に説明する。前述のとおり、HDRクロマ処理部12は、三刺激値XHDRYHDRZHDRの空間をCIELAB空間に変換する。そして、HDRクロマ処理部12は、CIELAB空間の信号に対し、予め設定されたパラメータσに基づいて、基準白レベル以上の色を無彩色または白色に近づけるためのクロマ補正を行い、クロマ補正後の三刺激値XHDRYHDRZHDRを求める。
図3は、HDRクロマ処理部12の構成例を示すブロック図であり、図4は、HDRクロマ処理部12の処理例を示すフローチャートである。このHDRクロマ処理部12は、色空間変換部30、クロマ補正部31及び色空間逆変換部32を備えている。
HDRクロマ処理部12は、色空間変換部30による後述するステップS402の処理、クロマ補正部31による後述するステップS403の処理、及び色空間逆変換部32による後述するステップS404の処理を行う。
これにより、制作者がハイライトの色再現を、映像信号のクリッピングにより色相変化を生じて着色された色再現から白色に近づいた色再現まで、後述するパラメータσに応じて、制作意図に応じて調整することができる。
色空間変換部30は、HDR光/三刺激値変換部11から三刺激値XHDRYHDRZHDRを入力する(ステップS401)。そして、色空間変換部30は、三刺激値XHDRYHDRZHDRの空間をCIELAB空間であるL*a*b*空間に変換し、以下の式にて、明度L*及び色座標a*,b*を求める(ステップS402)。
ここで、Xn,Yn,Znは、完全拡散反射面における三刺激値である。HDR映像の場合、基準白レベルに相当する輝度203[cd/m2]がYnに相当するため、ピーク輝度を1000[cd/m2]とすると、Xn=192.9312,Yn=203,Zn=221.0467となる。また、前記式(6)における内部関数fは、以下の式で求められる。パラメータδは、δ=6/29の定数である。
色空間変換部30は、明度L*及び色座標a*,b*をクロマ補正部31に出力し、明度L*を色空間逆変換部32に出力する。
クロマ補正部31は、色空間変換部30から明度L*及び色座標a*,b*を入力し、パラメータσに基づいて、基準白レベル以上の領域においてクロマ補正を行い、クロマ補正後の色座標a* cor,b* corを求める(ステップS403)。
このクロマ補正処理は、L*a*b*空間において、HLGの基準白レベルに対応する明度をL* Refとして、明度L* Ref以上の明度L*におけるクロマC* abを、明度L*が高くなるにつれて無彩色または白色(白色点)の無彩色軸に近づくように補正する処理である。
図5は、基準白レベル以上のクロマ補正処理例(ステップS403)の詳細を示すフローチャートである。以下、クロマ補正部31によるステップS403の処理について説明する。
クロマ補正部31は、色空間変換部30から明度L*及び色座標a*,b*を入力し(ステップS501)、以下の式にて、色座標a*,b*からクロマ(補正前クロマ)C* ab及び色相角habを算出する(ステップS502)。
そして、クロマ補正部31は、クロマC* abに対し、パラメータσに基づいた補正ファクターfcorを乗算し、基準白レベルに対応する明度L* Ref以上のクロマが補正されたクロマ(補正後クロマ)C* ab,corを求める。クロマ補正部31は、色相変化を防ぐため、色相角habを同じ値に保持しながら、補正後のクロマC* ab,corに基づいて、クロマ補正後の色座標a* cor,b* corを算出する。
具体的には、クロマ補正部31は、明度L*がHLGの基準白レベルに対応する明度L* Ref以下の場合(ステップS503:≦)、補正ファクターfcorを1に設定する(ステップS504)。この場合、補正後のクロマC* ab,corは、補正前のクロマC* abに等しくなる。
一方、クロマ補正部31は、明度L*がHLGの基準白レベルに対応する明度L* Refを超える場合(ステップS503:>)、補正ファクターfcorを、明度L*が高くなるにつれて1から0に近くなる値に設定する。この場合、補正後のクロマC* ab,corは、補正前のクロマC* abよりも徐々に小さくなる。
ステップS503〜S505の処理は、以下の式で表される。
L* Refは、HDRの基準白レベルに対応する明度であり、L* maxは、HDRの映像信号の上限値に対応する明度である。HDRの基準白レベルに対応する明度L* Ref=100であり、HDRのピーク輝度を1000[cd/m2]とすると、HLGの映像信号の上限値に対応する明度L* max=181.37522735となる。また、パラメータσは、σ≧0の実数を任意で調整可能なユーザパラメータであり、fcor<0のとき、fcor=0とする。
補正ファクターfcorは、前記式(9)のとおり、パラメータσ、HLGの基準白レベルに対応する明度L* Ref及びHLGの映像信号の上限値に対応する明度L* maxに基づいて算出される。
クロマ補正部31は、補正ファクターfcorをクロマC* abに乗算し、補正後のクロマC* ab,corを求める(ステップS506)。
ステップS506の処理は、以下の式で表される。
パラメータσに基づいた補正ファクターfcorにクロマC* abを乗算してクロマC* ab,corを求めるのは、補正後のクロマC* ab,corを、補正前のクロマC* abよりも小さくし、クロマ補正後の色座標a* cor,b* corを無彩色軸または白色に近づけるためである。
クロマ補正部31は、前記式(8)にて算出した色相角hab及び前記式(10)にて算出したクロマ補正後のクロマC* ab,corに基づいて、以下の式にて、クロマ補正後の色座標a* cor,b* corを算出する(ステップS507)。
ここで、前記式(11)は、色相角habを同じ値に保持することを示しており、これは、色相変化を防ぐため、すなわちRGBの色成分のバランスを変化させないためである。
クロマ補正部31は、クロマ補正後の色座標a* cor,b* corを色空間逆変換部32に出力する(ステップS508)。
図6は、クロマ補正処理例(ステップS403)を説明する俯瞰図である。横軸は色座標a*を示し、縦軸は色座標b*を示す。クロマ補正前の色座標a*,b*の位置を点αとする。
クロマ補正部31により、パラメータσに基づいてクロマC* abからクロマC* ab,corが算出され、色相角habを同じ値に保持しながら、クロマ補正前の色座標a*,b*からクロマ補正後の色座標a* cor,b* corが算出される。
パラメータσ=0の場合、クロマ補正後の色座標a* cor,b* corは、クロマ補正前の色座標a*,b*に等しくなる。つまり、クロマ補正後の色座標a* cor,b* corの位置は、クロマ補正前の色座標a*,b*の位置と同様に点αとなり、(a*,b*)=(a* cor,b* cor)である。
一方、パラメータσ>0の場合、クロマ補正後の色座標a* cor,b* corは、クロマ補正前の色座標a*,b*とは異なる値となる。パラメータσ=1の場合、クロマ補正後の色座標a* cor,b* corの位置は、点βとなる。
このように、色相角habが同じ値に保持されるため、クロマ補正後の色座標a* cor,b* corは、パラメータσに応じて、点αと点βとの間を直線で引いたときの当該直線上のいずれかの位置の値をとる。パラメータσが0に近いほど、クロマ補正後の色座標a* cor,b* corは点αに近くなる。一方、パラメータσが1に近いほど、クロマ補正後の色座標a* cor,b* corは点βに近くなり、無彩色軸であるL*軸に近くなる。
図7は、パラメータσが小さい場合のクロマ補正処理例(ステップS403)を説明する図であり、図8は、パラメータσが大きい場合のクロマ補正処理例(ステップS403)を説明する図である。横軸はクロマCabを示し、縦軸は明度L*を示す。
パラメータσが小さい場合、パラメータσが大きい場合に比べ、クロマCabの減少量(クロマ補正前のクロマC* abからクロマ補正後のクロマC* ab,corへの減少量)は小さい。また、パラメータσが小さい場合及び大きい場合のいずれにおいても、クロマ補正前のクロマC* abの値が大きい場合(Cab,2)、クロマ補正前のクロマC* abの値が小さい場合(Cab,1)に比べ、クロマCabの減少量は大きい。
ここで、パラメータσが0に近いほど、色座標a* cor,b* corが無彩色軸に近づく程度は低くなり、クロマ補正部31が出力する色座標a* cor,b* corは、クロマ補正部31が入力する色座標a*,b*に近くなる。パラメータσ=0の場合、クロマ補正処理は行われず、クロマ補正部31が出力する色座標a* cor,b* corは、クロマ補正部31が入力する色座標a*,b*と同じになる。パラメータσが大きくなるほど、色座標a* cor,b* corが無彩色軸に近づく程度は高くなる。
つまり、パラメータσが0に近いほど、基準白レベル以上の色が無彩色または白色に近づく程度は低くなり、HDRクロマ処理部12が出力するクロマ補正後の三刺激値XHDRYHDRZHDRは、HDRクロマ処理部12が入力する三刺激値XHDRYHDRZHDRに近くなる。パラメータσ=0の場合、クロマ補正処理は行われず、HDRクロマ処理部12が入出力する三刺激値XHDRYHDRZHDRは同じになる。一方、パラメータσが大きいほど、基準白レベル以上の色が無彩色または白色に近づく程度は高くなる。また、無彩色または白色に近い状態の信号が後述する圧縮処理部14にて圧縮されるため、色味のある白色ではなく、無彩色または白色に近いハイライトの色再現を実現することができる。
図3及び図4に戻って、色空間逆変換部32は、ステップS403から移行して、色空間変換部30から明度L*を入力すると共に、クロマ補正部31からクロマ補正後の色座標a* cor,b* corを入力する。そして、色空間逆変換部32は、CIELAB空間であるL*a*b*空間を三刺激値XHDRYHDRZHDRの空間に変換し、以下の式にて、三刺激値XHDRYHDRZHDRを求める(ステップS404)。
ここで、Xn,Yn,Znは、前記式(6)と同様に、完全拡散反射面における三刺激値である。HDRのピーク輝度を1000[cd/m2]とすると、Xn=192.9312,Yn=203,Zn=221.0467となる。パラメータδは、前記式(7)と同様に、δ=6/29の定数である。
また、前記式(12)における内部関数fx,fy,fzは、以下の式で算出される。
色空間逆変換部32は、クロマ補正後の三刺激値XHDRYHDRZHDRをHDR三刺激値/色度変換部13に出力する(ステップS405)。
(HDR三刺激値/色度変換部13)
次に、図1に示したHDR三刺激値/色度変換部13について詳細に説明する。前述のとおり、HDR三刺激値/色度変換部13は、クロマ補正後の三刺激値XHDRYHDRZHDRを色度座標x,yに変換する。
HDR三刺激値/色度変換部13は、HDRクロマ処理部12からクロマ補正後の三刺激値XHDRYHDRZHDRを入力し、以下の式にて、三刺激値XHDRYHDRZHDRを色度座標x,yに変換する。
色度座標x,yはSDR輝度/三刺激値変換部15に使用され、三刺激値XHDRYHDRZHDRのうちのYHDRのみが圧縮処理部14に使用される。
(圧縮処理部14)
次に、図1に示した圧縮処理部14について詳細に説明する。前述のとおり、圧縮処理部14は、予め設定されたゲイン値k1等に基づいて、輝度YHDRに対し、人肌レベル、基準白レベル及びハイライトの色再現を考慮した所定のトーンマッピングカーブの関数による圧縮処理を行い、輝度YSDRを求める。
所定のトーンマッピングカーブの関数は、線形関数及び対数関数の組み合わせで構成される。線形関数は、HDR映像の暗部及び中間調の見た目を一致させる目的の関数であり、対数関数は、ハイライトの階調をなるべく保持しながらSDR映像に収める目的の関数である。
圧縮処理部14は、トーンマッピングカーブの関数を用いて、以下の式により、輝度YHDRに対して圧縮処理を行うことで輝度YSDRを求め、輝度YSDRをSDR輝度/三刺激値変換部15に出力する。
前記式(15)において、上式は、人肌レベルを考慮した式であり、下式は、基準白レベル及びハイライトの色再現を考慮した式である。
ここで、k1,k2,k3,k4,YHDR,ipはパラメータである。k1は、HDR映像とSDR映像の肌レベルを対応させて算出されるゲイン値である。k2は、線形関数と対数関数の変曲点Y=YHDR,ipにおいて、一次微分値の連続条件から算出される補正値である。k3は、基準白レベルの拘束条件から求められる補正値である。k4は、線形関数と対数関数の変曲点Y=YHDR,ipにおいて、その値の連続条件から算出される補正値である。
YHDR,ipは、SDRで設定した変曲点に対応するHDRのリニア信号値、すなわちSDRディスプレイ輝度信号のニーポイントであるSDRニーポイントYSDR,ipに対応するHDRディスプレイ輝度信号のニーポイントである。
これらの5つのパラメータは未知数であるが、これらの未知数を1つのパラメータであるk3に削減することが可能である。
ここでは、ゲイン値k1及びSDRニーポイントYSDR,ipは、ユーザにより予め設定され、補正値k2,k3,k4及びHDRニーポイントYHDR,ipは、圧縮処理部14により後述の式にて算出されるものとする。尚、ゲイン値k1,補正値k2,k3,k4、SDRニーポイントYSDR,ip及びHDRニーポイントYHDR,ipは、ユーザにより予め設定されるようにしてもよい。
(ゲイン値k1)
まず、ゲイン値k1について説明する。ゲイン値k1は、HDR映像の肌レベルとSDR映像の肌レベルとの間の対応関係から、ユーザにより予め設定されるパラメータである。
図9は、HLGビデオ信号の肌レベルとSDRビデ信号の肌レベルとの間の対応関係を説明する図である。この図には、個別に制作された同一コンテンツのHLG映像及びSDR映像において、同一人物の肌レベルの対応関係を分析した結果がプロットとして表されている(丸印を参照)。このHLG映像の番組は、HLGビデオ信号の基準白レベル75%を基準に制作されたコンテンツである。
横軸はHLGビデオ信号のレベルを示し、縦軸はSDRビデオ信号のレベルを示す。実線は従来技術の特性を示し、破線は、肌レベルを考慮した例の特性を示す。
図9に示すとおり、HLGビデオ信号の肌レベルVhskinは、HLGビデオ信号の約50%であるのに対し、SDRビデオ信号の肌レベルVsskinは、SDRビデオ信号の約67%であることがわかる。従来技術の特性は、HLGディスプレイ輝度200cd/m2をSDRディスプレイ輝度88cd/m2に対応させるゲイン処理を適用した特性であり、HLGビデオ信号の肌レベルVhskinである約50%に対応するSDRビデオ信号の肌レベルは、約55%程度である。したがって、従来技術におけるSDR映像の肌レベルは、肌レベルを考慮した例におけるSDR映像の肌レベルよりも低い。
つまり、肌レベルを考慮するためには、肌レベルを一致させるためのゲイン処理を行う必要がある。そこで、ゲイン値k1は、以下の2つの式のいずれかの値が用いられる。
前述のとおり、LWは、ディスプレイのピーク輝度であり、EOTFは、電気−光伝達関数である。
前記式(16)のゲイン値k1は、HDRビデオ/光変換部10において、正規化信号を基準としてディスプレイ光信号Fdが算出される場合に用いられる。また、前記式(17)のゲイン値k1は、HDRビデオ/光変換部10において、輝度値[cd/m2]を基準としてディスプレイ光信号Fdが算出される場合に用いられる。
前記式(16)のゲイン値k1が用いられる場合、正規化信号が基準となるため、HDRビデオ/光変換部10によりディスプレイ光信号Fdが算出される前記式(2)において、α=1とする。
また、前記式(17)のゲイン値k1が用いられる場合、輝度値[cd/m2]が基準となるため、前記式(17)のピーク輝度LWは、前記式(2)及び(3)にて用いるピーク輝度LWと一致する。
ここで、肌レベルを考慮したゲイン処理の一例として、図9に示した肌レベルの対応関係を示すプロットの分析のとおり、HLGビデオ信号の肌レベルVhskin50%をSDRビデオ信号の肌レベルVsskin67%に対応させる。この場合の前記式(15)で用いるゲイン値k1は、HLG映像のディスプレイピーク輝度を1000[cd/m2]とすると、前記式(16)では7.5858となり、前記式(17)では0.7586となる。このHLGの肌レベルとSDRの肌レベルの関係性は、ユーザにより任意に設定されるようにしてもよい。
(HDRニーポイントYHDR,ip)
次に、HDRニーポイントYHDR,ipについて説明する。HDRニーポイントYHDR,ipは、以下の式のとおり、HDRからSDRに変換する際のニーポイントに相当する変曲点のSDRニーポイントYSDR,ip及びゲイン値k1から決定される。
SDRニーポイントYSDR,ipは、SDRビデオ信号におけるニーポイントに相当する変曲点をSDRディスプレイ輝度に変換した値である。このSDRニーポイントYSDR,ipが高い値に設定された場合、HDRビデオ信号の基準白レベル以上の信号をその変曲点からHDRビデオ信号の上限値である109%に圧縮することになり、ハイライトが階調落ちしたバンディング効果を生じ易くなる。このため、その変曲点は、図9に示したSDR映像の肌レベルよりもわずかに高い点に設定するのが望ましい。そこで、SDRニーポイントYSDR,ipの取りうる値の範囲は、SDRビデオ信号80%以上から95%までとし、ユーザにより任意に設定されるようにしてもよい。
(補正値k2)
次に、補正値k2について説明する。前述のとおり、補正値k2は、線形関数と対数関数の変曲点Y=YHDR,ipにおいて、一次微分値の連続条件から算出されるパラメータである。
変曲点Y=YHDR,ipであるニーポイントでは、一次微分値が一致するため、前記式(15)から、以下の式が導かれる。
前記式(19)を、未知の補正値k3及び既知のゲイン値k1、並びに前記式(18)で算出されたHDRニーポイントYHDR,ipを用いて整理すると、以下の式が導かれる。
この補正値k2は、補正値k3が決定されると、前記式(20)にて一意的に決定される。
(補正値k4)
次に、補正値k4について説明する。前述のとおり、補正値k4は、線形関数と対数関数の変曲点Y=YHDR,ipにおいて、その値の連続条件から算出されるパラメータである。
前記式(15)の下段の式の特性であるトーンマッピングカーブにおいて、ユーザにより設定されたゲイン値k1及びSDRニーポイントYSDR,ip、並びに、前記式(18)で算出されたHDRニーポイントYHDR,ip及び前記式(20)の補正値k2を用いて整理すると、以下の式が導かれる。
補正値k2は、前述のとおり、補正値k3が決定されると一意的に決定されるため、補正値k4も、補正値k3が決定されると、前記式(21)にて一意的に決定される。つまり、補正値k2,k4は、補正値k3が決定されることで、一意的に決定される。
(補正値k3)
次に、補正値k3について説明する。前述のとおり、補正値k3は、基準白レベルの拘束条件から求められるパラメータである。YHDR,RefをHDRの基準白レベルとし、YSDR,RefをSDRの基準白レベルとすると、HDR基準白レベルYHDR,RefとSDR基準白レベルYSDR,Refとの間の対応を決定することで、補正値k3は算出される。
補正値k3は、ニーポイントであるHDRニーポイントYHDR,ip及びSDRニーポイントYSDR,ip(YHDR,ip,YSDR,ip)と、HDR基準白レベルYHDR,Ref及びSDR基準白レベルYSDR,Ref(YHDR,Ref,YSDR,Ref)との間において、SDRのリニア信号の変化量と、前記式(15)下段のトーンマッピングカーブによる変化量とが一致する以下の式により算出される。
前記式(22)で算出されるk3は一意的に求められるから、式(15)における5つのパラメータであるゲイン値k1及び補正値k2,k3,k4及びHDRニーポイントYHDR,ipの全てを求めることができる。
このように、圧縮処理部14は、ユーザにより予め設定されたゲイン値k1及びSDRニーポイントYSDR,ipを用いて、前記式(16)〜(22)にて、補正値k2,k3,k4及びHDRニーポイントYHDR,ipを算出する。これより、圧縮処理部14は、前記式(15)に示したトーンマッピングカーブの関数を設定することができ、当該トーンマッピングカーブの関数を用いて、輝度YHDRに対して線形関数及び対数関数による圧縮処理を行い、輝度YSDRを求める。
例えば、SDRニーポイントYSDR,ipに対応するSDRビデオ信号を80%とし、HDRビデオ信号の肌レベルVhskin=50%をSDRビデオ信号の肌レベルVsskin=67%に対応させ、基準白レベルの拘束条件として、HDR基準白レベルをSDR基準白レベル96%に対応させた場合を想定する。この場合、5つのパラメータはそれぞれ、HDRニーポイントYHDR,ip=77.59235745、ゲイン値k1=0.75439191、補正値k2=17.1208962、補正値k3=0.70751034、補正値k4=79.58220851となる。
図10は、前述の例のゲイン値k1等により設定されたトーンマッピングカーブの関数を適用した場合のディスプレイ輝度の特性を示す図である。横軸は、HLGディスプレイ輝度[cd/m2]、すなわち圧縮処理部14の入力データであるHDRの輝度YHDR(この場合はHLGの輝度)を示し、縦軸は、SDRディスプレイ輝度[cd/m2]、すなわち圧縮処理部14の出力データであるSDRの輝度YSDRを示す。
図10の特性は、入力データである輝度YHDRに対し、圧縮処理部14により、人肌レベル、基準白レベル及びハイライトの色再現を考慮したトーンマッピングカーブの関数を用いて処理を行う場合の、輝度YHDRと輝度YSDRの間の関係を示している。
この特性は、前記式(15)のとおり、HLGディスプレイ輝度の値が小さい領域、すなわち輝度HHDR<HDRニーポイントYHDR,ipの領域において、線形関数の特性をなしていることがわかる。また、それ以外の領域、すなわち輝度HHDR≧HDRニーポイントYHDR,ipにおいて、対数関数の特性をなしていることがわかる。
図11は、図10に示したディスプレイ輝度の特性に対応するビデオ信号の特性を示す図である。横軸はHLGビデオ信号のレベル[%]を示し、縦軸はSDRビデオ信号のレベル[%]を示す。
図11の特性は、入力データである輝度YHDR(この場合はHLGの輝度)に対し、圧縮処理部14によりトーンマッピングカーブの関数を用いて処理を行う場合の、輝度YHDRに対応するHLGビデオ信号と輝度YSDRに対応するSDRビデオ信号との間の関係を示している。
(SDR輝度/三刺激値変換部15)
次に、図1に示したSDR輝度/三刺激値変換部15について詳細に説明する。前述のとおり、SDR輝度/三刺激値変換部15は、色度座標x,yを用いて輝度YSDRから三刺激値のXSDR,ZSDRを求める。
SDR輝度/三刺激値変換部15は、以下の式にて、色度座標x,y及び輝度YSDRから三刺激値のXSDR,ZSDRを求め、三刺激値XSDR,YSDR,ZSDRをSDRクロマ処理部16に出力する。
(SDRクロマ処理部16)
次に、図1に示したSDRクロマ処理部16について詳細に説明する。前述のとおり、SDRクロマ処理部16は、三刺激値XSDRYSDRZSDRの空間をCIELAB空間に変換する。そして、SDRクロマ処理部16は、CIELAB空間の信号に対し、SDRの色域体積外のクロマをその境界面に補正するためのクロマ補正を行い、クロマ補正後の三刺激値XSDRYSDRZSDRを求める。
図12は、SDRクロマ処理部16の構成例を示すブロック図であり、図13は、SDRクロマ処理部16の処理例を示すフローチャートである。このSDRクロマ処理部16は、色空間変換部33、クロマ補正部34、テーブル35及び色空間逆変換部36を備えている。
HDR映像の広色域の信号をダイナミックレンジ変換すると、SDR映像の広色域にて再現可能な色再現の体積である色域体積の外側に、色の信号がマッピングされる場合がある。このため、SDRビデオ信号において、SDR映像で再現可能な色の再現範囲を超える信号が生成され、ハイライトの色相変化が生じてしまう。
そこで、SDRクロマ処理部16は、圧縮処理部14によりトーンマッピングカーブの関数を用いてダイナミックレンジ変換された信号の色再現を、CIELAB空間にて補正する。具体的には、SDRクロマ処理部16は、色域体積外にマッピングされたクロマを、色域体積の境界面のクロマに補正するために、色空間変換部33による後述するステップS1302の処理、クロマ補正部34による後述するステップS1303の処理、及び色空間逆変換部36による後述するステップS1304の処理を行う。
これにより、SDR映像における色の再現範囲内のSDRビデオ信号を生成することができ、ハイライトの色相変化を軽減することができる。
色空間変換部33は、SDR輝度/三刺激値変換部15から三刺激値XSDRYSDRZSDRを入力する(ステップS1301)。そして、色空間変換部33は、三刺激値XSDRYSDRZSDRの空間をCIELAB空間であるL*a*b*空間に変換し、以下の式にて、明度L*及び色座標a*,b*を求める(ステップS1302)。
ここで、Xn,Yn,Znは、完全拡散反射面における三刺激値である。SDR映像の場合、輝度100[cd/m2]がYnに相当するため、Xn=95.04、Yn=100、Zn=108.89となる。また、前記式(24)における内部関数fは、前記式(7)で求められる。パラメータδは、δ=6/29の定数である。
色空間変換部33は、明度L*及び色座標a*,b*をクロマ補正部34に出力し、明度L*を色空間逆変換部36に出力する。
クロマ補正部34は、色空間変換部33から明度L*及び色座標a*,b*を入力し、テーブル35を用いて、SDRの色域体積外のクロマをその境界面に補正するためのクロマ補正を行い、クロマ補正後の色座標a* boundary,b* boundaryを求める(ステップS1303)。
このクロマ補正処理は、L*a*b*空間において、SDRの色域体積内のクロマはそのままとし、色域体積外のクロマをその境界面のクロマに補正する処理である。
図14は、SDRの色域体積外のクロマ補正処理例(ステップS1303)の詳細を示すフローチャートである。以下、クロマ補正部34によるステップS1303の処理について説明する。
クロマ補正部34は、色空間変換部33から明度L*及び色座標a*,b*を入力し(ステップS1401)、前記式(8)にて、色座標a*,b*からクロマ(補正前クロマ)C* ab及び色相角habを算出する(ステップS1402)。
そして、クロマ補正部34は、テーブル35から、図13のステップS1302にて求めた明度L*、及びステップS1402にて算出した色相角habの組み合わせ(L*,hab)に最も近い4つのクロマC* 1,C* 2,C* 3,C* 4を読み出す(ステップS1403)。
図15は、テーブル35の構成例を示す図である。SDR映像の広色域の色域体積における境界面のクロマC*が予めグリッド点として算出され、算出結果のクロマ(定義クロマ)C*がテーブル35に定義される。テーブル35には、明度L*及び色相角habの組み合わせ(L*,hab)に対応するクロマC*が格納されている。
図16は、テーブル35として作成した色域体積境界面の3次元プロット図である。明度L*及び色座標a*,b*の3軸からなる空間において、図15に示したテーブル35のように、色相角habが0.1°刻みで作成した色域体積境界面データを3次元プロットすると、図16に示す形態となる。
ここで、SDRの色域体積の境界面を表すクロマC*のデータ、すなわちSDR映像の広色域の色域体積境界データは、ハードウェア実装可能なメモリ容量内に格納されることが望ましい。
例えば、ハードウェア実装において、リアルタイム処理で信号値の変換が可能な3次元ルックアップテーブル(3D−Look Up Table:3D−LUT)は、RGBの3次元空間を指定したグリッドと呼ばれる格子点で構成され、その信号変換結果が3D−LUTとして作成される。格子点外の信号が入力された場合には、3D-LUTを参照することで、その信号値の近傍の格子点情報から体積補間によって、変換後の信号を得ることができる。
この3D−LUTの格子点の数は、通常33グリッドまたは65グリッドである。例えば65グリッドの場合、65×65×65=274625個のデータ量となる。仮に、このデータ量のそれぞれを64ビットの倍精度浮動小数点精度で保持すると、約2MB程度のメモリが必要となり、メモリ容量が大きくなる。
そこで、メモリ容量を軽減するために、本発明の実施形態では、図15のテーブル35のとおり、明度L*、色相角hab及びクロマC*から構成するようにした。
テーブル35は、3D−LUTとは異なり、明度L*及び色相角habの組み合わせ(L*,hab)に対応するクロマC*が格納されていればよい。このため、テーブル35に格納されたクロマC* 0,0.1,・・・,C* 108.2961,360.0のデータ数は、(明度L*のグリッド数)×(色相角habのグリッド数)である。明度L*の数は、黒から白までの明度L*=0〜108を1刻みのグリッドで区分した109個に、最大値である明度L*=108.2961の1個を加えた合計110個とする。色相角habの数は、色相角hab=0〜360度までを0.2刻みのグリッドで区分した約1800個とする。
クロマC*の数が208800個の場合、約1.3MBのメモリが必要となるため、3D−LUTにおける65グリッドの場合の約2MBよりも小さくて済む。ここで、色相角habを0.1刻みとすると、データ数は2倍となり、約2.63MBのメモリが必要となるため、3D−LUTにおける65グリッドの場合よりも超えてしまう。しかし、ハードウェアがそれを処理できる能力を備えている場合には、メモリ容量の問題は解消される。
図14に戻って、クロマ補正部34は、ステップS1403から移行して、テーブル35から読み出したクロマC* 1,C* 2,C* 3,C* 4を線形補間し、線形補間後のクロマ(境界クロマ)C* ab,estを算出する(ステップS1404)。境界クロマC* ab,estは、SDRの色域体積の境界面を表すクロマである。
これにより、図13のステップS1302にて求めた明度L*、及びステップS1402にて算出した色相角habの組み合わせ(L*,hab)に対応する境界クロマC* ab,estが得られる。
図17は、線形補間処理例(ステップS1404)を説明する図である。図17において、縦軸は明度L*を示し、横軸は色相角habを示し、これらは、図15に示したテーブル35を構成する明度L*及び色相角habに対応する。点eは、図13のステップS1302にて求めた明度L*、及びステップS1402にて算出した色相角habの組み合わせ(L*,hab)に対応する、ステップS1404にて算出対象の境界クロマC* ab,estの位置を示す。
点a,b,c,dは、図15に示したテーブル35に格納されたクロマC* 1,C* 2,C* 3,C* 4の位置を示し、点eにおける明度L*及び色相角habの組み合わせ(L*,hab)に最も近い4つの位置である。
点a,b,c,dにおける4つのクロマC* 1,C* 2,C* 3,C* 4において、行の値をidxL(1),idxL(2)とし、列の値をidxH(1),idxH(2)とする。すなわち、点aのクロマC* 1における明度L*及び色相角habの組み合わせ(L*,hab)は(idxL(1),idxH(1))である。点bのクロマC* 2における(L*,hab)は(idxL(2),idxH(1))であり、点cのクロマC* 3における(L*,hab)は(idxL(1),idxH(2))である。点dのクロマC* 4における(L*,hab)は(idxL(2),idxH(2))である。
クロマ補正部34は、以下のバイリニア補間式にて、クロマC* 1,C* 2,C* 3,C* 4を線形補間し、境界クロマC* ab,estを算出する。
明度L*及び色相角habは、点eにおける図13のステップS1302にて求めた明度L*、及び、ステップS1402にて算出した色相角habである。前記式(25)は、色相角habを0.1刻みとしたときの式である。色相角habが0.2刻みのときには、前記式(25)の除算及び乗算の演算において、10の値の代わりに5の値が用いられる。
図14に戻って、クロマ補正部34は、ステップS1404から移行して、ステップS1402にて算出したクロマC* abと、ステップS1404にて算出した境界クロマC* ab,estとを比較する(ステップS1405)。
クロマ補正部34は、ステップS1405において、クロマC* abが境界クロマC* ab,est以上であると判定した場合(ステップS1405:C* ab≧C* ab,est)、クロマC* abがSDRの色域体積外にあるとして、境界クロマC* ab,estをクロマ補正後のクロマ(補正後クロマ)C* ab,boundaryに設定する(ステップS1406)。
これにより、SDRの色域体積外にあるクロマC* abが、その境界面の境界クロマC* ab,estに補正され、補正後のクロマC* ab,boundary=C* ab,estが得られる。
一方、クロマ補正部34は、ステップS1405において、クロマC* abが境界クロマC* ab,estよりも小さいと判定した場合(ステップS1405:C* ab<C* ab,est)、クロマC* abがSDRの色域体積内にあるとして、クロマC* abをクロマ補正後のクロマC* ab,boundaryに設定する(ステップS1407)。
これにより、SDRの色域体積内にあるクロマC* abは補正されず、補正後のクロマC* ab,boundary=C* abが得られる。
ステップS1405〜S1407の処理は、以下の式で表される。
クロマ補正部34は、ステップS1402にて算出した色相角hab、及びステップS1406,S1407にて算出したクロマ補正後のクロマC* ab,boundaryに基づいて、以下の式にて、クロマ補正後の色座標a* boundary,b* boundaryを算出する(ステップS1408)。
ここで、前記式(27)は、色相角habを同じ値に保持することを示しており、これは、色相変化を防ぐため、すなわちRGBの色成分のバランスを変化させないためである。
クロマ補正部34は、クロマ補正後の色座標a* boundary,b* boundaryを色空間逆変換部36に出力する(ステップS1409)。
図12及び図13に戻って、色空間逆変換部36は、ステップS1303から移行して、色空間変換部33から明度L*を入力すると共に、クロマ補正部34からクロマ補正後の色座標a* boundary,b* boundaryを入力する。そして、色空間逆変換部36は、CIELAB空間であるL*a*b*空間を三刺激値XSDRYSDRZSDRの空間に変換し、以下の式にて、三刺激値XSDRYSDRZSDRを求める(ステップS1304)。
ここで、Xn,Yn,Znは、完全拡散反射面における三刺激値であり、前記式(24)と同様に、Xn=95.04,Yn=100,Zn=108.89となる。パラメータδは、δ=6/29の定数である。
また、前記式(28)における内部関数fx,fy,fz,は、以下の式で算出される。
色空間逆変換部36は、クロマ補正後の三刺激値XSDRYSDRZSDRをSDR三刺激値/光変換部17に出力する(ステップS1305)。
(SDR三刺激値/光変換部17)
次に、図1に示したSDR三刺激値/光変換部17について詳細に説明する。前述のとおり、SDR三刺激値/光変換部17は、クロマ補正後の三刺激値XSDRYSDRZSDRをSDRのディスプレイ光信号Fdsに変換する。
SDR三刺激値/光変換部17は、SDRクロマ処理部16からクロマ補正後の三刺激値XSDRYSDRZSDRを入力し、以下の行列演算にて、三刺激値XSDRYSDRZSDRをディスプレイ光信号Fds={RSDR,GSDR,BSDR}に変換する。
ここで、Fds<0となる信号があった場合は、Fds=0とする。
(SDR光/ビデオ変換部18)
次に、図1に示したSDR光/ビデオ変換部18について詳細に説明する。前述のとおり、SDR光/ビデオ変換部18は、SDR映像のEOTFの逆関数により、ディスプレイ光信号FdsをSDRビデオ信号Es’に変換する。
SDR光/ビデオ変換部18は、SDR三刺激値/光変換部17からSDRのディスプレイ光信号Fdsを入力し、以下の式にて、SDR映像のEOTFの逆関数により、ディスプレイ光信号FdsをSDRビデオ信号Es’に変換する。
以上のように、本発明の実施形態の映像信号変換装置1によれば、HDRビデオ/光変換部10は、HDR映像のEOTFにより、HDRビデオ信号Eh’をディスプレイ光信号Fdに変換する。HDR光/三刺激値変換部11は、ディスプレイ光信号Fdを三刺激値XHDRYHDRZHDRに変換する。
HDRクロマ処理部12は、三刺激値XHDRYHDRZHDRの空間をCIELAB空間に変換し、予め設定されたパラメータσに基づいて、基準白レベル以上の色を無彩色または白色に近づけるためのクロマ補正を行い、クロマ補正後の三刺激値XHDRYHDRZHDRを求める。具体的には、HDRクロマ処理部12は、色相角habを変えることなく、小さい値のクロマC* ab,corを得るためのクロマ補正を行う。
これにより、無彩色または白色に近い状態で、後段の圧縮処理部14にて圧縮処理が行われるから、ハイライトにおける特定の色成分のハードクリップの度合いを抑えることができる。つまり、色相変化を抑制しながら、無彩色または白色に近いハイライトの色再現を実現することができ、色味のある白色が残ることがない。また、ハイライトの色再現において、製作者が意図的に無彩色または白色に設定することができ、現行のSDR番組のようなハイライトの色再現を実現することができる。
HDR三刺激値/色度変換部13は、クロマ補正後の三刺激値XHDRYHDRZHDRを色度座標x,yに変換する。圧縮処理部14は、予め設定されたゲイン値k1等に基づいて、輝度YHDRに対し、人肌レベル、基準白レベル及びハイライトの色再現を考慮したトーンマッピングカーブの関数による圧縮処理を行い、輝度YSDRを求める。SDR輝度/三刺激値変換部15は、色度座標x,yを用いて輝度YSDRから三刺激値のXSDR,ZSDRを求める。
SDRクロマ処理部16は、三刺激値XSDRYSDRZSDRの空間をCIELAB空間に変換し、SDRの色域体積外のクロマをその境界面に補正するためのクロマ補正を行い、クロマ補正後の三刺激値XSDRYSDRZSDRを求める。
具体的には、SDRクロマ処理部16は、SDRの色域体積の境界面を表すクロマC*が定義されたテーブル35を用いて、色域体積内のクロマC* abはそのままとし、色域体積外のクロマC* abについては、その境界面のクロマC* ab,estに補正することで、SDRの色域体積内(境界面を含む)のクロマC* ab,boundaryを得るためのクロマ補正を行う。
これにより、後段のSDR光/ビデオ変換部18により生成されるSDRビデオ信号Es’において、SDR映像で再現可能な色の再現範囲を超える信号が生成されることがない。
SDR三刺激値/光変換部17は、クロマ補正後の三刺激値XSDRYSDRZSDRをディスプレイ光信号Fdsに変換し、SDR光/ビデオ変換部18は、SDR映像のEOTFの逆関数により、ディスプレイ光信号FdsをSDRビデオ信号Es’に変換する。
このように、HDR映像をSDR映像に階調変換する際に、人肌レベル、基準白レベル及びハイライトの色再現を考慮して、HDR映像をSDR映像に変換することができると共に、色相変化を抑制しながら、無彩色または白色に近いハイライトの色再現を実現することができる。
また、SDR映像における色の再現範囲内のSDRビデオ信号Es’を生成することができ、ハイライトの色相変化を軽減することが可能となる。
〔他の例/映像信号変換装置〕
次に、本発明の実施形態による映像信号変換装置の他の例について、図18及び図19を参照して説明する。
(第1例)
図18は、他の例(第1例)による映像信号変換装置の構成例を示すブロック図である。この映像信号変換装置2は、HDRビデオ/光変換部10、HDR光/三刺激値変換部11、HDR三刺激値/色度変換部13、圧縮処理部14、SDR輝度/三刺激値変換部15、SDRクロマ処理部16、SDR三刺激値/光変換部17及びSDR光/ビデオ変換部18を備えている。
図1に示した映像信号変換装置1とこの映像信号変換装置2とを比較すると、両映像信号変換装置1,2は、HDRビデオ/光変換部10、HDR光/三刺激値変換部11、HDR三刺激値/色度変換部13、圧縮処理部14、SDR輝度/三刺激値変換部15、SDRクロマ処理部16、SDR三刺激値/光変換部17及びSDR光/ビデオ変換部18を備えている点で共通する。一方、映像信号変換装置2は、HDRクロマ処理部12を備えていない点で、HDRクロマ処理部12を備えている映像信号変換装置1と相違する。
図18に示す各構成部は、映像信号変換装置1の構成部と同様であるため、ここでは説明を省略する。
以上のように、他の例の映像信号変換装置2によれば、HDR映像をSDR映像に階調変換する際に、圧縮処理部14にて、人肌レベル、基準白レベル及びハイライトの色再現を考慮した変換を実現することができる。
また、SDRクロマ処理部16にて、SDRの色域体積外のクロマをその境界面に補正するためのクロマ補正を行い、SDR映像で再現可能な色の再現範囲を超える信号が生成されることがないようにする。
これにより、図1に示した映像信号変換装置1と同様に、HDR映像をSDR映像に階調変換する際に、SDR映像における色の再現範囲内のSDRビデオ信号を生成することができ、ハイライトの色相変化を軽減することが可能となる。
(第2例)
図19は、他の例(第2例)による映像信号変換装置の構成例を示すブロック図である。この映像信号変換装置3は、HDRビデオ/光変換部10、HDRゲイン処理部19、HDR光/三刺激値変換部11、HDR三刺激値/色度変換部13、圧縮処理部20、SDR輝度/三刺激値変換部15、SDRクロマ処理部16、SDR三刺激値/光変換部17及びSDR光/ビデオ変換部18を備えている。
図1に示した映像信号変換装置1とこの映像信号変換装置3とを比較すると、両映像信号変換装置1,3は、HDRビデオ/光変換部10、HDR光/三刺激値変換部11、HDR三刺激値/色度変換部13、SDR輝度/三刺激値変換部15、SDRクロマ処理部16、SDR三刺激値/光変換部17及びSDR光/ビデオ変換部18を備えている点で共通する。
一方、映像信号変換装置3は、HDRクロマ処理部12を備えておらず、圧縮処理部14の代わりに圧縮処理部20を備え、HDRゲイン処理部19を備えている点で、HDRクロマ処理部12及び圧縮処理部14を備えている映像信号変換装置1と相違する。
HDRビデオ/光変換部10、HDR光/三刺激値変換部11、HDR三刺激値/色度変換部13、SDR輝度/三刺激値変換部15、SDRクロマ処理部16、SDR三刺激値/光変換部17及びSDR光/ビデオ変換部18は、映像信号変換装置1の構成部と同様であるため、ここでは説明を省略する。
HDRゲイン処理部19は、HDRビデオ/光変換部10からディスプレイ光信号Fdを入力し、予め設定されたゲイン値k1に基づいて、ディスプレイ光信号Fdに対し肌レベルを考慮したゲイン処理を行い、ディスプレイ光信号Fdgを求める。そして、HDRゲイン処理部19は、ディスプレイ光信号FdgをHDR光/三刺激値変換部11に出力する。
HDR光/三刺激値変換部11は、HDRゲイン処理部19からディスプレイ光信号Fdgを入力し、前述した同様の処理を行う。
圧縮処理部20は、HDR三刺激値/色度変換部13から輝度YHDRを入力し、輝度YHDRに対し基準白レベルを考慮した圧縮処理を行い、輝度Y1stを求める。そして、圧縮処理部20は、輝度Y1stに対しハイライトの色再現を考慮した圧縮処理を行い、輝度YSDRを求め、輝度YSDRをSDR輝度/三刺激値変換部15に出力する。
ここで、基準白レベルを考慮した圧縮処理は、HLGディスプレイ輝度200cd/m2をSDRディスプレイ輝度約88cd/m2〜100cd/m2の間に対応させるためのゲイン処理である。このゲイン処理は、HLGビデオ信号の基準白レベル75%をSDRビデオ信号の白レベル約95%に対応させるためのゲイン処理に相当する。
また、ハイライトの色再現を考慮した圧縮処理は、ハイライトの白つぶれを抑制するための処理である。HLG映像のハイライトにおいてクリップを生じると、SDR映像では白飛びとして表現される。HDR映像をSDR映像に変換すると、ダイナミックレンジの違いにより白飛びが顕著に表れることがある。ハイライトの色再現を考慮した圧縮処理は、これを防ぐために、例えばHLGビデオ信号の100%をSDRビデオ信号の上限値である109%に対応させる。
以上のように、他の例の映像信号変換装置3によれば、HDR映像をSDR映像に階調変換する際に、HDRゲイン処理部19及び圧縮処理部20にて、人肌レベル、基準白レベル及びハイライトの色再現を考慮した変換を実現することができる。
また、SDRクロマ処理部16にて、SDRの色域体積外のクロマをその境界面に補正するためのクロマ補正を行い、SDR映像で再現可能な色の再現範囲を超える信号が生成されることがないようにする。
これにより、図1に示した映像信号変換装置1と同様に、HDR映像をSDR映像に階調変換する際に、SDR映像における色の再現範囲内のSDRビデオ信号を生成することができ、ハイライトの色相変化を軽減することが可能となる。
以上、本発明の実施形態及び他の例(第1例及び第2例)を挙げて本発明を説明したが、本発明は前記本発明の実施形態及び他の例に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。
例えば、前記実施形態では、HDRクロマ処理部12は、三刺激値XHDRYHDRZHDRの空間をCIELAB空間に変換し、基準白レベル以上の色を無彩色または白色に近づけるためのクロマ補正を行うようにした。
これに対し、HDRクロマ処理部12に代わるHDR彩度処理部は、三刺激値XHDRYHDRZHDRの空間を他の色空間に変換し、基準白レベル以上の色を無彩色または白色に近づけるための彩度補正を行うようにしてもよい。他の色空間として、例えばICTCP(定輝度方式)空間が用いられる。要するに、本発明は、基準白レベル以上の色を無彩色または白色に近づけるためのクロマ補正に限定されるものではなく、クロマ以外の他の彩度を用いて補正を行う処理にも適用がある。
また、前記実施形態では、SDRクロマ処理部16は、三刺激値XSDRYSDRZSDRの空間をCIELAB空間に変換し、SDRの色域体積外のクロマをその境界面に補正するためのクロマ補正を行うようにした。
これに対し、SDRクロマ処理部16に代わるSDR彩度処理部は、三刺激値XSDRYSDRZSDRの空間を他の色空間に変換し、SDRの色域体積外の彩度をその境界面に補正するための彩度補正を行うようにしてもよい。他の色空間として、例えばICTCP空間が用いられる。要するに、本発明は、SDRの色域体積外のクロマをその境界面に補正するためのクロマ補正に限定されるものではなく、クロマ以外の他の彩度を用いて補正を行う処理にも適用がある。
この場合、SDR彩度処理部は、色空間変換部33、彩度補正部、及び色空間逆変換部36を備える。彩度補正部は、クロマ補正部34の代わりの構成部である。
他の色空間としてICTCP空間を用いる場合、色空間変換部33は、三刺激値XSDRYSDRZSDRの空間をICTCP空間に変換し、輝度I、淡黄色彩度成分CT及び赤緑色彩度成分CPを求める。
彩度補正部は、テーブルを用いて、SDRの色域体積外の彩度をその境界面に補正するための彩度補正を行い、彩度補正後の淡黄色彩度成分CT,boundary及び赤緑色彩度成分CP,boundaryを求める。色空間逆変換部36は、輝度I、彩度補正後の淡黄色彩度成分CT,boundary及び赤緑色彩度成分CP,boundaryを用いて、ICTCP空間を三刺激値XSDRYSDRZSDRの空間に変換する。
彩度補正部による処理は、図14に示した処理における明度L*の代わりに輝度Iを、色座標a*,b*の代わりに淡黄色彩度成分CT及び赤緑色彩度成分CPを用いて、彩度補正後の淡黄色彩度成分CT,boundary及び赤緑色彩度成分CP,boundaryを求める。この場合、SDR映像の色域体積の境界面における彩度が定義されたテーブルが用いられる。テーブルは、明度L*の代わりに輝度Iを、クロマC*の代わりに彩度Cを用いて、輝度I、色相角hab及び彩度Cから構成される。
尚、本発明の実施形態の映像信号変換装置1、及び他の例の映像信号変換装置2,3のハードウェア構成としては、通常のコンピュータを使用することができる。映像信号変換装置1,2,3は、CPU、RAM等の揮発性の記憶媒体、ROM等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。
映像信号変換装置1に備えたHDRビデオ/光変換部10、HDR光/三刺激値変換部11、HDRクロマ処理部12、HDR三刺激値/色度変換部13、圧縮処理部14、SDR輝度/三刺激値変換部15、SDRクロマ処理部16、SDR三刺激値/光変換部17及びSDR光/ビデオ変換部18の各機能は、これらの機能を記述したプログラムをCPUに実行させることによりそれぞれ実現される。
また、映像信号変換装置2に備えたHDRビデオ/光変換部10、HDR光/三刺激値変換部11、HDR三刺激値/色度変換部13、圧縮処理部14、SDR輝度/三刺激値変換部15、SDRクロマ処理部16、SDR三刺激値/光変換部17及びSDR光/ビデオ変換部18の各機能も、これらの機能を記述したプログラムをCPUに実行させることによりそれぞれ実現される。
また、映像信号変換装置3に備えたHDRビデオ/光変換部10、HDRゲイン処理部19、HDR光/三刺激値変換部11、HDR三刺激値/色度変換部13、圧縮処理部20、SDR輝度/三刺激値変換部15、SDRクロマ処理部16、SDR三刺激値/光変換部17及びSDR光/ビデオ変換部18の各機能も、これらの機能を記述したプログラムをCPUに実行させることによりそれぞれ実現される。
これらのプログラムは、前記記憶媒体に格納されており、CPUに読み出されて実行される。また、これらのプログラムは、磁気ディスク(フロッピー(登録商標)ディスク、ハードディスク等)、光ディスク(CD−ROM、DVD等)、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。