(本開示の基礎となった知見)
本発明者は、「背景技術」の欄において記載した、画像信号処理装置に関し、以下の課題が生じることを見出した。
特許文献1に開示されている画像信号処理装置では、被写体を構成する画素から算出されたリニアRGB値に基づいて画素毎にリニア輝度を算出し、リニアRGB値およびリニア輝度に基づいて画素毎の補正リニア輝度および当該画素を含む複数の画素を合成した合成画素の補正リニアRGB値を算出し、補正リニア輝度および補正リニアRGB値をそれぞれガンマ補正して表示用輝度および表示用RGB値を算出する。このように、画像信号処理装置では、補正リニアRGB値に基づいてリニア輝度を補正することにより、表示可能な階調数の増加を図っている。
しかしながら、特許文献1に開示されている画像信号処理装置などの輝度の補正(変換)においては、第1輝度範囲から輝度範囲が縮小された第2輝度範囲に輝度を補正(変換)するときの輝度の変換方法については考慮されていなかった。
以上の検討を踏まえ、本発明者は、上記課題を解決するために、下記の改善策を検討した。
本開示の一態様に係る表示装置は、HDR(High Dynamic Range)の輝度範囲を有するビデオ信号に対し、HDR用のEOTF(Electro−Optical Transfer Function)を用いて変換することによりビデオリニア信号を生成する第1のEOTF変換部と、最大輝度が100nitの輝度範囲を有する第1のグラフィックス信号を、表示部が表示可能な最大輝度に対して所定の割合で定められた値を最大輝度とする輝度範囲を有する第2のグラフィックス信号に変換する第1の輝度変換部と、前記第2のグラフィックス信号に対し、前記HDR用のEOTF(Electro−Optical Transfer Function)を用いて変換することによりグラフィックスリニア信号を生成する第2のEOTF変換部と、前記ビデオリニア信号と前記グラフィックスリニア信号とを合成して合成信号を生成する合成部と、前記合成信号の輝度範囲を、前記表示部が表示可能な最大輝度でありかつ100nitよりも大きい最大輝度を有する輝度範囲に変換する第2の輝度変換部と、前記第2の輝度変換部で変換後の前記合成信号を表示する前記表示部と、を有する。
また、例えば、前記グラフィックス信号は、字幕またはメニューを表示するための信号であってもよい。
本開示の一態様に係る表示方法は、表示装置に表示させる映像の輝度を変換する変換方法であって、前記映像の輝度は、第1輝度範囲の輝度値からなり、前記映像の輝度値が量子化されることで得られたコード値を示す第1輝度信号を取得し、取得した前記第1輝度信号が示すコード値を、前記表示装置の輝度範囲に基づいて決定する、前記第1輝度範囲の最大値よりも小さく、かつ、100nitよりも大きい最大値である第2輝度範囲に対応する第2輝度値へ変換する。
これによれば、第1輝度範囲から輝度範囲が縮小された第2輝度範囲に輝度を適切に変換することができる。
また、例えば、前記第2輝度値への変換では、前記第1輝度範囲における輝度値と、複数の第1コード値とを関係付けたEOTF(Electro−Optical Transfer Function)を用いて、取得した前記第1輝度信号が示す前記第1コード値について、当該第1コード値に前記EOTFにおいて関係付けられた第1輝度値を決定し、決定した前記第1輝度値について、当該第1輝度値に予め関係付けられた、前記第2輝度範囲に対応する第2輝度値を決定し、前記第1輝度範囲に対応する前記第1輝度値を、前記第2輝度範囲に対応する前記第2輝度値へ変換する第1輝度変換を行ってもよい。
また、例えば、前記第2輝度範囲の最大値は、前記表示装置の輝度の最大値であり、前記第1輝度変換では、前記第1輝度値が、前記映像を構成する複数の画像に対する輝度値のうちの最大値である第1最大輝度値の場合、前記表示装置の輝度の最大値である第2最大輝度値を、前記第2輝度値として決定してもよい。
また、例えば、前記第1輝度変換では、前記第1輝度値が、前記映像を構成する複数の画像に対する輝度値の平均である平均輝度値以下の場合、当該第1輝度値を変換せず、当該第1輝度値を、前記第2輝度値として決定し、当該第1輝度値が、前記第1最大輝度値以上の場合、前記第2最大輝度値を、前記第2輝度値として決定してもよい。
また、例えば、前記第1輝度変換では、前記第1輝度値が、前記平均輝度値と前記第1最大輝度値との間である場合、自然対数を用いて、当該第1輝度値に対応する前記第2輝度値を決定してもよい。
また、例えば、さらに、前記第1最大輝度値および前記映像を構成する複数の画像に対する輝度値の平均である平均輝度値の少なくとも一方を含む輝度情報を前記映像のメタ情報として取得してもよい。
また、例えば、さらに、前記第1輝度信号を記録媒体から取得し、前記第1最大輝度値および前記映像を構成する複数の画像に対する輝度値の平均である平均輝度値の少なくとも一方を含む輝度情報をネットワーク経由で取得してもよい。
また、例えば、さらに、前記映像の複数のシーンのそれぞれに対応した輝度情報であって、当該シーン毎に、当該シーンを構成する複数の画像に対する輝度値のうちの最大値である前記第1最大輝度値と、当該シーンを構成する複数の画像に対する輝度値の平均である平均輝度値との少なくとも一方を含む輝度情報を取得し、前記第1輝度変換では、前記複数のシーンのそれぞれについて、当該シーンに対応した前記輝度情報に応じて前記第2輝度値を決定してもよい。
また、例えば、さらに、決定した前記第2輝度値について、当該第2輝度値に予め関係付けられた、100nitを最大値とする第3輝度範囲に対応する第3輝度値を決定し、前記第2輝度範囲に対応する前記第2輝度値を、前記第3輝度範囲に対応する前記第3輝度値へ変換する第2輝度変換を行い、決定した前記第3輝度値が、前記第3の輝度範囲における輝度値と、複数の第3コード値とを関係付けた逆EOTFを用いて、前記第3輝度値を量子化し、量子化により得られた第3コード値を決定し、前記第3輝度範囲に対応する前記第3輝度値を、前記第3コード値を示す第3輝度信号へ変換し、前記第3輝度信号を前記表示装置へ出力してもよい。
また、例えば、前記第2輝度変換では、決定した前記第2輝度値について、前記表示装置の表示特性を示す情報であるディスプレイ特性情報に応じた輝度関係情報を用いて、当該第2輝度値に関係付けられた輝度値を前記第3輝度値として決定し、前記ディスプレイ特性情報に応じて輝度変換処理を切り替えてもよい。
また、例えば、前記ディスプレイ特性情報は、前記表示装置の表示モードであり、前記第2輝度変換では、前記表示モードがノーマルモードの場合、前記第3輝度値は、前記第2輝度値に正比例する正比例値に輝度変換し、前記表示モードが、前記ノーマルモードよりも高輝度画素をより明るく、かつ、低輝度画素をより暗くするダイナミックモードの場合、前記低輝度画素の前記第3輝度値は、前記第2輝度値に正比例する正比例値より高い値に、前記高輝度画素の前記第3輝度値は、前記第2輝度値に正比例する正比例値より低い値に輝度変換してもよい。
また、例えば、前記第1輝度変換では、前記表示装置の表示特性を示す情報であるディスプレイ特性情報を用いて、前記第2最大輝度値を決定してもよい。
また、例えば、さらに、前記表示装置から前記ディスプレイ特性情報を取得してもよい。
また、例えば、前記ディスプレイ特性情報の取得は、前記第2輝度値への変換の直前に行ってもよい。
また、例えば、前記ディスプレイ特性情報の取得は、前記表示装置と最初に接続したタイミングで行ってもよい。
なお、これらの全般包括的または具体的な態様は、装置、システム、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
以下、添付の図面を参照して、本開示の一態様に係る表示方法および表示装置について、具体的に説明する。
なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
(実施の形態)
本開示は、輝度範囲が高い高輝度信号であるHDR(High Dynamic Range)信号を、最大輝度値が100nitである輝度範囲の通常輝度信号であるSDR(Standard Dynamic Range)信号に対応したTV、プロジェクタ、タブレット、スマートフォン等のディスプレイ装置で表示させるための画像変換・再生方法、装置に関する。
[1−1.背景]
まず、映像技術の変遷について、図1を用いて説明する。図1は、映像技術の進化について説明するための図である。
これまで、映像の高画質化としては、表示画素数の拡大に主眼がおかれ、Standard Definition (SD)の720×480画素の映像から、High Definition(HD)の1920×1080画素の、所謂2K映像が普及している。
近年、映像の更なる高画質化を目指して、Ultra High Definition(UHD)の3840×1920画素、あるいは、4Kの4096×1920画素の、所謂4K映像の導入が開始された。
そして、4Kの導入による映像の高解像度化を行うと共に、ダイナミックレンジ拡張や色域の拡大、あるいは、フレームレートの追加、向上などを行うことで映像を高画質化することが検討されている。
その中でも、ダイナミックレンジについては、従来の映像における暗部階調を維持しつつ、現行のTV信号では表現不能な鏡面反射光などの明るい光を、より現実に近い明るさで表現するために最大輝度値を拡大した輝度範囲に対応させた方式として、HDR(High Dynamic Range)が注目されている。具体的には、これまでのTV信号が対応している輝度範囲の方式は、SDR(Standard Dynamic Range)と呼ばれ、最大輝度値が100nitであったのに対して、HDRでは1000nit以上まで最大輝度値を拡大することが想定されている。HDRは、SMPTE(Society of Motion Picture & Television Engineers)やITU−R(International Telecommunications Union Radiocommunications Sector)などにおいて、標準化が進行中である。
HDRの具体的な適用先としては、HDやUHDと同様に、放送やパッケージメディア(Blu−ray(登録商標、以下同様) Disc等)、インターネット配信などで使われることが想定されている。
なお、以下では、HDRに対応した映像において、当該映像の輝度は、HDRの輝度範囲の輝度値からなり、当該映像の輝度値が量子化されることで得られた輝度信号をHDR信号と呼ぶ。SDRに対応した映像において、当該映像の輝度は、SDRの輝度範囲の輝度値からなり、当該映像の輝度値が量子化されることで得られた輝度信号をSDR信号と呼ぶ。
[1−2.マスター生成、配信方式、および表示装置の関係]
図2は、コンテンツに新たな映像表現を導入するときの、映像制作、配信方式、および表示装置の関係について説明するための図である。
映像の高画質化のために新たな映像表現(画素数の増加等)を導入する場合には、図2に示すように、(1)映像制作側のHome Entertainment向けマスターを変更する必要がある。それに応じて、(2)放送、通信、パッケージメディア等の配信方式も、(3)その映像を表示するTV、プロジェクタ等の表示装置も更新する必要がある。
[1−3.HDR導入時のマスター、配信方式、および表示装置の関係]
ユーザが新たな映像表現に対応したコンテンツ(例えば、高輝度映像コンテンツ(HDRコンテンツ))を家庭内で楽しむためには、HDR対応配信方式およびHDR対応表示装置の両方を新たに導入する必要がある。つまり、新たな映像表現に対応したコンテンツを家庭内で楽しむためには、ユーザは、新たな映像表現に対応した配信方式および表示装置を用意する必要がある。このことは、SDの映像からHDの映像、HDの映像から3Dの映像、HDの映像からUHD(4K)の映像に代わったときのような新たな映像表現が導入された場合にも避けることができなかった。
このため、高価で、大きさ・重量等の点でも置き換えが容易でない、TVを買い替える必要がある、新たな映像表現への変更は、新たな機能を持つ表示装置(例えばTV)の普及に依存することになる。媒体側も、コンテンツ側も当初は大きな投資ができないため、新たな映像表現の普及が遅くなることが多かった。
よって、図3に示すように、HDRについても、HDR本来の映像表現をフルに生かすためには、HDRに対応した映像の表示(以下、「HDR表示」という。)に対応したTV(以下、「HDRTV」という。)への買い替えが必要になると予想される。
[1−4.SDRTV]
SDRに対応した映像の表示(以下、「SDR表示」という。)のみに対応したTV(以下、「SDRTV」という。)は、通常、輝度値が100nitまでの入力信号が入力される。このため、SDRTVは、その表示能力が100nitであれば入力信号の輝度値を表現するのに十分である。しかし、SDRTVは、実際は、視聴環境(暗い部屋:シネマモード、明るい部屋:ダイナミックモード等)に合わせて、最適な輝度値の映像を再生する機能を有し、200nit以上の映像表現が可能な能力を持っているものが多い。つまり、このようなSDRTVは、視聴環境に応じた表示モードを選択することで、表示能力の最大輝度(例えば、300nit)までの映像を表示できる。
しかし、SDRTVに入力されるSDR方式の入力信号では、入力信号の輝度上限が100nitに決められているため、従来通りにSDR方式の入力インターフェースを使う限り、SDRTVが持つ100nitを超える高輝度の映像再生能力をHDR信号の再生用に使うことは難しい(図4Aおよび図4B参照)。
[1−5.HDR→SDR変換]
HDR対応の放送、通信ネットワークを介した動画配信、あるいは、HDR対応のパッケージメディア(例えば、HDR対応のBlu−rayDisc)等の配信方式により配信された高輝度映像コンテンツ(以下、「HDRコンテンツ」または「HDR映像」ともいう。)は、HDR対応の再生装置(例えば、通信STB(Set Top Box)、Blu−ray機器、IPTV再生機器)を介して、SDRTVにより出力される場合が想定される。SDRTVでHDRコンテンツを再生する場合、SDRTVで映像が正しく表示できるように、HDRに対応するHDR信号を、100nitを最大値とするSDR輝度範囲のSDR信号に変換する「HDR→SDR変換」を実現する。これにより、SDRTVは、変換されたSDR信号を用いて、HDR映像から変換されることで得られたSDR映像の表示を行うことが可能となる(図5参照)。
ただし、この場合でも、ユーザはHDR対応のコンテンツ(例えばBlu−rayディスク、HDR IPTVコンテンツ)とHDR対応の再生装置(例えばBlu−ray機器、HDR対応のIPTV再生機器)とを購入したのにも関わらず、SDRTVではSDRの映像表現(SDR表現)でしか映像を楽しむことができない。つまり、HDRコンテンツと、HDRに対応した再生機器とを用意しても、HDRに対応した表示装置(例えばHDRTV)がなく、SDRTVしかない場合には、HDRの映像表現(HDR表現)で映像を視聴することができない。
よって、ユーザは、HDRTVを用意できなければ、HDRコンテンツや伝送媒体(再生装置)を購入しても、HDRの価値(つまりHDRが高画質であることによるSDRに対する優位性)が解らない。このように、ユーザは、HDRTVが無ければHDRの価値が分からないため、HDRコンテンツやHDR対応配信方式の普及は、HDRTVの普及速度に応じて決まると言える。
[1−6.HDR→SDR変換を実現する2つの方式]
Blu−rayディスク(BD)を用いてHDR信号をTVに送る場合、下記の図6Aおよび図6Bに示すように2つのケースが想定できる。図6Aは、HDR対応のBDに、HDRに対応したHDR信号のみが格納されているケース1について説明するための図である。図6Bは、HDR対応のBDにHDRに対応したHDR信号およびSDRに対応したSDR信号が格納されているケース2について説明するための図である。
図6Aに示すように、ケース1において、HDRTVにBlu−ray機器でBDを再生した映像を表示させる場合には、HDR対応のBD(以下、「HDRBD」という。)を再生したときでも、SDR対応のBD(以下、「SDRBD」という。)を再生したときでも、Blu−ray機器は、BDに格納された輝度信号を変換することなくそのままHDRTVに出力する。そして、HDRTVは、HDR信号もSDR信号も表示処理することができるため、入力された輝度信号に応じた表示処理を行い、HDR映像またはSDR映像を表示する。
一方で、ケース1において、SDRTVにBlu−ray機器でBDを再生した映像を表示させる場合には、HDRBDを再生したときは、Blu−ray機器は、HDR信号からSDR信号へ変換する変換処理を行い、変換処理により得られたSDR信号をSDRTVに出力する。また、SDRBDを再生したときは、Blu−ray機器は、BDに格納されたSDR信号を変換することなくそのままSDRTVに出力する。これにより、SDRTVは、SDR映像を表示する。
また、図6Bに示すように、ケース2において、HDRTVにBlu−ray機器でBDを再生した映像を表示させる場合には、ケース1と同様である。
一方で、ケース2において、SDRTVにBlu−ray機器でBDを再生した映像を表示させる場合には、HDRBDを再生したときでも、SDRBDを再生したときでも、Blu−ray機器は、BDに格納されたSDR信号を変換することなくそのままSDRTVに出力する。
ケース1も、ケース2も、共にHDRBDとHDR対応のBlu−ray機器を買っても、HDRTVが無ければ、SDR映像しか楽しむことができない。したがって、ユーザがHDR映像を見るためにはHDRTVが必要になり、HDR対応のBlu−ray機器またはHDRBDの普及には時間がかかることが予測される。
[1−7.HDR→疑似HDR変換]
以上のことからHDRの普及を促進するためには、HDRTVの普及を待たずに、HDRコンテンツや配信方式の事業化を推進できることが重要であると言える。このためには、既存のSDRTVで、HDR信号を、SDR映像としてではなく、HDR映像または、SDR映像よりもHDR映像に近づけた疑似HDR映像として視聴可能にすることができれば、ユーザは、HDRTVを買わなくても、SDR映像とは明らかに異なる、HDR映像に近いより高画質な映像を視聴できる。つまり、ユーザは、SDRTVで疑似HDR映像を視聴できれば、HDRTVを用意しなくてもHDRコンテンツやHDR配信機器を用意するだけで、SDR映像よりも高画質な映像を視聴することができるようになる。要するに、疑似HDR映像をSDRTVで視聴できるようにすることは、HDRコンテンツやHDR配信機器を購入するためのユーザの動機になり得る(図7参照)。
疑似HDR映像をSDRTVに表示させることを実現するために、HDR配信方式にSDRTVが接続された構成で、HDRコンテンツを再生した時に、SDRTVでHDRコンテンツの映像が正しく表示できるように、HDR信号をSDR映像信号に変換する代わりに、SDRTVの100nitを最大値とする映像信号の入力を用いて、SDRTVが持つ表示能力の最大輝度、例えば、200nit以上の映像を表示させるための疑似HDR信号を生成し、生成した疑似HDR信号をSDRTVに送ることを可能にする「HDR→疑似HDR変換処理」を実現することが必要になる。
[1−8.EOTFについて]
ここで、EOTFについて、図8Aおよび図8Bを用いて説明する。
図8Aは、HDRおよびSDRのそれぞれに対応したEOTF(Electro−Optical Transfer Function)の例について示す図である。
EOTFは、一般的にガンマカーブと呼ばれるものであり、コード値と輝度値との対応を示し、コード値を輝度値に変換するものである。つまり、EOTFは、複数のコード値と輝度値との対応関係を示す関係情報である。
また、図8Bは、HDRおよびSDRのそれぞれに対応した逆EOTFの例について示す図である。
逆EOTFは、輝度値とコード値との対応を示し、EOTFとは逆に輝度値を量子化してコード値に変換するものである。つまり、逆EOTFは、輝度値と複数のコード値との対応関係を示す関係情報である。例えば、HDRに対応した映像の輝度値を10ビットの階調のコード値で表現する場合、10,000nitまでのHDRの輝度範囲における輝度値は、量子化されて、0〜1023までの1024個の整数値にマッピングされる。つまり、逆EOTFに基づいて量子化することで、10,000nitまでの輝度範囲の輝度値(HDRに対応した映像の輝度値)を、10ビットのコード値であるHDR信号に変換する。HDRに対応したEOTF(以下、「HDRのEOTF」という。)またはHDRに対応した逆EOTF(以下、「HDRの逆EOTF」という。)においては、SDRに対応したEOTF(以下、「SDRのEOTF」という。)またはSDRに対応した逆EOTF(以下、「SDRの逆EOTF」という。)よりも高い輝度値を表現することが可能であり、例えば、図8Aおよび図8Bにおいては、輝度の最大値(ピーク輝度)は、10,000nitである。つまり、HDRの輝度範囲は、SDRの輝度範囲を全て含み、HDRのピーク輝度は、SDRのピーク輝度より大きい。HDRの輝度範囲は、SDRの輝度範囲の最大値である100nitから、10,000nitまで、最大値を拡大した輝度範囲である。
例えば、HDRのEOTFおよびHDRの逆EOTFは、一例として、米国映画テレビ技術者協会(SMPTE)で規格化されたSMPTE 2084がある。
[1−9.EOTFの使い方]
図9は、コンテンツに格納される輝度信号のコード値の決定方法、および、再生時にコード値から輝度値を復元するプロセスの説明図である。
本例における輝度を示す輝度信号はHDRに対応したHDR信号である。グレーディング後の画像は、HDRの逆EOTFにより量子化され、当該画像の輝度値に対応するコード値が決定する。このコード値に基づいて画像符号化などが行われ、ビデオのストリームが生成される。再生時には、ストリームの復号結果に対して、HDRのEOTFに基づいて逆量子化することによりリニアな信号に変換され、画素毎の輝度値が復元される。以下、HDRの逆EOTFを用いた量子化を「逆HDRのEOTF変換」という。HDRのEOTFを用いた逆量子化を「HDRのEOTF変換」という。同様に、SDRの逆EOTFを用いた量子化を「逆SDRのEOTF変換」という。SDRのEOTFを用いた逆量子化を「SDRのEOTF変換」という。
[1−10.疑似HDRの必要性]
次に、疑似HDRの必要性について図10A〜図10Cを用いて説明する。
図10Aは、HDRTV内で、HDR信号を変換してHDR表示を行う表示処理の一例を示す図である。
図10Aに示すように、HDR映像を表示する場合、表示装置がHDRTVであっても、HDRの輝度範囲の最大値(ピーク輝度(HPL(HDR Peak Luminance):例1500nit))をそのまま表示することができない場合がある。この場合、HDRのEOTFを用いた逆量子化を行った後のリニアな信号を、その表示装置の輝度範囲の最大値(ピーク輝度(DPL(Display Peak Iuminance):例750nit))に合わせるための輝度変換を行う。そして、輝度変換を行うことで得られた映像信号を表示装置に入力することで、その表示装置の限界である最大値の輝度範囲に合わせたHDR映像を表示することができる。
図10Bは、HDR対応の再生装置とSDRTVとを用いて、HDR表示を行う表示処理の一例を示す図である。
図10Bに示すように、HDR映像を表示する場合、表示装置がSDRTVであれば、表示するSDRTVの輝度範囲の最大値(ピーク輝度(DPL:例300nit))が100nitを超えることを利用して、図10BのHDR対応の再生装置(Blu−ray機器)内の「HDR→疑似HDR変換処理」で、HDRTV内で行っている、「HDRのEOTF変換」とSDRTVの輝度範囲の最大値であるDPL(例:300nit)を使った「輝度変換」を行い、「輝度変換」を行うことで得られた信号をSDRTVの「表示装置」に直接入力できれば、SDRTVを使っても、HDRTVと同じ効果を実現することができる。
しかしながら、SDRTVには、このような信号を、外部から直接入力するための手段が無いため、実現できない。
図10Cは、標準インターフェースを介して互いに接続したHDR対応の再生装置とSDRTVと用いて、HDR表示を行う表示処理の一例を示す図である。
図10Cに示すように、通常、SDRTVが備える入力インターフェース(HDMI(登録商標、以下同様)等)を使って、図10Bの効果を得られるような信号をSDRTVに入力する必要がある。SDRTVでは、入力インターフェースを介して入力した信号は、「SDRのEOTF変換」と「モード毎の輝度変換」と「表示装置」を順に通過し、その表示装置の最大値の輝度範囲に合わせた映像を表示する。このため、HDR対応のBlu−ray機器内で、SDRTVで入力インターフェースの直後に通過する、「SDRのEOTF変換」と「モード毎の輝度変換」とをキャンセルできるような信号(疑似HDR信号)を生成する。つまり、HDR対応のBlu−ray機器内で、「HDRのEOTF変換」とSDRTVのピーク輝度(DPL)を使った「輝度変換」との直後に、「モード毎の逆輝度変換」と「逆SDRのEOTF変換」とを行うことで、「輝度変換」直後の信号を「表示装置」に入力した場合(図10Cの破線矢印)と同じ効果を疑似的実現する。
[1−11.変換装置および表示装置]
図11は、実施の形態の変換装置および表示装置の構成を示すブロック図である。図12は、実施の形態の変換装置および表示装置により行われる変換方法および表示方法を示すフローチャートである。
図11に示すように、変換装置100は、HDRのEOTF変換部101、輝度変換部102、逆輝度変換部103、および逆SDRのEOTF変換部104を備える。また、表示装置200は、表示設定部201、SDRのEOTF変換部202、輝度変換部203、および表示部204を備える。
変換装置100および表示装置200の各構成要素についての詳細な説明は、変換方法および表示方法の説明において行う。
以下、HDRの輝度範囲(0〜HPL〔nit〕)を「第1輝度範囲」と示す。ディスプレイの輝度範囲(0〜DPL〔nit〕)を「第2輝度範囲」と示す。SDRの輝度範囲(0〜100〔nit〕)を「第3輝度範囲」と示す。
[1−12.変換方法および表示方法]
変換装置100が行う変換方法について、図12を用いて説明する。なお、変換方法は、以下で説明するステップS101〜ステップS104を含む。
まず、変換装置100のHDRのEOTF変換部101は、逆HDRのEOTF変換が行われたHDR映像を取得する。変換装置100のHDRのEOTF変換部101は、取得したHDR映像のHDR信号に対して、HDRのEOTF変換を実施する(S101)。これにより、HDRのEOTF変換部101は、取得したHDR信号を、輝度値を示すリニアな信号に変換する。HDRのEOTFは、例えばSMPTE 2084がある。
次に、変換装置100の輝度変換部102は、HDRのEOTF変換部101により変換されたリニアな信号を、ディスプレイ特性情報とコンテンツ輝度情報とを用いて変換する第1輝度変換を行う(S102)。第1輝度変換において、第1輝度範囲であるHDRの輝度範囲に対応した輝度値(以下、「HDRの輝度値」という。)を、第2輝度範囲であるディスプレイの輝度範囲に対応した輝度値(以下、「ディスプレイ輝度値」という。)に変換する。詳細は後述する。
上記のことから、HDRのEOTF変換部101は、映像の輝度値が量子化されることで得られたコード値を示す第1輝度信号としてのHDR信号を取得する取得部として機能する。また、HDRのEOTF変換部101および輝度変換部102は、取得部により取得されたHDR信号が示すコード値を、ディスプレイ(表示装置200)の輝度範囲に基づいて決定する、HDRの輝度範囲の最大値(HPL)よりも小さく、かつ、100nitよりも大きい最大値(DPL)であるディスプレイの輝度範囲に対応するディスプレイ輝度値へ変換する変換部として機能する。
より具体的には、HDRのEOTF変換部101は、ステップS101において、取得したHDR信号と、HDRのEOTFとを用いて、取得したHDR信号が示す第1コード値としてのHDRのコード値について、HDRのコード値にHDRのEOTFにおいて関係付けられたHDRの輝度値を決定する。なお、HDR信号は、HDRの輝度範囲における輝度値と、複数のHDRのコード値とを関係付けたHDRの逆EOTFを用いて、映像(コンテンツ)の輝度値が量子化されることで得られたHDRのコード値を示す。
また、輝度変換部102は、ステップS102において、ステップS101で決定したHDRの輝度値について、当該HDRの輝度値に予め関係付けられた、ディスプレイの輝度範囲に対応するディスプレイ輝度値を決定し、HDRの輝度範囲に対応するHDRの輝度値を、ディスプレイの輝度範囲に対応するディスプレイ輝度値へ変換する第1輝度変換を行う。
また、変換装置100は、ステップS102の前に、映像(コンテンツ)の輝度の最大値(CPL:Content Peak luminance)および映像の平均輝度値(CAL:Content Average luminance)の少なくとも一方を含むコンテンツ輝度情報をHDR信号に関する情報として取得している。CPL(第1最大輝度値)は、例えば、HDR映像を構成する複数の画像に対する輝度値のうちの最大値である。また、CALは、例えば、HDR映像を構成する複数の画像に対する輝度値の平均である平均輝度値である。
また、変換装置100は、ステップS102の前に、表示装置200から表示装置200のディスプレイ特性情報を取得している。なお、ディスプレイ特性情報とは、表示装置200が表示できる輝度の最大値(DPL)、表示装置200の表示モード(後述参照)、入出力特性(表示装置が対応するEOTF)などの表示装置200の表示特性を示す情報である。
また、変換装置100は、推奨表示設定情報(後述参照、以下、「設定情報」ともいう。)を表示装置200に送信してもよい。
次に、変換装置100の逆輝度変換部103は、表示装置200の表示モードに応じた逆輝度変換を行う。これにより、逆輝度変換部103は、第2輝度範囲であるディスプレイの輝度範囲に対応した輝度値を、第3輝度範囲であるSDRの輝度範囲に対応する輝度値に変換する第2輝度変換を行う(S103)。詳細は後述する。つまり、逆輝度変換部103は、ステップS102で得られたディスプレイ輝度値について、当該ディスプレイ輝度値に予め関係付けられた、100nitを最大値とするSDRの輝度範囲に対応する第3輝度値としてのSDRに対応した輝度値(以下、「SDRの輝度値」という。)SDRの輝度値を決定し、ディスプレイの輝度範囲に対応するディスプレイ輝度値を、SDRの輝度範囲に対応するSDRの輝度値へ変換する第2輝度変換を行う。
そして、変換装置100の逆SDRのEOTF変換部104は、逆SDRのEOTF変換を行うことで、疑似HDR映像を生成する(S104)。つまり、逆SDRのEOTF変換部104は、HDRの輝度範囲における輝度値と、複数の第3コード値とを関係付けた第3関係情報であるSDR(Standard Dynamic Range)の逆EOTF(Electro−Optical Transfer Function)を用いて、決定したSDRの輝度値を量子化し、量子化により得られた第3コード値を決定し、SDRの輝度範囲に対応するSDRの輝度値を、第3コード値を示す第3輝度信号としてのSDR信号へ変換することで、疑似HDR信号を生成する。なお、第3コード値は、SDRに対応したコード値であり、以下では、「SDRのコード値」という。つまり、SDR信号は、SDRの輝度範囲における輝度値と、複数のSDRのコード値とを関係付けたSDRの逆EOTFを用いて、映像の輝度値が量子化されることで得られたSDRのコード値で表される。そして、変換装置100は、ステップS104で生成した疑似HDR信号(SDR信号)を表示装置200へ出力する。
変換装置100は、HDR信号を逆量子化することで得られたHDRの輝度値に対して、第1輝度変換および第2輝度変換を行うことで、疑似HDRに対応したSDRの輝度値を生成し、SDRの輝度値をSDRのEOTFを用いて量子化することで、疑似HDRに対応したSDR信号を生成する。なお、SDRの輝度値は、SDRに対応した0〜100nitの輝度範囲内の数値であるが、ディスプレイの輝度範囲に基づく変換を行っているため、HDRの輝度値に対してHDRのEOTFおよびSDRのEOTFを用いた輝度変換を行うことで得られたSDRに対応した0〜100nitの輝度範囲内の輝度値とは異なる数値である。
次に、表示装置200が行う表示方法について、図12を用いて説明する。なお、表示方法は、以下で説明するステップS105〜ステップS108を含む。
まず、表示装置200の表示設定部201は、変換装置100から取得した設定情報を用いて、表示装置200の表示設定を設定する(S105)。ここで、表示装置200は、SDRTVである。設定情報は、表示装置に対して推奨する表示設定を示す情報であり、疑似HDR映像をどのようにEOTFし、どの設定で表示すれば美しい映像を表示することができるかを示す情報(つまり、表示装置200の表示設定を最適な表示設定に切り替えるための情報)である。設定情報は、例えば、表示装置における出力時のガンマカーブ特性や、リビングモード(ノーマルモード)やダイナミックモード等の表示モード、バックライト(明るさ)の数値などを含む。また、ユーザに、表示装置200の表示設定をマニュアル操作で変更することを促すようなメッセージを、表示装置200(以下、「SDRディスプレイ」ともいう)に表示してもよい。詳細は後述する。
なお、表示装置200は、ステップS105の前に、SDR信号(疑似HDR信号)と、映像の表示にあたって表示装置200に対して推奨する表示設定を示す設定情報とを取得する。
また、表示装置200は、SDR信号(疑似HDR信号)の取得を、ステップS106の前に行えばよく、ステップS105の後に行ってもよい。
次に、表示装置200のSDRのEOTF変換部202は、取得した疑似HDR信号に対し、SDRのEOTF変換を行う(S106)。つまり、SDRのEOTF変換部202は、SDR信号(疑似HDR信号)を、SDRのEOTFを用いて逆量子化を行う。これにより、SDRのEOTF変換部202は、SDR信号が示すSDRのコード値を、SDRの輝度値に変換する。
そして、表示装置200の輝度変換部203は、表示装置200に設定された表示モードに応じた輝度変換を行う。これにより、輝度変換部203は、SDRの輝度範囲(0〜100〔nit〕)に対応したSDRの輝度値を、ディスプレイの輝度範囲(0〜DPL〔nit〕)に対応したディスプレイ輝度値に変換する第3輝度変換を行う(S107)。詳細は後述する。
上記のことから、表示装置200は、ステップS106およびステップS107において、取得したSDR信号(疑似HDR信号)が示す第3コード値を、ステップS105で取得した設定情報を用いて、ディスプレイの輝度範囲(0〜DPL〔nit〕)に対応するディスプレイ輝度値へ変換する。
より具体的には、SDR信号(疑似HDR信号)からディスプレイ輝度値への変換では、ステップS106において、SDRの輝度範囲における輝度値と、複数の第3コード値とを関係付けたEOTFを用いて、取得したSDR信号が示すSDRのコード値について、SDRのコード値にSDRのEOTFで関係付けられたSDRの輝度値を決定する。
そして、ディスプレイ輝度値への変換では、ステップS107において、決定したSDRの輝度値に予め関係付けられた、ディスプレイの輝度範囲に対応するディスプレイ輝度値を決定し、SDRの輝度範囲に対応するSDRの輝度値を、ディスプレイの輝度範囲に対応するディスプレイ輝度値へ変換する第3輝度変換を行う。
最後に、表示装置200の表示部204は、変換したディスプレイ輝度値に基づいて、疑似HDR映像を表示装置200に表示する(S108)。
[1−13.第1輝度変換]
次に、ステップS102の第1輝度変換(HPL→DPL)の詳細について、図13Aを用いて説明する。図13Aは、第1輝度変換の一例について説明するための図である。
変換装置100の輝度変換部102は、ステップS101で得られたリニアな信号(HDRの輝度値)を、ディスプレイ特性情報と、HDR映像のコンテンツ輝度情報とを用いて変換する第1輝度変換を行う。第1輝度変換は、HDRの輝度値(入力輝度値)を、ディスプレイピーク輝度(DPL)を超えないディスプレイ輝度値(出力輝度値)に変換する。DPLは、ディスプレイ特性情報であるSDRディスプレイの最大輝度および表示モードを用いて決定する。表示モードは、例えば、SDRディスプレイに暗めに表示するシアターモードや、明るめに表示するダイナミックモード等のモード情報である。表示モードが、例えば、SDRディスプレイの最大輝度が1,500nitであり、かつ、表示モードが最大輝度の50%の明るさにするモードである場合、DPLは、750nitとなる。ここで、DPL(第2最大輝度値)とは、SDRディスプレイが現在設定されている表示モードにおいて表示できる輝度の最大値である。つまり、第1輝度変換では、SDRディスプレイの表示特性を示す情報であるディスプレイ特性情報を用いて、第2最大輝度値としてのDPLを決定する。
また、第1輝度変換では、コンテンツ輝度情報のうちのCALとCPLとを用い、CAL付近以下の輝度値は、変換の前後で同一とし、CPL付近以上の輝度値に対してのみ輝度値を変更する。つまり、図13Aに示すように、第1輝度変換では、当該HDRの輝度値がCAL以下の場合、当該HDRの輝度値を変換せず、当該HDRの輝度値を、ディスプレイ輝度値として決定し、当該HDRの輝度値がCPL以上の場合、第2最大輝度値としてのDPLを、ディスプレイ輝度値として決定する。
また、第1輝度変換では、輝度情報のうちのHDR映像のピーク輝度(CPL)を用い、HDRの輝度値がCPLの場合、DPLを、ディスプレイ輝度値として決定する。
なお、第1輝度変換では、図13Bのように、ステップS101で得られたリニアな信号(HDRの輝度値)を、DPLを超えない値にクリップするように変換してもよい。このような輝度変換を行うことで、変換装置100での処理を簡素化することができ、装置の縮小化、低電力化、処理の高速化が図れる。なお、図13Bは、第1輝度変換の他の一例について説明するための図である。
[1−14.第2輝度変換]
次に、ステップS103の第2輝度変換(DPL→100〔nit〕)の詳細について、図14を用いて説明する。図14は、第2輝度変換について説明するための図である。
変換装置100の逆輝度変換部103は、ステップS102の第1輝度変換で変換されたディスプレイの輝度範囲(0〜DPL〔nit〕)のディスプレイ輝度値に対し、表示モードに応じた逆輝度変換を施す。逆輝度変換は、SDRディスプレイによる表示モードに応じた輝度変換処理(ステップS107)が行われた場合に、ステップS102処理後のディスプレイの輝度範囲(0〜DPL〔nit〕)のディスプレイ輝度値を取得できるようにするための処理である。つまり、第2輝度変換は、第3輝度変換の逆輝度変換である。
上記の処理により、第2輝度変換は、第2輝度範囲であるディスプレイの輝度範囲のディスプレイ輝度値(入力輝度値)を、第3輝度範囲であるSDRの輝度範囲のSDRの輝度値(出力輝度値)に変換する。
第2輝度変換では、SDRディスプレイの表示モードによって変換式を切り替える。例えば、SDRディスプレイの表示モードがノーマルモードの場合、ディスプディスプレイ輝度値に正比例する正比例値に輝度変換する。また、第2輝度変換では、SDRディスプレイの表示モードがノーマルモードよりも高輝度画素をより明るく、かつ、低輝度画素をより暗くするダイナミックモードの場合、その逆関数を用いることで、低輝度画素のSDRの輝度値は、ディスプレイ輝度値に正比例する正比例値より高い値に、高輝度画素のSDRの輝度値は、ディスプレイ輝度値に正比例する正比例値より低い値に輝度変換する。つまり、第2輝度変換では、ステップS102において決定したディスプレイ輝度値について、SDRディスプレイの表示特性を示す情報であるディスプレイ特性情報に応じた輝度関係情報を用いて、当該ディスプレイ輝度値に関係付けられた輝度値をSDRの輝度値として決定し、ディスプレイ特性情報に応じて輝度変換処理を切り替える。ここで、ディスプレイ特性情報に応じた輝度関係情報とは、例えば図14に示すような、SDRディスプレイの表示パラメータ(表示モード)毎に定められた、ディスプレイ輝度値(入力輝度値)と、SDRの輝度値(出力輝度値)とを関係付けた情報である。
[1−15.表示設定]
次に、ステップS105の表示設定の詳細について、図15を用いて説明する。図15は、表示設定の詳細な処理を示すフローチャートである。
SDRディスプレイの表示設定部201は、ステップS105において、下記のステップS201〜ステップS208の処理を行う。
まず、表示設定部201は、設定情報を用いて、SDRディスプレイに設定されているEOTF(SDRディスプレイ用EOTF)が、疑似HDR映像(SDR信号)の生成時に想定したEOTFと整合しているかどうかを判定する(S201)。
表示設定部201は、SDRディスプレイに設定されているEOTFが、設定情報が示すEOTF(疑似HDR映像に整合するEOTF)と異なっていると判定した場合(S201でYes)、SDRディスプレイ用EOTFをシステム側で切り替え可能かを判定する(S202)。
表示設定部201は、切り替え可能であると判定した場合、設定情報を用いて、SDRディスプレイ用EOTFを適切なEOTFに切り替える(S203)。
ステップS201〜ステップS203から、表示設定の設定(S105)では、SDRディスプレイに設定されているEOTFを、取得した設定情報に応じた推奨EOTFに設定する。また、これにより、ステップS105の後に行われるステップS106では、推奨EOTFを用いて、SDRの輝度値を決定することができる。
システム側で切り替え可能でないと判定した場合(S202でNo)、EOTFをユーザがマニュアル操作で変更することを促すメッセージを画面に表示する(S204)。例えば、「表示ガンマを2.4に設定して下さい」というメッセージを画面に表示する。つまり、表示設定部201は、表示設定の設定(S105)において、SDRディスプレイに設定されているEOTFを切り替えできない場合、SDRディスプレイに設定されているEOTF(SDRディスプレイ用EOTF)を、推奨EOTFに切り替えることをユーザに促すためのメッセージを、SDRディスプレイに表示する。
次に、SDRディスプレイでは、疑似HDR映像(SDR信号)を表示するが、表示の前に設定情報を用いてSDRディスプレイの表示パラメータが設定情報に合っているかを判定する(S205)。
表示設定部201は、SDRディスプレイに設定されている表示パラメータが、設定情報とは異なっていると判定した場合(S205でYes)、SDRディスプレイの表示パラメータを、切り替え可能かを判定する(S206)。
表示設定部201は、SDRディスプレイの表示パラメータを切り替え可能であると判定した場合(S206でYes)、設定情報に合わせて、SDRディスプレイの表示パラメータを切り替える(S207)。
ステップS204〜ステップS207から、表示設定の設定(S105)では、SDRディスプレイに設定されている表示パラメータを、取得した設定情報に応じた推奨表示パラメータに設定する。
システム側で切り替え可能でないと判定した場合(S206でNo)、SDRディスプレイに設定されている表示パラメータをユーザがマニュアル操作で変更することを促すメッセージを画面に表示する(S208)。例えば、「表示モードをダイナミックモードにし、バックライトを最大にして下さい」というメッセージを画面に表示する。つまり、設定(S105)では、SDRディスプレイに設定されている表示パラメータを切り替えできない場合、SDRディスプレイに設定されている表示パラメータを、推奨表示パラメータに切り替えることをユーザに促すためのメッセージを、SDRディスプレイに表示する。
[1−16.第3輝度変換]
次に、ステップS107の第3輝度変換(100→DPL〔nit〕)の詳細について、図16を用いて説明する。図16は、第3輝度変換について説明するための図である。
表示装置200の輝度変換部203は、SDRの輝度範囲(0〜100〔nit〕)のSDRの輝度値をステップS105で設定された表示モードに応じて(0〜DPL〔nit〕)に変換する。本処理はS103のモード毎の逆輝度変換の逆関数となるように処理する。
第3輝度変換では、SDRディスプレイの表示モードによって変換式を切り替える。例えば、SDRディスプレイの表示モードがノーマルモードの場合(つまり、設定された表示パラメータがノーマルモードに対応したパラメータである場合)、ディスプレイ輝度値は、SDRの輝度値に正比例する正比例値に輝度変換する。また、第3輝度変換では、SDRディスプレイの表示モードがノーマルモードよりも高輝度画素をより明るく、かつ、低輝度画素をより暗くするダイナミックモードの場合、低輝度画素のディスプレイ輝度値は、SDRの輝度値に正比例する正比例値より低い値に、高輝度画素のディスプレイ輝度値は、SDRの輝度値に正比例する正比例値より高い値に輝度変換する。つまり、第3輝度変換では、ステップS106において決定したSDRの輝度値について、SDRディスプレイの表示設定を示す表示パラメータに応じた輝度関係情報を用いて、当該SDRの輝度値に予め関係付けられた輝度値をディスプレイ輝度値として決定し、表示パラメータに応じて輝度変換処理を切り替える。ここで、表示パラメータに応じた輝度関係情報とは、例えば図16に示すような、SDRディスプレイの表示パラメータ(表示モード)毎に定められた、SDRの輝度値(入力輝度値)と、ディスプレイ輝度値(出力輝度値)とを関係付けた情報である。
[1−17.効果等]
通常のSDRTVは入力信号が100nitであるが、視聴環境(暗い室:シネマモード、明るい部屋:ダイナミックモード等)に合わせて200nit以上の映像表現が可能な能力を持つ。しかし、SDRTVへの入力信号の輝度上限が100nitに決められていたため、その能力を直接つかうことはできなかった。
HDR映像をSDRTVで表示する場合において、表示するSDRTVのピーク輝度が100nitを超える(通常200nit以上)ことを利用して、HDR映像を100nit以下のSDR映像に変換するのではなく、100nitを超える輝度範囲の階調をある程度保つように、「HDR→疑似HDR変換処理」を行っている。このため、元のHDRに近い疑似HDR映像としてSDRTVに表示させることができる。
この「HDR→疑似HDR変換処理」技術をBlu−rayに応用した場合は、図17に示すように、HDRディスクにはHDR信号のみを格納し、Blu−ray機器にSDRTVを接続した場合、Blu−ray機器が、「HDR→疑似HDR変換処理」を行い、HDR信号を疑似HDR信号に変換してSDRTVに送る。これにより、SDRTVは、受信した疑似HDR信号から輝度値に変換することで、疑似的なHDR効果を持った映像を表示させることができる。このように、HDR対応TVが無い場合でも、HDR対応のBDとHDR対応のBlu−ray機器を用意すれば、SDRTVであっても、SDR映像よりも高画質な疑似HDR映像を表示させることができる。
従って、HDR映像を見るためにはHDR対応TVが必要と考えられていたが、HDR的な効果を実感できる疑似HDR映像を、既存のSDRTVで見ることができる。これにより、HDR対応Blu−rayの普及が期待できる。
放送、Blu−ray等のパッケージメディア、OTT等のインターネット配信により送られてきたHDR信号を、HDR−疑似HDR変換処理を行うことで、疑似HDR信号に変換する。これにより、HDR信号を疑似HDR映像として既存のSDRTVで表示することが可能となる。
(他の実施の形態)
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
そこで、以下では、他の実施の形態を例示する。
HDR映像は、例えばBlu−rayディスク、DVD、インターネットの動画配信サイト、放送、HDD内の映像である。
変換装置100(HDR→疑似HDR変換処理部)は、ディスクプレイヤー、ディスクレコーダ、セットトップボックス、テレビ、パソコン、スマートフォンの内部に存在していてもよい。変換装置100は、インターネット内のサーバ装置の内部に存在していてもよい。
表示装置200(SDR表示部)は、例えばテレビ、パソコン、スマートフォンである。
変換装置100が取得するディスプレイ特性情報は、表示装置200からHDMIや他の通信プトロコルを用いてHDMIケーブルやLANケーブルを介して取得してもよい。変換装置100が取得するディスプレイ特性情報は、インターネットを介して表示装置200の機種情報等に含まれるディスプレイ特性情報を取得してもよい。また、ユーザがマニュアル操作を行い、ディスプレイ特性情報を、変換装置100に設定してもよい。また、変換装置100のディスプレイ特性情報の取得は、疑似HDR映像生成(ステップS101〜S104)時の直前でもよいし、機器の初期設定時やディスプレイ接続時のタイミングでもよい。例えば、ディスプレイ特性情報の取得は、ディスプレイ輝度値への変換の直前に行ってもよいし、変換装置100がHDMIケーブルで最初に表示装置200に接続したタイミングで行ってもよい。
また、HDR映像のCPLやCALは、コンテンツ1つに対して1つでもよいし、シーン毎に存在していてもよい。つまり、変換方法では、映像の複数のシーンのそれぞれに対応した輝度情報であって、当該シーン毎に、当該シーンを構成する複数の画像に対する輝度値のうちの最大値である第1最大輝度値と、当該シーンを構成する複数の画像に対する輝度値の平均である平均輝度値との少なくとも一方を含む輝度情報(CPL、CAL)を取得し、第1輝度変換では、複数のシーンのそれぞれについて、当該シーンに対応した輝度情報に応じてディスプレイ輝度値を決定してもよい。
また、CPLおよびCALは、HDR映像と同じ媒体(Blu−rayディスク、DVD等)に同梱していてもよいし、変換装置100がインターネットから取得する等、HDR映像とは別の場所から取得してもよい。つまり、CPLおよびCALの少なくとも一方を含む輝度情報を映像のメタ情報として取得してもよいし、ネットワーク経由で取得してもよい。
また、変換装置100の第1輝度変換(HPL→DPL)において、CPL、CAL、およびディスプレイピーク輝度(DPL)は使用せずに、固定値を用いてもよい。また、その固定値を外部から変更可能にしてもよい。また、CPL、CAL、およびDPLは、数種類で切り替えるようにしてもよく、例えば、DPLは200nit、400nit、800nitの3種類のみとするようにしてもよいし、ディスプレイ特性情報に最も近い値を使用するようにしてもよい。
また、HDRのEOTFはSMPTE 2084でなくてもよく、他の種類のHDRのEOTFを用いてもよい。また、HDR映像の最大輝度(HPL)は10,000nitでなくてもよく、例えば4,000nitや1,000nitでもよい。
また、コード値のビット幅は、例えば16,14,12,10,8bitでもよい。
また、逆SDRのEOTF変換は、ディスプレイ特性情報から決定するが、(外部からも変更可能な)固定の変換関数を用いてもよい。逆SDRのEOTF変換は、例えばRec. ITU−R BT.1886で規定されている関数を用いてもよい。また、逆SDRのEOTF変換の種類を数種類に絞り、表示装置200の入出力特性に最も近いものを選択して使用するようにしてもよい。
また、表示モードは、固定のモードを使うようにしてもよく、ディスプレイ特性情報の中に含めなくてもよい。
また、変換装置100は、設定情報を送信しなくてもよく、表示装置200では固定の表示設定としてもよいし、表示設定を変更しなくてもよい。この場合、表示設定部201は不要となる。また、設定情報は、疑似HDR映像かどうかのフラグ情報でもよく、例えば、疑似HDR映像である場合は最も明るく表示する設定に変更するようにしてもよい。つまり、表示設定の設定(S105)では、取得した設定情報が、DPLを用いて変換された疑似HDR映像を示す信号であることを示す場合、表示装置200の明るさ設定を最も明るく表示する設定に切り替えてもよい。
また、変換装置100の第1輝度変換(HPL→DPL)は例えば次の算式で変換する。
ここで、Lは、0〜1に正規化された輝度値を示し、S1、S2、a、b、MはCAL、CPL、およびDPLに基づいて設定する値である。lnは自然対数である。Vは0〜1に正規化された変換後の輝度値である。図13Aの例のように、CALを300nitとし、CPLを2,000nitとし、DPLを750nitとし、CAL + 50nitまでは変換しないとし、350nit以上に対して変換する場合、それぞれの値は例えば次のような値となる。
S1 = 350/10000
S2 = 2000/10000
M = 750/10000
a = 0.023
b = S1 - a*ln(S1) = 0.112105
つまり、第1輝度変換では、SDRの輝度値が、平均輝度値(CAL)と第1最大輝度値(CPL)との間である場合、自然対数を用いて、当該HDRの輝度値に対応するディスプレイ輝度値を決定する。
HDR映像のコンテンツピーク輝度やコンテンツ平均輝度等の情報を用いてHDR映像を変換することにより、コンテンツに応じて変換式を変えることができ、HDRの階調をなるべく保つように変換することが可能となる。また、暗すぎる、明るすぎるといった悪影響を抑制することができる。具体的には、HDR映像のコンテンツピーク輝度をディスプレイピーク輝度にマッピングすることにより、階調をなるべく保つようにしている。また、平均輝度付近以下の画素値を変えないことにより、全体的な明るさが変わらないようにしている。
また、SDRディスプレイのピーク輝度値および表示モードを用いてHDR映像を変換することにより、SDRディスプレイの表示環境に応じて変換式を変えることができ、SDRディスプレイの性能に合わせて、HDR感のある映像(疑似HDR映像)を、元のHDR映像と同様の階調や明るさで表示することができる。具体的には、SDRディスプレイの最大輝度および表示モードによってディスプレイピーク輝度を決定し、そのピーク輝度値を超えないようにHDR映像を変換することにより、SDRディスプレイで表示可能な明るさまではHDR映像の階調をほとんど減らさずに表示し、表示不可能な明るさは表示可能な明るさまで輝度値を下げている。
以上により、表示不可能な明るさ情報を削減し、表示可能な明るさの諧調を落とさず、元のHDR映像に近い形で表示することが可能となる。例えば、ピーク輝度1,000nitのディスプレイ用には、ピーク輝度1,000nitに抑えた疑似HDR映像に変換することにより、全体的な明るさを維持し、ディスプレイの表示モードによって輝度値は変わる。このため、ディスプレイの表示モードに応じて、輝度の変換式を変更するようにしている。もし、ディスプレイのピーク輝度よりも大きな輝度を疑似HDR映像で許容すると、その大きな輝度をディスプレイ側でのピーク輝度に置き換えて表示する場合があり、その場合は元のHDR映像よりも全体的に暗くなる。逆にディスプレイのピーク輝度よりも小さな輝度を最大輝度として変換すると、その小さな輝度をディスプレイ側でのピーク輝度に置き換え、元のHDR映像よりも全体的に明るくなる。しかもディスプレイ側のピーク輝度よりも小さいためにディスプレイの諧調に関する性能を最大限使っていないことになる。
また、ディスプレイ側では、設定情報を用いて表示設定を切り替えることにより、疑似HDR映像をよりよく表示することが可能となる。例えば、明るさを暗く設定している場合には高輝度表示ができないため、HDR感が損なわれる。その場合には表示設定を変更するもしくは、変更してもらうよう促すメッセージを表示することにより、ディスプレイの性能を最大限引出し、高階調な映像を表示できるようにする。
Blu−rayなどのコンテンツにおいては、ビデオ信号と字幕やメニューなどのグラフィックス信号は独立のデータとして多重化される。再生時には、それぞれを個別に復号し、復号結果を合成して表示する。具体的には、ビデオのプレーンの上に、字幕やメニューのプレーンが重畳される。
ここで、ビデオ信号がHDRであっても、字幕やメニューなどのグラフィックス信号はSDRとなることがある。ビデオ信号のHPL→DPL変換においては、下記の(a)および(b)の2通りの変換が可能である。
(a)グラフィックスの合成後にHPL→DPL変換を実施する場合
1. グラフィックスのEOTFをSDRのEOTFからHDRのEOTFに変換する。
2. EOTF変換後のグラフィックスをビデオと合成する。
3. 合成結果に対して、HPL→DPL変換を実施する。
(b)グラフィックスの合成前にHPL→DPL変換を実施する場合
1. グラフィックスのEOTFをSDRのEOTFからHDRのEOTFに変換する。
2. ビデオに対してHPL→DPL変換を実施する。
3. EOTF変換後のグラフィックスとDPL変換後のビデオとを合成する。
なお、(b)の場合1と2の順番は入れ替わってもよい。
(a)および(b)のいずれの方式においても、グラフィックスのピーク輝度は100nitとなるが、例えば、DPLが1000nitのような高輝度である場合には、グラフィックスの輝度が100nitのままでは、HPL→DPL変換後のビデオに対して、グラフィックスの輝度が低下することがある。特に、ビデオに重畳される字幕が暗くなるなどの弊害が想定される。従って、グラフィックスについても、DPLの値に応じて、輝度を変換してもよい。例えば、字幕の輝度については、DPL値の何%の値に設定するなどを予め規定し、設定値に基づいて変換してもよい。メニューなどの字幕以外のグラフィックスについても同様に処理することができる。
以上では、HDR信号のみが格納されたHDRディスクの再生動作について説明した。
次に、図6BのCase2において示した、HDR信号とSDR信号との両方が格納されたデュアルディスクに格納される多重化データについて図18を用いて説明する。図18は、デュアルディスクに格納される多重化データについて説明するための図である。
デュアルディスクでは、図18に示すように、HDR信号とSDR信号とがそれぞれ異なる多重化ストリームとして格納される。例えば、Blu−rayなどの光ディスクにおいては、M2TSと呼ばれるMPEG−2 TSベースの多重化方式により、ビデオやオーディオ、字幕、グラフィックスなど複数メディアのデータが1本の多重化ストリームとして格納される。これらの多重化ストリームは、プレイリストなどの再生制御用のメタデータから参照され、再生時にはプレーヤがメタデータを解析することで再生する多重化ストリーム、あるいは、多重化ストリームに格納される個別の言語のデータを選択する。本例では、HDR用とSDR用とのプレイリストを個別に格納し、それぞれのプレイリストがHDR信号、あるいは、SDR信号を参照するケースを示す。また、HDR信号とSDR信号の両方が格納されていることを示す識別情報などを別途示しても良い。
同一の多重化ストリームにHDR信号とSDR信号との両方を多重化することも可能であるが、MPEG−2 TSにおいて規定されるT−STD(System Target Decoder)などのバッファモデルを満たすように多重化する必要があり、特に、予め定められたデータの読み出しレートの範囲内で、ビットレートの高いビデオを2本多重化するのは困難である。このため、多重化ストリームを分離することが望ましい。
オーディオ、字幕、あるいはグラフィックスなどのデータは、それぞれの多重化ストリームに対して格納する必要があり、1本に多重化する場合に比べてデータ量が増加する。ただし、データ量の増加は、圧縮率の高いビデオ符号化方式を用いてビデオのデータ量を削減することができる。例えば、従来のBlu−rayにおいて使用していたMPEG−4 AVCを、HEVC(High Efficiency Video Coding)に変えることで、1.6〜2倍の圧縮率向上が見込まれる。また、デュアルディスクに格納するのは、2KのHDRとSDRとの組み合わせ、4KのSDRと2KのHDRとの組み合わせなど、2Kを2本、あるいは、2Kと4Kとの組合せとするなど、4Kを2本格納することは禁止することにより、光ディスクの容量に収まる組合せのみを許容してもよい。
図19は、デュアルディスクの再生動作を示すフローチャートである。
まず、再生装置は、再生対象の光ディスクがデュアルディスクであるかどうかを判定する(S301)。そして、デュアルディスクであると判定した場合(S301でYes)、出力先のTVがHDRTVかSDRTVであるかを判定する(S302)。HDRTVであると判定した場合(S302でYes)にはステップS303に進み、SDRTVであると判定した場合(S302でNo)にはステップS304に進む。ステップS303では、デュアルディスク内のHDR信号を含む多重化ストリームからHDRのビデオ信号を取得して、復号し、HDRTVに対して出力する。ステップS304では、デュアルディスク内のSDR信号を含む多重化ストリームからSDRのビデオ信号を取得して、復号し、SDRTVに対して出力する。なお、ステップS301において再生対象がデュアルディスクでないと判定された場合(S301でNo)には、所定の方法により再生可否の判定を行い、判定結果に基づいて再生方法を決定する(S305)。
本開示の変換方法では、HDR映像をSDRTVで表示する場合において、表示するSDRTVのピーク輝度が100nitを超える(通常200nit以上)ことを利用して、HDR映像を100nit以下のSDR映像に変換するのではなく、100nitを超える領域の階調をある程度保つよう変換し、元のHDRに近い疑似HDR映像に変換してSDRTVに表示させることができる「HDR→疑似HDR変換処理」を実現する。
また、変換方法では、SDRTVのディスプレイ特性(最高輝度、入出力特性、および表示モード)によって「HDR→疑似HDR変換処理」の変換方法を切り替えてもよい。
ディスプレイ特性情報の取得方法としては、(1)HDMIやネットワークを通して自動取得すること、(2)ユーザにメーカー名、品番等の情報入力させることで生成すること、および(3)メーカー名や品番等の情報を使ってクラウド等から取得することが考えられる。
また、変換装置100のディスプレイ特性情報の取得タイミングとしては、(1)疑似HDR変換する直前に取得すること、および(2)表示装置200(SDRTV等)と初めて接続する時(接続が確立した時)に取得することが考えられる。
また、変換方法では、HDR映像の輝度情報(CAL、CPL)によって変換方法を切り替えてもよい。
例えば、変換装置100のHDR映像の輝度情報の取得方法としては、(1)HDR映像に付随したメタ情報として取得すること、(2)ユーザにコンテンツのタイトル情報を入力させることで取得すること、および(3)ユーザに有力させた入力情報を使ってクラウド等から取得すること等が考えられる。
また、変換方法の詳細としては、(1)DPLを超えないように変換し、(2)CPLがDPLになるように変換し、(3)CALおよびその周辺以下の輝度は変更せず、(4)自然対数を用いて変換し、(5)DPLでクリップ処理をする。
また、変換方法では、疑似HDRの効果を高めるために、SDRTVの表示モード、表示パラメータなどの表示設定を、表示装置200に送信して切り替えることも可能であり、例えば、ユーザに表示設定を促すメッセージを画面に表示してもよい。
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
以上、本開示の一つまたは複数の態様に係る表示方法および表示装置について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、異なる実施の形態における構成要素を組み合わせて構築される形態なども、本開示の一つまたは複数の態様の範囲内に含まれてもよい。