本開示の一態様に係るデータ再生方法は、第1輝度範囲の映像にグラフィックスを重畳して表示するデータ再生方法であって、再生装置が、前記第1輝度範囲より狭い第2輝度範囲の第1グラフィックスを前記第1輝度範囲の第2グラフィックスに変換する機能を有するか否かを判定し、前記再生装置が前記機能を有する場合、前記再生装置により、前記第1グラフィックスを前記第2グラフィックスに変換し、前記映像に前記第2グラフィックスを重畳して表示し、前記再生装置が前記機能を有さない場合、前記映像に前記第2グラフィックスと異なる第3グラフィックスを重畳して表示する。
これによれば、当該データ再生方法は、再生装置が、グラフィックスの輝度範囲を変更刷る機能を有するか否かに応じて、異なる動作を行うことができる。これにより、当該データ再生方法は、再生装置の機能に応じた適切な動作を行える。
例えば、前記再生装置が前記機能を有さない場合、前記第1輝度範囲用の色変換テーブルを用いて前記第3グラフィックスを生成してもよい。
これによれば、グラフィックス映像が視認しにくくなることを抑制できる。
例えば、前記第3グラフィックスは、前記第1グラフィックスであってもよい。
例えば、前記判定では、前記再生装置が再生制御プログラムを実行することで、前記再生装置が前記機能を有するか否かを判定してもよい。
例えば、前記判定では、前記再生制御プログラムが、前記再生装置が前記機能を有するか否かを示す情報が格納されているレジスタを確認することで、前記再生装置が前記機能を有するか否かを判定してもよい。
また、本開示の一態様に係る再生装置は、第1輝度範囲の映像にグラフィックスを重畳して表示する再生装置であって、前記再生装置が、前記第1輝度範囲より狭い第2輝度範囲の第1グラフィックスを前記第1輝度範囲の第2グラフィックスに変換する機能を有するか否かを判定する判定部と、前記再生装置が前記機能を有する場合、前記第1グラフィックスを前記第2グラフィックスに変換する変換部と、前記再生装置が前記機能を有する場合、前記映像に前記第2グラフィックスを重畳して表示し、前記再生装置が前記機能を有さない場合、前記映像に前記第2グラフィックスと異なる第3グラフィックスを重畳して表示する表示部とを備える。
これによれば、当該再生装置は、当該再生装置が、グラフィックスの輝度範囲を変更刷る機能を有するか否かに応じて、異なる動作を行うことができる。これにより、当該再生装置は、当該再生装置の機能に応じた適切な動作を行える。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
また、上記特徴に関しては、主に、[5−3.再生装置の動作]において説明する。
また、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素。構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
以下、添付の図面を参照して、本開示の一態様に係る再生方法および再生装置について、具体的に説明する。
なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素。構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
(実施の形態1)
本開示は、輝度範囲が高い高輝度信号であるHDR(High Dynamic Range)信号を、最大輝度値が100nitである輝度範囲の通常輝度信号であるSDR(Standard Dynamic Range)信号に対応したTV、プロジェクタ、タブレット、スマートフォン等のディスプレイ装置で表示させるための画像変換・再生方法、装置に関する。
[1−1.背景]
まず、映像技術の変遷について、図1を用いて説明する。図1は、映像技術の進化について説明するための図である。
これまで、映像の高画質化としては、表示画素数の拡大に主眼がおかれ、Standard Definition(SD)の720×480画素の映像から、High Definition(HD)の1920×1080画素の、所謂2K映像が普及している。
近年、映像の更なる高画質化を目指して、Ultra High Definition(UHD)の3840×1920画素、あるいは、4Kの4096×1920画素の、所謂4K映像の導入が開始された。
そして、4Kの導入による映像の高解像度化を行うと共に、ダイナミックレンジ拡張や色域の拡大、あるいは、フレームレートの追加、向上などを行うことで映像を高画質化することが検討されている。
その中でも、ダイナミックレンジについては、従来の映像における暗部階調を維持しつつ、現行のTV信号では表現不能な鏡面反射光などの明るい光を、より現実に近い明るさで表現するために最大輝度値を拡大した輝度範囲に対応させた方式として、HDR(High Dynamic Range)が注目されている。具体的には、これまでのTV信号が対応している輝度範囲の方式は、SDR(Standard Dynamic Range)と呼ばれ、最大輝度値が100nitであったのに対して、HDRでは1000nit以上まで最大輝度値を拡大することが想定されている。HDRは、SMPTE(Society of Motion Picture & Television Engineers)やITU−R(International Telecommunications Union Radiocommunications Sector)などにおいて、標準化が進行中である。
HDRの具体的な適用先としては、HDやUHDと同様に、放送やパッケージメディア(Blu−ray Disc等)、インターネット配信などで使われることが想定されている。
なお、以下では、HDRに対応した映像において、当該映像の輝度は、HDRの輝度範囲の輝度値からなり、当該映像の輝度値が量子化されることで得られた輝度信号をHDR信号と呼ぶ。SDRに対応した映像において、当該映像の輝度は、SDRの輝度範囲の輝度値からなり、当該映像の輝度値が量子化されることで得られた輝度信号をSDR信号と呼ぶ。
[1−2.EOTFについて]
ここで、EOTFについて、図2を用いて説明する。
図2は、HDRおよびSDRのそれぞれに対応したEOTF(Electro−Optical Transfer Function)の例について示す図である。
EOTFは、一般的にガンマカーブと呼ばれるものであり、輝度値とコード値との対応を示し、輝度値を量子化してコード値に変換するものである。つまり、EOTFは、輝度値と複数のコード値との対応関係を示す関係情報である。例えば、SDRに対応した映像の輝度値を8ビットの階調のコード値で表現する場合、100nitまでの輝度範囲における輝度値は、量子化されて、0−255の256個の整数値にマッピングされる。つまり、EOTFに基づいて量子化することで、100nitまでの輝度範囲の輝度値(SDRに対応した映像の輝度値)を、8ビットのコード値であるSDR信号に変換する。HDRに対応したEOTF(以下、「HDRのEOTF」という。」)においては、SDRに対応したEOTF(以下、「SDRのEOTF」という。)よりも高い輝度値を表現することが可能であり、例えば図2においては、輝度の最大値(ピーク輝度)は1000nitsである。つまり、HDRの輝度範囲は、SDRの輝度範囲を全て含み、HDRのピーク輝度は、SDRのピーク輝度より大きい。HDRの輝度範囲は、SDRの輝度範囲の最大値である例えば100nitから、1000nitまで、最大値を拡大した輝度範囲である。また、HDR信号は、例えば10ビットの階調で表現される。
[1−3.EOTFの使い方]
図3は、コンテンツに格納される輝度信号のコード値の決定方法、および、再生時にコード値から輝度値を復元するプロセスの説明図である。
本例における輝度を示す輝度信号はHDRに対応したHDR信号である。グレーディング後の画像は、HDRのEOTFの逆関数により量子化され、当該画像の輝度値に対応するコード値が決定される。このコード値に基づいて画像符号化などが行われ、ビデオおよびグラフィックスそれぞれのエレメンタリ・ストリームが生成される。再生時には、エレメンタリ・ストリームの復号結果に対して、HDRのEOTFに基づいて逆量子化することにより、画素毎の輝度値が復元される。
[1−4.BDのストリーム構成]
BDなどの光ディスク、あるいは、放送などにおいてHDRが使われる可能性があることを先に述べた。以下、HDRが利用される媒体の一例としてのBDについて図4を用いて説明する。
図4は、BDの制作、および、BDを再生するプレーヤについての説明図である。
図4に示すように、制作プロセスは、Blu−rayコンテンツのオーサリング、オーサリングしたBlu−rayコンテンツを格納したBDの作成などを含む。Blu−rayコンテンツには、ビデオおよびオーディオの他にも、字幕やメニューを生成するためのグラフィックスデータ、および、メニューの表示やユーザ操作におけるインタラクティビティを提供するためのシナリオデータなどが含まれる。シナリオデータには、規定のコマンドにより制御するHDMV(High Definition Movie)と呼ばれる形式と、Java(登録商標、以下同様)プログラムにより制御するBD−J(Blu−ray Disc Java)と呼ばれる形式とが存在する。オーサリングにおいては、ビデオおよびオーディオを符号化して、それらの符号化ストリームと、字幕、メニューなどを示すグラフィックスデータとをM2TS形式のトランスポートストリームに多重化すると共に、プレイリストやEPマップなどの再生制御に必要な管理情報を生成する。そして、オーサリングにより生成されたデータは、BDに格納される。
BDプレーヤでは、管理情報を参照して再生に必要なビデオおよびオーディオのエレメンタリ・ストリームと、グラフィックスデータとを分離して復号し、出力する。ここで、ビデオと、字幕、メニューなどのグラフィックスとは、互いのプレーンを合成した後に出力される。ビデオの解像度とグラフィックスの解像度とが異なる場合には、ビデオの解像度に合わせてグラフィックスをアップコンバートした後に、ビデオとグラフィックスとを合成する。
[1−5.装置の構成)]
HDRに対応したコンテンツ(映像)を再生する際には、TVなどのディスプレイは、BDプレーヤなどの再生装置からの出力信号を受信して表示する。以下、HDRに対応した映像の表示を「HDR表示」、SDRに対応した映像の表示を「SDR表示」と記載する。このとき、ディスプレイがHDR表示に対応していれば、再生装置が出力する出力信号も、HDRに対応したHDR信号のままでよい。一方、ディスプレイがHDR表示に対応していない場合には、再生装置は、出力信号をSDRに対応したSDR信号に変換して出力する。ディスプレイがHDR表示に対応していない場合とは、ディスプレイがSDR表示のみに対応している場合である。
図5Aおよび図5Bは、それぞれ、BDプレーヤ200とTV300、310とをHDMIにより接続する例であり、図5AはTV300がHDR表示に対応している場合を示し、図5BはTV310がHDR表示に対応していない場合を示す。なお、図5AにおけるBDプレーヤ200と、図5BにおけるBDプレーヤ200とでは、構成が異なるが、図5Aの場合には、後述するリマップを行わない場合を示した図であり、リマップを行う変換装置210の構成を省略して図示している。
図45では、BDプレーヤ200は、メディア100からビデオおよびグラフィックスを読み込んでデコードする。そして、BDプレーヤ200は、デコードされたビデオおよびグラフィックスのHDRデータを合成し、合成することで生成したHDR信号を、HDMIによりHDR表示対応のTV300に出力する。
一方、図5Bでは、TV310がHDR表示非対応であるため、BDプレーヤ200は、ビデオおよびグラフィックスを合成する前に、HDRのEOTFおよびSDRのEOTFを用いて、ビデオおよびグラフィックスのHDRデータのそれぞれを、SDRデータにリマップする。そして、BDプレーヤ200は、リマップされたビデオおよびグラフィックスのSDRデータを合成し、合成することで生成したSDR信号を、HDMIによりHDR表示非対応のTV310に出力する。
なお、リマップとは、第1EOTFおよび第2EOTFの2種類のEOTFが存在する際に、第1EOTFにおける第1コード値を、第2EOTFにおける第2コード値に変換する処理である。図5Bの場合、リマップは、HDRからSDRへの変換において、HDRのEOTFのコード値を、SDRのEOTFのコード値に変換する処理である。
つまり、図5Bの場合、BDプレーヤ200は、第1輝度範囲(HDR)に対応する第1輝度信号(HDR信号)を取得する取得部と、HDRのEOTFと、SDRのEOTFとを用いて、取得部により取得された第1輝度信号が示すコード値から、第2輝度範囲(SDR)に対する量子化により対応付けられたコード値を変換後コード値として決定し、第1輝度信号を、変換後コード値を示す第2輝度信号へ変換する変換部とを備える変換装置210を含む。より具体的には、変換部は、第2輝度信号への変換において、第1EOTFと、第2EOTFとを用いて、取得部により取得された第1輝度信号が示すコード値から、対応する第2コード値を変換後コード値として決定する。なお、BDプレーヤ200は、変換装置210の各部に対応するステップを行う変換方法を行う。なお、図5Bでは、変換装置210は、HDR信号をSDR信号に変換して出力する場合が例示されているが、後述するように、SDR信号をHDR信号に変換して出力してもよい。
SDRにおいては100nitを超える輝度を表現できないため、変換装置210で行われるHDRからSDRへの変換処理では、少なくとも、HDR信号において100nitを超える輝度と、当該輝度に対応するSDRのコード値との対応付けを、予め定義した変換テーブル、あるいは、コンテンツにおける画像の輝度分布などに応じた適応的な処理、に基づいて行う必要がある。また、変換処理では、字幕のように輝度値が離散的になるデータと、ビデオとでは異なる変換ルールが必要になると想定される。また、リマップは、フレーム単位で発生するため、特に4Kなどの高解像度の画像においては処理量が大きい。さらに、リマップの前後では輝度値が変化するため、リマップ後の画像は制作者の意図と異なる印象の画像となる可能性がある。
HDRに対応した映像(コンテンツ)のHDR信号をSDR信号に変換して出力する際には、グラフィックスについてもビデオと同様のリマップが必要となる。ビデオとグラフィックスとの両方にリマップを行うことで、リマップにかかる処理量が大きくなると共に、制作者の意図しない輝度値に変換される可能性があるという課題も想定される。
[1−6.変換方法、および、変換装置]
図6は、変換装置におけるリマップ処理部の構成を示すブロック図である。
リマップ処理部220は、変換装置210に含まれる。図6に示すように、リマップ処理部220は、EOTF判定部221と、処理対象判定部222と、輝度値可変リマップ部223と、輝度値固定リマップ部224と、コンテンツ(映像)のストリームを一時的に記憶しておく記憶部225とを有する。
EOTF判定部221は、メディア100から読み込んだコンテンツ(ビデオおよびグラフィックス)の信号が対応しているEOTFと、映像を表示するTV300、310などのディスプレイに出力すべき出力信号が対応しているEOTFとが異なるか否かを判定する。なお、出力信号が対応しているEOTFとは、ここでは、TVなどのディスプレイが対応しており表示することができる出力信号のEOTFである。
処理対象判定部222は、処理対象がビデオであるか否(グラフィックスである)かを判定する。
輝度値可変リマップ部223は、記憶部225に記憶されているストリームの信号を、輝度値可変リマップ(第2リマップ)により出力信号のEOTFに対応する信号に変換する。
輝度値固定リマップ部224は、記憶部225に記憶されているストリームの信号を、輝度値固定リマップ(第1リマップ)により出力信号のEOTFに対応する信号に変換する。
図7は、変換装置におけるリマップ処理のフローチャートを示す図である。
図7に示すように、リマップ処理では、まず、EOTF判定部221が、取得したコンテンツ(ビデオおよびグラフィックス)の信号が対応しているEOTFと、ディスプレイに出力すべき出力信号が対応しているEOTFとが異なるか否かを判定する(step101)。step101において「はい」と判定されれば、コンテンツの信号が対応している輝度範囲の方式を、出力信号が対応しているEOTFに変換するために、step102〜step104の処理を行う。一方で、step101において「いいえ」と判定されれば、リマップ処理を終了し、リマップすることなくコンテンツの信号を出力する。このように、step101が行われることにより、出力信号の形式は、映像を表示するTVなどのディスプレイが、HDR表示対応であるかどうかに基づいて決定される。なお、出力信号の形式は、本編などのメインのビデオに合わせるように決定されてもよい。
次に、処理対象判定部222は、処理対象がビデオであるか否(グラフィックスである)かを判定する(step102)。step102において「はい」と判定されれば、輝度値可変リマップ部223は、コンテンツの信号を、輝度値可変リマップ(第2リマップ)により出力信号のEOTFに対応する信号に変換する(step103)。
一方で、step102において「いいえ」と判定されれば、輝度値固定リマップ部224は、輝度値固定リマップ(第1リマップ)により出力信号のEOTFに対応する信号に変換する(step104)。
このように、コンテンツ(映像)がビデオである場合、第2リマップが行われ、コンテンツ(映像)がグラフィックスである場合、第1リマップが行われる。
step103の輝度値可変リマップとstep104の輝度値固定リマップとにおいては、それぞれ、HDRおよびSDRの輝度値の対応関係を示すテーブルを予め用意しておく。このテーブルにおいては、HDRのEOTFおよびSDRのEOTFにおいて、それぞれ、コード値が存在する輝度値の間の対応関係が記述されていてもよい。こうすることで、リマップ後のEOTFの輝度値に対応するコード値が必ず存在するため、輝度値に対応するコード値が存在しない場合に、当該の輝度値に最も近い輝度値を有するコード値を探索する必要がなくなる。
また、輝度値可変リマップ(第2リマップ)では、画像内、あるいは、シーン毎の輝度分布などに基づいて、複数のテーブルを適応的に切替える、あるいは、コンテンツ毎に最適なテーブルを逐次作成するなどしてもよい。つまり、例えば、リマップ後の輝度値である第2輝度値の決定では、第1輝度範囲における輝度値と、第2輝度表現における輝度値との関係を示す複数の関係情報(テーブル)から、映像のシーンに応じた関係情報を選択し、選択した関係情報を用いて、決定した第1輝度値から第2輝度値を決定してもよい。
step103の輝度値可変リマップでは、次のような手順で処理が行われる。この場合、第1EOTFに対応した第1輝度信号から第2EOTFに対応した第2輝度信号に変換するものとする。
(1)第1EOTFのコード値に対応する第1輝度値(リマップ前の輝度値)を決定する。
(2)(1)で決定した第1輝度値に対応する第2EOTFの第2輝度値(リマップ後の輝度値)を決定する。
(3)(2)で決定した第2輝度値に対応する第2EOTFのコード値を決定する。
step104の輝度値固定リマップでは、次のような手順で処理が行われる。この場合、第1EOTFに対応した第1輝度信号から第2EOTFに対応した第2輝度信号に変換するものとする。
(1)第1EOTFのコード値に対応する輝度値を決定する。
(2)(1)で決定した輝度値に対応する第2EOTFのコード値を決定する。
※輝度値固定リマップの場合、リマップの前後で輝度値は変化しないため、step103における(2)の処理は不要となる。
step103およびstep104のリマップ処理の完了後、変換装置210は、ビデオおよびグラフィックスを合成して出力する。つまり、変換装置210は、さらに、第1リマップおよび第2リマップが行われることで、第2輝度信号に変換されたビデオおよびグラフィックスが合成して出力してもよい。
また、変換装置210は、さらに、HDMIなどのインターフェースによりディスプレイに出力する際には、出力信号のEOTFを識別するための情報をメタ情報として送信してもよい。つまり、変換装置210は、さらに、取得した第1輝度信号から変換した第2輝度信号を、第2EOTFを識別するためのメタ情報とともに出力してもよい。
[1−7.効果等]
実施の形態1では、コンテンツの再生においては、映像の出力先がHDR対応であるかどうかに応じて、HDR、または、SDRのどちらで出力するかを決定し、出力形式に合わせて、映像とグラフィックスをSDRからHDRに、あるいは、HDRからSDRにリマップ処理を行う。グラフィックスに対しては、リマップの前後で輝度値が変化しない輝度固定リマップ処理を適用し、映像に対しては、リマップの前後で輝度値が変化し得る輝度可変リマップ処理を適用する。
グラフィックスについては、リマップの前後で輝度が変化しないため、制作者の意図した画質を保持することができる。また、変換前後EOTFの間での輝度値の対応付けが不要であり、リマップに係る処理量を削減できる。
(実施の形態2)
[2−1.コンテンツの生成方法]
ビデオやグラフィックスのマスターの作成においては、制作者の意図を反映するように、カメラで撮影したデジタル画像やフィルムのスキャン画像に対して、画素毎の輝度や色合いを修正する、図3で示したグレーディングという工程が必要であり、グレーディングには高度なノウハウが必要であると共に、必要な工数も膨大となる。従って、生成するマスターの数は最小限に抑えられることが望ましい。一方で、HDRとSDRとでは、ピーク輝度が異なるため、一般的にはそれぞれに対して異なるマスターを生成する必要がある。図8は、コンテンツ内にビデオおよびグラフィックスのストリームのそれぞれが1本ずつ含まれる場合におけるHDRおよびSDRの組合せ例を示す図である。この例においては、4通りの組合せがあり、ビデオおよびグラフィックスに対して、それぞれHDRおよびSDRのマスターが必要となる。
一方で、映像コンテンツにおいてHDRの効果が最も大きいのは、映画の本編などのビデオであり、字幕などのグラフィックスについてはビデオと比較すると効果が小さいと考えられる。それにもかかわらず、グラフィックスに対しても、ビデオと同様にHDRおよびSDRのマスターを作成することは、コンテンツ制作の負荷が大きいという課題があった。
そこで、本開示のグラフィックスのマスター生成においては、図9に示すように、SDRおよびHDRのマスターを共通化する。図9は、グラフィックス・マスターをビデオマスターと共通のEOTFを用いて生成することを示す図である。このために、グラフィックスのマスターにおける輝度範囲は、SDRの輝度範囲と一致させる。すなわち、グラフィックス・マスターにおけるピーク輝度は、SDRの輝度範囲の上限値以下とする。コンテンツ内のグラフィックスデータを、SDRに対応させたSDR信号にマッピングする場合には、SDRのEOTFに基づいて画素毎のコード値が決定され、HDRに対応させたHDR信号にマッピングする場合には、HDRのEOTFに基づいて画素毎のコード値が決定される。
図10Aは、グラフィックス・マスターの生成において、SDR信号にマッピングする場合について説明するための図である。この場合、SDRの輝度範囲とグラフィックスのマスターの輝度範囲とは一致するため、SDRのEOTFにおけるコード値の定義域は、全て有効となる。
図10Bは、グラフィックス・マスターの生成において、HDR信号にマッピングする場合について説明するための図である。この場合、SDRのピーク輝度に相当するコード値以下のコード値のみが有効となる。
なお、グラフィックス・マスターをHDR信号にマッピングした場合に、ピーク輝度がSDRの輝度範囲内であることを示す識別情報を、エレメンタリ・ストリーム、あるいは、プレイリストなどの管理情報に格納してもよい。上述したリマップ処理においては、この識別情報に基づいて、輝度値固定リマップ、あるいは、輝度値可変リマップのどちらを適用するかを決定できる。また、HDMIなどのインターフェースにより出力する際には、出力インターフェースのメタ情報として、この識別情報を格納してもよい。
グラフィックスのEOTFは、ビデオに合わせて決定できる。すなわち、ビデオがHDRであればグラフィックスデータもHDRとし、ビデオがSDRであればグラフィックスデータもSDRとする。あるいは、グラフィックスデータは常にSDRとしてもよい。
なお、複数のビデオが存在する際にも同様の考え方を適用できる。例えば、メインのビデオに対して重畳、あるいは、並べて表示するサブのビデオがある場合には、サブのビデオのEOTFはメインのビデオに合わせるなどが可能である。
[2−2.データ生成方法、および、装置]
図11は、オーサリングにおけるグラフィックス信号を生成する生成部の構成を示すブロック図である。
生成部400は、GFXグレーディング部410と、判定部420と、HDR信号生成部430と、SDR信号生成部440とを備える。
GFXグレーディング部410は、輝度値がSDRのピーク輝度以下となるようにグラフィックス・マスターをグレーディングする。
判定部420は、グラフィックスと同時に表示されるビデオはHDRであるか否かを判定する。
HDR信号生成部430は、判定部420によりグラフィックスと同時に表示されるビデオはHDRであると判定された場合、HDRのEOTFを用いてグラフィックスの輝度値をコード値に変換する。
SDR信号生成部440は、判定部420によりグラフィックスと同時に表示されるビデオはHDRでない(つまりSDRである)と判定された場合、SDRのEOTFを用いてグラフィックスの輝度値をコード値に変換する。
図12は、オーサリングにおけるグラフィックス信号の生成方法を示すフローチャートである。
まず、GFXグレーディング部410が、輝度値がSDRのピーク輝度以下となるようにグラフィックス・マスターをグレーディングする(step201)。
次に、判定部420は、グラフィックスと同時に表示されるビデオはHDRであるか否かを判定する(step202)。
HDR信号生成部430は、step202で「はい」と判定された場合、HDRのEOTFを用いてグラフィックスの輝度値をコード値に変換する(step203)。
SDR信号生成部440は、step202で「いいえ」と判定された場合、SDRのEOTFを用いてグラフィックスの輝度値をコード値に変換する(step204)。
なお、step202において、ビデオと同時に表示されるグラフィックスであるかどうかを判定しているが、例えば、グラフィックスが字幕であれば、当該字幕が重畳されるビデオについて判定することになる。また、メニューなど、ビデオと同時には表示されないグラフィックスについては、本編のビデオがHDRであるかどうかなどに基づいて判定してもよい。なお、グラフィックスは従来の2K向けのフォーマットと同じものを使用するために、常にSDRのEOTFを用いて変換するものとして、step202の判定処理を行わずに、常にstep204の処理を行ってもよい。
このように、グラフィックスの輝度範囲をSDRのピーク輝度以下とすることで、リマップの前後で輝度値を変化させずにリマップする輝度値固定リマップを行うことができるという利点がある。
なお、HDRマスターの輝度をSDRの範囲内とするようにグレーディングすることは、グラフィックス以外のデータについても可能である。また、特に字幕などのグラフィックスでは、SDRのピーク輝度よりも高い輝度値を用いるメリットが小さい。従って、SDRからHDRへのリマップにおいては、グレーディングがSDRの範囲内であるかどうかに関わらず、輝度値固定リマップを適用してもよい。
[2−3.効果等]
本実施の形態2に係る生成装置および生成方法では、ビデオの他にグラフィックスなどの映像データが含まれるコンテンツをオーサリングする際に、ビデオ以外の映像データについては、HDRとSDRで共通のマスターを使用する。このため、マスターにおけるピーク輝度は、SDRの輝度範囲内となるようにグレーディングを行う。
これにより、ビデオ以外のマスターをHDRおよびSDRで共通化できるため、マスター生成に係る工数を削減できる。
(他の実施の形態)
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
そこで、以下では、他の実施の形態を例示する。
例えば、上記の各実施の形態では、変換装置210から出力される出力信号の形式としては、HDRおよびSDRの2種類について説明した。HDMIなどに出力する際には、標準規格としてHDRあるいはSDRのいずれかにより出力するが、例えば、TVにBDプレーヤが内蔵されている場合や、TVで放送を受信して再生する、あるいは、タブレットなどにおいてOTTサービスを視聴する際には、変換装置210からディスプレイデバイスに対して直接信号を出力することが可能である。
このとき、HDR規格におけるピーク輝度と、ディスプレイデバイスにおいて表示可能なピーク輝度とが異なる場合には、HDRに対応したコンテンツ内のデータに対して、ディスプレイデバイスのEOTFに応じたリマップ処理を行ってもよい。また、ディスプレイデバイスに対してHDMIで入力されたSDRやHDRの信号についても、ディスプレイデバイスのピーク輝度に応じたEOTFに対して再度リマップ処理を行ってもよい。つまり、この場合は、第2輝度信号への変換は、取得した第1輝度信号を、第1EOTFと、第2輝度信号の出力先のディスプレイデバイスにおいて表示可能な輝度範囲を第2輝度範囲とする第2EOTFとを用いて、行われてもよい。
また、上記の各実施の形態では、言及していないが、BDのオーサリングにおいては、プレイリスト内のプレイアイテム単位で再生するビデオやオーディオ、あるいは、グラフィックスを指定できる。このように、プレイアイテム単位で再生するビデオやオーディオ、或いは、グラフィックスが指定されている場合、HDMIなどのインターフェースでは、プレイアイテム単位でHDRとSDRが切替わると、プレイアイテムの境界においてリセット処理がかかり、シームレスに再生できないことがある。従って、シームレスに接続されるプレイアイテム間でHDRとSDRとが切替わる場合には、出力信号のEOTFが直前のプレイアイテムと同一となるように、BDプレーヤなどに備えられる変換装置においてリマップ処理を行ってもよい。あるいは、シームレスに接続されるプレイアイテム間では、EOTFの切替わりを禁止し、さらに、EOTFが切替わらないことを示す識別情報をプレイリストなどの管理情報に格納してもよい。
また、上記の各実施の形態のオーサリング、あるいは、変換方法などは、光ディスクのようなパッケージメディアだけでなく、放送やOTT(Over The Top)サービスにおいても適用できる。例えば、放送では、放送番組の本編の他に、放送により送られるデータ放送や、通信ネットワーク経由で取得したコンテンツを、本編のビデオに対して重畳表示することができる。このとき、本編のビデオはHDRの番組とSDRの番組とが混在することが予想され、本編とは別に取得するコンテンツにおけるグラフィックスやビデオに対しても、これまで説明した手法によるピーク輝度の制限や、リマップ処理を行うことができる。
(実施の形態3)
[3−1.マスター生成、配信方式、および表示装置の関係]
図13は、コンテンツに新たな映像表現を導入するときの、映像制作、配信方式、および表示装置の関係について説明するための図である。
映像の高画質化のために新たな映像表現(画素数の増加等)を導入する場合には、図13に示すように、(1)映像制作側のHome Entertainment向けマスターを変更する必要がある。それに応じて、(2)放送、通信、パッケージメディア等の配信方式も、(3)その映像を表示するTV、プロジェクタ等の表示装置も更新する必要がある。
[3−2.HDR導入時のマスター、配信方式、および表示装置の関係]
ユーザが新たな映像表現に対応したコンテンツ(例えば、高輝度映像コンテンツ(HDRコンテンツ))を家庭内で楽しむためには、HDR対応配信方式およびHDR対応表示装置の両方を新たに導入する必要がある。つまり、新たな映像表現に対応したコンテンツを家庭内で楽しむためには、ユーザは、新たな映像表現に対応した配信方式および表示装置を用意する必要がある。このことは、SDの映像からHDの映像、HDの映像から3Dの映像、HDの映像からUHD(4K)の映像に代わったときのような新たな映像表現が導入された場合にも避けることができなかった。
このため、高価で、大きさ・重量等の点でも置き換えが容易でない、TVを買い替える必要がある、新たな映像表現への変更は、新たな機能を持つ表示装置(例えばTV)の普及に依存することになる。媒体側も、コンテンツ側も当初は大きな投資ができないため、新たな映像表現の普及が遅くなることが多かった。
よって、図14に示すように、HDRについても、HDR本来の映像表現をフルに生かすためには、HDRに対応した映像の表示(以下、「HDR表示」という。)に対応したTV(以下、「HDRTV」という。)への買い替えが必要になると予想される。
[3−3.SDRTV]
SDRに対応した映像の表示(以下、「SDR表示」という。)のみに対応したTV(以下、「SDRTV」という。)は、通常、輝度値が100nitまでの入力信号が入力される。このため、SDRTVは、その表示能力が100nitであれば入力信号の輝度値を表現するのに十分である。しかし、SDRTVは、実際は、視聴環境(暗い部屋:シネマモード、明るい部屋:ダイナミックモード等)に合わせて、最適な輝度値の映像を再生する機能を有し、200nit以上の映像表現が可能な能力を持っているものが多い。つまり、このようなSDRTVは、視聴環境に応じた表示モードを選択することで、表示能力の最大輝度(例えば、300nit)までの映像を表示できる。
しかし、SDRTVに入力されるSDR方式の入力信号では、入力信号の輝度上限が100nitに決められているため、従来通りにSDR方式の入力インターフェースを使う限り、SDRTVが持つ100nitを超える高輝度の映像再生能力をHDR信号の再生用に使うことは難しい(図15Aおよび図15B参照)。
[3−4.HDR→SDR変換]
HDR対応の放送、通信ネットワークを介した動画配信、あるいは、HDR対応のパッケージメディア(例えば、HDR対応のBlu−ray Disc)等の配信方式により配信された高輝度映像コンテンツ(以下、「HDRコンテンツ」または「HDR映像」ともいう。)は、HDR対応の再生装置(例えば、通信STB(Set Top Box)、Blu−ray機器、IPTV再生機器)を介して、SDRTVにより出力される場合が想定される。SDRTVでHDRコンテンツを再生する場合、SDRTVで映像が正しく表示できるように、HDRに対応するHDR信号を、100nitを最大値とするSDR輝度範囲のSDR信号に変換する「HDR→SDR変換」を実現する。これにより、SDRTVは、変換されたSDR信号を用いて、HDR映像から変換されることで得られたSDR映像の表示を行うことが可能となる(図16参照)。
ただし、この場合でも、ユーザはHDR対応のコンテンツ(例えばBlu−ray Disc、HDR IPTVコンテンツ)とHDR対応の再生装置(例えばBlu−ray機器、HDR対応のIPTV再生機器)とを購入したのにも関わらず、SDRTVではSDRの映像表現(SDR表現)でしか映像を楽しむことができない。つまり、HDRコンテンツと、HDRに対応した再生機器とを用意しても、HDRに対応した表示装置(例えばHDRTV)がなく、SDRTVしかない場合には、HDRの映像表現(HDR表現)で映像を視聴することができない。
よって、ユーザは、HDRTVを用意できなければ、HDRコンテンツや伝送媒体(再生装置)を購入しても、HDRの価値(つまりHDRが高画質であることによるSDRに対する優位性)が解らない。このように、ユーザは、HDRTVが無ければHDRの価値が分からないため、HDRコンテンツやHDR対応配信方式の普及は、HDRTVの普及速度に応じて決まると言える。
[3−5.HDR→SDR変換を実現する2つの方式]
Blu−ray Disc(BD)を用いてHDR信号をTVに送る場合、下記の図17Aおよび図17Bに示すように2つのケースが想定できる。図17Aは、HDR対応のBDに、HDRに対応したHDR信号のみが格納されているケース1について説明するための図である。図17Bは、HDR対応のBDにHDRに対応したHDR信号およびSDRに対応したSDR信号が格納されているケース2について説明するための図である。
図17Aに示すように、ケース1において、HDRTVにBlu−ray機器でBDを再生した映像を表示させる場合には、HDR対応のBD(以下、「HDRBD」という。)を再生したときでも、SDR対応のBD(以下、「SDRBD」という。)を再生したときでも、Blu−ray機器は、BDに格納された輝度信号を変換することなくそのままHDRTVに出力する。そして、HDRTVは、HDR信号もSDR信号も表示処理することができるため、入力された輝度信号に応じた表示処理を行い、HDR映像またはSDR映像を表示する。
一方で、ケース1において、SDRTVにBlu−ray機器でBDを再生した映像を表示させる場合には、HDRBDを再生したときは、Blu−ray機器は、HDR信号からSDR信号へ変換する変換処理を行い、変換処理により得られたSDR信号をSDRTVに出力する。また、SDRBDを再生したときは、Blu−ray機器は、BDに格納されたSDR信号を変換することなくそのままSDRTVに出力する。これにより、SDRTVは、SDR映像を表示する。
また、図17Bに示すように、ケース2において、HDRTVにBlu−ray機器でBDを再生した映像を表示させる場合には、ケース1と同様である。
一方で、ケース2において、SDRTVにBlu−ray機器でBDを再生した映像を表示させる場合には、HDRBDを再生したときでも、SDRBDを再生したときでも、Blu−ray機器は、BDに格納されたSDR信号を変換することなくそのままSDRTVに出力する。
ケース1も、ケース2も、共にHDRBDとHDR対応のBlu−ray機器を買っても、HDRTVが無ければ、SDR映像しか楽しむことができない。したがって、ユーザがHDR映像を見るためにはHDRTVが必要になり、HDR対応のBlu−ray機器またはHDRBDの普及には時間がかかることが予測される。
[3−6.HDR→疑似HDR変換]
以上のことからHDRの普及を促進するためには、HDRTVの普及を待たずに、HDRコンテンツや配信方式の事業化を推進できることが重要であると言える。このためには、既存のSDRTVで、HDR信号を、SDR映像としてではなく、HDR映像または、SDR映像よりもHDR映像に近づけた疑似HDR映像として視聴可能にすることができれば、ユーザは、HDRTVを買わなくても、SDR映像とは明らかに異なる、HDR映像に近いより高画質な映像を視聴できる。つまり、ユーザは、SDRTVで疑似HDR映像を視聴できれば、HDRTVを用意しなくてもHDRコンテンツやHDR配信機器を用意するだけで、SDR映像よりも高画質な映像を視聴することができるようになる。要するに、疑似HDR映像をSDRTVで視聴できるようにすることは、HDRコンテンツやHDR配信機器を購入するためのユーザの動機になり得る(図18参照)。
疑似HDR映像をSDRTVに表示させることを実現するために、HDR配信方式にSDRTVが接続された構成で、HDRコンテンツを再生した時に、SDRTVでHDRコンテンツの映像が正しく表示できるように、HDR信号をSDR映像信号に変換する代わりに、SDRTVの100nitを最大値とする映像信号の入力を用いて、SDRTVが持つ表示能力の最大輝度、例えば、200nit以上の映像を表示させるための疑似HDR信号を生成し、生成した疑似HDR信号をSDRTVに送ることを可能にする「HDR→疑似HDR変換処理」を実現することが必要になる。
[3−7.EOTFについて]
ここで、EOTFについて、図19Aおよび図19Bを用いて説明する。
図19Aは、HDRおよびSDRのそれぞれに対応したEOTF(Electro−Optical Transfer Function)の例について示す図である。
EOTFは、一般的にガンマカーブと呼ばれるものであり、コード値と輝度値との対応を示し、コード値を輝度値に変換するものである。つまり、EOTFは、複数のコード値と輝度値との対応関係を示す関係情報である。
また、図19Bは、HDRおよびSDRのそれぞれに対応した逆EOTFの例について示す図である。
逆EOTFは、輝度値とコード値との対応を示し、EOTFとは逆に輝度値を量子化してコード値に変換するものである。つまり、逆EOTFは、輝度値と複数のコード値との対応関係を示す関係情報である。例えば、HDRに対応した映像の輝度値を10ビットの階調のコード値で表現する場合、10,000nitまでのHDRの輝度範囲における輝度値は、量子化されて、0〜1023までの1024個の整数値にマッピングされる。つまり、逆EOTFに基づいて量子化することで、10,000nitまでの輝度範囲の輝度値(HDRに対応した映像の輝度値)を、10ビットのコード値であるHDR信号に変換する。HDRに対応したEOTF(以下、「HDRのEOTF」という。)またはHDRに対応した逆EOTF(以下、「HDRの逆EOTF」という。)においては、SDRに対応したEOTF(以下、「SDRのEOTF」という。)またはSDRに対応した逆EOTF(以下、「SDRの逆EOTF」という。)よりも高い輝度値を表現することが可能であり、例えば、図19Aおよび図19Bにおいては、輝度の最大値(ピーク輝度)は、10,000nitである。つまり、HDRの輝度範囲は、SDRの輝度範囲を全て含み、HDRのピーク輝度は、SDRのピーク輝度より大きい。HDRの輝度範囲は、SDRの輝度範囲の最大値である100nitから、10,000nitまで、最大値を拡大した輝度範囲である。
例えば、HDRのEOTFおよびHDRの逆EOTFは、一例として、米国映画テレビ技術者協会(SMPTE)で規格化されたSMPTE 2084がある。
なお、以降の明細書中において、図19A及び図19Bに記載されている0nitからピーク輝度である100nitまでの輝度範囲は、第1輝度範囲と記載される場合がある。同様に、図19A及び図19Bに記載されている、0nitからピーク輝度である10,000nitまでの輝度範囲は、第2輝度範囲と記載される場合がある。
[3−8.疑似HDRの必要性]
次に、疑似HDRの必要性について図20A〜図20Cを用いて説明する。
図20Aは、HDRTV内で、HDR信号を変換してHDR表示を行う表示処理の一例を示す図である。
図20Aに示すように、HDR映像を表示する場合、表示装置がHDRTVであっても、HDRの輝度範囲の最大値(ピーク輝度(HPL(HDR Peak Luminance):例1500nit))をそのまま表示することができない場合がある。この場合、HDRのEOTFを用いた逆量子化を行った後のリニアな信号を、その表示装置の輝度範囲の最大値(ピーク輝度(DPL(Display Peak Iuminance):例750nit))に合わせるための輝度変換を行う。そして、輝度変換を行うことで得られた映像信号を表示装置に入力することで、その表示装置の限界である最大値の輝度範囲に合わせたHDR映像を表示することができる。
図20Bは、HDR対応の再生装置とSDRTVとを用いて、HDR表示を行う表示処理の一例を示す図である。
図20Bに示すように、HDR映像を表示する場合、表示装置がSDRTVであれば、表示するSDRTVの輝度範囲の最大値(ピーク輝度(DPL:例300nit))が100nitを超えることを利用して、図20BのHDR対応の再生装置(Blu−ray機器)内の「HDR→疑似HDR変換処理」で、HDRTV内で行っている、「HDRのEOTF変換」とSDRTVの輝度範囲の最大値であるDPL(例:300nit)を使った「輝度変換」を行い、「輝度変換」を行うことで得られた信号をSDRTVの「表示装置」に直接入力できれば、SDRTVを使っても、HDRTVと同じ効果を実現することができる。
しかしながら、SDRTVには、このような信号を、外部から直接入力するための手段が無いため、実現できない。
図20Cは、標準インターフェースを介して互いに接続したHDR対応の再生装置とSDRTVと用いて、HDR表示を行う表示処理の一例を示す図である。
図20Cに示すように、通常、SDRTVが備える入力インターフェース(HDMI等)を使って、図20Bの効果を得られるような信号をSDRTVに入力する必要がある。SDRTVでは、入力インターフェースを介して入力した信号は、「SDRのEOTF変換」と「モード毎の輝度変換」と「表示装置」を順に通過し、その表示装置の最大値の輝度範囲に合わせた映像を表示する。このため、HDR対応のBlu−ray機器内で、SDRTVで入力インターフェースの直後に通過する、「SDRのEOTF変換」と「モード毎の輝度変換」とをキャンセルできるような信号(疑似HDR信号)を生成する。つまり、HDR対応のBlu−ray機器内で、「HDRのEOTF変換」とSDRTVのピーク輝度(DPL)を使った「輝度変換」との直後に、「モード毎の逆輝度変換」と「逆SDRのEOTF変換」とを行うことで、「輝度変換」直後の信号を「表示装置」に入力した場合(図20Cの破線矢印)と同じ効果を疑似的実現する。
[3−9.変換装置および表示装置]
図21は、実施の形態の変換装置および表示装置の構成を示すブロック図である。図22は、実施の形態の変換装置および表示装置により行われる変換方法および表示方法を示すフローチャートである。
図21に示すように、変換装置500は、HDRのEOTF変換部501、輝度変換部502、逆輝度変換部503、および逆SDRのEOTF変換部504を備える。また、表示装置600は、表示設定部601、SDRのEOTF変換部602、輝度変換部603、および表示部604を備える。
変換装置500および表示装置600の各構成要素についての詳細な説明は、変換方法および表示方法の説明において行う。
[3−10.変換方法および表示方法]
変換装置500が行う変換方法について、図22を用いて説明する。なお、変換方法は、以下で説明するステップS101〜ステップS104を含む。
まず、変換装置500のHDRのEOTF変換部501は、逆HDRのEOTF変換が行われたHDR映像を取得する。変換装置500のHDRのEOTF変換部501は、取得したHDR映像のHDR信号に対して、HDRのEOTF変換を実施する(S101)。これにより、HDRのEOTF変換部501は、取得したHDR信号を、輝度値を示すリニアな信号に変換する。HDRのEOTFは、例えばSMPTE 2084がある。
次に、変換装置500の輝度変換部502は、HDRのEOTF変換部501により変換されたリニアな信号を、ディスプレイ特性情報とコンテンツ輝度情報とを用いて変換する第1輝度変換を行う(S102)。第1輝度変換において、HDRの輝度範囲に対応した輝度値(以下、「HDRの輝度値」という。)を、ディスプレイの輝度範囲に対応した輝度値(以下、「ディスプレイ輝度値」という。)に変換する。詳細は後述する。
上記のことから、HDRのEOTF変換部501は、映像の輝度値が量子化されることで得られたコード値を示す第1輝度信号としてのHDR信号を取得する取得部として機能する。また、HDRのEOTF変換部501および輝度変換部502は、取得部により取得されたHDR信号が示すコード値を、ディスプレイ(表示装置600)の輝度範囲に基づいて決定する、HDRの輝度範囲の最大値(HPL)よりも小さく、かつ、100nitよりも大きい最大値(DPL)であるディスプレイの輝度範囲に対応するディスプレイ輝度値へ変換する変換部として機能する。
より具体的には、HDRのEOTF変換部501は、ステップS101において、取得したHDR信号と、HDRのEOTFとを用いて、取得したHDR信号が示す第1コード値としてのHDRのコード値について、HDRのコード値にHDRのEOTFにおいて関係付けられたHDRの輝度値を決定する。なお、HDR信号は、HDRの輝度範囲における輝度値と、複数のHDRのコード値とを関係付けたHDRの逆EOTFを用いて、映像(コンテンツ)の輝度値が量子化されることで得られたHDRのコード値を示す。
また、輝度変換部502は、ステップS102において、ステップS101で決定したHDRの輝度値について、当該HDRの輝度値に予め関係付けられた、ディスプレイの輝度範囲に対応するディスプレイ輝度値を決定し、HDRの輝度範囲に対応するHDRの輝度値を、ディスプレイの輝度範囲に対応するディスプレイ輝度値へ変換する第1輝度変換を行う。
また、変換装置500は、ステップS102の前に、映像(コンテンツ)の輝度の最大値(CPL:Content Peak luminance)および映像の平均輝度値(CAL:Content Average luminance)の少なくとも一方を含むコンテンツ輝度情報をHDR信号に関する情報として取得している。CPL(第1最大輝度値)は、例えば、HDR映像を構成する複数の画像に対する輝度値のうちの最大値である。また、CALは、例えば、HDR映像を構成する複数の画像に対する輝度値の平均である平均輝度値である。
また、変換装置500は、ステップS102の前に、表示装置600から表示装置600のディスプレイ特性情報を取得している。なお、ディスプレイ特性情報とは、表示装置600が表示できる輝度の最大値(DPL)、表示装置600の表示モード(後述参照)、入出力特性(表示装置が対応するEOTF)などの表示装置600の表示特性を示す情報である。
また、変換装置500は、推奨表示設定情報(後述参照、以下、「設定情報」ともいう。)を表示装置600に送信してもよい。
次に、変換装置500の逆輝度変換部503は、表示装置600の表示モードに応じた逆輝度変換を行う。これにより、逆輝度変換部503は、ディスプレイの輝度範囲に対応した輝度値を、SDRの輝度範囲(0〜100〔nit〕)に対応する輝度値に変換する第2輝度変換を行う(S103)。詳細は後述する。つまり、逆輝度変換部503は、ステップS102で得られたディスプレイ輝度値について、当該ディスプレイ輝度値に予め関係付けられた、100nitを最大値とするSDRの輝度範囲に対応する第3輝度値としてのSDRに対応した輝度値(以下、「SDRの輝度値」という。)SDRの輝度値を決定し、ディスプレイの輝度範囲に対応するディスプレイ輝度値を、SDRの輝度範囲に対応するSDRの輝度値へ変換する第2輝度変換を行う。
そして、変換装置500の逆SDRのEOTF変換部504は、逆SDRのEOTF変換を行うことで、疑似HDR映像を生成する(S104)。つまり、逆SDRのEOTF変換部504は、HDRの輝度範囲における輝度値と、複数の第3コード値とを関係付けた第3関係情報であるSDR(Standard Dynamic Range)の逆EOTF(Electro−Optical Transfer Function)を用いて、決定したSDRの輝度値を量子化し、量子化により得られた第3コード値を決定し、SDRの輝度範囲に対応するSDRの輝度値を、第3コード値を示す第3輝度信号としてのSDR信号へ変換することで、疑似HDR信号を生成する。なお、第3コード値は、SDRに対応したコード値であり、以下では、「SDRのコード値」という。つまり、SDR信号は、SDRの輝度範囲における輝度値と、複数のSDRのコード値とを関係付けたSDRの逆EOTFを用いて、映像の輝度値が量子化されることで得られたSDRのコード値で表される。そして、変換装置500は、ステップS104で生成した疑似HDR信号(SDR信号)を表示装置600へ出力する。
変換装置500は、HDR信号を逆量子化することで得られたHDRの輝度値に対して、第1輝度変換および第2輝度変換を行うことで、疑似HDRに対応したSDRの輝度値を生成し、SDRの輝度値をSDRのEOTFを用いて量子化することで、疑似HDRに対応したSDR信号を生成する。なお、SDRの輝度値は、SDRに対応した0〜100nitの輝度範囲内の数値であるが、ディスプレイの輝度範囲に基づく変換を行っているため、HDRの輝度値に対してHDRのEOTFおよびSDRのEOTFを用いた輝度変換を行うことで得られたSDRに対応した0〜100nitの輝度範囲内の輝度値とは異なる数値である。
次に、表示装置600が行う表示方法について、図22を用いて説明する。なお、表示方法は、以下で説明するステップS105〜ステップS108を含む。
まず、表示装置600の表示設定部601は、変換装置500から取得した設定情報を用いて、表示装置600の表示設定を設定する(S105)。ここで、表示装置600は、SDRTVである。設定情報は、表示装置に対して推奨する表示設定を示す情報であり、疑似HDR映像をどのようにEOTFし、どの設定で表示すれば美しい映像を表示することができるかを示す情報(つまり、表示装置600の表示設定を最適な表示設定に切り替えるための情報)である。設定情報は、例えば、表示装置における出力時のガンマカーブ特性や、リビングモード(ノーマルモード)やダイナミックモード等の表示モード、バックライト(明るさ)の数値などを含む。また、ユーザに、表示装置600の表示設定をマニュアル操作で変更することを促すようなメッセージを、表示装置600(以下、「SDRディスプレイ」ともいう)に表示してもよい。詳細は後述する。
なお、表示装置600は、ステップS105の前に、SDR信号(疑似HDR信号)と、映像の表示にあたって表示装置600に対して推奨する表示設定を示す設定情報とを取得する。
また、表示装置600は、SDR信号(疑似HDR信号)の取得を、ステップS106の前に行えばよく、ステップS105の後に行ってもよい。
次に、表示装置600のSDRのEOTF変換部602は、取得した疑似HDR信号に対し、SDRのEOTF変換を行う(S106)。つまり、SDRのEOTF変換部602は、SDR信号(疑似HDR信号)を、SDRのEOTFを用いて逆量子化を行う。これにより、SDRのEOTF変換部602は、SDR信号が示すSDRのコード値を、SDRの輝度値に変換する。
そして、表示装置600の輝度変換部603は、表示装置600に設定された表示モードに応じた輝度変換を行う。これにより、輝度変換部603は、SDRの輝度範囲(0〜100〔nit〕)に対応したSDRの輝度値を、ディスプレイの輝度範囲(0〜DPL〔nit〕)に対応したディスプレイ輝度値に変換する第3輝度変換を行う(S107)。詳細は後述する。
上記のことから、表示装置600は、ステップS106およびステップS107において、取得したSDR信号(疑似HDR信号)が示す第3コード値を、ステップS105で取得した設定情報を用いて、ディスプレイの輝度範囲(0〜DPL〔nit〕)に対応するディスプレイ輝度値へ変換する。
より具体的には、SDR信号(疑似HDR信号)からディスプレイ輝度値への変換では、ステップS106において、SDRの輝度範囲における輝度値と、複数の第3コード値とを関係付けたEOTFを用いて、取得したSDR信号が示すSDRのコード値について、SDRのコード値にSDRのEOTFで関係付けられたSDRの輝度値を決定する。
そして、ディスプレイ輝度値への変換では、ステップS107において、決定したSDRの輝度値に予め関係付けられた、ディスプレイの輝度範囲に対応するディスプレイ輝度値を決定し、SDRの輝度範囲に対応するSDRの輝度値を、ディスプレイの輝度範囲に対応するディスプレイ輝度値へ変換する第3輝度変換を行う。
最後に、表示装置600の表示部604は、変換したディスプレイ輝度値に基づいて、疑似HDR映像を表示装置600に表示する(S108)。
[3−11.第1輝度変換]
次に、ステップS102の第1輝度変換(HPL→DPL)の詳細について、図23Aを用いて説明する。図23Aは、第1輝度変換の一例について説明するための図である。
変換装置500の輝度変換部502は、ステップS101で得られたリニアな信号(HDRの輝度値)を、ディスプレイ特性情報と、HDR映像のコンテンツ輝度情報とを用いて変換する第1輝度変換を行う。第1輝度変換は、HDRの輝度値(入力輝度値)を、ディスプレイピーク輝度(DPL)を超えないディスプレイ輝度値(出力輝度値)に変換する。DPLは、ディスプレイ特性情報であるSDRディスプレイの最大輝度および表示モードを用いて決定する。表示モードは、例えば、SDRディスプレイに暗めに表示するシアターモードや、明るめに表示するダイナミックモード等のモード情報である。表示モードが、例えば、SDRディスプレイの最大輝度が1,500nitであり、かつ、表示モードが最大輝度の50%の明るさにするモードである場合、DPLは、750nitとなる。ここで、DPL(第2最大輝度値)とは、SDRディスプレイが現在設定されている表示モードにおいて表示できる輝度の最大値である。つまり、第1輝度変換では、SDRディスプレイの表示特性を示す情報であるディスプレイ特性情報を用いて、第2最大輝度値としてのDPLを決定する。
また、第1輝度変換では、コンテンツ輝度情報のうちのCALとCPLとを用い、CAL付近以下の輝度値は、変換の前後で同一とし、CPL付近以上の輝度値に対してのみ輝度値を変更する。つまり、図23Aに示すように、第1輝度変換では、当該HDRの輝度値がCAL以下の場合、当該HDRの輝度値を変換せず、当該HDRの輝度値を、ディスプレイ輝度値として決定し、当該HDRの輝度値がCPL以上の場合、第2最大輝度値としてのDPLを、ディスプレイ輝度値として決定する。
また、第1輝度変換では、輝度情報のうちのHDR映像のピーク輝度(CPL)を用い、HDRの輝度値がCPLの場合、DPLを、ディスプレイ輝度値として決定する。
なお、第1輝度変換では、図23Bのように、ステップS101で得られたリニアな信号(HDRの輝度値)を、DPLを超えない値にクリップするように変換してもよい。このような輝度変換を行うことで、変換装置500での処理を簡素化することができ、装置の縮小化、低電力化、処理の高速化が図れる。なお、図23Bは、第1輝度変換の他の一例について説明するための図である。
[3−12.第2輝度変換]
次に、ステップS103の第2輝度変換(DPL→100〔nit〕)の詳細について、図24を用いて説明する。図24は、第2輝度変換について説明するための図である。
変換装置500の逆輝度変換部503は、ステップS102の第1輝度変換で変換されたディスプレイの輝度範囲(0〜DPL〔nit〕)のディスプレイ輝度値に対し、表示モードに応じた逆輝度変換を施す。逆輝度変換は、SDRディスプレイによる表示モードに応じた輝度変換処理(ステップS107)が行われた場合に、ステップS102処理後のディスプレイの輝度範囲(0〜DPL〔nit〕)のディスプレイ輝度値を取得できるようにするための処理である。つまり、第2輝度変換は、第3輝度変換の逆輝度変換である。
上記の処理により、第2輝度変換は、ディスプレイの輝度範囲のディスプレイ輝度値(入力輝度値)を、SDRの輝度範囲のSDRの輝度値(出力輝度値)に変換する。
第2輝度変換では、SDRディスプレイの表示モードによって変換式を切り替える。例えば、SDRディスプレイの表示モードがノーマルモードの場合、ディスプレイ輝度値に正比例する正比例値に輝度変換する。また、第2輝度変換では、SDRディスプレイの表示モードがノーマルモードよりも高輝度画素をより明るく、かつ、低輝度画素をより暗くするダイナミックモードの場合、その逆関数を用いることで、低輝度画素のSDRの輝度値は、ディスプレイ輝度値に正比例する正比例値より高い値に、高輝度画素のSDRの輝度値は、ディスプレイ輝度値に正比例する正比例値より低い値に輝度変換する。つまり、第2輝度変換では、ステップS102において決定したディスプレイ輝度値について、SDRディスプレイの表示特性を示す情報であるディスプレイ特性情報に応じた輝度関係情報を用いて、当該ディスプレイ輝度値に関係付けられた輝度値をSDRの輝度値として決定し、ディスプレイ特性情報に応じて輝度変換処理を切り替える。ここで、ディスプレイ特性情報に応じた輝度関係情報とは、例えば図24に示すような、SDRディスプレイの表示パラメータ(表示モード)毎に定められた、ディスプレイ輝度値(入力輝度値)と、SDRの輝度値(出力輝度値)とを関係付けた情報である。
[3−13.表示設定]
次に、ステップS105の表示設定の詳細について、図25を用いて説明する。図25は、表示設定の詳細な処理を示すフローチャートである。
SDRディスプレイの表示設定部601は、ステップS105において、下記のステップS201〜ステップS208の処理を行う。
まず、表示設定部601は、設定情報を用いて、SDRディスプレイに設定されているEOTF(SDRディスプレイ用EOTF)が、疑似HDR映像(SDR信号)の生成時に想定したEOTFと整合しているかどうかを判定する(S201)。
表示設定部601は、SDRディスプレイに設定されているEOTFが、設定情報が示すEOTF(疑似HDR映像に整合するEOTF)と異なっていると判定した場合(S201でYes)、SDRディスプレイ用EOTFをシステム側で切り替え可能かを判定する(S202)。
表示設定部601は、切り替え可能であると判定した場合、設定情報を用いて、SDRディスプレイ用EOTFを適切なEOTFに切り替える(S203)。
ステップS201〜ステップS203から、表示設定の設定(S105)では、SDRディスプレイに設定されているEOTFを、取得した設定情報に応じた推奨EOTFに設定する。また、これにより、ステップS105の後に行われるステップS106では、推奨EOTFを用いて、SDRの輝度値を決定することができる。
システム側で切り替え可能でないと判定した場合(S202でNo)、EOTFをユーザがマニュアル操作で変更することを促すメッセージを画面に表示する(S204)。例えば、「表示ガンマを2.4に設定して下さい」というメッセージを画面に表示する。つまり、表示設定部601は、表示設定の設定(S105)において、SDRディスプレイに設定されているEOTFを切り替えできない場合、SDRディスプレイに設定されているEOTF(SDRディスプレイ用EOTF)を、推奨EOTFに切り替えることをユーザに促すためのメッセージを、SDRディスプレイに表示する。
次に、SDRディスプレイでは、疑似HDR映像(SDR信号)を表示するが、表示の前に設定情報を用いてSDRディスプレイの表示パラメータが設定情報に合っているかを判定する(S205)。
表示設定部601は、SDRディスプレイに設定されている表示パラメータが、設定情報とは異なっていると判定した場合(S205でYes)、SDRディスプレイの表示パラメータを、切り替え可能かを判定する(S206)。
表示設定部601は、SDRディスプレイの表示パラメータを切り替え可能であると判定した場合(S206でYes)、設定情報に合わせて、SDRディスプレイの表示パラメータを切り替える(S207)。
ステップS204〜ステップS207から、表示設定の設定(S105)では、SDRディスプレイに設定されている表示パラメータを、取得した設定情報に応じた推奨表示パラメータに設定する。
システム側で切り替え可能でないと判定した場合(S206でNo)、SDRディスプレイに設定されている表示パラメータをユーザがマニュアル操作で変更することを促すメッセージを画面に表示する(S208)。例えば、「表示モードをダイナミックモードにし、バックライトを最大にして下さい」というメッセージを画面に表示する。つまり、設定(S105)では、SDRディスプレイに設定されている表示パラメータを切り替えできない場合、SDRディスプレイに設定されている表示パラメータを、推奨表示パラメータに切り替えることをユーザに促すためのメッセージを、SDRディスプレイに表示する。
[3−14.第3輝度変換]
次に、ステップS107の第3輝度変換(100→DPL〔nit〕)の詳細について、図26を用いて説明する。図26は、第3輝度変換について説明するための図である。
表示装置600の輝度変換部603は、SDRの輝度範囲(0〜100〔nit〕)のSDRの輝度値をステップS105で設定された表示モードに応じて(0〜DPL〔nit〕)に変換する。本処理はS103のモード毎の逆輝度変換の逆関数となるように処理する。
第3輝度変換では、SDRディスプレイの表示モードによって変換式を切り替える。例えば、SDRディスプレイの表示モードがノーマルモードの場合(つまり、設定された表示パラメータがノーマルモードに対応したパラメータである場合)、ディスプレイ輝度値は、SDRの輝度値に正比例する正比例値に輝度変換する。また、第3輝度変換では、SDRディスプレイの表示モードがノーマルモードよりも高輝度画素をより明るく、かつ、低輝度画素をより暗くするダイナミックモードの場合、低輝度画素のディスプレイ輝度値は、SDRの輝度値に正比例する正比例値より低い値に、高輝度画素のディスプレイ輝度値は、SDRの輝度値に正比例する正比例値より高い値に輝度変換する。つまり、第3輝度変換では、ステップS106において決定したSDRの輝度値について、SDRディスプレイの表示設定を示す表示パラメータに応じた輝度関係情報を用いて、当該SDRの輝度値に予め関係付けられた輝度値をディスプレイ輝度値として決定し、表示パラメータに応じて輝度変換処理を切り替える。ここで、表示パラメータに応じた輝度関係情報とは、例えば図26に示すような、SDRディスプレイの表示パラメータ(表示モード)毎に定められた、SDRの輝度値(入力輝度値)と、ディスプレイ輝度値(出力輝度値)とを関係付けた情報である。
[3−15.効果等]
通常のSDRTVは入力信号が100nitであるが、視聴環境(暗い室:シネマモード、明るい部屋:ダイナミックモード等)に合わせて200nit以上の映像表現が可能な能力を持つ。しかし、SDRTVへの入力信号の輝度上限が100nitに決められていたため、その能力を直接つかうことはできなかった。
HDR映像をSDRTVで表示する場合において、表示するSDRTVのピーク輝度が100nitを超える(通常200nit以上)ことを利用して、HDR映像を100nit以下のSDR映像に変換するのではなく、100nitを超える輝度範囲の階調をある程度保つように、「HDR→疑似HDR変換処理」を行っている。このため、元のHDRに近い疑似HDR映像としてSDRTVに表示させることができる。
この「HDR→疑似HDR変換処理」技術をBlu−rayに応用した場合は、図27に示すように、HDRディスクにはHDR信号のみを格納し、Blu−ray機器にSDRTVを接続した場合、Blu−ray機器が、「HDR→疑似HDR変換処理」を行い、HDR信号を疑似HDR信号に変換してSDRTVに送る。これにより、SDRTVは、受信した疑似HDR信号から輝度値に変換することで、疑似的なHDR効果を持った映像を表示させることができる。このように、HDR対応TVが無い場合でも、HDR対応のBDとHDR対応のBlu−ray機器を用意すれば、SDRTVであっても、SDR映像よりも高画質な疑似HDR映像を表示させることができる。
従って、HDR映像を見るためにはHDR対応TVが必要と考えられていたが、HDR的な効果を実感できる疑似HDR映像を、既存のSDRTVで見ることができる。これにより、HDR対応Blu−rayの普及が期待できる。
放送、Blu−ray等のパッケージメディア、OTT等のインターネット配信により送られてきたHDR信号を、HDR−疑似HDR変換処理を行うことで、疑似HDR信号に変換する。これにより、HDR信号を疑似HDR映像として既存のSDRTVで表示することが可能となる。
(実施の形態4)
以上のように、本出願において開示する技術の例示として、実施の形態1を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態1にも適用可能である。また、上記実施の形態1で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
そこで、以下では、他の実施の形態を実施の形態2として例示する。
HDR映像は、例えばBlu−ray Disc、DVD、インターネットの動画配信サイト、放送、HDD内の映像である。
変換装置500(HDR→疑似HDR変換処理部)は、ディスクプレイヤー、ディスクレコーダ、セットトップボックス、テレビ、パソコン、スマートフォンの内部に存在していてもよい。変換装置500は、インターネット内のサーバ装置の内部に存在していてもよい。
表示装置600(SDR表示部)は、例えばテレビ、パソコン、スマートフォンである。
変換装置500が取得するディスプレイ特性情報は、表示装置600からHDMIや他の通信プロトコルを用いてHDMIケーブルやLANケーブルを介して取得してもよい。変換装置500が取得するディスプレイ特性情報は、インターネットを介して表示装置600の機種情報等に含まれるディスプレイ特性情報を取得してもよい。また、ユーザがマニュアル操作を行い、ディスプレイ特性情報を、変換装置500に設定してもよい。また、変換装置500のディスプレイ特性情報の取得は、疑似HDR映像生成(ステップS101〜S104)時の直前でもよいし、機器の初期設定時やディスプレイ接続時のタイミングでもよい。例えば、ディスプレイ特性情報の取得は、ディスプレイ輝度値への変換の直前に行ってもよいし、変換装置500がHDMIケーブルで最初に表示装置600に接続したタイミングで行ってもよい。
また、HDR映像のCPLやCALは、コンテンツ1つに対して1つでもよいし、シーン毎に存在していてもよい。つまり、変換方法では、映像の複数のシーンのそれぞれに対応した輝度情報であって、当該シーン毎に、当該シーンを構成する複数の画像に対する輝度値のうちの最大値である第1最大輝度値と、当該シーンを構成する複数の画像に対する輝度値の平均である平均輝度値との少なくとも一方を含む輝度情報(CPL、CAL)を取得し、第1輝度変換では、複数のシーンのそれぞれについて、当該シーンに対応した輝度情報に応じてディスプレイ輝度値を決定してもよい。
また、CPLおよびCALは、HDR映像と同じ媒体(Blu−ray Disc、DVD等)に同梱していてもよいし、変換装置500がインターネットから取得する等、HDR映像とは別の場所から取得してもよい。つまり、CPLおよびCALの少なくとも一方を含む輝度情報を映像のメタ情報として取得してもよいし、ネットワーク経由で取得してもよい。
また、変換装置500の第1輝度変換(HPL→DPL)において、CPL、CAL、およびディスプレイピーク輝度(DPL)は使用せずに、固定値を用いてもよい。また、その固定値を外部から変更可能にしてもよい。また、CPL、CAL、およびDPLは、数種類で切り替えるようにしてもよく、例えば、DPLは200nit、400nit、800nitの3種類のみとするようにしてもよいし、ディスプレイ特性情報に最も近い値を使用するようにしてもよい。
また、HDRのEOTFはSMPTE 2084でなくてもよく、他の種類のHDRのEOTFを用いてもよい。また、HDR映像の最大輝度(HPL)は10,000nitでなくてもよく、例えば4,000nitや1,000nitでもよい。
また、コード値のビット幅は、例えば16,14,12,10,8bitでもよい。
また、逆SDRのEOTF変換は、ディスプレイ特性情報から決定するが、(外部からも変更可能な)固定の変換関数を用いてもよい。逆SDRのEOTF変換は、例えばRec. ITU−R BT.1886で規定されている関数を用いてもよい。また、逆SDRのEOTF変換の種類を数種類に絞り、表示装置600の入出力特性に最も近いものを選択して使用するようにしてもよい。
また、表示モードは、固定のモードを使うようにしてもよく、ディスプレイ特性情報の中に含めなくてもよい。
また、変換装置500は、設定情報を送信しなくてもよく、表示装置600では固定の表示設定としてもよいし、表示設定を変更しなくてもよい。この場合、表示設定部601は不要となる。また、設定情報は、疑似HDR映像かどうかのフラグ情報でもよく、例えば、疑似HDR映像である場合は最も明るく表示する設定に変更するようにしてもよい。つまり、表示設定の設定(S105)では、取得した設定情報が、DPLを用いて変換された疑似HDR映像を示す信号であることを示す場合、表示装置600の明るさ設定を最も明るく表示する設定に切り替えてもよい。
また、変換装置500の第1輝度変換(HPL→DPL)は例えば次の算式で変換する。
ここで、Lは、0〜1に正規化された輝度値を示し、S1、S2、a、b、MはCAL、CPL、およびDPLに基づいて設定する値である。lnは自然対数である。Vは0〜1に正規化された変換後の輝度値である。図23Aの例のように、CALを300nitとし、CPLを2,000nitとし、DPLを750nitとし、CAL + 50nitまでは変換しないとし、350nit以上に対して変換する場合、それぞれの値は例えば次のような値となる。
S1 = 350/10000
S2 = 2000/10000
M = 750/10000
a = 0.023
b = S1 − a*ln(S1) = 0.112105
つまり、第1輝度変換では、SDRの輝度値が、平均輝度値(CAL)と第1最大輝度値(CPL)との間である場合、自然対数を用いて、当該HDRの輝度値に対応するディスプレイ輝度値を決定する。
HDR映像のコンテンツピーク輝度やコンテンツ平均輝度等の情報を用いてHDR映像を変換することにより、コンテンツに応じて変換式を変えることができ、HDRの階調をなるべく保つように変換することが可能となる。また、暗すぎる、明るすぎるといった悪影響を抑制することができる。具体的には、HDR映像のコンテンツピーク輝度をディスプレイピーク輝度にマッピングすることにより、階調をなるべく保つようにしている。また、平均輝度付近以下の画素値を変えないことにより、全体的な明るさが変わらないようにしている。
また、SDRディスプレイのピーク輝度値および表示モードを用いてHDR映像を変換することにより、SDRディスプレイの表示環境に応じて変換式を変えることができ、SDRディスプレイの性能に合わせて、HDR感のある映像(疑似HDR映像)を、元のHDR映像と同様の階調や明るさで表示することができる。具体的には、SDRディスプレイの最大輝度および表示モードによってディスプレイピーク輝度を決定し、そのピーク輝度値を超えないようにHDR映像を変換することにより、SDRディスプレイで表示可能な明るさまではHDR映像の階調をほとんど減らさずに表示し、表示不可能な明るさは表示可能な明るさまで輝度値を下げている。
以上により、表示不可能な明るさ情報を削減し、表示可能な明るさの階調を落とさず、元のHDR映像に近い形で表示することが可能となる。例えば、ピーク輝度1,000nitのディスプレイ用には、ピーク輝度1,000nitに抑えた疑似HDR映像に変換することにより、全体的な明るさを維持し、ディスプレイの表示モードによって輝度値は変わる。このため、ディスプレイの表示モードに応じて、輝度の変換式を変更するようにしている。もし、ディスプレイのピーク輝度よりも大きな輝度を疑似HDR映像で許容すると、その大きな輝度をディスプレイ側でのピーク輝度に置き換えて表示する場合があり、その場合は元のHDR映像よりも全体的に暗くなる。逆にディスプレイのピーク輝度よりも小さな輝度を最大輝度として変換すると、その小さな輝度をディスプレイ側でのピーク輝度に置き換え、元のHDR映像よりも全体的に明るくなる。しかもディスプレイ側のピーク輝度よりも小さいためにディスプレイの階調に関する性能を最大限使っていないことになる。
また、ディスプレイ側では、設定情報を用いて表示設定を切り替えることにより、疑似HDR映像をよりよく表示することが可能となる。例えば、明るさを暗く設定している場合には高輝度表示ができないため、HDR感が損なわれる。その場合には表示設定を変更するもしくは、変更してもらうよう促すメッセージを表示することにより、ディスプレイの性能を最大限引出し、高階調な映像を表示できるようにする。
Blu−rayなどのコンテンツにおいては、ビデオ信号と字幕やメニューなどのグラフィックス信号は独立のデータとして多重化される。再生時には、それぞれを個別に復号し、復号結果を合成して表示する。具体的には、ビデオのプレーンの上に、字幕やメニューのプレーンが重畳される。
ここで、ビデオ信号がHDRであっても、字幕やメニューなどのグラフィックス信号はSDRとなることがある。ビデオ信号のHPL→DPL変換においては、下記の(a)および(b)の2通りの変換が可能である。
(a)グラフィックスの合成後にHPL→DPL変換を実施する場合
1. グラフィックスのEOTFをSDRのEOTFからHDRのEOTFに変換する。
2. EOTF変換後のグラフィックスをビデオと合成する。
3. 合成結果に対して、HPL→DPL変換を実施する。
(b)グラフィックスの合成前にHPL→DPL変換を実施する場合
1. グラフィックスのEOTFをSDRのEOTFからHDRのEOTFに変換する。
2. ビデオに対してHPL→DPL変換を実施する。
3. EOTF変換後のグラフィックスとDPL変換後のビデオとを合成する。
なお、(b)の場合1と2の順番は入れ替わってもよい。
(a)および(b)のいずれの方式においても、グラフィックスのピーク輝度は100nitとなるが、例えば、DPLが1000nitのような高輝度である場合には、グラフィックスの輝度が100nitのままでは、HPL→DPL変換後のビデオに対して、グラフィックスの輝度が低下することがある。特に、ビデオに重畳される字幕が暗くなるなどの弊害が想定される。従って、グラフィックスについても、DPLの値に応じて、輝度を変換してもよい。例えば、字幕の輝度については、DPL値の何%の値に設定するなどを予め規定し、設定値に基づいて変換してもよい。メニューなどの字幕以外のグラフィックスについても同様に処理することができる。
以上では、HDR信号のみが格納されたHDRディスクの再生動作について説明した。
次に、HDR信号とSDR信号との両方が格納されたデュアルディスクに格納される多重化データについて図28を用いて説明する。図28は、デュアルディスクに格納される多重化データについて説明するための図である。
デュアルディスクでは、図28に示すように、HDR信号とSDR信号とがそれぞれ異なる多重化ストリームとして格納される。例えば、Blu−rayなどの光ディスクにおいては、M2TSと呼ばれるMPEG−2 TSベースの多重化方式により、ビデオやオーディオ、字幕、グラフィックスなど複数メディアのデータが1本の多重化ストリームとして格納される。これらの多重化ストリームは、プレイリストなどの再生制御用のメタデータから参照され、再生時にはプレーヤがメタデータを解析することで再生する多重化ストリーム、あるいは、多重化ストリームに格納される個別の言語のデータを選択する。本例では、HDR用とSDR用とのプレイリストを個別に格納し、それぞれのプレイリストがHDR信号、あるいは、SDR信号を参照するケースを示す。また、HDR信号とSDR信号の両方が格納されていることを示す識別情報などを別途示しても良い。
同一の多重化ストリームにHDR信号とSDR信号との両方を多重化することも可能であるが、MPEG−2 TSにおいて規定されるT−STD(System Target Decoder)などのバッファモデルを満たすように多重化する必要があり、特に、予め定められたデータの読み出しレートの範囲内で、ビットレートの高いビデオを2本多重化するのは困難である。このため、多重化ストリームを分離することが望ましい。
オーディオ、字幕、あるいはグラフィックスなどのデータは、それぞれの多重化ストリームに対して格納する必要があり、1本に多重化する場合に比べてデータ量が増加する。ただし、データ量の増加は、圧縮率の高いビデオ符号化方式を用いてビデオのデータ量を削減することができる。例えば、従来のBlu−rayにおいて使用していたMPEG−4 AVCを、HEVC(High Efficiency Video Coding)に変えることで、1.6〜2倍の圧縮率向上が見込まれる。また、デュアルディスクに格納するのは、2KのHDRとSDRとの組み合わせ、4KのSDRと2KのHDRとの組み合わせなど、2Kを2本、あるいは、2Kと4Kとの組合せとするなど、4Kを2本格納することは禁止することにより、光ディスクの容量に収まる組合せのみを許容してもよい。
本開示の変換方法では、HDR映像をSDRTVで表示する場合において、表示するSDRTVのピーク輝度が100nitを超える(通常200nit以上)ことを利用して、HDR映像を100nit以下のSDR映像に変換するのではなく、100nitを超える領域の階調をある程度保つよう変換し、元のHDRに近い疑似HDR映像に変換してSDRTVに表示させることができる「HDR→疑似HDR変換処理」を実現する。
また、変換方法では、SDRTVのディスプレイ特性(最高輝度、入出力特性、および表示モード)によって「HDR→疑似HDR変換処理」の変換方法を切り替えてもよい。
ディスプレイ特性情報の取得方法としては、(1)HDMIやネットワークを通して自動取得すること、(2)ユーザにメーカー名、品番等の情報入力させることで生成すること、および(3)メーカー名や品番等の情報を使ってクラウド等から取得することが考えられる。
また、変換装置500のディスプレイ特性情報の取得タイミングとしては、(1)疑似HDR変換する直前に取得すること、および(2)表示装置600(SDRTV等)と初めて接続する時(接続が確立した時)に取得することが考えられる。
また、変換方法では、HDR映像の輝度情報(CAL、CPL)によって変換方法を切り替えてもよい。
例えば、変換装置500のHDR映像の輝度情報の取得方法としては、(1)HDR映像に付随したメタ情報として取得すること、(2)ユーザにコンテンツのタイトル情報を入力させることで取得すること、および(3)ユーザに有力させた入力情報を使ってクラウド等から取得すること等が考えられる。
また、変換方法の詳細としては、(1)DPLを超えないように変換し、(2)CPLがDPLになるように変換し、(3)CALおよびその周辺以下の輝度は変更せず、(4)自然対数を用いて変換し、(5)DPLでクリップ処理をする。
また、変換方法では、疑似HDRの効果を高めるために、SDRTVの表示モード、表示パラメータなどの表示設定を、表示装置600に送信して切り替えることも可能であり、例えば、ユーザに表示設定を促すメッセージを画面に表示してもよい。
(実施の形態5)
[5−1.ディスクの種類]
以下、実施の形態3について説明する。上述のように、表示装置が高解像度化及び高輝度範囲化されることで、表示装置の仕様に合わせた複数種別のBlu−ray Discを提供する。図29は、BDの種類を示す図である。図30は、BDの種類をさらに詳細に示す図である。再生装置(Blu−ray機器)は、挿入されたBDに記録されたコンテンツを再生して表示装置に表示する。図29及び図30に示されるように、以下の実施の形態3においては、解像度が第1解像度であり、輝度範囲が第1輝度範囲である映像信号が記録されたBDは、2K_SDR対応BDと記載する(図30の(a))。解像度が第1解像度であり、輝度範囲が第1輝度範囲である映像信号は、BDにストリームとして格納される。このストリームは、2K_SDRストリームと記載する。2K_SDR対応BDは、従来のBDである。
また、解像度が第2解像度であり、輝度範囲が第1輝度範囲である映像信号が記録されたBDは、4K_SDR対応BDと記載する。解像度が第2解像度であり、輝度範囲が第1輝度範囲である映像信号は、BDにストリームとして格納される。このストリームは、4K_SDRストリームと記載する(図30の(b))。
同様に、解像度が第1解像度であり、輝度範囲が第2輝度範囲である映像信号が記録されたBDは、2K_HDR対応BDと記載する。解像度が第1解像度であり、輝度範囲が第2輝度範囲である映像信号は、BDにストリームとして格納される。このストリームは、2K_HDRストリームと記載する(図30の(d))。
また、解像度が第2解像度であり、輝度範囲が第2輝度範囲である映像信号が記録されたBDは、4K_HDR対応BDと記載する。解像度が第2解像度であり、輝度範囲が第2輝度範囲である映像信号は、BDにストリームとして格納される。このストリームは、4K_HDRストリームと記載する(図30の(e))。
なお、第1解像度は、例えば、所謂2K(1920x1080、2048x1080)の解像度であるが、このような解像度を含む任意の解像度であってよい。実施の形態3においては、第1解像度を単に2Kと記載する場合がある。
また、第2解像度は、所謂4K(3840x2160、4096x2160)の解像度であるが、このような解像度を含む任意の解像度であってよい。第2解像度は、第1解像度より画素数が多い解像度である。
なお、第1輝度範囲は、例えば、これまで説明したSDR(ピーク輝度が100nitの輝度範囲)である。第2輝度範囲は、例えば、これまで説明したHDR(ピーク輝度が100nitを超える輝度範囲)である。第2輝度範囲は、第1輝度範囲を全て含み、第2輝度範囲のピーク輝度は、第1輝度範囲のピーク輝度よりも大きい。
図30の(c)、(f)、(g)、及び(h)に示されるように、1枚のBDで複数の映像表現に対応したデュアルストリームディスクが考えられる。デュアルストリームディスクは、同一のコンテンツを再生するための複数の映像信号であって、解像度及び輝度範囲の少なくとも一方が異なる複数の映像信号が記録されたBDである。
具体的には、図30の(c)に示されるデュアルストリームディスクは、4K_SDRストリームと、2K_SDRストリームとが記録されたBDである。図30の(f)に示されるデュアルストリームディスクは、2K_HDRストリームと、2K_SDRストリームとが記録されたBDである。
図30の(g)に示されるデュアルストリームディスクは、4K_HDRストリームと、4K_SDRストリームとが記録されたBDである。図30の(h)に示されるデュアルストリームディスクは、4K_HDRストリームと、2K_SDRストリームとが記録されたBDである。
なお、図30の(c)に示されるデュアルストリームディスクは、Blu−ray機器が4Kから2Kの解像度のダウンコンバージョン(以下、ダウンコンバートとも記載する)を行うことが可能であるため、必須でない。
[5−2.ディスクの種類の詳細]
図31は、デュアルストリームディスクを含む各BDに対し、各ディスクに記録された、ビデオストリームとグラフィックストリームとの組み合わせの一例を示す図である。
図31では、コンテンツの制作の手間を考慮して、グラフィックストリームは、対応するビデオストリームの解像度及び輝度範囲によらず、解像度が2K、かつ、輝度範囲がSDRで記録する。2K_SDRストリーム、4K_SDRストリーム、2K_HDRストリーム、及び、4K_HDRストリーム全てで、グラフィックストリームを共有することができる。この場合は、グラフィックストリームの解像度の2Kから4Kへの変換、及び、グラフィックストリームの輝度範囲のSDRからHDRへの変換は、いずれもBlu−ray機器で実行される。
この場合、図32に示すように、Blu−ray機器でSDRからHDRへの変換を行うため、Java側に制約が無く、全ての機能が使える。
図33は、図31に示すグラフィックストリームの詳細を示す図である。図33に示す例では、HDRビデオストリームに対してもSDRグラフィック(PG、IG、Java Graphics、Java Drawing)が使用される。この場合、Javaの描画コマンド(Java Drawing)を含む全ての機能が制約を受けない。具体的には、Blu−ray機器でSDRからHDRへの変換を行うため、Java側に制約が無く、全ての機能が使える。
図34は、デュアルストリームディスクを含む各BDに対し、各ディスクに記録された、ビデオストリームとグラフィックストリームとの組み合わせの一例を示す図である。
図34は、コンテンツ(BD)の制作の手間を考慮して、グラフィックストリームは、対応するビデオストリームの解像度によらず、解像度が2Kで記録する。2K_SDRストリームと4K_SDRストリームとで、グラフィックストリームを共有することができる。ただし、グラフィックストリームは、対応するビデオストリームの輝度範囲に合わせた輝度範囲で記録する。ビデオストリームがHDRの場合は、HDRのグラフィックスストリームを記録する。ビデオストリームがSDRの場合は、SDRのグラフィックスストリームを記録する。グラフィックストリームのSDRからHDRへの変換は、コンテンツの制作時に行う。
図35は図34に示すグラフィックストリームの詳細を示す図である。
SDRのグラフィックストリームとHDRのグラフィックストリームとは、グラフィックストリームの基本スペックは同一であるが、HDRのグラフィックストリームにおいては、Javaの色空間(4K用のBT 2020)、EOTF(HDR用のEOTF)等の制約がある。このため、Java描画コマンドをそのまま使うことができない。
つまり、4K_SDR対応BD、2K_HDR対応BD、及び、4K_HDR対応BDにおいては、Java描画コマンドを抑止する必要がある。
なお、色及び輝度の値の指定において、EOTF変換(SDR−>HDR)、カラー空間(BT709−>BT2020)変換等の結果を想定した値を指定することにより、Java描画コマンドを利用することも可能である。
この場合、ビデオストリームがSDRとHDRのどちらか、あるいは、色空間がBT709とBT2020のどちらであるかに応じて、異なるグラフィックスストリームを作成する必要があり、コンテンツの制作が困難である。そこで、メニューをSDRとして、本編及び字幕のみをHDRにするほうが解りやすい。
つまり、図36に示すように、字幕(PG)以外の使用を禁止したほうが、オーサリングも楽になり、ユーザにも解りやすくなる。但し、この場合は、Javaを使って通常表示すること、及び、ビデオストリームの再生中に、映像にオーバーレイして表示するPopupメニューを出すことができない。
また、図37に示すように、2K_HDR Graphics Streamの場合には、Java側に制約が掛かるため字幕(PG)のみが格納される。
別の例として、図38に示すように、HDRビデオ再生の場合は、JavaではなくHDMVモードを使い、IGでPopupメニューを表示してもよい。これにより、Javaを使ったPopupメニューを出すことができないが、HDMVモードを使ったIGでPopupメニューを表示できる。
[5−3.再生装置の動作]
以下、再生装置(データ再生装置)として、SDR信号のグラフィックスをHDR信号のグラフィックスに変換して出力する機能があるタイプと、当該機能が無いタイプの2種類が存在する場合を説明する。このような再生装置では、ビデオ映像としてHDR信号を扱いつつも、そのビデオに重畳するメニュー及び字幕などのグラフィックスに関してはSDR信号又はHDR信号が扱われる。
この場合、変換出力機能が無いタイプの再生装置(プレーヤ)では、例えば、グラフィックスはSDR信号のままで処理される。これにより、再生映像品位が低くなる、又は、メニュー又は字幕の輝度がコンテンツ作成者の意図と異なるものとなり、ユーザに視認しにくいという課題が起こりうる。この課題を解決するため、コンテンツ制作側でHDR信号のグラフィックスコンテンツとSDR信号のグラフィックスコンテンツとの両方のグラフィックスコンテンツを準備し、ブルーレイディスクとして提供することが考えられる。
なお、再生装置とは、BD機器等のプレーヤに限らず、TV等の表示装置であってもよい。
図39は、再生装置の処理を示すフローチャートである。再生装置は、ディスク内に記憶されている、BD−J(BD−Java)又はHDMVと呼ばれる再生制御プログラミング言語で記述された再生制御プログラムを読み出し、当該再生制御プログラムを実行する。この再生制御プログラムにより、図39に示す処理が実行される。
まず、再生制御プログラムは、メニューを再生し、本編映像の再生選択メニューをユーザに提示する。ここでユーザがHDR信号の本編映像の再生を指定した場合、再生制御プログラムは、再生装置が、HDRグラフィックスに対応しているか(HDRグラフィックスを処理する機能を有するか)を判断する(S401)。
再生装置が、HDRグラフィックスに対応している場合(S401でYes)、再生制御プログラムは、HDR信号のグラフィックスコンテンツを再生する(S403)。
一方、再生装置が、HDRグラフィックスに対応していない場合(S401でNo)、再生制御プログラムは、再生装置が、SDR信号のグラフィックスをHDR信号のグラフィックスに変換する機能を有するか否かを判定する(S402)。具体的には、再生制御プログラムは、再生装置のレジスタ値を確認する。例えば、プレイヤーレジスタの25番(PSR25と呼ばれる32ビット長のレジスタ)により、SDR信号グラフィックスをHDR信号グラフィックスとして変換して出力する機能があるか否かが示される。再生制御プログラムは、このレジスタの値を確認することで、再生装置が変換出力機能を有するか否かを判定する。
変換出力機能を有する再生装置では(S402でYes)、再生制御プログラムは、SDR信号のグラフィックスをHDR信号のグラフィックスへ変換して出力するために準備されたプレイリスト#Aを再生する。これにより、再生装置は、SDR信号のグラフィックスをHDR信号のグラフィックスへ変換しながら変換後のHDR信号のグラフィックスを出力する(S404)。
一方、変換出力機能がない再生装置では(S402でNo)、再生制御プログラムは、この変換処理が不要なように準備された擬似的なHDR信号グラフィックス信号を含むプレイリスト#Bを再生する。具体的には、再生装置は、HDR信号用に準備されたCLUTを用いて字幕とHDMVメニューを再生する(S405)。
ここで、ブルーレイディスクでは、字幕(Presentation Graphics)と、BD−Jによるメニューなどのグラフィックス(BD−J Graphics)と、HDMVによるメニューなどのグラフィックス(Interactive Graphics)との3種類のグラフィックスが利用できる。上記のように、変換出力機能の有無に応じてプレイリストが選択され、再生される場合、変換出力機能が無い再生装置向けのプレイリストでは、字幕(Presentation Graphics)、及びHDMVによるメニュー(Interactive Graphics)に用いられるCLUT(インデックス番号と色および輝度との対応関係が定義された色変換テーブル)を工夫する。具体的には、再生装置は、SDR信号のグラフィックスを出力する場合には、SDR信号用に準備されたCLUTを用い、HDR信号のグラフィックスを出力する場合には、HDR信号用に準備された別のCLUTを用いる。つまり、Javaでは色空間の制限があるためHDRに容易に対応することはできないが、字幕及びHDMVのよるメニューでは、HDR用のCLUTを用いることで、HDRの輝度範囲に対応することができる。これにより、SDR信号グラフィックスをHDR信号グラフィックスへ変換処理ができない再生装置において、メニュー及び字幕のグラフィックス映像が視認しにくいという問題を安価に回避することが可能となる。
以上のように、本実施の形態に係る再生装置は、第1輝度範囲(HDR)の映像にグラフィックスを重畳して表示する。
再生装置は、当該再生装置が、第1輝度範囲(HDR)より狭い第2輝度範囲(SDR)の第1グラフィックスを第1輝度範囲(HDR)の第2グラフィックスに変換する機能を有するか否かを判定する(S402)。具体的には、再生装置が再生制御プログラムを実行することで、再生装置が上記機能を有するか否かが判定される。また、再生制御プログラムが、再生装置が上記機能を有するか否かを示す情報が格納されているレジスタを確認することで、再生装置が上記機能を有するか否かを判定する。また、再生装置は、第1輝度範囲(HDR)の映像と、第2輝度範囲(SDR)の第1グラフィックスと、再生制御プログラムとをディスクから取得する。
再生装置は、当該再生装置が上記機能を有する場合、第1グラフィックスを第2グラフィックスに変換し、映像に第2グラフィックスを重畳して表示する(S404)。
また、再生装置は、再生装置が上記機能を有さない場合、映像に第2グラフィックスとは異なる第3グラフィックスを重畳して表示する。具体的には、再生装置は、第1輝度範囲用の色変換テーブルを用いて第3グラフィックスを生成する(S405)。ここで、第1輝度範囲(HDR)用の色変換テーブル(CLUT)では、各番号に対応付けられた対応色が第1輝度範囲に含まれる。言い換えると、当該色変換テーブルは、第2輝度範囲(SDR)に含まれず、かつ、第1輝度範囲に含まれる輝度値を表現できる。
なお、再生装置は、再生装置が上記機能を有さない場合、グラフィックスの変換処理を行わず、映像に、第2輝度範囲(SDR)の第1グラフィックスを重畳して表示してもよい。つまり、上記第3グラフィックスは、第1グラフィックスであってもよい。
以上、説明したように、基本の2KかつSDR映像に加え、4KかつSDR映像の場合、2KかつHDR映像の場合、4KかつHDR映像の場合の4つの場合が存在する。これにより、複雑なオーサリング作業及び再生機器での内部処理が必要になる。
さらにHDR映像を格納したBlu−rayの場合、字幕及びメニュー用グラフィックス、Java用グラフィックス、Java用描画処理等をHDRコンテンツとして処理すると、JavaではHDRの色空間の定義が無いため表示できない等の各種制約が掛かる。
本実施の形態では、再生装置(プレーヤ)がグラフィックスをSDRからHDRへ変換する機能を有する場合と、有さない場合とに分け、再生装置が変換機能を有する場合は、全てのグラフィックス関連の処理をSDR信号で行い、その結果をSDRからHDRへ変換し、得られたHDRのグラフィックスをHDRのビデオとを合成する。これにより、Java等を用いた全ての処理が可能になるとともに、高品質のグラフィックスを提供できる。
一方で、再生装置が変換機能を有さない場合は、HDRではJavaの処理が不可能なため、Popupメニュー等の処理ができない。このため、JavaからHDMVモードを呼び出し、HDMVモードでHDRグラフィック(字幕、Popupメニュー等)の処理を行うことで、HDR映像であっても、SDRと同じようなユーザ経験を、簡単なオーサリング処理で実現できる。
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
以上、本開示の一つまたは複数の態様に係る変換方法および変換装置について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、異なる実施の形態における構成要素を組み合わせて構築される形態なども、本開示の一つまたは複数の態様の範囲内に含まれてもよい。