JP2017139511A - コンテンツデータ生成方法、映像ストリーム伝送方法及び映像表示方法 - Google Patents
コンテンツデータ生成方法、映像ストリーム伝送方法及び映像表示方法 Download PDFInfo
- Publication number
- JP2017139511A JP2017139511A JP2015104893A JP2015104893A JP2017139511A JP 2017139511 A JP2017139511 A JP 2017139511A JP 2015104893 A JP2015104893 A JP 2015104893A JP 2015104893 A JP2015104893 A JP 2015104893A JP 2017139511 A JP2017139511 A JP 2017139511A
- Authority
- JP
- Japan
- Prior art keywords
- hdr
- luminance
- display
- video
- metadata
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】更なる改善を実現することができるコンテンツデータ生成方法、映像ストリーム伝送方法、又は映像表示方法を提供する。
【解決手段】方法は、映像信号と、映像信号の連続再生単位に含まれる複数の画像に対して共通に用いられる情報であって、映像信号の輝度範囲に関する情報を含む第1メタデータを生成する第1生成ステップと、連続再生単位と第1メタデータとを関連付けることによりコンテンツデータを生成する第2生成ステップを含む。
【選択図】図10
【解決手段】方法は、映像信号と、映像信号の連続再生単位に含まれる複数の画像に対して共通に用いられる情報であって、映像信号の輝度範囲に関する情報を含む第1メタデータを生成する第1生成ステップと、連続再生単位と第1メタデータとを関連付けることによりコンテンツデータを生成する第2生成ステップを含む。
【選択図】図10
Description
本開示は、コンテンツデータを生成するコンテンツデータ生成方法、映像ストリームを伝送する映像ストリーム伝送方法、及び、映像ストリームに基づき映像を表示する映像表示方法生方法に関する。
従来、表示可能な輝度レベルを改善するための画像信号処理装置が開示されている(例えば特許文献1参照)。
しかしながら、上記特許文献では、更なる改善が必要とされていた。
本開示の一態様に係るコンテンツデータ生成方法は、コンテンツデータを生成するコンテンツデータ生成方法であって、映像信号と、前記映像信号の連続再生単位に含まれる複数の画像に対して共通に用いられる情報であって、前記映像信号の輝度範囲に関する情報を含む第1メタデータを生成する第1生成ステップと、前記連続再生単位と前記第1メタデータとを関連付けることにより前記コンテンツデータを生成する第2生成ステップを含む。
また、本開示の一態様に係る映像ストリーム伝送方法は、映像ストリームを伝送する映像ストリーム伝送方法であって、映像信号と、前記映像信号の連続再生単位に含まれる複数の画像に対して共通に用いられる情報であって、前記映像信号の輝度範囲に関する情報を含む第1メタデータとを含むコンテンツデータを取得する取得ステップと、前記映像信号に対応する前記映像ストリームと、前記第1メタデータとを伝送する伝送ステップとを含む。
また、本開示の一態様に係る映像表示方法は、映像ストリームに基づき映像を表示する映像表示方法であって、映像信号に対応する前記映像ストリームと、前記映像信号の連続再生単位に含まれる複数の画像に対して共通に用いられる情報であって、前記映像信号の輝度範囲に関する情報を含む第1メタデータとを取得する第1取得ステップと、前記第1メタデータに基づき、前記映像信号に対応する映像の表示方法を決定して表示する表示ステップとを含む。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
本開示は、更なる改善を実現することができるコンテンツデータ生成方法、映像ストリーム伝送方法、又は映像表示方法を提供できる。
本発明の一態様に係るコンテンツデータ生成方法は、コンテンツデータを生成するコンテンツデータ生成方法であって、映像信号と、前記映像信号の連続再生単位に含まれる複数の画像に対して共通に用いられる情報であって、前記映像信号の輝度範囲に関する情報を含む第1メタデータを生成する第1生成ステップと、前記連続再生単位と前記第1メタデータとを関連付けることにより前記コンテンツデータを生成する第2生成ステップを含む。
これによれば、当該コンテンツデータ生成方法は、連続再生単位で共通に用いられる第1メタデータを適正に含むコンテンツデータを生成できる。
例えば、前記映像信号における輝度値は、コード値として符号化されており、前記輝度範囲に関する前記情報は、複数の輝度値と複数のコード値とを関係付けたEOTF(Electro−Optical Transfer Function)を特定するための情報であってもよい。
例えば、前記第1メタデータは、さらに、前記映像信号における白色に相当する輝度値を示す情報を含んでもよい。
例えば、前記第1生成ステップでは、前記コンテンツデータをHEVC(High Efficiency Video Coding)により符号化した映像ストリームとして生成し、前記EOTFを特定するための前記情報を、前記映像ストリームに含まれるSPS(Sequence Parameter Set)に格納してもよい。
例えば、前記連続再生単位は、プレイリスト単位であり、前記生成ステップでは、前記第1メタデータを、各プレイリストに対応付けて格納してもよい。
これによれば、当該コンテンツデータ生成方法は、例えば、パッケージメディアに適したコンテンツデータを生成できる。
例えば、前記第1生成ステップでは、前記映像信号を映像ストリームとして生成し、前記第1メタデータを、前記映像ストリームの取得に先立って参照されるマニフェストファイルに格納してもよい。
これによれば、当該コンテンツデータ生成方法は、例えば、OTTに適したコンテンツデータを生成できる。
例えば、前記第1生成ステップでは、前記コンテンツデータを映像ストリームとして生成し、前記第1メタデータを前記映像ストリームの属性を示す識別子として前記映像ストリームとは独立に格納してもよい。
これによれば、当該コンテンツデータ生成方法は、例えば、放送に適したコンテンツデータを生成できる。
例えば、前記連続再生単位は、タイトル単位であり、前記第1生成ステップでは、前記第1メタデータを、タイトルの属性を示す管理情報として格納してもよい。
例えば、前記第1生成ステップでは、前記連続再生単位より細かい単位に含まれる複数の画像に対して共通に用いられる情報であって、前記映像信号の輝度範囲に関する情報である第2メタデータをさらに生成してもよい。
これによれば、当該コンテンツデータ生成方法は、第1メタデータに加え、連続再生単位より細かい単位に対する第2メタデータを含むコンテンツデータを生成できる。
例えば、前記第1メタデータは、複数のバージョンを有し、前記複数のバーションで共通に用いられる基本部と、前記複数のバージョンで異なる拡張部とを含んでもよい。
これによれば、基本部に基づいて、表示装置における後方互換性を確保できる。
また、本開示の一態様に係る映像ストリーム伝送方法は、映像ストリームを伝送する映像ストリーム伝送方法であって、映像信号と、前記映像信号の連続再生単位に含まれる複数の画像に対して共通に用いられる情報であって、前記映像信号の輝度範囲に関する情報を含む第1メタデータとを含むコンテンツデータを取得する取得ステップと、前記映像信号に対応する前記映像ストリームと、前記第1メタデータとを伝送する伝送ステップとを含む。
これによれば、当該映像ストリーム伝送方法は、連続再生単位で共通に用いられる第1メタデータを含むコンテンツデータを適切に伝送できる。
例えば、前記伝送ステップでは、HDMI(登録商標)(High−Definition Multimedia Interface)の通信プロトコルに従い、前記映像ストリームと前記第1メタデータとを伝送してもよい。
例えば、前記連続再生単位はプレイリスト単位であり、前記伝送ステップでは、プレイリストを構成する映像信号の伝送開始に先立って、当該プレイリストに対応する前記第1メタデータを取得し、取得した前記第1メタデータを前記HDMIの制御情報として伝送してもよい。
例えば、前記連続再生単位はタイトル単位であり、前記伝送ステップでは、タイトルを構成する映像信号の伝送開始に先立って、当該タイトルに対応する前記第1メタデータを取得し、取得した前記第1メタデータを前記HDMIの制御情報として伝送してもよい。
例えば、前記第1メタデータを格納するためのコンテナのデータ構造が規定されており、前記伝送ステップでは、前記コンテンツデータに含まれる前記第1メタデータを、前記コンテナのペイロードにコピーし、当該コンテナを伝送してもよい。
これによれば、メタデータのシンタックスが更新された場合でも再生装置を変更せずに対応できる。
例えば、前記伝送ステップでは、前記HDMIにおける初期化時に、初期化情報として前記第1メタデータを伝送してもよい。
また、本開示の一態様に係る映像表示方法は、映像ストリームに基づき映像を表示する映像表示方法であって、映像信号に対応する前記映像ストリームと、前記映像信号の連続再生単位に含まれる複数の画像に対して共通に用いられる情報であって、前記映像信号の輝度範囲に関する情報を含む第1メタデータとを取得する第1取得ステップと、前記第1メタデータに基づき、前記映像信号に対応する映像の表示方法を決定して表示する表示ステップとを含む。
これによれば、当該映像表示方法は、連続再生単位で共通に用いられる第1メタデータを用いて適切に映像を表示できる。
例えば、前記映像表示方法は、さらに、前記映像ストリームから、前記連続再生単位より細かい単位に対して共通に用いられる情報であって、前記映像信号の輝度範囲に関する情報である第2メタデータを取得する第2取得ステップを含み、前記表示ステップでは、前記第1メタデータに基づき決定された表示方法を、前記第2メタデータに基づき決定された表示方法に更新してもよい。
これによれば、当該映像表示方法は、第1メタデータと、連続再生単位より細かい単位に対する第2メタデータと用いて適切に映像を表示できる。
例えば、前記第1取得ステップで前記第1メタデータを取得できない場合、前記表示ステップでは、予め定められた値または設定に基づき、前記表示方法を決定してもよい。
これによれば、当該映像表示方法は、第1メタデータが取得できない場合でも適切に映像を表示できる。
例えば、前記映像信号における輝度値は、コード値として符号化されており、前記輝度範囲に関する前記情報は、複数の輝度値と複数のコード値とを関係付けたEOTF(Electro−Optical Transfer Function)を特定するための情報を含み、前記表示ステップでは、前記第1メタデータで特定される前記EOTFを用いて、前記映像信号で示されるコード値を輝度値に変換することで前記映像を生成してもよい。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
また、上記特徴に関しては、主に、[10.HDRメタデータ]、[11.静的HDRメタデータの伝送方法]及び[12.HDRメタデータの処理方法]において説明する。
また、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素。構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
(実施の形態)
[1.背景]
従来の画像信号より輝度範囲が高い画像信号であるHDR(High Dynamic Range)信号は、HDR信号を格納したBlu−ray(登録商標)ディスク等のパッケージメディア、放送、又はOTT(Over The Top)等の配信媒体経由で配信される。ここで、OTTとは、インターネット上で提供されるWebサイト、動画或いは音声などのコンテンツ或いはサービス、又はそれらを提供する事業者を意味する。配信されたHDR信号は、Blu−ray機器等により復号される。また、復号されたHDR信号は、HDR対応表示装置(TV、プロジェクタ、タブレット、又はスマートフォン等)に送られ、HDR対応表示装置によりHDR映像が再生される。
[1.背景]
従来の画像信号より輝度範囲が高い画像信号であるHDR(High Dynamic Range)信号は、HDR信号を格納したBlu−ray(登録商標)ディスク等のパッケージメディア、放送、又はOTT(Over The Top)等の配信媒体経由で配信される。ここで、OTTとは、インターネット上で提供されるWebサイト、動画或いは音声などのコンテンツ或いはサービス、又はそれらを提供する事業者を意味する。配信されたHDR信号は、Blu−ray機器等により復号される。また、復号されたHDR信号は、HDR対応表示装置(TV、プロジェクタ、タブレット、又はスマートフォン等)に送られ、HDR対応表示装置によりHDR映像が再生される。
ここで、HDR信号のHDR方式には、将来的に新たな別の方式が設けられ、これに伴い、HDR信号に、メタデータまたはEOTF(後述)を最適化するための新たな別の情報を格納する必要が生じうる。
本開示では、将来的に新たなHDR方式が設けられ、新たな方式のHDR信号が配信媒体に提供された場合においても、配信媒体用の復号装置(例えばBlu−ray機器)を変える必要がなく、かつ、新たな方式のHDR信号を矛盾なく生成でき、かつ、新たな方式のHDR信号をHDR対応表示装置に転送できるシステムを実現する。
まず、映像技術の変遷について、図1を用いて説明する。図1は、映像技術の進化について説明するための図である。
これまで、映像の高画質化としては、表示画素数の拡大に主眼がおかれ、Standard Definition(SD)の720×480画素の映像から、High Definition(HD)の1920×1080画素の、所謂2K映像が普及している。
近年、映像の更なる高画質化を目指して、Ultra High Definitio
n(UHD)の3840×1920画素、あるいは、4Kの4096×1920画素の、所謂4K映像の導入が開始された。
n(UHD)の3840×1920画素、あるいは、4Kの4096×1920画素の、所謂4K映像の導入が開始された。
そして、4Kの導入による映像の高解像度化を行うと共に、ダイナミックレンジ拡張や色域の拡大、あるいは、フレームレートの追加、向上などを行うことで映像を高画質化することが検討されている。
その中でも、ダイナミックレンジについては、従来の映像における暗部階調を維持しつつ、現行のTV信号では表現不能な鏡面反射光などの明るい光を、より現実に近い明るさで表現するために最大輝度値を拡大した輝度範囲に対応させた方式として、HDR(High Dynamic Range)が注目されている。具体的には、これまでのTV信号が対応している輝度範囲の方式は、SDR(Standard Dynamic Range)と呼ばれ、最大輝度値が100nitであったのに対して、HDRでは1000nit以上まで最大輝度値を拡大することが想定されている。HDRは、SMPTE(Society of Motion Picture & Television Engineers)やITU−R(International Telecommunications Union Radiocommunications Sector)などにおいて、標準化が進行中である。
HDRの具体的な適用先としては、HDやUHDと同様に、放送やパッケージメディア(Blu−ray(登録商標) Disc等)、インターネット配信などで使われることが想定されている。
なお、以下では、HDRに対応した映像において、当該映像の輝度は、HDRの輝度範囲の輝度値からなり、当該映像の輝度値が量子化されることで得られた輝度信号をHDR信号と呼ぶ。SDRに対応した映像において、当該映像の輝度は、SDRの輝度範囲の輝度値からなり、当該映像の輝度値が量子化されることで得られた輝度信号をSDR信号と呼ぶ。
[2.HDR導入時のマスター、配信方式、および表示装置の関係]
図2は、SDRとHDRのホームエンターテイメント用マスターを制作するフローと、配信媒体及び表示装置の関係を示す図である。
図2は、SDRとHDRのホームエンターテイメント用マスターを制作するフローと、配信媒体及び表示装置の関係を示す図である。
HDRのコンセプトは提案されており、HDRのコンセプトレベルでの有効性は確認されている。また、HDRの最初の実施方法が提案されている。ただし、この方法を使ってHDRコンテンツが大量に作られ、最初の実施方法の実証が行われたわけではない。このため、今後HDRコンテンツの制作が本格化した場合、現状のHDRのマスター方式が変わる可能性がある。
[3.EOTFの使い方]
図3は、コンテンツに格納される輝度信号のコード値の決定方法、および、再生時にコード値から輝度値を復元するプロセスの説明図である。
図3は、コンテンツに格納される輝度信号のコード値の決定方法、および、再生時にコード値から輝度値を復元するプロセスの説明図である。
本例における輝度を示す輝度信号はHDRに対応したHDR信号である。グレーディング後の画像は、HDRの逆EOTFにより量子化され、当該画像の輝度値に対応するコード値が決定する。このコード値に基づいて画像符号化などが行われ、ビデオのストリームが生成される。再生時には、ストリームの復号結果に対して、HDRのEOTFに基づいて逆量子化することによりリニアな信号に変換され、画素毎の輝度値が復元される。以下、HDRの逆EOTFを用いた量子化を「逆HDRのEOTF変換」という。HDRのEOTFを用いた逆量子化を「HDRのEOTF変換」という。同様に、SDRの逆EOTFを用いた量子化を「逆SDRのEOTF変換」という。SDRのEOTFを用いた逆量子化を「SDRのEOTF変換」という。
このように、HDRマスターの方式は、EOTF及びメタデータとHDR信号との組み合わせにより実現されている。よって、より効率的なEOTF及びメタデータが開発され、そのようなEOTF及びメタデータを用いたHDR方式を採用すべき時が来る可能性がある。
但し、この新たな方式がどのようなものになるかは、現時点では解らないが、EOTFが変更される可能性とメタデータが追加される可能性とは想像できる。この場合、HDR信号自体も変わる。
本開示は、このようにHDRの伝送フォーマットが変更された場合でも、HDR対応機器を買ったお客様が新たな機器を買いなおすリスクを下げることで、HDRの普及を図ることを目指している。
[4.ディスクの種類]
上述のように、表示装置が高解像度化及び高輝度範囲化されることで、表示装置の仕様に合わせた複数種別のBlu−ray Disc(以下、BDと記載する)を提供する。図4は、BDの種類を示す図である。図4に示されるように、以下では、解像度が第1解像度であり、輝度範囲が第1輝度範囲である映像信号が記録されたBDは、2K_SDR対応BDと記載する。解像度が第1解像度であり、輝度範囲が第1輝度範囲である映像信号は、BDにストリームとして格納される。このストリームは、2K_SDRストリームと記載する。2K_SDR対応BDは、従来のBDはである。
上述のように、表示装置が高解像度化及び高輝度範囲化されることで、表示装置の仕様に合わせた複数種別のBlu−ray Disc(以下、BDと記載する)を提供する。図4は、BDの種類を示す図である。図4に示されるように、以下では、解像度が第1解像度であり、輝度範囲が第1輝度範囲である映像信号が記録されたBDは、2K_SDR対応BDと記載する。解像度が第1解像度であり、輝度範囲が第1輝度範囲である映像信号は、BDにストリームとして格納される。このストリームは、2K_SDRストリームと記載する。2K_SDR対応BDは、従来のBDはである。
また、解像度が第2解像度であり、輝度範囲が第1輝度範囲である映像信号が記録されたBDは、4K_SDR対応BDと記載する。解像度が第2解像度であり、輝度範囲が第1輝度範囲である映像信号は、BDにストリームとして格納される。このストリームは、4K_SDRストリームと記載する。
同様に、解像度が第1解像度であり、輝度範囲が第2輝度範囲である映像信号が記録されたBDは、2K_HDR対応BDと記載する。解像度が第1解像度であり、輝度範囲が第2輝度範囲である映像信号は、BDにストリームとして格納される。このストリームは、2K_HDRストリームと記載する。
また、解像度が第2解像度であり、輝度範囲が第2輝度範囲である映像信号が記録されたBDは、4K_HDR対応BDと記載する。解像度が第2解像度であり、輝度範囲が第2輝度範囲である映像信号は、BDにストリームとして格納される。このストリームは、4K_HDRストリームと記載する。
なお、第1解像度は、例えば、所謂2K(1920x1080、2048x1080)の解像度であるが、このような解像度を含む任意の解像度であってよい。以下では、第1解像度を単に2Kと記載する場合がある。
また、第2解像度は、所謂4K(3840x2160、4096x2160)の解像度であるが、このような解像度を含む任意の解像度であってよい。第2解像度は、第1解像度より画素数が多い解像度である。
なお、第1輝度範囲は、例えば、これまで説明したSDR(ピーク輝度が100nitの輝度範囲)である。第2輝度範囲は、例えば、これまで説明したHDR(ピーク輝度が100nitを超える輝度範囲)である。第2輝度範囲は、第1輝度範囲を全て含み、第2輝度範囲のピーク輝度は、第1輝度範囲のピーク輝度よりも大きい。
図5は、バージョンの異なるHDRストリームを格納したディスクの組み合わせを説明するための図である。図5に示すように、HDRストリームに複数のバージョンが存在する場合には、各HDRストリームには、当該HDRストリームのバージョンを示すバージョン識別子が付与される。
[5.Blu−ray機器の処理1]
上述のように、各種BDと、これらに対応した表示装置が混在すると、Blu−ray機器は、当該Blu−ray機器に挿入されたBDが、当該Blu−ray機器に接続された表示装置において適切に表示されるように処理を行う必要がある。ここでの処理には、例えば、輝度範囲のHDRからSDRへの変換、解像度の2Kから4Kへのアップコンバート、及び、解像度の4Kから2Kへのダウンコンバートなどが含まれる。
上述のように、各種BDと、これらに対応した表示装置が混在すると、Blu−ray機器は、当該Blu−ray機器に挿入されたBDが、当該Blu−ray機器に接続された表示装置において適切に表示されるように処理を行う必要がある。ここでの処理には、例えば、輝度範囲のHDRからSDRへの変換、解像度の2Kから4Kへのアップコンバート、及び、解像度の4Kから2Kへのダウンコンバートなどが含まれる。
そして、上記のような処理が可能な新型のBlu−ray機器は、表示装置に映像信号を送るときには、HDMI(登録商標)規格及びHDCP規格を適切に選択する必要がある。具体的には、Blu−ray機器は、3組のHDMI/HDCP規格(HDMI1.4/HDCP1.4、HDMI2.0/HDCP2.1、HDMI2.1/HDCP2.2)をサポートし、表示装置の種別に応じて、使用するHDMI/HDCP規格のバージョンを選択する。
図6は、各種BDと、各種表示装置とに対応してBlu−ray機器が行う処理内容を示す模式図である。
図6に示されるように、Blu−ray機器300は、当該Blu−ray機器(再生装置)に接続された表示装置の種別に応じて、HDMIのバージョン、及び、HDCPのバージョンのそれぞれを選択する。また、Blu−ray機器300は、取得された映像信号をデコードし、デコードされた映像信号を、選択されたバージョンのHDCPを用いて暗号化し、かつ、選択されたバージョンのHDMIを用いて表示装置に出力する。
なお、Blu−ray機器300は、例えば、Blu−ray機器300と表示装置とを接続するHDMIケーブルを通じて表示装置の種別を当該表示装置から取得する。また、表示装置の種別は、実施の形態1で説明したディスプレイ特性情報に含まれてもよい。また、ユーザがマニュアル操作でディスプレイ特性情報を、Blu−ray機器300に設定してもよい。なお、図示されないが、Blu−ray機器300は、表示装置の種別を取得する第一取得部を備えてもよい。
また、表示装置の種別は、具体的には、2K_SDR対応TV、4K_SDR対応TV、2K_HDR対応TV、及び、4K_HDR対応TVのうちの一つである。つまり、表示装置の種別は、解像度が上記第1解像度であり、かつ、上記第1輝度範囲に対応した表示装置を示す第1種別と、解像度が上記第2解像度であり、かつ、上記第1輝度範囲に対応した表示装置を示す第2種別と、解像度が上記第1解像度であり、かつ、上記第2輝度範囲に対応した表示装置を示す第3種別と、解像度が上記第2解像度であり、かつ、上記第2輝度範囲に対応した表示装置を示す第4種別の中の一つである。
例えば、Blu−ray機器300に、2K_SDR対応TVが接続されているときには、Blu−ray機器300は、HDMI1.4とHDCP1.4とを使用して映像信号を出力する。つまり、Blu−ray機器300は、デコードされた映像信号を、HDCP1.4を用いて暗号化し、かつ、HDMI1.4に対応する通信プロトコルを用いて2K_SDR対応TVに出力する。なお、HDMI2.0に対応する通信プロトコルとは、言い換えれば、HDMI2.0において規定される通信プロトコルである。
このとき、挿入されたBDが4K_SDR対応BDである場合は、解像度のダウンコンバートが必要であり、挿入されたBDが2K_HDR対応BDである場合は、HDRからSDRへの変換が必要であり、挿入された4K_HDR対応BDである場合は、解像度のダウンコンバートとHDRからSDRへの変換の両方が必要である。
なお、Blu−ray機器300に、2K_SDR対応TVが接続されているときには、実施の形態1で説明した疑似HDR変換が行われてもよい。
例えば、Blu−ray機器300は、Blu−ray機器300に接続された表示装置のピーク輝度を取得する。Blu−ray機器300は、取得された表示装置の種別が第1種別(2K_SDR対応TV)であり、かつ、取得されたピーク輝度が第1輝度範囲のピーク輝度よりも大きい場合、映像信号を、取得されたピーク輝度を有する輝度範囲に変換した後、さらに第1輝度範囲に変換する。そして、Blu−ray機器300は、変換された映像信号を、HDCP1.4を用いて暗号化し、かつ、HDMI1.4に対応する通信プロトコルを用いて2K_SDR対応TVに出力する。
また、Blu−ray機器300に、4K_SDR対応TVが接続されているときには、Blu−ray機器300は、HDMI2.0とHDCP2.2とを使用して映像信号を出力する。つまり、Blu−ray機器300は、デコードされた映像信号を、HDCP2.2を用いて暗号化し、かつ、HDMI2.0に対応する通信プロトコルを用いて4K_SDR対応TVに出力する。
このとき、挿入されたBDが2K_SDR対応BDの場合は、解像度のアップコンバートが必要であり、挿入されたBDが4K_HDR対応BDの場合は、HDRからSDRへの変換が必要であり、挿入されたBDが2K_HDR対応BDの場合は、解像度のアップコンバートとHDRからSDRへの変換の両方が必要である。
なお、Blu−ray機器300に、4K_SDR対応TVが接続されているときには、実施の形態1で説明した疑似HDR変換が行われてもよい。
例えば、Blu−ray機器300は、Blu−ray機器300に接続された表示装置のピーク輝度を取得する。Blu−ray機器300は、取得された表示装置の種別が第種別(4K_SDR対応TV)であり、かつ、取得されたピーク輝度が第1輝度範囲のピーク輝度よりも大きい場合、映像信号を、取得されたピーク輝度を有する輝度範囲に変換した後、さらに第1輝度範囲に変換する。そして、Blu−ray機器300は、変換された映像信号を、HDCP2.2を用いて暗号化し、かつ、HDMI2.0に対応する通信プロトコルを用いて4K_SDR対応TVに出力する。
また、Blu−ray機器300に、2K_HDR対応TVが接続されているときには、Blu−ray機器300は、HDMI2.1とHDCP2.2とを使用して映像信号を出力する。つまり、Blu−ray機器300は、デコードされた映像信号を、HDCP2.2を用いて暗号化し、かつ、HDMI2.1に対応する通信プロトコルを用いて2K_HDR対応TVに出力する。
このとき、挿入されたBDが4K_SDR対応BDである場合、及び、4K_HDR対応BDの場合は、いずれも解像度のダウンコンバートが必要である。
また、Blu−ray機器300に、4K_HDR対応TVが接続されているときには、Blu−ray機器は、HDMI2.1とHDCP2.2とを使用して映像信号を出力する。つまり、Blu−ray機器300は、デコードされた映像信号を、HDCP2.2を用いて暗号化し、かつ、HDMI2.1に対応する通信プロトコルを用いて4K_HDR対応TVに出力する。
このとき、挿入されたBDが2K_SDR対応BDである場合、及び、2K_HDR対応BDである場合は、いずれも解像度のアップコンバートが必要となる。
[6.Blu−ray機器の処理2]
図7は、各HDR対応BDの再生を行う新型のBlu−ray機器300と各種表示装置(TV)との関係を示す図である。
図7は、各HDR対応BDの再生を行う新型のBlu−ray機器300と各種表示装置(TV)との関係を示す図である。
新型のBlu−ray機器300は、接続されている表示装置及び再生するディスクの種別に応じて、使用することのできる表示装置を適切に選択する必要がある。
(1)Blu−ray機器300は、2K_SDR対応TV又は4K_SDR対応TVが接続されており、HDR1(HDR(R1))ストリームを処理する場合は、HDR信号をSDR信号に変換する。また、Blu−ray機器300は、2K_SDR対応TV又は4K_SDR対応TVが接続されており、HDR2(HDR(R2)を処理する場合は、再生できないことを表示する。
(2)Blu−ray機器300は、4K_HDR対応TVが接続されており、2K_HDRストリームを処理する場合は、2K_HDRストリームを4K_HDRストリームにアップコンバードし、得られた4K_HDRストリームを4K_HDR対応TVに出力する。また、Blu−ray機器300は、4K_HDR対応TVが接続されており、4K_HDRストリームを処理する場合、当該4K_HDRストリームをそのまま4K_HDR対応TVに出力する。
また、Blu−ray機器300は、HDR2を処理する場合は、再生できないことを表示すると同時に、4K_HDR対応TVのファームウエアアップデートを促すメッセージを表示する。
(3)Blu−ray機器300は、4K_HDR2対応TVが接続されており、2Kストリーム(2K_HDR1又は2K_HDR2)を処理する場合は、2Kストリームを4Kストリーム(4K_HDR1又は2K_HDR2)にアップコンバードし、得られた4Kストリームを4K_HDR2対応TVに出力する。また、Blu−ray機器300は、HDR2ストリームに対応した4K_HDR2対応TVが接続されており、4Kストリーム(4K_HDR1又は4K_HDR2)を処理する場合は、当該4Kストリームをそのまま4K_HDR2対応TVに出力する。
なお、4K_HDR対応TVは、HDR1ストリームに対応しており(処理可能であり)、HDR2ストリームに対応していない。4K_HDR2対応TVは、HDR1ストリーム及びHDR2ストリームに対応している。
このように、Blu−ray機器300は、4K_HDR2対応TVと4K_HDR対応TVとを識別し、HDRコンテンツのHDRストリームのバージョン番号を用いて接続の可否を決定する。
また、HDRのEOTFの変更を行なうための、4K_HDR対応TVの内部処理は、LUTの追加及び動的切り替え程度である。よって、HDR2の仕様が確定していない場合でも、将来のEOTF追加に備えた処理を実装して出荷することは可能である。
また、HDRのEOTFの変更に対応可能な4K_HDR対応TVは、HDMI側から見えるHDR対応番号が予め変更される。これにより、Blu−ray機器300は、アップデートをユーザに促す画面を表示するかどうかを判断できる。また、4K_HDR対応TVは、EOTFの変更をファームウエアアップデートで対応可能できる機能を有する。
[7.階層符号化]
階層符号化(layered coding)は、単層符号化(single layer coding)より、SDR及びHDRの互換性を実現するためにより多いデータ転送速度が必要である。
階層符号化(layered coding)は、単層符号化(single layer coding)より、SDR及びHDRの互換性を実現するためにより多いデータ転送速度が必要である。
Blu−rayの場合、SDR及びHDRの単層符号化ストリームを、大容量の1つの単一のディスクに格納できる。IPストリーミングの場合、ユーザは、ユーザのTVセットがHDR対応であるかどうかに基づき、SDR又はHDRの単層符号化ストリームを選択できる。
これにより、SDR TVとHDR TVにおける再生互換性を単純にできるとともに、より高い品質のサービスを提供できる。
また、図8に示すように、単層符号化が用いられる場合には、表示装置に応じてHDR及びSDRの一方のみのストリームが表示装置伝達又は配信される。階層符号化が用いられる場合には、HDR及びSDRの両方の信号として復号可能な階層符号化されたストリームが伝達又は配信される。これにより、この場合に対応した特別なデコーダが必要となる。
[8.ビデオとグラフィックスの合成処理]
Blu−ray(登録商標)などのコンテンツにおいては、ビデオ信号と字幕やメニューなどのグラフィックス信号は独立のデータとして多重化される。再生時には、それぞれを個別に復号し、復号結果を合成して表示する。具体的には、ビデオのプレーンの上に、字幕やメニューのプレーンが重畳される。
Blu−ray(登録商標)などのコンテンツにおいては、ビデオ信号と字幕やメニューなどのグラフィックス信号は独立のデータとして多重化される。再生時には、それぞれを個別に復号し、復号結果を合成して表示する。具体的には、ビデオのプレーンの上に、字幕やメニューのプレーンが重畳される。
ここで、ビデオ信号がHDRであっても、字幕やメニューなどのグラフィックス信号はSDRとなることがある。ビデオ信号のHPL→DPL変換においては、下記の(a)および(b)の2通りの変換が可能である。
(a)グラフィックスの合成後にHPL→DPL変換を実施する場合
1. グラフィックスのEOTFをSDRのEOTFからHDRのEOTFに変換する。2. EOTF変換後のグラフィックスをビデオと合成する。
3. 合成結果に対して、HPL→DPL変換を実施する。
1. グラフィックスのEOTFをSDRのEOTFからHDRのEOTFに変換する。2. EOTF変換後のグラフィックスをビデオと合成する。
3. 合成結果に対して、HPL→DPL変換を実施する。
(b)グラフィックスの合成前にHPL→DPL変換を実施する場合
1. グラフィックスのEOTFをSDRのEOTFからHDRのEOTFに変換する。2. ビデオに対してHPL→DPL変換を実施する。
3. EOTF変換後のグラフィックスとDPL変換後のビデオとを合成する。
1. グラフィックスのEOTFをSDRのEOTFからHDRのEOTFに変換する。2. ビデオに対してHPL→DPL変換を実施する。
3. EOTF変換後のグラフィックスとDPL変換後のビデオとを合成する。
なお、(b)の場合1と2の順番は入れ替わってもよい。
(a)および(b)のいずれの方式においても、グラフィックスのピーク輝度は100nitとなるが、例えば、DPLが1000nitのような高輝度である場合には、グラフィックスの輝度が100nitのままでは、HPL→DPL変換後のビデオに対して、グラフィックスの輝度が低下することがある。特に、ビデオに重畳される字幕が暗くなるなどの弊害が想定される。従って、グラフィックスについても、DPLの値に応じて、輝度を変換してもよい。例えば、字幕の輝度については、DPL値の何%の値に設定するなどを予め規定し、設定値に基づいて変換してもよい。メニューなどの字幕以外のグラフィックスについても同様に処理することができる。
[9.グラフィックストリームの詳細]
図9は、図6各バージョンのHDRのBDにおけるビデオストリームとグラフィックストリームとの組み合わせにおけるグラフィックストリームの詳細を示す図である。
図9は、図6各バージョンのHDRのBDにおけるビデオストリームとグラフィックストリームとの組み合わせにおけるグラフィックストリームの詳細を示す図である。
HDRストリームのバージョンに合わせて、グラフィックのバージョンを変えることにより、Blu−ray機器の内部処理は変えないでバージョンアップしたストリームへの対応(ビデオ及びグラフィック双方)が可能になる。
SDRのグラフィックストリームとHDRのグラフィックストリームとは、グラフィックストリームの基本スペックは同一であるが、HDRのグラフィックストリームにおいては、Java(登録商標)の色空間(4K用のBT 2020)、EOTF(HDR用のEOTF)等の制約がある。このため、Java描画コマンド(Java drawing)をそのまま使うことができない。
[10.HDRメタデータ]
HDRコンテンツにおけるマスタリング時の特性を示すパラメータとしては、タイトル毎又はプレイリスト毎に固定である静的HDRメタデータと、シーン毎に可変である動的HDRメタデータとが存在する。ここで、タイトル及びプレイリストは、連続して再生される映像信号を示す情報である。以降、連続して再生される映像信号を連続再生単位と呼ぶ。
HDRコンテンツにおけるマスタリング時の特性を示すパラメータとしては、タイトル毎又はプレイリスト毎に固定である静的HDRメタデータと、シーン毎に可変である動的HDRメタデータとが存在する。ここで、タイトル及びプレイリストは、連続して再生される映像信号を示す情報である。以降、連続して再生される映像信号を連続再生単位と呼ぶ。
例えば、静的HDRメタデータは、EOTF関数(カーブ)の種類、18%Gray値、Diffuse White値、Knee point、及びClip pointの少なくとも一つを含む。EOTFは、複数の輝度値と複数のコード値とを関係付けた情報であり、映像信号の輝度範囲を変更するための情報である。その他の情報は、映像信号の輝度に関する属性情報であることから、静的HDRメタデータは、映像信号の輝度範囲に関する情報であり、映像信号の輝度範囲を特定するための情報と言える。
具体的には、18%Gray値及びDiffuse White値は、予め定められた基準となる明るさの映像における輝度値(nit)を示し、言い換えると、映像における基準の明るさを示す。より具体的には、18%Gray値は、マスタリング前において18nitの明るさの物体のマスタリング後の輝度値(nit)を示す。Diffuse White値は、白色に相当する輝度値(nit)を示す。
また、Knee point及びClip pointは、EOTF関数のパラメータであり、EOTFにおける特性が変化する点を示す。具体的には、Knee pointは、撮影時のオリジナルの輝度値(入力輝度)の増分に対する、映像信号の輝度としてEOTFにマッピングされる輝度値(出力輝度)の増分を、1対1とは異なる値とする変化点を示す。例えば、Knee pointは、後述する図27Aにおいて、線形変化からはずれる点を特定するための情報である。また、Clip pointは、EOTF関数においてクリップが開始される点を示す。ここでクリップとは、ある値以上の入力輝度値を同一の出力輝度値に変換することである。例えば、Clip pointは、後述する図27Bにおいて、出力輝度値が変化しなくなる点を示す。
また、EOTF関数(カーブ)の種類とは、例えば、図24Aに示すHDRのEOTF及びSDRのEOTFである。
このように、本実施の形態に係るコンテンツデータ生成方法は、コンテンツデータを生成するコンテンツデータ生成方法であって、映像信号と、映像信号の連続再生単位に含まれる複数の画像(連続再生単位を構成する映像信号)に対して共通に用いられる情報であって、映像信号の輝度範囲に関する情報を含む静的HDRメタデータ(第1メタデータ)とを生成する第1生成ステップと、連続再生単位と静的HDRメタデータとを関連付けることによりコンテンツデータを生成する第2生成ステップを含む。例えば、映像信号の輝度範囲に関する情報とは、映像信号の輝度範囲を変換するための情報である。
また、静的HDRメタデータは、複数の輝度値と複数のコード値とを関係付けたEOTFを特定するための情報を含む。また、映像信号における輝度値は、コード値として符号化される。
また、静的HDRメタデータは、さらに、予め定められた基準となる明るさの映像信号における輝度値を示す情報、又は、EOTFにおける特性が変化する点を示す情報を含む。例えば、静的HDRメタデータは、映像信号における白色に相当する輝度値を示す情報(Diffuse White値)を含む。
また、第1生成ステップでは、連続再生単位より細かい単位に対して共通に用いられる情報であって、映像信号の輝度範囲に関する情報である動的HDRメタデータ(第2メタデータ)をさらに生成する。例えば、映像信号の輝度範囲に関する情報とは、映像信号の輝度範囲を変換するための情報である。
動的HDRメタデータは、シーン毎に異なるマスタリング特性を示すパラメータなどである。ここでマスタリング特性とは、オリジナル(マスタリング前)の輝度と、マスタリング後の輝度との関係を示す。例えば、マスタリング特性を示すパラメータとは、上記した静的HDRメタデータと同様の情報であり、言い換えると、静的HDRメタデータに含まれる情報の少なくとも一つである。
図10は、静的HDRメタデータの格納例を示す図である。本例は、Blu−rayディスクなどのパッケージメディアにおいて、静的HDRメタデータをプレイリストに格納する例である。
プレイリストから参照されるストリーム毎のメタデータの1つとして、静的HDRメタデータが格納される。この場合、静的HDRメタデータはプレイリスト単位で固定である。つまり、静的HDRメタデータは、各プレイリストに対応付けて格納される。
また、OTTでは、ストリームの取得に先立って参照されるマニフェストファイルに静的HDRメタデータが格納されてもよい。つまり、本実施の形態に係るコンテンツデータ生成方法は、映像信号を映像ストリームとして生成し、静的HDRメタデータを、映像ストリームの取得に先立って参照されるマニフェストファイルに格納してもよい。
また、放送では、ストリームの属性を示す記述子に静的HDRメタデータが格納されてもよい。つまり、本実施の形態に係るコンテンツデータ生成方法は、コンテンツデータを映像ストリームとして生成し、静的HDRメタデータを、映像ストリームの属性を示す識別子として当該映像ストリームとは独立に格納してもよい。例えば、静的HDRメタデータを、MPEG2−TSにおける記述子(デスクリプタ)として格納できる。
また、タイトル毎に静的HDRメタデータが固定である場合には、静的HDRメタデータは、タイトルの属性を示す管理情報として格納されてもよい。
図11は、動的HDRメタデータの、ビデオストリーム内への格納例を示す図である。MPEG−4 AVC又はHEVC(High Efficiency Video Coding)では、SEI(Supplemental Enhancement Information)と呼ばれるデータ構造を用いて、ストリームの再生制御に関わる情報を格納する。よって、例えば、SEIに動的HDRメタデータが格納される。
動的HDRメタデータは、シーン毎に更新されることが想定される。シーンの先頭は、GOP(Group Of Pictures)などのランダムアクセス単位の先頭のアクセスユニット(AU)である。従って、動的HDRメタデータは、ランダムアクセス単位における復号順で先頭のアクセスユニットに格納することにしてもよい。ランダムアクセス単位の先頭アクセスユニットは、IDRピクチャ、又は、SPS(Sequence Parameter Set)が付加されたnon−IDR Iピクチャなどとなる。よって、受信側の装置は、ランダムアクセス単位の先頭アクセスユニットを構成するNAL(Network Abstraction Layer)ユニットを検出することにより、動的HDRメタデータを取得できる。あるいは、動的HDRメタデータを格納するSEIに対して、固有のタイプが付与されてもよい。
なお、EOTF関数の種類について、SPSにおけるストリームの属性情報などとして格納されてもよい。つまり、本実施の形態に係るコンテンツデータ生成方法は、コンテンツデータをHEVCにより符号化した映像ストリームとして生成し、EOTFを特定するための情報を、映像ストリームに含まれるSPSに格納してもよい。
[11.静的HDRメタデータの伝送方法]
図12は、静的HDRメタデータの伝送方法を示す図であり、BDプレーヤ(Blu−ray機器)又はレコーダなどの再生装置においてHDMIなどの伝送プロトコルを通じて、表示装置にHDR信号を伝送する際の動作例を示すフローチャートである。
図12は、静的HDRメタデータの伝送方法を示す図であり、BDプレーヤ(Blu−ray機器)又はレコーダなどの再生装置においてHDMIなどの伝送プロトコルを通じて、表示装置にHDR信号を伝送する際の動作例を示すフローチャートである。
静的HDRメタデータは、タイトル単位又はプレイリスト単位で固定であることを先に述べた。従って、再生装置は、静的HDRメタデータの設定が必要な場合(S401でYes)、タイトル又はプレイリストの再生開始時において、静的HDRメタデータをコンテンツの管理情報から取得して、取得した静的HDRメタデータをHDMIの制御情報として格納して伝送する。つまり、再生装置は、タイトル又はプレイリストを構成する映像信号の伝送開始に先立って、当該タイトル又はプレイリストに対応する静的HDRメタデータを取得し、取得した静的HDRメタデータをHDMIの制御情報として伝送する(S402)。より一般的には、再生装置は、当該再生装置と表示装置との間のHDMIの初期化処理を行う際に、初期化情報として静的HDRメタデータを伝送してもよい。
その後、再生装置は、静的HDRメタデータに対応するビデオストリームを伝送する(S403)。なお、このビデオストリームに対しては、伝送済みの静的HDRメタデータが有効となる。
このように、本実施の形態に係る映像ストリーム伝送方法は、映像ストリーム(ビデオストリーム)を伝送する映像ストリーム伝送方法であって、映像信号と、連続再生単位に含まれる複数の画像に対して共通に用いられる情報であって、映像信号の輝度範囲に関する情報を含む静的HDRメタデータ(第1メタデータ)とを含むコンテンツデータを取得する取得ステップと、映像信号に対応する映像ストリームと、静的HDRメタデータとを伝送する伝送ステップとを含む。
例えば、伝送ステップでは、HDMIの通信プロトコルに従い、映像ストリームと静的HDRメタデータとを伝送する。
また、動的HDRメタデータは、ビデオストリームの一部として伝送される。
なお、再生装置は、動的HDRメタデータを、当該動的HDRメタデータが有効となるタイミングにおいてHDMIの制御信号として伝送してもよい。このとき、再生装置は、静的HDRメタデータと動的HDRメタデータとに識別子などを設けて互いに識別できるようにして伝送する。
また、制御信号においては、動的HDRメタデータを格納するためのコンテナのデータ構造のみ規定しておき、コンテナのペイロードデータとしてSEIの内容をそのままコピーできるようにしてもよい。これにより、SEIに含まれる動的HDRメタデータのシンタックスが更新されてもBDプレーヤ等の再生装置の実装を変更せずに対応できる。
静的HDRメタデータについても同様に、コンテンツの管理情報における静的HDRメタデータをコピーして伝送できるようにしておけば、静的HDRメタデータのシンタックスの変更に対しても、再生装置の実装を変更せずに対応可能である。つまり、静的HDRメタデータを格納するためのコンテナのデータ構造が規定されており、伝送ステップでは、コンテンツデータに含まれる静的HDRメタデータを、コンテナのペイロードにコピーし、当該コンテナを伝送してもよい。
[12.HDRメタデータの処理方法]
図13は、表示装置においてHDR信号を表示する際のHDRメタデータの処理方法の例を示すフローチャートである。まず、表示装置は、HDMIの制御情報から静的HDRメタデータを取得し(S411)、取得した静的HDRメタデータに基づき、HDR信号の表示方法を決定する(S412)。
図13は、表示装置においてHDR信号を表示する際のHDRメタデータの処理方法の例を示すフローチャートである。まず、表示装置は、HDMIの制御情報から静的HDRメタデータを取得し(S411)、取得した静的HDRメタデータに基づき、HDR信号の表示方法を決定する(S412)。
なお、制御情報に静的HDRメタデータが含まれない場合には、表示装置は、アプリケーション規格において予め定められた値、又は、表示装置のデフォルト設定に基づいて、HDR信号の表示方法を決定する。つまり、本実施の形態に係る映像表示方法は、静的HDRメタデータを取得できない場合、予め定められた値又は設定に基づき、映像信号に対応する映像の表示方法を決定する。
また、表示装置は、ビデオストリーム内のSEIなどにおいて動的HDRメタデータを検出した場合(S413でYes)、動的HDRメタデータに基づいてHDR信号の表示方法を更新する(S414)。つまり、本実施の形態に係る映像表示方法は、静的HDRメタデータを取得した場合、取得した静的HDRメタデータに基づき表示方法を決定して映像を表示し、動的HDRメタデータを取得した場合、静的HDRメタデータに基づき決定した表示方法を、動的HDRメタデータに基づき決定した表示方法に更新して映像を表示する。あるいは、静的HDRメタデータと動的HDRメタデータとの両方に基づいて表示方法を決定してもよい。
なお、表示装置が、動的HDRメタデータの取得に対応していない場合には、表示装置は、静的HDRメタデータのみに基づいて動作してもよい。また、表示装置が動的HDRメタデータの取得に対応している場合でも、表示装置が、メタデータが格納されたアクセスユニットの表示時刻(PTS:Presentation Time Stamp)に同期してHDR信号の表示方法を更新できないことがある。この場合には、表示装置は、メタデータを取得後、表示方法を更新可能な最も早い時刻以降に表示されるアクセスユニットから、表示方法を更新してもよい。 なお、HDRメタデータにバージョン情報などを付与することで、パラメータの更新及び追加に対応できる。これにより、表示装置は、HDRメタデータのバージョン情報に基づいて、当該メタデータが解釈可能であるかを判定できる。あるいは、HDRメタデータは、基本部と拡張部とから構成され、パラメータの更新又は追加は拡張部の変更により対応し、基本部は更新しないことにしてもよい。つまり、静的HDRメタデータ及び動的HDRメタデータの各々は、複数のバージョンを有し、複数のバーションで共通に用いられる基本部と、バージョン毎に異なる拡張部とを含んでもよい。こうすることで、基本部のHDRメタデータに基づいて、表示装置における後方互換性を確保できる。
このように、本実施の形態に係る映像表示方法は、映像ストリームに基づき映像を表示する映像表示方法であって、映像信号に対応する映像ストリームと、静的HDRメタデータ(第1メタデータ)とを取得する取得ステップと、静的HDRメタデータに基づき、映像信号に対応する映像の表示方法を決定して表示する表示ステップとを含む。
また、映像信号における輝度値は、コード値として符号化されており、静的HDRメタデータは、複数の輝度値と複数のコード値とを関係付けたEOTFを特定するための情報を含み、表示ステップでは、静的HDRメタデータで特定されるEOTFを用いて、映像信号で示されるコード値を輝度値に変換することで映像を生成する。
[13.デュアルディスクの再生動作1]
以上では、HDR信号のみが格納されたHDRディスクの再生動作について説明した。
以上では、HDR信号のみが格納されたHDRディスクの再生動作について説明した。
次に、HDR信号とSDR信号との両方が格納されたデュアルディスクに格納される多重化データについて図14を用いて説明する。図14は、デュアルディスクに格納される多重化データについて説明するための図である。
デュアルディスクでは、図14に示すように、HDR信号とSDR信号とがそれぞれ異なる多重化ストリームとして格納される。例えば、Blu−ray(登録商標)などの光ディスクにおいては、M2TSと呼ばれるMPEG−2 TSベースの多重化方式により、ビデオやオーディオ、字幕、グラフィックスなど複数メディアのデータが1本の多重化ストリームとして格納される。これらの多重化ストリームは、プレイリストなどの再生制御用のメタデータから参照され、再生時にはプレーヤがメタデータを解析することで再生する多重化ストリーム、あるいは、多重化ストリームに格納される個別の言語のデータを選択する。本例では、HDR用とSDR用とのプレイリストを個別に格納し、それぞれのプレイリストがHDR信号、あるいは、SDR信号を参照するケースを示す。また、HDR信号とSDR信号の両方が格納されていることを示す識別情報などを別途示しても良い。
同一の多重化ストリームにHDR信号とSDR信号との両方を多重化することも可能であるが、MPEG−2 TSにおいて規定されるT−STD(System Target Decoder)などのバッファモデルを満たすように多重化する必要があり、特に、予め定められたデータの読み出しレートの範囲内で、ビットレートの高いビデオを2本多重化するのは困難である。このため、多重化ストリームを分離することが望ましい。
オーディオ、字幕、あるいはグラフィックスなどのデータは、それぞれの多重化ストリームに対して格納する必要があり、1本に多重化する場合に比べてデータ量が増加する。ただし、データ量の増加は、圧縮率の高いビデオ符号化方式を用いてビデオのデータ量を削減することができる。例えば、従来のBlu−ray(登録商標)において使用していたMPEG−4 AVCを、HEVC(High Efficiency Video Coding)に変えることで、1.6〜2倍の圧縮率向上が見込まれる。また、デュアルディスクに格納するのは、2KのHDRとSDRとの組み合わせ、4KのSDRと2KのHDRとの組み合わせなど、2Kを2本、あるいは、2Kと4Kとの組合せとするなど、4Kを2本格納することは禁止することにより、光ディスクの容量に収まる組合せのみを許容してもよい。
[14.デュアルディスクの再生動作2]
図15は、デュアルディスクの再生動作を示すフローチャートである。
図15は、デュアルディスクの再生動作を示すフローチャートである。
まず、再生装置は、再生対象の光ディスクがデュアルディスクであるかどうかを判定する(S301)。そして、デュアルディスクであると判定した場合(S301でYes)、出力先のTVがHDRTVかSDRTVであるかを判定する(S302)。HDRTVであると判定した場合(S302でYes)にはステップS303に進み、SDRTVであると判定した場合(S302でNo)にはステップS304に進む。ステップS303では、デュアルディスク内のHDR信号を含む多重化ストリームからHDRのビデオ信号を取得して、復号し、HDRTVに対して出力する。ステップS304では、デュアルディスク内のSDR信号を含む多重化ストリームからSDRのビデオ信号を取得して、復号し、SDRTVに対して出力する。なお、ステップS301において再生対象がデュアルディスクでないと判定された場合(S301でNo)には、所定の方法により再生可否の判定を行い、判定結果に基づいて再生方法を決定する(S305)。
[15.ディスクの種類の詳細]
図16は、BDの種類をさらに詳細に示す図である。
図16は、BDの種類をさらに詳細に示す図である。
図16の(c)、(f)、(g)、及び(h)に示されるように、1枚のBDで複数の映像表現に対応したデュアルストリームディスクが考えられる。デュアルストリームディスクは、同一のコンテンツを再生するための複数の映像信号であって、解像度及び輝度範囲の少なくとも一方が異なる複数の映像信号が記録されたBDである。
具体的には、図16の(c)に示されるデュアルストリームディスクは、4K_SDRストリームと、2K_SDRストリームとが記録されたBDである。図16の(f)に示されるデュアルストリームディスクは、2K_HDRストリームと、2K_SDRストリームとが記録されたBDである。
図16の(g)に示されるデュアルストリームディスクは、4K_HDRストリームと、4K_SDRストリームとが記録されたBDである。図16の(h)に示されるデュアルストリームディスクは、4K_HDRストリームと、2K_SDRストリームとが記録されたBDである。
なお、図16の(c)に示されるデュアルストリームディスクは、Blu−ray機器が4Kから2Kの解像度のダウンコンバージョン(以下、ダウンコンバートとも記載する)を行うことが可能であるため、必須でない。
[16.ディスク容量1]
ここで、以上説明したような各BDについて、図17及び図18を用いて補足する。図17及び図18は、BDに記録されるデータ容量を示す図である。
ここで、以上説明したような各BDについて、図17及び図18を用いて補足する。図17及び図18は、BDに記録されるデータ容量を示す図である。
図17及び図18は、各BDとデュアルストリームディスクで実際に使われるストリームのデータ容量を例示する。
図17は、解像度が2Kのストリーム(2K_SDRストリーム及び2K_HDRストリーム)が、MPEG−4 AVCを用いて圧縮されている場合を例示している。Movie length、lossless Audio、Compressed Audioのビットレートは、下記のようになる。なお、BDは、language個数分の音声ストリーム(Lossless AudioおよびCompressed Audio)を記録する。
Movie length: 150min (14 -18 mbps)
Lossless Audio: 0 -2 language (4.5mbps)
Compressed Audio: 3 -5 language (1.5mbps)
Lossless Audio: 0 -2 language (4.5mbps)
Compressed Audio: 3 -5 language (1.5mbps)
この場合、必要なディスク容量の最大値(A)、中間値(B)、及び最小値(C)は、以下のようになる。
(A)(18+4.5*2+1.5*5)mbps*(150*60)s/8 = 38.8 GB
(B)(16+4.5*1+1.5*3)mbps*(150*60)s/8 = 28.1 GB
(C)(14+4.5*0+1.5*3)mbps*(150*60)s/8 = 20.8 GB
(B)(16+4.5*1+1.5*3)mbps*(150*60)s/8 = 28.1 GB
(C)(14+4.5*0+1.5*3)mbps*(150*60)s/8 = 20.8 GB
また、解像度が4Kのストリーム(4K_SDRストリーム及び4K_HDRストリーム)が、HEVCを用いて圧縮されている場合を例示している。Movie length、lossless Audio、Compressed Audioのビットレートは、下記のようになる。
Movie length: 150min (35 -40mbps)
Lossless Audio: 0 -2 language (4.5mbps)
Compressed Audio: 3 -6 language (1.5mbps)
Lossless Audio: 0 -2 language (4.5mbps)
Compressed Audio: 3 -6 language (1.5mbps)
この場合、必要なディスク容量の最大値(a)、中間値(b)、及び最小値(c)は、以下のようになる。
(a)(40+4.5*2+1.5*5)mbps*(150*60)s/8 = 63.6 GB
(b)(37+4.5*0+1.5*4)mbps*(150*60)s/8 = 48.4 GB
(c)(35+4.5*0+1.5*3)mbps*(150*60)s/8 = 44.4 GB
(b)(37+4.5*0+1.5*4)mbps*(150*60)s/8 = 48.4 GB
(c)(35+4.5*0+1.5*3)mbps*(150*60)s/8 = 44.4 GB
ここで、MPEG−4 AVCを用いて圧縮された2K_HDRストリームと、MPEG−4 AVCを用いて圧縮された2K_SDRストリームとの両方が記録されたデュアルストリームディスクに必要なディスク容量は、上記(A)+(A)、(B)+(B)、及び、(C)+(C)により求められる。具体的には、最大値77.6GB、中間値56.2GB、及び、最小値41.6GBとなる。
従来の50GBに加えて、66GB、100GBのディスクを対象としているため、上記のようなデュアルストリームディスクも容量の面においては実現可能である。
なお、HEVCを用いて圧縮された4K_HDRストリームと、HEVCを用いて圧縮された2K_HDRストリームとの両方が記録されたデュアルストリームディスクに必要なディスク容量は、上記(b)+(b)に基づけば96.8GBであり、上記(c)+(c)に基づけば88.8GBである。このため、このようなデュアルストリームディスクは、100GBの容量のディスクにより実現可能である。
同様に、HEVCを用いて圧縮された4K_HDRストリームと、MPEG−4 AVCを用いて圧縮された2K_SDRストリームとの両方が記録されたデュアルストリームディスクに必要なディスク容量は、上記(a)+(B)に基づけば91.7GBであり、上記(c)+(C)に基づけば65.2GBである。このため、このようなデュアルストリームディスクは、100GBの容量のディスクまたは66GBの容量のディスクにより実現可能である。
[17.ディスク容量2]
さらに、図18を用いて別の例について説明する。図18は、解像度が2Kのストリーム(2K_SDRストリーム及び2K_HDRストリーム)が、HEVCを用いて圧縮されている場合を例示している。Movie length、lossless Audio、Compressed Audioのビットレートは、下記のようになる。
さらに、図18を用いて別の例について説明する。図18は、解像度が2Kのストリーム(2K_SDRストリーム及び2K_HDRストリーム)が、HEVCを用いて圧縮されている場合を例示している。Movie length、lossless Audio、Compressed Audioのビットレートは、下記のようになる。
Movie length: 150min (7 - 9 mbps)
Lossless Audio: 0 - 2 language (4.5mbps)
Compressed Audio: 3 - 5 language (1.5mbps)
Lossless Audio: 0 - 2 language (4.5mbps)
Compressed Audio: 3 - 5 language (1.5mbps)
この場合、必要なディスク容量の最大値(A)、中間値(B)、及び最小値(C)は、以下のようになる。
(α)(9+4.5*2+1.5*5)mbps*(150*60)s/8 = 25.3 GB
(β)(8+4.5*1+1.5*3)mbps*(150*60)s/8 = 19.1 GB
(γ)(7+4.5*0+1.5*3)mbps*(150*60)s/8 = 12.9 GB
(β)(8+4.5*1+1.5*3)mbps*(150*60)s/8 = 19.1 GB
(γ)(7+4.5*0+1.5*3)mbps*(150*60)s/8 = 12.9 GB
ここで、HEVCを用いて圧縮された2K_HDRストリームと、HEVCを用いて圧縮された2K_SDRストリームとの両方が記録されたデュアルストリームディスクに必要なディスク容量は、上記(α)+(α)、(β)+(β)、及び、(γ)+(γ)により求められる。具体的には、最大値50.6GB、typ値38.2GB、及び、最小値25.8GBとなる。
従来の50GBに加えて、66GB、100GBのディスクを対象としているため、上記のようなデュアルストリームディスクも容量の面においては実現可能である。
同様に、HEVCを用いて圧縮された4K_HDRストリームと、HEVCを用いて圧縮された2K_SDRストリームとの両方が記録されたデュアルストリームディスクに必要なディスク容量は、上記(a)+(α)に基づけば88.9GBであり、上記(b)+(β)に基づけば67.5GBであり、上記(b)+(γ)に基づけば61.3GBであり、上記(c)+(γ)に基づけば57.3GBである。このため、このようなデュアルストリームディスクは、100GBの容量のディスクまたは66GBの容量のディスクにより実現可能である。
[18.ディスクの種類の詳細1]
BDには、より詳細にはビデオストリームと、グラフィックストリーム(実施の形態1のグラフィックスのストリーム)とが記録される。ここで、図19は、デュアルストリームディスクを含む各BDに対し、各ディスクに記録された、ビデオストリームとグラフィックストリームとの組み合わせの一例を示す図である。
BDには、より詳細にはビデオストリームと、グラフィックストリーム(実施の形態1のグラフィックスのストリーム)とが記録される。ここで、図19は、デュアルストリームディスクを含む各BDに対し、各ディスクに記録された、ビデオストリームとグラフィックストリームとの組み合わせの一例を示す図である。
図19は、コンテンツ(BD)の制作の手間を考慮して、グラフィックストリームは、対応するビデオストリームの解像度によらず、解像度が2Kで記録する。2K_SDRストリームと4K_SDRストリームとで、グラフィックストリームを共有することができる。ただし、グラフィックストリームは、対応するビデオストリームの輝度範囲に合わせた輝度範囲で記録する。ビデオストリームがHDRの場合は、HDRのグラフィックスストリームを記録する。ビデオストリームがSDRの場合は、SDRのグラフィックスストリームを記録する。グラフィックストリームのSDRからHDRへの変換は、コンテンツの制作時に行う。
[19.ディスクの種類の詳細2]
図20は、デュアルストリームディスクを含む各BDに対し、各ディスクに記録された、ビデオストリームとグラフィックストリームとの組み合わせの別の例を示す図である。
図20は、デュアルストリームディスクを含む各BDに対し、各ディスクに記録された、ビデオストリームとグラフィックストリームとの組み合わせの別の例を示す図である。
図20では、コンテンツの制作の手間を考慮して、グラフィックストリームは、対応するビデオストリームの解像度及び輝度範囲によらず、解像度が2K、かつ、輝度範囲がSDRで記録する。2K_SDRストリーム、4K_SDRストリーム、2K_HDRストリーム、及び、4K_HDRストリーム全てで、グラフィックストリームを共有することができる。この場合は、グラフィックストリームの解像度の2Kから4Kへの変換、及び、グラフィックストリームの輝度範囲のSDRからHDRへの変換は、いずれもBlu−ray機器で実行される。
[20.ディスクの種類の詳細3]
図21は、デュアルストリームディスクを含む各BDに対し、各ディスクに記録された、ビデオストリームとグラフィックストリームとの組み合わせのさらに別の例を示す図である。
図21は、デュアルストリームディスクを含む各BDに対し、各ディスクに記録された、ビデオストリームとグラフィックストリームとの組み合わせのさらに別の例を示す図である。
図21は、Blu−ray機器においてグラフィックストリームの変換が不要となるように、コンテンツの制作時に、グラフィックストリームの解像度及び輝度範囲は、対応するビデオストリームの解像度及び輝度範囲に合わされて記録する。
[21.まとめ]
4K対応BDまたはHDR対応BDを再生するBlu−ray機器は、2K_SDR対応TV、2K_HDR対応TV、4K_SDR対応TV、及び、4K_HDR対応TVの4つのTVに対応する必要がある。具体的には、Blu−ray機器は、3組のHDMI/HDCP規格(HDMI1.4/HDCP1.4、HDMI2.0/HDCP2.1、HDMI2.1/HDCP2.2)をサポートする必要がある。
4K対応BDまたはHDR対応BDを再生するBlu−ray機器は、2K_SDR対応TV、2K_HDR対応TV、4K_SDR対応TV、及び、4K_HDR対応TVの4つのTVに対応する必要がある。具体的には、Blu−ray機器は、3組のHDMI/HDCP規格(HDMI1.4/HDCP1.4、HDMI2.0/HDCP2.1、HDMI2.1/HDCP2.2)をサポートする必要がある。
さらに、Blu−ray機器は、4種類のBlu−rayディスク(2K_SDR対応BD、2K_HDR対応BD、4K_SDR対応BD、及び、4K_HDR対応BD)の再生を行う場合、そのBD(コンテンツ)毎、及び、接続されている表示装置(TV)毎に、適切な処理とHDMI/HDCPとを選択する必要がある。さらに、ビデオにグラフィックを合成する場合も、BDの種類と接続されている表示装置(TV)の種類により、処理を変える必要がある。
このため、Blu−ray機器の内部処理が非常に複雑になる。上記実施の形態3においては、Blu−ray機器内部処理を比較的簡単にするための各種手法を提供した。
[1]HDR非対応のTVにHDR信号を表示する場合は、HDRからSDRへの変換が必要になる。これに対し、上記実施の形態3では、この変換をBlu−ray機器においてオプション化するために、デュアルストリームディスク(Dual Streams Disc)というBDの構成を提案した。
[2]また、上記実施の形態3では、グラフィックストリームに制限を加え、ビデオストリームとグラフィックストリームとの組み合わせの種類を減らした。
[3]上記実施の形態3では、デュアルストリームディスクと、グラフィックストリームの制限とにより、Blu−ray機器内での複雑な処理の組み合わせ数を大幅に減らしている。
[4]上記実施の形態3では、疑似HDR変換を導入した場合でも、デュアルストリームディスクの処理に対して矛盾が生じない、内部処理及びHDMI処理を提示した。
本開示の変換方法では、HDR映像をSDRTVで表示する場合において、表示するSDRTVのピーク輝度が100nitを超える(通常200nit以上)ことを利用して、HDR映像を100nit以下のSDR映像に変換するのではなく、100nitを超える領域の階調をある程度保つよう変換し、元のHDRに近い疑似HDR映像に変換してSDRTVに表示させることができる「HDR→疑似HDR変換処理」を実現する。
また、変換方法では、SDRTVのディスプレイ特性(最高輝度、入出力特性、および表示モード)によって「HDR→疑似HDR変換処理」の変換方法を切り替えてもよい。
ディスプレイ特性情報の取得方法としては、(1)HDMI(登録商標)やネットワークを通して自動取得すること、(2)ユーザにメーカー名、品番等の情報入力させることで生成すること、および(3)メーカー名や品番等の情報を使ってクラウド等から取得することが考えられる。
また、変換装置100のディスプレイ特性情報の取得タイミングとしては、(1)疑似HDR変換する直前に取得すること、および(2)表示装置200(SDRTV等)と初めて接続する時(接続が確立した時)に取得することが考えられる。
また、変換方法では、HDR映像の輝度情報(CAL、CPL)によって変換方法を切り替えてもよい。
例えば、変換装置100のHDR映像の輝度情報の取得方法としては、(1)HDR映像に付随したメタ情報として取得すること、(2)ユーザにコンテンツのタイトル情報を入力させることで取得すること、および(3)ユーザに有力させた入力情報を使ってクラウド等から取得すること等が考えられる。
また、変換方法の詳細としては、(1)DPLを超えないように変換し、(2)CPLがDPLになるように変換し、(3)CALおよびその周辺以下の輝度は変更せず、(4)自然対数を用いて変換し、(5)DPLでクリップ処理をする。
また、変換方法では、疑似HDRの効果を高めるために、SDRTVの表示モード、表示パラメータなどの表示設定を、表示装置200に送信して切り替えることも可能であり、例えば、ユーザに表示設定を促すメッセージを画面に表示してもよい。
[22.疑似HDRの必要性1]
次に、疑似HDRの必要性について図22A〜図22Cを用いて説明する。
次に、疑似HDRの必要性について図22A〜図22Cを用いて説明する。
図22Aは、HDRTV内で、HDR信号を変換してHDR表示を行う表示処理の一例を示す図である。
図22Aに示すように、HDR映像を表示する場合、表示装置がHDRTVであっても、HDRの輝度範囲の最大値(ピーク輝度(HPL(HDR Peak Luminance):例1500nit))をそのまま表示することができない場合がある。この場合、HDRのEOTFを用いた逆量子化を行った後のリニアな信号を、その表示装置の輝度範囲の最大値(ピーク輝度(DPL(Display Peak Iuminance):例750nit))に合わせるための輝度変換を行う。そして、輝度変換を行うことで得られた映像信号を表示装置に入力することで、その表示装置の限界である最大値の輝度範囲に合わせたHDR映像を表示することができる。
図22Bは、HDR対応の再生装置とSDRTVとを用いて、HDR表示を行う表示処理の一例を示す図である。
図22Bに示すように、HDR映像を表示する場合、表示装置がSDRTVであれば、表示するSDRTVの輝度範囲の最大値(ピーク輝度(DPL:例300nit))が100nitを超えることを利用して、図22BのHDR対応の再生装置(Blu−ray(登録商標)機器)内の「HDR→疑似HDR変換処理」で、HDRTV内で行っている、「HDRのEOTF変換」とSDRTVの輝度範囲の最大値であるDPL(例:300nit)を使った「輝度変換」を行い、「輝度変換」を行うことで得られた信号をSDRTVの「表示装置」に直接入力できれば、SDRTVを使っても、HDRTVと同じ効果を実現することができる。
しかしながら、SDRTVには、このような信号を、外部から直接入力するための手段が無いため、実現できない。
図22Cは、標準インターフェースを介して互いに接続したHDR対応の再生装置とSDRTVと用いて、HDR表示を行う表示処理の一例を示す図である。
図22Cに示すように、通常、SDRTVが備える入力インターフェース(HDMI(登録商標)等)を使って、図22Bの効果を得られるような信号をSDRTVに入力する必要がある。SDRTVでは、入力インターフェースを介して入力した信号は、「SDRのEOTF変換」と「モード毎の輝度変換」と「表示装置」を順に通過し、その表示装置の最大値の輝度範囲に合わせた映像を表示する。このため、HDR対応のBlu−ray(登録商標)機器内で、SDRTVで入力インターフェースの直後に通過する、「SDRのEOTF変換」と「モード毎の輝度変換」とをキャンセルできるような信号(疑似HDR信号)を生成する。つまり、HDR対応のBlu−ray(登録商標)機器内で、「HDRのEOTF変換」とSDRTVのピーク輝度(DPL)を使った「輝度変換」との直後に、「モード毎の逆輝度変換」と「逆SDRのEOTF変換」とを行うことで、「輝度変換」直後の信号を「表示装置」に入力した場合(図22Cの破線矢印)と同じ効果を疑似的実現する。
[23.疑似HDRの必要性2]
通常のSDRTVは入力信号が100nitであるが、視聴環境(暗い室:シネマモード、明るい部屋:ダイナミックモード等)に合わせて200nit以上の映像表現が可能な能力を持つ。しかし、SDRTVへの入力信号の輝度上限が100nitに決められていたため、その能力を直接つかうことはできなかった。
通常のSDRTVは入力信号が100nitであるが、視聴環境(暗い室:シネマモード、明るい部屋:ダイナミックモード等)に合わせて200nit以上の映像表現が可能な能力を持つ。しかし、SDRTVへの入力信号の輝度上限が100nitに決められていたため、その能力を直接つかうことはできなかった。
HDR映像をSDRTVで表示する場合において、表示するSDRTVのピーク輝度が100nitを超える(通常200nit以上)ことを利用して、HDR映像を100nit以下のSDR映像に変換するのではなく、100nitを超える輝度範囲の階調をある程度保つように、「HDR→疑似HDR変換処理」を行っている。このため、元のHDRに近い疑似HDR映像としてSDRTVに表示させることができる。
この「HDR→疑似HDR変換処理」技術をBlu−ray(登録商標)に応用した場合は、図23に示すように、HDRディスクにはHDR信号のみを格納し、Blu−ray(登録商標)機器にSDRTVを接続した場合、Blu−ray(登録商標)機器が、「HDR→疑似HDR変換処理」を行い、HDR信号を疑似HDR信号に変換してSDRTVに送る。これにより、SDRTVは、受信した疑似HDR信号から輝度値に変換することで、疑似的なHDR効果を持った映像を表示させることができる。このように、HDR対応TVが無い場合でも、HDR対応のBDとHDR対応のBlu−ray(登録商標)機器を用意すれば、SDRTVであっても、SDR映像よりも高画質な疑似HDR映像を表示させることができる。
従って、HDR映像を見るためにはHDR対応TVが必要と考えられていたが、HDR的な効果を実感できる疑似HDR映像を、既存のSDRTVで見ることができる。これにより、HDR対応Blu−ray(登録商標)の普及が期待できる。
[24.効果等]
放送、Blu−ray(登録商標)等のパッケージメディア、OTT等のインターネット配信により送られてきたHDR信号を、HDR−疑似HDR変換処理を行うことで、疑似HDR信号に変換する。これにより、HDR信号を疑似HDR映像として既存のSDRTVで表示することが可能となる。
放送、Blu−ray(登録商標)等のパッケージメディア、OTT等のインターネット配信により送られてきたHDR信号を、HDR−疑似HDR変換処理を行うことで、疑似HDR信号に変換する。これにより、HDR信号を疑似HDR映像として既存のSDRTVで表示することが可能となる。
[25.EOTFについて]
ここで、EOTFについて、図24Aおよび図24Bを用いて説明する。
ここで、EOTFについて、図24Aおよび図24Bを用いて説明する。
図24Aは、HDRおよびSDRのそれぞれに対応したEOTF(Electro−Optical Transfer Function)の例について示す図である。
EOTFは、一般的にガンマカーブと呼ばれるものであり、コード値と輝度値との対応を示し、コード値を輝度値に変換するものである。つまり、EOTFは、複数のコード値と輝度値との対応関係を示す関係情報である。
また、図24Bは、HDRおよびSDRのそれぞれに対応した逆EOTFの例について示す図である。
逆EOTFは、輝度値とコード値との対応を示し、EOTFとは逆に輝度値を量子化してコード値に変換するものである。つまり、逆EOTFは、輝度値と複数のコード値との対応関係を示す関係情報である。例えば、HDRに対応した映像の輝度値を10ビットの階調のコード値で表現する場合、10,000nitまでのHDRの輝度範囲における輝度値は、量子化されて、0〜1023までの1024個の整数値にマッピングされる。つまり、逆EOTFに基づいて量子化することで、10,000nitまでの輝度範囲の輝度値(HDRに対応した映像の輝度値)を、10ビットのコード値であるHDR信号に変換する。HDRに対応したEOTF(以下、「HDRのEOTF」という。)またはHDRに対応した逆EOTF(以下、「HDRの逆EOTF」という。)においては、SDRに対応したEOTF(以下、「SDRのEOTF」という。)またはSDRに対応した逆EOTF(以下、「SDRの逆EOTF」という。)よりも高い輝度値を表現することが可能であり、例えば、図24Aおよび図24Bにおいては、輝度の最大値(ピーク輝度)は、10,000nitである。つまり、HDRの輝度範囲は、SDRの輝度範囲を全て含み、HDRのピーク輝度は、SDRのピーク輝度より大きい。HDRの輝度範囲は、SDRの輝度範囲の最大値である100nitから、10,000nitまで、最大値を拡大した輝度範囲である。
例えば、HDRのEOTFおよびHDRの逆EOTFは、一例として、米国映画テレビ技術者協会(SMPTE)で規格化されたSMPTE 2084がある。
なお、以降の明細書中において、図24A及び図24Bに記載されている0nitからピーク輝度である100nitまでの輝度範囲は、第1輝度範囲と記載される場合がある。同様に、図24A及び図24Bに記載されている、0nitからピーク輝度である10,000nitまでの輝度範囲は、第2輝度範囲と記載される場合がある。
[26.変換装置および表示装置]
図25は、実施の形態の変換装置および表示装置の構成を示すブロック図である。図26は、実施の形態の変換装置および表示装置により行われる変換方法および表示方法を示すフローチャートである。
図25は、実施の形態の変換装置および表示装置の構成を示すブロック図である。図26は、実施の形態の変換装置および表示装置により行われる変換方法および表示方法を示すフローチャートである。
図25に示すように、変換装置100は、HDRのEOTF変換部101、輝度変換部102、逆輝度変換部103、および逆SDRのEOTF変換部104を備える。また、表示装置200は、表示設定部201、SDRのEOTF変換部202、輝度変換部203、および表示部204を備える。
変換装置100および表示装置200の各構成要素についての詳細な説明は、変換方法および表示方法の説明において行う。
[27.変換方法および表示方法]
変換装置100が行う変換方法について、図26を用いて説明する。なお、変換方法は、以下で説明するステップS101〜ステップS104を含む。
変換装置100が行う変換方法について、図26を用いて説明する。なお、変換方法は、以下で説明するステップS101〜ステップS104を含む。
まず、変換装置100のHDRのEOTF変換部101は、逆HDRのEOTF変換が行われたHDR映像を取得する。変換装置100のHDRのEOTF変換部101は、取得したHDR映像のHDR信号に対して、HDRのEOTF変換を実施する(S101)。これにより、HDRのEOTF変換部101は、取得したHDR信号を、輝度値を示すリニアな信号に変換する。HDRのEOTFは、例えばSMPTE 2084がある。
次に、変換装置100の輝度変換部102は、HDRのEOTF変換部101により変換されたリニアな信号を、ディスプレイ特性情報とコンテンツ輝度情報とを用いて変換する第1輝度変換を行う(S102)。第1輝度変換において、HDRの輝度範囲に対応した輝度値(以下、「HDRの輝度値」という。)を、ディスプレイの輝度範囲に対応した輝度値(以下、「ディスプレイ輝度値」という。)に変換する。詳細は後述する。
上記のことから、HDRのEOTF変換部101は、映像の輝度値が量子化されることで得られたコード値を示す第1輝度信号としてのHDR信号を取得する取得部として機能する。また、HDRのEOTF変換部101および輝度変換部102は、取得部により取得されたHDR信号が示すコード値を、ディスプレイ(表示装置200)の輝度範囲に基づいて決定する、HDRの輝度範囲の最大値(HPL)よりも小さく、かつ、100nitよりも大きい最大値(DPL)であるディスプレイの輝度範囲に対応するディスプレイ輝度値へ変換する変換部として機能する。
より具体的には、HDRのEOTF変換部101は、ステップS101において、取得したHDR信号と、HDRのEOTFとを用いて、取得したHDR信号が示す第1コード値としてのHDRのコード値について、HDRのコード値にHDRのEOTFにおいて関係付けられたHDRの輝度値を決定する。なお、HDR信号は、HDRの輝度範囲における輝度値と、複数のHDRのコード値とを関係付けたHDRの逆EOTFを用いて、映像(コンテンツ)の輝度値が量子化されることで得られたHDRのコード値を示す。
また、輝度変換部102は、ステップS102において、ステップS101で決定したHDRの輝度値について、当該HDRの輝度値に予め関係付けられた、ディスプレイの輝度範囲に対応するディスプレイ輝度値を決定し、HDRの輝度範囲に対応するHDRの輝度値を、ディスプレイの輝度範囲に対応するディスプレイ輝度値へ変換する第1輝度変換
を行う。
を行う。
また、変換装置100は、ステップS102の前に、映像(コンテンツ)の輝度の最大値(CPL:Content Peak luminance)および映像の平均輝度値(CAL:Content Average luminance)の少なくとも一方を含むコンテンツ輝度情報をHDR信号に関する情報として取得している。CPL(第1最大輝度値)は、例えば、HDR映像を構成する複数の画像に対する輝度値のうちの最大値である。また、CALは、例えば、HDR映像を構成する複数の画像に対する輝度値の平均である平均輝度値である。
また、変換装置100は、ステップS102の前に、表示装置200から表示装置200のディスプレイ特性情報を取得している。なお、ディスプレイ特性情報とは、表示装置200が表示できる輝度の最大値(DPL)、表示装置200の表示モード(後述参照)、入出力特性(表示装置が対応するEOTF)などの表示装置200の表示特性を示す情報である。
また、変換装置100は、推奨表示設定情報(後述参照、以下、「設定情報」ともいう。)を表示装置200に送信してもよい。
次に、変換装置100の逆輝度変換部103は、表示装置200の表示モードに応じた逆輝度変換を行う。これにより、逆輝度変換部103は、ディスプレイの輝度範囲に対応した輝度値を、SDRの輝度範囲(0〜100〔nit〕)に対応する輝度値に変換する第2輝度変換を行う(S103)。詳細は後述する。つまり、逆輝度変換部103は、ステップS102で得られたディスプレイ輝度値について、当該ディスプレイ輝度値に予め関係付けられた、100nitを最大値とするSDRの輝度範囲に対応する第3輝度値としてのSDRに対応した輝度値(以下、「SDRの輝度値」という。)SDRの輝度値を決定し、ディスプレイの輝度範囲に対応するディスプレイ輝度値を、SDRの輝度範囲に対応するSDRの輝度値へ変換する第2輝度変換を行う。
そして、変換装置100の逆SDRのEOTF変換部104は、逆SDRのEOTF変換を行うことで、疑似HDR映像を生成する(S104)。つまり、逆SDRのEOTF変換部104は、HDRの輝度範囲における輝度値と、複数の第3コード値とを関係付けた第3関係情報であるSDR(Standard Dynamic Range)の逆EOTF(Electro−Optical Transfer Function)を用いて、決定したSDRの輝度値を量子化し、量子化により得られた第3コード値を決定し、SDRの輝度範囲に対応するSDRの輝度値を、第3コード値を示す第3輝度信号としてのSDR信号へ変換することで、疑似HDR信号を生成する。なお、第3コード値は、SDRに対応したコード値であり、以下では、「SDRのコード値」という。つまり、SDR信号は、SDRの輝度範囲における輝度値と、複数のSDRのコード値とを関係付けたSDRの逆EOTFを用いて、映像の輝度値が量子化されることで得られたSDRのコード値で表される。そして、変換装置100は、ステップS104で生成した疑似HDR信号(SDR信号)を表示装置200へ出力する。
変換装置100は、HDR信号を逆量子化することで得られたHDRの輝度値に対して、第1輝度変換および第2輝度変換を行うことで、疑似HDRに対応したSDRの輝度値を生成し、SDRの輝度値をSDRのEOTFを用いて量子化することで、疑似HDRに対応したSDR信号を生成する。なお、SDRの輝度値は、SDRに対応した0〜100nitの輝度範囲内の数値であるが、ディスプレイの輝度範囲に基づく変換を行っているため、HDRの輝度値に対してHDRのEOTFおよびSDRのEOTFを用いた輝度変換を行うことで得られたSDRに対応した0〜100nitの輝度範囲内の輝度値とは異
なる数値である。
なる数値である。
次に、表示装置200が行う表示方法について、図26を用いて説明する。なお、表示方法は、以下で説明するステップS105〜ステップS108を含む。
まず、表示装置200の表示設定部201は、変換装置100から取得した設定情報を用いて、表示装置200の表示設定を設定する(S105)。ここで、表示装置200は、SDRTVである。設定情報は、表示装置に対して推奨する表示設定を示す情報であり、疑似HDR映像をどのようにEOTFし、どの設定で表示すれば美しい映像を表示することができるかを示す情報(つまり、表示装置200の表示設定を最適な表示設定に切り替えるための情報)である。設定情報は、例えば、表示装置における出力時のガンマカーブ特性や、リビングモード(ノーマルモード)やダイナミックモード等の表示モード、バックライト(明るさ)の数値などを含む。また、ユーザに、表示装置200の表示設定をマニュアル操作で変更することを促すようなメッセージを、表示装置200(以下、「SDRディスプレイ」ともいう)に表示してもよい。詳細は後述する。
なお、表示装置200は、ステップS105の前に、SDR信号(疑似HDR信号)と、映像の表示にあたって表示装置200に対して推奨する表示設定を示す設定情報とを取得する。
また、表示装置200は、SDR信号(疑似HDR信号)の取得を、ステップS106の前に行えばよく、ステップS105の後に行ってもよい。
次に、表示装置200のSDRのEOTF変換部202は、取得した疑似HDR信号に対し、SDRのEOTF変換を行う(S106)。つまり、SDRのEOTF変換部202は、SDR信号(疑似HDR信号)を、SDRのEOTFを用いて逆量子化を行う。これにより、SDRのEOTF変換部202は、SDR信号が示すSDRのコード値を、SDRの輝度値に変換する。
そして、表示装置200の輝度変換部203は、表示装置200に設定された表示モードに応じた輝度変換を行う。これにより、輝度変換部203は、SDRの輝度範囲(0〜100〔nit〕)に対応したSDRの輝度値を、ディスプレイの輝度範囲(0〜DPL〔nit〕)に対応したディスプレイ輝度値に変換する第3輝度変換を行う(S107)。詳細は後述する。
上記のことから、表示装置200は、ステップS106およびステップS107において、取得したSDR信号(疑似HDR信号)が示す第3コード値を、ステップS105で取得した設定情報を用いて、ディスプレイの輝度範囲(0〜DPL〔nit〕)に対応するディスプレイ輝度値へ変換する。
より具体的には、SDR信号(疑似HDR信号)からディスプレイ輝度値への変換では、ステップS106において、SDRの輝度範囲における輝度値と、複数の第3コード値とを関係付けたEOTFを用いて、取得したSDR信号が示すSDRのコード値について、SDRのコード値にSDRのEOTFで関係付けられたSDRの輝度値を決定する。
そして、ディスプレイ輝度値への変換では、ステップS107において、決定したSDRの輝度値に予め関係付けられた、ディスプレイの輝度範囲に対応するディスプレイ輝度値を決定し、SDRの輝度範囲に対応するSDRの輝度値を、ディスプレイの輝度範囲に対応するディスプレイ輝度値へ変換する第3輝度変換を行う。
最後に、表示装置200の表示部204は、変換したディスプレイ輝度値に基づいて、疑似HDR映像を表示装置200に表示する(S108)。
[28.第1輝度変換]
次に、ステップS102の第1輝度変換(HPL→DPL)の詳細について、図27Aを用いて説明する。図27Aは、第1輝度変換の一例について説明するための図である。
次に、ステップS102の第1輝度変換(HPL→DPL)の詳細について、図27Aを用いて説明する。図27Aは、第1輝度変換の一例について説明するための図である。
変換装置100の輝度変換部102は、ステップS101で得られたリニアな信号(HDRの輝度値)を、ディスプレイ特性情報と、HDR映像のコンテンツ輝度情報とを用いて変換する第1輝度変換を行う。第1輝度変換は、HDRの輝度値(入力輝度値)を、ディスプレイピーク輝度(DPL)を超えないディスプレイ輝度値(出力輝度値)に変換する。DPLは、ディスプレイ特性情報であるSDRディスプレイの最大輝度および表示モードを用いて決定する。表示モードは、例えば、SDRディスプレイに暗めに表示するシアターモードや、明るめに表示するダイナミックモード等のモード情報である。表示モードが、例えば、SDRディスプレイの最大輝度が1,500nitであり、かつ、表示モードが最大輝度の50%の明るさにするモードである場合、DPLは、750nitとなる。ここで、DPL(第2最大輝度値)とは、SDRディスプレイが現在設定されている表示モードにおいて表示できる輝度の最大値である。つまり、第1輝度変換では、SDRディスプレイの表示特性を示す情報であるディスプレイ特性情報を用いて、第2最大輝度値としてのDPLを決定する。
また、第1輝度変換では、コンテンツ輝度情報のうちのCALとCPLとを用い、CAL付近以下の輝度値は、変換の前後で同一とし、CPL付近以上の輝度値に対してのみ輝度値を変更する。つまり、図27Aに示すように、第1輝度変換では、当該HDRの輝度値がCAL以下の場合、当該HDRの輝度値を変換せず、当該HDRの輝度値を、ディスプレイ輝度値として決定し、当該HDRの輝度値がCPL以上の場合、第2最大輝度値としてのDPLを、ディスプレイ輝度値として決定する。
また、第1輝度変換では、輝度情報のうちのHDR映像のピーク輝度(CPL)を用い、HDRの輝度値がCPLの場合、DPLを、ディスプレイ輝度値として決定する。
なお、第1輝度変換では、図27Bのように、ステップS101で得られたリニアな信号(HDRの輝度値)を、DPLを超えない値にクリップするように変換してもよい。このような輝度変換を行うことで、変換装置100での処理を簡素化することができ、装置の縮小化、低電力化、処理の高速化が図れる。なお、図27Bは、第1輝度変換の他の一例について説明するための図である。
[29−1.第2輝度変換]
次に、ステップS103の第2輝度変換(DPL→100〔nit〕)の詳細について、図28を用いて説明する。図28は、第2輝度変換について説明するための図である。
次に、ステップS103の第2輝度変換(DPL→100〔nit〕)の詳細について、図28を用いて説明する。図28は、第2輝度変換について説明するための図である。
変換装置100の逆輝度変換部103は、ステップS102の第1輝度変換で変換されたディスプレイの輝度範囲(0〜DPL〔nit〕)のディスプレイ輝度値に対し、表示モードに応じた逆輝度変換を施す。逆輝度変換は、SDRディスプレイによる表示モードに応じた輝度変換処理(ステップS107)が行われた場合に、ステップS102処理後のディスプレイの輝度範囲(0〜DPL〔nit〕)のディスプレイ輝度値を取得できるようにするための処理である。つまり、第2輝度変換は、第3輝度変換の逆輝度変換である。
上記の処理により、第2輝度変換は、ディスプレイの輝度範囲のディスプレイ輝度値(入力輝度値)を、SDRの輝度範囲のSDRの輝度値(出力輝度値)に変換する。
第2輝度変換では、SDRディスプレイの表示モードによって変換式を切り替える。例えば、SDRディスプレイの表示モードがノーマルモードの場合、ディスプレイ輝度値に正比例する正比例値に輝度変換する。また、第2輝度変換では、SDRディスプレイの表示モードがノーマルモードよりも高輝度画素をより明るく、かつ、低輝度画素をより暗くするダイナミックモードの場合、その逆関数を用いることで、低輝度画素のSDRの輝度値は、ディスプレイ輝度値に正比例する正比例値より高い値に、高輝度画素のSDRの輝度値は、ディスプレイ輝度値に正比例する正比例値より低い値に輝度変換する。つまり、第2輝度変換では、ステップS102において決定したディスプレイ輝度値について、SDRディスプレイの表示特性を示す情報であるディスプレイ特性情報に応じた輝度関係情報を用いて、当該ディスプレイ輝度値に関係付けられた輝度値をSDRの輝度値として決定し、ディスプレイ特性情報に応じて輝度変換処理を切り替える。ここで、ディスプレイ特性情報に応じた輝度関係情報とは、例えば図28に示すような、SDRディスプレイの表示パラメータ(表示モード)毎に定められた、ディスプレイ輝度値(入力輝度値)と、SDRの輝度値(出力輝度値)とを関係付けた情報である。
[29−2.第3輝度変換]
次に、ステップS107の第3輝度変換(100→DPL〔nit〕)の詳細について、図29を用いて説明する。図29は、第3輝度変換について説明するための図である。
次に、ステップS107の第3輝度変換(100→DPL〔nit〕)の詳細について、図29を用いて説明する。図29は、第3輝度変換について説明するための図である。
表示装置200の輝度変換部203は、SDRの輝度範囲(0〜100〔nit〕)のSDRの輝度値をステップS105で設定された表示モードに応じて(0〜DPL〔nit〕)に変換する。本処理はS103のモード毎の逆輝度変換の逆関数となるように処理する。
第3輝度変換では、SDRディスプレイの表示モードによって変換式を切り替える。例えば、SDRディスプレイの表示モードがノーマルモードの場合(つまり、設定された表示パラメータがノーマルモードに対応したパラメータである場合)、ディスプレイ輝度値は、SDRの輝度値に正比例する正比例値に輝度変換する。また、第3輝度変換では、SDRディスプレイの表示モードがノーマルモードよりも高輝度画素をより明るく、かつ、低輝度画素をより暗くするダイナミックモードの場合、低輝度画素のディスプレイ輝度値は、SDRの輝度値に正比例する正比例値より低い値に、高輝度画素のディスプレイ輝度値は、SDRの輝度値に正比例する正比例値より高い値に輝度変換する。つまり、第3輝度変換では、ステップS106において決定したSDRの輝度値について、SDRディスプレイの表示設定を示す表示パラメータに応じた輝度関係情報を用いて、当該SDRの輝度値に予め関係付けられた輝度値をディスプレイ輝度値として決定し、表示パラメータに応じて輝度変換処理を切り替える。ここで、表示パラメータに応じた輝度関係情報とは、例えば図29に示すような、SDRディスプレイの表示パラメータ(表示モード)毎に定められた、SDRの輝度値(入力輝度値)と、ディスプレイ輝度値(出力輝度値)とを関係付けた情報である。
[30.表示設定]
次に、ステップS105の表示設定の詳細について、図30を用いて説明する。図30は、表示設定の詳細な処理を示すフローチャートである。
次に、ステップS105の表示設定の詳細について、図30を用いて説明する。図30は、表示設定の詳細な処理を示すフローチャートである。
SDRディスプレイの表示設定部201は、ステップS105において、下記のステップS201〜ステップS208の処理を行う。
まず、表示設定部201は、設定情報を用いて、SDRディスプレイに設定されているEOTF(SDRディスプレイ用EOTF)が、疑似HDR映像(SDR信号)の生成時に想定したEOTFと整合しているかどうかを判定する(S201)。
表示設定部201は、SDRディスプレイに設定されているEOTFが、設定情報が示すEOTF(疑似HDR映像に整合するEOTF)と異なっていると判定した場合(S201でYes)、SDRディスプレイ用EOTFをシステム側で切り替え可能かを判定する(S202)。
表示設定部201は、切り替え可能であると判定した場合、設定情報を用いて、SDRディスプレイ用EOTFを適切なEOTFに切り替える(S203)。
ステップS201〜ステップS203から、表示設定の設定(S105)では、SDRディスプレイに設定されているEOTFを、取得した設定情報に応じた推奨EOTFに設定する。また、これにより、ステップS105の後に行われるステップS106では、推奨EOTFを用いて、SDRの輝度値を決定することができる。
システム側で切り替え可能でないと判定した場合(S202でNo)、EOTFをユーザがマニュアル操作で変更することを促すメッセージを画面に表示する(S204)。例えば、「表示ガンマを2.4に設定して下さい」というメッセージを画面に表示する。つまり、表示設定部201は、表示設定の設定(S105)において、SDRディスプレイに設定されているEOTFを切り替えできない場合、SDRディスプレイに設定されているEOTF(SDRディスプレイ用EOTF)を、推奨EOTFに切り替えることをユーザに促すためのメッセージを、SDRディスプレイに表示する。
次に、SDRディスプレイでは、疑似HDR映像(SDR信号)を表示するが、表示の前に設定情報を用いてSDRディスプレイの表示パラメータが設定情報に合っているかを判定する(S205)。
表示設定部201は、SDRディスプレイに設定されている表示パラメータが、設定情報とは異なっていると判定した場合(S205でYes)、SDRディスプレイの表示パラメータを、切り替え可能かを判定する(S206)。
表示設定部201は、SDRディスプレイの表示パラメータを切り替え可能であると判定した場合(S206でYes)、設定情報に合わせて、SDRディスプレイの表示パラメータを切り替える(S207)。
ステップS204〜ステップS207から、表示設定の設定(S105)では、SDRディスプレイに設定されている表示パラメータを、取得した設定情報に応じた推奨表示パラメータに設定する。
システム側で切り替え可能でないと判定した場合(S206でNo)、SDRディスプレイに設定されている表示パラメータをユーザがマニュアル操作で変更することを促すメッセージを画面に表示する(S208)。例えば、「表示モードをダイナミックモードにし、バックライトを最大にして下さい」というメッセージを画面に表示する。つまり、設定(S105)では、SDRディスプレイに設定されている表示パラメータを切り替えできない場合、SDRディスプレイに設定されている表示パラメータを、推奨表示パラメータに切り替えることをユーザに促すためのメッセージを、SDRディスプレイに表示する。
[31.変形例1]
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態1にも適用可能である。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態1にも適用可能である。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
そこで、以下では、他の実施の形態を例示する。
HDR映像は、例えばBlu−ray(登録商標) Disc、DVD、インターネットの動画配信サイト、放送、HDD内の映像である。
変換装置100(HDR→疑似HDR変換処理部)は、ディスクプレイヤー、ディスクレコーダ、セットトップボックス、テレビ、パソコン、スマートフォンの内部に存在していてもよい。変換装置100は、インターネット内のサーバ装置の内部に存在していてもよい。
表示装置200(SDR表示部)は、例えばテレビ、パソコン、スマートフォンである。
変換装置100が取得するディスプレイ特性情報は、表示装置200からHDMI(登録商標)や他の通信プロトコルを用いてHDMI(登録商標)ケーブルやLANケーブルを介して取得してもよい。変換装置100が取得するディスプレイ特性情報は、インターネットを介して表示装置200の機種情報等に含まれるディスプレイ特性情報を取得してもよい。また、ユーザがマニュアル操作を行い、ディスプレイ特性情報を、変換装置100に設定してもよい。また、変換装置100のディスプレイ特性情報の取得は、疑似HDR映像生成(ステップS101〜S104)時の直前でもよいし、機器の初期設定時やディスプレイ接続時のタイミングでもよい。例えば、ディスプレイ特性情報の取得は、ディスプレイ輝度値への変換の直前に行ってもよいし、変換装置100がHDMI(登録商標)ケーブルで最初に表示装置200に接続したタイミングで行ってもよい。
また、HDR映像のCPLやCALは、コンテンツ1つに対して1つでもよいし、シーン毎に存在していてもよい。つまり、変換方法では、映像の複数のシーンのそれぞれに対応した輝度情報であって、当該シーン毎に、当該シーンを構成する複数の画像に対する輝度値のうちの最大値である第1最大輝度値と、当該シーンを構成する複数の画像に対する輝度値の平均である平均輝度値との少なくとも一方を含む輝度情報(CPL、CAL)を取得し、第1輝度変換では、複数のシーンのそれぞれについて、当該シーンに対応した輝度情報に応じてディスプレイ輝度値を決定してもよい。
また、CPLおよびCALは、HDR映像と同じ媒体(Blu−ray(登録商標) Disc、DVD等)に同梱していてもよいし、変換装置100がインターネットから取得する等、HDR映像とは別の場所から取得してもよい。つまり、CPLおよびCALの少なくとも一方を含む輝度情報を映像のメタ情報として取得してもよいし、ネットワーク経由で取得してもよい。
また、変換装置100の第1輝度変換(HPL→DPL)において、CPL、CAL、およびディスプレイピーク輝度(DPL)は使用せずに、固定値を用いてもよい。また、その固定値を外部から変更可能にしてもよい。また、CPL、CAL、およびDPLは、数種類で切り替えるようにしてもよく、例えば、DPLは200nit、400nit、800nitの3種類のみとするようにしてもよいし、ディスプレイ特性情報に最も近い値を使用するようにしてもよい。
また、HDRのEOTFはSMPTE 2084でなくてもよく、他の種類のHDRのEOTFを用いてもよい。また、HDR映像の最大輝度(HPL)は10,000nitでなくてもよく、例えば4,000nitや1,000nitでもよい。
また、コード値のビット幅は、例えば16,14,12,10,8bitでもよい。
また、逆SDRのEOTF変換は、ディスプレイ特性情報から決定するが、(外部からも変更可能な)固定の変換関数を用いてもよい。逆SDRのEOTF変換は、例えばRec. ITU−R BT.1886で規定されている関数を用いてもよい。また、逆SDRのEOTF変換の種類を数種類に絞り、表示装置200の入出力特性に最も近いものを選択して使用するようにしてもよい。
また、表示モードは、固定のモードを使うようにしてもよく、ディスプレイ特性情報の中に含めなくてもよい。
また、変換装置100は、設定情報を送信しなくてもよく、表示装置200では固定の表示設定としてもよいし、表示設定を変更しなくてもよい。この場合、表示設定部201は不要となる。また、設定情報は、疑似HDR映像かどうかのフラグ情報でもよく、例え
ば、疑似HDR映像である場合は最も明るく表示する設定に変更するようにしてもよい。つまり、表示設定の設定(S105)では、取得した設定情報が、DPLを用いて変換された疑似HDR映像を示す信号であることを示す場合、表示装置200の明るさ設定を最も明るく表示する設定に切り替えてもよい。
ば、疑似HDR映像である場合は最も明るく表示する設定に変更するようにしてもよい。つまり、表示設定の設定(S105)では、取得した設定情報が、DPLを用いて変換された疑似HDR映像を示す信号であることを示す場合、表示装置200の明るさ設定を最も明るく表示する設定に切り替えてもよい。
[32.変形例2]
また、変換装置100の第1輝度変換(HPL→DPL)は例えば次の算式で変換する。
また、変換装置100の第1輝度変換(HPL→DPL)は例えば次の算式で変換する。
ここで、Lは、0〜1に正規化された輝度値を示し、S1、S2、a、b、MはCAL、CPL、およびDPLに基づいて設定する値である。lnは自然対数である。Vは0〜1に正規化された変換後の輝度値である。図27Aの例のように、CALを300nitとし、CPLを2,000nitとし、DPLを750nitとし、CAL + 50nitまでは変換しないとし、350nit以上に対して変換する場合、それぞれの値は例えば次のような値となる。
S1 = 350/10000
S2 = 2000/10000
M = 750/10000
a = 0.023
b = S1 − a*ln(S1) = 0.112105
S2 = 2000/10000
M = 750/10000
a = 0.023
b = S1 − a*ln(S1) = 0.112105
つまり、第1輝度変換では、SDRの輝度値が、平均輝度値(CAL)と第1最大輝度値(CPL)との間である場合、自然対数を用いて、当該HDRの輝度値に対応するディスプレイ輝度値を決定する。
[33.効果等]
HDR映像のコンテンツピーク輝度やコンテンツ平均輝度等の情報を用いてHDR映像を変換することにより、コンテンツに応じて変換式を変えることができ、HDRの階調をなるべく保つように変換することが可能となる。また、暗すぎる、明るすぎるといった悪影響を抑制することができる。具体的には、HDR映像のコンテンツピーク輝度をディスプレイピーク輝度にマッピングすることにより、階調をなるべく保つようにしている。また、平均輝度付近以下の画素値を変えないことにより、全体的な明るさが変わらないようにしている。
HDR映像のコンテンツピーク輝度やコンテンツ平均輝度等の情報を用いてHDR映像を変換することにより、コンテンツに応じて変換式を変えることができ、HDRの階調をなるべく保つように変換することが可能となる。また、暗すぎる、明るすぎるといった悪影響を抑制することができる。具体的には、HDR映像のコンテンツピーク輝度をディスプレイピーク輝度にマッピングすることにより、階調をなるべく保つようにしている。また、平均輝度付近以下の画素値を変えないことにより、全体的な明るさが変わらないようにしている。
また、SDRディスプレイのピーク輝度値および表示モードを用いてHDR映像を変換することにより、SDRディスプレイの表示環境に応じて変換式を変えることができ、SDRディスプレイの性能に合わせて、HDR感のある映像(疑似HDR映像)を、元のHDR映像と同様の階調や明るさで表示することができる。具体的には、SDRディスプレイの最大輝度および表示モードによってディスプレイピーク輝度を決定し、そのピーク輝度値を超えないようにHDR映像を変換することにより、SDRディスプレイで表示可能な明るさまではHDR映像の階調をほとんど減らさずに表示し、表示不可能な明るさは表示可能な明るさまで輝度値を下げている。
以上により、表示不可能な明るさ情報を削減し、表示可能な明るさの階調を落とさず、元のHDR映像に近い形で表示することが可能となる。例えば、ピーク輝度1,000nitのディスプレイ用には、ピーク輝度1,000nitに抑えた疑似HDR映像に変換
することにより、全体的な明るさを維持し、ディスプレイの表示モードによって輝度値は変わる。このため、ディスプレイの表示モードに応じて、輝度の変換式を変更するようにしている。もし、ディスプレイのピーク輝度よりも大きな輝度を疑似HDR映像で許容すると、その大きな輝度をディスプレイ側でのピーク輝度に置き換えて表示する場合があり、その場合は元のHDR映像よりも全体的に暗くなる。逆にディスプレイのピーク輝度よりも小さな輝度を最大輝度として変換すると、その小さな輝度をディスプレイ側でのピーク輝度に置き換え、元のHDR映像よりも全体的に明るくなる。しかもディスプレイ側のピーク輝度よりも小さいためにディスプレイの階調に関する性能を最大限使っていないことになる。
することにより、全体的な明るさを維持し、ディスプレイの表示モードによって輝度値は変わる。このため、ディスプレイの表示モードに応じて、輝度の変換式を変更するようにしている。もし、ディスプレイのピーク輝度よりも大きな輝度を疑似HDR映像で許容すると、その大きな輝度をディスプレイ側でのピーク輝度に置き換えて表示する場合があり、その場合は元のHDR映像よりも全体的に暗くなる。逆にディスプレイのピーク輝度よりも小さな輝度を最大輝度として変換すると、その小さな輝度をディスプレイ側でのピーク輝度に置き換え、元のHDR映像よりも全体的に明るくなる。しかもディスプレイ側のピーク輝度よりも小さいためにディスプレイの階調に関する性能を最大限使っていないことになる。
また、ディスプレイ側では、設定情報を用いて表示設定を切り替えることにより、疑似HDR映像をよりよく表示することが可能となる。例えば、明るさを暗く設定している場合には高輝度表示ができないため、HDR感が損なわれる。その場合には表示設定を変更するもしくは、変更してもらうよう促すメッセージを表示することにより、ディスプレイの性能を最大限引出し、高階調な映像を表示できるようにする。
(全体のまとめ)
以上、本開示の一つまたは複数の態様に係る再生方法および再生装置について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、異なる実施の形態における構成要素を組み合わせて構築される形態なども、本開示の一つまたは複数の態様の範囲内に含まれてもよい。
以上、本開示の一つまたは複数の態様に係る再生方法および再生装置について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、異なる実施の形態における構成要素を組み合わせて構築される形態なども、本開示の一つまたは複数の態様の範囲内に含まれてもよい。
例えば、上記各実施の形態において、各構成要素は、回路などの専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
本開示は、コンテンツデータ生成装置、Blu−ray機器等の映像ストリーム伝送装置、又はテレビ等の映像表示装置に適用できる。
100 変換装置
101 EOTF変換部
102 輝度変換部
103 逆輝度変換部
104 逆SDRのEOTF変換部
200 表示装置
201 表示設定部
202 SDRのEOTF変換部
203 輝度変換部
204 表示部
300 Blu−ray機器
101 EOTF変換部
102 輝度変換部
103 逆輝度変換部
104 逆SDRのEOTF変換部
200 表示装置
201 表示設定部
202 SDRのEOTF変換部
203 輝度変換部
204 表示部
300 Blu−ray機器
Claims (20)
- コンテンツデータを生成するコンテンツデータ生成方法であって、
映像信号と、前記映像信号の連続再生単位に含まれる複数の画像に対して共通に用いられる情報であって、前記映像信号の輝度範囲に関する情報を含む第1メタデータを生成する第1生成ステップと、
前記連続再生単位と前記第1メタデータとを関連付けることにより前記コンテンツデータを生成する第2生成ステップを含む
コンテンツデータ生成方法。 - 前記映像信号における輝度値は、コード値として符号化されており、
前記輝度範囲に関する前記情報は、複数の輝度値と複数のコード値とを関係付けたEOTF(Electro−Optical Transfer Function)を特定するための情報である
請求項1記載のコンテンツデータ生成方法。 - 前記第1メタデータは、さらに、前記映像信号における白色に相当する輝度値を示す情報を含む
請求項2記載のコンテンツデータ生成方法。 - 前記第1生成ステップでは、
前記コンテンツデータをHEVC(High Efficiency Video Coding)により符号化した映像ストリームとして生成し、
前記EOTFを特定するための前記情報を、前記映像ストリームに含まれるSPS(Sequence Parameter Set)に格納する
請求項2又は3記載のコンテンツデータ生成方法。 - 前記連続再生単位は、プレイリスト単位であり、
前記生成ステップでは、前記第1メタデータを、各プレイリストに対応付けて格納する
請求項1〜3のいずれか1項に記載のコンテンツデータ生成方法。 - 前記第1生成ステップでは、
前記映像信号を映像ストリームとして生成し、
前記第1メタデータを、前記映像ストリームの取得に先立って参照されるマニフェストファイルに格納する
請求項1〜3のいずれか1項に記載のコンテンツデータ生成方法。 - 前記第1生成ステップでは、
前記コンテンツデータを映像ストリームとして生成し、
前記第1メタデータを前記映像ストリームの属性を示す識別子として前記映像ストリームとは独立に格納する
請求項1〜3のいずれか1項に記載のコンテンツデータ生成方法。 - 前記連続再生単位は、タイトル単位であり、
前記第1生成ステップでは、前記第1メタデータを、タイトルの属性を示す管理情報として格納する
請求項1〜3のいずれか1項に記載のコンテンツデータ生成方法。 - 前記第1生成ステップでは、前記連続再生単位より細かい単位に含まれる複数の画像に対して共通に用いられる情報であって、前記映像信号の輝度範囲に関する情報である第2メタデータをさらに生成する
請求項1〜8のいずれか1項に記載のコンテンツデータ生成方法。 - 前記第1メタデータは、複数のバージョンを有し、前記複数のバーションで共通に用いられる基本部と、前記複数のバージョンで異なる拡張部とを含む
請求項1〜9のいずれか1項に記載のコンテンツデータ生成方法。 - 映像ストリームを伝送する映像ストリーム伝送方法であって、
映像信号と、前記映像信号の連続再生単位に含まれる複数の画像に対して共通に用いられる情報であって、前記映像信号の輝度範囲に関する情報を含む第1メタデータとを含むコンテンツデータを取得する取得ステップと、
前記映像信号に対応する前記映像ストリームと、前記第1メタデータとを伝送する伝送ステップとを含む
映像ストリーム伝送方法。 - 前記伝送ステップでは、HDMI(High−Definition Multimedia Interface)の通信プロトコルに従い、前記映像ストリームと前記第1メタデータとを伝送する
請求項11記載の映像ストリーム伝送方法。 - 前記連続再生単位はプレイリスト単位であり、
前記伝送ステップでは、プレイリストを構成する映像信号の伝送開始に先立って、当該プレイリストに対応する前記第1メタデータを取得し、取得した前記第1メタデータを前記HDMIの制御情報として伝送する
請求項12記載の映像ストリーム伝送方法。 - 前記連続再生単位はタイトル単位であり、
前記伝送ステップでは、タイトルを構成する映像信号の伝送開始に先立って、当該タイトルに対応する前記第1メタデータを取得し、取得した前記第1メタデータを前記HDMIの制御情報として伝送する
請求項12記載の映像ストリーム伝送方法。 - 前記第1メタデータを格納するためのコンテナのデータ構造が規定されており、
前記伝送ステップでは、前記コンテンツデータに含まれる前記第1メタデータを、前記コンテナのペイロードにコピーし、当該コンテナを伝送する
請求項11記載の映像ストリーム伝送方法。 - 前記伝送ステップでは、前記HDMIにおける初期化時に、初期化情報として前記第1メタデータを伝送する
請求項12記載の映像ストリーム伝送方法。 - 映像ストリームに基づき映像を表示する映像表示方法であって、
映像信号に対応する前記映像ストリームと、前記映像信号の連続再生単位に含まれる複数の画像に対して共通に用いられる情報であって、前記映像信号の輝度範囲に関する情報を含む第1メタデータとを取得する第1取得ステップと、
前記第1メタデータに基づき、前記映像信号に対応する映像の表示方法を決定して表示する表示ステップとを含む
映像表示方法。 - 前記映像表示方法は、さらに、前記映像ストリームから、前記連続再生単位より細かい単位に対して共通に用いられる情報であって、前記映像信号の輝度範囲に関する情報である第2メタデータを取得する第2取得ステップを含み、
前記表示ステップでは、
前記第1メタデータに基づき決定された表示方法を、前記第2メタデータに基づき決定された表示方法に更新する
請求項17記載の映像表示方法。 - 前記第1取得ステップで前記第1メタデータを取得できない場合、前記表示ステップでは、予め定められた値または設定に基づき、前記表示方法を決定する
請求項17記載の映像表示方法。 - 前記映像信号における輝度値は、コード値として符号化されており、
前記輝度範囲に関する前記情報は、複数の輝度値と複数のコード値とを関係付けたEOTF(Electro−Optical Transfer Function)を特定するための情報を含み、
前記表示ステップでは、前記第1メタデータで特定される前記EOTFを用いて、前記映像信号で示されるコード値を輝度値に変換することで前記映像を生成する
請求項17記載の映像表示方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2015/002972 WO2015198552A1 (ja) | 2014-06-25 | 2015-06-15 | コンテンツデータ生成方法、映像ストリーム伝送方法及び映像表示方法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201462016825P | 2014-06-25 | 2014-06-25 | |
US62/016,825 | 2014-06-25 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017139511A true JP2017139511A (ja) | 2017-08-10 |
Family
ID=59566078
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015104893A Pending JP2017139511A (ja) | 2014-06-25 | 2015-05-22 | コンテンツデータ生成方法、映像ストリーム伝送方法及び映像表示方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017139511A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019087844A (ja) * | 2017-11-06 | 2019-06-06 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置、表示装置、および画像処理方法 |
WO2019130626A1 (ja) * | 2017-12-27 | 2019-07-04 | パナソニックIpマネジメント株式会社 | 表示装置および表示方法 |
JP2020532805A (ja) * | 2017-09-05 | 2020-11-12 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | グラフィックスセーフなhdr画像輝度の再グレーディング |
-
2015
- 2015-05-22 JP JP2015104893A patent/JP2017139511A/ja active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020532805A (ja) * | 2017-09-05 | 2020-11-12 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | グラフィックスセーフなhdr画像輝度の再グレーディング |
JP7419230B2 (ja) | 2017-09-05 | 2024-01-22 | コーニンクレッカ フィリップス エヌ ヴェ | グラフィックスセーフなhdr画像輝度の再グレーディング |
JP2019087844A (ja) * | 2017-11-06 | 2019-06-06 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置、表示装置、および画像処理方法 |
US10825153B2 (en) | 2017-11-06 | 2020-11-03 | Sony Interactive Entertainment Inc. | Image processing apparatus, display apparatus, and image processing method |
WO2019130626A1 (ja) * | 2017-12-27 | 2019-07-04 | パナソニックIpマネジメント株式会社 | 表示装置および表示方法 |
JPWO2019130626A1 (ja) * | 2017-12-27 | 2019-12-26 | パナソニックIpマネジメント株式会社 | 表示装置および表示方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6671022B2 (ja) | 表示装置、表示方法及びコンピュータプログラム | |
JP6573238B2 (ja) | 表示装置、変換装置、表示方法、および、コンピュータプログラム | |
JP6566320B2 (ja) | データ出力装置及びデータ出力方法 | |
JP6508634B2 (ja) | 再生方法および再生装置 | |
JP2017184253A (ja) | 表示装置、変換装置、表示方法及びコンピュータプログラム | |
WO2015198552A1 (ja) | コンテンツデータ生成方法、映像ストリーム伝送方法及び映像表示方法 | |
JP2017139511A (ja) | コンテンツデータ生成方法、映像ストリーム伝送方法及び映像表示方法 | |
JP6928885B2 (ja) | 表示装置、表示方法及びコンピュータプログラム | |
JP6643669B2 (ja) | 表示装置および表示方法 | |
JP7170236B2 (ja) | 再生装置 |