JP2016197861A - 変換方法および変換装置 - Google Patents

変換方法および変換装置 Download PDF

Info

Publication number
JP2016197861A
JP2016197861A JP2016103185A JP2016103185A JP2016197861A JP 2016197861 A JP2016197861 A JP 2016197861A JP 2016103185 A JP2016103185 A JP 2016103185A JP 2016103185 A JP2016103185 A JP 2016103185A JP 2016197861 A JP2016197861 A JP 2016197861A
Authority
JP
Japan
Prior art keywords
luminance
value
eotf
signal
code value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016103185A
Other languages
English (en)
Other versions
JP6478064B2 (ja
Inventor
遠間 正真
Tadamasa Toma
正真 遠間
小塚 雅之
Masayuki Kozuka
雅之 小塚
西 孝啓
Takahiro Nishi
孝啓 西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JP2016197861A publication Critical patent/JP2016197861A/ja
Application granted granted Critical
Publication of JP6478064B2 publication Critical patent/JP6478064B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/77Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • H04N5/202Gamma control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/68Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0271Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/06Colour space transformation
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/16Calculation or use of calculated indices related to luminance levels in display data
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/12Use of DVI or HDMI protocol in interfaces along the display data pipeline

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Picture Signal Circuits (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Circuits (AREA)
  • Image Processing (AREA)

Abstract

【課題】表示可能な輝度レベル改善する方法及び変換装置を提供する。【解決手段】映像の輝度に関する変換方法において、映像の輝度は、第1輝度範囲の輝度値からなり、映像の輝度値が量子化されることで得られたコード値を示す第1輝度信号を取得し、取得した第1輝度信号が示すコード値から、第1輝度範囲とは最大値が異なる第2輝度範囲に対する量子化により対応つけられたコード値を変換後コード値として決定し、第1輝度信号を、変換後コード値を示す第2輝度信号へ変換する。これによって、変換方法の更なる改善を図る。【選択図】図9

Description

本開示は、輝度範囲が異なる信号に変換する変換方法および変換装置に関する。
従来、表示可能な輝度レベルを改善するための画像信号処理装置が開示されている(例えば特許文献1参照)。
特開2008−167418号公報
本開示の一態様に係る変換方法は、映像の輝度に関する変換方法であって、前記映像の輝度は、第1輝度範囲の輝度値からなり、前記映像の輝度値が量子化されることで得られたコード値を示す第1輝度信号を取得し、取得した前記第1輝度信号が示すコード値から、前記第1輝度範囲とは最大値が異なる第2輝度範囲に対する量子化により対応付けられたコード値を変換後コード値として決定し、前記第1輝度信号を、前記変換後コード値を示す第2輝度信号へ変換する。
上記態様によれば、更なる改善を実現することができる。
図1は、EOTF(Electro−Optical Transfer Function)の例について示す図である。 図2は、コンテンツに格納される輝度信号のコード値の決定方法、および、再生時にコード値から輝度値を復元するプロセスの説明図である。 図3は、BDの制作、および、BDを再生するプレーヤについての説明図である。 図4Aは、BDプレーヤとTVとをHDMI(登録商標)により接続する例であり、TVがHDR表示に対応している場合を示す図である。 図4Bは、BDプレーヤとTVとをHDMI(登録商標)により接続する例であり、TVがHDR表示に対応していない場合を示す図である。 図5Aは、SDR信号をHDR信号に第1リマップする例を説明するための図である。 図5Bは、HDR信号をSDR信号に第1リマップする例を説明するための図である。 図6は、ビデオにおけるSDRマスターおよびHDRマスターの輝度範囲を示す図である。 図7は、HDR信号をSDR信号に変換する際の、HDRの輝度値とSDRの輝度値との対応関係である関係情報の例を説明するための図である。 図8は、変換装置におけるリマップ処理部の構成を示すブロック図である。 図9は、変換装置におけるリマップ処理のフローチャートを示す図である。 図10は、コンテンツ内にビデオおよびグラフィックスのストリームのそれぞれが1本ずつ含まれる場合におけるHDRおよびSDRの組合せ例を示す図である。 図11は、グラフィックス・マスターをビデオマスターと共通のEOTFを用いて生成することを示す図である。 図12Aは、グラフィックス・マスターの生成において、SDR信号にマッピングする場合について説明するための図である。 図12Bは、グラフィックス・マスターの生成において、HDR信号にマッピングする場合について説明するための図である。 図13は、オーサリングにおけるグラフィックス信号を生成する生成部の構成を示すブロック図である。 図14は、オーサリングにおけるグラフィックス信号の生成方法を示すフローチャートである。 図15は、ITU−R勧告におけるBT.709とBT.709の色空間をCIE表色系で示した図である。
(本開示の基礎となった知見)
本発明者は、「背景技術」の欄において記載した、画像信号処理装置に関し、以下の課題が生じることを見出した。
特許文献1に開示されている画像信号処理装置では、被写体を構成する画素から算出されたリニアRGB値に基づいて画素毎にリニア輝度を算出し、リニアRGB値およびリニア輝度に基づいて画素毎の補正リニア輝度および当該画素を含む複数の画素を合成した合成画素の補正リニアRGB値を算出し、補正リニア輝度および補正リニアRGB値をそれぞれガンマ補正して表示用輝度および表示用RGB値を算出する。このように、画像信号処理装置では、補正リニアRGB値に基づいてリニア輝度を補正することにより、表示可能な階調数の増加を図っている。
しかしながら、特許文献1に開示されている画像信号処理装置などの輝度の補正(変換)においては、第1輝度範囲から輝度範囲が拡大または縮小された第2輝度範囲に輝度を補正(変換)するときの輝度の変換方法については考慮されていなかった。
以上の検討を踏まえ、本発明者は、上記課題を解決するために、下記の改善策を検討した。
本開示の一態様に係る変換方法は、映像の輝度に関する変換方法であって、前記映像の輝度は、第1輝度範囲の輝度値からなり、前記映像の輝度値が量子化されることで得られたコード値を示す第1輝度信号を取得し、取得した前記第1輝度信号が示すコード値から、前記第1輝度範囲とは最大値が異なる第2輝度範囲に対する量子化により対応付けられたコード値を変換後コード値として決定し、前記第1輝度信号を、前記変換後コード値を示す第2輝度信号へ変換する。
これによれば、第1輝度範囲から輝度範囲が拡大または縮小された第2輝度範囲に輝度を適切に変換することができる。
また、例えば、前記第1輝度信号は、前記第1輝度範囲での輝度値と複数の第1コード値とを関係付けた第1EOTF(Electro−Optical Transfer Function)を用いて、前記映像の輝度値が量子化されることで得られた前記第1コード値を示し、前記第2輝度信号への変換では、前記第1EOTFと、前記第2輝度範囲での輝度値と複数の第2コード値とを関係付けた第2EOTFとを用いて、取得した前記第1輝度信号が示すコード値から、対応する前記第2コード値を変換後コード値として決定し、前記第2輝度信号は、決定された前記第2コード値を示してもよい。
また、例えば、前記第2輝度信号への変換では、(i)前記第1EOTFを用いることで、前記第1輝度信号が示すコード値に関係付けられた輝度値を決定し、かつ、(ii)前記決定した輝度値について、前記第2EOTFにおいて関係付けられている前記第2コード値を変換後コード値に決定する、第1リマップを行ってもよい。
また、例えば、前記第1リマップでは、前記第2EOTFにおいて、前記複数の第2コード値に、前記決定した輝度値が関係付けられているコード値がない場合、前記複数の第2コード値のうちで、前記決定した輝度値との差分が最も小さい輝度値に対応付けられたコード値を変換後コード値に決定してもよい。
また、例えば前記第1リマップでは、取得した前記第1輝度信号が示すコード値が前記第1EOTFで関係付けられている前記第1コード値が表される第1ビット数より少ない第2ビット数である場合、前記第1コード値のうちの前記第2ビット数だけ上位ビットを用いることで、前記第1EOTFで関係付けられている輝度値を決定してもよい。
また、例えば、前記第2輝度信号への変換では、(i)前記第1EOTFを用いることで、前記第1輝度信号が示すコード値に関係付けられた第1輝度値を決定し、(ii)前記決定した第1輝度値に予め関係付けられた、前記第2輝度範囲における第2輝度値を決定し、(iii)決定した前記第2輝度値について、前記第2EOTFにおいて関係付けられている前記第2コード値を変換後コード値に決定する、第2リマップを行ってもよい。
また、例えば、前記第1輝度範囲は、前記第2輝度範囲よりも最大輝度値が大きい輝度範囲であり、前記第1輝度範囲における最大輝度値と、前記第2輝度範囲における最大輝度値とは予め対応づけられ、前記第2輝度値の決定では、決定した前記第1輝度値が、前記第1輝度範囲のうちの輝度が低い側の低輝度領域にある場合、前記第1輝度値と略等しい輝度値になるように前記第2輝度値を決定し、決定した前記第1輝度値が、前記第1輝度範囲のうちの輝度が高い側の高輝度領域にある場合、前記第1輝度値が増加するほど、輝度値の増加量が減少するように前記第2輝度値を決定し、決定した前記第1輝度値が、前記第1輝度範囲の最大輝度値である場合、前記第2輝度範囲の最大輝度値を、前記第2輝度値としてもよい。
また、例えば、前記第2輝度値の決定では、決定した前記第1輝度値が前記第2輝度範囲の最大輝度値を超えている場合、前記第2輝度範囲の最大輝度値を、前記第2輝度値としてもよい。
また、例えば、前記第2輝度値の決定では、前記第1輝度範囲における輝度値と、前記第2輝度範囲における輝度値との関係を示す複数の関係情報から、前記映像のシーンに応じた関係情報を選択し、選択した関係情報を用いて、前記決定した第1輝度値から前記第2輝度値を決定してもよい。
また、例えば、前記第2輝度信号への変換では、前記映像がビデオであり、前記第1輝度信号が前記ビデオの輝度値が量子化された信号である場合、(i)前記第1EOTFを用いることで、前記第1輝度信号が示すコード値に関係付けられた第1輝度値を決定し、(ii)決定した前記第1輝度値に予め関係付けられた、前記第2輝度範囲における第2輝度値を決定し、(iii)決定した前記第2輝度値について、前記第2EOTFにおいて関係付けられているコード値を変換後コード値に決定する、第2リマップを行い、前記映像がグラフィックスであり、前記第1輝度信号が前記グラフィックスの輝度値が量子化された信号である場合、(i)前記第1EOTFを用いることで、前記第1輝度信号が示すコード値に関係付けられた輝度値を決定し、かつ、(ii)前記決定した輝度値について、前記第2EOTFにおいて関係付けられているコード値を変換後コード値に決定する、第1リマップを行うことで、前記第2輝度信号へ変換してもよい。
また、例えば、さらに、前記第1リマップおよび前記第2リマップが行われることで、前記第2輝度信号に変換されたビデオおよびグラフィックスを合成して出力してもよい。
また、例えば、前記第2輝度信号への変換は、前記第1EOTFと、前記第2輝度信号の出力先のディスプレイデバイスにおいて表示可能な輝度範囲を前記第2輝度範囲とする前記第2EOTFとを用いて、行われてもよい。
また、例えば、さらに、取得した前記第1輝度信号から変換した前記第2輝度信号を、前記第2EOTFを識別するためのメタ情報とともに出力してもよい。
なお、これらの全般包括的または具体的な態様は、装置、システム、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
以下、添付の図面を参照して、本開示の一態様に係る変換方法および変換装置について、具体的に説明する。
なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素。構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
(実施の形態1)
[1−1.背景]
これまで、映像の高画質化としては、画素数の拡大に主眼がおかれ、Full HD(FHD:Full High Definition)と呼ばれる1920×1080画素の映像、あるいは、2048×1080画素の映像が普及するに至っている。近年、映像の更なる高画質化を目指して、3840x1920画素、あるいは、4096×1920画素といった、所謂4K映像の導入が開始されている。そしてさらに、映像の高解像度化を行うと共に、ダイナミックレンジや色域の拡大、あるいは、フレームレートの向上などを行うことで映像を高画質化することが検討されている。
その中でも、ダイナミックレンジについては、従来の映像における暗部階調を維持しつつ、現行のTV信号では表現不能な鏡面反射光などの明るい光を、より現実に近い明るさで表現するために最大輝度値を拡大した輝度範囲に対応させた方式として、HDR(High Dynamic Range)が注目されている。具体的には、これまでのTV信号が対応している輝度範囲の方式は、SDR(Standard Dynamic Range)と呼ばれ、最大輝度値が100nitであったのに対して、HDRでは1000nit以上まで最大輝度値を拡大することが想定されている。HDRは、SMPTE(Society of Motion Picture & Television Engineers)やITU−R(International Telecommunications Union Radiocommunications Sector)などにおける標準化が進行中である。HDRの具体的な適用先としては、放送やBD(Blu−ray(登録商標) Disc)などが想定される。
[1−2.EOTFについて]
ここで、EOTFについて、図1を用いて説明する。
図1は、HDRおよびSDRのそれぞれに対応したEOTF(Electro−Optical Transfer Function)の例について示す図である。
EOTFは、一般的にガンマカーブと呼ばれるものであり、輝度値とコード値との対応を示し、輝度値を量子化してコード値に変換するものである。つまり、EOTFは、輝度値と複数のコード値との対応関係を示す関係情報である。例えば、SDRに対応した映像の輝度値を8ビットの階調のコード値で表現する場合、100nitまでの輝度範囲における輝度値は、量子化されて、0−255の256個の整数値にマッピングされる。つまり、EOTFに基づいて量子化することで、100nitまでの輝度範囲の輝度値(SDRに対応した映像の輝度値)を、8ビットのコード値であるSDR信号に変換する。HDRに対応したEOTF(以下、「HDRのEOTF」という。」)においては、SDRに対応したEOTF(以下、「SDRのEOTF」という。)よりも高い輝度値を表現することが可能であり、例えば図1においては、輝度の最大値(ピーク輝度)は1000nitsである。つまり、HDRの輝度範囲は、SDRの輝度範囲を全て含み、HDRのピーク輝度は、SDRのピーク輝度より大きい。HDRの輝度範囲は、SDRの輝度範囲の最大値である例えば100nitから、1000nitまで、最大値を拡大した輝度範囲である。また、HDR信号は、例えば10ビットの階調で表現される。
[1−3.EOTFの使い方]
図2は、コンテンツに格納される輝度信号のコード値の決定方法、および、再生時にコード値から輝度値を復元するプロセスの説明図である。
本例における輝度を示す輝度信号はHDRに対応したHDR信号である。グレーディング後の画像は、HDRのEOTFの逆関数により量子化され、当該画像の輝度値に対応するコード値が決定される。このコード値に基づいて画像符号化などが行われ、ビデオおよびグラフィックスそれぞれのエレメンタリ・ストリームが生成される。再生時には、エレメンタリ・ストリームの復号結果に対して、HDRのEOTFに基づいて逆量子化することにより、画素毎の輝度値が復元される。
[1−4.BDのストリーム構成]
BDなどの光ディスク、あるいは、放送などにおいてHDRが使われる可能性があることを先に述べた。以下、HDRが利用される媒体の一例としてのBDについて図3を用いて説明する。
図3は、BDの制作、および、BDを再生するプレーヤについての説明図である。
図3に示すように、制作プロセスは、Blu−ray(登録商標)コンテンツのオーサリング、オーサリングしたBlu−ray(登録商標)コンテンツを格納したBDの作成などを含む。Blu−ray(登録商標)コンテンツには、ビデオおよびオーディオの他にも、字幕やメニューを生成するためのグラフィックスデータ、および、メニューの表示やユーザー操作におけるインタラクティビティを提供するためのシナリオデータなどが含まれる。シナリオデータには、規定のコマンドにより制御するHDMV(High Definition Movie)と呼ばれる形式と、Java(登録商標)プログラムにより制御するBD−J(Blu−ray(登録商標) Disc Java(登録商標))と呼ばれる形式とが存在する。オーサリングにおいては、ビデオおよびオーディオを符号化して、それらの符号化ストリームと、字幕、メニューなどを示すグラフィックスデータとをM2TS形式のトランスポートストリームに多重化すると共に、プレイリストやEPマップなどの再生制御に必要な管理情報を生成する。そして、オーサリングにより生成されたデータは、BDに格納される。
BDプレーヤでは、管理情報を参照して再生に必要なビデオおよびオーディオのエレメンタリ・ストリームと、グラフィックスデータとを分離して復号し、出力する。ここで、ビデオと、字幕、メニューなどのグラフィックスとは、互いのプレーンを合成した後に出力される。ビデオの解像度とグラフィックスの解像度とが異なる場合には、ビデオの解像度に合わせてグラフィックスをアップコンバートした後に、ビデオとグラフィックスとを合成する。
[1−5.装置の構成)]
HDRに対応したコンテンツ(映像)を再生する際には、TVなどのディスプレイは、BDプレーヤなどの再生装置からの出力信号を受信して表示する。以下、HDRに対応した映像の表示を「HDR表示」、SDRに対応した映像の表示を「SDR表示」と記載する。このとき、ディスプレイがHDR表示に対応していれば、再生装置が出力する出力信号も、HDRに対応したHDR信号のままでよい。一方、ディスプレイがHDR表示に対応していない場合には、再生装置は、出力信号をSDRに対応したSDR信号に変換して出力する。ディスプレイがHDR表示に対応していない場合とは、ディスプレイがSDR表示のみに対応している場合である。
図4Aおよび図4Bは、それぞれ、BDプレーヤ200とTV300、310とをHDMI(登録商標)により接続する例であり、図4AはTV300がHDR表示に対応している場合を示し、図4BはTV310がHDR表示に対応していない場合を示す。なお、図4AにおけるBDプレーヤ200と、図4BにおけるBDプレーヤ200とでは、構成が異なるが、図4Aの場合には、後述するリマップを行わない場合を示した図であり、リマップを行う変換装置210の構成を省略して図示している。
図4Aでは、BDプレーヤ200は、メディア100からビデオおよびグラフィックスを読み込んでデコードする。そして、BDプレーヤ200は、デコードされたビデオおよびグラフィックスのHDRデータを合成し、合成することで生成したHDR信号を、HDMI(登録商標)によりHDR表示対応のTV300に出力する。
一方、図4Bでは、TV310がHDR表示非対応であるため、BDプレーヤ200は、ビデオおよびグラフィックスを合成する前に、HDRのEOTFおよびSDRのEOTFを用いて、ビデオおよびグラフィックスのHDRデータのそれぞれを、SDRデータにリマップする。そして、BDプレーヤ200は、リマップされたビデオおよびグラフィックスのSDRデータを合成し、合成することで生成したSDR信号を、HDMI(登録商標)によりHDR表示非対応のTV310に出力する。
なお、リマップとは、第1EOTFおよび第2EOTFの2種類のEOTFが存在する際に、第1EOTFにおける第1コード値を、第2EOTFにおける第2コード値に変換する処理である。図4Bの場合、リマップは、HDRからSDRへの変換において、HDRのEOTFのコード値を、SDRのEOTFのコード値に変換する処理である。
つまり、図4Bの場合、BDプレーヤ200は、第1輝度範囲(HDR)に対応する第1輝度信号(HDR信号)を取得する取得部と、HDRのEOTFと、SDRのEOTFとを用いて、取得部により取得された第1輝度信号が示すコード値から、第2輝度範囲(SDR)に対する量子化により対応付けられたコード値を変換後コード値として決定し、第1輝度信号を、変換後コード値を示す第2輝度信号へ変換する変換部とを備える変換装置210を含む。より具体的には、変換部は、第2輝度信号への変換において、第1EOTFと、第2EOTFとを用いて、取得部により取得された第1輝度信号が示すコード値から、対応する第2コード値を変換後コード値として決定する。なお、BDプレーヤ200は、変換装置210の各部に対応するステップを行う変換方法を行う。なお、図4Bでは、変換装置210は、HDR信号をSDR信号に変換して出力する場合が例示されているが、後述するように、SDR信号をHDR信号に変換して出力してもよい。
SDRにおいては100nitを超える輝度を表現できないため、変換装置210で行われるHDRからSDRへの変換処理では、少なくとも、HDR信号において100nitを超える輝度と、当該輝度に対応するSDRのコード値との対応付けを、予め定義した変換テーブル、あるいは、コンテンツにおける画像の輝度分布などに応じた適応的な処理、に基づいて行う必要がある。また、変換処理では、字幕のように輝度値が離散的になるデータと、ビデオとでは異なる変換ルールが必要になると想定される。また、リマップは、フレーム単位で発生するため、特に4Kなどの高解像度の画像においては処理量が大きい。さらに、リマップの前後では輝度値が変化するため、リマップ後の画像は制作者の意図と異なる印象の画像となる可能性がある。
HDRに対応した映像(コンテンツ)のHDR信号をSDR信号に変換して出力する際には、グラフィックスについてもビデオと同様のリマップが必要となる。ビデオとグラフィックスとの両方にリマップを行うことで、リマップにかかる処理量が大きくなると共に、制作者の意図しない輝度値に変換される可能性があるという課題も想定される。
[1−6.輝度値固定の第1リマップ]
グラフィックス・マスターの輝度範囲は、SDRおよびHDRのマスターで共通にする(後述参照)。つまり、グラフィックス・マスターは、SDRの輝度範囲の上限値以下で生成される。これは、映像コンテンツにおいてHDRの効果が最も大きいのは、映画の本編などのビデオであり、字幕などのグラフィックスについては、ビデオと比較すると効果が小さいと考えられるからである。
このようなグラフィックスのリマップにおいては、変換前の第1EOTFにおけるコード値から対応する輝度値を決定し、その輝度値に対応する変換後の第2EOTFにおけるコード値を決定する第1リマップが行われる。つまり、第1リマップは、第1EOTFで決定された輝度値をそのまま用いて、第2EOTFにおけるコード値を決定する輝度値固定のリマップである。
ここで、各EOTFにおける複数のコード値のそれぞれと複数の輝度値のそれぞれとの対応関係を示すテーブルを予め保持しておく。各テーブルが参照されることにより、所定のコード値に対応する所定の輝度値が決定され、あるいはその逆に、所定の輝度値に対応する所定のコード値が決定される。
具体的な処理について、図5Aと図5Bとを参照して説明する。図5Aは、SDR信号をHDR信号に第1リマップする例であり、SDRにおけるコード値がcode_sdrであるSDR信号の第1リマップを説明するための図である。この第1リマップでは、code_sdrに対応する輝度値val_iをSDRのEOTFを用いて決定し、次に、決定された輝度値val_iに対応するHDRのEOTFにおけるcode_hdrを決定する。この動作により、SDRのEOTFにおけるコード値code_sdrが、HDRのEOTFにおけるコード値code_hdrにリマップされる。
続いて、図5Bは、HDR信号をSDR信号に第1リマップする例であり、図5Aの場合と同様にして、HDRのEOTFにおけるコード値code_hdrであるHDR信号のリマップを説明するための図である。この第1リマップでは、code_hdrが、SDRのEOTFにおけるコード値code_sdrにリマップされる。つまり、code_hdrに対応する輝度値val_iをHDRのEOTFを用いて決定し、次に、決定された輝度値val_iに対応するSDRのEOTFにおけるcode_sdrを決定する。
これらのことから、図5Aおよび図5Bで示す第1リマップは、(i)第1EOTFを用いることで、第1輝度信号が示すコード値に関係付けられた輝度値を決定し、かつ、(ii)決定した輝度値について、第2EOTFにおいて関係付けられている第2コード値を変換後コード値に決定する。
なお、第1リマップでは、変換前の第1EOTFにおける輝度値と一致するコード値が、変換後の第2EOTFにおいて存在しない場合には、変換後の第2EOTFのコード値の中から、輝度値の差分が最も小さくなるコード値を選択する。つまり、図5Aおよび図5Bで示す第1リマップは、第2EOTFにおいて関係付けられている複数の第2コード値に、決定した輝度値が関係付けられているコード値がない場合、複数の第2コード値のうちで、決定した輝度値との差分が最も小さい輝度値に対応付けられたコード値を変換後コード値に決定する。図5Aの例において、HDRのEOTFにおける複数のコード値の中に、輝度値がval_i(SDRのEOTFにおいてcode−sdrに関係付けられた輝度値)に一致するコードが存在しない場合には、HDRのEOTFにおける複数のコード値に関係付けられている複数の輝度値のうちでval_iに最も近い輝度値に関係付けられているコード値を選択する。
SDR信号のコード値のビット長としては8ビットの信号が用いられることが一般的であるが、HDR信号では、高いピーク輝度を表現するためにビット長を10ビット、あるいは、12ビットなどに拡大することが想定される。しかしながら、従来のオーサリングシステムや光ディスク、あるいは、BDプレーヤなどにおいては、ビデオやグラフィックスの信号は8ビットであったため、互換性の観点からは8ビットの信号を用いることが望ましい。ビデオはコンテンツにおいて最も重要な要素であり、2Kから4Kへの解像度の拡大や、ITU−R勧告BT.709からBT.2020への色域の拡大が見込まれるため、従来との互換性を取ることは困難である。一方、グラフィックスについては、従来通りの2K、8ビット、SDRのグラフィックスを用いて、表示する際に4Kにアップコンバートして、ビデオと合成して表示することも可能である。グラフィックスを従来と同一とすることで、ビデオが2KでありSDRに対応した映像(コンテンツ)と、ビデオが4KあるいはHDRに対応した新規コンテンツにおいて、オーサリング時のグラフィックスデータを共用できるというメリットがある。
ここで、ディスプレイがSDRのみに対応している場合であって、SDRのEOTFを用いる場合には、SDRのピーク輝度は8ビットで表現できるので問題ない。一方で、ディスプレイがHDRに対応している場合であって、HDRのEOTFを用いる場合には、HDRのEOTFではビット長が8ビットから10ビットあるいは12ビットなどに拡大される結果、コード値が8ビット表現における最大値である「255」に対応するHDRのEOTFにおける輝度値がSDRのピーク輝度よりも小さくなることがある。つまり、HDRのEOTFのコード値のうち0〜255の値を抽出することで、8ビットのHDR信号に対応させることでは、SDRのピーク輝度を表現できない可能性がある。
従って、10ビットのコード値が関係付けられたHDRのEOTFを8ビットのコード値で表現する際には、HDRのEOTFの10ビットのコード値における上位8ビットのコード値を用いることにしてもよい。具体的には、HDR信号の8ビットのコード値を輝度値に変換する際には、8ビットのHDR信号を2ビット分だけシフトアップして、下位2ビットにはゼロを挿入することで10ビットのコード値を生成し、生成したコード値に対応する輝度値を決定する。
つまり、第1リマップでは、取得した第1輝度信号が示すコード値が第1EOTFで関係付けられている第1コード値が表される第1ビット数より少ない第2ビット数である場合、第1コード値のうちの第2ビット数だけ上位ビットを用いることで、第1EOTFで関係付けられている輝度値を決定する。また、第1リマップでは、第1輝度信号のビット長を、第1EOTFのビット長に変換し、第1EOTFにおいて、変換した第1輝度信号のコード値に対応する輝度値を決定する。
2ビット分だけシフトアップして生成したコード値は、4の倍数のみとなるが、SDRのピーク輝度を8ビットのコード値で表現できる。あるいは、SDRのピーク輝度を9ビットのコード値で表現できる場合には、9ビットのコード値を1ビット分だけシフトアップさせてもよく、このときはシフトアップされたコード値は2の倍数のコード値を取る。なお、HDRのEOTFのコード値が12ビットである場合にも同様の手法を用いることができる。
以上のように、第1リマップでは、輝度値を固定にしたリマップであり、変換前後の第1および第2EOTFの間での輝度値の対応付けが不要であるため、リマップに係る処理量を削減することができる。このような第1リマップを輝度値固定リマップと呼ぶことにする。
[1−7.輝度値可変の第2リマップ]
グラフィックスは輝度値固定リマップ(第1リマップ)によりHDRからSDR、あるいは、SDRからHDRにリマップすることを述べた。一方で、図6に示すように、ビデオにおいてはSDRおよびHDRのそれぞれに対してピーク輝度の異なるマスターを用いるため、HDRのマスターにはSDRのピーク輝度を超える輝度が含まれる。図6は、ビデオにおけるSDRマスターおよびHDRマスターの輝度範囲を示す図である。
ビデオのリマップにおいては、ビデオのHDR信号のピーク輝度がSDRのピーク輝度よりも高いため、グラフィックスのリマップのように変換前後で輝度値を一定とすることができない。このため、ビデオのリマップにおいては、変換前後で輝度値を変換するリマップ(第2リマップ)を行う。つまり、第2リマップにおいては、(i)第1EOTFを用いることで、第1輝度信号が示すコード値に関係付けられた第1輝度値(リマップ前の輝度値)を決定した後に、第1リマップとは異なり、(ii)決定した第1輝度値に予め関係付けられた、第2輝度範囲における第2輝度値(リマップ後の輝度値)を決定する。そして、第2リマップでは、さらに、第1リマップと同様に、決定した第2輝度値について、前記第2EOTFにおいて関係付けられている第2コード値を変換後コード値に決定する。
図7は、HDR信号をSDR信号に変換する際の、HDRの輝度値とSDRの輝度値との対応関係である関係情報の例を説明するための図である。マッピング方法の詳細は省略するが、上記の対応関係では、HDRの輝度範囲のうち低輝度領域における輝度値をなるべく保つように、SDRの輝度範囲における輝度値にマッピングし、HDRの輝度範囲のうち低輝度領域よりも高い輝度領域である高輝度領域の輝度値をSDRの輝度範囲におけるピーク輝度付近にマッピングする。つまり、図7に示すように、第2輝度値の決定では、決定した第1輝度値が、第1輝度範囲のうちの輝度が低い側の低輝度領域にある場合、第1輝度値と略等しい輝度値になるように第2輝度値を決定する。第2輝度値の決定では、決定した第1輝度値が、第1輝度範囲のうちの輝度が高い側の高輝度領域にある場合、第1輝度値が増加するほど、増加量が減少するように第2輝度値を決定し、決定した第1輝度値が、第1輝度範囲の最大輝度値である場合、第2輝度範囲の最大輝度値を、第2輝度値として決定する。
なお、SDRのピーク輝度を超える輝度値を、一律にクリップすることによりSDRのピーク輝度に揃える方法もある。つまり、リマップ後の輝度値である第2輝度値の決定では、決定した第1輝度値が第2輝度範囲の最大輝度値を超えている場合、第2輝度範囲の最大輝度値を、第2輝度値としてもよい。しかし、このような方法ではHDR信号の高輝度領域における輝度差を全く表現できないという欠点がある。なお、HDRおよびSDRの輝度値同士の対応関係は、SDRからHDRに変換する際も同様である。HDRおよびSDRの間での輝度値の対応付けについても、別途テーブルを用意しておく。
このように、リマップの前後で輝度値が変化する場合の第2リマップを、輝度値可変のリマップと呼ぶことにする。
[1−8.変換方法、および、変換装置]
図8は、変換装置におけるリマップ処理部の構成を示すブロック図である。
リマップ処理部220は、変換装置210に含まれる。図8に示すように、リマップ処理部220は、EOTF判定部221と、処理対象判定部222と、輝度値可変リマップ部223と、輝度値固定リマップ部224と、コンテンツ(映像)のストリームを一時的に記憶しておく記憶部225とを有する。
EOTF判定部221は、メディア100から読み込んだコンテンツ(ビデオおよびグラフィックス)の信号が対応しているEOTFと、映像を表示するTV300、310などのディスプレイに出力すべき出力信号が対応しているEOTFとが異なるか否かを判定する。なお、出力信号が対応しているEOTFとは、ここでは、TVなどのディスプレイが対応しており表示することができる出力信号のEOTFである。
処理対象判定部222は、処理対象がビデオであるか否(グラフィックスである)かを判定する。
輝度値可変リマップ部223は、記憶部225に記憶されているストリームの信号を、輝度値可変リマップ(第2リマップ)により出力信号のEOTFに対応する信号に変換する。
輝度値固定リマップ部224は、記憶部225に記憶されているストリームの信号を、輝度値固定リマップ(第1リマップ)により出力信号のEOTFに対応する信号に変換する。
図9は、変換装置におけるリマップ処理のフローチャートを示す図である。
図9に示すように、リマップ処理では、まず、EOTF判定部221が、取得したコンテンツ(ビデオおよびグラフィックス)の信号が対応しているEOTFと、ディスプレイに出力すべき出力信号が対応しているEOTFとが異なるか否かを判定する(step101)。step101において「はい」と判定されれば、コンテンツの信号が対応している輝度範囲の方式を、出力信号が対応しているEOTFに変換するために、step102〜step104の処理を行う。一方で、step101において「いいえ」と判定されれば、リマップ処理を終了し、リマップすることなくコンテンツの信号を出力する。このように、step101が行われることにより、出力信号の形式は、映像を表示するTVなどのディスプレイが、HDR表示対応であるかどうかに基づいて決定される。なお、出力信号の形式は、本編などのメインのビデオに合わせるように決定されてもよい。
次に、処理対象判定部222は、処理対象がビデオであるか否(グラフィックスである)かを判定する(step102)。step102において「はい」と判定されれば、輝度値可変リマップ部223は、コンテンツの信号を、輝度値可変リマップ(第2リマップ)により出力信号のEOTFに対応する信号に変換する(step103)。
一方で、step102において「いいえ」と判定されれば、輝度値固定リマップ部224は、輝度値固定リマップ(第1リマップ)により出力信号のEOTFに対応する信号に変換する(step104)。
このように、コンテンツ(映像)がビデオである場合、第2リマップが行われ、コンテンツ(映像)がグラフィックスである場合、第1リマップが行われる。
step103の輝度値可変リマップとstep104の輝度値固定リマップとにおいては、それぞれ、HDRおよびSDRの輝度値の対応関係を示すテーブルを予め用意しておく。このテーブルにおいては、HDRのEOTFおよびSDRのEOTFにおいて、それぞれ、コード値が存在する輝度値の間の対応関係が記述されていてもよい。こうすることで、リマップ後のEOTFの輝度値に対応するコード値が必ず存在するため、輝度値に対応するコード値が存在しない場合に、当該の輝度値に最も近い輝度値を有するコード値を探索する必要がなくなる。
また、輝度値可変リマップ(第2リマップ)では、画像内、あるいは、シーン毎の輝度分布などに基づいて、複数のテーブルを適応的に切替える、あるいは、コンテンツ毎に最適なテーブルを逐次作成するなどしてもよい。つまり、例えば、リマップ後の輝度値である第2輝度値の決定では、第1輝度範囲における輝度値と、第2輝度表現における輝度値との関係を示す複数の関係情報(テーブル)から、映像のシーンに応じた関係情報を選択し、選択した関係情報を用いて、決定した第1輝度値から第2輝度値を決定してもよい。
step103の輝度値可変リマップでは、次のような手順で処理が行われる。この場合、第1EOTFに対応した第1輝度信号から第2EOTFに対応した第2輝度信号に変換するものとする。
(1)第1EOTFのコード値に対応する第1輝度値(リマップ前の輝度値)を決定する。
(2)(1)で決定した第1輝度値に対応する第2EOTFの第2輝度値(リマップ後の輝度値)を決定する。
(3)(2)で決定した第2輝度値に対応する第2EOTFのコード値を決定する。
step104の輝度値固定リマップでは、次のような手順で処理が行われる。この場合、第1EOTFに対応した第1輝度信号から第2EOTFに対応した第2輝度信号に変換するものとする。
(1)第1EOTFのコード値に対応する輝度値を決定する。
(2)(1)で決定した輝度値に対応する第2EOTFのコード値を決定する。
※輝度値固定リマップの場合、リマップの前後で輝度値は変化しないため、step103における(2)の処理は不要となる。
step103およびstep104のリマップ処理の完了後、変換装置210は、ビデオおよびグラフィックスを合成して出力する。つまり、変換装置210は、さらに、第1リマップおよび第2リマップが行われることで、第2輝度信号に変換されたビデオおよびグラフィックスが合成して出力してもよい。
また、変換装置210は、さらに、HDMI(登録商標)などのインタフェースによりディスプレイに出力する際には、出力信号のEOTFを識別するための情報をメタ情報として送信してもよい。つまり、変換装置210は、さらに、取得した第1輝度信号から変換した第2輝度信号を、第2EOTFを識別するためのメタ情報とともに出力してもよい。
[1−9.効果等]
実施の形態1では、コンテンツの再生においては、映像の出力先がHDR対応であるかどうかに応じて、HDR、または、SDRのどちらで出力するかを決定し、出力形式に合わせて、映像とグラフィックスをSDRからHDRに、あるいは、HDRからSDRにリマップ処理を行う。グラフィックスに対しては、リマップの前後で輝度値が変化しない輝度固定リマップ処理を適用し、映像に対しては、リマップの前後で輝度値が変化し得る輝度可変リマップ処理を適用する。
グラフィックスについては、リマップの前後で輝度が変化しないため、制作者の意図した画質を保持することができる。また、変換前後EOTFの間での輝度値の対応付けが不要であり、リマップに係る処理量を削減できる。
(実施の形態2)
[2−1.コンテンツの生成方法]
ビデオやグラフィックスのマスターの作成においては、制作者の意図を反映するように、カメラで撮影したデジタル画像やフィルムのスキャン画像に対して、画素毎の輝度や色合いを修正する、図2で示したグレーディングという工程が必要であり、グレーディングには高度なノウハウが必要であると共に、必要な工数も膨大となる。従って、生成するマスターの数は最小限に抑えられることが望ましい。一方で、HDRとSDRとでは、ピーク輝度が異なるため、一般的にはそれぞれに対して異なるマスターを生成する必要がある。図10は、コンテンツ内にビデオおよびグラフィックスのストリームのそれぞれが1本ずつ含まれる場合におけるHDRおよびSDRの組合せ例を示す図である。この例においては、4通りの組合せがあり、ビデオおよびグラフィックスに対して、それぞれHDRおよびSDRのマスターが必要となる。
一方で、映像コンテンツにおいてHDRの効果が最も大きいのは、映画の本編などのビデオであり、字幕などのグラフィックスについてはビデオと比較すると効果が小さいと考えられる。それにもかかわらず、グラフィックスに対しても、ビデオと同様にHDRおよびSDRのマスターを作成することは、コンテンツ制作の負荷が大きいという課題があった。
そこで、本開示のグラフィックスのマスター生成においては、図11に示すように、SDRおよびHDRのマスターを共通化する。図11は、グラフィックス・マスターをビデオマスターと共通のEOTFを用いて生成することを示す図である。このために、グラフィックスのマスターにおける輝度範囲は、SDRの輝度範囲と一致させる。すなわち、グラフィックス・マスターにおけるピーク輝度は、SDRの輝度範囲の上限値以下とする。コンテンツ内のグラフィックスデータを、SDRに対応させたSDR信号にマッピングする場合には、SDRのEOTFに基づいて画素毎のコード値が決定され、HDRに対応させたHDR信号にマッピングする場合には、HDRのEOTFに基づいて画素毎のコード値が決定される。
図12Aは、グラフィックス・マスターの生成において、SDR信号にマッピングする場合について説明するための図である。この場合、SDRの輝度範囲とグラフィックスのマスターの輝度範囲とは一致するため、SDRのEOTFにおけるコード値の定義域は、全て有効となる。
図12Bは、グラフィックス・マスターの生成において、HDR信号にマッピングする場合について説明するための図である。この場合、SDRのピーク輝度に相当するコード値以下のコード値のみが有効となる。
なお、グラフィックス・マスターをHDR信号にマッピングした場合に、ピーク輝度がSDRの輝度範囲内であることを示す識別情報を、エレメンタリ・ストリーム、あるいは、プレイリストなどの管理情報に格納してもよい。上述したリマップ処理においては、この識別情報に基づいて、輝度値固定リマップ、あるいは、輝度値可変リマップのどちらを適用するかを決定できる。また、HDMI(登録商標)などのインタフェースにより出力する際には、出力インタフェースのメタ情報として、この識別情報を格納してもよい。
グラフィックスのEOTFは、ビデオに合わせて決定できる。すなわち、ビデオがHDRであればグラフィックスデータもHDRとし、ビデオがSDRであればグラフィックスデータもSDRとする。あるいは、グラフィックスデータは常にSDRとしてもよい。
なお、複数のビデオが存在する際にも同様の考え方を適用できる。例えば、メインのビデオに対して重畳、あるいは、並べて表示するサブのビデオがある場合には、サブのビデオのEOTFはメインのビデオに合わせるなどが可能である。
[2−2.データ生成方法、および、装置]
図13は、オーサリングにおけるグラフィックス信号を生成する生成部の構成を示すブロック図である。
生成部400は、GFXグレーディング部410と、判定部420と、HDR信号生成部430と、SDR信号生成部440とを備える。
GFXグレーディング部410は、輝度値がSDRのピーク輝度以下となるようにグラフィックス・マスターをグレーディングする。
判定部420は、グラフィックスと同時に表示されるビデオはHDRであるか否かを判定する。
HDR信号生成部430は、判定部420によりグラフィックスと同時に表示されるビデオはHDRであると判定された場合、HDRのEOTFを用いてグラフィックスの輝度値をコード値に変換する。
SDR信号生成部440は、判定部420によりグラフィックスと同時に表示されるビデオはHDRでない(つまりSDRである)と判定された場合、SDRのEOTFを用いてグラフィックスの輝度値をコード値に変換する。
図14は、オーサリングにおけるグラフィックス信号の生成方法を示すフローチャートである。
まず、GFXグレーディング部410が、輝度値がSDRのピーク輝度以下となるようにグラフィックス・マスターをグレーディングする(step201)。
次に、判定部420は、グラフィックスと同時に表示されるビデオはHDRであるか否かを判定する(step202)。
HDR信号生成部430は、step202で「はい」と判定された場合、HDRのEOTFを用いてグラフィックスの輝度値をコード値に変換する(step203)。
SDR信号生成部440は、step202で「いいえ」と判定された場合、SDRのEOTFを用いてグラフィックスの輝度値をコード値に変換する(step204)。
なお、step202において、ビデオと同時に表示されるグラフィックスであるかどうかを判定しているが、例えば、グラフィックスが字幕であれば、当該字幕が重畳されるビデオについて判定することになる。また、メニューなど、ビデオと同時には表示されないグラフィックスについては、本編のビデオがHDRであるかどうかなどに基づいて判定してもよい。なお、グラフィックスは従来の2K向けのフォーマットと同じものを使用するために、常にSDRのEOTFを用いて変換するものとして、step202の判定処理を行わずに、常にstep204の処理を行ってもよい。
このように、グラフィックスの輝度範囲をSDRのピーク輝度以下とすることで、リマップの前後で輝度値を変化させずにリマップする輝度値固定リマップを行うことができるという利点がある。
なお、HDRマスターの輝度をSDRの範囲内とするようにグレーディングすることは、グラフィックス以外のデータについても可能である。また、特に字幕などのグラフィックスでは、SDRのピーク輝度よりも高い輝度値を用いるメリットが小さい。従って、SDRからHDRへのリマップにおいては、グレーディングがSDRの範囲内であるかどうかに関わらず、輝度値固定リマップを適用してもよい。
[2−3.効果等]
本実施の形態2に係る生成装置および生成方法では、ビデオの他にグラフィックスなどの映像データが含まれるコンテンツをオーサリングする際に、ビデオ以外の映像データについては、HDRとSDRで共通のマスターを使用する。このため、マスターにおけるピーク輝度は、SDRの輝度範囲内となるようにグレーディングを行う。
これにより、ビデオ以外のマスターをHDRおよびSDRで共通化できるため、マスター生成に係る工数を削減できる。
(他の実施の形態)
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
そこで、以下では、他の実施の形態を例示する。
例えば、上記の各実施の形態では、変換装置210から出力される出力信号の形式としては、HDRおよびSDRの2種類について説明した。HDMI(登録商標)などに出力する際には、標準規格としてHDRあるいはSDRのいずれかにより出力するが、例えば、TVにBDプレーヤが内蔵されている場合や、TVで放送を受信して再生する、あるいは、タブレットなどにおいてOTTサービスを視聴する際には、変換装置210からディスプレイデバイスに対して直接信号を出力することが可能である。
このとき、HDR規格におけるピーク輝度と、ディスプレイデバイスにおいて表示可能なピーク輝度とが異なる場合には、HDRに対応したコンテンツ内のデータに対して、ディスプレイデバイスのEOTFに応じたリマップ処理を行ってもよい。また、ディスプレイデバイスに対してHDMI(登録商標)で入力されたSDRやHDRの信号についても、ディスプレイデバイスのピーク輝度に応じたEOTFに対して再度リマップ処理を行ってもよい。
つまり、この場合は、第2輝度信号への変換は、取得した第1輝度信号を、第1EOTFと、第2輝度信号の出力先のディスプレイデバイスにおいて表示可能な輝度範囲を第2輝度範囲とする第2EOTFとを用いて、行われてもよい。
また、上記の各実施の形態では、言及していないが、BDのオーサリングにおいては、プレイリスト内のプレイアイテム単位で再生するビデオやオーディオ、あるいは、グラフィックスを指定できる。このように、プレイアイテム単位で再生するビデオやオーディオ、或いは、グラフィックスが指定されている場合、HDMI(登録商標)などのインタフェースでは、プレイアイテム単位でHDRとSDRが切替わると、プレイアイテムの境界においてリセット処理がかかり、シームレスに再生できないことがある。従って、シームレスに接続されるプレイアイテム間でHDRとSDRとが切替わる場合には、出力信号のEOTFが直前のプレイアイテムと同一となるように、BDプレーヤなどに備えられる変換装置においてリマップ処理を行ってもよい。あるいは、シームレスに接続されるプレイアイテム間では、EOTFの切替わりを禁止し、さらに、EOTFが切替わらないことを示す識別情報をプレイリストなどの管理情報に格納してもよい。
また、上記の各実施の形態のオーサリング、あるいは、変換方法などは、光ディスクのようなパッケージメディアだけでなく、放送やOTT(Over The Top)サービスにおいても適用できる。例えば、放送では、放送番組の本編の他に、放送により送られるデータ放送や、通信ネットワーク経由で取得したコンテンツを、本編のビデオに対して重畳表示することができる。このとき、本編のビデオはHDRの番組とSDRの番組とが混在することが予想され、本編とは別に取得するコンテンツにおけるグラフィックスやビデオに対しても、これまで説明した手法によるピーク輝度の制限や、リマップ処理を行うことができる。
また、上記の各実施の形態では、HDRおよびSDRというピーク輝度の異なるEOTFについて述べたが、同様の考え方は、色域やビット深度に対しても適用できる。色域については、解像度が2Kから4Kに拡大されることに伴い、BT.709の色空間からBT.2020への色空間に変更される。図15は、ITU−R勧告におけるBT.709とBT.709の色空間をCIE表色系で示した図であり、BT.2020においては、BT.709に比べて色域が拡大していることが分かる。グラフィックスにおいて、HDR信号のピーク輝度をSDRのピーク輝度に一致させたように、BT.2020の色空間を用いる場合に、BT.709の色域の範囲内の色を用いることができる。色空間としてBT.2020を用いる場合に、色がBT.709の範囲内であるかどうかについても、EOTFと同様に、コンテンツ内、あるいは、出力インタフェースのメタ情報として格納することができる。
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
以上、本開示の一つまたは複数の態様に係る変換方法および変換装置について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、異なる実施の形態における構成要素を組み合わせて構築される形態なども、本開示の一つまたは複数の態様の範囲内に含まれてもよい。
本開示は、第1輝度範囲から輝度範囲が拡大または縮小された第2輝度範囲に輝度を適切に変換することができる変換方法、変換装置などとして有用である。
100 メディア
200 BDプレーヤ
210 変換装置
220 リマップ処理部
221 判定部
222 処理対象判定部
223 輝度値可変リマップ部
224 輝度値固定リマップ部
225 記憶部
300,310 TV
400 生成部
410 グレーディング部
420 判定部
430 HDR信号生成部
440 SDR信号生成部

Claims (2)

  1. 映像の輝度に関する変換方法であって、
    前記映像の輝度は、第1輝度範囲の輝度値からなり、
    前記映像の輝度値が量子化されることで得られたコード値を示す第1輝度信号を取得し、
    取得した前記第1輝度信号が示すコード値から、前記第1輝度範囲とは最大値が異なる第2輝度範囲に対する量子化により対応付けられたコード値を変換後コード値として決定し、前記第1輝度信号を、前記変換後コード値を示す第2輝度信号へ変換し、
    前記第1輝度信号は、前記第1輝度範囲での輝度値と複数の第1コード値とを関係付けた第1EOTF(Electro−Optical Transfer Function)を用いて、前記映像の輝度値が量子化されることで得られた前記第1コード値を示し、
    前記第2輝度信号への変換では、前記第1EOTFと、前記第2輝度範囲での輝度値と複数の第2コード値とを関係付けた第2EOTFとを用いて、取得した前記第1輝度信号が示すコード値から、対応する前記第2コード値を変換後コード値として決定し、
    前記第2輝度信号は、決定された前記第2コード値を示し、
    前記第2輝度信号への変換では、
    前記映像がビデオであり、前記第1輝度信号が前記ビデオの輝度値が量子化された信号である場合、
    (i)前記第1EOTFを用いることで、前記第1輝度信号が示すコード値に関係付けられた第1輝度値を決定し、
    (ii)決定した前記第1輝度値に予め関係付けられた、前記第2輝度範囲における第2輝度値を決定し、
    (iii)決定した前記第2輝度値について、前記第2EOTFにおいて関係付けられているコード値を変換後コード値に決定する、第2リマップを行い、
    前記映像がグラフィックスであり、前記第1輝度信号が前記グラフィックスの輝度値が量子化された信号である場合、
    (i)前記第1EOTFを用いることで、前記第1輝度信号が示すコード値に関係付けられた輝度値を決定し、かつ、(ii)前記決定した輝度値について、前記第2EOTFにおいて関係付けられているコード値を変換後コード値に決定する、第1リマップを行うことで、前記第2輝度信号へ変換する
    変換方法。
  2. 映像の輝度に関する変換を行う変換装置であって、
    前記映像の輝度値が量子化されることで得られたコード値を示す第1輝度信号を取得する取得部と、
    前記取得部により取得された前記第1輝度信号が示すコード値から、前記第1輝度範囲とは最大値が異なる第2輝度範囲に対する量子化により対応付けられたコード値を変換後コード値として決定し、前記第1輝度信号を、前記変換後コード値を示す第2輝度信号へ変換する変換部と、を備え、
    前記第1輝度信号は、前記第1輝度範囲での輝度値と複数の第1コード値とを関係付けた第1EOTF(Electro−OpticalTransfer Function)を用いて、前記映像の輝度値が量子化されることで得られた前記第1コード値を示し、
    前記変換部は、前記第1EOTFと、前記第2輝度範囲での輝度値と複数の第2コード値とを関係付けた第2EOTFとを用いて、前記取得部により取得された前記第1輝度信号が示すコード値から、対応する前記第2コード値を変換後コード値として決定し、
    前記第2輝度信号は、決定された前記第2コード値を示し、
    前記変換部は、
    前記映像がビデオであり、前記第1輝度信号が前記ビデオの輝度値が量子化された信号である場合、
    (i)前記第1EOTFを用いることで、前記第1輝度信号が示すコード値に関係付けられた第1輝度値を決定し、
    (ii)決定した前記第1輝度値に予め関係付けられた、前記第2輝度範囲における第2輝度値を決定し、
    (iii)決定した前記第2輝度値について、前記第2EOTFにおいて関係付けられているコード値を変換後コード値に決定する、第2リマップを行い、
    前記映像がグラフィックスであり、前記第1輝度信号が前記グラフィックスの輝度値が量子化された信号である場合、
    (i)前記第1EOTFを用いることで、前記第1輝度信号が示すコード値に関係付けられた輝度値を決定し、かつ、(ii)前記決定した輝度値について、前記第2EOTFにおいて関係付けられているコード値を変換後コード値に決定する、第1リマップを行うことで、前記第2輝度信号へ変換する
    変換装置。
JP2016103185A 2014-05-16 2016-05-24 変換方法および変換装置 Active JP6478064B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201461994411P 2014-05-16 2014-05-16
US61/994,411 2014-05-16
JP2015083765 2015-04-15
JP2015083765 2015-04-15

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015544664A Division JP5948618B2 (ja) 2014-05-16 2015-04-24 変換方法および変換装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019008748A Division JP6751901B2 (ja) 2014-05-16 2019-01-22 輝度変換方法、輝度変換装置および映像表示装置

Publications (2)

Publication Number Publication Date
JP2016197861A true JP2016197861A (ja) 2016-11-24
JP6478064B2 JP6478064B2 (ja) 2019-03-06

Family

ID=54479581

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2015544664A Active JP5948618B2 (ja) 2014-05-16 2015-04-24 変換方法および変換装置
JP2016103185A Active JP6478064B2 (ja) 2014-05-16 2016-05-24 変換方法および変換装置
JP2020129583A Active JP6979609B2 (ja) 2014-05-16 2020-07-30 グラフィックス信号生成装置及びグラフィックス信号生成方法
JP2021176772A Pending JP2022009684A (ja) 2014-05-16 2021-10-28 映像表示方法及び映像表示装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2015544664A Active JP5948618B2 (ja) 2014-05-16 2015-04-24 変換方法および変換装置

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2020129583A Active JP6979609B2 (ja) 2014-05-16 2020-07-30 グラフィックス信号生成装置及びグラフィックス信号生成方法
JP2021176772A Pending JP2022009684A (ja) 2014-05-16 2021-10-28 映像表示方法及び映像表示装置

Country Status (5)

Country Link
US (5) US9967533B2 (ja)
EP (2) EP3678359A1 (ja)
JP (4) JP5948618B2 (ja)
CN (2) CN106416216B (ja)
WO (1) WO2015174026A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018117281A (ja) * 2017-01-19 2018-07-26 日本放送協会 文字スーパー合成装置及びそのプログラム
WO2019167555A1 (ja) * 2018-03-02 2019-09-06 ソニー株式会社 映像信号処理装置、映像信号処理方法および撮像装置

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2513111A (en) 2013-04-08 2014-10-22 Sony Corp Data encoding and decoding
EP3678359A1 (en) * 2014-05-16 2020-07-08 Panasonic Intellectual Property Management Co., Ltd. Converting method and converting apparatus
CN106134172B (zh) 2014-06-10 2019-10-01 松下知识产权经营株式会社 显示系统、显示方法及显示装置
US10735755B2 (en) * 2015-04-21 2020-08-04 Arris Enterprises Llc Adaptive perceptual mapping and signaling for video coding
EP3142002A1 (en) * 2015-09-09 2017-03-15 Red.Com, Inc. Motion video output for multiple displays
JP6559803B2 (ja) * 2015-12-25 2019-08-14 シャープ株式会社 表示装置、表示装置の制御方法、制御プログラム、および記録媒体
JP6610273B2 (ja) 2016-01-08 2019-11-27 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
JP6700908B2 (ja) * 2016-03-30 2020-05-27 キヤノン株式会社 表示装置及び表示方法
US10915999B2 (en) * 2016-05-25 2021-02-09 Sony Corporation Image processing apparatus, image processing method, and program
CN109891869B (zh) 2016-09-20 2021-12-07 索尼公司 视频信号处理设备、视频信号处理方法和视频信号处理系统
US10462334B2 (en) * 2016-11-04 2019-10-29 Disney Enterprises, Inc. Pipeline for high dynamic range video coding based on luminance independent chromaticity preprocessing
JP6659178B2 (ja) * 2017-03-01 2020-03-04 キヤノン株式会社 画像処理装置および画像処理方法
EP3654656A4 (en) * 2017-07-14 2020-05-27 Panasonic Intellectual Property Management Co., Ltd. VIDEO MONITORING SYSTEM AND VIDEO DISPLAY METHOD
WO2019038848A1 (ja) * 2017-08-23 2019-02-28 三菱電機株式会社 映像コンテンツ媒体および映像再生装置
CN108495108B (zh) * 2018-03-02 2019-11-05 深圳创维-Rgb电子有限公司 图像转换方法和装置、终端、存储介质
US10832613B2 (en) * 2018-03-07 2020-11-10 At&T Intellectual Property I, L.P. Image format conversion using luminance-adaptive dithering
KR102489265B1 (ko) * 2018-04-10 2023-01-17 엘지전자 주식회사 비디오 신호를 처리하는 멀티미디어 디바이스 및 그 제어 방법
JP7129813B2 (ja) * 2018-04-24 2022-09-02 キヤノン株式会社 画像処理装置およびその制御方法、プログラム並びに記憶媒体
US10917583B2 (en) * 2018-04-27 2021-02-09 Apple Inc. Standard and high dynamic range display systems and methods for high dynamic range displays
TW201946445A (zh) * 2018-04-30 2019-12-01 圓剛科技股份有限公司 影像處理方法
JP7100493B2 (ja) * 2018-05-16 2022-07-13 キヤノン株式会社 表示制御装置及びその制御方法及びプログラム
JP2019040659A (ja) * 2018-08-07 2019-03-14 三菱電機株式会社 映像コンテンツ媒体
JP2021124638A (ja) * 2020-02-06 2021-08-30 キヤノン株式会社 表示制御装置、表示制御方法、プログラムおよび記憶媒体
JP6861873B2 (ja) * 2020-06-18 2021-04-21 三菱電機株式会社 映像再生方法
US11412174B2 (en) * 2020-09-22 2022-08-09 Microsoft Technology Licensing, Llc Efficient electro-optical transfer function (EOTF) curve for standard dynamic range (SDR) content

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011035894A (ja) * 2009-07-07 2011-02-17 Sony Corp 画像処理装置、画像処理方法およびプログラム
WO2013046095A1 (en) * 2011-09-27 2013-04-04 Koninklijke Philips Electronics N.V. Apparatus and method for dynamic range transforming of images
US20140002479A1 (en) * 2011-03-24 2014-01-02 Koninklijke Philips N.V. Apparatuses and methods for analyzing image gradings

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9721085D0 (en) 1997-10-03 1997-12-03 Allied Colloids Ltd Mineral palletisation
JP4628770B2 (ja) * 2004-02-09 2011-02-09 株式会社日立製作所 照明装置を備えた画像表示装置及び画像表示方法
US7317462B2 (en) * 2004-03-29 2008-01-08 Vastview Technologies, Inc. Method for luminance compensation of liquid crystal display and its device
US7791656B2 (en) 2005-08-16 2010-09-07 Konica Minolta Holdings, Inc. Image sensing apparatus and image processing method
JP2007082181A (ja) 2005-08-16 2007-03-29 Konica Minolta Holdings Inc 撮像装置及び画像処理方法
JP5145017B2 (ja) 2006-12-05 2013-02-13 日本放送協会 画像信号処理装置
JP2008160291A (ja) 2006-12-21 2008-07-10 Fujifilm Corp 画像信号処理装置、画像信号処理プログラム及び撮像装置
JP5133085B2 (ja) 2007-04-18 2013-01-30 パナソニック株式会社 撮像装置および撮像方法
US8144214B2 (en) 2007-04-18 2012-03-27 Panasonic Corporation Imaging apparatus, imaging method, integrated circuit, and storage medium
JP5275122B2 (ja) 2008-05-30 2013-08-28 パナソニック株式会社 ダイナミックレンジ圧縮装置、ダイナミックレンジ圧縮方法、プログラム、集積回路および撮像装置
KR102061349B1 (ko) * 2011-05-10 2019-12-31 코닌클리케 필립스 엔.브이. 높은 다이내믹 레인지 이미지 신호의 생성 및 처리
RU2605435C2 (ru) * 2011-06-14 2016-12-20 Конинклейке Филипс Н.В. Графическая обработка для видео с расширенным динамическим диапазоном
WO2013059116A1 (en) * 2011-10-20 2013-04-25 Dolby Laboratories Licensing Corporation Method and system for video equalization
US9129388B2 (en) * 2012-11-21 2015-09-08 Apple Inc. Global approximation to spatially varying tone mapping operators
EP2959672B1 (en) * 2013-02-21 2019-12-04 Koninklijke Philips N.V. Improved hdr image encoding and decoding methods and devices
EP3926963A3 (en) * 2013-04-30 2022-01-26 Saturn Licensing LLC Transmitting device, transmitting method, receiving device, and receiving method
MX352400B (es) * 2013-07-12 2017-11-23 Sony Corp Dispositivo de reproducción, método de reproducción y medio de grabación.
JP6202330B2 (ja) * 2013-10-15 2017-09-27 ソニー株式会社 復号装置および復号方法、並びに符号化装置および符号化方法
EP3678359A1 (en) * 2014-05-16 2020-07-08 Panasonic Intellectual Property Management Co., Ltd. Converting method and converting apparatus
CN106134172B (zh) * 2014-06-10 2019-10-01 松下知识产权经营株式会社 显示系统、显示方法及显示装置
JP2016058848A (ja) * 2014-09-08 2016-04-21 ソニー株式会社 画像処理装置及び画像処理方法
JP6601729B2 (ja) * 2014-12-03 2019-11-06 パナソニックIpマネジメント株式会社 データ生成方法、データ再生方法、データ生成装置及びデータ再生装置
JP6617719B2 (ja) * 2014-12-22 2019-12-11 ソニー株式会社 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011035894A (ja) * 2009-07-07 2011-02-17 Sony Corp 画像処理装置、画像処理方法およびプログラム
US20140002479A1 (en) * 2011-03-24 2014-01-02 Koninklijke Philips N.V. Apparatuses and methods for analyzing image gradings
WO2013046095A1 (en) * 2011-09-27 2013-04-04 Koninklijke Philips Electronics N.V. Apparatus and method for dynamic range transforming of images

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018117281A (ja) * 2017-01-19 2018-07-26 日本放送協会 文字スーパー合成装置及びそのプログラム
WO2019167555A1 (ja) * 2018-03-02 2019-09-06 ソニー株式会社 映像信号処理装置、映像信号処理方法および撮像装置
JPWO2019167555A1 (ja) * 2018-03-02 2021-02-25 ソニー株式会社 映像信号処理装置、映像信号処理方法および撮像装置
US11394942B2 (en) 2018-03-02 2022-07-19 Sony Corporation Video signal processing apparatus, video signal processing method, and image-capturing apparatus
JP7235035B2 (ja) 2018-03-02 2023-03-08 ソニーグループ株式会社 映像信号処理装置、映像信号処理方法および撮像装置
US11729519B2 (en) 2018-03-02 2023-08-15 Sony Corporation Video signal processing apparatus, video signal processing method, and image-capturing apparatus

Also Published As

Publication number Publication date
JP6979609B2 (ja) 2021-12-15
CN106416216A (zh) 2017-02-15
CN106416216B (zh) 2019-07-12
EP3145167A4 (en) 2017-04-05
JP2022009684A (ja) 2022-01-14
JP6478064B2 (ja) 2019-03-06
EP3145167B1 (en) 2020-04-01
US20180227561A1 (en) 2018-08-09
US10708565B2 (en) 2020-07-07
US20200296344A1 (en) 2020-09-17
EP3678359A1 (en) 2020-07-08
JP2020191661A (ja) 2020-11-26
JPWO2015174026A1 (ja) 2017-04-20
JP5948618B2 (ja) 2016-07-06
US11057600B2 (en) 2021-07-06
US9967533B2 (en) 2018-05-08
US20170026627A1 (en) 2017-01-26
US20190306482A1 (en) 2019-10-03
EP3145167A1 (en) 2017-03-22
US10362286B2 (en) 2019-07-23
US20210297645A1 (en) 2021-09-23
CN110278345B (zh) 2022-08-02
CN110278345A (zh) 2019-09-24
WO2015174026A1 (ja) 2015-11-19
US11375168B2 (en) 2022-06-28

Similar Documents

Publication Publication Date Title
JP6979609B2 (ja) グラフィックス信号生成装置及びグラフィックス信号生成方法
JP6583740B2 (ja) 表示方法および表示装置
JP6573238B2 (ja) 表示装置、変換装置、表示方法、および、コンピュータプログラム
JP6512458B2 (ja) データ再生方法及び再生装置
WO2016063475A1 (ja) 送信方法および再生装置
JP6731627B2 (ja) 再生装置で実行される方法、及び再生装置
JP6751901B2 (ja) 輝度変換方法、輝度変換装置および映像表示装置
JP6868797B2 (ja) 変換方法及び変換装置
JP2017220689A (ja) 送信方法および再生装置

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20160824

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180329

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181225

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190122

R151 Written notification of patent or utility model registration

Ref document number: 6478064

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151