JP2018137808A - 送信装置、送信方法、受信装置および受信方法 - Google Patents

送信装置、送信方法、受信装置および受信方法 Download PDF

Info

Publication number
JP2018137808A
JP2018137808A JP2018084796A JP2018084796A JP2018137808A JP 2018137808 A JP2018137808 A JP 2018137808A JP 2018084796 A JP2018084796 A JP 2018084796A JP 2018084796 A JP2018084796 A JP 2018084796A JP 2018137808 A JP2018137808 A JP 2018137808A
Authority
JP
Japan
Prior art keywords
luminance
video data
transmission
allowable range
range information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018084796A
Other languages
English (en)
Other versions
JP6652153B2 (ja
Inventor
塚越 郁夫
Ikuo Tsukagoshi
郁夫 塚越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2018084796A priority Critical patent/JP6652153B2/ja
Publication of JP2018137808A publication Critical patent/JP2018137808A/ja
Application granted granted Critical
Publication of JP6652153B2 publication Critical patent/JP6652153B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】受信側において制作側が意図する輝度雰囲気を良好に再現可能とする。【解決手段】入力ビデオデータに所定の光電変換特性を適用して伝送ビデオデータを得る。この伝送ビデオデータを、画面中の設定領域に対する輝度変換許容範囲情報と共に送信する。例えば、送信部は、伝送ビデオデータが符号化されて得られたビデオストリームを送信し、このビデオストリームのレイヤに、輝度変換許容範囲情報を挿入する。受信側では、伝送ビデオデータに所定の光電変換特性に対応する電光変換特性を適用し、さらに、設定領域毎に独立して輝度変換許容範囲情報に基づいて輝度変換処理を施して表示用ビデオデータを得る。【選択図】図5

Description

本技術は、送信装置、送信方法、受信装置および受信方法に関し、詳しくは、入力ビデオデータに所定の光電変換特性を適用して得られた伝送ビデオデータを送信する送信装置等に関する。
HDR(High Dynamic Range)による映像サービスは、制作側の意図を反映し、広い輝度範囲を持った映像サービスを供給して受信機側でそれを再現することによって、自然界の人間の眼の知覚に近づけた表示再生を実現するものである。
例えば、非特許文献1には、0〜100%*N(Nは1より大きい)のレベルを持つ入力ビデオデータにガンマカーブを適用して得られた伝送ビデオデータを符号化することで生成されたビデオストリームを送信することなどが記載されている。
受信機側のモニタ(CEモニタ)のピーク輝度は、表示パネルのデバイス特性やバックライト配置、設計手法によって千差万別であり、番組制作時に用いるマスターモニタに比べ、CEモニタのピーク輝度は明る過ぎたり、逆にマスターモニタよりも暗かったりする。そのため、制作側の意図する輝度雰囲気の再現を正しく行えないことが起こり得る。
High Efficiency Video Coding (HEVC) text specification draft 10 (for FDIS & Last Call)
本技術の目的は、受信側において制作側が意図する輝度雰囲気を良好に再現可能とすることにある。
本技術の概念は、
入力ビデオデータに所定の光電変換特性を適用して伝送ビデオデータを得る処理部と、
上記伝送ビデオデータを、画面中の設定領域に対する輝度変換許容範囲情報と共に送信する送信部とを備える
送信装置にある。
本技術において、処理部により、入力ビデオデータに所定の光電変換特性が適用されて伝送ビデオデータが得られる。例えば、入力ビデオデータは、従来のLDR(Low Dynamic Range)画像の白ピークの明るさを超える0%から100%*N(Nは1より大きい数)のコントラスト比を持つHDR(High Dynamic Range)画像のビデオデータである。
送信部により、伝送ビデオデータが、画面中の設定領域に対する輝度変換許容範囲情報と共に送信される。例えば、画面中の設定領域は、画素単位あるいは所定数の画素を含むブロック単位で設定される、ようにされてもよい。また、例えば、送信部は、伝送ビデオデータが符号化されて得られたビデオストリームを送信し、ビデオストリームのレイヤに、輝度変換許容範囲情報を挿入する情報挿入部をさらに備える、ようにされてもよい。
このように本技術においては、伝送ビデオデータが、画面中の設定領域に対する輝度変換許容範囲情報と共に送信されるものである。そのため、受信側において、制作側が意図する輝度雰囲気を良好に再現することが可能となる。
なお、本技術において、例えば、送信部は、伝送ビデオデータを、画面中の設定領域に対する輝度変換許容範囲情報の他にさらに画面全体に対する輝度変換許容範囲情報と共に送信する、ようにされてもよい。この場合、受信側において、画面中の設定領域以外の領域では、この画面全体に対する輝度変換許容範囲情報に基づいて輝度変換処理を施すことが可能となる。
また、本技術の他の概念は、
入力ビデオデータに所定の光電変換特性を適用して得られた伝送ビデオデータを、画面中の設定領域に対する輝度変換許容範囲情報と共に受信する受信部と、
上記伝送ビデオデータに上記所定の光電変換特性に対応する電光変換特性を適用すると共に、上記輝度変換許容範囲情報に基づいて輝度変換処理を施して出力ビデオデータを得る処理部とを備える
受信装置にある。
受信部により、伝送ビデオデータが、画面中の設定領域に対する輝度変換許容範囲情報と共に、受信される。この伝送ビデオデータは、入力ビデオデータに所定の光電変換特性を適用して得られたものである。例えば、入力ビデオデータは、従来のLDR(Low Dynamic Range)画像の白ピークの明るさを超える0%から100%*N(Nは1より大きい数)のコントラスト比を持つHDR(High Dynamic Range)画像のビデオデータである。
例えば、画面中の設定領域は、画素単位あるいは所定数の画素を含むブロック単位で設定されている、ようにされてもよい。また、例えば、受信部は、伝送ビデオデータが符号化されて得られるビデオストリームを受信し、輝度変換許容範囲情報は、ビデオストリームのレイヤに挿入されている、ようにされてもよい。そして、処理部により、伝送ビデオデータに所定の光電変換特性に対応する、例えば逆特性の電光変換特性が適用されると共に、輝度変換許容範囲情報に基づいて輝度変換処理が施されて出力ビデオデータが得られる。
このように本技術においては、伝送ビデオデータが画面中の設定領域に対する輝度変換許容範囲情報と共に受信され、この輝度変換許容範囲情報に基づいて輝度変換処理が施されて出力ビデオデータが得られるものである。そのため、制作側が意図する輝度雰囲気を良好に再現することが可能となる。
なお、本技術において、例えば、受信部は、伝送ビデオデータを、画面中の設定領域に対する輝度変換許容範囲情報の他にさらに画面全体に対する輝度変換許容範囲情報と共に受信し、処理部は、画面中の設定領域以外の領域では、画面全体に対する輝度変換許容範囲情報に基づいて輝度変換処理を施す、ようにされてもよい。
本技術によれば、受信側において制作側が意図する輝度雰囲気を良好に再現することが可能となる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
実施の形態としての送受信システムの構成例を示すブロック図である。 送受信システムを構成する送信装置の構成例を示すブロック図である。 マスターモニタの表示輝度特性の一例を示す図である。 光電変換特性(OETF)の一例を示す図である。 符号化方式がHEVCである場合におけるGOPの先頭のアクセスユニットを示す図である。 符号化方式がHEVCである場合におけるGOPの先頭以外のアクセスユニットを示す図である。 画面中の設定領域が画素単位あるいは所定数の画素を含むブロック単位で設定されることを説明するための図である。 リージョナル・レベル・マッピング・SEIメッセージの構造例を示す図である。 リージョナル・レベル・マッピング・SEIメッセージの他の構造例を示す図である。 リージョナル・レベル・マッピング・SEIメッセージの構造例における主要な情報の内容を示す図である。 送受信システムを構成する受信装置の構成例を示すブロック図である。 電光変換特性(EOTF)の一例を示す図である。 CEモニタの最大輝度表示能力DPがマスターモニタの想定する最大輝度PLよりも上の場合におけるCEモニタの表示輝度特性の一例を示す図である。 CEモニタの最大輝度表示能力DPがマスターモニタの想定する最大輝度PLよりも下の場合におけるCEモニタの表示輝度特性の一例を示す図である。 CEモニタの最大輝度表示能力DPがマスターモニタの想定する最大輝度PLよりも下の場合におけるCEモニタの表示輝度特性の他の一例を示す図である。 送受信システムの他の構成例を示すブロック図である。
以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明を以下の順序で行う。
1.実施の形態
2.変形例
<1.実施の形態>
[送受信システムの構成例]
図1は、実施の形態としての送受信システム10の構成例を示している。この送受信システム10は、送信装置100および受信装置200により構成されている。
送信装置100は、コンテナとしてのMPEG2のトランスポートストリームTSを生成し、このトランスポートストリームTSを放送波あるいはネットのパケットに載せて送信する。このトランスポートストリームTSは、入力ビデオデータに所定の光電変換特性を適用して得られた伝送ビデオデータが符号化されて得られたビデオストリームを有するものである。
例えば、入力ビデオデータは、従来のLDR(Low Dynamic Range)画像の白ピークの明るさを超える0%から100%*N(Nは1より大きい数)のコントラスト比を持つHDR(High Dynamic Range)画像のビデオデータである。ここで、100%のレベルは、白の輝度値100cd/m2に相当する輝度レベルを前提とする。
ビデオストリームのレイヤに、画面中の設定領域に対する輝度変換許容範囲情報と、画面全体に対する輝度変換許容範囲情報が挿入される。この輝度変換許容範囲情報の詳細については、後述する。
受信装置200は、送信装置100から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームTSを受信する。このトランスポートストリームTSは、符号化ビデオデータを含むビデオストリームを有している。このビデオストリームには、上述したように、画面中の設定領域に対する輝度変換許容範囲情報と、画面全体に対する輝度変換許容範囲情報が挿入されている。
受信装置200は、伝送ビデオデータに、上述した送信側における所定の光電変換特性に対応する、例えば逆特性の電光変換特性を適用すると共に、輝度変換許容範囲情報に基づいて輝度変換処理を施して出力ビデオデータを取得する。この場合、輝度変換許容範囲のみ、例えばモニタのピーク輝度に依存した輝度変換がなされる。
「送信装置の構成例」
図2は、送信装置100の構成例を示している。この送信装置100は、制御部101と、HDRカメラ102と、HDR光電変換部103と、ビデオエンコーダ104と、システムエンコーダ105と、送信部106を有している。制御部101は、CPU(Central Processing Unit)を備えて構成され、制御プログラムに基づいて、送信装置100の各部の動作を制御する。
HDRカメラ102は、被写体を撮像して、HDR(High Dynamic Range)ビデオデータを出力する。このHDRビデオデータは、従来のLDR(Low Dynamic Range)画像の白ピークの明るさを超える0〜100%*N(Nは1より大きい数)、例えば0〜1000%などのコントラスト比を持つ。ここで、100%のレベルは、例えば、白の輝度値100cd/m2に相当する。なお、「cd/m2」は、「cd/平方メートル」を表している。
マスターモニタ103aは、HDRカメラ102で得られるHDRビデオデータをグレーディングするためのモニタである。このマスターモニタ103aは、HDRビデオデータに対応した、あるいは、HDRビデオデータをグレーディングするのに適した表示輝度レベルを持っている。
図3は、マスターモニタ103aの表示輝度特性を示している。この図において、横軸は入力輝度レベルを示し、縦軸は表示輝度レベルを示す。入力輝度レベルがリファレンス輝度RLであるとき、表示輝度レベルはリファレンスレベル(%)、例えば白の輝度値100cd/m2に相当する100%となる。また、入力輝度レベルがピーク輝度PLであるとき、表示輝度レベルはピークレベル(%)となる。
なお、閾値輝度CLは、この実施の形態において新規定義するものであり、受信機側のモニタ(CEモニタ)で表示する輝度として一致させる領域と、CEモニタ依存とする領域との境界を示す。モニタ入力輝度レベルが閾値輝度CLであるとき、表示輝度レベルは閾値レベル(%)となる。
図2に戻って、HDR光電変換部103は、HDRカメラ102で得られるHDRビデオデータに対して、HDR画像用の光電変換特性(HDR OETFカーブ)を適用して、伝送ビデオデータV1を得る。
図4は、光電変換特性(OETF)の一例を示している。この図において、横軸は、上述のマスターモニタ表示輝度特性(図3参照)の横軸と同じく、入力輝度レベルを示し、縦軸は伝送符号値を示す。入力輝度レベルがリファレンス輝度RLであるとき、伝送符号値はリファレンスレベルRPとなる。また、入力輝度レベルがピーク輝度PLであるとき、伝送符号値はピークレベルMPとなる。また、入力輝度レベルが閾値輝度CLであるとき、伝送符号値は閾値レベルTHPとなる。
なお、縦軸の伝送符号値の範囲は、ビデオエンコーダ104の入力ピクセルデータレンジ(Encoder input pixel data range)に対応する。例えば、10ビット符号化の場合は、「64」〜「940」、あるいは拡張領域を利用すると「4」〜「1019」の範囲となる。
図2に戻って、ビデオエンコーダ104は、伝送ビデオデータV1に対して、例えば、MPEG4−AVC、MPEG2video、あるいはHEVC(high Efficiency Video Coding)などの符号化を施して、符号化ビデオデータを得る。また、このビデオエンコーダ104は、後段に備えるストリームフォーマッタ(図示せず)により、この符号化ビデオデータを含むビデオストリーム(ビデオエレメンタリストリーム)を生成する。この際、ビデオエンコーダ104は、ビデオストリームのレイヤに、画面中の設定領域に対する輝度変換許容範囲情報と、画面全体に対する輝度変換許容範囲情報を挿入する。
[輝度変換許容範囲情報の挿入]
輝度変換許容範囲情報の挿入の詳細を説明する。この実施の形態では、アクセスユニット(AU)の“SEIs”の部分に、新規定義する、リージョナル・レベル・マッピング・SEIメッセージ(Regional_Level_mapping SEI message)を挿入する。
図5は、符号化方式がHEVCである場合におけるGOP(Group Of Pictures)の先頭のアクセスユニットを示している。また、図6は、符号化方式がHEVCである場合におけるGOPの先頭以外のアクセスユニットを示している。HEVCの符号化方式の場合、画素データが符号化されているスライス(slices)の前にデコード用のSEIメッセージ群「Prefix_SEIs」が配置され、このスライス(slices)の後に表示用のSEIメッセージ群「Suffix_SEIs」が配置される。図5、図6に示すように、リージョナル・レベル・マッピング・SEIメッセージは、SEIメッセージ群「Suffix_SEIs」として配置される。
画面中の設定領域は、画素単位あるいは所定数の画素を含むブロック単位で設定される。図7(a)は画素単位の設定例を示している。図示の例で、MRは山の稜線を示しており、星が含まれる領域R1,R3とネオン看板が含まれる領域R2とが設定領域として設定されている。制作側の意図として、領域R1,R3は星のきらめき感のみを表示できればよく、領域R2は輝度が高いながらもネオン看板のテクスチャーを維持したい部分である。
各設定領域は、矩形領域として設定され、左上の画素座標と右下の画素座標により特定される。すなわち、領域R1は、左上の画素座標(x1s,y1s)と、右下の画素座標(x1e,y1e)で特定される。また、領域R2は、左上の画素座標(x2s,y2s)と、右下の画素座標(x2e,y2e)で特定される。さらに、領域R3は、左上の画素座標(x3s,y3s)と、右下の画素座標(x3e,y3e)で特定される。
図7(b)はブロック単位の設定例を示している。画面は、水平方向および垂直方向に複数に分割されてなる複数のブロックで構成される。例えば、1つのブロックは、8画素*8画素、16画素*16画素、32画素*32画素、あるいはその他の大きさとされる。各ブロックは、ブロックIDで示される。図示の例で、領域R11,R12,R13が設定領域として設定されている。
各設定領域は、矩形領域として設定され、左上のブロックIDと右下のブロックIDにより特定される。すなわち、領域R11は、左上のブロックID(ID1s)と、右下のブロックID(ID1e)で特定される。また、領域R12は、左上のブロックID(ID2s)と、右下のブロックID(ID2e)で特定される。さらに、領域R13は、左上のブロックID(ID3s)と、右下のブロックID(ID3e)で特定される。
図8は、設定領域を画素単位で設定する場合におけるリージョナル・レベル・マッピング・SEIメッセージの構造例(Syntax)を示している。図9は、設定領域をブロック単位で設定する場合におけるリージョナル・レベル・マッピング・SEIメッセージの構造例(Syntax)を示している。図10は、それらの構造例における主要な情報の内容(Semantics)を示している。
「level_mapping_cancel_flag」は、1ビットのフラグ情報である。“1”は、それまでのレベル・マッピング(Level_mapping)のメッセージ状態をキャンセルすることを示す。“0”は、各要素を伝送し、それで以前の状態をリフレッシュすることを示す。
「coded_data_bit_depth」の8ビットフィールドは、符号化データのビット長を示し、例えば8〜14ビットが使用される。「reference_white_level」の16ビットフィールドは、マスターモニタ103aにおける100%のときの入力輝度値、つまりリファレンス輝度RLを示す。「reference_white_level_code_value」の16ビットフィールドは、輝度100%のレベル符号値で「coded_data_bit_depth」で示されるビット精度での値、つまりリファレンスレベルRPを示す。
「number_of_regions」の8ビットフィールドは、画面中の設定領域の数を示す。「global_compliant_threshold_level」の16ビットフィールドは、画面全体に対するマッピング表示閾値であって、制作側が想定するCE表示において一致させたい輝度の最大値で、この値を超えるレベルの表示は表示能力依存であることを示す。「global_compliant_threshold_level_value」の16ビットフィールドは、画面全体に対するマッピング表示閾値の伝送値(伝送符号値)を示す。
「position_start_x」の16ビットフィールドおよび「position_start_y」の16ビットフィールドは、設定領域を特定する左上の画素座標を示す。すなわち、「position_start_x」は、設定領域の水平開始位置を、有効表示領域の左上を0とする画素数で示す。「position_start_y」は、設定領域の垂直開始位置を、有効表示領域の左上を0とする画素数で示す。
「position_end_x」の16ビットフィールドおよび「position_end_y」の16ビットフィールドは、設定領域を特定する右下の画素座標を示す。すなわち、「position_end_x」は、設定領域の水平終了位置を、有効表示領域の左上を0とする画素数で示す。「position_end_y」は、設定領域の垂直終了位置を、有効表示領域の左上を0とする画素数で示す。
「block_start」の16ビットフィールドは、設定領域を特定する左上のブロックIDを示す。すなわち、「block_start」は、設定領域を、それに該当するブロックごとに画面の左上から右下方向へ走査する際の開始ブロックのID(ブロックID)を示す。「block_end」の16ビットフィールドは、設定領域を特定する右下のブロックIDを示す。すなわち、「block_end」は、設定領域を、それに該当するブロックごとに画面の左上から右下方向へ走査する際の終了ブロックのID(ブロックID)を示す。「block_size」の8ビットフィールドは、設定領域を指定する単位であるブロックのサイズを示す。例えば、値が“0x01”の場合はブロックサイズが8×8画素範囲、値が“0x02”の場合はブロックサイズが16×16画素範囲、値が“0x03”の場合はブロックサイズが32×32画素範囲、などの指定がされる。
「region_compliant_threshold_level」の16ビッフィールドは、設定領域内のマッピング表示閾値であって、制作側が想定するCE表示において領域内で一致させたい輝度の最大値で、この値を超えるレベルの領域内表示は表示能力依存であることを示す。「region_compliant_threshold_level_value」の16ビットフィールドは、設定領域内のマッピング表示閾値の伝送値(伝送符号値)を示す。
「peak_percentage」の8ビットフィールドは、制作側で最大輝度レベルを100%に対する割合で表した値を示す。例えば、ピーク輝度1000cd/m2の「peak_percentage」は1000%となる。この場合、100%を1として1000%はその10倍にあたり、値10と表わされる。「peak_percentage_value」の16ビットフィールドは、「coded_data_bit_depth」で示されるビット精度で伝送する場合の「peak_percentage」を表現する最大符号値、つまりピークレベルMPを示す。例えば、「peak_percentage」が1000%の場合、10ビット伝送時の最大値「1019」が1000%を表現することになる。
上述のリージョナル・レベル・マッピング・SEIメッセージにおいて、「global_compliant_threshold_level」や「global_compliant_threshold_level_value」の情報は、画面全体に対する輝度変換許容範囲情報を構成している。また、「region_compliant_threshold_level」や「region_compliant_threshold_level_value」の情報は、画面中の設定領域に対する輝度変換許容範囲情報を構成している。これにより、受信側では、リージョナル・レベル・マッピング・SEIメッセージから、設定領域に対する輝度変換許容範囲情報を検知できると共に、その他の領域に対する輝度変換許容範囲情報を検知できる。
この場合、輝度変換許容範囲情報を、ピクチャ毎、あるいはシーン毎、あるいは番組毎などで指定できる。なお、対象となるOETF(光電変換特性)のタイプは、SPS(sequence parameter set)のNALユニットに、ビデオ・ユーザビリティ情報(VUI)の中で伝送される。
図2に戻って、システムエンコーダ105は、ビデオエンコーダ104で生成されたビデオストリームVSを含むトランスポートストリームTSを生成する。そして、送信部106は、このトランスポートストリームTSを、放送波あるいはネットのパケットに載せて、受信装置200に送信する。
図2に示す送信装置100の動作を簡単に説明する。HDRカメラ102で撮像されて得られたHDRビデオデータは、HDR光電変換部103に供給される。HDRカメラ102で得られるHDRビデオデータは、マスターモニタ103aを用いてグレーディングされる。このHDR光電変換部103では、このHDRビデオデータに対してHDR画像用の光電変換特性(LDR OETFカーブ)が適用されて、伝送ビデオデータV1が得られる。この伝送ビデオデータV1は、ビデオエンコーダ104に供給される。
ビデオエンコーダ104では、伝送ビデオデータV1に対して、例えば、MPEG4−AVC、MPEG2video、あるいはHEVCなどの符号化が施されて、符号化ビデオデータが得られる。
また、このビデオエンコーダ104では、後段に備えるストリームフォーマッタ(図示せず)により、この符号化ビデオデータを含むビデオストリーム(ビデオエレメンタリストリーム)VSが生成される。この際、ビデオエンコーダ104では、ビデオストリームのレイヤに、画面中の設定領域に対する輝度変換許容範囲情報と、画面全体に対する輝度変換許容範囲情報が挿入される。
ビデオエンコーダ104で生成されたビデオストリームVSは、システムエンコーダ105に供給される。このシステムエンコーダ105では、ビデオストリームを含むMPEG2のトランスポートストリームTSが生成される。このトランスポートストリームTSは、送信部106により、放送波あるいはネットのパケットに載せて、受信装置200に送信される。
「受信装置の構成例」
図11は、受信装置200の構成例を示している。この受信装置200は、制御部201と、受信部202と、システムデコーダ203と、ビデオデコーダ204と、HDR電光変換部206と、表示マッピング部206と、CEモニタ207を有している。制御部201は、CPU(Central Processing Unit)を備えて構成され、制御プログラムに基づいて、受信装置200の各部の動作を制御する。
受信部202は、送信装置100から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームTSを受信する。システムデコーダ203は、このトランスポートストリームTSからビデオストリーム(エレメンタリストリーム)VSを抽出する。また、システムデコーダ203は、コンテナ(トランスポートストリーム)のレイヤに挿入されている種々の情報を抽出し、制御部201に送る。
ビデオデコーダ204は、システムデコーダ203で抽出されるビデオストリームVSに対して復号化処理を行って、伝送ビデオデータV1を出力する。また、ビデオデコーダ204は、ビデオストリームVSを構成する各アクセスユニットに挿入されているパラメータセットやSEIメッセージを抽出し、制御部201に送る。
制御部201は、SPSのビデオ・ユーザビリティ情報(VUI)におけるOETFのタイプ指定によって、送信側で適用されているOETF(光電変換特性)を認識し、HDR電光変換部205に、そのOETFに対応する、例えば逆特性のEOTF(電光変換特性)を設定する。
ビデオデコーダ204で抽出されて制御部201に送られるSEIメッセージの一つして、上述したリージョナル・レベル・マッピング・SEIメッセージが含まれる。制御部201は、このリージョナル・レベル・マッピング・SEIメッセージから、画面全体に対する輝度変換許容範囲情報を構成する「global_compliant_threshold_level」や「global_compliant_threshold_level_value」の情報を取得できる。また、制御部201は、このリージョナル・レベル・マッピング・SEIメッセージから、設定領域情報と共に、各設定領域に対する輝度変換許容範囲情報を構成する「region_compliant_threshold_level」や「region_compliant_threshold_level_value」の情報を取得できる。
HDR電光変換部205は、ビデオデコーダ204から出力される伝送ビデオデータV1に、上述した送信装置100におけるHDR光電変換部103におけるOETF(光電変換特性)に対応する、例えば逆特性のEOTF(電光変換特性)を適用して、HDR画像を表示するための出力ビデオデータを得る。
図12は、電光変換特性(EOTF)の一例を示している。この図において、横軸は、図4の縦軸に対応した、伝送符号値を示す。縦軸は、図4の横軸に対応した、出力輝度レベル(表示輝度レベル)を示す。この図において、実線aは、EOTFカーブである。伝送符号値がピークレベルMPであるとき、出力輝度レベルはPLとなる。また、伝送符号値が閾値レベルTHPであるとき、出力輝度レベルはCLとなる。
ここで、CEモニタ207の最大輝度表示能力が、マスターモニタ103aの想定する最大輝度PLよりも上の場合、伝送符号値が閾値レベルTHPよりも大きい値に対応した出力輝度レベルは、表示マッピング部206における処理によって、CEモニタ207の表示最大輝度レベルDP1までの範囲に、割り当てられる(高輝度化処理)。この図において、二点鎖線bは、その場合における、輝度変換処理の一例を示している。
一方、CEモニタ207の最大輝度表示能力が、マスターモニタ103aの想定する最大輝度PLよりも下の場合、伝送符号値が閾値レベルTHPよりも大きい値に対応した出力輝度レベルは、表示マッピング部206における処理によって、CEモニタ207の表示最大輝度レベルDP2までの範囲に、割り当てられる(低輝度化処理)。この図において、一点鎖線cは、その場合における、輝度変換処理の一例を示している。
図11に戻って、表示マッピング部206は、HDR電光変換部205の出力輝度レベルのうち、閾値輝度CLを越えるレベルを、上述したようにCEモニタ207の最大輝度表示能力に応じて変換する。ここで、表示マッピング部206は、画面中の設定領域ではその設定領域に対する輝度CLを用い、画面中のその他の領域では画面全体に対する輝度CLを用いる。
この場合、伝送符号値が閾値レベルTHP以下、つまり出力輝度レベルが閾値輝度CL以下では、CEモニタ207に依存せずに、受信レベルの輝度が忠実に再現されることから、テクスチャー表現などは制作側の意図が正しく表現される。CEモニタ207は、表示マッピング部206の出力ビデオデータに基づいて、HDR画像を表示する。
CEモニタ207の最大輝度表示能力DPが、マスターモニタ103aの想定する最大輝度PLよりも上の場合、つまりDP>PLの場合、表示マッピング部206では、閾値輝度CLを越えるレベルを、ピーク輝度DPまでの範囲に、所定のアルゴリズムにより割り当てる高輝度化処理が行われる。
図13(a),(b)は、DP>PLの場合におけるCEモニタ207の表示輝度特性を示している。この特性は、表示マッピング部206の輝度変換特性も含めたものである。この図において、横軸は入力輝度レベルを示し、縦軸は表示輝度レベルを示す。図13(a)は、閾値輝度CLが比較的小さな値CL(1)に設定された状態を示し、図13(b)は閾値輝度CLが比較的大きな値CL(2)に設定された状態を示している。
入力輝度レベルが閾値輝度CL(1),CL(2)であるとき、表示輝度レベルは閾値レベルTHP1,THP2となる。つまり、入力輝度レベルが閾値輝度CL(1),CL(2)までは、制作側が意図した表示輝度レベルとなる。また、入力輝度レベルがピーク輝度PLであるとき、表示輝度レベルはCEモニタ207のピークレベルDPとなる。つまり、入力輝度レベルが閾値輝度CL(1),CL(2)からピーク輝度PLの間では、例えば、実線L1,L2に示すように、高輝度化処理が行われる。
また、CEモニタ207の最大輝度表示能力DPが、マスターモニタ103aの想定する最大輝度PLよりも下の場合、つまりDP<PLの場合、表示マッピング部206では、閾値輝度CLを越えるレベルを、ピーク輝度DPまでの範囲に、所定のアルゴリズムにより割り当てる低輝度化処理が行われる。
図14(a),(b)は、DP<PLの場合であって、最大輝度表示能力DPが比較的高い場合におけるCEモニタ207の表示輝度特性を示している。この特性は、表示マッピング部206の輝度変換特性も含めたものである。この図において、横軸は入力輝度レベルを示し、縦軸は表示輝度レベルを示す。
図14(a)は、閾値輝度CLが比較的小さな値CL(3)に設定された状態を示し、図14(b)は閾値輝度CLが比較的大きな値CL(4)に設定された状態を示している。入力輝度レベルが閾値輝度CL(3),CL(4)であるとき、表示輝度レベルは閾値レベルTHP3,THP4となる。つまり、入力輝度レベルが閾値輝度CL(3),CL(4)までは、制作側が意図した表示輝度レベルとなる。また、入力輝度レベルがピーク輝度PLであるとき、表示輝度レベルはCEモニタ207のピークレベルDPとなる。つまり、入力輝度レベルが閾値輝度CL(3),CL(4)からピーク輝度PLの間では、例えば、実線L31,L41に示すように、低輝度化処理が行われる。
図15(a),(b)は、DP<PLの場合であって、最大輝度表示能力DPが比較的低い場合におけるCEモニタ207の表示輝度特性を示している。この特性は、表示マッピング部206の輝度変換特性も含めたものである。この図において、横軸は入力輝度レベルを示し、縦軸は表示輝度レベルを示す。
図15(a)は、閾値輝度CLが比較的小さな値CL(3)に設定され、かつ、閾値レベルTHP3がCEモニタ207のピークレベルDPよりも低い状態を示している。入力輝度レベルが閾値輝度CL(3)であるとき、表示輝度レベルは閾値レベルTHP3となる。つまり、入力輝度レベルが閾値輝度CL(3)までは、制作側が意図した表示輝度レベルとなる。また、入力輝度レベルがピーク輝度PLであるとき、表示輝度レベルはCEモニタ207のピークレベルDPとなる。つまり、入力輝度レベルが閾値輝度CL(3)からピーク輝度PLの間では、例えば、実線L32に示すように、低輝度化処理が行われる。
図15(b)は閾値輝度CLが比較的大きな値CL(4)に設定され、かつ、閾値レベルTHP4がCEモニタ207のピークレベルDPよりも高い状態を示している。入力輝度レベルが閾値輝度CL(4)より小さな値CLaであるとき、表示輝度レベルはCEモニタ207のピークレベルDPとなる。つまり、この場合は、入力輝度レベルが閾値輝度CLaまでは、制作側が意図した表示輝度レベルとなる。また、入力輝度レベルがCLaからピーク輝度PLまでは、例えば、実線L42に示すように、表示輝度レベルはCEモニタ207のピークレベルDPとなる。なお、この場合、例えば、破線L41´に示すような、高輝度側の表示輝度レベルを滑らかに変化させるように表示輝度変換を行うことも考えられる。
図11に示す受信装置200の動作を簡単に説明する。受信部202では、送信装置100から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームTSが受信される。このトランスポートストリームTSは、システムデコーダ203に供給される。システムデコーダ203では、このトランスポートストリームTSからビデオストリーム(エレメンタリストリーム)VSが抽出される。
システムデコーダ203で抽出されたビデオストリームVSは、ビデオデコーダ204に供給される。ビデオデコーダ204では、システムデコーダ203で抽出されるビデオストリームVSに対して復号化処理が行われて、伝送ビデオデータV1が得られる。また、ビデオデコーダ204では、ビデオストリームVSを構成する各アクセスユニットに挿入されているパラメータセットやSEIメッセージが抽出され、制御部201に送られる。
制御部201では、リージョナル・レベル・マッピング・SEIメッセージから、画面全体に対する輝度変換許容範囲情報を構成する「global_compliant_threshold_level」や「global_compliant_threshold_level_value」の情報が取得される。また、制御部201では、このリージョナル・レベル・マッピング・SEIメッセージから、設定領域情報と共に、各設定領域に対する輝度変換許容範囲情報を構成する「region_compliant_threshold_level」や「region_compliant_threshold_level_value」の情報が取得される。
ビデオデコーダ204で得られる伝送ビデオデータV1は、HDR電光変換部205に供給される。HDR電光変換部205では、伝送ビデオデータV1に、送信装置100におけるHDR光電変換部103におけるOETF(光電変換特性)に対応する、例えば逆特性のEOTF(電光変換特性)が適用されて、HDR画像を表示するための出力ビデオデータが得られる。この出力ビデオデータは、表示マッピング部206に供給される。
表示マッピング部206では、HDR電光変換部205の出力輝度レベルのうち、輝度CLを越えるレベルが、CEモニタ207の最大輝度表示能力に応じて変換される。この際、表示マッピング部206では、画面中の設定領域ではその設定領域に対する輝度CLが用いられ、画面中のその他の領域では画面全体に対する輝度CLが用いられる。この表示マッピング部206の出力ビデオデータはCEモニタ207に供給される。このCEモニタ207に、HDR画像が表示される。
上述したように、図1に示す送受信システム10においては、HDRビデオデータに光電変換が施されて得られた伝送ビデオデータV1が、画面中の設定領域に対する輝度変換許容範囲情報に対する輝度変換許容範囲情報と共に送信されるものである。従って、受信側では、設定領域毎に独立して、輝度変換許容範囲でCEモニタ207の表示輝度能力に応じた輝度変換が行われるため、制作側が意図する輝度雰囲気を良好に再現することが可能となる。
例えば、図7(a)の例の場合、領域R1,R3の星と、領域R2のネオン看板における輝度レベルが同じであったとしても、領域R1,R3の閾値レベルCLはその輝度レベルより低く設定されるのに対して、領域R2の閾値レベルCLはその輝度レベルより高く設定される。
この場合、星の輝度は輝度変換許容範囲に含まれて表示マッピングの対象となるが、ネオン看板の輝度は輝度変換許容範囲に含まれず表示マッピングの対象とはならない。そのため、受信側では、領域R1,R3は星のきらめき感のみを表示できればよく、領域R2は輝度が高いながらもネオン看板のテクスチャーを維持したい部分である、という制作側の意図を、受信側において良好に再現できる。
また、図1に示す送受信システム10においては、伝送ビデオデータV1が、画面中の設定領域に対する輝度変換許容範囲情報の他にさらに画面全体に対する輝度変換許容範囲情報と共に送信されるものである。従って、受信側において、画面中の設定領域以外の領域では、この画面全体に対する輝度変換許容範囲情報に基づいて輝度変換処理を施すことが可能となる。
<2.変形例>
なお、上述実施の形態においては、リージョナル・レベル・マッピング・SEIメッセージに、所定数の設定領域に対する輝度変換許容範囲情報と共に画面全体に対する輝度変換許容範囲情報を配置して、受信側に送信する例を示した。しかし、所定数の設定領域に対する輝度変換許容範囲情報のみを受信側に送信する構成も考えられる。その際、受信側においては、画面中の設定領域以外の領域では、例えば、予め規定されている輝度変換許容範囲情報を用いられる。
また、上述の実施の形態において、受信装置200では、HDR電光変換部205で電光変換処理を行うと共に、表示マッピング部206でCEモニタ207の最大輝度表示能力に応じた輝度変換処理を行う例を示した。しかし、電光変換特性(EOTF)に輝度変換特性を反映させておくことで、HDR電光変換部205のみで電光変換処理と輝度変換処理とを同時に行わせることができる。
また、上述実施の形態においては、送信装置100と受信機200からなる送受信システム10を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、図16に示すように、テレビ受信機200の部分が、例えば、(HDMI(High-Definition Multimedia Interface)などのデジタルインタフェースで接続されたセットトップボックス200Aおよびモニタ200Bからなる構成などであってもよい。なお、「HDMI」は、登録商標である。
この場合、セットトップボックス200Aは、表示マッピング処理を行う場合、モニタ200Bの最大輝度レベルを、HDMI経由で、モニタ200BのEDIDから得る情報に基づいて判断することが可能である。あるいは、表示マッピング処理をモニタ200Bが行う場合、レベル・マッピング・SEIメッセージ、EOTFのタイプ、そしてVUIの情報は、“Vender Specific Info Frame”などのメタ情報に定義することにより、セットトップボックス200Aとモニタ200Bとで共有することが可能である。
また、上述実施の形態においては、コンテナがトランスポートストリーム(MPEG−2 TS)である例を示した。しかし、本技術は、トランスポートがTSと限定されるものではなく、他のパケット、例えばISOBMFFやMMTなどの場合でも、ビデオのレイヤは同一の方法で実現できる。
よって、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、MP4やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム(MPEG−2 TS)、インターネット配信で使用されているMP4などの種々のフォーマットのコンテナが該当する。
また、本技術は、以下のような構成を取ることもできる。
(1)入力ビデオデータに所定の光電変換特性を適用して伝送ビデオデータを得る処理部と、
上記伝送ビデオデータを、画面中の設定領域に対する輝度変換許容範囲情報と共に送信する送信部とを備える
送信装置。
(2)上記送信部は、
上記伝送ビデオデータを、上記画面中の設定領域に対する輝度変換許容範囲情報の他にさらに画面全体に対する輝度変換許容範囲情報と共に送信する
前記(1)に記載の送信装置。
(3)上記画面中の設定領域は、画素単位あるいは所定数の画素を含むブロック単位で設定される
前記(1)または(2)に記載の送信装置。
(4)上記送信部は、上記伝送ビデオデータが符号化されて得られたビデオストリームを送信し、
上記ビデオストリームのレイヤに、上記輝度変換許容範囲情報を挿入する情報挿入部をさらに備える
前記(1)から(3)のいずれかに記載の送信装置。
(5)入力ビデオデータに所定の光電変換特性を適用して伝送ビデオデータを得る処理ステップと、
送信部により、上記伝送ビデオデータを、画面中の設定領域に対する輝度変換許容範囲情報と共に送信する送信ステップとを有する
送信方法。
(6)入力ビデオデータに所定の光電変換特性を適用して得られた伝送ビデオデータを、画面中の設定領域に対する輝度変換許容範囲情報と共に受信する受信部と、
上記伝送ビデオデータに上記所定の光電変換特性に対応する電光変換特性を適用すると共に、上記輝度変換許容範囲情報に基づいて輝度変換処理を施して出力ビデオデータを得る処理部とを備える
受信装置。
(7)上記受信部は、上記伝送ビデオデータを、上記画面中の設定領域に対する輝度変換許容範囲情報の他にさらに画面全体に対する輝度変換許容範囲情報と共に受信し、
上記処理部は、画面中の上記設定領域以外の領域では、上記画面全体に対する輝度変換許容範囲情報に基づいて輝度変換処理を施す
前記(6)に記載の受信装置。
(8)上記画面中の設定領域は、画素単位あるいは所定数の画素を含むブロック単位で設定されている
前記(6)または(7)に記載の受信装置。
(9)上記受信部は、上記伝送ビデオデータが符号化されて得られるビデオストリームを受信し、
上記輝度変換許容範囲情報は、上記ビデオストリームのレイヤに挿入されている
前記(6)から(8)のいずれかに記載の受信装置。
(10)受信部により、入力ビデオデータに所定の光電変換特性を適用して得られた伝送ビデオデータを、画面中の設定領域に対する輝度変換許容範囲情報と共に受信する受信ステップと、
上記伝送ビデオデータに上記所定の光電変換特性に対応する電光変換特性を適用すると共に、上記輝度変換許容範囲情報に基づいて輝度変換処理を施して出力ビデオデータを得る処理ステップとを有する
受信方法。
本技術の主な特徴は、HDRビデオデータに光電変換が施されて得られた伝送ビデオデータを、画面中の設定領域に対する輝度変換許容範囲情報と共に送信することで、受信側では、設定領域毎に独立して輝度変換許容範囲でのみ輝度変換が行われるようにし、制作側が意図する輝度雰囲気を良好に再現することを可能としたことである(図5−9参照)。
10,10A・・・送受信システム
100・・・送信装置
101・・・制御部
102・・・HDRカメラ
103・・・HDR光電変換部
103a・・・マスターモニタ
104・・・ビデオエンコーダ
105・・・システムエンコーダ
106・・・送信部
200・・・受信装置
200A・・・セットアップボックス
200B・・・モニタ
201・・・制御部
202・・・受信部
203・・・システムデコーダ
204・・・ビデオデコーダ
205・・・HDR電光変換部
206・・・表示マッピング部
207・・・CEモニタ

Claims (10)

  1. 入力ビデオデータに所定の光電変換特性を適用して伝送ビデオデータを得る処理部と、
    上記伝送ビデオデータを、画面中の設定領域に対する輝度変換許容範囲情報と共に送信する送信部とを備える
    送信装置。
  2. 上記送信部は、
    上記伝送ビデオデータを、上記画面中の設定領域に対する輝度変換許容範囲情報の他にさらに画面全体に対する輝度変換許容範囲情報と共に送信する
    請求項1に記載の送信装置。
  3. 上記画面中の設定領域は、画素単位あるいは所定数の画素を含むブロック単位で設定される
    請求項1に記載の送信装置。
  4. 上記送信部は、上記伝送ビデオデータが符号化されて得られたビデオストリームを送信し、
    上記ビデオストリームのレイヤに、上記輝度変換許容範囲情報を挿入する情報挿入部をさらに備える
    請求項1に記載の送信装置。
  5. 入力ビデオデータに所定の光電変換特性を適用して伝送ビデオデータを得る処理ステップと、
    送信部により、上記伝送ビデオデータを、画面中の設定領域に対する輝度変換許容範囲情報と共に送信する送信ステップとを有する
    送信方法。
  6. 入力ビデオデータに所定の光電変換特性を適用して得られた伝送ビデオデータを、画面中の設定領域に対する輝度変換許容範囲情報と共に受信する受信部と、
    上記伝送ビデオデータに上記所定の光電変換特性に対応する電光変換特性を適用すると共に、上記輝度変換許容範囲情報に基づいて輝度変換処理を施して出力ビデオデータを得る処理部とを備える
    受信装置。
  7. 上記受信部は、上記伝送ビデオデータを、上記画面中の設定領域に対する輝度変換許容範囲情報の他にさらに画面全体に対する輝度変換許容範囲情報と共に受信し、
    上記処理部は、画面中の上記設定領域以外の領域では、上記画面全体に対する輝度変換許容範囲情報に基づいて輝度変換処理を施す
    請求項6に記載の受信装置。
  8. 上記画面中の設定領域は、画素単位あるいは所定数の画素を含むブロック単位で設定されている
    請求項6に記載の受信装置。
  9. 上記受信部は、上記伝送ビデオデータが符号化されて得られるビデオストリームを受信し、
    上記輝度変換許容範囲情報は、上記ビデオストリームのレイヤに挿入されている
    請求項6に記載の受信装置。
  10. 受信部により、入力ビデオデータに所定の光電変換特性を適用して得られた伝送ビデオデータを、画面中の設定領域に対する輝度変換許容範囲情報と共に受信する受信ステップと、
    上記伝送ビデオデータに上記所定の光電変換特性に対応する電光変換特性を適用すると共に、上記輝度変換許容範囲情報に基づいて輝度変換処理を施して出力ビデオデータを得る処理ステップとを有する
    受信方法。
JP2018084796A 2018-04-26 2018-04-26 送信装置、送信方法、受信装置および受信方法 Active JP6652153B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018084796A JP6652153B2 (ja) 2018-04-26 2018-04-26 送信装置、送信方法、受信装置および受信方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018084796A JP6652153B2 (ja) 2018-04-26 2018-04-26 送信装置、送信方法、受信装置および受信方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014173898A Division JP6331882B2 (ja) 2014-08-28 2014-08-28 送信装置、送信方法、受信装置および受信方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020004909A Division JP2020074571A (ja) 2020-01-16 2020-01-16 送信装置、送信方法、受信装置および受信方法

Publications (2)

Publication Number Publication Date
JP2018137808A true JP2018137808A (ja) 2018-08-30
JP6652153B2 JP6652153B2 (ja) 2020-02-19

Family

ID=63364957

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018084796A Active JP6652153B2 (ja) 2018-04-26 2018-04-26 送信装置、送信方法、受信装置および受信方法

Country Status (1)

Country Link
JP (1) JP6652153B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07264580A (ja) * 1994-03-17 1995-10-13 Toshiba Corp 映像信号伝送方法並びに映像信号送信装置及び映像信号受信装置
JP2002510177A (ja) * 1998-01-16 2002-04-02 サーノフ コーポレイション デジタル画像の領域ベース情報短縮
JP2006014086A (ja) * 2004-06-28 2006-01-12 Canon Inc 動画像符号化装置及び動画像符号化方法
WO2013046095A1 (en) * 2011-09-27 2013-04-04 Koninklijke Philips Electronics N.V. Apparatus and method for dynamic range transforming of images
WO2013144809A2 (en) * 2012-03-26 2013-10-03 Koninklijke Philips N.V. Brightness region-based apparatuses and methods for hdr image encoding and decoding

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07264580A (ja) * 1994-03-17 1995-10-13 Toshiba Corp 映像信号伝送方法並びに映像信号送信装置及び映像信号受信装置
JP2002510177A (ja) * 1998-01-16 2002-04-02 サーノフ コーポレイション デジタル画像の領域ベース情報短縮
JP2006014086A (ja) * 2004-06-28 2006-01-12 Canon Inc 動画像符号化装置及び動画像符号化方法
WO2013046095A1 (en) * 2011-09-27 2013-04-04 Koninklijke Philips Electronics N.V. Apparatus and method for dynamic range transforming of images
WO2013144809A2 (en) * 2012-03-26 2013-10-03 Koninklijke Philips N.V. Brightness region-based apparatuses and methods for hdr image encoding and decoding

Also Published As

Publication number Publication date
JP6652153B2 (ja) 2020-02-19

Similar Documents

Publication Publication Date Title
JP6849011B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP6331882B2 (ja) 送信装置、送信方法、受信装置および受信方法
US11323752B2 (en) Transmission device, transmission method, reception device, reception method, display device, and display method
US11916594B2 (en) Transmission apparatus, transmission method, reception apparatus, and reception method
JP6652153B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP7205590B2 (ja) 送信装置、送信方法、受信装置および受信方法
WO2024175039A1 (zh) 一种色调映射方法及装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180510

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180510

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190417

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190521

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190711

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191015

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200106

R151 Written notification of patent or utility model registration

Ref document number: 6652153

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151