JP2020523873A - Hdrコード化(復号)のための色域マッピング - Google Patents
Hdrコード化(復号)のための色域マッピング Download PDFInfo
- Publication number
- JP2020523873A JP2020523873A JP2019568706A JP2019568706A JP2020523873A JP 2020523873 A JP2020523873 A JP 2020523873A JP 2019568706 A JP2019568706 A JP 2019568706A JP 2019568706 A JP2019568706 A JP 2019568706A JP 2020523873 A JP2020523873 A JP 2020523873A
- Authority
- JP
- Japan
- Prior art keywords
- color
- dynamic range
- range image
- rgb
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013507 mapping Methods 0.000 title claims abstract description 180
- 238000006243 chemical reaction Methods 0.000 claims abstract description 49
- 230000009466 transformation Effects 0.000 claims abstract description 21
- 239000011159 matrix material Substances 0.000 claims abstract description 20
- 230000002441 reversible effect Effects 0.000 claims abstract description 18
- 230000006870 function Effects 0.000 claims description 105
- 239000003086 colorant Substances 0.000 claims description 95
- 238000000034 method Methods 0.000 claims description 52
- 229920006395 saturated elastomer Polymers 0.000 claims description 45
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 230000001131 transforming effect Effects 0.000 claims 1
- 235000019557 luminance Nutrition 0.000 description 46
- 241000023320 Luma <angiosperm> Species 0.000 description 17
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 17
- 238000012545 processing Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 9
- 238000009877 rendering Methods 0.000 description 7
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 230000000670 limiting effect Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000004737 colorimetric analysis Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 101100328886 Caenorhabditis elegans col-2 gene Proteins 0.000 description 1
- 101100328884 Caenorhabditis elegans sqt-3 gene Proteins 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000005282 brightening Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 235000019615 sensations Nutrition 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/603—Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/64—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/20—Circuitry for controlling amplitude response
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/67—Circuits for processing colour signals for matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
Description
(Ro,Go,Bo)=F_RiGiBi[Ri,G,Bi]、ここで、いずれの所望の出力値(Ro,Go,Bo)に対しても指示するF_RiGiBiの変動は、LUTがちょうどこれらの関係の大きい記憶手段であるため、各入力トリプレットと関連付けることができる。
第1の赤、緑、及び青の原色に従って規定される第1の色の第1のRGB表現を、第2の赤、緑、及び青の原色に従ってそのピクセル色の第2のRGB表現(RGB_sec)にマッピングする色行列を適用することを含む色空間変換(601)を実施するステップであって、第2の赤、緑、及び青の原色は、第1の赤、緑、及び青の原色よりも小さい色三角を包含し、中間画像(HDR_IM)を得る、ステップと、
第2のRGB表現(RGB_sec)に可逆的色域マッピングを適用して、マッピングされた色(C_map)を得るステップと、
マッピングされた色の輝度とは異なる輝度(L_out)の出力色(C_out)を有するピクセルを有する低ダイナミックレンジ画像(SDR_709)を得るために、マッピングされた色の輝度に対する輝度マッピング(TOM)を適用し、標準ダイナミックレンジ画像(SDR_709)を出力するステップと
を有し、
可逆的色域マッピングは、マッピングされた色を規定する出力R、G、及びB色成分(Ro、Go、Bo)をそれぞれ得るために、第2のRGB表現の3つのR、G、及びB色成分の各々にそれぞれのマッピング関数(F1、F2、F3)を適用することを含み、それぞれの3つのマッピング関数は2つの線形セグメント(501、502)を含み、セグメントの一方(501)は、セグメントが、それぞれ第2のRGB表現の入力赤、緑又は青色成分のそれぞれの閾値(TP_red、TP_green、TP_blue)において開始する恒等変換に対応し、第2の線形セグメントは、それぞれの閾値(TP_red、TP_green、TP_blue)から、第2のRGB表現のそれぞれの成分の中間画像(HDR_IM)内で発生する最も大きい負の値であるそれぞれの最小値(minP_red、minP_green、minP_blue)に向かい、それぞれの閾値は、
TP_red=kRG*max(0,G_in)+kRB*max(0,B_in);TP_green=kGR*max(0,R_in)+kGB*max(0,B_in);TP_blue=kBR*max(0,R_in)+kBG*max(0,G_in)
のように、それぞれの閾値がそれぞれの定数(kRG、kRB)によって計算される色成分以外の第2のRGB表現の2つの成分の値がゼロよりも大きい場合に、2つの成分のそのような値を乗算し、それら2つの乗算された寄与を加算することによって計算されることを特徴とする。特に、実際に通信される画像が、その底部において、典型的には、通常のビデオ原色であり、SDRビデオコード化が最近まで使用されていたビデオコード化であった、SDRビデオの時期においてビデオ符号化に使用されていたビデオ原色であるような、Rec.709原色によって規定される、より小さい色度三角形を有するより狭い色域内で規定される、標準ダイナミックレンジ画像である必要がある場合に(すなわち、最大100ニットの輝度、すなわち、いわゆるコード化ピーク明るさPB_Cを有するようにすべての色を定義し、すべてのより低いピクセル輝度が、SDR画像上に表示されるときに可能な限り、SDR画像内の物体輝度が依然としてHDR画像物体輝度と妥当に同様に見えるように規定される、すなわち、実際には適切に成形された輝度マッピング関数TOMを用いてHDR輝度から計算される、標準的な様式において)、これは、ダイナミックレンジ変換の需要に特に良好に調和する可逆的色域マッピングを行う、単純であり、すなわち、容易に可逆性でありながら、なお強力な良好に機能する様式を提供する(それゆえ、符号化手段において、より大きいHDR色三角から、ダイナミックレンジ処理及び画像通信が行われるより小さいSDR色三角へのマッピングが行われ、復号手段において、より小さい色三角によって規定される色から元々のより彩度の高い再構築HDR色への可逆的マッピングを行うことができ、輝度マッピングは無彩色方向において機能する)。本発明の可逆的色域マッピングの中核的要素は、TP閾値の確立であり、少なくともいくつかの実施形態は、負のRGB値を補正する必要がある双一次マッピング曲線のより低いセグメントの角度cPのうちの少なくとも一方の妥当に機能する値を確立し、又は、いくつかの受信手段が、例えば、それらの側で3つのRGB成分の少なくとも1つの最も低い負の値minPを確立する(しかしながら、他の実施形態は、それらの側で最適な関数規定パラメータ値を確立し、それらを復号手段において直接的に使用されるメタデータとして通信する)。また特に、TP値は、異なる色、及び、復号手段によって通信又は確立されるk係数に基づくそれらの色成分の大きさについて計算することができる。
第1の赤、緑、及び青原色に従って規定されている第1のRGB表現として規定されている高ダイナミックレンジ画像のピクセルの色から、第1の原色の対応する原色よりも彩度の低い少なくとも1つの原色を有し、結果としてより小さい色度三角形を規定する第2の赤、緑、及び青原色に従ってそのピクセルの色の第2のRGB表現(RGB_sec)への行列変換を適用するように構成されており、その結果得られるピクセルの色の第2のRGB表現を中間高ダイナミックレンジ画像(HDR_IM)において出力するように構成されている色空間変換手段(402)と、
ピクセルの色に可逆的色域マッピングを適用し、ピクセルがより彩度の低い色を有する色マッピングされている高ダイナミックレンジ画像(HDR_709)を出力するように構成されている色域マッピング手段(403)と、
色マッピングされている高ダイナミックレンジ画像(HDR_709)内のピクセルの色の輝度に輝度マッピング関数(TOM)を適用して、上記輝度とは異なるそのピクセルの出力輝度(L_out)を有する出力色(C_out)を得るように構成されており、100ニットのピーク明るさを有する、標準ダイナミックレンジ出力画像(SDR_709)内で出力色(C_out)を出力するように構成されている輝度マッピング手段(603)と
を備え、
色域マッピング手段は、出力RGB色成分(Ro、Go、Bo)を得るために、第2のRGB表現(RGB_sec)の3つのそれぞれの赤、緑、及び青色成分に、3つのそれぞれのマッピング曲線(F1、F2、F3)を適用することを含む色域マッピングアルゴリズムを適用するように構成されており、それぞれの3つのマッピング関数は、2つの線形セグメント(501、502)を含み、セグメントのうちの一方(501)は、セグメントが、それぞれ第2のRGB表現の入力赤、緑又は青色成分のそれぞれの閾値(TP_red、TP_green、TP_blue)において開始する恒等変換に対応し、第2の線形セグメント(502)は、それぞれの閾値(TP_red、TP_green、TP_blue)と、第2のRGB表現のそれぞれの成分の中間画像(HDR_IM)内で発生する最も大きい負の値であるそれぞれの最小値(minP_red、minP_green、minP_blue)との間でマッピングし、それぞれの閾値(TP_red、TP_green、TP_blue)は、
TP_red=kRG*max(0,G_in)+kRB*max(0,B_in);TP_green=kGR*max(0,R_in)+kGB*max(0,B_in);TP_blue=kBR*max(0,R_in)+kBG*max(0,G_in)
のように、閾値がそれぞれの定数(kRG、kRB)によって計算される色成分以外の第2のRGB表現の2つの成分のうちのそれぞれの成分の値がゼロよりも大きい場合に、2つの成分の各々を乗算し、それらの2つの乗算された寄与を加算することによって計算されることを特徴とする。ここでも、可逆的色域マッピングの3つの関数は、同じcP値又は異なるcP値を使用する。
受信されている輝度マッピング関数(TOM)として規定される輝度マッピングを、標準ダイナミックレンジ画像のピクセルの色の輝度に適用して、上記輝度とは異なる輝度(L_H)を有するピクセルのHDR色(C_H)を得、ピクセル色は、第1の中間高ダイナミックレンジ画像(IM_FH)内に格納される、ステップと、
高ダイナミックレンジ画像(HDR_2020)から標準ダイナミックレンジ画像を導出している符号化手段によって適用されており、関数(6C)の形状を規定するデータが受信されている色域マッピングの逆である関数を用いて色域マッピングを適用して、色域再マッピング画像(IM_GRM)を得るステップと、
色域再マッピング画像(IM_GRM)のピクセルの色に色空間変換を適用するステップであって、赤、緑、及び青原色の第1のセットによって規定される標準ダイナミックレンジ画像の第1のRGB色表現として表される色を、赤、緑、及び青原色の第2のセットであって、うち少なくとも1つの原色は、RGB原色の第1のセット内の対応する原色よりも彩度が高い、第2のセットによって規定される、高ダイナミックレンジ画像(RCHDR_2020)の第2のRGB色表現に変換するための行列を適用することを含む、ステップと、
高ダイナミックレンジ画像(RCHDR_2020)を出力するステップと
を有し、
色域マッピングが、マッピングされた色(C_M)のマッピングされているRGB色成分を得るために、HDR色(C_H)のそれぞれのRGB色成分に対して3つのそれぞれのマッピング関数(IF1)を適用することを含み、マッピング関数は2つの線形セグメントを含み、セグメントのうちの一方(504)は、セグメントがそれぞれ第2のRGB表現の入力赤、緑又は青色成分のそれぞれの閾値(TP_red、TP_green、TP_blue)において開始する恒等変換に対応し、第2の線形セグメント(503)は、HDR色(C_H)のRGB色成分のそれぞれの入力色成分がゼロである場合にマッピングされているRGB色成分のそれぞれの色成分のそれぞれの最も大きい負の値(minP_red、minP_green、minP_blue)にマッピングし、最も大きい負の値は、標準ダイナミックレンジ画像が符号化である元々の高ダイナミックレンジ画像(HDR_2020)のRGB色表現内のその色成分の最も大きい負の値に実質的に等しく、それぞれの閾値は、
TP_red=kRG*max(0,G_in)+kRB*max(0,B_in);TP_green=kGR*max(0,R_in)+kGB*max(0,B_in);TP_blue=kBR*max(0,R_in)+kBG*max(0,G_in)
のように、閾値(TP)がそれぞれの定数(kRG、kRB)によって計算される色成分以外の第2のRGB色表現の2つの成分の値がゼロよりも大きい場合に、そのような値を乗算し、それら2つの乗算された寄与を加算することによって計算されることを特徴とする、ミラーリング方法が存在し得る。
高ダイナミックレンジ画像(RCHDR)を符号化しており、RGB原色のうちの少なくとも1つが、高ダイナミックレンジ画像が復号される、対応する原色よりも彩度が低い色空間内で符号化されている入力標準ダイナミックレンジ画像(SDR_comm、SDR_709)から高ダイナミックレンジ画像を復号するように構成されており、
受信されている輝度マッピング関数(TOM)を得て、当該関数を標準ダイナミックレンジ画像のピクセルの色の輝度に適用して、上記輝度とは異なる輝度(L_H)を有するピクセルのHDR色(C_H)を得るように構成されている輝度マッピング手段であって、HDR色は、第1の中間高ダイナミックレンジ画像(IM_FH)内に格納される、輝度マッピング手段と、
高ダイナミックレンジ画像(HDR_2020)から標準ダイナミックレンジ画像が導出されている符号化部位において適用されており、色マッピング関数(6C)の形状を規定するデータが受信されている色域マッピングの逆を実施する色マッピング関数を用いて適用するように構成されている色域マッピング手段であって、色域再マッピング画像(IM_GRM)を得る、色域マッピング手段と、
色域再マッピング画像(IM_GRM)のピクセルの色に、RGB原色の第1のセットによって規定される標準ダイナミックレンジ画像の第1のRGB色表現として表される色を、RGB原色の第2のセットであって、うち少なくとも1つの原色は、RGB原色の第1のセット内の対応する原色よりも彩度が高い、第2のセットによって規定される、高ダイナミックレンジ画像(RCHDR_2020)の第2のRGB色表現に変換するための行列を適用することを含む色変換を適用するように構成されている色空間変換手段と、
高ダイナミックレンジ画像(RCHDR_2020)を出力するステップと
を備え、
色域マッピング手段が、マッピングされた色(C_M)のマッピングされているRGB色成分を得るために、HDR色(L_H)のそれぞれのRGB色成分に対して3つのそれぞれのマッピング関数(IF1)を適用するように構成されており、マッピング関数は2つの線形セグメントを含み、セグメントのうちの一方(504)は、セグメントがそれぞれ第2のRGB表現の入力赤、緑又は青色成分のそれぞれの閾値(TP_red、TP_green、TP_blue)において開始する恒等変換に対応し、第2の線形セグメント(503)は、ゼロ入力値を、標準ダイナミックレンジ画像が符号化である元々の高ダイナミックレンジ画像内で発生するそのRGB色表現内のその色成分の最も大きい負の値に実質的に等しいマッピングRGB色成分のそれぞれの色成分の負の値にマッピングする垂直方向から開始して規定されるそれぞれの角度(cP_red、cP_green、cP_blue)を有し、それぞれの閾値(TP_red、TP_green、TP_blue)は、
TP_red=kRG*max(0,G_in)+kRB*max(0,B_in);TP_green=kGR*max(0,R_in)+kGB*max(0,B_in);TP_blue=kBR*max(0,R_in)+kBG*max(0,G_in)
のように、上記色成分がゼロよりも大きい値を有する場合に、それぞれの閾値がそれぞれの定数(kRG、kRB)によって計算される色成分以外の第2のRGB色表現の2つの成分の値を乗算し、それら2つの乗算された寄与を加算することによって計算されることを特徴とする。
TP_red=kRG*max(0,G_in)+kRB*max(0,B_in)
R_out=max(TP_red+(R_in−TP_red)*cP_red,R_in)
R_out及びR_inはそれぞれ、出力及び入力色成分であり、赤チャネルが、汎用色成分表記P_out及びP_inに対して選択されており、cP_redは、より低い線形セグメントがminPになる水平と比較した角度である。
TP_green=kGR*max(0,R_in)+kGB*max(0,B_in)
G_out=max(TP_green+(G_in−TP_green)*cP_green,G_in)
TP_blue=kBR*max(0,R_in)+kBG*max(0,G_in)
B_out=max(TP_blue+(B_in−TP_blue)*cP_blue,B_in)
TP_red=kRG*max(0,G_in)+kRB*max(0,B_in)
R_out=min(TP_red+(R_in−TP_red)*(1/cP_red),R_in)
TP_green=kGR*max(0,R_in)+kGB*max(0,B_in)
G_out=min(TP_green+(G_in−TP_green)*(1/cP_green),G_in)
TP_blue=kBR*max(0,R_in)+kBG*max(0,G_in)
B_out=min(TP_blue+(B_in−TP_blue)*(1/cP_blue),B_in)
kRG=(cRG/cRR)*cP/(1.0−cP)
kRB=(cRB/cRR)*cP/(1.0−cP)
kGR=(cGR/cGG)*cP/(1.0−cP)
kGB=(cGB/cGG)*cP/(1.0−cP)
kBR=(cBR/cBB)*cP/(1.0−cP)
kBG=(cBG/cBB)*cP/(1.0−cP)
[cRR,cRG cRB [0.6274 0.3293 0.0433
cGR cGG cGB = 0.0691 0.9195 0.0114
cBR cBG cBB] 0.0164 0.0880 0.8956]
kRG=(0.3293/0.6274)*(0.25/0.75)=0.5249/3=0.175;kRB=0.023;kGR=0.025;kGB=0.004;kBR=0.006及びkBG=0.033が得られる。
Claims (20)
- 第1の彩度を有する第1の色を有するピクセルを含む高ダイナミックレンジ画像を、100ニットのピーク輝度を有する標準ダイナミックレンジ画像であって、ピクセルが、前記第1の彩度よりも低い第2の彩度を有する第2の色を有する、標準ダイナミックレンジ画像に変換する方法であって、前記変換は、
第1の赤、緑、及び青の原色に従って規定される前記第1の色の第1のRGB表現を、第2の赤、緑、及び青の原色に従ってそのピクセル色の第2のRGB表現にマッピングする色行列を適用することを含む色空間変換を実施して、中間画像を得るステップであって、前記第2の赤、緑、及び青の原色は、前記第1の赤、緑、及び青の原色よりも小さい色三角を包含する、ステップと、
前記第2のRGB表現に可逆的色域マッピングを適用して、マッピングされた色を得るステップと、
前記マッピングされた色の輝度とは異なる輝度の出力色を有するピクセルを有する低ダイナミックレンジ画像を得るために、前記マッピングされた色の前記輝度に輝度マッピングを適用し、前記標準ダイナミックレンジ画像を出力するステップと
を有する方法において、
前記可逆的色域マッピングは、前記マッピングされた色を規定する出力R、G、及びB色成分をそれぞれ得るために、前記第2のRGB表現の3つのR、G、及びB色成分の各々にそれぞれのマッピング関数を適用することを含み、それぞれの3つのマッピング関数は2つの線形セグメントを含み、前記線形セグメントの一方は、セグメントが、それぞれ前記第2のRGB表現の入力赤、緑、又は青色成分のそれぞれの閾値(TP_red、TP_green、TP_blue)において開始する恒等変換に対応し、第2の線形セグメントは、それぞれの前記閾値(TP_red、TP_green、TP_blue)から、前記第2のRGB表現のそれぞれの成分の中間画像内で発生する最も大きい負の値であるそれぞれの最小値に向かい、それぞれの前記閾値は、
TP_red=kRG*max(0,G_in)+kRB*max(0,B_in);
TP_green=kGR*max(0,R_in)+kGB*max(0,B_in);
TP_blue=kBR*max(0,R_in)+kBG*max(0,G_in)
のように、それぞれの前記閾値がそれぞれの定数(kRG、kRB)によって計算される色成分以外の前記第2のRGB表現の2つの成分の値がゼロよりも大きい場合に、前記2つの成分の前記値を乗算し、それら2つの乗算された寄与を加算することによって計算されることを特徴とする、高ダイナミックレンジ画像を変換する方法。 - 前記3つのマッピング関数は、水平方向から開始して規定され、前記2つの線形セグメントのうちの第2の線形セグメントの方向を規定する角度と同じ値を有し、前記角度は、前記方法によって予め規定され、分かっているか、又は、前記高ダイナミックレンジ画像内の色の分布に基づいて前記方法によって決定されるかのいずれかである、請求項1に記載の方法。
- 前記3つのマッピング関数は、水平方向から開始して規定され、前記3つのマッピング関数のそれぞれの前記2つのセグメントのうちの第2のセグメントの方向を規定する角度の異なるそれぞれの値を有し、それぞれの前記角度は、前記高ダイナミックレンジ画像内の色の分布に基づいて前記方法によって決定される、請求項1に記載の方法。
- 前記低ダイナミックレンジ画像は、Rec.709原色に従って色が規定される、請求項1から3のいずれか一項に記載の方法。
- 前記高ダイナミックレンジ画像は、映画原色などの広色域原色、又は、Rec.2020原色に従って色が規定される、請求項1から4のいずれか一項に記載の方法。
- 入力高ダイナミックレンジ画像を、色マッピング関数データと共に標準ダイナミックレンジ画像として符号化する高ダイナミックレンジ画像符号化手段であって、前記高ダイナミックレンジ画像符号化手段は、
第1の赤、緑、及び青原色に従って規定されている第1のRGB表現として規定されている高ダイナミックレンジ画像のピクセルの色から、第1の原色の対応する原色よりも彩度の低い少なくとも1つの原色を有し、結果としてより小さい色度三角形を規定する第2の赤、緑、及び青原色に従ってそのピクセルの色の第2のRGB表現への行列変換を適用し、その結果得られる前記ピクセルの色の前記第2のRGB表現を中間高ダイナミックレンジ画像において出力する、色空間変換手段と、
前記ピクセルの色に可逆的色域マッピングを適用し、前記ピクセルがより彩度の低い色を有する色マッピングされている高ダイナミックレンジ画像を出力する、色域マッピング手段と、
前記色マッピングされている高ダイナミックレンジ画像内の前記ピクセルの色の輝度に輝度マッピング関数を適用して、前記輝度とは異なる前記ピクセルの出力輝度を有する出力色を得、100ニットのピーク明るさを有する、標準ダイナミックレンジ出力画像に前記出力色を出力する、輝度マッピング手段と
を備える高ダイナミックレンジ画像符号化手段において、
前記色域マッピング手段は、出力RGB色成分を得るために、前記第2のRGB表現の前記3つのそれぞれの赤、緑、及び青色成分に、3つのそれぞれのマッピング曲線を適用することを含む色域マッピングアルゴリズムを適用し、前記それぞれの3つのマッピング関数は、2つの線形セグメントを含み、前記線形セグメントのうちの一方は、線形セグメントがそれぞれ前記第2のRGB表現の前記入力赤、緑、又は青色成分のそれぞれの閾値(TP_red、TP_green、TP_blue)において開始する、恒等変換に対応し、第2の線形セグメントは、それぞれの前記閾値(TP_red、TP_green、TP_blue)と、前記第2のRGB表現のそれぞれの成分の中間画像内で発生する最も大きい負の値であるそれぞれの最小値との間でマッピングし、それぞれの前記閾値(TP_red、TP_green、TP_blue)は、
TP_red=kRG*max(0,G_in)+kRB*max(0,B_in);TP_green=kGR*max(0,R_in)+kGB*max(0,B_in);TP_blue=kBR*max(0,R_in)+kBG*max(0,G_in)
のように、前記閾値がそれぞれの定数によって計算される色成分以外の前記第2のRGB表現の2つの成分のうちのそれぞれの成分の値がゼロよりも大きい場合に、前記2つの前記成分の各々を乗算し、それら2つの乗算された寄与を加算することによって計算されることを特徴とする、高ダイナミックレンジ画像符号化手段。 - 前記色域マッピング手段は、前記3つのそれぞれの曲線の前記2つの線形セグメントのうちの第2の線形セグメントの水平方向から開始して規定される角度と同じ値を有する、前記3つのマッピング曲線を適用する、請求項6に記載の高ダイナミックレンジ画像符号化手段。
- 前記色域マッピング手段は、前記3つのそれぞれの曲線の前記2つの線形セグメントのうちの第2の線形セグメントの水平方向から開始して規定される角度の異なる値を有する、前記3つのマッピング曲線を適用する、請求項6に記載の高ダイナミックレンジ画像符号化手段。
- 色空間変換手段及び色域マッピング手段が、Rec.2020原色によって規定される色空間内で規定される入力高ダイナミックレンジ画像を、ピクセル色がRec.709原色によって規定される色空間内で規定される標準ダイナミックレンジ画像として符号化する、請求項6から8のいずれか一項に記載の高ダイナミックレンジ画像符号化手段。
- 高ダイナミックレンジ画像を復号する方法であって、前記高ダイナミックレンジ画像は、RGB原色のうちの少なくとも1つが、高ダイナミックレンジ画像が復号される、対応する原色よりも彩度が低い色空間内で符号化されている標準ダイナミックレンジ画像として符号化された状態で受信され、前記方法は、
受信されている輝度マッピング関数として規定される輝度マッピングを、前記標準ダイナミックレンジ画像のピクセルの色の輝度に適用して、前記輝度とは異なる輝度を有する前記ピクセルのHDR色を得るステップであって、前記ピクセル色は、第1の中間高ダイナミックレンジ画像内に格納される、ステップと、
高ダイナミックレンジ画像から前記標準ダイナミックレンジ画像を導出した符号化手段によって適用されており、関数の形状を規定するデータが受信されている色域マッピングの逆である関数を用いて色域マッピングを適用して、色域再マッピング画像を得るステップと、
前記色域再マッピング画像の前記ピクセルの色に色空間変換を適用するステップであって、赤、緑、及び青原色の第1のセットによって規定される前記標準ダイナミックレンジ画像の第1のRGB色表現として表される色を、赤、緑、及び青原色の第2のセットであって、それらのうち少なくとも1つの原色は、前記RGB原色の前記第1のセット内の対応する原色よりも彩度が高い、第2のセットによって規定される、前記高ダイナミックレンジ画像の第2のRGB色表現に変換するための行列を適用することを含む、ステップと、
前記高ダイナミックレンジ画像を出力するステップと
を有する方法において、
前記色域マッピングが、マッピングされた色のマッピングされているRGB色成分を得るために、HDR色のそれぞれのRGB色成分に対して3つのそれぞれのマッピング関数を適用することを含み、マッピング関数は2つの線形セグメントを含み、前記線形セグメントのうちの一方は、線形セグメントがそれぞれ前記第2のRGB表現の入力赤、緑又は青色成分のそれぞれの閾値(TP_red、TP_green、TP_blue)において開始する、恒等変換に対応し、第2の線形セグメントは、前記HDR色の前記RGB色成分のそれぞれの入力色成分がゼロである場合に前記マッピングされているRGB色成分のそれぞれの色成分のそれぞれの最も大きい負の値にマッピングし、最も大きい負の値は、標準ダイナミックレンジ画像が符号化である元々の高ダイナミックレンジ画像のRGB色表現内のその色成分の最も大きい負の値に実質的に等しく、それぞれの前記閾値は、
TP_red=kRG*max(0,G_in)+kRB*max(0,B_in);TP_green=kGR*max(0,R_in)+kGB*max(0,B_in);TP_blue=kBR*max(0,R_in)+kBG*max(0,G_in)
のように、閾値(TP)がそれぞれの定数によって計算される色成分以外の第2のRGB色表現の2つの成分の値がゼロよりも大きい場合に、そのような値を乗算し、それら2つの乗算された寄与を加算することによって計算されることを特徴とする、高ダイナミックレンジ画像を復号する方法。 - 前記3つのRGB色成分のうちのそれぞれの成分の前記色成分マッピング関数の非恒等線形セグメントの垂直方向から開始して規定される前記それぞれの3つの角度は異なり、前記画像の符号化手段からメタデータとして受信される、請求項10に記載の高ダイナミックレンジ画像を復号する方法。
- 前記3つのRGB色成分のうちのそれぞれの成分の前記色成分マッピング関数の非恒等線形セグメントの垂直方向から開始して規定される同じ角度を使用し、前記角度は固定され、前記方法によって分かっているか、又は、前記画像の符号化手段からメタデータとして受信されるかのいずれかである、請求項10に記載の高ダイナミックレンジ画像を復号する方法。
- kRG=(cRG/cRR)*cP_red/(1.0−cP_red)、kRB=(cRB/cRR)*cP_red/(1.0−cP_red)、kGR=(cGR/cGG)*cP_green/(1.0−cP_green)、kGB=(cGB/cGG)*cP_green/(1.0−cP_green)、kBR=(cBR/cBB)*cP_blue/(1.0−cP_blue)、kBG=(cBG/cBB)*cP_blue/(1.0−cP_blue)に従って、前記標準ダイナミックレンジ画像の前記第1のRGB色表現内で表されるときの任意の色のRGB値と、前記高ダイナミックレンジ画像の前記第2のRGB色表現として表されるときの前記任意の色の前記RGB値との間の関係を規定する行列係数に基づいて、乗算のためのそれぞれの定数が計算され、ここで、cXX係数が、前記行列係数であり、それぞれのcP_X値は、前記3つのRGB色成分について同じであるか又は異なる角度である、請求項10から12のいずれか一項に記載の高ダイナミックレンジ画像を復号する方法。
- 前記標準ダイナミックレンジ画像は、Rec.709 RGB原色によって規定される色空間内で規定される、請求項10から13のいずれか一項に記載の高ダイナミックレンジ画像を復号する方法。
- 高ダイナミックレンジ画像を符号化している入力標準ダイナミックレンジ画像であって、RGB原色のうちの少なくとも1つが、前記高ダイナミックレンジ画像が復号される対応する原色よりも彩度が低い色空間内で符号化されている、当該入力標準ダイナミックレンジ画像から、前記高ダイナミックレンジ画像を復号する高ダイナミックレンジ画像ビデオ復号手段であって、前記高ダイナミックレンジ画像ビデオ復号手段は、
受信されている輝度マッピング関数を得て、前記輝度マッピング関数を前記標準ダイナミックレンジ画像のピクセルの色の輝度に適用して、前記輝度とは異なる輝度を有する前記ピクセルのHDR色を得る輝度マッピング手段であって、前記HDR色は、第1の中間高ダイナミックレンジ画像内に格納される、輝度マッピング手段と、
高ダイナミックレンジ画像から前記標準ダイナミックレンジ画像が導出された符号化部位において適用されており、色マッピング関数の形状を規定するデータが受信されている色域マッピングの逆を実施する前記色マッピング関数を用いて適用する色域マッピング手段であって、色域再マッピング画像を得る、色域マッピング手段と、
前記色域再マッピング画像の前記ピクセルの色に、RGB原色の第1のセットによって規定される前記標準ダイナミックレンジ画像の第1のRGB色表現として表される色を、RGB原色の第2のセットであって、うち少なくとも1つの原色は、前記RGB原色の第1のセット内の対応する原色よりも彩度が高い、第2のセットによって規定される、前記高ダイナミックレンジ画像の第2のRGB色表現に変換するための行列を適用することを含む色変換を適用する色空間変換手段と、
前記高ダイナミックレンジ画像を出力する手段と
を備える高ダイナミックレンジ画像ビデオ復号手段において、
前記色域マッピング手段が、マッピングされた色のマッピングされているRGB色成分を得るために、前記HDR色のそれぞれのRGB色成分に対して3つのそれぞれのマッピング関数を適用し、前記マッピング関数は2つの線形セグメントを含み、前記線形セグメントのうちの一方は、線形セグメントがそれぞれ前記第2のRGB表現の入力赤、緑又は青色成分のそれぞれの閾値(TP_red、TP_green、TP_blue)において開始する、恒等変換に対応し、第2の線形セグメントは、ゼロ入力値を、標準ダイナミックレンジ画像が符号化である元々の高ダイナミックレンジ画像内で発生するそのRGB色表現内のその色成分の最も大きい負の値に実質的に等しいマッピングRGB色成分のそれぞれの色成分の負の値にマッピングする垂直方向から開始して規定されるそれぞれの角度を有し、それぞれの前記閾値(TP_red、TP_green、TP_blue)は、
TP_red=kRG*max(0,G_in)+kRB*max(0,B_in);TP_green=kGR*max(0,R_in)+kGB*max(0,B_in);TP_blue=kBR*max(0,R_in)+kBG*max(0,G_in)
のように、前記色成分がゼロよりも大きい値を有する場合に、それぞれの閾値がそれぞれの定数(kRG、kRB)によって計算される色成分以外の第2のRGB色表現の2つの成分の値を乗算し、それら2つの乗算された寄与を加算することによって計算されることを特徴とする、高ダイナミックレンジ画像ビデオ復号手段。 - 前記色域マッピング手段が、前記3つのRGB色成分のそれぞれの前記色成分に対して前記3つの色マッピング関数を適用し、それぞれの前記関数が、恒等変換ではない前記線形セグメントの角度の同じ値を有する、請求項15に記載の高ダイナミックレンジ画像ビデオ復号手段。
- それぞれ3つの異なる角度又は同じ角度が、前記画像の符号化手段によって作成されたメタデータとして受信される、請求項15又は16に記載の高ダイナミックレンジ画像ビデオ復号手段。
- 前記閾値の決定における乗算のための前記定数(kRG、kRB、kGR、kGB、kBR、kBG)は、メタデータ入力を介して受信される、請求項15から17のいずれか一項に記載の高ダイナミックレンジ画像ビデオ復号手段。
- 前記閾値の決定における乗算のための前記定数(kRG、kRB、kGR、kGB、kBR、kBG)は、前記復号手段によって、kRG=(cRG/cRR)*cP_red/(1.0−cP_red)、kRB=(cRB/cRR)*cP_red/(1.0−cP_red)、kGR=(cGR/cGG)*cP_green/(1.0−cP_green)、kGB=(cGB/cGG)*cP_green/(1.0−cP_green)、kBR=(cBR/cBB)*cP_blue/(1.0−cP_blue)、kBG=(cBG/cBB)*cP_blue/(1.0−cP_blue)に従って、前記第1のRGB表現で表されるときと前記第2のRGB色表現で表されるときとの色を規定する行列係数に基づいて計算され、ここで、cXX係数が、前記行列係数であり、それぞれのcP_X値は、前記3つのRGB色成分について同じであるか又は異なる、角度である、請求項15から18のいずれか一項に記載の高ダイナミックレンジ画像ビデオ復号手段。
- 前記色域マッピング手段及び前記色空間変換手段が、Rec.709RGB原色に従って規定される標準ダイナミックレンジ画像から前記高ダイナミックレンジ画像を復号する、請求項15から19のいずれか一項に記載の高ダイナミックレンジ画像ビデオ復号手段。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP17175689.3A EP3416363A1 (en) | 2017-06-13 | 2017-06-13 | Gamut mapping for hdr (de)coding |
EP17175689.3 | 2017-06-13 | ||
PCT/EP2018/065691 WO2018229145A1 (en) | 2017-06-13 | 2018-06-13 | Gamut mapping for hdr (de)coding |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020523873A true JP2020523873A (ja) | 2020-08-06 |
JP7203048B2 JP7203048B2 (ja) | 2023-01-12 |
Family
ID=59061861
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019568706A Active JP7203048B2 (ja) | 2017-06-13 | 2018-06-13 | Hdrコード化(復号)のための色域マッピング |
Country Status (5)
Country | Link |
---|---|
US (1) | US11451756B2 (ja) |
EP (2) | EP3416363A1 (ja) |
JP (1) | JP7203048B2 (ja) |
CN (1) | CN110741624B (ja) |
WO (1) | WO2018229145A1 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2667083C1 (ru) * | 2014-01-24 | 2018-09-14 | Сони Корпорейшн | Устройство передачи, способ передачи, устройство приема и способ приема |
EP3873096A1 (en) * | 2020-02-25 | 2021-09-01 | Koninklijke Philips N.V. | Improved hdr color processing for saturated colors |
CN114640834B (zh) * | 2020-12-15 | 2024-03-19 | 华为技术有限公司 | 一种图像处理的方法以及相关装置 |
CN113271449B (zh) * | 2021-07-21 | 2021-09-28 | 北京小鸟科技股份有限公司 | 多种hdr视频的转换系统、方法、设备 |
CN113676773B (zh) * | 2021-08-16 | 2023-11-14 | 广州虎牙信息科技有限公司 | 一种视频播放方法、系统、装置、计算机设备和存储介质 |
CN115797151A (zh) * | 2021-09-10 | 2023-03-14 | 北京字跳网络技术有限公司 | 一种颜色映射色卡生成方法及装置 |
CN114363702B (zh) * | 2021-12-28 | 2023-09-08 | 上海网达软件股份有限公司 | Sdr视频转换为hdr视频的方法、装置、设备及存储介质 |
CN114529490B (zh) * | 2022-04-24 | 2022-07-15 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、装置、设备以及可读存储介质 |
CN115174881B (zh) * | 2022-07-15 | 2024-02-13 | 深圳市火乐科技发展有限公司 | 色域映射方法、装置、投影设备及存储介质 |
CN115063327B (zh) * | 2022-08-19 | 2022-11-08 | 摩尔线程智能科技(北京)有限责任公司 | 图像处理方法和装置、以及视频处理方法和装置 |
CN116017171B (zh) * | 2023-02-01 | 2023-06-20 | 北京小米移动软件有限公司 | 一种图像处理方法、装置、电子设备、芯片及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160203618A1 (en) * | 2015-01-09 | 2016-07-14 | Vixs Systems, Inc. | Tone mapper with filtering for dynamic range conversion and methods for use therewith |
WO2016120420A1 (en) * | 2015-01-30 | 2016-08-04 | Thomson Licensing | Method and apparatus for encoding and decoding high dynamic range (hdr) videos |
WO2017040237A1 (en) * | 2015-08-28 | 2017-03-09 | Arris Enterprises Llc | Color volume transforms in coding of high dynamic range and wide color gamut sequences |
JP2018142947A (ja) * | 2017-02-28 | 2018-09-13 | 日本放送協会 | 信号処理回路及びプログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8537893B2 (en) * | 2006-01-23 | 2013-09-17 | Max-Planck-Gesellschaft Zur Forderung Der Wissenschaften E.V. | High dynamic range codecs |
JP4241902B2 (ja) | 2006-05-15 | 2009-03-18 | シャープ株式会社 | カラー画像表示装置及び色変換装置 |
JP6382805B2 (ja) * | 2012-07-13 | 2018-08-29 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 改良されたhdr画像符号化及び復号方法並びに装置 |
US10652588B2 (en) * | 2015-09-21 | 2020-05-12 | Vid Scale, Inc. | Inverse reshaping for high dynamic range video coding |
-
2017
- 2017-06-13 EP EP17175689.3A patent/EP3416363A1/en not_active Withdrawn
-
2018
- 2018-06-13 JP JP2019568706A patent/JP7203048B2/ja active Active
- 2018-06-13 EP EP18729461.6A patent/EP3639509B1/en active Active
- 2018-06-13 WO PCT/EP2018/065691 patent/WO2018229145A1/en unknown
- 2018-06-13 CN CN201880039669.8A patent/CN110741624B/zh active Active
- 2018-06-13 US US16/619,114 patent/US11451756B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160203618A1 (en) * | 2015-01-09 | 2016-07-14 | Vixs Systems, Inc. | Tone mapper with filtering for dynamic range conversion and methods for use therewith |
WO2016120420A1 (en) * | 2015-01-30 | 2016-08-04 | Thomson Licensing | Method and apparatus for encoding and decoding high dynamic range (hdr) videos |
WO2017040237A1 (en) * | 2015-08-28 | 2017-03-09 | Arris Enterprises Llc | Color volume transforms in coding of high dynamic range and wide color gamut sequences |
JP2018142947A (ja) * | 2017-02-28 | 2018-09-13 | 日本放送協会 | 信号処理回路及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
EP3416363A1 (en) | 2018-12-19 |
EP3639509A1 (en) | 2020-04-22 |
EP3639509B1 (en) | 2020-12-02 |
US11451756B2 (en) | 2022-09-20 |
CN110741624B (zh) | 2021-11-09 |
JP7203048B2 (ja) | 2023-01-12 |
US20200099908A1 (en) | 2020-03-26 |
CN110741624A (zh) | 2020-01-31 |
WO2018229145A1 (en) | 2018-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7203048B2 (ja) | Hdrコード化(復号)のための色域マッピング | |
US10902567B2 (en) | Handling multiple HDR image sources | |
EP3235236B1 (en) | Dynamic range coding for images and video | |
JP6619888B2 (ja) | Hdrビデオの符号化及び復号化 | |
US9230509B2 (en) | Luminance changing image processing with color constraints | |
JP2017512393A (ja) | 高解像度及び高ダイナミックレンジを可能とするビデオデコーダ | |
JP2017512405A (ja) | ビデオのための新たな色空間及びデコーダ | |
US20220124293A1 (en) | High dynamic range video color remapping | |
WO2021004839A1 (en) | Adjustment of display optimization behaviour for hdr images | |
EP4086841A1 (en) | Display-optimized ambient light hdr video adaptation | |
EP4086843A1 (en) | Display-optimized hdr video contrast adaptation | |
EP4086844A1 (en) | Display-optimized hdr video contrast adaptation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20200313 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20200319 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210610 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220812 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220816 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221107 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221226 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7203048 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |