JP2018512749A - 色マッピング情報を符号化し且つ色マッピング情報に基づきピクチャを処理する方法及び装置 - Google Patents

色マッピング情報を符号化し且つ色マッピング情報に基づきピクチャを処理する方法及び装置 Download PDF

Info

Publication number
JP2018512749A
JP2018512749A JP2017539391A JP2017539391A JP2018512749A JP 2018512749 A JP2018512749 A JP 2018512749A JP 2017539391 A JP2017539391 A JP 2017539391A JP 2017539391 A JP2017539391 A JP 2017539391A JP 2018512749 A JP2018512749 A JP 2018512749A
Authority
JP
Japan
Prior art keywords
color mapping
color
mapping function
domain
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017539391A
Other languages
English (en)
Other versions
JP6694439B2 (ja
Inventor
フィリップ ボルデ
フィリップ ボルデ
ラセール,セバスティアン
アンドリヴォン,ピエール
オリヴィエ,ヤニック
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2018512749A publication Critical patent/JP2018512749A/ja
Application granted granted Critical
Publication of JP6694439B2 publication Critical patent/JP6694439B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6058Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut
    • H04N1/6063Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut dependent on the contents of the image to be reproduced
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6016Conversion to subtractive colour signals
    • H04N1/6022Generating a fourth subtractive colour signal, e.g. under colour removal, black masking
    • H04N1/6025Generating a fourth subtractive colour signal, e.g. under colour removal, black masking using look-up tables
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)

Abstract

色マッピング情報は、1つの色を他の色へ変換するために使用され得る。本実施形態は、複数の色マッピング関数の連続適用を用いて、色マッピング情報を表現するための解決法を提供する。複数の色マッピング関数のためのパラメータは、ビットストリームに符号化され得る。一実施形態で、色マッピング関数は、それら自身の定義域にのみ連続的に適用される。他の実施形態で、第1色マッピング(CRI1)は、その定義域にのみ適用されるが、第2色マッピングは、CRI1によって前もって色マッピングされており、第2色マッピング関数の定義域内にもあるサンプルにのみ適用される。復号側で、複数の色マッピング関数は再構成され、他のピクチャを生成するよう、復号されたピクチャに連続して適用される。

Description

本発明は、色マッピング情報を符号化し且つ色マッピング情報に基づきピクチャを処理する方法及び装置に、より具体的には、連続的な色マッピング関数を用いて色マッピング情報を符号化し且つ色マッピング関数を連続して適用することによってピクチャを処理する方法及び装置に関係がある。
この項目は、以下で記載及び/又は請求される本発明の様々な態様に関係があり得る技術の様々な態様を読者に紹介することを目的とする。この議論は、本発明の様々な態様のより良い理解を助けるよう、背景情報を読者に提供するのに有用であると信じられる。然るに、それらの記述は、先行技術の承認としてではなく、この観点から読まれるべきであることが理解されるべきである。
ピクチャ内のサンプルは、1つの色空間から他の色空間へ、又はより一般的には、1つの色から他の色へ変換され得る。例えば、スケーラブル・ビデオ・コーディングにおいて、エンハンスメント・レイヤ(Enhancement Layer)(EL)・ピクチャは、(場合により、アップサンプリングされた)復号されたベース・レイヤ(Base Layer)(BL)・ピクチャから通常は予測される。ELピクチャ及びBLピクチャが異なる色空間により表現され、及び/又は異なるようにカラー/グレーディングされている場合に、復号されたBLピクチャを、例えば、ELの色空間へ送ることは、予測を改善し得る。
この色変換は、色マッピングとしても知られており、それは、色マッピング関数(Color Mapping Function)(CMF)によって表され得る。CMFは、例えば、12のパラメータによって定義されるオフセット(ゲイン・オフセット・モデル)を3×3ゲイン行列に加えたものによって近似され得る。しかし、CMFのそのような近似は、線形変換モデルを前提としているので、それほど正確でないことがある。他の例では、如何にして色(通常、3つの成分を有する。)がルック・アップ・テーブルにおいて他の色へマッピングされるかを示す3Dルック・アップ・テーブル(Look Up Table)(3D LUTとしても知られる。)が、CMFを記述するために使用され得る。3D LUTは、必要とされる精度に応じてそのサイズが大きくされ得るので、よりずっと正確であることができる。しかし、3D LUTは、それ故に、膨大なデータセットを示し得る。
他の例では、色変換は、一次元色LUTを、ピクチャの又はピクチャ内の領域の各色成分に対して独立して適用することによって、実施され得る。1D LUTを各色成分に独立して適用することは、成分相関を破って、レイヤ間予測の効率、ひいては符号化効率を低下させうるので、例えば、3×3行列(3つの色成分の場合)のような、線型モデル、及び任意に、オフセットのベクトルが、成分間の脱相関を補償するために、マッピングされた成分に適用され得る。任意に、更なる変換は、他の一次元色LUTを、ピクチャの又はピクチャ内の領域の各色成分に対して独立して適用することによって、実施され得る。
本原理の態様に従って、ピクチャを含むビットストリームを処理する方法であって、第1ドメインにおいて定義される第1色マッピング関数を示す第1組のパラメータにアクセスすることと、第2ドメインにおいて定義される第2色マッピング関数を示す第2組のパラメータにアクセスすることと、前記第1色マッピング関数、前記第2色マッピング関数及び前記ピクチャに応答して出力ピクチャを生成することとを有し、前記第1色マッピング関数及び前記第2色マッピング関数が連続してピクチャに適用される、方法が示される。本実施形態は更に、それらのステップを実施する装置を提供する。
本実施形態はまた、上述された方法に従ってピクチャを含むビットストリームを処理する命令を記憶しているコンピュータ可読記憶媒体を提供する。
本原理の他の態様に従って、色マッピング情報を符号化する方法であって、第1色マッピング関数及び第2色マッピング関数にアクセスし、前記第1色マッピング関数及び前記第2色マッピング関数の連続適用が前記色マッピング情報を表すために使用されることと、第1ドメインにおいて定義される前記第1色マッピング関数を示す第1組のパラメータを符号化することと、第2ドメインにおいて定義される前記第2色マッピング関数を示す第2組のパラメータを符号化することと、前記第1組のパラメータ及び前記第2組のパラメータを含むビットストリームを出力として供給することとを有する方法が示される。本実施形態は更に、それらのステップを実施する装置を提供する。
本実施形態はまた、上述された方法に従って色マッピング情報を符号化する命令を記憶しているコンピュータ可読記憶媒体を提供する。
2つの1D LUT及び行列を使用するCMF表現の絵的例を表す。
色成分を値Xから値Yへマッピングする区分線形曲線の絵的例を表す。
入力された色が色空間のサブセット内にあるところの絵的例を表す。
小さいインターバルを用いて色マッピング関数を表す絵的例を表す。 いくつかの色において大きいインターバルを用いて色マッピング関数を表す他の絵的例を表す。
本原理の実施形態に従って、2つの色マッピング関数を生成及び適用するシステムを例示するブロック図を表す。
本原理の実施形態に従って、色マッピング情報を符号化する方法の例を表すフローチャートである。
第1色マッピング関数fCRI1のための定義域(DCRI1)の例を表す。 破線内で第1色マッピングfCRI1(DCRI1)適用後の範囲を、及び実線内で第2色マッピング関数fCRI2のための定義域(DCRI2)の例を表す。 第1規則に従うDCRI2における第2色マッピングの結果を表す。 第2規則に従うDCRI2における第2色マッピングの結果を表す。
本原理の実施形態に従って、復号された色マッピング関数に基づきピクチャを処理する方法の例を表すフローチャートである。
本原理の実施形態に従って、第1及び第2色マッピングを実施するシステムの例を表すフローチャートである。
本原理の例となる実施形態の様々な態様が実装され得るシステムを例示するブロック図を表す。
1つ以上の実施により使用され得るビデオ処理システムの例を示すブロック図を表す。
1つ以上の実施により使用され得るビデオ処理システムの他の例を示すブロック図を表す。
本願において“色マッピング”及び“色再マッピング”とも呼ばれる色変換は、様々な用途において使用され得る。例えば、キャプチャ機能の及び表示特性の広範な色フォーマットのために、色マッピングは、復号された画像を表示デバイス上にレンダリングするために使用され得る。他の例では、ビデオは、種々の目的のために複数回カラー・グレーディングされ得る。カラー・グレーディングは、ビデオの色を変更/強調するプロセスである。例えば、カラリストは、映画が広い色域(wide color gamut)(WCG)において表現され、劇場のための外観を有するように、映画をカラー・グレーディングしてよく、他のカラリストは、映画がより小さい色域において表現され、ホーム・エンターテイメントのための外観を有するように、映画をカラー・グレーディングしてよい。映画の夫々のカラー・グレーディングされたバージョンは、芸術的な意図に対応し、対象のディスプレイ又は用途の特性に依存し得る。
送信機は、ホーム・エンターテイメントのためのバージョンと、ホーム・エンターテイメントのためのバージョンにおける色が如何にして劇場のためのバージョンへマッピングされ得るかを示す色マッピング情報の組とを送信しさえすればよい。色マッピング情報の組を表すよう、色マッピング関数は、例えば、視感(psycho-visual)メトリックを用いて、マッピングされたピクチャ(例えば、CMF(ホーム・エンターテイメントのためのバージョン))と目標のピクチャ(例えば、劇場のためのバージョン)との間の差を最小限にするために、決定され得る。受信機側で、ホーム・エンターテイメントのためのバージョンは、色マッピング情報を用いて劇場のためのバージョンへマッピングされ得る。
また、送信機は、劇場のためのバージョンと、劇場ためのバージョンにおける色が如何にしてホーム・エンターテイメントのためのバージョンへマッピングされ得るかを示す色マッピング情報の組とを送信しさえすればよい。受信機側で、劇場のためのバージョンは、色マッピング情報を用いてホーム・エンターテイメントのためのバージョンへマッピングされ得る。このように、両方のバージョンを送信するのではなく、一方のバージョンのみが送信されればよく、他方のバージョンは、色マッピング情報を用いて回復される。このアプローチは、表示デバイスでいずれか一方のバージョンを表示する可能性を依然として保ちながら、両方のバージョンを送信するよりもずっと狭い帯域しか通常必要としない。
より一般的には、表示デバイスがいずれか一方のバージョンを表示することを可能にするために、色マッピング情報を表すメタデータがビットストリームにおいて送出され得る。そのような色マッピング・メタデータを符号化することは、様々なバージョンのコンテンツを表示し、そして、色マッピング情報によって強化されたデータをディスプレイが表示することができる場合には、送信された符号化されたビデオを強化することを可能にする。色マッピング情報を送信することは、芸術的な意図を保ちながら、広い色域に調整されたコンテンツを上手に低下させることも可能にする。
HEVCの草案版(Edition 2 Draft Text of High Efficiency Video Coding (HEVC), JCTVC-R1013、以降“JCTVC−R1013”)で、色変換情報は、表1に示されるようにCRI(Color Remapping Information)(色再マッピング情報)において定義される。表には、参照を簡単にするために、行番号が付加されている。CRIは、HEVC、HEVC Range Extension、Scalability(SHVC)及びMulti−View(MV−HEVC) Extensionsに適用され得る。特に、色再マッピング情報SEIメッセージにおいて使用される色再マッピングモデルは、各色成分に適用される第1の区分線形関数を構成するために使用され得るシンタックス要素の“pre”セットと、3つの色成分に適用され得る3×3行列と、各色成分に適用される第2の区分線形関数を再構成するために使用され得るシンタックス要素の“post”セットとから構成される。
Figure 2018512749
セマンティクス
colour_remap_idは、色再マッピング情報の目的を識別するために使用され得る識別番号を含む。colour_remap_idの値は、0から232−2までの範囲を含むべきである。0から255まで及び512から231−1までのcolour_remap_idの値は、用途によって決定されるように使用され得る。256から511までを含み且つ231から232−2までを含むcolour_remap_idの値は、ITU−T|ISO/IECによる将来の使用のために留保される。復号器は、256から511までの範囲を含むか又は231から232−2までの範囲を含むcolour_remap_idの値を含んでいる全ての色再マッピング情報SEIメッセージを無視すべきであり、ビットストリームは、そのような値を含むべきでない。
1に等しいcolour_remap_cancel_flagは、色再マッピング情報SEIメッセージが、現在のレイヤに適用する出力順序で如何なる前の色再マッピング情報SEIメッセージの持続もキャンセルすることを示す。0に等しいcolour_remap_cancel_flagは、色再マッピング情報が続くことを示す。
color_remap_persistence_flagは、現在のレイヤのための色再マッピング情報SEIメッセージの持続を指定する。0に等しいcolor_remap_persistence_flagは、色再マッピング情報が現在のピクチャにのみ当てはまることを指定する。
1に等しいcolour_remap_video_signal_info_present_flagは、シンタックス要素colour_remap_full_range_flag、colur_remap_primaries、colur_remap_transfer_function、及びcolour_remap_matrix_coefficientsが存在することを指定し、0に等しいcolour_remap_video_signal_info_present_flagは、シンタックス要素colour_remap_full_range_flag、colur_remap_primaries、colur_remap_transfer_function、及びcolour_remap_matrix_coefficientsが存在しないことを指定する。
colour_remap_full_range_flagは、colour_remap_full_range_flagが、CLVS(Coded Layer-wise Video Sequence)のために使用される色空間よりむしろ、再マッピングされた再構成されたピクチャの色空間を指定することを除いて、video_full_range_flagシンタックス要素のためにJCTVC−R1013のE.3.1節で規定されるのと同じセマンティクスを有している。存在しない場合に、colour_remap_full_range_flagの値は、video_full_range_flagの値に等しいと推測される。
colur_remap_primariesは、colur_remap_primariesが、CLVSのために使用される色空間よりむしろ、再マッピングされた再構成されたピクチャの色空間を指定することを除いて、colour_primariesシンタックス要素のためにJCTVC−R1013のE.3.1節で規定されるのと同じセマンティクスを有している。存在しない場合に、colur_remap_primariesの値は、colour_primariesの値に等しいと推測される。
colur_remap_transfer_functionは、colur_remap_transfer_functionが、CLVSのために使用される色空間よりむしろ、再マッピングされた再構成されたピクチャの色空間を指定することを除いて、transfer_characteristicsシンタックス要素のためにJCTVC−R1013のE.3.1節で規定されるのと同じセマンティクスを有している。存在しない場合に、colur_remap_transfer_functionの値は、transfer_characteristicsの値に等しいと推測される。
colour_remap_matrix_coefficientsは、colour_remap_matrix_coefficientsが、CLVSのために使用される色空間よりむしろ、再マッピングされた再構成されたピクチャの色空間を指定することを除いてmatrix_coeffsシンタックス要素のためにJCTVC−R1013のE.3.1節で規定されるのと同じセマンティクスを有している。存在しない場合に、colour_remap_matrix_coefficientsの値は、matrix_coeffsの値に等しいと推測される。
colour_remap_input_bit_depthは、色再マッピング情報SEIメッセージの解釈のために、関連するピクチャのルーマ及びクロマ成分又はRGB成分のビット深度を指定する。何らかの色再マッピング情報SEIメッセージが、符号化されたルーマ及びクロマ成分のビット深度又は符号化されたRGB成分のビット深度に等しくないcolour_remap_input_bit_depthを有して存在する場合に、SEIメッセージは、符号化されたビデオを、colour_remap_input_bit_depthに等しいビット深度を有する変換されたビデオへ変換するよう実施されるトランスコーディング動作の仮想上の結果を参照する。colour_remap_input_bit_depthの値は、8から16までの範囲を含むべきである。0から7までを含み且つ17から255までを含むcolour_remap_input_bit_depthの値は、ITU−T|ISO/IECによる将来の使用のために留保されるべきである。復号器は、0から7までの範囲を含むか又は17から255までの範囲を含むcolour_remap_input_bit_depthを含んでいる全ての色再マッピング情報SEIメッセージを無視すべきであり、ビットストリームは、そのような値を含むべきでない。
colour_remap_bit_depthは、色再マッピング情報SEIメッセージによって記述される色再マッピング関数の出力のビット深度を指定する。colour_remap_bit_depthの値は、8から16までの範囲を含むべきである。0から7までを含み且つ17から255までを含むcolour_remap_bit_depthの値は、ITU−T|ISO/IECによる将来の使用のために留保されるべきである。復号器は、0から7までの範囲を含むか又は17から255までの範囲を含むcolour_remap_bit_depthを含んでいる全ての色再マッピング情報SEIメッセージを無視すべきである。
1を加えたpre_lut_num_val_minus1[c]は、c番目の成分について区分線形再マッピング関数におけるピボット・ポイントの数を指定する。0に等しいcは、ルーマ又はG成分を参照し、1に等しいcは、Cb又はB成分を参照し、2に等しいcは、Cr又はR成分を参照する。pre_lut_num_val_minus1[c]が0に等しい場合に、c番目の成分について、入力値のデフォルトのエンド・ポイントは0及び2colour_remap_input_bit_depth−1であり、出力値の対応するデフォルトのエンド・ポイントは0及び2colour_remap_bit_depth−1である。本明細書のこのバージョンに適合するビットストリームにおいて、pre_lut_num_val_minus1[c]の値は、0から32までの範囲を含むべきである。
pre_lut_coded_value[c][i]は、c番目の成分についてi番目のピボット・ポイントの値を指定する。pre_lut_coded_value[c][i]を表すために使用されるビットの数は、((colour_remap_input_bit_depth+7)>>3)<<3である。
pre_lut_target_value[c][i]は、c番目の成分についてi番目のピボット・ポイントの値を指定する。pre_lut_target_value[c][i]を表すために使用されるビットの数は、((colour_remap_bit_depth+7)>>3)<<3である。
1に等しいcolour_remap_matrix_present_flagは、0から2までの範囲を含むc及びiについてのシンタックス要素log2_matrix_denom及びcolour_remap_coeffs[c][i]が存在することを示す。0に等しいcolour_remap_matrix_present_flagは、0から2までの範囲を含むc及びiについてのシンタックス要素log2_matrix_denom及びcolour_remap_coeffs[c][i]が存在しないことを示す。
log2_matrix_denomは、全ての行列係数についての分母の底2対数を指定する。log2_matrix_denomの値は、0から15までの範囲を含むべきである。存在しない場合に、log2_matrix_denomは、0に等しいと推測される。
colour_remap_coeffs[c][i]は、3×3色再マッピング行列係数の値を指定する。colour_remap_coeffs[c][i]の値は、−215から215−1までの範囲を含むべきである。colour_remap_coeffs[c][i]が存在しない場合に、それは、cがiに等しい場合に1に等しいと推測され、それ以外の場合に0に等しいと推測される。c=0、1及び2についての変数matrixOutput[c]は、次のように導出される:
Figure 2018512749
ここで、matrixInput[c]は、c番目の色成分の入力サンプル値であり、matrixOutput[c]は、c番目の色成分の出力サンプル値である。
post_lut_num_val_minus1[c]は、入力値のデフォルトのエンド・ポイントがc番目の色成分について0及び2colour_remap_bit_depth−1であることを除いて、preがpostによって置換されて、pre_lut_num_val_minus1[c]と同じセマンティクスを有している。post_lut_num_val_minus1[c]の値は、0から32までの範囲を含むべきである。
post_lut_coded_value[c][i]は、post_lut_coded_value[c][i]を表すために使用されるビットの数が((colour_remap_bit_depth+7)>>3)<<3であることを除いて、preがpostによって置換されて、pre_lut_coded_value[c][i]と同じセマンティクスを有している。
post_lut_target_value[c][i]は、preがpostによって置換されて、pre_lut_target_value[c][i]と同じセマンティクスを有している。
図1は、2つの1D LUT及び行列を使用するCMF表現の例を表す。このとき、入力された色成分E1(j∈{1,・・・,C})は、出力される色成分E2(j∈{1,・・・,C})へ変換され得る。なお、Cは、ピクチャの色成分の数であり、通常、C=3である。色マッピング関数CMFは、C個の1次元区分線形関数f1j(j∈{1,・・・,C})によって近似される変換F1と、C個の1次元区分線形関数f2j(j∈{1,・・・,C})によって近似される第2変換F21と、他の色変換F22であると見なされ得る線形行列Mとを有する。
表1を参照し直すと、シンタックス要素pre_lut_num_val_minus1、pre_lut_coded_value及びpre_lut_target_value(表1における行14〜21)は、第1の1D LUT F1を表すために使用され得、シンタックス要素log2_matrix_denom及びcolour_remap_coeffs(表1における行22〜28)は、行列Mを表すために使用され得、シンタックス要素post_lut_num_val_minus1、post_lut_coded_value及びpost_lut_target_value(表1における行29〜36)は、第2の1D LUT F21を表すために使用され得る。
HEVC標準は、CMFのためのパラメータを定義するが、CMFを再構成する方法を命じない。図2は、第1の1D LUT(シンタックス要素の“pre”セット)に基づき、ピボット・ポイントを用いて再構成され得る値XからYまでの色成分をマッピングする区分線形曲線を表す。夫々のピボット・ポイント(例えば、点201、202又は203)は、一対のシンタックス要素(pre_lut_coded_value[c][i],pre_lut_target_value[c][i])に対応し、線形補間が、2つのピボット・ポイントの間の値をマッピングするために使用される。図2において、色成分C1について、“th_c1_min”は最小入力値であり、“the_c1_max”は最大入力値である。“th_c1_min”及び“th_c1_max”は、ビデオの色空間における色成分の範囲に対応し得る。例えば、8ビットRGBビデオについてのR成分について、th_c1_min=0且つthe_c1_max=255である。あるいは、“th_c1_min”及び“th_c1_max”はまた、色空間のサブセットに対応し得る。例えば、the_c1_min=17且つth_c1_max=220である。
図2に示されるように、最左のピボット・ポイントは、th_c1_minになくてよく、最右のピボット・ポイントはth_c1_maxになくてよい。すなわち、区分線形曲線は、入力値のサブセットにおいて定義され得る。区分線形曲線が定義される値は、区分線形関数の定義域(domain of definition)又はドメイン(domain)と呼ばれる。
より一般的に、色マッピングは、色空間全体又は色空間のサブセットにおいて定義され得る。図3は、入力色が色空間のサブセット内にある場合を示す。夫々の軸は、ビデオ信号が表現される色空間の色成分を表す。色空間は、3つの色成分C1、C2及びC3、例えば、夫々、R、G及びB、を有している。入力色は、最も大きい立方体(外側の立方体)[0,th_c1_max]×[0,th_c2_max]×[0,th_c3_max]において定義される。図3の例では、CMFは、そのサブセット(影付きエリア[th_c1_mic,th_c1_max]×[th_c2_mic,th_c2_max]×[th_c3_mic,th_c3_max])において定義される。すなわち、色マッピング関数のドメインは、色空間([0,th_c1_max]×[0,th_c2_max]×[0,th_c3_max])のサブセットである。
色マッピング関数が種々の方法を用いて、例えば、1D LUT及び3×3行列を用いて表される場合に、色マッピングの精度は低減されることがある。例えば、図4Aは、等しいインターバルを用いて色マッピング関数を表すために区分線形曲線を使用する1Dにおける簡単な例を表し、図4Bは、別のインターバルを使用する他の例を表す。破線は、表されるべき色マッピング関数に対応し(“元のCMF”として表記される。)、実線は、元のCMFを表現/近似するために使用される区分線形曲線に対応する。図4Aから、区分線形曲線は、元のCMFとわずかに異なっていることが分かる。しかし、インターバルが、図4Bに示されるように、いくつかの入力色において大きくなると、区分線形曲線と元のCMFとの間の差は大きくなり、近似されたCMFの適用による色の不正確さ、例えば、元のCMFが使用される場合には起こり得ない色相シフト又は飽和、を引き起こし得る。
一例としてHEVC CRIシグナリングを使用すると、シンタックス要素の“pre”セット又はシンタックス要素の“post”セットの夫々は、1D LUTにおいて最大33個までのピボット・ポイントをサポートし得る(pre_lut_val_minus1[c]及びpost_lut_num_val_minus1[c]は、0から32の範囲内にある。)。マッピングされたピクチャが優れた品質を有する(例えば、マッピングされたピクチャが目標のピクチャに近い)ように色マッピング関数を表すために、ピボット・ポイントの選択は、利用可能なピボット・ポイントの数及びマッピングされたピクチャの品質における制約を通常は考慮すべきである。例えば、人の目がより敏感であるか、又はより統計的に重要な色のような、決定的な色は、より細かい表現を通常は得るべきである。一般に、決定的な色について、より正確な表現を提供するためにピボット・ポイント間のインターバルはより小さくなるべきである。
しかし、統計値を考慮して且つ人の視覚を考慮してピボット・ポイントを選択することは、お互いに矛盾することがある。例えば、95%のB成分に対応する青空(10〜63の範囲に及ぶB成分の値を有する。)と、1%のB成分に対応する青い自転車(約56のB成分の値を有する。)とを含む画像を考える。統計値に基づく区分線形曲線は、ほとんどのサンプルが優れた表現を得るように、値10〜41にある32個のピボット・ポイント(10〜41の各値にあるピボット・ポイント)と、値63にあるもう1つのピボット・ポイントとを有するよう選択され得る。青い自転車をマッピングするよう、約56の色のためのマッピングは補間される。これは、意図されたマッピングとはほど遠い。青い自転車は前景にあるので、自転車におけるゆがめられた青色は、非常に目立って見え、認知される視覚品質に影響を及ぼし得る。
他の例では、多数の赤い洋服、赤い唇、及び赤い爪が存在する画像を考える。赤い洋服は、R成分における大部分のサンプルに対応し、赤い唇及び赤い爪は、わずかのサンプルに対応する。前述の例と同様に、統計値に基づき選択されるピボット・ポイントは、赤い唇/爪の色を茶色がかったように見せる。これは、人の目にうっとうしくなる。
色マッピング関数を表すために利用可能であるパラメータの数に加えて、ハードウェア実装費用は他の制約を課し得る。ドメイン内の一様なピボット・ポイントのインターバル(すなわち、2つの隣接するピボット・ポイントどうしの間の全てのインターバルは同じ距離を有している。)は、好適なハードウェア実装であることが分かる。よって、色マッピング関数を表すようパラメータを設計する場合に一様なインターバルを考えることも望ましい。例えば、ドメインが10ビットのビデオについて[0,1023]であるとき、ピボット・ポイントは0,31,62,・・・,31×i,・・・,1023にある。しかし、この一様表現は、より決定的な色のためのより細かい表現を提供しない。例えば、ピクチャの肌色に対応する色(例えば、B成分における31〜62)は、それほど上手くマッピングされ得ない。
本原理は、色マッピング情報の表現を改善するよう複数の色マッピング関数を使用する方法及び装置を対象とする。特に、ハードウェア実装の懸案事項も重んじながら、決定的な色のためのより細かい表現を提供することができる種々の解決法が提案される。色マッピング関数のそのような表現は、既存のシンタックス要素を再利用することによって実装され得る。復号器側で、色マッピング関数は復号され、次いで、復号されたピクチャを処理するよう適用され得る。以下では、種々の実施形態を説明するために、2つの連続的な色マッピング関数が使用される。本原理はまた、より多くの色マッピングが使用される場合にも適用され得る。
一実施形態において、第1色マッピング関数は、例えば、2つの異なるカラー・グレーディングから得られる色マッピング情報に基づき、生成され得る。次いで、入力ピクチャは、Remap1、例えば、R成分内の定義域[0,1023]において一様なインターバルでピボット・ポイントを有するもの、を形成するよう、第1色マッピング関数を用いて最初にマッピングされる。マッピングされたピクチャ(Remap1)は、いくつかの決定的な色が正確にマッピングされていないために、色アーチファクトを有することがある。よって、サンプルの組が、更なる調整のために、例えば、ユーザ・インターフェイスを通じて手動によりオペレータによって、選択され得る。CMFクリエータは、選択されたサンプルのための第2色マッピング関数を(異なる定義域、例えば、R成分のための31〜62において)生成する。選択されたサンプルに対応する入力ピクチャ内のサンプルは、次いで、品質を改善するよう第2色マッピングを経る。その後に、選択されたサンプルに対応する、第2CMFからのマッピング結果Remap2、及び残りのサンプルに対応する、マッピング結果Remap1からのサンプルは、出力ピクチャを形成するよう結合される。
図5に示される他の実施形態では、第1色マッピング関数が適用され(520)、マッピングされたピクチャ(Remap1)が形成された後、オペレータは、アーチファクトを含み、そして、更なる調整を必要とするサンプルを選択し得る(530)。次いで、CMFクリエータは、選択されたサンプルのための第2色マッピング関数を生成する(510)。第2色マッピングは、入力ピクチャからのサンプルよりむしろ、再マッピングされたピクチャ(Remap1)からのサンプルに適用される(540)。出力ピクチャは、次いで、両方の色マッピングに基づき生成され得る。
図6は、本原理に従って色マッピング情報を符号化する、例となる方法600を表す。方法600はステップ605から開始する。ステップ610で、方法600は、入力ピクチャ、例えば、WCG HDR(High Dynamic Range)(高ダイナミックレンジ)ピクチャにアクセスする。ここで、入力ピクチャはまた、1つの色空間から他の色空間へ、例えば、YUVからRGBへ、変換され得る。ステップ620で、方法600は、例えば、2つのカラー・グレーディングからの色マッピング情報に基づき、第1色マッピング関数を決定する。一般に、復号器側で色マッピング関数が再構成されるために、色マッピング関数は、ビットストリームによって必要とされるフォーマット、例えば、HEVC CRIシンタックス要素によって指定されるフォーマット、に従うべきである。ステップ630で、方法600は第1色マッピングを適用する。例えば、それは、入力ピクチャを、マッピングされたピクチャ(Remap1)へ変換する。
ステップ640で、方法600は、例えば、更なる調整のために選択されたサンプルに基づき、第2色マッピング関数を決定する。ステップ650で、方法600は、マッピングされたピクチャ(Remap1)に第2色マッピングを適用する。例えば、方法600は、Remap1をSDR(Standard Dynamic Range)(標準ダイナミックレンジ)ピクチャへ変換する。ステップ660で、方法600は、第1色マッピング関数及び第2色マッピング関数並びに入力ピクチャをビットストリームに符号化する。ステップ670で、方法600はビットストリームを出力する。方法600はステップ699で終了する。
このように、本実施形態に従って、色マッピング関数は連続して適用され得、複数の色マッピング関数を符号化することが可能である。相応に、色マッピング関数は、復号器側でピクチャを処理するよう連続して適用され得る。連続的な色マッピングを適用するとき、例えば、第2色マッピング関数が如何にして適用されるかに関して、種々の規則が定義され得る。どの規則が使用されるべきかは、ビットストリームにおいて知らされるか、あるいは、符号器及び復号器の両方において先験的に知られ得る。以下では、連続的な色マッピングのための2つの異なる規則が更に詳細に説明される。
表記の簡単のために、第1色マッピングをCRI1と、第1ドメインDCRI1において定義される第1色マッピング関数をfCRI1と、第2色マッピングをCRI2と、第2ドメインDCRI2において定義される第2色マッピング関数をfCRI2と表す。DCRI1及びDCRI2は両方とも、とり得る入力色の全体又はそのサブセットに対応することができる。通常、DCRI1及びDCRI2は異なり、例えば、DCRI2はDCRI1のサブセットであってよい。DCRI1及びDCRI2は重なり合ってよく、あるいは、DCRI1及びDCRI2は重なり合わなくてよい。関数fCRI1又はfCRI2は、如何なる色マッピング関数であってもよく、例えば、上述されたものであってよい。色マッピング関数の定義域の外では、恒等写像(identity function)が色マッピングのために使用され得る(すなわち、入力色は、マッピング後に変更されない。)。
規則1
一実施形態において、2つの色マッピング関数は、それら自身の定義域にのみ連続して適用される。図7Aは、第1色マッピング関数fCRI1のための定義域の例を示す。入力画像のとり得る色値は、この場合に、DCRI1及びバーDCRI1に分割される。第1色マッピング関数を適用した後の範囲fCRI1(DCRI1)は、破線内で図7Bにおいて示される。バーDCRI1に対応するサンプルは変更されない。数学的に、CRI1の後の出力は、DCRI1及びバーDCIR1の両方からのマッピング結果の結合として記述され得る:
Figure 2018512749
第2色マッピング関数のドメインはDCRI2であり、これは、図7Bにおいて実線内に示されている。Remap1は、DCRI2及びRemap1\DCRI2に分割される。図7Bにおいて、簡単のために、バーDCRI1はDCRI2をカバーし、結果として、Remap1はDCIR2をカバーする、すなわち、Remap1∩DCRI2=DCRI2である、とする。図7Cは、DCRI2に対する第2色マッピングの結果、すなわち、fCRI2(DCRI2)を示す。Remap1\DCRI2における色に対応するサンプルは変更されない。数学的に、出力は、DCRI2及びRemap1\DCRI2からのマッピング結果の結合として記述され得る:
Figure 2018512749
Remap1がDCRI2の全体を含まない場合に、第2色マッピングfCRI2は、厳密であるよう(Remap1∩DCRI2)に適用される。よって、第2色マッピングは同様に、
Figure 2018512749
のように記述され得る:
規則2
他の実施形態では、第1色マッピングCRI1は、その定義域に適用されるが、第2色マッピングCRI2は、CRI1によって前もって色マッピングされており且つ関数fCRI2の定義域内にもあるサンプルに対してのみ適用される。
前述の規則と同じく、CRI1の後の出力は、DCRI1及びバーDCIR1の両方からのマッピング結果の結合として記述され得る:
Figure 2018512749
第2色マッピング関数のドメインはDCRI2であり、これは、図7Bにおいて実線内に示されている。簡単のために、バーDCRI1はDCRI2をカバーし、結果として、Remap1はDCIR2をカバーする、すなわち、Remap1∩DCRI2=DCRI2である、とする。しかし、前述の規則とは異なり、CRI2は、CRI1によって前もって色マッピングされているサンプル(すなわち、Remap1内のfCRI1(DCRI1)に対応するサンプル)であって、fCRI2の定義域内にもあるサンプルに対してのみ適用される。図7Dは、CRI1によって前もって色マッピングされているサンプルについてのDCRI2に対する第2色マッピングの結果、すなわち、fCRI2(fCRI1(DCRI1)∩DCRI2)を示す。残りの色に対応するサンプル(すなわち、Remap1\DCRI2∪バーDCRI1)は、fCRI2によって変更されない。すなわち:
Figure 2018512749
色変換を連続して適用するための2つの異なる規則が、先に説明された。規則1は、実施するのがより容易であり得るが、マッピングされていないサンプル(オペレータが既に満足し得るサンプル)に影響を及ぼし、新たな問題を引き起こし得る。規則2は、マッピングされたサンプルにのみ作用するので、オペレータは正確な制御を有するが、どのサンプルが選択されるかを識別する必要があるので、実施がより難しい。ユーザ要求又は他の入力に基づき、符号器は、一方の規則を他方の規則に対して選択し得る。
上記において、色空間のサブセットにおいて色マッピングを適用することが主に説明された。本原理は、ピクチャの空間領域にも適用され得る。例えば、色マッピングは、ピクチャ内の空間窓にのみ適用され得る。どの空間領域が色マッピングされるかを示すよう、追加のシンタックス要素(xmin,ymin)及び(xmax,ymax)が、空間窓の左上及び右下のピクセル座標を夫々示すために使用され得る。あるいは、追加のシンタックス要素(xmin,ymin)及び(xsize,ysize)は、空間窓の左上のピクセル座標及びピクセルの個数における窓サイズを夫々示すために使用され得る。
異なる色マッピング関数に関するパラメータは、ビットストリームにおいて送出され得る。一実施形態において、HEVC CRIの幾つかの組は、それらが適用されるビデオ符号化ピクチャより前に(CRIは、CRI SEIが属する同じレイヤの(例えば、同じlayer_idを有する。)再構成されたピクチャに適用される。)、それらが適用される順序において符号化される。他の実施形態では、CRI適用順序は、例えば、colour_remap_idのような、他のシンタックス要素から導出される。本原理はまた、色マッピング関数のためのパラメータを定義する他のビデオ圧縮標準にも適用され得る。
図8は、本原理に従って、受信機側で、復号された色マッピング情報に基づきピクチャを処理するための、例となる方法800を表す。方法800はステップ805から開始する。ステップ810で、方法800は、例えば、ビットストリームからWCG HDRピクチャを復号することによって、WCG HDRピクチャを入力として受け取る。ステップ820で、方法800は、ビットストリームから2つの色マッピング関数のためのパラメータ及びそれらの関数の適用順序を決定する。例えば、HEVC CRIシンタックス要素の“pre”及び“post”セット並びに3×3行列に基づき区分線形曲線を再構成する。ステップ830で、方法800は、連続的な色マッピングを実施する。例えば、方法800は、最初に、第1色マッピング関数を用いて、WCG HDRピクチャを、マッピングされたピクチャへ変換し、次いで、第2色マッピング関数を用いて、マッピングされたピクチャをSDRピクチャへ変換する。色マッピングが、入力ピクチャの色空間とは異なる色空間において実施される場合に、マッピングされたピクチャは、色マッピングのために使用される色空間に変換されるべきである。ステップ840で、方法800はSDRピクチャを出力する。方法800はステップ899で終了する。
図9は、方法800におけるステップ830を実装するために使用され得る、本原理に従って第1及び第2マッピングを実施するための、例となる方法900を表す。第1色マッピング関数が、全てのとり得る色のサブセットである定義域において定義される場合に、方法900は、第1色マッピング関数のドメイン内にあるサンプルを選択する(910)。次いで、第1色マッピング関数は、選択されたサンプルに適用され(920)、他のサンプルは変更されない。第1色マッピング関数が適用された後、マッピングされたピクチャ(Remap1)が形成される。
第2色マッピング関数が、全てのとり得る色のサブセットである定義域において定義される場合に、方法900は、マッピングされたピクチャ(Remap1)から、第2色マッピング関数のドメイン内にあるサンプルを選択する(930)。式(5)で記載される第2規則が使用される場合に、サンプルは、それらが第1色マッピングにおいて前もってマッピングされている場合にのみ、選択される。第2色マッピング関数は、Remap1内の選択されたサンプルに適用され(940)、他のサンプルは変更されない。
上記において、色マッピングを表すために、WCG HDRピクチャ及びSDRピクチャが使用された。本原理はまた、他のフォーマットのピクチャどうしの間の色マッピングにも適用され得る。
有利なことに、本実施形態は、ピクチャ内の局所変動を捕捉するために、いくつかの色マッピング関数を使用することができる。それは、局所空間窓内のサンプルのみに対するマッピングの適用を可能にするよう局所空間窓と結合され得る。異なる色マッピングの連続適用はまた、より複雑な色マッピング関数を開発することなしに、続く色マッピングにより最初の色マッピングを補正/改善することを可能にし、それによって、実装費用を削減する。
図10は、本原理の例となる実施形態の様々な態様が実装され得るシステムの例のブロック図を表す。システム1000は、以下で記載される様々なコンポーネントを含むデバイスとして具現化され得、上述されたプロセスを実施するよう構成される。そのようなデバイスの例には、制限なしに、パーソナル・コンピュータ、ラップトップ・コンピュータ、スマートフォン、タブレット・コンピュータ、デジタル・マルチメディア・セット・トップ・ボックス、デジタル・テレビジョン・レシーバ、パーソナル・ビデオ・レコーディング・システム、接続型ホーム機器、及びサーバがある。システム1000は、上述された例となるビデオ・システムを実装するよう、図10に示されるように、且つ、当業者に知られているように、通信チャネルを介して他の同様のシステムへ及びディスプレイへ通信上結合され得る。
システム1000は、上述された様々なプロセスを実装するよう、自身にロードされた命令を実行するよう構成される少なくとも1つのプロセッサ1010を含み得る。プロセッサ1010は、当該技術で知られている埋込メモリ、入出力インターフェイス、及び様々な他の回路構成を含み得る。システム1000は、少なくとも1つのメモリ1020(例えば、揮発性メモリ・デバイス、不揮発性メモリ・デバイス)を更に含み得る。システム1000は、記憶デバイス1040を更に含み得る。記憶デバイス1040は、制限なしに、EEPROM、ROM、PROM、RAM、DRAM、SRAM、フラッシュ、磁気ディスク・ドライブ、及び/又は光学ディスク・ドライブを含む不揮発性メモリを含み得る。記憶デバイス1040は、非限定的な例として、内蔵記憶デバイス、取付型記憶デバイス、及び/又はネットワークアクセス型記憶デバイスを有し得る。システム1000は、符号化されたビデオ又は復号されたビデオを供給するようにデータを処理するよう構成される符号器/復号器モジュール1030を更に含み得る。
符号器/復号器モジュール1030は、符号化及び/又は復号化機能を実施するようデバイスにおいて含まれ得るモジュールを表す。知られているように、デバイスは、符号化モジュール及び復号化モジュールの一方又は両方を含み得る。更には、符号器/復号器モジュール1030は、システム1000の別個の要素として実装されてよく、あるいは、当業者に知られているように、ハードウェアとソフトウェアとの組み合わせとしてプロセッサ1010内に組み込まれてよい。
上述された様々なプロセスを実施するようプロセッサ1010にロードされるプログラムコードは、記憶デバイス1040に記憶され、その後に、プロセッサ1010による実行のためにメモリ1020にロードされ得る。本原理の例となる実施形態に従って、プロセッサ1010、メモリ1020、記憶デバイス1040及び符号器/復号器モジュール1030のうちの1つ以上は、制限なしに、変調値、SDRビデオ、HDRビデオ、方程式、公式、行列、変数、動作、及び動作ロジックを含め、本明細書中で先に説明されたプロセスの実施中に様々なアイテムのうちの1つ以上を記憶し得る。
システム1000は、通信チャネル1060を介した他のデバイスとの通信を可能にする通信インターフェイス1050を更に含み得る。通信インターフェイス1050は、制限なしに、通信チャネル1060からデータを送信及び受信するよう構成されるトランシーバを含み得る。通信インターフェイス1050は、制限なしに、モデム又はネットワーク・カードを含んでよく、通信チャネル1060は、有線及び/又は無線媒体内で実装されてよい。システム1000の様々なコンポーネントは、制限なしに、内部バス、配線、及び印刷回路基板を含め、様々な適切な接続を用いて、接続され又は通信上結合され得る。
本原理に従う例となる実施形態は、プロセッサ1010によって又はハードウェアによって実装されるコンピュータ・ソフトウェアによって、あるいは、ハードウェアとソフトウェアとの組み合わせによって、実施され得る。非限定的な例として、本原理に従う例となる実施形態は、1つ以上の集積回路によって実装され得る。メモリ1020は、技術的環境に適した如何なるタイプであってもよく、例えば、非限定的な例として、光学メモリ・デバイス、磁気メモリ・デバイス、半導体ベースのメモリ・デバイス、固定メモリ及び取り外し可能なメモリのような、如何なる適切なデータ記憶テクノロジによっても実装され得る。プロセッサ1010は、技術的環境に適した如何なるタイプであってもよく、非限定的な例として、マイクロプロセッサ、汎用コンピュータ、専用コンピュータ、及びマルチコア・アーキテクチャに基づくプロセッサのうちの1つ以上を含み得る。
図11を参照すると、上述された特徴及び原理が適用され得るデータ送信システム1100が示されている。データ送信システム1100は、例えば、衛星、ケーブル、電話回線、又は地上放送のような様々な媒体のいずれかを用いて信号を送信するヘッドエンド又は送信システムであってよい。データ送信システム1100はまた、記憶のために信号を供給するために使用されてよい。送信は、インターネット又はその他ネットワークを介して提供され得る。データ送信システム1100は、例えば、ビデオ・コンテンツ及び他のコンテンツを生成及び配信することが可能である。
データ送信システム1100は、処理されたデータ及び他の情報をプロセッサ1110から受け取る。1つの実施において、プロセッサ1101は、同じビデオの2つのカラー・グレーディングに基づき色マッピング情報を生成し、2つの色マッピング関数を用いて、例えば、方法500を用いて、色情報を表現する。プロセッサ1101はまた、例えば、如何にして第2色マッピング関数が適用されるかに関する規則を示すメタデータをデータ送信システム1100へ供給し得る。
データ送信システム又は装置1100は、符号器1102と、符号化された信号を送信することができる送信器1104とを含む。符号器1102は、データ情報をプロセッサ1101から受け取る。符号器1102は、符号化された信号を生成する。
符号器1102は、例えば、様々な情報片を受け取って、記憶及び送信のために、構造化されたフォーマットにアセンブルするアセンブリ・ユニットを含む、サブモジュールを含み得る。様々な情報片は、例えば、暗号化された又は暗号化されていないビデオ、及び暗号化された又は暗号化されていない要素を含み得る。いくつかの実施において、符号器1102は、プロセッサ1101を含み、従って、プロセッサ1101の動作を実施する。
送信器1104は、符号化された信号を符号器1102から受け取り、符号化された信号を1つ以上の出力信号において送信する。送信器1104は、例えば、符号化されたピクチャ及び/又はそれに関連するデータを表す1つ以上のビットストリームを有しているプログラム信号を送信するよう適応され得る。典型的な送信器は、例えば、エラー訂正符号化を提供すること、信号においてデータをインターリーブすること、信号においてエネルギをランダム化すること、及び変調器1106を用いて信号を1つ以上のキャリアに変調することのうちの1つ以上のような機能を実施する。送信器1104は、アンテナ(図示せず。)を含むか、又はそれとインターフェイス接続し得る。更には、送信器1104の実装は、変調器1106に制限されてよい。
データ送信システム1100はまた、記憶ユニット1108へ通信上結合される。1つの実施において、記憶ユニット1108は、符号器1102へ結合され、符号器1102からの符号化されたビットストリームを記憶する。他の実施では、記憶ユニット1108は、送信器1104へ結合され、送信器1104からのビットストリームを記憶する。送信器1104からのビットストリームは、例えば、送信器1104によって更に処理されている1つ以上の符号化されたビットストリームを含み得る。記憶ユニット1108は、種々の実施において、標準のDVD、ブルーレイ・ディスク、ハード・ドライブ、又はその他記憶デバイスである。
図12を参照すると、上述された特徴及び原理が適用され得るデータ受信システム1200が示されている。データ受信システム1200は、例えば、記憶デバイス、衛星、ケーブル、電話回線、又は地上放送のような様々な媒体を介して信号を受信するよう構成され得る。信号は、インターネット又はその他ネットワークを介して受信され得る。
データ受信システム1200は、例えば、携帯電話機、コンピュータ、セット・トップ・ボックス、テレビ受信機、又は符号化されたビデオを受信し、例えば、表示(例えば、ユーザへの表示)のために、処理のために、若しくは記憶のために、復号されたビデオ信号を供給する他のデバイスであってよい。よって、データ受信システム1200は、その出力を、例えば、テレビ受信機の画面、コンピュータ・モニタ、コンピュータ(記憶、処理、若しくは表示のため)、又はその他記憶、処理、若しくは表示デバイスへ供給し得る。
データ受信システム1200は、データ情報を受信及び処理することができる。データ受信システム又は装置1200は、例えば、本願の実施において記載された信号のような、符号化された信号を受信する受信器1202を含む。受信器1202は、例えば、WCG HDRビデオ及び色マッピング関数のうちの1つ以上を供給する信号、又は図11のデータ送信システム1100から出力された信号を受信し得る。
受信器1202は、例えば、符号化されたピクチャを表す複数のビットストリームを有しているプログラム信号を受信するよう適応され得る。典型的な受信器は、例えば、変調及び符号化されたデータ信号を受信すること、復調器1204を用いて1つ以上のキャリアからデータ信号を復調すること、信号においてエネルギをデランダマイズすること、信号においてデータをデインターリービングすること、及び信号をエラー訂正復号化することのうちの1つ以上のような機能を実施する。受信器1202は、アンテナ(図示せず。)を含むか、又はそれとインターフェイス接続し得る。受信器1202の実装は、復調器1204に制限されてよい。
データ受信システム1200は、復号器1206を含む。受信器1202は、受信信号を復号器1206へ供給する。受信器1202によって復号器1206へ供給される信号は、1つ以上の符号化されたビットストリームを含み得る。復号器1206は、例えば、ビデオ情報を含む復号されたビデオ信号のような、復号された信号を出力する。
データ受信システム又は装置1200はまた、記憶ユニット1207へ通信上結合される。1つの実施において、記憶ユニット1207は、受信器1202へ結合され、受信器1202は、記憶ユニット1207からビットストリームにアクセスする。他の実施では、記憶ユニット1207は、復号器1206へ結合され、復号器1206は、記憶ユニット1207からビットストリームにアクセスする。記憶ユニット1207からアクセスされるビットストリームは、種々の実施において、1つ以上の符号化されたビットストリームを含む。記憶ユニット1207は、種々の実施において、標準のDVD,ブルーレイ・ディスク、ハード・ドライブ、又はその他記憶デバイスのうちの1つ以上である。
復号器1206からの出力データは、1つの実施において、プロセッサ1208へ供給される。プロセッサ1208は、1つの実施において、色マッピング情報に基づきHDRからSDRへのマッピングを実施するよう構成されるプロセッサである。いくつかの実施において、復号器1206は、プロセッサ1208を含み、従って、プロセッサ1208の動作を実施する。他の実施では、プロセッサ1208は、例えば、セット・トップ・ボックス又はテレビ受信機のような、下流デバイスの部分である。
本願で記載される実施は、例えば、方法若しくはプロセス、装置、ソフトウェア・プログラム、データストリーム、又は信号において実装され得る。たとえ1つの実施形態に関してしか説明されない(例えば、方法としてしか説明されない)としても、説明される特徴の実施は、他の形態(例えば、装置又はプログラム)においても実装され得る。装置は、例えば、適切なハードウェア、ソフトウェア、及びファームウェアにおいて実装され得る。方法は、例えば、プロセッシングデバイス全般を指し、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラム可能論理デバイスを含むプロセッサのような、装置において実装され得る。プロセッサはまた、例えば、コンピュータ、携帯電話機、ポータブル/パーソナル・デジタル・アシスタント(“PDA”)、及びエンドユーザ間の情報のやり取りを助ける他のデバイスのような通信デバイスを含む。
本原理の“一実施形態”若しくは“実施形態”又は“1つの実施”若しくは“実施”との言及、及びそれらの他の変形物は、実施形態に関連して記載されている特定の特徴、構造、特性、等が本原理の少なくとも1つの実施形態に含まれていることを意味する。よって、本明細書の全体にわたって様々な場所に現れる“一実施形態において”若しくは“実施形態において”又は“1つの実施において”若しくは“実施において”との語句の出現は、必ずしも全てが同じ実施形態に言及しているわけではない。
その上、本願又はその特許請求の範囲は、様々な情報片を“決定する(determining)”ことに言及し得る。情報を決定することは、例えば、情報を推定すること、情報を計算すること、情報を予測すること、又はメモリから情報を取り出すこと、のうちの1つ以上を含み得る。
更に、本願又はその特許請求の範囲は、様々な情報片に“アクセスする(accessing)”ことに言及し得る。情報にアクセスすることは、例えば、情報を受信すること、情報を(例えば、メモリから)取り出すこと、情報を記憶すること、情報を処理すること、情報を送信すること、情報を移動すること、情報をコピーすること、情報を消去すること、情報を計算すること、情報を決定すること、情報を予測すること、又は情報を推定すること、のうちの1つ以上を含み得る。
その上、本願又はその特許請求の範囲は、様々な情報片を“受信する(receiving)”ことに言及し得る。受信することは、“アクセスする”ことと同様に、広義な語であるよう意図される。情報を受信することは、例えば、情報にアクセスすること、又は情報を(例えば、メモリから)取り出すこと、のうちの1つ以上を含み得る。更には、“受信する”ことは、通常は、例えば、情報を記憶すること、情報を処理すること、情報を送信すること、情報を移動すること、情報をコピーすること、情報を消去すること、情報を計算すること、情報を決定すること、情報を予測すること、又は情報を推定することといった動作中にいろいろな点で関連する。
当業者に明らかなように、実施は、例えば、記憶又は送信され得る情報を運ぶようフォーマットされた様々な信号を生成し得る。情報は、例えば、方法を実施するための命令、又は記載される実施形態のうちの1つによって生成されたデータを含み得る。例えば、信号は、記載される実施形態のビットストリームを運ぶようフォーマットされ得る。そのような信号は、例えば、電磁波として(例えば、スペクトルの無線周波数部分を使用する。)、又はベースバンド信号として、フォーマットされ得る。フォーマッティングは、例えば、データストリームを符号化し、符号化されたデータストリームによりキャリアを変調することを含み得る。信号が運ぶ情報は、例えば、アナログ又はデジタルの情報であってよい。信号は、知られているように、多種多様な有線及び/又は無線リンクにわたって送信され得る。信号は、プロセッサ可読媒体に記憶され得る。
当業者に明らかなように、実施は、例えば、記憶又は送信され得る情報を運ぶようフォーマットされた様々な信号を生成し得る。情報は、例えば、方法を実施するための命令、又は記載される実施形態のうちの1つによって生成されたデータを含み得る。例えば、信号は、記載される実施形態のビットストリームを運ぶようフォーマットされ得る。そのような信号は、例えば、電磁波として(例えば、スペクトルの無線周波数部分を使用する。)、又はベースバンド信号として、フォーマットされ得る。フォーマッティングは、例えば、データストリームを符号化し、符号化されたデータストリームによりキャリアを変調することを含み得る。信号が運ぶ情報は、例えば、アナログ又はデジタルの情報であってよい。信号は、知られているように、多種多様な有線及び/又は無線リンクにわたって送信され得る。信号は、プロセッサ可読媒体に記憶され得る。
上記の実施形態に加えて、以下の付記を開示する。
(付記1)
ピクチャを含むビットストリームを処理する方法であって、
第1ドメインにおいて定義される第1色マッピング関数を示す第1組のパラメータにアクセスすることと、
第2ドメインにおいて定義される第2色マッピング関数を示す第2組のパラメータにアクセスすることと、
前記第1色マッピング関数、前記第2色マッピング関数及び前記ピクチャに応答して出力ピクチャを生成することと
を有し、
前記第1色マッピング関数及び前記第2色マッピング関数は、連続してピクチャに適用される、
方法。
(付記2)
前記第2色マッピング関数の前記第2ドメインは、前記第1色マッピング関数の前記第1ドメインのサブセットである、
付記1に記載の方法。
(付記3)
前記第2色マッピング関数は、該第2色マッピング関数の前記第2ドメイン内にあるサンプルに適用される、
付記1に記載の方法。
(付記4)
前記第2色マッピング関数は、前記第1色マッピング関数によって変更されるサンプルに適用される、
付記3に記載の方法。
(付記5)
前記第1色マッピング関数の前記第1ドメインの外にあるサンプルは、前記第1色マッピング関数の適用によって変更されない、
付記1に記載の方法。
(付記6)
前記第1組のパラメータ及び前記第2組のパラメータは、高効率ビデオ符号化(HEVC)色マッピング情報(CRI)に従う、
付記1に記載の方法。
(付記7)
色マッピング情報を符号化する方法であって、
第1色マッピング関数及び第2色マッピング関数にアクセスし、前記第1色マッピング関数及び前記第2色マッピング関数の連続適用が前記色マッピング情報を表すために使用されることと、
第1ドメインにおいて定義される前記第1色マッピング関数を示す第1組のパラメータを符号化することと、
第2ドメインにおいて定義される前記第2色マッピング関数を示す第2組のパラメータを符号化することと、
前記第1組のパラメータ及び前記第2組のパラメータを含むビットストリームを出力として供給することと
を有する方法。
(付記8)
前記第2色マッピング関数の前記第2ドメインは、前記第1色マッピング関数の前記第1ドメインのサブセットである、
付記7に記載の方法。
(付記9)
前記第2色マッピング関数は、該第2色マッピング関数の前記第2ドメイン内にあるサンプルに適用される、
付記7に記載の方法。
(付記10)
前記第2色マッピング関数は、前記第1色マッピング関数によって変更されるサンプルに適用される、
付記9に記載の方法。
(付記11)
前記第1色マッピング関数の前記第1ドメインの外にあるサンプルは、前記第1色マッピング関数の適用によって変更されない、
付記7に記載の方法。
(付記12)
前記第1組のパラメータ及び前記第2組のパラメータは、高効率ビデオ符号化(HEVC)色マッピング情報(CRI)に従う、
付記7に記載の方法。
(付記13)
前記色マッピング情報は、第1ピクチャと第2ピクチャとの間のマッピングに対応し、当該方法は、
第3ピクチャを形成するよう前記第1色マッピング関数を前記第1ピクチャに適用することと、
前記第3ピクチャからサンプルを選択し、該選択されたサンプルが前記第2色マッピング関数を決定するために使用されることと
を更に有する、
付記7に記載の方法。
(付記14)
前記選択は、ユーザ・インターフェイスを通じて行われる、
付記13に記載の方法。
(付記15)
付記1乃至14のうちいずれか一つに従って、ピクチャを含むビットストリームを処理するか、あるいは、色マッピング情報を符号化する装置。

Claims (15)

  1. ピクチャを含むビットストリームを処理する方法であって、
    第1ドメインにおいて定義される第1色マッピング関数を示す第1組のパラメータにアクセスすることと、
    第2ドメインにおいて定義される第2色マッピング関数を示す第2組のパラメータにアクセスすることと、
    前記第1色マッピング関数、前記第2色マッピング関数及び前記ピクチャに応答して出力ピクチャを生成することと
    を有し、
    前記第1色マッピング関数及び前記第2色マッピング関数は、連続してピクチャに適用される、
    方法。
  2. 前記第2色マッピング関数の前記第2ドメインは、前記第1色マッピング関数の前記第1ドメインのサブセットである、
    請求項1に記載の方法。
  3. 前記第2色マッピング関数は、該第2色マッピング関数の前記第2ドメイン内にあるサンプルに適用される、
    請求項1に記載の方法。
  4. 前記第2色マッピング関数は、前記第1色マッピング関数によって変更されるサンプルに適用される、
    請求項3に記載の方法。
  5. 前記第1色マッピング関数の前記第1ドメインの外にあるサンプルは、前記第1色マッピング関数の適用によって変更されない、
    請求項1に記載の方法。
  6. 前記第1組のパラメータ及び前記第2組のパラメータは、高効率ビデオ符号化(HEVC)色マッピング情報(CRI)に従う、
    請求項1に記載の方法。
  7. 色マッピング情報を符号化する方法であって、
    第1色マッピング関数及び第2色マッピング関数にアクセスし、前記第1色マッピング関数及び前記第2色マッピング関数の連続適用が前記色マッピング情報を表すために使用されることと、
    第1ドメインにおいて定義される前記第1色マッピング関数を示す第1組のパラメータを符号化することと、
    第2ドメインにおいて定義される前記第2色マッピング関数を示す第2組のパラメータを符号化することと、
    前記第1組のパラメータ及び前記第2組のパラメータを含むビットストリームを出力として供給することと
    を有する方法。
  8. 前記第2色マッピング関数の前記第2ドメインは、前記第1色マッピング関数の前記第1ドメインのサブセットである、
    請求項7に記載の方法。
  9. 前記第2色マッピング関数は、該第2色マッピング関数の前記第2ドメイン内にあるサンプルに適用される、
    請求項7に記載の方法。
  10. 前記第2色マッピング関数は、前記第1色マッピング関数によって変更されるサンプルに適用される、
    請求項9に記載の方法。
  11. 前記第1色マッピング関数の前記第1ドメインの外にあるサンプルは、前記第1色マッピング関数の適用によって変更されない、
    請求項7に記載の方法。
  12. 前記第1組のパラメータ及び前記第2組のパラメータは、高効率ビデオ符号化(HEVC)色マッピング情報(CRI)に従う、
    請求項7に記載の方法。
  13. 前記色マッピング情報は、第1ピクチャと第2ピクチャとの間のマッピングに対応し、当該方法は、
    第3ピクチャを形成するよう前記第1色マッピング関数を前記第1ピクチャに適用することと、
    前記第3ピクチャからサンプルを選択し、該選択されたサンプルが前記第2色マッピング関数を決定するために使用されることと
    を更に有する、
    請求項7に記載の方法。
  14. 前記選択は、ユーザ・インターフェイスを通じて行われる、
    請求項13に記載の方法。
  15. 請求項1乃至14のうちいずれか一項に従って、ピクチャを含むビットストリームを処理するか、あるいは、色マッピング情報を符号化する装置。
JP2017539391A 2015-02-20 2016-02-19 色マッピング情報を符号化し且つ色マッピング情報に基づきピクチャを処理する方法及び装置 Active JP6694439B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15305266.7A EP3059937A1 (en) 2015-02-20 2015-02-20 Method and apparatus for encoding color mapping information and processing pictures based on color mapping information
EP15305266.7 2015-02-20
PCT/EP2016/053585 WO2016131970A1 (en) 2015-02-20 2016-02-19 Method and apparatus for encoding color mapping information and processing pictures based on color mapping information

Publications (2)

Publication Number Publication Date
JP2018512749A true JP2018512749A (ja) 2018-05-17
JP6694439B2 JP6694439B2 (ja) 2020-05-13

Family

ID=52727047

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017539391A Active JP6694439B2 (ja) 2015-02-20 2016-02-19 色マッピング情報を符号化し且つ色マッピング情報に基づきピクチャを処理する方法及び装置

Country Status (7)

Country Link
US (1) US10805506B2 (ja)
EP (2) EP3059937A1 (ja)
JP (1) JP6694439B2 (ja)
KR (1) KR102617121B1 (ja)
CN (1) CN107258082B (ja)
TW (1) TWI692971B (ja)
WO (1) WO2016131970A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI676389B (zh) 2013-07-15 2019-11-01 美商內數位Vc專利控股股份有限公司 至少一種色彩轉換之編碼方法和編碼器、解碼器、顯示裝置、編碼視訊訊號、電腦程式製品及處理器可讀式媒體
US10536695B2 (en) * 2015-09-09 2020-01-14 Qualcomm Incorporated Colour remapping information supplemental enhancement information message processing
US10397443B2 (en) * 2016-03-01 2019-08-27 Qualcomm Incorporated Methods and systems for generating color remapping information supplemental enhancement information messages for video
UA124806C2 (uk) * 2016-10-05 2021-11-24 Долбі Леборетеріз Лайсенсінг Корпорейшн Обмін повідомленнями з інформацією про вихідний колірний об'єм
EA202191618A3 (ru) * 2016-11-29 2022-01-31 Долби Лэборетериз Лайсенсинг Корпорейшн Обмен сообщениями с информацией об исходном цветовом объеме
US11252401B2 (en) 2017-08-07 2022-02-15 Dolby Laboratories Licensing Corporation Optically communicating display metadata
WO2020142186A1 (en) * 2019-01-04 2020-07-09 Interdigital Vc Holdings, Inc. Inverse mapping simplification
KR20210135247A (ko) * 2019-03-13 2021-11-12 인터디지털 브이씨 홀딩스 인코포레이티드 인 루프 재성형 적응적 재성형기 방향
US11146823B2 (en) 2019-06-25 2021-10-12 Qualcomm Incorporated Signalling chroma quantization parameter (QP) mapping tables
DE102020103437A1 (de) 2020-02-11 2021-08-12 Schaeffler Technologies AG & Co. KG Elektrische Antriebseinrichtung und Antriebsanordnung
DE102020112510A1 (de) 2020-05-08 2021-11-11 Schaeffler Technologies AG & Co. KG Elektrische Antriebseinrichtung und Antriebsanordnung
CN115443655A (zh) 2020-06-09 2022-12-06 阿里巴巴(中国)有限公司 用于处理视频编码中自适应颜色变换和低频不可分离变换的方法
CN114692800A (zh) * 2020-12-29 2022-07-01 华为技术有限公司 一种二维码生成方法以及相关设备

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3223512B2 (ja) 1990-12-19 2001-10-29 ソニー株式会社 画像表示方法及び装置
US5835099A (en) * 1996-06-26 1998-11-10 Xerox Corporation Representing a region of a color image using a space-color separable model
JP3960694B2 (ja) 1998-10-26 2007-08-15 富士通株式会社 色信号変換方法、色信号変換装置、記録媒体、デバイスドライバ及び色変換テーブル
NL1013669C2 (nl) 1999-11-25 2001-05-28 Ocu Technologies B V Werkwijze en inrichting voor kleurkwantisatie.
US7599578B2 (en) * 2004-09-17 2009-10-06 Nikon Corporation Apparatus, program, and method for image tone transformation, and electronic camera
JP2007013626A (ja) 2005-06-30 2007-01-18 Canon Inc 色処理方法および装置
US7573620B2 (en) 2005-09-01 2009-08-11 Microsoft Corporation Gamuts and gamut mapping
JP2008048314A (ja) * 2006-08-21 2008-02-28 Fuji Xerox Co Ltd 画像処理装置、画像処理プログラムおよび画像処理方法
KR101346008B1 (ko) * 2009-03-13 2013-12-31 돌비 레버러토리즈 라이쎈싱 코오포레이션 고 동적 범위, 가시 동적 범위, 및 광색역 비디오의 층상 압축
JP2011061542A (ja) 2009-09-10 2011-03-24 Fujifilm Corp 色情報処理装置、及びそのプログラム
TWI538473B (zh) * 2011-03-15 2016-06-11 杜比實驗室特許公司 影像資料轉換的方法與設備
KR102078335B1 (ko) * 2013-05-03 2020-02-17 삼성전자주식회사 의료 영상 장치 및 그 제어 방법
TWI676389B (zh) 2013-07-15 2019-11-01 美商內數位Vc專利控股股份有限公司 至少一種色彩轉換之編碼方法和編碼器、解碼器、顯示裝置、編碼視訊訊號、電腦程式製品及處理器可讀式媒體
JP3223512U (ja) 2019-06-25 2019-10-17 ロンテック株式会社 バドミントン用トレーニング器具

Also Published As

Publication number Publication date
KR20170120108A (ko) 2017-10-30
WO2016131970A1 (en) 2016-08-25
KR102617121B1 (ko) 2023-12-26
CN107258082B (zh) 2020-09-29
US10805506B2 (en) 2020-10-13
JP6694439B2 (ja) 2020-05-13
TW201631970A (zh) 2016-09-01
EP3259902A1 (en) 2017-12-27
EP3059937A1 (en) 2016-08-24
US20180035015A1 (en) 2018-02-01
CN107258082A (zh) 2017-10-17
TWI692971B (zh) 2020-05-01
EP3259902B1 (en) 2021-08-11

Similar Documents

Publication Publication Date Title
JP6694439B2 (ja) 色マッピング情報を符号化し且つ色マッピング情報に基づきピクチャを処理する方法及び装置
US11399168B2 (en) Method for encoding and method for decoding a color transform and corresponding devices
CN111316625B (zh) 用于从第一图像生成第二图像的方法和设备
JP6946325B2 (ja) 高ダイナミックレンジピクチャを符号化する方法及び装置、対応する符号化方法及並びに符号化装置
JP2017118492A (ja) Luma値を決定するための方法、装置、およびシステム
WO2018178367A1 (en) Method and device for color gamut mapping
US11006152B2 (en) Method and apparatus for encoding/decoding a high dynamic range picture into a coded bitstream
US20190132643A1 (en) Video rendering system
US20190132600A1 (en) Method and apparatus for encoding/decoding a scalar integer into a parameter representative of a pivot points of a piece-wise linear function
WO2016142203A1 (en) Adaptive color grade interpolation method and device
KR20230107545A (ko) 채도를 유지하고 색조를 보존하면서 톤 맵퍼 내에서의 크로마 클립핑을 회피하기 위한 방법, 디바이스, 및 장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170822

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20181220

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20181227

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190131

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20191106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191224

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200312

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200325

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200417

R150 Certificate of patent or registration of utility model

Ref document number: 6694439

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250