JP2017539111A - カラーマッピングデータに基づきビデオ信号をカラーマッピングする方法、ビデオ信号及びカラーマッピングデータを符号化する方法、並びに対応するデバイス - Google Patents

カラーマッピングデータに基づきビデオ信号をカラーマッピングする方法、ビデオ信号及びカラーマッピングデータを符号化する方法、並びに対応するデバイス Download PDF

Info

Publication number
JP2017539111A
JP2017539111A JP2017518293A JP2017518293A JP2017539111A JP 2017539111 A JP2017539111 A JP 2017539111A JP 2017518293 A JP2017518293 A JP 2017518293A JP 2017518293 A JP2017518293 A JP 2017518293A JP 2017539111 A JP2017539111 A JP 2017539111A
Authority
JP
Japan
Prior art keywords
color
video signal
color mapping
volume
indicator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017518293A
Other languages
English (en)
Other versions
JP6693949B2 (ja
Inventor
ピエール アンドリヴォン
ピエール アンドリヴォン
ラセール,セバスティアン
ボルデ,フィリップ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2017539111A publication Critical patent/JP2017539111A/ja
Application granted granted Critical
Publication of JP6693949B2 publication Critical patent/JP6693949B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/04Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed using circuits for interfacing with colour displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6058Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/67Circuits for processing colour signals for matrixing
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/06Colour space transformation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

第2カラーボリュームにおいて表現されているビデオ信号に対して適用されるカラーマッピングデータから、第1カラーボリュームにおいて表現されているビデオ信号をカラーマッピングする方法が、開示される。方法は、第1カラーボリューム及び第2カラーボリュームが異なる場合に、第1カラーボリュームにおいて表現されているビデオ信号を第1カラーボリュームから第2カラーボリュームへとカラーマッピングすること(14)と、カラーマッピングされたビデオ信号をカラーマッピングデータに基づきカラーマッピングすること(16)とを有する。

Description

以下では、カラーマッピングデータに基づきビデオ信号をカラーマッピングする方法、及び対応するデバイスが、開示される。ビデオ信号及びカラーマッピングデータを符号化する方法が開示される。対応する符号化デバイスが更に開示される。
カラーマッピングデータは、ピクチャ又はビデオ信号に付随して、それらのピクチャ又はビデオ信号の色を他の色空間又はカラーボリュームにマッピングするのを助ける情報を供給するデータである。カラーボリュームは、原色(color primaries)及び基準白色によって、更には、ダイナミックレンジ(すなわち、最低/最大輝度ピーク)によって特定される。そのようなカラーボリュームの例は、D65基準白色を有し且つ0nit(又はcd/m)に等しい最低輝度ピーク及び4000nitに等しい最大輝度ピークを有するRGB BT.2020である。D65基準白色を有し且つ0nit(又はcd/m)に等しい最低輝度ピーク及び100nitに等しい最大輝度ピークを有するRGB BT.2020は、そのようなカラーボリュームの他の例である。文書JCTVC R1013_v6は、そのようなカラーボリュームを特定するSEIメッセージ“Mastering Display Color Volume SEI”を定義する(D.2.27節及びD.3.27節)。
文書JCTVC R1013_v6のD.3.32節で定義されるカラーマッピングデータは、そのようなカラーマッピングデータの例である。この文書において、カラーマッピングデータはSEIメッセージにおいて示される(SEIは、“Supplemental Enhancement Information”の英語の頭文字である。)。カラーマッピング関数は、SEIメッセージのいくつかのフィールドから定義され得る。カラーマッピングデータは、ブルーレイのために生成されたビデオ信号のバージョンをDVDのための同じビデオ信号のバージョンにカラーマッピングすることを可能にするよう生成され得る。カラーマッピングデータは、通常、スタジオ又はオーサリング施設において、すなわち、制作側で、RGB4:4:4又はYUV4:2:0ビデオ信号から決定される。カラーマッピングデータは、必ずしも、ビデオ信号を符号化するのと同時に生成されない。実際に、ビデオ信号を符号化すること及びカラーマッピングデータを生成することは、異なるオペレータによって達成され得る。結果として、カラーマッピングデータ及び符号化されたビデオ信号を受信側へ送るとき、受信側(具体的に、復号器)は、ビデオ信号の符号化の条件に対して、カラーデータの生成の条件(例えば、色空間の情報)の如何なる知識もなしで、カラーマッピングデータ及びビデオ信号を復号しようとする。それらの条件において、復号されたビデオ信号に対してカラーマッピングデータを適用することは、カラーマッピングされた復号されたビデオ信号を劣化させうる。
第2カラーボリュームにおいて表現されているビデオ信号に対して適用されるカラーマッピングデータから、第1カラーボリュームにおいて表現されているビデオ信号をカラーマッピングする方法が、開示される。方法は:
− 第1カラーボリューム及び第2カラーボリュームが異なる場合に、第1カラーボリュームにおいて表現されているビデオ信号を第1カラーボリュームから第2カラーボリュームへとカラーマッピングすることと、
− カラーマッピングされたビデオ信号をカラーマッピングデータに基づきカラーマッピングすることと
を有する。
カラーマッピングデータに基づくカラーマッピングは、カラーマッピングデータが設計されたカラーボリュームにおいて表現されているビデオデータに対して適用されているので、改善される。
第1の実施形態に従って、第1カラーボリューム及び第2カラーボリュームが異なる場合にビデオ信号を第1カラーボリュームから第2カラーボリュームへとカラーマッピングすることは、第1カラーボリューム及び第2カラーボリュームが異なるかどうかを判定するよう第1カラーボリュームと第2カラーボリュームとを比較することを含む。
第2の実施形態に従って、第1カラーボリューム及び第2カラーボリュームが異なる場合にビデオ信号を第1カラーボリュームから第2カラーボリュームへとカラーマッピングすることは、カラーマッピングデータに基づくカラーマッピングがビデオ信号に直接に適用されるべきかどうか、又はカラーマッピングデータに基づくカラーマッピングが第2カラーボリュームへのビデオ信号のカラーマッピングの後にビデオ信号に適用されるべきかどうかを示すインジケータを取得することと、インジケータに応答してビデオ信号を第2カラーボリュームにカラーマッピングすることとを含む。
有利なことに、インジケータは、更には、第2カラーボリュームを指す。
具体的な実施形態に従って、インジケータを取得することは、インジケータを復号することを含む。
有利なことに、第1カラーボリューム及び第2カラーボリュームが異なる場合に、第1カラーボリュームにおいて表現されているビデオ信号を第1カラーボリュームから第2カラーボリュームへとカラーマッピングすることは、復号されたデータから第1カラーボリュームを決定することを含む。
具体的な実施形態に従って、第1カラーボリューム及び第2カラーボリュームが異なる場合に、第1カラーボリュームにおいて表現されているビデオ信号を第1カラーボリュームから第2カラーボリュームへとカラーマッピングすることは、少なくともビデオユーザビリティ情報から第1カラーボリュームを決定することを含む。
具体的な実施形態に従って、第1カラーボリューム及び第2カラーボリュームが異なる場合に、第1カラーボリュームにおいて表現されているビデオ信号を第1カラーボリュームから第2カラーボリュームへとカラーマッピングすることは、更にマスタリング・ディスプレイ・カラー・ボリューム(Mastering Display Color Volume)SEIメッセージから第1カラーボリュームを決定することを含む。
具体的な特徴に従って、第1カラーボリューム及び第2カラーボリュームは、色空間である。
第2カラーボリュームにおいて表現されているビデオ信号に対して適用されるカラーマッピングデータから、第1カラーボリュームにおいて表現されているビデオ信号をカラーマッピングするデバイスも、開示される。デバイスは、
− 第1カラーボリューム及び第2カラーボリュームが異なる場合に、第1カラーボリュームにおいて表現されているビデオ信号を第1カラーボリュームから第2カラーボリュームへとカラーマッピングし、
− カラーマッピングされたビデオ信号をカラーマッピングデータに基づきカラーマッピングする
よう構成される少なくとも1つのプロセッサを有する。
第2カラーボリュームにおいて表現されているビデオ信号に対して適用されるカラーマッピングデータから、第1カラーボリュームにおいて表現されているビデオ信号をカラーマッピングするデバイスも、開示される。デバイスは、
− 第1カラーボリューム及び第2カラーボリュームが異なる場合に、第1カラーボリュームにおいて表現されているビデオ信号を第1カラーボリュームから第2カラーボリュームへとカラーマッピングする手段と、
− カラーマッピングされたビデオ信号をカラーマッピングデータに基づきカラーマッピングする手段と
を有する。
第1の実施形態に従って、第1カラーボリューム及び第2カラーボリュームが異なる場合にビデオ信号を第1カラーボリュームから第2カラーボリュームへとカラーマッピングすることは、第1カラーボリューム及び第2カラーボリュームが異なるかどうかを判定するよう第1カラーボリュームと第2カラーボリュームとを比較することを含む。
第2の実施形態に従って、第1カラーボリューム及び第2カラーボリュームが異なる場合にビデオ信号を第1カラーボリュームから第2カラーボリュームへとカラーマッピングすることは、カラーマッピングデータに基づくカラーマッピングがビデオ信号に直接に適用されるべきかどうか、又はカラーマッピングデータに基づくカラーマッピングが第2カラーボリュームへのビデオ信号のカラーマッピングの後にビデオ信号に適用されるべきかどうかを示すインジケータを取得することと、インジケータに応答してビデオ信号を第2カラーボリュームにカラーマッピングすることとを含む。
有利なことに、インジケータは、更には、第2カラーボリュームを指す。
具体的な実施形態に従って、インジケータを取得することは、インジケータを復号することを含む。
具体的な実施形態に従って、第1カラーボリューム及び第2カラーボリュームが異なる場合に、第1カラーボリュームにおいて表現されているビデオ信号を第1カラーボリュームから第2カラーボリュームへとカラーマッピングすることは、復号されたデータから第1カラーボリュームを決定することを含む。
具体的な実施形態に従って、第1カラーボリューム及び第2カラーボリュームが異なる場合に、第1カラーボリュームにおいて表現されているビデオ信号を第1カラーボリュームから第2カラーボリュームへとカラーマッピングすることは、少なくともビデオユーザビリティ情報から第1カラーボリュームを決定することを含む。
具体的な実施形態に従って、第1カラーボリューム及び第2カラーボリュームが異なる場合に、第1カラーボリュームにおいて表現されているビデオ信号を第1カラーボリュームから第2カラーボリュームへとカラーマッピングすることは、更にマスタリング・ディスプレイ・カラー・ボリュームSEIメッセージから第1カラーボリュームを決定することを含む。
具体的な特徴に従って、第1カラーボリューム及び第2カラーボリュームは、色空間である。
符号化方法であって、
− 第1カラーボリュームにおいて表現されているビデオ信号を符号化することと、
− 第2カラーボリュームにおいて表現されているビデオ信号に対して適用されるカラーマッピングデータを符号化することと、
− カラーマッピングに基づくカラーマッピングがビデオ信号に直接に適用されるべきかどうか、又はカラーマッピングデータに基づくカラーマッピングが第1カラーボリュームから第2カラーボリュームへのビデオ信号のカラーマッピングの後にビデオ信号に適用されるべきかどうかを示すインジケータを符号化することと
を有する符号化方法も、開示される。
符号化デバイスであって、
− 第1カラーボリュームにおいて表現されているビデオ信号を符号化し、
− 第2カラーボリュームにおいて表現されているビデオ信号に対して適用されるカラーマッピングデータを符号化し、
− カラーマッピングに基づくカラーマッピングがビデオ信号に直接に適用されるべきかどうか、又はカラーマッピングデータに基づくカラーマッピングが第1カラーボリュームから第2カラーボリュームへのビデオ信号のカラーマッピングの後にビデオ信号に適用されるべきかどうかを示すインジケータを符号化する
よう構成される少なくとも1つのプロセッサを有する符号化デバイスも、開示される。
符号化デバイスであって、
− 第1カラーボリュームにおいて表現されているビデオ信号を符号化する手段と、
− 第2カラーボリュームにおいて表現されているビデオ信号に対して適用されるカラーマッピングデータを符号化する手段と、
− カラーマッピングに基づくカラーマッピングがビデオ信号に直接に適用されるべきかどうか、又はカラーマッピングデータに基づくカラーマッピングが第1カラーボリュームから第2カラーボリュームへのビデオ信号のカラーマッピングの後にビデオ信号に適用されるべきかどうかを示すインジケータを符号化する手段と
を有する符号化デバイスも、開示される。
有利なことに、インジケータは、更には、第2カラーボリュームを指す。
有利なことに、ビデオ信号、カラーマッピングデータ、及び/又はビデオ信号が復号されるビットストリームは、
− ローカルメモリ、
− ストレージインターフェイス、
− 通信インターフェイス、及び
− 画像捕捉回路
を含む組に属するソースから取得される。
有利なことに、カラーマッピングデータに基づきカラーマッピングされたビデオ信号は、
− ローカルメモリ、
− ストレージインターフェイス、
− 通信インターフェイス、及び
− 表示デバイス
を含む組に属するあて先へ送られる。
有利なことに、デバイスは、
− モバイル機器、
− 通信機、
− ゲーム機
− セットトップボックス、
− テレビ受像機、
− ブルーレイディスク再生機、
− タブレット(又はタブレットコンピュータ)、
− ラップトップ、
− ディスプレイ、及び
− 復号化チップ
を含む組に属する。
有利なことに、ビデオ信号及び/又はカラーマッピングデータは、
− ローカルメモリ、
− ストレージインターフェイス、
− 通信インターフェイス、及び
− 画像捕捉回路
を含む組に属するソースから取得される。
有利なことに、ビデオ信号及びカラーマッピングデータは少なくとも1つのビットストリームへ符号化され、該少なくとも1つのビットストリームは、
− ローカルメモリ、
− ストレージインターフェイス、及び
− 通信インターフェイス
を含む組に属するあて先へ送られる。
有利なことに、デバイスは、
− モバイル機器、
− 通信機、
− ゲーム機、
− タブレット、
− ラップトップ、
− 静止画像カメラ、
− ビデオカメラ、
− 符号化チップ、
− 静止画像サーバ、及び
− ビデオサーバ
を含む組に属する。
符号化された信号を有する記憶媒体が、開示される。信号は、所与のカラーボリュームにおいて適用されるカラーマッピングデータと、カラーマッピングデータに基づくカラーマッピングがビデオ信号に直接に適用されるべきかどうか、又はカラーマッピングデータに基づくカラーマッピングが所与のカラーボリュームへのビデオ信号のカラーマッピングの後にビデオ信号に適用されるべきかどうかを示すインジケータとを有する。信号は、ビデオ信号を更に有する。インジケータは、更には、所与のカラーボリュームを指す。
この信号を送信する方法は、例えば、信号を受信する方法など、開示される。
図面では、本発明の実施形態が説明される。それは次を示す。
例となる実施形態に従って、第1色空間において表現されているビデオ信号をカラーマッピングするよう構成されるデバイスの例となるアーキテクチャを表す。 具体的な非制限的実施形態に従って、第1色空間において表現されているビデオ信号をカラーマッピングする方法のフローチャートを表す。 具体的な非制限的実施形態に従って、第1色空間において表現されているビデオ信号を復号する方法のフローチャートを表す。 具体的な非制限的実施形態に従って、第1色空間において表現されているビデオ信号を復号する方法のフローチャートを表す。 具体的な非制限的実施形態に従って、第1色空間において表現されているビデオ信号を符号化するよう構成される符号化デバイスの例となるアーキテクチャを表す。 具体的な非制限的実施形態に従って、第1色空間において表現されているビデオ信号を符号化する方法のフローチャートを表す。
以下で、カラーマッピングは、トーンマッピング又は逆トーンマッピング動作を有してよい。色空間を用いて開示される全ての実施形態及び変形例は、カラーボリュームを用いて適用され得る。この場合に、最低/最大輝度ピークも、原色及び基準白色に加えて考慮される。
図1は、例となる実施形態に従って第1色空間において表現されているビデオ信号をカラーマッピングするよう構成されるデバイス200の例となるアーキテクチャを、具体的な非制限的実施形態に従って表す。ビデオ信号のカラーマッピングは、第2色空間において表現されているビデオ信号に適用されるカラーマッピングデータに基づく。「第1」及び「第2」との語は、様々な色空間/カラーボリュームを記載するために本願で使用され得るが、それらの色空間/カラーボリュームはそれらの語によって制限されるべきでないことが理解されるだろう。それらの語は、単に、1つの色空間/カラーボリュームを他の色空間/カラーボリュームと区別するために使用される。例えば、本原理から逸脱することなしに、第1色空間/カラーボリュームは、「第2色空間/カラーボリューム」又は「色空間/カラーボリューム」と呼ばれてよく、同様に、第2色空間/カラーボリュームは、「他の色空間/カラーボリューム」又は「第1色空間/カラーボリューム」と呼ばれてよい。デバイス200は、受信機又は復号器の部分であってよい。デバイス200は、内部メモリ220(例えば、RAM、ROM、EPROM)とともに、例えばCPU、GPU及び/又はDSP(Digital Signal Processorの英語の頭文字)である1つ以上のプロセッサ210を有する。デバイス200は、出力情報を表示するよう且つ/あるいはユーザがコマンド及び/又はデータを入力することを可能にするよう(例えば、キーボード、マウス、タッチパッド、ウェブカム)適応された1つ又は複数の入出力インターフェイス230と、電源240とを有する。電源240は、デバイス200の外にあってよい。デバイス200は、ネットワークインターフェイス(図示せず。)を更に有し得る。ビデオ信号及び/又はカラーマッピングデータは、ソースから取得され得る。変形例では、ビデオ信号は、それ自体がソースから取得されるビットストリームから復号される。ビットストリームはビットの列である。他の変形例では、カラーマッピングデータは、ソースから取得されたビットストリームから復号される。更なる他の変形例では、ビデオ信号及びカラーマッピングデータの両方が、ソースから取得された1つ又は2つのビットストリームから復号される。別の実施形態に従って、ソースは
− ローカルメモリ、例えば、ビデオメモリ、RAM、フラッシュメモリ、ハードディスク、
− ストレージインターフェイス、例えば、大容量記憶装置、ROM、光ディスク又は磁気担体とのインターフェイス、
− 通信インターフェイス、例えば、有線インターフェイス(例えば、バスインターフェイス、ワイドエリアネットワークインターフェイス、ローカルエリアネットワークインターフェイス)又は無線インターフェイス(例えば、IEEE802.11インターフェイス若しくはBluetooth(登録商標)インターフェイス)、及び
− 画像捕捉回路(例えば、CCD(すなわち、Charge-Coupled Device)又はCMOS(すなわち、Complementary Meta-Oxide-Semiconductor)のようなセンサ)
を含む組に属する。
別の実施形態に従って、カラーマッピングデータに基づきカラーマッピングされたビデオ信号は、あて先へ送られ得る。一例として、カラーマッピングされたビデオ信号は、遠隔地に又はローカルメモリ、例えば、ビデオメモリ若しくはRAM、ハードディスクに記憶される。変形例では、カラーマッピングされたビデオ信号は、ストレージインターフェイス、例えば、大容量記憶装置、ROM、フラッシュメモリ、光ディスク若しくは磁気担体とのインターフェイスへ送られ、及び/又は通信インターフェイス、例えば、ポイント・ツー・ポイント・リンク、通信バス、ポイント・ツー・マルチポイント・リンク若しくはブロードキャストネットワークへのインターフェイスを介して送信される。
例となる非制限的な実施形態に従って、デバイス200は、メモリ220に記憶されているコンピュータプログラムを更に有する。コンピュータプログラムは、デバイス200によって、特にプロセッサ210によって実行されるときに、図2を参照して記載される方法をデバイス200に実行させる命令を有する。変形例に従って、コンピュータプログラムは、非一時的なデジタルデータ担体においてデバイス200の外部で、例えば、HDD、CD−ROM、DVD、リードオンリー及び/又はDVDドライブ及び/又はDVDリード/ライトドライブ(全て当該技術で知られている。)のような外部記憶媒体において記憶されている。よって、デバイス200は、コンピュータプログラムを読み出すためのインターフェイスを更に有する。更には、デバイス200は、1つ以上のユニバーサル・シリアル・バス(USB)タイプの記憶デバイス(例えば、“メモリスティック”)に、対応するUSBポート(図示せず。)を通じてアクセスすることができる。
例となる非制限的な実施形態に従って、デバイス200は、
− モバイル機器、
− 通信機、
− ゲーム機、
− セットトップボックス、
− テレビ受像機、
− ブルーレイディスク再生機、
− タブレット(又はタブレットコンピュータ)、
− ラップトップ、
− ディスプレイ、及び
− 復号化チップ
を含む組に属するデバイスである。
図2は、具体的な非制限的実施形態に従って第1色空間において表現されているビデオ信号をカラーマッピングする方法のフローチャートを表す。ビデオ信号のカラーマッピングは、第2色空間において表現されているビデオ信号に適用されるカラーマッピングデータに基づく。ビデオ信号は、例えば、復号器から取得される。その場合に、それは、復号されたビデオ信号である。カラーマッピングデータは、例えば、ビットストリームから復号される。その場合に、それらは、復号されたカラーマッピングデータである。
ステップ14で、ビデオ信号は、第1色空間及び第2色空間が異なる場合に、第1色空間から第2色空間にカラーマッピングされる。このように、ビデオ信号の色は変換される。例として、第1色空間はYUV色空間、又は特定の原色を有するYUV色空間である。変形例では、第1色空間はRGB色空間である。例として、第2色空間はRGB色空間、又は特定の原色及び基準白色を有するRGB色空間である。
第1の非制限的な実施形態において、ビデオ信号を第2色空間にカラーマッピングすることは、第1色空間及び第2色空間が異なるかどうかを判定するよう第1色空間と第2色空間とを比較することを含む。このために、第1色空間は、復号されたデータから決定又は取得される。復号されたデータは、JCTVC−R1013_v6のE.2及びE.3節で定義されるように、例えば、復号されたビデオユーザビリティ情報(その頭文字はVUI(Video Usability Information)である。)である。そのような復号されたデータは、第1色空間において表現されているビデオ信号と関連付けられ得る。VUIは、復号されたピクチャをディスプレイ上で向上又は改善するために復号器によって使用され得る“サイド情報”である。具体的に、表E.5において定義されるmatrix_coeffsインジケータは、第1色空間がRGB色空間又はYUV色空間のいずれであるかを判定することを可能にする。例として、matrix_coeffs=0である場合には、第1色空間はRGB色空間であり、matrix_coeffs=1,4,5,6,7,9及び10である場合には、第1色空間はYUV色空間である。その上、インジケータcolour_primariesは、原色の色度座標を示す。具体的に、それは原色及び基準白色を定義し、第1色空間の特性を完全に明らかにすることを可能にする。第2色空間は、アプリケーションによって又は標準規格(例えば、頭文字がBDAであるブルーレイ・ディスク・アソシエーション(Blu-ray(登録商標) Disc Association))によって指定され得る。この場合に、第2色空間は固定され、カラーマッピング関数によって知られている。変形例では、第2色空間は、インジケータによって指定され得る。一例として、インジケータは、第2色空間がRGB BT.2020色空間であることを示す値0、第2色空間がRGB BT.709色空間であることを示す値1、第2色空間がRGB BT.601色空間であることを示す値2、などを取ることができる。更なる他の例では、インジケータは、第2色空間がRGBであることを示す値0、及び第2色空間がYCC(ルーマ及び色差)であることを示す値1、などを取ることができる。この場合に、インジケータから求められた第1色空間及び第2色空間は比較され、カラーマッピングデータは、第1色空間及び第2色空間が同じである場合にはビデオ信号に直接に適用され、あるいは、第1色空間及び第2色空間が異なる場合にはビデオ信号が第2色空間へマッピングされた後にビデオ信号に適用される。
第1色空間及び第2色空間を比較することは、原色及び基準白色を比較することを含み得る。しかし、原色及び基準白色を比較することは、必須ではない。実際に、アプリケーション/標準規格は、カラーマッピングデータ及びビデオ信号が、たとえ異なる色空間(例えば、YUV BT.2020及びRGB BT.2020)において表現されるとして、同じ原色及び/又は基準白色を使用していることを要求し得る。ビデオ信号は、最終的に、この比較に基づき第1色空間から第2色空間にカラーマッピングされる。実際に、比較により第1色空間及び第2色空間が異なることが示されるとき、ビデオ信号は第1色空間から第2色空間にカラーマッピングされる。カラーマッピングは、通常、第1色空間及び第2色空間から定義されるカラーマッピング関数を適用することを含む。カラーマッピング関数は、独自仕様であるか、あるいは、SMPTE RP177のような標準規格によって定義され得る。比較により第1色空間及び第2色空間が同じであることが示されるとき、ビデオ信号はカラーマッピングされない。第1色空間及び第2色空間が実際にはカラーボリュームである場合において、第1カラーボリュームの最低及び最大輝度ピークは、復号化されたデータから、例えば、マスタリング・ディスプレイ・カラー・ボリュームSEIから取得又は決定され得る。このようにして、第1カラーボリュームは、VUI及びマスタリング・ディスプレイ・カラー・ボリュームSEIによって完全に定義される。第2色空間は、アプリケーションによって又は標準規格(例えば、頭文字がBDAであるブルーレイ・ディスク・アソシエーション(Blu-ray Disc Association))によって指定され得る。第1カラーボリューム及び第2カラーボリュームを比較することは、原色、基準白色、及び最低/最大輝度ピークを比較することを含み得る。
第2の非制限的な実施形態において、ビデオ信号を第2色空間にカラーマッピングすることは、カラーマッピングデータに基づくカラーマッピングがビデオ信号に直接に適用されるべきかどうか、又はカラーマッピングデータに基づくカラーマッピングが第2色空間へのビデオ信号のカラーマッピングの後にビデオ信号に適用されるべきかどうかを示すインジケータを取得することと、該インジケータに応答してビデオ信号を第2色空間にカラーマッピングすることとを含む。インジケータは、復号器から又はメモリなどから取得され得る。変形例では、インジケータを取得することは、ビットストリームからインジケータを復号することを含み得る。JCTVC−R1013_v6のD.3.32節で定義される“colour_remap_id”は、そのようなインジケータの一例である。JCTVC−R1013_v6において、“colour_remap_id”は、カラー再マッピング情報の目的を識別するために使用され得る識別番号を含むものとして定義されている。colour_remap_idの値は、0から232−2を含む範囲内であるべきである。変形例では、インジケータは、トランスポートストリームから復号される。トランスポートストリームは、オーディオ、ビデオ又は他のデータの伝送及び蓄積のためのフォーマットである。インジケータは、カラーマッピングデータに基づくカラーマッピングがビデオ信号に直接に適用されるべきであることを示すために第1の値(例えば、値0)を取り、カラーマッピングデータに基づくカラーマッピングが第2色空間へのビデオ信号のカラーマッピングの後にビデオ信号に適用されるべきであることを示すために第2の値(例えば、値1)を取るバイナリフラグであってよい。カラーマッピングデータに基づく2回目のカラーマッピングは、第1色空間及び第2色空間が異なる場合に最初のカラーマッピングがステップ14において既に適用されているので、カラー再マッピング(color remapping)とも呼ばれ得る。この解決法は、第2色空間の原色/基準白色(及び、カラーボリュームの場合には、できる限り、最低/最大輝度ピーク)が固定される場合に、例えば、アプリケーション又は標準規格(例えば、DVB、ATSC又はBDA)によって定義されているので、十分である。変形例において、インジケータは、第2色空間の原色を、例えば、それらがアプリケーションによって又は標準規格(例えば、DVB、ATSC又はBDA)によって定義されないので、正確に定義するために、2つよりも多い値を取ることができる。例として、インジケータは、カラーマッピングデータに基づくカラーマッピングがビデオ信号に直接に適用されるべきであることを示す値0、カラーマッピングデータに基づくカラーマッピングがRGB BT.2020色空間へのビデオ信号のカラーマッピングの後にビデオ信号に適用されるべきであることを示す値1、カラーマッピングデータに基づくカラーマッピングがRGB BT.709色空間へのビデオ信号のカラーマッピングの後にビデオ信号に適用されるべきであることを示す値2、などを取ることができる。変形例では、第2色空間はインジケータによって指定され得る。一例として、インジケータは、第2色空間がRGB BT.2020色空間であることを示す値0、第2色空間がRGB BT.709色空間であることを示す値1、第2色空間がRGB BT.601色空間であることを示す値2、などを取ることができる。更なる他の例では、インジケータは、第2色空間がRGBであることを示す値0、及び第2色空間がYCC(ルーマ及び色差)であることを示す値1、などを取ることができる。この場合に、インジケータから求められた第1色空間及び第2色空間は比較され、カラーマッピングデータは、第1色空間及び第2色空間が同じである場合にはビデオ信号に直接に適用され、あるいは、第1色空間及び第2色空間が異なる場合にはビデオ信号が第2色空間へマッピングされた後にビデオ信号に適用される。この実施形態では、第1色空間は、アプリケーション又は標準規格によって指定されるか、あるいは、第1の実施形態で見られたように、復号されたデータから(例えば、復号されたVUIから)決定され得る。カラーマッピングは、通常、第1色空間及び第2色空間から定義されるカラーマッピング関数を適用することを含む。カラーマッピング関数は独自仕様であるか、あるいは、SMPTE RP177のような標準規格によって定義され得る。
ステップ16において、カラーマッピングされたビデオ信号は、カラーマッピングデータに基づきカラーマッピングされる。第1色空間及び第2色空間が同じである場合に、ビデオ信号は、カラーマッピングデータに基づき直接カラーマッピングされる。第1色空間及び第2色空間が異なる場合に、ビデオ信号は、続けざまに2回カラーマッピングされる。1回目は、その色を第1色空間から第2色空間へマッピングし、2回目は、その色を、カラーマッピングデータに基づき第2色空間からマッピングする。
図3によって説明される具体的な非制限的実施形態において、カラーマッピング方法は、復号化方法の部分である。この場合に、復号化方法は、ステップ10でビデオ信号を復号することと、ステップ12でカラーマッピングデータを復号することとを有する。カラーマッピング方法のステップ14及び16は、復号されたカラーマッピングデータを用いて、復号されたビデオ信号に適用される。
任意のステップ10で、第1色空間において表現されているビデオ信号は、ビットストリームFから復号される。復号されたビデオ信号は、復号されたデータ、例えば、VUI、マスタリング・ディスプレイ・カラー・ボリュームSEIを伴い得る。具体的な非制限的実施形態において、ビデオ信号を復号することは、ビデオの画像のブロックについて、そのブロックの予測を決定することを含む。ブロックは、文献において符号化単位としても知られている。特にインター予測の場合に、予測を決定することは、運動ベクトルを復号し、復号された運動ベクトルを参照ブロック、すなわち、既に再構成/復号されているブロックに適用することを含む。残差は復号され、ブロックを再構成するために予測に加えられる。残差は、慣行に基づいて、エントロピ復号化によって、並びに逆量子化及び逆変換(例えば、逆DCT)を適用することによって、復号される。例として、ビデオ信号は、H.264又はH.265に従う復号化方法を用いて復号され得る。なお、明らかなように、本発明は、この具体的な復号化方法に制限されない。
ステップ12で、第2色空間においてビデオ信号に適用されるカラーマッピングデータは、復号される。カラーマッピングデータは、例えば、同じビットストリームFから、又はFとは異なる他のビットストリームから、復号される。ステップ14のインジケータも、同じビットストリームFから復号され得る。カラーマッピングデータは、画像の又はビデオ信号の色をある色空間(例えば、YUV)から別の色空間(RGB、YCC)へ、又はある色空間(RGB BT.709)を異なった原色を有する同じ色空間(RGB BT.2020)へ変換することを可能にするデータを有する。例として、カラーマッピングデータは、標準規格文書JCTVC−R1013_v6のD.3.32節で特定されているように復号される。SHVC標準規格において、カラーマッピングデータは、SEIメッセージ(SEIは、“Supplemental Enhancement Information”の英語の頭文字である。)から復号される。SEIメッセージは、「カラー再マッピング情報SEI」と名付けられる。それは、出力ピクチャの再構成された色サンプルの(再)マッピングを可能にするデータを提供する。カラー(再)マッピングデータは、復号されたサンプル値がルーマ及び色度領域又はRGB領域のいずれにあろうとも、復号されたサンプル値に直接に適用され得る。カラー再マッピング情報SEIメッセージにおいて使用されるカラー(再)マッピングモデルは、夫々の色成分に適用される第1の区分的線形関数(本願では、シンタックス要素の“プリ”セットによって特定される。)、3つの色成分に適用される3×3行列、及び夫々の色成分に適用される第2の区分的線形関数(本願では、シンタックス要素の“ポスト”セットによって特定される。)から成る。なお、明らかなように、本発明は、JCTVC−R1013_v6で定義される具体的なカラーマッピングデータに制限されない。
図3Bによって説明される他の具体的な非制限的実施形態において、カラーマッピング方法は、復号化方法の部分である。この場合に、復号化方法は、ステップ12でカラーマッピングデータを復号することを含む。カラーマッピング方法のステップ14及び16は、復号されたカラーマッピングデータを用いて、ビデオ信号に適用される。ビデオ信号は、例えば、ソース(例えば、メモリ、通信インターフェイス、など)から取得される。
変形例では、受信方法であって、
− 所与のカラーボリュームにおいて適用されるカラーマッピングデータを受信することと、
− カラーマッピングデータに基づくカラーマッピングがビデオ信号に直接に適用されるべきかどうか、又はカラーマッピングデータに基づくカラーマッピングが所与のカラーボリュームへのビデオ信号のカラーマッピングの後にビデオ信号に適用されるべきかどうかを示すインジケータを受信することと
を有する受信方法が、開示される。
受信方法は、ビデオ信号を受信することを更に有し得る。
受信機であって、
− 所与のカラーボリュームにおいて適用されるカラーマッピングデータを受信し、
− カラーマッピングデータに基づくカラーマッピングがビデオ信号に直接に適用されるべきかどうか、又はカラーマッピングデータに基づくカラーマッピングが所与のカラーボリュームへのビデオ信号のカラーマッピングの後にビデオ信号に適用されるべきかどうかを示すインジケータを受信する
よう構成される少なくとも1つのプロセッサを有する受信機も、開示される。
プロセッサは、ビデオ信号を受信するよう更に構成され得る。
インジケータ、更には、所与のカラーボリュームを指し得る。
図4は、カラーマッピングデータ及び、場合により、第1色空間において表現されているビデオ信号をビットストリームに符号化するよう構成される符号化デバイス100の例となるアーキテクチャを、具体的な非制限的実施形態に従って表す。カラーマッピングデータは、ビデオ信号と同じビットストリームにおいて、又は他のビットストリームにおいて、符号化され得る。符号化デバイス100は、内部メモリ120(例えば、RAM、ROM、EPROM)とともに、CPU、GPU及び/又はDSP(Digital Signal Processorの英語の頭文字)である1つ以上のプロセッサ110を有する。符号化デバイス100は、出力情報を表示するよう且つ/あるいはユーザがコマンド及び/又はデータを入力することを可能にするよう(例えば、キーボード、マウス、タッチパッド、ウェブカム)適応された1つ又は複数の入出力インターフェイス130と、電源140とを有する。電源140は、符号化デバイス100の外にあってよい。デバイス100は、ネットワークインターフェイス(図示せず。)を更に有し得る。ビデオ信号及び/又はカラーマッピングデータは、ソース(必ずしも同じでない。)から取得され得る。別の実施形態に従って、ソースは
− ローカルメモリ、例えば、ビデオメモリ、RAM、フラッシュメモリ、ハードディスク、
− ストレージインターフェイス、例えば、大容量記憶装置、ROM、光ディスク又は磁気担体とのインターフェイス、
− 通信インターフェイス、例えば、有線インターフェイス(例えば、バスインターフェイス、ワイドエリアネットワークインターフェイス、ローカルエリアネットワークインターフェイス)又は無線インターフェイス(例えば、IEEE802.11インターフェイス若しくはBluetooth(登録商標)インターフェイス)、及び
− 画像捕捉回路(例えば、CCD(すなわち、Charge-Coupled Device)又はCMOS(すなわち、Complementary Meta-Oxide-Semiconductor)のようなセンサ)
を含む組に属する。
別の実施形態に従って、ビットストリームはあて先へ送られ得る。一例として、ビットストリームは、遠隔地に又はローカルメモリ、例えば、ビデオメモリ若しくはRAM、ハードディスクに記憶される。変形例では、ビットストリームは、ストレージインターフェイス、例えば、大容量記憶装置、ROM、フラッシュメモリ、光ディスク若しくは磁気担体とのインターフェイスへ送られ、及び/又は通信インターフェイス、例えば、ポイント・ツー・ポイント・リンク、通信バス、ポイント・ツー・マルチポイント・リンク若しくはブロードキャストネットワークへのインターフェイスを介して送信される。従って、カラーマッピングデータを含む信号(例えば、ビットストリーム)は、メモリにおいて若しくはファイルにおいて記憶され、及び/又は受信デバイス(例えば、復号器、ディスプレイ、など)へ送られ得る。
例となる非制限的な実施形態に従って、符号化デバイス100は、メモリ120に記憶されているコンピュータプログラムを更に有する。コンピュータプログラムは、符号化デバイス100によって、特にプロセッサ110によって実行されるときに、図5を参照して記載される方法を符号化デバイス100に実行させる命令を有する。変形例に従って、コンピュータプログラムは、非一時的なデジタルデータ担体において符号化デバイス100の外部で、例えば、HDD、CD−ROM、DVD、リードオンリー及び/又はDVDドライブ及び/又はDVDリード/ライトドライブ(全て当該技術で知られている。)のような外部記憶媒体において記憶されている。よって、符号化デバイス100は、コンピュータプログラムを読み出すためのインターフェイスを更に有する。更には、符号化デバイス100は、1つ以上のユニバーサル・シリアル・バス(USB)タイプの記憶デバイス(例えば、“メモリスティック”)に、対応するUSBポート(図示せず。)を通じてアクセスすることができる。
例となる非制限的な実施形態に従って、符号化デバイス100は、
− モバイル機器、
− 通信機、
− ゲーム機、
− タブレット(又はタブレットコンピュータ)、
− ラップトップ、
− 静止画像カメラ、
− ビデオカメラ、
− 符号化チップ、
− 静止画像サーバ、及び
− ビデオサーバ(例えば、ブロードキャストサーバ、ビデオ・オン・デマンドサーバ、又はウェブサーバ)
を含む組に属するデバイスである。
図5は、具体的な非制限的実施形態に従って第1色空間において表現されているビットストリームにおいてカラーマッピングデータ及び、場合により、ビデオ信号を符号化する方法のフローチャートを、具体的な非制限的実施形態に従って表す。
任意のステップ20で、ビデオ信号は符号化される。例として、第1色空間はYUV色空間、又は特定の原色を有するYUV色空間である。変形例では、第1色空間はRGB色空間である。具体的な非制限的実施形態において、ビデオ信号を符号化することは、ビデオの画像のブロックについて、そのブロックの予測を決定することを含む。特にインター予測の場合に、予測を決定することは、参照となる再構成されたブロックに対して運動ベクトルを決定することを含む。予測は、その場合に、運動ベクトル及び参照用の再構成されたブロックから決定される。予測は、残差を求めるために、符号化されるブロックから減算される。そして、残差は符号化される。慣行に基づいて、残差を符号化することは、係数を生成するために変換T(例えば、DCT)を残差に適用することを含む。生成された係数は、次いで、量子化され、エントロピ符号化される。ブロックは、その場合に、再構成されたブロックを生成するために再構成され得る。このために、量子化された係数は逆量子化され、逆変換T−1が、逆量子化された係数に適用される。予測は、次いで、再構成されたブロックを生成するために、逆変換T−1の結果に加えられる。再構成されたブロックは、他のブロックを符号化するときに参照となることができる。例として、ビデオ信号は、H.264又はH.265に従う符号化方法を用いて符号化され得る。なお、明らかなように、本発明は、この具体的な符号化方法に制限されない。
ステップ22で、第2色空間において表現されているビデオ信号に適用されるカラーマッピングデータは、例えば、ビットストリームFにおいて、又はFとは異なる他のビットストリームにおいて、符号化される。例として、カラーマッピングデータは、標準規格文書JCTVC−R1013_v6のD.3.32で特定されているように符号化される。SHVC標準規格において、カラーマッピングデータは、SEIメッセージ(SEIは、“Supplemental Enhancement Information”の英語の頭文字である。)において符号化される。SEIメッセージは、「カラー再マッピング情報SEI」と名付けられる。それは、出力ピクチャの再構成された色サンプルのカラーマッピングを可能にするデータを提供する。カラーマッピングデータは、復号されたサンプル値がルーマ及び色度領域又はRGB領域のいずれにあろうとも、復号されたサンプル値に直接に適用され得る。カラー(再)マッピング情報SEIメッセージにおいて使用されるカラー(再)マッピングモデルは、夫々の色成分に適用される第1の区分的線形関数(本願では、シンタックス要素の“プリ”セットによって特定される。)、3つの色成分に適用される3×3行列、及び夫々の色成分に適用される第2の区分的線形関数(本願では、シンタックス要素の“ポスト”セットによって特定される。)から成る。
ステップ24で、カラーマッピングデータに基づくカラーマッピングがビデオ信号(場合により、復号されている。)に直接に適用されるべきかどうか、又はカラーマッピングデータに基づくカラーマッピングが第2色空間へのビデオ信号(場合により、復号されている。)のカラーマッピング後にそのビデオ信号に適用されるべきかどうかを示すインジケータは、例えば、ビットストリームFにおいて、符号化される。インジケータは、例えば、JCTVC−R1013_v6のD.3.32節で定義される“colour_remap_id”を用いて符号化される。JCTVC−R1013_v6において、“colour_remap_id”は、カラー再マッピング情報の目的を識別するために使用され得る識別番号を含むものとして定義されている。colour_remap_idの値は、0から232−2を含む範囲内であるべきである。変形例では、インジケータは、トランスポートストリームにおいて符号化される。トランスポートストリームは、オーディオ、ビデオ又は他のデータの伝送及び蓄積のためのフォーマットである。インジケータは、カラーマッピングデータに基づくカラーマッピングがビデオ信号に直接に適用されるべきであることを示すために第1の値(例えば、値0)を取り、カラーマッピングデータに基づくカラーマッピングが第2色空間へのビデオ信号のカラーマッピングの後にビデオ信号に適用されるべきであることを示すために第2の値(例えば、値1)を取るバイナリフラグであってよい。この解決法は、第2色空間の原色が固定される場合に(例えば、アプリケーション又は標準規格(例えば、DVB、ATSC又はBDA)によって定義されているので)、十分である。変形例において、インジケータは、第2色空間の原色を、例えば、それらがアプリケーションによって又は標準規格(例えば、DVB、ATSC又はBDA)によって定義されないので、正確に定義するために、2つよりも多い値を取ることができる。例として、インジケータは、カラーマッピングデータに基づくカラーマッピングがビデオ信号に直接に適用されるべきであることを示す値0、カラーマッピングデータに基づくカラーマッピングがRGB BT.2020色空間へのビデオ信号のカラーマッピングの後にビデオ信号に適用されるべきであることを示す値1、カラーマッピングデータに基づくカラーマッピングがRGB BT.709色空間へのビデオ信号のカラーマッピングの後にビデオ信号に適用されるべきであることを示す値2、などを取ることができる。この実施形態では、第1色空間は、アプリケーション又は標準規格によって指定されるか、あるいは、第1の実施形態で見られたように、復号されたデータから(例えば、復号されたVUIから)決定され得る。他の変形例では、インジケータは、単に、第2色空間を指し得る。一例として、インジケータは、第2色空間がRGB BT.2020色空間であることを示す値0、第2色空間がRGB BT.709色空間であることを示す値1、第2色空間がRGB BT.601色空間であることを示す値2、などを取ることができる。この場合に、インジケータから求められた第1色空間及び第2色空間は比較され、カラーマッピングデータは、第1色空間及び第2色空間が同じである場合にはビデオ信号に直接に適用され、あるいは、第1色空間及び第2色空間が異なる場合にはビデオ信号が第2色空間にマッピングされた後にビデオ信号に適用される。
変形例では、送信方法であって、
− 所与のカラーボリュームにおいて適用されるカラーマッピングデータを送信することと、
− カラーマッピングデータに基づくカラーマッピングがビデオ信号に直接に適用されるべきかどうか、又はカラーマッピングデータに基づくカラーマッピングが所与のカラーボリュームへのビデオ信号のカラーマッピングの後にビデオ信号に適用されるべきかどうかを示すインジケータを送信することと
を有する送信方法が、開示される。
送信方法は、符号化されてもされなくてもよいビデオ信号を送信することを更に含み得る。
送信機であって、
− 所与のカラーボリュームにおいて適用されるカラーマッピングデータを送信し、
− カラーマッピングデータに基づくカラーマッピングがビデオ信号に直接に適用されるべきかどうか、又はカラーマッピングデータに基づくカラーマッピングが所与のカラーボリュームへのビデオ信号のカラーマッピングの後にビデオ信号に適用されるべきかどうかを示すインジケータを送信する
よう構成される少なくとも1つのプロセッサを有する送信機も、開示される。
プロセッサは、符号化されてもされなくてもよいビデオ信号を送信するよう更に構成され得る。
インジケータは、更には、所与のカラーボリュームを指し得る。
本願で記載される実施は、例えば、方法若しくはプロセス、装置、ソフトウェアプログラム、データストリーム、又は信号において、実装され得る。たとえただ1つの実施形態に関してしか論じられていない(例えば、方法又はデバイスとしてしか論じられていない)としても、開示されている特徴の実装は、他の形態(例えば、プログラム)でも実施され得る。装置は、例えば、適切なハードウェア、ソフトウェア、及びファームウェアにおいて、実装され得る。方法は、例えばプロセッサなどの装置において実装され得る。プロセッサは、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラム可能論理デバイスを含む、プロセッシングデバイス全般を指す。プロセッサは、例えば、コンピュータ、携帯電話機、ポータブル/パーソナルデジタルアシスタント(“PDA”)、及びエンドユーザ間の情報のやり取りを助ける他のデバイスのような、通信デバイスを更に含む。
本願で記載される様々なプロセス及び特徴の実装は、多種多様な設備又は用途、特に、例えば、複数の設備又は複数の用途において、具現され得る。そのような設備の例は、符号器、復号器、復号器からの出力を処理するポストプロセッサ、符号器へ入力を供給するプリプロセッサ、ビデオコーダ、ビデオデコーダ、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話機、PDA、及び他の通信デバイスを含む。当然ながら、設備は、モバイルであって、移動車両に設置されてさえよい。
加えて、方法は、命令がプロセッサによって実行されることによって実施され得、そのような命令(及び/又は実施によって生成されたデータ値)は、例えば、集積回路、ソフトウェア担体又は他の記憶デバイス(例えば、ハードディスク、コンパクトディスケット(“CD”)、光ディスク(例えば、デジタルバーサタイルディスク又はデジタルビデオディスクとしばしば呼ばれるDVD)、ランダムアクセスメモリ(“RAM”)、若しくはリードオンリーメモリ(“ROM”))のようなプロセッサ可読媒体に記憶され得る。命令は、プロセッサ可読媒体において有形に具現されたアプリケーションプログラムを形成し得る。命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、又は組み合わせにあってよい。命令は、例えば、オペレーティングシステム、別個のアプリケーション、又は両者の組み合わせにおいて見つけられ得る。プロセッサは、従って、例えば、プロセスを実行するよう構成されるデバイス、及びプロセスを実行するための命令を有しているプロセッサ可読媒体(例えば、記憶デバイス)を含むデバイスの両方と見なされ得る。更には、プロセッサ可読媒体は、命令に加えて又はそれに代えて、実施によって生成されたデータ値を記憶し得る。
当業者に明らかなように、実施は、例えば記憶又は送信され得る情報を運ぶようフォーマットされた様々な信号を生成し得る。一例として、カラーマッピングデータに基づくカラーマッピングがビデオ信号に直接に適用されるべきかどうか、又はカラーマッピングデータに基づくカラーマッピングが第2カラーボリュームへのビデオ信号のカラーマッピングの後にそのビデオ信号に適用されるべきかどうかを示すインジケータを運ぶカラーマッピングデータを含む信号が、開示される。同じ信号は、ビデオ信号を更に含み得る。カラーマッピングデータは、このようにして、受信デバイスへ送信機によって記憶又は送信され得る。情報は、例えば、方法を実行するための命令、又は記載されている実施のうちの1つによって生成されたデータを含んでよい。例えば、信号は、記載される実施形態のシンタックスを書き込む又は読み出すための規則をデータとして運ぶよう、あるいは、記載される実施形態によって書き込まれる実際のシンタックス値をデータとして運ぶよう、フォーマットされ得る。そのような信号は、例えば、電磁波として(例えば、スペクトラムの無線周波数部分を使用する。)、又はベースバンド信号として、フォーマットされ得る。フォーマッティングは、例えば、データストリームを符号化し、符号化されたデータストリームにより搬送波を変調することを含み得る。信号が運ぶ情報は、例えば、アナログ又はデジタル情報であってよい。信号は、知られているように、多種多様な有線又は無線リンクを介して送信され得る。信号は、プロセッサ可読媒体において記憶され得る。
多数の実施が記載されてきた。それでもなお、様々な変更が行われ得ることが理解されるだろう。例えば、異なる実施の要素は、他の実施を生じるよう結合、補完、変更、又は削除され得る。加えて、当業者であれば、他の構造及びプロセスは、開示されているものの代わりに用いられてよく、結果として現れる実施は、開示されている実施と少なくとも実質的に同じ結果を達成するよう、少なくとも実質的に同じ方法において、少なくとも実質的に同じ機能を実行すると理解するだろう。然るに、それら及び他の実施は、本願によって考えられている。
多数の実施が記載されてきた。それでもなお、様々な変更が行われ得ることが理解されるだろう。例えば、異なる実施の要素は、他の実施を生じるよう結合、補完、変更、又は削除され得る。加えて、当業者であれば、他の構造及びプロセスは、開示されているものの代わりに用いられてよく、結果として現れる実施は、開示されている実施と少なくとも実質的に同じ結果を達成するよう、少なくとも実質的に同じ方法において、少なくとも実質的に同じ機能を実行すると理解するだろう。然るに、それら及び他の実施は、本願によって考えられている。
上記の実施形に加えて、以下の付記を開示する。
(付記1)
第2カラーボリュームにおいて表現されているビデオ信号に対して適用されるカラーマッピングデータを用いて、第1カラーボリュームにおいて表現されているビデオ信号をカラーマッピングする方法であって、
前記カラーマッピングデータに基づくカラーマッピングが当該ビデオ信号に直接に適用されるべきかどうか、又は前記カラーマッピングデータに基づく前記カラーマッピングが前記第2カラーボリュームへの当該ビデオ信号のカラーマッピングの後に当該ビデオ信号に適用されるべきかどうかを表すインジケータを取得すること(14)と、
前記インジケータに応答して前記カラーマッピングデータから当該ビデオ信号をカラーマッピングすること(14,16)と
を有する方法。
(付記2)
前記インジケータは、前記第2カラーボリュームを指す、
付記1に記載の方法。
(付記3)
前記インジケータに応答して前記カラーマッピングデータから当該ビデオ信号をカラーマッピングすること(14,16)は、前記インジケータが前記第1カラーボリュームと同じ第2カラーボリュームを指す場合に当該ビデオ信号に対して直接に前記カラーメタデータを適用することと、さもなければ、前記第2カラーボリュームへの当該ビデオ信号のカラーマッピングの後に当該ビデオ信号に対して前記カラーメタデータを適用することとを有する、
付記2に記載の方法。
(付記4)
前記インジケータを取得することは、前記インジケータを復号することを有する、
付記1乃至3のうちいずれかに記載の方法。
(付記5)
第2カラーボリュームにおいて表現されているビデオ信号に対して適用されるカラーマッピングデータを用いて、第1カラーボリュームにおいて表現されているビデオ信号をカラーマッピングするデバイスであって、
前記カラーマッピングデータに基づくカラーマッピングが当該ビデオ信号に直接に適用されるべきかどうか、又は前記カラーマッピングデータに基づく前記カラーマッピングが前記第2カラーボリュームへの当該ビデオ信号のカラーマッピングの後に当該ビデオ信号に適用されるべきかどうかを表すインジケータを取得し、
前記インジケータに応答して前記カラーマッピングデータから当該ビデオ信号をカラーマッピングする
よう構成される少なくとも1つのプロセッサを有するデバイス。
(付記6)
前記インジケータは、前記第2カラーボリュームを指す、
付記5に記載のデバイス。
(付記7)
前記インジケータに応答して前記カラーマッピングデータから当該ビデオ信号をカラーマッピングすることは、前記インジケータが前記第1カラーボリュームと同じ第2カラーボリュームを指す場合に当該ビデオ信号に対して直接に前記カラーメタデータを適用することと、さもなければ、前記第2カラーボリュームへの当該ビデオ信号のカラーマッピングの後に当該ビデオ信号に対して前記カラーメタデータを適用することとを有する、
付記6に記載のデバイス。
(付記8)
前記インジケータを取得することは、前記インジケータを復号することを有する、
付記5又は7に記載のデバイス。
(付記9)
所与のカラーボリュームにおいて適用されるカラーマッピングデータを有する、符号化された信号と、
前記カラーマッピングデータに基づくカラーマッピングがビデオ信号に直接に適用されるべきかどうか、又は前記カラーマッピングデータに基づく前記カラーマッピングが前記所与のカラーボリュームへの前記ビデオ信号のカラーマッピングの後に前記ビデオ信号に適用されるべきかどうかを表すインジケータと
を有する記憶媒体。
(付記10)
前記信号は、前記ビデオ信号を更に有する、
付記9に記載の記憶媒体。
(付記11)
前記インジケータは、前記所与のカラーボリュームを指す、
付記9又は10に記載の記憶媒体。

Claims (11)

  1. 第2カラーボリュームにおいて表現されているビデオ信号に対して適用されるカラーマッピングデータを用いて、第1カラーボリュームにおいて表現されているビデオ信号をカラーマッピングする方法であって、
    前記カラーマッピングデータに基づくカラーマッピングが当該ビデオ信号に直接に適用されるべきかどうか、又は前記カラーマッピングデータに基づく前記カラーマッピングが前記第2カラーボリュームへの当該ビデオ信号のカラーマッピングの後に当該ビデオ信号に適用されるべきかどうかを表すインジケータを取得することと、
    前記インジケータに応答して前記カラーマッピングデータから当該ビデオ信号をカラーマッピングすることと
    を有する方法。
  2. 前記インジケータは、前記第2カラーボリュームを指す、
    請求項1に記載の方法。
  3. 前記インジケータに応答して前記カラーマッピングデータから当該ビデオ信号をカラーマッピングすることは、前記インジケータが前記第1カラーボリュームと同じ第2カラーボリュームを指す場合に当該ビデオ信号に対して直接に前記カラーメタデータを適用することと、さもなければ、前記第2カラーボリュームへの当該ビデオ信号のカラーマッピングの後に当該ビデオ信号に対して前記カラーメタデータを適用することとを有する、
    請求項2に記載の方法。
  4. 前記インジケータを取得することは、前記インジケータを復号することを有する、
    請求項1乃至3のうちいずれかに記載の方法。
  5. 第2カラーボリュームにおいて表現されているビデオ信号に対して適用されるカラーマッピングデータを用いて、第1カラーボリュームにおいて表現されているビデオ信号をカラーマッピングするデバイスであって、
    前記カラーマッピングデータに基づくカラーマッピングが当該ビデオ信号に直接に適用されるべきかどうか、又は前記カラーマッピングデータに基づく前記カラーマッピングが前記第2カラーボリュームへの当該ビデオ信号のカラーマッピングの後に当該ビデオ信号に適用されるべきかどうかを表すインジケータを取得し、
    前記インジケータに応答して前記カラーマッピングデータから当該ビデオ信号をカラーマッピングする
    よう構成される少なくとも1つのプロセッサを有するデバイス。
  6. 前記インジケータは、前記第2カラーボリュームを指す、
    請求項5に記載のデバイス。
  7. 前記インジケータに応答して前記カラーマッピングデータから当該ビデオ信号をカラーマッピングすることは、前記インジケータが前記第1カラーボリュームと同じ第2カラーボリュームを指す場合に当該ビデオ信号に対して直接に前記カラーメタデータを適用することと、さもなければ、前記第2カラーボリュームへの当該ビデオ信号のカラーマッピングの後に当該ビデオ信号に対して前記カラーメタデータを適用することとを有する、
    請求項6に記載のデバイス。
  8. 前記インジケータを取得することは、前記インジケータを復号することを有する、
    請求項5又は7に記載のデバイス。
  9. 所与のカラーボリュームにおいて適用されるカラーマッピングデータを有する、符号化された信号と、
    前記カラーマッピングデータに基づくカラーマッピングがビデオ信号に直接に適用されるべきかどうか、又は前記カラーマッピングデータに基づく前記カラーマッピングが前記所与のカラーボリュームへの前記ビデオ信号のカラーマッピングの後に前記ビデオ信号に適用されるべきかどうかを表すインジケータと
    を有する記憶媒体。
  10. 前記信号は、前記ビデオ信号を更に有する、
    請求項9に記載の記憶媒体。
  11. 前記インジケータは、前記所与のカラーボリュームを指す、
    請求項9又は10に記載の記憶媒体。
JP2017518293A 2014-10-17 2015-10-01 カラーマッピングデータに基づきビデオ信号をカラーマッピングする方法、ビデオ信号及びカラーマッピングデータを符号化する方法、並びに対応するデバイス Active JP6693949B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14306650.4 2014-10-17
EP14306650.4A EP3010231A1 (en) 2014-10-17 2014-10-17 Method for color mapping a video signal based on color mapping data and method of encoding a video signal and color mapping data and corresponding devices
PCT/EP2015/072725 WO2016058835A1 (en) 2014-10-17 2015-10-01 Method for color mapping a video signal based on color mapping data and method of encoding a video signal and color mapping data and corresponding devices

Publications (2)

Publication Number Publication Date
JP2017539111A true JP2017539111A (ja) 2017-12-28
JP6693949B2 JP6693949B2 (ja) 2020-05-13

Family

ID=51846589

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017518293A Active JP6693949B2 (ja) 2014-10-17 2015-10-01 カラーマッピングデータに基づきビデオ信号をカラーマッピングする方法、ビデオ信号及びカラーマッピングデータを符号化する方法、並びに対応するデバイス

Country Status (7)

Country Link
US (2) US10375410B2 (ja)
EP (2) EP3010231A1 (ja)
JP (1) JP6693949B2 (ja)
KR (1) KR102407027B1 (ja)
CN (1) CN107077827B (ja)
TW (1) TWI705430B (ja)
WO (1) WO2016058835A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3010231A1 (en) * 2014-10-17 2016-04-20 Thomson Licensing Method for color mapping a video signal based on color mapping data and method of encoding a video signal and color mapping data and corresponding devices
EP3096516A1 (en) 2015-05-22 2016-11-23 Thomson Licensing Method for color mapping a video signal and method of encoding a video signal and corresponding devices
US10368099B2 (en) * 2016-08-09 2019-07-30 Qualcomm Incorporated Color remapping information SEI message signaling for display adaptation
UA124806C2 (uk) * 2016-10-05 2021-11-24 Долбі Леборетеріз Лайсенсінг Корпорейшн Обмін повідомленнями з інформацією про вихідний колірний об'єм
EA202191618A3 (ru) * 2016-11-29 2022-01-31 Долби Лэборетериз Лайсенсинг Корпорейшн Обмен сообщениями с информацией об исходном цветовом объеме

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2906899B2 (ja) * 1993-01-29 1999-06-21 富士ゼロックス株式会社 色一致処理方法およびその方法を実施するための色一致処理装置
US6094454A (en) * 1997-06-19 2000-07-25 International Business Machines Corporation Multi-spectral image compression and transformation
GB2363019B (en) * 2000-04-07 2004-02-25 Discreet Logic Inc Processing image data
US7764832B2 (en) * 2003-12-16 2010-07-27 Seiko Epson Corporation System and method for processing image data for color space conversion
KR20050120958A (ko) * 2004-06-21 2005-12-26 삼성전자주식회사 확장된 색재현 범위를 갖는 색재현 장치를 위한 색신호처리방법 및 그 처리장치
US7528989B2 (en) * 2004-07-08 2009-05-05 Fuji Xerox Co., Ltd Image processing apparatus and image processing method
JP4625462B2 (ja) * 2004-08-27 2011-02-02 セイコーエプソン株式会社 特定の色空間を利用した画像再生を行う装置、方法、及び、プログラム
US7512262B2 (en) * 2005-02-25 2009-03-31 Microsoft Corporation Stereo-based image processing
JP5157140B2 (ja) 2006-11-29 2013-03-06 ソニー株式会社 記録装置、記録方法、情報処理装置、情報処理方法、撮像装置およびビデオシステム
KR20090014849A (ko) * 2007-08-07 2009-02-11 삼성전자주식회사 이미지처리장치 및 스캔이미지처리방법
US8432968B2 (en) * 2007-10-15 2013-04-30 Qualcomm Incorporated Scalable video coding techniques for scalable bitdepths
CN101594545B (zh) * 2008-05-28 2013-05-22 北京中视中科光电技术有限公司 一种色域扩展系统及方法
US8526727B2 (en) * 2010-06-15 2013-09-03 Xerox Corporation Hierarchical multidimensional lookup table generation
TWI559779B (zh) * 2010-08-25 2016-11-21 杜比實驗室特許公司 擴展影像動態範圍
US8605167B2 (en) * 2010-09-01 2013-12-10 Apple Inc. Flexible color space selection for auto-white balance processing
JP2012063528A (ja) * 2010-09-15 2012-03-29 Fujitsu Ltd 反射型カラー表示素子およびカラー表示装置
JP2012108347A (ja) * 2010-11-18 2012-06-07 Fujitsu Ltd 反射型カラー液晶表示素子および反射型カラー液晶表示装置
GB2487197B (en) * 2011-01-11 2015-06-17 Canon Kk Video encoding and decoding with improved error resilience
US9591302B2 (en) 2012-07-02 2017-03-07 Microsoft Technology Licensing, Llc Use of chroma quantization parameter offsets in deblocking
EP3748969B1 (en) 2012-09-27 2024-01-03 Dolby Laboratories Licensing Corporation Inter-layer reference picture processing for coding standard scalability
US9521393B2 (en) 2013-01-07 2016-12-13 Qualcomm Incorporated Non-nested SEI messages in video coding
BR112015025623B1 (pt) 2013-04-08 2023-02-07 Dolby International Ab Método e codificador para codificar uma tabela de busca de cor tridimensional associada a octantes de uma octree, e método e decodificador para decodificar uma tabela de busca de cor tridimensional de octantes
TWI676389B (zh) 2013-07-15 2019-11-01 美商內數位Vc專利控股股份有限公司 至少一種色彩轉換之編碼方法和編碼器、解碼器、顯示裝置、編碼視訊訊號、電腦程式製品及處理器可讀式媒體
WO2015144566A1 (en) 2014-03-25 2015-10-01 Thomson Licensing An image processing method and a corresponding device
US9313360B2 (en) * 2014-07-30 2016-04-12 Hewlett-Packard Development Company, L.P. Encoding data in an image
JP5995129B2 (ja) * 2014-09-22 2016-09-21 パナソニックIpマネジメント株式会社 再生方法および再生装置
EP3010231A1 (en) * 2014-10-17 2016-04-20 Thomson Licensing Method for color mapping a video signal based on color mapping data and method of encoding a video signal and color mapping data and corresponding devices

Also Published As

Publication number Publication date
US20170302946A1 (en) 2017-10-19
CN107077827B (zh) 2019-11-19
WO2016058835A1 (en) 2016-04-21
KR102407027B1 (ko) 2022-06-10
TW201631570A (zh) 2016-09-01
US10375410B2 (en) 2019-08-06
EP3207705B1 (en) 2021-07-28
CN107077827A (zh) 2017-08-18
EP3010231A1 (en) 2016-04-20
TWI705430B (zh) 2020-09-21
KR20170070057A (ko) 2017-06-21
EP3207705A1 (en) 2017-08-23
US20190306523A1 (en) 2019-10-03
US10771802B2 (en) 2020-09-08
JP6693949B2 (ja) 2020-05-13

Similar Documents

Publication Publication Date Title
US10771802B2 (en) Method for color mapping a video signal based on color mapping data and method of encoding a video signal and color mapping data and corresponding devices
JP2022137130A (ja) 輝度チャネル及び少なくとも1つのクロミナンスチャネルによって表される画像データを含む画像ユニットを符号化/復号する方法及び装置
TWI622288B (zh) 視訊解碼方法
CN113950834B (zh) 用于隐式多变换选择的变换选择
TWI676389B (zh) 至少一種色彩轉換之編碼方法和編碼器、解碼器、顯示裝置、編碼視訊訊號、電腦程式製品及處理器可讀式媒體
KR20200081386A (ko) 제1 이미지로부터 제2 이미지를 생성하기 위한 방법 및 디바이스
US9607349B2 (en) Method and device for determining a set of modifiable elements in a group of pictures
JP6933981B2 (ja) ビデオ信号をカラーマッピングする方法及び対応する装置
JP2018506880A (ja) ピクチャのhdrバージョンをこのピクチャのsdrバージョンに変換する方法および装置
JP2020145707A (ja) 画像データを処理する方法および装置
TW201132110A (en) Bitstream syntax for graphics-mode compression in wireless HD 1.1
CN105144726A (zh) 指示媒体内容的样本的标称范围的定制数据
JP2018528646A (ja) ビデオのエンコード/デコードのための方法および装置
EP2887673A1 (en) Method for coding a sequence of pictures and method for decoding a bitstream and corresponding devices
JP2018524869A (ja) カラーピクチャデータの色差成分を得る方法及び装置
CN112351317A (zh) 一种自适应播放终端播放方法及装置
EP2975849A1 (en) Method for decoding a color mapping table and corresponding device

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170420

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180920

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20181220

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20181227

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190827

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190912

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20191106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200310

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200325

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200416

R150 Certificate of patent or registration of utility model

Ref document number: 6693949

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250