JP2019512985A - ビデオを、領域ごとの後処理パラメータをｓｅｉネスティングメッセージに搬送するビットストリームにコード化する方法及び装置 - Google Patents

ビデオを、領域ごとの後処理パラメータをｓｅｉネスティングメッセージに搬送するビットストリームにコード化する方法及び装置 Download PDF

Info

Publication number
JP2019512985A
JP2019512985A JP2018551318A JP2018551318A JP2019512985A JP 2019512985 A JP2019512985 A JP 2019512985A JP 2018551318 A JP2018551318 A JP 2018551318A JP 2018551318 A JP2018551318 A JP 2018551318A JP 2019512985 A JP2019512985 A JP 2019512985A
Authority
JP
Japan
Prior art keywords
supplemental enhancement
enhancement information
message
picture
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018551318A
Other languages
English (en)
Other versions
JP2019512985A5 (ja
JP6993983B2 (ja
Inventor
アンドリヴォン，ピエール
フィリップ ボルデ
フィリップ ボルデ
エドゥアール フランソワ
エドゥアール フランソワ
Original Assignee
インターデジタル ヴイシー ホールディングス， インコーポレイテッド
インターデジタル ヴイシー ホールディングス， インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インターデジタル ヴイシー ホールディングス， インコーポレイテッド, インターデジタル ヴイシー ホールディングス， インコーポレイテッド filed Critical インターデジタル ヴイシー ホールディングス， インコーポレイテッド
Publication of JP2019512985A publication Critical patent/JP2019512985A/ja
Publication of JP2019512985A5 publication Critical patent/JP2019512985A5/ja
Application granted granted Critical
Publication of JP6993983B2 publication Critical patent/JP6993983B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

ビデオを、ビデオを局所的に後処理するためのウィンドウ処理座標を搬送するビットストリームに符号化するための方法及び装置が提示される。このような方法は、− 前記ビデオの少なくとも１つの写真をヒットストリームに符号化すること（３０１）と、− 少なくとも１つのSupplemental Enhancement Informationネスティングメッセージを符号化すること（３０２）とを含み、前記少なくとも１つのSupplemental Enhancement Informationネスティングメッセージを符号化することは、− 前記写真内の領域の位置を表す少なくとも１つのパラメータセットを符号化すること（３０３）と、− 少なくとも１つのSupplemental Enhancement Informationメッセージを符号化すること（３０４）とを含み、前記少なくとも１つのSupplemental Enhancement Informationメッセージは、前記写真の前記領域に含まれるピクセルを処理するための処理情報を符号化する。

Description

１．技術分野
ビデオをビットストリームにコード化する方法及び装置が開示される。対応する復号方法及び装置がさらに開示される。
２．背景技術
メタデータは、ビデオのコンテンツ制作ステージ中又はビデオの復号ステージの直前に生成される。このようなメタデータは、ビデオのバリューチェーン全体に沿って送信され、それにより典型的にはテレビ（ＴＶ）又はセットトップボックス（ＳＴＢ）等の受信機においてポスト復号プロセスが供給される。例えば、このようなメタデータは、受信機又はレンダラがビデオの写真を再構成する際、画像品質若しくはユーザにとってのビデオの認識を改善するため、又は受信機の能力に応じてビデオレンダリングを調整するために適用されるパラメータを含み得る。
ＳＭＰＴＥ標準は、例えば、静的メタデータに関するＳＭＰＴＥ ＳＴ ２０８６、制作環境で使用されるコンテンツ依存又は動的メタデータに関するＳＭＰＴＥ ＳＴ ２０９４等、このようなメタデータを定義している。より詳細には、ＳＴ ２０９４標準は、処理ウィンドウ又は関心対象領域（ＲＯＩ）ごとに適用可能なメタデータを定義している。
このようなメタデータは、例えば、外部コンバータ又はレンダラにおいて実行されるポスト復号プロセスにより使用されるようにするために、ビデオ配信ステージ中にビデオシーケンスのコード化されたビットストリームと共に搬送される必要があり得る。
Supplemental Enhancement Information（ＳＥＩ）メッセージは、Ｈ．２６ｘ標準において明示されている。このようなメッセージにより、メタデータをビデオシーケンスのコード化されたビットストリームと共に搬送することが可能となる。
例えば、幾つかのＳＥＩメッセージは、カラーリマッピング又はポストフィルタリング等のための後処理パラメータを搬送し得る。
しかしながら、このようなＳＥＩメッセージは、再構成された写真全体、すなわち写真上のすべてのピクセル上に適用される後処理パラメータを搬送する。
ＳＴ ２０９４で定義されているウィンドウ／ＲＯＩ処理を可能にする信号処理又はメカニズムは存在しない。
１つの解決策は、別の手段を通じて、各処理ＳＥＩメッセージに関連する処理ウィンドウ座標を伝送することであろう。しかしながら、これによってメタデータキャリアの数が倍増し、メタデータを緩めるか又は不適正に処理する（処理ウィンドウと処理メタデータとの誤った組合せ／順序又は誤った関連付け）リスクが高まる。
したがって、処理ＳＥＩメッセージを画像上でローカルに適用するようになされた符号化／復号方法が求められている。
３．概要
本発明の原理のある態様によれば、ビデオを符号化する方法であって、
− 前記ビデオの少なくとも１つの写真をビットストリームに符号化することと、
− 少なくとも１つのSupplemental Enhancement Informationネスティングメッセージを符号化することと
を含み、前記少なくとも１つのSupplemental Enhancement Informationネスティングメッセージを符号化することは、
− 前記写真内の領域の位置を表す少なくとも１つのパラメータセットを符号化することと、
− 少なくとも１つのSupplemental Enhancement Informationメッセージを符号化することと
を含み、前記少なくとも１つのSupplemental Enhancement Informationメッセージは、前記写真の前記領域に含まれるピクセルを処理するために処理情報、例えばメタデータを復号する、方法が開示される。
本開示により、ビデオの写真を後処理するために、ビデオシーケンスのコード化されたビットストリームを領域ごとの情報と共に搬送することができる。したがって、後処理情報を搬送するＨ．２６ｘ標準による既存のＳＥＩメッセージが再使用可能である。したがって、後処理ＳＥＩメッセージを再定義する必要がない。有利には、本開示は、既存の後処理ＳＥＩメッセージに対し、このようなＳＥＩメッセージにウィンドウ処理を追加することにより、新たな機能を提供する。ウィンドウ処理パラメータは、一貫して同じ情報搬送メカニズム内で関連付けられる。
ビデオを符号化する装置であって、
− 前記ビデオの少なくとも１つの写真をビットストリームに符号化する手段と、
− 少なくとも１つのSupplemental Enhancement Informationネスティングメッセージを符号化する手段と
を含み、前記少なくとも１つのSupplemental Enhancement Informationネスティングメッセージを符号化する前記手段は、
− 前記写真内の領域の位置を表す少なくとも１つのパラメータを符号化する手段と、
− 少なくとも１つのSupplemental Enhancement Informationメッセージを符号化する手段と
を含み、前記少なくとも１つのSupplemental Enhancement Informationメッセージは、前記写真の前記領域に含まれるピクセルを処理するための処理情報を符号化する、装置が開示される。
変形形態において、ビデオを符号化する装置であって、ビデオの少なくとも１つの写真にアクセスするように構成された通信インタフェースと、少なくとも１つのプロセッサであって、
− 少なくとも１つのアクセスされた写真をビットストリームに符号化することと、
− 少なくとも１つのSupplemental Enhancement Informationネスティングメッセージを符号化することと
を行うように構成された少なくとも１つのプロセッサとを含み、前記少なくとも１つのSupplemental Enhancement Informationネスティングメッセージを符号化することは、
− 前記写真内の領域の位置を表す少なくとも１つのパラメータを符号化することと、
− 少なくとも１つのSupplemental Enhancement Informationメッセージを符号化することと
を含み、前記少なくとも１つのSupplemental Enhancement Informationメッセージは、前記写真の前記領域に含まれるピクセルを処理するための処理情報を符号化する、装置が開示される。
１つの実施形態によれば、少なくとも１つのSupplemental Enhancement Informationネスティングメッセージを符号化することは、前記写真内の、前記少なくとも１つのSupplemental Enhancement Informationメッセージが適用される領域の数を示すパラメータをさらに符号化することを含む。このような実施形態により、写真内の、ＳＥＩネスティングメッセージ中に含まれるＳＥＩメッセージを適用すべき幾つかの領域又は処理ウィンドウを定義することが可能となる。したがって、バンド幅の利用が最適化される。
本発明の原理の別の実施形態によれば、少なくとも１つのSupplemental Enhancement Informationネスティングメッセージを符号化することは、Supplemental Enhancement Informationメッセージの数を示すパラメータをさらに符号化することを含む。このような実施形態により、幾つかの後処理ＳＥＩメッセージを、写真の１つ又は複数の領域について定義された１つのＳＥＩネスティングメッセージ中に含めることが可能となる。したがって、それによって同じ意図の又は同じペイロードタイプの幾つかのＳＥＩメッセージを伝送する必要性が低下し、それは、幾つかの処理ウィンドウが重なった場合に後処理動作に関する黙示的な順序をさらに提供する。
本発明の原理のある態様によれば、コード化されたビデオを表すビットストリームを復号する方法であって、
− 前記ビデオの少なくとも１つの写真を前記ビットストリームから復号し、復号された写真を供給することと、
− 少なくとも１つのSupplemental Enhancement Informationネスティングメッセージを復号することであって、
− 前記復号された写真内の領域の位置を表す少なくとも１つのパラメータセットを復号することと、
− 少なくとも１つのSupplemental Enhancement Informationメッセージを復号することと
を含む、復号することと
を含み、前記少なくとも１つのSupplemental Enhancement Informationメッセージは、前記復号された写真の前記領域に含まれるピクセルを処理するための処理情報を含む、方法が開示される。
コード化されたビデオを表すビットストリームを復号する装置であって、
− 前記ビデオの少なくとも１つの写真を前記ビットストリームから復号して、復号された写真を得る手段と、
− 少なくとも１つのSupplemental Enhancement Informationネスティングメッセージを復号する手段と
を含み、前記少なくとも１つのSupplemental Enhancement Informationネスティングメッセージを復号する前記手段は、
− 前記復号された写真内の領域の位置を表す少なくとも１つのパラメータを復号する手段と、
− 少なくとも１つのSupplemental Enhancement Informationメッセージを復号する手段と
を含み、前記少なくとも１つのSupplemental Enhancement Informationメッセージは、前記復号された写真の前記領域に含まれるピクセルを処理するための処理情報を含む、装置が開示される。
変形形態において、復号装置であって、少なくとも１つのストリームにアクセスするように構成された通信インタフェースと、少なくとも１つのプロセッサであって、
− 前記ビデオの少なくとも１つの写真を前記アクセスされたビットストリームから復号し、復号された写真を得ることと、
− 少なくとも１つのSupplemental Enhancement Informationネスティングメッセージを復号することと
を行うように構成された少なくとも１つのプロセッサとを含み、前記少なくとも１つのSupplemental Enhancement Informationネスティングメッセージを復号することは、
− 前記復号された写真内の領域の位置を表す少なくとも１つのパラメータを復号することと、
− 少なくとも１つのSupplemental Enhancement Informationメッセージを復号することと
を含み、前記少なくとも１つのSupplemental Enhancement Informationメッセージは、前記復号された写真の前記領域内に含まれるピクセルを処理するための処理情報を含む、復号装置が開示される。
１つの実施形態によれば、少なくとも１つのSupplemental Enhancement Informationネスティングメッセージを復号することは、前記写真内の、前記少なくとも１つのSupplemental Enhancement Informationメッセージを適用する領域の数を示すメッセージをさらに復号することを含む。
本発明の原理の別の実施形態によれば、少なくとも１つのSupplemental Enhancement Informationネスティングメッセージを復号することは、Supplemental Enhancement Informationメッセージの数を示すパラメータをさらに復号することを含む。
本実施形態は、コンピュータ可読記憶媒体であって、本開示に記載されている実施形態の何れか１つによりビデオをコード化するための命令をその上に記憶したコンピュータ可読記憶媒体も提供する。
本実施形態は、コンピュータ可読記憶媒体であって、本開示に記載されている実施形態の何れか１つによりビデオを復号するための命令をその上に記憶したコンピュータ可読記憶媒体も提供する。
コード化されたビデオを表すビットストリームであって、
− 前記ビデオの１つの写真を表すコード化されたデータと、
− 少なくとも１つのSupplemental Enhancement Informationネスティングメッセージと
を含み、前記少なくとも１つのSupplemental Enhancement Informationネスティングメッセージは、
− 前記写真内の領域の位置を表す少なくとも１つのパラメータと、
− 少なくとも１つのSupplemental Enhancement Informationメッセージと
を含み、前記少なくとも１つのSupplemental Enhancement Informationメッセージは、前記写真の前記領域に含まれるピクセルを処理するための処理情報を符号化する、ビットストリームも開示される。
非一時的プロセッサ可読媒体であって、その上にビットストリームが記憶されており、ビットストリームは、
− 前記ビデオの１つの写真を表すコード化されたデータと、
− 少なくとも１つのSupplemental Enhancement Informationネスティングメッセージと
を含み、前記少なくとも１つのSupplemental Enhancement Informationネスティングメッセージは、
− 前記写真内の領域の位置を表す少なくとも１つのパラメータと、
− 少なくとも１つのSupplemental Enhancement Informationメッセージと
を含み、前記少なくとも１つのSupplemental Enhancement Informationメッセージは、前記写真の前記領域に含まれるピクセルを処理するための処理情報を符号化する、非一時的プロセッサ可読媒体が開示される。
１つの実装形態によれば、本明細書で前述されたビデオをコード化するか又はビデオを復号する方法の異なるステップは、ビデオをコード化／復号する装置のデータプロセッサによって実行されることが意図された１つ又は複数のソフトウェアプログラム又はソフトウェアモジュールプログラム命令によって実行され、これらのソフトウェア命令は、本発明の原理による方法の異なるステップの実行を命じるように設計されている。
コンピュータ又はデータプロセッサによって実行されることが可能なコンピュータプログラムであって、本明細書で前述されたビデオをコード化する方法のステップ又はビデオを復号する方法のステップの実行を命じる命令を含むコンピュータプログラムも開示される。
このプログラムは、あらゆるプログラミング言語を使用でき、ソースコード、オブジェクトコード若しくはソースコードとオブジェクトコードとの中間コード、例えば部分的に編集されたコードの形態、又は他のあらゆる所望の形態をとることができる。
情報キャリアは、プログラムを記憶できるあらゆるエンティティ又は装置であり得る。例えば、キャリアは、ＲＯＭ、例えばＣＤ ＲＯＭ若しくはマイクロエレクトロニック回路ＲＯＭ等の記憶手段、又は再び磁気記録手段、例えばフロッピディスク若しくはハードディスクドライブを含むことができる。
再び、情報キャリアは、電子又は光ケーブルを介して、又は無線により、又は他の手段により伝送可能な電気又は光信号等の伝送可能キャリアであり得る。本発明の原理によるプログラムは、特にインターネット型ネットワークにアップロードできる。
変形形態として、情報キャリアは、プログラムの組み込まれた集積回路であり得、回路は、対象の方法を実行するように又はその実行において使用されるようになされている。
１つの実施形態によれば、方法／装置は、ソフトウェア及び／又はハードウェアコンポーネントによって実行され得る。この点において、「モジュール式」又は「ユニット」という用語は、本明細書では、ソフトウェアコンポーネント及びハードウェアコンポーネント、又はハードウェア及びソフトウェアコンポーネントの集合に同等に対応する。
ソフトウェアコンポーネントは、関係するモジュールのために本明細書で後述される１つの機能又は機能の集合を実行できる１つ若しくは複数のコンピュータプログラム、プログラムの１つ若しくは複数のサブプログラム、又はより一般的にプログラム若しくはソフトウェアの何れかの要素に対応する。このようなソフトウェアコンポーネントは、物理的エンティティ（端末、サーバ等）のデータプロセッサによって実行され、この物理的エンティティのハードウェアリソース（メモリ、記録媒体、通信バス、入力／出力電子基板、ユーザインタフェース等）にアクセスできる。
同様に、ハードウェアコンポーネントは、関係するモジュールのために本明細書で後述される１つの機能又は機能の集合を実行できるハードウェアユニットの何れかの要素に対応する。それは、ソフトウェアを実行するためのプログラム可能なハードウェアコンポーネント又はプロセッサを内蔵したコンポーネント、例えば集積回路、スマートカード、メモリカード、ファームウェアを実行するための電子基板等であり得る。
４．図面の簡単な説明
本発明の原理のある実施形態による、ビデオを表し、領域ごとの後処理パラメータをＳＥＩネスティングメッセージ中に搬送するビットストリームを符号化及び復号するための例示的なシステムを示す。 ビデオからの写真を、コード化されたビデオデータにコード化するための例示的なコーダのブロック図を示す。 ＮＡＬユニットの原理によるコード化された写真のための例示的なアクセスユニットを示す。 コード化されたビデオデータから、ビデオからの写真を復号するための例示的なデコーダのブロック図を示す。 ある実施形態によるビデオを符号化する例示的な方法のブロック図を示す。 ある実施形態によるビデオを復号する例示的な方法のブロック図である。 １つの実施形態で使用され得る例示的なエンコーダを示す。 １つの実施形態で使用され得る例示的なデコーダを示す。 写真内で定義された後処理を適用すべきウィンドウの例示的な処理を示す。
５．実施形態の説明
図１は、本発明の原理のある実施形態による、ビデオを、領域ごとの後処理パラメータをＳＥＩネスティングメッセージに搬送するビットストリームにコード化するための例示的なシステム（１１０）と、前記対応するビットストリームを復号するための例示的なシステム（１０９）とを示す。
図１は、ビデオコンテンツを生成するようになされたビデオ制作モジュール１００を含む。ビデオ制作モジュールは、制作プラットフォームであり得、これは、例えば、ビデオコンテンツを捕捉するためのカメラと、制作者又はカラリストが、捕捉されたライブコンテンツに対して作業して、そのビデオコンテンツに関連する情報、例えばメタデータを生成することができるようにするためのインタフェースとを含む。このような情報により、例えばビデオの写真のカラーグレーディングを行うことによって画像品質を改善し、又はクリエイティブな人々の芸術的意図をよりよく表現することが可能となる。
例えば、受信機の能力に応じて、送信されたビデオのレンダリング品質を調整する必要があり得る。例えば、ＨＤＲ（ハイダイナミックレンジ）写真は、ＳＤＲ（標準ダイナミックレンジ）ディスプレイ又はＨＤＭＩ（登録商標）（高精細マルチメディアインタフェース）等のＳＤＲインタフェースによってサポートされないことがあり得る。この場合、レンダラ又はレンダラの上流の機器（例えば、ＳＴＢ、Blu-ray（登録商標）プレイヤ）が受信したビデオの写真を処理して、ディスプレイの特性又はディスプレイによりサポートされるフォーマットに合わせて調整し得る。レンダリングステージでコンテンツクリエータの芸術的意図を保持するために、そのような処理を制御することが望ましい。
このような処理は、ビデオの写真に関連する後処理情報／メタデータを生成することにより、コンテンツンクリエータにより制御可能である。下記において、「情報」という用語は、「メタデータ」の代わりに使用され得る。そのために、ビデオ制作モジュール１００は、メタデータ生成モジュール１０１を含み、これは、そのような後処理メタデータ（ＭＤ）をビデオ制作モジュールのインタフェースへのコンテンツクリエータの入力に従って出力する。
一例として、図７は、カラリストが、後処理を適用すべき２つの領域Ｒ１、Ｒ２を定義した写真を示す。例えば、カラリストは、まず領域Ｒ１のユーザの認識を強調するために領域Ｒ１に適用すべき処理（又はカラーグレーディング）パラメータＰ１を定義する。次に、カラリストは、ユーザが領域Ｒ２に注目しないようにするために領域Ｒ２に適用すべき処理パラメータＰ２を定義する。この図では、領域は、長方形である。しかしながら、本発明の原理は、長方形以外の領域、例えば楕円、円又は任意の他のパラメトリック形状にも適用される。
写真（又はビデオ）をカラーグレーディングすることは、写真（又はビデオ）の色を変更／強調するプロセスである。通常、写真のカラーグレーディングは、カラーボリューム（色空間及び／又はダイナミックレンジ）の変更又はこの写真に関する色域の変更を含む。したがって、同じ写真の２つの異なるカラーグレーディングバージョンは、この写真の、その値が異なるカラーボリューム（又は色域）で表現されたバージョン、又はその写真の、その色の少なくとも１つが異なるカラーグレードに従って変更／強調されたバージョンである。これには、例えば、カラリストからのユーザインタラクションが含まれ得る。カラリストは、捕捉された写真の第一のカラーグレーディングバージョンの色値に対する制御を、幾つかの色値を微調整／微調節することによって行い、場合により局所的な変化（局所的な信号特性に関して調節するため）で芸術的意図を吹き込む。
カラリストにより定義された制御パラメータは、次に領域Ｒ１のためのパラメータＰ２及び領域Ｒ２のためのＰ２のセットにより表現される。このようなパラメータＰ１及びＰ２のセットは、レンダリング前に適用する後処理メタデータを定義する。ある実施形態によれば、後処理メタデータは、ビデオコンテンツの写真の少なくとも１つの領域に適用される。パラメータＭＤのセットは、したがって、写真内の領域（Ｒ１、Ｒ２）の位置特定を可能にする座標と、領域に適用すべき後処理ステップを定義するパラメータ（Ｐ１、Ｐ２）とを含む。
図１に戻ると、ビデオ制作モジュール１００は、ビデオコンテンツを写真シーケンス（ＰＩＣ）及びメタデータセット（ＭＤ）の形態で入力としてビデオエンコーダ１０２に供給する。
このようなビデオエンコーダ１０２は、本発明の原理のある実施形態により、ビデオの写真ＰＩＣのビットストリームへの符号化と、メタデータセット（ＭＤ）の前記ビットストリームへの符号化とを実行する。ビデオエンコーダ１０２は、写真ＰＩＣの符号化をＨ．２６６、ＨＥＶＣ／Ｈ．２６５、ＡＶＣ／Ｈ．２６４又は何れかの所有権保護されたビデオコーディングシステム等の何れかのビデオコーディング標準に従って実行する。
従来、ビデオエンコーダ１０２は、図２Ａに示されるように、ブロックごとのビデオ符号化のための幾つかのモジュールを含み得る。符号化すべき写真ＰＩＣがエンコーダ１０２に入力される。エンコーダ１２０は、写真のうち、コード化すべきブロックのためのコーディングモードを例えばレート／歪最適化に基づいて選択するためのコード選択ユニットを含み、このようなコード選択ユニットは、
− 写真のうち、コード化すべき１つの現在のブロックと参照写真との間の動きを推測するための動き推測モジュールと、
− 推測される動きを用いて現在のブロックを予測するための動き補償モジュールと、
− 現在のブロックを空間的に予測するためのイントラ予測モジュールと
を含む。
モード選択ユニットは、デコーダで同じブロック予測を実行するために、予測ブロックＰＲＥＤと、ビットストリーム内でコード化すべき対応するシンタックス要素とを供給する。
次に、コード化すべき写真のブロック及び予測ブロックＰＲＥＤから残留ブロックＲＥＳが得られる。残留ブロックＲＥＳは、変換モジュールによって変換され、量子化モジュールによって量子化されて、量子化された残留変換係数ＣＯＥＦが供給される。
シンタックス要素及び量子化された残留変換係数ＣＯＥＦは、次にエントロピコーディングモジュールに入力されて、コード化されたビデオデータが供給される。
量子化された残留変換係数ＣＯＥＦは、逆量子化モジュール及び逆変換モジュールによって処理されて、残留ブロックＲＥＳ’が再構成される。予測ブロックＰＲＥＤが再構成される残留ブロックＲＥＳ’に追加されて、ブロックが再構成され、再構成された現在の写真ＲＥＣが形成される。再構成された現在の写真ＲＥＣは、次に、ビデオコンテンツの次の写真を符号化するための参照写真として後で使用するために参照フレームメモリに追加される。
図１に戻ると、ある実施形態によれば、エンコーダ１０２は、コード化されたビデオデータ及びメタデータセットＭＤを含む符号化されたビットストリームＳＴＲを供給するようになされたストリーム生成モジュール１０８も含む。
コード化されたビデオデータをトランスポート層にマッピングするために、ビデオコード化標準のほとんどは、Network Abstraction Layer Unit（ＮＡＬＵ）原理を使用する。この原理によれば、コード化されたビデオデータは、ＮＡＬユニットと呼ばれるデータユニットシーケンスへ整理され、アクセスユニットに形成される。
図２Ｂに示されるように、アクセスユニットＡＵは、まとめて同じ出力時間に対応する写真を表す１つ又は複数のＮＡＬユニットの群を含む。アクセスユニット内の１つ又は複数のＮＡＬユニットは、まとめて同じ出力時間に対応する写真を構成する１つ又は複数のビデオコーディング層（ＶＣＬ）ＮＡＬユニット（２３、２４）の群と、ゼロ又はそれを超える非ＶＣＬ ＮＡＬユニット（すなわちＶＣＬ ＮＡＬユニットではないＮＡＬユニット）とを含む。
ＶＣＬ ＮＡＬユニットは、コード化されたビデオデータのスライスセグメントを搬送する。非ＶＣＬ ＮＡＬユニットは、典型的に制御情報を含む。
アクセスユニット内に存在し得る１つのタイプの非ＶＣＬ ＮＡＬユニットは、Supplemental Enhancement Information（ＳＥＩ）ＮＡＬユニットであり、これは、復号されたビデオ信号の可用性を向上させ得るが、一般的にはそのために必要でない補足的データを含む。ＳＥＩメッセージは、コード化されたビデオデータに関連する各種のメタデータを含み得、これは、例えば、写真出力タイミング、表示、色空間の解釈及び／又はフレームパッキングに関連する情報を提供し得る。
図１に戻ると、ストリーム生成モジュール１０８は、ビデオコンテンツの１つの写真について、写真ＰＣＩに対応するコード化されたビデオデータをアクセスユニットのＶＣＬ ＮＡＬユニットへ整理し、メタデータセットＭＤをＳＥＩ ＮＡＬユニットに符号化し、これは、以下では処理ウィンドウネスティングＳＥＩメッセージと呼ばれる。
本開示の１つの実施形態において、このような処理ウィンドウネスティングＳＥＩメッセージは、、シンタックス要素のセマンティクスが以下のとおりである、表１により示されるような以下の構造を有する。
Figure 2019512985
pw_idは、１つ又は複数の処理ウィンドウの目的を特定するために使用され得る特定番号を含む。pw_idの値は、０〜２３２−２の範囲（両端値を含む）とする。
０〜２５５及び５１２〜２３１−１のpw_idの値は、用途により決定されて使用され得る。２５６〜５１１及び２３１〜２３２−２のpw_idの値は、ＩＴＵ−Ｔ｜ＩＳＯ／ＩＥＣが将来使用するために留保される。２５６〜５１１（両端値を含む）又は２３１〜２３２−２（両端値を含む）のpw_idの値に遭遇したデコーダは、それを無視する。
pw_rect_left_offset、pw_right_offset、pw_rect_top_offset及びpw_rect_bottom_offsetは、メタデータセット内の写真のサンプルを、写真座標で明示される長方形の領域として特定する。存在しない場合、pw_rect_left_offset、pw_rect_right_offset、pw_rect_top_offset及びpw_rect_bottom_offsetは、０と等しいと推測される。
処理ウィンドウは、４：４：４彩度フォーマットについて特定される。これは、色サンプル、すなわちピクセルと共にpw_rect_left_offsetからpic_width_in_luma_samples-(pw_rect_right_offset+1)への水平写真座標及びpw_rect_top_offsetからpic_height_in_luma_sample-(pw_rect_bottom_offset+1)への垂直写真座標（両端値を含む）を含み、pic_width_in_luma_sampelsは、水平軸による写真の輝度成分のピクセル数に対応し、pic_height_in_luma_samplesは、垂直軸による写真の輝度座標のピクセル数に対応する。
(pw_rect_left_offset+pw_rect_righ_offset)の値は、pic_width_in_luma_samplesより小さいものとし、(pw_rect_top_offset+pw_rect_bottom_offset)の値は、pic_height_in_luma_samplesより小さいものとする。
pw_nesting_zero_bitは、０と等しいものとする。
領域が長方形ではない場合、写真内のその領域の位置特定を可能にするパラメータは、pw_rect_left_offset、pw_right_offset、pw_rect_top_offset及びpw_rec_bottom_offsetと異なり得る。一例として、円の場合、その中心の位置とその半径とは、写真内のその位置の特定を可能にするパラメータである。
シンタックス構造「sei_message()」は、強調情報、すなわち表１に示される写真座標により定義される長方形の領域に含まれるピクセルに適用されるべき後処理パラメータを含むＳＥＩメッセージに対応する。
表１により示される実施形態によれば、１つのＳＥＩメッセージのみが、処理ウィンドウネスティングＳＥＩメッセージ中で定義される領域に適用されることになる。その領域に適用されるべきＳＥＩメッセージは、処理ウィンドウネスティングＳＥＩメッセージ中にネスティングされるメッセージである。
他の実施形態によれば、処理ウィンドウネスティングメッセージは、現在の写真内の、ＳＥＩメッセージが適用される領域の数を示すパラメータと、ある領域に適用されるべきＳＥＩメッセージの数を示すパラメータとを含み得る。
処理ウィンドウネスティングＳＥＩメッセージの構造の別の実施形態が表２に示されている。表２において、ウィンドウと特定のＳＥｉメッセージとの間の関係、より正確にはある領域と特定のＳＥＩメッセージとの関連付けは、セマンティクスにおいて又はアプリケーションレベルで示され得る。「sei_message()」と領域との関連付けも追加の関連付けテーブルで特定され得る。
Figure 2019512985
（前の実施形態に対する）追加のセマンティクスは、以下のとおりである：pw_rect_cnt_minus1プラス１は、ｉ番目にネスティングされたsei_message()中の処理ウィンドウ（すなわち領域）の数を特定する。pw_rect_cnt_minus1の値は、０〜１５（両端値を含む）の範囲とする。
pw_rect_left_offset[i]、pw_right_offset[i]、pw_rect_top_offset[i]及びpw_rect_bottom_offset[i]は、ｉ番目のメタデータセット中の写真のサンプルを、写真座標において明示される長方形の領域として明示する。存在しない場合、pw_rect_left_offset[i]、pw_rect_right_offset[i]、pw_rect_top_offset[i]及びpw_rect_bottom_offset[i]は、０と等しいと推定される。
処理ウィンドウは、４：４：４彩度フォーマットについて特定される。これは、色サンプルと共にpw_rect_left_offset[i]からpic_width_in_luma_samples-(pw_rect_right_offset[i]+1)への水平写真座標及びpw_rect_top_offset[i]からpic_height_in_luma_sample-(pw_rect_bottom_offset[i]+1)への垂直写真座標（両端値を含む）を含む。
(pw_rect_left_offset[i]+pw_rect_righ_offset[i])の値は、pic_width_in_luma_samplesより小さいものとし、(pw_rect_top_offset[i]+pw_rect_bottom_offset[i])の値は、pic_height_in_luma_samplesより小さいものとする。
pw_set_cnt_minus1プラス１は、処理ウィンドウネスティングメッセージ中に含まれるＳＥＩメッセージ構造の数を明示する。
sei_message()は、インタラクティブループ内で呼ばれた場合、同じ（すなわち同じペイロードタイプ）であると考えられ得ることに留意されたい。
処理ウィンドウネスティングＳＥＩメッセージの構造の別の実施形態が表３Ａ又は３Ｂに示されている。表３Ａでは、ＳＥＩメッセージ（sei_message()）が領域ごとに定義される一方、表３Ｂでは、定義されたすべての領域に適用される１つのＳＥＩメッセージが定義される。
Figure 2019512985
Figure 2019512985
この現在の実施形態に関するセマンティクスは、前述の前の実施形態と同じである。
ストリーム生成モジュール１０８は、メタデータセットＭＤを、すべてのシンタックス要素を表１〜３で上述した実施形態の何れかに従って符号化することにより符号化する。シンタックス要素は、エントロピコーダ、例えば図２Ａのエントロピコーダにより符号化され得る。
図１のストリーム生成モジュール１０８は、ビデオコンテンツのすべての又は特定の数の写真ＰＩＣ（写真群、すなわちＧＯＰに対応する）がエンコーダ１０２により符号化されたとき、又は例えばライブコンテンツの各写真の符号化後に動作し得る。ストリーム生成モジュール１０８は、その後、符号化されたストリームＳＴＲを送信機１０３に供給し、このようなストリームが送信されるようにする。
送信機１０３は、符号化されたビットストリームＳＴＲを受信し、符号化されたビットストリームを１つ又は複数の出力信号ＳＩＧにおいて送信する。典型的な送信機は、例えば、エラー補正コーディングの提供、信号内のデータのインタリービング、信号内のエネルギーのランダム化及びモジュレータ（図示せず）を使用した１つ又は複数のカメラへの信号の変調の１つ又は複数等の機能を実行する。送信機１０３は、アンテナ（図示せず）を含んでいるか、又はそれと接続され得る。さらに、送信機１０３の実装形態は、変調器に限定され得る。送信機１０３は、衛星、ケーブル、電話線又は地上放送等、様々な媒体で出力信号を送信し得る。出力信号は、インターネット又は他の何れかのネットワークで送信され得る。図１に示されるシステムはまた、記憶ユニット（図示せず）と通信可能に連結され得る。１つの実装形態において、記憶ユニットは、エンコーダ１０２に連結され、エンコーダ１０２からの符号化されたビットストリームを記憶する。別の実施形態において、記憶ユニットは、送信機１０３に連結され、送信機１０３からのビットストリームを記憶する。記憶ユニットは、異なる実装形態において、標準ＤＶＤ、Blu-Rayディスク、ハードドライブ又は他の何れかの記憶デバイスの１つ又は複数であり得る。
１つ又は複数の信号ＳＩＧは、次に復号システム１０９により受信される。このような復号システム１０９は、例えば、携帯電話、コンピュータ、セットトップボックス、テレビ、光ディスクプレイヤ又は符号化されたビデオを受信し、例えば復号されたビデオ信号を表示（例えば、ユーザに対する表示）のため、処理のため、又は記憶のために提供する他の装置であり得る。
復号システム１０９は、データ情報を受信し、処理することができる。受信するシステム又は装置１０９は、符号化された信号ＳＩＧを受信するための受信機１０４を含む。
受信機１０４は、例えば、符号化された写真を表す複数のビットストリームを有するプログラム信号を受信するようになされ得る。典型的な受信機は、例えば、変調され、符号化されたデータ信号の受信、復調器（図示せず）を用いた１つ又は複数のキャリアからのデータ信号の復調、信号内のエネルギーのデランダマイズ、信号中のデータのデインタリービング及び信号のエラー補正復号の１つ又は複数等の機能を実行する。受信機１０４は、アンテナ（図示せず）を含むか又はそれと接続され得る。受信機１０４の実装形態は、復調器に限定され得る。
次に、受信機１０４は、符号化されたビットストリームＳＴＲをビデオデコーダ１０５に供給する。
ビデオデコーダ１０５は、ビットストリームＳＴＲを解析して、復号する写真に対応するアクセスユニットＡＵを抽出するようになされたストリームパーサ（図示せず）を含む。ストリームパーサは、ＡＵから、アクセスユニットのＶＬＣ ＮＡＬユニット及びＳＥＩ ＮＡＬユニットからコード化されたビデオデータを抽出するようにもなされている。ストリームパーサは、例えば、処理ウィンドウネスティングＳＥＩメッセージをＳＥＩ ＮＡＬユニットから抽出する。処理ウィンドウネスティングＳＥＩメッセージをＳＥＩ ＮＡＬユニットから抽出する処理ウィンドウネスティングＳＥＩメッセージのシンタックス要素は、コード化ステージ中に使用されるシンタックスに従って復号される。例えば、シンタックス要素は、図２Ｃのエントロピデコーダにより復号される。処理ウィンドウネスティングＳＥＩメッセージの復号により、後処理メタデータセットＭＤを得ることができる。
処理ウィンドウネスティングＳＥＩメッセージの復号は、ストリームパーサ自体により、又はメッセージ内で定義される後処理ステップを適用するようになされたポストプロセッサにより実行され得る。メタデータセットＭＤは、写真内の、後処理が適用される領域の位置特定を可能にする座標（左オフセット、右オフセット、上オフセット及び下オフセット）及びその領域に適用される後処理ステップを定義するパラメータを含む。メタデータセットＭＤは、同じ後処理が適用される幾つかの領域及び／又は異なる後処理が適用される幾つかの領域を含み得る。
次に、コード化されたビデオデータは、ビデオデコーダ１０５のビデオ復号モジュールに渡される。ビデオデコーダ１０５は、図２Ｃに示されているようなビデオ復号モジュールを含み得る。
図２Ｃに示されるように、ビデオコード化データは、エントロピ復号モジュールに渡され、これは、エントロピ復号を実行して、量子化された係数ＣＯＥＦを逆量子化モジュールに、またシンタックス要素を予測モジュールに供給する。
量子化された係数ＣＯＥＦは、逆量子化モジュールによって逆量子化され、逆変換モジュールによって逆変換されて、残留ブロックデータＲＥＳ’が供給される。予測モジュールは、シンタックス要素に従って、また現在のブロックがインタ予測された場合にはモーション補償モジュールを用い、現在のブロックが空間的に予測された場合にはイントラ予測モジュールを用いて予測ブロックＰＲＥＤを構築する。再構成された写真Ｄ＿ＰＩＣは、予測ブロックＰＲＥＤ及び残留ブロックＲＥＳ’を加えることによって得られる。再構成された写真Ｄ＿ＰＩＣは、後に参照フレームとして使用するために参照フレームメモリに追加される。
再構成された写真Ｄ＿ＰＩＣは、その後、ビデオデコーダ１０５により出力される。
図１に戻ると、ビデオデコーダ１０５により出力された再構成された写真Ｄ＿ＰＩＣは、メタデータセットＭＤと共にポストプロセッサ１０６に入力される。幾つかの実施形態において、デコーダ装置１０５は、セットトップボックス内に含まれ得る。
ポストプロセッサ１０６は、メタデータセットＭＤ中で定義された後処理パラメータを、メタデータセットＭＤ中で示された座標により定義される領域に適用する。一例として、図７は、再構成された写真Ｄ＿ＰＩＣの、後処理Ｐ１及びＰ２をそれぞれ適用すべき２つの領域Ｒ１及びＲ２を示す。例えば、領域Ｒ１のためのカラーグレーディング又は処理動作を定義する第一のパラメータセットＰ１は、処理ウィンドウＳＥＩメッセージ中にネスティングされるＳＥＩメッセージにコード化されており、領域Ｒ２のための別のカラーグレーディング又は処理動作を定義する第二のパラメータセットＰ２は、処理ウィンドウＳＥＩメッセージ中にネスティングされる別のＳＥＩメッセージにコード化されている。このような例は、表２又は３に示されるようなシンタックスを用いて１つの処理ウィンドウネスティングＳＥＩメッセージに、又は表１により示されるシンタックスを用いて２つの別々の処理ウィンドウネスティングＳＥＩメッセージ中にコード化され得る。
図７の例において、ポストプロセッサ１０６は、後処理パラメータＰ１を、写真Ｄ＿ＰＩＣの領域Ｒ１に含まれるピクセルに適用し、後処理パラメータＰ２を、Ｄ＿ＰＩＣの領域Ｒ２に含まれるピクセルに適用する。
ポストプロセッサ１０６は、次に、処理された写真Ｐ−ＰＩＣをレンダラ１０７に出力する。
幾つかの実施形態において、ポストプロセッサ１０６は、レンダラ１０７又はデコーダ装置１０５に含まれ得る。
したがって、レンダラ１０７は、例えば、テレビの画面、コンピュータモニタ、コンピュータ（記憶、処理又は表示用）又は他の何れかの記憶、処理若しくは表示装置であり得る。
レンダラ１０７は、デコーダ１０５及びポストプロセッサ１０６と同じ装置に埋め込まれ得る。
本開示の１つの実施形態は、ビデオをコード化する方法に関する。図３は、本開示の１つの実施形態によるこのようなビデオのコード化方法のブロック図を示す。
ビデオコード化方法は、ステップ３００から始まる。ステップ３０１では、ビデオの写真がビットストリームに符号化される。例えば、図２Ａに関して説明した、写真をコード化する符号化装置が使用され得る。ステップ３０２では、少なくとも１つのSupplemental Enhancement Informationネスティングメッセージが符号化される。このようなＳＥＩネスティングメッセージは、本開示では処理ウィンドウＳＥＩメッセージとも呼ばれる。ステップ３０２は、前記写真内の領域の位置を表すパラメータの少なくとも１つのセットを符号化するサブステップ３０３を含む。例えば、このようなパラメータセットは、図７の領域Ｒ１の座標であり得、これは、写真の左境界からの左オフセット、写真の右境界から定義される右オフセット、写真の上境界から定義される上オフセット及び写真の下境界から定義される下オフセットにより定義される。このような座標により、その写真内の長方形の領域Ｒ１を定義できる。したがって、領域Ｒ１からのピクセルは、後処理中に容易に位置特定され得る。
ステップ３０２は、少なくとも１つのSupplemental Enhancement Informationメッセージ（ＳＥＩ）を符号化するサブステップ３０４も含む。このようなＳＥＩメッセージのペイロードは、その写真の前記領域に含まれるピクセルを処理するための処理メタデータを符号化する。このようなＳＥＩメッセージ中で符号化するシンタックス及びパラメータは、その領域に行われる処理のタイプに依存する。本開示の利点は、既存のＳＥＩメッセージの再使用が可能となることである。したがって、このようなＳＥＩメッセージのシンタックス及びコード化についてここでさらに説明しない。このようなＳＥＩメッセージの例は、ＡＣＶ／Ｈ．２６４又はＨＥＶＣ／ＩＴＵ−Ｔ Ｈ２６５ High Efficiency Video Coding等の標準の定義において開示されている。このようなＳＥＩメッセージは、２０１５年４月のＩＴＵ−Ｔ Ｈ．２６５の付属書Ｅで定義されている。セクション２．１５のtone_mapping_info()、セクションＤ２．１４のpost_filter_hint()及びセクションＤ２．３２のcolour_remapping_info()は、ネスティングＳＥＩにネスティングされ得るこのようなＳＥＩメッセージの例である。
ステップ３０１及び３０２は、コード化する必要のあるビデオコンテンツの各写真について実行される。ステップ３０２は、制作ステージ中に１つの写真についてメタデータが生成されたか否かに応じて、ビデオコンテンツの幾つかの写真に対してのみ必要であり得る。
次に、ビデオコード化方法は、ステップ３０５で終了する。
別の実施形態によれば、ステップ３０２は、前記写真内で前記少なくとも１つのＳＥＩメッセージを適用する領域の数Ｒを示すパラメータの符号化を実行するサブステップ３０６（図示せず）をさらに含む。この実施形態において、前記写真内のＲ個の領域は、後処理を必要とし、これらのＲ個の領域の各々の座標を符号化する必要がある。
したがって、このような数が１より大きい場合、サブステップ３０３は、Ｒ個の領域の各々の座標が符号化されるまで繰り返される。このような実施形態は、表２又は３に示されている。
別の実施形態によれば、ステップ３０２は、後処理ＳＥＩメッセージの数Ｎを示すパラメータの符号化を実行するサブステップ３０７をさらに含む。この実施形態において、Ｎ個のＳＥＩメッセージ、すなわち後処理パラメータのＮ個のセットをＳＥＩネスティングメッセージ中で符号化しなければならない。したがって、このような数が１より大きい場合、サブステップ３０４は、Ｎ個と等しい数のＳＥＩメッセージが符号化されるまで繰り返される。このような実施形態は、表２に示されている。
本開示の１つの実施形態は、ビデオを復号する方法を示す。図４は、本開示の１つの実施形態によるこのようなビデオの復号方法のブロック図を示す。
ビデオ復号方法は、ステップ４００から始まる。ステップ４０１では、ビデオの写真がビットストリームから復号され、復号された写真が供給される。例えば、図２Ｃに関して説明した写真を復号するための復号装置が使用され得る。ステップ４０２では、少なくとも１つのSupplemental Enhancement Informationネスティングメッセージが復号される。このようなＳＥＩネスティングメッセージは、本開示では処理ウィンドウＳＥＩメッセージとも呼ばれる。ステップ４０２は、前記写真内の領域の位置を表す少なくとも１つのパラメータセットを復号するサブステップ４０３を含む。例えば、このようなパラメータセットは、図７の領域Ｒ１の座標であり得、これは、写真の左境界からの左オフセット、写真の右境界から定義される右オフセット、写真の上境界から定義される上オフセット及び写真の下境界から定義される下オフセットにより定義される。このような座標により、写真内の長方形の領域Ｒ１を定義することが可能となる。また、したがって、領域Ｒ１のピクセルは、後処理中に容易に位置特定できる。
ステップ４０２は、少なくとも１つのSupplemental Enhancement Informationメッセージ（ＳＥＩ）を復号するサブステップ４０４も含む。このようなＳＥＩメッセージのペイロードは、写真の前記領域に含まれるピクセルを処理するための処理メタデータを含む。
ステップ４０１及び４０２は、復号する必要のあるビデオコンテンツの各写真について実行される。ステップ４０２は、タイプ処理ウィンドウネスティングメッセージのＳＥＩネスティングメッセージを含む少なくとも１つのＳＥＩ ＮＡＬユニットが現在の写真に対応するアクセスユニット内に存在する場合にのみ必要であり得る。このようなＳＥＩ ＮＡＬユニットがアクセスユニット内にない場合、これは、領域ごとの処理のためのメタデータがビデオコード化データと共に送信されなかったことを意味する。その後、ビデオ復号方法は、ステップ４０５で終了する。
別の実施形態によれば、ステップ４０２は、前記写真内の、前記少なくとも１つのＳＥＩメッセージが適用される領域の数Ｒを示すパラメータの復号を実行するサブステップ４０６（図示せず）をさらに含む。この実施形態において、前記写真内のＲ個の領域を後処理する必要があり、これらのＲ個の領域の各々の座標を復号する必要がある。
したがって、このような数が１より大きい場合、サブステップ４０３は、Ｒ個の領域の各々の座標が復号されるまで繰り返される。このような実施形態は、表２又は３に示されている。
別の実施形態によれば、ステップ４０２は、ＳＥＩメッセージの数Ｎを示すパラメータの復号を実行するサブステップ４０７をさらに含む。この実施形態において、Ｎ個のＳＥＩメッセージ、すなわち後処理パラメータのＮ個のセットをＳＥＩネスティングメッセージ中で復号しなければならない。したがって、このような数が１より大きい場合、サブステップ４０４は、Ｎ個と等しい数のＳＥＩメッセージが復号されるまで繰り返される。このような実施形態は、表２に示されている。
図５は、ある実施形態によるビデオをコード化する装置（ＥＮＣＯＤＥＲ）の簡略化した構造を示す。このようなビデオコード化装置は、図１〜３に関して上述した本発明の原理によるビデオのコード化方法を実行するように構成される。図５のエンコーダ装置は、一例として、図１において説明されているエンコーダ１０２であり得る。
図５に示される例において、エンコーダ装置は、処理ユニットＰＲＯＣを含み、これは、例えば、プロセッサを備え、メモリＭＥＭに記憶されたコンピュータプログラムＰＧにより駆動され、本発明の原理によるビデオコード化方法を実行する。
エンコーダ装置ＥＮＣＯＤＥＲは、
− 前記ビデオの少なくとも１つの写真をビットストリームに符号化することと、
− 少なくとも１つのSupplemental Enhancement Informationネスティングメッセージを符号化することと
を行うように構成され、前記少なくとも１つのSupplemental Enhancement Informationネスティングメッセージを符号化する際、エンコーダは、
− 前記写真内の領域の位置を表す少なくとも１つのパラメータセットを符号化することと、
− 少なくとも１つのSupplemental Enhancement Informationを符号化することと
を行うようにさらに構成され、前記少なくとも１つのSupplemental Enhancement Informationメッセージは、前記写真の前記領域に含まれるピクセルを処理するための処理メタデータを符号化する。
初期化において、コンピュータプログラムＰＧのコード命令は、例えば、ＲＡＭ（図示せず）にロードされ、その後、処理ユニットＰＲＯＣのプロセッサによって実行される。処理ユニットＰＲＯＣのプロセッサは、コンピュータプログラムＰＧの命令に従って、上述したビデオコード化方法のステップを実行する。
任意選択により、エンコーダ装置ＥＮＣＯＤＥＲは、符号化されたビットストリームをデコーダに送信するための通信ユニットＣＯＭを含む。
エンコーダ装置ＥＮＣＯＤＥＲは、コード化すべき写真、前記写真内の領域の位置を表すパラメータセット及び符号化するための処理メタデータを受信するためのインタフェースも含む。
図６は、ある実施形態によるビデオを復号する装置（ＤＥＣＯＤＥＲ）の簡略化した構造を示す。このようなビデオ復号装置は、図１〜４に関して上述した本発明の原理によるビデオの復号方法を実行するように構成される。図６の復号装置は、一例として、図１において説明されているデコーダ１０５であり得る。
図５に示される例において、デコーダ装置は、処理ユニットＰＲＯＣを含み、これは、例えば、プロセッサを備え、メモリＭＥＭに記憶されたコンピュータプログラムＰＧにより駆動され、本発明の原理によるビデオ復号方法を実行する。
デコーダ装置ＤＥＣＯＤＥＲは、
− 前記ビデオの少なくとも１つの写真を前記ビットストリームから復号して、復号された写真を供給することと、
− 少なくとも１つのSupplemental Enhancement Informationネスティングメッセージを復号することと
を行うように構成され、前記少なくとも１つのSupplemental Enhancement Informationネスティングメッセージを復号する際、デコーダは、
− 前記復号された写真内の領域の位置を表す少なくとも１つのパラメータセットを復号することと、
− 少なくとも１つのSupplemental Enhancement Informationメッセージを復号することと
を行うようにさらに構成され、前記少なくとも１つのSupplemental Enhancement Informationメッセージは、前記復号された写真の前記領域に含まれるピクセルを処理するための処理メタデータを含む。
初期化において、コンピュータプログラムＰＧのコード命令は、例えば、ＲＡＭ（図示せず）にロードされ、その後、処理ユニットＰＲＯＣのプロセッサによって実行される。処理ユニットＰＲＯＣのプロセッサは、コンピュータプログラムＰＧの命令に従って、上述したビデオ復号方法のステップを実行する。
任意選択により、復号装置ＤＥＣＯＤＥＲは、符号化されたビットストリームをエンコーダから受信するための通信ユニットＣＯＭを含む。
デコーダ装置ＤＥＣＯＤＥＲは、ポストプロセッサと通信して、前記写真内の領域の位置を表す復号されたパラメータセット及び前記復号された写真内の前記領域のピクセルに適用する復号された処理メタデータを送信するようになされたインタフェースも含む。

Claims (7)

  1. ビデオを符号化する方法であって、
    − 前記ビデオの少なくとも１つの写真をビットストリームに符号化すること（３０１）と、
    − Supplemental Enhancement Informationネスティングメッセージを符号化すること（３０２）と
    を含み、前記Supplemental Enhancement Informationネスティングメッセージを符号化することは、
    − 前記写真内の領域の数を示すパラメータを符号化すること（３０３）と、
    − 前記領域の各々について、前記写真内の前記領域の位置を表す少なくとも１つのパラメータを符号化すること（３０３）と、
    − 前記Supplemental Enhancement Informationネスティングメッセージ中にネスティングされるSupplemental Enhancement Informationメッセージの数を示すパラメータを符号化すること（３０４）と、
    − 前記Supplemental Enhancement Informationネスティングメッセージ中にネスティングされる各Supplemental Enhancement Informationメッセージについて、処理情報を符号化すること（３０４）と、
    − 各領域と、前記少なくとも１つのSupplemental Enhancement Informationネスティングメッセージ中にネスティングされる少なくとも１つのSupplemental Enhancement Informationメッセージとの関連付けを表す情報を符号化すること（３０４）と
    を含む、方法。
  2. コード化されたビデオを表すビットストリームを復号する方法であって、
    − 前記ビデオの少なくとも１つの写真を前記ビットストリームから復号すること（４０１）と、
    − Supplemental Enhancement Informationネスティングメッセージを復号すること（４０２）と
    を含み、前記Supplemental Enhancement Informationネスティングメッセージを復号することは、
    − 前記写真内の領域の数を示すパラメータを復号すること（４０３）と、
    − 前記領域の各々について、前記写真内の前記領域の位置を表す少なくとも１つのパラメータを復号すること（４０３）と、
    − 前記Supplemental Enhancement Informationネスティングメッセージ中にネスティングされるSupplemental Enhancement Informationメッセージの数を示すパラメータを復号すること（４０４）と、
    − 前記Supplemental Enhancement Informationネスティングメッセージ中にネスティングされる各Supplemental Enhancement Informationメッセージについて、処理情報を復号すること（３０４）と、
    − 各領域と、前記少なくとも１つのSupplemental Enhancement Informationネスティングメッセージ中にネスティングされる少なくとも１つのSupplemental Enhancement Informationメッセージとの関連付けを表す情報を復号すること（３０４）と
    を含む、方法。
  3. ビデオを符号化する装置であって、
    − 前記ビデオの少なくとも１つの写真をビットストリームに符号化する手段と、
    − Supplemental Enhancement Informationネスティングメッセージを符号化する手段と
    を含み、前記Supplemental Enhancement Informationネスティングメッセージを符号化する前記手段は、
    − 前記写真内の領域の数を示すパラメータを符号化する手段と、
    − 前記領域の各々について、前記写真内の前記領域の位置を表す少なくとも１つのパラメータを符号化する手段と、
    − 前記Supplemental Enhancement Informationネスティングメッセージ中にネスティングされるSupplemental Enhancement Informationメッセージの数を示すパラメータを符号化する手段と、
    − 前記Supplemental Enhancement Informationネスティングメッセージ中にネスティングされる各Supplemental Enhancement Informationメッセージについて、処理情報を符号化する手段と、
    − 各領域と、前記少なくとも１つのSupplemental Enhancement Informationネスティングメッセージ中にネスティングされる少なくとも１つのSupplemental Enhancement Informationメッセージとの関連付けを表す情報を符号化する手段と
    を含む、装置。
  4. コード化されたビデオを表すビットストリームを復号する装置であって、
    − 前記ビデオの少なくとも１つの写真を前記ビットストリームから復号する手段と、
    − Supplemental Enhancement Informationネスティングメッセージを復号する手段と
    を含み、前記Supplemental Enhancement Informationネスティングメッセージを復号する前記手段は、
    − 前記写真内の領域の数を示すパラメータを復号する手段と、
    − 前記領域の各々について、前記写真内の前記領域の位置を表す少なくとも１つのパラメータを復号する手段と、
    − 前記Supplemental Enhancement Informationネスティングメッセージ中にネスティングされるSupplemental Enhancement Informationメッセージの数を示すパラメータを復号する手段と、
    − 前記Supplemental Enhancement Informationネスティングメッセージ中にネスティングされる各Supplemental Enhancement Informationメッセージについて、処理情報を復号する手段と、
    − 各領域と、前記少なくとも１つのSupplemental Enhancement Informationネスティングメッセージ中にネスティングされる少なくとも１つのSupplemental Enhancement Informationメッセージとの関連付けを表す情報を復号する手段と
    を含む、装置。
  5. プロセッサによって実行されるときに、請求項１に記載の方法を実行するためのソフトウェアコード命令を含むコンピュータプログラム。
  6. プロセッサによって実行されるときに、請求項２に記載の方法を実行するためのソフトウェアコード命令を含むコンピュータプログラム。
  7. コード化されたビデオを表すビットストリームであって、
    − 前記ビデオの１つの写真を表すコード化されたデータと、
    − 少なくとも１つのSupplemental Enhancement Informationネスティングメッセージと
    を含み、前記少なくとも１つのSupplemental Enhancement Informationネスティングメッセージは、
    − 前記写真内の領域の数を示すパラメータと、
    − 前記領域の各々について、前記写真内の前記領域の位置を表す少なくとも１つのパラメータと、
    − 前記Supplemental Enhancement Informationネスティングメッセージ中にネスティングされるSupplemental Enhancement Informationメッセージの数を示すパラメータと、
    − 前記Supplemental Enhancement Informationネスティングメッセージ中にネスティングされる各Supplemental Enhancement Informationメッセージについての処理情報と、
    − 各領域と、前記少なくとも１つのSupplemental Enhancement Informationネスティングメッセージ中にネスティングされる少なくとも１つのSupplemental Enhancement Informationメッセージとの関連付けを表す情報と
    を含む、ビットストリーム。
JP2018551318A 2016-03-31 2017-03-14 ビデオを、領域ごとの後処理パラメータをｓｅｉネスティングメッセージに搬送するビットストリームにコード化する方法及び装置 Active JP6993983B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16305383.8A EP3226561A1 (en) 2016-03-31 2016-03-31 Method and apparatus for coding a video into a bitstream carrying region-based post processing parameters into an sei nesting message
EP16305383.8 2016-03-31
PCT/EP2017/056019 WO2017167576A1 (en) 2016-03-31 2017-03-14 Method and apparatus for coding a video into a bitstream carrying region-based post processing parameters into an sei nesting message

Publications (3)

Publication Number Publication Date
JP2019512985A true JP2019512985A (ja) 2019-05-16
JP2019512985A5 JP2019512985A5 (ja) 2020-04-09
JP6993983B2 JP6993983B2 (ja) 2022-01-14

Family

ID=55701903

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018551318A Active JP6993983B2 (ja) 2016-03-31 2017-03-14 ビデオを、領域ごとの後処理パラメータをｓｅｉネスティングメッセージに搬送するビットストリームにコード化する方法及び装置

Country Status (10)

Country Link
US (1) US10986350B2 (ja)
EP (2) EP3226561A1 (ja)
JP (1) JP6993983B2 (ja)
KR (1) KR102324623B1 (ja)
CN (1) CN109479148B (ja)
BR (1) BR112018069891A2 (ja)
CA (1) CA3019401C (ja)
MX (1) MX2018011886A (ja)
RU (1) RU2743632C2 (ja)
WO (1) WO2017167576A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11004252B2 (en) * 2018-12-28 2021-05-11 Intel Corporation Real time ray tracing (RTRT)-based adaptive multi-frequency shading (AMFS)
DE112020007226T5 (de) * 2020-05-22 2023-04-13 Intel Corporation Technologie zur nutzung von videoquellen-kontextinformationen bei dernachbearbeitung
KR20230020426A (ko) 2020-06-09 2023-02-10 바이트댄스 아이엔씨 비디오 코딩에서 서브픽처 레벨 정보 시그널링
CN116530083A (zh) 2020-09-25 2023-08-01 抖音视界有限公司 视频比特流中的嵌套的和非嵌套的sei消息
WO2024076141A1 (ko) * 2022-10-05 2024-04-11 엘지전자 주식회사 포스트 디코딩 필터에 기반한 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015004323A1 (en) * 2013-07-11 2015-01-15 Nokia Corporation An apparatus, a method and a computer program for video coding and decoding
WO2015009676A1 (en) * 2013-07-15 2015-01-22 Sony Corporation Extensions of motion-constrained tile sets sei message for interactivity
WO2015148545A1 (en) * 2014-03-24 2015-10-01 Qualcomm Incorporated Generic use of hevc sei messages for multi-layer codecs
WO2015195888A1 (en) * 2014-06-20 2015-12-23 Qualcomm Incorporated Extensible design of nesting supplemental enhancement information (sei) messages

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102271249B (zh) 2005-09-26 2014-04-09 韩国电子通信研究院 用于可伸缩视频的感兴趣区域信息设置方法和解析方法
KR101255226B1 (ko) * 2005-09-26 2013-04-16 한국과학기술원 스케일러블 비디오 코딩에서 다중 ｒｏｉ 설정, 복원을위한 장치 및 방법
US8948241B2 (en) 2009-08-07 2015-02-03 Qualcomm Incorporated Signaling characteristics of an MVC operation point
CN103907347B (zh) * 2011-08-31 2018-01-30 诺基亚技术有限公司 多视图视频编码和解码
US9351016B2 (en) 2012-04-13 2016-05-24 Sharp Kabushiki Kaisha Devices for identifying a leading picture
TWI669952B (zh) * 2012-09-18 2019-08-21 美商Ｖｉｄ衡器股份有限公司 使用圖塊及圖塊組的感興趣區域視訊編碼的方法及裝置
US20140092976A1 (en) 2012-09-30 2014-04-03 Sharp Laboratories Of America, Inc. System for signaling idr and bla pictures
US9521393B2 (en) * 2013-01-07 2016-12-13 Qualcomm Incorporated Non-nested SEI messages in video coding
US9749627B2 (en) 2013-04-08 2017-08-29 Microsoft Technology Licensing, Llc Control data for motion-constrained tile set
US10390024B2 (en) 2013-04-08 2019-08-20 Sony Corporation Region of interest scalability with SHVC
CN106233745B (zh) 2013-07-29 2021-01-15 皇家Kpn公司 向客户端提供瓦片视频流
US9258210B2 (en) * 2013-10-01 2016-02-09 Juniper Networks, Inc. Dynamic area filtering for link-state routing protocols
WO2015056179A1 (en) * 2013-10-15 2015-04-23 Nokia Technologies Oy Video encoding and decoding using syntax element

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015004323A1 (en) * 2013-07-11 2015-01-15 Nokia Corporation An apparatus, a method and a computer program for video coding and decoding
WO2015009676A1 (en) * 2013-07-15 2015-01-22 Sony Corporation Extensions of motion-constrained tile sets sei message for interactivity
WO2015148545A1 (en) * 2014-03-24 2015-10-01 Qualcomm Incorporated Generic use of hevc sei messages for multi-layer codecs
WO2015195888A1 (en) * 2014-06-20 2015-12-23 Qualcomm Incorporated Extensible design of nesting supplemental enhancement information (sei) messages

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ADARSH K. RAMASUBRAMONIAN ET AL.: "Regional nesting SEI message", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JCTVC-X0062, JPN6021007889, May 2016 (2016-05-01), pages 1 - 7, ISSN: 0004459423 *
ADARSH K. RAMASUBRAMONIAN, HENDRY AND YE-KUI WANG: "HEVC corrigendum: On parsing of bitstream partition nesting SEI message", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JCTVC-V0062, JPN6021007887, October 2015 (2015-10-01), pages 1 - 3, ISSN: 0004459422 *
KEMAL UGUR AND MISKA M. HANNUKSELA: "Motion and inter-layer prediction constrained SEI message", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JCTVC-N0069, JPN6021007886, July 2013 (2013-07-01), pages 1 - 4, ISSN: 0004459421 *

Also Published As

Publication number Publication date
BR112018069891A2 (pt) 2019-02-05
EP3437320B1 (en) 2023-05-03
KR20190028364A (ko) 2019-03-18
EP3226561A1 (en) 2017-10-04
CN109479148A (zh) 2019-03-15
EP3437320A1 (en) 2019-02-06
CA3019401C (en) 2023-06-27
CN109479148B (zh) 2021-06-29
CA3019401A1 (en) 2017-10-05
US20190116366A1 (en) 2019-04-18
WO2017167576A1 (en) 2017-10-05
MX2018011886A (es) 2019-08-29
RU2018138129A (ru) 2020-04-30
JP6993983B2 (ja) 2022-01-14
RU2743632C2 (ru) 2021-02-20
US10986350B2 (en) 2021-04-20
KR102324623B1 (ko) 2021-11-09
RU2018138129A3 (ja) 2020-07-10

Similar Documents

Publication Publication Date Title
CN108028944B (zh) 用于处理经解码视频数据的方法、系统和存储介质
US11354824B2 (en) Image processing apparatus and method
CN104380738B (zh) 图像处理装置及方法
JP6993983B2 (ja) ビデオを、領域ごとの後処理パラメータをｓｅｉネスティングメッセージに搬送するビットストリームにコード化する方法及び装置
JP6542201B2 (ja) 画像復号装置および画像復号方法
US20160198207A1 (en) Information processing apparatus and method
CN109479150B (zh) 用于显示器调适的色彩重映射信息sei消息发信号
JP2023511247A (ja) ビデオサブピクチャ内のビデオスライス高さの指示
JP2020515190A (ja) ルミナンス情報を用いた量子化パラメーター予測
CN109691111A (zh) 在补充增强信息消息中传信色彩重新映射信息的目标显示参数
US20230386087A1 (en) A method and an apparatus for encoding/decoding at least one attribute of an animated 3d object
CN117459724A (zh) 解码设备和编码设备
KR20230169239A (ko) 인공 신경망 기반 툴을 사용하여 이미지 및 비디오를 인코딩/디코딩하기 위한 방법 및 장치
CN113170100A (zh) 用于帧内预测的方法和装置
CN114762339B (zh) 基于变换跳过和调色板编码相关高级语法元素的图像或视频编码
CN110545436A (zh) 图像编码装置及方法和图像解码装置及方法
US20240171781A1 (en) A method or an apparatus for generating film grain parameters, a method or an apparatus for generating a block of pixels with film grain pattern
CN114762335B (zh) 基于变换跳过和调色板编码相关数据的图像或视频编码
WO2024061660A1 (en) Dynamic structures for volumetric data coding
CN116438795A (zh) 使用元数据的压缩视频的环路内滤波和后滤波的空间分辨率适配
CN117616752A (zh) 用于图片重采样的高级语法

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20181128

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20181129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200226

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210303

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210603

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210621

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211019

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20211019

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20211028

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20211029

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211112

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211210

R150 Certificate of patent or registration of utility model

Ref document number: 6993983

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150