JP2022050376A - 符号化映像における動作点サンプルグループ - Google Patents
符号化映像における動作点サンプルグループ Download PDFInfo
- Publication number
- JP2022050376A JP2022050376A JP2021152670A JP2021152670A JP2022050376A JP 2022050376 A JP2022050376 A JP 2022050376A JP 2021152670 A JP2021152670 A JP 2021152670A JP 2021152670 A JP2021152670 A JP 2021152670A JP 2022050376 A JP2022050376 A JP 2022050376A
- Authority
- JP
- Japan
- Prior art keywords
- visual media
- file
- layer
- operating point
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234336—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by media transcoding, e.g. video is transformed into a slideshow of still pictures or audio is converted into text
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
Abstract
Description
パリ条約に基づく適用可能な特許法および/または規則に基づいて、本願は、2020年9月17日出願の米国特許仮出願第63/079946号および2020年10月7日出願の米国特許仮出願第63/088786号の優先権および利益を適時に主張することを目的とする。法に基づくすべての目的のために、上記出願の開示全体は、本明細書の開示の一部として参照により援用される。
ALF 適応ループフィルタ
AMVR 適応型動きベクトル解像度
APS 適応パラメータセット
AU アクセスユニット
AUD アクセスユニット区切り文字
AVC 高度映像符号化(Rec.ITU-T H.264|ISO/IEC14496-10)
B 双方向予測
BCW CUレベル重み付き双方向予測
BDOF 双方向オプティカルフロー
BDPCM ブロックベースのデルタパルス符号変調
BP バッファリング時間
CABAC コンテキストに基づく適応2進算術符号化
CB 符号化ブロック
CBR 一定ビットレート
CCALF クロスコンポーネント適応ループフィルタ
CPB 符号化ピクチャバッファ
CRA クリーンなランダムアクセス
CRC 巡回冗長性検査
CTB 符号化ツリーブロック
CTU 符号化ツリーユニット
CU 符号化ユニット
CVS 符号化映像シーケンス
DPB 復号化ピクチャバッファ
DCI 復号化能力情報
DRAP 従属ランダムアクセスポイント
DU 復号化ユニット
DUI 復号化ユニット情報
EG 指数ゴロム
EGk k次指数ゴロム
EOB ビットストリームの末端
EOS シーケンスの末端
FD フィラーデータ
FIFO 先入れ先出し
FL 固定長
GBR 緑色、青色、赤色
GCI 一般的な制約情報
GDR 緩やかな復号化更新
GPM ジオメトリ分割モード
HEVC 高効率映像符号化(Rec.ITU-T H.265|ISO/IEC23008-2)
HRD 仮想参照デコーダ
HSS 仮想ストリームスケジューラ
I イントラ
IBC イントラブロックコピー
IDR 瞬時復号化更新
ILRP 層間参照画像
IRAP イントラランダムアクセスポイント
LFNST 低周波数非可分変換
LPS 最小確率シンボル
LSB 最下位ビット
LTRP 長期参照画像
LMCS クロマスケーリングを伴う輝度マッピング
MIP マトリックスに基づくイントラ予測
MPS 最大確率記号
MSB 最上位ビット
MTS 多重変換選択
MVP 動きベクトル予測
NAL ネットワーク抽象化層
OLS 出力層セット
OP 動作点
OPI 動作点情報
P 予測
PH ピクチャヘッダ
POC ピクチャオーダカウント
PPS ピクチャパラメータセット
PROF オプティカルフローによる予測微調整
PT ピクチャタイミング
PU ピクチャユニット
QP 量子化パラメータ
RADL ランダムアクセス復号化可能リード(ピクチャ)
RASL ランダムアクセススキップリード(ピクチャ)
RBSP 生バイトシーケンスペイロード
RGB 赤、緑、青
RPL 参照ピクチャリスト
SAO サンプル適応オフセット
SAR サンプルアスペクト比
SEI 補足強化情報
SH スライスヘッダ
SLI サブピクチャレベル情報
SODB データビットのストリング
SPS シーケンスパラメータセット
STRP 短期参照ピクチャ
STSA ステップワイズ時間的サブレイヤアクセス
TR 短縮ライス
VBR 可変ビットレート
VCL 映像符号化層
VPS 映像パラメータセット
VSEI 汎用補足強化情報(Rec.ITU-T H.274 | ISO/IEC23002-7)
VUI 映像可用性情報
VVC (Rec.ITU-T H.266 | ISO/IEC23090-3)H.265|ISO/IEC23008-2)
1.1つのトラックにおけるすべてのレイヤであって、すべてのレイヤは動作点に対応する。
2.1つのトラックにおけるすべてのレイヤであって、すべてのレイヤを含む動作点がない。
3.個々のトラックにおける1つ以上のレイヤまたはサブレイヤであって、示された1つ以上のトラックのすべてのサンプルを含むビットストリームは、動作点に対応する。
4.個々のトラックにおける1つ以上のレイヤまたはサブレイヤであって、1つ以上のトラックのセットのすべてのNALユニットを含む動作点がない。
a) サンプルのエントリ、
b) 動作点情報(「vopi」)サンプルグループ
c) レイヤの情報(「linf」)サンプルグループ、
d) 動作点エンティティグループ(「opeg」)。
注:VVCビットストリームが複数のVVCトラックで表現される場合、ファイル構文解析ツールは、選択された動作点に必要なトラックを以下のように特定することができる。
VVCサンプルエントリですべてのトラックを検索する。
トラックに同じIDの「oref」トラックリファレンスが含まれている場合、そのIDをVVCトラックまたは「opeg」エンティティグループに分解する。
「opeg」エンティティグループまたは「vopi」サンプルグループから、復号化能力および用途に適した動作点を選択する。
「opeg」エンティティグループが存在する場合、それは、トラックセットが選択された動作点を正確に表すことを示す。このように、VVCビットストリームをトラックのセットから再構成し、復号化することができる。
「opeg」エンティティグループが存在しない場合(即ち、「vopi」サンプルグループが存在する場合)、「vopi」および「linf」から、選択された動作点を復号化するために、どのトラックセットが必要であるかを見出す。
- VVCビットストリームのためのVVCトラックの間に、1つの「vopi」サンプルグループを担持する1つのトラックのみが存在するものとする。
- VVCビットストリームの他のすべてのVVCトラックは、「vopi」のサンプルグループを担持するトラックに「oref」型のトラック基準を有するものとする。
- トラックTk内に時間的に同一位置に配置されたサンプルSkが存在する場合、サンプルSNは、サンプルSkと同じ「vopi」サンプルグループエントリに関連付けられる。
- そうでない場合、サンプルSNは、復号化時にサンプルSNに先行するトラックTk内のサンプルのうちの最後のサンプルと同じ「vopi」サンプルグループエントリに関連付けられる。
unsigned int(8)num_profile_tier_level_minus1;
for(i=0;i<=num_profile_tier_level_minus1;i++){
unsigned int(8)ptl_max_temporal_id[i];
VvcPTLRecord(ptl_max_temporal_id[i]+1)ptl[i];
}
unsigned int(1)all_independent_layers_flag;
bit(7)reserved=0;
if(all_independent_layers_flag){
unsigned int(1)each_layer_is_an_ols_flag;
bit(7)reserved=0;
} else
unsigned int(8)ols_mode_idc;
unsigned int(16)num_operating_points;
for(i=0;i<num_operating_points){
unsigned int(16)output_layer_set_idx;
unsigned int(8)ptl_idx;
unsigned int(8)max_temporal_id;
unsigned int(8)layer_count;
for(j=0;j<layer_count;j++){
unsigned int(6)layer_id;
unsigned int(1)is_outputlayer;
bit(1)reserved=0;
}
bit(6)reserved=0;
unsigned int(1)frame_rate_info_flag
unsigned int(1)bit_rate_info_flag
if(frame_rate_info_flag){
unsigned int(16)avgFrameRate;
bit(6)reserved=0;
unsigned int(2)constantFrameRate;
}
if(bit_rate_info_flag){
unsigned int(32)maxBitRate;
unsigned int(32)avgBitRate;
}
}
unsigned int(8)max_layer_count;
for(i=0;i<max_layer_count;i++){
unsigned int(8)layerID;
unsigned int(8)num_direct_ref_layers;
for(j=0;j<num_direct_ref_layers;j++)
unsigned int(8)direct_ref_layerID;
unsigned int(8)max_tid_il_ref_pics_plus1;
}
}
class VvcOperatingPointsInformation extends VisualSampleGroupEntry(「vopi」){
VvcOperatingPointsRecord oinf;
}
ptl_max_temporal_id[i]:指定したi番目のプロファイル、階層、レベル構造に対応するビットストリームのNALユニットの最大TemporalIDを示す。
all_independent_layers_flag、each_layer_is_an_ols_flag、ols_mode_idc、およびmax_tid_il_ref_pics_plus1は、ISO/IEC23090-3において定義される。
num_operating_points:以下の情報を実行する動作点数を示す。
output_layer_set_idxは、動作点を定義する出力レイヤセットのインデックスである。output_layer_set_idxとlayer_id値とのマッピングは、インデックスがoutput_layer_set_idxである出力レイヤのVPSで指定されたものと同じにする。
ptl_idx:インデックスがoutput_layer_set_idxである出力レイヤセットの、リストされたプロファイル、レベル、および階層構造のゼロベースのインデックスに信号通知する。
max_temporal_id:この動作点のNALユニットの最大TemporalIdを指定する。
layer_id:動作点のレイヤのためのnuh_layer_id値を提供する。
is_outputlayer:レイヤが出力レイヤであるかどうかを示すフラグ。1は出力レイヤを示す。
frame_rate_info_flagが0であると、動作点についてフレームレート情報が存在しないことを示す。値1は、動作点に対してフレームレート情報が存在することを示す。
bit_rate_info_flagが0であると、動作点に対してビットレート情報が存在しないことを示す。値1は、ビットレート情報が動作点に存在することを示す。
avgFrameRateは、動作点の平均フレームレートをフレーム/(256秒)の単位で示す。値0は、不特定の平均フレームレートを示す。
constantFrameRateが1であることは、動作点のストリームが一定のフレームレートであることを示す。値2は、動作点のストリームにおける各時間層レイヤの表現が一定のフレームレートであることを示す。値0は、動作点のストリームが一定のフレームレートであってもなくてもよいことを示す。
maxBitRateは、1秒の任意の窓にわたって、動作点のストリームのビット/秒で表される最大ビットレートを与える。
avgBitRateは、動作点のストリームのビット/秒で表される平均ビットレートを与える。
max_layer_count:この関連付けられたベーストラックに関連付けられたすべての動作点におけるすべての固有レイヤの数。
layerID:direct_ref_layerIDの次のループにおいてすべての直接参照レイヤが与えられるレイヤのnuh_layer_id。
num_direct_ref_layers:nuh_layer_idがlayerIDであるレイヤの直接参照レイヤの数。
direct_ref_layerID:直接参照レイヤのnuh_layer_id。
「linf」サンプルグループの構文および意味論は、それぞれ9.6.3.2項および9.6.3.3項で規定されている。
このエンティティグループに記載されている動作点にマッピングされたトラックのサンプルを集約する場合、黙示的な再構成プロセスでは、さらなるNALユニットを除去しなくても、適合するVVCビットストリームが得られる。動作点エンティティグループに属するトラックは、この動作点エンティティグループに示されているgroup_idに「oref」型のトラック参照トラックを有するものとする。
動作点エンティティグループに含まれるすべてのentity_id値は、同じVVCビットストリームに属するものとする。存在する場合、OperatingPointGroupBoxは、ムービーレベルのMetaBoxにおけるGroupsListBoxに含まれるものとし、ファイルレベルのMetaBoxまたはトラックレベルのMetaBoxに含まれないものとする。
{
unsigned int(8)num_profile_tier_level_minus1;
for(i=0;i<=num_profile_tier_level_minus1;i++)
VvcPTLRecord(0)opeg_ptl[i];
unsigned int(16)num_operating_points;
for(i=0;i<num_operating_points){
unsigned int(16)output_layer_set_idx;
unsigned int(8)ptl_idx;
unsigned int(8)max_temporal_id;
unsigned int(8)layer_count;
for(j=0;j<layer_count;j++){
unsigned int(6)layer_id;
unsigned int(1)is_outputlayer;
bit(1)reserved=0;
}
bit(6)reserved=0;
unsigned int(1)frame_rate_info_flag
unsigned int(1)bit_rate_info_flag
if(frame_rate_info_flag){
unsigned int(16)avgFrameRate;
bit(6)reserved=0;
unsigned int(2)constantFrameRate;
}
if(bit_rate_info_flag){
unsigned int(32)maxBitRate;
unsigned int(32)avgBitRate;
}
unsigned int(8)entity_count;
for(j=0;j<entity_count;j++){
unsigned int(8)entity_idx;
}
}
}
opeg_ptl[i]第i番目のプロファイル、階層、レベル構造を指定する。
num_operating_points:以下の情報を実行する動作点数を示す。
output_layer_set_idxは、動作点を定義する出力レイヤセットのインデックスである。output_layer_set_idxとlayer_id値とのマッピングは、インデックスがoutput_layer_set_idxである出力レイヤのVPSで指定されたものと同じにする。
ptl_idx:インデックスがoutput_layer_set_idxである、出力レイヤセットの、リストされたプロファイル、レベル、および階層構造のゼロベースのインデックスに信号通知する。
max_temporal_id:この動作点のNALユニットの最大TemporalIdを指定する。
layer_id:動作点のレイヤのためのnuh_layer_id値を提供する。
is_outputlayer:レイヤが出力レイヤであるかどうかを示すフラグ。1は出力レイヤを示す。
frame_rate_info_flagが0であると、動作点についてフレームレート情報が存在しないことを示す。値1は、動作点に対してフレームレート情報が存在することを示す。
bit_rate_info_flagが0であると、動作点に対してビットレート情報が存在しないことを示す。値1は、ビットレート情報が動作点に存在することを示す。
avgFrameRateは、動作点の平均フレームレートをフレーム/(256秒)の単位で示す。値0は、不特定の平均フレームレートを示す。
constantFrameRateが1であることは、動作点のストリームが一定のフレームレートであることを示す。値2は、動作点のストリームにおける各時間層レイヤの表現が一定のフレームレートであることを示す。値0は、動作点のストリームが一定のフレームレートであってもなくてもよいことを示す。
maxBitRateは、1秒の任意の窓にわたって、動作点のストリームのビット/秒で表される最大ビットレートを与える。
avgBitRateは、動作点のストリームのビット/秒で表される平均ビットレートを与える。
entity_count動作点に存在するトラックの数を指定する。
entity_idx動作点に属するエンティティグループ内のentity_idリストへのインデックスを指定する。
a.OPごとに必要なトラックを含め、ファイルに含まれているすべてのOPに関するファイルレベル情報の信号通知を追加する一方、OPに必要なトラックは、OPに含まれていないレイヤまたはサブレイヤを担持してもよい。
b.「vopi」のサンプルグループがどのトラックに含まれているかを示すファイルレベルの情報の信号通知を追加する。
i.一例において、「vopi」のサンプルグループを担持するトラックに信号通知するために、ファイルレベルのMetaBoxをコンテナとして、新しいボックスを指定する(例えば、動作点情報トラックボックスと呼ばれる)。
ファイルレベル情報は、ファイルレベルボックスまたはムービーレベルボックスまたはトラックレベルボックスに信号通知されてもよいが、トラックレベルボックスの位置は、ファイルレベルボックスまたはムービーレベルボックスにおいて識別される。
a.「vopi」サンプルグループエントリのOPごとに必要なトラックの情報を追加する。
b.「linf」サンプルグループの使用を廃止する。
a.代替的に、必要に応じて、AUD NALユニットを書き換える動作をさらに加える。
i.一例において、異なるトラックの複数のピクチャユニットからアクセスユニットを再構成するとき、再構成されたアクセスユニットに含まれているAUD NALユニットのaud_irap_or_gdr_flagが1であり、かつ、再構成されたアクセスユニットがIRAPまたはGDRアクセスユニットでない場合、AUD NALユニットのaud_irap_or_gdr_flagの値を0に設定することが規定される。
ii.第1のPUにおけるAUD NALユニットは、aud_irap_or_gdr_flagが1である場合があり、同じアクセスユニットであるが別個のトラックにある別のPUは、IRAPまたはGDRピクチャでないピクチャを有する。この場合、再構成されたアクセスユニットにおけるAUD NALユニットのaud_irap_or_gdr_flagの値は、1から0に変更される。
b.一例において、追加的又は代替的に、アクセスユニットのための異なるトラックからの複数のピクチャユニットのうちの少なくとも1つがAUD NALユニットを有する場合、第1のピクチャユニット(即ち、nuh_layer_idの最小値を有するピクチャユニット)はAUD NALユニットを有するべきであることが規定される。
c.一例において、アクセスユニットのための異なるトラックからの複数のピクチャユニットがAUD NALユニットを有する場合、第1のピクチャユニットにおけるAUD NALユニットのみが再構成されたアクセスユニットに保持されることが特定される。
a.「opeg」エンティティグループが存在し、かつ使用される場合、必要なトラックは、OPごとに必要な正確なVCL NALユニットセットを提供するが、非VCL NALユニットの一部は、再構成されたビットストリームにおいて冗長になる可能性があり、従って削除する必要がある場合があることを規定する。
i.代替的に、「opeg」エンティティグループが存在し、かつ使用される場合、必要とされるトラックは、個々のOPに必要とされるレイヤおよびサブレイヤの厳密なセットを提供するが、非VCL NALユニットの一部は、再構成されたビットストリームにおいて冗長になる可能性があり、従って削除する必要がある場合があることを規定する。
b.「opeg」エンティティグループが存在し、かつ使用されている場合であっても、複数のトラックからの黙示的なVVCビットストリームの再構成のプロセスにおいて、冗長なEOBユニットおよびEOS NALユニットを取り除く動作を適用する。
c.複数のトラックからのVVCビットストリームの黙示的再構成のプロセスにおいて、「opeg」エンティティグループが存在し、かつ使用されている場合であっても、冗長AUDユニットを取り除く動作および冗長AUDユニットを書き換える動作を適用する。
a.一例において、VvcOperatingPointsRecordおよび/またはOperatingPointGroupBoxにおけるoutput_layer_set_idxフィールドは、layer_idの信号通知ループの後に移動され、「if(layer_countt>1)」上に調整される。
b.一例において、output_layer_set_idxがOPに存在しない場合、その値は、そのOPにおけるレイヤのみを含むOLSのOLSインデックスであると推測されることがさらに特定される。
a.代替的に、両方が存在してもよいが、両方が存在する場合、それらのいずれかを選択することの間に差がないように、それらが一貫していることが必要である。
b.一例において、「opeg」エンティティグループに属し、全てがこのエンティティグループに示されたgroup_idに「oref」な型のトラックリファレンスを有するトラックは、「vopi」サンプルグループを担持しないことが規定される。
- VVCビットストリームのためのVVCトラックの間に、「vopi」サンプルグループを担持する1つのトラックのみが存在するものとする。
- VVCビットストリームの他のすべてのVVCトラックは、「vopi」のサンプルグループを担持するトラックに「oref」型のトラック基準を有するものとする。
- トラックTk内に時間的に同一位置に配置されたサンプルSkが存在する場合、サンプルSNは、サンプルSkと同じ「vopi」サンプルグループエントリに関連付けられる。
- そうでない場合、サンプルSNは、復号化時にサンプルSNに先行するトラックTk内のサンプルのうちの最後のサンプルと同じ「vopi」サンプルグループエントリに関連付けられる。
unsigned int(8)num_profile_tier_level_minus1;
for(i=0;i<=num_profile_tier_level_minus1;i++){
unsigned int(8)ptl_max_temporal_id[i];
VvcPTLRecord(ptl_max_temporal_id[i]+1)ptl[i];
}
unsigned int(1)all_independent_layers_flag;
bit(7)reserved=0;
if(all_independent_layers_flag){
unsigned int(1)each_layer_is_an_ols_flag;
bit(7)reserved=0;
} else
unsigned int(8)ols_mode_idc;
unsigned int(16)num_operating_points;
for(i=0;i<num_operating_points){
[[unsigned int(16)output_layer_set_idx;]]
unsigned int(8)ptl_idx;
unsigned int(8)max_temporal_id;
unsigned int(8)layer_count;
for(j=0;j<layer_count;j++){
unsigned int(6)layer_id;
unsigned int(1)is_outputlayer;
bit(1)reserved=0;
}
if(layer_count>1)
unsigned int(16)output_layer_set_idx;
unsigned int(8)op_track_count;
for(j=0;j<op_track_count;j++){
unsigned int(32)op_track_id[j];
}
bit(6)reserved=0;
unsigned int(1)frame_rate_info_flag
unsigned int(1)bit_rate_info_flag
if(frame_rate_info_flag){
unsigned int(16)avgFrameRate;
bit(6)reserved=0;
unsigned int(2)constantFrameRate;
}
if(bit_rate_info_flag){
unsigned int(32)maxBitRate;
unsigned int(32)avgBitRate;
}
}
if(!all_independent_layers_flag){
unsigned int(8)max_layer_count;
for(i=0;i<max_layer_count;i++){
unsigned int(8)layerID;
unsigned int(8)num_direct_ref_layers;
for(j=0;j<num_direct_ref_layers;j++)
unsigned int(8)direct_ref_layerID;
unsigned int(8)max_tid_il_ref_pics_plus1;
}
}
}
class VvcOperatingPointsInformation extends VisualSampleGroupEntry(「vopi」){
VvcOperatingPointsRecord oinf;
}
num_operating_points:以下の情報を実行する動作点数を示す。
[[output_layer_set_idxは、動作点を定義する出力レイヤセットのインデックスである。output_layer_set_idxとlayer_idの値のマッピングは、インデックスがoutput_layer_set_idxである出力レイヤのVPSで指定されたものと同じである必要がある。]]
ptl_idx:インデックスがoutput_layer_set_idxである出力レイヤセットの、リストされたプロファイル、レベル、および階層構造のゼロベースのインデックスに信号通知する。
max_temporal_id:この動作点のNALユニットの最大TemporalIdを指定する。
layer_id:動作点のレイヤのためのnuh_layer_id値を提供する。
is_outputlayer:レイヤが出力レイヤであるかどうかを示すフラグ。1は出力レイヤを示す。
output_layer_set_idxは、動作点を定義する出力レイヤセットのインデックスである。output_layer_set_idxとlayer_id値とのマッピングは、インデックスがoutput_layer_set_idxである出力レイヤのVPSで指定されたものと同じにする。output_layer_set_idxが1つのOPに存在しない場合、その値は、そのOPにおけるレイヤのみを含むOLSのOLSインデックスであると推測される。
op_track_countは、この動作点において、VCL NALユニットを担持するトラックの数を指定する。
op_track_id[j]は、この動作点であるVCL NALユニットを担持するトラックのj番目のトラックのtrack_ID値を指定する。
frame_rate_info_flagが0であると、動作点についてフレームレート情報が存在しないことを示す。値1は、動作点に対してフレームレート情報が存在することを示す。
bit_rate_info_flagが0であると、動作点に対してビットレート情報が存在しないことを示す。値1は、ビットレート情報が動作点に存在することを示す。
avgFrameRateは、動作点の平均フレームレートをフレーム/(256秒)の単位で示す。値0は、不特定の平均フレームレートを示す。
constantFrameRateが1であることは、動作点のストリームが一定のフレームレートであることを示す。値2は、動作点のストリームにおける各時間層レイヤの表現が一定のフレームレートであることを示す。値0は、動作点のストリームが一定のフレームレートであってもなくてもよいことを示す。
maxBitRateは、1秒の任意の窓にわたって、動作点のストリームのビット/秒で表される最大ビットレートを与える。
avgBitRateは、動作点のストリームのビット/秒で表される平均ビットレートを与える。
max_layer_count:この関連付けられたベーストラックに関連付けられたすべての動作点におけるすべての固有レイヤの数。
layerID:direct_ref_layerIDの次のループにおいてすべての直接参照レイヤが与えられるレイヤのnuh_layer_id。
num_direct_ref_layers:nuh_layer_idがlayerIDであるレイヤの直接参照レイヤの数。
direct_ref_layerID:直接参照レイヤのnuh_layer_id。
OperatingPointGroupBoxの情報に基づいて、動作点エンティティグループが存在する場合、必要なトラックを選択する。
VCL NALユニットが0より大きいTemporalIdを有するサブレイヤを含むビットストリームを再構成する場合、同じレイヤ内のすべての下位のサブレイヤ(すなわち、VCL NALユニットがより小さいTemporalIdを有するサブレイヤ)もまた、結果のビットストリームに含まれ、それに応じて必要なトラックが選択される。
アクセスユニットを再構成するとき、同じ復号化時間を有するサンプルからのピクチャユニット(ISO/IEC23090-3で規定される)を、nuh_layer_id値の大きい順にアクセスユニットに入れる。あるアクセスユニットの複数のピクチャユニットのうち、少なくとも1つがAUD NALユニットを有する場合、最初のピクチャユニット(すなわち、nuh_layer_idの値が最も小さいピクチャユニット)がAUD NALユニットを有するものとし、最初のピクチャユニットのAUD NALユニットのみを再構成されたアクセスユニットに残し、他のAUD NALユニットが存在する場合にはそれを破棄することとする。このような再構成されたアクセスユニットにおいて、AUD NALユニットのaud_irap_or_gdr_flagが1であり、且つ再構成されたアクセスユニットがIRAPまたはGDRアクセスユニットでない場合、AUD NALユニットのaud_irap_or_gdr_flagの値は0に設定される。
エンティティグループその他のファイルレベル情報
サブピクチャエンティティグループ
...
動作点エンティティグループ
一般
このエンティティグループに記載されている動作点にマッピングされたトラックのサンプルを集約する場合、黙示的な再構成プロセスでは、さらなるVCL NALユニットを除去しなくても、適合するVVCビットストリームが得られる。動作点エンティティグループに属するトラックは、この動作点エンティティグループに示されているgroup_idに「oref」型のトラック参照[トラック参照]を有するものとし、「vopi」サンプルグループを担持しないものとする。
定義
ボックスタイプ:「topi」
コンテナ:ファイルレベルMetaBox
必須:番号
数量:ゼロまたは1
aligned(8)class OperatingPointsInfoTracksBox extends FullBox(「topi」,0,0)
{
unsigned int(8)num_tracks_with_vopi;
for(i=0;i< num_tracks_with_vopi;i++)
unsigned int(32)track_ID[i];
}
num_tracks_with_vopi「vopi」のサンプルグループを保持するファイル内のトラックの数を規定する。
track_ID[i]「vopi」のサンプルグループを含むi番目のトラックのトラックIDを規定する。
Claims (14)
- 視覚メディア処理方法であって、
フォーマット規則に従って、視覚メディアデータと、この視覚メディアデータのビットストリームを複数のトラックに記憶する視覚メディアファイルと、の変換を行うことを含み、
前記フォーマット規則は、ファイルレベル情報が、動作点情報を含む特定のタイプのサンプルグループを含む前記複数のトラックから1つ以上のトラックを識別する構文要素を含むことを規定する、
方法。 - 前記フォーマット規則は、前記視覚メディアファイルが、前記視覚メディアファイルに提供されるすべての動作点のファイルレベル情報を含むことを規定し、
前記フォーマット規則は、前記ファイルレベル情報が、動作点ごとに前記視覚メディアファイルにおける対応するトラックの情報を含むことをさらに規定する、
請求項1に記載の方法。 - 前記フォーマット規則は、特定の動作点に必要なトラックが前記特定の動作点に必要でないレイヤ及びサブレイヤを含むことを許可する、
請求項2に記載の方法。 - 前記構文要素は、ファイルレベルコンテナを含むボックスを備える、
請求項1~3のいずれか1項に記載の方法。 - 前記フォーマット規則は、前記ファイルレベル情報がファイルレベルボックスに含まれることを規定する、
請求項1~4のいずれか1項に記載の方法。 - 前記フォーマット規則は、前記ファイルレベル情報がムービーレベルボックスに含まれることを規定する、
請求項1~5のいずれか1項に記載の方法。 - 前記フォーマット規則は、前記ファイルレベル情報が別のトラックレベルボックス又は別のファイルレベルボックスにおいて識別されるトラックレベルボックスに含まれることを規定する、
請求項1~6のいずれか1項に記載の方法。 - 前記フォーマット規則は、前記特定のタイプのサンプルグループが、動作点ごとに必要な軌跡に関する情報を含むことをさらに規定する、
請求項3~7のいずれか1項に記載の方法。 - 前記フォーマット規則は、動作点ごとに必要な軌跡に関する情報が、前記ビットストリームにおける複数のレイヤに関するレイヤ情報を含む別の特定のタイプのサンプルグループから削除されることをさらに規定する、
請求項3~8のいずれか1項に記載の方法。 - 前記視覚メディアデータは、汎用映像符号化(VVC)によって処理され、
前記複数のトラックは、VVCトラックである、
請求項1~9のいずれか1項に記載の方法。 - 前記変換は、前記視覚メディアファイルを生成することと、前記フォーマット規則に従って、前記ビットストリームを前記視覚メディアファイルに記憶することと、を含む、
請求項1~10のいずれか1つに記載の方法。 - 前記変換は、前記フォーマット規則に従って前記視覚メディアファイルを構文解析し、前記ビットストリームを再構成することを含む、
請求項1~10のいずれか1項に記載の方法。 - 請求項1~12のいずれか1項以上に記載の方法を実装するように構成された処理装置を備える、視覚メディア処理装置。
- 処理装置が実行可能なコードが記憶された非一時的なコンピュータ可読記憶媒体であって、
前記コードは、前記処理装置に、請求項1~12のいずれか1項以上に記載の方法を実装させる、非一時的なコンピュータ可読記憶媒体。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063079946P | 2020-09-17 | 2020-09-17 | |
US63/079,946 | 2020-09-17 | ||
US202063088786P | 2020-10-07 | 2020-10-07 | |
US63/088,786 | 2020-10-07 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022050376A true JP2022050376A (ja) | 2022-03-30 |
JP7319336B2 JP7319336B2 (ja) | 2023-08-01 |
Family
ID=77801612
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021152670A Active JP7319336B2 (ja) | 2020-09-17 | 2021-09-17 | 符号化映像における動作点サンプルグループ |
JP2021152671A Active JP7372293B2 (ja) | 2020-09-17 | 2021-09-17 | 符号化映像における依存性情報の信号通知 |
JP2021152672A Active JP7376544B2 (ja) | 2020-09-17 | 2021-09-17 | 符号化映像における動作点エンティティグループの信号通知 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021152671A Active JP7372293B2 (ja) | 2020-09-17 | 2021-09-17 | 符号化映像における依存性情報の信号通知 |
JP2021152672A Active JP7376544B2 (ja) | 2020-09-17 | 2021-09-17 | 符号化映像における動作点エンティティグループの信号通知 |
Country Status (5)
Country | Link |
---|---|
US (3) | US11683529B2 (ja) |
EP (3) | EP3972266A1 (ja) |
JP (3) | JP7319336B2 (ja) |
KR (3) | KR20220037397A (ja) |
CN (3) | CN114205604A (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220353504A1 (en) * | 2019-09-23 | 2022-11-03 | Lg Electronics Inc. | Image coding method based on transform, and device therefor |
JP7431330B2 (ja) | 2019-12-26 | 2024-02-14 | バイトダンス インコーポレイテッド | ビデオコーディングにおけるプロファイル、層及びレイヤの指示 |
JP7425204B2 (ja) | 2019-12-26 | 2024-01-30 | バイトダンス インコーポレイテッド | ビデオビットストリームにおける仮想参照デコーダパラメータのシグナリングに対する制約 |
EP4066387A4 (en) | 2019-12-27 | 2023-02-15 | ByteDance Inc. | SUBPICTURE SIGNALING IN PARAMETER SETS |
KR20220125235A (ko) | 2020-01-09 | 2022-09-14 | 바이트댄스 아이엔씨 | 상이한 sei 메시지들의 디코딩 순서 |
JP7464742B2 (ja) | 2020-03-21 | 2024-04-09 | 北京字節跳動網絡技術有限公司 | 参照ピクチャリサンプリング |
WO2021254379A1 (en) | 2020-06-20 | 2021-12-23 | Beijing Bytedance Network Technology Co., Ltd. | Inter layer prediction with different coding block size |
US11683529B2 (en) | 2020-09-17 | 2023-06-20 | Lemon Inc. | Operational point sample group in coded video |
GB2599171A (en) * | 2020-09-29 | 2022-03-30 | Canon Kk | Method and apparatus for encapsulating video data into a file |
WO2024020050A1 (en) * | 2022-07-18 | 2024-01-25 | Bytedance Inc. | Drap and edrap in the isobmff |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017516338A (ja) * | 2014-03-24 | 2017-06-15 | クアルコム,インコーポレイテッド | 連続的マルチピリオドコンテンツ処理 |
JP2018524877A (ja) * | 2015-06-16 | 2018-08-30 | キヤノン株式会社 | カプセル化されたビットストリームからメディアデータ及びメタデータを取得するための、動作基点ディスクリプタを動的に設置可能な方法、デバイス及びコンピュータプログラム |
JP2018530967A (ja) * | 2015-10-14 | 2018-10-18 | クアルコム,インコーポレイテッド | マルチレイヤビットストリームファイルフォーマットにおける動作点サンプルグループの位置合わせ |
JP2019511173A (ja) * | 2016-03-30 | 2019-04-18 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | Hevcおよびl−hevcファイルフォーマットにおけるタイルグループ化に対する改善 |
JP2020515169A (ja) * | 2017-03-20 | 2020-05-21 | シャープ株式会社 | メディアアプリケーションフォーマットでスケーラブル動画像をシグナリングするためのシステム及び方法 |
JP2020080547A (ja) * | 2012-07-10 | 2020-05-28 | ヴィド スケール インコーポレイテッド | 品質ドリブンストリーミング |
WO2020109154A1 (en) * | 2018-11-29 | 2020-06-04 | Canon Kabushiki Kaisha | Method, device, and computer program for encapsulating media data into a media file |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9648348B2 (en) | 2013-10-23 | 2017-05-09 | Qualcomm Incorporated | Multi-layer video file format designs |
US10291561B2 (en) * | 2015-02-09 | 2019-05-14 | Nokia Technologies Oy | Apparatus, a method and a computer program for image coding and decoding |
US20160373771A1 (en) * | 2015-06-18 | 2016-12-22 | Qualcomm Incorporated | Design of tracks and operation point signaling in layered hevc file format |
EP3821608A4 (en) | 2018-07-11 | 2022-04-13 | Nokia Technologies Oy | METHOD AND DEVICE FOR STORAGE AND SIGNALING OF COMPRESSED POINT CLOUDS |
CN110933412B (zh) | 2018-09-19 | 2023-07-25 | 北京字节跳动网络技术有限公司 | 用于帧内块复制的基于历史的运动矢量预测值 |
CN113366846A (zh) | 2019-02-02 | 2021-09-07 | 北京字节跳动网络技术有限公司 | 用于视频编解码中的帧内块复制的缓冲区更新 |
US11228776B1 (en) | 2020-03-27 | 2022-01-18 | Tencent America LLC | Method for output layer set mode in multilayered video stream |
EP4128810A1 (en) | 2020-04-03 | 2023-02-08 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | File format concepts for video coding |
CN116325759A (zh) | 2020-09-16 | 2023-06-23 | Lg 电子株式会社 | 用于处理媒体文件的方法及其设备 |
US11683529B2 (en) | 2020-09-17 | 2023-06-20 | Lemon Inc. | Operational point sample group in coded video |
-
2021
- 2021-09-13 US US17/473,425 patent/US11683529B2/en active Active
- 2021-09-13 US US17/473,485 patent/US11758195B2/en active Active
- 2021-09-13 US US17/473,554 patent/US11671627B2/en active Active
- 2021-09-16 EP EP21197196.5A patent/EP3972266A1/en active Pending
- 2021-09-16 EP EP21197225.2A patent/EP3972268A1/en active Pending
- 2021-09-16 EP EP21197219.5A patent/EP3972267A1/en active Pending
- 2021-09-17 JP JP2021152670A patent/JP7319336B2/ja active Active
- 2021-09-17 JP JP2021152671A patent/JP7372293B2/ja active Active
- 2021-09-17 KR KR1020210125017A patent/KR20220037397A/ko unknown
- 2021-09-17 KR KR1020210125018A patent/KR20220037398A/ko unknown
- 2021-09-17 CN CN202111092628.5A patent/CN114205604A/zh active Pending
- 2021-09-17 JP JP2021152672A patent/JP7376544B2/ja active Active
- 2021-09-17 KR KR1020210125019A patent/KR20220037399A/ko unknown
- 2021-09-17 CN CN202111092639.3A patent/CN114205606A/zh active Pending
- 2021-09-17 CN CN202111092630.2A patent/CN114205605A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020080547A (ja) * | 2012-07-10 | 2020-05-28 | ヴィド スケール インコーポレイテッド | 品質ドリブンストリーミング |
JP2017516338A (ja) * | 2014-03-24 | 2017-06-15 | クアルコム,インコーポレイテッド | 連続的マルチピリオドコンテンツ処理 |
JP2018524877A (ja) * | 2015-06-16 | 2018-08-30 | キヤノン株式会社 | カプセル化されたビットストリームからメディアデータ及びメタデータを取得するための、動作基点ディスクリプタを動的に設置可能な方法、デバイス及びコンピュータプログラム |
JP2018530967A (ja) * | 2015-10-14 | 2018-10-18 | クアルコム,インコーポレイテッド | マルチレイヤビットストリームファイルフォーマットにおける動作点サンプルグループの位置合わせ |
JP2019511173A (ja) * | 2016-03-30 | 2019-04-18 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | Hevcおよびl−hevcファイルフォーマットにおけるタイルグループ化に対する改善 |
JP2020515169A (ja) * | 2017-03-20 | 2020-05-21 | シャープ株式会社 | メディアアプリケーションフォーマットでスケーラブル動画像をシグナリングするためのシステム及び方法 |
WO2020109154A1 (en) * | 2018-11-29 | 2020-06-04 | Canon Kabushiki Kaisha | Method, device, and computer program for encapsulating media data into a media file |
Also Published As
Publication number | Publication date |
---|---|
KR20220037398A (ko) | 2022-03-24 |
KR20220037397A (ko) | 2022-03-24 |
JP7372293B2 (ja) | 2023-10-31 |
US20220086494A1 (en) | 2022-03-17 |
US11758195B2 (en) | 2023-09-12 |
CN114205605A (zh) | 2022-03-18 |
JP2022050377A (ja) | 2022-03-30 |
EP3972267A1 (en) | 2022-03-23 |
EP3972266A1 (en) | 2022-03-23 |
CN114205604A (zh) | 2022-03-18 |
JP7319336B2 (ja) | 2023-08-01 |
EP3972268A1 (en) | 2022-03-23 |
US11683529B2 (en) | 2023-06-20 |
US20220086495A1 (en) | 2022-03-17 |
CN114205606A (zh) | 2022-03-18 |
JP2022050378A (ja) | 2022-03-30 |
JP7376544B2 (ja) | 2023-11-08 |
KR20220037399A (ko) | 2022-03-24 |
US20220086496A1 (en) | 2022-03-17 |
US11671627B2 (en) | 2023-06-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7376544B2 (ja) | 符号化映像における動作点エンティティグループの信号通知 | |
JP7397036B2 (ja) | 映像符号化におけるサブピクチャエンティティ | |
JP7355791B2 (ja) | サブピクチャトラックの参照および処理 | |
JP2022050368A (ja) | コーディングされたビデオにおけるデコーダ・コンフィギュレーション・レコード | |
JP2022050370A (ja) | ビデオコーディングにおけるデコード機能情報のストレージ | |
CN114205626B (zh) | 视频操作点记录语法和语义 | |
JP2023542226A (ja) | マルチビュー情報のシグナリング | |
CN117528004A (zh) | 多层视频比特流的子比特流提取 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211215 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220823 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220830 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230314 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230609 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230620 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230720 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7319336 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |