JP2017192078A - 画像符号化装置及びその制御方法 - Google Patents
画像符号化装置及びその制御方法 Download PDFInfo
- Publication number
- JP2017192078A JP2017192078A JP2016081466A JP2016081466A JP2017192078A JP 2017192078 A JP2017192078 A JP 2017192078A JP 2016081466 A JP2016081466 A JP 2016081466A JP 2016081466 A JP2016081466 A JP 2016081466A JP 2017192078 A JP2017192078 A JP 2017192078A
- Authority
- JP
- Japan
- Prior art keywords
- encoding
- pixel
- unit
- target pixel
- encoded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/93—Run-length coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Abstract
【解決手段】 符号化対象の画像データをラスタースキャン順に符号化する画像符号化装置であって、同じ画素の連続するラン長を符号化する第1の符号化部と、符号化対象の画素を予測符号化する第2の符号化部と、着目画素が、当該着目画素が位置するライン上の所定範囲内に位置するか否かを判定することで、着目画素に対して第2の符号化手段を適用するか否かを判定する第1の判定部と、着目画素が所定範囲の外に位置する場合には、着目画素の周囲に位置する既符号化の画素を参照して、着目画素に対して第1の符号化部、第2の符号化部のいずれを適用するかを判定する第2の判定部とを有する。
【選択図】 図2
Description
符号化対象の画像データをラスタースキャン順に符号化する画像符号化装置であって、
同じ画素の連続するラン長を符号化する第1の符号化手段と、
符号化対象の画素を予測符号化する第2の符号化手段と、
着目画素が、当該着目画素が位置するライン上の所定範囲内に位置するか否かを判定することで、前記着目画素に対して前記第2の符号化手段を適用するか否かを判定する第1の判定手段と、
前記着目画素が前記所定範囲の外に位置する場合には、前記着目画素の周囲に位置する既符号化の画素を参照して、前記着目画素に対して前記第1の符号化手段、前記第2の符号化手段のいずれを適用するかを判定する第2の判定手段とを有する。
第1の実施形態は、画像データを色成分毎に符号化する符号化装置、並びに、復号する画像復号装置に適用される。また、説明を具体化するため、デジタルカメラ等の撮像装置に搭載する例を説明するが、符号化対象の画像データの発生源は、画像データを記憶した記憶媒体でも良いし、ネットワーク(のサーバ)でも構わず、その種類は問わない。
D1=d−b …(1)
D2=b−c …(2)
D3=c−a …(3)
予測誤差Diff = 着目画素の画素値 − 予測値=x−p …(5)
次に、予測符号化部2034は、S507にて、予測誤差Diffをゴロム・ライス符号化する。本処理では、予測符号化部2034は、まず予測誤差(Diff)を非負の整数値(MV)に変換する。変換式は次式(6)の通りである。
(1)MVを2進数表現して、MVをkビット右シフトした値の0を並べ、その後に1を付加する。
(2)上記(1)の後ろに、MVの下位kビットを取りだして付け加える。
コンテキストの発生回数N×2k≧予測誤差の絶対値の総和A …(7)
尚、このパラメータkの決定方法は、符号化側と復号側で同じパラメータを利用できれば良く、その他の決定方法で代替しても良い。以上のゴロム・ライス符号化を終えると、色成分符号化部203は処理をS511に進める。
(1)RL<2J[index]となるまで0を出力、RLから2J[index]を減算、indexを1加算を繰り返す
(2)(1)の後ろに1を出力する
(3)RLの下位J[index]ビット出力
(4)indexが0より大きければ、indexを1減算
MELCODE符号化により出力する符号語の一例を図9に示す。符号化の過程で動的に変化する符号化パラメータindexを引数とした、符号長の最小値を記憶する配列J[index](テーブルとして保持しているものとする)の値により、図9で示される符号語が出力される。図9において横線を引いた領域の符号語は、符号化パラメータindexを動的に変化させるアルゴリズムに依存し、一意には決定されないため、ここでは記載していない。以上、ランレングス符号化部2035の符号化処理を説明した。
(1)符号データから1ビットずつ取り出し、取り出したビットが“0”である限り、カウントアップしていく。そして、取り出したビットが“1”の場合は次の工程(2)に移る。ここでは、ビットが“0”の数をZEROcntと呼ぶ。
(2)ZEROcntをkビット左シフトする。さらに符号データからkビット取り出した値を、シフト後のZEROcntに加算し、シンボルMVを求める。
着目画素x = 予測誤差 + 予測値=Diff+p …(9)
以上の処理により、着目画素xにおける予測値と、復号された予測誤差に基づいて着目画素における画素値を得る事ができる。
上記第1の実施形態では、JPEG−LSと同様にコンテキスト生成を行い、該コンテキストでランレングスモードに入るか否かの決定と、ゴロム・ライス符号化における符号化パラメータkの決定を行った。このような構成とすることで着目画素の周辺状態に応じた符号化を行えるため符号化効率の向上を図ることができるが、コンテキストの数だけ情報を保持するバッファが必要となってしまう。かかる点を解決するため、コンテキスト生成を行わない符号化の実施形態を図10のフローチャートを用いて以下から説明する。尚、復号装置に関しても本実施形態の符号化装置と同様の変更を加えることで復号が可能となる。この図10は、第1の実施形態における図5に代わるものである。つまり、本第2の実施形態における色成分符号化部203は、図2からコンテキスト生成部2031を省いた構成であり、それ以外は同じと理解されたい。以下は、第2の実施形態における色成分符号化部203による、1色成分の画像データの符号化処理である。
a=b=c=d …(10)
つまり、式(10)を満たす場合、色成分符号化部203は処理をS1007へ、そうでない場合はS1005へ処理を移す。
第1の実施形態では、図2に示した通り、画像データにおける各色成分毎に符号化を行った。しかし本発明はこれに限らず、周波数帯域への変換後の係数に対して適用する事も出来る。この時、周波数帯域の変換の一つであるウェーブレット変換を行うと、図12に示すように画像データが複数の分解レベルに分けられる。各分解レベルは、複数のウェーブレット係数群(以下、サブバンド)から構成される。ウェーブレット変換は、1回の変換で得られたサブバンドLLに対して再帰的に行うことができる。ウェーブレット変換を実行する回数が、分解レベルを表すこととなる。つまり、分解レベルが1増えると水平・垂直解像度は半分になる。そして、ウェーブレット変換で得られる複数のサブバンドのそれぞれを、第1、第2の実施形態における符号化対象の画像データと見立てて、サブバンド内の係数を画素とみなして符号化する。
第1の実施形態では、図5のS504において強制的に予測符号化モードに移行する範囲を、コンテキスト生成で参照する周辺画素に応じて決定した。このような決定方法とすることで、コンテキストの精度が十分でない範囲の画素を強制的に予測符号化とすることができる。しかし、ランレングス符号化で用いている符号化パラメータindexによって、予測符号化モードに移行した方がよい範囲を規定する事も可能である。そこで、本第4の実施形態では、強制的に予測符号化モードに移行する範囲を、indexで決定する例を説明する。
J[0…31]={0,0,0,0,1,1,1,1,2,2,2,2,3,3,3,3,4,4,5,5,6,6,7,7,8,9,10,11,12,13,14,15}
例えば、index=28となっている場合、J[28]=12である。つまりこの場合はランレングスがどの長さであっても、生成される符号語の符号長は最低でも12+1=13ビットとなる。この時、着目画素が図13に示すようにラインの右端から5画素遡った位置でランレングスモードに移行したとする。この場合、ランは最長でも5までしか伸びない事が確定する。仮にランが3まで延びたとしても、上述の通りランレングス符号に13ビット必要となる。しかし、この3画素分のランを仮にk=0のゴロム・ライス符号化で表現すれば、3ビットで済む事となる。つまりMELCODE符号化のJ[index]と、ゴロム・ライス符号化のパラメータkの関係によって、ランレングス符号化が有効な範囲を規定する事ができる。そこで、本第4の実施形態では、所定の範囲R(図7参照)を次式(11)のように定める。
R=(J[index]+ 1)/(1+k) … (11)
尚、(11)式のkは仮想の値として固定的に設定し、J[index]のみで決定出来るよう構成しても良い。この時のkは例えば0、2等とすればよい。上記の決定方法とすることで、実際のランレングス符号を勘案して、強制的に予測符号化モードに移行する範囲を決定する事ができるようになるため、圧縮率向上を図ることができる。
第3の実施形態ではウェーブレット変換を行ったサブバンド単位で本発明を実施することで、より効果が大きくなると述べたが、さらに画像を複数のブロックに区切り、ブロック単位で符号化・復号するようにすれば一層効果が大きくなる。
Claims (9)
- 符号化対象の画像データをラスタースキャン順に符号化する画像符号化装置であって、
同じ画素の連続するラン長を符号化する第1の符号化手段と、
符号化対象の画素を予測符号化する第2の符号化手段と、
着目画素が、当該着目画素が位置するライン上の所定範囲内に位置するか否かを判定することで、前記着目画素に対して前記第2の符号化手段を適用するか否かを判定する第1の判定手段と、
前記着目画素が前記所定範囲の外に位置する場合には、前記着目画素の周囲に位置する既符号化の画素を参照して、前記着目画素に対して前記第1の符号化手段、前記第2の符号化手段のいずれを適用するかを判定する第2の判定手段と、
を有することを特徴とする画像符号化装置。 - 前記第2の符号化手段は、前記着目画素の周囲の既符号化の複数の周囲画素から前記着目画素の予測値を求め、前記着目画素と予測値との誤差を符号化し、
前記第1の判定手段は、
複数の周囲画素のうちの前記ラスタースキャン順の最も先行する水平方向の座標を持つ画素と、前記着目画素の水平方向の座標との差をRとしたとき、
前記所定範囲が、前記着目画素が位置するラインの右端位置から当該ラインの先頭に向かって前記Rが示す範囲であるとして前記判定を行う
ことを特徴とする請求項1に記載の画像符号化装置。 - 前記第2の符号化手段は、前記着目画素の周囲の既符号化の複数の周囲画素から前記着目画素におけるコンテキストを求め、当該コンテキストに基づき前記着目画素を予測符号化し、
前記第1の判定手段は、
複数の周囲画素のうちの前記ラスタースキャン順の最も先行する水平方向の座標を持つ画素と、前記着目画素の水平方向の座標との差をRとしたとき、
前記所定範囲が、前記着目画素が位置するラインの右端位置から当該ラインの先頭に向かって前記Rが示す範囲であるとして前記判定を行う
ことを特徴とする請求項1に記載の画像符号化装置。 - 前記第1の符号化手段は、MELCODE符号化手段であり、
前記第2の符号化手段は、ゴロム・ライス符号化手段であり、
前記MELCODE符号化手段で用いる符号化パラメータをindex、当該符号化パラメータのindexで決まる符号長の最小値をJ[index]、前記ゴロム・ライス符号化で用いる符号化パラメータをkとしたとき、
前記第1の判定手段は、次式に従ってRを求め、
R={J[index]+1}/{1+k}
前記所定の範囲を、前記着目画素が位置するラインの右端位置から当該ラインの先頭に向かって前記Rが示す範囲として前記判定を行う
ことを特徴とする請求項1に記載の画像符号化装置。 - 前記符号化対象の画像データは、カラー画像データを表す1色成分の画素から構成されることを特徴とする請求項1乃至4のいずれか1項に記載の画像符号化装置。
- 更に、ウェーブレット変換する変換手段を有し、
前記符号化対象の画像データは、前記変換手段で得られた複数のサブバンドのうちの1つのサブバンドであり、
前記画素は、前記サブバンド内の係数である
ことを特徴とする請求項1乃至5のいずれか1項に記載の画像符号化装置。 - 同じ画素の連続するラン長を符号化する第1の符号化手段、及び、符号化対象の画素を予測符号化する第2の符号化手段とを有し、符号化対象の画像データをラスタースキャン順に前記第1の符号化手段、前記第2の符号化手段のいずれかを用いて符号化する画像符号化装置の制御方法であって、
第1の判定手段が、符号化対象の着目画素が、当該着目画素の位置するライン上の所定範囲内に位置するか否かを判定することで、前記着目画素に対して前記第2の符号化手段を適用するか否かを判定する第1の判定工程と、
第2の判定手段が、前記着目画素が前記所定範囲の外に位置する場合には、前記着目画素の周囲に位置する既符号化の画素を参照して、前記着目画素に対して前記第1の符号化手段、前記第2の符号化手段のいずれを適用するかを判定する第2の判定工程と、
を有することを特徴とする画像符号化装置の制御方法。 - 請求項7に記載の画像符号化装置の制御方法の各工程を、コンピュータに実行させるためのプログラム。
- 請求項8に記載のプログラムを格納した、コンピュータが読み取り可能な記憶媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016081466A JP6727011B2 (ja) | 2016-04-14 | 2016-04-14 | 画像符号化装置及びその制御方法 |
US15/483,284 US10609393B2 (en) | 2016-04-14 | 2017-04-10 | Image encoding apparatus and method of controlling the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016081466A JP6727011B2 (ja) | 2016-04-14 | 2016-04-14 | 画像符号化装置及びその制御方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2017192078A true JP2017192078A (ja) | 2017-10-19 |
JP2017192078A5 JP2017192078A5 (ja) | 2019-05-23 |
JP6727011B2 JP6727011B2 (ja) | 2020-07-22 |
Family
ID=60039125
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016081466A Active JP6727011B2 (ja) | 2016-04-14 | 2016-04-14 | 画像符号化装置及びその制御方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10609393B2 (ja) |
JP (1) | JP6727011B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6727011B2 (ja) * | 2016-04-14 | 2020-07-22 | キヤノン株式会社 | 画像符号化装置及びその制御方法 |
JP2019050451A (ja) | 2017-09-07 | 2019-03-28 | キヤノン株式会社 | 画像処理装置及びその制御方法及びプログラム及び画像処理システム |
US10778412B2 (en) * | 2017-12-28 | 2020-09-15 | Intel Corporation | Multi-domain convolutional neural network |
US20210199503A1 (en) * | 2019-12-26 | 2021-07-01 | Industrial Technology Research Institute | Data processing system disposed on sensor and method thereof |
CN117097905B (zh) * | 2023-10-11 | 2023-12-26 | 合肥工业大学 | 一种无损图像分块压缩方法、设备、存储介质 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000115782A (ja) * | 1998-10-06 | 2000-04-21 | Canon Inc | 符号化装置及び方法及び記憶媒体 |
JP3885413B2 (ja) | 1999-06-08 | 2007-02-21 | 富士ゼロックス株式会社 | 画像符号化装置、画像復号装置および画像符号化復号装置ならびに方法 |
US6944350B2 (en) * | 1999-12-17 | 2005-09-13 | Utah State University | Method for image coding by rate-distortion adaptive zerotree-based residual vector quantization and system for effecting same |
US7162080B2 (en) * | 2001-02-23 | 2007-01-09 | Zoran Corporation | Graphic image re-encoding and distribution system and method |
US6832005B2 (en) * | 2001-03-23 | 2004-12-14 | Microsoft Corporation | Adaptive encoding and decoding of bi-level images |
US7013050B2 (en) * | 2001-06-26 | 2006-03-14 | Canon Kabushiki Kaisha | Image encoding apparatus and method, program code, and storage medium |
US7522774B2 (en) * | 2004-03-10 | 2009-04-21 | Sindhara Supermedia, Inc. | Methods and apparatuses for compressing digital image data |
JP4773203B2 (ja) | 2005-12-28 | 2011-09-14 | 日産ライトトラック株式会社 | シートベルトアンカーのロック装置 |
JP2008042688A (ja) * | 2006-08-08 | 2008-02-21 | Canon Inc | 画像処理装置およびその制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体 |
US8041135B2 (en) * | 2006-10-20 | 2011-10-18 | Canon Kabushiki Kaisha | Image encoding apparatus and control method thereof |
US8031954B2 (en) * | 2007-04-26 | 2011-10-04 | Canon Kabushiki Kaisha | Image encoding apparatus and control method thereof using prediction encoding and pixel classification |
JP2008311792A (ja) | 2007-06-12 | 2008-12-25 | Canon Inc | 画像符号化装置及びその制御方法 |
US8208543B2 (en) * | 2008-05-19 | 2012-06-26 | Microsoft Corporation | Quantization and differential coding of alpha image data |
JP2011024066A (ja) * | 2009-07-17 | 2011-02-03 | Sony Corp | 画像処理装置および方法 |
US8588536B2 (en) * | 2010-02-22 | 2013-11-19 | Texas Instruments Incorporated | Guaranteed-rate tiled image data compression |
US8306343B2 (en) * | 2010-04-09 | 2012-11-06 | Newport Media, Inc. | Optimized prediction based image compression |
JP6465571B2 (ja) | 2014-06-18 | 2019-02-06 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法 |
US10205968B2 (en) * | 2015-02-13 | 2019-02-12 | Mediatek Inc. | Method and apparatus for palette index coding in video and image compression |
US10003821B2 (en) * | 2015-10-27 | 2018-06-19 | Canon Kabushiki Kaisha | Image encoding apparatus and method of controlling same |
JP6727011B2 (ja) * | 2016-04-14 | 2020-07-22 | キヤノン株式会社 | 画像符号化装置及びその制御方法 |
CN109479136A (zh) * | 2016-08-04 | 2019-03-15 | 深圳市大疆创新科技有限公司 | 用于比特率控制的系统和方法 |
JP2019022129A (ja) * | 2017-07-19 | 2019-02-07 | 富士通株式会社 | 動画像符号化装置、動画像符号化方法、動画像復号装置、動画像復号方法、及び動画像符号化用コンピュータプログラムならびに動画像復号用コンピュータプログラム |
-
2016
- 2016-04-14 JP JP2016081466A patent/JP6727011B2/ja active Active
-
2017
- 2017-04-10 US US15/483,284 patent/US10609393B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20170302938A1 (en) | 2017-10-19 |
JP6727011B2 (ja) | 2020-07-22 |
US10609393B2 (en) | 2020-03-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5902311B2 (ja) | ビデオコード化のための量子化行列の信号伝達 | |
JP4365957B2 (ja) | 画像処理方法及びその装置及び記憶媒体 | |
JP4831372B2 (ja) | 符号化および復号装置、符号化および復号方法ならびにプログラム | |
JP5590133B2 (ja) | 動画像符号化装置、動画像符号化方法、動画像符号化用コンピュータプログラム、動画像復号装置及び動画像復号方法ならびに動画像復号用コンピュータプログラム | |
JP5545783B2 (ja) | 画像シーケンスを表す符号化されたデータのストリームを復号する方法および画像シーケンスを符号化する方法 | |
JP6727011B2 (ja) | 画像符号化装置及びその制御方法 | |
KR102140331B1 (ko) | 인트라 예측 방법 및 그 장치 | |
JP2011035902A (ja) | 画像シーケンスを表す符号化データストリームの復号方法と画像シーケンスの符号化方法 | |
KR20210020971A (ko) | 영상 변환 부호화/복호화 방법 및 장치 | |
TW201919398A (zh) | 視頻數據解碼方法及裝置 | |
JP6502739B2 (ja) | 画像符号化装置、画像処理装置、画像符号化方法 | |
JP7390788B2 (ja) | 画像符号化装置及びその制御方法及びプログラム | |
JP2010098352A (ja) | 画像情報符号化装置 | |
JP2023129480A (ja) | 変換係数有意フラグのエントロピー・コーディングのためのコンテキストモデルを減らすための方法、装置、およびコンピュータプログラム | |
KR101911587B1 (ko) | 적응적인 인트라 예측을 이용한 영상 부호화/복호화 장치 및 방법 | |
CN110536133B (zh) | 视频数据解码方法及装置 | |
JP2016092589A (ja) | 符号化装置及びその制御方法 | |
JP6632752B2 (ja) | 画像符号化装置及び方法及びプログラム及び記憶媒体 | |
JP6465570B2 (ja) | 撮像装置、撮像装置の制御方法 | |
JP6512927B2 (ja) | 画像符号化装置及びその制御方法 | |
JP6497981B2 (ja) | 画像符号化装置及びその制御方法 | |
JP6727010B2 (ja) | 画像符号化装置及び画像復号装置及びそれらの制御方法 | |
JP6581469B2 (ja) | 画像符号化装置及びその制御方法、並びにプログラム及び記憶媒体 | |
JPWO2019150435A1 (ja) | 映像符号化装置、映像符号化方法、映像復号装置、映像復号方法、及び映像符号化システム | |
JP2023070055A (ja) | 画像符号化装置及びその制御方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190408 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190408 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200210 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20200403 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200513 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200601 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200630 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6727011 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |