JP2021069059A - 画像処理装置および画像処理方法 - Google Patents
画像処理装置および画像処理方法 Download PDFInfo
- Publication number
- JP2021069059A JP2021069059A JP2019194728A JP2019194728A JP2021069059A JP 2021069059 A JP2021069059 A JP 2021069059A JP 2019194728 A JP2019194728 A JP 2019194728A JP 2019194728 A JP2019194728 A JP 2019194728A JP 2021069059 A JP2021069059 A JP 2021069059A
- Authority
- JP
- Japan
- Prior art keywords
- data
- image processing
- subband
- unit
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 33
- 238000003672 processing method Methods 0.000 title claims abstract description 7
- 238000012937 correction Methods 0.000 claims abstract description 21
- 230000002427 irreversible effect Effects 0.000 claims abstract description 10
- 238000013139 quantization Methods 0.000 claims description 96
- 238000006243 chemical reaction Methods 0.000 claims description 59
- 238000000034 method Methods 0.000 claims description 42
- 230000008569 process Effects 0.000 claims description 24
- 230000015572 biosynthetic process Effects 0.000 claims description 16
- 238000003786 synthesis reaction Methods 0.000 claims description 16
- 210000002569 neuron Anatomy 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 239000000203 mixture Substances 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 230000006866 deterioration Effects 0.000 abstract description 9
- 230000006870 function Effects 0.000 description 7
- 238000003908 quality control method Methods 0.000 description 7
- 230000009466 transformation Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/1883—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
(符号化装置の説明)
まず、実施形態に係る復号装置が復号する符号化データを生成する符号化装置について図1に示すブロック図を参照しながら説明する。なお、本実施形態では撮像素子に原色ベイヤ配列のカラーフィルタが設けられているものとするが、本発明はカラーフィルタの種類に依存しない。
式1
C0=a+c
C1=B−G2
C2=R−G1
C3=b−a
ただし、a=G2+[C1/2]、b=G1+[C2/2]、c=[C3/2]であり、[]は床関数を表し、[x]はxを超えない最大の整数である。
lpf(z)=(-z-2 + 2z-1 + 6 + 2z1- z2 )/8 式2
hpf(z)=(-z-1 +2 -z1)/2 式3
1段目で垂直方向、2段目で水平方向の処理を行うことにより、2次元の離散ウェーブレット変換が実現できる。
QpSb[i][j]= QpBs ×α[i][j]+β[i][j] 式4
ここで、
QpSb:各チャネル、各サブバンド個別量子化パラメータ
QpBs:全チャネル、全サブバンド共通量子化パラメータ
α:傾き
β:切片
i:チャネルインデックス(本実施形態では0〜3)
j:サブバンドインデックス(本実施形態では0〜9)
である。
次に、上述した方法で生成された符号化RAWデータを復号する復号装置900について、図9に示すブロック図を参照して説明する。復号装置900は、エントロピー復号部901、逆量子化部902、周波数逆変換部903、特徴判定部904、補助データ生成部905、合成部906、およびチャネル逆変換部907を有する。これら各部(機能ブロック)は、ASICなどの専用ハードウェア回路により、不揮発性メモリに記憶されたプログラムをDSPやCPUなどの汎用プロセッサによってシステムメモリに読み込んで実行することにより、あるいはその組み合わせにより実現できる。以下では便宜上、各機能ブロックが自律的に、他の機能ブロックと連携しながら動作するように説明する。
S1005で特徴判定部904は、サブバンドの評価を行ったチャネルデータに対応する分類を「明・平坦」と判定して、判定処理を終了する。
S1006で特徴判定部904は、サブバンドの評価を行ったチャネルデータに対応する分類を「暗・複雑」と判定して、判定処理を終了する。
S1007で特徴判定部904は、サブバンドの評価を行ったチャネルデータに対応する分類を「暗・平坦」と判定して、判定処理を終了する。
y=1/(1+e-x’) 式6
y=0 (x’≦0),y=x’ (x’>0) 式7
次に、本発明の第2実施形態について説明する。本実施形態に係る復号装置は、特徴判定部904の動作以外は第1実施形態と同様である。したがって、以下では本実施形態における特徴判定部904の動作を重点的に説明する。
S1204、S1205、S1206、S1207で特徴判定部904は、量子化パラメータ(QpBs)と量子化パラメータの閾値であるQthとを比較し、量子化レンジを判定する。特徴判定部904は、量子化パラメータがQth以上であれば、処理をS1208、S1210、S1212、S1214にそれぞれ進め、量子化パラメータがQth未満であれば、処理をS1209、S1211、S1213、S1215にそれぞれ進める。
S1209で特徴判定部904は、サブバンドの評価を行ったチャネルデータを、「明・複雑2」に分類して、判定処理を終了する。
S1210で特徴判定部904は、サブバンドの評価を行ったチャネルデータを、「明・平坦1」に分類して、判定処理を終了する。
S1211で特徴判定部904は、サブバンドの評価を行ったチャネルデータを、「明・平坦2」に分類して、判定処理を終了する。
S1212で特徴判定部904は、サブバンドの評価を行ったチャネルデータを、「暗・複雑1」に分類して、判定処理を終了する。
S1213で特徴判定部904は、サブバンドの評価を行ったチャネルデータを、「暗・複雑2」に分類して、判定処理を終了する。
S1214で特徴判定部904は、サブバンドの評価を行ったチャネルデータを、「暗・平坦1」に分類して、判定処理を終了する。
S1215で特徴判定部904は、サブバンドの評価を行ったチャネルデータを、「暗・平坦2」に分類して、判定処理を終了する。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (11)
- 不可逆符号化したサブバンドデータを含んだ符号化RAWデータを復号する復号手段と、
前記復号したサブバンドデータに基づいて、画像の特徴に基づく複数の分類のうちの1つを判定する判定手段と、
前記判定された分類に対応する補正データを取得する取得手段と、
前記復号したサブバンドデータを周波数逆変換したデータを、前記補正データに基づいて補正して、復号後のRAWデータとする補正手段と、
を有することを特徴とする画像処理装置。 - 前記取得手段は、前記周波数逆変換したデータと、前記判定された分類に対応する推論パラメータとを用いた推論処理により、前記補正データを取得することを特徴とする請求項1に記載の画像処理装置。
- 前記取得手段は、前記周波数逆変換したデータを入力とし、前記判定された分類に対応する推論パラメータをニューロンの重みとして用いるニューラルネットワークを用いて前記補正データを取得することを特徴とする請求項2に記載の画像処理装置。
- 前記補正手段は、前記周波数逆変換したデータに前記補正データを合成比率に基づいて合成することにより前記周波数逆変換したデータを補正することを特徴とする請求項1から請求項3のいずれか1項に記載の画像処理装置。
- 前記合成比率が前記判定された分類に基づくことを特徴とする請求項4に記載の画像処理装置。
- 前記合成比率がユーザにより設定されることを特徴とする請求項4に記載の画像処理装置。
- 前記判定手段は、前記サブバンドデータのうち、低周波成分のサブバンドデータおよび高周波成分のサブバンドデータの少なくとも一方に基づいて前記複数の分類のうちの1つを判定することを特徴とする請求項1から請求項6のいずれか1項に記載の画像処理装置。
- 前記複数の分類が、画像の明度および複雑度の少なくとも一方についての分類であることを特徴とする請求項1から請求項7のいずれか1項に記載の画像処理装置。
- 前記不可逆符号化が量子化であり、
前記複数の分類が、画像の明度および複雑度の少なくとも一方に加え、前記量子化に用いられた量子化パラメータについての分類であることを特徴とする請求項1から請求項7のいずれか1項に記載の画像処理装置。 - 画像処理装置が実行する画像処理方法であって、
不可逆符号化したサブバンドデータを含んだ符号化RAWデータを復号する復号工程と、
前記復号したサブバンドデータに基づいて、画像の特徴に基づく複数の分類のうちの1つを判定する判定工程と、
前記判定された分類に対応する補正データを取得する取得工程と、
前記復号したサブバンドデータを周波数逆変換したデータを、前記補正データに基づいて補正して、復号後のRAWデータとする補正工程と、
を有することを特徴とする画像処理方法。 - コンピュータを、請求項1から請求項9のいずれか1項に記載の画像処理装置が有する各手段として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019194728A JP7469865B2 (ja) | 2019-10-25 | 2019-10-25 | 画像処理装置および画像処理方法 |
US17/078,650 US11508036B2 (en) | 2019-10-25 | 2020-10-23 | Image processing apparatus and image processing method for decoding raw image data encoded with lossy encoding scheme |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019194728A JP7469865B2 (ja) | 2019-10-25 | 2019-10-25 | 画像処理装置および画像処理方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021069059A true JP2021069059A (ja) | 2021-04-30 |
JP2021069059A5 JP2021069059A5 (ja) | 2022-10-24 |
JP7469865B2 JP7469865B2 (ja) | 2024-04-17 |
Family
ID=75587140
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019194728A Active JP7469865B2 (ja) | 2019-10-25 | 2019-10-25 | 画像処理装置および画像処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11508036B2 (ja) |
JP (1) | JP7469865B2 (ja) |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001268368A (ja) | 2000-03-22 | 2001-09-28 | Canon Inc | 画像処理装置及び方法 |
US6678421B1 (en) * | 2000-06-09 | 2004-01-13 | Hrl Laboratories, Llc | Subband coefficient prediction with pattern recognition techniques |
JP2009206737A (ja) | 2008-02-27 | 2009-09-10 | Panasonic Corp | データ処理装置およびその制御方法 |
US20110268182A1 (en) * | 2008-12-29 | 2011-11-03 | Thomson Licensing A Corporation | Method and apparatus for adaptive quantization of subband/wavelet coefficients |
US9858495B2 (en) * | 2015-06-23 | 2018-01-02 | Hong Kong Applied Science And Technology Research | Wavelet-based image decolorization and enhancement |
JP6857973B2 (ja) | 2016-06-14 | 2021-04-14 | キヤノン株式会社 | 画像符号化装置及びその制御方法 |
JP6986868B2 (ja) | 2017-06-19 | 2021-12-22 | キヤノン株式会社 | 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、プログラム |
JP7001383B2 (ja) | 2017-07-28 | 2022-01-19 | キヤノン株式会社 | 符号化装置、符号化方法、及び、プログラム |
JP2019087778A (ja) | 2017-11-01 | 2019-06-06 | 日本放送協会 | 画像復元フィルタ及び学習装置 |
-
2019
- 2019-10-25 JP JP2019194728A patent/JP7469865B2/ja active Active
-
2020
- 2020-10-23 US US17/078,650 patent/US11508036B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP7469865B2 (ja) | 2024-04-17 |
US11508036B2 (en) | 2022-11-22 |
US20210125309A1 (en) | 2021-04-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101241971B1 (ko) | 화상 신호 처리장치, 카메라 시스템, 및 화상 신호처리방법 | |
US20210136394A1 (en) | Encoding apparatus and encoding method, and decoding apparatus and decoding method | |
JP6663201B2 (ja) | 画像符号化装置及びその制御方法、並びに、コンピュータプログラム及び記憶媒体 | |
JP2006014121A (ja) | 画像符号化方法、画像符号化装置および撮像装置 | |
US10032252B2 (en) | Image processing apparatus, image capturing apparatus, image processing method, and non-transitory computer readable storage medium | |
US10776956B2 (en) | Image coding apparatus, image decoding apparatus, image coding method, image decoding method, and non-transitory computer-readable storage medium | |
JP6857973B2 (ja) | 画像符号化装置及びその制御方法 | |
US11082698B2 (en) | Image capturing apparatus having a function for encoding raw image control method therof, and non-transitory computer-readable storage medium | |
JP7001383B2 (ja) | 符号化装置、符号化方法、及び、プログラム | |
JP2017216630A (ja) | 画像符号化装置及びその制御方法 | |
JP4449400B2 (ja) | 画像符号化装置及び方法、並びにプログラム及び記録媒体 | |
US11140392B2 (en) | Image encoding apparatus, image decoding apparatus, control methods thereof, and non- transitory computer-readable storage medium | |
US20230133895A1 (en) | Image encoding apparatus and method for controlling the same and non-transitory computer-readable storage medium | |
JP7469865B2 (ja) | 画像処理装置および画像処理方法 | |
JP7321237B2 (ja) | 画像符号化装置、画像符号化方法、プログラム | |
JP2017216625A (ja) | 画像符号化装置及びその制御方法 | |
JP6916618B2 (ja) | 画像符号化装置及びその制御方法及びプログラム | |
JP6813991B2 (ja) | 画像符号化装置及びその制御方法及びプログラム | |
JP6775339B2 (ja) | 画像符号化装置及びその制御方法 | |
CN110896487A (zh) | 压缩图像数据的方法 | |
JP2019114911A (ja) | 画像符号化装置及びその制御方法及びプログラム | |
JP7387333B2 (ja) | 符号化装置及びその制御方法 | |
JP2017098898A (ja) | 画像符号化装置及びその制御方法及びプログラム並びに記憶媒体 | |
JP2021184575A (ja) | 撮像装置及びその制御方法及びプログラム | |
KR101252600B1 (ko) | 엘시디 오버드라이브를 위한 웨이블릿 영상 부호화 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221013 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221013 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231109 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231120 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240109 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240308 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240405 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7469865 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |