JP2020179031A - 医用画像処理装置、x線ct装置及び学習用データの生成方法 - Google Patents
医用画像処理装置、x線ct装置及び学習用データの生成方法 Download PDFInfo
- Publication number
- JP2020179031A JP2020179031A JP2019085941A JP2019085941A JP2020179031A JP 2020179031 A JP2020179031 A JP 2020179031A JP 2019085941 A JP2019085941 A JP 2019085941A JP 2019085941 A JP2019085941 A JP 2019085941A JP 2020179031 A JP2020179031 A JP 2020179031A
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- data collection
- learning
- collection period
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 117
- 238000000034 method Methods 0.000 title claims description 33
- 238000013480 data collection Methods 0.000 claims abstract description 108
- 230000033001 locomotion Effects 0.000 claims abstract description 87
- 238000012937 correction Methods 0.000 claims abstract description 18
- 238000012549 training Methods 0.000 claims description 18
- 238000007781 pre-processing Methods 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 73
- 238000002591 computed tomography Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 21
- 238000001514 detection method Methods 0.000 description 18
- 241001669679 Eleotris Species 0.000 description 17
- 238000004891 communication Methods 0.000 description 12
- 238000013500 data storage Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 11
- 238000010801 machine learning Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 229910052751 metal Inorganic materials 0.000 description 4
- 239000002184 metal Substances 0.000 description 4
- 210000000056 organ Anatomy 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000001678 irradiating effect Effects 0.000 description 3
- 210000004072 lung Anatomy 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 238000002600 positron emission tomography Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 229910052782 aluminium Inorganic materials 0.000 description 2
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000013170 computed tomography imaging Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 210000004185 liver Anatomy 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000002603 single-photon emission computed tomography Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000013403 standard screening design Methods 0.000 description 2
- 230000003187 abdominal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002966 stenotic effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
Description
第1の実施形態に係る医用画像処理装置について図1のブロック図を参照して説明する。
第1の実施形態に係る医用画像処理装置1は、メモリ11と、処理回路13と、入力インタフェース15と、通信インタフェース17とを含む。処理回路13は、取得機能131と、生成機能133と、画像処理機能135と、表示制御機能137とを含む。
図2は、学習済みモデルを生成する学習システムの一例を示すブロック図である。図2に示される医用情報処理システムは、学習用データ生成装置20、学習用データ保管装置22と、モデル学習装置24と、医用画像診断装置26とを含む。
医用画像処理装置1に係る処理回路13は、学習機能139をさらに含む。
取得機能131により処理回路13は、学習用データ保管装置22から学習用データを取得する。
学習機能139により処理回路13は、学習用データを用いて多層ネットワークを学習させて学習済みモデルを生成する。学習済みモデルの生成方法については、図4以降で説明する生成方法を用いればよい。
メモリ11は、学習機能139により生成された学習済みモデルを格納する。
モデル学習時には、例えば工場出荷時などにおいて、学習用データを用いて多層ネットワーク40を機械学習させればよい。また、修理時やソフトウェアのアップデート時において学習済みモデルをアップデートできるようにしてもよい。また、モデル学習時において、対象物の動きの種類が異なるものごとに、例えば被検体であれば、心臓、肺などの部位ごとに、学習済みモデルを用意することが望ましい。
例えば、第1のデータ収集期間は第2のデータ収集期間よりも長ければよいため、第2のデータ収集期間がハーフスキャン期間である場合、第1のデータ収集期間として、フルスキャン収集を100%とすると70%のデータ収集期間と設定してもよい。同様に、第2のデータ収集期間も第1のデータ収集期間よりも短ければよいため、第1のデータ収集期間がフルスキャン期間であれば、1回転の30%のデータ収集期間であってもよいし、1回転の70%のデータ収集期間であってもよい。上述の学習用データで多層ネットワーク40を学習させることにより、画像に含まれる対象物の動きを学習した学習済みモデル42を生成することができる。
よって、第1の収集期間のデータに基づく再構成画像を入力データ(第1の学習画像)とし、第2の収集期間のデータに基づく再構成画像を正解データ(第2の学習画像)として多層ネットワークを学習させることで、再構成画像における動き情報(動きの差分)を学習させることができる。第1の実施形態では、対象物の動きを学習することができ、モーションアーチファクトの影響を学習させることができる。
なお、動き情報のみを学習できるモデルであれば、第2の学習画像を入力データと子、第1の学習画像を正解データとして多層ネットワークを学習させてもよい。
図5は、対象物である被検体Pがガントリ内に存在し、第1のデータ収集期間と第2のデータ収集期間との関係を、ガントリの回転量に応じた収集期間(ビューの回転角)で示した図である。実線の矢印は、フルスキャン期間である第1のデータ収集期間50であり、破線の矢印は、ハーフスキャン期間である第2のデータ収集期間52である。
図6のように、ECG信号60のR−R間隔の60%〜90%となる心位相をハーフスキャン収集した場合、R−R間隔の75%を中心位相として、第1のデータ収集期間62と第2のデータ収集期間64とが設定される。これにより結果として、学習用データとして適切な再構成画像の組を設定できる。
入力データのデータ収集期間(第1のデータ収集期間)においては、フルスキャン期間からハーフスキャン期間、80%や70%のデータ収集期間を部分的に抽出して、中心位相を変えることにより複数の学習用データの組が生成されてもよい。
学習済みモデル42の利用時には、モーションアーチファクトを含む入力画像が学習済みモデル42に入力され、モーションアーチファクトが低減された補正画像が出力される。理想的には、モーションアーチファクトを含む入力画像から、モーションアーチファクトの無い静止した補正画像が得られる。なお、学習済みモデル42の利用時における入力画像のデータ収集期間は、任意の期間でよい。学習済みモデル42では、動き情報自体が学習されているため、利用時の入力画像のデータ収集期間を、学習時の入力画像のデータ収集期間と同じにするといった制約はなく、どのようなデータ収集期間の入力画像でも当該入力画像に含まれるモーションアーチファクトを低減できる。
ステップS902では、生成機能133により処理回路13が、各時相の画像に学習済みモデルを適用し、モーションアーチファクトが低減された各時相の補正画像を生成する。
ステップS904では、表示制御機能137により処理回路13が、各時相の動き指標値の変化をグラフ表示する。または、最も指標値の小さい時相を提示する。また、時相の提示とともに、動き指標値を提示してもよい。さらに、動き指標値の小さい時相を再構成中心とした第2のデータ収集期間に基づく画像や、当該第2のデータ収集期間の補正画像を提示してもよい。
図10(a)は、学習済みモデルに入力される入力画像の元となるデータ収集期間をビュー期間で模式的に表した図である。図10(a)では、ハーフスキャン期間において、時系列に沿って所定期間ずつ中心位相をずらしたデータを4つ示す。
図10(b)は、各時相のデータ収集期間に基づいて画像再構成処理が実施されることで生成される入力画像である。
図10(d)は、各入力画像に対して学習済みモデルが適用された後の、モーションアーチファクトが低減された補正画像を示す。
図10(e)では、入力画像と補正画像とに基づいて、各時相の動き指標値を算出する。図10(e)の例では、算出された動き指標値は、横軸を時間、縦軸を動き量としたグラフにプロットされる。なお、プロットされた点を線形回帰などによりフィッティングさせる例を示すが、これに限らず、時間と動き指標値との関係性が表現されればよい。
これにより、似た傾向のデータに特化して学習するため、少ない学習用データでも学習済みモデルの推定精度が高く、かつ収束を早くすることができる。
第1の実施形態では、画像に含まれるモーションアーチファクトを低減するために、長いデータ収集期間に基づく再構成画像を入力画像とし、短いデータ収集期間に基づく再構成画像を正解画像としている。つまり、フルスキャン収集に基づく再構成画像に対してハーフスキャン収集に基づく再構成画像を正解画像とするため、モーションアーチファクトとの観点では、ハーフスキャン収集の方がモーションアーチファクトの影響が少ないものの、画質の観点ではフルスキャン収集よりも解像度が劣る画像が出力されうる。
図11は、第1の学習済みモデルの学習時の例である。モデル学習装置24または学習機能139により処理回路13は、動きのない対象物について第1の収集期間で得られるデータに基づく再構成画像を入力画像とし、同一の対象物について第2の収集期間撮影したデータに基づく再構成画像を正解画像として、多層ネットワーク90を学習させる。例えば、フルスキャン期間に基づく再構成画像の入力に対し、ハーフスキャン期間に基づく再構成画像を正解とする学習の結果、入力画像と正解画像との間の輝度差、ノイズ量(SN比)等を学習した第1の学習済みモデル92が生成される。言い換えれば、画質補償用の学習済みモデル92が生成される。
図13に示すように、任意の収集期間のデータに基づく再構成画像が入力画像として第2の学習済みモデル96に入力され、補正画像が出力される。補正画像は、入力画像からモーションアーチファクトが低減されることに加えて、輝度の低下などの画質の劣化成分も補償される。
第3の実施形態では、利用時に1つの学習モデルに入力するのではなく、目的に応じて学習済みモデルを用意して、それぞれの学習済みモデルを適用することで、第2の実施形態と同様にデータ収集期間の違いに起因する画質変化を補正し、所望の画像を生成することができる。
第3の実施形態では2つの学習済みモデルを生成することを想定する。1つ目は、第1の実施形態と同様の動き補正用の学習済みモデル(第1の学習済みモデルともいう)である。2つ目は、画質補正用の学習済みモデル(第2の学習済みモデルともいう)である。
図15に示すように、生成機能133により処理回路13は、フルスキャン収集したモーションアーチファクトを有する再構成画像を入力画像とし、動き補正用の第1の学習済みモデル42を適用する。その後、当該第1の学習済みモデル42を適用した後の画像に対して、画質補正用の第2の学習済みモデル98を適用することで補正画像を生成する。
第4の実施形態では、医用画像処理装置1を含む医用画像診断装置として、医用画像処理装置1を含むX線CT装置について図16のブロック図を参照して説明する。図1に示すX線CT装置2は、架台装置100と、寝台装置300と、X線CT装置の処理を実現するコンソール装置400とを有する。図16では説明の都合上、架台装置100を複数描画している。
スキャン制御処理は、X線高電圧装置140に高電圧を供給させて、X線管110にX線を照射させるなど、X線スキャンに関する各種動作を制御する処理である。
画像処理は、入力インタフェース430を介して操作者から受け付けた入力操作に基づいて、再構成処理機能4430によって生成されたCT画像データを、任意断面の断層画像データや3次元画像データに変換する処理である。なお、3次元画像データの生成は、再構成処理機能4430が直接行なっても構わない。
なお、コンソール装置400は、単一のコンソールにて複数の機能を実行するものとして説明したが、複数の機能を別々のコンソールが実行することにしても構わない。
具体的には、X線診断装置で撮影されたX線画像の場合は、対象物に対する曝射時間を制御することで、第1のデータ収集期間に基づくX線画像と第2のデータ収集期間に基づくX線画像とを生成し、上述の学習用データとすればよい。
また、超音波診断装置における超音波画像の場合は、画像一枚当たりのビーム密度の高い画像を第1のデータ収集期間に基づく超音波画像とし、ビーム密度の低い画像を第2のデータ収集期間に基づく超音波画像とした学習用データを生成すればよい。
2 X線CT装置
11, 410 メモリ
13,440 処理回路
15 入力インタフェース
17 通信インタフェース
20 学習用データ生成装置
22 学習用データ保管装置
24 モデル学習装置
26 医用画像診断装置
40,90,94 多層ネットワーク
42,92,96,98 学習済みモデル
50,62,70−1〜70−3 第1のデータ収集期間
52,64,72−1〜72−3 第2のデータ収集期間
60 ECG信号
66 70%のデータ収集期間
75 中心位相
100 架台装置
110 X線管
120 X線検出器
130 回転フレーム
131 取得機能
133 生成機能
135 画像処理機能
137,4440 表示制御機能
139 学習機能
140 X線高電圧装置
150 制御装置
160 ウェッジ
170 コリメータ
180 データ収集装置(DAS)
190 開口
300 寝台装置
310 基台
320 寝台駆動装置
330 天板
340 支持フレーム
400 コンソール装置
411 学習済みモデル
420 ディスプレイ
430 入力インタフェース
4410 システム制御機能
4420 前処理機能
4430 再構成処理機能
Claims (9)
- 対象物を撮影した入力画像を取得する取得部と、
異なるデータ収集期間で動きのある対象物を撮影した画像を用いて学習した学習済みモデルを用いて、前記入力画像から前記対象物の動きに起因する画像への影響を低減した補正画像を生成する生成部と、
を具備する医用画像処理装置。 - 前記学習済みモデルは、前記動きのある対象物を第1のデータ収集期間で撮影した第1の学習画像と、前記動きのある対象物を前記第1のデータ収集期間よりも短い第2のデータ収集期間で撮影した第2の学習画像との組を用いてモデルを学習することで生成される、請求項1に記載の医用画像処理装置。
- 前記第1の学習画像と前記第2の学習画像との組は、それぞれのデータ収集期間における中心位相が同じである、請求項2に記載の医用画像処理装置。
- 前記入力画像に対し、前記学習済みモデルの学習に用いた画像に合わせた前処理を実行する画像処理部をさらに具備し、
前記生成部は、前記学習済みモデルを用いて、前処理後の入力画像から前記補正画像を生成する、請求項1から請求項3のいずれか1項に記載の医用画像処理装置。 - 前記生成部は、前記入力画像または前記補正画像に対し、データ収集期間の違いに起因する画質変化の補正処理を実行する、請求項1から請求項4のいずれか1項に記載の医用画像処理装置。
- 前記学習済みモデルは、動きのない対象物を第1のデータ収集期間で撮影した第1の学習画像と、前記動きのない対象物を前記第1のデータ収集期間よりも短い第2のデータ収集期間で撮影した第2の学習画像との組を用いて第1のモデルを学習することで生成される第1の学習済みモデルと、
前記動きのある対象物を前記第1のデータ収集期間で撮影した第3の学習画像に前記第1の学習済みモデルを適用して生成された中間画像と、前記動きのある対象物を前記第2のデータ収集期間で撮影した第4の学習画像との組を用いて第2のモデルを学習することで生成される第2の学習済みモデルと、を含み、
前記生成部は、前記第2の学習済みモデルを用いて、前記入力画像から前記補正画像を生成する、請求項1に記載の医用画像処理装置。 - 前記学習済みモデルは、動きのない対象物を第1のデータ収集期間で撮影した第1の学習画像と、前記動きのない対象物を前記第1のデータ収集期間よりも短い第2のデータ収集期間で撮影した第2の学習画像との組を用いて第1のモデルを学習することで生成される第1の学習済みモデルと、
前記動きのある対象物を前記第1のデータ収集期間で撮影した第3の学習画像と、前記動きのある対象物を前記第2のデータ収集期間で撮影した第4の学習画像との組を用いて第2のモデルを学習することで生成される第2の学習済みモデルと、を含み、
前記生成部は、前記第1の学習済みモデルと前記第2の学習済みモデルとをそれぞれ用いて、前記入力画像から前記補正画像を生成する、請求項1に記載の医用画像処理装置。 - X線管と、
前記X線管から照射されて対象物を透過したX線を検出する検出器と、
前記検出器からの出力に基づいて対象物に関する入力画像を再構成する再構成部と、
異なるデータ収集期間で動きのある対象物を撮影した画像を用いて学習した学習済みモデルを用いて、前記入力画像から前記対象物の動きに起因する画像への影響を低減した補正画像を生成する生成部と、
を具備するX線CT装置。 - 対象物を第1のデータ収集期間撮影することにより得られる第1のデータを取得し、
前記第1のデータ収集期間よりも短い第2のデータ収集期間に対応する第2のデータについて、画像再構成の中心となる中心位相を変えながら、各時相の第2のデータを抽出し、
前記時相ごとに、中心位相が同一となる前記第1のデータに基づく再構成画像と前記第2のデータに基づく再構成画像との組を学習用データとして生成する、学習用データの生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019085941A JP7242410B2 (ja) | 2019-04-26 | 2019-04-26 | 医用画像処理装置、x線ct装置及び学習用データの生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019085941A JP7242410B2 (ja) | 2019-04-26 | 2019-04-26 | 医用画像処理装置、x線ct装置及び学習用データの生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020179031A true JP2020179031A (ja) | 2020-11-05 |
JP7242410B2 JP7242410B2 (ja) | 2023-03-20 |
Family
ID=73022849
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019085941A Active JP7242410B2 (ja) | 2019-04-26 | 2019-04-26 | 医用画像処理装置、x線ct装置及び学習用データの生成方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7242410B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102486818B1 (ko) * | 2022-01-04 | 2023-01-10 | 주식회사 클라리파이 | 의료영상의 움직임 보상처리 장치 및 방법 |
JP2023057871A (ja) * | 2021-10-12 | 2023-04-24 | キヤノン株式会社 | 医用画像処理装置、医用画像処理方法およびプログラム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190130571A1 (en) * | 2017-10-27 | 2019-05-02 | Siemens Healthcare Gmbh | Method and system for compensating for motion artifacts by means of machine learning |
JP2019534763A (ja) * | 2016-09-06 | 2019-12-05 | エレクタ、インク.Elekta, Inc. | 合成医療画像を生成するためのニューラルネットワーク |
-
2019
- 2019-04-26 JP JP2019085941A patent/JP7242410B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019534763A (ja) * | 2016-09-06 | 2019-12-05 | エレクタ、インク.Elekta, Inc. | 合成医療画像を生成するためのニューラルネットワーク |
US20190130571A1 (en) * | 2017-10-27 | 2019-05-02 | Siemens Healthcare Gmbh | Method and system for compensating for motion artifacts by means of machine learning |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023057871A (ja) * | 2021-10-12 | 2023-04-24 | キヤノン株式会社 | 医用画像処理装置、医用画像処理方法およびプログラム |
JP7487159B2 (ja) | 2021-10-12 | 2024-05-20 | キヤノン株式会社 | 医用画像処理装置、医用画像処理方法およびプログラム |
KR102486818B1 (ko) * | 2022-01-04 | 2023-01-10 | 주식회사 클라리파이 | 의료영상의 움직임 보상처리 장치 및 방법 |
Also Published As
Publication number | Publication date |
---|---|
JP7242410B2 (ja) | 2023-03-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9237874B2 (en) | Method and system for non-invasive imaging of a target region | |
US11200709B2 (en) | Radiation image diagnostic apparatus and medical image processing apparatus | |
US10111626B2 (en) | X-ray CT apparatus | |
JP7242288B2 (ja) | 医用画像診断装置及びモデル学習装置 | |
JP2020003406A (ja) | 医用情報処理装置 | |
CN103860185A (zh) | 多能量图像的确定 | |
JP2023039991A (ja) | 医用処理装置、x線ctシステム及び処理プログラム | |
JP7242410B2 (ja) | 医用画像処理装置、x線ct装置及び学習用データの生成方法 | |
JP7106384B2 (ja) | 医用画像処理装置及びx線コンピュータ断層撮影装置 | |
US11241212B2 (en) | Medical apparatus | |
JP7462433B2 (ja) | 医用診断システム、医用診断装置、および医用情報処理装置 | |
JP6466057B2 (ja) | 医用画像診断装置 | |
JP7224829B2 (ja) | 医用画像処理装置および方法 | |
JP2020099409A (ja) | 医用画像処理装置、医用画像診断装置、及び医用画像処理方法 | |
JP7334088B2 (ja) | 医用情報処理装置、医用情報処理プログラムおよびx線ct装置 | |
JP7055709B2 (ja) | X線ct装置及び撮影計画装置 | |
JP7418950B2 (ja) | X線ct装置、撮影計画装置およびx線ct撮影方法 | |
JP6510203B2 (ja) | 画像処理装置、x線ct装置およびプログラム | |
JP7320934B2 (ja) | 医用画像処理装置および医用画像処理方法 | |
JP7487367B2 (ja) | X線ct装置、検出器補正方法および医用情報システム | |
JP7309429B2 (ja) | 医用情報処理システム、および医用情報処理装置 | |
JP7066399B2 (ja) | 放射線画像診断装置及び医用画像処理装置 | |
JP7236239B2 (ja) | X線ctシステム及びctスキャン実行プログラム | |
JP2022071921A (ja) | X線ct装置 | |
JP2016220967A (ja) | X線ct装置、放射線診断装置及び画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221115 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20230106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230110 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230207 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230308 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7242410 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |