JP2019028072A - Ct画像を再構成する方法及びデバイス、並びに記憶媒体 - Google Patents

Ct画像を再構成する方法及びデバイス、並びに記憶媒体 Download PDF

Info

Publication number
JP2019028072A
JP2019028072A JP2018139744A JP2018139744A JP2019028072A JP 2019028072 A JP2019028072 A JP 2019028072A JP 2018139744 A JP2018139744 A JP 2018139744A JP 2018139744 A JP2018139744 A JP 2018139744A JP 2019028072 A JP2019028072 A JP 2019028072A
Authority
JP
Japan
Prior art keywords
neural network
convolution
projection data
convolutional neural
scan
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018139744A
Other languages
English (en)
Other versions
JP7064986B2 (ja
Inventor
宇 翔 ▲シン▼
宇 翔 ▲シン▼
Yuxiang Xing
麗 張
Li Zhang
麗 張
薦 民 李
Jianmin Li
薦 民 李
志 強 陳
Shikyo Chin
志 強 陳
建 平 顧
Jianping Gu
建 平 顧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Qinghua University
Nuctech Co Ltd
Original Assignee
Tsinghua University
Qinghua University
Nuctech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University, Qinghua University, Nuctech Co Ltd filed Critical Tsinghua University
Publication of JP2019028072A publication Critical patent/JP2019028072A/ja
Application granted granted Critical
Publication of JP7064986B2 publication Critical patent/JP7064986B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/006Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/005Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • G06N5/046Forward inferencing; Production systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00Image generation
    • G06T2211/40Computed tomography
    • G06T2211/421Filtered back projection [FBP]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00Image generation
    • G06T2211/40Computed tomography
    • G06T2211/436Limited angle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00Image generation
    • G06T2211/40Computed tomography
    • G06T2211/441AI-based methods, deep learning or artificial neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Image Processing (AREA)

Abstract

【課題】再構成画像の品質を高めることができるCT画像を再構成する方法及びデバイス、並びに記憶媒体を提供する。【解決手段】CT画像を再構成する方法及びデバイス、並びに記憶媒体を開示する。被検査物に対してCT走査を行って、投影データを得る。第1畳み込みニューラルネットワークを利用して、投影データを処理し、処理後の投影データを得る。第1畳み込みニューラルネットワークは、複数の畳み込み層を含む。処理後の投影データに逆投影操作を行って、再構成された画像を得る。本開示の上記の実施例の態様を利用して、より高い品質のCT画像を再構成することができる。【選択図】図4

Description

本開示の実施例は、放射結像に関し、具体的には、CT画像を再構成する方法及びデバイス、並びに記憶媒体に関する。
X線CT結像システムは、医療、保安検査、産業非破壊検出などの分野において広く用いられている。放射線源と検知器は、一定の軌道に沿って一連の投影データを採集し、画像再構成アルゴリズムによる復元により、被検査物の線形減衰係数の三次元空間分布を得ることができる。CT画像再構成過程は、検知器により採集されたデータから線形減衰係数分布を回復することであって、CT結像の核心的なステップである。現在、実際の応用には、フィルタ補正逆投影(Filtered Back−Projection)、FDK(Feldkmap−Davis−Kress)類の解析再構成アルゴリズムと、ART(Algebra Reconstruction Technique)、MAP(Maximum A Posterior)等の反復再構成方法とが主に用いられる。
X線CT結像の要求がますます多様化されることにつれて、放射量の低減に対する要求もますます高くなり、従来の再構成方法が実現可能な画像の品質はもう限界に達している。新たなCT画像再構成技術の開発が求められている。
従来技術における1つまたは複数の問題に鑑みて、再構成画像の品質を高めることができるCT画像を再構成する方法及びデバイス、並びに記憶媒体を提案する。
本開示の一方面によると、被検査物にCT走査を行って、投影データを得るステップと、複数の畳み込み層を含む第1畳み込みニューラルネットワークを利用して、投影データを処理し、処理後の投影データを得るステップと、処理後の投影データに逆投影操作を行って、再構成された画像を得るステップと、を含む、CT画像を再構成する方法を提案する。
本開示のある実施例によると、前記CT走査は、検知器アンダーサンプリング走査、スパース角度走査、内部再構成走査、有限角度走査、および直線軌跡走査のうちの1つであり、前記第1畳み込みニューラルネットワークは、プーリング層のない畳み込みニューラルネットワークである。
本開示のある実施例によると、前記CT走査は、円周走査あるいは螺旋走査であり、前記第1畳み込みニューラルネットワークは、該当する畳み込み層の後に設けられた複数のプーリング層と全結合層とをさらに含む。
本開示のある実施例によると、前記方法は、第2畳み込みニューラルネットワークを利用して、再構成された画像を処理し、結果画像を得るステップをさらに含む。
本開示のある実施例によると、前記方法は、第1畳み込みニューラルネットワークを利用して投影データを処理する前に、ランプフィルターを用いて投影データにフィルタリングを行うステップをさらに含む。
本開示のある実施例によると、第2畳み込みニューラルネットワークを利用して、再構成された画像に局所的な平滑処理を行って前記結果画像を得る。
本開示のある実施例によると、第1畳み込みニューラルネットワークにおける畳み込み層の畳み込みカーネルは、1つの次元が検知器画素シーケンスであり、もう1つの次元が走査角度であり、且つ、第1畳み込みニューラルネットワークにおける畳み込み層の畳み込みカーネルは、検知器画素シーケンスの次元におけるスケールと走査角度の次元におけるスケールとが個別に設定される。
本開示のある実施例によると、第1畳み込みニューラルネットワークにおける畳み込み層(例えば、第1畳み込み層)の畳み込みカーネルは、検知器画素シーケンスの次元におけるスケールが、走査角度の次元におけるスケールより大きい。
本開示のある実施例によると、第1畳み込みニューラルネットワークは、少なくとも3つの畳み込み層を含み、畳み込み層のそれぞれは畳み込み処理された投影データに非線形演算を行うための1つのアクティブ関数を有する。
本開示のある実施例によると、第1畳み込みニューラルネットワークは、畳み込み層により処理された投影データに逆投影演算を行うための逆投影層をさらに含む。
本開示のある実施例によると、第1畳み込みニューラルネットワークにおいて、逆投影層に最も近い畳み込み層の畳み込みカーネルの長さおよび幅のサイズパラーメータは、1*1である。
本開示のある実施例によると、第2畳み込みニューラルネットワークは、画像領域において再構成された画像を処理するための画像領域初期畳み込み層及び末端畳み込み層を含む。
本開示のある実施例によると、画像領域初期畳み込み層に含まれる畳み込み層のそれぞれはアクティブ関数を有し、末端畳み込み層はアクティブ関数を有しない。
本開示の別の一方面によると、被検査物をCT走査して、投影データを得るCT走査装置と、複数の畳み込み層を含む第1畳み込みニューラルネットワークを利用して投影データを処理し、処理後の投影データを得て、処理後の投影データに逆投影操作を行って再構成された画像を得るように配置されたプロセッサーと、を含む、CT画像を再構成するデバイスを提案する。
本開示のある実施例によると、前記CT走査装置は、検知器アンダーサンプリング走査、スパース角度走査、内部再構成走査、有限角度走査、および直線軌跡走査のうちの1つを実行し、前記第1畳み込みニューラルネットワークは、プーリング層のない畳み込みニューラルネットワークである。
本開示のある実施例によると、前記CT走査装置は、円周走査あるいは螺旋走査を実行し、前記第1畳み込みニューラルネットワークは、該当する畳み込み層の後に設けられた複数のプーリング層と全結合層とをさらに含む。
本開示のある実施例によると、前記プロセッサーは、さらに、第2畳み込みニューラルネットワークを利用して、再構成された画像を処理し、結果画像を得るように配置される。
本開示のある実施例によると、前記プロセッサーは、さらに、第2畳み込みニューラルネットワークを利用して、再構成された画像に局所的な平滑処理を行って前記結果画像を得るように配置される。
本開示のさらに他の一方面によると、プロセッサーにより実行されることで、複数の畳み込み層を含む第1畳み込みニューラルネットワークを利用して、被検査物にCT走査を行って得られた投影データを処理し、処理後の投影データを得るステップと、処理後の投影データに逆投影操作を行って、再構成された画像を得るステップと、を実現するコンピュータープログラムを記憶した、コンピューター読み取り可能な媒体を提案する。
本開示の上記の実施例の態様を利用して、より高い品質のCT画像を再構成することができる。
本発明をよりよく理解するために、以下の図面に基づいて本発明を詳細に説明する。
本開示の一実施例のCT画像を再構成するデバイスの構成模式図を示す。 図1に示すようなデバイスにおける制御・再構成装置の構成模式図である。 本開示の実施例によるデバイスが投影データを取得する正弦図の例を示す。 本開示の実施例によるデバイスにおいて用いられる畳み込みニューラルネットワークの構成模式図を示す。 本開示の実施例によるデバイスにおいて用いられる別の畳み込みニューラルネットワークの構成模式図を示す。 本開示の実施例によるデバイスにおいて用いられるフィルターカーネルのサイズ模式図を示す。 本開示の実施例によるデバイスにおいて用いられるフィルターカーネルのサイズ模式図を示す。 本開示の実施例によるデバイスにおいて用いられるフィルターカーネルのサイズ模式図を示す。 本開示の実施例による方法を記述する模式的フローチャートである。 本開示の別の一実施例による有限角度CT走査を実現する走査装置の模式図である。 本開示のさらに別の一実施例によるスパース角度走査方式を実現する走査装置の模式図である。 本開示のさらに別の一実施例による内部再構成走査方式を実現する走査装置の模式図である。 本開示のさらに別の一実施例による検知器アンダーサンプリング走査方式を実現する走査装置の模式図である。 図8、図9、図10及び図11に示す異なる走査方式において正弦図に含まれるデータの模式図を示す。 本開示のさらに別の一実施例による直線軌跡CT走査を実現する走査装置の模式図を示す。
以下、本発明の具体的な実施例について詳細に説明する。注意すべきことは、以下の実施例は例示的なものであり、本発明を限定するものではない。以下の説明においては、本発明の理解を容易にするために、多くの特定的な細部について記述しているが、当業者にとって明らかに分かるように、必ずこれらの特定の細部を採用して本発明を実現することではない。その他の実例においては、本発明を混同させることを避けるために、周知の回路、材料または方法に対する具体的な記述を省略した。
明細書の全般にかけて、「一実施例」、「実施例」、「一例」または「例」とは、当該実施例または例に記述された特定的な特徴、構成または特性を組み合わせたものは、本発明の少なくとも一実施例に含まれていることを意味する。従って、明細書の全般にかけて、記載された「一実施例において」、「実施例において」、「一例」または「例」は、必ずしも同一の実施例又は例示を指すものとは限らない。また、いずれの適宜な組合せ及び/又はサブ組合せによって、特定な特徴、構造又は特性を1つ又は複数の実施例又は例示に組み合わせることができる。また、当業者であれば理解できるように、ここで使用する「及び/又は」という専門用語は、一つまたは複数の関連の列記項目の何れかと全ての組み合わせを含む。
従来技術の1つまたは複数の問題について、本開示の実施例はCT画像を再構成する方法及びデバイス、並びに記憶媒体を提案する。本開示の実施例によると、1つの畳み込みニューラルネットワークを利用して、CT走査により得られた投影データ(正弦図として表示され、1つの次元は検知器画素シーケンスであり、もう1つの次元は走査角度である)を処理し、処理後の投影データ(例えば、投影領域における特徴が強化された正弦図)を得る。そして、このように処理して得られた投影データに逆投影を行って、CT画像を得る。このようにして、画像の品質を向上でき、特に、検知器アンダーサンプリング、スパース角度走査、内部再構成、有限角度走査または直線軌跡走査等のような他の投影データが不完全である場合に、再構成により品質の高いCT画像が得られる。他の実施例においては、別の畳み込みニューラルネットワークを利用して、さらに、CT画像を処理して最終画像を得てもよい。
図1は、本開示の一実施例のCT画像を再構成するデバイスの構成模式図を示す。図1に示すように、本実施例によるCTデバイスは、X線源10と、機械的運動装置50と、検知器・データ採集システム20と、制御・再構成装置60とを含み、被検査物40に対してCT走査および再構成を行う。
X線源10は、例えば、X線機器であり、結像の分解能によって、適切なX線機器焦点サイズを選択する。他の実施例においては、X線機器を使用せず、直線型加速器等を使用してX線ビームを発生してもよい。
機械的運動装置50は、ステージ、フレーム及び制御システム等を含む。ステージは、回転中心の位置を調整するように並進可能である。フレームは、X線源(X線機器)10、検知器及び回転中心の三者を合わせるように並進可能である。本実施例においては、回転ステージ、固定フレームの円周走査軌跡あるいは螺旋軌跡に従って記述する。ステージとフレームとの運動は相対的な運動であるので、ステージを静止させ、フレームを回転させる方式で本実施例を実現する方法を採用してもよい。
検知器・データ採集システム20は、X線検知器及びデータ採集回路等を含む。X線検知器には、固体検知器を使用してもよく、気体検知器あるいは他の検知器を使用してもよく、本開示の実施例はこれらに限られない。データ採集回路は、読み出し回路、採集トリガー回路及びデータ伝送回路等を含む。
制御・再構成装置60は、例えば、制御プログラム及び再構成プログラムがインストールされているコンピューターデバイスを含み、機械的回動、電気的制御、安全連鎖制御等を含むCTシステム運行過程の制御を担当するとともに、投影データからのCT画像の再構成等を行う。
図2は、図1に示すような制御・再構成デバイスの構成模式図を示す。図2に示すように、検知器・データ採集システム20により採集されたデータは、インターフェースユニット67及びバス68を介して記憶デバイス61に記憶される。ROM(Read Only Memory)62には、コンピューターデータプロセッサーの配置情報及びプログラムが記憶されている。RAM(Random Accerss Memory)63は、プロセッサー65の動作中に各種のデータを一時的に記憶するために用いられる。なお、記憶デバイス61には、データ処理のためのコンピュータープログラム、例えば、CT画像を再構成する計算プログラムなどが、さらに記憶されている。内部バス68には、上記の記憶デバイス61、ROM62、RAM63、入力装置64、プロセッサー65、表示デバイス66及びインターフェースユニット67が接続されている。
ユーザーがキーボードー及びマウスのような入力装置64により操作命令を入力した後、コンピュータープログラムの指令コードはCT画像を再構成するアルゴリズムを実行するようにプロセッサー65に命令し、再構成結果を得た後、それをLCD表示器のような表示デバイス66に表示させたり、または、プリントのようなハードコピーの形で処理結果を直接的に出力させたりする。
本開示の実施例によると、上記のデバイスを利用して被検査物に対してCT走査を行い、投影データを得る。通常、このような投影データは二次元の画像の形で表示できる。図3は本開示の実施例により得られた投影データの例を示す。図3に示すような正弦図の横軸方向は検知器画素シーケンス(例えば、1から256まで)を示し、縦軸は角度(例えば、1度から360度まで)を示す。そして、デバイスにおけるプロセッサー65に再構成プログラムを実行させるように制御し、第1畳み込みニューラルネットワークを利用して投影データを処理し、処理後の投影データ得て、さらには、処理後の投影データに逆投影操作を行って、再構成された画像を得る。
上記のように、本開示の実施例においては、投影領域において畳み込みニューラルネットワークを利用して投影データを処理した後、逆投影操作を行ってCT画像を再構成する。畳み込みニューラルネットワークは、畳み込み層、プーリング層、および全結合層を含んでもよい。畳み込み層は入力データ集合のキャラクタリゼーションを認識し、畳み込み層のそれぞれは、1つの非線形アクティブ関数演算を有する。プーリング層は、特徴に対する示しを精練し、典型的な操作は平均プーリング及び最大化プーリングを含む。1層または複数層の全結合層は、高次の信号の非線形総合演算を実現し、全結合層も非線形アクティブ関数を有する。よく使われる非線形アクティブ関数には、Sigmoid、Tanh、ReLUなどがある。
図4は、本開示の実施例によるデバイスにおいて用いられる畳み込みニューラルネットワークの構成模式図を示す。図4に示すように、畳み込みニューラルネットワーク(CNN)は、異なる層がスタックされてなってもよく、それらは入力データを出力データに変換できる。例えば、CT走査を行って得られた投影データ(例えば、図4に示す正弦図410)を処理して、処理後の投影データ(例えば、図4に示す処理後の正弦図450)を得る。
図4に示すような畳み込みニューラルネットワークは、複数の畳み込み層、例えば、第1畳み込み層420、第2畳み込み層430、…、第n+1畳み込み層440を含み、nは自然数である。これらの畳み込み層はCNNの核心的な構造セルである。各々の畳み込み層のパラーメータはラーニング可能な畳み込みカーネル(または、単に畳み込みカーネルと称する)の集合により構成され、畳み込みカーネルのそれぞれは、一定の受容野を持つとともに、入力データのデプスの全体にかけて延ばしている。フォーワード過程において、畳み込みカーネルのそれぞれを入力データの幅及び高さに従って畳み込みを行い、畳み込みカーネルの要素と入力データとの点乗積を算出し、当該畳み込みカーネルの二次元的なアクティブマップを生成する。結果として、ネットワークは、入力されたある空間的な位置においてある具体的な種類の特徴を見たときしかアクティブにすることができない畳み込みカーネルをラーニングできる。
全ての畳み込みカーネルのアクティブマップをデプス方向においてスタックして、畳み込み層の全部の出力データを形成する。従って、出力データにおける要素のそれぞれは、入力中の小さな領域が見え、同じアクティブマップにおける他の畳み込みカーネルとパラーメータを共用する畳み込みカーネルの出力として解釈できる。
第1畳み込み層に類似する複数の畳み込み層を設けてもよく、各々の畳み込み層の厚みはK(n)とする。
第2畳み込み層430は第1畳み込み層420と似て、第2畳み込み層の厚みはK(2)である。例えば、C(n)を利用して前の畳み込み層により出力された正弦図をさらに処理する。図4に示すように、第2畳み込み層430の厚みは3であり、ここで、全ての畳み込みカーネルは未定のネットワークパラーメータであり、これらのネットワークパラーメータは畳み込みニューラルネットワークに対するトレーニングにより得られる。以上で言及された3は例示に過ぎなく、同様に、1つの畳み込み層に対して24個の畳み込みカーネルを設置してもよく、この場合、第2畳み込み層(ネットワークの第2層)も24個の正弦図が得られる。ここで、アクティブ関数としてReLuを選択する。別の一実施例において、第2畳み込み層において、形状/サイズパラーメータが18*1*1である畳み込みカーネルを用いて、厚み方向において畳み込みを行って第2層の出力を得て、アクティブ関数としてReLuを使用する。
図5は、本開示の実施例によるデバイスにおいて用いられる別の畳み込みニューラルネットワークの構成模式図を示す。図5に示すように、入力された投影データ510、畳み込み層520、畳み込み層530及び畳み込み層540は、図4に示された入力された正弦図410、第1畳み込み層420、第2畳み込み層430及び第n+1畳み込み層440と似ているので、ここで説明を省略する。図5に示す構成は、図4の構成と比べて、画像領域初期畳み込み層(図5に示す例示は1つの畳み込み層570であるが、本発明はこれに限られない)と末端畳み込み層(畳み込み層580)とを含む第2畳み込みニューラルネットワークをさらに設け、画像領域において再構成されたCT画像に対し例えば局所的な平滑処理を行って結果画像を出力する点で異なる。
上記の構成においては、プーリング層を含んでいないが、プーリング層を設けてもよく、例えば、CT走査により完全なデータを得た場合に(例えば、全検知器360円周走査)、1つまたは複数の畳み込み層の後にプーリング層を設けてもよい。しかし、CT走査により非完全なデータが得られた場合には(例えば、検知器アンダーサンプリング、スパース角度サンプリング、有限角度、内部再構成、または、直線軌跡等の方式)、プーリング層を設けなくてもよい。
具体的には、以上のように畳み込みニューラルネットワークを構築した後、ネットワークパラーメータのトレーニングを行う。例えば、基本的な走査対象の数学的モデルを構築して、実際のシステムに従ってモデリングを行って、CTシミュレーションデータを生成する。また、本開示の実施例によると、ネットワークの入力として複数の走査対象のCTシミュレーションデータを使用し、フラグとして走査対象の画像真値を使用して、ネットワークパラーメータをトレーニングしてもよい。他の実施例においても、実際のシステムにおいて、対象に走査を行って、CT走査データを取得し、このネットワークに入力して再構成テストを行う。テスト結果について、例えば、既知の局所的な平滑領域について、局所的平滑を行うような指向性のある画像処理を行う。処理後の画像をフラグとして、さらに、ネットワークをトレーニングし、ネットワークパラーメータの微細調整を実現する。
図7は、本開示の実施例による方法を記述する模式的フローチャートである。図7に示すように、ステップS710において、被検査物をCT走査して、投影データを得る。ここで、CT走査は、シングルエネルギーのものであってもよく、マルチエネルギーのものであってもよく、本開示の実施例はこれらに限られない。
ステップS720において、ランプフィルターを用いて投影データにフィルタリングを行う。例えば、RLランプフィルターを用いて投影データにフィルタリングを行う。ここで、別のフィルターを用いてもよく、または、フィルタリングを行わなくてもよいことは、当業者にとって明らかである。
ステップS730において、第1畳み込みニューラルネットワーク420/430/440を利用して、投影領域において投影データを処理し、処理後の投影データを得る。例えば、図4に示すように、トレーニングにより得られた畳み込みニューラルネットワークを利用して投影データを処理し、処理後の正弦図を得る。
ステップS740において、処理後の投影データに逆投影操作を行い、例えば、図4に示された逆投影層460において逆投影操作を行って、再構成されたCT画像を得る。
上記のように、別の実施例として、CT画像を得た後、さらに後処理を行ってもよく、例えば、ステップS750において、第2畳み込みニューラルネットワーク570/580を利用して、再構成されたCT画像を処理して、結果画像を得てもよい。例えば、ここで、再構成された画像に対して、局所的な平滑処理、または、分割、エッジ強化及び均等化等のような他の画像処理操作を行ってもよい。
以上、主に360度円周走査により完全な投影データを得た場合について記述したが、上記の態様が非完全な投影データの場合、例えば、検知器アンダーサンプリング、スパース角度サンプリング、有限角度、内部再構成、或者直線軌跡走査等方式にも適用できることは、当業者にとって明らかである。
図8は、本開示の別の一実施例による有限角度CT走査を実現する走査装置の模式図である。図8に示すように、放射線源10から発されたX線は視野45における被検査物40を透過した後、検知器30により受けられて電気信号に転換され、さらには、減衰値を表すデジタル信号に転換され、投影データとして、コンピューターにおいて再構成される。上記の態様によると、被検査物40に対して有限角度のCT走査(例えば、130度)を行っても、品質の高い画像を再構成することができる。
図9は、本開示のさらに別の一実施例によるスパース角度走査方式を実現する走査装置の模式図である。図9に示すように、放射線源10から発されたX線は視野45における被検査物40を透過した後、検知器30により受けられて電気信号に転換され、さらには、減衰値を表すデジタル信号に転換され、投影データとして、コンピューターにおいて再構成される。上記の態様によると、被検査物40に対して幾つかの回転位置におけるCT走査(例えば、6個所)を行っても、品質の高い画像を再構成することができる。このようにして、被検査物に対してスパース角度CT走査を行っても、非完全な投影データから品質の高い画像を再構成することができる。
図10は、本開示のさらに別の一実施例による内部再構成走査方式を実現する走査装置の模式図である。図10に示すように、放射線源10から発されたX線は視野45における被検査物40の一部を透過した後、検知器30により受けられて電気信号に転換され、さらには、減衰値を表すデジタル信号に転換され、投影データとして、コンピューターにおいて再構成される。上記の態様によると、被検査物40に対して内部再構成CT走査を行っても、品質の高い画像を再構成することができる。
図11は、本開示のさらに別の一実施例による検知器アンダーサンプリング走査方式を実現する走査装置の模式図である。図11に示すように、放射線源10から発されたX線は視野45における被検査物40を透過した後、検知器30により受けられて電気信号に転換され、さらには、減衰値を表すデジタル信号に転換され、投影データとして、コンピューターにおいて再構成される。この例において、検知器30は、アンダーサンプリングの状態に設置されて、例えば、各々の検知器ユニットを予定の距離に離間してアンダーサンプリングを実現する。このようにして、上記の態様によると、被検査物40に対して検知器アンダーサンプリングCT走査を行っても、品質の高い画像を再構成することができる。
図12は、図8、図9、図10および図11に示すような走査方式に係る不完全な投影データを記述する模式図である。図12に示すように、角度スパースサンプリングCT走査、有限角度CT走査、検知器アンダーサンプリングCT走査及び内部再構成CT走査を行って得られた投影データはいずれも不完全なものである。投影データが不完全にもかかわらず、上記の態様によると、これらの不完全な投影データから品質の高い画像を再構成することができる。
以上、角度スパースサンプリング走査等の方式について記述したが、本開示の方法が直線軌跡CT走査システムにおいても同様に適用できることは、当業者にとって明らかである。図13は、本開示のさらに別の一実施例による直線軌跡CT走査を実現する走査装置の模式図を示す。
図13に示すように、从射線源10から発されたX線は視野における被検査物40を透過した後、検知器30により受けられて電気信号に転換され、さらには、減衰値を表すデジタル信号に転換され、投影データとして、コンピューターにおいて再構成される。この例において、被検査物40は、検知器に平行なコンベアにおいて直線の軌跡に沿って運動する。検知器は水平方向において放射線源との開き角をできるだけ大きくし、鉛直方向において物体を覆う。例えば、検知器アレイは放射線源に対向する側に置かれて、放射線の水平の開き角θは90度以上と求められ、直線軌跡CT走査の投影データを得る。上記の態様によると、被検査物40に対して直線軌跡CT走査を行っても、品質の高い画像を再構成することができる。
本開示の実施例は、畳み込みニューラルネットワークに基づくX線CT再構成方法を提案しており、データ情報を深く発掘して、畳み込みニューラルネットワークとシステム向けのパラーメータを形成し、効率的なCT画像再構成方法を得られる。
本開示の方法は、異なるCT走査モード及びシステム構成に柔軟的に適用でき、医学診断、産業非破壊検出及び保安検査分野に適用できる。
以上の詳細な記述においては、模式図、フローチャート及び/又は例によりCT画像を再構成する方法とデバイスの多数の実施例を記述した。このような模式図、フローチャート及び/又は例が1つまたは複数の機能及び/又は操作を含む場合、当業者は、このような模式図、フローチャートまたは例のそれぞれの機能及び/又は操作が各種の構成、ハードウェア、ソフトウェア、ファームウェアまたは実質的にこれらの任意的な組み合わせにより単独及び/又はともに実現できることを理解すべきである。一実施例において、本発明の実施例に記載された主題の幾つかの部分はASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)、DSP(Digital Signal Processor)、または他の集積回路により実現できる。しかしながら、当業者は、ここで開示された実施例のある方面の全体または一部が等価的に集積回路において実現でき、一台または複数の台のコンピューターにおいて実行される1つまたは複数のコンピュータープログラム(例えば、一台または複数の台のコンピューターにおいて実行される1つまたは複数のプログラムとして実現でき)として実現でき、1つまたは複数のプロセッサーにおいて実行される1つまたは複数のプログラム(例えば、1つまたは複数のマイクロプロセッサーにおいて実行される1つまたは複数のプログラムとして実現でき)として実現でき、ファームウェアとして実現でき、あるいは実質的に上記形態の任意的な組み合わせとして実現できる、ことを理解すべきであり、且つ、当業者は、本開示から電路の設計及び/又はソフトウェアー及び/又はファームウェアコードの書き込み能力を持つ。また、当業者は、本開示に記載された主題のメカニズムが複数の形態のプログラム製品として配布でき、且つ、実際に配布を実行するための信号キャリア媒体がどのような種類であっても、本開示に記載された主題の例示的な実施例を適用できる、ことを理解すべきである。信号キャリア媒体の例としては、FD、HDD、CD、DVD、デジタルテープ、コンピューターメモリなどの記録可能な媒体、及びデジタル及び/又はアナログ通信媒体(例えば、光ファイバーまたは光ケーブル、導波路、有線通信回線、無線通信線路など)のような伝送型媒体を含むことができるが、これに限られない。
幾つかの典型的な実施例を参照して本発明を記述したが、使用された用語は説明及び例示的なものであり、制限的なものではないことに注意すべきである。本発明は発明の趣旨又は実質を逸脱することなく、いろんな形態で具体的に実施できるので、上記の実施例は前述の細部に限られなく、添付の請求の範囲に限定された精神及び範囲において広義的に解釈すべきである。従って、請求の範囲又はそれと均等な範囲内の全ての変化及び改良は、添付の請求の範囲に含まれるべきである。
10 X線源、20 検知器・データ採集システム、40 被検査物、50 機械的運動装置、60 制御・再構成装置。

Claims (19)

  1. 被検査物にCT走査を行って、投影データを得るステップと、
    複数の畳み込み層を含む第1畳み込みニューラルネットワークを利用して投影データを処理し、処理後の投影データを得るステップと、
    処理後の投影データに逆投影操作を行って、再構成された画像を得るステップとを含む、CT画像を再構成する方法。
  2. 前記CT走査は、検知器アンダーサンプリング走査、スパース角度走査、内部再構成走査、有限角度走査、および直線軌跡走査のうちの1つであり、
    前記第1畳み込みニューラルネットワークは、プーリング層のない畳み込みニューラルネットワークである、請求項1に記載の方法。
  3. 前記CT走査は、円周走査あるいは螺旋走査であり、
    前記第1畳み込みニューラルネットワークは、該当する畳み込み層の後に設けられた複数のプーリング層と全結合層とをさらに含む、請求項1に記載の方法。
  4. 第2畳み込みニューラルネットワークを利用して、再構成された画像を処理し、結果画像を得るステップをさらに含む、請求項2または3に記載の方法。
  5. 第1畳み込みニューラルネットワークを利用して投影データを処理する前に、ランプフィルターを用いて投影データにフィルタリングを行うステップをさらに含む、請求項4に記載の方法。
  6. 第2畳み込みニューラルネットワークを利用して、再構成された画像に局所的な平滑処理を行って前記結果画像を得る、請求項4に記載の方法。
  7. 第1畳み込みニューラルネットワークにおける畳み込み層の畳み込みカーネルは、1つの次元が検知器画素シーケンスであり、もう1つの次元が走査角度であり、且つ、
    第1畳み込みニューラルネットワークにおける畳み込み層の畳み込みカーネルは、検知器画素シーケンスの次元におけるスケールと走査角度の次元におけるスケールとが個別に設定される、請求項1に記載の方法。
  8. 第1畳み込みニューラルネットワークにおける畳み込み層の畳み込みカーネルは、検知器画素シーケンスの次元におけるスケールが、走査角度の次元におけるスケールより大きい、請求項7に記載の方法。
  9. 第1畳み込みニューラルネットワークは、少なくとも3つの畳み込み層を含み、
    畳み込み層のそれぞれは、畳み込み処理された投影データに非線形演算を行うための1つのアクティブ関数を有する、請求項1に記載の方法。
  10. 第1畳み込みニューラルネットワークは、畳み込み層により処理された投影データに逆投影演算を行うための逆投影層をさらに含む、請求項1に記載の方法。
  11. 第1畳み込みニューラルネットワークにおいて、逆投影層に最も近い畳み込み層の畳み込みカーネルの長さおよび幅のサイズパラーメータは、1*1である、請求項10に記載の方法。
  12. 第2畳み込みニューラルネットワークは、画像領域において再構成された画像を処理するための画像領域初期畳み込み層及び末端畳み込み層を含む、請求項4に記載の方法。
  13. 画像領域初期畳み込み層に含まれる畳み込み層のそれぞれはアクティブ関数を有し、末端畳み込み層はアクティブ関数を有しない、請求項12に記載の方法。
  14. 被検査物をCT走査して、投影データを得るCT走査装置と、
    複数の畳み込み層を含む第1畳み込みニューラルネットワークを利用して投影データを処理し、処理後の投影データを得て、処理後の投影データに逆投影操作を行って再構成された画像を得るように配置されたプロセッサーとを含む、CT画像を再構成するデバイス。
  15. 前記CT走査装置は、検知器アンダーサンプリング走査、スパース角度走査、内部再構成走査、有限角度走査、および直線軌跡走査のうちの1つを実行し、
    前記第1畳み込みニューラルネットワークは、プーリング層のない畳み込みニューラルネットワークである、請求項14に記載のデバイス。
  16. 前記CT走査装置は、円周走査あるいは螺旋走査を実行し、
    前記第1畳み込みニューラルネットワークは、該当する畳み込み層の後に設けられた複数のプーリング層と全結合層とをさらに含む、請求項14に記載のデバイス。
  17. 前記プロセッサーは、さらに、
    第2畳み込みニューラルネットワークを利用して、再構成された画像を処理し、結果画像を得るように配置される、請求項15または16に記載のデバイス。
  18. 前記プロセッサーは、さらに、
    第2畳み込みニューラルネットワークを利用して、再構成された画像に局所的な平滑処理を行って前記結果画像を得るように配置される、請求項14に記載のデバイス。
  19. プロセッサーにより実行されることで、
    複数の畳み込み層を含む第1畳み込みニューラルネットワークを利用して、被検査物にCT走査を行って得られた投影データを処理し、処理後の投影データを得るステップと、
    処理後の投影データに逆投影操作を行って、再構成された画像を得るステップとを実現する、コンピュータープログラムを記憶した、コンピューター読み取り可能な媒体。
JP2018139744A 2017-07-25 2018-07-25 Ct画像を再構成する方法及びデバイス、並びに記憶媒体 Active JP7064986B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710616651.7 2017-07-25
CN201710616651.7A CN109300167B (zh) 2017-07-25 2017-07-25 重建ct图像的方法和设备以及存储介质

Publications (2)

Publication Number Publication Date
JP2019028072A true JP2019028072A (ja) 2019-02-21
JP7064986B2 JP7064986B2 (ja) 2022-05-11

Family

ID=63047167

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018139744A Active JP7064986B2 (ja) 2017-07-25 2018-07-25 Ct画像を再構成する方法及びデバイス、並びに記憶媒体

Country Status (4)

Country Link
US (1) US10896527B2 (ja)
EP (1) EP3435334B1 (ja)
JP (1) JP7064986B2 (ja)
CN (1) CN109300167B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021013725A (ja) * 2019-07-11 2021-02-12 キヤノンメディカルシステムズ株式会社 医用装置

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10977843B2 (en) * 2017-06-28 2021-04-13 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for determining parameters for medical image processing
KR20190051384A (ko) 2017-11-06 2019-05-15 삼성전자주식회사 X선 단층 영상 데이터를 생성하는 방법 및 장치
TW202027028A (zh) 2018-08-15 2020-07-16 美商超精細研究股份有限公司 用於抑制磁共振影像中之假像之深度學習技術
CN110018524B (zh) * 2019-01-28 2020-12-04 同济大学 一种基于视觉-属性的x射线安检违禁品识别方法
CN113811921A (zh) 2019-03-14 2021-12-17 海珀菲纳股份有限公司 用于根据空间频率数据来生成磁共振图像的深度学习技术
US20200312611A1 (en) * 2019-03-29 2020-10-01 Fei Company Artificial intelligence enabled volume reconstruction
CN110163884B (zh) * 2019-05-17 2023-04-07 温州大学 一种基于全连接深度学习神经网络的单个图像分割方法
CN110211194A (zh) * 2019-05-21 2019-09-06 武汉理工大学 一种基于深度学习去除稀疏角度ct成像伪影的方法
CN112085829A (zh) * 2019-05-27 2020-12-15 清华大学 基于神经网络的螺旋ct图像重建方法和设备及存储介质
CN110544282B (zh) * 2019-08-30 2022-03-29 清华大学 基于神经网络的三维多能谱ct重建方法和设备及存储介质
CN111223160A (zh) * 2020-01-02 2020-06-02 苏州瑞派宁科技有限公司 图像重建方法、装置、设备、系统及计算机可读存储介质
CN111311704A (zh) * 2020-01-21 2020-06-19 上海联影智能医疗科技有限公司 图像重建方法、装置、计算机设备和存储介质
CN113256748B (zh) * 2020-02-13 2024-05-31 脑玺(上海)智能科技有限公司 基于脑血管ct影像的图像处理方法及图像处理装置
CN111612719A (zh) * 2020-05-21 2020-09-01 东软医疗系统股份有限公司 Ct图像处理方法、装置、ct设备及ct系统
US11792438B2 (en) * 2020-10-02 2023-10-17 Lemon Inc. Using neural network filtering in video coding
CN112396672B (zh) * 2020-11-20 2023-03-24 华中科技大学 一种基于深度学习的稀疏角度锥束ct图像重建方法
CN112288832B (zh) * 2020-12-24 2021-03-23 中国人民解放军国防科技大学 一种角度受限及稀疏采样的层析成像图像重构方法
CN113034642B (zh) * 2021-03-30 2022-05-27 推想医疗科技股份有限公司 图像重建方法及装置、图像重建模型的训练方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007190182A (ja) * 2006-01-19 2007-08-02 Ge Medical Systems Global Technology Co Llc 画像表示装置およびx線ct装置
JP2016198507A (ja) * 2015-04-10 2016-12-01 株式会社東芝 X線コンピュータ断層撮影装置及び医用画像処理装置
WO2016192612A1 (zh) * 2015-06-02 2016-12-08 陈宽 基于深度学习对医疗数据进行分析的方法及其智能分析仪

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3352215B2 (ja) * 1993-03-24 2002-12-03 株式会社東芝 Spect装置及びspect画像の再構成方法
DE102012217163B4 (de) * 2012-09-24 2022-06-02 Siemens Healthcare Gmbh Verfahren zur Rekonstruktion von CT-Bilddaten mit gewichteter Rückprojektion, einschließlich Recheneinheit und CT-System für dieses Verfahren
US10610182B2 (en) * 2014-01-15 2020-04-07 Alara Systems, Inc Converting low-dose to higher dose 3D tomosynthesis images through machine-learning processes
CN106361366B (zh) * 2016-11-02 2019-05-03 上海联影医疗科技有限公司 多模态图像配准方法及系统
CN106952229A (zh) * 2017-03-15 2017-07-14 桂林电子科技大学 基于数据增强的改进型卷积网络的图像超分辨率重建方法
CN109300166B (zh) * 2017-07-25 2023-04-25 同方威视技术股份有限公司 重建ct图像的方法和设备以及存储介质
US10803984B2 (en) * 2017-10-06 2020-10-13 Canon Medical Systems Corporation Medical image processing apparatus and medical image processing system
US11517197B2 (en) * 2017-10-06 2022-12-06 Canon Medical Systems Corporation Apparatus and method for medical image reconstruction using deep learning for computed tomography (CT) image noise and artifacts reduction
US10499867B2 (en) * 2018-01-08 2019-12-10 Shenzhen Keya Medical Technology Corporation Method, storage medium, and system for analyzing image sequences of periodic physiological activities

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007190182A (ja) * 2006-01-19 2007-08-02 Ge Medical Systems Global Technology Co Llc 画像表示装置およびx線ct装置
JP2016198507A (ja) * 2015-04-10 2016-12-01 株式会社東芝 X線コンピュータ断層撮影装置及び医用画像処理装置
WO2016192612A1 (zh) * 2015-06-02 2016-12-08 陈宽 基于深度学习对医疗数据进行分析的方法及其智能分析仪

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KERSTIN HAMMERNIK ET AL.: "A Deep Learning Architecture for Limited-Angle Computed Tomography Reconstruction", BILDVERARBETUNG FUR DIE MEDIZIN 2017 (FIRST ONLINE MARCH 2017), JPN7021003529, 1 March 2017 (2017-03-01), pages 92 - 97, ISSN: 0004587594 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021013725A (ja) * 2019-07-11 2021-02-12 キヤノンメディカルシステムズ株式会社 医用装置

Also Published As

Publication number Publication date
CN109300167A (zh) 2019-02-01
EP3435334A1 (en) 2019-01-30
CN109300167B (zh) 2023-10-10
JP7064986B2 (ja) 2022-05-11
US10896527B2 (en) 2021-01-19
EP3435334B1 (en) 2021-08-25
US20190035116A1 (en) 2019-01-31

Similar Documents

Publication Publication Date Title
JP6605669B2 (ja) Ct画像を再構成する方法及びデバイス、並びに記憶媒体
JP7064986B2 (ja) Ct画像を再構成する方法及びデバイス、並びに記憶媒体
CN110660123B (zh) 基于神经网络的三维ct图像重建方法和设备以及存储介质
CN110047113B (zh) 神经网络训练方法和设备、图像处理方法和设备和存储介质
CN110544282B (zh) 基于神经网络的三维多能谱ct重建方法和设备及存储介质
Zhang et al. Image prediction for limited-angle tomography via deep learning with convolutional neural network
WO2020098134A1 (zh) Ct图像的重建方法、装置、设备及存储介质
KR102174600B1 (ko) 뉴럴 네트워크를 이용한 다방향 엑스레이 전산단층 촬영 영상 처리 방법 및 그 장치
RU2510080C2 (ru) Устройство для обработки изображения, способ обработки изображения и среда долговременного хранения информации
EP1953700B1 (en) System and method for reconstructing an image by rectilinear trajectory scanning
WO2020237873A1 (zh) 基于神经网络的螺旋ct图像重建方法和设备及存储介质
US8284892B2 (en) System and method for image reconstruction
JP6177831B2 (ja) 螺旋ctシステム及びその再構成方法
WO2015016328A1 (ja) X線CT(Computed Tomography)装置、画像処理装置、画像処理方法及び記憶媒体
US20160242721A1 (en) Apparatus and method for fast iterative reconstruction in computed tomography
WO2019230740A1 (ja) オーバーサンプリングによる断層画像データの取得方法、取得装置、および制御プログラム
US8798350B2 (en) Method and system for reconstruction algorithm in cone beam CT with differentiation in one direction on detector
AU2004244308A1 (en) Method for fast image reconstruction with compact radiation source and detector arrangement using computerized tomography
US8184887B2 (en) System and method for image reconstruction
JP7120442B2 (ja) X線撮影装置
Kingston et al. Optimized x-ray source scanning trajectories for iterative reconstruction in high cone-angle tomography
JPWO2019230741A1 (ja) 角度オフセットによる断層画像データの取得方法、取得装置、および制御プログラム
Stromer et al. Dose reduction for historical books digitization by 3-D X-ray ct
Pereira Development of a fast and cost-effective computed tomography system for industrial environments by incorporating priors into the imaging workflow
Yang et al. Complex artefact suppression for sparse reconstruction based on compensation approach in X‐ray computed tomography

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200624

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210907

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220329

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220425

R150 Certificate of patent or registration of utility model

Ref document number: 7064986

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150