JP2021013725A - 医用装置 - Google Patents

医用装置 Download PDF

Info

Publication number
JP2021013725A
JP2021013725A JP2020035530A JP2020035530A JP2021013725A JP 2021013725 A JP2021013725 A JP 2021013725A JP 2020035530 A JP2020035530 A JP 2020035530A JP 2020035530 A JP2020035530 A JP 2020035530A JP 2021013725 A JP2021013725 A JP 2021013725A
Authority
JP
Japan
Prior art keywords
synogram
filter
neural network
data
radiation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020035530A
Other languages
English (en)
Inventor
チェン リー ツ
Tzu-Cheng Lee
チェン リー ツ
ジョウ ジエン
Jian Zhou
ジョウ ジエン
ユウ ジョウ
Zhou Yu
ユウ ジョウ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Publication of JP2021013725A publication Critical patent/JP2021013725A/ja
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computerised tomographs
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computerised tomographs
    • A61B6/037Emission tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • G01N23/046Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material using tomography, e.g. computed tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/005Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/006Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration by the use of local operators
    • G06T5/70
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00Investigating materials by wave or particle radiation
    • G01N2223/40Imaging
    • G01N2223/401Imaging image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10104Positron emission tomography [PET]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10108Single photon emission computed tomography [SPECT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • G06T2207/10121Fluoroscopy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00Image generation
    • G06T2211/40Computed tomography
    • G06T2211/421Filtered back projection [FBP]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00Image generation
    • G06T2211/40Computed tomography
    • G06T2211/441AI-based methods, deep learning or artificial neural networks

Abstract

【課題】医用画像の画質を向上させること。【解決手段】実施形態の医用装置は、検出器によって検出された放射線の強度を表す放射線サイノグラムを取得し、第1のニューラルネットワークを取得し、再構成カーネルを使用して前記放射線サイノグラムにフィルタを掛けることで、フィルタ補正済みのデータを生成し、前記フィルタ補正済みのデータを前記第1のニューラルネットワークに適用することで、前記第1のニューラルネットワークからフィルタ補正済みサイノグラムを出力し、前記フィルタ補正済みサイノグラム上で解析的画像再構成を実行する回路を備える。【選択図】図1

Description

本明細書等に開示の実施形態は、医用装置に関する。
本開示は、解析的画像再構成プロセス(例えば、フィルタ補正逆投影)中にディープラーニング(Deep Learning:DL)ニューラルネットワークを適用する医用イメージングの再構成に関し、より詳細には、再構成カーネル(例えば、rampフィルタ)を使用してサイノグラムをフィルタするフィルタ補正ステップの後におよび解析的画像再構成ステップ(例えば、逆投影)の前に、DLニューラルネットワークを適用する医用イメージングの再構成に関する。
本明細書で行う背景技術の説明は、一般に本開示の文脈を提示することを目的としている。本発明者の研究は、この背景技術の項でその研究が記載されている範囲において、また出願時点で従来技術と認められていない可能性のある記載の態様についても、本開示に対する従来技術として明示的にも暗示的にも認められない。
医用イメージングは生体の内部器官を描画する。医用イメージングの実施例には、X線撮影、X線コンピュータ断層撮影(Computed Tomography:CT)、陽電子放射型断層撮影(Positron Emission Tomography:PET)、単光子放射型CT(Single−Photon Emission CT:SPECT)、蛍光透視、および血管造形がある。画像が生成されると、医師はその画像を使用して患者のけがや病気を診断することができる。
X線CTシステムおよびその方法は、特に医用イメージングおよび診断に広く使用されている。CTシステムは一般に対象の身体を通して1つまたは複数の切断面切片の画像を作成する。X線源などの放射線源は身体を一方から照射する。身体の反対側にある少なくとも1つの検出器は身体を透過した放射線を受け取る。身体を通過した放射線の減衰は、検出器で受け取った電気信号を処理することによって測定される。
X線CTは、癌、心臓、および脳のイメージングに広範な臨床用途を見出した。例えば、癌スクリーニングや小児科用イメージングを含む様々な用途にCTがますます使用されるにつれて、臨床的CTスキャンの放射線量を合理的に達成可能な限り低くする動きが生じている。低線量CTの場合、高量子ノイズ負荷走査幾何学などの多くの要因によって、画質が劣化する可能性がある。
低線量CT画像品質を改善するために多くの最先端技術が開発されてきたが、画像品質を改善し、それによってますます低いX線量での臨床的品質画像を可能にするより良い方法(例えば、より高速、よりロバスト、および/またはノイズ抑圧が改善された方法)が望まれている。
米国特許出願公開第2018/0293762号明細書 米国特許出願公開第2019/0035118号明細書 米国特許出願公開第2014/0119628号明細書
Dong Hye Ye, et al. "Deep Back Projection For Sparse−View CT Reconstruction"; School of Electrical and Computer Engineering−Department of Mathematics , Purdue University, West Lafayette, IN, 47907; arXiv:1807.02370v1; [eess.IV] July 6, 2018. Hu Chen, et al. "Low−Dose CT via Deep Neural Network"; College of Computer Science, Sichuan University, Chengdu 610065,China, National Key Laboratory of Fundamental Science on Synthetic Vision, Sichuan University; Chengdu 610065, China, Department of Scientific Research and Education, The Sixth People’s Hospital of Chengdu; Chengdu 610065, China, Department of Biomedical Engineering, Rensselaer Polytechnic Institute, Troy, NY 12180, USA; 9 pages.
本明細書等に開示の実施形態が解決しようとする課題の一つは、医用画像の画質を向上させることである。ただし、本明細書等に開示の実施形態により解決される課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を、本明細書等に開示の実施形態が解決する他の課題として位置付けることもできる。
実施形態の医用装置は、検出器によって検出された放射線の強度を表す放射線サイノグラムを取得し、第1のニューラルネットワークを取得し、再構成カーネルを使用して前記放射線サイノグラムにフィルタを掛けることで、フィルタ補正済みのデータを生成し、前記フィルタ補正済みのデータを前記第1のニューラルネットワークに適用することで、前記第1のニューラルネットワークからフィルタ補正済みサイノグラムを出力し、前記フィルタ補正済みサイノグラム上で解析的画像再構成を実行する回路を備える。
図1は、一実施形態による、ディープラーニング(DL)ネットワークをトレーニングし、次いでDLネットワークを使用して解析的コンピュータ断層撮影(CT)画像再構成を実行する方法のフロー図である。 図2は、一実施形態による、解析的再構成ステップの前にサイノグラムをフィルタするプロセスのフロー図である。 図3は、一実施形態による、DLネットワークの係数を反復的に調整することによってDLネットワークをトレーニングして損失−誤差関数を最適化するプロセスのフロー図である。 図4Aは、一実施形態による、DLネットワークの一実施例である。 図4Bは、一実施形態による、畳み込みニューラルネットワーク(Convolutional Neural Network:CNN)と呼ばれるDLネットワークの1タイプの一実施例である。 図5は、一実施形態による、医用イメージングシステムの図である。 図6は、一実施形態による、X線CTスキャナの概要図である。 図7Aは、一実施形態による、陽電子放射型断層撮影(PET)スキャナの斜視図である。 図7Bは、一実施形態による、PETスキャナの概要図である。
前述のように、断層画像の解析的再構成の画質を改善するより良い方法が多くの理由から望まれている。これらの理由には、解析的画像再構成方法が速成であることができること、および画質を改善することによってより低い放射線量で臨床的画質を可能にすることができることがある。さらに、より良い方法はアーチファクトを低減したり、解像度を高めたりすることができる。本明細書に記載の方法により、解析的画像再構成方法のフィルタ補正ステップ中に1つまたは複数のディープラーニングネットワークを適用することを通じて性能改善を提供する。
例えば、フィルタ補正逆投影(Filtered Back−Projection:FBP)がコンピュータ断層撮影(CT)画像の解析的再構成にしばしば使用される。FBPは解析的再構成ステップに伴ったフィルタ補正ステップとして捉えることができる。フィルタ補正ステップでは、rampフィルタ(または他の再構成カーネル)を使用してサイノグラムをフィルタする。そして、解析的再構成ステップでは、フィルタ済みのサイノグラムを逆投影することによってCT画像が生成される。一般に、再構成カーネルを用いたフィルタ補正は、空間領域(例えば、再構成カーネルを用いてサイノグラムを畳み込むことによって)または空間周波数領域(例えば、サイノグラムと再構成カーネルをそれぞれ周波数領域に変換して掛け合わせることによって)のいずれかで実行することが可能である。以下では、「空間周波数」を略して「周波数」とも記載する。また、「投影領域」及び「サイノグラム領域」の用語は解析的再構成ステップ以前のデータについて使用され、「画像領域」の用語は解析的再構成ステップ後のデータについて使用される。
FBPの実施例を続けると、本明細書に記載の方法はフィルタ補正ステップの後および解析的再構成ステップの前にDLネットワークを適用する。さらに、ある実施形態では、第2のDLネットワークをフィルタ補正ステップの前に使用してサイノグラムをノイズ除去することもできる。この第2のDLネットワークは、例えば、ローパスフィルタまたは平滑化フィルタを実行することができる。
再構成カーネル(または、フィルタ)はCT画像再構成において解析アルゴリズムの重要な機能を担う。例えば、データ逆投影プロセスのrampフィルタは画像がぼやけることを防ぐ。rampフィルタと呼ばれる理由は、それが周波数領域において飛行機のタラップ(ramp)に似ているからである。例えば、rampフィルタはしばしば、周波数領域において|W|の要素(すなわち、ゼロ周波数からの距離に比例)を掛け合わせることによって適用され、逆投影が実行されると正確な解析解を提供する。さらに、rampフィルタは、望ましいノイズテクスチャと画像コントラスト/解像度を提供するために選択したウィンドウ関数と掛け合わせることができる。
関連した方法と比較すると、本明細書に記載の方法はいくつかの利点を有している。関連した方法では、ディープ畳み込みニューラルネットワーク(Deep Convolutional Neural Network:DCNN)は、再構成カーネルを用いてサイノグラムをフィルタする前にのみ(した後ではなく)、サイノグラムに適用されてノイズ除去及びサイノグラム復元の少なくとも一方を実行する。フィルタ補正ステップの前にのみDCNNを適用することによって、関連した方法は、解析的画像再構成において高周波数の構成要素の重要性と役割を低く強調している可能性がある。これは、解析的画像再構成に関して、データが再構成カーネル(例えば、rampフィルタ)でフィルタされてから逆投影され、そのrampフィルタが低周波数の構成要素に小さい重み付けを適用することを考慮すると、分かりやすい。大きく重み付けされた構成要素は、これらはしばしば高周波数の構成要素であるが、解析的再構成においてより重要な役割を果たす。再構成カーネルによってフィルタする前に実行されるこの関連した方法は、高周波数の構成要素に適用された大きな重み付けを考慮していないため、解析的画像再構成の性能低下につながる。
したがって、関連した方法とは対照的に、本明細書に記載の方法は、サイノグラムの高周波数の構成要素に適用される大きな重み付けを考慮に入れて、再構成カーネルフィルタ補正ステップと解析的再構成ステップの間においてニューラルネットワークを使用する。
本明細書に記載の方法は、主にX線CTの非限定的実施例を用いて示され、このX線CTはCT画像が再構成されるサイノグラムを取得するのに使用される画像診断装置(モダリティ)である。しかし、本明細書に記載の方法は、本明細書で提案するフレームワークを適用することによって、PETやSPECTなどの他の医用イメージング診断装置に使用することも可能である。したがって、本明細書での論考により、本開示の非限定的実施例を開示し記載する。当業者に理解されるように、本開示はそれの精神または本質的特質から逸脱することなく他の特定の形式で実施することができる。したがって、本開示は、本発明の範囲を限定せず、他のクレームと同様に例示することを意図している。本開示は、本明細書の教示について容易に識別可能なあらゆる変形を含み、発明の主題を公にしないように前述のクレーム中の用語の範囲を一部に限定する。
前述のように、本明細書に記載の方法はDLネットワーク(これは、ニューラルネットワークまたはアーティフィシャルニューラルネットワークと呼ぶこともできる)を使用する。このDLネットワークはトレーニングされ、解析的画像再構成ステップ(例えば、逆投影)より前にサイノグラム処理を最適化する。以下に述べる例示的実施例は、しばしば、トレーニング済みのDLネットワークがサイノグラムのノイズ除去を実行することを仮定している。しかし、より一般的には、トレーニング済みDLネットワークは、フィルタ補正済みサイノグラムが対象のサイノグラムに最もよく一致することを可能にする画像処理機能を習得している。このように、トレーニング済みDLネットワークはノイズ除去に限定されず、サイノグラムのエッジ強調やアーチファクト抑制の機能を実行することもでき、例えば、これらの機能により、フィルタ済み/ネットワーク処理済みサイノグラムが対象のサイノグラムにより近づくという結果がもたらされる。しかし単純化と簡略化のために、論考では、対象のサイノグラムにより近づけるために実行される機能を羅列するのではなく、ノイズ除去を実行するものとしてDLネットワークに言及する。
ここで図を参照すると、いくつかの図を通して同様の参照番号が同一または対応する部分を示している。図1は、DLネットワーク170をトレーニングし使用してCT投影データのデータ領域補正を実行する方法の非限定的実施例(例えば、サイノグラム復元やノイズ除去、スムージング、アーチファクト補正など)を示すフロー図である。方法10は、図1に図示するように、DLネットワーク170を使用して生データ105(例えば、サイノグラム)に最適にフィルタを掛ける方法を学習し、次いで解析的画像再構成ステップ(例えば、逆投影)を実行してDLネットワークでフィルタ済みのデータからCT画像を再構成する。方法10は2つの部分、(i)オフライントレーニングプロセス150および(ii)医用イメージングプロセス100を有する。すなわち、オフライントレーニングプロセス150はDLネットワーク170をトレーニングし、医用イメージングプロセス100はトレーニング済みのDLネットワーク170を使用して投影領域で生データ105にフィルタを掛け、それによって、ノイズとアーチファクトを低減させた高品質の再構成画像135を生成する。
いくつかの実施形態では、DLネットワーク170は畳み込みニューラルネットワーク(CNN)を備え、そこでは、連続した畳み込み層、バッチ正規化層、および正規化線形ユニットネットワーク層が実行される。
DLネットワーク170はトレーニングプロセス160を使用してトレーニングされる。トレーニングプロセス160では、損失関数を使用してDLネットワーク170のパラメータ(例えば、DLネットワーク170のパラメータは、ネットワーク層を接続する重み付け係数、および各層内のノードの活性化関数/ポテンシャルを含む)を反復調整/最適化する。ネットワークパラメータの最適化は停止基準が充足するまで継続し(例えば、停止基準は損失関数の値が既定の閾値に収束したかどうかであってもよい)、トレーニング済みのDLネットワーク170を生成する。
損失関数は、入力データ157をDLネットワーク170の現在のバージョンに適用して生成された出力と対象データ153を比較する。例えば、入力データはCTスキャンそれぞれについてのサイノグラム/データ領域の中にノイズを含んだ投影データを含み、対象データは同一のCTスキャンそれぞれについてのサイノグラム/データ領域の中に低ノイズ(すなわち、入力データよりもノイズが少ない)投影データを含むことができる。さらに、既定の再構成カーネル(例えば、rampフィルタ)を使用して対象データにフィルタを掛ける。これは、図2のステップ114に示すように、入力データに上でDLネットワーク170が実行するプロセス/フィルタ補正は再構成カーネルを使用したフィルタ補正を含むためである。
所与のCTスキャンについて、入力データの各低品質(例えば、ノイズを含んでいる)のサイノグラムは、対応する再構成カーネルでフィルタ補正済みの高品質のサイノグラムと対をなす。1つの実施形態では、低品質の(例えば、ノイズを含む)サイノグラムが低線量CTスキャンを使用して生成され、高品質の(例えば、ノイズ低減済み)サイノグラムは高線量CTスキャンを使用して生成される。これらスキャンは、例えば、生体疑似模型で実行することができる。
入力データからの低品質サイノグラムをDLネットワーク170の現在のバージョンおよび再構成カーネルフィルタ補正に適用すると、ネットワークからの出力が生成される。その出力は、低品質サイノグラムをDLネットワークでフィルタ補正済みのもの(すなわち、フィルタ補正済みのサイノグラム)であると想定される。DLネットワーク170はDLネットワーク170の中でネットワーク係数を反復的に調整することによってトレーニングされ、DLネットワーク170からのDLネットワークでフィルタ補正済みサイノグラムと対象データ153からの高品質なサイノグラムとの差異を最小化する。対象データとDLネットワーク170からの出力との差異が最小化すると、DLネットワーク170のトレーニングは完了したと判断される。この差異が十分に最小化したかどうかの判定は、トレーニングプロセス160の1つまたは複数の既定の停止基準に基づいて行なうことができる。停止基準が充足されると、トレーニング済みのDLネットワーク170は、格納され、次いで後で呼び出されて医用イメージングプロセス100で使用することができる。
代替の実施形態では、DLネットワーク170は残差ネットワーク(Residual Network:ResNet)として実装される。このケースは、本明細書に記載の方法は、低品質のサイノグラムから直接除去することが可能な付加的な残差としてノイズを取り扱うことによって画像をノイズ除去することができる。これは対象データをノイズ/アーチファクトそのもの(例えば、低品質のサイノグラムと高品質のサイノグラムとの間の差異)として取り扱うことによって達成される。このように、低品質のサイノグラムがニューラルネットワークに適用されると、ネットワークはノイズ/アーチファクトを表した画像を出力する。次いで、修正済みサイノグラムを生成するために低品質のサイノグラムからのネットワーク出力(ノイズ/アーチファクト)を取り除くことによって、修正済みサイノグラムを生成することができる。
方法10では、損失関数を使用して、停止基準を充足する(例えば、既定の閾値にパラメータが収束する)までDLネットワーク170のネットワーク係数(例えば、畳み込み層およびプーリング層の重み付けやバイアス)を反復的に調整し、トレーニング済みのDLネットワーク170を生成する。損失関数は、入力データ157が適用されるDLネットワーク170の現在のバージョンの結果と高品質データである対象データ153を比較する。
前述のように、CT画像再構成はただ1つの非限定的例示的実施例に過ぎない。別の実施例は陽電子放射型断層撮影法(PET)のイメージングである。PETイメージングのケースでは、陽電子放射データ用にサイノグラムを生成することができ、方法10を使用して陽電子放射データにサイノグラムのノイズ除去/復元を適用することができる。例えば、方法10には、DLネットワーク170をトレーニングすることと、トレーニング済みのDLネットワーク170に低品質の(例えば、ノイズを含んでいる)PETサイノグラム(すなわち、生データ105)を適用して高品質のPETサイノグラムを生成することが含まれる。
PETイメージングのケースでは、高品質データと低品質データがそれぞれ、長時間と短時間のスキャンで蓄積される。一般的に、短時間で蓄積されたサイノグラムの信号雑音比(Signal−to−Noise Ratio:SNR)は低い。したがって、完全長のPETスキャンからのすべての一致カウントを使用して対象データ153(例えば、高品質なサイノグラム)を生成し、サイノグラムについて可能な最高のSNRを生成することができる。一方、完全なデータセットから選択された一致カウントの部分サブセットを使用して(例えば、完全長のPETスキャンの半分だけからのデータを使用して)低品質データである入力データ157を生成し、その結果、ノイズが多く含まれたサイノグラム(例えば、√2の小さいSNR)をもたらす。
図1に戻ると、医用イメージングプロセス100は、生データを取得することによって、例えば、CTスキャンを実行して一連の視野角(すなわち、低品質のサイノグラム)でCT投影を生成することによって実行される。例えば、低線量CTスキャンを使用して、生データ105としてサイノグラムを生成することができる。
医用イメージングプロセス100のプロセス110では、生データ105をトレーニング済みのDLネットワーク170に適用することによって、生データ105をフィルタ補正する。次いで、DLネットワーク170はDLネットワークでフィルタ補正済みのサイノグラムを出力する。プロセス110のより詳細な説明は図2を参照して以下に提供する。
医用イメージングプロセス100のステップ120では、DLネットワークでフィルタ補正済みのサイノグラムからCT画像が再構成される。もっと頻繁には、逆投影を使用して解析的画像再構成が実行される。より一般的には、様々な方法を使用して解析的画像再構成を実行することができる。それらには、Feldkamp Davis Kress(Feldkamp Davis Kress:FDK)法、一般化FDK法、リビニングFBP法、n−Pi法、Pi−slant法、Katsevichの厳密法、アダプティブマルチプルプレーン再構成(Adaptive Multiple plane Reconstruction:AMPR)法、拡張シングルスライスリビニング(Advanced Single−Slice Rebinning:ASSR)法、重み付けFBP法、逐次近似応用再構成法(Adaptive Iterative Dose Reduction 3D:AIDR 3D)がある。
医用イメージングプロセス100のステップ130では、別の画像領域ノイズ除去が実行される。このステップは任意で、いくつかの実施形態では省くことができる。
例示的ノイズ除去方法は、線形平滑化フィルタ、異方性拡散、nonーlocal mean、または非線形フィルタを含む。線形平滑化フィルタは、ローパスフィルタまたは平滑化フィルタを代表する畳み込みカーネルを用いて元の画像を畳み込むことによってノイズを取り除く。例えば、ガウス畳み込みカーネルはガウス関数によって決定する要素からなる。この畳み込みは各画素の値をその隣接する画素の値により同調するように仕向ける。異方性拡散は、熱伝導方程式に類似した平滑化偏微分方程式のもとで画像を展開することによって鮮明なエッジを保存したままでノイズを取り除く。メディアンフィルタは非線形フィルタの一例である。これを適切に設計すれば、非線形フィルタはエッジを保存してぼやけを回避することもできる。メディアンフィルタはランク条件付きランク選択(Rank−Conditioned Rank−Selection:RCRS)フィルタの一例である。これを適用して、目立ったぼやけアーチファクトを持ち込むことなく画像からごま塩ノイズを取り除くことができる。さらに、total−variation(Total−Variation:TV)最小化正則化の期間を使用するフィルタは、均一な区域間のくっきりとした境界線によって境界を画定された広域を通じた均一性の仮説を画像化領域がサポートする場合に適用することができる。TVフィルタは非線形フィルタの別の例である。さらに、non−local meanフィルタ補正は、画像内の類似した区画にまたがった重み付け平均を使用してノイズ除去する画素を決定する例示的方法である。
最後に、再構成画像135は良好な画像品質を有する出力であり、この再構成画像135はユーザに表示することができる、さらに言うと、将来の利用のために格納することができる。
図2は、プロセス110の非限定的実施例のフロー図である。このプロセスはDLネットワークが使用されてサイノグラムにフィルタを掛ける2つのステップ(すなわち、ステップ112およびステップ116)を示している。第1のDL−ネットワークステップ(すなわち、ステップ112)はDLネットワークを使用してサイノグラムにフィルタを掛けてから再構成カーネルフィルタ補正を行い、第2のDL−ネットワークステップ(すなわち、ステップ116)は別のDLネットワークを使用してサイノグラムにフィルタを掛ける前に再構成カーネルフィルタ補正を行う。第1のDL−ネットワークステップ(すなわち、ステップ112)は選択であり、ある実施形態では省くことができる。ステップ112とステップ116の両方についてのDLネットワークはDLネットワーク170の一部として考えることができる。また、ステップ114で再構成カーネルを適用することは、DLネットワーク170の一部として考えることもできる。しかし、ステップ114はトレーニングプロセス160中に最適化される調整可能な重み付け係数を含んでいない。したがって、図2はDLネットワーク170から入力を受け取るステップ114を示していない。ステップ112とステップ116の両方はResNetとして実装することができる。
ステップ112では、生データ105をDLネットワーク170の第1のネットワークに適用して、1度フィルタ補正済みデータ113を生成する。
ステップ114では、1度フィルタ補正済みデータ113に再構成カーネルを使用してフィルタを掛け、2度フィルタ補正済みのデータ115を生成する。例えば、空間領域において、1度フィルタ補正済みデータ113を再構成カーネルを用いて畳み込むことができる。以下で説明するように、様々なタイプの再構成カーネルを使用することができる。一般に、ステップ114で1度フィルタ補正済みデータ113にフィルタを掛けるのに使用する再構成カーネルと同一のものを使用してDLネットワーク170をトレーニングするのに使用する対象データを準備することもできる。
ステップ116では、2度フィルタ補正済みデータ113をDLネットワーク170の第2のネットワークに適用し、3度フィルタ補正済みデータ117を生成する。トレーニングプロセス160では、生データ105から3度フィルタ補正済みのデータ117を生成するためにプロセス110で使用したものと同一のプロセスを使用して、入力データから出力サイノグラムを生成することができる。次いで、損失関数を使用して出力サイノグラムを対象データと比較することができる。
しばしば、再構成カーネルはrampフィルタであるが、方法10の精神から離れて他のバリエーションを使用することができる。一般に、再構成カーネルは、ぼやけを画像の中に出現させる低周波数に減じた重み付けを適用するハイパスフィルタである。周波数領域では、rampフィルタ数学関数が次の方程式によって与えられる。
ここで、kとkは空間周波数である。
rampフィルタは、単純逆投影からもたらされる放射状アーチファクトを除去するような補償的なフィルタである。ぼやけが体軸横断面に出現するため、フィルタはその横断面にのみ適用される。rampフィルタは空間周波数に線形的に比例する。一般に、rampフィルタのようなハイパスフィルタは画像のエッジを鮮明にし(信号が敏速に変化する画像の領域)、対象エッジ情報を造影する。ハイパスフィルタの欠点は、測定されたカウントの中に存在する統計ノイズを増幅することである。rampフィルタの高周波数の増幅を低減するために、rampフィルタはローパスフィルタ(例えば、ウィンドウ関数)と組み合わせて再構成カーネルを作成することができる。
CT画像の中の統計ノイズを低減するまたは取り除くために、rampフィルタは様々なローパス/平滑化フィルタと組み合わせることができる。ローパスフィルタは主に2つのパラメータ、すなわち、「遮断周波数」と「次数」(または「パワー」)によって特徴づけられる。遮断周波数(または、ロールオフ周波数)は、ノイズが除去される周波数より上方を定義する。フィルタ関数は遮断周波数より上方のすべての周波数についてゼロであると定義される。遮断周波数の値は、フィルタが画像ノイズと解像度の両方にどのように影響するかを決定する。高遮断周波数は空間解像度を改善し、したがってより細部を見ることができるが、画像にノイズが残存する。低遮断周波数は平滑化を高めるが最終再構成における画像コントラストを低下させる。パラメータの次数はフィルタ関数のスロープを制御し、ロールオフの峻度の特徴を明らかにする。高次数は急落をもたらす。
rampフィルタはいくつかのローパスフィルタのうちの1つと組み合わせることができ、それらにはバタワースフィルタ、Hanningフィルタ、Parzenフィルタ、Shepp−Loganフィルタがある。さらに、MetzおよびWienerの2タイプの解像度復元フィルタは再構成カーネルに使用されてきた。これらのローパスフィルタはしばしばウィンドウと呼ばれ、rampフィルタとのローパスフィルタの組み合わせはウィンドウ化rampフィルタと呼ぶことができる。どのローパスフィルタを使用するかの選択、および他のパラメータの中から遮断周波数の選択が適切であることは、CTスキャナの幾何学的配置および検出器配列(例えば、画素ピッチ、コーン/ファンビーム角、およびX線の点広がり関数)に依存する可能性がある。ローパスフィルタとrampフィルタの一般的な組み合わせは略称で呼ばれている。例えば、rampフィルタの矩形関数はRam−Lakフィルタと呼ばれる。Shepp−Loganフィルタは別の組み合わせで使用することができる。
ある実施形態では、ステップ112およびステップ116で使用されるDLネットワーク170の第1のネットワークおよび第2のネットワークは畳み込みニューラルネットワーク(CNN)である。CNNのネットワークは、例えば次のようなローカルの小型フィルタを直接生成してもよい。
ここで、wijはi番目の画素上のフィルタである。
ここで、DLネットワークのトレーニングについて詳細に説明する(例えば、トレーニングプロセス160)。ここでの説明は、対象データ153が高品質のサイノグラムであって、入力データ157が低品質のサイノグラムである例を使用する。
図3はトレーニングプロセス160の1つの実施形態のフロー図である。トレーニングプロセス160では、入力データ157(例えば、低品質のサイノグラム)と対象データ153(例えば、高品質のサイノグラム)がDLネットワーク170をトレーニングするためのトレーニングデータとして使用され、その結果として、DLネットワーク170がトレーニングプロセス160のステップ319から出力される。オフラインのDLのトレーニングプロセス160は、DLネットワーク170をトレーニングするために対応した対象データ153(対象サイノグラム)と対をなす入力データ157(入力サイノグラム)を多数使用してDLネットワーク170をトレーニングし、入力データ157から対象データ153に似たDL−ネットワークでフィルタ補正済みサイノグラムを作成する。
トレーニングプロセス160では、1組のトレーニングデータが取得され、DLネットワーク170は反復的に更新され、誤差(例えば、損失関数によって生じた値)を低減する。DLネットワークはトレーニングデータによって暗示されたマッピングを推測し、コスト関数は、対象データ153とDLネットワーク170の現在のインカネーションを入力データ157に適用したことによって生じた結果との間の不整合に関する誤差値を作り出す。例えば、ある実施形態では、コスト関数は平均二乗誤差を使用して平均的な二乗誤差を最小化する。多層パーセプトロン(MultiLayer Perceptrons:MLP)ニューラルネットワークのケースでは、(確率的)勾配降下法を使用して平均二乗誤差ベースのコスト関数を最小化することによって、逆伝搬アルゴリズムをネットワークのトレーニングに使用することができる。
トレーニングプロセス160のステップ316では、DLネットワーク170の係数についての初期推定が生成される。例えば、初期推定は、画像化される領域の演繹的知識、あるいは例示的ノイズ除去法、エッジ検出法、および/またはblob検出法のうちの1つまたは複数に基づいて行うことができる。さらに、初期推定は、LeCun初期化、Xavier初期化、およびKaiming初期化のうちの1つに基づくことができる。
トレーニングプロセス160のステップ316からステップ319により、DLネットワーク170をトレーニングするための最適方法の非限定的実施例を提供する。
誤差は、例えば損失関数またはコスト関数を使用して、DLネットワーク170の現在のバージョンを適用した後の対象データ153(すなわち、グランドトルース)と入力データ157との間の差異の尺度(例えば、距離尺度)を示すように計算される。前述のコスト関数を含み、任意の既知のコスト関数または画像データ間の距離尺度を使用して、誤差を計算することができる。さらに、ある実施形態では、誤差/損失関数は、1つまたは複数のヒンジ損失および交差エントロピー損失を使用して計算することができる。
ある実施形態では、トレーニングは以下の損失関数を最小化することによって実行される。
ここで、dはpをスカラ量にもつ形式を有する重みである。
ある実施形態では、DLネットワーク170は逆伝搬によってトレーニングされる。逆伝搬を使用してニューラルネットワークをトレーニングすることができ、勾配降下最適化法と併せて使用される。フォワードパス中には、アルゴリズムは現在のパラメータθに基づいてネットワークの予測を見積もる。次いで、これらの予測は損失関数に入力され、それによって対応するグランドトルースラベル(すなわち、高品質の対象データ153)と比較される。バックワードパス中には、モデルは現在のパラメータに関して損失関数の勾配を見積もる。その後に、そのパラメータは最小化された損失の方向に既定のサイズのステップサイズを使用することによって更新される(例えば、Nesterovモメンタム法や様々なアダプティブ法のような加速法においては、より敏速に収束させて損失関数を最適化するように、ステップのサイズを選択することができる)。
ある実施形態では、ステップ112からステップ116の画像処理は逆伝搬用DLネットワークであると想定される。しかし、ステップ112からステップ116に実装されるCNNの重み付け係数だけが変化することを許可される。すなわち、CNNの重み付け係数を調整して対象のサイノグラムとのより高い整合性を生成することができるが、ステップ114で実行するパラメータは変化しない。この意味において、ステップ112からステップ116のネットワークにおいて重み付け係数だけがトレーニングプロセスによって調整されているとしても、ステップ112からステップ116の全体をDLネットワークとしてみなすことができる。
逆投影が実行される最適化法は、勾配降下、バッチ勾配降下、確率的勾配降下、およびミニバッチ確率的勾配降下のうちの1つまたは複数を使用することができる。フォワードパスおよびバックワードパスは、ネットワーク層それぞれを通じてインクリメンタルに実行することができる。フォワードパスにおいては、入力を第1の層に送り込むことによって処理が開始し、こうして次の層向けに出力活性化を作成する。このプロセスは、最後の層の損失関数に到達するまで繰り返される。バックワードパス中は、最後の層が(もしあるなら)それ自体の学習可能なパラメータに関して、またそれ自体の入力に関しても勾配を見積もり、それによって前の層向けのアップストリーム導函数として機能する。このプロセスは入力層に到達するまで繰り返される。
図3に戻ると、トレーニングプロセス160のステップ317は、ネットワークの中の変化の関数が計算できるように(例えば、誤差勾配)、誤差の中の変化を測定し、誤差の中の変化を使用してDLネットワーク170の重み/係数に対するその後の変化のために方向とステップサイズを選択することができる。このように誤差の勾配を計算することは、勾配降下最適化法のある実施形態に合致している。いくつかの他の実施形態では、普通の当業者に理解されるように、このステップは、別の最適化アルゴリズム(例えば、模擬アニーリングまたは遺伝的アルゴリズムのような非勾配降下最適化アルゴリズム)により、省略し、または他のステップによって置換することができる。
トレーニングプロセス160のステップ317では、新しい1組の係数がDLネットワーク170向けに決定される。例えば、重み/係数は、勾配降下最適化法またはオーバリラクゼーション加速法でのように、ステップ317で計算された変化を使用して更新することができる。
トレーニングプロセス160のステップ318では、新しい誤差値がDLネットワーク170の更新済み重み/係数を使用して計算される。
ステップ319では、既定の停止基準を使用して、ネットワークのトレーニングが完了したかどうかを判定する。例えば、既定の停止基準は、新しい誤差および/または実行された反復総数が既定値を超過しているかどうかを評価することができる。例えば、新しい誤差が既定の閾値を下回っている場合、または反復の最大数に到達している場合に、停止基準は充足することができる。停止基準が充足していない場合は、トレーニングプロセス160で実行されたトレーニングプロセスは、新しい重みと係数を使用してステップ317に戻りそれを繰り返すことによって反復ループの開始点に戻って継続する(反復ループはステップ317、ステップ318、およびステップ319を含む。)。停止基準が充足されると、トレーニングプロセス160で実行されたトレーニングプロセスは完了する。
図4Aおよび図4Bは、DLネットワーク170の中の層間の相互接続の様々な実施例を示す図である。DLネットワーク170は、全結合層、畳み込み層およびプーリング層を含むことができ、それらすべてを以下で説明する。DLネットワーク170のある好ましい実施形態では、畳み込み層は入力層に接して配置されるが、高次の推論を実行する全結合層は、損失関数向け構造のさらに下方に配置される。プーリング層は畳み込み層の後に挿入し、フィルタの空間範囲を狭めて縮小した結果、およびそれによる学習可能なパラメータの総数を検査することができる。また、活性化関数を様々な層に組み入れ、非線形性を導入してネットワークが複雑な予測関連性を学習することを可能にする。活性化関数は飽和活性化関数(例えば、シグモイドまたはハイパボリックタンジェント活性化関数)または正規化活性化関数(例えば、前述の第1および第2の実施例で適用された正規化線形ユニット(Rectified Linear Unit:ReLU))であってもよい。前述の第1および第2の実施例においても例示したように、DLネットワーク170の層にはバッチ正規化を組み入れることもできる。
図4Aは、N個の入力、K個の隠れ層、および3つの出力を有する一般的な人工ニューラルネットワーク(Artificial Neural Network:ANN)の実施例を示す図である。各層はノード(ニューロンとも呼ぶ)からなり、各ノードは入力の重み付け和を実行し、その重み付け和の結果を閾値と比較して出力を生成する。ANNは1つの関数クラスを作成し、閾値、結合重み、またはノードの数および/またはそれらの結合性などの構造の詳細を変更してそのクラスの構成関数を取得する。ANNの中のノードはニューロン(または、ニューロンノード)と呼ぶことができ、ニューロンはANNシステムの別々の層間を相互接続することができる。シナプス(すなわち、ニューロン間の結合)は「重み」(「係数」または「重み付け係数」とも同じ意味で呼ぶ)と呼ぶ値を格納し、計算時にデータを巧みに処理する。ANNの出力は次の3つのタイプのパラメータに依存する。(i)ニューロンの別々の層の相互接続パターン、(ii)その相互接続の重みを更新する学習プロセス、(iii)ニューロンの重み付け入力をその出力活性化に変換する活性化関数、の3つである。
数学的には、ニューロンのネットワーク関数m(x)は別の関数n(x)との混合として定義され、さらに別の関数との混合として定義することができる。これは、図4Aに示すように、変数間の独立性を示す矢印を用いて、ネットワーク構造として簡便に表現することができる。例えば、ANNは非線形重み付け和を使用することができる。
ここで、K(一般に活性化関数と呼ばれる)は、ハイパボリックタンジェントなどのいくつかの既定の関数である。
図4Aにおいて(および同様に図4Bにおいて)、ニューロン(すなわち、ノード)は閾値関数を取り囲む円で示される。図4Aに示す非限定的実施例について、入力は線形関数を取り囲む円で示され、矢印はニューロン間の結合方向を示している。ある実施形態では、DLネットワーク170はフィードフォワード型ネットワークである。
図4Bは、DLネットワーク170が畳み込みニューラルネットワーク(CNN)である非限定的実施例を示す図である。CNNは画像処理に対して有益な特質を有するANNタイプであり、画像のノイズ除去の適用と特別な関連性を有している。CNNは、ニューロン間の結合パターンが画像処理の畳み込みを表すことができるフィードフォワード型ANNを使用する。例えば、受容野と呼ぶ、入力画像の各部分を処理する小さなニューロンの集まりの多重層を使用することによって、CNNを画像処理の最適化に使用することがでる。これらのニューロンの集まりの出力が並べて表示され、それらを重ね合わせて元の画像のより良い表現を得る。この処理パターンは、畳み込み層とプーリング層を交互に重ねた多数の層にわたって繰り返すことができる。
畳み込み層に続いて、CNNはローカルプーリング層及びグローバルプーリング層の少なくとも一方を含むことができ、畳み込み層の中のニューロンクラスタの出力を組み合わせる。さらに、ある実施形態では、CNNは、点別の非線形性を各層の終端または各層の後で適用して、畳み込み層と全結合層との様々な組み合わせを含むことができる。
図5は、医用イメージングシステム40の例示的実施形態を示す図である。医用イメージングシステム40は、少なくとも1つのスキャニングデバイス430と、1つまたは複数の画像生成デバイス410であって、それぞれは特殊構成のコンピューティングデバイス(例えば、特殊構成のデスクトップコンピュータ、特殊構成のラップトップコンピュータ、特殊構成のサーバ)である画像生成デバイス410と、表示デバイス420を含む。
スキャニングデバイス430は、対象(例えば、患者)の領域(例えば、区域、ボリューム、切片)をスキャンすることによって、スキャンデータを取得するよう構成されている。例えば、スキャニング診断装置は、コンピュータ断層撮影(CT)、陽電子放射型断層撮影(PET)、および/または単光子放射型CT(SPECT)であってもよい。1つまたは複数の画像生成デバイス410はスキャニングデバイス430からスキャンデータを取得し、スキャンデータに基づいて対象の領域の画像を生成する。1つまたは複数の画像生成デバイス410が画像を生成すると、1つまたは複数の画像生成デバイス410はその画像を表示デバイス420に送り、表示デバイス420は画像を表示する。
図6は、医用イメージングシステム40がCTスキャナを有する実施形態を示す図である。図6に示すように、X線撮影ガントリ500が側面から示され、さらにX線管501、環状フレーム502、および多列2次元アレイ型X線検出器503を含む。X線管501およびX線検出器503は、環状フレーム502上に対象OBJをまたがって径方向に取り付けられ、環状フレーム502は回転軸RAの周りを回転可能に支持されている。
マルチスライスX線CT装置は、スリップリング508を通じてX線管501に印加される管電圧を生成する高電圧発生装置509をさらに含み、そうしてX線管501はX線を生成する。X線は対象OBJに向け放射され、その断面区域が円で表されている。例えば、X線管501は第1のスキャン中に平均的なX線エネルギーを有するが、そのエネルギーは第2のスキャン中の平均的なX線エネルギーよりも小さい。このように、2つ以上スキャンは異なるX線エネルギーに対応して取得することができる。X線検出器503は対象OBJをまたがってX線管501から反対側に配置され、対象OBJを透過した放射X線を検出する。X線検出器503は個別の検出器素子またはユニットをさらに含む。
CT装置は、X線検出器503からの検出信号を処理する他のデバイスをさらに含む。データ取得回路またはデータ取得システム(DAS)504は、チャネルごとにX線検出器503からの信号出力を電圧信号に変換し、信号を増幅し、さらに信号をデジタル信号に変換する。
前述のデータは、非接触データ送信器505を通って、X線撮影ガントリ500の外側のコンソールの中に収納されている前処理回路506に送信される。前処理回路506は、生データの感度補正などのいくつかの補正を実行する。記憶回路512は結果として生じるデータを格納するが、それは、再構成処理直前の段階での投影データとも呼ばれる。記憶回路512は、再構成回路514、入力インタフェース515、ディスプレイ516とともに、データ/制御バス511を通って処理回路510と結合している。処理回路510は、CTシステムを駆動するのに十分なレベルに電流を制限する電流調整器513を制御する。
検出器は、CTスキャナシステムの様々な世代の患者に対して回転および/または固定される。1つの実施形態では、X線管501およびX線検出器503は環状フレーム502に径方向に取り付けられ、環状フレーム502が回転軸RAの周りを回転するように、対象OBJの周囲を回転する。
記憶回路512は、X線検出器503でX線の放射照度を表す測定値を格納することができる。さらに、記憶回路512は方法10を実行する専用プログラムを格納することができる。
再構成回路514は方法10の様々なステップを実行することができる。さらに、再構成回路514は、必要に応じ、ボリュームレンダリング処理および画像差分処理などの画像処理を処理する事前再構成を実行することができる。
前処理回路506によって実行される投影データの事前再構成処理は、例えば、検出器較正、検出器非線形性、および極性効果の補正を含むことができる。
再構成回路514で実行される事後再構成処理は、必要に応じ、画像のフィルタ補正および平滑化、ボリュームレンダリング処理、および画像差分処理を含むことができる。画像再構成プロセスは方法10の様々なステップを実装することができる。再構成回路514はメモリを使用して、例えば、投影データ、再構成済み画像、較正データとパラメータ、およびコンピュータプログラムを格納することができる。
様々な回路(例えば、再構成回路514および前処理回路506)はCPU(処理回路)を含むことがでる。このCPUは、個別の論理ゲートとして、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、フィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA)、または他のコンプレックスプログラマブルロジックデバイス(Complex Programmable Logic Device:CPLD)として、実装することができる。FPGAまたはCPLDの実装は、VHDL、Verilog、または他のハードウェア記述言語で符号化してもよく、またその符号は、直接FPGAまたはCPLD内の電子メモリに、または個別の電子メモリのように格納してもよい。さらに、記憶回路512は、ROM、EPROM、EEPROM、またはFLASHメモリなどの不揮発性であってもよい。記憶回路512はスタティックまたはダイナミックRAMなどの揮発性であってもよく、また、マイクロコントローラやマイクロプロセッサなどのプロセッサを備えることができ、電子メモリおよびFPGAまたはCPLDとメモリとの間のインタラクションを制御する。
1つの実施形態では、再構成済み画像はディスプレイ516上に表示することができる。ディスプレイ516は、LCDディスプレイ、CRTディスプレイ、プラズマディスプレイ、OLED、LED、または当技術分野で既知の任意の他のディスプレイであってもよい。
図7Aおよび図7Bは、医用イメージングシステム40が方法10を実装することができるPETスキャナを有する実施形態を示す図である。PETスキャナはいくつかのガンマ線検出器(Gamma−Ray Detector:GRD)(例えば、GRDNを介したGRD1、GRD2)を有し、これらは矩形検出器モジュールとして構成されている。
各GRDは、個々の検出器クリスタルの2次元アレイを有することができ、検出器クリスタルはガンマ放射線を吸収してシンチレーション光子を放射する。シンチレーション光子は、光電子増倍管(PhotoMultiplier Tube:PMT)またはシリコン光電子倍増管(Silicon PhotoMultiplier:SiPM)の2次元アレイによって検出することができる。光導体は、検出器クリスタルのアレイと受光素子との間配置される。
各受光素子(例えば、PMTまたはSiPM)は、シンチレーションイベントが発生したことを示すアナログ信号を作り出すことができ、ガンマ線のエネルギーが検出イベントを生じさせる。さらに、1つの検出器クリスタから放射された光子は1つ以上の受光素子で検出することができ、各受光素子で作り出されたアナログ信号に基づいて、検出イベントに対応している検出器クリスタルは、例えば、Angerロジックおよびクリスタル復号化を使用して判定することができる。
図7Bは、対象OBJから放射されたガンマ線を検出するように配列されたガンマ線光子計数検出器(GRD)を有するPETスキャナの概要図である。GRDは、各ガンマ線検出に対応した、タイミング、位置、およびエネルギーを測定することができる。1つの実施形態では、ガンマ線検出器は、図7Aおよび7Bに示すように、リング状に配列されている。検出器クリスタルはシンチレータクリスタルであってもよく、2次元アレイ状に配列された個々のシンチレータ素子を有し、シンチレータ素子は任意の既知の発光物質であってもよい。PMTは、各シンチレータ素子からの光が多数のPMTによって検出され、Anger計算およびシンチレーションイベントのクリスタル復号が可能になる。
図7Bは、PETスキャナの配列の実施例を示す図である。画像化する対象OBJが寝台816上で静止しており、GRDNを通じてGRDモジュールGRD1が対象OBJおよび寝台816の周囲を周方向に配列されている。GRDは、ガントリ840に固定して結合された円形部材820に固定して結合されている。ガントリ840はPET画像機の多くの部品を収納している。PET画像機のガントリ840は、対象OBJおよび寝台816が通過することができる開放開口も有し、消滅イベントによって対象OBJから反対方向に放射されたガンマ線はGRDによって検出することができ、タイミングとエネルギーの情報を使用してガンマ線対について一致度を判定する。
図7Bでは、ガンマ線検出データの取得、格納、処理、および配信用の回路およびハードウェアも示されている。回路およびハードウェアは、プロセッサ870、ネットワークコントローラ874、メモリ878、およびデータ取得システム(DAS)876を含む。PET画像装置は、GRDからの検出測定結果をDAS876、プロセッサ870、メモリ878、およびネットワークコントローラ874に送信するデータチャネルも有する。データ取得システム876は、取得、デジタル化、および検出器からの検出データの送信を制御することができる。1つの実施形態では、DAS876は寝台816の移動を制御する。プロセッサ870は、本明細書で論考するように、検出データ再構成画像を含む関数、検出データの事前再構成処理、および画像データの事後再構成処理を実行する。
プロセッサ870は、本明細書に記載の方法10の様々なステップおよびその変形を実行するように設定することができる。プロセッサ870は、個別の論理ゲートとして、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、または他のコンプレックスプログラマブルロジックデバイス(CPLD)として、実装することができるCPUを有することができる。FPGAまたはCPLDの実装は、VHDL、Verilog、または任意の他のハードウェア記述言語で符号化してもよく、またその符号は、直接FPGAまたはCPLD内の電子メモリに、または個別の電子メモリのように格納してもよい。さらに、メモリは、ROM、EPROM、EEPROM、またはFLASHメモリなどの不揮発性であってもよい。メモリはスタティックまたはダイナミックRAMなどの揮発性であってもよく、また、マイクロコントローラやマイクロプロセッサなどのプロセッサを備えることができ、電子メモリおよびFPGAまたはCPLDとメモリとの間のインタラクションを制御する。
あるいは、プロセッサ870の中のCPUは、方法10の様々なステップを実行する1組のコンピュータ可読命令を有するコンピュータプログラムを実行することができ、そのプログラムは前述の不揮発性電子メモリ、および/またはハードディスクドライブ、CD、DVD、FLASHドライブまたは任意の他の既知のストレージ媒体のうちのいずれかに格納されている。さらに、コンピュータ可読命令を、ユーティリティアプリケーション、バックグラウンドデーモン、またはオペレーティングシステムの構成要素、あるいはそれらの組み合わせとして備えることができる。これらは、米国インテルのXeonプロセッサまたは米国AMDのOpteronプロセッサなどのプロセッサ、ならびにマイクロソフトVISTA,UNIX(登録商標)、Solaris、LINUX(登録商標)、Apple、MAC−OSおよび当業者に既知の他のオペレーティングシステムなどのオペレーティングシステム、と組み合わせて実行することができる。さらに、CPUは、並行に協同で作動し命令を実行する多重プロセッサとして実装することができる。
メモリ878は、ハードディスクドライブ、CD−ROMドライブ、DVDドライブ、FLASHドライブ、RAM、ROMまたは任意の他の当業界で既知の電子ストレージであってもよい。
米国インテルコーポレーションのIntel Ethernet(登録商標) PROネットワークインタフェースカードなどのネットワークコントローラ874は、PET画像機の様々な部品間をインタフェース接続することができる。さらに、ネットワークコントローラ874は外部ネットワークともインタフェース接続することができる。理解できているように、外部ネットワークはインターネットなどの公衆ネットワーク、またはLANまたはWANネットワークなどのプライベートネットワーク、あるいはそれらの任意の組み合わせであってもよい。また、PSTNまたはISDNサブネットワークを含んでもよい。外部ネットワークは、Ethernetネットワークなどの有線であってもよく、またはEDGE、3Gおよび4Gワイヤレス携帯電話システムを含む携帯電話ネットワークなどのワイヤレスであってもよい。ワイヤレスネットワークはWiFi、Bluetooth(登録商標)、または既知の任意の他のワイヤレス通信形式であってもよい。
以上説明した少なくとも1つの実施形態によれば、医用画像の画質を向上させることができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行なうことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
40 医療イメージングシステム
514 再構成回路
870 プロセッサ

Claims (18)

  1. 検出器によって検出された放射線の強度を表す放射線サイノグラムを取得し、
    第1のニューラルネットワークを取得し、
    再構成カーネルを使用して前記放射線サイノグラムにフィルタを掛けることで、フィルタ補正済みのデータを生成し、
    前記フィルタ補正済みのデータを前記第1のニューラルネットワークに適用することで、前記第1のニューラルネットワークからフィルタ補正済みサイノグラムを出力し、
    前記フィルタ補正済みサイノグラム上で解析的画像再構成を実行する回路を備えた、医用装置。
  2. 前記回路は、
    第2のニューラルネットワークを取得し、
    前記放射線サイノグラムを前記第2のニューラルネットワークに適用することで、前記第2のニューラルネットワークを使用してフィルタを掛けた前記放射線サイノグラムを出力し、
    前記再構成カーネルを使用して、前記第2のニューラルネットワークを使用してフィルタを掛けられた前記放射線サイノグラムにフィルタを掛けることで、前記フィルタ補正済みのデータを生成する、請求項1に記載の医用装置。
  3. 前記回路は、前記フィルタ補正済みサイノグラムを逆投影することによって、前記フィルタ補正済みサイノグラム上で解析的画像再構成を実行する、請求項1又は2に記載の医用装置。
  4. 前記回路は、フィルタ補正逆投影(Filtered Back−Projection:FBP)、FDK(Feldkamp Davis Kress)法、一般化FDK法、リビニングFBP法、n−Pi法、Pi−slant法、Katsevichの厳密法、アダプティブマルチプルプレーン再構成(Adaptive Multiple plane Reconstruction:AMPR)法、拡張シングルスライスリビニング(Advanced Single−Slice Rebinning:ASSR)法、重み付けFBP法、又は、逐次近似応用再構成法(Adaptive Iterative Dose Reduction 3D:AIDR 3D)を用いて、前記フィルタ補正済みサイノグラム上で解析的画像再構成を実行する、請求項1又は2に記載の医用装置。
  5. 前記再構成カーネルはrampフィルタである、請求項1〜4のいずれか一項に記載の医用装置。
  6. 前記回路は、更に、
    対象サイノグラムそれぞれと対をなす入力サイノグラムを有するトレーニング用データセットを取得し、
    所与の入力サイノグラムを前記第2のニューラルネットワークに適用して第1の出力を生成し、前記再構成カーネルを使用して前記第1の出力にフィルタを掛けて第2の出力を生成し、前記第2の出力を第1のニューラルネットワークに適用して第3の出力を生成することによって、前記入力サイノグラムそれぞれから出力サイノグラムを生成し、
    第1のニューラルネットワークの重み付け係数および前記第2のニューラルネットワークの重み付け係数を反復的に調整して、前記第3の出力と前記第3の出力を生成するために使用した前記所与の入力サイノグラムに対応した対象サイノグラムとの間の不整合を測定した損失関数の値を最小化することによって前記第1のニューラルネットワークおよび前記第2のニューラルネットワークをトレーニングする、請求項2に記載の医用装置。
  7. 前記回路は、更に、
    対象サイノグラムそれぞれと対をなす入力サイノグラムを有するトレーニング用データセットを取得し、
    前記再構成カーネルを所与の入力サイノグラムに適用して第1の出力を生成し、前記第1の出力を前記第1のニューラルネットワークに適用して第2の出力を生成することによって、前記入力サイノグラムそれぞれから出力サイノグラムを生成することと、
    前記第1のニューラルネットワークの重み付け係数を反復的に調整して、前記第2の出力と前記第2の出力を生成するために使用した前記所与の入力サイノグラムに対応した対象サイノグラムとの間の不整合を測定した損失関数の値を最小化することによって前記第1のニューラルネットワークをトレーニングする、請求項1に記載の医用装置。
  8. 前記入力サイノグラムは、入力サイノグラムとして低線量サイノグラムを取得するためにCT低線量スキャンを使用して取得され、
    前記対象サイノグラムは、高線量を前記CT低線量スキャンに適用したCT高線量スキャンにより取得された高線量サイノグラムに対して既定の再構成カーネルを適用して取得される、請求項7に記載の医用装置。
  9. 前記回路は、前記高線量サイノグラムに対して適用される前記既定の再構成カーネルとして、スキャナの幾何学的配置に基づいて、rampフィルタ、Ram−Lakフィルタ、Shepp−Loganフィルタ、コサインウィンドウrampフィルタ、Hammingウィンドウrampフィルタ、およびウィンドウrampフィルタのうちの1つを使用して、前記対象サイノグラムを取得する、請求項8に記載の医用装置。
  10. 前記入力サイノグラムに適用される前記再構成カーネルは、前記トレーニング用データセットの前記対象サイノグラムを生成するために使用される既定の再構成カーネルと同一の畳み込みカーネルである、請求項7に記載の医用装置。
  11. 前記入力サイノグラムとして、イメージングスキャナの第1の構成を使用して第1の構成のサイノグラムが取得され、
    イメージングスキャナの第2の構成を使用して第2の構成のサイノグラムが取得され、既定の再構成カーネルを前記第2の構成のサイノグラムに適用して前記対象サイノグラムが生成され、
    フィルタ補正済み逆投影CT画像再構成が実行された場合、前記第2の構成のサイノグラムは、対応する前記第1の構成のサイノグラムよりも高品質の画像を作り出す、請求項7に記載の医用装置。
  12. 前記入力サイノグラムを獲得するために使用される前記イメージングスキャナの前記第1の構成、及び、前記対象サイノグラムを獲得するために使用される前記イメージングスキャナの前記第2の構成は、前記イメージングスキャナの放射線源の1つ以上の設定に関して異なる、請求項11に記載の医用装置。
  13. 前記回路が前記放射線サイノグラムを前記第1のニューラルネットワークに適用するようにさらに構成され、前記第1のニューラルネットワークは残差ネットワークである、請求項1に記載の医用装置。
  14. 前記放射線サイノグラムは、X線コンピュータ断層撮影(CT)データ、X線透視データ、ガンマ線陽電子放射型断層撮影(Positron Emission Tomography:PET)データ、および単光子放射型CTデータ(Single−Photon Emission CT:SPECT)のうちの1つである、請求項1に記載の医用装置。
  15. 前記回路は、前記放射線サイノグラムを前記第2のニューラルネットワークに適用することで、前記放射線サイノグラムの中のノイズを低減する、請求項2に記載の医用装置。
  16. 前記第1のニューラルネットワークの重み付け係数は、入力データおよび対象データを含むトレーニング用データセットを使用してトレーニングされ、
    前記入力データは、第1の放射線量を使用して獲得された第1のトレーニング用サイノグラムを有し、
    前記対象データは、前記第1の放射線量よりも大きい第2の放射線量を使用して獲得された第2のトレーニング用サイノグラムを有する、請求項1に記載の医用装置。
  17. 前記損失関数が、ピーク信号対ノイズ比、構造的類似性インデックス、及び、前記入力サイノグラムに対応する対象サイノグラムとフィルタ補正済みサイノグラムそれぞれの間の不整合のLpノルムのうち少なくとも1つを含む、請求項7に記載の医用装置。
  18. 前記放射線サイノグラムは、X線CT投影データであり、
    前記医用装置は、X線を放射するように構成され、対象の周囲を回転するように構成されたX線源と、回転するように構成され、前記対象の向かい側の前記X線源の反対側に所在する検出器とをさらに有し、
    前記検出器は、前記X線源から放射されたX線を複数の検出器素子で受け取って前記放射線サイノグラムとして投影データを生成し、前記投影データは前記複数の検出器素子での前記X線の強度を示す、請求項1に記載の医用装置。
JP2020035530A 2019-07-11 2020-03-03 医用装置 Pending JP2021013725A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/509,429 US11403791B2 (en) 2019-07-11 2019-07-11 Apparatus and method using deep learning (DL) to improve analytical tomographic image reconstruction
US16/509,429 2019-07-11

Publications (1)

Publication Number Publication Date
JP2021013725A true JP2021013725A (ja) 2021-02-12

Family

ID=74101974

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020035530A Pending JP2021013725A (ja) 2019-07-11 2020-03-03 医用装置

Country Status (2)

Country Link
US (1) US11403791B2 (ja)
JP (1) JP2021013725A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102399792B1 (ko) * 2022-01-27 2022-05-23 주식회사 휴런 인공지능 기반 Hounsfield unit (HU) 정규화 및 디노이징 (Denoising)을 통한 전처리 장치 및 방법
US11540798B2 (en) 2019-08-30 2023-01-03 The Research Foundation For The State University Of New York Dilated convolutional neural network system and method for positron emission tomography (PET) image denoising

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3095109A1 (en) * 2018-03-23 2019-09-26 Memorial Sloan Kettering Cancer Center Deep encoder-decoder models for reconstructing biomedical images
US11120582B2 (en) * 2019-07-31 2021-09-14 Z2Sky Technologies Inc. Unified dual-domain network for medical image formation, recovery, and analysis
US11455755B2 (en) * 2019-09-05 2022-09-27 Siemens Medical Solutions Usa, Inc. Methods and apparatus for neural network based image reconstruction
DE102020207210A1 (de) * 2020-06-09 2021-12-09 Siemens Healthcare Gmbh Rekonstruktionsmodul und Verfahren zur Rekonstruktion von medizinischen Bildern
US11342946B1 (en) * 2021-03-22 2022-05-24 Bae Systems Information And Electronic Systems Integration Inc. Neural network kernels for signal processing in lieu of digital signal processing in radio receivers
CN115542433B (zh) * 2022-12-05 2023-03-24 香港中文大学(深圳) 基于自注意力的深度神经网络编码光子晶体的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180293762A1 (en) * 2017-04-05 2018-10-11 General Electric Company Tomographic reconstruction based on deep learning
US20190035118A1 (en) * 2017-07-28 2019-01-31 Shenzhen United Imaging Healthcare Co., Ltd. System and method for image conversion
JP2019028072A (ja) * 2017-07-25 2019-02-21 清華大学Tsinghua University Ct画像を再構成する方法及びデバイス、並びに記憶媒体
JP2019069145A (ja) * 2017-10-06 2019-05-09 キヤノンメディカルシステムズ株式会社 医用画像処理装置及び医用画像処理システム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9036885B2 (en) 2012-10-28 2015-05-19 Technion Research & Development Foundation Limited Image reconstruction in computed tomography
US11195310B2 (en) * 2018-08-06 2021-12-07 General Electric Company Iterative image reconstruction framework

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180293762A1 (en) * 2017-04-05 2018-10-11 General Electric Company Tomographic reconstruction based on deep learning
JP2019028072A (ja) * 2017-07-25 2019-02-21 清華大学Tsinghua University Ct画像を再構成する方法及びデバイス、並びに記憶媒体
US20190035118A1 (en) * 2017-07-28 2019-01-31 Shenzhen United Imaging Healthcare Co., Ltd. System and method for image conversion
JP2019069145A (ja) * 2017-10-06 2019-05-09 キヤノンメディカルシステムズ株式会社 医用画像処理装置及び医用画像処理システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11540798B2 (en) 2019-08-30 2023-01-03 The Research Foundation For The State University Of New York Dilated convolutional neural network system and method for positron emission tomography (PET) image denoising
KR102399792B1 (ko) * 2022-01-27 2022-05-23 주식회사 휴런 인공지능 기반 Hounsfield unit (HU) 정규화 및 디노이징 (Denoising)을 통한 전처리 장치 및 방법

Also Published As

Publication number Publication date
US11403791B2 (en) 2022-08-02
US20210012541A1 (en) 2021-01-14

Similar Documents

Publication Publication Date Title
JP7433883B2 (ja) 医用装置及びプログラム
JP7432356B2 (ja) 医用装置及びプログラム
US20230119427A1 (en) Apparatus and method for medical image reconstruction using deep learning for computed tomography (ct) image noise and artifacts reduction
US11847761B2 (en) Medical image processing apparatus having a plurality of neural networks corresponding to different fields of view
JP7334048B2 (ja) X線ctシステム及び方法
JP7234064B2 (ja) 反復的画像再構成フレームワーク
JP2021013725A (ja) 医用装置
JP7309500B2 (ja) X線ctシステム及び方法
EP3716214A1 (en) Medical image processing apparatus and method for acquiring training images
JP6956505B2 (ja) 画像処理装置、x線ct装置及び画像処理方法
US20130051516A1 (en) Noise suppression for low x-ray dose cone-beam image reconstruction
US10925568B2 (en) Apparatus and method using physical model based deep learning (DL) to improve image quality in images that are reconstructed using computed tomography (CT)
JP2016152916A (ja) X線コンピュータ断層撮像装置及び医用画像処理装置
JP2021013729A (ja) X線システム、画像処理装置及びプログラム
Zhang et al. PET image reconstruction using a cascading back-projection neural network
CN115777114A (zh) 针对ct图像去噪的3d-cnn处理
JP7475979B2 (ja) X線システム及び撮像プログラム
US20220327665A1 (en) Neural network for improved performance of medical imaging systems
JP2021013737A (ja) X線システム及び撮像プログラム
JP2023108605A (ja) 方法、医用画像処理装置及びプログラム
Amroabadi Low dose computed tomography reconstruction methods

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230112

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230913

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230926

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240125

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240416