JP2023156267A - 情報処理方法及び情報処理装置 - Google Patents

情報処理方法及び情報処理装置 Download PDF

Info

Publication number
JP2023156267A
JP2023156267A JP2023065211A JP2023065211A JP2023156267A JP 2023156267 A JP2023156267 A JP 2023156267A JP 2023065211 A JP2023065211 A JP 2023065211A JP 2023065211 A JP2023065211 A JP 2023065211A JP 2023156267 A JP2023156267 A JP 2023156267A
Authority
JP
Japan
Prior art keywords
data
noise
training
information processing
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023065211A
Other languages
English (en)
Inventor
リュウ ユジエ
Yujie Lu
ツァイ リヤン
Liang Cai
シア ティン
Ting Xia
ジョウ ジエン
Jian Zhou
ユウ ジョウ
Zhou Yu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Publication of JP2023156267A publication Critical patent/JP2023156267A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/12Arrangements for detecting or locating foreign bodies
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5258Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/09Supervised learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/008Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30052Implant; Prosthesis

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Primary Health Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Pulmonology (AREA)
  • Geometry (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

【課題】高品質なノイズ低減処理モデルを容易に取得すること。【解決手段】実施形態に係る情報処理方法は、医用画像診断装置により実行されるイメージングによって取得される情報を処理するための情報処理方法であって、第1の平面における第1の断面積を有する埋め込まれた3次元特徴を有する少なくとも1つの3次元物体を含むトレーニング画像ボリュームを取得するステップと、第2の平面における前記3次元特徴の前記第1の断面積よりも大きい第2の断面積を選択するステップと、前記トレーニング画像ボリュームから生成された前記第2の断面積の画像を用いてニューラルネットワークをトレーニングするステップと、を含む。【選択図】図4J

Description

本明細書及び図面に開示の実施形態は、情報処理方法及び情報処理装置に関する。
医用画像診断装置によって被検体から取得される医用画像には、様々な要因によるノイズが含まれることがある。近年、このようなノイズを低減するためのノイズ低減方法の1つとして、機械学習に基づくノイズ低減処理モデルが提案されている。しかし、ノイズ低減処理モデルを得るためには、機械学習に使用するトレーニングデータ(訓練データ、教師データ)を用意する必要がある。トレーニングデータは、関心領域特有のトレーニングデータおよびスケールリングされた密度依存トレーニングデータのうちの少なくとも1つを使用して選択することができる。
米国特許出願公開第2020/0090326号明細書
本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、CTスキャン中において、ピンホールコリメータを用いずに、X線管の焦点位置に関する情報を特定することである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。
実施形態に係る情報処理方法は、医用画像診断装置により実行されるイメージングによって取得される情報を処理するための情報処理方法であって、第1の平面における第1の断面積を有する埋め込まれた3次元特徴を有する少なくとも1つの3次元物体を含むトレーニング画像ボリュームを取得するステップと、第2の平面における前記3次元特徴の前記第1の断面積よりも大きい第2の断面積を選択するステップと、前記トレーニング画像ボリュームから生成された前記第2の断面積の画像を用いてニューラルネットワークをトレーニングするステップと、を含む。
図1Aは、例示的な実施形態に係る、被検体としての人物を撮像するX線CT装置の例示的な構成のブロック図である。 図1Bは、例示的な実施形態に係る、円筒ファントムを撮像するX線CT装置の例示的な構成のブロック図である。 図2は、X線CT装置によって実行される例示的なプロセスを示す図である。 図3Aは、例示的な実施形態に係る、ノイズデータを生成する第1の例示的なプロセスを示す図である。 図3Bは、例示的な実施形態に係る、ノイズデータを生成する第2の例示的なプロセスを示す図である。 図3Cは、例示的な実施形態に係る、ノイズデータを生成する第3の例示的なプロセスを示す図である。 図4Aは、例示的な実施形態に係る、トレーニングプロセスを示す図である。 図4Bは、例示的な実施形態に係る、トレーニングプロセスを示す図である。 図4Cは、例示的な実施形態に係る、トレーニングプロセスを示す図である。 図4Dは、医用画像トレーニングプロセスに使用するためのターゲットトレーニングデータを置き換えるプロセスを示す図である。 図4Eは、医用画像トレーニングプロセスに使用するためのターゲットトレーニングデータを補完するプロセスを示す図である。 図4Fは、医用画像トレーニングプロセスに使用するためのターゲットトレーニングデータから入力トレーニングデータを生成するプロセスを示す図である。 図4Gは、ハウンズフィールドユニット(Houndsfield Unit:HU)スケールに基づく初期心臓トレーニングデータのヒストグラムを示す図である。 図4Hは、初期(心臓)トレーニングデータの代わりに、またはそれに加えて、HUシフティングによって生成されるハウンズフィールドユニット(HU)スケールに基づく補完(心臓)トレーニングデータを含むトレーニングデータを示す図である。 図4Iは、初期(心臓)トレーニングデータの代わりに、またはそれに加えて、HUスケーリングによって生成されるハウンズフィールドユニット(HU)スケールに基づく補足(心臓)トレーニングデータを含むトレーニングデータを示す図である。 図4Jは、初期(心臓)トレーニングデータの代わりに、またはそれに加えて、HUスケーリングおよびシフティングによって生成されるハウンズフィールドユニット(HU)スケールに基づく補完(心臓)トレーニングデータを含むトレーニングデータを示す図である。 図5Aは、例示的な実施形態に係る、トレーニングプロセスを示す図である。 図5Bは、例示的な実施形態に係る、トレーニングプロセスを示す図である。 図5Cは、例示的な実施形態に係る、トレーニングプロセスを示す図である。 図5Dは、例示的な実施形態に係る、トレーニングプロセスを示す図である。 図6Aは、例示的な実施形態に係る、ノイズ低減プロセスを示す図である。 図6Bは、例示的な実施形態に係る、ノイズ低減プロセスを示す図である。 図7は、例示的な実施形態に係る、X線CT装置のプロセスを示す。 図8は、第2の実施形態に係る情報処理システムの構成の一例を示すブロック図である。
以下、添付図面を参照して、情報処理方法及び情報処理装置の実施形態を詳細に説明する。
本実施形態では、医用画像診断モダリティの一例として、X線CTについて説明する。すなわち、本実施形態では、X線CTにより実行されるイメージングによって取得される情報を処理するための情報処理方法について説明する。
X線CTは、例えば、図1Aに示すX線CT装置10で実現される。図1Aは、第1の実施形態に係る、X線CT装置10の構成の一例を示すブロック図である。例えば、X線CT装置10は、架台110、寝台130、およびコンソール140を有する。
図1Aでは、非傾斜状態における寝台130の回転フレーム113または天板133の回転軸の長手方向が、Z軸方向であると仮定している。さらに、Z軸方向と直交し、床面に水平な軸方向が、X軸方向であると仮定している。さらに、Z軸方向と直交し、床面に垂直な軸方向が、Y軸方向であると仮定している。なお、図1Aは、説明の便宜上、架台110が複数の方向から描かれており、X線CT装置10は1つの架台110を有する。
架台110は、X線管111、X線検出器112、回転フレーム113、X線高電圧デバイス114、制御装置115、ウェッジ116、コリメータ117、およびデータ取得システム(Data Acquisition System:DAS)118を含む。
X線管111は、熱電子を発生する陰極(フィラメント)、および熱電子の衝突に応答してX線を発生する陽極(ターゲット)を有する真空管である。X線管111は、X線高電圧デバイス114からの高電圧の印加により陰極から陽極に向けて熱電子を照射し、それによって、被検体Pに照射するX線を発生させる。
X線検出器112は、X線管111から照射され、被検体Pを通過したX線を検出し、検出されたX線の線量に相当する信号をDAS118に出力する。X線検出器112は、例えば、X線管111の焦点を中心とした1つの円弧に沿ってチャネル方向(チャネル方向)に複数の検出素子が配列された複数の検出素子アレイを含む。X線検出器112は、例えば、チャネル方向に検出素子が配列された検出素子アレイが、列方向(スライス方向および列方向)に配列された構造を有する。
例えば、X線検出器112は、グリッド、シンチレータアレイ、および光センサアレイを有する間接変換型の検出器である。シンチレータアレイは、複数のシンチレータを有する。シンチレータのそれぞれは、入射X線量に対応する光子量の光を出力するシンチレータ結晶を有する。グリッドは、シンチレータアレイのX線入射側の面に配置され、散乱X線を吸収するX線遮蔽板を有する。グリッドは、コリメータ(1次元コリメータ、または2次元コリメータ)とも呼ばれることがある。光センサアレイは、シンチレータからの光量に対応する電気信号に変換する機能を有し、例えば、フォトダイオードなどの光センサを有する。なお、X線検出器112は、入射したX線を電気信号に変換する半導体素子を有する直接変換型の検出器であってもよい。
回転フレーム113は、X線管111とX線検出器112とを互いに向き合うように支持し、制御装置115によってX線管111とX線検出器112とを回転させる円環状のフレームである。例えば、回転フレーム113は、アルミニウム製の鋳物である。なお、回転フレーム113は、X線管111およびX線検出器112に加えて、X線高電圧デバイス114、ウェッジ116、コリメータ117、DAS118などをさらに支持することができる。さらに、回転フレーム113は、図1aに示されていない様々な構成をさらに支持することができる。以下、架台110において、回転フレーム113、および回転フレーム113と共に回転移動する部分は、回転部分とも呼ばれる。
X線高電圧デバイス114は、変圧器および整流器などの電気回路を有し、X線管111に印加する高電圧を発生する高電圧発生デバイス、およびX線管111が発生するX線に対応する出力電圧を制御するX線制御装置を有する。高電圧発生デバイスは、変圧器式のデバイス、またはインバータ式のデバイスであってもよい。なお、X線高電圧デバイス114は、回転フレーム113に設けられてもよいし、固定フレーム(図示せず)に設けられてもよい。
制御装置115は、中央処理装置(Central Processing Unit:CPU)などを有する処理回路と、モータおよびアクチュエータなどの駆動機構とを有する。制御装置115は、入力インタフェース143からの入力信号を受け取り、架台110および寝台130の動作を制御する。例えば、制御装置115は、回転フレーム113の回転、架台110のチルト、寝台130の動作などを制御する。一例として、制御装置115は、架台110をチルトさせる制御として、入力された傾斜角度(チルト角度)情報に基づいて、X軸方向に平行な軸を中心に回転フレーム113を回転させる。なお、制御装置115は架台110に設けられてもよいし、コンソール140に設けられてもよい。
ウェッジ116は、X線管111から照射されたX線量を調整するためのX線フィルタである。具体的には、ウェッジ116は、X線管111から被検体Pへ照射されるX線が所定の分布を有するように、X線管111から照射されたX線を減衰させるX線フィルタである。例えば、ウェッジ116は、ウェッジフィルタまたはボウタイフィルタであり、所定のターゲット角度および所定の厚みとなるようにアルミニウムなどを加工することによって製造される。
コリメータ117は、ウェッジ116を透過したX線の照射範囲を絞り込むための鉛板などであり、複数の鉛板などの組み合わせによってスリットを形成する。なお、コリメータ117は、X線絞りと呼ばれることもある。さらに、図1Aでは、X線管111とコリメータ117との間にウェッジ116が配置されている場合を示したが、X線管111とウェッジ116との間にコリメータ117が配置されてもよい。このような場合、ウェッジ116は、X線管111から照射され、コリメータ117によって照射範囲が制限されたX線を、そこを通過させることによって減衰させる。
DAS118は、X線検出器112に含まれる各検出素子によって検出されたX線信号を取得する。例えば、DAS118は、各検出素子から出力される電気信号に対して増幅プロセスを実行する増幅器と、電気信号をデジタル信号に変換して検出データを生成するA/D変換器とを有する。DAS118は、例えば、プロセッサによって実現される。
DAS118によって生成されたデータは回転フレーム113に設けられた発光ダイオード(LED)を有する送信機から、架台110の非回転部分(例えば、固定フレームなど、図1Aでは図示せず)に設けられたフォトダイオードを有する受信機に光通信によって送信され、コンソール140に送信される。非回転部分は、例えば、回転フレーム113を回転可能に支持する固定フレームなどである。なお、回転フレーム113から架台110の非回転部分へのデータ送信方法は、光通信に限らず、非接触型の任意のデータ送信方法、または接触型のデータ送信方法を採用してもよい。
寝台130は、スキャンする被検体Pを載置して移動させるデバイスであり、台座131、寝台駆動デバイス132、天板133、および支持フレーム134を含む。台座131は、支持フレーム134を上下方向に移動可能なように支持するケーシングである。寝台駆動デバイス132は、被検体Pが載置される天板133を、天板133の長軸方向に移動させる駆動機構であり、モータ、アクチュエータなどを含む。支持フレーム134の上面に設けられた天板133は、被検体Pが載置される板である。なお、寝台駆動デバイス132はまた、天板133に加えて、支持フレーム134を天板133の長軸方向に移動させてもよい。
コンソール140は、メモリ141、ディスプレイ142、入力インタフェース143、および処理回路144を有する。コンソール140は、架台110とは別体として説明されているが、架台110は、コンソール140、またはコンソール140の各構成要素の一部を含んでいてもよい。
メモリ141は、例えば、ランダムアクセスメモリ(Random Access Memory:RAM)およびフラッシュメモリなどの半導体メモリ素子、ハードディスク、光ディスクなどによって実現される。例えば、メモリ141は、X線CT装置10に含まれる回路にその機能を実行させるためのコンピュータプログラムを記憶する。さらに、メモリ141は、被検体Pを撮像することによって取得された様々な情報を記憶する。さらに、メモリ141は、以下で説明する処理回路144によって生成されたノイズ低減処理モデルを記憶する。なお、メモリ141は、X線CT装置10とネットワークを介して接続されたサーバ群(クラウド)によって実現されてもよい。
ディスプレイ142は、様々な情報を表示する。例えば、ディスプレイ142は、以下で説明するノイズ除去されたデータに基づく画像を表示する。さらに、例えば、ディスプレイ142は、入力インタフェース143を介して、ユーザからの様々な指示、設定などを受け付けるためのグラフィカルユーザインタフェース(Graphical User Interface:GUI)を表示する。例えば、ディスプレイ142は、液晶ディスプレイまたはブラウン管(Cathode Ray Tube:CRT)ディスプレイである。ディスプレイ142は、デスクトップ型のディスプレイであってもよいし、X線CT装置10の本体と無線通信可能なタブレット端末などから構成されてもよい。
図1Aでは、X線CT装置10がディスプレイ142を含むものとして説明しているが、X線CT装置10は、ディスプレイ142の代わりに、またはそれに加えて、プロジェクタを含んでもよい。処理回路144の制御のもと、プロジェクタは、スクリーン、壁、床、被検体Pの体表面上などへの投影を行うことができる。一例として、プロジェクタはまた、プロジェクションマッピングによって、任意の平面、物体、空間などへの投影を行うこともできる。
入力インタフェース143は、ユーザからの様々な入力操作を受け付け、受け付けた入力操作を電気信号に変換し、その電気信号を処理回路144に出力する。例えば、入力インタフェース143は、マウス、キーボード、トラックボール、スイッチ、ボタン、ジョイスティック、操作面に触れることによって入力操作を行うタッチパッド、表示画面とタッチパッドが一体となったタッチスクリーン、光センサを使用した非接触入力回路、音声入力回路などによって実現される。なお、入力インタフェース143は、X線CT装置10の本体と無線通信可能なタブレット端末などから構成されてもよい。さらに、入力インタフェース143は、モーションキャプチャによってユーザからの入力操作を受け付ける回路であってもよい。一例として、入力インタフェース143は、トラッカーを介して取得した信号、またはユーザについて収集した画像を処理することによって、ユーザの体動、視線などを入力操作として受け付けることができる。さらに、入力インタフェース143は、マウスおよびキーボードなどの物理的な操作部品を含むものに限定されない。例えば、X線CT装置10とは別に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、電気信号を処理回路144へ出力する電気信号の処理回路も、入力インタフェース143の例に含まれる。
処理回路144は、制御機能144a、イメージング機能144b、取得機能144c、モデル生成機能144d、ノイズ低減処理機能144e、および出力機能144fを実行することによって、X線CT装置10の全体の動作を制御する。
例えば、処理回路144は、制御機能144aに対応するコンピュータプログラムをメモリ141から読み出し、読み出したコンピュータプログラムを実行することによって、入力インタフェース143を介してユーザから受け付けた様々な入力操作に基づいて、イメージング機能144b、取得機能144c、モデル生成機能144d、ノイズ低減処理機能144e、および出力機能144fなどの様々な機能を制御する。
さらに、例えば、処理回路144は、イメージング機能144bに対応するコンピュータプログラムをメモリ141から読み出し、読み出したコンピュータプログラムを実行することによって、被検体Pを撮像する。例えば、イメージング機能144bは、X線高電圧デバイス114を制御して、X線管111に高電圧を供給する。これにより、X線管111は、被検体Pに照射されるX線を発生する。さらに、イメージング機能144bは、寝台駆動デバイス132を制御して、被検体Pを架台110のイメージングポート内へ移動させる。さらに、イメージング機能144bは、ウェッジ116の位置、ならびに、コリメータ117の開口度および位置を調整することによって、被検体Pに照射されるX線の分布を制御する。さらに、イメージング機能144bは、制御装置115を制御して回転部分を回転させる。さらに、イメージング機能144bによってイメージングが行われる間、DAS118は、X線検出器112における各検出素子からX線信号を取得し、検出データを生成する。
さらに、イメージング機能144bは、DAS118から出力された検出データに対して前処理を実行する。例えば、イメージング機能144bは、DAS118から出力された検出データに対して、対数変換処理、オフセット補正処理、チャネル間の感度補正処理、およびビームハードニング補正などの前処理を実行する。なお、前処理を施したデータは、生データとも記載される。さらに、前処理前の検出データおよび前処理を施した生データは集合的に、投影データとも記載される。
さらに、例えば、処理回路144は、取得機能144cに対応するコンピュータプログラムをメモリ141から読み出し、読み出したコンピュータプログラムを実行することによって、被検体Pのイメージングに基づくノイズデータを取得し、被検体Pのイメージングによって得られた第1の被検体投影データに基づき、ノイズデータと組み合わせた合成被検体データを取得する。さらに、例えば、処理回路144は、モデル生成機能144dに対応するコンピュータプログラムをメモリ141から読み出し、読み出したコンピュータプログラムを実行することによって、合成被検体データおよび被検体Pのイメージングによって得られた被検体投影データを使用して機械学習によりノイズ低減処理モデルを得る。さらに、例えば、処理回路144は、ノイズ低減処理機能144eに対応するコンピュータプログラムをメモリ141から読み出し、読み出したコンピュータプログラムを実行することによって、ノイズ低減処理モデルにより入力被検体データのノイズを低減し、ノイズ除去されたデータを得る。さらに、例えば、処理回路144は、出力機能144fに対応するコンピュータプログラムをメモリ141から読み出し、読み出したコンピュータプログラムを実行することによって、ノイズ除去されたデータに基づく画像を出力する。取得機能144c、モデル生成機能144d、ノイズ低減処理機能144e、および出力機能144fによって実行される処理の詳細については、以下で説明する。
図1Aに示すX線CT装置10では、それぞれの処理機能は、コンピュータによって実行可能なコンピュータプログラムの形態でメモリ141に記憶されている。処理回路144は、メモリ141からコンピュータプログラムを読み出して実行することによって、各コンピュータプログラムに対応する機能を実行するプロセッサである。換言すれば、コンピュータプログラムを読み込んだ処理回路144は、読み込んだコンピュータプログラムに対応する機能を有する。
なお、図1Aでは、制御機能144a、イメージング機能144b、取得機能144c、モデル生成機能144d、ノイズ低減処理機能144e、および出力機能144fが、単一の処理回路144によって実現されると説明したが、処理回路144は、複数の独立したプロセッサを組み合わせることによって構成されてもよく、各プロセッサが各コンピュータプログラムを実行することによって各機能を実現するように構成されてもよい。さらに、処理回路144の各処理機能は、単一の回路または複数の処理回路に、適切に分散または統合されることによって実行されてもよい。
さらに、処理回路144は、ネットワークを介して接続された外部デバイスのプロセッサを使用することによって機能を実行してもよい。例えば、処理回路144は、各機能に対応するコンピュータプログラムをメモリ141から読み出して実行し、ネットワークを介してX線CT装置10に接続されたサーバ群(クラウド)を計算資源として使用することによって、図1Aに示す各機能を実行する。
さらに、図1Aでは単一のメモリ141のみを示しているが、X線CT装置10は、物理的に分離された複数のメモリを含んでもよい。例えば、X線CT装置10は、メモリ141として、X線CT装置10に含まれる回路がその機能を実行する際に必要であるコンピュータプログラムを記憶するメモリ、被検体Pを撮像することによって取得された様々な情報を記憶するメモリ、およびノイズ低減処理モデルを記憶するメモリを別々に含んでもよい。
さらに、図1Bは、図1AのX線CT装置10を示すが、被検体として機能する人ではなく、ファントム(例えば、円筒ファントム)を撮像するものである。円筒を図示したが、代わりに長方形または正方形などの他の立体構造でもよい。一実施形態では、ファントムは水ベースのファントムであるが、異なるイメージングコンテキストでは他の材料が使用されることがある。材料は、実質的に均一な低線量X線の透過率に基づいて選択されうる。そのため、いかなるばらつきもノイズによるものである。
これまで、X線CT装置10の構成例について説明した。このような構成のもと、X線CT装置10内の処理回路144は、後述する以下の処理によって高品質なノイズ低減処理モデルを容易に取得することができると考えられる。
まず、被検体Pのイメージングから画像の出力までの一連のプロセスについて、図2を参照しながら説明する。図2は、X線CT装置10によるプロセスの一例を示す図である。図2に示すように、X線CT装置10によるプロセスは、再構成プロセスと、トレーニングプロセスとに大別される。
例えば、再構成プロセスでは、イメージング機能144bが被検体Pをイメージングすることによって、投影データを得る。次に、ノイズ低減処理機能144eが投影データに対して再構成処理を実行することによって、再構成画像(CT画像データ)を生成する。例えば、ノイズ低減処理機能144eは、投影データに対して、フィルタ逆投影(Filtered Back-Projection:FBP)法、逐次近似再構成法、逐次近似適用再構成法などを使用して再構成処理を実行することによって、再構成画像を生成する。さらに、ノイズ低減処理機能144eは、機械学習法による再構成処理を実行することによって、再構成画像を生成することもできる。例えば、ノイズ低減処理機能144eは、深層学習再構成(Deep Learning Reconstruction:DLR)法によって再構成画像を生成する。
再構成画像には、様々な要因によるノイズが含まれることがある。例えば、投影データを取得するために使用されるX線の線量が多いほど再構成画像の画質は向上するが、被検体Pの被曝量を低減する観点から、X線の線量を抑えることが好ましい。そうすると、低線量のX線を使用して投影データを取得した場合、再構成画像にノイズが含まれることがある。さらに、逐次近似再構成法などの高精度な再構成法は、一般に計算負荷が高く、例えば、再構成画像を素早く取得したい場合には、別の低精度な再構成法が選択される。そして、低精度な再構成法を使用した場合、再構成画像にノイズが含まれることがある。
この点に関して、ノイズ低減処理機能144eは、図2に示すように、再構成画像に対してノイズ低減処理を実行する。例えば、ノイズ低減処理機能144eは、トレーニングデータを使用してトレーニング(訓練)したノイズ低減処理モデルによって、再構成画像に対してノイズ低減処理を実行する。これにより、出力機能144fは、ノイズが低減された再構成画像に基づく画像を出力することができる。例えば、出力機能144fは、ノイズが低減された再構成画像に基づいて表示画像を生成し、ディスプレイ142に表示画像を表示させる。なお、トレーニングデータを使用してノイズ低減処理モデルをトレーニングすることは、トレーニングデータを使用してノイズ低減処理モデルに学習させることと同義である。
以下の説明では、一例として、図2に示す深層畳み込みニューラルネットワーク(Deep Convolution Neural Network:DCNN)によってノイズ低減処理モデルを構成する。例えば、モデル生成機能144dは、再構成プロセスの前にトレーニングプロセスを実行することによって、入力データのノイズを低減するように機能化されたDCNNをノイズ低減処理モデルとして生成する。さらに、生成されたDCNNは、例えばメモリ141に記憶され、ノイズ低減処理機能144eは、そのDCNNを適切に読み出して使用することができる。
図2のトレーニングデータは、例えば、(a)実質的にノイズを含まないクリーンデータと、(b)ノイズを含むノイジーなデータとの対で構成される。例えば、クリーンデータは高線量のX線を使用して取得した再構成画像であり、ノイジーなデータは低線量のX線を使用して取得した再構成画像である。あるいは、ノイジーなデータは、ノイズシミュレータによって生成したシミュレーション画像であってもよい。例えば、ノイズシミュレータは、クリーンデータの入力を受け付けてノイズをシミュレートすることによって、ノイズが追加されたノイジーなデータを生成する。このような場合、ノイズ低減処理機能144eは、ノイジーなデータを入力とし、クリーンデータをターゲットとする深層学習によって、DCNNをトレーニングすることができる。なお、クリーンデータをターゲットとしたトレーニング方法は、noise-to-clean(N2C)とも表現される。
他の例として、図2のトレーニングデータは、ノイズを含む第1のノイジーなデータと、第1のノイジーなデータのノイズから独立した他のノイズを含む第2のノイジーなデータとの対で構成されている。この2つのノイジーなデータは、例えばノイズシミュレータによって生成することができる。このような場合、ノイズ低減処理機能144eは、一方のノイジーなデータを入力とし、他方のノイジーなデータをターゲットとする深層学習によって、DCNNをトレーニングすることができる。なお、ノイジーなデータをターゲットとしたトレーニング方法は、noise-to-noise(N2N)とも表現される。
しかし、DCNNをトレーニングするために必要な数のクリーンデータを取得することは容易ではない。これは、臨床現場で高線量イメージングを行う機会があまりないためである。さらに、高線量イメージングを行う機会が特に少ないイメージング条件およびイメージング部位がある。例えば、目および骨髄などX線の影響を受けやすい部位には、高線量イメージングはほとんど行われない。さらに、高線量イメージングを行った場合でも、ノイズが発生することがある。
さらに、ノイジーなデータをシミュレーションで用意するのは容易ではない。すなわち、複雑なモデルを使用しない限り、適切なノイズのシミュレーションを行うことができず、正確にモデル化することが難しいイメージング条件、イメージング部位などがある。また、ノイズのシミュレーションを適切に行わない限り、DCNNの精度も低下することがある。
特に、複数の独立したノイズデータのセットをシミュレーションすることは困難である。例えば、クリーンデータに基づいてノイズをシミュレーションする場合、クリーンデータにはノイズが含まれていてもよい。クリーンデータに含まれるノイズは、独立したノイズデータのセットをシミュレーションする際の障害としての機能を果たす。さらに、近年では超低線量イメージングを行う場合もあるが、超低線量イメージングの際に発生するノイズをシミュレーションすることは特に困難である。
すなわち、noise-to-cleanトレーニング方法およびnoise-to-noiseトレーニング方法のいずれかを採用する場合でも、トレーニングデータの用意およびDCNNの適切なトレーニングにおいて困難が生じる。この点に関して、処理回路144は、以下で説明するプロセスによってトレーニングデータを取得し、高品質なDCNNを取得することができる。具体的には、第1の実施形態では、処理回路144は、ノイズ生成のために取得される被検体(被検体は人)のデータに基づいてノイズデータを取得し、第1の被検体投影データとノイズデータとに基づいて合成被検体データを取得し、合成被検体データと第2の被検体投影データを使用して深層学習を行うことによって、DCNNを取得する。なお、取得機能144cは、被検体として機能する均一なファントムを撮像することによって、ファントムの再構成画像のばらつきがノイズに相当するようなノイズデータを得てもよい。
まず、図3Aを参照して、ノイズ生成のために取得したデータに基づくノイズデータ取得プロセスについて説明する。図3Aは、第1の実施形態に係る、ノイズデータを説明するための図である。図3Aでは、ノイズ生成のために被検体から取得されるデータの一例として、投影データY1について説明する。投影データY1は、例えば、X線CT装置10により実行されるイメージングによって得られる。
ここで、投影データY1の取得に使用されるX線の線量、投影データY1のノイズレベルなどは特に限定されない。例えば、イメージング機能144bは、低線量のX線を使用して被検体P11を撮像することによって、投影データY1を取得する。なお、被検体P11は被検体P1の一例である。例えば、図3に示すように、投影データY1は、X線検出器112のチャネル方向を横軸として設定し、ビュー(X線照射角度)を縦軸として設定するサイノグラムとして示すことができる。
例えば、取得機能144cは、投影データY1をサンプリングすることによって、投影データY11および投影データY12を取得する。一例として、取得機能144cは、投影データY1におけるの奇数ビューのデータをサンプリングすることによって投影データY11を取得し、投影データY1における偶数ビューのデータをサンプリングすることによって投影データY12を取得する。すなわち、取得機能144cは、投影データY1におけるビューごとに、投影データY11と投影データY12を交互にサンプリングする。投影データY11および投影データY12は、第1のサブセットおよび第2のサブセットの一例である。投影データY11および投影データY12は、投影データY1の半分に相当するビュー数を有するデータである。
なお、投影データY1のサンプリングは、様々に変更することができる。例えば、取得機能144cは、投影データY1における複数のビューごとに、投影データY11と投影データY12を交互にサンプリングしてもよい。さらに、例えば、取得機能144cは、投影データY1の乱数ビューごとに、投影データY11と投影データY12を交互にサンプリングしてもよい。
さらに、取得機能144cは、投影データY1の全てのビューをサンプリングしてもよいし、投影データY1の一部のビューをサンプリングしてもよい。例えば、投影データY1が「360°」のフルデータである場合、取得機能144cは、ハーフ再構成を実行することができる範囲内でサンプリングを行ってもよい。一例として、ファン角が「30°」である場合、取得機能144cは、「360°」の投影データY1における任意のビューを起点として「210°」のビューを抽出し、「210°」のビューから投影データY11および投影データY12をサンプリングすることができる。ここで、取得機能144cは、「210゜」のビューを抽出するための起点をシフトすることによって、複数の「210゜」のビューを抽出することができる。すなわち、取得機能144cは、投影データY1から、投影データY11と投影データY12との対を複数取得することができる。
次に、取得機能144cは、投影データY11および投影データY12のそれぞれに対して再構成処理を実行することによって、再構成画像X11および再構成画像X12を取得する。例えば、取得機能144cは、FBP法による再構成処理を実行することによって、再構成画像X11および再構成画像X12を取得する。なお、再構成画像X11および再構成画像X12は、第1の再構成画像および第2の再構成画像の一例である。
次に、取得機能144cは、再構成画像X11および再構成画像X12に基づいて、ノイズデータEを取得する。ノイズデータEは、例えば、画像空間内の各位置におけるノイズ強度を示すデータである。すなわち、ノイズデータEは、SD値のような単なる数値ではなく、ノイズの空間分布を示すデータである。
例えば、取得機能144cは、再構成画像X11と再構成画像X12との差分処理を実行することによってノイズデータEを取得する。例えば、取得機能144cは、再構成画像X11と再構成画像X12との間で、対応する画素間の画素値の差を画素ごとに計算することによって、ノイズデータEを取得する。
ここで、投影データY11および投影データY12は、同じ物体から得られたデータであり、オーバーラップが生じないようにサンプリングされたデータである。したがって、投影データY11および投影データY12に基づく再構成画像X11および再構成画像X12は、互いに独立したノイズを有している。例えば、再構成画像X11および再構成画像X12は、投影データY1の取得に使用した線量の半分に相当する線量でイメージングを行った場合と同じノイズレベルを有する。なお、オーバーラップが生じないように厳密にサンプリングを制御する必要はなく、1つのビューのみのオーバーラップなど、わずかなオーバーラップを許容してもよい。
なお、ノイズデータEは、様々な画像アーチファクトをノイズとして含むこともできる。すなわち、再構成画像X11および再構成画像X12に画像アーチファクトが含まれている場合、ノイズデータEは、ノイズとして画像アーチファクトを含む。このようなノイズデータEをトレーニングに使用する場合、以下で説明するDCNNは、画像アーチファクトを含む様々なノイズを低減するように機能化されている。
一例として、取得機能144cは、Ei=α(x1-x2)の計算式によって、ノイズデータEを取得することができる。Eiは、位置iにおけるノイズデータEの画素値を示す。さらに、x1は、位置iにおける再構成画像X11の画素値を示す。さらに、x2は、位置iにおける再構成画像X12の画素値を示す。
さらに、αは、ノイズレベルを調整するためのパラメータを示す。すなわち、取得機能144cは、αの値を調整することによって、ノイズレベルを調整した様々なノイズデータEを生成することができる。例えば、αが「0.5」より大きな値に設定されている場合、ノイズデータEは、投影データY1を取得するために使用した線量より小さい線量でイメージングを行った場合に生じるノイズを示す。取得機能144cは、αを固定値に設定してもよいし、αの値を変更してもよい。αの値を変更する場合、取得機能144cは、αの値ごとにノイズデータEを取得することができる。
上述したように、取得機能144cは、X線CT装置10により実行されるイメージングによって被検体P11から得られた投影データY1に基づいて、ノイズデータEを取得する。同様に、取得機能144cは、複数の投影データに基づいて、複数のノイズデータを取得する。例えば、図4Aに示すように、取得機能144cは、投影データYk-1、投影データY、および投影データYk+1などの複数の投影データのそれぞれに対してノイズ抽出処理を実行し、抽出したノイズデータをノイズプール141aに記憶させる。なお、ノイズプール141aは、メモリ141の一例である。さらに、図4Aは、第1の実施形態に係る、トレーニングプロセスを説明するための図である。
ノイズプール141aからのノイズデータを使用するためのトレーニングプロセスの一例として、取得機能144cは、投影データYk-1、投影データY、および投影データYk+1などの投影データのそれぞれに対してノイズ分布を示すボリュームデータを生成し、ボリュームデータを分割することによって得られる複数の2次元データをノイズデータとして画像プール141bに記憶させる。あるいは、取得機能144cは、投影データYk-1、投影データY、および投影データYk+1などの投影データのそれぞれに対してノイズ分布を示すボリュームデータを生成し、そのボリュームデータをノイズデータとして画像プール141bに記憶させる。すなわち、ノイズデータは、3次元データとして管理されてもよいし、2次元データとして管理されてもよい。
ここで、図4Aに示す投影データYk-1、投影データY、および投影データYk+1は、ノイズ生成のために被検体から取得したデータの一例である。投影データYk-1、投影データY、および投影データYk+1は、被検体P11から取得したデータであってもよいし、被検体P11以外の被検体から取得したデータであってもよい。さらに、投影データYk-1、投影データY、および投影データYk+1は、X線CT装置10により実行されるイメージングによって得られるデータであってもよいし、X線CT装置10とは異なるX線CT装置により実行されるイメージングによって得られるデータであってもよい。ノイズ生成のために被検体から取得されるデータは、低線量イメージングによって得られるデータであってもよいので、比較的容易に取得することができる。
ここで、取得機能144cは、様々な方法により、ノイズプール141aに記憶されるノイズデータの数を増加させることもできる。例えば、取得機能144cは、ノイズデータを生成する際に実行される再構成法を変更することによって、複数のノイズデータを生成することができる。さらに、例えば、取得機能144cは、ノイズデータを「90゜」ずつ回転させることによって、4通りのノイズデータを取得することができる。これにより、取得機能144cは、より多様なノイズデータを取得することができる。取得機能144cは、ノイズプール141aに記憶されるノイズデータの数を、以下で説明する画像プール141bに記憶される第1の被検体投影データの数と同じになるように調整してもよい。
図3Bに示すように、ノイズデータの代わりに(または加えて)、ファントムを撮像することによって得られたイメージングデータを取得することによって(例えば、図1Bの構成を使用して)、ノイズデータを生成してもよい。図3Bに示すように、図3Aと一部並行する処理により、投影データから画像を生成する。図3Bは、被検体として機能する人ではなく、円筒ファントムのイメージングを示しているが、ファントムは、代わりに、長方形または正方形などの他の固体構造であってもよい。一実施形態では、ファントムは水ベースのファントムであるが、異なるイメージングコンテキストでは他の材料が使用されることがある。材料は、実質的に均一な低線量X線の透過率に基づいて選択され得る。そのため、いかなるばらつきもノイズによるものである。図3Bに示すように、投影データの第1のセット(イメージングデータの正方形のブロックに円を有するように図示されている)を使用して、第1の再構成画像を生成することができ、この再構成画像は、その後、互いに独立しているために、ノイズプール141aに追加されるノイズ画像として使用できる、より小さな再構成画像またはパッチに分割される。図3Bはまた、第2および第3の再構成画像を生成するために使用され、その後、互いに独立したより小さな再構成画像またはパッチに分割され、したがってノイズ画像として使用することができる、投影データの第2および第3のセットを示している。投影データは、3セット使用するように説明しているが、何セットでも作成することができ、また、投影データを得る条件を変化させて、得られるノイズ画像を追加するデータに、より厳密に適合させることができる。
図3Cに示す一実施形態では、再構成されたノイズ画像のパッチは、さらに、パッチ単位で追加のランダムスケーリング(例えば、0.1から1の間)を受けて、得られるノイズをより多様化させることができる。図3Cに示すように、再構成された画像パッチは、特定のランダム値がパッチに適用されたことを表す様々なグレーの色合いであることが示されている。例えば、非常に明るいパッチでは、各画素がその元の値の0.1倍になるように、0.1のスケーリングファクタが最初のノイズパッチに適用され得る。同様に、濃いグレーのパッチは、対応する元のパッチの全ての画素に0.7のスケーリングファクタが適用されていることを象徴し得る。
第1の実施形態において、スケーリングファクタのない元のパッチのみをノイズデータとして使用し、ノイズプール141aに追加してもよい。なお、スケーリングファクタが適用されたパッチをノイズデータとして使用するが、元のパッチを使用しないでもよい。また、元のパッチおよびスケーリングファクタが適用されているパッチの両方を、ノイズデータとして使用してもよい。
図4Aに示すように、ノイズプール141aは、本明細書に記載のノイズデータの種類のうちの少なくとも1つを含み、ノイズプールは、本明細書に記載のノイズデータの種類の全てを含むノイズデータの種類の任意の組み合わせを含むように構成され得る。
次に、図4Bを参照して、投影被検体データの2つの追加セットについて説明する。本明細書では、それらの被検体データのセットを、一般に第2の被検体投影データおよび第3の被検体投影データと呼ぶ。図4Bは、第1の実施形態に係る、トレーニングプロセスを説明するための図である。例えば、取得機能144cは、まず、図4Bに示す投影データYl-1、投影データY、および投影データYl+1などの複数の投影データを取得する。なお、投影データYl-1、投影データY、および投影データYl+1は、第3の被検体投影データの例である。
例えば、投影データYl-1、投影データY、および投影データYl+1は、ノイズ生成のために被検体から取得したデータ(例えば、投影データYk-1、投影データY、投影データYk+1など)とは異なるデータである。例えば、投影データYl-1、投影データY、および投影データYl+1は、ノイズ生成のために被検体から取得したデータとは異なる被検体から取得したデータ、または、同じ被検体から異なる日時に取得したデータである。換言すれば、第1の被検体投影データは、ノイズ生成のために被検体から取得したデータとは異なる被検体から取得したデータ、または、ノイズ生成のために被検体から取得したデータとは異なる日時に取得したデータである。なお、投影データYl-1、投影データY、および投影データYl+1は、ノイズ生成のために被検体から取得したデータの一部にまたは完全にオーバーラップするデータであってもよい。
さらに、投影データYl-1、投影データY、および投影データYl+1は、X線CT装置10により実行されたイメージングによって得られたデータであってもよいし、X線CT装置10とは異なるX線CT装置により実行されるイメージングによって得られるデータであってもよい。すなわち、ノイズ生成のために被検体から取得されるデータを撮像した(またはファントムをイメージングした)医用画像診断装置と同じ医用画像診断装置により実行されるイメージングによって、第1の被検体投影データを取得してもよいし、ノイズ生成のために被検体から取得されたデータを撮像した(またはファントムを撮像した)医用画像診断装置と同種であるが異なる医用画像診断装置により実行されるイメージングによって、第1の被検体投影データを取得してもよい。第1の被検体投影データは、ノイズ生成のために被検体から取得したデータ(またはファントムを撮像したデータ)と同じイメージングシステムによって取得してもよいし、異なるイメージングシステムによって取得してもよい。例えば、ノイズ生成のために被検体(またはファントム)から取得されるデータをヘリカルスキャンによって取得する場合、第1の被検体投影データを非ヘリカルスキャンで収集してもよい。
次に、取得機能144cは、投影データのそれぞれに対して、再構成処理R1および再構成処理R2を実行する。再構成処理R1と再構成処理R2とは、異なる再構成法であってもよいし、同じ再構成方法であってもよい。例えば、取得機能144cは、再構成処理R1としてFBPを実行し、再構成処理R2として逐次近似再構成法を実行する。
例えば、取得機能144cは、投影データYl-1に対して再構成処理R1を実行し、生成した再構成画像を画像プール141bに記憶させる。一例として、取得機能144cは、ボリュームデータとして生成された再構成画像を複数の2次元再構成画像に分割し、2次元再構成画像を画像プール141bに記憶させる。同様に、取得機能144cは、投影データYに対して再構成処理R1を実行し、生成した再構成画像を画像プール141bに記憶させる。同様に、取得機能144cは、投影データYl+1に対して再構成処理R1を実行し、生成した再構成画像を画像プール141bに記憶させる。再構成処理R1によって生成された再構成画像は、第1の被検体投影データの一例である。さらに、画像プール141bは、メモリ141の一例である。
さらに、取得機能144cは、投影データYl-1に対して再構成処理R2を実行し、生成した再構成画像を画像プール141cに記憶させる。一例として、取得機能144cは、再構成画像(ボリュームデータ)を複数の2次元再構成画像に分割し、2次元再構成画像を画像プール141cに記憶させる。同様に、取得機能144cは、投影データYに対して再構成処理R2を実行し、生成した再構成画像を画像プール141cに記憶させる。同様に、取得機能144cは、投影データYl+1に対して再構成処理R2を実行し、生成した再構成画像を画像プール141cに記憶させる。再構成処理R2によって生成された再構成画像は、第2の被検体投影データの一例である。すなわち、第2の被検体投影データは、第1の被検体投影データと同じ被検体をイメージングすることによって取得したデータである。さらに、画像プール141cは、メモリ141の一例である。
なお、第1の被検体投影データおよび第2の被検体投影データの再構成視野(reconstruction Field Of View:rFOV)は、固定サイズであってもよいし、サイズが変更されてもよい。例えば、取得機能144cは、1つの投影データから、rFOVが変更された複数の第1の被検体投影データを生成することもできる。これにより、取得機能144cは、第1の被検体投影データおよび第2の被検体投影データとして、より多様なデータを取得することができる。
上述したように、取得機能144cは、ノイズデータ(例えば、ノイズ生成のための被検体およびファントムのイメージングから取得したデータうちの少なくとも1つに基づく)をノイズプール141aに記憶させ、第1の被検体投影データを画像プール141bに記憶させ、第2の被検体投影データを画像プール141cに記憶させる。次に、図4Cに示すように、取得機能144cは、ノイズプール141aおよび画像プール141bからノイズデータおよび第1の被検体投影データを読み出し、第1の被検体投影データおよびノイズデータに基づいて、ノイズデータに基づくノイズが第1の被検体投影データに追加された合成被検体データを取得する。図4Cは、第1の実施形態に係る、トレーニングプロセスを説明するための図である。
例えば、取得機能144cは、ノイズデータおよび第1の被検体投影データにおいて画素ごとに画素値を合計することによって、合成被検体データを取得する。換言すれば、取得機能144cは、ノイズデータと第1の被検体投影データとを合成することによって、合成被検体データを取得する。ここで、取得機能144cは、ノイズプール141aに記憶されたノイズデータと画像プール141bに記憶された第1の被検体投影データの組み合わせごとに、合成被検体データを取得することができる。さらに、取得機能144cは、第1の被検体投影データに対してノイズデータの位置をシフトすることによって、複数の合成被検体データを取得することもできる。
なお、取得機能144cは、ノイズデータと第1の被検体投影データとを合成する際に、重みを調整してもよい。例えば、取得機能144cは、前述のパラメータαによってノイズデータのノイズレベルを調整し、第1の被検体投影データにノイズレベルを追加する。一例として、前述のノイズデータは、図3Aの再構成画像X11と再構成画像X12との差分に相当し、正規化(平均化効果)が施されている。なお、加減算は、同様の平均化効果をもたらす。取得機能144cは、合成プロセスにおいて重み付けを行うことによって、平均化効果の影響を補正することができる。他の例として、取得機能144cは、様々な種類の重み付けを行うことによって、線量を変化させた様々な合成被検体データを生成することができる。
そして、図4Cに示すように、モデル生成機能144dは、合成被検体データ、および画像プール141cから読み出した第2の被検体投影データを使用してトレーニングを行うことによって、ノイズ低減処理を実行するように機能化されたDCNNを得る。具体的には、モデル生成機能144dは、合成被検体データを入力とし、第2の被検体投影データをターゲットとした深層学習を行うことによって、DCNNを得る。なお、図4Cに示すDCNNは、ノイズ低減処理モデルの一例である。
上述したように画像データと組み合わせるノイズデータを生成することに加えて、トレーニングデータがトレーニング画像ボリューム(例えば、一連のCT投影から取得されたものから構成される)から抽出される場合、トレーニングされていないネットワークをトレーニングするために使用されるトレーニングデータを増強する、および/または置き換えることもさらに可能である。図4Dおよび図4Eは、トレーニング画像ボリューム内に含まれる3次元物体(例えば、血管)(「A」、「B」および「C」とラベル付けされた3つの側面を有する直方体として描写された)内に方向付けられた、埋め込まれた3次元特徴(例えば、ステント)を含むトレーニング画像を示す。図示された3次元平面(例えば、側面「A」に対応する)における埋め込まれた3次元特徴の第1の断面積は、他の3次元平面(例えば、側面「B」および「C」に対応する)から得られるであろう他の可能な断面と比較して、小さくてもよい。なお、3次元平面とは、例えば、3次元物体を構成する平面、または、3次元物体が有する平面を意味する。3次元特徴は、ステント、骨、病変、および再建手術用インプラントのような、トレーニング済みネットワークに含めることを所望する任意の特徴であり得る。ネットワークをトレーニングする際に含まれる特徴が多ければ多いほど、よりロバストなネットワークになる。
図4Dおよび図4Eに示すように、第1の3次元平面(第1の平面)に沿った画像スライスを表す画像に含まれるステントの断面(小さな正方形で図示された)は、トレーニングデータの元のセットに含まれている。断面は、第1の3次元平面において小さな断面積を有し、断面積が減少するにつれてネットワークをトレーニングして認識することが難しくなることが示されている。したがって、トレーニングデータを確認した後に発生する手動選択、または埋め込まれた特徴をサーチする自動プロセスのいずれかによって、断面が関心領域であるとして選択されると、少なくとも1つの代替3次元平面を使用して、画像プールに追加して元の画像と共にトレーニングすることによって、または元の画像を置き換えることによって、トレーニングのための画像を提供できるように、断面に対応する位置がトレーニング画像ボリューム内で決定される。図4Dおよび図4Eに示すように、側面Aの直方体のより小さな断面は、画像ボリュームを元の角度に対して回転させることによって見出すことができる、実質的に大きな断面を有する他の2つの側面(BおよびCとラベル付けされた)を有する。側面Aを生成した元の回転は、X、YおよびZの各方向に0度とみなし、回転表記R(0,0,0)で表される。側面Bの画像を得るために、表記R(0,90,0)で明記されるように、画像ボリュームを第1の方向90度に回転させる。(第1の方向の回転は、例えばR(180,0,0)のとき側面Aが上下逆になるように側面Aを回転させ、そのような画像もトレーニングデータに追加し得る)。側面Cの画像を得るために、表記R(0,0,90)で明記されるように、画像ボリュームを第3の方向90度に回転させる。それらの向きをトレーニングデータに使用することによって、システムは、本来は学習が困難な画像情報であろう画像の詳細を、より適切に学習することができる。上記では、埋め込まれた3次元特徴に対して、1つまたは2つの代替方向を使用することを説明したが、より多くの方向を含めることで、トレーニング後のデータ量の増加およびより高品質な画像がもたらされる。例えば、側面Bおよび側面Cの裏面は、それぞれR(0,-90,0)およびR(0,0,-90)に従って反対方向に回転させることによって見出すことができる。さらに、角度のあるビューを得ることができる(例えば、R(0,45,45)、R(0,-45,45)、R(45,45,45)、R(-45,90,180))ように、他の様々な角度を単独で、または組み合わせて使用することができる。さらに、他の画像修正(例えば、トランスレーションT()およびスケーリングS())を使用して追加のトレーニングデータを生成し、修正を一緒に適用することができる(例えば、S(R(T()))およびT(S(R())))。
図4Dは、元の断面Aを描写した元の画像を、新しい断面BおよびCのいずれか、または両方に置き換える様子を示している。図4Eは、元の画像と共に、新しい画像のいずれか、または両方を画像プールに追加する様子を描写している。
上述したように、本実施形態では、第1の平面における第1の断面積を有する埋め込まれた3次元特徴を有する少なくとも1つの3次元物体を含むトレーニング画像ボリュームを取得する。そして、第2の平面における3次元特徴の第1の断面積よりも大きい第2の断面積を選択する。例えば、3次元特徴の最大断面積を第2の断面積として選択するそして、トレーニング画像ボリュームから生成された第2の断面積の画像を用いてニューラルネットワークをトレーニングする。ここで、例えば、第1の平面は第2の平面と直交する。
図4Fは、ターゲット画像のセットを生成した後、それらに対応する入力画像を入力トレーニングデータに追加できることを示す。ターゲット画像と対になる入力画像を生成するために、様々な技術を利用することができる。一実施形態では、ターゲット画像は劣化させられる(例えば、合成ノイズを加えることによってなど、劣化関数D()に従って劣化させられることによって)。別の実施形態では、入力画像は、対応するターゲット画像と比較して、低い精度の再構成技術を使用して作成される。例えば、初期ターゲット画像が反復型再構成法を使用して再構成され得るのに対し、対応する入力画像はフィルタバックプロパゲーション(Filtered Back Propagation:FBP)を使用して作成される。そして、対応する入力画像とターゲット画像の対を使用して、ネットワークをトレーニングする際に、対応する対{(D(A),A),(D(B),B),(D(C),C)}でトレーニングすることによって、または特定の特徴に関する回転表記{(D(R(0,0,0),R(0,0,0)),(D(R(0,90,0))、R(0,90,0)),D(R(0,0,90)),R(0,0,90))}を使用して、ネットワークのロバスト性を向上させることができる。
本明細書に記載された追加のトレーニングデータを提供する他の方法に加えて、トレーニングプロセスで使用される組織密度に関連した情報(例えば、ハウンズフィールドユニット(HU)データ)をシフトおよび/またはスケーリングすることによって、トレーニングされていないネットワークのトレーニングに使用されるトレーニングデータを増強する、および/または置き換えることがさらに可能である。ここで、組織密度に関連した情報は、組織密度情報と呼ばれる。図4Gは、ハウンズフィールドユニット(HU)スケールに基づく心臓のトレーニングデータのヒストグラムを示し、トレーニングデータにおける組織の密度を示している。図4Gは、最初の患者の心臓領域における画像スライスの1つのヒストグラムを示す。心臓領域の画像スライスはそれぞれ異なり得るが、一般に単一の患者の心臓領域全体に対するHUの分布は類似している。しかし、患者によって同じ領域でもHUの範囲および分布が異なり得るため、トレーニング時にHUの分布をスケーリング、およびまたはシフトすることによって、得られるトレーニング済みネットワークをよりロバストにすることができる。CT画像のHU値は、異なる臓器、造影剤、および埋め込み金属をカバーすることができる。一般的的な範囲は、-1000から2000または3000HUである。既知のネットワークは、解剖学的構造によって必要な画像が異なるため、解剖学的構造に基づいてトレーニングおよび適用されるが、トレーニングデータは通常、臓器および造影剤の分布に起因するいくつかの特定の範囲をカバーする。本明細書で説明するように、HUのカバレッジが広く、かつ/またはHUの分布が均一なトレーニングデータにより、トレーニング済みネットワークのロバスト性を向上させることができる。さらに、HUシフト増強は、HUのカバレッジを拡張し、より均一なHUの分布を作ることができる。
様々なノイズ源を追加することによってトレーニングデータを補完することによる上述したプロセスと同様に、元のトレーニングデータセット内のHUデータを修正することによって、トレーニングデータを補完することができる。例えば、初期トレーニングデータセットを受け取った後、ヒストグラム法を使用して、対応するHUの分布を得ることができる。IMGaug(x,y)=IMG(x,y)+valshiftによってピーク間の隙間を埋めるような増強画像IMGaug(x,y)を生成することができ、このようなシフトのプロセスを表記+H()を使用して参照する。逆方向のシフトの場合、シフトプロセスを-H()と表現する。図4Hに示すように、HU範囲[-1000,2000]の全ての隙間を埋める画像-H(img)および+H(img)を生成するために、valshiftに対していくつかの値を選択することができる。
トレーニングターゲット画像が反復型再構成法のような高度な再構成アルゴリズムによるものである場合、再構成パラメータを最適化して、1つ以上の特定領域の画質を向上させることができる。例えば、骨のような高コントラスト領域は通常、低コントラスト領域(一般的には軟組織)と比較して、空間分解能が向上する。HUシフト増強は、特定のHU範囲の画質を他のHU範囲から向上させるのに役立ち得る。例えば、心臓のスキャンでは、画像に取り込まれたアキシャル断面に応じて、画像に追加の特徴(例えば、肝臓および肺)を含むことができる。HUシフト増強を画像に適用すると、肝臓および肺のHU分布が初期の心臓のHUの分布と異なっていても、HUシフト増強によってカバーされる範囲が拡張し、HUの分布がより均一になるので、3つの臓器全ての特徴を強調することができる。
上述のシフティングプロセスに加えて、トレーニングデータセットに、スケーリングされたHU値を有する画像を増強/補完することができる。HUのスケーリング増強は、IMGsca(x,y)=valsca*IMG(x,y)によって実現できる。valscaには複数の値(>1.0または<1.0)を選択することができ、図4Iに示すように、valsca>1.0のスケーリングはH()として参照され、valsca<1.0のスケーリングはH()として参照される。HUスケーリングのもう1つの利点は、valscaの値によって、画像のノイズが増幅または縮小されることである。これらのノイズを異なるレベルで追加したトレーイング済みネットワークは、より多くのノイズレベルをトレーニング時にカバーするため、ロバスト性がより高くなる。
HUシフティング増強とHUスケーリング増強の両方を適用することによって、トレーニング済みネットワークはよりロバストになり得る。図4Jは、両方の増強を適用した場合のトレーニングデータを示す。HUシフティングとHUスケーリングの両方を適用する利点は、より均一で拡張されたHUカバレッジおよびHUのカバレッジ全体で増幅または低減されたノイズを有するネットワークへのトレーニングを提供することである。HUシフティング増強およびHUスケーリング増強を使用して画像劣化(例えば、合成ノイズの追加)と組み合わせて、ネットワークのトレーニング時にネットワークのロバスト性を向上させるためのトレーニング対を生成することができる。画像劣化を増強に含めることによって、画像の特徴および画像劣化を同時に向上させるようにネットワークをトレーニングすることができる。
上述したように、本実施形態では、トレーニングデータの第1のセットを取得し、トレーニングデータの第1のセットから組織密度情報の第1の分布を決定する。そして、組織密度情報の第1の分布をシフトさせる組織密度シフティングプロセスおよび組織密度情報の第1の分布をスケーリングする組織密度スケーリングプロセスの少なくとも1つを実行することによって、トレーニングデータの第1のセットからトレーニングデータの第2のセットを生成する。そして、トレーニングデータの第1のセットおよび第2のセットを用いてニューラルネットワークをトレーニングして、トレーニング済みニューラルネットワークを取得する。
以下、モデル生成機能144dによって実行されるトレーニングの詳細について説明する。図5A~図5Dは、以下に説明する例示的な実施形態に係る、トレーニングプロセスを示す。
より具体的には、図5Aは、N個の入力と、K番目の隠れ層と、3個の出力とを有する一般的な人工ニューラルネットワーク(Artificial Neural Network:ANN)を示している。ANNの各層はノード(ニューロンとも呼ばれる)で構成され、各ノードは入力の重み付けされた合計を実行して出力を生成し、加重和の結果を閾値と比較する。ANNは、閾値、結合の重み、またはノード数および/もしくはそれらの連結性などのアーキテクチャの詳細を変化させることによってクラスのメンバーを取得する、関数のクラスを構成する。ANN内のノードは、ニューロン(またはニューロンノード)と呼ばれることがある。ニューロンはANNシステムの異なる層間で相互連結部を有することができる。例えば、ANNは、4層以上のニューロンを有し、入力ニューロンと同数の出力ニューロンx~N(Nは再構成画像の画素数)を有する。シナプス(すなわち、ニューロン間の連結部)は、計算においてデータを処理する「重み」(「係数」または「重み付け係数」とも呼ばれる)と呼ばれる値を記憶する。ANNの出力は、(i)異なるニューロン層間の相互結合パターン、(ii)相互結合の重みを更新する学習プロセス、(iii)ニューロンの重み入力をその出力活性化に変換する活性化関数、の3種類のパラメータに依存する。
数学的には、ニューロンのネットワーク関数m(x)は、他の関数の合成n(x)として定義され、その他の関数がさらに他の関数の合成として定義され得る。これは、図5Aに示すように、変数間の依存関係を描写する矢印を用いて、ネットワーク構造として都合よく表すことができる。例えば、ANNは、m(x)=K(Σ(x))である、非線形の重み付けられた合計を使用することができ、ここで、K(一般に「活性化関数」と呼ばれる)は、シグモイド関数、双曲線正接関数、および整流線形ユニット(ReLU)などの所定の係数である。
図5Aでは(同様に図5Bでは)、ニューロン(つまりノード)は、閾値関数の周りの円で描写されている。図5Aに示す非限定的例では、入力は線形関数の周りの円で描写され、矢印はニューロン間の有向連結を示す。特定の実施形態では、ANNは、図5Aおよび図5Bに例示するようなフィードフォワードネットワークである(例えば、有向非巡回グラフとして表すことができる)。
ANNは、関数Fのクラス内をサーチすることによって、CT画像のノイズ除去などの特定のタスクを実現するために動作し、ある光学的基準(optical criteria(例えば、以下で説明するステップS260で使用される停止基準))で特定のタスクを解決する要素m(m∈F)を見つけ出すように、観測結果のセットを使用して学習する。例えば、特定の実施形態では、これは、以下の式(1)で表される光学解などのコスト関数C:F→Rを定義することによって実現することができる(すなわち、光学解のコストより小さいコストを有する解はない)。
Figure 2023156267000002
式(1)において、mは光学解(optical solution)である。コスト関数Cは、特定の解が、解決すべき問題(例えば、誤差)に対する光学解からどれだけ離れているかの基準である。学習アルゴリズムは、解空間にわたって繰り返しサーチし、可能な限り最小のコストで関数を見つけ出す。特定の実施形態では、コストは、データのサンプル(すなわち、トレーニングデータ)上で最小化される。
図5Bは、ANNがDCNNである非限定的な例を示している。DCNNは画像処理に対し有益な特性を有するANNの一種であり、従って画像ノイズ除去の適用に特に関連性を有する。DCNNは、ニューロン間の連結性パターンが画像処理における畳み込みを表すことができるフィードフォワードANNを使用する。例えば、DCNNは、受容野と呼ばれる入力画像の一部を処理する、複数層の小さなニューロンの集合体を使用することによって、画像処理の最適化に使用することができる。これらの集合体の出力は、オーバーラップするようにタイル状に配置されて、より元の画像に近い表示を実現することができる。この処理パターンは、畳み込み層とプーリング層を交互に配置した複数の層で繰り返すことができる。なお、図5Bは、先行する層の全てのノードを使用して後続する層のノードを定義する全結合(フルコネクト)ネットワークの一例を示している。この例は、ディープニューラルネットワーク(Deep Neural Network:DNN)の一例を示したに過ぎない。DCNNは、先行する層のノードの一部を使用して後続する層のノードを定義する疎結合(部分的な結合)ネットワークを形成することが一般的である。
図5Cは、2次元画像を表す入力層から畳み込み層である第1の隠れ層への値をマッピングするために適用されている5×5カーネルの例を示している。カーネルは、それぞれの5×5画素の領域を、第1の隠れ層の対応するニューロンにマッピングする。
畳み込み層の後に続いて、DCNNは、畳み込み層におけるニューロン集団の出力を組み合わせるローカルおよび/またはグローバルプーリング層を含むことができる。さらに、特定の実施形態では、DCNNは、各層の終わりに、または各層の後に適用された点別の非線形性によって、畳み込み層と完全結合層の様々な組み合わせを含むこともできる。
DCNNは、画像処理に対していくつかの利点がある。自由パラメータ数を減らし、かつ生成を向上するために、入力の小さな領域に対する畳み込み操作が取り入れられる。DCNNの特定の実施形態の大きな利点の1つとしては、畳み込み層における共有された重みの使用であり、すなわち、層における各画素の係数として使用されるフィルタ(重みバンク)が同じであることである。このような大きな利点は、メモリ設置面積を削減し、パフォーマンスを向上させる。他の画像処理法と比較して、DCNNは、有利に比較的少ない前処理を使用する。これは、DCNNが、従来のアルゴリズムでは手動で設計されたフィルタを学習する役割を担っていることを意味する。特徴の設計において、予備知識および人間の労力に対する依存がないことが、DCNNの大きな利点である。
DCNNでは、再構成画像における隣接層間の類似性を利用することが可能である。通常、隣接する層の信号は、高い相関性がある一方で、ノイズには相関性がない。一般に、CTの3次元ボリューメトリック画像は、より多くのボリューメトリック特徴を捉えることができるため、2次元画像を横断する単一のスライスよりも、より多くの診断情報を提供することができる。図5Cは、2次元再構成画像のノイズ除去のための例示的なトレーニングを示しているが、ボリューメトリックな特徴をさらに使用するノイズ除去をトレーニングしてもよい。
図5Dは、DCNNをトレーニングするために使用される教師あり学習の例示的な実施形態を示す。教師あり学習において、トレーニングデータのセットを取得し、DCNNによって処理された合成被検体データが第2の被検体投影データに厳密に適合するように、ネットワークを繰り返し更新して誤差を低減させる。換言すれば、DCNNはトレーニングデータによって暗示されたマッピングを推定し、コスト関数は、第2の被検体投影データと、現在の更新後のDCNN(最新のDCNN)を合成被検体データへと適用することによって生成されたノイズ除去データとの間の不一致に関連する誤差値を生成する。例えば、特定の実施形態では、コスト関数は、平均二乗誤差(mean-squared error)を使用して、中間二乗誤差(average squared error)を最適化することができる。多層パーセプトロン(Multilayer Perceptron:MLP)ニューラルネットワークの場合、勾配降下法を使用して平均二乗誤差に基づくコスト関数を最小化することによってネットワークをトレーニングするために、逆伝播アルゴリズムを使用することができる。
ニューラルネットワークモデルをトレーニングするとは、基本的に、コスト基準(つまり、コスト関数を使用して計算される誤差値)を最小化する許可されたモデルのセット(または、ベイズフレームワークにおいて許容されたモデルのセットにわたる分布の決定)から、1つのモデルを選択することを意味する。一般に、DLネットワークは、ニューラルネットワークモデルをトレーニングするための多数のアルゴリズムのいずれかを使用して(例えば、最適化理論または統計的推定を適用して)、トレーニングすることができる。
例えば、人工ニューラルネットワークをトレーニングする際に使用する最適化法は、逆伝播を使用して実際の勾配を計算する、勾配降下の形式を使用することができる。これは、ネットワークのパラメータに関してコスト関数の導関数を取り、その後それらのパラメータを勾配に関連する方向に変化させることによって、行われる。逆伝播アルゴリズムは、最急降下法(例えば、可変学習率を用いた方法、可変学習率と運動量を用いた方法、および弾力的誤差逆伝播法)、準ニュートン法(例えば、ブロイデン-フレッチャー-ゴールドファーブ-シャンノ、ワンステップ割線、およびレーベンバーグ-マルカート)、または共役勾配法(例えば、Fletcher-Reeves更新、Polak-Ribiere更新、Powell-Bealeリスタート、およびスケール共役勾配)であってもよい。さらに、遺伝子発現プログラミング、焼きなまし法、期待値最大化、ノンパラメトリック法、および粒子群最適化などの発展的方法もまた、DCNNをトレーニングするために使用することができる。
図5DのステップS210では、DCNNの係数の初期推測が生成される。例えば、初期推測は、撮像されている領域の予備知識、または1つ以上のノイズ除去方法、エッジ検出方法、および/またはブロブ検出方法に基づくことができる。さらに、初期推測は、異なるノイズレベルに関連する、または異なるCTスキャン方法を使用するトレーニングデータでトレーニングされたDCNNに基づくことができる。
例示的なノイズ除去方法には、線形平滑化フィルタ、異方性拡散、非局所的平均、または非線形フィルタが含まれる。線形平滑化フィルタは、ローパスフィルタまたは平滑操作を表すマスクを用いて元の画像を畳み込むことによって、ノイズを除去する。例えば、ガウシアンマスクは、ガウス関数によって決定される要素を含む。この畳み込みにより、各画素の値は、その画素に隣接する画素の値に近づけられる。異方性拡散は、熱伝導方程式と同様の平滑化偏微分方程式のもとで画像を展開させることによって、鮮明な境界を維持したままノイズを除去することができる。メジアンフィルタは非線形フィルタの一例であり、適切に設計された場合には、非線形フィルタも境界を保ち、ぼかしを回避することもできる。メジアンフィルタは、階数条件ランク選択(Rank-Conditioned Rank-Selection:RCRS)フィルタの一例であり、明らかなぼかしアーチファクトを取り込むことなく、画像からごま塩ノイズを除去するために適用することができる。さらに、撮像される領域が、均一な領域間の鮮明な境界によって分けられた広い範囲にわたって一様であるという仮定を支持する場合に、全変動(Total-Variation:TV)最小化正則化項を使用するフィルタを、使用することができる。TVフィルタは、非線形フィルタの他の例である。加えて、非局所平均フィルタリングは、画像における同様のパッチにわたる重み付けられた平均を使用することによってノイズ除去された画素を決定する、例示的な方法である。
図5DのステップS220では、ネットワーク処理された合成被検体データと第2の被検体投影データとの間の誤差(例えば、コスト関数)が計算される。誤差は、上述したそれらのコスト関数を含む、画像データ間の任意の既知のコスト関数または距離測定を使用して計算することができる。
図5DのステップS230では、誤差における変化をネットワークにおける変化(例えば誤差勾配)の関数として計算することができ、この誤差における変化を使用して、DCNNの重み/係数に対するその後の変化の方向およびステップサイズを選択することができる。このような方法で誤差の勾配を計算することは、勾配降下最適化法の特定の実施形態と一致する。他の特定の実施形態では、当業者に理解されるように、このステップは、別の最適化アルゴリズム(例えば、焼きなまし法または遺伝的アルゴリズムのような非勾配降下最適化アルゴリズム)に従って、省略されてもよいし、および/または他のステップと置き換えられてもよい。
図5DのステップS240では、DCNNの係数の新しいセットを決定する。例えば、勾配降下最適化法または過緩和加速法のように、ステップS230で計算された変化を使用して重み/係数を更新することができる。
図5DのステップS250では、更新されたDCNNの重み/係数を使用して、新しい誤差値が計算される。
図5DのステップS260では、所定の停止基準を使用して、ネットワークのトレーニングが完了したかどうかを判定する。例えば、所定の停止基準は、新しい誤差および/または実行された反復の総数が所定の閾値を超えるかどうかを判定するすることができる。例えば、新しい誤差が所定の閾値を下回った場合、または最大反復回数に達した場合に、停止基準を満たすことができる。停止基準が満たされない場合、手順はステップS230に戻ってプロセスを繰り返す、すなわち、手順は、新しい重み/係数を使用することによって反復ループの開始点に戻って継続される(反復ループは、ステップS230、S240、S250、およびS260を含む)。停止条件が満たされると、DCNNのトレーニングは完了する。
図5Dに示す誤差最小化に対する実施形態に加えて、DCNNのトレーニングは、例えば、極小化法、凸最適化法、および大域最適化法を含む、多くの他の既知の最小化法のうちの1つを使用することができる。
コスト関数(例えば、誤差)が最小値とは異なる極小値を有する場合に、コスト関数の最小値を見つけ出すにはロバストな確率最適化プロセスが有益である。極小値を見つけ出す最適化方法の一例としては、ネルダー-ミードシンプレックス法、勾配降下法、ニュートン法、共役勾配法、シューティング法、およびその他の既知の局所最適化手法のうちの1つであり得る。遺伝的アルゴリズム、焼きなまし法、全数検索、区間法、ならびに、その他の従来的な決定論的、確率的、発見的、およびメタヒューリスティック(metatheuristic)法を含む、最小値を見つけ出すための既知の方法も多くある。これらの方法のいずれかを使用して、DCNNの重み/係数を最適化することができる。さらに、ニューラルネットワークは、逆伝播法を使用して最適化することもできる。
例えば、モデル生成機能144dは、合成された被検体データを入力とし、第2の被検体投影データをターゲットとした残差学習を実行する。残差学習では、ノイズを含む入力データとターゲットデータとの差分を学習する。臨床的に得られるノイズ画像の場合、画像に含まれるノイズは画像信号に対して統計的な依存性を有するが、合成被検体データに追加されたノイズはこのような依存性を有していない。しかし、残差学習では、ノイズの画像信号に対する依存性よりも、入力データとターゲットデータの違いおよびノイズそのものの特徴がより重要な要素となる。したがって、モデル生成機能144dは、合成被検体データを入力として、臨床的に得られたノイズ画像を入力とする場合と同程度の精度で、DCNNをトレーニングすることができる。
ここで、第2の被検体投影データは、ノイジーなデータであってもよいし、クリーンなデータであってもよい。すなわち、モデル生成機能144dは、DCNNに対してnoise-to-noiseトレーニング、またはnoise-to-cleanトレーニングを実行してもよい。
例えば、図4Aに示す投影データYk-1、投影データY、および投影データYk+1は、低線量のX線を使用して撮像された投影データであってもよい。また、図4Bに示す投影データYl-1、投影データY、および投影データYl+1は、低線量のX線を使用して撮像された投影データであってもよい。すなわち、第1の被検体投影データおよび第2の被検体投影データは、低線量イメージングで得られたデータであってもよい。さらに、例えば、取得機能144cは、逐次近似再構成法などの高精度な再構成法以外の再構成法を使用することによって、第2の被検体投影データを取得してもよい。一例として、取得機能144cは、図4Bに示す再構成処理R2として、FBPを実行する。これにより、取得機能144cは、画像プール141cに記憶されている第2の被検体投影データをノイジーなデータとして設定する。このような場合、第2の被検体投影データに含まれるノイズと、合成被検体データに追加されたノイズデータに基づくノイズとは独立しているので、モデル生成機能144dは、noise-to-noiseトレーニングを実行してDCNNを取得することができる。
さらに、例えば、取得機能144cは、第1の再構成法に基づく再構成処理を実行することによって第1の被検体投影データを取得し、第1の再構成法よりも高精度な第2の再構成法に基づく再構成処理を実行することによって第2の被検体投影データを取得する。一例として、取得機能144cは、図4Bに示す再構成処理R1としてFBPを実行し、再構成処理R2として逐次近似再構成法を実行する。これにより、取得機能144cは、画像プール141cに記憶された第2の被検体投影データをクリーンデータとして使用することができ、モデル生成機能144dは、noise-to-cleanトレーニングを実行してDCNNを取得することができる。なお、このような場合のDCNNは、FBP法に基づく画像を入力とし、逐次近似再構成法に基づく画像をターゲットとしてトレーニングを実行する。すなわち、DCNNは再構成法による違いを学習することができる。したがって、モデル生成機能144dは、DCNNを機能させて、入力データのノイズを低減し、解像度を向上させることができる。
モデル生成機能144dは、肺、腹部、および骨盤などの部位ごとに、DCNNを生成してもよい。例えば、モデル生成機能144dは、合成被検体データまたは第2の被検体投影データとして、肺のデータを使用することによってトレーニングを実行することにより、DCNNを得てもよい。このような場合のDCNNは、肺を撮像することによって得られた画像のノイズ低減処理に特化した学習済みモデルである。
あるいは、モデル生成機能144dは、合成被検体データまたは第2の被検体投影データとして、様々な部位のデータを使用することによってトレーニングを実行し、それによってDCNNを得てもよい。このような場合のDCNNは、任意の部位を撮像することによって得られた画像の入力を受け付けて、ノイズ低減処理を実行する汎用的な学習済みモデルである。
さらに、モデル生成機能144dは、ノイズレベルごとにDCNNを生成してもよい。例えば、取得機能144cは、所定の線量で撮像されたノイズ生成のための被検体から取得したデータに基づいてノイズデータを取得し、取得されたノイズデータをノイズプール141aに記憶させる。さらに、例えば、取得機能144cは、ノイズレベルが所定値を有するようにパラメータαの値を調整し、ノイズプール141aに記憶されるノイズデータを取得する。さらに、モデル生成機能144dは、ノイズプール141aから読み出したノイズデータ、および第1の被検体投影データに基づいて、合成被検体データを取得する。これにより、モデル生成機能144dは、合成被検体データに追加されるノイズのレベルをほぼ一定にすることができる。そして、モデル生成機能144dは、合成被検体データおよび第2の被検体投影データを使用することによって、トレーニングを実行し、それによってDCNNを取得する。このような場合のDCNNは、所定の線量で撮像することによって得られた画像のノイズ低減処理に特化した学習済みモデルである。
あるいは、モデル生成機能144dは、様々なノイズレベルの合成被検体データを使用することによってトレーニングを実行し、それによってDCNNを得てもよい。このような場合のDCNNは、任意の線量で撮像することによって得られた画像の入力を受け付けて、ノイズ低減処理を実行する汎用的な学習済みモデルである。
さらに、モデル生成機能144dは、画像サイズごとにDCNNを生成してもよい。例えば、モデル生成機能144dは、所定のサイズでで切り出した合成被検体データまたは第2の被検体投影データを使用することによってトレーニングを実行し、それによってDCNNを得てもよい。あるいは、モデル生成機能144dは、様々な画像サイズを有する合成被検体データまたは第2の被検体投影データを使用することによってトレーニングを実行し、それによってDCNNを得てもよい。
上述したように、モデル生成機能144dは、合成被検体データデータおよび第2の被検体投影データを使用して機械学習によってDCNNを取得し、学習済みDCNNをメモリ141に記憶させる。その後、例えば、被検体P12を撮像することによって入力被検体データを得た場合、ノイズ低減処理機能144eは、メモリ141から読み出したDCNNを使用することによって、入力被検体データのノイズ低減プロセスを実行することができる。なお、被検体P12は、図4Aに示す投影データYk-1、投影データY、および投影データYk+1、ならびに図4Bに示す投影データYl-1、投影データY、および投影データYl+1を得る際に撮像された被検体と異なる被検体であってもよく、同じ被検体であってもよい。被検体P12は、被検体P1の一例である。
具体的には、イメージング機能144bは、被検体P12を撮像し、投影データを取得する。さらに、ノイズ低減処理機能144eは、FBP法に基づく再構成処理を実行して、再構成画像を生成する。再構成画像は、入力被検体データの一例である。次に、ノイズ低減処理機能144eは、メモリ141から読み出したDCNNによって再構成画像のノイズを低減し、それによってノイズ除去されたデータを得る。
以下、DCNNを使用したノイズ低減プロセスについて詳細に説明する。図6Aおよび図6Bは、第1の実施形態に係るノイズ低減プロセスを示す。
図6Aは全てのANNに対して一般則であり、図6BはCNNに特化したものである。図6Aの一連のプロセスは、入力被検体データにDCNNを適用することに対応する。畳み込み層の後に続いて、DCNNは、畳み込み層におけるニューロン集団の出力を組み合わせる、ローカルおよび/またはグローバルプーリング層を含むことができる。
ステップS410では、ニューロン(すなわち、ノード)間の結合に対応する重み/係数が、再構成画像の画素に対応するそれぞれの入力に適用される。
ステップS420では、重み付けられた入力が合計される。次層の所定のニューロンに結合しているゼロでない重み/係数のみが、前の層において表された画像において領域的に局所化された場合、ステップS410とS420の組み合わせは、畳み込み操作を行うのと実質的に同じである。
ステップS430では、それぞれの閾値は、それぞれのニューロンの重み付けられた合計に適用される。
ステップS440では、重み付け、合計、および活性化のステップは、後続の層のそれぞれに対して繰り返される。
図6Bは、DCNNを使用したノイズ低減プロセスの別の実施形態のフロー概要図である。図6Bに示すステップS470の実施形態は、DCNNに対するCNNの非限定的な実施形態を使用して、再構成画像に対する操作に対応する。
ステップS450では、畳み込み層に関する当業者の理解に従って、上述したような畳み込み層の計算が実行される。
ステップS460では、畳み込み層からの出力は、プーリング層への入力である。プーリング層は、プーリング層の前述の説明に従って実行され、かつプーリング層に関する当業者の理解に従って実行される。
ステップS470では、続いてポーリング層がある畳み込み層のステップを、所定の層数で繰り返すことができる。混合畳み込み層およびポーリング層に続いて(または混合して)、ポーリング層からの出力は、図6AのANN層に対して提供された説明に従って実行される、所定数のANN層に供給され得る。最終出力は、ノイズ/アーチファクトのないことを特徴とする所望の再構成画像(ノイズ除去されたデータ)となる。
次いで、出力機能144fは、ノイズ除去されたデータに基づいて、被検体P12の画像を出力する。例えば、出力機能144fは、ノイズ除去された画像に基づいて表示画像を生成し、ディスプレイ142に表示画像を表示させる。あるいは、出力機能144fは、ノイズ除去されたデータに基づく被検体P12の画像を、ワークステーションなどの外部デバイスに送信してもよい。
次に、X線CT装置10による処理手順の一例を、図7を参照して説明する。図7は、第1の実施形態に係るX線CT装置10のプロセスの一連の流れを説明するためのフローチャートである。ステップS101、ステップS102、およびステップS107は、取得機能144cに対応する。ステップS103は、モデル生成機能144dに対応する。ステップS104およびステップS105は、ノイズ低減処理機能144eに対応する。ステップS106は、出力機能144fに対応する。
まず、処理回路144は、ノイズ生成のために被検体から取得されたデータに基づいてノイズデータを取得し(ステップS101)、第1の被検体投影データおよびノイズデータに基づいて合成被検体データを取得する(ステップS102)。次に、処理回路144は、合成被検体データおよび第2の被検体投影データを使用した機械学習によって、DCNNなどのノイズ低減処理モデルを取得する(ステップS103)。
次に、処理回路144は、被検体P12を撮像することによって得られた入力被検体データが取得されたかどうかを判定する(ステップS104)。入力被検体データが取得された場合(ステップS104でYes)、処理回路144は、ノイズ低減処理モデルによって入力被検体データのノイズを低減して、ノイズ除去されたデータを取得する(ステップS105)。さらに、処理回路144は、ノイズ除去されたデータに基づいて、被検体P12の画像を出力する(ステップS106)。
ここで、処理回路144は、トレーニングデータを更新するかどうかを判定する(ステップS107)。トレーニングデータを更新する場合(ステップS107でYes)、処理回路144は、再びステップS101に進む。すなわち、処理回路144は、トレーニングデータを更新する場合、被検体P12を撮像することによって得られたデータを、ノイズ生成のために被検体から取得したデータとして設定し、ノイズ生成のために被検体から取得したデータのノイズデータを取得し、ノイズプール141aにノイズデータを追加する。あるいは、処理回路144は、被検体P12を撮像することによって得られたデータを、第1の被検体投影データまたは第2の被検体投影データとして設定し、画像プール141bまたは画像プール141cに、第1の被検体投影データまたは第2の被検体投影データを追加してもよい。その一方で、トレーニングデータの更新を行わない場合(ステップS107でNo)、処理回路144は、再びステップS104に進む。さらに、ステップS104で入力被検体データを取得しない場合(ステップS104でNo)、処理回路144は、プロセスを終了する。
上述したように、第1の実施形態によれば、取得機能144cは、X線CT装置10により実行されるイメージングによって得られるノイズ生成のために被検体から取得されるデータに基づいて、ノイズ生成のために被検体から取得されるデータのノイズデータを取得する。さらに、取得機能144cは、X線CT装置10と同種の医用画像診断モダリティ(X線CT)により実行されるイメージングによって取得される第1の被検体投影データおよびノイズデータに基づいて、ノイズデータに基づくノイズが第1の被検体投影データに追加された合成被検体データを取得する。さらに、モデル生成機能144dは、X線CTにより実行されるイメージングによって取得される合成被検体データおよび第2の被検体投影データを使用して、機械学習によりノイズ低減処理モデルを取得する。これにより、第1の実施形態に係るX線CT装置10は、高品質なノイズ低減処理モデルを容易に取得することができる。
例えば、上述したノイズ生成のために被検体から取得されるデータ、第1の被検体投影データ、および第2の被検体投影データは、高線量のX線を使用して取得されたクリーンデータである必要はなく、比較的容易に取得することができる。さらに、ノイズデータと第1の被検体投影データを組み合わせることによって合成被検体データを取得するため、トレーニングに必要な数のデータ用意することが容易となる。したがって、X線CT装置10は、トレーニングデータを容易に用意することができ、十分なトレーニングデータでノイズ低減処理モデルの品質を向上させることができる。
さらに、シミュレーションによって生成されたノイズをトレーニングデータとして使用して、ノイズ低減処理モデルを生成する場合、ノイズシミュレーションの精度によってノイズ低減処理モデルの品質も変化する。その一方で、前述のノイズデータにおけるノイズは、シミュレーションされたものではなく、ノイズ生成のために被検体から取得した臨床的に得られたデータから抽出されたものである。すなわち、X線CT装置10は、より信頼性の高いトレーニングデータを使用することによってノイズ低減処理モデルを生成し、ノイズ低減処理の性能を向上させることができる。
これまで、第1の実施形態について説明したが、前述の実施形態以外にも、様々な異なる形態で実現され得る。
例えば、図3Aでは、投影データY1をサンプリングして、2つの投影データ(投影データY11および投影データY12)を取得するものとして説明されている。しかし、実施形態はこれに限定されるものではない。例えば、取得機能144cは、投影データY1をサンプリングすることによって、3つ以上の投影データを取得してもよい。
一例として、投影データY1をサンプリングすることによって、取得機能144cは、投影データY1における「3n(nは自然数)」のビューを投影データY11として取得し、投影データY1における「3n+1」のビューを投影データY12として取得し、投影データY1における「3n+2」のビューを投影データY13として取得する。さらに、取得機能144cは、投影データY11から再構成画像X11を再構成し、投影データY12から再構成画像X12を再構成し、投影データY13から再構成画像X13を再構成する。
そして、取得機能144cは、再構成画像X11、再構成画像X12、および再構成画像X13に基づいて、ノイズ抽出処理を実行する。例えば、取得機能144cは、再構成画像X11と再構成画像X12との間で差分処理を実行することによって、ノイズデータを取得する。さらに、取得機能144cは、再構成画像X12と再構成画像X13との間で差分処理を実行することによって、ノイズデータを取得する。さらに、取得機能144cは、再構成画像X13と再構成画像X11との間で差分処理を実行することによって、ノイズデータを取得する。
さらに、図3Aでは、複数の再構成画像を生成し、画像間で差分処理を実行することによってノイズデータを抽出するものとして説明されている。しかし、ノイズデータの抽出方法は、これに限定されるものではない。例えば、取得機能24bは、サンプリングを省略して、投影データY1に基づいて再構成画像を生成し、再構成画像に対して画像処理を実行することによってノイズデータを抽出してもよい。
さらに、図4Bでは、再構成処理R1および再構成処理R2を実行することによって、画像プール141bに記憶させる第1の被検体投影データおよび画像プール141cに記憶させる第2の被検体投影データを、それぞれ生成するものとして説明されている。しかし、実施形態はこれに限定されるものではない。例えば、取得機能144cは、投影データYl-1、投影データY、および投影データYl+1などの投影データの第1のサブセットに基づくデータを第1の被検体投影データとして画像プール141bに記憶させ、第1のサブセットとは異なる第2のサブセットに基づくデータを第2の被検体投影データとして画像プール141cに記憶させてもよい。換言すれば、取得機能144cは、ある被検体の被検体データに基づいて、被検体データの第1のサブセットに対応する第1の被検体投影データ、および第1のサブセットとは異なる第2のサブセットに対応する第2の被検体投影データを生成してもよい。
一例として、取得機能144cは、投影データYl-1における奇数ビューデータをサンプリングすることによって第1のサブセットを取得し、第1のサブセットに基づく再構成画像を、第1の被検体投影データとして画像プール141bに記憶させる。さらに、取得機能144cは、投影データYl-1における偶数ビューデータを均等にサンプリングすることによって第2のサブセットを取得し、第2のサブセットに基づく再構成画像を、第2の被検体投影データとして画像プール141cに記憶させる。奇数ビューデータと偶数ビューデータに対して別々にサンプリングを実行する場合であるが、サンプリング方法は、任意に変更することができる。
さらに、図4Bでは、第1の被検体投影データと第2の被検体投影データとが同じ投影データから生成されるものとして説明されている。しかし、実施形態はこれに限定されるものではない。例えば、取得機能144cは、投影データYl-1に基づいて第1の被検体投影データのみを生成してもよいし、投影データYに基づいて第2の被検体投影データのみを生成してもよい。すなわち、画像プール141bと画像プール141cは、異なる投影データから生成されてもよい。
さらに、前述の実施形態では、第1の被検体投影データと第2の被検体投影データを異なるデータとして説明したが、第1の被検体投影データと第2の被検体投影データは同じデータであってもよい。例えば、取得機能144cは、ノイズプール141aに記憶されたノイズデータおよび画像プール141bに記憶されたデータに基づいて、合成被検体データを取得する。そして、モデル生成機能144dは、合成被検体データおよび画像プール141bに記憶されたデータを使用してトレーニングを行うことによって、DCNNを得ることができる。
さらに、前述の実施形態では、ノイズ低減処理モデルの一例として、再構成画像の入力を受け付けてノイズ低減処理を実行するDCNNについて説明した。しかし、実施形態はこれに限定されるものではない。例えば、モデル生成機能144dは、ノイズ低減処理モデルとして、サイノグラムなどの投影データの入力を受け付けて、ノイズ低減処理を実行するDCNNを生成してもよい。
例えば、図4Aに示した場合と同様に、取得機能144cは、まず、投影データYk-1、投影データY、および投影データYk+1などの投影データのそれぞれに対してノイズ抽出処理を実行することにより、ノイズ分布を示すボリュームデータを生成する。次に、取得機能144cは、ノイズ分布を示すボリュームデータを複数のビューごとに順投影した順投影データを生成する。このような順投影データは、例えば、ノイズ分布を示すサイノグラムである。さらに、このような順投影データは、ノイズ生成のために被検体から取得したデータにおけるノイズデータの一例である。換言すれば、ノイズデータは、投影データ空間の各位置におけるノイズ強度を示すデータであってもよい。取得機能144cは、ノイズデータである順投影データを複数生成し、順投影データをノイズプール141aに記憶させる。
さらに、図4Bに示した場合と同様に、取得機能144cは、投影データYl-1、投影データY、および投影データYl+1などの投影データのそれぞれ対して再構成処理R1を実行することによって、再構成画像を生成する。次に、取得機能144cは、生成した再構成画像を複数のビューごとに順投影した順投影データを生成する。このような順投影データは、例えば、再構成処理R1に応じた品質を有するサイノグラムである。さらに、このような順投影データは、第1の被検体投影データの一例である。取得機能144cは、第1の被検体投影データである順投影データを複数生成し、順投影データを画像プール141bに記憶させる。
さらに、図4Bに示した場合と同様に、取得機能144cは、投影データYl-1、投影データY、および投影データYl+1などの投影データのそれぞれ対して再構成処理R2を実行することによって、再構成画像を生成する。次に、取得機能144cは、生成した再構成画像を複数のビューごとに順投影した順投影データを生成する。このような順投影データは、例えば、再構成処理R2に応じた品質を有するサイノグラムである。さらに、このような順投影データは、第2の被検体投影データの一例である。取得機能144cは、第2の被検体投影データである順投影データを複数生成し、順投影データを画像プール141cに記憶させる。
次に、取得機能144cは、ノイズプール141aから読み出したノイズデータ、および画像プール141bから読み出した第1の被検体投影データに基づいて、合成被検体データを取得する。このような合成被検体データは、例えば、ノイズデータに基づくノイズが追加されたサイノグラムである。そして、モデル生成機能144dは、合成被検体データを入力とし、第2の被検体投影データをターゲットとした深層学習によりモデルをトレーニングすることによって、DCNNを得る。このような場合のDCNNは、例えば、被検体P12を撮像することによって得られた投影データの入力を受け付けて、投影データのノイズを低減するように機能化されている。なお、被検体P12を撮像することによって得られた投影データは、入力被検体データの一例である。
例えば、イメージング機能144bは、被検体P12を撮像することによって、投影データを取得する。さらに、ノイズ低減処理機能144eは、DCNNによって投影データのノイズを低減し、ノイズ除去されたデータを得る。そして、出力機能144fは、ノイズ除去されたデータに基づいて、被検体P12の画像を出力する。例えば、出力機能144fは、ノイズ除去されたデータに対して再構成処理を実行し、再構成画像を生成する。さらに、出力機能144fは、再構成画像に基づいて表示画像を生成し、ディスプレイ142に表示画像を表示させる。あるいは、出力機能144fは、再構成画像および表示画像を、ワークステーションなどの外部デバイスに送信してもよい。
さらに、前述の実施形態では、ノイズ低減処理モデルは、DCNNによって構成されるものとして説明した。しかし、実施形態はこれに限定されるものではない。例えば、ノイズ低減処理機能144eは、全結合ニューラルネットワーク、および再帰型ニューラルネットワーク(Recurrent Neural Network:RNN)などの別の種類のニューラルネットワークによって、ノイズ低減処理モデルを構成してもよい。さらに、ノイズ低減処理機能144eは、ニューラルネットワーク以外の機械学習法によって、ノイズ低減処理モデルを生成してもよい。例えば、ノイズ低減処理機能144eは、ロジスティック回帰分析、非線形判別分析、サポートベクターマシン(Support Vector Machine:SVM)、ランダムフォレスト、およびナイーブベイズなどのアルゴリズムを使用して機械学習を行うことによって、ノイズ低減処理モデルを生成してもよい。
さらに、前述の実施形態では、医用画像診断モダリティの一例として、X線CTについて説明した。しかし、実施形態はこれに限定されるものではなく、別の医用画像診断モダリティにより実行されるイメージングによって取得される情報に対しても、同様の処理を実行することができる。例えば、前述の実施形態は、X線診断装置により実行されるイメージング、磁気共鳴イメージング(Magnetic Resonance Imaging:MRI)、超音波イメージング、および単一光子放射コンピュータ断層撮影(Single Photon Emission Computed Tomography:SPECT)、ポジトロン放射断層撮影(Positron Emission Tomography:PET)などにより実行されるイメージングによって取得される情報にも同様に適用することができる。
さらに、前述の実施形態では、X線CT装置10における処理回路144が、取得機能144c、モデル生成機能144d、ノイズ低減処理機能144e、および出力機能144fなどの様々な機能を実行する場合について説明した。しかし、実施形態はこれに限定されるものではない。例えば、X線CT装置10とは異なる装置に含まれる処理回路が、処理回路144のそれぞれの機能に相当する機能を実行してもよい。
以下、この点について、図8を参照しながら説明する。図8は、第2の実施形態に係る情報処理システム1の構成の一例を示すブロック図である。例えば、情報処理システム1は、図8に示すように、X線CT装置10および情報処理装置20を含む。X線CT装置10および情報処理装置20は、ネットワークNWを介して相互に接続される。
なお、ネットワークNWを介して接続可能であるならば、X線CT装置10および情報処理装置20が設置される場所は任意である。例えば、X線CT装置10および情報処理装置20は、互いに異なる施設内に設置されていてもよい。すなわち、ネットワークNWは、施設内で閉じたローカルネットワークであってもよいし、インターネットを介したネットワークであってもよい。さらに、X線CT装置10と情報処理装置20との間の通信は、画像記憶装置などの別の装置を介して行われてもよいし、別の装置を使用することなく直接行われてもよい。このような画像記憶装置の例としては、例えば、医用画像管理システム(Picture Archiving and Communication System:PACS)のサーバが挙げられる。
図8に示すX線CT装置10は、図1Aに示したX線CT装置10と同じ構成を有する。図8に示すX線CT装置10の処理回路144は、取得機能144c、モデル生成機能144d、ノイズ低減処理機能144e、および出力機能144fなどの機能を有していてもよいし、有していなくてもよい。さらに、図8では医用画像診断装置の一例としてX線CT装置10を示すが、情報処理システム1は、X線CT装置10とは異なる医用画像診断装置を含んでもよい。さらに、情報処理システム1は、複数の医用画像診断装置を含んでもよい。
情報処理装置20は、X線CT装置10によって取得したデータに基づいて、様々な処理を実行する。例えば、情報処理装置20は、図8に示すように、メモリ21、ディスプレイ22、入力インタフェース23、および処理回路24を含む。
メモリ21は、前述のメモリ141と同様に構成することができる。例えば、メモリ21は、情報処理装置20に含まれる回路がその機能を実行する際に必要とするコンピュータプログラムを記憶する。さらに、メモリ21は、ノイズプール141aと同様に、ノイズデータを記憶する。さらに、メモリ21は、画像プール141bと同様に、第1の被検体投影データを記憶する。さらに、メモリ21は、画像プール141cと同様に、第2の被検体投影データを記憶する。
ディスプレイ22は、前述のディスプレイ142と同様に構成することができる。例えば、ディスプレイ22は、ユーザからの様々な指示、設定などを受け付けるためのGUIを表示する。さらに、例えば、ディスプレイ22は、ノイズ低減処理モデルによってノイズが低減された、ノイズ除去されたデータに基づく画像を表示する。情報処理装置20は、ディスプレイ22に代えて、または加えて、プロジェクタを含んでもよい。
入力インタフェース23は、前述の入力インタフェース143と同様に構成することができる。例えば、入力インタフェース23は、ユーザからの様々な入力操作を受け付け、受け付けた入力操作を電気信号に変換し、その電気信号を処理回路24に出力する。
処理回路24は、制御機能24a、取得機能24b、モデル生成機能24c、ノイズ低減処理機能24d、および出力機能24eを実行することによって、情報処理装置20の全体の動作を制御する。例えば、制御機能24aは、入力インタフェース23を介してユーザから受け付けた様々な入力操作に基づいて、取得機能24b、モデル生成機能24c、ノイズ低減処理機能24d、および出力機能24eなどの様々な機能を制御する。取得機能24bは、取得機能144cに対応する機能である。モデル生成機能24cは、モデル生成機能144dに対応する機能である。ノイズ低減処理機能24dは、ノイズ低減処理機能144eに対応する機能である。出力機能24eは、出力機能144fに対応する機能である。
図8に示す情報処理装置20では、それぞれの処理機能は、コンピュータによって実行可能なコンピュータプログラムの形態でメモリ21に記憶されている。処理回路24は、メモリ21からプログラムを読み出して実行することにより、コンピュータプログラムに対応する機能を実行するプロセッサである。換言すれば、コンピュータプログラムを読み出した処理回路24は、読み出したコンピュータプログラムに対応する機能を有する。
なお、図8では、制御機能24a、取得機能24b、モデル生成機能24c、ノイズ低減処理機能24d、および出力機能24eが単一の処理回路24によって実行されるものとして説明したが、処理回路24は、複数の独立したプロセッサを組み合わせることによって構成されてもよく、各プロセッサが各コンピュータプログラムを実行することによって各機能を実行するように構成されてもよい。さらに、処理回路24の各処理機能は、単一の処理回路または複数の処理回路に、適切に分散または統合されることによって実行されてもよい。
さらに、処理回路24は、ネットワークNWを介して接続された外部デバイスのプロセッサを使用することによって機能を実行してもよい。例えば、処理回路24は、機能に対応するコンピュータプログラムをメモリ21から読み出して実行し、ネットワークNWを介して情報処理装置20に接続されたサーバ群(クラウド)を計算資源として使用することにより、図8に示す機能を実行する。
例えば、X線CT装置10などの医用画像診断装置により実行されるイメージングによって得られるノイズ生成のための被検体から取得されるデータに基づいて、取得機能24bは、ノイズ生成のために被検体から取得されるデータのノイズデータを取得する。さらに、医用画像診断装置により実行されるイメージングによって得られる第1の被検体データ、およびノイズ生成のために被検体から取得されるデータのノイズデータに基づいて、取得機能24bは、ノイズデータに基づくノイズが第1の被検体データに追加された合成被検体データを取得する。さらに、モデル生成機能24cは、合成被検体データ、および医用画像診断装置により実行されるイメージングによって得られる第2の被検体投影データを使用して、機械学習によりノイズ低減処理モデルを得る。さらに、ノイズ低減処理機能24dは、ノイズ低減処理モデルによって、X線CT装置10などの医用画像診断装置により実行されるイメージングによって得られる入力被検体データに対するノイズを低減することにより、ノイズ除去されたデータを得る。さらに、出力機能24eは、ノイズ除去されたデータに基づく画像を出力する。
別の実施形態では、図4Aに示すノイズプール141aに記憶されるノイズデータを生成する際に、上述したノイズブロックに加えて、ノイズモデルから生成されたノイズブロックを含めることもできる。ノイズモデルには、ポアソンノイズモデルおよび/またはガウスノイズモデルを使用して画像ノイズをシミュレーションすることができる。ノイズデータは、図3Aに示す方法を使用して患者CT画像データから生成したノイズデータ、図3Bに示す方法を使用して水ファントム画像データから生成されたノイズデータ、および上述のノイズモデルのうち少なくとも1つから生成されたノイズデータ、のうちの少なくとも2つを組み合わせることよって得ることができる。ノイズモデルの1つから生成されたノイズブロックについても、スケーリングファクタを使用して、上述したDCNNをトレーニングするためのデータにおける入力画像のノイズレベルおよびノイズ特徴の多様性を高めるように、様々なノイズデータを生成することができる。
前述の実施形態に係る方法では、1つのDCNNをトレーニングする際に使用するためのトレーニングデータとして、全ての画像をターゲットとするのではなく、特定の部位(胸部、腹部、頭部など)を撮影することによって取得した画像のみをターゲットとしてもよい。このような場合、DCNNは部位ごとに提供される。あるいは、特定の診断目的のためのイメージングパラメータ/再構成パラメータ(スキャンプロトコル)を使用して取得される画像のみをターゲットとしてもよい。このような場合、DCNNを部位ごと、または診断目的ごと、例えばスキャンプロトコルごとに用意してメモリに記憶し、イメージング時に選択された部位および診断目的(スキャンプロトコル)に応じて医用画像診断装置がトレーニング済みDCNNを選択し、スキャンプロトコルによって取得した画像に対して選択されたDCNNでノイズ低減プロセスを実行する。このようにすることによって、より特定の部位または診断目的(スキャンプロトコル)に特有のノイズに特化したDCNNで、効果的なノイズ低減を実現することが可能である。
上記の説明で使用した「プロセッサ」という用語は、例えば、CPU、グラフィック処理ユニット(Graphics Processing Unit:GPU)、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、(例えば、単純プログラマブルロジックデバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、およびフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))などの回路を意味する。プロセッサが例えばCPUである場合、プロセッサは記憶回路に記憶されたコンピュータプログラムを読み出して実行することによって、機能を実行する。その一方で、プロセッサが例えばASICの場合、コンピュータプログラムを記憶回路に記憶する代わりに、その機能がプロセッサの回路に論理回路として直接組み込まれる。なお、実施形態の各プロセッサは、各プロセッサが単一の回路として構成される場合に限定されず、複数の独立した回路を組み合わせることにより1つのプロセッサを構成して、その機能を実行してもよい。さらに、各図面における複数の構成要素を1つのプロセッサに統合して、その機能を実行してもよい。
さらに、図1Aでは、単一のメモリ141が、処理回路144のそれぞれの処理機能に対応するコンピュータプログラムを記憶するものとして説明されている。さらに、図8では、単一のメモリ21が、処理回路24のそれぞれの処理機能に対応するコンピュータプログラムを記憶するものとして説明されている。しかし、実施形態はこれに限定されるものではない。例えば、複数のメモリ141が分散して配置されてもよく、処理回路144が個別のメモリ141から対応するプログラムを読み出すように構成されてもよい。同様に、複数のメモリ21が分散して配置されてもよく、処理回路24が個別のメモリ21から対応するコンピュータプログラムを読み出すように構成されてもよい。さらに、コンピュータプログラムをメモリ141またはメモリ21に記憶する代わりに、コンピュータプログラムをプロセッサの回路に直接組み込んでもよい。このような場合、プロセッサは、回路に組み込まれたコンピュータプログラムを読み出して実行し、その機能を実行する。
前述の実施形態に係る各装置の各構成要素は、機能的概念であり、必ずしも図面に示したように物理的に構成されている必要はない。すなわち、各装置の具体的な分散および統合の形態は図面に示したものに限定されず、その全てまたは一部を、様々な負荷、使用状況などに応じて、任意の単位で機能的または物理的に分散および統合することができる。さらに、各装置によって実行される処理機能の全てまたは一部は、CPUおよびCPUにより解析実行されるコンピュータプログラムによって実行されてもよいし、ワイヤードロジックベースのハードウェアとして実行されてもよい。
さらに、前述の実施形態で説明した情報処理方法は、予め用意された情報処理プログラムをパーソナルコンピュータおよびワークステーションなどのコンピュータで実行することによって実現することができる。情報処理プログラムは、インターネットなどのネットワークを介して配布することができる。さらに、情報処理プログラムは、ハードディスク、フレキシブルディスク(Flexible Disk:FD)、CD-ROM、MO、およびDVDなどの非一時的コンピュータ可読記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することができる。
上述した少なくとも1つの実施形態によれば、高品質なノイズ低減処理モデルを容易に取得することが可能である。
いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、実施形態同士の組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
10 X線CT装置
141 メモリ
144 処理回路
144c 取得機能
144d モデル生成機能

Claims (22)

  1. 医用画像診断装置により実行されるイメージングによって取得される情報を処理するための情報処理方法であって、
    第1の平面における第1の断面積を有する埋め込まれた3次元特徴を有する少なくとも1つの3次元物体を含むトレーニング画像ボリュームを取得するステップと、
    第2の平面における前記3次元特徴の前記第1の断面積よりも大きい第2の断面積を選択するステップと、
    前記トレーニング画像ボリュームから生成された前記第2の断面積の画像を用いてニューラルネットワークをトレーニングするステップと、
    を含む、情報処理方法。
  2. 前記第1の平面は前記第2の平面と直交する、請求項1に記載の情報処理方法。
  3. 前記第2の断面積を選択するステップは、前記埋め込まれた3次元特徴の最大断面積を前記第2の断面積として選択することを含む、請求項1に記載の情報処理方法。
  4. 前記埋め込まれた3次元特徴はステントである、請求項1に記載の情報処理方法。
  5. 前記トレーニング画像ボリュームはCT投影データから再構成された画像データを含む、請求項1に記載の情報処理方法。
  6. 医用画像診断装置により実行されるイメージングによって取得される情報を処理するための情報処理方法であって、
    トレーニングデータの第1のセットを取得するステップと、
    前記トレーニングデータの第1のセットから組織密度情報の第1の分布を決定するステップと、
    前記組織密度情報の第1の分布をシフトさせる組織密度シフティングプロセスおよび前記組織密度情報の第1の分布をスケーリングする組織密度スケーリングプロセスの少なくとも1つを実行することによって、前記トレーニングデータの第1のセットからトレーニングデータの第2のセットを生成するステップと、
    前記トレーニングデータの前記第1のセットおよび前記第2のセットを用いてニューラルネットワークをトレーニングして、トレーニング済みニューラルネットワークを取得するステップと、
    を含む、情報処理方法。
  7. 前記組織密度情報はハウンズフィールドユニット(Houndsfield Unit:HU)で表される、請求項6に記載の情報処理方法。
  8. 前記トレーニングデータの前記第2のセットを生成する前記ステップは、前記組織密度シフティングプロセスを実行することを含む、請求項6に記載の情報処理方法。
  9. 前記トレーニングデータの前記第2のセットを生成する前記ステップは、前記組織密度スケーリングプロセスを実行することを含む、請求項6に記載の情報処理方法。
  10. 前記トレーニングデータの前記第1のセットおよび前記第2のセットのうちの少なくとも1つを劣化させて、劣化したトレーニングデータの第3のセットを生成するステップを更に含み、
    前記トレーニング済みニューラルネットワークを取得する前記ステップは、前記ニューラルネットワークを前記トレーニングデータの前記第1のセット、前記第2のセット、および前記第3のセットを用いてトレーニングして、前記トレーニング済みニューラルネットワークを取得することを含む、請求項6に記載の情報処理方法。
  11. 前記トレーニングデータの前記第1のセットはCTデータを含む、請求項6に記載の情報処理方法。
  12. 医用画像診断装置により実行されるイメージングによって取得される情報を処理する情報処理装置であって、
    第1の平面における第1の断面積を有する埋め込まれた3次元特徴を有する少なくとも1つの3次元物体を含むトレーニング画像ボリュームを取得し、
    第2の平面における前記3次元特徴の前記第1の断面積よりも大きい第2の断面積を選択し、
    前記トレーニング画像ボリュームから生成された前記第2の断面積の画像を用いてニューラルネットワークをトレーニングする処理回路、
    を含む、情報処理装置。
  13. 前記第1の平面は前記第2の平面と直交する、請求項12に記載の情報処理装置。
  14. 前記処理回路は、前記埋め込まれた3次元特徴の最大断面積を前記第2の断面積として選択する、請求項12に記載の情報処理装置。
  15. 前記埋め込まれた3次元特徴はステントである、請求項12に記載の情報処理装置。
  16. 前記トレーニング画像ボリュームはCT投影データから再構成された画像データを含む、請求項12に記載の情報処理装置。
  17. 医用画像診断装置により実行されるイメージングによって取得される情報を処理する情報処理装置であって、
    トレーニングデータの第1のセットを取得し、
    前記トレーニングデータの第1のセットから組織密度情報の第1の分布を決定し、
    前記組織密度情報の第1の分布をシフトさせる組織密度シフティングプロセスおよび前記組織密度情報の第1の分布をスケーリングする組織密度スケーリングプロセスの少なくとも1つを実行することによって、前記トレーニングデータの第1のセットからトレーニングデータの第2のセットを生成し、
    前記トレーニングデータの前記第1のセットおよび前記第2のセットを用いてニューラルネットワークをトレーニングして、トレーニング済みニューラルネットワークを取得する処理回路、
    を含む、情報処理装置。
  18. 前記組織密度情報はハウンズフィールドユニット(Houndsfield Unit:HU)で表される、請求項17に記載の情報処理装置。
  19. 前記処理回路は、前記組織密度シフティングプロセスを実行することを含む、請求項17に記載の情報処理装置。
  20. 前記処理回路は、前記組織密度スケーリングプロセスを実行することを含む、請求項17に記載の情報処理装置。
  21. 前記処理回路は、前記トレーニングデータの前記第1のセットおよび前記第2のセットのうちの少なくとも1つを劣化させて、劣化したトレーニングデータの第3のセットを更に生成し、
    前記ニューラルネットワークを前記トレーニングデータの前記第1のセット、前記第2のセット、および前記第3のセットを用いてトレーニングして、前記トレーニング済みニューラルネットワークを取得する、
    請求項17に記載の情報処理装置。
  22. 前記トレーニングデータの第1のセットはCTデータを含む、請求項17に記載の情報処理装置。
JP2023065211A 2022-04-12 2023-04-12 情報処理方法及び情報処理装置 Pending JP2023156267A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/718,898 2022-04-12
US17/718,898 US20230326596A1 (en) 2022-04-12 2022-04-12 Information processing method, medical image diagnostic apparatus, and information processing system

Publications (1)

Publication Number Publication Date
JP2023156267A true JP2023156267A (ja) 2023-10-24

Family

ID=88239802

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023065211A Pending JP2023156267A (ja) 2022-04-12 2023-04-12 情報処理方法及び情報処理装置

Country Status (2)

Country Link
US (1) US20230326596A1 (ja)
JP (1) JP2023156267A (ja)

Also Published As

Publication number Publication date
US20230326596A1 (en) 2023-10-12

Similar Documents

Publication Publication Date Title
JP7433883B2 (ja) 医用装置及びプログラム
JP7455622B2 (ja) 医用画像処理装置及び学習用画像の取得方法
US10213179B2 (en) Tomography apparatus and method of reconstructing tomography image
US9576391B2 (en) Tomography apparatus and method of reconstructing a tomography image by the tomography apparatus
US10937209B2 (en) Tomography imaging apparatus and method of reconstructing tomography image
EP2910190A1 (en) Tomography apparatus and method for reconstructing tomography image thereof
US10565744B2 (en) Method and apparatus for processing a medical image to reduce motion artifacts
KR101775556B1 (ko) 단층 촬영 장치 및 그에 따른 단층 영상 처리 방법
JP2016152916A (ja) X線コンピュータ断層撮像装置及び医用画像処理装置
JP2021013729A (ja) X線システム、画像処理装置及びプログラム
KR101665513B1 (ko) 컴퓨터 단층 촬영 장치 및 그에 따른 ct 영상 복원 방법
US10013778B2 (en) Tomography apparatus and method of reconstructing tomography image by using the tomography apparatus
JP2021013737A (ja) X線システム及び撮像プログラム
US11350895B2 (en) System and method for spectral computed tomography using single polychromatic x-ray spectrum acquisition
US20220375038A1 (en) Systems and methods for computed tomography image denoising with a bias-reducing loss function
JP2023156267A (ja) 情報処理方法及び情報処理装置
JP7454435B2 (ja) 医用画像処理装置および医用画像処理方法
US20220139006A1 (en) Information processing method, medical image diagnostic apparatus, and information processing system
US11672498B2 (en) Information processing method, medical image diagnostic apparatus, and information processing system
KR20180003400A (ko) 의료 영상 처리 장치 및 방법
JP2023107528A (ja) 情報処理方法、医用画像診断装置及び情報処理システム
WO2016186746A1 (en) Methods and systems for automatic segmentation
CN112215910A (zh) X射线系统、图像处理装置及程序
US20230380788A1 (en) Information processing method, medical image diagnostic apparatus, and information processing system for processing metal artifact images
US20240032877A1 (en) Information processing method, medical image diagnostic apparatus, and information processing system for detecting a quiescent cardiac phase