JP2022161004A - 医用データ処理方法、モデル生成方法、医用データ処理装置、および医用データ処理プログラム - Google Patents

医用データ処理方法、モデル生成方法、医用データ処理装置、および医用データ処理プログラム Download PDF

Info

Publication number
JP2022161004A
JP2022161004A JP2022045371A JP2022045371A JP2022161004A JP 2022161004 A JP2022161004 A JP 2022161004A JP 2022045371 A JP2022045371 A JP 2022045371A JP 2022045371 A JP2022045371 A JP 2022045371A JP 2022161004 A JP2022161004 A JP 2022161004A
Authority
JP
Japan
Prior art keywords
image
data
resolution
noise
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022045371A
Other languages
English (en)
Inventor
正和 松浦
Masakazu Matsuura
拓也 根本
Takuya Nemoto
博基 田口
Hiromoto Taguchi
ツ-チェン・リー
Tzu-Cheng Lee
ジエン・ジョウ
Jian Zhou
リヤン・ツァイ
Liang Cai
ジョウ・ユウ
Yu Zou
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Publication of JP2022161004A publication Critical patent/JP2022161004A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/008Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

【課題】医用画像における物体の視認性と画質を向上させた医用画像を生成すること。【解決手段】実施形態に係る医用データ処理方法は、医用画像撮像装置により撮像された被検体に関する第1医用データより低ノイズであって前記第1医用データより超解像の第2医用データを前記第1医用データに基づいて生成する学習済みモデルに対して、前記第1医用データを入力することで、前記第2医用データを出力する。【選択図】図1

Description

本明細書及び図面に開示の実施形態は、医用データ処理方法、モデル生成方法、医用データ処理装置、および医用データ処理プログラムに関する。本開示は、一般に医用画像処理および画像診断の分野に関し、特に、深層学習モデルを用いてコンピュータ断層撮影(Computer Tomography:CT)画像の空間分解能を向上することに関する。
従来、例えば、X線コンピュータ断層撮影(Computed Tomography:CT)装置によるCT検査において、肺野および骨では緻密な構造を見る必要がある。このため、肺野および骨に関するCT検査において、X線CT装置により再構成されたCT画像では、他の部位に比べてより高い空間分解能が求められる。このとき、例えば、FBP(filtered back projection)ベースの再構成法では、高周波を増強する再構成関数を用いることで、再構成されたCT画像における空間分解能を向上させる等の技術がある。また、近年では、Deep learningを用いた学習済みモデルにおいて、空間分解能の向上を目的とした超解像技術が提案されている。
しかしながら、再構成関数を用いたFBPベースの空間分解能の向上技術では、再構成されたCT画像の全体に亘って高周波成分が強調される。このため、FBPベースの空間分解能の向上技術では、ノイズも同時に強調され、再構成されたCT画像における解剖学的構造の視認性が悪くなることがある。一方、Deep learningによる学習済みモデルを用いた超解像のCT画像では、選択的に解剖学的構造の分解能を向上することができ,上記FBPベースの再構成法の問題点を解決することができる。
また、X線CT装置により低線量で投影データが収集された場合、当該投影データにおいては、高線量で収集された投影データに比べて、ノイズが多くなる。このため、上記超解像により分解能向上を行ったとしても、超解像のCT画像ではノイズにより解剖学的構造の視認性が悪くなることがある。
コンピュータ断層撮影用検出器は、撮影範囲と空間分解能において、小型の検出素子の大きさで広い検出範囲を実現するなど、向上を遂げている。広範囲CT検出システムの長所の一つとして、撮影範囲の拡大が挙げられる。これにより、心臓や脳を含む臓器のより高速なスキャンと動的撮影が可能になる。広範囲CT検出システムは回転当たりの撮影範囲を延長することによって、スキャン時間を短縮し、複数回のデータ収集を不要にする。広範囲CT検出システムを用いることにより、ほんの一瞬のたった1回の回転で、心臓全体、新生児の胸部、さらに足や足首のスキャンを、Z軸上の高い均一性とともに少ない放射線量で収集できる可能性がある。
一方、高空間分解能CTシステムは、例えば、腫瘍分類や病気診断等において向上可能な診断画像を提供する。
しかしながら、広範囲超高分解能(ultra-high resolution:UHR)CT検出システムが商業的に入手可能であるとしても、そのシステムコストは高価であり、複雑な信号処理や画像再構成に関連した問題が生じる可能性がある。広範囲超高分解能CT検出システムには、より広い撮影範囲と高い分解能という利点はあるものの、商業的な環境では高いコストや複雑性という欠点が利点を上回ることもあり得る。
超解像(super-resolution:SR)技術とは、撮像システムの分解能を向上させる技術である。SRは、撮像システムの分解能を、低解像度画像から高解像度情報を復元することによって向上させる。SRのアルゴリズムには、予測モデルベースモデル、エッジベースモデル、画像統計ベースモデル、例ベースモデルの4つのカテゴリがある。当該技術分野において、従来の方法よりも優れた画質と早い処理速度を実現可能な深層畳み込みニューラルネットワーク(deep convolution neural network: DCNN)ベースのSR手法が求められている。
特開2019-212050号公報 米国特許出願公開第2013/051519号明細書
本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、医用画像における解剖学的特徴などの物体の視認性を向上し、かつ画質を向上させた医用画像を生成することである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。
実施形態に係る医用データ処理方法は、医用画像撮像装置により撮像された被検体に関する第1医用データより低ノイズであって前記第1医用データより超解像の第2医用データを前記第1医用データに基づいて生成する学習済みモデルに対して、前記第1医用データを入力することで、前記第2医用データを出力する。
図1は、実施形態に係るX線CT装置の構成例を示す図。 図2は、実施形態に係るノイズ低減超解像処理の手順の一例を示すフローチャート。 図3は、実施形態に係り、医用データを用いたノイズ低減超解像処理の概要を示す図。 図4は、実施形態に係り、医用データの一例として投影データを用いたノイズ低減超解像処理の概要を示す図。 図5は、実施形態に係り、医用データの一例として再構成画像を用いたノイズ低減超解像処理の概要を示す図。 図6は、実施形態に係り、ノイズ低減超解像モデルの生成に関する学習装置の構成の一例を示す図。 図7は、実施形態に係り、第1訓練データと第2訓練データとを用いてDCNNを学習することによりノイズ低減超解像モデルを生成する処理の手順の一例を示すフローチャート。 図8は、実施形態に係り、モデル生成処理の概要を示す図。 図9は、実施形態に係り、ノイズシミュレーションおよび分解能シミュレーションの対象となるデータの組み合わせの一例を示す図。 図10は、実施形態における図9の(a)に係り、学習済みモデルとなるノイズ低減超解像モデルの入出力が投影データとなる場合について、モデル生成処理の概要を示す図。 図11は、実施形態における図9の(a)に係り、学習済みモデルとなるノイズ低減超解像モデルの入出力が画像データ(再構成画像)となる場合について、モデル生成処理の概要を示す図。 図12は、実施形態における図9の(b)に係るモデル生成処理の概要を示す図。 図13は、実施形態における図9の(c)に係るモデル生成処理の概要を示す図。 図14は、実施形態における図9の(d)に係るモデル生成処理の概要を示す図。 図15Aは、本開示に例示される実施形態の処理全体の概要を示す図。 図15Bは、本開示の一つ以上の態様に基づき、機械学習モデルの学習段階および推論段階に用いられるハードウェアシステムの概要を示す図。 図16は、本開示の一つ以上の態様に基づき、学習済み深層機械学習モデル(DCNN)を取得し、微調整するためのデータ作成のワークフローを示す図。 図17は、本開示の一つ以上の態様に基づき、広範囲UHR-CT画像に近似させるためのフローチャート。 図18は、本開示の一つ以上の態様に基づき、最適化された学習済みDCNNモデルを取得するための学習フレームワークを示すブロック図。 図19Aは、一実施形態に基づき、フィードフォワード人工ニューラルネットワーク(artificial neural network:ANN)であるDLネットワークの一例を示す図。 図19Bは、一実施形態に基づき、畳み込みニューラルネットワーク(convolutional neural network:CNN)であるDLネットワークの一例を示す図。 図19Cは、一実施形態に基づき、畳み込み層の一つのニューロン・ノードに畳み込み層を実現する一例を示す図。 図19Dは、一実施形態に基づき、ボリューム画像データ用の3チャネル-ボリューム畳み込み層を実現する一例を示す図。 図20は、本開示の一つ以上の態様に基づき、広範囲UHR-CT画像に近似させる第2実施形態の手順を示すフローチャート。 図21は、本開示の一つ以上の態様に基づき、広範囲UHR-CT画像に近似させる第3実施形態の手順を示すフローチャート。 図22は、本開示の一つ以上の態様に基づき、広範囲UHR-CT画像に近似させる第4実施形態の手順を示すフローチャート。 図23は、本開示の一つ以上の態様に基づき、学習済み深層機械学習モデル(DCNN)を取得し、微調整するためのデータ作成のワークフローの第5実施形態を示す図。 図24は、本開示の一つ以上の態様に基づき、広範囲UHR-CT画像に近似するDCNN適用可能画像を取得するための第5実施形態のフローチャート。 図25は、本開示の一つ以上の態様に基づき、モデルを生成し、最適化し、適用することによって、広範囲UHR-CT画像に非常に似たまたは近似するDCNN適用可能画像を生成する少なくとも一つの装置、システム、方法および/または記憶媒体の一つ以上の実施形態と共に利用可能なコンピュータの実施形態を示す概略図。 図26は、本開示の一つ以上の態様に基づき、モデルを生成し、最適化し、適用することによって、広範囲UHR-CT画像に非常に似たまたは近似するDCNN適用可能画像を生成する少なくとも一つの装置、システム、方法および/または記憶媒体の一つ以上の実施形態と共に利用可能なコンピュータの実施形態を示す概略図。 図27は、本開示の別の実施形態に基づき、SR用学習済みモデルの生成方法を示す図。 図28は、本開示の別の実施形態に基づき、推論段階の様々な手順を示すフローチャート。 図29は、本開示の一実施形態に基づくCT撮像装置の概略図。 図30は、本開示の一実施形態に基づき、中間ネットワークに係わるクライアント-サーバ構成を有する医用画像処理システムの一例を示す図。
以下、図面を参照しながら、医用データ処理方法、モデル生成方法、医用データ処理装置、および医用データ処理プログラムを記憶するコンピュータが読取可能な非不揮発性記憶媒体について説明する。以下の実施形態では、同一の参照符号を付した部分は同様の動作をおこなうものとして、重複する説明を適宜省略する。また、説明を具体的にするために、実施形態に係る医用データ処理装置は、医用画像撮像装置に搭載されているものとして説明する。なお、実施形態に係る医用データ処理装置は、医用データ処理方法を実現可能なサーバ装置、換言すれば、医用データ処理プログラムを実行可能なサーバ装置などにより実現されてもよい。
医用データ処理装置は、医用画像撮像装置の一例として、X線コンピュータ断層撮影装置(以下、X線CT(Computed Tomography)装置と呼ぶ)に搭載されているものとして説明する。なお、本医用データ処理装置が搭載される医用画像撮像装置はX線CT装置に限定されず、PET(Positron Emission Tomography)およびSPECT(Single Photon Emission Computed Tomography)などの核医学診断装置、磁気共鳴イメージング装置(以下、MRI(Magnetic Resonance Imaging)装置と呼ぶ)、核医学診断装置とX線CT装置との複合装置、核医学診断装置とMRI装置との複合装置、X線アンギオ装置(Angiography)、X線診断装置などであってもよい。
本実施形態は医用画像における解剖学的特徴などの物体の視認性を向上し、かつ画質を向上させた医用画像を生成することを目的とする。例えば、本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、医用画像における解剖学的特徴などの物体の視認性を向上し、かつ画質を向上させた医用画像を生成することにある。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。以下の実施形態で説明する医用データ処理方法は、医用画像撮像装置により撮像された被検体に関する第1医用データを取得し、前記第1医用データより低ノイズであって前記第1医用データより超解像の第2医用データを前記第1医用データに基づいて生成する学習済みモデルに対して、前記第1医用データを入力することで、前記第2医用データを出力する。
(実施形態)
図1は、実施形態に係るX線CT装置1の構成例を示す図である。図1に示すように、X線CT装置1は、ガントリとも称される架台装置10と、寝台装置30と、コンソール装置40とを有する。本実施形態における医用データ処理装置は、図1に示すコンソール装置40において、例えば、システム制御機能441と前処理機能442とを除外した構成に相当する。なお、本実施形態における医用データ処理装置は、図1に示すコンソール装置40における構成要素から適宜不要な構成を除いたものであってもよい。なお、本実施形態では、非チルト状態での回転フレーム13の回転軸の長手方向をZ軸方向、Z軸方向に直交しかつ回転中心から回転フレーム13を支持する支柱に向かう方向をX軸、当該Z軸及びX軸と直交する方向をY軸とそれぞれ定義するものとする。図1では、説明の都合上、架台装置10を複数描画しているが、実際のX線CT装置1の構成としては、架台装置10は、一つである。
架台装置10及び寝台装置30は、コンソール装置40を介した操作者からの操作、或いは架台装置10、又は寝台装置30に設けられた操作部を介した操作者からの操作に基づいて動作する。架台装置10と、寝台装置30と、コンソール装置40とは互いに通信可能に有線または無線で接続されている。
架台装置10は、被検体PにX線を照射し、被検体Pを透過したX線の検出データから投影データを収集する撮影系を有する装置である。架台装置10は、X線管11と、X線検出器12と、回転フレーム13と、X線高電圧装置14と、制御装置15と、ウェッジ16と、コリメータ17と、DAS(Data Acquisition System)18とを有する。
X線管11は、X線高電圧装置14からの高電圧の印加及びフィラメント電流の供給により、陰極(フィラメント)から陽極(ターゲット)に向けて熱電子を照射することでX線を発生する真空管である。熱電子がターゲットに衝突することによりX線が発生される。X線管11における管球焦点で発生したX線は、X線管11におけるX線放射窓を通過して、コリメータ17を介して例えばコーンビーム形に成形され、被検体Pに照射される。X線管11には、例えば、回転する陽極に熱電子を照射することでX線を発生させる回転陽極型のX線管がある。
X線検出器12は、X線管11から照射され、被検体Pを通過したX線を検出し、当該X線量に対応した電気信号をDAS18へと出力する。X線検出器12は、例えば、X線管11の焦点を中心として1つの円弧に沿ってチャネル方向に複数の検出素子が配列された複数の検出素子列を有する。X線検出器12は、例えば、当該検出素子列がスライス方向(列方向、row方向)に複数配列された構造を有する。なお、X線CT装置1には、例えば、X線管11とX線検出器12とが一体として被検体Pの周囲を回転するRotate/Rotate-Type(第3世代CT)、リング状にアレイされた多数のX線検出素子が固定され、X線管11のみが被検体Pの周囲を回転するStationary/Rotate-Type(第4世代CT)等様々なタイプがあり、いずれのタイプでも本実施形態へ適用可能である。
また、X線検出器12は、例えば、グリッドと、シンチレータアレイと、光センサアレイとを有する間接変換型の検出器である。シンチレータアレイは、複数のシンチレータを有し、シンチレータは入射X線量に応じた光子量の光を出力するシンチレータ結晶を有する。グリッドは、シンチレータアレイのX線入射側の面に配置され、散乱X線を吸収する機能を有するX線遮蔽板を有する。なお、グリッドはコリメータ(1次元コリメータ又は2次元コリメータ)と呼ばれる場合もある。光センサアレイは、シンチレータからの光量に応じた電気信号に変換する機能を有し、例えば、光電子増倍管(フォトマルチプライヤー:PMT)等の光センサを有する。なお、X線検出器12は、入射したX線を電気信号に変換する半導体素子を有する直接変換型の検出器であっても構わない。また、X線検出器12は、光子計数型X線検出器であってもよい。X線検出器12は、X線検出部の一例である。
回転フレーム13は、X線管11とX線検出器12とを対向支持し、後述する制御装置15によってX線管11とX線検出器12とを回転させる円環状のフレームである。なお、回転フレーム13は、X線管11とX線検出器12に加えて、X線高電圧装置14やDAS18を更に備えて支持する。回転フレーム13は架台装置10の非回転部分(例えば固定フ レーム。図1での図示は省略している)により回転可能に支持される。回転機構は例えば回転駆動力を生ずるモータと、当該回転駆動力を回転フレーム13に伝達して回転させるベアリングとを含む。モータは例えば当該非回転部分に設けられ、ベアリングは回転フレーム13及び当該モータと物理的に接続され、モータの回転力に応じて回転フレームが回転する。
回転フレーム13と非回転部分にはそれぞれ、非接触方式または接触方式の通信回路が設けられ、これにより回転フレーム13に支持されるユニットと当該非回転部分あるいは架台装置10の外部装置との通信が行われる。例えば非接触の通信方式として光通信を採用する場合、DAS18が生成した検出データは、回転フレーム13に設けられた発光ダイオード(LED)を有する送信機から光通信によって架台装置10の非回転部分に設けられた、フォトダイオードを有する受信機に送信され、さらに送信器により当該非回転部分からコンソール装置40へと転送される。なお通信方式としては、この他に容量結合式や電波方式などの非接触型のデータ伝送の他、スリップリングと電極ブラシを使った接触型のデータ伝送方式を採用しても構わない。また、回転フレーム13は、回転部の一例である。
X線高電圧装置14は、変圧器(トランス)及び整流器等の電気回路を有し、X線管11に印加する高電圧及びX線管11に供給するフィラメント電流を発生する機能を有する高電圧発生装置と、X線管11が照射するX線に応じた出力電圧の制御を行うX線制御装置とを有する。高電圧発生装置は、変圧器方式であってもよいし、インバータ方式であっても構わない。なお、X線高電圧装置14は、回転フレーム13に設けられてもよいし、架台装置10の固定フレーム側に設けられても構わない。また、X線高電圧装置14は、X線高電圧部の一例である。
制御装置15は、CPU(Central Processing Unit)等を有する処理回路と、モータ及びアクチュエータ等の駆動機構とを有する。制御装置15は、コンソール装置40若しくは架台装置10に取り付けられた入力インターフェースからの入力信号を受けて、架台装置10及び寝台装置30の動作制御を行う機能を有する。例えば、制御装置15は、入力信号を受けて回転フレーム13を回転させる制御や、架台装置10をチルトさせる制御、及び寝台装置30及び天板33を動作させる制御を行う。なお、架台装置10をチルトさせる制御は、架台装置10に取り付けられた入力インターフェースによって入力される傾斜角度(チルト角度)情報により、制御装置15がX軸方向に平行な軸を中心に回転フレーム13を回転させることによって実現される。
なお、制御装置15は架台装置10に設けられてもよいし、コンソール装置40に設けられても構わない。なお、制御装置15は、メモリにプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むように構成しても構わない。また、制御装置15は、制御部の一例である。
ウェッジ16は、X線管11から照射されたX線のX線量を調節するためのフィルタである。具体的には、ウェッジ16は、X線管11から被検体Pへ照射されるX線が、予め定められた分布になるように、X線管11から照射されたX線を透過して減衰するフィルタである。ウェッジ16は、例えば、ウェッジフィルタ(wedge filter)またはボウタイフィルタ(bow-tie filter)であり、所定のターゲット角度や所定の厚みとなるようにアルミニウムを加工したフィルタである。
コリメータ17は、ウェッジ16を透過したX線をX線照射範囲に絞り込むための鉛板等であり、複数の鉛板等の組み合わせによってスリットを形成する。なお、コリメータ17は、X線絞りと呼ばれる場合もある。
DAS18は、X線検出器12の各X線検出素子から出力される電気信号に対して増幅処理を行う増幅器と、電気信号をデジタル信号に変換するA/D変換器とを有し、検出データを生成する。DAS18が生成した検出データは、処理回路44へ転送される。検出データは、純生データと称されてもよい。また、DAS18はデータ収集部の一例である。
寝台装置30は、スキャン対象の被検体Pを載置、移動させる装置であり、基台31と、寝台駆動装置32と、天板33と、支持フレーム34とを備えている。基台31は、支持フレーム34を鉛直方向に移動可能に支持する筐体である。寝台駆動装置32は、被検体P が載置された天板33を天板33の長軸方向に移動するモータあるいはアクチュエータである。支持フレーム34の上面に設けられた天板33は、被検体Pが載置される板である。なお、寝台駆動装置32は、天板33に加え、支持フレーム34を天板33の長軸方向に移動してもよい。
コンソール装置40は、メモリ41と、ディスプレイ42と、入力インターフェース43と、処理回路44とを有する。メモリ41と、ディスプレイ42と、入力インターフェース43と、処理回路44との間のデータ通信は、例えば、バス(BUS)を介して行われる。なお、コンソール装置40は、架台装置10とは別体として説明するが、架台装置10に、コンソール装置40またはコンソール装置40の各構成要素の一部が含まれてもよい。
メモリ41は、例えば、RAM(Random Access Memory)、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク、SSD(Solid State Drive)等により実現される。メモリ41は、例えば、DAS18から出力された検出データ、前処理機能442により生成された投影データ、再構成処理機能443により再構成された再構成画像を記憶する。再構成画像は、例えば、3次元的なCT画像データ(ボリュームデータ)、もしくは2次元的なCT画像データなどである。
メモリ41は、第1医用データより低ノイズであって当該第1医用データより超解像の第2医用データを第1医用データに基づいて生成する学習済みモデルを記憶する。第1医用データおよび第2医用データは、例えば、再構成処理前の投影データ、または再構成画像に対応する。第1医用データは、医用画像撮像装置により撮像された被検体に関するでーたである。学習済みモデルは、入力された医用データに対して、低ノイズ化および高解像度化を実現するモデルであって、例えば、畳み込みニューラルネットワーク(以下、DCNN(Deep Convolution Neural Network)と呼ぶ)に対する学習により生成される。本実施形態における学習済みモデル(以下、ノイズ低減超解像モデルと呼ぶ)の生成、すなわちDCNNに対する学習は、例えば、学習装置や、各種サーバ装置、医用データ処理装置が搭載された各種モダリティなどにより実現される。生成されたノイズ低減超解像モデルは、例えば、DCNNに対する学習を実施した装置から出力されて、メモリ41に記憶される。ノイズ低減超解像モデルの生成については、後ほど説明する。
メモリ41は、処理回路44により実行されるシステム制御機能441、前処理機能442、再構成処理機能443、画像処理機能444、データ処理機能445各々の実行に関するプログラムを記憶する。メモリ41は、記憶部の一例である。
ディスプレイ42は、各種の情報を表示する。例えば、ディスプレイ42は、処理回路44によって生成された医用画像(CT画像)や、操作者からの各種操作を受け付けるためのGUI(Graphical User Interface)等を出力する。ディスプレイ42としては、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)、CRT(Cathode Ray Tube)ディスプレイ、有機ELディスプレイ(OELD:Organic Electro Luminescence Display)、プラズマディスプレイ又は他の任意のディスプレイが、適宜、使用可能となっている。また、ディスプレイ42は、架台装置10に設けられてもよい。また、ディスプレイ42は、デスクトップ型でもよいし、コンソール装置40本体と無線通信可能なタブレット端末等で構成されることにしても構わない。ディスプレイ42は、表示部の一例である。
入力インターフェース43は、操作者からの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路44に出力する。例えば、入力インターフェース43は、投影データを収集する際の収集条件や、CT画像データを再構成する際の再構成条件、CT画像データに対する後処理に関する画像処理条件等を操作者から受け付ける。当該後処理は、コンソール装置40又は外部のワークステーションのどちらで実施することにしても構わない。また、当該後処理は、コンソール装置40とワークステーションの両方で同時に処理することにしても構わない。ここで定義される後処理とは、再構成処理機能443によって再構成された画像に対する処理を指す概念である。後処理は、例えば、再構成画像のMulti Planar Reconstruction(MPR)表示やボリュームデータのレンダリング等を含む。入力インターフェース43としては、例えば、マウス、キーボード、トラックボール、スイッチ、ボタン、ジョイスティック、タッチパッド及びタッチパネルディスプレイ等が適宜、使用可能となっている。
なお、本実施形態において、入力インターフェース43は、マウス、キーボード、トラックボール、スイッチ、ボタン、ジョイスティック、タッチパッド及びタッチパネルディスプレイ等の物理的な操作部品を備えるものに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路44へ出力する電気信号の処理回路も入力インターフェース43の例に含まれる。また、入力インターフェース43は、入力部の一例である。また、入力インターフェース43は、架台装置10に設けられてもよい。また、入力インターフェース43は、コンソール装置40本体と無線通信可能なタブレット端末等で構成されることにしても構わない。
処理回路44は、例えば、入力インターフェース43から出力される入力操作の電気信号に応じて、X線CT装置1全体の動作を制御する。例えば、処理回路44は、ハードウェア資源として、CPUやMPU、GPU(Graphics Processing Unit)等のプロセッサとROMやRAM等のメモリとを有する。処理回路44は、自身のメモリに展開されたプログラムを実行するプロセッサにより、システム制御機能441、前処理機能442、再構成処理機能443、画像処理機能444、データ処理機能445を実行する。なお、各機能441~445は、単一の処理回路で実現される場合に限らない。複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサがプログラムを実行することにより各機能441~445を実現するものとしても構わない。
システム制御機能441は、入力インターフェース43を介して操作者から受け付けた入力操作に基づいて、処理回路44の各機能を制御する。また、システム制御機能441は、メモリ41に記憶されている制御プログラムを読み出して処理回路44内のメモリ上に展開し、展開された制御プログラムに従ってX線CT装置1の各部を制御する。システム制御機能441は、制御部の一例である。
前処理機能442は、DAS18から出力された検出データに対して対数変換処理やオフセット補正処理、チャネル間の感度補正処理、ビームハードニング補正等の前処理を施した投影データを生成する。前処理機能442は、前処理部の一例である。
再構成処理機能443は、前処理機能442にて生成された投影データに対して、フィルタ補正逆投影法(FBP法:Filtered Back Projection)等を用いた再構成処理を行ってCT画像データ(医用データ)を生成する。再構成処理には、散乱性補正およびビームハードニング補正などの各種補正処理、および再構成条件における再構成関数の適用など、各種処理を有する。なお、再構成処理機能443により実行される再構成処理は、FBP法に限定されず、逐次近似再構成、投影データの入力により再構成画像を出力するディープニューラルネットワークなど、既知の処理が適宜用いられてもよい。再構成処理機能443は、再構成されたCT画像データをメモリ41に格納する。再構成処理機能443は、再構成処理部の一例である。
画像処理機能444は、入力インターフェース43を介して操作者から受け付けた入力操作に基づいて、再構成処理機能443によって生成されたCT画像データを公知の方法により、任意断面の断層像データや3次元画像データに変換する。なお、3次元画像データの生成は再構成処理機能443が直接行なっても構わない。また、画像処理機能444は、画像処理部の一例である。
データ処理機能445は、学習済みモデルであるノイズ低減超解像モデルに対して、第1医用データを入力することで、第1医用データに対して低ノイズ化および高解像度化が実現された第2医用データをノイズ低減超解像モデルから出力する。例えば、ノイズ低減超解像モデルへ入力される第1医用データは、医用画像撮像装置(例えば、X線CT装置1など)による被検体の撮像により収集された再構成前のデータまたは表示処理前のデータである。医用画像撮像装置が再構成を伴って画像を生成する場合、第1医用データは、再構成前のデータであって、例えば、k空間データ、投影データ、またはリストモードデータなどである。また、医用画像撮像装置がX線診断装置である場合、第1医用データは、表示処理前のデータであって、例えば、X線検出器から出力されたデータに相当する。すなわち、第1医用データは、例えば、ローデータに相当する。医用画像撮像装置がX線CT装置1である場合、データ処理機能445は、X線CT装置1による被検体の撮像により収集された第1投影データをノイズ低減超解像モデルに入力し、第1投影データに対して低ノイズ化および高解像度化が実現された第2投影データをノイズ低減超解像モデルから出力する。このとき、第2投影データは、再構成処理機能443により再構成され、第1投影データに基づいて再構成された再構成画像に比べて低ノイズ化および高解像度化された再構成画像が生成される。
また、例えば、ノイズ低減超解像モデルへの入力(第1医用データ)が医用画像撮像装置による被検体Pの撮像により収集されたローデータに基づいて再構成された第1再構成画像である場合、データ処理機能445は、第1再構成画像をノイズ低減超解像モデルに入力し、第1再構成画像に対して低ノイズ化および高解像度化が実現された第2再構成画像を、第2医用データとしてノイズ低減超解像モデルから出力する。
以上のように構成された本実施形態に係るX線CT装置1におけるノイズ低減超解像モデルを用いて、第1医用データから第2医用データを生成する処理(以下、ノイズ低減超解像処理と呼ぶ)について、図2乃至図5を用いて説明する。
図2は、ノイズ低減超解像処理の手順の一例を示すフローチャートである。図3は、医用データを用いたノイズ低減超解像処理の概要を示す図である。図4は、医用データの一例として投影データを用いたノイズ低減超解像処理の概要を示す図である。図5は、医用データの一例として再構成画像を用いたノイズ低減超解像処理の概要を示す図である。
(ノイズ低減超解像処理)
(ステップS201)
処理回路44は、データ処理機能445により、ノイズ低減超解像処理に入力される第1医用データを取得する。第1医用データとして第1投影データが用いられる場合、データ処理機能445は、例えば、被検体Pに対する低線量でのスキャンにより生成された第1投影データ(低分解能、高ノイズ)を、前処理機能442から取得する。また、第1医用データとして第1再構成画像が用いられる場合、データ処理機能445は、例えば、被検体Pに対する低線量でのスキャンによる第1投影データ(低分解能、高ノイズ)に基づいて再構成された第1再構成画像(低分解能、高ノイズ)を、再構成処理機能443から取得する。
なお、ノイズ低減超解像処理の実行がOFFである場合、すなわち学習済みモデル(ノイズ低減超解像モデル)が用いられない場合、再構成処理機能443は、例えば、ノイズ低減処理のみを行う既知の深層学習済みCNN(以下、ノイズ低減モデルと呼ぶ)などにより、医用画像撮像装置による被検体の撮像により収集された収集データ(第1投影データ)に基づいて、第1再構成画像を第1マトリクスサイズで再構成する。第1マトリクスサイズは、例えば、512×512のマトリクスサイズである。また、ノイズ低減超解像処理がONである場合、すなわち学習済みモデル(ノイズ低減超解像モデル)が用いられる場合、再構成処理機能443は、収集データに基づいて、第1再構成画像を、第1マトリクスサイズより大きく第2再構成画像のマトリクスサイズに対応する第2マトリクスサイズで再構成する。第2マトリクスサイズは、例えば、1024×1024のマトリクスサイズ、または2048×2048のマトリクスサイズである。このとき、データ処理機能445は、学習済みモデルに対して、第2マトリクスサイズを有する第1再構成画像を入力することで、第2再構成画像を出力する。
また、被検体Pに対するスキャン時においてノイズ低減超解像処理がOFFの場合、第1マトリクスサイズで、第1再構成画像が生成される。その後、入力インターフェース43を介した操作者の指示によりノイズ低減超解像処理がONにされると、データ処理機能445は、第1再構成画像に関して、第1マトリクスサイズを、第2マトリクスサイズにアップサンプリングする。すなわち、ノイズ低減超解像処理がONにされた時点において、第1マトリクスサイズが第2マトリクスサイズより小さい場合、データ処理機能445は、第1マトリクスサイズを、第2マトリクスサイズにアップサンプリングする。このとき、データ処理機能445は、第2マトリクスサイズを有する第1再構成画像を学習済みモデルに入力し、第2再構成画像を出力する。また、第1マトリクスサイズで第1再構成画像が生成された後、ノイズ低減超解像処理がONにされると、再構成処理機能443は、第1投影データに基づいて、第2マトリクスサイズの第1再構成画像を、第1医用データとして再度再構成してもよい。
また、ノイズ低減超解像処理が医用データ処理装置で実行される場合、データ処理機能445は、ノイズ低減超解像処理におけるノイズ低減超解像モデルに入力されるデータを、医用画像撮像装置または画像保存通信システム(Picture Archiving and Communication Systems:以下、PACSと呼ぶ)などの画像保管サーバから取得する。
(ステップS202)
データ処理機能445は、ノイズ低減超解像モデルをメモリから読み出す。データ処理機能445は、第1医用データを、ノイズ低減超解像モデルに入力する。例えば、第1医用データとして第1投影データが用いられる場合、データ処理機能445は、第1投影データ(低分解能、高ノイズ)を、ノイズ低減超解像モデルに入力する。また、第1医用データとして第1再構成画像が用いられる場合、データ処理機能445は、第1再構成画像(低分解能、高ノイズ)を、ノイズ低減超解像モデルに入力する。
(ステップS203)
データ処理機能445は、ノイズ低減超解像モデルから第2医用データを出力する。例えば、第1医用データとして第1投影データが用いられる場合、データ処理機能445は、ノイズ低減超解像モデルから第2投影データ(高分解能、低ノイズ)を、第2医用データとして出力する。このとき、再構成処理機能443は、第2投影データに基づいて、医用画像である第2再構成画像(高分解能、低ノイズ)を再構成する。また、第1医用データとして第1再構成画像が用いられる場合、データ処理機能445は、第2再構成画像(高分解能、低ノイズ)を、ノイズ低減超解像モデルから、第2医用データとして出力する。
(ステップS204)
システム制御機能441は、第2再構成画像を、ディスプレイ42に表示する。なお、入力インターフェース43を介した操作者の指示により、画像処理機能444は、第2再構成画像に対して各種画像処理を実行してもよい。このとき、システム制御機能441は、画像処理が適用された第2再構成画像を、ディスプレイ42に表示する。
以上に述べた実施形態に係るX線CT装置1は、医用画像撮像装置により撮像された被検体に関する第1医用データより低ノイズであって第1医用データより超解像の第2医用データを第1医用データに基づいて生成する学習済みモデル(ノイズ低減超解像モデル)に対して、第1医用データを入力することで、第2医用データを出力する。例えば、実施形態に係るX線CT装置1において、第1医用データは、医用画像撮像装置による被検体の撮像により収集された収集データであって、第2医用データに基づいて医用画像を生成する。
また、例えば、実施形態に係るX線CT装置1において、第1医用データは、医用画像撮像装置による被検体の撮像により収集された収集データに基づいて再構成された第1再構成画像であって、第2医用データは、第1再構成画像より低ノイズであって第1再構成画像より超解像の第2再構成画像である。このとき、実施形態に係るX線CT装置1は、学習済みモデル(ノイズ低減超解像モデル)が用いられない場合、医用画像撮像装置による被検体の撮像により収集された収集データに基づいて、第1再構成画像を第1マトリクスサイズで再構成し、ノイズ低減超解像モデルが用いられる場合、収集データに基づいて、第1再構成画像を、第1マトリクスサイズより大きく第2再構成画像のマトリクスサイズに対応する第2マトリクスサイズで再構成し、学習済みモデルに対して、第2マトリクスサイズを有する第1再構成画像を入力することで、第2再構成画像を出力する。
なお、実施形態に係るX線CT装置1は、第1再構成画像の第1マトリクスサイズを、第1マトリクスサイズより大きく前記第2再構成画像のマトリクスサイズに対応する第2マトリクスサイズにアップサンプリングし、第2マトリクスサイズを有する第1再構成画像を前記学習済みモデルに入力し、第2再構成画像を出力してもよい。
これらにより、本実施形態に係るX線CT装置1によれば、低線量で取得された医用データに対して、医用画像における空間分解能の向上(超解像)とノイズの低減とを、一つの学習済みモデル(ノイズ低減超解像モデル)により、同時に実現することができる。このため、本実施形態に係るX線CT装置1によれば、医用画像における解剖学的特徴などの物体の視認性を向上し、かつ画質を向上させた医用画像を生成することができる。以上のことから、本実施形態に係るX線CT装置1によれば被検体Pに対する被曝を低減させ、かつ被検体Pに関する画像診断のスループットを向上させることができる。
以下、実施形態で用いられる学習済みモデル(ノイズ低減超解像モデル)の生成について説明する。図6は、ノイズ低減超解像モデルの生成に関する学習装置5の構成の一例を示す図である。なお、学習装置5によるDCNNへの学習を実現する機能は、X線CT装置1などの医用画像撮像装置、または医用データ処理装置に搭載されてもよい。
メモリ51は、処理回路54における訓練データ生成機能543により生成された一対の訓練データのセットを記憶する。また、メモリ51は、訓練データの生成の元となる元データを記憶する。元データは、例えば、ノイズ低減超解像モデルにおける処理対象のデータに関する医用画像撮像装置から取得される。また、メモリ51は、学習対象のDCNNおよび学習済みモデル(ノイズ低減超解像モデル)を記憶する。メモリ51は、処理回路54により実行される訓練データ生成機能543、モデル生成機能544各々の実行に関するプログラムを記憶する。メモリ51は、学習装置5における記憶部の一例である。また、メモリ51を実現するハードウェアなどは、実施形態に記載のメモリ41と同様なため、説明は省略する。
処理回路54は、自身のメモリに展開されたプログラムを実行するプロセッサにより、訓練データ生成機能543、モデル生成機能544を実行する。処理回路54を実現するハードウェアなどは、実施形態に記載の処理回路44と同様なため、説明は省略する。
訓練データ生成機能543は、第2医用データのノイズおよび解像度に対応する第1訓練データを取得する。訓練データ生成機能543は、当該第1訓練データに対してノイズを付加しかつ解像度を低減することにより、収集データのノイズおよび解像度に対応する第2訓練データを生成する。例えば、訓練データ生成機能543は、ノイズシミュレーションを実行することで、第1訓練データに対してノイズを付加する。続いて、訓練データ生成機能543は、解像度シミュレーションを実行することで、ノイズが付加された第1訓練データに対して、解像度を低減させる。なお、第1訓練データに対するノイズシミュレーションと解像度シミュレーションとの実行の順序は、上記説明に限定されず、逆であってもよい。また、ノイズシミュレーションと解像度シミュレーションとは、既知の技術が利用可能であるため、説明は省略する。
これらにより、訓練データ生成機能543は、第1訓練データと対をなす第2訓練データを取得する。第1訓練データは、第2訓練データに対する教師データ(正解データ)に相当する。訓練データ生成機能543は、生成された第1訓練データと第2訓練データとを、メモリ51に記憶させる。訓練データ生成機能543は、上記処理を繰り返すことで、第1訓練データと第2訓練データとを1セットとした複数の訓練データセットを生成し、メモリ51に記憶させる。
モデル生成機能544は、第1訓練データと第2訓練データとを用いて畳み込みニューラルネットワークを訓練することにより、学習済みモデルを生成する。すなわち、モデル生成機能544は、第1訓練データと第2訓練データとを学習対象のDCNNに適用することで、当該DCNNを学習し、ノイズ低減超解像モデルを生成する。
図7は、第1訓練データと第2訓練データとを用いてDCNNを学習することによりノイズ低減超解像モデルを生成する処理(以下、モデル生成処理と呼ぶ)の手順の一例を示すフローチャートである。図8は、モデル生成処理の概要を示す図である。
(モデル生成処理)
(ステップS701)
訓練データ生成機能543は、第1訓練データを取得する。訓練データ生成機能543は、例えば、被検体Pを撮像可能な通常のX線CT装置よりも高い空間分解能を有する医用データを収集可能な画像撮像装置、例えば、光子計数型(Photon Counting)X線CT装置、産業用マイクロCT装置、または高い空間分解能を有するX線検出器(以下、高分解能検出器と呼ぶ)を有する高分解能X線CT装置における高分解能モードでの撮像などにより収集されたデータを、第1訓練データとしてこれらの装置から取得する。高分解能モードとは、高分解能検出器における複数のX線検出素子各々から、データを収集することに相当する。なお、高分解能X線CT装置における第1医用データの収集は、高分解能検出器における複数のX線検出素子において、例えば、互いに隣接する4つのX線検出素子からの出力の平均を収集することに相当する。訓練データ生成機能543は、第1訓練データをメモリ51に保存する。
(ステップS702)
訓練データ生成機能543は、第1訓練データに対してノイズシミュレーションを実行し、高分解能(High Resolution:HR)であって高ノイズ(High Noise:HN)のデータ(以下、HR-HNデータと呼ぶ)を生成する。HR-HNデータは、第1訓練データに対して多くのノイズを有する。換言すれば、第1訓練データは、HR-HNデータに対して低ノイズ(Low Noise:LN)であるHR-LNデータに相当する。HR-HNデータにおけるノイズは、例えば、第1医用データにおけるノイズレベルに相当する。
ノイズシミュレーションは、例えば、ガウシアンノイズに代表される所定の統計モデルに基づくノイズを第1訓練データに付加する方法、DAS18および/またはX線検出器などの検出系に係り事前に学習されたノイズモデルに基づくノイズを第1訓練データに付加する方法などがある。これらの方法は、既知であるため説明は省略する。なお、ノイズシミュレーションは、上記方法に限定されず他の既知の方法で実現されてもよい。
(ステップS703)
訓練データ生成機能543は、HR-HNデータに対して分解能シミュレーションを実行し、低分解能(Low Resolution:LR)であって高ノイズ(HN)のデータ(以下、LR-HNデータと呼ぶ)を、第2訓練データとして生成する。LR-HNデータは、第1訓練データに対して低い分解能を有する。第2訓練データに相当するLR-HNデータにおける分解能は、例えば、第1医用データにおける分解能に相当する。
分解能シミュレーションは、例えば、バイキュービック(Bi-cubic)、バイリニア(Bi-linear)、ボックス(box)、ネイバー(neighbor)などのdown sampleおよび/または up sampleの方法、平滑化フィルタおよび/または先鋭化ファイルを用いた方法、点広がり関数(PSF:Point Spread Function)などの事前モデルを用いた方法、高分解能X線CT装置における高分解能検出器における複数のX線検出素子において例えば互いに隣接する4つのX線検出素子からの出力の平均を収集することなどの収集データ系を模擬したdown sampleなどがある。これらの方法は、既知であるため説明は省略する。なお、分解能シミュレーションは、上記方法に限定されず他の既知の方法で実現されてもよい。
上記説明では、第1訓練データに対してノイズシミュレーションを実行後、分解能シミュレーションを実行する手順として説明しているが、これに限定されない。例えば、訓練データ生成機能543は、第1訓練データに対して分解能シミュレーションを実行することにより、低分解能低ノイズのデータ(以下、LR-LNデータと呼ぶ)を生成し、次いでLR-LNデータに対してノイズシミュレーションを実行して、第2訓練データ(LR-HNデータ)を生成してもよい。
訓練データ生成機能543は、ステップS701乃至ステップS703の処理を繰り返すことにより、第1訓練データと第2訓練データとを1セットとした複数の訓練データセットを生成する。訓練データ生成機能543は、生成された複数の訓練データセットを、メモリ51に記憶させる。なお、訓練データの生成は、後段のステップS704の処理の後に、DCNNに対する学習が収束するまで、繰り返し実行されてもよい。
(ステップS704)
モデル生成機能544は、第1訓練データと第2訓練データとを学習対象のDCNNに適用することで、当該DCNNを学習する。複数の訓練データセットを用いたモデル生成機能544によるDCNNの学習過程は、勾配降下法などの既知の方法が適用可能であるため、説明は省略する。モデル生成機能544は、DCNNに対する学習の収束を契機として、学習されたDCNNを、ノイズ低減超解像モデルとして、メモリ51に記憶する。メモリ51に記憶されたノイズ低減超解像モデルは、例えば、第1訓練データに関する医用画像撮像装置、および/またはノイズ低減超解像モデルを実行する医用データ処理装置などへ、適宜送信される。
以下、ノイズシミュレーションおよび分解能シミュレーションの対象となるデータの一例について説明する。図9は、ノイズシミュレーションおよび分解能シミュレーションの対象となるデータの組み合わせの一例を示す図である。図9における収集データは、医用画像撮像装置などに応じて異なる。収集データは、例えば、X線CT装置1およびX線診断装置などに関しては投影データ、MRI装置に関してはk空間データ、PET装置に関しては、サイノグラムデータまたはリストモードデータなどに相当する。以下、説明を具体的にするために収集データは投影データであるものとして説明する。また、図9における画像データは、例えば、再構成画像である。
以下、図9における(a)について、図10および図11を用いて説明する。図10は、図9における(a)に係り、学習済みモデルとなるノイズ低減超解像モデルの入出力が投影データとなる場合について、モデル生成処理の概要を示す図である。図11は、図9における(a)に係り、学習済みモデルとなるノイズ低減超解像モデルの入出力が画像データ(再構成画像)となる場合について、モデル生成処理の概要を示す図である。図10および図11に示すように、ノイズシミュレーションおよび分解能シミュレーションの対象のデータは、収集データである。
訓練データ生成機能543は、第1投影データを取得する。第1投影データは、第2再構成画像のノイズおよび解像度に対応する再構成前の第1再構成前データに対応する。図10および図11に示すように、第1投影データは、第2医用データに準ずる高分解能および低ノイズの投影データである。図10および図11に示すように、訓練データ生成機能543は、第1投影データに対してノイズシミュレーションを実行し、高分解能高ノイズ(HR-HN)投影データを生成する。次いで、訓練データ生成機能543は、HR-HN投影データに対して分解能シミュレーションを実行し、低分解能および高ノイズの第2投影データを生成する。第2投影データは、第1再構成画像のノイズおよび解像度に対応し、再構成前の第2再構成前データに対応する。
なお、訓練データ生成機能543は、第1投影データに対して分解能シミュレーションを実行し、低分解能低ノイズ(LR-LN)投影データを生成してもよい。このとき、訓練データ生成機能543は、LR-LN投影データに対してノイズシミュレーションを実行し、低分解能および高ノイズの第2投影データを生成する。
図10において、モデル生成機能544は、第1投影データと第2投影データとを用いてDCNNを学習し、ノイズ低減超解像モデルを生成する。このとき、第1投影データは第1訓練データに対応し、第2投影データは第2訓練データに対応する。また、第1投影データは、DCNNに対する学習において、教師データに対応する。図10では、投影データ(収集データ)のドメインにおいてDCNNが学習されることとなる。
図11において、訓練データ生成機能543は、第1投影データを再構成することにより、高分解能及び低ノイズの第1訓練画像を生成する。また、訓練データ生成機能543は、第2投影データを再構成することにより、低分解能及び高ノイズの第2訓練画像を生成する。第2投影データは、第1再構成前データに対してノイズを付加しかつ解像度を低減することにより生成された再構成前の第2再構成前データに対応する。また、再構成前の第2再構成前データは、第1再構成画像のノイズおよび解像度に対応する。第1訓練画像は第1訓練データに対応し、第2訓練画像は第2訓練データに対応する。また、第1訓練画像は、DCNNに対する学習において、教師データに対応する。
図11において、モデル生成機能544は、第1訓練画像と第2訓練画像とを用いてDCNNを学習し、ノイズ低減超解像モデルを生成する。図11では、図10と異なり、画像ドメインにおいてDCNNが学習されることとなる。
以下、図9における(b)について、図12を用いて説明する。図12は、図9における(b)に係るモデル生成処理の概要を示す図である。図9における(b)および図12に示すように、ノイズシミュレーションの対象データは、収集データであって、分解能シミュレーションの対象のデータは、画像データである。
訓練データ生成機能543は、第1投影データを取得する。図12に示すように、第1投影データは、第2医用データに準ずる高分解能および低ノイズの投影データである。図12に示すように、訓練データ生成機能543は、第1投影データを再構成することにより、第1訓練画像を生成する。訓練データ生成機能543は、第1投影データに対してノイズシミュレーションを実行し、HR-HN投影データを生成する。次いで、訓練データ生成機能543は、HR-HN投影データを再構成し、HR-HN再構成画像を生成する。すなわち、訓練データ生成機能543は、第1再構成前データに対してノイズを付加して再構成することにより、第1再構成画像のノイズに対応するノイズ付加画像(HR-HN再構成画像)を生成する。
訓練データ生成機能543は、HR-HN再構成画像に対して分解能シミュレーションを実行し、低分解能および高ノイズの第2訓練画像を生成する。すなわち、訓練データ生成機能543は、ノイズ付加画像に対して解像度を低減することにより、第1再構成画像のノイズおよび解像度に対応する第2訓練画像を生成する。図11と同様に、モデル生成機能544は、第1訓練画像と第2訓練画像とを用いてDCNNを学習し、ノイズ低減超解像モデルを生成する。
以下、図9における(c)について、図13を用いて説明する。図13は、図9における(c)に係るモデル生成処理の概要を示す図である。図9における(c)および図13に示すように、分解能シミュレーションの対象データは、収集データであって、ノイズシミュレーションの対象のデータは、画像データである。
訓練データ生成機能543は、第1投影データを取得する。図13に示すように、第1投影データは、第2医用データに準ずる高分解能および低ノイズの投影データである。図13に示すように、訓練データ生成機能543は、第1投影データを再構成することにより、第1訓練画像を生成する。訓練データ生成機能543は、第1投影データに対して分解能シミュレーションを実行し、LR-LN投影データを生成する。次いで、訓練データ生成機能543は、LR-LN投影データを再構成し、LR-LN再構成画像を生成する。すなわち、訓練データ生成機能543は、第1再構成前データに対して解像度を低減して再構成することにより、第1再構成画像の解像度に対応する低解像画像(LR-LN再構成画像)を生成する。
訓練データ生成機能543は、LR-LN再構成画像に対してノイズシミュレーションを実行し、低分解能および高ノイズの第2訓練画像を生成する。すなわち、訓練データ生成機能543は、低解像画像に対してノイズを付加することにより、第1再構成画像のノイズおよび解像度に対応する第2訓練画像を生成する。図11および図12と同様に、モデル生成機能544は、図13に示すように、第1訓練画像と第2訓練画像とを用いてDCNNを学習し、ノイズ低減超解像モデルを生成する。
以下、図9における(d)について、図14を用いて説明する。図14は、図9における(d)に係るモデル生成処理の概要を示す図である。図9における(d)および図14に示すように、ノイズシミュレーションおよび分解能シミュレーションの対象データは、画像データである。
訓練データ生成機能543は、第1投影データを取得する。図14に示すように、第1投影データは、第2医用データに準ずる高分解能および低ノイズの投影データである。図14に示すように、訓練データ生成機能543は、第1投影データを再構成することにより、第1訓練画像を生成する。訓練データ生成機能543は、第1訓練画像に対して分解能シミュレーションとノイズシミュレーションとを順に実行し、低分解能および高ノイズの第2訓練画像を生成する。すなわち、訓練データ生成機能543は、第1訓練画像に対して解像度を低減してノイズを付加することにより、第1再構成画像のノイズおよび解像度に対応する第2訓練画像を生成する。
なお、図14では、分解能シミュレーションに続いてノイズシミュレーションを実行する手順が示されているが、これに限定されない。すなわち、訓練データ生成機能543は、第1訓練画像に対してノイズシミュレーションを実行し、次いで分解能シミュレーションを実行して、第2訓練画像を生成してもよい。図11乃至図13と同様に、モデル生成機能544は、図14に示すように、第1訓練画像と第2訓練画像とを用いてDCNNを学習し、ノイズ低減超解像モデルを生成する。
以上に述べた実施形態に係る学習装置5により実現されるモデル生成方法は、第2医用データのノイズおよび解像度に対応する第1訓練データに対してノイズを付加しかつ解像度を低減することにより、収集データのノイズおよび解像度に対応する第2訓練データを生成し、第1訓練データと第2訓練データとを用いて畳み込みニューラルネットワークを訓練することにより、学習済みモデルを生成する。例えば、本モデル生成方法は、第2再構成画像のノイズおよび解像度に対応する再構成前の第1再構成前データに基づいて、第1訓練画像を再構成し、第1再構成前データに対してノイズを付加しかつ解像度を低減することにより、第1再構成画像のノイズおよび解像度に対応し、再構成前の第2再構成前データを生成し、第2再構成前データに基づいて第2訓練画像を再構成し、第1訓練画像と第2訓練画像とを用いて畳み込みニューラルネットワークを訓練することにより、学習済みモデルを生成してもよい。
また、本学習装置5により実現されるモデル生成方法は、第2再構成画像のノイズおよび解像度に対応する再構成前の第1再構成前データに基づいて、第1訓練画像を再構成し、第1再構成前データに対してノイズを付加して再構成することにより、第1再構成画像のノイズに対応するノイズ付加画像を生成し、ノイズ付加画像に対して解像度を低減することにより、第1再構成画像のノイズおよび解像度に対応する前記第2訓練画像を生成し、第1訓練画像と第2訓練画像とを用いて畳み込みニューラルネットワークを訓練することにより、学習済みモデルを生成してもよい。
また、本学習装置5により実現されるモデル生成方法は、第1再構成前データに対して解像度を低減して再構成することにより、第1再構成画像の解像度に対応する低解像画像を生成し、低解像画像に対してノイズを付加することにより、第1再構成画像のノイズおよび解像度に対応する前記第2訓練画像を生成し、第1訓練画像と第2訓練画像とを用いて畳み込みニューラルネットワークを訓練することにより、学習済みモデルを生成してもよい。
また、本学習装置5により実現されるモデル生成方法は、第2再構成画像のノイズおよび解像度に対応する再構成前の第1再構成前データに基づいて、第1訓練画像を再構成し、第1訓練画像に対してノイズを付加して解像度を低減することにより、第1再構成画像のノイズおよび解像度に対応する第2訓練画像を生成し、第1訓練画像と第2訓練画像とを用いて畳み込みニューラルネットワークを訓練することにより、学習済みモデルを生成する。
これらのことから、本学習装置5により実現されるモデル生成方法によれば、低線量で取得された医用データに対して、医用画像における空間分解能の向上(超解像)とノイズの低減と同時に実現可能な一つの学習済みモデル(ノイズ低減超解像モデル)を生成することができる。また、本モデル生成方法によれば、収集データおよび画像データなどの訓練データの種別によらず、ノイズ低減超解像モデルを生成することができる。以上のことから、本モデル生成方法によれば、医用画像における解剖学的特徴などの物体の視認を向上し、かつ画質を向上させた医用画像を生成可能な学習済みモデルを生成することができる。
(変形例)
なお、本実施形態における変形例として、学習装置5は、超解像を実現する学習済みモデル(以下、超解像モデルと呼ぶ)として、DCNNを訓練してもよい。このとき、超解像モデルは、ノイズ低減の作用を有さないものとなる。この場合、図8乃至図14におけるノイズシミュレーションは不要となる。また、本変形例においては、モデル生成機能544は、図11乃至図14に示すように、画像ドメインにおいて学習を実行する。すなわち、超解像モデルは、医用データ処理装置において、画像ドメインで実行されることとなる。
本変形例における超解像モデルを適用する場合、再構成処理機能443は、例えば、1024×1024のマトリクスサイズで再構成画像を生成する。データ処理機能445は、1024×1024のマトリクスサイズで再構成画像を、超解像モデルに入力することで、当該再構成画像の超解像画像を生成する。また、本変形例における超解像モデルを適用しない場合、再構成処理機能443は、例えば、512×512のマトリクスサイズで再構成画像を生成する。このとき、データ処理機能445は、512×512のマトリクスサイズで再構成画像を、ノイズ低減モデルに入力することで、当該再構成画像のノイズ低減画像を生成してもよい。
実施形態における技術的思想を医用データ処理装置で実現する場合、医用データ処理装置は、医用画像撮像装置により撮像された被検体に関する第1医用データより低ノイズであって第1医用データより超解像の第2医用データを第1医用データに基づいて生成する学習済みモデル(ノイズ低減超解像モデル)に対して、第1医用データを入力することで、第2医用データを出力する処理回路44を有する。医用データ処理装置により実行されるノイズ低減超解像処理の手順および効果は、実施形態と同様なため、説明は省略する。
本実施形態における技術的思想を医用データ処理プログラムで実現する場合、医用データ処理プログラムは、コンピュータに、医用画像撮像装置により撮像された被検体に関する第1医用データより低ノイズであって第1医用データより超解像の第2医用データを第1医用データに基づいて生成する学習済みモデル(ノイズ低減超解像モデル)に対して、第1医用データを入力することで、第2医用データを出力すること、を実現させる。医用データ処理プログラムは、例えば、コンピュータが読取可能な非不揮発性記憶媒体に記憶される。
例えば、医用データ処理に関する各種サーバ装置(処理装置)に医用データ処理プログラムを非不揮発性記憶媒体からインストールし、これらをメモリ上で展開することによっても、ノイズ低減超解像処理を実現することができる。このとき、コンピュータに当該手法を実行させることのできるプログラムは、磁気ディスク(ハードディスクなど)、光ディスク(CD-ROM、DVDなど)、半導体メモリなどの記憶媒体に格納して頒布することも可能である。医用データ処理プログラムにおける処理手順および効果は、実施形態と同様なため、説明は省略する。
本開示の目的の一つは、広範囲UHR-CT画像に近似するコンピュータ断層撮影(CT)画像を取得するためのモデルを生成する方法を含む。一実施形態において、広範囲UHR-CT画像に近似するCT画像を取得するためのモデル生成方法によって、広範囲UHR-CT検出システムを必要とせずに、広範囲超高解像度画像を実現することが可能になる。該方法は、CT撮像モダリティを用いて撮像対象の物体をスキャンすることによって収集された第一の投影データセットを取得することを含む。第一の投影データセットは、UHR-CTスキャナ等の撮像モダリティから取得される超高分解能(ultra-high resolution:UHR)CTデータを含んでもよい。該方法は、第一の投影データセットの分解能低減処理を実施して第二の投影データセットを取得することによって継続されてもよい。第二の投影データセットは、通常分解能(normal resolution:NR)CTデータを含んでもよい。該方法は、第一の投影データセットに基づいて再構成された第一のCT画像と第二の投影データセットに基づいて再構成された第二のCT画像を用いて機械学習モデルを学習させて、広範囲UHR-CT画像に近似するCT画像を生成するためのモデルを取得することによって、継続される。機械学習モデルは、深層畳み込みニューラルネットワーク(deep convolutional neural network:DCNN)モデルであってもよい。第一のCT画像はUHR-CT画像を含み、第二のCT画像は通常分解能(NR)CT画像を含んでもよい。
本開示の一つ以上の実施形態において、指示を記憶する一つ以上のメモリと、指示を実行して機械学習モデルを適用可能なCT画像を生成する一つ以上のプロセッサを備える医用画像処理装置が提供される。医用画像処理装置は、医用撮像モダリティを用いて検査対象の物体をスキャンすることによって収集された投影データセットを受信することを含む。投影データセットは、物体をスキャンする撮像モダリティとして用いられる広範囲CT検出器から取得される広範囲CT検出データを含んでもよい。医用画像処理装置は、投影データセットに基づいて、物体のCT画像を再構成する。再構成された画像は、広範囲CT検出画像を含んでもよい。医用画像処理装置は、ノイズ低減用の第一の学習済み機械学習モデルと超解像用の第二の学習済み機械学習モデルの一方を指定する。双方のモデルは一つ以上のメモリに保存可能である。指定されたモデルは、ノイズ低減用の深層畳み込みニューラルネットワーク(DCNN)機械学習モデルまたは超解像用のDCNN機械学習モデルでもよい。医用画像処理装置は、再構成されたCT画像に指定されたモデルを適用することによって、処理済み画像を取得する。再構成されたCT画像は、広範囲CT検出画像を含んでもよい。広範囲CT検出画像に学習済みDCNNモデルを適用後、処理済み画像が生成される。処理済み画像は、広範囲UHR-CT画像に近似または相似するDCNN適用可能画像を含んでもよい。
本開示の一つ以上の実施形態は医用撮像や研究等の臨床用途に利用可能であるが、これに限定されるものではない。
本開示の他の態様に基づいて、広範囲超高解像度CT画像に近似するCT画像を生成するための深層畳み込みニューラルネットワークを用いる、一つ以上の追加の装置、一つ以上のシステム、一つ以上の方法、一つ以上の記憶媒体を説明する。本開示の更なる特徴は、添付の図面を参照する以下の記載から、理解され、明らかにされる。
本開示の様々な態様を説明するために、図面において、同様な要素は同様な参照符号で示され、理解される程度に単純化された、採用可能な形式で示されるが、本開示は図示される正確な配置や手段によって、または正確な配置や手段に限定されるものではない。本開示の主題の作成や利用について当業者を支援するために、添付の図面を参照する。
本開示において、用語「超高分解能(ultra-high resolution:UHR)CT検出システム」は、UHR-CT検出スキャナまたはUHR-CT検出器撮像と相互に言い換え可能である。また、本開示において、用語「広範囲CT検出システム」は、広範囲CT検出スキャナまたは広範囲CT検出器撮像と相互に言い換え可能である。以下に説明する例示的な実施形態において、用語「超高分解能(UHR)」および「通常分解能(normal resolution:NR)」は、特定の分解能を意味するものではない。「UHR」の空間分解能は、NRより相対的に高いとして定義され、「NR」の空間分解能はUHRより低い。また、以下に説明する例示的な実施形態において、用語「広範囲」または「より広範囲」は、特定の範囲や検出器の特定の大きさを意味するものではない。「広範囲」とは、通常撮影範囲の検出器より広い撮影範囲を意味する。また、用語「低放射線量(low-dose:LD)」、「高放射線量(high-dose:HD)」は特定の放射線量を意味するものではない。「低放射線量(LD)」とは、「高放射線量(HD)」より相対的に低い放射線量を意味し、「高放射線量(HD)」とは、「低放射線量(LD)」より相対的に高い放射線量を意味する。
本開示は、UHR-CT検出システムを用いて超解像学習モデルを構成して、最適化された学習済み深層畳み込みニューラルネットワーク(DCNN)を取得することに関する。該学習済み深層畳み込みニューラルネットワークは、広範囲CT検出システムから取得される広範囲CT検出画像に適用される。臨床の場において、超解像学習は、広範囲CT検出システムが、最適化された学習済みDCNNを適用することによって、広範囲UHR-CT画像に相似または近似するDCNN適用可能CT画像を取得することを可能にする。すなわち、UHR-CT検出システムは、機械学習モデルの訓練に用いられるが、臨床環境では必要とされない。その利点は、臨床環境において広範囲CTシステムだけで済むことにある。つまり、本開示は、広範囲UHR-CT検出システムを用いることなく、広範囲UHR-CT画像に近似するCT画像の取得を可能にする。このことは、例えば、広範囲UHR-CT検出システムが利用不可能な場合に特に有利である。
次に、図面の詳細を参照する。図15Aは、例示的な実施形態に開示される処理の概要を示す。広範囲CTデータ101およびUHR-CTデータ201は広範囲UHR-CT画像301の取得に用いられる。UHR-CTデータ201は、再構成処理の実施されていない投影データセットである。広範囲CTデータ101は広範囲CT検出システム100から収集されてもよい。UHR-CTデータ201は、UHR-CT検出システム200から収集されてもよい。UHR-CTデータ201は、本開示の一つ以上の態様に基づいて、低解像度CT画像に適用される学習済みモデルを取得するために学習段階で用いられる。本開示において、学習段階で用いられるUHR-CTデータ201は臨床環境では必要ではない。すなわち、UHR-CT検出システム200は、現場から離れた場所に置かれて機械学習モデルの訓練用途に用いられてもよい。広範囲CT検出システム100は、臨床環境において患者の画像診断に用いられる。本開示の一つ以上の態様に基づき、推論段階において、収集された広範囲CTデータ101に対して超解像処理が実施される。本開示の一態様に基づき、広範囲CT検出システム100は、広範囲UHR-CT検出システムを必要とすることなく、推論段階において、学習段階で得られた学習済み機械学習モデルを用いて、広範囲UHR-CT検出システムによって収集可能な画像に近似または相似するCT画像を生成する。図16、17、20、21、22、23、24および27を参照して、画像ドメインの超解像(super resolution:SR)について以下に説明する。図28を参照して、データ(投影)ドメインのSRを以下に説明する。
実施形態の一例において、広範囲CT検出システム100およびUHR-CT検出システム200はそれぞれ、図25および26を参照して以下に説明するように、ネットワークと通信するコンソールまたはコンピュータを備えてもよい。また、広範囲CT検出システム100およびUHR-CT検出システム200は、ネットワークを介して、コンピュータ(図25および26に示す)に付随するCPUと接続されてもよい。すなわち、本開示に基づき、検出システム(100、200)のいずれかまたは双方は、ネットワークを介してコンソールまたはコンピュータに接続されてもよいし、内部にコンピュータを備えてもよい。CTシステムの構成の一例を、図29を参照して以下に説明する。
機械学習モデルの学習段階および推論段階で用いられるハードウェアシステムを、図15Bを参照して説明する。機械学習モデルの学習は、図26に示すコンピュータ1200’と同じ構成要素を有する情報処理装置400内で実行される。情報処理装置400は、UHR-CTデータ201をUHR-CT検出システム200からネットワークI/F1212を介して受信する。CPUまたはGPUは、UHR-CTデータ201に基づいて機械学習モデルを学習させる。学習プロセスの詳細は後で説明する。学習終了後、情報処理装置400は超解像(SR)用学習済みモデル401を取得する。SR用学習済みモデル401は、広範囲CT検出システム100内の画像処理装置150または上述のコンソールに出力される。画像処理装置150または該装置150のCPUは、学習済みモデル401をメモリに保存する。画像処理装置150のCPUまたはGPUは、広範囲CT検出システム100によって収集された広範囲CTデータ101およびCT画像またはCT(投影)データに適用される学習済みモデル401に基づいて、広範囲UHR-CT画像301を生成する。
別の実施形態では、広範囲CT画像の代わりに、上述の学習済みモデルを通常範囲CT検出システムによって収集されたCT画像に適用して、空間分解能を向上させたCT画像を生成する。
図16は、機械学習モデルを訓練するためのデータ作成と深層畳み込みニューラルネットワーク(DCNN)処理のワークフローを示す。このワークフローは、ステップS100でUHR-CTデータを取得することによって開始される。UHR-CTデータは、超高分解能CT検出スキャナ200から収集された再構成前の投影データである。UHR-CT検出スキャナ200は、現場とは異なる場所または現場から離れた場所に配置されて機械学習モデルを取得する訓練に用いられてもよい。ワークフローの次のステップS102は、UHR-NRシミュレーション(または分解能低減処理)をUHR-CTデータに対して実施して、通常分解能(NR)CTデータを取得することを含む。UHRからNRへのシミュレーションの一例として、利用可能なダウンサンプリングが挙げられ、例として4対1の割合のデータドメインのビニングを含む。但し、他の種類の分解能低減処理、例えば、平滑化や他のフィルタリングの利用も本開示の範囲に含まれる。UHRからNRへのシミュレーションによって、通常分解能スキャナ(例えば、4対1画素ビニング)から収集された再構成前CTデータをシミュレーションする。または、NR-CT検出システムが利用可能な場合、NR-CTデータは、UHR-CTデータのダウンサンプリングではなく、該NR-CT検出システムから直接収集されてもよい。NR-CT検出システムをNR-CTデータの取得に用いる場合、ステップS100とS102を並列にまたは個別に実行してもよい。
ステップS102において、ステップS100のUHR-CTデータをNR-CTデータにダウンサンプリングする場合、ダウンサンプリングを行う理由は、従来のCTデータに比べてUHR-CTデータは画素数が多いためである。つまり、超高分解能データと通常分解能データである。一実施形態において、UHR-CTデータは従来のCTデータ(512×512)の4倍の画素(1024×1024)を有し得る。すなわち、UHR-CTによる画素は従来のCTの4倍小さいため、UHR-CTによる画素をダウンサンプリングして、従来CTの画素サイズに一致させる。
次のステップS104とS106は、ステップS100と102で収集されたデータの再構成を含む。具体的には、ステップS104において、UHR-CTデータはUHR-CT画像に再構成される。ステップS106において、NR-CTデータはNR-CT画像に再構成される。UHR-CT画像とは、UHR-CT検出スキャナ200からの再構成画像であり、DCNNの学習対象として用いられる。言い換えると、UHR-CT画像は機械学習モデルの学習対象である。NR-CT画像とは、学習対象と一致させるため、小さい画素サイズに画質を落とした(ビニングした)UHR-CTデータからの再構成画像である。
画像ドメインのDCNNは、例えば、U-NET、V-NET、およびEDSR等の任意の種類のDCNN構造を適用可能であるが、本開示に適用可能なDCNN構造の種類はこれらに限定されない。ステップS108において、NR-CT画像はDCNNまたは機械ベース学習モデルの入力として用いられる。UHR-CT画像は、DCNNを最適化するためのDCNN学習ワークフローの対象として用いられる。最適化の過程で、DCNNはステップS108において処理済みNR-CT画像を出力する。ステップS110において、該処理済みNR-CT画像は、損失関数の取得に用いられる。ステップS112において、損失関数によって、DCNNモデルは最適化される。ステップS114において、情報処理装置400は終了基準が満たされているか否かを判断する。処理ループは終了基準が満たされる(ステップS114の「Y」)まで継続される。終了基準が満たされない場合(ステップS114の「N」)、処理ループはステップS108に戻る。処理済みNR-CT画像はUHR-CT画像(対象)と比較される。処理済みNR-CT画像は、NR-CT画像を入力とするDCNN機械学習モデルの学習出力画像である。UHR-CT画像と処理済みNR-CT画像間の損失関数は、2つの画像の差異を低減することを目的とする。また、UHR-CT画像と処理済みNR-CT画像間の損失関数は、DCNN機械学習モデルにループバックする各反復処理によって、処理済みNR-CT画像を高画質にすることを目的とする場合もある。処理済みNR-CT画像の高画質化は、画像に向上の余地がなくなるまで、または画質を向上させる性能に上昇が見られなくなるまで、最適化される。適用可能なニューラルネットワーク学習の一般的な損失関数の設定は、例えば、平均平方係数(mean square factor:MSA)や平均平方誤差(mean squared error:MAE)を含むが、本開示のニューラルネットワーク学習に適合可能な損失関数の種類はこれに限定されない。学習済みDCNNモデルを最適化する損失関数および最適化処理の詳細については、以下に図18を参照して説明する。
DCNNの学習プロセスは、広範囲UHR-CT画像に非常に似たまたは近似するDCNN適用可能なコンピュータ断層撮影(computed tomography:CT)画像を生成するための機械学習モデルの作成方法である。該方法は、CT撮像モダリティによって撮像対象の物体をスキャンし、第一の投影データセット(UHR-CTデータ)を取得することを含む。また、該方法は、第一の投影データセットの分解能低減処理によって、第二の投影データセット(NR-CTデータ)を取得することを含む。次に、第一の投影データセットに基づき再構成された第一のCT画像と第二の投影データセットに基づき再構成された第二のCT画像を用いて、機械学習モデル(DCNN)を訓練することによって、超解像用モデル(学習済みDCNN)を取得する。一実施形態において、分解能低減処理を適用する場合、ノイズデータを第一の投影データセットに付加することによって、第二の投影データセットを取得してもよい。ノイズデータの付加は、第二のCT画像のノイズレベルを第一のCT画像のノイズレベルより高くするために行われる。
ノイズデータの付加は、入力CT画像を学習済み機械学習モデルによって処理する場合に、学習済み機械学習モデルが入力CT画像をデノイズ(denoise、ノイズ除去)し、その解像度を向上させるために行われる。他の実施形態において、機械学習モデルの入力は所定のサイズの3次元(3D)画像データであって、機械学習モデルの出力は所定のサイズの3D画像データである。
次に図17のフローチャートを参照する。このフローチャートは広範囲CT検出システム100に適用される図16の学習済みDCNNを利用する、推論として知られるフレームワークの様々な手順を示す。いくつかの理由から広範囲CT検出器と学習済みDCNNとをともに利用することは有利である。一つの理由としては、心臓全体のスキャンまたは他の生物学的スキャンが1回のスキャンで達成できるため、放射線量の削減、スキャン時間の短縮、ハードウェアおよびソフトウェアの複雑性の低減とともにコスト削減に繋がるからである。学習済みDCNN機械学習モデルを用いることによって、広範囲UHR-CT検出システムの問題点の一部を有することなく、分解能をUHR-CT検出システム200の分解能に近似させることができる。より多くの時間を要する2回以上のスキャンは、患者の動きにより大きな影響を受けることになり、結果として、理想のスキャンは得られず、ソフトウェアおよびハードウェアの複雑性を増大させることになりかねない。
推論フレームワークは、ステップS200において広範囲CT検出データを収集することによって開始される。広範囲CT検出データとは、広範囲CT検出システム100から収集されたCT投影データを事前に再構成したものである。推論フレームワークは、撮像モダリティを用いて患者をスキャンして画像診断を行う臨床環境において適用される。また、広範囲CT検出システム100の画像処理装置150は、収集された広範囲CTデータの再構成条件を読み込む。再構成条件は撮像された体部位または撮像の目的に基づいて決定される。このステップでは、学習済みDCNNは、撮像された体部位または撮像の目的専用に訓練された複数の学習済みDCNNから選択される。ワークフローは、ステップS202Aの広範囲CTデータに基づき広範囲CT検出画像を生成する再構成によって継続される。ステップS204Aにおいて、学習済みDCNNを広範囲CT検出画像に適用することによって、処理済みCT画像を生成する。学習済みDCNNを広範囲CT検出画像に適用することにより、広範囲UHR-CT画像に近似するDCNN適用可能CT画像が得られる。ステップS206において、処理済みCT画像は出力され、表示モニタに表示されて画質チェックおよび/または診断に用いられる。なお、適用される学習済みDCNNは、本開示の学習段階においてUHR-CT検出システム200によって生成される。
図17では、図16の方法に基づいて訓練された超解像(super-resolution:SR)DCNNモデルのみをCT画像に適用したが、別の実施形態において、SR-DCNNモデルに加えて学習済みデノイズ用DCNNモデル(このモデルの生成方法は以下に述べる)を適用してもよい。SR-DCNNの後にデノイズDCNNを適用する、またはデノイズDCNNの後にSR-DCNNを適用するなど、SR-DCNNとデノイズDCNNを順番に適用することも可能である。また別の実施形態において、複数のDCNNを同じCT画像に対して並列に適用し、SR-DCNNが適用されたCT画像とデノイズDCNNが適用されたCT画像を所定の割合で合成してもよい。また、DCNNをデノイズとSR効果の双方を持つように訓練してもよい。これについては以下に図23または図27を参照して説明する。
広範囲UHR-CT画像に近似するDCNN適用可能CT画像は、広いセグメントをカバーする、高解像度の画像である。すなわち、学習済みDCNNを適用することによって、広範囲CT検出データからより高い解像度の画像(UHR-CT画像)を生成することが可能になる。この結果、広範囲CT検出システム100を用いる利点(広いスキャン範囲、少ないコスト、複雑性の低い信号処理)と同時に、UHR-CTデータからの高解像度および広範囲UHR-CTスキャナシステム300に付随する問題点(狭いスキャン範囲、高いコスト、複雑性の高い処理、放射線量の増加、アーチファクトに対する感受性)のいずれかを最小限にするという利点も得ることができる。
別の実施形態において、一つ以上のメモリと一つ以上のプロセッサを備える医用画像処理装置は、様々な手順を実行することによって、学習済みDCNNを適用して、処理済み画像(広範囲UHR-CT画像に近似するDCNN適用可能CT画像)を生成する。医用画像処理装置は、広範囲CT検出スキャナ/システムであってもよい。また、医用画像処理装置は、例えば、UHR-CT検出システム200からデータを受信するように構成され、学習済み機械学習モデルを適用可能な装置でもよい。医用画像処理装置は、医用撮像モダリティを用いて検査対象の物体をスキャンすることによって収集された投影データセットを受信し、該投影データセットに基づいて物体のCT画像を再構成する。ノイズ低減用の第一の学習済み機械学習モデルと超解像用の第二の学習済み機械学習モデルは一つ以上のメモリに保存され、その内一方は指定を受ける。指定されたモデルは再構成CT画像に適用されて処理済み画像を得る。
医用画像処理装置は、第一の学習済み機械学習モデルが指定された場合は、第一の再構成フィルタを用いてCT画像を再構成し、第二の学習済み機械学習モデルが指定された場合は、第二の再構成フィルタを用いてCT画像を再構成するように構成されてもよい。医用画像処理装置は、処理済み画像と再構成CT画像を所定の割合で合成可能である。所定の割合は、ユーザ入力に基づき設定される、または1組の撮像条件に従って決定されてもよい。別の実施形態において、医用画像処理装置は、複数の3D部分画像を再構成CT画像に基づいて生成し、生成した複数の3D部分画像を指定されたモデルに入力することによって、指定されたモデルを適用して複数の処理済み画像を取得し、取得した複数の処理済み3D部分画像を合成して処理済み画像を得るように構成される。ある状況では、3D部分画像の内少なくとも2つの画像は部分的に重複している。
本開示の別の態様において、医用画像処理装置は、複数の処理済み3D部分画像の内2つの隣接する処理済み3D部分画像間の結合部にフィルタをかける。
本開示の少なくとも一つの態様において、深層学習ニューラルネットワークを適用可能な広範囲超高分解能CTの一つの特徴は、UHR-CT検出システム200から取得される学習済みDCNNを用いることにある。上記の通り、本開示の学習済みDCNNの一つの応用として、図18に概略を示すように、最適化処理を機械学習モデルの学習に利用する。
図18は、図16に示した上記DCNNの学習フレームワークの過程に適用される最適化処理をより詳細に示す。図18に示すように、フレームワークは、ステップS300において入力(X)を用いて開始される。ステップS310において、DCNNの学習プロセスは、学習用入力(X)を所望の対象(Y)にマッピングするように設計される。入力(X)を取得後、ステップS302とS304のそれぞれにおいて、以下のDCNN(f(X/Θ))アルゴリズムを用いて出力
Figure 2022161004000002
を求める。
Figure 2022161004000003
Θは、最適化されるニューラルネットワークのパラメータの組を示し、Nは、学習プロセスでの学習事例の総数である。fは最適化されるニューラルネットワークを示し、xは、学習用入力のi番目の要素を示す。yは、学習対象のi番目の要素を示す。この最適化式を解くことによって、ネットワーク出力と対象画像(Y)の差分が最小になるような最適なネットワークパラメータ
Figure 2022161004000004
が求められる。具体的には、出力
Figure 2022161004000005
を取得後、ステップS308で更新された最適なネットワークパラメータを得るために、ターゲット(Y)と比較するステップS306で損失関数が適用される。ステップS308に続いて、更新後のオプティマイザは、ステップS304のネットワーク出力
Figure 2022161004000006
と対象画像Yとの差分が所定の閾値を超えて最小になるまで、またはステップS306の損失関数に応じた出力の向上が見られなくなるまで、DCNNアルゴリズムが実施されるステップS302を繰り返してもよい。この学習フレームワークによって、推論プロセスで適用される最適化された機械学習モデルが得られる。
図19A、19B、19Cおよび19Dは機械学習モデル401(DLネットワーク401とも称される)の様々な例を示す。
図19Aは、N個の入力、K個の隠れ層、3つの出力を有する一般的な人工ニューラルネットワーク(artificial neural network:ANN)の一例を示す。各層はノード(ニューロンとも称される)から構成され、各ノードは入力の加重和を行い、この加重和の結果を閾値と比較して出力を生成する。ANNは関数の類を構成する。この類の項は、閾値、結合の重み、またはノード数および/またはノードの結合性等の構造の詳細を変化させることによって求められる。ANNのノードはニューロン(またはニューロン・ノード)とも称される。ニューロンはANNシステムの異なる層間に相互に結合可能である。DLネットワーク401は通常4つ以上のニューロン層と入力ニューロンと同数の出力ニューロン
Figure 2022161004000007
(Nは再構成画像の画素数)を有する。シナプス(すなわち、ニューロン間の結合)は、演算においてデータを操作する「重み」(「係数」または「重み係数」と相互に言い換えも可能)と呼ばれる値を記憶する。ANNの出力は以下の3種のパラメータに依存する。(1)異なるニューロン層間の相互結合パターン、(2)相互結合の重みを更新するための学習プロセス、(3)ニューロンの加重入力を活性化出力に変換する活性化関数。
数学的には、ニューロンのネットワーク関数m(x)は、他の関数n(x)の合成として定義される。関数n(x)は、さらに他の関数の合成として定義可能である。これは、便宜上ネットワーク構造として表すことが可能である。図19Aに、変数間の依存を矢印で示す。例えば、ANNは、非直線加重和m(x)=K(Σ(x))を利用可能である。K(一般に活性化関数と称される)は、シグモイド関数、双曲正接関数、正規化線形ユニット(rectified linear unit:ReLU)等の事前に定義された関数である。
図19A(同様に図19B)において、ニューロン(すなわち、ノード)を閾値関数の周囲に丸印で示す。図19Aに示す非限定的な例では、入力は直線関数の周囲に丸印で描かれ、矢印はニューロン間の結合方向を示す。ある実施例において、機械学習モデル401は、図19A、19Bに例示されるフィードフォワード・ネットワークである(例として、有向非巡回グラフとして表すことができる)。
機械学習モデル401は、一組の観察結果を用いて、学習する関数Fの類内を検索することによって、CT画像の超解像処理等の特定のタスクを達成すべく動作し、特定のタスクを最適に解決する
Figure 2022161004000008
を求める。例えば、ある実施例では、コスト関数Cを、その最適解mに対して
Figure 2022161004000009
(すなわち、最適解のコスト未満のコストを有する解はない)が成立するように定義することによって達成できる。コスト関数Cとは、特定の解が解決すべき課題(例えば、誤差)の最適解からどの程度離れているかを示す尺度である。学習アルゴリズムは解空間内の検索を繰り返しながら、可能な限り最小のコストの関数を求める。ある実施例では、コストはデータのサンプル(すなわち訓練データ)全体に対して最小化される。
図19Bは、機械学習モデル401が畳み込みニューラルネットワーク(CNN)の場合の非限定的な一例を示す。CNNは、画像処理に有益な性質を備えるANNの一種である。そのため、画像のデノイズおよびサイノグラムの復元用途に特に関連がある。CNNは、ニューロン間の結合パターンにより画像処理の畳み込みを表現可能なフィードフォワードANNを用いる。例えば、CNNは、入力画像の受容野と呼ばれる部分を処理する小さなニューロン集合の複数の層を用いることによって、画像処理の最適化に利用可能である。これらの集合の出力は、互いに重複するようにタイル状にされ、元の画像をより適切に表現することができる。この処理パターンを畳み込み層とプーリング層を交互に有する複数層に対して繰り返す。なお、図19Bは、後続する層のノードを先行する層の全てのノードを用いて定義する完全結合型ネットワークの一例を示す。図に示される内容は、厳密にDNNの一例として理解されるべきである。CNNに関して、先行層のノードの一部を用いて後続層のノードを定義する結合の緩やかな(部分結合)型のネットワーク構成は一般的である。
図19Cは、畳み込み層である第一の隠れ層の二次元画像を表す入力層からの値のマッピングに適用される5×5カーネルの一例を示す。カーネルは5×5の画素領域を第一の隠れ層の対応するニューロンにそれぞれマッピングする。
畳み込み層の後に、CNNは、畳み込み層においてニューロン・クラスタの出力を結合させる局所的および/または全体的なプーリング層を含むことができる。さらに、ある実施例において、CNNは、点毎に、非直線的に、各層の最後にまたは各層の後に付加された、畳み込み層と完全結合層の様々な組み合わせを含むことも可能である。
画像処理に関して、CNNにはいくつかの利点がある。使われないパラメータの数の削減と一般化の向上のために、入力の小領域に対する畳み込み処理が導入される。CNNのある実施例の重要な利点は、畳み込み層に共通の重みを用いることにある。つまり、同じフィルタ(重みバンク)を層の各画素の係数として用いるのである。これによって、メモリの実装面積の削減と性能の向上が実現される。他の画像処理方法と比較して、CNNは、相対的に事前処理が少ないことが利点である。すなわち、ネットワークが、従来のアルゴリズムによってマニュアル設計されたフィルタを学習する責任を持つことを意味する。設計特性に関する過去の知識や人間の努力に依存しないで済むことは、CNNの大きな利点である。
図19Dは、三次元再構成画像の隣接層間の類似性を活用する機械学習モデル401の実施例を示す。隣接層内の信号は通常相関性が高いが、ノイズは異なる。つまり、一般にCTの三次元ボリューム画像は、より多くの体積特徴を捉えられるため、一断層の水平二次元画像より多くの診断情報を提供することができる。この考えに基づき、本開示に記載の方法の実施例は、ボリュームベースの深層学習アルゴリズムを用いてCT画像を向上させる。
図19Dに示す通り、ある断層画像とそれに隣接する断層画像(すなわち、中央の断層の上下の断層)は、ネットワークの3チャネルの入力として認識される。これら3層に対して、W×W×3カーネルをM回適用して、畳み込み層のM個の値を生成し、次のネットワーク層/階層(例えばプーリング層)に用いる。W×W×3カーネルを3つのW×Wカーネルとみなして、それぞれ3チャネルのカーネルとしてボリューム画像データの3つの断層画像に適用することも可能である。その結果は中央層に対する出力となり、次のネットワーク階層の入力として用いられる。値Mは、畳み込み層の所定の断層に対するフィルタ総数を示し、Wはカーネルの大きさを示す。
別の実施形態において、上述の3チャネル法の代わりに、異なる方法を(例えば、3D法)適用してもよい。
本開示の一実施形態において、学習および推論段階の演算コスト削減のため、CT画像を小さな画像データセットに分割して、機械学習モデルに入力し、学習および推論させることができる。
データの分割、重み付け、および再構築によって、広範囲CT検出システムは、演算上のパワーやデータをバッファリングして、広範囲UHR画像用の超解像3Dネットワークのような高度なネットワークを処理することができる。本開示は、その実施に有益なデータの分割、重み付けおよび再構築のデータフローを提案する。例えば、1024×1024画像を、XY次元(境界効果防止のため重複を含む)で81個の128×128小画像に分解することによって、システムは一回毎に画像の小さなバッチを処理することができる。そして、ネットワークで処理後、画像は元のサイズ(1024×1024等)に再構築される。重複する画素に対しては重み付けを実施する。Z次元についても同様な手法が適用される。すなわち、超高解像度画像は複数の小さな画像に分割され、分割された画像は広範囲CT検出システムによって処理され、任意の好適な重み付けおよび再構築のデータフローに基づいて大きな画像に復元される。データの分割、重み付けおよび再構築の手法は種々のサイズの画像に適用可能である。上述の画像は一例にすぎず、該手法を適用可能な種々のサイズを限定するものではない。
次に、本開示の第2実施形態を示す図20のフローチャートを参照する。本実施形態は、ユーザに出力テクスチャ(弱、標準、強等)の調整を可能にし、自分の好みに応じたUHR-CTシステム画像またはNR-CTシステム画像の出力を可能にする混合処理を提案する。この実施形態において、学習済みDCNNは、上述した図16と同様な方法で取得される。ステップS400において、広範囲CT検出データを収集することによって、フローチャートは開始される。次にステップS402において、広範囲CT検出画像は再構成(より小さい画素サイズ)される。ステップS404において、広範囲CT検出画像にDCNN学習済み機械学習モデルを適用することによって、広範囲UHR-CT画像に近似するDCNN適用可能CT画像が出力される。しかしながら、ユーザは100%のDCNN適用可能な広範囲UHR-CT画像のテクスチャーに満足しない場合がある。本実施形態では、広範囲CT検出システム100のユーザは、混合ステップS408において、広範囲UHR-CT画像に近似するDCNN適用可能CT画像の出力テクスチャーを選択可能である。混合ステップS408は、例えば、オペレータが選択可能な弱、標準、強などの三つの選択肢を含んでもよい。または、ユーザは、混合ステップにおいて混合率を選択してもよい。例えば、オペレータが50%を選択した場合、混合によって出力テクスチャーは、元のNR-CT検出システム画像50%とUHR-CT検出システム画像50%から成るように調整される。オペレータがUHR-CT検出システム画像に近いテクスチャーを好む場合は、UHR-CT検出システム画像75%と元のNR-CT検出システム画像25%を選択してもよい。元のNR-CT検出システム画像とUHR-CT検出システム画像は、ユーザの所望する混合の種類に応じて、ゼロから100%まで変更可能である。混合ステップ後、ステップS410において、広範囲UHR-CT画像に近似する最終のDCNN適用可能画像は、オペレータの所望の混合に応じて出力され、モニタに表示される。
現在商業的に利用可能な広範囲CT検出システムを考える。これらのシステムは広範囲UHR画像用の高度なネットワーク(例えば、超解像3Dネットワーク)を処理するだけの演算上のパワーまたはデータバッファリング性能を持っていない場合がある。図21のフローチャートに示すように、第3実施形態を提案する。図21に示す推論プロセスはサイズ変更演算子を含む。通常分解能-広範囲CT検出システムで適切に処理するために、サイズ変更演算子は、ハードウェアおよび関連するソフトウェア仕様(システム情報など)を読み出し、出力画像のサイズを変更する(例えば、XYまたはZ次元内のダウンサンプリング)。
図21に従って、該プロセスは、ステップS500において、広範囲CT検出システム100から広範囲CT検出データを収集することによって開始される。次にステップS502において、広範囲CT検出データは広範囲CT検出画像に再構成される。広範囲CT検出画像は、ステップS504で学習済みDCNNに入力され、広範囲UHR-CT画像に近似するDCNN適用可能CT画像として出力される。この方法は、特定のシステム仕様等のステップS508のシステム情報を考慮して、システム情報に基づいて、システムによって処理可能な広範囲UHR-CT画像に近似するDCNN適用可能CT画像のサイズを決定することによって、継続されてもよい。このワークフローは、広範囲UHR-CT画像に近似するDCNN適用可能CT画像の出力後に、システム情報が取得されることを示すが、システム情報は、広範囲UHR-CT画像に近似するDCNN適用可能CT画像を出力する処理と並行して、または、広範囲UHR-CT画像に近似するDCNN適用可能CT画像を生成する処理の前に、取得されてもよい。システム情報の取得に続くステップS510において、サイズ変更演算子を用いて、システム情報から得られた情報に基づいて、広範囲UHR-CT画像に近似する、生成されたDCNN適用可能CT画像のサイズを変更する。これによって、ステップS512において、通常分解能-広範囲CT検出システムで適切に処理可能な、広範囲UHR-CT画像に近似する最終のDCNN適用可能CT画像が出力され、モニタに表示される。本開示の一実施形態において、システム情報は広範囲CT検出システム100から取得される。
次に本開示の第4実施形態を、図22を参照して説明する。図22は、最終のDCNN適用可能CT画像の生成前に、混合およびサイズ変更処理を実施して、広範囲UHR-CT画像に近似するDCNN適用可能CT画像を生成する、少なくとも一つの実施形態のフローチャートを示す。最初のステップS600は、広範囲CT検出スキャナ100から広範囲CT検出データを収集することを含む。次に、ステップS602において広範囲CT検出データは広範囲CT検出画像に再構成され、ステップS604において学習済みDCNNに入力される。学習済みDCNNは、広範囲UHR-CT画像に近似するDCNN適用可能CT画像を出力する。S608の混合ステップによって、オペレータは、自分の好みに応じて、広範囲CT検出画像と広範囲UHR-CT画像に非常に似たDCNN適用可能CT画像の一方により近似するように出力テクスチャーを調整することができる。混合ステップの実行後、ステップS610において、サイズ変更を適切に行うために、検出システム100のシステム情報は、ハードウェアおよび関連するソフトウェア仕様(システム情報など)を読み出すことによって取得される。ステップS612のサイズ変更処理によって、通常分解能-広範囲CT検出システム100は出力画像(広範囲UHR-CT画像に近似する最終のDCNN適用可能CT画像)を確実に、適切に処理することができる。サイズ変更ステップ後、ステップS614において、広範囲UHR-CT画像に近似する最終のDCNN適用可能CT画像は出力され、モニタに表示される。
図23を参照して、本開示の第5実施形態を説明する。図23は、UHR-CTデータに付随するノイズレベルを最小限に抑えながら、広範囲CT検出システム100の超高分解能を達成するためのデノイズタスクを実行する、DCNNの学習プロセスのワークフローを示す。本開示のこの実施形態は、ステップS700において、UHR低放射線CTデータ(LD-CTデータ)の収集によって開始される。UHR-LD-CTデータとは、低放射線量に設定された(実際のまたはシミュレーションされた)超高分解能CTスキャナ200から収集された再構成前のCTデータである。ステップS710において、対象画像が取得される。対象画像とは、UHR高放射線(HD)CT画像である。UHR-HD-CT画像とは、UHR-CTスキャナ200からの再構成された高放射線画像であって、学習対象として用いられる画像である。本実施形態において、UHR-HD-CT画像およびUHR-LD-CT画像は同じUHR-HD-CTデータから生成される。別の実施形態では、UHR-HD-CT画像は、UHR-LD-CTデータが生成されるCTデータとは異なるCTデータから生成される。
ステップS702Aにおいて、上記ステップS102のUHR-NRシミュレーションをUHR-LD-CTデータに実行して、NR-LD-CTデータを取得する。ステップS702AのNR-LD-CTデータは、通常分解能スキャナシステムから収集された再構成前CTデータをシミュレーションする。次にステップS704Aにおいて、NR-LD-CTデータはNR-LD-CT画像に再構成され、ステップS706でDCNNの入力画像として用いられる。NR-LD-CT画像は、学習対象と一致させるため、小さい画素サイズに画質を落とした(ビニングされた)低放射線UHR-CTデータからの再構成画像である。ステップS706において、広範囲CT検出システム100内の画像処理装置150は、入力画像の一つにDCNNを適用して、処理済みNR-LD-CT画像を出力し、ステップS712における出力画像(処理済みNR-LD-CT画像)と学習対象画像(UHR-HD-CT画像)間の損失関数分析によって、ステップS714においてDCNN学習を最適化する。ステップS716において、基準に基づき、最適化ループの継続を判断する。基準が満たされない場合、ステップS706の最適化ループを継続する。または、DCNNの最適化基準が満たされた場合は、最適化ループは終了する。処理済みNR-LD-CT画像は、低放射線NR-CT画像を入力とするDCNNの学習出力画像となる。出力画像と対象画像間に適用される損失関数は、図16および18を参照して説明したものと同様である。損失関数によって、出力画像と対象画像間の差異が最小化され、推論プロセス内の応用に最適な学習済みDCNNが得られる。これによって、広範囲UHR-CT検出画像に近似するDCNN適用可能CT画像のノイズ抑制と分解能向上を目的とするDCNNの学習部分を終了することができる。
次に、学習済みDCNNの取得後の、ノイズ抑制と分解能向上の推論部分を示す図24のフローチャートを参照する。該フローチャートは、ステップS800において、低放射線量(LD)の広範囲CT検出データを収集することによって開始される。広範囲検出CTデータとは、広範囲CT検出スキャナ100から収集される再構成前のCTデータである。ステップS802において、広範囲CT検出データ(LD)は広範囲CT検出LD画像に再構成される。広範囲CT検出LD画像とは、UHR-CTデータの画素サイズに対応する小さい画素サイズに再構成されたCT画像である。次に、ステップS804において、学習済みDCNNを広範囲CT検出LD画像に適用することによって、広範囲UHR-CT画像に近似する、デノイズ済みのDCNN適用可能CT画像を生成する。ステップS806において、処理済みCT画像(DCNN適用可能CT画像)が出力され、モニタに表示される。広範UHR-CT画像に相似するDCNN適用可能CT画像(デノイズ後)は、広いセグメント範囲と高い解像度を備えるノイズ低減画像を提供する点で有利である。
本開示の様々な実施形態は、広範囲検出CTデータに関するUHR-CT学習済みDCNNに適用される。このことは、いくつかの理由から有利である。本実施形態は、現在の広範囲CT検出画像と比較して、UHR-CT学習済みネットワークおよびより微細に再構成された画素サイズから得られる、優れた解像度およびノイズ低減性能を提供する。現在のUHR-CT画像と比較して、本実施形態は、寝台位置での一回のスキャンの検出範囲(S-I方向)が広いため、放射線量、画像の均一性、時間分解能、より簡易なスキャンワークフロー等の利益をもたらす。また、広範囲のCTから得られる収集・検出の大きな画素サイズは、優れたノイズ性能につながる。現在商業的には存在しない広範囲UHR-CTシステムと比較して、本実施形態は、ハードウェア、ソフトウェア双方において非常に低いコストと複雑性を著しく軽減した信号処理を提供する。
本開示は、深層学習ニューラルネットワークを適用可能な広範囲-超高分解能CTのためのシステム、方法および/または装置を対象とする。DCNNは、既存のUHR-CT検出スキャナによって訓練され、広範囲CT検出システムデータに適用されて、分解能を向上させ、ノイズを低減すると同時に、広範囲スキャンのエッジを維持する。具体的には、本開示は、二つの異なるモダリティ(UHR-CT検出スキャナおよび広範囲CT検出スキャナ)の利点を組み合わせることによって、商業的に入手不可能な広範囲UHR-CT検出システム300と比較して、コストとシステムの複雑性における利点をもたらすことが可能である。
次に、図25および図26を参照する。少なくとも一つの実施形態において、コンソールやコンピュータ1200、1200’などのコンピュータを、広範囲UHR-CT画像に近似するDCNN適用可能CT画像の生成専用に用いてもよい。
撮像に用いられる電気信号を、下記に説明されるコンピュータ1200、1200’等(これに限定されない)の一つ以上のプロセッサに、ケーブルまたは配線113等(図25参照)(これに限定されない)のケーブルまたは配線を介して送信してもよい。
コンピュータシステム1200の様々な構成要素を図25に示す。コンピュータシステム1200は、中央処理装置(central processing unit:CPU)1201、ROM1202、RAM1203、通信インターフェース1205、ハードディスク(および/または他の記憶装置)1204、スクリーン(またはモニタ・インターフェース)1209、キーボード(または入力インターフェース;キーボードに加えてマウスや他の入力装置を備えてもよい)1210、および一つ以上の上記構成要素(例えば、図25に示される)間を接続するバスや他の接続線(例えば接続線1213)を備える。さらに、コンピュータシステム1200は上記構成要素の内一つ以上を備えてもよい。例えば、コンピュータシステム1200はCPU1201、RAM1203、入力/出力(I/O)インターフェース(通信インターフェース1205等)およびバス(コンピュータシステム1200の構成要素間の通信システムとしての一つ以上の配線1213を含んでもよい)を備えてもよい。一つ以上の実施形態において、コンピュータシステム1200および少なくともCPU1201は、超高分解能検出スキャナおよび/または広範囲CT検出スキャナまたは同じ超高分解能検出スキャナ200、広範囲CT検出スキャナ100(これに限定されない)を用いる装置やシステムの一つ以上の上記構成要素と通信してもよい。一つ以上の他のコンピュータシステム1200は、他の上述した構成要素の一つ以上の組み合わせを備えてもよい。CPU1201は、記憶媒体に保存されるコンピュータ実行可能な指示を読み出し、実行するように構成される。コンピュータ実行可能な指示は、本開示に記載される方法および/または演算の実行指示を含んでもよい。コンピュータシステム1200は、CPU1201に加えて、一つ以上のプロセッサを備えてもよい。CPU1201を含む該プロセッサを、同じ用途または本開示に記載の広範囲UHR-CT画像に近似するDCNN適用可能CT画像を生成するための装置、システムまたは記憶媒体の制御および/または製造に用いてもよい。システム1200は、さらに、ネットワーク(例えばネットワーク1206)を介して接続される一つ以上のプロセッサを備えてもよい。システム1200によって用いられるCPU1201と追加のプロセッサは、同じ通信ネットワーク上に位置してもよいし、異なる通信ネットワーク上に位置してもよい(例えば、実行、製造、制御および/または技術利用を遠隔で制御可能)。
I/Oまたは通信インターフェース1205は、入出力装置に対して通信インターフェースを提供する。該入出力装置は超高分解能検出スキャナ200、広範囲CT検出スキャナ100、通信ケーブルおよびネットワーク(有線または無線)、キーボード1210、マウス(図26のマウス1211を参照)、タッチスクリーンまたはスクリーン1209、ライトペン等を備えてもよい。モニタ・インターフェースまたはスクリーン1209は入出力装置に通信インターフェースを提供する。
本開示の方法および/またはデータ、例えば、同じ用途の装置、システムまたは記憶媒体の利用方法および/または製造方法、および/または本開示に記載の広範囲UHR-CT画像に近似するDCNN適用可能CT画像の生成方法等は、コンピュータ読み取り可能な記憶媒体に保存される。コンピュータ読み取りおよび/または書き込み可能な記憶媒体は、以下に共通に利用されるが、これらに限定されるわけではない。一つ以上のハードディスク(ハードディスク1204、磁気ディスク等)、フラッシュメモリ、CD、光ディスク(コンパクトディスク(CD)、デジタル多用途ディスク(digital versatile disc:DVD)、ブレーレイ(登録商標)ディスク等)、光磁気ディスク、RAM(random access memory)(RAM1203等)、DRAM、ROM(read only memory)、分散演算システムの記憶装置、メモリカードなど(例えば、不揮発性メモリカード、固体撮像素子(solid state drive:SSD、図26のSSD1207参照)、SRAM等の他の半導体メモリ、これに限定されない)、これらの任意の組み合わせ、サーバ/データベース等。コンピュータ読み取り/書き込み可能な記憶媒体を、上記コンピュータシステム1200のプロセッサやCPU1201等のプロセッサに本開示に記載の方法の手順を実行させることに用いてもよい。コンピュータ読み取り可能な記憶媒体は、非一時的なコンピュータ読み取り可能媒体であってもよいし、および/または、一時的な伝搬信号だけを除き、全ての読み取り可能媒体を備えてもよい。コンピュータ読み取り可能な記憶媒体は、情報を所定の、限定的な、または短い時間および/または電力があるときのみ情報を記憶する、RAM(random access memory)、レジスタメモリ、プロセッサ・キャッシュ等(これらに限定されない)の媒体を備えてもよい。また、本開示の実施形態は、記録媒体(より正確には、非一時的なコンピュータ読み取り可能な記憶媒体とも称される)に記録されるコンピュータ実行可能な指示(例として、一つ以上のプログラム)を読み出し、実行して上記実施形態の内の一つ以上の機能を実行するシステムや装置のコンピュータによって実現されてもよいし、および/または一つ以上の回路(特定用途向け集積回路(ASIC))を備えて上記実施形態の内の一つ以上の機能を実行するシステムや装置のコンピュータによって実現されてもよい。本開示の実施形態は、システムや装置のコンピュータが、例えば、コンピュータ実行可能な指示を記憶媒体から読み出して実行することによって、実行される方法および/または上記一つ以上の回路を制御することによって上記実施形態の内の一つ以上の機能を実行させる方法によって実現されてもよい。
本開示の少なくとも一つの態様に基づいて、方法、装置、システム、および上述したコンピュータ1200のプロセッサ、コンピュータ1200’のプロセッサ(これらに限定されない)等のプロセッサに関連するコンピュータ読み取り可能な記憶媒体は、図面に示されるような適切なハードウェアを活用して、実現可能である。該ハードウェアは、標準のデジタル回路、ソフトウェアおよび/またはファームウェアプログラムを実行可能な任意の公知のプロセッサ、プログラマブルROM(programmable read only memory:PROM)、プログラマブル論理アレイ装置(programmable array logic:PAL)などの一つ以上のプログラマブル・デジタル装置またはシステム等の任意の公知技術を活用することによって、実現可能である。CPU1201(図25または26に示すように)は、一つ以上のマイクロプロセッサ、ナノプロセッサ、一つ以上のGPU(graphics processing unit:VPU(visual processing unit)とも称される)、一つ以上のFPGA(field programmable gate array)、または他の種類の処理コンポネント(例えば、用途向け集積回路(application-specific integrated circuits:ASIC))等を備えるおよび/または等から構成されてもよい。さらに、本開示の様々な態様は、適切な記憶媒体(例えばコンピュータ読み取り可能な記憶媒体、ハードドライブ等)や携行可能および/または分散可能な媒体(フロッピー(登録商標)ディスク、メモリチップ等)に保存可能なソフトウェアおよび/またはファームウェアによって実現されてもよい。コンピュータは、コンピュータ実行可能な指示を読み出し実行する個別のコンピュータやプロセッサのネットワークを備えてもよい。コンピュータ実行可能な指示は、例えばネットワークや記憶媒体からコンピュータに与えられてもよい。
上述の通り、コンピュータまたはコンソール1200’の別の実施形態のハードウェア構造を図26に示す。コンピュータ1200’は、中央処理装置(CPU)1201、GPU1215,RAM1203、ネットワークインターフェース1212、USB(Universal Serial Bus)等のオペレーションインターフェース1214、ハードディスクドライブや固体撮像素子(SSD)1207等のメモリを備える。好ましくは、コンピュータまたはコンソール1200’はディスプレイ1209を備える。コンピュータ1200’は、ネットワークインターフェース1212またはオペレーションインターフェース1214を介して、超高分解能検出スキャナ200および/または広範囲CT検出スキャナ100および/またはシステムの一つ以上の他の構成要素と接続されてもよい。一つ以上の実施形態において、コンピュータ1200、1200’などのコンピュータは、超高分解能検出スキャナ200および/または広範囲CT検出スキャナ100を備えてもよい。オペレーションインターフェース1214は、マウス装置1211、キーボード1210またはタッチパネル装置などの操作部に接続される。コンピュータ1200’は各構成要素を二つ以上ずつ備えてもよい。または、コンピュータ1200、1200’などのコンピュータの設計に応じて、CPU1201またはGPU1215をFPGA(field programmable gate array)、特定用途向け集積回路 (ASIC)または他の種類の処理部に置き換えてもよい。
コンピュータプログラムはSSD1207に保存される。CPU1201は、RAM1203にプログラムを読み込み、プログラム内の指示を実行して、本開示に記載の一つ以上の処理とともに基本的な入力、出力、演算、メモリへの書き込みおよび読み出し処理を実行する。
コンピュータ1200、1200’などのコンピュータは、超高分解能検出スキャナ200および/または広範囲CT検出スキャナと通信して、撮像を行い、広範囲UHR-CT画像に近似するDCNN適用可能CT画像を生成する。モニタまたはディスプレイ1209は広範囲UHR-CT画像に近似するDCNN適用可能CT画像を表示するが、撮像条件や撮像対象の物体に関する他の情報を表示してもよい。モニタ1209は、例えば、広範囲UHR-CT画像に近似するDCNN適用可能CT画像を生成する際にユーザがシステムを操作するためのグラフィカル・ユーザー・インターフェース(GUI)を提供する。動作信号は操作部(例えば、マウス装置1211、キーボード1210またはタッチパネル装置など、これらに限定されない)からコンピュータ1200’のオペレーションインターフェース1214に入力される。動作信号に応じて、コンピュータ1200’はシステムに撮像条件の設定または変更と撮像の開始または終了、および/またはDCNNの学習または広範囲UHR-CT画像に近似するDCNN適用可能CT画像を生成するための推論プロセスの開始または終了を指示する。
図27を参照して、SR用学習済みモデルの生成方法の他の例示的な実施形態を説明する。この方法は、図16に示す、UHR-CT画像とNR-CT画像の双方をUHR-CTデータから生成する方法の特徴の一つを含む。また、この方法は、図23に示す、NR低放射線CT画像とUHR高放射線CT画像を用いてSR用DCNNを訓練する方法と同様である。特に説明しない限り、以下のステップは情報処理装置400によって実行される。CPUまたはGPU(以下、処理回路)は各ステップを実行する。
ステップS1301において、UHR-CTデータすなわち高分解能のCTデータが取得される。ステップS1302において、UHR-CT画像すなわち高解像度のCT画像はUHR-CTデータに基づいて再構成される。この再構成の方法は、フィルタ逆投影法(FBP)より高い解像度の画像を生成可能な反復再構成法の内の一つでよい。UHR-CT画像は学習段階で対象画像として用いられる。ステップS1303において、処理回路は、UHR-CTデータにノイズを付加することにより、ノイズ付加UHR-CTデータを生成する。ガウスノイズおよび/またはポワソンノイズを付加することによって、低放射線CTデータをより適切にシミュレーションしてもよい。ステップS1304において、ノイズ付加UHR-CTデータに対して分解能低減処理(n:1ビニング処理、平滑化、他のフィルタリング等)を実施して低い分解能のCTデータを生成し、シミュレーションする。ステップS1305において、低解像度のCT画像は低分解能のCTデータに基づいて再構成される。ここで、再構成法はフィルタ逆投影法(FBP)や臨床環境で一般に用いられる任意の再構成法でよい。通常、再構成機能およびFBPフィルタには様々な選択肢があるが、ステップS1305のFBP再構成では、信号を出来るだけ維持するために、ノイズ低減効果のないまたは少ない再構成機能を選択可能である。また、正規化効果のないまたは少ないフィルタの一つを選択可能である。低解像度のCT画像を入力画像として用いてSR-DCNNに学習させる。対応する入力画像とUHRデータから生成された対象画像は互いに関連付けられ、訓練データの対とする。S1301からS1305までのステップを異なるUHRデータに対して繰り返し実行して、複数対の訓練データを生成する。ステップS1306において、DCNNを入力画像の一つに適用することによって処理済みCT画像を取得する。ステップS1307において、図18のステップS306で説明した損失関数を得る。ステップS1308において、DCNNは最適化され、改善されたDCNNとして次回のステップS1306で用いられる。ステップS1306、S1307、S1308のループは、終了基準が満たされるまで(S1309の「Y」)、超解像処理用DCNNを学習させるために継続される。
ステップS1303のビニング処理は、ある程度のノイズ低減効果はあるが、ステップS1303のノイズ付加処理および再構成法の差異に起因して、対象画像(高解像度CT画像)は、入力画像(低解像度CT画像)より高い空間分解能と高いノイズ特性を有する。学習済みSR-DCNNは、ノイズ低減効果とともに超解像効果を発揮する。別の実施形態では、CTデータへのノイズ付加の代わりにまたは付加に加えて、低解像度の再構成CT画像にノイズを付加して、投影ドメインにおいて入力画像を取得してもよい。上記DCNNは、デノイズと超解像の双方の効果を発揮するように訓練され、少なくともある状況では、別々に訓練されたデノイズDCNNとSR-DCNNを両方適用するよりも有益となり得る。ここで推論段階の処理の他の実施形態を説明する。この処理は、他の種類の、CT画像のデノイズ専用DCNNモデルの適用と(1)デノイズDCNNおよび(2)図21または図27を参照する上記方法によって訓練されたDCNNの一方を選択することを含む。なお、DCNN(以下、SRおよびデノイズDCNNと呼ぶこともある)はノイズ低減効果および超解像効果を発揮できる。推論段階の実施処理を、広範囲CT検出システム100内の画像処理装置150、他の種類のCT撮像システムのコンソール、またはCT撮像システム外部の画像処理装置、例えば、病院のワークステーションや医用画像を受信し、医用データを分析し、医用画像を再構成する画像処理サーバ等に組込んでもよい。以下の説明において、各ステップは、画像処理装置、コンソール、ワークステーションまたは画像処理サーバに含まれるCPUまたはGPUである処理回路によって実行される。
複数対の訓練画像を用いてデノイズDCNNを学習させることができる。一実施形態において、入力画像を低放射線CT画像とし、対応する対象画像を高放射線CT画像としてもよい。低放射線CT画像は検査対象の物体のCTスキャンによって収集可能である。同様に、高放射線CT画像は検査対象の物体のCTスキャンによって収集可能である。また、低放射線CT画像は、ノイズを付加し、低放射線画像をシミュレーションすることによって、CTスキャンで収集された高放射線CT画像から生成することもできる。高放射線CT画像は、高放射線画像をシミュレーションする画像処理によって、CTスキャンで収集された低放射線CT画像から生成可能である。別の実施形態において、対象画像を、検査対象の物体のCTスキャンにより収集されたCTデータの反復再構成処理によって取得し、入力画像を、FBP法に基づきCTデータにノイズを付加し、ノイズ付加CTデータを再構成することによって、取得することができる。なお、デノイズモデルは様々な種類のアーチファクトの低減効果を発揮できる。
第一ステップにおいて、CT撮像システム内で実行される場合は、CTデータはCT検出器から取得される。ワークステーションや画像処理サーバ内で実行される場合は、CTデータはCT撮像システムから取得可能である。また、CT撮像システム、ワークステーション、または画像処理サーバ内で実行される場合は、CTデータはメモリからも取得可能である。
第二ステップにおいて、処理回路は、デノイズモデル(デノイズDCNN)またはSRモデル(デノイズおよびSR-DCNN)を得られた画像の再構成処理に適用するか否かを判定する。デノイズモデルを選択した場合、処理回路は第一のCT画像を第一の再構成条件に従って再構成し、第二のCT画像を第二の再構成条件に従って再構成する。第一の再構成条件と比較して、第二の再構成条件は、FBP再構成用に選択される、再構成機能および画像情報維持のためノイズ低減効果のないまたは少ないフィルタを含む。また、第二の再構成条件は、再構成領域の画素密度または画素数が第一の再構成条件より大きいため、第二のCT画像のSR処理において解像度をより向上させる。第一および第二のCT画像双方の再構成において特定のノイズ低減処理を実施する場合は、第二のCT画像の画像情報維持のため、第二のCT画像のノイズ低減度を第一のCT画像より低くしてもよい。
次のステップにおいて、デノイズDCNNを第一のCT画像に適用してデノイズ済みCT画像を得る。次に、SRおよびデノイズDCNNを第一のCT画像に適用してSR-CT画像を得る。得られたCT画像は出力され、表示または分析される。得られたCT画像を出力して表示する場合、処理回路は、得られたCT画像を含むグラフィカル・ユーザ・インターフェースを生成し、ディスプレイに送信する。ディスプレイが画像処理装置またはワークステーションに接続されている場合は、処理回路は表示装置に得られたCT画像を表示させる。
上述の処理には、適用されるDCNNモデルを選択しない場合は含まれていないが、かかる場合、処理回路は第一の再構成条件、または第一および第二の再構成条件とは異なる第三の再構成条件を選択する。
一実施形態において、複数のSR(およびデノイズ)DCNNと複数のDCNNモデルを体部位ベースに作成することができる。すなわち、SR用、デノイズ用にかかわらず、DCNNモデルを、特定の体部位用および/または特定の臨床用途の画像のみを用いることによって、特定の体部位および/または特定の臨床用途に訓練することができる。
複数のSR-DCNNがメモリに保存されている場合、処理回路は、撮像された体部位に応じてその内の一つを指定する。
再構成条件およびDCNNは、スキャン情報に基づいてCTデータ取得前または取得後に選択可能である。
図28を参照して、本開示の別の例示的な実施形態を説明する。この実施形態では、DCNNモデルは投影ドメインにおいてCTデータ(CT投影データ)に適用され、画像は再構成される。一実施形態において、DCNNを、UHR-CTデータである対象データとNR-CTデータである入力データをそれぞれ含む訓練データの複数対を用いて訓練することができる。NR-CTデータは、UHR-CTデータとは異なるスキャンによって収集可能、または上述のUHR-NRシミュレーションの実行によって生成可能である。別の実施形態において、対象データは、HD-UHR-CTデータであって、入力データはLD-NR-CTデータである。LD-NR-CTデータは、HD-UHR-CTデータとは異なるスキャンによって収集可能である、または図27を参照して説明したノイズの付加とUHR-NRシミュレーションの実行によって生成可能である。
以下に示すステップは画像処理装置150(処理回路)のCPUまたはGPUによって実行されるが、ワークステーションまたは画像処理サーバの処理回路によっても実行可能である。
ステップS1400において、広範囲CTデータが取得される。別の実施形態では、CTデータは通常範囲CTデータでもよい。ステップS1402において、学習済みDCNNを広範囲CTデータに適用して広範囲SR-CTデータを取得する。ステップS1404において、広範囲SR-CTデータに対して再構成処理を実施し、広範囲SR-CT画像を取得する。ステップS1406において、広範囲SR-CT画像は出力されて、表示またはさらに分析される。
図29は、広範囲CT検出システムに対応するCT撮像システムに含まれるX線架台装置の実施形態の一例を示す。図29に示すとおり、側面から図示されるX線架台装置1500は、X線管1501、円環状フレーム1502、および複数列または二次元アレイ型X線検出器1503を備える。X線管1501とX線検出器1503は円環状フレーム1502上の物体OBJに対して正反対に配置される。円環状フレーム1502は回転軸RAの周りに回転可能に支持される。回転部1507は、物体OBJが回転軸RAに沿って図面内にまたは図面外に移動される間、円環状フレーム1502を所定の速度で回転させる。コンソールまたは画像処理装置1550は再構成装置1514、記憶装置1512、表示装置1516、入力装置1515、および前処理装置1506を備える。
X線CT装置には様々な種類がある。例えば検査対象の物体の周囲をX線管とX線検出器がともに回転する回転-回転型装置、多くの検出素子がリング状または平面状に並べられ、X線管のみが検査対象の物体の周囲を回転する静止-回転型装置などが挙げられる。本発明はいずれの型の装置にも適用可能である。ここでは、現在の主流である回転-回転型装置を例示する。
マルチスライスX線CT装置はさらに、管電圧を生成する高電圧生成装置1509を備える。管電圧は、X線管がX線を生成するように、スリップリング1508を介してX線管1501に印加される。X線は物体OBJに向かって出射される。物体OBJの断層領域を丸印で示す。例えば、最初のスキャン中のX線管の平均X線エネルギーは2回目のスキャン中の平均X線エネルギーより少ない。すなわち、2回以上のスキャンは異なるX線エネルギーに対応して取得される。X線検出器1503は、物体OBJに対してX線管1501の反対側に位置して、出射され、物体OBJを透過したX線を検出する。X線検出器1503は、個別の検出素子または検出ユニットをさらに備える。
CT装置は、X線検出器1503からの検出信号を処理するための他の装置をさらに備える。データ収集回路またはデータ収集システム(data acquisition system:DAS)1504は、X線検出器1503から出力された信号をチャネル毎に電圧信号に変換・増幅後、さらにデジタル信号に変換する。X線検出器1503およびDAS1504は回転あたり投影数(TPPR)を処理するように構成される。
上述のデータは、X線架台装置1500外にあるコンソールに非接触型データ送信機1505を介して収容される前処理装置1506に送信される。前処理装置1506は、生(raw)データに対して感度補正等の所定の補正を行う。メモリ1512は、結果として得られたデータ(再構成処理直前段階の投影データとも呼ばれる)を保存する。メモリ1512は、再構成装置1514、入力装置1515、表示装置1516とともに、データ/制御バス1511を介してシステムコントローラ1510に接続される。システムコントローラ1510は、CTシステムの駆動に必要なレベルに電流を制限する電流調整装置1513を制御する。
CT撮像装置のこの構成例において、再構成装置1514は、図17、20、21、22、24、28に記載の処理および方法を実行する。
検出器は、CTスキャナシステムが様々な生成を行う間、患者に対して回転されるおよび/または静止される。一実施例において、上述のCTシステムは第三世代形状のシステムと第四世代形状のシステムの結合システムの一例である。第三世代システムでは、X線管1501とX線検出器1503は円環状フレーム1502上に正反対の位置に設けられ、円環状フレーム1502の回転軸RA周りの回転に応じて回転する。第四世代システムでは、検出器は患者の周囲に固定的に配置され、X線管は患者の周りを回転する。別の実施形態において、X線架台装置1500は、Cアームと台に支持される円環状フレーム1502上に配置される複数の検出器を備える。
メモリ1512は、X線検出器1503におけるX線の放射照度を示す測定値を保存可能である。
さらに、再構成装置1514は、必要に応じて、ボリュームレンダリング処理、画像差分処理等の再構成前画像処理を実行可能である。
前処理装置1506が実行する投影データの再構成前処理は、例えば、検出器キャリブレーション、検出器の非線形性、および極性効果に対する補正を含んでもよい。
再構成装置1514が実行する再構成後処理は、必要に応じて、画像のフィルタリングおよび平滑化、ボリュームレンダリング処理、および画像差分処理を含むことが可能である。再構成装置1514は、例えば投影データ、再構成画像、キャリブレーション・データ、パラメータ、コンピュータプログラム等をメモリに保存できる。
再構成装置1514は、CPU(処理回路)を備えることができる。CPUは、個別論理ゲート、特定用途向け集積回路(ASIC)、FPGA(Field-Programmable Gate Array)や他のコンプレックス・プログラマブルロジックデバイス(Complex Programmable Logic Device:CPLD)として実現可能である。FPGAやCPLDの実装は、VHDL、Verilogまたは他のハードウェア記述言語によって暗号化されてもよい。暗号はFPGAやCPLD内の電子メモリに直接保存される、または別の電子メモリに保存されてもよい。さらに、メモリ1512はROM、EPROM、EEPROM、またはフラッシュメモリ等の不揮発性であってもよい。メモリ1512は、スタティックまたはダイナミックRAMなどの揮発性でもよい。また、マイクロコントローラ、マイクロプロセッサなどのプロセッサを設けて、電子メモリとともにFPGAまたはCPLDとメモリ間の相互の動作を管理することも可能である。
また、再構成装置1514のCPUは、本開示に記載の機能を実行する一組のコンピュータ読み取り可能な指示を含むコンピュータプログラムを実行可能である。該コンピュータプログラムは、上述の非一時的な電子メモリおよび/またはハードディスクドライブ、CD、DVD、フラッシュドライブ、または他の公知の記憶媒体に保存される。さらに、コンピュータ読み取り可能な指示は、所定のプロセッサおよび所定のオペレーティングシステムまたは当業者公知の任意のオペレーティングシステムと協働で実行する、ユーティリティ・アプリケーション、バックグラウンドデーモン、オペレーティングシステムのコンポネント、またはその組み合わせとして提供可能である。また、CPUは、協働で並列に動作して指示を実行する複数のプロセッサとして実現可能である。
一実施例において、再構成画像を表示装置1516に表示することができる。表示装置1516は、LCDディスプレイ、CRTディスプレイ、プラズマディスプレイ、OLED、LED、または他の公知の表示装置を用いることができる。
メモリ1512は、ハードディスクドライブ、CD-ROMドライブ、DVDドライブ、フラッシュドライブ、RAM、ROM、または他の公知の電子記憶装置を用いることができる。
図30は、中間ネットワークに係わるクライアント-サーバ構成を有する医用画像処理システムの一例を示す。図30に示すように、医用画像処理システムは、クライアント側装置として医用画像診断装置1601を、ネットワークNを介して医用画像診断装置1601と接続されるサーバ側装置として医用画像処理装置1610を備える。
医用画像診断装置1601は、一般に、図29に示されるX線CT装置または図16に示される広範囲CT検出システム100などでよい。
医用画像処理装置1610は、送信機/受信機1611、メモリ1612、および処理回路1613を備える。処理回路1613は、再構成プロセッサ16141および画像プロセッサ16142を含む再構成装置1614を備える。送信機/受信機1611はネットワークNを介して医用画像診断装置1601との間でデータを送受信する。メモリ1612は、医用画像診断装置1601から受信した医用画像データ等の情報と上述の再構成処理やデノイズ処理などを実行するための様々な専用プログラムを保存する。処理回路1613は、上述の再構成装置1614の機能を実現するプロセッサである。
これらの構成によって、医用画像診断装置1601は、図29の再構成装置1514の機能の実現を必要としない。したがって、医用画像診断装置1601の処理負荷および医用画像診断装置1601に付随するコストを削減することができる。また、再構成処理およびデノイズ処理は、サーバ側である医用画像処理装置1610によって統一された方法で実行される。これによって、現場の医用画像診断装置それぞれで再構成処理およびデノイズ処理を行う際の演算子の差異に起因して起こり得る、画質等のばらつきを防ぐことが可能となる。
以上説明した少なくとも1つの実施形態等によれば、医用画像における解剖学的特徴などの物体の視認性を向上し、かつ画質を向上させた医用画像を生成することができる。
いくつかの実施形態を参照して本開示を説明したが、これらの実施形態は、本開示の原理と用途の例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、実施形態同士の組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
以上の実施形態等に関し、発明の一側面および選択的な特徴として以下の付記を開示する。
(付記1)
医用画像撮像装置により撮像された被検体に関する第1医用データより低ノイズであって前記第1医用データより超解像の第2医用データを前記第1医用データに基づいて生成する学習済みモデルに対して、前記第1医用データを入力することで、前記第2医用データを出力する、医用データ処理方法。
(付記2)
前記第1医用データは、前記医用画像撮像装置による前記被検体の撮像により収集された再構成前のデータまたは表示処理前のデータであって、前記医用データ処理方法は、前記第2医用データに基づいて医用画像を生成してもよい。
(付記3)
前記第1医用データは、前記医用画像撮像装置による前記被検体の撮像により収集された収集データに基づいて再構成された第1再構成画像であって、前記第2医用データは、前記第1再構成画像より低ノイズであって前記第1再構成画像より超解像の第2再構成画像であってもよい。
(付記4)
前記医用データ処理方法は、前記学習済みモデルが用いられない場合、前記医用画像撮像装置による前記被検体の撮像により収集された収集データに基づいて、前記第1再構成画像を第1マトリクスサイズで再構成し、前記学習済みモデルが用いられる場合、前記収集データに基づいて、前記第1再構成画像を、前記第1マトリクスサイズより大きく前記第2再構成画像のマトリクスサイズに対応する第2マトリクスサイズで再構成し、前記学習済みモデルに対して、前記第2マトリクスサイズを有する前記第1再構成画像を入力することで、前記第2再構成画像を出力してもよい。
(付記5)
前記医用データ処理方法は、前記第1再構成画像の第1マトリクスサイズを、前記第1マトリクスサイズより大きく前記第2再構成画像のマトリクスサイズに対応する第2マトリクスサイズにアップサンプリングし、前記第2マトリクスサイズを有する前記第1再構成画像を前記学習済みモデルに入力し、前記第2再構成画像を出力してもよい。
(付記6)
付記2に記載の医用データ処理方法における前記学習済みモデルを生成するモデル生成方法は、前記第2医用データのノイズおよび解像度に対応する第1訓練データに対してノイズを付加しかつ解像度を低減することにより、収集データのノイズおよび解像度に対応する第2訓練データを生成し、前記第1訓練データと前記第2訓練データとを用いて畳み込みニューラルネットワークを訓練することにより、前記学習済みモデルを生成してもよい。
(付記7)
付記3に記載の医用データ処理方法における前記学習済みモデルを生成するモデル生成方法は、前記第2再構成画像のノイズおよび解像度に対応する再構成前の第1再構成前データに基づいて、第1訓練画像を再構成し、前記第1再構成前データに対してノイズを付加しかつ解像度を低減することにより、前記第1再構成画像のノイズおよび解像度に対応し、再構成前の第2再構成前データを生成し、前記第2再構成前データに基づいて、第2訓練画像を再構成し、前記第1訓練画像と前記第2訓練画像とを用いて畳み込みニューラルネットワークを訓練することにより、前記学習済みモデルを生成してもよい。
(付記8)
付記3に記載の医用データ処理方法における前記学習済みモデルを生成するモデル生成方法は、前記第2再構成画像のノイズおよび解像度に対応する再構成前の第1再構成前データに基づいて、第1訓練画像を再構成し、前記第1再構成前データに対してノイズを付加して再構成することにより、前記第1再構成画像のノイズに対応するノイズ付加画像を生成し、前記ノイズ付加画像に対して解像度を低減することにより、前記第1再構成画像のノイズおよび解像度に対応する第2訓練画像を生成し、前記第1訓練画像と前記第2訓練画像とを用いて畳み込みニューラルネットワークを訓練することにより、前記学習済みモデルを生成してもよい。
(付記9)
付記3に記載の医用データ処理方法における前記学習済みモデルを生成するモデル生成方法は、前記第2再構成画像のノイズおよび解像度に対応する再構成前の第1再構成前データに基づいて、第1訓練画像を再構成し、前記第1再構成前データに対して解像度を低減して再構成することにより、前記第1再構成画像の解像度に対応する低解像画像を生成し、前記低解像画像に対してノイズを付加することにより、前記第1再構成画像のノイズおよび解像度に対応する第2訓練画像を生成し、前記第1訓練画像と前記第2訓練画像とを用いて畳み込みニューラルネットワークを訓練することにより、前記学習済みモデルを生成してもよい。
(付記10)
付記3に記載の医用データ処理方法における前記学習済みモデルを生成するモデル生成方法は、前記第2再構成画像のノイズおよび解像度に対応する再構成前の第1再構成前データに基づいて、第1訓練画像を再構成し、前記第1訓練画像に対してノイズを付加して解像度を低減することにより、前記第1再構成画像のノイズおよび解像度に対応する第2訓練画像を生成し、前記第1訓練画像と前記第2訓練画像とを用いて畳み込みニューラルネットワークを訓練することにより、前記学習済みモデルを生成してもよい。
(付記11)
医用画像撮像装置により撮像された被検体に関する第1医用データより低ノイズであって前記第1医用データより超解像の第2医用データを前記第1医用データに基づいて生成する学習済みモデルに対して、前記第1医用データを入力することで、前記第2医用データを出力する処理回路を備えた医用データ処理装置。
(付記12)
コンピュータに、医用画像撮像装置により撮像された被検体に関する第1医用データより低ノイズであって前記第1医用データより超解像の第2医用データを前記第1医用データに基づいて生成する学習済みモデルに対して、前記第1医用データを入力することで、前記第2医用データを出力すること、を実現させる医用データ処理プログラム。
(付記13)
第1のピクセルサイズの検出器を有する第1のCT装置で、前記検出器の第1のイメージング領域を用いて被検体に対する第1のCTスキャンを実行することより第1の投影データ群を取得し、
前記第1の投影データ群を再構成処理することにより第1の解像度を有する第1のCT画像を取得し、
前記第1のCT画像に解像度を向上させるための機械学習モデルを適用することにより前記第1の解像度よりも解像度が高い処理後CT画像を取得し、
前記処理後CT画像を表示または解析処理のために出力し、
前記機械学習モデルは、第1のピクセルサイズよりも小さい第2のピクセルサイズの検出器を有する第2のCT装置で、前記検出器の第1のイメージング領域よりも小さい第2のイメージング領域を用いて被検体に対する第2のCTスキャンを実行することより得られる第2の投影データ群に基づく第2のCT画像を用いた機械学習により得られること、
を備える医用画像処理方法。
(付記14)
前記医用画像処理方法は、前記機械学習モデルを適用する場合には、前記第1の投影データ群を用いて第1のマトリクスサイズで再構成処理をすることにより前記第1のCT画像を生成し、前記機械学習モデルを適用しない場合には、前記第1の投影データ群を用いて第1のマトリクスサイズよりも小さい第2のマトリクスサイズで再構成処理をすることにより他のCT画像を生成してもよい。
(付記15)
前記第1のマトリクスサイズは、512×512、1024×1024、2048×2048、4096×4096のうちいずれかであってもよい。
(付記16)
前記第2のマトリクスサイズは、256×256、512×512、1024×1024、2048×2048のうちいずれかであってもよい。
(付記17)
前記第1のマトリクスサイズは、1024×1024以上であって、前記第2のマトリクスサイズ512×512以上であってもよい。
(付記18)
前記医用画像処理方法は、
前記機械学習モデルを適用する場合には、前記第1の投影データ群を用い、第1の再構成関数に基づいて再構成処理をすることにより前記第1のCT画像を生成し、
前記機械学習モデルを適用する代わりに、前記機械学習モデルとは異なる、ノイズを低減させるための他の機械学習モデルを適用する場合には、前記第1の投影データ群を用い、前記第1の再構成関数よりもノイズ低減効果の大きい第2の再構成関数に基づいて再構成処理をすることにより他のCT画像を生成し、前記他のCT画像に前記他の機械学習モデルを適用してもよい。
(付記19)
前記医用画像処理方法は、前記処理後CT画像の取得において、前記第1のCT画像と、前記第1のCT画像に前記機械学習モデルを適用して得られる画像とを所定の割合で合成することにより前記処理後CT画像を取得してもよい。
(付記20)
前記所定の割合は、ユーザ入力に基づいて得られる、または一組の撮像条件セットから得られてもよい。
(付記21)
前記医用画像処理方法は、前記機械学習モデルの適用において、
前記第1のCT画像に基づいて複数の3D部分画像を生成し、
前記機械学習モデルと前記他の機械学習モデルとのうち指定されたモデルに前記複数の3D部分画像を入力することによって、前記指定されたモデルを適用して、複数の処理済み3D部分画像を取得し、
前記複数の処理済み3D部分画像を合成することによって処理済み画像を取得してもよい。
(付記22)
前記医用画像処理方法は、前記複数の3D部分画像の生成において、前記複数の3D部分画像のうち少なくとも2つが部分的に重複するように前記複数の3D部分画像を生成してもよい。
(付記23)
前記医用画像処理方法は、前記複数の処理済み3D部分画像を合成することにおいて、前記複数の処理済み3D部分画像のうち2つの隣接する処理済み3D部分画像間の結合部にフィルタ処理を適用して、前記複数の処理済み3D部分画像を合成してもよい。
(付記24)
前記機械学習モデルは、前記第1のCT画像に超解像処理を適用するための機械学習モデルであってもよい。
(付記25)
前記機械学習モデルは、前記第1のCT画像に超解像処理とノイズ低減処理とを適用するための機械学習モデルであってもよい。
(付記26)
前記医用画像処理方法によれば、前記機械学習モデルの生成では、前記第2のCT画像と、前記第2のCT画像または前記第2の投影データ群にいずれかに基づき生成される、前記第2のCT画像よりも解像度が低く、前記第2のCT画像よりもノイズが大きい第3のCT画像とを訓練画像として、前記訓練画像を用いて前記機械学習モデルは訓練されてもよい。
(付記27)
前記医用画像処理方法によれば、前記機械学習モデルの生成では、前記第2のCT画像と、前記第2の投影データ群にノイズ付加処理を適用してさらに解像度低減処理を適用することにより得られる第3の投影データ群に基づく第4のCT画像とを訓練画像として、前記訓練画像を用いて前記機械学習モデルは訓練されてもよい。
(付記28)
第1のピクセルサイズの検出器を有する第1のCT装置で、前記検出器の第1のイメージング領域を用いて被検体に対する第1のCTスキャンを実行することより得られる第1の投影データ群を取得する取得部と、
前記第1の投影データ群を再構成処理することにより第1の解像度を有する第1のCT画像を取得し、かつ、前記第1のCT画像に解像度を向上させるための機械学習モデルを適用することにより前記第1の解像度よりも解像度が高い処理後CT画像を取得する処理部と、
前記処理後CT画像を表示または解析処理のために出力する出力部と、
を備え、
前記機械学習モデルは、第1のピクセルサイズよりも小さい第2のピクセルサイズの検出器を有する第2のCT装置で、前記検出器の第1のイメージング領域よりも小さい第2のイメージング領域を用いて被検体に対する第2のCTスキャンを実行することより得られる第2の投影データ群に基づく第2のCT画像を用いた機械学習により得られる、
医用画像処理装置。
(付記29)
X線CT装置は、付記28に記載の医用画像処理装置を有していてもよい。
(付記30)
コンピュータに、
第1のピクセルサイズの検出器を有する第1のCT装置で、前記検出器の第1のイメージング領域を用いて被検体に対する第1のCTスキャンを実行することより第1の投影データ群を取得し、
前記第1の投影データ群を再構成処理することにより第1の解像度を有する第1のCT画像を取得し、
前記第1のCT画像に解像度を向上させるための機械学習モデルを適用することにより前記第1の解像度よりも解像度が高い処理後CT画像を取得し、
前記処理後CT画像を表示または解析処理のために出力することを実現させ、
前記機械学習モデルは、第1のピクセルサイズよりも小さい第2のピクセルサイズの検出器を有する第2のCT装置で、前記検出器の第1のイメージング領域よりも小さい第2のイメージング領域を用いて被検体に対する第2のCTスキャンを実行することより得られる第2の投影データ群に基づく第2のCT画像を用いた機械学習により得られる、
医用画像処理プログラム。
1 X線CTシステム
5 学習装置
10 架台装置
11 X線管
12 X線検出器
13 回転フレーム
14 X線高電圧装置
15 制御装置
16 ウェッジ
17 コリメータ
18 DAS(Data Acquisition System)18
30 寝台装置
31 基台
32 寝台駆動装置
33 天板
34 支持フレーム
40 コンソール装置
41メモリ
42 ディスプレイ
43入力インターフェース
44 処理回路
51 メモリ
54 処理回路
100 広範囲CT検出システム
101 広範囲CTデータ
113 ケーブルまたは配線
150 画像処理装置
200 UHR-CT検出システム
201 UHR-CTデータ
301 広範囲UHR-CT画像
400 情報処理装置
401 超解像(SR)用学習済みモデル
441 システム制御機能
442 前処理機能
443 再構成処理機能
444 画像処理機能
445 データ処理機能
543 訓練データ生成機能
544 モデル生成機能
1200 コンピュータシステム
1200’ コンピュータ
1201 中央処理装置(central processing unit:CPU)
1202 ROM
1203 RAM
1204 ハードディスク(および/または他の記憶装置)
1205 通信インターフェース
1207 固体撮像素子(SSD)
1209 スクリーン(またはモニタ・インターフェース)、ディスプレイ
1210 キーボード(または入力インターフェース;キーボードに加えてマウスや他の入力装置を備えてもよい)
1211 マウス装置
1212 ネットワークインターフェース
1214 オペレーションインターフェース
1215 GPU
1500 X線架台装置
1501 X線管
1502 円環状フレーム
1503 複数列または二次元アレイ型X線検出器
1505 非接触型データ送信機
1506 前処理装置
1507 回転部
1508 スリップリング
1510 システムコントローラ
1511 制御バス
1512 記憶装置
1513 電流調整装置
1514 再構成装置
1515 入力装置
1516 表示装置
1550 コンソールまたは画像処理装置
1601 医用画像診断装置
1610 医用画像処理装置
1611 送信機/受信機
1612 メモリ
1613 処理回路
1614 再構成装置
16141 再構成プロセッサ
16142 画像プロセッサ

Claims (12)

  1. 医用画像撮像装置により撮像された被検体に関する第1医用データより低ノイズであって前記第1医用データより超解像の第2医用データを前記第1医用データに基づいて生成する学習済みモデルに対して、前記第1医用データを入力することで、前記第2医用データを出力する、
    医用データ処理方法。
  2. 前記第1医用データは、前記医用画像撮像装置による前記被検体の撮像により収集された再構成前のデータまたは表示処理前のデータであって、
    前記第2医用データに基づいて医用画像を生成する、
    請求項1に記載の医用データ処理方法。
  3. 前記第1医用データは、前記医用画像撮像装置による前記被検体の撮像により収集された収集データに基づいて再構成された第1再構成画像であって、
    前記第2医用データは、前記第1再構成画像より低ノイズであって前記第1再構成画像より超解像の第2再構成画像である、
    請求項1に記載の医用データ処理方法。
  4. 前記学習済みモデルが用いられない場合、前記医用画像撮像装置による前記被検体の撮像により収集された収集データに基づいて、前記第1再構成画像を第1マトリクスサイズで再構成し、
    前記学習済みモデルが用いられる場合、前記収集データに基づいて、前記第1再構成画像を、前記第1マトリクスサイズより大きく前記第2再構成画像のマトリクスサイズに対応する第2マトリクスサイズで再構成し、
    前記学習済みモデルに対して、前記第2マトリクスサイズを有する前記第1再構成画像を入力することで、前記第2再構成画像を出力する、
    請求項3に記載の医用データ処理方法。
  5. 前記第1再構成画像の第1マトリクスサイズを、前記第1マトリクスサイズより大きく前記第2再構成画像のマトリクスサイズに対応する第2マトリクスサイズにアップサンプリングし、
    前記第2マトリクスサイズを有する前記第1再構成画像を前記学習済みモデルに入力し、前記第2再構成画像を出力する、
    請求項3に記載の医用データ処理方法。
  6. 請求項2に記載の医用データ処理方法における前記学習済みモデルを生成するモデル生成方法であって、
    前記第2医用データのノイズおよび解像度に対応する第1訓練データに対してノイズを付加しかつ解像度を低減することにより、収集データのノイズおよび解像度に対応する第2訓練データを生成し、
    前記第1訓練データと前記第2訓練データとを用いて畳み込みニューラルネットワークを訓練することにより、前記学習済みモデルを生成する、
    モデル生成方法。
  7. 請求項3に記載の医用データ処理方法における前記学習済みモデルを生成するモデル生成方法であって、
    前記第2再構成画像のノイズおよび解像度に対応する再構成前の第1再構成前データに基づいて、第1訓練画像を再構成し、
    前記第1再構成前データに対してノイズを付加しかつ解像度を低減することにより、前記第1再構成画像のノイズおよび解像度に対応し、再構成前の第2再構成前データを生成し、
    前記第2再構成前データに基づいて、第2訓練画像を再構成し、
    前記第1訓練画像と前記第2訓練画像とを用いて畳み込みニューラルネットワークを訓練することにより、前記学習済みモデルを生成する、
    モデル生成方法。
  8. 請求項3に記載の医用データ処理方法における前記学習済みモデルを生成するモデル生成方法であって、
    前記第2再構成画像のノイズおよび解像度に対応する再構成前の第1再構成前データに基づいて、第1訓練画像を再構成し、
    前記第1再構成前データに対してノイズを付加して再構成することにより、前記第1再構成画像のノイズに対応するノイズ付加画像を生成し、
    前記ノイズ付加画像に対して解像度を低減することにより、前記第1再構成画像のノイズおよび解像度に対応する第2訓練画像を生成し、
    前記第1訓練画像と前記第2訓練画像とを用いて畳み込みニューラルネットワークを訓練することにより、前記学習済みモデルを生成する、
    モデル生成方法。
  9. 請求項3に記載の医用データ処理方法における前記学習済みモデルを生成するモデル生成方法であって、
    前記第2再構成画像のノイズおよび解像度に対応する再構成前の第1再構成前データに基づいて、第1訓練画像を再構成し、
    前記第1再構成前データに対して解像度を低減して再構成することにより、前記第1再構成画像の解像度に対応する低解像画像を生成し、
    前記低解像画像に対してノイズを付加することにより、前記第1再構成画像のノイズおよび解像度に対応する第2訓練画像を生成し、
    前記第1訓練画像と前記第2訓練画像とを用いて畳み込みニューラルネットワークを訓練することにより、前記学習済みモデルを生成する、
    モデル生成方法。
  10. 請求項3に記載の医用データ処理方法における前記学習済みモデルを生成するモデル生成方法であって、
    前記第2再構成画像のノイズおよび解像度に対応する再構成前の第1再構成前データに基づいて、前記第1訓練画像を再構成し、
    前記第1訓練画像に対してノイズを付加して解像度を低減することにより、前記第1再構成画像のノイズおよび解像度に対応する前記第2訓練画像を生成し、
    前記第1訓練画像と前記第2訓練画像とを用いて畳み込みニューラルネットワークを訓練することにより、前記学習済みモデルを生成する、
    モデル生成方法。
  11. 医用画像撮像装置により撮像された被検体に関する第1医用データより低ノイズであって前記第1医用データより超解像の第2医用データを前記第1医用データに基づいて生成する学習済みモデルに対して、前記第1医用データを入力することで、前記第2医用データを出力する、
    処理回路を備えた医用データ処理装置。
  12. コンピュータに、
    医用画像撮像装置により撮像された被検体に関する第1医用データより低ノイズであって前記第1医用データより超解像の第2医用データを前記第1医用データに基づいて生成する学習済みモデルに対して、前記第1医用データを入力することで、前記第2医用データを出力すること、
    を実現させる医用データ処理プログラム。
JP2022045371A 2021-04-07 2022-03-22 医用データ処理方法、モデル生成方法、医用データ処理装置、および医用データ処理プログラム Pending JP2022161004A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202163171700P 2021-04-07 2021-04-07
US63/171,700 2021-04-07
US202163251357P 2021-10-01 2021-10-01
US63/251,357 2021-10-01

Publications (1)

Publication Number Publication Date
JP2022161004A true JP2022161004A (ja) 2022-10-20

Family

ID=81325310

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022045371A Pending JP2022161004A (ja) 2021-04-07 2022-03-22 医用データ処理方法、モデル生成方法、医用データ処理装置、および医用データ処理プログラム

Country Status (3)

Country Link
US (1) US20220327662A1 (ja)
EP (1) EP4071706A1 (ja)
JP (1) JP2022161004A (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340768B (zh) * 2020-02-21 2021-03-09 之江实验室 一种基于pet/ct智能诊断系统的多中心效应补偿方法
US20220405880A1 (en) * 2021-06-17 2022-12-22 Nvidia Corporation Generative neural networks with reduced aliasing
US20230177747A1 (en) * 2021-12-06 2023-06-08 GE Precision Healthcare LLC Machine learning generation of low-noise and high structural conspicuity images
CN115810139B (zh) * 2022-12-16 2023-09-01 西北民族大学 一种spect图像的目标区域识别方法及系统
CN116887037A (zh) * 2023-07-20 2023-10-13 西南医科大学 一种自由控制摄像机视图方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11517197B2 (en) * 2017-10-06 2022-12-06 Canon Medical Systems Corporation Apparatus and method for medical image reconstruction using deep learning for computed tomography (CT) image noise and artifacts reduction
US10552944B2 (en) * 2017-10-13 2020-02-04 Adobe Inc. Image upscaling with controllable noise reduction using a neural network
CN110428378B (zh) * 2019-07-26 2022-02-08 北京小米移动软件有限公司 图像的处理方法、装置及存储介质
CN112489156B (zh) * 2020-12-17 2023-04-18 电子科技大学 一种基于插值卷积神经网络的低剂量ct重建方法
US11659193B2 (en) * 2021-01-06 2023-05-23 Tencent America LLC Framework for video conferencing based on face restoration

Also Published As

Publication number Publication date
US20220327662A1 (en) 2022-10-13
EP4071706A1 (en) 2022-10-12

Similar Documents

Publication Publication Date Title
JP7150837B2 (ja) 機械学習を使用した画像生成
JP7524405B2 (ja) 医用画像処理装置および医用画像処理方法
EP4071706A1 (en) Medical data processing method, model generation method, medical data processing apparatus, and computer-readable non-transitory storage medium storing medical data processing program
JP7234064B2 (ja) 反復的画像再構成フレームワーク
CN113689342B (zh) 一种图像质量优化的方法及系统
JP5138910B2 (ja) 投影画像を用いた3dcadのシステム及び方法
CN103180879B (zh) 用于从投影数据对对象进行混合重建的设备和方法
US20160015350A1 (en) Medical image photographing apparatus and method of processing medical image
JP6688626B2 (ja) X線コンピュータ断層撮像装置及び医用画像処理装置
JP2016152916A (ja) X線コンピュータ断層撮像装置及び医用画像処理装置
US20180184992A1 (en) System and method for medical imaging
CN114067013A (zh) 用于经由单应重采样变换进行重投影和反投影的系统和方法
Liang et al. Guest editorial low-dose CT: what has been done, and what challenges remain?
US20240029207A1 (en) Systems and methods for adaptive blending in computed tomography imaging
US20220375038A1 (en) Systems and methods for computed tomography image denoising with a bias-reducing loss function
JP2022161003A (ja) 医用画像処理方法、医用画像処理装置、x線ct装置、および医用画像処理プログラム
JP7466401B2 (ja) 医用画像診断装置
JP7513487B2 (ja) 情報処理方法、医用画像診断装置及び情報処理システム
US11270477B2 (en) Systems and methods for tailored image texture in iterative image reconstruction
US20230404514A1 (en) Medical data processing method, model generating method, and medical data processing apparatus
US20230326596A1 (en) Information processing method, medical image diagnostic apparatus, and information processing system
JP7309429B2 (ja) 医用情報処理システム、および医用情報処理装置
Slagowski et al. Feasibility of CT-based 3D anatomic mapping with a scanning-beam digital x-ray (SBDX) system
US20240029415A1 (en) Simulating pathology images based on anatomy data
US20240144470A1 (en) System and Method for Restoring Projection Data from CT/DBT Scans with Improved Image Quality