JP2023184428A - 医用データ処理方法、モデル生成方法、および医用データ処理装置 - Google Patents

医用データ処理方法、モデル生成方法、および医用データ処理装置 Download PDF

Info

Publication number
JP2023184428A
JP2023184428A JP2023047004A JP2023047004A JP2023184428A JP 2023184428 A JP2023184428 A JP 2023184428A JP 2023047004 A JP2023047004 A JP 2023047004A JP 2023047004 A JP2023047004 A JP 2023047004A JP 2023184428 A JP2023184428 A JP 2023184428A
Authority
JP
Japan
Prior art keywords
data
image
spectral
resolution
noise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023047004A
Other languages
English (en)
Inventor
正和 松浦
Masakazu Matsuura
拓也 根本
Takuya Nemoto
博基 田口
Hiromoto Taguchi
悠斗 浜田
Yuto Hamada
洋平 湊谷
Yohei Minatoya
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Priority to US18/332,006 priority Critical patent/US20230404514A1/en
Publication of JP2023184428A publication Critical patent/JP2023184428A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)

Abstract

Figure 2023184428000001
【課題】スペクトラルイメージングにより生成されるスペクトラル医用画像における解剖学的特徴などの物体の視認性を向上し、かつ画質を向上させたスペクトラル医用画像を生成すること。
【解決手段】本実施形態に係る医用データ処理方法は、スペクトラル医用撮像装置により撮像された被検体に関する第1スペクトラルデータより低ノイズであって前記第1スペクトラルデータより高解像の第2スペクトラルデータを前記第1スペクトラルデータに基づいて生成する学習済みモデルに対して、前記第1スペクトラルデータを入力することで、前記第2スペクトラルデータを出力し、前記第1スペクトラルデータは、前記被検体に対するスペクトラルスキャンにより得られた医用データに対応し、前記学習済みモデルは、前記第1スペクトラルデータに対してノイズ低減処理と超解像処理とを実行する。
【選択図】 図2

Description

本実施形態は、医用データ処理方法、モデル生成方法、および医用データ処理装置に関する。
従来、例えば、X線コンピュータ断層撮影(Computed Tomography:CT)装置によるCT検査において、肺野および骨では緻密な構造を見る必要がある。このため、肺野および骨に関するCT検査において、X線CT装置により再構成されたCT画像では、他の部位に比べてより高い空間分解能が求められる。また、例えば、デュアルエネルギー(Dual Energy:DE)CT装置および光子計数(Photon Counting:PC)CT装置は、X線のエネルギー情報を取得する。このとき、DECT装置およびPCCT装置には、物質弁別を行って画像再構成を実行するスペクトラルイメージング(Spectral Imaging)の技術が備えられている。スペクトラルイメージングに関する画像処理において、例えば、FBP(filtered back projection)ベースの再構成法では、高周波を増強する再構成関数を用いることで、再構成されたCT画像における空間分解能を向上させる等の技術がある。また、近年では、Deep learningを用いた学習済みモデルにおいて、スペクトラルイメージングにおける空間分解能の向上を目的とした超解像技術が提案されている。
しかしながら、スペクトラルイメージングにおいて、再構成関数を用いたFBPベースの空間分解能の向上技術では、再構成されたCT画像の全体に亘って高周波成分が強調される。このため、FBPベースの空間分解能の向上技術では、ノイズも同時に強調され、再構成されたCT画像における解剖学的構造の視認性が悪くなることがある。一方、Deep learningによる学習済みモデルを用いた超解像(高解像)のCT画像では、選択的に解剖学的構造の分解能を向上することができ、上記FBPベースの再構成法の問題点を解決することができる。
また、スペクトラルイメージングにおいて、DECT装置により低線量で投影データが収集された場合、当該投影データにおいては、高線量で収集された投影データに比べて、ノイズが多くなる。このため、上記超解像により分解能向上を行ったとしても、超解像のCT画像ではノイズにより解剖学的構造の視認性が悪くなることがある。
特開2019-212050号公報
本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、スペクトラルイメージングにより生成されるスペクトラル医用画像における解剖学的特徴などの物体の視認性を向上し、かつ画質を向上させたスペクトラル医用画像を生成することである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。
本実施形態に係る医用データ処理方法は、スペクトラル医用撮像装置により撮像された被検体に関する第1スペクトラルデータより低ノイズであって前記第1スペクトラルデータより高解像の第2スペクトラルデータを前記第1スペクトラルデータに基づいて生成する学習済みモデルに対して、前記第1スペクトラルデータを入力することで、前記第2スペクトラルデータを出力し、前記第1スペクトラルデータは、前記被検体に対するスペクトラルスキャンにより得られた医用データに対応し、前記学習済みモデルは、前記第1スペクトラルデータに対してノイズ低減処理と超解像処理とを実行する。
図1は、実施形態に係るPCCT装置の構成例を示す図。 図2は、実施形態に係るノイズ低減超解像処理の手順の一例を示すフローチャート。 図3は、実施形態に係り、第1スペクトラルデータを用いたノイズ低減超解像処理の概要を示す図。 図4は、実施形態に係り、第1スペクトラルデータの一例として投影データを用いたノイズ低減超解像処理の概要を示す図。 図5は、実施形態に係り、第1スペクトラルデータの一例として再構成画像を用いたノイズ低減超解像処理の概要を示す図。 図6は、実施形態に係り、デュアルエネルギーCT装置により生成された第1再構成画像に対してノイズ低減超解像処理を適用した一例を示す図。 図7は、実施形態に係り、ノイズ低減超解像モデルの生成に関する学習装置の構成の一例を示す図。 図8は、実施形態に係り、第1訓練データと第2訓練データとを用いてDCNNを学習することによりノイズ低減超解像モデルを生成する処理の手順の一例を示すフローチャート。 図9は、実施形態に係り、モデル生成処理の概要を示す図。 図10は、実施形態に係り、ノイズシミュレーションおよび分解能シミュレーションの対象となるデータの組み合わせの一例を示す図。 図11は、実施形態における図10の(a)に係り、学習済みモデルとなるノイズ低減超解像モデルの入出力が投影データとなる場合について、モデル生成処理の概要を示す図。 図12は、実施形態における図10の(a)に係り、学習済みモデルとなるノイズ低減超解像モデルの入出力が画像データ(再構成画像)となる場合について、モデル生成処理の概要を示す図。 図13は、実施形態における図10の(b)に係るモデル生成処理の概要を示す図。 図14は、実施形態における図10の(c)に係るモデル生成処理の概要を示す図。 図15は、実施形態における図10の(d)に係るモデル生成処理の概要を示す図。 図16は、実施形態の第4応用例に係り、PCCT装置により取得されたカウント投影データから、第1高エネルギー単色画像と第1低エネルギー単色画像とを生成する一例を示す図。 図17は、実施形態の第4応用例に係り、モデル生成処理の概要の一例を示す図。
以下、図面を参照しながら、医用データ処理方法、モデル生成方法、医用データ処理装置、および医用データ処理プログラムについて説明する。以下の実施形態では、同一の参照符号を付した部分は同様の動作をおこなうものとして、重複する説明を適宜省略する。また、説明を具体的にするために、実施形態に係る医用データ処理装置は、例えば、スペクトラル医用撮像装置に搭載されているものとして説明する。なお、実施形態に係る医用データ処理装置は、医用データ処理方法を実現可能なサーバ装置、換言すれば、医用データ処理プログラムを実行可能なサーバ装置などにより実現されてもよい。
医用データ処理装置は、スペクトラル医用撮像装置の一例として、光子計数型X線コンピュータ断層撮影装置(以下、PCCT((Photon Counting Computed Tomography)装置と呼ぶ)に搭載されているものとして説明する。なお、本医用データ処理装置が搭載されるスペクトラル医用撮像装置は、PCCT装置に限定されず、例えば、デュアルエネルギー(Dual Energy:DE)CT装置であってもよい。また、PET(Positron Emission Tomography)およびSPECT(Single Photon Emission Computed Tomography)などの核医学診断装置とスペクトラル医用撮像装置との複合装置などであってもよい。
(実施形態)
図1は、実施形態に係るPCCT装置1の構成例を示す図である。図1に示すように、PCCT装置1は、ガントリとも称される架台装置10と、寝台装置30と、コンソール装置40とを有する。本実施形態における医用データ処理装置は、図1に示すコンソール装置40において、例えば、システム制御機能441と前処理機能442とを除外した構成に相当する。なお、本実施形態における医用データ処理装置は、図1に示すコンソール装置40における構成要素から適宜不要な構成を除いたものであってもよい。なお、本実施形態では、非チルト状態での回転フレーム13の回転軸の長手方向をZ軸方向、Z軸方向に直交しかつ回転中心から回転フレーム13を支持する支柱に向かう方向をX軸、当該Z軸及びX軸と直交する方向をY軸とそれぞれ定義するものとする。図1では、説明の都合上、架台装置10を複数描画しているが、実際のPCCT装置1の構成としては、架台装置10は、一つである。
架台装置10及び寝台装置30は、コンソール装置40を介した操作者からの操作、或いは架台装置10、又は寝台装置30に設けられた操作部を介した操作者からの操作に基づいて動作する。架台装置10と、寝台装置30と、コンソール装置40とは互いに通信可能に有線または無線で接続されている。
架台装置10は、被検体PにX線を照射し、被検体Pを透過したX線の検出データから投影データを収集する撮影系を有する装置である。架台装置10は、X線管11と、X線検出器12と、回転フレーム13と、X線高電圧装置14と、制御装置15と、ウェッジ16と、コリメータ17と、DAS(Data Acquisition System)18とを有する。
X線管11は、X線高電圧装置14からの高電圧の印加及びフィラメント電流の供給により、陰極(フィラメント)から陽極(ターゲット)に向けて熱電子を照射することでX線を発生する真空管である。熱電子がターゲットに衝突することによりX線が発生される。X線管11における管球焦点で発生したX線は、X線管11におけるX線放射窓を通過して、コリメータ17を介して例えばコーンビーム形に成形され、被検体Pに照射される。X線管11には、例えば、回転する陽極に熱電子を照射することでX線を発生させる回転陽極型のX線管がある。
X線検出器12は、X線管11により発生したX線の光子を検出する。具体的には、X線検出器12は、X線管11から照射され、被検体Pを通過したX線を光子単位で検出し、当該X線量に対応した電気信号をDAS18へと出力する。X線検出器12は、例えば、X線管11の焦点を中心として1つの円弧に沿ってファン角方向(チャネル方向ともいう)に複数の検出素子(X線検出素子ともいう)が配列された複数の検出素子列を有する。X線検出器12において、複数の検出素子列は、Z軸方向に沿って平坦に配列される。すなわち、X線検出器12は、例えば、当該検出素子列がコーン角方向(列方向、row方向、スライス方向ともいう)に沿って平坦に複数配列された構造を有する。
なお、PCCT装置1には、例えば、X線管11とX線検出器12とが一体として被検体Pの周囲を回転するRotate/Rotate-Type(第3世代CT)、リング状にアレイされた多数のX線検出素子が固定され、X線管11のみが被検体Pの周囲を回転するStationary/Rotate-Type(第4世代CT)等様々なタイプがあり、いずれのタイプでも本実施形態へ適用可能である。
X線検出器12は、入射したX線を電荷に変換する半導体素子を有する直接変換型のX線検出器である。本実施形態のX線検出器12は、例えば、少なくとも1つの高電圧電極と、少なくとも1つの半導体結晶と、複数の読出電極とを備える。半導体素子は、X線変換素子ともいう。半導体結晶は、例えば、CdTe(テルル化カドミウム:cadmium telluride)やCdZnTe(テルル化カドミウム亜鉛:cadmium Zinc telluride:CZT)などにより実現される。X線検出器12において、半導体結晶を挟んで対向し、Y方向に直交する2つの面には、電極が設けられる。すなわち、X線検出器12には、複数のアノード電極(読出電極、または画素電極ともいう)とカソード電極(共通電極ともいう)とが、半導体結晶を挟んで設けられる。
読出電極と共通電極との間には、バイアス電圧が印加される。X線検出器12では、X線が半導体結晶に吸収されると電子正孔対が生成されて、電子が陽極側(アノード電極(読出電極)側)へと移動し、正孔が陰極側(カソード電極側)に移動することで、X線の検出に関する信号が、X線検出器12からDAS18へ出力される。
なお、X線検出器12は、入射したX線を間接的に電気信号に変換する間接変換型の検出器であっても構わない。X線検出器12は、X線検出部の一例である。
回転フレーム13は、X線管11とX線検出器12とを対向支持し、後述する制御装置15によってX線管11とX線検出器12とを回転させる円環状のフレームである。なお、回転フレーム13は、X線管11とX線検出器12に加えて、X線高電圧装置14やDAS18を更に備えて支持する。回転フレーム13は架台装置10の非回転部分(例えば固定フレーム。図1での図示は省略している)により回転可能に支持される。回転機構は例えば回転駆動力を生ずるモータと、当該回転駆動力を回転フレーム13に伝達して回転させるベアリングとを含む。モータは例えば当該非回転部分に設けられ、ベアリングは回転フレーム13及び当該モータと物理的に接続され、モータの回転力に応じて回転フレーム13が回転する。
回転フレーム13と非回転部分にはそれぞれ、非接触方式または接触方式の通信回路が設けられ、これにより回転フレーム13に支持されるユニットと当該非回転部分あるいは架台装置10の外部装置との通信が行われる。例えば非接触の通信方式として光通信を採用する場合、DAS18が生成した検出データは、回転フレーム13に設けられた発光ダイオード(LED)を有する送信機から光通信によって架台装置10の非回転部分に設けられた、フォトダイオードを有する受信機に送信され、さらに送信器により当該非回転部分からコンソール装置40へと転送される。なお通信方式としては、この他に容量結合式や電波方式などの非接触型のデータ伝送の他、スリップリングと電極ブラシを使った接触型のデータ伝送方式を採用しても構わない。また、回転フレーム13は、回転部の一例である。
X線高電圧装置14は、変圧器(トランス)及び整流器等の電気回路を有し、X線管11に印加する高電圧及びX線管11に供給するフィラメント電流を発生する機能を有する高電圧発生装置と、X線管11が照射するX線に応じた出力電圧の制御を行うX線制御装置とを有する。高電圧発生装置は、変圧器方式であってもよいし、インバータ方式であっても構わない。なお、X線高電圧装置14は、回転フレーム13に設けられてもよいし、架台装置10の固定フレーム側に設けられても構わない。また、X線高電圧装置14は、X線高電圧部の一例である。
制御装置15は、CPU(Central Processing Unit)等を有する処理回路と、モータ及びアクチュエータ等の駆動機構とを有する。処理回路は、ハードウェア資源として、CPUやMPU(Micro Processing Unit)等のプロセッサとROM(Read Only Memory)やRAM(Random Access Memory)等のメモリとを有する。また、制御装置15は、例えば、GPU(Graphics Processing Unit)、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等のプロセッサにより実現されてもよい。
プロセッサが例えばCPUである場合、プロセッサはメモリに保存されたプログラムを読み出して実行することで機能を実現する。一方、プロセッサがASICである場合、メモリにプログラムを保存する代わりに、当該機能がプロセッサの回路内に論理回路として直接組み込まれる。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて1つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、複数の構成要素を1つのプロセッサへ統合してその機能を実現するようにしてもよい。
制御装置15は、コンソール装置40若しくは架台装置10に取り付けられた入力インターフェースからの入力信号を受けて、架台装置10及び寝台装置30の動作制御を行う機能を有する。例えば、制御装置15は、入力信号を受けて回転フレーム13を回転させる制御や、架台装置10をチルトさせる制御、及び寝台装置30及び天板33を動作させる制御を行う。なお、架台装置10をチルトさせる制御は、架台装置10に取り付けられた入力インターフェースによって入力される傾斜角度(チルト角度)情報により、制御装置15がX軸方向に平行な軸を中心に回転フレーム13を回転させることによって実現されてもよい。
なお、制御装置15は架台装置10に設けられてもよいし、コンソール装置40に設けられても構わない。なお、制御装置15は、メモリにプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むように構成しても構わない。また、制御装置15は、制御部の一例である。
ウェッジ16は、X線管11から照射されたX線のX線量を調節するためのフィルタである。具体的には、ウェッジ16は、X線管11から被検体Pへ照射されるX線が、予め定められた分布になるように、X線管11から照射されたX線を透過して減衰するフィルタである。ウェッジ16は、例えば、ウェッジフィルタ(wedge filter)またはボウタイフィルタ(bow-tie filter)であり、所定のターゲット角度や所定の厚みとなるようにアルミニウムを加工したフィルタである。
コリメータ17は、ウェッジ16を透過したX線をX線照射範囲に絞り込むための鉛板等であり、複数の鉛板等の組み合わせによってスリットを形成する。なお、コリメータ17は、X線絞りと呼ばれる場合もある。
DAS(Data Acquisition System)18は、複数の計数回路を有する。複数の計数回路各々は、X線検出器12の各検出素子から出力される電気信号に対して増幅処理を行う増幅器と、増幅された電気信号をデジタル信号に変換するA/D変換器とを有し、X線検出器12の検出信号を用いた計数処理の結果である検出データを生成する。計数処理の結果は、エネルギービン(Energy BIN)ごとのX線の光子数を割り当てたデータである。エネルギービンは、所定の幅のエネルギー域に相当する。例えば、DAS18は、X線管11から照射されて被検体Pを透過したX線に由来する光子(X線光子)を計数し、当該計数した光子のエネルギーを弁別した計数処理の結果を、検出データとして生成する。DAS18はデータ収集部の一例である。
DAS18が生成した検出データは、コンソール装置40へと転送される。検出データは、生成元の検出器画素のチャンネル番号、列番号、収集されたビュー(投影角度ともいう)を示すビュー番号、及び検出されたX線の線量を示す値のデータのセットである。なお、ビュー番号としては、ビューが収集された順番(収集時刻)を用いてもよく、X線管11の回転角度を表す番号(例、1~1000)を用いてもよい。DAS18における複数の計数回路各々は、例えば、検出データを生成可能な回路素子を搭載した回路群により実現される。なお、本実施形態において、単に「検出データ」という場合、X線検出器12により検出され、前処理が施される前の純生データと、純生データに対して前処理が施された生データの両方の意味を包括する。なお、前処理前のデータ(検出データ)および前処理後のデータを総称して投影データと称する場合もある。
寝台装置30は、スキャン対象の被検体Pを載置、移動させる装置であり、基台31と、寝台駆動装置32と、天板33と、支持フレーム34とを備えている。基台31は、支持フレーム34を鉛直方向に移動可能に支持する筐体である。寝台駆動装置32は、被検体Pが載置された天板33を天板33の長軸方向に移動するモータあるいはアクチュエータである。支持フレーム34の上面に設けられた天板33は、被検体Pが載置される板である。なお、寝台駆動装置32は、天板33に加え、支持フレーム34を天板33の長軸方向に移動してもよい。
コンソール装置40は、メモリ41と、ディスプレイ42と、入力インターフェース43と、処理回路44とを有する。メモリ41と、ディスプレイ42と、入力インターフェース43と、処理回路44との間のデータ通信は、例えば、バス(BUS)を介して行われる。なお、コンソール装置40は、架台装置10とは別体として説明するが、架台装置10に、コンソール装置40またはコンソール装置40の各構成要素の一部が含まれてもよい。
メモリ41は、例えば、RAM(Random Access Memory)、フラッシュメモリ等の半導体メモリ素子、HDD(Hard disk Drive)やSSD(Solid State Drive)、光ディスク等により実現される。また、メモリ41は、CD(Compact Disc)、DVD(Digital Versatile Disc)、フラッシュメモリ等の可搬性記憶媒体や、RAM(Random Access Memory)等の半導体メモリ素子等との間で種々の情報を読み書きする駆動装置であってもよい。メモリ41は、例えば、DAS18から出力された検出データ、前処理機能442により生成された投影データ、再構成処理機能443により再構成された再構成画像を記憶する。再構成画像は、例えば、3次元的なCT画像データ(ボリュームデータ)、もしくは2次元的なCT画像データなどである。また、メモリ41の保存領域は、PCCT装置1内にあってもよいし、ネットワークで接続された外部記憶装置内にあってもよい。
メモリ41は、第1スペクトラルデータより低ノイズであって当該第1スペクトラルデータより高解像の第2スペクトラルデータを第1スペクトラルデータに基づいて生成する学習済みモデルを記憶する。第1スペクトラルデータは、例えば、再構成前の第1再構成前データ、または第1再構成画像などに対応する。第1スペクトラルデータは、スペクトラル医用撮像装置により撮像された被検体Pに関する医用データである。すなわち、第1スペクトラルデータは、被検体Pに対するスペクトラルスキャンにより得られた医用データに対応する。メモリ41は、第1スペクトラルデータ、および学習済みモデルにより生成(再構成)された第2スペクトラルデータを記憶する。
第1スペクトラルデータが第1再構成前データであって、スペクトラル医用撮像装置がDECT装置である場合、第1再構成前データは、例えば、DECT装置において第1管電圧で収集された第1投影データと、当該第1管電圧より高い第2管電圧で収集された第2投影データとに対応する。なお、このとき、第1スペクトラルデータは、2つの基準物質各々に対応する第1基準投影データであってもよい。また、第1スペクトラルデータが第1再構成前データであって、スペクトラル医用撮像装置がPCCT装置1である場合、第1再構成前データは、3つ以上の基準物質各々に対応する第1基準投影データまたは複数のエネルギー範囲各々に対応する第1カウントデータに対応する。
第1スペクトラルデータが第1再構成画像である場合、当該第1再構成画像は、複数の基準物質に対応する複数の第1基準物質画像と、X線のエネルギーが異なる少なくとも一つの第1仮想単色X線画像と、第1仮想非造影画像と、第1ヨードマップ画像と、第1実効原子番号画像と、第1電子密度画像と、スペクトラル医用撮像装置による撮像で用いられた第1管電圧に対応する第1管電圧画像および前記第1管電圧より高い第2管電圧に対応する第2管電圧画像と、複数のエネルギー範囲に対応する複数の第1エネルギー画像と、のうちいずれかの画像である。複数の基準物質は、例えば、水、ヨウ素、などである。このとき、基準物質画像は、例えば、水含有量(例えば、水の存在率など)をピクセルごとに表した水画像、ヨード含有量(例えば、ヨードの存在率など)をピクセルごとに表したヨード画像などである。
第1仮想単色X線画像は、X線管11において発生されたX線(例えば白色X線)のエネルギーにおいて特定の一つのエネルギー成分(keV)を有する単色X線に対応し、仮想的に特定の単色X線で撮影したような医用画像に相当する。第1仮想非造影画像は、造影後の画像から生成された第1VNC(Virtual Non-Contrast)画像に相当する。第1ヨードマップ画像は、ヨードを成分として有する造影剤の染まり具合を示す医用画像である。第1実効原子番号画像は、例えば、複数のボクセル各々における元素の種類に関して、単一の元素で構成されている場合は当該元素の種類を、複数の元素で構成されている場合は平均的な原子番号を示す医用画像である。すなわち、実効原子番号とは、あるボクセルを単一の原子で置き換えると仮定した時に、そこに該当する原子番号のことである。例えば、第1実効原子番号画像は、X線管11において発生されたX線における特性X線(kエッジ(k-edge))に対応する画像に相当する。第1電子密度画像は、単位体積内に存在すると推定される電子の個数を表す医用画像である。第1電子密度画像は、例えば、造影剤の密度を表す医用画像に対応する。複数の第1エネルギー画像各々は、PCCT装置1において複数のエネルギービンごとに収集された検出データに基づいて生成された医用画像に対応する。
スペクトラル医用撮像装置がDECT装置である場合、第1管電圧画像は、DECT装置において第1管電圧で収集された第1投影データに基づいて再構成された医用画像である。また、第2管電圧画像は、当該第1管電圧より高い第2管電圧で収集された第2投影データに基づいて再構成された医用画像である。
学習済みモデルは、入力されたスペクトラルデータに対して、低ノイズ化および高解像度化を実現するモデルであって、例えば、畳み込みニューラルネットワーク(以下、DCNN(Deep Convolution Neural Network)と呼ぶ)に対する学習により生成される。学習済みモデルにおける機能は、広い意味での再構成の処理を備える。このため、本実施形態における学習済みモデルは、深層学習再構成(ディープラーニングリコンストラクション:Deep Learning Reconstruction)と称されてもよい。本実施形態における学習済みモデル(以下、ノイズ低減超解像モデルと呼ぶ)の生成、すなわちDCNNに対する学習は、例えば、学習装置や、各種サーバ装置、医用データ処理装置が搭載された各種モダリティなどにより実現される。生成されたノイズ低減超解像モデルは、例えば、DCNNに対する学習を実施した装置から出力されて、メモリ41に記憶される。ノイズ低減超解像モデルの生成については、後ほど説明する。
第2スペクトラルデータは、例えば、第1再構成前データに対応する第2再構成前データ、または第1再構成画像に対応する第2再構成画像などに対応する。第2スペクトラルデータは、スペクトラル医用撮像装置により撮像された被検体Pに関する医用データである。メモリ41は、学習済みモデルにより生成(再構成)された第2スペクトラルデータを記憶する。第1スペクトラルデータが第1投影データおよび第2投影データとである場合、第2スペクトラルデータは、第1投影データに対応する第3投影データ、および第2投影データに対応する第4投影データである。また、第1スペクトラルデータが第1基準投影データである場合、第2スペクトラルデータは、第1基準投影データに対応する第2基準投影データである。第1スペクトラルデータが第1カウントデータである場合、第2スペクトラルデータは、第1カウントデータに対応する第2カウントデータである。
また、第1再構成画像が複数の第1基準物質画像である場合、第2再構成画像は、複数の第1基準物質画像に対応する複数の第2基準物質画像である。また、第1再構成画像が第1仮想単色X線画像である場合、第2再構成画像は、第1仮想単色X線画像に対応する第2仮想単色X線画像である。第1再構成画像が第1仮想非造影画像である場合、第2再構成画像は、第1仮想非造影画像に対応する第2仮想非造影画像である。第1再構成画像が第1ヨードマップ画像である場合、第2再構成画像は、第1ヨードマップ画像に対応する第2ヨードマップ画像である。第1再構成画像が第1実効原子番号画像である場合、第2再構成画像は、第1実効原子番号画像に対応する第2実効原子番号画像である。第1再構成画像が第1電子密度画像である場合、第2再構成画像は、第1電子密度画像に対応する第2電子密度画像である。第1再構成画像が複数の第1エネルギー画像である場合、第2再構成画像は、複数の第1エネルギー画像に対応する複数の第2エネルギー画像である。また、第1再構成画像が第1管電圧画像および第2管電圧画像である場合、第2再構成画像は、第1管電圧画像に対応する第3管電圧画像、および第2管電圧画像に対応する第4管電圧画像である。
メモリ41は、処理回路44により実行されるシステム制御機能441、前処理機能442、再構成処理機能443、画像処理機能444、データ処理機能445各々の実行に関するプログラムを記憶する。メモリ41は、第1スペクトルデータと第2スペクトルデータとの対応関係に応じた学習済みモデルを記憶する。なお、メモリ41は、当該対応関係に応じた複数の学習済みモデルを記憶してもよい。メモリ41は、記憶部の一例である。
ディスプレイ42は、各種の情報を表示する。例えば、ディスプレイ42は、処理回路44によって生成された医用画像(CT画像)や、操作者からの各種操作を受け付けるためのGUI(Graphical User Interface)等を出力する。ディスプレイ42としては、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)、CRT(Cathode Ray Tube)ディスプレイ、有機ELディスプレイ(OELD:Organic Electro Luminescence Display)、プラズマディスプレイ又は他の任意のディスプレイが、適宜、使用可能となっている。また、ディスプレイ42は、架台装置10に設けられてもよい。また、ディスプレイ42は、デスクトップ型でもよいし、コンソール装置40本体と無線通信可能なタブレット端末等で構成されることにしても構わない。ディスプレイ42は、表示部の一例である。
入力インターフェース43は、操作者からの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路44に出力する。例えば、入力インターフェース43は、投影データを収集する際の収集条件や、CT画像データを再構成する際の再構成条件、CT画像データに対する後処理に関する画像処理条件等を操作者から受け付ける。当該後処理は、コンソール装置40又は外部のワークステーションのどちらで実施することにしても構わない。また、当該後処理は、コンソール装置40とワークステーションの両方で同時に処理することにしても構わない。ここで定義される後処理とは、再構成処理機能443によって再構成された画像に対する処理を指す概念である。後処理は、例えば、再構成画像のMulti Planar Reconstruction(MPR)表示やボリュームデータのレンダリング等を含む。入力インターフェース43としては、例えば、マウス、キーボード、トラックボール、スイッチ、ボタン、ジョイスティック、タッチパッド及びタッチパネルディスプレイ等が適宜、使用可能となっている。
なお、本実施形態において、入力インターフェース43は、マウス、キーボード、トラックボール、スイッチ、ボタン、ジョイスティック、タッチパッド及びタッチパネルディスプレイ等の物理的な操作部品を備えるものに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路44へ出力する電気信号の処理回路も入力インターフェース43の例に含まれる。また、入力インターフェース43は、入力部の一例である。また、入力インターフェース43は、架台装置10に設けられてもよい。また、入力インターフェース43は、コンソール装置40本体と無線通信可能なタブレット端末等で構成されることにしても構わない。
処理回路44は、例えば、入力インターフェース43から出力される入力操作の電気信号に応じて、PCCT装置1全体の動作を制御する。例えば、処理回路44は、ハードウェア資源として、CPUやMPU、GPU(Graphics Processing Unit)等のプロセッサとROMやRAM等のメモリとを有する。処理回路44は、自身のメモリに展開されたプログラムを実行するプロセッサにより、システム制御機能441、前処理機能442、再構成処理機能443、画像処理機能444、データ処理機能445を実行する。なお、各機能441~445は、単一の処理回路で実現される場合に限らない。複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサがプログラムを実行することにより各機能441~445を実現するものとしても構わない。
システム制御機能441は、入力インターフェース43を介して操作者から受け付けた入力操作に基づいて、処理回路44の各機能を制御する。また、システム制御機能441は、メモリ41に記憶されている制御プログラムを読み出して処理回路44内のメモリ上に展開し、展開された制御プログラムに従ってPCCT装置1の各部を制御する。システム制御機能441は、制御部の一例である。
前処理機能442は、DAS18から出力された検出データに対して対数変換処理やオフセット補正処理、チャネル間の感度補正処理、ビームハードニング補正等の前処理を施した投影データを生成する。前処理機能442により生成される第1再構成前データ(第1投影データ、第2投影データ、複数の第1基準投影データ、および複数の第1カウントデータなど)の生成は、既知の処理内容に準拠するため、説明は省略する。前処理機能442は、前処理部の一例である。
再構成処理機能443は、前処理機能442にて生成された投影データに対して、フィルタ補正逆投影法(FBP法:Filtered Back Projection)等を用いた再構成処理を行ってCT画像データを生成する。再構成処理には、散乱性補正およびビームハードニング補正などの各種補正処理、および再構成条件における再構成関数の適用など、各種処理を有する。なお、再構成処理機能443により実行される再構成処理は、FBP法に限定されず、逐次近似再構成、投影データの入力により再構成画像を出力するディープニューラルネットワークなど、既知の処理が適宜用いられてもよい。再構成処理機能443は、再構成されたCT画像データをメモリ41に格納する。再構成処理機能443により実現される再構成の処理は、投影データなどの再構成前データに基づいて画像を生成することに限定されず、広義としての再構成の処理を実現する機能を有する。例えば、再構成処理機能443は、第1再構成前データに基づいて、第1再構成画像(複数の第1基準物質画像、第1仮想単色X線画像、第1VNC画像、第1ヨードマップ画像、第1実効原子番号画像、第1電子密度画像、第1管電圧画像、第2管電圧画像、複数の第1エネルギー画像など)を生成する。第1再構成画像の生成は、既知の処理内容に準拠するため、説明は省略する。再構成処理機能443は、再構成処理部の一例である。
画像処理機能444は、入力インターフェース43を介して操作者から受け付けた入力操作に基づいて、再構成処理機能443によって生成されたCT画像データを公知の方法により、任意断面の断層像データや3次元画像データに変換する。なお、3次元画像データの生成は再構成処理機能443が直接行なっても構わない。また、画像処理機能444は、画像処理部の一例である。
データ処理機能445は、学習済みモデルであるノイズ低減超解像モデルに対して、第1スペクトラルデータを入力することで、第1スペクトラルデータに対して低ノイズ化および高解像度化が実現された第2スペクトラルデータをノイズ低減超解像モデルから出力する。すなわち、学習済みモデルは、第1スペクトラルデータに対して低ノイズ化と高解像度化との処理(ノイズ低減処理と超解像処理と)を実行する。超解像は、データの高解像度化に対応する。例えば、データ処理機能445は、第1再構成前データをノイズ低減超解像モデルに入力し、第1再構成前データに対して低ノイズ化および高解像度化が実現された第2再構成前データをノイズ低減超解像モデルから出力する。このとき、低ノイズ化および高解像度化が実現された第2再構成前データは、再構成処理機能443により再構成され、第1再構成前データに基づいて再構成された第1再構成画像に比べて低ノイズ化および高解像度化された第2再構成画像が生成される。
また、例えば、ノイズ低減超解像モデルへの入力(第1スペクトラルデータ)がスペクトラル医用撮像装置による被検体Pの撮像により収集されたローデータに基づいて再構成された第1再構成画像である場合、データ処理機能445は、第1再構成画像をノイズ低減超解像モデルに入力し、第1再構成画像に対して低ノイズ化および高解像度化が実現された第2再構成画像を、第2スペクトラルデータとしてノイズ低減超解像モデルから出力する。第2再構成画像は、第1再構成画像の画像種に対応し、第1再構成画像より低ノイズであって第1再構成画像より低ノイズ化され、かつ高解像度化された医用画像である。
以上のように構成された本実施形態に係るPCCT装置1におけるノイズ低減超解像モデルを用いて、第1スペクトラルデータから第2スペクトラルデータを生成する処理(以下、ノイズ低減超解像処理と呼ぶ)について、図2乃至図6を用いて説明する。
図2は、ノイズ低減超解像処理の手順の一例を示すフローチャートである。図3は、第1スペクトラルデータを用いたノイズ低減超解像処理の概要を示す図である。図4は、第1スペクトラルデータの一例として投影データを用いたノイズ低減超解像処理の概要を示す図である。図5は、第1スペクトラルデータの一例として再構成画像を用いたノイズ低減超解像処理の概要を示す図である。
(ノイズ低減超解像処理)
(ステップS201)
処理回路44は、データ処理機能445により、ノイズ低減超解像処理に入力される第1スペクトラルデータを取得する。例えば、スペクトラル医用撮像装置がDECT装置である場合、データ処理機能445は、被検体Pに対する低線量でのスキャンにより生成された第1投影データ(低分解能、高ノイズ)および第2投影データ(低分解能、高ノイズ)を、前処理機能442から取得する。また、スペクトラル医用撮像装置がDECT装置またはPCCT装置1である場合、データ処理機能445は、例えば、第1基準投影データ(低分解能、高ノイズ)を、前処理機能442から取得する。また、スペクトラル医用撮像装置がPCCT装置1である場合、データ処理機能445は、例えば、被検体Pに対するスキャンにより生成された複数の第1カウントデータ(低分解能、高ノイズ)を、前処理機能442から取得する。
また、スペクトラル医用撮像装置がDECT装置である場合、データ処理機能445は、例えば、第1管電圧画像(低分解能、高ノイズ)および第2管電圧画像(低分解能、高ノイズ)を、再構成処理機能443から取得する。また、スペクトラル医用撮像装置がDECT装置またはPCCT装置1である場合、データ処理機能445は、例えば、複数の第1基準物質画像と第1仮想単色X線画像と第1VNC画像と第1ヨードマップ画像と第1実効原子番号画像と第1電子密度画像とのうちいずれかの画像(低分解能、高ノイズ)を、再構成処理機能443から取得する。また、スペクトラル医用撮像装置がPCCT装置1である場合、データ処理機能445は、例えば、複数のエネルギー画像(低分解能、高ノイズ)を、再構成処理機能443から取得する。
また、ノイズ低減超解像処理が医用データ処理装置で実行される場合、データ処理機能445は、ノイズ低減超解像処理におけるノイズ低減超解像モデルに入力されるデータを、医用画像撮像装置または画像保存通信システム(Picture Archiving and Communication Systems:以下、PACSと呼ぶ)などの画像保管サーバから取得する。
なお、ノイズ低減超解像処理の実行がOFFである場合、すなわち学習済みモデル(ノイズ低減超解像モデル)が用いられない場合、再構成処理機能443は、例えば、ノイズ低減処理のみを行う既知の深層学習済みCNN(以下、ノイズ低減モデルと呼ぶ)などにより、スペクトラル医用撮像装置による被検体Pの撮像により収集された収集データ(第1再構成前データ)に基づいて、第1再構成画像を第1マトリクスサイズで再構成する。第1マトリクスサイズは、例えば、512×512のマトリクスサイズである。また、ノイズ低減超解像処理がONである場合、すなわち学習済みモデル(ノイズ低減超解像モデル)が用いられる場合、再構成処理機能443は、第1再構成前データに基づいて、第1再構成画像を、第1マトリクスサイズより大きく第2再構成画像のマトリクスサイズに対応する第2マトリクスサイズで再構成する。第2マトリクスサイズは、例えば、1024×1024のマトリクスサイズ、または2048×2048のマトリクスサイズである。このとき、データ処理機能445は、後述のステップS202において第2マトリクスサイズを有する第1再構成画像を学習済みモデルに入力することで、後述のステップS203において第2再構成画像を出力する。
また、被検体Pに対するスキャン時においてノイズ低減超解像処理がOFFの場合、第1マトリクスサイズで、第1再構成画像が生成される。その後、入力インターフェース43を介した操作者の指示によりノイズ低減超解像処理がONにされると、データ処理機能445は、第1再構成画像に関して、第1マトリクスサイズを、第2マトリクスサイズにアップサンプリングする。すなわち、ノイズ低減超解像処理がONにされた時点において、第1マトリクスサイズが第2マトリクスサイズより小さい場合、データ処理機能445は、第1マトリクスサイズを、第2マトリクスサイズにアップサンプリングする。このとき、データ処理機能445は、第2マトリクスサイズを有する第1再構成画像を学習済みモデルに入力し、第2再構成画像を出力する。また、第1マトリクスサイズで第1再構成画像が生成された後、ノイズ低減超解像処理がONにされると、再構成処理機能443は、第1再構成前データに基づいて、第2マトリクスサイズの第1再構成画像を、第1スペクトラルデータとして再度再構成してもよい。
(ステップS202)
データ処理機能445は、ノイズ低減超解像モデルをメモリ41から読み出す。例えば、データ処理機能445は、第1スペクトルデータの種別に応じたノイズ低減超解像モデルを、メモリ41から読み出す。例えば、第1スペクトルデータとして複数のエネルギービンに対応する複数のカウントデータが用いられる場合、データ処理機能445は、複数のエネルギービンに応じた複数のノイズ低減超解像モデルを、メモリ41から読みだす。データ処理機能445は、第1スペクトラルデータを、ノイズ低減超解像モデルに入力する。例えば、第1スペクトラルデータとして第1再構成前データが用いられる場合、データ処理機能445は、第1再構成前データ(低分解能、高ノイズ)を、ノイズ低減超解像モデルに入力する。また、第1スペクトラルデータとして第1再構成画像が用いられる場合、データ処理機能445は、第1再構成画像(低分解能、高ノイズ)を、ノイズ低減超解像モデルに入力する。
(ステップS203)
データ処理機能445は、ノイズ低減超解像モデルから第2スペクトラルデータを出力する。例えば、第1再構成前データがノイズ低減超解像モデルに入力された場合、データ処理機能445は、ノイズ低減超解像モデルから高分解能および低ノイズの第2再構成前データを出力する。このとき、再構成処理機能443は、高分解能および低ノイズの第2再構成前データに基づいて第2再構成画像を生成する。また、第1再構成画像がノイズ低減超解像モデルに入力された場合、データ処理機能445は、ノイズ低減超解像モデルから高分解能および低ノイズの第2再構成画像を出力する。
(ステップS204)
システム制御機能441は、第2スペクトルデータに基づく医用画像を、ディスプレイ42に表示する。なお、入力インターフェース43を介した操作者の指示により、画像処理機能444は、当該医用画像に対して各種画像処理を実行してもよい。このとき、システム制御機能441は、画像処理が適用された医用画像を、ディスプレイ42に表示する。
図6は、DECT装置により生成された第1再構成画像に対してノイズ低減超解像処理を適用した一例を示す図である。図6に示すように、DECT装置は、第1管電圧を用いたスキャンにより第1投影データPD1を生成し、第2管電圧を用いたスキャンにより第2投影データPD2を生成する。次いで、データ処理機能445(または再構成処理機能444)は、第1投影データPD1と第2投影データPD2とに対してマテリアルデコンポジション(Material Decomposition)処理を実行し、第1基準物質のローデータBMPD1と第2基準物質のローデータBMPD2と生成する。なお、マテリアルデコンポジション処理は、画像処理機能444により実行されてもよい。また、マテリアルデコンポジション処理としては既知の技術が適用可能であるため、説明は省略する。例えば特開2009-261942号公報に記載の方法や、米国特許出願公開第2015/371378号明細書に記載のニューラルネットワークを使った方法などを用いることができる。
図6に示すように、再構成処理機能443は、第1基準物質のローデータBMPD1と第2基準物質のローデータBMPD2とに対して再構成処理をそれぞれ実行し、第1の物質に対応する第1基準物質画像BMI11と第2の物質に対応する第2基準物質画像BMI12とを生成する。第1の物質に対応する第1基準物質画像BMI11と第2の物質に対応する第2基準物質画像BMI12とは、2種の基準物質に対応する第1基準物質画像MI1である。
図6に示すように、データ処理機能445(または画像処理機能444)は、第1の物質に対応する第1基準物質画像BMI11と第2の物質に対応する第2基準物質画像BMI12とに対して単色X線画像生成処理を実行し、互いにエネルギーが異なる第1仮想単色X線画像VMI1を生成する。第1仮想単色X線画像VMI1は、相対的に高エネルギーの仮想単色X線画像(以下、第1高エネルギー単色画像と呼ぶ)HEI1と、相対的に低エネルギーの仮想単色X線画像(以下、第1低エネルギー単色画像と呼ぶ)LEI1とを有する。第1仮想単色X線画像VMI1は、第1再構成画像に相当する。なお、単色X線画像生成処理は、再構成処理機能443により実行されてもよい。また、単色X線画像生成処理としては既知の技術が適用可能であるため、説明は省略する。
図6に示すように、データ処理機能445は、第1高エネルギー単色画像HEI1と第1低エネルギー単色画像LEI1とにそれぞれ対応する2種のノイズ低減超解像モデルをメモリ41から読み出す。2種のノイズ低減超解像モデルは、図6に示すように、高エネルギー単色画像HEI1におけるエネルギーおよび画像種に対応するノイズ低減超解像モデル(以下、高エネルギー深層学習再構成)HDLR(High energy Deep Learning Reconstruction)と、低エネルギー単色画像LEI1におけるエネルギーおよび画像種に対応するノイズ低減超解像モデル(以下、低エネルギー深層学習再構成と呼ぶ)LDLR(Low energy Deep Learning Reconstruction)とである。
図6に示すように、データ処理機能445は、高エネルギー深層学習再構成HDLRに、第1高エネルギー単色画像HEI1を入力し、第1高エネルギー単色画像HEI1に対して低ノイズ化および高解像度化を実現した第2高エネルギー単色画像HEI2を生成する。また、データ処理機能445は、低エネルギー深層学習再構成LDLRに、第1低エネルギー単色画像LEI1を入力し、第1低エネルギー単色画像LEI1に対して低ノイズ化および高解像度化を実現した第2低エネルギー単色画像LEI2を生成する。第2高エネルギー単色画像HEI2と第2低エネルギー単色画像LEI2とは、第2仮想単色X線画像VMI2であって、第2再構成画像に相当する。
図6に示すように、データ処理機能445(または画像処理機能444)は、第2仮想単色X線画像VMI2(第2高エネルギー単色画像HEI2および第2低エネルギー単色画像LEI2)に対して基準物質画像生成処理を実行し、低ノイズ化および高解像度化を実現した第2基準物質画像BMI2を生成する。第2基準物質画像BMI2は、第1基準物質画像BMI11に対して低ノイズ化および高解像度化が実現された第1基準物質画像BMI21と、第2基準物質画像BMI12に対して低ノイズ化および高解像度化が実現された第2基準物質画像BMI22と、を有する。なお、基準物質画像生成処理は、再構成処理機能443により実行されてもよい。また、基準物質画像生成処理としては既知の技術が適用可能であるため、説明は省略する。
データ処理機能445(または画像処理機能444)は、図6に示すように、第2基準物質画像BMI12に対してスペクトラルイメージングを実行する。スペクトラルイメージングは、スペクトラルデータに関す画像処理である。なお、スペクトラルイメージングは、スペクトラルスキャンと画像処理とを包含する意味として用いられてもよい。画像処理に関するスペクトラルイメージングの実行により、データ処理機能445(または画像処理機能444)は、図2に示すように、複数の物質に関する物質画像(例えば、水に関する物質画像WI、ヨードに関する物質画像I1)、複数のエネルギーに応じた仮想単色X線画像MI、各種画像を組み合わせた複合画像CIを生成する。
なお、図6では、学習済みモデルに入力される第1スペクトラルデータは、第1仮想単色X線画像VMI1として説明したが、これに限定されない。すなわち、第1スペクトルデータは、第1投影データPD1および第2投影データPD2、第1基準物質のローデータBMPD1および第2基準物質のローデータBMPD2、第1基準物質画像MI1、などであってもよい。このとき、データ処理機能445は、第1スペクトラルデータの種別に応じたノイズ低減超解像モデルをメモリ41から読みだして、読みだされたノイズ低減超解像モデルに第1第1スペクトラルデータを入力することで、ノイズ低減超解像処理を実行する。
以上に述べた実施形態に係るスペクトラル医用撮像装置(例えば、DECT装置またはPCCT装置1)は、スペクトラル医用撮像装置により撮像された被検体Pに関する第1スペクトラルデータより低ノイズであって当該第1スペクトラルデータより超解像の第2スペクトラルデータを当該第1スペクトラルデータに基づいて生成する学習済みモデルに対して、当該第1スペクトラルデータを入力することで、当該第2スペクトラルデータを出力する。本医用データ処理装置において、当該第1スペクトラルデータは、被検体Pに対するスペクトラルスキャンにより得られた医用データに対応し、当該学習済みモデルは、当該第1スペクトラルデータを処理する。
また、実施形態に係るスペクトラル医用撮像装置によれば、第1スペクトラルデータは、例えば、スペクトラル医用撮像装置による被検体Pの撮像により収集された再構成前の第1再構成前データであって、第2スペクトラルデータは、再構成前の第2再構成前データであって、再構成前の第2再構成前データに基づいて医用画像を生成する。このとき、実施形態に係るスペクトラル医用撮像装置によれば、第1再構成前データは、例えば、スペクトラル医用撮像装置において第1管電圧で収集された第1投影データPD1と、第1管電圧より高い第2管電圧で収集された第2投影データPD2とに対応し、第2再構成前データは、第1投影データに対応する第3投影データ、および第2投影データに対応する第4投影データに対応する。また、実施形態に係るスペクトラル医用撮像装置によれば、第1再構成前データは、複数の基準物質各々に対応する第1基準投影データ(例えば、第1基準物質のローデータBMPD1および第2基準物質のローデータBMPD2)であって、第2再構成前データは、第1基準投影データに対応する第2基準投影データであってもよい。また、実施形態に係るスペクトラル医用撮像装置によれば、第1再構成前データは、例えば、複数のエネルギー範囲各々に対応する第1カウントデータであって、第2再構成前データは、第1カウントデータに対応する第2カウントデータであってもよい。
また、実施形態に係るスペクトラル医用撮像装置によれば、第1スペクトラルデータは、例えば、スペクトラル医用撮像装置による被検体Pの撮像により収集された収集データに基づいて再構成された第1再構成画像であって、第2スペクトラルデータは、第1再構成画像より低ノイズであって第1再構成画像より超解像の第2再構成画像であってもよい。このとき、実施形態に係るスペクトラル医用撮像装置によれば、第1再構成画像は、例えば、複数の基準物質に対応する複数の第1基準物質画像であって、第2再構成画像は、複数の第1基準物質画像に対応する複数の第2基準物質画像である。また、実施形態に係るスペクトラル医用撮像装置によれば、第1再構成画像は、例えば、X線のエネルギーが異なる少なくとも一つの第1仮想単色X線画像VMI1(例えば、第1高エネルギー単色画像HEI1、および第1低エネルギー単色画像LEI1)であって、第2再構成画像は、第1仮想単色X線画像VMI1に対応する第2仮想単色X線画像VMI2(例えば、第2高エネルギー単色画像HEI2および第2低エネルギー単色画像LEI2)であってもよい。また、実施形態に係るスペクトラル医用撮像装置によれば、第1再構成画像は、例えば、第1仮想非造影画像であって、第2再構成画像は、第1仮想非造影画像に対応する第2仮想非造影画像であってもよい。
また、実施形態に係るスペクトラル医用撮像装置によれば、第1再構成画像は、例えば、第1ヨードマップ画像であって、第2再構成画像は、第1ヨードマップ画像に対応する第2ヨードマップ画像であってもよい。また、実施形態に係るスペクトラル医用撮像装置によれば、第1再構成画像は、例えば、第1実効原子番号画像であって、第2再構成画像は、第1実効原子番号画像に対応する第2実効原子番号画像であってもよい。また、実施形態に係るスペクトラル医用撮像装置によれば、第1再構成画像は、例えば、第1電子密度画像であって、第2再構成画像は、第1電子密度画像に対応する第2電子密度画像であってもよい。また、実施形態に係るスペクトラル医用撮像装置によれば、第1再構成画像は、例えば、複数のエネルギー範囲に対応する複数の第1エネルギー画像であって、第2再構成画像は、複数の第1エネルギー画像に対応する複数の第2エネルギー画像であってもよい。また、実施形態に係るスペクトラル医用撮像装置によれば、第1再構成画像は、スペクトラル医用撮像装置による撮像で用いられた第1管電圧に対応する第1管電圧画像および当該第1管電圧より高い第2管電圧に対応する第2管電圧画像であって、第2再構成画像は、第1管電圧画像に対応する第3管電圧画像、および第2管電圧画像に対応する第4管電圧画像であってもよい。
これらにより、本実施形態にスペクトラル医用撮像装置によれば、スペクトラル医用撮像装置により取得された第1スペクトラルデータの種別(例えば、第1再構成前データ(第1投影データ、第2投影データ、第1基準投影データ、および第1カウントデータ等)、および第1再構成画像(第1基準物質画像、第1仮想単色X線画像、第1仮想非造影画像と、第1ヨードマップ画像、第1実効原子番号画像、第1電子密度画像、第1管電圧画像および第2管電圧画像、第1エネルギー画像等))に応じた学習済みモデルを用いて、第1スペクトラルデータにおける空間分解能の向上(高解像度化:超解像)とノイズの低減(低ノイズ化)とを、同時に実現することができる。このため、本実施形態に係るスペクトラル医用撮像装置によれば、医用画像における解剖学的特徴などの物体の視認性を向上し、かつ画質を向上させた医用画像を生成することができる。以上のことから、本実施形態に係るスペクトラル医用撮像装置によれば被検体Pに対する被曝を低減させ、かつ被検体Pに関する画像診断のスループットを向上させることができる。
以下、実施形態で用いられる学習済みモデル(ノイズ低減超解像モデル)の生成(モデル生成方法)について説明する。図7は、ノイズ低減超解像モデルの生成に関する学習装置5の構成の一例を示す図である。なお、学習装置5によるDCNNへの学習を実現する機能は、スペクトラル医用撮像装置などの医用画像撮像装置、または医用データ処理装置に搭載されてもよい。例えば、PCCT装置1に学習済みモデルが記憶される場合、学習装置5は、PCCT装置1におけるスキャンプランに応じたエネルギービンの設定に応じて、DCNNを学習する。例えば、特定のスキャンプランにおいて、設定されたエネルギービンの数が4つである場合、学習装置5は、4つのエネルギービンのそれぞれについてDCNNを学習する。
メモリ51は、処理回路54における訓練データ生成機能543により生成された一対の訓練データのセットを記憶する。また、メモリ51は、訓練データの生成の元となる元データを記憶する。元データは、例えば、ノイズ低減超解像モデルにおける処理対象のデータに関するスペクトラル医用撮像装置から取得される。また、メモリ51は、学習対象のDCNNおよび学習済みモデル(ノイズ低減超解像モデル)を記憶する。メモリ51は、処理回路54により実行される訓練データ生成機能543、モデル生成機能544各々の実行に関するプログラムを記憶する。メモリ51は、学習装置5における記憶部の一例である。また、メモリ51を実現するハードウェアなどは、実施形態に記載のメモリ41と同様なため、説明は省略する。
処理回路54は、自身のメモリに展開されたプログラムを実行するプロセッサにより、訓練データ生成機能543、モデル生成機能544を実行する。処理回路54を実現するハードウェアなどは、実施形態に記載の処理回路44と同様なため、説明は省略する。
訓練データ生成機能543は、第2スペクトラルデータのノイズおよび解像度に対応する第1訓練データを取得する。訓練データ生成機能543は、当該第1訓練データに対してノイズを付加しかつ解像度を低減すること(ノイズ付加処理および低解像化処理)により、第1スペクトラルデータのノイズおよび解像度に対応する第2訓練データを生成する。例えば、訓練データ生成機能543は、ノイズシミュレーションを実行することで、第1訓練データに対してノイズを付加する。続いて、訓練データ生成機能543は、解像度シミュレーションを実行することで、ノイズが付加された第1訓練データに対して、解像度を低減させる。なお、第1訓練データに対するノイズシミュレーションと解像度シミュレーションとの実行の順序は、上記説明に限定されず、逆であってもよい。また、ノイズシミュレーションと解像度シミュレーションとは、既知の技術が利用可能であるため、説明は省略する。
これらにより、訓練データ生成機能543は、第1訓練データと対をなす第2訓練データを取得する。第1訓練データは、第2訓練データに対する教師データ(正解データ)に相当する。訓練データ生成機能543は、生成された第1訓練データと第2訓練データとを、メモリ51に記憶させる。訓練データ生成機能543は、上記処理を繰り返すことで、第1訓練データと第2訓練データとを1セットとした複数の訓練データセットを生成し、メモリ51に記憶させる。
モデル生成機能544は、第1訓練データと第2訓練データとを用いて畳み込みニューラルネットワークを訓練することにより、学習済みモデルを生成する。すなわち、モデル生成機能544は、第1訓練データと第2訓練データとを学習対象のDCNNに適用することで、当該DCNNを学習し、ノイズ低減超解像モデルを生成する。
図8は、第1訓練データと第2訓練データとを用いてDCNNを学習することによりノイズ低減超解像モデルを生成する処理(以下、モデル生成処理と呼ぶ)の手順の一例を示すフローチャートである。図9は、モデル生成処理の概要を示す図である。
(モデル生成処理)
(ステップS701)
訓練データ生成機能543は、第1訓練データを取得する。訓練データ生成機能543は、例えば、被検体Pを撮像可能な通常の解像度のスペクトラル医用撮像装置よりも高い空間分解能を有する医用データを収集可能なスペクトラル医用撮像装置、または高い空間分解能を有するX線検出器(以下、高分解能検出器と呼ぶ)を有する高分解能スペクトラル医用撮像装置における高分解能モードでの撮像などにより収集されたデータを、第1訓練データとしてこれらの装置から取得する。高分解能モードとは、高分解能検出器における複数のX線検出素子各々から、データを収集することに相当する。なお、高分解能スペクトラル医用撮像装置における第2スペクトラルデータの収集は、高分解能検出器における複数のX線検出素子において、例えば、互いに隣接する4つのX線検出素子からの出力の平均を収集することに相当する。訓練データ生成機能543は、第1訓練データをメモリ51に保存する。
(ステップS702)
訓練データ生成機能543は、第1訓練データに対してノイズシミュレーションを実行し、高分解能(High Resolution:HR)であって高ノイズ(High Noise:HN)のデータ(以下、HR-HNデータと呼ぶ)を生成する。HR-HNデータは、第1訓練データに対して多くのノイズを有する。換言すれば、第1訓練データは、HR-HNデータに対して低ノイズ(Low Noise:LN)であるHR-LNデータに相当する。HR-HNデータにおけるノイズは、例えば、第1医用データにおけるノイズレベルに相当する。
ノイズシミュレーションは、例えば、ガウシアンノイズに代表される所定の統計モデルに基づくノイズを第1訓練データに付加する方法、DAS18および/またはX線検出器などの検出系に係り事前に学習されたノイズモデルに基づくノイズを第1訓練データに付加する方法などがある。これらの方法は、既知であるため説明は省略する。なお、ノイズシミュレーションは、上記方法に限定されず他の既知の方法で実現されてもよい。
(ステップS703)
訓練データ生成機能543は、HR-HNデータに対して分解能シミュレーションを実行し、低分解能(Low Resolution:LR)であって高ノイズ(HN)のデータ(以下、LR-HNデータと呼ぶ)を、第2訓練データとして生成する。LR-HNデータは、第1訓練データに対して低い分解能を有する。第2訓練データに相当するLR-HNデータにおける分解能は、例えば、第1医用データにおける分解能に相当する。
分解能シミュレーションは、例えば、バイキュービック(Bi-cubic)、バイリニア(Bi-linear)、ボックス(box)、ネイバー(neighbor)などのdown sampleおよび/または up sampleの方法、平滑化フィルタおよび/または先鋭化ファイルを用いた方法、点広がり関数(PSF:Point Spread Function)などの事前モデルを用いた方法、スペクトラル医用撮像装置における高分解能検出器における複数のX線検出素子において例えば互いに隣接する4つのX線検出素子からの出力の平均を収集することなどの収集データ系を模擬したdown sampleなどがある。これらの方法は、既知であるため説明は省略する。なお、分解能シミュレーションは、上記方法に限定されず他の既知の方法で実現されてもよい。
上記説明では、第1訓練データに対してノイズシミュレーションを実行後、分解能シミュレーションを実行する手順として説明しているが、これに限定されない。例えば、訓練データ生成機能543は、第1訓練データに対して分解能シミュレーションを実行することにより、低分解能低ノイズのデータ(以下、LR-LNデータと呼ぶ)を生成し、次いでLR-LNデータに対してノイズシミュレーションを実行して、第2訓練データ(LR-HNデータ)を生成してもよい。
訓練データ生成機能543は、ステップS701乃至ステップS703の処理を繰り返すことにより、第1訓練データと第2訓練データとを1セットとした複数の訓練データセットを生成する。訓練データ生成機能543は、生成された複数の訓練データセットを、メモリ51に記憶させる。なお、訓練データの生成は、後段のステップS704の処理の後に、DCNNに対する学習が収束するまで、繰り返し実行されてもよい。
(ステップS704)
モデル生成機能544は、第1訓練データと第2訓練データとを学習対象のDCNNに適用することで、当該DCNNを学習する。複数の訓練データセットを用いたモデル生成機能544によるDCNNの学習過程は、勾配降下法などの既知の方法が適用可能であるため、説明は省略する。モデル生成機能544は、DCNNに対する学習の収束を契機として、学習されたDCNNを、ノイズ低減超解像モデルとして、メモリ51に記憶する。メモリ51に記憶されたノイズ低減超解像モデルは、例えば、第1訓練データに関する医用画像撮像装置、および/またはノイズ低減超解像モデルを実行する医用データ処理装置などへ、適宜送信される。
以下、ノイズシミュレーションおよび分解能シミュレーションの対象となるデータの一例について説明する。図10は、ノイズシミュレーションおよび分解能シミュレーションの対象となるデータの組み合わせの一例を示す図である。図10における収集データ(第2スペクトラルデータ)は、スペクトラル医用撮像装置の種別などに応じて異なる。収集データは、例えば、DECT装置などに関しては第3投影データおよび第4投影データ、DECT装置およびPCCT装置1に関しては第2基準投影データ、PCCT装置1に関しては第2カウントデータなどである。以下、説明を具体的にするために収集データは第3投影データであるものとして説明する。また、図10における画像データは、例えば、上述の第2再構成画像である。
以下、図10における(a)について、図11および図12を用いて説明する。図11は、図10における(a)に係り、学習済みモデルとなるノイズ低減超解像モデルの入出力が投影データとなる場合について、モデル生成処理の概要を示す図である。図12は、図10における(a)に係り、学習済みモデルとなるノイズ低減超解像モデルの入出力が画像データ(再構成画像)となる場合について、モデル生成処理の概要を示す図である。図11および図12に示すように、ノイズシミュレーションおよび分解能シミュレーションの対象のデータは、収集データである。
訓練データ生成機能543は、第3投影データを取得する。第3投影データは、第2再構成画像のノイズおよび解像度に対応する再構成前の第2再構成前データに対応する。図11および図12に示すように、第3投影データは、第2スペクトラルデータに準ずる高分解能および低ノイズの投影データである。図11および図12に示すように、訓練データ生成機能543は、第3投影データに対してノイズシミュレーションを実行し、高分解能高ノイズ(HR-HN)投影データを生成する。次いで、訓練データ生成機能543は、HR-HN投影データに対して分解能シミュレーションを実行し、低分解能および高ノイズの第1投影データを生成する。第1投影データは、第1再構成画像のノイズおよび解像度に対応し、再構成前の第1再構成前データに対応する。
なお、訓練データ生成機能543は、第3投影データに対して分解能シミュレーションを実行し、低分解能低ノイズ(LR-LN)投影データを生成してもよい。このとき、訓練データ生成機能543は、LR-LN投影データに対してノイズシミュレーションを実行し、低分解能および高ノイズの第1投影データを生成する。
図11において、モデル生成機能544は、第1投影データと第3投影データとを用いてDCNNを学習し、ノイズ低減超解像モデルを生成する。このとき、第3投影データは第1訓練データに対応し、第1投影データは第2訓練データに対応する。また、第1投影データは、DCNNに対する学習において、教師データに対応する。図11では、投影データのドメインにおいてDCNNが学習されることとなる。
図12において、訓練データ生成機能543は、第3投影データを再構成することにより、高分解能及び低ノイズの第1訓練画像を生成する。また、訓練データ生成機能543は、第1投影データを再構成することにより、低分解能及び高ノイズの第2訓練画像を生成する。第1投影データは、第2再構成前データに対してノイズを付加しかつ解像度を低減することにより生成された再構成前の第2再構成前データに対応する。また、再構成前の第1再構成前データは、第1再構成画像のノイズおよび解像度に対応する。第1訓練画像は第1訓練データに対応し、第2訓練画像は第2訓練データに対応する。また、第1訓練画像は、DCNNに対する学習において、教師データに対応する。
図12において、モデル生成機能544は、第1訓練画像と第2訓練画像とを用いてDCNNを学習し、ノイズ低減超解像モデルを生成する。図12では、図11と異なり、画像ドメインにおいてDCNNが学習されることとなる。
以下、図10における(b)について、図13を用いて説明する。図13は、図10における(b)に係るモデル生成処理の概要を示す図である。図10における(b)および図13に示すように、ノイズシミュレーションの対象データは、第2再構成前データであって、分解能シミュレーションの対象のデータは、画像データである。図13において、第2再構成前データは、一例として、第2カウントデータであるものとする。
訓練データ生成機能543は、第2カウントデータを取得する。図13に示すように、第2カウントデータは、第2スペクトルデータに準ずる高分解能および低ノイズのカウントデータである。図13に示すように、訓練データ生成機能543は、第2カウントデータを再構成することにより、第1訓練画像を生成する。訓練データ生成機能543は、第2カウントデータに対してノイズシミュレーションを実行し、高分解能高ノイズ(HR-HN)カウントデータを生成する。次いで、訓練データ生成機能543は、HR-HNカウントデータを再構成し、HR-HN再構成画像を生成する。すなわち、訓練データ生成機能543は、第2再構成前データに対してノイズを付加して再構成すること(ノイズ付加処理)により、第1再構成画像のノイズに対応するノイズ付加画像(HR-HN再構成画像)を生成する。
訓練データ生成機能543は、HR-HN再構成画像に対して分解能シミュレーションを実行し、低分解能および高ノイズの第2訓練画像を生成する。すなわち、訓練データ生成機能543は、ノイズ付加画像に対して解像度を低減することにより、第1再構成画像のノイズおよび解像度に対応する第2訓練画像を生成する。図11と同様に、モデル生成機能544は、第1訓練画像と第2訓練画像とを用いてDCNNを学習し、ノイズ低減超解像モデルを生成する。
以下、図10における(c)について、図14を用いて説明する。図14は、図10における(c)に係るモデル生成処理の概要を示す図である。図10における(c)および図14に示すように、分解能シミュレーションの対象データは、収集データであって、ノイズシミュレーションの対象のデータは、画像データである。図14において、第2再構成前データは、一例として、第2基準投影データであるものとする。
訓練データ生成機能543は、第2基準投影データを取得する。図14に示すように、第2基準投影データは、第2スペクトラルデータに準ずる高分解能および低ノイズの基準投影データである。図14に示すように、訓練データ生成機能543は、第2基準投影データを再構成することにより、第1訓練画像を生成する。第1訓練画像は、第2基準投影データに対応する基準物質画像である。訓練データ生成機能543は、第2基準投影データに対して分解能シミュレーションを実行し、低分解能低ノイズ(LR-LN)基準投影データを生成する。LR-LN基準投影データは、第1基準投影データに対応する。次いで、訓練データ生成機能543は、LR-LN基準投影データを再構成し、LR-LN再構成画像を生成する。すなわち、訓練データ生成機能543は、第2再構成前データに対して解像度を低減して再構成すること(低解像化処理)により、第2再構成画像の解像度に対応する低解像画像(LR-LN再構成画像)を生成する。
訓練データ生成機能543は、LR-LN再構成画像に対してノイズシミュレーションを実行し、低分解能および高ノイズの第2訓練画像を生成する。すなわち、訓練データ生成機能543は、低解像画像に対してノイズを付加することにより、第1再構成画像のノイズおよび解像度に対応する第2訓練画像を生成する。図14に示す第2訓練画像は、第1基準投影データを再構成した基準物質画像に対応する。図12および図13と同様に、モデル生成機能544は、図13に示すように、第1訓練画像と第2訓練画像とを用いてDCNNを学習し、ノイズ低減超解像モデルを生成する。
以下、図10における(d)について、図15を用いて説明する。図15は、図10における(d)に係るモデル生成処理の概要を示す図である。図10における(d)および図15に示すように、ノイズシミュレーションおよび分解能シミュレーションの対象データは、画像データである。
訓練データ生成機能543は、第3投影データを取得する。図15に示すように、第3投影データは、第2スペクトラルデータに準ずる高分解能および低ノイズの投影データである。図14に示すように、訓練データ生成機能543は、第3投影データを再構成することにより、第1訓練画像を生成する。訓練データ生成機能543は、第1訓練画像に対して分解能シミュレーションとノイズシミュレーションとを順に実行し、低分解能および高ノイズの第2訓練画像を生成する。すなわち、訓練データ生成機能543は、第1訓練画像に対して解像度を低減してノイズを付加することにより、第1再構成画像のノイズおよび解像度に対応する第2訓練画像を生成する。
なお、図15では、分解能シミュレーションに続いてノイズシミュレーションを実行する手順が示されているが、これに限定されない。すなわち、訓練データ生成機能543は、第1訓練画像に対してノイズシミュレーションを実行し、次いで分解能シミュレーションを実行して、第2訓練画像を生成してもよい。図12乃至図14と同様に、モデル生成機能544は、図15に示すように、第1訓練画像と第2訓練画像とを用いてDCNNを学習し、ノイズ低減超解像モデルを生成する。
以上に述べた実施形態に係る学習装置5により実現されるモデル生成方法は、ノイズ低減超解像処理において用いられる学習済みモデルを生成する。例えば、実施形態に係るモデル生成方法は、記第2スペクトラルデータのノイズおよび解像度に対応する第1訓練データに対してノイズを付加しかつ解像度を低減することにより、第1スペクトラルデータのノイズおよび解像度に対応する第2訓練データを生成し、第1訓練データと第2訓練データとを用いて畳み込みニューラルネットワークを訓練することにより、ノイズ低減超解像処理で用いられる学習済みモデルを生成する。例えば、実施形態に係るモデル生成方法は、第2再構成画像のノイズおよび解像度に対応する再構成前の第2再構成前データに基づいて第1訓練画像を再構成し、第2再構成前データに対してノイズを付加しかつ解像度を低減することにより、第1再構成画像のノイズおよび解像度に対応する再構成前の第1再構成前データを生成し、第1再構成前データに基づいて第2訓練画像を再構成し、第1訓練画像と第2訓練画像とを用いて畳み込みニューラルネットワークを訓練することにより、当該学習済みモデルを生成する。
また、実施形態に係るモデル生成方法は、例えば、第2再構成画像のノイズおよび解像度に対応する再構成前の第2再構成前データに基づいて第1訓練画像を再構成し、第2再構成前データに対してノイズを付加して再構成することにより、第1再構成画像のノイズに対応するノイズ付加画像を生成し、ノイズ付加画像に対して解像度を低減することにより、第1再構成画像のノイズおよび解像度に対応する第2訓練画像を生成し、第1訓練画像と第2訓練画像とを用いて畳み込みニューラルネットワークを訓練することにより、学習済みモデルを生成してもよい。また、実施形態に係るモデル生成方法は、例えば、第2再構成画像のノイズおよび解像度に対応する再構成前の第2再構成前データに基づいて第1訓練画像を再構成し、第2再構成前データに対して解像度を低減して再構成することにより、第1再構成画像の解像度に対応する低解像画像を生成し、低解像画像に対してノイズを付加することにより、第1再構成画像のノイズおよび解像度に対応する第2訓練画像を生成し、第1訓練画像と第2訓練画像とを用いて畳み込みニューラルネットワークを訓練することにより、学習済みモデルを生成してもよい。
また、実施形態に係るモデル生成方法は、例えば、第2再構成画像のノイズおよび解像度に対応する再構成前の第2再構成前データに基づいて第1訓練画像を再構成し、第1訓練画像に対してノイズを付加して解像度を低減することにより、第1再構成画像のノイズおよび解像度に対応する第2訓練画像を生成し、第1訓練画像と第2訓練画像とを用いて畳み込みニューラルネットワークを訓練することにより、学習済みモデルを生成してもよい。
これらのことから、本学習装置5により実現されるモデル生成方法によれば、スペクトラル医用撮像装置により取得された第1スペクトラルデータの種別(例えば、第1再構成前データ(第1投影データ、第2投影データ、第1基準投影データ、および第1カウントデータ等)、および第1再構成画像(第1基準物質画像、第1仮想単色X線画像、第1仮想非造影画像と、第1ヨードマップ画像、第1実効原子番号画像、第1電子密度画像、第1管電圧画像および第2管電圧画像、第1エネルギー画像等))に応じて、第1スペクトラルデータにおける空間分解能の向上(超解像)とノイズの低減と同時に実現可能な一つの学習済みモデル(ノイズ低減超解像モデル)を生成することができる。また、本モデル生成方法によれば、収集データおよび画像データなどの訓練データの種別によらず、ノイズ低減超解像モデルを生成することができる。以上のことから、本モデル生成方法によれば、医用画像における解剖学的特徴などの物体の視認を向上し、かつ画質を向上させた医用画像を生成可能な学習済みモデルを生成することができる。
(変形例)
なお、本実施形態における変形例として、学習装置5は、超解像すなわち高解像度化を実現する学習済みモデル(以下、超解像モデルと呼ぶ)として、DCNNを訓練してもよい。このとき、超解像モデルは、ノイズ低減の作用を有さないものとなる。この場合、図9乃至図15におけるノイズシミュレーションは不要となる。また、本変形例においては、モデル生成機能544は、図12乃至図14に示すように、画像ドメインにおいて学習を実行する。すなわち、超解像モデルは、医用データ処理装置において、画像ドメインで実行されることとなる。
本変形例における超解像モデルを適用する場合、再構成処理機能443は、例えば、1024×1024のマトリクスサイズで再構成画像を生成する。データ処理機能445は、1024×1024のマトリクスサイズで再構成画像を、超解像モデルに入力することで、当該再構成画像の超解像画像を生成する。また、本変形例における超解像モデルを適用しない場合、再構成処理機能443は、例えば、512×512のマトリクスサイズで再構成画像を生成する。このとき、データ処理機能445は、512×512のマトリクスサイズで再構成画像を、ノイズ低減モデルに入力することで、当該再構成画像のノイズ低減画像を生成してもよい。
(第1応用例)
本応用例における学習済みモデルは、シングルエネルギーのX線を用いた医用撮像装置により生成された訓練データを用いて学習されたモデルである。シングルエネルギーのX線を用いた医用撮像装置は、例えば、シングルエネルギーのX線を発生し、当該発生されたX線を用いた撮像を被検体Pにして実行するX線CT装置である。本応用例における医用データ処理装置では、スペクトラル医用撮像装置による被検体Pの撮像でのX線のスペクトルに関する画像化に、第2スペクトラルデータを用いる。すなわち、本応用例では、シングルエネルギーのX線を用いた医用撮像装置により生成された訓練データを用いて学習された学習済みモデルを用いて、実施形態と同様に、スペクトラルイメージングに関するノイズ低減超解像処理を実行することができる。本応用例における学習済みモデルは、実施形態により生成された学習済みモデルに比べて最適ではないが、入力されるデータの関係上、第1スペクトルデータに対する低ノイズ化と高解像度化とに有効である。本応用例におけるノイズ低減超解像処理の手順および効果は、実施形態と同様なため、説明は省略する。
(第2応用例)
本応用例における学習済みモデルは、デュアルエネルギーのX線を用いた医用撮像装置により生成された訓練データを用いて学習されたモデルである。デュアルエネルギーのX線を用いた医用撮像装置は、DECT装置である。本応用例における医用データ処理装置では、スペクトラル医用撮像装置による被検体Pの撮像でのX線のスペクトルに関する画像化に、第2スペクトラルデータを用いる。すなわち、本応用例では、デュアルエネルギーのX線を用いた医用撮像装置により生成された訓練データを用いて学習された学習済みモデルを用いて、実施形態と同様に、スペクトラルイメージングに関するノイズ低減超解像処理を実行することができる。本応用例における学習済みモデルは、実施形態により生成された学習済みモデルに比べて最適ではないが、入力されるデータの関係上、第1スペクトルデータに対する低ノイズ化と高解像度化とに有効である。本応用例におけるノイズ低減超解像処理の手順および効果は、実施形態と同様なため、説明は省略する。
(第3応用例)
本応用例における学習済みモデルは、光子計数型X線コンピュータ断層撮影装置(PCCT装置1)により生成された訓練データを用いて学習されたモデルである。このとき、第1訓練データは、PCCT装置1における高分解能モードでの撮像などにより収集されたデータであってPCCT装置1から取得される。また、第2訓練データは、モデル生成処理において説明されたように、各種シミュレーションにより生成されてもよいし、PCCT装置1における通常分解能モードでの撮像などにより収集されたデータであってもよい。本応用例における医用データ処理装置では、スペクトラル医用撮像装置による被検体Pの撮像でのX線のスペクトルに関する画像化に、第2スペクトラルデータを用いる。すなわち、本応用例では、PCCT装置1により生成された訓練データを用いて学習された学習済みモデルを用いて、実施形態と同様に、スペクトラルイメージングに関するノイズ低減超解像処理を実行することができる。本応用例における学習済みモデルは、実施形態により生成された学習済みモデルに比べて最適ではないが、入力されるデータの関係上、第1スペクトルデータに対する低ノイズ化と高解像度化とに有効である。本応用例におけるノイズ低減超解像処理の手順および効果は、実施形態と同様なため、説明は省略する。
(第4応用例)
本応用例は、PCCT装置1により取得されたスキャンデータ(カウント投影データとも称される)から、エネルギー積分型の検出器(Energy Integrated Detector:EID)を有するDECT装置により生成される画像データをシミュレートすることにある。EIDにおけるX線検出素子の大きさ(ピクセルサイズ)は、PCCT装置1におけるX線検出器12におけるX線検出素子の大きさ(ピクセルサイズ)より大きいものとする。また、EIDにより生成された投影データは、カウント投影データよりノイズが多いものとする。
図16は、PCCT装置1により取得されたカウント投影データCPDから、第1高エネルギー単色画像と第1低エネルギー単色画像とを生成する一例を示す図である。第1高エネルギー単色画像および第1低エネルギー単色画像は、それぞれのエネルギーに対応する学習済みモデルを生成する際に用いられる。図16に示すように、PCCT装置1は、被検体に対するスキャンにより、カウント投影データCPDを取得する。以下、説明を簡便にするために、本応用例におけるエネルギービンは2つであるものとする。すなわち、PCCT装置1は、被検体に対するスキャンにより、カウント投影データCPDとして、第1のエネルギービンに対応する第1のビンデータBD1と、第2のエネルギービンに対応する第2のビンデータBD2とを取得する。第1のビンデータBD1と第2のビンデータBD2とは、それぞれのエネルギービンにおけるX線フォトンのカウント数を、ビュー番号および素子番号とともに表したものである。
データ処理機能445(または再構成処理機能444)は、第1のビンデータBD1と第2のビンデータBD2とに対してマテリアルデコンポジション処理を実行し、第1基準物質のローデータBMPD1と第2基準物質のローデータBMPD2と生成する。なお、マテリアルデコンポジション処理は、画像処理機能444により実行されてもよい。また、マテリアルデコンポジション処理としては既知の技術が適用可能であるため、説明は省略する。例えば、特開2020-75078号公報に記載の方法や、米国特許出願公開第2015/371378号明細書に記載のニューラルネットワークを使った方法などを用いることができる。
上記説明では、ビンデータは、2つのエネルギービンについて説明したが、エネルギービンの数は2つに限定されない。例えば、エネルギービンの数は5つであってもよい。このとき、マテリアルデコンポジション処理による物質弁別は、5つの基準物質に対して適用可能となる。エネルギービンの数としては、例えば、2乃至5が好適である。
本応用例の変形例として、データ処理機能445(または再構成処理機能444)は、第1のビンデータBD1に基づいて第1仮想投影データを生成し、第2のビンデータBD2に基づいて第2仮想投影データを生成してもよい。第1仮想投影データは、仮想的な第1管電圧(低管電圧:Low kVp)に対応する投影データであって、第2仮想投影データは、仮想的な第2管電圧(高管電圧:High kVp)に対応する投影データである。また、第1仮想投影データおよび第2仮想投影データは、高解像度および低ノイズな投影データである。このとき、データ処理機能445(または再構成処理機能444)は、第1仮想投影データと第2仮想投影データとに対してマテリアルデコンポジション処理を実行し、第1基準物質のローデータBMPD1と第2基準物質のローデータBMPD2と生成する。
図16に示すように、再構成処理機能443は、第1基準物質のローデータBMPD1と第2基準物質のローデータBMPD2とに対して再構成処理をそれぞれ実行し、第1の物質に対応する第1基準物質画像BMI11と第2の物質に対応する第2基準物質画像BMI12とを生成する。第1の物質に対応する第1基準物質画像BMI11と第2の物質に対応する第2基準物質画像BMI12とは、2種の基準物質に対応する第1基準物質画像MI1である。
図16に示すように、データ処理機能445(または画像処理機能444)は、第1の物質に対応する第1基準物質画像BMI11と第2の物質に対応する第2基準物質画像BMI12とに対して単色X線画像生成処理を実行し、互いにエネルギーが異なる第1仮想単色X線画像VMI1を生成する。第1仮想単色X線画像VMI1は、第1高エネルギー単色画像HEI1と、第1低エネルギー単色画像LEI1とを有する。第1仮想単色X線画像VMI1は、第1再構成画像に相当する。なお、単色X線画像生成処理は、再構成処理機能443により実行されてもよい。また、単色X線画像生成処理としては既知の技術が適用可能であるため、説明は省略する。
以下、本応用例における学習済みモデルの生成について説明する。図17は、モデル生成処理の概要の一例を示す図である。図17に示すように、ノイズシミュレーションおよび分解能シミュレーション(ノイズ・分解能シミュレーション)の対象データは、例えば、5ビンのHR(High Resolution)-LN(Low Noise)カウントデータ(カウント投影データ)CPDである。HR-LNカウントデータは、高分解能および低ノイズのカウントデータであって、第2カウントデータ、すなわちカウント投影データCPDに相当する。カウント投影データCPDは、第2スペクトルデータに準ずる高分解能および低ノイズのカウントデータである。なお、図17では、HR-LNカウントデータは、5ビンであるものとして示されているが、これに限定されず、5ビンとは異なるビン(例えば2ビン)のカウント投影データであってもよい。
図17に示すように、訓練データ生成機能543は、HR-LNカウントデータを、PCCT装置1から取得する。訓練データ生成機能543は、HR-LNカウントデータに対してマテリアルデコンポジション処理を実行し、HR-LN(高分解能低ノイズ)物質弁別ローデータを生成する。HR-LNカウントデータが5ビンに属する5つのカウント投影データを有する場合、訓練データ生成機能543は、5つの物質に弁別した5つのHR-LN物質弁別ローデータを生成可能である。
図17に示すように、訓練データ生成機能543は、HR-LN物質弁別ローデータを再構成することにより、予めされたX線エネルギー(keV)に対応する第1訓練keV画像を生成する。第1訓練keV画像は、第1仮想単色X線画像に相当する。なお、訓練データ生成機能543は、HR-LN物質弁別ローデータを再構成することにより、他のX線のエネルギーに対応する第1仮想単色X線画像を生成してもよい。当該再構成としては、例えば、フィルタ補正逆投影法(FBP法:Filtered Back Projection)などの解析的再構成、モデルベースの逐次近似再構成、投影データの入力により再構成画像を出力するディープニューラルネットワークなど、既知の処理が適用可能である。また、当該再構成手法において、ノイズ低減処理などの各種処理が適用されてもよい。
図17に示すように、訓練データ生成機能543は、HR-LNカウントデータに対してノイズ・分機能シミュレーションを実行する。ノイズ・分解能シミュレーションは、上述のノイズシミュレーション(ノイズ付加処理)と分解能シミュレーション(低解像度化処理)とを実行することに相当する。例えば、訓練データ生成機能543は、HR-LNカウントデータにおける複数のビンデータ各々に対して、ノイズ・分解能シミュレーションを実行する。これにより、訓練データ生成機能543は、低分解能高ノイズ(LR(Low resolution)-HN(High Noise))カウントデータを生成する。
なお、複数のビン各々に対応するビンデータに対するノイズ・分解能シミュレーションは、複数のビンに亘って共通であってもよいし、異なっていてもよい。例えば、訓練データ生成機能543は、HR-LNカウントデータにおける複数のビンに対応する複数のビンデータに対して、低エネルギーのビンほど、多くのノイズをビンデータに付加する。すなわち、訓練データ生成機能543は、ビンデータごとに付加するノイズを、ビンデータに関するエネルギー(エネルギービン)に応じて異ならせる。これにより、DCNNの学習に用いられるデータを、例えばEIDを有するDECT装置により生成される画像データのノイズ特性に近づけることができる。すなわち通常のX線CT装置またはDE装置において低エネルギー側の画質がより悪くなる傾向を、DCNNの学習に用いられるデータに反映させることができる。
図17に示すように、訓練データ生成機能543は、LR-HNカウントデータに対してマテリアルデコンポジション処理を実行し、LR-HN(低高分解能高ノイズ)物質弁別ローデータを生成する。LR-HNカウントデータが5ビンに属する5つのカウント投影データを有する場合、訓練データ生成機能543は、5つの物質に弁別した5つのLR-HN物質弁別ローデータを生成可能である。
図17に示すように、訓練データ生成機能543は、LR-HN物質弁別ローデータを再構成することにより、予めされたX線エネルギー(keV)に対応する第2訓練keV画像を生成する。第2訓練keV画像は、第1仮想単色X線画像と同様のX線のエネルギーに対応する第2仮想単色X線画像である。なお、訓練データ生成機能543は、LR-HN物質弁別ローデータを再構成することにより、他のX線のエネルギーに対応する第2仮想単色X線画像を生成してもよい。当該再構成としては、例えば、フィルタ補正逆投影法(FBP法:Filtered Back Projection)などの解析的再構成、モデルベースの逐次近似再構成、投影データの入力により再構成画像を出力するディープニューラルネットワークなど、既知の処理が適用可能である。また、当該再構成手法において、ノイズ低減処理などの各種処理が適用されてもよい。
なお、図17での説明では、マテリアルデコンポジション処理の後に、再構成処理を実行する手順で説明したが、第1訓練keV画像および第2訓練keV画像の生成は、これに拘泥されない。例えば、HR-LNカウントデータに対して再構成処理を実行して複数のビンに対応する複数の画像を生成し、次いでマテリアルデコンポジション処理により第1訓練keV画像を生成してもよい。また、LR-HNカウントデータに対して再構成処理を実行して複数のビンに対応する複数の画像を生成し、次いでマテリアルデコンポジション処理により第2訓練keV画像を生成してもよい。
図11と同様に、モデル生成機能544は、第1訓練keV画像と第2訓練keV画像とを用いてDCNNを学習し、ノイズ低減超解像モデルを生成する。すなわち、本応用例における学習済みモデルは、光子計数型X線コンピュータ断層撮影装置(PCCT装置)により撮像された被検体Pに関するカウント投影データに基づいて生成された第1仮想単色X線画像(第1訓練keV画像)と、当該カウント投影データに対する低解像化処理とノイズ付加処理とを含むシミュレーション処理(ノイズ・分解能シミュレーション処理)を当該カウント投影データに適用して得られる第2仮想単色X線画像(第2訓練keV画像)と、に基づき訓練される。
また、本応用例における第1仮想単色X線画像(第1訓練keV画像)は、複数のエネルギービンに対応する複数のビンデータに対するマテリアルデコンポジション処理により、複数のX線のエネルギーに対応する複数の第1仮想単色X線画像を含んでいてもよい。また、本応用例における第2の仮想単色X線画像(第2訓練keV画像)も同様に、複数のX線のエネルギーに対応する複数の第2仮想単色X線画像を含んでいてもよい。これらの場合、本応用例における学習済みモデルは、複数のX線のエネルギーに対応する複数の学習済みモデルを有する。このとき、複数の学習済みモデルは、複数の第1仮想単色X線画像と複数の第2仮想単色X線画像とを、前記複数のX線のエネルギーごとに用いて訓練される。
本応用例における効果は、実施形態などと同様なため説明は省略する。
実施形態における技術的思想を医用データ処理方法で実現する場合、医用データ処理方法は、スペクトラル医用撮像装置により撮像された被検体Pに関する第1スペクトラルデータより低ノイズであって第1スペクトラルデータより超解像の第2スペクトラルデータを第1スペクトラルデータに基づいて生成する学習済みモデルに対して、第1スペクトラルデータを入力することで、第2スペクトラルデータを出力し、第1スペクトラルデータは、被検体Pに対するスペクトラルスキャンにより得られた医用データに対応し、学習済みモデルは、第1スペクトラルデータに対してノイズ低減処理と超解像処理とを実行する。医用データ処理方法により実行されるノイズ低減超解像処理の手順および効果は、実施形態と同様なため、説明は省略する。
実施形態における技術的思想を医用データ処理装置で実現する場合、医用データ処理装置は、スペクトラル医用撮像装置により撮像された被検体Pに関する第1スペクトラルデータより低ノイズであって第1スペクトラルデータより超解像の第2スペクトラルデータを第1スペクトラルデータに基づいて生成する学習済みモデルに対して、第1スペクトラルデータを入力することで、第2スペクトラルデータを出力するデータ処理部を備え、第1スペクトラルデータは、被検体Pに対するスペクトラルスキャンにより得られた医用データに対応し、学習済みモデルは、第1スペクトラルデータに対してノイズ低減処理と超解像処理とを実行する。医用データ処理装置により実行されるノイズ低減超解像処理の手順および効果は、実施形態と同様なため、説明は省略する。
本実施形態における技術的思想を医用データ処理プログラムで実現する場合、医用データ処理プログラムは、コンピュータに、スペクトラル医用撮像装置により撮像された被検体Pに関する第1スペクトラルデータより低ノイズであって第1スペクトラルデータより超解像の第2スペクトラルデータを第1スペクトラルデータに基づいて生成する学習済みモデルに対して、第1スペクトラルデータを入力することで、第2スペクトラルデータを出力することを実現させ、第1スペクトラルデータは、前記被検体Pに対するスペクトラルスキャンにより得られた医用データに対応し、学習済みモデルは、第1スペクトラルデータに対してノイズ低減処理と超解像処理とを実行する。医用データ処理プログラムは、例えば、コンピュータが読取可能な非不揮発性記憶媒体に記憶される。
例えば、医用データ処理に関する各種サーバ装置(処理装置)に医用データ処理プログラムを非不揮発性記憶媒体からインストールし、これらをメモリ上で展開することによっても、ノイズ低減超解像処理を実現することができる。このとき、コンピュータに当該手法を実行させることのできるプログラムは、磁気ディスク(ハードディスクなど)、光ディスク(CD-ROM、DVDなど)、半導体メモリなどの記憶媒体に格納して頒布することも可能である。医用データ処理プログラムにおける処理手順および効果は、実施形態と同様なため、説明は省略する。
以上説明した少なくとも1つの実施形態等によれば、スペクトラルイメージングにより生成されるスペクトラル医用画像における解剖学的特徴などの物体の視認性を向上し、かつ画質を向上させたスペクトラル医用画像を生成することができる。
いくつかの実施形態を参照して本開示を説明したが、これらの実施形態は、本開示の原理と用途の例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、実施形態同士の組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
以上の実施形態等に関し、発明の一側面および選択的な特徴として以下の付記を開示する。
(付記1)
スペクトラル医用撮像装置により撮像された被検体に関する第1スペクトラルデータより低ノイズであって前記第1スペクトラルデータより高解像の第2スペクトラルデータを前記第1スペクトラルデータに基づいて生成する学習済みモデルに対して、前記第1スペクトラルデータを入力することで、前記第2スペクトラルデータを出力し、前記第1スペクトラルデータは、前記被検体に対するスペクトラルスキャンにより得られた医用データに対応し、前記学習済みモデルは、前記第1スペクトラルデータに対して低ノイズ化と高解像度化との処理を実行する、医用データ処理方法。
(付記2)
前記第1スペクトラルデータは、前記スペクトラル医用撮像装置による前記被検体の撮像により収集された再構成前の第1再構成前データであってもよく、前記第2スペクトラルデータは、再構成前の第2再構成前データであってもよく、前記再構成前の第2再構成前データに基づいて医用画像を生成してもよい。
(付記3)
前記第1再構成前データは、前記スペクトラル医用撮像装置において第1管電圧で収集された第1投影データと、前記第1管電圧より高い第2管電圧で収集された第2投影データとに対応してもよく、前記第2再構成前データは、前記第1投影データに対応する第3投影データ、および前記第2投影データに対応する第4投影データに対応してもよい。
(付記4)
前記第1再構成前データは、複数の基準物質各々に対応する第1基準投影データであってもよく、前記第2再構成前データは、前記第1基準投影データに対応する第2基準投影データであってもよい。
(付記5)
前記第1再構成前データは、複数のエネルギー範囲各々に対応する第1カウントデータであってもよく、前記第2再構成前データは、前記第1カウントデータに対応する第2カウントデータであってもよい。
(付記6)
前記第1スペクトラルデータは、前記スペクトラル医用撮像装置による前記被検体の撮像により収集された収集データに基づいて再構成された第1再構成画像であってもよく、前記第2スペクトラルデータは、前記第1再構成画像より低ノイズであって前記第1再構成画像より高解像の第2再構成画像であってもよい。
(付記7)
前記第1再構成画像は、複数の基準物質に対応する複数の第1基準物質画像であってもよく、前記第2再構成画像は、前記複数の第1基準物質画像に対応する複数の第2基準物質画像であってもよい。
(付記8)
前記第1再構成画像は、X線のエネルギーが異なる少なくとも一つの第1仮想単色X線画像であってもよく、前記第2再構成画像は、前記第1仮想単色X線画像に対応する第2仮想単色X線画像であってもよい。
(付記9)
前記第1再構成画像は、第1仮想非造影画像であってもよく、前記第2再構成画像は、前記第1仮想非造影画像に対応する第2仮想非造影画像であってもよい。
(付記10)
前記第1再構成画像は、第1ヨードマップ画像であってもよく、前記第2再構成画像は、前記第1ヨードマップ画像に対応する第2ヨードマップ画像であってもよい。
(付記11)
前記第1再構成画像は、第1実効原子番号画像であってもよく、前記第2再構成画像は、前記第1実効原子番号画像に対応する第2実効原子番号画像であってもよい。
(付記12)
前記第1再構成画像は、第1電子密度画像であってもよく、前記第2再構成画像は、前記第1電子密度画像に対応する第2電子密度画像であってもよい。
(付記13)
前記第1再構成画像は、複数のエネルギー範囲に対応する複数の第1エネルギー画像であってもよく、前記第2再構成画像は、前記複数の第1エネルギー画像に対応する複数の第2エネルギー画像であってもよい。
(付記14)
前記第1再構成画像は、前記スペクトラル医用撮像装置による撮像で用いられた第1管電圧に対応する第1管電圧画像および前記第1管電圧より高い第2管電圧に対応する第2管電圧画像であってもよく、前記第2再構成画像は、前記第1管電圧画像に対応する第3管電圧画像、および前記第2管電圧画像に対応する第4管電圧画像であってもよい。
(付記15)
前記学習済みモデルは、シングルエネルギーのX線を用いた医用撮像装置により生成された訓練データを用いて学習されたモデルであってもよく、前記スペクトラル医用撮像装置による前記被検体の撮像でのX線のスペクトルに関する画像化に、前記第2スペクトラルデータを用いてもよい。
(付記16)
前記学習済みモデルは、デュアルエネルギーのX線を用いた医用撮像装置により生成された訓練データを用いて学習されたモデルであってもよく、前記スペクトラル医用撮像装置による前記被検体の撮像でのX線のスペクトルに関する画像化に、前記第2スペクトラルデータを用いてもよい。
(付記17)
前記学習済みモデルは、光子計数型X線コンピュータ断層撮影装置により生成された訓練データを用いて学習されたモデルであってもよく、前記スペクトラル医用撮像装置による前記被検体の撮像でのX線のスペクトルに関する画像化に、前記第2スペクトラルデータを用いてもよい。
(付記18)
付記1乃至14のいずれか一つに記載の医用データ処理方法における前記学習済みモデルを生成するモデル生成方法であって、前記第2スペクトラルデータのノイズおよび解像度に対応する第1訓練データに対してノイズを付加しかつ解像度を低減することにより、前記第1スペクトラルデータのノイズおよび解像度に対応する第2訓練データを生成し、前記第1訓練データと前記第2訓練データとを用いて畳み込みニューラルネットワークを訓練することにより、前記学習済みモデルを生成するモデル生成方法。
(付記19)
付記6乃至14のいずれか一つに記載の医用データ処理方法における前記学習済みモデルを生成するモデル生成方法であって、前記第2再構成画像のノイズおよび解像度に対応する再構成前の第2再構成前データに対してノイズを付加しかつ解像度を低減することにより、前記第1再構成画像のノイズおよび解像度に対応する再構成前の第1再構成前データを生成し、前記第1再構成前データと前記第2再構成前データとを用いて畳み込みニューラルネットワークを訓練することにより、前記学習済みモデルを生成する、モデル生成方法。
(付記20)
付記6乃至14のいずれか一つに記載の医用データ処理方法における前記学習済みモデルを生成するモデル生成方法であって、前記第2再構成画像のノイズおよび解像度に対応する再構成前の第2再構成前データに対してノイズを付加しかつ解像度を低減することにより、前記第1再構成画像のノイズおよび解像度に対応する再構成前の第1再構成前データを、第1訓練画像として生成し、前記第2再構成前データに基づいて、第1訓練画像を再構成し、前記第1再構成前データに基づいて、第2訓練画像を再構成し、前記第1訓練画像と前記第2訓練画像とを用いて畳み込みニューラルネットワークを訓練することにより、前記学習済みモデルを生成する、モデル生成方法。
(付記21)
付記6乃至14のいずれか一つに記載の医用データ処理方法における前記学習済みモデルを生成するモデル生成方法であって、前記第2再構成画像のノイズおよび解像度に対応する再構成前の第2再構成前データに基づいて、第1訓練画像を再構成し、前記第2再構成前データに対してノイズを付加して再構成することにより、前記第1再構成画像のノイズに対応するノイズ付加画像を生成し、前記ノイズ付加画像に対して解像度を低減することにより、前記第1再構成画像のノイズおよび解像度に対応する第2訓練画像を生成し、前記第1訓練画像と前記第2訓練画像とを用いて畳み込みニューラルネットワークを訓練することにより、前記学習済みモデルを生成する、モデル生成方法。
(付記22)
付記6乃至14のいずれか一つに記載の医用データ処理方法における前記学習済みモデルを生成するモデル生成方法であって、前記第2再構成画像のノイズおよび解像度に対応する再構成前の第2再構成前データに基づいて、第1訓練画像を再構成し、前記第2再構成前データに対して解像度を低減して再構成することにより、前記第1再構成画像の解像度に対応する低解像画像を生成し、前記低解像画像に対してノイズを付加することにより、前記第1再構成画像のノイズおよび解像度に対応する第2訓練画像を生成し、前記第1訓練画像と前記第2訓練画像とを用いて畳み込みニューラルネットワークを訓練することにより、前記学習済みモデルを生成する、モデル生成方法。
(付記23)
付記6乃至14のいずれか一つに記載の医用データ処理方法における前記学習済みモデルを生成するモデル生成方法であって、前記第2再構成画像のノイズおよび解像度に対応する再構成前の第2再構成前データに基づいて、第1訓練画像を再構成し、前記第1訓練画像に対してノイズを付加して解像度を低減することにより、前記第1再構成画像のノイズおよび解像度に対応する第2訓練画像を生成し、前記第1訓練画像と前記第2訓練画像とを用いて畳み込みニューラルネットワークを訓練することにより、前記学習済みモデルを生成する、モデル生成方法。
(付記24)
スペクトラル医用撮像装置により撮像された被検体に関する第1スペクトラルデータより低ノイズであって前記第1スペクトラルデータより高解像の第2スペクトラルデータを前記第1スペクトラルデータに基づいて生成する学習済みモデルに対して、前記第1スペクトラルデータを入力することで、前記第2スペクトラルデータを出力する処理回路を備え、前記第1スペクトラルデータは、前記被検体に対するスペクトラルスキャンにより得られた医用データに対応し、前記学習済みモデルは、前記第1スペクトラルデータに対して低ノイズ化と高解像度化との処理を実行する、医用データ処理装置。
(付記25)
コンピュータに、
スペクトラル医用撮像装置により撮像された被検体に関する第1スペクトラルデータより低ノイズであって前記第1スペクトラルデータより高解像の第2スペクトラルデータを前記第1スペクトラルデータに基づいて生成する学習済みモデルに対して、前記第1スペクトラルデータを入力することで、前記第2スペクトラルデータを出力することを実現させ、前記第1スペクトラルデータは、前記被検体に対するスペクトラルスキャンにより得られた医用データに対応し、前記学習済みモデルは、前記第1スペクトラルデータに対して低ノイズ化と高解像度化との処理を実行する、医用データ処理プログラム。
1 PCCT装置
5 学習装置
10 架台装置
11 X線管
12 X線検出器
13 回転フレーム
14 X線高電圧装置
15 制御装置
16 ウェッジ
17 コリメータ
18 DAS(Data Acquisition System)
30 寝台装置
31 基台
32 寝台駆動装置
33 天板
34 支持フレーム
40 コンソール装置
41 メモリ
42 ディスプレイ
43 入力インターフェース
44 処理回路
51 メモリ
54 処理回路
441 システム制御機能
442 前処理機能
443 再構成処理機能
444 画像処理機能
445 データ処理機能
543 訓練データ生成機能
544 モデル生成機能

Claims (18)

  1. スペクトラル医用撮像装置により撮像された被検体に関する第1スペクトラルデータより低ノイズであって前記第1スペクトラルデータより高解像の第2スペクトラルデータを前記第1スペクトラルデータに基づいて生成する学習済みモデルに対して、前記第1スペクトラルデータを入力することで、前記第2スペクトラルデータを出力し、
    前記第1スペクトラルデータは、前記被検体に対するスペクトラルスキャンにより得られた医用データに対応し、
    前記学習済みモデルは、前記第1スペクトラルデータに対してノイズ低減処理と超解像処理とを実行する、
    医用データ処理方法。
  2. 前記第1スペクトラルデータは、前記スペクトラル医用撮像装置による前記被検体の撮像により収集された再構成前の第1再構成前データであって、
    前記第2スペクトラルデータは、再構成前の第2再構成前データであって、
    前記再構成前の第2再構成前データに基づいて医用画像を生成する、
    請求項1に記載の医用データ処理方法。
  3. 前記第1再構成前データは、前記スペクトラル医用撮像装置において第1管電圧で収集された第1投影データおよび前記第1管電圧より高い第2管電圧で収集された第2投影データと、複数の基準物質各々に対応する第1基準投影データと、複数のエネルギー範囲各々に対応する第1カウントデータと、のうちいずれかであって、
    前記第2再構成前データは、前記第1投影データに対応する第3投影データおよび前記第2投影データに対応する第4投影データと、前記第1基準投影データに対応する第2基準投影データと、前記第1カウントデータに対応する第2カウントデータと、のうちいずれかであって、
    前記第1投影データおよび前記第2投影データを前記学習済みモデルに入力する場合、前記第3投影データおよび前記第4投影データを出力し、
    前記第1基準投影データを前記学習済みモデルに入力する場合、前記第2基準投影データを出力し、
    前記第1カウントデータを前記学習済みモデルに入力する場合、前記第2カウントデータを出力する、
    請求項2に記載の医用データ処理方法。
  4. 前記第1スペクトラルデータは、前記スペクトラル医用撮像装置による前記被検体の撮像により収集された収集データに基づいて再構成された第1再構成画像であって、
    前記第2スペクトラルデータは、前記第1再構成画像より低ノイズであって前記第1再構成画像より高解像の第2再構成画像である、
    請求項1に記載の医用データ処理方法。
  5. 前記第1再構成画像は、複数の基準物質に対応する複数の第1基準物質画像と、X線のエネルギーが異なる少なくとも一つの第1仮想単色X線画像と、第1仮想非造影画像と、第1ヨードマップ画像と、第1実効原子番号画像と、第1電子密度画像と、複数のエネルギー範囲に対応する複数の第1エネルギー画像と、前記スペクトラル医用撮像装置による撮像で用いられた第1管電圧に対応する第1管電圧画像および前記第1管電圧より高い第2管電圧に対応する第2管電圧画像と、のうちいずれかであって、
    前記第2再構成画像は、前記複数の第1基準物質画像に対応する複数の第2基準物質画像と、前記第1仮想単色X線画像に対応する第2仮想単色X線画像と、前記第1仮想非造影画像に対応する第2仮想非造影画像と、前記第1ヨードマップ画像に対応する第2ヨードマップ画像と、前記第1実効原子番号画像に対応する第2実効原子番号画像と、前記第1電子密度画像に対応する第2電子密度画像と、前記複数の第1エネルギー画像に対応する複数の第2エネルギー画像と、前記第1管電圧画像に対応する第3管電圧画像および前記第2管電圧画像に対応する第4管電圧画像と、のうちいずれかであって、
    前記複数の第1基準物質画像を前記学習済みモデルに入力する場合、前記複数の第2基準物質画像を出力し、
    前記第1仮想単色X線画像を前記学習済みモデルに入力する場合、前記第2仮想単色X線画像を出力し、
    前記第1仮想非造影画像を前記学習済みモデルに入力する場合、前記第2仮想非造影画像を出力し、
    前記第1ヨードマップ画像を前記学習済みモデルに入力する場合、前記第2ヨードマップ画像を出力し、
    前記第1実効原子番号画像を前記学習済みモデルに入力する場合、前記第2実効原子番号画像を出力し、
    前記第1電子密度画像を前記学習済みモデルに入力する場合、前記第2電子密度画像を出力し、
    前記複数の第1エネルギー画像を前記学習済みモデルに入力する場合、前記複数の第2エネルギー画像を出力し、
    前記第1管電圧画像と前記第2管電圧画像を前記学習済みモデルに入力する場合、前記第3管電圧画像と前記第4管電圧画像とを出力する、
    請求項4に記載の医用データ処理方法。
  6. 前記第1再構成画像は、前記スペクトラル医用撮像装置による撮像で用いられた第1管電圧に対応する第1管電圧画像および前記第1管電圧より高い第2管電圧に対応する第2管電圧画像であって、
    前記第2再構成画像は、前記第1管電圧画像に対応する第3管電圧画像、および前記第2管電圧画像に対応する第4管電圧画像である、
    請求項4に記載の医用データ処理方法。
  7. 前記学習済みモデルは、シングルエネルギーのX線を用いた医用撮像装置により生成された訓練データを用いて学習されたモデルであって、
    前記スペクトラル医用撮像装置による前記被検体の撮像でのX線のスペクトルに関する画像化に、前記第2スペクトラルデータを用いる、
    請求項1乃至6のいずれか一項に記載の医用データ処理方法。
  8. 前記学習済みモデルは、デュアルエネルギーのX線を用いた医用撮像装置により生成された訓練データを用いて学習されたモデルであって、
    前記スペクトラル医用撮像装置による前記被検体の撮像でのX線のスペクトルに関する画像化に、前記第2スペクトラルデータを用いる、
    請求項1乃至6のいずれか一項に記載の医用データ処理方法。
  9. 前記学習済みモデルは、光子計数型X線コンピュータ断層撮影装置により生成された訓練データを用いて学習されたモデルであって、
    前記スペクトラル医用撮像装置による前記被検体の撮像でのX線のスペクトルに関する画像化に、前記第2スペクトラルデータを用いる、
    請求項1乃至6のいずれか一項に記載の医用データ処理方法。
  10. 前記スペクトラル医用撮像装置は、デュアルエネルギーのX線を用いるデュアルエネルギーコンピュータ断層撮像装置であり、
    前記学習済みモデルは、
    光子計数型X線コンピュータ断層撮影装置により撮像された被検体に関するカウント投影データに基づいて生成された第1仮想単色X線画像と、
    前記カウント投影データに対する低解像化処理とノイズ付加処理とを含むシミュレーション処理を前記カウント投影データに適用して得られる第2仮想単色X線画像と、
    に基づき訓練される、
    請求項1に記載の医用データ処理方法。
  11. 前記第1仮想単色X線画像は、複数のX線のエネルギーに対応する複数の第1仮想単色X線画像を含み、
    前記第2の仮想単色X線画像は、前記複数のX線のエネルギーに対応する複数の第2仮想単色X線画像を含み、
    前記学習済みモデルは、前記複数のX線のエネルギーに対応する複数の学習済みモデルを有し、
    前記複数の学習済みモデルは、前記複数の第1仮想単色X線画像と前記複数の第2仮想単色X線画像とを、前記複数のX線のエネルギーごとに用いて訓練される、
    請求項10に記載の医用データ処理方法。
  12. スペクトラル医用撮像装置により撮像された被検体に関する第1スペクトラルデータより低ノイズであって前記第1スペクトラルデータより高解像の第2スペクトラルデータを前記第1スペクトラルデータに基づいて生成する学習済みモデルを生成するモデル生成方法であって、
    前記第2スペクトラルデータのノイズおよび解像度に対応する第1訓練データに対してノイズを付加しかつ解像度を低減することにより、前記第1スペクトラルデータのノイズおよび解像度に対応する第2訓練データを生成し、
    前記第1訓練データと前記第2訓練データとを用いて畳み込みニューラルネットワークを訓練することにより、前記学習済みモデルを生成する、
    モデル生成方法。
  13. 前記第1スペクトラルデータは、前記スペクトラル医用撮像装置による前記被検体の撮像により収集された収集データに基づいて再構成された第1再構成画像であって、
    前記第2スペクトラルデータは、前記第1再構成画像より低ノイズであって前記第1再構成画像より高解像の第2再構成画像であって、
    前記第2再構成画像のノイズおよび解像度に対応する再構成前の第2再構成前データに対してノイズを付加しかつ解像度を低減することにより、前記第1再構成画像のノイズおよび解像度に対応する再構成前の第1再構成前データを生成し、
    前記第2再構成前データに基づいて、第1訓練画像を再構成し、
    前記第1再構成前データに基づいて、第2訓練画像を再構成し、
    前記第1訓練画像と前記第2訓練画像とを用いて畳み込みニューラルネットワークを訓練することにより、前記学習済みモデルを生成する、
    請求項12に記載のモデル生成方法。
  14. スペクトラル医用撮像装置により撮像された被検体に関する第1スペクトラルデータより低ノイズであって前記第1スペクトラルデータより高解像の第2スペクトラルデータを前記第1スペクトラルデータに基づいて生成する学習済みモデルに対して、前記第1スペクトラルデータを入力することで、前記第2スペクトラルデータを出力する処理回路を備え、
    前記第1スペクトラルデータは、前記被検体に対するスペクトラルスキャンにより得られた医用データに対応し、
    前記学習済みモデルは、前記第1スペクトラルデータに対してノイズ低減処理と超解像処理とを実行する、
    医用データ処理装置。
  15. 前記第1スペクトラルデータは、前記スペクトラル医用撮像装置による前記被検体の撮像により収集された再構成前の第1再構成前データであって、
    前記第2スペクトラルデータは、再構成前の第2再構成前データであって、
    前記処理回路は、前記再構成前の第2再構成前データに基づいて医用画像を生成する、
    請求項14に記載の医用データ処理装置。
  16. 前記第1スペクトラルデータは、前記スペクトラル医用撮像装置による前記被検体の撮像により収集された収集データに基づいて再構成された第1再構成画像であって、
    前記第2スペクトラルデータは、前記第1再構成画像より低ノイズであって前記第1再構成画像より高解像の第2再構成画像である、
    請求項14に記載の医用データ処理装置。
  17. 前記スペクトラル医用撮像装置は、デュアルエネルギーのX線を用いるデュアルエネルギーコンピュータ断層撮像装置であり、
    前記学習済みモデルは、
    光子計数型X線コンピュータ断層撮影装置により撮像された被検体に関するカウント投影データに基づいて生成された第1仮想単色X線画像と、
    前記カウント投影データに対する低解像化処理とノイズ付加処理とを含むシミュレーション処理を前記カウント投影データに適用して得られる第2仮想単色X線画像と、
    に基づき訓練される、
    請求項14または16に記載の医用データ処理装置。
  18. 前記第1仮想単色X線画像は、複数のX線のエネルギーに対応する複数の第1仮想単色X線画像を含み、
    前記第2仮想単色X線画像は、前記複数のX線のエネルギーに対応する複数の第2仮想単色X線画像を含み、
    前記学習済みモデルは、前記複数のX線のエネルギーに対応する複数の学習済みモデルを有し、
    前記複数の学習済みモデルは、前記複数の第1仮想単色X線画像と前記複数の第2仮想単色X線画像とを、前記複数のX線のエネルギーごとに用いて訓練される、
    請求項17に記載の医用データ処理装置。
JP2023047004A 2022-06-16 2023-03-23 医用データ処理方法、モデル生成方法、および医用データ処理装置 Pending JP2023184428A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/332,006 US20230404514A1 (en) 2022-06-16 2023-06-09 Medical data processing method, model generating method, and medical data processing apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022097241 2022-06-16
JP2022097241 2022-06-16

Publications (1)

Publication Number Publication Date
JP2023184428A true JP2023184428A (ja) 2023-12-28

Family

ID=89333447

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023047004A Pending JP2023184428A (ja) 2022-06-16 2023-03-23 医用データ処理方法、モデル生成方法、および医用データ処理装置

Country Status (1)

Country Link
JP (1) JP2023184428A (ja)

Similar Documents

Publication Publication Date Title
JP6670586B2 (ja) X線ct装置
JP6513431B2 (ja) X線ct装置及びその制御方法
US11207041B2 (en) X-ray CT system and medical processing apparatus
JP7348376B2 (ja) 医用処理装置、x線ctシステム及び処理プログラム
JP6688626B2 (ja) X線コンピュータ断層撮像装置及び医用画像処理装置
JP2022161004A (ja) 医用データ処理方法、モデル生成方法、医用データ処理装置、および医用データ処理プログラム
JP7467253B2 (ja) X線ctシステム及び医用処理装置
JP2020039872A (ja) X線ct装置、医用画像処理装置及びx線ctシステム
JP7461102B2 (ja) 医用画像処理装置およびx線ct装置
JP7179479B2 (ja) X線ct装置
JP2020049059A (ja) 医用画像処理装置および方法
JP2023184428A (ja) 医用データ処理方法、モデル生成方法、および医用データ処理装置
JP7334088B2 (ja) 医用情報処理装置、医用情報処理プログラムおよびx線ct装置
JP7490333B2 (ja) X線ctシステム及び処理プログラム
US20230404514A1 (en) Medical data processing method, model generating method, and medical data processing apparatus
JP2024074006A (ja) 医用画像処理装置、医用画像処理方法、およびモデル生成方法。
JP2020103571A (ja) 医用処理装置及びx線診断システム
US20240180503A1 (en) Photon counting computed tomography apparatus and photon-counting ct-scanning condition setting method
US20240169531A1 (en) Medical image processing apparatus, medical image processing method, and model generation method
EP4382048A1 (en) Photon counting computed tomography apparatus and photon-counting ct-scanning condition setting method
US20240188911A1 (en) Medical image processing apparatus and medical image processing method
CN110881993A (zh) X射线ct装置、医用图像处理装置以及x射线ct系统
JP7466401B2 (ja) 医用画像診断装置
JP7337596B2 (ja) X線撮影装置、医用情報処理装置、x線検出器及びx線検出器の補正方法
US20220375086A1 (en) Medical information processing method, medical information processing apparatus, and medical image processing apparatus