JP2020517946A - ディープ畳み込みニューラルネットワークを使用した医用画像化のための線量低減 - Google Patents

Abstract

放射線画像化モダリティ及び核医学用途のための放射線量を低減させる方法であって、（ａ）畳み込みネットワークを使用して低線量核医学画像から標準線量核医学画像を生成するステップであって、畳み込みネットワークがＮ個の畳み込みニューラルネットワーク（ＣＮＮ）ステージを含み、ＣＮＮステージの各々が、Ｋ×Ｋのカーネルを有するＭ個の畳み込み層を含み、畳み込みネットワークが、互いに対応するＣＮＮステージ間に対称連結接続を有するエンコーダ−デコーダ構造をさらに含む、該ステップと、（ｂ）ＣＮＮステージ間で、プーリングを用いたダウンサンプリング、及び双線形補間を用いたアップサンプリングを行うステップであって、ＣＮＮにより低線量核医学画像からマルチスケール及び高レベルのフィーチャを抽出して高線量画像をシミュレートする、該ステップと、（ｃ）高線量画像の局所的な情報及び解像度を保持するために低線量核医学画像に連結接続を追加するステップであって、高線量画像が、患者体内の放射性トレーサの１倍に等しい線量低減係数（ＤＲＦ）を有し、低線量核医学画像が、患者体内の放射性トレーサの少なくとも４倍に等しいＤＲＦを含む、該ステップと、を含む方法が提供される。【選択図】図２Ｂ

Description

本発明は、一般的に、医用画像化に関する。より詳細には、本発明は、患者のリスクを低下させるための線量低減を目的とした医用画像化技術に関する。

陽電子放出断層撮影（ＰＥＴ）は、細胞レベルでの画像化能力及び高特異性を有しているので、例えば、癌診断、腫瘍検出、及び神経疾患の早期診断などの広範囲の臨床用途を有する。診断目的の高品質ＰＥＴ画像を取得するためには、標準線量の放射性トレーサを被験者に注入すべきであり、それは、放射線被曝によるダメージのより高いリスクにつながる。通常、ＰＥＴスキャン、またはＰＥＴ／ＭＲ及びＰＥＴ／ＣＴのスキャンでは、ＣＴのみを使用するスキャンよりもさらに多くの電離放射線が患者に照射される。このようなリスクを最小限に抑えるために、よく知られたＡＬＡＲＡ（合理的に達成可能な限り低く）の原則が臨床現場で採用されている。

この問題を解決するために、低線量ＰＥＴ画像の画質を改善するための様々なアルゴリズムが提案されている。一般的に、これらのアルゴリズムは、次の３つのカテゴリーに分類できる。（１）反復再構成アルゴリズム、（２）画像フィルタリング及び後処理、（３）機械学習。

反復再構成アルゴリズムは、低線量再構成問題を凸最適化問題として策定し、取得データの統計モデル（すなわち、ｓｉｎｏｇｒａｍまたはｌｉｓｔｍｏｄｅ）を正則化項と組み合わせてノイズを抑制する。全変動（ＴＶ）正則化を用いた反復アルゴリズムによって、異なる光子数を有する合成放射ファントムのノイズを低減することが従来提案されている。反復再構成アルゴリズムは、生のカウント情報を直接考慮するため、潜在的に最も正確であるが、３つの主な短所がある。第１に、取得された全てのデータと相互作用することによる実質的な計算コストは、これらの種類の方法のほとんどを時間のかかるものにする。第２に、異なるスキャナが、異なる幾何学的構成、データフォーマット（例えば、飛行時間（ＴＯＦ）と相互作用位置（ＤＯＩ））、及びデータ修正手順を使用し、それらは生データに大きな影響を与えるので、反復方法は一般的にベンダー独自のものである。最後に、これらの方法では、事前に定義された正規化項が必要であり、これは、望ましくない過剰平滑化、アーチファクト、または幻覚テクスチャをもたらす恐れがある。

画像処理法として、非局所平均（ＮＬＭ）及びブロックマッチング３Ｄ（ＢＭ３Ｄ）などのいくつかの汎用画像ノイズ除去アルゴリズムが、ＰＥＴ画像ノイズ除去に導入された。加えて、ＰＥＴ画像のノイズを除去するために、特異値閾値処理法と不偏リスク推定とを組み合わせる試みが行われた。マルチスケールのカーブレット解析及びウェーブレット解析に基づいて、画像解像度及び定量化を保持しながらＰＥＴ画像のノイズを除去する方法が或るグループにより提案された。

もう１つの重要なカテゴリーは、マッピングベースのスパース表現、半教師付き３倍辞書、及びマルチレベル正準相関解析などのデータ駆動機械学習法である。低線量ＰＥＴ画像のノイズを直接的に除去する代わりに、機械学習法は、低線量画像と標準線量画像の対を使用して、低線量入力から標準線量画像を予測することができるモデルを訓練する。

近年、ディープラーニングは、コンピュータビジョン用途において多くの注目を集めており、従来の方法と比較してはるかに良い結果をもたらし、画像分類及び顔検証などのいくつかのタスクにおいて人間レベルの性能を実現している。ディープラーニング法の成功には、下記の重要要素が寄与している。（１）大量のパラメータを用いてモデルを訓練することを可能にする最新の強力なＧＰＵにする並列計算の迅速化、（２）例えばＩｍａｇｅＮｅｔなどのオープンソース研究及び訓練を促進する、大規模なデータセットの公開、（３）例えば、重み共有及び局所結合を利用する畳み込みニューラルネットワーク（ＣＮＮ）などの新しい効率的なニューラルネットワーク構造。加えて、画像ノイズ除去、超解像技術、及び画像復元などの低レベル視覚問題のカテゴリーに対してもディープラーニング法が成功裏に適用され、最先端の結果が達成されている。

これらの方法は主に自然画像処理に焦点を合わせているが、これらの有望な方法を医用画像解析に適用するためにいくつかの努力がなされている。Ｕ−Ｎｅｔは、医用画像セグメンテーションのための完全畳み込みネットワークであり、フィーチャを異なる解像度で抽出するための縮小経路及び拡大経路を含む。失われた解像度情報を復元するために、Ｕ−Ｎｅｔはまた、互いに対応する縮小ステップと拡大ステップを連結するためにスキップ接続を用いる。Ｕ−Ｎｅｔに触発されて、或るグループは、残差学習を用いてスパース視野ＣＴ画像におけるストリークアーチファクトを除去するためのマルチスケールＣＮＮを提案した。低線量Ｘ線ＣＴ再構成にも使用されるＷａｖｅＮｅｔは、入力データのフィーチャ水増しとしてのマルチスケールウェーブレット変換と組み合わせた類似構造を用いる。低線量ＰＥＴ再構成の分野では、低線量ＣＴ再構成と比較して、ディープラーニング法を利用した低線量ＰＥＴ画像のノイズ除去に関する研究は少ない。別のグループは、自動コンテキスト畳み込みネットワークを使用して、低線量ＰＥＴ画像及びそれに対応するＭＲ Ｔ１画像から標準線量ＰＥＴ画像を予測するためのディープラーニング法を提案し、それにより、予測結果を段階的に改善することを試みている。

同時ＰＥＴ／ＭＲＩシステムにおける最近の発展は、ＭＲＩからの追加情報を利用して、減衰補正、動き補正、及び部分体積補正などのＰＥＴ補正における画質を改善することを可能にした。また、構造的Ｔ１画像及びＤＴＩ関連コントラストを含むマルチコントラストＭＲＩは、低線量ＰＥＴ再構成に有益であることが分かっている。

線量低減係数（ＤＦＲ）に関して、標準線量画像（ＤＲＦ＝１）のノイズを除去するために従来方法が用いられており、また、４分の１線量画像（ＤＲＦ＝４）から標準線量画像を再構成するために別の従来方法が用いられていた。

超低線量画像から標準線量ＰＥＴ画像を再構成するためのディープラーニング法が求められている。

当分野の上記課題を解決するために、放射線画像化モダリティ及び核医学用途のための放射線量を低減させる方法であって、（ａ）畳み込みネットワークを使用して低線量核医学画像から標準線量核医学画像を生成するステップであって、畳み込みネットワークがＮ個の畳み込みニューラルネットワーク（ＣＮＮ）ステージを含み、ＣＮＮステージの各々が、Ｋ×Ｋのカーネルを有するＭ個の畳み込み層を含み、畳み込みネットワークが、互いに対応するＣＮＮステージ間に対称連結接続を有するエンコーダ−デコーダ構造をさらに含む、該ステップと、（ｂ）ＣＮＮステージ間で、プーリングを用いたダウンサンプリング、及び双線形補間を用いたアップサンプリングを行うステップであって、ＣＮＮにより低線量核医学画像からマルチスケール及び高レベルのフィーチャを抽出して高線量画像をシミュレートする、該ステップと、（ｃ）高線量画像の局所的な情報及び解像度を保持するために低線量核医学画像に連結接続を追加するステップであって、高線量画像が、患者体内の放射性トレーサの１倍に等しい線量低減係数（ＤＲＦ）を有し、低線量核医学画像が、患者体内の放射性トレーサの少なくとも４倍に等しいＤＲＦを含む、該ステップと、を含む方法が提供される。

本発明の一態様では、低線量核医学画像のＤＲＦは、４から２００の範囲内である。

本発明の別の態様では、標準線量核医学画像は、マルチモダリティ入力としての低線量核医学画像及びそれに対応するマルチコントラストＭＲ画像から生成される。

本発明のさらなる態様では、核医学画像は、ＣＴ、ＰＥＴ、ＰＥＴ／ＣＴ、ＰＥＴ／ＭＲ、ＳＰＥＣＴ、及び他の核医学画像化方法からなる群より選択される方法を用いて生成される。

本発明の一態様では、低線量核医学画像の信号対ノイズ比（ＳＮＲ）が、連結スキップ接続を有するエンコーダ−デコーダ残差ディープネットワークを使用して増大され、スキップ接続は、当該方法の入力から出力への残差接続、または、互いに対応するエンコーダ層及びデコーダ層間の連結接続を含む。

本発明のさらに別の態様では、低線量核医学画像は、複数のスライスと複数のコントラスト画像との組み合わせを入力としてさらに含む。複数のスライスと複数のコントラスト画像との組み合わせは、Ｔ１ｗ ＭＲ画像、Ｔ２ｗ ＭＲ画像、ＦＬＡＩＲ ＭＲ画像、拡散ＭＲ画像、潅流ＭＲＩ画像、磁化率ＭＲ画像、ＭＲベースの減衰補正マップ、ＭＲ水−脂肪画像、ＣＴ画像、及びＣＴベースの減衰補正マップからなる群より選択され、潅流ＭＲＩ画像は、動脈スピンラベル標識シーケンスを含む。

本発明の別の態様では、アルゴリズムを使用して、当該方法に最も有益な入力スライスの数及び入力コントラストを決定するステップをさらに含み、アルゴリズムは、入力スライスの数及び使用する入力コントラストを適応的に決定する。

本発明の別の態様では、Ｌ１／平均絶対誤差、構造的類似性損失、及び適応訓練損失からなる群より選択される混合コスト関数が使用され、適応訓練損失は、ネットワークモデルを使用する敵対的生成ネットワーク損失及び知覚損失関数を含む。

本発明の一実施形態では、低放射線量サンプルから放射線画像モダリティ及び核医学用途のための高品質画像を生成するシステムであって、（ａ）医用イメージャを使用して、低放射線量画像の複数のスライス、または、低放射線量画像及びそれと共に取得されたマルチコントラスト画像を、当該システムへの入力画像としての複数の２次元画像または３次元画像のスタッキングとして取得し、（ｂ）入力画像にディープネットワークベースの回帰タスクを適用するように構成され、ディープネットワークベースの回帰タスクが、（ｉ）Ｎ個の畳み込みニューラルネットワーク（ＣＮＮ）ステージであって、ＣＮＮステージの各々がＫ×Ｋのカーネルを有するＭ個の畳み込み層を含み、ＣＮＮが、互いに対応するＣＮＮステージ間に対称連結接続を有するエンコーダ−デコーダ構造をさらに含む、該ステージと、（ｉｉ）連結スキップ接続を有するエンコーダ−デコーダ残差ディープネットワークであって、連結スキップ接続が入力画像から出力画像への残差接続を含む、該ネットワークと、（ｉｉｉ）標準放射線量画像と同等の画像品質を有する放射線または核医学画像を標準放射線量画像として出力することを含み、画像品質が、低放射線量入力よりも改善された解像度、コントラスト、及び信号対ノイズ比を含む、システムが提供される。

本発明による、通常線量及び様々な線量減少レベルのＰＥＴ画像であり、（Ａ）は標準線量、（Ｂ）は４分の１線量、（Ｃ）は２０分の１線量、（Ｄ）は２００分の１線量、について示す。 本発明による、ディープラーニングを使用した低線量ＰＥＴ再構成のためのネットワーク方法及びシステムのアーキテクチャ作業フローの全体アーキテクチャを示す。 本発明による、ディープラーニングを使用した低線量ＰＥＴ再構成のためのネットワーク方法及びシステムのアーキテクチャ作業フローの全体アーキテクチャを示す。 本発明による、マルチスライス入力の効果を示し、（Ａ）標準線量を用いた場合、（Ｂ）２００×低線量を用いた場合、（Ｃ）単一スライス入力を用いた再構成結果、（Ｄ）マルチスライス入力（３スライス）を用いた再構成結果を示す。 本発明による、低線量再構成のための様々な方法の平均性能及び類似性メトリックの比較を示す。図中のひし形は平均値を示す。 本発明による、低線量再構成のための様々な方法の平均性能及び類似性メトリックの比較を示す。図中のひし形は平均値を示す。 本発明による、低線量再構成のための様々な方法の平均性能及び類似性メトリックの比較を示す。図中のひし形は平均値を示す。 ＬＯＯＣＶを用いた、本発明のシステム及び方法と従来の方法との定量的な比較を示す。 ＬＯＯＣＶを用いた、本発明のシステム及び方法と従来の方法との定量的な比較を示す。 ＬＯＯＣＶを用いた、本発明のシステム及び方法と従来の方法との定量的な比較を示す。 比較のための様々な方法による結果を示し、（Ａ）標準線量、（Ｂ）低線量、（Ｃ）ＮＬＭ、（Ｄ）ＢＭ３Ｄ、（Ｅ）ＡＣ−Ｎｅｔ、（Ｆ）ＲｅｓＵＮｅｔ、（Ｇ）ＲｅｓＵＮｅｔ＋ＭＲ、について示す。 図６（Ａ）〜（Ｇ）中のＡ部分及びＢ部分を拡大して示し、（Ａ）標準線量、（Ｂ）低線量、（Ｃ）ＮＬＭ、（Ｄ）ＢＭ３Ｄ、（Ｅ）ＡＣ−Ｎｅｔ、（Ｆ）ＲｅｓＵＮｅｔ、（Ｇ）ＲｅｓＵＮｅｔ＋ＭＲ、について示す。 本発明のよる、様々なタイプのスキップ接続を有するネットワークの類似性メトリックを示す。図中のＲは残差接続を意味し、Ｃは連結接続を意味する。 本発明のよる、様々なタイプのスキップ接続を有するネットワークの類似性メトリックを示す。図中のＲは残差接続を意味し、Ｃは連結接続を意味する。 本発明のよる、様々なタイプのスキップ接続を有するネットワークの類似性メトリックを示す。図中のＲは残差接続を意味し、Ｃは連結接続を意味する。 本発明による、マルチスライス入力における様々な設定を有するモデルを使用した基準、入力及び再構成結果を示し、（Ａ）標準線量、（Ｂ）低線量、（Ｃ）単一スライス、（Ｄ）３つのスライス、（Ｅ）５つのスライス、（Ｆ）７つのスライス、について示す。 本発明による、様々な数の入力スライスで訓練されたネットワークの類似性メトリックを示す。 本発明による、様々な数の入力スライスで訓練されたネットワークの類似性メトリックを示す。 本発明による、様々な数の入力スライスで訓練されたネットワークの類似性メトリックを示す。 本発明の研究における９人の被験者の全員にわたって、平均ＮＲＭＳＥ、ＰＳＮＲ、及びＳＳＩＭにより評価された、異なる深さを有していないネットワークの性能を示す。 本発明の研究における９人の被験者の全員にわたって、平均ＮＲＭＳＥ、ＰＳＮＲ、及びＳＳＩＭにより評価された、異なる深さを有していないネットワークの性能を示す。 本発明の研究における９人の被験者の全員にわたって、平均ＮＲＭＳＥ、ＰＳＮＲ、及びＳＳＩＭにより評価された、異なる深さを有していないネットワークの性能を示す。 本発明による、ＰＥＴを予測するためのディープラーニング作業フローを使用した実験結果を示す。 本発明による、ＦＤＧ−ＰＥＴの予測の視覚化を示す。 本発明の一実施形態による、ＭＲＩから合成されたアミロイド−ＰＥＴを示す。 本発明の一実施形態によるプロセスのフロー図を示す。

陽電子放射断層撮影法（ＰＥＴ）は、癌診断、心疾患、及び神経障害を含む様々な臨床用途に広く用いられている。ＰＥＴ画像化における放射性トレーサの使用は、放射線被曝のリスクに起因して懸念を生じさせる。ＰＥＴ画像化におけるこの潜在的リスクを最小限に抑えるために、放射性トレーサの使用量を減らす努力がなされてきた。しかしながら、放射線量を低くすると、信号対ノイズ比（ＳＮＲ）の低下、及び情報の損失が生じ、それらは両方とも臨床診断に大きく影響する。同様に、低線量ＰＥＴ画像再構成の悪条件は、反復再構成アルゴリズムにおける難しい問題である。従来の提案方法は一般的に複雑で遅く、しかも、有意に低い放射線量では、依然として満足な結果を得ることができない。本発明は、この問題を解決するべく、連結スキップ接続を有するエンコーダ−デコーダ残差ディープネットワークを用いたディープラーニング法を提供する。実験により、本発明が、２００分の２の線量だけで、低線量ＰＥＴ画像を標準線量品質に再構成することが分かった。訓練モデルのための様々なコスト関数（目的関数）が開示される。マルチスライス入力の実施形態により、ネットワークにより多くの構造情報を提供し、ネットワークをノイズに対してよりロバストにすることが説明される。また、同時ＰＥＴ／ＭＲＩから取得されたマルチコントラストＭＲＩも、ネットワークの性能を改善するためにネットワークに提供される。超低線量臨床データの評価は、本発明が最先端の方法よりも良好な結果を達成し、元の通常線量の０．５％だけを使用して同等の品質を有する画像を再構成することを示す。

本発明によれば、マルチコントラストＭＲＩを用いることにより、本発明のモデルの一態様の性能が改善される。完全畳み込みエンコーダ−デコーダ残差ディープネットワークモデルを使用したディープラーニング法を用いて、超低線量画像（９９．５％低減またはＤＲＦ＝２００）から標準線量ＰＥＴ画像を再構成した。これは、高い低減率での、インビボＰＥＴデータセットを使用した超低線量ＰＥＴ再構成を可能にするので有益である。

さらに説明するために、標準線量の１８Ｆ−フルオロデオキシグルコース（ＦＤＧ）（３７０ＭＢｑ）で、同時飛行時間可能ＰＥＴ／ＭＲＩシステム（ＳＩＧＮＡ、ＧＥ Ｈｅａｌｔｈｃａｒｅ）により取得された、膠芽腫（ＧＢＭ）を有する８人の患者からＰＥＴ／ＭＲＩ画像をセットアップする例示的データセット及び実験が開示される。画像は、注入の４５分後から約４０分間取得した。各スキャン毎に、生のカウントリストモードデータセットを記憶し、次いで、カウントイベントの０．５％を単純にランダムに選択することによって、ＤＲＦ＝２００で合成された低線量生データを生成し、それを全取得期間にわたって一様に広げた。次に、標準的なＯＳＥＭ法（２８個のサブセット、２回の反復）を用いて、ＤＲＦ＝１（標準的な全線量）及びＤＲＦ＝２００（目標低線量）で取得したデータからＰＥＴ画像を再構成した。本発明によるシステムは、４倍の低減を超えて、１０倍、１００倍〜２００倍の低減、またはさらには放射線を完全に除去し、ＭＲＩからゼロ線量画像を生成することに留意されたい。

各患者は、３回の独立したスキャンを受けた。再構成された各３Ｄ ＰＥＴデータのサイズは、２５６２５６８９である。上部と下部に空気のスライスがあり、これは除去される。過剰適合を避けるために、より大きなデータセットをシミュレートするために、訓練プロセス中にデータ水増しが用いられた。画像は、ネットワークに入力される前に、ｘ軸及びｙ軸に沿ってランダムに反転され、転置された。

ディープラーニングに基づく低線量ＰＥＴ再構成のために、本発明は、ＤＲＦ＝２００の画像からＤＲＦ＝１の画像を再構成するのを学習するモデルを訓練するために提供される。

図２Ａは、互いに対応するステージ間の対称連結接続を有するエンコーダ−デコーダ構造に基づく完全畳み込みネットワークの一実施形態を示す。提供されるネットワーク構造は、セグメンテーションタスクの代わりに画像合成タスクの改良型を使用する点が、ＵＮｅｔ構造とは異なる。具体的には、各ステージは、３×３のカーネルを有する畳み込み、バッチ正規化、及び正規化線形ユニット（ＲｅＬＵ）を含む残差ブロックである。ステージ間のダウンサンプリング及びアップサンプリングは、それぞれ、２×２の最大プーリング及び双線形補間によって行われる。画像をダウンサンプリングし、その後にアップサンプリングすることにより、このネットワークは、画像からマルチスケール及び高レベルのフィーチャを抽出することができる。低線量ＰＥＴ画像再構成タスクは、画像ノイズ除去に類似しており、それは低レベル視覚問題のカテゴリー内にあり、エンコード−デコード処理のみを使用した場合には解像度損失を受けやすい。したがって、画像の局所的な情報及び解像度を保持するために、連結接続が追加される。

図２Ｂは、マルチモダリティ入力としての低線量ＰＥＴ画像及びそれに対応するマルチコントラストＭＲ画像から、標準線量ＰＥＴ画像を生成するように訓練されるディープネットワークを示す。図示のように、Ｎ個のＣＮＮステージが存在し、各ステージは、Ｋ×Ｋのカーネルを有するＭ個の畳み込み層を含むブロックである。結果は、Ｎ＝７、Ｍ＝２、Ｋ＝３の設定について示されている。画像をダウンサンプリングし、その後にアップサンプリングすることにより、このネットワークは、画像からマルチスケール及び高レベルの特徴を抽出することができる。対称連結接続を用いることにより、高解像度の情報が保持され、その結果、ネットワークパフォーマンスが向上する。

残差学習が、非常に深いＣＮＮを訓練する場合の性能劣化を避ける技術として、ＣＮＮに最初に導入された。アイデンティティと残差部分とを分離することにより、ニューラルネットワークをより効果的かつ効率的に訓練できることが分かった。元々は、残差学習は画像認識タスクにおいて使用されており、その後、残差学習を使用する最初のノイズ除去畳み込みネットワークであるＤｎＣＮＮが提案された。持続的相同性分析により、ＣＴアーチファクトの残差マニホールドが非常に単純な構造を有することが分かった。本発明のネットワークは、標準線量ＰＥＴ画像を直接生成するための学習の代わりに、残差接続を入力から出力へ直接的に追加することにより残差学習技術を用いることによって、標準線量画像出力と低線量画像入力との間の差異を学習することを試みる。本発明の一態様は、残差学習により、低線量ＰＥＴ再構成問題についてのネットワーク性能の有意な改善も達成できることを示す。

本発明のいくつかの実施形態では、マルチスライスが、システムへの入力として使用され得る。このことは有益である。なぜならば、低線量画像のみをニューラルネットワークの入力として使用すると、標準線量のカウンターパートを再構成するのに十分な情報が得られない可能性があるからである。図１に示すように、ノイズと脳構造とを区別するための情報が不足した場合、ネットワークは、線量低減に起因するノイズを完全に除去することができない。この問題を解決するために、単一スライス入力の代わりにマルチスライス入力が使用される。すなわち、互いに隣接するスライスが別個の入力チャネルとしてスタックされる。一般的に、マルチスライス入力は、フィーチャ水増しの一種と見なすことができる。脳の構造は決定論的であるため、互いに隣接するスライスは、ランダムな別個のノイズを有するが、同様の構造を共有し得る。したがって、互いに異なるスライスを入力として組み合わせることにより、ネットワークに２．５Ｄの構造情報を提供することができ、これを使用して、ランダムなノイズを一貫した構造から区別することができる。任意の数の互いに隣接するスライスが使用され得る。例えば、少なくとも２、３、４、５、６、７、８、９、１０、またはそれ以上の数の互いに隣接するスライスが入力として使用され得る。一例が図３に示されている。低線量ＰＥＴ画像では、ズームされた部分に黒色のノイズが存在し、これは除去できず、単一スライス入力で訓練されたネットワークでは、構造としてハルシネート（hallucinate）される。一方、３スライス入力で訓練されたネットワークでは、図３（Ｄ）に示すように、より良い結果を実現することができる。２．５Ｄマルチスライス入力による訓練は、３Ｄ畳み込みネットワークによる訓練とは異なる。なぜならば、前者のソリューションは、より少ないパラメータ及びより高い効率を有する３Ｄ畳み込みの深さ方向の演算を行うからである。

マルチコントラストＭＲＩを使用するために、互いに異なる２つのＭＲコントラスト、Ｔ１及びＦＬＡＩＲが、本発明の一実施形態で使用される。同時に取得されたＰＥＴ画像及びＭＲ画像は、互いに同一の座標系に存在するが、互いに異なる解像度を有し得る。

この問題を解決するために、ＭＲ画像は、アフィンレジストレーション（affine registration）を用いて対応するＰＥＴ画像にレジスタされる。マルチコントラストＭＲＩは、チャネル軸に沿って、後述するマルチスライス入力と連結される。マルチコントラスト画像としては、これに限定しないが、Ｔ１ｗ ＭＲ画像、Ｔ２ｗ ＭＲ画像、ＦＬＡＩＲ ＭＲ画像、拡散ＭＲ画像、灌流ＭＲＩ画像（動脈スピンラベル標識シーケンスなど）、磁化率ＭＲ画像、ＭＲベースの減衰補正マップ、ＭＲ水−脂肪画像、ＣＴ画像、及びＣＴベースの減衰補正マップが挙げられる。

損失関数の選択に関して、平均二乗誤差（ＭＳＥ）またはＬ２損失は、依然として、画像復元問題、例えば超解像またはノイズ除去のための訓練ネットワークにおける損失関数の最も一般的な選択である。損失関数としてのＭＳＥの使用は、付加的な白色ガウスノイスの仮定の下であり、これは、画像の局所的フィーチャと無関係であるべきである。しかし、これは一般的に、低線量ＰＥＴ再構成には有効ではない。ＰＥＴ画像の強度は被験者の体内でのトレーサの活動分布を反映し、ノイズは各検出器のカウントに関連する線量低減から生じるので、ノイズと空間情報は互いに無関係ではない。加えて、ＭＳＥ損失は、人間の視覚系との関連は低く、斑状アーチファクトを生じるため、臨床評価に関連するタスクには不適切であり得る。

従来型のＭＳＥ以外にも、再構成画像とグランドトゥルース画像との間の画像類似性を評価するために使用することができる別の損失関数もある。Ｌ１損失は、２つの画像の平均絶対誤差であり、下記のように定義することができる。

式中、Ｎ及びＭはそれぞれ、画像の行数及び列数であり、ｘ_ｉｊ及びｙ_ｉｊは、２つの画像における画素（ｉ、ｊ）での強度を示す。構造的類似性及び知覚的類似性を評価するために、構造的類似性指数（ＳＳＩＭ）及びマルチスケール構造的類似性指数（ＭＳ−ＳＳＩＭ）が提案され、それらは下記のようにして推定することができる。

Ｃ１及びＣ２は、定数である。μ_ｘ、μ_ｙ、σ_ｙ、及びσ_ｘｙは、画素（ｉ、ｊ）を中心としたパッチにおいて算出された画像統計量である。Ｋは、マルチスケールのレベルの数である。

最近の研究は、Ｌ１、ＳＳＩＭ、ＭＳＳＳＩＭが画像生成モデルにおいてより知覚的に好ましいことを示唆している。これらの３つの選択肢の中で、Ｌ１損失は、Ｌ２損失により生じるパッチ状アーチファクトを回避できるだけでなく、ＳＳＩＭ及びＭＳ−ＳＳＩＭと比較して誤差逆伝搬におけるオーバヘッドがほとんど追加されない。したがって、以下の実験例では、訓練手順の損失関数としてＬ１損失が選択される。

計算環境とハードウェア設定に関しては、全ての計算作業は、２台のＮＶＩＤＩＡ ＧＴＸ１０８０Ｔｉ ＧＰＵを搭載したＵｂｕｎｔｕサーバ上で行った。本発明のネットワークは、ＴｅｎｓｏｒＦｌｏｗに実装される。ＲＭＳｐｒｏｐオプティマイザが実験に使用され、学習速度は１×１０^−３で初期化し、２．５×１０^−４まで徐々に減少させた。このネットワークは、１２０エポック数にわたって訓練された。畳み込みカーネルを、０平均と標準偏差０．０２を有する切断ガウス分布で初期化した。全てのバイアスは、０で初期化した。

本発明の方法の性能を評価し、新規データセット、特に異なる病理学を有する新規患者データ、に対する本方法の汎化（一般化）を実証するために、一個抜き交差検証（ＬＯＯＣＶ）を使用した。患者データセットの各々に対し、別の８人の患者のみで訓練したモデルを使用して、全線量の再構成画像を作成した。ＬＯＯＣＶ結果の統計を用いて、本発明の一実施形態によるモデルの汎化誤差を定量化した。画像品質を定量的に評価するために、正規化二乗平均誤差（ＮＲＭＳＥ）、ピーク信号対ノイズ比（ＰＳＮＲ）、及びＳＳＩＭを含む３つの類似性メトリクスを使用した。ＳＳＩＭは、上記の式（４）で定義され、ＮＲＭＳＥ及びＰＳＮＲは下記のように定義される。

式中、ＭＡＸは、画像のピーク強度である。メトリック計算結果を実際の臨床評価とより良好に一致させるために、画像サポートを用いて推定した脳マスクを適用した後に、全ての類似性メトリクスを計算した。

次に結果に目を向けると、他の方法との比較から始めて、本発明の方法を、低線量ＰＥＴ再構成における３つの最先端のノイズ除去方法である、ＮＬＭ、ＢＭ３Ｄ及び自動コンテキストネットワーク（ＡＣ−Ｎｅｔ）と比較した。これらの方法を評価するために、交差検証を行った。

図４は、全ての被験者のＮＲＭＳＥ、ＰＳＮＲ、及びＳＳＩＭに関する平均性能を示す。また、図５は、８人の被験者の全てについての、一個抜き試験における上記の３つのメトリックのスコアを示す。

知覚画質を調べるために、別個の被験者から２つの代表的スライスを選択した。選択されたスライスのＮＲＭＳＥ、ＰＳＮＲ、及びＳＳＩＭに関する定量的メトリックを表Ｉに示す。再構成結果、拡大された腫瘍が、図６及び図７に視覚的に示される。

いくつかの実施形態では、ネットワークは、スキップ接続コンポーネントを使用することができる。ネットワークは、１以上のスキップ接続コンポーネントを使用することができ、１以上のスキップ接続コンポーネントは、同一の種類であってもよいしそうでなくてもよい。例えば、ネットワークは、２種類のスキップ接続を有すことができる。その場合、一方は、入力から出力への残差接続であり、他方は、互いに対応するエンコーダ層とデコーダ層との間の連結接続である。これらの２種類のスキップ接続がネットワーク性能に与える影響を評価するために、次の４種類のモデルを訓練し試験した。（１）両方の種類のスキップ接続を有するモデル、（２）連結接続のみを有するモデル、（３）残差接続のみを有するモデル、（４）スキップ接続を有さないモデル。図７は、トレーニング中のこれらの４つのモデルの互いに異なるテスティングロス（testing loss）を示し、交差検証の定量的結果を図８に示す。

上述したように、マルチスライス入力を使用して、互いに隣接するスライスからの情報を組み合わせることにより、ネットワークは、元の構造及び詳細をロバストに保持しながら、ノイズ及びアーチファクトの少ない再構成画像をより正確に生成することができる。

この技術の限界を研究するために、互いに異なる数の入力スライス（１、３、５、７）を有するネットワークを訓練し、図９Ａ〜図９Ｆに示すように、それらの結果を比較した。

図１０は、ネットワークへの２．５Ｄ入力として様々なスライス数で訓練されたネットワークの３つの類似性メトリクスの結果を示す。３つのメトリックの発展は全て、より多くの入力スライス数を使用して、本発明の方法の性能向上を検証する。単一のスライス入力と比較すると、３つのスライス入力は、有意に良好な結果が得られる。しかしながら、３つ以上のスライスを連続的に追加することによるネットワークの性能向上は、有意ではなかった。同様の現象が、図９Ａ〜図９Ｆに見られる。図９Ｄ〜図９Ｆは、図９Ｃでは失われているかまたはぼやけている詳細を含む。また、図９Ｄ〜図９Ｆは知覚的に似ている。

ネットワークの深さに関して、本発明のネットワークを最適化するために、本発明のモデルの深さがネットワークの性能に与える影響を評価するための実験を行った。このネットワークの深さを制御するために、２つのハイパーパラメータ、すなわち、プーリング層の数（ｎｐ）と、２つのプーリング間の畳み込みの数（ｎｃ）とを使用した。グリッド検索のストラテジーを用いた。実験例では、ｎｐは２から５まで変化させ、ｎｃは１から３まで変化させた。結果を示す図１１Ａ〜図１１Ｃは、ｎｐ＝３及びｎｃ＝２が、この実験例における最良のアーキテクチャであることを示唆する。

ＳＵＶ用のサンプルテストが提供される。

得られた画像の知覚画質を評価するために、専門の放射線科医に依頼して、画質と解像度に基づいて画像を評価した。各画像を、１〜５のスケール（大きいほど良好）で評価した。画像評価を１〜３と４〜５とに二分し、４〜５に評価された画像の割合を各画像の種類毎（ＩＩ）に計算した。高線量画像に対する合成画像の非劣性試験を、高評価の割合の差について９５％信頼区間（ＩＩＩ）を構築し、この区間の下限を−１５ポイントの非劣性マージンと比較することによって実施した。これにより、合成画像の高評価の割合が、高線量画像の高評価の割合よりも１５パーセントポイント以下であるか否かを試験した（有意水準は０．０５）。統計解析は、Ｓｔａｔａ １５．１（米国テキサス州カレッジステーションのＳｔａｔａＣｏｒｐ ＬＰ）及びＲバージョン３．３．１（ｒ−ｐｒｏｊｅｃｔ．ｏｒｇ）を、バージョン１．３のＥｘａｃｔＣＩｄｉｆｆパッケージと共に使用して実施した。

本発明による方法の臨床診断への効果を研究するために、病変に対するセグメンテーション試験も実施した。８人の被験者のうちの７人がこの試験に含まれた。残りの被験者に集積増加像（hot lesion）が観察されなかったためである。腫瘍の輪郭は、放射線科医によって、標準線量画像、ＤＲＦ＝１００でのディープラーニング（ＭＲの有無にかかわらず）再構成画像上で標識化された。標準線量画像上のセグメンテーション結果は、この試験におけるグランドトゥルースとしての役割を果たす。最初の標識化から３週間後に、同一の放射線科医によって、標準線量画像の輪郭の再検査を行った。ＤＩＣＥ、精度、リコール、及び面積差を含むいくつかの指標を算出し、それらの算出結果を表ＩＶに示す。加えて、ＤＩＣＥ係数、精度、再現性、及び面積差に基づいてＴ検定を行った。

図４及び図５の定量的結果により、本発明の方法が、試験した他の方法と比較して、データセットの８人の被験者の全てにおいて最良の性能を示したことが分かる。視覚的結果から、本発明の方法が最高の画質を有することも示唆される。ＮＬＭは、図６Ｃに示すように、画像内にパッチ状のアーチファクトを生成する。ＢＭ３Ｄ及びＡＣ−Ｎｅｔの両方は、低線量画像のノイズを完全に除去することができず、図６Ｄ及び図６Ｅに示すように、重要な詳細を復元することなく画像を過度にぼかす傾向がある。図８のエラーマップからも、同様の結論が得られる。加えて、本発明の方法は、図７に示すように、ＧＢＭの領域において最良の知覚的結果を達成することができる。

計算コストに関しては、ディープラーニングは訓練に長い時間を必要とするが、それらの推論における効率は、Ｔｅｎｓｏｒｆｌｏｗによる効率的実装及びＧＰＵ上の並列化に起因して、従来の方法よりも性能が大幅に優れている。２５６×２５６の画像についての各方法の時間消費を表Ｖに示す。他の方法と比較して、本発明によるソリューションは、より正確であるだけでなく、より効率的でもある。

エンコーダ−デコーダ構造により、ネットワークがより多くのパラメータ及びチャネルを用いて、ＡＣ−Ｎｅｔで使用される単一スケールモデルと比較して、計算時間を短縮すると共に、より高いレベルのフィーチャを抽出することが可能となる。

図８Ａ〜図８Ｃに示した結果のように、両方の種類のスキップ接続を有するモデルでは、最高の性能が明らかに達成される。一方、１種類のスキップ接続のみを有するモデルでは、その性能はスキップ接続を有さないモデルの性能に近いか、またはそれよりも悪くさえある。これらの結果は、これらの２種類の接続が、互いに無関係でないことを示す。

マルチスライス入力を組み合わせるための様々なオプションを用いた定量的再構成及び定性的再構成の両方の比較が提供される。図９Ｃの詳細な構造は、ノイズ除去プロセス中はぼやけているが、図９Ｄ〜図９Ｆでは保持されており、これらは、マルチスライス入力の利点を示す。

ｚ軸方向に沿った３Ｄ ＰＥＴデータの解像度は、軸位像内よりも悪いので、ｚ軸に沿っていくつかのスライスを積層させることにより、３Ｄ空間関係を復元することができる。本明細書に示すように、データ水増しによる２．５Ｄスライスからの有意な性能改善は、３スライスを使用することによってのみ提供され、入力としてより多くのスライスを使用しても性能はさらに改善されない。この結果は、スライス間で利用できる関係性及び冗長性が距離に起因して最終的に消失するまで、別個のスライスの構造的類似性が持続するという仮定と一致する。

本明細書で提供されるように、超低線量ＰＥＴ再構成のためのディープ完全畳み込みネットワークであって、マルチスケールエンコーダ−デコーダ構造、連結接続、及び残差学習を用いるネットワークが提示される。

この結果は、本発明の方法が、高品質ＰＥＴ画像の再構成において優れた性能を有し、標準線量ＰＥＴ画像と同等の品質を生成することを示した。本発明の方法は、解像度と詳細な構造をロバストに保持しながら、ノイズを有意に低減させる。

加えて、本明細書では、本発明の方法の様々な構成要素、すなわち、損失関数、２．５Ｄマルチスライス入力、並びに、連結及び残差スキップ接続などの設計が、改善された性能に対してどのように寄与するかを示す。詳細な定量的及び定性的比較により、本発明の方法が、構造をより良好に保持し、ノイズ及びアーチファクトに起因するハルシネーション（hallucination）を回避できることが証明された。

広範囲の比較により、本発明の方法は、通常線量の０．５％の超低線量ＰＥＴデータから、従来の方法と比較して有意に良好な再構成を達成し、より安全でより効率的なＰＥＴスキャンを潜在的に可能にする。

上述したように、ＭＲＩは、造影剤または放射線を使用することなく軟部組織を識別するための大きな臨床的価値を有する。ＭＲＩ及びＰＥＴからのハイブリッドモダリティ情報を使用することによって、本発明は、コントラストのないマルチコントラストＭＲＩ画像から（ＰＥＴで測定されるような）代謝活性マッピングを予測するためのディープラーニングシステム及び方法を提供する。以下に示され検証されるのは、ＦＤＧ−ＰＥＴ／ＭＲＩ及びアミロイド−ＰＥＴ／ＭＲＩ臨床データセットの臨床データセットである。この技術は、ディープラーニングを使用した、より効率的かつ低コストのマルチトレーサ機能イメージングに使用することができる。この方法では、同時ＰＥＴ／ＭＲＩデータセット（ＦＤＧ−ＰＥＴ／ＭＲＩ及びアミロイド−ＰＥＴ／ＭＲＩ）を、同時飛行時間可能３．０テスラＰＥＴ／ＭＲＩシステム（米国ウィスコンシン州ウォーキシャのＳｉｇｎａ、ＧＥ Ｈｅａｌｔｈｃａｒｅ）を使用した神経検査により取得した。データセットは、ＦＤＧ−ＰＥＴ／ＭＲＩについては１０人の膠芽腫（ＧＢＭ）患者、そして、アミロイド−ＰＥＴ／ＭＲＩについては別の２０人の被験者（健常対照とＡＤ患者の両方を含む）から収集した。ディープラーニングモデルが図１２に示されており、このディープラーニングモデルでは、ＰＥＴ画像のように代謝情報を予測するために、ＡＳＬ画像、ＦＬＡＩＲ画像、Ｔ１ｗ ＭＲ画像、及びＴ２ｗ ＭＲ画像を含む、コントラストフリーのＭＲＩスキャンにおいて取得された画像のサブセットを使用した。ＡＳＬ及び他の解剖学的ＭＲＩスキャンを入力として使用し、ＰＥＴから測定された正規化代謝活性をグランドトゥルース基準として用いることにより、近似代謝信号を出力するためにＵ−Ｎｅｔディープネットワークモデルを訓練した。さらに、５回の交差検証による評価を用いて、モデルが被験者の８０％のサブセットで訓練され、残りの２０％のデータセットに適用される性能を定量化した。性能は、定量的類似性メトリクス：ＰＳＮＲ、ＳＳＩＭ、及び正規化相互情報量（ＭＩ）を用いて評価した。

表ＶＩは、ＦＤＧ−ＰＥＴを用いて最初に測定されたグランドトゥルース代謝活性化と、本発明の方法及びシステムを用いて推定された代謝マップと、全ての生のＭＲＩ画像との間の定量的類似性メトリクスを示す。

図１３は、ＧＢＭ集積低下像（cold-lesion）を有する軸方向スライスの可視化された結果を示し、代謝活性化を正確に予測することができる本発明の提案されたシステム及び方法を示す。平均して、推定されたＦＤＧ活性化様代謝は、ＰＳＮＲで３４．３±１．５ｄＢ、ＳＳＩＭで０．９７±０．０１、相互情報量で０．８５±０．１３の良好な近似を達成した。比較のために、ＰＥＴと最も類似したＭＲＩコントラストであるＡＳＬ−ＭＲＩ信号の回帰からのメトリクスは、ＰＳＮＲでは２３．５ｄＢ、ＳＳＩＭでは０．７８、ＭＩでは０．５１である。アミロイドＰＥＴのように情報をマッピングするためにＭＲＩを使用することについては、同様の結果が示されている。図１３は、ＭＲＩからのアミロイド−ＰＥＴについて正確な近似を示す例示的スライスを示す。本発明のシステム及び方法により、ＰＳＮＲにおいて１０ｄＢ以上の向上を達成し、０．３以上のＳＳＩＭ改善を達成することができる。

図１４は、本発明の一実施形態による、ＭＲＩから合成されたアミロイド−ＰＥＴを示す。図１５は、本発明の一実施形態によるプロセスのフロー図を示す。

同時ＰＥＴ／ＭＲＩを用いて、本発明はコントラストのないＭＲＩ画像からマルチトレーサ代謝バイオマーカーを実行可能に推定することが実証される。これは、より効率的かつ低コストでのマルチトレーサ機能イメージング、解剖学的−機能関係の調査、及びワークフローの改善に使用することができる。

以上、本発明をいくつかの例示的な実施形態により説明したが、これらの実施形態は、全ての態様において例示的であることを意図しており、本発明を限定するものではない。したがって、本発明は、詳細な実施において、当業者が本明細書中の説明から想到し得る様々な変形が可能である。

このような変形は全て、添付された特許請求の範囲及びその均等物によって定義された本発明の範囲及び精神の範囲内に含まれるものとする。

Claims (10)

1. 放射線画像化モダリティ及び核医学用途のための放射線量を低減させる方法であって、
   （ａ）畳み込みネットワークを使用して低線量核医学画像から標準線量核医学画像を生成するステップであって、前記畳み込みネットワークがＮ個の畳み込みニューラルネットワーク（ＣＮＮ）ステージを含み、前記ＣＮＮステージの各々が、Ｋ×Ｋのカーネルを有するＭ個の畳み込み層を含み、前記畳み込みネットワークが、互いに対応する前記ＣＮＮステージ間に対称連結接続を有するエンコーダ−デコーダ構造をさらに含む、該ステップと、
   （ｂ）前記ＣＮＮステージ間で、プーリングを用いたダウンサンプリング、及び双線形補間を用いたアップサンプリングを行うステップであって、前記ＣＮＮにより前記低線量核医学画像からマルチスケール及び高レベルのフィーチャを抽出して高線量画像をシミュレートする、該ステップと、
   （ｃ）前記高線量画像の局所的な情報及び解像度を保持するために前記低線量核医学画像に連結接続を追加するステップであって、前記高線量画像が、患者体内の放射性トレーサの１倍に等しい線量低減係数（ＤＲＦ）を有し、前記低線量核医学画像が、前記患者体内の前記放射性トレーサの少なくとも４倍に等しいＤＲＦを含む、該ステップと、
   を含むことを特徴とする方法。
2. 請求項１に記載の方法であって、
   前記低線量核医学画像の前記ＤＲＦは、４から２００の範囲内であることを特徴とする方法。
3. 請求項１に記載の方法であって、
   前記標準線量核医学画像は、マルチモダリティ入力としての前記低線量核医学画像及びそれに対応するマルチコントラストＭＲ画像から生成されることを特徴とする方法。
4. 請求項１に記載の方法であって、
   前記核医学画像は、ＣＴ、ＰＥＴ、ＰＥＴ／ＣＴ、ＰＥＴ／ＭＲ、ＳＰＥＣＴ、及び他の核医学画像化方法からなる群より選択される方法を用いて生成されることを特徴とする方法。
5. 請求項１に記載の方法であって、
   前記低線量核医学画像の信号対ノイズ比（ＳＮＲ）が、連結スキップ接続を有するエンコーダ−デコーダ残差ディープネットワークを使用して増大され、
   前記連結スキップ接続は、当該方法の入力から出力への残差接続、または、互いに対応するエンコーダ層及びデコーダ層間の連結接続を含むことを特徴とする方法。
6. 請求項１に記載の方法であって、
   前記低線量核医学画像は、複数のスライスと複数のコントラスト画像との組み合わせを入力としてさらに含むことを特徴とする方法。
7. 請求項６に記載の方法であって、
   前記複数のスライスと前記複数のコントラスト画像との前記組み合わせは、Ｔ１ｗ ＭＲ画像、Ｔ２ｗ ＭＲ画像、ＦＬＡＩＲ ＭＲ画像、拡散ＭＲ画像、潅流ＭＲＩ画像、磁化率ＭＲ画像、ＭＲベースの減衰補正マップ、ＭＲ水−脂肪画像、ＣＴ画像、及びＣＴベースの減衰補正マップからなる群より選択され、
   前記潅流ＭＲＩ画像は、動脈スピンラベル標識シーケンスを含むことを特徴とする方法。
8. 請求項１に記載の方法であって、
   アルゴリズムを使用して、当該方法に最も有益な入力スライスの数及び入力コントラストを決定するステップをさらに含み、
   前記アルゴリズムは、前記入力スライスの数及び使用する前記入力コントラストを適応的に決定することを特徴とする方法。
9. 請求項１に記載の方法であって、
   Ｌ１／平均絶対誤差、構造的類似性損失、及び適応訓練損失からなる群より選択される混合コスト関数が使用され、
   前記適応訓練損失は、ネットワークモデルを使用する敵対的生成ネットワーク損失及び知覚損失関数を含むことを特徴とする方法。
10. 低放射線量サンプルから放射線画像モダリティ及び核医学用途のための高品質画像を生成するシステムであって、
    （ａ）医用イメージャを使用して、低放射線量画像の複数のスライス、または、低放射線量画像及びそれと共に取得されたマルチコントラスト画像を、当該システムへの入力画像としての複数の２次元画像または３次元画像のスタッキングとして取得し、
    （ｂ）前記入力画像にディープネットワークベースの回帰タスクを適用するように構成され、
    前記ディープネットワークベースの回帰タスクが、
    （ｉ）Ｎ個の畳み込みニューラルネットワーク（ＣＮＮ）ステージであって、前記ＣＮＮステージの各々がＫ×Ｋのカーネルを有するＭ個の畳み込み層を含み、前記ＣＮＮが、互いに対応する前記ＣＮＮステージ間に対称連結接続を有するエンコーダ−デコーダ構造をさらに含む、該ステージと、
    （ｉｉ）連結スキップ接続を有するエンコーダ−デコーダ残差ディープネットワークであって、前記連結スキップ接続が入力画像から出力画像への残差接続を含む、該ネットワークと、
    （ｉｉｉ）標準放射線量画像と同等の画像品質を有する放射線または核医学画像を標準放射線量画像として出力することを含み、前記画像品質が、低放射線量入力よりも改善された解像度、コントラスト、及び信号対ノイズ比を含む、
    ことを特徴とするシステム。