JP2021511608A - 金属アーチファクトを低減するための深層学習の使用 - Google Patents

Abstract

Ｘ線イメージングデバイス１０、１００は、未補正Ｘ線画像３０を取得するように構成される。画像再構成デバイスは、電子プロセッサ２２と、画像補正方法２６を実行するための、電子プロセッサにより読取り可能及び実行可能な命令を格納する非一時的記憶媒体２４とを含み、画像補正方法が、金属アーチファクト画像３４を発生するために未補正Ｘ線画像にニューラルネットワーク３２を適用することであって、ニューラルネットワークが、金属アーチファクトを含む残差画像コンテンツを抽出するように訓練されている、適用することと、未補正Ｘ線画像から金属アーチファクト画像を減じることによって、補正されたＸ線画像４０を発生することとを含む。

Description

[0001] 以下は、一般に、Ｘ線イメージング、Ｘ線イメージングデータ再構成、コンピュータ断層撮影（ＣＴ）イメージング、Ｃアームイメージング又は他の断層撮影Ｘ線イメージング技法、デジタルラジオグラフィ（ＤＲ）、及び医療Ｘ線イメージング、Ｘ線イメージングを使用する画像ガイド下治療（ｉＧＴ）、陽電子放出断層撮影（ＰＥＴ）／ＣＴイメージング、及び同様の用途に関する。

[0002] 金属は、多くの臨床シナリオにおけるＣＴ又は他のＸ線スキャン視野（ＦＯＶ）に存在し、例えば、脊椎手術後の椎弓根ねじ及びロッド、人工股関節全置換術後の金属ボール及びソケット、頭部手術後のねじ及びプレート／メッシュ、Ｃアームなどを介した心臓スキャン中に存在する埋込み型心臓ペースメーカー、金属を含むカテーテルなどのｉＧＴで使用される介入器具、などが存在する。重大なアーチファクトが金属物体によって導入され、それは、多くの場合、再構成されたボリュームに、ストリーク、「ブルーミング」、及び／又はシェーディングとして現われる。そのようなアーチファクトは、多くの場合医療Ｘ線イメージングの関心領域である、特に金属物体に隣接する領域の大幅なＣＴ値シフト及び組織の視認性の低下をもたらす。金属アーチファクトの原因には、データ取得におけるビーム硬化、パーシャルボリューム効果、光子不足、及び散乱放射が含まれる。

[0003] 金属アーチファクト低減方法は、一般に、金属アーチファクトによって影響を受けた投影データを、補間を介して周囲の投影サンプルに基づいて合成済み投影で置き換える。いくつかの技法では、追加の補正が第２のパスで適用される。そのような手法は、一般に、金属構成要素をセグメント化することと、金属投影を合成済み投影で置き換えることとを必要とし、そのため、エラーを招き、金属によって不明瞭にされた細部を見逃すことがある。その上、金属アーチファクトを抑制するように作用する技法はまた、金属物体に関する有用な情報を除去するように作用することがある。例えば、金属プロテーゼの装着中に、Ｘ線イメージングを使用して、プロテーゼの場所及び方位を視覚化することができ、解剖学的画像品質を改善するためにプロテーゼに関するこの情報を抑制することは望ましくない。

[0004] 以下で、特定の改善が開示される。

[0005] 本明細書で開示されるいくつかの実施形態では、非一時的記憶媒体は、画像再構成方法を実行するための電子プロセッサによって読取り可能及び実行可能な命令を格納し、画像補正方法は、未補正Ｘ線画像を発生するためにＸ線投影データを再構成することと、金属アーチファクト画像を発生するために未補正Ｘ線画像にニューラルネットワークを適用することと、未補正Ｘ線画像から金属アーチファクト画像を減じることによって、補正されたＸ線画像を発生することとを含む。ニューラルネットワークは、金属アーチファクトを含む画像コンテンツを抽出するように訓練されている。

[0006] 本明細書で開示されるいくつかの実施形態では、イメージングデバイスが開示される。Ｘ線イメージングデバイスは、未補正Ｘ線画像を取得するように構成される。画像再構成デバイスは、電子プロセッサと、画像再構成方法を実行するための電子プロセッサによって読取り可能及び実行可能な命令を格納する非一時的記憶媒体とを含み、画像補正方法は、金属アーチファクト画像を発生するために未補正Ｘ線画像にニューラルネットワークを適用することであって、ニューラルネットワークが、金属アーチファクトを含む残差画像コンテンツを抽出するように訓練されている、適用することと、未補正Ｘ線画像から金属アーチファクト画像を減じることによって、補正されたＸ線画像を発生することとを含む。

[0007] 本明細書で開示されるいくつかの実施形態では、イメージング方法が開示される。未補正Ｘ線画像が、Ｘ線イメージングデバイスを使用して取得される。訓練されたニューラルネットワークが、金属アーチファクト画像を発生するために未補正Ｘ線画像に適用される。補正されたＸ線画像が、未補正Ｘ線画像から金属アーチファクト画像を減じることによって発生される。訓練するステップ、適用するステップ、及び発生するステップが、電子プロセッサによって適切に実行される。いくつかの実施形態では、ニューラルネットワークは、多エネルギー訓練Ｘ線画像ｐ_ｊを変換するように訓練され、ここで、ｊは、それぞれの金属アーチファクト画像ａ_ｊと一致するように訓練Ｘ線画像をインデクス付けし、ここで、ｐ_ｊ＝ｍ_ｊ＋ａ_ｊであり、ここで、画像成分ｍ_ｊは、単一エネルギーＸ線画像である。

[0008] １つの利点は、Ｘ線イメージングにおける計算的に効率的な金属アーチファクト抑制を提供することにある。

[0009] 別の利点は、金属アーチファクト抑制を実行する際に、２次元又は３次元のＸ線断層画像に含まれる情報を効果的に利用するＸ線イメージングにおける金属アーチファクト抑制を提供することにある。

[0010] 別の利点は、金属アーチファクトを生成する金属物体のアプリオリのセグメンテーションの必要なしに、Ｘ線イメージングにおける金属アーチファクト抑制を提供することにある。

[0011] 別の利点は、画像の大部分にわたるか又はさらに画像全体にわたる金属アーチファクトの原因を全体的に明らかにするために画像全体に作用するＸ線イメージングにおける金属アーチファクト抑制を提供することにある。

[0012] 別の利点は、金属アーチファクトを生成している金属物体に関する情報、例えば、その場所、空間的広がり、構成などのような情報を提供するのに十分な、抑制された金属アーチファクトに関する情報を保持すると同時に、Ｘ線イメージングにおける金属アーチファクト抑制を提供することにある。

[0013] 別の利点は、金属物体のセグメント化と、対応する金属アーチファクト画像の生成とを並行して行うＸ線イメージングにおける金属アーチファクト抑制を提供することにある。

[0014] 所与の実施形態は、前述の利点のいくつかを提供し、及び／又は本開示を読み理解する際に当業者に明らかになる他の利点を提供することができる。

[0015] 本発明は、様々な構成要素及び構成要素の構成、並びに様々なステップ及びステップの構成の形態をとることができる。図面は、単に好ましい実施形態を例証する目的のためのものであり、本発明を限定するものとして解釈すべきではない。

[0016] 本明細書で開示される金属アーチファクト抑制を含み、画像ガイド下治療（ｉＧＴ）システムの例示のＣアームイメージャとの関連で例示的に示されたＸ線イメージングデバイスを概略的に示す図である。 [0017] テストで使用される２つの例示のファントムを概略的に示す図である。 [0018] 本明細書で説明されるテスト中に図２のファントムに対して発生された画像を提示する図である。 本明細書で説明されるテスト中に図２のファントムに対して発生された画像を提示する図である。 本明細書で説明されるテスト中に図２のファントムに対して発生された画像を提示する図である。 [0019] 図１のＸ線イメージングデバイスによって適切に実行される方法を示す図である。 [0020] Ｘ線画像の区域にわたる受容区域を提供するためのニューラルネットワークの構成を示す図である。

[0021] 図１を参照すると、画像ガイド下治療（ｉＧＴ）で使用するための例示のＸ線イメージングデバイス１０は、Ｃアーム構成を有し、Ｘ線検出器アレイ１６によって検出される検査区域１４を通してＸ線ビームを投影するように構成されたＸ線源（例えば、Ｘ線管）１２を含む。動作中、オーバーヘッドガントリ又は他のロボットマニピュレータシステム１８は、イメージングのために検査区域１４の検査テーブル２０に配される対象者（図示せず、例えば、医療患者）が配置されるようにＸ線ハードウェア１２、１６を配列する。Ｘ線イメージングデータ取得の間、Ｘ線源１２を操作して、対象者を通してＸ線ビームを投影し、その結果、Ｘ線検出器アレイ１６によって検出されたＸ線強度は、対象者によるＸ線の吸収を反映する。ロボットマニピュレータ１８は、断層撮影Ｘ線投影データを得るために、Ｃアームを回転させるか、又はそうでなければＸ線ハードウェア１２、１６の位置を操作する。コンピュータ又は他の電子データ処理デバイス２２は、本明細書で開示される画像補正を含む画像再構成方法２６を実行するために、非一時的記憶媒体２４に格納された命令（例えば、コンピュータソフトウェア又はファームウェア）を読み取り実行する。この方法２６は、未補正Ｘ線画像３０を発生するために、Ｘ線投影データの再構成２８を実行するステップを有する。この未補正Ｘ線画像３０は、本明細書で開示されるように、金属アーチファクトを含む画像コンテンツを抽出するように訓練されているニューラルネットワーク３２に入力される。それにより、未補正Ｘ線画像３０へのニューラルネットワーク３２の適用は、未補正Ｘ線画像３０の金属アーチファクトコンテンツを含む金属アーチファクト画像３４を発生するように動作する。画像減算操作３６において、金属アーチファクト画像３４が未補正Ｘ線画像３０から減じられて、金属アーチファクトが抑制されている補正されたＸ線画像４０が発生される。

[0022] 例示の用途では、Ｘ線イメージングデバイス１０は、画像ガイド下治療（ｉＧＴ）で使用される。この例示の用途では、補正されたＸ線画像４０は、画像ガイダンス下で治療を受けている解剖学的組織のより正確な描画を提供するので、有用な出力である。その上、ｉＧＴの状況では、金属アーチファクト画像３４も有用であることが理解されよう。これが、図１の方法２６では、操作４２によって概略的に表されており、操作４２は、例えば、表された金属物体を突き止め、セグメント化し、及び／又は分類することを含む。例えば、金属アーチファクト画像３４に捕捉された金属アーチファクトを生じさせる金属物体は、位置及び方位がＸ線イメージングデバイス１０によって提供される画像ガイダンスによって視覚化され得る金属プロテーゼ（例えば、金属置換股関節又は膝プロテーゼ）である。プロテーゼ埋込みｉＧＴの場合、プロテーゼの詳細な形状は多くの場合分かっており、その場合、金属アーチファクト画像３４が、金属物体（例えば、プロテーゼ）をセグメント化するために処理され、次いで、プロテーゼのアプリオリに分かっている正確な形状が、金属アーチファクト画像のセグメント化金属物体（例えば、プロテーゼ）のエッジのシャープさを改善するために置き換えられる。有利には、金属物体は、金属アーチファクト画像３４が、主として、未補正Ｘ線画像３０の残りの部分から分離して金属アーチファクトを表すので、金属アーチファクト画像３４においてより容易にセグメント化される。追加として、金属アーチファクト画像３４は、未補正Ｘ線画像３０からニューラルネットワーク３２の操作によって導出されるので、本質的に、未補正Ｘ線画像３０と空間的に位置合わせされている。金属アーチファクトはまた、補正されたＸ線画像４０において配置又はセグメント化されている。ハイブリッド手法では、金属アーチファクト画像３４が、金属アーチファクトの初期の近似の境界を決定するために使用され、この境界は、次いで、金属アーチファクトのよりシャープな境界を示す補正されたＸ線画像４０を使用してこの初期の境界を調節することによって改良される。さらなる別の用途では、金属アーチファクト画像３４は、金属アーチファクトが画像中でどのように分配されているかを示し、金属アーチファクト画像３４によって捕捉されたアーチファクトマッピングに診断情報がないことをユーザが視覚的に確認できるようにするためにディスプレイ４６に表示される。

[0023] 別の例では、金属物体が、詳細構造の不明な以前に取り付けられたインプラントである場合、金属アーチファクト画像３４の密度を考慮することによって、金属物体を金属タイプに応じて分類すること、並びに患者の体内での物体の形状、サイズ、及び方位を推定することが可能である。

[0024] 操作４４において、例示のｉＧＴ用途では、補正されたＸ線画像４０は、金属アーチファクト画像３４（又は金属アーチファクト画像３４から導出された画像）と融合されるか又はそうでなければ結合されて、外科医又は他の医療関係者による診察のためにディスプレイ４６に適切に示されるｉＧＴガイダンス表示が発生される。

[0025] 図１は、Ｃアームイメージャ１０がｉＧＴで使用される１つの例示的な実施形態を概略的に示していることを理解されたい。より一般的には、Ｘ線イメージングデバイスは、例示のＣアームイメージャとすることができる。又は、Ｘ線イメージングデバイスは、代替として、ＣＴガントリ１０２及びＰＥＴガントリ１０４を有する図示の陽電子放出断層撮影／コンピュータ断層撮影（ＰＥＴ／ＣＴ）イメージングデバイス１００とすることができ、ここで、ＣＴガントリ１０２はＣＴ画像を取得し、それは、ＰＥＴガントリ１０４を介してＰＥＴイメージングの減衰マップを発生するために使用される前に、本明細書で開示されるように金属アーチファクトに対して補正される。又は、Ｘ線イメージングデバイスは、デジタルラジオグラフィ（ＤＲ）デバイスなどの別の断層撮影Ｘ線イメージングデバイス（さらなる例は図示せず）、若しくは未補正Ｘ線画像３０を出力する他のＸ線イメージングデバイスとすることができる。ｉＧＴが例示の用途として示されているが、補正されたＸ線画像４０は、非常に多くの他の用途を有する。例えば、「ハイブリッド」ＰＥＴ／ＣＴイメージングデバイスとの関連では、補正されたＸ線画像４０は、ＰＥＴイメージング中に使用するための減衰マップを発生するために使用されてもよい。残差金属アーチファクトを有するＣＴ画像と比較して、補正されたＣＴ画像は、ＰＥＴ画像再構成で使用するためのより正確な減衰マップをもたらし、その結果として、より高い画像品質のＰＥＴ画像をもたらす。一般的な臨床診断では、ＣアームＸ線イメージャなどを使用して得られた補正されたデジタル放射線写真、補正されたＣＴ画像、補正された心臓画像などの形態の補正されたＸ線画像４０は、有利には、金属アーチファクトの抑制のおかげで診断又は臨床解釈に使用される。

[0026] 訓練されたニューラルネットワーク３２を未補正Ｘ線画像３０に適用することによって生成された金属アーチファクト画像３４は、残差画像、すなわち、金属アーチファクトの画像である。したがって、残差画像３４が未補正Ｘ線画像３０から減じられて、補正されたＸ線画像４０が発生される。この残差画像手法には、ニューラルネットワーク３２の訓練を改善することと、それ自体で役に立つ又は補正されたＸ線画像４０と組み合わせて役に立つ金属アーチファクト（すなわち、残差）画像３４を提供することとを含む特定の利点がある。

[0027] 以下に、いくつかの例証となる例が記載される。

[0028] 例証となる例では、ニューラルネットワーク３２は、畳み込みニューラルネットワーク（ＣＮＮ）タイプの修正されたＶＧＧネットワークである（例えば、Ｓｉｍｏｎｙａｎらの「Ｖｅｒｙ ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ ｌａｒｇｅ−ｓｃａｌｅ ｉｍａｇｅ ｒｅｃｏｇｎｉｔｉｏｎ」、ａｒＸｉｖ Ｐｒｅｐｒ． ａｒＸｉｖ１４０９．１５５６（１４０９）（ＩＣＬＲ ２０１５）を参照）。ネットワークの深さは、所望の受容野に応じて設定され、例えば、ニューラルネットワーク３２は、未補正Ｘ線画像３０にわたってグローバル接続を行うのに有効な層数及びカーネルサイズを有する。残差学習定式化が使用される。

[0029] 本明細書で報告される例証となる例では、訓練セットの各入力データは、１２８ピクセル×１２８ピクセルの２次元（２Ｄ）画像である。畳み込みフィルタのサイズは３×３に設定されるが、すべてのプーリング層が除去される。金属アーチファクトは、一般に、金属物体から長い距離にわたって延びた暗い又はブルーミングテクスチャとして現われる。それゆえに、大きい受容野が有利であると予想される。４の拡張係数（ｄｉｌａｔｅ ｆａｃｔｏｒ）が利用され、畳み込み層の深さは、未補正Ｘ線画像３０にわたってグローバル接続を行うために画像全体をほとんどカバーする１２６×１２６の受容野を作り出すために、ｄ＝２２になるように選ばれた。

[0030] 例示のＣＮＮの最初の畳み込み層はサイズ３×３の６４個のフィルタで構成され、層２〜２１は、各々、４の拡張係数をもつサイズ３×３×６４の６４個のフィルタで構成され、最後の層は、サイズ３×３×６４の単一のフィルタで構成される。最初の層及び最後の層を除いて、各畳み込み層は、その後に、訓練を高速化するために並びに性能を増強するために含まれるバッチ正規化と、非線形性を導入するために使用される正規化線形ユニット（ＲｅＬＵ）とが続く。正しいデータ次元を維持するために、ゼロパディングが各畳み込み層で実行される。

[0031] 訓練の目的で、ＣＮＮ（ｐ）への各入力訓練画像ｐは、多色（言い換えると、多エネルギー）シミュレーション及び再構成からの２Ｄ画像である。訓練画像ｐは、ｐ＝ｍ＋ａと分解され、ここで、ｍは、単色シミュレーションから再構成された画像などの金属アーチファクトなしのＸ線画像であると見なされ、ａは、金属アーチファクト画像成分である。残差学習定式化が、残差マッピングＴ（ｐ）≒ａを訓練するために適用され、そこから、所望の信号ｍが、ｍ＝ｐ−Ｔ（ｐ）として決定される。ＣＮＮパラメータは、以下の損失関数を最小化することによって推定される。

ここで、Ｍａｓｋは金属領域以外の画像を選択する関数である。そのようなマスクを使用すると、コスト関数が目に見える金属アーチファクトの領域にさらに集中すると予想されるので、訓練における収束がより速くなると予想される。パラメータｗは、すべての層のすべての畳み込みカーネルのセットであり、ｋ＝１、…、２２は層インデクスを表す。正則化項は、円滑な金属アーチファクト及び小さいネットワークカーネルを助長する。本明細書で報告される例は、正則化パラメータλ_１＝１０^−４、λ_２＝１０^−３を使用した。ここで

は、入力画像とラベル画像とのＮ個の訓練ペアを表し、ここで、ｊは、訓練ユニットのインデクスである。正則化項λ_１｜｜Ｍａｓｋ（∇Ｔ（ｐ；ｗ）_ｊ）｜｜_１は平滑化を与え、一方、正則化項

は、より大きいネットワークカーネルにペナルティーを課す。

[0032] 損失関数Ｌ（ｗ）の最小化は、確率的勾配降下法（ＳＧＤ）による従来の誤差逆伝搬を使用して実行された。ＳＧＤでは、初期学習率は１０^−３に設定され、学習率は連続的に１０^−５まで低下した。サイズ１０のミニバッチが使用された。それは、１０個のランダムに選ばれたデータセットが訓練のためのバッチとして使用されたことを意味する。この方法は、ＭａｔＣｏｎｖＮｅｔを使用してＭＡＴＬＡＢ（登録商標）（ＭａｔｈＷｏｒｋｓ、Ｎａｔｉｃｋ ＭＡ）で実施された（例えば、Ｖｅｄａｌｄｉら、「ＭａｔＣｏｎｖＮｅｔ − Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ ＭＡＴＬＡＢ（登録商標）」、Ａｒｘｉｖ（２０１４）を参照）。

[0033] 次に図２を参照すると、訓練セットを発生するために、金属物体を含むデジタルファントムの単色及び多色投影（言い換えると、単及び多エネルギー投影）がシミュレートされた。図２に示されるように、ＣＮＮ訓練セットが、横断面内の外科用ねじ５０（ａ：図２の左側の画像）、又は頭尾方向に沿った２つの金属ロッドプラント５２、５４（ｂ：図２の右側の画像）のいずれかを含むデジタルファントムから発生された。グレイスケールウィンドウは、［−４００，４００］ＨＵであった。評価のために、ナイロンファントム本体にチタンロッド及びステンレス鋼ロッドを含む物理的ファントム（図示せず）をＣＴスキャナでスキャンして、訓練されたニューラルネットワークの性能を評価した。シミュレーションパラメータは、スライス当たり６７２個の検出器を有しており、１つのガントリ回転に対して１２００個の投影を取得するＰｈｉｌｉｐｓ Ｂｒｉｌｌｉａｎｃｅ ｉＣＴスキャナ（Ｐｈｉｌｉｐｓ Ｈｅａｌｔｈｃａｒｅ、Ｈｉｇｈｌａｎｄ Ｈｅｉｇｈｔｓ ＯＨ）の特性を模倣するように選ばれた。シミュレーションは、１２０ｋＶｐの管電圧において軸スキャンモードで実行された。２つのシナリオ、すなわち、（ｉ）横断面内の外科用ねじ５０の存在（図２の左側の画像）、及び（ｉｉ）頭尾方向に沿った２つの金属ロッドプラント５２、５４の存在（図２の右側の画像）が考慮された。デジタルファントムは、さらに、本体減衰をシミュレートするために水楕円部５６（長軸≒１５０ ｍｍ、短軸≒１２０ ｍｍ）を含む。比較的低いコントラストの物体が存在する状態での提案する方法の性能を検討するために、円形挿入物（直径≒５０ｍｍ、水よりも高い減衰１００ＨＵ）が、さらに、追加された。金属材料は、シミュレーションではチタンであると仮定された。単色投影は、入射Ｘ線スペクトルの７１ｋＶの実効エネルギーを仮定してシミュレートされた。多色投影は、
Ｉ＝∫_ＥＩ_０（Ｅ）ｅｘｐ（−∫_ｌμ（Ｅ）ｄｌ）ｄＥ （２）
に従ってシミュレートされた。ここで、Ｉ_０（Ｅ）は、入射Ｘ線スペクトルを光子エネルギーＥの関数として表し、Ｉは、全透過強度であり、ｌは、カスタムのグラフィカルプロセッサユニット（ＧＰＵ）ベースのフォワードプロジェクタを使用して計算された経路長である。次いで、シミュレートされた単色及び多色投影は３次元（３Ｄ）フィルタ逆投影（ＦＢＰ）を使用して再構成されて、それぞれ、「モノ」画像（グラウンドトゥルースと見なされる）及び「ポリ」画像（金属アーチファクトを含む）が形成される。「ポリ」画像は入力信号ｓとして使用された。「モノ」と「ポリ」との間の差画像が、ＣＮＮの訓練で残差信号ｒとして使用された。再構成画像は、スライスごとに５１２×５１２ピクセル及び２５０ｍｍのＦＯＶを有する。

[0034] 訓練セットは、「ねじ」及び「ロッド」によって構成された。「ねじ」セットは、ねじ５０をｘ方向及びｙ方向の各々に−８０ｍｍから８０ｍｍまで平行移動させ、ねじ５０を１８０度までカバーしてｚ軸のまわりに回転させ、、一緒に１０２４の場合の物体変動を形成することによって発生された。「ロッド」セットは、２つのロッド５２、５４をｘ方向及びｙ方向の各々に−６０ｍｍから６０ｍｍまで平行移動させ、１８０度までカバーしてｚ軸のまわりに回転させ、２つのロッド５２、５４の間の距離を４０ｍｍから１５０ｍｍまで変え、一緒に１２８０の場合の物体変動を形成することによって発生された。合計で１０２４＋１２８０＝２３０４セットが、提案するネットワークを訓練するために使用された。訓練での集約的計算のために、各再構成画像は、１２８×１２８ピクセルにダウンサンプリングされた。全訓練時間は、ＧＰＵ（ＧｅＦｏｒｃｅ ＴＩＴＡＮ Ｘ， Ｎｖｉｄｉａ， Ｓａｎｔａ Ｃｌａｒａ ＣＡ）をもつワークステーション（Ｐｒｅｃｉｓｉｏｎ Ｔ７６００， Ｄｅｌｌ， Ｒｏｕｎｄ Ｒｏｃｋ ＴＸ）で≒４時間であった。

[0035] 訓練されたネットワークが、シミュレートされたデータと実験的に測定されたデータとの両方でテストされた。テスト投影は、訓練セットに含まれていないやり方で、ねじ５０又はロッド５２、５４が平行移動、回転、分離された（ロッドシナリオに対してのみ）場合にシミュレートされた。テスト投影から再構成された「ポリ」画像は、ＣＮＮの入力として使用され、「モノ」画像は、ＣＮＮの出力と比較するためにグラウンドトゥルースとして使用された。加えて、大きい整形外科金属インプラントを模倣するように設計されたカスタムファントムが、Ｐｈｉｌｉｐｓ Ｂｒｉｌｌｉａｎｃｅ ｉＣＴスキャナでスキャンされた。ファントムは、２００ｍｍ直径のナイロンファントム本体にチタンロッド及びステンレス鋼ロッド（整形外科インプラントのために一般に使用される２つの金属）を含む。スキャンは、１０ｍｍコリメーション（散乱の影響を最小にするように選ばれた狭いコリメーション）、１２０ｋＶｐ管電圧、及び５００ｍＡ管電流を用いて軸モデルで実行された。１２８×１２８ピクセル及び２５０ｍｍ再構成ＦＯＶをもつ金属アーチファクトを含む画像が、スキャナの金属アーチファクト減少アルゴリズムを故意に無効にすることによって得られ、ＣＮＮ入力として使用された。

[0036] 図３を参照すると、ねじシナリオの結果が示されている。図３の各行は、ねじ５０の平行移動と回転の特定の組合せの一例を表す。「多色」画像（多色Ｘ線を使用してシミュレートされた投影から再構成された）は、厳しいシェーディング及び「ブルーミング」を示した。これらのアーチファクトは、「ＣＮＮ出力」（アーチファクト）とラベル付けされた図３の第２の列で分かるように、訓練されたニューラルネットワークによって検出された。図３の第３の列は、「多色」画像から「ＣＮＮ出力」画像を減じることによって得られた「ＣＮＮ補正された」画像を示す。「ＣＮＮ補正された」画像で分かるように、金属アーチファクトは、ＣＮＮ補正された画像ではほとんど完全に除去されており、挿入物の輪郭情報を含む減衰情報の回復がもたらされた。「単色」画像（単色Ｘ線を使用してシミュレートされた投影から再構成され、テストのための「グラウンドトゥルース」画像として役立つ）と比較すると、若干の残差アーチファクトが見られ、訓練セットのサイズを増加させることによって潜在的に低減される可能性がある。ＣＮＮ補正速度は、毎秒約８０画像であった。

[0037] 図４を参照すると、ロッドシナリオの結果が示されている。図４の各行は、２つのロッド５２、５４の平行移動、回転、及び２つのロッド５２、５４の間の分離の特定の組合せの一例を表す。ねじシナリオと同様に、「多色」画像（左端の列）に見られるシェーディング及びストリークなどの金属アーチファクトは、「多色」画像から「ＣＮＮ出力（アーチファクト）」画像（左から２番目の列）を減じることによって発生された「ＣＮＮ補正された」画像ではほぼ完全に除去された。右端の列は再び、比較のためのグラウンドトゥルース「単色」画像を示す。

[0038] 図５を参照すると、物理的なファントムのイメージングの結果が示されている。左側の画像（ａ）は未補正ＣＴ画像であり、一方、右側の画像（ｂ）はＣＮＮ補正された画像である。スキャンで使用された物理的なファントムは、ファントム本体の形状及び材料（ナイロン対水）と、金属ロッドのサイズ及び材料（ステンレス鋼及びチタン対チタンのみ）とを含む、訓練で使用されるデジタルロッドファントムからの物体変動にいくつかの相違を提示する。金属アーチファクト補正なしに測定データを使用して再構成された画像（左側の画像（ａ））は、厳しいシェーディング及びストリークを示す。これらのアーチファクトは、ＣＮＮ補正された画像（右側の画像（ｂ））では大きく低減され、ファントム本体により均一な画像がもたらされた。残差アーチファクトは、金属材料依存性、パーシャルボリューム効果、及び光子不足などの他の物理的な影響によって引き起こされる。

[0039] 開示する深層残差学習フレームワークは、ＣＴ画像（又は、より一般的には、Ｘ線画像）の金属アーチファクトを検出及び補正するために深層畳み込みニューラルネットワーク３２を訓練する。多色シミュレーションデータによって訓練された残差ネットワークは、ビーム硬化効果によって引き起こされる金属アーチファクトを大きく低減するか又は場合によってはほとんど完全に除去する能力を実証している。

[0040] 本明細書で提示された図３〜図５の結果は単に例示であること、及び多数の変形が考えられることを理解されたい。例えば、式（１）の損失関数Ｌ（ｗ）は、ニューラルネットワーク出力Ｔ（ｐ）とグラウンドトゥルースアーチファクト画像ａとの間の差を効果的に定量化する他の損失関数と置き換えられてもよい。例示の訓練では、単色画像はビーム硬化又はブルーミングなどの金属アーチファクト機構によって実質的に影響されないので、単色画像をグラウンドトゥルースとしてシミュレートする能力が活用された。しかしながら、より一般的には、他の訓練データソースを活用することができる。例えば、ファントム又は人間のイメージング対象者から取得された訓練画像を計算集約的金属アーチファクト除去アルゴリズムで処理して、ニューラルネットワーク３２の訓練のための訓練データを生成し、それによって、大幅に低減された計算コストで計算集約的金属アーチファクト除去アルゴリズムのアーチファクト除去機能を効果的に実行し、それにより、金属アーチファクト除去によるより効率的な画像再構成を提供することができる。上記のように、実験では、ＣＮＮ補正速度は、毎秒約８０画像であった。これは、ｉＧＴ手順中にＣアーム１０（例えば、図１）によって発生された「ライブ」画像を補正する際に使用するのに有用である。さらに、図３及び図４で分かるように、金属アーチファクト画像（図３及び図４の左からの２番目の列）は、金属アーチファクトの効果的にセグメント化された表現を提供している。この画像は、アーチファクトの原因となる金属物体の実際の境界と比較して、ブルーミング又は他の歪みを示しているが、金属アーチファクト画像は金属物体の分離画像を提供し、それを、例えば、分かっている金属物体形状に適合させて、ｉＧＴ手順中に操作されるべき生検針、金属プロテーゼ、又は他の分かっている金属物体の正確なライブ追跡を可能にすることが分かる。１つの手法では、補正されたＸ線画像４０は、金属アーチファクト画像３４とともにディスプレイ４６に表示される（又は金属アーチファクト画像３４から導出された画像、例えば、金属アーチファクト画像３４と空間的に位置合わせされるように位置づけられた下にある金属物体の画像などが、さらに、ディスプレイ４６に表示される、例えば、補正されたＸ線画像４０の表示の上に重ね合わされるか、又はそうでなければ融合される）。別の用途として、金属アーチファクト画像３４に捕捉された金属物体の画像の密度（又はブルーミングの範囲などの他の情報）が、金属物体を金属タイプに応じて分類するために使用されてもよく、又は金属アーチファクト画像３４によって描かれた金属物体が、形状に基づいて識別されてもよい、など。いくつかの実施形態では、Ｗａｌｋｅｒ等の米国特許出願公開第２０１２／００４６９７１Ａ１号（２０１２年２月２３日に公開された）に開示されているものなどの識別手法が使用されてもよい。いくつかの実施形態では、ｉＧＴ又は他のタイムクリティカルなイメージングタスクのライブイメージングの処理速度を最大にするために、画像再構成方法２６には、未補正Ｘ線画像３０にニューラルネットワーク３２を適用して金属アーチファクト画像３４を発生し、未補正Ｘ線画像から金属アーチファクト画像を減じることによって、補正されたＸ線画像４０を発生することによるもの以外のいかなる金属アーチファクト補正も含まれない。

[0041] 例証となる例（例えば、図３〜図５）では、処理は２Ｄ画像で実行された。しかしながら、他の考えられる実施形態では、未補正Ｘ線画像３０は、３次元（３Ｄ）未補正Ｘ線画像であり、ニューラルネットワーク３２が３次元未補正Ｘ線画像に適用されて、金属アーチファクト画像３４が３次元金属アーチファクト画像として発生される。この手法は、ストリーク、ブルーミング、及び他の金属アーチファクトが、一般に、３次元的に延び、したがって、３Ｄ空間の３Ｄ未補正Ｘ線画像３０の処理によって最も効果的に補正される（それを２Ｄスライスに分断し、２Ｄ画像スライスを個別に処理するのとは対照的に）ので有利である。

[0042] 図６を参照すると、図１のＸ線イメージングデバイスによって適切に実行される例示の方法が、流れ図を介して示される。操作Ｓ１において、Ｘ線投影データが、未補正Ｘ線画像３０を発生するために再構成される。操作Ｓ２において、金属アーチファクトを含む画像コンテンツを抽出するように訓練されたニューラルネットワーク３２が、金属アーチファクト画像３４を発生するために、未補正Ｘ線画像３０に適用される。操作Ｓ３において、補正されたＸ線画像４０が、未補正Ｘ線画像３０から金属アーチファクト画像３４を減じることによって発生される。操作Ｓ４において、補正されたＸ線画像４０が、ディスプレイ４６に表示される。

[0043] 図７を参照すると、前記のように、ニューラルネットワーク３２の深さは、受容野が、処理されているＸ線画像３０の区域にわたるように設定されることが好ましい。言い換えれば、ニューラルネットワーク３２は、未補正Ｘ線画像３０にわたってグローバル接続を行うのに有効な層数及びカーネルサイズを有することが好ましい。図７は、１２８×１２８ピクセルの画像区域にわたっている所望の受容野を有するようにニューラルネットワーク３２を設計するための手法を示す。これは単に例証となる例であり、他のニューラルネットワーク構成が使用されてもよい、例えば、同等の受容区域が、より大きいカーネルサイズ及び／又は拡張係数によってオフセットされたより少ない層を使用して得られてもよい。ニューラルネットワーク３２の受容野がＸ線画像の区域を包含することは、金属アーチファクトが、多くの場合、Ｘ線画像区域のほとんどにわたって延びるか、又は場合によっては画像全体にわたって延びるストリーク若しくは他のアーチファクト特徴を含むので有利である。Ｘ線画像の区域にわたる（すなわち、それを包含する、それと同一の広がりをもつ）受容区域を有するように、訓練されたニューラルネットワーク３２を構成することによって、ニューラルネットワーク３２は、これらの大面積の金属アーチファクト特徴を捕捉する残差画像３４を効果的に発生することができる。

[0044] 本発明が、好ましい実施形態を参照して説明された。先の詳細な説明を読み理解する際に、変更及び改変を他者が思いつくことがある。例示的な実施形態は、すべてのそのような変更及び改変が添付の特許請求の範囲又はその等価物の範囲内にある限り、すべてのそのような変更及び改変を含むと解釈されることが意図される。

Claims (23)

1. 画像再構成方法を実行するための電子プロセッサにより読取り可能及び実行可能な命令を格納する非一時的記憶媒体であって、前記画像再構成方法が、
   未補正Ｘ線画像を発生するためにＸ線投影データを再構成することと、
   金属アーチファクト画像を発生するために前記未補正Ｘ線画像にニューラルネットワークを適用することと、
   前記未補正Ｘ線画像から前記金属アーチファクト画像を減じることによって、補正されたＸ線画像を発生することと
   を含み、
   前記ニューラルネットワークが、金属アーチファクトを含む画像コンテンツを抽出するように訓練されている、非一時的記憶媒体。
2. 多色訓練Ｘ線画像ｐ_ｊを変換するように前記ニューラルネットワークを訓練するためのニューラルネットワーク訓練方法を実行するための、前記電子プロセッサにより読取り可能及び実行可能な命令をさらに格納し、ここで、ｊは、それぞれの金属アーチファクト画像ａ_ｊと一致するように前記多色訓練Ｘ線画像をインデクス付けし、ここで、ｐ_ｊ＝ｍ_ｊ＋ａ_ｊであり、成分ｍ_ｊは金属アーチファクトのないＸ線画像である、請求項１に記載の非一時的記憶媒体。
3. 前記ニューラルネットワークが、前記未補正Ｘ線画像にわたってグローバル接続を行うのに有効な層数及びカーネルサイズを有する、請求項１から３のいずれか一項に記載の非一時的記憶媒体。
4. 前記画像再構成方法が、補正された前記Ｘ線画像をディスプレイに表示することをさらに含む、請求項１から３のいずれか一項に記載の非一時的記憶媒体。
5. 前記画像再構成方法が、前記金属アーチファクト画像、又は前記金属アーチファクト画像から導出された画像を、前記ディスプレイに表示することをさらに含む、請求項４に記載の非一時的記憶媒体。
6. 前記画像再構成方法が、金属タイプに応じて前記金属アーチファクト画像を分類することをさらに含む、請求項１から５のいずれか一項に記載の非一時的記憶媒体。
7. 前記画像再構成方法が、前記金属アーチファクト画像によって描かれた金属物体を形状に基づいて識別することをさらに含む、請求項１から６のいずれか一項に記載の非一時的記憶媒体。
8. 前記ニューラルネットワークが、畳み込みニューラルネットワークを含む、請求項１から７のいずれか一項に記載の非一時的記憶媒体。
9. 前記画像再構成方法には、前記未補正Ｘ線画像に前記ニューラルネットワークを適用して前記金属アーチファクト画像を発生し、前記未補正Ｘ線画像から前記金属アーチファクト画像を減じることによって補正された前記Ｘ線画像を発生することによるもの以外のいかなる金属アーチファクト補正も含まれない、請求項１から８のいずれか一項に記載の非一時的記憶媒体。
10. 前記未補正Ｘ線画像が３次元未補正Ｘ線画像であり、前記ニューラルネットワークが、前記金属アーチファクト画像を３次元金属アーチファクト画像として発生するために前記３次元未補正Ｘ線画像に適用される、請求項１から９のいずれか一項に記載の非一時的記憶媒体。
11. 未補正Ｘ線画像を取得するＸ線イメージングデバイスと、
    画像再構成デバイスとを含む、イメージングデバイスであって、
    前記画像再構成デバイスは、電子プロセッサと、画像補正方法を実行するための、前記電子プロセッサにより読取り可能及び実行可能な命令を格納する非一時的記憶媒体とを含み、前記画像補正方法が、
    金属アーチファクト画像を発生するために前記未補正Ｘ線画像にニューラルネットワークを適用することであって、前記ニューラルネットワークが、金属アーチファクトを含む残差画像コンテンツを抽出するように訓練されている、適用すること、及び
    前記未補正Ｘ線画像から前記金属アーチファクト画像を減じることによって、補正されたＸ線画像を発生すること
    を含む、イメージングデバイス。
12. 前記非一時的記憶媒体が、多エネルギー訓練Ｘ線画像ｐ_ｊを変換するように前記ニューラルネットワークを訓練するためのニューラルネットワーク訓練方法を実行するための、前記電子プロセッサにより読取り可能及び実行可能な命令をさらに格納し、ここで、ｊは、それぞれの金属アーチファクト画像ａ_ｊと一致するように前記訓練Ｘ線画像をインデクス付けし、ここで、ｐ_ｊ＝ｍ_ｊ＋ａ_ｊであり、成分ｍ_ｊは金属アーチファクトのないＸ線画像である、請求項１１に記載のイメージングデバイス。
13. 前記ニューラルネットワークが、前記未補正Ｘ線画像にわたってグローバル接続を行うのに有効な層数及びカーネルサイズを有する、請求項１１又は１２に記載のイメージングデバイス。
14. ディスプレイデバイス
    をさらに含み、
    前記画像再構成方法が、補正された前記Ｘ線画像を前記ディスプレイデバイスに表示することをさらに含む、請求項１１から１３のいずれか一項に記載のイメージングデバイス。
15. 前記画像再構成方法が、前記金属アーチファクト画像、又は前記金属アーチファクト画像から導出された画像を、前記ディスプレイデバイスに表示することをさらに含む、請求項１４に記載のイメージングデバイス。
16. 前記画像再構成方法が、前記金属アーチファクト画像によって描かれた金属物体に関する情報を決定するために前記金属アーチファクト画像を処理することをさらに含む、請求項１１から１５のいずれか一項に記載のイメージングデバイス。
17. 前記Ｘ線イメージングデバイスが、コンピュータ断層撮影イメージングデバイス、Ｃアームイメージングデバイス、又はデジタルラジオグラフィデバイスを含む、請求項１１から１６のいずれか一項に記載のイメージングデバイス。
18. 前記Ｘ線イメージングデバイスが、前記未補正Ｘ線画像を取得するコンピュータ断層撮影ガントリと、陽電子放出断層撮影ガントリとを有する陽電子放出断層撮影／コンピュータ断層撮影イメージングデバイスを含み、
    前記非一時的記憶媒体が、前記陽電子放出断層撮影ガントリによって実行される陽電子放出断層撮影イメージングにおける減衰補正で使用するために補正された前記Ｘ線画像から減衰マップを発生するための前記電子プロセッサにより読取り可能及び実行可能な命令をさらに格納する、請求項１１から１６のいずれか一項に記載のイメージングデバイス。
19. Ｘ線イメージングデバイスを使用して、未補正Ｘ線画像を取得するステップと、
    金属アーチファクト画像を発生するために前記未補正Ｘ線画像に訓練されたニューラルネットワークを適用するステップと、
    前記未補正Ｘ線画像から前記金属アーチファクト画像を減じることによって、補正されたＸ線画像を発生するステップと
    を有するイメージング方法であって、
    前記取得するステップ、前記適用するステップ、及び前記発生するステップが、電子プロセッサによって実行される、イメージング方法。
20. 前記ニューラルネットワークが、前記未補正Ｘ線画像にわたってグローバル接続を行うのに有効な層数及びカーネルサイズを有する、請求項１９に記載のイメージング方法。
21. 前記イメージング方法には、前記未補正Ｘ線画像に訓練された前記ニューラルネットワークを適用して前記金属アーチファクト画像を発生し、前記未補正Ｘ線画像から前記金属アーチファクト画像を減じることによって補正された前記Ｘ線画像を発生することによるもの以外のいかなる金属アーチファクト補正も含まれない、請求項１９又は２０に記載のイメージング方法。
22. 前記未補正Ｘ線画像が３次元未補正Ｘ線画像であり、訓練された前記ニューラルネットワークが、前記金属アーチファクト画像を３次元金属アーチファクト画像として発生するために前記３次元未補正Ｘ線画像に適用され、補正された前記Ｘ線画像が、前記３次元未補正Ｘ線画像から前記３次元金属アーチファクト画像を減じることによって発生される、請求項１９から２１のいずれか一項に記載のイメージング方法。
23. 多エネルギー訓練Ｘ線画像ｐ_ｊを変換するように前記ニューラルネットワークを訓練するステップをさらに有し、ここで、ｊはそれぞれの金属アーチファクト画像ａ_ｊと一致するように前記訓練Ｘ線画像をインデクス付けし、ｐ_ｊ＝ｍ_ｊ＋ａ_ｊであり、ここで、画像成分ｍ_ｊは、金属アーチファクトのないＸ線画像である、請求項１９から２２のいずれか一項に記載のイメージング方法。

Images