JP2023154407A - 医用画像処理装置、医用画像処理方法、及びｘ線診断装置 - Google Patents

Abstract

【課題】造影画像から血管画像を抽出する精度を向上させること。【解決手段】実施形態に係る医用画像処理装置は、取得部と、生成部と、を備える。前記取得部は、被検体に関する造影画像データを取得する。前記生成部は、前記造影画像データに基づいてマスク画像データを生成する第１の学習済みモデルに対して、前記造影画像データを入力することにより、マスク画像データを生成し、前記造影画像データに基づいて血管画像データを生成する第２の学習済みモデルに対して、前記造影画像データを入力することにより、血管画像データを生成し、前記マスク画像データと前記血管画像データと、少なくとも１つの制約とに基づいて制約付き血管画像データを生成する。【選択図】図４

Description

本明細書に記載の実施形態は、概して、例えばコントラスト強調データからサブトラクションデータを予測するための方法および装置など、医用画像処理装置、医用画像処理方法、及びＸ線診断装置に関する。

撮像または診断目的で、多様な撮像モダリティのうちの任意のものを用いて医用撮像データを生成できる医用撮像技術が広く使用されている。

造影剤を患者の血管に導入し、Ｘ線撮像を用いて血管を撮像する血管造影プロシージャを行うことが知られている。造影剤は、Ｘ線画像に映る血管腔の強度を上げる。

血管造影プロシージャは、例えば、２Ｄ蛍光透視または３Ｄ回転の血管造影法を含んでよい。血管造影プロシージャは、例えば、手術を計画する際にまたは手術中に行われてよい。

造影剤を用いて得られる撮像データセットは、コントラストボリュームまたはコントラスト強調ボリュームと称されることがある。造影剤なしに得られる撮像データセットはマスクボリュームと称されることがある。造影剤がないため、マスクボリュームではコントラストボリュームに比べて血管が見えにくい。

同一解剖を表すマスクボリュームとコントラストボリュームとをサブトラクションして、サブトラクションボリュームを得てよい。例えばサブトラクションは、マスクボリュームとコントラストボリュームにおける各対応ロケーションで、コントラストボリュームの強度からマスクボリュームの強度をサブトラクションすることを含んでよい。サブトラクション処理は、コントラストボリュームとマスクボリュームとに共通する特徴（例えば、骨と軟組織）を取り除き、造影剤により強調されたコントラストボリュームの部分のみを残してよい。

サブトラクションボリュームは、デジタルサブトラクション血管造影（ｄｉｇｉｔａｌ ｓｕｂｔｒａｃｔｉｏｎ ａｎｇｉｏｇｒａｐｈｙ：ＤＳＡ）ボリュームとも称されることがある。

図１は、デジタルサブトラクション処理の概略を示すフローチャートである。図１では、ボリュームは、当該ボリュームからレンダリングされた画像により示されている。画像は、各ボリュームがマスクボリュームか、コントラストボリュームか、またはサブトラクションボリュームかを示すように意図され、現実のサブトラクション処理で生成される画像とは対応していない。

コントラストボリューム２とマスクボリューム４は、同一解剖として得られる。レジストレーションおよびサブトラクション処理６が行われ、コントラストボリュームとマスクボリュームを互いにレジストレーションし、サブトラクションを行う。サブトラクションは、コントラストボリュームの強度からマスクボリュームの強度をサブトラクションする。サブトラクション処理６によりＤＳＡボリューム８が生じる。ＤＳＡボリューム８からレンダリングされる画像では、骨と軟組織が取り除かれているため、血管の視認性がコントラストボリュームよりも高くなる。

近年、単一のコントラストボリュームからマスクボリュームとＤＳＡボリュームを予測するために機械学習を用いることが提案されている。このような技術は、マスクレス（Ｍａｓｋｌｅｓｓ）ＤＳＡと称されることがある。マスクレスＤＳＡは、マスクボリュームを取得せずにコントラスト強調ボリュームからＤＳＡボリュームを予測することを目的とする。

例えば、１つまたは複数の畳み込みニューラルネットワーク（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ：ＣＮＮ）を、コントラストボリュームからマスクボリュームとＤＳＡボリュームを予測するようにトレーニングしてよい。ＤＳＡの強度を直接予測するように深層ＣＮＮをトレーニングしてもよい。

図２は、マスクレスＤＳＡ法の概略を示すフローチャートである。コントラストボリューム２がＣＮＮ１０に入力される。ＣＮＮはＤＳＡボリューム１２を出力する。

深層ＣＮＮの出力を臨床医に提示すると状況によっては問題が生じることがわかっている。例えば、状況によっては深層ＣＮＮが現実には存在しない画像特徴を作成し得ることがわかっている。存在しない特徴を作成することを、非存在特徴をモデルハルシネーションする、と説明することがある。このような存在しない画像特徴を低減または除去するには、法外な量のモデルテストを必要とするかもしれない。

ある状況では、コントラスト強調ボリュームに存在する特徴が、予測ＤＳＡおよびマスクに存在しないことがある。コントラストボリュームに存在する特徴が、ＣＮＮにより予測されるＤＳＡにも、ＣＮＮにより予測されるマスクにも表れないことがある。このような特徴は、予測ＤＳＡおよびマスクから消失したと考えてよい。

ある状況では、ＣＮＮにとって、金属オブジェクトと強調された血管とを区別することが非常に困難であり得る。ここで、強調された血管とは、造影剤が存在することで強調されたものである。金属オブジェクトはマスクされるべきであり、強調された血管はマスクされるべきではない。脳血管造影画像に表れ得る金属オブジェクトには、例えば、外科手術中にインプラントされた金属オブジェクト、例えばネジやクリップなどがある。

米国特許出願公開第２０２０／３２０７５１号明細書

本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、造影画像から血管画像を抽出する精度を向上させることである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。

実施形態に係る医用画像処理装置は、取得部と、生成部と、を備える。前記取得部は、被検体に関する造影画像データを取得する。前記生成部は、前記造影画像データに基づいてマスク画像データを生成する第１の学習済みモデルに対して、前記造影画像データを入力することにより、マスク画像データを生成し、前記造影画像データに基づいて血管画像データを生成する第２の学習済みモデルに対して、前記造影画像データを入力することにより、血管画像データを生成し、前記マスク画像データと前記血管画像データと、少なくとも１つの制約とに基づいて制約付き血管画像データを生成する。

図１は、デジタルサブトラクション法の概略を示すフローチャートである。 図２は、ＣＮＮを用いてＤＳＡボリュームを予測する方法の概略を示すフローチャートである。 図３Ａは、実施形態に従った装置の概略図である。 図３Ｂは、実施形態に従ったＸ線診断装置の概略図である。 図４は、実施形態に従ったマスクレスＤＳＡ方法の概略を示すフローチャートである。 図５は、コントラスト画像と、グラウンドトゥルースマスク画像と、ＣＮＮを用いて予測されたマスク画像と、予測されたマスク画像に対する制約付き最適化を用いて予測されたマスク画像と、を含む複数の画像を含む図である。

実施形態に従った医用画像処理装置２０が、図３Ａに概略的に示される。

医用画像処理装置２０は、本例ではパーソナルコンピュータ（ＰＣ）またはワークステーションであり、データ記憶部３０を介してスキャナ２４に接続されるコンピューティング装置２２を備える。

医用画像処理装置２０は、１つまたは複数のディスプレイスクリーン２６と、コンピュータキーボードやマウスやトラックボールなどの１つまたは複数の入力装置２８と、を更に備える。

本実施形態では、スキャナ２４はＸ線スキャナであり、例えば２Ｄ蛍光透視または３Ｄ回転の血管造影画像などのＸ線画像を取得するように構成される。Ｘ線スキャナは、コーンビームＣアームスキャナであってもよい。スキャナ２４は、患者または他の被検体の少なくとも１つの解剖領域を表す画像データを生成するように構成される。画像データは複数のボクセルを備え、各ボクセルは対応するデータ値を有する。本実施形態では、データ値はＸ線強度を表す。スキャナは、造影剤の存在により血管が強調されるコントラストボリュームを得るために用いられる。

他の実施形態では、スキャナ２４は任意の撮像モダリティにおける２次元、３次元、または、４次元の画像データを取得するように構成されてよい。例えば、スキャナ２４は、磁気共鳴（ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ：ＭＲ）スキャナ、コンピュータ断層撮影（ｃｏｍｐｕｔｅｄ ｔｏｍｏｇｒａｐｈｙ：ＣＴ）スキャナ、コーンビームＣＴスキャナ、陽電子放出断層撮影（ｐｏｓｉｔｒｏｎ ｅｍｉｓｓｉｏｎ ｔｏｍｏｇｒａｐｈｙ：ＰＥＴ）スキャナ、Ｘ線スキャナ、または、超音波スキャナ、を備えてよい。例えば、血管、１つまたは複数の器官、または消化管の少なくとも一部などの解剖領域のサブ領域を強調するために、任意の好適な方法を用いてよい。

本実施形態では、スキャナ２４により得られる画像データセットは、データ記憶部３０に記憶され、その後コンピューティング装置２２に与えられる。代替となる実施形態では、画像データセットは遠隔のデータ記憶部（図示せず）から供給される。データ記憶部３０または遠隔のデータ記憶部は、任意の好適な形式のメモリ記憶部を備えてよい。いくつかの実施形態では、医用画像処理装置２０はいかなるスキャナにも接続されない。

また、スキャナ２４は、Ｘ線診断装置１０１０であってもよい。図３Ｂは、実施形態に従ったＸ線診断装置１０１０の概略図である。

Ｘ線診断装置１０１０は、Ｘ線高電圧装置１０１１と、Ｘ線管１０１２と、Ｘ線絞り１０１３と、天板１４と、Ｃアーム１０１５と、Ｘ線検出器１０１６と、Ｃアーム回転・移動機構１０１７と、天板移動機構１０１８と、Ｃアーム・天板機構制御回路１０１９と、絞り制御回路１０２０と、処理回路１０２１と、入力インターフェース１０２２と、ディスプレイ１０２３と、記憶回路１０２４とを有する。Ｘ線診断装置１０１０は、例えば、Ｘ線アンギオグラフィ（Ａｎｇｉｏｇｒａｐｈｙ）装置である。

Ｘ線高電圧装置１０１１は、処理回路１０２１による制御の下、高電圧を発生し、発生した高電圧をＸ線管１０１２に供給する高電圧電源である。

Ｘ線管１０１２は、Ｘ線高電圧装置１０１１から供給される高電圧を用いて、Ｘ線を発生する。Ｘ線絞り１０１３は、絞り制御回路１０２０による制御の下、Ｘ線管１０１２が発生したＸ線を、被検体Ｐの関心領域（ＲＯＩ）に対して選択的に照射されるように絞り込む。

天板１４は、被検体Ｐを載せるベッドであり、図示しない寝台装置の上に配置される。また、図示しない寝台装置は、Ｘ線診断装置１０１０に含まれるものとしても良いし、Ｘ線診断装置１０１０外としても良い。なお、寝台装置は、Ｘ線診断装置１０１０に含まれない場合でも、システムに含まれるものとしても良い。なお、被検体Ｐは、Ｘ線診断装置１０１０に含まれない。

Ｘ線検出器１０１６は、例えば、マトリクス状に配列された複数の検出素子を有するＸ線平面検出器（Ｆｌａｔ Ｐａｎｅｌ Ｄｅｔｅｃｔｏｒ：ＦＰＤ）である。なお、Ｘ線検出器１０１６は、シンチレータアレイ及び光センサアレイを有する間接変換型の検出器であってもよいし、入射したＸ線を電気信号に変換する半導体素子を有する直接変換型の検出器であっても構わない。一例として、Ｘ線検出器１０１６の複数の検出素子の各々は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサと、シンチレータとを有する。各検出素子は、例えば、検出したＸ線を電荷に変換して蓄積し、蓄積した電荷を電圧または電流に変換して検出信号を生成する。Ｘ線検出器１０１６は、検出信号を、処理回路１０２１へ出力する。

Ｃアーム１０１５は、Ｘ線管１０１２、Ｘ線絞り１０１３およびＸ線検出器１０１６を保持する。Ｃアーム回転・移動機構１０１７は、支持器に設けられたモータなどを駆動することによって、Ｃアーム１０１５を回転および移動させるための機構である。天板移動機構１０１８は、天板１４を移動させるための機構である。例えば、天板移動機構１０１８は、アクチュエータが発生させた動力を用いて、天板１４を移動させる。

Ｃアーム・天板機構制御回路１０１９は、処理回路１０２１による制御の下、Ｃアーム回転・移動機構１０１７および天板移動機構１０１８を制御することで、Ｃアーム１０１５の回転や移動、天板１４の移動を調整する。絞り制御回路１０２０は、処理回路１０２１による制御の下、Ｘ線絞り１０１３が有する絞り羽根の開度を調整することで被検体Ｐに対して照射されるＸ線の照射範囲を制御する。

入力インターフェース１０２２は、トラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、および音声入力回路等によって実現される。入力インターフェース１０２２は、処理回路１０２１に接続されており、ユーザから受け取った入力操作を電気信号へ変換し処理回路１０２１へと出力する。なお、入力インターフェース１０２２はマウス、キーボードなどの物理的な操作部品を備えるものだけに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路１０２１へ出力する電気信号の処理回路も入力インターフェース１０２２の例に含まれる。

ディスプレイ１０２３は、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：ＬＣＤ）、または有機ＥＬディスプレイ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ：ＯＥＬＤ）等であり、各種の情報を表示する。ディスプレイ１０２３は、例えば、入力インターフェース１０２２を介してユーザから各種指示や各種設定等を受け付けるためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を表示する。また、ディスプレイ１０２３は、処理回路１０２１によって生成された種々の画像を表示する。ディスプレイ１０２３は、表示部の一例である。なお、入力インターフェース１０２２とディスプレイ１０２３とは、タッチパネルを形成しても良い。

記憶回路１０２４は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。例えば、記憶回路１０２４は、Ｘ線診断装置１０１０に含まれる回路で実行されるプログラムを記憶する。

処理回路１０２１は、記憶回路１０２４からプログラムを読み出し、実行することで各プログラムに対応する機能を実現するプロセッサである。また、処理回路１０２１は、処理装置３２が有する画像処理回路３４、最適化回路３６、及び表示回路３８の機能の全部又は一部を有していてもよい。すなわち、処理回路１０２１は、収集機能、及び生成機能を有していてもよい。収集機能は、被検体に関する造影画像データを収集する。すなわち、収集機能は、被検体をスキャンすることにより、被検体に関する造影画像データを収集する。収集機能は、Ｘ線診断装置１０１０における収集部の一例である。生成機能は、前記造影画像データに基づいてマスク画像データを生成する第１の学習済みモデルに対して、前記造影画像データを入力することにより、マスク画像データを生成し、前記造影画像データに基づいて血管画像データを生成する第２の学習済みモデルに対して、前記造影画像データを入力することにより、血管画像データを生成し、前記マスク画像データと前記血管画像データと、少なくとも１つの制約とに基づいて制約付き血管画像データを生成する。生成機能は、Ｘ線診断装置１０１０における生成部の一例である。

コンピューティング装置２２は、データ処理のための処理装置３２を備える。処理装置は、中央演算処理装置（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ：ＣＰＵ）と、グラフィックス・プロセッシング・ユニット（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＧＰＵ）とを備える。処理装置３２は、自動的に、または、半自動で医用画像データセットを処理するための処理リソースを提供する。他の実施形態では、処理対象データは、医用画像データではない任意の画像データを含んでよい。

処理装置３２は、トレーニングされたモデルを用いて画像データを処理して予測ボリュームを得る画像処理回路３４と、予測ボリュームに最適化プロシージャを行って制約付きボリュームを得る最適化回路３６と、制約付きボリュームから得られる画像を表示する表示回路３８と、を備える。

本実施形態では、画像処理回路３４、最適化回路３６、表示回路３８は、各々、実施形態の方法を実行するために実行可能であるコンピュータが読み出し可能な命令を有するコンピュータプログラムにより、ＣＰＵおよび／またはＧＰＵに実装される。他の実施形態では、当該回路が、１つまたは複数の特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）またはフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ）として実装されてよい。

また、コンピューティング装置２２は、ハードドライブと、ＲＡＭ、ＲＯＭ、データバス、種々のデバイスドライバを含むオペレーティングシステム、および、グラフィックカードを含むハードウェア装置を含んだＰＣの他のコンポーネントとを有する。その様なコンポーネントは、明瞭化のために、図３Ａには示されない。

図４は、実施形態の方法の概略を示すフローチャートである。医用画像処理装置２０は、図４の方法を行うように構成される。他の実施形態では、図４の方法を行うために任意の好適な１つまたは複数の装置を用いてよい。

図４の方法のスタートで、画像処理回路３４はコントラストボリューム２を受け取る。コントラストボリューム２は血管造影データを含む。図４の実施形態では、コントラストボリュームは３Ｄ回転血管造影から得られるボリューメトリックデータセットであり、患者の頭部を表すデータを含む。造影剤の導入によるコントラストスキャンにおいて、頭部の血管が強調されている。血管は、コントラストボリューム内で強調されたサブ領域を形成する。すなわち、画像処理回路３４は、被検体に関するコントラストボリューム２を取得する取得部の一例である。また、コントラストボリューム２は、造影画像データの一例である。

他の実施形態では、血管造影データは２Ｄデータでもよい。血管造影データは、２Ｄ蛍光透視から得られるものであってよい。他の実施形態では、血管造影データはＣＴデータでもよい。更なる実施形態では、コントラストボリューム２は、任意の好適なコントラスト強調スキャンプロシージャまたは他の強調形式を用いて得られるスキャンデータを含んでよく、または、当該スキャンデータから得られるものであってもよい。例えば、コントラストボリュームは、磁気共鳴血管造影（ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ａｎｇｉｏｇｒａｐｈｙ：ＭＲＡ）を用いて得られてもよい。いくつかの実施形態では、例えば血管を示すために血液が強調される。いくつかの実施形態では、造影剤が関心器官に蓄積して、具体的な種類の軟組織を画像化してよい。他の実施形態では、例えばバリウム嚥下において消化管を強調するために、造影剤を用いてよい。

画像処理回路３４はコントラストボリューム２をマスクＣＮＮ４０に入力する。マスクＣＮＮ４０は、例えばＵネット（Ｕ－ｎｅｔ）、又は３Ｄ残差Ｕネット（３Ｄ ｒｅｓｉｄｕａｌ Ｕ－ｎｅｔ）などの任意の好適なＣＮＮであってよい。マスクＣＮＮ４０は、コントラストボリュームの入力に与えられるマスクボリュームを予測するようにトレーニングされる。マスクＣＮＮ４０は予測マスクボリューム４２を出力する。予測マスクボリューム４２は、コントラストが存在しないときの患者の頭部を表すことを目的としている。コントラストが強調された血管の部分を形成しない頭部の一部は、マスクボリュームに含まれるように意図している。金属オブジェクトが頭部にあれば、マスクボリュームに含まれるように意図している。しかし、予測マスクボリューム４２がエラーを含む状況もあり得る。例えば、コントラストボリュームに存在しない特徴がマスクＣＮＮにより予測される、または、マスクボリューム内に含まれるべきコントラストボリュームの特徴をマスクＣＮＮが省略してしまう可能性がある。すなわち、画像処理回路３４は、コントラストボリューム２に基づいて予測マスクボリューム４２を生成するマスクＣＮＮ４０に対して、コントラストボリューム２を入力することにより、予測マスクボリューム４２を生成する。予測マスクボリューム４２は、マスク画像データの一例である。また、マスクＣＮＮ４０は、第１の学習済みモデルの一例である。

画像処理回路３４はコントラストボリューム２をＤＳＡ－ＣＮＮ４４に入力する。ＤＳＡ－ＣＮＮ４４は、例えばＵネット（Ｕ－ｎｅｔ）、又は３Ｄ残差Ｕネットなどの任意の好適なＣＮＮであってよい。図４の実施形態では、ＤＳＡ－ＣＮＮ４４はマスクＣＮＮ４０から独立している。ＤＳＡ－ＣＮＮ４４は、コントラストボリュームの入力に与えられるサブトラクションボリュームを予測するようにトレーニングされる。ＤＳＡ－ＣＮＮ４４は、予測サブトラクションボリューム４６を出力する。予測サブトラクションボリューム４６は、骨と軟組織を取り除いて患者頭部のコントラストが強調された血管を表すことを目的としている。予測サブトラクションボリューム４６がエラーを含む状況もあり得る。例えば、コントラストボリュームに存在しない特徴がＤＳＡ－ＣＮＮ４４により予測される、または、ＤＳＡボリューム内に含まれるべきコントラストボリュームの特徴をＤＳＡ－ＣＮＮ４４が省略してしまう可能性がある。コントラストボリュームにある１つまたは複数の特徴が、予測マスクボリューム４２にも予測サブトラクションボリューム４６にも含まれない状況もあり得る。すなわち、画像処理回路３４は、コントラストボリューム２に基づいて予測サブトラクションボリューム４６を生成するＤＳＡ－ＣＮＮ４４に対して、コントラストボリューム２を入力することにより、予測サブトラクションボリューム４６を生成する。予測サブトラクションボリューム４６は、血管画像データの一例である。また、ＤＳＡ－ＣＮＮ４４は、第２の学習済みモデルの一例である。

他の実施形態では、コントラストボリューム２から予測マスクボリューム４２および予測サブトラクションボリューム４６を得るために、任意の好適な方法を用いてよい。予測マスクボリューム４２および予測サブトラクションボリューム４６を得るために、任意の好適な１つまたは複数のトレーニングされたモデルを用いてよい。いくつかの実施形態では、当該モデルはＣＮＮでなくてもよい。いくつかの実施形態では、当該モデルは発生モデルであってよい。予測マスクボリューム４２および予測サブトラクションボリューム４６を得るために、例えば条件付き敵対的生成ネットワーク（ｃｏｎｄｉｔｉｏｎａｌ ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋ）からの生成モデルを用いてよい。生成モデルとは、マスク画像データ又は血管画像データを生成する学習済みモデルである。すなわち、造影画像データに基づいてマスク画像データを生成する第１の学習済みモデルは、条件付き敵対的生成ネットワーク（ｃｏｎｄｉｔｉｏｎａｌ ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋ）により生成された学習済みモデルであってもよい。また、造影画像データに基づいて血管画像データを生成する第２の学習済みモデルは、条件付き敵対的生成ネットワーク（ｃｏｎｄｉｔｉｏｎａｌ ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋ）により生成された学習済みモデルであってもよい。

マスクＣＮＮ４０から得られる予測マスクボリューム４２と、ＤＳＡ－ＣＮＮ４４から得られる予測サブトラクションボリューム４６は、初期予測または中間予測として説明されて良い。

予測マスクボリューム４２と予測サブトラクションボリューム４６は、最適化回路３６へ渡される。最適化回路３６は、予測マスクボリューム４２と予測サブトラクションボリューム４６を入力として用いて制約付き最適化プロシージャ４８を行う。すなわち、最適化回路３６は、予測マスクボリューム４２と予測サブトラクションボリューム４６と、少なくとも１つの制約とに基づいて制約付きサブトラクションボリューム５２を生成する。制約付き最適化プロシージャ４８は、少なくとも１つの制約の一例である。制約付きサブトラクションボリューム５２は、制約付き血管画像データの一例である。画像処理回路３４及び最適化回路３６は、生成部の一例である。なお、本実施形態は、画像処理回路３４と最適化回路３６とは、別々の回路であるが、一つの回路であってもよいし、３つ以上に分かれていてもよい。

本実施形態では、制約付き最適化プロシージャは２つの制約を有する最適化プロシージャを含む。すなわち、最適化回路３６は、少なくとも１つの制約を、予測サブトラクションボリューム４６と、予測マスクボリューム４２とに適用することを含む。言い換えると、最適化回路３６は、少なくとも１つの制約を適用することは、予測マスクボリューム４２と予測サブトラクションボリューム４６に基づいて最適化プロシージャを行うこと含む。

第１の制約は、コントラストボリュームから導かれるマスクボリュームと、コントラストボリュームから導かれるサブトラクションボリュームとを加算すると、オリジナルのコントラストボリュームになるべきこと、である。当該ボリューム内の複数のロケーションのそれぞれにおいて、予測マスクボリュームにおける当該ロケーションの強度と予測サブトラクションボリュームにおける当該ロケーションの強度を加算すると、コントラストボリュームにおける当該ロケーションの強度が得られなければならない。コントラストボリューム２と、予測マスクボリューム４２と、予測サブトラクションボリューム４６とのそれぞれが、解剖領域内の複数のロケーションに対応する複数のロケーションそれぞれにおいて個別の強度を含む。本実施形態では、第１の制約がボクセルワイズ加算に適用される。コントラストボリュームの所与のボクセルの強度値は、マスクボリュームにおける当該ボクセルの強度値とサブトラクションボリュームにおける当該ボクセルの強度値との合計に等しくなければならない。言い換えると、少なくとも１つの制約は、第１の制約に基づく、制約付きマスクボリューム５０の強度と、制約付きサブトラクションボリューム５２の強度との合計がコントラストボリューム２の強度に対応することである。第１の制約は、少なくとも１つの制約の一例である。また、制約付きマスクボリューム５０は、制約付きマスク画像データの一例である。第１の制約及び第２の制約は、少なくとも１つの制約の一例である。

第２の制約は、当該ボリュームそれぞれにおける全てのロケーションの全強度値が非マイナスであるべきこと、である。第２の制約は、複数のロケーションごとの各強度が非マイナスであることを保証するものである。本実施形態では、マスクボリュームの各ボクセルは非マイナスの強度値を有さなければならなく、サブトラクションボリュームの各ボクセルは非マイナスの強度値を有さなければならない。他の実施形態では、所定の強度値範囲が存在する。ボリュームの強度値は、各ボリュームにおける全ての強度値が当該所定の範囲に収まるように制約されている。最小強度値を定めてもよい、例えば、現実のボリューム取得で取得可能な最小値またはコントラストボリュームに存在する最小値などがある。最大強度値を定めてもよい、例えば、現実のボリューム取得で取得可能な最大値またはコントラストボリュームに存在する最大値などがある。全ての予測強度値が収まらなければならない所定範囲を設定するために、最小強度値と最大強度値を用いてよい。第２の制約は、当該制約に基づく制約付きマスクボリューム５０の強度と、制約付きサブトラクションボリューム５２の強度と、コントラストボリューム２の強度とが非マイナスであることである。ここで、コントラストボリューム２、予測サブトラクションボリューム４６、マスク画像データの一例である予測マスクボリューム４２、制約付きマスクボリューム５０、及び制約付きサブトラクションボリューム５２は、３次元のボリュームデータであってもよいし、ボリュームデータの各ボクセルであってもよい。すなわち、制約付きマスクボリューム５０の強度と、制約付きサブトラクションボリューム５２の強度と、コントラストボリューム２の強度とは、各ボクセル値の強度（輝度値）のことであってもよい。さらに、コントラストボリューム２、予測サブトラクションボリューム４６、マスク画像データの一例である予測マスクボリューム４２、制約付きマスクボリューム５０、及び制約付きサブトラクションボリューム５２の強度は、ボリュームデータをレンダリング処理して得られた２Ｄデータの各ピクセルの強度であってもよい。即ち、制約付きマスクボリューム５０に基づく２Ｄデータの強度と、制約付きサブトラクションボリューム５２に基づく２Ｄデータの強度と、コントラストボリューム２に基づく２Ｄデータの強度とは、各２Ｄデータのピクセルの輝度値であってもよい。また、コントラストボリューム２、予測マスクボリューム４２、予測サブトラクションボリューム４６は、２次元のＸ線画像データであってもよい。また、コントラストボリューム２は、Ｃアーム１０１５を備えたＸ線診断装置１０１０により取得されたＸ線画像データであってもよい。

制約付き最適化プロシージャ４８は、第１および第２の制約を満たしつつ、マスクＣＮＮ４０により予測される予測マスクボリューム４２とＤＳＡ－ＣＮＮ４４により予測される予測サブトラクションボリューム４６に可能な限り近いマスクおよびサブトラクションボリュームを計算するように設計される。最適化プロシージャは、予測サブトラクションボリューム４６に可能な限り最も近いサブトラクションボリュームであって第１の制約及び第２の制約を満たすものをみつけることと、可能な限り最も近いサブトラクションボリュームを制約付きサブトラクションボリューム５２として指定すること、を含む。

図４の実施形態に従った制約付き最適化プロシージャを説明する。他の実施形態では、異なる最適化プロシージャを使用してよい。

制約付き最適化プロシージャへの入力は、Ｃとして示されるコントラストボリューム２、Ｍ^Ｐとして示される予測マスクボリューム４２、Ｓ^Ｐとして示される予測サブトラクションボリューム４６である。典型的には、数式（１）であり、Ｍ^ＰとＳ^Ｐとは対応するサイズである。

制約付き最適化への出力として、Ｍ^＊として示される制約付きマスクボリューム５０と、Ｓ^＊として示される制約付きサブトラクションボリューム５２を計算することが望ましい。制約付きマスクボリューム５０は、初期の予測マスクボリューム４２の改良版を構成するため、改良マスクボリュームとしても説明される。制約付きサブトラクションボリューム５２は、初期の予測サブトラクションボリューム４６の改良版を構成するため、改良サブトラクションボリュームとしても説明される。制約付きマスクボリューム５０と制約付きサブトラクションボリューム５２は、最終マスクボリュームと最終サブトラクションボリュームとしても説明されることがある。

第１の制約は、全てのボクセルにおいて、マスクボリュームの最終予測（Ｍ^＊）である制約付きマスクボリューム５０と、サブトラクションボリュームの最終予測（Ｓ^＊）である制約付きサブトラクションボリューム５２との合計が、オリジナルのコントラストボリューム２であるＣに等しいことである。ボクセルを指定するためにインデックスｉが用いられる。

制約付きマスクボリューム５０と制約付きサブトラクションボリューム５２は、制約を適用せずに得られた予測マスクボリューム４２と予測サブトラクションボリューム４６に可能な限り近いことが望ましい。

変数σ_ｉが導入される。ここでは、数式（３）である。第１の制約に従う予測を得るために、マスクおよびサブトラクション強度は、新しい変数σ_ｉに関して次のように記述される。

下記の制約付き最適化問題を記述してよい。制約付き最適化を解くことで、制約に従った、予測マスクボリューム４２と予測サブトラクションボリューム４６に可能な限り近いマスクボリュームとサブトラクションボリュームが得られる。

本実施形態では、２－ノルムが選択されている。他の実施形態では、任意の好適なノルムを用いてよい。最適化プロシージャの目的は、予測マスクボリューム４２と制約付きサブトラクションボリューム５２との差分、および予測サブトラクションボリューム４６と制約付きサブトラクションボリューム５２の差分の２－ノルムの最適化を含む。

２－ノルムが選択されているため、当該問題は、σ_ｉに関するボックス制約をもつ下記の二次式のミニマイザを求めることに帰着する。

当該二次式の主係数数式（８）であるため、ミニマイザは一意であり、存在することが保証されている。解析解を導いてもよい。σ_ｉについて微分係数を取る。

数式（９）をゼロに設定し、簡単化し、制約を適用すると次の数式（１０）が与えられる。

数式（１０）を数式（５）に代入し、最終の制約付きサブトラクション予測と制約付きマスク予測を得る。

図４の実施形態では、σ_ｉの値はボクセルごとに異なる。σ_ｉの値は全て、独立している。他の実施形態では、σ_ｉの値は独立していなくてもよい。決定されたσ_ｉの値に対して、例えば出力の鮮鋭化または視覚の改良などの後処理を行ってよい。

上に具体的なアルゴリズムを記載したが、他の実施形態では、上述のアルゴリズムとは異なるアルゴリズムであってよい。任意の好適なアルゴリズムを用いてよい。

最適化回路３６は、上述した最適化プロシージャを用いて得られた制約付きマスクボリューム５０であるＭ^＊を出力する。最適化回路３６は、上述した最適化プロシージャを用いて得られた制約付きサブトラクションボリューム５２であるＳ^＊を出力する。すなわち、最適化回路３６は、制約付きサブトラクションボリューム５２を得るように更に構成される。

コントラストボリューム２と、制約付きマスクボリューム５０と、制約付きサブトラクションボリューム５２とが、表示回路３８に与えられる。表示回路３８は、コントラストボリューム２から得られる画像をユーザに表示する第１の表示タスク５４を行う。例えば、任意の好適なレンダリング方法を用いてコントラストボリューム２のデータをレンダリングし、ディスプレイスクリーン２６上でユーザに表示してよい。

表示回路３８は、制約付きマスクボリューム５０から得られる画像をユーザに表示する第２の表示タスク５６を行う。例えば、任意の好適なレンダリング方法を用いて制約付きマスクボリューム５０のデータをレンダリングし、ディスプレイスクリーン２６上でユーザに表示してよい。

表示回路３８は、制約付きサブトラクションボリューム５２から得られる画像をユーザに表示する第３の表示タスク５８を行う。例えば、任意の好適なレンダリング方法を用いて制約付きサブトラクションボリューム５２のデータをレンダリングし、ディスプレイスクリーン２６上でユーザに表示してよい。

他の実施形態では、レンダリング画像の任意の好適な組み合わせをユーザに表示してよい。

図４の方法は、マスクレスＤＳＡ方法を提供する。コントラストボリュームは、回転血管造影を用いて得られる。２つのトレーニングされたモデルと、最適化プロシージャを用いて回転血管造影データからＤＳＡデータを予測し、血管病変を可視化するためにＤＳＡデータを用いてよい。ＤＳＡはマスクを取得せずにコントラスト強調ボリュームから予測される。これにより、ワークフローが迅速化し、コントラストデータと非コントラストデータの両方を取得する伝統的なサブトラクション法と比較して放射線量を半減し得る。ＤＳＡはボリューム間のレジストレーションを必要とせずにコントラストボリュームから予測されるため、ＤＳＡにおけるミスレジストレーション・アーチファクトが阻止され得る。モーション・アーチファクトがなくなり得る。

サブトラクションを使用してコントラストおよびマスクボリュームからＤＳＡボリュームを生成する代わりに、単一のコントラストボリュームからマスクおよびＤＳＡボリュームを予測するようにＣＮＮがトレーニングされる。マスクボリュームとコントラストボリュームは、別々に予測される。その後、制約付き最適化を解くことにより、２つの予測を組み合わせる。制約付き最適化プロシージャは、最終の予測マスクおよび最終の予測ＤＳＡが加算されると、オリジナルの測定されたコントラストとなることを保証するように意図されている。

図４の最適化プロシージャは、最適化を行わずにマスクＣＮＮ４０，ＤＳＡ－ＣＮＮ４４の出力を提示する場合に比べて、数多くの改良点をもたらすだろう。最適化なしのマスクＣＮＮ４０，ＤＳＡ－ＣＮＮ４４の出力は、マスクＣＮＮ４０，ＤＳＡ－ＣＮＮ４４の生の出力として記載されることがあり、図４の実施形態では予測マスクボリューム４２と予測サブトラクションボリューム４６を含む。

最適化がある１つのモデルからのエラーを修正するため、精度が向上するだろう。２つの独立したＣＮＮを組み合わせることにより、一方のＣＮＮによる誤りが他方のＣＮＮにより修正されるため、精度が向上するだろう。

結果により解釈が容易になるだろう。ＣＮＮが存在しない画像構造をサブトラクションボリュームまたはマスクボリュームに導入する可能性が、低減または除去され得る。最適化は、コントラストボリュームで観測される減衰係数が保存されることを保証してよい。臨床医は、ＣＮＮ単独の出力（例えば、図２に示す方法の出力）よりも図４の方法の出力をより厚く信頼することができる。

ＣＮＮが誤りを犯した場合、臨床医は結果を確認することでそのような誤りを容易に解釈および理解し得る。例えば、制約付きＤＳＡにおいて血管の一部が欠落していれば、欠落部分は制約付きマスクにある。

図４の実施形態では、制約付き最適化問題に閉形式解を使用するため、極めて迅速に、例えば１秒かからずに計算し得る。

図５は、異なるボリュームからレンダリングされた複数の体軸、冠状、矢状の最大値投影（ｍａｘｉｍｕｍ ｉｎｔｅｎｓｉｔｙ ｐｒｏｊｅｃｔｉｏｎ：ＭＩＰ）図を示す。画像６０，６２，６４の第１のセットは、コントラストボリュームである入力ボリュームの体軸、冠状、矢状図をそれぞれ含む。入力ボリュームは、解剖領域のコントラスト強調スキャンから得られる。画像７０，７２，７４の第２のセットは、同一解剖領域の非コントラストスキャンから得られる現実の（グラウンドトゥルース）マスクボリュームの体軸、冠状、矢状図をそれぞれ含む。画像７２の円７６，７８は、現実のマスクボリュームにおける２つの関心領域をハイライトしている。

画像８０，８２，８４の第３のセットは、予測マスクボリュームの体軸、冠状、矢状図をそれぞれ含む。画像６０，６２，６４を得るために使用されるコントラスト強調ボリュームからマスクボリュームを予測するために、３Ｄ残差Ｕネットが使用された。画像８２の円８６，８８は、画像７２の円７６，７８により示されるものと同一の関心領域をハイライトしている。コントラストが強調された血管のうち数か所のセクションが、間違って画像８２の円８６，８８に示されていることがわかるだろう。コントラストが強調された血管が現実のマスクボリュームに存在することはあり得ないため、コントラストが強調された血管が予測マスクボリュームに存在することは明らかにエラーである。

画像９０，９２，９４の第４のセットは、図４を参照して上述した最適化プロシージャの出力である制約付きマスクボリュームの体軸、冠状、矢状図をそれぞれ含む。画像８０，８２，８４を得るために使用される予測マスクボリュームは、制約付き最適化において独立したＤＳＡ予測（図５に図示せず）と組み合わされた。画像９２の円９６，９８は、画像７２の円７６，７８により示されるものと同一の関心領域をハイライトしている。画像９２の円９６，９８によりハイライトされた部分は、画像８２よりも画像７２に類似することがわかるだろう。制約付き最適化の出力は、最適化なしのＣＮＮの出力よりも現実のデータに類似している。制約付き最適化は、予測マスクボリュームのエラーを低減または除去し得る。

図４の実施形態では、制約は最適化プロシージャの一部として数学的に実装される。他の実施形態では、予測サブトラクションボリュームおよび／または予測マスクボリュームに関する制約を任意の好適な方法で実装して良い。例えば、いくつかの実施形態では、制約を機械学習アーキテクチャの一部として実装して良い。画像処理回路３４は、少なくとも１つの制約を適用することを、予測マスクボリューム４２の生成、および／または予測サブトラクションボリューム４６の生成の一部として行う。

ある実施形態では、サブトラクションデータとマスクデータは、複数の層を含むＣＮＮにより予測される。１つまたは複数の制約がＣＮＮの１つまたは複数の層に実装され、ＣＮＮは制約が既に適用されたサブトラクションデータとマスクデータを出力する。ＣＮＮにより出力されるサブトラクションデータとマスクデータは、既に制約に適合しており、後続処理を必要としないかもしれない。画像処理回路３４は、マスクＣＮＮ４０内で第１の制約又は第２の制約を適用すること含む。画像処理回路３４は、ＤＳＡ－ＣＮＮ４４内で第１の制約又は第２の制約を適用すること含む。

他の実施形態では、サブトラクションデータおよび／またはマスクデータを予測するために任意の１つまたは複数のトレーニングされたモデルを使用してよく、１つまたは複数の制約を当該１つまたは複数のトレーニングされたモデルに任意の好適な方法で実装してよい。

図４の実施形態では、マスクボリュームを予測するためにマスクＣＮＮを使用し、サブトラクションボリュームを予測するためにＤＳＡ－ＣＮＮが使用される。マスクＣＮＮとＤＳＡ－ＣＮＮは、互いに独立している。マスクＣＮＮ４０は、第１の畳み込みニューラルネットワーク（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ：ＣＮＮ）を含み、ＤＳＡ－ＣＮＮ４４は第２の独立したＣＮＮを含む。

他の実施形態では、マスクボリュームとサブトラクションボリュームの両方を予測するために、例えばマルチヘッドＣＮＮなどの単一のトレーニングされたモデルを使用する。そのような実施形態のいくつかにおいて、マスクボリュームとサブトラクションボリュームに関する１つまたは複数の制約が、マルチヘッドＣＮＮに組み込まれる。ＣＮＮの更なる出力を与えるように、ＣＮＮ内で変数σの値を予測してよい。

いくつかの実施形態では、サブトラクションボリュームを予測するために、２つ以上のトレーニングされたモデルを使用する。当該トレーニングされたモデルは、異なるタイプのトレーニングされたモデルであってよく、例えば、異なるタイプのＣＮＮであってよい。モデルは、異なるトレーニングデータセットでトレーニングされてよい。最適化回路３６は、当該２つ以上のトレーニングされたモデルからの出力を組み合わせるように構成される。制約付き最適化プロシージャは、当該２つ以上のトレーニングされたモデルから、サブトラクションボリュームの２つ以上の初期予測を受け付けるように修正される。同様に、いくつかの実施形態では、マスクボリュームを予測するために、２つ以上のトレーニングされたモデルを使用してよい。制約付き最適化プロシージャは、マスクボリュームを予測するようにトレーニングされている当該２つ以上のトレーニングされたモデルから、マスクボリュームの２つ以上の初期予測を受け付けるように修正される。

状況によっては、あるトレーニングされたモデルは、マスクすべき金属オブジェクトと、マスクすべきではない強調された血管との区別が困難である場合がある。典型的には金属オブジェクトは、コントラストボリュームにおいて暗く見える。トレーニングされたモデルは、全ての暗い領域を血管に分類するようにトレーニングされることがあり、これは金属オブジェクトも間違って血管に分類され得ることを意味する。

いくつかの実施形態では、画像処理回路３４は追加のトレーニングされたモデルを使用して、コントラストボリューム内の金属オブジェクトをセグメンテーションする。セグメンテーションされた金属オブジェクトのボクセルは金属としてラベル付けられる。その後、最適化回路３６は、金属オブジェクトが制約付きマスクボリュームに表れ、制約付きサブトラクションボリュームには表れないことを保証する。例えば、最適化回路３６は、金属としてラベル付けられた各ボクセルのσ_ｉを０に設定してよい。これは、金属としてラベル付けられたボクセルは、予測マスクボリュームに対してのみ寄与し、予測サブトラクションボリュームに対しては寄与しないことを意味する。画像処理回路３４はコントラストボリューム２内の少なくとも１つの金属オブジェクトのセグメンテーションを得るために、追加のトレーニングされたモデルをコントラストボリューム２に適用し、少なくとも１つの金属オブジェクトが予測マスクボリューム４２において表現されることを保証するように、セグメンテーションを用いる。

上述の実施形態では、造影剤が解剖領域の血管を強調するように造影剤ありで当該解剖領域をスキャンして、コントラスト強調ボリュームを得る。その後、コントラスト強調スキャンにより得たデータは、造影剤を使用しないマスクボリュームと、コントラスト強調ボリュームと当該マスクボリュームとの差分を表すサブトラクションボリュームとを予測するために用いられる。

他の実施形態では、解剖領域の血液を強調するために、任意の好適な方法を用いてよい。解剖領域のスキャンデータは、血液が強調された状態で得られる。その後、スキャンで得た強調された血液を有するデータは、血液強調を使用しないマスクボリュームと、コントラスト強調ボリュームと当該マスクボリュームとの差分を表すサブトラクションボリュームとを予測するために用いられる。

ある実施形態では、処理回路を備える医用画像処理装置が提供される。当該処理回路は、測定された血管造影データを受け取り；制約なしマスク（非強調）およびサブトラクション（強調された血管のみ）画像を予測し；ボクセル強度が非マイナスであり予測されたマスクおよびサブトラクション強度の合計が対応するボクセルで測定された強度になるように、制約付き最適化問題の解により最終マスクおよびサブトラクション予測を決定する、ように構成される。

サブトラクションおよびマスクの初期予測に、２つのＣＮＮを用いてよい。

サブトラクションおよびマスクの初期予測に、少なくとも２つのＣＮＮを用いてよい。複数の初期予測を受け付けるように制約付き最適化問題を修正してよい。

サブトラクションおよびマスクの初期予測に、マルチヘッドＣＮＮを用いてよい。

最適化目的は、予測された制約付きマスクおよびサブトラクションの差分の２－ノルムであってよい。

撮像モダリティは、３Ｄ回転血管造影法であってよい。

撮像モダリティは、２Ｄ蛍光透視法であってよい。

コントラスト強調ボリューム内の金属オブジェクトをセグメンテーションするために追加のＣＮＮを適用し、金属オブジェクトがマスクボリュームに置かれることを保証してよい。

ある実施形態では、医用画像処理方法は、造影剤を含むボリュームを表すスキャンデータを含む、または、当該スキャンデータから得られる血管造影データセットを受け取ることと、トレーニングされたモデルを用いて、当該血管造影データセットからマスク画像データを予測することと、当該トレーニングされたモデルまたは更なるトレーニングされたモデルを用いて、同一の血管造影データセットからサブトラクション画像データを予測することと、当該マスク画像データと当該サブトラクション画像データを、少なくとも１つの制約に従う最適化プロシージャに基づいてリファインすること、を含む

当該少なくとも１つの制約は、ボクセル強度が非マイナスであることを保証することを含んでよい。当該少なくとも１つの制約は、各画像ロケーションにおいて、予測されたサブトラクション画像データと、予測されたマスク画像データの強度の合計が、血管造影データにおける対応ロケーションの強度に対応することを保証することを含んでよい。

当該マスク画像データは、造影剤なしの当該ボリュームの少なくとも一部を表してよい。当該マスク画像データは、造影剤を含む当該ボリュームを表すスキャンデータを含む血管造影データセットから予測されてよい。当該サブトラクション画像データは、造影剤を含まない画像データからの、造影剤を含むマスク画像データのサブトラクションを表し、当該サブトラクション画像データはまた、造影剤を含む当該ボリュームを表すスキャンデータを含む血管造影データセットから予測されてよい。

当該マスク画像データを予測するために第１の畳み込みニューラルネットワーク（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ：ＣＮＮ）を用いてよく、当該サブトラクション画像データを予測するために第２のＣＮＮを用いてよい。

最適化プロシージャは、複数の初期予測を受け付けるように構成されてよい。

当該サブトラクションデータおよび当該マスクデータの初期予測に、マルチヘッドＣＮＮを用いてよい。

当該最適化プロシージャの目的は、予測された制約付きマスクデータおよびサブトラクションデータの差分の２－ノルムの最適化を含んでよい。

スキャンデータは、３Ｄ回転血管造影データを含んでよい。

スキャンデータは、２Ｄ蛍光透視データを含んでよい。

スキャンデータは、ＭＲデータを含んでよい。

金属オブジェクトをセグメンテーションするために追加のＣＮＮを適用し、金属オブジェクトがマスクデータにおいて表されることを保証してよい。

特定の回路が本明細書において説明されているが、代替の実施形態において、これらの回路の内の１つまたは複数の機能を、１つの処理リソースまたは他のコンポーネントによって提供することができ、または、１つの回路によって提供される機能を、２つまたはそれより多くの処理リソースまたは他のコンポーネントを組み合わせることによって提供することができる。１つの回路への言及は、当該回路の機能を提供する複数のコンポーネントを包含し、そのようなコンポーネントがお互いに隔たっているか否かにかかわらない。複数の回路への言及は、それらの回路の機能を提供する１つのコンポーネントを包含する。

所定の実施形態が説明されているが、これらの実施形態は、例示のためにのみ提示されており、発明の範囲を限定することは意図されない。実際は、本明細書において説明された新規な方法およびシステムは、様々な他の形態で具体化することができる。更に、本明細書において説明された方法およびシステムの形態における様々な省略、置き換え、および、変更が、発明の要旨を逸脱することなくなされてよい。添付の特許請求の範囲の請求項およびそれらに均等な範囲は、発明の範囲にはいるような形態および変更をカバーすると意図される。

また、本開示の実施形態は、以下の付記に記載された通りであってもよい。

（付記１）
処理回路を備える医用画像処理装置であって、前記処理回路は、
サブ領域が強調された解剖領域を表すスキャンデータを含む、または、前記スキャンデータから得られる医用画像データを受け取ることと、
トレーニングされたモデルを用いて、前記医用撮像データからマスクデータを予測することであり、前記マスクデータは前記サブ領域の強調がない前記解剖領域を表し、
前記トレーニングされたモデルまたは更なるトレーニングされたモデルを用いて、前記同一の医用画像データからサブトラクションデータを予測することであり、前記サブトラクションデータは前記同一の解剖領域を表す、
を行うように構成され、
前記処理回路は、制約付きサブトラクションデータを得るために少なくとも１つの制約を適用するように更に構成されてもよい。
（付記２）
前記少なくとも１つの制約を適用することは、前記少なくとも１つの制約を前記予測されたサブトラクションデータと予測されたマスクデータに適用することを含んでもよい。
（付記３）
前記少なくとも１つの制約を適用することは、前記マスクデータと前記サブトラクションデータに基づいて最適化プロシージャを行うこと含んでもよい。
（付記４）
前記処理回路は制約付きマスクデータを得るように更に構成されてもよい。
（付記５）
前記医用画像データと、前記マスクデータと、前記サブトラクションデータとのそれぞれが、前記解剖領域内の複数のロケーションに対応する複数のロケーションそれぞれにおいて個別の強度を含み、
前記少なくとも１つの制約は、前記複数のロケーションごとに、前記サブトラクションデータにおける強度と前記マスクデータにおける強度の合計が前記医用画像データにおける強度に対応することを保証するものであってもよい。
（付記６）
前記医用画像データと、前記マスクデータと、前記サブトラクションデータとのそれぞれが、前記解剖領域内の複数のロケーションに対応する複数のロケーションそれぞれにおいて個別の強度を含み、
前記少なくとも１つの制約は、前記複数のロケーションごとの各強度が非マイナスであることを保証するものであってもよい。
（付記７）
前記医用画像データと、前記マスクデータと、前記サブトラクションデータとのそれぞれが、前記解剖領域内の複数のロケーションに対応する複数のロケーションそれぞれにおいて個別の強度を含み、
前記少なくとも１つの制約は、前記複数のロケーションごとの各強度が所定の強度値範囲内にあることを保証するものであってもよい。
（付記８）
前記少なくとも１つの制約を適用することは、前記トレーニングされたモデル内で前記少なくとも１つの制約を適用すること含んでもよい。
（付記９）
前記トレーニングされたモデルは複数の層を含み、前記少なくとも１つの制約を適用することは、前記少なくとも１つの制約を前記複数の層のうちの少なくとも１つの層を使って適用することを含んでもよい。
（付記１０）
前記少なくとも１つの制約を適用することは、前記マスクデータの前記予測および／または前記サブトラクションデータの前記予測の一部として行われてもよい。
（付記１１）
前記サブトラクションデータを予測するために、更なるトレーニングされたモデルが用いられてもよい。
（付記１２）
前記トレーニングされたモデルは、第１の畳み込みニューラルネットワーク（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ：ＣＮＮ）を含み、前記更なるトレーニングされたモデルは第２の独立したＣＮＮを含んでもよい。
（付記１３）
前記マスクデータを予測することは、少なくとも２つの異なるトレーニングされたモデルを用いることを含み、および／または、前記サブトラクションデータを予測することは、少なくとも２つの異なるトレーニングされたモデルを用いることを含んでもよい。
（付記１４）
前記トレーニングされたモデルはマルチヘッドＣＮＮを含み、前記トレーニングされたモデルは前記マスクデータと前記サブトラクションデータの両方の前記予測において用いられてもよい。
（付記１５）
前記最適化プロシージャは、前記予測されたサブトラクションボリュームに可能な限り最も近いサブトラクションボリュームであって前記少なくとも１つの制約を満たすものをみつけることと、前記可能な限り最も近いサブトラクションボリュームを前記制約付きサブトラクションボリュームとして指定すること、を含んでもよい。
（付記１６）
前記最適化プロシージャの目的は、予測されたマスクデータと制約付きマスクデータとの差分および予測されたサブトラクションデータと制約付きサブトラクションデータの差分の２－ノルムの最適化を含んでもよい。
（付記１７）
前記処理回路は、
前記医用画像データ内の少なくとも１つの金属オブジェクトのセグメンテーションを得るために、追加のトレーニングされたモデルを前記医用画像データに適用し、
前記少なくとも１つの金属オブジェクトが前記マスクデータにおいて表現されることを保証するように、前記セグメンテーションを用いる、
ように更に構成されてもよい。
（付記１８）
前記スキャンデータは、造影剤ありの前記解剖領域を表し、前記サブ領域は前記造影剤の存在により前記医用画像において強調され、前記マスクデータは前記造影剤なしの前記解剖領域を表してもよい。
（付記１９）
前記スキャンデータは、３Ｄ回転血管造影データと、２Ｄ蛍光透視データと、ＣＴデータと、ＭＲデータとのうちの少なくとも１つを含んでもよい。
（付記２０）
前記スキャンデータは、コーンビームＣアーム取得から得られてもよい。
（付記２１）
サブ領域が強調された解剖領域を表すスキャンデータを含む、または、前記スキャンデータから得られる医用画像データを受け取ることと、
トレーニングされたモデルを用いて、前記医用撮像データからマスクデータを予測することであり、前記マスクデータは前記サブ領域の強調がない前記解剖領域を表し、
前記トレーニングされたモデルまたは更なるトレーニングされたモデルを用いて、前記同一の医用画像データからサブトラクションデータを予測することであり、前記サブトラクションデータは前記同一の解剖領域を表し、
制約付きサブトラクションデータを得るために、少なくとも１つの制約を適用すること、
を含む医用画像処理方法。
（付記２２）
前記生成部は、前記マスク画像データと、前記血管画像データと、少なくとも一つの制約とに基づいて、制約付き血管画像データと、制約付きマスクデータとを生成する。
（付記２３）
前記第１の学習済みモデルと、前記第２の学習済みモデルとは、前記同一の解剖領域の医用画像データを処理対象として学習されている。
（付記２４）
前記第１の学習済みモデルは、Ｕネット、又は３Ｄ残差Ｕネット（３Ｄ ｒｅｓｉｄｕａｌ Ｕ－ｎｅｔ）である。
（付記２５）
前記第２の学習済みモデルは、Ｕネット、又は３Ｄ残差Ｕネット（３Ｄ ｒｅｓｉｄｕａｌ Ｕ－ｎｅｔ）である。
（付記２６）
前記第１の学習済みモデルは、条件付き敵対的生成ネットワーク（ｃｏｎｄｉｔｉｏｎａｌ ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋ）からの生成モデルである。
（付記２７）
前記第２の学習済みモデルは、条件付き敵対的生成ネットワーク（ｃｏｎｄｉｔｉｏｎａｌ ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋ）からの生成モデルである。
（付記２８）
少なくとも１つの制約は、造影画像データから導かれるマスク画像データと、造影画像データから導かれる血管画像データとを加算すると、オリジナルの造影画像データになるべきことである。
（付記２９）
造影画像データと、マスク画像データと、血管画像データとは、ボリュームデータである。
（付記３０）
造影画像データと、マスク画像データと、血管画像データとは、２次元のＸ線画像データである。
（付記３１）
造影画像データは、Ｃアームを備えたＸ線診断装置により取得されたＸ線画像データである。
（付記３２）
被検体に関する造影画像データを収集する収集部と、
前記造影画像データに基づいてマスク画像データを生成する第１の学習済みモデルに対して、前記造影画像データを入力することにより、マスク画像データを生成し、
前記造影画像データに基づいて血管画像データを生成する第２の学習済みモデルに対して、前記造影画像データを入力することにより、血管画像データを生成し、
前記マスク画像データと前記血管画像データと、少なくとも１つの制約とに基づいて制約付き血管画像データを生成する生成部と、
を備えるＸ線診断装置。

２ コントラストボリューム
４ マスクボリューム
６ サブトラクション処理
８ ＤＳＡボリューム
１０ ＣＮＮ
１２ ＤＳＡボリューム
２０ 医用画像処理装置
２２ コンピューティング装置
２４ スキャナ
２６ ディスプレイスクリーン
２８ 入力装置
３０ データ記憶部
３２ 処理装置
３４ 画像処理回路
３６ 最適化回路
３８ 表示回路
４０ マスクＣＮＮ
４２ 予測マスクボリューム
４４ ＤＳＡ－ＣＮＮ
４６ 予測サブトラクションボリューム
４８ 制約付き最適化プロシージャ
５０ 制約付きマスクボリューム
５２ 制約付きサブトラクションボリューム

Claims (16)

1. 被検体に関する造影画像データを取得する取得部と、
   前記造影画像データに基づいてマスク画像データを生成する第１の学習済みモデルに対して、前記造影画像データを入力することにより、マスク画像データを生成し、
   前記造影画像データに基づいて血管画像データを生成する第２の学習済みモデルに対して、前記造影画像データを入力することにより、血管画像データを生成し、
   前記マスク画像データと前記血管画像データと、少なくとも１つの制約とに基づいて制約付き血管画像データを生成する生成部と、
   を備える医用画像処理装置。
2. 前記生成部は、前記少なくとも１つの制約を、前記血管画像データと前記マスク画像データとに適用する、
   請求項１に記載の医用画像処理装置。
3. 前記少なくとも１つの制約は、当該制約に基づく制約付きマスク画像データの強度と、前記制約付き血管画像データの強度との合計が前記造影画像データの強度に対応することである、
   請求項１に記載の医用画像処理装置。
4. 前記少なくとも１つの制約は、当該制約に基づく制約付きマスク画像データの強度と、前記制約付き血管画像データの強度と、前記造影画像データの強度とが非マイナスであることである、
   請求項１に記載の医用画像処理装置。
5. 前記生成部は、前記少なくとも１つの制約の適用として、前記マスク画像データと前記血管画像データとに基づいて最適化プロシージャを行う、
   請求項２に記載の医用画像処理装置。
6. 前記最適化プロシージャは、前記マスク画像データと制約付きマスク画像データとの差分、および前記血管画像データと制約付き血管画像データとの差分の２－ノルムの最適化を含む、
   請求項５に記載の医用画像処理装置。
7. 前記生成部は、制約付きマスク画像データを生成する、
   請求項１に記載の医用画像処理装置。
8. 前記造影画像データと、前記マスク画像データと、前記血管画像データとのそれぞれが、解剖領域内の複数のロケーションに対応する複数のロケーションそれぞれにおいて個別の強度を含み、
   前記少なくとも１つの制約は、前記複数のロケーションごとの各強度が非マイナスであることを保証するものである、
   請求項１に記載の医用画像処理装置。
9. 前記生成部は、前記第１の学習済みモデル内および／または前記第２の学習済みモデル内で前記少なくとも１つの制約を適用する、
   請求項１に記載の医用画像処理装置。
10. 前記生成部は、前記少なくとも１つの制約を適用することを、前記マスク画像データの生成、および／または前記血管画像データの生成の一部として行う、
    請求項２に記載の医用画像処理装置。
11. 前記第１の学習済みモデルは、第１の畳み込みニューラルネットワーク（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ：ＣＮＮ）を含み、前記第２の学習済みモデルは第２の独立したＣＮＮを含む、
    請求項１に記載の医用画像処理装置。
12. 前記最適化プロシージャは、前記血管画像データに可能な限り最も近い血管画像データであって前記少なくとも１つの制約を満たすものをみつけることと、前記可能な限り最も近い血管画像データを前記制約付き血管画像データとして指定すること、を含む、
    請求項５に記載の医用画像処理装置。
13. 前記生成部は、
    前記造影画像データに基づいて少なくとも１つの金属オブジェクトを表現する前記マスク画像データを得るために、追加の学習をした第１の学習済みモデルに対して前記造影画像データを入力することにより、前記少なくとも１つの金属オブジェクトが表現された前記マスク画像データを生成する、
    請求項１に記載の医用画像処理装置。
14. 前記造影画像データは、３Ｄ回転血管造影データと、２Ｄ蛍光透視データと、ＣＴデータと、ＭＲデータとのうちの少なくとも１つを含む、
    請求項１に記載の医用画像処理装置。
15. 被検体に関する造影画像データを取得し、
    前記造影画像データに基づいてマスク画像データを生成する第１の学習済みモデルに対して、前記造影画像データを入力することにより、マスク画像データを生成し、
    前記造影画像データに基づいて血管画像データを生成する第２の学習済みモデルに対して、前記造影画像データを入力することにより、血管画像データを生成し、
    前記マスク画像データと前記血管画像データと、少なくとも１つの制約とに基づいて制約付き血管画像データを生成する、
    ことを含む医用画像処理方法。
16. 被検体に関する造影画像データを収集する収集部と、
    前記造影画像データに基づいてマスク画像データを生成する第１の学習済みモデルに対して、前記造影画像データを入力することにより、マスク画像データを生成し、
    前記造影画像データに基づいて血管画像データを生成する第２の学習済みモデルに対して、前記造影画像データを入力することにより、血管画像データを生成し、
    前記マスク画像データと前記血管画像データと、少なくとも１つの制約とに基づいて制約付き血管画像データを生成する生成部と、
    を備えるＸ線診断装置。

Images