JP2022059493A - モデル生成方法、モデル生成装置、画像処理方法及び画像処理装置 - Google Patents

Abstract

【課題】機械学習モデルを利用した診断又は治療のための医療画像の画像処理技術を提供する。【解決手段】モデル生成装置１００において、１つ以上のプロセッサが、生物の解剖学的構造を示す撮像画像と、撮像画像内のオブジェクトを示すオブジェクト画像とから、訓練画像を生成し、訓練画像からオブジェクトを予測する第１オブジェクト予測画像を生成する第１生成モデルを訓練し、訓練画像と第１オブジェクト予測画像とから、解剖学的構造を予測する構造予測画像と、第２オブジェクト予測画像とを生成する第２生成モデルを訓練する。【選択図】図２

Description

本開示は、モデル生成方法、モデル生成装置、画像処理方法及び画像処理装置に関する。

現在の医療分野において、Ｘ線検査、ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）検査、ＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）検査、ＰＥＴ（Ｐｏｓｉｔｒｏｎ Ｅｍｉｓｓｉｏｎ Ｔｏｍｏｇｒａｐｈｙ）検査、ＲＩ（Ｒａｄｉｏ Ｉｓｏｔｏｐｅ）検査等の画像診断検査が必要となっている。例えば、画像診断検査によって病変を検出又は特定することが可能である。また、カテーテル治療では、医師はイメージング装置によって患者の体内を撮像した画像を見ながら、カテーテル、ガイドワイヤー、ステント等の医療デバイスを患者の体内に挿入し、病変を治療する。

一方、画像処理技術の進歩によって、イメージング装置によって撮像された画像に対して様々な画像処理を実行し、臓器、器官、部位、組織等の特定の解剖学的構造にフォーカスした画像を生成することが可能になっている。

米国特許第７，５４５，９６５号公報

https://www.konicaminolta.jp/healthcare/imaging_service/service_bone-suppression.html http://www.sart.jp/wp/wp-content/uploads/2016/11/8.Gijutukaisetu.pdf https://openreview.net/forum?id=rkgHu5GglV https://link.springer.com/content/pdf/10.1007%2F978-3-030-32226-7_31.pdf

本開示の課題は、機械学習モデルを利用した診断又は治療のための医療画像の画像処理技術を提供することである。

上記課題を解決するため、本開示の一態様は、
１つ以上のプロセッサが、生物の解剖学的構造を示す撮像画像と、前記撮像画像内のオブジェクトを示すオブジェクト画像とから、訓練画像を生成し、
前記１つ以上のプロセッサが、前記訓練画像から前記オブジェクトを予測する第１オブジェクト予測画像を生成する第１生成モデルを訓練し、
前記１つ以上のプロセッサが、前記訓練画像と前記第１オブジェクト予測画像とから、前記解剖学的構造を予測する構造予測画像と、第２オブジェクト予測画像とを生成する第２生成モデルを訓練する、
モデル生成方法に関する。

本開示の一実施例によるモデル生成装置及び画像処理装置を示す概略図である。 本開示の一実施例によるモデル生成装置を示す概略図である。 本開示の一実施例によるモデル生成装置の機能構成を示すブロック図である。 本開示の一実施例による訓練画像生成処理を示す概略図である。 本開示の一実施例による擬似デバイス画像を示す図である。 本開示の一実施例によるカテーテルの形状例を示す図である。 本開示の一実施例によるカテーテルのモデリング例を示す図である。 本開示の一実施例による第１生成モデルの訓練処理を示す概略図である。 本開示の一実施例による第２生成モデルの訓練処理を示す概略図である。 本開示の一実施例によるモデル訓練処理を示すフローチャートである。 本開示の一実施例による第２生成モデルの訓練処理を示すフローチャートである。 本開示の他の実施例によるモデル生成装置を示す概略図である。 本開示の他の実施例によるモデル生成装置の機能構成を示すブロック図である。 本開示の他の実施例による第３生成モデル及び第４生成モデルの訓練処理を示す概略図である。 本開示の他の実施例によるモデル訓練処理を示すフローチャートである。 本開示の一実施例による第３生成モデルの訓練処理を示すフローチャートである。 本開示の一実施例による第４生成モデルの訓練処理を示すフローチャートである。 本開示の一実施例による訓練済み生成モデルを利用した画像生成処理を示す概略図である。 本開示の一実施例による画像処理装置の機能構成を示すブロック図である。 本開示の他の実施例による訓練済み生成モデルを利用した画像生成処理を示す概略図である。 本開示の他の実施例による画像処理装置の機能構成を示すブロック図である。 本開示の一実施例による画像処理装置のシミュレーション結果を示す図である。 本開示の一実施例によるモデル生成装置及び画像処理装置のハードウェア構成を示すブロック図である。

以下、図面に基づいて本開示の実施の形態を説明する。
［本開示の概略］
以下の実施例では、機械学習モデルを利用した診断又は治療のための医療画像の画像処理装置と、当該機械学習モデルを生成するモデル生成装置とが開示される。

本開示の実施例によるモデル生成装置１００は、図１に示されるように、撮像画像データベース（ＤＢ）５０から取得した撮像画像によって訓練対象の生成モデルを訓練してもよい。撮像画像は、例えば、Ｘ線装置、ＣＴ装置、ＭＲＩ装置、ＲＩ装置などのイメージング装置によって撮像された人間、動物等の生物の解剖学的構造（例えば、臓器、器官、部位、組織など）を表す。モデル生成装置１００は、医療器具（例えば、カテーテル、ガイドワイヤー、ステント、コリメータなど）の擬似器具画像を生成し、取得した撮像画像に生成した擬似器具画像を重畳し、訓練画像を生成してもよい。例えば、モデル生成装置１００は、各種医療器具の様々な形状、向き等に対応する多数の擬似器具画像を生成し、生成した擬似器具画像を撮像画像に重畳し、各撮像画像から様々な訓練画像を生成してもよい。そして、モデル生成装置１００は、生成した訓練画像によって、イメージング装置の撮像範囲内に医療器具を含む入力画像から、生体内に挿入された医療器具を含むと共に、所定の解剖学的構造に着目した生体画像を予測する生成モデルを訓練してもよい。

生成モデルの訓練及び検証が完了すると、訓練済み生成モデルは画像処理装置２００に提供され、画像処理装置２００は、提供された訓練済み生成モデルを利用して、イメージング装置によって撮像された診断又は治療対象の患者の入力画像から、生体内に挿入された医療器具を含むと共に、所定の解剖学的構造に着目した出力画像を生成してもよい。図示された例では、入力画像は、医療器具が挿入された患者の胸部Ｘ線画像であり、出力画像は、骨部を排除すると共に、挿入されている医療器具を強調した胸部Ｘ線画像である。

これにより、医師、技師、研究者などのユーザは、自らが着目する解剖学的構造にフォーカスした生体画像を観察できると共に、体内における医療器具の位置等をより明確に把握することが可能になる。
［モデル生成装置］
次に、図２～１１を参照して、本開示の一実施例によるモデル生成装置１００を説明する。図２は、本開示の一実施例によるモデル生成装置１００を示す概略図である。

図２に示されるように、モデル生成装置１００は、訓練画像によって第１生成モデル１１０及び第２生成モデル１２０を訓練してもよい。

具体的には、第１生成モデル１１０は、人間、動物などの生物の解剖学的構造を示す撮像画像と、当該撮像画像内のオブジェクトを示すオブジェクト画像とを含む訓練画像から、当該オブジェクトを予測する第１オブジェクト予測画像を生成してもよい。第１生成モデル１１０は、例えば、畳み込みニューラルネットワーク等のニューラルネットワークとして実現されてもよい。

例えば、解剖学的構造は、人間、動物などの骨、臓器、器官、部位、組織等であってもよく、オブジェクトは、生体内に挿入されるカテーテル、ガイドワイヤー、ステント等の医療デバイス、撮像に利用されるコリメータ等であってもよい。

例えば、訓練画像は、患者の生体の注目領域を撮像することによって生成される撮像画像と、医療デバイスとコリメータとを含む医療器具を擬似的に示す擬似器具画像との合成画像であってもよい。図示された例では、訓練画像は、擬似器具が重畳された患者の胸部Ｘ線画像である。

第１オブジェクト予測画像は、訓練画像からオブジェクトを抽出することによって生成されてもよい。換言すると、第１オブジェクト予測画像は、訓練画像から解剖学的構造を排除し、訓練画像に含まれるオブジェクトのみを示す画像であってもよい。図示された例では、第１オブジェクト予測画像は、患者に挿入されたカテーテル又はガイドワイヤーと、コリメータとを含むオブジェクトの胸部Ｘ線画像における位置を示す。

一方、第２生成モデル１２０は、訓練画像と第１オブジェクト予測画像とから、解剖学的構造を予測する構造予測画像と第２オブジェクト予測画像とを生成してもよい。第２生成モデル１２０は、例えば、畳み込みニューラルネットワーク等のニューラルネットワークとして実現されてもよい。

例えば、構造予測画像は、訓練画像から所定の解剖学的構造を抽出することによって生成されてもよい。換言すると、構造予測画像は、訓練画像からオブジェクトを排除し、更に訓練画像に含まれる所定の解剖学的構造を抽出又は排除することによって生成される画像であってもよい。図示された例では、構造予測画像は、胸部Ｘ線画像における患者の解剖学的構造のうち骨部を抽出することによって生成された画像である。

第２オブジェクト予測画像は、訓練画像から所定のオブジェクトを抽出又は排除することによって生成されてもよい。換言すると、第２オブジェクト予測画像は、訓練画像から解剖学的構造を排除し、更に訓練画像に含まれる所定のオブジェクトを示す画像であってもよい。図示された例では、第２オブジェクト予測画像は、胸部Ｘ線画像における患者に挿入されたカテーテル等の医療デバイスを抽出することによって生成されたものであり、コリメータは排除されていることに留意されたい。

図３は、本開示の一実施例によるモデル生成装置１００の機能構成を示すブロック図である。図３に示されるように、モデル生成装置１００は、訓練画像生成部１０１、第１生成モデル訓練部１０２及び第２生成モデル訓練部１０３を有してもよい。

訓練画像生成部１０１は、生物の解剖学的構造を示す撮像画像と、オブジェクトを示すオブジェクト画像とから、訓練画像を生成してもよい。具体的には、訓練画像生成部１０１は、撮像画像ＤＢ５０から撮像画像を取得すると、撮像画像から排除対象の解剖学的構造を排除し、排除対象の解剖学的構造を含まない撮像画像を生成してもよい。また、訓練画像生成部１０１は、訓練画像に含めるオブジェクトを擬似的に含むオブジェクト画像を生成し、撮像画像ＤＢ５０から取得した生物の解剖学的構造を示す撮像画像と、当該撮像画像から所定の解剖学的構造を排除した撮像画像とのそれぞれに対してオブジェクト画像を重畳することによって訓練画像を生成してもよい。

例えば、図４に示されるように、撮像画像は３次元ＣＴ画像であってもよく、訓練画像生成部１０１は、シミュレーションを利用して、３次元ＣＴ画像から骨部を排除してもよく、骨部を含む生体画像と骨部を含まない生体画像とをペア画像として取得してもよい。一方、訓練画像生成部１０１は、図示されるように、カテーテル、ガイドワイヤー、ステント等の生体内に挿入される医療デバイスの擬似デバイス画像と、撮像のために利用されるコリメータの擬似コリメータ画像とを生成してもよい。例えば、訓練画像生成部１０１は、図５に示されるように、各種医療デバイスの様々な形状、向き等に対応する多数の擬似デバイス画像を生成してもよい。すなわち、オブジェクト画像は、異なるタイプのオブジェクトを表し、これら異なるタイプのオブジェクトを撮像画像に重畳することによって訓練画像を生成してもよい。

一例として、訓練画像生成部１０１は、ベジエ曲線を利用して擬似デバイス画像を生成してもよい。すなわち、訓練画像生成部１０１は、カテーテル及びガイドワイヤーをベジエ曲線によって表現してもよい。

まず、ベジエ曲線を生成するため、訓練画像生成部１０１は、例えば、３次元空間上に５個の制御点Ｂ_０，・・・，Ｂ_４を設定し、Ｂ_０＝（０，０，０）^Ｔ，Ｂ_４＝（１，１，１）^Ｔとして、Ｂ_１，Ｂ_２，Ｂ_３の各座標を［０，１）の区間内のランダムな点とする。また、４次ベジエ曲線Ｐを、

として定義する。ここで、Ｊ_４，ｉはバーンスタイン基底関数であり、

である。

訓練画像生成部１０１は、区間［０，１］を１０００分割し、曲線Ｐ上の各点

の座標を上述したＰ（ｔ）の式に従って決定する。簡単化のため、３×１００１の行列Ｐを以下のように定義する。

次に、訓練画像生成部１０１は、ｓを［１００，１０００）内のランダムな整数とし、ｓ×ｓ×ｓのサイズの一様な３次元グリッドＤを、各点と行列ｓＰの各列との最短距離として決定する。すなわち、

であり、ここで、０≦ｉ，ｊ，ｋ＜ｓである。

なお、以降の説明から理解されるように、当該値がｒ＋１（ｒについては後述する）以上であるような点ｓＰ_・，ｔについては興味がなく、各点から少なくとも距離ｒ＋１以上離れている点については無視することにし、計算効率の向上を図る。

ｒを２≦ｒ≦５の範囲のランダムな実数とし、Ｄの各要素（ボクセル）に対応する強度Ｉを以下のように定義する。

すなわち、点（ｉ，ｊ，ｋ）が行列ｓＰのある列と十分近い（距離がｒ以下）場合、対応するボクセルＩ_{ｉ，ｊ，ｋ}は１になる。直観的には、ベジエ曲線を中心とした半径ｒ程度の医療デバイスを想定した際、Ｉは各ボクセルがどの程度医療デバイス成分を含むかを表す。従って、Ｉは擬似デバイスをグリッド上で表現したものとみなすことができる。

なお、実際にはより多用な擬似デバイスを生成するため、訓練画像生成部１０１は、例えば、カテーテルからガイドワイヤーが出ている状況を再現するため、点列Ｐをランダムな箇所で二分割し、前半と後半で異なるｒ値を用いてもよい。

また、訓練画像生成部１０１は、カテーテル、化学療法中に留置されるＣＶポート等の円筒形状を再現するため、一定確率で中央を空洞化してもよい。すなわち、訓練画像生成部１０１は、０＜ｒ'＜ｒなる実数ｒ'をランダムに選び、Ｄ_{ｉ，ｊ，ｋ}＜ｒ'である場合、Ｉ_{ｉ，ｊ，ｋ}＝０とする。また、訓練画像生成部１０１は、ガイドワイヤー上のマーカー（数カ所のみ強度が高い点）を再現するため、一定確率で点列Ｐからランダムに１～６個の点を選択し、選択した点の近傍のボクセルのみ強度を加算してもよい。

次に、訓練画像生成部１０１は、取得した擬似デバイス画像を撮像画像に重畳するため、Ｉの一方向への射影を求める。すなわち、訓練画像生成部１０１は、２次元グリッドＬを以下の式に従って決定してもよい。

訓練画像生成部１０１は、決定したＬを撮像画像の画素値に加算し、擬似デバイス画像を撮像画像に重畳してもよい。

しかしながら、本開示による擬似デバイス画像の生成は、ベジエ曲線の利用に限定されず、訓練画像生成部１０１は、他の曲線を利用して擬似デバイス画像を生成してもよい。例えば、訓練画像生成部１０１は、図６に示されるような曲線を利用して擬似デバイス画像を生成してもよい。特に、ベジエ曲線による擬似デバイス画像は、カテーテルからガイドワイヤーが出ていない場合、誤検知を生じさせる確率が高い。すなわち、ガイドワイヤーがない場合、ベジエ曲線はカテーテルの自然なカーブ（ピッグテール）を十分に表現できていない可能性が考えられる。

例えば、カテーテルを全長１の曲線と考え、始点（ピッグテールのない方の端点）から曲線に沿って長さｔ（０≦ｔ≦１）だけ進んだ点の３次元空間内での位置をｘ（ｔ）とする。このとき、曲線上の何れの点も位置の変化率が一定であるため、

が導かれる。

次に、曲率

について考える。静置した場合のカテーテルは、図６に示されるように、始点近くはほぼ直線であり、比較的緩やかな第１カーブと、比較的急峻な第２カーブとを経て終点に達する。この形状を模倣するため、

としたとき、θ（ｔ）を図７に示されるように、２つのガウス関数を用いてモデリングした。実際は、図示されるパラメータａ、ｂ、ｌ、ｐ、ｑ、ｒ、ｓの各値をランダムに選択し、θ（ｔ）自体にガウス分布に従うノイズを加えることによって、擬似デバイスのバリエーションを十分に担保してもよい。

また、初期値については、

と設定する。以上の条件を充足するｘ（ｔ）を１つ求めることによって、カテーテルを模倣した１つの曲線を生成することができる。

式（１）によって、３次元ベクトル

は、原点を中心とする半径１の球面上に常に存在する。時刻ｔの変化に伴って、当該３次元ベクトルがこの球面上を移動すると考えると、微小時間Δｔでの移動については、３次元ベクトル

の移動は、ある回転軸まわりの回転と捉えることができる。このときの回転角は、

となる。回転軸を表す単位ベクトルｕ（ｔ）を以下のように定義する。

すなわち、ｕは常に平面ｘ＝０上にあると仮定している。初期値は、

とし、変化率

を適当な正規分布に従う乱数として生成する。

このようにして、回転軸を設定すると、微小時間Δｔ経過後の３次元ベクトル

の値

は、以下のように記述できる。まず、

を純虚四元数と同一視する。すなわち、

である。ただし、ｉ，ｊ，ｋは四元数単位である。

を回転軸ｕ（ｔ）まわりにノルム

だけ回転させることによって、

は以下のように決定される。

ここで、ｑ（ｔ，Δｔ）は回転を表す単位四元数である。以上の処理を十分小さいΔｔに対して繰り返し計算することによって、任意の時刻ｔについて、

の値が決定される。

最後に、

に従って、任意の時刻ｔについてｘ（ｔ）の値を決定し、カテーテルの形状を再現してもよい。そして、訓練画像生成部１０１は、決定した擬似デバイス画像を撮像画像の画素値に加算し、擬似デバイス画像を撮像画像に重畳してもよい。

また、他の例として、訓練画像生成部１０１は、デバイスが挿入された患者を撮影することによって取得したＸ線画像から当該デバイスを示す画像を抽出し、抽出した画像に基づき擬似デバイス画像を生成してもよい。例えば、デバイスがステントである場合、訓練画像生成部１０１は、患者の体内にあるステントのＸ線画像を抽出し、抽出した画像を台形などの何れかの形状に変形させることによって、３次元画像の奥行きを表現してもよい。

また、更なる他の例として、訓練画像生成部１０１は、３Ｄモデリングソフトウェアを利用してステントなどの比較的単純な繰り返し構造を再現し、擬似デバイス画像を生成してもよい。例えば、ステントの断面方向からの擬似デバイス画像に対応することが可能である。

一方、擬似コリメータ画像については、訓練画像生成部１０１は、図４に示されるように、所定の角度でコーナをカットすることによって、擬似コリメータ画像を生成してもよい。

一実施例では、訓練画像生成部１０１は、撮像画像とオブジェクト画像との一方又は双方に拡張処理を実行し、拡張された撮像画像と拡張されたオブジェクト画像とを重畳し、訓練画像を生成してもよい。例えば、図４に示されるように、訓練画像生成部１０１は、骨あり撮像画像と骨なし撮像画像とに対して、ランダムクロップ、リサイズ、ガウシアンノイズの付加、コントラスト調整、特定の解剖学的構造（骨など）の強度調整などの拡張処理を実行し、拡張された撮像画像を生成してもよい。また、訓練画像生成部１０１は、擬似コリメータ画像に対して、ぼかし（ｂｌｕｒ）やノイズを付加してもよい。このようして拡張処理を実行した後、訓練画像生成部１０１は、拡張された撮像画像に拡張された擬似器具画像を重畳し、訓練画像を生成してもよい。例えば、生成された訓練画像は、擬似器具画像が重畳された骨あり擬似Ｘ線画像と、擬似器具画像が重畳された骨なし擬似Ｘ線画像とのペアであってもよく、それぞれ訓練時又は検証時の入力画像及び正解画像として利用されてもよい。

また、訓練画像生成部１０１は、第１生成モデル１１０を訓練するための正解画像として利用される第１オブジェクト画像として、重畳した擬似器具画像を保持してもよい。また、訓練画像生成部１０１は、第２生成モデル１２０を訓練するための正解画像として利用される、排除対象の解剖学的構造を示す構造画像と、重畳した擬似デバイス画像を示す第２オブジェクト画像とを保持してもよい。なお、構造画像が骨部を示す画像である場合、構造画像は、例えば、骨あり擬似Ｘ線画像から骨なし擬似Ｘ線画像を減算することによって取得されてもよい。

第１生成モデル訓練部１０２は、訓練画像からオブジェクトを予測する第１オブジェクト予測画像を生成する第１生成モデル１１０を訓練してもよい。具体的には、第１生成モデル訓練部１０２は、図８に示されるように、訓練画像の入力画像を第１生成モデル１１０に入力し、第１生成モデル１１０から第１オブジェクト予測画像を取得する。例えば、図示されるように、入力画像が擬似器具画像が重畳された骨あり擬似Ｘ線画像である場合、第１生成モデル１１０は、擬似デバイス画像と擬似コリメータ画像とを重畳することによって生成された第１オブジェクト予測画像を生成してもよい。

そして、第１生成モデル訓練部１０２は、第１生成モデル１１０によって予測された第１オブジェクト予測画像と、訓練画像生成部１０１によって保持される正解画像としての第１オブジェクト画像とを比較してもよく、これらの誤差に従って第１生成モデル１１０のパラメータを更新してもよい。

例えば、第１生成モデル１１０がニューラルネットワークによって実現されている場合、第１生成モデル訓練部１０２は、第１オブジェクト予測画像と第１オブジェクト画像との誤差から算出される損失値に基づき、誤差逆伝播法に従ってニューラルネットワークのパラメータを更新してもよい。

第２生成モデル訓練部１０３は、訓練画像と第１オブジェクト予測画像とから、解剖学的構造を予測する構造予測画像と、第２オブジェクト予測画像とを生成する第２生成モデルを訓練してもよい。具体的には、第２生成モデル訓練部１０３は、図９に示されるように、第１生成モデル１１０から取得した第１オブジェクト予測画像と、第１生成モデル１１０に入力された訓練画像の入力画像とを第２生成モデル１２０に入力してもよく、第２生成モデル１２０から構造予測画像と第２オブジェクト予測画像とを取得してもよい。訓練画像が擬似器具画像が重畳された骨あり擬似Ｘ線画像である場合、図示されるように、構造予測画像は骨部を示す画像であり、第２オブジェクト予測画像は擬似コリメータを排除した擬似医療デバイスを示す画像である。

一実施例では、第２生成モデル訓練部１０３は、ＧＡＮｓ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ）の生成器として第２生成モデル１２０を訓練してもよい。この場合、第２生成モデル訓練部１０３は、第１識別器１３０を利用して、第２生成モデル１２０を訓練してもよい。具体的には、第２生成モデル訓練部１０３は、図示されるように、第２生成モデル１２０から出力された構造予測画像と第２オブジェクト予測画像との予測ペアと、正解画像としての構造画像と第２オブジェクト画像との正解ペアとの何れか一方を第１識別器１３０に入力してもよく、入力されたペアが構造予測画像と第２オブジェクト予測画像との予測ペアと構造画像と第２オブジェクト画像との正解ペアとの何れであるかの識別結果を第１識別器１３０から取得してもよい。そして、第２生成モデル訓練部１０３は、第１識別器１３０が正しい識別結果を出力するよう第１識別器１３０のパラメータを更新してもよく、第１識別器１３０が誤った識別結果を出力するよう第２生成モデル１２０のパラメータを更新してもよい。

図１０は、本開示の一実施例によるモデル訓練処理を示すフローチャートである。当該モデル訓練処理は、上述したモデル生成装置１００によって実行されてもよく、具体的には、モデル生成装置１００の１つ以上のプロセッサが記憶部に格納されているプログラムを実行することによって実現されてもよい。

図１０に示されるように、ステップＳ１０１において、モデル生成装置１００は、生物の解剖学的構造を示す撮像画像と、撮像画像内のオブジェクトを示すオブジェクト画像とから、訓練画像を生成してもよい。具体的には、モデル生成装置１００は、撮像画像ＤＢ５０から生体を示す撮像画像を取得してもよく、取得した撮像画像から特定の解剖学的構造（例えば、骨部など）を排除することによって撮像画像を生成してもよい。一方、モデル生成装置１００は、患者の体内に挿入されるカテーテル、ガイドワイヤー、またはステントなどの各種形状及び方向の医療デバイスを擬似的に示す擬似デバイス画像と、撮像用に用いられるコリメータを擬似的に示す擬似コリメータ画像とを生成してもよい。

そして、モデル生成装置１００は、排除対象の解剖学的構造を含む撮像画像と当該解剖学的構造を排除した撮像画像とのそれぞれに擬似デバイス画像及び擬似コリメータ画像を重畳し、入力用の訓練画像と正解用の訓練画像とをそれぞれ取得してもよい。すなわち、入力用の訓練画像は、排除対象の解剖学的構造を含む撮像画像（例えば、骨あり画像）に擬似器具画像を重畳することによって生成されてもよく、正解用の訓練画像は、排除対象の解剖学的構造を含まない撮像画像（例えば、骨なし画像）に擬似器具画像を重畳することによって生成されてもよい。

また、モデル生成装置１００は、第１生成モデル１１０を訓練するのに利用される第１オブジェクト画像としての擬似器具画像を保持してもよい。また、モデル生成装置１００は、第２生成モデル１２０を訓練するのに利用される構造画像としての排除対象の解剖学的構造を示す撮像画像と、第２オブジェクト画像としての擬似デバイス画像とを保持してもよい。

ステップＳ１０２において、モデル生成装置１００は、訓練画像からオブジェクトを予測する第１オブジェクト予測画像を生成する第１生成モデル１１０を訓練してもよい。具体的には、モデル生成装置１００は、ステップＳ１０１において生成した入力用の訓練画像（例えば、擬似器具画像が重畳された骨部を含む撮像画像）を第１生成モデル１１０に入力してもよく、第１生成モデル１１０から第１オブジェクト予測画像（例えば、予測された擬似器具画像）を取得してもよい。そして、モデル生成装置１００は、取得した第１オブジェクト予測画像と、正解画像としての第１オブジェクト画像（例えば、入力用の訓練画像を生成する際に重畳した擬似器具画像）との間の誤差を決定し、決定した誤差が小さくなるよう第１生成モデル１１０のパラメータを更新してもよい。

ステップＳ１０３において、モデル生成装置１００は、訓練画像と第１オブジェクト予測画像とから、解剖学的構造を予測する構造予測画像と、第２オブジェクト予測画像とを生成する第２生成モデル１２０を訓練してもよい。具体的には、モデル生成装置１００は、図１１に示されるような詳細なフローチャートに従ってステップＳ１０３を実行してもよい。

図１１に示されるように、ステップＳ１０３＿１において、モデル生成装置１００は、入力用の訓練画像（例えば、擬似器具画像が重畳された骨部を含む撮像画像）と、ステップＳ１０２において取得した第１オブジェクト予測画像（例えば、予測された擬似器具画像）とを第２生成モデル１２０に入力してもよく、第２生成モデル１２０から構造予測画像（例えば、予測された骨部を示す撮像画像）と第２オブジェクト予測画像（例えば、予測された擬似デバイス画像）とを取得してもよい。

ステップＳ１０３＿２において、モデル生成装置１００は、ステップＳ１０３＿１において取得した構造予測画像と第１オブジェクト予測画像との予測ペアと、正解画像としての構造画像と第１オブジェクト画像との正解ペアとの何れか一方を第１識別器１３０に入力してもよく、入力されたペアが構造予測画像と第１オブジェクト予測画像との予測ペアと、構造画像と第１オブジェクト画像との正解ペアとの何れであるかの識別結果を取得してもよい。

ステップＳ１０３＿３において、モデル生成装置１００は、ステップＳ１０３＿２において取得した識別結果の正否に応じて、第２生成モデル１２０及び第１識別器１３０のパラメータを更新してもよい。具体的には、モデル生成装置１００は、第１識別器１３０が正しい識別結果を出力するよう第１識別器１３０のパラメータを更新してもよく、また、第１識別器１３０が誤った識別結果を出力するよう第２生成モデル１２０のパラメータを更新してもよい。

ステップＳ１０３＿４において、モデル生成装置１００は、準備された全ての訓練画像に対してステップＳ１０３＿１～Ｓ１０３＿３を実行したなどの所定の終了条件を充足したか判定してもよい。終了条件を充足した場合（Ｓ１０３＿４：ＹＥＳ）、モデル生成装置１００は、当該第２生成モデル１２０の訓練処理を終了してもよい。他方、終了条件を充足していない場合（Ｓ１０３＿４：ＮＯ）、モデル生成装置１００は、ステップＳ１０３＿１に戻ってもよく、次の訓練画像に対してステップＳ１０３＿１～Ｓ１０３＿３を繰り返してもよい。

このようにして、第１生成モデル１１０及び第２生成モデル１２０の訓練を終了すると、モデル生成装置１００は、最終的に取得した第１生成モデル１１０及び第２生成モデル１２０を画像処理装置２００に提供してもよい。

次に、図１２～２１を参照して、本開示の他の実施例によるモデル生成装置１００を説明する。図１２は、本開示の他の実施例によるモデル生成装置の構成を示す概略図である。

図１２に示されるように、モデル生成装置１００は、訓練画像によって第１生成モデル１１０、第３生成モデル１２１及び第４生成モデル１２２を訓練してもよい。本実施例による第３生成モデル１２１及び第４生成モデル１２２は一緒になって、上述した第２生成モデル１２０と同様の機能を提供してもよい。すなわち、第３生成モデル１２１は、訓練画像と第１オブジェクト予測画像とから構造予測画像を生成してもよく、第４生成モデル１２１は、訓練画像と第１オブジェクト予測画像とから第２オブジェクト予測画像を生成してもよい。第３生成モデル１２１及び第４生成モデル１２２は、例えば、畳み込みニューラルネットワークなどのニューラルネットワークとして実現されてもよい。なお、本実施例による第１生成モデル１１０は、上述した第１生成モデル１１０と同様の機能を提供してもよい。

図１３は、本開示の他の実施例によるモデル生成装置１００の機能構成を示すブロック図である。図１３に示されるように、モデル生成装置１００は、訓練画像生成部１０１、第１生成モデル訓練部１０２、第３生成モデル訓練部１０４及び第４生成モデル訓練部１０５を有してもよい。ここで、訓練画像生成部１０１及び第１生成モデル訓練部１０２は、上述したものと同様の機能を提供してもよい。

第３生成モデル訓練部１０４は、訓練画像と第１オブジェクト予測画像とから、解剖学的構造を予測する構造予測画像を生成する第３生成モデル１２１を訓練してもよい。具体的には、第３生成モデル訓練部１０４は、図１４に示されるように、第１生成モデル１１０から取得した第１オブジェクト予測画像と、第１生成モデル１１０に入力された訓練画像とを第３生成モデル１２１に入力し、第３生成モデル１２１から構造予測画像を取得してもよい。訓練画像が擬似器具画像が重畳された骨あり擬似Ｘ線画像である場合、図示されるように、構造予測画像は骨部を示す画像であってもよい。

第４生成モデル訓練部１０５は、訓練画像と第１オブジェクト予測画像とから、第２オブジェクト予測画像を生成する第４生成モデル１２２を訓練してもよい。具体的には、第４生成モデル訓練部１０５は、図１４に示されるように、第１生成モデル１１０から取得した第１オブジェクト予測画像と、第１生成モデル１１０に入力される訓練画像とを第４生成モデル１２２に入力し、第４生成モデル１２２から第２オブジェクト予測画像を取得してもよい。訓練画像が擬似器具画像が重畳された骨あり擬似Ｘ線画像である場合、図示されるように、第２オブジェクト予測画像は擬似デバイスを示す擬似デバイス画像であってもよい。

一実施例では、第３生成モデル訓練部１０４及び第４生成モデル訓練部１０５は、ＧＡＮｓ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ）の生成器として第３生成モデル１２１及び第４生成モデル１２２をそれぞれ訓練してもよい。この場合、第３生成モデル訓練部１０４は、第２識別器１３１を利用して第３生成モデル１２１を訓練し、第４生成モデル訓練部１０５は、第３識別器１３２を利用して第４生成モデル１２２を訓練してもよい。

具体的には、第３生成モデル訓練部１０４は、図示されるように、第３生成モデル１２１から出力された構造予測画像と、正解画像としての構造画像との何れか一方を第２識別器１３１に入力してもよく、入力画像が構造予測画像と構造画像との何れであるかの識別結果を第２識別器１３１から取得してもよい。そして、第３生成モデル訓練部１０４は、第２識別器１３１が正しい識別結果を出力するよう第２識別器１３１のパラメータを更新してもよく、第２識別器１３１が誤った識別結果を出力するよう第３生成モデル１２１のパラメータを更新してもよい。

一実施例では、第３生成モデル訓練部１０４は、解剖学的構造の異なる注目領域に応じた複数の第２識別器１３１を利用して、第３生成モデル１２１を訓練してもよい。例えば、１つの第２識別器１３１は、入力画像全体に着目し、入力画像が構造予測画像と構造画像との何れであるか識別し、他の１つ以上の第２識別器１３１は、入力画像の一部である所定の画像領域のみに着目し、入力画像が構造予測画像と構造画像との何れであるか識別してもよい。この場合、第３生成モデル訓練部１０４は、これら複数の第２識別器１３１が正しい識別結果を出力するよう第２識別器１３１のパラメータを更新するようにしてもよく、これら複数の第２識別器１３１が誤った識別結果を出力するよう第３生成モデル１２１のパラメータを更新するようにしてもよい。本実施例によると、例えば、特定の解剖学的構造の画像領域をより詳細に予測することが可能になる。

他方、第４生成モデル訓練部１０５は、図示されるように、第４生成モデル１２２から出力された第２オブジェクト予測画像と、正解画像としての第２オブジェクト画像との何れか一方を第３識別器１３２に入力し、入力画像が第２オブジェクト予測画像と第２オブジェクト画像との何れであるかの識別結果を第３識別器１３２から取得してもよい。そして、第４生成モデル訓練部１０５は、第３識別器１３２が正しい識別結果を出力するよう第３識別器１３２のパラメータを更新してもよく、第３識別器１３２が誤った識別結果を出力するよう第４生成モデル１２２のパラメータを更新してもよい。

図１５は、本開示の他の実施例によるモデル訓練処理を示すフローチャートである。当該モデル訓練処理は、上述したモデル生成装置１００によって実行されてもよい。具体的には、モデル生成装置１００の１つ以上のプロセッサが記憶部に格納されているプログラムを実行することによって実現されてもよい。

図１５に示されるように、ステップＳ２０１において、モデル生成装置１００は、生物の解剖学的構造を示す撮像画像と、撮像画像内のオブジェクトを示すオブジェクト画像とから、訓練画像を生成してもよい。具体的には、モデル生成装置１００は、撮像画像ＤＢ５０から患者の体内を示す撮像画像を取得し、取得した撮像画像から特定の解剖学的構造（例えば、骨部など）を排除することによって撮像画像を生成してもよい。一方、モデル生成装置１００は、患者の体内に挿入されたカテーテル、ガイドワイヤー、ステントなどの各種形状及び方向の医療デバイスを擬似的に示す擬似デバイス画像と、撮像用に用いられるコリメータを擬似的に示す擬似コリメータ画像とを生成してもよい。

そして、モデル生成装置１００は、排除対象の解剖学的構造を含む撮像画像と当該解剖学的構造を排除した撮像画像とに擬似デバイス画像及び擬似コリメータ画像を重畳し、入力用の訓練画像と正解用の訓練画像とをそれぞれ取得してもよい。すなわち、入力用の訓練画像は、排除対象の解剖学的構造を含む撮像画像に擬似器具画像を重畳することによって生成されてもよく、正解用の訓練画像は、排除対象の解剖学的構造を含まない撮像画像に擬似器具画像を重畳することによって生成されてもよい。

また、モデル生成装置１００は、第１生成モデル１１０を訓練するのに利用される第１オブジェクト画像としての擬似器具画像を保持してもよい。また、モデル生成装置１００は、第２生成モデル１２０を訓練するのに利用される構造画像としての排除対象の解剖学的構造を示す撮像画像と、第２オブジェクト画像としての擬似デバイス画像とを保持してもよい。

ステップＳ２０２において、モデル生成装置１００は、訓練画像からオブジェクトを予測する第１オブジェクト予測画像を生成する第１生成モデル１１０を訓練してもよい。具体的には、モデル生成装置１００は、ステップＳ２０１において生成した入力用の訓練画像（例えば、擬似器具画像が重畳された骨部を含む撮像画像）を第１生成モデル１１０に入力し、第１生成モデル１１０から第１オブジェクト予測画像（例えば、予測された擬似器具画像）を取得してもよい。そして、モデル生成装置１００は、取得した第１オブジェクト予測画像と、正解画像としての第１オブジェクト画像（例えば、入力用の訓練画像を生成する際に重畳した擬似器具画像）との間の誤差を決定してもよく、決定した誤差が小さくなるよう第１生成モデル１１０のパラメータを更新してもよい。

ステップＳ２０３において、モデル生成装置１００は、訓練画像と第１オブジェクト予測画像とから、解剖学的構造を予測する構造予測画像を生成する第３生成モデル１２１を訓練してもよい。具体的には、モデル生成装置１００は、図１６に示されるような詳細フローチャートに従ってステップＳ２０３を実行してもよい。

図１６に示されるように、ステップＳ２０３＿１において、モデル生成装置１００は、入力用の訓練画像（例えば、擬似器具画像が重畳された骨部を含む撮像画像）と、ステップＳ２０２において取得した第１オブジェクト予測画像（例えば、予測された擬似器具画像）とを第３生成モデル１２１に入力し、第３生成モデル１２１から構造予測画像（例えば、予測された骨部を示す撮像画像）を取得してもよい。

ステップＳ２０３＿２において、モデル生成装置１００は、ステップＳ２０３＿１において取得した構造予測画像と、正解画像としての構造画像との何れか一方を第２識別器１３１に入力し、入力画像が構造予測画像と構造画像との何れであるかの識別結果を取得してもよい。

ステップＳ２０３＿３において、モデル生成装置１００は、ステップＳ２０３＿２において取得した識別結果の正否に応じて、第３生成モデル１２１及び第２識別器１３１のパラメータを更新してもよい。具体的には、モデル生成装置１００は、第２識別器１３１が正しい識別結果を出力するよう第２識別器１３１のパラメータを更新してもよく、また、第２識別器１３１が誤った識別結果を出力するよう第３生成モデル１２１のパラメータを更新してもよい。

ステップＳ２０３＿４において、モデル生成装置１００は、準備された全ての訓練画像に対してステップＳ２０３＿１～Ｓ２０３＿３を実行したなどの所定の終了条件を充足したか判定してもよい。終了条件を充足した場合（Ｓ２０３＿４：ＹＥＳ）、モデル生成装置１００は、当該第３生成モデル１２１の訓練処理を終了してもよい。他方、終了条件を充足していない場合（Ｓ２０３＿４：ＮＯ）、モデル生成装置１００は、ステップＳ２０３＿１に戻り、次の訓練画像に対してステップＳ２０３＿１～Ｓ２０３＿３を繰り返してもよい。

第３生成モデル１２１の訓練が終了すると、処理ステップＳ２０４に戻って、モデル生成装置１００は、訓練画像と第１オブジェクト予測画像とから、第２オブジェクト予測画像を生成する第４生成モデル１２２を訓練してもよい。具体的には、モデル生成装置１００は、図１７に示されるような詳細フローチャートに従ってステップＳ２０４を実行する。

図１７に示されるように、ステップＳ２０４＿１において、モデル生成装置１００は、入力用の訓練画像（例えば、擬似器具画像が重畳された骨部を含む撮像画像）と、ステップＳ２０２において取得した第１オブジェクト予測画像（例えば、予測された擬似器具画像）とを第４生成モデル１２２に入力し、第４生成モデル１２２から第２オブジェクト予測画像（例えば、予測された擬似デバイス画像）を取得してもよい。

ステップＳ２０４＿２において、モデル生成装置１００は、ステップＳ２０４＿１において取得した第１オブジェクト予測画像と、正解画像としての第１オブジェクト画像との何れか一方を第３識別器１３２に入力し、入力画像が第１オブジェクト予測画像と第１オブジェクト画像との何れであるかの識別結果を取得してもよい。

ステップＳ２０４＿３において、モデル生成装置１００は、ステップＳ２０４＿２において取得した識別結果の正否に応じて、第４生成モデル１２２及び第３識別器１３２のパラメータを更新してもよい。具体的には、モデル生成装置１００は、第３識別器１３２が正しい識別結果を出力するよう第３識別器１３２のパラメータを更新してもよく、また、第３識別器１３２が誤った識別結果を出力するよう第４生成モデル１２２のパラメータを更新してもよい。

ステップＳ２０４＿４において、モデル生成装置１００は、準備された全ての訓練画像に対してステップＳ２０４＿１～Ｓ２０４＿３を実行したなどの所定の終了条件を充足したか判定してもよい。終了条件を充足した場合（Ｓ２０４＿４：ＹＥＳ）、モデル生成装置１００は、当該第４生成モデル１２２の訓練処理を終了してもよい。他方、終了条件を充足していない場合（Ｓ２０４＿４：ＮＯ）、モデル生成装置１００は、ステップＳ２０４＿１に戻り、次の訓練画像に対してステップＳ２０４＿１～Ｓ２０４＿３を繰り返してもよい。

このようにして、第１生成モデル１１０、第３生成モデル１２１及び第４生成モデル１２２の訓練を終了すると、モデル生成装置１００は、最終的に取得した第１生成モデル１１０、第３生成モデル１２１及び第４生成モデル１２２を画像処理装置２００に提供してもよい。

なお、図示された実施例では、２次元のＸ線画像が示されているが、本開示はこれに限定されず、撮像画像、構造予測画像、第１オブジェクト予測画像及び第２オブジェクト予測画像は、３次元画像であってもよい。例えば、撮像画像がＣＴ、ＭＲＩ等の３次元イメージング装置によって取得された場合、上述した生成手法を利用して擬似デバイス画像及び擬似コリメータ画像もまた３次元画像として生成可能である。従って、生成された３次元の擬似デバイス画像及び擬似コリメータ画像を３次元撮像画像に重畳することによって、構造予測画像、第１オブジェクト予測画像及び第２オブジェクト予測画像は３次元画像として取得できる。
［画像処理装置］
次に、図１８及び１９を参照して、本開示の一実施例による画像処理装置２００を説明する。本実施例による画像処理装置２００は、モデル生成装置１００によって訓練された第１生成モデル２１０及び第２生成モデル２２０を利用して、生物の解剖学的構造とオブジェクトとを示す入力画像から、特定の解剖学的構造を排除した出力画像を生成してもよい。例えば、画像処理装置２００は、カテーテル、ガイドワイヤー、ステントなどの医療デバイスが体内に挿入された患者の撮像画像から、当該医療デバイスを含み、骨部などの特定の解剖学的構造を排除した出力画像を生成してもよい。

図１８は、本開示の一実施例による訓練済み生成モデルを利用した画像処理を示す概略図である。図１８に示されるように、画像処理装置２００は、生物の解剖学的構造とオブジェクトとを示す撮像画像を入力画像として取得すると、取得した撮像画像を訓練済み第１生成モデル２１０に入力し、第１生成モデル２１０から第１オブジェクト予測画像を取得してもよい。例えば、図示されるように、撮像画像が、コリメータを利用して撮像された、医療デバイスが挿入された患者の胸部Ｘ線画像である場合、第１オブジェクト予測画像は、コリメータと医療デバイスとを示す画像である。

画像処理装置２００は、生成した第１オブジェクト予測画像と撮像画像とを訓練済み第２生成モデル２２０に入力し、第２生成モデル２２０から構造予測画像と第２オブジェクト予測画像とを取得してもよい。例えば、図示されるように、構造予測画像は、胸部Ｘ線画像から骨部を抽出することによって生成された画像であり、第２オブジェクト予測画像は、第１オブジェクト予測画像からコリメータを排除することによって生成された医療デバイス画像である。

画像処理装置２００は、取得した構造予測画像を撮像画像から減算すると共に、第２オブジェクト予測画像を実数倍し（α＞１）、生成された２つの画像を合成することによって出力画像を生成してもよい。例えば、胸部Ｘ線画像の骨部を示す構造予測画像を撮像画像から減算することによって生成される画像は、骨部を排除した胸部Ｘ線画像となる。また、第２オブジェクト予測画像を実数倍することによって生成される画像は、医療デバイスを示す画像部分のコントラストを強調した胸部Ｘ線画像となる。画像処理装置２００は、これら２つの胸部Ｘ線画像を重畳することによって、出力画像を生成してもよい。

図１９は、本開示の一実施例による画像処理装置１００の機能構成を示すブロック図である。図１９に示されるように、画像処理装置１００は、第１生成モデル処理部２０１、第２生成モデル処理部２０２及び出力画像生成部２０３を有してもよい。

第１生成モデル処理部２０１は、訓練済み第１生成モデル２１０によって、生物の解剖学的構造とオブジェクトとを示す入力画像から、オブジェクトを予測する第１オブジェクト予測画像を取得してもよい。具体的には、第１生成モデル処理部２０１は、訓練済み第１生成モデル２１０を利用して、生物の解剖学的構造とオブジェクトとを示す撮像画像を入力画像として取得すると、取得した撮像画像を第１生成モデル２１０に入力し、撮像画像内のオブジェクトを抽出することによって第１オブジェクト予測画像を生成してもよい。第１オブジェクト予測画像は、撮像画像における撮像範囲に存在する医療デバイスと、撮像に利用されたコリメータとを示す。第１生成モデル処理部２０１は、取得した第１オブジェクト予測画像を第２生成モデル処理部２０２に渡してもよい。

第２生成モデル処理部２０２は、訓練済み第２生成モデル２２０によって、入力画像と第１オブジェクト予測画像とから、解剖学的構造を予測する構造予測画像と、第２オブジェクト予測画像とを取得してもよい。具体的には、第２生成モデル処理部２０２は、訓練済み第２生成モデル２２０を利用して、入力画像としての撮像画像と第１生成モデル処理部２０２から取得した第１オブジェクト予測画像とから、所定の解剖学的構造を抽出することによって生成された構造予測画像と、第１オブジェクト予測画像からコリメータを排除することによって生成される医療デバイスを示す第２オブジェクト予測画像とを取得してもよい。そして、第２生成モデル処理部２０２は、取得した構造予測画像と第２オブジェクト予測画像とを出力画像生成部２０３に渡してもよい。

出力画像生成部２０３は、入力画像から構造予測画像を減算し、差分画像を取得し、差分画像と第２オブジェクト予測画像とを合成し、出力画像を取得してもよい。例えば、入力画像がコリメータを利用して撮像され、医療デバイスが挿入された患者の胸部Ｘ線画像である場合、構造予測画像は、胸部Ｘ線画像から骨部を抽出することによって生成された画像であり、差分画像は、入力画像から骨部が排除された胸部Ｘ線画像になる。一方、出力画像生成部２０３は、第２オブジェクト予測画像の医療デバイス部分のコントラストを強調するため、第２オブジェクト予測画像に何れか適当な実数（α＞１）を乗算してもよい。出力画像生成部２０３は、差分画像とコントラストが強調された第２オブジェクト予測画像とを重畳し、所定の解剖学的構造を排除すると共に、医療デバイスを明確化した出力画像を生成してもよい。

次に、図２０及び２１を参照して、本開示の他の実施例による画像処理装置２００を説明する。本実施例による画像処理装置２００は、モデル生成装置１００によって訓練された第１生成モデル２１０、第３生成モデル２２１及び第４生成モデル２２２を利用して、生物の解剖学的構造とオブジェクトとを示す入力画像から、特定の解剖学的構造を排除した出力画像を生成してもよい。例えば、画像処理装置２００は、カテーテル、ガイドワイヤー、ステントなどの医療デバイスが体内に挿入された患者の撮像画像から、骨部などの特定の解剖学的構造を排除した出力画像を生成してもよい。

図２０は、本開示の他の実施例による訓練済み生成モデルを利用した画像処理を示す概略図である。図２０に示されるように、画像処理装置２００は、生物の解剖学的構造とオブジェクトとを示す撮像画像を入力画像として取得すると、取得した撮像画像を訓練済み第１生成モデル２１０に入力し、第１生成モデル２１０から第１オブジェクト予測画像を取得してもよい。例えば、図示されるように、撮像画像が、コリメータを利用して撮像され、医療デバイスが挿入された患者の胸部Ｘ線画像である場合、第１オブジェクト予測画像は、コリメータと医療デバイスとを示す画像である。

画像処理装置２００は、生成した第１オブジェクト予測画像と撮像画像とを訓練済み第３生成モデル２２１と第４生成モデル２２２とに入力し、第３生成モデル２２１から構造予測画像を取得し、第４生成モデル２２２から第２オブジェクト予測画像を取得してもよい。例えば、図示されるように、構造予測画像は、胸部Ｘ線画像から骨部を抽出することによって生成された画像であり、第２オブジェクト予測画像は、第１オブジェクト予測画像からコリメータを排除することによって生成された医療デバイス画像である。

画像処理装置２００は、取得した構造予測画像を撮像画像から減算すると共に、第２オブジェクト予測画像を実数倍し（α＞１）、生成された２つの画像を合成することによって出力画像を生成してもよい。例えば、胸部Ｘ線画像の骨部を示す構造予測画像を撮像画像から減算することによって生成される画像は、骨部を排除した胸部Ｘ線画像となり、第２オブジェクト予測画像を実数倍することによって生成される画像は、医療デバイスを示す画像部分のコントラストを強調した胸部Ｘ線画像となる。画像処理装置２００は、これら２つの胸部Ｘ線画像を重畳することによって、出力画像を生成してもよい。

図２１は、本開示の他の実施例による画像処理装置１００の機能構成を示すブロック図である。図２１に示されるように、画像処理装置１００は、第１生成モデル処理部２０１、第３生成モデル処理部２０４、第４生成モデル処理部２０５及び出力画像生成部２０３を有する。なお、第１生成モデル処理部２０１及び出力画像生成部２０３は、上述したものと同様であるため、重複を避けるために、その説明を省略する。

第３生成モデル処理部２０４は、訓練済み第３生成モデル２２１によって、入力画像と第１オブジェクト予測画像とから、解剖学的構造を予測する構造予測画像を取得してもよい。具体的には、第３生成モデル処理部２０４は、訓練済み第３生成モデル２２１を利用して、入力画像としての撮像画像と第１生成モデル処理部２０２から取得した第１オブジェクト予測画像とから、所定の解剖学的構造を抽出することによって生成された構造予測画像を取得してもよい。そして、第３生成モデル処理部２０４は、取得した構造予測画像を出力画像生成部２０３に渡してもよい。

第４生成モデル処理部２０５は、訓練済み第４生成モデル２２２によって、入力画像と第１オブジェクト予測画像とから、第２オブジェクト予測画像を取得してもよい。具体的には、第４生成モデル処理部２０５は、訓練済み第４生成モデル２２２を利用して、入力画像としての撮像画像と第１生成モデル処理部２０２から取得した第１オブジェクト予測画像とから、第１オブジェクト予測画像からコリメータを排除することによって生成される医療デバイスを示す第２オブジェクト予測画像を取得してもよい。そして、第４生成モデル処理部２０５は、取得した第２オブジェクト予測画像を出力画像生成部２０３に渡してもよい。

このようにして、第３生成モデル処理部２０４及び第４生成モデル処理部２０５から構造予測画像及び第２オブジェクト予測画像をそれぞれ取得すると、出力画像生成部２０３は、上述した方法と同様にして出力画像を生成してもよい。
［シミュレーション結果］
次に、図２２を参照して、本開示の一実施例による画像処理装置２００による画像処理のシミュレーション結果を説明する。図２２は、本開示の一実施例による画像処理装置２００の画像処理のシミュレーション結果を示す図である。

図示されたシミュレーションでは、ベースラインモデルと画像処理装置２００とに対して、医療デバイス及びコリメータの医療器具画像を擬似的に重畳させることによって生成されたＸ線画像の５０枚のサンプルを入力し、出力画像をＭＳＥ、ＰＳＮＲ、ＭＳＳＩＭ及びＵＱＩの周知の各種画像類似度指標によって評価した。なお、ＭＳＥ及びＰＳＮＲは、同じ位置のピクセル輝度値の差を数値化したものであり、ＭＳＳＩＭ及びＵＱＩは、画像の局所的な違いをスコアとして反映させたものである。

図２２に示されるように、画像処理装置２００によって生成された出力画像は、全ての画像類似度指標についてベースラインモデルの出力画像より高い品質を有していることが分かる。
［ハードウェア構成］
前述した実施形態におけるモデル生成装置１００及び画像処理装置２００の一部又は全部は、ハードウェアで構成されていてもよいし、ＣＰＵ（Central Processing Unit）、又はＧＰＵ（Graphics Processing Unit）等が実行するソフトウェア（プログラム）の情報処理で構成されてもよい。ソフトウェアの情報処理で構成される場合には、前述した実施形態における各装置の少なくとも一部の機能を実現するソフトウェアを、フレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc-Read Only Memory）、又はＵＳＢ（Universal Serial Bus）メモリ等の非一時的な記憶媒体（非一時的なコンピュータ可読媒体）に収納し、コンピュータに読み込ませることにより、ソフトウェアの情報処理を実行してもよい。また、通信ネットワークを介して当該ソフトウェアがダウンロードされてもよい。さらに、ソフトウェアがＡＳＩＣ（Application Specific Integrated Circuit）、又はＦＰＧＡ（Field Programmable Gate Array）等の回路に実装されることにより、情報処理がハードウェアにより実行されてもよい。

ソフトウェアを収納する記憶媒体の種類は限定されるものではない。記憶媒体は、磁気ディスク、又は光ディスク等の着脱可能なものに限定されず、ハードディスク、又はメモリ等の固定型の記憶媒体であってもよい。また、記憶媒体は、コンピュータ内部に備えられてもよいし、コンピュータ外部に備えられてもよい。

図２３は、前述した実施形態におけるモデル生成装置１００及び画像処理装置２００のハードウェア構成の一例を示すブロック図である。モデル生成装置１００及び画像処理装置２００は、一例として、プロセッサ７１と、主記憶装置７２（メモリ）と、補助記憶装置７３（メモリ）と、ネットワークインタフェース７４と、デバイスインタフェース７５と、を備え、これらがバス７６を介して接続されたコンピュータ７として実現されてもよい。

図２３のコンピュータ７は、各構成要素を一つ備えているが、同じ構成要素を複数備えていてもよい。また、図２３では、１台のコンピュータ７が示されているが、ソフトウェアが複数台のコンピュータにインストールされて、当該複数台のコンピュータそれぞれがソフトウェアの同一の又は異なる一部の処理を実行してもよい。この場合、コンピュータそれぞれがネットワークインタフェース７４等を介して通信して処理を実行する分散コンピューティングの形態であってもよい。つまり、前述した実施形態におけるモデル生成装置１００及び画像処理装置２００は、１又は複数の記憶装置に記憶された命令を１台又は複数台のコンピュータが実行することで機能を実現するシステムとして構成されてもよい。また、端末から送信された情報をクラウド上に設けられた１台又は複数台のコンピュータで処理し、この処理結果を端末に送信するような構成であってもよい。

前述した実施形態におけるモデル生成装置１００及び画像処理装置２００の各種演算は、１又は複数のプロセッサを用いて、又は、ネットワークを介した複数台のコンピュータを用いて、並列処理で実行されてもよい。また、各種演算が、プロセッサ内に複数ある演算コアに振り分けられて、並列処理で実行されてもよい。また、本開示の処理、手段等の一部又は全部は、ネットワークを介してコンピュータ７と通信可能なクラウド上に設けられたプロセッサ及び記憶装置の少なくとも一方により実行されてもよい。このように、前述した実施形態における各装置は、１台又は複数台のコンピュータによる並列コンピューティングの形態であってもよい。

プロセッサ７１は、コンピュータの制御装置及び演算装置を含む電子回路（処理回路、Processing circuit、Processing circuitry、ＣＰＵ、ＧＰＵ、ＦＰＧＡ、又はＡＳＩＣ等）であってもよい。また、プロセッサ７１は、専用の処理回路を含む半導体装置等であってもよい。プロセッサ７１は、電子論理素子を用いた電子回路に限定されるものではなく、光論理素子を用いた光回路により実現されてもよい。また、プロセッサ７１は、量子コンピューティングに基づく演算機能を含むものであってもよい。

プロセッサ７１は、コンピュータ７の内部構成の各装置等から入力されたデータやソフトウェア（プログラム）に基づいて演算処理を行い、演算結果や制御信号を各装置等に出力することができる。プロセッサ７１は、コンピュータ７のＯＳ（Operating System）や、アプリケーション等を実行することにより、コンピュータ７を構成する各構成要素を制御してもよい。

前述した実施形態におけるモデル生成装置１００及び画像処理装置２００は、１又は複数のプロセッサ７１により実現されてもよい。ここで、プロセッサ７１は、１チップ上に配置された１又は複数の電子回路を指してもよいし、２つ以上のチップあるいは２つ以上のデバイス上に配置された１又は複数の電子回路を指してもよい。複数の電子回路を用いる場合、各電子回路は有線又は無線により通信してもよい。

主記憶装置７２は、プロセッサ７１が実行する命令及び各種データ等を記憶する記憶装置であり、主記憶装置７２に記憶された情報がプロセッサ７１により読み出される。補助記憶装置７３は、主記憶装置７２以外の記憶装置である。なお、これらの記憶装置は、電子情報を格納可能な任意の電子部品を意味するものとし、半導体のメモリでもよい。半導体のメモリは、揮発性メモリ、不揮発性メモリのいずれでもよい。前述した実施形態におけるモデル生成装置１００及び画像処理装置２００において各種データを保存するための記憶装置は、主記憶装置７２又は補助記憶装置７３により実現されてもよく、プロセッサ７１に内蔵される内蔵メモリにより実現されてもよい。例えば、前述した実施形態における記憶部は、主記憶装置７２又は補助記憶装置７３により実現されてもよい。

記憶装置（メモリ）１つに対して、複数のプロセッサが接続（結合）されてもよいし、単数のプロセッサが接続されてもよい。プロセッサ１つに対して、複数の記憶装置（メモリ）が接続（結合）されてもよい。前述した実施形態におけるモデル生成装置１００及び画像処理装置２００が、少なくとも１つの記憶装置（メモリ）とこの少なくとも１つの記憶装置（メモリ）に接続（結合）される複数のプロセッサで構成される場合、複数のプロセッサのうち少なくとも１つのプロセッサが、少なくとも１つの記憶装置（メモリ）に接続（結合）される構成を含んでもよい。また、複数台のコンピュータに含まれる記憶装置（メモリ））とプロセッサによって、この構成が実現されてもよい。さらに、記憶装置（メモリ）がプロセッサと一体になっている構成（例えば、Ｌ１キャッシュ、Ｌ２キャッシュを含むキャッシュメモリ）を含んでもよい。

ネットワークインタフェース７４は、無線又は有線により、通信ネットワーク８に接続するためのインタフェースである。ネットワークインタフェース７４は、既存の通信規格に適合したもの等、適切なインタフェースを用いればよい。ネットワークインタフェース７４により、通信ネットワーク８を介して接続された外部装置９Ａと情報のやり取りが行われてもよい。なお、通信ネットワーク８は、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）、ＰＡＮ（Personal Area Network）等の何れか、又は、それらの組み合わせであってよく、コンピュータ７と外部装置９Ａとの間で情報のやり取りが行われるものであればよい。ＷＡＮの一例としてインターネット等があり、ＬＡＮの一例としてＩＥＥＥ８０２．１１やイーサネット（登録商標）等があり、ＰＡＮの一例としてＢｌｕｅｔｏｏｔｈ（登録商標）やＮＦＣ（Near Field Communication）等がある。

デバイスインタフェース７５は、外部装置９Ｂと直接接続するＵＳＢ等のインタフェースである。

外部装置９Ａはコンピュータ７とネットワークを介して接続されている装置である。外部装置９Ｂはコンピュータ７と直接接続されている装置である。

外部装置９Ａ又は外部装置９Ｂは、一例として、入力装置であってもよい。入力装置は、例えば、カメラ、マイクロフォン、モーションキャプチャ、各種センサ、キーボード、マウス、又はタッチパネル等のデバイスであり、取得した情報をコンピュータ７に与える。また、パーソナルコンピュータ、タブレット端末、又はスマートフォン等の入力部とメモリとプロセッサを備えるデバイスであってもよい。

また、外部装置９Ａ又は外部装置９Ｂは、一例として、出力装置でもよい。出力装置は、例えば、ＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）、ＰＤＰ（Plasma Display Panel）、又は有機ＥＬ（Electro Luminescence）パネル等の表示装置であってもよいし、音声等を出力するスピーカ等であってもよい。また、パーソナルコンピュータ、タブレット端末、又はスマートフォン等の出力部とメモリとプロセッサを備えるデバイスであってもよい。

また、外部装置９Ａまた外部装置９Ｂは、記憶装置（メモリ）であってもよい。例えば、外部装置９Ａはネットワークストレージ等であってもよく、外部装置９ＢはＨＤＤ等のストレージであってもよい。

また、外部装置９Ａ又は外部装置９Ｂは、前述した実施形態におけるモデル生成装置１００及び画像処理装置２００の構成要素の一部の機能を有する装置でもよい。つまり、コンピュータ７は、外部装置９Ａ又は外部装置９Ｂの処理結果の一部又は全部を送信又は受信してもよい。

本明細書（請求項を含む）において、「a、b及びcの少なくとも1つ（一方）」又は「a、b又はcの少なくとも1つ（一方）」の表現（同様な表現を含む）が用いられる場合は、a、b、c、a-b、a-c、b-c、又はa-b-cのいずれかを含む。また、a-a、a-b-b、a-a-b-b-c-c等のように、いずれかの要素について複数のインスタンスを含んでもよい。さらに、a-b-c-dのようにdを有する等、列挙された要素（a、b及びc）以外の他の要素を加えることも含む。

本明細書（請求項を含む）において、「データを入力として／データに基づいて／に従って／に応じて」等の表現（同様な表現を含む）が用いられる場合は、特に断りがない場合、各種データそのものを入力として用いる場合や、各種データに何らかの処理を行ったもの（例えば、ノイズ加算したもの、正規化したもの、各種データの中間表現等）を入力として用いる場合を含む。また「データに基づいて／に従って／に応じて」何らかの結果が得られる旨が記載されている場合、当該データのみに基づいて当該結果が得られる場合を含むとともに、当該データ以外の他のデータ、要因、条件、及び／又は状態等にも影響を受けて当該結果が得られる場合をも含み得る。また、「データを出力する」旨が記載されている場合、特に断りがない場合、各種データそのものを出力として用いる場合や、各種データに何らかの処理を行ったもの（例えば、ノイズ加算したもの、正規化したもの、各種データの中間表現等）を出力とする場合も含む。

本明細書（請求項を含む）において、「接続される（connected）」及び「結合される（coupled）」との用語が用いられる場合は、直接的な接続／結合、間接的な接続／結合、電気的（electrically）な接続／結合、通信的（communicatively）な接続／結合、機能的（operatively）な接続／結合、物理的（physically）な接続／結合等のいずれをも含む非限定的な用語として意図される。当該用語は、当該用語が用いられた文脈に応じて適宜解釈されるべきであるが、意図的に或いは当然に排除されるのではない接続／結合形態は、当該用語に含まれるものして非限定的に解釈されるべきである。

本明細書（請求項を含む）において、「ＡがＢするよう構成される（A configured to B）」との表現が用いられる場合は、要素Ａの物理的構造が、動作Ｂを実行可能な構成を有するとともに、要素Ａの恒常的（permanent）又は一時的（temporary）な設定（setting/configuration）が、動作Ｂを実際に実行するように設定（configured/set）されていることを含んでよい。例えば、要素Ａが汎用プロセッサである場合、当該プロセッサが動作Ｂを実行可能なハードウェア構成を有するとともに、恒常的（permanent）又は一時的（temporary）なプログラム（命令）の設定により、動作Ｂを実際に実行するように設定（configured）されていればよい。また、要素Ａが専用プロセッサ又は専用演算回路等である場合、制御用命令及びデータが実際に付属しているか否かとは無関係に、当該プロセッサの回路的構造が動作Ｂを実際に実行するように構築（implemented）されていればよい。

本明細書（請求項を含む）において、含有又は所有を意味する用語（例えば、「含む（comprising/including）」及び有する「（having）等）」が用いられる場合は、当該用語の目的語により示される対象物以外の物を含有又は所有する場合を含む、open-endedな用語として意図される。これらの含有又は所有を意味する用語の目的語が数量を指定しない又は単数を示唆する表現（a又はanを冠詞とする表現）である場合は、当該表現は特定の数に限定されないものとして解釈されるべきである。

本明細書（請求項を含む）において、ある箇所において「１つ又は複数（one or more）」又は「少なくとも１つ（at least one）」等の表現が用いられ、他の箇所において数量を指定しない又は単数を示唆する表現（a又はanを冠詞とする表現）が用いられているとしても、後者の表現が「１つ」を意味することを意図しない。一般に、数量を指定しない又は単数を示唆する表現（a又はanを冠詞とする表現）は、必ずしも特定の数に限定されないものとして解釈されるべきである。

本明細書において、ある実施例の有する特定の構成について特定の効果（advantage/result）が得られる旨が記載されている場合、別段の理由がない限り、当該構成を有する他の１つ又は複数の実施例についても当該効果が得られると理解されるべきである。但し当該効果の有無は、一般に種々の要因、条件、及び／又は状態等に依存し、当該構成により必ず当該効果が得られるものではないと理解されるべきである。当該効果は、種々の要因、条件、及び／又は状態等が満たされたときに実施例に記載の当該構成により得られるものに過ぎず、当該構成又は類似の構成を規定したクレームに係る発明において、当該効果が必ずしも得られるものではない。

本明細書（請求項を含む）において、「最大化（maximize）」等の用語が用いられる場合は、グローバルな最大値を求めること、グローバルな最大値の近似値を求めること、ローカルな最大値を求めること、及びローカルな最大値の近似値を求めることを含み、当該用語が用いられた文脈に応じて適宜解釈されるべきである。また、これら最大値の近似値を確率的又はヒューリスティックに求めることを含む。同様に、「最小化（minimize）」等の用語が用いられる場合は、グローバルな最小値を求めること、グローバルな最小値の近似値を求めること、ローカルな最小値を求めること、及びローカルな最小値の近似値を求めることを含み、当該用語が用いられた文脈に応じて適宜解釈されるべきである。また、これら最小値の近似値を確率的又はヒューリスティックに求めることを含む。同様に、「最適化（optimize）」等の用語が用いられる場合は、グローバルな最適値を求めること、グローバルな最適値の近似値を求めること、ローカルな最適値を求めること、及びローカルな最適値の近似値を求めることを含み、当該用語が用いられた文脈に応じて適宜解釈されるべきである。また、これら最適値の近似値を確率的又はヒューリスティックに求めることを含む。

本明細書（請求項を含む）において、複数のハードウェアが所定の処理を行う場合、各ハードウェアが協働して所定の処理を行ってもよいし、一部のハードウェアが所定の処理の全てを行ってもよい。また、一部のハードウェアが所定の処理の一部を行い、別のハードウェアが所定の処理の残りを行ってもよい。本明細書（請求項を含む）において、「１又は複数のハードウェアが第１の処理を行い、前記１又は複数のハードウェアが第２の処理を行う」等の表現が用いられている場合、第１の処理を行うハードウェアと第２の処理を行うハードウェアは同じものであってもよいし、異なるものであってもよい。つまり、第１の処理を行うハードウェア及び第２の処理を行うハードウェアが、前記１又は複数のハードウェアに含まれていればよい。なお、ハードウェアは、電子回路、又は電子回路を含む装置等を含んでよい。

本明細書（請求項を含む）において、複数の記憶装置（メモリ）がデータの記憶を行う場合、複数の記憶装置（メモリ）のうち個々の記憶装置（メモリ）は、データの一部のみを記憶してもよいし、データの全体を記憶してもよい。

以上、本開示の実施形態について詳述したが、本開示は上記した個々の実施形態に限定されるものではない。特許請求の範囲に規定された内容及びその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲において種々の追加、変更、置き換え及び部分的削除等が可能である。例えば、前述した全ての実施形態において、数値又は数式を説明に用いている場合は、一例として示したものであり、これらに限られるものではない。また、実施形態における各動作の順序は、一例として示したものであり、これらに限られるものではない。

１００ モデル生成装置
１０１ 訓練画像生成部
１０２ 第１生成モデル訓練部
１０３ 第２生成モデル訓練部
１０４ 第３生成モデル訓練部
１０５ 第４生成モデル訓練部
１１０ 第１生成モデル
１２０ 第２生成モデル
１２１ 第３生成モデル
１２２ 第４生成モデル
１３０ 第１識別器
１３１ 第２識別器
１３２ 第３識別器
２００ 画像処理装置
２０１ 第１生成モデル処理部
２０２ 第２生成モデル処理部
２０３ 出力画像生成部
２０４ 第３生成モデル処理部
２０５ 第４生成モデル処理部
２１０ 訓練済み第１生成モデル
２２０ 訓練済み第２生成モデル
２２１ 訓練済み第３生成モデル
２２２ 訓練済み第４生成モデル

Claims (13)

1. １つ以上のメモリと、
   １つ以上のプロセッサと、
   を有し、
   前記１つ以上のプロセッサは、
   生物の解剖学的構造を示す撮像画像と、前記撮像画像内のオブジェクトを示すオブジェクト画像とから生成された訓練画像から前記オブジェクトを予測する第１オブジェクト予測画像を生成する第１生成モデルを訓練し、
   前記訓練画像と前記第１オブジェクト予測画像とから、前記解剖学的構造を予測する構造予測画像と、第２オブジェクト予測画像とを生成する第２生成モデルを訓練する、
   モデル生成装置。
2. 前記オブジェクト画像は、第１のタイプのオブジェクトと第２のタイプのオブジェクトとを示し、
   前記１つ以上のプロセッサは、前記第１のタイプのオブジェクトと前記第２のタイプのオブジェクトとを前記撮像画像に重畳し、前記訓練画像を生成する、請求項１記載のモデル生成装置。
3. 前記第１オブジェクト予測画像は、前記第１のタイプのオブジェクトと前記第２のタイプのオブジェクトとを示し、
   前記第２オブジェクト予測画像は、前記第１のタイプのオブジェクトを示す、請求項２記載のモデル生成装置。
4. 前記第１のタイプのオブジェクトは、前記生物内に挿入されるデバイスであり、
   前記第２のタイプのオブジェクトは、コリメータである、請求項２又は３記載のモデル生成装置。
5. 前記１つ以上のプロセッサは、前記撮像画像と前記オブジェクト画像との一方又は双方に拡張処理を実行し、拡張された撮像画像と拡張されたオブジェクト画像とを重畳し、前記訓練画像を生成する、請求項１乃至４何れか一項に記載のモデル生成装置。
6. 前記１つ以上のプロセッサは、前記オブジェクト画像と前記第１オブジェクト予測画像との間の誤差に従って前記第１生成モデルを訓練する、請求項１乃至５何れか一項に記載のモデル生成装置。
7. 前記１つ以上のプロセッサは、ＧＡＮｓ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ）の生成器として前記第２生成モデルを訓練する、請求項１乃至６何れか一項に記載のモデル生成装置。
8. 前記第２生成モデルは、
   前記訓練画像と前記第１オブジェクト予測画像とから、前記構造予測画像を生成する第３生成モデルと、
   前記訓練画像と前記第１オブジェクト予測画像とから、前記第２オブジェクト予測画像を生成する第４生成モデルと、を含む、請求項１乃至７何れか一項に記載のモデル生成装置。
9. 前記１つ以上のプロセッサは、前記解剖学的構造の異なる注目領域に応じた複数の識別器を利用して、前記第３生成モデルを訓練する、請求項８記載のモデル生成装置。
10. 前記撮像画像、前記構造予測画像、前記第１オブジェクト予測画像及び前記第２オブジェクト予測画像は、３次元画像である、請求項１乃至９何れか一項に記載のモデル生成装置。
11. １つ以上のプロセッサが、第１訓練済み生成モデルによって、生物の解剖学的構造とオブジェクトとを示す入力画像から、前記オブジェクトを予測する第１オブジェクト予測画像を取得し、
    前記１つ以上のプロセッサが、第２訓練済み生成モデルによって、前記入力画像と前記第１オブジェクト予測画像とから、前記解剖学的構造を予測する構造予測画像と、第２オブジェクト予測画像とを取得し、
    前記１つ以上のプロセッサが、前記入力画像から前記構造予測画像を減算し、差分画像を取得し、
    前記１つ以上のプロセッサが、前記差分画像と前記第２オブジェクト予測画像とを合成し、出力画像を取得する、
    画像処理方法。
12. １つ以上のメモリと、
    １つ以上のプロセッサと、
    を有し、
    前記１つ以上のプロセッサは、
    第１訓練済み生成モデルによって、生物の解剖学的構造とオブジェクトとを示す入力画像から、前記オブジェクトを予測する第１オブジェクト予測画像を取得し、
    第２訓練済み生成モデルによって、前記入力画像と前記第１オブジェクト予測画像とから、前記解剖学的構造を予測する構造予測画像と、第２オブジェクト予測画像とを取得し、
    前記入力画像から前記構造予測画像を減算し、差分画像を取得し、
    前記差分画像と前記第２オブジェクト予測画像とを合成し、出力画像を取得する、
    画像処理装置。
13. １つ以上のプロセッサが、生物の解剖学的構造を示す撮像画像と、前記撮像画像内のオブジェクトを示すオブジェクト画像とから生成された訓練画像から前記オブジェクトを予測する第１オブジェクト予測画像を生成する第１生成モデルを訓練し、
    前記１つ以上のプロセッサが、前記訓練画像と前記第１オブジェクト予測画像とから、前記解剖学的構造を予測する構造予測画像と、第２オブジェクト予測画像とを生成する第２生成モデルを訓練する、
    モデル生成方法。

Images