JP2022077991A - 医用画像処理装置、医用画像処理方法、医用画像処理プログラム、モデルトレーニング装置、およびトレーニング方法 - Google Patents

Abstract

【課題】医用画像における特徴を組み合わせて、医用画像のスタイルに応じた医用画像を生成すること。【解決手段】本実施形態に係る医用画像処理装置は、受け取り部と、取得部と、画像データ生成部とを備える。受け取り部は、第１医用画像データと第２医用画像データおよび／または画像特徴データとを受け取る。取得部は、前記第１医用画像データから第１画像特徴データセットを取得し、前記第２医用画像データおよび／または前記画像特徴データから第２画像特徴データセットを取得し、スタイルデータを取得する。画像データ生成部は、前記第１画像特徴データセットと、前記第２画像特徴データセットと、前記スタイルデータとに基づいて、合成された画像データを生成する。【選択図】図１

Description

本明細書に記載の実施形態は、概して、例えば、例えば機械学習モデルをトレーニング及び使用するために、および／または、画像データセットを修正または生成するために、画像データを処理する方法と装置に関する。

様々な撮像モダリティを用いて得られる医用画像データは、診断、治療、トレーニング、またはその他の幅広い種類の目的のために使用することができる。また、例えばニューラルネットワークなどの機械学習モデルを医用画像データでトレーニングすることや、そのようにトレーニングされた機械学習モデルを幅広い種類のタスクまたは目的で使用することが知られている。

機械学習モデルの効果的かつ精密なトレーニングに必要であるかもしれない一般的ではない病理を含む十分に大量なトレーニングデータの集合を取得することは、困難だろう。具体的には、医用トレーニングデータは、機密事項や、別機関でのデータのサイロ化や、所与の病理の希少性により取得し難いことがある。医用イメージングに見られる全てのバリエーションを表すように、例えば、存在する解剖学的構造またはその他の内容の形状やサイズにおける正常および病理両方のバリエーションの範囲を画像が示せるように、トレーニングデータを収集することは困難だろう。

例えば、顔認識などの一般的コンピュータビジョン・タスクに関連して、算術演算を潜在的変数に行うアイデアが示唆されている。そのようなタスクでは、内容を組成的に考えることができ、例えば１つのファクタ（例えばグラス）を、残りのファクタ（例えば顔、顔の特徴）を調整せずに、画像上に重ね合わせることができる。

医用イメージングコンテンツ（内容）は、通常は組成的ではなく、例えば、解剖学的構造の形状が変化した場合、写実的な画像を生成するためには、周辺の解剖学的構造は、対応する変形／再配置を必要とすることが多いだろう。

空間分解ネット（Ｓｐａｔｉａｌ Ｄｅｃｏｍｐｏｓｉｔｉｏｎ Ｎｅｔ：ＳＤＮｅｔ）は、医用画像を解剖学的（例えば内容）とイメージング特有（例えばスタイル）ファクタとにディセンタングル（ｄｉｓｅｎｔａｎｇｌｅ：解きほぐし）する既存のセマンティック・セグメンテーションモデルである。トレーニング時に、セグメンテーションマスクにより課された強いセマンティック事前分布（ｐｒｉｏｒｓ）により、内容エンコーダ（Ｅ_Ｃ）は異なるファクタを空間的潜在スペースの異なるチャネルにマッピングするように促される。

セマンティック事前分布を画像合成への入力として用いるフレームワークは他にもある。そのような２つの例に、セグメンテーションマスクを使用し、顔画像に適用されるＳＧＧＡＮとＭａｓｋＧＡＮがある。通常は、出力は別の画像から選択されるマスクにより（ＳＧＧＡＮ）、または、ソースマスクのユーザ操作により（ＭａｓｋＧＡＮ）、直接的に指定される。

Ｃｈａｒｔｓｉａｓ１ ｅｔ．ａｌ．， Ｄｉｓｅｎｔａｎｇｌｅｄ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｌｅａｒｎｉｎｇ ｉｎ ｃａｒｄｉａｃ ｉｍａｇｅ ａｎａｌｙｓｉｓ， Ｍｅｄ Ｉｍａｇｅ Ａｎａｌ． ２０１９ Ｄｅｃｅｍｂｅｒ ； ５８： １０１５３５． ｄｏｉ：１０．１０１６／ｊ．ｍｅｄｉａ．２０１９．１０１５３５．

本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、医用画像における特徴を組み合わせて、医用画像のスタイルに応じた医用画像を生成することである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。

本実施形態に係る医用画像処理装置は、受け取り部と、取得部と、画像データ生成部とを有する。受け取り部は、第１医用画像データと第２医用画像データおよび／または画像特徴データとを受け取る。取得部は、前記第１医用画像データから第１画像特徴データセットを取得し、前記第２医用画像データおよび／または前記画像特徴データから第２画像特徴データセットを取得し、スタイルデータを取得する。画像データ生成部は、前記第１画像特徴データセットと、前記第２画像特徴データセットと、前記スタイルデータとに基づいて、合成された画像データを生成する。

図１は、実施形態に従った装置の概略図である。 図２は、実施形態に従ったディセンタングルされた内容演算処理の概略図である。 図３は、実施形態に従った更にディセンタングルされた内容演算処理の概略図である。 図４は、実施形態に従った図１の装置によって与えられる処理フレームワークを示す。 図５は、当該処理フレームワークの詳細を示す。 図６は、実施形態に従った局所化されたガウスノイズパッチ実装の概略図である。 図７は、医用画像データに対して実施形態の生成モデルを使用した各種結果を示す。 図８は、医用画像データに対して実施形態の生成モデルを使用した各種結果を示す。 図９は、医用画像データに対して実施形態の生成モデルを使用した各種結果を示す。 図１０は、医用画像データに対して実施形態の生成モデルを使用した各種結果を示す。 図１１は、トレーニングデータの増強（オーギュメンテーション：ａｕｇｍｅｎｔａｔｉｏｎ）のための実施形態に従った概略的な処理フローの図を示す。 図１２は、データのドメイン間合成のための実施形態に従った概略的な処理フローの図を示す。 図１３は、病理、手術結果、または他の特徴を在りまたは無しでデータを示すように当該データを合成するための実施形態に従った概略的な処理フローの図を示す。

ある実施形態は、処理回路を有する医用画像処理装置を提供する。前記処理回路は、第１医用画像データと第２医用画像データおよび／または画像特徴データとを受け取り、前記第１医用画像データから第１画像特徴データセットを取得し、前記第２医用画像データおよび／または前記画像特徴データから第２画像特徴データセットを取得し、スタイルデータを取得し、前記第１画像特徴データセットと、前記第２画像特徴データセットと、前記スタイルデータとに基づいて、合成された画像データを生成する、ように構成される。

ある実施形態は、医用画像データを処理する医用画像処理方法を提供する。前記方法は、第１医用画像データと第２医用画像データおよび／または画像特徴データとを受け取り、前記第１医用画像データから第１画像特徴データセットを取得し、前記第２医用画像データおよび／または前記画像特徴データから第２画像特徴データセットを取得し、スタイルデータを取得し、前記第１画像特徴データセットと、前記第２画像特徴データセットと、前記スタイルデータとに基づいて、合成された画像データを生成する、ことを備える。

ある実施形態は、処理回路を有するモデルトレーニング装置を提供する。前記処理回路は第１画像特徴データセットと第２画像特徴データセットを受け取り、前記第１画像特徴データセットと前記第２画像特徴データセットからミックスド特徴データセットを生成し、前記ミックスド特徴データセットとスタイルデータから合成された画像データセットを生成するためにモデルをトレーニングする、ように構成される。

ある実施形態はトレーニング方法を提供する。前記トレーニング方法は、第１画像特徴データセットと第２画像特徴データセットを受け取り、前記第１画像特徴データセットと前記第２画像特徴データセットからミックスド特徴データセットを生成し、前記ミックスド特徴データセットとスタイルデータから合成された画像データセットを生成するためにモデルをトレーニングする、ことを備える。

実施形態に従ったデータ処理装置２０が、図１に概略的に示される。本実施形態において、データ処理装置２０は、医用イメージングデータを処理するように構成される。他の実施形態において、データ処理装置２０は、任意の他の好適なデータを処理するように構成されてよい。

データ処理装置２０は、本例ではパーソナルコンピュータ（ＰＣ）またはワークステーションであるコンピューティング装置２２を備える。コンピューティング装置２２は、ディスプレイスクリーン２６、または、他の表示装置と、コンピュータキーボードやマウスなどの１つまたは複数の入力装置２８とに接続される。

コンピューティング装置２２は、データ記憶部３０から画像データセットを取得するように構成される。画像データセットは、スキャナ２４によって取得され、データ記憶部３０に記憶されたデータを処理することにより生成されている。例えば、データ処理回路３６は、受け取り機能により、第１医用画像データと第２医用画像データおよび／または画像特徴データとを受け取る。受け取り機能を実現するデータ処理回路３６は、受け取り部に相当する。なお、受け取り部は、インターフェイス回路３８により実現されてもよい。また、コンピューティング装置２２がモデルトレーニング装置として機能する場合、受け取り部は、第１画像特徴データセットと第２画像特徴データセットを受け取る。データ処理回路３６は、取得機能により、第１医用画像データから第１画像特徴データセットを取得する。また、取得機能は、第２医用画像データおよび／または画像特徴データから第２画像特徴データセットを取得する。取得機能は、スタイルデータを取得する。取得機能を実現するデータ処理回路３６は、取得部に相当する。取得部による処理の内容は、後ほど説明する。

データ処理回路３６は、画像データ生成機能により、第１画像特徴データセットと、第２画像特徴データセットと、スタイルデータとに基づいて、合成された画像データを生成する。例えば、画像データ生成機能は、第１画像特徴データセットを取得するために第１医用画像データに対してディセンタングルメント（ｄｉｓｅｎｔａｎｇｌｅｍｅｎｔ：解きほぐし）処理を行い、および／または、受け取り部が第２医用画像データを受け取った場合第２画像特徴データセットを取得するために第２医用画像データに対してディセンタングルメント処理を行う。ディセンタングルメント処理は、スタイルデータの生成を含む。ディセンタングルメント処理については後ほど説明する。画像データ生成部は、トレーニングされたモデルを用いて、合成された画像データを生成する。トレーニングされたモデルは、例えば、後述のミックスド特徴データセットとスタイルデータとに基づいて、合成された画像データを生成するようにトレーニングされる。トレーニングされたモデルは、例えば、ミックスド特徴データセットとスタイルデータとを入力として受け取り、合成された画像データを出力として与えるように構成されるニューラルネットワークを含む。ミックスド特徴データセット（ミックスされた特徴データセット）については、後ほど説明する。また、画像データ生成機能を実現するデータ処理回路３６は、画像データ生成部に相当する。なお、コンピューティング装置２２がモデルトレーニング装置として機能する場合、画像データ生成部は、第１画像特徴データセットと第２画像特徴データセットとからミックスド特徴データセットを生成する。画像データ生成部による処理の内容は、後ほど説明する。

スキャナ２４は、医用イメージングデータを生成するように構成され、医用イメージングデータは、任意の撮像モダリティにおける２次元、３次元、または、４次元のデータを備えてよい。例えば、スキャナ２４は、磁気共鳴（ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ：ＭＲまたはｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ｉｍａｇｉｎｇ：ＭＲＩ）スキャナ、コンピュータ断層撮影（ｃｏｍｐｕｔｅｄ ｔｏｍｏｇｒａｐｈｙ：ＣＴ）スキャナ、コーンビームＣＴスキャナ、Ｘ線スキャナ、超音波スキャナ、陽電子放出断層撮影（ｐｏｓｉｔｒｏｎ ｅｍｉｓｓｉｏｎ ｔｏｍｏｇｒａｐｈｙ：ＰＥＴ）スキャナ、または、単一光子放射コンピュータ断層撮影（ｓｉｎｇｌｅ ｐｈｏｔｏｎ ｅｍｉｓｓｉｏｎ ｃｏｍｐｕｔｅｄ ｔｏｍｏｇｒａｐｈｙ：ＳＰＥＣＴ）スキャナを備えてよい。医療イメージングデータは、例えば非イメージングデータを含み得る追加的条件データを備える、または、追加的条件データに関連付けられてよい。

コンピューティング装置２２は、データ記憶部３０の代わりに、または、データ記憶部３０に加えて、１つまたは複数の更なるデータ記憶部（図示せず）から医用画像データおよび／またはスタイルデータおよび／または特徴データを受け取ってもよい。例えば、コンピューティング装置２２は、医用画像保管伝送システム（Ｐｉｃｔｕｒｅ Ａｒｃｈｉｖｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ：ＰＡＣＳ）または他の情報システムの一部を形成するかもしれない１つまたは複数の遠隔のデータ記憶部（図示せず）から医用画像データを受け取ってよい。

コンピューティング装置２２は、自動的に、または、半自動で医用画像データを処理するための処理リソースを提供する。コンピューティング装置２２は、処理装置３２を備える。処理装置３２は、１つまたは複数のモデルをトレーニングするように構成されるモデルトレーニング回路３４と、出力を得るおよび／またはラベル、セグメンテーションまたは任意の他の望ましい処理結果を得るために、例えば、ユーザへの出力または更なるモデルトレーニング処理のためのモデルトレーニング回路３４へ提供するために、トレーニングされたモデル（複数可）を適用するように構成されるデータ処理回路３６と、ユーザまたはその他の入力を得る、および／または、当該データ処理の結果を出力するように構成されるインターフェイス回路３８と、を備える。

本実施形態において、回路３４、３６、３８は、各々、実施形態の方法を実行するために実行可能であるコンピュータが読み出し可能な命令を有するコンピュータプログラムにより、コンピューティング装置２２に実装される。しかし、他の実施形態では、種々の回路が、１つまたは複数の特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）またはフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ）として実装されてよい。

また、コンピューティング装置２２は、ハードドライブと、ＲＡＭ、ＲＯＭ、データバス、種々のデバイスドライバを含むオペレーティングシステム、および、グラフィックカードを含むハードウェア装置を含んだＰＣの他のコンポーネントとを有する。その様なコンポーネントは、明瞭化のために、図１には示されない。

図１のデータ処理装置２０は、図示のような、および／または、下記に説明するような方法を行うように構成される。データ処理装置２０は、例えば、医用画像処理装置として実現される。データ処理装置２０により実現される処理の手順は、医用画像処理方法として実現される。また、データ処理装置２０により実現される処理は、例えば、コンピューティング装置２２に記憶された医用画像処理プログラムを実行することにより実現されてもよい。また、データ処理装置２０により実現される各種処理は、モデルトレーニング装置として実現されてもよい。また、モデルトレーニング装置により実現される処理の手順は、トレーニング方法として実現される。

下で説明する実施形態において生成器と、ノイズ注入ネットワークと、内容およびスタイルファクタを抽出しその後組み合わせるために用いられるコンポーネントは、図１の実施形態のデータ処理回路３６により提供され得る。下で説明する実施形態における分類器および識別器コンポーネントは、図１の実施形態のモデルトレーニング回路３４により提供され得る。モデルトレーニング回路３４は、モデルトレーニング部に相当する。モデルトレーニング部は、ミックスド特徴データセットとスタイルデータから合成された画像データセットを生成するために、モデルをトレーニングする。モデルのトレーニングについては後ほど説明する。

実施形態の特徴は、異なる患者またはその他の被検体からの内容（例えば、解剖学的または病理的）ファクタが、ハイブリット特性を有する写実的な新しい画像を合成するために用いられ得ることである。例えば内容ファクタや、スタイルファクタなどのスタイルデータなどの画像特徴データセットを得るために、ディセンタングルメント処理を医用画像データに適用することができる。ディセンタングルメント処理は、例えば、画素ごとにクラス識別を行うセマンティック・セグメンテーション（Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ）モデルにより、医用画像を、解剖学的な内容（内容ファクタ）を示す画像特徴データセットと、イメージング（撮像）特有であって後述のスタイルデータとに、解きほぐす（ディセンタングル（ｄｉｓｅｎｔａｎｇｌｅ）する）処理である。画像特徴データセットは特徴データとも称されることがあり、異なる解剖学的特徴（例えば、心臓、脳、または任意の他の解剖学的関心特徴）または関心病理をエンコードし、含み、または表すかもしれない。例えば、第１画像特徴データセットおよび／または第２画像特徴データセットは、少なくとも１つの解剖学的特徴または病理を表す少なくとも１つの内容ファクタを含む。なお、トレーニングされたモデルは、第１画像特徴データセットおよび／または第２画像特徴データセットを出力してもよい。スタイルデータは、画像（複数可）の外観の様相（アスペクト：ａｓｐｅｃｔ）を、例えば、特定の撮像モダリティ（例えば、ＭＲイメージングシーケンス）に関連する外観的特徴を表すデータである。すなわち、スタイルデータは、例えば、選択された撮像モダリティに関連し、医用画像の外観の少なくとも１つの様相を表すデータである。特徴データは、当該画像データによって表されるエリアまたはボリューム内の少なくとも１つの空間的関心領域に対応するだろう。

スタイルデータは、例えばユーザにより選択された撮像モダリティに関連する。合成された画像データの生成では、合成された画像データが、選択された撮像モダリティを用いて得られるものと一貫する外観を有する画像を表すように行われる。すなわち、画像データ生成部は、選択された撮像モダリティを用いて得られる一貫した外観を有する画像を表すように、合成された画像データを生成する。選択された撮像モダリティは、当該画像データと関連する又は当該画像データを得るために用いられた撮像モダリティと同じものでも、当該画像データと関連する又は当該画像データを得るために用いられた撮像モダリティ（複数可）と異なるものでもよい。スタイルデータは、例えば、カラースキーム、シェーディングスキーム、コントラスト範囲、解像度、またはその他の画像プロパティのうちの少なくとも１つを表すことができる。いくつかの実施形態では、スタイルデータはガウスまたはその他の分布からサンプリングされてよい。すなわち、スタイルデータは、第１医用画像データまたは第２医用画像データのうちの少なくとも１つに基づいて決定され、および／または、ガウスまたはその他の分布からサンプリングされる。

いくつかの実施形態において、内容ファクタはテンソルおよび／または空間的潜在スペースから得られる表現であり、スタイルファクタはベクトル潜在スペースから得られる表現である。

いくつかの実施形態では、ノイズもまた、例えば、内容ファクタなどの画像特徴データセットのうちの１つ又は複数の少なくとも一部に、および／またはそれらの画像特徴データセットにより表される領域に、加えられる。例えば、ノイズデータは、合成された画像において置換される画像の特徴のロケーションに、および／または、当該ロケーションの周辺に、加えられるかもしれない。

実施形態に従ったハイブリッド特性をもつ画像データの合成の単純化した例が、図２に概略的に示され、被検体Ａおよび被検体Ｂの画像データに存在する解剖学的特徴が四角、丸、三角で表されている。被検体Ａの画像データおよび被検体Ｂの画像データからの解剖学的特徴を含むハイブリッド特性をもつ合成された画像データを、内容およびスタイルファクタに基づいて生成するために、実施形態に従った処理を用いることができる。ハイブリッド特性をもつ合成された画像データは、図２において被検体Ａ’としてラベル付けされる。

図２でさらに概略的に示されるように、利用可能な測定データセットのドメイン（例えば、図２の母集団Ａ、Ｂ、Ｃのドメイン）の外側にある特性をもつように合成されたデータセットを生成することができる。

実施形態に従って生成された合成されたデータセットは、例えば、第１および第２画像データセットの両方からの、例えば第１画像データセットの少なくとも一部と第２画像データセットの少なくとも一部からの、内容ファクタまたはその他の画像特徴データを取る場合に、ミックスド特徴データセットまたはハイブリッドデータセットとも称されることがある。すなわち、画像データ生成部は、第１画像特徴データセットの少なくとも一部と、第２画像特徴データセットの少なくとも一部とに基づいて、ミックスド特徴データセットを生成する。

合成された画像データは、第１画像データのうちの少なくともいくつかの、および／または、内容ファクタのうちの少なくともいくつかのいくつかの空間的またはその他の変換を含むことができる。例えば、合成された画像データは、画像特徴の既存画像への単純な重ね合わせを超えるものを含むことができる。例えば、合成された画像データは、第１医用画像データの少なくとも一部および／または受け取り部が第２医用画像データを受け取った場合第２医用画像データの少なくとも一部、および／または、第１画像特徴データセットの少なくとも一部および／または第２画像特徴データセットの少なくとも一部の空間的またはその他の変換を含む。

ハイブリッドデータセットの生成を、例えば、（例えば、病理的ファクタを正常な組織の異なる例にミキシングして）もっとバランスの良いデータセットを合成するために、（例えば、異なる母集団またはその他のドメインからの内容ファクタをミキシングして）ドメイン間画像を生成するために、（例えば、既存の画像データセットに関する病理過程の効果のシミュレーションまたは外科手術のモデル化などのデジタルツイン型の処理を提供するための）画像のインタラクティブ操作における推論時応用のために用いることができる。

図３は別の単純化した例であり、解剖学的ファクタが四角、丸、三角、菱形で表されている。データセットＺ_{－｛Ｉａ，Ｉｂ，Ｉｃ｝}のＩ^１、Ｉ^２、Ｉ^３画像から抽出される３つの内容ファクタ母集団Ｃ^ａ _Ｋ、Ｃ^ｂ _Ｋ、Ｃ^ｃ _Ｋ（Ｋ＝１母集団につき４つの内容ファクタ）が当該図面に表示され、母集団間の任意のファクタスワップ（交換）は内容算術演算を含むとみなされ得る。図３の視覚例に基づいて、Ｃ_２ ^ａをＣ^ａ _Ｋから引き、その後Ｃ_２ ^ｂを足す。その後、Ｃ_３ ^ａを同一母集団Ｃ_ａ ^Ｋから引き、Ｃ_３ ^ｃを足す。その結果が、実施形態に従った生成モデルへの入力として用いられ得る中間サンプル

である。

図４は、実施形態に従った図１の装置によって与えられる処理フレームワークを示す。図４では、処理フレームワークは、例えば既存の画像データセット（複数可）からの合成された画像データを作成するために用いられる推論時に適用されるように示されている。実施形態では、当該処理はトレーニングされたモデル（複数可）を用いる。例えば、生成器６８と、コンテンツ（内容）６０およびスタイルファクタ抽出コンポーネント６６と、ノイズ注入ネットワーク６４と、算術演算処理６１を、トレーニングされたモデルを用いて行うことができる。例えば、合成された画像データ７０は、識別器と分類器を用いてトレーニングされたモデルを使って生成される。識別器と分類器とについては、後ほど説明する。任意の好適なトレーニング方法を用いることができる。いくつかの実施形態における敵対的トレーニング方法の使用について、図５に関連して下でさらに検討する。

例えば特定の内容関連病理などの新しい内容特性をもつ、例えば患者の新しい写実的画像を生成するために、既存の空間的内容ファクタ｛Ｃ^ａ，Ｃ^ｂ，Ｃ^ｃ｝に対して算術演算が行われる。当該内容ファクタに行われる算術演算は、ミックスド内容またはミックスド特徴データセットとも称される内容ファクタの混合物を生成するために用いられる。

ノイズ注入モジュール（Ｊ）６４は、既存内容における新しいファクタの平滑な統合を担当する。本実施形態のノイズ注入モジュール６４は、ガウスノイズパッチを内容ミキシングが起こる空間ロケーションに注入する畳み込みモジュールを備える。

ニューラルネットワークまたはその他のトレーニングされたモデルの形式である生成器（Ｇ）６８は、ミックスド内容（例えば、ミックスド特徴データセット）とスタイルデータ（例えば、対応するスタイル表現）を入力として受け取り、合成された画像データセット

を出力として生成するように構成される。生成器６８は、ミックスド内容ファクタをスタイルファクタ６６に効果的にフュージングする。異なる画像から派生される内容ファクタの適切な選択により、ある画像からの特徴が、他の画像またはソースからの特徴に置換され、特徴の混合物を含む写実的な合成された画像を生成することができる。例えば、画像データ生成部は、第１画像特徴データセットに含まれる少なくとも１つの特徴を、第２画像特徴データセットからの対応する特徴に置換して、ミックスド特徴データセットを生成する。少なくとも１つのガウスノイズパッチの形式であるノイズデータは、検討したようにニューラルネットワークまたはその他のトレーニングされたモデルへ入力されるミックスド特徴データに含まれる。

図４に示すフレームワークは、ａ）例えば解剖学的関心部分のセグメンテーションマスクなどのセマンティック事前分布を用いて、画像の内容を空間テンソルにディセンタングルおよびエンコードするＳＤＮｅｔモデル６０と、ｂ）異なるドメインに対応する内容ファクタをミキシングするために用いられ、セマンティック事前分布に基づいてドメイン間またはその他の妥当な表現を生成するＧＡＮ６２との、２つの深層ニューラルネットワークを備える。内容ファクタおよび／またはスタイルファクタを得るために、および、異なる内容ファクタを組み合わせるために、任意の他の好適なコンポーネント、例えば任意の好適な他のトレーニングモデルを用いてよい。

図４の実施形態の処理フレームワークは、さらに図５で、トレーニングフェーズにおいて示され、当該トレーニングフェーズは、トレーニング時に例えば生成器６８により与えられる生成モデルをトレーニングするために用いられ得る分類器７４と識別器７２のコンポーネントを用いる。識別器７２は、例えば生成された画像

がリアルか否かをトレーニング処理の一部として決定するために用いられ得る。例えば、識別器７２は、合成された画像データと、当該合成された画像データを生成するときに用いた画像データおよび／または特徴データと、を識別するように構成され得る。また、分類器は、解剖学的関心特徴、関心病理、またはその他の属性を特定するために用いられ得る。図４、５に示す各種コンポーネントの更なる説明、異なるコンポーネントのためのトレーニング処理の説明を下で行う。

実施形態の合成フレームワークは、空間的内容表現で機能する。このように、内容ミキシング処理の前に、入力画像を内容およびスタイル表現に分解する処理がステージ６０で行われる。本実施形態では、ステージでの処理を行い、それによって例えばセマンティック・セグメンテーションなどの空間的に同等な（ｅｑｕｉｖａｒｉａｎｔ）タスクのため空間的内容ファクタをディセンタングルするために、ＳＤＮｅｔが用いられる。

簡潔に言えば、ＳＤＮｅｔは、次の２つのエンコーダを用いて内容とスタイルをエンコードする、すなわち、ａ）入力画像の内容を、同一の空間的次元を共有する所定数のテンソルに、当該入力と共にエンコードし、それと共にピクセルレベルでの対応性を保存するためにＵ－Ｎｅｔが用いられ、ｂ）入力画像のスタイルをベクトル表現にエンコードするためにＶＡＥのエンコーダが用いられる。前者の潜在表現は、セグメンテーションモジュールへの入力として用いることができ、当該入力を再構成するように構成されるデコーダにおいて後者で再エンタングルされる。

本実施形態では、ＳＤＮｅｔの修正版が用いられる。使用される修正版においては、内容エンコーダＥＣの出力を［０，１］値域に制約するカスタム二値化層の代わりに、微分可能であり平滑な潜在表現を生成するガンベル・ソフトマックス（Ｇｕｍｂｅｌ－Ｓｏｆｔｍａｘ）演算が用いられる。第二に、内容とスタイルの再エンタングルは、デコーダの異なる粒度レベルでの適応的インスタンス正規化（Ａｄａｐｔｉｖｅ Ｉｎｓｔａｎｃｅ Ｎｏｒｍａｌｉｚａｔｉｏｎ：ＡｄａＩＮ）層を用いて行われる。各ＡｄａＩＮ層は下記の演算を行う。

ここで、各内容特徴マップＣ_ｉは、まず別々に正規化され、その後スタイルＳｉ平均と標準偏差スカラに基づいてスケーリングおよびシフトされる。

本実施形態ではＳＤＮｅｔアーキテクチャの完全教師あり（ｆｕｌｌ－ｓｕｐｅｒｖｉｓｅｄ）の学習セットアップが用いられ、モデルが下記の損失関数を使ってトレーニングされる。

ここで、Ｌ_ｒｅｃｏは、入力と再構成された出力との間のＬ１距離であり、Ｌ_ｓｅｇは予測されたグラウンドトゥルース・セグメンテーションマスク間のＤｉｃｅスコアであり、カルバック・ライブラー・ダイバージェンス（Ｋｕｌｌｂａｃｋ－Ｌｅｉｂｌｅｒ ｄｉｖｅｒｇｅｎｃｅ）Ｌ_ＫＬはスタイル潜在分布がガウスになるように促す。最後に、Ｌ^ｚ _ｒｅｃｏは、ランダムにサンプリングされたスタイルコードｚ∈Ｓと、ｚをデコードし生成された画像を再エンコードした後の各コードとの間のＬ１距離として実現される潜在的再構成損失を示す。

推論時に、例えば図４に概略的に示されるように、ディセンタングルされた内容及びスタイルファクタは、トレーニングされたエンコーダＥＣ及びＥＳのみを用いて、別々の表現として抽出される。内容ファクタの数は、利用可能なセマンティック事前分布に依存する。

図５に概略的に示されるように、ミックスドコンテンツ（内容）

ファクタは入力として受け取られ、新しい表現が生成される。ノイズ注入ネットワーク６４により、新しいファクタの空間ロケーションに相関性のないノイズパッチを導入することにより、ストキャスティックディテイルズ（ｓｔｏｃｈａｓｔｉｃ ｄｅｔａｉｌｓ：確率的詳細）を生成できる。ノイズ注入ネットワーク６４の出力は、内容のスタイルとの再エンタングルメントと、新しい画像

７０の生成を担当する生成器６８への入力として用いられる。

本例の新しい画像７０は、ミックスド特徴データセットの形式であり、第１画像特徴データセットＩ^ａからの少なくとも１つの特徴が、第２画像特徴データセットＩ^ｂからの対応する置換特徴に置換され、当該置換は、画像データセットから得られた適切な内容ファクタを選択し、その後ミックスド特徴データセットを生成するために当該内容ファクタを生成器６８に与えることにより、達成される。ノイズは、置換特徴のロケーションに加えられる。すなわち、画像データ生成部は、第１画像特徴データセットＩ^ａに含まれる少なくとも１つの特徴を、第２画像特徴データセットＩ^ｂからの対応する置換特徴に置換し、ミックスド特徴データセットを生成し、ノイズデータを当該置換特徴のロケーションに加える。

本実施形態において、生成器６８は３つのＣＯＮＶ層を備え、各ＣＯＮＶ層の後に正規化線形関数（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ：ＲｅＬＵ）非線形が続き、１つのＣＯＮＶ層の後に双極性正接関数（ｈｙｐｅｒｂｏｌｉｃ ｔａｎｇｅｎｔ ａｃｔｉｖａｔｉｏｎ ｆｕｎｃｔｉｏｎ）が続く。第１のＣＯＮＶ層は、入力として

を受け取り、各ＣＯＮＶ－ＲｅＬＵブロックの後に、入力スタイルファクタに基づいて活性をスケーリングおよびシフトするＡｄａＩＮ層がある。本実施形態では、

はＩおよび

と同じ次元を有するため、アップサンプリング演算をする必要がない。

本実施形態の識別器７２は、トレーニング時の敵対的損失変動（ａｄｖｅｒｓａｒｉａｌ ｌｏｓｓ ｏｓｃｉｌｌａｔｉｏｎ）が小さくなるように、０．２１に設定されたＬｅａｋｙ ＲｅＬＵ負勾配を用いて、ＬＳＧＡＮ識別器の構造を採用してもよい。

最後に、分類器７４は、

の属性を分類するためにＶＧＧ様モデルを用いる。本実施形態において、分類器７４は、７つのＣＯＮＶ－ＢＮ－ＲｅＬＵブロックと３つの全結合（ｆｕｌｌｙ－ｃｏｎｎｅｃｔｅｄ：ＦＣ）層を備える。画像特徴をダウンサンプリングするために５つのマックスプーリング層が用いられ、最後のＦＣ層の次元性は検討されたデータセットの種類に依存する。本実施形態では、医用データである場合は、属性が健康クラスを除外する内容関連病理または任意の他の内容関連病理として実現される場合に、最後のＦＣ層は当該データセットに存在する属性の数と等しい次元を有し、その後にソフトマックス関数が続く。伝統的ビジョンの場合では、ある属性の存在が他の属性の存在を除外しない（例えば、人間の顔を描く画像上にイヤリングとサングラスが共存可能である）。本実施形態では、最後のＦＣ層は１つだけニューロンを有し、その後にシグモイド関数が続く。後者において、データセットに存在する属性の数と同数の分類器モデルを用いてよい。分類器７４は、オリジナルデータに対するスタンドアロン分類ネットワークとして当初トレーニングされ、その後生成器６８の生成モデルのトレーニング時に属性予測器として用いられてよい。

本実施形態では、生成器６８の生成モデルは敵対的損失を用いてトレーニングされ、セマンティックおよび属性事前分布が更なる正則化として活用され、部分的内容バックグラウンドコンシステンシー（ｐａｒｔｉａｌ ｃｏｎｔｅｎｔ ｂａｃｋｇｒｏｕｎｄ ｃｏｎｓｉｓｔｅｎｃｙ）および属性在り（ａｔｔｒｉｂｕｔｅ ｐｒｅｓｅｎｃｅ）を強制する。各勾配を計算するために用いられる総損失を次のように定義する。

ここで、λ_１＝１０は、コンシステンシーロス（Ｃｏｎｓｉｓｔｅｎｃｙ ｌｏｓｓ：一貫性損失）に関する重み付けハイパーパラメータである。敵対的損失は、正則化関数と同じく下で詳しく述べる。

本実施形態の生成器６８をトレーニングするために、最小二乗敵対的損失が最小化され、既存のＧＡＮ損失と比べてより安定したトレーニング処理およびより高品質の画像生成をもたらすことができる。

ここで、Ｉ’は、

を形成するために用いられる内容ファクタ（複数可）Ｃ’のみに寄与する画像である。Ｍは、セマンティック情報を含むすべての内容ファクタを２Ｄ画像に分解して生成される二値マスクを示す。なお、セマンティック事前分布に関連しない各ピクセルロケーションｊにおいて、Ｍ（ｊ）＝０である。

内容バックグラウンドコンシステンシー（ｃｏｎｔｅｎｔ ｂａｃｋｇｒｏｕｎｄ ｃｏｎｓｉｓｔｅｎｃｙ）について、Ｌ_ｃｏｎｓは、入力

とノイズ注入モジュール出力

との間のピクセルワイズ類似性（ｐｉｘｅｌ－ｗｉｓｅ ｓｉｍｉｌａｒｉｔｙ）を最大化するように強制する。２つの表現間の正確なピクセルワイズな教師あり学習（ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）を行うために、内容ミキシング（ｃｏｎｔｅｎｔ ｍｉｘｉｎｇ）のための領域非類似（ｒｅｇｉｏｎ ｄｉｓｓｉｍｉｌａｒｉｔｙ）がマスクアウトされる。このように、Φ（ｊ）により示されるノイズパッチ生成時に生成されたぼやけたマスクが、内容ミキシングの一部ではない各ピクセルロケーションｊにおいてΦ（ｊ）＝０であると考えると、Ｌ_ｃｏｎｓは次のように定義される。

ここで、

及び

は、それぞれミックスドおよびノイズあり内容表現である。

画像バックグラウンドコンシステンシー（ｉｍａｇｅ ｂａｃｋｇｒｏｕｎｄ ｃｏｎｓｉｓｔｅｎｃｙ：画像バックグラウンド一貫性）について、Ｌ_ｂｇは画像レベルを除いて（Ｎの代わりにＭを用いて）Ｌ_ｃｏｎｓと同様に機能する。

属性分類について、敵対的損失は事前属性情報を活用して正規化され得る。具体的には、ｋ内容ファクタがミックスド表現に加えられることが知られていることを考慮すると、生成された画像

の対応属性を認識可能であることが予期される。次のように定義される交差エントロピーを最小化することで、この事前知識を強化することができる。

ここで、ｙ_ｉ及びｐ（ｘ_ｉ）はグラウンドトゥルースおよび予測された属性ラベルであり、Ωは属性の数を示す。

図５に示す例において、識別器７２は偽入力として

を、真入力としてＩ^ｂを受け取る。Ｉ^ｂは望ましい属性を含む（例えば、Ｃ^ｂファクタは全体的なＣ^ａ内容スペースに加えられる）。分類器は

を受け取り、望ましい病理（または属性）が含まれているか否かを判断する。

代替的実施形態では、任意の好適なトレーニング方法を用いてよい。例えば、当該トレーニングは、敵対的損失を最小化すること、および／または、バックグラウンド画像の一貫性（コンシステンシー）を担保すること、および／または、解剖学的関心特徴、関心病理またはその他の属性の正確な分類を担保すること、および／または、ノイズ注入前後のバックグラウンド内容の一貫を担保することを、任意の好適な方法を用いて行ってよい。すなわち、合成された画像データは、例えば、敵対的損失を最小化して、および／または、バックグラウンド画像の一貫性を担保して、および／または、解剖学的関心特徴、関心病理、またはその他の属性の正しい分類を担保して、および／または、ノイズ注入の前後のバックグラウンド画像の一貫性を担保して、トレーニングされるトレーニングされたモデルを用いて生成される。

内容ミキシングが起こる空間ロケーションで確率モデル（ストキャスティシティ（ｓｔｏｃｈａｓｔｉｃｉｔｙ））を作成する局所化されたノイズ注入ネットワークにより生成モデルが強化されることを既に述べたが、本実施形態におけるノイズ注入の検討に戻る。このように、画像データ生成部は、ノイズデータをミックスド特徴データセットは加えることができる。ストキャスティシティは内容ファクタのより平滑なブレンディングを可能にし、より高品質な画像合成をもたらす。構成されたガウスノイズパッチが、除去された内容ファクタの既存の空間ロケーションで作成される。

より詳しくは、局所化されたノイズ注入ネットワーク（Ｊ）６４は、ストキャスティシティを入力内容ファクタの所与の空間ロケーションに導入するように構成される。ハイフレキュエンシイディテイルズ（ｈｉｇｈ－ｆｒｅｑｕｅｎｃｙ ｄｅｔａｉｌｓ：高頻度詳細）において確率的変動（ｓｔｏｃｈａｓｔｉｃ ｖａｒｉａｔｉｏｎ）を作成するように、生成器６８が容量の一部を消費することができ、本実施形態では、単純な完全畳み込みネットワークは局所化されたノイズ注入ネットワーク６４として用いられ、局所化されたノイズ注入ネットワーク６４は空間ロケーション上の確率的変動を作成可能であり、内容－スタイル再エンタングルメント（ｃｏｎｔｅｎｔ－ｓｔｙｌｅ ｒｅ－ｅｎｔａｎｇｌｅｍｅｎｔ）において生成器６８にその全容量を消費するように強制する。

図５に概略的に示すように、ノイズ注入ネットワーク６４は４つのＣＯＮＶ層を備える。はじめの３つの各層の後には、ＲｅＬＵ非線形と、生成したノイズパッチをもつ残差コネクションが続く。最後のＣＯＮＶ層の後には、

を［０，１］の範囲で閾値化するガンベル・ソフトマックス演算子が続く。

ガウスノイズパッチの生成が図６に概略的に示され、局所化されたノイズパッチを生成するためにガウスまたはその他のノイズに組み合わされるぼやけたファクタマスクを生成するために、ガウスカーネルまたはその他の分布に畳み込まれるまたは組み合わされる内容ファクタを示す。

どの内容ファクタが除去されているがその空間ロケーションと同様に先験的に知られているため、確率的変動を新しいファクタによって埋められる穴または他の領域の空間ロケーションに導入することが目的である。このように、ｋ∈ＫであるファクタＣｋが入力表現から除去されると仮定すると、Ｃｋは所望のノイズパッチの作成を助けるセマンティック事前分布として用いられる。第一に、ストキャスティシティ（ｓｔｏｃｈａｓｔｉｃｉｔｙ）を周辺内容へ拡張するために、Ｃｋの２Ｄ表現が１０×１０ピクセル解像度のガウスカーネルを用いてぼやかされる。Ｃｋは［０，１］範囲の値をもつため、二値マスクとして見ることができる。このように、ガウスノイズは２Ｄ表現においてサンプリングされ、当該二値マスクでエレメントワイズな方法で掛け合わされ得る。最後の演算により、除去されたファクタの空間ロケーションにガウスノイズパッチが生成される。

ノイズ注入ネットワークは、内容ファクタのチャネルを、注入されたノイズに畳み込むように畳み込み方法で作動できる。上述のように、内容ファクタはネットワークまたはＳＤＮｅｔなどのその他のトレーニングされたモデルを用いて抽出され、その後、内容が画像データセット（複数可）に含むように選択され得、生成器６８により対応する内容ファクタがスタイルファクタに組み合わされ得る。図４または図５に示されるコンポーネントのうち任意のものを実施形態に従ったトレーニングされたモデルとして実装できる、また、例えば任意の好適な敵対的トレーニング処理などの任意の好適なトレーニング処理を用いることができる。

実施形態を、さまざまな目的の画像データの合成に用いることができる。例えば、合成された画像データをトレーニングデータとして用いることができる。すなわち、画像データ生成部は、機械学習モデルをトレーニングするためのトレーニングデータセットとして、合成された画像データを生成することができる。合成された画像データをトレーニングデータのセットにおけるトレーニングデータとして用いることができる、また、機械学習モデルを当該トレーニングデータのセットを用いてトレーニングすることができる。代わりにまたは追加として、複数の合成された画像データセットを生成してよく、当該合成された画像データセットの生成は、少なくとも１つの病理を、正常な非病理データセットから派生した画像データに加え、それによりトレーニングセットの１セットにおいて追加的病理例を提供することを含む。例えば、画像データ生成部は、正常な非病理データセットから派生される画像データに少なくとも１つの病理を加え、それによってトレーニングデータセットの１セットに追加的病理例を提供することで、複数の合成された画像データセットを生成することができる。合成された画像データセットは、例えば選択された患者またはその他の被検体を表すことができ、また、当該患者またはその他の被検体をスキャニングして得られ、第１医用画像データをもつ医用画像データの修正版を表す。すなわち、実施形態に係る医用画像処理装置には、ａ）画像データ生成部が、機械学習モデルをトレーニングするためのトレーニングデータセットとして、合成された画像データを生成すること、ｂ）画像データ生成部が、正常な非病理データセットから派生される画像データに少なくとも１つの病理を加え、それによってトレーニングデータセットの１セットに追加的病理例を提供することで、複数の合成された画像データセットを生成すること、ｃ）合成された画像データセットが、選択された患者またはその他の被検体を表し、第１医用画像データまたは受け取り部が第２医用画像データを受け取った場合第２医用画像データの修正版を表し、第１医用画像データまたは受け取り部が第２医用画像データを受け取った場合第２医用画像データのうちの少なくとも１つは前記患者またはその他の被検体をスキャニングして得られること、上記ａ）、ｂ）、ｃ）のうちの少なくとも１つが含まれる。

一例において、自動心臓診断チャレンジ（Ａｕｔｏｍａｔｉｃ Ｃａｒｄｉａｃ Ｄｉａｇｎｏｓｉｓ Ｃｈａｌｌｅｎｇｅ：ＡＣＤＣ）データセットからのデータに、実施形態に従った生成モデルを適用した際の性能の定量的評価が、ノイズ注入を用いなかった場合にフレシエ開始距離（Ｆｒｅｃｈｅｔ ｉｎｃｅｐｔｉｏｎ ｄｉｓｔａｎｃｅ（ＦＩＤ））スコアが２１．５であり、ノイズ注入を用いた場合に１７．２であった。

図７～１０は、実施形態に従った、画像特徴データとも称される内容ファクタとスタイルデータとに基づく画像の合成結果を示す。結果に関連して各種ラベルが用いられ、ＮＯＲは病理なしを示し、ＭＩＮＦは心筋梗塞を示し、ＤＣＭは拡張型心筋症を示し、ＨＣＭは肥大型心筋症を示し、そして、ＲＶは異常な右心室を示す。

図７は、ディスエンタングルされた解剖学的ファクタで算術演算を行う３つの表示例を示す。提案モデルの最もパフォーマンスの良い変数（Ｊ，Ｇ，Ｄ，及びＦ）が、特定病理をもつ新しいＭＲ画像、すなわち、ａ）ＮＯＲからＨＣＭ、ｂ）ＮＯＲからＡＲＶ、及びｃ）ＭＩＮＦからＭＩＮＦ、を生成するために用いられる。ＳとＣは被検体とディスエンタングルされた内容ファクタとをそれぞれ表す。矢印はファクタスワッピングを表し、情報を含まないファクタは省略されている。

図８は、ノイズが加えられていない生成モデルを用いて得た結果を示す。第１画像である被検体Ａの画像から得られた内容ファクタ１～８と、第２画像である被検体Ｂの画像から得られた内容ファクタ３が示されている。被検体Ｂは病理のない（ＮＯＲ）被検体であり、被検体Ａは異常な右心室をもつ（ＲＶ）被検体である。被検体Ａの画像と被検体Ｂの画像が示されている。また、被検体Ａ’の画像も示されており、これは被検体Ａの内容ファクタ３を被検体Ｂの内容ファクタ３に置換して得られ、異常な右心室の代わりに（被検体Ｂと同様に）異常なし（ｎｏｒｍａｌ ｐａｔｈｏｌｏｇｙ）であるような被検体Ａを表す画像を生成する。

図９は、図８と同一の結果を示すが、異常な右心室異常をもつ（ＲＶ）被検体Ａの修正画像を生成するために、被検体Ｂからの内容ファクタ３が被検体Ａの内容ファクタ３を置き換えるが、本例では、画像Ａ’を生成する処理の一部として、例えばガウスノイズパッチなどのノイズも加えられる。

図１０は、図８及び９の結果により示される処理と類似する処理の結果を示すが、本ケースでは被検体Ｂは異常なし（ｎｏｒｍａｌ ｐａｔｈｏｌｏｇｙ）であり、被検体Ａは拡張型心筋症（ＤＣＭ）であり、被検体Ｂの内容ファクタ４，５は被検体Ａの内容ファクタ４，５を置き換えて、（被検体Ｂと同様の）異常なし（ｎｏｒｍａｌ ｐａｔｈｏｌｏｇｙ）である被検体Ａの修正画像Ａ’を生成するために用いられる。

実施形態に従った合成されたデータセットを生成するための処理について、更なる具体例が図１１～１３に概略的に示される。

図１１に概略的に示されるように、現実のトレーニングデータセット８４から、例えば、任意の望ましい撮像モダリティなどを使って患者またはその他の被検体をスキャンするまたはその他の方法を行うことで得た画像データセットから、合成データセット８２（合成されたデータセットとも称する）を生成するために、実施形態に従った処理８０を用いることができる。内容ファクタ演算処理８０は、図４及び５の実施形態に関連して説明する処理でよい。その後、現実のトレーニングデータセット８４と合成データセット８２の両方を、トレーニングされたモデル８８を生成するために機械学習モデルをトレーニングするトレーニング処理８６に用いることができる。任意の好適なトレーニング処理と機械学習モデルのタイプを用いることができる。モデルの使用対象として意図される母集団と類似する母集団を有するデータセット群で当該モデルをトレーニングすることを保証するために、データセット８２の合成を用いることができる。例えば、現実のトレーニングデータに存在しないであろう病理または稀にしか存在しない病理を、合成されたデータに表現可能であることを保証できる。様々な希少疾患があり、例えば、２０００人に１人以下に罹患する病気がある。例えば、そのような希少疾患を表す内容ファクタを用いて合成データを生成することによりトレーニングデータ群がそのような希少疾患を表すデータセットを含むように保証するために、実施形態を用いることができる。

いくつかの実施形態では、現実および合成されたデータの組み合わせにおける特定病理の発生頻度が、現実の母集団における予想発生頻度と類似することを保証できる。データの合成は、現実のトレーニングデータを補完するために、特定の解剖学的特徴のサイズ、形状または位置における追加的バリエーションを与えるかもしれない。データセットの合成はまた、モデルが現実のデータセットのみでトレーニングされる場合よりも多いデータセットで、当該モデルをトレーニングできることを保証する。合成データは、例えば、当該モデルをトレーニングするために用いられるデータにより高い多様性を与えることができる。

図１２に概略的に示すように、異なるドメインから得たデータから、例えば、ドメインＡからのデータ９５とドメインＢからのデータ９４（例えば、母集団Ａと母集団Ｂ）から、合成ドメイン間データ９２を生成するために、実施形態に従った内容ファクタ演算処理９０を用いることができる。例えば、ドメインＢよりもドメインＡに利用できるデータが多くある場合、例えばドメインＢからのデータセットを、ドメインＡのデータから得た内容ファクタ（複数可）を含むように修正することにより、ドメインＢのための合成データを作成できる。

代わりに又は追加として、ドメインＡおよびＢに典型的な特性の間の特性、またはドメインＡおよびＢに典型的な特性とは異なる特性を有する合成データを作成することができる。例えば、単純化した例では、特定の解剖学的特徴または病理がドメインＡにおいて典型的なサイズ範囲を有し、ドメインＢにおいて異なるサイズ範囲を有する場合、例えば、ドメインＡとＢの典型的な範囲の間のサイズ範囲を有するように合成データを作成することができる。

その後、異なるドメインからのデータ９４、９５および合成ドメイン間データ９２の両方を、トレーニングされたモデル９８を生成するために機械学習モデルをトレーニングするトレーニング処理９６に用いることができる。任意の好適なトレーニング処理と機械学習モデルのタイプを用いることができる。異なる母集団からのデータは異なる特性（例えば、解剖学的形状やサイズ）を有することがあり、トレーニングされたモデルが複数または全ての母集団またはその他のドメインにわたって、そのためのトレーニングデータが存在しないまたは少ない母集団またはその他のドメインを含めて実行することが望ましいため、合成ドメイン間データの使用を、モデルトレーニングを改善するために用いることができる。合成データは、例えば、当該モデルをトレーニングするために用いられるデータにより高い多様性を与えることができる。

次に、図１３で概略的に示すように、関心対象である患者または他の被検体のためのデータ１０４から、例えば他の被検体または他の例示的画像データのために得たデータなどの他のデータ１０６から得た内容ファクタ（複数可）を含めて合成データ１０２を生成するために、実施形態に従った処理１００を用いることができる。内容ファクタ演算処理１００は、図４及び５の実施形態に関連して説明する処理であってよい。同一被検体を表すオリジナルデータ１０４と合成データ１０２は、ツインデータと称されることがあり、例えば、選択された病理を有する又は有さない、および／または、手術を行われた又は行われない同一被検体の画像を得るために用いられることがある。これにより、例えば、患者が特定の病理についてどのような経過をたどるか、特定の治療（例えば外科手術）にどのような反応を示すか、などの患者個人の具体的なバリエーションをモデル化することが可能となる。このアプローチは、推論時に臨床医が画像を操作できるようにするために、例えば、特定の病理または解剖学的特徴を有する（又は有さない）場合に患者はどのようであるかを視覚化するために、又は外科手術を追跡するため、又は存在する病理の起こり得る変化を示すために用いられるかもしれない。図１３に示す具体例では、重大な病理のない患者のオリジナル画像データ１０４が、心筋梗塞を含むように、例示的画像データ１０６から得た内容ファクタを用いて得られた合成データ１０２における心筋梗塞の表現で修正される。データセット１０６からの心筋梗塞内容ファクタは、オリジナル画像データ１０４から得た内容ファクタと組み合わせられる。

検討したように、実施形態を様々な目的に用いることができる。例えば、余分なトレーニングデータを生成して医用画像分析アルゴリズムを改善するために、実施形態が用いられるかもしれない。

更なる具体例において、実施形態によるデータの増強（オーギュメンテーション：ａｕｇｍｅｎｔａｔｉｏｎ）、例えば医用スキャンにおける心臓領域または任意の他の領域などの解剖学的セグメンテーションに関連して用いられることがある。新しい写実的医用イメージングデータの作成により、セマンティック・セグメンテーションにおける深層学習モデルの精度を高めるための余分な例を提供することができる。例えば当該新しいデータは、半教師あり深層学習のためにアノテーションなしでも用いられ得る、また、当該新しいデータは、完全教師あり深層学習モデルを強化するために、例えば専門家によるアノテーションを付けられ得る。

他の具体例では、例えば医用スキャン内の腫瘍または左心室肥大または任意の他の好適な病理などの病理セグメンテーション／分類に関連して、データ水増しを用いることができる。特定の（希少）病理を有する、新しい写実的な医用イメージングデータの作成は、病理分類において深層学習モデルを改良することができるもっとバランスのよいデータセットを構築する一助となることができる。分類に関連して、サンプルの病理ラベルは、教師あり深層学習のために用いることができるように合成された（画像レベルで）ラベル付けされたサンプルを得ることができることも知られている。

特定の撮像モダリティに従って得られた医用イメージングデータを使用する、および／または、特定の撮像モダリティに従って得られたようにみえる合成されたデータを生成する、実施形態が説明された。例えばＣＴ、ＭＲ、超音波、Ｘ線、ＰＥＴまたはＳＰＥＣＴのうちの少なくとも１つなどの任意の好適な撮像モダリティを用いてよい。

代替となる実施形態または既存の実施形態の拡張では、例えば２つの画像間のバリエーションの度合いを表す、より正確な合成画像を生成するために、（単純にミキシングするのではなく）内容ファクタ間に補間関数を用いることができる。これは、当該合成された画像に異なる割合または異なる重みで寄与する異なる画像で、複雑なおよび／または重み付けられた算術演算を提供するかもしれない（例えば、０．１Ａ＋０．９Ｂ、ここでＡとＢは入力画像）。

代替となる実施形態または既存の実施形態の拡張を、３Ｄ解剖学的表現のより強い事前分布を活用し、異なる内容ファクタ・スライス間の空間的一貫性を強化するために用いることができる。

代替となる実施形態または既存の実施形態の拡張は、ディセンタングルされた空間的内容演算とスタイルミキシングとを組み合わせるように用いることができる。ある実施形態は、空間的内容ファクタをミキシングし、所定のスタイル表現（例えば、ＳＤＮｅｔから抽出したもの）でそれらをフュージングする。代替となる実施形態では、スタイルファクタは、スタイル潜在スペースの他の領域から決定され、例えば、スタイルファクタは、特定の撮像モダリティまたは具体的なスキャナから得たものの間の、および／または、特定の撮像モダリティまたは具体的なスキャナから得たものとは異なる画像外観を表すかもしれない。

ディセンタングルされた内容演算ロジックを反転させて、より良いディセンタングルメントを実現するために、例えば、ＳＤＮｅｔまたは他のモデルのトレーニング時の内容ミキシング結果を利用して当該モデルにソフトマックス様演算なしで異なるファクタを分離することを学習させるために、代替となる実施形態または既存の実施形態の拡張を用いることができる。

ある実施形態は、類似シーンの異なる画像からの空間的内容の空間的表現を組み合わせて新しい空間的内容を生成する装置を提供する。当該空間的内容ファクタは、内容－スタイルディセンタングルメントモデルから派生されるかもしれない。当該組み合わせは、ノイズ注入ネットワークを用いて実現されるかもしれない。当該組み合わせは、空間変換器ネットワークを用いて実現されるかもしれない。当該組み合わせは、組成的アーキテクチャを用いて実現されるかもしれない。当該組み合わされた表現（複数可）は、新しいイメージングデータを生成するために用いられてよい。イメージングデータの生成は、内容－スタイルディセンタングルメントモデルから派生されるスタイル（外観）ファクタにより補助されてよい。異なるドメインからの新しい分布を近似するために、スタイルファクタを生成した空間的内容と組み合わせてよい。

ある実施形態は、類似シーンの異なる画像からの空間的内容の空間的表現を組み合わせることによる、空間的内容の制御可能な生成のための装置を提供する。空間的内容ファクタは、当該空間的表現を制御可能な方法で組み合わせるように、線形におよび／または非線形に補間されてよい。

ある実施形態は、類似シーンの異なる画像からの空間的内容の空間的表現を組み合わせて、内容およびスタイル表現をディセンタングルする装置を提供する。

ある実施形態は、新しい医用画像データセットを生成する方法を提供する。当該方法は、複数の既存の医用画像データセットから内容ファクタとスタイルファクタとを決定し、当該決定した内容およびスタイルファクタの組み合わせを用いて新しい医用画像データセット（複数可）を生成するために生成モデルを使用することを含む。例えば、本実施形態に関する医用画像処理方法は、第１医用画像データと第２医用画像データおよび／または画像特徴データとを受け取り、第１医用画像データから第１画像特徴データセットを取得し、第２医用画像データおよび／または画像特徴データから第２画像特徴データセットを取得し、スタイルデータを取得し、第１画像特徴データセットと、第２画像特徴データセットと、スタイルデータとに基づいて、合成された画像データを生成する。

当該方法は、当該新しい医用画像データセットを、機械学習モデルをトレーニングするためのトレーニングデータとして生成することを含んでよい。新しい医用画像データの当該生成は、病理を、正常な非病理データセットから派生された画像データに加え、それにより例えばトレーニングデータセットの１セットに追加的病理例を提供することを含んでよい。

新しい医用画像データセットの当該生成は、トレーニングデータセットのもっとバランスの良い１セットを得ること、および／または、それぞれが複数の母集団またはドメインからの内容ファクタをミキシングする少なくともいくつかのトレーニングデータセットを取得することを含んでよい。当該生成モデルにより生成される当該新しい医用画像データセットは、選択された患者を表す派生医用画像データセットを含んでよい、また、当該患者をスキャニングして過去に得た医用画像データセットに基づいて派生されてよい。

当該内容ファクタおよび／またはスタイルファクタは、内容－スタイルディセンタングルメントモデルを用いて取得されてよい。当該内容および／またはスタイルファクタは、類似シーンまたは被検体の異なる画像からの空間的内容の空間的表現を与える画像データセットの組み合わせを用いて、ディセンタングルされてよい。

当該生成モデルの使用は、当該複数の既存のデータセットから派生されたセマンティック情報に基づいて、選択されたロケーション（複数可）で内容ファクタにわたってノイズを挿入することを含んでよい。当該決定された内容およびスタイルファクタの組み合わせを用いる新しいデータセットの当該生成は、ノイズ注入ネットワークおよび／または空間的登録ネットワークおよび／または組成的アーキテクチャを用いることを含んでよい。

本実施形態における技術的思想を医用画像処理プログラムで実現する場合、当該医用画像処理プログラムは、コンピュータに、第１医用画像データから第１画像特徴データセットを取得し、第２医用画像データおよび／または画像特徴データから第２画像特徴データセットを取得し、スタイルデータを取得し、第１画像特徴データセットと、第２画像特徴データセットと、スタイルデータとに基づいて、合成された画像データを生成することを実現させる。医用画像処理プログラムおよび医用画像処理方法における処理手順および効果等は、実施形態と同様なため、説明は省略する。

特定の回路が本明細書において説明されているが、代替の実施形態において、これらの回路の内の１つまたは複数の機能を、１つの処理リソースまたは他のコンポーネントによって提供することができ、または、１つの回路によって提供される機能を、２つまたはそれより多くの処理リソースまたは他のコンポーネントを組み合わせることによって提供することができる。１つの回路への言及は、当該回路の機能を提供する複数のコンポーネントを包含し、そのようなコンポーネントがお互いに隔たっているか否かにかかわらない。複数の回路への言及は、それらの回路の機能を提供する１つのコンポーネントを包含する。

所定の実施形態が説明されているが、これらの実施形態は、例示のためにのみ提示されており、発明の範囲を限定することは意図されない。実際は、本明細書において説明された新規な方法およびシステムは、様々な他の形態で具体化することができる。更に、本明細書において説明された方法およびシステムの形態における様々な省略、置き換え、および、変更が、発明の要旨を逸脱することなくなされてよい。添付の特許請求の範囲の請求項およびそれらに均等な範囲は、発明の範囲にはいるような形態および変更をカバーすると意図される。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

２０ 装置
２２ コンピューティング装置
２４ スキャナ
２６ ディスプレイスクリーン
２８ 入力装置
３０ データ記憶部
３２ 処理装置
３４ モデルトレーニング回路
３６ データ処理／ラベル付け回路
３８ インターフェイス回路
６０ コンテンツ（内容）
６１ 算術演算処理
６２ ＧＡＮ
６４ ノイズ注入ネットワーク
６６ スタイルファクタ抽出コンポーネント
６８ 生成器
７０ 合成された画像データ
７２ 識別器
７４ 分類器
８０ 内容ファクタ演算処理
８２ 合成データセット
８４ 現実のトレーニングデータセット
８６ トレーニング処理
８８ モデル
９０ 内容ファクタ演算処理
９２ 合成ドメイン間データ
９４ ドメインＢからのデータ
９５ ドメインＡからのデータ
９６ トレーニング処理
９８ トレーニングされたモデル
１００ 内容ファクタ演算処理
１０２ 合成データ
１０４ オリジナルデータ
１０６ 例示的画像データ

Claims (21)

1. 第１医用画像データと第２医用画像データおよび／または画像特徴データとを受け取る受け取り部と、
   前記第１医用画像データから第１画像特徴データセットを取得し、前記第２医用画像データおよび／または前記画像特徴データから第２画像特徴データセットを取得し、スタイルデータを取得する取得部と、
   前記第１画像特徴データセットと、前記第２画像特徴データセットと、前記スタイルデータとに基づいて、合成された画像データを生成する画像データ生成部と、
   を備える医用画像処理装置。
2. 前記画像データ生成部は、前記第１画像特徴データセットを取得するために前記第１医用画像データに対してディセンタングルメント処理を行い、および／または、前記受け取り部が前記第２医用画像データを受け取った場合前記第２画像特徴データセットを取得するために前記第２医用画像データに対してディセンタングルメント処理を行う、
   請求項１に記載の医用画像処理装置。
3. 前記ディセンタングルメント処理は前記スタイルデータの生成をも含む、
   請求項２に記載の医用画像処理装置。
4. 前記第１画像特徴データセットおよび／または前記第２画像特徴データセットは、少なくとも１つの解剖学的特徴または病理を表す少なくとも１つの内容ファクタを含むことと、
   トレーニングされたモデルは、前記第１画像特徴データセットおよび／または前記第２画像特徴データセットを出力することと
   のうちの少なくとも１つが含まれる請求項１乃至３のいずれか一項に記載の医用画像処理装置。
5. 前記スタイルデータは、前記第１医用画像データまたは前記第２医用画像データのうちの少なくとも１つに基づいて決定され、および／または、ガウスまたはその他の分布からサンプリングされる、
   請求項１乃至４のいずれか一項に記載の医用画像処理装置。
6. 前記画像データ生成部は、前記第１画像特徴データセットの少なくとも一部と、前記第２画像特徴データセットの少なくとも一部とに基づいて、ミックスド特徴データセットを生成する、
   請求項１乃至５のいずれか一項に記載の医用画像処理装置。
7. 前記画像データ生成部は、前記第１画像特徴データセットに含まれる少なくとも１つの特徴を、前記第２画像特徴データセットからの対応する特徴に置換して、前記ミックスド特徴データセットを生成する、
   請求項６に記載の医用画像処理装置。
8. 前記画像データ生成部は、トレーニングされたモデルを用いて前記合成された画像データを生成し、
   前記トレーニングされたモデルは、前記ミックスド特徴データセットと前記スタイルデータとに基づいて前記合成された画像データを生成するようにトレーニングされる、
   請求項６に記載の医用画像処理装置。
9. 前記トレーニングされたモデルは、前記ミックスド特徴データセットと前記スタイルデータとを入力として受け取り、前記合成された画像データを出力として与えるように構成されるニューラルネットワークを含む、
   請求項８に記載の医用画像処理装置。
10. 前記合成された画像データは、前記第１医用画像データの少なくとも一部および／または前記受け取り部が前記第２医用画像データを受け取った場合前記第２医用画像データの少なくとも一部、および／または、前記第１画像特徴データセットの少なくとも一部および／または前記第２画像特徴データセットの少なくとも一部の空間的またはその他の変換を含む、
    請求項１乃至９のいずれか一項に記載の医用画像処理装置。
11. 前記合成された画像データは、識別器と分類器を用いてトレーニングされたモデルを使って生成され、
    前記識別器は、合成された画像データと、前記合成された画像データを生成するときに用いられる画像データおよび／または特徴データとを識別するように構成され、
    前記分類器は、解剖学的関心特徴、関心病理、またはその他の属性を特定するために用いられる、
    請求項１乃至１０のいずれか一項に記載の医用画像処理装置。
12. 前記合成された画像データは、敵対的損失を最小化して、および／または、バックグラウンド画像の一貫性を担保して、および／または、解剖学的関心特徴、関心病理、またはその他の属性の正しい分類を担保して、および／または、ノイズ注入の前後のバックグラウンド画像の一貫性を担保して、トレーニングされたモデルを用いて生成される、
    請求項１乃至１１のいずれか一項に記載の医用画像処理装置。
13. 前記画像データ生成部は、ノイズデータを前記ミックスド特徴データセットに加える、
    請求項７乃至９のいずれか一項に記載の医用画像処理装置。
14. 前記画像データ生成部は、
    前記第１画像特徴データセットに含まれる少なくとも１つの特徴を、前記第２画像特徴データセットからの対応する置換特徴に置換し前記ミックスド特徴データセットを生成し、
    前記ノイズデータを前記置換特徴のロケーションに加える、
    請求項１３に記載の医用画像処理装置。
15. 前記スタイルデータは、選択された撮像モダリティに関連し、
    前記画像データ生成部は、
    前記選択された撮像モダリティを用いて得られる一貫した外観を有する画像を表すように、前記合成された画像データを生成する、
    請求項１乃至１４のいずれか一項に記載の医用画像処理装置。
16. 前記スタイルデータは、医用画像の外観の少なくとも１つの様相を表すデータである、
    請求項１乃至１５のいずれか一項に記載の医用画像処理装置。
17. ａ）前記画像データ生成部が、機械学習モデルをトレーニングするためのトレーニングデータセットとして、前記合成された画像データを生成すること、
    ｂ）前記画像データ生成部が、正常な非病理データセットから派生される画像データに少なくとも１つの病理を加え、それによってトレーニングデータセットの１セットに追加的病理例を提供することで、複数の合成された画像データセットを生成すること、
    ｃ）前記合成された画像データセットが、選択された患者またはその他の被検体を表し、前記第１医用画像データまたは前記受け取り部が前記第２医用画像データを受け取った場合前記第２医用画像データの修正版を表し、前記第１医用画像データまたは前記受け取り部が前記第２医用画像データを受け取った場合前記第２医用画像データのうちの少なくとも１つは前記患者またはその他の被検体をスキャニングして得られること、
    上記ａ）、ｂ）、ｃ）のうちの少なくとも１つが含まれる請求項１乃至１６のいずれか一項に記載の医用画像処理装置。
18. 第１医用画像データと第２医用画像データおよび／または画像特徴データとを受け取り、
    前記第１医用画像データから第１画像特徴データセットを取得し、
    前記第２医用画像データおよび／または前記画像特徴データから第２画像特徴データセットを取得し、
    スタイルデータを取得し、
    前記第１画像特徴データセットと、前記第２画像特徴データセットと、前記スタイルデータとに基づいて、合成された画像データを生成する、
    ことを備える医用画像処理方法。
19. コンピュータに、
    第１医用画像データから第１画像特徴データセットを取得し、
    第２医用画像データおよび／または画像特徴データから第２画像特徴データセットを取得し、
    スタイルデータを取得し、
    前記第１画像特徴データセットと、前記第２画像特徴データセットと、前記スタイルデータとに基づいて、合成された画像データを生成する、
    ことを実現させる医用画像処理プログラム。
20. 第１画像特徴データセットと第２画像特徴データセットを受け取る受け取り部と、
    前記第１画像特徴データセットと前記第２画像特徴データセットとからミックスド特徴データセットを生成する画像データ生成部と、
    前記ミックスド特徴データセットとスタイルデータから合成された画像データセットを生成するために、モデルをトレーニングするモデルトレーニング部と、
    を備えるモデルトレーニング装置。
21. 第１画像特徴データセットと第２画像特徴データセットを受け取り、
    前記第１画像特徴データセットと前記第２画像特徴データセットからミックスド特徴データセットを生成し、
    前記ミックスド特徴データセットとスタイルデータから合成された画像データセットを生成するためにモデルをトレーニングする、
    ことを備えるトレーニング方法。

Images