JP2022550413A - マルチクラス画像セグメンテーションのための深層多重倍率ネットワーク - Google Patents

Abstract

本明細書には、深層多重倍率ネットワーク（ＤＭＭＮ）が記載される。マルチクラス組織セグメンテーションアーキテクチャは、より正確な予測を行うために、複数の倍率からパッチのセットを処理する。教師ありトレーニングの場合、部分的アノテーションを用いてアノテータの負担を低減することができる。マルチエンコーダ、マルチデコーダおよびマルチ連結を用いたセグメンテーションアーキテクチャは、乳房データセットに対し、他のセグメンテーションアーキテクチャよりも性能が優れており、病理学者がマージン標本における乳がんを評価するのを容易にするために用いることができる。

Description

関連出願の相互参照
本出願は、参照によりその全体が援用される、２０１９年１０月２日に出願された、「Ｄｅｅｐ Ｍｕｌｔｉ－Ｍａｇｎｉｆｉｃａｔｉｏｎ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｍｕｌｔｉ－Ｃｌａｓｓ Ｂｒｅａｓｔ Ｃａｎｃｅｒ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ」と題する米国仮特許出願第６２／９０９，４０１号の優先権の利益を主張する。

コンピュータビジョンアルゴリズムを用いて、デジタル画像上の様々な特徴を認識および検出することができる。生物医学的画像における特徴の検出は、生物医学的画像の潜在的に大きな解像度およびサイズに起因して、大量のコンピューティングリソースおよび時間を消費する場合がある。

乳がんは、米国における女性に最も一般的ながんのうちの１つである。外科的処置のマージンステータスを解析することは、手術成績の評価に重要であり、乳がん患者の未来の治療を暗に示す。組織の解析は、病理学者が関心対象のマージンを有するガラススライドを調べることによって手動で行われる。デジタル病理学は、ガラススライドをデジタル化し、全体スライド画像を生成する手段を提供した。計算病理学は、特にディープラーニングの進歩により、全体スライド画像が自動的に解析され、病理学者を支援することを可能にする。全体スライド画像は、通常、データのギガピクセルを含み、このため、画像を全体スライドレベルで処理することは実際的でない。現行のディープラーニング技法のほとんどは、画像をパッチレベルで処理するが、個々のパッチを単一の倍率における狭い視野で見ることによって、不良な結果を生じる場合がある。

本明細書に提示されるのは、病理学者が自身の顕微鏡を用いてスライドを見る方式に類似させた深層多重倍率ネットワーク（ＤＭＭＮ）である。マルチクラス組織セグメンテーションアーキテクチャは、より正確な予測を行うために、複数の倍率からパッチのセットを処理する。教師ありトレーニングの場合、部分的アノテーションを用いてアノテータの負担を低減することができる。マルチエンコーダ、マルチデコーダおよびマルチ連結を用いたセグメンテーションアーキテクチャは、乳房データセットに対し、他のセグメンテーションアーキテクチャよりも性能が優れており、病理学者がマージン標本における乳がんを評価するのを容易にするために用いることができる。

本開示の少なくとも１つの態様は、多重倍率エンコーダ－デコーダ連結ネットワークを用いた生物医学的画像をセグメンテーションするシステムおよび方法を対象とする。１つまたは複数のプロセッサを有するコンピューティングシステムは、病理組織学的画像作成器から導出された生物医学的画像を識別することができる。生物医学的画像は、複数のタイルに分割することができる。複数のタイルの各タイルは、生物医学的画像の一部分に対応することができる。コンピューティングシステムは、対応する複数の拡大係数を用いて、生物医学的画像の複数のタイルのうちの少なくとも１つのタイルから複数のパッチを作成することができる。複数のパッチは、複数の拡大係数のうちの第１の拡大係数の第１のパッチと、複数の拡大係数のうちの第２の拡大係数の第２のパッチと、複数の拡大係数のうちの第３の拡大係数の第３のパッチとを有することができる。

加えて、コンピューティングシステムは、少なくとも１つのタイルから、セグメンテーションモデルを複数のパッチに適用することができる。セグメンテーションモデルは、対応する複数の拡大係数のための複数のネットワークを含むことができる。複数のネットワークは、第１の拡大係数のパッチのための第１のネットワークを含むことができる。第１のネットワークはエンコーダの第１のセットおよびデコーダの第１のセットを有し、第１のパッチを、第１の拡大係数の特徴マップの第１のセットに変換することができる。第１のセットの各デコーダは、連続ネットワークからの特徴マップを結合する連結器を有することができる。複数のネットワークは、第２の拡大係数のパッチのための第２のネットワークを含むことができる。第２のネットワークはエンコーダの第２のセットおよびデコーダの第２のセットを有し、第２のパッチを、第１の拡大係数の特徴マップの第２のセットに変換することができる。第２のセットの各エンコーダは、第１のネットワークにおける第１のセットの対応するデコーダの連結器に出力特徴マップをフィードすることができる。複数のネットワークは、第３の拡大係数のパッチのための第３のネットワークを含むことができる。第３のネットワークはエンコーダの第３のセットおよびデコーダの第３のセットを有し、第２のパッチを、第３の拡大係数の特徴マップの第３のセットに変換することができる。第３のセットのエンコーダのうちの少なくとも１つは、第１のネットワークにおける第１のセットの対応するデコーダの連結器に出力特徴マップをフィードすることができる。コンピューティングシステムは、セグメンテーションモデルの複数のネットワークのうちの第１のネットワークによって出力された特徴マップの第１のセットを用いて第１の拡大係数の少なくとも１つのタイルに対応するセグメンテーションされたタイルを生成することができる。

本開示の少なくとも１つの態様は、生物医学的画像をセグメンテーションするための多重倍率エンコーダ－デコーダ連結ネットワークのトレーニングを対象とする。１つまたは複数のプロセッサを有するコンピューティングシステムは、トレーニングデータセットを識別することができる。トレーニングデータセットは、病理組織学的画像作成器から導出されたサンプル生物医学的画像を含むことができる。サンプル生物医学的画像は、複数のタイルに分割することができる。複数のタイルの各タイルは、サンプル生物医学的画像の一部分に対応することができる。サンプル生物医学的画像は関心領域を有することができる。トレーニングデータセットは、関心領域の一部分をラベル付けするアノテーションを含むことができる。アノテーションは、サンプル生物医学的画像内の関心領域の少なくとも一部分がセグメンテーションされることを示すことができる。コンピューティングシステムは、対応する複数の拡大係数を用いて、サンプル生物医学的画像の複数のタイルの各タイルから複数のパッチを作成することができる。複数のパッチは、複数の拡大係数のうちの第１の拡大係数の第１のパッチと、複数の拡大係数のうちの第２の拡大係数の第２のパッチと、複数の拡大係数のうちの第３の拡大係数の第３のパッチとを有することができる。

加えて、コンピューティングシステムは、少なくとも１つのタイルからの複数のパッチにセグメンテーションモデルを適用することができる。セグメンテーションモデルは、対応する複数の拡大係数のための複数のネットワークを含むことができる。複数のネットワークは、第１の拡大係数のパッチのための第１のネットワークを含むことができる。第１のネットワークはエンコーダの第１のセットおよびデコーダの第１のセットを有し、第１のパッチを、第１の拡大係数の特徴マップの第１のセットに変換することができる。第１のセットの各デコーダは、連続ネットワークからの特徴マップを結合する連結器を有することができる。複数のネットワークは、第２の拡大係数のパッチのための第２のネットワークを含むことができる。第２のネットワークはエンコーダの第２のセットおよびデコーダの第２のセットを有し、第２のパッチを、第１の拡大係数の特徴マップの第２のセットに変換することができる。第２のセットの各エンコーダは、第１のネットワークにおける第１のセットの対応するデコーダの連結器に出力特徴マップをフィードすることができる。複数のネットワークは、第３の拡大係数のパッチのための第３のネットワークを含むことができる。第３のネットワークはエンコーダの第３のセットおよびデコーダの第３のセットを有し、第２のパッチを、第３の拡大係数の特徴マップの第３のセットに変換することができる。

更に、コンピューティングシステムは、生物医学的画像の複数のタイルにわたってセグメンテーションモデルの複数のネットワークの第１のネットワークによって出力された特徴マップの第１のセットを用いてセグメンテーションされた生物医学的画像を生成することができる。コンピューティングシステムは、サンプル生物医学的画像における関心領域の一部分をラベル付けするアノテーションに基づいて、セグメンテーションされた生物医学的画像と、サンプル生物医学的画像との間のエラーメトリックを決定することができる。コンピューティングシステムは、エラーメトリックに基づいて、セグメンテーションモデルの複数のネットワークにおける少なくとも１つのパラメータを変更することができる。

本開示の少なくとも１つの態様は、生物医学的画像をセグメンテーションするシステムおよび方法を対象とする。１つまたは複数のプロセッサを有するコンピューティングシステムは、生物医学的画像の少なくとも１つのタイルについて、第１の拡大係数における第１のパッチおよび第２の拡大係数における第２のパッチを識別することができる。コンピューティングシステムは、トレーニングされたセグメンテーションモデルを第１のパッチおよび第２のパッチに適用して、セグメンテーションされたタイルを生成することができる。トレーニングされたセグメンテーションモデルは複数のネットワークを含むことができる。複数のネットワークは、第１の拡大係数における第１のパッチを用いて複数の第１の特徴マップを生成するための第１のネットワークを含むことができる。複数のネットワークは、第２の拡大係数における第２のパッチおよび第１のネットワークからの１つまたは複数の第１の特徴マップを用いて第２の特徴マップを生成するための第２のネットワークを含むことができる。コンピューティングシステムは、生物医学的画像の少なくとも１つのタイル内の関心領域を識別するセグメンテーションされたタイルを記憶することができる。

いくつかの実施形態では、セグメンテーションモデルの複数のネットワークは、第３のネットワークを含むことができる。第３のネットワークは、第３の拡大係数における少なくとも１つのタイルの第３のパッチを用いて複数の第３の特徴マップを生成することができる。第３のネットワークは、複数の第３の特徴マップを第２のネットワークの対応する複数のデコーダに提供して、第２の特徴マップを生成することができる。

いくつかの実施形態では、第２のネットワークは、対応する複数の列にわたって配置された複数のデコーダを含むことができる。複数のデコーダの各々は、第１のネットワークからの複数の第１のマップの対応する特徴マップを処理することができる。いくつかの実施形態では、第１のネットワークは、対応する複数の列にわたって配置された複数のエンコーダを含むことができる。複数のエンコーダの各々は、複数の第１のネットワークの対応する特徴マップを、第２のネットワークにおけるそれぞれのデコーダに提供することができる。いくつかの実施形態では、第２のネットワークは、第２の特徴マップを生成する際、第１のネットワークからの複数の第１の特徴マップを対応する複数の中間特徴マップと組み合わせる複数の連結器を備えることができる。

いくつかの実施形態では、コンピューティングシステムは、対応する複数の拡大係数における複数のパッチに適用されるセグメンテーションモデルを適用することによる複数のセグメンテーションされたタイルを用いて、セグメンテーションされた生物医学的画像を生成することができる。各パッチは、生物医学的画像の複数のタイルの対応するタイルから識別することができる。いくつかの実施形態では、コンピューティングシステムは、病理組織学的画像作成器から導出された生物医学的画像を取得することができる。生物医学的画像は、複数のタイルに分割することができる。複数のタイルの各タイルは、生物医学的画像の一部分に対応する。

本開示の少なくとも１つの態様は、生物医学的画像をセグメンテーションためのネットワークをトレーニングするシステムおよび方法を対象とする。１つまたは複数のプロセッサを有するコンピューティングシステムは、トレーニングデータセットを識別することができる。トレーニングデータセットは、サンプル生物医学的画像からの少なくとも１つのサンプルタイルを含むことができる。サンプル生物医学的画像は関心領域を有することができる。トレーニングデータセットは、関心領域の少なくとも一部分をラベル付けするアノテーションを含むことができる。アノテーションは、少なくとも１つのサンプルタイル内の関心領域の少なくとも一部分を示すことができる。コンピューティングシステムは、サンプル生物医学的画像の少なくとも１つのサンプルタイルについて、第１の拡大係数における第１のパッチおよび第２の拡大係数における第２のパッチを生成することができる。コンピューティングシステムは、第１のパッチ、第２のパッチ、および少なくとも１つのサンプルタイルのアノテーションを用いてセグメンテーションモデルをトレーニングすることができる。セグメンテーションモデルは複数のネットワークを含むことができる。複数のネットワークは、第１の拡大係数における第１のパッチを用いて複数の第１の特徴マップを生成するための第１のネットワークを含むことができる。複数のネットワークは、第２の拡大係数における第２のパッチおよび第１のネットワークからの１つまたは複数の第１の特徴マップを用いて第２の特徴マップを生成するための第２のネットワークを含むことができる。第２の特徴マップに対応するセグメンテーションされたタイルをアノテーションと比較することができる。

いくつかの実施形態では、コンピューティングシステムは、関心領域の一部分をラベル付けするアノテーションに基づいて、セグメンテーションされたタイルとサンプルタイルとの間のエラーメトリックを決定することによって、セグメンテーションモデルをトレーニングすることができる。いくつかの実施形態では、コンピューティングシステムは、エラーメトリックを用いてセグメンテーションモデルの複数のネットワークにおける少なくとも１つのパラメータを更新することによってセグメンテーションモデルをトレーニングすることができる。

いくつかの実施形態では、セグメンテーションモデルの複数のネットワークは、第３のネットワークを含むことができる。第３のネットワークは、第３の拡大係数における少なくとも１つのタイルの第３のパッチを用いて複数の第３の特徴マップを生成することができる。第３のネットワークは、複数の第３の特徴マップを第２のネットワークの対応する複数のデコーダに提供して、第２の特徴マップを生成することができる。

いくつかの実施形態では、第２のネットワークは、対応する複数の列にわたって配置された複数のデコーダを含むことができる。複数のデコーダの各々は、第１のネットワークからの複数の第１のマップの対応する特徴マップを処理することができる。いくつかの実施形態では、第１のネットワークは、対応する複数の列にわたって配置された複数のエンコーダを含むことができる。複数のエンコーダの各々は、複数の第１のネットワークの対応する特徴マップを、第２のネットワークにおけるそれぞれのデコーダに提供することができる。

いくつかの実施形態では、第２のネットワークは、第２の特徴マップを生成する際、第１のネットワークからの複数の第１の特徴マップを対応する複数の中間特徴マップと組み合わせる複数の連結器を備えることができる。いくつかの実施形態では、トレーニングデータセットのアノテーションは、サンプル生物医学的画像内の関心領域の全体未満の部分をラベル付けすることができる。アノテーションは、関心領域の全体の縁部から分離させることができる。

いくつかの実施形態では、コンピューティングシステムは、対応する複数の拡大係数における複数のパッチに適用されるセグメンテーションモデルを適用することによる複数のセグメンテーションされたタイルを用いて、セグメンテーションされた生物医学的画像を生成することができる。各パッチは、サンプル生物医学的画像の複数のタイルの対応するタイルから識別することができる。いくつかの実施形態では、サンプル生物医学的画像は、病理組織学的画像作成器から導出することができる。サンプル生物医学的画像は、複数のタイルに分割することができる。複数のタイルの各タイルは、サンプル生物医学的画像の一部分に対応することができる。

本開示の上記のおよび他の目的、態様、特徴および利点は、添付の図面と合わせて以下の説明を参照することによってより明らかとなり、より良好に理解される。

深層単一倍率ネットワーク（ＤＳＭＮ）および深層多重倍率ネットワーク（ＤＭＭＮ）間の比較。（ａ）深層単一倍率ネットワークは、限られた視野で単一の倍率からのみパッチを見る。（ｂ）深層多重倍率ネットワークは、より広い視野を有するように複数の倍率からパッチのセットを見ることができる。 深層多重倍率ネットワークを用いた提案される方法のブロック図。本方法の第１のステップは、トレーニング全体スライド画像を部分的にアノテーションすることである。部分的アノテーションからトレーニングパッチを抽出し、クラス間のピクセル数の平衡をとった後、深層多重倍率ネットワークがトレーニングされる。トレーニングされたネットワークは、全体スライド画像のマルチクラス組織セグメンテーションのために用いられる。 部分的アノテーションの例。（ａ）乳がんデータセットからの全体スライド画像。（ｂ）（ａ）における全体スライド画像の部分的にアノテーションされた画像。ここで、複数の組織サブタイプは、別個の色でアノテーションされ、白色領域はラベル付けされない。 （ａ）における深層単一倍率ネットワークおよび（ｂ）～（ｄ）における深層多重倍率ネットワークを用いたマルチクラス組織セグメンテーションのためのＣＮＮアーキテクチャ。（ａ）単一エンコーダ単一デコーダ（ＳＥＳＤ）は、単一の倍率からのパッチを利用してセグメンテーション予測パッチを生成するアーキテクチャである。（ｂ）多重エンコーダ単一デコーダ（ＭＥＳＤ）は、様々な倍率の複数のパッチを利用するが、セグメンテーション予測パッチを生成するデコーダを１つしか有しないアーキテクチャである。（ｃ）多重エンコーダ多重デコーダ単一連結（ＭＥＭＤＳＣ）は、様々な倍率の複数のパッチを利用するアーキテクチャであるが、特徴マップはセグメンテーション予測パッチを生成する最終層においてのみ連結される。（ｄ）多重エンコーダ多重デコーダ多重連結（ＭＥＭＤＭＣ）は、様々な倍率の複数のパッチを利用するアーキテクチャであり、特徴マップは、２０×デコーダのための特徴マップを強化するために中間層の間に連結される。 トレーニング乳房データセット内の弾性変形を用いたクラス平衡。（ａ）弾性変形前のクラス間のアノテーションされたピクセル数。（ｂ）弾性変形後のクラス間のアノテーションされたピクセル数。 ＴＮＢＣデータセットに対するセグメンテーション予測。（ａ）～（ｆ）は、全体スライド画像のサムネイルバージョンであり、（ｇ）～（ｌ）は、１０×の倍率における１０２４×１０２４ピクセルのサイズを有するズームイン画像である。（ａ）および（ｇ）はオリジナル画像であり、（ｂ）および（ｈ）は部分的アノテーションであり、（ｃ）および（ｉ）は単一エンコーダ単一デコーダ（ＳＥＳＤ）アーキテクチャを用いたセグメンテーション予測であり、（ｄ）および（ｊ）は多重エンコーダ単一デコーダ（ＭＥＳＤ）アーキテクチャを用いたセグメンテーション予測であり、（ｅ）および（ｋ）は多重エンコーダ多重デコーダ単一連結（ＭＥＭＤＳＣ）アーキテクチャを用いたセグメンテーション予測であり、（ｆ）および（ｌ）は多重エンコーダ多重デコーダ多重連結（ＭＥＭＤＭＣ）アーキテクチャを用いたセグメンテーション予測である。 ＴＮＢＣデータセットに対するセグメンテーション予測。（ａ）～（ｆ）は、全体スライド画像のサムネイルバージョンであり、（ｇ）～（ｌ）は、１０×の倍率における１０２４×１０２４ピクセルのサイズを有するズームイン画像である。（ａ）および（ｇ）はオリジナル画像であり、（ｂ）および（ｈ）は部分的アノテーションであり、（ｃ）および（ｉ）は単一エンコーダ単一デコーダ（ＳＥＳＤ）アーキテクチャを用いたセグメンテーション予測であり、（ｄ）および（ｊ）は多重エンコーダ単一デコーダ（ＭＥＳＤ）アーキテクチャを用いたセグメンテーション予測であり、（ｅ）および（ｋ）は多重エンコーダ多重デコーダ単一連結（ＭＥＭＤＳＣ）アーキテクチャを用いたセグメンテーション予測であり、（ｆ）および（ｌ）は多重エンコーダ多重デコーダ多重連結（ＭＥＭＤＭＣ）アーキテクチャを用いたセグメンテーション予測である。 乳房マージンデータセットに対するセグメンテーション予測。（ａ）～（ｆ）は、全体スライド画像のサムネイルバージョンであり、（ｇ）～（ｌ）は、１０×の倍率における１０２４×１０２４ピクセルのサイズを有するズームイン画像である。（ａ）および（ｇ）はオリジナル画像であり、（ｂ）および（ｈ）は包括的アノテーションであり、（ｃ）および（ｉ）は単一エンコーダ単一デコーダ（ＳＥＳＤ）アーキテクチャを用いたセグメンテーション予測であり、（ｄ）および（ｊ）は多重エンコーダ単一デコーダ（ＭＥＳＤ）アーキテクチャを用いたセグメンテーション予測であり、（ｅ）および（ｋ）は多重エンコーダ多重デコーダ単一連結（ＭＥＭＤＳＣ）アーキテクチャを用いたセグメンテーション予測であり、（ｆ）および（ｌ）は多重エンコーダ多重デコーダ多重連結（ＭＥＭＤＭＣ）アーキテクチャを用いたセグメンテーション予測である。 乳房マージンデータセットに対するセグメンテーション予測。（ａ）～（ｆ）は、全体スライド画像のサムネイルバージョンであり、（ｇ）～（ｌ）は、１０×の倍率における１０２４×１０２４ピクセルのサイズを有するズームイン画像である。（ａ）および（ｇ）はオリジナル画像であり、（ｂ）および（ｈ）は包括的アノテーションであり、（ｃ）および（ｉ）は単一エンコーダ単一デコーダ（ＳＥＳＤ）アーキテクチャを用いたセグメンテーション予測であり、（ｄ）および（ｊ）は多重エンコーダ単一デコーダ（ＭＥＳＤ）アーキテクチャを用いたセグメンテーション予測であり、（ｅ）および（ｋ）は多重エンコーダ多重デコーダ単一連結（ＭＥＭＤＳＣ）アーキテクチャを用いたセグメンテーション予測であり、（ｆ）および（ｌ）は多重エンコーダ多重デコーダ多重連結（ＭＥＭＤＭＣ）アーキテクチャを用いたセグメンテーション予測である。 深層単一倍率ネットワーク（ＤＳＭＮ）および深層多重倍率ネットワーク（ＤＭＭＮ）間の比較。（ａ）ＤＳＭＮは、限られた視野で単一の倍率からパッチを見る。（ｂ）ＤＭＭＮは、より広い視野を有するように複数の倍率からパッチのセットを見る。ＤＭＭＮは、より正確な予測のために、より高い倍率からの細胞特徴およびより低い倍率からの構造的成長パターンの両方を学習することができる。 深層多重倍率ネットワークを用いた提案される方法のブロック図。本方法の第１のステップは、トレーニング全体スライド画像を部分的にアノテーションすることである。部分的アノテーションからトレーニングパッチを抽出し、クラス間のピクセル数の平衡をとった後、深層多重倍率ネットワークがトレーニングされる。トレーニングされたネットワークは、全体スライド画像のマルチクラス組織セグメンテーションのために用いられる。 部分的アノテーションの例。（ａ）乳房組織からの全体スライド画像。（ｂ）部分的にアノテーションされた画像。ここで、複数の組織サブタイプは、別個の色でアノテーションされ、白色領域はラベル付けされない。 （ａ）において単一の倍率および深層多重倍率ネットワーク（ＤＭＭＮ）を利用し、（ｂ）～（ｅ）において様々な倍率における複数のパッチを利用する、深層単一倍率ネットワーク（ＤＳＭＮ）のマルチクラス組織セグメンテーションのためのＣＮＮアーキテクチャ。（ａ）Ｕ－ＮｅｔはＤＳＭＮアーキテクチャとして用いられる。（ｂ）単一エンコーダ単一デコーダ（ＤＭＭＮ－Ｓ２）は、複数のパッチが連結され、Ｕ－Ｎｅｔアーキテクチャへの入力として用いられるＤＭＭＮアーキテクチャである。（ｃ）多重エンコーダ単一デコーダ（ＤＭＭＮ－ＭＳ）は、１つのみのデコーダを有するＤＭＭＮアーキテクチャである。（ｄ）多重エンコーダ多重デコーダ単一連結（ＤＭＭＮ－Ｍ２Ｓ）は、複数の倍率からの特徴マップが最終層においてのみ連結されるＤＭＭＮアーキテクチャである。（ｅ）提案される多重エンコーダ多重デコーダ多重連結（ＤＭＭＮ－Ｍ３）は、最も高い倍率のデコーダにおける特徴マップを強化するために中間層の間に特徴マップが連結されるＤＭＭＮアーキテクチャである。 トレーニング乳房データセット内の弾性変形を用いたクラス平衡。 ２つの深層単一倍率ネットワーク（ＤＳＭＮ）、ＳｅｇＮｅｔおよびＵ－Ｎｅｔ、ならびに４つの深層多重倍率ネットワーク（ＤＭＭＮ）、単一エンコーダ単一デコーダ（ＤＭＭＮ－Ｓ２）、多重エンコーダ単一デコーダ（ＤＭＭＮ－ＭＳ）、多重エンコーダ多重デコーダ単一連結（ＤＭＭＮ－Ｍ２Ｓ）、ならびに提案される多重エンコーダ多重デコーダ多重連結（ＤＭＭＮ－Ｍ３）を用いた、データセット－Ｉに対するセグメンテーション予測。（ａ）～（ｈ）は、全体スライド画像のサムネイルバージョンであり、（ｉ）～（ｐ）は、１０×の倍率における１０２４×１０２４ピクセルのサイズを有する浸潤性乳管がん（ＩＤＣ）に対するズームイン画像である。 ２つの深層単一倍率ネットワーク（ＤＳＭＮ）、ＳｅｇＮｅｔおよびＵ－Ｎｅｔ、ならびに４つの深層多重倍率ネットワーク（ＤＭＭＮ）、単一エンコーダ単一デコーダ（ＤＭＭＮ－Ｓ２）、多重エンコーダ単一デコーダ（ＤＭＭＮ－ＭＳ）、多重エンコーダ多重デコーダ単一連結（ＤＭＭＮ－Ｍ２Ｓ）、ならびに提案される多重エンコーダ多重デコーダ多重連結（ＤＭＭＮ－Ｍ３）を用いた、データセット－Ｉに対するセグメンテーション予測。（ａ）～（ｈ）は、全体スライド画像のサムネイルバージョンであり、（ｉ）～（ｐ）は、１０×の倍率における１０２４×１０２４ピクセルのサイズを有する良性上皮（ｂｅｎｉｇｎ ｅｐｉｔｈｅｌｉａｌ）に対するズームイン画像である。 ２つの深層単一倍率ネットワーク（ＤＳＭＮ）、ＳｅｇＮｅｔおよびＵ－Ｎｅｔ、ならびに４つの深層多重倍率ネットワーク（ＤＭＭＮ）、単一エンコーダ単一デコーダ（ＤＭＭＮ－Ｓ２）、多重エンコーダ単一デコーダ（ＤＭＭＮ－ＭＳ）、多重エンコーダ多重デコーダ単一連結（ＤＭＭＮ－Ｍ２Ｓ）、ならびに提案される多重エンコーダ多重デコーダ多重連結（ＤＭＭＮ－Ｍ３）を用いた、データセット－ＩＩに対するセグメンテーション予測。（ａ）～（ｈ）は、全体スライド画像のサムネイルバージョンであり、（ｉ）～（ｐ）は、１０×の倍率における１０２４×１０２４ピクセルのサイズを有する非浸潤性乳管がん（ＤＣＩＳ）に対するズームイン画像である。 ２つの深層単一倍率ネットワーク（ＤＳＭＮ）、ＳｅｇＮｅｔおよびＵ－Ｎｅｔ、ならびに４つの深層多重倍率ネットワーク（ＤＭＭＮ）、単一エンコーダ単一デコーダ（ＤＭＭＮ－Ｓ２）、多重エンコーダ単一デコーダ（ＤＭＭＮ－ＭＳ）、多重エンコーダ多重デコーダ単一連結（ＤＭＭＮ－Ｍ２Ｓ）、ならびに提案される多重エンコーダ多重デコーダ多重連結（ＤＭＭＮ－Ｍ３）に基づき、データセット－Ｉに対するがん腫、良性上皮、間質、壊死、脂肪および背景のセグメンテーションを評価する混同行列。 ２つの深層単一倍率ネットワーク（ＤＳＭＮ）、ＳｅｇＮｅｔおよびＵ－Ｎｅｔ、ならびに４つの深層多重倍率ネットワーク（ＤＭＭＮ）、単一エンコーダ単一デコーダ（ＤＭＭＮ－Ｓ２）、多重エンコーダ単一デコーダ（ＤＭＭＮ－ＭＳ）、多重エンコーダ多重デコーダ単一連結（ＤＭＭＮ－Ｍ２Ｓ）、ならびに提案される多重エンコーダ多重デコーダ多重連結（ＤＭＭＮ－Ｍ３）に基づき、データセット－ＩＩに対するがん腫、良性上皮および間質のセグメンテーションを評価する混同行列。壊死、脂肪および背景は、評価されるピクセルの欠如に起因してデータセット－ＩＩに対する評価から除外される。 多重倍率エンコーダ－デコーダ連結ネットワークを用いて生物医学的画像をセグメンテーションするための例示的なシステムのブロック図を示す。 セグメンテーションモデルをトレーニングするための部分的アノテーションを用いた例示的な生物医学的画像を示す。 生物医学的画像をセグメンテーションするためのセグメンテーションモデルにおけるネットワークの畳込みブロックのブロック図を示す。 生物医学的画像をセグメンテーションするためのセグメンテーションモデルにおけるネットワークの逆畳込みブロックのブロック図を示す。 セグメンテーションモデルにおけるネットワークの終端畳込みブロックのブロック図を示す。 生物医学的画像をセグメンテーションするためのセグメンテーションモデルにおけるネットワークのブロック図を示す。 生物医学的画像をセグメンテーションするためのセグメンテーションモデルのブロック図を示す。 多重倍率エンコーダ－デコーダ連結ネットワークを用いて生物医学的画像をセグメンテーションする方法の流れ図を示す。 多重倍率エンコーダ－デコーダ連結ネットワークを用いて生物医学的画像をセグメンテーションするためのモデルをトレーニングする方法の流れ図を示す。 サーバデバイスと通信するクライアントデバイスを含むネットワーク環境の実施形態を示すブロック図である。 クラウドサービスプロバイダと通信するクライアントデバイスを含むクラウドコンピューティング環境を示すブロック図である。 本明細書に記載の方法およびシステムとの関連で有用なコンピューティングデバイスの実施形態を示すブロック図である。

以下は、生物医学的画像をセグメンテーションするためのシステムおよび方法に関連する様々な概念およびその実施形態のより詳細な説明である。上記で紹介し、以下で更に詳細に論じる様々な概念は、多数の方式のうちの任意のもので実施することができることを理解されたい。なぜなら、開示される概念は、いかなる特定の実施方式にも限定されないためである。特定の実施態様および応用形態の例は、主に例示の目的で提供される。

セクションＡは、マルチクラス乳がん画像セグメンテーションのための深層多重倍率ネットワークのための第１の手法を記載する。

セクションＢは、マルチクラス乳がん画像セグメンテーションのための深層多重倍率ネットワークのための第２の手法を記載する。

セクションＣは、多重倍率、多重エンコーダ、多重デコーダおよび多重連結ネットワークを用いた生物医学的画像をセグメンテーションするためのシステムおよび方法を記載する。

セクションＤは、本明細書に記載の様々なコンピューティング関連の実施形態を実施するのに有用とすることができるネットワーク環境およびコンピューティング環境を記載する。

Ａ． マルチクラス乳がん画像セグメンテーションのための深層多重倍率ネットワークのための第１の手法
Ｉ． 序論
乳がんは、診断される最も一般的ながんであり、米国における女性のがんによる死亡の第２の主要な原因である。米国における女性の約１２％が生涯の間に乳がんと診断される。早期の乳がん患者は多くの場合、乳房温存手術、またはがんを含む乳房組織の一部分を除去する腫瘍摘出手術を受ける。通常、補助放射線療法と組み合わされる腫瘍摘出手術は、生存率の観点で、乳房切除と等しく、美容上の結果が改善することが示されている。手術中、外科医の目標は、がん腫瘍全体、および腫瘍を取り囲む良性組織の縁部を除去することである。腫瘍摘出手術標本のための外科的マージンを評価するための一般的な方法は、外科医が、がんを含む主要な塊が除去された後、腫瘍摘出手術腔の壁から組織の更なるセグメントを切除することを伴う。外科医が術中に特定のマージンを指定することを可能にするこの「腔薄切（ｃａｖｉｔｙ ｓｈａｖｅ）」方法は、より低い割合の陽性マージン（インク付けされたマージンに腫瘍が存在する）、およびより低い割合の再切除に関連している。手術切除の完全性を判断するために、腫瘍摘出手術標本の縁部、すなわちマージンが、病理学者によって顕微鏡により評価される。がんの局所再発のリスクを最小限にするために、陰性マージン（マージンに接触するがんが見つからない）を達成することが重要である。マージン標本の病理学的解析は、病理学者が事例あたりおよそ２０～４０個の組織学的スライドを調べることを伴い、このプロセスは時間がかかり、冗長であり得る。組織学的ガラススライドをデジタル走査する能力の増大に伴い、計算的病理学手法は、マージン標本の全体スライド画像（ＷＳＩ）を評価することによってこのプロセスの効率および精度を潜在的に改善し得る。最終的に、追加の手術の必要性を判断するために、病理学者によるマージンの正確な解析が重要である。

ＷＳＩを解析するために様々な手法が用いられてきた。ほとんどのモデルは、デジタルスライドにおける対象（すなわち、組織学的特徴）の位置特定、検出、分類およびセグメンテーションを含む。組織病理学的特徴は、核特徴、細胞／間質構造、または組織等のパターンベースの識別情報を含む。計算病理学は、サイズ、形状、それらの関係性等の、核特徴を抽出するために、核セグメンテーションにおいて用いられてきた。核セグメンテーションは、核密度が高い領域を見つけるために、適応閾値処理およびモルフォロジー演算によって行われる。乳がんのグレード分類方法は、ベイズ分類器および領域知識からの構造制約を用いた腺および核のセグメンテーションによって展開することができる。重なり合った核およびリンパ球をセグメンテーションするために、領域、境界および形状に基づく統合された動的輪郭を提示することができる。これらの核セグメンテーションに基づく手法は、がん領域の核および構造の形状がＷＳＩにおいて捕捉された組織において大きな変動を有する場合があるため、困難である。

大きなトレーニングデータセットの利用可能性、およびグラフィック処理装置（ＧＰＵ）の進化に起因して、自動画像解析のために機械学習のタイプの深層学習を用いることができる。非線形活性化関数を用いた深層から構成された深層学習モデルは、より精緻な特徴を学習することを可能にする。特に、画像における畳込みニューラルネットワーク（ＣＮＮ）学習空間特徴は、画像分類、物体検出および意味論的セグメンテーションにおける優れた成果を示した。完全畳込みネットワーク（ＦＣＮ）は、ピクセル単位の分類とも呼ばれる意味論的セグメンテーションのために用いることができ、画像内の対象のロケーション、サイズおよび形状を理解することができる。ＦＣＮは、エンコーダおよびデコーダから構成され、ここで、エンコーダは入力画像の低次元特徴を抽出し、デコーダは、低次元特徴を利用してセグメンテーション予測を生成する。意味論的セグメンテーションは、生物学的構造を自動的にセグメンテーションするために医療画像において用いられてきた。例えば、Ｕ－Ｎｅｔは、顕微鏡画像において細胞をセグメンテーションするのに用いられる。Ｕ－Ｎｅｔアーキテクチャは、空間情報を保持するためにエンコーダからデコーダまで特徴マップを転送する連結を有する。このアーキテクチャは、生物医学的画像に対するより正確なセグメンテーション予測を示した。

深層学習は、計算病理学コミュニティにおいて用いることができる。研究者らは、単純な３層ＣＮＮを用いることによる、ＷＳＩにおける浸潤性乳がん検出の自動識別を示した。間質領域を解析することにより、乳房組織スライドを浸潤性がんまたは良性に分類する方法は、ＣＮＮを用いることを含むことができる。マルチインスタンス学習ベースのＣＮＮは、ＣＮＮが１５，１８７人の患者からの４４，７３２個のＷＳＩによってトレーニングされる場合に１００％の感度を達成する。パブリック病理学データセットの利用可能性は、計算病理学のための多くの深層学習手法を開発することに寄与する。例えば、リンパ節転移を検出するための乳がんデータセットがＣＡＭＥＬＹＯＮ ｃｈａｌｌｅｎｇｅのためにリリースされ、乳がんデータセットを解析するためのいくつかの深層学習技法が開発されている。

ＷＳＩに対し深層学習を用いることの１つの難点は、単一のＷＳＩ全体のサイズが、ＧＰＵに入れて処理するには大きすぎることである。予めトレーニングされたＣＮＮによって処理されるように画像をダウンサンプリングすることができるが、ＷＳＩにおける臨床診断に必要な重大な詳細は失われる。これを解決するために、通常、スライドレベルの手法の代わりに、パッチベースの手法が用いられる。ここで、パッチは、ＷＳＩから抽出され、ＣＮＮによって処理される。スライドレベルで分類するためにマルチクラスロジスティック回帰が辿るパッチベースのプロセスを用いることができる。ＣＡＭＥＬＹＯＮ １６ ｃｈａｌｌｅｎｇｅの勝者は、Ｏｔｓｕ閾値処理技法を用いて組織領域を抽出し、パッチベースのモデルをトレーニングして腫瘍パッチおよび非腫瘍パッチを分類する。性能を増大させるために、腫瘍パッチと非腫瘍パッチとの間のクラス平衡、ならびに、回転、フリップ、およびカラージッタリング等のデータ拡張技法を用いることができる。加えて、ＣＡＭＥＬＹＯＮ １７ ｃｈａｌｌｅｎｇｅの勝者は、より正確な予測のためにパッチ重複戦略を開発する。パッチは、乳房ＷＳＩにおけるサブタイプをセグメンテーションするために、同じ倍率の境界領域を含む追加のより大きなパッチと共に処理することができる。代替的に、パッチ間の表現を共有するために、ＷＳＩにおけるパッチから生成された特徴を収集する表現－集約ＣＮＮが開発されている。パッチベースの手法は、（１）病理学者が狭い視野でパッチレベルのスライドを見ず、（２）スライドを正確に解析するために複数の倍率でスライドを見るようにズームレベルを頻繁に切り替えるため、現実的でない。

より現実的なＣＮＮを開発するために、複数の倍率でパッチのセットを入力し、視野を増大させ、他の倍率からの更なる情報を提供することが必要とされる。図１は、深層単一倍率ネットワーク（ＤＳＭＮ）および深層多重倍率ネットワーク（ＤＭＭＮ）間の差を示す。図１（ａ）におけるＤＳＭＮへの入力は、２０×の単一の倍率における２５６×２５６ピクセルのサイズを有する単一のパッチであり、これにより視野が制限される。図１（ｂ）におけるＤＭＭＮへの入力は、２０×、１０×および５×の複数の倍率における２５６×２５６ピクセルのサイズを有するパッチのセットであり、より広い視野を可能にする。ＤＭＭＮは、より広い視野で複数の倍率を提供することによって、病理学者が顕微鏡を用いてスライドを見る方式を模倣することができ、これにより、より正確な解析を生じさせることができる。

複数の倍率を用いて全体スライド画像を解析するいくつかの手法が存在する。バイナリセグメンテーションＣＮＮを用いて、ＣＡＭＥＬＹＯＮデータセット内の腫瘍領域をセグメンテーションすることができる。この作業では、異なる倍率の４つのエンコーダが実装されるが、１つのデコーダのみを用いて最終セグメンテーション予測を生成する。異なる倍率の３つのエキスパートネットワークから構成されたＣＮＮアーキテクチャ、入力パッチに基づいて特定の倍率を強調するための重みを自動的に選択するための重み付けネットワーク、および最終セグメンテーション予測を生成するための集約ネットワークも用いることができる。ここで、中間特徴マップは３つのエキスパートネットワーク間で共有されず、これは複数の倍率からの特徴マップの利用を制限する可能性がある。

本開示において、マージン標本において見つかった乳がんを識別することを目標に、乳房組織の画像内で複数のサブタイプを正確にセグメンテーションするための深層多重倍率ネットワーク（ＤＭＭＮ）が提示される。ＤＭＭＮアーキテクチャは、中間層内でより豊富な特徴マップを有するように、複数のエンコーダ、複数のデコーダ、およびデコーダ間の複数の連結を有する。ＤＭＭＮをトレーニングするために、アノテーションの負担を低減するようにＷＳＩを部分的にアノテーションすることができる。部分的アノテーションによってトレーニングされたＤＭＭＮモデルは、各サブタイプの特徴を学習するのみでなく、サブタイプ間の形態学的関係も学習することができ、これは優れたセグメンテーション性能につながる。多重倍率モデルは、２つの乳房データセットに対し試験され、モデルが他のアーキテクチャよりも一貫して性能が優れていることを観測する。この方法を用いて乳房マージン画像上のがん領域を自動的にセグメンテーションし、患者のマージンステータスの診断を支援し、未来の治療を決定することができる。深層多重倍率ネットワークは、より正確なセグメンテーション予測のために様々な倍率の特徴マップを組み合わせるように開発することができ、部分的アノテーションを用いて病理学者のアノテーション時間を節減し、それでもなお高い性能を達成することができる。

ＩＩ． 方法
図２は、方法のブロック図を示す。目標は、深層多重倍率ネットワーク（ＤＭＭＮ）を用いて乳房マージン画像におけるがん領域をセグメンテーションすることである。乳房マージン画像は、大きながん領域を含んでいない。したがって、大きながん領域を含む別の乳がんデータセットをトレーニングデータセットとして用いることができる。まず第１に、手動のアノテーションがＣクラスのトレーニングデータセットに対し行われる。このアノテーションは、部分的に、効率的で高速なプロセスのために行われることに留意されたい。マルチクラスセグメンテーションＤＭＭＮをトレーニングするために、全体スライド画像および対応するアノテーションからパッチが抽出される。抽出されたパッチを用いてＤＭＭＮをトレーニングする前に、弾性変形を用いてレアクラスに属するパッチを増倍させ、クラス間のピクセル数の平衡をとることができる。トレーニングステップが行われた後、乳がん画像のマルチクラスセグメンテーションのためにモデルを用いることができる。

部分的アノテーション
教師あり学習にはアノテーションの大きなセットが必要とされるが、これは通常、病理学者の時間および労力を必要とするコストの高いステップである。特に、画像サイズのギガピクセルスケールに起因して、全体スライド画像内の全てのピクセルをラベル付けする包括的なアノテーションは実用的でない。ＣＡＭＥＬＹＯＮデータセット等のパブリックデータセットを用いて多くの作業が行われるが、パブリックデータセットは特定の用途のために設計されたものであり、他の用途には一般化されない場合がある。乳房トレーニングデータセット上の複数の組織サブタイプをセグメンテーションするために、画像を部分的にセグメンテーションすることができる。

部分的アノテーションの場合、サブタイプ間の密接した境界領域にアノテーションする一方で、これらのラベル付けされていない領域の厚みを最小限にし、クロッピングなしで全体サブタイプコンポーネントをアノテーションすることを回避することができる。特に境界領域における、重複部分および後続の不正確なラベリングのない包括的アノテーションは、領域が互いにシームレスにマージすることを考えると困難である可能性がある。加えて、完全で包括的なラベル付けに必要とされる時間は莫大である。これらのラベル付けされていない境界領域の厚みを最小限にすることによって、部分的アノテーションによってトレーニングされるＣＮＮモデルは、サブタイプ間の空間関係を学習し、正確なセグメンテーション境界を生成することができる。これは、異なるサブタイプのアノテーションされた領域が過度に広く離間され、このため、それらの間の空間的関係性をトレーニングするのに適していない部分的アノテーションとは異なる。この手法は、アノテーションの労力を低減するために、全体スライド画像のサブ領域における包括的アノテーションも示すが、サブタイプコンポーネントがクロッピングされている場合、ＣＮＮモデルは異なるサブタイプの成長パターンを学習することができない。ここで、ＣＮＮモデルに全てのサブタイプの成長パターンを学習させるため、各サブタイプコンポーネントを全体的にアノテーションすることができる。図３（ａ）および図３（ｂ）は、熟練した病理学者が１つの全体スライド画像を部分的にアノテーションするのに概ね３０分を費やし得る部分的アノテーションの例を示す。図３（ｂ）における白色領域がラベル付けされていないことに留意されたい。

トレーニングパッチ抽出
全体スライド画像は、通常、畳込みニューラルネットワークを用いてスライドレベルにおいて処理するには過度に大きい。例えば、最も小さなマージンＷＳＩの寸法は、４３，８２４ピクセル×３１，１５９ピクセルであり、これは１３億ピクセル超である。ＷＳＩを解析するために、パッチベースの方法が用いられる。この方法では、画像から抽出されたパッチがＣＮＮによって処理され、次に、出力がスライドレベル解析のために組み合わされる。パッチベースの方法の１つの限界は、スライドを調査しながらズームレベルを切り替える病理学者を模倣しないことである。対照的に、パッチベースの方法は、限られた視野で単一の倍率でのみパッチを見る。

顕微鏡を用いて病理学者が行うことに類似させるために、多重倍率パッチのセットを抽出してＤＭＭＮをトレーニングすることができる。この作業において、ターゲットパッチのサイズは、ＷＳＩにおいて解析されるように設定することができ、２０×の倍率において２５６×２５６ピクセルとすることができる。ターゲットパッチを解析するために、２０×において１０２４×１０２４ピクセルのサイズを有する入力パッチが画像から抽出され、ここで、ターゲットパッチは入力パッチの中心に位置する。この入力パッチから、３つの多重倍率パッチのセットが抽出される。第１のパッチは、２０×において２５６×２５６ピクセルのサイズを有する入力パッチの中心から抽出され、これはターゲットパッチと同じロケーションおよび倍率である。第２のパッチは、５１２×５１２ピクセルのサイズを有する入力パッチの中心から抽出され、１０×において２５６×２５６ピクセルのサイズとなるように係数２でダウンサンプリングされる。最後に、第３のパッチは、５×において２５６×２５６ピクセルのサイズになるように係数４で入力パッチをダウンサンプリングすることによって生成される。異なる倍数における３つのパッチのセットは、２５６×２５６ピクセルのサイズを有するターゲットパッチにおいてがんをセグメンテーションするためのＤＭＭＮに対する入力となる。入力パッチは、対応するターゲットパッチにおける１％を超えるピクセルがアノテーションされている場合、トレーニング画像から抽出される。ｘおよびｙ方向へのストライドは、ターゲットパッチの重複を回避するために２５６ピクセルである。

クラス平衡
クラス平衡は、正確な性能のためにＣＮＮをトレーニングするために必須のステップである。１つのクラスにおけるトレーニングパッチの数が別のクラスにおけるトレーニングパッチの数よりも多い場合、ＣＮＮはマイナークラスからの特徴を適切に学習することができない。この作業では、アノテーションにおいてクラス不平衡が観測される。例えば、がん領域におけるアノテーションされたピクセルの数は、良性上皮領域におけるアノテーションされたピクセルの数よりも多い。クラス間の平衡をとるために、弾性変形を用いてマイナークラスに属するトレーニングパッチを増倍させる。

生物学的構造の曲がりくねった形状に起因して、弾性変形が、生物医学的画像におけるデータ拡張技法として広く用いられている。パッチに対し弾性変形を行うために、パッチにおける格子点のセットが選択され、σの標準偏差を有する正規分布によってランダムに変位される。格子点の変位に従って、パッチ内の全てのピクセルがバイキュービック補間によって変位される。格子点は、１７×１７およびσ＝４によって設定することができる。

増倍されるパッチの数は、クラス間のピクセル数の平衡をとるために注意深く選択される必要がある。ここで、ｒ_cとして表されるクラスｃの弾性変形レートは、パッチを増倍させるときのクラスの順位を決定するために、クラスｃおよびクラス順位について増倍されるパッチ数として定義することができる。レートは、各クラスにおけるピクセル数に基づいて選択することができる。レートは、非負の整数であり、レートが０である場合、弾性変形は実行されない。クラス順位は、用途に基づいて決定することができる。例えば、がん領域における正確なセグメンテーションを所望する場合、がんのクラスは他のクラスよりも高い順位を有する。パッチを増倍させるために、各パッチは、パッチがｃに分類されたピクセルラベルを含む場合、クラスｃに分類される必要がある。パッチが複数のクラスにおけるピクセルを含む場合、より高いクラス順位を有するクラスがパッチのクラスとなる。パッチが分類された後、パッチのｒ_c数が、弾性変形を用いてクラスｃ内のパッチ毎に増倍される。クラス平衡が行われると、全てのパッチを用いてＣＮＮをトレーニングする。

ＣＮＮアーキテクチャ
図４（ａ）～図４（ｄ）は、がんセグメンテーションのための様々なＣＮＮアーキテクチャを示す。入力パッチのサイズが２５６×２５６ピクセルであり、出力予測のサイズが２５６×２５６ピクセルであることに留意されたい。ＣＯＮＶ＿ＢＬＯＣＫは、１のパディングを有する３×３のカーネルサイズを有する畳込み層の２つのセットを含み、一連の正規化線形ユニット（ＲｅＬＵ）活性化関数が後続する。ＣＯＮＶ＿ＴＲ＿ｕは、転置畳込み層を含み、ＲｅＬＵ活性化関数が後続する。ここで、ｕはアップサンプリングレートである。ＣＯＮＶ＿ＴＲ＿４は、一連の２つのＣＯＮＶ＿ＴＲ＿２から構成されることに留意されたい。ＣＯＮＶ＿ＦＩＮＡＬは、１のパディングを有する３×３のカーネルサイズを有する畳込み層、ＲｅＬＵ活性化関数、およびＣ個のチャネルを出力するための１×１のカーネルサイズを有する畳込み層を含む。最終セグメンテーション予測は、ソフトマックス演算を用いて生成される。

緑色の矢印は、係数２による最大プール演算であり、赤い矢印は、中心クロップ演算であり、ここでクロップレートは赤色で書かれている。中心クロップ演算は、次の演算に向けて特徴マップのサイズおよび倍率を適合させるためにクロップレートによって全てのチャネルにおける特徴マップの中心領域をクロッピングする。中心クロップ演算中、クロップレートがそれぞれ２および４である場合、クロップされた特徴マップの幅および高さは、入力特徴マップの幅および高さの半分および４分の１になる。

図４（ａ）における単一エンコーダ単一デコーダ（ＳＥＳＤ）アーキテクチャは、２０×における単一の倍率パッチを用いて対応するセグメンテーション予測を生成する。この実施は、チャネル数が２分の１に低減することを除いてＵ－Ｎｅｔと同じであることに留意されたい。図４（ｂ）における多重エンコーダ単一デコーダ（ＭＥＳＤ）アーキテクチャは、２０×、１０×および５×の倍率について複数のエンコーダを用いるが、セグメンテーション予測を生成するために単一のデコーダのみを用いる。図４（ｃ）における多重エンコーダ多重デコーダ単一連結（ＭＥＭＤＳＣ）アーキテクチャは、２０×、１０×および５×の倍率について複数のエンコーダおよび対応するデコーダを有するが、連結は、エンコーダ－デコーダアーキテクチャの端部においてのみ行われる。他のアーキテクチャとの公平な比較のために重み付けＣＮＮは除外されることに留意されたい。最後に、図４（ｄ）における多重エンコーダ多重デコーダ多重連結（ＭＥＭＤＭＣ）アーキテクチャは、複数のエンコーダおよびデコーダを有し、２０×デコーダのための特徴マップを強化するためにデコーダにおける複数の層間の連結を有する。

ＣＮＮトレーニング
セクションＩＩ－Ｃからの平衡をとられたパッチのセットを用いてマルチクラスセグメンテーションＣＮＮをトレーニングする。重み付けされたクロスエントロピーを、パッチにおけるＮ個のピクセルおよびＣ個のクラスでのトレーニング損失関数として用いることができる。

(1)
ここで、

および

は、それぞれクラスｃのための２次元グランドトゥルースおよびセグメンテーション予測である。

は、ピクセルロケーションｐにおけるクラスｃのためのバイナリグランドトゥルース値であり、０または１であり、

は、０～１のピクセルロケーションｐにおけるクラスｃのためのセグメンテーション予測値である。式１において、クラスｃのための重みであるｗ_cは以下のように定義される。

(2)
ここで、Ｎ_cは、トレーニングセット内のクラスｃのためのピクセル数である。ラベル付けされていないピクセルはトレーニング損失関数に寄与しないことに留意されたい。５×１０^-5の学習レート、０．９９の運動量、および１０^-4の重み減衰を有する確率的勾配降下法（ＳＧＤ）を、最適化のために２０エポックにわたって用いることができる。検証画像における最高平均ＩＯＵ（ｍＩＯＵ：ｍｅａｎ ｉｎｔｅｒｓｅｃｔｉｏｎ－ｏｖｅｒ－ｕｎｉｏｎ）を有するＣＮＮモデルが最終モデルとして選択される。トレーニング中、回転、垂直および平行フリップ、明るさ、コントラスト、ならびにカラージッタリングを用いたデータ拡張が用いられる。

マルチクラスセグメンテーション
乳房画像に対するマルチクラス組織セグメンテーションは、トレーニングされたＣＮＮを用いて行うことができる。各ピクセルにおける最終的なラベルは、Ｃ個のクラス間の最も大きな予測値を有するクラスとして選択される。１０２４×１０２４ピクセルのサイズを有する入力パッチが全体スライド画像から抽出され、セクションＩＩ－Ｂに記載のプロセスによって、２０×、１０×および５×の倍率における２５６×２５６ピクセルのサイズを有する３つのパッチのセットが生成される。３つのパッチのセットは、トレーニングされたＣＮＮによって処理される。２５６×２５６ピクセルのサイズを有するセグメンテーション予測は、入力パッチの中心ロケーションに位置する。入力パッチは、ＷＳＩ全体を処理するためにｘおよびｙ方向において２５６ピクセルのストライドを用いてＷＳＩの左上角部から抽出される。ＷＳＩの境界においてゼロパディングを行い、入力パッチを抽出する。セグメンテーションプロセスを加速するために、背景領域を除去するためのオプションとして、パッチを抽出する前にＯｔｓｕ閾値処理技法を用いることができる。

ＩＩＩ． 実験結果
このアーキテクチャの目的は、乳房マージンデータセットにおけるがん領域をセグメンテーションすることである。乳房マージンデータセットからの画像は、小さながん領域を有するか、またはがん領域を有しない。大きな浸潤性乳管がん（ＩＤＣ）領域を含むトリプルネガティブ乳がん（ＴＮＢＣ）データセットを用いて、ＣＮＮモデルをトレーニングすることができる。ＴＮＢＣデータセットおよび乳房マージンデータセットにおける全ての全体スライド画像は、ヘマトキシリン－エオジン（Ｈ＆Ｅ）染色され、Ｍｅｍｏｒｉａｌ Ｓｌｏａｎ Ｋｅｔｔｅｒｉｎｇ Ｃａｎｃｅｒ Ｃｅｎｔｅｒからデジタル化された。ＴＮＢＣデータセットは、Ａｐｅｒｉｏ ＸＴによって走査され、ここで、２０×におけるミクロン毎ピクセル（ＭＰＰ）は、０．４９７９であり、乳房マージンデータセットは、Ａｐｅｒｉｏ ＡＴ２によって走査され、ここで２０×におけるＭＰＰは０．５０２１である。

３８個の画像がＴＮＢＣデータセットから部分的にアノテーションされた。ＴＮＢＣデータセットは、２６個のトレーニング画像、６個の検証画像、および６個の試験画像として分割された。ＴＮＢＣデータセットにおいて、がん、良性上皮、背景、間質、壊死および脂肪である６つのクラス（Ｃ＝６）を用いることができる。背景は、組織でない領域として定義されることに留意されたい。ここで、全体スライド画像のピクセルのうちの５．４８％がアノテーションされた。クラス間のアノテーションされたピクセル数の平衡をとるために、値ｒ₂＝１０、ｒ₁＝２、ｒ₅＝３、ｒ₃＝１、ｒ₄＝０およびｒ₆＝０が実験的に設定され、ここで、ｒ₁、ｒ₂、ｒ₃、ｒ₄、ｒ₅およびｒ₆は、それぞれ、がん、良性上皮、背景、間質、壊死および脂肪の弾性変形レートである。がん領域を正確にセグメンテーションし、良性上皮を分離して誤ったセグメンテーションを低減するために、良性上皮が最も高いクラス順位として選択され、がん、壊死および背景がそれに続いた。図５は、弾性変形を用いてクラス間のアノテーションされたピクセル数の平衡がとられることを示す。単一のＮＶＩＤＩＡ ＧｅＦｏｒｃｅ ＧＴＸ ＴＩＴＡＮ Ｘ ＧＰＵを用いると、トレーニングプロセスは、約３日かかった。

図６および図７は、単一エンコーダ単一デコーダ（ＳＥＳＤ）アーキテクチャ、多重エンコーダ単一デコーダ（ＭＥＳＤ）アーキテクチャ、多重エンコーダ多重デコーダ単一連結（ＭＥＭＤＳＣ）アーキテクチャ、および提案される多重エンコーダ多重デコーダ多重連結（ＭＥＭＤＭＣ）アーキテクチャの、スライドレベルおよび１０×倍率の両方のマルチクラスセグメンテーション予測を示す。ここで、がんは赤色、良性上皮は青色、背景は黄色、間質は緑色、壊死は灰色、脂肪は橙色でラベル付けされる。図６（ｂ）、図６（ｈ）および図７（ｂ）、図７（ｈ）における白色領域はラベル付けされていないことに留意されたい。脂肪領域は、それらのピクセル強度に起因して背景として予測されることが観測されたため、Ｏｔｓｕ閾値処理技法はＴＮＢＣデータセットに対するセグメンテーションには用いられない。Ｏｔｓｕ閾値処理技法がなければ、１つのＷＳＩに対するセグメンテーションは、単一のＧＰＵを用いて約１５分かかる。ＳＥＳＤは、正確なセグメンテーション予測を行うには視野が狭いため、サブタイプ間の正確な境界を生成しないことが観測されている。ＭＥＳＤは、場合によっては、がんと良性上皮とを区別することができない。ＭＥＭＤＳＣおよびＭＥＭＤＭＣは、ＴＮＢＣ画像のための正確なセグメンテーション予測を生成する。

乳房マージン画像は、同じマルチクラスセグメンテーションモデルを用いて処理された。全てのがん領域は、正確な評価のために包括的にアノテーションされた。図８および図９は、乳房マージン画像におけるセグメンテーション予測を、スライドレベルおよび１０×の倍率の両方で示す。乳房マージン画像のがんセグメンテーションは、がん領域は赤色、良性上皮、背景、間質、壊死および脂肪を含む非がん領域は黄色でラベル付けされるように行うことができる。Ｏｔｓｕ閾値処理技法は、全体スライド画像を傾ける前に、乳房マージン画像に対しがん領域をセグメンテーションする処理時間を低減するために用いられた。Ｏｔｓｕ閾値処理技法を用いると、１つのＷＳＩに対するセグメンテーションは、単一のＧＰＵを用いて約２分かかる。ＳＥＳＤは、不正確な境界を用いたセグメンテーション予測を依然として生成する。大きな非がん領域は、ＭＥＭＤＳＣによって、がんとして誤ってセグメンテーションされることが観測されている。ＭＥＳＤおよびＭＥＭＤＭＣは、乳房マージン画像のためのがん領域に対する正確なセグメンテーションを生成する。

予測は、ＩＯＵ（ｉｎｔｅｒｓｅｃｔｉｏｎ－ｏｖｅｒ－ｕｎｉｏｎ）、リコールおよび精度を用いて数値的に評価された。ＩＯＵ、リコールおよび精度は以下のように定義される。

(3)

(4)

(5)
ここで、Ｎ_TP、Ｎ_FPおよびＮ_FNは、それぞれ、真陽性、偽陽性および偽陰性のピクセル数である。表Ｉ、表ＩＩおよび表ＩＩＩは、それぞれ、ＴＮＢＣデータセットにおけるＩＯＵ、リコールおよび精度値を示す。表Ｉ、表ＩＩおよび表ＩＩＩにおける評価は、部分的にアノテーションされたＴＮＢＣ画像を用いて行われたことに留意されたい。方法（ＭＥＭＤＭＣ）は他のアーキテクチャよりも性能が優れている。特に、がんおよび良性上皮を分離することは、類似の形態学的パターンに起因して困難であることが知られているが、この方法は、がんおよび良性上皮の両方について最高ＩＯＵを有する。表ＩＶは、乳房マージンデータセットにおけるがん領域に対する４つのモデルにおけるＩＯＵ、リコールおよび精度を示す。モデルは、ＴＮＢＣデータセットに対しトレーニングされ、乳房マージン画像が試験セットのために確保された。１０個の乳房マージン画像内のピクセルの０．１８８％のみががんとして網羅的にラベル付けされたことに留意されたい。ＳＥＳＤおよびＭＥＭＤＳＣは、多くの非がん領域ががんとしてセグメンテーションされることに起因して低精度の値を有する。ＭＥＳＤは、乳房マージン画像におけるがん領域のセグメンテーションに成功することができるが、ＴＮＢＣデータセットにおいて良好にセグメンテーションしない。この数値的解析は、提案されるＭＥＭＤＭＣモデルが両方のデータセットに対し良好ながんセグメンテーション性能を有することを示し、モデルが未知のデータセットに対して一般化することに成功することができることを証明する。
表１ ＴＮＢＣデータセットにおけるＩＯＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ Ｏｖｅｒ Ｕｎｉｏｎ）

表ＩＩ ＴＮＢＣデータセットにおけるリコール

表ＩＩＩ ＴＮＢＣデータセットにおける精度

表ＩＶ 乳房マージンデータセットにおけるがん領域についてのＩＯＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ Ｏｖｅｒ Ｕｎｉｏｎ）、リコールおよび精度

ＩＶ． 結論
本明細書には、全体スライド画像における正確なマルチクラス組織セグメンテーションのための深層多重倍率ネットワーク（ＤＭＭＮ）が記載されている。モデルは、アノテータのための時間および労力を低減するために部分的にアノテーションされた画像によってトレーニングされる。アノテーションが部分的に行われたが、モデルは、クラス内の空間特性のみでなく、クラス間の空間関係も学習可能であった。ＤＭＭＮアーキテクチャは、より正確な予測を行うためにより広い視野を有するように、２０×、１０×および５×の全ての倍率を見る。１０×および５×のデコーダにおける中間特徴マップを２０×のデコーダに転送して特徴マップを強化することによって、以前のＤＭＭＮを改善することも可能であった。

実施態様により、複数の乳房データセットにおける優れたセグメンテーション性能を達成した。特に、乳房マージン画像における自動がんセグメンテーションを用いて、患者の未来の治療を決定することができる。モデルは、主に浸潤性乳管がんによってトレーニングされたため、乳房画像に存在する低グレードの高分化型がんのセグメンテーションに成功しない場合があることが観測されている。将来的に、トレーニング中に様々ながん構造が含まれるより正確なＤＭＭＮモデルを開発することができる。

Ｂ． マルチクラス乳がん画像セグメンテーションのための深層多重倍率ネットワークのための第２の手法
Ｉ． 序論
乳がんは女性が診断される最も一般的ながんである。米国における女性の約１２％が生涯の間に乳がんと診断される。病理学者は、腫瘍成長パターンおよび核細胞特徴を含む多岐にわたる形態学的特徴に基づいて乳がんを診断する。乳房組織の病理学的評価は、患者の臨床管理を指定し、予後情報を提供する。多岐にわたる生検および手術標本からの乳房組織が病理学者によって評価される。例えば、早期の乳がん患者は多くの場合、乳房温存手術、またはがんを含む乳房組織の一部分を除去する腫瘍摘出手術を受ける。手術切除の完全性を判断するために、腫瘍摘出手術標本の縁部、すなわちマージンが、病理学者によって顕微鏡により評価される。がんの局所再発のリスクを最小限にするために、陰性マージン（マージンに接触するがんが見つからない）を達成することが重要である。追加の手術の必要性を判断するために、病理学者によるマージンの正確な解析が重要である。マージン標本の病理学的解析は、病理学者が事例あたりおよそ２０～４０個の組織学的スライドを調べることを伴い、このプロセスは時間がかかり、冗長であり得る。組織学的ガラススライドをデジタル走査する能力の増大に伴い、計算的病理学手法は、標本の全体スライド画像（ＷＳＩ）を評価することによってこのプロセスの効率および精度を潜在的に改善し得る。

ＷＳＩを解析するために様々な手法が用いられてきた。ほとんどのモデルは、デジタルスライドにおける対象（すなわち、組織学的特徴）の位置特定、検出、分類およびセグメンテーションを含む。組織病理学的特徴は、核特徴、細胞／間質構造、または組織等のパターンベースの識別情報を含む。計算病理学は、サイズ、形状、それらの関係性等の、核特徴を抽出するために、核セグメンテーションにおいて用いられてきた。核セグメンテーションは、核密度が高い領域を見つけるために、適応閾値処理およびモルフォロジー演算によって行われる。乳がんのグレード分類方法は、ベイズ分類器および領域知識からの構造制約を用いた腺および核のセグメンテーションによって展開することができる。重なり合った核およびリンパ球をセグメンテーションするために、領域、境界および形状に基づく統合されたアクティブな輪郭が提示される。前立腺組織における腺セグメンテーションおよび分類方法が導入される。ここでは、核、細胞質および管腔からの構造的特徴およびコンテキスト特徴を用いて、アーチファクト、正常な腺および腺がんを分類する。これらの核セグメンテーションに基づく手法は、がん領域の核および構造の形状がＷＳＩにおいて捕捉された組織において大きな変動を有する場合があるため、困難である。

近年、大きなトレーニングデータセットの利用可能性、およびグラフィック処理装置（ＧＰＵ）の進化に起因して、自動画像解析のために機械学習のタイプの深層学習が用いられてきた。非線形活性化関数を有する深層から構成された深層学習モデルは、より精緻な特徴を学習することを可能にする。特に、画像における畳込みニューラルネットワーク（ＣＮＮ）学習空間特徴は、画像分類、物体検出および意味論的セグメンテーションにおける優れた成果を示した。ピクセル単位の分類とも呼ばれる意味論的セグメンテーションのために開発された完全畳込みネットワーク（ＦＣＮ）は、画像内の対象のロケーション、サイズおよび形状を理解することができる。ＦＣＮは、エンコーダおよびデコーダから構成され、ここで、エンコーダは入力画像の低次元特徴を抽出し、デコーダは、低次元特徴を利用してセグメンテーション予測を生成する。セグメンテーション予測を改善するために、ＳｅｇＮｅｔは最大アンプーリング層を導入し、ここで、エンコーダにおける最大プールインデックスが記憶され、デコーダにおける対応するアップサンプリング層において用いられる。意味論的セグメンテーションは、生物学的構造を自動的にセグメンテーションするために医療画像において用いられてきた。例えば、Ｕ－Ｎｅｔは、顕微鏡画像において細胞をセグメンテーションするのに用いられる。Ｕ－Ｎｅｔアーキテクチャは、空間情報を保持するためにエンコーダからデコーダまで特徴マップを転送する連結を有する。このアーキテクチャは、生物医学的画像に対するより正確なセグメンテーション予測を示した。

近年、深層学習は、計算病理学コミュニティにおいて高い注目を受けている。研究者らは、単純な３層ＣＮＮを用いることによる、ＷＳＩにおける浸潤性乳がん検出の自動識別を示した。ＣＮＮを用いて間質領域を解析することにより、乳房組織スライドを浸潤性がんまたは良性に分類する方法が説明される。更に近年、複数インスタンス学習ベースのＣＮＮは、ＣＮＮが１５，１８７人の患者からの４４，７３２個のＷＳＩによってトレーニングされる場合に１００％の感度を達成する。パブリック病理学データセットの利用可能性は、計算病理学のための多くの深層学習手法を開発することに寄与する。例えば、リンパ節転移を検出するための乳がんデータセットがＣＡＭＥＬＹＯＮ ｃｈａｌｌｅｎｇｅのためにリリースされ、乳がんデータセットを解析するためにいくつかの深層学習技法が開発されている。

ＷＳＩに対し深層学習を用いることの１つの難点は、単一のＷＳＩ全体のサイズが、ＧＰＵに入れて処理するには大きすぎることである。予めトレーニングされたＣＮＮによって処理されるように画像をダウンサンプリングすることができるが、ＷＳＩにおける臨床診断に必要な重大な詳細は失われる。これを解決するために、通常、スライドレベルの手法の代わりに、パッチベースの手法が用いられる。ここで、パッチは、ＷＳＩから抽出され、ＣＮＮによって処理される。スライドレベルで分類するためにマルチクラスロジスティック回帰が辿るパッチベースのプロセスが記載される。ＣＡＭＥＬＹＯＮ １６ ｃｈａｌｌｅｎｇｅの勝者は、Ｏｔｓｕ閾値処理技法を用いて組織領域を抽出し、パッチベースのモデルをトレーニングして腫瘍パッチおよび非腫瘍パッチを分類する。性能を増大させるために、腫瘍パッチと非腫瘍パッチとの間のクラス平衡、ならびに、回転、フリップ、およびカラージッタリング等のデータ拡張技法が用いられる。加えて、ＣＡＭＥＬＹＯＮ １７ ｃｈａｌｌｅｎｇｅの勝者は、より正確な予測のためにパッチ重複戦略を開発する。パッチは、乳房ＷＳＩにおけるサブタイプをセグメンテーションするために、同じ倍率の境界領域を含む追加のより大きなパッチと共に処理される。代替的に、パッチ間の表現を共有するために、ＷＳＩにおけるパッチから生成された特徴を収集する表現－集約ＣＮＮが開発されている。パッチベースの手法は、（１）病理学者が狭い視野でパッチレベルのスライドを見ず、（２）複数の倍率からスライド上の様々な特徴を抽出するようにズームレベルを頻繁に切り替えるため、現実的でない。

より現実的なＣＮＮを開発するために、複数の倍率でパッチのセットを入力し、視野を増大させ、他の倍率から更なる情報を提供することが必要とされる。高倍率パッチは、核特徴等の細胞レベルにおける詳細を提供するのに対し、低倍率パッチは、良性および悪性プロセスの組織タイプおよび構造的成長パターンの分布を実証する。図１は、深層単一倍率ネットワーク（ＤＳＭＮ）および深層多重倍率ネットワーク（ＤＭＭＮ）間の差を示す。図１０（ａ）におけるＤＳＭＮへの入力は、２０×の単一の倍率における２５６×２５６ピクセルのサイズを有する単一のパッチであり、これにより視野が制限される。図１０（ｂ）におけるＤＭＭＮへの入力は、２０×、１０×および５×の複数の倍率における２５６×２５６ピクセルのサイズを有するパッチのセットであり、より広い視野を可能にする。ＤＭＭＮは、より広い視野で複数の倍率を提供することによって、病理学者が顕微鏡を用いてスライドを見る方式を模倣することができ、これにより、より正確な解析を生じさせることができる。

複数の倍率を用いて組織サンプルからの画像を解析するいくつかの作業が存在する。多重入力多重出力ＣＮＮは、複数の分解能で入力画像を解析して、蛍光顕微鏡画像において細胞をセグメンテーションすることによって導入される。同様に、染色認識マルチスケールＣＮＮが、例えば組織学画像における細胞セグメンテーションのために更に設計される。ＣＡＭＥＬＹＯＮデータセットにおいて腫瘍領域をセグメンテーションするために、バイナリセグメンテーションＣＮＮが記載される。この作業では、異なる倍率の４つのエンコーダが実装されるが、１つのデコーダのみを用いて最終セグメンテーション予測を生成する。更に近年、異なる倍率の３つのエキスパートネットワークから構成されたＣＮＮアーキテクチャ、入力パッチに基づいて特定の倍率を強調するための重みを自動的に選択する重み付けネットワーク、および最終セグメンテーション予測を生成する集約ネットワークが開発されている。ここで、特徴マップは、最後の層まで３つのエキスパートネットワーク間で共有されず、これは複数の倍率からの特徴マップの利用を制限する可能性がある。アーキテクチャはより低い倍率で設計され、中心クロップ特徴マップはより低い倍率であり、次に、連結中にサイズおよび倍率を合わせるように、クロップされた特徴マップがアップサンプリングされる。これもまた、より低い倍率においてクロップされた境界領域における特徴マップの利用を制限する可能性がある。

本明細書には、乳房組織の画像における複数のサブタイプを正確にセグメンテーションするための深層多重倍率ネットワーク（ＤＭＭＮ）が提示される。ＤＭＭＮアーキテクチャは、中間層内でより豊富な特徴マップを有するように、複数のエンコーダ、複数のデコーダ、およびデコーダ間の複数の連結を有する。より低い倍率における特徴マップを完全に利用するために、中間特徴マップは連結中に中心をクロップすることができる。各層において中間特徴マップを連結することによって、複数の倍率からの特徴マップを用いて正確なセグメンテーション予測を生成することができる。ＤＭＭＮをトレーニングするために、アノテーションの負担を低減する際と同様にＷＳＩを部分的にアノテーションすることができる。部分的アノテーションによってトレーニングされたＤＭＭＮモデルは、各サブタイプの特徴を学習するのみでなく、サブタイプ間の形態学的関係、特に１つのサブタイプから境界領域上の別のサブタイプへの遷移も学習することができ、これは優れたセグメンテーション性能につながる。多重倍率モデルは、２つの乳房データセットに対し試験することができ、モデルが他のアーキテクチャよりも一貫して性能が優れていることを観測することができる。本方法を用いて乳房画像上のがん領域を自動的にセグメンテーションし、患者のステータスの診断を支援し、未来の治療を決定することができる。この作業の主な寄与は以下である。（１）より正確なセグメンテーション予測のために様々な倍率の特徴マップを組み合わせる深層多重倍率ネットワーク、および（２）病理学者のアノテーション時間を節減し、それでもなお高い性能を達成するための部分的アノテーションの導入。

ＩＩ． 提案される方法
図１１は、提案される方法のブロック図を示す。目標は、深層多重倍率ネットワーク（ＤＭＭＮ）を用いて乳房画像における複数のサブタイプをセグメンテーションすることである。まず第１に、手動のアノテーションがＣ個のクラスのトレーニングデータセットに対し行われる。ここで、このアノテーションは、部分的に、効率的で高速なプロセスのために行われる。マルチクラスセグメンテーションＤＭＭＮをトレーニングするために、パッチは全体スライド画像（ＷＳＩ）および対応するアノテーションから抽出される。抽出されたパッチを用いてＤＭＭＮをトレーニングする前に、弾性変形を用いてレアクラスに属するパッチを増倍させ、クラス間のアノテーションされたピクセル数の平衡をとることができる。トレーニングステップが行われた後、乳がん画像のマルチクラスセグメンテーションのためにモデルを用いることができる。

部分的アノテーション
教師あり学習にはアノテーションの大きなセットが必要とされるが、これは通常、病理学者の時間および労力を必要とするコストの高いステップである。特に、画像サイズのギガピクセルスケールに起因して、ＷＳＩ内の全てのピクセルをラベル付けする包括的なアノテーションは実用的でない。ＣＡＭＥＬＹＯＮデータセット等のパブリックデータセットを用いて多くの作業が行われるが、パブリックデータセットは特定の用途のために設計されたものであり、他の用途には一般化されない場合がある。乳房トレーニングデータセット上の複数の組織サブタイプをセグメンテーションするために、画像を部分的にアノテーションすることができる。

部分的アノテーションの場合、（１）サブタイプ間の密接した境界領域にアノテーションする一方でこれらのラベル付けされていない領域の厚みを最小限にし、（２）クロッピングなしで全体サブタイプコンポーネントをアノテーションすることを回避することができる。特に境界領域における、重複部分および後続の不正確なラベリングのない包括的アノテーションは、領域が互いにシームレスにマージすることを考えると困難である可能性がある。加えて、完全で包括的なラベル付けに必要とされる時間は莫大である。これらのラベル付けされていない境界領域の厚みを最小限にすることによって、部分的アノテーションによってトレーニングされるＣＮＮモデルは、１つのサブタイプから別のサブタイプへの遷移等のサブタイプ間の空間関係を学習し、正確なセグメンテーション境界を生成することができる。これは、異なるサブタイプのアノテーションされた領域が過度に広く離間され、このため、それらの間の空間的関係性をトレーニングするのに適していない場合に行われる部分的アノテーションとは異なる。この作業は、アノテーションの労力を低減するために、ＷＳＩのサブ領域における包括的アノテーションも示唆するが、サブタイプコンポーネントがクロッピングされている場合、ＣＮＮモデルは異なるサブタイプの成長パターンを学習することができない。ＣＮＮモデルに全てのサブタイプの成長パターンを学習させるため、各サブタイプコンポーネントを全体的にアノテーションすることができる。図１２（ａ）は、熟練した病理学者が１つのＷＳＩを部分的にアノテーションするのに概ね３０分を費やし得る部分的アノテーションの例を示す。図１２（ｂ）における白色領域がラベル付けされていないことに留意されたい。

トレーニングパッチ抽出
全体スライド画像は、通常、畳込みニューラルネットワークを用いてスライドレベルにおいて処理するには過度に大きい。ＷＳＩを解析するために、パッチベースの方法が用いられる。ここで、画像から抽出されたパッチは、ＣＮＮによって処理され、次に、出力がスライドレベル解析のために組み合わされる。パッチベースの方法の１つの制限は、限られた視野で単一の倍率でのみパッチを見ることである。

より広い視野を得るために、多重倍率パッチのセットを抽出してＤＭＭＮをトレーニングする。ターゲットパッチのサイズは、ＷＳＩにおいて解析されるように設定することができ、２０×の倍率において２５６×２５６ピクセルとすることができる。ターゲットパッチを解析するために、２０×における１０２４×１０２４ピクセルのサイズを有する入力パッチが画像から抽出され、ここで、ターゲットパッチは入力パッチの中心に位置する。この入力パッチから、３つの多重倍率パッチのセットが抽出される。第１のパッチは、２０×において２５６×２５６ピクセルのサイズを有する入力パッチの中心から抽出され、これはターゲットパッチと同じロケーションおよび倍率である。第２のパッチは、５１２×５１２ピクセルのサイズを有する入力パッチの中心から抽出され、１０×において２５６×２５６ピクセルのサイズとなるように係数２でダウンサンプリングされる。最後に、第３のパッチは、５×において２５６×２５６ピクセルのサイズになるように係数４で入力パッチをダウンサンプリングすることによって生成される。異なる倍数における３つのパッチのセットは、２５６×２５６ピクセルのサイズを有するターゲットパッチにおいてがんをセグメンテーションするためのＤＭＭＮに対する入力となる。入力パッチは、対応するターゲットパッチにおける１％を超えるピクセルがアノテーションされている場合、トレーニング画像から抽出される。ｘおよびｙ方向へのストライドは、ターゲットパッチの重複を回避するために２５６ピクセルである。ターゲットパッチは複数のクラスラベルを有する場合があることに留意されたい。

クラス平衡
クラス平衡は、正確な性能のためにＣＮＮをトレーニングするために必須のステップである。１つのクラスにおけるトレーニングパッチの数が別のクラスにおけるトレーニングパッチの数よりも多い場合、ＣＮＮはマイナークラスからの特徴を適切に学習することができない。この作業では、アノテーションにおいてクラス不均衡が観測される。例えば、がん領域におけるアノテーションされたピクセルの数は、良性上皮領域におけるアノテーションされたピクセルの数よりも多い。クラス間の平衡をとるために、弾性変形を用いてマイナークラスに属するトレーニングパッチを増倍させる。

生物学的構造の曲がりくねった形状に起因して、弾性変形は、生物医学的画像におけるデータ拡張として広く用いられている。パッチに対し弾性変形を行うために、パッチにおける格子点のセットが選択され、σの標準偏差を有する正規分布によってランダムに変位される。格子点の変位に従って、パッチ内の全てのピクセルがバイキュービック補間によって変位される。格子点は、核の過剰な歪みにより特徴を失うことを回避するために、経験的に、１７×１７およびσ＝４に設定することができる。

増倍されるパッチの数は、クラス間のピクセル数の平衡をとるために注意深く選択される必要がある。ここで、パッチを増倍させるときのクラスの順位を決定するために、クラスｃおよびクラス順位について増倍されるパッチ数となるように、弾性変形レートをクラスｃについて定義することができ、これはｒｃとして表される。レートは、各クラスにおけるピクセル数に基づいて選択することができる。レートは、非負の整数であり、レートが０である場合、弾性変形は実行されない。クラス順位は、用途に基づいて決定することができる。例えば、がん領域における正確なセグメンテーションを所望する場合、がんのクラスは他のクラスよりも高い順位を有する。パッチを増倍させるために、各パッチは、パッチがｃに分類されたピクセルラベルを含む場合、クラスｃに分類される必要がある。パッチが複数のクラスにおけるピクセルを含む場合、より高いクラス順位を有するクラスがパッチのクラスとなる。パッチが分類された後、パッチのｒｃ数が、弾性変形を用いてクラスｃ内のパッチ毎に増倍される。クラス平衡が行われると、全てのパッチを用いてＣＮＮをトレーニングする。

ＣＮＮアーキテクチャ
図１３は、マルチクラス組織セグメンテーションのための深層単一倍率ネットワーク（ＤＳＭＮ）および深層多重倍率ネットワーク（ＤＭＭＮ）のアーキテクチャを示す。入力パッチのサイズは２５６×２５６ピクセルであり、出力予測のサイズは２５６×２５６ピクセルである。ＣＯＮＶ＿ＢＬＯＣＫは、１のパディングを有する３×３のカーネルサイズを有する畳込み層の２つのセットを含み、一連の正規化線形ユニット（ＲｅＬＵ）活性化関数が後続する。ＣＯＮＶ＿ＴＲ＿ｕは、転置畳込み層を含み、ＲｅＬＵ活性化関数が後続する。ここで、ｕはアップサンプリングレートである。ＣＯＮＶ＿ＴＲ＿４は、一連の２つのＣＯＮＶ＿ＴＲ２から構成されることに留意されたい。ＣＯＮＶ＿ＦＩＮＡＬは、１のパディングを有する３×３のカーネルサイズを有する畳込み層、ＲｅＬＵ活性化関数、およびＣ個のチャネルを出力するための１×１のカーネルサイズを有する畳込み層を含む。最終セグメンテーション予測は、ソフトマックス演算を用いて生成される。緑色の矢印は、係数２による最大プール演算であり、赤い矢印は、中心クロップ演算であり、ここでクロップレートは赤色で書かれている。中心クロップ演算は、次の演算に向けて特徴マップのサイズおよび倍率を適合させるためにクロップレートによって全てのチャネルにおける特徴マップの中心領域をクロッピングする。中心クロップ演算中、クロップレートがそれぞれ２および４である場合、クロップされた特徴マップの幅および高さは、入力特徴マップの幅および高さの半分および４分の１になる。

図１３（ａ）におけるオリジナルＵ－Ｎｅｔアーキテクチャは、２０×における単一の倍率パッチを用いて対応するセグメンテーション予測を生成する。図１３（ｂ）における単一エンコーダ単一デコーダ（ＤＭＭＮ－Ｓ２）アーキテクチャは、２０×、１０×および５×の倍率における複数のパッチを用いるが、これらは連結され、Ｕ－Ｎｅｔアーキテクチャに対する入力として用いられる。作業によって動機付けられた図１３（ｃ）における多重エンコーダ単一デコーダ（ＤＭＭＮ－ＭＳ）アーキテクチャは、２０×、１０×および５×の倍率における複数のエンコーダを用いるが、エンコーダから１０×および５×における特徴マップを転送することによって、２０×における単一のデコーダのみを用いる。作業によって動機付けられた図１３（ｄ）における多重エンコーダ多重デコーダ単一連結（ＤＭＭＮ－Ｍ２Ｓ）アーキテクチャは、２０×、１０×および５×の倍率について複数のエンコーダおよび対応するデコーダを有するが、連結は、エンコーダ－デコーダ対の端部においてのみ行われる。ここで、他のアーキテクチャとの公平な比較のために重み付けＣＮＮは除外される。最後に、図１３（ｅ）における提案される多重エンコーダ多重デコーダ多重連結（ＤＭＭＮ－Ｍ３）アーキテクチャは、複数のエンコーダおよびデコーダを有し、１０×および５×におけるデコーダから２０×におけるデコーダに特徴マップを強化するために複数の層におけるデコーダ間の連結を有する。加えて、１０×および５×におけるデコーダから２０×におけるデコーダに特徴マップを転送して、１０×および５×における特徴を可能な限り多く抽出している間、中心クロップ演算を用いることができる。ＤＭＭＮ－ＭＳおよびＤＭＭＮ－Ｍ２Ｓが、１０×および５×レベルにおいて中心クロップ演算を用い、ここで、連結前のクロップ領域は、より低い倍率における特徴抽出プロセスを制限する可能性があることに留意されたい。

ＣＮＮトレーニング
上記からの平衡をとられたパッチのセットを用いてマルチクラスセグメンテーションＣＮＮをトレーニングする。重み付けされたクロスエントロピーが、パッチにおけるＮ個のピクセルおよびＣ個のクラスでのトレーニング損失関数として用いられる。

(1)
ここで、

および

は、それぞれクラスｃのための２次元グランドトゥルースおよびセグメンテーション予測である。

は、ピクセルロケーションｐにおけるクラスｃのためのバイナリグランドトゥルースであり、０または１であり、

は、０～１のピクセルロケーションｐにおけるクラスｃのためのセグメンテーション予測値である。式１において、クラスｃのための重みであるｗ_cは以下のように定義される。

(2)
ここで、Ｎ_cは、トレーニングセット内のクラスｃのためのピクセル数である。ラベル付けされていないピクセルはトレーニング損失関数に寄与しない。２０エポックにわたる、５×１０^-5の学習レート、０．９９の運動量、および１０^-4の重み減衰を有する確率的勾配降下法（ＳＧＤ）を最適化のために用いることができる。検証画像における最高平均ＩＯＵ（ｍＩＯＵ：ｍｅａｎ ｉｎｔｅｒｓｅｃｔｉｏｎ－ｏｖｅｒ－ｕｎｉｏｎ）を有するＣＮＮモデルが最終モデルとして選択される。トレーニング中、ランダム回転、垂直および平行フリップ、明るさ、コントラスト、ならびにカラージッタリングを用いたデータ拡張が用いられる。

マルチクラスセグメンテーション
乳房画像に対するマルチクラス組織セグメンテーションは、トレーニングされたＣＮＮを用いて行うことができる。各ピクセルにおける最終的なラベルは、Ｃ個のクラス間の最も大きな予測値を有するクラスとして選択される。１０２４×１０２４ピクセルのサイズを有する入力パッチがＷＳＩから抽出され、上記に記載のプロセスによって、２０×、１０×および５×の倍率における２５６×２５６ピクセルのサイズを有する３つのパッチのセットが生成される。３つのパッチのセットは、トレーニングされたＣＮＮによって処理される。２５６×２５６ピクセルのサイズを有するセグメンテーション予測は、入力パッチの中心ロケーションに位置する。入力パッチは、ＷＳＩ全体を処理するためにｘおよびｙ方向において２５６ピクセルのストライドを用いてＷＳＩの左上角部から抽出される。ＷＳＩの境界においてゼロパディングを行い、入力パッチを抽出する。セグメンテーションプロセスを加速するために、背景領域を除去するためのオプションとして、パッチを抽出する前にＯｔｓｕ閾値処理技法を用いることができる。セグメンテーション中、前処理ステップは用いられない。

ＩＩＩ． 実験結果
２つの乳房データセット、データセット－Ｉおよびデータセット－ＩＩを用いて、様々なマルチクラス組織セグメンテーション方法をトレーニングし、評価した。データセット－Ｉは、浸潤性乳管がん（ＩＤＣ）を含むトリプルネガティブ乳がん（ＴＮＢＣ）を有する全体スライド画像（ＷＳＩ）から構成される。データセット－ＩＩは、様々な組織学的グレードのＩＤＣおよび非浸潤性乳管がん（ＤＣＩＳ）を含む腫瘍摘出手術および乳房マージンからのＷＳＩから構成される。データセットＩおよびデータセットＩＩにおける全てのＷＳＩは異なる患者からのものであり、ヘマトキシリン－エオジン（Ｈ＆Ｅ）染色され、Ｍｅｍｏｒｉａｌ Ｓｌｏａｎ Ｋｅｔｔｅｒｉｎｇ Ｃａｎｃｅｒ Ｃｅｎｔｅｒからデジタル化された。データセット－Ｉは、Ａｐｅｒｉｏ ＸＴによってデジタル化され、ここで、２０×におけるミクロン毎ピクセル（ＭＰＰ）は、０．４９７９であり、データセット－ＩＩは、Ａｐｅｒｉｏ ＡＴ２によってデジタル化され、ここで２０×におけるＭＰＰは０．５０２１である。データセット－ＩにおけるＷＳＩは、２人の病理学者によって部分的にアノテーションされ、データセット－ＩＩにおけるＷＳＩは別の病理学者によって部分的にアノテーションされた。

モデルをトレーニングするために、データセット－Ｉからの３２個のトレーニング画像が用いられた。ここで、検証のために６つの画像が分離された。トレーニング中、データセット－ＩＩからの画像は用いられなかった。発明者らの作業において、トレーニングＷＳＩのピクセルのうちの５．３４％のみがアノテーションされた。発明者らのモデルは、がん、良性上皮、背景、間質、壊死および脂肪である６つのクラス（Ｃ＝６）を予測することができる。背景は、組織でない領域として定義されることに留意されたい。クラス間のアノテーションされたピクセル数の平衡をとるために、以下のパラメータを、ｒ₂＝１０、ｒ₁＝２、ｒ₅＝３、ｒ₃＝１、ｒ₄＝０およびｒ₆＝０となるように設定することができ、ここで、ｒ₁、ｒ₂、ｒ₃、ｒ₄、ｒ₅およびｒ₆は、それぞれ、がん、良性上皮、背景、間質、壊死および脂肪の弾性変形レートである。がん領域を正確にセグメンテーションし、良性の上皮を分離して誤ったセグメンテーションを低減することが望ましい場合があるため、良性上皮が最も高いクラス順位として選択され、がん、壊死および背景がそれに続いた。図１４は、弾性変形を用いてクラス間のアノテーションされたピクセル数の平衡がとられることを示す。２つの深層単一倍率ネットワーク（ＤＳＭＮ）、ＳｅｇＮｅｔアーキテクチャおよびＵ－Ｎｅｔアーキテクチャ、ならびに４つの深層多重倍率ネットワーク（ＤＭＭＮ）、単一エンコーダ単一デコーダ（ＤＭＭＮ－Ｓ２）アーキテクチャ、多重エンコーダ単一デコーダ（ＤＭＭＮ－ＭＳ）アーキテクチャ、多重エンコーダ多重デコーダ単一連結（ＤＭＭＮ－Ｍ２Ｓ）アーキテクチャ、ならびに提案される多重エンコーダ多重デコーダ多重連結（ＤＭＭＮ－Ｍ３）アーキテクチャをトレーニングすることができる。畳込み層の数、ダウンサンプリングおよびアップサンプリング層の数、ならびにチャネルの数は、この実験において用いられるＳｅｇＮｅｔアーキテクチャおよび元のＵ－Ｎｅｔアーキテクチャ間で同じままである。また、ＤＭＭＮ－ＭＳ、ＤＭＭＮ－Ｍ２ＳおよびＤＭＭＮ－Ｍ３におけるチャネルの数は、元のＵ－Ｎｅｔアーキテクチャから２分の１に低減される。表Ｖは、比較されるモデル、トレーニング可能パラメータの数、およびセグメンテーション時間を列挙し、ここで、セグメンテーション時間は、図１５において、単一のＮＶＩＤＩＡ ＧｅＦｏｒｃｅ ＧＴＸ ＴＩＴＡＮ Ｘ ＧＰＵを用いて３１，５００個のパッチを有する５３，７１１×３８，３８０ピクセルのサイズの全体スライド画像に対し測定された。
表Ｖ マルチクラスセグメンテーションモデルのトレーニング可能パラメータの数および計算時間

データセット－Ｉからの５５個の試験画像およびデータセット－ＩＩからの３４個の試験画像が処理され、様々なモデルが評価された。図１５、図１６および図１７は、ＳｅｇＮｅｔアーキテクチャ、Ｕ－Ｎｅｔアーキテクチャ、ＤＭＭＮ－Ｓ２アーキテクチャ、ＤＭＭＮ－ＭＳアーキテクチャ、ＤＭＭＮ－Ｍ２Ｓアーキテクチャ、および本発明により提案されるＤＭＭＮ－Ｍ３アーキテクチャのマルチクラスセグメンテーション予測を、スライドレベルおよび１０×倍率の両方で示す。組織サブタイプは、がんは赤色、良性上皮は青色、背景は黄色、間質は緑色、壊死は灰色、脂肪は橙色等、別個の色でラベル付けされる。図１５（ｂ）、図１５（ｊ）、図１６（ｂ）、図１６（ｊ）および図１７（ｂ）、図１７（ｊ）における白色領域はラベル付けされていない。モデルは、背景雑音に対し敏感であり、背景領域における誤ったセグメンテーションにつながることが観測されるため、Ｏｔｓｕ閾値処理技法を用いて、異なるスキャナからデジタル化されたデータセット－ＩＩからＷＳＩの前景領域においてのみパッチを抽出した。図１７（ｃ）～図１７（ｆ）、図１７（ｉ）～図１７（ｌ）における白色領域は、Ｏｔｓｕ技法によって除去される。

予測は、以下のように定義されるＩＯＵ（ｉｎｔｅｒｓｅｃｔｉｏｎ－ｏｖｅｒ－ｕｎｉｏｎ）、リコールおよび精度を用いて数値的に評価された。

(3)

(4)

(4)
ここで、Ｎ_TP、Ｎ_FPおよびＮ_FNは、それぞれ、真陽性、偽陽性および偽陰性のピクセル数である。表ＶＩおよび表ＶＩＩは、それぞれデータセット－Ｉおよびデータセット－ＩＩにおける平均ＩＯＵ（ｍＩＯＵ）、平均リコール（ｍＲｅｃａｌｌ）および平均精度（ｍＰｒｅｃｉｓｉｏｎ）を示す。表ＶＩおよびＶＩＩにおけるピクセルレベルの評価は、部分的にアノテーションされたグランドトゥルース画像によって行われた。図１３および図１４は、それぞれデータセット－Ｉおよびデータセット－ＩＩにおけるモデルからの混同行列を示す。壊死、脂肪および背景は、図１９および表ＶＩＩにおけるデータセット－ＩＩに対する評価から除外される。なぜなら、（１）データセット－ＩＩは大きな壊死領域を含まず、（２）脂肪および背景領域のほとんどがＯｔｓｕ技法に起因してセグメンテーションされなかったためである。
表ＶＩ データセット－Ｉにおける平均ＩＯＵ、リコールおよび精度

表ＶＩＩ データセット－ＩＩにおける平均ＩＯＵ、リコールおよび精度

データセット－Ｉにおける本発明の視覚的および数値的評価に基づいて、両方のＤＳＭＮが、それらの狭い視野に起因して、図１５（ｋ）、図１５（ｌ）および図１１（ｋ）、図１１（ｌ）に示すサブタイプ間でブロックノイズのある（ｂｌｏｃｋｙ）境界を有した。複数の倍率からのパッチがモデル内で早期に連結されることにより、複数の倍率からの様々な特徴を完全に抽出することができないため、ＤＭＭＮ－Ｓ２も、図１５（ｍ）および図１６（ｍ）に示すサブタイプ間でブロックノイズのある境界を有した。これらのブロックノイズのある予測は、表ＶＩにおける低ｍＩＯＵ、低ｍＲｅｃａｌｌおよび低ｍＰｒｅｃｉｓｉｏｎにつながった。ＤＭＭＮ－ＭＳおよびＤＭＭＮ－Ｍ２Ｓは、サブタイプ間のより平滑な境界を有したが、サブタイプ全体を通じて一貫した予測を有していなかった。例えば、ＤＭＭＮ－ＭＳおよびＤＭＭＮ－Ｍ２Ｓは、図１８（ｄ）、図１８（ｅ）によれば、壊死の予測に成功することができない。発明者らの提案されるＤＭＭＮ－Ｍ３は、図１８（ｆ）に示す全てのサブタイプ全体にわたって正確な予測を示し、表ＶＩにおける最良のｍＩＯＵ、ｍＲｅｃａｌｌおよびｍＰｒｅｃｉｓｉｏｎにつながった。

発明者らのモデルは、データセット－Ｉに対しトレーニングされ、発明者らの試験セットのために、異なる病理学者によってアノテーションされるデータセット－ＩＩ内の画像が確保された。本発明者らは、依然として、図１７（ｋ）、図１７（ｌ）、図１７（ｍ）に示すデータセット－ＩＩに対するＳｅｇＮｅｔ、Ｕ－ＮｅｔおよびＤＭＭＮ－Ｓ２によって行われる予測におけるブロックノイズのある境界を観測した。本発明者らは、大きな領域が図１７（ｇ）、図１７（ｏ）において良性上皮として誤ってセグメンテーションされる、ＤＭＭＮ－Ｍ２Ｓによる予測が成功しなかったことに気がついた。ＤＭＭＮ－ＭＳおよびＤＭＭＮ－Ｍ３は、図１７（ｎ）、図１７（ｐ）に示す最良の予測を生成した。ｍＩＯＵ、ｍＲｅｃａｌｌおよびｍＰｒｅｃｉｓｉｏｎに基づく数値解析はＵ－ＮｅｔおよびＤＭＭＮ－Ｍ３間で比較可能であるが、図１７（ａ）～図１７（ｐ）における視覚的解析は、部分的にアノテーションされたグランドトゥルースによって捕捉されない劇的な差を示す。図１７（ａ）～図１７（ｐ）は、サブタイプ間のより平滑でより明確な境界を有する提案されたＤＭＭＮ－Ｍ３が、包括的にアノテーションされたグランドトゥルースを有する最新技術よりも性能が優れていることを実証している。

ＩＶ． 結論
深層多重倍率ネットワーク（ＤＭＭＮ）が、全体スライド画像における正確なマルチクラス組織セグメンテーションについて記載されている。モデルは、アノテータのための時間および労力を低減するために部分的にアノテーションされた画像によってトレーニングされる。アノテーションが部分的に行われたが、発明者らのモデルは、クラス内の空間特性のみでなく、クラス間の空間関係も学習可能であった。発明者らのＤＭＭＮアーキテクチャは、複数の倍率からの特徴マップに基づいてより正確な予測を行うためにより広い視野を有するように、２０×、１０×および５×の全ての倍率を見る。ＤＭＭＮは、１０×および５×におけるデコーダから２０×におけるデコーダに中間特徴マップを転送して特徴マップを強化することによって改善することが可能であった。発明者らの実施態様は、患者の未来の治療を決定するのに用いることができる、乳房データセットに対する優れたセグメンテーション性能を達成した。１つの主要な課題は、発明者らのモデルは、主に浸潤性乳管がんによってトレーニングされたため、乳房画像に存在する低グレードの高分化型がんのセグメンテーションに成功しない場合があることである。また、発明者らのモデルは、全体スライド画像が他のスキャナによってデジタル化される場合、背景領域における誤ったセグメンテーションにつながる可能性がある背景雑音に対し敏感である可能性があることも観測される。トレーニング中に様々ながん構造および背景雑音パターンが含まれる、より正確なＤＭＭＮモデルを開発することができる。

Ｃ． 生物医学的画像をセグメンテーションするために、多重倍率エンコーダ－デコーダ連結ネットワークを用いて生物医学的画像をセグメンテーションしネットワークをトレーニングするためのシステムおよび方法
図２０（ａ）を参照すると、例示的な実施形態による、多重倍率エンコーダ－デコーダ連結ネットワークを用いて生物医学的画像をセグメンテーションするための環境またはシステム２０００のブロック図が示される。概観において、システム２０００は、少なくとも１つの画像セグメンテーションシステム２００２と、少なくとも１つのイメージャ２００４と、少なくとも１つのディスプレイ２００６とを備えることができる。画像セグメンテーションシステム２００２、イメージャ２００４およびディスプレイ２００６は、互いに通信可能に結合することができる。画像セグメンテーションシステム２００２は、数ある中でも、少なくとも１つのパッチ生成器２００８と、少なくとも１つのモデル適用器２０１０と、少なくとも１つのモデルトレーナ２０１２と、少なくとも１つのセグメンテーションモデル２０１４と、少なくとも１つのトレーニングデータセット２０１６とを備えることができる。セグメンテーションモデル２０１４は、ネットワーク２０１８Ａ～Ｎのセット（以後、全般的にネットワーク２０１８と呼ばれる）を含むことができる。

上記で列挙したシステム２０００におけるコンポーネントの各々は、ハードウェア（例えば、メモリと結合された１つまたは複数のプロセッサ）または本明細書においてセクションＢに詳述するようなハードウェアおよびソフトウェアの組合せを用いて実施することができる。システム２０００内のコンポーネントの各々は、本明細書において、図１（ａ）～図４（ｄ）および図５（ａ）～図９（ｌ）と併せて説明されるようなセクションＡ、および図１０（ａ）～図１３（ｅ）と併せて説明されるようなセクションＢに詳述される機能を実施または実行することができる。例えば、セグメンテーションモデル２０１４は、図４（ｄ）または図１３（ｅ）と併せて本明細書に論じられるアーキテクチャの機能を実施するかまたは有することができる。

更なる詳細において、イメージャ２００４（本明細書において、場合によっては、顕微鏡イメージャまたは撮像デバイスと呼ばれる）は、少なくとも１つの生物医学的画像２０２０Ａ（本明細書において、取得画像とも呼ばれる）を取得または生成することができる。生物医学的画像２０２０Ａは、例えば、数ある中でも、ヘマトキシリン－エオジン（Ｈ＆Ｅ）染色、ヘモジデリン染色、スダン染色、シッフ染色、コンゴレッド染色、グラム染色、チール－ネールゼン染色、オーラミン－ローダミン染色、トリクロム染色、銀染色およびライト染色を有する組織学的セクションとすることができる。イメージャ２００４は、組織病理学的調査を行うために、被検体（例えば、人間、動物または植物）からの組織セクションから生物医学的画像２０２０Ａを取得することができる。組織サンプルは、人間または動物の被検体の場合、筋肉組織、結合組織、上皮組織または神経組織等、被検体の任意の部分からのものとすることができる。生物医学的画像２０２０Ａを取得するために用いられる組織サンプルは、数ある中でも、腫瘍成長、病変または外傷等の関心領域を有することができる。いくつかの実施形態では、イメージャ２００４は、数ある中でも、光学顕微鏡、共焦点顕微鏡、蛍光顕微鏡、燐光顕微鏡、電子顕微鏡を用いる等の顕微鏡技法に従って生物医学的画像２０２０Ａを取得することができる。取得または生成時に、イメージャ２００４は、生物医学的画像２０２０Ａを画像セグメンテーションシステム２００２に送信または提供することができる。

イメージャ２００４は、生物医学的画像２０２０Ａを用いてサンプル生物医学的画像２０２０Ｂを生成することができる。サンプル生物医学的画像２０２０Ｂの生成時に、イメージャ２００４は、トレーニングデータセット２０１６の一部として記憶するために、サンプル生物医学的画像２０２０Ｂを画像セグメンテーションシステム２００２に提供することができる。サンプル生物医学的画像２０２０Ｂは、生物医学的画像２０２０Ａに関連して上記で論考した技法のうちの１つを用いた染色による組織学的セクションとすることができる。加えて、サンプル生物医学的画像２０２０Ｂは、教師あり学習技法に従ってセグメンテーションモデル２０１４をトレーニングおよび更新するためにトレーニングデータセット２０１６の一部として含めることができる。

図２０（ｂ）を参照すると、例示的な実施形態によるサンプル生物医学的画像２０２０Ｂの例の図が示されている。サンプル生物医学的画像２０２０Ｂは、少なくとも１つのアノテーション２０２４Ａ～Ｎ（以後、包括的にアノテーション２０２４と呼ばれる）に関連付けることができる。いくつかの実施形態では、アノテーション２０２４は、サンプル生物医学的画像２０２０Ｂを調査する病理学者によって手動で準備することができる。アノテーション２０２４は、サンプル生物医学的画像２０２０Ｂ内の各関心領域２０２６Ａ～Ｎ（以後、包括的に関心領域２０２６と呼ばれる）の少なくとも一部分を示すかまたは他の形でラベル付けすることができる。いくつかの実施形態では、アノテーション２０２４は、サンプル生物医学的画像２０２０Ｂ内の関心領域２０２６のエリア、寸法または座標（例えば、ピクセル座標）を指定または定義することができる。

各関心領域２０２６は、サンプル生物医学的画像２０２０Ｂを生成するのに用いられる撮像された組織サンプルにおける腫瘍、病変または他の外傷に対応することができる。いくつかの実施形態では、各関心領域２０２６は、撮像された組織サンプルにおける異なるタイプ（本明細書において場合によってはサブタイプと呼ばれる）の特徴に対応することができる。各アノテーション２０２４は、関心領域２０２６の異なるタイプの特徴にも対応することができる。例えば、撮像された組織サンプルにおける特徴のタイプは、数ある中でも、がん組織、良性上皮組織、間質組織、壊死組織および脂肪組織を含むことができる。示す例において、サンプル生物医学的画像２０２０Ｂは、第１のアノテーション２０２４Ａを用いて部分的にラベル付けされた第１の関心領域２０２６Ａを含むことができる。加えて、サンプル生物医学的画像２０２０Ｂは、第２のアノテーション２０２４Ｂを用いて部分的にラベル付けされた第２の関心領域２０２６Ｂを含むことができる。

アノテーション２０２４は、サンプル生物医学的画像２０２０Ｂ内の対応する関心領域２０２６を完全にラベル付けするか、または（例えば、示されるように）部分的にラベル付けすることができる。完全にラベル付けされているとき、アノテーション２０２４は、サンプル生物医学的画像２０２０Ｂ内の対応する関心領域２０２６をカバーするかまたは実質的に（例えば、９０％以上）カバーすることができる。逆に、部分的にラベル付けされているとき、アノテーション２０２４は、サンプル生物医学的画像２０２０Ｂ内の関心領域２０２６の一部分（完全未満）を定義することができる。加えて、各アノテーション２０２４によって定義される部分は、関心領域２０２６の少なくとも１つの縁部２０２８と分離させることができる。縁部２０２８は、２つ以上の関心領域２０２６の外周または境界を定義することができる。アノテーション２０２４は、縁部２０２８から分離距離２０３０Ａ～Ｎ（以後、包括的に分離距離２０３０と呼ばれる）だけ分離または離して配置することができる。示す例において、関心領域２０２６Ａを部分的にラベル付けする第１のアノテーション２０２４Ａは、縁部２０２８から第１の距離２０３０Ａだけ分離することができる。更に、関心領域２０２６Ｂを部分的にラベル付けする第２のアノテーション２０２４Ｂは、縁部２０２８から第２の距離２０３０Ｂだけ分離することができる。アノテーション２０２４を用いて関心領域２０２６を部分的にラベル付けすることによって、アノテーション２０２４の生成に消費される時間を低減することができる。更に、セグメンテーションモデル２０１４は、関心領域２０２６の異なるタイプの特徴間の空間関係を学習し、より正確で精密な結果を生成することができる。

図２０（ａ）に戻ると、画像セグメンテーションシステム２００２自体、ならびにパッチ生成器２００８、モデル適用器２０１０およびモデルトレーナ２０１２等の内部のコンポーネントが、ランタイムモードおよびトレーニングモードを有することができる。トレーニングモード下で、画像セグメンテーションシステム２００２は、セグメンテーションされた画像２０２０’と比較してトレーニングデータセット２０１６を用いてセグメンテーションモデル２０１４をトレーニングすることができる。ランタイムモード下では、画像セグメンテーションシステム２０２０は、セグメンテーションモデル２０１４を取得された生物医学的画像２０２０Ａに適用して、セグメンテーションされた画像２０２０’を生成することができる。

画像セグメンテーションシステム２００２上で実行されているパッチ生成器２００８は、取得された生物医学的画像２０２０Ａまたはサンプル生物医学的画像２０２０Ｂ（共に全体として生物医学的画像２０２０と呼ばれる）を受信するか、取り出すか、または他の形で識別することができる。ランタイムモード下では、パッチ生成器２００８は、イメージャ２００４から取得した生物医学的画像２０２０Ａを識別することができる。サンプル生物医学的画像２０２０Ｂと対照的に、取得した生物医学的画像２０２０Ａは、任意の関連アノテーション２０２４が欠如している場合がある。取得した生物医学的画像２０２０Ａは、トレーニングデータセット２０１６のサンプル生物医学的画像２０２０Ｂと異なる場合がある。逆に、トレーニングモード下では、パッチ生成器２００８は、トレーニングデータセット２０１６にアクセスして、サンプル生物医学的画像２０２０Ｂを識別することができる。サンプル生物医学的画像２０２０Ｂは、関心領域２０２６をラベル付けするアノテーション２０２４のセットのうちの少なくとも１つに関連付けることができる。

生物医学的画像２０２０の識別により、パッチ生成器２００８は、セグメンテーションモデル２０１４にフィードするための生物医学的画像２０２０を処理することができる。パッチ生成器２００８は、生物医学的画像２０２０からタイル２０２２Ａ～Ｎのセット（以後、包括的にタイル２０２２と呼ばれる）を生成することができる。パッチ生成器２００８は、生物医学的画像２０２０をタイル２０２２のセットに区分けまたは分割することができる。各タイル２０２２は、生物医学的画像２０２０の一部分に対応することができる。部分は、相互に排他的であってもよく、または部分的に重複していてもよい。いくつかの実施形態では、タイル２０２２に対応する生物医学的画像２０２０の部分は、重複なしとすることができる。いくつかの実施形態では、タイル２０２２に対応する生物医学的画像２０２０の部分は、部分的に重複することができる。生物医学的画像２０２０から生成された隣接タイル２０２２は、互いに重複比率（例えば、１０～９０％）だけ重複することができる。

いくつかの実施形態では、パッチ生成器２００８は、ネガティブスペースに対応する生物医学的画像２０２０の１つまたは複数の領域を識別または検出することができる。ネガティブスペースの識別は、特徴検出アルゴリズムに従って行うことができる。生物医学的画像２０２０のネガティブスペース領域には、微小解剖サンプルまたは標本の任意の部分が欠如している場合がある。例えば、ネガティブスペースは、ヌルもしくは白色、または実質的にヌルもしくは白色（例えば、少なくとも９０％）の生物医学的画像２０２０の領域に対応することができる。ネガティブスペースの検出時に、パッチ生成器２００８は、タイル２０２２のセットの生成からネガティブスペースに対応する生物医学的画像２０２０の領域を除去することができる。

生物医学的画像２００２からのタイル２０２２毎に、パッチ生成器２００８は、拡大係数の対応するセットを用いてパッチ２０３６Ａ～Ｎのセット（以後、包括的にパッチ２０３６と呼ばれる）を生成または作成することができる。各パッチ２０３６は、タイル２０２２が拡大係数のうちの１つにおいて生成された生物医学的画像２０２０の部分に対応することができる。各拡大係数は、タイル２０２２を（例えば、タイル２０２２内の画像の分解能を増大させることによって）拡大するか、またはタイル２０２２を（例えば、タイル２０２２内の画像の分解能を減少させることによって）縮小する量、数または比率を指定することができる。各パッチ２０３６を作成するために、パッチ生成器２００８は、対応する拡大係数をタイル２０２２に適用することができる。パッチ２０３６を生成するために用いられる拡大係数は、例えば１×～３００×の範囲をとることができる。生成されるパッチ２０３６の数は、２～数百の範囲をとることができる。例えば、生物医学的画像２０２０からの同じタイル２０２２を用いて、第１のパッチ２０３６Ａは、２０×の拡大係数にすることができ、第２のパッチ２０３６Ａは１０×の倍率にすることができ、第３のパッチ２０３６Ｃは２０×の拡大係数にすることができる。

いくつかの実施形態では、パッチ生成器２００８は、生物医学的画像２０２０の同じタイル２０２２のための別の拡大係数における別のパッチ２０３６を用いて１つの拡大係数において１つのパッチ２０３６を生成することができる。パッチ生成器２００８は、生物医学的画像２０２０Ａの１つのタイル２０２２からの第１の拡大係数を適用することによって、第１のパッチ２０３６Ａを生成することができる。生成時に、パッチ生成器２００８は、第１のパッチ２０３６Ａの一部分を識別することができる。部分は、例えば、パッチ２０３６の中心部分、左部分、右部分、上部分、下部分、左上部分、右上部分、左下部分、右下部分または任意の他のサブセクションに対応することができる。識別された部分において、パッチ生成器２００８は、第２の拡大係数を適用して第２のパッチ２０３６Ｂを生成することができる。いくつかの実施形態では、パッチ生成器２００８は、第１のパッチ２０３６Ａの識別された部分をダウンサンプリング（またはアップサンプリング）して、第２の拡大係数において第２のパッチ２０３６Ｂを生成することができる。パッチ生成器２００８は、部分の識別およびサンプリングを繰り返して、パッチ２０３６のセットを生成することができる。いくつかの実施形態では、繰返しは、生物医学的画像２０２０のタイル２０２２のためにパッチ生成器２００８によって生成されるパッチ２０３６の数に対し定義することができる。

画像セグメンテーションシステム２００２において実行されるモデル適用器２０１０は、画像セグメンテーションシステム２００２においてセグメンテーションモデル２０１４を維持および確立することができる。モデル適用器２０１０は、セグメンテーションモデル２０１４を各パッチ２０３６に適用することができる。セグメンテーションモデル２０１４の適用は、ランタイムモードおよびトレーニングモードの両方において行うことができる。適用時、モデル適用器２０１０は、生物医学的画像２０２０の各タイル２０２２からのパッチ２０３６のセットをセグメンテーションモデル２０１４にフィードまたは入力することができる。いくつかの実施形態では、モデル適用器２０１０は、パッチ２０３６に帰属する拡大係数のためにセグメンテーションモデル２０１４の対応するネットワーク２０１８に各パッチ２０３６をフィードすることができる。例えば、モデル適用器２０１０は、第１の拡大係数における第１のパッチ２０３６Ａを第１のネットワーク２０１８Ａに、第２の拡大係数における第２のパッチ２０３６Ｂを第２のネットワーク２０１８Ｂに、および第３の拡大係数における第３のパッチ２０３６Ｃを第３のネットワーク２０１８Ｃにフィードすることができ、以下同様である。各タイル２０２２を適用することによって、モデル適用器２０１０は、セグメンテーションされた画像２０２０’のための対応するタイル２０２２’を生成することができる。セグメンテーションされたタイル２０２２’は、タイル２０２２内の関心領域２０２６を識別することができる。セグメンテーションモデル２０１４およびネットワーク２０１８の機能および構造の詳細は、本明細書において図２０（ｃ）～図２０（ｇ）と併せて提供される。

図２０（ｃ）を参照すると、例示的な実施形態によるセグメンテーションモデル２０１４のネットワーク２０１８のうちの１つにおいて、畳込みブロック２０３２（本明細書において場合によってはエンコーダと呼ばれる）のブロック図が示される。畳込みブロック２０３２の１つまたは複数のインスタンスを、セグメンテーションモデル２０１４の各ネットワーク２０１８に含めることができる。概観において、畳込みブロック２０３２は、変換層２０３４Ａ～Ｎのセットを含むことができる。変換層２０３４Ａ～Ｎのセットは、数ある中でも、１つまたは複数の畳込み層２０３４Ａおよび１つまたは複数の正規化層２０３４Ｂ、ならびに１つまたは複数の活性化層２０３４Ｃ（本明細書において正規化線形ユニットとも呼ばれる）を含むことができる。いくつかの実施形態では、変換層２０３４Ａ～Ｎのセットは、１つまたは複数の正規化層２０３４Ｂが欠如している場合がある。畳込みブロック２０３２は、入力として、（図示のような）特徴マップのセット、またはパッチ２０３６のうちの１つを有することができる。畳込みブロック２０３２の変換層２０３４Ａ～Ｎのセットは、特徴マップ２０３８のセットまたはパッチ２０３６のうちの１つ等の入力に任意の順序（図示されるもの等）で適用することができる。入力特徴マップ２０３８のセットは、畳込みブロック２０３２があるネットワーク２０１８に入力されるパッチ２０３６と同じ分解能を有することができる。分解能は、特徴マップ２０３８またはパッチ２０３６の各次元におけるピクセル数に対応するかまたはこれを定義することができる。入力特徴マップ２０３８のセットは、同じまたは異なるネットワーク２０１８の別のコンポーネントの、パッチ２０３６のうちの１つの処理から結果として得られる出力とすることができる。

畳込みブロック２０３２の畳込み層２０３４Ａは、１つまたは複数のフィルタ（場合によっては、カーネルまたは特徴検出器と呼ばれる）を含むことができる。畳込み層２０３４Ａは、特徴マップ２０３８の入力セットに１つまたは複数のフィルタを適用することができる。各フィルタは、所定のストライド（例えば、１～６４の範囲をとる）における所定のサイズにわたって畳込み層２０３４Ａの入力に適用して出力を生成する機能とすることができる。フィルタの機能は、入力に適用する１つまたは複数のパラメータ（場合によっては重みと呼ばれる）を含むことができる。１つまたは複数のパラメータは、トレーニングによって設定、調整または変更することができる。各フィルタは、所定のサイズ（例えば、３×３×１～１０２４×１０２４×３の範囲をとる）とすることができる。フィルタのサイズおよび数は、いずれのネットワーク２０１８に畳込み層２０３４Ａのインスタンスが含まれるかに依拠して異なる場合がある。畳込み層２０３４Ａのパラメータを、所定のストライドに従って入力（例えば、特徴マップ２０３８の入力セット）に繰り返し適用して出力を生成することができる。

畳込みブロック２０３２の正規化層２０３４Ｂは、以前の変換層２０３４Ａ～Ｎ（例えば、図示するような畳込み層２０３４Ａ）の出力に適用する少なくとも１つの関数を含むことができる。正規化層２０３４Ｂの関数は、入力に適用する１つまたは複数のパラメータを含むことができる。関数は、トレーニングによって設定、調整または変更することができる。正規化層２０３４Ｂは、入力の値の範囲を識別することができる。値の範囲から、正規化層２０３４Ｂは、入力の最小値、最大値、最小値と最大値との間の差を識別することができる。正規化層２０３４Ｂは、最小値、最大値、最小値と最大値との間の差に基づいて（例えば、線形関数として）、変換係数を決定することができる。次に、正規化層２０３４Ｂは、全ての入力に対し変換係数を適用（例えば、乗算）して出力を形成することができる。

畳込みブロック２０３２の活性化層２０３４Ｃは、以前の変換層２０３４Ａ～Ｎ（例えば、図示するような畳込み層２０３４Ａまたは正規化層２０３４Ｂ）の出力に適用する少なくとも１つの関数を含むことができる。活性化層２０３４Ｃの関数は、数ある中でも、恒等関数、単位階段関数、双曲線関数、逆三角関数（ａｒｃｕｓ ｆｕｎｃｔｉｏｎ）、正規化線形関数（ｍａｘ（０，ｘ））等の活性化関数とすることができる。関数は、トレーニングによって設定、調整または変更することができる。活性化関数は非線形であってもよい。活性化層２０３４Ｃは、図示するような畳込み層２０３４Ａ等の以前の変換層２０３４Ａ～Ｎにおけるフィルタのうちの１つの出力に各々が対応する全てｓの入力をトラバースすることができる。トラバース中、活性化層２０３４Ｃは、活性化関数を入力に適用して、特徴マップ２０３８’の出力セットを生成することができる。活性化関数に起因して、活性化層２０３４Ｃの出力は入力に対し非線形である場合がある。

変換層２０３４Ａ～Ｎのセットを特徴マップ２０３８のセットまたはパッチ２０３６のうちの１つに適用することによって、畳込みブロック２０３２は出力として特徴マップ２０３８’のセットを生成することができる。生成により、畳込みブロック２０３２は、（例えば水平矢印によって示されるように）セグメンテーションモデル２０１４の同じネットワーク２０１８に沿って特徴マップ２０３８’の出力セットをフィードまたは提供することができる。畳込みブロック２０３２は、（例えば下方の垂直矢印によって示されるように）セグメンテーションモデル２０１４の異なる拡大係数について特徴マップ２０３８’の出力セットをネットワーク２０１８にフィードまたは提供することができる。特徴マップ２０３８’の出力セットは、畳込みブロック２０３２があるネットワーク２０１８に入力される特徴マップ２０３８の入力セットおよびパッチ２０３６と同じ分解能を有することができる。

図２０（ｄ）を参照すると、例示的な実施形態によるセグメンテーションモデル２０１４のネットワーク２０１８のうちの１つにおいて、逆畳込みブロック２０４０（本明細書において場合によってはデコーダと呼ばれる）のブロック図が示される。逆畳込みブロック２０４０の１つまたは複数のインスタンスを、セグメンテーションモデル２０１４の各ネットワーク２０１８に含めることができる。概観において、逆畳込みブロック２０４０は、変換層２０４２Ａ～Ｎのセットを含むことができる。変換層２０４２Ａ～Ｎのセットは、数ある中でも、１つまたは複数のアップサンプリング層２０４２Ａ、１つまたは複数の畳込み層２０４２Ｂ、１つまたは複数の正規化層２０４２Ｃ、および１つまたは複数の活性化層２０４２Ｄ（本明細書において正規化線形ユニットとも呼ばれる）を含むことができる。いくつかの実施形態では、変換層２０４２Ａ～Ｎのセットは、１つまたは複数の正規化層２０４２Ｂが欠如している場合がある。逆畳込みブロック２０４０は、入力として、特徴マップ２０３８のセットを有することができる。逆畳込みブロック２０４０の変換層２０４２Ａ～Ｎのセットは、特徴マップ２０３８のセット等の入力に任意の順序（図示されるもの等）で適用することができる。入力特徴マップ２０３８のセットは、逆畳込みブロック２０４０があるネットワーク２０１８に入力されるパッチ２０３６と同じ分解能またはサイズを有することができる。入力特徴マップ２０３８のセットは、ネットワーク２０１８に入力される、パッチ２０３６のうちの１つの処理からの、同じまたは異なるネットワーク２０１８の別のコンポーネントの結果として得られる出力とすることができる。

逆畳込みブロック２０４０のアップサンプリング層２０４２Ａは、特徴マップ２０３８の入力セットの分解能を目標分解能まで増大させることができる。目標分解能は、特徴マップ２０３８’の結果として得られる出力セットがフィードされるセグメンテーションモデル２０１４内の別のネットワーク２０１８の分解能に等しくすることができる。いくつかの実施形態では、アップサンプリング層２０４２Ａは、特徴マップ２０３８の入力セットの分解能を識別することができる。識別により、アップサンプリング層２０４２Ａは、分解能と目標分解能との間の差を決定することができる。差の決定により、アップサンプリング層２０４２Ａは、特徴マップ２０３８の入力セットに対しゼロパディングを行い、目標分解能との差だけ分解能を増大させることができる。アップサンプリング層２０４２Ａは、特徴マップ２０３８のゼロパディングされた入力セットに補間フィルタを適用して、ゼロパディングから生じる不連続性を平滑化することができる。補間フィルタは、目標分解能と同じサイズとすることができる。

逆畳込みブロック２０４０の転置畳込み層２０４２Ｂは、１つまたは複数のフィルタ（場合によっては、カーネルまたは特徴検出器と呼ばれる）を含むことができる。畳込み層２０４２Ｂは、特徴マップ２０３８の入力セットに１つまたは複数のフィルタを適用することができる。各フィルタは、所定のストライド（例えば、１～６４の範囲をとる）における所定のサイズにわたって転置畳込み層２０４２Ｂの入力に適用して出力を生成する機能とすることができる。フィルタの機能は、入力に適用する１つまたは複数のパラメータ（場合によっては重みと呼ばれる）を含むことができる。畳込みブロック２０３２における畳込み層２０３４Ａにおけるパラメータに対し、逆畳込みブロック２０４０の転置畳込み層２０４２Ｂにおけるフィルタのパラメータは、転置または反転（疑似反転）されている場合がある。フィルタの１つまたは複数のパラメータは、トレーニングによって設定、調整または変更することができる。逆畳込みブロック２０４０の転置畳込み層２０４２Ｂにおけるフィルタのパラメータの調整は、畳込みブロック２０３２における畳込み層２０３４Ａにおけるフィルタのパラメータの調整に依拠することができる。各フィルタは、所定のサイズ（例えば、３×３×１～１０２４×１０２４×３の範囲をとる）とすることができる。フィルタのサイズおよび数は、いずれのネットワーク２０１８に畳込み層２０４２Ｂのインスタンスが含まれるかに依拠して異なる場合がある。畳込み層２０４２Ｂのパラメータを、所定のストライドに従って入力（例えば、特徴マップ２０３８の入力セット）に繰り返し適用して出力を生成することができる。

逆畳込みブロック２０４０の正規化層２０４２Ｃは、以前の変換層２０４２Ａ～Ｎ（例えば、図示するような転置畳込み層２０４２Ｂ）の出力に適用する少なくとも１つの関数を含むことができる。正規化層２０４２Ｃの関数は、入力に適用する１つまたは複数のパラメータを含むことができる。関数は、トレーニングによって設定、調整または変更することができる。正規化層２０４２Ｃは、入力の値の範囲を識別することができる。値の範囲から、正規化層２０４２Ｃは、入力の最小値、最大値、最小値と最大値との間の差を識別することができる。正規化層２０４２Ｃは、最小値、最大値、最小値と最大値との間の差に基づいて（例えば、線形関数として）、変換係数を決定することができる。次に、正規化層２０４２Ｃは、全ての入力に対し変換係数を適用（例えば、乗算）して出力を形成することができる。

逆畳込みブロック２０４０の活性化層２０４２Ｄは、以前の変換層２０４２Ａ～Ｎ（例えば、図示するような転置畳込み層２０４２Ｂまたは正規化層２０４２Ｃ）の出力に適用する少なくとも１つの関数を含むことができる。活性化層２０４２Ｄの関数は、数ある中でも、恒等関数、単位階段関数、双曲線関数、アーカス関数、正規化線形関数（ｍａｘ（０，ｘ））等の活性化関数とすることができる。関数は、トレーニングによって設定、調整または変更することができる。活性化関数は非線形であってもよい。活性化層２０４２Ｄは、畳込み層２０４２Ｂ等の以前の変換層２０４２Ａ～Ｎにおけるフィルタのうちの１つの出力に各々が対応する全ての入力をトラバースすることができる。トラバース中、活性化層２０４２Ｄは、活性化関数を入力に適用して、特徴マップ２０３８’の出力セットを生成することができる。活性化関数に起因して、活性化層２０４８Ｂの出力は入力に対し非線形である場合がある。

変換層２０４２Ａ～Ｎのセットを入力特徴マップ２０３８のセットに適用することによって、逆畳込みブロック２０４０は出力として特徴マップ２０３８’のセットを生成することができる。生成により、逆畳込みブロック２０４０は、（例えば上方の垂直矢印によって示されるように）セグメンテーションモデル２０１４の異なる拡大係数について特徴マップ２０３８’の出力セットをネットワーク２０１８にフィードまたは提供することができる。特徴マップ２０３８’の出力セットは、逆畳込みブロック２０４０が特徴マップ２０３８’の出力セットをフィードするネットワーク２０１８の特徴マップ２０３８の入力セットと同じ分解能を有することができる。

図２０（ｅ）を参照すると、例示的な実施形態によるセグメンテーションモデル２０１４における終端畳込みブロック２０４６のブロック図が示されている。終端畳込みブロック２０４６の１つまたは複数のインスタンスを、セグメンテーションモデル２０１４に含めることができる。概観において、終端畳込みブロック２０４６は、変換層２０４８Ａ～Ｎのセットを含むことができる。変換層２０４８Ａ～Ｎのセットは、数ある中でも、１つまたは複数の初期畳込み層２０４８Ａ、１つまたは複数の活性化層２０４８Ｂ、１つまたは複数の最終畳込み層２０４８Ｃ、および１つまたは複数の回帰層２０４８Ｄを含むことができる。終端畳込みブロック２０４６は、入力として、特徴マップ２０３８のセットを有することができる。終端畳込みブロック２０４６の変換層２０４８Ａ～Ｎのセットは、ネットワーク２０１８のうちの１つによって出力された、特徴マップ２０３８’のセット等の入力に任意の順序（図示されるもの等）で適用することができる。特徴マップ２０３８’のセットは、ネットワーク２０１８に入力される、パッチ２０３６のうちの１つおよび他の入力特徴マップ２０３８の処理からの、ネットワーク２０１８のうちの１つの結果として得られる出力とすることができる。

終端畳込みブロック２０４６の初期畳込み層２０４８Ａは、１つまたは複数のフィルタ（場合によっては、カーネルまたは特徴検出器と呼ばれる）を含むことができる。畳込み層２０４８Ａは、終端畳込みブロック２０４６に入力された特徴マップ２０３８’のセットに１つまたは複数のフィルタを適用することができる。各フィルタは、所定のストライド（例えば、１～６４の範囲をとる）における所定のサイズにわたって畳込み層２０４８Ａの入力に適用して出力を生成する機能とすることができる。フィルタの機能は、入力に適用する１つまたは複数のパラメータ（場合によっては重みと呼ばれる）を含むことができる。１つまたは複数のパラメータは、トレーニングによって設定、調整または変更することができる。各フィルタは、所定のサイズ（例えば、３×３×１～１０２４×１０２４×３の範囲をとる）とすることができる。サイズおよびフィルタ数は、終端畳込みブロック２０４６への入力として特徴マップ２０３８’のセットを提供するネットワーク２０１８に依拠して異なる場合がある。畳込み層２０４８Ａのパラメータは、所定のストライドに従って出力を生成するように入力（例えば、特徴マップ２０３８’のセット）に繰り返し適用することができる。

終端畳込みブロック２０４６の活性化層２０４８Ｂは、以前の変換層２０４８Ａ～Ｎ（例えば、初期畳込み層２０４８Ａ）の出力に適用する少なくとも１つの関数を含むことができる。活性化層２０４８Ｂの関数は、数ある中でも、恒等関数、単位階段関数、双曲線関数、またはアーカス関数、正規化線形関数（ｍａｘ（０，ｘ））等の活性化関数とすることができる。関数は、トレーニングによって設定、調整または変更することができる。活性化関数は非線形であってもよい。活性化層２０４８Ｂは、初期畳込み層２０４８Ａ等の以前の変換層２０４８Ａ～Ｎにおけるフィルタのうちの１つの出力に各々が対応する全ての入力をトラバースすることができる。トラバース中、活性化層２０４８Ｂは、活性化関数を入力に適用して、特徴マップの出力セットを生成することができる。活性化関数に起因して、活性化層２０４８Ｂの出力は入力に対し非線形である場合がある。

終端畳込みブロック２０４６の最終畳込み層２０４８Ｃは、１つまたは複数のフィルタ（場合によっては、カーネルまたは特徴検出器と呼ばれる）を含むことができる。畳込み層２０４８Ｃは、活性化層２０４８Ｂの出力に１つまたは複数のフィルタを適用することができる。各フィルタは、所定のストライド（例えば、１～６４の範囲をとる）における所定のサイズにわたって畳込み層２０４８Ｃの入力に適用して出力を生成する機能とすることができる。フィルタの機能は、入力に適用する１つまたは複数のパラメータ（場合によっては重みと呼ばれる）を含むことができる。１つまたは複数のパラメータは、トレーニングによって設定、調整または変更することができる。各フィルタは、所定のサイズ（例えば、３×３×１～１０２４×１０２４×３の範囲をとる）とすることができる。サイズおよびフィルタ数は、終端畳込みブロック２０４６への入力として特徴マップ２０３８’のセットを提供するネットワーク２０１８に依拠して異なる場合がある。畳込み層２０４８Ｃのパラメータは、所定のストライドに従って出力を生成するように入力（例えば、特徴マップ２０３８’のセット）に繰り返し適用することができる。

終端畳込みブロック２０４６の回帰層２０４８Ｄは、以前の変換層２０４８Ａ～Ｎ（例えば、最終畳込み層２０４８Ｃ）の出力に適用する少なくとも１つの関数を含むことができる。回帰層２０４８Ｄの関数は、数ある中でも、ソフトマックス関数（本明細書によって、場合によっては、正規化指数関数または多項式ロジスティック回帰と呼ばれる）等のロジスティック活性化関数とすることができる。関数は、トレーニングによって設定、調整または変更することができる。活性化関数は非線形であってもよい。回帰層２０４８Ｄは、最終畳込み層２０４８Ｃ等の以前の変換層２０４８Ａ～Ｎにおけるフィルタのうちの１つの出力に各々が対応する全ての入力をトラバースすることができる。トラバース中、回帰層２０４８Ｄは、活性化関数を入力に適用して、特徴マップの出力セットを生成することができる。ロジスティック活性化関数に起因して、回帰層２０４８Ｄの出力は入力に対し非線形である場合がある。

変換層２０４８Ａ～Ｎのセットを特徴マップ２０３８’のセットに適用することによって、終端畳込みブロック２０４６は、セグメンテーションされた画像２０２０’のための対応するタイル２０２２’を生成することができる。出力タイル２０２２’は、終端畳込みブロック２０４６に対する入力として提供された特徴マップ２０３８’のセットと同じ分解能を有することができる。そして、出力タイル２０２２’は、入力として特徴マップ２０３８’のセットを提供するネットワーク２０１８によって出力された元のパッチ２０３６と同じ分解能および大きさの係数を有することもできる。追加のタイル２０２２’の生成は、生物医学的画像２０２０に対応するセグメンテーションされた画像２０２０’を用いることができる。

図２０（ｆ）を参照すると、例示的な実施形態によるセグメンテーションモデル２０１４のネットワーク２０１８のうちの１つのブロック図が示されている。ネットワーク２０１８のインスタンスをセグメンテーションモデル２０１４に含めることができる。加えて、ネットワーク２０１８の異なるインスタンスは、例に示されるコンポーネントまたは入力／出力接続のうちの少なくともいくつかを含むかまたはこれらが欠如している場合がある。概観において、ネットワーク２０１８およびそのコンポーネントは、行２０５４Ａ～Ｎのセット（以後、包括的に行２０５４と呼ばれる）および列２０５６Ａ～Ｎのセット（以後、包括的に列２０５６と呼ばれる）に分割、編成または配列することができる。ネットワーク２０１８は、出力として特徴マップ２０３８’の１つまたは複数のセット（概ね上に示される）を有することができる。ネットワーク２０１８は、生物医学的画像２０２０におけるタイル２０２２のパッチ２０３６のうちの１つ（概ね左側に示される）と、入力として他のネットワーク２０１８から出力された特徴マップ２０３８’のセット（概ね下に示される）とを有することができる。

ネットワーク２０１８は、異なる複数の行２０５４（本明細書において、場合によってはチャネルと呼ばれる）にわたって配列された１つまたは複数の畳込みブロック２０３２および１つまたは複数の逆畳込みブロック２０４０を有することができる。各行２０５４は、同じ分解能またはサイズの処理された特徴マップのフィードフォワードに対応することができる。サイズは、特徴マップの各次元におけるピクセル数に対応するかまたはこれを定義することができる。例えば、第１の行２０５４Ａは２つの畳込みブロック２０３２（一方が概ね左に向かって、他方が概ね右に向かって示される）を有することができる。第１の行２０５４Ａにおける畳込みブロック２０３２によって処理および出力される特徴マップは、同じ分解能とすることができる。同様に、第２の行２０５４Ｂは同じ分解能の特徴マップをフィードフォワードすることができ、第３の行２０５４Ｃは同じ分解能の特徴マップをフィードフォワードすることができ、第４の行２０５４Ｄ以降も同様である。逆に、異なる行２０５４における特徴マップは異なる分解能とすることができる。例えば、第２の行２０５４Ｂに沿ってフィードフォワードされた特徴マップは、第１の行２０５４Ａに沿ってフィードフォワードされた特徴マップと異なる分解能を有することができる。各行２０５４は、少なくとも１つの畳込みブロック２０３２を含むことができる。第１の行２０５４Ａよりも下の行２０５４Ｂ～Ｎ等の行２０５４のうちの少なくともいくつかは、少なくとも１つの逆畳込みブロック２０４０を含むことができる。

ネットワーク２０１８は、異なる複数の列２０５６にわたって配列された１つまたは複数の畳込みブロック２０３２および１つまたは複数の逆畳込みブロック２０４０を有することができる。各列２０５６は、畳込みブロック２０３２のうちの１つまたは逆畳込みブロック２０４０のうちの１つによる処理の後に１つの分解能（または１つの行２０５４）から別の分解能（または別の行２０５４）に、処理された特徴マップを上方または下方にフィードすることに対応することができる。例えば、第１の列２０５６Ａは、処理された特徴マップが、各行２０５４において第１の畳込みブロック２０３２によって処理された後に１つの行から別の行に渡される第１のインスタンスに対応することができる。同様に、第２の列２０５６Ｂは、特徴マップが、第３の行２０５４Ｃにおいて畳込みブロック２０３２によって、または第４の行２０５４Ｄにおいて逆畳込みブロック２０４０によって処理された後に１つの行から別の行に渡される第２のインスタンスに対応することができる。

畳込みブロック２０３２および逆畳込みブロック２０４０に加えて、ネットワーク２０１８は、１つまたは複数のプーリングユニット２０５８（場合によっては、本明細書においてプーリング演算子と呼ばれる）を含むことができる。各プーリングユニット２０５８は、複数の行２０５４間にまたがることができるか、または（例えば、図示するように）行２０５４のうちの１つにあり、１つの行２０５４から別の行２０５４にフィードすることができる。各プーリングユニット２０５８は、同じ行２０５４内の（例えば、図示されるような）畳込みブロック２０３２または逆畳込みブロック２０４０のうちの１つによって処理される特徴マップを取り出すか、受信するか、または他の形で識別することができる。プーリングユニット２０５８は、識別された特徴マップにプーリング演算を適用することができる。プーリング演算は、例えば、所定の係数（例えば、２～１０）によって最大プーリングして特徴マップにおける各セットパッチ内の最高の値を選択するか、または平均プーリングして、特徴マップにおけるセットパッチ内の平均値を決定することを含むことができる。プーリング演算の適用により、プーリングユニット２０５８は、特徴マップが提供される行２０５４と同じ分解能の特徴マップを生成することができる。特徴マップの結果として得られるセットのサイズは、特徴マップの入力セットよりも小さいサイズを有することができる。

更に、ネットワーク２０１８は、１つまたは複数のクロッピングユニット２０６０（本明細書において、場合によってはクロップ演算子またはクロッパと呼ばれる）を含むことができる。各クロッピングユニット２０６０は、（例えば、図示されるような）畳込みブロック２０３２または同じ行２０５４内の逆畳込みブロック２０４０のうちの１つによって処理される特徴マップを取り出すか、受信するか、または他の形で識別することができる。クロッピングユニット２０６０は、所定のクロッピングレート（例えば、２～１０）で、識別された特徴マップに対しクロッピング演算を適用または実行することができる。クロッピング演算の実行時に、クロッピングユニット２０６０は、特徴マップの一部分を識別することができる。この部分は、例えば、特徴マップの中心部分、左部分、右部分、上部分、下部分、左上部分、右上部分、左下部分、右下部分または任意の他のサブセクションに対応することができる。いずれの部分がクロッピングユニット２０６０によって識別されるかは、パッチ生成器２００８によってパッチ２０３６を生成するために識別される部分と同じとすることができる。クロッピング演算の適用により、クロッピングユニット２０６０は、（例えば、概ね上部に向かって示されるように）特徴マップ２０３８’が提供されるネットワーク２０１８と同じ分解能の特徴マップ２０３８’を生成することができる。特徴マップの結果として得られるセットのサイズは、特徴マップの入力セットよりも大きいサイズを有することができる。

加えて、ネットワーク２０１８は、１つまたは複数の連結ユニット２０６２（本明細書において、場合によっては連結器またはアグリゲータと呼ばれる）を含むことができる。各連結ユニット２０６２は、（例えば、図示されるような）後続の逆畳込みブロック２０４０または同じ行２０５４内の畳込みブロック２０３２によって処理される前に２つ以上の特徴マップを連結するか、結びつけるか、または他の形で加えることができる。いくつかの実施形態では、連結ユニット２０６２は、同じ行２０５４内の特徴マップの結果として得られるセットを処理することになる逆畳込みブロック２０４０の一部とすることができる。各受信した特徴マップは、セグメンテーションモデル２０１４内の別のネットワーク２０１８からのものとすることができる。入力特徴マップを受信すると、連結ユニット２０６２は特徴マップを結合して、行２０５４に沿ってフィードフォワードするための、結果として得られる特徴マップのセットを生成することができる。連結ユニット２０６２による特徴マップ（例えば、特徴マップ２０３８’）の結合は、数ある中でも、連結、加重和および加算を含むことができる。結果として得られる特徴マップのセットは、入力について、ネットワーク２０１８における追加の処理のために（例えば、図示されるように）逆畳込みブロック２０４０にフィードフォワードすることができる。

複数の行２０５４および列２０５６にわたるネットワーク２０１８のコンポーネントの配置により、ネットワーク２０１８は、行２０５４および列２０５６にわたって配置された１つまたは複数の入力および出力も有することができる。第１の行２０５４Ａは、入力として、生物医学的画像２０２０のタイル２０２２からのパッチ２０３６のうちの１つを有し、出力として、結果として得られる特徴マップ２０３８’のセットを有することができる。第２のおよび後続の列２０５６Ｂ～Ｎ（例えば、第２の列２０５６Ｂ、第３の列２０５６Ｃ、第４の列２０５６Ｄ）は各々、入力としてより低い拡大係数に関連付けられたネットワーク２０１８等の他のネットワーク２０１８からの結果として得られる特徴マップ２０３８’のセットを有することができる。加えて、第２のおよび後続の列２０５６Ｂ～Ｎは各々、出力として、より高い拡大係数に関連付けられたネットワーク２０１８等の他のネットワーク２０１８への出力として内部のコンポーネントによって出力された、結果として得られる特徴マップ２０３８’のセットを有することができる。

図２０（ｇ）を参照すると、例示的な実施形態によるセグメンテーションモデル２０１４のブロック図が示されている。セグメンテーションモデル２０１４は、図示されるように、第１のネットワーク２０１８Ａ、第２のネットワーク２０１８Ｂおよび第３のネットワーク２０１８Ｃ等のネットワーク２０１８のセットを含むことができる。各ネットワーク２０１８は、図２０（ｆ）と併せて本明細書に記載されるコンポーネントおよび接続を含むかまたは除外することができる。図示されるように、第１のネットワーク２０１８Ａは、任意のクロッピングユニット２０６０が欠如している場合があるのに対し、第２のネットワーク２０１８Ｂおよび第３のネットワーク２０１８Ｃは各々、連結ユニット２０６２が欠如している場合がある。３つのネットワーク２０１８Ａ～Ｃが示されているが、セグメンテーションモデル２０１４は任意の数のネットワーク２０１８を有することができる。

セグメンテーションモデル２０１４の外側から、各ネットワーク２０１８は、入力として、生物医学的画像２０２０のタイル２０２２のうちの１つから対応する拡大係数におけるパッチ２０３６のうちの１つを有することができる。パッチ２０３６は、各ネットワーク２０１８の第１の行２０５４Ａにフィードすることができる。例えば、図示されるように、第１の拡大係数（例えば、２０×）におけるパッチ２０３６Ａは、入力として第１のネットワーク２０１８Ａの第１の行２０５４Ａにフィードすることができ、第２の拡大係数（例えば、１０×）におけるパッチ２０３６Ｂは、入力として第２のネットワーク２０１８Ｂの第１の行２０５４Ａにフィードすることができ、第３の拡大係数（例えば、２０×）におけるパッチ２０３６は、入力として第３のネットワーク２０１８Ｃの第１の行２０５４Ａにフィードすることができる。加えて、各ネットワーク２０１８自体が拡大係数のうちの１つに対応してもよく、または拡大係数のうちの１つに関連付けられてもよい。例えば、第１のネットワーク２０１８Ａは第１の拡大係数（例えば、２０×）に関連付けることができ、第２のネットワーク２０１８Ｂは第２の拡大係数（例えば、１０×）に関連付けることができ、第３のネットワーク２０１８Ｃは第３の拡大係数（例えば、２０×）に関連付けることができ、以下同様である。

セグメンテーションモデル２０１４において、ネットワーク２０１８の入力および出力を互いにフィードすることができる。より低い拡大係数のネットワーク２０１８の出力を、最も高い拡大係数のネットワーク２０１８の入力としてフィードすることができる。例えば、示すように、各列２０５６からの（１０×の拡大係数に関連付けられた）第２のネットワーク２０１８Ｂからの特徴マップ２０３８’の結果として得られるセットは、（２０×の拡大係数に関連付けられた）第１のネットワーク２０１８Ａの対応する列２０５６の連結ユニット２０６２への入力として提供することができる。いくつかの実施形態では、更に低い拡大係数のネットワーク２０１８の出力を、シフト２０６４を有する拡大係数のネットワーク２０１８の入力としてフィードすることができる。シフト２０６４は、入力として、より低い拡大係数のネットワーク２０１８からより高い拡大係数のネットワーク２０１８の別の列２０５６への１つの列２０５６の特徴マップ２０３８’の出力セットの転送を定義することができる。シフト２０６４は、特徴マップ２０３８’の出力セットがフィードされる次のコンポーネントの分解能またはサイズにおける相違を計上することができる。例えば、第３のネットワーク２０１８Ｃの各列２０５６からの特徴マップ２０３８’の結果として得られるセットは、第１のネットワーク２０１８Ａにわたる１つの列２０５６における連結ユニット２０６２への入力としてフィードすることができる。示されるように、第３のネットワーク２０１８Ｃにおける第３の列２０５６Ｃからの特徴マップ２０３８’の結果として得られるセットは、第１のネットワーク２０１８Ａの第２の列２０５６Ｂへの入力としてフィードすることができる。

更に、第１のネットワーク２０１８Ａの第１の行２０５４Ａの出力において、セグメンテーションモデル２０１４は、終端畳込みブロック２０４６を有することができる。第１のネットワーク２０１８Ａの第１の行２０５４Ａの出力は、終端畳込みブロック２０４６への入力としてフィードすることができる。終端畳込みブロック２０４６の変換層２０４８Ａ～Ｎを適用して、セグメンテーションされた生物医学的画像２０２０’のためのタイル２０２２’を生成することができる。タイル２０２２’は、第１のネットワーク２０１８Ａにフィードされるパッチ２０３６Ａと同じ分解能および拡大係数とすることができる。生物医学的画像２０２０の更なるタイル２０２２からパッチ２０３６にセグメンテーションモデル２０１４のネットワーク２０１８を適用することによって、セグメンテーションされた画像２０２０’のための追加のタイル２０２２’を生成することができる。

再び図２０（ａ）を参照すると、モデル適用器２０１０は、生物医学的画像２０２０のタイル２０２２から生成されたパッチ２０３６にセグメンテーションモデル２０１４を適用して、セグメンテーションされた画像２０２０’を生成することができる。モデル適用器２０１０は、セグメンテーションされた画像２０２０’のためのタイル２０２２’として終端畳込みブロック２０４６の出力を用いることができる。パッチ２０３６へのセグメンテーションモデル２０１４の適用の繰返しにより、モデル適用器２０１０は、タイル２０２２’を集約して、セグメンテーションされた画像２０２０’を構築することができる。セグメンテーションされた画像２０２０’は、生物医学的画像２０２０内の関心領域２０２６の１つまたは複数のインジケーションを有することができる。各インジケーションは、生物医学的画像２０２０における関心領域２０２６のうちの少なくとも１つに対応することができる。いくつかの実施形態では、セグメンテーションされた画像２０２０’は、数ある中でも、がん、良性上皮、背景、間質、壊死および脂肪組織等の関心領域２０２６のタイプ毎に異なるインジケーション（例えば、色、シェーディングまたは別の視覚マーカにより示される）を有することができる。

いくつかの実施形態では、モデル適用器２０１０は、生物医学的画像２０２０またはセグメンテーションされた画像２０２０’を提示のためにディスプレイ２００６に提供することができる。ディスプレイ２００６は、モデル適用器２０１０によって提供される画像セグメンテーションシステム２００２によって出力された画像（例えば、図示されるように、生物医学的画像２０２０Ａもしくは２０２０Ｂまたはセグメンテーションされた画像２０２０’）を提示またはレンダリングすることができる。ディスプレイ２００６は、数ある中でも、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）モニタ、および陰極線管（ＣＲＴ）等の任意のモニタを含むことができる。ディスプレイ２００６は画像セグメンテーションシステム２００２と通信可能に結合することができ、画像セグメンテーションシステム２００２から画像をレンダリングおよび出力することができる。いくつかの実施形態では、モデル適用器２０１０は、画像セグメンテーションシステム２００２にアクセス可能なデータベースにおいて、生物医学的画像２０２０’（または生物医学的画像２０２０’の個々のタイル２０２２’）を記憶することができる。

画像セグメンテーションシステム２００２において実行されるモデルトレーナ２０１２は、トレーニングデータセット２０１６を用いてセグメンテーションモデル２０１４をトレーニングすることができる。セグメンテーションモデル２０１４のトレーニングは、画像セグメンテーションシステム２００２がトレーニングモードにあるときに行うことができる。セグメンテーションモデル２０１４のトレーニングは、サンプル生物医学的画像２０２０Ｂを用いてセグメンテーションモデル２０１４によって生成されたセグメンテーションされた画像２０２０’と併せて行うことができる。モデルトレーナ２０１２は、セグメンテーションモデル２０１４をサンプル生物医学的画像２０２０Ｂに適用することにより生成されたセグメンテーションされた画像２０２０’（またはセグメンテーションされたタイル２０２２’）を識別することができる。トレーニングデータセット２０１６から、モデルトレーナ２０１２は、サンプル生物医学的画像２０２０Ｂおよびアノテーション２０２４のセットも識別することができる。いくつかの実施形態では、モデルトレーナ２０１２は、比較対象のセグメンテーションされたタイル２０２２’に対応するサンプル生物医学的画像２０２０Ｂ内のタイル２０２２を識別することができる。識別により、モデルトレーナ２０１２は、セグメンテーションされた画像２０２０’を、セグメンテーションされた画像２０２０’を生成するのに用いられたサンプル生物医学的画像２０２０Ｂのためのアノテーション２０２４と比較することができる。上記で論考されたように、アノテーション２０２４は、サンプル生物医学的画像２０２０内の関心領域２０２６に対し完全または部分的とすることができる。いくつかの実施形態では、モデルトレーナ２０２１は、セグメンテーションされた画像２０２０’内の関心領域２０２６に対するインジケーションを、関心領域のタイプについてのアノテーション２０２４と比較することができる。

セグメンテーションされた画像２０２０’をアノテーション２０２４のセットと比較することによって、モデルトレーナ２０１２は、セグメンテーションされた画像２０２０’とアノテーション２０２４との間の少なくとも１つの損失メトリックを計算するかまたは他の形で決定することができる。損失メトリックは、セグメンテーションされた画像２０２０’とアノテーション２０２４との間の少なくとも１つの差を示すことができ、例えば、数ある中でも、二乗平均平方根誤差、相対二乗平均平方根誤差、および加重交差エントロピーとすることができる。セグメンテーションされた画像２０２０’とアノテーション２０２４との比較は、ピクセル単位とすることができ、損失メトリックはピクセル単位でも計算することができる。いくつかの実施形態では、モデルトレーナ２０１２は、セグメンテーションされた画像２０２０’のピクセルおよびアノテーション２０２４の全てまたは少なくとも一部分にわたる損失メトリックを決定することができる。いくつかの実施形態では、モデルトレーナ２０１２は、セグメンテーションされた画像２０２０’と、関心領域２０２６の各タイプについてのアノテーション２０２４との間の損失メトリックを決定することができる。

損失メトリックの計算により、モデルトレーナ２０１２は、セグメンテーションモデル２０１４のネットワーク２０１８におけるパラメータのうちの少なくとも１つを更新することができる。いくつかの実施形態では、モデルトレーナ２０１２は、関心領域２０２６の各タイプについて計算された損失メトリックを用いて、ネットワーク２０１８におけるパラメータのうちの少なくとも１つを更新することができる。損失メトリックを用いて更新されるパラメータは、数ある中でも、畳込みブロック２０３２の変換層２０３４Ａ～Ｎ、逆畳込みブロック２０４０の変換層２０４２Ａ～Ｎ、および終端畳込みブロック２０４６の変換層２０４８Ａ～Ｎにおけるものとすることができる。

いくつかの実施形態では、モデルトレーナ２０１２は、損失メトリックの現在の決定と、損失メトリックの以前の決定との比較に基づいて、セグメンテーションモデル２０１４が収束したかどうかを判断することができる。２つの損失メトリック間の差が閾値よりも大きい場合、モデルトレーナ２０１２は、セグメンテーションモデル２０１４のトレーニングを継続することができる。そうではなく、差が閾値以下である場合、モデルトレーナ２０１２はトレーニングを停止することができる。いくつかの実施形態では、セグメンテーションモデル２０１４のトレーニングは、複数の反復（例えば、１０～１００の範囲をとる）にわたってセット学習率（例えば、１０^-6～１０^-4の範囲をとる）、運動量（例えば、０．５～１の範囲をとる）、および重み減衰（例えば、１０^-6～１０^-4の範囲をとる）を有する目的関数（例えば、確率的勾配降下法（ＳＧＤ））を用いて定義することができる。

図２０（ｈ）を参照すると、例示的な実施形態による、多重倍率エンコーダ－デコーダ連結ネットワークを用いて生物医学的画像をセグメンテーションする方法２０７０の流れ図が示される。方法２０７０は、図２０（ａ）～図２０（ｇ）または図１６（ａ）～図１６（ｄ）と併せて説明されたコンポーネントのうちの任意のものを用いて実施、実践または実行することができる。概要において、コンピューティングシステムは、生物医学的画像を識別することができる（５７２）。コンピューティングシステムは、複数の拡大係数においてパッチを作成することができる（５７４）。コンピューティングシステムはセグメンテーションモデルを適用することができる（５７６）。コンピューティングシステムは、セグメンテーションされた画像を生成することができる（５７８）。

更なる詳細において、コンピューティングシステム（例えば、画像セグメンテーションシステム２００２）は、生物医学的画像（例えば、取得された生物医学的画像２０２０Ａ）を識別することができる（５７２）。生物医学的画像２０２０は、例えば、ヘマトキシリン－エオジン（Ｈ＆Ｅ）染色等で染色された組織学的セクションとすることができる。撮像デバイス（例えば、イメージャ２００４）は、組織病理学的調査を行うために被検体からの組織セクションから生物医学的画像を取得することができる。生物医学的画像を取得するために用いられる組織サンプルは、数ある中でも、腫瘍成長、病変または外傷等の関心領域を有することができる。コンピューティングシステムによって識別される生物医学的画像は、任意の関連付けられたアノテーション（例えば、アノテーション２０２４）が欠如している場合がある。コンピューティングシステムは、生物医学的画像をタイル（例えば、タイル２０２２）のセットに分割することができる。各タイルは、生物医学的画像の一部分に対応することができる。

コンピューティングシステムは、複数の拡大係数においてパッチ（例えば、パッチ２０３６）を作成することができる（５７４）。各パッチは、異なる拡大係数における生物医学的画像の一部分に対応することができる。拡大係数は、対応するタイルを拡大する量、数または比率を定義することができる。タイルから各パイルを作成するために、コンピューティングシステムは対応する倍率を同じタイルに適用することができる。

コンピューティングシステムは、セグメンテーションモデル（例えば、セグメンテーションモデル２０１４）を適用することができる（５７６）。セグメンテーションモデルの適用は、生物医学的画像の各タイルから作成されたパッチのセットに対するものとすることができる。セグメンテーションモデルは、パッチを作成するために用いられる拡大係数のセットに対応するネットワーク（例えば、ネットワーク２０１８）のセットを含むことができる。各ネットワークは、エンコーダ（例えば、畳込みブロック２０３２）のセットと、デコーダ（例えば、逆畳込みブロック２０４０）のセットとを含むことができる。各エンコーダは、特徴マップを変換するための変換層（例えば、変換層２０３４Ａ～Ｎ）のセットを有することができる。各デコーダは、特徴マップを変換するための変換層（例えば、変換層２０４２Ａ～Ｎ）のセットを有することができる。最も高い拡大係数（例えば、第１のネットワーク２０１８Ａ）に対応するネットワークにおいて、各デコーダは、他のネットワークからの特徴マップを組み合わせる連結器（例えば、連結ユニット２０６２）も有することができる。エンコーダおよびデコーダを用いて、各ネットワークは、対応する拡大係数における入力パッチを、結果として得られる特徴マップ（例えば、特徴マップ２０３８’）のセットに変換することができる。

コンピューティングシステムは、セグメンテーションされた画像（例えば、生物医学的画像２０２０’）を生成することができる（５７８）。セグメンテーションモデルは、最大の拡大係数を有するネットワークからの結果として得られる特徴マップのセットを、セグメンテーションされた画像（例えば、セグメンテーションされた画像２０２０’）のためのタイル（例えば、タイル２０２２’）に変換するための最終エンコーダ（例えば、終端畳込みブロック２０４６）も有することができる。セグメンテーションされた画像を適用することによって、コンピューティングシステムはセグメンテーションされた画像を生成することができる。コンピューティングシステムは、表示のためにセグメンテーションされた画像をレンダリングすることができる。コンピューティングシステムは、セグメンテーションされた画像をデータベースに記憶することができる。

図２０（ｉ）を参照すると、例示的な実施形態による、多重倍率エンコーダ－デコーダ連結ネットワークを用いて生物医学的画像をセグメンテーションするためにモデルをトレーニングする方法２０８０の流れ図が示される。方法２０８０は、図２０（ａ）～図２０（ｇ）または図１６（ａ）～図１６（ｄ）と併せて説明されたコンポーネントのうちの任意のものを用いて実施、実践または実行することができる。概要において、コンピューティングシステムは、サンプル生物医学的画像（５８２）を識別することができる。コンピューティングシステムは、複数の拡大係数においてパッチを作成することができる（５８４）。コンピューティングシステムはセグメンテーションモデルを適用することができる（５８６）。コンピューティングシステムは、セグメンテーションされた画像を生成することができる（５８８）。コンピューティングシステムは、部分的アノテーションに対する損失を決定することができる（５９０）。コンピューティングシステムはセグメンテーションモデルを更新することができる（５９２）。

更なる詳細において、コンピューティングシステム（例えば、画像セグメンテーションシステム２００２）は、サンプル生物医学的画像（例えば、サンプル生物医学的画像２０２０Ｂ）を識別することができる（５８２）。（５８２）の機能は、サンプル生物医学的画像に関するものを除いて、方法２０７０の（５７０）の機能に類似することができる。サンプル生物医学的画像は、アノテーション（例えば、アノテーション２０２４）のセットに関連付けることができる。アノテーションは、サンプル生物医学的画像における関心領域（例えば、関心領域２０２６）の少なくとも一部分を示すかまたはラベル付けすることができる。各アノテーションは、数ある中でも、がん組織、良性上皮組織、間質組織、壊死組織および脂肪組織等の異なるタイプの関心領域に対応することができる。部分的にアノテーションするとき、アノテーションは、分離距離（例えば、距離２０３０）だけ関心領域の境界から分離することができる。

コンピューティングシステムは、複数の拡大係数においてパッチ（例えば、パッチ２０３６）を作成することができる（５８４）。（５８４）の機能は、上記で詳述した方法２０７０の（５７４）の機能に類似することができる。コンピューティングシステムは、セグメンテーションモデル（例えば、セグメンテーションモデル２０１４）を適用することができる（５８６）。（５８６）の機能は、上記で詳述した方法２０７０の（５７６）の機能に類似することができる。コンピューティングシステムは、セグメンテーションされた画像（例えば、セグメンテーションされた画像２０２０’）を生成することができる（５８８）。（５８８）の機能は、上記で詳述した方法２０７０の（５７８）の機能に類似することができる。

コンピューティングシステムは、部分的アノテーションに対する損失を決定することができる（５９０）。コンピューティングシステムは、サンプル生物医学的画像にセグメンテーションモデルを適用することによって生成されたセグメンテーションされた画像（例えば、セグメンテーションされた画像２０２０’）を、サンプル生物医学的画像のための部分的アノテーションと比較することができる。比較において、コンピューティングシステムは、セグメンテーションされた画像におけるインジケーションと、サンプル生物医学的画像のためのアノテーションにおけるラベル付けとの間の損失を決定または計算することができる。比較はピクセル単位とすることができ、決定される損失メトリックはピクセル単位とすることができる。コンピューティングシステムはセグメンテーションモデルを更新することができる（５９２）。決定された損失を用いて、コンピューティングシステムは、エンコーダまたはデコーダのうちの１つ等においてセグメンテーションモデルのネットワークの少なくとも１つのパラメータを変更または更新することができる。

Ｄ． コンピューティングおよびネットワーク環境
セクションＡに記載の方法およびシステムに関連する動作環境および関連システムコンポーネント（例えば、ハードウェア要素）の態様を説明することが有用であり得る。図２１（ａ）を参照すると、ネットワーク環境の実施形態が示される。概要において、図示される探索ネットワーク環境は、１つまたは複数のネットワーク２１０４を介して１つまたは複数のサーバ２１０６ａ～１５０６ｎ（包括的に、サーバ２１０６、ノード２１０６またはリモートマシン２１０６とも呼ばれる）と通信する１つまたは複数のクライアント２１０２ａ～２１０２ｎ（包括的に、ローカルマシン２１０２、クライアント２１０２、クライアントノード２１０２、クライアントマシン２１０２、クライアントコンピュータ２１０２、クライアントデバイス２１０２、エンドポイント２１０２、またはエンドポイントノード２１０２とも呼ばれる）を含む。いくつかの実施形態では、クライアント２１０２は、サーバによって提供されるリソースへのアクセスを求めるクライアントノードとして、および他のクライアント２１０２ａ～１６０２ｎのためのホスティングされたリソースへのアクセスを提供するサーバとしての両方で機能する能力を有する。

図２１（ａ）は、クライアント２１０２とサーバ２１０６との間のネットワーク２１０４を示すが、クライアント２１０２およびサーバ２１０６は同じネットワーク２１０４上にあることができる。いくつかの実施形態では、クライアント２１０２とサーバ２１０６との間に複数のネットワーク２１０４が存在する。これらの実施形態のうちの１つにおいて、ネットワーク２１０４’（図示せず）はプライベートネットワークとすることができ、ネットワーク２１０４はパブリックネットワークとすることができる。これらの実施形態のうちの別のものにおいて、ネットワーク２１０４はプライベートネットワークとすることができ、ネットワーク２１０４’はパブリックネットワークとすることができる。これらの実施形態のうちの更に別のものにおいて、ネットワーク２１０４および２１０４’の両方をプライベートネットワークとすることができる。

ネットワーク２１０４は有線または無線リンクを介して接続することができる。有線リンクは、デジタル加入者線（ＤＳＬ）、同軸ケーブル線または光ファイバ線を含むことができる。無線リンクは、ブルートゥース（登録商標）、Ｗｉ－Ｆｉ、ＮＦＣ、ＲＦＩＤ、世界規模相互運用マイクロ波アクセス（ＷｉＭＡＸ）、赤外線チャネル、または衛星帯を含むことができる。無線リンクは、１Ｇ、２Ｇ、３Ｇまたは４Ｇとして適格な規格を含むモバイルデバイス間の通信に用いられる任意のセルラネットワーク規格も含むことができる。ネットワーク規格は、国際電気通信連合によって維持管理されている仕様等の仕様または規格を満たすことによって、モバイル電気通信規格の１つまたは複数の世代として適格となり得る。例えば、３Ｇ規格は、国際モバイル電気通信－２０００（ＩＭＴ－２０００）仕様に対応することができ、４Ｇ規格は、国際モバイル電気通信アドバンスト（ＩＭＴ－Ａｄｖａｎｃｅｄ）仕様に対応することができる。セルラネットワーク規格の例として、ＡＭＰＳ、ＧＳＭ、ＧＰＲＳ、ＵＭＴＳ、ＬＴＥ、ＬＴＥ Ａｄｖａｎｃｅｄ、Ｍｏｂｉｌｅ ＷｉＭＡＸおよびＷｉＭＡＸ－Ａｄｖａｎｃｅｄが挙げられる。セルラネットワーク規格は、様々なチャネルアクセス方法、例えば、ＦＤＭＡ、ＴＤＭＡ、ＣＤＭＡまたはＳＤＭＡを用いることができる。いくつかの実施形態では、異なるタイプのデータを異なるリンクおよび規格を介して送信することができる。他の実施形態では、同じタイプのデータを異なるリンクおよび規格を介して送信することができる。

ネットワーク２１０４は、任意のタイプおよび／または形態のネットワークとすることができる。ネットワーク２１０４の地理的範囲は広く変動する場合があり、ネットワーク２１０４は、ボディエリアネットワーク（ＢＡＮ）、パーソナルエリアネットワーク（ＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、例えば、イントラネット、メトロポリタンエリアネットワーク（ＭＡＮ）、広域ネットワーク（ＷＡＮ）またはインターネットとすることができる。ネットワーク２１０４のトポロジは任意の形態をとることができ、例えば、以下のもの、すなわち、ポイントツーポイント、バス、スター、リング、メッシュまたはツリーのうちの任意のものを含むことができる。ネットワーク２１０４は、仮想であり、他のネットワーク２１０４’の１つまたは複数の層の上にあるオーバーレイネットワークとすることができる。ネットワーク２１０４は、本明細書に記載の動作をサポートすることが可能な、当業者に既知の任意のそのようなネットワークトポロジとすることができる。ネットワーク２１０４は、例えば、イーサネットプロトコル、インターネットプロトコルスイート（ＴＣＰ／ＩＰ）、ＡＴＭ（非同期転送モード）技法、同期型光ネットワーク（ＳＯＮＥＴ）プロトコルまたは同期デジタル階層（ＳＤＨ）プロトコルを含む異なる複数の技法および層またはプロトコルスタックを利用することができる。ＴＣＰ／ＩＰインターネットプロトコルスイートは、アプリケーション層、トランスポート層、インターネット層（例えば、ＩＰｖ６を含む）またはリンク層を含むことができる。ネットワーク２１０４は、ある種のブロードキャストネットワーク、電気通信ネットワーク、データ通信ネットワークまたはコンピュータネットワークであってもよい。

いくつかの実施形態では、システムは、論理的にグルーピングされたサーバ２１０６を含むことができる。これらの実施形態のうちの１つにおいて、サーバの論理グループは、サーバファーム２１０７またはマシンファーム２１０７と呼ばれる場合がある。これらの実施形態のうちの別のものにおいて、サーバ２１０６は、地理的に分散している場合がある。他の実施形態において、マシンファーム２１０７は、単一のエンティティとして管理されてもよい。更に他の実施形態において、マシンファーム２１０７は複数のマシンファーム３８を含む。各マシンファーム２１０７内のサーバ２１０６は、異種とすることができる。サーバ２１０６またはマシン２１０６のうちの１つまたは複数は、オペレーティングシステムプラットフォーム（例えば、ワシントン州レッドモンド所在のＭｉｃｒｏｓｏｆｔ Ｃｏｒｐ．によって製造されたＷＩＮＤＯＷＳ ＮＴ（登録商標））の１つのタイプに従って動作することができる一方で、他のサーバ２１０６のうちの１つまたは複数は、別のタイプのオペレーティングシステムプラットフォーム（例えば、Ｕｎｉｘ、Ｌｉｎｕｘ（登録商標）またはＭａｃ ＯＳ Ｘ）に従って動作することができる。

１つの実施形態において、マシンファーム２１０７内のサーバ２１０６を、関連付けられたストレージシステムと共に、高密度ラックシステム内に格納し、企業のデータセンタ内に配置することができる。この実施形態において、このようにサーバ２１０６を一元管理することによって、サーバ２１０６および高性能ストレージシステムをローカライズされた高性能ネットワーク上に配置することにより、システム管理性、データセキュリティ、システムの物理的セキュリティ、およびシステム性能を改善することができる。サーバ２１０６およびストレージシステムを集中化し、これらを高度システム管理ツールと結合することによって、サーバリソースのより効率的な使用が可能になる。

各マシンファーム２１０７のサーバ２１０６は、同じマシンファーム２１０７内で別のサーバ２１０６に物理的に近接する必要がない。このため、マシンファーム２１０７として論理的にグループ化されるサーバ２１０６のグループは、広域ネットワーク（ＷＡＮ）接続またはメトロポリタンエリアネットワーク（ＭＡＮ）接続を用いて相互接続することができる。例えば、マシンファーム２１０７は、異なる大陸、または大陸、国、州、市、キャンパスもしくは部屋の異なる領域に物理的に位置するサーバ２１０６を含むことができる。マシンファーム２１０７内のサーバ２１０６間のデータ送信速度は、サーバ２１０６がローカルエリアネットワーク（ＬＡＮ）接続または何らかの形の直接接続を用いて接続される場合に増大させることができる。加えて、異種マシンファーム２１０７は、オペレーティングシステムのタイプに従って動作する１つまたは複数のサーバ２１０６を含むことができる一方、１つまたは複数の他のサーバ２１０６は、オペレーティングシステムではなく１つまたは複数のタイプのハイパーバイザを実行する。これらの実施形態において、ハイパーバイザを用いて、仮想ハードウェアをエミュレートし、物理的ハードウェアを分割し、物理的ハードウェアを仮想化し、コンピューティング環境へのアクセスを提供する仮想マシンを実行することができ、複数のオペレーティングシステムがホストコンピュータにおいて同時に実行されることを可能にする。ネイティブハイパーバイザは、ホストコンピュータ上で直接実行することができる。ハイパーバイザは、カリフォルニア州パロアルト所在のＶＭＷａｒｅ， Ｉｎｃ．によって製造されたＶＭｗａｒｅ ＥＳＸ／ＥＳＸｉ、Ｃｉｔｒｉｘ Ｓｙｓｅｍｓ， Ｉｎｃが開発を統括しているオープンソース製品であるＸｅｎハイパーバイザ、Ｍｉｃｒｏｓｆｔ他によって提供されたＨＹＰＥＲ－Ｖハイパーバイザを含むことができる。ホストハイパーバイザは、第２のソフトウェアレベルでオペレーティングシステム内で実行することができる。ホストハイパーバイザの例として、ＶＭｗａｒｅ ＷｏｒｋｓｔａｔｉｏｎおよびＶＩＲＴＵＡＬＢＯＸを挙げることができる。

マシンファーム２１０７の管理は非集中型であってもよい。例えば、１つまたは複数のサーバ２１０６は、マシンファーム２１０７のための１つまたは複数の管理サービスをサポートするためのコンポーネント、サブシステムおよびモジュールを含むことができる。これらの実施形態のうちの１つにおいて、１つまたは複数のサーバ２１０６は、フェイルオーバ、データ複製、およびマシンファーム２１０７のロバスト性の増大の技法を含む、動的データの管理の機能を提供する。各サーバ２１０６は、持続性ストア、およびいくつかの実施形態では動的ストアと通信することができる。

サーバ２１０６は、ファイルサーバ、アプリケーションサーバ、ウェブサーバ、プロキシサーバ、アプライアンス、ネットワークアプライアンス、ゲートウェイ、ゲートウェイサーバ、仮想化サーバ、展開サーバ、ＳＳＬ ＶＰＮサーバまたはファイアウォールとすることができる。１つの実施形態において、サーバ２１０６は、リモートマシンまたはノードと呼ばれる場合がある。別の実施形態において、複数のノードは、任意の２つの通信サーバ間の経路内にある場合がある。

図２１（ｂ）を参照すると、クラウドコンピューティング環境が示されている。クラウドコンピューティング環境は、クライアント２１０２に、ネットワーク環境によって提供される１つまたは複数のリソースを提供することができる。クラウドコンピューティング環境は、１つまたは複数のネットワーク２１０４を介してクラウド２１０８と通信する１つまたは複数のクライアント２１０２ａ～２１０２ｎを含むことができる。クライアント２１０２は、例えば、シッククライアント、シンクライアント、およびゼロクライアントを含むことができる。シッククライアントは、クラウド２１０８またはサーバ２１０６から切り離されているときであっても、少なくとも何らかの機能を提供することができる。シンクライアントまたはゼロクライアントは、クラウド２１０８またはサーバ２１０６への接続に依拠して機能を提供することができる。ゼロクライアントは、クラウド２１０８または他のネットワーク２１０４またはサーバ２１０６に依拠してクライアントデバイスのためのオペレーティングシステムデータを取り出すことができる。クラウド２１０８は、バックエンドプラットフォーム、例えば、サーバ２１０６、ストレージ、サーバファームまたはデータセンタを含むことができる。

クラウド２１０８は、パブリック、プライベートまたはハイブリッドとすることができる。パブリッククラウドは、クライアント２１０２またはクライアントの所有者に対する第三者によって維持管理されているパブリックサーバ２１０６を含むことができる。上記または他の箇所で開示されるように、サーバ２１０６は、現場から離れて遠隔の地理的ロケーションに位置してもよい。パブリッククラウドは、パブリックネットワークを介してサーバ２１０６に接続することができる。プライベートクラウドは、クライアント２１０２またはクライアントの所有者によって物理的に維持管理されているプライベートサーバ２１０６を含むことができる。プライベートクラウドは、プライベートネットワーク２１０４を介してサーバ２１０６に接続することができる。ハイブリッドクラウド２１０８は、プライベートネットワーク２１０４およびパブリックネットワーク２１０４の両方と、サーバ２１０６とを含むことができる。

クラウド２１０８は、クラウドベースの配信、例えばサービスとしてのソフトウェア（ＳａａＳ）２１１０、サービスとしてのプラットフォーム（ＰａａＳ）２１１２、およびサービスとしてのインフラストラクチャ（ＩａａＳ）２１１４を含むこともできる。ＩａａＳは、ユーザが料金を払って特定の期間に必要なインフラストラクチャリソースを使用することを指すことができる。ＩａａＳプロバイダは、大きなプールから、ストレージ、ネットワーキング、サーバまたは仮想化リソースを提供し、必要に応じてより多くのリソースにアクセスすることによってユーザが迅速にスケールアップすることを可能にすることができる。ＰａａＳプロバイダは、例えば、ストレージ、ネットワーキング、サーバ、または仮想化、ならびに例えばオペレーティングシステム、ミドルウェアまたはランタイムリソース等の追加のリソースを含む、ＩａａＳによって提供される機能を提供することができる。ＰａａＳの例は、ワシントン州レッドモンド所在のＭｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎによって提供されるＷＩＮＤＯＷＳ ＡＺＵＲＥ、Ｇｏｏｇｌｅ Ｉｎｃ．により提供されるＧｏｏｇｌｅ Ａｐｐ Ｅｎｇｉｎｅ、およびカリフォルニア州サンフランシスコ所在のＨｅｒｏｋｕ、Ｉｎｃ．によって提供されるＨＥＲＯＫＵを含む。ＳａａＳプロバイダは、ストレージ、ネットワーキング、サーバ、仮想化、オペレーティングシステム、ミドルウェアまたはランタイムリソースを含む、ＰａａＳが提供するリソースを提供することができる。いくつかの実施形態では、ＳａａＳプロバイダは、例えばデータおよびアプリケーションリソースを含む追加のリソースを提供することができる。

クライアント２１０２は、例えば、Ａｍａｚｏｎ Ｅｌａｓｔｉｃ Ｃｏｍｐｕｔｅ Ｃｌｏｕｄ（ＥＣ２）、オープンクラウドコンピューティングインタフェース（ＯＣＣＩ）、クラウドインフラストラクチャ管理インタフェース（ＣＩＭＩ）、またはＯｐｅｎＳｔａｃｋ標準規格を含む１つまたは複数のＩａａＳ標準規格によってＩａａＳリソースにアクセスすることができる。いくつかのＩａａＳ標準規格によって、クライアントはＨＴＴＰを通じてリソースにアクセスすることができ、Ｒｅｐｒｅｓｅｎｔａｔｉｏｎａｌ Ｓｔａｔｅ Ｔｒａｎｓｆｅｒ（ＲＥＳＴ）プロトコルまたはＳｉｍｐｌｅ Ｏｂｊｅｃｔ Ａｃｃｅｓｓ Ｐｒｏｔｏｃｏｌ（ＳＯＡＰ）を使用することができる。クライアント２１０２は、異なるＰａａＳインタフェースを有するＰａａＳリソースにアクセスすることができる。いくつかのＰａａＳインタフェースは、ＨＴＴＰパッケージ、標準Ｊａｖａ ＡＰＩ、ＪａｖａＭａｉｌ ＡＰＩ、Ｊａｖａ Ｄａｔａ Ｏｂｊｅｃｔｓ（ＪＤＯ）、Ｊａｖａ Ｐｅｒｓｉｓｔｅｎｃｅ ＡＰＩ（ＪＰＡ）、Ｐｙｔｈｏｎ ＡＰＩ、例えばＲａｃｋ ｆｏｒ Ｒｕｂｙ、ＷＳＧＩ ｆｏｒ Ｐｙｔｈｏｎ、もしくはＰＳＧＩ ｆｏｒ Ｐｅｒｌを含む異なるプログラミング言語のためのウェブインテグレーションＡＰＩ、またはＲＥＳＴ、ＨＴＴＰ、ＸＭＬ、もしくは他のプロトコルに構築可能な他のＡＰＩを使用する。クライアント２１０２は、ウェブブラウザによって提供されたウェブベースのユーザインタフェースの使用を通じてＳａａＳリソースにアクセスすることができる。クライアント２１０２は、備えているスマートフォンまたはタブレットアプリケーションを通じてＳａａＳリソースにアクセスすることもできる。クライアント２１０２は、クライアントオペレーティングシステムを通じてＳａａＳリソースにアクセスすることもできる。

いくつかの実施形態では、ＩａａＳ、ＰａａＳまたはＳａａＳリソースへのアクセスを認証することができる。例えば、サーバまたは認証サーバは、セキュリティ証明書、ＨＴＴＰＳまたはＡＰＩ鍵を介してユーザを認証することができる。ＡＰＩ鍵は、例えばＡｄｖａｎｃｅｄ Ｅｎｃｒｙｐｔｉｏｎ Ｓｔａｎｄａｒｄ（ＡＥＳ）等の様々な暗号化標準規格を含むことができる。データリソースを、Ｔｒａｎｓｐｏｒｔ Ｌａｙｅｒ Ｓｅｃｕｒｉｔｙ（ＴＬＳ）またはＳｅｃｕｒｅ Ｓｏｃｋｅｔｓ Ｌａｙｅｒ（ＳＳＬ）を通じて送ることができる。

クライアント２１０２およびサーバ２１０６は、任意のタイプおよび形態のネットワークにおける通信、ならびに本明細書に記載の動作の実行が可能な任意のタイプおよび形態のコンピューティングデバイス、例えばコンピュータ、ネットワークデバイスまたはアプライアンスとして展開および／またはこれらにおいて実行することができる。図２１（ｃ）および図２１（ｄ）は、クライアント２１０２またはサーバ２１０６の実施形態を実施するのに有用なコンピューティングデバイス２１００のブロック図を示す。図２１（ｃ）および図２１（ｄ）に示すように、各コンピューティングデバイス２１００は、中央処理装置２１２１およびメインメモリユニット２１２２を備える。図２１（ｃ）に示すように、コンピューティングデバイス２１００は、記憶装置２１２８と、インストールデバイス２１１６と、ネットワークインタフェース２１１８と、Ｉ／Ｏコントローラ２１２３と、表示デバイス２１２４ａ～１１２４ｎと、キーボード２１２６と、ポインティングデバイス２１２７、例えばマウスを備えることができる。記憶装置２１２８は、限定ではないが、オペレーティングシステムおよび／またはソフトウェア２１２０を含むことができる。図２１（ｄ）に示すように、各コンピューティングデバイス２１００は、追加のオプション要素、例えば、メモリポート２１０３、ブリッジ２１７０、１つまたは複数の入力／出力デバイス２１３０ａ～１１３０ｎ（包括的に、参照符号２１３０を用いて参照される）と、中央処理装置２１２１と通信するキャッシュメモリ２１４０とを更に備えることができる。

中央処理装置２１２１は、メインメモリユニット２１２２からフェッチされる命令に応答し、これを処理する任意の論理回路である。多くの実施形態において、中央処理装置２１２１はマイクロプロセッサユニットによって提供される。コンピューティングデバイス２１００は、これらのプロセッサのうちの任意のもの、または本明細書に記載のように動作することが可能な任意の他のプロセッサに基づくことができる。中央処理装置２１２１は、命令レベルの並列性、スレッドレベルの並列性、異なるレベルのキャッシュ、およびマルチコアプロセッサを利用することができる。マルチコアプロセッサは、単一のコンピューティングコンポーネントにおける２つ以上の処理装置を含むことができる。

メインメモリユニット２１２２は、データを格納することができ、かつマイクロプロセッサ２１２１が記憶場所に直接アクセスできるようにする１つまたは複数のメモリチップを含むことができる。メインメモリユニット２１２２は揮発性で、ストレージ２１２８メモリより高速であり得る。メインメモリユニット２１２２は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、あるいは、スタティックランダムアクセスメモリ（ＳＲＡＭ）、バーストＳＲＡＭもしくは同期バーストＳＲＡＭ（ＢＳＲＡＭ）、高速ページモードＤＲＡＭ（ＦＰＭ ＤＲＡＭ）、エンハンストＤＲＡＭ（ＥＤＲＡＭ）、拡張データ出力ＲＡＭ（ＥＤＯ ＲＡＭ）、拡張データ出力ＤＲＡＭ（ＥＤＯ ＤＲＡＭ）、バースト拡張データ出力ＤＲＡＭ（ＢＥＤＯ ＤＲＡＭ）、シングルデータレートシンクロナスＤＲＡＭ（ＳＤＲ ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（ＤＤＲ ＳＤＲＡＭ）、ダイレクトラムバスＤＲＡＭ（ＤＲＤＲＡＭ）、またはエクストリームデータレートＤＲＡＭ（ＸＤＲ ＤＲＡＭ）を含む任意の変形体とすることができる。いくつかの実施形態では、メインメモリ２１２２またはストレージ２１２８は不揮発性であり、例えば、不揮発性リードアクセスメモリ（ＮＶＲＡＭ）、フラッシュメモリ不揮発性スタティックＲＡＭ（ｎｖＳＲＡＭ）、強誘電ＲＡＭ（ＦｅＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、相変化メモリ（ＰＲＡＭ）、導電性ブリッジＲＡＭ（ＣＢＲＡＭ）、シリコン－酸化物－窒化物－酸化物－シリコン（ＳＯＮＯＳ）、抵抗ＲＡＭ（ＲＲＡＭ）、レーストラック、ナノＲＡＭ（ＮＲＡＭ）、またはＭｉｌｌｉｐｅｄｅメモリとすることができる。メインメモリ２１２２は、前述したメモリチップのうちのいずれか、または本明細書に記載の通りに動作可能な任意の他の使用可能なメモリチップに基づくことができる。図２１（ｃ）に示す実施形態において、プロセッサ２１２１は、システムバス２１５０（以下で、より詳細に説明する）を介してメインメモリ２１２２と通信する。図２１（ｄ）は、プロセッサがメモリポート２１０３を介してメインメモリ２１２２と直接通信するコンピューティングデバイス２１００の実施形態を示す。例えば、図２１（ｄ）において、メインメモリ２１２２はＤＲＤＲＡＭとすることができる。

図２１（ｄ）は、メインプロセッサ２１２１が、バックサイドバスと呼ばれることもある二次バスを介してキャッシュメモリ２１４０と直接通信する実施形態を示す。他の実施形態において、メインプロセッサ２１２１は、システムバス２１５０を使用してキャッシュメモリ２１４０と通信する。キャッシュメモリ２１４０は、通常、メインメモリ２１２２よりも高速の応答時間を有し、通常、ＳＲＡＭ、ＢＳＲＡＭ、またはＥＤＲＡＭによって提供される。図２１（ｄ）に示す実施形態において、プロセッサ２１２１は、ローカルシステムバス２１５０を介して様々なＩ／Ｏデバイス２１３０と通信する。様々なバスを使用して、中央処理装置２１２１を、ＰＣＩバス、ＰＣＩ－Ｘバス、ＰＣＩ－Ｅｘｐｒｅｓｓバス、またはＮｕＢｕｓを含むＩ／Ｏデバイス２１３０のうちのいずれかに接続することができる。Ｉ／Ｏデバイスがビデオディスプレイ２１２４である実施形態の場合、プロセッサ２１２１は、Ａｄｖａｎｃｅｄ Ｇｒａｐｈｉｃｓ Ｐｏｒｔ（ＡＧＰ）を使用してディスプレイ２１２４またはディスプレイ２１２４用のＩ／Ｏコントローラ２１２３と通信することができる。図２１（ｄ）は、メインプロセッサ２１２１が、Ｉ／Ｏデバイス２１３０ｂまたは他のプロセッサ２１２１’とＨＹＰＥＲＴＲＡＮＳＰＯＲＴ、ＲＡＰＩＤＩＯ、またはＩＮＦＩＮＩＢＡＮＤ通信技術を介して直接通信するコンピュータ２１００の実施形態を示す。図２１（ｄ）はまた、ローカルバスと直接通信とを組み合わせ、プロセッサ２１２１がローカル相互接続バスを使用してＩ／Ｏデバイス２１３０ａと通信するが、Ｉ／Ｏデバイス２１３０ｂとは直接通信する実施形態を示す。

様々なＩ／Ｏデバイス２１３０ａ～１１３０ｎがコンピューティングデバイス２１００内に存在してもよい。入力デバイスは、キーボード、マウス、トラックパッド、トラックボール、タッチパッド、タッチマウス、マルチタッチタッチパッドおよびタッチマウス、マイクロフォン、マルチアレイマイクロフォン、ドローイングタブレット、カメラ、一眼レフカメラ（ＳＬＲ）、デジタルＳＬＲ（ＤＳＬＲ）、ＣＭＯＳセンサ、加速度計、赤外線光センサ、圧力センサ、磁力計センサ、角速度センサ、深度センサ、近接センサ、周囲光センサ、ジャイロセンサ、または他のセンサを含むことができる。出力デバイスは、ビデオディスプレイ、グラフィックディスプレイ、スピーカ、ヘッドフォン、インクジェットプリンタ、レーザプリンタ、および３Ｄプリンタを含むことができる。

デバイス２１３０ａ～１１３０ｎは、備えている複数の入力または出力デバイスの組合せを含むことができる。いくつかのデバイス２１３０ａ～１１３０ｎは、入力および出力のいくつかを組み合わせることによってジェスチャ認識入力を可能にする。いくつかのデバイス２１３０ａ～１１３０ｎは、認証および他のコマンドを含む異なる目的のための入力として利用することができる顔認識を提供する。いくつかのデバイス２１３０ａ～１１３０ｎは音声認識および入力を提供する。更なるデバイス２１３０ａ～１１３０ｎは、例えば、触覚フィードバックデバイス、タッチスクリーンディスプレイ、またはマルチタッチディスプレイを含む入力能力および出力能力の両方を有する。タッチスクリーン、マルチタッチディスプレイ、タッチパッド、タッチマウス、または他の接触感知デバイスは、例えば、静電容量式、表面静電容量式、投影静電容量式タッチ（ＰＣＴ）、インセル静電容量式、抵抗、赤外線、導波路、分散信号タッチ（ＤＳＴ）、インセル光学、表面音響波（ＳＡＷ）、屈曲波タッチ（ＢＷＴ）、または力ベースの感知技術を含む異なる技術を使用して、接触を感知することができる。いくつかのマルチタッチデバイスにより、表面との２つ以上の接触点が可能になるため、例えば、ピンチ、スプレッド、回転、スクロール、または他のジェスチャを含む高度な機能が可能になり得る。テーブルトップまたは壁等にあるものを含むいくつかのタッチスクリーンデバイスは、他の電子デバイスと対話することもできる。いくつかのＩ／Ｏデバイス２１３０ａ～１１３０ｎ、ディスプレイデバイス２１２４ａ～１１２４ｎ、またはデバイスの群は、拡張現実デバイスであってもよい。図２１（ｃ）に示すように、Ｉ／ＯデバイスをＩ／Ｏコントローラ２１２３によって制御することができる。Ｉ／Ｏコントローラは、例えば、キーボード２１２６およびポインティングデバイス２１２７、例えばマウスまたは光学ペン等の１つまたは複数のＩ／Ｏデバイスを制御することができる。更に、Ｉ／Ｏデバイスは、コンピューティングデバイス２１００のストレージおよび／またはインストール媒体２１１６を提供することもできる。更に他の実施形態において、コンピューティングデバイス２１００は、携帯用ＵＳＢ記憶装置を受け入れるＵＳＢ接続部（図示せず）を提供することができる。更なる実施形態において、Ｉ／Ｏデバイス２１３０は、システムバス２１５０と外部通信バス、例えばＵＳＢバス、ＳＣＳＩバス、ファイアワイヤバス、イーサネットバス、ギガビットイーサネットバス、ファイバチャネルバス、またはサンダーボルトバスとの間のブリッジであってもよい。

いくつかの実施形態では、ディスプレイデバイス２１２４ａ～１１２４ｎをＩ／Ｏコントローラ２１２３に接続することができる。ディスプレイデバイスは、例えば、液晶ディスプレイ（ＬＣＤ）、薄膜トランジスタＬＣＤ（ＴＦＴ－ＬＣＤ）、ブルー相ＬＣＤ、電子ペーパ（ｅ－インク）ディスプレイ、フレキシブルディスプレイ、発光ダイオードディスプレイ（ＬＥＤ）、デジタル光処理（ＤＬＰ）ディスプレイ、シリコン上液晶（ＬＣＯＳ）ディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、アクティブマトリクス有機発光ダイオード（ＡＭＯＬＥＤ）ディスプレイ、液晶レーザディスプレイ、時分割光シャッタ（ＴＭＯＳ）ディスプレイ、または３Ｄディスプレイを含むことができる。３Ｄディスプレイの例として、例えば立体視、偏光フィルタ、アクティブシャッタ、または裸眼立体視を使用することができる。ディスプレイデバイス２１２４ａ～１１２４ｎは、頭部装着ディスプレイ（ＨＭＤ）であってもよい。いくつかの実施形態では、ディスプレイデバイス２１２４ａ～１１２４ｎまたは対応するＩ／Ｏコントローラ２１２３は、ＯＰＥＮＧＬまたはＤＩＲＥＣＴＸ ＡＰＩまたは他のグラフィックライブラリによって制御されてもよく、またはこれらのハードウェアサポートを有していてもよい。

いくつかの実施形態では、コンピューティングデバイス２１００は、それぞれ同一または異なる種類および／または形態であり得る複数のディスプレイデバイス２１２４ａ～１１２４ｎを含むことができ、またはこれらに接続することができる。このようにして、Ｉ／Ｏデバイス２１３０ａ～１１３０ｎおよび／またはＩ／Ｏコントローラ２１２３のうちのいずれかが、コンピューティングデバイス２１００による複数のディスプレイデバイス２１２４ａ～１１２４ｎの接続および使用をサポートし、可能にし、または提供するための、任意の種類および／または形態の適切なハードウェア、ソフトウェア、またはハードウェアおよびソフトウェアの組合せを含むことができる。例えば、コンピューティングデバイス２１００は、ディスプレイデバイス２１２４ａ～１１２４ｎをインタフェース接続、通信、接続、またはその他の方法で使用するための、任意の種類および／または形態のビデオアダプタ、ビデオカード、ドライバ、および／またはライブラリを含むことができる。１つの実施形態において、ビデオアダプタは、複数のディスプレイデバイス２１２４ａ～１１２４ｎにインタフェース接続するための複数のコネクタを含むことができる。他の実施形態において、コンピューティングデバイス２１００は、ディスプレイデバイス２１２４ａ～１１２４ｎのうちの１つまたは複数にそれぞれ接続された複数のビデオアダプタを含むことができる。いくつかの実施形態では、コンピューティングデバイス２１００のオペレーティングシステムの任意の部分を、複数のディスプレイ２１２４ａ～１１２４ｎを使用するように構成することができる。他の実施形態において、ディスプレイデバイス２１２４ａ～１１２４ｎのうちの１つまたは複数を、ネットワーク２１０４を介してコンピューティングデバイス２１００に接続された１つまたは複数の他のコンピューティングデバイス２１００ａまたは２１００ｂによって提供することができる。いくつかの実施形態において、ソフトウェアを、別のコンピュータのディスプレイデバイスをコンピューティングデバイス２１００の第２のディスプレイデバイス２１２４ａとして使用するように設計および構成することができる。

再び図２１（ｃ）を参照すると、コンピューティングデバイス２１００は、オペレーティングシステムまたは他の関連ソフトウェアを格納するため、およびソフトウェア２１２０に関連する任意のプログラム等のアプリケーションソフトウェアプログラムを格納するための記憶装置２１２８（例えば、１つまたは複数のハードディスクドライブまたはリダンダントアレイオブインディペンデントディスク）を含むことができる。記憶装置２１２８の例として、例えば、ハードディスクドライブ（ＨＤＤ）、光学ドライブ、ソリッドステートドライブ（ＳＳＤ）、ＵＳＢフラッシュドライブ、またはデータの格納に適した任意の他のデバイスが挙げられる。いくつかの記憶装置は、例えば、ハードディスクとソリッドステートキャッシュとを組み合わせたソリッドステートハイブリッドドライブを含む複数の揮発性および不揮発性メモリを含むことができる。いくつかの記憶装置２１２８は、不揮発性、可変、また読出し専用記憶装置であってよい。いくつかの記憶装置２１２８は、内部記憶装置であり、バス２１５０を介してコンピューティングデバイス２１００に接続することができる。いくつかの記憶装置２１２８は、外部記憶装置であり、外部バスを提供するＩ／Ｏデバイス２１３０を介してコンピューティングデバイス２１００に接続することができる。いくつかの記憶装置２１２８は、ネットワーク２１０４上のネットワークインタフェース２１１８を介して、コンピューティングデバイス２１００に接続することができる。いくつかのクライアントデバイス２１００は、不揮発性記憶装置２１２８を必要としなくてもよく、シンクライアントまたはゼロクライアント２１０２であってもよい。いくつかの記憶装置２１２８は、インストールデバイス２１１６として使用することもでき、ソフトウェアおよびプログラムのインストールに適していてもよい。

クライアントデバイス２１００は、アプリケーション配布プラットフォームからソフトウェアまたはアプリケーションをインストールすることもできる。アプリケーション配布プラットフォームにより、クライアントデバイス２１０２へのソフトウェアのインストールを容易にすることができる。アプリケーション配布プラットフォームは、クライアント２１０２ａ～２１０２ｎがネットワーク２１０４を通じてアクセス可能な、サーバ２１０６またはクラウド２１０８上のアプリケーションのリポジトリを含むことができる。アプリケーション配布プラットフォームは、様々な開発者により開発され提供されるアプリケーションを含むことができる。クライアントデバイス２１０２のユーザは、アプリケーション配布プラットフォームを介してアプリケーションを選択、購入、および／またはダウンロードすることができる。

更に、コンピューティングデバイス２１００は、標準電話線ＬＡＮまたはＷＡＮリンク（例えば、８０２．１１、Ｔ１、Ｔ３、ギガビットイーサネット、インフィニバンド）、ブロードバンド接続（例えば、ＩＳＤＮ、フレームリレー、ＡＴＭ、ギガビットイーサネット、イーサネットオーバーＳＯＮＥＴ、ＡＤＳＬ、ＶＤＳＬ、ＢＰＯＮ、ＧＰＯＮ、ＦｉＯＳを含む光ファイバ）、無線接続、または上記のいずれかもしくは全ての何らかの組合せを含むが、これらに限定されない様々な接続を通じて、ネットワーク２１０４にインタフェース接続するネットワークインタフェース２１１８を含むことができる。様々な通信プロトコル（例えば、ＴＣＰ／ＩＰ、イーサネット、ＡＲＣＮＥＴ、ＳＯＮＥＴ、ＳＤＨ、ファイバ分散データインタフェース（ＦＤＤＩ）、ＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎ／ａｃ ＣＤＭＡ、ＧＳＭ、ＷｉＭａｘ、および直接非同期接続）を使用して、接続を確立することができる。１つの実施形態において、コンピューティングデバイス２１００は、任意の種類および／または形態のゲートウェイまたはトンネルプロトコル、例えばＳｅｃｕｒｅ Ｓｏｃｋｅｔ Ｌａｙｅｒ（ＳＳＬ）またはＴｒａｎｓｐｏｒｔ Ｌａｙｅｒ Ｓｅｃｕｒｉｔｙ（ＴＬＳ）を介して他のコンピューティングデバイス２１００’と通信する。ネットワークインタフェース２１１８は、内蔵ネットワークアダプタ、ネットワークインタフェースカード、ＰＣＭＣＩＡネットワークカード、ＥＸＰＲＥＳＳ ＣＡＲＤネットワークカード、カードバスネットワークアダプタ、無線ネットワークアダプタ、ＵＳＢネットワークアダプタ、モデム、または通信および本明細書に記載の動作を実行可能なコンピューティングデバイス２１００を任意の種類のネットワークにインタフェース接続するのに適した任意の他のデバイスを含むことができる。

図２１（ｂ）および図２１（ｃ）に示す種類のコンピューティングデバイス２１００は、タスクのスケジューリングおよびシステムリソースへのアクセスを制御するオペレーティングシステムの制御下で動作することができる。コンピューティングデバイス２１００は、任意のバージョンのＭＩＣＲＯＳＯＦＴ ＷＩＮＤＯＷＳオペレーティングシステム、異なるリリースのＵｎｉｘおよびＬｉｎｕｘオペレーティングシステム、任意のバージョンのＭａｃｉｎｔｏｓｈコンピュータ用ＭＡＣ ＯＳ、任意の組込みオペレーティングシステム、任意のリアルタイムオペレーティングシステム、任意のオープンソースオペレーティングシステム、任意の専用オペレーティングシステム、モバイルコンピューティングデバイス用の任意のオペレーティングシステム、またはコンピューティングデバイスで動作可能かつ本明細書に記載の動作を実行可能な任意の他のオペレーティングシステム等の任意のオペレーティングシステムで動作することができる。一般的なオペレーティングシステムとして、限定ではないが、数ある中でも、全てワシントン州レッドモンド所在のＭｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎにより製造された、ＷＩＮＤＯＷＳ ２０００、ＷＩＮＤＯＷＳ Ｓｅｒｖｅｒ ２０１２、ＷＩＮＤＯＷＳ ＣＥ、ＷＩＮＤＯＷＳ Ｐｈｏｎｅ、ＷＩＮＤＯＷＳ ＸＰ、ＷＩＮＤＯＷＳ ＶＩＳＴＡ、ＷＩＮＤＯＷＳ ７、ＷＩＮＤＯＷＳ ＲＴ、およびＷＩＮＤＯＷＳ ８、カリフォルニア州クパチーノ所在のＡｐｐｌｅ，Ｉｎｃ．により製造されたＭＡＣ ＯＳおよびｉＯＳ、無料で利用できるオペレーティングシステムであるＬｉｎｕｘ、例えば、英国ロンドン所在のＣａｎｏｎｉｃａｌ Ｌｔｄ．により配布されたＬｉｎｕｘ Ｍｉｎｔディストリビューション（「ｄｉｓｔｒｏ」）もしくはＵｂｕｎｔｕ、またはＵｎｉｘもしくは他のＵｎｉｘ等由来のオペレーティングシステム、ならびに、カリフォルニア州マウンテンビュー所在のＧｏｏｇｌｅにより設計されたＡｎｄｒｏｉｄが挙げられる。例えばＧｏｏｇｌｅによるＣＨＲＯＭＥ ＯＳを含むいくつかのオペレーティングシステムを、例えば、ＣＨＲＯＭＥＢＯＯＫＳを含むゼロクライアントまたはシンクライアントで使用してもよい。

コンピュータシステム２１００は、任意のワークステーション、電話、デスクトップコンピュータ、ラップトップまたはノート型コンピュータ、ネットブック、タブレット、サーバ、携帯用コンピュータ、携帯電話、スマートフォン、または他の携帯型電気通信デバイス、メディアプレイデバイス、ゲームシステム、モバイルコンピューティングデバイス、または任意の他の種類および／もしくは形態の通信可能なコンピューティングデバイス、電気通信デバイス、またはメディアデバイスであってよい。コンピュータシステム２１００は、本明細書に記載の動作を実行するのに十分なプロセッサ電力およびメモリ容量を有する。いくつかの実施形態では、コンピューティングデバイス２１００は、デバイスに整合する異なるプロセッサ、オペレーティングシステム、および入力デバイスを有することができる。

いくつかの実施形態では、コンピューティングデバイス２１００はゲームシステムである。いくつかの実施形態では、コンピューティングデバイス２１００はデジタルオーディオプレーヤである。いくつかのデジタルオーディオプレーヤは、例えば、デジタルアプリケーション配布プラットフォームからのアプリケーションによって利用可能になるゲームシステムまたは任意の機能を含む他の機能を有することができる。いくつかの実施形態では、コンピューティングデバイス２１００は、備えているファイルフォーマットをサポートする、携帯型メディアプレーヤまたはデジタルオーディオプレーヤである。いくつかの実施形態では、コンピューティングデバイス２１００はタブレットである。他の実施形態において、コンピューティングデバイス２１００は電子書籍リーダである。いくつかの実施形態では、通信デバイス２１０２は、デバイスの組合せ、例えば、デジタルオーディオプレーヤまたは携帯型メディアプレーヤと組み合わせたスマートフォンを含む。例えば、これらの実施形態のうちの１つはスマートフォンである。更に別の実施形態において、通信デバイス２１０２は、ウェブブラウザおよびマイクロフォンおよびスピーカシステム、例えばテレフォニーヘッドセットを備えたラップトップまたはデスクトップコンピュータである。これらの実施形態において、通信デバイス２１０２は、ウェブ対応で、電話を受け、電話をかけることができる。いくつかの実施形態では、ラップトップまたはデスクトップコンピュータは、ビデオチャットおよびビデオ通話を可能にするウェブカメラまたは他のビデオキャプチャデバイスも備える。いくつかの実施形態では、通信デバイス２１０２は、ウェアラブルモバイルコンピューティングデバイスである。

いくつかの実施形態では、一般にネットワーク管理の一部として、ネットワーク２１０４における１つまたは複数のマシン２１０２、２１０６のステータスをモニタする。これらの実施形態のうちの１つにおいて、マシンのステータスは、負荷情報（例えば、マシン上のプロセスの数、ＣＰＵおよびメモリの利用）、ポート情報（例えば、利用可能な通信ポートおよびポートアドレスの数）、またはセッションステータス（例えば、プロセスの持続時間および種類、プロセスがアクティブであるかアイドルであるか）の特定を含むことができる。これらの実施形態のうちの別のものにおいて、この情報を複数の測定基準で特定することができ、複数の測定基準を、負荷分散の決定、ネットワークトラフィック管理、ネットワーク障害回復、および本明細書に記載の本解決策の動作のいずれかの態様に少なくとも部分的に適用することができる。前述した動作環境およびコンポーネントの態様は、本明細書に開示されるシステムおよび方法の文脈において明らかになろう。

モジュールを含む本明細書の記載は、画像セグメンテーションシステムの態様の構造的独立性を強調し、画像セグメンテーションシステムの動作および応答性の１つのグループを示す。類似の全体動作を実行する他のグループは、本出願の範囲内にあると理解される。モジュールは、非一時的コンピュータ可読ストレージ媒体上のハードウェアにおいておよび／またはコンピュータ命令として実施することができ、モジュールは、様々なハードウェアまたはコンピュータベースの構成要素にわたって分散することができる。

例示的で非限定的なモジュール実施要素は、本明細書において決定された任意の値を提供するセンサ、本明細書において決定された値に先行する任意の値を提供するセンサ、通信チップを含むデータリンクおよび／またはネットワークハードウェア、振動結晶、通信リンク、ケーブル、ツイストペア配線、同軸配線、シールド配線、送信機、受信機および／または送受信機、論理回路、ハードワイヤード論理回路、モジュール仕様に従って構成された特に非一時的な状態における再構成可能論理回路、少なくとも電気、油圧もしくは空気圧アクチュエータを含む任意のアクチュエータ、ソレノイド、オペアンプ、アナログ制御要素（ばね、フィルタ、積分器、加算器、除算器、利得要素）および／またはデジタル制御要素を含む。

様々な実施形態の非限定的な例が本明細書に開示される。本明細書に開示される１つの実施形態からの特徴は、当業者が理解するように、本明細書に開示される別の実施形態の特徴と組み合わせることができる。

本明細書において利用されるとき、用語「概ね」、「約」、「実質的に」および類似の用語は、本開示の主題が関連する技術分野の当業者による一般的かつ受け入れられた用法と調和する広い意味を有することを意図したものである。本開示を考察する当業者には、これらの用語が、記載される特定の特徴の説明を可能にすることを意図したものであり、それらの特徴の範囲を、提供された通りの精密な数値範囲に限定することを意図したものではないことが理解されよう。したがって、これらの用語は、記載される主題の非実質的または些細な変更または変形が、本開示の範囲内であるとみなされることを示すものと解釈されるべきである。

本開示のために、用語「結合された」は、２つの部品の互いに対する直接的または間接的な接合を意味する。そのような接合は、静止的性質であってもよいし、または可動的性質であってもよい。そのような接合は、２つの部品または２つの部品および任意の更なる中間部品が互いと単一ボディとして一体に形成されることによって達成されてもよいし、あるいは２つの部品または２つの部品および任意の更なる中間部品が互いに取り付けられることによって達成されてもよい。そのような接合は、永久的な性質であってもよいし、または取り外し可能もしくは解放可能な性質であってもよい。

様々な要素の向きは、他の例示的な実施形態によれば異なる場合もあり、そのようなバリエーションは本開示に包含されることが意図されていることに留意されたい。開示される実施形態の特徴は、他の開示される実施形態に組み込むことができることが認識される。

重要な点として、様々な例示的実施形態に示されている、装置またはその構成要素の構造および配置は、実例的なものにすぎないことに留意されたい。本開示においてはごく少数の実施形態を詳しく説明したが、開示される主題の新規の教示および利点から著しく逸脱することなく多数の変更（例えば、種々の要素のサイズ、寸法、構造、形状、および割合、パラメータの値、取り付け配置、材料の使用、色、向き等のバリエーション）が可能であることが、本開示を検討する当業者には容易に理解されるであろう。例えば、一体形成されるとして示されている要素が複数の部品または要素から構築されてもよく、要素の位置が逆転されるかまたは他の形で変更されてもよく、別個の要素または位置の性質または数が修正または変更されてもよい。任意のプロセスまたは方法ステップの順番または順序は、代替の実施形態に従って変更または並び替えされてもよい。本開示の範囲から逸脱することなく、様々な例示的実施形態の設計、作動条件、および配置に対して、他の代用、変更、交換、および省略を行うことも可能である。

発明の様々な実施形態を本明細書に説明および例示したが、当業者は、本明細書に説明されている機能を行うための、ならびに／または、本明細書に説明されている結果および／もしくは本明細書に説明されている利点のうち１つもしくは複数を得るための、他の様々な機構ならびに／または構造を容易に想像するであろうし、そのようなバリエーションならびに／または修正の各々は、本明細書に説明されている発明の実施形態の範囲内に入るものと考えられる。より一般的には、本明細書に説明されているパラメータ、寸法、材料、および構成は、特に断りのない限り、いずれも例示的なものであると意図されていること、ならびに、実際のパラメータ、寸法、材料、および／または構成は、本発明の教示が用いられる具体的な用途によって異なることが、当業者に容易に理解されるであろう。当業者は、本明細書に説明されている発明の具体的な実施形態に対する多数の均等物を、ルーチンの実験のみを用いて、認識するかまたは確認できるであろう。したがって、上記の実施形態は例としてのみ提示されていること、ならびに、具体的に説明および特許請求されている以外にも、添付の特許請求の範囲およびその均等物の範囲内において発明の実施形態が行われ得ることが、理解されるべきである。本開示の発明の実施形態は、本明細書に説明されている個々の特徴、システム、物品、材料、キット、および／または方法に関する。加えて、そのような特徴、システム、物品、材料、キット、および／または方法のうち２つまたはそれ以上の任意の組合せは、そのような特徴、システム、物品、材料、キット、および／または方法が互いに相反しないのであれば、本開示の発明の範囲内に含まれる。

また、本明細書に説明されている技術は、その少なくとも１つの実施例が提供されている方法として実施されてもよい。方法の一部として行われる行為は、特に断りがない限り、任意の好適なやり方で順序付けされてもよい。したがって、実施形態は、例示と異なる順序で行為が行われるように構築されてもよく、これには、例示的実施形態においては逐次的な行為として示されているものであっても、いくつかの行為を同時に行うことが含まれ得る。

本明細書および特許請求の範囲で使用される不定冠詞「１つの（ａ）」および「１つの（ａｎ）」は、そうでないことが明記されない限り、「少なくとも１つ」を意味すると理解されるべきである。本明細書および特許請求の範囲において用いられるとき、「または」は、上記で定義されているように「および／または」と同じ意味を有すると理解されるべきである。例えば、列挙中の項目を分ける際に、「または」または「および／または」は、包括的、すなわち少なくとも１つを含むが、複数の要素のうちまたは要素の列挙のうち２つ以上も含み、かつ、列挙されていない追加的項目を含んでもよいと解釈されるべきである。そうでないことが明記されている用語、例えば「～のうち１つのみ」または「～のうち厳密に１つ」等のみが、複数の要素または要素の列挙のうち厳密に１つの要素を含むことを意味する。全体として、本明細書において使用される「または」という用語は、「いずれか」、「～のうち１つ」、「～のうち１つのみ」、または「～のうち厳密に１つ」等、排他的な用語が先行している場合にのみ、排他的な代替物（すなわち「一方または他方であるが両方ではない」）を示すものと解釈されるべきである。

本明細書および特許請求の範囲において用いられるとき、１つまたは複数の要素の列挙に関する「少なくとも１つ」という句は、その要素の列挙内の要素のうち任意の１つまたは複数から選択される少なくとも１つの要素を意味するが、要素の列挙内に具体的に列挙されているあらゆる要素のうち少なくとも１つを必ずしも含むわけではなく、かつ、要素の列挙内の要素の任意の組合せを除外するわけではないことが、理解されるべきである。この定義はまた、「少なくとも１つ」の句が指す要素の列挙内に具体的に特定されている要素と関係していてもしていなくても、具体的に特定されているそれら要素と異なる要素が任意で存在し得ることも可能にする。ゆえに、非限定的な例として、「ＡおよびＢのうち少なくとも１つ」（または、同等である「ＡまたはＢのうち少なくとも１つ」、または、同等である「Ａおよび／またはＢのうち少なくとも１つ」）は、１つの実施形態において、Ｂがない（かつ、Ｂ以外の要素を含んでもよい）、２つ以上を含んでもよい少なくとも１つのＡを指すことができ；別の実施形態において、Ａがない（かつ、Ａ以外の要素を含んでもよい）、２つ以上を含んでもよい少なくとも１つのＢを指すことができ；また別の実施形態において、２つ以上を含んでもよい少なくとも１つのＡと、２つ以上を含んでもよい少なくとも１つのＢ（かつ、他の要素を含んでもよい）を指すことができる等である。

Claims (21)

1. 生物医学的画像をセグメンテーションする方法であって、
   １つまたは複数のプロセッサを有するコンピューティングシステムによって、生物医学的画像の少なくとも１つのタイルについて、第１の拡大係数における第１のパッチおよび第２の拡大係数における第２のパッチを識別することと、
   前記コンピューティングシステムによって、トレーニングされたセグメンテーションモデルを前記第１のパッチおよび前記第２のパッチに適用して、セグメンテーションされたタイルを生成することであって、前記トレーニングされたセグメンテーションモデルは複数のネットワークを含み、前記複数のネットワークは、
   前記第１の拡大係数における前記第１のパッチを用いて複数の第１の特徴マップを生成するための第１のネットワーク、および
   前記第２の拡大係数における前記第２のパッチおよび前記第１のネットワークからの前記１つまたは複数の第１の特徴マップを用いて第２の特徴マップを生成するための第２のネットワーク
   を含む、生成することと、
   前記コンピューティングシステムによって、前記生物医学的画像の前記少なくとも１つのタイル内の関心領域を識別する前記セグメンテーションされたタイルを記憶することと、
   を含む、方法。
2. 前記セグメンテーションモデルの前記複数のネットワークは、
   第３の拡大係数における前記少なくとも１つのタイルの第３のパッチを用いて複数の第３の特徴マップを生成することと、
   前記複数の第３の特徴マップを前記第２のネットワークの対応する複数のデコーダに提供して、前記第２の特徴マップを生成することと、
   を行うための第３のネットワークを備える、請求項１に記載の方法。
3. 前記第２のネットワークは、対応する複数の列にわたって配置された複数のデコーダを備え、前記複数のデコーダの各々は、前記第１のネットワークからの前記複数の第１のマップの対応する特徴マップを処理するためのものである、請求項１に記載の方法。
4. 前記第１のネットワークは、対応する複数の列にわたって配置された複数のエンコーダを備え、前記複数のエンコーダの各々は、前記複数の第１のネットワークの対応する特徴マップを前記第２のネットワークにおけるそれぞれのデコーダに提供するためのものである、請求項１に記載の方法。
5. 前記第２のネットワークは、前記第２の特徴マップを生成する際、前記第１のネットワークからの前記複数の第１の特徴マップを対応する複数の中間特徴マップと組み合わせる複数の連結器を備える、請求項１に記載の方法。
6. 前記コンピューティングシステムによって、対応する複数の拡大係数における複数のパッチに適用される前記セグメンテーションモデルを適用することによる複数のセグメンテーションされたタイルを用いて、セグメンテーションされた生物医学的画像を生成することを更に含み、各パッチは、前記生物医学的画像の前記複数のタイルの対応するタイルから識別される、請求項１に記載の方法。
7. 前記コンピューティングシステムによって、病理組織学的画像作成器から導出された前記生物医学的画像を取得することを更に含み、前記生物医学的画像は複数のタイルに分割され、前記複数のタイルの各タイルは、前記生物医学的画像の一部分に対応する、請求項１に記載の方法。
8. 生物医学的画像をセグメンテーションするためのネットワークをトレーニングする方法であって、
   １つまたは複数のプロセッサを有するコンピューティングシステムによって、
   サンプル生物医学的画像からの少なくとも１つのサンプルタイルであって、前記サンプル生物医学的画像は関心領域を有する、サンプルタイル、および
   前記関心領域の少なくとも一部分をラベル付けするアノテーションであって、前記少なくとも１つのサンプルタイル内の前記関心領域の少なくとも一部分を示す、アノテーション
   を含むトレーニングデータセットを識別することと、
   前記コンピューティングシステムによって、前記サンプル生物医学的画像の前記少なくとも１つのサンプルタイルについて、第１の拡大係数における第１のパッチおよび第２の拡大係数における第２のパッチを生成することと、
   前記コンピューティングシステムによって、前記第１のパッチ、前記第２のパッチ、および前記少なくとも１つのサンプルタイルの前記アノテーションを用いてセグメンテーションモデルをトレーニングすることであって、前記セグメンテーションモデルは複数のネットワークを含み、前記複数のネットワークは、
   前記第１の拡大係数における前記第１のパッチを用いて複数の第１の特徴マップを生成するための第１のネットワーク、および
   前記第２の拡大係数における前記第２のパッチおよび前記第１のネットワークからの前記１つまたは複数の第１の特徴マップを用いて第２の特徴マップを生成するための第２のネットワークであって、セグメンテーションされたタイルは、前記アノテーションと比較した前記第２の特徴マップに対応する、第２のネットワーク
   を含む、トレーニングすることと、
   を含む、方法。
9. 前記セグメンテーションモデルをトレーニングすることは、
   前記コンピューティングシステムによって、前記関心領域の前記一部分をラベル付けする前記アノテーションに基づいて、前記セグメンテーションされたタイルと前記サンプルタイルとの間のエラーメトリックを決定することと、
   前記コンピューティングシステムによって、前記エラーメトリックを用いて前記セグメンテーションモデルの前記複数のネットワークにおける少なくとも１つのパラメータを更新することと、
   を更に含む、請求項８に記載の方法。
10. 前記セグメンテーションモデルの前記複数のネットワークは、
    第３の拡大係数における前記少なくとも１つのタイルの第３のパッチを用いて複数の第３の特徴マップを生成することと、
    前記複数の第３の特徴マップを前記第２のネットワークの対応する複数のデコーダに提供して、前記第２の特徴マップを生成することと、
    を行うための第３のネットワークを備える、請求項８に記載の方法。
11. 前記第２のネットワークは、対応する複数の列にわたって配置された複数のデコーダを備え、前記複数のデコーダの各々は、前記第１のネットワークからの前記複数の第１のマップの対応する特徴マップを処理するためのものである、請求項８に記載の方法。
12. 前記第１のネットワークは、対応する複数の列にわたって配置された複数のエンコーダを備え、前記複数のエンコーダの各々は、前記複数の第１のネットワークの対応する特徴マップを前記第２のネットワークにおけるそれぞれのデコーダに提供するためのものである、請求項８に記載の方法。
13. 前記トレーニングデータセットの前記アノテーションは、前記サンプル生物医学的画像内の前記関心領域の全体未満の部分をラベル付けし、前記アノテーションは前記関心領域の前記全体の縁部から分離される、請求項８に記載の方法。
14. 前記コンピューティングシステムによって、対応する複数の拡大係数における複数のパッチに適用される前記セグメンテーションモデルを適用することによる複数のセグメンテーションされたタイルを用いて、セグメンテーションされた生物医学的画像を生成することを更に含み、各パッチは、前記生物医学的画像の前記複数のタイルの対応するタイルから識別される、請求項８に記載の方法。
15. 前記サンプル生物医学的画像は、病理組織学的画像作成器から導出され、前記サンプル生物医学的画像は複数のタイルに分割され、前記複数のタイルの各タイルは、前記サンプル生物医学的画像の一部分に対応する、請求項８に記載の方法。
16. 生物医学的画像をセグメンテーションするためのシステムであって、
    メモリと結合された１つまたは複数のプロセッサを有するコンピューティングシステムを備え、前記コンピューティングシステムは、
    生物医学的画像の少なくとも１つのタイルについて、第１の拡大係数における第１のパッチおよび第２の拡大係数における第２のパッチを識別することと、
    トレーニングされたセグメンテーションモデルを前記第１のパッチおよび前記第２のパッチに適用して、セグメンテーションされたタイルを生成することであって、前記トレーニングされたセグメンテーションモデルは複数のネットワークを含み、前記複数のネットワークは、
    前記第１の拡大係数における前記第１のパッチを用いて複数の第１の特徴マップを生成するための第１のネットワーク、および
    前記第２の拡大係数における前記第２のパッチおよび前記第１のネットワークからの前記１つまたは複数の第１の特徴マップを用いて第２の特徴マップを生成するための第２のネットワーク
    を含む、生成することと、
    前記生物医学的画像の前記少なくとも１つのタイル内の関心領域を識別する前記セグメンテーションされたタイルを記憶することと、
    を行うように構成される、システム。
17. 前記セグメンテーションモデルの前記複数のネットワークは、
    第３の拡大係数における前記少なくとも１つのタイルの第３のパッチを用いて複数の第３の特徴マップを生成することと、
    前記複数の第３の特徴マップを前記第２のネットワークの対応する複数のデコーダに提供して、前記第２の特徴マップを生成することと、
    を行うための第３のネットワークを備える、請求項１６に記載のシステム。
18. 前記第２のネットワークは、対応する複数の列にわたって配置された複数のデコーダを備え、前記複数のデコーダの各々は、前記第１のネットワークからの前記複数の第１のマップの対応する特徴マップを処理するためのものである、請求項１６に記載のシステム。
19. 前記第１のネットワークは、対応する複数の列にわたって配置された複数のエンコーダを備え、前記複数のエンコーダの各々は、前記複数の第１のネットワークの対応する特徴マップを前記第２のネットワークにおけるそれぞれのデコーダに提供するためのものである、請求項１６に記載のシステム。
20. 前記コンピューティングシステムは、対応する複数の拡大係数における複数のパッチに適用される前記セグメンテーションモデルを適用することによる複数のセグメンテーションされたタイルを用いて、セグメンテーションされた生物医学的画像を生成するように更に構成され、各パッチは、前記サンプル生物医学的画像の前記複数のタイルの対応するタイルから識別される、請求項１６に記載のシステム。
21. 前記コンピューティングシステムは、病理組織学的画像作成器から導出された前記生物医学的画像を取得するように更に構成され、前記生物医学的画像は複数のタイルに分割され、前記複数のタイルの各タイルは、前記生物医学的画像の一部分に対応する、請求項１６に記載のシステム。

Images