JP2021535484A - 自動的な腫瘍検出及び分類のためのシステム - Google Patents

Abstract

本開示の特定の態様は、組織スライドにおける腫瘍領域を自動的に検出及び分類するための技法を提供する。当該方法は、概して、組織スライドデータベースからデジタル化組織スライドを取得することと、組織分類モジュールからの出力に基づいて、デジタル化組織スライドにおいて示された組織の種類を判定することとを含む。当該方法は、組織の種類についての腫瘍分類モデルからの出力に基づいて、デジタル化組織スライドの注目領域（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ：ＲＯＩ）を判定することと、デジタル化組織スライドのＲＯＩ及びＲＯＩの推定直径を示す分類済スライドを生成することをさらに含む。当該方法は、分類済スライド、及び病理医が分類済スライドに関連する入力をインプットすることを可能にするユーザインタフェース（ＵＩ）要素を、画像表示ユニットに表示することをさらに含む。【選択図】図３

Description

［０００１］本開示の態様は、機械学習に関し、具体的には、機械学習パターン認識を使用した画像の分類に関する。

［０００２］現在、潜在的な癌組織を含む特定のスライドを診断するプロセスは、診断を行う病理医にとって時間がかかり、労力を要する。現在のプロセスでは、病理医は、多くの組織スライドの画像を手動で分析しなければならない。各々のスライドは、通常、複数の倍率及びズームレベルにわたって走査される。その結果、所与の組織が腫瘍を含んでいるか否かを判定するためには、１つの組織を表すスライドにかなりの時間を要することがある。さらに、病理医が腫瘍を検出した場合、腫瘍を分析するためにさらに時間が必要である。通常、病理医は、単一の腫瘍の特定及び分析に合計で少なくとも２時間半かかる。そして、病理医は自分の診断に納得しないことが多く、スライドを第２の病理医に送ることがある。これにより、分析を完了するために必要な時間が少なくとも倍になる。

［０００３］場合によって、資格のある病理医が相対的に不足する中で分析を必要とする組織が多いということは、病理医の時間が貴重であることを意味する。このような場合、分析が始まる前に病理医にスライドを渡すだけで数日かかることがある。組織スライドの分析を早めるために、機械学習による分析を実施してもよい。しかしながら、既存の機械学習システムは、組織スライドに示された腫瘍を効果的に特定及び分類することができない。さらに、既存のシステムは、病理医の診断を助けるために、組織スライドに適切に注釈を付けたり、マーキングしたりすることができない。その結果、既存の機械学習システムは、病理医の時間を効果的に節約できないか、又はほとんど節約できない。したがって、既存のシステムの問題を回避する、自動的な検出及び分類のための方法及びシステムが必要とされている。

［０００４］特定の実施形態は、組織スライドにおける腫瘍領域を自動的に検出及び分類するための方法を提供する。当該方法は、概して、組織スライドデータベースからデジタル化組織スライドを取得することと、組織分類モジュールからの出力に基づいて、デジタル化組織スライドにおいて示された組織の種類を判定することとを含む。当該方法は、組織の種類についての腫瘍分類モデルからの出力に基づいて、デジタル化組織スライドの注目領域（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ：ＲＯＩ）を判定することであって、ＲＯＩが、腫瘍分類モデルによって腫瘍であると判定されたデジタル化組織スライドの部分に対応する、デジタル化組織スライドのＲＯＩを判定することと、デジタル化組織スライドのＲＯＩ及びＲＯＩの推定直径を示す分類済スライドを生成することをさらに含む。当該方法は、分類済スライド、及び病理医が分類済スライドに関連する入力をインプットすることを可能にするユーザインタフェース（ＵＩ）要素を、画像表示ユニットに表示することをさらに含む。

［０００５］特定の実施形態は、腫瘍分類モジュールによって組織スライドにおける腫瘍領域を自動的に検出及び分類するための方法を提供する。当該方法は、概して、病理医支援システムからデジタル化組織スライドを受け取ることと、デジタル化組織スライドにおける注目領域（ＲＯＩ）を示すバイナリマスクを生成することをさらに含む。当該方法は、ＲＯＩと一致するように適合された楕円に基づいてＲＯＩの直径を判定することと、ＲＯＩの直径に基づいて、ＲＯＩを腫瘍分類に仕分けることをさらに含み、腫瘍分類は、その腫瘍分類における腫瘍の段階を示す。当該方法は、ＲＯＩに基づいて、分類済スライドを生成することであって、分類済スライドは、各ＲＯＩを、各ＲＯＩに関連する腫瘍分類に基づいて色分けされているように示す、分類済スライドを生成することと、分類済スライドを病理医支援システムに送信することをさらに含む。

［０００６］下記の記載及び関連する図面は、１つ又は複数の実施形態の特定の例示的な特徴を詳細に提示する。

［０００７］添付図面は、１つ又は複数の実施形態の特定の態様を示し、したがって、本開示の範囲を限定すると見なすべきではない。

腫瘍の自動的な検出及び分類のための例示的な演算環境を示す。 分類済スライドを提示するための例示的なユーザインタフェースを示す。 組織スライドにおける腫瘍領域を自動的に検出及び分類するための例示的な方法のフロー図である。 腫瘍分類モジュールによって腫瘍領域を検出及び分類するための例示的な方法のフロー図である。 腫瘍の自動的な検出及び分類のための例示的な演算装置のブロック図である。

［００１３］理解を容易にするために、可能であれば、図面に共通の同一の要素を示すために、同一の参照番号が使用されている。さらなる記述がなくとも、ある実施形態の要素及び特徴を他の実施形態に有益に組み込んでもよいと想定される。

［００１４］図１は、腫瘍の自動的な検出及び分類のための例示的な演算環境１００を示す。図示されているように、演算環境１００は、病理医支援システム１１０、スライド源１３０、及び出力表示デバイス１４０を含む。ここでは別個のエンティティとして示されているが、他の実施例では、病理医支援システム１１０、スライド源１３０、及び出力表示デバイス１４０の機能は、単一の演算デバイス又は分散型演算システムによって実行され得る。他の実施形態では、病理医支援システム１１０、スライド源１３０、及び出力表示デバイス１４０は、ネットワーク（例えば、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、又はインターネット）を介して接続され得る。

［００１５］病理医支援システム１１０は、少なくともプロセッサ及びメモリを備える演算装置であり、プロセッサによって、メモリ内に常駐するソフトウェアを実行することができる。病理医支援システム１１０は、組織分類モジュール１２０、腫瘍分類モジュール１２２、分類済スライド１２４、及び病理医入力１２６を含む。組織分類モジュール１２０は、パターン認識を利用する機械学習モデルを含むソフトウェアオブジェクトであり、デジタルスライドに示される組織の種類を特定するために使用することができる。デジタルスライドは、スライド源１３０から取得される。スライド源１３０は、病理医支援システム１１０が利用可能な様々なデジタルスライドの収集及び保存機器である。スライド源１３０は、顕微鏡１３２及びスライドデータベース１３４を含む。顕微鏡１３２は、様々な解像度及びズームレベルで組織スライドのデジタル画像を生成することが可能な電子顕微鏡であり、これは診断プロセスにとって有益であり得る。顕微鏡１３２は、任意の適切な電子顕微鏡（例えば、光学顕微鏡、蛍光顕微鏡、電子顕微鏡、又はプローブ顕微鏡）であってもよく、様々なスペクトルイメージング技法（例えば、マルチスペクトルイメージング又はハイパースペクトルイメージング）を利用し得る。顕微鏡１３２によって生成されたデジタル画像は、スライドデータベース１３４内に記憶される。スライドデータベース１３４は、固有ＩＤ（例えば、特定の組織）に基づいたスライドによって編成された複数のデジタルスライド画像を含むストレージデータベースである。スライドデータベース１３４からは、すべてのサイズ、解像度、及びズームレベルの、所与の組織からのすべての組織スライドにアクセスすることが可能である。

［００１６］組織分類モジュール１２０は、人体組織のラベル付けされた画像を使用してトレーニングされた組織分類モデルを含む。他の実施例では、組織分類モジュール１２０は、動物組織などの他の種類の組織を分類するために使用され得る。このような実施例では、組織分類モジュール１２０は、動物組織のラベル付けされた画像を使用してトレーニングされ得る。組織分類モデルの目的は、スライドに示される任意の特定の腫瘍領域を特定するのではなく、スライドに示される組織の種類を特定することである。一旦組織分類モデルが所与のスライドに示された組織の種類を特定すると、組織分類モジュール１２０は、その種類の組織のための腫瘍分類モデルが存在することを確認し、所与のスライドを腫瘍分類モジュール１２２に送る。

［００１７］腫瘍分類モジュール１２２は、特定の種類の組織内の腫瘍を検出及び分類するために使用され得る複数の機械学習分類モデルを含むソフトウェアオブジェクトである。腫瘍について多くの異なる種類の組織を分析することができ、この分析は、組織の種類ごとに異なり得る。例えば、胸部組織の分析は膵臓組織の分析とは異なることがあり、同様のことが他にもある。その結果、腫瘍に関して分析された組織の各種類について異なる腫瘍分類モデルが使用され得る。この実施例では、腫瘍分類モジュール１２２は、組織分類モジュール１２０によって特定された組織の種類について少なくとも腫瘍分類モデルを含む。

［００１８］腫瘍分類モジュール１２２の各腫瘍分類モデルは、組織内の腫瘍に対応するデジタルスライド画像の領域を特定可能な機械学習モデルである。例えば、腫瘍分類モデルは、畳み込みニューラルネットワーク（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ：ＣＮＮ）モデルであってもよい。ＣＮＮモデルは、人間の脳のニューロンをモデル化した機械学習アルゴリズムを使用してトレーニングされる。

［００１９］ＣＮＮモデルのような機械学習モデルをトレーニングするために、トレーニングデータが機械学習モデルに供給されて出力が生成される。機械学習モデルは、典型的には、機械学習モデルがどのようにデータを処理するかに影響を及ぼす初期化パラメータのセットを有する。トレーニングデータは、典型的には、グランドトルース（ｇｒｏｕｎｄ ｔｒｕｔｈ：正解）（例えば、既知の値）分類を有する。出力は、通常、このグランドトルースに対して相対的に評価される。この評価の結果を使用して、機械学習モデルのパラメータを調整又は更新することができ、その結果、その後の実行時に機械学習モデルはより正確な出力を生成する。機械学習モデルは、一旦十分にトレーニングされると、機械学習モデルのトレーニングに使用されたデータと同じ形式で入力を受け入れ、その入力に基づいて出力を生成する。視覚画像に対して分類を実行するために使用されるＣＮＮモデルは、ラベル付けされた画像からなるトレーニングデータを使用してトレーニングされる。本実施例では、トレーニングデータは、有資格の病理医によって以前に診断されたデジタル画像スライドであり得る。

［００２０］腫瘍分類モジュール１２２は、スライドを分析して、スライドに示された任意の潜在的な腫瘍領域を検出する。潜在的な腫瘍領域は、注目領域（ＲＯＩ）と呼ばれる。概して、腫瘍分類モジュール１２２による腫瘍分類のプロセスは、組織分類モジュール１２０によって特定された組織の種類のための腫瘍分類モデルを使用して、ＲＯＩを特定するためのバイナリマスクを作成するところから始まる。バイナリマスクは、スライドに示される癌細胞の連続領域のみへと画像をフィルタリングする。これらの連続領域は、ＲＯＩに対応する。一旦この情報を受信すると、腫瘍分類モジュール１２２は、次いで、各ＲＯＩのサイズを決定する。次いで、腫瘍分類モジュール１２２は、サイズに基づいて、ＲＯＩを腫瘍段階に対応する様々な腫瘍クラスへと分類する。次いで、腫瘍分類モジュール１２２は、関連付けられた腫瘍段階に基づいて、ＲＯＩを色分けする。腫瘍分類モジュール１２２によるこれらのプロセスの結果として、分類済スライド１２４が生じる。分類済スライド１２４は、色分けされたＲＯＩを示すために分析されたスライドの改変版である。

［００２１］分類済スライド１２４が生成されると、病理医支援システム１１０は、出力表示デバイス１４０を通して分類済スライド１２４を表示する。出力表示デバイス１４０は、出力表示デバイス１４０のユーザに画面又は他の情報を提示するために使用され得る、少なくともディスプレイを含むデバイスである。出力表示デバイス１４０は、病理医支援システム１１０とは別個の演算デバイスであってもよく、又は、病理医支援システム１１０の出力デバイスとして作動するスクリーン、モニタ、又はディスプレイであってもよい。

［００２２］一旦表示されると、病理医は、腫瘍分類モジュール１２２によって行われた特定及び分類が正しいかを判断することができる。正しい場合、病理医支援システム１１０は、分類済スライド１２４を格納する。分類済スライド１２４が正しくないと病理医が判断した場合、出力表示デバイス１４０を介して病理医に提供されるユーザインタフェース（ＵＩ）要素により、病理医が、分類済スライド１２４に示されるＲＯＩの検出、サイズ決定、又はステージ分類に対して修正値及び補正値を入力することが可能になる。このような場合、病理医支援システム１１０は、この修正値及び修正値を使用して、ＲＯＩの特定に使用される腫瘍分類モデルを更新し、その腫瘍分類モデルからの後続の出力を改善する。

［００２３］図２は、分類済スライド２１０を提示するための例示的なユーザインタフェース２００を示す。分類済スライド２１０は、０００１から０００３とマーキングされた３つのＲＯＩを示す。これらの数値は、ボックス２２０で各ＲＯＩについて示された腫瘍ＩＤに対応する。ボックス２３０は、各ＲＯＩに対して決定された段階に対応する、各ＲＯＩの種類又は腫瘍クラスを示す。

［００２４］ＲＯＩのステージ分類は、典型的には、ＲＯＩのサイズに基づく。この実施例では、各ＲＯＩのサイズは、ＲＯＩの直径によって決定される。本実施例では、直径は、互いから最も離れたＲＯＩの２つの点の間の距離として測定される。例えば、腫瘍分類モデルは、ＲＯＩ上に楕円を置き、その楕円が、ＲＯＩ全体を依然として覆いながらも可能な限り最小の状態になるまで置く場合がある。次いで、楕円の長軸がＲＯＩの直径として使用され得る。分類済スライド２１０のＲＯＩの直径は、ボックス２４０に示されている。

［００２５］概して、ユーザインタフェース２００は、病理医支援システムを使用して病理医に分類済スライド２１０を示す実施例である。幾つかの実施形態では、ユーザインタフェース２００は、病理医が、分類済スライド２１０に対して補正を行うことを可能にする追加のＵＩ要素を提供し得る。例えば、病理医は、分類済スライド２１０がＲＯＩを不適切にサイズ決定したと考えた場合、ＲＯＩの周りの線を再び描画することができる。病理医は、ＲＯＩが完全に不正確であることを示すこともできるし、又はＲＯＩを示すべきであるが示されていない、分類済スライド２１０の領域の周囲に線を描くこともできる。使用される出力デバイスに応じて、病理医は、様々な入力装置を使用して、分類済スライド２１０に修正又は補正を行ってもよい。例えば、タッチスクリーン対応デバイス（例えば、スマートフォン又はタブレット）は、接触感知制御を可能にできるが、マウス及びキーボードを備えたデバイスは、代わりに、入力のためにマウス及びキーボード制御を設け得る。

［００２６］図３は、組織スライドにおける腫瘍領域を自動的に検出及び分類するための例示的な方法３００のフロー図である。方法３００は、図１の病理医支援システム１１０などの病理医支援システムによって実行され得る。方法３００は、３１０で開始する。３１０では、病理医支援システムが、組織スライドデータベースからデジタル化組織スライドを取得する。上述のように、デジタル化組織スライドは、データベースに格納され得、多くの異なるスライドが、異なるサイズ及びズームレベルで、単一の組織サンプルに対して作製され得る。組織の正確な診断を行うためには、組織サンプルに対するすべてのこのようなスライドを分析することが必要とされる場合があるので、方法３００には単一のデジタル化組織スライドの分析が記載されているが、完全な診断を完了するためには、方法３００を複数回実行することができる。一旦スライドを受け取ると、病理医支援システムは、組織分類モジュールへの入力としてデジタル化組織スライドを提供する。

［００２７］３２０では、病理医支援システムは、組織分類モジュールからの出力に基づいて、デジタル化組織スライドに示された組織の種類を判定する。組織分類モジュールは、組織分類モデルを含む。このモデルは、本実施例では、人体構造を特定するために使用されており、したがって、人体構造のラベル付けされた画像でトレーニングされる。方法３００の幾つかの実施形態では、組織分類モジュールは、パターン認識を使用して、デジタル化組織スライドに関連付けられた人体構造の一部を判定する。他の実施例では、組織分類モジュールは、代わりに、動物の構造を特定するために使用され得る。組織分類モデルは、デジタル化組織スライドに示された組織の種類を特定することができる。次いで、組織分類モジュールは、病理医支援システムが特定された組織の種類についての腫瘍分類を含むかを検証することができる。もし含む場合、組織分類モジュールは、デジタル化組織スライドを、デジタル化組織スライドに示された組織の種類の標識と共に腫瘍分類モジュールに送る。

［００２８］３３０では、病理医支援システムは、組織の種類についての腫瘍分類モデルからの出力に基づいて、デジタル化組織スライドのＲＯＩを判定する。方法３００の幾つかの実施形態では、腫瘍分類モデルは、畳み込みニューラルネットワークである。ＲＯＩは、腫瘍分類モデルによって腫瘍であると判定されたデジタル化組織スライドの部分に対応する。腫瘍分類モデルは、バイナリマスクを使用して、デジタル化組織スライド内のＲＯＩを特定する。バイナリマスクは、デジタル化組織スライド内の癌細胞のみを表示するように構成されている。癌細胞のみが表示されると、腫瘍分類モジュールは、癌細胞のみの表示に対して様々な操作を実行し、ＲＯＩにおいて示された腫瘍のサイズ及び段階を推定することができる。概して、ＲＯＩは、腫瘍分類モデルにより腫瘍性とみなされた領域に対応するが、ＲＯＩが腫瘍を示すか否かを確認するには、資格を有する病理医によるさらなる診断が有益であり得る。

［００２９］３４０では、病理医支援システムは、デジタル化組織スライドのＲＯＩ及びＲＯＩの推定された直径を示す分類済スライドを生成する。上述のように、腫瘍分類モジュールは、ＲＯＩのサイズ（直径）を推定するために様々な操作を実行することができる。この情報を病理医支援システムによって使用して、分類済スライドを生成することができる。この分類済スライドは、その内のＲＯＩをハイライトし、ＲＯＩの推定サイズを表示する。図２の分類済スライド２１０は、このような分類済スライドの例である。

［００３０］３５０では、病理医支援システムは、分類済スライド、及び病理医が分類済スライドに関連する入力をインプットすることを可能にするユーザインタフェース（ＵＩ）要素を、画像表示ユニットに表示する。概して、病理医は、デジタル化組織スライドに示された組織の診断の実行を補助するように表示された情報を使用することができる。図２のユーザインタフェース２００は、このような表示の一例である。方法３００の幾つかの実施形態では、ＵＩ要素は、病理医が、ＲＯＩの線を再び描画することや、又はＲＯＩを完全に非腫瘍性として示すことなどによって、ＲＯＩを再定義したり、又はＲＯＩの分類を変更したりすることを可能にする。

［００３１］３６０では、病理医支援システムは、任意選択的に、病理医から、分類済スライドに関連する入力を受け取る。方法３００の幾つかの実施形態では、分類済スライドに関連付けられた入力は、上述のように分類済スライドに対する修正である。しかしながら、方法３００の他の実施形態では、分類済スライドに関連する入力は、腫瘍分類モデルによって判定されるＲＯＩの確認である。

［００３２］３７０では、病理医支援システムは、任意選択的に、病理医から受け取った入力に基づいて分類済スライドを更新する。分類済スライドに関連する入力が、分類済スライドに対する修正である場合、この分類済スライドに対する修正は、腫瘍分類モデルを更新するために用いられ得る。概して、腫瘍分類モデルを更新することには、機械学習のパラメータを変更して、機械学習モデルのデータ処理動作を変更することが関わり得る。さらに、腫瘍分類モデルを更新することには、トレーニングデータに含まれる分類済スライドに対する修正を用いて、腫瘍分類モデルを再トレーニングすることが関わり得る。

［００３３］分類済スライドに関連する入力が、分類済スライドに対する修正である場合、方法３００は、分類済スライドに対して修正を適用し、分類済スライドを分類済スライドストレージ内に保存することをさらに含み得る。分類済スライドをこのように保存することにより、後になって、ＲＯＩの特定に使用された腫瘍分類モデルの再トレーニング又は補正に使用することができる。

［００３４］図４は、腫瘍分類モデルによって腫瘍領域を検出及び分類するための例示的な方法４００のフロー図である。方法４００は、図１の腫瘍分類モジュール１２２などの腫瘍分類モジュールによって実行され得る。方法４００は、４１０で開始する。４１０では、腫瘍分類モジュールは、病理医支援システムからデジタル化組織スライドを受け取る。デジタル化組織スライドは、デジタル化組織スライドデータベースから取得できる可能性がある。デジタル化組織スライドは、以前に組織分類モデルによって分析された可能性があり、したがって、デジタル化組織スライドに示される組織の標識を含み得る。方法４００の幾つかの実施形態は、病理医支援システムから、デジタル化組織スライドを着色するために使用されるバイオマーカーの標識を受け取ることと、使用されるバイオマーカーに基づいて、デジタル化組織スライドを分析するための腫瘍分類モデルを選択することとをさらに含む。概して、バイオマーカーは、分析のために組織スライドの調製に使用される薬剤である。示された組織サンプルの種々の特徴の分析を可能にするために、種々の薬剤が使用され得る。腫瘍分類モジュールは、特定されたバイオマーカーを使用して、組織の種類及び使用されるバイオマーカーの両方についての腫瘍分類モデルを選択し得る。

［００３５］４２０では、腫瘍分類モジュールは、バイナリマスクを生成する。バイナリマスクは、デジタル化組織スライドにおけるＲＯＩを示す。概して、バイナリマスクは、特定の視覚画像を分離するために、コンピュータ化されたグラフィックスにおいて使用され得る。この場合、腫瘍分類モデルからの出力に基づいて、腫瘍分類モジュールは、バイナリマスクを作成する。このバイナリマスクは、非腫瘍細胞をフィルタリングすることにより、デジタル化組織スライドに示された腫瘍細胞を分離する。結果的に、連続した腫瘍細胞の領域のみ（すなち、ＲＯＩ）を含む画像が得られる。

［００３６］４３０では、腫瘍分類モジュールは、ＲＯＩと一致するように適合された楕円に基づいてＲＯＩの直径を判定する。腫瘍の段階は、腫瘍のサイズ（この場合は直径）を用いて確定される。本実施例では、腫瘍分類モジュールは、ＲＯＩに楕円を当てはめて直径を推定することができる。概して、腫瘍分類モジュールは、楕円を生成し、ＲＯＩに適合するように楕円をサイズ変更、回転、再調整、又はさもなければ変換し得る。楕円は、長軸と短軸の２つの軸を有する。楕円がＲＯＩを完全に覆った時点で、腫瘍分類モジュールは、楕円の長軸を決定して、その長軸の長さをＲＯＩ直径の推定値として使用する。

［００３７］４４０では、腫瘍分類モジュールは、ＲＯＩの直径に基づいて、ＲＯＩを腫瘍分類に仕分ける。この腫瘍分類は、腫瘍分類における腫瘍の段階を示す。上述のように、腫瘍のサイズを用いて、腫瘍の段階を決定することができる。４３０で決定された推定直径を使用して、腫瘍分類モジュールは、腫瘍の段階をさらに推定し、それにより、ＲＯＩを、その段階に対応する腫瘍分類に仕分けることができる。方法４００の幾つかの実施形態は、サイズに基づいてＲＯＩをセグメント化することをさらに含む。

［００３８］４５０では、腫瘍分類モジュールは、ＲＯＩに基づいて、分類済スライドを生成する。分類済スライドは、ＲＯＩに関連付けられた腫瘍分類に基づいて、ＲＯＩを色分けされているように示す。例えば、第１の段階の腫瘍であると判定されたＲＯＩは、赤色であってもよく、第２の段階の腫瘍であると判定されたＲＯＩは黄色であってもよく、他の段階のＲＯＩも同様のことが適用される。ＲＯＩの色分けは、ＲＯＩ間の特定をより容易にすることにより、病理医による分類済スライドの使用を支援し得る。方法４００の幾つかの実施形態では、分類済スライドは、各ＲＯＩを、分類済スライド上のオーバーレイ（重ね合わせ）として示す。分類済スライドを生成するために、腫瘍分類モジュールは、上述の連続的な腫瘍細胞の領域のみを含む画像を元のデジタルスライド画像と組み合わせ得る。腫瘍細胞のみの画像を特定の色で強調することにより、色分け効果を達成することができる。さらに、腫瘍細胞のみの画像の色合いを付けることによって、オーバーレイ効果を達成することができる。

［００３９］４６０では、腫瘍分類モジュールは、分類済スライドを病理医支援システムに送信する。送信された後、病理医支援システムは、デジタル化組織スライドの診断を支援するために、分類済スライドを病理医に提供し得る。方法４００の幾つかの実施形態は、病理医支援システムから、病理医によって行われた分類済スライドに対する修正を受け取ることと、分類済スライドに対する補正に基づいて腫瘍分類モデルを更新することとをさらに含む。

［００４０］図５は、腫瘍の自動的な検出及び分類に使用される例示的な演算デバイス５００のブロック図である。図示されるように、演算デバイス５００には、中央処理装置（ＣＰＵ）５０２、演算デバイス５００への様々な入力／出力（Ｉ／Ｏ）デバイス５１４（例えば、キーボード、ディスプレイ、マウスデバイス、ペン入力）の接続を可能にし得る１つ又は複数のＩ／Ｏデバイスインターフェース５０４、ネットワークインターフェース５０６、メモリ５０８、ストレージ５１０、及び相互接続子５１２を含まれるが、これらに限定されない。

［００４１］ＣＰＵ５０２は、メモリ５０８内に記憶されたプログラミング命令を検索して実行し得る。同様に、ＣＰＵ５０２は、メモリ５０８内に存在するアプリケーションデータを検索し、記憶することができる。相互接続子５１２は、ＣＰＵ５０２、Ｉ／Ｏデバイスインターフェース５０４、ネットワークインターフェース５０６、メモリ５０８、及びストレージ５１０の間で、プログラミング命令及びアプリケーションデータを送信する。単一のＣＰＵ、複数のＣＰＵ、複数の処理コアを有する単一のＣＰＵなどを代表するようにＣＰＵ５０２が含まれる。Ｉ／Ｏデバイスインターフェース５０４は、演算デバイス５００に組み込まれた又は接続された１つ又は複数の入力デバイス（例えば、キーボード、マウス、タッチスクリーン等）からデータを取り込むためのインターフェースを提供し得る。このようなＩ／Ｏデバイスのうちの１つは、図１の出力表示デバイス１４０であり得る。メモリ５０８は、例えば、ランダムアクセスメモリ（ＲＡＭ）を表し得るが、ストレージ５１０は、例えば、ソリッドステートドライブであってもよい。ストレージ５１０は、単一ユニットとして示されているが、固定型ストレージデバイス及び／又はリムーバブルストレージデバイス（例えば、固定ドライブ、リムーバブルメモリカード、ネットワーク接続ストレージ（ＮＡＳ）、又はクラウドベースストレージ）の組み合わせであってもよい。

［００４２］図示のように、メモリ５０８は、組織分類モジュール５２２、腫瘍分類モジュール５２４、及び病理医入力５２６を含む。組織分類モジュール５２２及び腫瘍分類モジュール５２４は、ストレージ５１０内に記憶された命令に基づいて実行されるソフトウェアオブジェクトである。このような命令は、ＣＰＵ５０２によって実行することができる。病理医入力５２６は、メモリ５０８内に一時的に存在するデータである。

［００４３］図示のように、ストレージ５１０は、スライドデータベース５３２、トレーニングデータ５３４、及び分類済スライド５３６を含む。スライドデータベース５３２、トレーニングデータ５３４、及び分類済スライド５３６は、デジタル化組織スライドにおける腫瘍を自動的に検出及び分類する方法を実行するために、メモリ５０８から実行されるソフトウェアによって使用され得る。具体的には、組織分類モジュール５２２は、スライドデータベース５３２から取得した組織スライドを使用して、スライド中の組織の種類を特定し得る。組織の種類に基づいて、腫瘍分類モジュール５２４は、分類済スライド５３６を生成し得る。分類済スライド５３６は、Ｉ／Ｏデバイスインターフェース５０４及びＩ／Ｏデバイス５１４を介して病理医ユーザに示され、その返しとして病理医入力５２６が受信され得る。次いで、病理医入力５２６を使用して、腫瘍分類モジュール５２４を更新することができる。トレーニングデータ５３４は、組織分類モジュール５２２及び腫瘍分類モジュール５２４の機械学習モデルをトレーニングするためにそれ以前に使用されている可能性がある。

［００４４］上述の記載は、当業者が本明細書に記載された様々な実施形態を実施することを可能にするために提供される。本明細書に記載された実施例は、特許請求の範囲に提示される範囲、適用性、又は実施形態を限定するものではない。これらの実施形態に対する様々な修正は、当業者には容易に明らかであり、本明細書で定義される一般的な原理は、他の実施形態に適用されてもよい。例えば、開示の範囲から逸脱することなく、記載された要素の機能及び配置に変更を加えることができる。様々な実施例は、必要に応じて、様々な手順又は構成要素を省略、置換、又は追加してもよい。例えば、記載された方法は、記載とは異なる順序で実行されてもよく、様々なステップが、追加、省略、又は組み合わせされてもよい。さらに、幾つかの実施例に関連して説明された特徴は、幾つかの他の実施例において組み合わせてもよい。例えば、本明細書で提示された任意の数の態様を用いて、装置を実装してもよく、又は方法を実施してもよい。さらに、本開示の範囲は、本明細書に記載された本開示の様々な態様に加えて、又はそれ以外の、他の構造、機能、又は構造及び機能を使用して実施されるこのような装置又は方法を含むことが意図される。本明細書に開示される開示内容の任意の態様は、請求項の１つ又は複数の要素によって具現化できることを理解されたい。

［００４５］本明細書で使用される「判定／決定すること（ｄｅｔｅｒｍｉｎｉｎｇ）」という表現は、多種多様な動作を含む。例えば、「判定／決定すること」とは、計算すること、演算すること、処理すること、導き出すこと、調査すること、ルックアップすること（例えば、テーブル、データベース、又は別のデータ構造をルックアップすること）、確認すること等を含み得る。さらに、「判定／決定すること」は、受信すること（例えば、情報を受信すること）、アクセスすること（例えば、メモリ内のデータにアクセスすること）等を含み得る。さらに、「判定／決定すること」は、解決すること、選択すること、選ぶこと、確立すること等を含み得る。

［００４６］本明細書で開示される方法は、方法を達成するための１つ又は複数のステップ又は動作を含む。方法の諸ステップ及び／又は諸動作は、特許請求の範囲から逸脱しない限り、交換されてもよい。言い換えれば、ステップ又は動作の特定の順序が特定されない限り、特許請求の範囲から逸脱せずに特定のステップ及び／又は動作の順序及び／又は使用を修正してもよい。さらに、上述の方法の様々な工程は、対応する機能を実行可能な任意の適切な手段によって実行され得る。この手段には、回路、特定用途向け集積回路（ＡＳＩＣ）、又はプロセッサを含むがこれらに限定されない、様々なハードウェア及び／又はソフトウェアコンポーネント及び／又はモジュールが含まれ得る。概して、図に工程が示されている場合、これらの工程は、類似の番号が付いた対応するミーンズ・プラス・ファンクションの構成要素を有することがある。

［００４７］本開示に関連して説明された様々な例示的な論理ブロック、モジュール、及び回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）若しくは他のプログラマブル論理デバイス（ＰＬＤ）、ディスクリートゲート若しくはトランジスタロジック、ディスクリートハードウェアコンポーネント、又は本明細書で説明された機能を実行するように設計されたこれらの任意の組合せを用いて実施又は実行され得る。汎用プロセッサは、マイクロプロセッサであってもよいが、代替的には、プロセッサは、任意の市販のプロセッサ、コントローラ、マイクロコントローラ、又は状態機械であってもよい。プロセッサは、コンピュータグラフィック及び画像処理に典型的に使用されるユニットのようなグラフィック処理ユニット（ＧＰＵ）であってもよい。さらに、プロセッサは、演算デバイスの組み合せ（例えば、ＤＳＰとマイクロプロセッサの組み合せ、複数のマイクロプロセッサ、ＤＳＰコアと接続された１つ又は複数のマイクロプロセッサ、又は任意の他のこのような構成）として実装されてよい。

［００４８］バスアーキテクチャを用いて、処理システムを実装することができる。バスは、処理システムの特定の用途及び全体的な設計上の制約に応じて、任意の数の相互接続バス及びブリッジを含み得る。バスは、とりわけ、プロセッサ、機械可読媒体、及び入力／出力デバイスを含む様々な回路を共に連携させることができる。ユーザインタフェース（例えば、キーパッド、ディスプレイ、マウス、ジョイスティック等）もバスに接続され得る。さらに、バスは、様々な他の回路（例えば、タイミングソース、周辺装置、電圧レギュレータ、電力管理回路、及び当技術分野で周知の他の回路素子）を連携させることができる。したがって、これ以上は説明しない。プロセッサは、１つ又は複数の汎用プロセッサ及び／又は特定用途向けプロセッサで実装され得る。実施例には、マイクロプロセッサ、マイクロコントローラ、ＤＳＰプロセッサ、及びソフトウェアを実行可能な他の回路が含まれる。当業者であれば、特定のアプリケーション及びシステム全体に課される全体的な設計上の制約に応じて、処理システムについて記載された機能をどのように最良に実施するかを認識するであろう。

［００４９］ソフトウェアで実施される場合、機能は、コンピュータ可読媒体上の１つ又は複数の命令又はコードとして記憶又は送信され得る。ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、又はその他の名称で呼ばれるかどうかに関わらず、命令、データ、又はこれらの任意の組合せを意味するように広く解釈されるべきである。コンピュータ可読媒体は、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体のような、コンピュータ記憶媒体及び通信媒体の両方を含む。プロセッサは、コンピュータ可読記憶媒体上に記憶されたソフトウェアモジュールの実行を含む、バス及び汎用処理の管理に責任を負い得る。コンピュータ可読記憶媒体は、プロセッサが記憶媒体から情報を読み取り、記憶媒体に情報を書き込むことができるように、プロセッサに連結され得る。代替例では、記憶媒体は、プロセッサと一体であってもよい。例として、コンピュータ可読媒体には、伝送線、データによって変調された搬送波、及び／又は無線ノードとは別個に記憶された命令を有するコンピュータ可読記憶媒体が含まれてもよく、これらのすべては、バスインターフェースを介してプロセッサによってアクセスされ得る。代替的に又は追加的に、コンピュータ可読媒体、又はその任意の部分は、キャッシュ及び／又は汎用レジスタファイルの場合のように、プロセッサに統合され得る。機械可読記憶媒体の例には、一例として、ＲＡＭ（ランダムアクセスメモリ）、フラッシュメモリ、ＲＯＭ（読み出し専用メモリ）、ＰＲＯＭ（プログラム可能読み出し専用メモリ）、ＥＰＲＯＭ（消去可能なプログラム可能読み出し専用メモリ）、ＥＥＰＲＯＭ（電気的消去可能なプログラム可能読み出し専用メモリ）、レジスタ、磁気ディスク、光ディスク、ハードドライブ、若しくは任意の他の適切な記憶媒体、又はこれらの任意の組み合わせが含まれ得る。機械可読媒体は、コンピュータプログラム製品において具現化され得る。

［００５０］ソフトウェアモジュールは、単一の命令又は多くの命令を含み得、幾つかの異なるコードセグメント、種々のプログラム間に、及び複数の記憶媒体にわたって分配され得る。コンピュータ可読媒体は、多数のソフトウェアモジュールを含み得る。ソフトウェアモジュールは、プロセッサなどの装置によって実行されると、処理システムに様々な機能を実行させる命令を含む。ソフトウェアモジュールは、送信モジュール及び受信モジュールを含み得る。各ソフトウェアモジュールは、単一のストレージデバイス内に存在してもよく、又は複数のストレージデバイスに分散してもよい。一例として、ソフトウェアモジュールは、トリガイベントが発生したときに、ハードドライブからＲＡＭにロードされ得る。ソフトウェアモジュールの実行中、プロセッサは、一部の命令をキャッシュにロードし、アクセス速度を向上させることがある。次に、プロセッサによる実行のために、１つ又は複数のキャッシュラインを汎用レジスタファイルにロードすることができる。ソフトウェアモジュールの機能について考える場合、当該ソフトウェアモジュールからの命令を実行するときに、プロセッサによって当該機能を実施することを理解されたい。

［００５１］以下の特許請求の範囲は、本明細書に示される実施形態に限定されることを意図するものではなく、特許請求の範囲の言語と一致する完全な範囲が与えられるべきである。クレーム内で、単数形の要素への言及は、特に明記されない限り、「１つ及び１つのみ」を意味するわけではなく、むしろ「１つ又は複数」を意味することが意図されている。他に特に明記されない限り、「幾つかの／一部の（ｓｏｍｅ）」という用語は、１つ又は複数のことを指す。クレーム要素は、その要素が「〜のための手段（ｍｅａｎｓ ｆｏｒ）」という語句を用いて明示的に列挙されない限り、又は方法クレームの場合、その要素が「〜のためのステップ（ｓｔｅｐ ｆｏｒ）」という語句を用いて列挙されない限り、３５Ｕ．Ｓ．Ｃ．§１１２（ｆ）の規定に基づいて解釈されるべきではない。当業者に知られているか、又は当業者にいずれ知られる、本開示を通して記載される様々な態様の要素に対するすべての構造的及び機能的な等価物は、参照により本明細書に明示的に組み込まれ、特許請求の範囲によって包含されることが意図されている。さらに、本明細書の開示は、こうした開示が特許請求の範囲に明示的に列挙されているか否かに関わらず、公衆に捧げられることが意図されていない。

Claims (15)

1. 組織スライドにおける腫瘍領域を自動的に検出及び分類するための方法であって、
   組織スライドデータベースからデジタル化組織スライドを取得することと、
   組織分類モジュールからの出力に基づいて、前記デジタル化組織スライドにおいて示された組織の種類を判定することと、
   前記組織の種類についての腫瘍分類モデルからの出力に基づいて、前記デジタル化組織スライドの注目領域（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ：ＲＯＩ）を判定することであって、前記ＲＯＩが、前記腫瘍分類モデルによって腫瘍であると判定された前記デジタル化組織スライドの部分に対応する、前記デジタル化組織スライドのＲＯＩを判定することと、
   前記デジタル化組織スライドの前記ＲＯＩ及び前記ＲＯＩの推定直径を示す分類済スライドを生成することと、
   前記分類済スライド、及び病理医が、前記分類済スライドに関連する入力をインプットすることを可能にするユーザインタフェース（ＵＩ）要素を、画像表示ユニット上に表示すること
   を含む方法。
2. 前記病理医から、前記分類済スライドに関連する入力を受け取ることと、
   前記病理医から受け取った前記入力に基づいて前記分類済スライドを更新すること
   を含む、請求項１に記載の方法。
3. 前記分類済スライドに関連する前記入力が、前記分類済スライドに対する修正である、請求項２に記載の方法。
4. 前記分類済スライドに対する前記修正が、前記腫瘍分類モデルを更新するために使用される、請求項３に記載の方法。
5. 前記分類済スライドに対して修正を適用することと、
   前記分類済スライドを分類済スライドストレージ内に保存すること
   をさらに含む、請求項３に記載の方法。
6. システムであって、
   プロセッサ、及び
   命令を含むメモリであって、前記命令は、前記プロセッサによって実行されると、当該システムに、組織スライドにおける腫瘍領域を自動的に検出及び分類するための方法を実行させ、前記方法は、
   組織スライドデータベースからデジタル化組織スライドを取得することと、
   組織分類モジュールからの出力に基づいて、前記デジタル化組織スライドにおいて示された組織の種類を判定することと、
   前記組織の種類についての腫瘍分類モデルからの出力に基づいて、前記デジタル化組織スライドの注目領域（ＲＯＩ）を判定することであって、前記ＲＯＩが、前記腫瘍分類モデルによって腫瘍であると判定された前記デジタル化組織スライドの部分に対応する、前記デジタル化組織スライドのＲＯＩを判定することと、
   前記デジタル化組織スライドの前記ＲＯＩ及び前記ＲＯＩの推定直径を示す分類済スライドを生成することと、
   前記分類済スライド、及び病理医が前記分類済スライドに関連する入力をインプットすることを可能にするユーザインタフェース（ＵＩ）要素を、画像表示ユニットに表示すること
   を含む、メモリ
   を備えているシステム。
7. 前記方法が、
   前記病理医から、前記分類済スライドに関連する入力を受け取ることと、
   前記病理医から受け取った前記入力に基づいて前記分類済スライドを更新すること
   をさらに含む、請求項６に記載のシステム。
8. 前記分類済スライドに関連する前記入力が、前記分類済スライドに対する修正である、請求項７に記載のシステム。
9. 前記分類済スライドに対する前記修正が、前記腫瘍分類モデルを更新するために使用される、請求項８に記載のシステム。
10. 前記ＵＩ要素は、前記病理医が、前記ＲＯＩを再定義すること又は前記ＲＯＩの分類を変更することを可能にする、請求項６に記載のシステム。
11. 腫瘍分類モジュールによって組織スライドにおける腫瘍領域を自動的に検出及び分類するための方法であって、
    病理医支援システムからデジタル化組織スライドを受け取ることと、
    前記デジタル化組織スライドにおける注目領域（ＲＯＩ）を示すバイナリマスクを生成することと、
    前記ＲＯＩと一致するように適合された楕円に基づいて前記ＲＯＩの直径を判定することと、
    前記ＲＯＩの直径に基づいて、前記ＲＯＩを腫瘍クラスに仕分けることであって、前記腫瘍クラスが、前記腫瘍クラスにおける腫瘍の段階を示す、前記ＲＯＩを腫瘍分類に仕分けることと、
    前記ＲＯＩに基づいて、分類済スライドを生成することであって、当該分類済スライドは、各ＲＯＩを、各ＲＯＩに関連する前記腫瘍分類に基づいて色分けされているように示す、分類済スライドを生成することと、
    前記分類済スライドを前記病理医支援システムに送信すること
    を含む方法。
12. 前記ＲＯＩをサイズに基づいてセグメント化することをさらに含む、請求項１１に記載の方法。
13. 前記分類済スライドが、前記ＲＯＩをオーバーレイとして示す、請求項１１に記載の方法。
14. 前記病理医支援システムから、病理医によって行われた前記分類済スライドに対する修正を受け取ることと、
    前記分類済スライドに対する修正に基づいて、前記ＲＯＩを特定するために使用される腫瘍分類モデルを更新すること
    をさらに含む、請求項１１に記載の方法。
15. 前記病理医支援システムから、前記デジタル化組織スライドを着色するために使用されるバイオマーカーの標識を受け取ることと、
    使用される前記バイオマーカーに基づいて、前記デジタル化組織スライドを分析するための腫瘍分類モデルを選択すること
    をさらに含む、請求項１１に記載の方法。

Images