JP2023501161A - 領域レベルアノテーションのブーストラッピングを使用した画像処理ベースのオブジェクト分類 - Google Patents

Abstract

本技術は、領域レベルアノテーションのブートストラッピングを使用するオブジェクト分類に関する。複数の画像の各々について、画像内の領域を識別することができる。各領域に対して、領域特異的標識を識別すること、領域内のオブジェクトのセットを検出すること、オブジェクト特異的標識を各オブジェクトに割り当てることができる。オブジェクト特異的標識は、オブジェクトが配置されている領域に割り当てられた領域特異的標識と同一にすることができる。訓練データセットは、複数の画像の各画像に対して、（検出されたオブジェクトに対する画像内位置データを示す）オブジェクト位置データ、および（オブジェクトに割り当てられたオブジェクト特異的標識を示す）標識データを含むように定義することができる。画像処理モデルは、訓練データを使用して訓練することができる。訓練することは、画像処理モデルによって実行される計算を定義するパラメータのセットに対する値を学習することを含むことができる。【選択図】図１

Description

関連出願の相互参照
本願は、２０１９年１０月３１日に出願された米国仮特許出願第６２／９２９，１００号の利益および優先権を主張するものであり、その全体があらゆる目的のために参照により本明細書に組み込まれる。

しばしば、画像は、各画像内の異なるオブジェクトを検出し、異なるオブジェクトの各々を分類するために処理される。この処理は、手作業および／または自動化されたアプローチを含みうる。１つの例示的な使用事例は、生物学的な状況におけるもので、組織学的画像は、個々の細胞を識別し、各細胞についての細胞型（ｃｅｌｌ ｔｙｐｅ）を識別するために処理される。この処理を手作業で完了することは、特に多数の画像がレビューされるときには（しばしば、そのようになるが）、相当な時間と費用を要することがある。例えば、スライド全体の組織学的画像は、非常に大きなサイズになり、何万もの細胞の描写を含みうる。さらに、この標識化には、相当な専門知識が要求されうる。

この処理を円滑に行う１つのアプローチは、画像を処理するために自動化された技術を利用することである。例えば、画像内の個々のオブジェクト（例えば、個々の細胞）に標識を割り当てるため、深層学習モデルを使用することができる。しかしながら、このアプローチの感受性および特異性は、訓練データセットのサイズによって強く影響されうる。訓練データは、典型的には、画像の手作業による評価の結果として従来生成された、（画像内のオブジェクトの位置およびオブジェクト特異的な分類を識別する）アノテーション付き画像を含む。

手作業による評価が上述の相当な時間と費用を有すると仮定すると、大きな訓練セットを確保することは、費用がかかり、および／または困難でありうる。その結果、これらのタスクを正確に実行するために画像処理モデル（例えば、深層学習モデル）を訓練することは困難でありうる。

いくつかの実施形態では、ブートストラッピング技法を使用して、オブジェクトの検出および分類のために画像の処理が行われる。より具体的には、１つ以上の画像の各画像を処理して、画像内の上位レベル領域を最初に識別し、各上位レベル領域を領域特異的標識に関連付けてもよい。例えば、上位レベル領域は、ユーザ入力アウトラインによって定義される画像の一部に対応するように定義されてもよく、領域特異的標識は、ユーザ入力によって示される細胞型を含むことができる。次いで、領域内の下位レベルオブジェクトを検出することができる（例えば、エッジ検出技術、コントラスト分析、強度分析、色分析などを使用して）。下位レベルオブジェクトは、個々の細胞または細胞核を含み（または、これらであり）うる。

下位レベルの各オブジェクトには、下位レベルのオブジェクトが配置されている上位レベルの領域に割り当てられた領域特異的標識と同じオブジェクト特異的標識を割り当てることができる。次いで、画像処理モデル（例えば、深層ニューラルネットワークおよび／または畳み込みニューラルネットワークなどの機械学習モデル）を訓練することができる。後処理は、関連付けられたオブジェクト特異的標識の手作業によるレビューのために、自動的に検出されたオブジェクトのサブセットを識別することを含むことができる。例えば、オブジェクトのサブセット及びそれらに割り当てられたオブジェクト特異的標識の識別と共に、画像の一部または全部を含む１つ以上の提示を生成し、出力することができる。受信される任意の入力は、オブジェクト特異的標識が正確であるかどうか（または、他の標識が識別されたオブジェクトに対応するかどうか）に関する提示として使用することができる。このフィードバックは、画像処理モデルを再訓練するために使用することができる。したがって、この画像処理モデルは、高い特異性と感受性を有するが、その一方で、手作業によるレビューを示唆する入力をさほど多く要求しないように訓練することができる。

いくつかの実施形態では、コンピュータ実装方法が提供される。画像のセットの各画像に対して、画像内の複数の領域を識別することができる。複数の領域の各領域に関しては、領域特異的標識を領域に対して識別し、領域内のオブジェクトのセットを検出し、オブジェクト特異的標識をオブジェクトのセットの各オブジェクトに割り当てることができる。オブジェクト特異的標識は、オブジェクトが配置されている領域に割り当てられた領域特異的標識と同じにすることができる。訓練データセットは、画像のセットの各画像に関しては、（検出されたオブジェクトのセットの各オブジェクトに対して、オブジェクトの画像内位置データを示す）オブジェクト位置データ及び（検出されたオブジェクトのセットの各オブジェクトに対して、オブジェクトに割り当てられたオブジェクト特異的標識を示す）標識データを含むように定義することができる。画像処理モデルは、訓練データを使用して訓練することができる。訓練することは、画像処理モデルによって実行される計算を定義するパラメータのセットに対するパラメータ値のセットを学習することを含みうる。

本開示のいくつかの実施形態は、１つ以上のデータプロセッサを含むシステムを含む。いくつかの実施形態では、システムは、１つ以上のデータプロセッサ上で実行されると、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部および／または１つ以上のプロセスの一部または全部を実行させる命令を含む非一時的コンピュータ可読記憶媒体を含む。本開示のいくつかの実施形態は、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部および／または１つ以上のプロセスの一部または全部を実行させるように構成された命令を含む、非一時的機械可読記憶媒体において有形に具現化されたコンピュータプログラム製品を含む。

使用された用語および表現は、限定ではなく説明の用語として使用され、そのような用語および表現の使用において、示されて説明された特徴の均等物またはその一部を除外する意図はないが、特許請求の範囲に記載された発明の範囲内で様々な変更が可能であることが認識される。したがって、特許請求の範囲に記載された本発明は、実施形態および任意の特徴によって具体的に開示されているが、本明細書に開示された概念の変更および変形は、当業者に任されてもよく、そのような変更および変形は、本発明の範囲内にあると見なされることを理解されたい。

本開示は、添付の図面に関連して説明される。

デバイス間通信および画像処理をサポートするように構成された複数のデバイス／システムを含む画像処理対話システムを示す。 画像内の個々の領域が複数のオブジェクトタイプをどのように包含できるかを示す。 画像内のオブジェクトを検出し、標識化するための機械学習モデルを生成し、訓練するためのプロセス３００を示す。 ４Ａ～４Ｅは、領域アノテーションに関連する画像を示す。 ５Ａ～５Ｆは、非機械学習モデルおよび画像処理ヒューリスティックスを適用して、領域アノテーションからブートストラップされたノイズの多い核アノテーションを生成した結果を示す。 ６Ａ～６Ｃは、３つの組織学的画像に対してブートストラップされたアノテーションで訓練されたモデルによって生成されたオブジェクト標識を示す。 ７Ａ～７Ｃは、組織学画像に対するオブジェクト特異的標識および領域特異的標識を示す。 ８Ａ～８Ｄは、どのオブジェクト特異的標識がレビュー担当者に利用されるべきかを決定するために使用される固有のメトリックを示す。 ９Ａ～９Ｂは、選択されたオブジェクト特異的標識のレビューのためのパッチ選択および表現を示す。 画像内のオブジェクトに標識を割り当てるために機械学習を使用するプロセスを示す。

添付の図面において、同様の構成要素および／または特徴は、同じ参照符号を有することができる。さらに、同じ種類の様々な構成要素は、参照符号の後に同様の構成要素を区別するダッシュおよび第２の符号を続けることによって区別することができる。本明細書において第１の参照符号のみが使用される場合、説明は、第２の参照符号に関係なく、同じ第１の参照符号を有する同様の構成要素のいずれかに適用可能である。

Ｉ． 画像処理対話システム
図１は、デバイス間通信および画像処理をサポートするように構成された複数のデバイス／システムを含む画像処理対話システム１００を示す。ユーザデバイス１０５は、画像処理要求を画像処理システム１１０に送信することができる。画像処理要求は、オンラインインタフェースなどのインタフェースを介して送信されてもよい。画像処理要求は、処理されるべき１つ以上の画像を識別することができる。例えば、画像処理要求は、画像ソース１１５から画像を取り出すために使用することができる識別子（例えば、対象および／または資料の識別子）を含むことができる。次に、画像処理システム１１０は、識別子と許可データを含む画像の要求を画像ソース１１５に送信し、画像ソースは画像を返すことができる。別の例として、画像処理要求は、クライアントデバイス１０５でアップロードされた可能性がある画像を含むことができ、またはそうでなければ、その画像に関連付けることができる。

画像は、Ｈ＆Ｅ染色剤で染色された試料を描写するＨ＆Ｅ画像などの組織学画像を含むことができる。画像は、別の免疫組織化学（ＩＨＣ）画像（定義により、Ｈ＆Ｅ以外の種類の染色剤を使用する）を含んでもよい。単一の試料は、対応するＨ＆Ｅ画像とＩＨＣ画像に関連付けられてもよい。Ｈ＆Ｅ画像とＩＨＣ画像は、（厳密な、または変形可能な画像位置合わせを利用して）重ね合わせられることになっている。 次に、Ｈ＆Ｅ画像とＩＨＣ画像は、異なる評価のために使用されてもよい（例えば、Ｈ＆Ｅ画像は、領域を検出するために使用され、ＩＨＣ画像は、標識化のためのオブジェクト情報を識別するために使用される）。画像は、明視野画像、非明視野画像（例えば、電子顕微鏡画像）、および／または走査された全スライド組織学画像を含んでもよい。

画像処理システム１１０は、画像内の１つ以上の領域を識別するために各画像を処理する領域特異的ラベラを含むことができる。各領域は、組織学的領域に対応し、（例えば）腫瘍領域、間質領域またはリンパ球浸潤領域に対応しうる。各領域は、（例えば）領域内の細胞が、（例えば、サイズ、形状、強度、および／または色に関して）類似の視覚特性を主にかつ実質的に有するエリアに、対応することができる。各領域の標識は、（例えば）その領域に対応する生物学的構造および／またはその領域の顕著な細胞型を示すことができる。

領域特異的標識装置１２０は、自動的に、半自動的に、またはユーザ入力に基づいて、各領域を定義および／または標識化することができる。例えば、グラフィカルユーザインタフェースをユーザデバイス１０５に提供することができる。グラフィカルユーザインタフェースは、画像の一部または全部を提示することができ、個々の領域の境界を識別するために使用することができるツール（例えば、投げ縄ツール、鉛筆ツール、ボックス選択ツール、楕円選択ツールなど）を含むことができる。インタフェースは、領域の標識を識別するユーザデバイス１０５で受信された入力をさらに受け入れることができる。入力は、インタフェースのウィンドウまたはポップアップコンポーネントで受け入れることができ、これは、領域に対して自由形状の標識を受け入れるテキストボックス、または、潜在的な標識のセットの中から標識の選択を受け入れるための選択コンポーネントを含むことができる。選択コンポーネントには、ドロップダウンメニューまたは複数の選択可能なラジオボタンを含めることができる。

別の例として、自動化されたまたは半自動化されたアプローチは、顕著なエッジを検出するように画像を処理することができ、領域は、それに応じて（例えば、インタフェースにおける表現を介して）識別および／または提示することができる。自動化または半自動化アプローチは、さらに、または代替的に、画像内のパッチのセットの各々に対して画像メトリック（例えば、明度、色相、および／またはコントラスト）を識別しうる。個々の領域は、類似の画像メトリックを有する画像パッチのセットに対応するように定義することができる。

オブジェクト検出装置１２５は、画像内のオブジェクトを検出することができる。検出されたオブジェクトのそれぞれは、細胞または細胞核などの生物学的構造を含みうる（または、生物学的構造でありうる）。オブジェクトは、画像処理を使用して自動的に検出することができる。画像処理には、連結成分分析、エッジ検出、カラー（または変換されたカラー）チャネル特異性分析、平滑化アルゴリズム、閾値処理アルゴリズムなどの利用が含まれうる。例えば、画像処理には、とりわけ、マセンコの主成分分析（ＰＣＡ）ベースの方法、またはスパース非負値行列因子分解（ＳＮＭＦ）に依存する方法などの確立された方法を用いて、染色「アンミキシング」の実行が含まれうる。各領域標識に対して、次に、染色剤チャネル（例えば、ヘマトキシリンチャネル）を使用して（例えば、乗算して）、領域履歴（ｒｅｇｉｏｎ ｐｒｉｏｒ）（例えば、バイナリ領域履歴）を変換することができる。１つ以上の平滑化プロセスおよび／または閾値処理プロセスを実行して（例えば、ガウス平滑化および大津の閾値処理を反復的に適用することによって）、核境界を得ることができる。次に、連結成分分析を行って、核オブジェクトを分離することができる。

オブジェクト特異的標識装置１３０は、検出された各オブジェクトにオブジェクト特異的標識を割り当てることができる。最初に、各オブジェクト特異的標識は、対応する領域に関連する標識と等しくなるように定義されてもよい。オブジェクト特異的標識装置１３０は、オブジェクトのセットの不完全なサブセットを識別することができ、その場合、不完全なサブセット内の各オブジェクトは、再割り当てされるか、非細胞標識に割り当てられる。非細胞標識は、オブジェクトが細胞でない、および／または細胞に対応しないことが予測されることを示すことができる。オブジェクトの不完全なサブセットは、（例えば）対応する所定の閾値エリアより下および／または上のエリアを有するオブジェクト、および／またはベースラインインスタンスに対応しないアスペクト比、真円度、および／またはエリアを有するオブジェクトを含むことができる。

次に、モデルコントローラ１３５は、オブジェクト特異的標識を使用して機械学習モデルを訓練することができる。機械学習モデルは、（例えば）深層ニューラルネットワーク、再帰型ニューラルネットワークおよび／または畳み込みニューラルネットワークを含むことができる。訓練は、重なり合うタイルまたはパッチを使用することができ、及び／又は各タイル又はパッチの中心又は中央にモデル予測を制限することができ、これは、エッジアーチファクトの影響を低減することができる。いくつかの例では、オブジェクト特異的標識を使用して、後処理を定義および／または訓練することができる（ただし、必要なわけではない）。後処理は、セグメント化アーチファクトを抑制するために、バイナリ浸食（ｂｉｎａｒｙ ｅｒｏｓｉｏｎ）、バイナリ拡張（ｂｉｎａｒｙ ｄｉｌａｔａｔｉｏｎ）、ガウス平滑化、または別の技術を使用することができる。

機械学習モデル（および、例えば後処理技術）が訓練された後、モデルコントローラ１３５は、モデルを使用して、モデルおよび／または異なる画像を訓練するために使用される同じ画像に対応する画像データを処理することができる。画像データは、画像の一部または全部と、画像のどの部分が個々のオブジェクトに対応するかを識別するオブジェクト特異的データとを含むことができる。機械学習モデルの出力（および／または後処理）は、検出された各オブジェクトに対するオブジェクト特異的標識を含むことができる。当然のことながら、訓練されたモデルを使用して生成されたオブジェクト特異的標識は、領域特異的標識に基づいて最初に割り当てられたオブジェクト特異的標識とは異なりうる。

オブジェクト特異的標識装置１３０は、選択された標識を修正することができる。母集団ベースのアプローチを使用して、稀な（例えば、所定の閾値未満の有病率を有する）サイズ、形状、明度プロファイル、コントラストプロファイル、および／または色プロファイルに関連するオブジェクトを選択することができる。これらの選択オブジェクトの各々に対して、標識割り当てが修正される、および／または新しい標識が定義されてもよい。例えば、オブジェクトの稀な形状は、壊死を受けている細胞の典型例でありうる。したがって、形状自体は、必ずしも細胞型を示すものではなく、おそらく生理学的段階を示すものである。別の例として、特定の状況における所与の標識（例えば、乳がんに対応する画像における血管内皮細胞）は稀であるため、標識の再割り当てを引き起こすことがありうる。新たに割り当てられた標識は、オブジェクトを分類するためにモデルを訓練する間、標識が使用されないことを示す標識を含むことがある。

モデル評価装置１４０は、レビューされるべきオブジェクトを選択してもよい。オブジェクトは、標識割り当てに関連付けられた（例えば）信頼度メトリックに基づいて選択可能である。信頼度メトリックは、オブジェクトの１つ以上の特性（例えば、サイズ、形状、明度プロファイル、コントラストプロファイル、および／またはカラープロファイル）が、割り当てられた標識に関連付けられたオブジェクトタイプの１つ以上の特性に対応する、または一致する程度を示すことができる。訓練された機械学習モデルは、（個々の出力に対応する）各標識出力に関連して信頼度メトリックを出力することができる。レビューのために選択されたオブジェクトには、絶対閾値または相対閾値を下回る信頼度メトリックに関連付けられたオブジェクトの一部または全部を含めることができる（例えば、オブジェクトのセット全体の信頼度メトリックの最低５％以内）。

モデル評価装置１４０は、擬似ランダム選択技術および／またはターゲット選択技術を使用することによって、レビューのためにオブジェクトをさらにまたは代替的に選択することができる。例えば、所定の規則は、特定の数のオブジェクトがレビューのために選択されるべきであることを示してもよく、および／またはレビューのために識別されるべきオブジェクトの数の上限および／または下限を識別してもよい。ターゲット選択技術は、オブジェクト選択を特定の特性を有するオブジェクトに向けてバイアスし、かつ／またはオブジェクト選択を特定の特性を有するオブジェクトに制約するように構成されてもよい。

レビューのためのオブジェクトの選択は、（例えば、異なる視野に対応する）１つ以上の画像の選択に関連し、影響を与え、かつ／または依存しうる。機械学習モデルが複数の画像を処理してオブジェクトを検出し、標識化する場合には、レビューは複数の画像のすべてを含む必要はない。むしろ、画像のサブセット（例えば、単一の画像）が選択されてもよい。画像のサブセットの各々は、少なくとも閾値数、オブジェクト特異的標識および／または領域特異的標識の少なくとも閾値パーセンテージを代表するスライドの代表的な視野を有するように選択されてもよい。あるいは、画像のサブセットの各々は、レビューのためにどのオブジェクトにフラグが立てられたかに基づいて選択されてもよい。例えば、サブセットは、レビューのためにフラグが立てられたオブジェクトの高い（例えば、所定の閾値を超える、および／または他の画像と比較して高い）数または密度を有する画像を含むことができる。別の例として、サブセットは、複数のオブジェクト特異的標識の各々が、サブセットの画像の中で表現されるオブジェクトに関連付けられるように、選択されてもよい。この表現を達成するために、オブジェクト特異的標識の各々に対して、どの画像が標識を有するオブジェクトを有するかを決定することができ、次いで、（例えば、擬似ランダム選択技術を使用して）単一の画像を選択することができる。オブジェクトの密度および／または多様性を利用して、レビューのための画像の層別サンプリングを強化することもできる。さらに別の例として、サブセットは、ホットスポットの大規模なレビュー、またはレビューのためにフラグが立てられたオブジェクトの代表的な病巣を提供するように選択することができる。

レビューのために選択されたオブジェクトおよび／または領域を識別すると、モデル評価装置１４０は、通信を開始し、ユーザデバイス１０５（または別のユーザデバイス）に送信することができる。通信を受信することで、選択された画像、１つ以上の選択されたオブジェクト、および選択されたオブジェクトに関連する１つ以上のオブジェクト特異的標識を含むインタフェースの提示を開始することができる。インタフェースは、１つ以上の領域および領域特異的標識の境界をさらに識別することができる。例えば、選択されたオブジェクトおよび／または領域の各々に対して、オブジェクトまたは領域のエリアを定義する境界線または境界が画像上にオーバーレイされてもよい。関連する標識は、エリア内に描かれてもよく、またはエリアをマウスオーバーまたはクリックした後に提示されてもよい。

インタフェースは、境界および／または標識に対する修正または置換を識別する入力を検出することができる入力コンポーネントを含むことができる。例えば、鉛筆ツールまたは楕円ツールを使用して境界を再定義又は修正することができ、および／またはテキストツール（またはラジオボタンツールまたはドロップダウンツール）を使用して標識を識別することができる。インタフェースは、識別された境界または標識が適切であるとして受け入れられるかどうかを示すために使用されうるツールをさらに含みうる。

ユーザデバイス１０５は、インタフェースで受信された入力を表す通信を（モデル評価装置１４０にルーティングされる）画像処理システム１１０に送信することができる。

モデル評価装置１４０は、レビューの推定品質を表す１つ以上の評価品質メトリックを生成することができる。メトリックは、どのユーザがユーザデバイス１０５に関連付けられているか（例えば、ユーザによって実行されたレビューの数、ユーザに関連付けられた記憶された信用証明など）、以前にユーザデバイス１０５で実行されたレビューの数、修正されたまたは置換された標識または境界の割合または量が典型的な割合または量に対応する程度（例えば、所与の視野、スライドのタイプ、分類器信頼度または他のヒューリスティックについて）、インタフェースが提示された時間の量、および／または入力アクティビティが検出された時間の量、行われた修正または置換の絶対数、および／または修正の実際の数が予想される数（例えば、所与の視野のタイプ、スライドのタイプ、分類器信頼度など）に一致する程度に基づいて生成され得る。

評価品質メトリックは、レビュー全体および／またはレビュー担当者全般に適用されるメトリックを含むことができる。代替的にまたは追加的に、レビューのより特定の部分に適用され、および／または２つ以上のレビューおよび／または２人以上のレビュー担当者に対応する評価品質メトリックを生成することができる。例えば、所与の視野について評価品質メトリックを生成することができる。メトリックは、（例えば）以下に基づいて決定されうる。
・所与の視野に対応する共通の画像セットに対する、複数のレビュー担当者によって生成されたレビュー、および／または主題の専門家（例えば、上級病理学者）によって生成されたレビューの間での一致の程度（例えば、行われた補正の量、または行われた特定の補正に関する）。
・複数の期間で同一レビュー担当者によって作成されたレビュー間の一致の程度。
・最初のブートストラップされた細胞が表示されるときと、細胞がモデル生成標識で表示されるときとの間の（例えば、同一視野に関する）レビュー間の不一致の程度。

レビュー担当者がモデル生成標識を修正する場合と比較して、レビュー担当者が標識をゼロから（「新たに」）提供する場合の、同一視野に対するレビュー間の不一致の度合い（ｄｅｇｒｅｅ ｏｆ ｄｉｓｐａｒｉｔｙ）。

次いで、モデルコントローラ１３５は、任意の修正された標識または新しい標識または境界を使用して機械学習モデルを再訓練することができる。再訓練は、強化訓練を含むことができる。１つ以上の評価品質メトリックが生成される場合、再訓練は、当該メトリックを使用して実行されうる。例えば、訓練データセットは、個々の画像に関連する評価品質メトリックに基づいて定義される、複数の画像、レビューされたアノテーション、および画像関連重みを含むように定義することができる。訓練は、単一の段階の訓練または複数の段階を介して実施することができる。例えば、マルチステップ訓練は、モデル初期化を提供するためにレビューデータを使用して大規模訓練を実行することによって開始することができる。この大規模訓練は、機械学習モデルが深層学習モデル（例えば、マスク再帰型畳み込みニューラルネットワーク）を含む場合に特に有利でありうる。次に訓練は、（例えば、レビュー中に、または高評価品質メトリックに関連付けられたレビュー担当者によって）厳密に検査された高品質画像を使用し続けることができる。

次に、モデルコントローラ１３５は、再訓練された機械学習モデルを使用して、新しい画像を処理することができる。新しい画像は、初期画像を提供したエンティティと比較して、および／またはレビュー担当者と比較して、異なるまたは同一エンティティによって提供されてもよい。例えば、モデルコントローラ１３５は、クライアントデバイス１４５が再訓練された機械学習モデルを使用することを許可されていると決定することができる。機械学習モデルを使用することは、クライアントデバイス１４５でローカルに操作されるソフトウェアの機能性をアンロックすること、および／または、モデルを使用して（例えば、自動標識化を実行することによって）オンラインで画像を処理する要求に応答することを含むことができる。次に、再訓練された機械学習モデルを使用して、経験則および／または主題の専門知識に頼ることなく、正確なオブジェクトレベルの注釈を生成することができる。

当然のことながら、画像処理システム１１０は、高精度な細胞局在および／またはセグメント化モデルを生成するように動作してもよい。モデルの精度を高めるために、モデル生成メトリックの複数のレビューを実行することができ、レビューの品質を評価することができ、レビューおよび品質評価に基づいてモデルを繰り返し再訓練することができる。多数のレビューの実行、レビューの評価および再訓練は、非常に時間のかかる作業になりうる。したがって、このプロセスは、システムのスループットにほどほどの影響を及ぼしうる。あるいは、画像処理システム１１０は、ラピッドプロトタイピングフレームワークを実装することによって高スループットシステムを生成するように動作しうる。フレームワークは、ユーザ入力および／またはレビューに対する強調を緩和することができる。例えば、フレームワークは、単純な経験則ベースのアルゴリズムセグメント化を使用することと、ブートストラップされたオブジェクトアノテーションを使用して機械学習モデルを訓練することと、場合によっては、顕著な標識化エラーまたは不一致の高レベルなレビューを促進することとを含みうる。

ＩＩ． ブートストラッピング機械学習技術の精度と効率の利点
従来の組織学的画像処理は、アノテーションまたは領域および細胞を識別するユーザからの手動入力に大きく依存してきた。画像の規模にもよるが、細胞に注釈を付けることは、非常に時間のかかる作業である。さらに、領域は典型的には、単一の細胞型によって占められているが、かなりの数の他の型の細胞を含む場合も多い（乳がんスライドの画像中の異なる領域および細胞クラスを示す図２を参照のこと）。さらに、所与のタイプの細胞の外観のばらつきのために、細胞アノテーションに必要とされる専門知識は高度である。

所要経費、所要時間、およびロジスティクスの複雑さの順に、アノテーションタイプは、以下のように（最も容易なものから最も困難なものまで）順序付けすることができる。
１．画像レベル分類（例えば、スライドを「浸潤性乳管がん」と標識化すること）
２．領域レベル分類（例えば、組織領域を「主にリンパ球を含む」と標識化すること）
３．オブジェクト中心局在化（例えば、リンパ球細胞上にシードを配置すること）
４．境界ボックス局在化（例えば、リンパ球細胞の周囲にボックスを配置すること）
５．オブジェクトセグメント化（例えば、リンパ球細胞の周りに多角形を描くこと）

したがって、対応する領域に対して最初に定義された細胞標識に基づいて機械学習モデルが訓練される、本明細書で提供されるブートストラッピング技術は、アノテーション効率を大幅に改善することができる。アノテータは、個々の細胞を標識化するために多くの時間を費やす必要はない。むしろ、より高いレベルの領域にアノテーションの労力を集中させることによって、効率を改善することができる。さらに、選択と戦略的レビューおよび再訓練は、高いレベルの精度を促進しうる。

ＩＩＩ． ブートストラッピング機械学習技術のためのプロセス
図３は、画像内のオブジェクトを検出し、標識化するための機械学習モデルを生成し、訓練するためのプロセス３００を示す。プロセス３００は、画像のセットの各々に対して領域アノテーションが実行されるブロック３０５から始まる。画像のセットの各々は、組織学スライドの視野に対応してもよい。視野は、画像のセットを横切って互いに部分的に重なり合ってもよい。

領域アノテーションは、１つ以上の領域の各々に対して、画像内の領域の境界（または他の空間特性）を識別することを含むことができる。領域アノテーションは、ユーザ入力に基づいて実行されてよく、コンピュータビジョン技術を使用して半自動的に、またはコンピュータビジョン技術を使用して自動的に実行されてもよい。領域アノテーションは、各領域に対する領域特異的標識のアノテーションをさらに含むことができる。領域特異的標識は、特定の細胞型および／または生物学的構造の特徴付けに対応しうる。例えば、領域特異的標識は、「腫瘍」または「腫瘍細胞」を含みうる。領域アノテーションがユーザ入力を使用して実行される場合には、領域特異的標識は、フリーテキストを入力することによって、または所定の標識オプションのセットから選択することによって、ユーザによって識別されてもよい。

図３には示されていないが、オブジェクトの検出は、ブロック３０５の前後に行うことができる。オブジェクトの検出は、コンピュータビジョン技術を使用して自動的に行うことができる。検出されるオブジェクトは、生物学的細胞および場合によっては他の生物学的構造を含みうる。

ブロック３１０では、画像のセットの各画像に対して、オブジェクトアノテーションブートストラッピングが実行される。ブートストラッピングは、少なくとも一部のオブジェクトの各々に対して、オブジェクトが存在する領域に対応する標識を割り当てることを含みうる。いくつかの例では、ブートストラッピングは、細胞空間特性に対応する空間特性を有する（例えば、画像の視野が与えられると、細胞の比較可能な統計的プロファイルに対応するエリア、コントラスト、および／またはアスペクト比を有する）オブジェクトに対して選択的に実行されうる。さらに、ブートストラッピングは、定義された領域内にないオブジェクトに対して実行される必要はない。

ブロック３１５では、ブートストラップされたアノテーションを含む訓練データセットを使用して、機械学習モデルが訓練される。機械学習モデルへの入力は、各検出されたオブジェクトの中心位置および／または各検出されたオブジェクトの境界などの、１つ以上の画像およびオブジェクトデータを含むことができる。 いくつかの例では、前処理を実行して、オブジェクトの空間特性に基づいてオブジェクトのセットのサブセットをフィルタ処理して除去することができる（例えば、細胞には一般的でない形状を有し、かつ／または、画像のエッジおよび／または領域のエッジに近いオブジェクトをフィルタ処理して除去する）。機械学習モデルの出力は、識別された各オブジェクトに対する標識と、潜在的に標識に関連付けられた信頼度メトリックとを含むことができる。機械学習モデルは、ニューラルネットワーク、畳み込みニューラルネットワーク、再帰型ニューラルネットワーク、および／または深層ニューラルネットワークを含むことができる。モデルの訓練は、入力データがどのようにして出力データに変換されるかを定義する学習パラメータ値を含むことができる。

ブロック３２０では、訓練された機械学習モデルが実行され、オブジェクト特異的標識が生成される。ブロック３２０で生成されたオブジェクト特異的標識は、訓練データセット内にあった画像を処理することによって、または他の画像を処理することによって生成されうる。

ブロック３２５では、ブロック３２０で生成されたオブジェクト特異的標識のサブセットが、領域履歴を使用して修正される。より具体的には、訓練された機械学習モデルは、複数のオブジェクトが、画像内でオブジェクトが位置する領域の領域特異的標識とは異なるオブジェクト特異的標識に対応することを予測している場合がある。これらの例のいくつかに関して、オブジェクト特異的標識は、モデルの逆の予測にもかかわらず、領域特異的標識と同一になるように（ブロック３２５で）定義されうる。領域履歴（ｒｅｇｉｏｎ－ｐｒｉｏｒ）標識は、（例えば）オブジェクトが非定型的な（例えば、軸を横切って不均一および／または実質的に非対称な）空間特性を有するとき、および／またはモデル予測標識に関連付けられたオブジェクトタイプが画像に関連付けられたスライドのコンテキスト内に存在する可能性が低いときに割り当てられうる。例えば、乳がん試料に関連するスライドの中で血管内皮細胞を観察することはありそうにない。

ブロック３３０では、複数のオブジェクト特異的標識が評価のために選択される。評価のために選択されたオブジェクト特異的標識の数は、所与のスライド、視野、画像、またはデータセットに対して定義された数よりも少なくなる可能性がありうる。選択は、信頼度メトリックおよび／または試料選択手法（例えば、擬似ランダム選択手法）に基づいて行われてもよい。オブジェクト特異的標識および／または関連するオブジェクトに関する情報は、レビュー担当者が利用することができる。例えば、画像を含み、複数のオブジェクト特異的標識に関連するオブジェクトの位置を（例えば、細胞オブジェクトの核にマークを含むこと、および／またはオブジェクトの輪郭を含むことによって）識別するインタフェースが生成されてもよい。

ブロック３３５では、オブジェクトのサブセットに対して拡張標識化が検出される。オブジェクトのサブセットは、評価のために選択された複数のオブジェクト特異的標識の一部または全部に対応することがある。拡張標識化は、機械学習モデルによって生成されたオブジェクト特異的標識とは異なる標識、および／または機械学習モデルによって生成されたオブジェクト特異的標識と同じ標識を含むことができる。たとえば、レビュー担当者に提供されるインタフェースは、オブジェクトのオブジェクト特異的標識を識別する入力を受信するように設定できます。オブジェクト特異的標識は、明示的に（例えば、機械学習モデルによって生成された標識とは異なる、または同じであり得る、明示的標識識別を受信することによって）、または暗黙的に（例えば、反対の標識が提供されない場合、機械学習モデルによって生成された提示されたオブジェクト特異的標識が正しいと推論することによって）識別され得る。レビュー担当者が識別した（および／またはレビュー担当者が承認した）オブジェクト特異的標識は、拡張標識としてタグ付けすることができる。

ブロック３４０では、拡張標識化のために品質メトリックを生成することができる。品質メトリックは、レビュー担当者の追跡経験、レビューインタフェースが提示された時間の長さ、識別された標識修正のパーセンテージ、同じデータの複数のプレゼンテーションにわたって識別された標識における（例えば、ユーザにわたる、および／または同じユーザに関する）一貫性、標識が訂正された尤度とモデル出力信頼度スコアとの間の相関などに基づいて生成され得る。品質メトリックは、所与のデータセット、スライド、画像、レビュー担当者、画像タイプ、および／または視野に割り当てることができる。

ブロック３４５では、機械学習モデルは、拡張標識化を使用して再訓練される。いくつかの例では、品質メトリックは、再訓練における拡張標識化の部分に重み付けするために使用される。例えば、１人のレビュー担当者からの、および／または１つの視野に関連付けられた、拡張標識化は、別のレビュー担当者からの、および／または別の視野に関連付けられた拡張標識化と比較して、より高度に重み付けされてもよい。

ブロック３５０では、再訓練された機械学習モデルを使用して新しい画像が処理される。いくつかの例では、新しい画像を処理する前に領域アノテーションは実行されない。いくつかの例では、領域アノテーションが前処理として実行される。また、後処理が実行されてもよい（例えば、本明細書に記載のように、領域履歴を使用して、オブジェクト特異的標識のサブセットを修正するように）。出力は、ユーザデバイスに送信され、および／またはユーザデバイスにおいて提示されうる。出力には、１つ以上の画像、画像内のどこにオブジェクトが配置されているか、および各オブジェクトの標識を含めることができる。出力は、データセット内で検出されたオブジェクト特異的標識のリスト、オブジェクト特異的標識の各々に関連するオブジェクトの量、および／またはオブジェクト特異的標識の各々に対応する空間的分布情報などの、より高いレベルの情報を追加的または代替的に含むことができる。

ＩＶ． 実施例
以下の実施例は、オブジェクト特異的標識を生成するために、様々な画像処理技術（本明細書で開示されるブートストラッピング技術を含む）を使用することに関する。より具体的には、ＴＣＧＡデータセットから１２５点の画像が得られた。各画像は、Ｈ＆Ｅ染色された診断用乳がんスライドの視野を示す。

ＩＶ．Ａ． 領域アノテーション
図４Ａ～図４Ｅは、領域アノテーションに関連する画像を示す。図４Ａは、ＴＣＧＡデータセットの元のＲＧＢ画像を示す。次に、訓練されたユーザが、画像内の様々な組織学的領域の境界を手作業で識別した。また、ユーザは領域ごとに領域特異的標識を識別した。図４Ｂは、元のＲＧＢ画像の処理されたバージョンを示し、ピクセルは、ピクセルが配置されている対応領域に対する領域特異的標識を示すように着色されている。

いくつかの例では、手作業による領域アノテーションに平滑化を適用することができる。図４Ｃおよび図４Ｄの最も左側の画像はまた、ＴＣＧＡデータセットからの元のＲＧＢ画像を示し、図４Ｃおよび図４Ｄの最も右側の画像は、ユーザ入力によって識別された組織学的領域を示す。図４Ｃおよび図４Ｄの中央の画像は、手動作業によるアノテーションと組織境界との間の対応を拡張するために、完全に接続された条件付きランダムフィールド平滑化を適用した結果を示す。

図４Ｅは、図４Ｂからの処理されたバージョンの画像を示す。この例では、図４Ｂの画像は、ＨＳＶ空間において画像を色閾値処理し、次いでガウス平滑化および大津の閾値処理を適用することによって処理された。

したがって、図４は、（例えば、純粋に手作業による入力に基づいて、手作業によるアノテーション付き入力にランダムフィールド平滑化を適用することによって、別のタイプの平滑化（例えば、ガウス平滑化）を適用することによって、および／または１つ以上の閾値化を適用することによって）領域を定義することができる種々の技術を示す。

ＩＶ．Ｂ．領域アノテーションからブートストラップされた核アノテーションを生成するための非機械学習モデルおよび画像処理経験則の適用
図５Ａ～図５Ｆは、非機械学習モデルおよび画像処理経験則を適用して、領域アノテーションからブートストラップされたノイズの多い核アノテーションを生成した結果を示す。注目すべきことに、図５の画像を生成するために実行される閾値化およびガウス平滑化は、図４Ｂ、図４Ｃおよび図４Ｄのものよりも連続性の少ない領域をもたらし、これは、この技術がある領域内の不均質な細胞型をより良好に検出することを示しうる。図４ＡのＲＧＢ画像は、個々の細胞を検出するためにコンピュータビジョン技術を使用して処理された。検出された細胞の各々には、最初に、ピクセルの領域に対する領域特異的標識と一致するオブジェクト特異的標識が割り当てられた。図５Ａは、図４Ｅに描写された領域特異的標識に基づいて割り当てられたオブジェクト特異的標識を示す色の濃淡を有する画像を描写している。赤色の濃淡は腫瘍標識を表し、青色の濃淡はリンパ球標識を表し、緑色の濃淡は線維芽細胞標識を表し、橙色の濃淡は壊死標識を表し、灰色の濃淡は「他の」標識を表す。図に示すように、間質領域内の多くの細胞は線維芽細胞に分類されている。これは、標識間の不一致を表す。細胞にはリンパ球標識をつけるべきであろう。

標識割り当てを修正するために、経験則に基づくアプローチが適用された。より具体的には、形状およびサイズの制約は、最初の標識割り当てが除去されるべきオブジェクトを識別するために適用された。図５Ｂは、経験則ベースの処理の後のオブジェクト特異的標識割り当てを示す。特に、標識修飾は、最初に間質領域内にあるリンパ球として識別されたオブジェクトの多くに影響を及ぼした。

図５Ｃ～図５Ｆの各々は、ブートストラッピング技術に基づいて、初期のＲＧＢ画像（左端画像）にどのように初期標識が割り当てられたかを示す。図５Ｃおよび図５Ｄにおいて、ブートストラッピング技術は、核の大部分を正しく分類する結果となる（右から２番目の「中間」画像を左から２番目の「最終」画像と比較する）。一方、図５Ｅおよび図５Ｆにおいて、ブートストラッピング技術は、核に不正確な標識を割り当てる結果となった。図５Ｅはリンパ球細胞を伴う間質領域を、図５Ｆは線維芽細胞を伴う間質領域を示す。図５Ｅは、最初の標識を修正するための経験則を適用する前に、リンパ球が「線維芽細胞」という不正確な標識を受け取る場合を示す。

ＩＶ．Ｃ． ブートストラップされたアノテーションを使用する訓練された機械学習モデルからの予測
図６Ａ～図６Ｃは、３つの組織学的画像に対してブートストラップされたアノテーションで訓練されたモデルによって生成されたオブジェクト標識を示す。図６Ａ～図６Ｃの各々において、上の行は、元の画像（右端の画像）、領域アノテーション（右から２番目の画像）およびノイズを含むブートストラップされた核（左端の画像）を示し、下の行は、ブートストラップされて標識化された情報を有する訓練データセットを使用して訓練されたマスクｒｃｎｎ（再帰型畳み込みニューラルネットワーク）モデルからの予測を示す。特に、マスクｒｃｎｎ予測は、より広範囲にわたる（不正確な領域アノテーション境界には一致しない）。さらに、マスクｒｃｎｎ予測は、より「丸く」、核の輪郭にさらに良く一致する。加えて、ブートストラップされた標識（モデルを訓練するために使用される）が不正確であったとしても、領域において優勢でない核は、マスクｒｃｎｎ出力において正しく分類される。これは間質（Ａ、Ｂ）および腫瘍（Ｃ）領域のリンパ球で最も顕著である。

ＩＶ．Ｄ．機械学習モデルから標識を修正するための領域履歴の使用
図７Ａは、ネットワークがブートストラップされた細胞特異的標識で最初に訓練された後に、マスク再帰型畳み込みニューラルネットワークによって画像に対して生成された標識を示す。モデルは、腫瘍、線維芽細胞、リンパ球、形質細胞核、炎症性浸潤物および他の核のいずれかの標識を細胞ごとに選択するように訓練された。

図７Ｂは、画像の領域特異的標識を示す。特に、領域特異的標識は、より大きな標識のセットの中から選択することができる。図示した例では、黄色領域は壊死標識に関連し、灰色領域は腺組織領域に割り当てられる。ニューラルネットワークに利用される潜在的なオブジェクト特異的標識のセットの中に、利用可能な対応する標識はない。細胞間の空間特性の不均一性が高い結果として壊死標識は省略され、また、腺組織標識はこれらの領域／細胞がまれである結果として省略された。

次に、ルールセットをニューラルネットワークの出力に適用して、ネットワークによって識別される標識の代わりに、領域履歴（ｒｅｇｉｏｎ－ｐｒｉｏｒ）標識が割り当てられるオブジェクトを識別することができる。ルールセットは、（ニューラルネットワークによって出力される）信頼度メトリックに関連付けられた各オブジェクト特異的標識が、オブジェクトに対応する領域の標識に変更されるように、信頼度メトリック閾値を指定する第１のルールを含むことができる。ルールセットは、事前に識別されたオブジェクトの空間特性（例えば、サイズおよび形状）が、割り当てられた標識の空間特性に（少なくとも事前に識別された程度で）十分に対応しない場合には、オブジェクト特異的標識が、対応する領域の標識に変更されることを示す第２のルールを含むことができる。図７Ｃは、ルールセットの適用後のオブジェクト特異的標識を示す。特に、壊死および腺組織領域内にあった細胞は正しく標識されている。

ＩＶ．Ｅ． 選択したオブジェクト特異的標識のレビューの促進
図８Ａ～図８Ｄは、どのオブジェクト特異的標識がレビュー担当者に利用されるべきかを決定するために使用される特定のメトリックを示し、レビュー担当者は、割り当てられたオブジェクト特異的標識が正確であるかどうかを示す入力を提供することができる。具体的には、オブジェクトは、標識が不正確である可能性があることを示す１つ以上の特定の特性および／または特性値に関連付けられているかどうかに基づいて、フィルタリングおよび／またはランク付けすることができる。 図８Ａは、セグメント化アーチファクトに対応すると識別されたオブジェクトを示す。図８Ｂは、（例えば、所定の閾値を上回るアスペクト比によって示されるような）所定の閾値を下回るか、または異常な形状を有するエリアに関連付けられたオブジェクトを示す。図８Ｃは、対応する領域特異的標識によって示されるように、領域型内で生理学的に観察されない細胞型に対応するオブジェクト特異的標識が割り当てられたオブジェクトを示す。図８Ｄは、オブジェクト特異的標識が所定の閾値を下回る信頼度メトリックに関連付けられたオブジェクトを示す。

いくつかの例では、各オブジェクトは、オブジェクトがセグメント化アーチファクトに対応するかどうかに関する信頼度、オブジェクトのエリアが非定型である（例えば、サイズ閾値未満）程度、オブジェクトの形状が非定型である（例えば、比閾値を超えるアスペクト比を有する）程度、オブジェクト特異的標識が空間的に対応する領域特異的標識と一致しないかどうか、および信頼度メトリックに基づいてスコアを割り当てられうる。次に、（不規則性を示す）極値に向かうスコアを有するオブジェクトを、レビューのために選択することができる。

図９Ａは、スライド内の複数のボックス領域を示す。各ボックス領域は、異なる視野に対応する。青色と緑色のボックスは、スライドを横切る視野の完全なセットを表す視野に対応する。赤色と紫色のボックスは、レビューのためにフラグが付けられた、より疑わしい標識および／またはオブジェクト特異的標識に関連付けられた視野に対応する。図９Ｂは、ユーザに提示されうる特定の視野の提示を示す。レビューのためにフラグが立てられた選択オブジェクトの周りに境界が描かれる。補正を促進し、分類担当者の確実性を伝えるため、核セグメント化およびシェーディングが使用された。また、セグメント化は、補正のためにドットが配置されたときに、どのオブジェクトが補正されているかについて明確になるように使用された。

Ｖ． 画像内のオブジェクトに標識を付けるために機械学習を使用するためのプロセス
図１０は、画像内のオブジェクトに標識を割り当てるために機械学習を使用するためのプロセスを示す。プロセス１０００は、画像がアクセスされるブロック１００５で始まる。画像は、組織学スライドに対応し、かつ／またはそれを描写することができる。いくつかの例では、パッチのセットを使用して、画像の部分を定義し、これを独立して処理して、オブジェクトを検出し、特徴付けることができる（例えば、この場合、ブロック１０１０～１０２５を各パッチに対して実行することができる）。

ブロック１０１０では、画像内の領域が識別される。領域は、領域の境界を識別することができるユーザ入力に基づいて定義されてよい。領域は、代替的に又は追加的に、セグメント化分析に基づいて定義されてもよい。

ブロック１０１５～１０２５は、識別された領域のそれぞれに適用することができる。ブロック１０１５では、領域特異的標識が各領域について識別される。領域特異的標識は、標識を識別するユーザ入力に基づいて、および／またはコンピュータビジョン分類アプローチに基づいて識別されてもよい。

ブロック１０２０では、領域内のオブジェクトが識別される。オブジェクトは、コンピュータビジョンおよび／またはセグメンテーション分析を使用して識別することができる。識別されたオブジェクトは、細胞のセットを含むことができる。

ブロック１０２５では、オブジェクト特異的標識が各オブジェクトに割り当てられる。このブロックでは、オブジェクトに割り当てられる標識は、オブジェクトを囲む領域に割り当てられたものと同じ標識であると定義される。したがって、このブロックの後に、特定の領域内のすべてのオブジェクトに同じ標識が割り当てられる。

ブロック１０３０では、訓練データセットが、オブジェクト特異的標識の一部または全部を含むように定義される。ブロック１０３５では、拡張標識化は、訓練データセット内のオブジェクトのサブセットに対して定義される。ブロック１０３５は、選択されたオブジェクト特異的標識を、訓練中に使用されない「他の」カテゴリに変更することを含みうる。選択されたオブジェクト特異的標識は、標識化（例えば、壊死）を試す特定の細胞状態を示す特性（例えば、形状および／またはサイズ）を有するオブジェクトに対応することができ、選択されたオブジェクト特異的標識は、所与のコンテキストにおいて（例えば、領域および／または領域特異的標識における他のオブジェクト特異的標識を考慮して）非生理学的になりうる。

ブロック１０４０では、画像処理モデルは、訓練データを使用して訓練されうる。画像処理モデルは、深層ニューラルネットワークを含むことができる。画像処理モデルは、画像およびオブジェクト仕様（例えば、オブジェクトが画像内のどこにあるかを示す）を受け取り、各オブジェクトの標識を出力するように構成することができる。

ブロック１０４５では、オブジェクトの不完全なサブセットをレビューのために選択することができる。サブセットは、標識割り当てがより低い信頼度メトリックに関連付けられる代表的な試料および／または試料を含みうる。

ブロック１０５０では、オブジェクトのサブセットの少なくともいくつかのそれぞれについて、拡張標識が識別されうる。拡張標識は、レビュー担当者によって識別された標識を含みうる。拡張標識は、オブジェクトに最初に割り当てられたオブジェクト特異的標識とは異なる場合がある。いくつかの例では、拡張標識は、最初にオブジェクトに割り当てられたオブジェクト特異的標識と同じである（しかし、それ以降、レビュー担当者によって正確であると確認されている可能性がある）。

ブロック１０５５では、拡張標識を使用して、画像処理モデルの追加の訓練を実行することができる。新しい画像は、個々のオブジェクトを検出するために処理されてもよい。ブロック１０６０では、画像処理モデルを使用して新しい画像が処理され、新しいオブジェクト特異的標識が生成される。ブロック１０６５では、新しいオブジェクト特異的標識の表現が出力される（例えば、送信または提示される）。この表現は、検出されたオブジェクトを識別する、および／またはオブジェクトに割り当てられた特定の標識を示す１つ以上のオーバーレイを有する画像を含むことができる。表現は、追加的に又は代替的に、新しいオブジェクト特異的標識に基づくより高いレベルのデータを含むことができる。より高いレベルのデータは、複数の標識の各々を有するオブジェクトのカウント、複数の標識の各々を有するオブジェクトの割合、標識の空間分布などを識別することができる。したがって、プロセス１０００は、ブートストラップされた標識化および機械学習技術を使用することによって、正確なオブジェクト特異的画像アノテーションを生成することを促進する。

ＶＩ． さらなる考察
本開示のいくつかの実施形態は、１つ以上のデータプロセッサを含むシステムを含む。いくつかの実施形態では、システムは、１つ以上のデータプロセッサ上で実行されると、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部、および／または１つ以上のプロセスの一部または全部を実行させる命令を含む非一時的コンピュータ可読記憶媒体を含む。本開示のいくつかの実施形態は、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部、および／または１つ以上のプロセスの一部または全部を実行させるように構成された命令を含む、非一時的機械可読記憶媒体において有形に具現化されたコンピュータプログラム製品を含む。

使用された用語および表現は、限定ではなく説明の用語として使用され、そのような用語および表現の使用において、示されて説明された特徴の均等物またはその一部を除外する意図はないが、特許請求の範囲に記載された発明の範囲内で様々な変更が可能であることが認識される。したがって、特許請求の範囲に記載された本発明は、実施形態および任意の特徴によって具体的に開示されているが、本明細書に開示された概念の変更および変形は、当業者に任されてもよく、そのような変更および変形は、添付の特許請求の範囲によって定義される本発明の範囲内にあると見なされることを理解されたい。

本明細書は、好ましい例示的な実施形態のみを提供し、本開示の範囲、適用可能性または構成を限定することを意図しない。むしろ、好ましい例示的な実施形態のこの説明は、様々な実施形態を実装するための可能な説明を当業者に提供する。添付の特許請求の範囲に記載の趣旨および範囲から逸脱することなく、要素の機能および配置に様々な変更を加えることができることが理解される。

実施形態の完全な理解を提供するために、以下の説明において具体的な詳細が与えられる。しかしながら、これらの具体的な詳細なしで実施形態が実施されることができることが理解されよう。例えば、回路、システム、ネットワーク、プロセス、および他の構成要素は、実施形態を不必要に詳細に不明瞭にしないために、ブロック図形式の構成要素として示されてもよい。他の例では、実施形態を不明瞭にすることを避けるために、周知の回路、プロセス、アルゴリズム、構造、および技術が不必要な詳細なしに示されてもよい。

Claims (20)

1. コンピュータに実装される方法であって、
   画像のセットにアクセスすることと、
   前記画像のセットの各画像に関して、
   前記画像内の複数の領域を識別することと、
   前記複数の領域の各領域に関して、
   前記領域に対する領域特異的標識を識別することと、
   前記領域内のオブジェクトのセットを検出することと、
   前記オブジェクトのセットの各オブジェクトに、前記オブジェクトがその内部に配置されている前記領域に割り当てられた前記領域特異的標識と同一であるオブジェクト特異的標識を割り当てることと、
   前記画像のセットの各画像に関して、
   検出された前記オブジェクトのセットの各オブジェクトについて、前記オブジェクトの画像内位置データを示すオブジェクト位置データと、
   検出された前記オブジェクトのセットの各オブジェクトについて、前記オブジェクトに割り当てられた前記オブジェクト特異的標識を示す標識データと、
   を含むように訓練データセットを定義することと、
   前記訓練データを使用して画像処理モデルを訓練することであって、前記訓練することは、前記画像処理モデルによって実行される計算を定義するパラメータのセットに対するパラメータ値のセットを学習することを含む、画像処理モデルを訓練することと、
   を含む方法。
2. 前記画像のセットの画像に関して、前記オブジェクトのセットの不完全なサブセットを選択することと、
   １つ以上の提示を促進することであって、前記１つ以上の提示の各提示は、
   前記画像の少なくとも一部、
   前記オブジェクトのセットの前記不完全なサブセットの１つ以上のオブジェクトに対応する前記画像の前記少なくとも一部の１つ以上の部分として示すこと、および、
   前記１つ以上のオブジェクトの各オブジェクトについて、前記オブジェクトに割り当てられる前記オブジェクト特異的標識、
   を含む、１つ以上の提示を促進することと、
   前記オブジェクトのセットの前記不完全なサブセットの少なくとも一部のオブジェクトの各々について、前記オブジェクトに対して異なるオブジェクト特異的標識を識別する応答データを受信することと、
   前記異なるオブジェクト特異的標識と学習された前記パラメータ値のセットとを使用して前記画像処理モデルの追加訓練を実行することであって、前記追加訓練は、前記パラメータのセットの少なくとも一部のパラメータについて、学習された前記パラメータ値のセットにおける対応するパラメータ値とは異なる新しいパラメータ値を含む第２のパラメータ値のセットを生成することを含む、追加訓練を実行することと、
   をさらに含む、請求項１に記載の方法。
3. 新しい画像にアクセスすることと、
   前記第２のパラメータ値のセットで構成された前記画像処理モデルを使用して前記新しい画像を処理することであって、前記処理の結果は、前記新しい画像において検出されたオブジェクトの特定のセットに対応するオブジェクト特異的標識の特定のセットを含む、前記新しい画像を処理することと、
   オブジェクト特異的標識の前記特定のセットの表現を出力することと、
   をさらに含む、請求項２に記載の方法。
4. 前記画像のセットの各画像は、組織のスライスの少なくとも一部を描写する組織学的画像を含み、
   検出された前記オブジェクトのセットの少なくとも一部のオブジェクトの各オブジェクトに関して、
   前記オブジェクトは細胞に対応し、
   前記オブジェクト特異的標識は細胞型に対応する、
   請求項１に記載の方法。
5. 前記画像処理モデルは深層畳み込みニューラルネットワークを含む、請求項１に記載の方法。
6. 前記オブジェクトのセットの各オブジェクトに関して、
   前記オブジェクトのサイズ、形状、テクスチャ、および／または色に関連する前記オブジェクトの１つ以上の特性を決定することと、
   前記１つ以上の特性と、前記オブジェクトに割り当てられた前記オブジェクト特異的標識に関連する記憶された標識特異的特性データとに基づいて、標識不一致条件が満たされているかどうかを決定することと、
   前記標識不一致条件が満たされていると決定された場合、前記オブジェクトに割り当てられた前記オブジェクト特異的標識を異なるオブジェクト特異的標識に更新することと、
   をさらに含む、請求項１に記載の方法。
7. 前記画像のセットの各画像に関して、
   前記画像の提示を促進することと、
   前記画像内の境界のセットを定義する第１のユーザ入力を受信することであって、前記複数の領域の各領域は、前記境界のセットの境界内のエリアに対応するものとして識別される、第１のユーザ入力を受信することと、
   分類のセットを識別する第２のユーザ入力を受信することであって、各領域特異的標識は、前記分類のセットの分類に基づいて識別される、第２のユーザ入力を受信することと、
   をさらに含む、請求項１に記載の方法。
8. １つ以上のデータプロセッサと、
   前記１つ以上のデータプロセッサ上で実行されると、前記１つ以上のデータプロセッサに一連の動作を実行させる命令を含む非一時的コンピュータ可読記憶媒体と、を備えるシステムであって、前記一連の動作は、
   画像のセットにアクセスすること、
   前記画像のセットの各画像に関して、
   前記画像内の複数の領域を識別すること、
   前記複数の領域の各領域に関して、
   前記領域の領域特異的標識を識別すること、
   前記領域内のオブジェクトのセットを検出すること、および、
   前記オブジェクトのセットの各オブジェクトに、前記オブジェクトがその内部に配置されている前記領域に割り当てられた前記領域特異的標識と同一であるオブジェクト特異的標識を割り当てること、
   前記画像のセットの各画像に関して、
   検出された前記オブジェクトのセットの各オブジェクトについて、前記オブジェクトの画像内位置データを示すオブジェクト位置データと、
   検出された前記オブジェクトのセットの各オブジェクトについて、前記オブジェクトに割り当てられたオブジェクト特異的データを示す標識データと、
   を含む、訓練データセットを定義すること、
   前記訓練データを使用して画像処理モデルを訓練することであって、前記訓練することは、前記画像処理モデルによって実行される計算を定義するパラメータのセットに対するパラメータ値のセットを学習することを含む、画像処理モデルを訓練すること、
   を含む、システム。
9. 前記動作は、
   前記画像のセットの画像に関して、前記オブジェクトのセットの不完全なサブセットを選択することと、
   １つ以上の提示を促進することであって、前記１つ以上の提示の各提示は、
   前記画像の少なくとも一部、
   前記オブジェクトのセットの前記不完全なサブセットの前記１つ以上のオブジェクトに対応する前記画像の前記少なくとも一部の１つ以上の部分としての指示、および、
   前記１つ以上のオブジェクトの各オブジェクトに関して、前記オブジェクトに割り当てられた前記オブジェクト特異的標識、
   を含む、１つ以上の提示を促進することと、
   前記オブジェクトのセットの前記不完全なサブセットの少なくとも一部のオブジェクトの各々について、前記オブジェクトの異なるオブジェクト特異的標識を識別する応答データを受信することと、
   前記異なるオブジェクト特異的標識と学習された前記パラメータ値のセットとを使用して前記画像処理モデルの追加訓練を実行することであって、前記追加訓練は、前記パラメータのセットの少なくとも一部のパラメータについて、学習された前記パラメータ値のセットにおける対応するパラメータ値とは異なる新しいパラメータ値を含む第２のパラメータ値のセットを生成することを含む、追加訓練を実行することと、
   をさらに含む、請求項８に記載のシステム。
10. 前記動作は、
    新しい画像にアクセスすることと、
    前記第２のパラメータ値のセットで構成された前記画像処理モデルを使用して前記新しい画像を処理することであって、前記処理の結果は、前記新しい画像において検出されたオブジェクトの特定のセットに対応するオブジェクト特異的標識の特定のセットを含む、前記新しい画像を処理することと、
    オブジェクト特異的標識の前記特定のセットの表現を出力することと、
    をさらに含む、請求項９に記載のシステム。
11. 前記画像のセットの各画像は、組織のスライスの少なくとも一部を描写する組織学的画像を含み、
    検出された前記オブジェクトのセットの少なくとも一部のオブジェクトの各オブジェクトに関して、
    前記オブジェクトは細胞に対応し、
    前記オブジェクト特異的標識は細胞型に対応する、
    請求項８に記載のシステム。
12. 前記画像処理モデルは、深層畳み込みニューラルネットワークを含む、請求項８に記載のシステム。
13. 前記動作は、前記オブジェクトのセットの各オブジェクトに関して、
    前記オブジェクトのサイズ、形状、テクスチャ、および／または色に関連する前記オブジェクトの１つ以上の特性を決定することと、
    前記１つ以上の特性と、前記オブジェクトに割り当てられた前記オブジェクト特異的標識に関連する記憶された標識特異的特性データとに基づいて、標識不一致条件が満たされているかどうかを決定することと、
    前記標識不一致条件が満たされていると決定された場合、前記オブジェクトに割り当てられた前記オブジェクト特異的標識を異なるオブジェクト特異的標識に更新することと、
    をさらに含む、請求項８に記載のシステム。
14. 前記動作は、前記画像のセットの各画像に関して、
    前記画像の提示を促進することと、
    前記画像内の境界のセットを定義する第１のユーザ入力を受信することであって、前記複数の領域の各領域は、前記境界のセットの境界内のエリアに対応するものとして識別される、第１のユーザ入力を受信することと、
    分類のセットを識別する第２のユーザ入力を受信することであって、各領域特異的標識は、前記分類のセットの分類に基づいて識別される、第２のユーザ入力を受信することと
    をさらに含む、請求項８に記載のシステム。
15. １つ以上のデータプロセッサに一連の動作を実行させるように構成された命令を含む、非一時的マシン可読記憶媒体に有形に具現化されるコンピュータプログラム製品であって、前記一連の動作は、
    画像のセットにアクセスすること、
    前記画像のセットの各画像に関して、
    前記画像内の複数の領域を識別すること、
    前記複数の領域の各領域に関して、
    前記領域の領域特異的標識を識別すること、
    前記領域内のオブジェクトのセットを検出すること、および、
    前記オブジェクトのセットの各オブジェクトに、前記オブジェクトがその内部に配置されている前記領域に割り当てられた前記領域特異的標識と同一であるオブジェクト特異的標識を割り当てること、
    前記画像のセットの各画像に関して、
    検出された前記オブジェクトのセットの各オブジェクトについて、前記オブジェクトの画像内位置データを示すオブジェクト位置データと、
    検出された前記オブジェクトのセットの各オブジェクトについて、前記オブジェクトに割り当てられた前記オブジェクト特異的標識を示す標識データと、
    を含む、訓練データセットを定義すること、
    前記訓練データを使用して画像処理モデルを訓練することであって、前記訓練することは、前記画像処理モデルによって実行される計算を定義するパラメータのセットに対するパラメータ値のセットを学習することを含む、画像処理モデルを訓練すること、
    を含む、コンピュータプログラム製品。
16. 前記画像のセットの画像に関して、前記オブジェクトのセットの不完全なサブセットを選択することと、
    １つ以上の提示を促進することであって、前記１つ以上の提示の各提示は、
    前記画像の少なくとも一部、
    前記オブジェクトのセットの前記不完全なサブセットの１つ以上のオブジェクトに対応する前記画像の前記少なくとも一部の１つ以上の部分としての指示、および、
    前記１つ以上のオブジェクトの各オブジェクトに関して、前記オブジェクトに割り当てられた前記オブジェクト特異的標識、
    を含む、１つ以上の提示を促進することと、
    前記オブジェクトのセットの前記不完全なサブセットの少なくとも一部のオブジェクトの各々に関して、前記オブジェクトの異なるオブジェクト特異的標識を識別する応答データを受信することと、
    前記異なるオブジェクト特異的標識と学習された前記パラメータ値のセットとを使用して前記画像処理モデルの追加訓練を実行することであって、前記追加訓練は、前記パラメータのセットの少なくとも一部のパラメータに対して、学習された前記パラメータ値のセットにおける対応するパラメータ値とは異なる新しいパラメータ値を含む第２のパラメータ値のセットを生成することを含む、追加訓練を実行することと、
    をさらに含む、請求項１５に記載のコンピュータプログラム製品。
17. 新しい画像にアクセスすることと、
    前記第２のパラメータ値のセットで構成された前記画像処理モデルを使用して、前記新しい画像を処理することであって、前記処理の結果は、前記新しい画像において検出されたオブジェクトの特定のセットに対応するオブジェクト特異的標識の特定のセットを含む、前記新しい画像を処理することと、
    オブジェクト特異的標識の前記特定のセットの表現を出力することと、
    をさらに含む、請求項１６に記載のコンピュータプログラム製品。
18. 前記画像のセットの各画像は、組織のスライスの少なくとも一部を描写する組織学的画像を含み、
    検出された前記オブジェクトのセットの少なくとも一部のオブジェクトの各オブジェクトに対して、
    前記オブジェクトは細胞に対応し、
    前記オブジェクト特異的標識は細胞型に対応する、
    請求項１５に記載のコンピュータプログラム製品。
19. 前記画像処理モデルは、深層畳み込みニューラルネットワークを含む、請求項１５に記載のコンピュータプログラム製品。
20. 前記オブジェクトのセットの各オブジェクトに対して、
    前記オブジェクトのサイズ、形状、テクスチャ、および／または色に関連する前記オブジェクトの１つ以上の特性の決定することと、
    前記１つ以上の特性と、前記オブジェクトに割り当てられた前記オブジェクト特異的標識に関連する記憶された標識特異的特性データとに基づいて、標識不一致条件が満たされているかどうかを決定することと、
    前記標識不一致条件が満たされていると決定された場合、前記オブジェクトに割り当てられたオブジェクト特異的標識を異なるオブジェクト特異的標識に更新することと、
    をさらに含む、請求項１５に記載のコンピュータプログラム製品。
    

Images