JP2022548160A - 機械学習アルゴリズムを使用したトレーニングデータセットの準備 - Google Patents

Abstract

コンピュータシステムは、複数の画像のための画像派生特徴のデータセットを受け取り、このデータセットの次元を削減し、次元削減データセット内のクラスタを識別し、次元削減データセットのデータポイントの視覚表現を、クラスタによってグループ化されたアイコンとして生成するように構成される。トレーニングデータセットに含めるために、画像にユーザ分類ラベルを適用するためのユーザ入力が受け取られる。ユーザインターフェースは、ユーザに情報を提示し、ユーザから情報を受け取って、ユーザ分類ラベルの適用を容易にするように使用可能である。【選択図】図１

Description

本開示は、一般に、画像認識アルゴリズムをトレーニングするためのトレーニングデータセットの作成に関する。

画像認識アルゴリズムは、機械が、異なる画像と、画像に表された識別オブジェクトとを区別し、様々な事例において、それに応じて画像を分類することを可能にする。しかしながら、画像認識アルゴリズムが、これらタスクを実行するには、最初に、アルゴリズムを、トレーニングデータセットでトレーニングする必要がある。トレーニングデータセットは、アルゴリズムのトレーニングに使用可能な画像のみならず、画像に何が表されているかを示す「正解ラベル」を含む。様々な事例において、これら正解ラベルは、トレーニングデータセットにおける画像をレビューした人によって割り当てられる。

本開示は、ターゲット機械学習アルゴリズムのためのトレーニングデータセットを準備するために、分類ラベルで画像にラベル付けを行うユーザを支援するための機械学習技法の使用に関する。ターゲット機械学習アルゴリズムの精度は、トレーニングデータセットの精度に部分的に依存するため、トレーニングデータセットを準備するには、通常、ユーザが、個々の画像をレビューして、分類ラベルを適用させる必要がある。数百または数千の画像で構成されるトレーニングデータセットの場合、このユーザレビュープロセスは、特に画像をレビューするために専門的なトレーニングを受けたユーザが必要とされる場合、時間および費用がかかる場合がある。したがって、コンピュータシステムを使用すると、ユーザレビュープロセスが容易になり、より正確かつ高速になり、トレーニングデータセットが作成されるプロセスを改善できる。機械学習アルゴリズムを用いて、コンピュータシステムは、同じ分類ラベルを有する可能性が高い画像をグループ化し、実施形態において、分類ラベルを予測できる。

様々な実施形態において、コンピュータシステムは、第１の機械学習アルゴリズムを使用して、複数の画像から特徴を導出する。次に、コンピュータシステムは、次元削減アルゴリズムを使用して、これら画像派生特徴のデータベースの次元を削減する。その後、コンピュータシステムは、クラスタリングアルゴリズムを使用して、次元削減データセットにおけるデータポイントのクラスタを識別する。その後、コンピュータシステムは、次元削減データセットのデータポイントの視覚表現を生成し、ユーザのための画像のうちの１つまたは複数の画像を表示させる。コンピュータシステムは、画像にユーザ分類ラベルを適用するユーザ入力を受け取る。

本開示はまた、ユーザに情報を提示し、ターゲット機械学習アルゴリズムのトレーニングデータセットに含まれる画像に分類ラベルを適用するための入力をユーザから受け取るように動作可能なユーザインターフェースに関する。様々な実施形態において、ユーザインターフェースは、複数の画像、および複数の画像のうちの１つまたは複数から導出された画像データの次元削減データセットの２次元または３次元表現を含む。ユーザインターフェースは、画像を分類するために、ターゲット機械学習アルゴリズムをトレーニングするためのラベル付きトレーニングデータセットを準備するためのユーザ入力を受け取り、ユーザ分類ラベルを画像に適用するように使用可能である。

図１は、複数の画像を使用してトレーニングデータセットを準備するように構成されたコンピュータシステムの実施形態を示すブロック図である。 図２は、様々な実施形態にしたがって、ラベル付けし、トレーニングデータセットに含めるように使用可能な画像のサンプリングの図である。 図３は、様々な実施形態による、トレーニングデータセット作成方法の実施形態を示すフローチャートである。 図４は、複数の画像の次元削減データセットの視覚表現の例の図である。 図５Ａは、開示された実施形態にしたがって、図１のユーザインターフェースによって動作されるグラフィカルユーザインターフェースの例示的な実施形態の表示画面である。 図５Ｂは、開示された実施形態にしたがって、図１のユーザインターフェースによって動作されるグラフィカルユーザインターフェースの例示的な実施形態の表示画面である。 図５Ｃは、開示された実施形態にしたがって、図１のユーザインターフェースによって動作されるグラフィカルユーザインターフェースの例示的な実施形態の表示画面である。 図５Ｄは、開示された実施形態にしたがって、図１のユーザインターフェースによって動作されるグラフィカルユーザインターフェースの例示的な実施形態の表示画面である。 図５Ｅは、開示された実施形態にしたがって、図１のユーザインターフェースによって動作されるグラフィカルユーザインターフェースの例示的な実施形態の表示画面である。 図５Ｆは、開示された実施形態にしたがって、図１のユーザインターフェースによって動作されるグラフィカルユーザインターフェースの例示的な実施形態の表示画面である。 図６は、様々な実施形態による、トレーニングデータセット作成方法の実施形態を示すフローチャートである。 図７は、様々な実施形態による、トレーニングデータセット作成方法の実施形態を示すフローチャートである。 図８は、図１の様々な構成要素を実施し得る例示的なコンピュータシステムのブロック図である。

本開示は、「１つの実施形態」または「実施形態」への言及を含む。「１つの実施形態において」または「実施形態において」という句の出現は、必ずしも同じ実施形態を指すとは限らない。特定の特徴、構成、または特性は、本開示と一致する任意の適切な方式で組み合わせることができる。

本開示内で、（「ユニット」、「回路」、他の構成要素などと様々に呼ばれ得る）異なるエンティティは、１つまたは複数のタスクまたは動作を実行するように「構成された」と説明または主張され得る。－［エンティティ］は、［１つまたは複数のタスクを実行する］ように構成される－というこの定型文は、本明細書で、構成（すなわち、電子回路などの物理的なもの）を指すために使用される。より具体的には、この定型文は、この構成が、動作中、１つまたは複数のタスクを実行するように整えられていることを示すために使用される。構成は、その構成が現在動作されていない場合でも、何らかのタスクを実行するように「構成」されていると言える。「データセットを生成するように構成されたコンピュータシステム」は、たとえば、問題のコンピュータシステムが現在使用されていない（たとえば、電源が接続されていない）場合でも、動作中にこの機能を実行する回路構成を有するコンピュータシステムをカバーすることが意図される。したがって、あるタスクを実行するように「構成された」と説明または記述されたエンティティは、タスクを実施するように実行可能なデバイス、回路、メモリ格納プログラム命令などの物理的なものを指す。この句は、本明細書では、無形のものを指すために使用されない。したがって、「するように構成された」構成は、本明細書では、アプリケーションプログラミングインターフェース（ＡＰＩ）などのソフトウェアエンティティを指すために使用されない。

「構成された」という用語は、「ように構成可能である」ことを意味することは意図されない。たとえば、プログラムされていないＦＰＧＡは、特定の機能を実行するように「構成された」とは見なされないが、その機能を実行「するように構成可能」であり、プログラミング後に機能を実行する「ように構成」される場合がある。

構成が１つまたは複数のタスクを実行するように「構成された」との、添付の特許請求の範囲における記述は、特許請求の範囲の要素について、合衆国法典第３５編第１１２条（ｆ）を行使しないことが明確に意図される。したがって、出願された本出願における特許請求の範囲のいずれも、ミーンズプラスファンクション要素を有すると解釈されることは意図されない。出願人が審査中に第１１２条（ｆ）の行使を希望する場合は、［機能を実行する］「ための手段」構成を使用して、特許請求の範囲の要素を記述する。

本明細書で使用される場合、「第１」、「第２」などの用語は、具体的に述べられていないのであれば、それらが先行する名詞のラベルとして使用され、いかなるタイプの順序付け（たとえば、空間的、時間的、論理的など）も意味しない。たとえば、「第１」および「第２」の機械学習アルゴリズムへの言及は、特に明記されていない限り、これら２つの間の順序付けを意味しない。

本明細書で使用される場合、「に基づく」という用語は、判定に影響を与える１つまたは複数の要因を説明するために使用される。この用語は、追加の要因が判定に影響を与える可能性を排除しない。つまり、判定は、指定された要因のみに基づく場合もあれば、指定された要因のみならず、他の指定されていない要因に基づく場合もある。「Ｂに基づいてＡを判定する」という句を考える。この句は、Ｂが、Ａを判定するために使用される要因、またはＡの判定に影響を与える要因であることを指定する。この句は、Ａの判定が、Ｃなどの他の要因にも基づいている可能性があることを排除しない。この句はまた、ＡがＢのみに基づいて判定される実施形態をカバーするように意図される。したがって、本明細書で使用される場合、「に基づく」という句は、「少なくとも部分的に基づく」という句と同義である。

本明細書で使用される場合、「モジュール」という文言は、一連の動作を格納または実行する構成を指す。モジュールは、一連の動作を実施するハードウェア、またはコンピュータシステムの１つまたは複数のプロセッサによって実行されると、コンピュータシステムに一連の動作を実行させる、一連の命令を格納するメモリを指す。したがって、モジュールは、命令を実施する特定用途向け集積回路、命令を格納するメモリ、および前記命令を実行する１つまたは複数のプロセッサ、または両方の組合せを含み得る。

ここで図１を参照して、コンピュータシステム１００の例示的な実施形態のブロック図が示される。様々な実施形態において、コンピュータシステム１００は、複数の画像１２０を受け取り、複数の画像１２０およびユーザ入力を使用してトレーニングデータセット１３０を準備する。様々な実施形態において、コンピュータシステム１００は、第１の機械学習アルゴリズム１０２、次元削減アルゴリズム１０３、クラスタリングアルゴリズム１０６、第２の機械学習アルゴリズム１１０、およびユーザインターフェース１０８を適用して、画像１２０を使用してトレーニングデータセット１３０を準備する。

様々な実施形態において、コンピュータシステム１００は、画像１２０を受け取り、ユーザ入力を受け取り、トレーニングデータセット１３０を準備するように構成されたいくつかのコンピューティングシステムのいずれかである。様々な実施形態において、コンピュータシステム１００は、単一のコンピューティングシステム（たとえば、単一のサーバ、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、スマートフォン）で実施されるが、他の実施形態において、ともに動作する複数のコンピュータ（たとえば、サーバのクラウド）とともに実施される。様々な実施形態において、コンピュータシステム１００の第１の部分（たとえば、サーバまたはサーバのクラウド）は、様々なアルゴリズムを実行するように構成され、コンピュータシステム１００の第２の部分（たとえば、ラップトップコンピュータ、タブレットコンピュータ）は、ユーザに情報を提示し、ユーザから情報を受け取るために、ユーザインターフェース１０８を実施するように構成される。

様々な実施形態において、複数の画像１２０は、ユーザ分類ラベルなどのメタデータとともに、トレーニングデータセット１３０に含まれるように使用可能である画像のグループのいずれかであり得る。様々な実施形態において、たとえば、画像１２０は、細胞または他の生物学的標本の画像を含む。様々な実施形態において、細胞のこれら画像は、複数の細胞のマルチスペクトル画像、複数の細胞のマルチモーダル画像、またはその両方を含む。そのような画像は、たとえば、標本が蛍光色素で染色され、光源で励起される蛍光画像を使用して作成され得る。しかしながら、開示された技法は、単に細胞の画像に限定されず、トレーニングデータセット１３０に含めることができる任意のタイプの画像（たとえば、植物の写真、動物の写真、周囲の通りを走行中の車両から撮影された写真、人間の顔の画像など）に使用できる。様々な実施形態において、画像１２０の数は、ターゲット機械学習アルゴリズムの基準、ターゲット機械学習アルゴリズムの許容可能なトレーニング時間の量、およびターゲット機械学習アルゴリズムの所望の精度に応じて変化できる。たとえば、画像１２０のより大きなセットは、より大きなトレーニングデータセット１３０に変換できる。ターゲット機械学習アルゴリズムをトレーニングするために必要な時間の量は、トレーニングデータセット１３０のサイズが増加するにつれて増加するが、様々な実施形態において、ターゲット機械学習アルゴリズムの精度も増加する可能性がある。様々な実施形態において、複数の画像１２０は、５００から３０００の画像１２０を含む。様々な実施形態において、画像１２０は、より大きな画像のプールからランダムに選択される。

様々な実施形態において、トレーニングデータセット１３０は、他の画像（すなわち、画像１２０以外の画像）を分類するためにターゲット機械学習アルゴリズムをトレーニングするように使用可能である。そのような実施形態において、トレーニングデータセット１３０は、画像１２０の一部またはすべて、および本明細書で論じられるようにこれら画像１２０に適用されるユーザ分類ラベルを含む。本明細書で使用される場合、「ターゲット機械学習アルゴリズム」は、トレーニングデータセット１３０でトレーニングされた場合に、画像を分類するように使用可能である任意の画像認識アルゴリズムを含む。たとえば、図５Ａ～図５Ｆに関連して本明細書で論じられる実施形態において、トレーニングデータセット１３０は、各画像内の核の数（たとえば、１つ、２つ、または３つ以上）を識別するユーザ分類ラベルを有する細胞の画像を含む。トレーニングデータセット１３０でトレーニングされた後、ターゲット機械学習アルゴリズムは、他の画像が１つ、２つ、または３つ以上の核を含むか否かを判定するように動作可能である。

様々な実施形態において、第１の機械学習アルゴリズム１０２は、画像を（たとえば、画像のピクセルを分析することによって）分析し、これら画像１２０から特徴を導出して、画像派生特徴のデータセットを生成するように実行可能ないくつかのアルゴリズムのうちのいずれかである。様々な実施形態において、第１の機械学習アルゴリズム１０２は、畳み込みニューラルネットワーク（ＣＮＮ）である。そのような実施形態のいくつかでは、第１の機械学習アルゴリズム１０２は、ＩｍａｇｅＮｅｔからの大規模な画像のデータベースでトレーニングされた、Ｉｎｃｅｐｔｉｏｎ Ｖ３畳み込みニューラルネットワークである。第１の傾斜アルゴリズム１０２がＣＮＮである実施形態において、画像のための画像派生特徴は、画像の内容を説明し、異なる画像１２０を区別するために使用される「ボトルネック特徴」である。様々な事例において、画像ごとに数千のボトルネック特徴が存在し得る。第１の機械学習アルゴリズム１０２の出力は、様々な実施形態において、多次元データセット（たとえば、画像１２０の特徴ごとに１つの次元）を含む。たとえば、画像１２０を分析した後、第１の機械学習アルゴリズム１０２は、画像１２０のチャネルごとに２０４８個の特徴のデータセットを生成する。様々な事例において、複数の画像１２０は、１から１２までの画像のチャネルを含む。

様々な実施形態において、次元削減アルゴリズム１０４は、第１の機械学習アルゴリズム１０２によって出力された多次元データセットの次元を、主要な変数のセットを取得することによる検討の下、ランダムな変数の数を削減することによって、次元削減データセットに削減するように実行可能ないくつかのアルゴリズムのうちのいずれかである。様々な実施形態において、次元削減アルゴリズム１０４は、次元を数桁削減する。たとえば、いくつかの実施形態において、第１の機械学習アルゴリズム１０２は、各画像１２０のための２０４８個の特徴を出力し、次元削減アルゴリズム１０４は、このデータセットの次元を３次元以下に削減する。様々な実施形態において、次元削減アルゴリズム１０４は、主成分分析（ＰＣＡ）、均一マニホルド近似および射影（ＵＭＡＰ）、またはｔ分散確率的隣接埋込（ｔ－ＳＮＥ）のうちの１つまたは複数であり得る。

様々な実施形態において、次元削減アルゴリズム１０４はまた、第２の機械学習アルゴリズム１１０から入力を取得するように実行可能である。本明細書で論じられるように、第２の機械学習アルゴリズム１１０は、ユーザインターフェース１０８を介して受け取られたユーザ分類ラベルに基づいて、ラベルなし画像１２０のための予測分類ラベルを出力するように実行可能である。次元削減アルゴリズム１０４は、ラベルなし画像１０２ごとに実行可能であり、これら予測分類ラベルを、第１の機械学習アルゴリズム１０２によって出力された多次元データセットとともに考慮して、たとえば３次元以下を有する別の削減された次元データセットを生成する。

様々な実施形態において、次元削減アルゴリズム１０４は、この削減された次元データセットを、クラスタリングアルゴリズム１０６に出力するように実行可能である。そのような実施形態において、クラスタリングアルゴリズム１０６は、削減された次元データセット内のデータポイントのクラスタを判定するように実行可能である。クラスタリングアルゴリズム１０６は、ｋ－ｍｅａｎｓクラスタリングまたはスペクトルクラスタリングアルゴリズムを含むがこれらに限定されない、いくつかの適切なクラスタリングアルゴリズムのいずれかであり得る。様々な実施形態において、クラスタの数はユーザによって設定され、削減された次元データセットにおける様々なデータポイントは、最も近いクラスタにグループ化される。様々な実施形態において、複数のクラスタは、Ｘ×Ｙ個のクラスタに等しく、ここで、Ｘは、ユーザが画像を分類したいグループの数（たとえば、潜在的なユーザ分類ラベルの数）であり、Ｙは、１以上である。様々な実施形態において、たとえば、Ｙは５に等しいが、他の数を使用できる。様々な実施形態において、（すなわち、ユーザは、ユーザ分類ラベルを入力し、第２の機械学習アルゴリズム１１０および次元削減アルゴリズム１０４は、予測分類ラベルを有する次元削減データセットを出力した）２回目以降の反復中、クラスタリングアルゴリズム１０６は、ラベルなし画像に対応するデータポイントを、最も近い分類ラベルへクラスタ化する。このクラスタリングは、ユーザインターフェース１０８を介して予測分類ラベルとしてユーザに提示される。

様々な実施形態において、ユーザインターフェース１０８は、ユーザに情報を提示し、ユーザが、画像１２０を使用して、トレーニングデータセット１３０を準備できるようにする入力を、ユーザから受け取るように実行可能である。様々な実施形態において、ユーザインターフェース１０８は、各アイコンが１つまたは複数の特定のデータポイントを表すクラスタによってグループ化されたアイコンとして、削減された次元データセットにおけるデータポイントの視覚表現（たとえば、本明細書で図４を参照して論じられる視覚表現４００）を提示するように実行可能なグラフィカルユーザインターフェース（ＧＵＩ）である。様々な実施形態において、ユーザインターフェース１０８の様々な部分は、アイコン自体、データセットにおけるクラスタのリスト、ユーザ分類ラベルのリスト、予測分類ラベルのリスト、またはその組合せなどの１つまたは複数の特定のデータポイントに関連付けられた１つまたは複数の画像１２０を表示させるように選択可能である。ユーザインターフェース１０８はまた、画像１２０のうちの様々な画像のためのユーザ分類ラベルのユーザ入力を受け取るように実行可能である。ユーザインターフェース１０８は、本明細書では、図４および図５Ａ～図５Ｆを参照してさらに詳細に論じられる。

様々な実施形態において、第２の機械学習アルゴリズム１１０は、他の画像１２０のためにユーザによって入力されたユーザ分類ラベルに基づいて、ラベルなし画像１２０の分類ラベルを予測するように実行可能である。様々な実施形態において、第２の機械学習アルゴリズム１１０は、反復最適化アルゴリズムである。様々な実施形態において、第２の機械学習アルゴリズム１１０は、対数損失を伴う確率的勾配降下（ＳＧＤ）モデルまたはランダムフォレストモデルを含むがこれらに限定されない、任意の適切な教師あり学習アルゴリズムであってよい。本明細書で論じられるように、様々な実施形態において、第２の学習アルゴリズム１１０は、次元削減アルゴリズム１０４に出力するように実行可能である。次に、クラスタリングアルゴリズム１０６は、ラベルなし画像１２０のデータポイントを、最も近い分類ラベルにクラスタリングする。そのような実施形態において、このクラスタリングの結果は、予測分類ラベルとしてユーザインターフェース１０８を使用してユーザに提示される。様々な事例において、ユーザは、予測分類ラベルをユーザ分類ラベルとして受け入れるか、または予測分類ラベルを拒否して、別のユーザ分類ラベルを選択し、画像１２０のための分類ラベルを不明としてマークする（たとえば、レビューするために第２のユーザに残す）ことによって、またはトレーニングデータセット１３０から画像１２０を完全に除外することによって、予測分類ラベルに応答する。様々な実施形態において、次元削減アルゴリズム１０４から、クラスタリングアルゴリズム１０６、ユーザインターフェース１０８、第２の機械学習アルゴリズム１１０、次元削減アルゴリズム１０４への図１に示されるループは、すべての画像１２０がラベル付けまたは除外されるまで反復する。画像１２０にラベル付けするプロセスは、図３、図６、および図７を参照して本明細書でさらに詳細に説明される。

様々な実施形態において、本明細書に開示される技法は、ユーザが、複数のラベルなし画像１２０から、トレーニングデータセット１３０を、より迅速かつ正確に準備することを可能にする。ユーザが各画像１２０を単独で見て、トレーニングデータセット１３０に含めるために、その画像１２０にユーザ分類ラベルを割り当てる必要はなく、代わりに、コンピュータシステム１００によって適用される様々なアルゴリズムは、意思決定における様々な支援をユーザに提供して、ラベル付けプロセスをより効率化する。これは、特定の画像１２０にどのラベルを適用するかの決定が、特定のトレーニングを受け、労働時間が高価である個人（たとえば、微生物学者または放射線科医）によってレビューされる事例において特に重要である。

本明細書で論じられる様々な実施形態において、第１の機械学習アルゴリズム１０２、次元削減アルゴリズム１０４、およびクラスタリングアルゴリズム１０６は、機械学習技法を使用して、視覚的特性を共有すると予測され、多くの場合、同じユーザ分類ラベルを与えられる様々なクラスタに、画像１２０を事前に分類する。（たとえば、図４に関連して論じられた視覚表現４００における）クラスタリングの視覚表現、ならびにラベル付けされている画像は、様々な実施形態において、ユーザインターフェース１０８を使用して表示される。本明細書で論じられるように、ユーザは、様々なクラスタをレビューし、（たとえば、複数の画像１２０を強調表示し、各強調表示された画像にラベルを適用することによって）同時に複数の画像１２０にユーザ分類ラベルを割り当てることができる。本明細書で論じられるように、クラスタリングのこのプロセスは、「教師なし」（すなわち、最初のクラスタリングではユーザ入力が使用されなかった）トレーニング技法を使用し、このトレーニング技法は、その後、トレーニングデータセット１３０のために、ラベル付けされた材料を準備するために、ユーザによってレビューされる。

本明細書で論じられるように、様々な実施形態において、いくつかのユーザ分類ラベルが入力された後、第２の学習アルゴリズム１２０を使用して、コンピュータシステム１００は、ユーザの入力を考慮して、ラベル付けプロセスをさらに合理化できる。本明細書で論じられるように、第２の学習アルゴリズム１１０を使用することにより、コンピュータシステム１００は、ラベルなしのままの画像１２０の一部（またはすべて）について、どの分類ラベルが正しいかを予測するように動作可能である。様々な実施形態において、次元削減アルゴリズム１０４は、第２の学習アルゴリズム１１０の出力を考慮して、クラスタリングアルゴリズム１０６を使用して、クラスタ化される第２の次元削減データセットを生成する。本明細書で論じられるように、ユーザインターフェース１０８は、予測されたユーザ分類ラベルのクラスタを（たとえば、図５Ｅおよび図５Ｆに関連して論じられる視覚表現５１２で）ユーザに示すように更新される。本明細書で論じられるように、ユーザは、様々なクラスタをレビューし、（たとえば、複数の画像１２０を強調表示し、各強調表示された画像にラベルを適用することによって）同時に複数の画像１２０にユーザ分類ラベルを割り当てることができる。本明細書で論じられるように、このクラスタリングのプロセスは、「半教師あり」（すなわち、以前のユーザ入力が、改訂されたクラスタリングで使用されたが、ユーザはまだ、すべての画像１２０をレビューしていない）トレーニング技法を使用し、このトレーニング技法は、その後、トレーニングデータセット１３０のために、ラベル付けされた材料を準備するために、ユーザによってレビューされる。したがって、様々な実施形態において、本明細書に開示される技法は、データセット１３０をトレーニングするために画像１２０にラベル付けするユーザに、教師なしクラスタリングから、半教師ありの予測への、ガイド付きパスを提供すると同時に、意思決定を支援するための視覚化および直感的なユーザインターフェースを提供する。

ここで図２を参照するように、画像１２０のサンプリングが示される。様々な実施形態において、各画像１２０は、視覚部分およびメタデータ２０２（たとえば、特定の画像１２０の名前、作成されたときなど）を含む。図５Ａ～図５Ｆに関連して本明細書で論じられるように、様々な実施形態において、特定の画像１２０がレビューされ、（たとえば、ユーザインターフェース１０８を使用して）ラベル付けされている場合、画像は、オブジェクト２００を使用して表される。様々な実施形態において、オブジェクト２００は、特定の画像（図２に示される画像の名前など）に関するメタデータ２０２を含み、選択可能である。本明細書で論じられるように、様々な実施形態において、オブジェクト２００を選択することにより、ユーザは、ユーザ分類ラベルを適用する（および／または予測分類ラベルに応答する）ことができる。

図２はまた、画像派生特徴２０４の少数の例を含む。様々な実施形態において、第１の機械学習アルゴリズム１０２は、画像１２０から様々な特徴を導出する。様々な事例において、これら特徴は、画像１２０のピクセルデータの数学的記述によって表される。しかしながら、視覚的に表される場合、これら画像派生特徴２０４は、他の画像１２０と区別できるように画像１２０を集合的に記述する画像１２０の一部である。したがって、３つの画像派生特徴２０４ａ、２０４ｂ、および２０４ｃが図２に示されているが、画像派生特徴の数は、上記で論じたように、３つよりはるかに多い可能性がある（たとえば、様々な実施形態において、画像１２０あたり数千の特徴がある）。

ここで図３を参照して、トレーニングデータセット作成方法３００の実施形態を示すフローチャートが示される。様々な実施形態において、方法３００に関連付けられた様々な動作は、コンピュータシステム１００を用いて実行される。

ブロック３０２において、ユーザは、トレーニングデータセット１３０を準備するために、ラベル付けのために、ラベルなし（または十分にラベル付けられていない）トレーニングデータセット（たとえば、複数の画像１２０）を入力する。本明細書で論じられるように、ユーザは、画像のより大きな集合から、ラベル付けする画像１２０をランダムに選択し得る。ユーザは、ストレージ媒体（たとえば、ディスクまたはハードドライブ）の挿入、または画像１２０のコンピュータシステム１００へのダウンロードを含むがこれらに限定されない任意の適切な方法によって画像１２０を入力し得る。本明細書で論じられる技法のいくつかが、コンピュータのリモートクラウドにおいて実施される、コンピュータシステム１００によって実行される様々な実施形態において、ユーザは、処理のために、画像１２０をクラウドにアップロードし得る。

ブロック３０４において、コンピュータシステム１００は、トレーニングデータセットからのピクセルデータから（たとえば、第１の機械学習アルゴリズム１０２を用いて）特徴（たとえば、図２に示される特徴２０４）を導出する。ブロック３０６において、コンピュータシステム１００は（たとえば、次元削減アルゴリズム１０４を用いて）、特徴２０４の次元を削減する。様々な事例において、次元削減は、複数の画像を使用して、第１の機械学習アルゴリズム１０２によって準備された派生特徴２０４のデータセットに対して実行される。他の事例では（たとえば、方法３００がブロック３１４からブロック３０６に進むとき）、複数の画像１２０のいくつかに適用されたユーザ分類ラベルを考慮しながら、派生特徴２０４のデータセットに対して次元削減が実行される。いずれの事例でも、次元削減アルゴリズム１０４は、複数の画像１２０のおのおのである、比較的大きな次元のデータセット（たとえば、画像１２０の２０４８個の特徴のデータセット）を受け取り、このデータセットを、いくつかの実施形態では、２次元、または他の実施形態では、３次元などの実質的に少数の次元に削減する。

ブロック３０８において、コンピュータシステム１００は、次元削減データセットのデータポイントの視覚表現４００（本明細書では「オブジェクトマップ」とも呼ばれる）を準備する。図４を参照してさらに詳細に論じられるように、この視覚表現４００は、様々な実施形態において、次元削減データベースにおける１つまたは複数のデータポイントを表すアイコンを用いた２次元プロットである。他の実施形態において、視覚表現４００は、次元削減データベースにおける１つまたは複数のデータポイントを表すアイコンを用いた３次元プロットである。

ブロック３１０において、複数の画像１２０のための分類ラベルを予測するか否かの判定がなされる。様々な実施形態において、コンピュータシステム１００は、入力されたユーザ分類ラベルの数に基づいて、この判定を行うように構成される。たとえば、しきい値（たとえば、３０％、４０％、または他のしきい値）を下回るラベルである画像１２０のパーセンテージである場合、またはユーザ分類が受け取られていない場合、判定は自動的に行われ、方法３００はブロック３１２に進む。パーセンテージがしきい値を超える場合、方法３００はブロック３１０に進む。様々な実施形態において、判定は、方法３００が、ブロック３１２またはブロック３１４へ進むべきか否かを判定するユーザによって行われ、コンピュータシステム１００は、ユーザからのコマンドにしたがって進む。

ブロック３１２において、コンピュータシステム１００は、様々な実施形態において、次元削減データセットを、（たとえば、クラスタリングアルゴリズム１０６を用いて）所定数のクラスタにクラスタ化する。予測分類ラベルが生成されていない方法３００の反復では、クラスタリングアルゴリズムは、データポイントをＸ×Ｙ個のクラスタにクラスタ化し、ここで、Ｘは、ユーザが画像を分類したいグループの数（たとえば、ユーザ分類ラベルの数）であり、Ｙは、１以上（たとえば、３、４、５）である。様々な実施形態において、これらクラスタは、図４および図５Ａ～図５Ｆに関連して本明細書で論じられる視覚表現４００に組み込まれる。

ブロック３１６において、コンピュータシステム１００は、分類ラベルを予測すると判定し、（たとえば、第２の学習アルゴリズム１１０を用いて、）複数の画像１２０におけるラベルなし画像のための分類ラベルを予測する。分類ラベルが予測された方法３００の反復では、様々なデータポイントが、各ユーザ分類ラベルのためのクラスタにクラスタ化される。そのような実施形態において、ユーザ分類ラベルを有する画像１２０を表すデータポイントは、それぞれのラベルに関連付けられたクラスタにクラスタ化され、ラベルなしデータポイントは、予測分類ラベルとして、最も近いクラスタにクラスタ化される。コンピュータシステム１００は、予測分類ラベルを組み込んだ視覚表現４００を生成する。様々な実施形態において、この更新された視覚表現４００は、図５Ｄ、図５Ｅ、および図５Ｆを参照してさらに詳細に論じられるように、ユーザインターフェース上に現れる。

ブロック３１４および３１８において、コンピュータシステム１００は、ユーザ分類ラベルを適用するためのユーザ入力を受け取る。ブロック３１４において、コンピュータシステム１００は、ユーザ入力を受け取って、ユーザ分類ラベルを、１つまたは複数のラベルなし画像１２０に適用する。様々な実施形態において、この入力は、図５Ｃを参照してさらに詳細に論じられるように、ユーザインターフェース上に現れるメニューを介して受け取られる。同様に、ブロック３１８において、コンピュータシステム１００は、様々な実施形態において、予測分類ラベルを与えられた１つまたは複数のラベルなし画像１２０に、ユーザ分類ラベルを適用するためのユーザ入力を受け取る。様々な実施形態において、この入力は、図５Ｆを参照してさらに詳細に論じられるように、ユーザインターフェース１０８上に現れるメニューを介して受け取られる。様々な実施形態において、そのようなユーザ分類ラベルは、ターゲット機械学習アルゴリズムをトレーニングする際に使用するための画像に含まれるものを説明する、様々な画像１２０のためのラベルを含む（たとえば、図５Ａ～図５Ｆで論じられるように、画像は、１つの核、２つの核、または３つ以上の核を含む）。様々な実施形態において、ユーザ分類ラベルはまた、トレーニングデータセット１３０から画像を除外するラベルとなることができる。様々な実施形態において、ユーザ分類ラベルは、ラベルを不明とすることができる（たとえば、ユーザは、どのラベルを適用するかを識別できない）。様々な実施形態において、不明および除外とラベルされた画像１２０は、トレーニングデータセット１３０に含まれない。ブロック３１４および３１８の後、複数の画像１３０のいくつかが、ラベルなしのままである場合、方法３００は、様々な実施形態において、ブロック３０６にループバックする。

ここで図４を参照して、複数の画像１２０のための次元削減データセットの例示的な視覚表現４００が示される。図４に示される実施形態において、視覚表現４００は、クラスタ４０２にグループ化された次元削減アルゴリズム１０４によって出力された次元削減データセットにおけるデータポイントを表す複数のアイコン４０４を含む２次元レンダリングである。図４に示される実施形態において、次元削減データセットにおけるデータポイントは、１５個のクラスタ４０４ａ～４０４ｏにグループ化される。様々な実施形態において、このクラスタリングは、（ａ）同じクラスタ４０２におけるデータポイントに対応するアイコン４０４が、ともに密集して配置されるように、視覚表現４００をレンダリングすること、（ｂ）同じクラスタ４０２におけるデータポイントに対応するアイコン４０４が、同じ色（たとえば、クラスタ４０２ａの場合は赤、クラスタ４０２ｂの場合は青、クラスタ４０２ｃの場合は緑）で陰影付けられるように、視覚表現４００をレンダリングすること、（ｃ）同じクラスタ４０２におけるデータポイントに対応するアイコン４０４が、ポリゴンによって囲まれるように、視覚表現４００をレンダリングすること、または組合せを含むが、これらに限定されない、１つまたは複数の技法を使用して、視覚表現４００において表される。様々な実施形態において、図４に示される視覚表現４００の２次元実施形態における様々なアイコン４０４の位置は、次元削減データセットの２次元に基づく（たとえば、Ｘ軸座標は、第１の次元に基づき、Ｙ軸座標は、第２の次元に基づく）。同様に、次元削減データセットが、３次元を有する場合、視覚表現４００は、次元削減データセットの３次元に基づく様々なアイコン４０４の位置を有する３次元図である（たとえば、Ｘ軸座標は、第１の次元に基づき、Ｙ軸座標は、第２の次元に基づき、Ｚ軸座標は、第３の次元に基づく）。本明細書で論じられるように、クラスタの数は、ユーザ分類ラベルの数と、予測分類ラベルが生成されたか否かとに応じて変化し得る。

図５Ｅおよび図５Ｆを参照して本明細書で論じられるように、更新された視覚表現５１２は、ユーザ分類ラベルのおのおのについて、１つのクラスタにグループ化された（今回は、第２の機械学習アルゴリズム１１１の出力を考慮する）次元削減アルゴリズム１０４によって出力された次元削減データセットを表示する、様々な事例において生成される。様々な実施形態において、このクラスタリングは、（ａ）同じクラスタ４０２におけるデータポイントに対応するアイコン４０４が、ともに近くに配置されるように、視覚表現５１２をレンダリングすること、（ｂ）同じクラスタ４０２におけるデータポイントに対応するアイコンが、同じ色で陰影付けられるように、視覚表現５１２をレンダリングすること、（ｃ）同じクラスタ４０２におけるデータポイントに対応するアイコン４０４が、ポリゴンによって囲まれるように、視覚表現５１２をレンダリングすること、または組合せを含むが、これらに限定されない、１つまたは複数の技法を使用して、視覚表現４００において表される。

ここで、図５Ａ～図５Ｆを参照して、開示された実施形態にしたがって、ユーザインターフェース１０８によって動作されるグラフィカルユーザインターフェース（ＧＵＩ）５００の例示的な実施形態の様々な表示画面が示される。様々な実施形態において、ＧＵＩ５００は、コンピュータシステム１００に（たとえば、ＨＤＭＩケーブルを介して）直接、または（たとえば、ＷＡＮおよび/またはＬＡＮを介して表示画面へストリーミングされて）間接的に結合された表示画面（たとえば、モニタ、ラップトップコンピュータディスプレイ、タブレットコンピュータディスプレイ）に表示される。本明細書で論じられるように、ＧＵＩ５００は、情報をユーザに提示し、ターゲット機械学習アルゴリズムをトレーニングするために、ラベル付けされたトレーニングデータセット１３０を準備するための入力（たとえば、入力分類画像１３０）を、ユーザから受け取るように使用可能である。

ＧＵＩ５００の各画面において、複数の領域が、本明細書で論じられる様々な情報を表示するために使用される。様々な実施形態において、各画面は、２次元視覚表現４００（または更新された視覚表現５１２）を含む第１の領域５１０を含む。本明細書で論じられるように、視覚表現４００は、複数の画像から導出された画像データの次元削減データセットを表す。様々な実施形態において、２次元視覚表現４００は、データセット内の複数のアイコン４０４と、クラスタ４０２の表示とを含む。様々な実施形態において、各画面はまた、複数の画像１３０のうちの１つまたは複数の画像を含む第２の領域を含む。様々な実施形態において、様々な画面は、識別されたクラスタのリスト（および実施形態において、おのおのにグループ化された画像１３０の数）を表示するための第３の領域５３０を含む。様々な他の実施形態において、様々な画面は、予測分類ラベルのリスト（および実施形態において、おのおのにグループ化された画像１３０の数）を表示するための更新された第３の領域５３２を含む。様々な実施形態において、様々な画面は、ユーザ分類ラベルのリスト（および実施形態において、おのおのでラベル付けされた画像１３０の数）を表示するための第４の領域５４０を含む。図５Ａ～図５Ｆにおいて、第１の領域５１０は、ＧＵＩ５００の右側に配置され、第２の領域５２０は、ＧＵＩ５００の中央に配置され、第３の領域５３０（および更新された第３の領域５３２）および第４の領域５４０は、ＧＵＩ５００の左側に配置されるが、これら様々な領域は、任意の順序で並べることができる。図５Ａ～図５Ｆにおける様々な領域は、同じウィンドウの一部として示されているが、他の実施形態において、領域のいくつかまたはすべては、別個のウィンドウとして提示され得る。再び図３を参照すると、ブロック３０２～３１２の動作は、図５Ａに示される画面の表示前に実行され、ブロック３１４の動作は、図５Ｃに示される画面の表示中に実行され、ブロック３１０における決定は、図５Ｄに示される画面の表示中に行われ、ブロック３１６の動作は、図５Ｅに示される画面の表示前に実行され、ブロック３１６の動作は、図５Ｆに示される画面の表示中に実行される。

様々な実施形態において、第１の領域５１０は、図４を参照して本明細書で論じられる視覚表現４００、または図５Ｅおよび図５Ｆを参照して本明細書で論じられる更新された視覚表現５１２を表示するように使用可能である。様々な実施形態において、視覚表現４００（または更新された視覚表現５１２）の各アイコン４０４は、次元削減データセットにおける１つまたは複数のデータポイントを表す。さらに、そのような実施形態において、各アイコン４０４は、複数の画像１２０のうちの１つまたは複数の画像を表し、表された画像１２０を、第２の領域５２０に表示させるように選択可能である。

様々な実施形態において、第２の領域５２０は、１つまたは複数の画像１２０を表示するように使用可能である。様々な実施形態において、第２の領域５２０に表示される画像１２０は、第１の領域５１２０の一部（たとえば、アイコン４０４によって表される画像１２０を表示させる１つまたは複数のアイコン４０４）、第３の領域５３０または更新された第３の領域５３２の一部（たとえば、そのクラスタに関連付けられた画像１２０を表示させる特定のクラスタに対応するリストの一部）、および／または第４の領域５４０の一部（たとえば、特定のユーザ分類ラベルでラベル付けされた画像１２０を表示させるユーザ分類ラベルに対応するリストの一部）の使用選択に応じて表示される。第２の領域５２０に表示される各画像１２０は、様々な実施形態において、オブジェクト２００として表示される。図２を参照して本明細書で論じられるように、各オブジェクトは、画像１２０のためのメタデータに関連付けられ、選択可能である。たとえば、本明細書で論じられるように、ユーザは、画像を選択することにより、ユーザ分類ラベルを適用するか、または選択された画像１２０のための予測分類ラベルに応答することができる。

様々な実施形態において、第３の領域５３０は、データセット内のクラスタのリストを表示するように使用可能である。同様に、（本明細書では「第５の領域」とも呼ばれる）更新された第３の領域５３２は、残りのラベルなし画像１２０がクラスタ化される予測分類ラベルのリストを表示するように使用可能である。いずれの場合も、リストの各エントリは、様々な実施形態において、そのクラスタに関連付けられた画像１２０を、第２の領域５２０に表示させるように選択可能である。様々な実施形態において、第３の領域５３０および更新された第３の領域５３２に表示されるリストは、各クラスタに関連付けられたそれぞれの画像１２０の数の表示を含む。

様々な実施形態において、第４の領域５４０は、画像１２０に適用されるユーザ分類ラベルのリストを表示するように使用可能である。そのような実施形態のいくつかでは、リストの各エントリは、ユーザ分類ラベルでラベル付けされた画像１２０を、第２の領域５２０に表示させるように選択可能である。様々な実施形態において、第４の領域５４０に表示されるリストは、各ユーザ分類ラベルでラベル付けされたそれぞれの画像１２０の数の表示を含む。

ここで図５Ａを参照して、ＧＵＩ５００の第１の画面が示される。この第１の画面の表示前に、画像１２０は、コンピュータシステムによって受け取られ、第１の機械学習アルゴリズム１０２は、画像１２０から特徴を導出し、導出された特徴のデータセットの次元は、次元削減アルゴリズム１０４によって削減され、クラスタリングアルゴリズム１０６によってクラスタが決定された。次元削減データセットの視覚表現４００は、第１の領域５１０において表示される。いくつかの画像１２０が、第２の領域５２０に表示されるが、ユーザ選択が受け取られていないので、表示される画像１２０は、特定のクラスタに関連付けられていない（たとえば、ランダムに表示され得、キャプチャされたときの時系列で表示され得、名前のアルファベット順に表示され得る）。クラスタのリストは、各クラスタに関連付けられた画像１２０の数の表示とともに、第３の領域５３０に表示される。最後に、この事例で使用される３つのユーザ分類ラベルのリストは、第４の領域５４０において表示される。図５Ａ～図５Ｆに示される例では、ユーザ分類ラベルは、各画像１２０に存在する細胞核の数に基づいて決定され、１つの核を含む画像１２０の場合は１Ｎ、２つの核を含む画像１２０の場合は２Ｎ、３つ以上の核を含む画像１２０の場合は３＿４Ｎである。本明細書で論じられるように、３つを超えるユーザ分類ラベルを使用することができ、特定の画像１２０にどのラベルを適用すべきかを判定するための基準もまた、様々な事例において変化する。

ここで図５Ｂを参照すると、クラスタ４０２ｂにおける１つまたは複数のアイコン４０４のユーザ選択が受け取られている。それに応じて、クラスタ４０２ｂに関連付けられた画像１２０が、第２の領域５２０に表示され、クラスタ４０２ｂに関連付けられた第３の領域５３０におけるリストの一部が強調表示される。

ここで図５Ｃを参照すると、様々な実施形態において、ユーザ分類ラベルは、ＧＵＩ５００に表示されたメニュー５２２を介してユーザから受け取られる。様々な実施形態において、メニュー５２２は、トレーニングデータセット１３０のための様々なラベル、ならびにトレーニングデータセット１３０から１つまたは複数の画像１２０を除外するためのラベルなどの追加のラベルを含む、各ユーザ分類ラベルの表示を含む。図５Ｃに示される例では、メニュー５２２は、３つのユーザ分類ラベル１Ｎ、２Ｎ、および３＿４Ｎの表示、ならびにそれに応じて選択された画像１２０をマークするための「不明に移動」および「除外に移動」するコマンドを含む。図５Ｃに示されるように、いくつかの画像１２０は、第２の領域５２０において強調表示され、メニュー５２２へのユーザ入力は、強調表示された画像１２０にユーザ分類ラベルまたはコマンドを適用する。

ここで図５Ｄを参照すると、様々な画像１２０にユーザ分類ラベルを適用するユーザ入力が受け取られている。第４の領域５４０に示されるように、１７０の画像は、１Ｎとラベル付けされ、１１０の画像は、２Ｎとラベル付けされ、１４６の画像１２０は、３＿４Ｎとラベル付けされている。図５Ｄに示される実施形態において、ユーザは、ボタン５２４をクリックすることで分類ラベルを予測するためのコマンドを入力できる。このコマンドに応答して、予測分類ラベルは、方法３００のブロック３１６で論じられるように割り当てられる。あるいは、しきい値数の画像１２０がラベル付けされた後、分類ラベルの予測が自動的に行われる。

ここで図５Ｅを参照すると、ＧＵＩ５００は、更新された視覚表現５１２および更新された第３の領域５３２を含む。本明細書で論じられるように、残りのラベルなし画像１２０は、予測分類ラベルを割り当てられ、予測分類ラベルによってクラスタ化される。したがって、視覚表現５１２は、４つのクラスタを含み、１つは、各ユーザ分類ラベルに関連付けられ、もう１つは、分類ラベルが判定されていない（または何らかの理由で判定できない）画像用である。更新された第３の領域５３２は、予測分類ラベルのリスト、Ｐｒｅｄ １Ｎ、Ｐｒｅｄ ２Ｎ、Ｐｒｅｄ ３＿４Ｎ、不明、および各予測ラベルにおける画像１２０の数の表示を含む。様々な実施形態において、更新された視覚表現５１２はまた、ユーザ分類ラベルを有する画像１２０に関連付けられたデータポイントを含む。これらラベル付き画像１２０を表すアイコン４０４は、異なる色である、（たとえば、ラベル付き画像１２０を表すアイコン４０４は、ラベルなし画像１２０を表すアイコン４０４よりも暗い色であるが、濃い緑と薄緑、または濃い青と水色などの同じ色の系統である）こと、または、異なる形状であること（たとえば、ラベルなし画像の場合は、円形アイコン４０４、ラベルの付きの画像１２０の場合は、星型アイコン）によることを含むが、限定されない、ラベルなし画像を表すアイコン４０４と視覚的に異なり得る。本明細書で論じられる視覚表現４００と同様に、更新された視覚表現５１２のアイコン４０４は、選択されたアイコン４０４によって表される画像１２０を表示させることができる選択された。図５Ｅに示す画面では、Ｐｒｅｄ １Ｎクラスタが選択される。この選択に応答して、Ｐｒｅｄ １Ｎクラスタにおける画像１２０が、第２の領域５２０に表示される。

ここで図５Ｆを参照すると、様々な実施形態において、ユーザは、ＧＵＩ５００に表示されたメニュー５２２を介してユーザから受け取られるコマンドによって、予測分類ラベルに応答する。様々な実施形態において、メニュー５２２によって、ユーザは、メニュー５２２における予測分類ラベルに対応するユーザ分類ラベルの表示を選択することによって、予測分類ラベルを、ユーザ分類ラベルとして受け入れることができるか、または、メニュー５２２における異なる表示を選択することによって、予測分類ラベルを拒否できる。様々な実施形態において、メニュー５２２は、トレーニングデータセット１３０のための様々なラベル、ならびにトレーニングデータセット１３０から１つまたは複数の画像１２０を除外するためのラベルなどの追加のラベルを含む、各ユーザ分類ラベルの表示を含む。図５Ｆに示される例では、メニュー５２２は、３つのユーザ分類ラベル１Ｎ、２Ｎ、および３＿４Ｎの表示、ならびにそれに応じて選択された画像１２０をマークするための「不明に移動」および「除外に移動」するコマンドを含む。図５Ｆに示されるように、いくつかの画像１２０は、第２の領域５２０において強調表示され、メニュー５２２へのユーザ入力は、強調表示された画像１２０にユーザ分類ラベルまたはコマンドを適用する。

ここで図６を参照して、トレーニングデータセット作成方法６００の実施形態を示すフローチャートが示される。様々な実施形態において、方法６００に関連付けられた様々な動作は、コンピュータシステム１００を用いて実行される。ブロック６０２において、コンピュータシステム１００は、複数の画像１２０のおのおののための画像派生特徴のデータセットを受け取り、画像派生特徴は、複数の画像１２０を分析するために、第１の機械学習アルゴリズム１０２を使用することによって決定される。ブロック６０４において、コンピュータシステム１００は、次元削減アルゴリズム１０６を使用して、画像派生特徴のデータセットから、次元削減データセットを生成する。ブロック６０６において、コンピュータシステムは、クラスタリングアルゴリズム１０６を使用して、次元削減データセット内のデータポイントの複数のクラスタを識別する。ブロック６０８において、コンピュータシステム１００は、クラスタ４０２によってグループ化されたアイコン４０４として、データポイントの視覚表現４００を生成する。各アイコン４０４は、１つまたは複数の特定のデータポイントを表し、１つまたは複数の特定のデータポイントに関連付けられた１つまたは複数の画像１２０を表示させるように選択可能である。ブロック６１０において、コンピュータシステム１００は、アイコン４０４のうちの１つまたは複数のアイコンの選択を受け取る。ブロック６１２において、コンピュータシステム１００は、１つまたは複数の選択されたアイコン４０４によって表される１つまたは複数の特定のデータポイントに関連付けられた画像１２０を表示させる。ブロック６１４において、コンピュータシステム１００は、表示された画像のうちの少なくとも１つの画像のためのユーザ分類ラベルを受け取る。ブロック６１６において、コンピュータシステム１００は、ラベルなし画像１２０のための分類ラベルを予測し、予測分類ラベルに対するユーザ応答を受け取る。

ここで図７を参照して、トレーニングデータセット作成方法７００の実施形態を示すフローチャートが示される。様々な実施形態において、方法７００に関連付けられた様々な動作は、コンピュータシステム１００を用いて実行される。ブロック７０２において、コンピュータシステム１００は、画像を分類するために、ターゲット機械学習アルゴリズムをトレーニングするために、ラベル付けされたトレーニングデータセット１３０を準備するためのユーザインターフェース（たとえば、ＧＵＩ５００）をユーザデバイス上に表示させる。ユーザインターフェースは、複数の画像１２０から導出された画像データの次元削減データセットの２次元視覚表現４００を含む第１の領域５１０を含む。２次元視覚表現４００は、データセット内の複数のアイコン４０４と、クラスタ４０４の表示とを含む。ユーザインターフェースはまた、複数の画像１２０のうちの１つまたは複数の画像を含む第２の領域５２０を含む。ブロック７０４において、コンピュータシステム１００は、第２の領域５２０に表示された画像１２０のうちの１つまたは複数の画像にユーザ分類ラベルを適用するユーザ入力を受け取る。

例示的なコンピュータシステム

ここで図８に移って示すように、コンピュータシステム１００の様々な構成要素を実施し得る、例示的なコンピュータシステム８００のブロック図が示される。コンピュータシステム８００は、相互接続８６０（たとえば、システムバス）を介して、システムメモリ８２０およびＩ／Ｏインターフェース８４０に結合されたプロセッササブシステム８８０を含む。Ｉ／Ｏインターフェース８４０は、１つまたは複数のＩ／Ｏデバイス８５０に結合される。コンピュータシステム８００は、サーバシステム、パーソナルコンピュータシステム、デスクトップコンピュータ、ラップトップまたはノートブックコンピュータ、メインフレームコンピュータシステム、タブレットコンピュータ、ハンドヘルドコンピュータ、ワークステーション、ネットワークコンピュータ、モバイル電話のような消費者向けデバイス、音楽プレーヤ、または情報携帯端末（ＰＤＡ）を含むがこれらに限定されない、様々なタイプのデバイスのいずれかであり得る。便宜上、単一のコンピュータシステム８００が図８に示されているが、システム８００はまた、ともに動作する２つ以上のコンピュータシステムとして実施され得る。

プロセッササブシステム８８０は、１つまたは複数のプロセッサまたは処理ユニットを含み得る。コンピュータシステム８００の様々な実施形態において、プロセッササブシステム８８０の複数のインスタンスは、相互接続８６０に結合され得る。様々な実施形態において、プロセッササブシステム８８０（または８８０内の各プロセッサユニット）は、キャッシュまたは他の形態のオンボードメモリを含み得る。

システムメモリ８２０は、プロセッササブシステム８８０によって実行可能なプログラム命令を格納して、システム８００に対して、本明細書で説明される様々な動作を実行させるように使用可能である。システムメモリ８２０は、ハードディスクストレージ、フロッピーディスクストレージ、リムーバブルディスクストレージ、フラッシュメモリ、ランダムアクセスメモリ（ＲＡＭ－ＳＲＡＭ、ＥＤＯ ＲＡＭ、ＳＤＲＡＭ、ＤＤＲ ＳＤＲＡＭ、ＲＡＭＢＵＳ ＲＡＭなど）、読取専用メモリ（ＰＲＯＭ、ＥＥＰＲＯＭなど）などのような異なる物理メモリ媒体を使用して実施され得る。コンピュータシステム８００におけるメモリは、メモリ８２０などの一次ストレージに限定されない。むしろ、コンピュータシステム８００はまた、プロセッササブシステム８８０におけるキャッシュメモリ、およびＩ／Ｏデバイス８５０上の二次ストレージ（たとえば、ハードドライブ、ストレージアレイなど）のような他の形態のストレージを含み得る。いくつかの実施形態において、これら他の形態のストレージはまた、プロセッササブシステム８８０によって実行可能なプログラム命令を格納し得る。

Ｉ／Ｏインターフェース８４０は、様々な実施形態にしたがって、他のデバイスに結合し、通信するように構成された様々なタイプのインターフェースのうちのいずれかであり得る。１つの実施形態において、Ｉ／Ｏインターフェース８４０は、フロントサイドから１つまたは複数のバックサイドへのバスへのブリッジチップ（たとえば、サウスブリッジ）である。Ｉ／Ｏインターフェース８４０は、１つまたは複数の対応するバスまたは他のインターフェースを介して、１つまたは複数のＩ／Ｏデバイス８５０に結合され得る。Ｉ／Ｏデバイス８５０の例は、ストレージデバイス（ハードドライブ、光学ドライブ、リムーバブルフラッシュドライブ、ストレージアレイ、ＳＡＮ、またはそれらに関連するコントローラ）、（たとえば、ローカルまたはワイドエリアネットワークへの）ネットワークインターフェースデバイス、または他のデバイス（たとえば、グラフィック、ユーザインターフェースデバイスなど）を含む。１つの実施形態において、コンピュータシステム８００は、（たとえば、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ、イーサネットなどを介して通信するように構成された）ネットワークインターフェースデバイス８５０を介してネットワークに結合される。

特定の実施形態が上記されたが、これら実施形態は、特定の特徴に関して単一の実施形態のみが記載されている場合でさえ、本開示の範囲を限定するように意図されない。本開示で提供される特徴の例は、特に明記しない限り、限定的ではなく例示的であることが意図される。上記の説明は、本開示の利益を有する当業者に明らかであるような代替、修正、および同等物を網羅することが意図される。

本開示の範囲は、本明細書で扱われる問題のいずれかまたはすべてを軽減するか否かに関わらず、本明細書で（明示的または暗黙的に）開示される任意の特徴または特徴の組合せ、またはその一般化を含む。したがって、そのような特徴の任意の組合せに対する本出願（またはそれに対する優先権出願）の審査中に、新しい請求項が作成され得る。特に、添付の特許請求の範囲に関して、従属請求項からの特徴は、独立請求項の特徴と組み合わせることができ、それぞれの独立請求項からの特徴は、添付の特許請求の範囲に列挙された特定の組合せだけでなく、任意の適切な方式で組み合わされ得る。

Claims (40)

1. （ａ）コンピュータシステムを用いて、複数の画像のおのおののための画像派生特徴のデータセットを受け取ることであって、前記画像派生特徴は、前記複数の画像を分析するために、第１の機械学習アルゴリズムを使用することによって決定される、受け取ることと、
   （ｂ）前記コンピュータシステムを用いて、次元削減アルゴリズムを使用して、画像派生特徴の前記データセットから、次元削減データセットを生成することと、
   （ｃ）前記コンピュータシステムを用いて、クラスタリングアルゴリズムを使用して、前記次元削減データセット内のデータポイントの複数のクラスタを識別することと、
   （ｄ）前記コンピュータシステムを用いて、クラスタによってグループ化されたアイコンとして、前記データポイントの視覚表現を生成することであって、各アイコンは、１つまたは複数の特定のデータポイントを表し、前記１つまたは複数の特定のデータポイントに関連付けられた前記１つまたは複数の画像を表示させるように選択可能である、生成することと、
   （ｅ）前記コンピュータシステムにおいて、前記アイコンのうちの１つまたは複数のアイコンの選択を受け取ることと、
   （ｆ）前記選択に応じて、前記コンピュータシステムを用いて、前記１つまたは複数の選択されたアイコンによって表される前記１つまたは複数の特定のデータポイントに関連付けられた前記画像を表示させることと、
   （ｇ）前記コンピュータシステムにおいて、前記表示された画像のうちの少なくとも１つの画像のためのユーザ分類ラベルを受け取ることとを備える、方法。
2. （ｈ）前記コンピュータシステムを用いて、前記次元削減アルゴリズムおよび第２の機械学習アルゴリズムを用いて、前記ユーザ分類ラベルを使用して、前記複数の画像におけるラベルなし画像のための画像派生特徴の前記データセットから、第２の次元削減データセットを生成することと、
   （ｉ）前記コンピュータシステムを用いて、前記クラスタリングアルゴリズムを使用して、前記ラベルなし画像のうちの１つの画像のための予測分類ラベルを識別することと、
   （ｊ）前記コンピュータシステムにおいて、１つまたは複数の特定のラベルなし画像のための前記予測分類ラベルに対するユーザ応答を受け取ることとをさらに備える、請求項１に記載の方法。
3. 前記ユーザ応答は、前記１つまたは複数の特定のラベルなし画像のためのユーザ分類ラベルとしての、前記予測分類ラベルの受諾である、請求項２に記載の方法。
4. 前記ユーザ応答は、前記１つまたは複数の特定のラベルなし画像のための前記予測分類ラベルの拒否である、請求項２に記載の方法。
5. 前記ユーザ応答は、前記１つまたは複数の特定のラベルなし画像を分類から除外するコマンドである、請求項２に記載の方法。
6. 前記複数の画像のすべてが、ユーザ分類ラベルでラベル付けされるか、または分類から除外されるまで、ステップ（ｈ）～（ｊ）を繰り返すことをさらに備える、請求項２から請求項５のいずれか一項に記載の方法。
7. （ｋ）前記コンピュータシステムを用いて、予測分類ラベルによってグループ化された第２のアイコンとして、前記第２の次元削減データセット内の前記データポイントの視覚表現を生成することであって、各第２のアイコンは、前記第２の次元削減データセット内の１つまたは複数の特定のデータポイントを表し、前記第２の次元削減データセット内の前記１つまたは複数の特定のデータポイントに関連付けられた前記１つまたは複数の画像を表示させるように選択可能である、生成することと、
   （ｌ）前記コンピュータシステムにおいて、前記第２のアイコンのうちの１つまたは複数のアイコンの選択を受け取ることと、
   （ｍ）前記選択に応じて、前記コンピュータシステムを用いて、前記１つまたは複数の選択された第２のアイコンによって表される前記１つまたは複数の特定のデータポイントに関連付けられた画像を表示させることであって、
   前記予測分類ラベルに対する第２のユーザ応答は、前記１つまたは複数の選択された第２のアイコンによって表される前記１つまたは複数の特定のデータポイントに関連付けられた前記画像の表示に応答して受け取られる、表示させることとを備える、請求項２から請求項５のいずれか一項に記載の方法。
8. 前記第２の機械学習アルゴリズムは、反復最適化アルゴリズムである、請求項２から請求項７のいずれか一項に記載の方法。
9. 前記複数の画像は、細胞の画像を含む、請求項１から請求項８のいずれか一項に記載の方法。
10. 前記細胞の前記画像は、複数の細胞のマルチスペクトル画像、複数の前記細胞のマルチモーダル画像、またはその両方を含む、請求項９に記載の方法。
11. 前記複数の画像は、より大きな画像のプールからランダムに選択される、請求項１から請求項１０のいずれか一項に記載の方法。
12. 前記第１の機械学習アルゴリズムは、畳み込みニューラルネットワークである、請求項１から請求項１１のいずれか一項に記載の方法。
13. 前記次元削減データセットは、３次元以下を有する、請求項１から請求項１２のいずれか一項に記載の方法。
14. 前記複数のクラスタは、Ｘ×Ｙ個のクラスタに等しく、Ｘは、ユーザが前記画像を分類したいグループの数であり、Ｙは、１以上である、請求項１から請求項１３のいずれか一項に記載の方法。
15. ステップ（ｄ）のクラスタによってグループ化されたアイコンとしての前記データポイントの視覚表現は、クラスタによってグループ化された前記アイコンの２次元レンダリングを含み、同じクラスタにおけるアイコンは、同じ色で陰影付けられ、ともに近くに配置された、請求項１から請求項１４のいずれか一項に記載の方法。
16. ステップ（ｋ）の予測分類ラベルによってグループ化された第２のアイコンとしての、前記第２の次元削減データセット内の前記データポイントの前記視覚表現は、予測分類ラベルによってグループ化された前記第２のアイコンの２次元レンダリングを含み、同じ予測分類ラベルにおける第２のアイコンは、同じ色で陰影付けられ、ともに近くに配置された、請求項７から請求項１５のいずれか一項に記載の方法。
17. （ｎ）前記コンピュータシステムを用いて、
    クラスタによってグループ化されたアイコンとしての前記データポイントの前記視覚表現と、
    前記１つまたは複数の選択されたアイコンによって表される前記１つまたは複数の特定のデータポイントに関連付けられた１つまたは複数の画像の画像ギャラリと、
    各クラスタの表示を含む第１のリストと、
    各ユーザ分類ラベルの表示を含む第２のリストとを含む、ユーザインターフェースを表示させることをさらに備える、請求項１から請求項１６のいずれか一項に記載の方法。
18. 前記表示された画像のうちの少なくとも１つの画像のためのユーザ分類ラベルを受け取ることは、
    前記ユーザインターフェースにおいてメニューを表示させることであって、前記メニューは、各ユーザ分類レベルの表示を含む、表示させることと、
    前記ユーザ分類ラベルに対応する前記表示のユーザ選択を受け取ることによって、前記ユーザ分類ラベルを受け取ることとを含む、請求項１７に記載の方法。
19. （ｏ）前記コンピュータシステムを用いて、
    予測分類ラベルによってグループ化された第２のアイコンとしての第２の次元削減データセット内の前記データポイントの前記視覚表現と、
    １つまたは複数の選択された第２のアイコンによって表される前記１つまたは複数の特定のデータポイントに関連付けられた１つまたは複数の画像の画像ギャラリと、
    各予測分類ラベルの表示を含む第３のリストと、
    各ユーザ分類ラベルの表示を含む前記第２のリストとを含むように、前記ユーザインターフェースを更新させることをさらに備えた、請求項７から請求項１８のいずれか一項に記載の方法。
20. ラベル付けされた画像およびそれらそれぞれのユーザ分類ラベルを含む画像を分類するために、第３の機械学習アルゴリズムをトレーニングするための、ラベル付けされたトレーニングデータセットを準備することをさらに備える、請求項１から請求項１９のいずれか一項に記載の方法。
21. コンピュータシステムによって、画像を分類するために、ターゲット機械学習アルゴリズムをトレーニングするために、ラベル付けされたトレーニングデータセットを準備するためのユーザインターフェースをユーザデバイス上に表示させることであって、前記ユーザインターフェースは、
    複数の画像から導出された画像データの次元削減データセットの２次元視覚表現を含む第１の領域であって、前記２次元視覚表現は、前記データセット内の複数のアイコンと、クラスタの表示とを含む、第１の領域と、
    前記複数の画像のうちの１つまたは複数の画像を含む第２の領域とを含む、表示させることと、
    前記コンピュータシステムにおいて、前記ユーザインターフェースを介して、前記第２の領域に表示される前記画像のうちの１つまたは複数の画像に、ユーザ分類ラベルを適用するユーザ入力を受け取ることとを備える、方法。
22. 各アイコンは、前記複数の画像のうちの１つまたは複数の画像を表し、前記表された画像を、前記第２の領域に表示させるように選択可能であり、
    前記第２の領域に含まれる前記複数の画像のうちの前記１つまたは複数の画像は、１つまたは複数のアイコンのユーザ選択に応答して含まれる、請求項２１に記載の方法。
23. 前記ユーザインターフェースは、前記データセット内の前記クラスタのリストを含む第３の領域を含み、
    前記第２の領域に含まれる前記複数の画像のうちの前記１つまたは複数の画像は、前記リスト上の前記クラスタのうちの１つのクラスタであるユーザ選択に応じて含まれる、請求項２１に記載の方法。
24. ユーザ分類ラベルを適用するユーザ入力を受け取った後、前記コンピュータシステムを用いて、ラベル付き画像の前記ユーザ分類ラベルを使用して、複数のラベルなし画像のための予測分類ラベルを準備することと、
    前記コンピュータシステムを用いて、ラベルなし画像のクラスタの２次元視覚表現において前記予測分類ラベルを示すように、前記ユーザインターフェースを更新させることであって、各ラベルなし画像は、それぞれの第２のアイコンによって表され、第２のアイコンの各クラスタは、予測分類ラベルに対応する、更新させることとをさらに備える、請求項２１から請求項２３のいずれか一項に記載の方法。
25. 予測分類ラベルを準備し、前記ユーザインターフェースを更新させることは、受け取られたユーザ分類ラベルを適用するユーザ入力に応じて、自動的に実行される、請求項２４に記載の方法。
26. 予測分類ラベルについて、同じ所与のクラスタにおける各第２のアイコンは、共有色で陰影付けられ、ともに近くに配置される、請求項２４または請求項２５に記載の方法。
27. 前記ユーザインターフェースは、前記予測分類ラベルのおのおののリストを含む第４の領域を含むように更新される、請求項２４から請求項２６のいずれか一項に記載の方法。
28. 各第２のアイコンは、前記１つまたは複数の表されたラベルなし画像を、前記第２の領域に表示させるように選択可能である、請求項２４から請求項２７のいずれか一項に記載の方法。
29. 前記第４の領域における予測分類ラベルの前記リストの各エントリは、その予測分類ラベルを有する、より多くのラベルなし画像を、前記第２の領域に表示させるように選択可能である、請求項２７または請求項２８に記載の方法。
30. 前記コンピュータシステムを用いて、前記複数のラベルなし画像のうちの１つまたは複数の画像を、前記第２の領域に表示させることと、
    前記コンピュータシステムにおいて、前記更新されたユーザインターフェースを介して、前記第２の領域に表示された前記ラベルなし画像のうちの１つまたは複数の画像に、ユーザ分類ラベルを適用するユーザ入力を受け取ることとをさらに備える、請求項２４から請求項２９のいずれか一項に記載の方法。
31. 前記更新されたユーザインターフェースを介して受け取られた前記ユーザ入力は、
    前記予測分類ラベルを、前記１つまたは複数の表示されたラベルなし画像のためのユーザ分類ラベルとして受け入れるユーザ入力を含む、請求項３０に記載の方法。
32. 前記更新されたユーザインターフェースを介して受け取られた前記ユーザ入力は、
    前記１つまたは複数の表示されたラベルなし画像のためのユーザ分類ラベルとして、前記予測分類ラベルを拒否するユーザ入力を含む、請求項３０に記載の方法。
33. 前記更新されたユーザインターフェースを介して受け取られた前記ユーザ入力は、
    １つまたは複数の表示されたラベルなし画像を分類から除外するユーザ入力を含む、請求項３０に記載の方法。
34. 画像ビューアの一部に表示される前記画像のうちの１つまたは複数の画像に、ユーザ分類ラベルを適用するユーザ入力を受け取ることは、
    メニューを、前記ユーザインターフェースに表示させることであって、前記メニューは、各ユーザ分類ラベルの表示を含む、表示させることと、
    前記ユーザ分類ラベルに対応する前記表示のユーザ選択を受け取ることによって、前記ユーザ分類ラベルを受け取ることとを含む、請求項２１から請求項３３のいずれか一項に記載の方法。
35. 前記画像データは、第１の機械学習アルゴリズムによって前記複数の画像から導出され、
    前記第１の機械学習アルゴリズムによって導出された前記画像データは、次元削減アルゴリズムによって次元削減されて、画像データの前記次元削減データセットを生成し、
    前記画像データの前記次元削減データセットは、クラスタリングアルゴリズムによってクラスタリングされた、請求項２１から請求項３４のいずれか一項に記載の方法。
36. 前記ユーザインターフェースは、各クラスタにおけるそれぞれの画像の数の表示を含む、前記データセット内の前記クラスタのリストを含む第３の領域を含む、請求項２１から請求項３５のいずれか一項に記載の方法。
37. 前記ユーザインターフェースは、各ユーザ分類ラベルでラベル付けされたそれぞれの画像の数の表示を含む、前記ユーザ分類ラベルのリストを含む第５の領域を含む、請求項２１から請求項３６のいずれか一項に記載の方法。
38. 前記複数の画像は、細胞の画像を含む、請求項２１から請求項３７のいずれか一項に記載の方法。
39. 前記細胞の前記画像は、複数の細胞のマルチスペクトル画像、複数の前記細胞のマルチモーダル画像、またはその両方を含む、請求項３８に記載の方法。
40. 前記ラベル付けされた画像およびそれらのそれぞれのユーザ分類ラベルを含む画像を分類するために、前記機械学習アルゴリズムをトレーニングするための前記ラベル付けされたトレーニングデータセットを準備することをさらに備える、請求項２１から請求項３９のいずれか一項に記載の方法。

Images