JP2022500753A - 生物サンプルの無標識識別および分類のためのシステムならびに方法 - Google Patents

生物サンプルの無標識識別および分類のためのシステムならびに方法 Download PDF

Info

Publication number
JP2022500753A
JP2022500753A JP2021513459A JP2021513459A JP2022500753A JP 2022500753 A JP2022500753 A JP 2022500753A JP 2021513459 A JP2021513459 A JP 2021513459A JP 2021513459 A JP2021513459 A JP 2021513459A JP 2022500753 A JP2022500753 A JP 2022500753A
Authority
JP
Japan
Prior art keywords
image
training
machine learning
learning system
trained
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021513459A
Other languages
English (en)
Other versions
JPWO2020056118A5 (ja
Inventor
アブルム アイ. コーエン,
ディフイ ホン,
スティーブン ライン,
Original Assignee
モレキュラー デバイシーズ, エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by モレキュラー デバイシーズ, エルエルシー filed Critical モレキュラー デバイシーズ, エルエルシー
Publication of JP2022500753A publication Critical patent/JP2022500753A/ja
Publication of JPWO2020056118A5 publication Critical patent/JPWO2020056118A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429Signal processing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429Signal processing
    • G01N15/1433Signal processing using image recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776Validation; Performance evaluation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693Acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N2015/1006Investigating individual particles for cytology
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N2015/1488Methods for deciding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10064Fluorescence image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Signal Processing (AREA)
  • Analytical Chemistry (AREA)
  • Quality & Reliability (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Dispersion Chemistry (AREA)
  • Biochemistry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Analysis (AREA)

Abstract

撮像システムを使用して、生物サンプルを分析するシステムおよび方法が、開示される。画像入手モジュールが、訓練生物サンプルの無標識画像を取得するように撮像システムに命令し、応答して、第1の訓練画像を受信する。画像入手モジュールはまた、訓練生物サンプルに蛍光を出させ、蛍光を受ける訓練生物サンプルの画像を取得するように撮像システムに命令し、応答して、第2の訓練画像を受信する。分析モジュールが、第2の訓練画像を分析し、複数の訓練細胞特性を発生させ、複数の訓練細胞特性はそれぞれ、訓練生物サンプル内の複数の訓練細胞のうちの1つと関連付けられる。

Description

(関連出願)
本願は、その内容が参照することによってその全体として本明細書に組み込まれる、2018年9月12日に出願された、米国仮出願第16/128,798号の優先権を主張する。
本主題は、生物サンプルの無標識識別および分類のためのシステムならびに方法に関し、より具体的には、教師あり機械学習システムを使用する、生物サンプルの識別および分類に関する。
高含有量撮像システム等の撮像システムが、生物サンプルの1つまたは複数の画像を捕捉するために使用され得る。その後、画像は、生物サンプルと関連付けられるメトリックを取得するように分析される。これらのメトリックは、例えば、生物サンプル内の異なるタイプの細胞の数、各タイプの細胞の数、生細胞対死細胞の割合、および同等物を含む。
撮像システムは、1つまたは複数の照明源と、1つまたは複数の対物レンズと、電荷結合素子または相補型金属酸化膜半導体(CMOS)デバイス等の画像捕捉デバイスとを含み、生物サンプルの拡大画像を生成する。照明源は、生物サンプルが蛍光を受けていないときに、生物サンプルを通して光を指向する、レーザまたは他の光源を含んでもよく、生物サンプルを通して透過される光は、画像捕捉デバイスによって撮像される。画像捕捉デバイスによって捕捉される非蛍光生物サンプルの画像は、本明細書では無標識画像と称され、例えば、透過光画像、位相コントラスト画像、微分干渉コントラスト画像、および同等物であってもよい。当業者に明白であろうように、これらの異なるタイプの無標識画像は、異なる照明条件(例えば、偏光、特定の波長の光等を伴う)下で、および/または光源と画像捕捉デバイスとの間で異なるタイプのフィルタを使用して捕捉される、透過光画像である。
いくつかの用途では、生物サンプルは、それぞれ、生物サンプル内の1つまたは複数の特定のタンパク質もしくは成分に付着する、1つまたは複数の蛍光染料を使用して、染色(または標識)されてもよい。照明源は、蛍光染料に蛍光を出させる特定の特性(例えば、特定の波長)を有する光に標識生物サンプルを暴露するために使用され、そのような蛍光によって放出される光は、次いで、画像捕捉デバイスによって捕捉される。非標識生物サンプルの透過または反射画像と比較して、染料で標識された生物サンプルの蛍光画像は、蛍光と関連付けられるそれらの要素(例えば、タンパク質および細胞小器官)を生物サンプルの他の部分とより明確に区別する。したがって、そのような要素に関するより正確なメトリックが、蛍光を受ける生物サンプルの画像から作成され得る。
しかしながら、1つまたは複数の蛍光染料で生物サンプルを標識することは、時間がかかる。さらに、ある蛍光染料は、生物サンプルにとって有害、さらには、毒性であり得る。少なくともこれらの理由により、蛍光を受ける標識生物サンプルの画像を作成することは、ある状況では実行可能ではない、または望ましくない。
透過光画像のみを使用して、蛍光下で生物サンプルを撮像することによって提供される、分析利点を取得することが有用であろう。
一側面によると、撮像システムを使用して、生物サンプルを分析する方法は、非一過性のプログラマブルデバイスに、訓練生物サンプルの無標識画像を取得するように撮像システムに命令し、応答して、第1の訓練画像を受信するステップと、訓練生物サンプルに蛍光を出させ、蛍光を受ける訓練生物サンプルの画像を取得するように撮像システムに命令し、応答して、第2の訓練画像を受信するステップとを行わせるステップを含む。非一過性のプログラマブルデバイスは、第2の訓練画像を分析し、複数の訓練細胞特性を発生させる付加的ステップと、第1の訓練画像および複数の訓練細胞特性を使用して、機械学習システムを訓練し、訓練された機械学習システムが、入力としての第1の訓練画像とともに動作されるときに、訓練された機械学習システムが、複数の訓練細胞特性に対応する複数の予測される細胞特性を発生させるように、訓練された機械学習システムを開発する付加的ステップとを行わせられる。複数の訓練細胞特性はそれぞれ、訓練生物サンプルを含む複数の訓練細胞のうちの1つと関連付けられる。
別の側面によると、撮像システムを使用して、生物サンプルを分析するためのシステムは、機械学習システムと、画像入手モジュールと、分析モジュールと、訓練モジュールとを含む。画像入手モジュールは、非一過性のプログラマブルデバイス上で動作し、訓練生物サンプルの無標識画像を発生させるように撮像システムに命令し、応答して、第1の訓練画像を受信し、訓練生物サンプルに蛍光を出させ、蛍光を受ける訓練生物サンプルの画像を取得するように撮像システムに命令し、応答して、第2の訓練画像を受信する。分析モジュールは、非一過性のプログラマブルデバイス上で動作し、第2の訓練画像を分析し、複数の訓練細胞特性を発生させ、複数の訓練細胞特性はそれぞれ、訓練生物サンプルを含む複数の訓練細胞のうちの1つと関連付けられる。訓練モジュールは、非一過性のプログラマブルデバイス上で動作し、第1の訓練画像および複数の訓練細胞特性を使用して、機械学習システムを訓練し、訓練された機械学習システムが、入力としての第1の訓練画像とともに動作されるときに、訓練された機械学習システムが、複数の訓練細胞特性に対応する複数の予測される細胞特性を発生させるように、訓練された機械学習システムを開発する。
他の側面および利点が、以下の発明を実施するための説明、および同様の数字が本明細書の全体を通して同様の構造を指定する添付図面の考慮に応じて、明白となるであろう。
図1は、撮像システムのブロック図である。
図2は、訓練および分析システムのブロック図である。
図3は、その機械学習システムを訓練するように図2の訓練および分析システムによって行われるステップのフローチャートである。
図4は、その機械学習システムを訓練するように図2の訓練分析システムによって行われるステップをさらに詳細に示す、フローチャートである。
図5は、図3および4に示されるフローチャートに従って訓練される機械学習システムを使用して、生物サンプルの画像を分析するように図2の訓練および分析システムによって行われるステップを示す、フローチャートである。
図6は、図2の訓練および分析システムの機械学習システムを訓練するプロセスフローの実施例である。
図7は、図2の訓練および分析システムの訓練された機械学習システムを動作させるプロセスフローの実施例である。
いくつかの用途では、生物サンプルの分析を促進するために、生物サンプルの無標識(すなわち、透過光)または蛍光画像が、セグメント化された画像を発生させるように処理されてもよい。そのような用途では、セグメント化された画像の各ピクセルは、生物サンプルの透過光または蛍光画像のピクセルに対応する。セグメント化された画像の各ピクセルの値は、透過光または蛍光画像の対応するピクセルが、研究者に着目される生物サンプルの要素と関連付けられるかどうかを示す。そのような要素は、例えば、細胞内部、細胞小器官、タンパク質、細胞壁、および同等物を含み得る。蛍光画像が、生物サンプルの要素をより明確に区別するため、より正確なセグメント化された画像が、蛍光画像から生成され得る。
さらに、他の用途では、上記に記述されるように、生物サンプルの蛍光画像は、例えば、特定の特性(例えば、特定のタンパク質の存在、細胞が生きているか、または死んでいるかどうか等)の存在が蛍光画像内で捕捉される蛍光を生じさせるため、そのような特性を有する、その細胞を識別するように、より容易に分析され得る。
しかしながら、上記に記述されるように、生物サンプルの蛍光画像を取得することは、必ずしも実行可能である、または望ましいとは限らない場合がある。下記に詳細に説明されるように、訓練生物サンプルが、それぞれ、訓練無標識および訓練蛍光画像を作成するように、透過光を使用して、蛍光下で撮像されてもよい。訓練蛍光画像は、セグメント化された画像を作成するように処理されてもよい。機械学習システムが、次いで、訓練無標識画像からセグメント化された画像を作成するように訓練されてもよい。訓練後、このように訓練される機械学習システムが、入力としてさらなる生物サンプルの無標識画像を提示されるとき、訓練された機械学習システムは、さらなる生物サンプルの蛍光画像を必要とすることなく、セグメント化された画像を生成する。
同様に、ある場合には、訓練蛍光画像は、訓練蛍光画像内に表される生物サンプル内の特定の特性の存在を示す、訓練特性値を作成するように処理される。訓練無標識画像および訓練特性値は、機械学習システムが無標識画像を提示されるときに、機械学習システムが、特性の存在を示す特性値を発生させるように、機械学習システムを訓練するために使用される。
図1および2を参照すると、撮像システム100が、1つまたは複数の生物サンプルの無標識画像および蛍光画像を取得するために、訓練および分析システム200によって使用される。いくつかの実施形態では、そのような撮像システム100は、X−Yステージ102と、1つまたは複数の対物レンズ104と、画像捕捉デバイス110と、1つまたは複数のミラー112と、コントローラ114とを含む。明確にするために、集束機構、1つまたは複数のフィルタ、対物レンズ104が選択される複数の対物レンズ、および同等物等の撮像デバイス100が含み得る他のコンポーネントは、図1に示されていない。
撮像システム100の動作の間に、例えば、マイクロプレート等の生物サンプルキャリア116が、手動またはロボット制御でのいずれかで、X−Yステージ102上に配置される。サンプルキャリア116は、複数のウェル118を含んでもよく、生物サンプルが、各そのようなウェル118に配置されてもよく、各生物サンプルは、例えば、1つまたは複数の細胞もしくはその一部を含む。
コントローラ114は、選択されたウェル118またはその一部が、撮像デバイス110の視野内にあるように、X−Yステージ102を動作させる。コントローラ114は、次いで、照明源106aを動作させ、光の特定の波長で選択されたウェル118を照明し、選択されたウェル118内に配置された生物サンプルによって吸収または反射されない照明源106aからの光が、生物サンプルを通して、対物レンズ104を通して透過され、画像として画像捕捉デバイス110によって記録されるように、画像捕捉デバイス110を作動させる。
生物サンプルが(自然に、または蛍光染料で標識されることによってのいずれかで)蛍光性である場合、コントローラ114は、照明源106bを動作させ、生物サンプルに蛍光を出させる光を発生させ、そのような蛍光によって放出される光は、対物レンズ104を通して透過され、画像として画像捕捉デバイス110によって記録される。
1つまたは複数のミラー112(例えば、半透明、双方向、および/または二色ミラー)は、それぞれ、照明源106bからサンプルトレイ116に、およびサンプルトレイ116から画像捕捉デバイス110に光を指向するように、照明源106bとサンプルトレイ116との間およびサンプルトレイ116と画像捕捉デバイス110との間の光路内に配置される。
コントローラは、着目されるサンプルトレイ116のウェル118の全ての画像が捕捉されるまで、このようにX−Yステージ102、照明源106、および画像捕捉デバイス110を繰り返し動作させる。さらに、コントローラ114は、各そのような画像が、異なる照明条件下で、および/または対物レンズ104ならびにフィルタ(図示せず)の異なる組み合わせを用いて捕捉されるときに、同一のウェル118またはその一部のいくつかの画像を捕捉してもよい。照明条件を制御することによって、第1の画像が、生物サンプルが蛍光を受けていないときに捕捉されてもよく、第2の画像が、同一の生物サンプルが蛍光を受けているときに捕捉されてもよい。そのような画像は、第1の画像の各座標におけるピクセルおよび第2の画像の同一の座標における第2の画像のピクセルが、生物サンプルの実質的に同じ部分に対応するように、整合して捕捉されてもよい。
本明細書に説明される実施形態は、マルチウェルサンプルキャリア116の使用を参照するが、単一のウェルキャリアまたは顕微鏡スライドがこれらの実施形態に関連して使用され得ることが、当業者に明白となるはずである。同様に、これらの実施形態は、サンプルキャリア116の種々の部分の画像を捕捉するようにコントローラ114によって自動的に移動可能なX−Yステージの使用を検討するが、X−Yステージが(例えば、従来の顕微鏡を使用するときに行われるように)オペレータによって手動で移動され得ることが、明白となるはずである。
図1は、照明源106と画像捕捉デバイス110との間に配置されるサンプルトレイ116を示すが、照明源106が画像捕捉デバイス110とサンプルトレイ116との間に配置され得ることが、当業者に明白となるはずである。そのような実施形態では、生物サンプルによって反射される、または生物サンプルの蛍光によって発生される照明源106からの光は、対物レンズ104を通して1つまたは複数のミラー(図示せず)を使用して指向され、画像捕捉デバイス110によって捕捉される。
さらに、本明細書の実施形態は、レンズベースの撮像システム100の使用を説明するが、レンズなし撮像システムを使用して捕捉される画像がそのような実施形態に関連して使用され得ることが、当業者に明白となるはずである。
下記にさらに詳細に説明されるように、撮像システム100は、サンプルトレイ116内に配置された生物サンプルの無標識画像および蛍光下のそのような生物サンプルの画像を訓練および分析システム200に提供するように、上記に説明されるように動作されてもよい。蛍光下の生物サンプルの画像は、特定の特性を呈する、そのような画像内の生物サンプルの細胞(またはその一部)を識別するように分析されてもよい。特定の特性および透過光画像と関連付けられるものとして識別される、そのような細胞は、機械学習システム206、例えば、ニューラルネットワークまたは別の深層学習システムを訓練するために使用されてもよい。訓練後、入力透過光画像に応答して、機械学習システム206は、複数の特性予測を生成する。いくつかの実施形態では、各そのような特性予測は、入力画像内の対応するピクセルと関連付けられ、そのような特性予測の値は、そのようなピクセルが特定の特性と関連付けられる確率を示す。例えば、機械学習システム206が、生および死細胞の両方を含む入力画像内の生細胞と関連付けられるピクセルを識別するように訓練される場合、機械学習システム206によって発生される各特性予測の値は、入力画像内の対応するピクセル(したがって、そのようなピクセルによって表される生物サンプルの一部)が生細胞と関連付けられる確率を示す。そのような実施形態では、機械学習システム206は、例えば、画像内に存在する細胞のタイプまたは細胞の特性に従って、それに基づいて、入力画像をセグメント化するために使用されてもよい。
他の実施形態では、機械学習システム206は、画像を分析し、画像が特定のタイプの細胞または特定の特性を有する細胞を表すかどうかを判定するように、訓練されてもよい。そのような実施形態では、このように訓練される機械学習システム206が、入力として画像を提供されるとき、機械学習システム206は、入力として提供される画像が特定のタイプの細胞または特定の特性を有する細胞を含む確率を表す値である、出力を発生させる。これらの実施形態では、機械学習システム206は、例えば、画像によって表される細胞を分類するために使用されてもよい。その中に表される複数の細胞を有する画像は、隣接するタイルまたは重複するタイルのいずれかのサブ画像にタイル化されてもよく、各サブ画像は、単一の細胞と関連付けられる寸法を有する。そのようなサブ画像は、次いで、入力として訓練された機械学習システムに提示されてもよく、訓練された機械学習システムの出力は、サブ画像が特定のタイプの細胞または特定の特性を有する細胞を含む確率を示す。
図1および2に示されるように、機械学習システム206に加えて、訓練および分析システム200は、画像入手モジュール202と、そのような画像が記憶され得る、画像記憶部204とを含む。いくつかの実施形態では、画像入手モジュール202は、コントローラ114とインターフェースをとり、1つまたは複数の画像を捕捉し、そのような捕捉された画像を画像入手モジュール202に提供するように撮像システム100に指示する。いくつかの実施形態では、画像入手モジュール202は、例えば、特定の発光体、対物レンズ、フィルタ、および同等物を使用して、透過光画像または蛍光画像を捕捉するように撮像システム100を構成するように、コントローラ114に命令する。
画像入手モジュール202は、撮像システム100から訓練生物サンプルの訓練無標識および訓練蛍光画像を取得する。訓練無標識および訓練蛍光画像は、それぞれ、機械学習システム206を訓練するために使用される、無標識および蛍光画像である。下記にさらに詳細に説明されるように、訓練モジュール208は、撮像システム100から画像入手モジュール202によって取得される訓練無標識および訓練蛍光画像、ならびに画像分析モジュール210によって作成されるそのような画像と関連付けられる細胞特性情報を使用し、機械学習システム206を訓練する。機械学習システム206が訓練された後、活性化値、倍率、粒重、および同等物等のそのような訓練の間に作成される機械学習システム206の各ノードと関連付けられるパラメータが、パラメータデータ記憶部212内に記憶される。訓練後、画像入手モジュール202は、さらなる生物サンプルのさらなる画像を取得し、測定モジュール214は、パラメータデータ記憶部212内に記憶されたパラメータを伴って機械学習システム206を構成し、構成された機械学習システム206を動作させ、さらなる画像を分析し、さらなる生物サンプルの特性を測定する。いくつかの実施形態では、機械学習システム206によって発生される出力は、閾値化する、誤った値を除去する、および/または別様にそのようなクリーニングされた出力が測定モジュール214によって処理される前に、そのような出力をクリーニングする、出力処理モジュール216によって処理されてもよい。
図3は、機械学習システム206を訓練するように行われるステップのフローチャート250である。図1−3を参照すると、ステップ252では、ユーザが、ユーザコンピュータ218を動作させ、訓練モジュールに細胞特性を規定し、入力画像から識別するように機械学習システム206を訓練する。そのような特性は、例えば、生細胞、死細胞、特定のタンパク質または化合物、特定の細胞小器官、および同等物の存在を含む。いくつかの実施形態では、ユーザはまた、ユーザコンピュータ218を使用して、機械学習システム206が特性を識別するように訓練されるものである、生物サンプルのタイプ(例えば、神経細胞、動物細胞等)も規定する。
その後、ステップ254では、その1つまたは複数のウェル118の中に堆積された生物サンプルを有する、訓練サンプルトレイ116が、撮像システム100のX−Yステージ102上に手動またはロボット制御でのいずれかで装填される。そのようなウェル118の中に堆積された各生物サンプルは、特性と関連付けられる蛍光染料で染色または別様に処置される。
訓練サンプルトレイ116が装填された後、画像入手モジュール202は、ステップ256において、サンプルトレイ116のウェル118内に堆積された各生物サンプルの透過光画像を捕捉するように撮像システム100に指示する。応答して、コントローラ114は、X−Yステージ102を繰り返し動作させて、照明源106と対物レンズ104との間の光路内にウェル118(またはその一部)を位置付け、照明源106および画像捕捉デバイス110を作動させて、ウェル118(またはその一部)の透過光画像を捕捉し、捕捉された画像を画像入手モジュール202に伝送する。コントローラ114は、サンプルトレイのウェル118の全て(またはその中に堆積された生物サンプルを有するウェル118)の透過光画像が捕捉され、画像入手モジュール202に送信されるまで、このようにX−Yステージ102、照明源、および画像捕捉デバイス110を動作させる。
また、ステップ256では、画像入手モジュール202は、上記に説明されるように捕捉される各透過光画像を受信し、画像データ記憶部204内に訓練透過光画像としてそのような透過光画像を記憶する。
ステップ258では、画像入手モジュール202は、生物サンプル(またはそれに添着された染料)に蛍光を出させ、そのような蛍光の間に生物サンプルの画像を捕捉するように、撮像システム100のコントローラ114に命令する。応答して、コントローラ114は、X−Yステージ102を動作させ、照明源106と対物レンズ104との間の光路内にウェル118(またはその一部)を位置付ける。その後、コントローラ114は、照明源106を作動させて、蛍光染料または生物サンプルに蛍光を出させるように選択される、1つまたは複数の特定の波長を有する光を放出し、画像捕捉デバイス110を動作させて、蛍光の間に生物サンプルの画像を捕捉し、捕捉された画像を画像入手モジュール202に伝送する。
いくつかの実施形態では、画像入手モジュール202は、照明源106が生物サンプルおよび/または蛍光染料の蛍光を生じさせるように放出するべき光の波長をコントローラ114に規定する。これらの場合において、画像入手モジュール202は、ステップ252においてユーザによって規定される特性および/または生物サンプルタイプに従って、これらの波長を選択する。他の実施形態では、画像入手モジュール202は、ステップ258で、またはそれに先立ってのいずれかで、特性および/または生物サンプルタイプをコントローラ114に提供し、コントローラ114は、生物サンプルを照明する光の波長を選択する。
また、ステップ258では、画像入手モジュール202は、それによって受信される蛍光の間の生物サンプルの各画像を、訓練蛍光画像として画像データ記憶部204内に記憶する。
1つまたは複数の訓練蛍光画像は、訓練透過光画像毎に捕捉される。さらに、訓練蛍光画像の各ピクセルは、訓練透過光画像のピクセルに対応し、これらのピクセルは、生物サンプルの実質的に同じ部分を通して透過される、またはそれによって蛍光を発せられる、光の強度を表す。
ステップ256および258は、サンプルトレイ116のウェル118の透過光画像を捕捉し、次いで、ウェル118の蛍光画像を捕捉することを規定するが、コントローラ114は、X−Yステージ102を動作させて、照明源106と画像捕捉デバイス110との間の光路内にウェル118を位置付け、照明源106および画像捕捉デバイス110を動作させて、そのようなウェルの透過光および蛍光画像を連続的に捕捉し得ることが明白となるはずである。その後、コントローラ114は、X−Yステージ102を動作させて、照明源106と画像捕捉デバイス110との間の光路内にウェル118の別の部分または別のウェル118を位置付け、その中に堆積された生物サンプルを有するサンプル訓練トレイ116のウェル118の全てが、このように撮像されるまで、その透過光および蛍光画像を繰り返し捕捉してもよい。各捕捉された画像は、入手されるにつれて、画像入手モジュール202に伝送されてもよい、または捕捉された画像の全ては、全てのそのような画像が入手された後に、大量に伝送されてもよい。
図3に戻ると、ステップ260では、訓練モジュール208は、例えば、ユーザコンピュータ218を介してユーザにクエリを行うことによって、撮像されるべき付加的訓練サンプルトレイが存在するかどうかを判定する。付加的訓練サンプルトレイが存在する場合、処理は、ステップ254に進む。
そうでなければ、ステップ262では、訓練モジュールは、下記にさらに詳細に説明されるように、訓練透過光および訓練蛍光画像を使用し、機械学習システム206を訓練する。機械学習システム206の訓練が完了した後、ステップ264では、機械学習システム206の各ノードと関連付けられるパラメータは、パラメータデータ記憶部212内に記憶される。そのようなパラメータは、例えば、活性化閾値、入力および出力倍率または加重、畳み込みカーネル、機械学習システム206のアーキテクチャを含む。例えば、機械学習システム206が、ニューラルネットワークである場合、各層内のノードまたはニューロンのアーキテクチャ、ノード層の間の相互接続、および同等物が、パラメータデータ記憶部212内に記憶される。当業者に明白となるはずであるように、そのようなニューラルネットワークは、その間の1つまたは複数のプーリング層との1つまたは複数の畳み込み層および1つまたは複数のニューロン層の相互接続を含んでもよい。記憶されるパラメータは、訓練されていない機械学習システム206を訓練された状態に構成するために十分である。
図4は、機械学習システム206を訓練するように図3のステップ262の間に訓練および分析システム200が行うステップのフローチャートを示す。図4を参照すると、ステップ302では、分析モジュール210は、ステップ252(図3)において規定される特性に従って、各蛍光訓練画像から対応する訓練特性画像を発生させる。いくつかの実施形態では、発生される訓練特性画像は、そのような特性画像が発生される蛍光訓練画像のピクセル毎に1つのピクセルを含む。そのような実施形態では、各そのようなピクセルは、蛍光訓練画像の対応するピクセルが特性と関連付けられる可能性を示す。
機械学習システム206が、セグメント化のために訓練されている場合、訓練特性画像は、境界(エッジ)検出、境界充填、ピーク検出、およびそれらの組み合わせを含む、画像処理技法を使用してセグメント化される。いくつかの実施形態では、セグメント化された訓練特性画像の各ピクセルは、蛍光訓練画像のピクセル(したがって、蛍光訓練画像と関連付けられる透過光画像のピクセル)に対応し、いくつかの実施形態では、0または1のいずれかの値を有する。1の値を有する、セグメント化された訓練特性画像のピクセルは、蛍光訓練画像の対応するピクセルが選択された特性と関連付けられることを示す。他のピクセル値が、その他のピクセルから選択された特性と関連付けられるセグメント化された訓練特性画像のそれらのピクセルを識別するために使用され得ることが、明白となるはずである。したがって、セグメント化された訓練特性画像は、複数の訓練細胞特性(例えば、生細胞、死細胞、特定の細胞小器官を伴う細胞、特定のタイプの細胞、および同等物)を表す。
ステップ304では、訓練モジュール208は、セグメント化された訓練特性画像の第1のサブセットを選択する。いくつかの実施形態では、第1のサブセットは、無作為に選択される。他の実施形態では、第1のサブセットは、それと関連付けられる訓練無標識または蛍光画像の捕捉時間に従って、もしくはセグメント化された訓練特性画像をもたらした蛍光訓練画像が作成された、1つまたは複数のサンプルトレイと関連付けられる識別子に従って、選択される。1つまたは複数の他の基準が第1のサブセットを選択するために使用され得ることが、当業者に明白となるはずである。ステップ306では、訓練モジュール208は、第1のセグメント化された訓練特性画像と関連付けられる第1の訓練透過光画像を選択し、ステップ308では、機械学習システム206への入力として第1の訓練透過光画像を提示し、ステップ310では、機械学習システム206を動作させ、第1の複数の予測される訓練特性を発生させる。第1の複数の予測される訓練特性は、第1の訓練透過光画像の各ピクセルに対応する、予測される訓練特性を含み、そのような予測される訓練特性の値は、第1の訓練透過光画像の対応するピクセルが特性と関連付けられる確率を表す。
ステップ312では、訓練モジュール208は、例えば、加重カテゴリ交差エントロピー関数等の損失関数を使用して、例えば、予測される訓練特性毎のエラー値およびセグメント化された訓練特性画像の対応するピクセルの値を計算する。ステップ314では、エラーの値は、次いで、当業者によって理解されるであろうように、機械学習システム206のパラメータを調節するために、例えば、逆伝搬を使用して、使用される。
ステップ315では、訓練モジュール208は、機械学習システム206への入力として使用されていない、ステップ304において選択された画像のサブセットの任意の画像が存在するかどうかを判定する。該当する場合、処理は、ステップ306に進む。
そうでなければ、ステップ316では、訓練モジュール208は、訓練された機械学習システム206の性能を評価する。特に、訓練モジュール208は、訓練特性画像の第2のサブセットおよびそれに対応する訓練透過光画像の第2のサブセットを選択する。訓練モジュール208は、訓練透過光画像の第2のサブセットを訓練された機械学習システム206に提示する。応答して、第2のサブセットの中の画像毎に、訓練された機械学習システム206は、複数の訓練特性予測のセットを発生させ、第2の訓練透過光画像毎の1つのそのような複数のセットは、訓練された機械学習システム206に提示される。セグメント化された訓練特性画像が、第2のサブセットの各透過光画像と関連付けられる各訓練蛍光画像から作成される。エラー値のセットが、複数の訓練特性予測の各セットと、それと関連付けられるセグメント化された訓練特性画像のピクセルとの間で計算される。このように作成されるエラー値のセットの全ては、総エラーメトリック(例えば、正確に識別される特性と関連付けられるピクセルのパーセント)に組み合わせられる。
ステップ318では、訓練モジュール208は、総エラーメトリックを所定の許容エラーと比較し、総エラーメトリックが所定のエラーを上回る場合、訓練モジュール208は、ステップ304に進み、上記に説明されるような訓練のための画像のさらなるサブセットを選択する。いくつかの実施形態では、訓練モジュール208は、ユーザコンピュータ218上に総エラーメトリックを表示し、そのようなコンピュータのオペレータにさらなる訓練を行うかどうかクエリを行ってもよい。他の実施形態では、訓練モジュール218は、同様にステップ318において、訓練のために使用されたサンプルの数量、行われた訓練の反復の数量、成功した訓練パスの合間の総エラーメトリックの改良率、訓練のために着手される時間の量、および当業者に明白である他のそのような条件に従って、付加的訓練を行うかどうかを判定する。付加的訓練が正当化される場合、訓練モジュール208は、ステップ304に進む。
ある場合には、訓練モジュール208は、ステップ318において、総エラーメトリックが所定の許容エラーを上回るが、(例えば、総エラーメトリックが改良していない場合に)付加的訓練が正当化されないことを判定し得る。そのような場合には、訓練モジュール218は、そのような総エラーメトリックが所定の許容エラーを上回るというメッセージとともに、ユーザコンピュータ218上に総エラーメトリックを表示し、付加的訓練を行わなくてもよい。
図2−4を参照すると、訓練モジュール208が、ステップ318(図4)において、総エラーメトリックが容認可能であるため、または総エラーメトリックが改良していないため、機械学習システム206の付加的訓練が正当化されないことを判定する場合には、ステップ262(図3)は、完了し、訓練モジュールは、上記に説明されるステップ264(図3)に進む。
訓練および分析システム200によって行われ、図4に示されるステップ302−318は、機械学習システム206を訓練し、透過光画像内の1つまたは複数の細胞をセグメント化および/または特性評価するために上記に説明される。実質的に同じステップが、入力として画像を提供されるときに、機械学習システム206を訓練し、特性値を発生させるように、訓練および分析システム200によって行われてもよく、特性値は、画像が図3のステップ252において識別される特性と関連付けられる細胞を含む確率を示す。
特に、ステップ302では、蛍光画像から訓練特性画像を作成する代わりに、分析モジュール210は、蛍光画像が選択された特性を有する細胞を含むかどうかを示す、蛍光画像(またはそのサブ画像)毎の特性値を作成する。例えば、1の特性値は、特性の存在を示し得、0の特性値は、特性の非存在を示し得る。他の値も、それぞれ、特性の存在または非存在を示すために、1および0の代わりに使用され得ることが、明白となるはずである。ステップ310−314においてセグメント化された訓練特性を使用し、機械学習システム206を訓練する代わりに、訓練モジュール208は、特性値を使用する。さらに、複数の細胞を有する画像を使用する代わりに、訓練および分析システム200は、ステップ256および258(図3)において取得される画像から重複または隣接するタイル状画像を発生させるように構成されてもよい。そのようなタイル化は、例えば、画像入手モジュール202または分析モジュール210によって行われてもよい。いくつかの実施形態では、各画像は、例えば、32ピクセル×32ピクセルの寸法を有するタイルに分割されてもよく、各タイルは、隣接するタイルのいくつかのピクセル、例えば、各方向に8ピクセルを複製する。他の寸法であり、異なる量の重複ピクセルを有するタイルが使用され得ることが、明白となるはずである。他の実施形態では、タイルの寸法は、生物サンプルの着目細胞または別の部分が占有することが予期される、予期されるピクセル数に従って、選択されてもよい。
図5は、機械学習システム206を使用して、1つまたは複数の生物サンプルの特性を測定するために、システム200が行うステップのフローチャート400を示す。図5を参照すると、ステップ402では、測定モジュール214が、ユーザコンピュータ218から、生物サンプル内で測定する特性の選択、随意に、生物サンプルを含む細胞のタイプの識別を受信する。いくつかの実施形態では、ステップ402では、測定モジュール214は、ユーザコンピュータ218上に、機械学習パラメータが作成され、パラメータデータ記憶部212内に記憶された、細胞の1つまたは複数の特性および/またはタイプのリストを表示する。すなわち、リストは、機械学習システム206が生物サンプルの無標識画像内で識別するように訓練された細胞特性および/または細胞型を示す。応答して、測定モジュール214は、同様にステップ402において、ユーザコンピュータ218から、1つのそのような特性および/または細胞型の選択を受信する。
ステップ404では、測定モジュール214は、識別されたタイプの細胞内の選択された特性を分析するように機械学習システム206を訓練することから生じ、訓練後に記憶された、パラメータデータ記憶部212内のパラメータを選択する。その後、測定モジュール214は、機械学習システム206を訓練された状態に戻すように、選択されたパラメータを伴って機械学習システム206を構成する。
ステップ406では、そのウェル118内に堆積された生物サンプルを伴うサンプルトレイ116が、X−Yステージ102上に装填される。ステップ408では、画像入手モジュール202は、ウェル118またはその一部の透過光画像を発生させるように撮像システム100に指示する。透過光画像は、次いで、ステップ410において入力として訓練された機械学習システム206に提示され、応答して、訓練された機械学習システム206は、複数の予測される細胞特性を生成する。上記に説明されるように、複数の予測される細胞特性のそれぞれの値は、透過光画像の対応するピクセルが特性と関連付けられ、したがって、透過光画像のそのようなピクセルに表される生物サンプルの一部もまた、特性と関連付けられる確率を示す。
いくつかの実施形態では、ステップ412では、出力処理モジュール216は、付加的動作を行い、予測される細胞特性をクリーニングする。そのようなクリーニング動作は、境界充填、エッジ検出、および同等物を含む、当業者に明白な画像処理技法を適用することを伴う。そのような画像処理技法を使用して、出力処理モジュール216は、細胞の縁を表す透過光のピクセルと関連付けられる特性値を調節し、そのような縁をより明白にし、大きすぎて(または小さすぎて)単一の細胞ではない透過光画像内の物体を表した隣接する特性値を除去し、誤った内容と関連付けられる透過光画像内のピクセルと関連付けられる特性値を除去してもよい。当業者に明白な他のタイプのクリーニング動作も、ステップ412において行われてもよい。
いくつかの実施形態では、ステップ414では、測定モジュール214は、ステップ410において発生された複数の予測される細胞特性をデータ記憶部(図示せず)内に記憶する、さらなる分析のためにそのような複数のものを別のシステムに伝送する、またはユーザコンピュータ218上にそのような複数のものを表示する。
いくつかの実施形態では、測定モジュール214は、ステップ416において、ステップ410において発生された複数の予測される細胞特性の値から特性画像を発生させてもよい。特性画像の各ピクセルは、透過光画像のピクセルに対応する。いくつかの実施形態では、特性画像のピクセルは、対応する予測される細胞特性が所定の閾値および別様に0を超える場合に、所定の0ではない値に設定される。他の実施形態では、特性画像のピクセルの値は、対応する予測される細胞特性の値に従って設定される。例えば、測定モジュール214は、特性画像のピクセルの値を、透過光画像内の対応するピクセルが特性と関連付けられる確率と関連付けられる、特定の色に設定してもよい。ある場合には、測定モジュール214は、例えば、少なくとも特性と関連付けられることの所定の確率を有する、透過光画像に表される細胞またはその一部の細胞の数の計数等の1つまたは複数のメトリックを特性画像から自動的に作成してもよい。そのようなメトリックを自動的に作成することは、境界またはエッジ検出、境界充填、および類似アルゴリズムをステップ416において発生される特性画像に適用することを伴ってもよい。いくつかの実施形態では、オペレータは、例えば、リストから、測定モジュール214が計算するメトリックを選択する。他の実施形態では、測定モジュール214は、特定のメトリックを計算するように事前構成されてもよい。当業者に明白な測定モジュール214によって計算されるメトリックを選択する他の方法も、使用されてもよい。いくつかの実施形態では、特性画像は、透過光画像に適用されるマスクを発生させ、特性と関連付けられる、その中の細胞の画像を隔離するために使用されてもよい。例えば、局所閾値化、競合成長、境界成長、および同等物を含む、付加的処理が、特性画像上で行われてもよい。
図5に戻ると、ステップ418では、測定モジュール214は、その中に堆積された生物サンプルを有するサンプルトレイ116のウェル118の全てが処理されたかどうかを判定し、該当する場合、測定モジュール214は、終了する。そうでなければ、訓練および分析システム100は、ステップ408に進み、付加的透過光画像を入手および分析する。
ステップ410において作成された予測される特性値は、単に、上記に説明されるような単一の特性値であり得ることが、当業者に明白となるはずである。そのような場合には、特性値は、ステップ412において閾値化または別様に処理されてもよく、ステップ416は、行われる必要がない場合がある。
図6は、上記に説明されるように画像訓練および分析システム200の機械学習システム206を訓練するプロセスフローの実施例を示す。図2−6を参照すると、生物サンプルの訓練透過光(すなわち、無標識)画像500が、ステップ256(図3)において画像入手モジュール202(図2)によって入手され、生物サンプルの蛍光画像502が、ステップ258(図3)において画像入手モジュール202によって入手される。訓練特性画像504が、ステップ302(図4)において分析モジュール210(図2)によって発生される。上記に説明されるように、訓練透過光画像500および訓練特性画像504は、次いで、ステップ262(図3)において、機械学習システム206を訓練するために訓練モジュール208によって使用される。
図7は、訓練された機械学習システム206を使用するプロセスフローの実施例を示す。図2−7を参照すると、ステップ410(図5)において訓練された機械学習システム206に入力として供給される、入力透過光画像506が、ステップ408(図5)において画像入手モジュール202によって入手される。訓練された機械学習システム206からの出力が、次いで、ステップ412(図5)において、出力処理モジュール216(図2)によって特性画像508を作成するために使用される。
図2をもう一度参照すると、いくつかの実施形態では、機械学習システム206は、入力として64×64透過光画像を受け取り、応答して、64×64出力画像を発生させる、入力層を有する、畳み込みニューラルネットワークである。いくつかの実施形態では、ニューラルネットワーク206は、Google Inc.(Mountain View, California)によって開発されたAutoMLおよびNASNet技術を使用して構成される。例えば、完全畳み込みDenseNet、機械視覚アプリケーションのために最適化されるニューラルネットワーク、および同等物を含む、当業者に公知である他のニューラルネットワーク206技術も、使用され得ることが、明白となるはずである。機械学習システム206は、ランダムフォレストツリーおよび同等物を含む、別のタイプの機械学習システムであり得ることが、明白となるはずである。
前述に説明される訓練および分析システム200は、機械学習システム206を訓練し、個々の2次元透過光画像を分析するために使用されるものとして説明されるが、そのような訓練および分析システム200は、機械学習システム206を訓練し、そのような生物サンプルの3次元表現を表す、異なる焦点において撮影される生物サンプルの一連の2次元透過光画像を分析するように適合されてもよい。そのような実施形態では、機械学習システム206は、一連の訓練透過光画像および一連の訓練蛍光画像を使用して訓練され、そのような一連の画像を含む全ての画像は、サンプルキャリア116の実質的に同じX−Y場所と関連付けられ、一連の対応する透過光および蛍光画像は、異なる焦点(すなわち、異なるZ場所)と関連付けられる。一連の画像を含む画像は全て、機械学習システム206に同時に提供され、機械学習システム206は、所定の特性を有する細胞が一連の透過光画像によって表されることを示す特性値、または予測される特性値のセットのいずれかを発生させる。予測される特性値のセットが発生される場合、そのようなセットは、透過光画像の各ピクセルと関連付けられる1つの値を含み、そのような値は、そのようなピクセルが特性と関連付けられる確率を示す。したがって、予測される特性値のセットは、入力された一連の無標識画像を3次元でセグメント化するために使用されてもよい。
図1および2を参照すると、第1の撮像システム100が、第1の訓練されていない機械学習システム206を訓練し、第1の訓練された機械学習システム206を開発するために使用される、無標識および蛍光画像を供給するために使用され得、第1の訓練された機械学習システム206と関連付けられるパラメータが、パラメータデータ記憶部212内に記憶され得ることが、当業者に明白となるはずである。その後、そのような記憶されたパラメータは、第2の訓練された機械学習システム206を開発する(すなわち、第2の訓練されていない機械学習システム206上で第1の訓練された機械学習システム206の能力を複製する)ように、第2の訓練されていない機械学習システム206を構成するために使用されてもよい。第2の訓練された機械学習システム206は、第1または第2の撮像システム100を使用して発生される1つまたは複数の無標識画像を分析するために使用されてもよい。さらに、蛍光画像が、第1または第2の訓練された撮像システム100を動作させるときに必要ではないため、第2の撮像システム100は、無標識画像のみを発生させる必要があり、実際には、蛍光画像を発生させるために装備されない場合さえあることが明白となるはずである。
ハードウェアおよび/またはソフトウェアの任意の組み合わせが、本明細書に説明される訓練および分析システム200を実装するために使用され得ることが、当業者に明白となるはずである。図1−5に関連して説明されるプロセス、サブプロセス、およびプロセスステップのうちの1つまたは複数のものが、1つまたは複数の電子もしくはデジタル制御されたデバイス上のハードウェア、ソフトウェア、またはハードウェアおよびソフトウェアの組み合わせによって実施され得ることを理解および認識されたい。ソフトウェアは、例えば、図1−5に図式的に描写される機能システム、コントローラ、デバイス、コンポーネント、モジュール、またはサブモジュールのうちの1つまたは複数のもの等の好適な電子処理コンポーネントまたはシステム内のソフトウェアメモリ(図示せず)に常駐し得る。ソフトウェアメモリは、論理機能を実装するための実行可能な命令の順序付けられた一覧(すなわち、デジタル回路またはソースコード等のデジタル形態で、もしくはアナログ電気、音声、またはビデオ信号等のアナログソース等のアナログ形態で実装され得る「論理」)を含んでもよい。命令は、例えば、1つまたは複数のマイクロプロセッサ、汎用プロセッサ、プロセッサの組み合わせ、デジタル信号プロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)、または特定用途向け集積回路(ASIC)を含む、処理モジュールまたはコントローラ(例えば、図2の画像入手モジュール202、機械学習システム206、訓練モジュール208、分析モジュール210、および測定モジュール214、ならびに処理モジュール216)内で実行されてもよい。さらに、概略図は、機能のアーキテクチャまたは物理的レイアウトによって限定されない、物理的(ハードウェアおよび/またはソフトウェア)実装を有する、機能の論理的分割を説明する。本願に説明される例示的システムは、種々の構成で実装され、単一のハードウェア/ソフトウェアユニット内または別個のハードウェア/ソフトウェアユニット内のハードウェア/ソフトウェアコンポーネントとして動作してもよい。
画像訓練および分析システム200の1つまたは複数のコンポーネントが、例えば、ローカルエリアまたは広域ネットワーク(例えば、インターネットまたは私設ネットワーク)を経由して接続される分散コンピューティングおよび記憶システムを使用して、クラウド環境内で動作し得ることが、当業者に明白となるはずである。例えば、画像入手モジュール202、機械学習システム206、訓練モジュール208、出力処理モジュール216、および測定モジュール214のうちの1つまたは複数のものは、ユーザコンピュータ218、撮像システム100、および/または相互から遠隔にある1つまたは複数のコンピュータ上で動作してもよい。1つのそのような構成では、例えば、画像入手モジュール202は、ローカルエリアまたは広域ネットワークを経由してコントローラ114と通信し、撮像システム100から画像を入手し、このように入手される画像をクラウドベースの画像記憶部204内に記憶してもよい。ローカルで、またはクラウド内で動作する訓練モジュール208は、そのような画像にアクセスし、機械学習システム206を訓練し、クラウドベースの記憶システムとも称され得る、パラメータデータ記憶部212内にパラメータを記憶してもよい。測定モジュール214(ローカルサーバ上またはクラウド環境内で動作する)は、パラメータデータ記憶部212内に記憶されたパラメータにアクセスし、訓練されていない機械学習システム206(ローカルコンピュータ上またはクラウド環境内で動作する)を訓練してもよい。同様に、機械学習システム206の動作が、ローカルまたは遠隔撮像システム100を使用して入手される画像を分析するように行われてもよい。
実行可能命令は、電子システムの処理モジュールによって実行されると、命令を実行するように電子システムに指示する、その中に記憶された命令を有する、コンピュータプログラム製品として実装されてもよい。コンピュータプログラム製品は、電子コンピュータベースのシステム、プロセッサ含有システム、または命令実行システム、装置、もしくはデバイスから命令を選択的にフェッチし、命令を実行し得る、他のシステム等の命令実行システム、装置、またはデバイスによる、もしくはそれと関連した使用のために、任意の非一過性のコンピュータ可読記憶媒体で選択的に具現化されてもよい。本書の文脈では、コンピュータ可読記憶媒体は、命令実行システム、装置、またはデバイスによる、もしくはそれと関連した使用のために、プログラムを記憶し得る、任意の非一過性の手段である。非一過性のコンピュータ可読記憶媒体は、選択的に、例えば、電子、磁気、光学、電磁、赤外線、または半導体システム、装置、もしくはデバイスであってもよい。非一過性のコンピュータ可読媒体のより具体的な実施例の非包括的リストは、1つまたは複数のワイヤを有する電気接続(電子)、ポータブルコンピュータディスケット(磁気)、ランダムアクセス、すなわち、揮発性のメモリ(電子)、読取専用メモリ(電子)、例えば、フラッシュメモリ等の消去可能プログラマブル読取専用メモリ(電子)、例えば、CD−ROM、CD−R、CD−RW等のコンパクトディスクメモリ(光学)、およびデジタル多用途ディスクメモリ、すなわち、DVD(光学)を含む。
また、本書で使用されるような信号またはデータの受信および伝送は、2つ以上のシステム、デバイス、コンポーネント、モジュール、もしくはサブモジュールが、あるタイプの信号経路を経由して進行する信号を介して、相互と通信することが可能であることを意味することも理解されたい。信号は、第1および第2のシステム、デバイス、コンポーネント、モジュール、またはサブモジュールの間の信号経路に沿って、第1のシステム、デバイス、コンポーネント、モジュール、またはサブモジュールから、第2のシステム、デバイス、コンポーネント、モジュール、またはサブモジュールに情報、電力、またはエネルギーを通信し得る、通信、電力、データ、またはエネルギー信号であってもよい。信号経路は、物理、電気、磁気、電磁、電気化学、光学、有線、または無線接続を含んでもよい。信号経路はまた、第1および第2のシステム、デバイス、コンポーネント、モジュール、またはサブモジュールの間に、付加的システム、デバイス、コンポーネント、モジュール、またはサブモジュールを含んでもよい。
本明細書で引用される出版物、特許出願、および特許を含む、全ての参考文献は、各参考文献が、参照することによって組み込まれるように個別かつ具体的に示され、その全体として本明細書に記載された場合と同一の程度に、参照することによって本明細書に組み込まれる。
本発明を説明する文脈における(特に、以下の請求項の文脈における)用語「a」および「an」ならびに「the」の使用、および類似する言及は、本明細書で別様に示されない、または文脈と明確に矛盾しない限り、単数および複数の両方を網羅すると解釈されるものである。本明細書の値の範囲の列挙は、本明細書で別様に示されない限り、範囲内に該当する各別個の値を個別に指す簡潔な方法としての役割を果たすことを意図しているにすぎず、各別個の値は、本明細書に個別に列挙された場合のように本明細書に組み込まれる。本明細書に説明される全ての方法は、本明細書で別様に示されない、または別様に文脈と明確に矛盾しない限り、任意の好適な順序で実施されることができる。ありとあらゆる実施例、または本明細書で提供される例示的用語(例えば、「等」)の使用は、本開示の理解をより容易にすることを意図しているにすぎず、別様に請求されない限り、本開示の範囲に限定を課さない。本明細書内のいずれの言語も、本開示の実践に不可欠として任意の請求されていない要素を示すものとして解釈されるべきではない。
本開示への多数の修正が、前述の説明に照らして、当業者に明白となるであろう。図示される実施形態は、例示的にすぎず、本開示の範囲を限定するものとして解釈されるべきではないことを理解されたい。

Claims (20)

  1. 撮像システムを使用して生物サンプルを分析する方法であって、
    非一過性のプログラマブルデバイスに、
    訓練生物サンプルの無標識画像を取得するように前記撮像システムに命令し、応答して、第1の訓練画像を受信するステップと、
    前記訓練生物サンプルに蛍光を出させ、蛍光を受ける前記訓練生物サンプルの画像を取得するように前記撮像システムに命令し、応答して、第2の訓練画像を受信するステップと、
    前記第2の訓練画像を分析し、複数の訓練細胞特性を発生させるステップであって、前記複数の訓練細胞特性はそれぞれ、前記訓練生物サンプルを含む複数の訓練細胞のうちの1つと関連付けられる、ステップと、
    前記第1の訓練画像および前記複数の訓練細胞特性を使用して、機械学習システムを訓練し、訓練された機械学習システムが、入力としての前記第1の訓練画像とともに動作されるときに、前記訓練された機械学習システムが、前記複数の訓練細胞特性に対応する複数の予測される細胞特性を発生させるように、前記訓練された機械学習システムを開発するステップと
    を行わせるステップを含む、方法。
  2. 前記複数の予測される細胞特性はそれぞれ、前記複数の訓練細胞特性のうちの1つに対応し、前記非一過性のプログラマブルデバイスは、前記複数の予測される細胞特性のそれぞれと前記複数の訓練細胞特性のうちの対応するものとの間の差異が所定の量以内になるまで、前記機械学習システムを訓練するステップを反復して行う、請求項1に記載の方法。
  3. 前記非プログラマブル一過性デバイスに、前記生物サンプルの画像を受信するステップと、入力としての前記生物サンプルの画像とともに前記訓練された機械学習システムを動作させ、応答して、複数の細胞特性を受信するステップとを行わせるステップをさらに含み、前記複数の細胞特性はそれぞれ、前記生物サンプルの細胞と関連付けられる、請求項1に記載の方法。
  4. 前記非プログラマブル一過性デバイスに、前記複数の細胞特性を受信するステップを行わせるステップは、前記生物サンプルの画像のピクセル毎に細胞特性を受信するステップを含む、請求項3に記載の方法。
  5. 前記非プログラマブル一過性デバイスは、前記複数の細胞特性を処理し、前記生物サンプルの画像と関連付けられるメトリックを作成するさらなるステップを行う、請求項3に記載の方法。
  6. 前記メトリックは、生細胞、死細胞、特定の細胞小器官の数のうちの1つの計数と、前記生物サンプルの画像内に表される細胞の特定のタイプとを備える、請求項5に記載の方法。
  7. 訓練された機械学習システムは、第1の訓練された機械学習システムを備え、前記非一過性のプログラマブルデバイスは、第1の非一過性のプログラマブルデバイスを備え、前記第1の非プログラマブル一過性デバイスに、前記第1の訓練された機械学習システムと関連付けられるパラメータを記憶するさらなるステップを行わせ、第2の非一過性のプログラマブルデバイスに、前記記憶されたパラメータを伴って訓練されていない機械学習システムを構成し、第2の訓練された機械学習システムを開発するステップを行わせるステップをさらに含む、請求項1に記載の方法。
  8. 前記非一過性のプログラマブルデバイスは、第1の非一過性のプログラマブルデバイスを備え、前記方法は、第2の非一過性のプログラマブルデバイスに、前記生物サンプルの画像を受信するステップと、入力としての前記生物サンプルの画像とともに前記訓練された機械学習システムを動作させ、応答して、複数の細胞特性を受信するステップとを行わせるさらなるステップを含み、前記複数の細胞特性はそれぞれ、前記生物サンプルの細胞と関連付けられる、請求項1に記載の方法。
  9. 前記非一過性のプログラマブルデバイスに、前記機械学習システムを訓練させるステップは、前記機械学習システムを訓練し、特定のタイプの特性に関して特定のタイプの生物サンプルを分析するステップを行うステップを含む、請求項1に記載の方法。
  10. 前記無標識画像は、前記生物サンプルの3次元表現を表す一連の無標識画像のうちの1つであり、前記一連の無標識画像の全てを入力として前記機械学習システムに同時に提供するステップを含む、前記非一過性のプログラマブルデバイスに前記機械学習システムを訓練させるステップをさらに含む、請求項1に記載の方法。
  11. 撮像システムを使用して、生物サンプルを分析するためのシステムであって、
    少なくとも1つの非一過性のプログラマブルデバイス上で動作する機械学習システムと、
    前記非一過性のプログラマブルデバイスのうちの少なくとも1つの上で動作する画像入手モジュールであって、前記画像入手モジュールは、訓練生物サンプルの無標識画像を発生させるように前記撮像システムに命令し、応答して、第1の訓練画像を受信し、前記訓練生物サンプルに蛍光を出させ、蛍光を受ける前記訓練生物サンプルの画像を取得するように前記撮像システムに命令し、応答して、第2の訓練画像を受信する、画像入手モジュールと、
    前記非一過性のプログラマブルデバイスのうちの少なくとも1つの上で動作する分析モジュールであって、前記分析モジュールは、前記第2の訓練画像を分析し、複数の訓練細胞特性を発生させ、前記複数の訓練細胞特性はそれぞれ、前記訓練生物サンプルを含む複数の訓練細胞のうちの1つと関連付けられる、分析モジュールと、
    前記非一過性のプログラマブルデバイスのうちの少なくとも1つの上で動作する訓練モジュールであって、前記訓練モジュールは、前記第1の訓練画像および前記複数の訓練細胞特性を使用して、前記機械学習システムを訓練し、訓練された機械学習システムが、入力としての前記第1の訓練画像とともに動作されるときに、前記訓練された機械学習システムが、前記複数の訓練細胞特性に対応する複数の予測される細胞特性を発生させるように、前記訓練された機械学習システムを開発する、訓練モジュールと
    を備える、システム。
  12. 前記複数の予測される細胞特性はそれぞれ、前記複数の訓練細胞特性のうちの1つに対応し、訓練モジュールは、前記複数の予測される細胞特性のそれぞれと前記複数の訓練細胞特性のうちの対応するものとの間の差異が所定の量以内になるまで、前記機械学習システムを訓練するステップを反復して行う、請求項11に記載のシステム。
  13. 前記画像入手モジュールは、前記生物サンプルの画像を受信し、前記少なくとも1つの非一過性のプログラマブルデバイス上で動作する測定モジュールは、入力としての前記生物サンプルの画像とともに前記訓練された機械学習システムを動作させ、応答して、複数の細胞特性を受信し、前記複数の細胞特性はそれぞれ、前記生物サンプルの細胞と関連付けられる、請求項11に記載のシステム。
  14. 前記測定モジュールは、前記機械学習システム、前記画像入手モジュール、前記分析モジュール、および前記訓練モジュールが動作する前記非一過性のプログラマブルデバイスのうちの少なくとも1つから遠隔にある非一過性のプログラマブルデバイス上で動作する、請求項13に記載のシステム。
  15. 前記複数の細胞特性は、前記生物サンプルの画像の各ピクセルと関連付けられる細胞特性を備える、請求項13に記載のシステム。
  16. 前記測定モジュールは、前記複数の細胞特性を処理し、前記生物サンプルの画像と関連付けられるメトリックを作成する、請求項13に記載のシステム。
  17. 前記訓練された機械学習システムは、第1の訓練された機械学習システムを含み、第2の非一過性のプログラマブルデバイス上で動作するさらなる画像入手モジュールおよび測定モジュールをさらに含み、前記訓練モジュールは、前記第1の訓練された機械学習システムと関連付けられるパラメータを記憶し、前記第2の非一過性のプログラマブルデバイスは、前記記憶されたパラメータを伴って訓練されていない機械学習システムを構成し、第2の訓練された機械学習システムを開発し、前記さらなる画像入手モジュールは、生物サンプルの画像を受信し、前記測定モジュールは、入力としての前記画像とともに前記第2の訓練された機械学習システムを動作させ、応答して、前記生物サンプルと関連付けられる特性を受信する、請求項11に記載のシステム。
  18. 前記機械学習システムは、畳み込みニューラルネットワークを備える、請求項11に記載のシステム。
  19. 前記訓練モジュールは、前記機械学習システムを訓練し、特定のタイプの特性に関して特定のタイプの生物サンプルを分析する、請求項11に記載のシステム。
  20. 前記無標識画像は、前記生物サンプルの3次元表現を表す一連の無標識画像のうちの1つであり、前記訓練モジュールは、前記一連の無標識画像の全てを入力として前記機械学習システムに同時に提供することによって、前記機械学習システムを訓練する、請求項11に記載のシステム。
JP2021513459A 2018-09-12 2019-09-12 生物サンプルの無標識識別および分類のためのシステムならびに方法 Pending JP2022500753A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/128,798 US10929716B2 (en) 2018-09-12 2018-09-12 System and method for label-free identification and classification of biological samples
US16/128,798 2018-09-12
PCT/US2019/050787 WO2020056118A1 (en) 2018-09-12 2019-09-12 System and method for label-free identification and classification of biological samples

Publications (2)

Publication Number Publication Date
JP2022500753A true JP2022500753A (ja) 2022-01-04
JPWO2020056118A5 JPWO2020056118A5 (ja) 2022-09-14

Family

ID=69719640

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021513459A Pending JP2022500753A (ja) 2018-09-12 2019-09-12 生物サンプルの無標識識別および分類のためのシステムならびに方法

Country Status (5)

Country Link
US (1) US10929716B2 (ja)
EP (1) EP3850361A4 (ja)
JP (1) JP2022500753A (ja)
CN (1) CN112689756A (ja)
WO (1) WO2020056118A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9928403B2 (en) * 2016-02-09 2018-03-27 Molecular Devices, Llc System and method for image analysis of multi-dimensional data
EP3887500A2 (en) * 2018-11-30 2021-10-06 Corning Incorporated Compact optical imaging system for cell culture monitoring
US11803963B2 (en) 2019-02-01 2023-10-31 Sartorius Bioanalytical Instruments, Inc. Computational model for analyzing images of a biological specimen
WO2020210734A1 (en) 2019-04-11 2020-10-15 Agilent Technologies, Inc. User interface configured to facilitate user annotation for instance segmentation within biological sample
CA3188705A1 (en) * 2020-08-18 2022-02-24 Frederik AIDT Tissue staining and sequential imaging of biological samples for deep learning image analysis and virtual staining
WO2022108885A1 (en) * 2020-11-17 2022-05-27 Sartorius Bioanalytical Instruments, Inc. Method for classifying cells
CN113076437B (zh) * 2021-04-13 2023-02-14 华南理工大学 一种基于标签重分配的小样本图像分类方法及系统
GB2607604A (en) * 2021-06-08 2022-12-14 Solentim Ltd Brightfield and fluorescence image comparison
AU2022396109A1 (en) * 2021-11-23 2024-06-20 Agilent Technologies, Inc. Digital analysis of preanalytical factors in tissues used for histological staining

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014038408A1 (ja) * 2012-09-06 2014-03-13 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2016518813A (ja) * 2013-03-15 2016-06-30 ベンタナ メディカル システムズ, インコーポレイテッド デジタル・ホール・スライドの自動採点のための組織物体に基づく機械学習システム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030018457A1 (en) * 2001-03-13 2003-01-23 Lett Gregory Scott Biological modeling utilizing image data
KR101006793B1 (ko) * 2005-08-11 2011-01-10 에스알유 바이오시스템즈, 인코포레이티드 라벨 없는 바인딩 검출 및 형광 증폭과 조합된 격자-기반센서 및 센서를 위한 판독 시스템
GB2542911B (en) * 2011-10-14 2017-07-26 Solentim Ltd Method of and apparatus for analysis of a sample of biological tissue cells
US9619881B2 (en) * 2013-09-26 2017-04-11 Cellogy, Inc. Method and system for characterizing cell populations
US20170052106A1 (en) * 2014-04-28 2017-02-23 The Broad Institute, Inc. Method for label-free image cytometry
EP3155558A1 (en) * 2014-06-16 2017-04-19 Siemens Healthcare Diagnostics Inc. Analyzing digital holographic microscopy data for hematology applications
CN108140240B (zh) * 2015-08-12 2022-05-31 分子装置有限公司 用于自动分析细胞的表型反应的系统和方法
JP6528608B2 (ja) * 2015-08-28 2019-06-12 カシオ計算機株式会社 診断装置、及び診断装置における学習処理方法、並びにプログラム
WO2017053592A1 (en) * 2015-09-23 2017-03-30 The Regents Of The University Of California Deep learning in label-free cell classification and machine vision extraction of particles
JP6660712B2 (ja) * 2015-11-10 2020-03-11 株式会社Screenホールディングス 分類器構成方法および細胞の生死判定方法
WO2017112896A1 (en) * 2015-12-22 2017-06-29 Canon U.S. Life Sciences, Inc. System and method of label-free cytometry based on brillouin light scattering
KR101927852B1 (ko) * 2016-06-10 2018-12-13 주식회사 토모큐브 3차원 굴절률 토모그램과 딥러닝을 이용한 비염색 비표지 세포 종류 구분 방법 및 장치
JP7068307B2 (ja) * 2016-08-31 2022-05-16 モレキュラー デバイシーズ, エルエルシー テンプレートベースの画像分析のためのシステムおよび方法
WO2019032723A1 (en) * 2017-08-09 2019-02-14 Allen Institute IMAGE PROCESSING SYSTEMS, DEVICES, AND METHODS FOR GENERATING AN IMAGE HAVING PREDICTIVE MARKING
EP3598194A1 (de) * 2018-07-20 2020-01-22 Olympus Soft Imaging Solutions GmbH Verfahren zur mikroskopischen auswertung
EP3608828A1 (de) * 2018-08-09 2020-02-12 Olympus Soft Imaging Solutions GmbH Verfahren zur bereitstellung eines auswertungsmittels für wenigstens ein optisches anwendungssystem einer mikroskopischen anwendungstechnologie

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014038408A1 (ja) * 2012-09-06 2014-03-13 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2016518813A (ja) * 2013-03-15 2016-06-30 ベンタナ メディカル システムズ, インコーポレイテッド デジタル・ホール・スライドの自動採点のための組織物体に基づく機械学習システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SAJITH KECHERIL SADANANDAN ET AL.: "Automated Training of Deep Convolutional Neural Networks for Cell Segmentation", [ONLINE], JPN7023003023, 10 August 2017 (2017-08-10), ISSN: 0005122336 *

Also Published As

Publication number Publication date
CN112689756A (zh) 2021-04-20
US10929716B2 (en) 2021-02-23
WO2020056118A1 (en) 2020-03-19
US20200082222A1 (en) 2020-03-12
EP3850361A4 (en) 2022-06-29
EP3850361A1 (en) 2021-07-21

Similar Documents

Publication Publication Date Title
JP2022500753A (ja) 生物サンプルの無標識識別および分類のためのシステムならびに方法
Husson et al. Keeping track of worm trackers
US11645752B2 (en) Image analysis system and method of using the image analysis system
US11334743B2 (en) System and method for image analysis of multi-dimensional data
JP6859355B2 (ja) 3次元顕微鏡画像の区分化のためのシステムおよび方法
US10690901B2 (en) Apparatus and method for generating in-focus images using parallel imaging in a microscopy system
JP6509818B2 (ja) 顕微鏡システムにおいて平行撮像を用いて焦点の合った画像を生成するための装置および方法
JP2022540978A (ja) ウェルを含有したアッセイプレート内の複毛目や昆虫や他の生命体に対する有効成分の効果を決定するためのシステム
US20230345115A1 (en) Method and system of developing an imaging configuration to optimize performance of a microscopy system
JP2023534366A (ja) 生細胞生物学的試料の蛍光画像の取得のための方法およびシステム
US11669946B2 (en) High-content imaging system to generate enhanced images and method of operating the same

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220906

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220906

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230726

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230804

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240301