JP2019525199A - イメージングフローサイトメーター（ｉｆｃ）から取得された画像を使用した、細胞画像のセグメンテーションおよび形態分析のための明視野と蛍光チャンネルの統合方法 - Google Patents
イメージングフローサイトメーター（ｉｆｃ）から取得された画像を使用した、細胞画像のセグメンテーションおよび形態分析のための明視野と蛍光チャンネルの統合方法 Download PDFInfo
- Publication number
- JP2019525199A JP2019525199A JP2019516906A JP2019516906A JP2019525199A JP 2019525199 A JP2019525199 A JP 2019525199A JP 2019516906 A JP2019516906 A JP 2019516906A JP 2019516906 A JP2019516906 A JP 2019516906A JP 2019525199 A JP2019525199 A JP 2019525199A
- Authority
- JP
- Japan
- Prior art keywords
- image
- cell
- images
- classification
- classification engine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000000877 morphologic effect Effects 0.000 title description 8
- 238000004458 analytical method Methods 0.000 title description 6
- 238000003709 image segmentation Methods 0.000 title description 2
- 230000010354 integration Effects 0.000 title 1
- 230000001413 cellular effect Effects 0.000 claims abstract description 19
- 230000011218 segmentation Effects 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims description 20
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 17
- 238000012958 reprocessing Methods 0.000 claims description 13
- 230000001086 cytosolic effect Effects 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 11
- 230000036512 infertility Effects 0.000 claims description 11
- 208000000509 infertility Diseases 0.000 claims description 11
- 231100000535 infertility Toxicity 0.000 claims description 11
- 238000002073 fluorescence micrograph Methods 0.000 claims description 10
- 238000001228 spectrum Methods 0.000 claims description 10
- 230000036541 health Effects 0.000 claims description 9
- 230000011514 reflex Effects 0.000 claims description 9
- 206010028980 Neoplasm Diseases 0.000 claims description 8
- 201000011510 cancer Diseases 0.000 claims description 8
- 239000003550 marker Substances 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 201000010099 disease Diseases 0.000 claims description 7
- 238000002405 diagnostic procedure Methods 0.000 claims description 5
- 238000009877 rendering Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 abstract description 9
- 230000003834 intracellular effect Effects 0.000 abstract description 6
- 238000000701 chemical imaging Methods 0.000 abstract description 4
- 210000004027 cell Anatomy 0.000 description 192
- 239000000523 sample Substances 0.000 description 27
- 230000000644 propagated effect Effects 0.000 description 10
- 230000000875 corresponding effect Effects 0.000 description 9
- XJMOSONTPMZWPB-UHFFFAOYSA-M propidium iodide Chemical compound [I-].[I-].C12=CC(N)=CC=C2C2=CC=C(N)C=C2[N+](CCC[N+](C)(CC)CC)=C1C1=CC=CC=C1 XJMOSONTPMZWPB-UHFFFAOYSA-M 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000000684 flow cytometry Methods 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 241000282898 Sus scrofa Species 0.000 description 6
- 230000005856 abnormality Effects 0.000 description 5
- 238000005452 bending Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 231100000527 sperm abnormality Toxicity 0.000 description 5
- 238000004163 cytometry Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 4
- 230000008722 morphological abnormality Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 239000007850 fluorescent dye Substances 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 238000010186 staining Methods 0.000 description 3
- IJGRMHOSHXDMSA-UHFFFAOYSA-N Atomic nitrogen Chemical compound N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 description 2
- WSFSSNUMVMOOMR-UHFFFAOYSA-N Formaldehyde Chemical compound O=C WSFSSNUMVMOOMR-UHFFFAOYSA-N 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000035558 fertility Effects 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000004899 motility Effects 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 102000004169 proteins and genes Human genes 0.000 description 2
- 108090000623 proteins and genes Proteins 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 241000206761 Bacillariophyta Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000010420 art technique Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 239000012472 biological sample Substances 0.000 description 1
- 239000000090 biomarker Substances 0.000 description 1
- 210000000601 blood cell Anatomy 0.000 description 1
- 238000009534 blood test Methods 0.000 description 1
- 210000001124 body fluid Anatomy 0.000 description 1
- 239000010839 body fluid Substances 0.000 description 1
- 238000000339 bright-field microscopy Methods 0.000 description 1
- 230000018486 cell cycle phase Effects 0.000 description 1
- 210000003850 cellular structure Anatomy 0.000 description 1
- 238000003776 cleavage reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 210000000805 cytoplasm Anatomy 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000013020 embryo development Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004720 fertilization Effects 0.000 description 1
- 210000003495 flagella Anatomy 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 201000005787 hematologic cancer Diseases 0.000 description 1
- 208000024200 hematopoietic and lymphoid system neoplasm Diseases 0.000 description 1
- 238000002952 image-based readout Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 244000144972 livestock Species 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 238000011527 multiparameter analysis Methods 0.000 description 1
- 229910052757 nitrogen Inorganic materials 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000007017 scission Effects 0.000 description 1
- 210000000582 semen Anatomy 0.000 description 1
- 230000021595 spermatogenesis Effects 0.000 description 1
- 238000007447 staining method Methods 0.000 description 1
- 239000010902 straw Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N15/1429—Signal processing
- G01N15/1433—Signal processing using image recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/693—Acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Quality & Reliability (AREA)
- Chemical & Material Sciences (AREA)
- Immunology (AREA)
- Dispersion Chemistry (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Signal Processing (AREA)
- Pathology (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Apparatus Associated With Microorganisms And Enzymes (AREA)
- Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
- Image Analysis (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
【課題】分類エンジンは、コンピュータにより自動化されたシステム、方法および診断ツールにおける細胞形態特定ならびに細胞分類を提供する。【解決手段】分類エンジンは、多重スペクトルイメージングフローサイトメーターにより取得された数千の細胞画像の多重スペクトルセグメンテーションを実行する。イメージングモードの機能として、当該画像の異なる画像は、細胞および細胞内要素に対して異なるセグメンテーションマスクを提供する。セグメンテーションマスクを使用して、分類エンジンは、異なる細胞要素のモデル適合を繰り返し最適化する。得られた改善画像データは、画像中の細胞要素の位置の正確性が増し、画像中の複雑な細胞形態の検出を可能とする。分類エンジンは、細胞型分類のための、最も特徴的な形状に基づいた特性の自動化ランキングおよび選択を提供する。【選択図】図３Ａ
Description
本出願は、２０１６年６月１０日に出願された米国仮特許出願第６２／３４８，３５６号の利益を主張する。上記出願の全教示内容が、参照により本明細書に組み込まれる。
サイトメトリーは、細胞のサイズ、細胞数、細胞の形態（形状および構造）、細胞サイクルのフェーズ、ＤＮＡ含有量、および細胞表面上もしくは細胞質中の特定のタンパク質の存在または非存在をはじめとする細胞の特徴の測定方法である。一般的な血液検査において、サイトメトリーを使用して血液細胞が特徴解析および計数される。同様に、サイトメトリーは細胞生物学的研究および医学的診断においても使用され、例えば癌およびその他の障害などの疾患と関連した広汎な用途において細胞が特徴解析される。
サイトメトリー装置としては、光学顕微鏡を使用して多数の細胞を統計的に画像化することにより作動する画像サイトメーターが挙げられる。分析を行う前に、コントラストを増強するため、または、蛍光色素でこれら細胞をラベル付することにより特定の分子を検出するために、細胞を染色する。これら細胞をヘモサイトメーター内で評価し、手動による計数を補助する。デジタルカメラを導入することにより、細胞計数用の自動化画像サイトメーター、および高機能化されたハイコンテントスクリーニングシステム用の自動化画像サイトメーターをはじめとする、画像サイトメーターの自動化がもたらされている。
その他のサイトメーター装置は、フローサイトメーターである。フローサイトメーターにおいて、細胞は液体流の中に懸濁され、電子的検出機器を通過する。細胞は光学的に特徴解析されるか、またはコールタープリンシパル（Coulter principle）と呼ばれる電気インピーダンス法の使用により特徴解析される。光学的に特徴解析された場合、特定の分子を検出するために、細胞はほとんどの場合において画像サイトメーターで使用されるものと同じタイプの蛍光色素で染色される。概して、フローサイトメーターは、画像サイトメーターよりも少ないデータを提供するが、非常に高いスループットを有している。
例えば、バイオテクノロジーにおいて、フローサイトメトリーは、レーザーまたはインピーダンスに基づいた生物物理学的技術であり、細胞計数、細胞ソーティング、バイオマーカーの検出、およびタンパク質操作において利用される。フローサイトメーターによって、１秒当たり最大で数千の粒子（細胞）の物理的特性および化学的特性の同時マルチパラメーター分析が可能となる。フローサイトメトリーは健康上の障害の診断、特に血液の癌の診断において日常的に使用される。ただし、フローサイトメトリーは、研究、臨床診療および臨床試験における他の用途を有する。共通したバリエーションは、細胞の特性に基づいて細胞粒子を物理的にソートすることであり、これにより目的の細胞集団を純化させる。
形態評価も異なる細胞型の特定に重要である。また細胞の健常性の査定にも極めて重要な役割を果たしている。しかしながら、例えば鎌状細胞、珪藻類、および精子などの複雑な形態は、細胞内の不均一な形状が原因で、正確に分類することが困難であり得る。
最新の技法は、（ｉ）顕微鏡から画像を取得する、（ｉｉ）次いで、細胞内コンポーネントを手動で配置する、ならびに（ｉｉｉ）それら細胞のコンポーネントおよびサブコンポーネントの空間的位置に対する座標を推測し、明視野画像にそれらをおよそでマッピングして戻す、ことを含む。
本発明に関し、本出願人は、当分野の不備および困難に取り組む。特に、実施形態は、コンピュータに実装された細胞形態分類システムまたはツールを提供する。実施形態は、対象細胞の、例えば明視野画像、側方散乱画像および蛍光画像などの異なるイメージングモードの様々な画像を取得するための多重スペクトルイメージングフローサイトメーターを使用する。画像は同時に取得され、イメージングモード全体にわたり空間的に揃って並べられる。取得された画像は、プロセッサベースの分類エンジン（すなわち、分類器）へと伝送され、この分類器が自動で数千の細胞画像を分析し、異なる細胞コンポーネントまたは細胞内コンポーネントを正確に特定する。具体的には、分類エンジンは、細胞または細胞内部分に対するセグメンテーションマスクを使用して、多重スペクトルセグメンテーションを実行する。分類エンジンは、異なる細胞部分のモデル適合の最適化を繰り返すことにより、多重スペクトルセグメンテーションを実行する。セグメンテーションマスクを使用することにより、分類エンジンは、例えば輪郭の曲率および折れ曲がりスコアなどの高度な形状特性を抽出し、次いで例えば断片化細胞または分離細胞、拡張した細胞境界または尖った細胞境界などの複雑な形態を検出する。次に、分類エンジンは、被験（サンプル）細胞を亜集団へと分類するための、最も特徴的な形状に基づいた特性の自動化ランキングおよび選択を提供する。
１つの実施形態は、様々な精子の形態的欠損を正確に分類することにより、イノシシの精液サンプルに対する本出願人のアプローチの有効性を示している。他の実施形態は、癌細胞、鎌状細胞、および複雑な形態を有する他の細胞型を分類してもよい。さらに他の実施形態は、細胞の形態を特定するため、および／または異なる細胞型を分類するための診断ツールを提供する。
実施形態は、イメージングフローサイトメーター、分類エンジン、および出力ユニットを備える、コンピュータにより自動化された細胞分類システムを提供する。イメージングフローサイトメーターは、サンプル細胞の多重スペクトルの複数の画像を取得する。この複数の画像は、複数のイメージングモードにわたり同時に取得され、そしてこの複数画像の各々が、互いに空間的に揃って並べられる。
分類エンジンは、コンピュータプロセッサにより実行され、画像フローサイトメーターにより取得された多重スペクトルの複数画像を受け取るよう接続される。分類エンジン：
（Ａ）取得された複数画像のうちの１つを、コンポーネントへとセグメント化する。当該１つの画像が、サンプル細胞の形態を提供し、およびコンポーネントは、サンプル細胞の部分を提示する画像サブコンポーネントから形成される、
（Ｂ）（ｉ）取得された複数画像のうちのその他の画像を、当該１つの画像からセグメント化されたコンポーネントに対応するコンポーネントへとセグメント化する。当該その他の画像は、当該１つの画像とは異なる、および互いに異なるイメージングモードの画像である。当該その他の画像からセグメント化されたコンポーネントは、当該１つの画像の画像サブコンポーネントのマスクとしての機能を果たす。（ｉｉ）当該セグメント化されたその他の画像により生成されたサブコンポーネントマスクを、当該１つの画像に空間的に関連づける。および当該１つの画像に対し、各細胞部分の最前面オブジェクトマーカーとして当該サブコンポーネントマスクを使用する。ならびに（ｉｉｉ）グラフィックカットセグメンテーションを、細胞部分の位置の正確性が増した当該１つの画像の改善画像データが生成されるように、当該１つの画像に適用させる、ことにより当該１つの画像における細胞部分の位置の正確性を改善する、および、
（Ｃ）（Ｂ）から得られ、相対的な位置でのコンポーネントマスクを含んで生成された改善画像データを有する当該１つの画像を再処理する。当該再処理は、当該１つの画像から細胞の形態を特定し、それにより、当該サンプル細胞の細胞型を分類する。出力ユニットは、分類エンジンから特定された細胞形態および／または細胞型分類の指標を表示させる。出力ユニットは、コンピュータディスプレイモニター、診断検査インジケーター、またはその他のデジタルレンダリングのうちのいずれかであってもよい。
（Ａ）取得された複数画像のうちの１つを、コンポーネントへとセグメント化する。当該１つの画像が、サンプル細胞の形態を提供し、およびコンポーネントは、サンプル細胞の部分を提示する画像サブコンポーネントから形成される、
（Ｂ）（ｉ）取得された複数画像のうちのその他の画像を、当該１つの画像からセグメント化されたコンポーネントに対応するコンポーネントへとセグメント化する。当該その他の画像は、当該１つの画像とは異なる、および互いに異なるイメージングモードの画像である。当該その他の画像からセグメント化されたコンポーネントは、当該１つの画像の画像サブコンポーネントのマスクとしての機能を果たす。（ｉｉ）当該セグメント化されたその他の画像により生成されたサブコンポーネントマスクを、当該１つの画像に空間的に関連づける。および当該１つの画像に対し、各細胞部分の最前面オブジェクトマーカーとして当該サブコンポーネントマスクを使用する。ならびに（ｉｉｉ）グラフィックカットセグメンテーションを、細胞部分の位置の正確性が増した当該１つの画像の改善画像データが生成されるように、当該１つの画像に適用させる、ことにより当該１つの画像における細胞部分の位置の正確性を改善する、および、
（Ｃ）（Ｂ）から得られ、相対的な位置でのコンポーネントマスクを含んで生成された改善画像データを有する当該１つの画像を再処理する。当該再処理は、当該１つの画像から細胞の形態を特定し、それにより、当該サンプル細胞の細胞型を分類する。出力ユニットは、分類エンジンから特定された細胞形態および／または細胞型分類の指標を表示させる。出力ユニットは、コンピュータディスプレイモニター、診断検査インジケーター、またはその他のデジタルレンダリングのうちのいずれかであってもよい。
実施形態において、細胞分類システムは、当該１つの画像として明視野画像を利用し、その他の画像は、異なる蛍光チャンネルの蛍光画像である。そのような細胞分類システムにおいて、明視野画像における細胞部分の位置の正確性の改善の分類エンジン工程（Ｂ）は、異なる蛍光画像の各々に対し、（ｉ）〜（ｉｉｉ）を反復して適用する。
細胞分類システムの他の実施形態において、分類エンジンは、障害を有する精子細胞、鎌状細胞、癌細胞、および疾患または健康上の障害の指標となるその他の細胞のうちのいずれか１種以上を含む細胞型を分類する。一部の実施形態では、分類エンジンは、正常に機能しない精子細胞を分類してもよく、出力ユニットは、不妊の指標を表示する診断インジケーターである。分類エンジンは、細胞質小滴、遠位中片部反射（ＤＭＲ：Distal Midpiece Reflex）の発生、および精子頭部の形状のうちの１種以上を自動的に特定することにより、正常に機能しない精子細胞を分類してもよい。
他の実施形態は、細胞の形態を特定、および細胞型を分類するためのコンピュータに基づいた診断ツールを提供する。そのような診断ツールは、入力アセンブリ、および当該入力アセンブリに通信可能に接続される分類エンジンを備える。当該入力アセンブリは、サンプル細胞の複数の多重スペクトル画像ソースへのアクセスを提供する。当該複数の画像は、イメージングフローサイトメーターにより同時に取得され、当該複数の画像は、互いに空間的に揃って並べられる。
分類エンジンは、当該入力アセンブリから複数の多重スペクトル画像を受け取る。分類エンジンは、コンピュータプロセッサにより実行され、以下により受け取った画像を処理する：
（Ａ）受け取った画像のうちの１つを、コンポーネントにセグメント化する。当該１つの画像が、サンプル細胞の形態を提供し、該コンポーネントは、サンプル細胞の部分を提示する画像サブコンポーネントから形成される、
（Ｂ）（ｉ）受け取った画像のうちのその他のものを、当該１つの画像からセグメント化されたコンポーネントに対応するコンポーネントへとセグメント化する。当該その他の受け取った画像は、当該１つの画像とは異なる、互いに異なるイメージングモードの画像である。当該その他の受け取った画像からセグメント化されたコンポーネントは、当該１つの画像の画像サブコンポーネントのマスクとしての機能を果たす。（ｉｉ）当該セグメント化されたその他の受け取った画像により生成されたサブコンポーネントマスクを、当該１つの画像に空間的に関連づける。そして、当該１つの画像に対し、各細胞部分の最前面オブジェクトマーカーとして、当該サブコンポーネントマスクを使用する。ならびに（ｉｉｉ）グラフィックカットセグメンテーションを、細胞部分の位置の正確性が増した当該１つの画像の改善画像データが生成されるように、当該１つの画像に適用させることにより、当該１つの画像において、細胞部分の位置の正確性を改善する、および、
（Ｃ）（Ｂ）から得られ、相対的な位置でコンポーネントマスクを含んで生成された改善画像データを有する当該１つの画像を再処理する。
（Ａ）受け取った画像のうちの１つを、コンポーネントにセグメント化する。当該１つの画像が、サンプル細胞の形態を提供し、該コンポーネントは、サンプル細胞の部分を提示する画像サブコンポーネントから形成される、
（Ｂ）（ｉ）受け取った画像のうちのその他のものを、当該１つの画像からセグメント化されたコンポーネントに対応するコンポーネントへとセグメント化する。当該その他の受け取った画像は、当該１つの画像とは異なる、互いに異なるイメージングモードの画像である。当該その他の受け取った画像からセグメント化されたコンポーネントは、当該１つの画像の画像サブコンポーネントのマスクとしての機能を果たす。（ｉｉ）当該セグメント化されたその他の受け取った画像により生成されたサブコンポーネントマスクを、当該１つの画像に空間的に関連づける。そして、当該１つの画像に対し、各細胞部分の最前面オブジェクトマーカーとして、当該サブコンポーネントマスクを使用する。ならびに（ｉｉｉ）グラフィックカットセグメンテーションを、細胞部分の位置の正確性が増した当該１つの画像の改善画像データが生成されるように、当該１つの画像に適用させることにより、当該１つの画像において、細胞部分の位置の正確性を改善する、および、
（Ｃ）（Ｂ）から得られ、相対的な位置でコンポーネントマスクを含んで生成された改善画像データを有する当該１つの画像を再処理する。
分類エンジンによる再処理によって、当該１つの画像から細胞の形態が特定され、それによりサンプル細胞の細胞型が分類される。分類エンジンは、特定された細胞形態および／または細胞型分類の出力指標を提供する。かかる出力指標は、不妊、正常に機能しない精子細胞、または類似の分析結果に関する診断ツールのインジケーターとしての機能を果たし、および非限定的な例として、ディスプレイスクリーン上に表示されてもよい。
イメージングフローサイトメーターが、高速および高解像度で画像を取得する能力を活用し、および特定の統計モデリングとともに解析フレームワークを使用することで、結果において９０パーセントを超える感度と特異性の実施形態が観察された。従って、実施形態は、際立った形態特性を正確に抽出し、客観的および精密な様式で細胞型を分類する能力を示す。
前述は、類似の参照文字が、異なる図に渡って同じ部品を指す、添付図面に図示する通り、本発明の例示の実施形態に関する、以下のより具体的な記載から明らかとなるであろう。図面は、必ずしも正確な縮尺ではなく、代わりに、本発明の実施形態を図示することに重点が置かれている。
本発明の例示の実施形態についての説明は、以下の通りである。
本明細書にて言及するすべての特許、公表された出願および参考文献の教授は、参照することによってその全体が援用される。
図１において、本発明を具現化する細胞分類システムまたはコンピュータに基づいたツール１００である。例えば体液、または対象細胞を担持する他のマテリアル（培地）などの目的の生物サンプルは、多重スペクトルイメージングフローサイトメーター１０５への入力として提供される。イメージングフローサイトメーター１０５は、標準的なフローサイトメトリーの蛍光感度と、デジタル顕微鏡の空間分解能および定量的形態を組み合わせる。イメージングフローサイトメーターの例は、本出願人であるAmnisによるImageStream（登録商標）である。その他のイメージングフローサイトメーターも適している。
イメージングフローサイトメーター１０５は、従来的なフローサイトメトリーの広範な細胞染色プロトコルならびにスライド上の細胞を画像化するためのプロトコルと互換性がある。米国特許第6,211,955号、第6,249,341号、第7,522,758号、およびDavid A.Basijiらによる、Clinical Laboratory Medicine 2007 September, Volume 27, Issue 3, pages 653-670の"Cellular Image Analysis and Imaging by Flow Cytometry"を参照のこと（それら全体で、本明細書に参照により組み込まれる）。
イメージングフローサイトメーター１０５は、高解像度の多重スペクトルイメージングシステムを用いてサンプル中の動く細胞を電子的に追跡撮影し、同時に、各標的細胞の異なるイメージングモードの複数の画像を取得する。１つの実施形態では、細胞の取得された画像１２１は、側方散乱（暗視野）画像、透過光（明視野）画像、および異なるスペクトル帯のいくつかの蛍光画像を含む。重要なことは、細胞（セルラー）画像（すなわち細胞（セル）の画像）１２１が同時に取得されるだけではなく、異なるイメージングモードにわたり互いに空間的に揃って並べられていることである。ゆえに取得された対象細胞の暗視野画像、明視野画像、および蛍光画像（集合的に画像１２１）は、互いに空間的に揃って並べられ、それにより、約１〜２ピクセル以内の正確性で対応する画像位置のマッピングが可能となる。
取得された細胞画像１２１は、イメージングフローサイトメーター１０５から出力され、コンピュータ実装された分類エンジンまたはモデラー１０７へ入力される。非限定的な例として、実施形態は、取得された画像１２１に対するストリーミングフィードまたはその他のアクセスを実装するための入力アセンブリを使用してもよい。分類エンジン１０７は、画像収集またはアクセスとほぼ同時に、数千の細胞画像１２１を自動的に分析し、サンプル細胞の異なる細胞コンポーネントおよび細胞内コンポーネントを正確に特定するように構成される。すなわち各画像１２１は、サンプル中の細胞を提示するコンポーネントを有し、所与のコンポーネントは、細胞の部分（一部）を提示する１つ以上の画像サブコンポーネントから形成され得る。
簡潔に述べると、取得された画像１２１から、分類エンジン１０７は細胞の形態を図示する画像、例えば非限定的な例として明視野画像を選択する。分類エンジン１０７は、その明視野画像をコンポーネント（候補細胞の代表）へとセグメント化し、同様に、異なるスペクトル帯のその他の画像を対応する細胞コンポーネントへとセグメント化する。取得された画像１２１が互いに空間的に揃って並べられた場合、セグメント化された画像から得られたコンポーネントは、サンプルの細胞および細胞内部分に対する正確なセグメンテーションマスクとしての機能を果たす。分類エンジン１０７は、異なるスペクトル帯のセグメント化画像の対応するコンポーネントおよびそれらのサブコンポーネントを使用して、明視野画像の異なる細胞部分のモデル適合の最適化を繰り返す。結果として、分類エンジン１０７は、処理された明視野画像から、例えば輪郭の曲率および折れ曲がりスコアなどの高度な形状特性を抽出し、それにより例えば断片化細胞または分離細胞、拡張した細胞境界または尖った細胞境界など、サンプル細胞中の複雑な形態を検出することができる。出力時、分類エンジン１０７（したがってシステム／ツール１００）は、特定された細胞形態および／または細胞型分類の指標を提供する。コンピュータディスプレイモニターまたはその他の出力ユニットを使用して、これら出力指標をエンドユーザーに（視覚的に、音声的に、マルチメディアを使用して等）表示させてもよい。
図２には、分類エンジン１０７の１つの実施形態のデータ、論理回路、および／または制御のフロー図が示される。分類エンジン１０７は、取得された画像１２１において、細胞の形態を有する明視野画像または同等の画像から始める。工程１２５で、分類エンジン１０７は、明視野画像から得た情報のみを使用して細胞画像およびそのコンポーネントをセグメント化する。
次に、分類エンジン１０７は、取得された画像１２１の各蛍光チャンネル画像ｉに対し工程１２７〜１３１を繰り返す。所与の蛍光チャンネル画像に対し、工程１２７は、当該蛍光チャンネル画像をセグメント化して、対応する細胞画像コンポーネント（サブコンポーネントとともに）マスクを取得する。図３Ａ〜図３Ｄにおいて、「ＢＦ画像のみ」とラベル付しているように、工程１２８は、工程１２７で得られたサブコンポーネントマスクを、明視野マスク（工程１２５の明視野画像のバイナリ画像データ）へと戻して空間的に相関付ける。工程１２９は、最前面オブジェクトシードとして（工程１２７の）サブコンポーネントマスクを使用し、この蛍光サブコンポーネントマスクに対して相補的な背景ピクセルを選択する。オプションとして、工程１３１は、このサブコンポーネントに対する形状モデルを指定する。工程１３０は、例えば当分野で公知のGrabCutなどのグラフカットセグメンテーションアルゴリズムを適用して、正確な位置の細胞内コンポーネントを有する明視野マスクの改善が達成される（画像サブコンポーネントは細胞部分を提示する）。その他のグラフカットセグメンテーション法を使用してもよい。
判定分岐１３５は、工程１２７に折り返して戻り、次の蛍光チャンネル画像ｉを処理する。取得された画像１２１の各蛍光チャンネル画像に対し、工程１２７〜１３１が繰り返される。最後の蛍光チャンネル画像が処理された後、判定分岐１３５が工程１３７で継続される。
工程１３７は、蛍光チャンネル画像の上記の処理から作成された、すべての新たに融合されたサブコンポーネントマスクを用いて明視野画像を再処理する。工程１３７の再処理は、マルチラベルグラフカットアルゴリズム（当分野に公知）を使用し、最終明視野画像およびそのサブコンポーネントマスクをそれらの相対位置とともに生成する。図３Ａ〜３Ｄは、「最終融合された」画像が工程１３７により出力され、「細胞核融合された」画像が上述の工程１３０から生じている図である。
((コンピュータサポート))
図４は、本発明を実装し得る、コンピュータネットワークまたは類似のデジタル処理環境を図示する。
図４は、本発明を実装し得る、コンピュータネットワークまたは類似のデジタル処理環境を図示する。
クライアントコンピュータ／装置５０およびサーバコンピュータ６０は、アプリケーションプログラムおよび類似のものを実行する、処理、記憶および入出力装置を提供する。クライアントコンピュータ／装置５０はまた、通信ネットワーク７０を介して、他のクライアント装置／プロセス５０およびサーバコンピュータ６０を含む、他のコンピュータ装置にリンクできる。通信ネットワーク７０は、リモートアクセスネットワーク、グローバルネットワーク（例えば、インターネット）、世界中に散らばったコンピュータ群、クラウドコンピュータ環境、ローカルエリアまたは広域ネットワーク、および互いに通信するために各プロトコル（ＴＣＰ／ＩＰ、Ｂｌｕｅｔｏｏｔｈ（登録商標）など）を現在使用するゲートウェイの一部であってもよい。その他の電子的装置／コンピュータネットワーク構造、例えばインターネット・オブ・シングスおよびその類似物なども適している。
図５は、図４のコンピュータシステムにおける、コンピュータ（例えば、クライアントプロセッサ／装置５０またはサーバコンピュータ６０）の内部構造図である。各コンピュータ５０、６０は、システムバス７９を有し、バスは、コンピュータまたは処理システムの構成要素間のデータ転送に使用される、一組のハードウェアラインである。バス７９は本質的に、要素間の情報転送を可能にする、コンピュータシステム（例えば、プロセッサ、ディスク記憶部、メモリ、入出力ポート、ネットワークポートなど）の異なる要素を接続する、共有される導管である。システムバス７９に取り付けられるのは、様々な入出力装置（例えば、キーボード、マウス、取得された画像１２１へのソースフィードまたはアクセス、ディスプレイ、モニター、プリンター、スピーカーなど）をコンピュータ５０、６０に接続する、Ｉ／Ｏ装置インターフェース８２である。ネットワークインターフェース８６によって、コンピュータが、ネットワーク（例えば、図４のネットワーク７０）に取り付けられる、様々な他の装置に接続することが可能になる。メモリ９０は、本発明の実施形態を実装するために使用されるコンピュータソフトウェア命令９２およびデータ９４（例えば上記に詳述される分類エンジン１０７のコード）のための、揮発性記憶部を提供する。ディスク記憶部９５は、本発明の実施形態を実装するのに使用される、コンピュータソフトウェア命令９２およびデータ９４に、不揮発性記憶部を提供する。中央プロセッサユニット８４もシステムバス７９に取り付けられ、例えば図２に示される分類エンジン１０７のプログラムなどのコンピュータ命令９２の実行を提供する。
データの流れおよびプロセッサ８４の制御は、解説目的のために提供され、限定ではない。処理は、並行で行われてもよく、示される順序とは異なる順序で複数のプロセッサに分散されてもよく、または本発明の主旨に従い作動するよう別段でプログラムされてもよいことを理解されたい。
一実施形態では、プロセッサルーチン９２およびデータ９４は、本発明のシステムにソフトウェア命令の少なくとも一部分を提供する、コンピュータ可読媒体（例えば、一つ以上のＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭ、ディスケット、テープなどの取り外し可能な記憶媒体）を含む、コンピュータプログラム製品（総称して符号９２）である。コンピュータプログラム製品９２は、当技術分野において良く知られる通り、いかなる好適なソフトウェアインストール手順によってもインストールできる。別の実施形態では、ソフトウェア命令の少なくとも一部分は、ケーブル、通信および／または無線接続でダウンロードされてもよい。他の実施形態では、本発明のプログラムは、伝搬媒体に伝搬される信号（例えば、電波、赤外線波、レーザー波、音波またはインターネットなどのグローバルネットワークもしくは他のネットワーク上で伝搬される電波）に具現化される、コンピュータプログラムを伝搬する信号製品１０７である。そのような搬送媒体または信号によって、本発明のルーチン／プログラム９２に、ソフトウェア命令の少なくとも一部分を提供する。
代替の実施形態では、伝搬される信号は、伝搬される媒体に運ばれるアナログ搬送波またはデジタル信号である。例えば、伝搬される信号は、グローバルネットワーク（例えば、インターネット）、電気通信ネットワークまたは他のネットワーク上で伝搬される、デジタル化信号であってもよい。一実施形態では、伝搬される信号は、数ミリ秒、数秒、数分以上にわたってネットワーク上をパケットとして送られるソフトウェアアプリケーションに対する命令など、ある期間にわたって伝搬媒体を介して送信される信号である。別の実施形態では、コンピュータプログラム製品９２のコンピュータ可読媒体は、コンピュータプログラムを伝搬する信号製品について上に記載する通り、コンピュータシステム５０が、伝搬媒体を受信し、伝搬媒体に具現化される伝搬される信号を識別することなどによって、受信し読み出す伝搬媒体である。
概して言うと、用語「搬送媒体」または過渡の搬送波は、前述の過渡信号、伝搬される信号、伝搬される媒体、記憶媒体および類似のものを網羅する。
精子形態の査定は、精子の質の評価において最も重要な工程の１つである。形態的に異常な精子の割合の増加は、生殖能力の低下に強く相関する。形態画像分析を使用して、精子の形態をセグメント化し、関連する定量的特性を抽出し、そして大量の正常精子と異常精子を分類することができる。ヒトの不妊症診療所および家畜の精子研究所の大部分おいて、明視野顕微鏡を使用して精子の形態が評価されている。しかしながら精子の形態は様々な形状、サイズ、位置、および方向性を有しており、限定された数の細胞に依存しているため（典型的には、サンプル当たり、１００〜４００個の細胞）、分析の正確性は最適ではない場合がある。この課題を克服するために、本発明者らはImageStreamイメージングフローサイトメトリーを使用して、イノシシ精子サンプルの明視野、側方散乱およびヨウ化プロピジウム（ＰＩ）の画像を６０ｘの倍率で取得した。本発明者らは、画像セグメンテーションを実行し、例えば直径、真円度、伸長、角、および負の曲率などの際立った形状のディスクリプタ（スケール、位置、および方向性の不変条件）を使用して異常な精子細胞を検出する新規の画像アルゴリズムを開発した。高い解像度および速度で画像を取得するイメージングフローサイトメーターの能力を利用して、本発明者らは、各スペクトルの画像および特性に適合させることができる画像に基づいたパラメーターを使用して、客観的な方法での統計的有意性とともに精子の形態を評価することの有効性を示す。
（材料および方法）
((精子の採取および処理))
イノシシ（８〜２６月齢）を本研究に使用した。精子サンプルを採取し、１％ホルマリンで固定した。生細胞の分析のために、液体窒素中で保存された凍結ストローを３０秒間、３７℃で溶解させ、１０分間、ＰＩでラベル付した。
((精子の採取および処理))
イノシシ（８〜２６月齢）を本研究に使用した。精子サンプルを採取し、１％ホルマリンで固定した。生細胞の分析のために、液体窒素中で保存された凍結ストローを３０秒間、３７℃で溶解させ、１０分間、ＰＩでラベル付した。
((画像の取得))
精子サンプルを、Amnis（登録商標） ImageStreamＸ MkIIイメージングフローサイトメーターに流した。約５，０００〜１０，０００個の明視野、側方散乱、ヨウ化プロピジウム（ＰＩ）の事象が、１秒当たりおよそ４００オブジェクト、６０ｘの倍率で取得された。
精子サンプルを、Amnis（登録商標） ImageStreamＸ MkIIイメージングフローサイトメーターに流した。約５，０００〜１０，０００個の明視野、側方散乱、ヨウ化プロピジウム（ＰＩ）の事象が、１秒当たりおよそ４００オブジェクト、６０ｘの倍率で取得された。
((ＩＤＥＡＳ（登録商標）を使用した画像解析))
画像解析は、出願人の上述のシステムおよび分類エンジン１０７を含む方法の実施形態である、ＩＤＥＡＳ（登録商標）（Amnis社）画像解析ソフトウェア中の新規の画像系アルゴリズムを使用して実行された。
画像解析は、出願人の上述のシステムおよび分類エンジン１０７を含む方法の実施形態である、ＩＤＥＡＳ（登録商標）（Amnis社）画像解析ソフトウェア中の新規の画像系アルゴリズムを使用して実行された。
（結果）
((生細胞の特定))
ＰＩ染色を使用して精子の膜の完全性を評価し、生細胞と死細胞の割合を定量して、最も優れた受精能を有するオス親を選択した。
((生細胞の特定))
ＰＩ染色を使用して精子の膜の完全性を評価し、生細胞と死細胞の割合を定量して、最も優れた受精能を有するオス親を選択した。
しかしながら図６に示されるように、ＰＩ染色単独では、最も適したオス親の選択には不十分であった。その理由は、ＰＩ陰性の生細胞は、イノシシの受精能力に影響を与え得る形態的異常を有する可能性があったからである。
生細胞の割合が算出されると、精子の形態を、画像に基づいた形態的特性を使用して査定し、精子の健常性を評価した。
((細胞質小滴の特定))
イノシシ精子における最も普遍的な異常のうちの１つは、細胞質小滴の存在である。この存在は、未成熟な精子の証拠であるか、または精子産生と、イノシシからの精子採取の間の同期性の欠落を示し得る。ヒトにおいては、近位小滴が、低張液における水侵入の主要部位である場合、および調節容量低下（ＲＶＤ：regulatory volume decrease）の間の容量調節が発生できない場合、そのサイズは、メス生殖管への侵入に影響を与え得る。そのため、小滴の存在の特定は、不妊の診断に重要であり得る。
イノシシ精子における最も普遍的な異常のうちの１つは、細胞質小滴の存在である。この存在は、未成熟な精子の証拠であるか、または精子産生と、イノシシからの精子採取の間の同期性の欠落を示し得る。ヒトにおいては、近位小滴が、低張液における水侵入の主要部位である場合、および調節容量低下（ＲＶＤ：regulatory volume decrease）の間の容量調節が発生できない場合、そのサイズは、メス生殖管への侵入に影響を与え得る。そのため、小滴の存在の特定は、不妊の診断に重要であり得る。
これら（遠位および近位の両方）の小滴は、イノシシ精子中の総形態異常のおよそ１５パーセントに寄与する。明視野形態を使用してこれら細胞質小滴を抽出するために、ＲＳＳ（放射相称強度）スコア特性を、ＩＤＥＡＳソフトウェアにおいて作成した（概して、１０７の実施形態）。小滴の保有率は、画像化から抽出された小滴の空間的特性と直接的に相関した。図７Ａおよび７Ｂは説明図であり、図７Ａは、小滴検出用のＲＳＳ閾値を算出するためのモデルを示す。小滴のガンマ分布は、ＲＳＳスコアおよび検出閾値（ＲＳＳ閾値）結果に適合される。図７Ｂは、ＲＳＳスコアにより精子をグラフ化する。１．２０２４の閾値（図７Ａにおいて算出）を越えるＲＳＳスコアを有するこれら精子に関し、様々な細胞質小滴が検出され、小滴の空間的特性が対象画像から抽出された。２，０００個の精子サンプルにおいて、３３９個の精子が、細胞質小滴付きで検出され、これは１６．９５％の検出割合であった。
さらに、精子の頭部および中片部の空間的位置が、上述の多重スペクトル融合プロセスにおいて配置されることで、精子中片部の近辺にある近位小滴の亜集団、および精子鞭毛部の近くにある遠位小滴の亜集団を統計的に決定することができる。これは精子細胞が異常である可能性を特定し、不妊と関連づけるという点において非常に重要な区別である。ゆえに実施形態において、得られた改善画像データは、画像中の細胞部分の位置の正確性を高め、当該画像中の複雑な細胞形態の検出を可能とする。
((折れ曲がった尾部および遠位中片部反射の特定))
中片部および尾部の異常は概して、精子形成における欠陥で生じる。遠位中片部反射（ＤＭＲ）または折れ曲がった尾部の発生は、精子において非運動性または異常な運動性を生じさせ得る。結果として、そのような異常の存在は多くの場合、低受胎と関連する。
中片部および尾部の異常は概して、精子形成における欠陥で生じる。遠位中片部反射（ＤＭＲ）または折れ曲がった尾部の発生は、精子において非運動性または異常な運動性を生じさせ得る。結果として、そのような異常の存在は多くの場合、低受胎と関連する。
折れ曲がったまたは湾曲した尾部を有する精子は、イノシシにおける総形態異常の約１０パーセントを占める場合がある。ＤＭＲまたは湾曲尾部を有する精子数を正確に定量するために、新たな「折れ曲がり特性」を、分類エンジン１０７を具現化するＩＤＥＡＳソフトウェアにおいて開発した。折れ曲がり特性は、精子の骨格マスクに沿った曲率の最大値（時計回りまたは反時計回り方向）により、折れ曲がりの重篤度を直接的に特徴解析するよう構築される。図８は、細胞の折れ曲がりスコアのグラフである。図８における細胞数および閾値ラインＴは、折れ曲がりスコアの平均、中央値、および第一四分位数の平均値によりコンピュータで計算される。
((精子頭部の特定))
精子頭部形態の異常は、受精率およびその後の胚発生の両方を損なう場合があり、卵割の失敗となり得る。
精子頭部形態の異常は、受精率およびその後の胚発生の両方を損なう場合があり、卵割の失敗となり得る。
異常な頭部を有する精子は、イノシシにおける総形態異常の約４〜５パーセントを占める。精子頭部を正確に特定するために、新たな形状に基づいた閾値マスクをＩＤＥＡＳソフトウェアにおいて開発した（分類器１０７を具現化）。図９Ａ〜９Ｃは精子頭部の形状を示し、その検出が本発明の実施形態により可能であることを示す。図９Ａは、洋梨状の頭部の形状の画像である。図９Ｂは、伸長した頭部の形状の画像である。図９Ｃは、いびつな頭部の形状の画像である。実施形態は、画像中の細胞部分の位置の正確性が増した改善された画像データを生成する。新たなマスクを使用することで、輪郭特性が頭部に沿って算出され、精子頭部における異常性が測定された。
((統計))
表１は上記に詳述される本出願の分類エンジン１０７の実施形態による改善画像データにおいて、イノシシ精子の前述の形態特性が検出可能となったことを要約する。特に、出願人のシステム１００の改善画像データは、画像中の細胞部分の位置の正確性を高め、例えば表１に示されるように当該画像中の複雑な細胞形態の検出を可能とした。
((統計))
表１は上記に詳述される本出願の分類エンジン１０７の実施形態による改善画像データにおいて、イノシシ精子の前述の形態特性が検出可能となったことを要約する。特に、出願人のシステム１００の改善画像データは、画像中の細胞部分の位置の正確性を高め、例えば表１に示されるように当該画像中の複雑な細胞形態の検出を可能とした。
((結論))
本研究は、精子の形態と精子の健常性の間の直接的な相関の存在を示した。現在、形態の完全解析は顕微鏡で行われているが、時間がかかり、熟練したスタッフが必要となる場合がある。Amnis（登録商標）ImageStreamＸ MkIIイメージングフローサイトメーターの能力を使用して、高い解像度および速度で画像を取得し、ＩＤＥＡＳソフトウェア（分類エンジン１０７）において形態パラメーターを取得することで、蛍光染色の使用を最小限としながら、イノシシ精子において最も普遍的にみられる異常性の特定において高い特異性と感度を示すことに成功した。
本研究は、精子の形態と精子の健常性の間の直接的な相関の存在を示した。現在、形態の完全解析は顕微鏡で行われているが、時間がかかり、熟練したスタッフが必要となる場合がある。Amnis（登録商標）ImageStreamＸ MkIIイメージングフローサイトメーターの能力を使用して、高い解像度および速度で画像を取得し、ＩＤＥＡＳソフトウェア（分類エンジン１０７）において形態パラメーターを取得することで、蛍光染色の使用を最小限としながら、イノシシ精子において最も普遍的にみられる異常性の特定において高い特異性と感度を示すことに成功した。
本発明について、その例示の実施形態を参照して具体的に示し、記載してきたが、形態および詳細の様々な変更が、添付の請求項により網羅される本発明の範囲から逸脱することなく、実施形態になされてもよいことは、当業者に理解されるであろう。
例えば前述の検討は、図２の本出願の反復プロセスにより改善された一次ワーキング画像データとして明視野画像を使用する。明視野画像の代わりとして、細胞形態を有するまたは提示する他の画像も適している。
別の例においては、精子細胞に加えて、または精子細胞に代わり、例えば癌細胞、疾患または障害の指標となる細胞、鎌状細胞などの他の細胞も本発明の実施形態の対象であり得る。同様の方法において、細胞形態を特定する、または細胞型を分類する診断ツールは、本発明の前述の主旨を具体化するものであり得る。
図２の実施形態は、多重スペクトル画像の反復処理を行う。その他の画像処理方法（並行処理、分散処理など）を、本発明の主旨に従い使用して、比較的早く（リアルタイムに近い）、正確な結果（細胞形態の特定および／または細胞型の分類）を提供してもよい。
図２の実施形態は、多重スペクトル画像の反復処理を行う。その他の画像処理方法（並行処理、分散処理など）を、本発明の主旨に従い使用して、比較的早く（リアルタイムに近い）、正確な結果（細胞形態の特定および／または細胞型の分類）を提供してもよい。
なお、本発明は、実施の態様として以下の内容を含む。
〔態様１〕
コンピュータにより自動化された細胞分類システムであって、
サンプル細胞の多重スペクトルの複数の画像を取得するイメージングフローサイトメーターであって、前記複数の画像が、複数のイメージングモードで同時に取得され、これら複数の画像の各々が、互いに空間的に揃って並べられる、イメージングフローサイトメーターと、
コンピュータプロセッサにより実行され、取得された前記多重スペクトルの複数の画像を受け取るように接続された分類エンジンであって、
（Ａ）取得された前記複数画像のうちの１つを、コンポーネントにセグメント化することであって、当該１つの画像が、前記サンプル細胞の形態を提供し、前記コンポーネントは、前記サンプル細胞の要素を提示する画像サブコンポーネントから形成される、セグメント化すること、
（Ｂ）（ｉ）取得された前記複数画像のうちのその他の画像を、前記１つの画像からセグメント化されたコンポーネントに対応するコンポーネントにセグメント化することであって、前記その他の画像は、前記１つの画像とは異なり、かつ互いに異なるイメージングモードの画像であり、前記その他の画像からセグメント化された前記コンポーネントは、前記１つの画像の画像サブコンポーネントのマスクとしての機能を果たす、セグメント化することにより、かつ、（ｉｉ）セグメント化された前記その他の画像により生成された前記サブコンポーネントマスクを、前記１つの画像に空間的に関連づけ、かつ、前記１つの画像に対して、細胞要素ごとの最前面オブジェクトマーカーとして前記サブコンポーネントマスクを使用することにより、かつ、（ｉｉｉ）グラフィックカットセグメンテーションを、細胞要素の位置の正確性が増した前記１つの画像の改善画像データが生成されるように、前記１つの画像に適用させることにより、前記１つの画像において細胞要素の位置の正確性を改善すること、および、
（Ｃ）前記（Ｂ）から得られ、かつ、相対的な位置でのコンポーネントマスクを含んで生成された前記改善画像データを有する前記１つの画像を再処理することであって、前記１つの画像から細胞形態を特定し、これにより、前記サンプル細胞の細胞型を分類する再処理することを実行する分類エンジンと、
前記分類エンジンから、特定された前記細胞形態および／または前記細胞型の分類の指標を提供する出力ユニットとを備える、細胞分類システム。
〔態様２〕
前記１つの画像が明視野画像であり、前記その他の画像が、互いに異なる蛍光チャンネルの蛍光画像である、態様１に記載の細胞分類システム。
〔態様３〕
前記明視野画像における細胞要素の位置の正確性の改善の前記工程（Ｂ）が、前記互いに異なる蛍光画像の各々に対して、前記（ｉ）〜（ｉｉｉ）を反復して適用する、態様２に記載の細胞分類システム。
〔態様４〕
前記分類エンジンが、疾患または健康上の障害の指標となる細胞であって、障害を有する精子細胞、鎌状細胞、および癌細胞を含む細胞のいずれか１種以上を含む細胞型を分類する、態様１に記載の細胞分類システム。
〔態様５〕
前記出力ユニットが、コンピュータディスプレイモニターおよび診断検査インジケーターを含む任意のデジタルレンダリングである、態様１に記載の細胞分類システム。
〔態様６〕
前記分類エンジンが、正常に機能しない精子細胞を分類し、前記出力ユニットが、不妊の指標を提供する診断インジケーターである、態様１に記載の細胞分類システム。
〔態様７〕
前記分類エンジンが、細胞質小滴の存在、遠位中片部反射（ＤＭＲ）の発生、および精子頭部の形状のうちの１種以上を自動的に特定することにより、正常に機能しない精子細胞を分類する、態様６に記載の細胞分類システム。
〔態様８〕
細胞の形態を特定し、かつ、細胞型を分類する、コンピュータに基づいた診断ツールであって、
サンプル細胞の複数の多重スペクトル画像のソースへのアクセスを提供する入力アセンブリであって、前記複数の多重スペクトル画像は、イメージングフローサイトメーターにより同時に取得され、前記複数の画像は互いに空間的に揃って並べられている、入力アセンブリ、および、
前記入力アセンブリに通信可能に接続され、かつ、前記複数の多重スペクトル画像を受け取る分類エンジンであって、前記分類エンジンはコンピュータプロセッサにより実行され、かつ、
（Ａ）受け取った前記画像のうちの１つを、コンポーネントにセグメント化することであって、当該１つの画像が、前記サンプル細胞の形態を提供し、前記コンポーネントは、前記サンプル細胞の要素を提示する画像サブコンポーネントから形成される、セグメント化すること、
（Ｂ）（ｉ）受け取った前記画像のうちのその他の画像を、前記１つの画像からセグメント化されたコンポーネントに対応するコンポーネントへとセグメント化することであって、受け取った前記その他の画像は、前記１つの画像とは異なり、かつ互いに異なるイメージングモードの画像であり、受け取った前記その他の画像からセグメント化された前記コンポーネントは、前記１つの画像の画像サブコンポーネントのマスクとしての機能を果たす、セグメント化することにより、かつ、（ｉｉ）セグメント化された前記受け取ったその他の画像により生成された前記サブコンポーネントマスクを、前記１つの画像に空間的に関連づけ、かつ、前記１つの画像に対して、細胞要素ごとの最前面オブジェクトマーカーとして前記サブコンポーネントマスクを使用することにより、かつ、（ｉｉｉ）グラフィックカットセグメンテーションを、細胞要素の位置の正確性が増した前記１つの画像の改善画像データが生成されるように、前記１つの画像に適用させることにより、前記１つの画像において細胞要素の位置の正確性を改善すること、および、
（Ｃ）前記（Ｂ）から得られ、かつ、相対的な位置でのコンポーネントマスクを含んで生成された前記改善画像データを有する前記１つの画像を再処理することであって、前記１つの画像から細胞形態を特定し、これにより、前記サンプル細胞の細胞型を分類する再処理することにより、前記受け取った画像を処理する分類エンジンとを備え、
前記分類エンジンが、特定された前記細胞形態および／または前記細胞型の分類の出力指標を提供する、診断ツール。
〔態様９〕
前記１つの画像が明視野画像であり、受け取った前記その他の画像が、互いに異なる蛍光チャンネルの蛍光画像である、態様８に記載の診断ツール。
〔態様１０〕
前記明視野画像における細胞要素の位置の正確性の改善の前記工程（Ｂ）が、前記互いに異なる蛍光画像に対して、前記（ｉ）〜（ｉｉｉ）を反復して適用する、態様９に記載の診断ツール。
〔態様１１〕
前記分類エンジンは、正常に機能しない精子細胞を分類し、不妊の出力指標を提供する、態様８に記載の診断ツール。
〔態様１２〕
前記分類エンジンが、細胞質小滴の存在、遠位中片部反射（ＤＭＲ）の発生、および精子頭部の形状のうちの１種以上の自動的な特定を可能にすることにより、正常に機能しない精子細胞を分類する、態様１１に記載の診断ツール。
〔態様１３〕
細胞の形態を特定し、かつ、細胞型を分類する、コンピュータに実装された方法であって、
イメージングフローサイトメーターを使用して、サンプル細胞の多重スペクトルの複数の画像を取得する過程であって、前記複数の画像が、複数のイメージングモードで同時に取得され、これら複数の画像の各々が、互いに空間的に揃って並べられる、取得する過程と、
デジタルプロセッサにおいて、
（Ａ）取得された前記複数画像のうちの１つを、コンポーネントにセグメント化することであって、前記１つの画像が、前記サンプル細胞の形態を提供し、前記コンポーネントは、前記サンプル細胞の要素を提示する画像サブコンポーネントから形成される、セグメント化すること、
（Ｂ）（ｉ）取得された前記複数画像のうちのその他の画像を、前記１つの画像からセグメント化されたコンポーネントに対応するコンポーネントにセグメント化することであって、前記その他の画像は、前記１つの画像とは異なり、かつ互いに異なるイメージングモードの画像であり、前記その他の画像からセグメント化された前記コンポーネントは、前記１つの画像の画像サブコンポーネントのマスクとしての機能を果たす、セグメント化することにより、かつ、（ｉｉ）セグメント化された前記その他の画像により生成された前記サブコンポーネントマスクを、前記１つの画像に空間的に関連づけ、かつ、前記１つの画像に対して、細胞要素ごとの最前面オブジェクトマーカーとして前記サブコンポーネントマスクを使用することにより、かつ、（ｉｉｉ）グラフィックカットセグメンテーションを、細胞要素の位置の正確性が増した前記１つの画像の改善画像データが生成されるように、前記１つの画像に適用させることにより、前記１つの画像において細胞要素の位置の正確性を改善すること、および、
（Ｃ）前記（Ｂ）から得られ、かつ、相対的な位置でのコンポーネントマスクを含んで生成された前記改善画像データを有する前記１つの画像を再処理することであって、前記１つの画像から細胞形態を特定し、これにより、前記サンプル細胞の細胞型を分類する再処理することにより、前記取得された多重スペクトルの複数画像を応答的に処理する過程と、
特定された前記細胞形態および／または前記細胞型の分類の指標を出力する過程とを含む、方法。
〔態様１４〕
前記１つの画像が明視野画像であり、前記その他の画像が、互いに異なる蛍光チャンネルの蛍光画像である、態様１３に記載の方法。
〔態様１５〕
前記明視野画像における細胞要素の位置の正確性の改善の前記工程（Ｂ）が、前記互いに異なる蛍光画像の各々に対して、前記（ｉ）〜（ｉｉｉ）を反復して適用する、態様１４に記載の方法。
〔態様１６〕
前記再処理することが、疾患または健康上の障害の指標となる細胞であって、障害を有する精子細胞、鎌状細胞、および癌細胞を含む細胞のいずれか１種以上を含む細胞型を分類する、態様１３に記載の方法。
〔態様１７〕
前記出力指標が、診断検査結果のインジケーターを含む任意のデジタルレンダリングである、態様１３に記載の方法。
〔態様１８〕
前記応答的に処理する過程が、正常に機能しない精子細胞を分類することを含み、
前記出力する過程が、不妊の指標を提供する、態様１３に記載の方法。
〔態様１９〕
前記正常に機能しない精子細胞を分類することが、細胞質小滴の存在、遠位中片部反射（ＤＭＲ）の発生、および精子頭部の形状のうちの１種以上の前記デジタルプロセッサによる自動的特定を含む、態様１８に記載の方法。
なお、本発明は、実施の態様として以下の内容を含む。
〔態様１〕
コンピュータにより自動化された細胞分類システムであって、
サンプル細胞の多重スペクトルの複数の画像を取得するイメージングフローサイトメーターであって、前記複数の画像が、複数のイメージングモードで同時に取得され、これら複数の画像の各々が、互いに空間的に揃って並べられる、イメージングフローサイトメーターと、
コンピュータプロセッサにより実行され、取得された前記多重スペクトルの複数の画像を受け取るように接続された分類エンジンであって、
（Ａ）取得された前記複数画像のうちの１つを、コンポーネントにセグメント化することであって、当該１つの画像が、前記サンプル細胞の形態を提供し、前記コンポーネントは、前記サンプル細胞の要素を提示する画像サブコンポーネントから形成される、セグメント化すること、
（Ｂ）（ｉ）取得された前記複数画像のうちのその他の画像を、前記１つの画像からセグメント化されたコンポーネントに対応するコンポーネントにセグメント化することであって、前記その他の画像は、前記１つの画像とは異なり、かつ互いに異なるイメージングモードの画像であり、前記その他の画像からセグメント化された前記コンポーネントは、前記１つの画像の画像サブコンポーネントのマスクとしての機能を果たす、セグメント化することにより、かつ、（ｉｉ）セグメント化された前記その他の画像により生成された前記サブコンポーネントマスクを、前記１つの画像に空間的に関連づけ、かつ、前記１つの画像に対して、細胞要素ごとの最前面オブジェクトマーカーとして前記サブコンポーネントマスクを使用することにより、かつ、（ｉｉｉ）グラフィックカットセグメンテーションを、細胞要素の位置の正確性が増した前記１つの画像の改善画像データが生成されるように、前記１つの画像に適用させることにより、前記１つの画像において細胞要素の位置の正確性を改善すること、および、
（Ｃ）前記（Ｂ）から得られ、かつ、相対的な位置でのコンポーネントマスクを含んで生成された前記改善画像データを有する前記１つの画像を再処理することであって、前記１つの画像から細胞形態を特定し、これにより、前記サンプル細胞の細胞型を分類する再処理することを実行する分類エンジンと、
前記分類エンジンから、特定された前記細胞形態および／または前記細胞型の分類の指標を提供する出力ユニットとを備える、細胞分類システム。
〔態様２〕
前記１つの画像が明視野画像であり、前記その他の画像が、互いに異なる蛍光チャンネルの蛍光画像である、態様１に記載の細胞分類システム。
〔態様３〕
前記明視野画像における細胞要素の位置の正確性の改善の前記工程（Ｂ）が、前記互いに異なる蛍光画像の各々に対して、前記（ｉ）〜（ｉｉｉ）を反復して適用する、態様２に記載の細胞分類システム。
〔態様４〕
前記分類エンジンが、疾患または健康上の障害の指標となる細胞であって、障害を有する精子細胞、鎌状細胞、および癌細胞を含む細胞のいずれか１種以上を含む細胞型を分類する、態様１に記載の細胞分類システム。
〔態様５〕
前記出力ユニットが、コンピュータディスプレイモニターおよび診断検査インジケーターを含む任意のデジタルレンダリングである、態様１に記載の細胞分類システム。
〔態様６〕
前記分類エンジンが、正常に機能しない精子細胞を分類し、前記出力ユニットが、不妊の指標を提供する診断インジケーターである、態様１に記載の細胞分類システム。
〔態様７〕
前記分類エンジンが、細胞質小滴の存在、遠位中片部反射（ＤＭＲ）の発生、および精子頭部の形状のうちの１種以上を自動的に特定することにより、正常に機能しない精子細胞を分類する、態様６に記載の細胞分類システム。
〔態様８〕
細胞の形態を特定し、かつ、細胞型を分類する、コンピュータに基づいた診断ツールであって、
サンプル細胞の複数の多重スペクトル画像のソースへのアクセスを提供する入力アセンブリであって、前記複数の多重スペクトル画像は、イメージングフローサイトメーターにより同時に取得され、前記複数の画像は互いに空間的に揃って並べられている、入力アセンブリ、および、
前記入力アセンブリに通信可能に接続され、かつ、前記複数の多重スペクトル画像を受け取る分類エンジンであって、前記分類エンジンはコンピュータプロセッサにより実行され、かつ、
（Ａ）受け取った前記画像のうちの１つを、コンポーネントにセグメント化することであって、当該１つの画像が、前記サンプル細胞の形態を提供し、前記コンポーネントは、前記サンプル細胞の要素を提示する画像サブコンポーネントから形成される、セグメント化すること、
（Ｂ）（ｉ）受け取った前記画像のうちのその他の画像を、前記１つの画像からセグメント化されたコンポーネントに対応するコンポーネントへとセグメント化することであって、受け取った前記その他の画像は、前記１つの画像とは異なり、かつ互いに異なるイメージングモードの画像であり、受け取った前記その他の画像からセグメント化された前記コンポーネントは、前記１つの画像の画像サブコンポーネントのマスクとしての機能を果たす、セグメント化することにより、かつ、（ｉｉ）セグメント化された前記受け取ったその他の画像により生成された前記サブコンポーネントマスクを、前記１つの画像に空間的に関連づけ、かつ、前記１つの画像に対して、細胞要素ごとの最前面オブジェクトマーカーとして前記サブコンポーネントマスクを使用することにより、かつ、（ｉｉｉ）グラフィックカットセグメンテーションを、細胞要素の位置の正確性が増した前記１つの画像の改善画像データが生成されるように、前記１つの画像に適用させることにより、前記１つの画像において細胞要素の位置の正確性を改善すること、および、
（Ｃ）前記（Ｂ）から得られ、かつ、相対的な位置でのコンポーネントマスクを含んで生成された前記改善画像データを有する前記１つの画像を再処理することであって、前記１つの画像から細胞形態を特定し、これにより、前記サンプル細胞の細胞型を分類する再処理することにより、前記受け取った画像を処理する分類エンジンとを備え、
前記分類エンジンが、特定された前記細胞形態および／または前記細胞型の分類の出力指標を提供する、診断ツール。
〔態様９〕
前記１つの画像が明視野画像であり、受け取った前記その他の画像が、互いに異なる蛍光チャンネルの蛍光画像である、態様８に記載の診断ツール。
〔態様１０〕
前記明視野画像における細胞要素の位置の正確性の改善の前記工程（Ｂ）が、前記互いに異なる蛍光画像に対して、前記（ｉ）〜（ｉｉｉ）を反復して適用する、態様９に記載の診断ツール。
〔態様１１〕
前記分類エンジンは、正常に機能しない精子細胞を分類し、不妊の出力指標を提供する、態様８に記載の診断ツール。
〔態様１２〕
前記分類エンジンが、細胞質小滴の存在、遠位中片部反射（ＤＭＲ）の発生、および精子頭部の形状のうちの１種以上の自動的な特定を可能にすることにより、正常に機能しない精子細胞を分類する、態様１１に記載の診断ツール。
〔態様１３〕
細胞の形態を特定し、かつ、細胞型を分類する、コンピュータに実装された方法であって、
イメージングフローサイトメーターを使用して、サンプル細胞の多重スペクトルの複数の画像を取得する過程であって、前記複数の画像が、複数のイメージングモードで同時に取得され、これら複数の画像の各々が、互いに空間的に揃って並べられる、取得する過程と、
デジタルプロセッサにおいて、
（Ａ）取得された前記複数画像のうちの１つを、コンポーネントにセグメント化することであって、前記１つの画像が、前記サンプル細胞の形態を提供し、前記コンポーネントは、前記サンプル細胞の要素を提示する画像サブコンポーネントから形成される、セグメント化すること、
（Ｂ）（ｉ）取得された前記複数画像のうちのその他の画像を、前記１つの画像からセグメント化されたコンポーネントに対応するコンポーネントにセグメント化することであって、前記その他の画像は、前記１つの画像とは異なり、かつ互いに異なるイメージングモードの画像であり、前記その他の画像からセグメント化された前記コンポーネントは、前記１つの画像の画像サブコンポーネントのマスクとしての機能を果たす、セグメント化することにより、かつ、（ｉｉ）セグメント化された前記その他の画像により生成された前記サブコンポーネントマスクを、前記１つの画像に空間的に関連づけ、かつ、前記１つの画像に対して、細胞要素ごとの最前面オブジェクトマーカーとして前記サブコンポーネントマスクを使用することにより、かつ、（ｉｉｉ）グラフィックカットセグメンテーションを、細胞要素の位置の正確性が増した前記１つの画像の改善画像データが生成されるように、前記１つの画像に適用させることにより、前記１つの画像において細胞要素の位置の正確性を改善すること、および、
（Ｃ）前記（Ｂ）から得られ、かつ、相対的な位置でのコンポーネントマスクを含んで生成された前記改善画像データを有する前記１つの画像を再処理することであって、前記１つの画像から細胞形態を特定し、これにより、前記サンプル細胞の細胞型を分類する再処理することにより、前記取得された多重スペクトルの複数画像を応答的に処理する過程と、
特定された前記細胞形態および／または前記細胞型の分類の指標を出力する過程とを含む、方法。
〔態様１４〕
前記１つの画像が明視野画像であり、前記その他の画像が、互いに異なる蛍光チャンネルの蛍光画像である、態様１３に記載の方法。
〔態様１５〕
前記明視野画像における細胞要素の位置の正確性の改善の前記工程（Ｂ）が、前記互いに異なる蛍光画像の各々に対して、前記（ｉ）〜（ｉｉｉ）を反復して適用する、態様１４に記載の方法。
〔態様１６〕
前記再処理することが、疾患または健康上の障害の指標となる細胞であって、障害を有する精子細胞、鎌状細胞、および癌細胞を含む細胞のいずれか１種以上を含む細胞型を分類する、態様１３に記載の方法。
〔態様１７〕
前記出力指標が、診断検査結果のインジケーターを含む任意のデジタルレンダリングである、態様１３に記載の方法。
〔態様１８〕
前記応答的に処理する過程が、正常に機能しない精子細胞を分類することを含み、
前記出力する過程が、不妊の指標を提供する、態様１３に記載の方法。
〔態様１９〕
前記正常に機能しない精子細胞を分類することが、細胞質小滴の存在、遠位中片部反射（ＤＭＲ）の発生、および精子頭部の形状のうちの１種以上の前記デジタルプロセッサによる自動的特定を含む、態様１８に記載の方法。
Claims (19)
- コンピュータにより自動化された細胞分類システムであって、
サンプル細胞の多重スペクトルの複数の画像を取得するイメージングフローサイトメーターであって、前記複数の画像が、複数のイメージングモードで同時に取得され、これら複数の画像の各々が、互いに空間的に揃って並べられる、イメージングフローサイトメーターと、
コンピュータプロセッサにより実行され、取得された前記多重スペクトルの複数の画像を受け取るように接続された分類エンジンであって、
（Ａ）取得された前記複数画像のうちの１つを、コンポーネントにセグメント化することであって、当該１つの画像が、前記サンプル細胞の形態を提供し、前記コンポーネントは、前記サンプル細胞の要素を提示する画像サブコンポーネントから形成される、セグメント化すること、
（Ｂ）（ｉ）取得された前記複数画像のうちのその他の画像を、前記１つの画像からセグメント化されたコンポーネントに対応するコンポーネントにセグメント化することであって、前記その他の画像は、前記１つの画像とは異なり、かつ互いに異なるイメージングモードの画像であり、前記その他の画像からセグメント化された前記コンポーネントは、前記１つの画像の画像サブコンポーネントのマスクとしての機能を果たす、セグメント化することにより、かつ、（ｉｉ）セグメント化された前記その他の画像により生成された前記サブコンポーネントマスクを、前記１つの画像に空間的に関連づけ、かつ、前記１つの画像に対して、細胞要素ごとの最前面オブジェクトマーカーとして前記サブコンポーネントマスクを使用することにより、かつ、（ｉｉｉ）グラフィックカットセグメンテーションを、細胞要素の位置の正確性が増した前記１つの画像の改善画像データが生成されるように、前記１つの画像に適用させることにより、前記１つの画像において細胞要素の位置の正確性を改善すること、および、
（Ｃ）前記（Ｂ）から得られ、かつ、相対的な位置でのコンポーネントマスクを含んで生成された前記改善画像データを有する前記１つの画像を再処理することであって、前記１つの画像から細胞形態を特定し、これにより、前記サンプル細胞の細胞型を分類する再処理することを実行する分類エンジンと、
前記分類エンジンから、特定された前記細胞形態および／または前記細胞型の分類の指標を提供する出力ユニットとを備える、細胞分類システム。 - 前記１つの画像が明視野画像であり、前記その他の画像が、互いに異なる蛍光チャンネルの蛍光画像である、請求項１に記載の細胞分類システム。
- 前記明視野画像における細胞要素の位置の正確性の改善の前記工程（Ｂ）が、前記互いに異なる蛍光画像の各々に対して、前記（ｉ）〜（ｉｉｉ）を反復して適用する、請求項２に記載の細胞分類システム。
- 前記分類エンジンが、疾患または健康上の障害の指標となる細胞であって、障害を有する精子細胞、鎌状細胞、および癌細胞を含む細胞のいずれか１種以上を含む細胞型を分類する、請求項１に記載の細胞分類システム。
- 前記出力ユニットが、コンピュータディスプレイモニターおよび診断検査インジケーターを含む任意のデジタルレンダリングである、請求項１に記載の細胞分類システム。
- 前記分類エンジンが、正常に機能しない精子細胞を分類し、前記出力ユニットが、不妊の指標を提供する診断インジケーターである、請求項１に記載の細胞分類システム。
- 前記分類エンジンが、細胞質小滴の存在、遠位中片部反射（ＤＭＲ）の発生、および精子頭部の形状のうちの１種以上を自動的に特定することにより、正常に機能しない精子細胞を分類する、請求項６に記載の細胞分類システム。
- 細胞の形態を特定し、かつ、細胞型を分類する、コンピュータに基づいた診断ツールであって、
サンプル細胞の複数の多重スペクトル画像のソースへのアクセスを提供する入力アセンブリであって、前記複数の多重スペクトル画像は、イメージングフローサイトメーターにより同時に取得され、前記複数の画像は互いに空間的に揃って並べられている、入力アセンブリ、および、
前記入力アセンブリに通信可能に接続され、かつ、前記複数の多重スペクトル画像を受け取る分類エンジンであって、前記分類エンジンはコンピュータプロセッサにより実行され、かつ、
（Ａ）受け取った前記画像のうちの１つを、コンポーネントにセグメント化することであって、当該１つの画像が、前記サンプル細胞の形態を提供し、前記コンポーネントは、前記サンプル細胞の要素を提示する画像サブコンポーネントから形成される、セグメント化すること、
（Ｂ）（ｉ）受け取った前記画像のうちのその他の画像を、前記１つの画像からセグメント化されたコンポーネントに対応するコンポーネントへとセグメント化することであって、受け取った前記その他の画像は、前記１つの画像とは異なり、かつ互いに異なるイメージングモードの画像であり、受け取った前記その他の画像からセグメント化された前記コンポーネントは、前記１つの画像の画像サブコンポーネントのマスクとしての機能を果たす、セグメント化することにより、かつ、（ｉｉ）セグメント化された前記受け取ったその他の画像により生成された前記サブコンポーネントマスクを、前記１つの画像に空間的に関連づけ、かつ、前記１つの画像に対して、細胞要素ごとの最前面オブジェクトマーカーとして前記サブコンポーネントマスクを使用することにより、かつ、（ｉｉｉ）グラフィックカットセグメンテーションを、細胞要素の位置の正確性が増した前記１つの画像の改善画像データが生成されるように、前記１つの画像に適用させることにより、前記１つの画像において細胞要素の位置の正確性を改善すること、および、
（Ｃ）前記（Ｂ）から得られ、かつ、相対的な位置でのコンポーネントマスクを含んで生成された前記改善画像データを有する前記１つの画像を再処理することであって、前記１つの画像から細胞形態を特定し、これにより、前記サンプル細胞の細胞型を分類する再処理することにより、前記受け取った画像を処理する分類エンジンとを備え、
前記分類エンジンが、特定された前記細胞形態および／または前記細胞型の分類の出力指標を提供する、診断ツール。 - 前記１つの画像が明視野画像であり、受け取った前記その他の画像が、互いに異なる蛍光チャンネルの蛍光画像である、請求項８に記載の診断ツール。
- 前記明視野画像における細胞要素の位置の正確性の改善の前記工程（Ｂ）が、前記互いに異なる蛍光画像に対して、前記（ｉ）〜（ｉｉｉ）を反復して適用する、請求項９に記載の診断ツール。
- 前記分類エンジンは、正常に機能しない精子細胞を分類し、不妊の出力指標を提供する、請求項８に記載の診断ツール。
- 前記分類エンジンが、細胞質小滴の存在、遠位中片部反射（ＤＭＲ）の発生、および精子頭部の形状のうちの１種以上の自動的な特定を可能にすることにより、正常に機能しない精子細胞を分類する、請求項１１に記載の診断ツール。
- 細胞の形態を特定し、かつ、細胞型を分類する、コンピュータに実装された方法であって、
イメージングフローサイトメーターを使用して、サンプル細胞の多重スペクトルの複数の画像を取得する過程であって、前記複数の画像が、複数のイメージングモードで同時に取得され、これら複数の画像の各々が、互いに空間的に揃って並べられる、取得する過程と、
デジタルプロセッサにおいて、
（Ａ）取得された前記複数画像のうちの１つを、コンポーネントにセグメント化することであって、前記１つの画像が、前記サンプル細胞の形態を提供し、前記コンポーネントは、前記サンプル細胞の要素を提示する画像サブコンポーネントから形成される、セグメント化すること、
（Ｂ）（ｉ）取得された前記複数画像のうちのその他の画像を、前記１つの画像からセグメント化されたコンポーネントに対応するコンポーネントにセグメント化することであって、前記その他の画像は、前記１つの画像とは異なり、かつ互いに異なるイメージングモードの画像であり、前記その他の画像からセグメント化された前記コンポーネントは、前記１つの画像の画像サブコンポーネントのマスクとしての機能を果たす、セグメント化することにより、かつ、（ｉｉ）セグメント化された前記その他の画像により生成された前記サブコンポーネントマスクを、前記１つの画像に空間的に関連づけ、かつ、前記１つの画像に対して、細胞要素ごとの最前面オブジェクトマーカーとして前記サブコンポーネントマスクを使用することにより、かつ、（ｉｉｉ）グラフィックカットセグメンテーションを、細胞要素の位置の正確性が増した前記１つの画像の改善画像データが生成されるように、前記１つの画像に適用させることにより、前記１つの画像において細胞要素の位置の正確性を改善すること、および、
（Ｃ）前記（Ｂ）から得られ、かつ、相対的な位置でのコンポーネントマスクを含んで生成された前記改善画像データを有する前記１つの画像を再処理することであって、前記１つの画像から細胞形態を特定し、これにより、前記サンプル細胞の細胞型を分類する再処理することにより、前記取得された多重スペクトルの複数画像を応答的に処理する過程と、
特定された前記細胞形態および／または前記細胞型の分類の指標を出力する過程とを含む、方法。 - 前記１つの画像が明視野画像であり、前記その他の画像が、互いに異なる蛍光チャンネルの蛍光画像である、請求項１３に記載の方法。
- 前記明視野画像における細胞要素の位置の正確性の改善の前記工程（Ｂ）が、前記互いに異なる蛍光画像の各々に対して、前記（ｉ）〜（ｉｉｉ）を反復して適用する、請求項１４に記載の方法。
- 前記再処理することが、疾患または健康上の障害の指標となる細胞であって、障害を有する精子細胞、鎌状細胞、および癌細胞を含む細胞のいずれか１種以上を含む細胞型を分類する、請求項１３に記載の方法。
- 前記出力指標が、診断検査結果のインジケーターを含む任意のデジタルレンダリングである、請求項１３に記載の方法。
- 前記応答的に処理する過程が、正常に機能しない精子細胞を分類することを含み、
前記出力する過程が、不妊の指標を提供する、請求項１３に記載の方法。 - 前記正常に機能しない精子細胞を分類することが、細胞質小滴の存在、遠位中片部反射（ＤＭＲ）の発生、および精子頭部の形状のうちの１種以上の前記デジタルプロセッサによる自動的特定を含む、請求項１８に記載の方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201662348356P | 2016-06-10 | 2016-06-10 | |
| US62/348,356 | 2016-06-10 | ||
| PCT/US2017/035922 WO2017214023A1 (en) | 2016-06-10 | 2017-06-05 | A method to combine brightfield and fluorescent channels for cell image segmentation and morphological analysis using images obtained from imaging flow cytometer (ifc) |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019525199A true JP2019525199A (ja) | 2019-09-05 |
| JP6654271B2 JP6654271B2 (ja) | 2020-02-26 |
Family
ID=59054326
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019516906A Active JP6654271B2 (ja) | 2016-06-10 | 2017-06-05 | イメージングフローサイトメーター（ｉｆｃ）から取得された画像を使用した、細胞画像のセグメンテーションおよび形態分析のための明視野と蛍光チャンネルの統合方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (2) | US10846509B2 (ja) |
| EP (1) | EP3455789A1 (ja) |
| JP (1) | JP6654271B2 (ja) |
| WO (1) | WO2017214023A1 (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6654271B2 (ja) * | 2016-06-10 | 2020-02-26 | ルミネックス コーポレーション | イメージングフローサイトメーター（ｉｆｃ）から取得された画像を使用した、細胞画像のセグメンテーションおよび形態分析のための明視野と蛍光チャンネルの統合方法 |
| DE102017107348B4 (de) * | 2017-04-05 | 2019-03-14 | Olympus Soft Imaging Solutions Gmbh | Verfahren zur zytometrischen Analyse von Zellproben |
| US11169092B2 (en) * | 2017-07-11 | 2021-11-09 | Hamamatsu Photonics K.K. | Sample observation device and sample observation method |
| CA3210746A1 (en) * | 2018-09-28 | 2020-04-02 | The Brigham And Women's Hospital, Inc. | Automated evaluation of sperm morphology |
| CN109493343A (zh) * | 2018-12-29 | 2019-03-19 | 上海鹰瞳医疗科技有限公司 | 医疗图像异常区域分割方法及设备 |
| WO2020242485A1 (en) * | 2019-05-30 | 2020-12-03 | Hewlett-Packard Development Company, L.P. | Particle imaging |
| WO2021102003A1 (en) * | 2019-11-18 | 2021-05-27 | 10X Genomics, Inc. | Systems and methods for tissue classification |
| JP2021083431A (ja) * | 2019-11-29 | 2021-06-03 | シスメックス株式会社 | 細胞解析方法、細胞解析装置、細胞解析システム、及び細胞解析プログラム |
| CN111104894B (zh) * | 2019-12-17 | 2021-01-12 | 推想医疗科技股份有限公司 | 一种精子标注方法、装置、电子设备及存储介质 |
| CN113222969B (zh) * | 2021-05-28 | 2024-05-14 | 大连海事大学 | 一种基于双向背景差分法的成像流式细胞粘连计数与活性检测方法、装置 |
| CN215737362U (zh) * | 2021-09-23 | 2022-02-08 | 广东鸿源电器科技有限公司 | 一种电夹板 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008533440A (ja) * | 2005-02-01 | 2008-08-21 | アムニス コーポレイション | イメージングフローサイトメータを使用した血液及び細胞の分析 |
| JP2008539724A (ja) * | 2005-05-04 | 2008-11-20 | アムニス コーポレイション | 物体の特性を決定する方法及び画像化システム |
| US20090245598A1 (en) * | 2008-03-26 | 2009-10-01 | General Electric Company | Methods for Assessing Molecular Expression of Subcellular Molecules |
| US20130201317A1 (en) * | 1999-01-25 | 2013-08-08 | Amnis Corporation | Blood and cell analysis using an imaging flow cytometer |
| CN104266955A (zh) * | 2014-09-02 | 2015-01-07 | 上海凯度机电科技有限公司 | 高内涵图像流式生物显微分析系统 |
| WO2015124777A1 (en) * | 2014-02-21 | 2015-08-27 | Ventana Medical Systems, Inc. | Medical image analysis for identifying biomarker-positive tumor cells |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6259807B1 (en) * | 1997-05-14 | 2001-07-10 | Applied Imaging Corp. | Identification of objects of interest using multiple illumination schemes and finding overlap of features in corresponding multiple images |
| US8744164B2 (en) * | 2010-04-06 | 2014-06-03 | Institute For Systems Biology | Automated analysis of images using bright field microscopy |
| EP2779089B1 (en) * | 2010-07-30 | 2018-11-14 | Fundação D. Anna Sommer Champalimaud E Dr. Carlos Montez Champalimaud | Systems and methods for segmentation and processing of tissue images and feature extraction from same for treating, diagnosing, or predicting medical conditions |
| EP2831559A1 (en) * | 2012-03-30 | 2015-02-04 | Clarient Diagnostic Services, Inc. | Methods for generating an image of a biological sample |
| US9135694B2 (en) * | 2012-12-04 | 2015-09-15 | General Electric Company | Systems and methods for using an immunostaining mask to selectively refine ISH analysis results |
| US9940722B2 (en) * | 2013-01-25 | 2018-04-10 | Duke University | Segmentation and identification of closed-contour features in images using graph theory and quasi-polar transform |
| AU2014326707A1 (en) * | 2013-09-30 | 2016-02-25 | Ventana Medical Systems, Inc. | Systems and methods for adaptive histopathology image unmixing |
| US9858469B2 (en) * | 2013-12-30 | 2018-01-02 | Ge Healthcare Bio-Sciences Corp. | Modular image analysis system and method |
| WO2016172612A1 (en) | 2015-04-23 | 2016-10-27 | Cedars-Sinai Medical Center | Automated delineation of nuclei for three dimensional (3-d) high content screening |
| JP6654271B2 (ja) * | 2016-06-10 | 2020-02-26 | ルミネックス コーポレーション | イメージングフローサイトメーター（ｉｆｃ）から取得された画像を使用した、細胞画像のセグメンテーションおよび形態分析のための明視野と蛍光チャンネルの統合方法 |
-
2017
- 2017-06-05 JP JP2019516906A patent/JP6654271B2/ja active Active
- 2017-06-05 EP EP17729729.8A patent/EP3455789A1/en active Pending
- 2017-06-05 US US16/097,568 patent/US10846509B2/en active Active
- 2017-06-05 WO PCT/US2017/035922 patent/WO2017214023A1/en unknown
-
2020
- 2020-10-21 US US17/076,008 patent/US11972620B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130201317A1 (en) * | 1999-01-25 | 2013-08-08 | Amnis Corporation | Blood and cell analysis using an imaging flow cytometer |
| JP2008533440A (ja) * | 2005-02-01 | 2008-08-21 | アムニス コーポレイション | イメージングフローサイトメータを使用した血液及び細胞の分析 |
| JP2008539724A (ja) * | 2005-05-04 | 2008-11-20 | アムニス コーポレイション | 物体の特性を決定する方法及び画像化システム |
| US20090245598A1 (en) * | 2008-03-26 | 2009-10-01 | General Electric Company | Methods for Assessing Molecular Expression of Subcellular Molecules |
| WO2015124777A1 (en) * | 2014-02-21 | 2015-08-27 | Ventana Medical Systems, Inc. | Medical image analysis for identifying biomarker-positive tumor cells |
| CN104266955A (zh) * | 2014-09-02 | 2015-01-07 | 上海凯度机电科技有限公司 | 高内涵图像流式生物显微分析系统 |
Non-Patent Citations (5)
| Title |
|---|
| 32ND ANNUAL INTERNATIONAL CONFERENCE OF THE IEEE EMBS, JPN6019051294, 2010, pages 4748 - 4751, ISSN: 0004184034 * |
| ACM TRANSACTIONS ON GRAPHICS (TOG), vol. 23, 3, JPN6019051290, August 2004 (2004-08-01), pages 309 - 314, ISSN: 0004184033 * |
| ARCHIVES OF ANDROLOGY, vol. 53, 4, JPN6019051286, 2007, pages 219 - 228, ISSN: 0004184031 * |
| PROC. OF SPIE, vol. 8669, JPN6019051289, 2013, pages 86693S, ISSN: 0004184032 * |
| PROCEEDINGS EIGHTH IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION, vol. I, JPN6019051284, 2001, pages 105 - 112, ISSN: 0004184030 * |
Also Published As
| Publication number | Publication date |
|---|---|
| US20190163956A1 (en) | 2019-05-30 |
| US11972620B2 (en) | 2024-04-30 |
| JP6654271B2 (ja) | 2020-02-26 |
| WO2017214023A1 (en) | 2017-12-14 |
| US10846509B2 (en) | 2020-11-24 |
| US20210034839A1 (en) | 2021-02-04 |
| EP3455789A1 (en) | 2019-03-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6654271B2 (ja) | イメージングフローサイトメーター（ｉｆｃ）から取得された画像を使用した、細胞画像のセグメンテーションおよび形態分析のための明視野と蛍光チャンネルの統合方法 | |
| Mortimer et al. | The future of computer-aided sperm analysis | |
| JP5425814B2 (ja) | サポートベクタマシンを用いてフローサイトメトリーデータを分析するための方法及びシステム | |
| Tomari et al. | Computer aided system for red blood cell classification in blood smear image | |
| US20210303818A1 (en) | Systems And Methods For Applying Machine Learning to Analyze Microcopy Images in High-Throughput Systems | |
| Dese et al. | Accurate machine-learning-based classification of leukemia from blood smear images | |
| US20090081775A1 (en) | Microscope system and screening method for drugs, physical therapies and biohazards | |
| US20160169786A1 (en) | Automated flow cytometry analysis method and system | |
| US10337975B2 (en) | Method and system for characterizing particles using a flow cytometer | |
| de Paz et al. | The relationship between ram sperm head morphometry and fertility depends on the procedures of acquisition and analysis used | |
| Bhattacharjee et al. | Detection of Acute Lymphoblastic Leukemia using watershed transformation technique | |
| JP2016533475A (ja) | 適応的病理組織画像分解のためのシステム及び方法 | |
| JP2007020449A (ja) | スクリーニング方法およびスクリーニング装置 | |
| Ananth et al. | An Advanced Low-cost Blood Cancer Detection System. | |
| Maggavi et al. | Motility analysis with morphology: Study related to human sperm | |
| CN107430587A (zh) | 自动化流式细胞术分析方法及系统 | |
| EP3244191A1 (en) | Method and system for characterizing particles using a flow cytometer | |
| Martinez et al. | Impartial: Partial annotations for cell instance segmentation | |
| Hasikin et al. | A new region-based adaptive thresholding for sperm motility segmentation | |
| Şavkay et al. | Sperm motility analysis system implemented on a hybrid architecture to produce an intelligent analyzer | |
| Sergeev et al. | Development of automated computer vision methods for cell counting and endometrial gland detection for medical images processing | |
| Ganapathy | Cancer detection using deep neural network differentiation of squamous carcinoma cells in oral pathology | |
| EP4300437A2 (en) | System and method for classifying microscopic particles | |
| da Silva et al. | An automatic phytopathometry system for chlorosis and necrosis severity evaluation of asian soybean rust infection | |
| CN116912155A (zh) | 一种准确测量活精子形态的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181221 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181221 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20190830 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20190830 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191220 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200107 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200129 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6654271 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |