JP2022147328A - 細胞計数方法、細胞計数のための機械学習モデルの構築方法、プログラムおよび記録媒体 - Google Patents
細胞計数方法、細胞計数のための機械学習モデルの構築方法、プログラムおよび記録媒体 Download PDFInfo
- Publication number
- JP2022147328A JP2022147328A JP2021048521A JP2021048521A JP2022147328A JP 2022147328 A JP2022147328 A JP 2022147328A JP 2021048521 A JP2021048521 A JP 2021048521A JP 2021048521 A JP2021048521 A JP 2021048521A JP 2022147328 A JP2022147328 A JP 2022147328A
- Authority
- JP
- Japan
- Prior art keywords
- cell
- image
- machine learning
- peak
- cells
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000010801 machine learning Methods 0.000 title claims abstract description 49
- 238000010276 construction Methods 0.000 title description 3
- 238000003384 imaging method Methods 0.000 claims abstract description 76
- 238000009826 distribution Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 8
- 210000004027 cell Anatomy 0.000 description 264
- 238000012545 processing Methods 0.000 description 34
- 239000000523 sample Substances 0.000 description 32
- 210000001161 mammalian embryo Anatomy 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 230000002776 aggregation Effects 0.000 description 13
- 238000004220 aggregation Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 13
- 101000802640 Homo sapiens Lactosylceramide 4-alpha-galactosyltransferase Proteins 0.000 description 12
- 102100035838 Lactosylceramide 4-alpha-galactosyltransferase Human genes 0.000 description 12
- 238000005286 illumination Methods 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 11
- 238000003860 storage Methods 0.000 description 9
- 210000003855 cell nucleus Anatomy 0.000 description 4
- 210000002257 embryonic structure Anatomy 0.000 description 4
- 239000007788 liquid Substances 0.000 description 4
- CIWBSHSKHKDKBQ-JLAZNSOCSA-N Ascorbic acid Chemical compound OC[C@H](O)[C@H]1OC(=O)C(O)=C1O CIWBSHSKHKDKBQ-JLAZNSOCSA-N 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 210000000472 morula Anatomy 0.000 description 3
- 238000010186 staining Methods 0.000 description 3
- 230000004931 aggregating effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000003776 cleavage reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 210000004940 nucleus Anatomy 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 230000007017 scission Effects 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 210000004340 zona pellucida Anatomy 0.000 description 2
- 210000003771 C cell Anatomy 0.000 description 1
- 102000003886 Glycoproteins Human genes 0.000 description 1
- 108090000288 Glycoproteins Proteins 0.000 description 1
- 239000012472 biological sample Substances 0.000 description 1
- 210000002459 blastocyst Anatomy 0.000 description 1
- 238000004113 cell culture Methods 0.000 description 1
- 230000032823 cell division Effects 0.000 description 1
- 239000003153 chemical reaction reagent Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012258 culturing Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000004720 fertilization Effects 0.000 description 1
- 239000007850 fluorescent dye Substances 0.000 description 1
- 239000000499 gel Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 208000000509 infertility Diseases 0.000 description 1
- 230000036512 infertility Effects 0.000 description 1
- 231100000535 infertility Toxicity 0.000 description 1
- 230000003834 intracellular effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000001000 micrograph Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 238000007447 staining method Methods 0.000 description 1
- 238000013106 supervised machine learning method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/483—Physical analysis of biological material
-
- C—CHEMISTRY; METALLURGY
- C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
- C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
- C12M1/00—Apparatus for enzymology or microbiology
- C12M1/34—Measuring or testing with condition measuring or sensing means, e.g. colony counters
-
- C—CHEMISTRY; METALLURGY
- C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
- C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
- C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
- C12M41/30—Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration
- C12M41/36—Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration of biomass, e.g. colony counters or by turbidity measurements
-
- C—CHEMISTRY; METALLURGY
- C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
- C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
- C12Q1/00—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
- C12Q1/02—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving viable microorganisms
- C12Q1/04—Determining presence or kind of microorganism; Use of selective media for testing antibiotics or bacteriocides; Compositions containing a chemical indicator therefor
- C12Q1/06—Quantitative determination
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10148—Varying focus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Abstract
【課題】細胞塊を撮像した画像から細胞数を自動的に、かつ精度よく計数する。【解決手段】本発明に係る細胞計数方法は、細胞塊を互いに異なる焦点深さで明視野撮像した、複数の画像を含む画像スタックを取得する工程と、機械学習モデルを用いて、複数の画像それぞれに対応する複数のヒートマップを作成する工程と、ヒートマップの各々からピークを検出する工程と、検出されたピークのうち、互いに異なるヒートマップに属し、かつマップ平面に沿った方向における距離および焦点深さ方向における距離のそれぞれが所定値より小さいピーク同士を相互に関連付ける工程と、関連付けられた複数のピークについては1つのピークと見なしてピークの数を計数する工程とを備える。機械学習モデルは、細胞の明視野画像である教師画像と、細胞中心部に近いほど大きくなる重みを与えたヒートマップである正解画像とを教師データとする機械学習により構築される。【選択図】図3
Description
この発明は、細胞塊を撮像した画像を解析することで、細胞塊を構成する細胞の数を自動的に計数する技術に関するものである。
病理医学や細胞培養の技術分野においては、細胞や組織の状態、例えば発達状況を判断する基準として、複数の細胞からなる細胞塊を撮像した画像内に存在する細胞の個数がしばしば用いられている。多数の細胞を目視により計数することは作業者に大きな負荷となることから、画像を解析して細胞数を自動的に計数する技術が提案されている。
例えば特許文献1に記載の技術では、細胞核を染色する染色方法で試料を染色し顕微鏡撮像して得られた画像の明暗から観察対象の形状を把握し、小核が検出された場合には主核との距離に応じて対応付けした上で核を計数することで、細胞数が求められる。また例えば特許文献2に記載の技術では、互いに近接し境界が不明瞭な細胞を区別するために、蛍光ラベルが付された試料の画像を用いて、着目画素を含む領域内の複数の画素の画素値から着目画素のスコアを算出し、そのスコアに基づいて個々の細胞の位置または個数が求められる。
観察対象となる細胞塊が立体的な構造を有し、画像の奥行き方向に複数の細胞が重なり合っている場合には、上記した従来技術のように画像の輝度値に基づく方法では個々の細胞を分離して計数することが困難である。例えば受精卵(胚)の観察においては、多数の細胞が球状に密集しており、しかも個々の細胞は透明に近い。このため、透過光や反射光を受光することで撮像された単一の顕微鏡画像の輝度値からそれらを分離し、個別に計数することは非常に困難である。
このことから、三次元構造を有する細胞塊を構成する細胞の数を、より精度よく求めることのできる技術の確立が求められる。また、上記の従来技術では細胞に対し染色や蛍光標識の付与が施されており、生細胞の計数には適用できない。そのため、このように侵襲的な撮像方法によらない画像を用いても計数を行えることがより好ましい。
この発明は上記課題に鑑みなされたものであり、細胞塊を撮像した画像から細胞数を自動的に、かつ精度よく計数することが可能な技術を提供することを目的とする。
この発明の一の態様は、細胞塊を構成する細胞の個数を計数する細胞計数方法であって、上記目的を達成するため、前記細胞塊を互いに異なる焦点深さで明視野撮像した、複数の画像を含む画像スタックを取得する工程と、機械学習モデルを用いて、前記複数の画像それぞれに対応する複数のヒートマップを作成する工程と、前記ヒートマップの各々からピークを検出する工程と、検出された前記ピークのうち、互いに異なる前記ヒートマップに属し、かつマップ平面に沿った方向における距離および前記焦点深さ方向における距離がそれぞれ予め定められた所定の閾値より小さいピーク同士を、相互に関連付ける工程と、関連付けられた複数の前記ピークについては1つのピークと見なして前記ピークの数を計数する工程とを備えている。ここで、前記機械学習モデルは、細胞の明視野画像である教師画像と、当該教師画像内で合焦した細胞の輪郭の内側でその外側よりも大きく、かつ細胞中心部に近いほど大きくなる重みを与えたヒートマップである正解画像とのセットを教師データとする機械学習により構築されたものである。
このように構成された発明では、細胞塊を互いに異なる焦点深さで複数回明視野撮像することで得られる、いわゆるマルチフォーカス画像に基づき細胞数の計数を行う。透明に近い細胞で構成された細胞塊の明視野撮像では、焦点深さを異ならせながら撮像を行うことで、細胞塊の表面に現れている細胞だけでなく、その背後の細胞についても複数の画像のいずれかに合焦した状態で撮像されると期待される。したがって、各画像からそれぞれ合焦した細胞を抽出すれば、それらは細胞塊を構成する細胞の全体を網羅しているものと考えられる。
ただし、撮像光学系の被写界深度や撮像時の焦点深さの変化ピッチ、細胞の大きさ等の関係から、1つの細胞が複数の画像において合焦している可能性がある。このため、単に各画像から検出された細胞を計数するだけでは、重複して計数されるケースがあり正しい計数結果を得ることができない。本発明では、以下の構成によりこの問題の解消を図っている。
第1に、各画像における細胞の特定は、機械学習モデルにより出力されるヒートマップからピークを検出するという方法により行われる。ヒートマップには、細胞の中心に近いほど大きな重みが与えられており、ピーク位置は細胞の中心位置に対応している。第2に、各画像から検出されたピークのうち相互の距離が近いものについては、それらを1つのピークと見なしてピーク数を計数する。
各画像中で細胞が占める領域を特定するだけでは、複数の画像から検出された細胞領域が互いに重複している場合にそれらが同一の細胞に対応するものか異なる細胞に対応するものかを判断することが困難である。一方で、細胞数を求めるという目的においては、画像中で細胞が占める領域を正確に特定することは必須の要件ではない。むしろ細胞の中心位置を特定する方法が適している。というのは、検出された細胞中心間の距離から、それらが同一細胞に由来するものか否かを判断することができるからである。
具体的には、細胞の大きさがある程度わかっていれば、それらの中心同士が取り得る距離の下限を推定することが可能である。したがって、複数の画像で検出された細胞中心に対応するピークのうち、そうして推定される下限よりも近い位置にあるものは同一の細胞に由来するものと見なすことができる。一方、孤立したピークについてはそれぞれが1つの細胞に対応すると考えることができる。このように、一定距離よりも近接した位置にある複数のピークについてはそれらの全体を1つのピークと見なせば、ピーク数によって細胞数を表すことができる。これにより、同一細胞を重複して計数することは回避される。
また、個々の細胞の検出は、合焦した細胞を含む画像を教師画像として構築された機械学習モデルを用いて細胞の中心位置を推定するという方法により行われる。このため、例えば細胞核を染色する等の侵襲的方法を用いていない細胞の画像を教師画像として用いて機械学習を実行すれば、計数対象となる細胞塊についても非侵襲的に撮像した画像を用いることができる。
また、この発明の他の一の態様は、細胞塊の明視野画像である教師画像を複数取得する工程と、前記教師画像の各々について、当該教師画像内で合焦した細胞の輪郭の内側でその外側よりも大きく、かつ細胞中心部に近いほど大きくなる重みを与えた擬似的なヒートマップである正解画像を作成する工程と、前記教師画像と前記正解画像とのセットを教師データとして機械学習を実行し機械学習モデルを構築する工程とを備える、細胞計数のための機械学習モデルの構築方法である。このように構成された発明では、上記した細胞計数方法を実行するのに好適な機械学習モデルを効率的に構築することが可能である。
また、この発明の他の一の態様は、上記した細胞計数方法または細胞計数のための機械学習モデルの構築方法の各工程を、コンピューターに実行させるためのプログラムである。また、この発明の他の一の態様は、上記プログラムを非一時的に記憶したコンピューター読み取り可能な記録媒体である。このように構成された発明では、本発明の実行主体として、例えば既存のコンピューター装置を用いることが可能となる。
上記のように、本発明によれば、マルチフォーカス画像スタックの各画像から、細胞の中心ほど大きな重みが与えられたヒートマップを作成し、そのピークを細胞の中心として扱うとともに、ピーク間の距離が所定値より小さい複数のピークについては同一の細胞に由来するものと見なして計数する。このため、三次元構造を有する細胞塊であっても、それを構成する細胞の数を自動的に、かつ精度よく計数することが可能である。
図1は本発明に係る細胞計数方法を適用可能な撮像装置の概略構成を示す図である。この撮像装置1は、ディッシュと呼ばれる平型で上面が開口する試料容器10に担持された細胞等の生試料を撮像する装置である。試料容器10には、培地Mとしての液体が所定量注入され、この液体中において所定の培養条件で培養された細胞等の生試料Sが、この撮像装置1の撮像対象物となる。培地は適宜の試薬が添加されたものでもよく、また液状で試料容器10に注入された後ゲル化するものであってもよい。
なお、ここでは撮像対象物を生試料とした場合を例示して説明するが、本発明における撮像対象物はこれに限定されるものではない。例えば、適宜の担体に担持された組織切片や病理標本等が撮像対象物とされてもよい。また、試料容器がウェルと呼ばれる窪部を複数備えた、いわゆるウェルプレートであり、各ウェルに担持された生試料が撮像対象物とされてもよい。
撮像装置1は、試料容器10を保持するホルダ11と、ホルダ11の上方に配置される照明部12と、ホルダ11の下方に配置される撮像部13と、これら各部の動作を制御するCPU141を有する制御部14とを備えている。ホルダ11は、試料容器10の下面周縁部に当接して試料容器10を略水平姿勢に保持する。
照明部12は、ホルダ11により保持された試料容器10に向けて照明光を出射する。照明光の光源としては、例えば白色LED(Light Emitting Diode)を用いることができる。光源と適宜の照明光学系とを組み合わせたものが、照明部12として用いられる。照明部12により、試料容器10内の撮像対象物が上方から照明される。
ホルダ11により保持された試料容器10の下方に、撮像部13が設けられる。撮像部13には、試料容器10の直下位置に撮像光学系が配置されており、撮像光学系の光軸は鉛直方向に向けられている。図1は側面図であり、図の上下方向が鉛直方向を表す。
撮像部13により、試料容器10内の撮像対象物が明視野撮像される。具体的には、照明部12から出射され試料容器10の上方から液体に入射した光が撮像対象物を照明し、試料容器10の底面から下方へ透過した光が、撮像部13の対物レンズ131を含む撮像光学系を介して撮像素子132の受光面に入射する。撮像光学系により撮像素子132の受光面に結像する撮像対象物の像(明視野像)が、撮像素子132により撮像される。撮像素子132は二次元の受光面を有するエリアイメージセンサであり、例えばCCDセンサまたはCMOSセンサを用いることができる。
撮像部13は、制御部14に設けられたメカ制御部146により水平方向および鉛直方向に移動可能となっている。具体的には、メカ制御部146がCPU141からの制御指令に基づき駆動機構15を作動させ、撮像部13を水平方向に移動させることにより、撮像部13が試料容器10に対し水平方向に移動する。また対物レンズ131を鉛直方向へ移動させることにより、フォーカス調整がなされる。
駆動機構15は、撮像部13を水平方向に移動させる際、図において点線矢印で示すように照明部12を撮像部13と一体的に移動させる。すなわち、照明部12は、その光中心が撮像部13の光軸と略一致するように配置されており、撮像部13が水平方向に移動するとき、これと連動して移動する。これにより、撮像部13が試料容器10に対し移動する場合でも、照明部12の光中心が常に撮像部13の光軸上に位置することとなり、どの位置においても撮像対象物に対する照明条件を一定にして、撮像条件を良好に維持することができる。
撮像部13の撮像素子132から出力される画像信号は、制御部14に送られる。すなわち、画像信号は制御部14に設けられたADコンバータ(A/D)143に入力されてデジタル画像データに変換される。CPU141は、受信した画像データに基づき適宜画像処理を実行する。
制御部14はさらに、画像データや演算中のデータを一時的に記憶するためのメモリ144と、CPU141が実行すべきプログラムやCPU141により生成されるデータを記憶保存するためのストレージ145とを有している。メモリ144はCPU144から高速アクセスが可能である一方、記憶容量はストレージ145よりも小さい。ストレージ145は例えばハードディスクドライブ(HDD)であり、記憶容量は大きいが、アクセス速度はメモリ144よりも遅い。これらは目的に応じて使い分けられる。CPU141は、ストレージ145に記憶された制御プログラムを呼び出し実行することにより、後述する各種の演算処理を行う。
その他に、制御部14には、インターフェース(IF)部142が設けられている。インターフェース部142は、ユーザーからの操作入力の受け付けや、ユーザーへの処理結果等の情報提示を行うユーザインターフェース機能のほか、通信回線を介して接続された外部装置との間でのデータ交換を行う機能を有する。ユーザインターフェース機能を実現するために、インターフェース部142には、ユーザーからの操作入力を受け付ける入力受付部147と、ユーザーへのメッセージや処理結果などを表示出力する表示部148とが接続されている。
以下、上記のように構成された撮像装置1を用いて実行可能な、本発明に係る細胞計数方法の一実施形態について説明する。撮像装置1は、後述する細胞計数処理を実行することにより、生試料Sとしての細胞塊を構成する細胞の数を自動的に計数する機能を有する。ここでは、試料Sとして初期の受精卵(以下、単に「胚」という)を撮像し、その画像から、当該胚を構成する細胞の数を計数する処理について説明する。これにより得られたデータに基づき、ユーザー(具体的には医師または胚培養士)による胚の評価作業を効果的に支援することが可能となる。例えば不妊治療を目的とする胚の培養において、培養が良好に進行しているか否かを判断するための知見を得ることを目的として、本実施形態の細胞計数方法を適用することができる。なお、処理対象についてはこのような胚に限定されず、複数の細胞が密接する各種の細胞塊に対し本処理を適用可能である。
図2は本実施形態において生試料となる胚の構造を模式的に示す図である。既に知られているように、卵子が受精すると卵割が開始され、桑実胚と呼ばれる状態を経て胚盤胞が形成される。本実施形態の細胞計数方法は、例えば受精直後から桑実胚期の胚を構成する細胞の数を計数するのに好適である。
図2(a)は初期段階(例えば4細胞期から桑実胚期)の胚の構造を模式的に示すものである。胚Eの外形は概ね球形である。その表面は透明帯と呼ばれるゼリー状の糖タンパク質の層Zで覆われており、その内部に受精卵が細胞分裂することで生じる複数の細胞Cが含まれる。培養が良好に進行する状態では、図2(a)左図に示すように、透明帯Zの内部は比較的大きな細胞Cにより占められている。卵割が進むにつれて、細胞Cの数は増えてゆく。
このような胚Eを、図に点線で示す焦点深さを種々に変えながら明視野撮像を行うと、図2(a)右図に模式的に示す複数の画像が得られる。試料容器10の下方に配置される撮像部13から見た焦点深さが最も浅い、つまり焦点位置が最も下側に位置決めされた画像Iaでは、胚Eを構成する細胞Cのいずれにも焦点が合わず、不鮮明な像となる。
焦点位置が上方に移動し、例えば最も下方にある細胞C1に合焦した状態の画像Ibでは、当該細胞C1が鮮明となる。さらに焦点位置が上方に移動した画像Icでは、焦点の合わなくなった細胞C1が不鮮明となり、焦点位置に近い位置にある細胞C2~C4がより鮮明な像として現れる。細胞C1が透明に近ければ、細胞C1を透過してその奥にある他の細胞が像に現れる。さらに焦点位置が上方に移動した画像Idでは、焦点の合わなくなった細胞C1~C4が不鮮明となり、それらを透過して、より焦点位置に近い位置にあるさらに上方の細胞C5~C7の像が現れる。
このように、焦点深さを多段階に変更設定しながら、同一試料を同一視野で複数回撮像することにより、図2(b)に示すように、視野が同一で焦点深さが互いに異なる複数の画像のセットを取得することができる。この画像セットはマルチフォーカス画像スタックと称されるものである。画像スタックST内の各画像では、細胞塊(この例では胚E)を構成する細胞のうち焦点位置に近い位置にあるものが鮮明な像をなす一方、焦点位置から離れた細胞の像は不鮮明となる。また、焦点位置よりも手前(撮像部13に近い側)にある細胞を透過して、その奥にある細胞の像が現れる。本実施形態の細胞数計数処理では、画像スタックSTが有するこのような特徴を利用して、細胞塊を構成する細胞の数を計数する。
図3は本実施形態の細胞計数処理の概要を示すフローチャートである。この処理および以下に説明する各処理は、CPU141がストレージ145に予め記憶されている制御プログラムを読み出して実行し、装置各部に所定の動作を行わせることにより実現される。なお、これら各種の処理は、生試料Sを撮像する処理を除けば、一般的なハードウェア構成を有するコンピューター装置によっても実現可能である。このため、本実施形態は、撮像機能を有する撮像装置と、画像処理機能を有するコンピューター装置との組み合わせによって実現されてもよい。また、既に撮像された画像スタックがある場合には、その画像スタックを用いてコンピューター装置が画像処理を行うことによっても実現可能である。
最初に、処理対象物である生試料S(ここでは胚E)に対し、焦点深さを互いに異ならせて明視野撮像を複数回行うことにより取得されるマルチフォーカス画像スタックSTが取得される(ステップS101)。撮像部13が撮像を行うことによって新規に取得されてもよく、また予め撮像され外部ストレージ等に保存されている画像データを、適宜の記録媒体や電気通信回線を通じて外部から取得する態様でもよい。
こうして取得された画像ストック内の各画像をヒートマップに変換する(ステップS102)。具体的には、画像ストックに含まれる複数の画像の各々を、予め機械学習により構築された機械学習モデルに入力し、その出力として、それぞれの画像に対応するヒートマップを得る。詳しくは後述するが、機械学習モデルの出力は、入力画像に細胞の鮮明な像が含まれるとき、当該細胞の輪郭内部に相当する位置でその外部より大きく、かつ細胞の中心部に近いほど大きくなるような重みが与えられたヒートマップである。
各画像に対応する複数のヒートマップのそれぞれにおいて、重みが周囲よりも大きいピーク点が検出される(ステップS103)。上記したヒートマップの特徴からわかるように、重みのピーク点は個々の細胞の中心位置を表している蓋然性が高い。したがって、各画像から検出されるピーク点の数と、細胞塊を構成する細胞の数との間に一定の相関性があると言える。
ただし、1つの細胞が焦点深さの異なる複数の画像にまたがって現れることがあり、そうすると、同一の細胞であるにもかかわらず、複数の画像でピーク点として検出されることになる。これらを重複して計数することを回避する必要がある。この目的のために、複数の画像で検出されたピーク点のうち同一細胞に由来する可能性の高いものを1つに集約する(ステップS104)。その方法については後述する。
こうして集約が行われた後のピーク点は、それぞれ1つの細胞の中心位置を表していると考えられる。そこで、ピーク点を計数し、その計数結果をもって、細胞の個数と見なす(ステップS105)。これにより、複数の画像に現れた1つの細胞を重複して計数することが回避され、細胞の自動計数を精度よく行うことが可能となる。
次に、ヒートマップを出力するための機械学習モデルを作成するための処理について説明する。前記したように、ヒートマップは、元となる画像に含まれる細胞の鮮明な像に対し、細胞の中心部に近いほど大きな重みを与える。一方、画像に細胞が含まれない、あるいはその像が不鮮明である場合には、全領域で重みがゼロとされる。
このように、細胞の画像を、細胞の中心部である蓋然性が高い領域で最も重みが大きく、その周囲では中心部から離れるほど重みが小さくなるようなヒートマップに変換する機能は、教師あり機械学習により以下のようにして構築された機械学習モデルを用いて実現することができる。
図4は機械学習モデルを構築するための処理を示すフローチャートである。また、図5はヒートマップの作成過程を例示する図である。最初に、教師画像として収集された画像が取得される(ステップS201)。教師画像は、合焦状態で撮像された細胞の、特にその輪郭が鮮明な像が含まれる複数の画像である。例えば、処理対象物である胚Eまたはこれと同種の試料Sをマルチフォーカス明視野撮像することで得られた複数の画像から、細胞が鮮明に現れている画像を熟練者が選出し、それを教師画像とすることができる。
教師画像はできるだけ多数収集されることが好ましく、また細胞の個体差に対応するためにも、複数の試料Sの画像が収集されることが好ましい。また、教師画像の数を増やして学習精度を向上させるために、マルチフォーカス画像スタックに含まれ焦点深さが1段階だけ異なる2つの画像を用いて、焦点深さ方向に補間された画像を作成してもよい。
このようにして収集された教師画像の画像データは、例えばストレージ145に保存される。そして、そのうち1つの画像が表示部148に表示され(ステップS202)、表示画像に対するユーザーからの教示入力を受け付ける(ステップS203)。なお、1つの画面に複数の教師画像が表示されてもよい。
教示入力は、各教師画像に含まれる、鮮明な細胞の領域を特定するために行われる。例えば図5(a)に示すように、表示画像Isに含まれる細胞Cの鮮明な輪郭を、適宜の描画ツールTを用いてなぞることにより、ユーザーは教示入力を行うことができる。あるいは例えば、細胞Cの周縁部と概ね一致する円または楕円を画像に重畳して配置することにより教示を行ってもよい。このように適宜の方法でユーザーが画像中の細胞の領域を教示することで、各教師画像にラベル付けが行われる。
教師画像には、図2(a)に示す画像Iaのように、鮮明な細胞の像を含まない画像が含まれていてもよい。細胞を含まない、あるいは細胞の像が不鮮明である場合には、輪郭の教示を行わないこととする。このことは、鮮明な細胞の像が存在しないというラベルを当該画像に付与することと、技術的には等価である。また、図2(a)に示す画像Icのように、1つの教師画像に鮮明な細胞の像が複数含まれていてもよい。その場合、それぞれの細胞の輪郭が教示され、かつそれらを独立したものとして扱うことができるような区別がなされることが望ましい。
こうして教示された輪郭CTで囲まれる領域を教師ラベルとしてラベル画像Itを作成し、さらに輪郭の内部に重み付けを行うことにより(ステップS204)、ヒートマップ画像Iuが作成される。収集された教師画像の全てについて、教示入力が受け付けられる(ステップS205)。
図5(b)に示すように、ヒートマップ画像Iuは、教示された輪郭CTの内部に、外部より大きく、かつ輪郭CTで囲まれた領域の中心部ほど大きくなるような重みが与えられた画像である。なお、ここで示されるヒートマップ画像Iuは、重みが大きいほど高濃度、つまり画像としては低輝度となる画像として表されているが、これとは逆に、重みが大きいほど白に近い高輝度となるように表されてもよい。
例えば、輪郭CTで囲まれた領域の重心を求め、これを中心とする二次元ガウス分布に沿った重み付けを行うことができる。また、輪郭CTで囲まれた領域の内部に輪郭CTからの距離に応じた重みを与える距離マップにより重み付けを行ってもよい。このように、輪郭CTで囲まれた領域の内部に中心部ほど重みが大きくなるような各種の重み付け手法を適用してヒートマップ画像Iuを作成することが可能である。
図5(b)に示されるように、輪郭CTの位置で重みがゼロとなる必要は必ずしもない。要するに、輪郭CTで囲まれた領域と外部の領域とを区別することができ、かつ内部領域の中心に向けて重みが増加するような重み付けがなされていればよい。この意味において、輪郭CTの教示は画像中の細胞の輪郭を厳密に指定するものでなくてもよい。また、細胞の内部と外部とをより明確に区別するために、輪郭CTの内部に与えられる重みに一定のオフセット値が加算されてもよい。
ヒートマップ上の各点に与えられる重みの大きさは、当該点が細胞の中心に該当する確率を相対的に表すものとなる。つまり、ヒートマップにおいて重みが極大となる位置が細胞の中心位置を表している。ここでいう細胞の中心とは、当該細胞が他の細胞等と接する場合にはそれらから最も離れた点であり、当該細胞内の構造体、例えば細胞核の位置等とは直接の関係がない。
続いて、複数の教師画像Isの各々と、それぞれに対応するヒートマップ画像Iuとのセットを教師データとして機械学習を実行する(ステップS206)。機械学習のアルゴリズムとしては、教師あり機械学習法として公知の各種の方法から適宜選択して用いることができる。例えば、畳み込みニューラルネットワーク法を用いることができる。
教師画像Isを入力画像とし、それに対応するヒートマップ画像Iuを正解画像として機械学習を実行することにより、機械学習モデルが構築される。こうして構築された機械学習モデルは、新たに与えられた細胞の画像に対し、当該画像から推定される細胞の中心位置を確率分布により表したヒートマップを出力する機能を獲得したことになる。すなわち、学習済みの機械学習モデルから出力されるヒートマップ画像は、入力画像における細胞の中心位置を推定するための情報を提供するものとなる。
具体的には、出力されたヒートマップ画像において、周囲領域に比べて重みの大きさが極大となるピーク点を探索し検出すれば、当該ピーク点は細胞の中心である蓋然性が最も高い位置を示していると言える。細胞の鮮明な像を含まない画像には実質的なピーク点は現れない。ピーク点の検出(ステップS103)は、例えば以下のようにして行うことができる。
図6はピーク点を検出する方法の一例を示す図である。なお、理解を容易にするため、ここではヒートマップ画像における位置と重みとの関係を一次元方向についてのみ示しているが、実際の重みは二次元の画像平面内での分布となる。
図上段に例示される、学習済みの機械学習モデルが出力したヒートマップ画像Ihに対しては、以後の処理において考慮する必要のない領域を除外するための前処理が行われる。例えば、容器の外側など明らかに細胞が存在しない領域や、想定される細胞のサイズに対して有意に小さく明らかに細胞でないと見なせる領域等を二値化やマスク処理により消去する。その上で、画像ノイズ等により細かい凹凸を除去するためのフィルタ処理が行われる。例えば移動平均フィルタ処理を適用することができる。そうすると、図中段に示す曲線Aのように、スムーズな確率分布曲線(実際には二次元画像に対応する曲面)を有するブラー画像が得られる。このブラー画像に対し最大値フィルタ処理を実行すると、曲線Bのように、確率分布曲線を横方向に膨らませたような最大値画像が生成される。周囲より重みの大きいピーク点では値に変化がない。
最大値画像とブラー画像との差分を取ると、図下段に示すように、重みの差分ΔWは、細胞から遠く重みゼロの領域とピーク点とでゼロとなる。このように差分がゼロとなる点を検出することで、ピーク点を検出することができる。細胞から遠い領域とピーク点とを区別するためには、図中段に示すように重みの値に適宜の閾値Wthを設定しておき、重みが閾値Wthよりも大きく、かつ差分ΔWがゼロとなる点を、ピーク点とすればよい。
こうして検出されるピーク点は、マルチフォーカス画像スタック中の各画像において比較的鮮明に現れた細胞の中心位置を表していると考えることができる。ただし、1つの細胞が複数の画像にまたがって現れているとき、同一の細胞を表すピーク点が複数の画像において検出されることとなる。このことに起因する重複計数を回避するために、この実施形態では、同一細胞に由来すると考えられるピーク点を互いに関連付け、それらを集約して1つのピークと見なす処理を実行する(ステップS104)。
図7はピーク点を集約するための処理を説明する図である。同種の細胞が集まって形成される細胞塊では、細胞の大きさはある程度揃っている。特に、状態のよい発達初期の胚は、大きさのよく揃った細胞により形成されている。このため、図7(a)に示すように、互いに接する細胞C,Cの中心間距離Dは、細胞Cの大きさに応じて決まる最小距離よりも小さくなることはないと考えられる。細胞の大きさにばらつきがある場合でも、比較的小さい細胞の大きさから導かれる最小距離を用いれば同様に考えることができる。
ヒートマップ画像Ihから検出されるピーク点は、細胞の中心位置に対応するものである。したがって、複数のヒートマップ画像から検出されるピーク点は、それらがそれぞれ異なる細胞に由来するものであれば、互いの距離は上記した最小距離より小さくなることはないと言える。このことから、検出されたピーク点のうち、実空間における互いの距離が細胞サイズから想定される所定値よりも十分に小さいものは、同一細胞に由来するものと考えるのが妥当である。この考え方に基づき、検出されたピーク点の集約を行う。
図7(b)を参照して、より具体的な事例を挙げて説明する。ヒートマップ画像Ihから検出されたピーク点のみを抽出しマップ平面に配置した画像をピーク画像と称し、焦点深さをΔVずつ異ならせて撮像された3つの画像から3つのピーク画像Ip1,Ip2,Ip3が得られたとする。このうちピーク画像Ipからはピーク点P1,P2が、ピーク画像Ip2からはピーク点P3,P4が、ピーク画像Ip3からはピーク点P5,P6が、それぞれ検出されたとする。なお、各ピーク画像上のピーク点を明示するために、図では焦点深さ方向の距離がマップ平面に沿った方向(以下、「マップ面方向」という)の距離よりも拡大されている。
ピーク画像Ip1上のピーク点P1と、ピーク画像Ip2上のピーク点P3とは、マップ面方向において比較的近い位置にある。また、焦点深さ方向におけるこれらのピーク点間の距離はΔVである。このように、異なるピーク画像上のピーク点であって、マップ面方向および焦点深さ方向において比較的近い位置にあるピーク点P1,P3は、同一細胞に由来するものである可能性が高い。詳しくは後述するが、ここでいう「近い」という状態は、想定される細胞のサイズとの関係から判断される概念である。
一方、ピーク画像Ip1上のピーク点P1とピーク点P2との間、ピーク画像Ip2上のピーク点P3とピーク点P4との間、ピーク画像Ip1上のピーク点P2とピーク画像Ip2上のピーク点P3,P4との間、ピーク画像Ip1上のピーク点P1とピーク画像Ip2上のピーク点P4との間は、いずれもマップ面方向において比較的大きい距離を隔てている。したがって、これらのピーク点は、互いに異なる細胞に由来するものと考えられる。
また、ピーク画像Ip1上のピーク点P1と、ピーク画像Ip3上のピーク点P5とは、マップ面方向において比較的近い位置にあるが、焦点深さ方向における距離は2ΔVであり、比較的大きく離れている。したがって、これらのピーク点P1,P5は、互いに異なる細胞に由来するものと考えられる。同様に、ピーク画像Ip2上のピーク点P4と、ピーク画像Ip3上のピーク点P6とは、マップ面方向、焦点深さ方向のそれぞれにおいて近い距離にあり、これらは同一細胞に由来すると考えられる。
このように、マップ面方向、焦点深さ方向の両方において近接関係にあるピーク点同士、すなわちピーク点P1とピーク点P3、ピーク点P4とピーク点P6をそれぞれ互いに同一細胞に由来するものとして関連付ける。一方、マップ面方向、焦点深さ方向の少なくとも一方において他のピーク点と近接関係にない他のピーク点P2,P5については、互いに異なる細胞に由来する孤立したピーク点と見なす。
そして、相互に近接するものとして関連付けられたピーク点を集約して1つのグループとして扱う一方、孤立したピーク点についてはそれぞれを1つのグループとして扱い、集約後のグループの数を計数する(この例では4)。これにより、1つの細胞が複数の画像に現れることによる重複を回避しつつ、細胞の数を求めることが可能となる。教師画像およびそれに対する教示が適切に行われて構築された機械学習モデルにおいては、その後は人の主観的判断を要することなく、自動的に細胞数を算出することが可能である。
図8は近接ピーク集約処理の第1の態様を示すフローチャートである。また図9はこの近接ピーク集約処理の一例を模式的に示す図である。ここで、図9(a)は5つのピーク画像Ip1~Ip5中のピーク点P(1)~P(10)の位置を示す図である。また、図9(b)はそれらのピーク点を1つのマップ平面に配置した図であり、ピーク画像Ip1~Ip5を重畳した画像に相当する。
最初に、内部パラメータkが1にセットされ(ステップS301)、探索点P(k)が設定される(ステップS302)。この時点ではピーク点P(1)が探索点として設定される。そして、図9(b)に示すマップ平面内で、探索点P(1)との距離が最も小さい近接ピーク点を探索する(ステップS303)。図9(b)に示す例では、マップ平面内で探索点P(1)に最も近いピーク点P5が近接ピーク点として検出される。
探索点P(k)と検出された近接ピーク点とのマップ平面内での距離が第1の閾値以下であり(ステップS304においてYES)、かつ焦点深さ方向における距離が第2の閾値以下であるとき(ステップS305においてYES)、当該近接ピーク点は、実空間において探索点P(k)の近傍で検出されたピーク点であり、互いに同一の細胞に由来すると考えるのが妥当である。そこで、この近接ピーク点を、探索点P(k)を含むクラスタkに属するものとして扱うことで、探索点P(k)と関連付ける。
マップ面方向の距離に対して適用される第1の閾値と、焦点深さ方向の距離に対して適用される第2の閾値とは、細胞のサイズに応じて適宜定めることのできる値である。具体的には、隣接する細胞の中心間の距離として想定される最小値に対応した値とすることができる。マップ面方向と焦点深さ方向とはマルチフォーカス撮像時の状況によって決まる便宜的なものであり、細胞が本質的にこれらの方向に対する異方性を有するものではないから、原理的には第1の閾値と第2の閾値とを異なる値とする必然性はない。
現実的には、マップ平面内での距離の分解能は例えば画素サイズ程度まで小さくできるから、第1の閾値については細胞サイズに応じて自由に設定することができる。一方で、焦点深さ方向の分解能は、対物レンズ131を含む撮像光学系の被写界深度と撮像時の焦点位置調整のピッチ設定とに依存する。また、実際の焦点位置は細胞や培地による屈折の影響を受ける。これらのことから、第2の閾値については必ずしも第1の閾値と同様に決められるとは限らない。撮像光学系の被写界深度が十分に小さいという条件であれば、例えば撮像時のピッチ設定と細胞サイズとの関係に基づき、次のようにして第2の閾値を定めることができる。
細胞塊を形成する細胞の各々に順次合焦させて撮像するというマルチフォーカス撮像の目的から、焦点位置の調整ピッチは細胞サイズと同等かこれよりも少し小さく設定されると考えられる。そうすると、1つの画像に鮮明に撮像された細胞が他の画像にも現れ得る範囲としては、焦点位置の設定が1段階だけ異なって隣り合った画像までを考えておけばよい。つまり、焦点位置の調整ピッチを第2の閾値とすればよい。同様に、例えば焦点位置の調整ピッチが細胞サイズの半分程度であれば、焦点深さが2段階異なる画像までを考慮すればよい。つまり、焦点位置の調整ピッチの2倍を第2の閾値とすればよい。
もちろん、第2の閾値を第1の閾値と同様に設定し、ステップS305では、焦点深さ方向におけるピーク間の距離を焦点位置の調整ピッチに基づいて都度算出し第2の閾値と比較しても技術的には等価である。しかしながら、上記のように、何段階までの焦点深さの違いを「近接」と判断するかを予め定めておく方が処理としても簡単であり、より現実的である。
図9(b)に示す例では、第2の閾値が焦点位置の調整ピッチに設定されているものとする。そうすると、探索点P(1)の最近接ピーク点として検出されたピークP(5)は、それらが検出されたピーク画像Ip1,Ip3の撮像時の焦点深さが2段階異なっていることから、焦点深さ方向の距離が第2の閾値を超えている。したがって、探索点P(1)と近接ピーク点P(5)との間では関連付けは行われない。
ステップS304においてNO、つまり検出された近接ピーク点が探索点P(k)に対し第1の閾値より大きい距離にあるときには、当該探索点P(k)と関連付けられる可能性のある他のピーク点は存在しない。そこで、内部パラメータkを1つ増加させてステップS302に戻り(ステップS312)、別のピーク点、例えばP(2)を新たな探索点として同様の処理を行う。当該ピーク点が既に他のピーク点と関連付けられている場合には、探索から除外されてもよい。全てのピーク点につき探索が終了している場合には、処理は終了される(ステップS311)。
ステップS305においてNO、つまり検出された近接ピーク点と探索点P(k)との距離がマップ平面内では第1の閾値以下であるが焦点深さ方向には第2の閾値を超えている場合には、マップ平面内で現在の近接ピーク点に次いで探索点P(k)に近い他のピーク点が探索される(ステップS303)。こうして検出されたピーク点についてもステップS304以降の処理を行う。
こうすることで、マップ平面内で探索点P(k)の近傍に複数のピーク点がある場合でも、それらの全てについて評価を行うことができる。図9(b)において点線は、各ピーク点を中心とし半径が第1の閾値である円を表している。各ピーク点P(k)の1つを探索点としたとき、当該ピーク点を中心とする円内にある他のピーク点が順次探索され、それらの焦点深さ方向の距離が評価されることで、ピーク集約が進められる。
図9(b)に示す例では、ピーク点P(5)に次いで探索点P(1)に近いピーク点はピーク点P(3)であり、探索点P(1)を含むピーク画像Ip1とピーク点P(3)を含むピーク画像Ip2とでは撮像時の焦点位置の設定が1段階異なる。したがって、探索点P(1)と他のピーク点P(3)との焦点深さ方向の距離は第2の閾値以下と判断され、両者は同一細胞に由来するものとして関連付けられる。計数時には、2つのピーク点が1つの細胞として計上される。
同様にして、各ピーク点間のマップ面方向および焦点深さ方向における距離を評価することにより、ピーク点P(4)とピーク点P(6)とが関連付けられ、ピーク点P(7)とピーク点P(9)とが関連付けられて、これらはそれぞれ1つの細胞として計上される。一方、他のピーク点と関連付けられていない孤立ピーク点P(2),P(5),P(8),P(10)はそれぞれ1つの細胞として計上される。したがって、図9(b)に示す例では、ピーク点の数は10であるが、同一細胞に由来すると考えられるものが集約されることで、細胞数の計数結果としては7が得られる。こうして1つの細胞が重複して計数されることが回避される。
なお、マルチフォーカス画像スタック内の各画像から検出されるピーク点の数は様々であり、例えば1つの画像にピーク点が全く含まれないこともあり得る。また、検出された複数のピーク点の間で、互いに関連付けられるものが全く存在しないという状況も起こり得る。上記方法はそのような場合にも対応可能であり、細胞数を精度よく計数することが可能である。
図10は近接ピーク集約処理の第2の態様を示すフローチャートである。また図11はこの近接ピーク集約処理の一例を模式的に示す図である。図8に示される第1の態様と比較すると、ステップS306の後にステップS307が設けられている点が相違している。これ以外の処理内容は同じであるため、同一処理内容の処理ステップには同一番号を付して説明を省略する。
この態様では、ステップS306においてピーク点同士の関連付けが行われたとき、探索点P(k)の中心が、関連付けられたピーク点が形成するクラスタの中心位置に変更設定される。図11に示す「×」印がクラスタ中心を表している。そして、以後のマップ平面内での近接ピーク点の探索は、クラスタ中心からの距離と第1の閾値との比較に基づいて行われる。図11の点線は、クラスタ中心を中心とし半径が第1の閾値である円を表している。
マルチフォーカス撮像により得られた各画像から上記の方法で特定されるピーク点は、当該画像における細胞の像の中心位置を指標するものであるが、検出位置が実空間における細胞の中心と一致するとは限らない。相互に関連付けられたピーク点により構成されるクラスタの中心位置を探索点とすることにより、実空間での細胞の中心により近い位置から探索を行うことが可能となる。同様に、焦点深さ方向においてもクラスタの中心位置を基準として距離の評価を行うようにしてもよい。
図8に示した第1の態様では、各ピーク点の位置をそれぞれ探索の際の中心とすることで、特に細胞が密集している場合等には隣り合うピーク点同士が連鎖的に関連付けられて大きなクラスタを形成することがあり得る。そうすると、細胞のサイズを大きく超えたサイズのクラスタが1つの細胞と見なされることが生じ得る。クラスタの中心位置を探索点とすることで、このような問題についても未然に回避することが可能である。
なお、現実問題としては、焦点位置の調整ピッチ、第1の閾値および第2の閾値がそれぞれ想定される細胞のサイズに即して適切に設定されていれば、上記のような問題は生じず、2つの処理態様の間で結果に大きな差は生じないと考えられる。
以上のように、本実施形態では、細胞塊をマルチフォーカス撮像して得られた複数の画像の各々を、予め学習された機械学習モデルを用いて、各画像における細胞の中心に近いほど重みが大きくなるようなヒートマップに変換する。そして、ヒートマップにおいて重みが極大となるピーク点を検出するとともに、ピーク点間の距離をマップ面方向および焦点深さ方向のそれぞれで評価し、同一細胞に由来する蓋然性の高いピーク点を互いに関連付けてそれらを集約する。距離の評価は、想定される細胞のサイズから定められる閾値との比較により行われる。そのため、同一細胞に由来する複数のピーク点を重複して計数することが回避され、ピーク数の計数により細胞塊を構成する細胞の数を精度よく計数することが可能となる。
機械学習モデルは、細胞の鮮明な像を含む教師画像と、その中で教示された輪郭の内部にヒートマップを配した正解画像とに基づく教師あり学習により構築される。このため、画像内での細胞の中心位置を精度よく特定することができる。そして、細胞の輪郭から特定される細胞中心間の距離に基づく評価を行うことで、例えば染色された細胞核を利用する従来技術のように細胞内部のテクスチャに影響されることなく、同一細胞に由来するピーク点と、異なる細胞に由来するピーク点とを区別することが可能である。
なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態の撮像装置1は、それ自体がマルチフォーカス画像スタックを取得する撮像機能と、画像を解析し細胞計数処理を実行する画像処理機能とを有するものである。しかしながら、本発明に係る細胞計数方法は、自身は撮像機能を持たず、撮像機能を有する他の装置での撮像により得られた画像スタックを取得したコンピューター装置によって実行することも可能である。これを可能とするために、上記した処理の各処理ステップをコンピューター装置に実行させるためのソフトウェアプログラムとして、本発明が実施されてもよい。
このようなプログラムの配布は、例えばインターネット等の電気通信回線を介してダウンロードする形式によって行うことが可能であり、また当該プログラムを記録したコンピューター読み取り可能な記録媒体を配布することによっても可能である。また、例えば既存の顕微鏡撮像装置にインターフェースを介してこのプログラムを読み込ませることで、当該装置により本発明を実施することも可能となる。
また、上記実施形態では、収集された教師データに基づく機械学習モデルの構築と、構築された機械学習モデルを利用した細胞計数処理とが同一の装置で実行されているが、これらは異なる装置で実行されてもよい。例えば、演算能力の高いコンピューター装置を用いて機械学習モデルの構築を行い、その結果を撮像装置に実装すれば、演算能力が制限された撮像装置であっても、撮像と細胞計数処理とを担うことが可能となる。
また、上記実施形態のピーク集約処理では、ピーク間の距離を、マップ面方向と焦点深さ方向とのそれぞれで個別に評価しているが、これに代えて、例えば探索点を中心とする所定半径の球内にあるか否かにより、ピーク間距離を三次元的に評価するようにしてもよい。例えばX-means法などのクラスタリング手法を適用してピークの集約を行うことができる。
また、上記実施形態は、本発明の処理対象物である細胞塊として発達初期段階の胚(受精卵)を用いたものであるが、本発明の対象となる細胞塊はこれに限定されない。特に、大きさの揃った複数の細胞からなる細胞塊についてそれを構成する細胞の数を自動的に計数する目的に、本発明を好適に適用可能である。
以上、具体的な実施形態を例示して説明してきたように、本発明に係る細胞計数方法においては、互いに異なるヒートマップから検出され、かつマップ平面に沿った方向において互いの距離が第1の閾値より小さい複数のピークのうち、当該ピークが検出されたヒートマップに対応する画像が撮像されたときの焦点深さの差が第2の閾値より小さいもの同士を関連付けることができる。ここで、第1の閾値と第2の閾値とは同値であってもよい。
また、教師画像は、計数の対象となる細胞塊と同種の細胞塊を撮像した画像であることが好ましい。こうすることにより、計数の対象となる細胞塊に含まれる細胞の特徴を学習結果に効果的に反映させて、画像からの細胞の抽出を精度よく行うことが可能になる。
この場合、教師画像は、少なくとも1つの細胞の周縁部に合焦した画像を含むことが好ましい。細胞の輪郭が鮮明な画像を教師画像として機械学習を行わせることで、画像スタック中で同様に輪郭が鮮明な画像に対し、細胞の中心位置を適切に示すヒートマップを生成することが可能となる。
さらに、教師画像は、細胞塊を互いに異なる焦点深さで明視野撮像した複数の画像から選択されてもよい。多数の細胞を含む細胞塊を種々の焦点深さで撮像した画像の各々には、当該画像が撮像されたときの焦点深さに対応する位置にある細胞が鮮明な像として含まれ得る。そのような細胞の像を含む画像を教師画像とすることで、細胞塊中における細胞の形状や色味等を学習結果に効果的に反映させることができる。
また、本発明に係る、細胞計数のための機械学習モデルの構築方法においては、例えば、取得された教師画像の各々につき、当該教師画像中の細胞の輪郭を教示する教示入力を受け付け、ヒートマップでは、教示された輪郭で囲まれた領域の内部に、その外部よりも大きく、かつ当該領域の中心部に近いほど大きくなる重みを与えることができる。まず細胞の輪郭を特定し、その内部に適切な重み分布を与えることで、細胞内部のテクスチャに影響を受けず細胞の中心位置を的確に示すことが可能な機械学習モデルを構築することができる。
機械学習モデルは、他の細胞との距離を評価することができる程度の精度で細胞の中心を推定する機能を有していればよい。このため、ヒートマップにおける重み付けは、細胞の内部で外部より大きく、かつ細胞の中心部に近いほど大きくなるような任意の分布が与えられればよい。代表的な方法としては、例えば細胞中心を中心とする二次元ガウス分布に沿ったものとすることができる。
この発明は、複数の細胞が集合した細胞塊における細胞の個数を自動的にかつ精度よく計数することを可能とするものであり、例えば生殖補助医療の分野において、培養された胚(受精卵)の状態を評価する作業を効果的に支援することができる。
1 撮像装置
10 試料容器
13 撮像部
14 制御部
C 細胞
E 胚(細胞塊)
Ih,Iu ヒートマップ
Is 教師画像
S 試料
ST 画像スタック
10 試料容器
13 撮像部
14 制御部
C 細胞
E 胚(細胞塊)
Ih,Iu ヒートマップ
Is 教師画像
S 試料
ST 画像スタック
Claims (12)
- 細胞塊を構成する細胞の個数を計数する細胞計数方法であって、
前記細胞塊を互いに異なる焦点深さで明視野撮像した、複数の画像を含む画像スタックを取得する工程と、
機械学習モデルを用いて、前記複数の画像それぞれに対応する複数のヒートマップを作成する工程と、
前記ヒートマップの各々からピークを検出する工程と、
検出された前記ピークのうち、互いに異なる前記ヒートマップに属し、かつマップ平面に沿った方向における距離および前記焦点深さ方向における距離のそれぞれが所定値より小さいピーク同士を相互に関連付ける工程と、
関連付けられた複数の前記ピークについては1つのピークと見なして前記ピークの数を計数する工程と
を備え、
前記機械学習モデルは、
細胞の明視野画像である教師画像と、
当該教師画像内で合焦した細胞の輪郭の内側でその外側よりも大きく、かつ細胞中心部に近いほど大きくなる重みを与えたヒートマップである正解画像と
のセットを教師データとする機械学習により構築されたものである、細胞計数方法。 - 互いに異なる前記ヒートマップから検出され、かつ前記マップ平面に沿った方向において互いの距離が第1の閾値より小さい複数の前記ピークのうち、当該ピークが検出された前記ヒートマップに対応する前記画像が撮像されたときの前記焦点深さの差が第2の閾値より小さいもの同士を関連付ける、請求項1に記載の細胞計数方法。
- 前記第1の閾値と前記第2の閾値とが同値である、請求項2に記載の細胞計数方法。
- 前記教師画像は、計数の対象となる前記細胞塊と同種の細胞塊を撮像した画像である、請求項1ないし3のいずれかに記載の細胞計数方法。
- 請求項1ないし4のいずれかに記載の細胞計数方法の各工程をコンピューターに実行させるための、プログラム。
- 細胞の明視野画像である教師画像を複数取得する工程と、
前記教師画像の各々について、当該教師画像内で合焦した細胞の輪郭の内側でその外側よりも大きく、かつ細胞中心に近いほど大きくなる重みを与えた擬似的なヒートマップである正解画像を作成する工程と、
前記教師画像と前記正解画像とのセットを教師データとして機械学習を実行し機械学習モデルを構築する工程と
を備える、細胞計数のための機械学習モデルの構築方法。 - 前記教師画像は、少なくとも1つの細胞の周縁部に合焦した画像を含む、請求項6に記載の細胞計数のための機械学習モデルの構築方法。
- 前記教師画像は、細胞塊を互いに異なる焦点深さで明視野撮像した複数の画像から選択される、請求項6または7に記載の細胞計数のための機械学習モデルの構築方法。
- 取得された前記教師画像の各々につき、当該教師画像中の細胞の輪郭を教示する教示入力を受け付け、
前記ヒートマップでは、教示された前記輪郭で囲まれた領域の内部に、その外部よりも大きく、かつ当該領域の中心部に近いほど大きくなる重みを与える、請求項6ないし8のいずれかに記載の細胞計数のための機械学習モデルの構築方法。 - 前記ヒートマップにおける重み付けは、前記細胞中心を中心とする二次元ガウス分布に沿ったものである、請求項6ないし9のいずれかに記載の細胞計数のための機械学習モデルの構築方法。
- 請求項6ないし10のいずれかに記載の細胞計数のための機械学習モデルの構築方法の各工程をコンピューターに実行させるための、プログラム。
- 請求項5または11に記載のプログラムを非一時的に記録した、コンピューター読み取り可能な記録媒体。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021048521A JP2022147328A (ja) | 2021-03-23 | 2021-03-23 | 細胞計数方法、細胞計数のための機械学習モデルの構築方法、プログラムおよび記録媒体 |
KR1020237029737A KR20230136760A (ko) | 2021-03-23 | 2022-03-10 | 세포 계수 방법, 세포 계수를 위한 기계 학습 모델의 구축 방법, 컴퓨터 프로그램 및 기록 매체 |
EP22775160.9A EP4317403A1 (en) | 2021-03-23 | 2022-03-10 | Cell counting method, construction method of machine learning model for cell counting, computer program, and storage medium |
CN202280021515.2A CN117099128A (zh) | 2021-03-23 | 2022-03-10 | 细胞计数方法、用于细胞计数的机器学习模型的构建方法、计算机程序及记录介质 |
PCT/JP2022/010644 WO2022202368A1 (ja) | 2021-03-23 | 2022-03-10 | 細胞計数方法、細胞計数のための機械学習モデルの構築方法、コンピュータープログラムおよび記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021048521A JP2022147328A (ja) | 2021-03-23 | 2021-03-23 | 細胞計数方法、細胞計数のための機械学習モデルの構築方法、プログラムおよび記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022147328A true JP2022147328A (ja) | 2022-10-06 |
Family
ID=83395610
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021048521A Pending JP2022147328A (ja) | 2021-03-23 | 2021-03-23 | 細胞計数方法、細胞計数のための機械学習モデルの構築方法、プログラムおよび記録媒体 |
Country Status (5)
Country | Link |
---|---|
EP (1) | EP4317403A1 (ja) |
JP (1) | JP2022147328A (ja) |
KR (1) | KR20230136760A (ja) |
CN (1) | CN117099128A (ja) |
WO (1) | WO2022202368A1 (ja) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4854832B2 (ja) | 2000-03-27 | 2012-01-18 | オリンパス株式会社 | 細胞の画像解析方法,装置、及び記録媒体 |
JP4623516B2 (ja) | 2003-12-09 | 2011-02-02 | 独立行政法人科学技術振興機構 | 画像からの対象物検出方法及び対象物検出装置 |
AU2016250791B2 (en) * | 2015-04-23 | 2021-10-21 | Bd Kiestra B.V. | Colony contrast gathering |
US11210554B2 (en) * | 2019-03-21 | 2021-12-28 | Illumina, Inc. | Artificial intelligence-based generation of sequencing metadata |
-
2021
- 2021-03-23 JP JP2021048521A patent/JP2022147328A/ja active Pending
-
2022
- 2022-03-10 KR KR1020237029737A patent/KR20230136760A/ko active Search and Examination
- 2022-03-10 CN CN202280021515.2A patent/CN117099128A/zh active Pending
- 2022-03-10 WO PCT/JP2022/010644 patent/WO2022202368A1/ja active Application Filing
- 2022-03-10 EP EP22775160.9A patent/EP4317403A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
KR20230136760A (ko) | 2023-09-26 |
WO2022202368A1 (ja) | 2022-09-29 |
CN117099128A (zh) | 2023-11-21 |
EP4317403A1 (en) | 2024-02-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7087048B2 (ja) | 細胞画像評価装置および細胞画像評価プログラム | |
EP3375859B1 (en) | Method for constructing classifier, and method for determining life or death of cells using same | |
JP5707399B2 (ja) | 微生物検出方法、微生物検出装置及びプログラム | |
JP2022180419A (ja) | 画像解析方法、装置、プログラムおよび学習済み深層学習アルゴリズムの製造方法 | |
JP5783043B2 (ja) | 細胞塊の状態判別手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法 | |
WO2011016189A1 (ja) | 細胞の分類手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法 | |
JP6461128B2 (ja) | 細胞評価装置および方法並びにプログラム | |
JP7176697B2 (ja) | 細胞評価システム及び方法、細胞評価プログラム | |
WO2010146802A1 (ja) | 細胞塊の状態判別手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法 | |
JP6015113B2 (ja) | 細胞評価装置、細胞評価方法およびプログラム | |
JP6102166B2 (ja) | 心筋細胞の運動検出方法、心筋細胞の培養方法、薬剤評価方法、画像処理プログラム及び画像処理装置 | |
JPWO2011013319A1 (ja) | 細胞塊の成熟判定手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法 | |
JP4391527B2 (ja) | 関心のある複数の対象物を関心のあるフィールド内で組織化するシステム | |
JP2015223175A (ja) | 細胞評価装置および方法並びにプログラム | |
JP7342950B2 (ja) | 細胞画像解析方法および細胞画像解析装置 | |
CN113822852A (zh) | 图像处理方法、程序以及记录介质 | |
JP6015112B2 (ja) | 細胞評価装置、細胞評価方法およびプログラム | |
JP2012039929A (ja) | 受精卵観察の画像処理方法、画像処理プログラム及び画像処理装置、並びに受精卵の製造方法 | |
WO2022202368A1 (ja) | 細胞計数方法、細胞計数のための機械学習モデルの構築方法、コンピュータープログラムおよび記録媒体 | |
Niederlein et al. | Image analysis in high content screening | |
WO2023278692A1 (en) | Plaque detection method and apparatus for imaging of cells | |
JP6376196B2 (ja) | 細胞評価装置、細胞評価方法およびプログラム | |
JP7382289B2 (ja) | 画像処理方法、プログラムおよび記録媒体 | |
WO2022225890A1 (en) | Plaque detection method and apparatus for imaging of cells | |
WO2023008180A1 (ja) | 画像処理方法、コンピュータープログラムおよび記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231218 |