JP2019054742A - 生細胞検出方法、プログラムおよび記録媒体 - Google Patents

生細胞検出方法、プログラムおよび記録媒体 Download PDF

Info

Publication number
JP2019054742A
JP2019054742A JP2017180014A JP2017180014A JP2019054742A JP 2019054742 A JP2019054742 A JP 2019054742A JP 2017180014 A JP2017180014 A JP 2017180014A JP 2017180014 A JP2017180014 A JP 2017180014A JP 2019054742 A JP2019054742 A JP 2019054742A
Authority
JP
Japan
Prior art keywords
image
pixel
cell
original image
living
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017180014A
Other languages
English (en)
Other versions
JP6931579B2 (ja
Inventor
健 猿渡
Ken Saruwatari
健 猿渡
疋田 雄一郎
Yuichiro Hikita
雄一郎 疋田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Screen Holdings Co Ltd
Original Assignee
Screen Holdings Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Screen Holdings Co Ltd filed Critical Screen Holdings Co Ltd
Priority to JP2017180014A priority Critical patent/JP6931579B2/ja
Publication of JP2019054742A publication Critical patent/JP2019054742A/ja
Application granted granted Critical
Publication of JP6931579B2 publication Critical patent/JP6931579B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)

Abstract

【課題】検出対象物としての細胞や細胞塊等を含む画像から、生きているものを従来よりも高い精度で検出する。【解決手段】本発明に係る生細胞検出方法は、検出対象物としての細胞または細胞塊の可視光像を含む原画像を取得する工程(ステップS101)と、原画像を構成する各画素に対し、所定の近傍範囲内の近傍画素の輝度値に基づく最小値フィルタ処理を実行する工程(ステップS103)と、最小値フィルタ処理と同サイズの近傍範囲内の近傍画素の輝度値に基づく最大値フィルタ処理を実行する工程(ステップS104)と、原画像と最大値フィルタ処理後の画像との差分を求める工程(ステップS105)と、差分において所定の閾値以上の輝度値を有する画素が占める領域を、生細胞に対応する領域として特定する工程(ステップS106、S107)とを備える。【選択図】図2

Description

この発明は、画像に含まれる細胞や細胞塊等のうち生きているものを特定するための技術に関するものである。
創薬スクリーニングや生化学実験等の分野においては、培養容器内で培養された細胞や複数の細胞からなる細胞塊(以下、これらを「細胞等」と総称する)を撮像し、得られた画像に適宜の画像処理を施して細胞等の状態を評価することが行われる。特に、無染色の細胞等を可視光照明下で撮像した可視光像は、生きている細胞等にダメージを与えることなく撮像可能であることから、このような画像から種々の情報を取得することが望まれる。その一方、特定の属性を有する細胞等においてのみ発現するような試薬(例えば染色や蛍光ラベリング)を用いて撮像された画像に比べて、画像の評価基準が十分に確立されているとは言い難い。このため、画像評価のための種々の技術が提案されている。
例えば特許文献1に記載の技術では、無染色の細胞を撮像した可視光像において、生細胞が死細胞よりも輝度が高くなるとの知見に基づき、適宜に設定した閾値より高い輝度を有する領域が生細胞に対応する領域、より低い輝度を有する領域が死細胞または背景領域と判定される。このような細胞等の生死を判定する処理は、例えば細胞に対する化学物質の薬効を評価するための有効な手段である。
特開2016−116461号公報
特許文献1に記載のように、一般的には画像において生細胞が死細胞よりも高い輝度を示す傾向がある。しかしながら、そのような輝度の違いは相対的なものであり、例えば個々の細胞体の色味のばらつきや照明条件の違い等により、画像内における輝度は大きくばらつく。このため、単なる閾値との比較といった絶対的な輝度値のみに基づく判定では生きている細胞等を正確に検出することができない場合がある。
この発明は上記課題に鑑みなされたものであり、検出対象物としての細胞や細胞塊等を含む画像から、生きているものを従来よりも高い精度で検出することのできる技術を提供することを目的とする。
この発明に係る生細胞検出方法の一の態様は、上記目的を達成するため、検出対象物としての細胞または細胞塊の可視光像を含む原画像を取得する工程と、前記原画像を構成する各画素に対し、当該画素および当該画素を中心とする所定の近傍範囲内の近傍画素の輝度値に基づく最小値フィルタ処理を実行する工程と、前記最小値フィルタ処理後の画像を構成する各画素に対し、当該画素および当該画素を中心とする前記最小値フィルタ処理における近傍範囲と同サイズの近傍範囲内の近傍画素の輝度値に基づく最大値フィルタ処理を実行する工程と、前記原画像と前記最大値フィルタ処理後の画像との差分を求める工程と、前記差分において所定の閾値以上の輝度値を有する画素が占める領域を、生細胞に対応する領域として特定する工程とを備えている。
詳しくは後述するが、この発明は以下の知見に基づいている。すなわち、画像内において、細胞または複数の細胞からなる細胞塊(以下、「細胞等」と総称する)はその周縁部分が背景に対し比較的低い輝度を示す。一方、細胞等の中央部については、生きている細胞等が周縁部に対し比較的高い輝度を示すのに対し、死んだ細胞等では周縁部と同様に輝度が低い。
本発明では、細胞等を含む原画像に対し最小値フィルタ処理を行う。最小値フィルタ処理では、画像を構成する各画素の輝度値が、当該画素およびその周囲の近傍画素の輝度値の最小値により置き換えられる。これにより、生きている細胞等の像では、比較的輝度の高い中央部の画素の輝度値がより輝度の低い周縁部の画素の輝度値に置き換えられ、輪郭の内部全体が暗く塗りつぶされることとなる。一方、死んだ細胞等の像では、もともと中央部の輝度が低いため、処理による変化は小さい。また、比較的輝度変化の小さい背景部分でも、処理による変化は小さい。
最小値フィルタ処理を実行することにより、細胞等の周縁部ではその輪郭が膨張するという現象が不可避的に生じる。最小値フィルタ処理に適用された近傍範囲と同サイズの近傍範囲での最大値フィルタ処理を実行することで、膨張した輪郭を原形に近づけることができる。生きている細胞等の像において既に暗く塗りつぶされた中央部は、最大値フィルタ処理によっても元の高い輝度値に戻ることはない。したがって、このときの画像における生きている細胞等の像は、元の輪郭形状を概ね維持しつつ中央部が暗く塗りつぶされたものとなる。一方、死んだ細胞等では、もともと輝度の変化が小さいため処理による変化は少ない。
こうして得られた画像を原画像から差し引き差分を求めると、輝度が大きく変化した領域、つまり生きている細胞等の中央部に相当する領域が高い輝度値を示す一方、輝度変化の小さい死んだ細胞等の領域や背景部分は十分に低い輝度を示すことになる。このように、差分画像では、生きている細胞等とそれ以外の部分とが大きな輝度の違いとなって現れる。そのため、差分画像においてある程度以上の輝度値を有する領域が、原画像において生きている細胞等が存在した位置を示していると言える。このことから、差分画像において所定の閾値以上の輝度値を有する画素が占める領域を、生きている細胞等に対応する領域とみなすことができる。
上記のように、本発明によれば、周縁部に対し中央部の輝度が高くなるという生細胞の特徴を利用して、そのような領域を生細胞に対応する領域として特定する。このため、細胞や細胞塊等の細胞体を含む画像から生きているものを従来よりも高い精度で検出することが可能である。
原画像の例を示す模式図である。 本発明に係る生細胞検出方法の一実施形態の処理内容を示すフローチャートである。 処理中において生成される画像データが表す画像の例を示す図である。 本実施形態の処理の効果を例示する図である。 フィルタ処理におけるウィンドウサイズを例示する図である。 画像処理の他の例を示す図である。 画像加工の他の例を示す図である。
以下、本発明に係る生細胞検出方法の原理および具体的な処理内容について説明する。以下において「細胞塊」の語は、複数の細胞が集合してまとまった構造を形成するオルガノイド(細胞組織体)やスフェロイドなどの総称として用いられる。また、細胞塊と単独で存在する細胞とを含む総称として、「細胞等」の語が用いられる。また、「生きている」細胞塊とは、当該細胞塊の主要部が活性を有する細胞により構成されていることを意味する。一方、「死んだ」細胞塊とは、当該細胞塊を構成する細胞の全てまたは大部分が死滅したまたは活性を失った状態を意味する。また、「生細胞」は、単独の生きている細胞および複数の生きている細胞により構成された細胞塊の総称として用いられる。
本発明に係る生細胞検出方法は、細胞等を撮像した画像を原画像とし、当該原画像に含まれる細胞等を検出対象物として、原画像中の細胞等のうち生きているものを検出するものである。検出対象物としては、例えばウェルプレートやディッシュなどの培養容器に注入された培地中で培養された細胞や細胞塊を用いることができる。また、原画像としては、このような検出対象物を含む培養容器内を例えば可視光照明下で明視野顕微鏡撮像した画像を用いることができる。
図1は原画像の例を示す模式図である。原画像Isは、例えば培地中で培養された無染色の細胞等を含む培養容器内を明視野撮像した画像である。原画像Isでは、培地に対応する略一様な輝度を有する背景BGの中に、少なくとも1つの細胞等の像が含まれている。図1に示す原画像Isでは、複数の細胞が集合してなるオルガノイド(細胞組織体)の像が複数含まれる。従来から知られているように、生きているオルガノイドの像は比較的明るく、死んだオルガノイドは暗い像として画像内に現れる。なお、ここでは「細胞等」の一例としてオルガノイドを対象とする場合について説明するが、処理の適用対象はオルガノイドに限定されず、細胞等全般である。
ところで、画像中のオルガノイドをより詳細に観察すると、図1に符号C1〜C4を付して示すように、生きているオルガノイドではその中央部において輝度が高く、周縁部では中央部に比べると輝度が低くなっている。一方、死んだオルガノイドは、符号C5〜C10を付して示すように像全体において一様に輝度が低く暗い像となる。また、生きているオルガノイドC1〜C4の間、および死んだオルガノイドC5〜C10の間でも、それぞれのオルガノイドの輝度は個体ごとに異なる。このような輝度値のばらつきは、例えば照明条件や背景の明るさ等の撮像環境の違いによっても生じる。このため、画像中に現れるオルガノイドを単にその全体の輝度値のみで生死判定する方法では、必ずしも高精度な判定を行うことができない。
その一方、上記したように、生きているオルガノイドは、周縁部の輝度が低く中央部では周縁部よりも輝度が高いという性質を有している。この性質を利用すれば、個体および撮像環境によるばらつきに影響されることなく、生きているオルガノイドを精度よく検出することが原理的に可能である。本発明に係る生細胞検出方法は、この知見に基づくものである。
図2は本発明に係る生細胞検出方法の一実施形態の処理内容を示すフローチャートである。また、図3は処理中において生成される画像データが表す画像の例を示す図である。この処理は、例えばパーソナルコンピュータとして一般的なハードウェア構成を有するコンピュータ装置に、以下に説明する処理手順を記述したプログラムを実行させることによって実現可能である。なお、説明のため、図3は処理の途中で中間的に生成される画像データを可視化したものに対応する画像も含んでいるが、実際の処理においてはこのような中間データに対応する画像が作成されることは必須ではない。
最初に、処理対象となる原画像に対応する画像データ(原画像データ)が取得される(ステップS101)。ここでは、図3に示すように、中央部が周縁部よりも明るい生きているオルガノイドCa,Cbと、中央部と周縁部とがほぼ同程度の輝度である死んだオルガノイドCc,Cdとを含む画像I0を原画像とする。原画像は、撮像装置を作動させて培養容器内の細胞等を撮像することにより取得可能である。この場合、撮像装置が備えるプロセッサにより本処理が実行されてもよい。その他、例えば予め行われた撮像により作成された画像データを記録した記録媒体から読み取る、あるいは他のコンピュータ装置から通信回線を介して画像データを受信する等によっても画像データを取得することが可能である。
取得された原画像I0を構成する各画素に対し、最小値フィルタ処理(ステップS103)および最大値フィルタ処理(ステップS104)が順次実行されるが、それに先立って、フィルタ処理に適用されるウィンドウのサイズが設定される(ステップS102)。最小値フィルタ処理および最大値フィルタ処理におけるウィンドウサイズは、処理対象となる中心画素に対する近傍範囲を決めるものであり、そのサイズ設定によりフィルタ処理の効果が異なる。このため、画像の内容に応じて、具体的には原画像I0に含まれる細胞等のサイズに応じて適切なウィンドウサイズが設定される必要がある。好ましいウィンドウサイズについては後述する。
細胞等のサイズが予めわかっていれば、ウィンドウサイズについても予め固定的に定めておくことが可能である。観察対象である細胞等(例えばオルガノイド)の種類が決まっていればそのサイズのばらつきの程度も事前に予測可能である。また、原画像I0の撮像時に、画像中の細胞等を観察に適したサイズとなるように倍率を設定すれば、細胞等の種類によらず画像中におけるサイズと概ね同じとすることが可能である。したがって、このようにウィンドウサイズを予め定めておく態様は十分に実用になる。
一方、より良好な処理結果を得るためにウィンドウサイズを可変とする態様も考えられる。この場合、例えばユーザからの指示入力によって与えられた情報に基づきウィンドウサイズが設定されてもよく、また適宜の画像解析処理により画像中の細胞等に対応するオブジェクトのサイズからウィンドウサイズが決定されてもよい。
こうして設定されたウィンドウサイズに基づき、原画像I0に対し最小値フィルタ処理が実行される(ステップS103)。最小値フィルタ処理は、中心画素、つまりウィンドウの中心に位置する処理対象画素の値(輝度値)を、ウィンドウ内の各画素の輝度値の最小値に置き換える処理である。この処理により、輝度値の高い明るい画素の値はその近傍にあるより暗い画素の輝度値に置き換えられる。
ウィンドウサイズが適切に設定されているとき、処理後の画像データを画像として可視化すると、図3に示す画像I1のように、オルガノイドCa,Cbにおける中央部の明るい部分が周縁部の暗い画素の輝度値に置き換えられる。すなわち、オルガノイドの中央部が周縁部の輝度値によって暗く塗りつぶされる。一方、中央部と周縁部との輝度の差が小さいオルガノイドCc,Cdでは、処理後の輝度値の変化は小さい。また、各オルガノイドの周囲において、背景部分の画素の輝度値がオルガノイド周縁部の暗い画素の輝度値で置き換えられることにより、画像に占めるオルガノイドの大きさが本来より大きくなる。すなわち画像中でオルガノイドが膨張する。
次に、最小値フィルタ処理後の画像データに対し最大値フィルタ処理が実行される(ステップS104)。このときのウィンドウサイズは、最小値フィルタ処理におけるサイズと同じとされる。これにより、図3に示す画像I2のように、各オルガノイドの周縁部の画素の輝度値がその近傍の背景部分の画素の輝度値に置き換えられる。これにより、最小値フィルタ処理で膨張したオルガノイドがほぼ元の形状およびサイズに戻る。一方、オルガノイドの中央部の各画素では輝度値の変化は小さい。
つまり、最小値フィルタ処理および最大値フィルタ処理をこの順で実行することによって、画像中のオルガノイドの形状およびサイズを概ね維持したまま、周縁部より中央部が明るい生きているオルガノイドCa,Cbの内部が、周縁部の画素の輝度値によって塗りつぶされることになる。中央部と周縁部との輝度の差が小さい死んだオルガノイドCc,Cdではこのような顕著な変化は生じない。
続いて、原画像データと最大値フィルタ処理後の画像データとの差分が算出される(ステップS105)。具体的には、原画像I0を構成する各画素の輝度値から、画像I2において対応する位置の画素の輝度値をそれぞれ差し引く。こうして求められる画像データに対応する差分画像I3では、上記処理によって輝度値が低下したオルガノイドCa,Cbの中央部が高輝度となる一方、輝度値の変化の小さいオルガノイドCa,Cbの周縁部、オルガノイドCc,Cdの全体および背景部分は低輝度となる。つまり、ここまでの処理によって、生きているオルガノイドCa,Cbの中央部分のみが画像において抽出されることになる。
言い換えれば、このときの画像I3において所定値以上の輝度値を有する画素が存在する領域が、原画像I0において生きているオルガノイドが存在している領域である。適宜の閾値を用いて二値化処理を行うことで(ステップS106)、このような領域を抽出することができる。ここまでの処理により、原画像I0に含まれるオルガノイドの中から生きているものを特定することができる。閾値については予め実験的に定められてもよく、また差分画像の各画素の輝度値に基づく適宜の閾値決定方法により動的に定められてもよい。閾値決定方法としては、例えば大津の方法、最大エントロピー法(Max Entropy Thresholding)等の公知技術を適用可能である。
例えば原画像I0中において生きているオルガノイドの位置またはその個数を求めるという目的であれば、ここまでの処理の結果で目的は達成される。例えば個々のオルガノイドの面積を求める、あるいは生きているオルガノイドと死んだオルガノイドとを比較観察する等の目的を達成するために、さらなる処理が実行される。
差分算出および二値化の過程で生きているオルガノイドCa,Cbの中央部分が抽出されることで、二値化画像におけるオルガノイドCa,Cbのサイズは本来より小さくなっている。これを復元するために、二値化画像に対し膨張処理が実行される(ステップS107)。例えば二値化画像において高輝度の領域を予め定められた画素数だけ外側へ膨張させることで、この目的は達成される。これにより、例えば生きているオルガノイドの面積を求めることが可能になる。
こうして作成された画像データにより表される二値化画像I5は、生きているオルガノイドCa,Cbが占める領域とそれ以外の領域とを明確に分離したものとなっている。この画像I5を原画像I0に対するマスク画像として用いることで、原画像I0に対し、生きているオルガノイドの位置情報に基づく種々の加工を行うことが可能となる。目的に応じて原画像に各種の加工を施した画像が作成され(ステップS108)、結果画像が出力画像として出力される(ステップS109)。出力の態様としては、例えば画面への表示、記録媒体への記録および通信回線を介した外部装置への送信などが可能である。
画像加工結果の一例として図3に示す出力画像Ifは、原画像I0にマスク画像I5を作用させることで抽出される領域の輪郭を太く濃い輪郭線で示したものである。このような画像加工を行うことで、画像に含まれるオルガノイドCa,Cb,Cc,Cdのうち生きているものと死んだものとを明確に区別してユーザに提示することができる。なお、画像加工の態様はこれに限定されるものでなく任意である。
図4は本実施形態の処理の効果を例示する図である。図4(a)左に示すように、原画像I0において破線上の各位置について求めた輝度値プロファイルの例が同図右に示される。全体が明るいオルガノイドCaでは、点線で示される背景の輝度に対し、オルガノイドの周縁部で輝度が低くなる一方、中央部では輝度が背景よりも十分に高くなっている。これに対し、全体的に暗いオルガノイドCbでは、中央部の輝度は周縁部よりは高いものの、背景の輝度との差は小さい。
このように、生きているオルガノイドの像は周縁部に対し相対的に中央部が明るいという性質を有しているが、中央部における絶対的な輝度値については、画像の他の部分、例えば死んだオルガノイドや背景に対し明確に異なる特徴があるわけではない。その原因としては、オルガノイドの厚さや色味の個体ばらつき、培地の種類や量による背景の輝度の変動、撮像時の照明条件のばらつき等が考えられる。
したがって、原画像の画素の輝度値に対し直接に閾値を設定して生きているオルガノイドを検出しようとしても、このように比較的暗いオルガノイドを見落とすといった誤検出のおそれがある。これに対し、図4(b)に示すように、本実施形態の処理過程で得られる差分画像I3では、周囲の画素に対して相対的に高輝度である領域、つまり生きているオルガノイドCa,Cbの中央部が強調される一方、それ以外の領域の画素は十分に低い輝度値となる。このため、同図右に点線で示される背景部分の輝度値に対し十分な分離度を有する閾値Lthを設定することで、誤検出の確率を低くして、生きているオルガノイドを確実に検出することが可能となる。
図5はフィルタ処理におけるウィンドウサイズを例示する図である。図5(a)に示すように、中心画素Pcの近傍に設定されるウィンドウWのサイズSwについては、処理対象であるオルガノイド(より一般的には細胞等)CのサイズScと同程度、例えばサイズScの0.5倍ないし1倍程度に設定されることが望ましい。画像において細胞等Cが略円形の像であるとき、該円の直径をもってサイズScとみなすことができる。このような設定とすることで、生きている細胞等において周縁部に対し相対的に明るい中心部の画素を、最小値フィルタ処理によって確実に塗りつぶすことができる。その結果、処理後の画像と原画像との差分を求める際に、生きている細胞等の上記特徴を確実に抽出することが可能となる。
細胞等CのサイズScに対しウィンドウWのサイズSwが小さすぎると、この塗りつぶしの効果が細胞等Cの中央にまで及ばず、差分を求める際の輝度値の差が小さくなって良好な検出を行うことが困難になる。また、ウィンドウサイズSwが大きすぎると、画像中の細胞等Cの形状が処理によって大きく崩れ、細胞等の周縁部と背景との境界が不明確になってしまうという問題がある。図5(a)の例では画素Pcを中心とする5×5画素分の近傍範囲がウィンドウWとして設定される。このように、原画像に含まれる情報の消失を抑え適度なフィルタ処理効果を得るためには、ウィンドウサイズSwは数画素分程度であることが好ましい。
なお、図5(b)に示すように、細胞等CのサイズScが画素サイズSpに対し十分に大きいとき、そのように大きな細胞等に合わせたウィンドウサイズを設定することは、画像情報の保存という観点から望ましくない。そのような場合には、同図に示すように、ウィンドウサイズSwを数画素分に設定したフィルタ処理を複数回繰り返して実行することで、画像情報の消失を抑えつつ、上記した塗りつぶしを行うことが可能である。この場合においても、最大値フィルタ処理におけるウィンドウサイズおよびフィルタ処理の実行回数については最小値フィルタ処理と同じにすることが望ましい。
図6は画像処理の他の例を示す図である。上記した処理では、二値化処理の際に本来より小さくなる領域のサイズを復元するために、所定画素数分の膨張処理を行っている。これに代えて、例えば次のようにすることもできる。図6に示すように、原画像I0に対し各種の処理を行い二値化画像I4を求めるところまでは上記と同じである。一方、原画像I0ではオルガノイドCa等の周縁部が背景より暗いことから、例えばエッジ検出のような公知の輪郭抽出処理を施すことで、オルガノイドCa等の輪郭部分のみを抽出することが可能である。
このような輪郭画像I6から、原画像I0中のオルガノイドCa等の輪郭位置に関する情報を得ることができる。この情報と、二値化画像I4から得られる、生きているオルガノイドの領域を示す情報(図6では「生領域情報」と記述)とを組み合わせることで、生きているオルガノイドの位置と輪郭とを示しマスク画像として利用可能な画像I5aを作成することができる。また、輪郭位置情報により特定されるオルガノイドそれぞれの生死を個別に判定することが可能である。このように、差分画像I3以降の画像の扱いについては、上記したものに限定されず目的に応じ種々の加工処理が可能である。
図7は画像加工の他の例を示す図である。上記の処理例では、最終的な出力画像Ifとして、原画像I0に含まれるオルガノイドのうち生きているものを太い輪郭で囲んだ画像が作成される。検出結果を提示するための画像の加工についてはこれに限定されず、次に説明するように種々の処理を適用可能である。図7(a)に示す例では、原画像I0から生きているオルガノイドCa,Cbが示す領域のみが切り出された画像が出力画像Ifaとされる。一方、図7(b)に示す例では、原画像I0から検出されるオルガノイドのうち、生きているオルガノイドCa,Cbを除外したもの、つまり死んだオルガノイドCc,Cdが占める領域のみが切り出された画像が出力画像Ifbとされる。
その他、オルガノイドの生死に応じて色分けを行う、生きているオルガノイドと死んだオルガノイドとを区別するためのマーキングを付す、背景輝度に応じた輝度の補正等、種々の画像加工が可能である。このように、原画像I0中で生きているオルガノイドの領域を特定することができれば、その情報を用いて種々の画像加工を施してユーザに提示することが可能となる。
以上のように、この実施形態では、画像中の生きている細胞等では周縁部が暗く中央部が明るいのに対し、死んだ細胞等は周縁部、中央部とも暗いという特徴的差異を利用して、生きている細胞等を検出する。具体的には、原画像に対し最小値フィルタ処理を行うことで、生きているオルガノイドの像における中央部の明るい領域を、周縁部の暗い領域の輝度値で塗りつぶす。そして、最大値フィルタ処理を実行することで、最小値フィルタ処理により膨張したオルガノイドのサイズを元に戻す。
こうして得られた画像を原画像から差し引くことで、塗りつぶされた生きているオルガノイドの中央部を差分として抽出することができる。すなわち、差分画像において所定値以上の輝度値を有する画素からなる領域を、生きているオルガノイドの領域として他の部分とは区別することができる。このようにして画像から生きているオルガノイドが検出される。種々の理由により、生きているオルガノイドの間でもその絶対的な明るさにはばらつきが生じる。本実施形態では、周縁部が暗く相対的に中央部が明るい領域を抽出することができるので、このようなばらつきに起因する誤検出の発生を抑えて精度よく検出を行うことができる。
なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態では「細胞等」の例としてオルガノイドを挙げているが、上記方法は、単独で存在する細胞やスフェロイドなど各種の検出対象物に適用可能である。
また、上記実施形態は可視光照明下で明視野撮像された原画像に対して本発明の生細胞検出方法を適用したものであるが、原画像を取得する方法はこれに限定されない。すなわち、撮像により得られる画像が「生きている細胞等は明るく、死んだ細胞等は暗く現れる」という特徴を示すものであれば、上記以外の撮像方法により得られた画像も本発明の適用対象となり得る。特に本発明は無染色、非侵襲で細胞等の評価を行うことができるものであるから、細胞等の撮像においても同様に無染色、非侵襲で実行可能な撮像方法が採られることが望ましい。
また、上記実施形態では、原画像中のどこに生きているオルガノイドが含まれているかを検出する目的で本発明が利用されているが、これ以外にも、例えば画像中で指定される特定の細胞等の生死判定にも本発明を利用することが可能である。すなわち、上記処理を実行することにより、指定された位置にある細胞等が生きているか否かを判定することが可能である。この場合、二値化処理以降の処理については必ずしも必要ではない。
また、上記実施形態では、本発明に係る生細胞検出方法が一般的なハードウェア構成を有するコンピュータ装置によって実行されるが、専用のハードウェア装置により本発明が実現されてもよい。また、本発明の方法が汎用のコンピュータ装置でも実施可能であることから、このようなコンピュータ装置に実行させることで上記処理を行わせるプログラムとして、あるいは該プログラムを記録したコンピュータ読み取り可能な記録媒体の態様で本発明が実用に供されてもよい。
以上、具体的な実施形態を例示して説明してきたように、本発明においては、例えば差分において閾値以上の輝度値を有する画素が占める領域を抽出し、当該領域に所定サイズの膨張処理を施して得られる領域を、生細胞が占める領域とすることができる。本発明の検出方法は生きている細胞等において顕著な中央部の明るい部分を抽出するものであるから、検出される領域は実際の細胞等よりも小さくなる傾向がある。膨張処理を実行することで、このように縮小された細胞等のサイズを回復させて本来のサイズに近い領域を検出することが可能である。
また例えば、近傍範囲のサイズは、原画像における検出対象物のサイズに応じて設定されてよい。本発明において最小値フィルタ処理は、周縁部に対して相対的に明るい生きている細胞等の中央部を周縁部の輝度値で暗く塗りつぶす目的で適用される。このため、当該フィルタ処理におけるウィンドウサイズ、つまり近傍範囲のサイズを検出対象物である細胞等のサイズに応じたものとすることで、最も良好な結果が得られる。
より具体的には、例えば近傍範囲の1辺のサイズが、原画像における検出対象物の直径に相当する値に設定されてよい。このような構成によれば、生きている細胞等の中心部まで確実に塗りつぶすことが可能である。
また例えば、近傍範囲のサイズに関するユーザからの設定入力を受け付ける工程がさらに設けられてよい。このような構成によれば、フィルタ処理におけるウィンドウサイズに関してユーザによる調整が可能となり、ユーザの目的に対応する処理を実現することができる。
また例えば、最小値フィルタ処理は複数回実行され、最大値フィルタ処理は最小値フィルタ処理と同じ回数実行される構成であってよい。特に画素サイズに対して検出対象物のサイズが大きい場合、検出対象物に応じて広い近傍範囲が設定されると原画像が有する情報の多くが失われ、細胞等の形状も不明瞭となることがある。比較的狭い近傍範囲でのフィルタ処理を多重に実行することで、このような問題を解消することができる。
また例えば、原画像は無染色の検出対象物を明視野撮像した画像であってよい。このような画像では、生きている細胞等において周縁部が暗く中央部が明るいという特徴が顕著に現れるので、本発明に係る生細胞検出方法を適用することで、生きている細胞等を精度よく検出することが可能となる。
この発明は、細胞、細胞塊等を撮像した画像から生きている細胞等を検出するものであり、例えば創薬スクリーニングなど、医学や生化学の分野に特に好適に適用可能なものである。
C1〜C4、Ca、Cb 生きているオルガノイド
C5〜C10、Cc、Cd 死んだオルガノイド
I0、Is 原画像
I1 最小値フィルタ処理後の画像
I2 最大値フィルタ処理後の画像
I3 差分画像
I4 二値化画像
I5、I5a マスク画像
If、Ifa、Ifb 出力画像
Sw ウィンドウサイズ

Claims (9)

  1. 検出対象物としての細胞または細胞塊の可視光像を含む原画像を取得する工程と、
    前記原画像を構成する各画素に対し、当該画素および当該画素を中心とする所定の近傍範囲内の近傍画素の輝度値に基づく最小値フィルタ処理を実行する工程と、
    前記最小値フィルタ処理後の画像を構成する各画素に対し、当該画素および当該画素を中心とする前記最小値フィルタ処理における近傍範囲と同サイズの近傍範囲内の近傍画素の輝度値に基づく最大値フィルタ処理を実行する工程と、
    前記原画像と前記最大値フィルタ処理後の画像との差分を求める工程と、
    前記差分において所定の閾値以上の輝度値を有する画素が占める領域を、生細胞に対応する領域として特定する工程と
    を備える生細胞検出方法。
  2. 前記差分において前記閾値以上の輝度値を有する画素が占める領域を抽出し、当該領域に所定サイズの膨張処理を施して得られる領域を、前記生細胞が占める領域とする請求項1に記載の生細胞検出方法。
  3. 前記近傍範囲のサイズが、前記原画像における前記検出対象物のサイズに応じて設定される請求項1または2に記載の生細胞検出方法。
  4. 前記近傍範囲の1辺のサイズが、前記原画像における前記検出対象物の直径に相当する値に設定される請求項3に記載の生細胞検出方法。
  5. 前記近傍範囲のサイズに関するユーザからの設定入力を受け付ける工程を備える請求項1ないし4のいずれかに記載の生細胞検出方法。
  6. 前記最小値フィルタ処理は複数回実行され、前記最大値フィルタ処理は前記最小値フィルタ処理と同じ回数実行される請求項1ないし5のいずれかに記載の生細胞検出方法。
  7. 前記原画像は無染色の前記検出対象物を明視野撮像した画像である請求項1ないし6のいずれかに記載の生細胞検出方法。
  8. 検出対象物としての細胞または細胞塊の可視光像を含む原画像を構成する各画素に対し、当該画素および当該画素を中心とする所定の近傍範囲内の近傍画素の輝度値に基づく最小値フィルタ処理を実行する工程と、
    前記最小値フィルタ処理後の画像を構成する各画素に対し、当該画素および当該画素を中心とする前記最小値フィルタ処理における近傍範囲と同サイズの近傍範囲内の近傍画素の輝度値に基づく最大値フィルタ処理を実行する工程と、
    前記原画像と前記最大値フィルタ処理後の画像との差分を求める工程と、
    前記差分において所定の閾値以上の輝度値を有する画素が占める領域を、生細胞に対応する領域として特定する工程と
    を、コンピュータに実行させるプログラム。
  9. 請求項8に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2017180014A 2017-09-20 2017-09-20 生細胞検出方法、プログラムおよび記録媒体 Active JP6931579B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017180014A JP6931579B2 (ja) 2017-09-20 2017-09-20 生細胞検出方法、プログラムおよび記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017180014A JP6931579B2 (ja) 2017-09-20 2017-09-20 生細胞検出方法、プログラムおよび記録媒体

Publications (2)

Publication Number Publication Date
JP2019054742A true JP2019054742A (ja) 2019-04-11
JP6931579B2 JP6931579B2 (ja) 2021-09-08

Family

ID=66105839

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017180014A Active JP6931579B2 (ja) 2017-09-20 2017-09-20 生細胞検出方法、プログラムおよび記録媒体

Country Status (1)

Country Link
JP (1) JP6931579B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111539947A (zh) * 2020-04-30 2020-08-14 上海商汤智能科技有限公司 图像检测方法及相关模型的训练方法和相关装置、设备
US20210398276A1 (en) * 2020-06-19 2021-12-23 SCREEN Holdings Co., Ltd. Image processing method and recording medium
WO2023022091A1 (ja) * 2021-08-16 2023-02-23 株式会社ニコン 解析システム、観察容器、解析方法およびプログラム
WO2023176081A1 (ja) * 2022-03-18 2023-09-21 株式会社Screenホールディングス 画像標準化方法および観察装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010010670A1 (ja) * 2008-07-23 2010-01-28 株式会社ニコン 細胞の状態判別手法及び細胞観察の画像処理装置
JP2013236564A (ja) * 2012-05-11 2013-11-28 Nikon Corp 細胞評価装置、細胞評価方法およびプログラム
JP2013236563A (ja) * 2012-05-11 2013-11-28 Nikon Corp 細胞評価装置、細胞評価方法およびプログラム
JP2014029287A (ja) * 2012-07-31 2014-02-13 Olympus Corp 壊死細胞領域検出装置及びその方法、壊死細胞領域検出プログラム
JP2016127342A (ja) * 2014-12-26 2016-07-11 株式会社Screenホールディングス 画像処理方法、制御プログラムおよび画像処理装置
JP2016192923A (ja) * 2015-03-31 2016-11-17 株式会社ニコン 判定装置、判定システム、判定プログラム、細胞の製造方法、及び細胞
JP2017000163A (ja) * 2016-09-29 2017-01-05 株式会社ニコン 細胞評価装置、細胞評価方法およびプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010010670A1 (ja) * 2008-07-23 2010-01-28 株式会社ニコン 細胞の状態判別手法及び細胞観察の画像処理装置
JP2010022318A (ja) * 2008-07-23 2010-02-04 Nikon Corp 細胞の状態判別手法及び細胞観察の画像処理装置
JP2013236564A (ja) * 2012-05-11 2013-11-28 Nikon Corp 細胞評価装置、細胞評価方法およびプログラム
JP2013236563A (ja) * 2012-05-11 2013-11-28 Nikon Corp 細胞評価装置、細胞評価方法およびプログラム
JP2014029287A (ja) * 2012-07-31 2014-02-13 Olympus Corp 壊死細胞領域検出装置及びその方法、壊死細胞領域検出プログラム
JP2016127342A (ja) * 2014-12-26 2016-07-11 株式会社Screenホールディングス 画像処理方法、制御プログラムおよび画像処理装置
JP2016192923A (ja) * 2015-03-31 2016-11-17 株式会社ニコン 判定装置、判定システム、判定プログラム、細胞の製造方法、及び細胞
JP2017000163A (ja) * 2016-09-29 2017-01-05 株式会社ニコン 細胞評価装置、細胞評価方法およびプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111539947A (zh) * 2020-04-30 2020-08-14 上海商汤智能科技有限公司 图像检测方法及相关模型的训练方法和相关装置、设备
CN111539947B (zh) * 2020-04-30 2024-03-29 上海商汤智能科技有限公司 图像检测方法及相关模型的训练方法和相关装置、设备
US20210398276A1 (en) * 2020-06-19 2021-12-23 SCREEN Holdings Co., Ltd. Image processing method and recording medium
WO2023022091A1 (ja) * 2021-08-16 2023-02-23 株式会社ニコン 解析システム、観察容器、解析方法およびプログラム
WO2023176081A1 (ja) * 2022-03-18 2023-09-21 株式会社Screenホールディングス 画像標準化方法および観察装置

Also Published As

Publication number Publication date
JP6931579B2 (ja) 2021-09-08

Similar Documents

Publication Publication Date Title
JP6931579B2 (ja) 生細胞検出方法、プログラムおよび記録媒体
JP6952683B2 (ja) 身体試料中の実体を検出する方法および装置
EP3785603B1 (en) Machine learning-based fundus image detection method, apparatus, and system
US10890576B2 (en) Image processing device, image processing method, and recording medium
JP6122817B2 (ja) スフェロイドの評価方法およびスフェロイド評価装置
EP3635613A1 (en) Method and apparatus for processing retinal images
US9916658B2 (en) Disease analysis apparatus, control method, and program
JP2016533475A (ja) 適応的病理組織画像分解のためのシステム及び方法
EP3591612A1 (en) Defect detection system for aircraft component and defect detection method for aircraft component
Jaafar et al. Automated detection of red lesions from digital colour fundus photographs
WO2017150194A1 (ja) 画像処理装置、画像処理方法及びプログラム
US10591402B2 (en) Image processing apparatus, image processing method, and image processing program
JP2008212017A (ja) 細胞状態判定装置、および細胞状態判定方法
JP2013108926A (ja) 病理診断支援装置、病理診断支援方法、及び病理診断支援プログラム
EP3306306A1 (en) Image processing method and image processing device
US11379983B2 (en) Analysis device, analysis program, and analysis method
JP2006507579A (ja) 核多形性の組織学的評価
US20180040120A1 (en) Methods for quantitative assessment of mononuclear cells in muscle tissue sections
US11645859B2 (en) Analysis device, analysis method, analysis program and display device
Schumacher et al. THUNDER imagers: how do they really work
CN111028219A (zh) 一种结肠图像识别方法、装置以及相关设备
US20240085405A1 (en) Image processing device, analysis device, image processing method, image processing program, and display device
Kotak et al. Detection of Mircoaneurysms in Diabetic Retinopathy Using Image Processing and Python
Entezari et al. Artiphysiology reveals visual preferences underlying V4-like blur selectivity in a deep convolutional neural network
Ziraldo et al. Automatic image analysis of multicellular apoptosis process

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200622

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210720

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210816

R150 Certificate of patent or registration of utility model

Ref document number: 6931579

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150