以下、発明を実施するための形態(以下、実施形態という)につき図面を参照しつつ詳細に説明する。なお、下記の実施形態により本発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、下記実施形態で開示した構成要素は適宜組み合わせることが可能である。
(第1実施形態)
図1は、第1実施形態に係るマニピュレーションシステムの構成例を示す斜視図である。図2は、図1に示すマニピュレーションシステムの一部を拡大して示す斜視図である。図3は、第1実施形態に係るマニピュレーションシステムの構成例を示す模式図である。図1から図3に示すマニピュレーションシステム100は、容器38に収容された複数個の微小対象物のうちから、所望の微小対象物を1個ずつ分取する装置である。微小対象物は、例えば細胞である。
図1から図3に示すように、マニピュレーションシステム100は、基台1と、採取用ピペット10と、ピペット保持部15と、マニピュレータ20と、試料ステージ30と、第1撮像装置45を有する第1顕微鏡ユニット40と、コントローラ50と、第2撮像装置65を有する第2顕微鏡ユニット60と、第3撮像装置75と、ジョイスティック57と、入力部58と、表示部80と、を備える。なお、本実施形態では、試料ステージ30の載置面30aに平行な一方向をX軸方向とする。載置面30aに平行で、かつ、X軸方向と直交する方向をY軸方向とする。載置面30aの法線方向をZ軸方向とする。例えば、載置面30aが鉛直方向と直交する水平面となるように、基台1の配置が調整されている。
採取用ピペット10は、細胞を採取するための管状器具である。例えば、採取用ピペット10は針状であり、その材質は例えばガラスである。採取用ピペット10の先端には、細胞を採取するための開口部が設けられている。採取用ピペット10の詳細は、後で図8及び図9を参照しながら説明する。
ピペット保持部15は、採取用ピペット10を保持するための管状器具である。ピペット保持部15の材質は、例えばガラス又は金属である。ピペット保持部15の一端は、採取用ピペット10に連結している。また、ピペット保持部15の他端は、マニピュレータ20が有する電動マイクロポンプ29に接続されている。ピペット保持部15及び採取用ピペット10の内部圧力は、電動マイクロポンプ29から供給される圧力Pにより減圧又は増圧される。採取用ピペット10の内部圧力が常圧よりも低いとき、採取用ピペット10は先端の開口部から細胞を吸引して採取することができる。また、採取用ピペット10の内部圧力が常圧よりも高いとき、採取用ピペット10は、採取した細胞を採取用ピペット10の先端の開口部から外部へ吐出(放出)することができる。ピペット保持部15は、後述の連結部28を介してマニピュレータ20に連結されている。
マニピュレータ20は、ピペット保持部15及び採取用ピペット10をX軸方向、Y軸方向及びZ軸方向に移動させるための装置である。
図3に示すように、マニピュレータ20は、X軸テーブル21と、Y軸テーブル22と、Z軸テーブル23と、駆動装置26、27と、連結部28、71(図1参照)と、電動マイクロポンプ29と、を備える。X軸テーブル21は、駆動装置26が駆動することによって、X軸方向に移動する。Y軸テーブル22は、駆動装置26が駆動することによって、Y軸方向に移動する。Z軸テーブル23は、駆動装置27が駆動することによって、Z軸方向に移動する。駆動装置26、27と、電動マイクロポンプ29は、コントローラ50に接続されている。
マニピュレータ20において、Z軸テーブル23はY軸テーブル22上に取り付けられている。これにより、ピペット保持部15及び採取用ピペット10は、Y軸テーブル22の移動にしたがって、Y軸テーブル22と同じ距離だけY軸方向に移動することができる。さらに、Y軸テーブル22はX軸テーブル21上に取り付けられている。これにより、ピペット保持部15及び採取用ピペット10は、X軸テーブル21の移動にしたがって、X軸テーブル21と同じ距離だけX軸方向に移動することができる。また、ピペット保持部15及び採取用ピペット10は、Z軸テーブル23の移動にしたがって、Z軸テーブル23と同じ距離だけZ軸方向に移動することができる。
図3に示すように、試料ステージ30は、容器38を支持する。例えば、試料ステージ30の載置面30aに容器38が載置される。容器38は、例えば、ディッシュ又はウェルプレートである。試料ステージ30は、X軸ステージ31と、Y軸ステージ32と、駆動装置36と、を備える。X軸ステージ31は、駆動装置36が駆動することによって、X軸方向に移動する。Y軸ステージ32は、駆動装置36が駆動することによって、Y軸方向に移動する。X軸ステージ31はY軸ステージ32上に取り付けられている。駆動装置36は、コントローラ50に接続されている。
なお、図3では、試料ステージ30の平面視による形状(以下、平面形状)が円形の場合を示しているが、試料ステージ30の平面形状は円形に限定されず、例えば矩形でもよい。また、図3では、容器38の平面形状が円形の場合を示しているが、容器38の平面形状は円形に限定されない。図1に示すように、容器38の平面形状は、例えば矩形でもよい。また、図1及び図3では、試料ステージ30上に1個の容器38が載置されている場合を示しているが、試料ステージ30上に載置される容器38の数は1個に限定されず複数個でもよい。
第1顕微鏡ユニット40は、試料ステージ30の上方に配置されている。第1顕微鏡ユニット40は、第1顕微鏡41と、第1撮像装置45と、試料ステージ30の載置面30aに向けて光を照射する光源(図示せず)とを有する。図2に示すように、第1顕微鏡41は、鏡筒411と、対物レンズ412と、駆動装置414(図3参照)とを有する。第1顕微鏡41は、対物レンズ412が容器38の上方に位置する実体顕微鏡である。第1顕微鏡ユニット40の鏡筒411は、駆動装置414が駆動することによって、Z軸方向に移動する。これにより、第1顕微鏡41は、焦点位置を調節することができる。対物レンズ412は、所望の倍率に合わせて複数種類が用意されていてもよい。第1撮像装置45は、第1顕微鏡41を介して、採取用ピペット10の先端をZ軸方向から撮像することができる。なお、第1顕微鏡ユニット40は、図示しない接眼レンズを備えてもよい。
図1に示す連結部28は、ピペット保持部15をマニピュレータ20に連結している。また、第1顕微鏡ユニット40の鏡筒411は、連結部71によりマニピュレータ20に連結されている。これにより、鏡筒411がZ軸方向へ移動すると、これと一緒にマニピュレータ20、ピペット保持部15及び採取用ピペット10もZ軸方向へ移動する。連結部28、71は、例えば金属製である。連結部28、71は、例えばZ軸テーブル23に取り付けられている。
第2顕微鏡ユニット60は、試料ステージ30の側方に配置されている。第2顕微鏡ユニット60は、第2顕微鏡61と、第2撮像装置65とを有する。図2に示すように、第2顕微鏡61は、鏡筒611と、対物レンズ612と、駆動装置613(図1参照)と、を有する。対物レンズ612は、駆動装置613が駆動することによって、Y軸方向に移動する。これにより、第2顕微鏡61は、焦点位置を調節することができる。第2撮像装置65は、第2顕微鏡61を介して、採取用ピペット10の先端をY軸方向から撮像することができる。第2顕微鏡ユニット60は、固定具3を介して基台1に固定されている。第1撮像装置45及び第2撮像装置65は、例えば、CMOSイメージセンサ又はCCDイメージセンサ等の固体撮像素子を有する。
第3撮像装置75は、固定具4を介して基台1に固定されている。固定具4は、X軸方向及びY軸方向に動くことができ、Z軸方向に延伸することができる。これにより、第3撮像装置75は、X軸方向、Y軸方向及びZ軸方向とそれぞれ交差する、試料ステージ30の斜め上方向から、試料ステージ30側を撮像することができる。
図3に示す入力部58は、キーボードやタッチパネル等である。ジョイスティック57及び入力部58は、コントローラ50に接続されている。オペレータは、ジョイスティック57及び入力部58を介して、コントローラ50にコマンドを入力することができる。
次に、コントローラ50の機能について、図4を参照して説明する。図4は、第1実施形態に係るマニピュレーションシステムの構成例を示すブロック図である。コントローラ50は、演算手段としてのCPU(中央演算処理装置)及び記憶手段としてのハードディスク、RAM(Random Access Memory)、ROM(Read Only Memory)等のハードウェア資源を備える。
図4に示すように、コントローラ50は、その機能として、画像入力部51a、画像出力部51b、画像処理部52、検出部53、画像編集部54、制御部55及び記憶部56を有する。画像入力部51a、画像出力部51b、画像処理部52、検出部53、画像編集部54及び制御部55は、上記の演算手段により実現される。記憶部56は、上記の記憶手段により実現される。コントローラ50は、記憶部56に格納されたプログラムに基づいて各種の演算を行い、演算結果にしたがって制御部55が各種の制御を行うように駆動信号を出力する。
制御部55は、第1顕微鏡ユニット40の駆動装置414と、マニピュレータ20の駆動装置26、27及び電動マイクロポンプ29と、試料ステージ30の駆動装置36と、第2顕微鏡ユニット60の駆動装置613とを制御する。制御部55は、駆動装置414、26、27、36、613に駆動信号Vz1、Vxy2、Vz2、Vxy3、Vy4(図3参照)をそれぞれ供給する。また、制御部55は、電動マイクロポンプ29に駆動信号Vmp(図3参照)を供給する。なお、制御部55は、必要に応じて設けられたドライバやアンプ等を介して、駆動信号Vz1、Vxy2、Vz2、Vxy3、Vy4、Vmpをそれぞれ供給してもよい。
第1撮像装置45から出力される第1画像信号Vpix1(図3参照)と、第2撮像装置65から出力される第2画像信号Vpix2(図3参照)と、第3撮像装置75から出力される第3画像信号Vpix3(図3参照)は、画像入力部51aにそれぞれ入力される。画像処理部52は、画像入力部51aから第1画像信号Vpix1、第2画像信号Vpix2、第3画像信号Vpix3を受け取って、画像処理を行う。画像出力部51bは、画像処理部52で画像処理された画像情報を記憶部56及び表示部80へ出力する。
例えば、第1画像信号Vpix1には、第1顕微鏡41を通して第1撮像装置45が撮像した第1画像811(図7参照)と、その撮像時刻とが含まれている。第1画像811は動画である。同様に、第2画像信号Vpix2には、第2顕微鏡61を通して第2撮像装置65が撮像した第2画像812(図7参照)と、その撮像時刻とが含まれている。第2画像812も動画である。第3画像信号Vpix3には、第3撮像装置75が撮像した第3画像813(図7参照)と、その撮像時刻とが含まれている。第3画像813も動画である。
また、第1画像811、第2画像812及び第3画像813は、それぞれカラー画像又はグレー画像である。グレー画像は、白色及び黒色と、白色と黒色の中間色である灰色を含む画像である。グレー画像は、灰色に複数の階調を有する。階調とは、色や明るさの濃淡の段階数のことである。
画像処理部52は、細胞の検出を容易にするために、第1画像811又は第2画像812の少なくとも一方について、画像の拡大や2値化等の画像処理をする。画像の2値化とは、カラー画像又はグレー画像(以下、元画像)を、濃淡がなく、白色と黒色としかない2値画像(binary image)に変換することである。画像処理部52は、第1画像811又は第2画像812の少なくとも一方について、元画像を拡大した拡大画像や、元画像を2値化した2値画像を作成する。また、画像処理部52は、元画像を拡大し、2値化した拡大2値画像を作成してもよい。画像処理部52は、拡大画像、2値画像、拡大2値画像の少なくとも1種類以上を画像情報として、検出部53と画像編集部54とに出力する。
検出部53は、画像処理部52から画像情報を受け取り、受け取った画像情報に基づいて、細胞の位置や個数を自動で検出する。そして、検出部53は検出結果を画像編集部54及び制御部55に出力する。なお、本開示において「自動」とは、装置が作業者の判断を介さずに動作することを意味する。
図5は、検出部の構成例を示すブロック図である。図5に示すように、検出部53は、その機能として、位置検出部531と、距離検出部532と、個数検出部533と、輝度検出部534と、しきい値設定部535とを有する。位置検出部531は、画像処理部52によって画像処理された第1画像811又は第2画像812に基づいて、細胞ce(図7参照)の位置を自動で検出する。また、位置検出部531は、画像処理部52によって画像処理された第1画像811又は第2画像812に基づいて、採取用ピペット10の先端部103の位置を検出する。
距離検出部532は、位置検出部531によって検出された細胞ceと先端部103の開口部103a(後述の図9参照)との離隔距離を自動で検出する。個数検出部533は、画像処理部52によって画像処理された第1画像811又は第2画像812に基づいて、細胞ceの個数を自動で検出する。画像処理部52によって画像処理された画像として、例えば、拡大画像、2値画像及び拡大2値画像の少なくとも1種類以上が挙げられる。位置検出部531、距離検出部532及び個数検出部533の各検出結果は、画像編集部54及び制御部55にそれぞれ出力される。
輝度検出部534は、画像処理部52によって画像処理された第1画像811に基づいて、第1画像811の輝度L−BGを検出する。輝度L−BGは、第1画像811全体における輝度の平均値である。しきい値設定部535は、輝度検出部534によって検出された輝度L−BGに基づいて、第1しきい値L−TH1及び第2しきい値L−TH2を設定する。第1しきい値L−TH1及び第2しきい値L−TH2は、画像処理部52が2値画像(第1バイナリ画像811A(図14参照)及び第2バイナリ画像811B(図15参照))を作成する際の輝度の基準値である。輝度L−BG、第1しきい値L−TH1及び第2しきい値L−TH2は、例えば、大津の二値化処理によって自動で設定される。
画像編集部54は、第1画像信号Vpix1、第2画像信号Vpix2、第3画像信号Vpix3を、撮像時刻に基づいて互いに関連付けして、編集画像信号Vpix4を作成する。編集画像信号Vpix4には、編集画像が含まれている。編集画像は、互いに同じ時刻に撮像された第1画像811、第2画像812及び第3画像813を並べて表示する動画である。編集画像において、第1画像811、第2画像812及び第3画像813はそれぞれ、元画像でもよいし、元画像を画像処理した拡大画像、2値画像又は拡大2値画像であってもよい。画像出力部51bは、第1画像信号Vpix1、第2画像信号Vpix2、第3画像信号Vpix3及び編集画像信号Vpix4を記憶部56に出力する。
また、画像編集部54は、検出部53から細胞ceの検出結果を受信する。検出部53が細胞の位置を検出した場合、画像編集部54は、その検出結果を編集画像に反映させてもよい。例えば、画像編集部54は、画像処理部52から受け取った拡大画像、2値画像又は拡大2値画像において、検出部53が検出した細胞ceの位置を矢印で自動で示したり、検出部53が検出した細胞の位置を枠線で自動で囲んだりしてもよい。
図6は、記憶部の構成例を示すブロック図である。図6に示すように、記憶部56は、その機能として、マニピュレーションシステム100を動作させるためのプログラムを記憶したプログラム記憶部56aと、画像信号を記憶する画像記憶部56bとを有する。画像記憶部56bは、第1画像信号Vpix1を記憶する第1画像記憶部561と、第2画像信号Vpix2を記憶する第2画像記憶部562と、第3画像信号Vpix3を記憶する第3画像記憶部563と、編集画像信号Vpix4を記憶する編集画像記憶部564と、基準バイナリ画像ce−r(図23参照)を記憶する基準画像記憶部565と、を有する。第1画像記憶部561は、画像処理部52が作成した、拡大画像、2値画像、拡大2値画像の少なくとも1種類以上を一時的に記憶してもよい。
画像出力部51bは、第1画像信号Vpix1、第2画像信号Vpix2、第3画像信号Vpix3及び編集画像信号Vpix4のうち、少なくとも1つ以上の画像信号を表示部80に出力する。
表示部80は、例えば液晶パネル等である。表示部80は、コントローラ50に接続されている。表示部80は、種々の文字情報や画像等を画面に表示する。図7は、表示部の画面の一例を示す図である。図7は、表示部80の画面81に編集画像が表示されている場合を例示している。編集画像では、互いに同じタイミングで撮像された第1画像811、第2画像812、第3画像813が並んで配置されている。表示部80は、編集画像をリアルタイム又はほぼリアルタイムで表示してもよいし、編集画像記憶部564に記憶されている編集画像を読み出して再生表示してもよい。
オペレータがジョイスティック57又は入力部58を操作することによって、画面81に表示される画像を切り替えることが可能である。また、オペレータがジョイスティック57又は入力部58を操作することによって、画面81に表示される編集画像(動画)を一時停止させることが可能である。また、プログラム記憶部56a(図6参照)が記憶しているプログラムに基づいて、制御部55(図4参照)が所定の画像を画面81に自動で表示させたり、画面81に表示される画像を自動で切り替えたりしてもよい。
また、画面81に表示される画像は、編集画像に限定されることはなく、第1画像811、第2画像812又は第3画像813のみでもよい。また、画面に表示される画像は、元画像に限定されることはなく、画像処理部52によって画像処理された画像(例えば、拡大画像、2値画像及び拡大2値画像の少なくとも1種以上)であってもよい。例えば、画面81に表示される画像は、図11に示すグレースケール画像811Gや、図14から図19に示す第1バイナリ画像811A及び第2バイナリ画像811Bや、図20に示す第3バイナリ画像811C等であってもよい。
図8は、実施形態1に係る採取用ピペットの構成例を示す側面図である。図8に示すように、採取用ピペット10は、2段に屈曲した形状のガラス針である。具体的には、採取用ピペット10は、平面視で、管状の中央部101と、中央部101の一端に接続する管状の後方部102と、中央部101の他端に接続する管状の先端部103と、を有する。後方部102は、ピペット保持部15によって保持される側の部位である。先端部103は、細胞等の微小対象物を採取する側の部位である。
中央部101と後方部102との間には第1屈曲部104が存在する。中央部101と先端部103との間には第2屈曲部105が存在する。中央部101の長手方向と後方部102の長手方向は互いに交差している。中央部101の長手方向と先端部103の長手方向も互いに交差している。後方部102の長手方向と先端部103の長手方向は互いに平行又はほぼ平行である。例えば、中央部101の長手方向と後方部102の長手方向とが成す鈍角の角度(以下、第1屈曲部104の屈曲角度)をθ1とする。中央部101の長手方向と先端部103の長手方向とが成す鈍角の角度(以下、第2屈曲部105の屈曲角度)をθ2とする。第1屈曲部104の屈曲角度θ1と第2屈曲部105の屈曲角度θ2との差の絶対値|θ1−θ2|は、0°以上5°未満である。
また、中央部101の長手方向の長さをL1とし、後方部102の長手方向の長さをL2とし、先端部103の長手方向の長さをL3としたとき、L3<L1、かつ、L3<L2である。これによれば、採取用ピペット10の先端部である先端部103を容器38内に配置することが容易である。
中央部101を、中央部101の長手方向と直交する平面で切断した形状は円形である。同様に、後方部102を、後方部102の長手方向と直交する平面で切断した形状は円形である。先端部103を、先端部103の長手方向と直交する平面で切断した形状は円形である。後方部102の外径をφ21とし、先端部103の外径をφ31としたとき、φ21>φ31である。また、中央部101の外径φ11は、第1屈曲部104の側から第2屈曲部105の側に向かって小さくなっている。
例えば、中央部101は、第1屈曲部104と第2屈曲部105との間に、外径が大きく変化する狭窄部106を有する。中央部101において、狭窄部106と第1屈曲部104との間に位置する第1部位101aよりも、狭窄部106と第2屈曲部105との間に位置する第2部位101bの方が、外径φ11が小さい。また、第2部位101bの長手方向の長さL1’は、先端部103の長手方向の長さL3よりも長い。
図9は、第1実施形態に係る採取用ピペットの先端部を拡大して示す図である。図9に示すように、先端部103の先端には開口部103aが設けられている。開口部103aと第2屈曲部105との間で、先端部103の内径φ32の大きさはほぼ一定である。採取用ピペット10の採取対象である細胞ceの直径をφceとしたとき、φ32はφceよりも数μm程度大きいことが好ましい。これにより、採取用ピペット10は、細胞ceを先端部103の内側に導入することができる。
次に、マニピュレーションシステム100の細胞ceの検出動作について説明する。図10は、第1実施形態に係るマニピュレーションシステムの細胞検出シーケンスの一例を示すフローチャートである。
図10に示す動作シーケンスでは、容器38は液体39と複数個の細胞ceとを収容している(図7参照)。図10に示すように、マニピュレーションシステム100は、第1顕微鏡41の焦点を採取用ピペット10の先端部103にそれぞれ自動で合わせる(ステップST11)。例えば、オペレータはジョイスティック57又は入力部58(図3参照)を操作して、コントローラ50(図3参照)に細胞ceの自動検出を実行するように指示する。
この指示を受けて、コントローラ50の制御部55(図3参照)は、駆動装置414に駆動信号Vz1(図3参照)を出力して、対物レンズ412をZ軸方向に動かす。これにより、第1顕微鏡ユニット40は、第1顕微鏡41の焦点を採取用ピペット10の先端部103に合わせる。
次に、マニピュレーションシステム100は、第1顕微鏡41の焦点を、容器38に収容されている細胞ceに自動で合わせる。例えば、マニピュレーションシステム100は、第1顕微鏡ユニット40を容器38の底面に向けて下降させ、第1顕微鏡41の焦点を複数の細胞ceに自動で合わせる。上述したように、第1顕微鏡ユニット40と、採取用ピペット10を保持するピペット保持部15とは、連結部28、71を介して互いに固定されている。このため、採取用ピペット10も、第1顕微鏡ユニット40と一体となって容器38の底面に向けて下降する。
次に、第1撮像装置45は、第1顕微鏡41を介して第1画像811を撮像する。画像処理部52は、第1画像811の情報である第1画像信号Vpix1を受け取って、第1画像811から輝度のパラメータのみを抽出した画像(グレースケール画像811G)に変換する(ステップST12)。これにより、画像処理部52が行う画像処理の負荷を抑制することができ、2値化処理や拡大処理等を良好に行うことができる。
図11は、第1画像を輝度のみで表示したグレースケール画像の一例を示す模式図である。図11に示すように、第1顕微鏡41の焦点が細胞ceに合うとき、採取用ピペット10の先端部103は容器38の内部に位置する。グレースケール画像811Gには、多数の細胞ceと、採取用ピペット10の先端部103が撮像されている。
次に、輝度検出部534及びしきい値設定部535(図5参照)は、輝度の第1しきい値L−TH1及び第2しきい値L−TH2を設定する(ステップST13)。
輝度検出部534は、グレースケール画像811G全体の輝度L−BGを検出する。輝度L−BGは、グレースケール画像811G全体の輝度の平均値である。輝度L−BGは、例えば、大津の二値化処理によって自動的に設定される。しきい値設定部535は、輝度検出部534が検出した背景の輝度L−BGの情報を受け取って、第1しきい値L−TH1及び第2しきい値L−TH2を設定する。
図12は、図11に示す領域A1の細胞を拡大して示す模式図である。図12に示すように、第1顕微鏡41で観察される細胞ceには、光源から照射される光の状態に応じて影が生じる。このため、1つの細胞ceは、明部ce−aと暗部ce−bとを有する。
図13は、細胞及び背景の輝度の分布を模式的に示すグラフである。図13は、図12に示すXIII−XIII’に沿った輝度の分布を模式的に示している。図13に示すように、明部ce−aは背景の輝度L−BGよりも大きい輝度を有する。また、暗部ce−bは背景の輝度L−BGよりも小さい輝度を有する。
しきい値設定部535は、背景の輝度L−BGに基づいて、輝度L−BGよりも大きい輝度を示す第1しきい値L−TH1と、輝度L−BGよりも小さい輝度を示す第2しきい値L−TH2とを設定する。すなわち、第2しきい値L−TH2は、第1しきい値L−TH1よりも小さい輝度を示す。第1しきい値L−TH1及び第2しきい値L−TH2は、例えば大津の二値化処理によって自動的に設定される。
このように、異なる輝度を示す第1しきい値L−TH1及び第2しきい値L−TH2を自動的に設定することにより、第1顕微鏡41の視野における輝度が、測定環境等により変化した場合でも、マニピュレーションシステム100は、良好に明部ce−a及び暗部ce−bを検出することができる。すなわち、マニピュレーションシステム100は、環境の変化に対するロバスト性を向上させることができる。
次に、画像処理部52は、第1しきい値L−TH1及び第2しきい値L−TH2の情報を受け取って、グレースケール画像811Gの画像処理を行う。具体的には、画像処理部52は、グレースケール画像811Gから第1しきい値L−TH1以上の輝度の部分を抽出して、第1バイナリ画像811Aを作成する(ステップST14)。図14は、第1バイナリ画像の一例を示す模式図である。図14に示すように、第1バイナリ画像811Aにおいて、細胞ceのうち、第1しきい値L−TH1以上の輝度を有する明部ce−aが白表示となり、第1しきい値L−TH1よりも小さい輝度を有する暗部ce−b及び背景が黒表示となる。
同様に、画像処理部52は、グレースケール画像811Gから第2しきい値L−TH2以下の輝度の部分を抽出して、第2バイナリ画像811Bを作成する(ステップST15)。図15は、第2バイナリ画像の一例を示す模式図である。図15に示すように、第2バイナリ画像811Bにおいて、細胞ceのうち、第2しきい値L−TH2以下の輝度を有する暗部ce−bが白表示となり、第2しきい値L−TH2よりも大きい輝度を有する明部ce−a及び背景が黒表示となる。つまり、第2バイナリ画像811Bは、暗い部分が白表示となり明るい部分が黒表示となる、反転画像として作成される。なお、画像処理部52による第1バイナリ画像811A及び第2バイナリ画像811Bの作成順は、逆であってもよい。
次に、画像処理部52は、第1バイナリ画像811A及び第2バイナリ画像811Bから小さい明部ce−a及び暗部ce−bを除去する(ステップST16)。図16は、第1バイナリ画像において、小さい明部を除去した画像の一例を示す模式図である。画像処理部52は、複数の明部ce−aのうち所定の面積以下の明部ce−aを第1バイナリ画像811Aから除去する。図16に示す第1バイナリ画像811Aでは、図14に示す第1バイナリ画像811Aと比較して、例えば領域A3において複数の小さい明部ce−aが除去されている。
図17は、第2バイナリ画像において、小さい暗部を除去した画像の一例を示す模式図である。画像処理部52は、複数の暗部ce−bのうち所定の面積以下の暗部ce−bを第2バイナリ画像811Bから除去する。図17に示す第2バイナリ画像811Bでは、図15に示す第2バイナリ画像811Bと比較して、例えば領域A4及び領域A5等において複数の小さい暗部ce−bが除去されている。ここで、複数の小さい明部ce−a及び複数の小さい暗部ce−bの除去は、公知の方法により処理される。
このように、画像処理部52が、明らかに小さい明部ce−a及び暗部ce−bを除去することにより、マニピュレーションシステム100は、細胞ce以外の異物等を、採取対象として誤検出することを抑制することができる。
次に、画像処理部52は、第1バイナリ画像811A及び第2バイナリ画像811Bにおいて、各明部及び暗部を拡大する(ステップST17)。図18は、第1バイナリ画像において、明部を拡大した画像の一例を示す模式図である。図19は、第2バイナリ画像において、暗部を拡大した画像の一例を示す模式図である。図18及び図19に示すように、画像処理部52は、第1バイナリ画像811Aにおいて、複数の明部ce−aをそれぞれ拡大し、第2バイナリ画像811Bにおいて、複数の暗部ce−bをそれぞれ拡大する。
拡大された明部ce−ae及び拡大された暗部ce−beは、それぞれ、拡大前の明部ce−a及び拡大前の暗部ce−bに対して、面積比で3倍以上4倍以下程度に拡大される。また、拡大された明部ce−ae及び拡大された暗部ce−beの重心位置は、それぞれ、拡大前の明部ce−a及び拡大前の暗部ce−bの重心位置と一致している。なお、拡大された明部ce−ae及び拡大された暗部ce−beの倍率は、採取対象の細胞ce−dの形状、大きさ、第1しきい値L−TH1、第2しきい値L−TH2あるいは観察環境に応じて適宜設定することができる。
次に、画像処理部52は、第1バイナリ画像811Aと第2バイナリ画像811Bとを重ね合わせて第3バイナリ画像811Cを作成する(ステップST18)。図20は、第3バイナリ画像の一例を示す模式図である。図20に示すように、第3バイナリ画像811Cにおいて、複数の検出部分ce−cが形成される。複数の検出部分ce−cは、それぞれ、明部ce−ae(図18参照)と暗部ce−be(図19参照)とが組み合わされることで、明部ce−aeの外縁の一部と暗部ce−beの外縁の一部とが重なりあって、1つの連続した白表示として形成される。
上述したステップST17において、画像処理部52が複数の明部ce−a及び複数の暗部ce−bをそれぞれ拡大する画像処理を行っている。このため、第3バイナリ画像811Cの各検出部分ce−cにおいて、拡大された明部ce−aeと拡大された暗部ce−beとの間に隙間sp(図26参照)が生じることを抑制することができる。したがって、位置検出部531は、1組の明部ce−aeと暗部ce−beとを1つの細胞ceとして検出することができる。また、明部ce−aeと暗部ce−beとの間に隙間sp(図26参照)がないので、位置検出部531は、後述するテンプレートマッチングや形状マッチングにおいて、検出精度を向上させることができる。
次に、画像処理部52は、図20に示す第3バイナリ画像811Cの部分領域Bを切り取り、部分領域Bにおいてさらに検出部分ce−cを拡大する(ステップST19)。図21は、図20に示す第3バイナリ画像の部分領域において、検出部分をさらに拡大した画像の一例を示す模式図である。図20に示す部分領域Bは、先端部103の左側に位置する矩形状の領域である。言い換えると、部分領域Bは、第3バイナリ画像811Cのうち、先端部103の延在方向で、先端部103の端部103fと隣り合う領域である。
これによれば、画像処理部52は、第3バイナリ画像811Cのうち部分領域Bで画像処理を行うことで、画像処理の負荷を抑制することができ、また、位置検出部531によるテンプレートマッチングや形状マッチングの負荷を抑制することができる。
図21に示すように、画像処理部52が、検出部分ce−cをさらに拡大することで、近い位置に存在する複数の検出部分ce−cがつながり、1つの連続した検出部分グループce−xとなる。これにより、位置検出部531によるテンプレートマッチングや形状マッチングで、検出部分グループce−xを採取対象の細胞ce−dから除去することができる。これにより、マニピュレーションシステム100は、採取用ピペット10により細胞ceを採取する際に、近い位置に存在する複数の細胞ceを同時に採取することを抑制できる。
図22は、図21に示す部分領域の画像において、部分領域の外周と接する検出部分を除去した画像の一例を示す模式図である。画像処理部52は、複数の検出部分ce−cのうち、部分領域Bの外周に接する検出部分ce−yを部分領域Bから除去する。検出部分ce−yは、部分領域Bの画像の外側の領域において、どのような形状、大きさとなっているか不明であり、また、他の検出部分ce−cとつながって検出部分グループce−xを構成しているかどうかも不明である。このため、マニピュレーションシステム100は、検出部分ce−yを部分領域Bから除去することで、細胞ceの検出精度を向上させることができる。
次に、位置検出部531は、図22に示す部分領域Bの画像情報を受け取って、検出部分ce−cの画像と基準バイナリ画像とを比較して細胞ceの位置を検出する(ステップST20)。図23は、細胞の基準バイナリ画像を示す模式図である。基準バイナリ画像ce−rは標準的な細胞ceについて、上述したステップST14からステップST19の画像処理を施した場合のバイナリ画像である。基準バイナリ画像ce−rは記憶部56の基準画像記憶部565にあらかじめ記憶される。また、記憶部56は、複数の基準バイナリ画像ce−rを保持していてもよい。
位置検出部531は、例えばテンプレートマッチングや形状マッチングにより、部分領域Bの各検出部分ce−cと基準バイナリ画像ce−rとを比較する。そして、位置検出部531は、各検出部分ce−cと、基準バイナリ画像ce−rとの類似度を演算する。位置検出部531は、類似度が所定の基準値以上の検出部分ce−cの位置を検出し、この検出部分ce−cに対応する細胞ceを採取対象の細胞ce−dとして選択する。
また位置検出部531は、類似度が所定の基準値よりも小さい検出部分ce−cに対応する細胞ceを非採取対象の細胞ce−nとして選択する。例えば、一部に欠けや凹部を有する検出部分ce−cや、基準バイナリ画像ce−rと大きさが異なる検出部分ce−cや、検出部分グループce−x等は、類似度が所定の基準値よりも小さくなり、採取対象から除去される。
図24は、細胞の検出結果を表示する第1画像の一例を示す模式図である。図24に示す第1画像811において、画像編集部54は、画像処理部52から受け取った第1画像811と、検出部53から受け取った検出結果に基づいて、採取対象の細胞ce−dを枠で囲んで示している。また、画像編集部54は、非採取対象の細胞ce−nには枠を付けずに示している。
コントローラ50の制御部55は、位置検出部531から採取対象の細胞ce−dの位置情報を受け取って、採取用ピペット10や各駆動装置を駆動させることで、自動で1つずつ採取対象の細胞ce−dを採取することができる。また、上述した細胞検出シーケンスにしたがって、近い位置に配置された複数の細胞ceや、接触する複数の細胞ceや、形状等が異なる細胞ceは、採取対象の細胞ce−dから除去されている。このように、マニピュレーションシステム100は、細胞ceの検出精度を向上させることで、細胞ceを1個ずつ採取することが可能である。
なお、図10及び図11から図24に示す検出動作は、適宜変更することができる。例えば、図10に示すステップST19及び図20から図22において、画像処理部52は、第3バイナリ画像811Cについて、部分領域Bを切り取らずに、第3バイナリ画像811Cの全体でステップST19及びステップST20の処理を実行してもよい。
以上説明したように、第1実施形態に係るマニピュレーションシステム100は、採取用ピペット10(管状器具)を用いて細胞ce(微小対象物)を採取するマニピュレーションシステム100であって、採取用ピペット10と、マニピュレータ20と、試料ステージ30と、第1顕微鏡41と、第1撮像装置45と、コントローラ50と、を備える。マニピュレータ20は、採取用ピペット10が取り付けられる。試料ステージ30は、細胞ceを収容するための容器38が載置される。第1顕微鏡41は、試料ステージ30の上方に配置される。第1撮像装置45は、第1顕微鏡41を介して第1画像811を撮像する。コントローラ50は、画像処理部52と、位置検出部531とを有する。画像処理部52は、第1画像811に基づいて、第1しきい値L−TH1以上の輝度を有する複数の明部ce−aを表示する第1バイナリ画像811Aと、第2しきい値L−TH2以下の輝度を有する複数の暗部ce−bを表示する第2バイナリ画像811Bとを作成し、第1バイナリ画像811Aと第2バイナリ画像811Bとを重ね合わせて第3バイナリ画像811Cを作成する。位置検出部531は、第3バイナリ画像811Cにおいて、明部ce−aと暗部cebとが組み合わされた検出部分ce−cに基づいて細胞ceの位置を検出する。
これによれば、マニピュレーションシステム100は、細胞ceの明部ce−a及び暗部ce−bを検出して、2つのバイナリ画像を組み合わせることで、明部ce−a及び暗部ce−bのいずれか一方のみで細胞ceを検出する場合に比べて、細胞ceの形状及び大きさを精度よく検出することができる。例えば、マニピュレーションシステム100は、隣接する2つの細胞ceを、離れた細胞ceであると誤検出することを抑制できる。また、マニピュレーションシステム100は、隣接する2つの細胞ceを、1つの細胞ceであると誤検出することを抑制できる。これにより、マニピュレーションシステム100は、隣接する2つの細胞ceを採取対象から除去することで、細胞ceを1個ずつ採取することができる。
また、コントローラ50は、細胞ceの基準バイナリ画像ce−rを記憶する記憶部56を有する。位置検出部531は、第3バイナリ画像811Cの検出部分ce−cと、基準バイナリ画像ce−rとを比較して、細胞ceを検出する。これによれば、マニピュレーションシステム100は、基準バイナリ画像ce−rとは異なる形状の細胞ceや、異なる大きさの細胞ceを、採取対象から除去することができる。
また、コントローラ50は、しきい値設定部535を有する。しきい値設定部535は、第1画像811の背景の輝度L−BGに基づいて、第1しきい値L−TH1と、第1しきい値L−TH1よりも小さい輝度を示す第2しきい値L−TH2とを設定する。これによれば、第1バイナリ画像811Aの明部ce−aと、第2バイナリ画像811Bの暗部ce−bとが、それぞれ異なるしきい値で検出される。このため、第1顕微鏡41の視野中の輝度が、測定環境等により変化した場合でも、マニピュレーションシステム100は、良好に明部ce−a及び暗部ce−bを検出することができる。すなわち、マニピュレーションシステム100は、環境の変化に対するロバスト性を向上させることができる。
また、画像処理部52は、第1画像811を輝度のみで表示したグレースケール画像811Gに変換し、グレースケール画像811Gに基づいて第1バイナリ画像811A及び第2バイナリ画像811Bを作成する。これによれば、カラー画像を用いる場合に比べて、画像処理部52が行う画像処理の負荷を抑制することができる。
また、画像処理部52は、第1バイナリ画像811Aにおいて、複数の明部ce−aをそれぞれ拡大し、第2バイナリ画像811Bにおいて、複数の暗部ce−bをそれぞれ拡大する。これによれば、マニピュレーションシステム100は、第3バイナリ画像811Cにおいて明部ce−aと暗部ce−bとが組み合わされた場合に、明部ce−aと暗部ce−bとの間に隙間spが生じることを抑制することができる。したがって、位置検出部531は、1組の明部ce−aと暗部ce−bとを1つの細胞ce(検出部分ce−c)として検出することができる。
また、位置検出部531は、採取用ピペット10の端部103fの位置及び延在方向を検出し、画像処理部52は、第3バイナリ画像811Cのうち、採取用ピペット10の端部103fと隣り合う部分領域Bを切り取って、部分領域Bで画像処理を行う。これによれば、画像処理部52が行う画像処理や、位置検出部531が行うパターンマッチングの負荷を抑制することができる。
(第2実施形態)
図25は、第2実施形態に係るマニピュレーションシステムの細胞検出シーケンスの一例を示すフローチャートである。図25に示すように、マニピュレーションシステム100において、コントローラ50が有する画像処理部52、位置検出部531、しきい値設定部535等は、第1実施形態と同様に、ステップST11からステップST20を実行する。
位置検出部531は、第3バイナリ画像811Cの部分領域Bにおいて、採取対象の細胞ce−dが存在するかどうかを検出する(ステップST21)。採取対象の細胞ce−dが存在する場合(ステップST21、Yes)、マニピュレーションシステム100は、採取対象の細胞ce−dの採取を実行する(ステップST22)。
採取対象の細胞ce−dが存在しない場合(ステップST21、No)、コントローラ50の制御部55は、駆動装置36により試料ステージ30を移動させる(ステップST23)。そして、第1撮像装置45は、前回の検出動作とは異なる領域で、第1顕微鏡41を介して第1画像811を撮像する。マニピュレーションシステム100は、新たに撮像された第1画像811に基づいてステップST11からステップST20を繰り返し実行する。
第2実施形態によれば、マニピュレーションシステム100は、第1画像811に採取対象の細胞ce−dが存在しない場合に、容器38内の異なる領域で細胞ceを検出することができる。
図26は、変形例に係る検出部分の一例を示す模式図である。図26は、第1実施形態において、画像処理部52が、図10のステップST17に示した画像処理を省略した場合の第3バイナリ画像811Caの一部分を示す。画像処理部52が、複数の明部ce−a及び複数の暗部ce−bをそれぞれ拡大する画像処理を行わないので、図26に示すように、明部ce−a及び暗部ce−bを組み合わせた場合、明部ce−aと暗部ce−bとの間に隙間spが生じる。この場合であっても、位置検出部531は、隙間spを含む明部ce−a及び暗部ce−bを1つの画像として認識することで、細胞ceの検出が可能である。