JP2018102226A - 実験用の撮像装置、実験システム、実験システムの制御方法、実験用の撮像装置の制御プログラム、及び実験システムの制御プログラム - Google Patents

実験用の撮像装置、実験システム、実験システムの制御方法、実験用の撮像装置の制御プログラム、及び実験システムの制御プログラム Download PDF

Info

Publication number
JP2018102226A
JP2018102226A JP2016252545A JP2016252545A JP2018102226A JP 2018102226 A JP2018102226 A JP 2018102226A JP 2016252545 A JP2016252545 A JP 2016252545A JP 2016252545 A JP2016252545 A JP 2016252545A JP 2018102226 A JP2018102226 A JP 2018102226A
Authority
JP
Japan
Prior art keywords
unit
observation
imaging
sample
liquid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016252545A
Other languages
English (en)
Inventor
宏樹 網野
Hiroki Amino
宏樹 網野
崇人 青木
Takahito Aoki
崇人 青木
野中 修
Osamu Nonaka
修 野中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2016252545A priority Critical patent/JP2018102226A/ja
Priority to US15/842,776 priority patent/US20180179483A1/en
Priority to CN201711442701.0A priority patent/CN108270965A/zh
Publication of JP2018102226A publication Critical patent/JP2018102226A/ja
Pending legal-status Critical Current

Links

Classifications

    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M23/00Constructional details, e.g. recesses, hinges
    • C12M23/50Means for positioning or orientating the apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M23/00Constructional details, e.g. recesses, hinges
    • C12M23/52Mobile; Means for transporting the apparatus
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M29/00Means for introduction, extraction or recirculation of materials, e.g. pumps
    • C12M29/26Conditioning fluids entering or exiting the reaction vessel
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M31/00Means for providing, directing, scattering or concentrating light
    • C12M31/10Means for providing, directing, scattering or concentrating light by light emitting elements located inside the reactor, e.g. LED or OLED
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/06Means for regulation, monitoring, measurement or control, e.g. flow regulation of illumination
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/30Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration
    • C12M41/36Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration of biomass, e.g. colony counters or by turbidity measurements
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/48Automatic or computerized control
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M43/00Combinations of bioreactors or fermenters with other apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Organic Chemistry (AREA)
  • Zoology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Wood Science & Technology (AREA)
  • Sustainable Development (AREA)
  • Biotechnology (AREA)
  • Biomedical Technology (AREA)
  • Microbiology (AREA)
  • Biochemistry (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Genetics & Genomics (AREA)
  • Analytical Chemistry (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Clinical Laboratory Science (AREA)
  • Computer Hardware Design (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

【課題】試料に含まれる物質に係る操作を行うことができ、かつ、試料の画像を取得することができる実験システムを提供する。
【解決手段】実験システム1は、試料50を撮影することにより画像データを作成する撮像ユニット170と、撮像ユニットの位置を移動させる観察移動機構180とを有する。また、実験システム1は、試料50に液体を供給する又は前記試料50から液体を除去する供給除去部271と、供給除去部271の位置を移動させる操作移動機構280と、供給除去部271を介して液体を移動させるためのポンプ292とを備える。さらに、実験システム1は、撮像ユニット170と供給除去部271との位置を連動させるように観察移動機構180と操作移動機構280との動作を制御し、撮像ユニット170と供給除去部271との位置に応じてポンプ292の動作を制御する制御部710を備える。
【選択図】図3

Description

本発明は、実験用の撮像装置、実験システム、実験システムの制御方法、実験用の撮像装置の制御プログラム、及び実験システムの制御プログラムに関する。
一般に、インキュベータ内に培養容器を静置し、当該培養容器内の培養細胞等の画像を得る装置が知られている。例えば特許文献1には、インキュベータ内で、撮像部であるカメラを移動させながら複数の撮影を行い、培養容器内の広い範囲に存在する細胞を撮影する装置に係る技術が開示されている。
また、一般に、培養容器を用いて細胞等を培養しながら、当該培養容器内の培地に試薬を添加し、そのときの培養細胞等の変化を観察する実験が行われることがある。また、細胞を培養する際には、培地を定期的に交換する必要がある。
特開2005−295818号公報
本発明は、試料に含まれる物質に係る操作を行うことができ、かつ、試料の画像を取得することができる実験用の撮像装置、実験システム、実験システムの制御方法、実験用の撮像装置のプログラム、及び実験システムの制御プログラムを提供することを目的とする。
本発明の一態様によれば、実験用の撮像装置は、特定の面に分布する試料の前記面における異なる位置に移動可能であり物質を添加又は除去する外部の物質操作機構の位置に対応して、撮像位置を変更可能な実験用の撮像装置であって、前記試料を撮影することにより画像データを作成する撮像ユニットと、前記撮像ユニットの位置を移動させる観察移動機構と、前記撮像ユニットの位置と前記物質操作機構の物質操作位置とが連動するように前記観察移動機構の動作を制御する制御部とを備える。
本発明の一態様によれば、実験システムは、試料を撮影することにより画像データを作成する撮像ユニットと、前記撮像ユニットの位置を移動させる観察移動機構と、前記試料に液体を供給する又は前記試料から液体を除去する供給除去部と、前記供給除去部の位置を移動させる操作移動機構と、前記供給除去部を介して前記液体を移動させるためのポンプと、前記撮像ユニットと前記供給除去部との位置を連動させるように前記観察移動機構と前記操作移動機構との動作を制御し、前記撮像ユニットと前記供給除去部との位置に応じて前記ポンプの動作を制御する制御部とを備える。
本発明の一態様によれば、実験システムの制御方法は、試料を撮影することにより画像データを作成する撮像ユニットと、前記撮像ユニットの位置を移動させる観察移動機構と、前記試料に液体を供給する又は前記試料から液体を除去する供給除去部と、前記供給除去部の位置を移動させる操作移動機構と、前記供給除去部を介して前記液体を移動させるためのポンプとを有する実験システムの制御方法であって、前記撮像ユニットと前記供給除去部との位置を連動させるように前記観察移動機構と前記操作移動機構との動作を制御することと、前記撮像ユニットと前記供給除去部との位置に応じて前記ポンプの動作を制御することとを含む。
本発明の一態様によれば、実験用の撮像装置の制御プログラムは、特定の面に分布する試料の前記面における異なる位置に移動可能であり物質を添加又は除去する物質操作機構の位置に対応して、撮像位置を変更可能な実験用の撮像装置の制御プログラムであって、撮像ユニットを用いて前記試料を撮影することにより画像データを作成することと、観察移動機構を用いて前記撮像ユニットの位置を移動させることと、前記撮像ユニットの位置と前記物質操作機構の物質操作位置とが連動するように前記観察移動機構の動作を制御することとをコンピュータに実行させる。
本発明の一態様によれば、実験システムの制御プログラムは、試料を撮影することにより画像データを作成する撮像ユニットと、前記撮像ユニットの位置を移動させる観察移動機構と、前記試料に液体を供給する又は前記試料から液体を除去する供給除去部と、前記供給除去部の位置を移動させる操作移動機構と、前記供給除去部を介して前記液体を移動させるためのポンプとを有する実験システムの制御プログラムであって、前記撮像ユニットと前記供給除去部との位置を連動させるように前記観察移動機構と前記操作移動機構との動作を制御することと、前記撮像ユニットと前記供給除去部との位置に応じて前記ポンプの動作を制御することとをコンピュータに実行させる。
本発明によれば、試料に含まれる物質に係る操作を行うことができ、かつ、試料の画像を取得することができる実験用の撮像装置、実験システム、実験システムの制御方法、実験用撮像装置のプログラム、及び実験システムの制御プログラムを提供できる。
図1は、本発明の一実施形態に係る実験システムの概略を示す図である。 図2Aは、一実施形態に係る観察装置の構成例の概略を示すブロック図である。 図2Bは、一実施形態に係る液体操作装置の構成例の概略を示すブロック図である。 図2Cは、一実施形態に係る操作装置の構成例の概略を示すブロック図である。 図2Dは、一実施形態に係る表示装置の構成例の概略を示すブロック図である。 図3は、一実施形態に係る実験システムの構成例の概略を示すブロック図である。 図4は、一実施形態に係る操作装置制御の一例の概略を示すフローチャートである。 図5は、一実施形態に係る操作装置に表示される操作画面の一例の概略を示す図である。 図6は、一実施形態に係る特定位置観察モード処理の一例の概略を示すフローチャートである。 図7は、一実施形態に係る測定モード処理の一例の概略を示すフローチャートである。 図8Aは、一実施形態に係る液体操作モード処理の一例の概略を示すフローチャートである。 図8Bは、一実施形態に係る液体操作モード処理の一例の概略を示すフローチャートである。 図9は、一実施形態に係る操作装置に表示される操作画面の一例の概略を示す図である。 図10は、一実施形態に係る自動培地交換モード処理の一例の概略を示すフローチャートである。 図11Aは、一実施形態に係る観察装置制御の一例の概略を示すフローチャートである。 図11Bは、一実施形態に係る観察装置制御の一例の概略を示すフローチャートである。 図12Aは、一実施形態に係る液体操作装置制御の一例の概略を示すフローチャートである。 図12Bは、一実施形態に係る液体操作装置制御の一例の概略を示すフローチャートである。 図13は、一実施形態に係る表示装置制御の一例の概略を示すフローチャートである。
本発明の一実施形態について説明する。本実施形態に係る実験システム1は、例えば細胞を培養しながら、細胞の画像を取得することができる。さらに、実験システム1は、細胞を培養しながら、培地に試薬を添加したり、培地を交換したりすることができる。実験システム1では、細胞の画像を取得するための観察装置を無線通信を用いて遠隔操作をしたり、得られた画像を無線通信によって離れた場所にある表示装置に表示させたりすることができる。また、実験システム1では、培地に試薬を添加する等を行う液体操作装置を無線通信を用いて遠隔操作することができる。したがって、実験システム1によれば、細胞を例えばインキュベータ内に静置したまま、細胞の観察や培地の交換などが行われ得る。実験システム1は、インキュベータ内で用いられてもよいし、クリーンベンチ内等、他の場所で用いられてもよい。
[実験システムの構成]
図1は、実験システム1の外観の概略を示す模式図である。図1に示すように、実験システム1は、観察装置10と、液体操作装置20と、操作装置30と、表示装置40とを備える。図2Aは観察装置10の構成の一例を示すブロック図であり、図2Bは液体操作装置20の構成の一例を示すブロック図であり、図2Cは操作装置30の構成の一例を示すブロック図であり、図2Dは表示装置40の構成の一例を示すブロック図である。また、図3は、実験システム1の全体の機能の概略を示すブロック図である。
〈観察装置〉
図1に示すように、観察装置10の外形は、おおよそ平板形状をしている。観察装置10は、例えばインキュベータ内に設置され、観察装置10の水平な上面には、観察対象である試料50が配置される。以降の説明のため、観察装置10の試料50が配置される面と平行な面内に互いに直交するX軸及びY軸を定義し、X軸及びY軸と直交するように鉛直上向きにZ軸を定義する。観察装置10の上面には、透明板102が設けられており、観察装置10の筐体101の内部には、撮像ユニット170が設けられている。試料50は、透明板102上に静置される。観察装置10は、透明板102を介して試料50を撮影し、試料50の画像を取得する。なお、観察というと目視が連想されるが、観察装置10は、機械による観測、及び観測結果の数値化、データ化等を行い得る。観察装置10は、撮像装置の一種であると考えてもよい。
実験システム1の測定対象である試料50は、例えば次のようなものである。容器51内に培地53が入れられ、培地53内で細胞等が培養される。容器51は、例えばシャーレ、培養フラスコ、マルチウェルプレート等であり得る。このように、容器51は、例えば、生体試料を培養するための培養容器である。容器51の形状、大きさ等は限定されない。また、容器51の蓋は、光を反射する。測定対象は例えば細胞であるが、細胞、接着性の細胞でもよいし、浮遊性の細胞でもよい。また、細胞は、スフェロイドや組織であってもよい。さらに、細胞は、どのような生物に由来してもよく、菌等であってもよい。このように、試料50は、生物又は生物に由来する試料である生体試料を含む。また、実験システム1の用途は、生体試料に限定されない。実験システム1は、種々の物質等を対象とした実験に用いられ得る。例えば、単に各種物質を添加又は除去する際の様子を観察する用途に、実験システム1は用いられ得る。例えば、特定の薬剤を散布、添加するときの拡散の仕方などの研究にも、実験システム1は利用され得る。
観察装置10の筐体101の内部には、観察装置10の各構成要素が設けられている。インキュベータ内は例えば温度37℃、湿度95%といった高温多湿の環境である。観察装置10はこのような高温多湿の環境で用いられるため、筐体101及び透明板102によって観察装置10の内部は気密性が保たれている。
筐体101の観察ヘッド部160には、撮像ユニット170が設けられている。撮像ユニット170は、撮像素子、撮像光学系等を有する。撮像ユニット170は、試料50の方向を撮像し、試料50の画像を取得する。また、観察ヘッド部160には、第1の照明ユニット176が設けられている。第1の照明ユニット176は、LED等の光源と照明光学系等を有しており、試料50の方向へと照明光を放射する。第1の照明ユニット176から放射された照明光は、試料50の蓋で反射して、細胞等の観察対象物を照らし、撮像ユニット170の光学系へと入射する。このようにして、撮像ユニット170は、照明された試料50の画像を取得することができる。
観察ヘッド部160は、観察移動機構180によって移動させられる。観察移動機構180は、観察ヘッド部160をX軸方向に移動させるための例えば送りねじとアクチュエータとを有するX移動機構182を備える。また、観察移動機構180は、観察ヘッド部160をY軸方向に移動させるための例えば送りねじとアクチュエータとを有するY移動機構184を備える。撮像ユニット170は、透明板102上の試料50を拡大して撮影することができるが、試料50の一部しか一度に撮影することができない。観察移動機構180によって撮像ユニット170が移動させられることで、撮像ユニット170は、広い範囲の画像を取得することができる。Z軸方向の撮影位置は、撮像ユニット170の撮像光学系の合焦位置が光軸方向に変更されることで変更される。なお、合焦調整機構に代えて、又はこれと共に、観察移動機構180は観察ヘッド部160をZ軸方向に移動させるための送りねじ及びアクチュエータ等を有するZ移動機構を備えていてもよい。
筐体101の内部には、観察移動機構180及び撮像ユニット170の動作を制御するための第1の制御回路110が設けられている。また、筐体101の内部には、第1の通信装置152が設けられている。第1の通信装置152は、液体操作装置20、操作装置30及び表示装置40と通信を行うための装置である。この通信には、例えばWi−Fi(登録商標)又はBluetooth(登録商標)等を利用した無線通信が利用される。Wi−Fiが利用されるとき、例えば観察装置10の第1の通信装置152は、アクセスポイントとして機能する。また、これらの無線通信の一部又は全部は、有線通信に置き換えられてもよい。
図2Aに示すように、観察装置10(撮像装置)は、上述の第1の制御回路110、観察ヘッド部160の撮像ユニット170及び第1の照明ユニット176、観察移動機構180、並びに第1の通信装置152に加えて、第1の記録装置761を備える。また、第1の制御回路110は、観察移動機構制御部711、撮像制御部712、画像処理部713、及び第1の照明制御部714としての機能を有する。観察移動機構制御部711は、観察移動機構180の動作を制御する。撮像制御部712は、撮像ユニット170の動作を制御する。画像処理部713は、撮像ユニット170で取得された画像に対して各種処理を行う。第1の制御回路110は、その他、観察装置10の各部の動作を制御する機能や、第1の通信装置152を介した通信を制御する機能等を備える。第1の記録装置761には、第1の制御回路110で用いられるプログラム及びパラメータ等を含む各種情報が記録されている。また、第1の記録装置761には、第1の制御回路110で作成された各種情報が記録され得る。第1の照明制御部714は、第1の照明ユニット176の動作を制御する。
〈液体操作装置〉
図1に示すように、液体操作装置20は、観察装置10上に静置された試料50の培地に試薬を添加したり、試料50の液体の培地53を交換したりできる機能を有する。
液体操作装置20は、操作ヘッド部260と操作移動機構280とを備える。操作ヘッド部260は、操作移動機構280の動作によって移動する。例えば操作ヘッド部260は、観察装置10の観察ヘッド部160と対向する位置に移動する。操作ヘッド部260には、供給除去部271と、第2の照明ユニット276とが設けられている。供給除去部271には、供給部272と、除去部274とが含まれる。供給除去部271は、例えばピペットのようなものを含む。ここでいうピペットのようなものは、いわゆるピペットに限らず、漏斗、スポイト、注射針などを含み、物質を添加又は除去できるものを広く含み、単なる管、溝、穴なども含む。供給除去部271は、物質添加部、物質除去部、物資添加除去部、物質交換部、物質移動部、物質位置変更部、あるいはこれらを含む装置として機能し得る。供給除去部271は、試料に対し特定の物質を添加又は除去する物質交換部、試料に対し特定の物質を除去した後に添加する物質置換部、試料内の特定の物質を移動させる物質操作部などとしての機能、又はこれらの組合せを発揮できる部材及び機構を有している。
供給部272は、試料50の容器51に液体を添加する部分であり、例えばピペット形状を有している。供給部272は、Z軸方向に上下し、例えば供給部272の先端は、培地53内に浸かったり、培地53から取り出されたりする。供給部272をZ軸方向に動作させるため、操作ヘッド部260には第1のZ移動機構285が設けられている。
除去部274は、試料50の容器51内の液体を除去する部分であり、例えばピペット形状を有している。除去部274は、Z軸方向に上下し、例えば除去部274の先端は、培地53内に浸かったり、培地53から取り出されたりする。除去部274をZ軸方向に動作させるため、操作ヘッド部260には第2のZ移動機構286が設けられている。
第2の照明ユニット276は、試料50を照明するため、試料50の方向に照明光を放射する。第2の照明ユニット276から放射された照明光は、試料50を透過して、操作ヘッド部260と対向する観察ヘッド部160に設けられた撮像ユニット170に入射する。このようにして、撮像ユニット170は、照明された試料50の画像を取得することができる。供給部272又は除去部274で試料50の容器51内の液体を取り扱う場合、試料50の蓋は取り外された状態となる。この場合、観察ヘッド部160に設けられた第1の照明ユニット176から放射された光では、試料50の細胞等の観察対象物を照明することができないため、第2の照明ユニット276が用いられる。
なお、観察ヘッド部160と操作ヘッド部260との位置の調整に照明光の位置が利用されてもよい。すなわち、第2の照明ユニット276から放射される照明光の位置が、撮像ユニット170によって撮影された画像に基づいて特定され得る。特定された照明光の位置を利用して、観察ヘッド部160と操作ヘッド部260とが対向するように、観察ヘッド部160と操作ヘッド部260との位置の調整が行われてもよい。本実施形態では、観察ヘッド部160と操作ヘッド部260との位置が後述する操作装置30によって制御される例を示すが、これに限らない。例えば、観察装置10が、観察装置10が取得した画像に基づいて第2の照明ユニット276から放射される照明光の位置を解析し、当該照明光の位置に合せるように観察ヘッド部160の位置を移動させる制御を行ってもよい。この場合、観察装置10の動作は、液体操作装置20の動作に追従することになる。また、液体操作装置20が、観察装置10から観察装置10が取得した画像を取得し、当該画像における第2の照明ユニット276から放射される照明光の位置に基づいて観察ヘッド部160と操作ヘッド部260との位置関係を解析し、操作ヘッド部260の位置を移動させるような制御を行ってもよい。この場合、液体操作装置20の動作は、観察装置10の動作に追従することになる。また、観察装置10が、液体操作装置20の動作に応じて動作する場合、以下のようにであってもよい。すなわち、例えば、液体操作装置20は、第2の照明ユニット276から照射される光の色、波長等で液体操作装置20による指示を判別してもよい。また、観察装置10は、第2の照明ユニット276から放射される特定のオンオフパターンで、観察ヘッド部160が操作ヘッド部260の近くにあることなどの情報やその他の指示を特定してもよい。観察ヘッド部160の位置は、第2の照明ユニット276からの光が強くなる位置、例えば上述のように観察ヘッド部160と操作ヘッド部260とが対向する位置に合わせられるように制御されてもよいし、他の位置に合わせられるように制御されてもよい。また、第2の照明ユニット276から照射される照明ビームの形状パターンを非対称形状とし、照明ビームのどの位置が検出されているかが判別され得るように構成されており、照明ビームの形状に応じて観察ヘッド部160の位置がX又はY各方向に移動させられてもよい。例えば、左側パターンを撮像部が検出したときに、もっと右を検出できる位置まで観察ヘッド部160を移動させる、といった位置合わせが可能となるし、あえて位置をずらす制御を行うことも可能になる。観察装置10は、必要に応じて、観察ヘッド部160の位置制御に先立って、液体操作装置20に対して照明光の照射を行うことを要求してもよい。また同様に、液体操作装置20が操作ヘッド部260の位置を観察ヘッド部160の位置に応じて制御してもよい。
操作移動機構280は、操作ヘッド部260をX軸方向に移動させるための例えば送りねじとアクチュエータとを有するX移動機構282を備える。また、操作移動機構280は、操作ヘッド部260をY軸方向に移動させるための例えば送りねじとアクチュエータとを有するY移動機構284を備える。操作移動機構280によって操作ヘッド部260が移動することで、操作ヘッド部260は、観察装置10の透明板102上の試料50の様々な位置において、試薬等の液体などの物質を添加したり除去したりすることができる。
液体操作装置20には、ポンプ292が設けられている。また、液体操作装置20には、供給部272と管で接続された試薬容器294と、除去部274と管で接続された廃液容器295とが設けられている。ポンプ292は、試薬容器294内の液体を供給部272へと送り出す。また、ポンプ292は、除去部274から液体を廃液容器295へと送り出す。図1には、それぞれ1つの試薬容器294及び廃液容器295が描かれているが、これらの容器はそれぞれ複数設けられており、供給される液体等が切り換えられるように液体操作装置20は構成されていてもよい。
液体操作装置20の筐体201には、操作移動機構280、第1のZ移動機構285、第2のZ移動機構286、第2の照明ユニット276及びポンプ292の動作を制御するための第2の制御回路210が設けられている。また、筐体201には、観察装置10の第1の通信装置152等と通信を行うための第2の通信装置252が設けられている。この通信には、例えばWi−Fi又はBluetooth等を利用した無線通信が利用される。
図2Bに示すように、液体操作装置20は、上述の第2の制御回路210、操作ヘッド部260、操作移動機構280、ポンプ292及び第2の通信装置252に加えて、第2の記録装置762を備える。また、第2の制御回路210は、操作移動機構制御部721、ポンプ制御部722、及び第2の照明制御部724としての機能を有する。操作移動機構制御部721は、操作移動機構280の動作を制御する。また、操作移動機構制御部721は、操作ヘッド部260の第1のZ移動機構285及び第2のZ移動機構286の動作を制御する。ポンプ制御部722は、ポンプ292の動作を制御する。第2の照明制御部724は、第2の照明ユニット276の動作を制御する。第2の制御回路210は、その他、液体操作装置20の各部の動作を制御する機能や、第2の通信装置252を介した通信を制御する機能等を備える。第2の記録装置762には、第2の制御回路210で用いられるプログラム及びパラメータを含む各種情報が記録されており、また、第2の制御回路210で作成された各種情報が記録され得る。
本実施形態では、液体操作装置20は、試料50の培地に試薬を添加したり、試料50の液体の培地53を交換したりできる機能を有するものとして、液体を操作する場合について説明する。しかしながら、液体操作装置20は、固体又は気体等を含む各種物質の操作を行うことができる物質操作機構を含む物質操作装置に置き換えられ得る。例えば、この物質操作装置は気体の交換や添加又は除去を行ってもよいし、液体中又は気体中の固体の添加、除去、移動等の操作を行ってもよい。上述のとおり、実験システム1が対象とする試料50は、生体試料に限らず、各種実験の対象となり得る種々のものであってよい。したがって、物質操作装置も各種実験の対象となり得る種々の物質を操作するものとなり得る。
〈操作装置〉
図1に示すように、操作装置30は、例えばタブレット型の情報端末、スマートフォン、パーソナルコンピュータ(PC)、専用の情報端末等である。図1には、タブレット型の情報端末を図示している。操作装置30は、インキュベータの外部に設置される。操作装置30は、観察装置10と通信を行う。また、操作装置30は、液体操作装置20又は表示装置40と通信を行ってもよい。操作装置30は、観察装置10、液体操作装置20、表示装置40等の動作を制御する。
操作装置30は、例えば液晶ディスプレイといった第1の表示ユニット370と、タッチパネル380とを備える。操作装置30は、タッチパネル380の他に、スイッチ、ダイヤル、キーボード、マウス等といった入力装置を含んでいてもよい。
また、操作装置30には、第3の通信装置352が設けられている。第3の通信装置352は、第1の通信装置152等と通信を行うための装置である。例えば、第1の通信装置152及び第3の通信装置352を介して、観察装置10と操作装置30とは通信を行う。
また、図2Cに示すように、操作装置30は、第3の制御回路310、第3の通信装置352、第1の表示ユニット370及びタッチパネル380に加えて、第3の記録装置763を備える。第3の制御回路310は、操作装置30の各部の動作を制御する。第3の記録装置763は、例えば第3の制御回路310で用いられるプログラムや各種パラメータを記録している。また、第3の記録装置763は、観察装置10で得られ、観察装置10から受信したデータ、そのデータに基づき作成されたデータ等を記録する。
第3の制御回路310は、入力取得部731、第1の表示制御部732、位置制御部733、動作制御部734、データ解析部735等としての機能を有する。入力取得部731は、例えばタッチパネル380から、タッチパネル380への入力に係るデータを取得する。第1の表示制御部732は、第1の表示ユニット370の動作を制御する。位置制御部733は、観察装置10の観察ヘッド部160の位置と液体操作装置20の操作ヘッド部260の位置とを統合的に制御するために、観察移動機構制御部711及び操作移動機構制御部721への制御信号を作成し、出力する。動作制御部734は、観察装置10の撮像ユニット170、並びに、液体操作装置20の第2の照明ユニット276及びポンプ292等の動作を統合的に制御するために、観察装置10及び液体操作装置20への制御信号を作成し、出力する。データ解析部735は、例えば、第3の通信装置352を介して取得した観察装置10で得られたデータを用いて、各種データ解析を行う。
〈表示装置〉
実験システム1は、操作装置30の第1の表示ユニット370と別の表示装置を有していてもよい。図1に示すように、本実施形態では、実験システム1は、例えばヘッドマウントディスプレイといった、ウェアラブルな表示装置40を備えている。表示装置40は、ユーザの眼の前に配置される第2の表示ユニット470を備える。第2の表示ユニット470は、例えば瞳分割方式等を用いて、ユーザが通常の視野と第2の表示ユニット470に表示される画像との両方を視認できるように構成されていることが好ましい。第2の表示ユニット470には、例えば、観察装置10で撮影された画像が表示される。その結果、ユーザは作業を行っている最中に試料50の状況を把握することができる。
表示装置40は、第4の制御回路410と、第4の通信装置452とを備える。図2Dに示すように、第4の制御回路410は、第2の表示制御部741としての機能を備える。ここで、第2の表示制御部741は、第2の表示ユニット470の表示動作を制御する。第4の通信装置452は、第1の通信装置152等と通信するように構成されている。また、表示装置40は、第4の記録装置764を備える。第4の記録装置764は、例えば第4の制御回路410で用いられるプログラムや各種パラメータを記録している。
〈その他〉
第1の制御回路110、第2の制御回路210、第3の制御回路310及び第4の制御回路410は、Central Processing Unit(CPU)、Application Specific Integrated Circuit(ASIC)、又はField Programmable Gate Array(FPGA)等の集積回路等を含む。これらの制御回路は、それぞれ1つの集積回路等で構成されてもよいし、複数の集積回路等が組み合わされて構成されてもよい。また、第1の記録装置761、第2の記録装置762、第3の記録装置763及び第4の記録装置764は、例えば半導体メモリ、ハードディスク等といった記録装置を含む。
図2A乃至図2Dに示す構成例は一例であり、上述の機能は、観察装置10、液体操作装置20、操作装置30及び表示装置40のうち他の部分によって担われてもよい。すなわち、例えば、データ解析は、操作装置30で行われずに観察装置10によって行われてもよい。液体操作装置20の各部の動作は、観察装置10の第1の制御回路110によって、制御されてもよい。また、表示装置40が存在せず、操作装置30の第1の表示ユニット370に全ての画像が表示されてもよい。
また、観察装置10、液体操作装置20、操作装置30及び表示装置40の間の通信の一例として、例えば観察装置10の第1の通信装置152がWi−Fi通信のインフラストラクチャー・モードにおけるアクセスポイントとなり、第1の通信装置152が他の通信装置と通信をする場合を説明した。しかしながらこれに限らず、第1の通信装置152以外の通信装置がアクセスポイントとなってもよいし、アドホック・モードが使われてもよい。また、観察装置10、液体操作装置20、操作装置30及び表示装置40は、それぞれインターネット等のネットワークに接続し、当該ネットワークを経由して互いに通信を行ってもよい。また、Bluetoothを用いた通信が行われてもよい。
以上のように、観察装置10、液体操作装置20、操作装置30及び表示装置40の各部の機能の分担は、種々であり得る。すなわち、実験システム1が全体として上述の機能を有していればよい。実験システム1の全体としての機能ブロック図を図3に示す。すなわち、実験システム1は、撮像ユニット170と、観察移動機構180と、供給除去部271と、操作移動機構280と、ポンプ292とを備える。また、実験システム1は、例えばタッチパネル380に相当する入力装置780と、第1の表示ユニット370及び第2の表示ユニット470に相当する表示ユニット770と、第1の照明ユニット176及び第2の照明ユニット276に相当する照明ユニット776とを備える。
また、実験システム1は、第1の記録装置761、第2の記録装置762、第3の記録装置763及び第4の記録装置764に相当する記録装置760を備える。また、実験システム1は、制御部710としての機能を備える。制御部710は、観察移動機構制御部711、撮像制御部712、画像処理部713、操作移動機構制御部721、ポンプ制御部722、位置制御部733、動作制御部734、及びデータ解析部735としての機能を有する。また、制御部710は、第1の表示制御部732と第2の表示制御部741とに相当する表示制御部751としての機能を有する。また、制御部710は、第1の照明制御部714と第2の照明制御部724とに相当する照明制御部754としての機能を有する。また、制御部710は、第1の表示制御部732と第2の表示制御部741とに相当する表示制御部751としての機能を有する。
[実験システムの動作]
実験システム1の動作について説明する。ここでは、実験システム1が4つの動作モードを備える場合を例に挙げて説明するが、実験システム1の動作はこれに限定されない。実験システム1は、動作モードとして、特定位置観察モードと、測定モードと、液体操作モードと、自動培地交換モードとを備える。
特定位置観察モードは、ユーザによる操作に応じて観察装置10の観察ヘッド部160が移動し、ユーザが希望する領域の画像が取得されるモードである。ユーザは、特定位置観察モードを用いることで、任意の時点で、試料50の任意の位置の状態を観察することができる。
測定モードは、予め定められたパターンに応じて観察装置10の観察ヘッド部160が移動し、必要な画像が取得されるモードである。各種実験においては、予め設定された所定の手続きに従って試料50の撮影を行い、所定の手続きに従って得られた画像に基づく解析を行うことがある。ユーザは、測定モードを使用することで、細かい操作を行うことなく、簡易な操作で予め定められた方法でデータを取得することができる。測定モードは、本実施形態で説明するようにユーザの指示に基づいて開始されてもよいし、例えば予め設定された時間になったら開始されてもよい。
液体操作モードは、ユーザによる操作に応じて試料50への液体の供給又は試料50からの液体の除去が行われるモードである。すなわち、液体操作モードでは、ユーザの指示に基づいて、観察装置10の観察ヘッド部160と液体操作装置20の操作ヘッド部260とが連動して移動し、液体操作装置20により液体の供給又は除去が行われる。ユーザは、液体操作モードを用いることで、試料50の所望の位置に試薬を添加したり、培地を交換したりできる。
自動培地交換モードは、試料50の培地を全て交換するモードである。すなわち、自動培地交換モードでは、予め定められたパターンに応じて観察装置10の観察ヘッド部160と液体操作装置20の操作ヘッド部260とが連動して移動し、培地の除去及び供給が行われる。この際、実験システム1は、撮像ユニット170を用いて得られた画像に基づいて、各種判断を行う。細胞を培養する実験においては、定期的に培地を交換する必要がある。ユーザは、実験システム1を用いることで、手作業によらずに、培地を交換することができる。
〈操作装置の動作〉
図4は、操作装置30の動作例の概略を示すフローチャートである。操作装置30は、実験システム1の各部の動作を制御するための指令を出力する。
ステップS101において、第3の制御回路310は、第1の表示ユニット370に表示される操作画面を更新する。例えば、操作装置30の第1の表示ユニット370には、図5に示すような画像が表示される。すなわち、第1の表示ユニット370には、例えば、特定位置観察アイコン611と、測定アイコン612と、液体操作アイコン613と、自動培地交換アイコン614と、終了アイコン615とを含む操作画面610が表示される。特定位置観察アイコン611は、特定位置観察モードを選択するためのアイコンである。測定アイコン612は、測定モードを選択するためのアイコンである。液体操作アイコン613は、液体操作モードを選択するためのアイコンである。自動培地交換アイコン614は、自動培地交換モードを選択するためのアイコンである。終了アイコン615は、実験システム1の制御を終了することを選択するためのアイコンである。
ステップS102において、第3の制御回路310は、例えばタッチパネル380からユーザによって入力された操作を取得する。例えば、タッチパネル380は、特定位置観察アイコン611と、測定アイコン612と、液体操作アイコン613と、自動培地交換アイコン614と、終了アイコン615とのうち何れかのアイコンがタッチされたことを検出する。ここで得られた操作に基づいて、以下の判定が行われ、各種処理が行われる。
ステップS103において、第3の制御回路310は、特定位置観察モードが選択されたか否かを判定する。特定位置観察モードが選択されていないとき、処理はステップS105に進む。一方、特定位置観察モードが選択されたとき、処理はステップS104に進む。ステップS104において、第3の制御回路310は、特定位置観察モード処理を実行する。特定位置観察モード処理の後、処理はステップS105に進む。
ステップS105において、第3の制御回路310は、測定モードが選択されたか否かを判定する。測定モードが選択されていないとき、処理はステップS107に進む。一方、測定モードが選択されたとき、処理はステップS106に進む。ステップS106において、第3の制御回路310は、測定モード処理を実行する。測定モード処理の後、処理はステップS107に進む。
ステップS107において、第3の制御回路310は、液体操作モードが選択されたか否かを判定する。液体操作モードが選択されていないとき、処理はステップS109に進む。一方、液体操作モードが選択されたとき、処理はステップS108に進む。ステップS108において、第3の制御回路310は、液体操作モード処理を実行する。液体操作モード処理の後、処理はステップS109に進む。
ステップS109において、第3の制御回路310は、自動培地交換モードが選択されたか否かを判定する。自動培地交換モードが選択されていないとき、処理はステップS111に進む。一方、自動培地交換モードが選択されたとき、処理はステップS110に進む。ステップS110において、第3の制御回路310は、自動培地交換モード処理を実行する。自動培地交換モード処理の後、処理はステップS111に進む。
ステップS111において、第3の制御回路310は、操作装置制御を終了するか否かを判定する。例えばユーザによって終了アイコン615がタッチされる等、操作装置制御処理を終了する旨の入力がなされたとき、操作装置制御を終了すると判定される。そのとき、操作装置制御は終了する。一方、操作装置制御を終了しないと判定されたとき、処理はステップS101に戻る。
各モードにおける操作装置30の動作について説明する。
(特定位置観察モード処理)
ステップS104で行われる特定位置観察モード処理の一例について、図6に示すフローチャートを参照して説明する。特定位置観察モード処理は、ユーザによる操作に応じて観察装置10の観察ヘッド部160を移動させ、ユーザが希望する領域の画像を撮像ユニット170に取得させるための処理である。
ステップS201において、第3の制御回路310は、操作装置30、観察装置10及び表示装置40の間の通信を確立させる。例えば、第1の通信装置152をアクセスポイントとして、観察装置10と操作装置30との間、及び観察装置10と表示装置40との間でWi−Fiを用いた通信を確立させる。また、必要に応じて、操作装置30と表示装置40との間でBluetoothを用いた通信を確立してもよい。
ステップS202において、第3の制御回路310は、観察装置10に対して、撮像ユニット170による撮像動作を開始させる指示を送信する。その結果、観察装置10では、撮像ユニット170による撮像動作が開始する。
ステップS203において、第3の制御回路310は、観察装置10に対して、撮像動作によって得られた画像を表示装置40へと送信させるための指示を送信する。その結果、観察装置10は、撮像ユニット170によって得られた画像を表示装置40へと送信することを開始する。画像を受信した表示装置40は、第2の表示ユニット470に受信した画像を表示する。この表示によりユーザは、観察装置10が現在撮影している画像をライブビューとして確認することができる。
ステップS204において、第3の制御回路310は、第1の表示ユニット370に表示される操作画面を更新する。操作画面には、観察したい箇所の方向、すなわち撮像ユニット170を移動させるべき方向を示す方向指示アイコン、撮影したい場所の座標を指定するための領域、撮像ユニット170による撮影のフォーカス面を移動させるためのフォーカス指示アイコン、静止画撮影を行うための撮影指示アイコン等が含まれ得る。
ステップS205において、第3の制御回路310は、例えばタッチパネル380から、ユーザによって入力された操作を取得する。ステップS206において、第3の制御回路310は、取得した操作に応じた指定位置に、観察装置10の観察ヘッド部160を移動させるための指示を観察装置10へと送信する。その結果、観察ヘッド部160は、指定位置へと移動する。
ステップS207において、第3の制御回路310は、ユーザによって静止画撮影を行う旨の入力がなされたか否かを判定する。静止画撮影の指示がないとき、処理はステップS209に進む。一方、静止画撮影の指示が入力されたとき、処理はステップS208に進む。
ステップS208において、第3の制御回路310は、観察装置10に対して、撮像ユニット170による静止画取得動作を行わせる指示を送信する。その結果、観察装置10では、撮像ユニット170によって静止画取得動作が行われ、静止画が取得される。取得された静止画は、表示装置40へと送信される。表示装置40の第2の表示ユニット470は、受信した静止画を表示する。このようにしてユーザは、観察装置10で取得された静止画を確認することができる。また、取得された静止画は、観察装置10の第1の記録装置761に記録されてもよいし、操作装置30へと送信され、操作装置30の第3の記録装置763に記録されてもよい。静止画取得指示の後、処理はステップS209に進む。
ステップS209において、第3の制御回路310は、特定位置観察モード処理を終了させるか否かを判定する。例えばユーザによって特定位置観察モード処理を終了する旨の入力がなされたとき、特定位置観察モード処理を終了すると判定される。そのとき、処理はステップS210に進む。一方、特定位置観察モード処理を終了しないと判定されたとき、処理はステップS204に戻り、上述の観察ヘッド部160の移動及び静止画撮影に係る動作が繰り返し行われる。
ステップS210において、第3の制御回路310は、終了動作を行う。すなわち、例えば、第3の制御回路310は、観察装置10に対して、撮像ユニット170による撮像動作を終了させ、観察ヘッド部160の位置を初期位置に戻させる。また、第3の制御回路310は、観察装置10に、観察装置10から表示装置40への画像の送信を終了させる。その後、処理は操作装置制御に戻る。
(測定モード処理)
ステップS106で行われる測定モード処理の一例について、図7に示すフローチャートを参照して説明する。測定モード処理は、予め定められたパターンに応じて観察装置10の観察ヘッド部160を移動させ、撮像ユニット170に必要な画像を取得させるための処理である。
ステップS301において、第3の制御回路310は、操作装置30、観察装置10及び表示装置40の間の通信を確立させる。
ステップS302において、第3の制御回路310は、試料50に関する画像を取得して行う測定のための測定パターンを観察装置10へと送信する。この測定パターンは、撮影を行う位置、撮影の条件等を含む。測定パターンは、例えば、サプライヤ又はユーザによって予め用意され第3の記録装置763に記録されていてもよいし、測定の都度等にユーザによって入力されてもよい。この測定パターンに基づいて、観察装置10は、撮像ユニット170の位置を移動させ、撮像ユニット170を用いて試料50の撮影を行う。観察装置10は、取得した画像に対して適宜に画像処理等を施し、処理後のデータを操作装置30へと送信する。観察装置10は、操作装置30へ、画像データを送信してもよいし、画像データに基づいて得られた数値データ等を送信してもよい。
ステップS303において、第3の制御回路310は、観察装置10から、撮影によって得られた画像に基づくデータを取得する。ステップS304において、第3の制御回路310は、観察装置10から取得したデータに基づいて、当該測定に応じた必要な解析を行う。第3の制御回路310は、解析結果を例えば、第3の記録装置763に記録する。ここで行われる解析は、例えば、細胞又は細胞のコロニーの計数、コロニーの大きさの決定、発光輝度の定量等を含み得る。
ステップS305において、第3の制御回路310は、解析結果を当該測定の結果として表示装置40へと送信する。解析結果は、例えばBluetooth等を用いて操作装置30から表示装置40へと直接送信されてもよいし、例えばWi−Fi等を用いて観察装置10を介して送信されてもよい。この送信の後、測定モード処理は終了し、処理は操作装置制御に戻る。解析結果を取得した表示装置40は、解析結果を第2の表示ユニット470に表示する。この表示により、ユーザは測定の結果を知ることができる。
なお、測定モード処理において、操作装置30の第1の表示ユニット370には、処理の状況を伝えるための画面が適宜に表示される。
(液体操作モード処理)
ステップS108で行われる液体操作モード処理の一例について、図8A及び図8Bに示すフローチャートを参照して説明する。液体操作モード処理は、ユーザによる操作に応じて観察装置10の観察ヘッド部160と液体操作装置20の操作ヘッド部260とを移動させ、ユーザによる操作に応じて液体操作装置20に液体の供給又は除去を行わせるための処理である。
ステップS401において、第3の制御回路310は、操作装置30、観察装置10、液体操作装置20及び表示装置40の間の通信を確立させる。
ステップS402において、第3の制御回路310は、観察装置10に対して、撮像ユニット170による撮像動作を開始させる指示を送信する。その結果、観察装置10では、撮像ユニット170による撮像動作が開始する。
ステップS403において、第3の制御回路310は、観察装置10に対して、撮像動作によって得られた画像を表示装置40へと送信させるための指示を送信する。その結果、観察装置10は、撮像ユニット170によって得られた画像を表示装置40へと送信することを開始する。画像を受信した表示装置40は、第2の表示ユニット470に受信した画像を表示する。
ステップS404において、第3の制御回路310は、第1の表示ユニット370に表示される操作画面を更新する。第1の表示ユニット370に表示される操作画面の一例を図9に示す。第1の表示ユニット370に表示される操作画面620は、方向指示アイコン621と、上下指示アイコン626とを含む。方向指示アイコン621は、観察ヘッド部160及び操作ヘッド部260をX軸のプラス方向又はマイナス方向に移動させるための矢印キーとY軸のプラス方向又はマイナス方向に移動させるための矢印キーとを含む。また、上下指示アイコン626は、操作ヘッド部260の供給部272又は除去部274をZ軸方向に上又は下に移動させるための矢印キーを含む。また、操作画面620は、液体操作装置20に試料50への液体の供給を行わせるための液体供給アイコン631と、液体操作装置20に試料50からの液体の除去を行わせるための液体除去アイコン632とを含む。また、操作画面620は、液体操作モードを終了するための終了アイコン638を含む。
ステップS405において、第3の制御回路310は、タッチパネル380から、ユーザによって入力された操作を取得する。ステップS406において、第3の制御回路310は、方向指示アイコン621がタッチされることによる移動指示が入力されたか否かを判定する。移動指示が入力されていないとき、処理はステップS409に進む。一方、移動指示が入力されたとき、処理はステップS407に進む。
ステップS407において、第3の制御回路310は、取得した操作に応じた方向に、観察装置10の観察ヘッド部160を移動させるための指示を観察装置10へと送信する。その結果、観察ヘッド部160は、ユーザによって指示された方向へと移動する。同様に、ステップS408において、第3の制御回路310は、取得した操作に応じた方向に、液体操作装置20の操作ヘッド部260を移動させるための指示を液体操作装置20へと送信する。その結果、操作ヘッド部260は、ユーザによって指示された方向へと、観察ヘッド部160とが試料50を挟んで対向するように、連動して移動する。その後、処理はステップS409に進む。
なお、観察ヘッド部160及び操作ヘッド部260のX−Y平面における移動に限らず、上下指示アイコン626を用いた入力に応じた、供給部272又は除去部274の上下方向への移動が行われてもよい。また、上下指示アイコン626を用いた入力に応じた、撮像ユニット170による撮影の合焦位置をZ軸に沿って移動させる動作が行われてもよい。
ステップS409において、第3の制御回路310は、液体供給アイコン631又は液体除去アイコン632がタッチされることによる指示が入力されたか否かを判定する。液体供給アイコン631がタッチされたとき、処理はステップS410に進む。液体除去アイコンがタッチされたとき、処理はステップS413に進む。液体供給アイコン631及び液体除去アイコン632の何れもタッチされていないとき、処理はステップS416に進む。
液体供給アイコン631がタッチされたとき、ステップS410において、第3の制御回路310は、供給部272を試料50に近づけるように、すなわち、供給部272の位置を下げるように第1のZ移動機構285を動作させる指示を液体操作装置20へと送信する。その結果、第1のZ移動機構285は、供給部272を試料50に近づけるように動作する。
ステップS411において、第3の制御回路310は、供給部272から試料50へと液体を供給するようにポンプ292を動作させる指示を液体操作装置20へと送信する。その結果、試薬容器294内の試薬が試料50へと供給される。
ステップS412において、第3の制御回路310は、供給部272を試料50から遠ざけるように、すなわち、供給部272の位置を上げるように第1のZ移動機構285を動作させる指示を液体操作装置20へと送信する。その結果、第1のZ移動機構285は、供給部272を試料50から遠ざけるように動作する。その後、処理はステップS416に進む。
液体除去アイコン632がタッチされたとき、ステップS413において、第3の制御回路310は、除去部274を試料50に近づけるように、すなわち、除去部274の位置を下げるように第2のZ移動機構286を動作させる指示を液体操作装置20へと送信する。その結果、第2のZ移動機構286は、除去部274を試料50に近づけるように動作する。
ステップS414において、第3の制御回路310は、試料50から除去部274が液体を除去するようにポンプ292を動作させる指示を液体操作装置20へと送信する。その結果、試料50の試薬が廃液容器295へと排出される。
ステップS415において、第3の制御回路310は、除去部274を試料50から遠ざけるように、すなわち、除去部274の位置を上げるように第2のZ移動機構286を動作させる指示を液体操作装置20へと送信する。その結果、第2のZ移動機構286は、除去部274を試料50から遠ざけるように動作する。その後、処理はステップS416に進む。
なお、液体操作モード処理では、除去部274及び供給部272のZ位置等が、撮像ユニット170で得られた画像に基づいて判断される。
ステップS416において、第3の制御回路310は、液体操作モード処理を終了させるか否かを判定する。例えばユーザによって液体操作モード処理を終了する旨の入力がされたとき、すなわち、終了アイコン638がタッチされたとき、液体操作モード処理を終了すると判定される。そのとき、処理はステップS417に進む。一方、液体操作モード処理を終了しないと判定されたとき、処理はステップS404に戻り、上述の観察ヘッド部160及び操作ヘッド部260の移動、並びに、試薬の共有又は除去に係る動作が行われる。
ステップS417において、第3の制御回路310は、終了動作を行う。すなわち、例えば、第3の制御回路310は、観察装置10に、撮像ユニット170による撮像動作を終了させ、観察ヘッド部160の位置を初期位置に戻させる。また、第3の制御回路310は、観察装置10に、観察装置10から表示装置40への画像の送信を終了させる。また、第3の制御回路310は、液体操作装置20に、操作ヘッド部260の位置を初期位置に戻させる。その後、処理は操作装置制御に戻る。
(自動培地交換モード処理)
ステップS110で行われる自動培地交換モード処理の一例について、図10に示すフローチャートを参照して説明する。自動培地交換モード処理は、試料50の培地をユーザの操作に依らずに交換する動作に係る処理である。
ステップS501において、第3の制御回路310は、操作装置30、観察装置10及び液体操作装置20の間の通信を確立させる。
ステップS502において、第3の制御回路310は、観察装置10に対して、撮像ユニット170による撮像動作を開始させる指示を送信する。その結果、観察装置10では、撮像ユニット170による撮像動作が開始する。
ステップS503において、第3の制御回路310は、撮像ユニット170で得られた画像に係るデータを取得することを開始する。さらに、第3の制御回路310は、この画像データを解析することを開始する。自動培地交換モードでは、第3の制御回路310は、画像データに基づいて、観察装置10及び液体操作装置20の動作を制御する。
ステップS504において、第3の制御回路310は、画像データの解析結果に基づいて特定される試料50の適切な位置に観察装置10の観察ヘッド部160を移動させるための指示を観察装置10へと送信する。同様に、第3の制御回路310は、液体操作装置20の操作ヘッド部260を移動させるための指示を液体操作装置20へと送信する。その結果、第3の制御回路310は、試料50の培地を交換するにあたって適切な位置に、観察ヘッド部160及び操作ヘッド部260を連動して移動させる。
ここで、観察ヘッド部160及び操作ヘッド部260を移動させる目標位置は、例えば、第3の制御回路310が、得られた画像データに基づいて容器51の縁を検出し、容器51の内側を特定することで決定してもよい。培地交換においては、容器51の内側の何れの場所に供給部272及び除去部274が配置されても培地交換を行うことができるので、第3の制御回路310は、特定した容器51の内側の何れかの位置を目標位置とすることができる。同様に、容器51の縁のすぐ内側、又は容器51の中心が目標位置に設定されてもよい。また、第3の制御回路310は、得られた画像データに基づいて、培地がある領域、又は細胞がある領域を容器51の内側として特定してもよい。
ステップS505において、第3の制御回路310は、除去部274を試料50に近づけるように第2のZ移動機構286を動作させる指示を液体操作装置20へと送信する。その結果、第2のZ移動機構286は、除去部274を試料50に近づけるように動作する。
ステップS506において、第3の制御回路310は、試料50から除去部274が培地を除去するようにポンプ292を動作させる指示を液体操作装置20へと送信する。その結果、試料50の培地が廃液容器295へと排出される。
ステップS507において、第3の制御回路310は、除去部274を試料50から遠ざけるように、すなわち、除去部274の位置を上げるように第2のZ移動機構286を動作させる指示を液体操作装置20へと送信する。その結果、第2のZ移動機構286は、除去部274を試料50から遠ざけるように動作する。
ステップS508において、第3の制御回路310は、供給部272を試料50に近づけるように、第1のZ移動機構285を動作させる指示を液体操作装置20へと送信する。その結果、第1のZ移動機構285は、供給部272を試料50に近づけるように動作する。
ステップS509において、第3の制御回路310は、供給部272から試料50へと培地を供給するようにポンプ292を動作させる指示を液体操作装置20へと送信する。その結果、試薬容器294内の培地が試料50へと供給される。
ステップS510において、第3の制御回路310は、供給部272を試料50から遠ざけるように、すなわち、供給部272の位置を上げるように第1のZ移動機構285を動作させる指示を液体操作装置20へと送信する。その結果、第1のZ移動機構285は、供給部272を試料50から遠ざけるように動作する。その後、処理はステップS511に進む。
自動培地交換モード処理では、除去部274及び供給部272のZ位置、培地の量等が、撮像ユニット170で得られた画像に基づいて判断される。すなわち、撮像ユニット170は、合焦面を変化させながら、除去部274又は供給部272と試料50との位置関係が分かる画像を取得する。第3の制御回路310は、この画像に基づいて、除去部274又は供給部272の位置を制御する。例えば、供給部272を試料50に近づけるとき、撮像ユニット170の合焦位置は、容器51の底にある細胞ではなく、それよりも上に合わせられる。この状態で供給部272の位置を下げていき、供給部272の先端が撮像ユニット170で得られた画像で確認されると、容器51の底から供給部272の先端までの距離が例えば数マイクロメートルの単位で特定され得る。このような動作をする本実施形態に係る実験システム1によれば、供給部272の先端を細胞の近傍まで近づけることも可能である。
なお、このような合焦位置を変更する動作は、液体操作モード処理においても用いられ得る。すなわち、例えば細胞といった観察対象物に合焦している必要がなく、供給部272又は除去部274の先端に合焦していてもよいときなどには、合焦位置の変更によって供給部272又は除去部274のZ位置が最適に調整され得る。
1回のステップS504乃至ステップS510の動作によって、1箇所の培地が交換される。例えばシャーレの培地を交換する場合、当該シャーレの培地を全て1回で交換すればよい。一方、例えばマルチウェルプレートの培地を交換する場合、ウェルごとに上述の動作が繰り返される。
ステップS511において、第3の制御回路310は、例えばマルチウェルプレートの全てのウェル等、培地を交換すべき全ての対象容器について、培地交換が完了したか否かを判定する。全ての対象容器の培地交換が完了していないとき、処理はステップS504に戻り、培地交換を繰り返す。全ての対象容器の培地交換が完了しているとき、処理はステップS512に進む。
ステップS512において、第3の制御回路310は、終了動作を行う。すなわち、例えば、第3の制御回路310は、観察装置10に、撮像ユニット170による撮像動作を終了させ、観察ヘッド部160の位置を初期位置に戻させる。また、第3の制御回路310は、液体操作装置20に、操作ヘッド部260の位置を初期位置に戻させる。その後、処理は操作装置制御に戻る。
〈観察装置の動作〉
観察装置10の動作について図11A及び図11Bに示すフローチャートを参照して説明する。
ステップS601において、第1の制御回路110は、操作装置30から通信要求があったか否かを判定する。例えば、上述のとおり、各モードの処理の最初において、操作装置30は通信要求を行う。通信要求がないとき、ステップS601の処理を繰り返して待機する。通信要求があったとき、処理はステップS602に進む。例えば、観察装置10は、Wi−Fi等の通信について待機し続けていてもよいし、省電力のため、例えばBluetooth Low Energyといった低消費電力の通信手段を用いて通信要求を待ち、要求があったときにWi−Fi通信を起動してもよい。
ステップS602において、第1の制御回路110は、要求された通信を確立する。例えば、Wi−Fiを用いた通信を行っている場合、観察装置10の第1の通信装置152をアクセスポイントとして、操作装置30との間で通信を確立する。また、要求に応じて、表示装置40、液体操作装置20等とも通信を確立する。
ステップS603において、第1の制御回路110は、撮像動作又は画像送信開始指示がなされたか否かを判定する。撮像動作又は画像送信開始指示がなされていないとき、処理はステップS605に進む。一方、撮像動作又は画像送信開始指示がなされたとき、処理はステップS604に進む。ステップS604において、第1の制御回路110は、撮像ユニット170に撮像動作を開始させ、得られた画像に対して画像処理を行い、画像送信が要求されている場合には、要求されている先に画像の送信を行う。その後、処理はステップS605に進む。
例えば、図6に示す特定位置観察モード処理のステップS202及びステップS203の要求に応じて、又は図8Aに示す液体操作モード処理のステップS402及びステップS403の要求に応じて、撮像ユニット170による撮像を開始し、得られた画像のデータについて表示装置40へのデータ送信を開始する。また、図10に示す自動培地交換モード処理のステップS502及びステップS503の要求に応じて、撮像ユニット170による撮像を開始し、得られた画像のデータについて、操作装置30へのデータ送信を開始する。
ステップS605において、第1の制御回路110は、観察ヘッド部160を移動させる旨の指示がなされたか否かを判定する。ここで、実験システム1は、特定の面に分布する試料に対し、例えばこの面の各位置について観察することを含むことを想定している。観察ヘッド部160の移動の指示がなされていないとき、処理はステップS607に進む。一方、観察ヘッド部160の移動の指示がなされたとき、処理はステップS606に進む。ステップS606において、第1の制御回路110は、受信した移動指示に基づいて、観察ヘッド部160の位置を移動させる。このとき、観察装置10の外部から行われる位置制御で観察ヘッド部160の位置が変更され得る。移動指示は、観察ヘッド部160の移動先の座標が指定され得るし、観察ヘッド部160の移動方法も含めて指定され得るし、観察ヘッド部160の座標とは無関係に試料50に対する相対的な位置が指定され得る。上述のとおり、操作装置30は、観察装置10に観察ヘッド部160の移動の指示をすると同時に、液体操作装置20に操作ヘッド部260の移動の指示をすることがある。このような場合、第1の制御回路110は、観察ヘッド部160の位置に係る信号と操作ヘッド部260の位置に係る信号とを含む制御信号のうちから、観察ヘッド部160の位置に係る信号を弁別して観察移動機構180の動作を制御する。また、操作装置30は、観察装置10に観察ヘッド部160の目標位置と液体操作装置20に操作ヘッド部260の目標位置とが対応している場合、観察ヘッド部160の目標位置と操作ヘッド部260の目標位置とを1つの制御信号として出力してもよい。この場合、第1の制御回路110は、この1つの制御信号に基づいて、観察移動機構180の動作を制御する。同様に、後述する液体操作装置20の第2の制御回路210は、この1つの制御信号に基づいて、操作移動機構280の動作を制御する。その後、処理はステップS607に進む。
例えば、図6に示す特定位置観察モード処理のステップS206の要求に応じて、図8Aに示す液体操作モード処理のステップS408の要求に応じて、又は図10に示す自動培地交換モード処理のステップS504の要求に応じて、第1の制御回路110は、観察ヘッド部160の位置を移動させる。
上述の移動指示が例えば試料50に対する相対的な位置の指定により行われた場合のように観察ヘッド部160の座標が指示されない場合、観察装置10(撮像装置)は、移動指示が意図する位置まで観察ヘッド部160を移動させるように種々の演算を行う必要がある。例えば試料50に対する相対的な位置が指定された場合、第1の制御回路110は、試料50の位置を解析することで、指定位置を特定する。また、例えば、液体操作装置20の操作ヘッド部260の位置に基づく移動指示が行われた場合、第1の制御回路110は、操作ヘッド部260の位置に基づいて観察ヘッド部160の目標位置を算出し、観察ヘッド部160の位置を移動させてもよい。特に観察ヘッド部160の位置が操作ヘッド部260の位置と異なる場合などは、第1の制御回路110は、例えば観察ヘッド部160の位置について、操作ヘッド部260に対応して、何らかの座標変換、数値変換等を行い、操作ヘッド部260の位置に応じた観察ヘッド部160の位置の制御(撮像位置制御)を行い得る。この場合において、観察装置10は、操作ヘッド部260の第2の照明ユニット276から放射される光に基づいて、操作ヘッド部260の位置を特定してもよい。また、観察装置10は、液体操作装置20に操作ヘッド部260の位置又は観察ヘッド部160の位置に係る情報を要求してもよい。
ここで、観察ヘッド部160は特定の面に分布する試料の面に対して移動可能である。液体操作装置20の操作ヘッド部260は、観察装置10の外部にあり特定の物質を添加又は除去する物質操作機構として機能する。このように、観察装置10は、特定の面に分布する試料の前記面における異なる位置に移動可能であり物質を添加又は除去する物質操作機構の位置に対応して、撮像位置を変更可能な実験用の撮像装置であって、前記試料を撮影することにより画像データを作成する撮像ユニットと、前記撮像ユニットの位置を移動させる観察移動機構と、前記撮像ユニットの位置と前記物質操作機構の物質操作位置とが連動するように前記観察移動機構の動作を制御する制御部とを備える撮像装置として機能する。
ステップS607において、第1の制御回路110は、撮像ユニット170の焦点位置を移動させる旨の指示がなされたか否かを判定する。焦点位置の移動の指示がなされていないとき、処理はステップS609に進む。一方、焦点位置の移動の指示がなされたとき、処理はステップS608に進む。ステップS608において、第1の制御回路110は、受信した焦点位置の移動指示に基づいて、撮像ユニット170の焦点位置を移動させる。その後、処理はステップS609に進む。
例えば、撮像ユニット170による撮像の開始時の合焦動作のとき、図8Bに示す液体操作モード処理のステップS410乃至ステップS415の供給部272又は除去部274のZ軸方向への移動のとき、図10に示す培地交換モード処理のステップS505乃至ステップS510の供給部272又は除去部274のZ軸方向への移動のとき等に、第1の制御回路110は、受信した焦点位置の移動指示に基づいて、撮像ユニット170の焦点位置を移動させる。
ステップS609において、第1の制御回路110は、撮像ユニット170による静止画撮影をすべき指示がなされたか否かを判定する。静止画撮影指示がなされていないとき、処理はステップS611に進む。一方、静止画撮影指示がなされたとき、処理はステップS610に進む。ステップS610において、第1の制御回路110は、撮像ユニット170に静止画の撮像を行わせ、得られた画像に対して画像処理を行い、画像送信が要求されている場合には、要求されている先に画像の送信を行う。その後、処理はステップS611に進む。
例えば、図6に示す特定位置観察モード処理のステップS208の要求に応じて、第1の制御回路110は、撮像ユニット170に静止画を撮像させ、画像処理を行い、画像処理後の画像を表示装置40へと送信する。
ステップS611において、第1の制御回路110は、測定動作のための測定パターンを受信したか否かを判定する。測定パターンを受信していないとき、処理はステップS616に進む。一方、例えば図7に示す測定モード処理のステップS302の動作に応じて、測定パターンを受信したとき、処理はステップS612に進む。
ステップS612において、第1の制御回路110は、受信した測定パターンの情報に基づいて、観察ヘッド部160の位置を移動させる。ステップS613において、第1の制御回路110は、受信した測定パターンの情報に基づいて、撮像ユニット170に撮像動作を行わせ、取得された画像に対して画像処理を施す。
ステップS614において、第1の制御回路110は、測定パターンに基づく全測定が終了したか否かを判定する。測定が終了していないとき、処理はステップS612に戻り、撮像ユニット170の位置を変更しながら繰り返し撮影と画像処理を行う。測定が終了したとき、処理はステップS615に進む。
ステップS615において、第1の制御回路110は、得られた画像に基づいて必要なデータ解析を行い、解析結果及び画像等のデータを操作装置30へと送信する。その後、処理はステップS616に進む。
ステップS616において、第1の制御回路110は、終了の指示がなされたか否かを判定する。終了の指示がなされていないとき、処理はステップS603に戻り、上述の処理が繰り返される。一方、例えば図6に示す特定位置観察モード処理のステップS210の終了動作、図8Bに示す液体操作モード処理のステップS417の終了動作、又は図10に示す自動培地交換モード処理のステップS512の終了動作等に基づく終了の指示がされたとき、処理はステップS617に進む。
ステップS617において、第1の制御回路110は、撮像ユニット170の撮像動作を終了させたり、観察ヘッド部160を初期位置に戻させたりといった終了動作を行う。その後、観察装置制御は終了する。
以上の通り、第1の制御回路110は、例えば操作装置30から取得した各種指示に基づいて、観察装置10の各部を動作させる。
〈液体操作装置の動作〉
液体操作装置20の動作について図12A及び図12Bに示すフローチャートを参照して説明する。
ステップS701において、第2の制御回路210は、通信要求があったか否かを判定する。例えば、上述のとおり、各モードの処理の最初において、操作装置30は通信要求を行う。通信要求がないとき、ステップS701の処理を繰り返して待機する。通信要求があったとき、処理はステップS702に進む。
ステップS702において、第2の制御回路210は、要求された通信を確立する。例えば、Wi−Fiを用いた通信を行っている場合、観察装置10の第1の通信装置152をアクセスポイントとして、観察装置10との間で通信を確立する。また、例えばBluettoth等を用いて、操作装置30等との通信を確立してもよい。
ステップS703において、第2の制御回路210は、第2の照明ユニット276の照明を点灯させる。
ステップS704において、第2の制御回路210は、操作ヘッド部260の移動の指示がなされたか否かを判定する。操作ヘッド部260の移動の指示がなされていないとき、処理はステップS706に進む。一方、操作ヘッド部260の移動の指示がなされたとき、処理はステップS705に進む。ステップS705において、第2の制御回路210は、移動指示に基づいて、操作ヘッド部260を移動させる。その後、処理はステップS706に進む。
例えば、図8Aに示す液体操作モード処理のステップS408の指示に応じて、又は図10に示す自動培地交換モード処理のステップS504の指示に応じて、第2の制御回路210は、操作ヘッド部260の位置を移動させる。
ステップS706において、第2の制御回路210は、第1のZ移動機構285の動作指示がなされたか否かを判定する。第1のZ移動機構285の動作指示がなされていないとき、処理はステップS708に進む。一方、第1のZ移動機構285の動作指示がなされたとき、処理はステップS707に進む。ステップS707において、第2の制御回路210は、動作指示に基づいて、第1のZ移動機構285を動作させる。その後、処理はステップS708に進む。
例えば、図8Bに示す液体操作モード処理のステップS410又はステップS412の動作指示に応じて、又は図10に示す自動培地交換モード処理のステップS508又はステップS510の動作指示に応じて、第2の制御回路210は、第1のZ移動機構285を動作させる。
ステップS708において、第2の制御回路210は、第2のZ移動機構286の動作指示がなされたか否かを判定する。第2のZ移動機構286の動作指示がなされていないとき、処理はステップS710に進む。一方、第2のZ移動機構286の動作指示がなされたとき、処理はステップS709に進む。ステップS709において、第2の制御回路210は、動作指示に基づいて、第2のZ移動機構286を動作させる。その後、処理はステップS710に進む。
例えば、図8Bに示す液体操作モード処理のステップS413又はステップS415の動作指示に応じて、又は図10に示す自動培地交換モード処理のステップS505又はステップS507の動作指示に応じて、第2の制御回路210は、第2のZ移動機構286を動作させる。
ステップS710において、第2の制御回路210は、ポンプに関する供給指示がなされたか否かを判定する。供給指示がなされていないとき、処理はステップS712に進む。一方、供給指示がなされたとき、処理はステップS711に進む。ステップS711において、第2の制御回路210は、試薬を供給するようにポンプ292を動作させる。その後、処理はステップS712に進む。
例えば、図8Bに示す液体操作モード処理のステップS411の供給指示に応じて、又は図10に示す自動培地交換モード処理のステップS509の供給指示に応じて、第2の制御回路210は、ポンプ292を動作させる。
ステップS712において、第2の制御回路210は、ポンプに関する除去指示がなされたか否かを判定する。除去指示がなされていないとき、処理はステップS714に進む。一方、除去指示がなされたとき、処理はステップS713に進む。ステップS713において、第2の制御回路210は、試薬を除去するようにポンプ292を動作させる。その後、処理はステップS714に進む。
例えば、図8Bに示す液体操作モード処理のステップS414の除去指示に応じて、又は図10に示す自動培地交換モード処理のステップS506の除去指示に応じて、第2の制御回路210は、ポンプ292を動作させる。
ステップS714において、第2の制御回路210は、終了の指示がなされたか否かを判定する。終了の指示がなされていないとき、処理はステップS704に戻り、上述の処理が繰り返される。一方、図8Bに示す液体操作モード処理のステップS417の終了動作、又は図10に示す自動培地交換モード処理のステップS512の終了動作等に基づく終了の指示がされたとき、処理はステップS715に進む。
ステップS715において、第2の制御回路210は、ポンプ292の動作を終了させたり、操作ヘッド部260を初期位置に戻させたりといった終了動作を行う。その後、液体操作装置制御は終了する。
以上の通り、第2の制御回路210は、例えば操作装置30から取得した各種指示に基づいて、液体操作装置20の各部を動作させる。
〈表示装置の動作〉
表示装置40の動作について図13に示すフローチャートを参照して説明する。
ステップS801において、第4の制御回路410は、通信要求があったか否かを判定する。例えば、上述のとおり、各モードの処理の最初において、操作装置30は通信要求を行う。通信要求がないとき、ステップS801の処理を繰り返して待機する。通信要求があったとき、処理はステップS802に進む。
ステップS802において、第4の制御回路410は、要求された通信を確立する。例えば、Wi−Fiを用いた通信を行っている場合、観察装置10の第1の通信装置152をアクセスポイントとして、観察装置10との間で通信を確立する。また、例えばBluettoth等を用いて、操作装置30等との通信を確立してもよい。
ステップS803において、第4の制御回路410は、観察装置10から画像データを取得する。ステップS804において、第4の制御回路410は、取得した画像データに基づいて、画像を第2の表示ユニット470に表示させる。第4の制御回路410は、操作装置30から画像データを取得し、その画像データに基づいて画像を第2の表示ユニット470に表示させてもよい。
ステップS805において、第4の制御回路410は、終了の指示がなされたか否かを判定する。終了の指示がなされていないとき、処理はステップS803に戻り、上述の画像が表示される処理が繰り返される。一方、図6に示す特定位置観察モード処理のステップS210の終了動作、図8Bに示す液体操作モード処理のステップS417の終了動作、又は図10に示す自動培地交換モード処理のステップS512の終了動作等に基づく終了の指示がされたとき、処理はステップS806に進む。
ステップS806において、第4の制御回路410は、第2の表示ユニット470への表示を終了させる等といった終了動作を行う。その後、表示装置制御は終了する。
以上の通り、第4の制御回路410は、例えば観察装置10又は操作装置30から取得した画像データに基づいて、第2の表示ユニット470に画像を表示させる。
[実験システムの特長]
上述のような実験システム1によれば、ユーザは、例えば観察装置10及び液体操作装置20をインキュベータ内に設置し、観察装置10の透明板102上に試料50を静置したまま、例えば以下を行うことができる。ユーザは、インキュベータ内に静置した状態の試料50を観察することができる。また、ユーザは、インキュベータ内に静置した状態の試料50に所望のタイミングで、所望の試薬を所望の位置に所望の量添加することができる。また、ユーザは、細胞等を培養中に要求される培地交換を、インキュベータ内に静置した状態の試料50に対して行うことができる。これらによって、試料50のインキュベータに対する出し入れ、手作業による培地交換など、ユーザの作業を減らすことができる。その結果、細胞を用いた実験の効率、実験方法の自由度などが向上する。
[変形例]
測定モードでは、操作装置30から測定パターンを観察装置10へと送信し、観察装置10が、この測定パターンに基づいて動作する例を示した。しかしながら、これに限らず、操作装置30が観察装置10の動作を逐次に指令してもよい。また、自動培地交換モードでは、操作装置30が観察装置10及び液体操作装置20の動作を逐次に指令し、この指令に基づいて、観察装置10及び液体操作装置20が動作する例を示した。しかしながら、これに限らず、操作装置30から動作パターンを観察装置10及び液体操作装置20へと送信し、観察装置10及び液体操作装置20が、この動作パターンに基づいて動作してもよい。また、上述の測定パターン又は動作パターンは、観察装置10又は液体操作装置20に記録されており、操作装置30が使用する測定パターン又は動作パターンを指定するのみであってもよい。
また、何れの動作においても、観察ヘッド部160及び操作ヘッド部260の位置は、撮像ユニット170を用いて取得された画像に基づいて制御されてもよい。この際、操作ヘッド部260の第2の照明ユニット276の照明光に基づいて、操作ヘッド部260の位置を特定し、観察ヘッド部160と操作ヘッド部260とが対向するようにこれらの位置が制御されてもよい。すなわち、例えば、観察ヘッド部160の位置を変更したときに観察ヘッド部160と対向するように操作ヘッド部260の位置を追従させてもよいし、操作ヘッド部260の位置を変更したときに操作ヘッド部260と対向するように観察ヘッド部160の位置を追従させてもよい。
なお、観察ヘッド部160と操作ヘッド部260との位置の調整では、フィードバック制御が行われてもよい。すなわち、例えば操作ヘッド部260の位置を観察装置10が取得し、観察ヘッド部160が操作ヘッド部260の位置へ移動させられてもよい。また、操作ヘッド部260の位置を観察装置10が取得し、観察装置10が液体操作装置20に操作ヘッド部260の位置を観察ヘッド部160の位置に呼び寄せるように指令してもよい。また、逆に液体操作装置20が観察ヘッド部160の位置を取得してもよい。
また、観察ヘッド部160と操作ヘッド部260との位置の調整では、オープンループ式の制御が行われてもよい。オープンループ式の制御では、特定の位置指定で、観察ヘッド部160と操作ヘッド部260とが同じ場所に移動するように制御される。この場合、例えば、透明板102の角部に容器51の角部が合わせて設置されることとする。その結果、操作装置30は容器51の座標を把握することができる。この座標は第3の記録装置763等に記録され、第3の制御回路310は、指定した容器51の位置に観察ヘッド部160を移動させるための指示を含む信号を送信する。同様に、第3の制御回路310は、指定した容器51の位置に操作ヘッド部260を移動させるための指示を含む信号を送信する。なお、容器51の配置を工夫すれば、観察ヘッド部160の位置及び操作ヘッド部260の移動方向をX方向又はY方向の一方に制限することができる。
観察ヘッド部160の位置及び操作ヘッド部260の位置は、観察移動機構180又は操作移動機構280のアクチュエータ駆動量等に換算されて制御され得る。この換算は、操作装置30が行えるように予め設定されていてもよい。また、この換算は、観察装置10又は液体操作装置20がヘッド部の現在の座標と目標とする座標との差異に基づいて換算してもよい。
また、培地交換モードに限らず、試料50への試薬の添加などにおいても、予め決められたパターンに従って、所定の位置に所定の試薬を所定量添加するモードが用意されていてもよい。
また、上述の実施形態では、試薬の添加や培地の交換など、供給部272又は除去部274が動作するときのみ照明光源として第2の照明ユニット276が用いられる場合を示した。これに限らず、特定位置観察モードや、測定モードにおいても、照明光源として第2の照明ユニット276が用いられてもよい。
また、上述の実施形態では、観察装置10で取得した画像が表示装置40に表示される例を示したが、これに限らない。観察装置10で取得した画像は、操作装置30の第1の表示ユニット370に表示されてもよい。
自動培地交換については、例えば、プログラム制御によって、特定時刻ごとに特定の培地53の交換が行われるように実験システム1は構成されていてもよい。その際、培地交換と同期して、観察ヘッド部160による観察が行われれば、自動培地交換時の細胞の様子が記録され得る。その結果、自動培地交換時の細胞の様子のデータベースも作成され得る。
ユーザによる操作に応じて観察ヘッド部160の位置又は操作ヘッド部260の位置を移動させる場合、観察移動機構180又は操作移動機構280のアクチュエータの駆動量に基づいて、観察ヘッド部160又は操作ヘッド部260の位置が把握され得る。すなわち、アクチュエータの駆動量は、観察ヘッド部160又は操作ヘッド部260の位置の座標に変換され得る。この変換によって取得された座標を用いて、観察装置10、液体操作装置20又は操作装置30は、観察ヘッド部160又は操作ヘッド部260の動作を制御することが可能である。共通の座標が用いられることで、観察ヘッド部160と操作ヘッド部260との連動した動作の制御が行われ得る。
ユーザによる操作は、例えば操作装置30に備えられたタッチパネル380等のユーザインターフェースを用いることによって、行われ得る。このとき、ユーザによって指定される位置と、観察ヘッド部160又は操作ヘッド部260の座標との関係が予め把握されていれば、観察ヘッド部160又は操作ヘッド部260の位置の制御は容易となる。したがって、観察ヘッド部160と操作ヘッド部260とは連動するように制御され得る。容器51は、マルチウェルではないシャーレ、フラスコ等でもよく、これら容器51に対する座標原点が定められており、この原点と観察ヘッド部160及び操作ヘッド部260の座標との位置関係が把握されることにより、観察ヘッド部160及び操作ヘッド部260の位置の制御は容易となる。すなわち、この原点を用いて、観察ヘッド部160及び操作ヘッド部260は連動した制御が可能となる。
以上、各実施形態で説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムを用いて実現され得る。このプログラムは、記録媒体や記録装置に収められ得る。この記録媒体又は記録装置への記録の方法は様々であり、製品出荷時に記録されてもよく、配布された記録媒体が利用されて記録されてもよく、インターネットを介したダウンロードが利用されて記録されてもよい。
また、この実験システム1では、特定の位置に対する観察装置10の動作と液体操作装置20の動作との連携が重要であるので、失敗などがあった場合などは、ユーザが何らかの挽回策を講じることがある。このような場合、ユーザは例えば観察ヘッド部160又は操作ヘッド部260の目標位置をあえて別の場所に変えるなどの対策をすることがある。これらの動作は記録され得るし、失敗と挽回策との関係や、ユーザが満足する動作が実現した場合としなかった場合との差異に関する種々の位置や状況の情報が蓄積され得る。これらの情報を学習データとして、人工知能に実験システム1の動作を学習させることが可能である。このようにして学習をした人工知能を活用することで、より適切な動作、誤差の改善、制御の高精度化などが実現可能である。
なお、本発明の上記実施形態には、以下の発明も含まれる。
[1]
特定の面に分布する試料の前記面における異なる位置に移動可能であり物質を添加又は除去する物質操作機構の位置に対応して、撮像位置を変更可能な実験用の撮像装置であって、
前記物質操作機構の少なくとも一部を撮影可能なように前記試料に対して前記物質操作機構と異なる方向に配置され、前記試料を撮影することにより画像データを作成する撮像ユニットと、
前記撮像ユニットの位置を移動させる観察移動機構と、
前記物質操作機構の物質操作位置を観察することで前記物質操作位置に応じて前記撮像ユニットの位置と前記物質操作位置とが連動するように前記観察移動機構の動作を制御する制御部と
を備える撮像装置。
[2]
前記物質操作位置からは光が発せられ、
前記制御部は、前記物質操作位置から発せられた光信号に基づいて、前記観察移動機構の動作を制御する、
[1]に記載の撮像装置。
1…実験システム、10…観察装置、20…液体操作装置、30…操作装置、40…表示装置、50…試料、101…筐体、102…透明板、110…第1の制御回路、152…第1の通信装置、160…観察ヘッド部、170…撮像ユニット、176…第1の照明ユニット、180…観察移動機構、182…X移動機構、184…Y移動機構、201…筐体、210…第2の制御回路、252…第2の通信装置、260…操作ヘッド部、271…供給除去部、272…供給部、274…除去部、276…第2の照明ユニット、280…操作移動機構、282…X移動機構、284…Y移動機構、285…第1のZ移動機構、286…第2のZ移動機構、292…ポンプ、294…試薬容器、295…廃液容器、310…第3の制御回路、352…第3の通信装置、370…第1の表示ユニット、380…タッチパネル、410…第4の制御回路、452…第4の通信装置、470…第2の表示ユニット、710…制御部、711…観察移動機構制御部、712…撮像制御部、713…画像処理部、714…第1の照明制御部、721…操作移動機構制御部、722…ポンプ制御部、724…第2の照明制御部、731…入力取得部、732…第1の表示制御部、733…位置制御部、734…動作制御部、735…データ解析部、741…第2の表示制御部、751…表示制御部、754…照明制御部、760…記録装置、761…第1の記録装置、762…第2の記録装置、763…第3の記録装置、764…第4の記録装置、770…表示ユニット、776…照明ユニット、780…入力装置。

Claims (14)

  1. 特定の面に分布する試料の前記面における異なる位置に移動可能であり物質を添加又は除去する外部の物質操作機構の位置に対応して、撮像位置を変更可能な実験用の撮像装置であって、
    前記試料を撮影することにより画像データを作成する撮像ユニットと、
    前記撮像ユニットの位置を移動させる観察移動機構と、
    前記撮像ユニットの位置と前記物質操作機構の物質操作位置とが連動するように前記観察移動機構の動作を制御する制御部と
    を備える撮像装置。
  2. 前記制御部は、前記撮像ユニットの位置に係る信号と前記物質操作位置に係る信号とを含む制御信号のうちから、前記撮像ユニットの位置に係る信号を弁別して前記観察移動機構の動作を制御する、請求項1に記載の撮像装置。
  3. 前記制御部は、前記撮像ユニットの位置と前記物質操作位置とを表す1つの制御信号に基づいて、前記観察移動機構の動作を制御する、請求項1に記載の撮像装置。
  4. 前記制御部は、前記物質操作位置に基づいて、前記撮像ユニットの位置を決定し、前記観察移動機構の動作を制御する、請求項1に記載の撮像装置。
  5. 前記制御部は、前記物質操作機構が発する光に基づいて、前記撮像ユニットの位置を決定する、請求項4に記載の撮像装置。
  6. 前記制御部は、前記物質操作位置に係る制御信号を受信したとき、前記物質操作機構を有する装置に前記撮像ユニットの位置に係る情報を要求する、請求項4又は5に記載の撮像装置。
  7. 試料を撮影することにより画像データを作成する撮像ユニットと、
    前記撮像ユニットの位置を移動させる観察移動機構と、
    前記試料に液体を供給する又は前記試料から液体を除去する供給除去部と、
    前記供給除去部の位置を移動させる操作移動機構と、
    前記供給除去部を介して前記液体を移動させるためのポンプと、
    前記撮像ユニットと前記供給除去部との位置を連動させるように前記観察移動機構と前記操作移動機構との動作を制御し、前記撮像ユニットと前記供給除去部との位置に応じて前記ポンプの動作を制御する制御部と
    を備える実験システム。
  8. 前記制御部は、前記画像データを用いて、前記観察移動機構と前記操作移動機構との動作を制御する、請求項7に記載の実験システム。
  9. 前記液体は、前記試料に含まれる細胞を培養するための培地であり、
    前記制御部は、前記供給除去部を用いて前記試料から培地を除去し、その後に前記試料に培地を供給することで培地を交換するように、前記観察移動機構と前記操作移動機構と前記ポンプとの動作を制御する、
    請求項7又は8に記載の実験システム。
  10. 前記撮像ユニットと前記供給除去部とは、前記試料を挟んで対向するように配置されている、請求項7乃至9のうち何れか1項に記載の実験システム。
  11. 前記供給除去部と共に前記操作移動機構によって移動し、前記試料を照明する照明ユニットをさらに備え、
    前記制御部は、前記撮像ユニットによって撮影された前記照明ユニットから放射された照明光に係る画像に基づいて、前記観察移動機構と前記操作移動機構との動作を制御する、
    請求項10に記載の実験システム。
  12. 試料を撮影することにより画像データを作成する撮像ユニットと、前記撮像ユニットの位置を移動させる観察移動機構と、前記試料に液体を供給する又は前記試料から液体を除去する供給除去部と、前記供給除去部の位置を移動させる操作移動機構と、前記供給除去部を介して前記液体を移動させるためのポンプとを有する実験システムの制御方法であって、
    前記撮像ユニットと前記供給除去部との位置を連動させるように前記観察移動機構と前記操作移動機構との動作を制御することと、
    前記撮像ユニットと前記供給除去部との位置に応じて前記ポンプの動作を制御することと
    を含む実験システムの制御方法。
  13. 特定の面に分布する試料の前記面における異なる位置に移動可能であり物質を添加又は除去する物質操作機構の位置に対応して、撮像位置を変更可能な実験用の撮像装置の制御プログラムであって、
    撮像ユニットを用いて前記試料を撮影することにより画像データを作成することと、
    観察移動機構を用いて前記撮像ユニットの位置を移動させることと、
    前記撮像ユニットの位置と前記物質操作機構の物質操作位置とが連動するように前記観察移動機構の動作を制御することと
    をコンピュータに実行させる撮像装置の制御プログラム。
  14. 試料を撮影することにより画像データを作成する撮像ユニットと、前記撮像ユニットの位置を移動させる観察移動機構と、前記試料に液体を供給する又は前記試料から液体を除去する供給除去部と、前記供給除去部の位置を移動させる操作移動機構と、前記供給除去部を介して前記液体を移動させるためのポンプとを有する実験システムの制御プログラムであって、
    前記撮像ユニットと前記供給除去部との位置を連動させるように前記観察移動機構と前記操作移動機構との動作を制御することと、
    前記撮像ユニットと前記供給除去部との位置に応じて前記ポンプの動作を制御することと
    をコンピュータに実行させるための制御プログラム。
JP2016252545A 2016-12-27 2016-12-27 実験用の撮像装置、実験システム、実験システムの制御方法、実験用の撮像装置の制御プログラム、及び実験システムの制御プログラム Pending JP2018102226A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016252545A JP2018102226A (ja) 2016-12-27 2016-12-27 実験用の撮像装置、実験システム、実験システムの制御方法、実験用の撮像装置の制御プログラム、及び実験システムの制御プログラム
US15/842,776 US20180179483A1 (en) 2016-12-27 2017-12-14 Imaging apparatus for experimental use, experimental system, and control method of experimental system
CN201711442701.0A CN108270965A (zh) 2016-12-27 2017-12-27 实验用的摄像装置、实验系统及其控制方法和记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016252545A JP2018102226A (ja) 2016-12-27 2016-12-27 実験用の撮像装置、実験システム、実験システムの制御方法、実験用の撮像装置の制御プログラム、及び実験システムの制御プログラム

Publications (1)

Publication Number Publication Date
JP2018102226A true JP2018102226A (ja) 2018-07-05

Family

ID=62625780

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016252545A Pending JP2018102226A (ja) 2016-12-27 2016-12-27 実験用の撮像装置、実験システム、実験システムの制御方法、実験用の撮像装置の制御プログラム、及び実験システムの制御プログラム

Country Status (3)

Country Link
US (1) US20180179483A1 (ja)
JP (1) JP2018102226A (ja)
CN (1) CN108270965A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021533739A (ja) * 2018-08-19 2021-12-09 サイテラ セルワークス リミテッド 自動細胞培養用のシステム及び方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006003653A (ja) * 2004-06-17 2006-01-05 Olympus Corp 生体試料観察システム
CN106103688A (zh) * 2014-03-10 2016-11-09 株式会社斯库林集团 摄像装置、摄像系统以及培养箱
CN104396942B (zh) * 2014-11-06 2016-08-17 徐小杨 活体细胞玻璃化冷冻/复苏的自动操作方法、系统及载体
CN106244456B (zh) * 2016-08-29 2019-05-10 杭州键一生物科技有限公司 全自动智能培养箱及其控制方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021533739A (ja) * 2018-08-19 2021-12-09 サイテラ セルワークス リミテッド 自動細胞培養用のシステム及び方法
JP7496815B2 (ja) 2018-08-19 2024-06-07 マイトス バイオ リミテッド 自動細胞培養用のシステム及び方法

Also Published As

Publication number Publication date
US20180179483A1 (en) 2018-06-28
CN108270965A (zh) 2018-07-10

Similar Documents

Publication Publication Date Title
US8947518B2 (en) Cell observing apparatus and cell incubation method
US10578851B2 (en) Automated hardware and software for mobile microscopy
US11579160B2 (en) Systems and methods for detection, analysis, isolation and/or harvesting of biological objects
WO2009119330A1 (ja) 細胞観察の画像解析方法、画像処理プログラム及び画像処理装置
JP2007020422A (ja) 生体試料培養観察装置、生体試料培養観察方法、および生体試料培養観察用プログラム
US20160370569A1 (en) Cell image acquisition device, method, and program
EP2256212B1 (en) Living cell judging method for cell observation, image processing program for cell observation, and image processing device
US10538729B2 (en) Cell imaging control device, method, and program
WO2009119329A1 (ja) 細胞観察画像の画像解析方法、画像処理プログラム及び画像処理装置
WO2007145198A1 (ja) 培養物観察システム
EP2062964A1 (en) Incubator, schedule management method, and program
JP6698451B2 (ja) 観察装置
JP2009229274A (ja) 細胞観察の画像解析方法、画像処理プログラム及び画像処理装置
US20190095692A1 (en) Image-processing device and cell observation system
JP2017003904A (ja) 顕微鏡システムおよび顕微鏡観察方法
JP2018102226A (ja) 実験用の撮像装置、実験システム、実験システムの制御方法、実験用の撮像装置の制御プログラム、及び実験システムの制御プログラム
JP2018028593A (ja) 観察装置、観察方法及び観察システム
JP5466976B2 (ja) 顕微鏡システム、観察画像の表示方法、プログラム
JP2009229276A (ja) 細胞観察の画像解析方法、画像処理プログラム及び画像処理装置
JP2012039930A (ja) 培養物観察の画像処理方法、画像処理プログラム及び画像処理装置、並びに培養物の製造方法
JP2013176332A (ja) 画像取得装置および画像取得方法
JP2017169479A (ja) 観察装置、測定システム及び培養容器
EP3730598B1 (en) Apparatus for treating biological material
EP3712671A1 (en) Observation device and method, and observation device control program
US20180013971A1 (en) Observation system and observation method