JP2005258413A - マイクロマニピュレーションシステム - Google Patents

マイクロマニピュレーションシステム Download PDF

Info

Publication number
JP2005258413A
JP2005258413A JP2005016170A JP2005016170A JP2005258413A JP 2005258413 A JP2005258413 A JP 2005258413A JP 2005016170 A JP2005016170 A JP 2005016170A JP 2005016170 A JP2005016170 A JP 2005016170A JP 2005258413 A JP2005258413 A JP 2005258413A
Authority
JP
Japan
Prior art keywords
subject
contrast value
image
microscope
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005016170A
Other languages
English (en)
Other versions
JP4831972B2 (ja
Inventor
Kiyoshi Yuri
希良 由利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2005016170A priority Critical patent/JP4831972B2/ja
Publication of JP2005258413A publication Critical patent/JP2005258413A/ja
Application granted granted Critical
Publication of JP4831972B2 publication Critical patent/JP4831972B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Microscoopes, Condenser (AREA)
  • Automatic Focus Adjustment (AREA)
  • Manipulator (AREA)
  • Image Input (AREA)

Abstract

【課題】 高さ方向にばらつきのある複数個の標本においても一括して自動でのマニピュレータ操作を可能とすることを目的とする。
【解決手段】 顕微鏡の視野内で被検体に対して微小針を用いて微細操作を行うマイクロマニピュレーションシステムは、被検体と対物レンズとの位置を相対的に移動させ、この移動に応じて前記被検体に焦点の合う位置を検出し、この検出結果に基づいて、前記被検体移動手段の動作を制御することにより、上記課題の解決を図る。
【選択図】 図1

Description

本発明は、マイクロマニピュレーションシステム、特に、顕微鏡と顕微鏡の視野内で微小針の3次元移動と注入/吸引等の微小操作をするマイクロマニピュレータとを備えたマイクロマニピュレーションシステムに関する。
例えば、細胞や卵等の試料にDNA溶液の注入処理を施す場合、マイクロマニピュレータと顕微鏡とを備えたマイクロマニピュレーションシステムが用いられる。そのマイクロマニピュレータは、その試料にDNA溶液等を注入するための微小針を配置したものである。その顕微鏡は、そのインジェクション処理を観察するためのものである。
一般的なマイクロマニピュレーションシステムでは、顕微鏡視野内で微小針等の微小器具を操作してその映像をCRTディスプレイ等に表示する。そして、表示内容を観察しながらシャーレ等の容器内に入れられた細胞や卵等の微小試料に微小針を挿し込み、所定の処理を施すようになっている。
従来、これらの処理は手作業によって行われてきた。しかしながら、対象となる微小試料が多くなると、試料及び微小針の位置を合わせて試料へ微小針を差し込むといった精密な作業を連続的に行わなければならなかった。そのため、作業者の負担が大きいため操作性の改善が望まれている。
特にZ軸方向の位置関係を調節するには、顕微鏡画像での試料や微小針の焦点ボケの具合から判断するしかない。このため、この高さ方向の位置関係を調節するのに熟練を要し、多くのオペレータにとって、操作上の障害となっている。
これら微小針や試料の位置調節の操作性を向上するために、これまでに電動化された試料ステージやマイクロマニピュレータを用いて、位置調節を自動的に行う技術が提示されている。
例えば、特許文献1では、モニタ上で試料像の位置を指示すると、試料の存在するステージ座標を算出し、試料の位置調節及び微小針の差し込みを自動的に行う技術が開示されている。また、特許文献2では、マイクロマニピュレータの高さ位置をモニタ上に表示することで、試料及び微小針の高さ調整を簡素化するための技術が提案されている。
特開平01−3560号公報 特開平06−109979号公報
しかしながら、特許文献1では、試料及び微小針の高さ調節の手段については、何ら考慮されておらず、被検体毎に高さのばらつきがある試料については針挿し込みの精度が悪くなるといった問題がある。また、特許文献2では、微小試料の高さを調整するのは手作業で行わなければならず、自動化についての手段は何ら提示されていない。
上記の課題に鑑み、本発明では、高さ方向にばらつきのある複数個の標本においても一括して自動でのマニピュレータ操作を可能とすることを目的とする。
上記課題は、特許請求の範囲の請求項1に記載の発明によれば、顕微鏡の視野内で被検体に対して微小針を用いて微細操作を行うマイクロマニピュレーションシステムにおいて、前記微小針を少なくとも前記顕微鏡の光軸方向に移動させるマニピュレータ駆動手段と、前記微小針の先端部が対物レンズの焦点に合う位置を基準位置として、微細操作を開始する前記微小針の位置である微細操作開始位置を決定する微細操作開始位置決定手段と、前記被検体と前記対物レンズとの位置を相対的に移動させる被検体移動手段と、前記被検体移動手段による前記被検体の相対的な移動に応じて、前記被検体に前記対物レンズの焦点の合う位置を示す合焦位置を検出する合焦位置検出手段と、前記合焦位置検出手段による検出結果に基づいて、前記被検体移動手段の動作を制御する被検体移動制御手段と、前記被検体移動制御手段により前記被検体を前記合焦位置に移動させ、かつ、前記微小針を前記微細操作開始位置に移動させた状態で、前記微細操作処理を行う微細操作制御手段と、を備えることを特徴とするマイクロマニピュレーションシステムを提供することによって達成できる。
上記課題は、特許請求の範囲の請求項2に記載の発明によれば、前記合焦位置検出手段は、前記顕微鏡の光軸方向への前記被検体の移動に応じて、前記顕微鏡の視野内の画像を取得する画像取得手段と、前記画像取得手段により取得した前記画像のコントラストの高低を示すコントラスト値を算出するコントラスト値算出手段と、前記画像取得手段により取得した複数の画像のうち、前記コントラスト値が最大の画像の検出を行う最大コントラスト値画像検出手段と、を備えることを特徴とする請求項1に記載のマイクロマニピュレーションシステムを提供することによって達成できる。
上記課題は、特許請求の範囲の請求項3に記載の発明によれば、前記マイクロマニピュレーションシステムは、さらに、前記被検体の種類、サイズ、及び周囲環境のうち少なくともいずれか1つに応じて、前記被検体移動制御手段の制御による前記被検体移動手段の移動量を補正する補正手段を備えることを特徴とする請求項1に記載のマイクロマニピュレーションシステムを提供することによって達成できる。
上記課題は、特許請求の範囲の請求項4に記載の発明によれば、前記合焦位置検出手段は、前記被検体に照射された光の反射光の強度を検出することを特徴とする請求項1に記載のマイクロマニピュレーションシステムを提供することによって達成できる。
上記課題は、特許請求の範囲の請求項5に記載の発明によれば、前記コントラスト値算出手段は、前記画像の所定領域のコントラスト値を算出し、該所定領域は、前記被検体に微細操作を行う部位が撮像された領域を含む画像領域であることを特徴とする請求項2に記載のマイクロマニピュレーションシステムを提供することによって達成できる。
上記課題は、特許請求の範囲の請求項6に記載の発明によれば、前記マイクロマニピュレーションシステムは、さらに、前記コントラスト値算出手段により算出した前記コントラスト値と所定の閾値との大小を判定する判定手段、を備え、前記最大コントラスト値画像検出手段は、前記判定結果に基づいて前記検出を行うことを特徴とする請求項2に記載のマイクロマニピュレーションシステムを提供することによって達成できる。
上記課題は、特許請求の範囲の請求項7に記載の発明によれば、前記マイクロマニピュレーションシステムは、さらに、前記光軸に対して垂直な方向である水平方向への前記被検体の移動と連動して前記被検体の位置を逐次検出する被検体水平位置検出手段、を備え、前記コントラスト値算出手段は、被検体水平位置検出手段により検出された位置の情報に基づいて、前記画像に撮像された被検体の所定領域の前記コントラスト値を算出することを特徴とする請求項2に記載のマイクロマニピュレーションシステムを提供することによって達成できる。
上記課題は、特許請求の範囲の請求項8に記載の発明によれば、前記微細操作開始位置決定手段は、前記被検体の合焦位置と実際の微細操作位置との差分に基づいて、前記基準位置を補正することにより、前記微細操作開始位置を決定することを特徴とする請求項1に記載のマイクロマニピュレーションシステムを提供することによって達成できる。
上記課題は、特許請求の範囲の請求項9に記載の発明によれば、前記微細操作開始位置決定手段は、前記被検体移動手段が対物レンズ移動方式の場合には、前記被検体へ合焦させるための前記被検体移動手段の移動による移動量に基づいて、前記基準位置を補正することを特徴とする請求項1に記載のマイクロマニピュレーションシステムを提供することによって達成できる。
上記課題は、特許請求の範囲の請求項10に記載の発明によれば、顕微鏡の視野内で被検体に対して微小針を用いて微細操作を行うマイクロマニピュレーションシステムを制御する処理を、コンピュータに実行させるマイクロマニピュレーションシステム制御プログラムにおいて、前記微小針を少なくとも前記顕微鏡の光軸方向に移動させるマニピュレータ駆動処理と、前記微小針の先端部が対物レンズの焦点に合う位置を基準位置として、微細操作を開始する前記微小針の位置である微細操作開始位置を決定する微細操作開始位置決定処理と、前記被検体と前記対物レンズとの位置を相対的に移動させる被検体移動処理と、前記被検体移動処理による前記被検体の相対的な移動に応じて、前記被検体に前記対物レンズの焦点の合う位置を示す合焦位置を検出する合焦位置検出処理と、前記合焦位置検出処理による検出結果に基づいて、前記被検体移動処理の動作を制御する被検体移動制御処理と、前記被検体移動制御処理により前記被検体を前記合焦位置に移動させ、かつ、前記微小針を前記微細操作開始位置に移動させた状態で、前記微細操作処理を行う微細操作制御処理と、を、コンピュータに実行させるマイクロマニピュレーションシステム制御プログラムを提供することによって達成できる。
上記課題は、特許請求の範囲の請求項11に記載の発明によれば、前記合焦位置検出処理は、前記顕微鏡の光軸方向への前記被検体の移動に応じて、前記顕微鏡の視野内の画像を取得する画像取得処理と、前記画像取得処理により取得した前記画像のコントラストの高低を示すコントラスト値を算出するコントラスト値算出処理と、前記画像取得処理により取得した複数の画像のうち、前記コントラスト値が最大の画像の検出を行う最大コントラスト値画像検出処理と、を、コンピュータに実行させる請求項10に記載のマイクロマニピュレーションシステム制御プログラムを提供することによって達成できる。
上記課題は、特許請求の範囲の請求項12に記載の発明によれば、前記マイクロマニピュレーションシステム制御プログラムは、さらに、前記コントラスト値算出処理により算出した前記コントラスト値と所定の閾値との大小を判定する判定処理を、コンピュータに実行させ、前記最大コントラスト値画像検出処理は、前記判定結果に基づいて前記検出を行うことを特徴とする請求項11に記載のマイクロマニピュレーションシステム制御プログラムを提供することによって達成できる。
上記課題は、特許請求の範囲の請求項13に記載の発明によれば、前記マイクロマニピュレーションシステム制御プログラムは、さらに、前記光軸に対して垂直な方向である水平方向への前記被検体の移動と連動して前記被検体の位置を逐次検出する被検体水平位置検出処理を、コンピュータに実行させ、前記コントラスト値算出処理は、被検体水平位置検出処理により検出された位置の情報に基づいて、前記画像に撮像された被検体の所定領域の前記コントラスト値を算出することを特徴とする請求項11に記載のマイクロマニピュレーションシステム制御プログラムを提供することによって達成できる。
上記課題は、特許請求の範囲の請求項14に記載の発明によれば、顕微鏡の視野内で被検体に対して微小針を用いて微細操作を行うマイクロマニピュレーションシステム制御方法において、前記微小針を前記顕微鏡の光軸方向に移動させ、前記微小針の先端部が対物レンズの焦点に合う光軸方向位置を基準位置として、微小操作を開始する前記微小針の光軸方向位置である微小操作開始位置を決定し、前記被検体が前記対物レンズの焦点に合う位置を示す合焦位置を検出し、前記検出の結果に基づいて、前記被検体と前記対物レンズとの位置を相対的に移動させて、前記被検体を前記対物レンズに合焦させ、前記微小針を前記微小操作開始位置に移動させ、前記微細操作の実行制御を行うことを特徴とするマイクロマニピュレーションシステム制御方法を提供することによって達成できる。
上記課題は、特許請求の範囲の請求項15に記載の発明によれば、前記検出では、前記顕微鏡の光軸方向への前記被検体の移動に応じて、前記顕微鏡の視野内の画像を取得し、前記画像のコントラストの高低を示すコントラスト値を算出し、前記取得した複数の画像のうち、前記コントラスト値が最大の画像の検出を行うことを特徴とする請求項14に記載のマイクロマニピュレーションシステム制御方法を提供することによって達成できる。
上記課題は、特許請求の範囲の請求項16に記載の発明によれば、マイクロマニピュレーションシステム制御方法において、さらに、
前記光軸に対して垂直な方向への前記被検体の移動と連動して前記被検体の位置を逐次検出し、該検出された位置の情報に基づいて、前記画像に撮像された被検体の所定領域の前記コントラスト値を算出することを特徴とする請求項15に記載のマイクロマニピュレーションシステム制御方法を提供することによって達成できる。
上記課題は、特許請求の範囲の請求項17に記載の発明によれば、顕微鏡の視野内で被検体に対して微小針を用いて微細操作を行うマイクロマニピュレーションシステムにおいて、前記微小針を前記顕微鏡の光軸方向と該光軸方向に対して垂直方向とに移動させるマニピュレータ駆動手段と、前記微小針の先端部が対物レンズの焦点に合う位置を基準位置として、インジェクションを開始する前記微小針の位置であるインジェクション開始位置を決定するインジェクション開始位置決定手段と、前記被検体が載置され、前記顕微鏡の対物レンズにより該被検体が観察できるように移動可能であるステージと、前記ステージの移動による前記顕微鏡の光軸方向への前記被検体の移動に応じて、前記顕微鏡の視野内の画像を取得するカメラと、前記カメラにより取得した前記画像のコントラストの高低を示すコントラスト値を算出するコントラスト値算出手段と、今回取得した画像について前記コントラスト値算出手段により算出した前記コントラスト値と、前回取得した画像について前記コントラスト値算出手段により算出した前記コントラスト値との比較を繰り返すことにより、複数の前記画像のうち前記コントラスト値が最大の画像の検出を行う最大コントラスト値画像検出手段と、前記ステージの移動を制御して、前記最大コントラスト値画像検出手段による検出結果に基づいて、前記コントラスト値が最大の画像が取得された位置に該ステージを移動させる顕微鏡制御手段と、前記顕微鏡制御手段により前記ステージを移動させ、かつ、前記微小針を前記インジェクション開始位置に移動させた状態で、前記インジェクション処理を行うインジェクション制御手段と、を備えることを特徴とするマイクロマニピュレーションシステムを提供することによって達成できる。
上記課題は、特許請求の範囲の請求項18に記載の発明によれば、前記コントラスト値算出手段は、前記画像の所定領域のコントラスト値を算出し、
該所定領域は、前記被検体にインジェクションを行う部位を中心とする所定の面積を有する画像領域であることを特徴とする請求項17に記載のマイクロマニピュレーションシステムを提供することによって達成できる。
上記課題は、特許請求の範囲の請求項19に記載の発明によれば、前記インジェクション開始位置決定手段は、前記被検体の合焦位置と実際のインジェクション位置との差分に基づいて、前記基準位置を補正することにより、前記インジェクション開始位置を決定することを特徴とする請求項17に記載のマイクロマニピュレーションシステムを提供することによって達成できる。
上記課題は、特許請求の範囲の請求項20に記載の発明によれば、顕微鏡の視野内で被検体に対して微小針を用いて微細操作を行うマイクロマニピュレーションシステムにおいて、前記微小針を前記顕微鏡の光軸方向と該光軸方向に対して垂直方向とに移動させるマニピュレータ駆動手段と、前記微小針の先端部が対物レンズの焦点に合う位置を基準位置として、インジェクションを開始する前記微小針の位置であるインジェクション開始位置を決定するインジェクション開始位置決定手段と、前記被検体が載置されるステージと、前記被検体に合焦させるために前記光軸方向に移動可能である対物レンズと、前記対物レンズの移動による前記顕微鏡の光軸方向への前記被検体の移動に応じて、前記顕微鏡の視野内の画像を取得するカメラと、前記カメラにより取得した前記画像のコントラストの高低を示すコントラスト値を算出するコントラスト値算出手段と、今回取得した画像について前記コントラスト値算出手段により算出した前記コントラスト値と、前回取得した画像について前記コントラスト値算出手段により算出した前記コントラスト値との比較を繰り返すことにより、複数の前記画像のうち前記コントラスト値が最大の画像の検出を行う最大コントラスト値画像検出手段と、前記対物レンズの移動を制御して、前記最大コントラスト値画像検出手段による検出結果に基づいて、前記コントラスト値が最大の画像が取得された位置に該対物レンズを移動させる顕微鏡制御手段と、前記顕微鏡制御手段により前記対物レンズを移動させ、かつ、前記微小針を前記インジェクション開始位置に移動させた状態で、前記インジェクション処理を行うインジェクション制御手段と、を備えることを特徴とするマイクロマニピュレーションシステムを提供することによって達成できる。
上記課題は、特許請求の範囲の請求項21に記載の発明によれば、前記コントラスト値算出手段は、前記画像の所定領域のコントラスト値を算出し、該所定領域は、前記被検体にインジェクションを行う部位を中心とする所定の面積を有する画像領域であることを特徴とする請求項20に記載のマイクロマニピュレーションシステムを提供することによって達成できる。
上記課題は、特許請求の範囲の請求項22に記載の発明によれば、前記インジェクション開始位置決定手段は、前記被検体の合焦位置と実際のインジェクション位置との差分に基づいて、前記基準位置を補正することにより、前記インジェクション開始位置を決定することを特徴とする請求項20に記載のマイクロマニピュレーションシステムを提供することによって達成できる。
上記課題は、特許請求の範囲の請求項23に記載の発明によれば、前記インジェクション開始位置決定手段は、前記被検体へ合焦させるための前記対物レンズの移動による移動量に基づいて、前記基準位置を補正することを特徴とする請求項20に記載のマイクロマニピュレーションシステムを提供することによって達成できる。
上記課題は、特許請求の範囲の請求項24に記載の発明によれば、前記マイクロマニピュレーションシステムは、さらに、前記光軸に対して垂直な方向である水平方向に移動する前記ステージの移動に連動して前記被検体の位置を逐次検出する被検体水平位置検出手段、を備え、前記コントラスト値算出手段は、前記逐次検出された位置の情報に基づいて、前記画像に撮像された被検体の所定領域の前記コントラスト値を算出することを特徴とする請求項20に記載のマイクロマニピュレーションシステムを提供することによって達成できる。
本発明によれば、多数の標本に対して正確にかつ短時間で微細操作を行うことが可能となり、インジェクションの操作性を向上できる。
<第1の実施形態>
本発明では、高さ方向にばらつきのある複数個の標本においても一括して自動でのマニピュレータ操作を可能とする。そのため、初期処理として、対物レンズのピント位置に微小針の先端が合う位置をマニピュレータ駆動部のZ方向基準位置として登録しておく。
本実施形態では、標本毎に高さのばらつきがある場合に、標本のインジェクション位置の高さを正確に調節するために、合焦処理として標本画像データ全体でコントラスト値が最大となるように高さ制御を行う。
図1は、本実施形態におけるマイクロマニピュレーションシステムの全体構成を示す。このシステムは、主に、顕微鏡部10、マイクロマニピュレータ部(30,31,32,33)、カメラ部34、コンピュータ100、及び画像モニタ113から構成される。
顕微鏡部10は、卵や細胞などの標本を入れる試料容器Qから所望の倍率で光学的に顕微鏡画像を取り出すものである。マイクロマニピュレータ部(30,31,32,33)は、顕微鏡視野内で微小針の3次元移動と注入/吸引の操作をするものである。カメラ部34は、標本の観察像を画像信号に変換する。コンピュータ100は、それらの画像信号から高倍率画像を形成し、画像を元に各部の制御信号を出力する。画像モニタ113は、形成された画像と操作画面を表示する。
上記顕微鏡部10は、操作すべき標本Kの入った試料容器Qを載置する標本ステージ5を有している。標本ステージ5の下方には、透過用フィルタユニット20、透過視野絞り21、透過開口絞り22、コンデンサ光学素子ユニット23、及び例えばハロゲンランプからなる透過照明用光源1が配置されている。透過照明用光源1は、上記標本ステージ5上の試料容器Qを下方から照明する。
また、この標本ステージ5の上方で観察光路内の光軸上には、レボルバ4と観察用ビームスプリッタ6が配置されている。レボルバ4は、複数個の対物レンズ3a〜3fを交換可能に装着してある。観察用ビームスプリッタ6は観察試料像を分岐するものである。この観察用ビームスプリッタ6により観察光路を分けることができる。そして、一方の観察光路に接眼レンズ7が配置され、他方の観察光路にカメラヘッド8が設けられている。また顕微鏡部10は、上記の構成要素全体を制御する顕微鏡制御ユニット19を備える。
このように構成された顕微鏡部10においては、透過照明用光源1で発生した照明光をコレクタレンズ2で集光して透過用フィルタユニット20に入射させ、その照明光を透過用フィルタユニット20で調整する。そして、調整された照明光は、透過視野絞り21、透過開口絞り22、コンデンサ光学素子ユニット23を通して、標本ステージ5の照明用開口部の下方から標本(試料容器Q)を照明する。
標本ステージ5は、顕微鏡制御ユニット19によって、試料容器Qの観察部位変更のために、光軸と直交する平面内での2次元水平移動及びピント合わせのために光軸方向への移動の制御が行われるとともに、各方向の位置座標を検出することができる。
そして標本(試料容器Q)を透過し、対物レンズ3により集光された光(観察標本像)は、観察用ビームスプリッタ6を経由してカメラヘッド8に導かれる。カメラ部34は、カメラヘッド8及びカメラ制御ユニット9からなる。カメラヘッド8は、固体撮像素子と結像光学系とを有する。固体撮像素子は、例えばCMD(Charge Modulation Device)からなる。結像光学系は、標本を透過した光をCMDに結像させるものである。
また、カメラ制御ユニット9には、入射光量対出力電圧のゲインを自動調節するAGC(Automatic Gain Control )アンプが備えられている。そしてカメラヘッド8の制御を行うカメラ制御ユニット9は、カメラヘッド8からのアナログ画像データを画像処理ボード110に転送する。
画像処理ボード110は、画像データをJPEG圧縮してデジタル化して格納する。格納されたデジタル画像データは、画像表示用メモリ112に転送され、モニタ113に表示される。
一方、上記のマイクロマニピュレータ部(30,31,32)には、先端に器具ホルダ30を有するアーム31が操作台側に突設されている。器具ホルダ30は、インジェクションピペットや吸着用ピペット等の微小器具を保持するものである。
また、マイクロマニピュレータ部には、器具ホルダ30に保持された微小器具を移動するために、水平方向(X,Y軸方向)及び上下方向(Z軸方向)の駆動機構33が設けられている。この駆動機構は、X軸ステッピングモータ、Y軸ステッピングモータ、Z軸ステッピングモータ、及びガイドレールから構成されている。X軸ステッピングモータは、X軸方向に駆動するものである。Y軸ステッピングモータは、Y軸方向に駆動するものである。Z軸ステッピングモータはZ軸方向に駆動するものである。ガイドレールは、各モータの駆動に伴ってX,Y,Z各軸方向に器具ホルダ30を案内するものである。この駆動機構33は、各方向の座標位置を検出できる。
マイクロマニピュレータ操作ユニット32には、ジョイスティックが設けられている。このジョイスティックは、鉛直軸方向に対して36度傾斜可能となっており、マイクロマニピュレータの水平方向(X,Y軸方向)の制御量を指示することができる。
また、ジョイスティックの上部には回転ダイアルが設けられている。この回転ダイアルを操作することによって、マイクロマニピュレータの上下方向(Z軸方向)の制御量を与えることが可能となっている。マイクロマニピュレータ操作ユニット32には、手動モードとPC制御モードを切替えるキースイッチが設けられている。手動モード時には、上記ジョイスティックによるマイクロマニピュレータの制御を行うことができる。またPC制御モードではマイクロマニピュレータ操作ユニット32に接続されたコンピュータ100からの信号を受け、制御を行うことができる。
コンピュータ100は、記憶装置101、メモリ105、CPU102、入力装置103、通信装置104、画像表示用メモリ112、画像処理ボード110から構成される。
記憶装置101やメモリ105は、種々のシステム動作や処理を行うためのプログラム及び制御情報が格納されている。CPU102では、画像処理が行われる。入力装置103は、例えばマウスやキーボードなどである。通信装置104は、顕微鏡に対してレボルバ回転の指示、及び標本ステージ5移動、及びマイクロマニピュレータ部に対するX,Y,Z軸方向への移動等、それぞれの指示を送出する。顕微鏡制御ユニット19は、コンピュータ100の通信装置104から上記各種指示を受けて対応する顕微鏡内の各構成要素(例えば、ステージ5のXYZ軸方向への移動動作等)を制御している。
画像処理ボード110は、上述の通り、画像データをJPEG圧縮してデジタル化して格納する。格納されたデジタル画像データは、画像表示用メモリ112に転送され、モニタ113に表示される。
図2は、本実施形態における処理フローを示す。同図では、標本と微小針が焦点の合った同じ高さの状態でインジェクションを行うために、微小針に焦点の合った位置をマニピュレータ駆動の基準位置として保存している。そして、インジェクション時における微小針の合焦位置への復帰を可能としている。また、標本の高さを制御しながら顕微鏡画像のコントラスト値が最大となる高さを自動検出している。それでは、以下、同図を参照して、本実施形態について説明する。
図3は、本実施形態における標本及び微小針への合焦処理を説明するための図である。まず、微小針Lをマイクロマニピュレータの駆動機構33により水平移動させて、図3(a)に示すように、微小針Lの先端がモニタ113に表示される顕微鏡画像の中心付近に見えるようにする。
次に、顕微鏡画像を観察しながら、マイクロマニピュレータの駆動機構33により微小針LをZ軸方向に移動させて、微小針の先端に焦点を合わせる。このとき、図3(b)に示すように針の先端部の高さ方向の位置は、合焦面Fに移動することになる。ここで求めた微小針Lの合焦位置Pnにおけるマイクロマニピュレータの駆動機構33のXYZ座標値を基準位置として記憶しておく(S01)。これによって、標本へのインジェクション時に位置Pnを再現することができる。
次に、図3(a)に示すように、モニタ113上に表示されている顕微鏡画像において、標本Kに微小針Lを挿入する位置(以下、インジェクション位置)C0にマウスを移動し、そのマウスをクリックしてその位置C0を指定する。そして、CPU102は、位置C0(マウスのクイック位置)のモニタ上での表示座標データを取得し、それをステージ5の座標データヘと変換する(S02)。ここで、S02の処理は標本が広い範囲に複数個ある場合には、まず低倍率で全体像を撮影し、その画像上に表示された複数の標本を一度に指定する方が効率的である。そして、ステージ5の移動前に微小針をマイクロマニピュレータの駆動機構33で退避させる。
S02で指定された標本のインジェクション位置C0が顕微鏡画像の中心Cとなるように、S02で変換されたXY座標データを用いてステージ5をXY平面内で移動させる(S03)。
次に、ステージ5の高さを調節し、標本の高さが合焦面Fとなるようにする。そのために、顕微鏡のコントラストが最も高くなる合焦位置を求める処理を行う。コントラストの定量的な評価は、顕微鏡画像データから下記の式(1)で決められたコントラスト評価式を使用する。
図4は、本実施形態におけるコントラスト値を計算する処理を説明するための図である。コントラスト値は、同じ走査ライン内にある隣接画素データ間の輝度値の差分を複数乗し、それを顕微鏡画像全体について加算したものである。このコントラスト値が高いほど、コントラストが高いと判断する。同図において、n×m画素からなる顕微鏡画像があり、そのうち隣接する画素(i,j)と(i+1,j)の輝度値Mの差は、|M(i,j)−M(i+1,j)|となる。よって、これを複数乗して、顕微鏡画像全体について加算すると、コントラスト評価式(1)(以下の式において、N:正数、f:コントラスト値)は、以下のようになる。
合焦位置の探索処理は、予め指定したサーチ範囲内についてコントラスト値fを求めながら少しずつZ移動(Z軸方向(光軸方向)へ移動すること、以下同じ)させ、コントラスト値が最大となる位置を検出する。まず、はじめにZ軸方向のサーチ範囲の最下位置にステージ5を移動させ、式(1)よりコントラスト値fを求め、コントラストの初期値とする(S04)。
次に、ステージ5を上方(Z軸方向)に微小移動して、コントラスト値を計算する(S05)。このとき、この合焦位置検出に対して最適な微小移動量ΔZは、使用する対物レンズの焦点深度等の値から予め決定しておく。ステージ5を微小移動させた後に、S04の処理と同様にそのZ位置(Z軸方向におけるステージ5が停止している位置(座標)、以下同じ)でのコントラスト値を求める。
次に、前のZ位置でのコントラスト値(初回の場合は初期値)と比較する(S06)。本実施形態では、一定間隔の高さ毎に停止してコントラスト値を評価しているが、もちろん、標本を一定スピードでZ移動し、一定時間毎に取得した画像データでのコントラスト値を評価してもよい。
S06において、コントラスト値が前回より大きい場合には、まだ合焦位置には達していないものと判断し、S05の処理に戻る。また、S06において、コントラスト値が前回より小さくなった場合には前回の位置がコントラスト値の最大で、合焦位置Ps(Psはステージ5のZ位置を示す)と判断し、Z位置を前回の位置に戻す(S07)。そして、ステージ5の移動が終わったら、マイクロマニピュレータの駆動機構33により退避させていた微小針を再び基準位置Pnに戻す。
このようにして標本の合焦位置Psが検出できたら、微小針Lを標本Kに差込みインジェクションを実行する(S08)。マイクロマニピュレータの駆動機構33を用いて、針をX方向に移動させて標本に針を差し込んで、インジェクション処理を行う。ここで、次にインジェクションする標本があるかを判断する(S09)。未処理の標本がある場合には、S03の処理に戻り、上記と同様にS03〜S09の処理を行い、全ての標本についてこれらの処理が終わるまで繰り返す。
対物レボルバ4がZ移動することにより標本のピント合わせを行う構成のシステムでは、次の補正を行う(S100)。この場合には、標本に対する合焦処理として対物レボルバ4をZ移動する(この場合には、S04,S05,S07では、対物レボルバ4がZ移動する)と、微小針の合焦面Pnが移動する。したがって、標本に対する合焦処理時における対物レボルバ4のZ移動量と同じ距離だけ微小針をZ方向に動かして高さ補正することによって同様な効果が得られる。
また、標本に厚みがあり標本へのインジェクション位置(標本に微小針を挿入する位置)が標本の合焦位置と異なる場合には、その差分量も合わせて記憶し、この差分量の補正をしてもよい(S101)。このような標本については、標本の種別毎にその差分量(この差分量は、理論的に求めたものでもよいし、実験的に求めたものでもよい)を予め記憶しておくことで、この差分量だけ微小針のZ位置を補正することができる。なお、この差分量は、標本の種別毎や標本のサイズ、または周囲の環境(例えば、温度、湿度、気圧、空気中、不活性ガス気流下、培養液の種類や濃度 等)に応じて決定しても良い。
上記より、S01の作業は、微小針を交換してPnの位置がずれた時や装置の再起動により位置Pnの座標がクリアされた時にのみ行えばよい。
また、なお、本実施形態では、標本への合焦処理として顕微鏡像のコントラスト状態を使用したが、これに限らず、赤外レーザー等を用いて合焦してもよい。すなわち、標本に対して赤外レーザー等を照射し、その反射光強度を計測して合焦位置を検出する方式で標本や標本が載っている容器等に合焦させてもよい。ここで、その容器に合焦させる場合には、標本の厚みを加味してインジェクション位置を決める必要があるのは言うまでもない。反射光強度を検出する方式は、上述のコントラストを検出する方式に比べて合焦位置を早く検出でき、処理の時間短縮を図ることが可能となる。
このように、標本へのインジェクションの高さ方向の位置を自動的に調整することができるので、高さ方向にばらつきのある複数個の標本においても一括して自動でのマニピュレータ操作を可能とする。また、コントラスト値の最大の画像を撮影した位置を合焦位置とすることができる。また、標本の種類等によって、随時差分量の補正をすることができる。また、反射光強度を検出する方式でも対応させることができる。
以上より、本実施形態によれば、標本の高さとインジェクション針の高さを自動的に調節することができ、インジェクション処理の操作性を向上させ、かつ処理時間の短縮を図ることができる。
<第2の実施形態>
本実施形態では、標本毎に高さのばらつきがある場合に、標本のインジェクション位置の高さを正確に調節するために、合焦処理では、標本のインジェクション位置の周辺領域の画像データでコントラスト値が最大となるように高さ制御を行う。すなわち、第1の実施形態では、顕微鏡画像全体のコントラスト値が最大となる場合を合焦位置としていたが、本実施形態では顕微鏡画像のうち所定の範囲のコントラスト値が最大となる場合を合焦位置とするものである。
図5は、本実施形態におけるインジェクション位置Cを中心とした領域Aを示す。本実施形態では、インジェクション位置C(XY座標系でのインジェクション位置)を中心とした領域Aの画像データを対象にコントラストを取得し、それにより合焦位置を算出するものである。
図6は、本実施形態における処理フローを示す。S11〜S13までのインジェクション位置の指定から標本に針を差込む位置を画面の中心に移動するところまでは、図2のS01〜S03までの処理と同じである。
次に、標本にインジェクションする位置Cの高さが合焦面Fの高さとなるようにする。そのために、顕微鏡画像中のインジェクション位置C(XY座標系でのインジェクション位置)を中心とした周辺領域A(例えば、縦横約100ピクセル四方の領域)の画像データを抽出する(S14)。
以降、標本毎にS14で抽出した領域Aの画像データのコントラストが最も高くなる合焦位置を求める。その後、インジェクションを行う処理S15〜S20は、図2のS04〜S09の処理と同様である。
なお、対物レボルバ4がZ移動する構成のシステムでは、S15,S16,S18では、対物レボルバ4がZ移動する。
また、補正処理S110,S111は、それぞれ図2のS100,S101と同様である。
このように、顕微鏡画像のうち所定の画像領域をコントラスト値の算出対象とすることで、例えばCPUやメモリ等の資源を有効に活用することができ、処理の高速化が図れる。
以上より、本実施形態によれば、高さにばらつきのある多数の標本にインジェクション処理を行う場合にも、標本毎の高さ調整を自動的に行うことができ、インジェクション処理の操作性を向上させ、かつ処理時間の短縮を図ることができる。
<第3の実施形態>
本実施形態は、標本毎で合焦処理を始める前にコントラスト値を求め、この値が予め設定した値よりも大きい場合には、合焦処理を行わずにインジェクションを実行する。すなわち、コントラスト値が規定値よりも大きければ、そのZ位置を合焦位置とみなして、インジェクションを行う。
図7は、本実施形態における処理フローを示す。S21〜S24までのインジェクション位置の指定から標本の針を差込む位置を画面の中心に移動してコントラスト評価を行う領域を指定するところまでは、図6のS11〜S14までの処理と同じである。
S24で設定した領域Aにおけるコントラスト値を算出し、予め設定した規定値と比較する(S25)。ここで、規定値は実験により求めた合焦位置でのコントラスト値から決定するか、あるいは、最初の標本での合焦位置でのコントラスト値に対する割合で決定してもよい。
ここで、算出したコントラスト値が規定値よりも小さい場合には、このZ位置は、合焦位置からまだ遠いと判断し、S26〜S29の合焦位置検出処理を行う。この合焦位置検出処理については、図6のS15〜S18の処理と同じである。
また、算出したコントラスト値が規定値よりも大きい場合には、画像のコントラストが高いので合焦位置近辺にあると判断し、S26〜S29の合焦位置検出処理を行わずに、S30のインジェクションを実行する。全ての標本についての処理が終わるまでS23〜S30を繰り返し行う(S31)。
なお、対物レボルバ4がZ移動する構成のシステムでは、S26,S27,S29では、対物レボルバ4がZ移動する。
また、補正処理S120,S121は、それぞれ図2のS100,S101と同様である。
このように、閾値以上は、合焦位置とみなすことで処理の高速化が図れる。
以上より、本実施形態によれば、高さがある程度同じ標本に移動した場合には、合焦処理を行わずにインジェクションを行うことができ、第1の実施形態よりも処理時間の短縮を図ることができる。
<第4の実施形態>
本実施形態は、各標本に対してインジェクション位置を画面の中心へ移動する動作と合焦処理を同時に行う。
図8は、本実施形態における処理フローを示す。S51,S52の各標本に対してインジェクション位置を決定する処理までは、図6のS11、S12の処理と同じである。次に、Z軸方向の最下位置にステージ5を移動する(S53)。次にインジェクション位置が画面の中心となるようにステージ5の移動を開始する(S54)。
図9は、ステージ5の移動によって、それに載置された標本Kが矢印の方向へと移動する場合に、標本画像中においてインジェクション位置C及びその周辺領域Aが、変位していく様子を説明するための図である。同図において、インジェクション位置Cは、C1,C2,C3,・・・へと移動する。また、周辺領域Aは、A1,A2,A3,・・・へと移動する。
ステージ5の移動途中には、ステージ5の座標をリアルタイムに検出してゆき、その座標値から表示画像上でのインジェクション位置を求める。図9のG1,G2,G3は、ステージ5の移動に伴い実行された合焦処理毎における標本の位置である。ここで、最初の合焦処理で標本がステージ位置G1にあるときにはインジェクション位置としてC1の座標を取得しておく。
そして、この位置C1を中心とした周辺領域A1を、コントラスト値を求める領域として設定する。この設定された領域A1の画像データをもとにコントラスト値を求める(S55)。
次にステージ5を上方(Z軸方向)に微小移動させる(S56)。その後、現在のステージ位置G2を検出する。顕微鏡画像中のインジェクション位置C2を抽出する。そして、その周辺領域A2のコントラスト値を算出する(S57)。
ここで、C2の位置は、C1の座標とステージ5の移動量から算出することができる。そうすると、周辺領域A2を表す座標の範囲も求まり、この座標の範囲に相当する当該顕微鏡画像内の周辺領域A2が得られる。そして、この当該顕微鏡画像内の周辺領域A2からコントラスト値を算出する。そして、前の顕微鏡画像(ステージ位置G1の画像)の周辺領域A1と当該顕微鏡画像の周辺領域A2とのコントラスト値と比較する(S58)。
S58において、コントラスト値が前回より大きい場合にはS56に戻り、新たにステージ5の座標G3を検出する。そして、表示画像上でのインジェクション位置C3を算出して、周辺領域A3を設定し直してから、周辺領域A3のコントラスト値を求める。
また、S58において、コントラスト値が前回より小さくなった場合には前回の位置のコントラスト値が最大ということになる。よって、その前回のステージ位置が合焦位置であると判断し、その前回のZ位置に戻す(S59)。ここで、ステージ5の水平方向への移動が完了するのを待つ(S60)。
また、補正処理S130,S131は、それぞれ図2のS100,S101と同様である。
ステージ5の移動が完了して、標本の合焦位置が検出されたら、微小針を標本に差し込みインジェクションを実行する(S61)。さらに、次にインジェクションする標本があるかを調べる(S62)。他に標本が存在する場合にはS53に戻り、存在しない場合には本フローは終了する。
なお、対物レボルバ4がZ移動する構成のシステムでは、S53,S56,S59では、対物レボルバ4がZ移動する。
このように本実施形態は、ステージ5がXY平面内を移動するのに伴い各顕微鏡画像から抽出される領域の座標が異なってしまうが、抽出対象となる部分(インジェクション位置周辺)は同一であるので、ステージ5が移動しても常にインジェクション位置周辺の画像を抽出するようにしたものである。
上記のフローで説明したように、S52で取得したインジェクション位置の座標を追跡(この座標とステージ5の移動量より算出)することで、ステージ5の移動後を撮影した顕微鏡画像のどのあたりの座標がインジェクション位置を示すのかを把握することができる。抽出する領域を特定することができれば、後は第2の実施形態と同様である。
このように、被検体の水平移動と被検体の特定部位に対する正確な合焦処理を同時に行うことが可能となる。
以上より、本実施形態によれば、標本のインジェクション位置を画面の中心とするためのステージ移動と同時に、合焦処理を行うことができ、インジェクション処理時間の短縮を図ることができる。
第1の実施形態におけるマイクロマニピュレーションシステムの全体構成を示す。 第1の実施形態における処理フローを示す。 第1の実施形態における標本と微小針の高さ調節を説明する図である。 第1の実施形態におけるコントラスト値の計算処理を説明する図である。 第2の実施形態におけるインジェクション位置Cを中心とした領域Aを示す。 第2の実施形態における処理フローを示す。 第3の実施形態における処理フローを示す。 第4の実施形態における処理フローを示す。 第4の実施形態におけるコントラスト評価領域を標本像の移動に合わせて更新する処理を説明する図である。
符号の説明
1 透過照明用光源
2 コレクタレンズ
3 対物レンズ
4 レボルバ
5 標本ステージ
6 観察用ビームスプリッタ
7 接眼レンズ
8 カメラヘッド
9 カメラ制御ユニット
10 顕微鏡部
20 透過用フィルタユニット
21 透過視野絞り
22 開口絞り
23 コンデンサ光学素子ユニット
30 器具ホルダ
31 マニピュレータアーム
32 マニピュレータ操作ユニット
33 駆動機構
34 カメラ部
100 コンピュータ
101 記録媒体
102 CPU
103 入力装置
104 通信装置
105 メモリ
110 画像処理ボード
112 画面表示用メモリ
113 入力装置
115 CPUバス
113 モニタ


Claims (24)

  1. 顕微鏡の視野内で被検体に対して微小針を用いて微細操作を行うマイクロマニピュレーションシステムにおいて、
    前記微小針を少なくとも前記顕微鏡の光軸方向に移動させるマニピュレータ駆動手段と、
    前記微小針の先端部が対物レンズの焦点に合う位置を基準位置として、微細操作を開始する前記微小針の位置である微細操作開始位置を決定する微細操作開始位置決定手段と、
    前記被検体と前記対物レンズとの位置を相対的に移動させる被検体移動手段と、
    前記被検体移動手段による前記被検体の相対的な移動に応じて、前記被検体に前記対物レンズの焦点の合う位置を示す合焦位置を検出する合焦位置検出手段と、
    前記合焦位置検出手段による検出結果に基づいて、前記被検体移動手段の動作を制御する被検体移動制御手段と、
    前記被検体移動制御手段により前記被検体を前記合焦位置に移動させ、かつ、前記微小針を前記微細操作開始位置に移動させた状態で、前記微細操作処理を行う微細操作制御手段と、
    を備えることを特徴とするマイクロマニピュレーションシステム。
  2. 前記合焦位置検出手段は、
    前記顕微鏡の光軸方向への前記被検体の移動に応じて、前記顕微鏡の視野内の画像を取得する画像取得手段と、
    前記画像取得手段により取得した前記画像のコントラストの高低を示すコントラスト値を算出するコントラスト値算出手段と、
    前記画像取得手段により取得した複数の画像のうち、前記コントラスト値が最大の画像の検出を行う最大コントラスト値画像検出手段と、
    を備えることを特徴とする請求項1に記載のマイクロマニピュレーションシステム。
  3. 前記マイクロマニピュレーションシステムは、さらに、
    前記被検体の種類、サイズ、及び周囲環境のうち少なくともいずれか1つに応じて、前記被検体移動制御手段の制御による前記被検体移動手段の移動量を補正する補正手段
    を備えることを特徴とする請求項1に記載のマイクロマニピュレーションシステム。
  4. 前記合焦位置検出手段は、前記被検体に照射された光の反射光の強度を検出することを特徴とする請求項1に記載のマイクロマニピュレーションシステム。
  5. 前記コントラスト値算出手段は、前記画像の所定領域のコントラスト値を算出し、該所定領域は、前記被検体に微細操作を行う部位が撮像された領域を含む画像領域であることを特徴とする請求項2に記載のマイクロマニピュレーションシステム。
  6. 前記マイクロマニピュレーションシステムは、さらに、
    前記コントラスト値算出手段により算出した前記コントラスト値と所定の閾値との大小を判定する判定手段、を備え、
    前記最大コントラスト値画像検出手段は、前記判定結果に基づいて前記検出を行うことを特徴とする請求項2に記載のマイクロマニピュレーションシステム。
  7. 前記マイクロマニピュレーションシステムは、さらに、
    前記光軸に対して垂直な方向である水平方向への前記被検体の移動と連動して前記被検体の位置を逐次検出する被検体水平位置検出手段、を備え、
    前記コントラスト値算出手段は、被検体水平位置検出手段により検出された位置の情報に基づいて、前記画像に撮像された被検体の所定領域の前記コントラスト値を算出することを特徴とする請求項2に記載のマイクロマニピュレーションシステム。
  8. 前記微細操作開始位置決定手段は、前記被検体の合焦位置と実際の微細操作位置との差分に基づいて、前記基準位置を補正することにより、前記微細操作開始位置を決定することを特徴とする請求項1に記載のマイクロマニピュレーションシステム。
  9. 前記微細操作開始位置決定手段は、前記被検体移動手段が対物レンズ移動方式の場合には、前記被検体へ合焦させるための前記被検体移動手段の移動による移動量に基づいて、前記基準位置を補正することを特徴とする請求項1に記載のマイクロマニピュレーションシステム。
  10. 顕微鏡の視野内で被検体に対して微小針を用いて微細操作を行うマイクロマニピュレーションシステムを制御する処理を、コンピュータに実行させるマイクロマニピュレーションシステム制御プログラムにおいて、
    前記微小針を少なくとも前記顕微鏡の光軸方向に移動させるマニピュレータ駆動処理と、
    前記微小針の先端部が対物レンズの焦点に合う位置を基準位置として、微細操作を開始する前記微小針の位置である微細操作開始位置を決定する微細操作開始位置決定処理と、
    前記被検体と前記対物レンズとの位置を相対的に移動させる被検体移動処理と、
    前記被検体移動処理による前記被検体の相対的な移動に応じて、前記被検体に前記対物レンズの焦点の合う位置を示す合焦位置を検出する合焦位置検出処理と、
    前記合焦位置検出処理による検出結果に基づいて、前記被検体移動処理の動作を制御する被検体移動制御処理と、
    前記被検体移動制御処理により前記被検体を前記合焦位置に移動させ、かつ、前記微小針を前記微細操作開始位置に移動させた状態で、前記微細操作処理を行う微細操作制御処理と、
    を、コンピュータに実行させるマイクロマニピュレーションシステム制御プログラム。
  11. 前記合焦位置検出処理は、
    前記顕微鏡の光軸方向への前記被検体の移動に応じて、前記顕微鏡の視野内の画像を取得する画像取得処理と、
    前記画像取得処理により取得した前記画像のコントラストの高低を示すコントラスト値を算出するコントラスト値算出処理と、
    前記画像取得処理により取得した複数の画像のうち、前記コントラスト値が最大の画像の検出を行う最大コントラスト値画像検出処理と、
    を、コンピュータに実行させる請求項10に記載のマイクロマニピュレーションシステム制御プログラム。
  12. 前記マイクロマニピュレーションシステム制御プログラムは、さらに、
    前記コントラスト値算出処理により算出した前記コントラスト値と所定の閾値との大小を判定する判定処理、
    を、コンピュータに実行させ、
    前記最大コントラスト値画像検出処理は、前記判定結果に基づいて前記検出を行う
    ことを特徴とする請求項11に記載のマイクロマニピュレーションシステム制御プログラム。
  13. 前記マイクロマニピュレーションシステム制御プログラムは、さらに、
    前記光軸に対して垂直な方向である水平方向への前記被検体の移動と連動して前記被検体の位置を逐次検出する被検体水平位置検出処理
    を、コンピュータに実行させ、
    前記コントラスト値算出処理は、被検体水平位置検出処理により検出された位置の情報に基づいて、前記画像に撮像された被検体の所定領域の前記コントラスト値を算出する
    ことを特徴とする請求項11に記載のマイクロマニピュレーションシステム制御プログラム。
  14. 顕微鏡の視野内で被検体に対して微小針を用いて微細操作を行うマイクロマニピュレーションシステム制御方法において、
    前記微小針を前記顕微鏡の光軸方向に移動させ、
    前記微小針の先端部が対物レンズの焦点に合う光軸方向位置を基準位置として、微小操作を開始する前記微小針の光軸方向位置である微小操作開始位置を決定し、
    前記被検体が前記対物レンズの焦点に合う位置を示す合焦位置を検出し、
    前記検出の結果に基づいて、前記被検体と前記対物レンズとの位置を相対的に移動させて、前記被検体を前記対物レンズに合焦させ、
    前記微小針を前記微小操作開始位置に移動させ、
    前記微細操作の実行制御を行う
    ことを特徴とするマイクロマニピュレーションシステム制御方法。
  15. 前記検出では、
    前記顕微鏡の光軸方向への前記被検体の移動に応じて、前記顕微鏡の視野内の画像を取得し、
    前記画像のコントラストの高低を示すコントラスト値を算出し、
    前記取得した複数の画像のうち、前記コントラスト値が最大の画像の検出を行う
    ことを特徴とする請求項14に記載のマイクロマニピュレーションシステム制御方法。
  16. マイクロマニピュレーションシステム制御方法において、さらに、
    前記光軸に対して垂直な方向への前記被検体の移動と連動して前記被検体の位置を逐次検出し、
    該検出された位置の情報に基づいて、前記画像に撮像された被検体の所定領域の前記コントラスト値を算出する
    ことを特徴とする請求項15に記載のマイクロマニピュレーションシステム制御方法。
  17. 顕微鏡の視野内で被検体に対して微小針を用いて微細操作を行うマイクロマニピュレーションシステムにおいて、
    前記微小針を前記顕微鏡の光軸方向と該光軸方向に対して垂直方向とに移動させるマニピュレータ駆動手段と、
    前記微小針の先端部が対物レンズの焦点に合う位置を基準位置として、インジェクションを開始する前記微小針の位置であるインジェクション開始位置を決定するインジェクション開始位置決定手段と、
    前記被検体が載置され、前記顕微鏡の対物レンズにより該被検体が観察できるように移動可能であるステージと、
    前記ステージの移動による前記顕微鏡の光軸方向への前記被検体の移動に応じて、前記顕微鏡の視野内の画像を取得するカメラと、
    前記カメラにより取得した前記画像のコントラストの高低を示すコントラスト値を算出するコントラスト値算出手段と、
    今回取得した画像について前記コントラスト値算出手段により算出した前記コントラスト値と、前回取得した画像について前記コントラスト値算出手段により算出した前記コントラスト値との比較を繰り返すことにより、複数の前記画像のうち前記コントラスト値が最大の画像の検出を行う最大コントラスト値画像検出手段と、
    前記ステージの移動を制御して、前記最大コントラスト値画像検出手段による検出結果に基づいて、前記コントラスト値が最大の画像が取得された位置に該ステージを移動させる顕微鏡制御手段と、
    前記顕微鏡制御手段により前記ステージを移動させ、かつ、前記微小針を前記インジェクション開始位置に移動させた状態で、前記インジェクション処理を行うインジェクション制御手段と、
    を備えることを特徴とするマイクロマニピュレーションシステム。
  18. 前記コントラスト値算出手段は、前記画像の所定領域のコントラスト値を算出し、
    該所定領域は、前記被検体にインジェクションを行う部位を中心とする所定の面積を有する画像領域である
    ことを特徴とする請求項17に記載のマイクロマニピュレーションシステム。
  19. 前記インジェクション開始位置決定手段は、前記被検体の合焦位置と実際のインジェクション位置との差分に基づいて、前記基準位置を補正することにより、前記インジェクション開始位置を決定する
    ことを特徴とする請求項17に記載のマイクロマニピュレーションシステム。
  20. 顕微鏡の視野内で被検体に対して微小針を用いて微細操作を行うマイクロマニピュレーションシステムにおいて、
    前記微小針を前記顕微鏡の光軸方向と該光軸方向に対して垂直方向とに移動させるマニピュレータ駆動手段と、
    前記微小針の先端部が対物レンズの焦点に合う位置を基準位置として、インジェクションを開始する前記微小針の位置であるインジェクション開始位置を決定するインジェクション開始位置決定手段と、
    前記被検体が載置されるステージと、
    前記被検体に合焦させるために前記光軸方向に移動可能である対物レンズと、
    前記対物レンズの移動による前記顕微鏡の光軸方向への前記被検体の移動に応じて、前記顕微鏡の視野内の画像を取得するカメラと、
    前記カメラにより取得した前記画像のコントラストの高低を示すコントラスト値を算出するコントラスト値算出手段と、
    今回取得した画像について前記コントラスト値算出手段により算出した前記コントラスト値と、前回取得した画像について前記コントラスト値算出手段により算出した前記コントラスト値との比較を繰り返すことにより、複数の前記画像のうち前記コントラスト値が最大の画像の検出を行う最大コントラスト値画像検出手段と、
    前記対物レンズの移動を制御して、前記最大コントラスト値画像検出手段による検出結果に基づいて、前記コントラスト値が最大の画像が取得された位置に該対物レンズを移動させる顕微鏡制御手段と、
    前記顕微鏡制御手段により前記対物レンズを移動させ、かつ、前記微小針を前記インジェクション開始位置に移動させた状態で、前記インジェクション処理を行うインジェクション制御手段と、
    を備えることを特徴とするマイクロマニピュレーションシステム。
  21. 前記コントラスト値算出手段は、前記画像の所定領域のコントラスト値を算出し、
    該所定領域は、前記被検体にインジェクションを行う部位を中心とする所定の面積を有する画像領域である
    ことを特徴とする請求項20に記載のマイクロマニピュレーションシステム。
  22. 前記インジェクション開始位置決定手段は、前記被検体の合焦位置と実際のインジェクション位置との差分に基づいて、前記基準位置を補正することにより、前記インジェクション開始位置を決定する
    ことを特徴とする請求項20に記載のマイクロマニピュレーションシステム。
  23. 前記インジェクション開始位置決定手段は、前記被検体へ合焦させるための前記対物レンズの移動による移動量に基づいて、前記基準位置を補正する
    ことを特徴とする請求項20に記載のマイクロマニピュレーションシステム。
  24. 前記マイクロマニピュレーションシステムは、さらに、
    前記光軸に対して垂直な方向である水平方向に移動する前記ステージの移動に連動して前記被検体の位置を逐次検出する被検体水平位置検出手段、
    を備え、
    前記コントラスト値算出手段は、前記逐次検出された位置の情報に基づいて、前記画像に撮像された被検体の所定領域の前記コントラスト値を算出する
    ことを特徴とする請求項20に記載のマイクロマニピュレーションシステム。


JP2005016170A 2004-02-10 2005-01-24 マイクロマニピュレーションシステム Expired - Fee Related JP4831972B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005016170A JP4831972B2 (ja) 2004-02-10 2005-01-24 マイクロマニピュレーションシステム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2004033031 2004-02-10
JP2004033031 2004-02-10
JP2005016170A JP4831972B2 (ja) 2004-02-10 2005-01-24 マイクロマニピュレーションシステム

Publications (2)

Publication Number Publication Date
JP2005258413A true JP2005258413A (ja) 2005-09-22
JP4831972B2 JP4831972B2 (ja) 2011-12-07

Family

ID=35084125

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005016170A Expired - Fee Related JP4831972B2 (ja) 2004-02-10 2005-01-24 マイクロマニピュレーションシステム

Country Status (1)

Country Link
JP (1) JP4831972B2 (ja)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006023487A (ja) * 2004-07-07 2006-01-26 Nikon Corp 顕微鏡装置
JP2007175026A (ja) * 2005-12-28 2007-07-12 Fujitsu Ltd インジェクション装置およびインジェクション方法
JP2008005768A (ja) * 2006-06-29 2008-01-17 Fujitsu Ltd マイクロインジェクション装置及び自動焦点調整方法
EP1884780A2 (en) * 2006-07-28 2008-02-06 Fujitsu Ltd. Microinjection apparatus and microinjection method
JP2009515151A (ja) * 2005-11-08 2009-04-09 キルパー、ローラント サンプル操作デバイス
JP2011013416A (ja) * 2009-07-01 2011-01-20 Nsk Ltd マニピュレーションシステム及びマニピュレーションシステム駆動方法
JP2011065253A (ja) * 2009-09-15 2011-03-31 Utsunomiya Univ ボケの抽出方法、位置決め方法及びマイクロマニピュレーションシステム
EP2378341A1 (de) * 2010-04-15 2011-10-19 Mmi Ag Verfahren zur kollisionsfreien Positionierung eines Mikromanipulationswerkzeugs
WO2012018136A1 (ja) 2010-08-06 2012-02-09 日本精工株式会社 マニピュレータシステム及び微小操作対象物の操作方法
JP2014123035A (ja) * 2012-12-21 2014-07-03 Ntn Corp 異物除去装置および異物除去方法
CN104959971A (zh) * 2015-07-17 2015-10-07 北京理工大学 一种面向微米级软管与微球组件的装配系统
JP2018029500A (ja) * 2016-08-23 2018-03-01 憲隆 福永 顕微授精訓練装置
US10202570B2 (en) 2014-05-12 2019-02-12 Kitazato Bioscience Co., Ltd. Blade tip-provided micropipette holding apparatus and intracytoplasmic sperm injection method
JP2020013136A (ja) * 2019-08-14 2020-01-23 憲隆 福永 顕微授精訓練装置
JP2021029453A (ja) * 2019-08-21 2021-03-01 憲隆 福永 顕微授精用装置および顕微授精用術具の位置制御方法
CN113337371A (zh) * 2021-06-16 2021-09-03 无锡瑞视晶科技有限公司 一种用于贴壁细胞的自动化显微注射系统及注射方法
JP7415575B2 (ja) 2020-01-14 2024-01-17 日本精工株式会社 マニピュレーションシステム及びマニピュレーションシステムの駆動方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61194418A (ja) * 1985-02-25 1986-08-28 Olympus Optical Co Ltd マニピユレ−タ付倒立型顕微鏡
JPS6311614U (ja) * 1986-07-08 1988-01-26
JPH04145406A (ja) * 1990-10-08 1992-05-19 Nec Corp オートフォーカス顕微鏡およびオートフォーカス顕微鏡を用いた三次元形状測定装置
JPH10206421A (ja) * 1997-01-24 1998-08-07 Olympus Optical Co Ltd 走査型細胞測定装置
JPH10232343A (ja) * 1996-12-18 1998-09-02 Nachi Fujikoshi Corp 自動焦点合わせ方法
JP2002006232A (ja) * 2000-06-19 2002-01-09 Nikon Corp 自動合焦機能を有する顕微鏡

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61194418A (ja) * 1985-02-25 1986-08-28 Olympus Optical Co Ltd マニピユレ−タ付倒立型顕微鏡
JPS6311614U (ja) * 1986-07-08 1988-01-26
JPH04145406A (ja) * 1990-10-08 1992-05-19 Nec Corp オートフォーカス顕微鏡およびオートフォーカス顕微鏡を用いた三次元形状測定装置
JPH10232343A (ja) * 1996-12-18 1998-09-02 Nachi Fujikoshi Corp 自動焦点合わせ方法
JPH10206421A (ja) * 1997-01-24 1998-08-07 Olympus Optical Co Ltd 走査型細胞測定装置
JP2002006232A (ja) * 2000-06-19 2002-01-09 Nikon Corp 自動合焦機能を有する顕微鏡

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4635492B2 (ja) * 2004-07-07 2011-02-23 株式会社ニコン 顕微鏡装置
JP2006023487A (ja) * 2004-07-07 2006-01-26 Nikon Corp 顕微鏡装置
JP2009515151A (ja) * 2005-11-08 2009-04-09 キルパー、ローラント サンプル操作デバイス
JP2007175026A (ja) * 2005-12-28 2007-07-12 Fujitsu Ltd インジェクション装置およびインジェクション方法
JP2008005768A (ja) * 2006-06-29 2008-01-17 Fujitsu Ltd マイクロインジェクション装置及び自動焦点調整方法
EP1884780A2 (en) * 2006-07-28 2008-02-06 Fujitsu Ltd. Microinjection apparatus and microinjection method
EP1884780A3 (en) * 2006-07-28 2014-03-05 Fujitsu Ltd. Microinjection apparatus and microinjection method
JP2011013416A (ja) * 2009-07-01 2011-01-20 Nsk Ltd マニピュレーションシステム及びマニピュレーションシステム駆動方法
JP2011065253A (ja) * 2009-09-15 2011-03-31 Utsunomiya Univ ボケの抽出方法、位置決め方法及びマイクロマニピュレーションシステム
EP2378341A1 (de) * 2010-04-15 2011-10-19 Mmi Ag Verfahren zur kollisionsfreien Positionierung eines Mikromanipulationswerkzeugs
WO2011141252A1 (de) * 2010-04-15 2011-11-17 Mmi Ag Verfahren zur kollisionsfreien positionierung eines mikromanipulationswerkzeugs
US9104200B2 (en) 2010-04-15 2015-08-11 Mmi Ag Method for the collision-free positioning of a micromanipulator tool
JP2013524291A (ja) * 2010-04-15 2013-06-17 モレキュラー マシーンズ アンド インダストリーズ アクチエンゲゼルシャフト マイクロ操作ツールを無衝突で位置決めする方法
WO2012018136A1 (ja) 2010-08-06 2012-02-09 日本精工株式会社 マニピュレータシステム及び微小操作対象物の操作方法
JP2014123035A (ja) * 2012-12-21 2014-07-03 Ntn Corp 異物除去装置および異物除去方法
US10202570B2 (en) 2014-05-12 2019-02-12 Kitazato Bioscience Co., Ltd. Blade tip-provided micropipette holding apparatus and intracytoplasmic sperm injection method
CN104959971A (zh) * 2015-07-17 2015-10-07 北京理工大学 一种面向微米级软管与微球组件的装配系统
JP2018029500A (ja) * 2016-08-23 2018-03-01 憲隆 福永 顕微授精訓練装置
JP2020013136A (ja) * 2019-08-14 2020-01-23 憲隆 福永 顕微授精訓練装置
JP2021029453A (ja) * 2019-08-21 2021-03-01 憲隆 福永 顕微授精用装置および顕微授精用術具の位置制御方法
JP7415575B2 (ja) 2020-01-14 2024-01-17 日本精工株式会社 マニピュレーションシステム及びマニピュレーションシステムの駆動方法
CN113337371A (zh) * 2021-06-16 2021-09-03 无锡瑞视晶科技有限公司 一种用于贴壁细胞的自动化显微注射系统及注射方法

Also Published As

Publication number Publication date
JP4831972B2 (ja) 2011-12-07

Similar Documents

Publication Publication Date Title
JP4831972B2 (ja) マイクロマニピュレーションシステム
EP1564575B1 (en) Micromanipulation system operating within the field of view of a microscope
EP1336888B1 (en) Microscopy imaging system and data acquisition method
JP5814709B2 (ja) タイムラプス観察方法、及び、それに用いられるタイムラプス観察装置
JP4923541B2 (ja) 顕微鏡
WO2014069053A1 (ja) 画像取得装置及び画像取得装置のフォーカス方法
JP4985980B2 (ja) ウェルプレートとそれを用いた蛍光イメージングシステム
JP4156851B2 (ja) マイクロダイセクション装置
US9046677B2 (en) Microscope system and autofocus method
US8887558B2 (en) Hardness tester and testing method
US11067771B2 (en) Observation apparatus, control method, and computer-readable medium for changing a relative distance between a stage and optical system based on determined reliability of in-focus position
US8887311B1 (en) Scanning probe microscope
JP2014089410A (ja) 画像取得装置及び画像取得方法
JP3636683B2 (ja) レーザーマイクロジセクション方法および装置
US20100208052A1 (en) Microscope device and program
CN106910665A (zh) 一种全自动化的扫描电子显微镜及其探测方法
JP2011048013A (ja) 制御装置、およびその制御装置を用いた顕微鏡システム
CN107110749A (zh) 用于激光显微切割的方法和激光显微切割系统
CN206480587U (zh) 一种全自动化的扫描电子显微镜
JP2005216645A (ja) 透過電子顕微鏡
JP2021184769A (ja) 細胞吸引支援装置および細胞吸引支援装置の制御方法
JP2007147756A (ja) 光学測定装置
JP5491817B2 (ja) 電子顕微鏡における薄膜試料位置認識装置
JP3630027B2 (ja) 微細物体の捕捉装置および捕捉方法
JP4384446B2 (ja) オートフォーカス方法及びその装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080108

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110621

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110808

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110823

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110920

R151 Written notification of patent or utility model registration

Ref document number: 4831972

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140930

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees
S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371