JP2007030136A - Minute object handling system - Google Patents
Minute object handling system Download PDFInfo
- Publication number
- JP2007030136A JP2007030136A JP2005220527A JP2005220527A JP2007030136A JP 2007030136 A JP2007030136 A JP 2007030136A JP 2005220527 A JP2005220527 A JP 2005220527A JP 2005220527 A JP2005220527 A JP 2005220527A JP 2007030136 A JP2007030136 A JP 2007030136A
- Authority
- JP
- Japan
- Prior art keywords
- drive
- tip
- display
- drive control
- screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Abandoned
Links
Images
Landscapes
- Microscoopes, Condenser (AREA)
- Manipulator (AREA)
Abstract
Description
本発明は微小物体ハンドリングシステムに係り、特に、先端部で微小物体を操作する操作指を少なくともXYの二軸方向に駆動可能なマイクロマニピュレータを備えた微小物体ハンドリングシステムに関する。 The present invention relates to a minute object handling system, and more particularly to a minute object handling system including a micromanipulator capable of driving an operation finger operating a minute object at a tip portion in at least two XY directions.
従来、例えば、微小部品の組立や細胞操作等の微小物体の操作(ハンドリング)にマイクロマニピュレータが用いられている。この種のマイクロマニピュレータは、先端部に微小物体に穿孔、切断や把持等の処理を施すエンドエフェクタを有する操作指をXYZの三軸方向に駆動可能な機構を備えている(例えば、特許文献1参照)。 Conventionally, for example, a micromanipulator is used for the operation (handling) of a minute object such as assembly of a minute part or cell operation. This type of micromanipulator includes a mechanism capable of driving an operation finger having an end effector that performs processing such as drilling, cutting, and gripping a minute object at a tip portion in three axial directions of XYZ (for example, Patent Document 1). reference).
一般に、マイクロマニピュレータによる操作は、微小物体を肉眼で観察することが難しいため、マイクロマニピュレータの他に、位置固定され微小物体を拡大する顕微鏡、顕微鏡に取り付けられ撮像素子を有するカメラ、カメラからの画像をディスプレイに表示する表示部等を備えた微小物体ハンドリングシステムとして構成されており、オペレータは、ディスプレイに表示された拡大画像を参照して、微小物体に対するエンドエフェクタの操作を行っている(例えば、特許文献2参照)。従って、オペレータは、例えば、図13(A)に示すように、微小物体10を操作するエンドエフェクタ505a、507aをディスプレイの画面7a内のX軸及びY軸方向で移動させるように配慮してマイクロマニピュレータを操作している。
In general, it is difficult to observe microscopic objects with the micromanipulator. In addition to micromanipulators, a microscope that is fixed in position and expands microscopic objects, a camera that is attached to a microscope and has an image sensor, and images from the camera Is displayed on the display as a minute object handling system, and the operator refers to the enlarged image displayed on the display and operates the end effector for the minute object (for example, Patent Document 2). Therefore, for example, as shown in FIG. 13A, the operator considers the
しかしながら、マイクロマニピュレータへのX軸及びY軸方向への駆動指令を誤って意図せずディスプレイの画面7a外にエンドエフェクタ505a、507aが移動してしまうことがある(図13(B)参照)。画面7aから見えなくなると、平面を構成するX軸方向及びY軸方向のどの方向に操作すればエンドエフェクタ505a、507aが画面7a内に戻るのか(表示されるのか)判断できないため、操作を中断し顕微鏡の倍率を下げて(図13(C)参照)エンドエフェクタ505a、507aをディスプレイの画面中心近傍に復帰させた後、元の倍率に戻すという作業をしなければならず、操作のストレスとなっている。
However, the
また、微小物体及びエンドエフェクタを拡大する顕微鏡には正立顕微鏡以外に倒立顕微鏡も用いられ、倒立顕微鏡を用いる場合には鉛直下方(Z軸マイナス方向)からの観察となり、エンドエフェクタと微小物体との相対関係が正立顕微鏡を用いた場合の反対となるため、不慣れなオペレータはエンドエフェクタのZ軸駆動方向を誤って操作し、場合によっては微小物体を損傷させてしまうこともある。 In addition to an upright microscope, an inverted microscope is used as a microscope for enlarging a micro object and an end effector. When an inverted microscope is used, observation is performed from vertically below (Z-axis minus direction). Therefore, an unfamiliar operator may mistakenly operate the end effector's Z-axis drive direction and possibly damage a minute object.
更に、微小物体とエンドエフェクタとの位置関係はその機構配置によって決定され、ディスプレイには微小物体とエンドエフェクタとが画像表示されるが、従来の手作業に慣れたオペレータは、例えば、利き腕と違う方向からの操作や、操作指が、エンドエファクタが装着された2本の把持指で構成され、うち1本の把持指が可動指の場合には自己の箸の使い方と異なる点等に違和感を抱きつつ操作しなければならない場合もある。 Further, the positional relationship between the minute object and the end effector is determined by the mechanism arrangement, and the image of the minute object and the end effector is displayed on the display. However, an operator who is used to conventional manual work is different from, for example, the dominant arm. Operation from the direction and the operating finger is composed of two gripping fingers with end factors installed, and if one of the gripping fingers is a movable finger, it is uncomfortable with the differences from how to use your own chopsticks. You may have to operate while holding
本発明は上記事案に鑑み、マイクロマニピュレータへのX軸及びY軸方向の駆動指令を誤っても、中断することなく操作を続行可能な微小物体ハンドリングシステムを提供することを第1の課題とする。また、オペレータに違和感のない微小物体ハンドリングシステムを提供することを第2の課題とする。更に、エンドエフェクタのZ軸駆動方向をオペレータに報知可能な微小物体ハンドリングシステムを提供することを第3の課題とする。 In view of the above circumstances, the present invention has a first object to provide a minute object handling system capable of continuing an operation without interruption even if the drive commands in the X-axis and Y-axis directions to the micromanipulator are erroneous. . A second object is to provide a minute object handling system that does not give the operator a sense of incongruity. Furthermore, a third object is to provide a minute object handling system capable of notifying an operator of the Z-axis drive direction of the end effector.
上記第1の課題を解決するために、本発明の第1の態様は、先端部で微小物体を操作する操作指を少なくともXYの二軸方向に駆動可能なマイクロマニピュレータと、顕微鏡に装着された撮像素子で前記操作指の先端部を撮像しディスプレイに画像表示するための表示部と、前記顕微鏡の倍率情報、前記マイクロマニピュレータに対する少なくともXY軸方向の駆動指令及び前記操作指の先端部が所定位置に位置したことを表す情報を入力するための入力部と、前記入力部から入力された少なくともXY方向の駆動指令に基づいて、前記マイクロマニピュレータの各軸に対する駆動制御を行う駆動制御部と、前記表示部と前記駆動制御部とを制御する表示駆動制御部と、を備え、前記表示駆動制御部は、前記ディスプレイに画面中心を表示させるように前記表示部を制御する表示制御手段と、前記駆動制御部の駆動制御により前記操作指の先端部が前記画面中心に位置付けられるように前記ディスプレイに表示された後、前記入力部から前記操作指の先端部が画面中心に位置したことを表す情報が入力されたときに、前記操作指の先端部の位置を初期位置として設定する初期位置設定手段と、前記入力部から入力された顕微鏡の倍率情報と前記初期位置設定手段で設定された前記操作指の先端部の初期位置とに基づいて、前記操作指の先端部が前記ディスプレイの画像表示範囲を越えて駆動しないように前記駆動制御部のXY軸方向の駆動制御範囲を制限する駆動範囲制限手段と、を有することを特徴とする。 In order to solve the first problem, a first aspect of the present invention is mounted on a microscope, a micromanipulator that can drive an operation finger that operates a minute object at the tip in at least two XY directions. A display unit for imaging the tip of the operating finger with an imaging device and displaying the image on a display; magnification information of the microscope; drive command for at least the XY axes to the micromanipulator; and the tip of the operating finger at a predetermined position An input unit for inputting information indicating that the micromanipulator is positioned, a drive control unit that performs drive control on each axis of the micromanipulator based on at least a drive command in the XY directions input from the input unit, A display drive control unit that controls the display unit and the drive control unit, wherein the display drive control unit displays a screen center on the display. Display control means for controlling the display unit as described above, and after being displayed on the display so that the tip of the operation finger is positioned at the center of the screen by the drive control of the drive control unit, from the input unit An initial position setting means for setting the position of the tip of the operation finger as an initial position when information indicating that the tip of the operation finger is positioned at the center of the screen is input, and a microscope input from the input unit The drive control is performed so that the tip of the operating finger does not drive beyond the image display range of the display based on the magnification information of the display and the initial position of the tip of the operating finger set by the initial position setting means. Drive range limiting means for limiting the drive control range in the XY axis direction of the unit.
第1の態様では、表示部により顕微鏡に装着された撮像素子で操作指の先端部が撮像されディスプレイに画像表示されるが、表示制御手段がディスプレイに画面中心を表示させるように表示部を制御するため、ディスプレイには把持指の先端部とディスプレイの画面中心とが表示される。オペレータは、まず、入力部から、操作指の先端部がディスプレイの画面中心に位置付けられるようにマイクロマニピュレータに対する少なくともXY軸方向の駆動指令を入力する。この駆動指令に基づいて、駆動制御部がマイクロマニピュレータの各軸に対する駆動制御を行うことで、操作指の先端部はディスプレイの画面中心に位置付けられる。オペレータは、操作指の先端部がディスプレイの画面中心に位置付けられたことを視認して、入力部から操作指の先端部が画面中心に位置したことを表す情報を入力する。これにより、初期位置設定手段は操作指の先端部の位置を初期位置として設定する。オペレータは、この時点までの任意の時刻に、入力部から顕微鏡の倍率情報を入力し、顕微鏡の倍率を変更したときは倍率情報を更新する。以降、オペレータは入力部からマイクロマニピュレータに対する少なくともXY軸方向の駆動指令を入力することで、駆動制御部は、入力された駆動指令に基づいてマイクロマニピュレータの各軸に対する駆動制御を行うが、駆動範囲制限手段により、入力部から入力された顕微鏡の倍率情報と初期位置設定手段で設定された操作指の先端部の初期位置とに基づいて、操作指の先端部がディスプレイの画像表示範囲を越えて駆動しないように駆動制御部のXY軸方向の駆動制御範囲が制限される。本態様によれば、駆動範囲制限手段により、入力部から入力された顕微鏡の倍率情報と初期位置設定手段で設定された操作指の先端部の初期位置とに基づいて、操作指の先端部がディスプレイの画像表示範囲を越えて駆動しないように駆動制御部のXY軸方向の駆動制御範囲が制限されるので、入力部からマイクロマニピュレータへのX軸及びY軸方向の駆動指令を誤っても操作指の先端部がディスプレイに画像表示されるため、中断することなく操作を続行することができる。なお、表示駆動制御部が、駆動範囲制限手段による駆動制御部のXY軸方向の駆動制御範囲の制限を解除する駆動範囲制限解除手段を更に有していれば、オペレータの希望に応じて、駆動範囲制限手段による駆動制御部の駆動制限範囲を制限するか否かを選択することが可能となる。 In the first aspect, the tip of the operation finger is picked up by the image pickup device mounted on the microscope by the display unit and displayed on the display, but the display control unit controls the display unit so that the center of the screen is displayed on the display. Therefore, the tip of the gripping finger and the screen center of the display are displayed on the display. First, the operator inputs at least an XY-axis direction drive command to the micromanipulator so that the tip of the operation finger is positioned at the center of the display screen. Based on this drive command, the drive control unit performs drive control on each axis of the micromanipulator, so that the tip of the operating finger is positioned at the center of the display screen. The operator visually recognizes that the tip of the operating finger is positioned at the center of the screen of the display, and inputs information indicating that the tip of the operating finger is positioned at the center of the screen from the input unit. Thereby, the initial position setting means sets the position of the tip of the operation finger as the initial position. The operator inputs the magnification information of the microscope from the input unit at an arbitrary time up to this point, and updates the magnification information when the magnification of the microscope is changed. Thereafter, the operator inputs at least an XY-axis direction drive command for the micromanipulator from the input unit, and the drive control unit performs drive control for each axis of the micromanipulator based on the input drive command. Based on the microscope magnification information input from the input unit by the limiting unit and the initial position of the tip of the operating finger set by the initial position setting unit, the tip of the operating finger exceeds the image display range of the display. The drive control range in the XY axis direction of the drive control unit is limited so as not to drive. According to this aspect, the tip of the operating finger is moved based on the magnification information of the microscope input from the input unit and the initial position of the tip of the operating finger set by the initial position setting unit by the driving range limiting unit. Since the drive control range in the XY axis direction of the drive control unit is limited so as not to drive beyond the image display range of the display, operation is possible even if the X and Y axis drive commands from the input unit to the micromanipulator are incorrect. Since the image of the tip of the finger is displayed on the display, the operation can be continued without interruption. If the display drive control unit further includes drive range restriction release means for releasing the drive control range restriction in the XY axes of the drive control unit by the drive range restriction means, the drive can be performed according to the operator's request. It is possible to select whether or not to limit the drive restriction range of the drive control unit by the range restriction means.
第1の態様において、駆動範囲制限手段が、顕微鏡の倍率とディスプレイに表示される画面中心から水平及び垂直方向画面端までの実際の距離との相関関係を予め記憶しており、該相関関係と顕微鏡の倍率情報とから、画面中心から水平及び垂直方向画面端までに相当する操作指の先端部のX軸及びY軸方向の初期位置からの実距離を演算し、該演算された実距離を越える駆動制御部のXY軸方向の駆動制御範囲を制限することが好ましい。このとき、マイクロマニピュレータは操作指を少なくともXYの二軸方向に駆動する各ステッピングモータを有しており、駆動制御部は各ステッピングモータに駆動パルスを送出することにより駆動制御を実行し、駆動範囲制限手段は操作指の先端部のX軸及びY軸方向の初期位置からの実距離からX軸及びY軸方向の駆動パルス数を演算し、該演算された駆動パルス数を越えるX軸及びY軸駆動ステッピングモータへの駆動パルスの出力を制限するようにしてもよい。 In the first aspect, the drive range limiting means prestores a correlation between the magnification of the microscope and the actual distance from the screen center displayed on the display to the horizontal and vertical screen edges, and the correlation From the magnification information of the microscope, the actual distance from the initial position in the X-axis and Y-axis directions of the tip of the operation finger corresponding to the horizontal and vertical screen edges from the screen center is calculated, and the calculated actual distance is calculated. It is preferable to limit the drive control range in the XY axis direction of the drive control unit that exceeds. At this time, the micromanipulator has stepping motors that drive the operation fingers in at least two directions of XY, and the drive control unit executes drive control by sending drive pulses to each stepping motor, and the drive range. The limiting means calculates the number of driving pulses in the X-axis and Y-axis directions from the actual distance from the initial position in the X-axis and Y-axis directions of the tip of the operating finger, and the X-axis and Y-axis exceeding the calculated driving pulse number The output of drive pulses to the shaft drive stepping motor may be limited.
操作指の先端部を画面中心に位置付ける操作を緩和するために、表示制御手段は、ディスプレイに画面中心を含む中心領域を表示させるように表示部を制御し、初期位置設定手段は、駆動制御部の駆動制御により操作指の先端部が中心領域内に位置付けられるようにディスプレイに表示された後、入力部から操作指の先端部が中心領域内に位置したことを表す情報が入力されたときに、操作指の先端部が画面中心にあるものとみなして該先端部の位置を初期位置として設定し、駆動範囲制限手段は、顕微鏡の倍率、ディスプレイに表示される画面中心から水平及び垂直方向画面端までの実際の距離、並びに、画面中心から水平及び垂直方向の中心領域端までの実際の距離の相関関係を予め記憶しており、画面中心から水平及び垂直方向画面端までの距離をそれぞれX1,Y1、画面中心から水平及び垂直方向の中心領域端までの距離をそれぞれx,yとしたときに、相関関係と顕微鏡の倍率情報とから、画面中心から(距離X1−距離x)までの距離に相当する操作指の先端部のX軸方向の実距離、及び、画面中心から(距離Y1−距離y)までの距離に相当する操作指の先端部のY軸方向の実距離を演算し、該演算された実距離を越える駆動制御部のXY方向の駆動制御範囲を制限するようにしてもよい。このとき、マイクロマニピュレータは操作指を少なくともXYの二軸方向に駆動する各ステッピングモータを有しており、駆動制御部は各ステッピングモータに駆動パルスを送出することにより駆動制御を実行し、駆動範囲制限手段は操作指の先端部のX軸及びY軸方向の実距離からX軸及びY軸方向の駆動パルス数を演算して、該演算された駆動パルス数を越えるX軸及びY軸駆動ステッピングモータへの駆動パルスの出力を制限するようにしてもよい。更に、上記第2の課題を解決するために、第1の態様において、操作指は固定指と可動指とを有する把持指であり、表示部は、入力部からの入力情報に応じて、撮像素子で撮像した操作指の先端部の画像を回転乃至反転してディスプレイに画像表示する回転/反転表示手段を有するようにすれば、オペレータの利き腕や箸の用い方に合わせて回転乃至反転した画像をディスプレイに表示できるので、操作に違和感のない微小物体ハンドリングシステムを得ることができる。 In order to ease the operation of positioning the tip of the operation finger at the center of the screen, the display control unit controls the display unit to display a central region including the screen center on the display, and the initial position setting unit includes the drive control unit. When the information indicating that the tip of the operating finger is located in the central region is input from the input unit after the tip of the operating finger is displayed in the central region by the drive control of The tip of the operating finger is assumed to be at the center of the screen, and the position of the tip is set as the initial position. The driving range limiting means is configured to display the horizontal and vertical directions from the magnification of the microscope and the center of the screen displayed on the display. The actual distance to the edge and the correlation of the actual distance from the center of the screen to the center area edge in the horizontal and vertical directions are stored in advance, and the horizontal and vertical screen edges from the screen center are stored in advance. X1 and Y1, respectively, and x and y from the center of the screen to the horizontal and vertical center region ends, respectively, from the center of the screen (distance X1- The actual distance in the X-axis direction of the tip of the operating finger corresponding to the distance up to x) and the Y-axis direction of the tip of the operating finger corresponding to the distance from the center of the screen to (distance Y1-distance y). The actual distance may be calculated, and the drive control range in the X and Y directions of the drive control unit exceeding the calculated actual distance may be limited. At this time, the micromanipulator has stepping motors that drive the operation fingers in at least two directions of XY, and the drive control unit executes drive control by sending drive pulses to each stepping motor, and the drive range. The limiting means calculates the number of drive pulses in the X-axis and Y-axis directions from the actual distances in the X-axis and Y-axis directions of the tip of the operation finger, and the X-axis and Y-axis drive stepping exceeding the calculated drive pulse number You may make it restrict | limit the output of the drive pulse to a motor. Furthermore, in order to solve the second problem, in the first aspect, the operation finger is a gripping finger having a fixed finger and a movable finger, and the display unit captures images according to input information from the input unit. If rotation / reversal display means for rotating and reversing the image of the tip of the operating finger imaged by the element and displaying the image on the display is provided, the image is rotated or reversed in accordance with the operator's dominant arm or chopstick usage. Can be displayed on the display, so that it is possible to obtain a minute object handling system that does not feel uncomfortable in operation.
また、本発明の第2の態様は、先端部で微小物体を操作する操作指をXYZの三軸方向に駆動可能なマイクロマニピュレータと、顕微鏡に装着された撮像素子で前記操作指の先端部を撮像しディスプレイに画像表示するための表示部と、前記顕微鏡の倍率情報、前記マイクロマニピュレータに対するXYZ軸方向の駆動指令及び前記操作指の先端部が所定位置に位置したことを表す情報を入力するための入力部と、前記入力部から入力されたXYZ軸方向の駆動指令に基づいて、前記マイクロマニピュレータの各軸に対する駆動制御を行う駆動制御部と、前記表示部と前記駆動制御部とを制御する表示駆動制御部と、を備え、前記表示駆動制御部は、前記ディスプレイに画面中心を表示させるように前記表示部を制御する表示制御手段と、前記駆動制御部の駆動制御により前記操作指の先端部が前記画面中心に位置付けられるように前記ディスプレイに表示された後、前記入力部から前記操作指の先端部が画面中心に位置したことを表す情報が入力されたときに、前記操作指の先端部の位置を初期位置として設定する初期位置設定手段と、前記入力部から入力された顕微鏡の倍率情報と前記初期位置設定手段で設定された前記操作指の先端部の初期位置とに基づいて、前記操作指の先端部が前記ディスプレイの画像表示範囲を越えて駆動しないように前記駆動制御部のXY軸方向の駆動制御範囲を制限する駆動範囲制限手段と、を有することを特徴とする。第2の態様においても、第1の態様と同様の効果を得ることができる。 Further, the second aspect of the present invention provides a micromanipulator that can drive an operation finger that operates a minute object at the tip in the three-axis directions of XYZ, and an image sensor attached to a microscope to move the tip of the operation finger. To input a display unit for imaging and displaying an image on a display, magnification information of the microscope, driving commands in the XYZ-axis directions for the micromanipulator, and information indicating that the tip of the operating finger is positioned at a predetermined position An input unit, a drive control unit that performs drive control on each axis of the micromanipulator based on a drive command in the XYZ axis direction input from the input unit, and the display unit and the drive control unit A display drive control unit, wherein the display drive control unit includes a display control unit that controls the display unit to display a screen center on the display; Information indicating that the tip of the operation finger is positioned at the center of the screen from the input unit after being displayed on the display so that the tip of the operation finger is positioned at the center of the screen by drive control of the drive control unit Is input, the initial position setting means for setting the position of the tip of the operation finger as an initial position, the magnification information of the microscope input from the input section and the operation set by the initial position setting means Based on the initial position of the tip of the finger, a drive range restriction that limits the drive control range in the XY axis direction of the drive control unit so that the tip of the operation finger does not drive beyond the image display range of the display And means. Also in the second aspect, the same effect as in the first aspect can be obtained.
更に、上記第3の課題を解決するために、第2の態様において、音声を出力する音声出力部を更に備え、駆動制御部は、マイクロマニピュレータのZ軸に対する駆動制御を実行するときに、操作指の昇降に応じて異なる周波数の音声を出力するように音声出力部を制御するようにすれば、顕微鏡が正立、倒立に拘わらず、エンドエフェクタのZ軸駆動方向を誤って操作することを防止することができる。 Furthermore, in order to solve the third problem, in the second aspect, the audio control unit further includes an audio output unit that outputs audio, and the drive control unit operates when performing drive control on the Z axis of the micromanipulator. If the sound output unit is controlled to output sound of different frequencies according to the raising and lowering of the finger, the Z-axis drive direction of the end effector is erroneously operated regardless of whether the microscope is upright or inverted. Can be prevented.
本発明によれば、駆動範囲制限手段により、入力部から入力された顕微鏡の倍率情報と初期位置設定手段で設定された操作指の先端部の初期位置とに基づいて、操作指の先端部がディスプレイの画像表示範囲を越えて駆動しないように駆動制御部のXY軸方向の駆動制御範囲が制限されるので、入力部からマイクロマニピュレータへのX軸及びY軸方向の駆動指令を誤っても操作指の先端部がディスプレイに画像表示されるため、中断することなく操作を続行することができる、という効果を得ることができる。 According to the present invention, based on the magnification information of the microscope input from the input unit and the initial position of the tip of the operating finger set by the initial position setting unit by the driving range limiting unit, the tip of the operating finger is Since the drive control range in the XY axis direction of the drive control unit is limited so as not to drive beyond the image display range of the display, operation is possible even if the X and Y axis drive commands from the input unit to the micromanipulator are incorrect. Since the tip of the finger is displayed as an image on the display, it is possible to obtain an effect that the operation can be continued without interruption.
以下、図面を参照して、本発明に係る微小物体ハンドリングシステムの実施の形態について説明する。 Hereinafter, embodiments of a minute object handling system according to the present invention will be described with reference to the drawings.
(構成)
<全体構成>
図1に示すように、本実施形態の微小物体ハンドリングシステム200は、定盤1に架台4を介して固定され微小物体を取り扱うためのマイクロマニピュレータ100と、定盤1に固定されマイクロマニピュレータ100により取り扱われる微小物体を載置するためのステージ3と、支柱が定盤1に固定されCCDを撮像素子とするCCDカメラ5が装着された顕微鏡2と、表示部及び音声出力部の一部としてのパーソナルコンピュータ(以下、PCと略称する。)6と、マイクロマニピュレータ100を制御する、プログラマブル・ロジック・コントローラ(以下、PLCと略称する。)等を内蔵した駆動制御部及び表示駆動制御部としてのコントロールボックス8と、を備えている。
(Constitution)
<Overall configuration>
As shown in FIG. 1, a minute
PC6には、コントロールボックス8との入出力ケーブル、液晶表示装置等のディスプレイとしてのモニタ7への出力ケーブル及びCCDカメラ5からの入力ケーブルが接続されている。従って、微小物体ハンドリングシステム200のオペレータは、モニタ7を介してステージ3に載置された微小物体10を目視することができる。なお、モニタ7は音声出力部の一部としてのスピーカ11を内蔵しており、スピーカ11は、ソフトウエアで構成された音声データに従ってPC6のハードウエアで構成される音声生成回路で増幅された音声を出力可能である。
An input / output cable to / from the
コントロールボックス8は、マイクロマニピュレータ100と接続ケーブル8aで接続されていると共に、ジョイスティック、十字ボタン、○、×、△、□ボタン等を有しコントロールボックス8のPLCに後述する駆動指令等のコマンド(命令)を入力するための入力部としてのコントローラ(入力装置)9に接続されている。
The
コントロールボックス8に内蔵されたPLCは、CPU、ROM、RAMの他に、D/Aコンバータ、A/Dコンバータ等を有して構成されており、ROMに格納されたプログラム及びプログラムデータに従って、PC6へ動作命令を送出すると共に、コントローラ9からの入力された駆動指令を各アクチュエータ制御信号に変換して接続ケーブル8aを介してマイクロマニピュレータ100に送出する。なお、PLCの外部バスには図示しないアクチュエータ制御部が接続されており、このアクチュエータ制御部から各アクチュエータに駆動パルスが送出される。
The PLC built in the
<マイクロマニピュレータ>
図2及び図3に示すように、マイクロマニピュレータ100は、大別して、操作指としての把持指(後述する固定指505、可動指507)を有し微小物体を取り扱うハンドリング部104と、ハンドリング部104をX、Y方向に移動させるXY駆動部101と、ハンドリング部104の把持指の先端部(後述するエンドエフェクタ505aの先端部、図6参照)を中心としてハンドリング部104を回動させステージ3に載置された微小物体10(図1参照)に対するハンドリング部104の把持指の先端部の姿勢方向を変更するθz駆動部102と、ハンドリング部104をZ方向に移動させるZ駆動部103と、を備えている。
<Micromanipulator>
As shown in FIGS. 2 and 3, the
マイクロマニピュレータ100は、上述した架台4に固定される基台201を有している。基台201には、ハンドリング部104を、それぞれ、X、Y方向に駆動するための駆動源となるX方向アクチュエータ202と、Y方向アクチュエータ203とが互いに交差する方向に固定されている。
The
X方向アクチュエータ202は、エンコーダを有し正逆転可能なステッピングモータ202aと、ステッピングモータ202aの出力軸であってエンコーダの反対側に形成されたボールネジ202bに係合するスライダ202cと、スライダ202cが摺動可能な直進ガイドレール(不図示)と、を有する直動アクチュエータであり、Y方向アクチュエータ203も同様に、エンコーダを有し正逆転可能なステッピングモータ203aと、ステッピングモータ203aの出力軸であってエンコーダの反対側に形成されたボールネジ203bに係合するスライダ203cと、スライダ203cが摺動可能な直進ガイドレール(不図示)と、を有している。
The
X方向アクチュエータ202のスライダ202c、Y方向アクチュエータ203のスライダ203cは、パンタグラフ機構204のX方向入力節(リンク)204a、Y方向入力節(リンク)204bにそれぞれ固定されている。このため、X方向アクチュエータ202及びY方向アクチュエータ203はパンタグラフ機構204にX方向及びY方向の直動変位を与えることができる。
The
図4に示すように、パンタグラフ機構204は、上述したX方向入力節204a、Y方向入力節204bの他に、X方向アクチュエータ202及びY方向アクチュエータ203からそれぞれ入力されたX方向及びY方向の直動変位を合成、拡大してXY方向出力節(リンク)204jに出力するための節(リンク)204c〜204i及び回転対偶204k〜204sを有している。なお、Y方向入力節204bと節204dとを接続する回転対偶204k、及び、X方向入力節204aと節204c、204eとを接続する回転対偶204p、X方向入力節204aと節204hとを接続する回転対偶204qはそれぞれ固定されている。
As shown in FIG. 4, in addition to the
図5に示すように、パンタグラフ機構204は、X方向アクチュエータ202及びY方向アクチュエータ203と干渉しないように、これらのアクチュエータより上方に配置されている。XY方向出力節204jは平板状のベース205aに固定されている。ベース205aは3本の脚部205b〜205dを有している。脚部205b〜205dの先端部には、任意方向に回転可能な球体がはめ込まれている(図2も参照)。脚部205b〜205dにはめ込まれた球体は、ベース205より広く略水平面を有する受け面206に接触している。受け面206は、X方向アクチュエータ202を跨ぐように4本の脚部で上述した基台201に固定されている。また、XY方向出力節204jの略中央には、θz駆動部102を嵌合、固定するための2つの嵌合穴が形成されている。
As shown in FIG. 5, the
θz駆動部102はベース301を有している。ベース301からは2本の連結部材306が下方にロッド状に延出されている。これらの連結部材306は、XY方向出力節204jに形成された嵌合穴に嵌合され圧入されている。このため、XY駆動部101とθz駆動部102とは連結されている。また、ベース301には、円弧状のガイドレール302が固定されており、ガイドレール302にはこのガイドレール302上を摺動可能なスライダ303が係合されている。ガイドレール302の円弧中心は、ハンドリング部104の把持指の先端部(エンドエフェクタ505aの先端部)に一致している。
The
スライダ303には、正逆転可能なステッピングモータ304と、ステッピングモータ304からの回転駆動を減速する図示しない第1の減速歯車列からなるギアボックス305とが固定されている。更に、ベース301にはZ駆動部103(ハンドリング部104)側にガイドレール302と同心円状に円弧状壁面301aが形成されており、ベース301の円弧状壁面301aの上側には円弧状壁面301aよりZ駆動部103(ハンドリング部104)側に突出した内歯歯車301bが一体形成されている。また、ギアボックス305の第1の減速歯車列の出力端にはピニオン(不図示)が配設されており、このピニオンが内歯歯車301bに噛合している。このため、第1の減速歯車列で減速されたステッピングモータ304からの回転駆動力(回転トルク)は、第1の減速歯車列のピニオンを経て内歯歯車301bに伝達される。
Fixed to the
Z駆動部103は、正逆転可能なステッピングモータ401と、ステッピングモータ401からの回転駆動力を減速する図示しない第2の減速歯車列からなるギアボックス402と、ボールネジ403a、ナット403b、スライダ403c、ガイドレール403d及びホルダ403eを有するZ方向直動機構403とで構成されている。
The
ギアボックス402はθz駆動部102のギアボックス305と一体に構成されており、ステッピングモータ401はギアボックス402に固定されている。ギアボックス402の第2の減速歯車列の出力端には下方に延出されたボールネジ403aが配設されている。ボールネジ403aの先端部側は、ギアボックス402に固定されたホルダ403eに回転可能に軸支されている。ボールネジ403aにはナット403bが螺合しており、ナット403bにはスライダ403cが固定されている。また、ギアボックス402からはボールネジ403aと平行するように直進ガイドレール403dが配設されており、ガイドレール403dの先端部側はホルダ403eに固定されている。スライダ403cはガイドレール403上を摺動可能にガイドレール403に当接している。
The
図2に示すように、Z方向直動機構403のナット403bには、ハンドリング部104側の先端部に貫通穴が形成された連結部材404が固定されている。ハンドリング部104は、ベース501の下部に形成された2つの貫通穴510(図6も参照)と連結部材404のハンドリング部104側の先端部に形成された貫通穴とを貫通する連結ピン508により、Z駆動部103に固定されている。
As shown in FIG. 2, a connecting
図6に示すように、ハンドリング部104は、微小物体を把持するために、固定指505と可動指507との2本の把持指を有している。固定指505、可動指507には、それぞれ微小物体と接触するエンドエフェクタ505a、507aが取り付けられている。
As shown in FIG. 6, the
ハンドリング部104のベース501にはメータ等のアクチュエータ502がブラケット503を伴って固定されており、プレート504には固定指505が組み付けられている(固定されている)。プレート504は、固定指505が組み付けられた状態で、ベース501と一定の隙間を形成してベース501に固定されている。この隙間には長板状のレバー506が介在している。レバー506の先端部一側(Z駆動部103の反対側)には可動指507が固定されており、先端部側中央には上下両方向に支点軸506aが突設されている。上述した隙間は、この支点軸506aがプレート504の軸受504aとベース501の軸受501aとに軸支されることにより画定されている。
An
レバー506の後端には略U字状のスリット(切り欠き)506bが形成されている。スリット506bにはアクチュエータ502の出力ピン502aが係合している。このため、アクチュエータ502を駆動すると、レバー506が支点軸506bを中心として回動することで、固定指505のエンドエフェクタ505aに可動指507のエンドエフェクタ507aが近接ないし離間し、微小物体の把持ないし把持した微小物体の開放を行うことができる。なお、エンドエフェクタ505a及びエンドエフェクタ507aは、先端同士が接触するように、固定指505及び可動指507に配設されたネジで調整可能である。
A substantially U-shaped slit (notch) 506 b is formed at the rear end of the
(動作)
次に、本実施形態の微小物体ハンドリングシステム200の動作について、コントロールボックス8のCPU(以下、単にCPUという。)を主体として説明する。コントロールボックス8に電源が投入されると、CPUは微小物体処理ルーチンを実行する。
(Operation)
Next, the operation of the minute
なお、オペレータは、図1に示すように、ステージ3に載置された微小物体10、ハンドリング部104のエンドエフェクタ505a、507aを、顕微鏡2、カメラ5及びPC6を介して、モニタ7の画面7a内に捉える。このとき、必要に応じて、微小物体10及びエンドエフェクタ505aの先端部を画面7aに捉えるために顕微鏡2の顕微鏡の倍率(対物レンズの倍率)を変えるようにしてもよい。この状態で、オペレータは、コントローラ9のジョイスティック等を操作することにより、コントロールボックス8(のPLC)を介してマイクロマニピュレータ100に、X軸方向(以下、X方向と略称する。)、Y軸方向(以下、Y方向と略称する。)、θz方向(エンドエフェクタ505aの先端部を中心とするハンドリング部104の回動方向、すなわち、エンドエフェクタ505a、507aの姿勢方向)、Z軸方向(以下、Z方向と略称する。)の駆動指令と、把持指に対するハンドリング(開閉)の駆動指令を与えて、微小物体10とエンドエフェクタ505a、507aとの相対関係を制御する。
As shown in FIG. 1, the operator connects the
図7に示すように、微小物体処理ルーチンでは、まず、ステップ600で、エンドエフェクタ505aを初期位置に設定するための初期位置設定処理が、初期位置設定処理サブルーチンが呼び出すことにより実行される。図8に示すように、初期位置設定処理サブルーチンでは、ステップ602において、PC6に対しモニタ7の画面中央を通る十字線を表示するように動作命令を送出する。これにより、モニタ7の画面7aには、画面中央Oを通る十字線Cが表示される(図10(A)参照)。
As shown in FIG. 7, in the minute object processing routine, first, in
オペレータは、エンドエフェクタ505aの初期位置を設定するために、図10(B)に示すように、エンドエフェクタ505aの先端部が画面中心Oに位置するようにコントローラ9を操作する。すなわち、CPUは、ステップ604で駆動指令がコントローラ9から入力されるまで待機し、駆動指令が入力されると、ステップ606で入力された駆動指令を取り込み、次のステップ608においてマイクロマニピュレータ100に対する駆動制御を実行する。
In order to set the initial position of the
駆動指令には、上述したように、ハンドリング部104の把持指に対するX方向駆動指令、Y方向駆動指令、Z方向駆動指令、θz方向駆動指令、把持駆動指令等があり、コントローラ9からは駆動量も合わせて入力される。例えば、コントローラ9のジョイスティックにX方向駆動指令及びY方向駆動指令の入力が割り当てられている場合には、ジョイスティックからの入力がX方向駆動指令及びY方向駆動指令であり、ジョイスティックの倒れた角度のX方向成分をX方向駆動量、Y方向成分をY方向駆動量とすることができる。CPUは、上記駆動指令のうちどの駆動指令が入力されたのかを判断し、入力された駆動量を駆動指令に対応するステッピングモータのパルス数に変換し、変換したパルス数(のデジタル信号)を上述した図示しないアクチュエータ制御部に送出する。アクチュエータ制御部は、デジタル信号をアナログ信号に変換し、駆動指令の対象となるステッピングモータに駆動パルスを送出する。
As described above, the drive command includes an X direction drive command, a Y direction drive command, a Z direction drive command, a θz direction drive command, a grip drive command, and the like for the gripping finger of the
<X方向駆動>
図2〜図4に示すように、X方向アクチュエータ202にアクチュエータ制御部から駆動パルスが送出されると、ステッピングモータ202aは、ボールネジ202bを回転させ、スライダ202cを介して、パンタグラフ機構204のX方向入力節204aを図3の水平方向(X方向)に移動させる。ここで、回転対偶204kは上述したように固定されているので、回転対偶204pの変位は、回転対偶204k〜204sの位置をそれぞれの末尾のアルファベットをとってk〜sとしたときに、△klp:△kmoの相似比に拡大されて回転対偶204oに出力され、回転対偶204oを変位(移動)させる。なお、節204g、204h、204iは、節204c〜204iの位置をそれぞれ末尾のアルファベットをとってc〜iとしたときに、□pqrn及び□osrnの二つの平行四辺形ループを加えるように付加されたリンクで、XY方向出力節204jの姿勢を一定に保つ機能を有している。
<X direction drive>
As shown in FIGS. 2 to 4, when a drive pulse is sent from the actuator control unit to the
<Y方向駆動>
Y方向アクチュエータ203にアクチュエータ制御部から駆動パルスが送出されると、ステッピングモータ203aは、ボールネジ203bを回転させ、スライダ203cを介して、パンタグラフ機構204のY方向入力節204bを図3の鉛直方向(Y方向)に移動させる。ここで、回転対偶204pは上述したように固定されているので、回転対偶204kの変位は、上記同様、回転対偶204k〜204sの位置をそれぞれの末尾のアルファベットをとってk〜sとしたときに、△klp:△onpの相似比に拡大されて回転対偶204oに出力され、回転対偶204oを変位(移動)させる。
<Y direction drive>
When a drive pulse is sent from the actuator control unit to the Y-
上述したようにX方向、Y方向の駆動指令の入力によりパンタグラフ機構204のXY方向出力節204jが変位(移動)すると、XY方向出力節204jには連結部材306を介してθz駆動部102、Z駆動部103及びハンドリング部104の重量がZ方向に作用するが、ベース205の脚部205b〜205dを介して受け面206がその負荷を受ける。脚部205b〜205dの先端部には任意方向に回転可能な球体がはめ込まれているため、球体が受け面206を転がり移動することで、パンタグラフ機構204にZ方向の負荷を掛けず、低摩擦負荷の移動を可能にしている。
As described above, when the XY
<θz方向駆動>
図5に示すように、ステッピングモータ304にアクチュエータ制御部から駆動パルスが送出されると、ギアボックス305の第1の減速歯車列の出力端に配されたピニオン(不図示)にトルクが伝達されて、スライダ303が、ベース301の内歯歯車301bに係合して遊星歯車状にガイドレール302に沿って回動動作する。ギアボックス305とスライダ303とは一体で、ギアボックス305とギアボックス402は一体となっており、このギアボックス402にホルダ403e(Z方向直動機構403)が固定されており、かつ、Z方向直動機構403のナット403bに連結部材404が固定され連結ピン508でハンドリング部104がZ方向駆動機構403(Z駆動部103)に固定されているので、ステッピングモータ304が駆動すると、θz駆動部102の回動動作に伴って、Z駆動部103及びハンドリング部104は一体に、ハンドリング部104の把持指の先端部(エンドエフェクタ505a、507aが接触する先端部)を中心に回動動作をする。
<Θz direction drive>
As shown in FIG. 5, when a drive pulse is sent from the actuator controller to the stepping
<Z方向駆動>
図5に示すように、ステッピングモータ401にアクチュエータ制御部から駆動パルスが送出されると、ステッピングモータ401はギアボックス402に配設された第2の減速歯車列を介してボールネジ403aを回転し、ナット403bと一体のハンドリング部104をガイドレール403dに沿って図5の上下方向(Z方向)移動させる。また、CPUは、コントローラ9からZ方向駆動指令が入力されると、ハンドリング部104を上昇させる方向(ステッピングモータ401の正転方向)の駆動指令か、ハンドリング部104を下降させる方向(ステッピングモータ401の逆転方向)の駆動指令かを判断し、PC6の音声生成回路を作動させる。これにより、ステッピングモータ401の駆動(厳密には上述したアクチュエータ制御部の駆動パルスの出力)に同期して、ハンドリング部104が上昇するときは、スピーカ11から高音の音声が出力され、下降するときは、低音の音声が出力される。
<Z direction drive>
As shown in FIG. 5, when a driving pulse is sent from the actuator control unit to the stepping
<把持駆動>
図6に示すように、アクチュエータ502にアクチュエータ制御部からアナログ所定電圧が引加されると、出力ピン502aが回動変位し、レバー506のスリット506bに変位が伝達され、レバー506は支点軸506aを中心に回動する。これにより、可動指507のエンドエフェクタ507aは、固定指505のエンドエフェクタ505aに対し、近接、又は、離間する動きをする。従って、固定指505、可動指507の2本の把持指は、微小物体10の把持ないし把持した微小物体10の開放を行うことができる。
<Gripping drive>
As shown in FIG. 6, when an analog predetermined voltage is applied to the actuator 502 from the actuator controller, the
ステップ608では、以上の駆動制御が実行可能であるが、エンドエフェクタ505aの初期位置を設定するためには、エンドエフェクタ505aの先端部が画面中心Oに位置するように、オペレータがコントローラ9から少なくともX方向駆動指令及びY方向駆動指令を入力することが必要である。オペレータは、画面7aからエンドエフェクタ505aの先端部が画面中心Oに位置したことを視認することができる(図10(B)参照)。
In
次に、図8のステップ610では、コントローラ9からエンドエフェクタ505aの先端部が画面中心Oに位置したことを表す情報(初期位置情報)が入力されたか否かを判断する。このような入力は、例えば、コントローラ9の○ボタンが押下されたか否かを判定することにより行うことができる。否定判断のときは、エンドエフェクタ505aの先端部を画面中心Oに位置させる操作を続行するためにステップ604に戻り、肯定判断のときは、ステップ612において、エンドエフェクタ505aの先端部の位置を初期位置として設定する。換言すれば、CPUはステッピングモータ202a、203aへの累計パルス数を、それぞれ(ステッピングモータ202aへの累計パルス数,ステッピングモータ203aへの累計パルス数)=(0,0)に設定する。
Next, in
次にステップ614では、オペレータに顕微鏡2の倍率情報の入力を促すために、モニタ7の画面7aにメッセージボックスとインプットボックスとを表示させるように、PC6にコマンドを送出する。これにより、画面7aには、例えば、「顕微鏡の倍率情報を入力して下さい。」とのメッセージボックスと、オペレータが倍率情報を入力するためのインプットボックスとが表示される。次のステップ618では、PC6から顕微鏡2の倍率情報を受信したか否かを判断することにより、オペレータによりインプットボックスに倍率情報が入力されたか否かを判断し、否定判断のときはステップ614に戻り、肯定判断のときは、ステップ620において倍率情報を取り込む。
Next, in
次のステップ622では、顕微鏡の倍率(例えば、1倍のとき)と、画面7aの画面中心Oから水平及び垂直方向画面端までの距離に相当するX方向及びY方向の初期位置からの実距離との関係を表し予めPLCのROMに記憶されている相関テーブルを読み出す。次にステップ624では、ステップ620で取り込んだ倍率情報と相関テーブルとにより、画面7aの画面中心Oから水平及び垂直方向画面端までの距離(X1,Y1)に相当するX方向及びY方向の初期位置からの実距離(Xmax,Ymax)を演算する(図10(A)参照)。次いでステップ626では、エンドエフェクタ505aの先端部を、ステッピングモータ202a、203aで、初期位置から実距離(Xmax,Ymax)間を駆動するための駆動許容パルス数(PXmax,PYmax)を演算し、演算結果をRAMに格納して初期位置設定処理サブルーチンを終了し、図7のステップ700に進む。
In the
ステップ700では、エンドエフェクタ505aの先端部を常に画面7a内に捉えるための駆動制御制限処理が、駆動制御制限処理サブルーチンを呼び出すことにより実行される。図9に示すように、駆動制御制限処理サブルーチンでは、ステップ702でモニタ7の画面7a内にエンドエフェクタ505aの先端部を捉えて駆動することができる旨の表示を表示し、次のステップ704において、コントローラ9から駆動制御制限処理サブルーチンを終了する命令が入力されたか否かを判断する。肯定判断のときは、駆動制御制限処理サブルーチン及び微小物体処理ルーチンを終了し、否定判断のときは、ステップ706でコントローラ9から駆動指令が入力されたか否かを判断する。ステップ706での判断が否定のときはステップ702に戻り、肯定のときはステップ708で駆動指令を取り込み、次のステップ710において取り込んだ駆動指令がX方向及び/又はY方向の駆動指令か否かを判断する。
In
ステップ710での判断が肯定のときは、ステップ712において駆動指令による駆動距離を演算し、演算した駆動距離から駆動パルス数(PXa,PYa)を演算する。次にステップ714で、前回、RAMに記憶した累計パルス数(PXt,PYt)を読み出して(ステップ724も参照)、ステップ716で、ステップ716で読み出した累計パルス数(PXt,PYt)と、ステップ712で演算した駆動パルス数(PXa,PYa)とを合計した合計パルス数(PXt+PXa,PYt+PYa)とを演算する。合計パルス数は、エンドエフェクタ505aの先端部の初期位置でのパルス数を(0,0)とし、ステッピングモータ202a、203aに送出したパルス数をX方向、Y方向でそれぞれ累計したものである。
If the determination in
なお、図10(A)に示した十字線CをXY座標系とし初期位置Oを原点として捉えた場合、エンドエフェクタ505aの先端部の位置は、X方向の合計パルス数(PXt+PXa)が正、かつ、Y方向の合計パルス数(PYt+PYa)が正の場合には第1象限に、X方向の合計パルス数(PXt+PXa)が負、かつ、Y方向の合計パルス数(PYt+PYa)が正の場合には第2象限に、X方向の合計パルス数(PXt+PXa)が負、かつ、Y方向の合計パルス数(PYt+PYa)が負の場合には第3象限に、X方向の合計パルス数(PXt+PXa)が正、かつ、Y方向の合計パルス数(PYt+PYa)が負の場合には第4象限に存在することとなる。
When the crosshair C shown in FIG. 10A is taken as the XY coordinate system and the initial position O is regarded as the origin, the position of the tip of the
次いでステップ718において、合計パルス数{(PXt+PXa,PYt+PYa)の絶対値}がステップ626で演算した駆動許容パルス数(PXmax,PYmax)以下かをX方向、Y方向のそれぞれについて判断し、肯定判断のときは、ステップ720においてステップ712で演算した駆動パルス数を出力し、否定判断のときはステップ722において駆動許容パルス数(PXmax,PYmax)を越えるパルス数の出力を制限し、{PXmax−(PXt+PXa),PYmax−(PYt+PYa)}の駆動パルス数を出力する。
Next, at
ここで、ステップ718での判断の前提となる全ての態様について整理すれば、(1){X方向の合計パルス数(PXt+PXa)の絶対値}≦X方向の駆動許容パルス数PXmax、かつ、{Y方向の合計パルス数(PYt+PYa)の絶対値}≦Y方向の駆動許容パルス数PYmax、(2){X方向の合計パルス数(PXt+PXa)の絶対値}>X方向の駆動許容パルス数PXmax、かつ、{Y方向の合計パルス数(PYt+PYa)の絶対値}≦Y方向の駆動許容パルス数PYmax、(3){X方向の合計パルス数(PXt+PXa)の絶対値}≦X方向の駆動許容パルス数PXmax、かつ、{Y方向の合計パルス数(PYt+PYa)の絶対値}>Y方向の駆動許容パルス数PYmax、(4){X方向の合計パルス数(PXt+PXa)の絶対値}>X方向の駆動許容パルス数PXmax、かつ、{Y方向の合計パルス数(PYt+PYa)の絶対値}>Y方向の駆動許容パルス数PYmaxの4態様となる。 Here, if all the aspects that are the premise of the determination in step 718 are summarized, (1) {the absolute value of the total number of pulses in the X direction (PXt + PXa)} ≦ the number of allowable driving pulses PXmax in the X direction, and { Absolute value of total number of pulses in Y direction (PYt + PYa)} ≦ number of allowable drive pulses in Y direction PYmax, (2) {Absolute value of total number of pulses in X direction (PXt + PXa)}> Number of allowable drive pulses in the X direction PXmax, And {the absolute value of the total number of pulses in the Y direction (PYt + PYa)} ≦ the allowable number of driving pulses PYmax in the Y direction, (3) {the absolute value of the total number of pulses in the X direction (PXt + PXa)} ≦ the allowable driving pulses in the X direction PXmax and {the absolute value of the total number of pulses in the Y direction (PYt + PYa)}> the allowable number of drive pulses PYmax in the Y direction, (4) {the total number of pulses in the X direction ( Xt + PXa) of the absolute value}> X direction of the driving allowable pulse number pxmax, and a {Y direction total pulse number (PYt + PYa) of the absolute value}> Y direction fourth aspect of the driving allowable pulse number pymax.
上記(1)の場合は、X方向及びY方向共にステップ626で演算した駆動許容パルス数の範囲内のため、ステップ718での判断はX方向及びY方向共に肯定となり、コントローラ9からの駆動指令通りに駆動パルスを出力しエンドエフェクタ505aの先端部を移動させてもエンドエフェクタ505aの先端部は画面7aから外れる(画面7aの範囲外となる)ことはない。このため、ステップ720において、ステップ712で演算した駆動パルス数を出力する。図10(C)に実線で示したエンドエフェクタ505aはこの態様を表しており、より具体的には、X方向の合計パルス数(PXt+PXa)が正、かつ、Y方向の合計パルス数(PYt+PYa)が負の場合を表している。
In the case of (1) above, both the X direction and the Y direction are within the range of allowable drive pulses calculated in
上記(2)の場合は、X方向については、ステップ626で演算した駆動許容パルス数の範囲を越えるため、ステップ718での判断は否定となり、ステップ722においてX方向の駆動許容パルス数PXmaxを越えるパルス数の出力を制限し、PXmax−(PXt+PXa)の駆動パルス数を出力する。一方、Y方向については、ステップ626で演算した駆動許容パルス数の範囲内のため、ステップ718での判断は肯定となり、コントローラ9からの駆動指令通りにY方向の駆動パルスを出力しエンドエフェクタ505aの先端部を移動させてもエンドエフェクタaの先端部は画面7aから外れることはない。このため、ステップ720において、ステップ712で演算したY方向の駆動パルス数を出力する。図10(C)に破線で示したエンドエフェクタ505aはこの態様を表しており、より具体的には、X方向の合計パルス数(PXt+PXa)が正、かつ、Y方向の合計パルス数(PYt+PYa)が正の場合を表している。
In the case of (2) above, the X direction exceeds the drive allowable pulse number range calculated in
上記(3)の場合は、X方向については、ステップ626で演算した駆動許容パルス数の範囲内のため、ステップ718での判断は肯定となり、コントローラ9からの駆動指令通りにX方向の駆動パルスを出力しエンドエフェクタ505aの先端部を移動させてもエンドエフェクタaの先端部は画面7aから外れることはない。このため、ステップ720において、ステップ712で演算したX方向の駆動パルス数を出力する。一方、Y方向については、ステップ626で演算した駆動許容パルス数の範囲を越えるため、ステップ718での判断は否定となり、ステップ722においてY方向の駆動許容パルス数PYmaxを越えるパルス数の出力を制限し、PYmax−(PYt+PYa)の駆動パルス数を出力する。
In the case of (3) above, since the X direction is within the range of the allowable drive pulse number calculated in
上記(4)の場合は、X方向については、ステップ626で演算した駆動許容パルス数の範囲を越えるため、ステップ718での判断は否定となり、ステップ722においてX方向の駆動許容パルス数PXmaxを越えるパルス数の出力を制限し、PXmax−(PXt+PXaの駆動パルス数を出力する。一方、Y方向についても、ステップ626で演算した駆動許容パルス数の範囲を越えるため、ステップ718での判断は否定となり、ステップ722においてY方向の駆動許容パルス数PYmaxを越えるパルス数の出力を制限し、PYmax−(PYt+PYa)の駆動パルス数を出力する。
In the case of (4) above, since the range of the allowable drive pulse number calculated in
次のステップ724では、次の駆動指令に備え(ステップ714参照)、出力した累計パルス数を記憶して、ステップ702に戻る。
In the
一方、ステップ710での判断が否定のときは、ステップ726において、ステップ608で説明したθz方向駆動、Z方向駆動、把持駆動等の別処理を実行してステップ702に戻る。
On the other hand, if the determination in
(作用等)
次に、本実施形態の微小物体ハンドリングシステム200の作用等について説明する。
(Action etc.)
Next, the operation and the like of the minute
本実施形態の微小物体ハンドリングシステム200では、モニタ7の画面7aの画面中心Oをエンドエフェクタ505aの先端部の初期位置に設定し(ステップ612)、顕微鏡2の倍率と、画面中心Oから水平及び垂直画面端までの距離に相当するX方向及びY方向の初期位置からの実距離との関係を表す相関テーブルとから実距離(Xmax,Ymax)を演算し、初期位置から実距離(Xmax,Ymax)間を駆動するための駆動許容パルス数(PXmax,PYmax)を演算して(ステップ622〜626)、駆動許容パルス数(PXmax,PYmax)を越えるステッピングモータ202a、203aへのパルスの出力を制限したので(ステップ722)、エンドエフェクタ505aの先端部が画面7aの画像表示範囲を越えて駆動しない。このため、オペレータがコントローラ9からマイクロマニピュレータ100へのX方向及びY方向の駆動指令を誤っても、エンドエフェクタ505aの先端部が常に画面7a内に表示される。従って、オペレータは操作を中断して顕微鏡2の倍率を下げてエンドエフェクタ505aを画面中心Oの近傍に復帰させた後、顕微鏡2を元の倍率の戻すという作業を避けることができ、オペレータの操作に伴うストレスを解消することができる。
In the minute
また、本実施形態の微小物体ハンドリングシステム200では、Z方向駆動において、ステッピングモータ401の駆動に同期して、ハンドリング部104が上昇するときは、スピーカ11から高音の音声を出力し、下降するときは、低音の音声を出力する。このため、オペレータは、顕微鏡2が正立、倒立に拘わらず、コントローラ9からエンドエフェクタ505a、507aに対するZ方向駆動指令を誤って入力することを防止することができ、微小物体10の損傷を避けることができる。
Further, in the minute
なお、本実施形態では、初期位置設定処理で、エンドエフェクタ505aを画面中心Oに位置させる例を示したが、本発明はこれに制限されるものではない。例えば、初期位置設定処理において、図11(A)に示すように、画面中心を含む矩形状の中心領域Aを画面7aに表示し、図11(B)に示すように、コントローラ9からエンドエフェクタ505aの先端部が中心領域A内に位置したことを表す情報が入力されたときに、エンドエフェクタ505aの先端部が画面中心にあるものとみなしてエンドエフェクタ505aの先端部の位置を初期位置として設定しておき、駆動制御制限処理において、顕微鏡の倍率、画面中心から水平及び垂直方向画面端までの実際の距離、並びに、画面中心から水平及び垂直方向の中心領域端までの実際の距離の関係を表し予めPLCのROMに記憶されている相関テーブルを読み出し、画面中心から水平及び垂直方向画面端までの距離をそれぞれX1,Y1、画面中心から水平及び垂直方向の中心領域端までの距離をそれぞれx,yとしたときに、相関テーブルと顕微鏡2の倍率情報とから、画面中心から(距離X1−距離x)までの距離に相当するエンドエフェクタ505aの先端部のX方向の実距離、及び、画面中心から(距離Y1−距離y)までの距離に相当するエンドエフェクタ505aの先端部のY方向の実距離を演算し、該演算された実距離を越えるX方向及びY方向の駆動範囲を制限するようにしてもよい。このような駆動範囲の制限は、具体的には、上記実施形態と同様に、パルス数を制限することにより行うことができる。このようにすれば、エンドエフェクタ505aの先端部を画面中心に一致させる操作のストレスが緩和されるので、使い勝手のよい(操作性の高い)微小物体ハンドリングシステムを構成することができる。なお、中心領域は矩形状に限定されず、例えば、円形でもよいことは云うまでもない。
In the present embodiment, an example is shown in which the
また、本実施形態では、カメラ5のCCDで撮像された画像をPC6を介してモニタ7に表示する例を示したが(図12(A)参照)、本発明はこれに制約されず、図12(B)〜(D)に示すように、エンドエフェクタ505aの画像を回転ないし反転して表示するようにしてもよい。このような態様では、オペレータはコントローラ9のボタンにより回転ないし反転指令を入力し、コントローラボックス8のPLCがPC6に回転ないし反転コマンドを送出するように構成すればよい。このようにすれば、オペレータの利き腕や箸の用い方に合わせることができるので、機構上の配置構成が定まった微小物体ハンドリングシステム200に対して違和感の低減や違和感をなくすことができる。
Further, in the present embodiment, an example in which an image captured by the CCD of the camera 5 is displayed on the
更に、本実施形態では、駆動制御制限処理において、エンドエフェクタ505aの先端部が常に画面7aから外れることはないように制御範囲を制限する例を示したが、このような制限を解除する構成を備えていることが好ましい場合もある。このような構成では、例えば、図9のステップ704でコントローラ9の所定ボタンが押下されたかを判断し、肯定判断のときに制限を解除するようにしたり、図7のステップ600の前に、駆動制御の制限をするボタンが押下されたか否かを判断し、肯定判断のときにステップ600に進み、否定判断のときに駆動制御の制限をしない処理(例えば、図9のステップ718、722を除いた処理)を行うようにしてもよい。
Furthermore, in the present embodiment, in the drive control restriction process, an example in which the control range is restricted so that the tip of the
また、本実施形態では、2本の把持指を有するハンドリング部104を示したが、本発明はこれに制限されるものではなく、微小物体の形状に応じて、把持指の形状、本数やエンドエフェクタの形状を変更可能なことは云うまでもない。また、本実施形態では、可動指507を固定指505に近接させる例を示したが、双方の把持指を互いに近接させるようにしてもよい。
In the present embodiment, the
更に、本実施形態では、相関テーブルをPLCのROMに予め記憶した例を示したが、相関テーブルに代えて、顕微鏡の倍率と、画面7aの画面中心Oから水平及び垂直方向画面端までの距離に相当するX方向及びY方向の初期位置からの実距離との関係等の数式を記憶しておくようにしてもよい。また、ステップ614〜620の処理は、初期位置設定サブルーチン内のいずれにあってもよい(本例の場合は、駆動制御制限処理サブルーチンの実行前に行えばよい。)。
Furthermore, in the present embodiment, an example is shown in which the correlation table is stored in advance in the ROM of the PLC, but instead of the correlation table, the magnification of the microscope and the distance from the screen center O of the
そして、本実施形態では、音声出力部をPC6、モニタ7に配置した例を示したが、コントロールボックス8に音声出力部を配置するようにしてもよい。
In the present embodiment, the example in which the audio output unit is arranged in the
本発明はマイクロマニピュレータへのX軸及びY軸方向の駆動指令を誤っても、中断することなく操作を続行可能な微小物体ハンドリングシステムを提供することを目的とするため、微小物体ハンドリングシステムの製造、販売に寄与するので、産業上の利用可能性を有する。 An object of the present invention is to provide a minute object handling system that can continue operation without interruption even if the drive commands in the X-axis and Y-axis directions to the micromanipulator are incorrect. Since it contributes to sales, it has industrial applicability.
2 顕微鏡
6 パーソナルコンピュータ(表示部の一部、音声出力部の一部)
7 モニタ(ディスプレイ)
8 コントロールボックス(駆動制御部、表示駆動制御部)
9 コントローラ(入力部)
10 微小物体
11 スピーカ(音声出力部の一部)
100 マイクロマニピュレータ
202a ステッピングモータ(X軸駆動ステッピングモータ)
203a ステッピングモータ(Y軸駆動ステッピングモータ)
401 ステッピングモータ
505 固定指
505a エンドエフェクタ(先端部)
507 可動指
507a エンドエフェクタ(先端部)
2
7 Monitor (display)
8 Control box (drive control unit, display drive control unit)
9 Controller (input part)
10
100
203a Stepping motor (Y-axis drive stepping motor)
401
507
Claims (9)
顕微鏡に装着された撮像素子で前記操作指の先端部を撮像しディスプレイに画像表示するための表示部と、
前記顕微鏡の倍率情報、前記マイクロマニピュレータに対する少なくともXY軸方向の駆動指令及び前記操作指の先端部が所定位置に位置したことを表す情報を入力するための入力部と、
前記入力部から入力された少なくともXY軸方向の駆動指令に基づいて、前記マイクロマニピュレータの各軸に対する駆動制御を行う駆動制御部と、
前記表示部と前記駆動制御部とを制御する表示駆動制御部と、
を備え、前記表示駆動制御部は、
前記ディスプレイに画面中心を表示させるように前記表示部を制御する表示制御手段と、
前記駆動制御部の駆動制御により前記操作指の先端部が前記画面中心に位置付けられるように前記ディスプレイに表示された後、前記入力部から前記操作指の先端部が画面中心に位置したことを表す情報が入力されたときに、前記操作指の先端部の位置を初期位置として設定する初期位置設定手段と、
前記入力部から入力された顕微鏡の倍率情報と前記初期位置設定手段で設定された前記操作指の先端部の初期位置とに基づいて、前記操作指の先端部が前記ディスプレイの画像表示範囲を越えて駆動しないように前記駆動制御部のXY軸方向の駆動制御範囲を制限する駆動範囲制限手段と、
を有することを特徴とする微小物体ハンドリングシステム。 A micromanipulator that can drive an operating finger that operates a minute object at the tip in at least two XY directions;
A display unit for imaging the tip of the operation finger with an image sensor mounted on a microscope and displaying the image on a display;
An input unit for inputting magnification information of the microscope, at least a drive command for the micromanipulator in the XY axis direction, and information indicating that the tip of the operation finger is positioned at a predetermined position;
A drive control unit that performs drive control on each axis of the micromanipulator based on at least a drive command in the XY-axis direction input from the input unit;
A display drive control unit for controlling the display unit and the drive control unit;
The display drive control unit includes:
Display control means for controlling the display unit to display the center of the screen on the display;
After the tip of the operation finger is displayed on the display so as to be positioned at the center of the screen by the drive control of the drive control unit, it represents that the tip of the operation finger is positioned at the center of the screen from the input unit. Initial position setting means for setting the position of the tip of the operation finger as an initial position when information is input;
Based on the magnification information of the microscope input from the input unit and the initial position of the tip of the operation finger set by the initial position setting unit, the tip of the operation finger exceeds the image display range of the display. Drive range limiting means for limiting the drive control range in the XY-axis direction of the drive control unit so as not to drive,
A micro object handling system characterized by comprising:
前記初期位置設定手段は、前記駆動制御部の駆動制御により前記操作指の先端部が前記中心領域内に位置付けられるように前記ディスプレイに表示された後、前記入力部から前記操作指の先端部が前記中心領域内に位置したことを表す情報が入力されたときに、前記操作指の先端部が前記画面中心にあるものとみなして該先端部の位置を初期位置として設定し、
前記駆動範囲制限手段は、顕微鏡の倍率、前記ディスプレイに表示される画面中心から水平及び垂直方向画面端までの実際の距離、並びに、前記画面中心から水平及び垂直方向の中心領域端までの実際の距離の相関関係を予め記憶しており、前記画面中心から水平及び垂直方向画面端までの距離をそれぞれX1,Y1、前記画面中心から水平及び垂直方向の中心領域端までの距離をそれぞれx,yとしたときに、前記相関関係と前記顕微鏡の倍率情報とから、前記画面中心から(距離X1−距離x)までの距離に相当する前記操作指の先端部のX軸方向の実距離、及び、前記画面中心から(距離Y1−距離y)までの距離に相当する前記操作指の先端部のY軸方向の実距離を演算し、該演算された実距離を越える前記駆動制御部のXY軸方向の駆動制御範囲を制限する、
ことを特徴とする請求項1に記載の微小物体ハンドリングシステム。 The display control means controls the display unit to display a center region including the screen center on the display,
The initial position setting means displays the tip of the operation finger on the display so that the tip of the operation finger is positioned in the central region by the drive control of the drive control unit, and then the tip of the operation finger from the input unit. When information indicating that it is located in the center area is input, the tip of the operating finger is regarded as being at the center of the screen, and the position of the tip is set as an initial position.
The drive range limiting means includes a magnification of the microscope, an actual distance from the screen center displayed on the display to the horizontal and vertical screen edges, and an actual distance from the screen center to the horizontal and vertical central region edges. Distance correlations are stored in advance, the distances from the screen center to the horizontal and vertical screen edges are X1 and Y1, respectively, and the distances from the screen center to the horizontal and vertical center areas are respectively x and y. , From the correlation and the magnification information of the microscope, the actual distance in the X-axis direction of the tip of the operating finger corresponding to the distance from the center of the screen to (distance X1-distance x), and The actual distance in the Y-axis direction of the tip of the operating finger corresponding to the distance from the center of the screen to (distance Y1-distance y) is calculated, and the XY-axis direction of the drive control unit exceeds the calculated actual distance. Limiting the driving control range,
The minute object handling system according to claim 1.
顕微鏡に装着された撮像素子で前記操作指の先端部を撮像しディスプレイに画像表示するための表示部と、
前記顕微鏡の倍率情報、前記マイクロマニピュレータに対するXYZ軸方向の駆動指令及び前記操作指の先端部が所定位置に位置したことを表す情報を入力するための入力部と、
前記入力部から入力されたXYZ軸方向の駆動指令に基づいて、前記マイクロマニピュレータの各軸に対する駆動制御を行う駆動制御部と、
前記表示部と前記駆動制御部とを制御する表示駆動制御部と、
を備え、前記表示駆動制御部は、
前記ディスプレイに画面中心を表示させるように前記表示部を制御する表示制御手段と、
前記駆動制御部の駆動制御により前記操作指の先端部が前記画面中心に位置付けられるように前記ディスプレイに表示された後、前記入力部から前記操作指の先端部が画面中心に位置したことを表す情報が入力されたときに、前記操作指の先端部の位置を初期位置として設定する初期位置設定手段と、
前記入力部から入力された顕微鏡の倍率情報と前記初期位置設定手段で設定された前記操作指の先端部の初期位置とに基づいて、前記操作指の先端部が前記ディスプレイの画像表示範囲を越えて駆動しないように前記駆動制御部のXY軸方向の駆動制御範囲を制限する駆動範囲制限手段と、
を有することを特徴とする微小物体ハンドリングシステム。 A micromanipulator that can drive an operation finger that operates a minute object at the tip in three axial directions of XYZ;
A display unit for imaging the tip of the operation finger with an image sensor mounted on a microscope and displaying the image on a display;
An input unit for inputting the magnification information of the microscope, the drive command in the XYZ axial directions for the micromanipulator, and information indicating that the tip of the operation finger is located at a predetermined position;
A drive control unit that performs drive control on each axis of the micromanipulator based on a drive command in the XYZ axis direction input from the input unit;
A display drive control unit for controlling the display unit and the drive control unit;
The display drive control unit includes:
Display control means for controlling the display unit to display the center of the screen on the display;
After the tip of the operation finger is displayed on the display so as to be positioned at the center of the screen by the drive control of the drive control unit, it represents that the tip of the operation finger is positioned at the center of the screen from the input unit. Initial position setting means for setting the position of the tip of the operation finger as an initial position when information is input;
Based on the magnification information of the microscope input from the input unit and the initial position of the tip of the operation finger set by the initial position setting unit, the tip of the operation finger exceeds the image display range of the display. Drive range limiting means for limiting the drive control range in the XY-axis direction of the drive control unit so as not to drive,
A micro object handling system characterized by comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005220527A JP2007030136A (en) | 2005-07-29 | 2005-07-29 | Minute object handling system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005220527A JP2007030136A (en) | 2005-07-29 | 2005-07-29 | Minute object handling system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007030136A true JP2007030136A (en) | 2007-02-08 |
Family
ID=37790004
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005220527A Abandoned JP2007030136A (en) | 2005-07-29 | 2005-07-29 | Minute object handling system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007030136A (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009141090A (en) * | 2007-12-06 | 2009-06-25 | Renesas Technology Corp | Scanning electron microscope |
US9259283B2 (en) | 2011-07-07 | 2016-02-16 | Olympus Corporation | Medical master slave manipulator system |
WO2016163401A1 (en) * | 2015-04-08 | 2016-10-13 | 日本精工株式会社 | Manipulation system and method for controlling same |
JP2020049579A (en) * | 2018-09-26 | 2020-04-02 | 住友重機械工業株式会社 | End effector and robot comprising the same |
-
2005
- 2005-07-29 JP JP2005220527A patent/JP2007030136A/en not_active Abandoned
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009141090A (en) * | 2007-12-06 | 2009-06-25 | Renesas Technology Corp | Scanning electron microscope |
US9259283B2 (en) | 2011-07-07 | 2016-02-16 | Olympus Corporation | Medical master slave manipulator system |
WO2016163401A1 (en) * | 2015-04-08 | 2016-10-13 | 日本精工株式会社 | Manipulation system and method for controlling same |
JPWO2016163401A1 (en) * | 2015-04-08 | 2017-09-07 | 日本精工株式会社 | Manipulation system and control method thereof |
US10245734B2 (en) | 2015-04-08 | 2019-04-02 | Nsk Ltd. | Manipulation system and control method thereof |
JP2020049579A (en) * | 2018-09-26 | 2020-04-02 | 住友重機械工業株式会社 | End effector and robot comprising the same |
JP7201377B2 (en) | 2018-09-26 | 2023-01-10 | 住友重機械工業株式会社 | End effector and robot equipped with it |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3342565B1 (en) | Robot system | |
JP4806229B2 (en) | Micromanipulator | |
EP3643266A1 (en) | Surgery supporting apparatus for controlling motion of robot arm, control method of the same, and non-transitory computer-readable storage medium | |
JP6000641B2 (en) | Manipulator system | |
JP6816364B2 (en) | Controls, robots, and robot systems | |
JP6361213B2 (en) | Robot control apparatus, robot, robot system, teaching method, and program | |
WO2018159155A1 (en) | Medical observation system, control device, and control method | |
CN109834709B (en) | Robot control device for setting micro-motion coordinate system | |
CN113056351A (en) | External input device, robot system, method for controlling robot system, control program, and recording medium | |
JP2006321027A (en) | Master slave type manipulator system and its operation input device | |
US11850741B2 (en) | Control device, control method, and master-slave system | |
JP6546361B1 (en) | Surgery support device | |
JP6227200B1 (en) | MEDICAL MANIPULATOR SYSTEM AND MEDICAL MANIPULATOR CONTROL METHOD | |
JP2015006722A (en) | Master device for master slave device, control method therefor, and master slave robot | |
JP2020065910A (en) | Surgery assistance apparatus | |
JP2007030136A (en) | Minute object handling system | |
KR102199910B1 (en) | Multi degree-of-freedom laparoscopic apparatus using disposable surgical robot tool | |
JP2018192601A (en) | Robot system and robot system control method | |
JP2018144228A (en) | Robot control apparatus, robot, robot system, teaching method, and program | |
CN114126532A (en) | Movable display system | |
JP2006205344A (en) | Micromanipulator | |
JP2010012087A (en) | Manipulator system and control method of manipulator | |
KR20220052961A (en) | Movable display unit on the track | |
JP2006205341A (en) | Micromanipulator | |
JP2007127974A (en) | Micromanipulator |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080630 |
|
A762 | Written abandonment of application |
Effective date: 20110830 Free format text: JAPANESE INTERMEDIATE CODE: A762 |
|
A521 | Written amendment |
Effective date: 20110830 Free format text: JAPANESE INTERMEDIATE CODE: A821 |