JP2010082189A - Calibration method of manipulator in surgical manipulator system - Google Patents

Calibration method of manipulator in surgical manipulator system Download PDF

Info

Publication number
JP2010082189A
JP2010082189A JP2008254640A JP2008254640A JP2010082189A JP 2010082189 A JP2010082189 A JP 2010082189A JP 2008254640 A JP2008254640 A JP 2008254640A JP 2008254640 A JP2008254640 A JP 2008254640A JP 2010082189 A JP2010082189 A JP 2010082189A
Authority
JP
Japan
Prior art keywords
manipulator
coordinate
marker
surgical
control device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008254640A
Other languages
Japanese (ja)
Inventor
Naruhiro Komuro
考広 小室
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2008254640A priority Critical patent/JP2010082189A/en
Publication of JP2010082189A publication Critical patent/JP2010082189A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To make a control unit easily recognize the coordinate systems of a plurality of manipulators at a low cost without using an expensive optical three-dimensional measuring apparatus. <P>SOLUTION: In the calibration method of the manipulator 4 in the surgical manipulator system including at least one manipulators 3 and 4 installed at an optional position for a patient to treat an operative site and a control unit for controlling the manipulators 3 and 4, a plurality of markers 9d having known different coordinates are disposed within the operating range of the manipulator 4, the coordinate position of the intersection of a plurality of circles drawn with a distance from the reference point Q of the manipulator 4 to the tip position of the manipulator 4 as a radius when the tip position is matched with the respective markers 9d is calculated, and the control unit is made to recognize the calculated coordinate position as the coordinate position of the reference point Q of the manipulator 4. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、手術マニピュレータシステムにおけるマニピュレータのキャリブレーション方法に関するものである。   The present invention relates to a manipulator calibration method in a surgical manipulator system.

従来、操作部の入力に従って動作するマスタースレーブ方式の複数のマニピュレータを備える手術マニピュレータシステムが知られている（例えば、特許文献１参照。）。
この手術マニピュレータシステムにおいては、術部を観察するためのカメラにより観察される画像の方向とマニピュレータの動作方向とを一致させるために、各マニピュレータに取り付けたマーカを外部に配置された光学式３次元測定装置により検出して各マニピュレータの座標系を特定することとしている。 2. Description of the Related Art Conventionally, a surgical manipulator system including a plurality of master-slave manipulators that operate according to an input of an operation unit is known (see, for example, Patent Document 1).
In this surgical manipulator system, in order to make the direction of the image observed by the camera for observing the surgical site coincide with the operation direction of the manipulator, an optical three-dimensional system in which markers attached to each manipulator are arranged outside. The coordinate system of each manipulator is specified by detection by a measuring device.

特許第３７６６８０５号公報Japanese Patent No. 3766805

しかしながら、従来の手術マニピュレータシステムにおいては、各マニピュレータに取り付けたマーカを検出するための光学式３次元測定装置を必要とするため、以下の不都合がある。
第１に、全てのマニピュレータを光学式３次元測定装置の検出可能範囲内に配置する必要があり、光学式３次元測定装置として検出可能範囲の大きなものを採用する必要がある。
第２に、光学式３次元測定装置とマニピュレータのマーカとの間の光路を遮る障害物を取り除く必要があるが、手術室内の設備や機器、医師や看護士等のスタッフが多く存在するため、困難な場合が多い。
第３に、光学式３次元測定装置自体が高価である。 However, the conventional surgical manipulator system requires the optical three-dimensional measuring device for detecting the marker attached to each manipulator, and has the following disadvantages.
First, it is necessary to arrange all the manipulators within the detectable range of the optical three-dimensional measuring device, and it is necessary to adopt a device having a large detectable range as the optical three-dimensional measuring device.
Second, it is necessary to remove obstacles that block the optical path between the optical three-dimensional measuring device and the marker of the manipulator, but because there are many staff such as equipment and equipment in the operating room, doctors and nurses, Often difficult.
Thirdly, the optical three-dimensional measuring device itself is expensive.

本発明は、上述した事情に鑑みてなされたものであって、高価な光学式３次元測定装置を使用することなく、簡易に、かつ、安価に、複数のマニピュレータの座標系を制御装置に認識させることができる手術マニピュレータシステムにおけるマニピュレータのキャリブレーション方法を提供することを目的としている。   The present invention has been made in view of the above-described circumstances, and recognizes the coordinate system of a plurality of manipulators to a control device easily and inexpensively without using an expensive optical three-dimensional measuring device. An object of the present invention is to provide a manipulator calibration method in a surgical manipulator system that can be operated.

上記目的を達成するために、本発明は、以下の手段を提供する。
本発明は、患者に対して任意の位置に設置され術部に対して処置を行う１以上のマニピュレータと、該マニピュレータを制御する制御装置とを備える手術マニピュレータシステムにおけるマニピュレータのキャリブレーション方法であって、前記マニピュレータの動作範囲内に既知の異なる座標を有する複数のマーカを配置し、各マーカに前記マニピュレータの先端位置を一致させたときに、前記マニピュレータの基準点から前記先端位置までの距離を半径として描かれる複数の円の交差する座標位置を算出し、算出された座標位置をマニピュレータの基準点の座標位置として制御装置に認識させる手術マニピュレータシステムにおけるマニピュレータのキャリブレーション方法を提供する。 In order to achieve the above object, the present invention provides the following means.
The present invention is a manipulator calibration method in a surgical manipulator system including one or more manipulators installed at an arbitrary position with respect to a patient and performing a treatment on an operation part, and a control device for controlling the manipulators. When a plurality of markers having different known coordinates are arranged within the operation range of the manipulator, and the tip position of the manipulator is made to coincide with each marker, the distance from the reference point of the manipulator to the tip position is a radius. A calibration method of a manipulator in a surgical manipulator system is provided that calculates coordinate positions where a plurality of circles drawn as intersecting and calculates a coordinate position of a reference point of the manipulator as a coordinate position of a manipulator.

本発明によれば、患者に対して任意の位置にマニピュレータを配置し、該マニピュレータを動作させて、既知の異なる座標を有する複数のマーカにその先端位置を一致させると、そのマーカの座標位置を中心としてマニピュレータの基準点が存在する可能性のある円を描くことができる。複数のマーカに対してそれぞれ同一の操作を行って複数の円を描き、それらの円の交差する座標位置を算出することにより、マニピュレータの基準点の座標位置を特定することができる。そして、特定された座標位置を制御装置に認識させることにより、制御装置によって所望の方向にマニピュレータを作動させることができる。これにより、任意の位置に配置された１以上のマニピュレータを、高価な光学式３次元測定装置を使用することなく、簡易に、かつ、安価に所望の方向に操作することができる。   According to the present invention, when a manipulator is arranged at an arbitrary position with respect to a patient, and the manipulator is operated so that the tip positions coincide with a plurality of markers having different known coordinates, the coordinate position of the marker is determined. It is possible to draw a circle where the reference point of the manipulator may exist as the center. The coordinate operation of the reference point of the manipulator can be specified by drawing the plurality of circles by performing the same operation with respect to the plurality of markers and calculating the coordinate positions where the circles intersect. Then, by causing the control device to recognize the specified coordinate position, the manipulator can be operated in a desired direction by the control device. Thereby, one or more manipulators arranged at arbitrary positions can be easily and inexpensively operated in a desired direction without using an expensive optical three-dimensional measuring apparatus.

上記発明においては、前記マーカが、前記制御装置の座標系の３つの座標軸により規定される３次元方向に異なる座標位置に配置されていてもよい。
このようにすることで、マニピュレータの基準点の３次元の座標位置を特定して制御装置に認識させることができ、制御装置によって所望の３次元方向にマニピュレータを操作することができる。 In the said invention, the said marker may be arrange | positioned in a different coordinate position in the three-dimensional direction prescribed | regulated by three coordinate axes of the coordinate system of the said control apparatus.
By doing so, the control device can identify the three-dimensional coordinate position of the reference point of the manipulator, and the control device can operate the manipulator in a desired three-dimensional direction.

また、上記発明においては、前記マーカが、３以上備えられていてもよい。
このようにすることで、マニピュレータの基準点の単一の座標位置を特定することができる。 Moreover, in the said invention, the said marker may be provided three or more.
By doing in this way, the single coordinate position of the reference point of a manipulator can be specified.

また、上記発明においては、前記いずれかのマニピュレータが、前記術部を観察するためのカメラを固定した観察用マニピュレータであり、前記カメラの座標系が前記制御装置の座標系に一致し、前記マーカがカメラに対して固定されていてもよい。
このようにすることで、観察用マニピュレータに固定されたカメラによって撮影している術部の観察座標系に合わせて、マニピュレータを作動させることができる。 Further, in the above invention, any one of the manipulators is an observation manipulator in which a camera for observing the surgical site is fixed, the coordinate system of the camera matches the coordinate system of the control device, and the marker May be fixed to the camera.
By doing in this way, a manipulator can be operated according to the observation coordinate system of the operation part currently photoed with the camera fixed to the manipulator for observation.

また、上記発明においては、複数のリンクを備える前記マニピュレータの先端位置を前記各マーカに一致させる際に、前記マニピュレータの最先端のリンクの軸方向を前記各マーカに備えられた基準方向に一致させ、そのときの前記マニピュレータの座標系におけるリンクの角度と、制御装置の座標系における前記マーカの基準方向の角度との差により、マニピュレータの座標系の方向を制御装置に認識させることとしてもよい。
このようにすることで、１以上のマニピュレータの基準点を原点として設定されている座標系の方向が異なっていても、制御装置の座標系にマニピュレータの座標系の方向を一致させて、制御装置により所望の方向にマニピュレータを作動させることができる。 In the above invention, when the tip position of the manipulator having a plurality of links is matched with the markers, the axial direction of the most advanced link of the manipulator is matched with the reference direction provided in the markers. The direction of the coordinate system of the manipulator may be recognized by the control device based on the difference between the angle of the link in the coordinate system of the manipulator at that time and the angle of the reference direction of the marker in the coordinate system of the control device.
By doing so, even if the direction of the coordinate system set with the reference point of one or more manipulators as the origin is different, the direction of the coordinate system of the manipulator is made to coincide with the coordinate system of the control device. Thus, the manipulator can be operated in a desired direction.

本発明によれば、高価な光学式３次元測定装置を使用することなく、簡易に、かつ、安価に、複数のマニピュレータの座標系を制御装置に認識させることができるという効果を奏する。   According to the present invention, there is an effect that the control device can recognize the coordinate systems of a plurality of manipulators easily and inexpensively without using an expensive optical three-dimensional measuring apparatus.

本発明の一実施形態に係る手術マニピュレータシステムにおけるマニピュレータのキャリブレーション方法について、図１〜図１４を参照して以下に説明する。
本実施形態に係るキャリブレーション方法は、図１および図２に示されるような手術マニピュレータシステム１に適用される。 A manipulator calibration method in a surgical manipulator system according to an embodiment of the present invention will be described below with reference to FIGS.
The calibration method according to the present embodiment is applied to a surgical manipulator system 1 as shown in FIGS.

この手術マニピュレータシステム１は、図１および図２に示されるように、患者Ａを寝かせるベッド２の周囲にキャスタＢにより移動可能に配置される複数（図に示す例では３つ）のマニピュレータ３，４と、該マニピュレータ３，４に接続される制御装置５と、該制御装置５に対しマニピュレータ３，４の操作信号を入力する操作部６とを備えている。   As shown in FIGS. 1 and 2, the surgical manipulator system 1 includes a plurality of (three in the illustrated example) manipulators 3 that are movably disposed around a bed 2 on which a patient A is laid down by a caster B. 4, a control device 5 connected to the manipulators 3 and 4, and an operation unit 6 for inputting operation signals of the manipulators 3 and 4 to the control device 5.

マニピュレータ３，４は、図３および図４に示されるように、先端位置を任意の方向に向けることができる多関節型（例えば、６軸多関節型等）のものであり、複数の関節３ａ，４ａにより連結された複数のリンク３ｂ，４ｂを備えている。各関節３ａ，４ａには、図２に示されるように、駆動部（モータおよび減速機）３ｃ，４ｃと、リンク３ｂ，４ｂの回転角度を検出するセンサ３ｄ，４ｄとが備えられている。図２に示す例では、複数の関節３ａ，４ａ毎に設けられた駆動部３ｃ，４ｃおよびセンサ３ｄ，４ｄをまとめて示している。   As shown in FIGS. 3 and 4, the manipulators 3 and 4 are multi-joint type (for example, 6-axis multi-joint type) whose tip position can be directed in an arbitrary direction, and a plurality of joints 3a. , 4a, a plurality of links 3b, 4b are provided. As shown in FIG. 2, the joints 3a and 4a are provided with drive units (motors and speed reducers) 3c and 4c and sensors 3d and 4d for detecting the rotation angles of the links 3b and 4b. In the example shown in FIG. 2, the drive units 3c and 4c and the sensors 3d and 4d provided for each of the plurality of joints 3a and 4a are shown together.

３つのマニピュレータ３，４の内、１つのマニピュレータ３は、図３に示されるように、最先端のリンクとしてカメラ７を備えた観察用マニピュレータ（以下、観察用マニピュレータ３とも言う。）である。観察用マニピュレータ３を作動させると、カメラ７の先端を任意の３次元方向に向けることが可能となり、患者Ａの術部の撮影範囲を任意に変更することができるようになっている。   Of the three manipulators 3 and 4, one manipulator 3 is an observation manipulator (hereinafter also referred to as observation manipulator 3) having a camera 7 as a state-of-the-art link, as shown in FIG. When the observation manipulator 3 is operated, the tip of the camera 7 can be directed in an arbitrary three-dimensional direction, and the imaging range of the surgical site of the patient A can be arbitrarily changed.

他の２つのマニピュレータ４は、図４に示されるように、最先端のリンクとして鉗子等の処置具８を備えた操作用マニピュレータ（以下、操作用マニピュレータ４とも言う。）である。操作用マニピュレータ４を作動させると、処置具８を任意の３次元姿勢に配置することが可能となり、患者Ａの術部に所望の方向からアクセスして処置することができるようになっている。   As shown in FIG. 4, the other two manipulators 4 are operation manipulators (hereinafter, also referred to as “operation manipulators 4”) including treatment tools 8 such as forceps as the most advanced links. When the operation manipulator 4 is operated, the treatment tool 8 can be arranged in an arbitrary three-dimensional posture, and the surgical site of the patient A can be accessed and treated from a desired direction.

操作部６には、術者Ｘが操作するジョイスティック等の入力手段６ａと、カメラ７により取得された画像を表示する表示手段６ｂとが備えられている。入力手段６ａは、マニピュレータ３，４毎に、あるいは、スイッチ（図示略）により切り替えることによって、全てのマニピュレータ３，４に対応できるように設けられている。   The operation unit 6 includes an input unit 6 a such as a joystick operated by the operator X, and a display unit 6 b that displays an image acquired by the camera 7. The input means 6a is provided so as to be compatible with all the manipulators 3 and 4 for each manipulator 3 and 4 or by switching with a switch (not shown).

制御装置５には、入力手段６ａからの入力に応じた各関節３ａ，４ａの回転角度を演算する演算手段５ａと、該演算手段５ａにより演算された回転角度に基づいて、駆動部３ｃ，４ｃに対する指令信号を算出して出力する駆動手段５ｂと、カメラ７により取得された画像データを処理して表示手段６ｂに表示するための画像情報を生成する画像処理部５ｃとを備えている。   The control device 5 includes a calculation means 5a for calculating the rotation angle of each joint 3a, 4a according to the input from the input means 6a, and the drive units 3c, 4c based on the rotation angle calculated by the calculation means 5a. Driving means 5b for calculating and outputting a command signal to the image processing section 5 and an image processing section 5c for processing image data acquired by the camera 7 and generating image information for display on the display means 6b.

術者Ｘは表示手段６ｂに表示されたカメラ７により取得された画像を見ながら入力手段６ａを操作するので、観察用マニピュレータ３の操作に際しては、入力手段６ａによる操作結果を画像によって直接確認できる。したがって、制御装置５の座標系に対して、観察用マニピュレータ３の座標系を直接的に対応づけることができる。   Since the operator X operates the input unit 6a while viewing the image acquired by the camera 7 displayed on the display unit 6b, when operating the observation manipulator 3, the operation result by the input unit 6a can be directly confirmed by the image. . Therefore, the coordinate system of the observation manipulator 3 can be directly associated with the coordinate system of the control device 5.

一方、操作用マニピュレータ４の操作に際しては、術者Ｘは、表示手段６ｂに表示された画像に操作用マニピュレータ４の処置具８が表示されている場合には、画像を見ながら入力手段６ａを操作することにより、入力手段６ａによる操作結果を画像によって直接確認できる。しかしながら、操作用マニピュレータ４は、キャスタＢによって任意の位置に設置することができるものであるため、キャリブレーションを行わない場合には、その座標系は観察用マニピュレータ３の座標系とは一致していない。したがって、表示手段に表示された画像に操作用マニピュレータ４の処置具８が表示されていない場合には、適切な操作を行うことができない。   On the other hand, when the operation manipulator 4 is operated, the operator X moves the input unit 6a while viewing the image when the treatment tool 8 of the operation manipulator 4 is displayed on the image displayed on the display unit 6b. By operating, the operation result by the input means 6a can be directly confirmed by the image. However, since the manipulator 4 for operation can be installed at an arbitrary position by the caster B, the coordinate system thereof coincides with the coordinate system of the manipulator 3 for observation when calibration is not performed. Absent. Therefore, when the treatment tool 8 of the operation manipulator 4 is not displayed in the image displayed on the display means, an appropriate operation cannot be performed.

以下に本実施形態に係るキャリブレーション方法について説明する。
本実施形態に係るキャリブレーション方法は、まず、図５（ａ）に示されるマーカセット９を、同図（ｂ）に示されるように、カメラ７の先端に固定する。マーカセット９は、カメラ７を嵌合させる円筒状の嵌合部９ａと、該嵌合部９ａから軸方向に延びる棒状部９ｂと、該棒状部９ｂの先端から分岐する３本の枝部９ｃと、各枝部９ｃの先端に設けられた３つのマーカ９ｄとを備えている。 The calibration method according to this embodiment will be described below.
In the calibration method according to the present embodiment, first, the marker set 9 shown in FIG. 5A is fixed to the tip of the camera 7 as shown in FIG. The marker set 9 includes a cylindrical fitting portion 9a for fitting the camera 7, a rod-like portion 9b extending in the axial direction from the fitting portion 9a, and three branch portions 9c branched from the tip of the rod-like portion 9b. And three markers 9d provided at the tip of each branch portion 9c.

マーカ９ｄは球体状に形成され、キャリブレーションを行う際の目標とし易くなるように構成されている。
キャリブレーションを行う際には、マーカセット９を取り付けたカメラ７を略水平にして所定の位置に設定する。このようにすることにより、マーカセット９の各マーカ９ｄが、図６および図７に示されるように水平方向および鉛直方向に異なる既知の座標位置にそれぞれ配置されるようになる。この場合に、各マーカ９ｄの座標位置は、観察用マニピュレータ３の各関節３ａの回転角度をセンサ３ｄによって検出することにより観察用マニピュレータ３の基準点Ｐの座標位置からの相対的な座標位置として制御装置５に認識させることができるようになっている。 The marker 9d is formed in a spherical shape, and is configured to be easily set as a target when performing calibration.
When performing calibration, the camera 7 to which the marker set 9 is attached is set to a predetermined position so as to be substantially horizontal. By doing in this way, each marker 9d of the marker set 9 is each arrange | positioned in the known coordinate position which is different in a horizontal direction and a perpendicular direction, as FIG. 6 and FIG. 7 show. In this case, the coordinate position of each marker 9d is a relative coordinate position from the coordinate position of the reference point P of the observation manipulator 3 by detecting the rotation angle of each joint 3a of the observation manipulator 3 by the sensor 3d. The control device 5 can be recognized.

この状態で、入力手段６ａを操作して、操作用マニピュレータ４を作動させ、図８に示されるように、該操作用マニピュレータ４の最先端の処置具８の先端位置が前記マーカセット９のいずれかのマーカ９ｄの位置に一致するまで移動させる。このとき、マーカ９ｄの位置に処置具８の先端位置が一致したか否かの判断は、目視により行う。   In this state, the input means 6 a is operated to operate the operation manipulator 4, and as shown in FIG. 8, the distal end position of the most advanced treatment instrument 8 of the operation manipulator 4 is any of the marker sets 9. It is moved until it matches the position of the marker 9d. At this time, whether or not the distal end position of the treatment instrument 8 matches the position of the marker 9d is determined visually.

操作用マニピュレータ４に取り付けた処置具８の先端の座標位置は、操作用マニピュレータ４の各関節４ａの回転角度をセンサ４ｄによって検出することにより操作用マニピュレータ４の基準点Ｑの座標位置からの相対的な座標位置として制御装置５に認識させることができるようになっている。すなわち、処置具８の先端位置から当該操作用マニピュレータ４の基準点Ｑの位置までの距離は算出することができる。   The coordinate position of the distal end of the treatment instrument 8 attached to the operation manipulator 4 is relative to the coordinate position of the reference point Q of the operation manipulator 4 by detecting the rotation angle of each joint 4a of the operation manipulator 4 by the sensor 4d. The control device 5 can recognize the coordinate position as a specific coordinate position. That is, the distance from the distal end position of the treatment instrument 8 to the position of the reference point Q of the operation manipulator 4 can be calculated.

しかしながら、操作用マニピュレータ４の基準点Ｑの座標位置は、キャスタＢの移動によって任意に設定できるので、観察用マニピュレータ３の基準点Ｐとの位置関係についてはキャリブレーションを行わなければ不明である。   However, since the coordinate position of the reference point Q of the manipulator 4 for operation can be arbitrarily set by the movement of the caster B, the positional relationship with the reference point P of the manipulator 3 for observation is unknown unless calibration is performed.

そこで、上記のように操作用マニピュレータ４の処置具８の先端位置をいずれかのマーカ９ｄに一致させることにより、制御装置５が把握しているマーカ９ｄの位置を基準として、操作用マニピュレータ４の処置具８の先端位置から基準点Ｑの位置までの距離を半径とした円周上のいずれかの位置に操作用マニピュレータ４の基準点Ｑを存在させることができる。さらに、図９に示されるように、他のマーカ９ｄに処置具８の先端位置を順次一致させ、その都度、処置具８の先端位置から基準点Ｑの位置までの距離を半径とした円を描くことにより、描かれた３つの円の交点を操作用マニピュレータ４の基準点Ｑとして特定することができる。   Therefore, by matching the tip position of the treatment tool 8 of the operation manipulator 4 with any of the markers 9d as described above, the position of the marker 9d grasped by the control device 5 is used as a reference for the operation manipulator 4 The reference point Q of the manipulator 4 for operation can be present at any position on the circumference having the radius from the distal end position of the treatment instrument 8 to the position of the reference point Q. Further, as shown in FIG. 9, the tip position of the treatment instrument 8 is sequentially matched with another marker 9d, and each time a circle having a radius from the tip position of the treatment instrument 8 to the position of the reference point Q is formed. By drawing, the intersection of the three drawn circles can be specified as the reference point Q of the manipulator 4 for operation.

すなわち、制御装置５は、まず、観察用マニピュレータ３の各センサ３ｄからの出力に基づく各関節３ａの角度とリンク３ｂの寸法とに基づいて、観察用マニピュレータ３の基準点Ｐに対する各マーカ９ｄの相対的な座標位置を算出する。次いで、各マーカ９ｄに処置具８の先端位置を一致させたときの操作用マニピュレータ４の各センサ４ｄからの出力に基づく各関節４ａの角度とリンク４ｂおよび処置具８の寸法に基づいて、処置具８の先端位置と操作用マニピュレータ４の基準点Ｑとの距離を決定する。   That is, the control device 5 first determines the position of each marker 9d relative to the reference point P of the observation manipulator 3 based on the angle of each joint 3a based on the output from each sensor 3d of the observation manipulator 3 and the dimension of the link 3b. The relative coordinate position is calculated. Next, based on the angle of each joint 4a based on the output from each sensor 4d of the manipulator 4 for operation when the tip position of the treatment tool 8 is made to coincide with each marker 9d, and the dimensions of the link 4b and the treatment tool 8, The distance between the tip position of the tool 8 and the reference point Q of the operation manipulator 4 is determined.

これにより、図９に示されるように、３つのマーカ９ｄの位置座標を中心とした直径の異なる３つの円を水平面内において描くことができ、その交点の位置座標を操作用マニピュレータ４の基準点Ｑの水平面内における位置座標として特定することができる。３つのマーカ９ｄは水平面内のみならず鉛直方向にも異なる位置に配置されているので、操作用マニピュレータ３の基準点Ｑの位置座標の特定は、図９に示されるように水平方向のみならず、図１０，１１に示される鉛直方向の位置座標の特定にも同様の手法を採用することができる。   As a result, as shown in FIG. 9, three circles having different diameters centered on the position coordinates of the three markers 9 d can be drawn in the horizontal plane, and the position coordinates of the intersections are determined as the reference points of the operation manipulator 4. Q can be specified as a position coordinate in a horizontal plane. Since the three markers 9d are arranged at different positions not only in the horizontal plane but also in the vertical direction, the position coordinates of the reference point Q of the operation manipulator 3 can be specified not only in the horizontal direction as shown in FIG. A similar method can be adopted for specifying the vertical position coordinates shown in FIGS.

また、いずれか１箇所のマーカ９ｄに処置具８の先端位置を一致させる際には、図１２に示されるように、処置具８（操作用マニピュレータ４の最先端のリンク）の長手方向をマーカセット９のマーカ９ｄが設けられている枝部９ｃの長手方向に一致させる。このとき、マーカ９ｄの位置および枝部９ｃの長手方向に処置具８の先端位置および長手方向が一致したか否かの判断は、目視により行う。   When the tip position of the treatment instrument 8 is made to coincide with any one of the markers 9d, as shown in FIG. 12, the longitudinal direction of the treatment instrument 8 (the most advanced link of the manipulator 4 for operation) is set as a marker. It is made to correspond with the longitudinal direction of the branch part 9c in which the marker 9d of the set 9 is provided. At this time, whether or not the distal end position and the longitudinal direction of the treatment instrument 8 coincide with the position of the marker 9d and the longitudinal direction of the branch portion 9c is visually determined.

処置具８の長手方向をマーカセット９のマーカ９ｄが設けられている枝部９ｃの長手方向に一致させることにより、制御装置５が把握している観察用マニピュレータ３の座標系の方向を基準として、操作用マニピュレータ４の座標系の方向を特定することができる。   By making the longitudinal direction of the treatment instrument 8 coincide with the longitudinal direction of the branch portion 9c where the marker 9d of the marker set 9 is provided, the direction of the coordinate system of the observation manipulator 3 grasped by the control device 5 is used as a reference. The direction of the coordinate system of the operation manipulator 4 can be specified.

例えば、図１２に示されるように、観察用マニピュレータ３の座標系（実線で示す）と、操作用マニピュレータ４の座標系（破線で示す）とが水平面（ＸＹ平面）内において角度θＺだけ回転している場合を例に挙げて説明する。観察用マニピュレータ３の座標系におけるマーカ９ｄの枝部９ｃの長手方向の角度θ０Ｚおよび操作用マニピュレータ４の座標系における処置具８の長手方向の角度θＭＺは既知である。マーカ９ｄの枝部９ｃの長手方向と処置具８の長手方向とを一致させることにより、角度θＺは、
θＺ＝θ０Ｚ−θＭＺ
により算出することができる。 For example, as shown in FIG. 12, the coordinate system of the observation manipulator 3 (shown by a solid line) and the coordinate system of the operation manipulator 4 (shown by a broken line) are rotated by an angle θ Z in a horizontal plane (XY plane). An example of the case will be described. The longitudinal angle θ 0Z of the branch portion 9c of the marker 9d in the coordinate system of the observation manipulator 3 and the longitudinal angle θ MZ of the treatment tool 8 in the coordinate system of the operation manipulator 4 are known. By matching the longitudinal direction of the treatment tool 8 to the longitudinal direction of the branch portion 9c of the marker 9d, the angle theta Z is
θ Z = θ 0Z −θ MZ
Can be calculated.

これにより、観察用マニピュレータ３の座標系と操作用マニピュレータ４の座標系との関係を対応づけて制御装置５に認識させることができる。
処置具８の長手方向を枝部９ｃの長手方向と、水平面内のみならず鉛直方向にも一致させることにより、図１３および図１４に示されるように、ＸＹ方向のみならず、ＹＺ方向およびＸＺ方向の座標系の相対角度も同様の手法を採用して算出することができる。 Accordingly, the control device 5 can recognize the relationship between the coordinate system of the observation manipulator 3 and the coordinate system of the operation manipulator 4 in association with each other.
By making the longitudinal direction of the treatment instrument 8 coincide with the longitudinal direction of the branch portion 9c not only in the horizontal plane but also in the vertical direction, as shown in FIGS. 13 and 14, not only the XY direction but also the YZ direction and XZ The relative angle of the direction coordinate system can also be calculated by employing the same method.

このように、本実施形態に係る手術マニピュレータシステム１におけるマニピュレータ３，４のキャリブレーション方法によれば、光学的３次元位置測定装置を使用することなく、簡易かつ安価に観察用マニピュレータ３と操作用マニピュレータ４の座標系を対応づけることができる。その結果、制御装置５は、表示手段６ｂに表示される画像の座標系に、操作用マニピュレータ４の座標系を一致させるように座標変換を行うことができる。そして、共通の座標系を構築することにより、表示手段６ｂに表示されている画像の座標系に一致する方向に操作用マニピュレータ４を移動させることができ、入力手段６ａにおける操作を簡単にすることができる。
キャリブレーション終了後には、カメラ７からマーカセット９を取り外すことにすればよい。 As described above, according to the calibration method of the manipulators 3 and 4 in the surgical manipulator system 1 according to the present embodiment, the observation manipulator 3 and the operation can be easily and inexpensively without using the optical three-dimensional position measuring device. The coordinate system of the manipulator 4 can be associated. As a result, the control device 5 can perform coordinate conversion so that the coordinate system of the manipulator 4 for operation matches the coordinate system of the image displayed on the display unit 6b. By constructing a common coordinate system, the operation manipulator 4 can be moved in a direction that matches the coordinate system of the image displayed on the display means 6b, and the operation on the input means 6a is simplified. Can do.
After the calibration is completed, the marker set 9 may be removed from the camera 7.

なお、本実施形態においては、異なる位置に配置される３つのマーカ９ｄを有するマーカセット９を例示したが、マーカ９ｄを２つにしてもよい。この場合、２つの円の交差点は２箇所となるため、一義的に特定できないが、操作用マニピュレータ４の設置位置に制限がある場合等には、このようなマーカセット９によっても基準点Ｑの位置を特定することができる。   In the present embodiment, the marker set 9 having three markers 9d arranged at different positions is illustrated, but two markers 9d may be provided. In this case, since there are two intersections of two circles, it cannot be uniquely identified. However, when the installation position of the manipulator 4 for operation is limited, the marker set 9 also provides the reference point Q. The position can be specified.

また、本実施形態においては、マーカセット９をカメラ７に固定することとしたが、これに代えて、操作用マニピュレータ４の先端のリンク４ｂに固定することにしてもよい。
また、本実施形態においては、２つの操作用マニピュレータ４を有する手術マニピュレータシステム１に適用することとしたが、これに代えて、１つまたは３以上の操作用マニピュレータ４を有する手術マニピュレータシステム１に適用することにしてもよい。 In the present embodiment, the marker set 9 is fixed to the camera 7, but instead, the marker set 9 may be fixed to the link 4 b at the tip of the operation manipulator 4.
Moreover, in this embodiment, although it applied to the surgical manipulator system 1 which has the two manipulators 4 for operation, it replaces with this and the surgical manipulator system 1 which has one or three or more operation manipulators 4 is used instead. You may decide to apply.

また、本実施形態においては、観察用マニピュレータ３の基準点Ｐおよび座標系に対する操作用マニピュレータ４の相対的な基準点Ｑの位置座標および座標系の方向の特定を同時に行うこととしたが、これに代えて、キャスタＢによる移動が並進移動に限定され、観察用マニピュレータ３の座標系に対して操作用マニピュレータ４の座標系がずれない場合には、基準点Ｑの位置座標の特定のみを行うことができる。その場合には、処置具８の長手方向と枝部９ｃの長手方向とを一致させる必要がなく、さらに簡易にキャリブレーションを行うことができる。   In this embodiment, the relative position of the reference point Q of the operation manipulator 4 relative to the reference point P and the coordinate system of the observation manipulator 3 and the direction of the coordinate system are specified simultaneously. Instead, if the movement by the caster B is limited to translational movement and the coordinate system of the operation manipulator 4 does not deviate from the coordinate system of the observation manipulator 3, only the position coordinate of the reference point Q is specified. be able to. In that case, it is not necessary to make the longitudinal direction of the treatment instrument 8 coincide with the longitudinal direction of the branch portion 9c, and calibration can be performed more easily.

本発明の一実施形態に係るキャリブレーション方法を適用する手術マニピュレータシステムを示す斜視図である。1 is a perspective view showing a surgical manipulator system to which a calibration method according to an embodiment of the present invention is applied. 図１の手術マニピュレータシステムを示すブロック図である。It is a block diagram which shows the surgical manipulator system of FIG. 図１の手術マニピュレータシステムに備えられた観察用マニピュレータを示す斜視図である。It is a perspective view which shows the manipulator for observation with which the surgical manipulator system of FIG. 1 was equipped. 図１の手術マニピュレータシステムに備えられた操作用マニピュレータを示す斜視図である。It is a perspective view which shows the operation manipulator with which the surgical manipulator system of FIG. 1 was equipped. 図１の手術マニピュレータシステムにおける本実施形態に係るキャリブレーション方法に使用するマーカセットの（ａ）斜視図および（ｂ）カメラに取り付けた斜視図をそれぞれ示す図である。It is a figure which respectively shows the (a) perspective view of the marker set used for the calibration method which concerns on this embodiment in the surgical manipulator system of FIG. 1, and (b) the perspective view attached to the camera. 図５のマーカセットを水平方向から見たマーカの配置を示す正面図である。It is a front view which shows arrangement | positioning of the marker which looked at the marker set of FIG. 5 from the horizontal direction. 図５のマーカセットを鉛直方向から見たマーカの配置を示す平面図である。It is a top view which shows arrangement | positioning of the marker which looked at the marker set of FIG. 5 from the perpendicular direction. 本実施形態のキャリブレーション方法における操作用マニピュレータの状態を説明する平面図である。It is a top view explaining the state of the manipulator for operation in the calibration method of this embodiment. 図８の状態に設定された操作用マニピュレータの基準点の水平方向の座標位置の特定方法を説明する平面図である。It is a top view explaining the identification method of the coordinate position of the horizontal direction of the reference point of the manipulator for operation set to the state of FIG. 図８の操作用マニピュレータの状態を説明する側面図である。It is a side view explaining the state of the manipulator for operation of FIG. 図８の状態に設定された操作用マニピュレータの基準点の鉛直方向の座標位置の特定方法を説明する側面図である。It is a side view explaining the identification method of the coordinate position of the perpendicular direction of the reference point of the manipulator for operation set to the state of FIG. 図８のキャリブレーション方法における操作用マニピュレータの座標系の観察用マニピュレータの座標系に対する特定方法を説明するＸＹ平面図である。FIG. 9 is an XY plan view illustrating a method for specifying the coordinate system of the manipulator for operation with respect to the coordinate system of the observation manipulator in the calibration method of FIG. 8. 図９の座標系の特定方法を説明するＸＺ平面図である。FIG. 10 is an XZ plan view illustrating a method for specifying the coordinate system of FIG. 9. 図９の座標系の特定方法を説明するＹＺ平面図である。FIG. 10 is a YZ plan view illustrating a method for specifying the coordinate system of FIG. 9.

符号の説明Explanation of symbols

Ａ 患者
Ｑ 基準点
１ 手術マニピュレータシステム
３ 観察用マニピュレータ（マニピュレータ）
４ 操作用マニピュレータ（マニピュレータ）
５ 制御装置
７ カメラ
８ 処置具（リンク）
９ｄ マーカ A Patient Q Reference point 1 Surgical manipulator system 3 Observation manipulator (manipulator)
4 Manipulator for operation (manipulator)
5 Control device 7 Camera 8 Treatment tool (link)
9d marker

Claims (5)

患者に対して任意の位置に設置され術部に対して処置を行う１以上のマニピュレータと、該マニピュレータを制御する制御装置とを備える手術マニピュレータシステムにおけるマニピュレータのキャリブレーション方法であって、
前記マニピュレータの動作範囲内に既知の異なる座標を有する複数のマーカを配置し、
各マーカに前記マニピュレータの先端位置を一致させたときに、前記マニピュレータの基準点から前記先端位置までの距離を半径として描かれる複数の円の交差する座標位置を算出し、
算出された座標位置をマニピュレータの基準点の座標位置として制御装置に認識させる手術マニピュレータシステムにおけるマニピュレータのキャリブレーション方法。 A manipulator calibration method in a surgical manipulator system comprising one or more manipulators installed at an arbitrary position with respect to a patient and performing a treatment on an operation part, and a control device for controlling the manipulators,
Arranging a plurality of markers having different known coordinates within the operating range of the manipulator;
When the tip position of the manipulator is made to coincide with each marker, the coordinate position where a plurality of circles drawn with the distance from the reference point of the manipulator to the tip position as a radius intersect is calculated,
A manipulator calibration method in a surgical manipulator system that causes a control device to recognize a calculated coordinate position as a coordinate position of a reference point of a manipulator. 前記マーカが、前記制御装置の座標系の３つの座標軸により規定される３次元方向に異なる座標位置に配置されている請求項１に記載の手術マニピュレータシステムにおけるマニピュレータのキャリブレーション方法。   The manipulator calibration method in the surgical manipulator system according to claim 1, wherein the markers are arranged at different coordinate positions in a three-dimensional direction defined by three coordinate axes of the coordinate system of the control device. 前記マーカが、３以上備えられている請求項１または請求項２に記載の手術マニピュレータシステムにおけるマニピュレータのキャリブレーション方法。   The manipulator calibration method in the surgical manipulator system according to claim 1, wherein three or more markers are provided. 前記いずれかのマニピュレータが、前記術部を観察するためのカメラを固定した観察用マニピュレータであり、
前記カメラの座標系が前記制御装置の座標系に一致し、
前記マーカがカメラに対して固定されている請求項１から請求項３のいずれかに記載の手術マニピュレータシステムにおけるマニピュレータのキャリブレーション方法。 Any one of the manipulators is an observation manipulator in which a camera for observing the surgical site is fixed,
The coordinate system of the camera matches the coordinate system of the control device;
The manipulator calibration method in the surgical manipulator system according to any one of claims 1 to 3, wherein the marker is fixed to the camera. 複数のリンクを備える前記マニピュレータの先端位置を前記各マーカに一致させる際に、前記マニピュレータの最先端のリンクの軸方向を前記各マーカに備えられた基準方向に一致させ、
そのときの前記マニピュレータの座標系におけるリンクの角度と、制御装置の座標系における前記マーカの基準方向の角度との差により、マニピュレータの座標系の方向を制御装置に認識させる請求項１から請求項４のいずれかに記載の手術マニピュレータシステムにおけるマニピュレータのキャリブレーション方法。 When the tip position of the manipulator having a plurality of links is matched with each marker, the axial direction of the most advanced link of the manipulator is matched with the reference direction provided in each marker,
The control device recognizes the direction of the coordinate system of the manipulator based on the difference between the link angle in the coordinate system of the manipulator at that time and the angle of the reference direction of the marker in the coordinate system of the control device. A manipulator calibration method in the surgical manipulator system according to claim 4.
JP2008254640A 2008-09-30 2008-09-30 Calibration method of manipulator in surgical manipulator system Pending JP2010082189A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008254640A JP2010082189A (en) 2008-09-30 2008-09-30 Calibration method of manipulator in surgical manipulator system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008254640A JP2010082189A (en) 2008-09-30 2008-09-30 Calibration method of manipulator in surgical manipulator system

Publications (1)

Publication Number Publication Date
JP2010082189A true JP2010082189A (en) 2010-04-15

Family

ID=42246736

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008254640A Pending JP2010082189A (en) 2008-09-30 2008-09-30 Calibration method of manipulator in surgical manipulator system

Country Status (1)

Country Link
JP (1) JP2010082189A (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012071406A (en) * 2010-09-29 2012-04-12 Olympus Corp Control device and control method for master slave type manipulator
CN104114107A (en) * 2012-02-15 2014-10-22 直观外科手术操作公司 Compact needle manipulator for targeted interventions
JP2015502768A (en) * 2011-09-30 2015-01-29 エシコン・エンド−サージェリィ・インコーポレイテッドＥｔｈｉｃｏｎ Ｅｎｄｏ−Ｓｕｒｇｅｒｙ，Ｉｎｃ． Robotic operating table
US9931167B2 (en) 2012-02-15 2018-04-03 Intuitive Surgical Operations, Inc. Minimally invasive surgical instrument to provide needle-based therapy
CN109288604A (en) * 2018-09-05 2019-02-01 长春理工大学 A kind of dentistry round bur drill bit caliberating device and scaling method
CN110974454A (en) * 2019-12-19 2020-04-10 长春理工大学 Orthodontic anchorage nail calibration method and device
JP2021165860A (en) * 2013-12-20 2021-10-14 インテュイティブ サージカル オペレーションズ， インコーポレイテッド Simulator system for medical procedure training
CN113532353A (en) * 2021-07-29 2021-10-22 刘慧泉 Precision measuring device
US11727827B2 (en) 2012-08-17 2023-08-15 Intuitive Surgical Operations, Inc. Anatomical model and method for surgical training

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01205204A (en) * 1988-02-10 1989-08-17 Hitachi Ltd Coordinate system calibration system for robot with visual sense
JP2001238894A (en) * 2000-02-28 2001-09-04 Olympus Optical Co Ltd Device for locating inserting instrument
JP2002086376A (en) * 2000-09-13 2002-03-26 Yaskawa Electric Corp Method for guiding visual sensor
JP3766805B2 (en) * 2002-03-15 2006-04-19 株式会社日立製作所 Surgery support device
JP2007503898A (en) * 2003-09-05 2007-03-01 デピュー インターナショナル リミテッド Flexible marker for image guided surgery

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01205204A (en) * 1988-02-10 1989-08-17 Hitachi Ltd Coordinate system calibration system for robot with visual sense
JP2001238894A (en) * 2000-02-28 2001-09-04 Olympus Optical Co Ltd Device for locating inserting instrument
JP2002086376A (en) * 2000-09-13 2002-03-26 Yaskawa Electric Corp Method for guiding visual sensor
JP3766805B2 (en) * 2002-03-15 2006-04-19 株式会社日立製作所 Surgery support device
JP2007503898A (en) * 2003-09-05 2007-03-01 デピュー インターナショナル リミテッド Flexible marker for image guided surgery

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012071406A (en) * 2010-09-29 2012-04-12 Olympus Corp Control device and control method for master slave type manipulator
JP2015502768A (en) * 2011-09-30 2015-01-29 エシコン・エンド−サージェリィ・インコーポレイテッドＥｔｈｉｃｏｎ Ｅｎｄｏ−Ｓｕｒｇｅｒｙ，Ｉｎｃ． Robotic operating table
CN104114107A (en) * 2012-02-15 2014-10-22 直观外科手术操作公司 Compact needle manipulator for targeted interventions
US9931167B2 (en) 2012-02-15 2018-04-03 Intuitive Surgical Operations, Inc. Minimally invasive surgical instrument to provide needle-based therapy
US10188470B2 (en) 2012-02-15 2019-01-29 Intuitive Surgical Operations, Inc. Minimally invasive surgical instrument to provide needle-based therapy
US11950864B2 (en) 2012-02-15 2024-04-09 Intuitive Surgical Operations, Inc. Minimally invasive surgical instrument to provide needle-based therapy
US10772691B2 (en) 2012-02-15 2020-09-15 Intuitive Surgical Operations, Inc. Minimally invasive surgical instrument to provide needle-based therapy
US11727827B2 (en) 2012-08-17 2023-08-15 Intuitive Surgical Operations, Inc. Anatomical model and method for surgical training
JP2021165860A (en) * 2013-12-20 2021-10-14 インテュイティブ サージカル オペレーションズ， インコーポレイテッド Simulator system for medical procedure training
US11468791B2 (en) 2013-12-20 2022-10-11 Intuitive Surgical Operations, Inc. Simulator system for medical procedure training
JP7195385B2 (en) 2013-12-20 2022-12-23 インテュイティブ サージカル オペレーションズ， インコーポレイテッド Simulator system for medical procedure training
CN109288604A (en) * 2018-09-05 2019-02-01 长春理工大学 A kind of dentistry round bur drill bit caliberating device and scaling method
CN110974454B (en) * 2019-12-19 2021-09-28 长春理工大学 Orthodontic anchorage nail calibration method and device
CN110974454A (en) * 2019-12-19 2020-04-10 长春理工大学 Orthodontic anchorage nail calibration method and device
CN113532353A (en) * 2021-07-29 2021-10-22 刘慧泉 Precision measuring device

Similar Documents

Publication Publication Date Title
JP2010082189A (en) Calibration method of manipulator in surgical manipulator system
US11903665B2 (en) Systems and methods for offscreen indication of instruments in a teleoperational medical system
US10874467B2 (en) Methods and devices for tele-surgical table registration
CN103705307B (en) Surgical navigation system and medical robot
US9066737B2 (en) Method for moving an instrument arm of a laparoscopy robot into a predeterminable relative position with respect to a trocar
WO2017115425A1 (en) Medical manipulator system
CN109195544B (en) Secondary instrument control in computer-assisted teleoperation system
US20180036090A1 (en) Medical manipulator system
JP2012171088A (en) Master operation input device, and master-slave manipulator
JP2012071406A (en) Control device and control method for master slave type manipulator
US10932856B2 (en) Surgical system control method and surgical system
JP2015534835A (en) Surgery support system and control method for surgery support system
JP2003265500A (en) Operation support device
US11880513B2 (en) System and method for motion mode management
JP2006312079A (en) Medical manipulator
US20240050175A1 (en) Surgical robot, robotic surgical system, and control method for surgical robot
US20190175293A1 (en) Image guidance for a decoupled kinematic control of a remote-center-of-motion
JPH08215205A (en) Medical manipulator
WO2023106354A1 (en) Teaching system, robot system, teaching method for robot, and teaching program for robot
US20240033005A1 (en) Systems and methods for generating virtual reality guidance
WO2023106353A1 (en) Teaching system, robot system, robot teaching method, and robot teaching program
WO2024076592A1 (en) Increasing mobility of computer-assisted systems while maintaining a partially constrained field of view

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110811

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130226

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130709