JP2006055273A

JP2006055273A - Surgery support system

Info

Publication number: JP2006055273A
Application number: JP2004238494A
Authority: JP
Inventors: Toshiya Sugai; 俊哉菅井
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2004-08-18
Filing date: 2004-08-18
Publication date: 2006-03-02

Abstract

<P>PROBLEM TO BE SOLVED: To provide a surgery support system whose operability is improved. <P>SOLUTION: This surgery support system 12 comprises: at least one image acquiring means 44 and 46 by which a subject in a visual field can be observed by a prescribed observation magnification; an image display means 42 for displaying an observed image acquired by the image acquiring means 44 and 46; treatment means 14a and 14b by which the subject can be treated within the visual fields of the image acquiring means 44 and 46; and a remote control means 32 for remote-controlling the treatment means 14a and 14b. In the surgery support system 12, a conversion means 32 changes the ratio of operation of the treatment means 14a and 14b to the operation of the remote control means 32 according to the display magnification of the observed image displayed on the image display means 42. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、観察画像に基づいて、処置手段を遠隔操作手段によって遠隔操作して被険体に処置を行う手術支援システムに関する。 The present invention relates to a surgical operation support system for performing treatment on an object by remotely operating treatment means using remote operation means based on an observation image.

従来、産業用途に様々なロボットが製造されており、医療現場においても既に数種類の手術用ロボットが実用化され、手術支援システムの一部をなしている。このような手術支援システムでは、画像取得装置で取得した画像を画像表示装置に表示し、この表示画像に基づいて遠隔操作手段を操作してエンドエフェクタを遠隔操作し、エンドエフェクタの処置具により被険体に処置を行うようになっている。 Conventionally, various robots have been manufactured for industrial use, and several types of surgical robots have already been put into practical use even in the medical field and form part of a surgical support system. In such a surgery support system, the image acquired by the image acquisition device is displayed on the image display device, the remote operation means is operated based on this display image, the end effector is remotely controlled, and the treatment tool of the end effector is used. It is designed to treat the rugged body.

特許文献１には、手術支援システムの画像取得装置と画像表示装置の例が開示されている。画像取得手段としては、顕微鏡及び内視鏡が用いられている。そして、顕微鏡画像に内視鏡画像を挿入して表示することが可能となっており、顕微鏡の接眼部から眼を離さずに複数の画像情報を得ることができる。即ち、顕微鏡で全体を観察しつつ内視鏡で細部を拡大観察することが可能となっている。また、顕微鏡画像を観察して処置具を被険体の目的部位まで移動させ、目的部位に到達したら顕微鏡画像を内視鏡画像に切り替えて、内視鏡画像を観察して処置具により目的部位を処置するようなシステムも用いられている。 Patent Document 1 discloses an example of an image acquisition device and an image display device of a surgery support system. A microscope and an endoscope are used as the image acquisition means. An endoscopic image can be inserted and displayed in the microscope image, and a plurality of pieces of image information can be obtained without taking the eyes away from the eyepiece of the microscope. That is, it is possible to enlarge and observe details with an endoscope while observing the whole with a microscope. Also, observe the microscopic image, move the treatment tool to the target site of the subject, and when the target site is reached, switch the microscopic image to the endoscopic image, observe the endoscopic image, and observe the endoscopic image. Such a system is also used.

特許文献２には、手術支援システムで多用されるナビゲーションシステムが開示されている。ナビゲーションシステムでは、患者の頭部、顕微鏡、内視鏡及び各処置具等の位置を検出し、術前に撮影されたＣＴ、ＭＲＩ等による三次元画像情報に基づいて、夫々の相対的な位置関係を画像表示装置にリアルタイムで表示する。位置検出の方法としては、各機器に配設されている光学マーカーを光学位置センサーにより検出する光学式、磁気マーカーを磁気位置センサーにより検出する磁気式等がある。このようなナビゲーションシステムを用いることにより、内視鏡等の視野範囲を検出することが可能であり、処置具が内視鏡の視野範囲に入った場合に顕微鏡画像から内視鏡画像への切り替えを行うようなシステムが可能となる。 Patent Document 2 discloses a navigation system frequently used in a surgery support system. In the navigation system, the positions of the patient's head, microscope, endoscope, and each treatment instrument are detected, and their relative positions are determined based on the three-dimensional image information obtained by CT, MRI, etc. taken before the operation. The relationship is displayed on the image display device in real time. As a method of position detection, there are an optical type in which an optical marker disposed in each device is detected by an optical position sensor, a magnetic type in which a magnetic marker is detected by a magnetic position sensor, and the like. By using such a navigation system, it is possible to detect the field of view of an endoscope or the like, and when the treatment tool enters the field of view of the endoscope, switching from a microscope image to an endoscope image A system that performs

特許文献３には、手術支援システムの遠隔操作手段及び遠隔操作手段によって操作されるエンドエフェクタの例が開示されている。特許文献３の手術支援システムは、心臓血管外科領域において非常に難易度の高い血管吻合を行うために開発されたものであり、心臓血管外科領域を中心とした幅広い領域において用いられている。この手術支援システムの遠隔操作手段では、エンドエフェクタにより、処置具の三次元操作に加えて、処置具として例えば鉗子を用いる場合には鉗子の開閉操作等を行う高次の操作が可能である。 Patent Document 3 discloses an example of a remote operation unit of an operation support system and an end effector operated by the remote operation unit. The surgical support system of Patent Document 3 was developed to perform vascular anastomosis with a very high degree of difficulty in the cardiovascular surgery region, and is used in a wide range of regions centering on the cardiovascular surgery region. In the remote operation means of this surgery support system, in addition to the three-dimensional operation of the treatment tool, for example, when using a forceps as the treatment tool, a high-order operation for opening / closing the forceps can be performed by the end effector.

この手術支援システムでは、遠隔操作手段の操作量又は操作速度に対するエンドエフェクタの作働量又は作働速度の比率を設定することが可能である。そして、エンドエフェクタの処置具が被険体の目的部位から遠い場合には、比率を大きめに設定して処置具を素早く大きく動かし迅速に処置を行う。一方、処置具が目的部位に近い場合には、比率を小さめに設定して処置具をゆっくり小さく動かし繊細な処置を行う。比率を充分に小さく設定した場合には、例えば操作者の手ぶれが処置具に伝達されず、処置具を非常に微細に作動させることが可能である。
特開平１０−３３３０４７号公報米国特許第６，５１１，４１８号明細書特表２０００−５０５３２８号公報 In this surgery support system, it is possible to set the ratio of the operation amount or operation speed of the end effector to the operation amount or operation speed of the remote operation means. And when the treatment tool of an end effector is far from the target site | part of a to-be-tested body, a ratio is set large and a treatment tool is moved quickly and largely, and a treatment is performed rapidly. On the other hand, when the treatment tool is close to the target site, the ratio is set to a small value, and the treatment tool is slowly moved small to perform delicate treatment. When the ratio is set to be sufficiently small, for example, the camera shake of the operator is not transmitted to the treatment instrument, and the treatment instrument can be operated very finely.
Japanese Patent Laid-Open No. 10-333047 US Pat. No. 6,511,418 Special Table 2000-505328

特許文献３の手術支援システムでは、被険体の目的部位から処置具が遠い場合に適切な比率の設定のままでは、処置具が素早く大きく動かされるため目的部位の近くでの繊細な操作が困難となり、目的部位に処置具が近い場合に適切な比率の設定のままでは、処置具がゆっくり小さく動かされるため目的部位から遠くでの迅速な操作が困難となる。即ち、状況に応じて適切な手術操作を行うためには、操作者が比率を設定し直す必要があり、操作が煩雑なものとなっている。 In the surgical support system of Patent Document 3, if the treatment tool is far from the target site of the subject, the treatment tool is moved quickly and greatly with the setting of an appropriate ratio, so that delicate operation near the target site is difficult. Thus, when the treatment tool is close to the target site, if the appropriate ratio is set, the treatment tool is moved slowly and slowly, making it difficult to perform a quick operation far from the target site. That is, in order to perform an appropriate surgical operation according to the situation, the operator needs to reset the ratio, and the operation is complicated.

ここで、画像取得装置として使用される顕微鏡、内視鏡等はズームが可能であり、また、画像取得装置と被険体との距離であるワーキングディスタンスを変化させることが可能である。このようにして、画像取得手段の観察倍率が変化され、観察画像の表示倍率が変化される。また、画像表示装置に表示される画像を顕微鏡画像と内視鏡画像等との間で切り替えると、顕微鏡の観察倍率と内視鏡の観察倍率とが異なることから、観察画像の表示倍率が変化される。ここで、特許文献３の手術支援システムでは観察画像の表示倍率の変化にかかわらず比率は一定であるため、表示倍率が変化された場合には観察画像における処置具の移動量及び移動速度が変化される。この場合、観察画像における処置具の移動量及び移動速度が操作者にとって操作しやすい程度となるように比率を設定し直す必要があり、操作が面倒なものとなっている。 Here, a microscope, an endoscope, and the like used as the image acquisition device can be zoomed, and a working distance that is a distance between the image acquisition device and the object to be inspected can be changed. In this way, the observation magnification of the image acquisition means is changed, and the display magnification of the observation image is changed. In addition, when the image displayed on the image display device is switched between a microscope image and an endoscopic image, the observation magnification of the observation image changes because the observation magnification of the microscope and the observation magnification of the endoscope are different. Is done. Here, in the surgery support system of Patent Document 3, since the ratio is constant regardless of the change in the display magnification of the observation image, when the display magnification is changed, the movement amount and movement speed of the treatment tool in the observation image change. Is done. In this case, it is necessary to reset the ratio so that the moving amount and moving speed of the treatment tool in the observation image are easy to operate for the operator, which makes the operation troublesome.

本発明は、上記課題に着目してなされたもので、その目的とするところは、操作性が向上されている手術支援システムを提供することである。 The present invention has been made paying attention to the above-mentioned problems, and an object thereof is to provide a surgical operation support system with improved operability.

請求項１の発明は、視野内の被検体を所定の観察倍率で観察可能な少なくとも１つの画像取得手段と、前記画像取得手段によって得られた観察画像を表示する画像表示手段と、前記画像取得手段の前記視野内で前記被検体を処置可能な処置手段と、前記処置手段を遠隔操作する遠隔操作手段と、前記画像表示手段に表示される観察画像の表示倍率に応じて前記遠隔操作手段の操作に対する前記処置手段の作動の比率を変化させる変換手段と、を具備することを特徴とする手術支援システムである。 The invention of claim 1 is characterized in that at least one image acquisition means capable of observing a subject in a visual field at a predetermined observation magnification, an image display means for displaying an observation image obtained by the image acquisition means, and the image acquisition Treatment means capable of treating the subject within the visual field of the means, remote operation means for remotely operating the treatment means, and the remote operation means according to the display magnification of the observation image displayed on the image display means And a conversion means for changing a ratio of the operation of the treatment means with respect to an operation.

そして、本請求項１の発明では、所定の観察倍率で観察された被険体の観察画像を画像表示手段に表示し、画像表示手段によって表示される観察画像の表示倍率に応じて遠隔操作手段の操作に対する処置手段の作動の比率を変化させ、画像表示手段によって表示される観察画像に基づいて遠隔操作手段を操作し、遠隔操作手段の操作に対して所定の比率で処置手段を作動させて被険体に処置を行う。 In the first aspect of the present invention, the observation image of the object to be observed observed at the predetermined observation magnification is displayed on the image display means, and the remote control means is selected according to the display magnification of the observation image displayed by the image display means. The ratio of the operation of the treatment means with respect to the operation is changed, the remote operation means is operated based on the observation image displayed by the image display means, and the treatment means is operated at a predetermined ratio with respect to the operation of the remote operation means. Treat the subject.

請求項２の発明は、前記画像取得手段の少なくとも１つは、前記観察倍率が可変となっており、前記表示倍率は、前記観察倍率の変化により変化される、ことを特徴とする請求項1の手術支援システムである。 The invention of claim 2 is characterized in that at least one of the image acquisition means, the observation magnification is variable, and the display magnification is changed by a change in the observation magnification. This is a surgery support system.

そして、本請求項２の発明では、画像取得手段の観察倍率が変化されると、画像表示手段によって表示される観察画像の表示倍率が変化される。 In the second aspect of the invention, when the observation magnification of the image acquisition unit is changed, the display magnification of the observation image displayed by the image display unit is changed.

請求項３の発明は、前記少なくとも１つの画像取得手段は、２つ以上の画像取得手段であり、前記画像表示手段は、前記２つ以上の画像取得手段の内、主として表示される観察画像を得る画像取得手段を選択可能であり、前記表示倍率は、選択される画像取得手段の切り替えによる前記観察倍率の切り替えによって変化される、ことを特徴とする請求項1の手術支援システムである。 According to a third aspect of the present invention, the at least one image acquisition unit is two or more image acquisition units, and the image display unit displays an observation image mainly displayed among the two or more image acquisition units. 2. The surgery support system according to claim 1, wherein an image acquiring unit to be obtained can be selected, and the display magnification is changed by switching the observation magnification by switching of the selected image acquiring unit.

そして、本請求項３の発明では、主として表示される観察画像を得る画像取得手段を選択し、選択される観察画像の切り替えによる観察倍率の切り替えにより、画像表示手段によって表示される観察画像の表示倍率が変化される。 In the third aspect of the present invention, an image acquisition unit that mainly obtains an observation image to be displayed is selected, and the observation image displayed by the image display unit is displayed by switching the observation magnification by switching the selected observation image. The magnification is changed.

請求項４の発明は、前記画像表示手段は、予め定められた設定に基づいて前記主として表示される観察画像を得る画像取得手段を選択する、ことを特徴とする請求項３の手術支援システムである。 According to a fourth aspect of the present invention, in the surgery support system according to the third aspect, the image display means selects an image acquisition means for obtaining the observation image that is mainly displayed based on a predetermined setting. is there.

そして、本請求項４の発明では、予め定められた設定に基づいて、主として表示される観察画像を得る画像取得手段を選択する。 In the fourth aspect of the present invention, an image acquisition unit that obtains an observation image to be mainly displayed is selected based on a predetermined setting.

請求項５の発明は、前記比率は、前記表示倍率の減少関数であることを特徴とする請求項１乃至４の手術支援システムである。 The invention according to claim 5 is the surgery support system according to claims 1 to 4, wherein the ratio is a decreasing function of the display magnification.

そして、本請求項５の発明では、表示倍率が増大された場合には比率が減少して遠隔操作手段の操作に対する処置手段の作動が減少され、表示倍率が減少された場合には比率が増大して遠隔操作手段の操作に対する処置手段の作動が増大される。 In the invention of claim 5, when the display magnification is increased, the ratio is decreased to reduce the operation of the treatment means for the operation of the remote control means, and when the display magnification is decreased, the ratio is increased. Thus, the operation of the treatment means for the operation of the remote operation means is increased.

請求項６の発明は、前記比率は、前記表示倍率の逆関数であることを特徴とする請求項５の手術支援システムである。 The invention according to claim 6 is the operation support system according to claim 5, wherein the ratio is an inverse function of the display magnification.

そして、本請求項６の発明では、比率は、表示倍率を増大させた場合には表示倍率に反比例して減少し、表示倍率を減少させた場合には表示倍率に反比例して増大する。 In the sixth aspect of the present invention, the ratio decreases in inverse proportion to the display magnification when the display magnification is increased, and increases in inverse proportion to the display magnification when the display magnification is decreased.

請求項７の発明は、前記比率は、前記表示倍率の高次逆関数であることを特徴とする請求項５の手術支援システムである。 The invention according to claim 7 is the operation support system according to claim 5, wherein the ratio is a high-order inverse function of the display magnification.

そして、本請求項７の発明では、比率は、表示倍率を増大させた場合には高次関数的に充分に減少し、表示倍率を減少させた場合には高次関数的に充分に増大する。 In the present invention, the ratio is sufficiently reduced in a high-order function when the display magnification is increased, and is sufficiently increased in a high-order function when the display magnification is reduced. .

本発明によれば、手術支援システムの操作性が向上されている。 According to the present invention, the operability of the surgery support system is improved.

本発明の第１実施形態を図１乃至図７を参照して説明する。まず、本実施形態の手術支援システムの処置手段及び処置手段を遠隔操作するための遠隔操作手段について説明する。図１に示されるように、本実施形態の手術支援システム１２は、被険体の目的部位に処置を行うための処置手段としての第１及び第２のエンドエフェクタ１４ａ，１４ｂを有する。第１のエンドエフェクタ１４ａと第２のエンドエフェクタ１４ｂとは同様な構成となっている。 A first embodiment of the present invention will be described with reference to FIGS. First, the treatment means of the surgery support system of this embodiment and the remote operation means for remotely operating the treatment means will be described. As shown in FIG. 1, the surgery support system 12 of the present embodiment includes first and second end effectors 14 a and 14 b as treatment means for performing treatment on a target portion of a subject. The first end effector 14a and the second end effector 14b have the same configuration.

図２に示されるように、第１のエンドエフェクタ１４ａは、マスタースレーブユニット１６を支持する支持部１８を有する。この支持部１８は、基端部に配設されている架台２０を有する。この架台２０には、架台２０を移動させるためのキャスター２２が配設されている。また、架台２０の上端部には、第１のアーム２４ａが架台２０に対して自身の軸周り方向に回転自在に立設されている（矢印Ｂ１参照）。第１のアーム２４ａには第２のアーム２４ｂが第１のアーム２４ａに対して回動自在に接続され（矢印Ｂ２参照）、第２のアーム２４ｂには第３のアーム２４ｃが第２のアーム２４ｂに対して回動自在に接続されている（矢印Ｂ３参照）。第３のアーム２４ｃの先端部には、マスタースレーブユニット１６が第３のアーム２４ｃに対して回動自在に接続されている（矢印Ｂ４参照）。 As shown in FIG. 2, the first end effector 14 a includes a support portion 18 that supports the master slave unit 16. The support portion 18 has a gantry 20 disposed at a base end portion. A caster 22 for moving the gantry 20 is disposed on the gantry 20. Further, a first arm 24a is erected on the upper end of the gantry 20 so as to be rotatable with respect to the gantry 20 in a direction around its own axis (see arrow B1). A second arm 24b is connected to the first arm 24a so as to be rotatable with respect to the first arm 24a (see arrow B2), and a third arm 24c is connected to the second arm 24b as a second arm. 24b is rotatably connected (see arrow B3). The master / slave unit 16 is pivotally connected to the tip of the third arm 24c with respect to the third arm 24c (see arrow B4).

このマスタースレーブユニット１６は細長い挿入部２６を有し、この挿入部２６は伸縮自在となっている（矢印Ｃ参照）。また、挿入部２６の先端部には湾曲部２８が配設されており、この湾曲部２８の先端部には処置具、例えばジョー３０が配設されている。湾曲部２８は湾曲操作されるようになっており（矢印Ｄ参照）、ジョー３０は開閉されて被険体を把持するようになっている（矢印Ｅ参照）。 The master-slave unit 16 has an elongated insertion portion 26, which is extendable (see arrow C). Further, a bending portion 28 is disposed at the distal end portion of the insertion portion 26, and a treatment instrument, for example, a jaw 30 is disposed at the distal end portion of the bending portion 28. The bending portion 28 is operated to bend (see arrow D), and the jaw 30 is opened and closed so as to grip the object (see arrow E).

図３に示されるように、遠隔操作手段３２としてのコントロールユニット３２は第１及び第２の処置用コントローラー３４ａ，３４ｂを有する。第１及び第２の処置用コントローラー３４ａ，３４ｂは夫々第１及び第２のエンドエフェクタ１４ａ，１４ｂ（図１参照）を遠隔操作するためのものであり、互いに同様な構成を有する。第１の処置用コントローラー３４ａは、コントロールユニット３２の操作台３６に立設されている棒状の本体部３８を有し、この本体部３８の延出端部にはハンドル部４０が配設されている。本体部３８は第１のピボット軸Ｐ１を中心として旋回操作可能であり（矢印Ｆ参照）、操作台３６に対して自身の中心軸方向に進退自在である（矢印Ｇ参照）。また、ハンドル部４０は開閉操作可能である（矢印Ｈ参照）。 As shown in FIG. 3, the control unit 32 as the remote control means 32 has first and second treatment controllers 34a and 34b. The first and second treatment controllers 34a and 34b are for remotely operating the first and second end effectors 14a and 14b (see FIG. 1), respectively, and have the same configuration. The first treatment controller 34 a has a rod-like main body portion 38 standing on the operation table 36 of the control unit 32, and a handle portion 40 is disposed at an extended end portion of the main body portion 38. Yes. The main body 38 can be swiveled around the first pivot axis P1 (see arrow F), and can be moved back and forth in the direction of the center axis of the operation base 36 (see arrow G). The handle 40 can be opened and closed (see arrow H).

図２及び図３を参照し、本体部３８を後述する表示装置４２に表示されている観察画像に対して旋回操作及び進退操作させることに対応して、実際の被険体に対して第１のエンドエフェクタ１４ａのジョー３０が移動されるようになっている。ジョー３０の移動は、架台２０に対する第１のアーム２４ａの回転、第１乃至第３のアーム２４ａ，２４ｂ，２４ｃ及びマスタースレーブユニット１６の相対的な回動、挿入部２６の伸縮、並びに、湾曲部２８の湾曲を組み合わせることにより実現される。また、ハンドル部４０を開閉操作することにより、ジョー３０が開閉作動されるようになっている。このように、ジョー３０は、移動作動と開閉作動の四自由度の作動を行うようになっている。 Referring to FIGS. 2 and 3, in response to turning the main body 38 on the observation image displayed on the display device 42 to be described later and the forward / backward operation, the first to the actual object to be injured. The jaw 30 of the end effector 14a is moved. The movement of the jaw 30 includes rotation of the first arm 24a with respect to the gantry 20, relative rotation of the first to third arms 24a, 24b, 24c and the master-slave unit 16, expansion and contraction of the insertion portion 26, and bending. This is realized by combining the bending of the portion 28. In addition, the jaw 30 is opened and closed by opening and closing the handle portion 40. As described above, the jaw 30 is configured to perform a four-degree-of-freedom operation of a movement operation and an opening / closing operation.

以下、本実施形態の手術支援システム１２の画像取得手段、画像表示手段を説明する。本実施形態では、図１及び図４に示されるように、画像取得手段として顕微鏡４４及び内視鏡４６が用いられている。顕微鏡４４及び内視鏡４６は、第１及び第２のエンドエフェクタ１４ａ，１４ｂと同様な構成の支持部１８（図２参照）によって支持されている。そして、内視鏡４６は体腔内に挿入される内視鏡挿入部４７を有し、この内視鏡挿入部４７の先端部には湾曲操作される内視鏡湾曲部４８が配設されている。 Hereinafter, image acquisition means and image display means of the surgery support system 12 of this embodiment will be described. In this embodiment, as shown in FIGS. 1 and 4, a microscope 44 and an endoscope 46 are used as image acquisition means. The microscope 44 and the endoscope 46 are supported by a support portion 18 (see FIG. 2) having a configuration similar to that of the first and second end effectors 14a and 14b. The endoscope 46 has an endoscope insertion portion 47 that is inserted into the body cavity, and an endoscope bending portion 48 that is bent is disposed at the distal end portion of the endoscope insertion portion 47. Yes.

これら顕微鏡４４及び内視鏡４６で得られた画像は、コントロールユニット３２に配設されている画像表示手段としての表示装置４２に表示される。この表示装置４２は、顕微鏡画像と内視鏡画像とを選択して表示することが可能であり、また、顕微鏡画像と内視鏡画像とを重積して（重ね合わせて）表示することが可能である。さらに、表示装置４２は、顕微鏡画像と内視鏡画像との一方を親画像とし、他方を子画像として、親画像の中に子画像を表示するピクチャーインピクチャー表示をすることも可能である。 The images obtained by the microscope 44 and the endoscope 46 are displayed on a display device 42 as image display means disposed in the control unit 32. The display device 42 can select and display a microscopic image and an endoscopic image, and can superimpose (superimpose) and display the microscopic image and the endoscopic image. Is possible. Further, the display device 42 can perform picture-in-picture display in which one of the microscopic image and the endoscopic image is a parent image and the other is a child image, and the child image is displayed in the parent image.

これら顕微鏡４４、内視鏡４６及び表示装置４２は、コントロールユニット３２に配設されている画像用コントローラー５０によって操作可能である。図３及び図４を参照し、画像用コントローラー５０はコントロールユニット３２の操作台３６に立設され、第３のピボット軸Ｐ３を中心として旋回操作可能である。（矢印Ｉ参照）。表示装置４２に表示されている観察画像に対して画像用コントローラー５０を旋回操作させることに対応して、実際の被険体に対して顕微鏡４４又は内視鏡４６の視野方向（図４の軸Ｊ及び軸Ｋ参照）が旋回されるようになっている。顕微鏡４４又は内視鏡４６の視野方向の旋回は、支持部１８（図２参照）の作動、内視鏡湾曲部４８の湾曲を組み合わせることにより実現される。 The microscope 44, the endoscope 46, and the display device 42 can be operated by an image controller 50 provided in the control unit 32. 3 and 4, the image controller 50 is erected on the operation table 36 of the control unit 32, and can be turned around the third pivot axis P3. (See arrow I). Corresponding to the turning operation of the image controller 50 with respect to the observation image displayed on the display device 42, the visual field direction of the microscope 44 or the endoscope 46 with respect to the actual subject (the axis in FIG. 4). J and axis K) are swiveled. The turning of the microscope 44 or the endoscope 46 in the visual field direction is realized by combining the operation of the support portion 18 (see FIG. 2) and the bending of the endoscope bending portion 48.

また、図５に示されるように、画像用コントローラー５０には複数のスイッチが配設されている。本実施形態では、画像用コントローラー５０の上部には、レリーズとしての機能を有するレリーズスイッチ５２ａが配設されている。また、画像用コントローラー５０の側面には、ズーム及びピント調節の機能を夫々有するズームスイッチ５２ｂ及びピントスイッチ５２ｃが配設されている。さらに、画像用コントローラー５０には、表示装置４２（図３参照）の表示を切り替えるための図示しない切り替えスイッチが配設されている。 As shown in FIG. 5, the image controller 50 is provided with a plurality of switches. In the present embodiment, a release switch 52 a having a function as a release is disposed above the image controller 50. A zoom switch 52b and a focus switch 52c having functions of zoom and focus adjustment are disposed on the side surface of the image controller 50, respectively. Further, the image controller 50 is provided with a switch (not shown) for switching the display of the display device 42 (see FIG. 3).

その他、図１に示されるように、表示装置４２には、手術支援システム１２の各種設定を行うためのタッチパネル５４が配設されている。また、コントロールユニット３２には、各種出力を行うためのフットスイッチ５５が配設されている。 In addition, as shown in FIG. 1, the display device 42 is provided with a touch panel 54 for performing various settings of the surgery support system 12. The control unit 32 is provided with a foot switch 55 for performing various outputs.

以下、本実施形態の手術支援システム１２のナビゲーション機能について説明する。顕微鏡４４、内視鏡４６、第１及び第２のエンドエフェクタ１４ａ，１４ｂのマスタースレーブユニット１６に位置検出用の第１乃至第４の光学マーカー５６ａ，５６ｂ，５６ｃ，５６ｄ（図１及び図４参照）が配設されている。さらに、図示しない患者の頭部等には、第５の光学マーカーが配設される。これら第１乃至第４の光学マーカー５６ａ，５６ｂ，５６ｃ及び第５の光学マーカーの位置は、光学位置センサー５８によって検知することが可能となっている。加えて、マスタースレーブユニット１６の内部には、挿入部２６の伸縮状態を検知するための伸縮センサー、及び、湾曲部２８の湾曲状態を検知するための湾曲センサーが配設されている。マスタースレーブユニット１６の位置、挿入部２６の伸縮状態、及び、湾曲部２８の湾曲状態を検知することにより、マスタースレーブユニット１６の先端部に配設されているジョー３０の位置を検知することが可能となっている。 Hereinafter, the navigation function of the surgery support system 12 of this embodiment will be described. The first to fourth optical markers 56a, 56b, 56c, and 56d for position detection on the microscope 44, the endoscope 46, and the master / slave unit 16 of the first and second end effectors 14a and 14b (FIGS. 1 and 4). Reference) is provided. Further, a fifth optical marker is disposed on the head of the patient (not shown). The positions of the first to fourth optical markers 56a, 56b, 56c and the fifth optical marker can be detected by the optical position sensor 58. In addition, an extension sensor for detecting the extension / contraction state of the insertion portion 26 and a bending sensor for detecting the bending state of the bending portion 28 are disposed inside the master / slave unit 16. By detecting the position of the master / slave unit 16, the expansion / contraction state of the insertion portion 26, and the bending state of the bending portion 28, the position of the jaw 30 disposed at the distal end portion of the master / slave unit 16 can be detected. It is possible.

コントロールユニット３２は、検知した位置情報と、術前に撮影されたＣＴ、ＭＲＩ等による三次元画像情報によって構築された三次元画像とに基づき、顕微鏡４４、内視鏡４６、ジョー３０及び被険体の相対的な位置関係をリアルタイムで表示するナビゲーション画像を得るようになっている。このナビゲーション画像は表示装置４２に表示されるようになっている。表示装置４２は、ナビゲーション画像と顕微鏡画像等とを選択的に表示可能であり、また、ナビゲーション画像と顕微鏡画像等とをピクチャーインピクチャー表示することも可能である。 The control unit 32 is based on the detected position information and a three-dimensional image constructed by three-dimensional image information obtained by CT, MRI, etc. taken before surgery, based on the microscope 44, the endoscope 46, the jaw 30, and the subject. A navigation image that displays the relative positional relationship of the body in real time is obtained. This navigation image is displayed on the display device 42. The display device 42 can selectively display the navigation image, the microscope image, and the like, and can also display the navigation image, the microscope image, and the like in a picture-in-picture manner.

以下、本実施形態の手術支援システム１２の表示装置４２における主画像の選択について説明する。まず、本実施形態の手術支援システム１２では、顕微鏡４４及び内視鏡４６の視野範囲を求めることが可能となっている。内視鏡４６について説明すると、内視鏡湾曲部４８の内部には、内視鏡湾曲部４８の湾曲状態を検知する内視鏡湾曲センサーが配設されている。光学マーカー及び光学位置センサー５８によって内視鏡４６の位置を検知し、湾曲センサーによって内視鏡湾曲部４８の湾曲状態を検知することにより、内視鏡４６の先端位置を検知することが可能となっている。コントロールユニット３２は、内視鏡４６の先端位置に加えて、内視鏡４６から入力される画角、ズーム量に基づき、内視鏡４６の視野範囲を求めることが可能となっている。同様にして、顕微鏡４４の視野範囲を求めることが可能となっている。 Hereinafter, selection of the main image on the display device 42 of the surgery support system 12 of the present embodiment will be described. First, in the surgery support system 12 of the present embodiment, it is possible to obtain the visual field ranges of the microscope 44 and the endoscope 46. The endoscope 46 will be described. An endoscope bending sensor that detects the bending state of the endoscope bending section 48 is disposed inside the endoscope bending section 48. It is possible to detect the position of the endoscope 46 by detecting the position of the endoscope 46 with the optical marker and the optical position sensor 58 and detecting the bending state of the endoscope bending portion 48 with the bending sensor. It has become. The control unit 32 can determine the visual field range of the endoscope 46 based on the angle of view and the zoom amount input from the endoscope 46 in addition to the distal end position of the endoscope 46. Similarly, the visual field range of the microscope 44 can be obtained.

顕微鏡４４及び内視鏡４６の視野範囲は表示装置４２に表示されるようになっている。例えば、これら視野範囲をナビゲーション画像に表示することができる。また、通常、顕微鏡４４により目的部位周辺の広い範囲の観察を行い、内視鏡４６により目的部位近傍の狭い範囲の観察を行うようになっており、内視鏡４６の視野範囲は顕微鏡４４の視野範囲に含まれるため、顕微鏡画像に内視鏡４６の視野範囲を表示するようにしてもよい。 The visual field ranges of the microscope 44 and the endoscope 46 are displayed on the display device 42. For example, these visual field ranges can be displayed on the navigation image. In addition, usually, a microscope 44 is used to observe a wide range around the target site, and an endoscope 46 is used to observe a narrow range near the target site. The field of view of the endoscope 46 is that of the microscope 44. Since it is included in the visual field range, the visual field range of the endoscope 46 may be displayed in the microscope image.

上述したように、画像用コントローラー５０に配設されている切り替えスイッチを操作することにより、顕微鏡画像と内視鏡画像との選択的な表示、顕微鏡画像と内視鏡画像とのピクチャーインピクチャー表示等とを切り替えることが可能である。本実施形態では、選択的な表示及びピクチャーインピクチャー表示において、以下に述べるように、顕微鏡画像と内視鏡画像とのいずれを主画像として表示するかが自動的に選択されるようになっている。ここで、内視鏡４６の視野範囲は顕微鏡４４の視野範囲に通常含まれている。そして、ナビゲーション機能によってジョー３０の位置を検知し、ジョー３０が内視鏡４６の視野範囲内である場合には内視鏡画像を主画像として選択し、視野範囲外である場合には顕微鏡画像を主画像として選択するようになっている。選択的な表示では主画像のみが表示され、ピクチャーインピクチャー表示では主画像が親画像として表示されるようになっている。 As described above, by operating the changeover switch provided in the image controller 50, selective display of a microscope image and an endoscope image, and picture-in-picture display of a microscope image and an endoscope image Etc. can be switched. In the present embodiment, in selective display and picture-in-picture display, as described below, which of a microscope image and an endoscopic image is displayed as a main image is automatically selected. Yes. Here, the visual field range of the endoscope 46 is normally included in the visual field range of the microscope 44. The position of the jaw 30 is detected by the navigation function. When the jaw 30 is within the field of view of the endoscope 46, the endoscope image is selected as the main image, and when the jaw 30 is outside the field of view, the microscope image is selected. Is selected as the main image. In the selective display, only the main image is displayed, and in the picture-in-picture display, the main image is displayed as a parent image.

本実施形態の手術支援システム１２では、以下に述べるように、表示装置４２に表示される観察画像の表示倍率を求めることが可能となっている。ここで表示倍率とは、実際の大きさに対する観察画像に表示される大きさの倍率である。内視鏡４６について説明すると、コントロールユニット３２は、内視鏡４６のズーム量、及び、内視鏡４６の先端位置と観察対象との間の距離に基づいて、内視鏡４６の観察倍率を算出するようになっている。そして、内視鏡４６の観察倍率と、内視鏡画像を表示装置４２に表示する際の拡大縮小倍率とから表示倍率を算出するようになっている。同様に、顕微鏡４４についても表示倍率を算出することが可能である。 In the surgery support system 12 of the present embodiment, the display magnification of the observation image displayed on the display device 42 can be obtained as described below. Here, the display magnification is a magnification of the size displayed in the observation image with respect to the actual size. The endoscope 46 will be described. The control unit 32 sets the observation magnification of the endoscope 46 based on the zoom amount of the endoscope 46 and the distance between the distal end position of the endoscope 46 and the observation target. It comes to calculate. The display magnification is calculated from the observation magnification of the endoscope 46 and the enlargement / reduction magnification when the endoscope image is displayed on the display device 42. Similarly, the display magnification of the microscope 44 can be calculated.

本実施形態の手術支援システム１２では、以下に述べるように、変換手段としてのコントロールユニット３２によって、第１及び第２の処置用コントローラー３４ａ，３４ｂの操作に対する第１及び第２のエンドエフェクタ１４ａ，１４ｂの作動の比率を観察画像の表示倍率に応じて変化させることが可能となっている。 In the surgical operation support system 12 of the present embodiment, as described below, the first and second end effectors 14a, 14a, 34b for the operations of the first and second treatment controllers 34a, 34b are performed by the control unit 32 as a conversion unit. It is possible to change the operation ratio of 14b according to the display magnification of the observation image.

ここで、第１及び第２の処置用コントローラー３４ａ，３４ｂの操作量、操作速度等を操作Ｆ（Ｆ＞０）と総称し、第１及び第２のエンドエフェクタ１４ａ，１４ｂの作動量、作動速度等を作動Ｗ（Ｗ＞０）と総称する。操作Ｆに対する作動Ｗの比率をα（α＞０）とし、表示装置４２に表示される観察画像の表示倍率をβ（β＞０）とする。作動Ｗ、操作Ｆ及び比率αについて、
作動Ｗ＝比率α×操作Ｆ
という関係が成り立つ。そして、表示倍率βは、顕微鏡４４、内視鏡４６のズーム量の変化等による観察倍率の変化、又は、表示装置４２に表示される主画像の切り替えによる観察倍率の変化によって変化される。 Here, the operation amount and operation speed of the first and second treatment controllers 34a and 34b are collectively referred to as operation F (F> 0), and the operation amounts and operations of the first and second end effectors 14a and 14b are collectively referred to as operation F (F> 0). The speed and the like are collectively referred to as operation W (W> 0). The ratio of the operation W to the operation F is α (α> 0), and the display magnification of the observation image displayed on the display device 42 is β (β> 0). For operation W, operation F and ratio α,
Operation W = Ratio α × Operation F
This relationship holds. The display magnification β is changed by a change in the observation magnification due to a change in the zoom amount of the microscope 44 and the endoscope 46 or the like, or a change in the observation magnification due to switching of the main image displayed on the display device 42.

コントロールユニット３２は表示倍率β（β＞０）に応じて比率αを変化させるようになっている。本実施形態では、処置具であるジョー３０が目的部位から遠くにある場合には、迅速な操作が必要となり、ジョー３０が素早く大きく動くようにαが大きいことが好ましい。一方、ジョー３０が目的部位の近くにある場合には、繊細な処置が必要となり、ジョー３０がゆっくり小さく動くようにαが小さいことが好ましい。通常、ジョー３０が目的部位から遠くにある場合には顕微鏡４４で広範囲の観察を行い、ジョー３０が目的部位の近くにある場合には顕微鏡４４で狭い範囲の観察を行う。即ち、ジョー３０が目的部位から遠くにある場合には観察画像の表示倍率βを小さくする傾向があり、ジョー３０が目的部位の近くにある場合には観察画像の表示倍率βを大きくする傾向がある。 The control unit 32 changes the ratio α in accordance with the display magnification β (β> 0). In the present embodiment, when the jaw 30 as the treatment tool is far from the target site, it is necessary to perform a quick operation, and it is preferable that α is large so that the jaw 30 moves quickly and greatly. On the other hand, when the jaw 30 is near the target site, delicate treatment is required, and it is preferable that α is small so that the jaw 30 moves slowly and slowly. Normally, when the jaw 30 is far from the target site, a wide range of observation is performed with the microscope 44, and when the jaw 30 is near the target site, a narrow range of observation is performed with the microscope 44. That is, when the jaw 30 is far from the target site, the display magnification β of the observation image tends to decrease, and when the jaw 30 is near the target site, the display magnification β of the observation image tends to increase. is there.

従って、比率αを表示倍率βの減少関数となるように設定すれば、ジョー３０が目的部位から遠くにある場合には表示倍率βが小さく比率αが大きくなり、ジョー３０が目的部位の近くにある場合には表示倍率βが大きく比率αが小さくなる。また、このように比率αを表示倍率βの減少関数とすることにより、表示倍率βの変化による観察画像におけるジョー３０の移動量及び移動速度の変化が相殺され、緩やかになる。 Accordingly, if the ratio α is set so as to be a decreasing function of the display magnification β, when the jaw 30 is far from the target site, the display magnification β is small and the ratio α is large, and the jaw 30 is close to the target site. In some cases, the display magnification β is large and the ratio α is small. In addition, by using the ratio α as a decreasing function of the display magnification β in this way, changes in the movement amount and movement speed of the jaw 30 in the observation image due to the change in the display magnification β are canceled out and become gentle.

図５に、本実施形態の表示倍率βに対する比率αのマップを示す。ここで、表示倍率βと比率αとは以下の関係を有する。 FIG. 5 shows a map of the ratio α with respect to the display magnification β of the present embodiment. Here, the display magnification β and the ratio α have the following relationship.

α＝１／β…………（１）
即ち、比率αは表示倍率βの逆関数である。また、表示倍率βが１の場合には比率αは１になり、操作と作動とが一致する。 α = 1 / β ………… (1)
That is, the ratio α is an inverse function of the display magnification β. Further, when the display magnification β is 1, the ratio α is 1, and the operation and the operation coincide with each other.

次に、図７のフローチャートを用いて、本実施形態の手術支援システム１２の作用について説明する。ステップＳ１で手術支援システム１２を起動する。ステップＳ２で、術前に撮影されたＣＴ、ＭＲＩ等による三次元画像情報をコントロールユニット３２に入力し、三次元画像情報から三次元画像を構築する。ステップＳ２に並行して、ステップＳ３でエンドエフェクタの選択を行う。本実施形態では、処置具としてジョー３０を有する第１及び第２のエンドエフェクタ１４ａ，１４ｂが選択される。また、ステップＳ３に並行して、ステップＳ４で画像取得手段の選択を行う。本実施形態では顕微鏡４４及び内視鏡４６が選択される。さらに、ステップＳ４に並行して、ステップＳ５で適切な比率αのマップを選択する。本実施形態では、図５で示される、比率α＝１／表示倍率β、のマップが選択される。 Next, the operation of the surgery support system 12 of this embodiment will be described using the flowchart of FIG. In step S1, the surgery support system 12 is activated. In step S2, 3D image information obtained by CT, MRI, etc. taken before surgery is input to the control unit 32, and a 3D image is constructed from the 3D image information. In parallel with step S2, an end effector is selected in step S3. In this embodiment, the 1st and 2nd end effector 14a, 14b which has the jaw 30 as a treatment tool is selected. In parallel with step S3, image acquisition means is selected in step S4. In the present embodiment, the microscope 44 and the endoscope 46 are selected. Further, in parallel with step S4, an appropriate ratio α map is selected in step S5. In the present embodiment, the map of ratio α = 1 / display magnification β shown in FIG. 5 is selected.

ステップＳ４の後、ステップＳ６で画像取得手段を適切な位置に移動させる。即ち、顕微鏡４４を目的部位周辺の広範囲の観察に適した位置へと移動し、内視鏡４６を目的部位近傍の狭い範囲の観察に適した位置へと移動する。そして、ステップＳ７で画像取得手段の設定を行う。即ち、画像用コントローラー５０を用いて、顕微鏡４４又は内視鏡４６の画角、焦点距離、ズーム量等を設定する。続いて、ステップＳ８で表示装置４２の設定を行う。以下、顕微鏡画像と内視鏡画像とが選択的に表示されるように表示装置４２が設定されたとして説明する。ステップＳ７及びステップＳ８に並行して、ステップＳ９で位置確認を行う。即ち、第１乃至第４の光学マーカー５６ａ，５６ｂ，５６ｃ、第５の光学マーカー及び光学位置センサー５８、マスタースレーブユニット１６の伸縮センサー及び湾曲センサー、並びに、内視鏡湾曲センサーによって、顕微鏡４４、内視鏡４６、内視鏡４６の先端部、ジョー３０、及び患者の位置を確認する。 After step S4, the image acquisition means is moved to an appropriate position in step S6. That is, the microscope 44 is moved to a position suitable for wide-area observation around the target site, and the endoscope 46 is moved to a position suitable for observation in a narrow range near the target site. In step S7, the image acquisition unit is set. That is, using the image controller 50, the angle of view, focal length, zoom amount, etc. of the microscope 44 or the endoscope 46 are set. Subsequently, the display device 42 is set in step S8. In the following description, it is assumed that the display device 42 is set so that a microscope image and an endoscopic image are selectively displayed. In parallel with step S7 and step S8, the position is confirmed in step S9. That is, the first to fourth optical markers 56a, 56b, 56c, the fifth optical marker and the optical position sensor 58, the expansion / contraction sensor and the bending sensor of the master slave unit 16, and the endoscope bending sensor, the microscope 44, The positions of the endoscope 46, the distal end portion of the endoscope 46, the jaw 30, and the patient are confirmed.

ステップＳ８及びステップ９の後、ステップＳ１０で表示倍率を決定する。ジョー３０が内視鏡４６の視野範囲外にある場合には表示装置４２には顕微鏡画像が表示され、観察画像の表示倍率βは顕微鏡４４の観察倍率に基づいて決定される。顕微鏡４４の観察倍率は、顕微鏡４４のズーム量、及び、顕微鏡４４と観察対称との距離であるワーキングディスタンスによって決定される。一方、ジョー３０が内視鏡４６の視野範囲内にある場合には表示装置４２には内視鏡画像が表示され、観察画像の表示倍率βは内視鏡４６の観察倍率に基づいて決定される。内視鏡４６の観察倍率は顕微鏡４４と同様に決定される。 After step S8 and step 9, the display magnification is determined in step S10. When the jaw 30 is outside the visual field range of the endoscope 46, a microscope image is displayed on the display device 42, and the display magnification β of the observation image is determined based on the observation magnification of the microscope 44. The observation magnification of the microscope 44 is determined by the zoom amount of the microscope 44 and the working distance that is the distance between the microscope 44 and the observation symmetry. On the other hand, when the jaw 30 is within the field of view of the endoscope 46, an endoscope image is displayed on the display device 42, and the display magnification β of the observation image is determined based on the observation magnification of the endoscope 46. The The observation magnification of the endoscope 46 is determined similarly to the microscope 44.

次に、ステップＳ５で決定された比率αのマップに基づき、ステップＳ１１において、ステップＳ１０で決定された表示倍率βに対応する比率αを決定する。そして、ステップＳ１２で、遠隔操作手段とエンドエフェクタとの間の作動設定を行う。即ち、コントロールユニット３２において、第１及び第２の処置用コントローラー３４ａ，３４ｂの操作Ｆと、第１及び第２のエンドエフェクタ１４ａ，１４ｂの作動Ｗとの間で、作動Ｗ＝比率α×操作Ｆの関係を設定する。 Next, based on the map of the ratio α determined in step S5, in step S11, the ratio α corresponding to the display magnification β determined in step S10 is determined. In step S12, an operation setting is performed between the remote control means and the end effector. That is, in the control unit 32, the operation W = the ratio α × the operation between the operation F of the first and second treatment controllers 34a and 34b and the operation W of the first and second end effectors 14a and 14b. Set the relationship of F.

そして、ステップＳ１３で遠隔操作手段を操作し、ステップＳ１２の作動設定に基づきステップＳ１４でエンドエフェクタを駆動する。即ち、表示装置４２の観察画像に対して、第１及び第２の処置用コントローラー３４ａ，３４ｂを移動させることにより、第１及び第２のエンドエフェクタ１４ａ，１４ｂを駆動して、被険体の目的部位に対してジョー３０を移動させる。また、第１及び第２の処置用コントローラー３４ａ，３４ｂのハンドル部４０を開閉操作することにより、第１及び第２のエンドエフェクタ１４ａ，１４ｂを駆動してジョー３０を開閉する。 Then, the remote control means is operated in step S13, and the end effector is driven in step S14 based on the operation setting in step S12. That is, by moving the first and second treatment controllers 34a and 34b with respect to the observation image of the display device 42, the first and second end effectors 14a and 14b are driven to The jaw 30 is moved with respect to the target site. Further, by opening and closing the handle portions 40 of the first and second treatment controllers 34a and 34b, the first and second end effectors 14a and 14b are driven to open and close the jaws 30.

ステップＳ１４におけるエンドエフェクタの駆動の後、ステップＳ６及びステップＳ９に戻る。例えば、ステップＳ１４でジョー３０が内視鏡４６の視野範囲外から視野範囲内に移動された場合には、ステップＳ９でジョー３０の位置が確認され、表示装置４２に表示される画像が顕微鏡画像から内視鏡画像に切り替わり、ステップＳ１０で画像の切り替わりに応じて表示倍率βを決定する。以上のようなステップを繰り返すことにより目的部位に処置を行う。 After driving the end effector in step S14, the process returns to step S6 and step S9. For example, when the jaw 30 is moved from outside the visual field range of the endoscope 46 into the visual field range in step S14, the position of the jaw 30 is confirmed in step S9, and the image displayed on the display device 42 is a microscopic image. Is switched to an endoscopic image, and the display magnification β is determined in accordance with the switching of the image in step S10. Treatment is performed on the target site by repeating the above steps.

従って、本実施形態の手術支援システム１２は次の効果を奏する。表示装置４２に表示される観察画像の表示倍率βに応じて、第１及び第２の処置用コントローラー３４ａ，３４ｂの操作Ｆに対する第１及び第２のエンドエフェクタ１４ａ，１４ｂの作動Ｗの比率αを自動的に決定するようになっている。このため、比率αを操作者が何度も再設定する必要がなくなっており、操作性が向上されている。 Therefore, the surgery support system 12 of this embodiment has the following effects. The ratio α of the operation W of the first and second end effectors 14a, 14b with respect to the operation F of the first and second treatment controllers 34a, 34b according to the display magnification β of the observation image displayed on the display device 42. Is automatically determined. For this reason, it is not necessary for the operator to reset the ratio α many times, and the operability is improved.

また、比率αが表示倍率βの減少関数となるような比率αのマップが選択されている。通常、ジョー３０が目的部位から遠くにある場合には観察画像の表示倍率βを小さくし、近くにある場合には大きくする傾向があるため、ジョー３０が目的部位から遠くにある場合には比率αが大きくなり、近くにある場合にはαが小さくなるようになっている。従って、ジョー３０が目的部位から遠くにある場合には、表示倍率βに応じて自動的にαが大きくなり、ジョー３０が素早く大きく動いて迅速な操作が可能となる。一方、ジョー３０が目的部位の近くにある場合には、表示倍率βに応じて自動的にαが小さくなり、ジョー３０がゆっくり小さく動いて繊細な処置が可能となる。 Further, a map of the ratio α is selected so that the ratio α becomes a decreasing function of the display magnification β. Usually, when the jaw 30 is far from the target site, the display magnification β of the observation image tends to be decreased, and when the jaw 30 is close, the ratio tends to increase. α is large, and when it is close, α is small. Therefore, when the jaw 30 is far from the target site, α automatically increases according to the display magnification β, and the jaw 30 moves quickly and greatly, thereby enabling quick operation. On the other hand, when the jaw 30 is near the target site, α is automatically reduced according to the display magnification β, and the jaw 30 moves slowly and slowly to enable delicate treatment.

そして、比率αが表示倍率βに拘わらず一定である場合には、表示倍率βの増大（減少）により、観察画像における処置具３０の移動量及び移動速度は増大（減少）することになる。本実施形態では、比率αが表示倍率βの減少関数となっているため、表示倍率βの変化による観察画像におけるジョー３０の移動量及び移動速度の変化が相殺され、緩やかになっている。従って、移動量及び移動速度の急激な変化によって操作者が違和感を感じることが少なくなっており、操作がしやすくなっている。 When the ratio α is constant regardless of the display magnification β, the movement amount and movement speed of the treatment instrument 30 in the observation image increase (decrease) due to the increase (decrease) in the display magnification β. In the present embodiment, since the ratio α is a decreasing function of the display magnification β, changes in the movement amount and movement speed of the jaw 30 in the observation image due to the change in the display magnification β are canceled out and become gentle. Therefore, the operator feels less uncomfortable due to a sudden change in the movement amount and the movement speed, and the operation is easy.

さらに、表示装置４２は、選択的な表示では顕微鏡画像と内視鏡画像との内の主画像のみを表示し、ピクチャーインピクチャー表示では顕微鏡画像と内視鏡画像との内の主画像を親画像として表示するようになっている。そして、ナビゲーション機能によってジョー３０の位置を検知し、ジョー３０が内視鏡４６の視野範囲に入っている場合には内視鏡画像を主画像として選択し、入っていない場合には顕微鏡画像を主画像として選択するようになっている。このように、主画像が自動的に選択されるようになっており、操作者が主画像を選択する必要がなくなっている。従って、操作性が向上されている。 Furthermore, the display device 42 displays only the main image of the microscopic image and the endoscopic image in the selective display, and the main image in the microscopic image and the endoscopic image in the picture-in-picture display. It is displayed as an image. Then, the position of the jaw 30 is detected by the navigation function. When the jaw 30 is within the field of view of the endoscope 46, the endoscope image is selected as the main image, and when it is not, the microscope image is selected. The main image is selected. As described above, the main image is automatically selected, and it is not necessary for the operator to select the main image. Therefore, the operability is improved.

本実施形態では、第１及び第２のエンドエフェクタ１４ａ，１４ｂが用いられているが、エンドエフェクタの個数は２つに限られず、１つでも３つ以上であってもよい。また、エンドエフェクタは実施する手術に応じて様々な構成のものが用いられ、ジョー３０以外にも様々な処置具が選択される。 In the present embodiment, the first and second end effectors 14a and 14b are used, but the number of end effectors is not limited to two, and may be one or three or more. The end effector may have various configurations depending on the operation to be performed, and various treatment tools other than the jaw 30 may be selected.

次に、本発明の第２実施形態を説明する。第１実施形態と同様な機能を有する構成には、同一の参照符号を付して説明を省略する。図８に示されるように、本実施形態の比率αと表示倍率βは以下の関係を有する。 Next, a second embodiment of the present invention will be described. Components having the same functions as those of the first embodiment are denoted by the same reference numerals, and description thereof is omitted. As shown in FIG. 8, the ratio α and the display magnification β of the present embodiment have the following relationship.

比率α＝１／（表示倍率β）^ｘ（Ｘは２以上の実数）…………（２）
即ち、比率αは表示倍率βの高次逆関数である。 Ratio α = 1 / (Display magnification β) ^x (X is a real number of 2 or more) ………… (2)
That is, the ratio α is a high-order inverse function of the display magnification β.

次に、本実施形態の手術支援システム１２の作用効果について説明する。比率αと表示倍率βとは式（２）の関係を有するため、表示倍率βが小さい場合には比率αが充分に大きくなり、表示倍率βが大きい場合には比率αが充分に小さくなる。このため、ジョー３０が目的部位から遠くにある場合にはジョー３０が素早く大きく動いて迅速な操作が可能となり、近くにある場合にはジョー３０がゆっくり小さく動いて繊細な処置が可能となるという効果が第１実施形態に比べて増大されている。 Next, the effect of the surgery support system 12 of this embodiment is demonstrated. Since the ratio α and the display magnification β have the relationship of Expression (2), the ratio α is sufficiently large when the display magnification β is small, and the ratio α is sufficiently small when the display magnification β is large. For this reason, when the jaw 30 is far from the target site, the jaw 30 moves quickly and greatly, and a quick operation is possible. When the jaw 30 is near, the jaw 30 moves slowly and slightly and a delicate treatment is possible. The effect is increased compared to the first embodiment.

以上述べた実施形態は例示であって、画像表示手段に表示される観察画像の表示倍率に応じて、遠隔操作手段の操作に対する処置手段の作動の比率を変化させるという特徴を有する限り、様々な変形が可能である。例えば、比率αと表示倍率βの関係は上記したものに限定されるものではなく、表示倍率βの増大に応じて比率αを一次関数的に減少するようにしてもよい。また、表示倍率βの増大に応じて比率αを増大するようにしてもよい。例えば、表示倍率βに応じて処置具による処置を切り替える場合、具体的には表示倍率βが所定の値以下ではジョーを移動し、所定の値以上ではジョーを開閉するような場合等には、処置の切り替えにおいて、表示倍率βの増大に応じて比率αを増大するようにすることが可能である。 The embodiment described above is an exemplification, and as long as it has a feature that the ratio of the operation of the treatment means to the operation of the remote operation means is changed according to the display magnification of the observation image displayed on the image display means, various embodiments Deformation is possible. For example, the relationship between the ratio α and the display magnification β is not limited to the above, and the ratio α may be decreased linearly as the display magnification β increases. Further, the ratio α may be increased in accordance with the increase in the display magnification β. For example, when the treatment with the treatment tool is switched according to the display magnification β, specifically, when the display magnification β is a predetermined value or less, the jaw is moved, and when the display magnification β is a predetermined value or more, the jaw is opened or closed. In switching the treatment, the ratio α can be increased in accordance with the increase in the display magnification β.

次に、本出願の他の特徴的な技術事項を下記の通り付記する。
記
（付記項１）任意の倍率で被検体を観察可能な観察手段と、前記観察手段で得られた観察像を表示する画像表示手段と、前記観察手段の視野内で前記被検体の処置が可能な処置手段と、前記処置手段の遠隔操作を行う遠隔操作手段と、前記観察手段の倍率の変化に応じて前記遠隔操作手段の動作に対する前記処置手段の動作の比率を変化させる変換手段と、を有することを特徴とする手術支援システム。 Next, other characteristic technical matters of the present application are appended as follows.
Record
(Additional Item 1) Observation means capable of observing a subject at an arbitrary magnification, image display means for displaying an observation image obtained by the observation means, and treatment of the subject within the visual field of the observation means Remote treatment means for performing remote operation of the treatment means, and conversion means for changing a ratio of the operation of the treatment means to the operation of the remote operation means in accordance with a change in magnification of the observation means. A surgical operation support system comprising:

（付記項２）任意の倍率で被検定を観察可能な二以上の観察手段と、前記二以上の観察手段で得られた異なる観察像を切り替え表示可能な画像表示手段と、前記観察手段の視野内で前記被検体の処置が可能な処置手段と、前記処置手段の遠隔操作を行う遠隔操作手段と、前記異なる観察像の切り替えに応じて前記遠隔操作手段の動作に対する前記処置手段の動作の比率を変化させる変換手段と、を有することを特徴とする手術支援システム。 (Additional Item 2) Two or more observation means capable of observing the test at an arbitrary magnification, an image display means capable of switching and displaying different observation images obtained by the two or more observation means, and a field of view of the observation means A treatment means capable of treating the subject within, a remote operation means for remotely operating the treatment means, and a ratio of the operation of the treatment means to the action of the remote operation means in accordance with switching of the different observation images And a conversion means for changing the operation.

（付記項３）前記変換手段は前記観察手段の倍率の変化に応じて前記遠隔操作手段の動作に対する前記処置手段の動作の比率を変化させる手段を含むことを特徴とする付記項２記載の手術支援システム。 (Additional Item 3) The operation according to Additional Item 2, wherein the conversion unit includes a unit that changes a ratio of an operation of the treatment unit to an operation of the remote control unit in accordance with a change in magnification of the observation unit. Support system.

（付記項４）少なくとも２自由度以上ディメンションの操作が可能な、少なくとも１つ以上のコントローラーと、このコントローラーの操作に対応し、少なくとも２自由度以上のディメンションの動作を行う、少なくとも一つ以上のエンドエフェクタを有し、少なくとも一つ以上の画像取得手段と、少なくとも一つ以上の表示装置を有し、前述の画像取得手段及び表示装置によって得られる画像の倍率を「表示倍率」と規定した場合、この「表示倍率」を少なくとも一つ以上の設定に変更可能であり、前述のコントローラーの操作量あるいは操作速さを「操作」と規定し、エンドエフェクタの作働量あるいは作働速さを「作働」と規定し、予め少なくとも一つ以上の数値から構成されるか、もしくは「表示倍率」の可変に対応して少なくとも一つ以上の値に自動的に可変される「変数α」が規定される事によって、「変数α」＊「操作」＝「作働」という関係で「作働」が規定、もしくは近似的に規定されて手術支援システム。 (Additional Item 4) At least one controller capable of operating a dimension of at least two degrees of freedom, and at least one controller operating a dimension of at least two degrees of freedom corresponding to the operation of the controller. When having an end effector, having at least one image acquisition means and at least one display device, and prescribing the magnification of the image obtained by the image acquisition means and the display device as "display magnification" This “display magnification” can be changed to at least one setting, the operation amount or operation speed of the controller described above is defined as “operation”, and the operation amount or operation speed of the end effector is set to “ `` Operation '' and is composed of at least one numerical value in advance, or at least corresponding to the variable of `` display magnification '' By defining “variable α” that is automatically changed to one or more values, “operation” is defined or approximated by the relationship “variable α” * “operation” = “operation”. Surgery support system that is prescribed.

（付記項５）付記項４において、前述の「表示倍率」が増加すると自動的に「変数α」が減少するもの。 (Additional Item 5) In Additional Item 4, “variable α” automatically decreases as the above-mentioned “display magnification” increases.

（付記項６）付記項５において、前述の「表示倍率」と「変数α」が予め規定された少なくとも一つ以上の関数によって関連付けられているもの。 (Additional Item 6) In Additional Item 5, the above-mentioned “display magnification” and “variable α” are related by at least one or more predetermined functions.

（付記項７）付記項６において、前述の関数が「表示倍率」を変数とした減少関数であるもの。 (Additional Item 7) In Additional Item 6, the aforementioned function is a decreasing function with “display magnification” as a variable.

（付記項８）付記項６、７において、前述の関数が「表示倍率」を変数とした「変数α」＝１／「表示倍率」であるもの。 (Additional Item 8) In Additional Items 6 and 7, the above function is “variable α” = 1 / “display magnification” with “display magnification” as a variable.

（付記項９）付記項６、７において、前述の関数が「表示倍率」を変数とした「変数α」＝１／「表示倍率」^x（ｘ：２以上の実数）となる高次逆関数であるもの。 (Additional Item 9) In Additional Items 6 and 7, a high-order inverse function in which the above function is “variable α” = 1 / “display magnification” ^x (x: real number of 2 or more) with “display magnification” as a variable. What is.

（付記項１０）付記項４〜９において、前述の少なくとも一つ以上の画像取得手段から得られた少なくとも一つ以上の画像を、選択的に少なくとも一つ以上の表示装置に個別表示、もしくは選択的に同一の表示装置の画面を分割あるいは重積して表示する事が可能であり、任意に選択した主たる画像取得手段から得られた画像の表示倍率に基づいて「変数α」の値が規定されるもの。 (Additional Item 10) In Additional Items 4 to 9, at least one or more images obtained from at least one or more of the image acquisition means described above are selectively individually displayed on or selected from at least one or more display devices. The screen of the same display device can be divided or stacked, and the value of “variable α” is defined based on the display magnification of the image obtained from the arbitrarily selected main image acquisition means What will be done.

本発明は、操作性が向上されている、観察画像に基づいて操作手段によって処置手段を遠隔操作して被険体に処置を行う手術支援システムを提供する。 The present invention provides a surgical operation support system in which operability is improved, and a treatment means is remotely operated by an operation means based on an observation image to perform treatment on an object.

本発明の第１実施形態の手術支援システムの全体の概略構成を示す斜視図。1 is a perspective view showing an overall schematic configuration of a surgery support system according to a first embodiment of the present invention. 本発明の第１実施形態の手術支援システムのエンドエフェクタを示す斜視図。The perspective view which shows the end effector of the surgery assistance system of 1st Embodiment of this invention. 本発明の第１実施形態の手術支援システムのコントロールユニットを示す斜視図。The perspective view which shows the control unit of the surgery assistance system of 1st Embodiment of this invention. 本発明の第１実施形態の手術支援システムの画像取得手段及びマスタースレーブユニットを示す斜視図。The perspective view which shows the image acquisition means and master slave unit of the surgery assistance system of 1st Embodiment of this invention. 本発明の第１実施形態の手術支援システムの画像用コントローラーを示す斜視図。The perspective view which shows the controller for images of the surgery assistance system of 1st Embodiment of this invention. 本発明の第１実施形態の手術支援システムの比率のマップを示す図。The figure which shows the map of the ratio of the surgery assistance system of 1st Embodiment of this invention. 本発明の第１実施形態の手術支援システムの作用を説明するためのフローチャートを示す図。The figure which shows the flowchart for demonstrating the effect | action of the surgery assistance system of 1st Embodiment of this invention. 本発明の第２実施形態の手術支援システムの比率のマップを示す図。The figure which shows the map of the ratio of the surgery assistance system of 2nd Embodiment of this invention.

Explanation of symbols

１２…手術支援システム、１４ａ，１４ｂ…処置手段、３２…遠隔操作手段、３２…変換手段、４２…画像表示手段、４４，４６…画像取得手段。 DESCRIPTION OF SYMBOLS 12 ... Surgery support system, 14a, 14b ... Treatment means, 32 ... Remote operation means, 32 ... Conversion means, 42 ... Image display means, 44, 46 ... Image acquisition means.

Claims

At least one image acquisition means capable of observing a subject in the field of view at a predetermined observation magnification;
Image display means for displaying an observation image obtained by the image acquisition means;
Treatment means capable of treating the subject within the field of view of the image acquisition means;
Remote operation means for remotely operating the treatment means;
Conversion means for changing a ratio of operation of the treatment means to operation of the remote control means according to a display magnification of an observation image displayed on the image display means;
An operation support system comprising:

At least one of the image acquisition means has a variable observation magnification,
The display magnification is changed by changing the observation magnification,
2. The surgical operation support system according to claim 1, wherein

The at least one image acquisition means is two or more image acquisition means;
The image display means can select an image acquisition means for obtaining an observation image that is mainly displayed from the two or more image acquisition means,
The display magnification is changed by switching the observation magnification by switching selected image acquisition means.
2. The surgical operation support system according to claim 1, wherein

The image display means selects an image acquisition means for obtaining the observation image that is mainly displayed based on a predetermined setting.
The surgical operation support system according to claim 3.

The surgery support system according to claim 1, wherein the ratio is a decreasing function of the display magnification.

6. The surgery support system according to claim 5, wherein the ratio is an inverse function of the display magnification.

The surgery support system according to claim 5, wherein the ratio is a high-order inverse function of the display magnification.