JP2013017512A

JP2013017512A - Medical master slave manipulator

Info

Publication number: JP2013017512A
Application number: JP2011150977A
Authority: JP
Inventors: Ryohei Ogawa; 量平小川; Hirosuke Kishi; 宏亮岸
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2011-07-07
Filing date: 2011-07-07
Publication date: 2013-01-31
Anticipated expiration: 2031-07-07
Also published as: JP5800609B2

Abstract

PROBLEM TO BE SOLVED: To provide a medical master slave manipulator configured to activate a slave manipulator by an operator's intuitive operation of a master input device.SOLUTION: A medical master slave manipulator 1 includes a master input unit 2 configured to send an operation order, a slave manipulator 3 operated by the master input unit, a control unit 4 configured to transmit an operation signal to the slave manipulator based on the operation order, a display unit 22 configured to display a plurality of different videos of a subject, and a detection unit 24 configured for the operator to select one video out of the plurality of videos. The control unit performs conversion processing associated with the video selected by the operator via the detection unit with respect to the operation order.

Description

本発明は、マスタ入力デバイスとスレーブアームとを備えた医療用マスタスレーブマニピュレータに関する。 The present invention relates to a medical master-slave manipulator including a master input device and a slave arm.

医療の分野において、マスタ入力デバイスとスレーブアームを備えた医療用ロボットシステム（医療用マスタスレーブマニピュレータ）が提案されている。特許文献１に記載の医療用ロボットシステムでは、動作を制御するスレーブアームを選択する制御スイッチ機構がマスタ入力デバイスに設けられている。すなわち、第１のモードでは第１のスレーブアームを、第２のモードでは第２のスレーブアームを、マスタ入力デバイスによって制御し、いずれを制御するかを制御スイッチ機構により切り替える。
上記制御スイッチ機構としては、音声コマンド、物理的に配置されたスイッチ、フットペダル、ディスプレイ上に表示されたアイコンやグラフィックユーザインターフェース選択手段が挙げられている。 In the medical field, a medical robot system (medical master-slave manipulator) including a master input device and a slave arm has been proposed. In the medical robot system described in Patent Document 1, the master input device is provided with a control switch mechanism for selecting a slave arm for controlling the operation. That is, the first slave arm is controlled by the master input device in the first mode and the second slave arm is controlled by the master input device in the second mode, and which one is controlled is switched by the control switch mechanism.
Examples of the control switch mechanism include voice commands, physically arranged switches, foot pedals, icons displayed on a display, and graphic user interface selection means.

さらに、特許文献１の医療用ロボットシステムには、上述したものとは別の制御スイッチ機構が設けられている。この制御スイッチ機構は、マスタ入力デバイスにより動作を制御するモードを、腹腔鏡超音波（ＬＵＳ）プローブを制御して補助画像を取得する画像捕捉モードと、当該補助画像を本来の表示画像上に表示し操作するなどの画像操作モードに切り替える。
画像操作モードでは、内視鏡などの画像に、ＬＵＳプローブ等により取得された超音波診断画像などの別の補助画像をオーバーレイし、さらに、マスタ入力デバイスをポインディングデバイスとして機能させることができる。 Furthermore, the medical robot system of Patent Document 1 is provided with a control switch mechanism different from that described above. The control switch mechanism controls the operation by a master input device, displays an auxiliary image by controlling a laparoscopic ultrasound (LUS) probe, and displays the auxiliary image on the original display image. Switch to an image operation mode such as
In the image operation mode, another auxiliary image such as an ultrasonic diagnostic image acquired by an LUS probe or the like can be overlaid on an image of an endoscope or the like, and the master input device can function as a pointing device.

特表２００９−５１２５１４号公報Special table 2009-512514 gazette

マスタスレーブマニピュレータを介して医療処置等を行う場合には、処置する部位の画像をスレーブアームに取り付けた内視鏡等で取得し、ディスプレイに表示された当該画像を見ながら操作者が処置を行う。このとき、表示されている画像中のスレーブアームの移動方向と、マスタ入力デバイスのうち実際に操作者が操作するマスターアームの移動方向が合わなくなり、操作者が直感的にマスタ入力を行いにくくなるという問題がある。 When performing a medical procedure or the like via a master / slave manipulator, an image of a site to be treated is acquired by an endoscope or the like attached to the slave arm, and the operator performs the procedure while viewing the image displayed on the display. . At this time, the moving direction of the slave arm in the displayed image does not match the moving direction of the master arm that is actually operated by the operator among the master input devices, and it becomes difficult for the operator to perform master input intuitively. There is a problem.

特許文献１の医療用ロボットシステムでは、制御スイッチ機構によって、表示される画像を切り換えて、マスタ入力デバイスをポインティングデバイスと関連させることで画像情報を操作しているが、表示されている画像と関連させてスレーブマニピュレータの制御方法を切り換えることについては考慮されておらず、依然として上述の問題が残されている。 In the medical robot system disclosed in Patent Literature 1, image information is manipulated by switching a displayed image using a control switch mechanism and associating a master input device with a pointing device. Thus, switching the control method of the slave manipulator is not considered, and the above-described problem still remains.

本発明は上記事情に鑑みて成されたものであり、操作者が直感的にマスタ入力デバイスを操作してスレーブマニピュレータを動作させることができる医療用マスタスレーブマニピュレータを提供することを目的とする。 The present invention has been made in view of the above circumstances, and an object thereof is to provide a medical master-slave manipulator in which an operator can operate a master manipulator intuitively to operate a slave manipulator.

本発明の医療用マスタスレーブマニピュレータは、操作指令を発するためのマスタ入力部と、前記マスタ入力部により操作されるスレーブマニピュレータと、前記操作指令に基づいて前記スレーブマニピュレータへ操作信号を送信する制御部と、被写体の複数の異なる映像が表示される表示部と、複数の前記映像のうち、操作者が一つの映像を選択するための映像選択手段とを備え、前記制御部は、前記操作指令に対して、前記映像選択手段を介して前記操作者により選択された映像に関連付けられた変換処理を行うことを特徴とする。 The medical master slave manipulator of the present invention includes a master input unit for issuing an operation command, a slave manipulator operated by the master input unit, and a control unit that transmits an operation signal to the slave manipulator based on the operation command And a display unit on which a plurality of different videos of the subject are displayed, and video selection means for an operator to select one video from the plurality of videos, and the control unit receives the operation command On the other hand, a conversion process associated with the video selected by the operator via the video selection means is performed.

前記映像選択手段は、前記操作者の顔が向いている前記映像を検出する検出部を含んでもよいし、前記操作者が選択した前記映像が入力される入力手段を含んでもよい。 The video selection means may include a detection unit that detects the video facing the operator's face, or may include input means for inputting the video selected by the operator.

複数の前記映像の少なくとも一つは、他の映像を画像処理することにより生成されてもよい。例えば、他の映像を回転処理することにより生成されてもよいし、他の映像を拡大もしくは縮小処理することにより生成されてもよい。
また、複数の前記映像は、それぞれ異なる複数の観察手段により取得されてもよい。 At least one of the plurality of videos may be generated by performing image processing on another video. For example, it may be generated by rotating another video or may be generated by enlarging or reducing another video.
The plurality of videos may be acquired by a plurality of different observation units.

前記マスタ入力部は操作部を有し、前記スレーブマニピュレータはスレーブアームを有し、その数は、前記操作部の数よりも多く、前記映像に関連付けられた変換処理の少なくとも一つにおいて、前記操作部と前記スレーブアームとの対応関係が他の変換処理と異なってもよい。 The master input unit includes an operation unit, the slave manipulator includes slave arms, the number of which is greater than the number of the operation units, and the operation is performed in at least one of the conversion processes associated with the video. The correspondence between the unit and the slave arm may be different from other conversion processes.

本発明の医療用マスタスレーブマニピュレータは、複数の前記スレーブマニピュレータを備えてもよい。 The medical master slave manipulator of the present invention may include a plurality of the slave manipulators.

本発明の医療用マスタスレーブマニピュレータによれば、操作者が直感的にマスタ入力デバイスを操作してスレーブマニピュレータを動作させることができる。 According to the medical master-slave manipulator of the present invention, the operator can operate the master input device intuitively to operate the slave manipulator.

本発明の第一実施形態の医療用マスタスレーブマニピュレータを適用した医療用マニピュレータシステムを示す図である。It is a figure which shows the medical manipulator system to which the medical master slave manipulator of 1st embodiment of this invention is applied. 同医療用マスタスレーブマニピュレータの機能ブロック図である。It is a functional block diagram of the medical master slave manipulator. 同医療用マスタスレーブマニピュレータの動作の流れを示すフローチャートである。It is a flowchart which shows the flow of operation | movement of the medical master slave manipulator. 同医療用マスタスレーブマニピュレータの判定部における判定ルーチンを示すフローチャートである。It is a flowchart which shows the determination routine in the determination part of the medical master slave manipulator. 本発明の第二実施形態の医療用マスタスレーブマニピュレータを適用した医療用マニピュレータシステムを示す図である。It is a figure which shows the medical manipulator system to which the medical master slave manipulator of 2nd embodiment of this invention is applied. 同医療用マスタスレーブマニピュレータの動作の流れを示すフローチャートである。It is a flowchart which shows the flow of operation | movement of the medical master slave manipulator. 本発明の第三実施形態の医療用マスタスレーブマニピュレータを適用した医療用マニピュレータシステムを示す図である。It is a figure which shows the medical manipulator system to which the medical master slave manipulator of 3rd embodiment of this invention is applied. 同医療用マスタスレーブマニピュレータの機能ブロック図である。It is a functional block diagram of the medical master slave manipulator. 同医療用マスタスレーブマニピュレータの動作の流れを示すフローチャートである。It is a flowchart which shows the flow of operation | movement of the medical master slave manipulator. 本発明の第四実施形態の医療用マスタスレーブマニピュレータのマスタ入力部を示す図である。It is a figure which shows the master input part of the medical master slave manipulator of 4th embodiment of this invention. 同医療用マスタスレーブマニピュレータの機能ブロック図である。It is a functional block diagram of the medical master slave manipulator. 同医療用マスタスレーブマニピュレータの動作の流れを示すフローチャートである。It is a flowchart which shows the flow of operation | movement of the medical master slave manipulator. 本発明の変形例の医療用マスタスレーブマニピュレータにおけるマスタ入力部を示す図である。It is a figure which shows the master input part in the medical master slave manipulator of the modification of this invention.

以下、本発明の第一実施形態について説明する。図１は、本実施形態の医療用マスタスレーブマニピュレータ（以下、単に「マスタスレーブマニピュレータ」と称する。）１を示す図である。マスタスレーブマニピュレータ１は、マスターアーム２１を有し、操作指令を発するためのマスタ入力部２と、スレーブアーム３１を有するスレーブマニピュレータ３とを備え、術者（操作者）Ｏｐによるマスターアーム２１の操作に追従させるようにしてスレーブアーム３１を遠隔制御するものである。マスターアーム２１を介した操作指令は、制御部４のマスタ制御部４１に送信され、必要に応じて後述する変換処理が施された後、マニピュレータ制御部４２に入力される。その後、マニピュレータ制御部４２からスレーブマニピュレータ３へ動作信号が送られ、スレーブアーム３１が動作する。 Hereinafter, a first embodiment of the present invention will be described. FIG. 1 is a diagram showing a medical master-slave manipulator (hereinafter simply referred to as “master-slave manipulator”) 1 of the present embodiment. The master-slave manipulator 1 includes a master arm 21, and includes a master input unit 2 for issuing an operation command and a slave manipulator 3 having a slave arm 31, and an operation of the master arm 21 by an operator (operator) Op. The slave arm 31 is remotely controlled so as to follow. An operation command via the master arm 21 is transmitted to the master control unit 41 of the control unit 4, and after being subjected to conversion processing described later as necessary, is input to the manipulator control unit 42. Thereafter, an operation signal is sent from the manipulator control unit 42 to the slave manipulator 3, and the slave arm 31 operates.

図１に示すように、スレーブマニピュレータ３は、患者Ｐが載置される手術台１００に設置され、複数のスレーブアーム３１を有する。各スレーブアームは複数の多自由度関節を有して構成されており、多軸動作可能である。各多自由度関節は、図示しない動力部によって個別に駆動される。動力部としては、例えばインクリメンタルエンコーダや減速器等を備えたサーボ機構を有するモータ（サーボモータ）等を用いることができる。 As shown in FIG. 1, the slave manipulator 3 is installed on an operating table 100 on which a patient P is placed and has a plurality of slave arms 31. Each slave arm has a plurality of multi-degree-of-freedom joints, and can perform multi-axis operation. Each multi-degree-of-freedom joint is individually driven by a power unit (not shown). As the power unit, for example, a motor (servo motor) having a servo mechanism including an incremental encoder, a speed reducer, or the like can be used.

複数のスレーブアーム３１の一つには、手技対象部位（被写体）を含む術野の映像を取得する内視鏡等の図示しない観察手段が取り付けられ、他のスレーブアームには、各種処置を行うための図示しない処置具が取り付けられる。観察手段や処置具は、公知のものを適宜選択して用いることができる。また、各スレーブアームは、装着された処置具等を駆動するための複数の動力部も有している（不図示）。この動力部も、例えばサーボモータを用いることができる。なお、以降の説明において、スレーブアームのうち処置具が取り付けられたスレーブアームを、「処置用スレーブアーム」と称することがある。 One of the plurality of slave arms 31 is attached with observation means (not shown) such as an endoscope for acquiring an image of a surgical field including a procedure target region (subject), and other slave arms perform various treatments. A treatment tool (not shown) is attached. Known observation means and treatment tools can be appropriately selected and used. Each slave arm also has a plurality of power units (not shown) for driving the attached treatment instrument and the like. For example, a servo motor can be used as the power unit. In the following description, a slave arm to which a treatment tool is attached among the slave arms may be referred to as a “treatment slave arm”.

マスタ入力部２は、術者Ｏｐが操作する複数のマスターアーム２１と、上述の観察手段により取得された映像が表示される表示部２２とを備えている。各マスターアーム２１は、多軸動作可能な公知の構成を有し、術者Ｏｐに近い先端側に、術者が把持して操作指令を発する操作部としての把持部２１Ａを備えている。 The master input unit 2 includes a plurality of master arms 21 operated by the surgeon Op, and a display unit 22 on which an image acquired by the above observation means is displayed. Each master arm 21 has a known configuration capable of multi-axis operation, and includes a grasping portion 21A as an operation portion that is grasped by the operator and issues an operation command on the distal end side close to the operator Op.

表示部２２は、映像が表示されるディスプレイ２３と、ディスプレイ２３に取り付けられ、術者の顔の向きを検出する検出部（映像選択手段）２４とを有する。
ディスプレイ２３は、第一画面２５と第二画面２６との二つの画面を有している。第一画面２５には、観察手段により取得された術野の映像が表示され、第二画面２６には、当該映像を所定の回転角（例えば９０度）回転させた術野の映像（以下、「回転術野像」と称する。）が表示される。本実施形態では、各画面２５、２６には、視差に相当するずれを有する２つの映像が投影され、術者Ｏｐが偏光機構やシャッター機構等を備えた公知の３Ｄメガネ１０１を通して見ることで、各画面の映像を立体的に見ることができる。 The display unit 22 includes a display 23 on which an image is displayed, and a detection unit (image selection means) 24 that is attached to the display 23 and detects the orientation of the operator's face.
The display 23 has two screens, a first screen 25 and a second screen 26. The first screen 25 displays an image of the operative field acquired by the observation means, and the second screen 26 displays an image of the operative field obtained by rotating the image by a predetermined rotation angle (for example, 90 degrees) "Rotational field image") is displayed. In the present embodiment, two images having a shift corresponding to parallax are projected on each of the screens 25 and 26, and the operator Op sees through the known 3D glasses 101 having a polarization mechanism, a shutter mechanism, and the like. The images on each screen can be viewed in three dimensions.

検出部２４は、第一画面２５の上方に設けられた第一検出部２４Ａと、第二画面の上方に設けられた第二検出部２４Ｂとを有する。各検出部２４Ａ、２４Ｂは受光素子を備えており、３Ｄメガネ１０１に取り付けられた発光部１０２から発せられる光を受けることにより、術者Ｏｐの顔の向きを検出する。
なお、検出部の構成はこれに限定されず、公知の各種機構を適宜選択して採用することができ、検出原理として受発光を用いないものであってもよい。例えば、術者の顔や眼球の画像を取得し、当該画像から視線の向きを検出するようなものでもよい。 The detection unit 24 includes a first detection unit 24A provided above the first screen 25 and a second detection unit 24B provided above the second screen. Each of the detection units 24A and 24B includes a light receiving element, and detects the direction of the face of the operator Op by receiving light emitted from the light emitting unit 102 attached to the 3D glasses 101.
Note that the configuration of the detection unit is not limited to this, and various known mechanisms can be appropriately selected and employed, and light reception / emission may not be used as a detection principle. For example, an image of the operator's face or eyeball may be acquired, and the direction of the line of sight may be detected from the image.

図２は、マスタスレーブマニピュレータ１の機能ブロック図である。観察手段３２と表示部２２との間には、画像処理部５０が設けられている。画像処理部５０は、公知の処理回路または処理プログラムであり、観察手段３２から送信された映像信号は画像処理部５０で映像表示可能な状態に処理される。処理された信号は、第一の変換処理Ｐｒ１を経て表示部２２の第一画面２５に表示されるとともに、第二の変換処理Ｐｒ２を経て第二画面２６に表示される。本実施形態では、第一画面２５には観察手段３２の取得した映像がそのまま表示され、第二画面２６には取得した映像が右回りに９０度回転されて表示される。すなわち、第二の変換処理Ｐｒ２は、右回りに９０度回転する処理であり、第一の変換処理Ｐｒ１は、「無変換」という変換処理である。本発明においては、「無変換」も変換処理の一つであると定義する。
なお、画像処理により回転処理を行った切替画像は、切替後も操作者が視認できる３Ｄ表示を維持する。たとえば、３Ｄ表示では両目の視差に対応した２画像を同一画面上に表示するが、画像処理時の回転量に応じて両目視差を考慮して３Ｄ表示を維持するように２画像を再変換して、表示部２２に表示する。 FIG. 2 is a functional block diagram of the master / slave manipulator 1. An image processing unit 50 is provided between the observation unit 32 and the display unit 22. The image processing unit 50 is a known processing circuit or processing program, and the video signal transmitted from the observation unit 32 is processed by the image processing unit 50 so that the video can be displayed. The processed signal is displayed on the first screen 25 of the display unit 22 through the first conversion process Pr1, and is displayed on the second screen 26 through the second conversion process Pr2. In the present embodiment, the video acquired by the observation means 32 is displayed as it is on the first screen 25, and the acquired video is rotated 90 degrees clockwise and displayed on the second screen 26. That is, the second conversion process Pr2 is a process that rotates 90 degrees clockwise, and the first conversion process Pr1 is a conversion process of “no conversion”. In the present invention, “no conversion” is defined as one of the conversion processes.
Note that the switching image that has been subjected to the rotation processing by the image processing maintains the 3D display that the operator can visually recognize even after switching. For example, in 3D display, two images corresponding to the parallax of both eyes are displayed on the same screen, but the two images are reconverted so as to maintain the 3D display in consideration of the binocular parallax according to the rotation amount during image processing. Is displayed on the display unit 22.

検出部２４とマスタ制御部４１との間には判定部５５が設けられている。判定部５５は、検出部２４から送信される情報に基づいて、術者Ｏｐの顔がディスプレイ２２の各画面２５、２６のいずれに向いているか、あるいはいずれにも向いていないかを判定し、判定結果をマスタ制御部４１に送信する。 A determination unit 55 is provided between the detection unit 24 and the master control unit 41. Based on the information transmitted from the detection unit 24, the determination unit 55 determines whether the face of the operator Op is facing each of the screens 25 and 26 of the display 22, or is not facing either, The determination result is transmitted to the master control unit 41.

上記のように構成されたマスタスレーブマニピュレータ１の動作について説明する。
図３は、マスタスレーブマニピュレータ１の動作の流れを示すフローチャートである。
まずステップＳ１０において、術者Ｏｐは、第二画面２６に表示される回転術野像の回転角度θ（例えば右回りに９０度）を、マスタ入力部の図示しないインターフェイスを介して画像処理部５０に入力し、第二画面に表示される映像を生成するための変換角度θを設定する。 The operation of the master-slave manipulator 1 configured as described above will be described.
FIG. 3 is a flowchart showing an operation flow of the master / slave manipulator 1.
First, in step S10, the operator Op determines the rotation angle θ (for example, 90 degrees clockwise) of the rotational field image displayed on the second screen 26 via the interface (not shown) of the master input unit. And a conversion angle θ for generating a video to be displayed on the second screen is set.

観察手段３２から映像信号が送られてくると、ステップＳ２０において、画像処理部５０は、当該映像信号に対して第一の画像処理Ｐｒ１を行ってから第一画面２５に表示する。さらに、並行して同一の映像信号に第二の画像処理Ｐｒ２を行ってから第二画面２６に表示する。これにより、第一画面２５には、観察手段３２の取得した映像がそのまま表示され、第二画面２５には、観察手段３２の取得した映像が回転角度θだけ回転された映像が表示されて、表示部２２に映像が表示される。画像処理部５０による上記処理および映像の表示は、観察手段３２から映像信号が送信される間継続される。 When the video signal is sent from the observation means 32, the image processing unit 50 performs the first image processing Pr1 on the video signal and displays it on the first screen 25 in step S20. Further, the second image processing Pr2 is performed on the same video signal in parallel, and then displayed on the second screen 26. Thereby, the image acquired by the observation unit 32 is displayed as it is on the first screen 25, and the image obtained by rotating the image acquired by the observation unit 32 by the rotation angle θ is displayed on the second screen 25. An image is displayed on the display unit 22. The processing and the video display by the image processing unit 50 are continued while the video signal is transmitted from the observation unit 32.

マスタスレーブマニピュレータ１の動作中、判定部５５は、検出部２４から受信した情報に基づき、術者の顔が表示部２２のいずれの画面に向いているか、あるいはいずれにも向いていないかを繰り返し判定する。 During the operation of the master-slave manipulator 1, the determination unit 55 repeatedly determines whether the operator's face is facing the screen of the display unit 22 or is not facing based on the information received from the detection unit 24. judge.

図４は、判定部５５の判定ルーチンを示すフローチャートである。ステップＳ１０１では、第一検出部２４Ａから送信された情報に基づき、術者の顔が第一画面２５に向かっているか否かが判定される。ステップＳ１０１における判定がＹｅｓであれば、判定部５５は、術者が第一画面２５に向かっている、すなわち第一画面２５に表示された映像を選択していると判定して処理を終了し、ＮｏであればステップＳ１０２に進む。 FIG. 4 is a flowchart showing a determination routine of the determination unit 55. In step S101, it is determined whether or not the operator's face is facing the first screen 25 based on the information transmitted from the first detection unit 24A. If the determination in step S101 is Yes, the determination unit 55 determines that the surgeon is moving toward the first screen 25, that is, selects the video displayed on the first screen 25, and ends the process. If No, the process proceeds to step S102.

ステップＳ１０２では、第二検出部２４Ｂから送信された情報に基づき、術者が第二画面２６に向かっているか否かが判定される。判定部５５は、ステップＳ１０２における判定がＹｅｓであれば、術者の顔が第二画面２６に向かっている、すなわち第二画面２６に表示された映像を選択していると判定して処理を終了する。ステップＳ１０２における判定がＮｏであれば、術者は第一画面２５および第二画面２６のいずれにも向かっていないと判定して処理を終了する。 In step S 102, it is determined whether or not the surgeon is facing the second screen 26 based on the information transmitted from the second detection unit 24 B. If the determination in step S102 is Yes, the determination unit 55 determines that the operator's face is facing the second screen 26, that is, selects the video displayed on the second screen 26, and performs processing. finish. If the determination in step S102 is No, it is determined that the surgeon is not facing either the first screen 25 or the second screen 26, and the process ends.

また、判定部５５は、術者が第一画面２５および第二画面２６のいずれかに向かっていると判定したときは、その情報を画像処理部５０に送信する。当該情報を受信した画像処理部５０は、術者が向かっていると判定された画面にマーカー１０３（図１参照）を表示し、術者の認識を補助する。ここで、マーカーは画面表示に限らず、画面上部にＬＥＤのような発光指示器を設置し、点灯により術者の認識を補助してもよい。 Further, when the determination unit 55 determines that the surgeon is heading for either the first screen 25 or the second screen 26, the determination unit 55 transmits the information to the image processing unit 50. The image processing unit 50 that has received the information displays the marker 103 (see FIG. 1) on the screen determined that the operator is facing, and assists the operator in recognition. Here, the marker is not limited to the screen display, and a light emission indicator such as an LED may be installed at the top of the screen, and the operator's recognition may be assisted by lighting.

図３に戻って、術者がマスタ入力部２の把持部２１Ａに操作指令を行うと、ステップＳ３０において、入力を受けたマスタ制御部４１から、術者Ｏｐが向かっている画面について判定部５５に照会が行われ、その時点における判定部５５の判定内容に基づき判定部５５からマスタ制御部４１に情報が送信される。このとき、判定部５５からは、上述の判定ルーチンに基づく判定内容と、当該判定内容と関連付けられたマスタ制御部４１による操作指令の変換処理内容とを含む情報が送信される。 Returning to FIG. 3, when the surgeon issues an operation command to the grasping portion 21 A of the master input unit 2, in step S 30, the determination unit 55 determines the screen on which the surgeon Op is facing from the master control unit 41 that has received the input. The information is transmitted from the determination unit 55 to the master control unit 41 based on the determination content of the determination unit 55 at that time. At this time, the determination unit 55 transmits information including the determination content based on the above-described determination routine and the operation command conversion processing content by the master control unit 41 associated with the determination content.

続くステップＳ３１では、術者が第一画面２５および第二画面２６のいずれかに向かっているか否かが、判定部５５から送信された情報に基づき検証される。判定がＹｅｓの場合、処理はステップＳ４０に進む。判定がＮｏの場合は、処理はステップＳ３２に進む。
ステップＳ３２では、術者が第一画面２５および第二画面２６のいずれにも向かっていないことを示す情報が判定部５５から画像処理部５０に送信され、術者Ｏｐへの注意喚起処理が行われる。例えば、表示部２２に「画面に顔を向けてください」、「３Ｄメガネを装着してください」等の情報が表示される。併せてこのときに、マスタ入力部２からの操作指令に対して、スレーブマニピュレータ３の動作を停止させてもよい。 In subsequent step S 31, it is verified based on the information transmitted from the determination unit 55 whether or not the surgeon is heading to either the first screen 25 or the second screen 26. If the determination is Yes, the process proceeds to step S40. If the determination is No, the process proceeds to step S32.
In step S32, information indicating that the surgeon is not directed to either the first screen 25 or the second screen 26 is transmitted from the determination unit 55 to the image processing unit 50, and a warning process for the surgeon Op is performed. Is called. For example, information such as “Please turn your face to the screen” and “Please wear 3D glasses” is displayed on the display unit 22. At this time, the operation of the slave manipulator 3 may be stopped in response to the operation command from the master input unit 2.

ステップＳ４０では、マスタ制御部４１の設定の切り替えが必要か否かが判定される。例えば、マスタ制御部４１が第一画面２５に対応した操作指令の変換処理をしているときに、「術者Ｏｐが第二画面２６に向かっている」という情報が判定部５５から送信されてきた場合は、マスタ制御部４１の設定切り替えが必要であるため、判定結果はＹｅｓとなり、処理はステップＳ４１に進む。 In step S40, it is determined whether or not the setting of the master control unit 41 needs to be switched. For example, when the master control unit 41 is performing an operation command conversion process corresponding to the first screen 25, information that “the operator Op is heading for the second screen 26” is transmitted from the determination unit 55. In such a case, since it is necessary to switch the setting of the master control unit 41, the determination result is Yes, and the process proceeds to step S41.

ステップＳ４１において、マスタ制御部４１は、判定部５５から受信した情報にもとづき、マスタ入力部２の把持部２１Ａの位置および姿勢と、第二画面２６に表示された映像における処置用スレーブアーム３１の先端部の位置および姿勢とを整合させるためのイニシャライズを行う。マスタ制御部４１は、把持部２１Ａの位置および姿勢と、第二画面２６内における処置用スレーブアーム３１先端部の位置および姿勢との差分を算出し、当該差分がゼロとなるようにマスタ入力部２の駆動部を動作させ、把持部２１Ａのイニシャライズを行う。このとき、表示部２２に「イニシャライズ中です。把持部から手を離してください」等のメッセージを表示して、術者に注意を喚起してもよい。
なお、マスターアームおよびスレーブアームの「位置」とは、マスターアームおよびスレーブアームの所定部位（例えば把持部２１Ａと処置具先端部など）の、ＸＹＺの座標系で表される三次元位置であり、「姿勢」とは、当該所定部位を基点とした先端の向きを意味する。また、マスタスレーブマニピュレータにおける位置・姿勢合わせは公知の技術であり、その具体的方法は上記に限られない。 In step S41, based on the information received from the determination unit 55, the master control unit 41 determines the position and orientation of the gripping unit 21A of the master input unit 2 and the treatment slave arm 31 in the video displayed on the second screen 26. Initialize to match the position and posture of the tip. The master control unit 41 calculates a difference between the position and posture of the gripping unit 21A and the position and posture of the distal end portion of the treatment slave arm 31 in the second screen 26, and the master input unit so that the difference becomes zero. 2 is operated to initialize the gripping portion 21A. At this time, a message such as “Initializing. Please release your hand from the gripping part” may be displayed on the display unit 22 to alert the surgeon.
The “position” of the master arm and the slave arm is a three-dimensional position represented by an XYZ coordinate system of a predetermined part of the master arm and the slave arm (for example, the gripping part 21A and the distal end of the treatment instrument). “Position” means the direction of the tip with the predetermined portion as a base point. Position / posture alignment in the master-slave manipulator is a known technique, and the specific method is not limited to the above.

続くステップＳ４２では、マスタ制御部４１における操作指令の変換処理内容が、判定部５５からの情報により更新される。これにより、把持部２１Ａの動作方向と、術者Ｏｐが選択した映像における処置用スレーブアーム３１先端部の動作方向とが一致するようにマスタ制御部４１が操作指令を変換する。変換処理内容の更新後、ステップＳ４３において、マスタ制御部４１が操作指令に対し、術者Ｏｐが選択した画面と関連付けられた変換処理を行ってマニピュレータ制御部４２に動作信号を送信し、処理を終了する。 In subsequent step S 42, the operation command conversion processing content in the master control unit 41 is updated with information from the determination unit 55. Thereby, the master control unit 41 converts the operation command so that the operation direction of the grasping unit 21A matches the operation direction of the distal end portion of the treatment slave arm 31 in the image selected by the operator Op. After the conversion processing content is updated, in step S43, the master control unit 41 performs a conversion process associated with the screen selected by the operator Op in response to the operation command, transmits an operation signal to the manipulator control unit 42, and performs the processing. finish.

判定部５５の情報とマスタ制御部４１の設定とが合致する場合、判定結果はＮｏとなり、処理はステップＳ４４に進む。ステップＳ４４では、マスタ制御部４１がその時点の設定で操作指令の変換処理を行ってマニピュレータ制御部４２に動作信号を送信し、処理を終了する。 When the information of the determination unit 55 matches the setting of the master control unit 41, the determination result is No, and the process proceeds to step S44. In step S44, the master control unit 41 performs an operation command conversion process with the setting at that time, transmits an operation signal to the manipulator control unit 42, and ends the process.

本実施形態のマスタスレーブマニピュレータ１によれば、術者Ｏｐの顔が表示部２２の画面２５、２６のいずれに向かっているかが検出部２４の情報に基づいて判定部５５により判定される。そして、当該判定結果に基づいて、術者Ｏｐの選択した映像における処置用スレーブアーム３１先端部の移動方向と把持部２１Ａの移動方向とが同一となるように、マスタ制御部４１が操作指令に対して選択した映像と関連付けられた変換処理を行うよう変換処理内容が更新される。したがって、術者は、行おうとする手技や操作により適した画面に向かうだけで、マスタ制御部の変換処理内容が自動的に調節され、当該画面を見ながら把持部を直感的に操作して、スレーブマニピュレータを直感的にストレスなく操作することができる。 According to the master-slave manipulator 1 of the present embodiment, the determination unit 55 determines whether the face of the operator Op is facing the screen 25 or 26 of the display unit 22 based on information of the detection unit 24. Then, based on the determination result, the master control unit 41 outputs an operation command so that the moving direction of the distal end portion of the treatment slave arm 31 and the moving direction of the grasping portion 21A in the video selected by the operator Op are the same. The content of the conversion process is updated so that the conversion process associated with the selected video is performed. Therefore, the surgeon simply adjusts the conversion processing content of the master control unit by simply going to a screen that is more suitable for the procedure and operation to be performed, and intuitively operates the gripping unit while viewing the screen, The slave manipulator can be operated intuitively without stress.

また、マスタ制御部４１の変換処理内容が更新される際に、把持部２１Ａの位置および姿勢のイニシャライズが行われるため、把持部２１Ａの動作方向だけでなく、位置・姿勢関係も自動的に処置用スレーブアーム３１先端部と整合される。したがって、より直感的に操作を行うことができる。 In addition, since the position and orientation of the gripper 21A are initialized when the conversion processing content of the master control unit 41 is updated, not only the operation direction of the gripper 21A but also the position / posture relationship is automatically treated. Aligned with the tip of the slave arm 31 for use. Therefore, the operation can be performed more intuitively.

さらに、第二画面２６に表示された回転術野像は、観察手段３２が取得した映像を画像処理することにより生成されているため、術者Ｏｐが異なる視点で手技を行うために観察手段３２を駆動する必要がない。したがって、術野の視点切り替えをすぐに行うことができ、一連の手技をスムーズに行うことができる。また、観察手段の駆動による他のスレーブアームとの干渉の問題を無くすことができるため、手技の安全性が向上する。 Furthermore, since the rotational field image displayed on the second screen 26 is generated by image processing of the video acquired by the observation unit 32, the observation unit 32 allows the surgeon Op to perform a procedure from different viewpoints. There is no need to drive. Therefore, the viewpoint of the operative field can be switched immediately, and a series of procedures can be performed smoothly. Further, since the problem of interference with other slave arms due to driving of the observation means can be eliminated, the safety of the procedure is improved.

さらに、第一画面２５と第二画面２６とは、並べて表示されているため、術者Ｏｐは一方の画面を見て手技を行いながら、周辺視野で大まかに他方の画面を視認することができる。したがって、確認した他方の画面の方が手技をしやすいマニピュレータ配置になっている等の判断を手技中に行い、必要に応じて他方の画面に向かえば、手技に用いる画面をスムーズに切り替えて、切り替え後の座標ずれを気にすることなく直感的に手技を継続することができる。 Furthermore, since the first screen 25 and the second screen 26 are displayed side by side, the surgeon Op can visually see the other screen in the peripheral visual field while performing the procedure while looking at the one screen. . Therefore, if the other screen that has been confirmed is a manipulator arrangement that makes it easier to perform the procedure during the procedure, and if you go to the other screen as necessary, you can smoothly switch the screen used for the procedure, The procedure can be continued intuitively without worrying about coordinate shift after switching.

本実施形態では、マスタ制御部４１がマスタ入力部２を駆動してイニシャライズを行う例を説明したが、これに代えて、イニシャライズを術者がマニュアル操作で行えるように構成してもよい。例えば、マスタ入力部に駆動部を設けず、マスタ入力部からマスタ制御部への操作指令送信のオンオフを切り替えるフットスイッチを設ける。そして、フットスイッチを押してから術者が初期位置としたい所望の位置に把持部を動かし、再度フットスイッチを押すことでイニシャライズが完了する構成としてもよい。この場合、把持部の位置および姿勢とスレーブアーム先端部の位置および姿勢とが完全に整合しない場合があるが、術者の設定した初期位置を尊重し、当該初期位置からの移動量の差分値に基づきスレーブアームが操作されるため、術者が最も操作しやすい設定で、直感的に操作を行うことができる。 In the present embodiment, an example has been described in which the master control unit 41 drives the master input unit 2 to perform initialization, but instead, it may be configured such that the operator can perform initialization manually. For example, a drive unit is not provided in the master input unit, but a foot switch that switches on / off operation command transmission from the master input unit to the master control unit is provided. Then, after the foot switch is pressed, the operator may move the grasping portion to a desired position to be set as the initial position and press the foot switch again to complete the initialization. In this case, the position and posture of the gripping part and the position and posture of the slave arm tip may not be completely matched, but the initial position set by the operator is respected, and the difference value of the movement amount from the initial position Since the slave arm is operated based on this, the operation can be performed intuitively with the setting that is most easily operated by the surgeon.

本発明の第二実施形態について、図５および図６を参照して説明する。本実施形態のマスタスレーブマニピュレータ６１と上述のマスタスレーブマニピュレータ１との異なるところは、注視する画面が切り替わる際に、マスターアームとスレーブアームとの対応関係が切り替わる点である。なお、以降の説明において、既に説明したものと共通する構成については、同一の符号を付して重複する説明を省略する。 A second embodiment of the present invention will be described with reference to FIGS. The difference between the master-slave manipulator 61 of the present embodiment and the above-described master-slave manipulator 1 is that the correspondence relationship between the master arm and the slave arm is switched when the screen to be watched is switched. In the following description, components that are the same as those already described are assigned the same reference numerals and redundant description is omitted.

図５は、マスタスレーブマニピュレータ６１のマスタ入力部２を示す図である。ディスプレイ２３に示されているように、スレーブマニピュレータ３には、処置用スレーブアームが、６２Ａ、６２Ｂ、６２Ｃの３本設けられている。第一画面２５上では、スレーブアーム６２Ａおよび６２Ｂが術者Ｏｐにとって直感的に操作しやすい位置にあり、右回りに９０度回転した第二画面２６上ではスレーブアーム６２Ｂおよび６２Ｃが術者Ｏｐにとって直感的に操作しやすい位置にある。マスタ入力部２には２本しかマスターアームがないため、この実施形態では、各画面において、直感的に操作しやすい２本の処置用スレーブアームとマスターアームとが関連付けられる。すなわち、各画面に表示される映像に応じて、マスターアームと処置用スレーブアームの対応関係が異なっている。 FIG. 5 is a diagram showing the master input unit 2 of the master / slave manipulator 61. As shown in the display 23, the slave manipulator 3 is provided with three treatment slave arms 62A, 62B, and 62C. On the first screen 25, the slave arms 62A and 62B are in a position that is easy to operate intuitively for the operator Op, and on the second screen 26 rotated 90 degrees clockwise, the slave arms 62B and 62C are for the operator Op. It is in a position that is easy to operate intuitively. Since the master input unit 2 has only two master arms, in this embodiment, two treatment slave arms and a master arm that are easy to operate intuitively are associated with each screen. That is, the correspondence relationship between the master arm and the treatment slave arm differs depending on the video displayed on each screen.

図６は、マスタスレーブマニピュレータ６１の動作の流れを示すフローチャートである。ステップＳ１１では、第一実施形態同様、第二画面を生成するための変換角度θが術者Ｏｐによって設定されるとともに、第一画面２５および第二画面２６のそれぞれで、マスターアーム２１により操作される２本の処置用スレーブアームが設定される。
その後、ステップＳ４１では、ステップＳ１１で設定された２本のスレーブアーム先端部とマスタ入力部の把持部２１Ａとの位置および姿勢が整合されるようにイニシャライズが行われ、続くステップＳ４２Ａにおいて、マスターアームとスレーブアームとの対応関係および操作指令の変換処理内容が更新される。
それ以外の点は、第一実施形態と概ね同様である。 FIG. 6 is a flowchart showing an operation flow of the master / slave manipulator 61. In step S11, as in the first embodiment, the conversion angle θ for generating the second screen is set by the operator Op, and is operated by the master arm 21 on each of the first screen 25 and the second screen 26. Two treatment slave arms are set.
Thereafter, in step S41, initialization is performed so that the positions and postures of the two slave arm tip portions set in step S11 and the gripping portion 21A of the master input unit are aligned, and in step S42A, the master arm And the correspondence between the slave arm and the operation command conversion process are updated.
Other points are substantially the same as in the first embodiment.

本実施形態のマスタスレーブマニピュレータ６１においても、術者は、行おうとする手技や操作により適した画面に向かうだけで、マスタ制御部の変換処理内容が自動的に更新され、当該画面を見ながらマスターアームを直感的に操作することによりスレーブアームをストレスなく操作することができる。
さらに、マスターアームとスレーブアームとの対応関係も自動的に更新されるため、各画面において、最適なスレーブアームを操作して手技を行うことができる。 Even in the master-slave manipulator 61 of the present embodiment, the operator simply goes to a screen that is more suitable for the technique or operation to be performed, and the conversion processing content of the master control unit is automatically updated, and the master while watching the screen. The slave arm can be operated without stress by intuitively operating the arm.
Furthermore, since the correspondence relationship between the master arm and the slave arm is also automatically updated, the procedure can be performed by operating the optimum slave arm on each screen.

本実施形態では、処置用スレーブアームが３本の例を説明したが、処置用スレーブアームが２本であっても、４本以上であってもよい。また、ステップＳ１１で変換角度θと各画面で操作するスレーブアームを設定するのに代えて、マスタ制御部等が観察手段および各処置用スレーブアームの位置関係に基づき、第一画面と異なる組み合わせの２本のスレーブアームが操作しやすくなる回転角度を自動的に算出し、変換角度θを決定するように構成してもよい。このとき、観察手段および各処置用スレーブアームの位置関係は、観察手段の取得した映像から算出されてもよいし、スレーブアームのエンコーダの値等に基づく位置情報から算出されてもよい。
また、はじめのステップＳ１１で決められた変換角度θから、観察手段とスレーブアームの位置関係情報をもとに、最適なスレーブアームとマスターアームとの対応関係を自動的に算出してもよい。この場合も、上記と同様に、観察手段と各スレーブアームとの位置関係は、観察手段の取得した映像から算出されてもよいし、スレーブアームのエンコーダの値等に基づく位置情報から算出されてもよい。
別の方法として、スレーブアームとマスターアームとの対応関係は、ステップＳ４０の後に操作者が選択できるようにしてもよい。選択方法は、インターフェイス等の入力スイッチなどにより行うことができる。 In the present embodiment, an example in which there are three treatment slave arms has been described, but there may be two treatment slave arms or four or more treatment slave arms. Further, instead of setting the conversion angle θ and the slave arm operated on each screen in step S11, the master control unit or the like has a combination different from the first screen based on the positional relationship between the observation means and each treatment slave arm. The rotation angle at which the two slave arms can be easily operated may be automatically calculated to determine the conversion angle θ. At this time, the positional relationship between the observation means and each treatment slave arm may be calculated from an image acquired by the observation means, or may be calculated from position information based on the value of the encoder of the slave arm.
Alternatively, the optimum correspondence between the slave arm and the master arm may be automatically calculated based on the positional relationship information between the observation means and the slave arm from the conversion angle θ determined in the first step S11. Also in this case, as described above, the positional relationship between the observation unit and each slave arm may be calculated from the video acquired by the observation unit, or may be calculated from the position information based on the value of the encoder of the slave arm. Also good.
As another method, the correspondence between the slave arm and the master arm may be selected by the operator after step S40. The selection method can be performed by an input switch such as an interface.

本発明の第三実施形態について、図７から図９を参照して説明する。本実施形態のマスタスレーブマニピュレータ７１と上述のマスタスレーブマニピュレータ１との異なるところは、スレーブマニピュレータを複数備え、注視する画面が切り替わる際に、マスターアームとスレーブマニピュレータとの対応関係が切り替わる点である。 A third embodiment of the present invention will be described with reference to FIGS. The difference between the master-slave manipulator 71 of the present embodiment and the above-described master-slave manipulator 1 is that a plurality of slave manipulators are provided, and the correspondence relationship between the master arm and the slave manipulator is switched when the screen to be watched is switched.

図７は、マスタスレーブマニピュレータ７１の全体構成を示す図である。マスタスレーブマニピュレータ７１は、符号３Ａおよび３Ｂで示す２台のスレーブマニピュレータを備えており、２名の患者Ｐ１およびＰ２に対する手技を並行して行うことが可能になっている。なお、患者は２名とは限らず、１名の患者の異なる患部に２台のスレーブマニピュレータを配置することもできる。 FIG. 7 is a diagram showing an overall configuration of the master / slave manipulator 71. The master-slave manipulator 71 includes two slave manipulators indicated by reference numerals 3A and 3B, and can perform procedures on two patients P1 and P2 in parallel. Note that the number of patients is not limited to two, and two slave manipulators can be arranged in different affected areas of one patient.

図８は、マスタスレーブマニピュレータ７１の機能ブロック図である。各スレーブマニピュレータ３Ａ、３Ｂは、それぞれ観察手段３２Ａ、３２Ｂを有している。第一画面２５には、観察手段３２Ａの取得した映像が表示され、第二画面２６には、観察手段３２Ｂの取得した映像が表示される。
マニピュレータ制御部４２とスレーブマニピュレータ３Ａ、３Ｂとの間には切替部７２が設けられており、マニピュレータ制御部４２とスレーブマニピュレータ３Ａ、３Ｂの一方とが選択的に接続され、接続されたスレーブマニピュレータにマニピュレータ制御部からの操作信号が送信される。 FIG. 8 is a functional block diagram of the master / slave manipulator 71. Each slave manipulator 3A, 3B has observation means 32A, 32B, respectively. The video acquired by the observation unit 32A is displayed on the first screen 25, and the video acquired by the observation unit 32B is displayed on the second screen 26.
A switching unit 72 is provided between the manipulator control unit 42 and the slave manipulators 3A and 3B, and the manipulator control unit 42 and one of the slave manipulators 3A and 3B are selectively connected to each other. An operation signal is transmitted from the manipulator control unit.

図９は、マスタスレーブマニピュレータ７１の動作の流れを示すフローチャートである。マスタスレーブマニピュレータ７１においては、回転角度θを設定するステップは行われない。観察手段３２Ａ、３２Ｂがそれぞれ患者の体内で手技を行う部位に到達すると、ステップＳ２０において第一画面２５および第二画面２６に各観察手段の取得した映像が表示される。 FIG. 9 is a flowchart showing an operation flow of the master / slave manipulator 71. In the master / slave manipulator 71, the step of setting the rotation angle θ is not performed. When the observation means 32A and 32B reach the site where the procedure is performed in the patient's body, the images acquired by the observation means are displayed on the first screen 25 and the second screen 26 in step S20.

ステップＳ４０の判定がＹｅｓの場合、ステップＳ４００において、マスタ制御部４１は、切替部７２に指令を送り、現在接続されていないスレーブマニピュレータとマニピュレータ制御部４２とを接続するように接続を切り替えさせる。その後ステップＳ４１のイニシャライズが行われる。
それ以外の点は、第一実施形態と概ね同様である。 When the determination in step S40 is Yes, in step S400, the master control unit 41 sends a command to the switching unit 72 to switch the connection so that the slave manipulator that is not currently connected and the manipulator control unit 42 are connected. Thereafter, initialization in step S41 is performed.
Other points are substantially the same as in the first embodiment.

本実施形態のマスタスレーブマニピュレータ７１においても、術者Ｏｐは、行おうとする手技や操作により適した画面に向かうだけで、マスタ制御部の変換処理内容が自動的に更新され、当該画面を見ながらマスターアームを直感的に操作することにより、切り替えられたスレーブマニピュレータのスレーブアームをストレスなく操作することができる。
また、スレーブマニピュレータを複数備えることにより、複数の患者あるいは患部に対して好適に手技を行うことができる。
本実施形態において、スレーブマニピュレータを３つ以上備えることももちろん可能である。
第一実施形態および第三実施形態の説明から明らかなように、本発明において、「被写体の複数の異なる映像」とは、被写体が一つである場合と、被写体が複数ある場合の両方が含まれる概念である。 Also in the master slave manipulator 71 of the present embodiment, the operator Op simply goes to a screen that is more suitable for the technique or operation to be performed, and the conversion processing content of the master control unit is automatically updated, while viewing the screen. By operating the master arm intuitively, the slave arm of the switched slave manipulator can be operated without stress.
Further, by providing a plurality of slave manipulators, it is possible to suitably perform a procedure on a plurality of patients or affected areas.
In this embodiment, it is of course possible to provide three or more slave manipulators.
As is clear from the description of the first embodiment and the third embodiment, in the present invention, “a plurality of different images of a subject” includes both a case where there is one subject and a case where there are a plurality of subjects. It is a concept.

本発明の第四実施形態について、図１０および図１１を参照して説明する。本実施形態のマスタスレーブマニピュレータ８１と上述のマスタスレーブマニピュレータ１との異なるところは、スレーブマニピュレータが観察手段を複数備える点である。 A fourth embodiment of the present invention will be described with reference to FIGS. 10 and 11. The difference between the master slave manipulator 81 of the present embodiment and the master slave manipulator 1 described above is that the slave manipulator includes a plurality of observation means.

図１０は、マスタスレーブマニピュレータ８１のマスタ入力部２を示す図であり、図１１は、マスタスレーブマニピュレータ７１の機能ブロック図である。スレーブマニピュレータ８２は、３本の処置用スレーブアーム８２Ａ、８２Ｂ、および８２Ｃを有し、第一画面２５および第二画面２６には、第二実施形態と同様の映像が表示されている。
ただし、スレーブマニピュレータは、第一内視鏡８３および第二内視鏡８４の二つの観察手段を備えており、第一画面２５には第一内視鏡８３により取得された映像が、第二画面２６には第二内視鏡８４により取得された映像が表示されている。したがって、第二画面２６に表示された映像は、第一画面の映像を画像処理したものではない。 FIG. 10 is a diagram showing the master input unit 2 of the master / slave manipulator 81, and FIG. 11 is a functional block diagram of the master / slave manipulator 71. The slave manipulator 82 has three treatment slave arms 82A, 82B, and 82C. On the first screen 25 and the second screen 26, images similar to those in the second embodiment are displayed.
However, the slave manipulator includes two observation means, that is, a first endoscope 83 and a second endoscope 84, and an image acquired by the first endoscope 83 is displayed on the first screen 25. On the screen 26, an image acquired by the second endoscope 84 is displayed. Therefore, the video displayed on the second screen 26 is not an image processed image of the first screen.

図１２は、マスタスレーブマニピュレータ８１の動作の流れを示すフローチャートである。マスタスレーブマニピュレータ８１においては、ステップＳ１１Ａにおいて、回転角度θは設定されず、第一画面２５および第二画面２６のそれぞれで、マスターアームにより操作される２本のスレーブアームのみが設定される。ステップＳ４２Ａにおける変換処理内容は、第一内視鏡８３と第二内視鏡８４との位置関係等に基づき、自動算出される。
それ以外の点は、第二実施形態と概ね同様である。 FIG. 12 is a flowchart showing an operation flow of the master / slave manipulator 81. In the master-slave manipulator 81, the rotation angle θ is not set in step S11A, and only two slave arms operated by the master arm are set on each of the first screen 25 and the second screen 26. The content of the conversion process in step S42A is automatically calculated based on the positional relationship between the first endoscope 83 and the second endoscope 84.
Other points are substantially the same as in the second embodiment.

本実施形態のマスタスレーブマニピュレータ８１においても、術者Ｏｐは、行おうとする手技や操作により適した画面に向かうだけで、マスタ制御部の変換処理内容が自動的に更新され、当該画面を見ながらマスターアームを直感的に操作することによりスレーブアームをストレスなく操作することができる。 In the master-slave manipulator 81 of the present embodiment, the operator Op simply goes to a screen that is more suitable for the technique or operation to be performed, and the conversion processing content of the master control unit is automatically updated, while viewing the screen. By operating the master arm intuitively, the slave arm can be operated without stress.

また、第一内視鏡８３および第二内視鏡８４の２つの観察手段を有しているため、第二画面２６に回転術野像以外の様々な術野像を表示することができる。例えば、第一画面２５には手技を行う組織をある一方向からとらえた映像を表示し、第二画面には同組織を当該一方向と反対の方向からとらえた映像を表示することで、手技に用いる画面を切り替えながら、手技の各手順をより好適なアングル等で行うことができる。 In addition, since there are two observation means of the first endoscope 83 and the second endoscope 84, various surgical field images other than the rotational surgical field image can be displayed on the second screen 26. For example, the first screen 25 displays a video that captures the organization performing the procedure from one direction, and the second screen displays a video that captures the tissue from the opposite direction. Each procedure of the procedure can be performed with a more suitable angle or the like while switching the screen to be used.

上述の例では、処置用スレーブアームを３本としたが、本実施形態において、処置用スレーブアームの本数は、２本以下でも４本以上でもよく、本数に応じてステップＳ４２Ａにおけるマスターアームと処置用スレーブアームとの対応関係切替の有無を設定すればよい。また、上述の例では観察手段を２つ備える例を説明したが、これに代えて、観察部を複数備えた１つの観察手段を用い、各観察部の取得した映像が表示部に表示される構成としてもよい。また、観察手段の内視鏡は、同一の構造のものでなくてもよく、例えば一方が直視型、他方が側視型の内視鏡としてもよい。 In the above example, the number of treatment slave arms is three. However, in the present embodiment, the number of treatment slave arms may be two or less or four or more, and the master arm and the treatment in step S42A according to the number. What is necessary is just to set the presence or absence of the corresponding relationship switching with the slave arm. Moreover, although the example provided with two observation means was demonstrated in the above-mentioned example, it replaced with this, and the image | video acquired by each observation part is displayed on a display part using one observation means provided with multiple observation parts. It is good also as a structure. Further, the endoscopes of the observation means do not have to have the same structure. For example, one may be a direct view type and the other may be a side view type endoscope.

以上、本発明の各実施形態について説明したが、本発明の技術範囲は上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において、各構成要素に種々の変更を加えたり、削除したり、各実施形態の構成を組み合わせたりすることが可能である。 The embodiments of the present invention have been described above. However, the technical scope of the present invention is not limited to the above-described embodiments, and various modifications may be made to each component without departing from the spirit of the present invention. It is possible to delete or combine the configurations of the embodiments.

例えば、第二画面に表示する映像を第一画面の映像の画像処理により生成する場合、画像処理は上述の回転処理に限られない。一例を挙げると、図１３に示す変形例のように、第一画面２５の映像を拡大処理したものが第二画面２６に表示されてもよい。この場合、第一画面２５を見て手技を行う場合と第二画面２６を見て手技を行う場合とでは、マスターアームとスレーブアームとのモーションスケール比を異ならせることにより直感的な操作が可能となるため、変換処理内容の更新時に、モーションスケール比の変更を行うように構成すればよい。これにより、どちらの画面を見て手技を行っても、マスターアームの移動量とスレーブアームの移動量との関係が変化しないようにすることができる。このほか、拡大処理でなく、縮小処理を行ってもよい。
また、上述の各実施形態では、操作部としての把持部がマスターアームに連結された例を説明したが、操作部は、マスターアームの無い構成であってもよい。たとえば、操作部や操作者の手の位置・姿勢をカメラや位置センサなどのモーションセンサで取得する構成であってもよい。 For example, when the video to be displayed on the second screen is generated by image processing of the video on the first screen, the image processing is not limited to the rotation processing described above. As an example, an enlarged image of the first screen 25 may be displayed on the second screen 26 as in the modification shown in FIG. In this case, an intuitive operation is possible by changing the motion scale ratio between the master arm and the slave arm when performing the procedure while viewing the first screen 25 and when performing the procedure while viewing the second screen 26. Therefore, it may be configured to change the motion scale ratio when updating the conversion processing content. Thereby, it is possible to prevent the relationship between the movement amount of the master arm and the movement amount of the slave arm from being changed regardless of which screen is viewed. In addition, a reduction process may be performed instead of the enlargement process.
Further, in each of the above-described embodiments, the example in which the gripping unit as the operation unit is connected to the master arm has been described, but the operation unit may be configured without the master arm. For example, the configuration may be such that the position / posture of the hand of the operation unit or the operator is acquired by a motion sensor such as a camera or a position sensor.

また、上述の各実施例では、検出部により術者の顔がどちらの画面に向かっているかを検出し、当該画面に基づいてイニシャライズや変換処理内容の更新を行う例を説明したが、術者の位置や姿勢に基づきどちらの画面に向かっているかを検出するよう検出部を構成してもよい。さらには、術者が手技を行うために選択した映像が表示された画面をスイッチ等の入力手段により入力する構成でもよい。本発明のマスタスレーブマニピュレータでは、術者が選択した映像にもとづいて変換処理内容が自動的に更新されることが特徴であり、前者の場合は意図的にまたは無意識に、後者の場合は意図的に映像の選択が行われている。
入力手段は、フットスイッチに限られず、どこに設けられてもよい。 Further, in each of the above-described embodiments, the example in which the detection unit detects which screen the operator's face is facing and performs initialization and update of the conversion processing content based on the screen has been described. The detection unit may be configured to detect which screen the user is facing based on the position and orientation of the screen. Furthermore, a configuration in which a screen on which an image selected for performing a procedure by an operator is displayed may be input using an input unit such as a switch. The master-slave manipulator of the present invention is characterized in that the content of the conversion process is automatically updated based on the image selected by the surgeon. The former is intentionally or unconsciously, and the latter is intentional. The video is selected.
The input means is not limited to the foot switch, and may be provided anywhere.

また、本発明において、表示部の構成は、様々に変更することができる。例えば、一画面のディスプレイの画面を２つの表示領域にわけ、それぞれに第一画面および第二画面の機能を持たせてもよいし、ヘッドマウントディスプレイを用いてもよい。
さらに、画面を２以上設け、それぞれに異なる術野像を表示してももちろん構わない。 In the present invention, the configuration of the display unit can be variously changed. For example, the display screen of one screen may be divided into two display areas, each having functions of a first screen and a second screen, or a head mounted display may be used.
Furthermore, of course, two or more screens may be provided, and different operative field images may be displayed on each screen.

１、６１、７１、８１マスタスレーブマニピュレータ
２マスタ入力部
３、３Ａ、３Ｂスレーブマニピュレータ
４制御部
２１マスターアーム
２１Ａ把持部（操作部）
２２表示部
２４検出部（映像選択手段）
３１、６２Ａ、６２Ｂ、６２Ｃ、８２Ａ、８２Ｂ、８２Ｃスレーブアーム
８３第一内視鏡（観察手段）
８４第二内視鏡（観察手段）
Ｏｐ術者（操作者） 1, 61, 71, 81 Master slave manipulator 2 Master input unit 3, 3A, 3B Slave manipulator 4 Control unit 21 Master arm 21A Grasping unit (operation unit)
22 Display unit 24 Detection unit (Video selection means)
31, 62A, 62B, 62C, 82A, 82B, 82C Slave arm 83 First endoscope (observation means)
84 Second endoscope (observation means)
Op operator (operator)

Claims

A master input unit for issuing an operation command;
A slave manipulator operated by the master input unit;
A control unit for transmitting an operation signal to the slave manipulator based on the operation command;
A display for displaying a plurality of different images of the subject;
Video selection means for the operator to select one video among the plurality of videos,
With
The said control part performs the conversion process linked | related with the image | video selected by the said operator via the said image | video selection means with respect to the said operation command, The medical master slave manipulator characterized by the above-mentioned.

The medical master-slave manipulator according to claim 1, wherein the video selection unit includes a detection unit that detects the video in which the operator's face is facing.

The medical master-slave manipulator according to claim 1, wherein the video selection means includes an input means for inputting the video selected by the operator.

The medical master-slave manipulator according to any one of claims 1 to 3, wherein at least one of the plurality of images is generated by performing image processing on another image.

The medical master-slave manipulator according to claim 4, wherein at least one of the plurality of images is generated by rotating another image.

5. The master-slave manipulator according to claim 4, wherein at least one of the plurality of videos is generated by enlarging or reducing another video.

The medical master-slave manipulator according to any one of claims 1 to 3, wherein the plurality of images are acquired by a plurality of different observation units.

The master input unit has an operation unit,
The slave manipulator has slave arms, the number of which is larger than the number of the operation units, and in at least one of the conversion processes associated with the video, the correspondence relationship between the operation units and the slave arms is different. The medical master-slave manipulator according to claim 1, wherein the medical master-slave manipulator according to claim 1 is different from the conversion process.

The medical master-slave manipulator according to claim 7 or 8, comprising a plurality of the slave manipulators.