JP2007029232A - System for supporting endoscopic operation - Google Patents

System for supporting endoscopic operation Download PDF

Info

Publication number
JP2007029232A
JP2007029232A JP2005213873A JP2005213873A JP2007029232A JP 2007029232 A JP2007029232 A JP 2007029232A JP 2005213873 A JP2005213873 A JP 2005213873A JP 2005213873 A JP2005213873 A JP 2005213873A JP 2007029232 A JP2007029232 A JP 2007029232A
Authority
JP
Japan
Prior art keywords
image
manipulator
operation support
display
endoscopic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005213873A
Other languages
Japanese (ja)
Inventor
Hiroki Taniguchi
拡樹 谷口
Original Assignee
Hitachi Medical Corp
株式会社日立メディコ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Medical Corp, 株式会社日立メディコ filed Critical Hitachi Medical Corp
Priority to JP2005213873A priority Critical patent/JP2007029232A/en
Publication of JP2007029232A publication Critical patent/JP2007029232A/en
Application status is Pending legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To improve safety of an endoscopic operation by providing to an operator information regarding various levels of risks. <P>SOLUTION: This system for supporting an endoscopic operation displays a movable range of a manipulator in which an operator can operate a surgical instrument. The system comprises a position detection section 31 for calculating the positional relationship between a driving region of the manipulator and the object organ with which a part of the manipulator may come in contact, a processing section 321 for setting a warning level among various warning levels on the basis of an approaching or abutting condition corresponding to the calculated positional relationship, and a display section 322 for informing visually the set warning level to the operator. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、医用画像診断装置によって撮影された医用診断画像中の対象臓器と、その対象臓器と内視鏡及びマニピュレータの駆動領域を対応づけて表示し、内視鏡手術操作を安全に支援する技術に関するものである。 The present invention includes a target organ in a medical diagnostic image captured by a medical image diagnostic apparatus, and displays in association with the drive region of the target organ and the endoscope and a manipulator, securely support the endoscopic surgery operation it relates to technology.

外科手術は、従来の開腹によるもの、又は、従来の内視鏡手術によるものから、例えば、微細なマニュピレータを用いて鍛錬された医師が手術を行う内視鏡手術に移行しつつある。 Surgery, by traditional open, or from those of the conventional endoscopic surgery, for example, moving to endoscopic surgery physician is wrought with fine manipulator is performing surgery. この内視鏡手術は従来の執刀による開腹などを行わないで済むから低侵襲手術として期待されている。 The endoscopic surgery is expected to be a minimally invasive surgery because need not perform such laparotomy by conventional surgeon. また、マスタスレーブ方式を採用することにより医師が患者の居る場所に出向かなくても手術ができる遠隔医療としても期待されている。 Furthermore, it is also expected as telemedicine physician by adopting a master slave system can surgery without going to the place where the patient.

内視鏡手術では、医用画像診断装置(ここではMRI装置)を用いて患者の体内の状態を確認しながら行っている(例えば、特許文献1)。 In endoscopic surgery, the medical image diagnostic apparatus (here MRI apparatus) is performed while checking the body condition of a patient with (e.g., Patent Document 1).
特開2001-104333号公報 JP 2001-104333 JP

特許文献1では、医用診断画像中での手術器具の可動範囲の明示とその可動範囲外となったときの警告表示とについて言及されているが、単にマニピュレータの可動範囲を表示することに過ぎず、術者へ様々なレベルの危険度に対応する警告の情報を提供することや最終的にはマニピュレータを停止して安全を確保することについて言及されていない。 In Patent Document 1, it has been warning and mention of when it becomes explicit in the movable range of the surgical instrument in a medical diagnostic image and its movable range, merely displaying a movable range of the manipulator and it and finally to provide warning information corresponding to the risk of different levels to the operator does not refer to ensure safety by stopping the manipulator.

そこで、本発明の目的は、術者へ様々なレベルの危険度に対応する情報を提供することで内視鏡手術の安全性を向上することにある。 An object of the present invention is to improve the safety of endoscopic surgery by providing information corresponding to the risk of different levels to the operator.

上記目的を達成するため、本発明の内視鏡手術操作支援システムは、手術器具を操作可能なマニピュレータの可動範囲を表示する内視鏡手術操作支援システムにおいて、前記マニピュレータの駆動領域と前記マニピュレータの一部が接触する可能性のある対象臓器との位置関係を算出する位置算出手段と、前記算出された位置関係に応じた接近又は接触条件を数段階の警告レベルとして設定する警告レベル設定手段と、前記設定した警告レベルを術者へ報知する報知手段と、を備える。 To achieve the above object, the endoscopic surgical operation support system of the present invention, in endoscopic surgery operation support system for displaying moving range of operable manipulators surgical instruments, drive region of the manipulator and the manipulator position calculating means for calculating a positional relationship between the potential target organ part is in contact, the warning level setting means for setting the approach or contact condition corresponding to the calculated positional relationship as several stages warning level , and a notification means for notifying a warning level that the setting to the surgeon.

本発明によれば、内視鏡手術の安全性を向上することができる。 According to the present invention, it is possible to improve the safety of endoscopic surgery.

以下、本発明の実施の形態を添付図面に基づいて説明する。 It will be described below with reference to embodiments of the present invention in the accompanying drawings. なお、本発明の実施の形態を説明するための全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。 In all the drawings for explaining the embodiments of the present invention, parts having identical functions are given same symbols and their repeated explanation is omitted.

内視鏡外科手術システムは、図1において、医用画像診断装置1と、硬性内視鏡又は軟性内視鏡(以下、「内視鏡装置」と略記する)2と、医用画像診断装置1及び内視鏡装置2と信号伝達可能に接続される画像重畳装置3と、外科医側に設置されるマスタ装置4と、患者側に設置されるスレーブ装置5とを備える。 Endoscopic surgical system, in FIG. 1, a medical image diagnostic apparatus 1, a rigid endoscope or a flexible endoscope (hereinafter, abbreviated as "endoscopic device") and 2, the medical image diagnostic apparatus 1 and It includes an endoscope apparatus 2 and the signal image superimposing apparatus 3 that is communicably connected, the master device 4 to be installed to the surgeon side and slave device 5 installed in the patient side.

医用画像診断装置1は、例えばMRI装置やX線CT装置で、患者の外部から断層像などの患者内部の診断画像を取得する。 The medical image diagnostic apparatus 1, for example, the MRI apparatus or X-ray CT apparatus, and acquires a diagnostic image of an internal patient, such as a tomographic image from outside the patient. 内視鏡装置2は、患者に手術器具でもって空けた小さな穴などにプローブを挿入し、そのプローブが挿入された位置での患者内部の画像を取得する。 The endoscope apparatus 2 inserts a probe, such as a small hole drilled with at surgical instrument into the patient, to obtain the patient inside the image at the position where the probe has been inserted. 画像重畳装置3は内視鏡装置2からの内視鏡像と医用画像診断装置1からの医用診断画像を用いて手術対象の臓器抽出や重畳処理を行う。 Image superimposing apparatus 3 performs organ extraction and convolution surgery subject using medical diagnostic images from the endoscope image and the medical image diagnosis apparatus 1 from the endoscope apparatus 2. マスタ装置4は外科医が直接操作する。 The master device 4 surgeon manipulates directly. スレーブ装置5は術者の操作を反映して内視鏡及びマニピュレータを動作させる。 The slave device 5 operates the endoscope and a manipulator to reflect the operation of the operator.

まず、内視鏡外科手術システムの機能について図2を用いて説明する。 First, it will be described with reference to FIG. 2 the functions of the endoscopic surgical system.
この内視鏡外科手術システムは、術中ガイドイメージング技術の一つとして医用診断画像を内視鏡像に画像重畳することによって、術者の視覚情報をさらに強化して情報の質と量の増大(強化現実:オーグメンテッドリアリティ)を図る必要がある。 The endoscopic surgical system, by image superimposed on the endoscopic image of the medical diagnostic image as one of the intra-operative guide imaging technology, to further strengthen the visual information of the operator increase the quality and quantity of information (strengthening reality: Augmented reality) there is a need to achieve.

このため、画像重畳装置3は、位置検出装置31で、医用画像診断装置1(実施形態1ではMRI装置)の術中画像位置情報や、内視鏡装置2の内視鏡位置マニピュレータの位置情報を取得する。 Therefore, the image superimposing apparatus 3, the position detection device 31, and intraoperative image position information of the medical image diagnostic apparatus 1 (Embodiment 1 In an MRI apparatus), the position information of the endoscope position manipulator of the endoscope apparatus 2 get. ここで、位置検出装置31は、光学式・磁気式の位置検出装置、または医用診断画像上に表示される位置検出用マーカーから位置検出する。 Here, the position detecting device 31 is a position detection from the position detection marker displayed on the optical-magnetic position detecting apparatus, or on a medical diagnostic image. 画像処理部32は術中画像と内視鏡像を同時に取得し、取得された両画像間のスケール変換を行って位置合わせ(レジストレーション)を処理部321で行う。 The image processing unit 32 obtains the endoscopic image and the intra-operative images simultaneously performs alignment by performing the scale transformation between the two images acquired (the registration) in the processing unit 321. 前記両画像が等方性であれば、そのまま重畳し、表示部322で重畳表示する。 If the the two images isotropic, as it is superimposed, superimposed display on the display unit 322. 画像重畳装置3はまたシステム全体を制御するシステムコントローラの機能も有している。 Image superimposing apparatus 3 also has a function of a system controller for controlling the entire system.

本明細書で定義する「重畳」とは、すべての画素の位置が正確に一致していることを言い、要求に合わせて重ねて表示したり参照したりできる構造のことである。 The "superposing" as defined herein, refers to the position of all of the pixels match exactly, is that a structure can be used and or displayed superimposed in accordance with the request.
一方、前記両画像が異方性であれば、一方の画像に歪み補正処理を施し、両画像を等方性画像に変換するか、または歪みの等しい異方性画像に変換する。 Meanwhile, the both images if anisotropy performs distortion correction processing on one image, convert both images isotropic image, or is converted to equivalent anisotropic image distortion. 歪み補正方法として、ヒルベルト変換を用いた歪み補正方法や共線性の条件を用いた歪み補正方法を用いてもよいし、予め歪み量が解析された医用診断画像の場合、事前に算出した歪み量から歪み補正を行ってもよい。 As a distortion correction method may be used distortion correction method using the distortion correction method and collinearity conditions using a Hilbert transform, if the medical diagnostic images previously distortion amount is analyzed, the distortion amount calculated in advance distortion correction from may be carried out.

画像重畳装置3が行う前処理には、医用診断画像から、内視鏡が挿入される臓器や手術対象臓器、手術による損傷を回避したい血管や神経線維等を予めリージョングローイング法等で領域抽出する。 The pretreatment image superimposing apparatus 3 performs, from the medical diagnostic images, organs and surgery target organ endoscope is inserted, a region extracted in advance by region growing method or the like blood vessels and nerve fibers like want to avoid damage from surgery . 領域抽出されたデータはマスタスレーブ装置に転送され、後述のマニピュレータ駆動領域設定時に用いられる。 Data area extraction is transferred to the master slave device, used during the manipulator driving area setting described later.

マスタスレーブ装置は、一般的にユニラテラル制御方式とバイラテラル制御方式という2つの制御方式に分類することができる。 Master-slave device can generally be classified into two control schemes that unilateral control system and bilateral control system.

ユニラテラル制御方式はマスタ装置からスレーブ装置に指令を送るが、それ以降の対象物に対する動作はマスタ装置が関与せず、スレーブ装置のみがその作用を受ける。 Unilateral control system sends a command from the master device to the slave device, but operation for subsequent object master device not involved, only the slave device is subjected to its action. つまり、スレーブ装置の機械的作業情報がマスタ装置にフィードバックされない。 That is, mechanical work information of the slave device is not fed back to the master device.

バイラテラル制御方式はマスタ装置から指令を受けたスレーブ装置と対象物に対する動作はマスタ装置とスレーブ装置両方に作用する。 Bilateral control system operation for the slave device and the object which has received the command from the master device which acts on both the master and slave devices. 従って、スレーブ装置と対象物との接触等による触覚/力覚情報がマスタ装置を扱う術者に提示される。 Accordingly, the tactile / haptic information by contact or the like of the slave device and the object is presented to the operator handling the master device. ただし、術者の視覚情報によるフィードバックはどちらの制御方法でも行われ、その情報から再び指令を出すことができる。 However, feedback by the operator of the visual information is performed in both control methods can issue again the command from the information.

本実施形態は触覚/力覚の代わりに重畳画像から算出された領域によってマニピュレータと対象物に対する動作や駆動領域の制限を行うものであり、ユニラテラル制御方式でもバイラテラル制御方式でも適用できる。 This embodiment is to carry out a limit operation and the drive region for the manipulator and the object by the region calculated from the superimposed image instead of the tactile / haptic, it can also be applied to a bilateral control system in unilateral control system.

次に、ユニラテラル制御方式のマスタスレーブ装置の構成について図3を用いて説明する。 Will now be described with reference to FIG. 3 the structure of the master-slave device unilateral control system.
マスタスレーブ装置は、マスタ装置4(モータ41、位置検出部42)と、モータ41のモータ制御部6(位置制御部61、力制御部62)と、スレーブ装置5(アクチュエータ51)と、画像重畳装置3(スレーブ装置5の位置検出部31、画像重畳処理部321、画像重畳表示部322)と、アクチュエータ制御部7(位置制御部71、力制御部72)とを有する。 The master slave device, the master device 4 (the motor 41, the position detecting unit 42), the motor controller 6 (position control unit 61, the force control unit 62) of the motor 41 and the slave device 5 (actuator 51), the image superimposing (position detection unit 31 of the slave device 5, the image superimposition processing unit 321, the image superimposing display unit 322) device 3 has an actuator control unit 7 (position control unit 71, the force control unit 72) and a.

マスタ装置4は、術者によって操作される操作部(図示省略)と、その操作部にスレーブ装置5からの反力と同等の駆動力を付与するモータ41と、術者がその駆動力に対して操作部を操作した位置を検出する位置検出部42とを具備し、検出された位置情報L1がモータ制御部6、アクチュエータ制御部7に伝達される。 The master device 4 includes an operation section operated by the operator and (not shown), a motor 41 for imparting a reaction force equivalent to the driving force from the slave device 5 on the operation unit, surgeon to the driving force comprising a position detection unit 42 for detecting a position of operating the operation unit Te, the detected position information L1 is transmitted motor control unit 6, the actuator control unit 7.

スレーブ装置5は、マスタ装置4からの指令により動作するスレーブ装置5の内視鏡およびマニピュレータを制御するアクチュエータ51からなる。 The slave device 5, an actuator 51 for controlling the endoscope and a manipulator slave device 5 which operates by a command from the master device 4. スレーブ装置5の内視鏡およびマニピュレータの位置情報L2は、画像重畳処理部の位置検出部31を用いて、モータ制御部、アクチュエータ制御部に入力される。 Endoscopes and positional information L2 of the manipulator slave device 5, using the position detection unit 31 of the image superimposition processing unit, the motor control unit is input to the actuator control unit.

また、位置情報L1、L2は位置検出部42,52により検出され、画像処理部321に入力される。 The position information L1, L2 is detected by the position detection unit 42, 52 is input to the image processing unit 321. モータ制御部6の切替部63およびアクチュエータ制御部7の切替部73は、画像重畳処理部3から入力される制御信号C1、C2により選択的に位置制御部または力制御部を切り替える。 The switching unit 73 of the switching section 63 and the actuator control unit 7 of the motor control unit 6 switches the selective position control unit or the force control unit by the control signals C1, C2 supplied from the image superimposing process section 3. 装置起動時の初期状態では、切替部63及び73は位置制御部側に選択される。 In the initial state at the time of apparatus activation, the switching unit 63 and 73 is selected to the position control section side.

画像処理部321は位置検出部42、52により検出された位置情報L1、L2と、内視鏡及びマニュピレータの駆動領域との接触判定によって内視鏡及びマニュピレータの駆動を制御するためにモータ制御部6やアクチュエータ制御部7に指令を与える。 And position information L1, L2 detected by the image processing unit 321 is a position detection unit 42, 52, the motor control unit for controlling the driving of the endoscope and a manipulator by contact determination of the endoscope and a manipulator driving region It gives an instruction to 6 and the actuator control unit 7. マニュピレータが駆動領域に存在するとき、マスタ側装置4ではL1、L2の変移量が等しくなるように、モータ制御部6の位置制御部61からモータ41へ情報を伝達する。 When manipulator is present in the drive region, as in displacement amount of the master side device 4, L1, L2 are equal, transmitting information from the position control unit 61 of the motor control unit 6 to the motor 41.

スレーブ側装置5はL1、L2変移量が等しくなるように、アクチュエータ制御部7の位置制御部71からアクチュエータ51へ情報を伝達する。 Slave unit 5, as L1, L2 displacement amount is equal, to transmit information from the position control unit 71 of the actuator control unit 7 to the actuator 51. マニュピレータが駆動制限領域(マニピュレータが対象臓器と接触する可能性のある領域)に到達しそうな場合、その到達する位置のレベルにおいて、マスタ側装置4では制御信号C1をモータ制御部6の切替部63に伝達し、力制御部62から操作部の移動前の情報をモータ41へ伝達し、スレーブ側装置5では制御信号C2をアクチュエータ制御部7の切替部73に伝達し、力制御部72から操作部の移動前の情報をモータ51へ情報を伝達する。 If manipulator is likely to reach the drive limiting region (region where the manipulator has a possibility of hitting a target organ), at the level of the position of its arrival, the switching unit 63 of the master unit 4 the control signal C1 motor controller 6 transmitted to, and transmits the information before the movement of the operating unit from the force controller 62 to the motor 41, and transmits the control signal C2 in the slave unit 5 to the switching unit 73 of the actuator control unit 7, the operation from the force controller 72 the information before the movement of the parts for transmitting the information to the motor 51. これにより、マスタスレーブ装置を操作部の移動指令前の情報で保持させることになる。 This makes it possible to hold the master-slave device information before the movement command of the operating unit.

さらに、マスタスレーブ装置はその安全性を増すために、マスタ側の操作部の操作量が対象臓器との安全距離を保たれない状態となったら、スレーブ側を強制停止する機構を設ける。 Further, the master-slave device to increase its safety, when the operation amount of the operation unit of the master side in a state of not kept a safe distance to the target organ, a mechanism for forcibly stop the slave side. この強制停止機構は伝達されるマニピュレータと対象臓器との位置関係(距離)の実測値が、使用状態において常時センサで測定され、そのセンサ出力と安全距離が位置制御部71により比較判定され、前記実測値が安全距離に対して所定量、例えば110%となったら、マニピュレータを強制停止する。 Measured value of the forced stop mechanism positional relationship between the manipulator and the target organ to be transmitted (distance) is measured in constantly sensor in use, the safety distance and the sensor output is compared determined by the position control unit 71, the a predetermined amount measured value with respect to the safety distance, for example, if a 110%, to kill the manipulator. 強制停止機構そのものは、マニピュレータを駆動させるギアを信号によって断続できる公知のものを用いる。 Suspended mechanism itself, known ones which can be interrupted by a signal of a gear for driving the manipulator. この信号は前記実測値が所定量以下となるか所定量を超えるかの1ビットで足りる。 This signal is sufficient for one bit if the measured value exceeds or predetermined amount equal to or less than a predetermined amount. この制御例は、前記実測値が所定量以下となったならば、マニピュレータを駆動させるギアを外し、所定量を超えたら前記ギアの接続を復旧する。 The control example, if the measured value is equal to or less than a predetermined amount, remove the gear for driving the manipulator, to restore the connection of the gear After exceeds a predetermined amount.
これによって、画像重畳処理部3で設定された領域に基づいて、マニピュレータを制御(駆動と停止)することができる。 Thus, based on the area set by the image superimposition processing unit 3, it is possible to control the manipulator (driving and stopping).

次に、画像重畳処理部3で設定される内視鏡手術支援システムの駆動領域設定方法および表示方法の実施の一形態を図4、図5、図6及び図7に示す。 Next, FIGS. 4, 5, 6 and 7 an embodiment of a drive region setting method and display method of the endoscopic surgery support system that is set by the image superimposition processing unit 3.

図4(a)は、実際の内視鏡像上8と仮想内視鏡像92の重畳画像上に、さらに鉗子やマニピュレータ等の手術器具の仮想画像91を重畳表示する例を示している。 4 (a) is the actual endoscopic image on 8 and the superimposed image in the virtual endoscopic image 92 further shows an example of superimposed display a virtual image 91 of the surgical instrument, such as forceps or manipulator. この表示例では、内視鏡像の歪みに合わせて重畳する画像を歪ませ、重畳表示している。 In this display example, it distorts the image to be superimposed in accordance with the distortion of the endoscope image, are superimposed display. 仮想内視鏡像92はX線CT装置やMRI装置で被検体の体軸方向の複数の断層像を得て、その得られた断層像から得るものである(例えば、特許文献2参照)。 Virtual endoscopic image 92 to obtain a plurality of tomographic images of the subject in the body axis direction in the X-ray CT apparatus or an MRI apparatus, those obtained from the obtained tomographic image (e.g., see Patent Document 2).
特許第3632862号公報 これにより、術者が内視鏡での手術に習熟していれば、使い慣れた画像を用いて内視鏡手術の安全性を向上することができる。 This patent 3632862 Publication, if familiar with surgery in endoscopes surgeon, it is possible to improve the safety of endoscopic surgery using a familiar image.

また、重畳表示は仮想内視鏡像92の表示の可否を切換えることにより実際の内視鏡像8のみを表示することも可能である。 Further, superimposed display, it is also possible to display only actual endoscope image 8 by switching the display whether the virtual endoscopic image 92. これにより、術者は内視鏡のみで足りる場合でも内視鏡手術の安全性を向上することができる。 Thus, the operator can improve the safety of endoscopic surgery even if sufficient only endoscope.

図4(b)は、マニピュレータのすべての関節の駆動領域931を表示する例である。 4 (b) is an example of displaying the driving area 931 of all the joints of the manipulator. この例ではマニピュレータの回転範囲を示す球が重畳して表示されている。 Sphere showing a rotation range of the manipulator in this example are displayed superimposed. これによって、術者はマニピュレータの各関節の可動範囲を内視鏡像と対応づけて直ちに知ることができるから、マニピュレータの各関節の動きに考慮して内視鏡手術の安全性を向上することができる。 Thus, since the operator can immediately know in association with the endoscopic image of the movable range of each joint of the manipulator, making it possible to improve the safety of endoscopic surgery taking into account the movement of each joint of the manipulator it can.

図4(c)は、駆動領域931と対象臓器8との位置関係(距離)と重篤度による重みを付加した接触条件が重篤度による重みと駆動領域931と対象臓器8との距離の積により、駆動域と対象臓器との接触による駆動制限領域表示932を設定する。 FIG. 4 (c), contacting conditions obtained by adding a weight according to the positional relationship between (the distance) the severity of the driving area 931 and the target organ 8 of the distance between the weights by the severity and the driving area 931 and the target organ 8 product by, setting the drive restriction area display 932 by the contact between the driving area and the target organ. これによって、術者は症状が重篤な箇所対応づけて直ちに知ることができ、その治療を優先させることで手術を効率的に支援することができ、その効率化と相俟って内視鏡手術の安全性を向上することができる。 Thus, the operator symptoms can know immediately association severe locations corresponding, its therapeutic can be efficiently assist surgery by giving priority to, endoscopic me its efficiency coupled with it is possible to improve the safety of surgery.

図4(d)は、バイリテラル制御方式のマスタスレーブ装置を採用すれば、駆動制限領域表示と同時に触覚や反力をマスタ装置に伝えることが可能である。 FIG. 4 (d), by adopting a master slave device by literal control scheme, it is possible to convey at the same time tactile and reaction force and the driving restriction region displayed on the master device. その際には、モータ制御部6の力制御部からモータに対して負荷を与える信号を反力として伝達すればよい。 In that case, it may be transmitting a signal to give load to the motor from the power control unit of the motor control section 6 as a reaction force. 駆動制限領域932においては、接触条件によってマニピュレータの駆動領域や駆動制限領域に接近および接触したことの警告レベルを2次元94および3次元画像933でカラー表示などを行う。 In the drive restriction region 932 performs a color display a warning level that approaches and contacts the drive region and the drive restricted area of ​​the manipulator in a two-dimensional 94 and three-dimensional image 933 by the contact conditions. カラー表示に代えて又は同時に警告音や振動として発してもよい。 Color or it may issue the same time as the alarm sound or vibration instead of the display. また、警告音と振動は同時に発してもよい。 In addition, vibration and warning sound may be issued at the same time. 2次元画像94は棒グラフや円グラフとして警告の強さを示してもよい。 2-dimensional image 94 may indicate the strength of the warning as a bar graph and pie chart.
これにより、手術器具と対象臓器の位置関係(距離)に応じて接触レベルにおいて注意を喚起することができるため、その注意喚起により内視鏡手術の安全性を向上することができる。 Accordingly, it is possible to draw attention in the contact level in accordance with the positional relationship between the surgical instrument and the target organ (distance), it is possible to improve the safety of endoscopic surgery by its alert.

図5(a)は、接触条件によってマニピュレータ8の駆動領域や駆動制限領域に接近および接触したことの警告レベルを内視鏡像上にカラー表示98を行う。 5 (a) is a color display 98 a warning level that approaches and contacts the drive region and the drive restricted area of ​​the manipulator 8 on the endoscope image by the contacting conditions. カラー表示98は図示される接触の可能性に応じて色分けされている。 Color display 98 is color-coded according to the possibility of contact being shown.
これにより、手術器具と対象臓器の位置関係(距離)に応じた接触レベルが内視鏡像に直接対応づけられて表示されるため、その対応表示により内視鏡手術の安全性を向上することができる。 Thus, since the surgical instrument and the positional relationship of the target organ (distance) contacting level corresponding to is displayed in correspondence directly to the endoscope image, making it possible to improve the safety of endoscopic surgery for its corresponding display it can.

図5(b)は、接触条件によってマニピュレータ8の駆動領域や駆動制限領域に接近および接触したことの警告レベルを内視鏡像上に展開した臓器情報99の表示を行う。 FIG. 5 (b), and displays the organ information 99 that is deployed on the endoscopic image of the warning level that approaches and contacts the drive region and the drive restricted area of ​​the manipulator 8 by contact condition. 臓器情報99はMRI装置等で取得した医用画像から3次元画像を作成し、その作成された3次元画像を内視鏡像の座標系に合わせて歪ませ、その歪ませた3次元画像を内視鏡像に重畳表示する。 Organ information 99 creates a three-dimensional image from the medical image acquired by the MRI apparatus and the like, to distort the combined three-dimensional image that was created in the coordinate system of the endoscope image, the endoscope 3D image with the distorted superimposed display on the mirror image.
これにより、手術器具と対象臓器の位置関係(距離)が直感的に表示されるため、その直感的表示により内視鏡手術の安全性を向上することができる。 Accordingly, since the positional relationship between the surgical instrument and the target organ (distance) it is intuitively display, it is possible to improve the safety of endoscopic surgery for its intuitive display.

図5(c)は、マニピュレータ8を仮想的に移動させた場合、その仮想移動されたマニピュレータ8が接触条件によってその駆動領域や駆動制限領域に接近および接触したことに対応するものである。 FIG. 5 (c), when moving the manipulator 8 virtually, which corresponds to the manipulator 8 that is the virtual movement approaches and contacts the drive region and the drive restricted area by contact condition. 即ち、駆動制限領域932においては、接触条件によってマニピュレータの駆動領域や駆動制限領域に接近および接触したことの警告レベルを2次元94でカラー表示などを行う。 That is, in the driving restriction region 932 performs a color display a warning level that approaches and contacts the drive region and the drive restricted area of ​​the manipulator in the two-dimensional 94 by contact condition.
これにより、仮想移動した状態の手術器具と対象臓器の位置関係(距離)が表示されるため、その仮想移動表示により注意を喚起することができ、内視鏡手術の安全性を向上することができる。 Thus, since the positional relationship between the surgical instrument and the target organ in a state of virtual movement (distance) is displayed, it is that the Virtual movement display can be alerted, to improve the safety of endoscopic surgery it can.

図5(d)は、マニピュレータ8を仮想的に移動させた場合、その仮想移動されたマニピュレータ8が対象臓器等に接近しない安全距離を保った移動を示したものである。 5 (d) is the case of moving the manipulator 8 virtually manipulator 8 that is the virtual movement shows the movement keeping the safety distance which is not close to the target organ or the like. 即ち、マニピュレータ8が移動前後において安全距離を保つ移動を示す矢印91を表示する。 That is, the manipulator 8 displays the arrow 91 indicating the moving keeping a safe distance before and after the movement.
これにより、仮想移動した状態の手術器具と対象臓器の位置関係(距離)のうちの安全範囲が表示されるため、その安全範囲の表示により術者が安心して操作することができ、内視鏡手術の安全性を向上することができる。 Accordingly, since the safety range of the positional relationship between the surgical instrument and the target organ in a state of virtual movement (distance) is displayed, can surgeon to operate with confidence by the display of the safe range, the endoscope it is possible to improve the safety of surgery.

駆動制限領域は、図4(b)(c)(d)のように3次元画像で示す例や図6(a)(b)(c)のようにアキシャル画像上95、サジタル画像上96、コロナル画像上97に重畳表示することができる。 Drive limiting region, FIG. 4 (b) (c) axial images on 95 as in the example and FIG. 6 showing a three-dimensional image as shown in (d) (a) (b) (c), a sagittal image on the 96, it can be superimposed on the coronal image on 97. 合わせて仮想的にマニピュレータをその駆動制限領域の断面や切断面934に投影して表示する。 The combined virtually displayed by projecting the manipulator section and the cut surface 934 of the drive limiting region.
これにより、手術器具と多面的な方向の画像とから立体的に把握できるため、その立体的な把握により内視鏡手術の安全性を向上することができる。 Accordingly, it is possible to sterically grasped from the surgical instrument and the multifaceted direction of the image, it is possible to improve the safety of endoscopic surgery by its three-dimensional figure.

重篤度による重みは図7のようにモニタ110で確認しながら、抽出した臓器毎(object毎104)に自由曲線、直線、矩形等103で設定し、臓器内の重篤度により変更するやり方もある。 While the weight by severity is confirmed by the monitor 110 as shown in FIG. 7, the free curve extracted per organ (object per 104), a straight line, and set a rectangle or the like 103, to change the severity of the organ manner there is also. 重篤度の重み付けは形状を問わず、図8のようにグラフィカルユーザーインターフェース100により、自由にユーザがマウス105を使って設定する。 Severity of the weighting regardless of shape, the graphical user interface 100 as shown in FIG. 8, freely user sets using the mouse 105. 従って、図8(a)のように、臓器内の複雑に絡み合った対象物毎に非線形の重み係数111を与え、危険の度合いを設定する。 Accordingly, as shown in FIG. 8 (a), the given non-linear weighting coefficient 111 for each complex intertwined objects in organ, it sets the degree of danger. また、図8(b)のように手術上で接触を回避すべき部位(例えば血管や神経)に大きな重みを設定したり、手術対象部位に小さな重みを設定したりすることで重みを矩形112で与え、マニピュレータと対象臓器との不用意な衝突の回避や対象臓器への正確に位置決めを行うことができ、その位置決めにより内視鏡手術の安全性を向上することができる。 Further, the rectangular 112 weighted by or to set the small weight and set a large weight, the surgical site to the site to be avoided contact on surgery (e.g. blood vessels or nerves) as shown in FIG. 8 (b) in given, correctly positioned to avoid or target organ of inadvertent collision between the manipulator and the target organ can be performed, it is possible to improve the safety of endoscopic surgery for positioning thereof.

図9はバイラテラル制御方式のマスタスレーブ装置の構成を示す。 Figure 9 shows the configuration of a master-slave device bilateral control system. 図3に追加されたところはF1という信号で、モータ制御部6、アクチュエータ制御部7に伝達され、力制御部62、72でそれぞれ変換され、モータ41やアクチュエータ51を駆動制御する。 The signal of F1 was added to 3, the motor control unit 6 is transmitted to the actuator control unit 7, are respectively converted by the force control unit 62, 72, drives and controls the motor 41 and the actuator 51.

本実施形態は、術者の目や耳に内視鏡手術支援に必要な情報を得ることができ、バックアップでマニピュレータの駆動と停止の制御を行う。 This embodiment can obtain the information required for endoscopic surgery assistance to the operator's eyes and ears, and controls the driving and stopping of the manipulator in the backup. 例えば、実内視鏡に仮想情報を重畳することにより以下の応用例が考えられる。 For example, it is considered the following applications by superimposing virtual information to real endoscope.

(a)仮想内視鏡像に画像処理で得られたシミュレーション情報を付加することができる。 (A) can be added to the simulation information obtained in the image processing in the virtual endoscopic image.
情報を付加した仮想内視鏡像を表示・非表示または合成表示することで、例えば、実内視鏡像だけでは判断のつき難い病変の広がりや浸潤の程度を理解することができる。 By information display and non-display or combination display of the virtual endoscopic image obtained by adding, for example, only the real endoscopic image can understand the extent of the spread and invasion of hard lesions per determination. また、実内視鏡像で確認できる臓器であっても、手術中に水や泡などで見にくくなる場合があるが、重畳された仮想内視鏡像で一時的に情報を補うことができる。 Further, even in an organ that can be confirmed in real endoscope image, but it may become hard to see in water or bubbles during surgery, it is possible to compensate for temporary information in the virtual endoscopic image is superimposed. 仮想内視鏡像は変換前の実空間の位置情報を持っているため、実内視鏡像上で正確な三次元位置を算出することができる。 For virtual endoscopic image is to have the location information of the real space before the conversion, it is possible to calculate the accurate three-dimensional position in the real endoscopic image. これら利点から、より安全で精確な内視鏡外科手術が期待できる。 These advantages, safer and more accurate endoscopic surgery can be expected.
(b)内視鏡だけでは視認不可能な臓器の正確な位置関係を直感的に把握できることになり、視認性の高い内視鏡外科手術が期待できる。 Only (b) endoscope will be intuitively grasp an accurate positional relationship of the invisible organs, high visibility endoscopic surgery can be expected.
(c) 術具と仮想内視鏡像が正確に重畳されていることから、術中に仮想のマニピュレータだけを動かし、実内視鏡と同じ環境で(a)(b)および図4で示した駆動制限領域といった情報を術者に視覚的に知らせることにより近未来の術前状況をシミュレーションで き、安全な内視鏡外科手術が可能になる。 Since the (c) surgical instrument and the virtual endoscopic image is superimposed exactly, intraoperative move only the virtual manipulator, shown in the same environment as real endoscopic in (a) (b) and 4 drive you to simulate the preoperative situation of the near future by informing visually to the operator information such as restricted area, it is possible to secure an endoscopic surgery.
(d) なおかつ、図9の画像重畳処理部にマスタ装置の位置検出部からの位置情報L1を入力し、画像重畳処理部からシミュレーションで得られた位置情報L1'、L2'を出力するように変更することによって、シミュレーション情報を実際のマニピュレータに反映することができる。 (D) yet, enter the position information L1 from the position detecting unit of the master device to the image superimposition processing unit of FIG. 9, the position information obtained by the simulation of the image superimposition processing unit L1 ', L2' to output by changing, it is possible to reflect the simulation information to the actual manipulator. 尚、シミュレーションが行われていない場合は、L1'、L2'には位置検出部から入力された情報をそのまま出力すればよい。 Incidentally, if the simulation is not performed, L1 ', L2' may be directly outputs the information input from the position detection unit is in.

その際のマニピュレータにおけるマスタスレーブ装置の動作例について図10、11を用いて説明する。 An operation example of the master-slave device in the manipulator when the will be described with reference to FIGS. 10 and 11.
まず、画像重畳装置3は画像重畳装置3画像重畳装置3画像重畳処理およびマスタスレーブ装置の制御処理を終了するか否かを判定する(S1)。 First, the image superimposing apparatus 3 determines whether to end the control process of the image superimposing apparatus 3 image superimposing apparatus 3 image superimposition processing and master slave device (S1).
画像重畳装置3は、制御処理を終了しない場合、手術シミュレーションを行うためにスレーブ装置をロックするか否かを判定する(S2)。 Image superimposing apparatus 3 determines if not end the control process, in order to perform a surgical simulation whether to lock the slave device (S2).
その際には実内視鏡像と仮想内視鏡像および仮想のマニピュレータの画像が正確に重畳されていることが前提となる。 At that time the actual endoscope image that the image of the virtual endoscope image and the virtual manipulator is superimposed precisely a prerequisite for. ロック機構は実内視鏡像と仮想内視鏡像を切り離す機構で、ロック機構が無効(オフ)の時には、L1、L2を取得し、マスタ装置の操作に追随してスレーブ装置が動作するよう制御を行う(S3)。 In the lock mechanism mechanism for disconnecting the virtual endoscopic image and the real endoscopic image, when the locking mechanism is disabled (OFF) takes L1, L2, the control so as to follow the operation of the master device the slave device operates performed (S3).

ロック機構の有効(オン)/無効(オフ)のスイッチは術者の入力によって行われる。 Switch of the effective of the lock mechanism (on) / Disable (off) is performed by the surgeon's input. この入力の装置はマウス、フットスイッチなど入力信号を送る機構であればどのような形態でも構わない。 The input devices are a mouse, it may be in any form as long as a mechanism for sending an input signal, such as a foot switch. ロック機構が有効の時には、マスタ装置の動きをシミュレーション後に再現するために、L1、L2を保存する(S4)。 When the locking mechanism is enabled, in order to reproduce the motion of the master device after the simulation, save the L1, L2 (S4).
マスタ装置4の操作部は仮想なマニピュレータや仮想内視鏡像のみを動作する。 Operation of the master device 4 operates only the virtual manipulator and virtual endoscopic image. スレーブ装置は停止状態となっている。 The slave device is in a stopped state. L1はマスタ装置の位置情報を随時保持し続け、L2はロック機構が有効になったときのスレーブの位置のみを保持する。 L1 continues to occasionally holding the position information of the master device, L2 holds only slave position when the locking mechanism is enabled. 次に、画像重畳装置3はロック機構の状態遷移を判定する。 Next, the image superimposing apparatus 3 determines the state transition of the lock mechanism. ロック機構が無効から有効へ遷移する場合または有効から無効へ遷移する場合、初期状態でロック機構が有効でない場合やロック機構が解除された場合はS6に移行する(S5)。 When making a transition to an invalid from or when effective locking mechanism transitions to enable the disabled, if or when the locking mechanism locking mechanism in the initial state is not valid is released to shift to S6 (S5).
手術シミュレーションを行わない場合、マスタ装置4の位置検出部42で位置情報L1を、画像重畳装置3の位置検出部31で位置情報L2を検出し、処理部321を介してモータ制御部6およびアクチュエータ制御部7にL1'、L2'として送信する。 If you do not surgical simulation, the position information L1 in the position detection unit 42 of the master device 4 detects the position information L2 in the position detection unit 31 of the image superimposing apparatus 3, the motor control unit 6 via the processing unit 321 and the actuator the control unit 7 L1 ', L2' transmitted as. マスタ側装置ではL1'、L2'の変移量が等しくなるように、モータ制御部6の位置制御部61からモータ41へ情報を伝達する。 In master unit L1 ', L2' as displacement amount of equal, to transmit information from the position control unit 61 of the motor control unit 6 to the motor 41. スレーブ側ではL1'、L2'の変移量が等しくなるように、アクチュエータ制御部7の位置制御部71からアクチュエータ51へ情報を伝達する(S7)。 On the slave side L1 ', L2' as displacement amount of equal, to transmit information from the position control unit 71 of the actuator control unit 7 to the actuator 51 (S7). L1'が画像重畳処理で設定された駆動制限領域に入っていない場合、L1'、L2'をモータ制御部6、アクチュエータ制御7に入力し、モータが作動し、マスタ装置を負荷なく動かすことが可能である(S6)。 'If is not in the drive limiting area set by the image superimposition processing, L1' L1, enter the L2 'motor controller 6, the actuator control 7, the motor is actuated, to be moved without the master device load possible is (S6).

画像重畳装置3は、その際、L1とL2の大小によりスレーブ側を駆動する(S7)。 Image superimposing apparatus 3, where, causing the slave side by the magnitude of the L1 and L2 (S7).
画像重畳装置3は、L1が駆動警戒領域であるか否かを判定し、駆動警戒領域であればS11へ移行し駆動警戒領域でなければS9へ移行する(S8)。 Image superimposing apparatus 3, L1 is determined whether the driving warning area, the process proceeds proceeds to step S9 if not driving warning area to step S11 if the driving warning area (S8).
画像重畳装置3は、モータ制御部6にモータ41の作動をさせる(S9) Image superimposing apparatus 3 causes the actuation of the motor 41 to the motor controller 6 (S9)

画像重畳装置3は、円滑にマスタ装置の動きをスレーブ装置5に伝達し、スレーブ装置5に接続されるアクチュエータ51を作動させる(S10)。 Image superimposing apparatus 3, smoothly transmit the movement of the master device to the slave device 5, actuating the actuator 51 connected to the slave device 5 (S10). これらの一連のステップは手術が終了するまで随時に行う。 These series of steps are carried out from time to time until the surgery is completed.
次に、L1が駆動制限領域である場合、画像重畳処理部からの力制御信号F1に従って、力制御部62、72によりモータ41に負荷が供給されることになる。 Then, if L1 is driven restricted area, according to the force control signal F1 from the image superimposition processing unit, the load on the motor 41 will be supplied by the force control unit 62, 72.
画像重畳装置3は、モータ制御部6にモータ41に供給される負荷に応じて作動をさせる(S11)。 Image superimposing apparatus 3 causes the actuating according to the load applied to the motor 41 to the motor controller 6 (S11).
画像重畳装置3は、アクチュエータ51にも負荷をかける(S12)。 Image superimposing apparatus 3, also imposing a load on the actuator 51 (S12).
モータ41とアクチュエータ51にかかる負荷は徐々に増大していき、最終的には、マスタスレーブ装置ともに停止する。 Load on the motor 41 and the actuator 51 is gradually increased, eventually, to stop the master slave device both.

次に、ロック機構が無効から有効に遷移し、手術シミュレーションが可能な場合は、スレーブ装置は停止し、マスタ装置のみ動かすことができる(S13)。 Then, by effectively transitions the locking mechanism from the disabled, if surgery simulation is possible, the slave device can be stopped, it moved only the master device (S13).
画像重畳装置3は、ロック機構が無効のときと同様に、L1が駆動制限領域外に存在する場合はモータを作動するか、L1が駆動制限領域内に存在する場合は負荷をかけるかを判定する(S14)。 Image superimposing apparatus 3, similar to when the lock mechanism is disabled, determine if L1 is outside drive limiting region or operating the motor, if L1 is present in the drive restriction area are burdening to (S14).
画像重畳装置3は、L1が駆動制限領域外に存在するのでモータ41を作動する(S15)。 Image superimposing apparatus 3, L1 is operated the motor 41 so exists outside the driving restriction region (S15).

画像重畳装置3は、L1が駆動制限領域外に存在するのでモータ41に負荷を与える(S16)。 Image superimposing apparatus 3, L1 gives a load to the motor 41 so exists outside the driving restriction region (S16).
画像重畳装置3は、ロック機構が有効から無効へ遷移する場合、マニピュレータの動作シミュレーションの結果を再現するか否かを判定し、その判定結果がシミュレーションを再現しない場合にS1へ移行し、シミュレーションを再現する場合はS18へ移行する(S17)。 Image superimposing apparatus 3, when the locking mechanism is changed from enabled to disabled, determines whether to reproduce the results of the simulation of the manipulator, it moves to S1 if the decision result does not reproduce the simulation, the simulation If you want to reproduce proceeds to S18 (S17).
画像重畳装置3は、再現途中でロック機構が無効になる場合を想定し、ロック機構の有効/無効を判定する。 Image superimposing apparatus 3, assuming that the lock mechanism is disabled in the course reproduce determines enable / disable of the lock mechanism. その判定の結果、無効(オフ)であればS1へ移行し、有効(オン)であればS19に移行する(S18)。 As a result of the determination, and proceeds to step S1 if invalid (OFF), the process proceeds to S19 if enabled (ON) (S18).

画像重畳装置3は、シミュレーション再現中に保存されたL1、L2を読出す(S19)。 Image superimposing apparatus 3 reads the stored during simulation reproduction L1, L2 (S19).
画像重畳装置3は、L1とL2の変移量に誤差がなくなるまで、S6〜S12の処理を繰り返す(S20)。 Image superimposing apparatus 3, until the error is eliminated displacement amount L1 and L2, and repeats the processing of S6 to S12 (S20).
画像重畳装置3は、L1とL2が等しくなったときは次のL1としてL1のデータ更新する(S21)。 Image superimposing apparatus 3, when L1 and L2 are equal to the data update of the L1 as the next L1 (S21).
このような操作は、内視鏡及びマニピュレータを患者の体表から患部に至るまで同様の処理を繰り返す。 Such operations, an endoscope and a manipulator repeats the same processing until the affected area from the body of the patient.

このようにして鉗子や内視鏡手術マニピュレータの仮想画像の動きが実際の鉗子や内視鏡手術マニピュレータに反映される。 In this way, the movement of the forceps and endoscopic surgery manipulator virtual image is reflected in the actual forceps or endoscopic surgical manipulator. 尚、警告レベルに応じて、実際の鉗子や内視鏡手術マニピュレータを停止させる安全機構は、シミュレーション中、シミュレーションの結果を実際に実現している途中でも働く。 Incidentally, according to the warning level, the safety mechanism to stop the actual forceps or endoscopic surgical manipulator acts during simulation, even while the results of the simulation are actually realized.
また、手術する臓器へアプローチしたい場合に駆動制限領域を大きくすることによって、その安全機構を解除することも可能とする。 Further, by increasing the driving restricted area if you want to reach the organ of surgery, and also possible to release the safety mechanism.

また、本実施形態は、図2の位置検出装置31として光学式・磁気式の位置検出装置の変わりに、図11のように鉗子やマニピュレータにマーカー120を取り付け、医用画像診断装置1でそのマーカーを読み取ることにより、鉗子や内視鏡手術マニピュレータの動きを検出することができる。 Further, this embodiment, instead of the optical-magnetic position detector as a position detection device 31 in FIG. 2, the mounting marker 120 to the forceps or manipulator, as in FIG. 11, the marker in the medical image diagnostic apparatus 1 by reading, it is possible to detect the motion of the forceps and the endoscope surgical manipulator. 当然、図2のシステム構成で図11の位置検出方法を用いることも可能である。 Of course, it is also possible to use a position detection method of FIG. 11 in the system configuration of FIG.

マーカーはX線CT装置やMRI装置で高輝度または低輝度に撮影される物質を低輝度または高輝度で撮影されるカプセルに内包したものを使用してもよい。 Markers may be used after encapsulated material to be photographed with high luminance or low luminance X-ray CT apparatus or an MRI apparatus in the capsule to be photographed in a low luminance or high luminance.
また、マーカーは、MRI装置に限定すれば、Active Tracking Systemのために使用されるコイルを内蔵していてもよい。 Also, the marker may be limited to the MRI apparatus may incorporate a coil used for Active Tracking System.

また、3個以上のマーカーからなる座標群を「ツール」と定義すると、鉗子や内視鏡手術マニピュレータ毎に取り付けるツール毎のマーカーの配置を換えることによって、異なるツールとして(つまり、鉗子やマニピュレータの部品毎のツールとして)認識させてもよい。 Further, a coordinate group of three or more markers when defined as "tools", by changing the arrangement of the markers for each tool to be attached to the forceps and endoscopic surgery each manipulator, as different tools (i.e., forceps or manipulator as a tool of each part) it may be recognized.
上記ツールは一度医用画像診断装置で認識してしまえば、連続的に画像を撮影できる撮像方法で図11のようにツールの断面画像130または断面画像を含むボリューム画像を撮影し、その画像情報からツールを抽出することができる。 Once in the tool recognizes once the medical image diagnostic apparatus, taking the volume image including the cross-sectional image 130 or the cross-sectional image of the tool as shown in Figure 11 in an imaging method capable of continuously captured images, from the image information it is possible to extract the tool.
そして、ツールの複数のマーカーの座標から基準点(例えば、重心)を算出し、基準点から鉗子や内視鏡手術マニピュレータの相対的位置より、鉗子や内視鏡手術マニピュレータの位置や方向を算出することができる。 Then, the reference point from coordinates of a plurality of markers of tools (e.g., gravity) is calculated, from the relative positions of the forceps and the endoscope surgical manipulator from the reference point, it calculates the position and direction of the forceps and the endoscope surgical manipulator can do. 鉗子や内視鏡手術マニピュレータの位置が、術前または術中に撮影された医用診断画像のボリュームデータ上のどの位置にあるかがわかることから、図5の応用例に使用することができる。 Position of the forceps and endoscopic surgery manipulators, since there is seen at any position on the volume data of a medical diagnostic images taken preoperatively or intraoperatively, can be used in applications of FIG.

また、画像重畳装置3は、マスタ装置に視覚的フィードバックおよび力覚フィードバックを行わせるのであれば、医用画像診断装置と内視鏡装置からなる簡易的なシステムで本実施形態を実現できる。 The image superimposing apparatus 3, as long as to perform visual feedback and tactile feedback to the master device, the present embodiment can be realized by a simple system consisting of a medical image diagnostic apparatus and an endoscope apparatus.
これは、術者への視覚的フィードバックと力覚フィードバックが医用画像診断装置から得られる画像情報のみから生成されるためである。 This is because the visual feedback and tactile feedback to the operator is generated from only the image information obtained from the medical image diagnostic apparatus. この方法はスレーブ装置へ力覚情報がフィードバックされないため、術中医用診断画像で内視鏡を誘導する内視鏡手術であるが、システムを簡易化でき、通常の手術手技を変えない点でメリットがある。 Because this method is not fed back haptic information to the slave device, is a endoscopic surgery to induce endoscope intraoperative medical diagnostic images, can simplify the system, it is advantageous in that it does not alter the normal surgical procedure is there.

本実施形態によれば、術者のマスタの不用意な操作でも対象臓器とマニピュレータとの危険な接触を回避し、安全な内視鏡外科手術を施行することができる。 According to this embodiment, also to avoid dangerous contact between the target organ and manipulator inadvertent operation of the operator of the master, it is possible to enforce a secure endoscopic surgery.

本発明の内視鏡手術操作支援システムは、医用画像診断装置によって撮影された医用診断画像中の対象臓器と、その対象臓器と内視鏡及びマニピュレータの駆動領域を対応づけて表示するので、内視鏡手術操作を安全に支援できる。 Endoscopic surgery operation support system of the present invention, the target organ in a medical diagnostic image captured by a medical image diagnostic apparatus, since the display in association with the drive region of the target organ and the endoscope and a manipulator, the inner the endoscopic surgical operation can safely support.

本実施形態の内視鏡手術操作支援システムの装置構成図。 Device configuration diagram of an endoscopic surgical operation support system of this embodiment. 図1の機能ブロック図。 The functional block diagram of FIG. 1. 図2のマスタスレーブ装置の機能ブロック図。 Functional block diagram of a master-slave device of FIG. 図1の内視鏡手術操作支援システムの手術器具と画像の重畳表示例を示す図。 It shows a superimposed display example of a surgical instrument and an image of an endoscopic surgical operation support system of FIG. 図4と異なる形態の重畳表示例を示す図。 It shows a superimposed display examples of different forms and FIG. 図4、図5と異なる形態の重畳表示例を示す図。 4, shows a superimposed display examples of different forms and FIG. 患部の重篤度等の表示範囲を変更設定するユーザインターフェースの例を示す図。 It shows an example of a user interface for setting change the display range of the severity or the like of the diseased part. 図7の変更設定の例を示す図。 It illustrates an example of a change setting of FIG. 図2と異なるマスタスレーブ装置の機能ブロック図。 Functional block diagram of a master-slave device different from FIG. 図1の内視鏡手術操作支援システムの動作例を説明するフローチャート。 Flow chart illustrating an operation example of an endoscopic surgical operation support system of FIG. 画像にマーカーをさらに重畳表示した例を示す図。 Diagram showing an example of further superimposed on a marker on the image.

符号の説明 DESCRIPTION OF SYMBOLS

31 位置検出部、321 処理部、322 表示部 31 position detecting unit, 321 processing unit, 322 display unit

Claims (11)

  1. 手術器具を操作可能なマニピュレータの可動範囲と患者の画像情報とを対応づけて表示するマニピュレータ操作支援システムにおいて、 A manipulator operation support system for displaying in association with the image information of the movable range and the patient's operable manipulators surgical instruments,
    前記マニピュレータの駆動領域と前記マニピュレータの一部が接触する可能性のある対象臓器との位置関係を算出する位置算出手段と、 Position calculating means for calculating a positional relationship between the target organ that may part of the manipulator and the driving region of the manipulator is in contact,
    前記算出された位置関係に応じた接近又は接触条件を数段階の警告レベルとして設定する警告レベル設定手段と、 A warning level setting means for setting a several stages of warning levels approaching or contacting condition corresponding to the calculated positional relationship,
    前記設定した警告レベルを術者へ報知する報知手段と、 And informing means for informing a warning level that the setting to the surgeon,
    を備えたことを特徴とする内視鏡手術操作支援システム。 Endoscopic surgery operation support system comprising the.
  2. 前記警告レベル設定手段によって設定された警告レベルに応じて前記マニピュレータを停止させる機構部をさらに備えたことを特徴とする請求項1に記載の内視鏡手術操作支援システム。 Endoscopic surgery operation support system of claim 1, further comprising a mechanism for stopping the manipulator in accordance with the warning level set by the warning level setting means.
  3. 前記報知手段は、前記警告レベルを示す表示によって術者に報知することを特徴とする請求項1、2の何れか1項に記載の内視鏡手術操作支援システム。 The notification means, endoscopic surgery operation support system according to any one of claims 1, 2, characterized in that for informing the operator by the display indicating the warning level.
  4. 前記報知手段は、前記警告レベルを示す音又は音声の少なくとも一方によって術者に報知することを特徴とする請求項1〜3の何れか1項に記載の内視鏡手術操作支援システム。 The notification means, endoscopic surgery operation support system according to any one of claims 1 to 3, characterized in that for informing the operator by means of at least one of the sound or voice indicating the warning level.
  5. 前記報知手段は、前記警告レベルを示す振動によって術者に報知することを特徴とする請求項1〜4の何れか1項に記載の内視鏡手術操作支援システム。 The notification means, endoscopic surgery operation support system according to any one of claims 1 to 4, characterized in that for informing the operator by the vibration indicating the warning level.
  6. 前記報知手段における表示は、前記患者の画像情報と前記手術器具を画像上に重ねて表示することを特徴とする請求項3に記載の内視鏡手術操作支援システム。 Endoscopic surgery operation support system of claim 3 display, characterized by displaying superimposed image information and the surgical instrument of the patient on the image in the information means.
  7. 前記報知手段における表示は、前記患者の画像情報を内視鏡像と仮想内視鏡像重ねて表示し、その重畳画像に前記手術器具をさらに重ねて表示することを特徴とする請求項3に記載の内視鏡手術操作支援システム。 Display of the notification unit, according to claim 3, wherein the image information of the patient and displayed over endoscopic image and the virtual endoscopic image to be displayed further superposed the surgical instrument to the superimposed image endoscopic surgery operation support system.
  8. 前記報知手段における表示は、前記患者の画像情報と前記手術器具を重ねて表示し、さらに前記手術器具の関節の駆動領域を重ねて表示することを特徴とする請求項3に記載の内視鏡手術操作支援システム。 Display of the notification unit, endoscope according to claim 3, wherein the superimposed image information and the surgical instrument of the patient displayed, displays further superimposed driving region of the joint of the surgical instrument surgical operation support system.
  9. 前記報知手段における表示は、前記患者の画像情報と前記手術器具を重ねて表示し、さらに患部を重篤度に基づいて表示形態を異ならせて表示することを特徴とする請求項3に記載の内視鏡手術操作支援システム。 Display of the notification unit, according to claim 3, wherein the superimposed image information and the surgical instrument of the patient displayed is displayed with further different display mode on the basis of the diseased part on the severity endoscopic surgery operation support system.
  10. 前記報知手段における表示は、前記患者の画像情報と前記手術器具を重ねて表示し、さらに前記対象臓器との接触の度合いを示す指標を表示することを特徴とする請求項3に記載の内視鏡手術操作支援システム。 The display in the notification means, endoscopic according to claim 3 and displayed over the surgical instrument and the image information of the patient, further characterized by displaying an index indicating the degree of contact between the target organ mirror surgical operation support system.
  11. 前記報知手段における表示は、前記患者の画像情報と前記手術器具のシュミレーションを画像上に重ねて表示することを特徴とする請求項3、6〜10の何れかに記載の内視鏡手術操作支援システム。 The display in the notification means, endoscopic surgery operation support according to claim 3,6~10, characterized in that the displayed superimposed the simulation of the image information and the surgical instrument of the patient on the image system.
JP2005213873A 2005-07-25 2005-07-25 System for supporting endoscopic operation Pending JP2007029232A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005213873A JP2007029232A (en) 2005-07-25 2005-07-25 System for supporting endoscopic operation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005213873A JP2007029232A (en) 2005-07-25 2005-07-25 System for supporting endoscopic operation

Publications (1)

Publication Number Publication Date
JP2007029232A true JP2007029232A (en) 2007-02-08

Family

ID=37789202

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005213873A Pending JP2007029232A (en) 2005-07-25 2005-07-25 System for supporting endoscopic operation

Country Status (1)

Country Link
JP (1) JP2007029232A (en)

Cited By (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009034734A1 (en) * 2007-09-12 2009-03-19 Olympus Medical Systems Corp. Medical device system
JP2009090400A (en) * 2007-10-05 2009-04-30 National Institute Of Advanced Industrial & Technology Robot, robot control device, robot control program, and simulator for creating robot control program
WO2009084345A1 (en) * 2007-12-28 2009-07-09 Olympus Medical Systems Corp. Medical instrument system
JP2010240067A (en) * 2009-04-02 2010-10-28 Aloka Co Ltd Medical navigation system
WO2011114731A1 (en) * 2010-03-17 2011-09-22 富士フイルム株式会社 System, method, device, and program for supporting endoscopic observation
WO2011122037A1 (en) * 2010-03-31 2011-10-06 富士フイルム株式会社 Endoscope observation supporting system and method, and device and programme
JP2011206180A (en) * 2010-03-29 2011-10-20 Olympus Corp Operation input unit and manipulator system
JP2012504017A (en) * 2008-09-30 2012-02-16 インテュイティブ サージカル オペレーションズ, インコーポレイテッド Medical robotic system for providing auxiliary views that are computer-generated camera device to control the placement and orientation of the distal portion
WO2013002405A1 (en) * 2011-06-29 2013-01-03 Olympus Corporation Medical manipulator system
JP2013121507A (en) * 2011-12-09 2013-06-20 Samsung Electronics Co Ltd Medical robot system and method for controlling the same
JP2013192623A (en) * 2012-03-16 2013-09-30 Univ Of Occupational & Environmental Health Japan Endoscope operation system
JP2014004656A (en) * 2012-06-25 2014-01-16 Univ Of Tsukuba Manipulation system
JP2014131551A (en) * 2013-01-07 2014-07-17 Akira Takebayashi Navigation device for endoscope
US8903546B2 (en) 2009-08-15 2014-12-02 Intuitive Surgical Operations, Inc. Smooth control of an articulated instrument across areas with different work space conditions
US8918211B2 (en) 2010-02-12 2014-12-23 Intuitive Surgical Operations, Inc. Medical robotic system providing sensory feedback indicating a difference between a commanded state and a preferred pose of an articulated instrument
CN104470456A (en) * 2012-07-10 2015-03-25 现代重工业株式会社 Surgical robot system and surgical robot control method
US9084623B2 (en) 2009-08-15 2015-07-21 Intuitive Surgical Operations, Inc. Controller assisted reconfiguration of an articulated instrument during movement into and out of an entry guide
JP2015521084A (en) * 2012-06-01 2015-07-27 インテュイティブ サージカル オペレーションズ, インコーポレイテッド Collision avoidance of the manipulator arm and the patients who use the zero space
US9089256B2 (en) 2008-06-27 2015-07-28 Intuitive Surgical Operations, Inc. Medical robotic system providing an auxiliary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide
US9101397B2 (en) 1999-04-07 2015-08-11 Intuitive Surgical Operations, Inc. Real-time generation of three-dimensional ultrasound image using a two-dimensional ultrasound transducer in a robotic system
JP2015146981A (en) * 2014-02-07 2015-08-20 オリンパス株式会社 Operation system and operation method for operation system
JP2015150340A (en) * 2014-02-18 2015-08-24 オリンパス株式会社 Manipulator device control method
WO2015129834A1 (en) * 2014-02-27 2015-09-03 オリンパス株式会社 Surgery system and method of avoiding interference with medical instrument
US9138129B2 (en) 2007-06-13 2015-09-22 Intuitive Surgical Operations, Inc. Method and system for moving a plurality of articulated instruments in tandem back towards an entry guide
JP2015528713A (en) * 2012-06-21 2015-10-01 グローバス メディカル インコーポレイティッド Surgical robot platform
JP2015208834A (en) * 2014-04-30 2015-11-24 ファナック株式会社 Safety monitoring device for robot gripping and transporting workpiece
US9333042B2 (en) 2007-06-13 2016-05-10 Intuitive Surgical Operations, Inc. Medical robotic system with coupled control modes
US9345387B2 (en) 2006-06-13 2016-05-24 Intuitive Surgical Operations, Inc. Preventing instrument/tissue collisions
JP5932174B1 (en) * 2014-09-05 2016-06-08 オリンパス株式会社 The endoscope system
US9469034B2 (en) 2007-06-13 2016-10-18 Intuitive Surgical Operations, Inc. Method and system for switching modes of a robotic system
US9492927B2 (en) 2009-08-15 2016-11-15 Intuitive Surgical Operations, Inc. Application of force feedback on an input device to urge its operator to command an articulated instrument to a preferred pose
JP2017514547A (en) * 2014-03-17 2017-06-08 インテュイティブ サージカル オペレーションズ, インコーポレイテッド Automatic extrusion to avoid the limited range of motion
WO2017109912A1 (en) * 2015-12-24 2017-06-29 オリンパス株式会社 Medical manipulator system and image display method for same
US9718190B2 (en) 2006-06-29 2017-08-01 Intuitive Surgical Operations, Inc. Tool position and identification indicator displayed in a boundary area of a computer display screen
JP2017528175A (en) * 2014-07-02 2017-09-28 コヴィディエン リミテッド パートナーシップ System and method for providing the distance and orientation of the feedback between the 3d navigation
WO2017169098A1 (en) * 2016-03-31 2017-10-05 ソニー株式会社 Control device and control method
US9789608B2 (en) 2006-06-29 2017-10-17 Intuitive Surgical Operations, Inc. Synthetic representation of a surgical robot
US9788909B2 (en) 2006-06-29 2017-10-17 Intuitive Surgical Operations, Inc Synthetic representation of a surgical instrument
JP2018011981A (en) * 2017-09-21 2018-01-25 キヤノン株式会社 Medical image processing apparatus
US10008017B2 (en) 2006-06-29 2018-06-26 Intuitive Surgical Operations, Inc. Rendering tool information as graphic overlays on displayed images of tools
WO2018159328A1 (en) * 2017-02-28 2018-09-07 ソニー株式会社 Medical arm system, control device, and control method
WO2018216382A1 (en) * 2017-05-26 2018-11-29 ソニー株式会社 Medical system, control device for medical support arm, and control method for medical support arm
WO2018225316A1 (en) * 2017-06-05 2018-12-13 オリンパス株式会社 Medical control device
US10258425B2 (en) 2008-06-27 2019-04-16 Intuitive Surgical Operations, Inc. Medical robotic system providing an auxiliary view of articulatable instruments extending out of a distal end of an entry guide

Cited By (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10271909B2 (en) 1999-04-07 2019-04-30 Intuitive Surgical Operations, Inc. Display of computer generated image of an out-of-view portion of a medical device adjacent a real-time image of an in-view portion of the medical device
US9101397B2 (en) 1999-04-07 2015-08-11 Intuitive Surgical Operations, Inc. Real-time generation of three-dimensional ultrasound image using a two-dimensional ultrasound transducer in a robotic system
US9232984B2 (en) 1999-04-07 2016-01-12 Intuitive Surgical Operations, Inc. Real-time generation of three-dimensional ultrasound image using a two-dimensional ultrasound transducer in a robotic system
US9345387B2 (en) 2006-06-13 2016-05-24 Intuitive Surgical Operations, Inc. Preventing instrument/tissue collisions
US9789608B2 (en) 2006-06-29 2017-10-17 Intuitive Surgical Operations, Inc. Synthetic representation of a surgical robot
US10008017B2 (en) 2006-06-29 2018-06-26 Intuitive Surgical Operations, Inc. Rendering tool information as graphic overlays on displayed images of tools
US10137575B2 (en) 2006-06-29 2018-11-27 Intuitive Surgical Operations, Inc. Synthetic representation of a surgical robot
US9801690B2 (en) 2006-06-29 2017-10-31 Intuitive Surgical Operations, Inc. Synthetic representation of a surgical instrument
US9788909B2 (en) 2006-06-29 2017-10-17 Intuitive Surgical Operations, Inc Synthetic representation of a surgical instrument
US9718190B2 (en) 2006-06-29 2017-08-01 Intuitive Surgical Operations, Inc. Tool position and identification indicator displayed in a boundary area of a computer display screen
US9138129B2 (en) 2007-06-13 2015-09-22 Intuitive Surgical Operations, Inc. Method and system for moving a plurality of articulated instruments in tandem back towards an entry guide
US10188472B2 (en) 2007-06-13 2019-01-29 Intuitive Surgical Operations, Inc. Medical robotic system with coupled control modes
US9333042B2 (en) 2007-06-13 2016-05-10 Intuitive Surgical Operations, Inc. Medical robotic system with coupled control modes
US10271912B2 (en) 2007-06-13 2019-04-30 Intuitive Surgical Operations, Inc. Method and system for moving a plurality of articulated instruments in tandem back towards an entry guide
US9901408B2 (en) 2007-06-13 2018-02-27 Intuitive Surgical Operations, Inc. Preventing instrument/tissue collisions
US9629520B2 (en) 2007-06-13 2017-04-25 Intuitive Surgical Operations, Inc. Method and system for moving an articulated instrument back towards an entry guide while automatically reconfiguring the articulated instrument for retraction into the entry guide
US9469034B2 (en) 2007-06-13 2016-10-18 Intuitive Surgical Operations, Inc. Method and system for switching modes of a robotic system
WO2009034734A1 (en) * 2007-09-12 2009-03-19 Olympus Medical Systems Corp. Medical device system
JP2009066144A (en) * 2007-09-12 2009-04-02 Olympus Medical Systems Corp Medical device system
US8454592B2 (en) 2007-09-12 2013-06-04 Olympus Medical Systems Corp. Medical device system for determining contact between first medical device and second medical device
JP2009090400A (en) * 2007-10-05 2009-04-30 National Institute Of Advanced Industrial & Technology Robot, robot control device, robot control program, and simulator for creating robot control program
JPWO2009084345A1 (en) * 2007-12-28 2011-05-19 オリンパスメディカルシステムズ株式会社 Medical device system
WO2009084345A1 (en) * 2007-12-28 2009-07-09 Olympus Medical Systems Corp. Medical instrument system
US8556803B2 (en) 2007-12-28 2013-10-15 Olympus Medical Systems Corp. Medical apparatus system
US9089256B2 (en) 2008-06-27 2015-07-28 Intuitive Surgical Operations, Inc. Medical robotic system providing an auxiliary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide
US8864652B2 (en) 2008-06-27 2014-10-21 Intuitive Surgical Operations, Inc. Medical robotic system providing computer generated auxiliary views of a camera instrument for controlling the positioning and orienting of its tip
US10258425B2 (en) 2008-06-27 2019-04-16 Intuitive Surgical Operations, Inc. Medical robotic system providing an auxiliary view of articulatable instruments extending out of a distal end of an entry guide
US9717563B2 (en) 2008-06-27 2017-08-01 Intuitive Surgical Operations, Inc. Medical robotic system providing an auxilary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide
US9516996B2 (en) 2008-06-27 2016-12-13 Intuitive Surgical Operations, Inc. Medical robotic system providing computer generated auxiliary views of a camera instrument for controlling the position and orienting of its tip
JP2012504017A (en) * 2008-09-30 2012-02-16 インテュイティブ サージカル オペレーションズ, インコーポレイテッド Medical robotic system for providing auxiliary views that are computer-generated camera device to control the placement and orientation of the distal portion
US10282881B2 (en) 2009-03-31 2019-05-07 Intuitive Surgical Operations, Inc. Rendering tool information as graphic overlays on displayed images of tools
JP2010240067A (en) * 2009-04-02 2010-10-28 Aloka Co Ltd Medical navigation system
US8903546B2 (en) 2009-08-15 2014-12-02 Intuitive Surgical Operations, Inc. Smooth control of an articulated instrument across areas with different work space conditions
US9084623B2 (en) 2009-08-15 2015-07-21 Intuitive Surgical Operations, Inc. Controller assisted reconfiguration of an articulated instrument during movement into and out of an entry guide
US10271915B2 (en) 2009-08-15 2019-04-30 Intuitive Surgical Operations, Inc. Application of force feedback on an input device to urge its operator to command an articulated instrument to a preferred pose
US9492927B2 (en) 2009-08-15 2016-11-15 Intuitive Surgical Operations, Inc. Application of force feedback on an input device to urge its operator to command an articulated instrument to a preferred pose
US9956044B2 (en) 2009-08-15 2018-05-01 Intuitive Surgical Operations, Inc. Controller assisted reconfiguration of an articulated instrument during movement into and out of an entry guide
US8918211B2 (en) 2010-02-12 2014-12-23 Intuitive Surgical Operations, Inc. Medical robotic system providing sensory feedback indicating a difference between a commanded state and a preferred pose of an articulated instrument
US9622826B2 (en) 2010-02-12 2017-04-18 Intuitive Surgical Operations, Inc. Medical robotic system providing sensory feedback indicating a difference between a commanded state and a preferred pose of an articulated instrument
WO2011114731A1 (en) * 2010-03-17 2011-09-22 富士フイルム株式会社 System, method, device, and program for supporting endoscopic observation
JP2011193885A (en) * 2010-03-17 2011-10-06 Fujifilm Corp System, method, apparatus and program for supporting endoscope observation
US9179822B2 (en) 2010-03-17 2015-11-10 Fujifilm Corporation Endoscopic observation supporting system, method, device and program
CN102811655A (en) * 2010-03-17 2012-12-05 富士胶片株式会社 System, method, device, and program for supporting endoscopic observation
US8681095B2 (en) 2010-03-29 2014-03-25 Olympus Corporation Operation input unit and manipulator system
JP2011206180A (en) * 2010-03-29 2011-10-20 Olympus Corp Operation input unit and manipulator system
WO2011122037A1 (en) * 2010-03-31 2011-10-06 富士フイルム株式会社 Endoscope observation supporting system and method, and device and programme
JP2011212245A (en) * 2010-03-31 2011-10-27 Fujifilm Corp Endoscope observation supporting system and method, and device and program
US9220468B2 (en) 2010-03-31 2015-12-29 Fujifilm Corporation Endoscope observation assistance system, method, apparatus and program
JP2013009813A (en) * 2011-06-29 2013-01-17 Olympus Corp Medical manipulator system
EP2726009A1 (en) * 2011-06-29 2014-05-07 Olympus Corporation Medical manipulator system
WO2013002405A1 (en) * 2011-06-29 2013-01-03 Olympus Corporation Medical manipulator system
EP2726009A4 (en) * 2011-06-29 2015-02-11 Olympus Corp Medical manipulator system
CN103619280A (en) * 2011-06-29 2014-03-05 奥林巴斯株式会社 Medical manipulator system
KR101828453B1 (en) 2011-12-09 2018-02-13 삼성전자주식회사 Medical robotic system and control method for thereof
JP2013121507A (en) * 2011-12-09 2013-06-20 Samsung Electronics Co Ltd Medical robot system and method for controlling the same
JP2013192623A (en) * 2012-03-16 2013-09-30 Univ Of Occupational & Environmental Health Japan Endoscope operation system
JP2015521084A (en) * 2012-06-01 2015-07-27 インテュイティブ サージカル オペレーションズ, インコーポレイテッド Collision avoidance of the manipulator arm and the patients who use the zero space
US10194997B2 (en) 2012-06-01 2019-02-05 Intuitive Surgical Operations, Inc. Manipulator arm-to-patient collision avoidance using a null-space
JP2015528713A (en) * 2012-06-21 2015-10-01 グローバス メディカル インコーポレイティッド Surgical robot platform
JP2014004656A (en) * 2012-06-25 2014-01-16 Univ Of Tsukuba Manipulation system
CN104470456A (en) * 2012-07-10 2015-03-25 现代重工业株式会社 Surgical robot system and surgical robot control method
KR101806195B1 (en) * 2012-07-10 2018-01-11 큐렉소 주식회사 Surgical Robot System and Method for Controlling Surgical Robot
JP2015527910A (en) * 2012-07-10 2015-09-24 ヒュンダイ ヘビー インダストリーズ カンパニー リミテッドHyundai Heavy Industries Co., Ltd. Surgical robotic system and surgical robot control method
US9649164B2 (en) 2012-07-10 2017-05-16 Hyundai Heavy Industries Co., Ltd. Surgical robot system and surgical robot control method
JP2014131551A (en) * 2013-01-07 2014-07-17 Akira Takebayashi Navigation device for endoscope
JP2015146981A (en) * 2014-02-07 2015-08-20 オリンパス株式会社 Operation system and operation method for operation system
US9981386B2 (en) 2014-02-18 2018-05-29 Olympus Corporation Method for controlling a manipulator device
JP2015150340A (en) * 2014-02-18 2015-08-24 オリンパス株式会社 Manipulator device control method
JP2015159955A (en) * 2014-02-27 2015-09-07 オリンパス株式会社 Surgery system and method of avoiding interference between medical instrument and organ
EP3111878A4 (en) * 2014-02-27 2017-11-01 Olympus Corporation Surgery system and method of avoiding interference with medical instrument
WO2015129834A1 (en) * 2014-02-27 2015-09-03 オリンパス株式会社 Surgery system and method of avoiding interference with medical instrument
CN106028999A (en) * 2014-02-27 2016-10-12 奥林巴斯株式会社 Surgery system and method of avoiding interference with medical instrument
JP2017514547A (en) * 2014-03-17 2017-06-08 インテュイティブ サージカル オペレーションズ, インコーポレイテッド Automatic extrusion to avoid the limited range of motion
JP2015208834A (en) * 2014-04-30 2015-11-24 ファナック株式会社 Safety monitoring device for robot gripping and transporting workpiece
US9682478B2 (en) 2014-04-30 2017-06-20 Fanuc Corporation Safety monitoring device for robot gripping and carrying workpiece
JP2017528175A (en) * 2014-07-02 2017-09-28 コヴィディエン リミテッド パートナーシップ System and method for providing the distance and orientation of the feedback between the 3d navigation
US10085616B2 (en) 2014-09-05 2018-10-02 Olympus Corporation Endoscope system configured to prevent mis-insertion of treatment tool in channel and method of operating the same
JP5932174B1 (en) * 2014-09-05 2016-06-08 オリンパス株式会社 The endoscope system
WO2017109912A1 (en) * 2015-12-24 2017-06-29 オリンパス株式会社 Medical manipulator system and image display method for same
WO2017169098A1 (en) * 2016-03-31 2017-10-05 ソニー株式会社 Control device and control method
WO2018159328A1 (en) * 2017-02-28 2018-09-07 ソニー株式会社 Medical arm system, control device, and control method
WO2018216382A1 (en) * 2017-05-26 2018-11-29 ソニー株式会社 Medical system, control device for medical support arm, and control method for medical support arm
WO2018225316A1 (en) * 2017-06-05 2018-12-13 オリンパス株式会社 Medical control device
JP2018011981A (en) * 2017-09-21 2018-01-25 キヤノン株式会社 Medical image processing apparatus

Similar Documents

Publication Publication Date Title
US8617102B2 (en) Robotic catheter system and methods
US9220567B2 (en) Microsurgical robot system
US9186046B2 (en) Robotic instrument systems and methods utilizing optical fiber sensor
US5855553A (en) Remote surgery support system and method thereof
Louw et al. Surgical robotics: a review and neurosurgical prototype development
US9767608B2 (en) Augmented reality image display system and surgical robot system comprising the same
US9717563B2 (en) Medical robotic system providing an auxilary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide
US8892224B2 (en) Method for graphically providing continuous change of state directions to a user of a medical robotic system
CN102781336B (en) Visual tracking and annotation for clinically important anatomic landmarks of the surgical intervention
US9084623B2 (en) Controller assisted reconfiguration of an articulated instrument during movement into and out of an entry guide
KR101374709B1 (en) Surgical tool position and identification indicator displayed in a boundary area of a computer display screen
US8190238B2 (en) Robotic catheter system and methods
KR101320379B1 (en) Auxiliary image display and manipulation on a computer display in a medical robotic system
Antoniou et al. Clinical applications of robotic technology in vascular and endovascular surgery
US7892243B2 (en) Surgical manipulator
Tendick et al. Applications of micromechatronics in minimally invasive surgery
US6522906B1 (en) Devices and methods for presenting and regulating auxiliary information on an image display of a telesurgical system to assist an operator in performing a surgical procedure
KR101705921B1 (en) Synthetic representation of a surgical robot
EP2349053B1 (en) Medical robotic system providing computer generated auxiliary views of a camera instrument for controlling the positioning and orienting of its tip
KR101038417B1 (en) Surgical robot system and control method thereof
US9043027B2 (en) Positive control of robotic surgical instrument end effector
US9101397B2 (en) Real-time generation of three-dimensional ultrasound image using a two-dimensional ultrasound transducer in a robotic system
EP2612616A1 (en) Surgical robot and method for controlling the same
US9795446B2 (en) Systems and methods for interactive user interfaces for robotic minimally invasive surgical systems
US10258425B2 (en) Medical robotic system providing an auxiliary view of articulatable instruments extending out of a distal end of an entry guide