JP2005021354A - Surgery remotely supporting apparatus - Google Patents

Surgery remotely supporting apparatus Download PDF

Info

Publication number
JP2005021354A
JP2005021354A JP2003189784A JP2003189784A JP2005021354A JP 2005021354 A JP2005021354 A JP 2005021354A JP 2003189784 A JP2003189784 A JP 2003189784A JP 2003189784 A JP2003189784 A JP 2003189784A JP 2005021354 A JP2005021354 A JP 2005021354A
Authority
JP
Japan
Prior art keywords
image
data
endoscope
ve
insertion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003189784A
Other languages
Japanese (ja)
Inventor
Masaya Fujita
Shoichi Gotanda
正一 五反田
征哉 藤田
Original Assignee
Olympus Corp
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp, オリンパス株式会社 filed Critical Olympus Corp
Priority to JP2003189784A priority Critical patent/JP2005021354A/en
Priority claimed from US10/858,440 external-priority patent/US20050033117A1/en
Publication of JP2005021354A publication Critical patent/JP2005021354A/en
Application status is Pending legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with signal output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement for multiple images
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection

Abstract

<P>PROBLEM TO BE SOLVED: To support a surgery by simply providing an appropriate instruction from remote apparatus relative to a live endoscopy image at a low cost on a real time basis. <P>SOLUTION: This surgery remotely supporting apparatus 1 comprises a VE image creating device 19 and a support information creating device 20. The VE image creating device 19 obtains insertion amount data and insertion tilt angle data of a rigid scope 2 from a surgery system 2 via a communication line 100 on a real time basis and creates a virtual endoscopy image (VE image), or a virtual image on a real time basis with the endoscope image picked up by the rigid scope 2 and whose visual line direction is accorded with the endoscope image, on the basis of the insertion amount data, the insertion tilt angle data and the CT image. The support information creating device 20 creates support image to be transmitted to the surgery system 2 by referring to the VE image. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【0001】 [0001]
【発明の属する技術分野】 BACKGROUND OF THE INVENTION
本発明は、画像を用いて手術を遠隔支援する遠隔手術支援装置に関する。 The present invention relates to a remote surgery supporting system for remote support surgery using image.
【0002】 [0002]
【従来の技術】 BACKGROUND OF THE INVENTION
近年、画像による診断が広く行われるようになっており、例えばX線CT(Computed Tomography)装置等により被検体の断層像を撮像することにより被検体内の3次元的なバーチャル画像データを得て、該バーチャル画像データを用いて患部の診断が行われるようになってきた。 In recent years, so that diagnosis by image is widely, for example X-ray CT (Computed Tomography) by capturing a tomographic image of the subject by the device or the like to obtain a three-dimensional virtual image data in the object , diagnosis of the affected area has come to be performed using the virtual image data.
【0003】 [0003]
CT装置では、X線照射・検出を連続的に回転させつつ被検体を体軸方向に連続送りすることにより、被検体の3次元領域について螺旋状の連続スキャン(ヘリカルスキャン:helical scan)を行い、3次元領域の連続するスライスの断層像から、3次元なバーチャル画像を作成することが行われる。 In CT apparatus, by continuously feeding the subject in the body axis direction while continuously rotating the X-ray irradiation and detection, the three-dimensional field of the subject spiral continuous scan (helical scan: helical scan) was carried out , from the tomographic image of the successive slices of the three-dimensional region, to create a three-dimensional virtual image it is performed.
【0004】 [0004]
そのような3次元画像の1つに、肺の気管支の3次元像がある。 One such three-dimensional image, there is a 3-dimensional image of the bronchus. 気管支の3次元像は、例えば肺癌等が疑われる異常部の位置を3次元的に把握するのに利用される。 3-dimensional image of the bronchi is utilized to grasp example the position of the abnormal portion lung cancer or the like is suspected three-dimensionally. そして、異常部を生検によって確認するために、気管支内視鏡を挿入して先端部から生検針や生検鉗子等を出して組織のサンプル(sample)を採取することが行われる。 Then, the abnormal part in order to confirm by biopsy, is performed by the front end portion by inserting a bronchoscope out a biopsy needle or biopsy forceps taken tissue samples (sample).
【0005】 [0005]
気管支のような多段階の分岐を有する体内の管路では、異常部の所在が分岐の末梢に近いとき、内視鏡の先端を短時間で正しく目的部位に到達させることが難しいために、例えば特開2000−135215号公報等では、被検体の3次元領域の画像データに基づいて前記被検体内の管路の3次元像を作成し、前記3次元像上で前記管路に沿って目的点までの経路を求め、前記経路に沿った前記管路の仮想的な内視像を前記画像データに基づいて作成し、前記仮想的な内視像を表示することで、気管支内視鏡を目的部位にナビゲーションする装置が提案されている。 In the body of the pipe having a branch of a multi-stage such as bronchial, when the location of the abnormal portion is close to a branch of peripheral, because it is difficult to reach the correct target site with the distal end of the endoscope in a short time, e.g. in JP-2000-135215 discloses such, to create a three-dimensional image of the conduit in the subject based on the image data of the three-dimensional region of the object, along the line on the three-dimensional image object seeking a route to the point, a virtual endoscopic image of the conduit along the path created on the basis of the image data and displaying the virtual endoscopic image, a bronchoscope to navigate to the target site devices have been proposed.
【0006】 [0006]
ところで、腹部領域の体内の臓器を被検体とする診断においては、従来より、上記同様に主に腹部領域内の被検体の3次元的なバーチャル画像を作成し、これを表示しながら診断するための画像解析ソフトが実用化されている。 Incidentally, the organ in the body of the abdominal area in the diagnosis of a subject, conventionally, since the same manner as described above mainly creates a three-dimensional virtual image of the subject in the abdominal area, diagnosing while displaying this image analysis software has been put into practical use.
【0007】 [0007]
この種の画像解析ソフトを用いた画像システムは、医師が術前に予め患者の腹部領域内等の被検体の病変部の変化をそのバーチャル画像を見ながら把握するための診断に用いられており、通常、デスク上で行われているが一般的である。 Imaging system using the image analysis software of this type are used in the diagnosis for grasping while a change in the lesion of the subject of the abdominal region or the like of the patient in advance before doctors surgery watching the virtual image , which is usually, it has been carried out on a desk general.
【0008】 [0008]
【特許文献1】 [Patent Document 1]
特開2000−135215号公報【0009】 Japanese Unexamined Patent Publication No. 2000-135215 Publication [0009]
【発明が解決しようとする課題】 [Problems that the Invention is to Solve
しかしながら、この画像システムを用いて遠隔施設より指示を提供しようとした場合、内視鏡ライブ画像に合わせて視線方向等のパラメータ入力を画像システムに行わなければならず使い勝手が悪かった。 However, the image system using if you try to provide an indication from the remote facility, usability must be performed parameter input, such as line-of-sight direction in accordance with the endoscopic live image to the image system is poor.
【0010】 [0010]
本発明は、上記事情に鑑みてなされたものであり、簡単でかつ安価でリアルタイムに、ライブの内視鏡画像に対して、遠隔施設より適切な指示を提供することで手術を支援することのできる遠隔手術支援装置を提供することを目的としている。 The present invention has been made in view of the above circumstances, the real time in a simple and inexpensive, with respect to the live endoscopic image, that the supporting surgery by providing an appropriate instruction from the remote facility and its object is to provide a remote surgery supporting system possible.
【0011】 [0011]
【課題を解決するための手段】 In order to solve the problems]
本発明の遠隔手術支援装置は、視野方向を特定可能な内視鏡を体内に刺入し該内視鏡により撮像された内視鏡画像による観察下で行われる手術を実施する手術システムに対して支援情報を通信回線を介して遠隔的に提供する遠隔手術支援装置において、前記体腔内の複数のCT画像データを記憶するCT画像記憶手段と、前記手術システムより前記内視鏡の前記体腔内への挿入位置、前記内視鏡の体内挿入量データ及び前記内視鏡の挿入傾斜角データを前記通信回線を介して入力するデータ入力手段と、前記挿入位置データ、前記挿入量データ及び前記挿入傾斜角データに基づき、前記複数のCT画像データより前記内視鏡画像とリアルタイムに同期した仮想内視鏡像を構築する仮想画像構築手段とを備えて構成される。 Remote surgery supporting apparatus of the present invention, with respect to the surgical system implementing the surgery carried out under observation of identifiable endoscope viewing direction of the endoscope image captured by the endoscope to pierce the body provided remotely via a communication line help information Te in a remote surgery supporting system, a CT image storage means for storing a plurality of CT image data of the body cavity, the body cavity of the endoscope from the surgical system insertion position to a data input means for the insertion inclination angle data of the body insertion amount data and the endoscope of the endoscope to enter via the communication line, the insertion position data, the insertion amount data and said insertion based on the tilt angle data, constituted by a virtual image construction means for constructing a virtual endoscopic image in synchronization with the endoscopic image in real time from the plurality of CT image data.
【0012】 [0012]
【発明の実施の形態】 DETAILED DESCRIPTION OF THE INVENTION
以下、図面を参照しながら本発明の実施の形態について述べる。 Hereinafter, we describe embodiments of the present invention with reference to the drawings.
【0013】 [0013]
図1ないし図12は本発明の第1の実施の形態に係わり、図1は遠隔手術支援装置及び手術システムの構成を示す構成図、図2は図1の硬性鏡の使用状態を示す図、図3は図2の硬性鏡の構成を示す図、図4は図2のトラカールの要部の構成を示す図、図5は図1の遠隔手術支援装置及び手術システムの処理の流れを示す第1のフローチャート、図6は図1の遠隔手術支援装置及び手術システムの処理の流れを示す第2のフローチャート、図7は図1のVE画像表示モニタに表示されるVE表示画面を示す図、図8は図1の支援情報生成装置が生成する支援画像を示す図、図9は図1の内視鏡画像表示モニタに表示される内視鏡画像の第1の例を示す図、図10は図9の内視鏡画像に対応して表示されるVE表示画面を示す図、図11は図1 1 to 12 relates to a first embodiment of the present invention, FIG. 1 is a configuration diagram showing a configuration of a remote surgery supporting system and operation system, Figure 2 is a view showing a use state of the rigid endoscope of Fig 1, Figure 3 is a shows the flow of FIG, 4 is a diagram showing a structure of a main portion of a trocar of FIG. 2, FIG. 5 is the processing of the remote surgery supporting system and operation system of Figure 1 showing the configuration of the rigid endoscope of Fig 2 1 of the flow chart, FIG 6 is a second flowchart showing the flow of processing of a remote surgery supporting system and operation system of Figure 1, Figure 7 shows a VE display screen displayed on VE image display monitor of FIG 1, FIG. 8 is a diagram showing a help image generated by the support information generating apparatus of FIG. 1, FIG. 9 shows a first example of an endoscopic image displayed on the endoscope image display monitor of FIG 1, FIG. 10 shows a VE display screen displayed in response to the endoscopic image of FIG. 9, FIG. 11 FIG. 1 内視鏡画像表示モニタに表示される内視鏡画像の第2の例を示す図、図12は図11の内視鏡画像に対応して表示されるVE表示画面を示す図である。 It shows a second example of an endoscopic image displayed on the endoscope image display monitor, FIG. 12 is a diagram showing a VE display screen displayed in response to the endoscopic image of FIG. 11.
【0014】 [0014]
図1に示すように、本実施の形態の遠隔手術支援装置1は手術室より離れた支援室に配置され、手術室に配置された手術システム2を通信回線100を介して遠隔的に支援する装置である。 As shown in FIG. 1, a remote surgery supporting system 1 of this embodiment is arranged in support room apart from the operating room, remotely support via the communication line 100 a surgical system 2 arranged in the operating room it is a device.
【0015】 [0015]
手術システム2は、硬性鏡3、システムコントローラ4、CCU5、光源装置6、気腹器7、電気メス8,超音波処置装置9、VTR10、支援情報再生装置18等を手術室に配置して構成され、遠隔手術支援装置1は、VE画像生成装置19及び支援情報生成装置20を手術室外に配置して構成され、手術システム2と遠隔手術支援装置1とが通信回線100を介して接続されている。 Surgical system 2 is rigid endoscope 3, the system controller 4, CCU 5, the light source apparatus 6, insufflator 7, electric knife 8, the ultrasonic treatment device 9, VTR 10, disposed in the operating room support information reproducing apparatus 18 such as a configuration is, the remote surgery supporting system 1 is constructed by arranging the VE image generation apparatus 19 and a support information generating device 20 to the surgical outside, it is connected via a surgical system 2 and the remote surgery supporting system 1 and the communication line 100 there.
【0016】 [0016]
まず、手術システム2の詳細について説明する。 First, details of the surgical system 2. 硬性鏡2の撮像部11で撮像された撮像信号はCCU5に伝送され画像処理された後に画像を録画するVTR10及びシステムコントローラ4に出力される。 Imaging signal by the imaging unit 11 of the rigid endoscope 2 is outputted to the VTR10 and the system controller 4 for recording an image after being transmitted image processing CCU 5.
【0017】 [0017]
システムコントローラ4は、CCU5、光源装置6、気腹器7、電気メス8,超音波処置装置9、VTR10の各装置と設定情報を送受する通信I/F部12と、各種プログラムを格納しているメモリ13と、CCU5からの画像信号を内視鏡画像表示モニタ14に表示させる表示I/F部15と、これら各部を制御するCPU16とから構成される。 The system controller 4, CCU 5, the light source apparatus 6, and the insufflator 7, electric knife 8, the communication I / F 12 for transmitting and receiving configuration information with each device of the ultrasonic operating apparatus 9, VTR 10, and stores various programs a memory 13 which are, a display I / F section 15 to be displayed on the endoscope image display monitor 14 the image signal from the CCU 5, consisting of CPU16 which controls these units.
【0018】 [0018]
なお、システムコントローラ4のCPU16には通信I/F部12を介してリモコン17が接続され、このリモコン17により各種データの入力が可能となっている。 Incidentally, the CPU16 of the system controller 4 a remote control 17 is connected via the communication I / F 12, input of various data is made possible by the remote controller 17.
【0019】 [0019]
硬性鏡3には、硬性鏡3の挿入量を検出する挿入量検出部21、硬性鏡3の挿入傾斜角を検出する傾斜角センサ22が設けられ、挿入量検出部21が検出した挿入量データ及び傾斜角センサ22が検出した挿入傾斜角データがシステムコントローラ4の通信I/F部12を介してCPU16に入力され、CPU16は挿入量データ及び挿入傾斜角データを通信I/F部12を介して情報転送I/F部24に出力し、情報転送I/F部24により通信回線100を介して遠隔手術支援装置1の情報転送I/F部25に伝送される。 The rigid endoscope 3, the insertion amount detecting section 21 for detecting the amount of insertion of the rigid endoscope 3, the inclination angle sensor 22 is provided for detecting the insertion angle of inclination of the rigid endoscope 3, the insertion amount of data insertion amount detecting section 21 detects and the inclination angle sensor 22 detects insertion inclination angle data is input to the CPU 16 via the communication I / F unit 12 of the system controller 4, CPU 16 is via the communication I / F section 12 the insertion amount data and the insertion inclination angle data output to the information transfer I / F section 24 Te, via the communication line 100 by the information transfer I / F unit 24 is transmitted to the information transfer I / F section 25 remote surgery supporting device 1.
【0020】 [0020]
支援情報再生装置18は、遠隔手術支援装置1の情報転送I/F部25、通信回線100を介して情報転送I/F部24が入力した遠隔手術支援装置1の支援情報生成装置20からの支援画像情報及び支援音声情報からなる支援情報を再生する装置であって、支援画像情報を入力する映像I/F部31と、映像I/F部31が入力した画像情報に基づく内視鏡画像+支持情報からなる支援画像をモニタ32に表示する表示I/F部33と、支援音声情報を入力しスピーカ34により再生させる音声I/F部35とから構成される。 Support information reproducing apparatus 18, the remote surgery supporting system 1 information transfer I / F unit 25, the remote surgery supporting device 1 through the communication line 100 the information transfer I / F unit 24 is inputted from the support information generating unit 20 an apparatus for reproducing a support information consisting of support image information and support voice information, a video I / F unit 31 for inputting support image information, an endoscope image based on image information by the video I / F unit 31 is inputted + a display I / F unit 33 for displaying an assistant image consisting of the support information to the monitor 32, and a voice I / F unit 35 for regenerating the speaker 34 inputs the support voice information.
【0021】 [0021]
硬性鏡3は、図2に示すように、トラカール36,37を介して電気メス6や超音波処置装置9等の処置具38と共に患者39の体内に挿入される。 Rigid endoscope 3, as shown in FIG. 2, is inserted into the patient 39 along with the treatment instrument 38 such as an electric knife 6 and the ultrasonic operating apparatus 9 through the trocar 36 and 37.
【0022】 [0022]
硬性鏡3は、図3に示すように、挿入基端側にTVカメラ40を備え、さらに挿入基端側の把持部41には傾斜角センサ22が設けられている。 Rigid endoscope 3, as shown in FIG. 3, comprises a TV camera 40 to the insertion base end side, and the inclination angle sensor 22 is provided further to the grip portion 41 of the insertion base end side. この傾斜角センサ22はジャイロ等により硬性鏡3の挿入傾斜角を計測しシステムコントローラ4に出力する。 The tilt angle sensor 22 outputs to the system controller 4 measures the insertion inclination angle of the rigid endoscope 3 by gyro.
【0023】 [0023]
また、図4に示すように、硬性鏡3の挿入部42を患者39の体内へと導くトラカール36の基端側には挿入量検出部21が設けられており、挿入量検出部21は、挿入部42の外周面と接触し挿入部42の挿入に従って回転するローラ43と、ローラ43の回転量を検出し挿入部42の挿入量としてシステムコントローラ4に出力するロータリーエンコーダ44とから構成される。 Further, as shown in FIG. 4, the insertion portion 42 of the rigid endoscope 3 and the insertion amount detecting section 21 provided at the base end of the trocar 36 leading to the patient's body 39, the insertion amount detecting section 21, composed of a roller 43 which rotates, the rotary encoder 44 for outputting as an insertion amount of the detected insertion portion 42 the amount of rotation of the roller 43 to the system controller 4 according to the insertion of the insertion portion 42 contacts the outer peripheral surface of the insertion portion 42 .
【0024】 [0024]
次に、遠隔手術支援装置1の詳細について説明する。 Next, details of the remote surgery supporting system 1. VE画像生成装置19は、硬性鏡2の挿入量データ及び挿入傾斜角データを手術システム2から通信回線100を介してリアルタイムに入手し、挿入量データ、挿入傾斜角データ及び予めCT装置(図示せず)により得られたCT画像に基づき、硬性鏡2が撮像した内視鏡画像にリアルタイムで且つ視線方向が一致した仮想的な画像であるバーチャルエンドスコピー画像(VE画像)を生成する装置であって、支援情報生成装置20はVE画像を参照して手術システム2に伝送する支援画像を生成する装置である。 VE image generating apparatus 19, to obtain in real time of the rigid endoscope 2 inserted amount data and the insertion inclination angle data from the surgical system 2 via the communication line 100, the insertion amount data, insertion inclination angle data and the pre-CT apparatus (shown based on the CT image obtained by not), there in an apparatus for generating virtual endoscopy copy image (VE image) rigid endoscope 2 is a virtual image and viewing direction in real-time endoscopic image captured matches Te, support information generating device 20 is a device for generating an assistant image to be transmitted to surgical system 2 with reference to the VE image.
【0025】 [0025]
具体的には、図1に示すように、VE画像生成装置19は、複数のCT画像より構築されたCT画像DB(データベース)を格納している記録部51と、各種プログラムを格納しているメモリ52と、情報転送I/F部25を介して伝送されてきた手術システム2からの挿入量検出部21が検出した挿入量データ及び傾斜角センサ22が検出した挿入傾斜角データを受信する通信I/F部53と、通信I/F部53により得られた挿入量データ、挿入傾斜角データ及びCT画像DBのCT画像に基づきVE画像を構築するVE画像構築部54と、VE画像構築部54が構築したVE画像をVE画像表示モニタ55に表示させる表示I/F部56と、これら各部を制御するCPU57とから構成され、CPU57には各種データを入力するため Specifically, as shown in FIG. 1, VE image generating apparatus 19 includes a recording unit 51 that stores the CT image DB constructed from a plurality of CT images (database) stores various programs communication receiving a memory 52, an insertion inclination angle data insertion amount detecting section 21 detects the insertion amount data and the inclination angle sensor 22 detects from the surgical system 2 which has been transmitted through the information transfer I / F section 25 an I / F section 53, the insertion amount data obtained by the communication I / F section 53, a VE image constructing unit 54 for constructing the VE image based on CT image of the insertion inclination angle data and the CT image DB, VE image constructing unit the VE image 54 is constructed with the display I / F section 56 to be displayed on the VE image display monitor 55 is constituted by a CPU57 which controls these units, for inputting various data to CPU57 キーボード58及びマウス59が接続されている。 Keyboard 58 and mouse 59 are connected.
【0026】 [0026]
支援情報生成装置20は、情報転送I/F部24,25及び通信回線100を介して伝送されるCCU5からの内視鏡画像を受信する映像I/F部61と、映像I/F部61が得た内視鏡画像をデジタルの内視鏡画像データに変換する内視鏡画像入力部62と、内視鏡画像データに重畳する矢印画像を構築する矢印画像構築部63と、内視鏡画像入力部62からの内視鏡画像データに矢印画像構築部63からの矢印画像を重畳して合成画像を生成する画像合成部64と、内視鏡画像データ上に重畳させる矢印画像の位置情報を入力する指示情報入力部65からの指示情報を受信する通信I/F部66と、指示音声を入力するマイク67からの音声データを入力する音声I/F部68と、画像合成部64からの合成画像である内視鏡画像+支持 Support information generating unit 20 includes a video I / F unit 61 for receiving an endoscopic image from CCU5 transmitted via the information transfer I / F section 24, 25 and the communication line 100, the video I / F section 61 an endoscope image input unit 62 for converting an endoscopic image is obtained on the digital endoscope image data, and the arrow image constructing unit 63 for constructing the arrow image to be superimposed on the endoscopic image data, the endoscope an image combining unit 64 for generating a superimposed composite image the arrow image from the endoscopic image data in the arrow image constructing unit 63 from the image input unit 62, the position information of the arrow images to be superimposed on the endoscopic image data a communication I / F unit 66 receives the instruction information from the instruction information input unit 65 for inputting a voice I / F unit 68 for inputting audio data from the microphone 67 for inputting an instruction sound, from the image synthesizing unit 64 endoscopic image is a composite image + support 報からなる支援画像をモニタ69に表示させる表示I/F部70と、各種プログラムを格納しているメモリ71と、これら各部を制御するCPU72とを備えて構成され、音声I/F部68は音声データを、また表示I/F部70は支援画像を情報転送I/F部24,25及び通信回線100を介して手術システム2の支援情報再生装置18に出力するようになっている。 A display I / F unit 70 for displaying the help image consisting broadcast to the monitor 69, a memory 71 which stores various programs, constructed and a CPU72 for controlling these units, audio I / F section 68 audio data, and the display I / F unit 70 is arranged to output the support information reproducing apparatus 18 of the surgical system 2 via the information transfer I / F section 24, 25 and the communication line 100 to support image.
【0027】 [0027]
このように構成された本実施の形態の作用について説明する。 The thus configured for operation of the present embodiment will be described. 図5及び図6に示すように、ステップS1においてシステムコントローラ4のCPU16は手術システム2のシステムコントローラ4に接続されているリモコン17を用いて硬性鏡3の患者39の体内への挿入位置である(内視鏡)挿入点の座標を入力する。 As shown in FIGS. 5 and 6, is the insertion position into the body of the rigid endoscope 3 patients 39 using the remote controller 17 CPU 16 of the system controller 4 that is connected to the system controller 4 of the surgical system 2 in step S1 inputting the coordinates of (endoscope) insertion point. この座標系はCT画像の座標系と一致している。 This coordinate system is consistent with the coordinate system of the CT image.
【0028】 [0028]
そして、ステップS2においてCPU16は傾斜角センサ22により硬性鏡3の挿入傾斜角データを測定・入力し、ステップS3において挿入点の座標データ及び挿入傾斜角データからなる入力情報を遠隔手術支援装置1のVE画像生成装置19に転送する。 Then, CPU 16 has an insertion inclination angle data of the rigid endoscope 3 measured and inputted by the inclination angle sensor 22 in step S2, the input information comprising the coordinate data and the insertion inclination angle data of the insertion point in step S3 of the remote surgery supporting system 1 transferred to the VE image generating apparatus 19.
【0029】 [0029]
ステップS4においてVE画像生成装置19のCPU57は遠隔手術支援装置1のVE画像生成装置19が挿入点の座標データ及び挿入傾斜角データからなる入力情報を受信・入力すると、ステップS5においてCPU57は(内視鏡)挿入点の座標データ及び挿入傾斜角データに基づきVE画像の倍率・視線方向を決定し、ステップS6においてVE画像構築部54が倍率・視線方向に基づきVE画像を生成し、表示I/F部56によりVE画像をVE画像表示モニタ55に表示させる。 VE CPU 57 of the image generation device 19 when the VE image generating apparatus 19 of the remote surgery supporting system 1 receives, inputs the input information consisting of the insertion point coordinate data and the insertion inclination angle data in step S4, CPU 57 at step S5 (the inner determining the magnification and viewing direction of the VE image based on the coordinate data and the insertion inclination angle data endoscope) insertion point, VE image construction unit 54 generates a VE image based on the magnification-viewing direction in step S6, the display I / the F unit 56 to display the VE image on VE image display monitor 55.
【0030】 [0030]
このVE画像は、図7に示すようなVE画像表示モニタ55に表示されるVE表示画面101のVE画像表示エリア102に表示される。 The VE image is displayed on VE image display area 102 of the VE display screen 101 displayed on the VE image display monitor 55 as shown in FIG. VE表示画面101は、VE画像構築部34により生成されたVE画像を表示するVE画像表示エリア102、VE画像に関連した複数の2次元CT画像を表示する2次元画像表示エリア103と、硬性鏡2の挿入点(x0,y0,z0)を表示する挿入点表示欄104と、トラッキングの開始及び停止を指示するスタート/ストップボタン105と、表示倍率を変更する表示倍率変更入力部106等より構成される。 VE display screen 101 includes a two-dimensional image display area 103 for displaying a plurality of two-dimensional CT image associated with the VE image display area 102, VE picture to see VE image generated by VE image construction unit 34, a rigid endoscope 2 of the insertion point and (x0, y0, z0) insertion point display column 104 for displaying a start / stop button 105 for instructing start and stop of the tracking, composed of like display magnification changing input unit 106 to change the display magnification It is.
【0031】 [0031]
そして、このVE画像を参照して、ステップS7において支援情報生成装置20では、CPU72が図8に示すような患部位置を示す矢印画像109を内視鏡画像108上に重畳させた支援画像110を生成すると共に表示I/F部70を介して支援画像110をモニタ69に表示させる。 Then, with reference to the VE images, the support information generating unit 20 in step S7, the support image 110 superimposed on the endoscopic image 108 on the arrow image 109 indicating the affected area position as CPU72 is shown in FIG. 8 via the display I / F unit 70 to display the help image 110 on the monitor 69 together with the generated.
【0032】 [0032]
ステップS7においては、支援画像110の生成・表示だけでなく、手術室への支援音声をマイク67により入力する。 In step S7, not only the generation and display of assistance image 110, the support voice to the operating room to enter by the microphone 67. そして、CPU72が生成された支援画像データ及び入力された支援音声データを通信回線100を介して手術システム2に伝送する。 Then transmitted to the surgical system 2 via the communication line 100 to support voice data CPU72 is assisted image data and the input is generated.
【0033】 [0033]
支援画像データ及び入力された支援音声データが伝送された手術システム2では、ステップS8において、支援情報生成装置20により支援画像110をモニタ32に表示すると共に支援音声をスピーカ34により再生させる。 In support image data and the input-assisted surgery system audio data is transmitted twice, in step S8, the supporting audio is reproduced by a speaker 34 and displays on the monitor 32 to support image 110 by support information generating unit 20.
【0034】 [0034]
このようにして最初の支援画像110が表示され、ステップS9においてトラッキング(VE画像のライブ画像への追従)が開始されると、ステップS10においてシステムコントローラ4のCPU16は傾斜角センサ22により硬性鏡3の挿入傾斜角データを測定し、ステップS11においてCPU16は挿入量検出部21により硬性鏡3の挿入量データを測定する。 Thus the first support image 110 is displayed, the tracking (follow-up to the live image of the VE image) is started in step S9, the rigid endoscope 3 by the inclination angle sensor 22 CPU 16 of the system controller 4 in step S10 the insertion inclination angle data measured for, CPU 16 measures the insertion amount data of the rigid endoscope 3 by the insertion amount detecting section 21 in step S11.
【0035】 [0035]
そして、ステップS12においてCPU16は挿入量データあるいは挿入傾斜角データのいずれかに変化があるかどうか判断し、変化がない場合にはステップS10に戻り、変化があるステップS13においてCPU16は挿入量データ及び挿入傾斜角データからなる入力情報を遠隔手術支援装置1のVE画像生成装置19に転送する。 Then, CPU 16 determines whether there is a change in either the insertion amount data or insertion inclination angle data in step S12, it returns to step S10 when there is no change, CPU 16 in step S13 that there is a change in insertion amount data and transferring input information consisting of the insertion inclination angle data VE image generating apparatus 19 of the remote surgery supporting system 1.
【0036】 [0036]
ステップS14においてVE画像生成装置19のCPU57は遠隔手術支援装置1のVE画像生成装置19が挿入量データ及び挿入傾斜角データからなる入力情報を受信・入力すると、ステップS15においてCPU57は挿入量データ及び挿入傾斜角データに基づきVE画像の倍率・視線方向を決定し、ステップS16においてVE画像構築部54が倍率・視線方向に基づきVE画像を生成し、表示I/F部56によりVE画像をVE画像表示モニタ55に表示させる。 VE CPU 57 of the image generation device 19 when the VE image generating apparatus 19 of the remote surgery supporting system 1 receives, inputs the input information consisting of the insertion amount data and the insertion inclination angle data in step S14, CPU 57 at step S15 insertion amount data and the magnification and viewing direction of the VE image determined based on the insertion angle of inclination data, VE image construction unit 54 generates a VE image based on the magnification-viewing direction in step S16, the VE image VE image by the display I / F section 56 to be displayed on the display monitor 55.
【0037】 [0037]
そして、このVE画像を参照して、ステップS17において支援情報生成装置20では、CPU72が患部位置を示す矢印画像を内視鏡画像データ上に重畳させた支援画像110を生成すると共に表示I/F部70を介して内視鏡画像+支持情報からなる支援画像110をモニタ69に表示させる。 Then, with reference to the VE images, the support information generating unit 20 in step S17, the display generates the assistant image 110 is superimposed on the endoscopic image data arrow image CPU72 indicates the position of an affected part I / F displaying an assistant image 110 consisting of an endoscopic image + support information to the monitor 69 via the section 70.
【0038】 [0038]
このステップS17においては、支援画像110の生成・表示だけでなく、手術室への支援音声をマイク67により入力する。 In this step S17, not only the generation and display of assistance image 110, the support voice to the operating room to enter by the microphone 67. そして、CPU72が生成された支援画像データ及び入力された支援音声データを通信回線100を介して手術システム2に伝送する。 Then transmitted to the surgical system 2 via the communication line 100 to support voice data CPU72 is assisted image data and the input is generated.
【0039】 [0039]
支援画像データ及び入力された支援音声データが伝送された手術システム2では、ステップS18において、支援情報生成装置20により支援画像110をモニタ32に表示すると共に支援音声をスピーカ34により再生させる。 In support image data and the input-assisted surgery system audio data is transmitted twice, in step S18, the assist sound is reproduced by a speaker 34 and displays on the monitor 32 to support image 110 by support information generating unit 20.
【0040】 [0040]
そして、システムコントローラ4のCPU16は、ステップS19においてリモコン17から支援終了指示があるかどうかを判断し、ない場合にはステップS10に戻り、ある場合には処理を終了する。 Then, CPU 16 of the system controller 4 determines whether there is a support end instruction from the remote controller 17 in step S19, if no returns to step S10, and ends the process in some cases.
【0041】 [0041]
このステップS10〜S19の処理により、VE画像生成装置19においては例えば図9に示すようなライブの内視鏡画像14aが内視鏡画像表示モニタ14に表示される際は、VE表示画面101においては、このライブの内視鏡画像14aの視線方向と大きさ(倍率)一致したリアルタイムの、図10に示すような例えば臓器部分を消した血管配置仮想画像102aがVE画像表示エリア102に表示される。 By the process of step S10~S19, when the VE image generating apparatus 19 is displayed on the endoscope image display monitor 14 is an endoscopic image 14a live as shown in FIG. 9, for example, in the VE display screen 101 , the endoscopic image 14a gaze direction and magnitude of the live (magnification) the real-time match, the blood vessel disposed virtual image 102a such that for example, turned off the organ parts as shown in FIG. 10 is displayed on the VE image display area 102 that.
【0042】 [0042]
また、図9の状態から硬性鏡2を傾け、図11に示すようなライブの内視鏡画像14bが内視鏡画像表示モニタ14に表示されると、これに追随(トラッキング)してライブの内視鏡画像14bの視線方向と大きさ(倍率)一致したリアルタイムの、図12に示すような例えば臓器部分を消した血管配置仮想画像102bがVE画像表示エリア102に表示される。 Further, from the state of FIG. 9 Tilt the rigid endoscope 2, the endoscope image 14b live as shown in FIG. 11 is displayed on the endoscope image display monitor 14, which followers (tracking) and the live endoscopic image 14b of the line of sight direction and magnitude (ratio) was the real-time match, the blood vessel disposed virtual image 102b that erased such example organ parts as shown in FIG. 12 is displayed on the VE image display area 102.
【0043】 [0043]
このように本実施の形態によれば、通信回線100を用い、手術室以外の離れた場所にある支援室に硬性鏡3の挿入量及び挿入傾斜角を伝送することで、該遠隔支援室にいる指導医師がライブ内視鏡画像にリアルタイムにトラッキング(追従)したVE画像を参照して支援画像や支援音声を手術室の術者に提供するので、術者に対して簡単かつ安価に適切な手技支援を行うことができる。 According to the present embodiment, using the communication line 100, by transmitting the insertion amount and insertion angle of inclination of the rigid endoscope 3 in assistance chamber in a remote location other than the operating room, to the remote support chamber since the guidance physicians to provide a reference to support image and support voice VE image tracking (follow-up) in real-time to live endoscopic image in the operating room of the operator who is, easily and inexpensively appropriate for the operator it is possible to perform the procedure support.
【0044】 [0044]
図13は本発明の第2の実施の形態に係る遠隔手術支援装置及び手術システムの構成を示す構成図である。 Figure 13 is a block diagram showing a configuration of a remote surgery supporting system and operation system according to a second embodiment of the present invention.
【0045】 [0045]
第2の実施の形態は、第1の実施の形態とほとんど同じであるので、異なる点のみ説明し、同一の構成には同じ符号をつけ説明は省略する。 Second embodiment is the almost same as the first embodiment, only different points described, the description with the same reference numerals are given to the same configuration is omitted.
【0046】 [0046]
図13に示すように、手術システム2には、遠隔手術支援装置1のVE画像生成装置19が生成したVE画像データを入力しVE画像表示モニタ201に表示させるVE画表示装置202を備え、該VE画表示装置202は、情報転送I/F部24,25及び通信回線100を介してVE画像データを入力する映像I/F部203と、入力したVE画像データによりVE画をVE画像表示モニタ201に表示させる表示I/F部204とから構成される。 As shown in FIG. 13, the surgical system 2 comprising a VE image display device 202 to be displayed on VE image display monitor 201 inputs the VE image data VE image generating apparatus 19 of the remote surgery supporting system 1 is generated, the VE-image display device 202, information transfer I / F section 24, 25 and a video I / F unit 203 via the communication line 100 inputs the VE image data, VE image display monitor VE image by the input VE image data 201 and a display I / F section 204. to be displayed on. その他の構成は第1の実施の形態と同じである。 The other structure is the same as the first embodiment.
【0047】 [0047]
本実施の形態では、第1の実施の形態で説明したステップS7あるいは17において、援画像データ及び入力された支援音声データを通信回線100を介して手術システム2に伝送するだけでなく、VE画像データも通信回線100を介して手術システム2に伝送され、VE画像が手術室に設けられたVE画像表示モニタ201に表示される。 In this embodiment, not only transmitted in step S7 or 17 described in the first embodiment, the surgical system 2 via the communication line 100 the assistance image data and the input support voice data, VE image data is also transmitted to the surgical system 2 via the communication line 100, VE image is displayed on VE image display monitor 201 provided in the operating room. その他の作用は第1の実施の形態と同じである。 Other operations are the same as in the first embodiment.
【0048】 [0048]
本実施の形態によれば、第1の実施の形態の効果に加え、手術室の術者もVE画像表示モニタ201に表示されたVE画像を参照することが出来るので、支援医師との支援環境をより強固なものとすることが可能となる。 According to this embodiment, in addition to the effect of the first embodiment, since the operating room surgeon also can refer to VE image displayed on VE image display monitor 201, support the support doctor environment it is possible to make a more strong.
【0049】 [0049]
図14は本発明の第3の実施の形態に係る遠隔手術支援装置及び手術システムの構成を示す構成図である。 Figure 14 is a block diagram showing a configuration of a remote surgery supporting system and operation system according to a third embodiment of the present invention.
【0050】 [0050]
第3の実施の形態は、第2の実施の形態とほとんど同じであるので、異なる点のみ説明し、同一の構成には同じ符号をつけ説明は省略する。 Third embodiment, since the second embodiment and is substantially the same, only the differences described, the description with the same reference numerals are given to the same configuration is omitted.
【0051】 [0051]
本実施の形では、VE画像表示モニタ201に表示するVE画像を遠隔手術支援装置1に設けられたVE画像生成装置19と同等の構成のVE画像生成装置301を手術システムに設けて構成される。 In a form of this embodiment, configured to provide a VE image generation apparatus 301 of the VE image displayed on VE image display monitor 201 equivalent to the remote surgery supporting system VE image generating apparatus 19 provided in the 1 configured surgery system .
【0052】 [0052]
VE画像生成装置301は、VE画像生成装置19と同様に、複数のCT画像より構築されたCT画像DB(データベース)を格納している記録部351と、各種プログラムを格納しているメモリ352と、挿入量検出部21が検出した挿入量データ及び傾斜角センサ22が検出した挿入傾斜角データをシステムコントローラ4より受信する通信I/F部353と、通信I/F部353により得られた挿入量データ、挿入傾斜角データ及びCT画像DBのCT画像に基づきVE画像を構築するVE画像構築部354と、VE画像構築部354が構築したVE画像をVE画像表示モニタ201に表示させる表示I/F部356と、これら各部を制御するCPU357とから構成され、CP3U57には各種データを入力するためのキーボード3 VE image generation apparatus 301, similar to the VE image generating apparatus 19, a recording unit 351 which stores the CT image DB constructed from a plurality of CT images (database), a memory 352 stores various programs insertion, a communication I / F unit 353 insertion amount data and the inclination angle sensor 22 insertion amount detecting section 21 has detected is received from the system controller 4 insertion inclination angle data detected, obtained by the communication I / F unit 353 the amount data, the VE image construction unit 354 for constructing the VE image based on CT image of the insertion inclination angle data and the CT image DB, display displays the VE image VE image construction unit 354 is constructed VE image display monitor 201 I / F section 356 is composed of a CPU357 which controls these units, a keyboard 3 for inputting various data to CP3U57 8及びマウス359が接続されている。 8 and a mouse 359 are connected. その他の構成及び作用は第2の実施の形態と同じである。 Other structures and functions are the same as the second embodiment.
【0053】 [0053]
本実施の形態によれば、第1の実施の形態の効果に加え、VE画像表示モニタ201に表示するVE画像をVE画像生成装置301が生成するので、通信回線100を介して遠隔手術支援装置1のVE画像生成装置19よりVE画像を伝送する必要が無いので、通信回線100の通信トラフィックが軽減でき、通信環境を大幅に改善することが可能となる。 According to this embodiment, in addition to the effect of the first embodiment, since the VE image displayed on VE image display monitor 201 VE image generating apparatus 301 generates a remote surgery supporting system through a communication line 100 it is not necessary to transmit one of the VE image from VE image generating apparatus 19 is not provided, the communication traffic of the communication line 100 can be reduced and it is possible to greatly improve the communication environment.
【0054】 [0054]
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。 The present invention is not intended to be limited to the embodiments described above, within the range not changing the gist of the present invention, various changes and modifications are possible.
【0055】 [0055]
【発明の効果】 【Effect of the invention】
以上説明したように本発明によれば、簡単でかつ安価でリアルタイムに、ライブの内視鏡画像に対して、遠隔施設より適切な指示を提供することで手術を支援することができるという効果がある。 According to the present invention described above, in real time with simple and inexpensive, with respect to the live endoscopic image, the effect of surgery by providing an appropriate instruction from the remote facility can support is there.
【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS
【図1】本発明の第1の実施の形態に係る遠隔手術支援装置及び手術システムの構成を示す構成図【図2】図1の硬性鏡の使用状態を示す図【図3】図2の硬性鏡の構成を示す図【図4】図2のトラカールの要部の構成を示す図【図5】図1の遠隔手術支援装置及び手術システムの処理の流れを示す第1のフローチャート【図6】図1の遠隔手術支援装置及び手術システムの処理の流れを示す第2のフローチャート【図7】図1のVE画像表示モニタに表示されるVE表示画面を示す図【図8】図1の支援情報生成装置が生成する支援画像を示す図【図9】図1の内視鏡画像表示モニタに表示される内視鏡画像の第1の例を示す図【図10】図9の内視鏡画像に対応して表示されるVE表示画面を示す図【図11】図1の内視鏡画像表示モニ Figure 3 shows that shows the use state of the block diagram showing the configuration of a remote surgery supporting system and operation system [Figure 2] the rigid endoscope of Fig. 1 according to a first embodiment of the invention; FIG in FIG the first flow chart Figure showing a process flow of a remote surgery supporting system and operation system of FIG. 5 is a diagram 1 illustrating a structure of a main portion of the trocar of FIG. 4 is a diagram 2 showing a construction of a rigid endoscope 6 a second flow chart Figure 7 showing the flow of processing of a remote surgery supporting system and operation system of FIG. 1] support of FIG. 8 is a diagram 1 illustrating a VE display screen displayed on VE image display monitor of FIG 1 Figure 10 shows an endoscope of Figure 9 showing a first example of an endoscopic image information generating device is displayed on the endoscope image display monitor of FIG 9 is a diagram 1 showing a support image generating endoscopic image display monitor of FIG. 11 is a diagram 1 illustrating a VE display screen displayed in response to the image に表示される内視鏡画像の第2の例を示す図【図12】図11の内視鏡画像に対応して表示されるVE表示画面を示す図【図13】本発明の第2の実施の形態に係る遠隔手術支援装置及び手術システムの構成を示す構成図【図14】本発明の第3の実施の形態に係る遠隔手術支援装置及び手術システムの構成を示す構成図【符号の説明】 Shows a second example of the endoscopic image displayed in FIG. 12 is a diagram 13 showing the VE display screen displayed in response to the endoscopic image of FIG. 11 the second of the present invention description of diagram [code indicating the remote surgery supporting system and operation system configuration according to the third embodiment of the block diagram FIG. 14 the present invention showing the configuration of a remote surgery supporting system and operation system according to an embodiment ]
1…遠隔手術支援装置2…手術システム3…硬性鏡4…システムコントローラ5…CCU 1 ... remote surgery supporting device 2 ... operation system 3 ... rigid endoscope 4 ... system controller 5 ... CCU
6…光源装置7…気腹器8…電気メス9…超音波処置装置10…VTR 6 ... light source apparatus 7 ... insufflator 8 ... electric knife 9 ... ultrasonic treatment apparatus 10 ... VTR
11…撮像部18…支援情報再生装置19…VE画像生成装置20…支援情報生成装置21…挿入量検出部22…傾斜角センサ51…記録部(CT画像DB) 11 ... imaging unit 18 ... support information reproducing apparatus 19 ... VE image generating apparatus 20 ... support information generating unit 21 ... insertion amount detecting section 22 ... tilt angle sensor 51 ... recording unit (CT image DB)
52…メモリ53…通信I/F部54…VE画像構築部55…VE画像表示モニタ56…表示I/F部57…CPU 52 ... Memory 53 ... communication I / F 54 ... VE image constructing unit 55 ... VE image display monitor 56 ... display I / F section 57 ... CPU
100…通信回線 100 ... communication line

Claims (4)

  1. 視野方向を特定可能な内視鏡を体内に刺入し該内視鏡により撮像された内視鏡画像による観察下で行われる手術を実施する手術システムに対して支援情報を通信回線を介して遠隔的に提供する遠隔手術支援装置において、 Via the communication line support information to the surgical system implementing the surgery carried out under observation by the endoscope image a field of view direction can be identified endoscope captured by the endoscope to pierce the body the remote surgery supporting system for providing remotely,
    前記体腔内の複数のCT画像データを記憶するCT画像記憶手段と、 A CT image storage means for storing a plurality of CT image data of the body cavity,
    前記手術システムより前記内視鏡の前記体腔内への挿入位置、前記内視鏡の体内挿入量データ及び前記内視鏡の挿入傾斜角データを前記通信回線を介して入力するデータ入力手段と、 A data input means for inputting the insertion position into the body cavity of the endoscope from the operation system, the insertion inclination angle data of the body insertion amount data and the endoscope of the endoscope through the communication line,
    前記挿入位置データ、前記挿入量データ及び前記挿入傾斜角データに基づき、前記複数のCT画像データより前記内視鏡画像とリアルタイムに同期した仮想内視鏡像を構築する仮想画像構築手段とを備えたことを特徴とする遠隔手術支援装置。 The insertion position data, based on said insertion amount data and the insertion angle of inclination data, and a virtual image construction means for constructing a virtual endoscopic image in synchronization with the endoscopic image in real time from the plurality of CT image data remote surgery supporting apparatus characterized by.
  2. 前記手術システムより前記内視鏡画像を前記通信回線を介して入力する画像入力手段と、 Image input means for inputting via said communication line the endoscopic image from the surgical system,
    前記仮想画像構築手段により構築された前記仮想内視鏡像に基づき前記支援情報を生成し、前記画像入力手段が入力した前記内視鏡画像に前記支援情報を付加し前記前記手術システムに前記通信回線を介して出力する支援情報出力手段とを備えたことを特徴とする請求項1に記載の手術支援装置。 The virtual image the built by construction unit based on the virtual endoscopic image to generate the assistance information, the communication line to said surgical system adds the support information in the endoscope image by the image input means inputs surgery supporting system according to claim 1, characterized in that a support information output means for outputting through.
  3. 前記内視鏡画像に付加される前記支援情報は、前記内視鏡画像に重畳される重畳支援画像データであることを特徴とする請求項2に記載の手術支援装置。 The support information to be added to the endoscope image, surgery supporting system according to claim 2, characterized in that the superimposed support image data to be superimposed on the endoscopic image.
  4. 前記内視鏡画像に付加される前記支援情報は、前記仮想内視鏡像に基づく前記画像入力手段が入力した前記内視鏡画像に関連した音声支援情報であることを特徴とする請求項2または3に記載の手術支援装置。 The support information to be added to the endoscope image, according to claim 2, wherein the said image input means based on the virtual endoscopic image is audio support information relating to the endoscope image is input or surgery support apparatus according to 3.
JP2003189784A 2003-07-01 2003-07-01 Surgery remotely supporting apparatus Pending JP2005021354A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003189784A JP2005021354A (en) 2003-07-01 2003-07-01 Surgery remotely supporting apparatus

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2003189784A JP2005021354A (en) 2003-07-01 2003-07-01 Surgery remotely supporting apparatus
US10/858,440 US20050033117A1 (en) 2003-06-02 2004-06-01 Object observation system and method of controlling object observation system
US11/716,308 US7951070B2 (en) 2003-06-02 2007-03-09 Object observation system and method utilizing three dimensional imagery and real time imagery during a procedure

Publications (1)

Publication Number Publication Date
JP2005021354A true JP2005021354A (en) 2005-01-27

Family

ID=34187889

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003189784A Pending JP2005021354A (en) 2003-07-01 2003-07-01 Surgery remotely supporting apparatus

Country Status (1)

Country Link
JP (1) JP2005021354A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7841980B2 (en) * 2006-05-11 2010-11-30 Olympus Medical Systems Corp. Treatment system, trocar, treatment method and calibration method
US20150359419A1 (en) * 2013-02-21 2015-12-17 Olympus Corporation Object insertion system

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5217003A (en) * 1991-03-18 1993-06-08 Wilk Peter J Automated surgical system and apparatus
JPH07194616A (en) * 1993-11-26 1995-08-01 Toshiba Corp Operation support system
US5776050A (en) * 1995-07-24 1998-07-07 Medical Media Systems Anatomical visualization system
JPH10234662A (en) * 1997-02-27 1998-09-08 Toshiba Corp Image processor
JPH11309A (en) * 1997-06-12 1999-01-06 Hitachi Ltd Image processor
JP2000135215A (en) * 1998-10-30 2000-05-16 Ge Yokogawa Medical Systems Ltd Conduit guiding method and device thereof and radiation tomographic equipment
JP2001500772A (en) * 1997-06-23 2001-01-23 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Image-guided surgery system
WO2001074235A1 (en) * 2000-04-03 2001-10-11 Neoguide Systems, Inc. Steerable endoscope and improved method of insertion
JP2002306509A (en) * 2001-04-10 2002-10-22 Olympus Optical Co Ltd Remote operation supporting system
JP2003144454A (en) * 2001-11-16 2003-05-20 Yoshio Koga Joint operation support information computing method, joint operation support information computing program, and joint operation support information computing system

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5217003A (en) * 1991-03-18 1993-06-08 Wilk Peter J Automated surgical system and apparatus
JPH07194616A (en) * 1993-11-26 1995-08-01 Toshiba Corp Operation support system
US5776050A (en) * 1995-07-24 1998-07-07 Medical Media Systems Anatomical visualization system
JPH10234662A (en) * 1997-02-27 1998-09-08 Toshiba Corp Image processor
JPH11309A (en) * 1997-06-12 1999-01-06 Hitachi Ltd Image processor
JP2001500772A (en) * 1997-06-23 2001-01-23 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Image-guided surgery system
JP2000135215A (en) * 1998-10-30 2000-05-16 Ge Yokogawa Medical Systems Ltd Conduit guiding method and device thereof and radiation tomographic equipment
WO2001074235A1 (en) * 2000-04-03 2001-10-11 Neoguide Systems, Inc. Steerable endoscope and improved method of insertion
JP2002306509A (en) * 2001-04-10 2002-10-22 Olympus Optical Co Ltd Remote operation supporting system
JP2003144454A (en) * 2001-11-16 2003-05-20 Yoshio Koga Joint operation support information computing method, joint operation support information computing program, and joint operation support information computing system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7841980B2 (en) * 2006-05-11 2010-11-30 Olympus Medical Systems Corp. Treatment system, trocar, treatment method and calibration method
US20150359419A1 (en) * 2013-02-21 2015-12-17 Olympus Corporation Object insertion system

Similar Documents

Publication Publication Date Title
JP4416990B2 (en) System for operating a device in vivo
US9226687B2 (en) Catheterscope 3D guidance and interface system
US6612980B2 (en) Anatomical visualization system
US8801601B2 (en) Method and system for providing visual guidance to an operator for steering a tip of an endoscopic device toward one or more landmarks in a patient
Becker et al. Bronchoscopic biopsy of peripheral lung lesions under electromagnetic guidance: a pilot study
CN103142309B (en) Auxiliary image display and manipulation on computer display in medical robotic system
JP5372407B2 (en) Medical equipment
US20050033162A1 (en) Method and apparatus for magnetically controlling endoscopes in body lumens and cavities
US20040230094A1 (en) Remote operation support system and method
US9659345B2 (en) System and method of providing real-time dynamic imagery of a medical procedure site using multiple modalities
JP5285270B2 (en) Automatic guide wire operating system
CN100364479C (en) Endoscope
US20070038065A1 (en) Operation of a remote medical navigation system using ultrasound image
US20080147018A1 (en) Laparoscopic cannula with camera and lighting
US8591407B2 (en) Endoscopic vision system
US6768496B2 (en) System and method for generating an image from an image dataset and a video image
US9615772B2 (en) Global endoscopic viewing indicator
CN105919547B (en) Dynamic registration of the anatomical structure model is provided for image guided surgical medical system
US10004387B2 (en) Method and system for assisting an operator in endoscopic navigation
EP3023941B1 (en) System for providing visual guidance for steering a tip of an endoscopic device towards one or more landmarks and assisting an operator in endoscopic navigation
JP5208495B2 (en) Medical system
US6656110B1 (en) Endoscopic system
Bichlmeier et al. The virtual mirror: a new interaction paradigm for augmented reality environments
US20130281821A1 (en) Intraoperative camera calibration for endoscopic surgery
CN100377685C (en) Medical treatment system, endoscope system, endoscope insert operation program, and endoscope device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060523

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090728

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090928

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100316