JP2006198032A

JP2006198032A - Surgery support system

Info

Publication number: JP2006198032A
Application number: JP2005010885A
Authority: JP
Inventors: Koichi Tashiro; 浩一田代; Akinobu Uchikubo; 明伸内久保; Takashi Ozaki; 孝史尾崎; Takeaki Nakamura; 剛明中村
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2005-01-18
Filing date: 2005-01-18
Publication date: 2006-08-03

Abstract

PROBLEM TO BE SOLVED: To support a surgical operation, etc. so that the surgery can be more smoothly performed by superimposing and displaying a virtual image of the periphery, which is invisible in an endoscopic observation image, on the endoscopic observation image under the endoscopic observation. SOLUTION: The surgery support system 1 is for supporting an operator 31 by displaying an endoscopic image 51A and a virtual image positioned at the viewpoint of the endoscopic image 51A. The surgery support system 1 comprises superimposing/display control means (a CPU 25 and a composite circuit 25A) for obtaining virtual image data on the periphery (a blood vessel 53A, etc.) which is invisible in the endoscopic image 51A and superimposing/displaying the virtual image 52A based on the virtual image data on the endoscopic image 51A. COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、内視鏡等を含む内視鏡システムを用いて手術をする際に、被検体に関する３次元画像データ（以下、バーチャル画像データと称す）を得、このバーチャル画像データに基づく画像を表示することにより術者を支援する手術支援システムに関する。 The present invention obtains three-dimensional image data (hereinafter referred to as virtual image data) related to a subject when performing an operation using an endoscope system including an endoscope or the like, and an image based on the virtual image data is obtained. The present invention relates to a surgery support system that supports a surgeon by displaying.

近年、画像による診断が広く行われるようになっており、例えばＸ線ＣＴ（ＣｏｍｐｕｔｅｄＴｏｍｏｇｒａｐｈｙ）装置等により被検体の断層像を撮像することにより被検体内の３次元的なバーチャル画像データを得、このバーチャル画像データを用いて患部の診断が行われるようになってきた。 In recent years, diagnosis based on images has been widely performed. For example, three-dimensional virtual image data in a subject is obtained by capturing a tomographic image of the subject using an X-ray CT (Computed Tomography) apparatus or the like. Diagnosis of an affected area has been performed using this virtual image data.

ＣＴ装置では、Ｘ線照射・検出を連続的に回転させつつ被検体を体軸方向に連続送りすることにより、被検体の３次元領域について螺旋状の連続スキャン（ヘリカルスキャン：ｈｅｌｉｃａｌｓｃａｎ）を行い、３次元領域の連続するスライスの断層像から、３次元的なバーチャル画像を作成することが行われる。 In the CT apparatus, by continuously feeding the subject in the body axis direction while continuously rotating the X-ray irradiation / detection, a helical continuous scan (helical scan) is performed on the three-dimensional region of the subject. A three-dimensional virtual image is created from tomographic images of successive slices of a three-dimensional region.

このような３次元画像を用いる方法は、例えば外科手術等における低浸襲手術を行う場合にも利用される。
一般に、外科手術等における低浸襲手術では、大きく切開する手術に比べて術野が制限されるので術者は治療部位と手術処置具との位置関係を直接的に把握することが困難である。
このため、例えば特開２００１−２９３００６号公報等では、手術処置具及び被検体の３次元位置姿勢情報を計測し、この３次元位置姿勢情報に基づいて予め記憶された被検体の断層像情報から所望の断層像を抽出し、この抽出された断層像上に手術処置具の三次元位置姿勢情報に基づく投影像を付加して表示することで、術者が表示される画像と現在の視点との位置姿勢関係を容易に把握できる手術ナビゲーション装置が提案されている。 Such a method using a three-dimensional image is also used when performing low invasive surgery in, for example, surgery.
Generally, in a low invasive operation such as a surgical operation, the surgical field is limited as compared with a surgical operation with a large incision, so it is difficult for an operator to directly grasp the positional relationship between a treatment site and a surgical treatment instrument. .
For this reason, for example, in Japanese Patent Application Laid-Open No. 2001-293006, three-dimensional position and orientation information of a surgical instrument and a subject is measured, and based on the tomographic image information of the subject stored in advance based on the three-dimensional position and orientation information. By extracting a desired tomographic image and displaying a projection image based on the three-dimensional position and orientation information of the surgical instrument on the extracted tomographic image, the image displayed by the operator, the current viewpoint, Surgical navigation devices that can easily grasp the position / posture relationship have been proposed.

また、腹部領域の体内の臓器を被検体とする診断においては、従来より、主に腹部領域内の被検体の３次元的なバーチャル画像を作成し、これを表示しながら診断するための画像解析ソフトが実用化されている。
この種の画像解析ソフトを用いた画像システムは、医師が術前に予め患者の腹部領域内等の被検体の病変部の変化をそのバーチャル画像を見ながら把握するための診断に用いられており、通常、カンファレンス室等の手術室外で行われているが一般的である。
特開２００１−２９３００６号公報 Further, in diagnosis using an internal organ in the abdominal region as a subject, image analysis for making a diagnosis while creating a three-dimensional virtual image of the subject mainly in the abdominal region and displaying the same is conventionally performed. Software is in practical use.
An image system using this kind of image analysis software is used for diagnosis by doctors to grasp changes in the lesion of a subject in the patient's abdominal region, etc. in advance while viewing the virtual image before surgery. Usually, it is performed outside an operating room such as a conference room.
JP 2001-293006 A

従来より、内視鏡観察下で脳内の被検体に対する脳外科手術等を行う場合、内視鏡観察画像の観察領域の被検体の生体画像情報（動脈、静脈の配置の画像情報や、関心部位の位置の画像情報等）を、必要に応じて術者に対して迅速に提供することが望まれている。
しかしながら、上述した画像解析ソフトを用いた画像システムは、あくまでも腹部領域の被検体のバーチャル画像を見ながら診断を行うといった腹部領域の術前に使用するものであり、実際の内視鏡システムと併用して実際の脳外科手術等に使用することはできず、術者に対して必要な被検体の生体画像情報を提供することはできない。 Conventionally, when performing brain surgery or the like on a subject in the brain under endoscopic observation, biological image information of the subject in the observation region of the endoscopic observation image (image information on the arrangement of arteries and veins, or a region of interest) It is desired to quickly provide the operator with image information on the position of the user as necessary.
However, the image system using the image analysis software described above is used before the operation of the abdominal region such as making a diagnosis while viewing the virtual image of the subject in the abdominal region, and is used in combination with the actual endoscope system. Thus, it cannot be used for actual brain surgery or the like, and the vital image information of the subject cannot be provided to the surgeon.

内視鏡観察下で脳内の被検体に対する脳外科手術等は、開頭された小さな孔を介して硬性鏡などの手術処置具を挿入して手術を行わなければならないため、前記したように術野が制限されてしまい、脳の狭い血管（静脈や静脈）部分しか観察することができない。 Neurosurgical operations, etc. on a subject in the brain under endoscopic observation must be performed by inserting a surgical instrument such as a rigid endoscope through a small open hole. Is limited, and only narrow blood vessels (veins and veins) of the brain can be observed.

このため、前記従来の特開２００１−２９３００６号公報に記載の手術ナビゲーション装置は、断層像上に手術処置具の三次元位置姿勢情報に基づく投影像を付加して表示することで、術者が表示される画像と現在の視点との位置姿勢関係を容易に把握できるが、さらに被検体の詳細な生体画像情報を得ることができないため、結果として、術者は狭い観察視野状態となるために細心の注意を払いながら血管のパイパス手術等を行わなければならず、手術に多くの時間を費やしてしまうといった問題点があった。 For this reason, the surgical navigation device described in the conventional Japanese Patent Application Laid-Open No. 2001-293006 adds and displays a projection image based on the three-dimensional position and orientation information of the surgical treatment tool on the tomographic image, so that the operator can Although the position and orientation relationship between the displayed image and the current viewpoint can be easily grasped, further detailed biological image information of the subject cannot be obtained, and as a result, the operator becomes in a narrow observation visual field state. There has been a problem that blood vessel bypass surgery and the like have to be performed with great care, and a lot of time is spent on the surgery.

本発明は、前記問題点に鑑みてなされたものであり、内視鏡観察下において、内視鏡観察画像にこの内視鏡観察画像ではみえない周辺部のバーチャル画像を重畳表示することにより、外科手術等の手術をより円滑に行えるように支援することができる手術支援システムを提供することを目的とする。 The present invention has been made in view of the above problems, and under endoscopic observation, by superimposing and displaying a virtual image of a peripheral portion that cannot be seen in this endoscopic observation image on the endoscopic observation image, An object of the present invention is to provide a surgical operation support system that can support a surgical operation such as a surgical operation more smoothly.

本発明の手術支援システムは、内視鏡画像と、この内視鏡画像の視点位置に合わせたバーチャル画像とを表示して術者を支援する手術支援システムであって、前記内視鏡画像では見えてない周辺部に関するバーチャル画像データを取得し、このバーチャル画像データに基づくバーチャル画像を前記内視鏡画像に重畳して表示する重畳表示制御手段を有していることを特徴とするものである。 The surgery support system of the present invention is a surgery support system that supports an operator by displaying an endoscopic image and a virtual image that matches the viewpoint position of the endoscopic image. Virtual image data relating to an invisible peripheral portion is acquired, and a superimposing display control unit that superimposes and displays a virtual image based on the virtual image data on the endoscopic image is provided. .

本発明の手術支援システムは、内視鏡観察下において、内視鏡観察画像にこの内視鏡観察画像ではみえない周辺部のバーチャル画像を重畳表示することにより、外科手術等の手術をより円滑に行えるように支援することができるといった利点がある。 The surgical operation support system according to the present invention facilitates a surgical operation or the like by superimposing and displaying a virtual image of a peripheral portion that cannot be seen in the endoscopic observation image on the endoscopic observation image under endoscopic observation. There is an advantage that it can be supported so that it can be performed.

以下、図面を参照して本発明の実施例を説明する。 Embodiments of the present invention will be described below with reference to the drawings.

図１乃至図１０は本発明の手術支援システムの実施例１に係り、図１は実施例１の手術支援システムの全体構成を示す概略構成図、図２は図１の手術支援システムの全体構成を示すブロック図、図３は硬性鏡の位置に応じたバーチャル画像を生成するのに必要な座標変換を示す説明図、図４は硬性鏡の内視鏡画像の一例を示す表示図、図５は本実施例の表示例を示し、内視鏡画像に観察視野内の背景のバーチャル画像が重畳された表示図、図６は脳内の基本となる血管の配置状態を示し、図６（Ａ）は動脈、図６（Ｂ）は静脈を示し、図７は図６（Ａ）の動脈上の所定箇所の内視鏡画像を示す表示図、図８は図７の観察視野内の内視鏡画像を拡大すると同時にこの内視鏡画像に観察視野内の背景のバーチャル画像が重畳された表示図、図９はバーチャル画像生成部のＣＰＵによるメイン制御手順を示すフローチャート、図１０は図９の手術実行モード実行処理のサブルーチンを示すフローチャートである。 1 to 10 relate to a first embodiment of the surgery support system of the present invention, FIG. 1 is a schematic configuration diagram showing the overall configuration of the surgery support system of the first embodiment, and FIG. 2 is an overall configuration of the surgery support system of FIG. FIG. 3 is an explanatory diagram showing coordinate transformation necessary for generating a virtual image according to the position of the rigid endoscope, FIG. 4 is a display diagram showing an example of an endoscope image of the rigid endoscope, and FIG. Shows a display example of the present embodiment, a display diagram in which a virtual image of a background in an observation field is superimposed on an endoscopic image, FIG. 6 shows a basic blood vessel arrangement state in the brain, and FIG. ) Is an artery, FIG. 6B is a vein, FIG. 7 is a display diagram showing an endoscopic image of a predetermined location on the artery in FIG. 6A, and FIG. 8 is an endoscope in the observation field of FIG. FIG. 9 is a display diagram in which a virtual image of the background in the observation visual field is superimposed on the endoscopic image at the same time that the mirror image is enlarged, Flowchart showing a main control procedure by the CPU of Charu image generating unit, 10 is a flowchart showing a subroutine of the operation execution mode execution process of FIG.

図１に示すように、本実施例の手術支援システム１は、内視鏡システムと組み合わせて構成され、具体的には、観察手段としての硬性鏡２Ｂを有する内視鏡装置２、ＣＣＵ（カメラコントロールユニット）４、光源装置５、電気メス装置６、超音波駆動電源８、ＶＴＲ９、システムコントローラ１０、バーチャル画像生成部１１、リモコン１２Ａ、音声入力マイク１２Ｂ、内視鏡ライブ画像表示用の参照用モニタ１３、情報入力手段であるマウス１５、キーボード１６、バーチャル画像表示用のモニタ１７及び、手術室に配された術者用モニタ３２を有している。 As shown in FIG. 1, the surgery support system 1 of the present embodiment is configured in combination with an endoscope system. Specifically, an endoscope apparatus 2 having a rigid endoscope 2B as observation means, a CCU (camera). Control unit) 4, light source device 5, electric knife device 6, ultrasonic drive power supply 8, VTR 9, system controller 10, virtual image generation unit 11, remote control 12 A, audio input microphone 12 B, and endoscope live image display reference It has a monitor 13, a mouse 15 as an information input means, a keyboard 16, a monitor 17 for displaying a virtual image, and an operator monitor 32 arranged in the operating room.

内視鏡装置２は、脳外科手術等を行うための観察手段である硬性鏡２Ｂと、この硬性鏡２Ｂを固定する機能を備え、この硬性鏡２Ｂにより撮像された内視鏡画像を表示する表示部２ｂ及び接眼部２ａ等を有する固定装置２Ａとを有している。 The endoscope apparatus 2 includes a rigid endoscope 2B that is an observation means for performing brain surgery and the like, and a function of fixing the rigid endoscope 2B, and displays an endoscope image captured by the rigid endoscope 2B. A fixing device 2A having a portion 2b, an eyepiece 2a, and the like.

硬性鏡２Ｂは、図３に示すように開頭された孔を介して術部領域内に挿入するための挿入部と、挿入部の基端側に設けられた把持部と、この把持部に設けられた接眼部とから構成され、例えば把持部及び接眼部が前記固定装置２Ａ内に固定されるようになっている。挿入部の内部には、照明光学系及び観察光学系が設けられており、被検体の観察部位を照明し、被検体の観察像を得ることが可能である。
なお、図示はしないが把持部には、ライトガイドコネクタが設けられている。このライトガイドコネクタには、一端を光源装置に接続されたライトガイドケーブルの他端に設けられたコネクタが接続される。これにより、照明光学系を介して光源装置５からの照明光により観察部位を照明する。 As shown in FIG. 3, the rigid endoscope 2B is provided with an insertion portion for insertion into the surgical site region through a hole opened as shown in FIG. 3, a grip portion provided on the proximal end side of the insertion portion, and a grip portion. For example, a gripping part and an eyepiece part are fixed in the fixing device 2A. An illumination optical system and an observation optical system are provided inside the insertion portion, and it is possible to illuminate the observation site of the subject and obtain an observation image of the subject.
Although not shown, the grip portion is provided with a light guide connector. A connector provided at the other end of the light guide cable having one end connected to the light source device is connected to the light guide connector. Thus, the observation site is illuminated with illumination light from the light source device 5 via the illumination optical system.

また、図示しない接眼部には、前記固定装置２Ａ内に設けられた、ＣＣＤを内蔵したカメラヘッド（図示せず）が接続される。このカメラヘッド（図示せず）の後端側にカメラケーブルが延設されている。また、カメラケーブルの他端には、ＣＣＵ４に電気的に接続するための接続コネクタが設けられている。 Further, a camera head (not shown) with a built-in CCD provided in the fixing device 2A is connected to an eyepiece (not shown). A camera cable extends from the rear end side of the camera head (not shown). Further, a connection connector for electrically connecting to the CCU 4 is provided at the other end of the camera cable.

固定装置２Ａの内部には、前記カメラケーブルに接続された表示部２ｂが設けられている。この表示部２ｂは、硬性鏡２Ｂにより撮像された被検体の観察像を表示する。固定装置２Ａの所定箇所には、術者がこの表示部２ｂに表示された被検体の観察像を見ながら手術を行うための接眼部２ａが設けられている。
また、固定装置２Ａの側面側には、観察像のズームイン／アウトなどの操作や表示モードの変更操作／実行操作などの操作を行うためのリモートスイッチ２Ｃが設けられている。 A display unit 2b connected to the camera cable is provided inside the fixing device 2A. The display unit 2b displays an observation image of the subject imaged by the rigid endoscope 2B. An eyepiece 2a is provided at a predetermined location of the fixing device 2A so that the surgeon can perform an operation while viewing the observation image of the subject displayed on the display 2b.
Further, on the side surface side of the fixing device 2A, a remote switch 2C for performing operations such as zooming in / out of the observation image and operations for changing / executing the display mode is provided.

なお、本実施例では、硬性鏡２Ｂが固定装置２Ａに固定された一体型の内視鏡装置２について説明したが、これに限定されることはなく、例えば硬性鏡２Ｂと固定装置２Ａとを別体にしても良い。また、硬性鏡２Ｂのみの構成や、電子顕微鏡を用いた構成としても良い。 In the present embodiment, the integrated endoscope apparatus 2 in which the rigid endoscope 2B is fixed to the fixing apparatus 2A has been described. However, the present invention is not limited to this, and for example, the rigid endoscope 2B and the fixing apparatus 2A are provided. It may be separated. Moreover, it is good also as a structure using only the rigid endoscope 2B, or a structure using an electron microscope.

硬性鏡２Ｂは、前記固定装置２Ａによって患者頭部内に保持されながら前記挿入部を開頭された孔を介して頭部領域に挿入して、観察光学系を介して得られた頭部内の観察像をカメラヘッドを介してＣＣＵ４に供給する。 The rigid endoscope 2B is inserted into the head region through the opened hole while being held in the patient's head by the fixing device 2A, and the inside of the head obtained through the observation optical system is inserted. The observation image is supplied to the CCU 4 via the camera head.

ＣＣＵ４は、図２に示すように、硬性鏡２Ｂからの撮像信号に信号処理を施し、撮像信号に基づく画像データ（例えば内視鏡ライブ画像データ）を、手術室内に配されたシステムコントローラ１０及びＶＴＲ９に供給する。なお、この場合、システムコントローラ１０からの制御により、内視鏡ライブ画像の静止画あるいは動画に基づく画像データがＣＣＵ４から選択出力されることになる。また、前記システムコントローラ１０の詳細な構成ついては後述する。 As shown in FIG. 2, the CCU 4 performs signal processing on the imaging signal from the rigid endoscope 2B, and supplies image data (for example, endoscopic live image data) based on the imaging signal to the system controller 10 disposed in the operating room. Supply to VTR9. In this case, image data based on a still image or a moving image of the endoscope live image is selectively output from the CCU 4 under the control of the system controller 10. The detailed configuration of the system controller 10 will be described later.

ＶＴＲ９は、システムコントローラ１０の制御により、前記ＣＣＵ４からの内視鏡ライブ画像データを記録し、あるいは再生可能である。再生時の場合には、再生された内視鏡ライブ画像データをシステムコントローラ１０に出力する。 The VTR 9 can record or reproduce the endoscope live image data from the CCU 4 under the control of the system controller 10. In the case of reproduction, the reproduced endoscope live image data is output to the system controller 10.

光源装置５は、ライトガイドケーブル内のライトガイドを介して硬性鏡２Ｂに設けられた照明光学系に対して照明光を供給するための光源装置である。
電気メス装置６は、例えば患者の術部（脳内）の異常部を電気熱を用いて切断したりする手術処置具と、その処置具に対して高周波電流を出力する高周波出力装置である。超音波駆動電源８は、超音波プローブや鉗子等で前記異常部を切断あるいは採取したりする手術処置具と、その処置具に対して高周波電流を出力する高周波出力装置である。
これらの光源装置５，電気メス装置６及び超音波駆動電源８は、前記システムコントローラ１０と電気的に接続されており、このシステムコントローラ１０によってその駆動が制御されるようになっている。 The light source device 5 is a light source device for supplying illumination light to an illumination optical system provided in the rigid mirror 2B via a light guide in a light guide cable.
The electric scalpel device 6 is a surgical treatment tool that cuts an abnormal part of a patient's surgical part (in the brain) using electric heat, for example, and a high-frequency output device that outputs a high-frequency current to the treatment tool. The ultrasonic drive power supply 8 is a surgical treatment instrument that cuts or collects the abnormal part with an ultrasonic probe or forceps, and a high-frequency output device that outputs a high-frequency current to the treatment instrument.
The light source device 5, the electric knife device 6, and the ultrasonic drive power source 8 are electrically connected to the system controller 10, and the drive of the system controller 10 is controlled.

また、手術室内には、上述した各種機器の他にシステムコントローラ１０及び術者用モニタ３２が配されている。
本実施例では、例えば患者３０の頭部領域内に硬性鏡２の挿入部を挿入して被検体を撮像する術者３１が、図１に示すような位置で処置を行うものとすると、この術者３１は前記内視鏡装置２内の表示部２ｂを見ながら手術を行うことになるが、他の術者用として同じ内視鏡画像等を表示可能な前記術者用モニタ３２が設置されるようになっている。
術者用モニタ３２は、内視鏡画像用モニタ１３ａとこれに並設されるバーチャル画像用モニタ１７ａとを有している。 In addition to the various devices described above, a system controller 10 and an operator monitor 32 are arranged in the operating room.
In this embodiment, for example, when an operator 31 who images the subject by inserting the insertion portion of the rigid endoscope 2 into the head region of the patient 30 performs treatment at a position as shown in FIG. The surgeon 31 performs an operation while looking at the display unit 2b in the endoscope apparatus 2, but the surgeon monitor 32 capable of displaying the same endoscopic image and the like for other surgeons is installed. It has come to be.
The surgeon monitor 32 has an endoscopic image monitor 13a and a virtual image monitor 17a arranged in parallel therewith.

システムコントローラ１０は、内視鏡システム全体の各種動作（例えば表示制御や調光制御等）を制御するもので、図２に示すように、通信インターフェイス（以下、通信Ｉ／Ｆと称す）１８、メモリ１９、制御部としてのＣＰＵ２０及び表示インターフェイス（以下、表示Ｉ／Ｆと称す）２１とを有している。 The system controller 10 controls various operations (for example, display control and dimming control) of the entire endoscope system. As shown in FIG. 2, a communication interface (hereinafter referred to as communication I / F) 18, A memory 19, a CPU 20 as a control unit, and a display interface (hereinafter referred to as a display I / F) 21 are included.

通信Ｉ／Ｆ１８は、ＣＣＵ４、光源装置５、電気メス装置６、超音波駆動電源８、ＶＴＲ９及び後述するバーチャル画像生成部１１に電気的に接続されており、これらの駆動制御信号の送受信、または内視鏡画像データの送受信をＣＰＵ２０によって制御される。キャプチャ回路１８Ａは、ＣＣＵ４からの内視鏡画像データが供給され、ＣＰＵ２０の制御により、表示部２ｂや前記参照用モニタ１３及び内視鏡画像用モニタ１３ａ等に表示する静止画あるいは動画の内視鏡画像データを取り込み、画像ファイルとして通信Ｉ／Ｆ１８を介してバーチャル画像生成部１１に出力する。 The communication I / F 18 is electrically connected to the CCU 4, the light source device 5, the electric knife device 6, the ultrasonic drive power supply 8, the VTR 9, and a virtual image generation unit 11 to be described later. The transmission / reception of the endoscope image data is controlled by the CPU 20. The capture circuit 18A is supplied with the endoscope image data from the CCU 4, and is controlled by the CPU 20 to internally display a still image or a moving image displayed on the display unit 2b, the reference monitor 13, the endoscope image monitor 13a, or the like. The mirror image data is captured and output as an image file to the virtual image generation unit 11 via the communication I / F 18.

なお、通信Ｉ／Ｆ１８には、遠隔操作手段としての術者用のリモコン１２Ａ、リモートスイッチ２Ｃ及び音声入力マイク１２Ｂが電気的に接続されており、リモコン１２Ａやリモートスイッチ２Ｃの操作指示信号あるいは音声入力マイク１２Ｂの音声指示信号を取り込み、前記ＣＰＵ２０に供給するようになっている。 The communication I / F 18 is electrically connected with a remote control 12A for the surgeon, a remote switch 2C, and a voice input microphone 12B as remote control means, and an operation instruction signal or voice of the remote control 12A or the remote switch 2C. A voice instruction signal from the input microphone 12B is captured and supplied to the CPU 20.

このリモコン１２Ａ及びリモートスイッチ２Ｃは、図示はしないが例えば内視鏡ライブ画像用の参照用モニタ１３やバーチャル画像表示用のモニタ１７、あるいは術者用モニタ３２や表示部２ｂに表示される表示画像に対応したホワイトバランスボタン、ＶＴＲ９に内視鏡ライブ画像を録画実行するための録画ボタン、その録画実行の際のフリーズボタン及びレリーズボタン、内視鏡ライブ画像あるいはバーチャル画像表示を実行するための表示ボタン、バーチャル画像を表示する際に２次元表示（２Ｄ表示）を実行するための操作ボタン（各種２Ｄ表示モードに応じたアキシャルボタン、コロナルボタン、サジタルボタン等）、バーチャル画像を表示する際に３次元表示（３Ｄ表示）を実行するための操作ボタンで、各種３Ｄ表示モードを実行した際のバーチャル画像の視野方向を示す挿入点ボタン（硬性鏡２Ｂの術部領域に対する挿入情報で、例えば硬性鏡２Ｂを挿入する術部領域のＸ方向、Ｙ方向、Ｚ方向の数値を表示するためのボタン）、注目点ボタン（注目する術部領域のＸ方向、Ｙ方向、Ｚ方向の数値を表示するためのボタン）、３Ｄ表示する際の表示倍率変更を指示するためのボタン（表示倍率を縮小する縮小ボタン、表示倍率を拡大する拡大ボタン等）、表示色を変更するための表示色ボタン、トラッキングを実行するためのトラッキングボタン、各ボタンの押下により決定した操作設定モードに対して設定入力情報の切換や決定等を行う操作ボタンや数値等を入力するためのテンキー等を有している。 Although not shown, the remote control 12A and the remote switch 2C are, for example, display images displayed on the reference monitor 13 for endoscopic live images, the monitor 17 for virtual image display, the monitor 32 for surgeons, and the display unit 2b. A white balance button corresponding to, a recording button for recording an endoscope live image on the VTR 9, a freeze button and a release button for executing the recording, a display for executing an endoscope live image or a virtual image display Buttons, operation buttons for executing two-dimensional display (2D display) when displaying a virtual image (axial buttons, coronal buttons, sagittal buttons, etc. according to various 2D display modes), 3 when displaying a virtual image Various 3D display modes with operation buttons to execute 3D display (3D display) Insertion point button indicating the visual field direction of the virtual image when it is performed (Insertion information for the surgical region of the rigid endoscope 2B, for example, displays numerical values in the X direction, Y direction, and Z direction of the surgical region where the rigid endoscope 2B is inserted) Button), attention point button (button for displaying numerical values in the X direction, Y direction, and Z direction of the target surgical region), and a button (display) for instructing to change the display magnification for 3D display A reduction button for reducing the magnification, an enlargement button for increasing the display magnification), a display color button for changing the display color, a tracking button for executing tracking, and an operation setting mode determined by pressing each button. It has operation buttons for switching and determining setting input information, a numeric keypad for inputting numerical values, and the like.

なお、硬性鏡２Ｂの術部領域に対する挿入情報は、図２に示すマウス１５やキーボード１６を有して構成される情報入力部３Ｂを用いて入力しても良い。 In addition, you may input the insertion information with respect to the operation part area | region of the rigid endoscope 2B using the information input part 3B comprised with the mouse | mouth 15 and the keyboard 16 which are shown in FIG.

したがって、これらの各ボタンを備えたリモートスイッチ２Ｃ（またはリモコン１２Ａ）を用いることによって、術者は所望する情報が迅速に得られるように操作することが可能である。 Therefore, by using the remote switch 2C (or the remote controller 12A) provided with these buttons, the surgeon can operate so that desired information can be obtained quickly.

メモリ１９は、例えば内視鏡静止画像の画像データや機器設定情報等のデータを記憶するもので、これらのデータの記憶、及び読み出しは前記ＣＰＵ２０によって制御がなされるようになっている。 The memory 19 stores data such as image data of endoscope still images and device setting information, for example, and the storage and reading of these data are controlled by the CPU 20.

表示Ｉ／Ｆ２１は、前記ＣＣＵ４、ＶＴＲ９及び参照用モニタ１３に電気的に接続されており、ＣＣＵ４からの内視鏡ライブ画像データあるいはＶＴＲ９の再生された内視鏡画像データを送受信し、例えば受信した内視鏡ライブ画像データを参照用モニタ１３及び後述する内視鏡画像用モニタ１３ａに出力する。これにより、参照用モニタ１３及び内視鏡画像用モニタ１３ａは供給された内視鏡ライブ画像データに基づく内視鏡ライブ画像を表示する。 The display I / F 21 is electrically connected to the CCU 4, the VTR 9, and the reference monitor 13, and transmits / receives endoscope live image data from the CCU 4 or endoscope image data reproduced from the VTR 9, for example, reception The live endoscope image data is output to the reference monitor 13 and an endoscopic image monitor 13a described later. Accordingly, the reference monitor 13 and the endoscope image monitor 13a display an endoscope live image based on the supplied endoscope live image data.

また、前記参照用モニタ１３及び内視鏡画像用モニタ１３ａは、内視鏡ライブ画像の表示の他に、ＣＰＵ２０の表示制御により、内視鏡システムの各種機器設定状態やパラメータ等の設定情報を表示することも可能である。 The reference monitor 13 and the endoscope image monitor 13a receive setting information such as various apparatus setting states and parameters of the endoscope system by display control of the CPU 20 in addition to the display of the endoscope live image. It is also possible to display.

ＣＰＵ２０は、システムコントローラ１０内の各種動作、すなわち、通信Ｉ／Ｆ１８、表示Ｉ／Ｆ２１による各種信号の送受信制御、メモリ１９の画像データの書き込みや読み出し制御、参照用モニタ１３及び内視鏡画像用モニタ１３ａの表示制御、さらにはリモートスイッチ２Ｃ（またはリモコン１２Ａ）の操作信号に基づく各種動作制御等を行う。 The CPU 20 performs various operations in the system controller 10, that is, transmission / reception control of various signals by the communication I / F 18 and display I / F 21, image data writing / reading control of the memory 19, reference monitor 13 and endoscope image Display control of the monitor 13a and various operation control based on an operation signal of the remote switch 2C (or the remote control 12A) are performed.

一方、前記システムコントローラ１０には、バーチャル画像生成部１１が電気的に接続されている。
バーチャル画像生成部１１は、図２に示すように、ＣＴ画像ＤＢ部２３、メモリ２４、ＣＰＵ２５、通信Ｉ／Ｆ２６、表示Ｉ／Ｆ２７を有している。 On the other hand, a virtual image generation unit 11 is electrically connected to the system controller 10.
As illustrated in FIG. 2, the virtual image generation unit 11 includes a CT image DB unit 23, a memory 24, a CPU 25, a communication I / F 26, and a display I / F 27.

ＣＴ画像ＤＢ部２３は、患者のＸ線断層像を撮像する図示しない公知のＣＴ装置で生成された３次元画像データを、例えばＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌｄｉｓｋ）装置やＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）装置等、可搬型の記憶媒体を介して取り込むＣＴ画像データ取り込み部（図示せず）を備え、取り込んだ３次元画像データ（ＣＴ画像データ）を格納するものである。この３次元画像データの読み出しや書き込みは、ＣＰＵ２５によって制御される。 The CT image DB unit 23 uses, for example, an MO (Magneto-Optical disk) device, a DVD (Digital Versatile Disc) device, or the like as three-dimensional image data generated by a known CT device (not shown) that captures an X-ray tomographic image of a patient. A CT image data capturing unit (not shown) for capturing via a portable storage medium is provided to store the captured three-dimensional image data (CT image data). Reading and writing of the three-dimensional image data is controlled by the CPU 25.

メモリ２４は、例えば前記３次元画像データやＣＰＵ２５によりこの３次元画像データに基づき生成されたバーチャル画像データ等のデータを記憶するもので、これらのデータの記憶、及び読み出しは前記ＣＰＵ２５によって制御がなされるようになっている。 The memory 24 stores, for example, the three-dimensional image data and data such as virtual image data generated by the CPU 25 based on the three-dimensional image data. The storage and reading of these data are controlled by the CPU 25. It has become so.

通信Ｉ／Ｆ２６は、前記システムコントローラ１０の通信Ｉ／Ｆ１８、例えば硬性鏡２Ｂに設けられたセンサ３Ａ（図２参照）に接続されており、バーチャル画像生成部１１と前記システムコントローラ１０とが連動して各種動作するのに必要な制御信号の送受信や、前記センサ３Ａからの検出信号の受信やリモートスイッチ２Ｃからの操作信号の受信を行うもので、ＣＰＵ２５によって制御され、ＣＰＵ２５内に取り込まれるようになっている。 The communication I / F 26 is connected to the communication I / F 18 of the system controller 10, for example, a sensor 3A (see FIG. 2) provided in the rigid endoscope 2B, and the virtual image generation unit 11 and the system controller 10 are interlocked. The control signal necessary for various operations is transmitted and received, the detection signal is received from the sensor 3A, and the operation signal is received from the remote switch 2C. The control signal is controlled by the CPU 25 and is taken into the CPU 25. It has become.

表示Ｉ／Ｆ２７は、前記ＣＰＵ２５の制御により生成されたバーチャル画像をバーチャル画像用のモニタ１７、１７ａ及び内視鏡装置２内の表示部２ｂに出力する。これにより、バーチャル画像用モニタ１７、１７ａ及び表示部２ｂは供給されたバーチャル画像を表示する。 The display I / F 27 outputs the virtual image generated by the control of the CPU 25 to the virtual image monitors 17 and 17 a and the display unit 2 b in the endoscope apparatus 2. Thereby, the virtual image monitors 17 and 17a and the display unit 2b display the supplied virtual image.

前記ＣＰＵ２５には、マウス１５及びキーボード１６が電気的に接続されている。これらマウス１５及びキーボード１６は、前記したようにこのバーチャル画像表示装置によるバーチャル画像表示動作を実行するのに必要な各種設定情報等を入力したり設定したりするための情報入力部である。 A mouse 15 and a keyboard 16 are electrically connected to the CPU 25. The mouse 15 and the keyboard 16 are information input units for inputting and setting various setting information necessary for executing the virtual image display operation by the virtual image display device as described above.

ＣＰＵ２５は、前記バーチャル画像生成部１１内の各種動作、すなわち、通信Ｉ／Ｆ２６、表示Ｉ／Ｆ２７による各種信号の送受信制御、メモリ２４の画像データの書き込みや読み出し制御、モニタ１７、１７ａ及び表示部２ｂの表示制御、さらにはリモートスイッチ２Ｃ、マウス１５やキーボード１６の操作信号に基づく各種動作制御等を行う。 The CPU 25 performs various operations in the virtual image generation unit 11, that is, transmission / reception control of various signals by the communication I / F 26 and display I / F 27, writing / reading control of image data in the memory 24, monitors 17 and 17 a, and display unit 2b display control, and various operation control based on operation signals of the remote switch 2C, mouse 15 and keyboard 16 are performed.

また、ＣＰＵ２５には、ＣＴ画像ＤＢ部２３から読み込んだ３次元画像データ（ＣＴ画像データ）を用いて、前記硬性鏡２Ｂの挿入位置情報またはセンサ３Ａからの検出結果に基づき、バーチャル画像をそれぞれ生成する合成回路２５Ａを備えている。ＣＰＵ２５は、この合成回路２５Ａを用いて生成された、硬性鏡２Ｂの挿入位置に応じたバーチャル画像、すなわち、内視鏡ライブ画像に対応したバーチャル画像をモニタ１７、１７ａ及び表示部２ｂに表示させる表示制御を行う。 Further, the CPU 25 generates virtual images based on the insertion position information of the rigid endoscope 2B or the detection result from the sensor 3A using the three-dimensional image data (CT image data) read from the CT image DB unit 23. A synthesis circuit 25A is provided. The CPU 25 causes the monitors 17, 17a and the display unit 2b to display a virtual image corresponding to the insertion position of the rigid endoscope 2B, that is, a virtual image corresponding to the endoscope live image, generated using the synthesis circuit 25A. Perform display control.

なお、本実施例では、前記バーチャル画像生成部１１を、例えば遠隔地に配されたバーチャル画像生成部に通信手段を介して接続するように構成すれば遠隔手術支援システムとして構築することも可能である。 In this embodiment, if the virtual image generation unit 11 is configured to be connected to a virtual image generation unit disposed in a remote place, for example, via a communication means, it can be constructed as a remote operation support system. is there.

また、本実施例では、硬性鏡２Ｂの術部領域に対する挿入情報は、硬性鏡２Ｂが固定装置２Ａによって固定されているので、予め挿入方向及び挿入位置等の情報を入力しておけば硬性鏡２Ｂの挿入移動量についてはＣＰＵ２５よる演算処理によって求めることができる。この場合、必要な数値入力は、前記リモートスイッチ２Ｃやリモコン１２Ａ、あるいは情報入力部であるマウス１５やキーボード１６を用いて行えば良い。 In this embodiment, the insertion information for the surgical site of the rigid endoscope 2B is fixed by the fixing device 2A. Therefore, if the information such as the insertion direction and the insertion position is input in advance, the rigid endoscope 2B is fixed. The insertion movement amount of 2B can be obtained by calculation processing by the CPU 25. In this case, the necessary numerical value input may be performed using the remote switch 2C, the remote controller 12A, or the mouse 15 or keyboard 16 serving as an information input unit.

また、硬性鏡２Ｂの術部領域に対する挿入情報は、前記硬性鏡２Ｂに図２に示すようにセンサ３Ａを設けて、硬性鏡２Ｂの術部領域に対する挿入情報を取得しても良い。
また、本実施例では、図３に示す方法によって、硬性鏡２Ｂの術部領域に対する挿入情報を取得しても良い。この方法は、例えば特開２００１−２９３００６号公報に記載されているように、硬性鏡２Ｂに赤外線ＬＥＤを三角形状に配置したセンシングプレート２Ｄを設けるとともに、患者３０の頭部に同様のセンシングプレート２Ｅをテープにて貼り付け、このセンシングプレート２Ｄ、２Ｅが計測範囲内に位置するように図示しないセンサアセンブリを配置する。そして、このセンサアセンブリは、これら赤外線ＬＥＤが発光している状態を映像で捉え、この捉えた映像を基に次元位置情報を計測し、計測結果を通信Ｉ／Ｆ２６を介してＣＰＵ２５に供給する。 Further, the insertion information for the surgical region of the rigid endoscope 2B may be obtained by providing the rigid endoscope 2B with a sensor 3A as shown in FIG.
In this embodiment, the insertion information for the surgical site of the rigid endoscope 2B may be acquired by the method shown in FIG. In this method, for example, as described in Japanese Patent Application Laid-Open No. 2001-293006, a sensing plate 2D in which infrared LEDs are arranged in a triangular shape is provided on a rigid endoscope 2B, and a similar sensing plate 2E is provided on the head of a patient 30. The sensor assembly (not shown) is arranged so that the sensing plates 2D and 2E are positioned within the measurement range. The sensor assembly captures the state in which these infrared LEDs are emitting light, measures dimension position information based on the captured image, and supplies the measurement result to the CPU 25 via the communication I / F 26.

そして、ＣＰＵ２５は、図３に示すように、予め計測結果に基づき算出した座標変換行列ｅＨｃ３３、座標変換行列ｐＨｅ３４、座標変換行列ｍＨｐ３５を用いて、予めメモリ２４に記憶された硬性鏡２Ｂの後端３６の位置をオブジェクト座標系ｍ上の座標値へ変換する。また、同時に、カメラ座標系ｃの原点に一致する硬性鏡２Ｂの先端３７の位置も、座標変換行列ｐＨｅ３４、座標変換行列ｍＨｐ３５を用いて、オブジェクト座標系ｍ上の座標値へ変換する。また、ＣＰＵ２５は、オブジェクト座標系ｍ上の座標値へ変換された硬性鏡２Ｂの先端３７の位置を用いてモニタ１７、１７ａ、（表示部２ｂ）上で表示する三方向の断層像を抽出し、被検体の断層像データ３０Ａとしてメモリ２４またはＣＴ画像ＤＢ部２３に記憶しておく。 Then, as shown in FIG. 3, the CPU 25 uses the coordinate transformation matrix eHc33, the coordinate transformation matrix pHe34, and the coordinate transformation matrix mHp35 calculated based on the measurement results in advance, and the rear end of the rigid endoscope 2B stored in the memory 24 in advance. The position 36 is converted into a coordinate value on the object coordinate system m. At the same time, the position of the tip 37 of the rigid endoscope 2B coinciding with the origin of the camera coordinate system c is also converted into a coordinate value on the object coordinate system m using the coordinate conversion matrix pHe34 and the coordinate conversion matrix mHp35. In addition, the CPU 25 extracts a tomographic image in three directions to be displayed on the monitors 17, 17a and (display unit 2b) using the position of the tip 37 of the rigid endoscope 2B converted into the coordinate value on the object coordinate system m. The tomographic image data 30A of the subject is stored in the memory 24 or the CT image DB unit 23.

次に、実施例１の手術支援システム１の制御例を図１、図２及び図４〜図１０を参照しながら説明する。
最初に、手術支援システム１のバーチャル画像表示機能における基本動作を説明する。 Next, a control example of the surgery support system 1 according to the first embodiment will be described with reference to FIGS. 1, 2, and 4 to 10.
First, the basic operation in the virtual image display function of the surgery support system 1 will be described.

図１に示すバーチャル画像生成部１１を有する内視鏡システムを用いて、患者の頭部領域内の被検体の手術を行うものとする。このとき、内視鏡システムの電源が投入されているものとすると、バーチャル画像生成部１１のＣＰＵ２５は、オペレータがマウス１５またはキーボード１６を用いてバーチャル画像表示の指示を受け付けると、図示しない記録部に記録されているバーチャル画像表示用プログラムを起動する。すると、ＣＰＵ２５は、バーチャル画像を表示するのに必要な画面をモニタ１７に表示させる。 It is assumed that the subject in the head region of the patient is operated using the endoscope system having the virtual image generation unit 11 shown in FIG. At this time, assuming that the power of the endoscope system is turned on, the CPU 25 of the virtual image generation unit 11 receives a virtual image display instruction using the mouse 15 or the keyboard 16 and the recording unit (not shown) Start the virtual image display program recorded in the menu. Then, the CPU 25 causes the monitor 17 to display a screen necessary for displaying the virtual image.

そして、オペレータは、このモニタ１７上に表示された画面を見ながら、例えば患者の術部領域のどの位置に硬性鏡２Ｂを挿入するかの情報（術部領域のＺ方向の数値（挿入点）、必要であれば術部領域のＸ方向、Ｙ方向も含む）を、マウス１５あるいはキーボード１６を用いて入力し、その後、同様に、硬性鏡２Ｂを術部領域に挿入した際の硬性鏡２Ｂの軸方向（注目点）の数値を入力する。 Then, while viewing the screen displayed on the monitor 17, the operator, for example, information on which position in the surgical region of the patient the rigid endoscope 2B is to be inserted (numerical value (insertion point) in the Z direction of the surgical region) If necessary, the X- and Y-directions of the surgical region are input using the mouse 15 or the keyboard 16, and thereafter the rigid endoscope 2B is inserted when the rigid endoscope 2B is inserted into the surgical region. Enter the numerical value of the axis direction (attention point).

バーチャル画像生成部１１の合成回路２５Ａは、入力された情報に基づき、硬性鏡２Ｂの挿入点及び注目点に対応するバーチャル画像を生成する。ＣＰＵ２５は、生成されたバーチャル画像データをバーチャル画像用モニタ１７、１７ａ及び内視鏡装置２の表示部２ｂに表示する。 The synthesis circuit 25A of the virtual image generation unit 11 generates a virtual image corresponding to the insertion point and the attention point of the rigid endoscope 2B based on the input information. The CPU 25 displays the generated virtual image data on the virtual image monitors 17 and 17 a and the display unit 2 b of the endoscope device 2.

このとき、手術を行っている術者側の術者用モニタ３２内の内視鏡画像用モニタ１３ａ及び内視鏡装置２内の表示部２ｂには、システムコントローラ１０のＣＰＵ２０及びバーチャル画像生成部１１のＣＰＵ２５の表示制御により、内視鏡ライブ画像が表示され、この表示を見ながら術者３１は手術を行うことになる。 At this time, the CPU 20 of the system controller 10 and the virtual image generation unit are included in the endoscope image monitor 13a in the operator monitor 32 on the operator side performing the operation and the display unit 2b in the endoscope apparatus 2. 11, the endoscope live image is displayed by the display control of the CPU 25, and the surgeon 31 performs the operation while viewing this display.

手術を行っている場合、本実施例では、バーチャル画像生成部１１のＣＰＵ２５は、内視鏡ライブ画像と一致するように、硬性鏡２Ｂのセンサ３Ａからの検出結果や情報入力部３Ｂからの入力情報の演算結果に基づきバーチャル画像をＣＰＵ２５内の合成回路２５Ａによって生成し、生成した画像をバーチャル画像用モニタ１７、１７ａ及び表示部２ｂに表示させる。 In the case of performing surgery, in the present embodiment, the CPU 25 of the virtual image generation unit 11 detects the detection result from the sensor 3A of the rigid endoscope 2B and the input from the information input unit 3B so as to coincide with the live endoscope image. Based on the calculation result of the information, a virtual image is generated by the synthesis circuit 25A in the CPU 25, and the generated image is displayed on the virtual image monitors 17, 17a and the display unit 2b.

例えば、いま、手術中に、術者３１によって硬性鏡２Ｂの挿入部が術部領域の挿入方向（Ｚ方向）に移動が生じたものとする。この場合、参照用モニタ１３や内視鏡画像用モニタ１３ａに硬性鏡２Ｂの移動に応じた内視鏡ライブ画像が表示されているとすると、本実施例では、この硬性鏡２Ｂの移動がセンサ３Ａや演算処理によって常に検出され、ＣＰＵ２５はこの検出結果に基づくバーチャル画像をＣＰＵ２５内の合成回路２５Ａによって生成し、生成した画像をバーチャル画像用モニタ１７、１７ａ及び表示部２ｂに表示させる。 For example, it is assumed that during the operation, the operator 31 moves the insertion portion of the rigid endoscope 2B in the insertion direction (Z direction) of the operation region. In this case, assuming that an endoscope live image corresponding to the movement of the rigid endoscope 2B is displayed on the reference monitor 13 or the endoscope image monitor 13a, in this embodiment, the movement of the rigid endoscope 2B is a sensor. The CPU 25 generates a virtual image based on the detection result by the combining circuit 25A in the CPU 25, and displays the generated image on the virtual image monitors 17, 17a and the display unit 2b.

これにより、硬性鏡２Ｂの挿入部が挿入方向に移動したときの内視鏡ライブ画像に対応するバーチャル画像を、対応するバーチャル画像用モニタ１７ａ及び表示部２ｂに表示させることができ、術者３１は内視鏡観察下において、内視鏡観察画像の観察領域の被検体の生体画像情報を得ることが可能となる。 Thereby, the virtual image corresponding to the endoscope live image when the insertion portion of the rigid endoscope 2B moves in the insertion direction can be displayed on the corresponding virtual image monitor 17a and the display portion 2b. Under endoscopic observation, it is possible to obtain biological image information of the subject in the observation region of the endoscopic observation image.

なお、本実施例では、内視鏡装置２は、脳外科手術を行う場合に硬性鏡２Ｂを固定装置２Ａによって予め挿入方向を固定しているので、手術中に傾きが生じないものとして説明したが、硬性鏡２Ｂの傾きが生じた場合でも、この傾きに応じた内視鏡ライブ画像に対応するバーチャル画像を表示することも可能である。 In the present embodiment, the endoscope apparatus 2 has been described as having no inclination during the operation because the insertion direction of the rigid endoscope 2B is fixed in advance by the fixing apparatus 2A when performing brain surgery. Even when the rigid endoscope 2B is inclined, it is possible to display a virtual image corresponding to the endoscope live image corresponding to the inclination.

図４に、本実施例の手術支援システム１により表示された、脳外科手術を行う際の内視鏡ライブ画像の一例が示されている。
図４に示すように、内視鏡装置２内の表示部２ｂ（またはバーチャル画像用モニタ１７ａ）には、脳外科手術を行うため、固定装置２Ａにより患者の頭部領域（脳）内に固定された硬性鏡２Ｂにより撮像された術部の内視鏡ライブ画像５１が表示される。 FIG. 4 shows an example of an endoscopic live image displayed by the surgery support system 1 of the present embodiment when performing a brain surgery.
As shown in FIG. 4, the display unit 2b (or the virtual image monitor 17a) in the endoscope apparatus 2 is fixed in the patient's head region (brain) by the fixing device 2A in order to perform brain surgery. An endoscopic live image 51 of the surgical site captured by the rigid endoscope 2B is displayed.

この場合、表示部２ｂは、この内視鏡ライブ画像５１を観察視野５０内に表示することになる。また、表示部２ｂは、観察視野５０外の領域については例えば黒色等でなにも表示されない無表示部５２を表示している。 In this case, the display unit 2 b displays the endoscope live image 51 in the observation visual field 50. Moreover, the display part 2b displays the non-display part 52 which is not displayed in black etc. about the area | region outside the observation visual field 50, for example.

術者３１は、接眼部２ａを介して内視鏡装置２内の表示部２ｂに表示された観察視野５０内の内視鏡ライブ画像５１を観察しながら術部（脳内）内の手術を行う。 The operator 31 performs an operation in the surgical part (inside the brain) while observing an endoscopic live image 51 in the observation visual field 50 displayed on the display unit 2b in the endoscope apparatus 2 through the eyepiece unit 2a. I do.

ところが、図４に示すように、観察視野５０が狭いために、術者３１は内視鏡ライブ画像５１内の周囲の血管５３等の状態に注意をしながら血管５３のパイパス手術等を行わなければならない。このような場合には、単に内視鏡ライブ画像５１のみの表示では、周囲の血管５３の状態を十分に把握出来にくい場合がしばしばある。
例えば、図４に示すように、壊死状態に近い血管部分５３ａを周囲の正常な血管５３に接続しようとしても、周囲の血管５３が接続して良い血管５３か否かの判断を簡単に行えないで、その判断に時間を要してしまう場合がある。 However, as shown in FIG. 4, since the observation visual field 50 is narrow, the operator 31 must perform a bypass operation or the like of the blood vessel 53 while paying attention to the state of the surrounding blood vessel 53 and the like in the endoscope live image 51. I must. In such a case, it is often difficult to sufficiently grasp the state of the surrounding blood vessel 53 by simply displaying the endoscope live image 51 alone.
For example, as shown in FIG. 4, even if an attempt is made to connect a blood vessel portion 53a close to a necrotic state to a surrounding normal blood vessel 53, it cannot be easily determined whether or not the surrounding blood vessel 53 can be connected. Therefore, it may take time to make the determination.

しかしながら、本実施例の手術支援システム１は、予め容易した同じ部位の周囲の血管５３の状態が解るようなバーチャル画像５２Ａ（内視鏡ライブ画像５１では見えない周辺部のバーチャル画像）を補助画像として生成し、内視鏡ライブ画像５１に重畳して表示する。
なお、補助画像（バーチャル画像５２Ａ）を生成するのに必要な画像データは、手術を行う患者３０から検査等によって予め取得し、図２のＣＴ画像ＤＢ部２３等に記憶されるようになっている。 However, the surgery support system 1 according to the present embodiment supplements a virtual image 52A (a virtual image of a peripheral portion that cannot be seen in the endoscope live image 51) that can easily understand the state of the blood vessels 53 around the same site in advance. And superimposed on the endoscope live image 51 and displayed.
Note that image data necessary to generate the auxiliary image (virtual image 52A) is acquired in advance by an examination or the like from the patient 30 performing the operation, and is stored in the CT image DB unit 23 or the like of FIG. Yes.

図５に、図４に示す内視鏡ライブ画像に観察視野内の背景のバーチャル画像が重畳された表示部の表示例が示されている。図５に示すように、重畳表示制御手段としてのＣＰＵ２５は、観察視野５０内に図４に示すものと同様の内視鏡ライブ画像５１Ａを表示すると同時に、観察視野５０外の領域には内視鏡ライブ画像５１Ａ内の背景の予め決められたバーチャル画像５２Ａを重畳して表示する。 FIG. 5 shows a display example of the display unit in which the virtual image of the background in the observation visual field is superimposed on the endoscope live image shown in FIG. As shown in FIG. 5, the CPU 25 as the superimposing display control means displays an endoscopic live image 51 A similar to that shown in FIG. 4 in the observation visual field 50 and at the same time, in the region outside the observation visual field 50. A predetermined virtual image 52A of the background in the mirror live image 51A is superimposed and displayed.

この場合、ＣＰＵ２５は、前記バーチャル画像５２Ａの表示については、補助画像であることがわかるように内視鏡ライブ画像５１Ａとは識別し易い色で表示する。また、ＣＰＵ２５は、表示するバーチャル画像５２Ａとしては、内視鏡ライブ画像５１Ａの血管５３の周囲の血管５３Ａの状態が解るように表示する。 In this case, the CPU 25 displays the virtual image 52A in a color that can be easily distinguished from the endoscope live image 51A so that it can be seen as an auxiliary image. Further, the CPU 25 displays the virtual image 52A to be displayed so that the state of the blood vessel 53A around the blood vessel 53 of the endoscope live image 51A can be understood.

なお、観察視野５０内の内視鏡ライブ画像５１Ａは、必要であれば図５に示すように主要部分のバーチャル画像（例えばバイパス画像５３ｂ等）を重畳表示しても良いし、表示色の輝度レベルを周辺部よりも下げて表示するようにしても良い。また、これらの設定は、術者等によって自在に選択することができるようになっている。 Note that the endoscopic live image 51A in the observation visual field 50 may be displayed by superimposing a virtual image of a main part (for example, the bypass image 53b) as shown in FIG. You may make it display a level lower than a peripheral part. These settings can be freely selected by an operator or the like.

このようにすることにより、術者３１は表示部２ｂに表示されたバーチャル画像５２Ａを参照することによって、観察視野５０の周囲の血管５３Ａの状態を把握し易くなり、手術を円滑に進めることが可能となる。 By doing so, the surgeon 31 can easily grasp the state of the blood vessel 53A around the observation visual field 50 by referring to the virtual image 52A displayed on the display unit 2b, and can smoothly proceed with the operation. It becomes possible.

なお、本実施例では、図６（Ａ）及び図６（Ｂ）に示すように、動脈ａや静脈ｂの世代１、２、３、…を分岐の状態に応じて色分けするなどして表示させても良い。すなわち、手術を行う患者３０から検査等によって図６（Ａ）及び図６（Ｂ）に示すような動脈ａや静脈ｂの分岐状態を予め取得していれば、バーチャル画像５２Ａとして分岐の状態に応じて色分けすることにより、周囲の血管の状態や世代等を考慮して手術を円滑に進めることができるように支援が可能となる。 In this embodiment, as shown in FIGS. 6A and 6B, the generations 1, 2, 3,... Of the artery a and the vein b are displayed in different colors according to the branching state. You may let them. That is, if the branch state of the artery a and the vein b as shown in FIG. 6A and FIG. 6B is acquired in advance from the patient 30 who performs the operation by examination or the like, the virtual image 52A is branched. By color-corresponding accordingly, it is possible to support so that the operation can proceed smoothly in consideration of the state and generation of surrounding blood vessels.

次に、このようなバーチャル画像表示モードを実行可能とする制御例を図９及び図１０を参照しながら説明する。なお、上述した図５に示すようなバーチャル画像５２Ａを表示するバーチャル画像表示モードを手術実行モードと称すことにする。 Next, a control example that enables execution of such a virtual image display mode will be described with reference to FIGS. Note that the virtual image display mode for displaying the virtual image 52A as shown in FIG. 5 is referred to as an operation execution mode.

いま、手術開始時等に術者３１等によって内視鏡システムの電源を投入したとすると、バーチャル画像生成部１１のＣＰＵ２５は、図示しない記録部に記録されている図９に示すプログラムを起動し、ステップＳ１の処理を実行する。 Assuming that the endoscope system is turned on by the operator 31 or the like at the start of surgery, the CPU 25 of the virtual image generation unit 11 starts the program shown in FIG. 9 recorded in a recording unit (not shown). Then, the process of step S1 is executed.

ステップＳ１の処理では、ＣＰＵ２５は、表示モードの設定を行う。例えば、内視鏡ライブ画像のみの表示モードや、バーチャル画像を表示する表示モード、あるいは術者に支援を行うのに必要なバーチャル画像を重畳する手術実行モード等の表示モードの設定を行う。 In the process of step S1, the CPU 25 sets a display mode. For example, display modes such as a display mode for only an endoscopic live image, a display mode for displaying a virtual image, or a surgery execution mode for superimposing a virtual image necessary for assisting an operator are set.

そして、ＣＰＵ２５は、続くステップＳ２の判断処理により、その設定された表示モードが内視鏡画像の視点情報に基づく表示モード、つまり内視鏡ライブ画像を表示する表示モードであるか否かを判定し、そうである場合は次のステップＳ３に移行し、そうでない場合にはステップＳ６の処理に移行する。 Then, the CPU 25 determines whether or not the set display mode is a display mode based on the viewpoint information of the endoscopic image, that is, a display mode for displaying an endoscopic live image, through the determination process in the subsequent step S2. If so, the process proceeds to the next step S3, and if not, the process proceeds to step S6.

ステップＳ３の処理では、ＣＰＵ２５は、内視鏡ライブ画像のみの表示モードだと判断して、硬性鏡２Ｂにより撮像された内視鏡ライブ画像を図４に示すように表示部２ｂや参照用モニタ１３及び内視鏡画像用モニタ１３ａに表示させる。その後、ＣＰＵ２５は、続くステップＳ４の判断処理に移行する。 In the process of step S3, the CPU 25 determines that the display mode is only for the endoscope live image, and the endoscope live image captured by the rigid endoscope 2B is displayed on the display unit 2b or the reference monitor as shown in FIG. 13 and the endoscopic image monitor 13a. Thereafter, the CPU 25 proceeds to the determination process in the subsequent step S4.

一方、ステップＳ６の処理では、ＣＰＵ２５は、図５にて説明したように予め容易した同じ部位の周囲の血管５３の状態が解るようなバーチャル画像５２Ａを補助画像として合成回路２５Ａによって生成し、内視鏡ライブ画像５１に重畳して表示する手術実行モードを実行する。なお、詳しい処理については図１０のサブルーチンを参照しながら後述する。そして、ＣＰＵ２５は、次のステップＳ４の判断処理に移行する。 On the other hand, in the process of step S6, the CPU 25 generates, as an auxiliary image, a virtual image 52A in which the state of the blood vessel 53 around the same part, which has been facilitated in advance, as described with reference to FIG. A surgery execution mode is displayed in which the endoscope live image 51 is superimposed and displayed. Detailed processing will be described later with reference to the subroutine of FIG. Then, the CPU 25 proceeds to the determination process in the next step S4.

ステップＳ４の判断処理では、ＣＰＵ２５は、表示モードが変更になったか否かを判断し、その後の操作によって変更になったと判断した場合にはステップＳ２に処理を戻し、変更になってないと判断した場合にはステップＳ５の処理により、内視鏡ライブ画像表示モードまたは前記手術実行モードに基づく表示制御を行う。 In the determination process of step S4, the CPU 25 determines whether or not the display mode has been changed, and if it is determined that the display mode has been changed by a subsequent operation, the process returns to step S2 and is determined not to have been changed. In such a case, display control based on the endoscope live image display mode or the surgery execution mode is performed by the process of step S5.

次に、前記ステップＳ６が実行された場合の制御処理について図１０を参照しながら説明する。
図９に示すステップＳ６の処理が実行されると、ＣＰＵ２５は、ステップＳ１の処理にて設定された表示モードが図５にて説明した手術実行モードであると判断して、図１０に示すサブルーチンのプログラムを実行する。 Next, control processing when step S6 is executed will be described with reference to FIG.
When the process of step S6 shown in FIG. 9 is executed, the CPU 25 determines that the display mode set in the process of step S1 is the surgery execution mode described with reference to FIG. Run the program.

すなわち、ＣＰＵ２５は、ステップＳ１０の処理にて内視鏡ライブ画像の視点情報、すなわち、硬性鏡２Ｂの挿入情報をマウス１５やキーボード１６などの情報入力部３Ｂ等から取得し、次のステップＳ１１に移行する。 That is, the CPU 25 obtains the viewpoint information of the endoscope live image, that is, the insertion information of the rigid endoscope 2B from the information input unit 3B such as the mouse 15 and the keyboard 16 in the process of step S10, and proceeds to the next step S11. Transition.

そして、ＣＰＵ２５は、ステップＳ１１の処理により、情報入力部３Ｂからの入力情報（挿入情報）や硬性鏡２Ｂのセンサ３Ａからの検出結果に基づき、内視鏡ライブ画像と一致するバーチャル画像をＣＰＵ２５内の合成回路２５Ａによって生成し取得する。 Then, the CPU 25 creates a virtual image that matches the endoscope live image in the CPU 25 based on the input information (insertion information) from the information input unit 3B and the detection result from the sensor 3A of the rigid endoscope 2B. Is generated and acquired by the synthesis circuit 25A.

その後、ＣＰＵ２５は、ステップＳ１２の処理により、図５に示すように観察視野５０外の内視鏡ライブ画像５１Ａの背景（周辺部）の予め決められたバーチャル画像５２Ａを生成するのに必要な画像データを図２のＣＴ画像ＤＢ部２３等から取得し、そして、合成回路２５Ａによってこの画像データに基づき内視鏡ライブ画像５１Ａの背景のバーチャル画像５２Ａを生成し取得する。 Thereafter, the CPU 25 performs processing in step S12 to generate a predetermined virtual image 52A of the background (peripheral portion) of the endoscope live image 51A outside the observation visual field 50 as shown in FIG. Data is acquired from the CT image DB unit 23 and the like in FIG. 2, and a virtual image 52A of the background of the endoscope live image 51A is generated and acquired based on this image data by the synthesis circuit 25A.

この場合、ＣＰＵ２５は、リモートスイッチ２Ｃ（またはリモコン１２Ａ）等によってズームアップ（拡大処理）操作が合った場合には、この操作信号に基づく倍率で拡大処理を行う。もちろん、拡大処理だけではなく、縮小処理を行うことも可能である。 In this case, when a zoom-up (enlargement process) operation is performed by the remote switch 2C (or the remote controller 12A) or the like, the CPU 25 performs an enlargement process at a magnification based on this operation signal. Of course, not only enlargement processing but also reduction processing can be performed.

例えば、患者３０の術部が図６（Ａ）に示す動脈ａであり、硬性鏡２Ｂによって撮像された観察視野５０内の術部が図６（Ａ）に示す動脈ａの世代３，４近傍であるとすると、表示部２ｂは、図７に示すような観察視野５０内の内視鏡ライブ画像６０と、観察視野５０外の無表示部５２を表示する。
この場合、術者３１が、内視鏡ライブ画像６０内の分岐部６０Ａ近傍に関心部位があり、ズームアップ操作を行ったとすると、ＣＰＵ２５は、合成回路２５Ａによって該当する画像データを拡大処理を行うことにより、例えば図８に示すような所定の倍率で拡大された観察視野５０内の内視鏡ライブ画像６０Ｂ及び観察視野５０外のバーチャル画像５２Ｂを表示部２ｂに表示させることができる。 For example, the surgical site of the patient 30 is the artery a shown in FIG. 6 (A), and the surgical site in the observation visual field 50 imaged by the rigid endoscope 2B is near the generations 3 and 4 of the artery a shown in FIG. 6 (A). If it is, the display part 2b will display the endoscope live image 60 in the observation visual field 50 and the non-display part 52 outside the observation visual field 50 as shown in FIG.
In this case, if the surgeon 31 has a region of interest in the vicinity of the branching portion 60A in the endoscope live image 60 and performs a zoom-up operation, the CPU 25 enlarges the corresponding image data by the synthesis circuit 25A. Thus, for example, the endoscope live image 60B in the observation visual field 50 and the virtual image 52B outside the observation visual field 50 enlarged at a predetermined magnification as shown in FIG. 8 can be displayed on the display unit 2b.

そして、ＣＰＵ２５は、続くステップＳ１３の処理により、前記ステップＳ１２にて生成されたバーチャル画像５２Ａを、内視鏡ライブ画像５１（図４参照）が表示されている観察視野５０外の無表示部５２に重畳するように合成回路２５Ａによって合成して表示する。 Then, the CPU 25 converts the virtual image 52A generated in step S12 to the non-display unit 52 outside the observation visual field 50 where the endoscope live image 51 (see FIG. 4) is displayed by the process of step S13. Are synthesized by the synthesis circuit 25A so as to be superimposed on each other.

このことにより、表示部２ｂ（またはバーチャル画像用モニタ１７ａ）には、図５に示すような内視鏡ライブ画像５１Ａの他に、観察視野５０外にはこの内視鏡ライブ画像５１Ａの周囲（周辺部）の血管５３Ａ等のバーチャル画像５２Ａが色別に重畳表示されることになる。 As a result, in addition to the endoscope live image 51A as shown in FIG. 5, the display unit 2b (or the virtual image monitor 17a) has an area around the endoscope live image 51A outside the observation visual field 50 (see FIG. A virtual image 52A such as a blood vessel 53A in the peripheral area is superimposed and displayed for each color.

したがって、術者３１は表示部２ｂに表示されたバーチャル画像５２Ａを参照することによって、観察視野５０の周囲の血管５３Ａの状態を把握し易くなり、手術を円滑に進めることが可能となる。
また、前記内視鏡装置２内に、術野とは別に設けられた視野内表示部に本発明の表示部２ｂの表示内容を表示してもよい。 Therefore, by referring to the virtual image 52A displayed on the display unit 2b, the surgeon 31 can easily grasp the state of the blood vessel 53A around the observation visual field 50 and can smoothly proceed with the operation.
Further, the display content of the display unit 2b of the present invention may be displayed on a display unit in the visual field provided separately from the surgical field in the endoscope apparatus 2.

なお、本実施例では、脳外科手術を行うのに適した手術支援システム１について説明したが、これに限定されることはなく、腹部の体腔内の手術を行う場合にも適用可能である。この場合、硬性鏡２Ｂの傾きについても検出することが必要であるとともに、臓器が手術内容によっては動く可能性があるのでこの動きに応じた補正処理（例えば硬性鏡２Ｂの位置補正等）を行う必要がある。 In addition, although the present Example demonstrated the surgery assistance system 1 suitable for performing a brain surgery, it is not limited to this, It is applicable also when performing the operation in the body cavity of an abdominal part. In this case, it is necessary to detect also the inclination of the rigid endoscope 2B, and the organ may move depending on the contents of the operation, so correction processing (for example, position correction of the rigid endoscope 2B) corresponding to this movement is performed. There is a need.

本発明は、上述した実施例に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。 The present invention is not limited to the above-described embodiments, and various changes and modifications can be made without departing from the scope of the present invention.

本発明の実施例１の手術支援システムの全体構成を示す概略構成図。BRIEF DESCRIPTION OF THE DRAWINGS Schematic block diagram which shows the whole structure of the surgery assistance system of Example 1 of this invention. 図１の手術支援システムの全体構成を示すブロック図。The block diagram which shows the whole structure of the surgery assistance system of FIG. 硬性鏡の位置に応じたバーチャル画像を生成するのに必要な座標変換を示す説明図。Explanatory drawing which shows the coordinate transformation required in order to produce | generate the virtual image according to the position of a rigid endoscope. 硬性鏡の内視鏡画像の一例を示す表示図。The display figure which shows an example of the endoscopic image of a rigid endoscope. 本実施例の表示例を示し、内視鏡画像に観察視野内の背景のバーチャル画像が重畳された表示図。The display figure which shows the example of a display of a present Example and the virtual image of the background in an observation visual field was superimposed on the endoscopic image. 脳内の基本となる血管（動脈及び静脈）の配置状態を示す図。The figure which shows the arrangement | positioning state of the blood vessel (artery and vein) used as the basis in a brain. 図６（Ａ）の動脈上の所定箇所の内視鏡画像を示す表示図。The display figure which shows the endoscopic image of the predetermined location on the artery of FIG. 6 (A). 図７の観察視野内の内視鏡画像を拡大すると同時にこの内視鏡画像に観察視野内の背景のバーチャル画像が重畳された表示図。The display figure which expanded the endoscopic image in the observation visual field of FIG. 7, and superimposed the virtual image of the background in an observation visual field on this endoscopic image simultaneously. バーチャル画像生成部のＣＰＵによるメイン制御手順を示すフローチャート。The flowchart which shows the main control procedure by CPU of a virtual image generation part. 図９の手術実行モード実行処理のサブルーチンを示すフローチャート。The flowchart which shows the subroutine of the surgery execution mode execution process of FIG.

Explanation of symbols

１…手術支援システム、
２…内視鏡装置、
２Ａ…固定装置、
２Ｂ…硬性鏡、
２Ｃ…リモートスイッチ、
２ａ…接眼部、
２ｂ…表示部、
３Ａ…センサ、
３Ｂ…情報入力部、
５…光源装置、
６…電気メス装置、
８…超音波駆動電源、
９…ＶＴＲ、
１０…システムコントローラ、
１１…バーチャル画像生成部、
１２Ａ…リモコン、
１２Ｂ…音声入力マイク、
１３…参照用モニタ、
１３ａ…内視鏡画像用モニタ、
１５…マウス、
１６…キーボード、
１７、１７ａ…バーチャル画像用モニタ、
１９…メモリ、
２３…ＣＴ画像ＤＢ部、
２４…メモリ、
２５…ＣＰＵ、
２５Ａ…合成回路、
３０…患者、
３１…術者、
５０…観察視野、
５１、５１Ａ、６０…内視鏡ライブ画像、
５２…無表示部、
５２Ａ、５２Ｂ…バーチャル画像、
５３…血管、
５３ｂ…バイパス画像、
６０Ａ…分岐部。
代理人弁理士伊藤進 1 ... Surgery support system,
2 ... Endoscope device,
2A ... fixing device,
2B ... rigid endoscope,
2C ... Remote switch,
2a ... eyepiece,
2b ... display part,
3A ... sensor,
3B ... Information input part,
5 ... Light source device,
6 ... Electric knife device,
8 ... Ultrasonic drive power supply,
9 ... VTR,
10 ... System controller,
11 ... Virtual image generation unit,
12A ... remote control,
12B ... voice input microphone,
13 ... Reference monitor,
13a ... Endoscopic image monitor,
15 ... mouse,
16 ... Keyboard,
17, 17a ... Virtual image monitor,
19 ... Memory,
23. CT image DB section,
24 ... Memory,
25 ... CPU,
25A ... Synthesis circuit,
30 ... Patient,
31 ... Surgeon,
50 ... Observation field,
51, 51A, 60 ... endoscope live image,
52 ... non-display part,
52A, 52B ... Virtual images,
53. Blood vessels,
53b ... Bypass image,
60A ... Branching part.
Attorney Susumu Ito

Claims

A surgery support system that supports an operator by displaying an endoscopic image and a virtual image that matches the viewpoint position of the endoscopic image,
It has a superimposed display control means for acquiring virtual image data relating to a peripheral portion that is not visible in the endoscopic image and displaying a virtual image based on the virtual image data superimposed on the endoscopic image. A featured surgery support system.

The surgery support system according to claim 1, wherein the superimposed display control means displays a virtual image to be superimposed on the endoscopic image in a color that can be identified with respect to the endoscopic image. .

3. The superimposing display control unit displays a virtual image superimposed on the endoscopic image at a luminance level that can be identified with respect to the endoscopic image. Surgery support system.