JP2005111081A

JP2005111081A - Endoscopic image display processor

Info

Publication number: JP2005111081A
Application number: JP2003351220A
Authority: JP
Inventors: Akinobu Uchikubo; 明伸内久保; Shoichi Gotanda; 正一五反田; Takeaki Nakamura; 剛明中村
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2003-10-09
Filing date: 2003-10-09
Publication date: 2005-04-28
Anticipated expiration: 2023-10-09
Also published as: JP4615842B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide an endoscopic image display processor capable of executing display so as to easily perform diagnosing or the like in the case of displaying a plurality of images including endoscopic images. <P>SOLUTION: The endoscopic image picked up by an endoscope is displayed at a first display device 19 as a live image, and a stereoscopically generated virtual image simulating the same organ as the live image is tone-corrected by a color tone correction circuit 74 on the basis of a color analyzed result by a color analysis circuit 71 for the live image and is displayed at a second display device 22 by a color tone matched with the color tone of the live image. There is no feeling of incompatibility by displaying the same organ by the same color tune, and diagnosing or the like is easily performed by referring to the virtual image. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

本発明は、手術等を行う場合に表示される内視鏡画像に関連するバーチャル画像等の画像の色調を補正する内視鏡画像表示処理装置に関する。 The present invention relates to an endoscopic image display processing device that corrects the color tone of an image such as a virtual image related to an endoscopic image displayed when performing surgery or the like.

近年、内視鏡は医療分野において、広く普及している。この場合、表示装置には、実際に観察を行う内視鏡画像と共に、手術の際の参考になる処置具の状態の表示や各種の画像とが表示される場合がある。
例えば特開２０００−２７０３１８号公報における表示装置には、内視鏡画像の他に、手術具の状態を容易に確認しながら手術の指示等の支援を行うことができる手術情報が表示される。また、この従来例にはＸ線画像等の画像も表示できるようにしている。
特開２０００−２７０３１８号公報 In recent years, endoscopes have become widespread in the medical field. In this case, the display device may display an endoscopic image that is actually observed, a display of the state of the treatment tool and various images that are helpful during surgery.
For example, in the display device disclosed in Japanese Patent Laid-Open No. 2000-270318, surgical information that can provide support for a surgical instruction or the like while easily confirming the state of the surgical tool is displayed in addition to the endoscopic image. In addition, this conventional example can also display an image such as an X-ray image.
JP 2000-270318 A

しかしながら、上記従来例では、術者は、手術を行う際に表示される内視鏡画像の他に表示される画像を手術或いは診断の参考にしようとした場合、実際に撮像して表示されている内視鏡画像と他の画像との色調が異なるために診断等するのに時間がかかる場合がある。 However, in the above conventional example, when an operator tries to refer to an image displayed in addition to an endoscopic image displayed at the time of performing surgery, the image is actually captured and displayed. In some cases, it takes time to make a diagnosis or the like because the color tone of the endoscopic image and the other image are different.

（発明の目的）
本発明は、上述した点に鑑みてなされたもので、内視鏡画像を含む複数の画像を表示した場合、診断等を行い易いように表示することができる内視鏡画像表示処理装置を提供することを目的とする。 (Object of invention)
The present invention has been made in view of the above-described points, and provides an endoscope image display processing device capable of easily displaying diagnosis when a plurality of images including an endoscope image are displayed. The purpose is to do.

内視鏡に設けられた撮像手段により得られる内視鏡画像と、この内視鏡画像に関連する関連画像とを同時に表示する内視鏡画像処理装置において、
前記関連画像の色調を前記内視鏡画像の色調に合わせる色調補正手段を設けたことにより、術者は内視鏡画像に関連する関連画像を見て診断等に利用する場合に、関連画像の色調が内視鏡画像の色調に合わせてあることにより、内視鏡画像との間での患部等の把握が易くなり、診断等を行い易くなるように支援できるようにしている。 In an endoscopic image processing apparatus that simultaneously displays an endoscopic image obtained by an imaging unit provided in an endoscope and a related image related to the endoscopic image,
By providing a color correction unit that matches the color tone of the related image to the color tone of the endoscopic image, the surgeon looks at the related image related to the endoscopic image and uses it for diagnosis or the like. Since the color tone matches the color tone of the endoscopic image, it is easy to grasp the affected area with the endoscopic image, and support can be made to facilitate diagnosis and the like.

本発明によれば、内視鏡に設けられた撮像手段により得られる内視鏡画像と、この内視鏡画像に関連する関連画像とを同時に表示可能する内視鏡画像表示処理装置において、
前記関連画像の色調を前記内視鏡画像の色調に合わせる色調補正手段を設けているので、術者は内視鏡画像に関連する関連画像を参考にしようとした場合に、関連画像の色調が内視鏡画像の色調に合わせられ、内視鏡画像との間の関係等を把握し易くなり、診断等を円滑に進め易くできる。 According to the present invention, in an endoscopic image display processing apparatus capable of simultaneously displaying an endoscopic image obtained by an imaging unit provided in an endoscope and a related image related to the endoscopic image,
Since there is provided a color tone correction means for adjusting the color tone of the related image to the color tone of the endoscopic image, when the operator tries to refer to the related image related to the endoscopic image, the color tone of the related image is changed. It is possible to adjust the color tone of the endoscopic image, to easily understand the relationship between the endoscopic image and the like, and to facilitate diagnosis and the like.

以下、図面を参照して本発明の実施例を説明する。 Embodiments of the present invention will be described below with reference to the drawings.

図１ないし図６は本発明の実施例１に係り、図１は本発明の実施例１を備えた手術支援システム１の全体構成を示し、図２は第１手術室に配置された第１のコントローラの概略の構成を示し、図３は第１手術室に配置された手術システムの主要部の構成を示し、図４は色調補正の画像処理を行うパーソナルコンピュータの構成を示し、図５は色調補正手段の機能的な構成を示し、図６は色調補正を行う動作のフローチャ−トを示す。 1 to 6 relate to a first embodiment of the present invention, FIG. 1 shows the overall configuration of a surgical operation support system 1 including the first embodiment of the present invention, and FIG. 2 shows a first operation room arranged in a first operating room. 3 shows a schematic configuration of the controller, FIG. 3 shows a configuration of the main part of the surgical system arranged in the first operating room, FIG. 4 shows a configuration of a personal computer that performs image processing for color correction, and FIG. The functional configuration of the color tone correction means is shown, and FIG. 6 shows a flowchart of the operation for correcting the color tone.

図１に示すように、本実施例を備えた手術支援システム１は、例えば第１手術室２に設置された手術システム３と、この手術システム３等で発生する各種医療情報を収集する第１のコントローラ４と、この第１手術室２とは遠隔地点等に設置され、第１のコントローラ４で得られた各種医療処置情報を集積しカルテを生成する手術部サーバ５と、この手術部サーバ５とは別の拠点に設置され、前記手術部サーバ５で得られたカルテ情報等を蓄積する患者情報蓄積手段となる院内サーバ６と、を有している。 As shown in FIG. 1, the surgery support system 1 including the present embodiment includes, for example, a surgery system 3 installed in a first surgery room 2 and a first medical information collected in the surgery system 3 and the like. The controller 4 and the first operating room 2 are installed at a remote location or the like, and a surgical unit server 5 that accumulates various medical treatment information obtained by the first controller 4 and generates a medical record, and the surgical unit server And a hospital server 6 serving as patient information storage means for storing medical chart information obtained by the surgical department server 5.

第１のコントローラ４と前記手術部サーバ５との間及び前記手術部サーバ５と前記院内サーバ６との間は、それぞれ通信回線８，９で接続される。なお、前記各通信回線８，９は、公衆回線、専用回線、ＬＡＮ（構内通信網）等のどのような通信回線でもよい。又、前記院内サーバ６は、前記手術部サーバ５と同一拠点に配置されていても良い。 Communication lines 8 and 9 are connected between the first controller 4 and the surgical department server 5, and between the surgical department server 5 and the hospital server 6, respectively. Each of the communication lines 8 and 9 may be any communication line such as a public line, a dedicated line, or a LAN (private communication network). Further, the in-hospital server 6 may be arranged at the same base as the surgical department server 5.

上記第１のコントローラ４等が接続された通信回線８は、第２手術室１１ａ、第３手術室１１ｂ内にそれぞれ設置された図示しない各医療装置等と接続され、またこの通信回線８はカンファレンス室１１ｃ内の図示しない医療端末装置と接続されている。 The communication line 8 to which the first controller 4 or the like is connected is connected to each medical device (not shown) installed in the second operating room 11a and the third operating room 11b. It is connected to a medical terminal device (not shown) in the chamber 11c.

そして、術者は、第１手術室２の第１のコントローラ４から、例えばカンファレンス室１１ｃ内の図示しない医療端末装置に対して通信回線８を介して手術の際の画像情報等を送信することができると共に、カンファレンス室１１ｃの手術支援者は、手術の際のアドバイス等の支援情報を第１手術室２側に送信することにより手術の支援を行うことができるようにしている。このようにして手術支援システム１が形成されるようにしている。 Then, the surgeon transmits image information and the like at the time of surgery from the first controller 4 of the first operating room 2 to, for example, a medical terminal device (not shown) in the conference room 11c via the communication line 8. In addition, the operation supporter in the conference room 11c can support the operation by transmitting support information such as advice during the operation to the first operation room 2 side. In this way, the surgery support system 1 is formed.

第１手術室２に設置された手術システム３は、ベッド１２に横たわる患者１３に対して内視鏡検査を行う内視鏡装置１４と、内視鏡装置１４による内視鏡画像を表示するモニタ１５と、各種の処置を行う電気メス装置、気腹装置、超音波装置等の手術装置（手術機器）１６と、内視鏡装置１４及び手術装置１６等を制御する第２のコントローラ１７等から構成される（なお、図１では内視鏡装置１４の概略を示し、図３によって詳細な構成を示している）。 The surgical system 3 installed in the first operating room 2 includes an endoscope device 14 that performs an endoscopic examination on a patient 13 lying on a bed 12, and a monitor that displays an endoscopic image by the endoscope device 14. 15, a surgical device (surgical device) 16 such as an electric scalpel device, an abdominal stomach device, and an ultrasonic device for performing various treatments, a second controller 17 that controls the endoscope device 14, the surgical device 16, and the like. (In FIG. 1, an outline of the endoscope apparatus 14 is shown, and a detailed structure is shown in FIG. 3).

また、図３で説明するように内視鏡装置１４には撮像対象位置を検出する検出装置３１が設けてあり、この検出装置３１の情報は、第２のコントローラ１７を介して第１のコントローラ４に送られる。そして、この情報は、後述するバーチャル画像として表示する臓器を決定するのに利用される。 Further, as will be described with reference to FIG. 3, the endoscope device 14 is provided with a detection device 31 that detects the position to be imaged, and information on the detection device 31 is transmitted to the first controller via the second controller 17. Sent to 4. This information is used to determine an organ to be displayed as a virtual image to be described later.

この第２のコントローラ１７は第１のコントローラ４と接続され、内視鏡装置１４により得られた内視鏡の動画像（ライブ画像或いはリアルタイム画像）の映像信号は、第２のコントローラ１７から第１のコントローラ４を経て第１手術室２に設置されたライブ画像表示装置となる第１の表示装置１９に表示される。 The second controller 17 is connected to the first controller 4, and the video signal of the endoscope moving image (live image or real-time image) obtained by the endoscope apparatus 14 is transmitted from the second controller 17 to the second controller 17. 1 is displayed on the first display device 19 which is a live image display device installed in the first operating room 2 through the first controller 4.

また、第１のコントローラ４には、バーチャル画像を表示する画像処理を行うパーソナルコンピュータ（図１等ではＰＣと略記）２１が接続され、このパーソナルコンピュータ２１で生成された映像信号は、バーチャル画像表示装置としての第２の表示装置２２に出力され、この第２の表示装置２２にはバーチャル画像が表示される。 The first controller 4 is connected to a personal computer (abbreviated as PC in FIG. 1 and the like) 21 for performing image processing for displaying a virtual image, and a video signal generated by the personal computer 21 is displayed as a virtual image display. The image is output to a second display device 22 as a device, and a virtual image is displayed on the second display device 22.

また、第２のコントローラ１７には、前記手術システム３に対する制御指示等を入力するためのタッチパネル２３等の手術装システム制御入力手段が接続されている。
手術システム３による情報と、患者モニタリング装置２４により患者１３の血圧等をモニタして得た患者モニタ情報等が、第２のコントローラ１７を介して第１のコントローラ４に集積され、この集積された情報は、他の拠点に設定されている手術部サーバ５へ通信回線８を介して伝送される。 The second controller 17 is connected to a surgical instrument system control input unit such as a touch panel 23 for inputting a control instruction or the like for the surgical system 3.
Information from the surgical system 3 and patient monitor information obtained by monitoring the blood pressure of the patient 13 by the patient monitoring device 24 are accumulated in the first controller 4 via the second controller 17 and accumulated. Information is transmitted via the communication line 8 to the surgical department server 5 set in another base.

また、内視鏡装置１４から得られる映像信号と、第１手術室２内の様子を撮像する室内カメラ２５から得た映像信号は、第１のコントローラ４を介して信号伝送装置２６にも入力できる。この映像信号は、カンファレンス室１１ｃに伝送することができるし、通信回線１０を介して病院外部の支援を行う端末装置等に伝送することもできる。 In addition, the video signal obtained from the endoscope device 14 and the video signal obtained from the indoor camera 25 that captures the state in the first operating room 2 are also input to the signal transmission device 26 via the first controller 4. it can. The video signal can be transmitted to the conference room 11c, or can be transmitted to a terminal device or the like that provides support outside the hospital via the communication line 10.

また、手術部サーバ５は、通信回線９を介して院内サーバ６及びＷＥＢサーバ２７と接続されている。尚、前記ＷＥＢサーバ２７は、インターネットを介して病院外とも接続されている。 The surgical department server 5 is connected to the hospital server 6 and the WEB server 27 via the communication line 9. The WEB server 27 is also connected to the outside of the hospital via the Internet.

院内サーバ６には、病院の患者登録端末２８からの患者登録情報と、当該患者に関連する術前画像、術中画像等の医療画像（ＭＲＩ、ＣＴ、Ｘ線画像等）が蓄積されている。手術部サーバ５は、手術を行う患者の氏名や生年月日、診療記録などの登録情報及び患者に係る医療画像を、前記院内サーバ６から通信回線９を介して読み出す。
なお、第１のコントローラ４には、入力装置２９が接続され、この入力装置２９は、キーボード、マウス等からなり、この入力装置２９を用いて、カルテナンバ（ＩＤナンバー）及び氏名を入力するのに使用される。 The hospital server 6 stores patient registration information from the patient registration terminal 28 of the hospital and medical images (MRI, CT, X-ray images, etc.) such as preoperative images and intraoperative images related to the patient. The operation section server 5 reads out registration information such as the name, date of birth, and medical record of the patient performing the operation and a medical image related to the patient from the in-hospital server 6 via the communication line 9.
Note that an input device 29 is connected to the first controller 4, and this input device 29 is composed of a keyboard, a mouse, and the like, and uses this input device 29 to input a medical record number (ID number) and name. Used for.

また、本実施例では、例えばパーソナルコンピュータ２１（のＣＤ−ＲＯＭドライブ）には、ＣＤ−ＲＯＭ３０を装着して、そのプログラムをインストールすることができる。このＣＤ−ＲＯＭ３０には人体の内部の臓器を、ＭＲＩ等の画像を基にして模擬して立体的に模擬画像（いわゆるバーチャル画像）を表示するプログラムが格納されている。 In this embodiment, for example, the personal computer 21 (the CD-ROM drive) can be installed with the CD-ROM 30 and the program can be installed. The CD-ROM 30 stores a program for simulating an internal organ of a human body based on an image such as MRI and displaying a three-dimensional simulated image (so-called virtual image).

従って、パーソナルコンピュータ２１に、そのプログラムをインストールすることにより、パーソナルコンピュータ２１は、バーチャル画像を生成して、第２表示装置２２にバーチャル画像を表示する機能を持つようになる。なお、図１の２点鎖線で示すように、第１のコントローラ４にＣＤ−ＲＯＭ３０をセットし、術者等のユーザは、パーソナルコンピュータ２１からそのプログラムをダウンロードしてインストールする等しても良い。 Therefore, by installing the program in the personal computer 21, the personal computer 21 has a function of generating a virtual image and displaying the virtual image on the second display device 22. 1, the CD-ROM 30 may be set in the first controller 4 and a user such as an operator may download the program from the personal computer 21 and install it. .

図２は第１のコントローラ４の概略の構成を示す。
この第１のコントローラ４は、この第１のコントローラ４の各部を制御するＣＰＵ５１と、このＣＰＵ５１が実行するソフトウエアや内視鏡画像及び前記患者情報等のデータを格納したり、ＣＰＵ５１の作業領域を確保するためのハードディスク５２及びメモリ５３と、前記第１の表示装置１９で表示する映像信号を生成する表示制御部５４と、患者モニタリング装置２４や第２のコントローラ１７による手術装置等で得た手術装置情報や患者情報を伝送する通信インタフェース５６と、内視鏡装置１４から第２のコント−ラ１７を介して映像信号を入力したり、信号伝送装置２６を介して内視鏡画像を含む映像情報を入出力する映像信号入出力回路５７と、通信回線８との間で情報を伝送する通信インタフェース５８と、内視鏡装置１４で得た内視鏡画像（ライブ画像）の映像信号データをパーソナルコンピュータ２１に送信等する通信インタフェース５９と、を有して構成されている。 FIG. 2 shows a schematic configuration of the first controller 4.
The first controller 4 stores a CPU 51 that controls each part of the first controller 4, software executed by the CPU 51, data such as an endoscopic image, and patient information, and a work area of the CPU 51. Obtained by a hard disk 52 and a memory 53 for securing the image, a display control unit 54 for generating a video signal to be displayed on the first display device 19, a surgical device using the patient monitoring device 24 and the second controller 17, and the like. A video interface is input from the endoscope device 14 via the second controller 17 and the endoscope image is included via the signal transmission device 26, through the communication interface 56 for transmitting surgical device information and patient information. The video signal input / output circuit 57 for inputting / outputting video information, the communication interface 58 for transmitting information to / from the communication line 8, and the endoscope apparatus 14 Endoscopic image communication interface 59 for such transmitting the video signal data (live image) to the personal computer 21 is configured to have a.

そして、パーソナルコンピュータ２１は、後述するようにライブ画像の映像信号データと、バーチャル画像の映像信号データとを比較し、バーチャル画像の映像信号データをライブ画像の映像信号データの色調と一致するように色調補正する画像処理を行い、第２の表示装置２２にライブ画像と色調が一致した色調でバーチャル画像を表示することができるようにしている。 Then, as will be described later, the personal computer 21 compares the video signal data of the live image with the video signal data of the virtual image so that the video signal data of the virtual image matches the color tone of the video signal data of the live image. Image processing for color tone correction is performed so that a virtual image can be displayed on the second display device 22 with a color tone that matches the color tone of the live image.

なお、図３に示す検出装置３１による撮像対象位置の情報も、例えば通信インタフェース５６を介して第１のコントローラ４に伝送される。
そして、第１のコントローラ４内のＣＰＵ５１は、図３に示すＴＶカメラ装着内視鏡３８で撮像している患者１３の体内の撮像対象位置の情報を位置マーカ４４ａ〜４６ｂの位置検出による位置情報に基づいて算出する撮像位置算出機能５１ａを備えている。この撮像対象位置の情報もパーソナルコンピュータ２１に送られ、このパーソナルコンピュータ２１はバーチャル画像を表示する場合、ライブ画像として表示されている臓器と同じ臓器のバーチャル画像を表示することができるようにしている。 Note that the information on the imaging target position by the detection device 31 shown in FIG. 3 is also transmitted to the first controller 4 via the communication interface 56, for example.
Then, the CPU 51 in the first controller 4 uses the position detection of the position markers 44a to 46b to obtain information on the imaging target position in the body of the patient 13 captured by the TV camera-mounted endoscope 38 shown in FIG. An imaging position calculation function 51a for calculating based on the above is provided. Information on the imaging target position is also sent to the personal computer 21. When displaying a virtual image, the personal computer 21 can display a virtual image of the same organ as the organ displayed as a live image. .

上記映像信号入出力回路５７は、入力されるアナログ映像信号をデジタル映像信号に変換するＡ／Ｄ変換部５７ａと、デジタル映像信号をアナログ映像信号に変換して出力するＤ／Ａ変換部５７ｂと、前記Ａ／Ｄ変換部５７ａを介して入力された映像信号を復号したり、入力された映像信号のうちから所望の内視鏡画像信号を抽出したり、出力しようとする映像信号を符号化してＤ／Ａ変換部５７ｂへ与える機能を有する映像信号符号復号部５７ｃと、この映像信号符号復号部５７ｃ等の映像信号入出力回路５７の各部を制御する制御部５７ｄとを有している。 The video signal input / output circuit 57 includes an A / D converter 57a that converts an input analog video signal into a digital video signal, and a D / A converter 57b that converts the digital video signal into an analog video signal and outputs the analog video signal. The video signal input via the A / D converter 57a is decoded, a desired endoscopic image signal is extracted from the input video signal, and the video signal to be output is encoded. A video signal code decoding unit 57c having a function to be supplied to the D / A conversion unit 57b, and a control unit 57d for controlling each part of the video signal input / output circuit 57 such as the video signal code decoding unit 57c.

なお、映像信号入出力回路５７は、図示してないが入力されるアナログ映像信号をスルーして第１の表示装置１９に出力する機能も持つ。
このように本実施例では、内視鏡画像としてのライブ画像と、手術、診断等の医療分野においてこの内視鏡画像に密接に関連する関連画像となるバーチャル画像を隣接等するようにして同時に表示し、バーチャル画像の色調を内視鏡画像の色調と一致するように色調補正手段を設けて、手術や診断等を行い易い内視鏡画像表示処理装置或いは内視鏡画像表示装置を形成している。 The video signal input / output circuit 57 also has a function of passing an input analog video signal and outputting it to the first display device 19 although not shown.
As described above, in this embodiment, a live image as an endoscopic image and a virtual image that is a related image closely related to the endoscopic image in the medical field such as surgery and diagnosis are adjacent to each other at the same time. An endoscopic image display processing device or an endoscopic image display device that is easy to perform surgery or diagnosis is provided by providing a color tone correcting means for displaying and matching the color tone of the virtual image with the color tone of the endoscopic image. ing.

図３は手術システム３における内視鏡装置１４及び撮像対象位置を検出する検出装置３１の主要部の構成を示す。
患者１３の例えば腹部には、トラカール３２を介して硬性内視鏡３３の硬質の挿入部３４が挿入される。この硬性内視鏡３３の接眼部３５には、撮像手段として例えばＣＣＤ３６を内蔵したＴＶカメラ３７が装着され、ＴＶカメラ装着内視鏡３８が形成されている。また硬性内視鏡３３に接続されたライトガイドケーブル３９は光源装置４０に接続され、この光源装置４０から観察のための照明光が供給される。 FIG. 3 shows a configuration of main parts of the endoscope device 14 and the detection device 31 that detects the imaging target position in the surgical system 3.
A hard insertion portion 34 of the rigid endoscope 33 is inserted into the abdomen of the patient 13 through the trocar 32, for example. A TV camera 37 having a built-in CCD 36 as an imaging means is mounted on the eyepiece 35 of the rigid endoscope 33, and a TV camera mounting endoscope 38 is formed. The light guide cable 39 connected to the rigid endoscope 33 is connected to the light source device 40, and illumination light for observation is supplied from the light source device 40.

この照明光は、硬性内視鏡３３の挿入部３４内を送通されたライトガイドにより挿入部３４の先端側に伝送され、図示しない先端部の照明窓から出射され、体腔内を照明する。照明窓に隣接して図示しない観察窓が設けてある。照明された臓器等の撮像対象部位は、観察窓に取り付けた対物レンズにより、結像される。その光学像は、挿入部３４内に沿って配置されたリレー光学系により後方側に伝送される。そして、接眼部３５に装着されたＴＶカメラ３７のＣＣＤ３６に結像され、光電変換される。 This illumination light is transmitted to the distal end side of the insertion portion 34 by a light guide passed through the insertion portion 34 of the rigid endoscope 33, is emitted from an illumination window at the distal end portion (not shown), and illuminates the inside of the body cavity. An observation window (not shown) is provided adjacent to the illumination window. An imaging target region such as an illuminated organ is imaged by an objective lens attached to the observation window. The optical image is transmitted to the rear side by a relay optical system arranged along the insertion portion 34. Then, an image is formed on the CCD 36 of the TV camera 37 attached to the eyepiece 35 and subjected to photoelectric conversion.

また、ＴＶカメラ３７から延出されたカメラケーブル４１はＣＣＵ４２に接続され、ＣＣＤ３６で撮像された撮像信号はＣＣＵ４２により信号処理されて映像信号が生成され、モニタ１５に出力されると共に、第２のコントローラ１７、第１のコントローラ４を介して図１の第１の表示装置１９にも出力され、この第１の表示装置１９に内視鏡画像のライブ画像が表示されることになる。
なお、第１のコントローラ４によりこのライブ画像のディジタルの映像信号データ（色信号成分）はパーソナルコンピュータ２１にも送信され、パーソナルコンピュータ２１の画像処理に利用される。 The camera cable 41 extended from the TV camera 37 is connected to the CCU 42, and the image signal picked up by the CCD 36 is signal-processed by the CCU 42 to generate a video signal, which is output to the monitor 15. 1 is also output to the first display device 19 of FIG. 1 via the controller 17 and the first controller 4, and a live image of the endoscopic image is displayed on the first display device 19.
The digital video signal data (color signal component) of this live image is also transmitted to the personal computer 21 by the first controller 4 and used for image processing of the personal computer 21.

また、本実施例では、患者１３の腹部表面等の位置を検出するために、位置マーカ４４ａ、４４ｂ、４４ｃが腹部表面に、トラカール３２の表面にも位置マーカ４５ａ、４５ｂ、４５ｃが、さらに硬性内視鏡３３にもその長手方向に位置マーカ４６ａ、４６ｂが取り付けられている。これらの位置マーカ４４ａ〜４６ｂとしては、例えばＲＦ−ＩＤ或いはその一部となる高周波発振器部分を利用しても良いし、ＬＥＤ等を利用することもできる。 Further, in this embodiment, in order to detect the position of the abdominal surface of the patient 13, the position markers 44 a, 44 b, 44 c are on the abdomen surface, and the position markers 45 a, 45 b, 45 c are further rigid on the surface of the trocar 32. Position markers 46a and 46b are also attached to the endoscope 33 in the longitudinal direction. As these position markers 44a-46b, RF-ID or the high frequency oscillator part used as the part may be utilized, for example, LED etc. can also be utilized.

これらの位置マーカ４４ａ〜４６ｂの３次元位置はマーカ検出を行うディジタイザ４７により検出され、その検出信号はナビゲーション装置（マーカ位置算出装置）４８に送られる。このナビゲーション装置４８により同じ座標系での各部の３次元位置等の情報が生成され、その情報は第２のコントローラ１７を経て第１のコントローラ４に送られる。 The three-dimensional positions of these position markers 44 a to 46 b are detected by a digitizer 47 that performs marker detection, and the detection signal is sent to a navigation device (marker position calculation device) 48. The navigation device 48 generates information such as the three-dimensional position of each part in the same coordinate system, and the information is sent to the first controller 4 via the second controller 17.

上記位置マーカ４４ａ〜４６ｂとして、患者１３の腹部表面等、硬性内視鏡３３の挿入部３４が挿入される表面位置を検出可能にしている。また、この腹部表面に挿入部３４の挿入ガイドとなるトラカール３２の３次元位置も算出できるようにすると共に、このトラカール３２の長手方向に挿入される硬性内視鏡３３の挿入部３４の３次元位置を算出可能にし、これらからさらに挿入部３４の先端の観察窓から観察（撮像）を行う撮像位置を算出できるようにしている。 As the position markers 44a to 46b, the surface position where the insertion portion 34 of the rigid endoscope 33 is inserted, such as the abdominal surface of the patient 13, can be detected. In addition, the three-dimensional position of the trocar 32 serving as an insertion guide for the insertion portion 34 can be calculated on the surface of the abdomen, and the three-dimensional position of the insertion portion 34 of the rigid endoscope 33 inserted in the longitudinal direction of the trocar 32. The position can be calculated, and from these, the imaging position for observation (imaging) can be calculated from the observation window at the tip of the insertion portion 34.

第１のコントローラ４のＣＰＵ５１は、位置マーカ４４ａ〜４６ｂの３次元位置の情報により硬性内視鏡３３の先端で撮像している腹部内の撮像対象となる臓器の位置情報をその撮像する視野方向の情報と共に算出する撮像対象位置の算出をして、算出した撮像対象位置の情報をパーソナルコンピュータ２１に送る。 The CPU 51 of the first controller 4 captures the position information of the organ to be imaged in the abdomen that is imaged at the distal end of the rigid endoscope 33 based on the information of the three-dimensional positions of the position markers 44a to 46b. The image pickup target position calculated together with the information is calculated, and the calculated image pickup target position information is sent to the personal computer 21.

パーソナルコンピュータ２１では、送られた撮像対象位置の情報により、バーチャル画像として表示する場合の体内臓器から、その体内の撮像対象位置に存在する臓器を決定する。そして、決定された臓器のバーチャル画像を第２の表示装置２２に表示する。つまり、本実施例では、撮像して、内視鏡画像（ライブ画像）として表示されている臓器と同じ臓器をバーチャル画像として表示できるようにしている。 The personal computer 21 determines the organ existing at the imaging target position in the body from the internal organs in the case of displaying as a virtual image based on the information on the imaging target position sent. Then, the virtual image of the determined organ is displayed on the second display device 22. In other words, in this embodiment, the same organ as that displayed as an endoscopic image (live image) is displayed as a virtual image.

また、第１のコントローラ４に接続された入力装置２９からバーチャル画像として表示する場合の臓器を決定する指示信号を入力したり、臓器を立体的に表示する場合における視線方向を指示して表示させたり、視線方向を変えて臓器を回転移動して表示したり、表示サイズを拡大縮小等の指示入力を行うこともできるようにしている。
また、本実施例における色調補正の画像処理を行うコンピュータ２１の概略の構成を図４に示す。 In addition, an instruction signal for determining an organ when displaying as a virtual image is input from the input device 29 connected to the first controller 4, or a visual line direction when displaying the organ three-dimensionally is indicated and displayed. In addition, an organ can be rotated and displayed by changing the line-of-sight direction, and an instruction input such as enlargement / reduction of the display size can be performed.
FIG. 4 shows a schematic configuration of the computer 21 that performs image processing for color tone correction in the present embodiment.

コンピュータ２１は、全体の制御を行うＣＰＵ６１がインターナルバス６２に接続されている。このインターナルバス６２には、ＣＰＵ６１の作業エリア等に利用されるＲＡＭ６３、第１のコントローラ４に接続される通信インターフェース６４、マウス６５がコネクタ部を介して接続されるマウスインターフェース６５ａが接続されている。 In the computer 21, a CPU 61 that performs overall control is connected to an internal bus 62. Connected to the internal bus 62 are a RAM 63 used for a work area of the CPU 61, a communication interface 64 connected to the first controller 4, and a mouse interface 65a to which a mouse 65 is connected via a connector portion. Yes.

また、このインターナルバス６２には、コマンド入力等を行うやキーボード６６、アプリケーションプログラムが書き込まれたＣＤ−ＲＯＭ３０等を読み込むＣＤ−ＲＯＭドライブ６７、プログラムや画像データ等が格納されるハードディスク６８がそれぞれのインターフェース６６ａ、６７ａ、６８ａを介して接続されている。
また、インターナルバス６２には表示制御を行う表示制御回路６９を介して画像を表示する第２の表示装置２２に接続される。 The internal bus 62 includes a keyboard 66, a CD-ROM drive 67 for reading a CD-ROM 30 in which application programs are written, a hard disk 68 for storing programs, image data, and the like. Are connected through the interfaces 66a, 67a and 68a.
The internal bus 62 is connected to a second display device 22 that displays an image via a display control circuit 69 that performs display control.

ＣＰＵ６１はハードディスク６８に内蔵されたプログラムを最初に読み出してＲＡＭ６３内の所定の領域に書き出し、以後はそのプログラムによって動作する。また、ＣＤ−ＲＯＭドライブ６７にバーチャル画像を表示するアプリケーションプログラムをセットしてインストールすることにより、ＣＰＵ６１はバーチャル画像の描画処理（生成処理）を行う機能を持ち、第１の表示装置２２にバーチャル画像を表示する。つまり、このＣＰＵ６１はバーチャル画像生成機能６１ａを持つ。 The CPU 61 first reads a program built in the hard disk 68 and writes it in a predetermined area in the RAM 63, and thereafter operates according to the program. Further, by setting and installing an application program for displaying a virtual image in the CD-ROM drive 67, the CPU 61 has a function of performing a virtual image drawing process (generation process), and the virtual image is displayed on the first display device 22. Is displayed. That is, the CPU 61 has a virtual image generation function 61a.

また、バーチャル画像の生成を行う場合、バーチャル画像として表示する臓器を指定することにより、指定された臓器のバーチャル画像の生成を行う。この場合、キーボード６６等から臓器の指定或いは選択入力を行うこともできるし第１のコントローラ４から送られる位置情報により表示する臓器を自動指定（自動選択）することもできる。 Further, when generating a virtual image, a virtual image of the designated organ is generated by designating an organ to be displayed as a virtual image. In this case, it is possible to designate or select an organ from the keyboard 66 or the like, and it is also possible to automatically designate (automatically select) an organ to be displayed based on position information sent from the first controller 4.

ＣＰＵ６１は第１のコントローラ４から位置情報が送られてくることによりバーチャル画像として表示するバーチャル表示臓器を自動選択設定するバーチャル表示臓器の自動選択設定機能６１ｂを有する。 The CPU 61 has a virtual display organ automatic selection setting function 61 b for automatically selecting and setting a virtual display organ to be displayed as a virtual image when position information is sent from the first controller 4.

またこのＣＰＵ６１は第１のコントローラ４から送られるライブ画像の映像信号データに対して色分析等を行い、バーチャル画像の色調をライブ画像の色調に合わせる色調補正機能６１ｃも有する。 The CPU 61 also has a color correction function 61c that performs color analysis on the video signal data of the live image sent from the first controller 4 and matches the color tone of the virtual image with the color tone of the live image.

バーチャル画像として表示するバーチャル表示臓器が自動で或いは術者等による選択設定等により決定されると、そのバーチャル表示臓器の立体画像の映像信号が第２の表示装置２２に出力されることになるが、ＣＰＵ６１により上記のようにバーチャル画像の色調をライブ画像の色調に合わせる色調補正が行われる。そして、色調補正がされた後、その映像信号が第２の表示装置２２に出力されることになる。 When a virtual display organ to be displayed as a virtual image is determined automatically or by selection setting by an operator or the like, a video signal of a stereoscopic image of the virtual display organ is output to the second display device 22. The CPU 61 performs color correction for matching the color tone of the virtual image to the color tone of the live image as described above. Then, after the color correction, the video signal is output to the second display device 22.

図５はＣＰＵ６１による色調補正機能６１ｃの機能的な構成を示す。
図３のＣＣＵ４２からのライブ画像の映像信号は第２のコントローラ１７を経て（さらに第１のコントローラ４をスルーして）、第１の表示装置１９に出力されると共に、第１のコントローラ４のＡ／Ｄ変換部５７ａによりディジタルの映像信号データに変換された後、コンピュータ２１のＣＰＵ６１に出力される。 FIG. 5 shows a functional configuration of the color tone correction function 61 c by the CPU 61.
The video signal of the live image from the CCU 42 in FIG. 3 is output to the first display device 19 via the second controller 17 (and further through the first controller 4), and also from the first controller 4. After being converted into digital video signal data by the A / D converter 57a, it is output to the CPU 61 of the computer 21.

このディジタルの映像信号データは例えばＲＧＢ映像信号データであり、ＣＰＵ６１の色分析回路７１において、例えばＲ，Ｇ，Ｂ成分それぞれに分けて積分されてそれぞれＲ、Ｇ、Ｂの平均値が算出される。Ｒ、Ｇ、Ｂの平均値は比較回路７２に入力される。 The digital video signal data is, for example, RGB video signal data. In the color analysis circuit 71 of the CPU 61, for example, the R, G, B components are integrated separately to calculate the average values of R, G, B, respectively. . The average values of R, G, and B are input to the comparison circuit 72.

この場合、色分析される映像信号データは、例えばライブ画像の中央付近に設定される領域であり、この領域を指定手段で指定することもできる。 In this case, the video signal data to be color-analyzed is an area set near the center of the live image, for example, and this area can also be specified by the specifying means.

また、バーチャル画像生成機能６１ａで生成されたバーチャル画像の映像信号データは色分析回路７３で色分析される。この色分析の動作は色分析回路７１の場合と同様である。このバーチャル画像の色分析は、例えばバーチャル画像として表示される臓器全体に対して行う。
そしてこの色分析回路７３で色分析されたＲ、Ｇ、Ｂの平均値は比較回路７２に入力される。 The video signal data of the virtual image generated by the virtual image generation function 61 a is color analyzed by the color analysis circuit 73. This color analysis operation is the same as that of the color analysis circuit 71. The color analysis of the virtual image is performed on the entire organ displayed as a virtual image, for example.
The average values of R, G, and B that have been color analyzed by the color analysis circuit 73 are input to the comparison circuit 72.

比較回路７２ではライブ画像のＲ、Ｇ、Ｂの平均値からバーチャル画像のＲ、Ｇ、Ｂの平均値を、各色成分毎に引き算する処理を行い、その差分の信号をバーチャル画像のＲ、Ｇ、Ｂ信号が入力される色調補正回路７４に出力し、バーチャル画像のＲ、Ｇ、Ｂ信号に加算して色調補正されたＲ、Ｇ、Ｂ信号を表示制御回路６９を介して第２の表示装置２２に出力する。 The comparison circuit 72 performs a process of subtracting the average value of R, G, B of the virtual image from the average value of R, G, B of the live image for each color component, and the difference signal is obtained as R, G of the virtual image. , B signals are inputted to the color tone correction circuit 74 and added to the R, G, B signals of the virtual image, and the color tone corrected for the R, G, B signals through the display control circuit 69 for the second display. Output to the device 22.

この場合の動作を図６に示す。
コンピュータ２１のＣＰＵ６１はステップＳ１に示すようにライブ画像の色分析を行う。例えば、ライブ画像として表示されている内視鏡画像の中央付近の手術等の対象臓器の色分析を行う。次にＣＰＵ６１はステップＳ２に示すようにバーチャル画像の色分析を行い、これら色分析された両分析結果はステップＳ３で比較される。
そして、比較結果に基づき、ステップＳ４に示すようにバーチャル画像の色調をライブ画像の色調に一致（マッチング）するように色調補正を行う。 The operation in this case is shown in FIG.
The CPU 61 of the computer 21 performs color analysis of the live image as shown in step S1. For example, color analysis of a target organ such as surgery near the center of the endoscopic image displayed as a live image is performed. Next, as shown in step S2, the CPU 61 performs color analysis of the virtual image, and both color analysis results are compared in step S3.
Then, based on the comparison result, as shown in step S4, color tone correction is performed so that the color tone of the virtual image matches (matches) the color tone of the live image.

つまり、内視鏡画像における対象臓器の色調にマッチングするようにその対象臓器に相当するバーチャル画像の色調を色調補正し、この色調補正されたバーチャル画像が第２の表示装置２２に表示されるようになる。 That is, the color tone of the virtual image corresponding to the target organ is color-tone-corrected so as to match the color tone of the target organ in the endoscopic image, and this color-corrected virtual image is displayed on the second display device 22. become.

従って、本実施例によれば、第１手術室２で手術を行おうとする術者は第１の表示装置１９により表示されるＴＶ装着内視鏡３８により撮像したライブ画像を見ながら、患者１３の例えば腹部内部の臓器に対する手術を行うことができると共に、第１の表示装置１９の横にはその手術を行っている臓器と同じ臓器のバーチャル画像が（撮像対象位置の情報により）表示される。 Therefore, according to the present embodiment, an operator who intends to perform an operation in the first operating room 2 looks at the live image captured by the TV-equipped endoscope 38 displayed on the first display device 19 while viewing the patient 13. For example, an operation on an organ in the abdomen can be performed, and a virtual image of the same organ as the organ on which the operation is performed is displayed beside the first display device 19 (by information on the imaging target position). .

この場合、図５及び図６で説明したように、バーチャル画像の色調はライブ画像の色調の平均の色調となるように色調補正の画像処理して表示されるので、手術を行おうとする臓器における各部の位置等がバーチャル画像を参考にすることにより、違和感を感じることなく簡単かつ短時間に認識することが可能となり、手術を円滑かつ短時間に行うことが可能となる。 In this case, as described with reference to FIGS. 5 and 6, the color tone of the virtual image is displayed after being subjected to color tone correction image processing so as to be the average color tone of the live image, so that in the organ to be operated on By referring to the virtual image for the positions of the respective parts and the like, it becomes possible to recognize easily and in a short time without feeling uncomfortable, and the operation can be performed smoothly and in a short time.

また、実際のライブ画像では一部が他の臓器等により、隠れてしまっているような場合でも、撮像対象位置の臓器に相当する臓器をバーチャル画像として表示できるので、このバーチャル画像を立体的に表示することにより、実際のライブ画像における臓器のどの部分を観察しているか等を容易に把握でき、手術等を円滑に行い易いよう支援することができる。 In addition, even when an actual live image is partially hidden by another organ or the like, an organ corresponding to the organ at the imaging target position can be displayed as a virtual image. By displaying, it is possible to easily grasp which part of the organ is observed in the actual live image, and to assist in performing the operation smoothly.

なお、上記の説明では両画像の色分析を行う場合で説明したが、ライブ画像における中央付近の映像信号データを抽出して、その色調分析を行いその結果をバーチャル画像生成の際の色ペインティングに利用しても良い。
つまり、その色調分析の結果と同じ色調でバーチャル画像のペインティングを行うようにしても良い。 In the above description, the case where the color analysis of both images is performed is described. However, the video signal data near the center of the live image is extracted, the color tone analysis is performed, and the result is color painting when generating the virtual image. You may use it.
That is, the virtual image may be painted with the same color tone as the result of the color tone analysis.

また、上記の説明では、パーソナルコンピュータ２１側に色調補正の機能を設けたが、例えば第１のコントローラ４側において、ライブ画像の映像信号データの色分析を行い、この色分析結果をパーソナルコンピュータ２１側に送り、パーソナルコンピュータ２１側においてバーチャル画像を生成して表示する臓器の色調をライブ画像の映像信号データの色分析結果と一致するようににしても良い。 In the above description, the color correction function is provided on the personal computer 21 side. For example, on the first controller 4 side, the color analysis of the video signal data of the live image is performed, and the color analysis result is used as the personal computer 21. The color tone of the organ that generates and displays the virtual image on the personal computer 21 side may coincide with the color analysis result of the video signal data of the live image.

なお、上述の説明では、バーチャル画像として表示する臓器を、撮像対象位置の情報を利用したが、体内の臓器全体をバーチャル画像で表示すると共に、この表示をスクロール移動等し、ライブ画像の臓器と一致した時に一致したことを告知する（知らせる）操作を行うことにより、第１の表示装置１９の中央部の所定領域（所定範囲）に表示されているライブ画像の色調を基に、バーチャル画像の色調補正を行うようにしても良い。 In the above description, the organ to be displayed as a virtual image uses the information on the imaging target position. However, the whole organ in the body is displayed as a virtual image, and the display is scrolled to display the organ in the live image. By performing an operation of notifying (notifying) that they match when they match, based on the color tone of the live image displayed in the predetermined area (predetermined range) in the center of the first display device 19, Color tone correction may be performed.

この場合、バーチャル画像における色調補正を行う領域を指定するようにしても良い。なお、第２の表示装置２２でバーチャル画像を表示する場合、バーチャル画像と共に、手術の手順等も表示できるようにして、手術の際に必要に応じて手術の手順の確認等も行えるようにしても良い。 In this case, an area for color tone correction in the virtual image may be designated. In addition, when displaying a virtual image on the second display device 22, it is possible to display the procedure of the operation together with the virtual image so that the procedure of the operation can be confirmed as necessary during the operation. Also good.

次に本発明の実施例２を図７及び図８を参照して説明する。実施例１では２つの表示装置１９、２２にそれぞれライブ画像とバーチャル画像を表示するようにしていたが、本実施例では例えば図１における第１の表示装置１９にライブ画像と共に、そのライブ画像に関連するサムネイル画像を表示する構成にしたものである。 Next, a second embodiment of the present invention will be described with reference to FIGS. In the first embodiment, the live image and the virtual image are displayed on the two display devices 19 and 22, respectively. In this embodiment, for example, the live image is displayed on the first display device 19 in FIG. A related thumbnail image is displayed.

また、本実施例では図１における第１のコントローラ４或いは図３の内視鏡装置を構成するＣＣＵ４２に設けた画像処理部により、ライブ画像と共に表示されるサムネイル画像の色調をライブ画像の色調に一致させるように色調補正を行って表示できるようにしたものである。 Further, in this embodiment, the color tone of the thumbnail image displayed together with the live image is changed to the color tone of the live image by the image processing unit provided in the first controller 4 in FIG. 1 or the CCU 42 constituting the endoscope apparatus in FIG. Color tone correction is performed so as to match, and display is possible.

図７は本実施例における第１の表示装置１９の表示画面１９ａによる表示例を示す。この第１の表示装置１９の表示画面１９ａは、内視鏡画像表示エリア８１、サムネイル表示エリア８２、手術具状態表示エリア８３、患者情報表示エリア８４、コメント表示エリア８５とからなる。 FIG. 7 shows a display example on the display screen 19a of the first display device 19 in the present embodiment. The display screen 19a of the first display device 19 includes an endoscope image display area 81, a thumbnail display area 82, a surgical instrument state display area 83, a patient information display area 84, and a comment display area 85.

内視鏡画像表示エリア８１には、内視鏡撮像手段を構成するＣＣＵ４２からの内視鏡画像が表示され、このエリア８１の横のサムネイル表示エリア８２には選択されたサムネイル画像が表示される。
例えば、サムネイル表示エリア８２には第１のコントローラ４のハードディスク５２に蓄積した画像データの縮小画像（サムネイル画像）が表示される。このハードディスク５２には第１手術室２のＣＣＵ４２側からの内視鏡画像に対応する映像信号を映像信号入出力回路５７でキャプチャして静止画として取り込んだ画像に対し、キーボード等の入力装置２９から画像の保存或いは蓄積するキー入力を行うことにより、対応する画像が保存される。 In the endoscope image display area 81, an endoscope image from the CCU 42 constituting the endoscope imaging means is displayed, and in the thumbnail display area 82 beside this area 81, the selected thumbnail image is displayed. .
For example, the thumbnail display area 82 displays a reduced image (thumbnail image) of the image data stored in the hard disk 52 of the first controller 4. The hard disk 52 captures a video signal corresponding to an endoscopic image from the CCU 42 side of the first operating room 2 by the video signal input / output circuit 57 and captures it as a still image. The corresponding image is stored by performing key input for storing or storing the image.

手術具状態表示エリア８３には、第２のコントローラ１７から送信された手術装置１６の設定状態が表示されている。
患者情報表示エリア８４には、第１のコントローラ４からの患者情報が表示される。 In the surgical instrument state display area 83, the setting state of the surgical apparatus 16 transmitted from the second controller 17 is displayed.
In the patient information display area 84, patient information from the first controller 4 is displayed.

また、手術具状態表示エリア８３と患者情報表示エリア８４との間のコメント表示エリア８５には第１手術室２、カンファレンス室１１ｃ等から送信した文字情報等を表示する。 Further, in the comment display area 85 between the surgical instrument state display area 83 and the patient information display area 84, the character information transmitted from the first operating room 2, the conference room 11c, etc. is displayed.

本実施例では第１のコントローラ４に接続された入力装置２９（を構成するマウス等）から色調補正を行うことを望むサムネイル画像を指定することにより、第１のコントローラ４内のＣＰＵ５１はそのサムネイル画像の色調をライブ画像の色調に合わせる色調補正の画像処理を行うことが特徴となっている。
次に本実施例の動作を図８を参照して説明する。 In this embodiment, by designating a thumbnail image desired to be subjected to color tone correction from an input device 29 (such as a mouse constituting the same) connected to the first controller 4, the CPU 51 in the first controller 4 allows the thumbnail to be displayed. It is characterized by performing image processing for color tone correction that matches the color tone of the image with the color tone of the live image.
Next, the operation of this embodiment will be described with reference to FIG.

ステップＳ１１に示すように例えば入力装置２９を構成するマウス等によりライブ画像の代表点等の位置指定を行うことにより、ステップＳ１２に示すように第１のコントローラ４内のＣＰＵ５１はその位置指定された位置の色調の分析を行う。
代表点を指定する場合、表示されるライブ画像の中央付近を指定しても良いし、注目する領域全体を指定しても良いし、複数の位置を代表点として指定しても良い。 As shown in step S11, for example, by specifying the position of a representative point of the live image with a mouse or the like constituting the input device 29, the CPU 51 in the first controller 4 is designated in position as shown in step S12. Analyzes the color of the position.
When a representative point is designated, the vicinity of the center of the displayed live image may be designated, the entire region of interest may be designated, or a plurality of positions may be designated as representative points.

また、ステップＳ１３に示すように入力装置２９を構成するマウス等により色調補正を行おうと望むサムネイル画像を指定することにより、ステップＳ１４に示すように第１のコントローラ４内のＣＰＵ５１はその指定されたサムネイル画像の色調を分析する。
そして、ステップＳ１５に示すようにライブ画像の色調に一致させるように指定されたサムネイル画像の色調の補正を行う。 Also, as shown in step S13, the CPU 51 in the first controller 4 is designated as shown in step S14 by designating a thumbnail image to be subjected to color tone correction with a mouse or the like constituting the input device 29. Analyze the color of thumbnail images.
Then, as shown in step S15, the tone of the thumbnail image designated to match the tone of the live image is corrected.

そして、ステップＳ１６に示すようにＣＰＵ５１は指定終了か否かの入力を待ち、指定終了でない場合にはステップＳ１３に戻り、次に指定されるサムネイル画像に対してステップＳ１３からＳ１５の処理を繰り返し、指定終了の指示を行うとこの処理を終了することになる。 Then, as shown in step S16, the CPU 51 waits for an input as to whether or not the designation is finished. If the designation is not finished, the CPU 51 returns to step S13, and repeats the processing of steps S13 to S15 for the next designated thumbnail image. If a designation termination instruction is given, this process is terminated.

本実施例によれば、手術の際の処置、診断のために利用するサムネイル画像を実際に手術を行おうとする臓器の色調と一致するように色調補正して表示されるので、診断等を行い易くなる。 According to the present embodiment, the thumbnail image used for the procedure and diagnosis at the time of surgery is displayed with the color tone corrected so as to match the color tone of the organ to be actually operated, so that diagnosis and the like are performed. It becomes easy.

例えば同じ患者の同じ臓器を撮像した場合における照明や撮像条件が異なるために、参考にするサムネイル画像Ｉａの色調がライブ画像の色調と異なってしまうような場合においても、本実施例によれば同じ色調に補正して表示できるので、照明や撮像条件が異なることによる色調の変化を抑制でき、照明等の条件が異なることに起因する色調の変化を軽減ないしは解消できる。 For example, in the case where the color tone of the thumbnail image Ia to be referred to is different from the color tone of the live image due to different illumination and imaging conditions when the same organ of the same patient is imaged, the same according to the present embodiment. Since the color tone can be corrected and displayed, a change in color tone due to different illumination and imaging conditions can be suppressed, and a change in color tone caused by different conditions such as illumination can be reduced or eliminated.

従って、ライブ画像をその色調等から診断するような場合に、過去に撮像して蓄積した同じ患者の同じ臓器の画像をサムネイル画像Ｉａとして表示した場合、過去の蓄積した画像を診断により有効に利用できることになる。
このため、ライブ画像と共に、同時に表示される関連画像を診断等により有効に利用でき、診断等を容易に行い易くなるように支援でき、また手術をスムーズに進めることが可能となる。 Therefore, when a live image is diagnosed from its color tone or the like, when an image of the same organ of the same patient that has been captured and accumulated in the past is displayed as a thumbnail image Ia, the past accumulated image is effectively used for diagnosis It will be possible.
For this reason, the related image displayed simultaneously with the live image can be used effectively for diagnosis and the like so that the diagnosis and the like can be easily performed, and the operation can be performed smoothly.

なお、上述の説明では、ライブ画像（リアルタイム画像）と、その画像に密接に関連するバーチャル画像或いはサムネイル画像との場合で説明したが、過去に同じ患部等を撮像した内視鏡画像の動画像を術前等に再生表示して、実際に手術を円滑に進めるための診断や処置の参考にするような場合もある。 In the above description, a live image (real-time image) and a virtual image or thumbnail image closely related to the image have been described. However, a moving image of an endoscopic image obtained by imaging the same affected part in the past. May be replayed and displayed before the operation or the like, and may be used as a reference for diagnosis and treatment for actually proceeding with the surgery smoothly.

このような場合においても、その動画像に関連するサムネイル画像を同時に表示した場合には、動画像とサムネイル画像との間で色調補正を行うようにすると、照明や撮像条件の違いの影響を軽減でき、より有効利用し易くできる。 Even in such a case, when a thumbnail image related to the moving image is displayed at the same time, if the tone correction is performed between the moving image and the thumbnail image, the influence of the difference in illumination and imaging conditions is reduced. Can be used more effectively.

また、このように実際のライブ画像以外、（少なくとも１つは内視鏡画像を含む）複数の画像を同時に表示する場合、基準とする基準画像を指定して、他の画像を指定された基準画像の色調に合わせるように色調補正を行うようにしても良い。
この場合には同時に表示される複数の画像の色調が揃えられるので、複数の画像を比較する等して診断等に有効利用し易い。 In addition, when a plurality of images (including at least one including an endoscopic image) other than the actual live image are displayed at the same time, a reference image to be used as a reference is designated and another image is designated. Color tone correction may be performed so as to match the color tone of the image.
In this case, since the color tones of a plurality of images displayed at the same time are aligned, it is easy to effectively use for diagnosis or the like by comparing a plurality of images.

また、実施例１においてもその変形例として以下のように色調補正と共に、色調強調を行うようにしても良い。
例えばライブ画像とこのライブ画像の臓器と同じバーチャル画像とを同時に表示した場合、ライブ画像の色調に合わせるようにバーチャル画像の色調補正を行うようにすると共に、さらにバーチャル画像に対してライブ画像の色調データにより色彩強調して表示するようにしても良い。 Also in the first embodiment, as a modification thereof, the tone correction may be performed together with the tone correction as follows.
For example, when a live image and the same virtual image as the organ of the live image are displayed at the same time, the color tone of the virtual image is corrected to match the color tone of the live image, and the color tone of the live image is further adjusted with respect to the virtual image. You may make it display with color emphasis by data.

上記のようにバーチャル画像の色調補正を行うことにより、例えばバーチャル画像の色調の平均値はライブ画像の色調の平均値と一致するように補正されるが、ライブ画像とバーチャル画像とのサイズを揃える等した後、例えばライブ画像の１フレーム分の静止画を取り込み、その静止画における診断対象となる臓器部分（の全体或いは一部領域）に対してＩＨｂ（ｉｎｄｅｘｏｆｈｅｍｏｇｌｏｂｉｎ）値を算出して、このＩＨｂ値によりバーチャル画像における対応臓器部分に対してＩＨｂ色彩強調を行う。 By performing the color tone correction of the virtual image as described above, for example, the average value of the color tone of the virtual image is corrected to match the average value of the color tone of the live image, but the sizes of the live image and the virtual image are made uniform. After capturing, for example, a still image of one frame of a live image is captured, and an IHb (index of hemoglobin) value is calculated for an organ part (entire or partial region) to be diagnosed in the still image, With this IHb value, IHb color enhancement is performed on the corresponding organ portion in the virtual image.

このようにすることにより、バーチャル画像上にＩＨｂ色彩強調を行った画像が立体的に表示されるので、ライブ画像中における病変部の位置をバーチャル画像上からより把握し易くなる等の効果がある。
また、上述した各実施例を部分的に組み合わせる等して構成される実施例も本発明に属する。 By doing so, an image that has been subjected to IHb color enhancement is displayed three-dimensionally on the virtual image, so that it is easier to grasp the position of the lesion in the live image from the virtual image. .
In addition, embodiments configured by partially combining the above-described embodiments also belong to the present invention.

内視鏡を用いて内視鏡画像と共に、その内視鏡画像に関連する同じ臓器等の関連画像を同時に表示して診断や手術の参考にする場合、関連画像を内視鏡画像と同じ色調で表示することにより、関連画像と内視鏡画像との関係を違和感を感じることなく、把握がし易くなりより円滑な診断、手術を行い易くできる。 When using an endoscope to display an endoscopic image and a related image of the same organ or the like related to the endoscopic image at the same time for reference in diagnosis or surgery, the related image has the same color tone as the endoscopic image. By displaying with, the relationship between the related image and the endoscopic image can be easily grasped without feeling uncomfortable, and smoother diagnosis and operation can be facilitated.

［付記］
１．請求項１において、前記関連画像は体内の臓器を模擬したバーチャル画像である。２．請求項１において、前記内視鏡画像は、動画像である。
３．請求項１において、前記関連画像は前記内視鏡画像を記録した過去の記録画像である。 [Appendix]
1. 2. The related image according to claim 1, wherein the related image is a virtual image simulating an internal organ. 2. The endoscope image according to claim 1, wherein the endoscopic image is a moving image.
3. In Claim 1, The said related image is the past recorded image which recorded the said endoscopic image.

４．請求項１において、前記関連画像は前記内視鏡画像と同じ被検体を撮像した過去の記録画像である。 4). The related image according to claim 1, wherein the related image is a past recorded image obtained by imaging the same subject as the endoscopic image.

５．請求項２において、前記第１及び第２の画像の一方は、内視鏡画像を縮小したサムネイル画像である。 5. 3. The thumbnail image according to claim 2, wherein one of the first and second images is a reduced thumbnail image.

６．付記１において、前記バーチャル画像により表示される臓器は前記ライブ画像を生成する撮像手段により撮像対象位置の位置情報で決定（設定）される。
７．請求項１において、前記色調補正手段は前記内視鏡画像における指定された部位の色調に基づいて色調補正を行う。
８．付記１において、前記バーチャル画像に対して色彩強調を行う色彩強調手段を有する。 6). In Supplementary Note 1, an organ displayed by the virtual image is determined (set) by position information of an imaging target position by an imaging unit that generates the live image.
7). The color tone correction unit performs color tone correction based on a color tone of a designated portion in the endoscopic image.
8). In Supplementary Note 1, color enhancement means for performing color enhancement on the virtual image is provided.

９．内視鏡に設けられた撮像手段により撮像された内視鏡画像と、該内視鏡画像と関連する模擬画像とを表示する内視鏡装置において、
前記撮像手段による撮像対象位置を検出する位置検出手段と、
前記位置検出手段による位置情報により、前記撮像手段で撮像される部位に対応する部位の模擬画像の表示するように制御する表示制御手段と、
前記内視鏡画像における代表点又は設定領域における色調にマッチングするように前記模擬画像の色調の補正を行う色調補正手段と、
を具備したことを特徴とする内視鏡装置。 9. In an endoscope apparatus that displays an endoscopic image captured by an imaging means provided in an endoscope and a simulated image related to the endoscopic image,
Position detecting means for detecting an imaging target position by the imaging means;
Display control means for controlling to display a simulated image of a part corresponding to the part imaged by the imaging means, based on position information by the position detection means;
Color tone correction means for correcting the color tone of the simulated image so as to match the color tone of the representative point or setting area in the endoscopic image;
An endoscope apparatus comprising:

１０．リアルタイムの内視鏡画像が表示される第１の表示手段と、
前記リアルタイムの内視鏡画像以外の画像が表示される第２の表示手段と、
前記第２の表示手段に表示されるリアルタイムの内視鏡画像以外の画像の色調を、第１の表示手段に表示されるリアルタイムの内視鏡画像の色調を基に補正する色調補正手段とを具備したことを特徴とした手術支援システム。 10. First display means for displaying a real-time endoscopic image;
Second display means for displaying an image other than the real-time endoscopic image;
Color tone correction means for correcting the color tone of an image other than the real-time endoscopic image displayed on the second display means based on the color tone of the real-time endoscopic image displayed on the first display means; A surgical support system characterized by comprising.

１１．付記１０において、第１の表示手段と第２の表示手段は共通の表示装置に形成されることを特徴とする手術支援システム。
１２．付記１０において、第２の表示手段に表示される画像は、バーチャル画像であることを特徴とした手術支援システム。 11. The operation support system according to appendix 10, wherein the first display means and the second display means are formed on a common display device.
12 The surgical operation support system according to claim 10, wherein the image displayed on the second display means is a virtual image.

１３．付記１０において、第２の表示手段に表示される画像は、過去に撮像して記録された画像であることを特徴とする手術支援システム。
１４．付記１０において、前記色調補正手段は、前記第１の表示手段に表示される内視鏡画像を表示するための信号処理を行う信号処理装置に設けたことを特徴とした手術支援システム。 13. The operation support system according to appendix 10, wherein the image displayed on the second display means is an image captured and recorded in the past.
14 The surgical operation support system according to claim 10, wherein the color tone correction unit is provided in a signal processing device that performs signal processing for displaying an endoscopic image displayed on the first display unit.

本発明の実施例１を備えた手術支援システムの全体構成図。1 is an overall configuration diagram of a surgery support system including Example 1 of the present invention. 第１手術室に配置された第１のコントローラの概略の構成を示すブロック図。The block diagram which shows the structure of the outline of the 1st controller arrange | positioned in a 1st operating room. 第１手術室に配置された手術システムの主要部の構成図。The block diagram of the principal part of the surgery system arrange | positioned in the 1st operation room. 色調補正の画像処理を行うパーソナルコンピュータの構成を示すブロック図。FIG. 3 is a block diagram illustrating a configuration of a personal computer that performs image processing for color tone correction. 色調補正手段の機能的な構成を示すブロック図。FIG. 3 is a block diagram showing a functional configuration of a color tone correction unit. 色調補正の動作のフローチャ−ト図。The flowchart of the operation | movement of a color tone correction | amendment. 本発明の実施例２における第１の表示装置の表示内容を示す図。The figure which shows the display content of the 1st display apparatus in Example 2 of this invention. 色調補正の動作のフローチャ−ト図。The flowchart of the operation | movement of a color tone correction | amendment.

Explanation of symbols

１…手術支援システム
２…第１手術室
３…手術システム
４…第１のコントローラ
５…手術部サーバ
６…院内サーバ
８，９…通信回線
１１ｃ…カンファレンス室
１３…患者
１４…内視鏡装置
１５…モニタ
１７…第２のコントローラ
１９…第１の表示装置
２１…パーソナルコンピュータ
２２…第２の表示装置
２９…入力装置
３２…トラカール
３３…硬性内視鏡
３４…挿入部
３８…ＴＶカメラ装着内視鏡
４２…ＣＣＵ
４４ａ〜４６ｂ…位置マーカ
４７…ディジタイザ
４８…ナビゲーション装置
５１…ＣＰＵ
５７…映像信号入出力装置
６１…ＣＰＵ
６１ａ…バーチャル画像生成機能
６１ｃ…色調補正機能
６９…表示制御回路
７１，７３…色分析回路
７２…比較回路
７４…色調補正回路
代理人弁理士伊藤進 DESCRIPTION OF SYMBOLS 1 ... Surgery support system 2 ... 1st operating room 3 ... Surgery system 4 ... 1st controller 5 ... Surgical department server 6 ... In-hospital server 8, 9 ... Communication line 11c ... Conference room 13 ... Patient 14 ... Endoscope apparatus 15 ... Monitor 17 ... Second controller 19 ... First display device 21 ... Personal computer 22 ... Second display device 29 ... Input device 32 ... Traffal 33 ... Rigid endoscope 34 ... Insertion section 38 ... TV camera mounted endoscope Mirror 42 ... CCU
44a-46b ... Position marker 47 ... Digitizer 48 ... Navigation device 51 ... CPU
57 ... Video signal input / output device 61 ... CPU
61a ... Virtual image generation function 61c ... Color tone correction function 69 ... Display control circuit 71, 73 ... Color analysis circuit 72 ... Comparison circuit 74 ... Color tone correction circuit Agent Patent attorney Susumu Ito

Claims

In an endoscope image display processing device capable of simultaneously displaying an endoscopic image obtained by an imaging means provided in an endoscope and a related image related to the endoscopic image,
An endoscopic image display processing apparatus comprising color tone correcting means for adjusting the color tone of the related image to the color tone of the endoscopic image.

In an endoscopic image display device that simultaneously displays a first image and a second image including at least one endoscopic image,
An endoscopic image display device comprising color tone correcting means for correcting the color tone of one of the first and second images so as to match the color tone of the other image.