JP2004337462A

JP2004337462A - Device and method for virtual image display

Info

Publication number: JP2004337462A
Application number: JP2003139520A
Authority: JP
Inventors: Masaya Fujita; 征哉藤田; Shoichi Gotanda; 正一五反田
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2003-05-16
Filing date: 2003-05-16
Publication date: 2004-12-02
Anticipated expiration: 2023-05-16
Also published as: JP4546042B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide a device and method for virtual image display which can quickly and accurately supply information on specimens in the abdomen area to operators as required during the surgical operations with a simple structure and a less cost. <P>SOLUTION: In the virtual image display device 1, a program based on the virtual image display method housed in a CPU 25 is started by the operator to display a virtual image display screen 17A on a monitor 17 and the information on a position into which an endoscope 2 is to be inserted in the abdomen area of a patient (insertion point) and numerals in the axial direction (notice point) of the endoscope 2 are inputted using a mouse 15 or a keyboard 16 watching the screen. The CPU 25 displays the virtual image display screen 17A on which are displayed the virtual end scopy images corresponding to the information. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、内視鏡及び内視鏡処置具等を含む内視鏡システムを用いて手術をする際に、被検体に関する３次元画像データ（以下、バーチャル画像データと称す）を得、このバーチャル画像データに基づく画像を表示して術者を援助可能なバーチャル画像表示装置及びバーチャル画像表示方法に関する。
【０００２】
【従来の技術】
近年、画像による診断が広く行われるようになっており、例えばＸ線ＣＴ（ＣｏｍｐｕｔｅｄＴｏｍｏｇｒａｐｈｙ）装置等により被検体の断層像を撮像することにより被検体内の３次元的なバーチャル画像データを得て、該バーチャル画像データを用いて患部の診断が行われるようになってきた。
【０００３】
ＣＴ装置では、Ｘ線照射・検出を連続的に回転させつつ被検体を体軸方向に連続送りすることにより、被検体の３次元領域について螺旋状の連続スキャン（ヘリカルスキャン：ｈｅｌｉｃａｌｓｃａｎ）を行い、３次元領域の連続するスライスの断層像から、３次元なバーチャル画像を作成することが行われる。
【０００４】
そのような３次元画像の１つに、肺の気管支の３次元像がある。気管支の３次元像は、例えば肺癌等が疑われる異常部の位置を３次元的に把握するのに利用される。そして、異常部を生検によって確認するために、気管支内視鏡を挿入して先端部から生検針や生検鉗子等を出して組織のサンプル（ｓａｍｐｌｅ）を採取することが行われる。
【０００５】
気管支のような多段階の分岐を有する体内の管路では、異常部の所在が分岐の末梢に近いとき、内視鏡の先端を短時間で正しく目的部位に到達させることが難しいために、例えば特開２０００−１３５２１５号公報等では、被検体の３次元領域の画像データに基づいて前記被検体内の管路の３次元像を作成し、前記３次元像上で前記管路に沿って目的点までの経路を求め、前記経路に沿った前記管路の仮想的な内視像を前記画像データに基づいて作成し、前記仮想的な内視像を表示することで、気管支内視鏡を目的部位にナビゲーションする装置が提案されている。
【０００６】
ところで、腹部領域の体内の臓器を被検体とする診断においては、従来より、上記同様に主に腹部領域内の被検体の３次元的なバーチャル画像を作成し、これを表示しながら診断するための画像解析ソフトが実用化されている。
【０００７】
この種の画像解析ソフトを用いた画像システムは、医師が術前に予め患者の腹部領域内等の被検体の病変部の変化をそのバーチャル画像を見ながら把握するための診断に用いられており、通常、デスク上で行われているが一般的である。
【０００８】
【特許文献１】
特開２０００−１３５２１５号公報
【０００９】
【発明が解決しようとする課題】
従来より、腹部領域の体内の被検体に対する手術を行う場合にも、体内の被検体の異常部の情報を、必要に応じて術者に対して迅速に提供することが望まれている。
【００１０】
しかしながら、上述した画像解析ソフトを用いた画像システムは、あくまでも腹部領域の被検体のバーチャル画像を見ながら診断を行うといった術前に使用するものであり、実際の清潔域である内視鏡システムと併用して実際の手術に使用することはできず、つまり、術者に対して必要な被検体の情報を提供することはできない。
【００１１】
また、例えば実際に手術を行う清潔域の内視鏡システムと、非清潔域の前記画像表示システムをオペレータ側に配置してシステムを構築することも考えられるが、手術中の術者に対して必要に応じて被検体の３次元画像を迅速に提供し、あるいは術者の要求に応じて必要な被検体の情報のみを提供しようとするシステムは未だに提案されてはおらず、実際にこのようなシステムを構築しようとすると、煩雑な構成であるためにシステムが大型化になってしまい、システム全体のコストも高価となってしまう。
【００１２】
また、前記従来の特開２０００−１３５２１５号公報に記載のナビゲーション装置は、被検体の３次元領域の画像データに基づいて前記被検体内の管路の３次元像を作成し、この３次元画像を表示することはできるが、上述したようにこの３次元像上で前記管路に沿って目的点までの経路を求め、前記経路に沿った前記管路の仮想的な内視像を前記画像データに基づいて作成し、前記仮想的な内視像を表示して、気管支内視鏡を目的部位にナビゲーションする目的のものであって、腹部領域の被検体の手術を行うシステムには適合してない。
【００１３】
本発明は、上記事情に鑑みてなされたものであり、簡単な構成で且つ低コストで、手術中の術者に対し腹部領域内の被検体の情報を必要に応じて迅速且つ確実に提供し得るバーチャル画像表示装置及びバーチャル画像表示方法を提供することを目的とする。
【００１４】
【課題を解決するための手段】
上記目的を達成するために請求項１に記載の発明のバーチャル画像表示装置は、被検体像を観察可能な観察手段と、前記被検体に関するバーチャル画像データを記憶するバーチャル画像データ記憶手段と、前記バーチャル画像データに基づきバーチャル画像データを表示可能な第１の画像表示手段と、前記バーチャル画像データに基づきバーチャル画像データを表示可能な第２の画像表示手段と、機器の動作状態に関する情報を前記第２の画像表示手段に表示されるバーチャル画像データに重畳する動作情報重畳手段と、を具備したことを特徴とするものである。
【００１５】
また、請求項２に記載の発明のバーチャル画像表示方法は、被検体に関するバーチャル画像データを記憶するバーチャル画像データ記憶手段に記憶された前記バーチャル画像データに基づきバーチャル画像データを第１の画像表示手段に表示する第１の画像表示工程と、前記バーチャル画像データ記憶手段に記憶されたバーチャル画像データに基づきバーチャル画像データを第２の画像表示手段に表示する第２の画像表示工程と、機器の動作状態に関する情報を前記第２の画像表示手段に表示されるバーチャル画像データに動作情報重畳手段で重畳する動作情報重畳工程と、を具備したことを特徴とするものである。
【００１６】
この構成によれば、簡単な構成で且つ低コストで、手術中の術者に対し腹部領域内の被検体の情報を必要に応じて迅速且つ確実に提供し得るバーチャル画像表示装置及びバーチャル画像表示方法の実現が可能となる。
【００１７】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施の形態について述べる。
【００１８】
第１の実施の形態：
（構成）
図１乃至図５は本発明のバーチャル画像表示装置の第１の実施の形態を示し、図１は該装置を備えた内視鏡システムの全体構成を示すブロック図、図２は図１の術者用のリモコンの構成を示す構成図、図３は図１の表示パネルの表示画面の一例を示し、図３（ａ）は内視鏡画像を含む機器設定情報を表示した画面表示図、図３（ｂ）は図３（ａ）に示す画面上にエラーメッセージをオンスクリーン表示した場合の画面表示図をそれぞれ示している。また、図４及び図５は本実施の形態の特徴となる表示制御動作を説明するもので、図４（ａ）はオペレータ側のモニターによるバーチャル画像表示画面の一例を示す画面表示図、図４（ｂ）は図１の術者用の内視鏡モニターに表示された内視鏡ライブ画像の画面表示図、図４（ｃ）は図４（ａ）に示す画面に実際にバーチャル画像を表示した場合の画面表示図、図５（ａ）は図１の術者用の内視鏡モニターに表示された内視鏡ライブ画像の画面表示図、図５（ｂ）はシステムコントローラによって切換えられて術者用の表示パネルに表示された倍率調整前のバーチャル画像表示画面の一例を示す画面表示図、図５（ｃ）は図５（ｂ）に示す状態から倍率調整後に術者用の表示パネルに表示されたバーチャル画像表示画面の一例を示す画面表示図、図５（ｄ）は術者によって２Ｄ表示操作された後の表示パネルに表示された２Ｄ表示画面の一例を示す画面表示図をそれぞれ示している。
【００１９】
図１に示すように、本実施の形態のバーチャル画像表示装置１は、内視鏡システムとして構成されたもので、カメラヘッド３を備えた内視鏡２、ＴＶカメラ４、光源５、気腹器６、電気メス７、超音波処置部８、ＶＴＲ９、システムコントローラ１０、バーチャルエンドスコピー画像生成部１１、リモコン１２、内視鏡モニター１３、表示パネル１４、マウス１５、キーボード１６及びモニター１７を含んで構成されている。
【００２０】
内視鏡２は、患者体内の腹部領域に挿入して該腹部領域を撮像し、撮像した撮像信号をカメラヘッド３を介してＴＶカメラ４に供給する。このＴＶカメラ４は、前記内視鏡２に着脱自在に装着された外付けのＴＶカメラ４であっても良い。
【００２１】
ＴＶカメラ４は、内視鏡２からの撮像信号に信号処理を施し、撮像信号に基づく画像データ（例えば内視鏡ライブ画像データ）を、手術室内の清潔域に配されたシステムコントローラ１０及びＶＴＲ９に供給する。なお、この場合、システムコントローラ４からの制御により、内視鏡にライブ画像の静止画あるいは動画に基づく画像データがＴＶカメラ４から選択出力されることになる。また、前記システムコントローラ４の詳細な構成ついては後述する。
【００２２】
ＶＴＲ９は、周知のようにシステムコントローラ１０の制御により、前記ＴＶカメラ４からの内視鏡ライブ画像データを記録し、あるいは再生可能である。再生時の場合には、再生された内視鏡ライブ画像データをシステムコントローラ１０に出力する。
【００２３】
光源５は、前記内視鏡２に白色光を供給するための光源装置である。また気腹器６は、図示はしないが送気、吸気手段を備え、患者体内の例えば腹部領域に空気を送気するものである。
【００２４】
電気メス７は、例えば患者の腹部領域内の異常部を電気熱を用いて切断したりする手術処置具であり、超音波処置部８は、超音波プローブや鉗子等で前記異常部を切断あるいは採取したりする手術処置具である。
【００２５】
これらの光源５，電気メス７及び超音波処置部８は、前記システムコントローラ１０と電気的に接続されており、該システムコントローラ１０によってその駆動が制御されるようになっている。
【００２６】
一方、手術室内の清潔域には、上述した内視鏡システムの他にシステムコントローラ１０が配されている。このシステムコントローラ１０は、内視鏡システム全体の各種動作（例えば表示制御や調光制御等）を制御するもので、図１に示すように、通信インターフェイス（以下、通信Ｉ／Ｆと称す）１８、メモリ１９、制御部としてのＣＰＵ２０、表示インターフェイス（以下、表示Ｉ／Ｆと称す）２１及びスイッチャー２２とを含んで構成されている。
【００２７】
通信Ｉ／Ｆ１８は、前記ＴＶカメラ４、光源５、気腹器６、電気メス７、超音波処置部８、ＶＴＲ９及び後述するバーチャルエンドスコピー画像生成部１１に電気的に接続されており、これらの駆動制御信号の送受信、または内視鏡画像データの送受信をＣＰＵ２０によって制御される。なお、この通信Ｉ／Ｆ１８には、遠隔操作手段としての術者用のリモコン１２が電気的に接続されており、該リモコン１２の操作指示信号を取り込み、前記ＣＰＵ２０に供給するようになっている。
【００２８】
このリモコン１２は、例えば図２に示すように、少なくとも第１〜第５の操作部１２Ａ〜１２Ｅから構成されている。
【００２９】
第１の操作部１２Ａには、内視鏡モニター１２あるいは表示パネル１４に表示される表示画像に対応したホワイトバランスボタン３０ａと、気腹器６を実行するための気腹ボタン３０ｂと、気腹実行の際の圧力を上下に調整するための圧力ボタン３０ｆと、ＶＴＲ９に内視鏡ライブ画像を録画実行するための録画ボタン３０ｃと、その録画実行の際のフリーズボタン３０ｄ及びレリーズボタン３０ｅが設けられている。
【００３０】
第２の操作部１２Ｂには、表示ボタンが設けられており、第３の操作部１２Ｃには、表示パネル１４に設定情報ではなくバーチャルエンドスコピー画像を表示する際に２次元表示（２Ｄ表示）を実行するための操作ボタンで、各種２Ｄ表示モードに応じたアキシャルボタン３１ａと、コロナルボタン３１ｂと、サジタルボタン３１ｃが設けられている。
【００３１】
また、第４の操作部１２Ｄには、表示パネル１４に設定情報ではなくバーチャルエンドスコピー画像を表示する際に３次元表示（３Ｄ表示）を実行するための操作ボタンで、各種３Ｄ表示モードを実行した際のバーチャルエンドスコピー画像の視野方向を示す挿入点ボタン３２ａ（内視鏡２の腹部領域に対する挿入情報で、例えば内視鏡２を挿入する腹部領域のＸ方向、Ｙ方向、Ｚ方向の数値を表示するためのボタン）と、注目点ボタン３２ｂ（内視鏡２を腹部領域に挿入した際の内視鏡２の軸方向（角度）の数値を表示するためのボタン）とが設けられている。また、これらボタン３２ａ，３２ｂの下側には、３Ｄ表示する際の表示倍率変更を指示するためのボタンで、表示倍率を縮小する縮小ボタン３２ｃと、表示倍率を拡大する拡大ボタン３２ｄとが設けられ、また、表示色を変更するための表示色ボタン３２ｅと、トラッキングを実行するためのトラッキングボタン３２ｆとが設けられている。
【００３２】
さらに、第５の操作部１２Ｅは、前記第１〜第４の各操作部１２Ａ〜１２Ｄで決定した操作設定モードに対して設定入力情報の切換や決定等を行う操作ボタン３３ａや数値等を入力するためのテンキー３３ｂとが設けられている。
【００３３】
これらの第１〜第５の操作部１２Ａ〜１２Ｄを備えたリモコン１２によって、術者は所望する情報が迅速に得られるように操作することになる。
【００３４】
メモリ１９は、例えば内視鏡静止画像の画像データや機器設定情報等のデータを記憶するもので、これらのデータの記憶、及び読み出しは前記ＣＰＵ２０によって制御がなされるようになっている。
【００３５】
表示Ｉ／Ｆ２１は、前記ＴＶカメラ４、ＶＴＲ９及び内視鏡モニター１３に電気的に接続されており、ＴＶカメラ４からの内視鏡ライブ画像データあるいはＶＴＲ９の再生された内視鏡画像データを送受信し、例えば受信した内視鏡ライブ画像データを内視鏡モニター１３に出力することにより、該内視鏡モニター１３はこの内視鏡ライブ画像を表示させる。
【００３６】
表示パネル１４は、スイッチャー２２を介してＣＰＵ２０に電気的に接続され、該ＣＰＵ２０の表示制御により、該内視鏡システムの各種機器設定状態やパラメータ等の設定情報、あるいは本実施の形態の特徴となるバーチャル画像を表示して術者に認識させるための第１の画像表示手段として構成されている。
【００３７】
前記スイッチャー２２は、術者のリモコン１２による遠隔操作に基づき、ＣＰＵ２０による切換制御により、前記設定情報、あるいはバーチャルエンドスコピー画像生成部１１からのバーチャル画像を切換えて前記表示パネル１４に出力する。
【００３８】
ＣＰＵ２０は、該システムコントローラ１０内の各種動作、すなわち、通信Ｉ／Ｆ１８、表示Ｉ／Ｆ２４による各種信号の送受信制御、メモリ１９の画像データの書き込みや読み出し制御、内視鏡モニタ１３及び表示パネル１４の表示制御、さらにはリモコン１２の操作信号に基づく各種動作制御やスイッチャー２２の出力信号切換制御等を行う。
【００３９】
また、ＣＰＵ２０には、図示はしないが機器の設定情報とバーチャルエンドスコピー画像生成部１１からのバーチャルエンドスコピー画像とを重畳する画像処理手段を備え、この画像処理手段を用いて表示パネル１４の表示制御を行う。
【００４０】
一方、清潔域に配された前記システムコントローラ４とは他の箇所の非清潔域には、バーチャルエンドスコピー画像生成部１１が配されている。
【００４１】
バーチャルエンドスコピー画像生成部１１は、図１に示すように、ＣＴ画像ＤＢ部２３、メモリ２４、ＣＰＵ２５、通信Ｉ／Ｆ２６、表示Ｉ／Ｆ２７、分配器２８を含んで構成されている。
【００４２】
ＣＴ画像ＤＢ部２３は、患者のＸ線断層像を撮像する図示しない公知のＣＴ装置で生成された３次元画像データを、例えばＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌｄｉｓｋ）装置やＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）装置等、可搬型の記憶媒体を介して取り込むＣＴ画像データ取り込み部（図示せず）を備え、取り込んだ３次元画像データ（ＣＴ画像データ）を格納するものである。この３次元画像データの読み出しや書き込みは、ＣＰＵ２５によって制御される。
【００４３】
メモリ２４は、例えば前記３次元画像データやＣＰＵ２５によりこの３次元画像データに基づき生成されたバーチャルエンドスコピー画像データ等のデータを記憶するもので、これらのデータの記憶、及び読み出しは前記ＣＰＵ２５によって制御がなされるようになっている。
【００４４】
通信Ｉ／Ｆ２６は、前記システムコントローラ２６の通信Ｉ／Ｆ１８と電気的に接続されており、該バーチャルエンドスコピー画像生成部１１と前記システムコントローラ１０とが連動して各種動作するのに必要な制御信号の送受信、あるいは内視鏡画像データ等の送受信をＣＰＵ２５によって制御される。
【００４５】
表示Ｉ／Ｆ２７は、前記ＣＰＵ２５の制御により生成されたバーチャルエンドスコピー画像を分配器２８を介してモニター１７またはシステムコントローラ１０側に送信するものである。この分配器２８に接続されたモニター１７は、オペレータ専用のモニタであり、供給されたバーチャルエンドスコピー画像を表示させる。また、このバーチャルエンドスコピー画像は、分配器２８によってシステムコントローラ１０のスイッチャー２２も供給されるようになっている。
【００４６】
前記ＣＰＵ２５には、マウス１５及びキーボード１６が電気的に接続されている。これらマウス１５及びキーボード１６は、後述するバーチャル画像表示方法を実行するのに必要な各種設定情報等を入力したり設定したりするための操作手段である。
【００４７】
ＣＰＵ２５は、該バーチャルエンドスコピー画像生成部１１内の各種動作、すなわち、通信Ｉ／Ｆ２６、表示Ｉ／Ｆ２７による各種信号の送受信制御、メモリ２４の画像データの書き込みや読み出し制御、モニタ−１７の表示制御、さらにはマウス１５やキーボード１６の操作信号に基づく各種動作制御等を行う。
【００４８】
また、ＣＰＵ２５には、図示はしないがＣＴ画像ＤＢ部２３から読み込んだ３次元画像データ（ＣＴ画像データ）に基づき、バーチャルエンドスコピー画像を生成する画像処理手段を備え、この画像処理手段を用いて生成されたバーチャルエンドスコピー画像をモニター１７に表示させる表示制御を行う。
【００４９】
次に、上記バーチャル画像表示装置１の特徴となる表示画面を図３及び図４を参照にしながら説明する。
【００５０】
清潔域に配された術者側のシステムコントローラ１０において、術者のリモコン１２の操作により、操作指示があると、該システムコントローラ１９のＣＰＵ２０は、前記表示パネル１４上に、例えば図３（ａ）に示す機器設定情報画面１４Ａを表示させる。
【００５１】
この場合、表示パネル１４に表示された機器設定情報画面１４Ａには、例えば患者氏名を示す第１の表示部１４Ｂと、気腹器６の動作状態や気腹圧、温度等の情報を示す気第２の表示部１４Ｃと、電気メス６の設定や動作状態を示す表示部１４Ｄ１，１４Ｄ２からなる第３の表示部１４Ｄと、超音波処置部８による超音波出力状態を示す第４の表示部１４Ｆと、ＶＴＲ９のテープの残存状態を示す第５の表示部１４Ｇと、カメラヘッド３に対する光源の明るさ調整状態を示す第６の表示部１４Ｈと、体内へのＣＯ２の総出力容量（積算容量）を示す第７の表示部１４Ｉと、ＴＶカメラの動作状態（フリーズ、リレーズ、ズーム）を示す第８の表示部１４Ｊと、この機器設定情報画面１４Ａの略左側に配され、内視鏡ライブ画像を表示する第９の表示部１４Ｅと、機器設定情報画面１４Ａの最下部に配され、各種設定入力を実行するための第１０の表示部１４Ｋと、ホワイトバランスを実行するための第１１の表示部１４Ｌと、システム記録を実行するための第１２の表示部１４Ｍと、カメラ明るさ調整アップを実行するための第１３の表示部１４Ｎと、カメラ明るさ調整ダウンを実行するための第１４の表示部１４Ｏとが設けられている。
【００５２】
これらの各種機器設定内容の表示部（第１〜第１４の表示部１４Ｂ〜１４Ｏ）が機器設定情報画面１４Ａに表示されるが、この内いずれかの機器設定内容を変更する場合には、術者は前記リモコン１２を用いて所望する機器設定内容となるようにいずれかの表示部を選択し、適宜数値を入力して変更する。これを受けてＣＰＵ２０は、入力された設定内容に基づき、機器設定情報の変更制御を行う。
【００５３】
また、ＣＰＵ２０は、手術中の際に、機器のいずかれの動作状態に異常が発生した場合には、例えば図３（ｂ）に示すように、表示パネル１４に表示されている機器設定情報画面１４Ａ上に、異常が発生したことを示すエラーメッセージ３４をオンスクリーン表示するように制御する。この場合の、エラーメッセージ３４は、“ガスボンベを使用している場合には、交換してください”といった気腹器６によって送気するためのボンベの残容量が少ないことを術者に告知している。
【００５４】
一方、非清潔域に配されたオペレータ側のバーチャルエンドスコピー画像生成部１１において、オペレータのマウス１５やキーボード１５、あるいは術者のリモコン１２の操作により、操作指示があると、該バーチャルエンドスコピー画像生成部１１のＣＰＵ２５は、前記モニター１７上に、例えば該ＣＰＵ２５内に記憶されたバーチャル画像表示ソフトを駆動させ、図４（ａ）に示すバーチャル画像表示画面１７Ａを表示させる。
【００５５】
この場合、モニターー１７に表示されたバーチャル画像表示画面１７Ａには、表示するバーチャルエンドスコピー画像を２Ｄ表示実行のための表示部１７Ｅ２，３Ｄ表示実行のための１７Ｅ１を有する第１の表示部１７Ｅと、この第１の表示部１７Ｅとは関わりなく常に画面１７Ａの左端に複数の２Ｄ画像を表示するための第２の表示部１７Ｂと、前記第１の表示部１７Ｅの下側に配され、バーチャル画像表示（３Ｄ表示モードまたは２Ｄ表示モード）を実行した際のバーチャルエンドスコピー画像の視野方向を示し、すなわち、内視鏡２の腹部領域に対する挿入情報で、例えば内視鏡２を挿入する腹部領域のＸ方向、Ｙ方向、Ｚ方向の数値（挿入点と称す）を入力するための第３の表示部１７Ｆと、内視鏡２を腹部領域に挿入した際の内視鏡２の軸方向（角度で注目点と称す）の数値を入力するための第４の表示部１７Ｇと、表示倍率の調整を行うもので、拡大操作を行う表示部１７Ｈ１，縮小操作を行う表示部１７Ｈ２を有する第５の表示部１７Ｈと、該画面１７Ａの最下端に配され、例えば他の複数の参照画像（サムネイル画像）のいずれかを３Ｄ表示実行するための第６の表示部１７Ｉと、ＣＰＵ２５のより生成されたバーチャルエンドスコピー画像が表示される第６の表示部１７Ｃとが設けられている。
【００５６】
これらの第１〜第６の表示部１７Ｂ〜１７Ｉがバーチャル画像表示画面１７Ａに表示されるが、第１，第３，第４，第５，第６の表示部の内いずれかの設定内容を変更する場合には、オペレータは前記マウス１５またはキーボード１６を用いて所望する設定内容となるようにいずれかの表示部を選択し、適宜数値を入力して変更する。これを受けてＣＰＵ２５は、入力された設定内容に基づき、バーチャル画像表示画面１７Ａの変更制御を行う。
【００５７】
なお、本実施の形態では、上記構成のバーチャル画像表示装置を起動する場合には、まず、図４（ａ）に示すバーチャル画像表示画面１７Ａをモニター１７表示させ、患者の腹部領域のどの位置に内視鏡２を挿入するかの情報（腹部領域のＸ方向、Ｙ方向、Ｚ方向の数値（挿入点））を、第３の表示部１７Ｆにマウス１５あるいはキーボード１６を用いて入力し、その後、第４の表示部１７Ｇを選択し、同様に、内視鏡２を腹部領域に挿入した際の内視鏡２の軸方向（注目点）の数値を入力する必要がある。
【００５８】
すなわち、ＣＰＵ２５は、この内視鏡２の位置情報（挿入点及び注目点）に応じたバーチャルエンドスコピー画像を生成し、生成した画像を第６の表示部１７Ｃに表示させる。これにより、図４（ｃ）に示すように、ある所定の内視鏡の位置情報（挿入点及び注目点）を入力した際のバーチャル画像が第６の表示部１７Ｃに表示された表示画面１７Ａとなる。また、このとき、術者側の内視鏡モニター１２には、内視鏡ライブ画像が、図４（ｂ）に示すように表示されることになる。
【００５９】
また、本実施の形態では、手術中の術者に対し腹部領域内の被検体の情報を必要に応じて迅速且つ確実に提供するために、術者のリモコン１２による操作指示に基づき、表示パネル１４に表示された機器設定情報画面１４Ａに代えて上述したバーチャル画像表示画面１７Ａを表示させることも可能である。
【００６０】
このような本実施の形態の特徴となる表示制御動作を図５を参照しながら詳細に説明する。
【００６１】
（作用）
いま、図１に示す内視鏡システム１を用いて、患者の腹部領域内の被検体の手術を行うものとする。このとき、該内視鏡システム１の電源が投入されているものとすると、まず、オペレータは、マウス１５またはキーボード１６を用いて、ＣＰＵ２５内に格納されている本発明のバーチャル画像表示方法に基づくプログラムを立ち上げる。すると、バーチャルエンドスコピー画像生成部１１のＣＰＵ２５は、上述したように、図４（ａ）に示すバーチャル画像表示画面１７Ａをモニター１７表示させる。
【００６２】
そして、オペレータは、このモニター１７上に表示されたバーチャル画像表示画面１７Ａを見ながら、患者の腹部領域のどの位置に内視鏡２を挿入するかの情報（腹部領域のＸ方向、Ｙ方向、Ｚ方向の数値（挿入点））を、第３の表示部１７Ｆにマウス１５あるいはキーボード１６を用いて入力し、その後、第４の表示部１７Ｇを選択し、同様に、内視鏡２を腹部領域に挿入した際の内視鏡２の軸方向（注目点）の数値を入力する。
【００６３】
これにより、内視鏡の挿入点及び注目点に対応するバーチャルエンドスコピー画像が、バーチャルエンドスコピー画像生成部１１により作成され、モニター１７に、例えば図４（ｃ）に示すようにバーチャルエンドスコピー画像１７Ｃを表示したバーチャル画像表示画面１７Ａが表示される。
【００６４】
このとき、手術を行っている清潔域の内視鏡モニター１３には、システムコントローラ１０のＣＰＵ２０の表示制御により、例えば図４（ｂ）に示すように内視鏡ライブ画像が表示され、この表示を見ながら術者は手術を行うことになる。
【００６５】
その後、手術を行っている際に、術者が患者の被検体情報を確認、あるいはさらに詳細な被検体情報を見たい要求が生じたものとする。
【００６６】
この場合には、術者は、図２に示すリモコン１２を用いて所望するモードを選択し、例えば術中の腹部領域内の異常部がある臓器及び血管等の状態をさらに３次元的に詳細に見たい場合には、先ず、リモコン１２の例えば第２の操作部１２Ｂの表示ボタン（図２参照）を押下する。すると、システムコントローラ１０のＣＰＵ２０は、スイッチャー２２を切換制御して、表示パネル１４上に表示されていた機器設定情報画面１４Ａに代えて、図５（ａ）に示すバーチャル画像表示画面１４Ａ１を表示する。
【００６７】
そして、術者がリモコン１２の第４の操作部１２Ｄ内の表示倍率を拡大する拡大ボタン３２ｄを押下して、バーチャル画像表示画面１４Ａの第６の表示部１７Ｃに表示されているバーチャルエンドスコピー画像の表示倍率を拡大させる。
【００６８】
すると、システムコントローラ１０のＣＰＵ２０は、このリモコン１２からの操作信号に基づき、前記バーチャルエンドスコピー画像を信号処理にて表示倍率を拡大させ、その拡大させたバーチャルエンドスコピー画像１７ｃを第６の表示部１７に表示させる。つまり、表示倍率が拡大調整後のバーチャルエンドスコピー画像を表示したバーチャル画像表示画面１４Ａ１が例えば図５（ｃ）に示すように表示パネル１４に表示されることになる。
【００６９】
また、このとき内視鏡モニター１３には、システムコントローラ１０のＣＰＵ２０の表示制御により、例えば図５（ａ）に示すように内視鏡ライブ画像が表示されている。
【００７０】
また、術者が、例えば図５（ｃ）に示すような３Ｄ表示されたバーチャル画像表示画面１４Ａ１を見ている最中（あるいは２Ｄ表示モードを実行した際）に、２Ｄ表示を見て被検体の状態を確認したいものとする。
【００７１】
この場合、術者は、リモコン１２の第２の操作部１２Ｂに設けられた各種２Ｄ表示モードの操作ボタン（アキシャルボタン３１ａ、コロナルボタン３１ｂ、サジタルボタン３１ｃ）を適宜押下することにより、ＣＰＵ２０はこの操作に基づき、例えば図５（ｄ）に示すように、２Ｄ表示画像１７Ｎを表示したバーチャル画像表示画面１４Ａを表示パネル１４上に表示させる。
【００７２】
したがって、術者は、手術をしながらも簡単な操作にて、必要な情報を迅速且つ確実に得られることになる。
【００７３】
なお、本実施の形態では、手術中の術者によって表示モード等の各種モードの切換操作を行うように説明したが、勿論、必要に応じてオペレータ側で操作するようにしても良い。
【００７４】
また、本実施の形態では、術者側の表示パネル１４上に表示されている機器設定情報画面１４Ａ中の第９の表示部１４Ｅに内視鏡ライブ画像を表示するが、術者のリモコン操作に基づき、この内視鏡ライブ画像に代えてバーチャルエンドスコピー画像を表示するように制御することも可能である。
【００７５】
（効果）
したがって、本実施の形態によれば、システムコントローラ１０のスイッチャー２２による切換制御にて、術者側の表示パネル１４上の機器設定情報画面１４Ａからバーチャル画像表示画面１７Ａを切換て表示することができるので、簡単な構成で且つ低コストで、手術中の術者に対し腹部領域内の被検体の情報を必要に応じて迅速且つ確実に提供するバーチャル画像表示装置を実現できる。これにより、手術の安全性の向上、手術時間の短縮に大きく寄与する。
【００７６】
第２の実施の形態：
図６及び図７は本発明のバーチャル画像表示装置の第２の実施の形態を示し、図６は該装置を備えた内視鏡システムの全体構成を示すブロック図、図７は図６のシステムコントローラ内のＣＰＵによる音声認識切換制御を示すフローチャートである。なお、図６は、前記第１の実施の形態の装置と同様な構成要素については同一の符号を付して説明を省略し、異なる部分のみを説明する。
【００７７】
本実施の形態では、手術中の術者によるリモコン操作を無くし音声にて各種操作モードの選択実行可能な構成することにより、術者の負担を軽減し効率的なバーチャル画像表示を行うように構成したことが特徴である。
【００７８】
具体的には、図６に示すように、本実施の形態のバーチャル画像表示装置１Ａでは、前記第１の実施の形態におけるリモコン１２を削除し、新たに術者の音声を取り込むマイク３５と、このマイクからの音声信号を受信し、システムコントローラ１０内に取り込むためのマイクＩ／Ｆ３６と、このマイクＩ／Ｆ３６により受信した音声信号を取り込み、該音声信号に対し音声認識判定処理を施し、音声認識判定結果をＣＵ２０に出力する音声認識手段３７とを設けて構成している。
【００７９】
音声認識手段３７は、例えば術者が術中にマイク３５に向けて“３Ｄ表示モード”と発生すると、この音声信号がマイク３５，マイクＩ／Ｆ３７を介して取り込まれ、この音声信号に基づき音声認識を行う。その結果、音声認識手段３８は、この音声が“３Ｄ表示モード”といった実行コマンド（切り替え操作コマンドともいう）で有ることを認識し、その結果をＣＰＵ２０に出力する。
【００８０】
ＣＰＵ２０は、この認識結果、つまり、この実行コマンドに基づき、表示パネル１４の表示切り替え制御する。この場合、ＣＰＵ２０は、認識結果が前記第１の実施の形態にて使用されたリモコン１２の第４の操作部１２Ｄによる３Ｄ表示モード実行のコマンドと同様なものと認識し、表示パネル１４にバーチャル画像表示画面１４Ａ１（図５（ｂ）参照）を表示させる。
【００８１】
その他の構成は、前記第１の実施の形態と略同様である。
【００８２】
（作用）
次に、本実施の形態の特徴となる作用について図７を参照しながら詳細に説明する。
【００８３】
本実施の形態の内視鏡システムでは、表示パネル１４及びモニター１７における機器設定情報画面１４Ａやバーチャル画像表示画面１７Ａ，１４Ａ１の表示制御については前記第１の実施の形態と略同様であるが、術者による指示操作の入力方法が異なる。
【００８４】
すなわち、該内視鏡システム１の電源が投入されているものとすると、まず、システムコントローラ１０のＣＰＵ２０は、図７に示す音声認識処理ルーチンを起動し、つまりステップＳ１の判断処理にてマイク３５，マイクＩ／Ｆ３６及び音声認識手段３７を介して、術者による音声の入力の有無を判断し、音声入力があったと判断した場合には、処理をステップＳ２に移行し、ないと判断した場合には該ステップＳ１の判断処理に処理を戻し、音声入力があるまで判断処理を継続する。
【００８５】
そして、ステップＳ２の処理では、ＣＰＵ２０は、マイクＩ／Ｆ３６を介して取り込まれた音声信号に対し音声認識手段３７を用いて音声認識を行い、処理をステップＳ３の判断処理に移行する。
【００８６】
その後、ＣＰＵ２０は、ステップＳ３の判断処理にて、前記ステップＳ２で得られた音声認識手段３７による音声認識結果から、この音声が切り替え操作コマンドであるか否かを判定し、切り替えコマンドでないものと判断した場合には、処理を前記ステップＳ１に戻し、切り替えコマンドであると判断した場合には、処理を続くステップＳ４に移行する。
【００８７】
ステップＳ４の処理では、ＣＰＵ２０は、その切り替えコマンドに基づき、表示パネル１４の表示切り替え制御を行う。
【００８８】
例えば、術者により発した音声が“３Ｄ表示モード”といった実行コマンド（切り替え操作コマンド）で有る場合には、音声認識手段３７はこの音声認識結果をＣＰＵ２０に出力し、これを受けＣＰＵ２０は、この認識結果、つまり、前記第１の実施の形態にて使用されたリモコン１２の第４の操作部１２Ｄによる３Ｄ表示モード実行のコマンドと同様なものと認識し、表示パネル１４にバーチャル画像表示画面１４Ａ１（図５（ｂ）参照）を表示させる。
【００８９】
その他の作用については前記第１の実施の形態と同様である。
【００９０】
（効果）
したがって、本実施の形態によれば、リモコン１２を用いずに音声にて術者が操作指示を与え、且つこの音声による操作指示に基づき表示パネル１４の表示切り替え制御を行うことができるので、前記第１の実施の形態よりも術者の負担を軽減し、被検体の情報を迅速に且つ確実に提供することが可能となる。また、マイク３５，マイクＩ／Ｆ３６及び音声認識手段３７のみを付加すれば良いので低コストでリモコン操作の必要のない内視鏡システムを構築できる。
【００９１】
なお、本実施の形態では、前記第１の実施の形態におけるリモコン１２と併用して構成しても良い。これにより、術者の操作指示方法を拡大することができるので、より使い勝手の良い内視鏡システムを構築できる。
【００９２】
第３の実施の形態：
図８及び図９は本発明のバーチャル画像表示装置の第３の実施の形態を示し、図８は該装置を備えた内視鏡システムの全体構成を示すブロック図、図９は本実施の形態の特徴となる表示制御を説明するためのもので、図９（ａ）は表示パネルに表示された術者用のバーチャル画像表示画面を示す画面表示図、図９（ｂ）はモニターに表示されたオペレータ用のバーチャル画像表示画面を示す画面表示図である。なお、図８及び図９は、前記第１の実施の形態の装置と同様な構成要素については同一の符号を付して説明を省略し、異なる部分のみを説明する。
【００９３】
本実施の形態では、術者用の表示パネル１４に表示するバーチャル画像表示画面を、術者にとって最低限必要な画像情報のみを表示するように構成したことが前記第１の実施の形態とは異なる点である。
【００９４】
具体的な構成としては、図８に示すように、本実施の形態のバーチャル画像表示装置１Ｂでは、バーチャルエンドスコピー画像生成部１１Ａ内において、前記第１の実施の形態における表示Ｉ／Ｆ２７及び分配器２８に（図１参照）に代えて、マルチディスプレイＩ／Ｆ４０を設けて構成している。
【００９５】
このマルチディスプレイＩ／Ｆ４０は、システムコントローラ１０のスイッチャ２２と電気的に接続されており、ＣＰＵ２５による制御により、単にバーチャルエンドスコピー画像を生成して表示したバーチャル画像表示画面１７Ａ（図４（ｃ）参照）の画像データを送信するだけでなく、例えばこのバーチャル画像表示画面１７におけるバーチャルエンドスコピー画像や２Ｄ表示画像のみの画像データを抽出し、あるいは所望する表示形態にて加工して前記スイッチャー２２に送信することが可能である。
【００９６】
その他の構成は、前記第１の実施の形態と同様である。
【００９７】
（作用）
次に、本実施の形態の特徴となる作用について図９を参照しながら詳細に説明する。
【００９８】
本実施の形態のバーチャル画像表示装置１Ｂは、前記第１の実施の形態におけるバーチャル画像表示装置１と略同様に作用するが、例えば手術中に術者のリモコン操作によって３Ｄ表示の実行モードが実行された場合には、バーチャルエンドスコピー画像生成部１１ＡのＣＰＵ２５は、モニター１７に前記第１の実施の形態と同様にバーチャル画像表示画面１７Ａを表示制御すると同時に、マルチディスプレイＩ／Ｆ４０を用いて術者にとって最低限必要な情報、例えばバーチャルエンドスコピー画像と２Ｄ表示画像のみを抽出してシステムコントローラ１０のスイッチャー２２に送信する。これを受けてシステムコントローラ１０のＣＰＵ２０は、表示パネル１４上にこの送信された画像データを表示するように制御する。これにより、術者側の表示パネル１４には、図９（ａ）に示すように、バーチャルエンドスコピー画像が表示された主表示部５２と、画面左端に複数の２Ｄ表示画像５１ａ〜５１ｃからなる２Ｄ表示画像を表示した腹表示部４１との２つの表示部で構成されたバーチャル画像表示画面５０が表示されることになる。
【００９９】
すなわち、表示パネル１４には、手術中の術者にとって最低限必要な画像情報のみが表示されることになる。
【０１００】
その他の作用については、前記第１の実施の形態と同様である。
【０１０１】
（効果）
したがって、本実施の形態によれば、前記第１の実施の形態と同様の効果が得られる他に、術者にはバーチャル画像表示画面が見やすくなるので、使い勝手が良く、手術の安全性の向上、手術時間の短縮に大きく寄与する。
なお、本発明に係る前記第１乃至第３の実施の形態では、手術者側の表示パネル１４に、表示された機器設定情報画面に切り替えてバーチャル画像表示画面を表示するように表示制御することについて説明したが。これに限定されることはなく、例えば内視鏡モニター１３上に内視鏡ライブ画像とバーチャル画像表示画面とを適宜切り替えるように表示制御を行っても良い。
【０１０２】
また、本発明は、上述した第１乃至第３の実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
【０１０３】
【発明の効果】
以上説明したように本発明によれば、簡単な構成で且つ低コストで、手術中の術者に対し腹部領域内の被検体の情報を必要に応じて迅速且つ確実に提供し得るバーチャル画像表示装置及びバーチャル画像表示方法を提供することができる。
【図面の簡単な説明】
【図１】本発明のバーチャル画像表示装置の第１の実施の形態を示し、該装置を備えた内視鏡システムの全体構成を示すブロック図。
【図２】図１の術者用のリモコンの構成を示す構成図。
【図３】図１の表示パネルの表示画面の一例を示す画面表示図。
【図４】本実施の形態の特徴となる表示制御動作を説明するもので、モニターによるバーチャル画像表示画面の一例を示す画面表示図。
【図５】本実施の形態の特徴となる表示制御動作を説明するもので、術者用の表示パネルに表示されたバーチャル画像表示画面の一例を示す画面表示図。
【図６】本発明のバーチャル画像表示装置の第２の実施の形態を示し、該装置を備えた内視鏡システムの全体構成を示すブロック図。
【図７】図６のシステムコントローラ内のＣＰＵによる音声認識切換制御を示すフローチャート。
【図８】本発明のバーチャル画像表示装置の第３の実施の形態を示し、該装置を備えた内視鏡システムの全体構成を示すブロック図。
【図９】本実施の形態の特徴となる表示制御を説明するもので、表示パネル及びモニターに表示されたバーチャル画像表示画面の一例を示す画面表示図。
【符号の説明】
１…バーチャル画像表示装置、
２…内視鏡、
３…カメラヘッド、
４…ＴＶカメラ、
５…光源、
６…気腹器、
７…電気メス、
８…超音波処置部、
９…ＶＴＲ、
１０…システムコントローラ、
１１…バーチャルエンドスコピー画像生成部、
１２…リモコン、
１３…内視鏡モニター、
１４…表示パネル、
１５…マウス、
１６…キーボード、
１７…モニター、
１８，２６…通信Ｉ／Ｆ
１９，２４…メモリ、
２０，２５…ＣＰＵ、
２１，２７…表示Ｉ／Ｆ、
２２…スイッチャー、
２３…ＣＴ画像ＤＢ部、
２８…分配器。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention obtains three-dimensional image data (hereinafter, referred to as virtual image data) of a subject when performing an operation using an endoscope system including an endoscope and an endoscope treatment tool. The present invention relates to a virtual image display device and a virtual image display method capable of displaying an image based on image data to assist an operator.
[0002]
[Prior art]
2. Description of the Related Art In recent years, diagnosis based on images has been widely performed. For example, three-dimensional virtual image data in a subject is obtained by capturing a tomographic image of the subject using an X-ray CT (Computed Tomography) apparatus or the like. Diagnosis of the affected part has been performed using the virtual image data.
[0003]
The CT apparatus continuously performs a spiral continuous scan (helical scan) on a three-dimensional region of the subject by continuously feeding the subject in the body axis direction while continuously rotating the X-ray irradiation / detection. A three-dimensional virtual image is created from a tomographic image of a continuous slice in a three-dimensional region.
[0004]
One such three-dimensional image is a three-dimensional image of the bronchi of the lungs. The three-dimensional image of the bronchus is used for three-dimensionally grasping the position of an abnormal part suspected of, for example, lung cancer. Then, in order to confirm the abnormal part by biopsy, a bronchial endoscope is inserted, a biopsy needle, biopsy forceps, and the like are taken out from the distal end part to collect a tissue sample.
[0005]
In a duct in the body having a multi-stage branch such as a bronchus, when the location of the abnormal part is near the periphery of the branch, it is difficult to correctly reach the end of the endoscope to the target site in a short time. In Japanese Patent Application Laid-Open No. 2000-135215, a three-dimensional image of a pipe in the subject is created based on image data of a three-dimensional area of the subject, and a target is formed along the pipe on the three-dimensional image. Obtain a path to a point, create a virtual endoscope image of the conduit along the path based on the image data, and display the virtual endoscope image to display a bronchoscope. A device for navigating to a target site has been proposed.
[0006]
By the way, in a diagnosis using an internal organ in the abdominal region as a subject, conventionally, a three-dimensional virtual image of the subject in the abdominal region is mainly created in the same manner as described above, and diagnosis is performed while displaying the virtual image. Image analysis software has been put to practical use.
[0007]
An image system using this kind of image analysis software is used for diagnosis in order for a doctor to grasp a change in a lesion of a subject, such as in a patient's abdominal region, while viewing a virtual image before surgery. This is usually done on a desk, but is common.
[0008]
[Patent Document 1]
JP 2000-135215 A
[0009]
[Problems to be solved by the invention]
2. Description of the Related Art Conventionally, even when performing an operation on a subject in the body in the abdominal region, it has been desired to promptly provide the operator with information on the abnormal part of the subject in the body as needed.
[0010]
However, an image system using the above-described image analysis software is used preoperatively, such as performing a diagnosis while looking at a virtual image of the subject in the abdominal region, and an endoscope system that is an actual clean area. They cannot be used together in actual surgery, that is, they cannot provide necessary information on the subject to the surgeon.
[0011]
Further, for example, it is conceivable to construct a system by arranging an image display system in a clean area and an image display system in a non-clean area on the operator side, for example, for performing an operation. A system that promptly provides a three-dimensional image of the subject as needed or provides only necessary information of the subject at the request of the operator has not yet been proposed. If a system is to be constructed, the system will be large in size due to the complicated configuration, and the cost of the entire system will be high.
[0012]
Further, the navigation apparatus described in the conventional Japanese Patent Application Laid-Open No. 2000-135215 creates a three-dimensional image of a pipe in the subject based on image data of a three-dimensional region of the subject, and generates the three-dimensional image. Can be displayed, but as described above, on this three-dimensional image, a route to the target point is obtained along the pipeline, and a virtual endoscopic image of the pipeline along the route is displayed in the image. Created based on the data, displaying the virtual endoscopic image, for the purpose of navigating the bronchoscope to the target site, and is suitable for a system for performing surgery on a subject in the abdominal region. Not.
[0013]
The present invention has been made in view of the above circumstances, and provides a surgeon who has a simple configuration at low cost with information on a subject in an abdominal region quickly and reliably as necessary. It is an object to provide a virtual image display device and a virtual image display method that can be obtained.
[0014]
[Means for Solving the Problems]
In order to achieve the above object, the virtual image display device according to the first aspect of the present invention includes an observation unit that can observe a subject image, a virtual image data storage unit that stores virtual image data related to the subject, First image display means capable of displaying virtual image data based on virtual image data; second image display means capable of displaying virtual image data based on the virtual image data; And operation information superimposing means for superimposing on the virtual image data displayed on the second image display means.
[0015]
According to a second aspect of the present invention, there is provided the virtual image display method according to the first aspect, wherein the virtual image data is stored in the virtual image data storage means for storing the virtual image data relating to the subject. A first image display step of displaying the virtual image data on the second image display means based on the virtual image data stored in the virtual image data storage means; A motion information superimposing step of superimposing information on the state on virtual image data displayed on the second image display means by the motion information superimposing means.
[0016]
According to this configuration, a virtual image display device and a virtual image display capable of quickly and reliably providing information on a subject in an abdominal region to an operator during an operation with a simple configuration and at low cost as needed. The method can be realized.
[0017]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0018]
First embodiment:
(Constitution)
1 to 5 show a first embodiment of a virtual image display device according to the present invention. FIG. 1 is a block diagram showing an entire configuration of an endoscope system provided with the device. FIG. FIG. 3 shows an example of a display screen of the display panel of FIG. 1, and FIG. 3A shows a screen display diagram displaying device setting information including an endoscope image. 3B shows screen display diagrams when an error message is displayed on-screen on the screen shown in FIG. 3A. FIGS. 4 and 5 illustrate a display control operation which is a feature of the present embodiment. FIG. 4A is a screen display diagram showing an example of a virtual image display screen on a monitor on the operator side. 4B is a screen display diagram of an endoscope live image displayed on the operator's endoscope monitor in FIG. 1, and FIG. 4C is a virtual image actually displayed on the screen shown in FIG. 5A is a screen display diagram of an endoscope live image displayed on the operator's endoscope monitor shown in FIG. 1, and FIG. 5B is switched by the system controller. FIG. 5C is a screen display diagram showing an example of a virtual image display screen before magnification adjustment displayed on a display panel for the operator, and FIG. 5C is a display panel for the operator after magnification adjustment from the state shown in FIG. Display showing an example of the virtual image display screen displayed on the screen , FIG. 5 (d) shows a screen display diagram showing an example of a 2D display screen displayed on the display panel after being 2D display operation by the operator, respectively.
[0019]
As shown in FIG. 1, a virtual image display device 1 according to the present embodiment is configured as an endoscope system, and includes an endoscope 2 having a camera head 3, a TV camera 4, a light source 5, a pneumoperitoneum. Device 6, electric scalpel 7, ultrasonic treatment unit 8, VTR 9, system controller 10, virtual endoscope image generation unit 11, remote controller 12, endoscope monitor 13, display panel 14, mouse 15, keyboard 16, and monitor 17 It is composed of
[0020]
The endoscope 2 is inserted into an abdominal region in a patient to image the abdominal region, and supplies an imaged image signal to the TV camera 4 via the camera head 3. The TV camera 4 may be an external TV camera 4 detachably mounted on the endoscope 2.
[0021]
The TV camera 4 performs signal processing on an image pickup signal from the endoscope 2 and transmits image data (for example, live endoscope image data) based on the image pickup signal to the system controller 10 and the VTR 9 arranged in a clean area in the operating room. To supply. In this case, under the control of the system controller 4, image data based on a still image or a moving image of a live image is selectively output from the TV camera 4 to the endoscope. The detailed configuration of the system controller 4 will be described later.
[0022]
The VTR 9 can record or reproduce the endoscope live image data from the TV camera 4 under the control of the system controller 10 as is well known. In the case of reproduction, the reproduced endoscope live image data is output to the system controller 10.
[0023]
The light source 5 is a light source device for supplying white light to the endoscope 2. Although not shown, the insufflator 6 is provided with air supply and intake means, and supplies air to, for example, an abdominal region in the patient's body.
[0024]
The electric scalpel 7 is, for example, a surgical treatment tool that cuts an abnormal part in the abdominal region of the patient using electric heat, and the ultrasonic treatment unit 8 cuts or cuts the abnormal part with an ultrasonic probe or forceps. It is a surgical treatment tool to be collected.
[0025]
The light source 5, the electric scalpel 7, and the ultrasonic treatment unit 8 are electrically connected to the system controller 10, and the drive of the system controller 10 is controlled.
[0026]
On the other hand, in a clean area in the operating room, a system controller 10 is arranged in addition to the endoscope system described above. The system controller 10 controls various operations (for example, display control, dimming control, and the like) of the entire endoscope system, and as shown in FIG. 1, a communication interface (hereinafter, referred to as a communication I / F) 18. , A memory 19, a CPU 20 as a control unit, a display interface (hereinafter, referred to as a display I / F) 21, and a switcher 22.
[0027]
The communication I / F 18 is electrically connected to the TV camera 4, the light source 5, the insufflator 6, the electric scalpel 7, the ultrasonic treatment unit 8, the VTR 9, and the virtual endoscope image generation unit 11, which will be described later. The transmission and reception of the drive control signal or the transmission and reception of the endoscope image data are controlled by the CPU 20. The communication I / F 18 is electrically connected to a remote controller 12 for an operator as a remote control unit, and fetches an operation instruction signal of the remote controller 12 and supplies it to the CPU 20. .
[0028]
The remote controller 12 includes at least first to fifth operation units 12A to 12E, for example, as shown in FIG.
[0029]
The first operation unit 12A includes a white balance button 30a corresponding to a display image displayed on the endoscope monitor 12 or the display panel 14, an insufflation button 30b for executing the insufflator 6, and an insufflation button. A pressure button 30f for adjusting the pressure at the time of execution up and down, a recording button 30c for recording and executing an endoscope live image on the VTR 9, and a freeze button 30d and a release button 30e for performing the recording are provided. Have been.
[0030]
A display button is provided on the second operation unit 12B, and a two-dimensional display (2D display) is provided on the third operation unit 12C when displaying not the setting information but the virtual endoscope image on the display panel 14. , An axial button 31a corresponding to various 2D display modes, a coronal button 31b, and a sagittal button 31c.
[0031]
The fourth operation unit 12D is an operation button for executing three-dimensional display (3D display) when displaying a virtual endoscope image instead of setting information on the display panel 14, and executes various 3D display modes. Insertion point button 32a indicating the direction of the field of view of the virtual endoscope image when the endoscope 2 is inserted (for example, numerical values in the X, Y, and Z directions of the abdominal region into which the endoscope 2 is inserted) And a point of interest button 32b (a button for displaying a numerical value in the axial direction (angle) of the endoscope 2 when the endoscope 2 is inserted into the abdominal region). I have. Below the buttons 32a and 32b, there are provided a button 32c for instructing a change in the display magnification in 3D display, and a reduction button 32c for reducing the display magnification and an enlargement button 32d for enlarging the display magnification. In addition, a display color button 32e for changing a display color and a tracking button 32f for executing tracking are provided.
[0032]
Further, the fifth operation unit 12E inputs an operation button 33a for switching or determining setting input information, a numerical value, and the like for the operation setting mode determined by the first to fourth operation units 12A to 12D. And a numeric keypad 33b.
[0033]
By using the remote controller 12 including the first to fifth operation units 12A to 12D, the operator operates so that desired information can be obtained quickly.
[0034]
The memory 19 stores, for example, data such as image data of an endoscope still image and device setting information, and the storage and reading of these data are controlled by the CPU 20.
[0035]
The display I / F 21 is electrically connected to the TV camera 4, the VTR 9, and the endoscope monitor 13. The display I / F 21 displays endoscope live image data from the TV camera 4 or endoscope image data reproduced from the VTR 9. By transmitting and receiving, for example, outputting the received endoscope live image data to the endoscope monitor 13, the endoscope monitor 13 displays the endoscope live image.
[0036]
The display panel 14 is electrically connected to the CPU 20 via the switcher 22, and under the display control of the CPU 20, setting information such as various device setting states and parameters of the endoscope system, or features of the present embodiment. It is configured as first image display means for displaying a virtual image to be recognized by an operator.
[0037]
The switcher 22 switches the setting information or the virtual image from the virtual endoscope image generating unit 11 and outputs the same to the display panel 14 by switching control by the CPU 20 based on a remote operation of the remote controller 12 by the operator.
[0038]
The CPU 20 controls various operations in the system controller 10, that is, controls transmission and reception of various signals by the communication I / F 18 and the display I / F 24, controls writing and reading of image data in the memory 19, the endoscope monitor 13 and the display panel 14. , And various kinds of operation control based on operation signals of the remote controller 12, output signal switching control of the switcher 22, and the like.
[0039]
Further, the CPU 20 includes an image processing unit (not shown) for superimposing the setting information of the device and the virtual endoscope image from the virtual endoscope image generation unit 11, and displaying the display panel 14 using the image processing unit. Perform control.
[0040]
On the other hand, in a non-clean area other than the system controller 4 arranged in the clean area, a virtual endoscope image generation unit 11 is arranged.
[0041]
As shown in FIG. 1, the virtual endoscope image generation unit 11 includes a CT image DB unit 23, a memory 24, a CPU 25, a communication I / F 26, a display I / F 27, and a distributor 28.
[0042]
The CT image DB unit 23 converts three-dimensional image data generated by a known CT device (not shown) that captures an X-ray tomographic image of a patient into, for example, an MO (Magneto-Optical disk) device, a DVD (Digital Versatile Disc) device, or the like. A CT image data capturing unit (not shown) for capturing via a portable storage medium, and stores the captured three-dimensional image data (CT image data). Reading and writing of the three-dimensional image data are controlled by the CPU 25.
[0043]
The memory 24 stores, for example, the three-dimensional image data and data such as virtual endoscope image data generated based on the three-dimensional image data by the CPU 25. The storage and reading of these data are controlled by the CPU 25. Is made.
[0044]
The communication I / F 26 is electrically connected to the communication I / F 18 of the system controller 26, and controls necessary for the virtual endoscope image generation unit 11 and the system controller 10 to perform various operations in conjunction with each other. Transmission and reception of signals or transmission and reception of endoscope image data and the like are controlled by the CPU 25.
[0045]
The display I / F 27 transmits the virtual endoscope image generated under the control of the CPU 25 to the monitor 17 or the system controller 10 via the distributor 28. The monitor 17 connected to the distributor 28 is a monitor dedicated to the operator, and displays the supplied virtual endoscope image. The virtual endoscope image is also supplied to the switcher 22 of the system controller 10 by the distributor 28.
[0046]
The mouse 25 and the keyboard 16 are electrically connected to the CPU 25. The mouse 15 and the keyboard 16 are operation means for inputting and setting various setting information and the like necessary for executing a virtual image display method described later.
[0047]
The CPU 25 controls various operations in the virtual end copy image generation unit 11, that is, controls transmission and reception of various signals by the communication I / F 26 and the display I / F 27, controls writing and reading of image data in the memory 24, and displays on the monitor 17. Control, and further, various operation controls based on operation signals of the mouse 15 and the keyboard 16 are performed.
[0048]
Although not shown, the CPU 25 includes an image processing unit that generates a virtual endoscope image based on three-dimensional image data (CT image data) read from the CT image DB unit 23. Display control is performed to display the generated virtual endoscope image on the monitor 17.
[0049]
Next, a display screen which is a feature of the virtual image display device 1 will be described with reference to FIGS.
[0050]
In the system controller 10 of the operator arranged in the clean area, when an operation instruction is given by operating the remote controller 12 of the operator, the CPU 20 of the system controller 19 displays on the display panel 14, for example, FIG. ) Is displayed.
[0051]
In this case, the device setting information screen 14A displayed on the display panel 14 includes, for example, a first display section 14B showing the patient's name and an air conditioner showing information such as the operating state of the insufflator 6 and the insufflation pressure and temperature. A second display unit 14C, a third display unit 14D including display units 14D1 and 14D2 indicating the setting and operation state of the electric scalpel 6, and a fourth display unit indicating the ultrasonic output state of the ultrasonic treatment unit 8 14F, a fifth display unit 14G indicating the remaining state of the tape of the VTR 9, a sixth display unit 14H indicating the brightness adjustment state of the light source with respect to the camera head 3, and a total output capacity (integrated capacity) of CO2 in the body. ), An eighth display unit 14J indicating the operation state (freeze, relays, zoom) of the TV camera, and an endoscope live screen which is arranged substantially on the left side of the device setting information screen 14A. Image display ninth Display unit 14E, a tenth display unit 14K arranged at the bottom of the device setting information screen 14A for executing various setting inputs, an eleventh display unit 14L for executing white balance, and a system. A twelfth display unit 14M for performing recording, a thirteenth display unit 14N for performing camera brightness adjustment up, and a fourteenth display unit 140 for performing camera brightness adjustment down are provided. Is provided.
[0052]
The display sections (the first to fourteenth display sections 14B to 14O) of these various device setting contents are displayed on the device setting information screen 14A. The user uses the remote controller 12 to select one of the display units so that the desired device setting content is obtained, and changes the input unit by appropriately inputting numerical values. In response to this, the CPU 20 controls the change of the device setting information based on the input setting contents.
[0053]
When an abnormality occurs in any of the operation states of the devices during the operation, the CPU 20 may display the device setting information displayed on the display panel 14, for example, as shown in FIG. Control is performed so that an error message 34 indicating that an abnormality has occurred is displayed on the screen 14A on the screen. In this case, the error message 34 informs the operator that the remaining capacity of the cylinder for insufflation by the insufflator 6 is small, such as "Please replace the gas cylinder when using it". I have.
[0054]
On the other hand, in the virtual endoscope image generation unit 11 on the operator side arranged in the non-clean area, when an operation instruction is given by operating the mouse 15 or the keyboard 15 of the operator or the remote controller 12 of the operator, the virtual endoscope image is generated. The CPU 25 of the generation unit 11 drives, for example, virtual image display software stored in the CPU 25 on the monitor 17 to display a virtual image display screen 17A shown in FIG.
[0055]
In this case, the virtual image display screen 17A displayed on the monitor 17 includes a first display unit 17E having a display unit 17E2 for performing 2D display and a 17E1 for performing 3D display on the virtual endoscope image to be displayed. A second display section 17B for displaying a plurality of 2D images at the left end of the screen 17A irrespective of the first display section 17E, and a virtual display section provided below the first display section 17E. Indicates the view direction of the virtual endoscope image when the image display (3D display mode or 2D display mode) is performed, that is, insertion information for the abdominal region of the endoscope 2, for example, an abdominal region where the endoscope 2 is inserted. A third display unit 17F for inputting numerical values (referred to as insertion points) in the X direction, the Y direction, and the Z direction, and an endoscope when the endoscope 2 is inserted into the abdominal region. A fourth display unit 17G for inputting a numerical value in the second axial direction (referred to as a point of interest in the angle), a display unit 17H1 for adjusting the display magnification and performing an enlargement operation, and a display unit for performing a reduction operation A fifth display unit 17H having a display 17H2, a sixth display unit 17I disposed at the lowermost end of the screen 17A and executing, for example, any of a plurality of other reference images (thumbnail images) in 3D display, And a sixth display section 17C on which the virtual endoscope image generated by the CPU 25 is displayed.
[0056]
These first to sixth display units 17B to 17I are displayed on the virtual image display screen 17A, and any one of the first, third, fourth, fifth, and sixth display units is displayed. When changing, the operator uses the mouse 15 or the keyboard 16 to select one of the display units so that the desired setting content is obtained, and inputs the numerical value as appropriate to make the change. In response to this, the CPU 25 controls the change of the virtual image display screen 17A based on the input setting contents.
[0057]
In the present embodiment, when the virtual image display device having the above configuration is activated, first, the virtual image display screen 17A shown in FIG. Information on whether the endoscope 2 is to be inserted (numeric values (insertion points) in the X, Y, and Z directions of the abdominal region) is input to the third display unit 17F using the mouse 15 or the keyboard 16, and thereafter It is necessary to select the fourth display unit 17G and similarly input a numerical value in the axial direction (point of interest) of the endoscope 2 when the endoscope 2 is inserted into the abdominal region.
[0058]
That is, the CPU 25 generates a virtual endoscope image corresponding to the position information (the insertion point and the point of interest) of the endoscope 2, and causes the sixth display unit 17C to display the generated image. As a result, as shown in FIG. 4C, the virtual image obtained when the position information (the insertion point and the point of interest) of a certain endoscope is input is displayed on the display screen 17A displayed on the sixth display unit 17C. It becomes. At this time, a live image of the endoscope is displayed on the endoscope monitor 12 of the operator as shown in FIG. 4B.
[0059]
Further, in the present embodiment, in order to promptly and surely provide the information on the subject in the abdominal region to the operator during the operation as needed, the display panel is operated based on the operation instruction from the remote controller 12 of the operator. It is also possible to display the above-described virtual image display screen 17A instead of the device setting information screen 14A displayed on the screen 14.
[0060]
Such a display control operation which is a feature of the present embodiment will be described in detail with reference to FIG.
[0061]
(Action)
Now, it is assumed that an operation on a subject in an abdominal region of a patient is performed using the endoscope system 1 shown in FIG. At this time, assuming that the power of the endoscope system 1 is turned on, first, the operator uses the mouse 15 or the keyboard 16 based on the virtual image display method of the present invention stored in the CPU 25. Launch the program. Then, the CPU 25 of the virtual endoscope image generation unit 11 causes the monitor 17 to display the virtual image display screen 17A shown in FIG.
[0062]
Then, while viewing the virtual image display screen 17 </ b> A displayed on the monitor 17, the operator determines the position of the endoscope 2 in the abdominal region of the patient (X direction, Y direction, A numerical value (insertion point) in the Z direction is input to the third display unit 17F using the mouse 15 or the keyboard 16, and then the fourth display unit 17G is selected, and the endoscope 2 is similarly moved to the abdomen. A numerical value in the axial direction (point of interest) of the endoscope 2 when inserted into the region is input.
[0063]
As a result, a virtual endoscope image corresponding to the insertion point and the point of interest of the endoscope is created by the virtual endoscope image generating unit 11, and is displayed on the monitor 17, for example, as shown in FIG. A virtual image display screen 17A displaying 17C is displayed.
[0064]
At this time, a live image of the endoscope is displayed on the endoscope monitor 13 in the clean area where the operation is being performed, for example, as shown in FIG. The surgeon performs the operation while watching the image.
[0065]
After that, it is assumed that during the operation, there is a request for the operator to confirm the subject information of the patient or to see more detailed subject information.
[0066]
In this case, the surgeon selects a desired mode using the remote controller 12 shown in FIG. 2, and further details the state of the organs and blood vessels having the abnormal part in the abdominal region during the operation in three dimensions. When the user wants to view the information, the user first presses a display button (see FIG. 2) of the second operation unit 12B of the remote controller 12, for example. Then, the CPU 20 of the system controller 10 controls the switching of the switcher 22 to display a virtual image display screen 14A1 shown in FIG. 5A instead of the device setting information screen 14A displayed on the display panel 14. .
[0067]
Then, the surgeon presses an enlargement button 32d for enlarging the display magnification in the fourth operation unit 12D of the remote controller 12, and the virtual endoscope image displayed on the sixth display unit 17C of the virtual image display screen 14A. The display magnification of is enlarged.
[0068]
Then, based on the operation signal from the remote controller 12, the CPU 20 of the system controller 10 enlarges the display magnification of the virtual endoscope image by signal processing, and displays the enlarged virtual endoscope image 17c on the sixth display unit. 17 is displayed. That is, the virtual image display screen 14A1 displaying the virtual endoscope image whose display magnification has been adjusted and enlarged is displayed on the display panel 14 as shown in FIG. 5C, for example.
[0069]
At this time, a live image of the endoscope is displayed on the endoscope monitor 13 by the display control of the CPU 20 of the system controller 10, for example, as shown in FIG.
[0070]
Further, for example, while the surgeon is viewing the 3D-displayed virtual image display screen 14A1 as shown in FIG. 5C (or executing the 2D display mode), the operator looks at the 2D display and examines the subject. You want to check the state of.
[0071]
In this case, the surgeon appropriately presses the operation buttons (axial button 31a, coronal button 31b, sagittal button 31c) of the various 2D display modes provided on the second operation section 12B of the remote controller 12, so that the CPU 20 performs this operation. Based on the operation, for example, as shown in FIG. 5D, the virtual image display screen 14A displaying the 2D display image 17N is displayed on the display panel 14.
[0072]
Therefore, the surgeon can quickly and reliably obtain necessary information with a simple operation while performing an operation.
[0073]
Note that, in the present embodiment, a description has been given of a case where the operator performing the operation performs the switching operation of various modes such as the display mode. However, the operator may, of course, perform the switching operation as needed.
[0074]
Further, in the present embodiment, an endoscope live image is displayed on the ninth display section 14E in the device setting information screen 14A displayed on the display panel 14 on the operator side. , It is also possible to control to display a virtual endoscope image instead of the endoscope live image.
[0075]
(effect)
Therefore, according to the present embodiment, the virtual image display screen 17A can be switched and displayed from the device setting information screen 14A on the display panel 14 on the operator side by the switching control by the switcher 22 of the system controller 10. Therefore, it is possible to realize a virtual image display device that has a simple configuration and is low-cost and that provides information on a subject in an abdominal region to an operator during an operation quickly and reliably as needed. This greatly contributes to improving the safety of the operation and shortening the operation time.
[0076]
Second embodiment:
6 and 7 show a second embodiment of the virtual image display device of the present invention. FIG. 6 is a block diagram showing the overall configuration of an endoscope system provided with the device. FIG. 7 is a system of FIG. 5 is a flowchart illustrating voice recognition switching control by a CPU in a controller. In FIG. 6, the same components as those in the first embodiment are denoted by the same reference numerals, and the description thereof will be omitted. Only different portions will be described.
[0077]
In the present embodiment, the remote controller operation by the operator during the operation is eliminated, and various operation modes can be selected and executed by voice, so that the burden on the operator is reduced and the virtual image display is performed efficiently. It is a characteristic that
[0078]
Specifically, as shown in FIG. 6, in the virtual image display apparatus 1A of the present embodiment, the remote controller 12 of the first embodiment is deleted, and a microphone 35 for newly capturing the voice of the operator is provided. A microphone I / F 36 for receiving an audio signal from the microphone and taking it into the system controller 10, taking in the audio signal received by the microphone I / F 36, performing a voice recognition determination process on the audio signal, and The voice recognition means 37 for outputting a recognition determination result to the CU 20 is provided.
[0079]
For example, when the surgeon enters the “3D display mode” toward the microphone 35 during the operation, the voice recognition unit 37 captures the voice signal via the microphone 35 and the microphone I / F 37, and performs voice recognition based on the voice signal. I do. As a result, the voice recognition unit 38 recognizes that the voice is an execution command (also referred to as a switching operation command) such as “3D display mode”, and outputs the result to the CPU 20.
[0080]
The CPU 20 controls display switching of the display panel 14 based on the recognition result, that is, the execution command. In this case, the CPU 20 recognizes that the recognition result is the same as the command for executing the 3D display mode by the fourth operation unit 12D of the remote controller 12 used in the first embodiment, and displays the virtual result on the display panel 14. The image display screen 14A1 (see FIG. 5B) is displayed.
[0081]
Other configurations are substantially the same as those of the first embodiment.
[0082]
(Action)
Next, the operation of the present embodiment will be described in detail with reference to FIG.
[0083]
In the endoscope system of the present embodiment, the display control of the device setting information screen 14A and the virtual image display screens 17A and 14A1 on the display panel 14 and the monitor 17 is substantially the same as that of the first embodiment. The input method of the instruction operation by the operator is different.
[0084]
That is, assuming that the power of the endoscope system 1 is turned on, first, the CPU 20 of the system controller 10 starts a voice recognition processing routine shown in FIG. , Through the microphone I / F 36 and the voice recognition means 37, the presence or absence of voice input by the operator is determined. If it is determined that voice input has been performed, the process proceeds to step S2, and if it is determined that there is no voice input. Returns to the determination processing of step S1, and continues the determination processing until there is a voice input.
[0085]
Then, in the process of step S2, the CPU 20 performs voice recognition using the voice recognition means 37 on the voice signal captured via the microphone I / F 36, and shifts the process to the determination process of step S3.
[0086]
Thereafter, the CPU 20 determines whether or not this voice is a switching operation command from the voice recognition result obtained by the voice recognition means 37 obtained in step S2 in the determination processing of step S3, and determines that the voice is not a switching command. If it is determined, the process returns to step S1, and if it is determined that the command is a switching command, the process proceeds to step S4.
[0087]
In the process of step S4, the CPU 20 controls display switching of the display panel 14 based on the switching command.
[0088]
For example, when the voice uttered by the operator is an execution command (switch operation command) such as “3D display mode”, the voice recognition unit 37 outputs the voice recognition result to the CPU 20, and the CPU 20 receives the voice recognition result. The recognition result, that is, the same as the command of the 3D display mode execution by the fourth operation unit 12D of the remote controller 12 used in the first embodiment, is recognized, and the virtual image display screen 14A1 is displayed on the display panel 14. (See FIG. 5B) is displayed.
[0089]
Other operations are the same as those in the first embodiment.
[0090]
(effect)
Therefore, according to the present embodiment, the operator can give an operation instruction by voice without using the remote controller 12, and can control the display switching of the display panel 14 based on the operation instruction by the voice. The burden on the operator can be reduced more than in the first embodiment, and information on the subject can be promptly and reliably provided. In addition, since only the microphone 35, the microphone I / F 36, and the voice recognition means 37 need to be added, an endoscope system that does not require remote control operation at low cost can be constructed.
[0091]
In this embodiment, the remote controller 12 may be used in combination with the remote controller 12 in the first embodiment. As a result, the operator's operation instruction method can be expanded, so that a more convenient endoscope system can be constructed.
[0092]
Third embodiment:
FIGS. 8 and 9 show a third embodiment of the virtual image display device of the present invention. FIG. 8 is a block diagram showing the entire configuration of an endoscope system provided with the device. 9A is a screen display diagram showing a virtual image display screen for an operator displayed on a display panel, and FIG. 9B is displayed on a monitor. FIG. 7 is a screen display diagram showing a virtual image display screen for an operator. 8 and 9, the same components as those in the first embodiment are denoted by the same reference numerals, and description thereof will be omitted. Only different portions will be described.
[0093]
In the present embodiment, the virtual image display screen displayed on the display panel 14 for the operator is configured to display only the image information necessary for the operator at least, which is different from the first embodiment. It is different.
[0094]
As a specific configuration, as shown in FIG. 8, in the virtual image display device 1B of the present embodiment, the display I / F 27 and the distribution I / F 27 of the first embodiment are provided in the virtual endoscope image generation unit 11A. A multi-display I / F 40 is provided in place of the unit 28 (see FIG. 1).
[0095]
The multi-display I / F 40 is electrically connected to the switcher 22 of the system controller 10 and, under the control of the CPU 25, simply generates and displays a virtual endoscope image on a virtual image display screen 17A (FIG. 4C). Not only the image data of the virtual image display screen 17 but also the image data of only the virtual endoscope image or the 2D display image on the virtual image display screen 17 or the image data of the virtual image display screen 17 in the desired display form. It is possible to send.
[0096]
Other configurations are the same as those in the first embodiment.
[0097]
(Action)
Next, the operation of the present embodiment will be described in detail with reference to FIG.
[0098]
The virtual image display device 1B according to the present embodiment operates in substantially the same manner as the virtual image display device 1 according to the first embodiment. For example, the 3D display execution mode is executed by an operator's remote control operation during surgery. In this case, the CPU 25 of the virtual endoscope image generation unit 11A controls the display of the virtual image display screen 17A on the monitor 17 in the same manner as in the first embodiment, and simultaneously performs the operation using the multi-display I / F 40. Only the minimum necessary information for the user, for example, the virtual endoscope image and the 2D display image are extracted and transmitted to the switcher 22 of the system controller 10. In response to this, the CPU 20 of the system controller 10 controls to display the transmitted image data on the display panel 14. Thereby, as shown in FIG. 9A, the display panel 14 on the surgeon side includes the main display section 52 on which the virtual endoscope image is displayed, and a plurality of 2D display images 51a to 51c at the left end of the screen. The virtual image display screen 50 composed of the two display units including the belly display unit 41 displaying the 2D display image is displayed.
[0099]
That is, the display panel 14 displays only the minimum image information necessary for the operator during the operation.
[0100]
Other operations are the same as those of the first embodiment.
[0101]
(effect)
Therefore, according to the present embodiment, in addition to obtaining the same effects as those of the first embodiment, the operator can easily see the virtual image display screen, so that it is easy to use and the safety of surgery is improved. Greatly contributes to shortening of operation time.
In the first to third embodiments according to the present invention, display control is performed on the display panel 14 on the operator side so as to switch to the displayed device setting information screen and display the virtual image display screen. Was explained. The present invention is not limited to this. For example, display control may be performed on the endoscope monitor 13 so as to appropriately switch between an endoscope live image and a virtual image display screen.
[0102]
Further, the present invention is not limited to the above-described first to third embodiments, and various changes and modifications can be made without departing from the spirit of the present invention.
[0103]
【The invention's effect】
As described above, according to the present invention, it is possible to provide a virtual image display which can provide information on a subject in an abdominal region to a surgeon during operation quickly and reliably as necessary, with a simple configuration and at low cost. An apparatus and a virtual image display method can be provided.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a first embodiment of a virtual image display device of the present invention, and showing an overall configuration of an endoscope system including the device.
FIG. 2 is a configuration diagram showing a configuration of a remote controller for an operator in FIG. 1;
FIG. 3 is a screen display diagram showing an example of a display screen of the display panel of FIG.
FIG. 4 is a screen display diagram for explaining a display control operation which is a feature of the present embodiment and showing an example of a virtual image display screen on a monitor.
FIG. 5 is a screen display diagram illustrating an example of a virtual image display screen displayed on a display panel for an operator, illustrating a display control operation that is a feature of the present embodiment.
FIG. 6 is a block diagram showing a second embodiment of the virtual image display device of the present invention, and showing the entire configuration of an endoscope system including the device.
FIG. 7 is a flowchart showing voice recognition switching control by a CPU in the system controller of FIG. 6;
FIG. 8 is a block diagram showing a third embodiment of the virtual image display device according to the present invention, and showing an overall configuration of an endoscope system including the device.
FIG. 9 is a screen display diagram illustrating an example of a virtual image display screen displayed on a display panel and a monitor for explaining display control which is a feature of the present embodiment.
[Explanation of symbols]
1. Virtual image display device,
2. Endoscope,
3. Camera head,
4: TV camera,
5 ... light source,
6 ... insufflator
7 ... Electric scalpel,
8. Ultrasonic treatment unit
9 ... VTR,
10. System controller,
11 Virtual Endoscopy Image Generation Unit
12 ... Remote control,
13 ... Endoscope monitor,
14 Display panel,
15 ... mouse,
16 ... Keyboard,
17 ... monitor,
18, 26 ... Communication I / F
19, 24 ... memory,
20, 25 ... CPU,
21, 27 ... display I / F,
22 ... Switcher,
23 ... CT image DB part,
28 ... Distributor.

Claims

Observation means capable of observing the subject image;
Virtual image data storage means for storing virtual image data relating to the subject,
First image display means capable of displaying virtual image data based on the virtual image data;
Second image display means capable of displaying virtual image data based on the virtual image data;
Operation information superimposing means for superimposing information on the operation state of the device on virtual image data displayed on the second image display means;
A virtual image display device comprising:

A first image display step of displaying virtual image data on first image display means based on the virtual image data stored in virtual image data storage means for storing virtual image data relating to the subject;
A second image display step of displaying virtual image data on a second image display means based on the virtual image data stored in the virtual image data storage means;
An operation information superimposing step of superimposing information on an operation state of the device on virtual image data displayed on the second image display means by an operation information superimposing means;
A virtual image display method, comprising: