JP2011024823A - 内視鏡装置及び内視鏡装置制御方法 - Google Patents

Abstract

【課題】内視鏡プローブを操作するための操作部が、仮想内視鏡画像を操作する入力デバイスを兼ねる内視鏡装置を提供する。
【解決手段】動作モードを切り替えるモード切替部００３と、内視鏡プローブ００１と、内視鏡プローブ００１の先端部の屈曲及び操作量の出力を行う操作部００２と、医用画像診断装置による画像データを記憶する記憶部００９と、内視鏡プローブ００１の先端部の位置を検出する位置検出部００６と、位置検出手段で検出された先端部の位置を基に、画像データから先端部の位置における所定範囲のボリュームデータを生成するボリュームデータ生成部００７と、操作量を基に屈曲量を算出する屈曲量算出部００５と、屈曲量を基にして先端部の仮想の向きを求め、求めた向きにレンダリングを行い仮想内視鏡画像を生成する仮想内視鏡画像処理部００８と、仮想内視鏡画像を表示部０１１に表示させる表示制御部０１０とを備える。
【選択図】図１

Description

本発明は、体腔内に内視鏡を挿入し体腔内を観察する内視鏡装置及び内視鏡装置制御方法に関する。さらに詳しくは、Ｘ線ＣＴ装置などの画像診断装置で撮像した画像データから生成される仮想内視鏡画像をガイドとして表示する内視鏡装置及び内視鏡装置制御方法に関する。

近年、被検体内を撮像する撮像素子を備えた内視鏡プローブを被検体の体腔内に入れて、その撮像部近くの性状を画像化する手段として、光学内視鏡や超音波内視鏡などの各種の内視鏡装置が開発されている。この様な内視鏡装置は、気管支、食道、大腸などの診断に用いられる。内視鏡装置では、内視鏡プローブに接続された操作部を用いて内視鏡プローブの先端を屈曲させることで内視鏡プローブを操作し所望の方向を撮像する。この内視鏡プローブの操作部は術者の手元に配置されており、術者はその操作部を手にしながら検査を行う。

このように内視鏡プローブの操作部を用いて内視鏡プローブの先端部を屈曲させる場合、その先端部がどのように屈曲するかを把握することが難しい。そのため、内視鏡プローブの操作は熟練した技術を有する術者でないと、穿孔などの操作において大きな危険が伴ったり、手技に多大な時間がかかったりしてしまう。

その一方、画像診断装置（モダリティ）の高性能化、高信頼性化、低コスト化などを目指す研究が行われており、さらに、異なる画像診断装置のそれぞれの特徴を生かすためにそれらを組み合わせて使用し、より効率的でかつ高診断能の医用画像を得る試みや研究もなされている。

この様な画像診断装置との組み合わせの一つとして、内視鏡装置と画像診断装置とを組み合わせた技術（例えば、特許文献１参照）が提案されている。この技術は具体的には、Ｘ線ＣＴ装置、ＭＲＩ装置などの画像診断装置から得られた画像データに対し画像処理することにより三次元画像を構築することで、前記内視鏡装置を用いて観察した際に得られる画像と類似する画像（これは、仮想化された内視鏡の視点による画像であり、以下では「仮想内視鏡画像」と言う。）を生成して表示する内視鏡装置などである。

言い換えると、この様な画像診断装置と組み合わされた内視鏡装置は、三次元画像から、あたかも内視鏡で観察するように被検体の体腔内の仮想内視鏡画像を作成して表示することにより、体腔内を自由に探索しながら観察し、その結果に基づいて画像診断を行う装置といえる。

この様な内視鏡装置では、ワークステーション等のディスプレイに、現在挿入していく内視鏡プローブで実際撮像された画像（以下では、単に「内視鏡画像」という。）とともに、仮想化された内視鏡の視点から見た臓器等の表面画像を同期表示し、術者はこの仮想内視鏡画像と内視鏡画像とを比較参照することで、内視鏡の挿入を行うことや、体腔内の観察や或いは画像診断を行うことがある。

このように、仮想内視鏡画像を参照することで、ある程度は内視鏡プローブの操作における危険を軽減したり、手技に係る時間を短縮したりすることができる。

また、この仮想内視鏡画像を用いて、内視鏡を用いた手技のトレーニングのために内視鏡シミュレーションを行うことができる技術（例えば、特許文献２参照。）なども提供されている。

特開２０００−１４８９８３号公報 特開２００３−２１０３８６号公報

しかし、特許文献１は仮想内視鏡画像を生成し表示するための装置であり、所望の位置や向きの仮想内視鏡画像を取得するには実際の内視鏡装置の内視鏡プローブの操作部とは異なる操作部を用いる必要がある。仮想内視鏡画像で体腔内における現在の内視鏡プローブの位置の周辺の様子を観察したい場合や、あらかじめ内視鏡画像の進行方向の様子を確認したい場合には、仮想内視鏡を操作するための入力デバイスを用いて、所望の方向へと仮想内視鏡画像を操作する必要がある。すなわち、実際の内視鏡プローブの操作とは別に仮想内視鏡画像の生成及び表示をするための入力が必要である。

しかし、術者は内視鏡観察においては内視鏡プローブを操作するために操作部を手にしているため両手がふさがっている。そのため、内視鏡プローブの操作部を手にした状態で、同時に他の入力デバイスを使用して仮想内視鏡プローブを操作することは困難である。また、内視鏡プローブの操作は熟練した技術が必要であり、術者の熟練度合いによっては穿孔などの危険や、検査に多大な時間がかかり患者の負担が増大するといった問題が発生する。

また、特許文献２に記載されている内視鏡シミュレーションシステムは、内視鏡の挿入部の操作部で仮想内視鏡画像を操作する構成であるが、あくまでもシミュレーションシステムとしてのものであり、実際の内視鏡との同期が考えられていないため、この技術によって実際の内視鏡操作における危険の回避や時間の短縮は困難である。

この発明は、このような事情に鑑みてなされたもので、内視鏡プローブを操作するための操作部が、仮想内視鏡画像を操作する入力デバイスを兼ねる内視鏡装置及び内視鏡装置制御方法を提供することを目的としている。

上記目的を達成するために、請求項１に記載の内視鏡装置は、実内視鏡モードと仮想内視鏡モードとを択一的に切り替える切替手段と、先端部に撮像素子を内蔵し、前記先端部が屈曲し、被検体の体腔内に挿入されて前記先端部の向きの前記体腔の内壁を撮像する内視鏡プローブと、前記内視鏡プローブに接続され、前記実内視鏡モードにおける前記内視鏡プローブの先端部の屈曲、及び前記仮想内視鏡モードにおける仮想の屈曲をさせるための操作量の出力を行う操作手段と、医用画像診断装置が取得した画像データを記憶する記憶手段と、前記内視鏡プローブの先端部の位置を検出する位置検出手段と、前記実内視鏡モードにおいて、前記撮像素子からの信号を受信する映像受信手段と、前記仮想内視鏡モードにおいて、前記位置検出手段で検出された前記内視鏡プローブの先端部の位置を基に、前記記憶部の前記画像データから前記先端部の位置における所定範囲のボリュームデータを生成するボリュームデータ生成手段と、前記仮想内視鏡モードにおいて、前記操作手段の操作量を基に前記先端部の仮想の屈曲量を算出する屈曲量算出手段と、前記仮想内視鏡モードにおいて、前記仮想の屈曲量を基にして前記先端部の仮想の向きを求め、前記ボリュームデータに対して求めた前記先端部の仮想の向きにレンダリングを行い仮想内視鏡画像を生成する仮想内視鏡画像処理手段と、前記実内視鏡モードにおける前記映像受信手段から出力された前記現在の内視鏡画像又は前記仮想内視鏡モードにおける前記仮想内視鏡画像処理手段で取得された前記仮想内視鏡画像を選択的に表示手段に表示させる表示制御手段と、を備えることを特徴とするものである。

請求項６に記載の内視鏡装置制御方法は、実内視鏡モードと仮想内視鏡モードとを択一的に切り替える切替段階と、医用画像診断装置が取得した画像データを記憶する記憶段階と、前記実内視鏡モードにおいて、操作部を用いて、被検体の体腔内に挿入された先端部に撮像素子を内蔵する内視鏡プローブの前記先端部を屈曲させる内視鏡プローブ屈曲段階と、前記撮像素子からの信号を受信する映像受信段階と、前記受信した信号に基づく内視鏡画像を表示部に表示させる内視鏡画像表示段階と、前記仮想内視鏡モードにおいて、前記内視鏡プローブの先端の位置を検出する位置検出段階と、前記検出された前記内視鏡プローブの先端部の位置を基に、前記画像データから前記先端部の位置における所定範囲のボリュームデータを生成するボリュームデータ生成段階と、前記操作部の操作量を入力する操作量入力段階と、前記操作量を基に前記先端部の仮想の屈曲量を算出する屈曲量算出段階と、前記仮想の屈曲量を基にして前記先端部の仮想の向きを求め、前記ボリュームデータに対して前記求めた前記先端部の仮想の向きにレンダリングを行い仮想内視鏡画像を生成する仮想内視鏡画像処理段階と、前記仮想内視鏡画像を表示手段に表示させる仮想内視鏡画像表示段階と、を備えることを特徴とするものである。

請求項１に記載の内視鏡装置及び請求項６に記載の内視鏡装置制御方法は、仮想内視鏡モードにモードを切り替えることによって、内視鏡プローブの先端部を屈曲させる操作手段からの操作量の入力に基づいて、先端部の仮想の屈曲量を算出し、その屈曲量に基づいて仮想内視鏡プローブの先端部の向きの仮想内視鏡画像を生成する構成である。これにより、内視鏡プローブの操作部を手にした状態での、仮想内視鏡プローブの操作が容易となる。

また、先端部に距離センサを設け、先端部の仮想の屈曲の操作によって先端部の仮想の位置が体腔の内壁に接触するか否かを判断し、接触する場合には警告を報知する構成にすることで、実際に内視鏡プローブを屈曲させなくとも、その操作が危険か否かの判断ができ、内視鏡プローブの操作による危険を軽減することが可能となる。さらに、内視鏡プローブと内壁との距離が所定値以下になると操作部を固定する構成にすることで、実際に内視鏡プローブを操作する場合の危険をより軽減することが可能となる。

本発明に係る内視鏡装置のブロック図 内視鏡プローブ及び操作部の概要を表す模式図 第１の実施形態に係る内視鏡装置による実内視鏡画像の生成／表示及び仮想内視鏡画像の生成／表示の動作のフローチャート （Ａ）第１の実施形態に係る内視鏡装置の仮想内視鏡モードにおける画像の表示の一例を説明するための図、（Ｂ）（Ａ）の画像に対応した実内視鏡プローブ及び仮想内視鏡プローブの先端部の屈曲を行った状態のイメージ図 （Ａ）実内視鏡モードおいて仮想内視鏡プローブの先端部が実際の内視鏡プローブの先端部と共に屈曲する構成をとった場合の画像の表示の一例を説明するための図、（Ｂ）（Ａ）の画像に対応した実内視鏡プローブ及び仮想内視鏡プローブの先端部の屈曲の状態のイメージ図 （Ａ）内視鏡プローブの先端を屈曲させた状態を説明するためのイメージ図、（Ｂ）（Ａ）の状態での内視鏡プローブの先端部を屈曲させる場合の危険な領域及び安全な領域を説明するための図

〔第１の実施形態〕
以下、この発明の第１の実施形態に係る内視鏡装置について説明する。図１は本発明に係る内視鏡装置の機能を表すブロック図である。ただし、一点鎖線及び二点鎖線で表わされる部分は第１の実施形態には含まれず、第２の実施形態又は第３の実施形態で説明する。また、図２は内視鏡プローブ及び操作部の概要を表す模式図である。

本実施形態に係る内視鏡装置は、実内視鏡モードと仮想内視鏡モードという２つの動作モードを有している。実内視鏡モードとは実際の内視鏡プローブ００１を使用して、被検体の体腔内の現在の状態を撮像し表示するモードである。また、仮想内視鏡モードとは、他の画像診断装置（例えば、Ｘ線ＣＴ装置やＭＲＴ装置など。）で生成された画像データを基に、被検体の体腔内の画像を仮想的に生成して表示するモードである。

内視鏡プローブ００１は、図２に示すような形状をしている。内視鏡プローブ００１は、大まかには、図２に示すように医師や検査技師などの操作者（以下では、単に「操作者」という。）が被検体の外において手で保持する部分の保持部１０１及び被検体の体腔内に挿入される細長いケーブル状の挿入部１０２で構成されている。そして、挿入部１０２の先端部１０３は撮像素子が配置されており、この先端部１０３は固く形成されている。また、挿入部１０２の先端部１０３以外の部分は柔らかく構成されており自由に屈曲を行うことができる。そして、先端部１０３の根本の部分は所定の方向（例えば後述する操作部００２の回転方向）に屈曲するように構成されている。この根本の部分が屈曲することで先端部１０３の端面が所定の方向に向く。この根本の部分の屈曲を以下では「先端部１０３の屈曲」という。また、先端部１０３の端面が向く方向を、「先端部１０３の向き」という。また、保持部１０１には図２に示すような操作部００２が配置されている。内視鏡プローブ００１は、撮像素子で得られた映像を映像受信部００４へ出力する。

操作部００２は、図２に示すような回転部２０１を有し、その回転部２０１は保持部１０１の外側部分に矢印Ｐの方向に回転可能に固定されている。さらに操作部００２に接続されたワイヤーが先端部１０３に接続されている。そして、操作者が回転部２０１を矢印方向に回転することで、その操作量（回転量）に対応する角度で先端部１０３が所定の方向に屈曲する。すなわち、回転部２０１の操作量（操作部００２の操作量）が多いほど先端部１０３の屈曲の角度は大きくなり、操作部の操作量が小さいほど先端部１０３の屈曲の角度が小さくなる。また、回転部２０１を矢印Ｐの図に対して右方向に回転させた場合と、矢印Ｐの図に対して左の方向に回転させた場合とでは、先端部１０３は逆方向に屈曲する。

さらに、操作部００２には、ボタン２０２が付属されている。このボタン２０２はモード切替部００３を構成する部材である。また、本実施形態に係る操作部００２は、図２に表わされている操作者が回転させる回転部２０１は、ワイヤーで先端部１０３を屈曲させる屈曲機構との間に、クラッチ機構を有している。具体的には、回転部２０１と接続されており回転部２０１が回転すると同様に回転を行う円盤があり、実内視鏡モードの場合にはその円盤が屈曲機構を回転させる円盤に押し付けられ噛み合わさることで回転部２０１の回転が屈曲機構に伝わる。また、仮想内視鏡モードの場合には回転部２０１側の円盤と屈曲機構側の円盤とが分離して、回転部２０１の回転が屈曲機構に伝わらないように構成されている。

操作部００２は仮想内視鏡モードにおいて、回転部２０１が操作者によって回転させられた操作量を屈曲量算出部００５へ出力する。本実施形態では、この操作量として回転部２０１の回転角度を用いる。ただし、この操作量は他の値を用いてもよく、例えば、前述した回転部２０１に接続されている円盤の円周状の点が移動した距離などを用いてもよい。この操作部００２が本発明における「操作手段」にあたる。

モード切替部００３は、図２に示すように操作部００２に配置されたボタン状の機構（以下では、ボタン２０２という。）を有する。操作者がボタン２０２を押下することで、動作モードの切り替えが行われる。モード切替部００３と操作部００２との機械的な機構を具体的に説明する。仮想内視鏡モード時に、ボタン２０２を操作者が押下すると、前述した操作部００２の回転部２０１に接続されている円盤が屈曲機構側の円盤に押し付けられ、実内視鏡モードに変更される。また、実内視鏡モード時に、ボタン２０２を操作者が押下すると、前述した操作部００２の回転部２０１に接続されている円盤が屈曲機構側の円盤から分離し、仮想内視鏡モードに変更される。この円盤の移動は、ボタン２０２を押下する力を受けてバネなどを用いて円盤の位置を移動させる構成でもよいし、ボタン２０２の押下による動作モードの切り替え命令の入力を受けて、円盤の位置を移動させる構成でもよい。本実施形態では、バネを用いて円盤を移動させる構成を採っている。

また、モード切替部００３は、操作者からのボタン２０２の押下によるモード切り替え命令の入力を受けて、図１に示される点線０２０内に含まれる各機能部の動作モードを切り替える。

ここで、本実施形態では操作部００２にモード切替部００３の動作モード切替の入力を行う機構を配置したが、この機構は操作部００２とは別に配置されてもよい。このモード切替部００３が本発明における「切替手段」にあたる。

映像受信部００４は、実内視鏡モードにおいて、内視鏡プローブ００１に配置された撮像素子で得られた映像を受信する。そして、映像受信部００４は、受信した映像を表示制御部０１０へ出力する。また、仮想内視鏡モードにおいては、映像受信部００４は動作を停止する。この映像受信部００４が本発明における「映像受信手段」にあたる。

屈曲量算出部００５は、実内視鏡モードにおいては動作を停止する。

次に、屈曲量算出部００５の仮想内視鏡モードにおける動作を説明する。屈曲量算出部００５はメモリなどの記憶領域を有しており、自己の記憶領域に予め操作部００２から入力された操作量に対応する仮想内視鏡プローブの先端部の屈曲量を算出する式を記憶している。

ここで、仮想内視鏡プローブの原理を簡単に説明する。仮想内視鏡プローブとはＣＴ装置やＭＲＩ装置によって得られた画像を、画像が得られた状態での空間座標と対応させて記憶しておき、仮想内視鏡プローブの体腔内の座標位置及び方向を算出し、その座標位置における体腔内画像を記憶部から取り出して表示すに供するものである。すなわち、仮想内視鏡プローブによる画像とはあくまでも現在の実際の内視鏡プローブ００１の先端部１０３の位置から仮想の屈曲を行わせた状態での仮想の画像を提供するものである。

ここで、仮想内視鏡プローブは仮想の部材であり、実際の屈曲は行われず、あくまでも仮想内視鏡プローブで観察する位置と方向によって画像が生成され、あたかもその方向に仮想内視鏡プローブの先端が屈曲してその方向を撮像しているかの様に画像が表示されるものであるが、ここでの説明では、観察する位置と方向によって画像が生成されることによるその仮想的な仮想内視鏡プローブの先端部の屈曲のことを「仮想内視鏡プローブの先端部の屈曲」という。そして、仮想内視鏡プローブの先端部の屈曲が本発明における「先端部の仮想の屈曲」にあたる。また、この仮想内視鏡プローブの先端部が屈曲により向く方向が本発明における「先端部の仮想の向き」にあたる。

また、屈曲量とは仮想内視鏡プローブの先端部をどの程度屈曲させるかの量である。本実施形態では、この屈曲量として仮想内視鏡プローブの先端部がまっすぐな状態（屈曲していない状態）からの角度を用いる。入力された操作量に対してこの式を用いて算出される仮想内視鏡プローブの先端部の屈曲量は、実内視鏡モードにおいて入力された操作量と同じ操作量で操作部００２を回転させた時に内視鏡プローブ００１の先端部１０３が屈曲する屈曲量と同じ値となる。この式は、実際の操作部００２の回転と先端部１０３の屈曲量との統計的な値を基に算出してもよいし、前述した回転部に接続された円盤と屈曲機構側の円盤とのギア比等を用いて算出してもよい。

屈曲量算出部００５は、操作部００２より操作量（本実施形態では回転角度）の入力を受ける。屈曲量算出部００５は、入力された操作量に対して自己が記憶している式を用いて仮想内視鏡プローブの先端部の屈曲量を算出する。屈曲量算出部００５は、算出した屈曲量を仮想内視鏡画像処理部００８へ出力する。この屈曲量算出部００５が本発明における「屈曲量算出手段」にあたる。

位置検出部００６は、実内視鏡モードにおいては動作を停止する。

次に、位置検出部００６の仮想内視鏡モードにおける動作を説明する。位置検出部００６は、内視鏡装置で検査を行うときの被検体が配置されている空間の座標を有している。位置検出部００６は、内視鏡プローブ００１の先端部１０３が被検体のどの位置に位置しているかを検出する。本実施形態では先端部１０３に磁気を発生する磁気発生機構（本実施形態では磁石を用いる。）が設けられている。そして、この磁気発生機構は先端部１０３の屈曲する方向の相対する位置の２か所に設けられている。そして、位置検出部００６は磁気センサを有しており、被検体のどの位置に先端部１０３が位置しているかを把握することができ、さらに２つの磁気発生機構の位置関係から先端部１０３が現在どの方向に屈曲するか、及び現在先端部１０３の屈曲量を把握できる。そして、位置検出部００６は、被検体が配置されている空間の座標を有しているので、被検体が現在配置されている空間における先端部１０３の位置を求めることができる。さらに、記憶部００９に記憶されている外部の画像診断装置による画像データ生成時の被検体が配置された空間の座標と、本実施形態に係る内視鏡装置で検査を行うときの被検体が配置された空間の座標とが一致するように被検体が配置されている。そのため、位置検出部００６は、求めた被検体が配置された空間における先端部１０３の位置に対応する画像データにおける位置を特定することができる。また、位置検出部００６は、取得した屈曲方向から被検体が配置された空間の座標における屈曲方向を特定することができる。

ここで、本実施形態では、位置検出部００６による位置検出方法として磁気センサを用いているが、この位置検出は現在の先端部１０３の位置が画像データ内のどの位置に当たるかを把握できれば他の方法でもよく、例えば、位置検出部００６が、基準の位置（体腔への入り口など）からの距離を把握し、その距離に基づいて、画像データにおける同じ基準の位置からの距離を移動した場所を、現在の先端部１０３がある位置として特定する方法でもよい。

位置検出部００６は、特定した画像データにおける位置をボリュームデータ生成部００７へ出力する。また、位置検出部００６は、特定した先端部１０３の現在の屈曲方向及び現在の屈曲量を仮想内視鏡画像処理部００８へ出力する。この位置検出部００６が本発明における「位置検出手段」にあたる。

ボリュームデータ生成部００７は、実内視鏡モードにおいては動作を停止する。

次に、ボリュームデータ生成部００７の仮想内視鏡モードにおける動作を説明する。ボリュームデータ生成部００７は、メモリなどの記憶領域を有しており、あらかじめボリュームデータを生成する範囲を記憶している。この範囲が本発明における「所定範囲」にあたる。本実施形態では、ボリュームデータ生成部００７は、基準となる点を中心として一辺が１０ｃｍの立方体をボリュームデータを生成する範囲として記憶している。ボリュームデータ生成部００７は、位置検出部００６から画像データにおける位置の入力を受ける。ボリュームデータ生成部００７は、入力された位置の画像データ上の点を基準となる点として、記憶部００９に記憶されている画像データに対し、入力された位置の画像データ上の点を中心とする一辺が１０ｃｍの範囲の画像データを再構成してボリュームデータを生成する。

ボリュームデータ生成部００７は、記憶部００９に生成したボリュームデータを記憶させておく。このボリュームデータ生成部００７が本発明における「ボリュームデータ生成手段」にあたる。

仮想内視鏡画像処理部００８は、屈曲量算出部００５から屈曲量の入力を受ける。さらに、仮想内視鏡画像処理部００８は、位置検出部００６から先端部１０３の現在の屈曲方向及び現在の屈曲量の入力を受ける。

そして、仮想内視鏡画像処理部００８は、先端部１０３の現在の位置及び現在の屈曲量から、先端部１０３の現在の屈曲方向に入力された屈曲量で先端部１０３を屈曲させた時の先端部１０３の方向を算出し、仮想内視鏡プローブの先端部の向きを求める。具体的には仮想内視鏡画像処理部００８は、先端部１０３の現在の屈曲量から入力された屈曲量を屈曲方向に合わせて加算又は減算し仮想内視鏡プローブの屈曲量を算出し、その算出した屈曲量を基に先端部１０３の現在の位置から入力された屈曲量で屈曲した場合の仮想内視鏡プローブの先端部の位置及びその先端部の方向へのベクトルを取得する。そして、仮想内視鏡画像処理部００８は、記憶部００９に記憶されているボリュームデータに対して、求めた仮想内視鏡プローブの先端部の位置からその先端部の方向へレンダリングを行っていき、求めた仮想内視鏡プローブの先端部の位置からその先端部の方向を撮像したときの仮想内視鏡画像を生成する。

仮想内視鏡画像処理部００８は、生成した仮想内視鏡画像を表示制御部０１０へ出力する。この仮想内視鏡画像処理部００８が本発明における「仮想内視鏡画像処理手段」にあたる。

ここで、本実施形態では、仮想内視鏡画像処理部００８は、位置検出部００６が検出した屈曲方向を用いて仮想内視鏡プローブの先端部の向きを求めているが、この屈曲方向は他の方法を用いて求めてもよい。例えば、仮想内視鏡画像処理部００８は、まず現在の先端部１０３の位置における仮想内視鏡画像を生成し、その生成した仮想内視鏡画像と現在の内視鏡プローブ００１の撮像素子が取得した映像とを比較し、仮想内視鏡画像を回転させるなどしてマッチング処理（分岐の位置や特徴点の位置を合わせることで画像の方向を一致させるといった画像を一致させる技術）を行い、画像の方向を一致させ、仮想内視鏡プローブと内視鏡プローブ００１との方向（例えば上下など）を一致させる。そして、内視鏡プローブ００１の先端部１０３は撮像している画像に対してどちらの方向（例えば、画像の上下方向など）に向かって屈曲するかは決まっているので、仮想内視鏡プローブの先端部も同様の方向が屈曲方向となる。この様にして、仮想内視鏡画像処理部００８は、仮想内視鏡プローブの先端部の屈曲方向を求め、その求めた屈曲方向、入力された先端部１０３の位置、及び入力された屈曲量を用いて操作後の仮想内視鏡プローブの先端部の向きを求めることができる。

表示制御部０１０は、映像受信部００４から入力された内視鏡プローブ００１から入力された画像を表示部０１１に表示する。この実際の内視鏡プローブ００１からの画像を、以下では「実内視鏡画像」と言うことがある。さらに、表示制御部０１０は、仮想内視鏡モードの場合には、実内視鏡画像とともに仮想内視鏡画像処理部００８から入力された仮想内視鏡画像を表示部０１１に表示させる。この表示制御部０１０が本発明における「表示制御手段」にあたり、表示部０１１が本発明における「表示手段」にあたる。

次に、図３を参照して、本実施形態に係る内視鏡装置による実内視鏡画像の生成及び仮想内視鏡画像の生成の動作の流れを説明する。ここで、図３は、本実施形態に係る内視鏡装置による実内視鏡画像の生成／表示及び仮想内視鏡画像の生成／表示の動作のフローチャートである。ここで、図３のフローチャートの前提として、既に被検体の体腔内（例えば、大腸など）に内視鏡プローブ００１の挿入部１０２が挿入されているものとする。また、フローチャート中に記載した点線の左側が仮想内視鏡画像の生成／表示の動作であり、右側が実内視鏡画像の生成／表示の動作を表す。

ステップＳ００１：モード切替部００３は、内視鏡装置の現在操作者により指定されている動作モードが、仮想内視鏡モードか実内視鏡モードかを判定する。具体的には、操作者によるボタン２０２の押下等により動作モードの切り替えが入力されると、モード切替部００３は、現在の動作モードからもう一方の動作モードに切り替える判定をし、動作モードの切り替えがない場合には、現在の動作モードのままと判定し。仮想内視鏡モードと判定した場合（Ｙｅｓ）にはステップＳ００２に進み、実内視鏡モードと判定した場合（Ｎｏ）にはステップＳ００９に進む。さらに、この判定した動作モードに合わせて、モード切替部００３は、各機能部の動作モードを変更する。

ステップＳ００２：操作者は操作部００２を回転させて操作量を屈曲量算出部００５へ入力する。

ステップＳ００３：位置検出部００６は、磁気センサを用いて先端部１０３の現在の位置を検出する。さらに、位置検出部００６は、磁気センサを用いて先端部１０３に配置された２つの磁気発生機構の位置から、内視鏡プローブ００１の先端部１０３の現在の屈曲量、及び屈曲方向を求める。

ステップＳ００４：ボリュームデータ生成部００７は、位置検出部００６が検出した先端部１０３の位置を基に、記憶部００９に記憶されている画像データを用いて再構成を行い、予め決められている所定範囲のボリュームデータ（本実施形態では、先端部１０３の位置を中心とする一辺１０ｃｍの立方体）を生成し、記憶部００９に記憶させる。

ステップＳ００５： 屈曲量算出部００５は、操作部００２より入力された操作量に対して自己が記憶している屈曲量算出の式を用いて、操作量に対応する屈曲量を算出する。

ステップＳ００６：仮想内視鏡画像処理部００８は、屈曲量算出部００５が算出した屈曲量、現在の屈曲量、及び屈曲の方向を基に、先端部１０３の現在の状態から入力された操作量分屈曲した場合の仮想内視鏡プローブの先端部の向きを算出する。

ステップＳ００７：仮想内視鏡画像処理部００８は、記憶部００９に記憶されているボリュームデータを用いて、位置検出部００６で検出された先端部１０３の現在の位置から算出した仮想内視鏡プローブの向きの方向にレンダリングを行い、仮想内視鏡画像を生成する。

ステップＳ００８：表示制御部０１０は、仮想内視鏡画像処理部００８から入力された仮想内視鏡画像を表示部０１１に表示させる。

ステップＳ００９：操作者は操作部００２を回転させて内視鏡プローブ００１の先端部１０３を屈曲させる操作を行う。

ステップＳ０１０：操作部００２は内視鏡プローブ００１の先端部１０３を屈曲させる。

ステップＳ０１１：映像受信部００４は、内視鏡プローブ００１の撮像素子からの映像を受信する。ここで、仮想内視鏡モードの場合には、内視鏡プローブ００１の操作が行われないため、映像受信部００４は、同じ映像の信号を受信することになる。

ステップＳ０１２：表示制御部０１０は、映像受信部００４から入力された実内視鏡画像を表示部０１１に表示させる。ここで、仮想内視鏡モードの場合には、内視鏡プローブ００１の操作が行われないため、同じ実内視鏡画像が表示部０１１に表示されることになる。

ステップＳ０１３：内視鏡装置の統括制御部（不図示）は、検査が終了するか否かを判断する。この判断は、操作者からの検査終了命令などを受けることで行われる。検査終了の場合（Ｙｅｓ）には、内視鏡装置は実内視鏡画像及び仮想内視鏡画像の生成を終了する。検査が終了しない場合（Ｎｏ）には、ステップＳ００１に戻る。

以上の説明では、仮想内視鏡モードの場合、仮想内視鏡画像の生成／表示を行ってから実内視鏡画像の生成／表示を行うように説明したが、これは実際には並行して行われる。また、ステップＳ００５は、ステップＳ００２以降であれば、ステップＳ００４までのどの段階で実施してもよく、さらに、ステップＳ００６は、ステップＳ００３の後であれば、ステップＳ００７までのどの段階で実施してもよい。

さらに、図４（Ａ）及び（Ｂ）を参照して、本実施形態に係る内視鏡装置の仮想内視鏡モードにおける画像の表示の一例を説明する。ここで、図４（Ａ）は本実施形態に係る内視鏡装置の仮想内視鏡モードにおける画像の表示の一例を説明するための図である。また図４（Ｂ）は（Ａ）の画像に対応した実内視鏡プローブ及び仮想内視鏡プローブの先端部の屈曲を行った状態のイメージ図である。図４（Ｂ）はイメージ図であり、表示部０１１に表示される画像ではない。

仮想内視鏡モードに切り替わった直後は、図４（Ａ）で示すように、内視鏡プローブ００１の先端部１０３と仮想内視鏡プローブの先端部とが一致しているため、仮想内視鏡画像４０１及び実内視鏡画像４０２のように同じ方向の画像が表示される。

さらに、仮想内視鏡モードにおいて、操作者が操作部００２を用いて操作量を入力した場合、仮想的に仮想内視鏡プローブの先端部は図４（Ｂ）に示すように、仮想内視鏡プローブの先端部４００のように内視鏡プローブ００１の先端部１０３からずれる。このとき、先端部１０３は屈曲しないので、実内視鏡画像４０４のように仮想内視鏡プローブの先端部の屈曲前の実内視鏡画像４０２と同じ方向の画像が表示される。これに対し、仮想内視鏡プローブの先端部は屈曲するので、仮想内視鏡画像４０３のように、仮想内視鏡プローブの先端部４００の向きの画像、すなわち仮想内視鏡プローブの先端部の屈曲前の仮想内視鏡画像４０１とは異なる画像が表示される。

以上で説明したように、本実施形態に係る内視鏡装置は、仮想内視鏡モードに切り替えた状態で、実際の内視鏡プローブの先端部を屈曲させるための操作部を操作することで、仮想内視鏡プローブの先端を屈曲させることができる構成である。

これにより、操作者は同一の操作部で動作モードを切り替えることで、実際の内視鏡プローブと仮想内視鏡プローブの操作を行うことができ、仮想内視鏡プローブの操作を行う際に他の入力デバイスを操作する必要がなく、実際の内視鏡プローブの操作部を手にした状態での、仮想内視鏡の操作が容易となる。

また、以上の説明では、実内視鏡モードにおいて仮想内視鏡プローブは動かない構成にしているが、これは他の構成でもよく、例えば、実内視鏡モードにおいて、実際の内視鏡プローブ００１と同様に仮想内視鏡プローブも動作し、実際の内視鏡プローブ００１で撮像された実内視鏡画像と同じ方向の仮想内視鏡画像を表示する構成にしてもよい。これは、実際の内視鏡プローブ００１と仮想内視鏡プローブとを同時に動かすための新たな動作モード（例えば同期モードなど）を加えてもよい。この場合、実内視鏡モードにおいて、実際の内視鏡プローブ００１を屈曲させるための操作部００２の操作量が屈曲量算出部００５に入力される構成となる。その後の仮想内視鏡画像を生成する動作は以上で説明した仮想内視鏡モードにおける各機能部の動作と同様である。また、動作モードを仮想内視鏡モードに切り替えることで、実際の内視鏡プローブ００１が向いている方向とは異なる方向に仮想的に向けた仮想内視鏡プローブによる仮想内視鏡画像を生成できる。

このような構成にした場合の内視鏡装置の仮想内視鏡モードにおける画像の表示の一例を図５（Ａ）及び図５（Ｂ）を参照して説明する。ここで、図５（Ａ）は実内視鏡モードおいて仮想内視鏡プローブの先端部が実際の内視鏡プローブ００１の先端部１０３と共に屈曲する構成をとった場合の画像の表示の一例を説明するための図である。図５（Ｂ）は、（Ａ）の画像に対応した実内視鏡プローブ及び仮想内視鏡プローブの先端部の屈曲を行った状態のイメージ図である。図５（Ｂ）はイメージ図であり、表示部０１１に表示される画像ではない。

実内視鏡モードに切り替わった直後には、まず内視鏡プローブ００１の先端部１０３と仮想内視鏡プローブの先端部とを一致させる。そこで、図５に示すように仮想内視鏡画像５０１及び実内視鏡画像５０２のように同じ画像が表示される。

さらに、実内視鏡モードにおいて、操作者が操作部００２を用いて操作量を入力した場合、仮想的に仮想内視鏡プローブの先端部は内視鏡プローブ００１の先端部１０３と一緒に屈曲する。このとき、先端部１０３は屈曲する、実内視鏡画像５０４のように屈曲した後の方向で撮像された画像、すなわち屈曲前の実内視鏡画像５０２と異なる画像が表示される。同様に、仮想内視鏡プローブの先端部も屈曲するので、仮想内視鏡画像５０３のように、屈曲した後の画像、すなわち仮想内視鏡プローブの先端部の屈曲前の仮想内視鏡画像５０１とは異なる画像が表示される。そして、屈曲後の仮想内視鏡プローブの先端部と屈曲後の内視鏡プローブ００１の先端部１０３の方向は一致するため、仮想内視鏡画像５０３と実内視鏡画像５０４は同じ方向の画像となる。

また、本実施形態では、仮想内視鏡モードにおいて、表示部０１１に実際の内視鏡プローブ００１で撮像された実内視鏡画像も表示させているが、これを表示せずに仮想内視鏡画像だけを表示する構成にしてもよい。

〔第２の実施形態〕
以下、この発明の第２の実施形態に係る内視鏡装置について説明する。本実施形態に係る内視鏡装置は第１の実施形態に仮想内視鏡プローブの先端部の屈曲に基づく警告の報知をする構成を加えたものである。そこで、以下の説明では、この警告の報知を行う構成について主に説明する。本実施形態に係る内視鏡装置のブロック図も図１で表わされる。以下の説明では、第１の実施形態と同一の符号を付された機能部は特に説明のない限り同じ機能を有するものとする。

本実施形態に係る内視鏡装置は、第１の実施形態に係る内視鏡装置に図１の一点鎖線で表わされる、距離センサ０３１、仮想距離判定部０３２、及び報知部０３３を加えた構成である。

距離センサ０３１は、内視鏡プローブ００１の先端部１０３のそれぞれの屈曲方向に１つずつ配置されている。距離センサ０３１は、赤外線などを用いて内視鏡プローブ００１の先端部１０３のから各方向の体腔の内壁までの距離を計測する。さらに、距離センサ０３１には、どちらの屈曲方向かを示す情報が与えられている。

距離センサ０３１は、計測した体腔の内壁への距離をどちらの屈曲方向かを示す情報と共に仮想距離判定部０３２に出力する。

仮想内視鏡モードでの仮想距離判定部０３２の動作を説明する。仮想距離判定部０３２は、屈曲量算出部００５から屈曲量の入力を受ける。さらに、仮想距離判定部０３２は、位置検出部００６から現在の内視鏡プローブ００１の位置、現在の屈曲量、及び屈曲方向の入力を受ける。

仮想距離判定部０３２は、屈曲量算出部００５から入力された屈曲量、内視鏡プローブ００１の現在の位置、現在の屈曲量、及び屈曲方向を基に、現在の内視鏡プローブ００１の状態から先端部１０３を屈曲量算出部００５から入力された屈曲量分屈曲させた時の仮想内視鏡プローブの先端部の位置を算出する。さらに、仮想距離判定部０３２は、内視鏡プローブ００１の先端部１０３の現在の位置から算出した仮想内視鏡プローブの先端部の位置までの仮想距離を算出する。また、仮想距離判定部０３２は、どちらの屈曲方向かを示す情報を基に、操作者から入力された屈曲方向にある距離センサ０３１と体腔の内壁までの距離を実距離として取得する。そして、仮想距離判定部０３２は、算出した仮想距離と取得した実距離を比較し、仮想距離が実距離より長いか否かを判定する。仮想距離が実距離よりも長いと判定した場合には、仮想距離判定部０３２は、先端部１０３が報知部０３３に体腔の内壁へ接触する旨の通知を出力する。この仮想距離判定部０３２が本発明における「仮想距離判定手段」にあたる。

報知部０３３は、仮想距離判定部０３２から先端部１０３が報知部０３３に体腔の内壁へ接触する旨の通知の入力を受けると、表示部０１１へ警告を表示させ、操作者が仮想内視鏡プローブに対し行った操作を内視鏡プローブ００１で行うと危険である旨を操作者に対し報知する。この報知部０３３が本発明における「報知手段」にあたる。

ここで、本実施形態では報知部０３３は、警告のみを報知するだけであるが、この情報は他の情報を含んでもよく、例えば、操作部００２をどの方向にどの程度先端部１０３を屈曲させてよいか（実施可能な操作量）といった情報を報知してもよい。この場合、報知部０３３は、仮想距離判定部０３２が求めた実距離と、内視鏡プローブ００１の現在の位置、現在の屈曲量、及び屈曲方向を基に、現在の内視鏡プローブ００１の状態から仮想内視鏡プローブの先端部を屈曲させて実距離だけ動く屈曲量を算出し、その算出した値を操作量に変換して通知するというような構成となる。

さらに、図６（Ａ）及び図６（Ｂ）を参照して、本実施形態に係る内視鏡装置の仮想内視鏡モードにおける仮想距離判断の一例を説明する。ここで、図６（Ａ）は内視鏡プローブの先端を屈曲させた状態を説明するためのイメージ図であり、図６（Ｂ）は図６（Ａ）の状態での内視鏡プローブの先端部を屈曲させる場合の危険な領域及び安全な領域を説明するための図である。

図６（Ａ）に示すように、現在の内視鏡プローブ００１の先端部１０３の状態から安全な方向には先端部６００のように屈曲させることができる。しかし、逆方向への屈曲は体腔の内壁に接触してしまう。したがって、図６の（Ａ）の状態での先端部１０３の状態では、図６（Ｂ）に示すように領域６０１は屈曲が危険な領域であり、領域６０２が屈曲が安全な領域となる。そこで、仮想内視鏡モードで、仮想内視鏡プローブの先端部を屈曲させた場合に、領域６０１側に屈曲させると警告が報知され、領域６０２側に屈曲させると警告が報知されない。

以上に説明したように、本実施形態に係る内視鏡装置は、仮想内視鏡モードにおいて仮想内視鏡プローブを操作者が操作したときに、その操作が危険か否かを操作者に報知する構成である。

これにより、操作者は実際に内視鏡プローブを操作する前に仮想内視鏡プローブを操作することで、その操作を行うと危険か否かが分かり、操作の危険性を容易に判断することが可能となる。

また、警告の中にどの程度の屈曲の操作を行えるかといった情報を含ませることで、操作者は、自己が実施しようとしていた操作を修正して、実際の内視鏡プローブを動かす操作を安全に行うことが可能となる。

〔第３の実施形態〕
以下、この発明の第３の実施形態に係る内視鏡装置について説明する。本実施形態に係る内視鏡装置は第１又は第２の実施形態に実際の内視鏡プローブの先端部の屈曲に基づく警告の報知をする構成を加えたものである。そこで、以下の説明では、この警告の報知を行う構成について主に説明する。本実施形態に係る内視鏡装置のブロック図も図１で表わされる。以下の説明では、第１の実施形態と同一の符号を付された機能部は特に説明のない限り同じ機能を有するものとする。

本実施形態に係る内視鏡装置は、第１の実施形態に係る内視鏡装置に、図１の距離センサ０３１及び報知部０３３を付加した構成である。

距離センサ０３１は、第２の実施形態と同様に赤外線などを用いて体腔の内壁までの距離を計測するものである。そして、距離センサ０３１は、先端部１０３の周囲に等間隔に複数配置されている。ここで、先端部１０３の周囲に配置されている距離センサ０３１の数が多いほど多数の方向へ体腔の内壁までの距離を求めることができるので、より正確に内視鏡プローブ００１の先端部１０３の体腔内の位置を計測することができる。

各距離センサ０３１は、図１の二点鎖線で表わすように、計測した距離を報知部０３３に出力する。

報知部０３３は、メモリなどの記憶領域を有しており、先端部１０３から体腔の内壁までの距離の閾値を予め記憶している。

報知部０３３は、実内視鏡モードにおいて、各距離センサ０３１が計測した距離の入力を受ける。報知部０３３は、入力された距離と自己が記憶している閾値とを比較し、入力された距離が記憶している距離を下回ったか否かを判断する。報知部０３３は、入力された距離が記憶している距離を下回った場合には、表示部０１１に危険である旨の情報を表示させ操作者に報知する。

以上で説明したように、本実施形態に係る内視鏡装置は、実際の内視鏡プローブの先端部が体腔の内壁に所定距離以上近づくと警告を報知する構成である。

これにより、操作者は、実際に内視鏡プローブを操作する際に、危険な距離に近づいたことを容易に把握することができ、熟練者でなくとも内視鏡プローブの操作を安全に行うことが可能となる。

００１ 内視鏡プローブ
００２ 操作部
００３ モード切替部
００４ 映像受信部
００５ 屈曲量算出部
００６ 位置検出部
００７ ボリュームデータ生成部
００８ 仮想内視鏡画像処理部
００９ 記憶部
０１０ 表示制御部
０１１ 表示部
０３１ 距離センサ
０３２ 仮想距離判定部
０３３ 報知部
１０１ 保持部
１０２ 挿入部
１０３ 先端部
２０１ 回転部
２０２ ボタン

Claims (6)

1. 実内視鏡モードと仮想内視鏡モードとを択一的に切り替える切替手段と、
   先端部に撮像素子を内蔵し、前記先端部が屈曲し、被検体の体腔内に挿入されて前記先端部の向きの前記体腔の内壁を撮像する内視鏡プローブと、
   前記内視鏡プローブに接続され、前記実内視鏡モードにおける前記内視鏡プローブの先端部の屈曲、及び前記仮想内視鏡モードにおける仮想の屈曲をさせるための操作量の出力を行う操作手段と、
   医用画像診断装置が取得した画像データを記憶する記憶手段と、
   前記内視鏡プローブの先端部の位置を検出する位置検出手段と、
   前記実内視鏡モードにおいて、前記撮像素子からの信号を受信する映像受信手段と、
   前記仮想内視鏡モードにおいて、前記位置検出手段で検出された前記内視鏡プローブの先端部の位置を基に、前記記憶部の前記画像データから前記先端部の位置における所定範囲のボリュームデータを生成するボリュームデータ生成手段と、
   前記仮想内視鏡モードにおいて、前記操作手段の操作量を基に前記先端部の仮想の屈曲量を算出する屈曲量算出手段と、
   前記仮想内視鏡モードにおいて、前記仮想の屈曲量を基にして前記先端部の仮想の向きを求め、前記ボリュームデータに対して求めた前記先端部の仮想の向きにレンダリングを行い仮想内視鏡画像を生成する仮想内視鏡画像処理手段と、
   前記実内視鏡モードにおける前記映像受信手段から出力された前記現在の内視鏡画像又は前記仮想内視鏡モードにおける前記仮想内視鏡画像処理手段で取得された前記仮想内視鏡画像を選択的に表示手段に表示させる表示制御手段と、
   を備えることを特徴とする内視鏡装置。
2. 前記実内視鏡モードにおいて、
   前記操作手段は、前記内視鏡プローブの前記先端部を屈曲させた時の操作量を出力し、
   前記屈曲量算出手段は、前記操作手段の操作量を基に前記先端部の仮想の屈曲量を算出し、
   前記仮想内視鏡画像処理手段は、前記仮想の屈曲量を基に、前記内視鏡プローブの前記先端部の向きと一致する向きの仮想内視鏡画像を生成する、
   ことを特徴とする請求項１に記載の内視鏡装置。
3. 前記内視鏡プローブの先端部に配置され、前記内視鏡プローブの先端部と前記体腔の内壁との距離を測定する前記距離センサと、
   前記仮想内視鏡モードにおいて、前記仮想の屈曲量に基づき前記先端部の仮想の位置を求め、前記距離センサで測定された前記距離と前記先端部の前記仮想の位置とを比較し、前記仮想内視鏡が前記内壁に接触するか否かを判定する仮想距離判定手段と、
   前記仮想内視鏡が前記内壁に接触する場合に、警告を報知する報知手段と、
   をさらに備えることを特徴とする請求項１又は請求項２に記載の内視鏡装置。
4. 前記距離が予め記憶している閾値を下回った場合に、操作部を固定する操作部固定手段をさらに備えることを特徴とする請求項１乃至請求項３のいずれか一つに記載の内視鏡装置。
5. 前記報知手段は、前記内視鏡プローブと前記体腔の内壁との距離の閾値を記憶しており、前記実内視鏡モードにおいて、前記距離センサが測定した距離が前記閾値を下回った場合に、警告を報知することを特徴とする請求項１乃至請求項４のいずれか一つに記載の内視鏡装置。
6. 実内視鏡モードと仮想内視鏡モードとを択一的に切り替える切替段階と、
   医用画像診断装置が取得した画像データを記憶する記憶段階と、
   前記実内視鏡モードにおいて、
   操作部を用いて、被検体の体腔内に挿入された先端部に撮像素子を内蔵する内視鏡プローブの前記先端部を屈曲させる内視鏡プローブ屈曲段階と、
   前記撮像素子からの信号を受信する映像受信段階と、
   前記受信した信号に基づく内視鏡画像を表示部に表示させる内視鏡画像表示段階と、
   前記仮想内視鏡モードにおいて、
   前記内視鏡プローブの先端の位置を検出する位置検出段階と、
   前記検出された前記内視鏡プローブの先端部の位置を基に、前記画像データから前記先端部の位置における所定範囲のボリュームデータを生成するボリュームデータ生成段階と、
   前記操作部の操作量を入力する操作量入力段階と、
   前記操作量を基に前記先端部の仮想の屈曲量を算出する屈曲量算出段階と、
   前記仮想の屈曲量を基にして前記先端部の仮想の向きを求め、前記ボリュームデータに対して前記求めた前記先端部の仮想の向きにレンダリングを行い仮想内視鏡画像を生成する仮想内視鏡画像処理段階と、
   前記仮想内視鏡画像を表示手段に表示させる仮想内視鏡画像表示段階と、
   を備えることを特徴とする内視鏡装置制御方法。