JP2007135783A - 挿入モニタリング装置 - Google Patents

Abstract

【課題】 挿入操作等に対する挿入部の所定の応答動作状態に対応する挿入補助情報をより確実に確認できるようにした挿入モニタリング装置を提供する。
【解決手段】 挿入部の挿入形状データの各フレームデータ３３ａから解析処理ブロック４２は解析データ３３ｂを生成し、かつソースコイルの手元側の移動量Ｍｎに対して最先端の移動量Ｍｏが０．１以下の場合には、挿入部の先端側が移動していないという挿入補助情報３３ｃを生成して順次更新する。解析結果表示制御ブロック４３は、一定時間毎に挿入補助情報３３ｃを取り込み、挿入補助情報３３ｃに対応する挿入形状データ作成時刻Ｔｏから現在時刻Ｔｎとの経過時間に相当する差分値Ｔｎ−Ｔｏが閾値Ｔｔ以下の場合には先端停止の表示を持続する様に表示制御を行い、より確実に確認できるようにした。
【選択図】 図５

Description

本発明は、大腸内等の体腔内に挿入され、内視鏡検査を補助若しくは支援するために挿入部の挿入状態をモニタする挿入モニタリング装置に関する。

先端に撮像素子が設けられた電子内視鏡の挿入部を患者の体腔内に挿入して、撮像素子により撮像された画像をモニタに表示する内視鏡装置は、医療分野において広く用いられるようになっている。
体腔内、例えば大腸や小腸等のように曲がった管腔内に電子内視鏡の挿入部を挿入して内視鏡検査などを行う際、挿入部が管腔内のどの位置まで挿入されているか、あるいは挿入部がどのような形状になっているかを把握できると、内視鏡検査或いは処置を行う際の操作性が向上する。

このため挿入部が管腔内に挿入された位置や、挿入形状等を検出して表示することができる内視鏡挿入形状検出装置が実用化されている。
また、挿入形状等の他に、実際に挿入部の手元側で挿入操作をした場合に、その挿入操作に適切に応答しているか否かの情報を挿入補助情報として把握できるとより便利である。
例えば、特開２００４−３５８０９５号公報の従来例は、挿入部がループ形状になったか否かを定期的に解析して、ループ形状になった場合にはその情報を表示するようにしている。また、挿入部の先端側が停止状態である事などの解析も行う。
特開２００４−３５８０９５号公報

しかし、上記従来例では、ループ形状になった場合を解析して表示を行っているタイミングに、その情報を観察すればその情報を把握できるが、その表示は定期的に更新されてしまうため、ループ形状と解析された付近のタイミングを逃がして観察した場合にはその情報を見落とす欠点があった。

（発明の目的）
本発明は上述した点に鑑みてなされたもので、挿入操作等に対する挿入部の所定の応答動作状態に対応する挿入補助情報をより確実に確認できるようにした挿入モニタリング装置を提供することを目的とする。

本発明の挿入モニタリング装置は、体腔内に挿入される内視鏡の挿入部の形状を検出する形状検出手段が生成する形状検出情報を基にして、挿入操作等の内視鏡操作に対する挿入部の応答動作状態の解析を行う解析手段と、
前記解析手段により解析された所定の応答動作状態に対応する挿入補助情報を生成する挿入補助情報生成手段と、
前記挿入補助情報生成手段により表示手段に出力され、該表示手段に前記挿入補助情報が表示される際の表示特性を、前記挿入補助情報が生成された時刻近傍からの経過時間情報により制御する表示制御手段と、
を具備したことを特徴とする。
上記構成により、所定の応答動作状態に対応する挿入補助情報の表示を、その応答動作状態に至った時刻付近からの経過時間の情報により、挿入補助情報の表示特性を制御して、より確実に確認することができるようにしている。

本発明によれば、挿入補助情報を、より確実に確認することができる。

以下、図面を参照して本発明の実施例を説明する。

図１ないし図７は本発明の実施例１に係り、図１は本発明の実施例１を備えた体内挿入モニタリングシステムの全体構成を示し、図２は内視鏡挿入形状観測装置で検出される挿入部内に設けられたソースコイルの座標を示し、図３は内視鏡挿入形状観測装置により生成される挿入形状データを示す。
図４は画像処理装置の処理プログラムにより実現される機能ブロックの構成等を示し、図５は図４に示した解析処理ブロック等によるデータの流れや処理フロー等を示し、図６は挿入補助情報の更新タイミングと現在の時刻との差分値により挿入補助情報の表示持続を制御する動作を示し、図７は挿入補助情報の表示に関する変形例を示す。

図１に示すように本発明の実施例１を備えた体内挿入モニタリングシステム１は、内視鏡検査を行う内視鏡装置２と、内視鏡挿入形状を観測するための内視鏡挿入形状観測装置３と、内視鏡挿入形状観測装置３により生成された内視鏡挿入形状データ（挿入形状データと略記）を解析して、内視鏡検査を補助若しくは支援する挿入モニタリング装置の実施例１を構成する画像処理装置４とから構成される。
内視鏡装置２は、大腸等の体腔内に挿入される電子内視鏡６と、この電子内視鏡６に照明光を供給する光源装置７と、電子内視鏡６に内蔵されたＣＣＤ等の撮像素子１６に対する信号処理を行う信号処理装置としてのビデオプロセッサ８と、このビデオプロセッサ８により生成された映像信号が入力されることにより撮像素子１６で撮像された体腔内の画像を内視鏡画像として表示する観察モニタ９とを有する。

電子内視鏡６は、患者の体腔内に挿入される細長の挿入部１１と、この挿入部１１の後端に設けられた操作部１２とを有する。挿入部１１内には、照明光を伝送するライトガイド１３が挿通されている。このライトガイド１３の後端は光源装置７に接続され、光源装置７から供給される照明光を伝送し、挿入部１１の先端部１４に設けられた照明窓から（伝送した照明光を）出射する。
なお、挿入部１１には、先端部１４の後端に湾曲自在の湾曲部が設けてあり、操作部１２に設けられた図示しない湾曲操作ノブ等を操作することにより、湾曲部を湾曲することができる。
上記先端部１４には、照明窓に隣接して設けられた観察窓に対物レンズ１５が取り付けてある。この対物レンズ１５により、その結像位置に配置された電荷結合素子（ＣＣＤと略記）等の撮像素子１６の撮像面に光学像を結像する。

この撮像素子１６は、信号線を介してビデオプロセッサ８と接続されており、光学像を光電変換した撮像信号をビデオプロセッサ８に出力する。
ビデオプロセッサ８は、撮像素子１６から出力される撮像信号に対して、映像信号を生成する信号処理を行う。そして、ビデオプロセッサ８は、生成した映像信号、例えばＲＧＢ信号を観察モニタ９に出力する。そして、観察モニタ９の表示面には、撮像素子１６で撮像された画像が表示される。
なお、光源装置７は、Ｒ，Ｇ，Ｂの照明光で面順次照明を行う場合には、各照明期間に同期した同期信号をビデオプロセッサ８に出力し、ビデオプロセッサ８はその同期信号に同期して信号処理を行う。
更に、電子内視鏡６の操作部１２には、レリーズ指示等を行う図示しないスイツチが設けてあり、スイッチを操作してビデオプロセッサ８の動作を制御することができる。

また、本実施例においては、体腔内に挿入される挿入部１１の挿入位置や挿入形状を検出するための検出機能が設けられている。具体的には、電子内視鏡６における挿入部１１内にはその長手方向に、所定の間隔で複数のソースコイルＣｏ、Ｃ_１、…、Ｃ_Ｍ−１（Ｃｏ〜Ｃ_Ｍ−１と略記）が配置されており、これらソースコイルＣｏ〜Ｃ_Ｍ−１は駆動信号が印加されることにより、その周囲に磁界を発生する。
そして、ソースコイルＣｏ〜Ｃ_Ｍ−１による磁界を、内視鏡挿入形状観測装置３に設けられた複数のセンスコイルを内蔵したセンスコイルユニット１９により検出する構成にしている。
つまり、内視鏡挿入形状観測装置３は、電子内視鏡６に設けられたソースコイルＣｏ〜Ｃ_Ｍ−１による磁界を検出するセンスコイルユニット１９と、このセンスコイルユニット１９によって検出された磁界の検出信号に基づいて挿入部１１の形状（挿入形状という）を推定する形状処理装置２１と、この形状処理装置２１によって推定された挿入形状を表示するディスプレイ２２とを有する。

上記センスコイルユニット１９は、患者が横たわる検査ベッドの周辺部などに配置され、ソースコイルＣｏ〜Ｃ_Ｍ−１による磁界を検出して、検出した検出信号を形状処理装置２１に出力する。
形状処理装置２１は、検出信号に基づいて、ソースコイルＣｏ〜Ｃ_Ｍ−１の各位置座標データの算出や、その算出された位置座標データから挿入部１１の挿入形状を推定する。形状処理装置２１は、推定した挿入部１１の挿入形状の映像信号を生成し、生成した映像信号、例えばＲＧＢ信号をディスプレイ２２に出力する。そして、このディスプレイ２２の表示画面には、挿入形状が表示される。術者は、この挿入形状を観察することにより、挿入操作等をより円滑に行い易くなる。

また、この形状処理装置２１は、内視鏡検査中、挿入形状を示す３次元座標情報、及び形状表示属性等の挿入形状データを連続的に生成し、通信ポート２１ａを介して画像処理装置４に出力する。この形状処理装置２１は、レリーズスイツチの操作時の挿入形状データのみを画像処理装置４に出力することもできる。
なお、この内視鏡挿入形状観測装置３は、形状処理装置２１による形状検出処理により生成されてディスプレイ２２に表示される挿入形状の画像の回転角、拡大縮小率等の形状表示属性を、図示していない操作パネル等から指示入力することにより、変更可能となっている。
なお、ビデオプロセッサ８には、図示していないが、内視鏡検査に関する検査情報を入力する機能を有し、このビデオプロセッサ８に入力された検査情報は、通信ポート８ａを介して画像処理装置４にも送信される。

画像処理装置４は、入力される挿入形状データに対して、挿入操作等の内視鏡操作に対して実際に体腔内に挿入された挿入部１１の応答動作状態を解析処理し、術者に知らせるべき所定の応答動作状態になっているか否かを判定し、所定の応答動作状態になっている場合には挿入補助情報を生成する。
このため、画像処理装置４は、術者を補助ないしは支援する挿入補助情報を生成するための解析処理を行うパーソナルコンピュータ（以下、単にＰＣと称する）２５と、このＰＣ２５に各種指示入力するためのマウス２６とキーボード２７と、ＰＣ２５により解析処理により生成された挿入補助情報等を再生若しくは表示する表示装置としてのディスプレイ２８とを有する。

ＰＣ２５には、前記内視鏡挿入形状観測装置３の形状処理装置２１の通信ポート２１ａから出力される挿入形状データを取り込む通信ポート２５ａ、前記内視鏡装置２のビデオプロセッサ８の通信ポート８ａから出力される内視鏡検査情報を取り込む通信ポート２５ｂと、前記電子内視鏡６の撮像素子１６で撮像され、ビデオプロセッサ８で生成された動画像の映像信号を所定の圧縮画像データに変換する動画像入力ボード２５ｃと、画像処理を行うＣＰＵ３１と、このＣＰＵ３１により画像処理を行う処理プログラムを格納した処理プログラム格納部３２と、ＣＰＵ３１により処理するデータ等を一時的に格納するメモリ３３と、処理された画像データ等を記憶する記録装置としてのハードディスク（ＨＤＤ）３４とを有する。ＣＰＵ３１等は、互いにバスにより接続されている。

画像処理装置４の動画像入力ボード２５ｃには、ビデオプロセッサ８で生成された動画像の映像信号、例えばＹ／Ｃ信号が入力され、動画像入力ボード２５ｃは、その動画像の映像信号を所定の圧縮された動画像の映像信号データ、例えば、ＭＪＰＥＧ形式の圧縮画像データに変換して、ＰＣ２５内の例えばハードディスク３４等に保存する。
なお、内視鏡検査開始前に、ビデオプロセッサ８から、内視鏡検査に関連する検査情報が入力され、その入力された検査情報データを基に観察モニタ９に文字や数字の形式で表示されると共に、その検査情報データは、通信ポート８ａから画像処理装置４内の通信ポート２５ｂを経て、ＰＣ２５に送信記録することができる。
なお、検査情報とは、例えば、患者の氏名、生年月日、性別、年齢、患者コード、及び検査日時などである。

つまり、画像処理装置４側は、必要に応じてビデオプロセッサ８と接続して、ビデオプロセッサ８からの各種情報データを受信して保存するようになっている。
このような構成の体内挿入モニタリングシステム１における内視鏡挿入形状観測装置３による挿入形状データの生成について図２と図３を用いて説明する。
内視鏡挿入形状観測装置３の形状処理装置２１は、電子内視鏡６の撮像素子１６で撮像される撮像信号の１フレーム毎に電子内視鏡６の挿入部１１に内蔵されたＭ個のソースコイルＣｏ〜Ｃ_Ｍ−１の３次元座標を含む挿入形状データを生成する。また、この形状処理装置２１は、挿入形状データを基に挿入形状の画像を生成して、ディスプレイ２２に表示すると共に、その挿入形状データを画像処理装置４に出力する。

この内視鏡挿入形状観測装置３で検出されるソースコイルＣｏ〜Ｃ_Ｍ−１の座標系は、例えば第ｊ−１フレームの場合（但し、ｊは図３に示すように最初のフレームを第０フレームとしている）で示すと図２に示すようになる。
図２に示すように、挿入部１１の先端側からｉ−１番目（ただし、ｉ＝０、１、…、Ｍ−１）のソースコイルＣｉの３次元座標は、（Ｘ^ｊ _ｉ，Ｙ^ｊ _ｉ，Ｚ^ｊ _ｉ）により表示される。
この内視鏡挿入形状観測装置３で検出されたソースコイルＣｏ〜Ｃ_Ｍ−１の座標系のデータを含む挿入形状データの構造は、図３に示すように、撮像されたフレーム順に、各フレームに関係するフレームデータ（つまり、第０フレームデータ、第１フレームデータ、…）として１つのパケットとして画像処理装置４に順次送信される。パケットで送信される各フレームデータ内には、挿入形状データの作成時刻、表示属性、付属情報、（ソース）コイル座標等のデータからなる。

また、コイル座標データは、図２に示したようにソースコイルＣｏ〜Ｃ_Ｍ−１が挿入部１１の先端からその基端（手元側）の操作部１２側に順次配置されたものの３次元座標をそれぞれ表すものとなっている。尚、内視鏡挿入形状観測装置３により検出範囲外のソースコイルの座標は、検出範囲外と分かるように例えば所定の定数に設定されるようになっているものとする。
次に、画像処理装置４における内視鏡装置２のビデオプロセッサ８の検査情報と内視鏡画像及び前記内視鏡挿入形状観測装置３の形状処理装置２１からの挿入形状データの取得から挿入補助情報の生成、並びに例えば大腸内に挿入して大腸内の内視鏡検査のモニタリングの作用等を、図４から図６を用いて説明する。
画像処理装置４は、内視鏡検査が開始すると、ＰＣ２５を構成するＣＰＵ３１が処理プログラム格納部３２に格納されている処理プログラムに従って処理を開始する。

ＣＰＵ３１により実行される処理機能ブロックは、図４に示すようにフレームデータを取得してメモリ３３に格納するフレームデータ取得ブロック４１と、メモリ３３に格納されたフレームデータに対する解析処理を行い、解析データ３３ｂと生成した挿入補助情報３３ｃをメモリ３３に格納する解析処理ブロック４２と、解析結果の表示を行うと共に挿入補助情報３３ｃの表示（若しくは表示特性）を制御する解析結果表示制御ブロック４３とからなる。
図４に示すように、フレームデータ取得ブロック４１と、解析処理ブロック４２とはループ状に処理を繰り返し行う。解析処理ブロック４２による解析結果として、所定の応答動作状態に対応する条件判定の処理を行い、これに該当する場合には挿入補助情報を生成する。また、解析結果表示制御ブロック４３は、予め設定された経過時間情報に従って、挿入補助情報３３ｃの表示及び表示停止（消去）の表示制御を行う。

フレームデータ取得ブロック４１は、内視鏡挿入形状観測装置３から送信されるフレームデータを図４に示すようにメモリ３３上に記憶すると共に、図１に示すようにハードディスク３４に保存する。
解析処理ブロック４２は、メモリ３３上のフレームデータ３３ａを使用して、各ソースコイル位置において挿入部１１の向いている方向や、１フレーム前におけるソースコイルの移動量など、挿入部１１の（挿入操作に対する）応答動作状態を調べるためのデータの算出を行う。そして、この解析処理ブロック４２は、算出したデータを解析データ３３ｂとしてメモリ３３上に格納する。
また、解析処理ブロック４２は、メモリ３３上のフレームデータ３３ａから解析データ３３ｂを生成すると共に、体腔内に挿入される挿入部１１が、術者による挿入操作に対して、順調に或いは適切に挿入されていない応答動作状態に関する情報を挿入補助情報として表示するために、フレームデータ３３ａ（及び必要に応じて解析データ３３ｂ）を用いて挿入補助情報３３ｃを生成するための解析処理を行う。

この場合、解析データ３３ｂが所定の条件、具体的には術者が挿入部１１をその基端側で押し込む操作を行った場合に、挿入部１１の先端側が殆ど移動しないような条件、つまり挿入部１１の挿入が円滑にできなくなるような条件を満たす応答動作状態の場合には挿入補助情報３３ｃを生成して、メモリ３３上に格納する。この場合、メモリ３３上に以前に挿入補助情報３３ｃが格納されている場合にはその内容を更新する。
ここで、挿入補助情報３３ｃに関する所定の条件について補足説明する。
挿入部１１の最先端位置におけるソースコイルＣｏの挿入部１１の軸方向に対する移動量Ｍｏと、挿入部１１の手元側位置にある例えばソースコイルＣ_Ｍ−１との、挿入部１１の軸方向に対する移動量Ｍｎとの比Ｍｏ／Ｍｎが、閾値（ここでは０．１）未満である条件を満たす場合（つまりＭｏ／Ｍｎ＜０．１）に挿入補助情報３３ｃを生成する。

上記条件を満たすときに生成される挿入補助情報３３ｃは、本実施例では文字列情報”先端停止”と、条件判定に使用したフレームデータの挿入形状データ作成時刻Ｔｏと、からなる。
なお、上記条件を満たす場合は、挿入部１１の手元側において、術者が挿入操作を行っているにもかかわらず、挿入部１１の先端部１４が殆ど停止していることを示しており、これ以上挿入部手元側を押込んでも先端部１４は、進まない状況であることを表している。
一方、解析結果表示制御ブロック４３は、上記のフレームデータ取得ブロック４１と解析処理ブロック４２とのループ処理とは独立に、一定時間間隔で実行される処理ブロックである。

この解析結果表示制御ブロックは、メモリ３３上の挿入補助情報を取得し、現在の時刻Ｔｎと、挿入補助情報３３ｃの生成に対応する挿入形状データ作成時刻Ｔｏとの差分が、予め設定される所定の閾値Ｔｔよりも小さい（Ｔｎ−Ｔｏ＜Ｔｔ）場合に、挿入補助情報３３ｃの文字列情報の文字列情報を画像処理装置４のディスプレイ２８上に、例えば先端停止と表示する。つまり、解析結果表示制御ブロックは、挿入補助情報３３ｃの生成に使用された挿入形状データ作成時刻Ｔｏからの経過時間が所定の時間としての閾値Ｔｔより小さい時間においては、挿入補助情報３３ｃの文字列情報の表示を持続する。
なお、この場合の閾値Ｔｔの値は、予めデフォルトの値が設定されているが、術者等のユーザは、例えばキーボード２７からそのユーザがより適切と思う値に変更設定できるようにしている。また、ユーザのＩＤ情報と関連付けて閾値Ｔｔを変更設定できるようにして、ユーザ毎に異なる値に設定できるようにしても良い。

つまり、内視鏡検査を行う術者が挿入補助情報が表示されるディスプレイ２８を観察する概略の時間間隔等は、術者毎に異なる状況があり得るため、各術者毎に閾値Ｔｔを設定できるようにして、各術者が挿入補助情報３３ｃ（の文字列情報）の表示をより適切に確認できるようにしても良い。
また、Ｔｎ−Ｔｏ＞Ｔｔとなる時間の場合には、画像処理装置４のディスプレイ２８上に表示されている文字列情報を消去する。
このように本実施例では、挿入部１１の基端側での挿入操作に対して、挿入部１１の先端側の相対的な移動量が十分に小さく、先端側が殆ど移動しない応答動作状態に対応する条件を満たすと判定した場合には、挿入補助情報３３ｃを生成する。そして、その挿入補助情報３３ｃの生成に使用したその挿入形状データ作成時刻Ｔｏから術者がその挿入補助情報３３ｃの表示を確認し易くなる時間までその表示を持続するようにしている。

次にフレームデータ取得ブロック４１及び解析処理ブロック４２で処理するデータの流れと、解析結果表示制御ブロック４３の処理フローを、図５を用いて説明する。
術者は、体腔内、例えば大腸内を内視鏡検査する場合には、図１に示す電子内視鏡６の挿入部１１を患者の肛門から大腸内に挿入する。この場合、術者は、挿入部１１の基端側を把持して挿入部１１をその先端部１４側から順次大腸内の深部側に挿入する。
電子内視鏡６の挿入部１１の先端部１４内に設けられた撮像素子１６により撮像された撮像信号は、ビデオプロセッサ８により信号処理され、映像信号が生成され、観察モニタ９に内視鏡画像が表示される。
また、挿入部１１の長手方向に配置されたソースコイルＣｏ〜Ｃ_Ｍ−１の各位置は、センスコイルユニット１９による検出信号により形状処理装置２１により検出され、内視鏡挿入形状観測装置３のディスプレイ２２により挿入形状が表示される。

また、各（ソース）コイルの位置情報を含むフレームデータは、形状処理装置２１から画像処理装置４のＰＣ２５に送られる。そして、図４に示すように（ＰＣ２５内の）ＣＰＵ３１におけるフレームデータ取得ブロック４１により、メモリ３３上にフレームデータ３３ａが格納される。
また、図５に示すように（メモリ３３上に格納された）フレームデータ３３ａに対して、解析処理ブロック４２は、解析処理を行い、フレームデータ３３ａから解析データ３３ｂを生成して、メモリ３３に格納する。
また、図５に示すように解析処理ブロック４２は、この解析データ３３ｂに対して、所定の条件（本実施例ではＭｏ／Ｍｎ＜０．１）を満たすか否かの判定処理を行い、その条件を満たす場合には挿入補助情報３３ｃを生成して、メモリ３３上に格納（オーバライト）する。この場合、すでにメモリ３３上に古い挿入補助情報３３ｃがある場合にはそれを更新する。以上の処理を繰り返し実行する。

また、図５に示すように解析結果表示制御ブロック４３は、一定の時間間隔でメモリ３３上の挿入補助情報３３ｃを取得する処理（ステップＳ１）を行うとともに、現在の時刻Ｔｎを取得する。
また、解析結果表示制御ブロック４３は、次のステップＳ２において現在の時刻Ｔｎと、挿入補助情報の挿入形状データ作成時刻Ｔｏとの差分が、所定の閾値Ｔｔよりも小さい（Ｔｎ−Ｔｏ＜Ｔｔ）か否かの判定処理を行う。
そして、ステップＳ３に示すように解析結果表示制御ブロック４３は、Ｔｎ−Ｔｏ＜Ｔｔと判定した場合には、挿入補助情報３３ｃの文字列情報を画像処理装置４のディスプレイ２８上に表示する。そして、次の挿入補助情報３３ｃの取得処理に備える。

一方、ステップＳ２の判定処理において、現在の時刻Ｔｎと、挿入補助情報３３ｃの挿入形状データ作成時刻Ｔ０との差分が、所定の閾値Ｔｔ以上（Ｔｎ−Ｔｏ≧Ｔｔ）と判定した場合には、ステップＳ４に示すように解析結果表示制御ブロック４３は、画像処理装置４のディスプレイ２８上に表示されている挿入補助情報３３ｃの文字列情報を消去する。そして、次の挿入補助情報３３ｃの取得処理に備える。
術者は、画像処理装置４のディスプレイ２８上に表示される挿入補助情報３３ｃの文字列情報を観察することにより、この観察のタイミングが挿入補助情報３３ｃが生成されたタイミング以降の場合でも、術者にとって知りたい所定の応答動作状態になっているか否かを確認できる。
このようにして、解析結果表示制御ブロック４３は、一定の時間間隔でステップＳ１〜Ｓ４の処理を繰り返す。

以上の作用による、解析処理ブロック４２が挿入補助情報更新を行うタイミングと、解析結果表示制御ブロック４３が挿入補助情報３３ｃの取得を行うタイミングと、画像処理装置４のディスプレイ２８上に表示される挿入補助情報３３ｃの文字列情報の表示内容との関係を、図６に示す。
図６に示すように、解析処理ブロック４２により挿入補助情報３３ｃの更新が行われる。解析結果表示制御ブロック４３は、一定の時間間隔で、挿入補助情報３３ｃを取得し、その際にＴｎ−Ｔｏ＜Ｔｔか否かの経過時間の条件判定の処理を行う。そして、Ｔｎ−Ｔｏが所定の時間Ｔｔ内にある間は挿入補助情報３３ｃの文字列情報の表示を持続する。ここでは、”先端停止”の表示を持続する。
このため、術者が画像処理装置４のディスプレイ２８の表示面の観察をし遅れても、所定の時間（としての閾値Ｔｔ）以内であれば挿入補助情報３３ｃをより確実に知る（確認する）ことができる。

なお、上述の説明では、表示を持続するか否かの判定に用いる時刻として挿入補助情報３３ｃに対応する挿入形状データ作成時刻Ｔｏを用いているが、これに近い時刻であれば良く、例えば挿入補助情報３３ｃを生成若しくは更新した時刻を用いても良い。
このように挿入補助情報３３ｃが生成された時刻近傍から所定の時間以内であれば”先端停止”の表示内容を持続するが、所定時間よりも時間が経過した後は”先端停止”の表示を行わないで、表示内容を適切に更新する。
このように本実施例によれば、術者が挿入補助情報３３ｃを見落とすことを有効に防止ないしは軽減し、挿入補助情報３３ｃをより確実に確認することができる。従って、内視鏡検査時における挿入操作に対する操作性を向上することができる。

なお、本実施例においては、挿入補助情報３３ｃが生成された時刻近傍からの経過時間によって挿入補助情報３３ｃの表示／消去（非表示）を制御したが、図７に示すように経過時間に応じて表示色、表示位置、表示サイズを変更するように構成してもよい。
つまり、斜線で示すように所定の経過時間内では赤色等の表示色で先端停止の表示を行い、所定の経過時間を超えた場合には表示を停止（先端停止の表示を消去）するようにしても良い。
また、所定の経過時間内では先端停止の表示を行い、例えば所定の経過時間付近から先端停止の表示を（その表示範囲から）スクロール移動するようにして、さらに時間が経過した場合には表示されないようにしても良い。

また、所定の経過時間内では先端停止の表示を行い、例えば所定の経過時間付近から先端停止の表示を行う文字列のサイズを小さくして、さらに時間が経過した場合には表示されないようにしても良い。或いはこれらを組み合わせるようにしても良い。このような場合にもほほ同様の効果がある。
また、本実施例においては、解析処理ブロック４２は、挿入部１１の挿入操作に対して、挿入形状データから先端側が殆ど停止した応答動作状態に対応する挿入補助情報３３ｃを生成するように解析処理を行っているが、電子内視鏡６の抜去操作、湾曲操作（アングル操作）、捻り操作といった、術者による内視鏡操作に対して、挿入形状データから挿入部１１の応答動作状態を解析し、それらが実際に行われているか否かの判定処理を行って、その判定結果を挿入補助情報３３ｃに含めるようにしても良い。

例えば挿入部１１の手元側の移動量と、挿入部１１の先端側の移動量の挿入部１１の軸方向における移動方向も判定することにより、抜去操作に対する応答動作状態を判定することができる。
また、例えば湾曲部の基端付近からこれよりも先端側部分のみが大きく挿入形状が変化しているか否かの判定処理を行うことにより湾曲操作に対する応答動作状態を判定することができる。
また、上述した挿入補助情報の表示は、”先端停止”であり、これ以上挿入部１１の手元側を押し込んでも先端部１４は進まない状況であることを術者に示して挿入補助を行うようにしているが、他の内視鏡操作の場合にもその内視鏡操作に対応した挿入補助情報３３ｃを表示するようにしても良い。

この場合、挿入補助情報として表示する内容に応じて、表示を持続する際の経過時間を適切に制御するようにすれば良い。
このように、解析結果表示制御ブロック４３は、電子内視鏡６の抜去操作、湾曲操作、捻り操作といった、術者による内視鏡操作を判定した場合には、少なくとも”先端停止”の文字列情報の表示を止める。そして、必要に応じて判定された内視鏡操作に対する挿入補助情報３３ｃの文字列情報を表示する。これにより、術者は内視鏡の抜去操作、アングル操作、捻り操作に対して、挿入部１１の応答動作が円滑に行われている状態か否かを確認することができ、挿入操作を含む内視鏡操作に対する操作性を向上することができるようになる。

次に図８から図１０を参照して本発明の実施例２を説明する。実施例２を備えた体内挿入モニタリングシステムの構成は図１に示したものと同様である。本実施例は、図１における画像処理装置４におけるプログラム格納部３２に格納されている処理プログラムとは一部異なる処理プログラムを用いている。
この処理プログラムによりＣＰＵ３１によりソフトウェア的に実現される機能ブロックを図８に示す。図８に示す処理プログラムは、フレームデータ取得ブロック４１と、解析処理ブロック５１と、解析結果表示制御ブロック４３とから構成される。
ここで、フレームデータ取得ブロック４１と、解析結果表示制御ブロック４３とは図４に示したのもと同様の処理を行う。これに対して本実施例における解析処理ブロック５１は、メモリ３３に格納される処理スクリプト３３ｄの解釈を行うスクリプト解釈ブロック５１ａと、挿入補助情報生成処理を含む表示特性変更処理を行う表示特性変更処理ブロック５１ｂとからなる。

このように解析処理ブロック５１は、実施例１における挿入補助情報３３ｃを生成する解析処理を行う他に、例えば条件設定の内容の変更設定により、複数種類に対応した挿入補助情報３３ｃ′の生成を可能にして、その挿入補助情報３３ｃ′に対応した表示特性を変更可能にしている。
また、メモリ３３には、図４の場合と同様にフレームデータ３３ａ、解析データ３３ｂ、及び挿入補助情報３３ｃ′が格納される。さらに本実施例では、処理プログラム格納部３２に格納される処理プログラムとして、条件設定の変更等を含む表示特性の処理手順を記述した処理スクリプトファイルを含み、起動時にＣＰＵ３１（図１参照）は、それを読み出して、メモリ３３上に処理スクリプト３３ｄとして格納する。
なお、処理スクリプト３３ｄは、所定のプログラミング言語として例えばＪａｖａ（登録商標）Ｓｃｒｉｐｔの文法に則って、解析処理ブロック５１における挿入補助情報の生成処理を含む処理内容を記述している。この処理スクリプト３３ｄの具体例を、例えば図１０に示す。 実施例１の場合においては解析処理ブロック４２は、図４に示すように（”先端停止”に相当する）Ｍｏ／Ｍｎ＜０．１か否かの条件を満たすか否かを判断して、この条件を満たす場合に挿入補助情報を生成してメモリ３３に書き込むようにしていた。

これに対して本実施例では、図１０に示す処理スクリプト３３ｄでは、”先端停止”以外にも”先端逆進”の挿入補助情報３３ｃ′の文字列情報を生成できるように、解析データに対する処理内容（if部分の条件内容）を変更している。この場合、図１０では、手元側コイルの推進量の符号（正負）を調べて、抜去の操作を判断できるようにしている。
実施例１においては、図４に示したフレームデータ取得ブロック４１等の処理機能は、プログラミング言語がコンパイルされた実行形式の言語に変換されたものがＣＰＵ３１により高速に実行される。
これに対して本実施例においては、解析処理ブロック５１におけるスクリプト解釈ブロック５１ａは、処理スクリプト３３ｄに記述されているプログラミング言語の内容を順次、実行形式の言語に解釈（インタープリト）する。そして解釈された処理を、表示特性変更処理ブロック５１ｂが順次行うようにしている。

この場合、表示特性変更処理ブロック５１ｂは、メモリ３３上の解析データ３３ｂの取得、条件判定、ループ制御、挿入補助情報の生成と更新等の処理を実行する。
このように本実施例における解析処理ブロック５１は、処理スクリプト３３ｄに記述されている解析内容を逐次、解釈してインタープリタ的に実行する。このため、システムを停止させることなく、動作中（検査中）において、例えば上記挿入補助情報設定部分のパラメータ値の変更等を行い、変更した値でそれぞれ実行させて、最も適切となる場合の値に変更設定することも行い易い。
このように、処理スクリプト３３ｄの記述内容を変更することにより、表示特性等の処理内容を簡単に変更できるようにしている。例えば、上記したように処理スクリプトにおける条件内容を変更することにより、挿入補助情報の（表示特性に含まれる）表示内容を容易に変更できる。

これに対して、実施例１ではコンパイルされた後のものを実行するため、小さな変更を行う場合においても、システムを停止させて、処理プログラムの内容を変更し、変更した内容でコンパイルして実行形式のファイルを生成する必要がある。また、実行形式のファイルに変換した後でないと、解析処理させることができないため、上記のように単にパラメータ値を適切な値に設定する作業の場合にも手間がかかる。なお、本実施例は、解析処理ブロック５１のみをインタープリタで実行させるようにしている。
このような構成による本実施例の動作を図９を参照して説明する。なお、図９はフレームデータ取得ブロック４１及び解析処理ブロック５１のデータの流れと、解析結果表示制御ブロック４３の処理フローを示す。
図９に示す処理データの流れの概要は、図５と比較すれば容易にわかるように、図５における解析処理ブロック４２では、（”先端停止”に相当する）Ｍｏ／Ｍｎ＜０．１か否かの条件判定を行っていたのを、処理スクリプトにより記述された内容の条件判定を行うことになる。以下、より詳細に説明する。

フレームデータ取得ブロック４１は、メモリ３３上にフレームデータ３３ａを記録する。
続いて解析処理ブロック５１は、フレームデータ３３ａの解析処理を行った後、メモリ３３から処理スクリプト３３ｄを取得する。処理スクリプト３３ｄは、例えば図１０に示す内容が記述されている。続いて、スクリプト解釈ブロック５１ａは、処理スクリプト３３ｄを解釈する。そして、解釈された処理手順に基づき、表示特性変更処理ブロック５１ｂにて処理を行う。
図９に示すように解析処理ブロック５１（における表示特性変更処理ブロック５１ｂ）は、解釈された解析データ３３ｂを取得し、条件判定を行って、条件判定に該当しない場合には、次のフレームデータに対して条件判定を行う準備をする。一方、この条件に該当する場合には、その条件判定に該当して生成された挿入補助情報３３ｃ′を更新してメモリ３３に書き込む。具体的には、実施例１の場合における”先端停止”と、この他に”先端逆進”の文字列情報をメモリ３３に書き込む。このような処理を繰り返す。

一方、解析結果表示制御ブロック４３は、実施例１の場合と同様に一定の時間間隔でメモリ３３上の挿入補助情報３３ｃ′を取得する（ステップＳ１）とともに、現在の時刻Ｔｎを取得し、現在の時刻Ｔｎと、挿入補助情報３３ｃ′の挿入形状データ作成時刻Ｔ０との差分が所定の閾値Ｔｔよりも小さい（Ｔｎ−Ｔｏ＜Ｔｔ）か否かの判定を行う（ステップＳ２）。
そして、Ｔｎ−Ｔｏ＜Ｔｔの条件を満たす時には、挿入補助情報３３ｃ′の文字列情報を画像処理装置４のディスプレイ２８上に表示する（ステップＳ３）。本実施例では、”先端停止”と、”先端逆進”の文字列情報を表示することとなる。
また、現在の時刻Ｔｎと、挿入補助情報３３ｃ′の挿入形状データ作成時刻Ｔｏとの差分が、所定の閾値Ｔｔ以上（Ｔｎ−Ｔｏ≧Ｔｔ）のときには、画像処理装置４のディスプレイ２８上に表示されている文字列情報を消去する（ステップＳ４）。

このように、処理スクリプト３３ｄに記述されている内容にしたがって体内挿入モニタリングシステム１を動作させるため、処理プログラムを新たに作成する必要がなく、動作内容の詳細なカスタマイズ等が行い易くなる。
なお、本体内挿入モニタリングシステム１において、処理スクリプトを任意のタイミングで読み込む機能を追加することにより、体内挿入モニタリングシステム１の動作を終了させることなく、修正または選択した処理スクリプトを術者の指示により読み込ませる構成にしてもよい。
従って、本実施例は以下の効果を有する。
体内挿入モニタリングシステムの処理プログラムを新たに作り直さなくても、詳細なカスタマイズが簡単に行える。

また、設定調整時や検査時に体内挿入モニタリングシステムを停止させずにカスタマイズが行えるため、カスタマイズ結果を即時確認し易くできると共に、検査中にその挿入補助情報の生成方法を修正／選択しながら、連続的（円滑）に挿入補助情報を提示することが可能となる。そして、術者にとってより操作性を向上できる各種の挿入補助情報をより適切に表示することができる。その他、実施例１と同様の効果がある。
なお、図１０に示した処理スクリプトの内容を変更することにより、湾曲操作などの内視鏡操作に対する挿入部１１の応答動作状態を解析して、所定の応答動作状態の場合に挿入補助情報として表示することもできる。

なお、挿入補助情報を表示する場合、画像処理装置４のディスプレイ２８に表示する場合に限定されるものでなく、例えば内視鏡挿入形状観測装置３のディスプレイ２２や内視鏡装置２の観察モニタ９に表示するようにしても良いし、表示する表示装置を選択設定できるようにしても良い。また、挿入補助情報を表示する場合、文字列情報で表示する場合に限定されるものでなく、例えば内視鏡挿入形状観測装置３のディスプレイ２２上に表示される挿入形状の背景部分の表示色を変更することにより、例えば”先端停止”の挿入補助情報を術者に知らせるようにしても良い。
なお、上述した各実施例等を部分的に組み合わせる等して構成される実施例等も本発明に属する。

［付記］
１．体腔内に挿入される内視鏡と、
前記内視鏡の挿入部の形状を検出する形状検出手段と、
前記形状検出手段の形状検出情報を基にして、挿入操作等の内視鏡操作に対する挿入部の応答動作状態の解析を行う解析手段と、
前記解析手段により解析された所定の応答動作状態の情報を挿入補助情報として表示手段に出力する挿入補助情報出力手段と、
前記表示手段により前記挿入補助情報を表示する際の表示特性を、前記挿入補助情報に対応する形状検出情報が作成された時刻からの経過時間情報により制御する表示制御手段と、
を具備したことを特徴とする挿入モニタリングシステム。

体腔内に挿入された挿入部の挿入形状を検出して表示装置に表示すると共に、挿入形状データから挿入操作等の内視鏡操作に対する挿入部の応答動作状態を解析して、所定の応答動作状態に対応する情報を挿入補助情報として表示すると共に、その表示時間等を制御することにより、術者が常時観察していなくても、その情報をより確実に認識できるようにして操作性を向上した。

本発明の実施例１を備えた体内挿入モニタリングシステムの全体構成図。 内視鏡挿入形状観測装置で検出される挿入部内に設けられたソースコイルの座標を示す図。 内視鏡挿入形状観測装置により生成される挿入形状データを示す説明図。 画像処理装置により実現される機能ブロックの構成等を示す図。 図４に示した解析処理ブロック等によるデータの流れや処理フロー等を示す説明図。 挿入補助情報の更新タイミングと現在の時刻との差分値により挿入補助情報の表示持続を制御する動作を示す説明図。 挿入補助情報の表示特性に関する変形例を示す図。 本発明の実施例２における画像処理装置により実現される機能ブロックの構成等を示す図。 図８に示した解析処理ブロック等によるデータの流れや処理フロー等を示す説明図。 処理スクリプトの処理内容のプログラミングの具体例。

符号の説明

１…体内挿入モニタリングシステム
２…内視鏡装置
３…内視鏡挿入形状観測装置
４…画像処理装置
６…電子内視鏡
８…ビデオプロセッサ
１１…挿入部
１４…先端部
１６…撮像素子
１９…センスコイルユニット
２１…形状処理装置
２５…ＰＣ
３１…ＣＰＵ
３３…メモリ
４１…フレームデータ取得ブロック
４２…解析処理ブロック
４３…解析結果表示制御ブロック

Claims (5)

1. 体腔内に挿入される内視鏡の挿入部の形状を検出する形状検出手段が生成する形状検出情報を基にして、挿入操作等の内視鏡操作に対する挿入部の応答動作状態の解析を行う解析手段と、
   前記解析手段により解析された所定の応答動作状態に対応する挿入補助情報を生成する挿入補助情報生成手段と、
   前記挿入補助情報生成手段により表示手段に出力され、該表示手段に前記挿入補助情報が表示される際の表示特性を、前記挿入補助情報が生成された時刻近傍からの経過時間情報により制御する表示制御手段と、
   を具備したことを特徴とする挿入モニタリング装置。
2. 前記解析手段は、前記内視鏡操作として挿入部を挿入する挿入操作、前記挿入部を抜去する抜去操作、挿入部に設けられた湾曲部を湾曲する湾曲操作、前記挿入部を捻る捻り操作の少なくとも１つに対する挿入部の応答動作状態の解析を行うことを特徴とする請求項１に記載の挿入モニタリング装置。
3. 前記挿入操作若しくは前記抜去操作に対する挿入部の応答動作状態を解析する場合には、前記挿入部の手元側の挿入移動量に対して前記挿入部の先端側の相対的移動量に基づいて判定することを特徴とする請求項２に記載の挿入モニタリング装置。
4. 前記表示制御手段は、前記挿入補助情報に対応する形状検出情報が作成された時刻から予め設定された所定時間までの経過時間に応じて、前記挿入補助情報の表示を持続する表示持続特性、前記挿入補助情報の表示色、前記挿入補助情報の表示位置、前記挿入補助情報の表示サイズの少なくとも１つを制御することを特徴とする請求項１から３のいずれか１つに記載の挿入モニタリング装置。
5. 前記解析手段は、処理内容が所定のプログラミング言語で記述されたスクリプトを取得して、前記スクリプトの処理内容と処理順序を実行形式の言語に解釈するスクリプト解釈手段と、前記スクリプト解釈手段によって解釈された処理内容と処理順序で逐次、実行する処理手段とを備えることを特徴とする請求項１から４のいずれか１つに記載の挿入モニタリング装置。

Images