JP2007054401A - 内視鏡挿入形状解析装置 - Google Patents

Abstract

【課題】形状解析を安定的に行え、かつ、内視鏡挿入状態を挿入部全体形状で解析する。
【解決手段】内視鏡挿入形状解析装置としての電子内視鏡システム１は、体腔内に挿入する挿入部を有する電子内視鏡２１と、内視鏡挿入部２１ａの複数のソースコイル、センスコイルユニット３１および形状処理装置３２により挿入部形状を検出する形状観測装置３等と、内視鏡２１が撮像した内視鏡画像と、形状観測装置３が検出した形状とを表示するディスプレイ４４とを有し、さらに形状処理装置３２が検出した情報を基にして、形状処理装置３２が検出した形状に基づき、形状データをパターン分類するＰＣ４１を有する。
【選択図】図１

Description

本発明は、内視鏡挿入部の挿入においてその挿入を阻害等している状況を解析する内視鏡挿入形状解析装置に関する。

内視鏡による挿入観察を行う際、被検体となる体腔内の管腔は、例えば、大腸や小腸等のように曲がっている。そのため、内視鏡挿入部が管腔のどの位置まで挿入されているか、また内視鏡挿入部がどのような形状になっているかが判明すると、内視鏡による観察処置の操作性が向上する。

そのため、従来より、内視鏡挿入時において屈曲状態等を知ることができる装置として、ソースコイル等を用いて内視鏡の挿入形状を検出する内視鏡形状検出装置が提案されている。

ここで、内視鏡による被検体の観察中、術者の意識は、主に管腔の観察部位を撮像生成した内視鏡画像に集中してしまう傾向がある。そして、術者の意識は、内視鏡形状検出装置により生成表示される挿入形状の画像に集中されないことが多い。術者は、内視鏡挿入部の挿入進行に障害が生じて初めて、挿入形状の画像に注目することになる。そのことが、内視鏡観察の進行の妨げおよび、被検体に対する不快感を生じさせる要因となる。

また、一般に内視鏡観察では、内視鏡画像を録画記録して、後日の観察部位の確認や内視鏡操作の習得訓練に用いられる。

そのため、特開２００４−１４７７７８号公報には、内視鏡挿入形状データと内視鏡画像データを共に保存し、両画像を同期再生して、自由に対比可能な内視鏡画像処理装置が提案されている。
特開２００４−１４７７７８号公報

前記提案に係る装置は、例えば大腸に内視鏡を挿入した際の内視鏡挿入部の形状を、内視鏡挿入形状観測装置により検出するとともに、画像処理装置により形状解析を行い、内視鏡挿入部の形状に関する解析結果を提供する。

前記解析結果は、挿入部形状や操作者の内視鏡操作に関するものであって、内視鏡挿入部の形状が所定の形状であるか否か、及び、所定の形状変化を示したかどうか、を判定することによって実現している。

しかしながら、前記装置で提供される解析結果及び解析結果を導く手法には、例えば以、
１）所定の条件を満たすか否かの単純な判定のため、誤判定が生じる（例えば、局所的な特徴（アングル等）に反応してしまい、形状全体として捕らえることができない）
２）一時刻における瞬間の形状で判定しているために、外乱に弱い
といった問題がある。

本発明は、上記事情に鑑みてなされたものであり、形状解析を安定的に行え、かつ、内視鏡挿入状態を挿入部全体形状で解析することのできる内視鏡挿入形状解析装置を提供することを目的としている。

本発明の内視鏡挿入形状解析装置は、
体腔内に挿入する挿入部を有する内視鏡と、
前記内視鏡挿入部の形状を検出する形状検出手段と、
前記形状検出手段が検出した情報を基にして、前記形状検出手段の検出した形状のうち、特定位置または特定部分を解析して求める形状解析手段と、
前記形状解析手段が解析した解析結果に基づき、前記内視鏡挿入部の静的形状をパターン分類するパターン分類手段と
を備えて構成される。

本発明によれば、形状解析を安定的に行え、かつ、内視鏡挿入状態を挿入部全体形状で解析することができるという効果がある。

以下、図面を参照しながら本発明の実施例について述べる。

図１ないし図１３は本発明の実施例１に係わり、図１は電子内視鏡システムの全体構成を示すブロック図、図２はソースコイルが内蔵された図１の内視鏡の挿入部及びソースコイルの座標を示す関係図、図３は内視鏡挿入形状観測装置が生成する挿入形状データの構造を示すデータ構造図、図４は図１の画像処理装置のディスプレイ上に表示される解析ウインドウの構成図、図５は図１の画像処理装置における検査情報および内視鏡画像と、挿入形状データとの処理に関するフローチャート図、図６は図５における形状解析処理の詳細なフローチャート図、図７は図６の処理を説明する図、図８は図１の画像処理装置の記憶装置に格納されている辞書ファイルの構成を示す図、図９は図８の辞書ファイルで分類される形状を示す第１の図、図１０は図８の辞書ファイルで分類される形状を示す第２の図、図１１は図８の辞書ファイルで分類される形状を示す第３の図、図１２は図８の辞書ファイルで分類される形状を示す第４の図、図１３は図８の辞書ファイルで分類される形状を示す第５の図である。

図１に示すように、内視鏡挿入形状解析装置としての電子内視鏡システム１は、内視鏡装置２と、内視鏡挿入形状観測装置３、および画像処理装置４から構成されている。

内視鏡装置２は、電子内視鏡２１、ビデオプロセッサ２２、光源装置２３および、観察モニタ２４から構成されている。

電子内視鏡２１は、挿入部２１ａ内に設けられた図示しないライトガイドにより、挿入部２１ａの先端部から管腔内の観察部位を照明する観察光が照射されるように構成されている。電子内視鏡２１は、被検体である体腔の管腔内に挿入される細長の挿入部２１ａ先端に、図示しない電子撮像素子（例えば、ＣＣＤ）が設けられている。さらに、電子内視鏡２１は、その電子撮像素子が駆動制御され、管腔内の観察部位の撮像映像信号を生成し出力する。

さらに、電子内視鏡２１の挿入部２１ａの先端部分には、湾曲部２１ｂが設けられ、挿入部２１ａ基端側に設けられた操作部２１ｃにおいて湾曲操作可能になっている。

また、電子内視鏡２１の操作部２１ｃには、レリーズスイッチ２５が設けられている。さらに、操作部２１ｃには、ビデオプロセッサ２２との間において前記電子撮像素子を駆動制御しかつ撮像生成された撮像映像信号を送受信するためのケーブルが設けられている。また、操作部２１ｃには、光源装置２３からの観察光を前記ライトガイドに導くライトガイドケーブル（図示せず）等が設けられている。

また、電子内視鏡２１には、管腔における挿入部２１ａの挿入位置および形状を検出するための検出機能を構成する後述の複数のソースコイルが設けられている。その挿入の位置および形状検出機能は、挿入部２１ａの挿入軸に沿って配置された複数のソースコイルと、内視鏡挿入形状観測装置３に設けられた複数のセンスコイルを有するセンスコイルユニット３１とからなっている。

なお、複数のソースコイルは、内視鏡の挿入部２１ａに、内視鏡の種類ごとに決定される所定間隔に配置されている。

ビデオプロセッサ２２は、電子内視鏡２１の電子撮像素子を駆動制御する。さらに、ビデオプロセッサ２２は、電子撮像素子により光電変換されて撮像生成された動画の映像信号を所定の信号処理を行い、輝度信号と色信号からなるＹ／Ｃ信号または、ＲＧＢ信号等を生成する。そのビデオプロセッサ２２により生成された輝度信号と色信号からなるＹ／Ｃ信号または、ＲＧＢ信号は、観察モニタ２４と画像処理装置４へと直接出力されるようになっている。

また、ビデオプロセッサ２２は、内視鏡２１のレリーズスイッチ２５が操作されると、撮像画像の静止画像の出力指示が可能となっている。

なお、ビデオプロセッサ２２には、内視鏡検査に関する検査情報を入力する図示しない入力機能を有している。

光源装置２３は、照明光源である図示しないランプと、そのランプの図示しない点灯回路等からなっている。光源装置２３は、ランプ点灯時に投射された照明光を電子内視鏡２１のライトガイドへと供給し、照明光は、挿入部２１ａ先端から管腔の観察部位へと投射される。

観察モニタ２４は、前記ビデオプロセッサ２２において生成されたＹ／Ｃ信号またはＲＧＢ信号等を基に、内視鏡画像を表示するものである。

内視鏡挿入形状観測装置３は、内視鏡装置２の周辺装置であり、センスコイルユニット３１と、形状処理装置３２と、モニタ３３とから構成されている。センスコイルユニット３１は、電子内視鏡２１の挿入部２１ａに設けられた複数のソースコイルからの磁界を検出するユニットである。形状処理装置３２は、そのセンスコイルユニット３１によって検出された磁界に基づいて内視鏡挿入部の形状を推定する装置である。モニタ３３は、その形状処理装置３２によって推定された内視鏡挿入部の形状を表示する装置である。

形状処理装置３２は、ソースコイルを駆動する駆動信号を電子内視鏡２１に出力してソースコイルに磁界を発生させる。形状処理装置３２は、発生された磁界を検出したセンスコイルユニット３１からの検出信号に基づいて、各ソースコイルの位置座標データの算出し、その算出された位置座標データから内視鏡挿入部の形状を推定している。また、形状処理装置３２は、推定した内視鏡挿入部の形状をモニタに表示するための挿入部形状画像信号を生成する。さらに、形状処理装置３２は、画像処理装置４に出力する内視鏡挿入部の形状を示す３次元座標情報および、形状表示属性等の挿入形状データを生成するように構成されている。

以上のように、複数のソースコイル、センスコイルユニット３１、形状処理装置３２が形状検出手段を構成している。

なお、内視鏡挿入形状観測装置３において、形状処理装置３２により処理生成されてモニタ３３に表示される挿入部形状画像の回転角および、拡大縮小等の形状表示属性は、図示しない操作パネルからの指示入力により、変更可能となっている。さらに、形状処理装置３２により生成された挿入形状データは、画像処理装置４へ出力可能となっている。

画像処理装置４は、形状解析手段及びパターン分類手段を構成するパーソナルコンピュータ（以下、単にＰＣと称する）４１と、マウス４２と、キーボード４３とから構成されている。マウス４２とキーボード４３は、ＰＣ４１に各種指示入力するための入力装置である。ディスプレイ４４は、ＰＣ４１により処理された各種情報データおよび画像情報を再生表示する装置である。また、表示手段としてのディスプレイ４４は、電子内視鏡２１が撮像した内視鏡画像と、形状処理装置３２が検出した内視鏡挿入部の形状とを１つの画面上に表示するようになっている。

さらに、ＰＣ４１は、第１通信ポート４１ａと、第２通信ポート４１ｂと、動画像入力ボード４１ｃと、例えば半導体素子等からなるメモリ４１ｅと、例えばハードディスク等からなる情報格納手段としての記憶装置４１ｆとを有している。形状解析手段としてのＰＣ４１は、後述のように、挿入形状データ等を基に、内視鏡挿入を阻害している特定位置等を算出、すなわち解析して求めるようになっている。

第１通信ポート４１ａは、内視鏡挿入形状観測装置３の形状処理装置３２の通信ポート３２ａから出力される挿入形状データを、取り込むようになっている。

第２通信ポート４１ｂは、内視鏡装置２のビデオプロセッサ２２の通信ポート２２ａから出力される内視鏡検査情報を取り込むようになっている。

動画像入力ボード４１ｃは、内視鏡装置２のビデオプロセッサ２２において生成された動画映像信号を所定の圧縮画像データに変換するものである。
つまり、画像処理装置４の動画像入力ボード４１ｃには、ビデオプロセッサ２２により生成された動画像の映像信号が入力される。そして、動画像入力ボード４１ｃは、その動画像の映像信号を所定の圧縮動画映像信号データ、例えばＭＪＰＥＧ形式の圧縮画像データに変換する。変換された圧縮画像データは、ＰＣ４１の記憶装置４１ｆに保存される。

なお、一般的には、内視鏡検査開始前には、ビデオプロセッサ２２から、内視鏡検査に関する検査情報が入力される。その入力されたデータをもとに、検査情報が、観察モニタ２４に文字および数字の情報として表示される。さらに、その検査情報データは、通信ポート２２ａから第２通信ポート４１ｂを介して、画像処理装置４に送信しメモリ４１ｅあるいは記憶装置４１ｆに記録することも可能である。

また、検査情報とは、例えば、患者の氏名、生年月日、性別、年齢、患者コードなどである。

つまり、画像処理装置４は、必要に応じてビデオプロセッサ２２と接続して、ビデオプロセッサ２２からの各種情報データを受信しメモリ４１ｅあるいは記憶装置４１ｆに保存するようになっている。

次に、内視鏡挿入形状観測装置３における挿入形状データの生成について説明する。

内視鏡挿入形状観測装置３は、電子内視鏡２１の電子撮像素子により撮像される撮像映像信号の１フレームごとに、電子内視鏡２１の挿入部２１ａに内蔵されたＭ個のソースコイルの３次元座標を含む挿入形状データを生成する。内視鏡挿入形状観測装置３は、その挿入形状データをもとに挿入部形状画像を生成して、モニタ３３に表示するとともに、挿入形状データを画像処理装置４に出力供給する。

図２に示すように、電子内視鏡２１の挿入部２１ａに挿入形状推定のためのＭ個のソースコイルが内蔵されている。そして、各ソースコイルの位置が、参照点を構成している。内視鏡挿入形状観測装置３において検出するソースコイルの座標系は、第ｊフレームの挿入部２１ａ先端から数えてｍ番目のソースコイルの３次元座標を、次の式１で表されるようになっている。
（Ｘ^j _m，Ｙ^j _m，Ｚ^j _m） …（式１）
ただし、ｍ＝０，１，…，Ｍ−１である。また、ｊは、電子撮像素子により撮像された撮像映像信号の第ｊフレームを表している。

内視鏡挿入形状観測装置３により検出されたソースコイルの座標系を示す挿入形状データの構造は、図３に示すような構造であり、１つのフレームに関係するデータが１つのパケットとして送信される。１つのパケットは、フォーマット種別情報、挿入形状データの作成時刻、表示属性情報、付属情報、ソースコイル座標のデータから構成されている。

本実施例においてフォーマット種別とは、挿入形状データ作成時刻、表示属性、付属情報、コイル座標のそれぞれに割り当てるデータサイズを規定するものである。また、データサイズの規定とは、内視鏡の種類ごとに決定されるソースコイルのデータ数、挿入形状データ作成時刻、コイル座標の精度、表示属性や付属情報に含まれる情報量の規定を意味する。

ここで、ソースコイルは、挿入部２１ａ先端から挿入部２１ａの基端側に設けられている操作部２１ｃ側に向かって、順に並んで配置されている。つまり、それらソースコイルの座標データは、電子内視鏡２１の挿入部２１ａに内蔵されているソースコイルの３次元座標である。尚、内視鏡挿入形状観測装置３が検出範囲外とするソースコイルの座標は、３次元座標（０，０，０）が設定されるようになっているものとする。

次に、図５のフローチャートを用いて、画像処理装置４における処理フローについて説明する。すなわち、内視鏡装置２のビデオプロセッサ２２からの検査情報と内視鏡画像、および内視鏡挿入形状観測装置３の形状処理装置３２からの挿入形状データについての処理内容である。

その処理動作は、画像処理装置４に設けられた検査用アプリケーションプログラム（以下、アプリケーションプログラムを単にアプリケーションという）をＰＣ４１において展開し実行させることにより実現する。

内視鏡検査を始めるにあたり、ビデオプロセッサ２２では検査情報を入力し、画像処理装置４のＰＣ４１は検査用アプリケーションを起動する。その検査用アプリケーションが起動すると、ディスプレイ４４には、図４に示す解析ウインドウ５０が表示されるように構成されている。ただし、図４は、挿入形状データを処理している最中の表示内容を示している。

ここで、図４を参照して、まず前提となる解析ウインドウ５０について説明する。

解析ウインドウ５０は、ファイルメニュー５１、警告情報表示領域５２、検査情報表示領域５３、内視鏡画像表示領域５４、内視鏡挿入形状表示領域５５、付属情報表示領域５６、表示パラメータチェックボックス５７、解析値表示領域５８、時系列グラフ領域５９、時系列サブ情報表示領域６０、スライダー６１、開始ボタン６２および、停止ボタン６３を含んでいる。

時系列グラフ領域５９と時系列サブ情報表示領域６０のＸ軸は、時間軸であり、図４の左右方向である。時系列グラフ領域５９と時系列サブ情報表示領域６０は、挿入形状データを取得するごとに、すなわち経時的に、点のプロットを行いながら、プロット位置を図４の右方向に移動させてグラフを作成する領域である。プロットする点のＹ軸方向の位置は、画像処理装置４のＰＣ４１が算出した内視鏡挿入部２１ａの形状をあらわす特徴量の値によって決定される。本実施例では、内視鏡画像処理装置４が算出したアングル、挿入長、特定位置としての停止コイル位置をプロットする。すなわち、算出された特定位置がグラフにより視覚化されるように処理される。それぞれ、Ｙ軸のスケール、０点位置が個別に設定される。なお、Ｙ軸方向は、図４の上下方向である。

表示パラメータチェックボックス５７の選択肢として、本実施例ではアングル、挿入長、及び停止コイル位置がある。そのチェックボックスをチェックすることにより、時系列グラフ領域５９に表示するパラメータの種類を選択する。

アングル、挿入長の各パラメータに関する算出手法は、従来技術である特開２００４−１４７７７８号公報における手法と同等である。

次に、停止コイル位置に関する算出手法について、以下に詳述する。

解析ウインドウ５０のファイルメニュー５１を選択すると、画像処理装置４が過去に記録した挿入形状ファイルと、画像ファイルとを選択するための、図示しない選択ウインドウが表示され、各々のファイルを選択して読み込むことが可能である。挿入形状ファイルとは、内視鏡挿入形状観測装置３が一検査内に生成した挿入形状データの集合ファイルである。画像ファイルとは、画像処理装置４の動画像入力ボード４１ｃが生成した圧縮画像データの集合ファイルである。

画像処理装置４のＰＣ４１に検査用アプリケーションが展開されて実行されると、図５に示すように、ステップＳ１において、ＰＣ４１は、アプリケーションの初期化情報を初期化ファイルから読み込む。なお、初期化ファイルは、ＰＣ４１の記憶装置４１ｆにあらかじめ記憶されている。そして、ＰＣ４１は、読み込んだ初期化ファイルの情報をＰＣ４１内のメモリ４１ｅ上に記憶した後、ディスプレイ４４に解析ウインドウ５０を表示する。

本実施例では、初期化情報として、電子内視鏡システム１において使用可能な電子内視鏡２１の名称と、挿入形状データのフォーマット種別ごとのデータサイズ情報とを含んでいる。さらに、初期化情報としては、電子内視鏡２１の挿入部２１ａを直線化した際のソースコイル間の距離と、形状解析処理に使用するパラメータとを含んでいる。なお、ソースコイル間の距離は、以下、ソースコイル間距離情報と称する。

またさらに、初期化情報として、解析ウインドウ５０のディスプレイ４４上における表示位置座標も含んでいる。その表示位置座標に基づいてＰＣ４１は、ディスプレイ４４に解析ウインドウ５０を表示する。

ステップＳ２において、ＰＣ４１は、ビデオプロセッサ２２からの検査情報および内視鏡画像データ、内視鏡挿入形状観測装置３の形状処理装置３２からの挿入形状データを受信し保存するモードに設定する。

次に、ステップＳ３において、ＰＣ４１は、術者がマウス４２またはキーボード４３を操作し、解析ウインドウ５０に表示された開始ボタン６２が押下されたか否かを判断する。開始ボタン６２が押下されるまで待機し、押下されるとステップＳ４以降が実行される。

ステップＳ４において、ＰＣ４１は第１通信ポート４１ａを開き、内視鏡挿入形状観測装置３との通信を開始する。さらにステップＳ５において、ＰＣ４１は第２通信ポート４１ｂを開き、ビデオプロセッサ２２との通信を開始する。

ステップＳ６において、ＰＣ４１は、ビデオプロセッサ２２に対して、検査情報の取得コマンドを第２通信ポート４１ｂからビデオプロセッサ２２の通信ポート２２ａに送信する。その検査情報取得コマンドを受信したビデオプロセッサ２２は、検査情報をＰＣ４１へと送信する。

ＰＣ４１は、ステップＳ６においてビデオプロセッサ２２から送信された検査情報を、ステップＳ７において、記憶装置４１ｆに記録し保存するとともに、解析ウインドウ５０の検査情報表示領域５３に表示する。

ステップＳ８において、ＰＣ４１は、第１通信ポート４１ａから内視鏡挿入形状観測装置３の形状処理装置３２の通信ポート３２ａに対して、挿入形状データの取得コマンドを送信する。その挿入形状データ取得コマンドを受信した形状処理装置３２は、挿入形状データの送信出力を開始する。その送信は、ＰＣ４１と形状処理装置３２の間の通信が終了し、通信ポート３２ａが閉じられるまで続けられる。

ステップＳ９において、ＰＣ４１は、ステップＳ８における形状処理装置３２から送信出力された挿入形状データを受信する。そして、ＰＣ４１は、受信した挿入形状データと、ステップＳ７において記録し保存した検査情報とを関連付けて、ＰＣ４１に設けられている記憶装置４１ｆに挿入形状ファイルとして記録し保存する。また同時に、ＰＣ４１内のメモリ４１ｅ上に、挿入形状データを随時記録する。

ＰＣ４１は、ステップＳ１０において、ビデオプロセッサ２２から入力された動画映像信号を動画像入力ボード４１ｃによりＭＪＰＥＧ形式の圧縮画像データに変換させる。さらにＰＣ４１は、その圧縮画像データとステップＳ７において記録保存した検査情報と関連付けて、ＰＣ４１の記憶装置４１ｆに画像ファイルとして保存するとともに、動画像入力ボード４１ｃに入力されている動画像を解析ウインドウ５０の内視鏡画像表示領域５４に表示させる。

ＰＣ４１は、ステップＳ１１において、図６に示す各ステップの解析処理を実行する。その解析処理が終了すると、ＰＣ４１は、ステップＳ１２において、解析ウインドウ５０の停止ボタン６３が押下されたか否かを判断し、停止ボタン６３が押下されていないと判定されるとステップＳ８に戻るとともに、解析ウインドウ５０のスライダー６１を１ステップ右に移動させる。

停止ボタン６３が押下されたと判定されると、ＰＣ４１はステップＳ１３において、第１通信ポート４１ａと第２通信ポート４１ｂとを閉じて、内視鏡挿入形状観測装置３とビデオプロセッサ２２との情報データの通信を終了する。

次に、図６を用いて、ステップＳ１１の形状解析処理について説明する。

ステップＳ２１において、ＰＣ４１は、前フレームの挿入形状データのフレームパケットのフォーマット種別情報と、付属情報に含まれる内視鏡種類情報とを取得する。

ＰＣ４１は、取得した挿入形状データのフォーマット種別に基づいて、図５のステップＳ１においてメモリ４１ｅ上に保持している、フォーマット種別に対応したフレームパケットに含まれる情報のデータサイズ情報を取得し、挿入形状データのフレームパケットを各データに分解処理する。フォーマット種別の名称は、解析ウインドウ５０の付属情報表示領域５６に表示する。

また、ＰＣ４１は、前記分解処理によって生成した付属情報から電子内視鏡２１の名称を取得し、解析ウインドウ５０の付属情報表示領域５６に表示する。とともに、ＰＣ４１は、取得した電子内視鏡２１の名称に基づいて、図５のステップＳ１にてメモリ４１ｅ上に保持している、電子内視鏡２１の名称に対応したソースコイル間距離情報を取得する。

そして、ステップＳ２２において、以下の処理（１）〜処理（７）の各種解析処理を実行する。

処理（１）：挿入長の算出処理（測定範囲内に存在するソースコイルを先端から数え上げる処理）
処理（２）：ループの判定処理（Ｚ軸方向（図２参照）に投影したときの挿入部２１ａの交差点が存在するか否かの処理）
処理（３）：アングルの算出処理（湾曲部２１ｂのアングルの算出処理）
処理（４）：曲率半径の算出処理（挿入部２１ａの局所的な曲率半径の算出処理）
処理（５）：根元に対する角度の算出（挿入部２１ａの根元近辺に位置するソースコイルの挿入軸方向と、各ソースコイルの挿入軸方向のなす角度の算出処理）
処理（６）：１フレームあたりの移動量の算出（前フレームと現フレームとのソースコイルの位置座標の差分による、各ソースコイルの移動量の算出処理）
処理（７）：１フレームあたりの推進量の算出（移動量を、各ソースコイルの位置にて挿入軸方向に投影したときの値の算出処理）
次に、ステップＳ２３において、図７に示すように、ステップＳ２２で算出した各解析値のそれぞれに対してフラグを生成し、そのフラグを並べてビット列とみなすことによりバイトコードに変換することで、解析結果をコード化する。

ＰＣ４１は、図８に示す辞書ファイルを記憶装置４１ｆに保存している。この辞書ファイルは、バイトコードと、バイトコードに対する内視鏡形状分類ＩＤ、内視鏡形状分類情報、内視鏡形状分類補助情報、操作補助情報を対応付けて管理している。

詳細には、内視鏡形状分類ＩＤは、内視鏡形状が取りうるすべての形状を分類して、それぞれにＩＤを割り振ったものである。

また、本実施例では、図９ないし図１３に示すように、例えば、下部内視鏡挿入時の形状は、直線形状（図９）、ステッキ形状（図１０）、中折れ形状（図１１）、ループ形状（図１２）、腰砕け形状（図１３）の５パターンに大別、分類することが可能であるため、各パターンを示す文字列（直線、ステッキ、中折れ、ループ、腰砕け）を、内視鏡形状分類情報として辞書ファイルの記憶している。

さらに、内視鏡形状分類補助情報は、ループや腰砕け時の螺旋形状に対して、挿入部２１ａを根元から先端への方向から見たときの挿入軸方向の回転方向の情報である。

また、操作補助情報は、各コードに対応する内視鏡形状に対して、ループまたは螺旋形状、ステッキなどの、先端部の前進を阻害する要因を取り除くために必要な挿入部２１ａの操作情報である。例えば、操作補助情報が回転操作である場合には、操作者が、挿入部２１ａの根元を操作補助情報が示す方向に捻ることにより、挿入部２１ａのループまたは螺旋形状は解除され、挿入部２１ａが真直ぐになるように形状を変化させることとなる。

そして、ステップＳ２４において、ステップＳ２３で生成されたバイトコードをキーとして辞書ファイル検索及び取得結果を解析ウインドウ５０の警告情報表示領域５２（図４参照）に表示する。具体的には、ステップＳ２３で求めたバイトコードに該当する情報を辞書ファイルから検索、取得して、文字情報（内視鏡形状分類情報、内視鏡形状分類補助情報、操作補助情報）を解析ウインドウ５０の警告情報表示領域５２に表示する。なお、バイトコードに該当する情報がない場合には、表示処理を行わない。

そして、ステップＳ２５において、挿入形状データに関する２次元投影の内視鏡形状画像を生成すると共に、解析ウインドウ５０の内視鏡挿入形状表示領域５５に表示し、ステップＳ１２に進む。

このように本実施例では、内視鏡挿入部の形状を逐一コード化し、そのコードに対応する内視鏡形状パターン、操作補助情報を表示するため、複数の判定条件による統合的な形状判定処理系を容易に構築することが可能となり、操作者に提示する補助情報の正確性が向上する。

すなわち、解析結果を統合して得られる判定結果を元に、内視鏡挿入部の形状をパターン分類して、各パターンに応じた情報を提供することができ、形状解析を安定的に行え、かつ、内視鏡挿入状態を挿入部全体形状で解析することが可能となる。

また、各コードに対応する情報を、辞書ファイルから検索／取得動作により表示するため、プログラムを変更する（コンパイル、ビルドしなおす）ことなく、辞書ファイルを編集するだけで表示内容を変更することが可能となる。

図１４ないし図１８は本発明の実施例２に係わり、図１４は画像処理装置のメモリに構築されるリングバッファを示す図、図１５は図１４のリングバッファを用いた画像処理装置の処理の流れを説明するフローチャート、図１６は図１５の処理を説明する図、図１７は図１５の処理で利用可能な画像処理装置の記憶装置に格納される辞書ファイルを示す図、図１８は図１５の処理で利用可能な画像処理装置の記憶装置に格納されるコード修正辞書を示す図である。

実施例２は、実施例１とほとんど同じであるので、異なる点のみ説明し、同一の構成には同じ符号をつけ説明は省略する。

本実施例では、メモリ４１ｅ内に、図１４に示すような、例えばサイズ８のリングバッファ９０が設けられている。

挿入形状データには検査開始からのデータ取得カウントCountが関連付けられているため、本実施例においては、Count/8の剰余をこのリングバッファ９０の格納位置とすることにより、過去N回（但し、N<8）の挿入形状データの記憶及び取得を実現している。その他の構成は実施例１と同じである。

本実施例では、実施例１とステップＳ１１の形状解析処理の一部が異なるので、図１５ないし図１７を用いて異なる点を説明する。

本実施例の形状解析処理では、図１５及び図１６に示すように、実施例１で説明したステップＳ２１〜Ｓ２３の処理を実行した後、ステップＳ３１において、リングバッファ９０に格納されている、例えば過去３回の格納情報（挿入形状データ）を取得する。リングバッファ９０の位置は、現在のデータ取得カウントCountに対して、(Count-1)/8,(Count-2)/8,(Count-3)/8の各剰余により求める。そして、取得した過去３回の格納情報と、ステップＳ２３で求めたバイトコードとを順次結合して、４バイトの４バイトコードを生成する。

本実施例では、ＰＣ４１は、図１７に示す辞書ファイルを記憶装置４１ｆに保存している。この辞書ファイルは、４バイトコードと、４バイトコードに対応する内視鏡形状分類ＩＤ、内視鏡形状分類情報、内視鏡形状分類補助情報、操作補助情報を対応付けて管理している。

そして、ステップＳ２４にて、ステップＳ３１で求めた４バイトコードに該当する情報を辞書ファイルから検索、取得して、文字情報（内視鏡形状分類ＩＤ、内視鏡形状分類情報、内視鏡形状分類補助情報、操作補助情報）を解析ウインドウ５０の警告情報表示領域５２に表示する。なお、バイトコードに該当する情報がない場合には、表示処理を行わない。

次にステップＳ３２にて、ステップＳ２３において求めたバイトコードを、ＰＣ４１のメモリ４１ｅにあるリングバッファ９０の該当位置に記憶させる。

その後、実施例１と同様に、ステップＳ２５において、挿入形状データに関する２次元投影の内視鏡形状画像を生成すると共に、解析ウインドウ５０の内視鏡挿入形状表示領域５５に表示し、ステップＳ１２に進む。

なお、より単純に、前回の挿入形状データの処理結果をメモリ４１ｅに保持させておき、今回の挿入形状データの処理結果との比較処理（例えば、前回の処理結果と今回の処理結果とが同一であるか否か）によって、表示させる操作補助情報を決定するように構成してもよい。

また、ＰＣ４１の記憶装置４１ｆに、図１８に示すようなコード修正辞書を格納し、ステップＳ３１において４バイトコードを、このコード修正辞書により修正してもよい。

このように本実施例では、実施例１と同様に、内視鏡挿入部の形状を逐一コード化し、そのバイトコードと、過去取卿処理したバイトコードとを組み合わせて生成した４バイトコードに対応する内視鏡形状パターン、操作補助情報を表示するため、外乱による誤処理を防止するとともに、内視鏡の一連の操作に対する判定が可能となるため、操作者に提示する操作補助情報の正確性が向上する。

また、各４バイトコードに対応する情報を、辞書ファイルからの検索／取得動作により表示するため、プログラムを変更する（コンパイル、ビルドしなおす）ことなく、辞書ファイルを編集するだけで表示内容を変更することが可能となる。

図１９ないし図２４は本発明の実施例３に係わり、図１９は電子内視鏡システムの全体構成を示すブロック図、図２０は図１９の画像処理装置のＰＣの動作プログラムの構成を示すブロック図、図２１は図２０の動作プログラムの出力先登録ブロックが展開する登録ウインドウを示す図、図２２は図２０の動作プログラムの処理の流れを示す第１のフローチャート、図２３は図２０の動作プログラムの処理の流れを示す第２のフローチャート、図２４は図２０の動作プログラムの処理の流れを示す第３のフローチャートである。

実施例３は、実施例１とほとんど同じであるので、異なる点のみ説明し、同一の構成には同じ符号をつけ説明は省略する。

図１８に示すように、画像処理装置４のＰＣ４１は、例えば外部装置である画像ファイルイング装置１００と通信可能な第３通信ポート４１ｄを備えている。

画像ファイルイング装置１００は画像データを管理／記録するＰＣ１０１と、このＰＣ１０１に接続可能なマウス１０２、キーボード１０３及びディスプレイ１０４から構成される。画像ファイルイング装置１００のＰＣ１０１は、画像処理装置４のＰＣ４１と通信可能な通信ポート１０１ａ、メモリ１０１ｂ、記録装置１０１ｃを有している。

図１９は、画像処理装置４のＰＣ４１で動作する動作プログラムである、挿入形状解析アプリケーション１５１、挿入形状データ記録アプリケーション１５１ａ、挿入形状表示アプリケーション１５１ｂ及び挿入形状データ管理アプリケーション１５２の処理ブロックと、各アプリケーションが使用するメモリ４１ｅのメモリブロックを構成を示すブロック図である。

メモリ４１ｅは、挿入形状解析アプリケーション１５１が使用する挿入形状解析アプリケーション用メモリ１４１ａと、挿入形状データ管理アプリケーション１５２が使用する挿入形状データ管理アプリケーション用メモリ１４１ｂと、挿入形状解析アプリケーション１５１及び挿入形状データ管理アプリケーション１５２が共用する共用メモリ１４１ｃとから構成される。この共用メモリ１４１ｃに対しては、挿入形状解析アプリケーション１５１及び挿入形状データ管理アプリケーション１５２のどちらからもアクセス可能である。

また、挿入形状データ管理アプリケーション１５２は、挿入形状データ取得ブロック１６１及びメッセージ送信ブロック１６２とからなる第１スレッドと、挿入形状データ送信ブロック１６３からなる第２スレッドと、出力先管理ブロック１６４及び出力先登録ブロック１６５とからなる第３スレッドとから構成される。

このように構成された本実施例の作用について、図２０ないし図２３を用いて説明する。

第３スレッド内の出力先登録ブロック１６５は、図２０に示す登録ウインドウ１７１をディスプレイ４４に表示し、登録ウインドウ１７１内のチェックボックス１７２におけるチェックの有無をメモリ４１ｅ内の挿入形状データ管理アプリケーション用メモリ１４１ｂ領域に記憶する。

第２スレッド内の挿入形状送信ブロック１６３は、第３スレッドの出力先管理ブロック１６４を通じて、メモリ４１ｅ内の挿入形状データ管理アプリケーション用メモリ１４１ｂ領域に、画像ファイリング装置１００が送信先としてチェックされていることを示す内容が記憶されているか否かを確認する。

そして、第２スレッド内の挿入形状送信ブロック１６３は、画像ファイリング装置１００が送信先に指定されている場合には、図２１に示すフローに従って画像ファイリング装置１００との第３通信ポート４１ｄを介した送受信処理を行う。

画像ファイリング装置１００から送信要求がきたら、第２スレッドの挿入形状データ送信ブロック１６３は、共有メモリ１４１ｃのバッファ内にある挿入形状データを読み込み、第３通信ポート４１ｄを使用して画像ファイリング装置１００に挿入形状データを送信する。送信し終わったら、画像ファイリング装置１００からの送信要求待ちの状態に移行し、同様の処理を繰り返す。

第１スレッド内の挿入形状データ取得ブロック１６１は、第３スレッドの出力先管理ブロック１６４を通じて、メモリ４１ｅ内の挿入形状データ管理アプリケーション用メモリ１４１ｂ領域に、挿入形状データ記録アプリケーション１５１ａまたは挿入形状表示アプリケーション１５１ｂ、または挿入形状解析アプリケーション１５１が送信先としてチェックされていることを示す内容が記憶されているか否かを確認する。

第１スレッドは、図２２に示すフローに従って、内視鏡形状観測装置３との通信ポート３２ａを介した送受信を行う。本実施例では、挿入形状解析アプリケーション１５１が送信先としてチェックされているものとして説明する。

挿入形状データ取得ブロック１６１は、通信ポート２を通じて、内視鏡挿入形状観測装置３に挿入形状データの送信要求を行う。

内視鏡挿入形状観測装置３は、通信ポート３２ａを通じ挿入形状データを送信し、挿入形状データ取得ブロック１６１が挿入形状データを受信して、共有メモリ１４１ｃのバッファに書き込む。

続いて、メッセージ送信ブロック１６２は、挿入形状解析アプリケーション１５１のウィンドウハンドルをＯＳ（オペレーティングシステム）から検索／取得し、有効なウィンドウハンドルを取得した場合に、そのウィンドウハンドルに対してメツセージを送信する。そのメッセージの引数として、共有メモリ１４１ｃ内のバッファの位置を指定する。

挿入形状解析アプリケーション１５１は、図２３に示すように、ステップＳ４１にてメッセージの引数に基づいて、共有メモリ１４１ｃ内のバッファをアクセスして、挿入形状データを取得する。このタイミングが、実施例１で説明した図４におけるステップＳ８に相当する。

挿入形状解析アプリケーション１５１は、取得した挿入形状データを、メモリ４１ｅ内の挿入形状データ管理アプリケーション用メモリ１４１ｂにコピーして、処理完了を示す確認を挿入形状データ取得プロック１６１に伝達する。

挿入形状データ取得ブロック１６１は、メッセージ送信後、挿入形状解析アプリケーション１５１からの確認が伝達されるのを待ちつづけており、確認が伝達された時点で、同様の処理を繰り返す。

なお、共有メモリ１４１ｃヘの読み込み、書き込み時の排他処理はＯＳの用意するアトミックなメモリ読み書きの仕組みを利用して実現するものとする。

このように本実施例では、実施例１の効果に加え、挿入形状データを、複数のアプリケーション、複数の装置間で共用使用するため、機能を分割した複数の処理モジュールを並列に動作させることが容易になり、必要に応じた構成でシステム構築することが容易になると共に、システム開発のコストを軽減することが可能となる。

本発明は、上述した実施例に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

本発明の実施例１に係わり、図１は電子内視鏡システムの全体構成を示すブロック図、図２は、図３は、図４は、図５は、図６は、図７は、図８は ソースコイルが内蔵された図１の内視鏡の挿入部及びソースコイルの座標を示す関係図 内視鏡挿入形状観測装置が生成する挿入形状データの構造を示すデータ構造図 図１の画像処理装置のディスプレイ上に表示される解析ウインドウの構成図 図１の画像処理装置における検査情報および内視鏡画像と、挿入形状データとの処理に関するフローチャート図 図５における形状解析処理の詳細なフローチャート図 図６の処理を説明する図 図１の画像処理装置の記憶装置に格納されている辞書ファイルの構成を示す図 図８の辞書ファイルで分類される形状を示す第１の図 図８の辞書ファイルで分類される形状を示す第２の図 図８の辞書ファイルで分類される形状を示す第３の図 図８の辞書ファイルで分類される形状を示す第４の図 図８の辞書ファイルで分類される形状を示す第５の図 本発明の実施例２に係る画像処理装置のメモリに構築されるリングバッファを示す図 図１４のリングバッファを用いた画像処理装置の処理の流れを説明するフローチャート 図１５の処理を説明する図 図１５の処理で利用可能な画像処理装置の記憶装置に格納される辞書ファイルを示す図 図１５の処理で利用可能な画像処理装置の記憶装置に格納されるコード修正辞書を示す図 本発明の実施例３に係る電子内視鏡システムの全体構成を示すブロック図 図１９の画像処理装置のＰＣの動作プログラムの構成を示すブロック図 図２０の動作プログラムの出力先登録ブロックが展開する登録ウインドウを示す図 図２０の動作プログラムの処理の流れを示す第１のフローチャート 図２０の動作プログラムの処理の流れを示す第２のフローチャート 図２０の動作プログラムの処理の流れを示す第３のフローチャート

符号の説明

３…内視鏡挿入形状観測装置
２１…電子内視鏡，
２１ａ…挿入部
３１…センスコイルユニット
３２…形状処理装置
４１…ＰＣ
４４…ディスプレイ…

Claims (12)

1. 体腔内に挿入する挿入部を有する内視鏡と、
   前記内視鏡挿入部の形状を検出する形状検出手段と、
   前記形状検出手段が検出した情報を基にして、前記形状検出手段の検出した形状のうち、特定位置または特定部分を解析して求める形状解析手段と、
   前記形状解析手段が解析した解析結果に基づき、前記内視鏡挿入部の静的形状をパターン分類するパターン分類手段と
   を有することを特徴とする内視鏡挿入形状解析装置。
2. 前記パターン分類手段は、前記静的形状をコード化した静的パターンコードにより、前記静的形状をパターン分類する
   ことを特徴とする請求項１に記載の内視鏡挿入形状解析装置。
3. 前記静的パターンコードと、前記静的パターンコードに対応した所定のパターン情報とを関連づけた静的辞書ファイルを格納した情報格納手段を有し、
   前記パターン分類手段は、前記静的辞書ファイルに基づき、前記静的形状をパターン分類する
   ことを特徴とする請求項２に記載の内視鏡挿入形状解析装置。
4. 前記パターン情報は、前記内視鏡の前記体腔内への挿入操作補助情報を含む
   ことを特徴とする請求項３に記載の内視鏡挿入形状解析装置。
5. 前記情報格納手段は、前記静的パターンコードを修正する修正コードファイルを格納し、
   前記パターン分類手段は、前記修正コードファイルに基づき、前記静的パターンコードを修正して、前記静的辞書ファイルに基づき、前記静的形状をパターン分類する
   ことを特徴とする請求項３または４に記載の内視鏡挿入形状解析装置。
6. 前記パターン分類手段は、複数の前記静的パターンコードを統合した動的パターンコードを生成すると共に、前記動的パターンコードにより、前記内視鏡挿入部の動的形状をパターン分類する
   ことを特徴とする請求項２ないし５に記載の内視鏡挿入形状解析装置。
7. 前記動的パターンコードを生成する複数の前記静的パターンコードは、前記形状解析手段が解析した時間的に連続した解析結果に基づく静的パターンコードである
   ことを特徴とする請求項６に記載の内視鏡挿入形状解析装置。
8. 前記動的パターンコードと、前記動的パターンコードに対応した所定のパターン情報とを関連づけた動的辞書ファイルを格納した情報格納手段を有し、
   前記パターン分類手段は、前記動的辞書ファイルに基づき、前記動的形状をパターン分類する
   ことを特徴とする請求項６または７に記載の内視鏡挿入形状解析装置。
9. 前記パターン情報は、前記内視鏡の前記体腔内への挿入操作補助情報を含む
   ことを特徴とする請求項８に記載の内視鏡挿入形状解析装置。
10. 前記情報格納手段は、前記動的パターンコードを修正する修正コードファイルを格納し、
    前記パターン分類手段は、前記修正コードファイルに基づき、前記動的パターンコードを修正して、前記動的辞書ファイルに基づき、前記動的形状をパターン分類する
    ことを特徴とする請求項８または９に記載の内視鏡挿入形状解析装置。
11. 前記形状検出手段が検出した前記内視鏡挿入部の形状の形状データの出力先を登録するデータ出力先登録手段と、
    前記データ出力先登録手段により登録された出力先に、前記形状データを出力するデータ出力手段と
    をさらに備えたことを特徴とする請求項１ないし１０に記載の内視鏡挿入形状解析装置。
12. 前記内視鏡が撮像した内視鏡画像と、前記形状検出手段の検出した形状とを表示する表示手段
    をさらに備えたことを特徴とする請求項１ないし１１に記載の内視鏡挿入形状解析装置。

Images