JP2006181110A

JP2006181110A - 挿入支援システム

Info

Publication number: JP2006181110A
Application number: JP2004378013A
Authority: JP
Inventors: Junichi Onishi; 順一大西; Toshiya Akimoto; 俊也秋本
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2004-12-27
Filing date: 2004-12-27
Publication date: 2006-07-13
Anticipated expiration: 2024-12-27
Also published as: JP4575143B2

Abstract

【課題】要注意分岐位置を確実かつ容易に告知して、内視鏡を目的部位に確実に挿入支援する。
【解決手段】設定情報入力部を操作することで、この準注目点追加ウインドウ５４６でポインタ５４７を用いて挿入時に注意を要する分岐点の前後に準注目点を指定し準注目点マーカ５４８ｄを表示させ、ＯＫボタン５４９をクリックすることで準注目点が追加される。
【選択図】図１０

Description

本発明は、内視鏡の挿入を支援する挿入支援システムに関する。

近年、画像による診断が広く行われるようになっており、例えばＸ線ＣＴ（ＣｏｍｐｕｔｅｄＴｏｍｏｇｒａｐｈｙ）装置等により被検体の断層像を撮像することにより被検体内に３次元画像データを得て、該３次元画像データを用いて患部の診断が行われるようになってきた。

ＣＴ装置では、Ｘ線照射・検出を連続的に回転させつつ被検体を体軸方向に連続送りすることにより、被検体の３次元領域について螺旋状の連続スキャン（ヘリカルスキャン：ｈｅｌｉｃａｌｓｃａｎ）を行い、３次元領域の連続するスライスの断層像から、３次元画像を作成することが行われる。

そのような３次元画像の１つに、肺の気管支の３次元像がある。気管支の３次元像は、例えば肺癌等が疑われる異常部の位置を３次元的に把握するのに利用される。そして、異常部を生検によって確認するために、気管支内視鏡を挿入して先端部から生検針や生検鉗子等を出して組織のサンプル（ｓａｍｐｌｅ）を採取することが行われる。

気管支のように、多段階の分岐を有する体内の管路では、気管支全体の画面を表示部に表示させたとしても、挿入方向を確認及び修正を行うことが難しいために、例えば特開２０００−１３５２１５号公報等では、被検体の３次元領域の画像データに基づいて前記被検体内の管路の３次元像を作成し、前記３次元像上で前記管路に沿って目的点までの経路を求め、前記経路に沿った前記管路の仮想的な内視像を前記画像データに基づいて作成し、前記仮想的な内視像を表示することで、気管支内視鏡を目的部位にナビゲーションする装置が提案されている。
特開２０００−１３５２１５号公報

しかしながら、上記特開２０００−１３５２１５号公報の装置による目的部位へのナビゲーションでは、気管支内視鏡が撮像したライブの内視鏡像を表示すると共に、気管支の分岐での仮想的な内視像を表示し挿入先を案内しているのではあるが、上述したように気管支は多段階の分岐を有するばかりでなく、分岐によって複数の分岐先経路から目的部位に到達するルートへの分岐先経路を見い出すことが難しく、挿入時に他の分岐よりも注意を要する分岐画像となるため、単に分岐点においてのみ仮想的な内視像を表示するだけでは、注意を要する分岐と、通常の分岐との判断ができず、要注意分岐へのアプローチに支障が生じる虞れがある。

本発明は、上記事情に鑑みてなされたものであり、要注意分岐位置を確実かつ容易に告知して、内視鏡を目的部位に確実に挿入支援することのできる挿入支援システムを提供することを目的としている。

本発明の挿入支援システムは、
被検体内の複数の分岐路に分岐した体腔路への内視鏡の挿入経路を案内する挿入支援システムにおいて、
始点及び終点の位置情報に基づき前記挿入経路を設定する挿入経路設定手段と、
前記被検体内の３次元領域の画像データに基づき、前記挿入経路設定手段により設定された前記挿入経路上の複数の経路点での複数の仮想腔路画像を生成する仮想腔路画像生成手段と、
前記始点での前記仮想腔路画像から前記終点での前記仮想腔路画像に至る前記挿入経路上の複数の注目点を抽出する注目点抽出手段と、
前記複数の注目点のうちの所望の注目点と、前記所望の注目点に対して少なくとも前記挿入経路の基端側に隣接する注目点との間の前記経路点を準注目点として指定する準注目点指定手段と
を備えて構成される。

本発明によれば、要注意分岐位置を確実かつ容易に告知して、内視鏡を目的部位に確実に挿入支援することができるという効果がある。

以下、図面を参照しながら本発明の実施例について述べる。

図１ないし図３２は本発明の実施例１に係わり、図１は気管支挿入支援システムの構成を示す構成図、図２は図１の挿入支援装置による挿入支援データの生成処理の流れを示すフローチャート、図３は図２の処理で展開されるルート設定画面を示す第１の図、図４は図２の処理で展開されるルート設定画面を示す第２の図、図５は図２のルート設定処理の流れを示すフローチャート、図６は図５の処理で展開されるルート設定画面を示す第１の図、図７は図５の処理で展開されるルート設定画面を示す第２の図、図８は図５の処理で展開されるルート設定画面を示す第３の図、図９は図５の準注目点追加処理を説明する第１の図、図１０は図５の準注目点追加処理を説明する第２の図、図１１は図５の準注目点追加処理を説明する第３の図、図１２は図５の準注目点追加処理を説明する第４の図、図１３は図５の処理で展開されるルート設定画面を示す第４の図、図１４は図５の準注目点追加処理の変形例を説明する第１の図、図１５は図５の準注目点追加処理の変形例を説明する第２の図、図１６は図５の準注目点追加処理の変形例を説明する第３の図、図１７は図５の準注目点追加処理の変形例を説明する第４の図、図１８は図１の挿入支援装置によるルートのＶＢＳ画像の再生時のサムネイル登録／削除処理の流れを示すフローチャート、図１９は図１８の処理で展開される患者情報入力画像を示す図、図２０は図１８の処理で展開されるサムネイル画像設定画像を示す第１の図、図２１は図１８の処理で展開されるサムネイル画像設定画像を示す第２の図、図２２は図１８の処理で展開されるサムネイル画像設定画像を示す第３の図、図２３は図１８の処理で展開されるサムネイル画像設定画像を示す第４の図、図２４は図１８の処理で展開されるサムネイル画像設定画像を示す第５の図、図２５は図１８の処理で展開されるサムネイル画像設定画像を示す第６の図、図２６は図１８の処理で展開されるサムネイル画像設定画像を示す第７の図、図２７は図１８の処理で展開されるサムネイル画像設定画像を示す第８の図、図２８は図１の挿入支援装置による気管支挿入時に展開される挿入支援画像を示す第１の図、図２９は図１の挿入支援装置による気管支挿入時に展開される挿入支援画像を示す第２の図、図３０は図１の挿入支援装置による気管支挿入時に展開される挿入支援画像を示す第３の図、図３１は図１の挿入支援装置による気管支挿入時に展開される挿入支援画像を示す第４の図、図３２は図１９のサムネイル画像設定画像の変形例を示す図である。

図１に示すように、本実施例の気管支挿入支援システム１は、気管支内視鏡装置３と、挿入支援装置５とから構成される。

挿入支援装置５はＣＴ画像データに基づきＶＢＳ画像を生成し、気管支内視鏡装置３により得られる内視鏡画像をモニタ７に表示すると共に、ＶＢＳ生成装置２からの仮想の内視鏡画像（以下、ＶＢＳ画像と記す）をモニタ６に表示し、気管支内視鏡装置３の気管支へ挿入支援を行う。

また、気管支内視鏡装置３は、図示はしないが、撮像手段を有する気管支内視鏡と、気管支内視鏡に照明光を供給する光源と、気管支内視鏡からの撮像信号を信号処理するカメラコントロールユニット等から構成され、気管支内視鏡を患者体内の気管支に挿入し気管支内を撮像し気管支末端の患部組織を生検すると共に、ライブ画像をモニタ７に表示する。なお、ライブ画像とＶＢＳ画像を合成してモニタ７に表示することも可能である。

モニタ７には、タッチパネル等のポインティングデバイスを含む入力部８が設けられ、術者が挿入手技を行いながら、術者の指示に従い助手等の看護師が容易にタッチパネルからなる入力部８を操作することが可能となっている。

挿入支援装置５は、患者のＸ線断層像を撮像する図示しない公知のＣＴ装置で生成された３次元画像データを、例えばＭＯ（ＭａｇｎｅｔｉｃＯｐｔｉｃａｌｄｉｓｋ）装置やＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｋ）装置等、可搬型の記憶媒体を介して取り込むＣＴ画像データ取り込み部２１と、ＣＴ画像データ取り込み部２１によって取り込まれた３次元画像データを格納するＣＴ画像データ格納部２２と、ＣＴ画像データ格納部２２に格納されている３次元画像データに基づきＭＰＲ画像を生成するＭＰＲ画像生成部１３と、ＭＰＲ画像生成部１３が生成したＭＰＲ画像を有する後述するルート設定画面を生成し気管支内視鏡装置３の気管支内視鏡の気管支への支援ルート（以下、単にルートと記す）を設定する挿入経路設定手段であるルート設定部１４と、ＣＴ画像データ格納部２２に格納されている３次元画像データに基づきルート設定部１４によって設定されたルートの連続したＶＢＳ画像をフレーム単位で生成する仮想腔路画像生成手段であるＶＢＳ画像生成部２３と、ＶＢＳ画像生成部２３が生成したＶＢＳ画像を格納するＶＢＳ画像格納部２４と、気管支内視鏡装置３の気管支内視鏡からの撮像信号、入力部８からの入力信号を入力し、ライブ画像、ＶＢＳ画像及び複数のサムネイルＶＢＳ画像からなる後述する挿入支援画像を生成する注目点抽出手段である画像処理部５５と、ルート設定部１４が生成したルート設定画面及び画像処理部５５が生成した挿入支援画像をモニタ６に表示させる画像表示制御部５６と、ルート設定部１４に対して設定情報を入力するキーボード及びポインティングデバイスからなる準注目点指定手段である設定情報入力部５２とから構成される。

なお、ＣＴ画像データ格納部２２及びＶＢＳ画像格納部２４は、１つのハードディスクによって構成してもよく、また、ＭＰＲ画像生成部１３、ルート設定部１４、ＶＢＳ画像生成部２３及び画像処理部５５は１つの演算処理回路で構成することができる。また、ＣＴ画像データ取り込み部２１はＭＯあるいはＤＶＤ等の可搬型の記憶媒体を介してＣＴ画像データを取り込みとしたが、ＣＴ装置あるいはＣＴ画像データを保存している院内サーバが院内ＬＡＮに接続されている場合には、ＣＴ画像データ取り込み部２１を該院内ＬＡＮに接続可能なインターフェイス回路により構成し、院内ＬＡＮを介してＣＴ画像データを取り込むようにしてもよい。

図２に示すように、気管支内視鏡装置３による観察・処置に先立ち、挿入支援装置５は、ステップＳ１でＣＴ画像データ取り込み部２１によりＣＴ装置で生成された患者の３次元画像データを取り込み、ステップＳ２で取り込んだ３次元画像データをＣＴ画像データ格納部２２に格納する。

ステップＳ３でルート設定部１４により、図３に示すようなルート設定画面５２１をモニタ６に表示させ、ルート設定画面５２１上の患者情報タグ画面５２２で患者情報を選択する。この選択により、ステップＳ４で選択された患者の例えば３つの異なる多断面像からなるＭＰＲ画像５２３が生成され、ステップＳ５でこのＭＰＲ画像５２３がルート設定画面５２１に表示される。

なお、患者情報タグ画面５２２での患者情報の選択は、設定情報入力部５２により患者を識別する患者ＩＤを入力することで行われる。

次に、ステップＳ６でルート設定画面５２１上のルート設定タグ５２４（図３参照）を設定情報入力部５２により選択すると、図４に示すようなルート設定タグ画面５２５がルート設定画面５２１に表示され、後述するルート設定処理を行い、気管支での気管支内視鏡装置３の気管支内視鏡の挿入支援のルートを設定する。

挿入支援のルートが設定されると、ステップＳ７でＶＢＳ画像生成部２３により設定した全ルートの連続したＶＢＳ画像をフレーム単位で生成し、ステップＳ８で生成したＶＢＳ画像をＶＢＳ画像格納部２４に格納する。

上記のステップＳ１〜Ｓ９の処理により、気管支内視鏡装置３の気管支内視鏡による観察・処置時の挿入支援装置５による挿入支援の準備が完了する。

ここで、上記ステップＳ６のルート設定処理を図５ないし図を用いて説明する。

図５に示すように、ステップＳ６のルート設定処理では、設定情報入力部５２を操作することで、図４に示したルート設定タグ画面５２５上のルート探索ボタンをクリックすると、ステップＳ１１にて図６に示すようなルートの始点の入力を促す始点入力指示ウインドウ５３１がルート設定画面５２１上に表示され、ルート設定画面５２１上にカーソル５３０を用いてＭＰＲ画像５２３のうちの１つの断層像上で始点を設定する。始点を設定すると他のＭＰＲ画像５２３の２つの断層像上にも対応する位置に始点が設定されると共に、図７に示すようなルートの終点の入力を促す終点入力指示ウインドウ５３２がルート設定画面５２１上に表示さる。

そこで、ステップＳ１２にて始点の設定と同様に、ルート設定画面５２１上にカーソル５３０を用いてＭＰＲ画像５２３のうちの１つの断層像上で終点を設定する。終点を設定すると他のＭＰＲ画像５２３の２つの断層像上にも対応する位置に終点が設定される。

始点と終点が設定されると、ステップＳ１３にてルート設定部１４は始点から終点に至る気管支内のルートを探索する。気管支は複雑な経路を有しているので、始点から終点に至る気管支内のルートが一意的に決まるとは限らないので、ルート設定部１４ではステップＳ１３では、始点から終点に至る気管支内のルートの第１候補を探索する。

そして、ルート設定部１４はルート設定画面５２１上において、図８に示すように、ステップＳ１４にて探索されたルートをＭＰＲ画像５２３に重畳して表示し、ステップＳ１５にてＶＢＳ画像生成部２３により探索されたルートの始点から終点に至る動画を形成する複数のフレームのＶＢＳ画像を生成し、ステップＳ１６にて画像処理部５５により生成された複数のフレームのＶＢＳ画像より分岐点を抽出し、ステップＳ１７にて探索されたルート上に気管支の分岐点位置をマーキングすると共に、ルートの確定等の入力を促すルート確定ウインドウ５３３を表示する。

なお、ステップＳ１６における分岐点の抽出方法としては、例えばＶＢＳ画像上において気管支の分岐穴が所定の大きさに達したフレームを画像処理部５５が画像処理により分岐点のＶＢＳ画像として検出し、検出したＶＢＳ画像のフレーム位置を分岐点として抽出する。

ルート確定ウインドウ５３３には、探索したルートの確定を指示するルート確定ボタン５４１と、次候補のルートの探索を指示する次候補探索ボタン５４２と、始点及び終点を再設定し直すルート再設定ボタン５４３と、ルート探索処理をキャンセルするキャンセルボタン５４４と、気管支の分岐点で挿入時に注意を要する分岐点を強調するために分岐点間に指定する準注目点を入力する準分岐点指定ボタン５４５とを備えている。

ステップＳ１８で次候補探索ボタン５４２がクリックされたかどうか判断し、クリックされたならばステップＳ１９で次候補のルートを自動探索してステップＳ２０に進み、クリックされない場合にはステップＳ２１に進む。ステップＳ２０は次候補を探索した結果、次候補が存在するかどうかを判断し、存在しない場合には図示はしないが次候補ルートが存在しない旨の警告を表示しステップＳ１３に戻り、存在する場合にはステップＳ１４に戻る。

ステップＳ２１では、準分岐点指定ボタン５４５がクリックされたかどうか判断し、クリックされたならばステップＳ２２に進み、クリックされない場合にはステップＳ２３に進む。

ステップＳ２２では準注目点追加処理を実行する。具体的には、設定情報入力部５２を操作することで、準分岐点指定ボタン５４５がクリックされると、図９に示すような準注目点追加ウインドウ５４６がルート設定画面５２１上に展開される。準注目点追加ウインドウ５４６には、探索されたルートがモデル化されたルートモデル５４８ａと、始点及び終点を示す始点／終点マーカ５４８ｂと、分岐点を示す分岐点マーカ５４８ｃとが表示される。

そして、図１０に示すように、設定情報入力部５２を操作することで、この準注目点追加ウインドウ５４６でポインタ５４７を用いて挿入時に注意を要する分岐点の前後に準注目点を指定し準注目点マーカ５４８ｄを表示させ、ＯＫボタン５４９をクリックすることで準注目点が追加される。

詳細には、図１１に示すように、ステップＳ１６において抽出した連続した複数の分岐点のフレームＶＢＳ画像６００に対して、ポインタ５４７を用いて挿入時に注意を要する分岐点近くに準注目点を指定すると、図１２に示すように、分岐点間に準注目点のフレームＶＢＳ画像６０１が設定される。

このようにして準注目点追加ウインドウ５４６にて準注目点が追加されると、図１３に示すように、ルート設定画面５２１上のＭＰＲ画像５２３のルート上に準注目点の位置がマーキングされる。

ステップＳ２３では、ルート再設定ボタン５４３がクリックされたかどうか判断し、クリックされたならばステップＳ１１に戻り、クリックされない場合にはステップＳ２４に進む。

ステップＳ２４では、ルート確定ボタン５４１がクリックされたかどうか判断し、クリックされない場合にはステップＳ１８に戻り、クリックされたならばステップＳ２５に進み、ステップＳ２５でルート及びルート内の各分岐点の位置情報を決定して図５のステップＳ７に戻る。

なお、図１４に示すように、準注目点追加ウインドウ５４６に分岐点の前後に追加する準注目点の数を設定する準注目点数入力部５５０を設けてもよい。

この準注目点数入力部５５０において、準注目点数入力部５５０に分岐点の前後に追加する準注目点の数を設定し、所望の分岐点をポインタ５４７でクリックすると、図１５に示すように、ルートモデル５４８ａ上のクリックした分岐点マーカ５４８ｃの前後に準注目点マーカ５４８ｄが表示される。

詳細には、図１６に示すように、ポインタ５４７を用いて挿入時に注意を要する分岐点をクリックすると、該分岐点のフレームＶＢＳ画像６００に対して設定した準注目点の数のフレームＶＢＳ画像が所定のフレーム間隔で指定される。なお、図１７に示すように、該分岐点のフレームＶＢＳ画像６００に対して設定した準注目点の数のフレームＶＢＳ画像を分岐点間を等分するフレームとしてもよい。

このようにしてルート設定において、準注目点を指定することができるが、本実施例では、さらに設定したルートのＶＢＳ画像の動画再生時において、準注目点を追加指定することができる。ＶＢＳ画像の動画再生は、実際の気管支内視鏡装置３の観察・処置のシミュレーションとして使用される。

次に、ルートのＶＢＳ画像の動画再生時における準注目点を追加指定について説明する。なお、以下では、ルートの分岐点（挿入支援始点及び挿入支援終点を含む）が７カ所及び準注目点が２カ所の場合を例に説明する。

図１８に示すように、ステップＳ３１にてＣＴ画像データ取り込み部２１を介してＣＴ画像データを入力し、ステップＳ３２にてＣＴ画像データ格納部２２にＣＴ画像データを格納する。そして、ステップＳ３３にてＶＢＳ画像生成２３によりＣＴ画像データ格納部２２に格納されているＣＴ画像データに基づき患者の気管支管腔内の設定したルートのフレーム毎のＶＢＳ画像が生成され、ステップＳ３４にてＶＢＳ画像生成２３により生成されたＶＢＳ画像をＶＢＳ画像格納部２４に格納する。

ステップＳ３５にて画像処理部５５はモニタ６に図１９に示すような患者情報入力画像１０１を表示し、ポインタ１００で指定した各入力項目の各患者情報（患者ＩＤ、患者名、性別、コメント）の設定情報入力部５２による入力を待つ。

患者情報入力画像１０１上で患者情報が入力されると、ステップＳ３６にて設定したルートのＶＢＳ画像のフレーム画像をＶＢＳ画像格納部２４から取り込み、ステップＳ３７にて図２０に示すようなサムネイル画像設定画像１１０をモニタ６に表示する。

サムネイル画像設定画像１１０は、図２０に示すように、ＶＢＳ画像１２０をフル画面として表示するＶＢＳ画像表示エリア１１１と、分岐点及び準注目点のＶＢＳ画像１２０のサムネイル画像を表示するサムネイル画像表示エリア１１２と、エラー及びコメント表示エリア９９とを備えている。デフォルトではＶＢＳ画像表示エリア１１１には挿入支援始点のＶＢＳ画像１２０が表示される。

エラー及びコメント表示エリア９９ではエラー発生時にエラーメッセージを表示することでユーザにエラー発生を通知したり、コメントを表示することができる。

図２０の場合、サムネイル画像表示エリア１１２には、挿入支援始点のＶＢＳ画像１２０のサムネイル画像１１２（ａ）及び挿入支援終点のＶＢＳ画像１２０のサムネイル画像１１２（ｇ）と、挿入支援始点と挿入支援終点の間の分岐点のＶＢＳ画像１２０のサムネイル画像１１２（ｂ）〜１１２（ｆ）と、分岐点名１ａαの分岐点の前後に追加された準注目点のサムネイル画像１２５ａ，１２５ｂとが表示されている。

なお、ＶＢＳ画像表示エリア１１１に表示されているＶＢＳ画像１２０と一致するサムネイル画像がサムネイル画像表示エリア１１２に存在するときは、一致するサムネイル画像の枠を太枠にしてＶＢＳ画像表示エリア１１１のＶＢＳ画像１２０とサムネイル画像表示エリア１１２のサムネイル画像の関係が容易に分かるようになっている。図２０においては、ＶＢＳ画像表示エリア１１１に表示されているＶＢＳ画像１２０が挿入支援始点１０３のＶＢＳ画像であるため、サムネイル画像表示エリア１１２のサムネイル画像１１２（ａ）の枠が太枠表示される。

また、本実施例のサムネイル画像設定画像１１０では、準注目点のサムネイル画像を分岐点（始点及び終点を含む）のサムネイル画像と異なる大きさで表示することで準注目点識別手段を実現している。

サムネイル画像設定画像１１０には、サムネイル画像表示エリア１１２に新たにＶＢＳフレーム画像をサムネイル画像として登録する登録ボタン１１３，サムネイル画像の登録を削除する削除ボタン１１４，サムネイル画像表示エリア１１２のサムネイル画像の前後の画像にスキップするための前ボタン１１５及び次ボタン１１６，ＶＢＳ画像表示エリア１１１の動画の再生停止を指示する再生・停止ボタン１１７，ＶＢＳ画像表示エリア１１１の動画の再生速度を指定する速度指定バー１１８，サムネイル画像表示エリア１１２のサムネイル画像を確定しサムネイル画像をＶＢＳ画像格納部２４に格納する確定ボタン１１９とを有している。

図１８に戻り、ステップＳ３８に図２１に示すように、再生・停止ボタン１１７のポインタ１００による押下によりＶＢＳ画像表示エリア１１１に挿入支援始点のＶＢＳ画像から開始する動画のＶＢＳ画像を再生する。

そして、ステップＳ３９にて図２２に示すように、再生・停止ボタン１１７のポインタ１００による押下によりＶＢＳ画像の動画再生が停止されると、登録モードに処理が移行し、サムネイル画像の登録の指示と判断する。

ステップＳ４０にてＶＢＳ画像表示エリア１１１で停止しているＶＢＳ画像上で気管支内視鏡の挿入先である分岐穴のポインタ１００による選択指示を受けて、図２２に示すように、ポインタ１００で選択指示されたＶＢＳ画像上に挿入先マーカ１３１を重畳する。

また、登録ボタン１１３のポインタ１００による押下により、ステップＳ４１にてＶＢＳ画像表示エリア１１１で停止している登録途中のフレームの該ＶＢＳ画像を登録サムネイルとしてＶＢＳ画像格納部２４の所定領域に一時的に格納し、ステップＳ４２に進む。このときＶＢＳ画像格納部２４の所定領域には、登録サムネイルと共に挿入先マーカ１３１の位置情報が分岐情報として格納される。

例えば図２３に示すように、分岐点１ａαｘと分岐点１ａαｘ１の間のＶＢＳ画像表示エリア１１１で停止しているＶＢＳ画像を登録サムネイルとしてＶＢＳ画像格納部２４の所定領域に一時的に格納する。そして、該登録サムネイのサムネイル画像を新たに追加された準注目点のサムネイル画像１２５ｃとして、図２４に示すように、サムネイル画像表示エリア１１２の分岐点１ａαｘのサムネイル画像１１２（ｄ）と分岐点１ａαｘ１のサムネイル画像１１２（ｅ）との間に表示する。

ステップＳ３９にて再生・停止ボタン１１７のポインタ１００による押下されない場合にはそのままステップＳ４２に進む。

ステップＳ４２及びＳ４３では削除するサムネイル画像の選択及び削除ボタン１１４のポインタ１００による操作にて削除処理を実行する。この削除の詳細は後述する。

そして、ステップＳ４４にて挿入支援終点に至る所望位置での新たに追加される準注目点の登録サムネイルを得るまで、ステップＳ３８〜Ｓ４３を繰り返す。

このように、例えばルート設定時に設定された挿入支援始点のＶＢＳ画像１２０のサムネイル画像１１２（ａ）及び挿入支援終点のＶＢＳ画像１２０のサムネイル画像１１２（ｇ）と、挿入支援始点と挿入支援終点の間の分岐点のＶＢＳ画像１２０のサムネイル画像１１２（ｂ）〜１１２（ｆ）と、分岐点名１ａαの分岐点の前後に追加された準注目点のサムネイル画像１２５ａ，１２５ｂと、新たに登録された準注目点のサムネイル画像１２５ｃが表示された状態で、ステップＳ４５にてポインタ１００により確定ボタン１１９が押下されるとサムネイル画像が決定したと判断し、ステップＳ４６にてＶＢＳ画像格納部２４の所定領域に格納した所望数の登録サムネイルと、ルート上の全ＶＢＳ画像をＶＢＳ画像の動画ファイルとしてＶＢＳ画像格納部２４に格納し処理を終了する。なおサムネイル画像の決定がなされないと、ステップＳ３８〜Ｓ４５を繰り返す。ここで、ＶＢＳ画像格納部２４５４には、分岐情報がサムネイル画像の各フレーム画像にリンクして格納される。

次に、図１８のステップＳ４２及びＳ４３での削除処理について説明する。図２５に示すように、所定数の登録サムネイルをＶＢＳ画像格納部２４の所定領域に格納し登録した時点で、例えばサムネイル画像１１２（ｆ）の登録フレームナビＶＢＳ画像を削除する場合は、ステップＳ４２にてサムネイル画像１１２（ｆ）をポインタ１００により選択することで、サムネイル画像１１２（ｆ）の枠が太枠表示されると共にＶＢＳ画像表示エリア１１１にサムネイル画像１１２（ｆ）のＶＢＳ画像が表示される。そして、ステップＳ４３にてポインタ１００により削除ボタン１１４を押下すると、図２６に示すようにサムネイル画像１１２（ｆ）の登録サムネイルが削除され、サムネイル画像表示エリア１１２からサムネイル画像１１２（ｆ）が抹消されて、例えば次のサムネイル画像１１２（ｇ）の枠が太枠表示されると共にＶＢＳ画像表示エリア１１１にサムネイル画像１１２（ｇ）のＶＢＳ画像が表示される。このようにして削除処理が実行される。

以上のように設定したルートにおける分岐点及び準注目点の情報を有するＶＢＳ画像の動画ファイルを格納した状態で、挿入支援装置５は、ＶＢＳ画像を用いて気管支内視鏡装置３の気管支内視鏡の気管支への実際の挿入時の挿入支援を行う。

具体的には、モニタ７に気管支内視鏡装置３により得られる内視鏡画像（以下、ライブ画像）を表示すると共に、モニタ６に図２７に示すような挿入支援画像２１０を表示する。この挿入支援画像２１０は、ＶＢＳ画像表示エリア１１１、サムネイル画像表示エリア１１２を有している。

図２７の場合、サムネイル画像表示エリア１１２には、挿入支援始点のＶＢＳ画像１２０のサムネイル画像１１２（ａ）及び挿入支援終点のＶＢＳ画像１２０のサムネイル画像１１２（ｇ）と、挿入支援始点と挿入支援終点の間の分岐点のＶＢＳ画像１２０のサムネイル画像１１２（ｂ）〜１１２（ｆ）と、分岐点名１ａαの分岐点の前後に追加された準注目点のサムネイル画像１２５ａ，１２５ｂとが表示されている。

なお、本実施例の挿入支援画像２１０では、準注目点のサムネイル画像を分岐点（始点及び終点を含む）のサムネイル画像と異なる大きさで表示することで準注目点識別手段を実現している。

挿入支援画像２１０には、左ボタン１２１，右ボタン１２２，前ボタン１１５，次ボタン１１６が設けられており、次ボタン１１６を入力部８を用いてカーソル１００で選択することで、ＶＢＳ画像表示エリア１１１に表示されているＶＢＳ画像１２０を次段のサムネイル画像のＶＢＳ画像にスキップさせることができ、また、前ボタン１１５をカーソル１００で選択することで、ＶＢＳ画像表示エリア１１１に表示されているＶＢＳ画像１２０を前段のサムネイル画像のＶＢＳ画像にスキップさせることができる。

また、左ボタン１２１をカーソル１００で選択することで、ＶＢＳ画像１２０を左向きに連続的に回転させることができ、また、右ボタン１２２をカーソル１００で選択することで、ＶＢＳ画像１２０を右向きに連続的に回転させることができる。

また、本実施例では、挿入支援画像２１０による気管支内視鏡の気管支への実際の挿入時においても準注目点を追加指定することができ、そのために挿入支援画像２１０には準注目点追加ボタン１４１及び準注目点消去ボタン１４０が設けられている。

図２７に示すように、気管支内視鏡装置３の気管支内視鏡が気管支に挿入されると、この挿入支援画像２１０により、サムネイル画像表示エリア１１２のサムネイル画像を選択してＶＢＳ画像表示エリア１１１にサムネイル画像のＶＢＳフレーム画像を表示させ、ＶＢＳフレーム画像上の挿入先マーカ１３１を参照することができるので、挿入先マーカ１３１が示す挿入穴をモニタ７のライブ画像上で見出して挿入操作を行うことで、気管支挿入手技において、挿入支援終点にある患部等の関心部位でまでの適正なルートへの気管支鏡の挿入を確実かつ容易に行うことができる。

挿入支援画像２１０による実際の挿入時の挿入支援に際し、ＶＢＳ画像表示エリア１１１に表示されているＶＢＳ画像を準注目点に追加する場合には、図２８に示すように、ＶＢＳ画像表示エリア１１１に表示されているＶＢＳ画像がサムネイル画像１１２（ｅ）とサムネイル画像１１２（ｆ）の間のフレーム画像だとすると、この状態で準注目点追加ボタン１４１をポインタ１００で選択すると、図２９に示すように、ＶＢＳ画像表示エリア１１１に表示されているＶＢＳ画像が準注目点に追加され、サムネイル画像表示エリア１１２においてサムネイル画像１１２（ｅ）とサムネイル画像１１２（ｆ）の間に追加された該準注目点のＶＢＳ画像のサムネイル画像１２５ｘが表示される。

なお、準注目点のサムネイル画像のサムネイル画像表示エリア１１２での表示が必要無い場合には、準注目点消去ボタン１４０をポインタ１００で選択することで、図３０に示すように、サムネイル画像表示エリア１１２より準注目点のサムネイル画像を消去することができる。なお、消去した際には、準注目点のサムネイル画像が表示されていた部分にスペース１８０が残るために、スペース１８０が前後にある分岐点が要注意の分岐点であることが視認可能である。

このように本実施例では、ルート設定時（ルート設定画面）、ルート設定後のＶＢＳ画像再生時（シミュレーション時：サムネイル画像設定画像）、さらには実際の挿入支援時（ナビゲーション時：挿入支援画像）のいずれのタイミングでも気管支への挿入支援に注意を要する分岐点を強調するための準注目点を登録し、該準注目点のサムネイル画像を表示するので、要注意の分岐点への到達を確実かつ容易に告知し視認させることができる。

なお、サムネイル画像設定画像１１０及び挿入支援画像２１０では、準注目点識別手段として、準注目点のサムネイル画像を分岐点（始点及び終点を含む）のサムネイル画像と異なる大きさで表示することで、サムネイル画像表示エリア１１２における準注目点のサムネイル画像を分岐点のサムネイル画像と識別可能にしたが、これに限らず、例えば、図３１に示すサムネイル画像設定画像１１０のように、準注目点のサムネイル画像の上部に準注目点であることを示す準注目点マーカ１９０を表示することで準注目点識別手段を実現してもよい（挿入支援画像２１０でも同様である：図示せず）。

また、サムネイル画像表示エリア１１２に、常時、分岐点（始点及び終点を含む）及び準注目点の全てのサムネイル画像を表示するとしたが、これに限らず、例えば図３２に示すように、ＶＢＳ画像表示エリア１１１に表示されているＶＢＳ画像が準注目点に到達した場合、この準注目点が要注意の分岐点としている分岐点のサムネイル画像と、該サムネイル画像の前後の準注目点のサムネイル画像のみをサムネイル画像表示エリア１１２を表示するようにしてもよい。

なお、本実施例では、ルート設定時（ルート設定画面）、ルート設定後のＶＢＳ画像再生時（シミュレーション時：サムネイル画像設定画像）、さらには実際の挿入支援時（ナビゲーション時：挿入支援画像）のいずれのタイミングでも気管支への挿入支援に注意を要する分岐点を強調するための準注目点を登録し、該準注目点のサムネイル画像を表示するとしたが、これに限らず、ルート設定時（ルート設定画面）、ルート設定後のＶＢＳ画像再生時（シミュレーション時：サムネイル画像設定画像）、実際の挿入支援時（ナビゲーション時：挿入支援画像）の少なくとも１つ以上のタイミングで気管支への挿入支援に注意を要する分岐点を強調するための準注目点を登録し、該準注目点のサムネイル画像を表示するようにしても、本実施例と同様な作用・効果を得ることができるのはいうまでもない。

本発明は、上述した実施例に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

本発明の実施例１に係る気管支挿入支援システムの構成を示す構成図、図１の挿入支援装置による挿入支援データの生成処理の流れを示すフローチャート図２の処理で展開されるルート設定画面を示す第１の図図２の処理で展開されるルート設定画面を示す第２の図図２のルート設定処理の流れを示すフローチャート図５の処理で展開されるルート設定画面を示す第１の図図５の処理で展開されるルート設定画面を示す第２の図図５の処理で展開されるルート設定画面を示す第３の図図５の準注目点追加処理を説明する第１の図は図５の準注目点追加処理を説明する第２の図図５の準注目点追加処理を説明する第３の図図５の準注目点追加処理を説明する第４の図図５の処理で展開されるルート設定画面を示す第４の図図５の準注目点追加処理の変形例を説明する第１の図図５の準注目点追加処理の変形例を説明する第２の図図５の準注目点追加処理の変形例を説明する第３の図図５の準注目点追加処理の変形例を説明する第４の図図１の挿入支援装置によるルートのＶＢＳ画像の再生時のサムネイル登録／削除処理の流れを示すフローチャート図１８の処理で展開される患者情報入力画像を示す図図１８の処理で展開されるサムネイル画像設定画像を示す第１の図図１８の処理で展開されるサムネイル画像設定画像を示す第２の図図１８の処理で展開されるサムネイル画像設定画像を示す第３の図図１８の処理で展開されるサムネイル画像設定画像を示す第４の図図１８の処理で展開されるサムネイル画像設定画像を示す第５の図図１８の処理で展開されるサムネイル画像設定画像を示す第６の図図１８の処理で展開されるサムネイル画像設定画像を示す第７の図図１８の処理で展開されるサムネイル画像設定画像を示す第８の図図１の挿入支援装置による気管支挿入時に展開される挿入支援画像を示す第１の図図１の挿入支援装置による気管支挿入時に展開される挿入支援画像を示す第２の図図１の挿入支援装置による気管支挿入時に展開される挿入支援画像を示す第３の図図１の挿入支援装置による気管支挿入時に展開される挿入支援画像を示す第４の図図１９のサムネイル画像設定画像の変形例を示す図

符号の説明

１…気管支挿入支援システム
２…ＶＢＳ生成装置
３…気管支内視鏡装置
５…挿入支援装置
６，７…モニタ
８…入力部
２１…ＣＴ画像データ取り込み部
２２…ＣＴ画像データ格納部
２３…ＶＢＳ画像生成
２４…ＶＢＳ画像格納部
５１…ＶＢＳ画像取り込み部
５２…設定情報入力部
５５…画像処理部
５６…画像表示制御部
代理人弁理士伊藤進

Claims

被検体内の複数の分岐路に分岐した体腔路への内視鏡の挿入経路を案内する挿入支援システムにおいて、
始点及び終点の位置情報に基づき前記挿入経路を設定する挿入経路設定手段と、
前記被検体内の３次元領域の画像データに基づき、前記挿入経路設定手段により設定された前記挿入経路上の複数の経路点での複数の仮想腔路画像を生成する仮想腔路画像生成手段と、
前記始点での前記仮想腔路画像から前記終点での前記仮想腔路画像に至る前記挿入経路上の複数の注目点を抽出する注目点抽出手段と、
前記複数の注目点のうちの所望の注目点と、前記所望の注目点に対して少なくとも前記挿入経路の基端側に隣接する注目点との間の前記経路点を準注目点として指定する準注目点指定手段と
を備えたことを特徴とする挿入支援システム。
前記注目点は前記挿入経路上の分岐点である
ことを特徴とする請求項１に記載の挿入支援システム。
前記準注目点指定手段は、前記準注目点を複数指定する
ことを特徴とする請求項１または２に記載の挿入支援システム。
前記複数の注目点及び前記準注目点の前記仮想腔路画像の圧縮画像を生成する圧縮画像生成手段と、
前記仮想腔路画像と、前記挿入経路の基端側から先端側に並べた前記圧縮画像とからなる合成画像を生成する合成画像生成手段と
を備えたことを特徴とする請求項１、２または３のいずれか１つに記載の挿入支援システム。