JP2004089484A - 内視鏡装置 - Google Patents

内視鏡装置 Download PDF

Info

Publication number
JP2004089484A
JP2004089484A JP2002255699A JP2002255699A JP2004089484A JP 2004089484 A JP2004089484 A JP 2004089484A JP 2002255699 A JP2002255699 A JP 2002255699A JP 2002255699 A JP2002255699 A JP 2002255699A JP 2004089484 A JP2004089484 A JP 2004089484A
Authority
JP
Japan
Prior art keywords
image
endoscope
vbs
vector
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002255699A
Other languages
English (en)
Other versions
JP4022114B2 (ja
Inventor
Junichi Onishi
大西　順一
Hidekazu Kobayashi
小林　英一
Toshiya Akimoto
秋本　俊也
Kunihide Kaji
梶　国英
Akito Saito
斉藤　明人
Takao Shibazaki
柴崎　隆男
Taiji Mine
峯　泰治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2002255699A priority Critical patent/JP4022114B2/ja
Publication of JP2004089484A publication Critical patent/JP2004089484A/ja
Application granted granted Critical
Publication of JP4022114B2 publication Critical patent/JP4022114B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Endoscopes (AREA)

Abstract

【課題】案内画像の向きと内視鏡画像の向きとを一致させることにより、内視鏡を目的部位に確実にナビゲーションする。
【解決手段】ナビゲーション画面生成部２３が生成したナビゲーション画面上のライブ画像の特徴点を抽出し第１のベクトルＡを算出する第１の特徴点抽出部２４と、ナビゲーション画面生成部２３が生成したナビゲーション画面上のＶＢＳ画像の特徴点を抽出し第２のベクトルＢを算出する第２の特徴点抽出部２５と、ベクトルＡとベクトルＢを比較しナビゲーション画面上のライブ画像あるいはＶＢＳ画像を回転させる特徴量比較部２６とを備え、ナビゲーション画面生成部２３は特徴量比較部２６の制御に基づきライブ画像あるいはＶＢＳ画像を回転補正してナビゲーション画面を生成し、ナビゲーション画面を画像表示制御部に出力する。
【選択図】　図４

Description

【０００１】
【発明の属する技術分野】
本発明は、内視鏡装置に関し、特に例えば気管支等のような体内の管路への内視鏡挿入をナビゲーションする内視鏡装置に関する。
【０００２】
【従来の技術】
近年、画像による診断が広く行われるようになっており、例えばＸ線ＣＴ（Ｃｏｍｐｕｔｅｄ　　Ｔｏｍｏｇｒａｐｈｙ）装置等により被検体の断層像を撮像することにより被検体内の３次元画像データを得て、該３次元画像データを用いて患部の診断が行われるようになってきた。
【０００３】
ＣＴ装置では、Ｘ線照射・検出を連続的に回転させつつ被検体を体軸方向に連続送りすることにより、被検体の３次元領域について螺旋状の連続スキャン（ヘリカルスキャン：ｈｅｌｉｃａｌ　ｓｃａｎ）を行い、３次元領域の連続するスライスの断層像から、３次元画像を作成することが行われる。
【０００４】
そのような３次元画像の１つに、肺の気管支の３次元像がある。気管支の３次元像は、例えば肺癌等が疑われる異常部の位置を３次元的に把握するのに利用される。そして、異常部を生検によって確認するために、気管支内視鏡を挿入して先端部から生検針や生検鉗子等を出して組織のサンプル（ｓａｍｐｌｅ）を採取することが行われる。
【０００５】
気管支のような多段階の分岐を有する体内の管路では、異常部の所在が分岐の末梢に近いとき、内視鏡の先端を短時間で正しく目的部位に到達させることが難しいために、例えば特開２０００−１３５２１５号公報等では、被検体の３次元領域の画像データに基づいて前記被検体内の管路の３次元像を作成し、前記３次元像上で前記管路に沿って目的点までの経路を求め、前記経路に沿った前記管路の仮想的な内視像を前記画像データに基づいて作成し、前記仮想的な内視像を表示することで、気管支内視鏡を目的部位にナビゲーションする装置が提案されている。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記特開２０００−１３５２１５号公報の装置による目的部位へのナビゲーションでは、気管支内視鏡が撮像したライブの内視鏡像を表示すると共に、気管支の分岐での仮想的な内視像を表示し挿入先を案内しているのではあるが、上述したように気管支は多段階の分岐を有するばかりでなく、分岐での各画像は複数の分岐先経路を持つ類似の画像となるため、単に仮想的な内視像を表示するだけでは、ライブの内視鏡像の実際の分岐位置と異なる分岐位置の仮想の内視像が表示されても、術者が正しい分岐位置での仮想の内視像と誤認する可能性があり、このような誤認は気管支内視鏡の目的部位へのナビゲーションに重大な支障を及ぼすといった問題がある。
【０００７】
本発明は、上記事情に鑑みてなされたものであり、案内画像の向きと内視鏡画像の向きとを一致させることにより、内視鏡を目的部位に確実にナビゲーションすることのできる内視鏡装置を提供することを目的としている。
【０００８】
【課題を解決するための手段】
本発明の内視鏡装置は、被検体の３次元領域の画像に基づき前記被検体内の体腔路の仮想的な内視鏡画像を生成する仮想内視鏡画像生成手段と、前記被検体内の体腔路を撮像する内視鏡と、前記内視鏡により撮像された前記被検体内の体腔路の内視鏡画像と前記仮想内視鏡画像とからなるナビゲーション画像を生成するナビゲーション画像生成手段とを備え、前記被検体内の体腔路への前記内視鏡の挿入経路を案内しながら、前記被検体内を観察・処置する内視鏡装置において、前記仮想内視鏡画像の特徴量を抽出する仮想内視鏡画像特徴量抽出手段と、前記内視鏡画像の特徴量を抽出する内視鏡画像特徴量抽出手段と、前記仮想内視鏡画像特徴量抽出手段及び前記内視鏡画像特徴量抽出手段が抽出した特徴量に基づき前記ナビゲーション画像を補正するナビゲーション画像補正手段とを備えて構成される。
【０００９】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施の形態について述べる。
【００１０】
図１ないし図２２は本発明の一実施の形態に係わり、図１は内視鏡装置の構成を示す構成図、図２は図１の光学特性格納部に格納されるデータを説明する第１の図、図３は図１の光学特性格納部に格納されるデータを説明する第２の図、図４は図１の画像処理部の構成を示す構成図、図５は図１の入力部の構成を示す構成図、図６は図１の気管支鏡ナビゲーション装置によるルート設定処理の流れを示すフローチャート、図７は図６の処理で展開されるルート設定画面を示す第１の図、図８は図６の処理で展開されるルート設定画面を示す第２の図、図９は図６の処理で展開されるルート設定画面を示す第３の図、図１０は図６の処理により設定された気管支上のルートを模式的に示した図、図１１は図１の気管支鏡ナビゲーション装置により表示されるナビゲーション画面を示す図、図１２は図４の画像処理部によるライブ画像を回転させライブ画像の向きとＶＢＳ画像の向きを一致させる処理の流れを示すフローチャート、図１３は図１２の処理でのベクトルＡ及びベクトルＢの算出方法を説明する第１の図、図１４は図１２の処理でのベクトルＡ及びベクトルＢの算出方法を説明する第２の図、図１５は図１２の処理でのベクトルＡ及びベクトルＢの算出方法を説明する第３の図、図１６は図１２の処理でのベクトルＡ及びベクトルＢの算出方法を説明する第４の図、図１７は図１２の処理の具体例を説明する第１の図、図１８は図１２の処理の具体例を説明する第２の図、図１９は図１２の処理の具体例を説明する第３の図、図２０は図４の画像処理部によるＶＢＳ画像を回転させライブ画像の向きとＶＢＳ画像の向きを一致させる処理の流れを示すフローチャート、図２１は図２０の処理の具体例を説明する第１の図、図２２は図２０の処理の具体例を説明する第２の図である。
【００１１】
図１に示すように、本実施の形態の内視鏡装置１は、患者体内の気管支に挿入し気管支内を撮像し患部組織を生検する気管支鏡２と、気管支鏡２の手元側に設けられた複数のスイッチをフィルム状に形成したフレキシブルシートからなる入力部４と、ＣＴ画像データに基づき気管支内部の仮想の内視鏡画像（以下、ＶＢＳ画像と記す）を生成すると共に気管支鏡２からの撮像信号及び入力部４からの入力信号に基づき、気管支鏡２により得られる内視鏡画像（以下、ライブ画像と記す）とＶＢＳ画像を合成してモニタ５に表示し気管支鏡２の目的部位へのナビゲーションを行う気管支鏡ナビゲーション装置６とを備えて構成される。
【００１２】
なお、前記入力部４は、気管支鏡２の手元側に設けられるとしたが、フットスイッチにより構成してもよい。
【００１３】
気管支鏡ナビゲーション装置６は、患者のＸ線断層像を撮像する図示しない公知のＣＴ装置で生成された３次元画像データを、例えばＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ　ｄｉｓｋ）装置やＤＶＤ（Ｄｉｇｉｔａｌ　　Ｖｅｒｓａｔｉｌｅ　　Ｄｉｓｃ）装置等、可搬型の記憶媒体を介して取り込むＣＴ画像データ取り込み部１１と、ＣＴ画像データ取り込み部１１によって取り込まれた３次元画像データを格納するＣＴ画像データ格納部１２と、ＣＴ画像データ格納部１２に格納されている３次元画像データに基づきＭＰＲ（ＭｕｌｔｉＰｌａｎａｒ　Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）画像を生成するＭＰＲ画像生成部１３と、ＭＰＲ画像生成部が生成したＭＰＲ画像を有する後述するルート設定画面を生成し気管支鏡２の目的部位へのナビゲーションルート（以下、単にルートと記す）を設定するルート設定部１４と、ＣＴ画像データ格納部１２に格納されている３次元画像データに基づきルート設定部１４によって設定されたルートの連続したＶＢＳ画像を生成するＶＢＳ画像生成部１５と、ＶＢＳ画像生成部１５が生成したＶＢＳ画像を格納するＶＢＳ画像格納部１６と、気管支鏡２からの撮像信号及び入力部４からの入力信号を入力しライブ画像及びＶＢＳ画像からなる後述するナビゲーション画面を生成する画像処理部１７と、ルート設定部１４が生成したルート設定画面及び画像処理部１７が生成したナビゲーション画面をモニタ５に表示させる画像表示制御部１８と、設定情報を入力するキーボード及びポインティングデバイスからなる設定情報入力部１９とから構成される。
【００１４】
また、気管支鏡ナビゲーション装置６には、ＶＢＳ画像生成部１５に対して気管支鏡２の光学特性を反映させるための光学特性格納部２０が設けられている。これは、例えば図２に示すようにＶＢＳ画像生成部１５が生成するＶＢＳ画像は光学歪みを有しないのに対して、気管支鏡２が撮像した撮像信号は図３に示すような光学歪みを有しているために、ＶＢＳ画像生成部１５では光学特性格納部２０に格納されているデータに基づきＶＢＳ画像に光学歪みを与えてＶＢＳ画像を補正して生成するようになっている。気管支鏡２の光学歪み等の光学特性は、写真計測やロボットビジョン等の分野で様々な方式が提案されているカメラキャリブレーション手法により得ることができる。
【００１５】
なお、ＣＴ画像データ格納部１２、ＶＢＳ画像格納部１６及び光学特性格納部２０は、１つのハードディスクによって構成してもよく、また、ＭＰＲ画像生成部１３、ルート設定部１４、ＶＢＳ画像生成部１５及び画像処理部１７は１つの演算処理回路で構成することができる。また、ＣＴ画像データ取り込み部１１はＭＯあるいはＤＶＤ等の可搬型の記憶媒体を介してＣＴ画像データを取り込みとしたが、ＣＴ装置あるいはＣＴ画像データを保存している院内サーバが院内ＬＡＮに接続されている場合には、ＣＴ画像データ取り込み部１１を該院内ＬＡＮに接続可能なインターフェイス回路により構成し、院内ＬＡＮを介してＣＴ画像データを取り込むようにしてもよい。
【００１６】
画像処理部１７は、図４に示すように、気管支鏡２が撮像したライブ画像を入力するライブ画像入力部２１と、ＶＢＳ画像格納部１６に格納されているＶＢＳ画像を入力するＶＢＳ画像入力部２２と、ライブ画像入力部２１が入力したライブ画像及びＶＢＳ画像入力部２２が入力したＶＢＳ画像とによりナビゲーション画面を生成するナビゲーション画面生成部２３と、ナビゲーション画面生成部２３が生成したナビゲーション画面上のライブ画像の特徴点を抽出し第１のベクトルＡを算出する第１の特徴点抽出部２４と、ナビゲーション画面生成部２３が生成したナビゲーション画面上のＶＢＳ画像の特徴点を抽出し第２のベクトルＢを算出する第２の特徴点抽出部２５と、ベクトルＡとベクトルＢを比較しナビゲーション画面上のライブ画像あるいはＶＢＳ画像を回転させる特徴量比較部２６とを備え、ナビゲーション画面生成部２３は特徴量比較部２６の制御に基づきライブ画像あるいはＶＢＳ画像を回転補正してナビゲーション画面を生成し、ナビゲーション画面を画像表示制御部１８に出力するようになっている。
【００１７】
入力部４は、図５に示すように、ナビゲーション画面に表示する気管支の分岐点毎のＶＢＳ画像の更新を指示する次ＶＢＳスイッチであるＳＷ１と、ライブ画像の回転を指示するライブ画像回転スイッチであるＳＷ２と、ＶＢＳ画像を回転させライブ画像の向きに対応させる指示を行うＶＢＳ画像回転スイッチであるＳＷ３と、ライブ画像の静止画像の取り込みを指示するフリーズスイッチであるＳＷ４とから構成される。
【００１８】
このように構成された本実施の形態の作用について説明する。まず、目的部位までの気管支鏡２の挿入ルートを設定する。なお、挿入ルートの設定は、モニタ５に表示される例えばアキシャル、コロナル、サジタルの３つの異なる断面像からなるＭＰＲ画像を有するルート設定画面を用いて行われる。
【００１９】
図６に示すように、設定情報入力部１９を操作することで、ステップＳ１１で図７に示すようなルートの始点の入力を促す始点入力指示ウインドウ３１がルート設定画面２７上に表示され、ルート設定画面２７上にカーソル３０を用いてＭＰＲ画像２８の３つの断層像を参照しながら、ＭＰＲ画像２８のうちの１つの断層像上で始点を設定する。始点を設定すると他のＭＰＲ画像２８の２つの断層像上にも対応する位置に始点が設定されると共に、図８に示すようなルートの終点となる患部位置の入力を促す終点入力指示ウインドウ３２がルート設定画面２７上に表示される。
【００２０】
そこで、ステップＳ１２で始点の設定と同様に、ルート設定画面２７上にカーソル３０を用いてＭＰＲ画像２８の３つの断層像を参照しながら、ＭＰＲ画像２８のうちの１つの断層像上で終点を設定する。終点を設定すると他のＭＰＲ画像２８の２つの断層像上にも対応する位置に終点が設定される。
【００２１】
始点と終点が設定されると、ステップＳ１３でルート設定部１４は始点から終点に至る気管支内のルートを探索する。気管支は複雑な経路を有しているので、終点となる患部位置によっては、始点から終点に至る気管支内のルートが一意的に決まるとは限らないので、ルート設定部１４ではステップＳ１３では、始点から終点に至る気管支内のルートの第１候補を探索する。
【００２２】
そして、ルート設定部１４はルート設定画面２７上において、図９に示すように、ステップＳ１４で探索されたルートをＭＰＲ画像２８に重畳して表示すると共に、ルートの確定等の入力を促すルート確定ウインドウ３３を表示する。
【００２３】
ルート確定ウインドウ３３には、探索したルートの確定を指示するルート確定ボタン４１と、次候補のルートの探索を指示する次候補探索ボタン４２と、始点及び終点を再設定し直すルート再設定ボタン４３と、ルート探索処理をキャンセルするキャンセルボタン４４とを備えている。
【００２４】
ステップＳ１５で次候補探索ボタン４２がクリックされたかどうか判断し、クリックされたならばステップＳ１６で次候補のルートを自動探索してステップＳ１７に進み、クリックされない場合にはステップＳ１８に進む。ステップＳ１７では次候補を探索した結果、次候補が存在するかどうかを判断し、存在しない場合には図示はしないが次候補ルートが存在しない旨の警告を表示しステップＳ１３に戻り、存在する場合にはステップＳ１４に戻る。
【００２５】
ステップＳ１８では、ルート再設定ボタン４３がクリックされたかどうか判断し、クリックされたならばステップＳ１１に戻り、クリックされない場合にはステップＳ１９に進む。
【００２６】
ステップＳ１９では、ルート確定ボタン４１がクリックされたかどうか判断し、クリックされない場合にはステップＳ１５に戻り、クリックされたならばステップＳ２０に進み、ステップＳ２０で、図１０に示すような気管支上のルート及びルート内の各分岐点の位置情報を決定して処理を終了する。
【００２７】
このようにしてルート設定がなされた気管支鏡ナビゲーション装置６による気管支鏡２による観察・処置時の挿入のナビゲーションについて説明する。
【００２８】
図１１に示すように、気管支鏡ナビゲーション装置６によるナビゲーションを開始し、ナビゲーションを必要とする分岐点に達すると、モニタ５に表示されるナビゲーション画面５３により、ライブ画像エリア５１には該分岐点のライブ画像が、また次ＶＢＳスイッチであるＳＷ１の押下によりＶＢＳ画像エリア５２には該分岐点のＶＢＳ画像が表示される。なお、次ＶＢＳスイッチであるＳＷ１を押下する毎に、ＶＢＳ画像エリア５２には気管支の分岐点のＶＢＳ画像が順次表示される。
【００２９】
このときの該分岐点でのライブ画像の向きとＶＢＳ画像の向きは必ずしも一致していない。
【００３０】
本実施の形態では、例えば挿入先経路穴が画像の略中心線上の上あるいは下に位置するようにＶＢＳ画像を生成しているが、ライブ画像は気管支鏡２の挿入術に応じて回転した画像となるため、ライブ画像の向きとＶＢＳ画像の向きは必ずしも一致していない。
【００３１】
本実施の形態では、ライブ画像を回転させるかＶＢＳ画像を回転させるかの２つの方法によりライブ画像の向きとＶＢＳ画像の向きを一致させる。
【００３２】
まず、ライブ画像回転スイッチであるＳＷ２を押下することで、ライブ画像を回転させ、ライブ画像の向きとＶＢＳ画像の向きを一致させる方法について説明する。
【００３３】
ライブ画像回転スイッチであるＳＷ２を押下されると、画像処理部１７において、図１２に示すように、第２の特徴点抽出部２５がステップＳ３１でＶＢＳ画像入力部２２を介して入力されている分岐点のＶＢＳ画像の特徴点を抽出し、ステップＳ３２でＶＢＳ画像上でベクトルＢを算出する。また、第１の特徴点抽出部２４がステップＳ３３でライブ画像入力部２１を介して入力されている分岐点のライブ画像の特徴点を抽出し、ステップＳ３４でライブ画像上でベクトルＡを算出する。
【００３４】
ここで、ベクトルＡ及びベクトルＢの算出方法について説明する。図１３に示すように、例えば分岐点において分岐穴が２つの場合には、ライブ画像及びＶＢＳ画像から分岐点を分ける分岐壁を、例えば閾値を用いて２値化することにより抽出し、分岐壁線６１を得る。そして、図１４に示すように、ライブ画像及びＶＢＳ画像のそれぞれで、分岐穴の大きさ、形状等に違いから分岐壁線６１に方向付けを行い、正規化することでライブ画像のベクトルＡ及びＶＢＳ画像のベクトルＢとする（例えば図１４においては小さい分岐穴が右に来るように分岐壁線６１に方向付けを行い、ベクトルＡ及びＢを得る）。
【００３５】
また、分岐点において分岐穴が２つ以上、例えば図１５に示すように分岐穴が３つの場合には、例えば公知の画像処理により最も大きい分岐穴と最も小さい分岐穴を抽出する。そして、図１６に示すように、最も大きい分岐穴の中心から最も小さい分岐穴の中心に向かうベクトルを、ぞれぞれライブ画像のベクトルＡ及びＶＢＳ画像のベクトルＢとする。
【００３６】
このようにしてベクトルＡ及びベクトルＢの算出がなされると、図１２のステップＳ３５でベクトルＡとベクトルＢが等しいかどうか判断し、等しい場合にはステップＳ３６に進み、等しくない場合には、ステップＳ３７で「ベクトルＡ＝ベクトルＢ」となるためのライブ画像の回転方向と回転量をライブ画像上に表示し術者に気管支鏡２を操作させライブ画像の回転操作を促し、ステップＳ３３に戻る。
【００３７】
ステップＳ３５では、「ベクトルＡ＝ベクトルＢ」となっているので、ライブ画像の向きとＶＢＳ画像の向きが一致し、ＶＢＳ画像上の挿入先経路穴に挿入先マークを表示して処理を終了する。
【００３８】
上記ステップＳ３３〜Ｓ３７の処理の具体例を図１７〜図１９を用いて説明する。図１１の状態の分岐点でのナビゲーション処理がなされると、例えばベクトルＡとベクトルＢとのなす角が９０°の場合、ステップＳ３３〜Ｓ３５の処理を経てステップＳ３７に移行して、ステップＳ３７で図１７に示すようなライブ画像上に回転方向マーク７１と回転量マーク７２を重畳して表示し術者に気管支鏡２を操作させライブ画像の回転操作を促し、ステップＳ３３に戻る。
【００３９】
ライブ画像は所定時間間隔でライブ画像入力部２１を介して入力されるが、例えば術者が気管支鏡２を操作してライブ画像を４５°回転させたとき入力されたライブ画像に関しては、ステップＳ３７で図１８に示すようなライブ画像上に回転方向マーク７１ａと回転量マーク７２ａを重畳して表示し術者に気管支鏡２を操作させライブ画像の回転操作を促し、ステップＳ３３に戻る。
【００４０】
さらに、例えば術者が気管支鏡２を操作してライブ画像を４５°回転させたとき入力されたライブ画像に関しては、図１９に示すように「ベクトルＡ＝ベクトルＢ」となるので、ステップＳ３３〜Ｓ３５の処理を経てステップＳ３６に移行して、ステップＳ３６でＶＢＳ画像上の挿入先経路穴に挿入先マーク７３を表示して処理を終了する。
【００４１】
気管支鏡２は細径に構成するために、一般に一方向、すなわち例えばライブ画像の上下方向のみが湾曲可能に構成されている。上述したように、本実施の形態のＶＢＳ画像は挿入先経路穴が画像の略中心線上の上あるいは下に位置するようになっているので、ライブ画像回転スイッチであるＳＷ２を押下させ、ＶＢＳ画像の向きにライブ画像を合わせるように気管支鏡２を操作させることで、所望の挿入先経路穴に向かって容易に先端を湾曲させることが可能となる。
【００４２】
次に、ＶＢＳ画像回転スイッチであるＳＷ３を押下することで、ＶＢＳ画像を回転させ、ライブ画像の向きとＶＢＳ画像の向きを一致させる方法について説明する。
【００４３】
ＶＢＳ画像回転スイッチであるＳＷ３を押下されると、画像処理部１７において、図２０に示すように、第２の特徴点抽出部２５がステップＳ４１でＶＢＳ画像入力部２２を介して入力されている分岐点のＶＢＳ画像の特徴点を抽出し、ステップＳ４２でＶＢＳ画像上でベクトルＢを算出する。また、第１の特徴点抽出部２４がステップＳ４３でライブ画像入力部２１を介して入力されている分岐点のライブ画像の特徴点を抽出し、ステップＳ４４でライブ画像上でベクトルＡを算出する。なお、ベクトルＡ及びベクトルＢの算出方法はライブ画像の回転時と同じである。
【００４４】
ベクトルＡ及びベクトルＢの算出がなされると、ステップＳ４５でＶＢＳ画像を回転させライブ画像の向きに一致させ、ステップＳ４６でＶＢＳ画像上の挿入先経路穴に挿入先マークを表示して処理を終了する。図２１はＶＢＳ画像の回転前のナビゲーション画面５３を示し、図２２はＶＢＳ画像を回転させライブ画像の向きに一致させてＶＢＳ画像上の挿入先経路穴に挿入先マーク７３を表示したナビゲーション画面５３を示している。
【００４５】
術者が気管支挿入術を十分習得している場合には、術者は挿入先経路穴がライブ画像上のどの穴かが分かればよいので、ＶＢＳ画像回転スイッチであるＳＷ３を押下しＶＢＳ画像を回転させライブ画像の向きに一致させてればよく、簡単且つ短時間に挿入先経路穴を認識させることが可能となる。
【００４６】
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
【００４７】
【発明の効果】
以上説明したように本発明によれば、案内画像の向きと内視鏡画像の向きとを一致させることにより、内視鏡を目的部位に確実にナビゲーションすることができるという効果がある。
【図面の簡単な説明】
【図１】本発明の一実施の形態に係る内視鏡装置の構成を示す構成図
【図２】図１の光学特性格納部に格納されるデータを説明する第１の図
【図３】図１の光学特性格納部に格納されるデータを説明する第２の図
【図４】図１の画像処理部の構成を示す構成図
【図５】図１の入力部の構成を示す構成図
【図６】図１の気管支鏡ナビゲーション装置によるルート設定処理の流れを示すフローチャート
【図７】図６の処理で展開されるルート設定画面を示す第１の図
【図８】図６の処理で展開されるルート設定画面を示す第２の図
【図９】図６の処理で展開されるルート設定画面を示す第３の図
【図１０】図６の処理により設定された気管支上のルートを模式的に示した図
【図１１】図１の気管支鏡ナビゲーション装置により表示されるナビゲーション画面を示す図
【図１２】図４の画像処理部によるライブ画像を回転させライブ画像の向きとＶＢＳ画像の向きを一致させる処理の流れを示すフローチャート
【図１３】図１２の処理でのベクトルＡ及びベクトルＢの算出方法を説明する第１の図
【図１４】図１２の処理でのベクトルＡ及びベクトルＢの算出方法を説明する第２の図
【図１５】図１２の処理でのベクトルＡ及びベクトルＢの算出方法を説明する第３の図
【図１６】図１２の処理でのベクトルＡ及びベクトルＢの算出方法を説明する第４の図
【図１７】図１２の処理の具体例を説明する第１の図
【図１８】図１２の処理の具体例を説明する第２の図
【図１９】図１２の処理の具体例を説明する第３の図
【図２０】図４の画像処理部によるＶＢＳ画像を回転させライブ画像の向きとＶＢＳ画像の向きを一致させる処理の流れを示すフローチャート
【図２１】図２０の処理の具体例を説明する第１の図
【図２２】図２０の処理の具体例を説明する第２の図
【符号の説明】
１…内視鏡装置
２…気管支鏡
４…入力部
５…モニタ
６…気管支鏡ナビゲーション装置
１１…ＣＴ画像データ取り込み部
１２…ＣＴ画像データ格納部
１３…ＭＰＲ画像生成部
１４…ルート設定部
１５…ＶＢＳ画像生成部
１６…ＶＢＳ画像格納部
１７…画像処理部
１８…画像表示制御部
１９…設定情報入力部
２０…光学特性格納部
２１…ライブ画像入力部
２２…ＶＢＳ画像入力部
２３…ナビゲーション画面生成部
２４…第１の特徴点抽出部
２５…第２の特徴点抽出部
２６…特徴量比較部

Claims (1)

  1. 被検体の３次元領域の画像データに基づき前記被検体内の体腔路の仮想的な内視鏡画像を生成する仮想内視鏡画像生成手段と、
    前記被検体内の体腔路を撮像する内視鏡と、
    前記内視鏡により撮像された前記被検体内の体腔路の内視鏡画像と前記仮想内視鏡画像とからなるナビゲーション画像を生成するナビゲーション画像生成手段と
    を備え、
    前記被検体内の体腔路への前記内視鏡の挿入経路を案内しながら、前記被検体内を観察・処置する内視鏡装置において、
    前記仮想内視鏡画像の特徴量を抽出する仮想内視鏡画像特徴量抽出手段と、
    前記内視鏡画像の特徴量を抽出する内視鏡画像特徴量抽出手段と、
    前記仮想内視鏡画像特徴量抽出手段及び前記内視鏡画像特徴量抽出手段が抽出した特徴量に基づき前記ナビゲーション画像を補正するナビゲーション画像補正手段と
    を備えたことを特徴とする内視鏡装置。
JP2002255699A 2002-08-30 2002-08-30 内視鏡装置 Expired - Fee Related JP4022114B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002255699A JP4022114B2 (ja) 2002-08-30 2002-08-30 内視鏡装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002255699A JP4022114B2 (ja) 2002-08-30 2002-08-30 内視鏡装置

Publications (2)

Publication Number Publication Date
JP2004089484A true JP2004089484A (ja) 2004-03-25
JP4022114B2 JP4022114B2 (ja) 2007-12-12

Family

ID=32061158

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002255699A Expired - Fee Related JP4022114B2 (ja) 2002-08-30 2002-08-30 内視鏡装置

Country Status (1)

Country Link
JP (1) JP4022114B2 (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006218129A (ja) * 2005-02-10 2006-08-24 Olympus Corp 手術支援システム
JP2008541860A (ja) * 2005-05-23 2008-11-27 ザ ペン ステイト リサーチ ファンデーション 連続的にガイドされた内視鏡検査法への適用を伴う高速２ｄ−３ｄ画像重ね合わせ方法
JP2009056238A (ja) * 2007-09-03 2009-03-19 Olympus Medical Systems Corp 内視鏡装置
EP2123216A1 (en) * 2008-05-23 2009-11-25 Olympus Medical Systems Corporation Bronchoscope
EP2186466A1 (en) * 2007-12-28 2010-05-19 Olympus Medical Systems Corporation Medical instrument system
US8202213B2 (en) 2008-05-23 2012-06-19 Olympus Medical Systems Corp. Medical device
WO2012165572A1 (ja) * 2011-06-01 2012-12-06 株式会社 東芝 医用画像表示装置及び医用画像診断装置
WO2019088008A1 (ja) * 2017-10-31 2019-05-09 富士フイルム株式会社 画像処理装置、画像処理方法、プログラム、及び内視鏡システム
WO2019107226A1 (ja) * 2017-11-29 2019-06-06 水野 裕子 内視鏡装置
JP2019097661A (ja) * 2017-11-29 2019-06-24 水野 裕子 内視鏡ナビゲーション装置
JP2019097665A (ja) * 2017-11-29 2019-06-24 水野 裕子 内視鏡装置
JP2019170666A (ja) * 2018-03-28 2019-10-10 日本光電工業株式会社 挿管装置
JP6632020B1 (ja) * 2019-09-20 2020-01-15 株式会社Ｍｉｃｏｔｏテクノロジー 内視鏡画像処理システム
JP2020524579A (ja) * 2017-06-23 2020-08-20 オーリス ヘルス インコーポレイテッド 管腔ネットワーク内の医療装置の姿勢を特定するロボットシステム
EP3804647A1 (en) * 2005-04-21 2021-04-14 Boston Scientific Scimed Inc. Control methods and devices for energy delivery
WO2023175855A1 (ja) * 2022-03-17 2023-09-21 オリンパスメディカルシステムズ株式会社 内視鏡制御システムおよび内視鏡制御方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000135215A (ja) * 1998-10-30 2000-05-16 Ge Yokogawa Medical Systems Ltd 管路案内方法および装置並びに放射線断層撮影装置
JP2003265408A (ja) * 2002-03-19 2003-09-24 Mitsubishi Electric Corp 内視鏡誘導装置および方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000135215A (ja) * 1998-10-30 2000-05-16 Ge Yokogawa Medical Systems Ltd 管路案内方法および装置並びに放射線断層撮影装置
JP2003265408A (ja) * 2002-03-19 2003-09-24 Mitsubishi Electric Corp 内視鏡誘導装置および方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
永田敦: "内視鏡ナビゲーションシステムの開発", 東京工業大学平成１３年度修士論文, JPN4007005902, 14 February 2002 (2002-02-14), ISSN: 0000837882 *
永田敦: "内視鏡ナビゲーションシステムの開発", 東京工業大学平成１３年度修士論文, JPNX007052646, 14 February 2002 (2002-02-14), ISSN: 0000899199 *

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006218129A (ja) * 2005-02-10 2006-08-24 Olympus Corp 手術支援システム
EP3804647A1 (en) * 2005-04-21 2021-04-14 Boston Scientific Scimed Inc. Control methods and devices for energy delivery
US11547474B2 (en) 2005-04-21 2023-01-10 Boston Scientific Scimed, Inc. Control methods and devices for energy delivery
US8675935B2 (en) 2005-05-23 2014-03-18 The Penn State Research Foundation Fast 3D-2D image registration method with application to continuously guided endoscopy
JP2008541860A (ja) * 2005-05-23 2008-11-27 ザ ペン ステイト リサーチ ファンデーション 連続的にガイドされた内視鏡検査法への適用を伴う高速２ｄ−３ｄ画像重ね合わせ方法
JP2009056238A (ja) * 2007-09-03 2009-03-19 Olympus Medical Systems Corp 内視鏡装置
US8556803B2 (en) 2007-12-28 2013-10-15 Olympus Medical Systems Corp. Medical apparatus system
EP2186466A4 (en) * 2007-12-28 2011-01-19 Olympus Medical Systems Corp MEDICAL INSTRUMENT SYSTEM
EP2186466A1 (en) * 2007-12-28 2010-05-19 Olympus Medical Systems Corporation Medical instrument system
EP2123216A1 (en) * 2008-05-23 2009-11-25 Olympus Medical Systems Corporation Bronchoscope
US8298135B2 (en) 2008-05-23 2012-10-30 Olympus Medical Systems Corp. Medical device with endoscope and insertable instrument
US8202213B2 (en) 2008-05-23 2012-06-19 Olympus Medical Systems Corp. Medical device
US9655498B2 (en) 2011-06-01 2017-05-23 Toshiba Medical Systems Corporation Medical image displaying apparatus and a medical image diagnostic apparatus
WO2012165572A1 (ja) * 2011-06-01 2012-12-06 株式会社 東芝 医用画像表示装置及び医用画像診断装置
JP2020524579A (ja) * 2017-06-23 2020-08-20 オーリス ヘルス インコーポレイテッド 管腔ネットワーク内の医療装置の姿勢を特定するロボットシステム
US11759266B2 (en) 2017-06-23 2023-09-19 Auris Health, Inc. Robotic systems for determining a roll of a medical device in luminal networks
US11278357B2 (en) 2017-06-23 2022-03-22 Auris Health, Inc. Robotic systems for determining an angular degree of freedom of a medical device in luminal networks
JP2022141792A (ja) * 2017-06-23 2022-09-29 オーリス ヘルス インコーポレイテッド 管腔ネットワーク内の医療装置の姿勢を特定するロボットシステム
WO2019088008A1 (ja) * 2017-10-31 2019-05-09 富士フイルム株式会社 画像処理装置、画像処理方法、プログラム、及び内視鏡システム
JPWO2019088008A1 (ja) * 2017-10-31 2020-11-12 富士フイルム株式会社 画像処理装置、画像処理方法、プログラム、及び内視鏡システム
JP7148534B2 (ja) 2017-10-31 2022-10-05 富士フイルム株式会社 画像処理装置、プログラム、及び内視鏡システム
JP2019097661A (ja) * 2017-11-29 2019-06-24 水野 裕子 内視鏡ナビゲーション装置
JP2019097665A (ja) * 2017-11-29 2019-06-24 水野 裕子 内視鏡装置
WO2019107226A1 (ja) * 2017-11-29 2019-06-06 水野 裕子 内視鏡装置
JP2019170666A (ja) * 2018-03-28 2019-10-10 日本光電工業株式会社 挿管装置
US11511064B2 (en) 2018-03-28 2022-11-29 Nihon Kohden Corporation Intubation apparatus
JP2021048927A (ja) * 2019-09-20 2021-04-01 株式会社Ｍｉｃｏｔｏテクノロジー 内視鏡画像処理システム
WO2021054419A1 (ja) * 2019-09-20 2021-03-25 株式会社Ｍｉｃｏｔｏテクノロジー 内視鏡画像処理システム及び内視鏡画像処理方法
JP6632020B1 (ja) * 2019-09-20 2020-01-15 株式会社Ｍｉｃｏｔｏテクノロジー 内視鏡画像処理システム
WO2023175855A1 (ja) * 2022-03-17 2023-09-21 オリンパスメディカルシステムズ株式会社 内視鏡制御システムおよび内視鏡制御方法

Also Published As

Publication number Publication date
JP4022114B2 (ja) 2007-12-12

Similar Documents

Publication Publication Date Title
JP4009639B2 (ja) 内視鏡装置、内視鏡装置のナビゲーション方法、内視鏡画像の表示方法、及び内視鏡用画像表示プログラム
JP3820244B2 (ja) 挿入支援システム
US9554729B2 (en) Catheterscope 3D guidance and interface system
JP3930423B2 (ja) 内視鏡装置
JP4733243B2 (ja) 生検支援システム
JP4922107B2 (ja) 内視鏡装置
JP4343723B2 (ja) 挿入支援システム
JP4022114B2 (ja) 内視鏡装置
IL259155A (en) Improving registration with track-sensing track information
US20060203089A1 (en) Insertion support system
WO2005041761A1 (ja) 挿入支援システム
JP3850217B2 (ja) 気管支用内視鏡位置検出装置
JP4323288B2 (ja) 挿入支援システム
JP4245880B2 (ja) 内視鏡装置
JP4022192B2 (ja) 挿入支援システム
JP4445792B2 (ja) 挿入支援システム
JP4546064B2 (ja) 挿入シミュレーション装置
JP4160487B2 (ja) 挿入支援システム
JP4573517B2 (ja) 挿入支援システム
JP2005013358A (ja) 挿入支援システム
JP4354353B2 (ja) 挿入支援システム
JP2005021354A (ja) 遠隔手術支援装置
JP2005304936A (ja) 多断面再構築画像生成装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040728

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070410

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070608

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070925

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070928

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101005

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4022114

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101005

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101005

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111005

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111005

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121005

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131005

Year of fee payment: 6

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees