JP2004097696A

JP2004097696A - 内視鏡観測装置

Info

Publication number: JP2004097696A
Application number: JP2002267193A
Authority: JP
Inventors: Toshiya Akimoto; 秋本　俊也; Junichi Onishi; 大西　順一; Hidekazu Kobayashi; 小林　英一; Kunihide Kaji; 梶　国英; Akito Saito; 斉藤　明人; Takao Shibazaki; 柴崎　隆男; Taiji Mine; 峯　泰治
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2002-09-12
Filing date: 2002-09-12
Publication date: 2004-04-02
Anticipated expiration: 2022-09-12
Also published as: JP4334839B2

Abstract

【課題】体腔内管路の末梢部における生診率（生体検査診断率）の向上化が可能な内視鏡観測装置を実現する。
【解決手段】内視鏡観測装置１は、内視鏡２及びＣＣＵ３で構成される内視鏡装置４と、ＣＴ装置５と、観測装置本体６と、モニタ７と、生検鉗子８とから構成される。観測装置本体６は、観察画像を取得する内視鏡画像入力部１１と、観察画像からランドマーク１０を識別する内視鏡側対象識別部１５と、ターゲットの位置関係を算出する内視鏡側位置算出部１６と、ＣＴ画像データを取得するＣＴ画像入力部１７と、ＣＴ画像データからターゲット、ランドマーク１０、内視鏡２の挿入部先端部を識別するＣＴ側対象識別部１８と、内視鏡２の挿入部先端部の視点でのターゲットの位置を算出し、観察画像上に合成してこの合成画像をモニタ７に出力する画像合成部２０とを有して構成される。
【選択図】　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、内視鏡観測装置に関し、特に例えば気管支等のような体内の管路で生検（生体検査）等を行う際に用いられる内視鏡観測装置に関する。
【０００２】
【従来の技術】
近年、内視鏡は、広く用いられている。内視鏡は、体腔内に細長な挿入部を挿入することで、体腔内の臓器を観察したり、必要に応じて処置具挿入用チャンネル内に挿入した処置具を用いて、生検（生体検査）等、各種治療処置ができる。
【０００３】
また、近年、内視鏡検査は、例えばＣＴ（　Ｃｏｍｐｕｔｅｄ　Ｔｏｍｏｇｒａｐｈｙ　）装置等により被検体の断層像を撮像して得た３次元画像データを用いて患部の診断が行われるようになってきた。
【０００４】
このような内視鏡検査に用いられる内視鏡観測装置は、例えば、上記３次元画像データに基づいて作成されたナビゲーション画像により、被検体内管路の目的部位まで内視鏡（の挿入部）が導かれるものがある。
そして、上記内視鏡観測装置は、処置具挿通用チャンネルを挿通させた生検鉗子等を用いて生体組織のサンプル（　ｓａｍｐｌｅ　）を採取することが行われる。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記従来の内視鏡観測装置は、例えば、気管支での生検（生体検査）時、内視鏡の挿入部が肺の末梢部まで挿入し難い。この場合、上記従来の内視鏡観測装置は、肺の末梢部にある目的部位近傍まで到達可能であるが、目的部位まで到達することが困難である。
このため、上記従来の内視鏡観測装置は、内視鏡観察画像上において、目的部位近傍で盲の状態で上記生検鉗子等を用いて生検（生体検査）を行うこととなる。
【０００６】
本発明は、上述した問題点に鑑みてなされたものであり、体腔内管路の末梢部における生診率（生体検査診断率）の向上化が可能な内視鏡観測装置を提供する。
【０００７】
【課題を解決するための手段】
本発明の請求項１は、病変近傍まで達してこの病変近傍を観察する内視鏡を有し、この内視鏡で得た病変近傍の観察画像を得る内視鏡観測装置において、前記内視鏡を用いて前記病変近傍に指標を配置する指標配置手段と、前記指標配置手段により前記指標を配置した状態で、前記病変近傍と前記内視鏡とを含む領域の断層画像データを得る断層画像データ取得手段と、前記断層画像データ取得手段で得た断層画像データに基づき、病変部と前記内視鏡との相対位置を特定する相対位置特定手段と、を具備したことを特徴としている。
また、本発明の請求項２は、病変近傍まで達してこの病変近傍を観察する内視鏡を有し、この内視鏡で得た病変近傍の観察画像を得る内視鏡観測装置において、前記内視鏡を用いて前記病変近傍に指標を配置する指標配置手段と、前記指標配置手段により前記指標を配置した状態で、前記病変近傍と前記内視鏡と前記指標とを含む領域の断層画像データを取得する断層画像データ取得手段と、前記断層画像データ取得手段で得た断層画像データに基づき、病変部と前記内視鏡との相対位置を特定する相対位置特定手段と、を具備したことを特徴としている。
また、本発明の請求項３は、請求項１に記載の内視鏡観測装置において、前記相対位置特定手段は、前記断層画像データから得た前記病変部の中心点と、前記内視鏡のベクトルとで前記病変部位と前記内視鏡との相対位置を特定することを特徴としている。
また、本発明の請求項４は、請求項２に記載の内視鏡観測装置において、前記相対位置特定手段は、前記断層画像データから得た前記病変部の中心点と、前記内視鏡の挿入部先端部の中心点と、前記指標の中心点とで前記病変部位と前記内視鏡との相対位置を特定することを特徴としている。
この構成により、体腔内管路の末梢部における生診率（生体検査診断率）の向上化が可能な内視鏡観測装置を実現する。
【０００８】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
（第１の実施の形態）
図１ないし図１１は本発明の第１の実施の形態に係り、図１は本発明の第１の実施の形態の内視鏡観測装置を示す全体構成図、図２は図１の内視鏡観測装置で実行される生検メインのフローチャート、図３はランドマークを気管支のターゲット近傍の粘膜に貼り付けた際のモニタ表示例、図４は図３の生検位置確認のフローチャート、図５は観察画像（内視鏡画像）にターゲットが合成された合成画像のモニタ表示例、図６は図３の対象の位置関係算出のフローチャート、図７は目盛りが形成されている生検鉗子を示す概略図であり、図７（ａ）は生検カップが閉じている際の生検鉗子を示す概略図、図７（ｂ）は生検カップが開いている際の生検鉗子を示す概略図、図８は長さに応じて着色されている生検鉗子を示す概略図であり、図８（ａ）は生検カップが閉じている際の生検鉗子を示す概略図、図８（ｂ）は生検カップが開いている際の生検鉗子を示す概略図、図９は図３の生検のフローチャート、図１０は形状の異なるランドマークを最低２つターゲット近傍に貼り付けた際のモニタ表示例、図１１は変形例の生検位置確認のフローチャートである。
【０００９】
尚、本実施の形態では、気管支内視鏡に本発明を適用した場合を説明する。
【００１０】
図１に示すように本発明の第１の実施の形態を備えた内視鏡観測装置１は、気管支に挿入可能な気管支内視鏡（以下、単に内視鏡）２及び、この内視鏡２の図示しない撮像手段で撮像して得た内視鏡像を信号処理して標準的な映像信号を生成するカメラコントロールユニット（以下、ＣＣＵ）３で構成される内視鏡装置４と、被検体の断層像を撮像して３次元画像（以下、ＣＴ画像）データを得るＣＴ装置５と、このＣＴ装置５で得たＣＴ画像データから抽出されるターゲット（目的部位）の位置とこのターゲット（目的部位）近傍に挿入された内視鏡２との位置関係を求め、前記ＣＣＵ３で信号処理された内視鏡画像（以下、観察画像と記す）にターゲット（目的部位）を合成する処理を行う観測装置本体６と、この観測装置本体６からの合成画像を表示するモニタ７とから主に構成されている。
【００１１】
前記内視鏡２は、細長で可撓性の図示しない挿入部を有して構成される。また、前記内視鏡２は、生検鉗子８等の処置具を図示しない処置具挿入口から挿入し、図示しない処置具挿通用チャンネルを介して前記挿入部先端部に形成されているチャンネル開口から処置具の先端側を突出させて生検などを行うことができるようになっている。
【００１２】
また、前記内視鏡２は、照明光を伝達する図示しないライトガイドが挿通配設されている。このライトガイドは、図示しない光源からの照明光を伝達するようになっている。前記ライトガイドから伝達された照明光は、前記挿入部先端部に固定された図示しない照明窓の先端面から患部などの被写体を照明するようになっている。
【００１３】
照明された被写体は、前記照明窓に隣接して設けた図示しない観察窓から被写体像が内視鏡２へ取り込まれる。この取り込まれた被写体像は、図示しない撮像装置により撮像されて光電変換され、撮像信号に変換されるようになっている。そして、この撮像信号は、図示しない信号ケーブルを伝達し、前記ＣＣＵ３へ出力される。
【００１４】
前記ＣＣＵ３は、前記内視鏡２の前記撮像装置からの撮像信号を信号処理して、標準的な映像信号を生成し、この映像信号を前記モニタ７に出力して、このモニタ７の表示面に観察画像を表示させるようになっている。
【００１５】
尚、内視鏡観測装置１は、図示しないが予め前記ＣＴ装置５で得たＣＴ画像データにより生成した仮想の内視鏡画像（以下、ＶＢＳ画像と記す）を構築するナビゲーションユニット（以下、ナビユニット）に接続されるようになっている。そして、このナビユニットは、生成したＶＢＳ画像を内視鏡２（の挿入部先端部）の位置にリンクして前記モニタ７に表示させ、ターゲット近傍までの内視鏡２（の挿入部先端部）のナビゲーションを行うように構成されている。
【００１６】
前記内視鏡２は、前記ナビユニットにより前記モニタ７に表示されるＶＢＳ画像で導かれながら例えば、気管支内のターゲット近傍に内視鏡２（の挿入部先端部）が到達されるようになっている。そして、内視鏡観測装置１は、ターゲット近傍で内視鏡観察・処置（生検や治療）等を行うようになっている。
【００１７】
ここで、内視鏡観測装置１は、ターゲットを生検（生体検査）によって確認するために、生検鉗子８等で生体組織のサンプル（　ｓａｍｐｌｅ　）を採取することが行われるようになっている。
【００１８】
このとき、後述するように内視鏡観測装置１は、金や白金等の生体安全性を有する金属箔で形成されたランドマーク１０を、指標配置手段である生検鉗子８でターゲット近傍に貼り付けて（図３参照）、このターゲット近傍を前記ＣＴ装置５でＣＴ撮影する。尚、ランドマーク１０は、ＣＴ撮影可能な金属箔で形成されているので、体腔内臓器と容易に区別でき、識別可能である。
そして、内視鏡観測装置１は、ＣＴ画像データからランドマーク１０、ターゲット、内視鏡２の挿入部先端部の位置関係を求め、観察画像上にターゲットを合成して生検位置を確認するようになっている。
【００１９】
次に、前記観測装置本体６の詳細構成を説明する。
前記観測装置本体６は、前記内視鏡装置４と接続し、観察画像を取得する内視鏡画像入力部１１と、使用している内視鏡２に記憶保持されたＩＤを検出する内視鏡機種検出部１２と、この内視鏡機種検出部１２で検出したＩＤに基づき、予め記録した内視鏡２の光学特性を出力する内視鏡情報記録部１３と、この内視鏡情報記録部１３からの光学特性に基づき、前記内視鏡画像入力部１１で入力された観察画像の画角や歪等のディストーションを補正する画像補正部１４と、この画像補正部１４で補正された観察画像から前記ランドマーク１０を識別する内視鏡側対象識別部１５と、この内視鏡側対象識別部１５で識別されたターゲットの位置関係を算出する内視鏡側位置算出部１６と、断層画像データ取得手段として前記ＣＴ装置５と接続し、このＣＴ装置５のＷＳ（ワークステーション）からＣＴ画像データを取得するＣＴ画像入力部１７と、このＣＴ画像入力部１７で入力されたＣＴ画像データからターゲット、ランドマーク１０、内視鏡２の挿入部先端部を識別するＣＴ側対象識別部１８と、相対位置特定手段として前記ＣＴ側対象識別部１８で識別されたターゲット、ランドマーク１０、内視鏡２の挿入部先端部の位置関係を算出するＣＴ側位置算出部１９と、このＣＴ側位置算出部１９で算出されたＣＴ画像データのターゲット、ランドマーク１０、内視鏡２の位置関係と前記内視鏡側位置算出部１６で算出された観察画像のランドマーク１０の位置関係とから、内視鏡２の挿入部先端部の視点でのターゲットの位置を算出し、観察画像上に合成してこの合成画像を前記モニタ７に出力する画像合成部２０とを有して構成される。
【００２０】
また、前記観測装置本体６は、図示しないフロントパネルに設けた切換釦の押下操作によりオンし、前記モニタ７に表示する画像を観察画像からＶＢＳ画像に切り換える切換部２１と、予め前記ＣＴ装置５で得たＣＴ画像データによりターゲットまでのＶＢＳ画像を生成し、記録しているＶＢＳ画像記録部２２と、切換部２１を介して前記内視鏡画像入力部１１から入力された観察画像上で生検鉗子８の種類を識別する鉗子識別部２３と、この鉗子識別部２３で識別された生検鉗子８の種類に基づき、入力された観察画像上で生検鉗子８の色、又は目盛り（図８，図９参照）を識別して生検鉗子８の挿入長を判定する鉗子挿入長判定部２４と、この鉗子挿入長判定部２４で判定した生検鉗子８の挿入長に応じて、前記ＶＢＳ画像記録部２２で生成記録したＶＢＳ画像を読み込み、前記モニタ７に出力する画像参照部２５とを有して構成される。
【００２１】
尚、前記切換部２１は、挿入部先端部から生検鉗子８を突出させたときを、前記内視鏡画像入力部１１で入力された観察画像から検出して自動的にオンするように構成していても良い。
また、前記観測装置本体６は、生検鉗子８に接続した光ファイバ先端の明暗（明るさ）を検出するフォトダイオード等の光検出部２６と、この光検出部２６で検出した明暗（明るさ）により、生検鉗子８の先端がターゲットに到達して接触した否かを判断し、その結果をＶＢＳ画像に重畳する生検判定部２７とを有して構成される。
【００２２】
このように構成される内視鏡観測装置１は、気管支疾患等の内視鏡観察・処置（生検や治療）に用いられる。
先ず、術者は、患者の体腔内に経口的或いは経鼻的に内視鏡２の挿入部を挿入し、術者が判る所定位置、例えば気管の上端（喉頭部）まで内視鏡２の挿入部先端部を進める。このとき、術者は、モニタ７に表示される内視鏡２で得た観察画像を見ながら、挿入部の挿入を行っている。
【００２３】
そして、術者は、内視鏡２の挿入部先端部を所定位置まで進めると、ここからナビユニットを起動し、モニタ７に表示されるＶＢＳ画像を参照しながら、ターゲットに至る経路に従い、ターゲット近傍まで内視鏡２の挿入部の挿入を行う。
【００２４】
そして、ターゲット近傍まで内視鏡２の挿入部先端部が到達したら、術者は、図２に示す生検メインのフローチャートに従って生検（生体検査）を行う。
先ず、術者は、観察画像を見ながら内視鏡２の処置具挿通用チャンネルに挿通させた生検鉗子８等を用いてランドマーク１０を例えば、図３に示すように気管支のターゲット近傍の粘膜に貼り付ける（ステップＳ１）。尚、このとき、図示しないが、モニタ７は、この表示面に観察画像（内視鏡画像）のみが表示されている。
【００２５】
次に、術者は、このままの状態（内視鏡２を挿入した状態）でＣＴ装置５でターゲット近傍をＣＴ撮影する（ステップＳ２）。
そして、術者は、観測装置本体６による後述の図４に示す生検位置確認のフローチャートに従って、生検位置の確認を行う（ステップＳ３）。そして、生検位置の確認が終了したら、術者は、観測装置本体６による後述の図９に示す生検のフローチャートに従って、生検を行い（ステップＳ４）、生検が終了する。
【００２６】
次に、図４に示す生検位置確認のフローチャートを説明する。
観測装置本体６は、図２の生検メインのステップＳ２で得たＣＴ画像データから抽出されるターゲットの位置と、このターゲット（目的部位）近傍に挿入された内視鏡２の挿入部先端部との位置関係を求め、観察画像にターゲットを合成する生検位置確認処理を行う。
【００２７】
先ず、観測装置本体６は、ＣＴ装置５のＷＳからＣＴ画像データをＣＴ画像入力部１７で入力される（ステップＳ１１）。
次に、観測装置本体６は、ＣＴ画像入力部１７から入力されたＣＴ画像データから対象であるターゲット、ランドマーク１０、内視鏡２の挿入部先端部をＣＴ側対象識別部１８で識別する（ステップＳ１２）。
【００２８】
次に、観測装置本体６は、ＣＴ側対象識別部１８で識別されたターゲット、ランドマーク１０、内視鏡２の挿入部先端部の位置関係をＣＴ側位置算出部１９で算出する（ステップＳ１３）。ここで、ＣＴ側位置算出部１９は、後述の図６に示す対象の位置関係のフローチャートに従って、算出する。
【００２９】
次に、観測装置本体６は、使用している内視鏡２に記憶保持されたＩＤを内視鏡機種検出部１２で検出し（ステップＳ１４）、内視鏡機種検出部１２で検出したＩＤに基づき、内視鏡情報記録部１３が予め記録した内視鏡２の光学特性を画像補正部１４に出力する。
【００３０】
次に、観測装置本体６は、内視鏡装置４（ＣＣＵ３）から観察画像（内視鏡画像）を内視鏡画像入力部１１で入力される（ステップＳ１５）。
そして、観測装置本体６は、内視鏡情報記録部１３からの光学特性に基づき、内視鏡画像入力部１１で入力された観察画像（内視鏡画像）に対して画像補正部１４が画角や歪等の光学特性（ディストーション）を補正する（ステップＳ１６）。
【００３１】
次に、観測装置本体６は、画像補正部１４で補正された観察画像（内視鏡画像）から対象であるランドマーク１０を内視鏡側対象識別部１５で識別し（ステップＳ１７）、この内視鏡側対象識別部１５で識別されたランドマーク１０の位置関係を内視鏡側位置算出部１６で算出する（ステップＳ１８）。ここで、内視鏡側位置算出部１６は、ＣＴ側位置算出部１９と同様に後述の図６に示す対象の位置関係のフローチャートに従って、算出する。
【００３２】
そして、観測装置本体６は、ＣＴ側位置算出部１９で算出されたＣＴ画像データのターゲット、ランドマーク１０、内視鏡２の位置関係と内視鏡側位置算出部１６で算出された観察画像のランドマーク１０の位置関係とから、内視鏡２の挿入部先端部からの視点でのターゲットの位置を算出し、観察画像（内視鏡画像）上に合成して（ステップＳ１９）、この合成画像をモニタ７に出力する。
【００３３】
そして、モニタ７は、図５に示すように観察画像（内視鏡画像）にターゲット３１が半透明で合成された合成画像を表示される。術者は、このモニタ７に表示される合成画像により、生検位置を確認可能である。尚、ここで、合成画像は、手ぶれ等で内視鏡２の挿入部先端部の位置がずれると、ターゲット３１の位置が不正確となるが、貼り付けるランドマーク１０は１つで良い。
【００３４】
次に、図６を参照してＣＴ側位置算出部１９又は内視鏡側位置算出部１６で行われる対象の位置関係算出のフローチャートを説明する。尚、ここでは、都合上、ＣＴ側位置算出部１９を例にして説明する。
ＣＴ側位置算出部１９は、ＣＴ画像データからターゲット３１、ランドマーク１０、内視鏡２の挿入部先端部の輪郭を抽出する（ステップＳ２１）。
【００３５】
そして、ＣＴ側位置算出部１９は、抽出した輪郭からターゲット３１、ランドマーク１０、内視鏡２の挿入部先端部を識別する（ステップＳ２２）。
そして、ＣＴ側位置算出部１９は、識別したターゲット３１、ランドマーク１０、内視鏡２の挿入部先端部のそれぞれの重心（位置），方向を算出する（ステップＳ２３）。尚、ＣＴ側位置算出部１９は、内視鏡２の挿入部先端部の方向を内視鏡２の挿入部先端部とその基端側の２点の重心から算出して、内視鏡２の挿入部先端部をベクトルとして求めるようになっている。
【００３６】
これにより、ＣＴ側位置算出部１９は、ターゲット３１、ランドマーク１０、内視鏡２の挿入部先端部の位置関係を算出可能である。
尚、内視鏡側位置算出部１６は、上述のＣＴ側位置算出部１９とほぼ同様であり、対象としてランドマーク１０の位置関係を算出するのみである。
【００３７】
次に、生検について説明する。
先ず、本実施の形態で使用される生検鉗子８について図７及び図８を参照して説明する。
本実施の形態で使用される生検鉗子８は、生検カップ８ａにターゲット３１からの反射光を検出するための光ファイバ４１の光入射端面４１ａが取り付けられている。この光ファイバ４１の基端側は、観測装置本体６に接続されており、光ファイバ４１の光出射端面からの光を光検出部２６（図１参照）で受光するようになっている。
【００３８】
また、生検鉗子８は、挿入長がわかるように例えば、図７に示すように目盛りが形成されているか、図８に示すように長さに応じて着色されている。
尚、図７（ａ），図８（ａ）は、生検カップ８ａが閉じている際の生検鉗子８を示し、図７（ｂ），図８（ｂ）は生検カップ８ａが開いている際の生検鉗子８を示している。
【００３９】
このような生検鉗子８を用いて、術者は、生検鉗子８を処置具挿入口から挿入し、処置具挿通用チャンネルを介して挿入部先端部のチャンネル開口から先端側を突出させる。そして、術者は、観測装置本体６による図９に示す生検のフローチャートに従って、生検を行う。
【００４０】
観測装置本体６は、内視鏡装置４（ＣＣＵ３）から観察画像（内視鏡画像）を内視鏡画像入力部１１で入力される（ステップＳ３１）。尚、このとき、観測装置本体６は、上述したように観察画像（内視鏡画像）に対して画像補正部１４による光学特性の補正処理が行われている。
【００４１】
次に、観測装置本体６は、切換部２１を介して入力された観察画像（内視鏡画像）から鉗子識別部２３で生検鉗子８を識別する（ステップＳ３２）。尚、このとき、観測装置本体６は、上述したように観察画像（内視鏡画像）から内視鏡側位置算出部１６による生検鉗子８の位置関係算出の処理が行われている。
【００４２】
そして、観測装置本体６は、鉗子識別部２３で識別された生検鉗子８の種類に基づき、鉗子挿入長判定部２４で、入力された観察画像（内視鏡画像）上から生検鉗子８の色又は目盛りを識別し（ステップＳ３３）、この識別した結果に基づき、生検鉗子８の挿入長を判定する（ステップＳ３４）。
【００４３】
ここで、生検鉗子８の生検カップ８ａがターゲット３１に近づき、内視鏡２の観察範囲から生検カップ８ａが外れて観察画像（内視鏡画像）から生検カップ８ａが見えなくなったとき、術者は、観測装置本体６のフロントパネルに設けた切換釦を押下操作する。
【００４４】
すると、観測装置本体６は、切換釦の切換信号を受信し、切換部２１がモニタ７に表示される画像を観察画像からＶＢＳ画像に切り換える。尚、観測装置本体６は、切換釦を再度、押下操作されると、ＶＢＳ画像から観察画像（内視鏡画像）に切り換えるようになっている。
【００４５】
そして、観測装置本体６は、ＶＢＳ画像記録部２２に記録されているＶＢＳ画像を、算出した生検鉗子８の挿入長に応じて画像参照部２５が読み出して更新しつつ（ステップＳ３５）、モニタ７に出力する。即ち、モニタ７の表示面に表示されるＶＢＳ画像は、生検鉗子８の先端（生検カップ８ａ）からの視点となり、挿入長に応じて変化するようになっている。
【００４６】
そして、観測装置本体６は、生検鉗子８の先端（生検カップ８ａ）の明暗（明るさ）を検出する光検出部２６の出力が閾値以下になるか否かを生検判定部２７で判定する（ステップＳ３６）。
【００４７】
光検出部２６の出力が閾値以下になったとき、生検判定部２７は、生検鉗子８の生検カップ８ａがターゲット３１に到達したと判断し、その結果をモニタ７に出力してＶＢＳ画像に重畳する。
一方、光検出部２６の出力が閾値を超えているとき、生検判定部２７は、生検鉗子８の生検カップ８ａがターゲット３１に到達していないと判断する。
【００４８】
すると、観測装置本体６は、光検出部２６の出力（明暗）が閾値以下になるまで上記Ｓ３１からＳ３５までのステップを繰り返す。そして、術者は、モニタ７の表示面に表示されるＶＢＳ画像を参照しながら、生検鉗子８を操作して生体組織を採取し、生検が終了する。
【００４９】
このことにより、内視鏡観測装置は、内視鏡２の挿入部先端部が挿入し難く、即ち、内視鏡２の観察範囲（観察画像）から外れる体腔内管路の末梢部に存在しているターゲット３１まで生検鉗子８を到達させて生検を行うことが可能となる。
この結果、本実施の形態の内視鏡観測装置１は、体腔内管路の末梢部における生診率（生体検査診断率）が向上するという効果を得る。
【００５０】
尚、内視鏡観測装置１は、それぞれ個別に識別可能なランドマーク１０を複数設置することで、ＣＴ撮影時及び生検位置確認時における内視鏡２の挿入部先端部の位置ずれを補正可能なように構成しても良い。
この場合、図１０に示すように、術者は、形状の異なるランドマーク１０を最低２つターゲット近傍に貼り付ける。このランドマーク１０の形状は、ＣＴ画像データ上で互いに識別可能であるならばどのようなものでも良い。
【００５１】
そして、観測装置本体６は、図１１に示す生検位置確認のフローチャートに従って、生検位置の確認処理を行う。
尚、ここで、生検位置の確認処理は、観察画像（内視鏡画像）上で２つのランドマーク１０の位置関係を常に検出することで、内視鏡２の挿入部先端部のずれ量を逐次検出し、合成画像を更新するようになっている。それ以外は、上記第１の実施の形態で説明したのと同様である。
【００５２】
先ず、観測装置本体６は、ＣＴ装置５のＷＳからＣＴ画像データをＣＴ画像入力部１７で入力される（ステップＳ１１’）。
次に、観測装置本体６は、ＣＴ画像入力部１７から入力されたＣＴ画像データから対象であるターゲット３１、２つのランドマーク１０、内視鏡２の挿入部先端部をＣＴ側対象識別部１８で識別する（ステップＳ１２’）。
【００５３】
次に、観測装置本体６は、ＣＴ側対象識別部１８で識別されたターゲット３１、２つのランドマーク１０、内視鏡２の挿入部先端部の位置関係をＣＴ側位置算出部１９で算出する（ステップＳ１３’）。
次に、観測装置本体６は、使用している内視鏡２に記憶保持されたＩＤを内視鏡機種検出部１２で検出（ステップＳ１４’）し、内視鏡機種検出部１２で検出したＩＤに基づき、内視鏡情報記録部１３が予め記録した内視鏡２の光学特性を画像補正部１４に出力する。
【００５４】
次に、観測装置本体６は、内視鏡装置４（ＣＣＵ３）から観察画像（内視鏡画像）を内視鏡画像入力部１１で入力される（ステップＳ１５’）。
そして、観測装置本体６は、内視鏡情報記録部１３からの光学特性に基づき、内視鏡画像入力部１１で入力された観察画像（内視鏡画像）に対して画像補正部１４が画角や歪等の光学特性（ディストーション）を補正する（ステップＳ１６’）。
【００５５】
次に、観測装置本体６は、画像補正部１４で補正された観察画像（内視鏡画像）から対象である２つのランドマーク１０を内視鏡側対象識別部１５で識別（ステップＳ１７’）し、この内視鏡側対象識別部１５で識別された２つのランドマーク１０の位置関係を内視鏡側位置算出部１６で算出する（ステップＳ１８’）。
【００５６】
そして、観測装置本体６は、ＣＴ側位置算出部１９で算出されたＣＴ画像データのターゲット３１、２つのランドマーク１０、内視鏡２の位置関係と内視鏡側位置算出部１６で算出された観察画像の２つのランドマーク１０の位置関係とから、内視鏡２の挿入部先端部からの視点でのターゲット３１の位置を算出し、観察画像（内視鏡画像）上に合成（ステップＳ１９’）してこの合成画像をモニタ７に出力する。そして、観測装置本体６は、生検終了（ステップＳ４０）まで上記ステップＳ１５’から処理を繰り返す。
【００５７】
これにより、本変形例の内視鏡観測装置１は、観測装置本体６が観察画像（内視鏡画像）上で２つのランドマーク１０の位置関係を常に検出することで、内視鏡２の挿入部先端部のずれ量を逐次検出し、合成画像を更新することが可能となる。
【００５８】
（第２の実施の形態）
図１２ないし図２１は本発明の第２の実施の形態に係り、図１２は本発明の第２の実施の形態の内視鏡観測装置を示す全体構成図、図１３は図１２の内視鏡観測装置で実行される生検メインのフローチャート、図１４は図１３の生検位置姿勢算出のフローチャート、図１５はＣＴボリュームと超音波ボリュームとのボリュームマッチングを示す概念図、図１６は内視鏡又は生検鉗子の位置姿勢が合成されたＣＴ合成画像の表示例、図１７はＣＴ画像としてのＭＩＰ画像を示す表示例、図１８は図３の生検のフローチャート、図１９は変形例の内視鏡観測装置を示す全体構成図、図２０は図１９の内視鏡観測装置で実行される生検位置姿勢算出のフローチャート、図２１は図１９の内視鏡観測装置で実行される生検のフローチャートである。
【００５９】
本第２の実施の形態は、生検（生体検査）時に超音波断層像を撮影して得た超音波３次元画像データにより内視鏡２又は生検鉗子８の位置姿勢（位置及び傾き）を算出するように構成する。それ以外の構成は、上記第１の実施の形態と同様なので説明を省略し、同じ構成には同じ符号を付して説明する。
【００６０】
即ち、図１２に示すように本第２の実施の形態の内視鏡観測装置１Ｂは、体外から被検体の超音波断層像を撮像して超音波３次元画像（以下、超音波画像）データを得る体外式超音波装置５０と、この体外式超音波装置５０で得た超音波画像データから内視鏡２又は生検鉗子８の位置姿勢を抽出し、予め得たＣＴ画像データの座標系における内視鏡２又は生検鉗子８の位置姿勢を算出してＣＴ画像上に合成する処理を行う観測装置本体６Ｂとを有して構成されている。
【００６１】
尚、内視鏡観測装置１Ｂは、前記第１の実施の形態で説明したのと同様にナビユニットに接続され、ターゲット近傍までの内視鏡２の挿入部のナビゲーションを行うように構成されている。そして、内視鏡観測装置１Ｂは、ターゲット近傍で内視鏡観察・処置（生検や治療）等を行うようになっている。
【００６２】
このとき、後述するように内視鏡観測装置１Ｂは、ターゲット近傍を前記体外式超音波装置５０で超音波撮影する。そして、内視鏡観測装置１Ｂは、体外式超音波装置５０で得た超音波画像データから内視鏡２又は生検鉗子８の位置姿勢を抽出し、予め得たＣＴ画像データの座標系における内視鏡２又は生検鉗子８の位置姿勢を算出してＣＴ画像上に合成して生検位置姿勢を確認可能にしている。
【００６３】
次に、前記観測装置本体６Ｂの詳細構成を説明する。
前記観測装置本体６Ｂは、上記第１の実施の形態で説明したのと同様な前記内視鏡画像入力部１１と、前記内視鏡機種検出部１２と、前記内視鏡情報記録部１３と、前記画像補正部１４と、前記ＣＴ画像入力部１７と、前記切換部２１と、前記ＶＢＳ画像記録部２２と、前記鉗子識別部２３と、前記画像参照部２５と、前記光検出部２６と、前記生検判定部２７とを有して構成される。
【００６４】
更に、前記観測装置本体６Ｂは、断層画像データ取得手段として前記体外式超音波装置５０と接続し、超音波断層画像を取得する超音波画像入力部５１と、この超音波画像入力部５１で入力された超音波画像データから３次元的な超音波ボリュームを構築する超音波ボリューム生成部５２と、この超音波ボリューム生成部５２で構築された超音波ボリュームを画像処理し、超音波画像データの座標系における内視鏡２又は生検鉗子８の３次元的位置姿勢を抽出する位置姿勢抽出部５３と、前記ＣＴ画像入力部１７で入力された予め得たターゲット３１までのＣＴ画像データから３次元的なＣＴボリュームを構築するＣＴボリューム生成部５４と、このＣＴボリューム生成部５４からのＣＴボリュームと前記超音波ボリューム生成部５２からの前記超音波ボリュームとの関係として超音波座標系→ＣＴ座標系への変換マトリクスを算出するマトリクス演算部５５と、相対位置特定手段として前記マトリクス演算部５５で算出した変換マトリクスに基づき、前記位置姿勢抽出部５３で抽出した内視鏡２又は生検鉗子８の３次元的位置姿勢から予め得たＣＴ画像データの座標系における内視鏡２又は生検鉗子８の位置姿勢を算出する位置姿勢算出部５６と、この位置姿勢算出部５６で算出したＣＴ画像データの座標系における内視鏡２又は生検鉗子８の位置姿勢をＣＴ画像上に合成し、モニタ７に出力するＣＴ画像合成部５７とを有して構成される。
尚、本実施の形態では、鉗子挿入長判定部２４ｂは、前記超音波画像入力部５１で入力された超音波画像データから生検鉗子８の挿入長を判定するようになっている。
【００６５】
このように構成される内視鏡観測装置１Ｂは、上記第１の実施の形態で説明したの同様にナビユニットによるナビゲーションでターゲット近傍まで内視鏡２の挿入部先端部を導かれる。そして、術者は、図１３に示す生検メインのフローチャートに従って生検（生体検査）を行う。
【００６６】
先ず、術者は、内視鏡２を挿入した状態で、体外式超音波装置５０を作動させて超音波撮影しながら、観測装置本体６Ｂによる後述の図１４に示す生検位置姿勢算出のフローチャートに従って、生検位置姿勢を確認する（ステップＳ５１）。尚、このとき、図示しないが、モニタ７は、この表示面に観察画像（内視鏡画像）と、予め得たＣＴ画像データとの２つが例えば、並列に表示されている。　　術者は、この生検位置姿勢を確認しながら、観測装置本体６Ｂによる後述の図１８に示す生検のフローチャートに従って、生検を行い（ステップＳ５２）、生検が終了する。
【００６７】
次に、図１４に示す生検位置姿勢算出のフローチャートを説明する。
観測装置本体６Ｂは、体外式超音波装置５０で得た超音波画像データから内視鏡２又は生検鉗子８を抽出し、これら内視鏡２又は生検鉗子８の位置姿勢を算出して予め得たＣＴ画像上に合成する生検位置姿勢算出処理を行う。
【００６８】
先ず、観測装置本体６Ｂは、ＣＴ装置５のＷＳから予め得たターゲット３１までのＣＴ画像データをＣＴ画像入力部１７で入力される。そして、観測装置本体６Ｂは、ＣＴ画像入力部１７から入力されたＣＴ画像データから３次元的なＣＴボリュームをＣＴボリューム生成部５４で生成する（ステップＳ６１）。
【００６９】
次に、観測装置本体６Ｂは、体外式超音波装置５０からの超音波画像データを超音波画像入力部５１で入力される。そして、観測装置本体６Ｂは、超音波画像入力部５１から入力された超音波画像データから３次元的な超音波ボリュームを超音波ボリューム生成部５２で生成する（ステップＳ６２）。
【００７０】
次に、観測装置本体６Ｂは、超音波ボリューム生成部５２で生成された超音波ボリュームを位置姿勢抽出部５３で画像処理し、超音波画像データの座標系における内視鏡２又は生検鉗子８の３次元的位置姿勢を抽出する（ステップＳ６３）。
【００７１】
そして、観測装置本体６Ｂは、超音波ボリューム生成部５２で生成された超音波ボリュームと、ＣＴボリューム生成部５４で生成されたＣＴボリュームとをマトリクス演算部５５で図１５に示すようにボリュームマッチングすることで、超音波座標系→ＣＴ座標系への変換マトリクスを算出して、ＣＴボリュームと超音波ボリューム生成部５２からの超音波ボリュームとの関係を算出する（ステップＳ６４）。
【００７２】
ここで、変換マトリクスは、超音波座標系→ＣＴ座標系への座標を変換するためのマトリクスであり、回転，スケール，平行移動の成分が含まれる。
尚、回転及びスケールは、３×３の行列によって表すことができるが、ここでは平行移動も含め４×４の行列で表す。
【００７３】
座標系を（ｘ、ｙ、ｚ）だけ平行移動させるマトリクスは、
【式１】

である。
また、座標系をＸ、Ｙ、Ｚ方向に対して（ｘ、ｙ、ｚ）倍するマトリクスは、
【式２】

である。
また、座標系をｘ軸の周囲をａ（ラジアン）だけ回転させるマトリクスは、
【式３】

である。
【００７４】
そして、超音波画像データの座標系からＣＴ画像データの座標系への変換マトリクスをＭとすると、超音波画像データの座標系で内視鏡２の視線方向ベクトルＶ（ｘ、ｙ、ｚ、）をＣＴ画像データの座標系における視線方向ベクトルＶ’（ｘ’、ｙ’、ｚ’）に変換するには、
Ｖ’＝Ｍ×Ｖ　　　・・・（式４）
で求めることができる。
このことにより、マトリクス演算部５５は、ＣＴボリュームと超音波ボリューム生成部５２からの超音波ボリュームとの関係を算出することができる。
【００７５】
次に、観測装置本体６Ｂは、マトリクス演算部５５で算出した変換マトリクスに基づき、位置姿勢抽出部５３で抽出した内視鏡２又は生検鉗子８の３次元的位置姿勢から位置姿勢算出部５６で予め得たＣＴ画像データの座標系における内視鏡２又は生検鉗子８の位置姿勢を算出する（ステップＳ６５）。
【００７６】
次に、観測装置本体６Ｂは、位置姿勢算出部５６で算出したＣＴ画像データの座標系における内視鏡２又は生検鉗子８の位置姿勢をＣＴ画像合成部５７で予め得たＣＴ画像に合成してこのＣＴ合成画像をモニタ７に出力する。そして、モニタ７は、この表示面に表示されているＣＴ画像の代わりにＣＴ合成画像が表示される（ステップＳ６６）。
【００７７】
ここで、ＣＴ合成画像は、図１６に示すように内視鏡２又は生検鉗子８の位置姿勢がＸ記号６１と→６２で表示される。
尚、図１６に示すＣＴ合成画像は、多断面再構成ＭＰＲ（　Ｍｕｌｔｉ　Ｐｌａｎａｒ　Ｒｅｃｏｎｓｔｒｒｕｔｉｏｎ　）画像である。また、ＣＴ合成画像は、図１７に示すようなＭＩＰ（　Ｍａｘｉｍｕｍ　Ｉｎｔｅｎｓｉｔｙ　Ｐｒｏｊｅｃｔｉｏｎ　ｏｒ　Ｍｉｎｉｍｕｍ　Ｉｎｔｅｎｓｉｔｙ　Ｐｒｏｊｅｃｔｉｏｎ　）画像上に内視鏡２又は生検鉗子８の位置姿勢を合成するようにしても良い。
術者は、このモニタ７に表示されるＣＴ合成画像により、内視鏡２又は生検鉗子８の位置姿勢を確認可能である。
【００７８】
次に、生検について説明する。
生検鉗子８は、上述したように上記第１の実施の形態で説明したのと同様なものを使用する。そして、術者は、観測装置本体６Ｂによる図１８に示す生検のフローチャートに従って、生検を行う。
【００７９】
観測装置本体６Ｂは、内視鏡装置４（ＣＣＵ３）から観察画像（内視鏡画像）を内視鏡画像入力部１１で入力される（ステップＳ７１）。尚、このとき、観測装置本体６Ｂは、上記第１の実施の形態で説明したのと同様に観察画像（内視鏡画像）に対して画像補正部１４による光学特性の補正処理が行われている。
次に、観測装置本体６Ｂは、上記第１の実施の形態で説明したのと同様に観察画像（内視鏡画像）から鉗子識別部２３で生検鉗子８を識別する。
【００８０】
そして、観測装置本体６Ｂは、鉗子識別部２３で識別された生検鉗子８の種類に基づき、鉗子挿入長判定部２４ｂで、入力された超音波画像データから生検鉗子８の挿入長を判定する（ステップＳ７２）。尚、鉗子挿入長判定部２４ｂは、上記第１の実施の形態で説明したのと同様に観察画像（内視鏡画像）から生検鉗子８の色、又は目盛りを識別して生検鉗子８の挿入長を判定するようにしても良い。
【００８１】
そして、観測装置本体６Ｂは、鉗子挿入長判定部２４で判定した生検鉗子８の挿入長をＣＴ合成画像上に表示する（ステップＳ７３）。
また、生検鉗子８の生検カップ８ａがターゲット３１に近づき、内視鏡２の観察範囲から生検カップ８ａが外れて観察画像（内視鏡画像）から生検カップ８ａが見えなくなったとき、術者は、観測装置本体６Ｂのフロントパネルに設けた切換釦を押下操作して、上記第１の実施の形態で説明したのと同様に観察画像をＶＢＳ画像に切り換え、算出した生検鉗子８の挿入長に応じて更新されるＶＢＳ画像を表示させる。尚、観測装置本体６Ｂは、切換釦を再度、押下操作されると、ＶＢＳ画像から観察画像（内視鏡画像）に切り換えるようになっている。
【００８２】
そして、観測装置本体６Ｂは、上記第１の実施の形態で説明したのと同様に生検鉗子８の先端（生検カップ８ａ）の明暗（明るさ）を検出することで、生検鉗子８の生検カップ８ａがターゲット３１に到達したか否かを判断し、ターゲット３１に到達したと判断したときその結果をモニタ７に出力してＶＢＳ画像に重畳する。
【００８３】
そして、観測装置本体６Ｂは、術者による生検が終了するまで上記ステップＳ７４までを繰り返す。そして、術者は、モニタ７の表示面に表示されるＶＢＳ画像及びＣＴ合成画像を参照しながら、生検鉗子８を操作して生体組織を採取し、生検が終了する。
【００８４】
この結果、本第２の実施の形態の内視鏡観測装置１Ｂは、上記第１の実施の形態と同様な効果を得ることに加え、生検（生体検査）時にＣＴ撮影を行うことが無いので操作性が向上する。
【００８５】
尚、内視鏡観測装置は、図１９に示すように体外式超音波装置５０の代わりに内視鏡２の処置具挿通用チャンネルに挿入可能な超音波プローブを用いて構成しても良い。
図１９に示すように内視鏡観測装置１Ｃは、内視鏡２の処置具挿通用チャンネルに挿入して、体腔内から被検体の超音波断層像を撮像して超音波３次元画像（以下、超音波画像）データを得る超音波プローブ７０と、この超音波プローブ７０で得た超音波画像データから内視鏡２の位置姿勢を抽出し、予め得たＣＴ画像データの座標系における内視鏡２の位置姿勢を算出してＣＴ画像上に合成する処理を行う観測装置本体６Ｃとを有して構成されている。
【００８６】
前記超音波プローブ７０は、超音波照射・検出を連続的に回転させつつ被検体内を体軸方向に連続送りすることにより、被検体の３次元領域について螺旋状の連続スキャン（ヘリカルスキャン：　ｈｅｌｉｃａｌ　ｓｃａｎ　）を行い、３次元領域の連続するスライスの断層像から、３次元超音波画像データを生成するように構成されている。
【００８７】
前記観測装置本体６Ｃは、上記第１の実施の形態で説明したのと同様な前記内視鏡画像入力部１１と、前記内視鏡機種検出部１２と、前記内視鏡情報記録部１３と、前記画像補正部１４と、前記ＣＴ画像入力部１７と、前記切換部２１と、前記ＶＢＳ画像記録部２２と、前記鉗子識別部２３と、前記鉗子挿入長判定部２４と、前記画像参照部２５と、前記光検出部２６と、前記生検判定部２７とを有して構成される。
また、前記観測装置本体６Ｃは、上記第１の実施の形態で説明したのと同様な前記ＣＴボリューム生成部５４と、前記超音波ボリューム生成部５２と、前記マトリクス演算部５５とを有して構成される。
【００８８】
更に、前記観測装置本体６Ｃは、前記超音波プローブ７０と接続し、超音波断層画像を取得する超音波画像入力部５１ｃと、前記超音波ボリューム生成部５２で構築された超音波ボリュームを画像処理し、超音波画像データの座標系における内視鏡２の３次元的位置姿勢を抽出する位置姿勢抽出部５３ｃと、前記マトリクス演算部５５で算出した変換マトリクスに基づき、前記位置姿勢抽出部５３ｃで抽出した内視鏡２の３次元的位置姿勢から予め得たＣＴ画像データの座標系における内視鏡２の位置姿勢を算出する位置姿勢算出部５６ｃと、この位置姿勢算出部５６ｃで算出したＣＴ画像データの座標系における内視鏡２の位置姿勢をＣＴ画像上に合成し、モニタ７に出力するＣＴ画像合成部５７ｃとを有して構成される。
【００８９】
このように構成される内視鏡観測装置１Ｃは、上記第１の実施の形態で説明したの同様にナビユニットによるナビゲーションでターゲット近傍まで内視鏡２の挿入部先端部を導かれる。そして、内視鏡観測装置１Ｃは、内視鏡２の処置具挿通用チャンネルに超音波プローブ７０を挿入されて、図２０に示す生検位置姿勢算出のフローチャートに従って、超音波プローブ７０で得た超音波画像データから内視鏡２を抽出し、この内視鏡２の位置姿勢を算出して予め得たＣＴ画像上に合成する生検位置姿勢算出処理を行う。
【００９０】
先ず、観測装置本体６Ｃは、上記第２の実施の形態で説明したのと同様にＣＴ装置５のＷＳから予め得たターゲット３１までのＣＴ画像データをＣＴ画像入力部１７で入力され、この入力されたＣＴ画像データから３次元的なＣＴボリュームをＣＴボリューム生成部５４で生成する（ステップＳ６１’）。
【００９１】
次に、観測装置本体６Ｃは、図示しない入力装置により予め入力されたスキャン範囲を超音波プローブ７０に対して設定する（ステップＳ６７）。
そして、観測装置本体６Ｃは、超音波プローブ７０からの超音波画像データを超音波画像入力部５１ｃで入力され、３次元的な超音波ボリュームを超音波ボリューム生成部５２で生成する（ステップＳ６２’）。
【００９２】
次に、観測装置本体６Ｃは、上記第２の実施の形態で説明したのと同様に超音波ボリューム生成部５２で生成された超音波ボリュームを位置姿勢抽出部５３ｃで画像処理し、超音波画像データの座標系における内視鏡２の３次元的位置姿勢を抽出する（ステップＳ６３’）。
【００９３】
そして、観測装置本体６Ｃは、上記第２の実施の形態で説明したのと同様に超音波ボリューム生成部５２で生成された超音波ボリュームと、ＣＴボリューム生成部５４で生成されたＣＴボリュームとをマトリクス演算部５５でボリュームマッチングすることで、超音波座標系→ＣＴ座標系への変換マトリクスを算出する（ステップＳ６４’）。
【００９４】
次に、観測装置本体６Ｃは、マトリクス演算部５５で算出した変換マトリクスに基づき、位置姿勢抽出部５３ｃで抽出した内視鏡２の３次元的位置姿勢から位置姿勢算出部５６ｃで予め得たＣＴ画像データの座標系における内視鏡２の位置姿勢を算出する（ステップＳ６５’）。
【００９５】
次に、観測装置本体６Ｃは、位置姿勢算出部５６ｃで算出したＣＴ画像データの座標系における内視鏡２の位置姿勢をＣＴ画像合成部５７ｃで予め得たＣＴ画像に合成してこのＣＴ合成画像をモニタ７に出力する。そして、モニタ７は、この表示面に表示されているＣＴ画像の代わりにＣＴ合成画像が表示される（ステップＳ６６’）。
術者は、このモニタ７に表示されるＣＴ合成画像により、内視鏡２の位置姿勢を確認可能である。
【００９６】
次に、生検について説明する。
術者は、超音波プローブ７０を内視鏡２から引き抜き、代わりに生検鉗子８を挿入する。ここで、生検鉗子８は、上述したように上記第１の実施の形態で説明したのと同様なものを使用する。そして、術者は、観測装置本体６Ｃによる図２１に示す生検のフローチャートに従って、生検を行う。
観測装置本体６Ｃは、内視鏡装置４（ＣＣＵ３）から観察画像（内視鏡画像）を内視鏡画像入力部１１で入力される（ステップＳ７１’）。
【００９７】
次に、観測装置本体６Ｃは、上記第１の実施の形態で説明したのと同様に観察画像（内視鏡画像）から鉗子識別部２３で生検鉗子８を識別し（ステップＳ３２’）、鉗子挿入長判定部２４で、入力された観察画像（内視鏡画像）上から生検鉗子８の色又は目盛りを識別し（ステップＳ３３’）、この識別した結果に基づき、生検鉗子８の挿入長を判定する（ステップＳ３４’）。　◎
そして、観測装置本体６Ｃは、鉗子挿入長判定部２４で判定した生検鉗子８の挿入長をＣＴ合成画像上に表示する（ステップＳ７３’）。
【００９８】
また、生検鉗子８の生検カップ８ａがターゲット３１に近づき、内視鏡２の観察範囲から生検カップ８ａが外れて観察画像（内視鏡画像）から生検カップ８ａが見えなくなったとき、術者は、観測装置本体６Ｃのフロントパネルに設けた切換釦を押下操作して、上記第１の実施の形態で説明したのと同様に観察画像をＶＢＳ画像に切り換え、算出した生検鉗子８の挿入長に応じて更新されるＶＢＳ画像を表示させる。
【００９９】
そして、観測装置本体６Ｃは、上記第１の実施の形態で説明したのと同様に生検鉗子８の先端（生検カップ８ａ）の明暗（明るさ）を検出することで、生検鉗子８の生検カップ８ａがターゲット３１に到達したか否かを判断し、ターゲット３１に到達したと判断したときその結果をモニタ７に出力してＶＢＳ画像に重畳する。
【０１００】
そして、観測装置本体６Ｃは、術者による生検が終了する（ステップＳ７４’）まで上記ステップＳ７４’までを繰り返す。そして、術者は、モニタ７の表示面に表示されるＶＢＳ画像及びＣＴ合成画像を参照しながら、生検鉗子８を操作して生体組織を採取し、生検が終了する。
【０１０１】
この結果、本変形例の内視鏡観測装置１Ｃは、上記第２の実施の形態と同様な効果を得ることに加え、超音波プローブ７０を内視鏡２に挿入することで、体腔内からの超音波画像データを得られ、より詳細な内視鏡２の位置姿勢を得ることができる。
尚、本発明は、以上述べた実施の形態のみに限定されるものではなく、発明の要旨を逸脱しない範囲で種々変形実施可能である。
【０１０２】
［付記］
（付記項１）　病変近傍まで達してこの病変近傍を観察する内視鏡を有し、この内視鏡で得た病変近傍の観察画像を得る内視鏡観測装置において、
前記内視鏡を用いて前記病変近傍に指標を配置する指標配置手段と、
前記指標配置手段により前記指標を配置した状態で、前記病変近傍と前記内視鏡とを含む領域の断層画像データを得る断層画像データ取得手段と、
前記断層画像データ取得手段で得た断層画像データに基づき、病変部と前記内視鏡との相対位置を特定する相対位置特定手段と、
を具備したことを特徴とする内視鏡観測装置。
【０１０３】
（付記項２）　病変近傍まで達してこの病変近傍を観察する内視鏡を有し、この内視鏡で得た病変近傍の観察画像を得る内視鏡観測装置において、
前記内視鏡を用いて前記病変近傍に指標を配置する指標配置手段と、
前記指標配置手段により前記指標を配置した状態で、前記病変近傍と前記内視鏡と前記指標とを含む領域の断層画像データを取得する断層画像データ取得手段と、
前記断層画像データ取得手段で得た断層画像データに基づき、病変部と前記内視鏡との相対位置を特定する相対位置特定手段と、
を具備したことを特徴とする内視鏡観測装置。
【０１０４】
（付記項３）　前記相対位置特定手段は、前記断層画像データから得た前記病変部の中心点と、前記内視鏡のベクトルとで前記病変部位と前記内視鏡との相対位置を特定することを特徴とする付記項１に記載の内視鏡観測装置。
【０１０５】
（付記項４）　前記相対位置特定手段は、前記断層画像データから得た前記病変部の中心点と、前記内視鏡の挿入部先端部の中心点と、前記指標の中心点とで前記病変部位と前記内視鏡との相対位置を特定することを特徴とする付記項２に記載の内視鏡観測装置。
【０１０６】
（付記項５）　病変近傍まで達してこの病変近傍を観察する内視鏡を有し、この内視鏡で得た病変近傍の観察画像を得る内視鏡観測装置において、
前記病変近傍の断層画像データを積層した第１の３次元データを取得する第１の３次元データ取得手段と、
前記病変近傍の超音波断層画像データを得て第２の３次元データを取得する第２の３次元データ取得手段と、
前記第１の３次元データ取得手段で得た前記第１の３次元データと前記第２の３次元データ取得手段で得た前記第２の３次元データとの相関を求める第１の相関手段と、
前記第２の３次元データ取得手段で得た前記第２の３次元データと前記内視鏡との相関を求める第２の相関手段と、
前記第１の相関手段及び前記第２の相関手段で得た相関関係に基づき、前記内視鏡の位置と前記第１の３次元データとを関連付ける関連付け手段と、
を具備したことを特徴とする内視鏡観測装置。
【０１０７】
【発明の効果】
以上説明したように本発明によれば、体腔内管路の末梢部における生診率（生体検査診断率）の向上化が可能な内視鏡観測装置を実現できる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の内視鏡観測装置を示す全体構成図
【図２】図１の内視鏡観測装置で実行される生検メインのフローチャート
【図３】ランドマークを気管支のターゲット近傍の粘膜に貼り付けた際のモニタ表示例
【図４】図３の生検位置確認のフローチャート
【図５】観察画像（内視鏡画像）にターゲットが合成された合成画像のモニタ表示例
【図６】図３の対象の位置関係算出のフローチャート、図７は目盛りが形成されている生検鉗子を示す概略図
【図７】目盛りが形成されている生検鉗子を示す概略図
【図８】長さに応じて着色されている生検鉗子を示す概略図
【図９】図３の生検のフローチャート
【図１０】形状の異なるランドマークを最低２つターゲット近傍に貼り付けた際のモニタ表示
【図１１】変形例の生検位置確認のフローチャート
【図１２】本発明の第２の実施の形態の内視鏡観測装置を示す全体構成図
【図１３】図１２の内視鏡観測装置で実行される生検メインのフローチャート
【図１４】図１３の生検位置姿勢算出のフローチャート
【図１５】ＣＴボリュームと超音波ボリュームとのボリュームマッチングを示す概念図
【図１６】内視鏡又は生検鉗子の位置姿勢が合成されたＣＴ合成画像の表示例
【図１７】ＣＴ画像としてのＭＩＰ画像を示す表示例
【図１８】図３の生検のフローチャート
【図１９】変形例の内視鏡観測装置を示す全体構成図
【図２０】図１９の内視鏡観測装置で実行される生検位置姿勢算出のフローチャート
【図２１】図１９の内視鏡観測装置で実行される生検のフローチャート
【符号の説明】
１…内視鏡観測装置
２…内視鏡
３…ＣＣＵ
４…内視鏡装置
５…ＣＴ装置
６…観測装置本体
７…モニタ
８…生検鉗子（指標配置手段）
１０…ランドマーク
１１…内視鏡画像入力部
１２…内視鏡機種検出部
１３…内視鏡情報記録部
１４…画像補正部
１５…内視鏡側対象識別部
１６…内視鏡側位置算出部
１７…ＣＴ画像入力部（断層画像データ取得手段）
１８…ＣＴ側対象識別部
１９…ＣＴ側位置算出部（相対位置特定手段）
２０…画像合成部
２１…切換部
２２…ＶＢＳ画像記録部
２３…鉗子識別部
２４…鉗子挿入長判定部
２５…画像参照部
２６…光検出部
２７…生検判定部
３１…ターゲット
４１…光ファイバ

Claims

病変近傍まで達してこの病変近傍を観察する内視鏡を有し、この内視鏡で得た病変近傍の観察画像を得る内視鏡観測装置において、
前記内視鏡を用いて前記病変近傍に指標を配置する指標配置手段と、
前記指標配置手段により前記指標を配置した状態で、前記病変近傍と前記内視鏡とを含む領域の断層画像データを得る断層画像データ取得手段と、
前記断層画像データ取得手段で得た断層画像データに基づき、病変部と前記内視鏡との相対位置を特定する相対位置特定手段と、
を具備したことを特徴とする内視鏡観測装置。
病変近傍まで達してこの病変近傍を観察する内視鏡を有し、この内視鏡で得た病変近傍の観察画像を得る内視鏡観測装置において、
前記内視鏡を用いて前記病変近傍に指標を配置する指標配置手段と、
前記指標配置手段により前記指標を配置した状態で、前記病変近傍と前記内視鏡と前記指標とを含む領域の断層画像データを取得する断層画像データ取得手段と、
前記断層画像データ取得手段で得た断層画像データに基づき、病変部と前記内視鏡との相対位置を特定する相対位置特定手段と、
を具備したことを特徴とする内視鏡観測装置。
前記相対位置特定手段は、前記断層画像データから得た前記病変部の中心点と、前記内視鏡のベクトルとで前記病変部位と前記内視鏡との相対位置を特定することを特徴とする請求項１に記載の内視鏡観測装置。
前記相対位置特定手段は、前記断層画像データから得た前記病変部の中心点と、前記内視鏡の挿入部先端部の中心点と、前記指標の中心点とで前記病変部位と前記内視鏡との相対位置を特定することを特徴とする請求項２に記載の内視鏡観測装置。