JP3943353B2

JP3943353B2 - Flexible ultrasound endoscope device

Info

Publication number: JP3943353B2
Application number: JP2001229503A
Authority: JP
Inventors: 直樹鈴木; 和毅炭山; 直史小泉; 俊之橋山; 健一大原; 哲也樽本; 実松下
Original assignee: Jikei University School of Medicine
Current assignee: Jikei University School of Medicine
Priority date: 2001-07-30
Filing date: 2001-07-30
Publication date: 2007-07-11
Anticipated expiration: 2021-07-30
Also published as: JP2003038493A

Description

【０００１】
【発明の属する技術分野】
この発明は、体内に挿入されて超音波断層像と光学観察像とを得ることができる可撓性超音波内視鏡装置に関する。
【０００２】
【従来の技術】
いわゆるコンベックスタイプの超音波プローブが用いられた超音波内視鏡においては、超音波プローブから発受信される超音波信号が挿入部の先端の軸線を含む平面上で走査される。
【０００３】
したがって、挿入部の先端部分から突出される穿刺針等のような処置具類を超音波信号の走査面に沿って突出させるのが容易であり、穿刺針の突出状態を超音波断層像によりリアルタイムで確認しながら穿刺処置を行うことができるので安全性が高い。
【０００４】
【発明が解決しようとする課題】
しかし、穿刺針が通される付近の血管は必ずしも超音波走査面上を走行しているわけではなく、超音波断層画面上では血管が小さな粒状にしか表示されないので、超音波断層画面上で血管の走行状態を確認することはできない。
【０００５】
そこで、例えば特開平６−２６１９００号公報に記載された発明等のように、三次元の超音波断層像を構築すれば血管の走行状態を立体的に確認することができる。
【０００６】
しかし、特開平６−２６１９００号公報に記載された発明の超音波内視鏡は、挿入部の先端の軸線周り方向に超音波を発受信走査するいわゆるラジアル走査を行うものなので、三次元の超音波断層像の構築が比較的容易である反面、挿入部の先端から超音波走査面上に処置具を突出させることが極めて困難である。そのため、処置具の突出状態をリアルタイムで確認することができず、誤って血管を刺して出血事故を起こすおそれがある。
【０００７】
また、特開平６−２６１９００号公報に記載された発明の超音波内視鏡は、超音波プローブ付近に配置された磁気センサーによって超音波プローブの位置と姿勢を検出するものなので、姿勢検出精度が低く、構築された三次元の超音波断層像の方向性についての誤差が大きい。
【０００８】
そこで本発明は、コンベックスタイプ等の超音波プローブを用いて三次元の超音波断層像を高精度に構築することができ、血管の走行状態と穿刺針の突出状態等をリアルタイムで確認しながら穿刺処置等を安全に行うことができる可撓性超音波内視鏡装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記の目的を達成するため、本発明の可撓性超音波内視鏡装置は、超音波断層像を得るための超音波信号を発受信する超音波プローブと、光学観察像を得るための観察窓とが、フレキシブルな挿入部の先端部分に併設された可撓性超音波内視鏡装置において、曲げられた角度の大きさに対応して光の伝達量が変化する曲がり検出部が形成された複数のフレキシブルな曲がり検出用光ファイバーの各曲がり検出部が挿入部に分散配置されて複数の曲がり検出部から得られる検出値に基づいて超音波プローブの位置と姿勢を検出するプローブ位置・姿勢検出手段と、超音波プローブから得られる二次元の超音波断層像データをプローブ位置・姿勢検出手段から得られる超音波プローブの位置と姿勢のデータと組み合わせることにより三次元化して超音波断層像の三次元像を構築する三次元像構築手段を設けたものである。
【００１０】
なお、超音波プローブが超音波信号を挿入部の先端の軸線を含む平面上に発受信走査し、その走査面上に挿入部の先端から処置具類が突出されるようにするとよい。
【００１１】
また、超音波プローブによって得られる二次元の超音波断層像を表示する二次元断層像表示手段と、三次元像構築手段によって得られる三次元像を表示する三次元断層像表示手段とが併設されているとよい。
【００１２】
【発明の実施の形態】
図面を参照して本発明の実施例を説明する。
図１は可撓性超音波内視鏡装置の全体構成を示しており、操作部２の一端に挿入部可撓管１の基端が連結され、挿入部可撓管１の先端付近の部分は、操作部２に配置された操作ノブ３を回転操作することによって任意の方向に屈曲する湾曲部１ａになっている。
【００１３】
挿入部可撓管１の先端に連結された先端部本体４には、光学観察像を得るための観察窓５と超音波断層像を得るための超音波信号を発受信する超音波プローブ６とが配置されている。Ｖは観察窓５から外方に向かう観察光軸、Ｕは超音波走査範囲である。
【００１４】
図２は、先端部本体４部分を示しており、超音波プローブ６の直後に配置された観察窓５と並んで、処置具１００が突出される処置具突出口４a（処置具挿通チャンネルの出口）が配置されており、例えば穿刺針等のような処置具１００の先端部分が、斜め前方に向かって突出される。
【００１５】
超音波プローブ６は、先端部本体４の軸線４ｘを含む平面上で扇状に走査するように超音波信号を側方に向けて発受信するコンベックスタイプのものである。Ｕがその超音波走査範囲である。
【００１６】
そして、超音波信号の走査面上に処置具１００が突出されるように処置具突出口４aの位置と向きが設定され、観察窓５も観察光軸が超音波信号の走査面にほぼ沿うように位置と向きが設定されている。
【００１７】
このような超音波プローブ６により、目標とする臓器の超音波走査範囲Ｕに位置する部分の二次元の超音波断層像Ｕ２が得られ、先端部本体４をその軸線４ｘ周りに回転させることにより、その臓器の異なる位置の二次元の超音波断層像Ｕ２が順に得られるので、それらを合成することにより超音波断層像の三次元像Ｕ３を得ることができる。
【００１８】
この実施例の可撓性超音波内視鏡装置は、そのような超音波断層像の三次元像Ｕ３を、二次元の超音波断層像Ｕ２及び光学観察像と同時に観察できるようにしたものであり、以下にそのための構成等について詳述する。
【００１９】
図１に戻って、観察窓５内に配置された図示されていない対物光学系によって固体撮像素子の撮像面に投影された観察像の撮像信号が、外部のビデオプロセッサ７に送られて、撮像信号処理部７１、ビデオ信号処理部７２及び観察像表示回路７３等で信号処理され、観察窓５を通して得られる光学観察像が、図３に示されるように観察像表示装置７０に表示される。
【００２０】
超音波プローブ６への入出力信号は、外部の超音波信号処理装置８の超音波信号入出力部８１に入出力されて、超音波信号処理部８２及び断層像表示回路８３等で信号処理され、超音波プローブ６によって得られる二次元の超音波断層像Ｕ２が、図３に示されるように断層像表示装置８０に表示される。
【００２１】
挿入部可撓管１には、後述する複数の曲がり検出用光ファイバーが配置されたフレキシブルな合成樹脂製の帯状部材２０が、例えば操作部２の後面の延長方向（即ち、観察画面における下方向）の位置に取り付けられていて、その基端部が光信号入出力装置３０に接続されている。
【００２２】
図４に示されるように、帯状部材２０に取り付けられた複数の曲がり検出用光ファイバー２１は順に位置を変えて滑らかなＵ字状に後方に曲げ戻されている。そして、各曲がり検出用光ファイバー２１の曲げ戻し部の近傍に曲がり検出部２２が形成されている。
【００２３】
曲がり検出部２２は、挿入部可撓管１の軸線方向に例えば数センチメートル程度の間隔をあけて、挿入部可撓管１の全長にわたって例えば５〜３０個程度が分散配置されている。
【００２４】
曲がり検出部２２は、プラスチック製のコアにクラッドが被覆された曲がり検出用光ファイバー２１の途中の部分に、光吸収部分が所定の方向（例えば上方向又は下方向）にだけ形成されたものであり、曲がり検出部２２が曲げられた程度に対応して光の伝達量が変化するので、それを検出することによって曲がり検出部２２が配置された部分の曲がり角度を検出することができる。
【００２５】
その原理については米国特許第５６３３４９４号等に記載されている通りであるが、以下に簡単に説明をする。
図５において、２１ａと２１ｂは、一本の曲がり検出用光ファイバー２１のコアとクラッドであり、曲がり検出部２２には、コア２１ａ内を通過してきた光をコア２１ａ内に全反射せずに吸収してしまう光吸収部２２ａが、クラッド２１ｂの特定方向（ここでは「下方向」）の部分に形成されている。
【００２６】
すると、図６に示されるように、曲がり検出用光ファイバー２１が上方向に曲げられると、コア２１ａ内を通る光のうち光吸収部２２ａにあたる光の量（面積）が増えるので、曲がり検出用光ファイバー２１の光伝達量が減少する。
【００２７】
逆に、図７に示されるように、曲がり検出用光ファイバー２１が下方向に曲げられると、コア２１ａ内を通る光のうち光吸収部２２ａにあたる光の量（面積）が減少するので、曲がり検出用光ファイバー２１の光伝達量が増加する。
【００２８】
このような、光吸収部２２ａにおける曲がり検出用光ファイバー２１の曲がり量と光伝達量とは一定の関係（例えば一次関数的関係）になるので、曲がり検出用光ファイバー２１の光伝達量を検出することにより、光吸収部２２ａが形成されている曲がり検出部２２部分の曲がり角度を検出することができる。
【００２９】
したがって、挿入部可撓管１の軸線方向に間隔をあけて複数の曲がり検出部２２が配列されている場合には、各曲がり検出部２２間の間隔と検出された各曲がり検出部２２の曲がり角度から、挿入部可撓管１全体の上下方向の屈曲状態を検出することができる。
【００３０】
そして、図８の（Ａ）に略示されるように、可撓性のある帯状部材２０に、上述のような曲がり検出部２２に対して左右に位置をずらして第２の曲がり検出部２２′を配置して、二つの曲がり検出部２２，２２′の光伝達量を比較すれば、左右方向に捩れがない場合には双方の光伝達量に差がなく、左右方向の捩れ量に応じて双方の光伝達量の差が大きくなる。
【００３１】
その結果、各曲がり検出部２２，２２′の光伝達量を計測してその計測値を比較することにより、曲がり検出部２２，２２′が配置された部分の左右方向の捩れ量を検出することができる。
【００３２】
したがって、各曲がり検出部２２，２２′における光伝達量を検出、比較することにより帯状部材２０全体の三次元の屈曲状態（即ち、挿入部可撓管１の屈曲状態）を検出することができる。この原理は、米国特許第６１２７６７２号等に記載されている通りである。
【００３３】
また、図８の（Ｂ）に示されるように、各々に複数の曲がり検出部２２が一列に配置された二つの帯状部材２０′，２０″を直角の位置関係に配置しても、同様にして三次元の屈曲状態を検出することができる。
【００３４】
本発明の第１の実施例においては、図８の（Ａ）に示されるような帯状部材２０が挿入部可撓管１に取り付けられており、曲がり検出用光ファイバー２１を挿入部可撓管１に直接取り付けてもよいし、挿入部可撓管１内の内蔵物等に曲がり検出用光ファイバー２１を取り付けても差し支えない。
【００３５】
図９は帯状部材２０に対する曲がり検出用光ファイバー２１，２１′の取り付け状態を示しており、帯状部材２０の長手方向に一定の間隔で曲がり検出部２２が位置するように、複数の曲がり検出用光ファイバー２１を帯状部材２０の表面側に取り付けると共に、表側の各曲がり検出部２２の横に第２の曲がり検出部２２′が並ぶように、帯状部材２０の裏面側に第２の複数の曲がり検出用光ファイバー２１′が取り付けられている。
【００３６】
また、光吸収部２２ａが形成されていないシンプルなリファレンス用光ファイバー２１Ｒを少なくとも一本配置して、各曲がり検出用光ファイバー２１の光伝達量をリファレンス用光ファイバー２１Ｒの光伝達量と比較することにより、曲がり検出用光ファイバー２１の光伝達量に対する温度や経時劣化等の影響を除くことができる。
【００３７】
図１０は、帯状部材２０の基端が接続された光信号入出力装置３０を示しており、一つの発光ダイオード３１からの射出光が全部の光ファイバー２１，２１′，２１Ｒに入射される。３２は、発光ダイオード３１の駆動回路である。
【００３８】
そして、各光ファイバー２１，２１′，２１Ｒの射出端毎に、光の強度レベルを電圧レベルに変換して出力するフォトダイオード３３が配置されていて、各フォトダイオード３３からの出力が、アンプ３４で増幅されてからアナログ／デジタル変換器３５によりデジタル信号化されてコンピュータ９に送られる。
【００３９】
図１に戻って、挿入部可撓管１が挿入される患者の体内の入口部分（例えば口又は肛門）には、いわゆるマウスピース等に挿入量／回転角度検出部４０が取り付けられ、挿入部可撓管１はその挿入量／回転角度検出部４０内を通される。
【００４０】
挿入量／回転角度検出部４０は、例えば特開昭５６−９７４２９号や特開昭６０−２１７３２６号等に記載されているように、挿入部可撓管１の表面に形成された反射マークからの反射光の変化等から、挿入部可撓管１の挿入長さと軸線周りの回転角度を検出するものであり、そのデジタルの検出信号がエンコーダ出力装置４１から出力される。
【００４１】
そして、光信号入出力装置３０から出力される挿入部可撓管１の三次元の屈曲状態の検出信号と、エンコーダ出力装置４１から出力される挿入部可撓管１の挿入長と回転角度の検出信号が、コンピュータ９に入力されて、超音波プローブ６の位置と姿勢が算出され、そのデータと超音波信号処理部８２から出力される二次元の超音波断層像Ｕ２とが合成されて三次元像Ｕ３が構築され、その像が図３に示されるように三次元像表示装置９０に表示される。
【００４２】
そのような超音波プローブ６の位置と姿勢の算出は、例えば次のようにして行われる。
一枚の帯状部材２０の表面と裏面に配置された曲がり検出部２２，２２′は、曲がる方向によって出力電圧の変化が相反するように曲がり検出部２２，２２′の位置が設定されている。曲げのない状態をゼロ電圧として規格化すると出力電圧の正負符号で曲がった方向を判別することができる。
【００４３】
ｎ番目のセンサ対（即ち、曲がり検出部２２，２２′）の曲げ角度、捩れ角度、出力電圧の関係は、
右にねじったときの比例定数をａ_n
左にねじったときの比例定数をｂ_n
上に曲げたときの比例定数をｃ_n
下に曲げたときの比例定数をｄ_n
センサ対の出力電圧をＶ1_n，Ｖ2_n
図１１に定義したねじれ角度をＴ
図１２に定義した曲げ角度をＢ
とすると、以下の式が成り立つ。
【００４４】
（ａ_nor ｂ_n）×Ｔ＋（ｃ_nor ｄ_n）×Ｂ＝Ｖ1_n --（１）
（ａ_nor ｂ_n）×Ｔ＋（ｃ_nor ｄ_n）×Ｂ＝Ｖ2_n --（２）
式（１）（２）においてａ_nとｂ_n、ｃ_nとｄ_nのどちらの値を使うかは電圧Ｖ1_n，Ｖ2_nの符号および電圧値の変化により一意に決まる。
【００４５】
図１１における（Ｘ₀，Ｙ₀，Ｚ₀）は元の座標系であり、（Ｘ₁，Ｙ₁，Ｚ₁）はＴ回転後の回転座標系である。また、図１２における（Ｘ₂，Ｙ₂，Ｚ₂）はＢ回転後の回転座標系である。
【００４６】
そして、図１１及び図１２において、（Ｘ₀，Ｙ₀，Ｚ₀）座標をＹ軸を中心にＴ回転した後、Ｘ軸を中心にＢ回転した後の回転座標系（Ｘ₂，Ｙ₂，Ｚ₂）は、次の関係式で表すことができる。
【００４７】
【数１】

【００４８】
また、図１３において、二点間のセンサ距離は角度Ｂを用いて算出することができる。二点間の帯状部材２０は円弧Ｌを描いていると見ることができるので、角度ＢはセンサＳ_nとＳ_n+1の接線がなす角度に他ならない。
【００４９】
二点間の空間直線距離Ｄは
Ｄ＝３６０×Ｌ×sin （Ｂ／２）／（π×Ｂ） --（４）
であるから、各センサ対におけるねじりと曲がりの値を内視鏡挿入部基準位置から先端部にかけて積算し、センサ間隔を（４）式を用いて算出し、（３）式の座標変換を連続することによって基準座標系に対する先端部（即ち、超音波プローブ６）の位置座標を算出することができる。
【００５０】
図１４は超音波プローブ６によって得られる二次元の超音波断層像である。Ｐ１，Ｐ２は超音波プローブ６による走査の始点と終点位置に対応し、Ｐ３，Ｐ４は深さに対応しており、画面倍率を設定すると一義的に距離が決まる。即ち、二次元の超音波断層像を表示するグラフィックメモリアドレスと被検体の位置関係は相関性を持って決まる。
【００５１】
内視鏡の挿入基準位置である挿入量／回転角度検出部４０から先端部の座標位置は曲がり検出部２２からの検出値によって知ることができ、超音波プローブ６が走査する画像は二次元座標系で全てのピクセル位置が分かっているので、これを合成することによって一つの平面上の全ての画像は、挿入基準座標系で表現することができる。
【００５２】
それを三次元画像にするためには、挿入量／回転角度検出部４０において挿入部可撓管１の回転角Ｒを検出する。その軸線方向をＺ軸とすると、Ｚ軸を中心としたＲ回転座標系に変換することができる。
【００５３】
仮に手元で回転させた成分が先端部まで正しく伝わらない場合でも、曲がり検出用光ファイバー２１は途中でねじれ角度成分として検出するので先端部の位置座標をほぼ正しく検出することができる。
【００５４】
なお、図８の（Ｂ）に示されるように、一対の曲がり検出部２２，２２′を直交して配置してもよい（第２の実施例）。図１５はそのような帯状部材２０′，２０″が挿入部可撓管１に組み込まれた状態を示している。
【００５５】
この場合、ｎ番目のセンサ対の各曲げ角度と出力電圧の関係は、
Ｘ方向に曲げたときのＸセンサ比例定数をｅ_n
Ｘ方向に曲げたときのＹセンサ比例定数をｆ_n
Ｙ方向に曲げたときのＸセンサ比例定数をｇ_n
Ｙ方向に曲げたときのＹセンサ比例定数をｈ_n
Ｘ方向の曲げ角度要素を θx
Ｙ方向の曲げ角度要素を θy
Ｘセンサの電圧変化をＶｘ_n
Ｙセンサの電圧変化をＶｙ_n
とすると、以下の式が成り立つ。
【００５６】
θx ＝ｅ_n×Ｖｘ_n ＋ｆ_n×Ｖｙ_n --（５）
θy ＝ｇ_n×Ｖｘ_n ＋ｈ_n×Ｖｙ_n --（６）
である。
【００５７】
Ｘ，Ｙが完全に直交した理想状態において、Ｘ方向へ曲げたときはＹセンサの電圧変化成分は無視できるはずであるが、実際のセンサ組込み状態ではバラツキが生じることが想定され、Ｘ，Ｙ成分が双方に及ぼす影響を無視できないと考えられる。各比例定数は内視鏡ごとに固有の値となり、予めキャリブレーションにて取得する。
【００５８】
図１６において、内視鏡の挿入方向をｚ軸上にとると、センサＳ_nのベクトルがｙ−ｚ平面となす角度がθxであり、ｘ−ｚ平面となす角度がθyであるので、Ｓ_nの位置座標（ｘ_n，ｙ_n，ｚ_n）は
ｘ_n＝Ｌ sinθx --（７）
ｙ_n＝Ｌ sinθy --（８）
ｚ_n＝Ｌ｛ (cosθx)²−(sinθy)² ｝^1/2
＝Ｌ｛ (cosθy)²−(sinθx)² ｝^1/2 --（９）
となるので超音波プローブ６の位置座標を特定することができる。
【００５９】
このようにして、図１に示される観察像表示装置７０と断層像表示装置８０と三次元像表示装置９０に、図３に示されるように、観察窓５からの光学観察像と、超音波プローブ６による二次元の超音波断層像と、帯状部材２０及び挿入量／回転角度検出部４０からの検出値を組み合わせて二次元の超音波断層像を処理して得られた三次元像とが同時に観察される。
【００６０】
したがって、三次元像によって血管の走行状態を確認しながら、二次元の超音波断層像で処置具１００による穿刺状態をリアルタイムで確認して、血管を突き刺さないように安全に穿刺処置を行うことができる。
【００６１】
【発明の効果】
本発明によれば、超音波プローブから得られる二次元の断層像データを、プローブ位置・姿勢検出手段から得られる超音波プローブの位置と姿勢のデータと組み合わせることにより三次元化して超音波断層像の三次元像を構築する三次元像構築手段を設けたことにより、コンベックスタイプ等の超音波プローブを用いて三次元の超音波断層像を高精度に構築することができ、血管の走行状態等をリアルタイムで確認しながら穿刺処置等を安全に行うことができる。
【図面の簡単な説明】
【図１】本発明の実施例の可撓性超音波内視鏡装置の全体構成図である。
【図２】本発明の実施例の可撓性超音波内視鏡装置の挿入部先端部分の斜視図である。
【図３】本発明の実施例の可撓性超音波内視鏡装置によって同時に得られる表示画面の略示図である。
【図４】本発明の実施例の可撓性超音波内視鏡装置の挿入部可撓管の部分斜視図である。
【図５】本発明の実施例に用いられる曲がり検出用光ファイバーの曲がり検出部の略示断面図である。
【図６】本発明の実施例に用いられる曲がり検出用光ファイバーの曲がり検出部が屈曲した状態の略示断面図である。
【図７】本発明の実施例に用いられる曲がり検出用光ファイバーの曲がり検出部が逆方向に屈曲した状態の略示断面図である。
【図８】本発明の実施例に用いられる曲がり検出用光ファイバーによる三次元の屈曲状態検出の原理を説明するための略示図である。
【図９】本発明の実施例の曲がり検出用光ファイバーが取り付けられた帯状部材の平面図である。
【図１０】本発明の実施例の光信号入出力装置の回路図である。
【図１１】本発明の実施例のコンピュータにおいて行われる演算の内容を説明する座標図である。
【図１２】本発明の実施例のコンピュータにおいて行われる演算の内容を説明する座標図である。
【図１３】本発明の実施例のコンピュータにおいて行われる演算の内容を説明する座標図である。
【図１４】本発明の実施例の二次元の超音波断層像を例示する略示図である。
【図１５】本発明の第２の実施例の挿入部可撓管の部分断面図である。
【図１６】本発明の第２の実施例のコンピュータにおいて行われる演算の内容を説明する座標図である。
【符号の説明】
１挿入部可撓管
４先端部本体
５観察窓
６超音波プローブ
９コンピュータ（三次元像構築手段）
２０帯状部材
２１，２１′ 曲がり検出用光ファイバー
２２，２２′ 曲がり検出部
３０光信号入出力装置
４０挿入量／回転角度検出部
７０観察像表示装置
８０断層像表示装置
９０三次元像表示装置[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a flexible ultrasonic endoscope apparatus that can be inserted into a body to obtain an ultrasonic tomographic image and an optical observation image.
[0002]
[Prior art]
In an ultrasonic endoscope using a so-called convex type ultrasonic probe, an ultrasonic signal transmitted and received from the ultrasonic probe is scanned on a plane including the axis of the distal end of the insertion portion.
[0003]
Therefore, it is easy to project a treatment instrument such as a puncture needle protruding from the distal end portion of the insertion portion along the scanning surface of the ultrasonic signal, and the protruding state of the puncture needle can be detected in real time using an ultrasonic tomographic image. Since the puncture procedure can be performed while confirming with the above, safety is high.
[0004]
[Problems to be solved by the invention]
However, the blood vessel in the vicinity where the puncture needle is passed does not necessarily travel on the ultrasonic scanning surface, and the blood vessel is displayed only in a small granularity on the ultrasonic tomographic screen. It is not possible to confirm the running state of the car.
[0005]
Therefore, for example, as in the invention described in JP-A-6-261900, if a three-dimensional ultrasonic tomographic image is constructed, the running state of the blood vessel can be confirmed three-dimensionally.
[0006]
However, since the ultrasonic endoscope of the invention described in Japanese Patent Laid-Open No. 6-261900 performs so-called radial scanning that emits and receives ultrasonic waves in the direction around the axis of the distal end of the insertion portion, While it is relatively easy to construct an acoustic tomographic image, it is extremely difficult to project the treatment tool from the distal end of the insertion portion onto the ultrasonic scanning surface. For this reason, the protruding state of the treatment tool cannot be confirmed in real time, and there is a risk that a blood vessel may be accidentally pierced to cause a bleeding accident.
[0007]
In addition, the ultrasonic endoscope according to the invention described in Japanese Patent Laid-Open No. 6-261900 detects the position and posture of an ultrasonic probe with a magnetic sensor arranged in the vicinity of the ultrasonic probe, so that posture detection accuracy is high. Low, there is a large error in the directionality of the constructed three-dimensional ultrasonic tomogram.
[0008]
Therefore, the present invention can construct a three-dimensional ultrasonic tomographic image with high accuracy using an ultrasonic probe of a convex type or the like, and puncture while confirming the running state of the blood vessel and the protruding state of the puncture needle in real time. It is an object of the present invention to provide a flexible ultrasonic endoscope apparatus that can safely perform treatment and the like.
[0009]
[Means for Solving the Problems]
In order to achieve the above object, the flexible ultrasonic endoscope apparatus of the present invention includes an ultrasonic probe that transmits and receives an ultrasonic signal for obtaining an ultrasonic tomographic image, and an observation for obtaining an optical observation image. In a flexible ultrasonic endoscope apparatus in which a window is provided at the distal end portion of a flexible insertion portion, a bending detection portion in which the amount of transmitted light changes in accordance with the angle of the bent angle is formed. Probe position / posture detection that detects the position and posture of an ultrasonic probe based on detection values obtained from a plurality of bend detection units, with each bend detection unit of a plurality of flexible bend detection optical fibers being dispersedly arranged in the insertion unit And the two-dimensional ultrasonic tomographic image data obtained from the ultrasonic probe is combined with the ultrasonic probe position and posture data obtained from the probe position / posture detection means to obtain a three-dimensional data. It is provided with a three-dimensional image constructing means for constructing a three-dimensional image of tomographic images.
[0010]
It is preferable that the ultrasonic probe emits and receives an ultrasonic signal on a plane including the axis of the distal end of the insertion portion, and the treatment instrument protrudes from the distal end of the insertion portion on the scanning surface.
[0011]
Also provided are a two-dimensional tomographic image display means for displaying a two-dimensional ultrasonic tomographic image obtained by the ultrasonic probe and a three-dimensional tomographic image display means for displaying a three-dimensional image obtained by the three-dimensional image construction means. It is good to have.
[0012]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described with reference to the drawings.
FIG. 1 shows an overall configuration of a flexible ultrasonic endoscope apparatus, in which a proximal end of an insertion portion flexible tube 1 is connected to one end of an operation portion 2, and a portion near the distal end of the insertion portion flexible tube 1. Is a bending portion 1a that bends in an arbitrary direction by rotating the operation knob 3 disposed in the operation portion 2.
[0013]
The distal end body 4 connected to the distal end of the insertion section flexible tube 1 includes an observation window 5 for obtaining an optical observation image, and an ultrasonic probe 6 for transmitting and receiving an ultrasonic signal for obtaining an ultrasonic tomographic image. Is arranged. V is an observation optical axis directed outward from the observation window 5, and U is an ultrasonic scanning range.
[0014]
FIG. 2 shows the distal end portion main body 4 portion, and the treatment instrument protrusion 4a (the exit of the treatment instrument insertion channel) from which the treatment instrument 100 projects alongside the observation window 5 arranged immediately after the ultrasonic probe 6 is shown. ) Is arranged, and for example, the distal end portion of the treatment instrument 100 such as a puncture needle protrudes obliquely forward.
[0015]
The ultrasonic probe 6 is a convex type that emits and receives an ultrasonic signal sideways so as to scan in a fan shape on a plane including the axis 4x of the tip body 4. U is the ultrasonic scanning range.
[0016]
Then, the position and orientation of the treatment instrument protrusion 4a are set so that the treatment instrument 100 protrudes on the scanning surface of the ultrasonic signal, and the observation optical axis of the observation window 5 is substantially along the scanning surface of the ultrasonic signal. Is set to the position and orientation.
[0017]
By such an ultrasonic probe 6, a two-dimensional ultrasonic tomographic image U2 of a portion located in the ultrasonic scanning range U of the target organ is obtained, and the tip body 4 is rotated around its axis 4x. Since two-dimensional ultrasonic tomographic images U2 at different positions of the organ are sequentially obtained, a three-dimensional image U3 of the ultrasonic tomographic image can be obtained by combining them.
[0018]
The flexible ultrasonic endoscope apparatus of this embodiment is configured so that such a three-dimensional image U3 of the ultrasonic tomographic image can be observed simultaneously with the two-dimensional ultrasonic tomographic image U2 and the optical observation image. There will be described in detail below the configuration and the like.
[0019]
Returning to FIG. 1, an imaging signal of an observation image projected on the imaging surface of the solid-state imaging device by an objective optical system (not shown) arranged in the observation window 5 is sent to an external video processor 7 for imaging. An optical observation image that is signal-processed by the signal processing unit 71, the video signal processing unit 72, the observation image display circuit 73, and the like and obtained through the observation window 5 is displayed on the observation image display device 70 as shown in FIG.
[0020]
An input / output signal to / from the ultrasonic probe 6 is input / output to / from an ultrasonic signal input / output unit 81 of the external ultrasonic signal processing apparatus 8 and is subjected to signal processing by the ultrasonic signal processing unit 82, the tomographic image display circuit 83, and the like. A two-dimensional ultrasonic tomographic image U2 obtained by the ultrasonic probe 6 is displayed on the tomographic image display device 80 as shown in FIG.
[0021]
A flexible synthetic resin strip member 20 in which a plurality of bending detection optical fibers, which will be described later, are arranged on the insertion section flexible tube 1 is, for example, an extension direction of the rear surface of the operation section 2 (that is, a downward direction on the observation screen). The base end portion is connected to the optical signal input / output device 30.
[0022]
As shown in FIG. 4, the plurality of bending detection optical fibers 21 attached to the belt-like member 20 are bent back in a smooth U shape by changing their positions in order. A bend detector 22 is formed in the vicinity of the bent back portion of each bend detection optical fiber 21.
[0023]
For example, about 5 to 30 bending detectors 22 are distributed over the entire length of the insertion section flexible tube 1 with an interval of, for example, several centimeters in the axial direction of the insertion section flexible tube 1.
[0024]
The bending detection unit 22 is formed by forming a light absorption part only in a predetermined direction (for example, upward or downward) in a middle part of the optical fiber 21 for bending detection in which a plastic core is covered with a clad. Since the amount of transmitted light changes corresponding to the degree to which the bending detection unit 22 is bent, the bending angle of the portion where the bending detection unit 22 is arranged can be detected by detecting this.
[0025]
The principle is as described in US Pat. No. 5,633,494, but will be briefly described below.
In FIG. 5,

reference numerals

21a and 21b denote a core and a clad of one bending detection optical fiber 21, and the bending detection unit 22 absorbs light that has passed through the core 21a without being totally reflected into the core 21a. The light absorbing portion 22a is formed in a specific direction (here, “downward”) of the clad 21b.
[0026]
Then, as shown in FIG. 6, when the bending detection optical fiber 21 is bent upward, the amount (area) of the light that hits the light absorbing portion 22a out of the light passing through the core 21a increases. 21 light transmission amount decreases.
[0027]
On the contrary, as shown in FIG. 7, when the bending detection optical fiber 21 is bent downward, the amount (area) of the light that hits the light absorbing portion 22a out of the light passing through the core 21a is decreased. The light transmission amount of the optical fiber 21 for use increases.
[0028]
Since the bending amount of the bending detection optical fiber 21 and the light transmission amount in the light absorption unit 22a are in a certain relationship (for example, a linear function relationship), the light transmission amount of the bending detection optical fiber 21 is detected. By this, it is possible to detect the bend angle of the bend detection unit 22 portion where the light absorption unit 22a is formed.
[0029]
Therefore, when a plurality of bending detection units 22 are arranged at intervals in the axial direction of the insertion portion flexible tube 1, the intervals between the bending detection units 22 and the detected bending angles of the respective bending detection units 22. Therefore, the bending state in the vertical direction of the entire insertion portion flexible tube 1 can be detected.
[0030]
Then, as schematically shown in FIG. 8A, the flexible belt-like member 20 is shifted to the left and right with respect to the bending detection unit 22 as described above, and the second bending detection unit 22 ′. When the light transmission amounts of the two bend detection units 22 and 22 'are compared, when there is no twist in the left and right direction, there is no difference in the light transmission amount between the two, and according to the amount of twist in the left and right direction. The difference in the light transmission amount between the two becomes large.
[0031]
As a result, by measuring the light transmission amount of each bending detection unit 22, 22 'and comparing the measured values, the amount of twist in the left-right direction of the portion where the bending detection unit 22, 22' is arranged is detected. Can do.
[0032]
Accordingly, the three-dimensional bending state of the entire belt-shaped member 20 (that is, the bending state of the insertion portion flexible tube 1) can be detected by detecting and comparing the light transmission amount in each of the bending detection units 22 and 22 '. . This principle is as described in US Pat. No. 6,127,672.
[0033]
Further, as shown in FIG. 8B, even if two belt-like members 20 'and 20 "each having a plurality of bending detectors 22 arranged in a row are arranged in a right-angled positional relationship, the same applies. Thus, a three-dimensional bending state can be detected.
[0034]
In the first embodiment of the present invention, a belt-like member 20 as shown in FIG. 8A is attached to the insertion portion flexible tube 1, and the bending detection optical fiber 21 is connected to the insertion portion flexible tube 1. The optical fiber 21 for bending detection may be attached to a built-in object in the insertion portion flexible tube 1 or the like.
[0035]
FIG. 9 shows a state in which the bending detection

optical fibers

21 and 21 ′ are attached to the band-shaped member 20, and a plurality of bending detection optical fibers are arranged so that the bending detection portions 22 are positioned at regular intervals in the longitudinal direction of the band-shaped member 20. 21 is attached to the front surface side of the band-shaped member 20, and a second plurality of bending detections are provided on the back surface side of the band-shaped member 20 so that the second bending detection unit 22 ′ is arranged beside each bending detection unit 22 on the front side. An optical fiber 21 'is attached.
[0036]
Further, by arranging at least one simple reference optical fiber 21R in which the light absorbing portion 22a is not formed and comparing the light transmission amount of each bending detection optical fiber 21 with the light transmission amount of the reference optical fiber 21R, The influence of temperature, deterioration with time, etc., on the light transmission amount of the bending detection optical fiber 21 can be eliminated.
[0037]
FIG. 10 shows an optical signal input / output device 30 to which the base end of the belt-like member 20 is connected, and light emitted from one light emitting diode 31 enters all the

optical fibers

21, 21 ′, 21 R. Reference numeral 32 denotes a drive circuit for the light emitting diode 31.
[0038]
A photodiode 33 for converting the light intensity level into a voltage level and outputting it is arranged for each emission end of each of the

optical fibers

21, 21 ′, 21 R, and the output from each photodiode 33 is output by an amplifier 34. After being amplified, it is converted into a digital signal by the analog / digital converter 35 and sent to the computer 9.
[0039]
Returning to FIG. 1, an insertion amount / rotation angle detection unit 40 is attached to a so-called mouthpiece or the like at an entrance portion (for example, mouth or anus) in a patient's body where the insertion portion flexible tube 1 is inserted. The flexible tube 1 is passed through the insertion amount / rotation angle detector 40.
[0040]
The insertion amount / rotation angle detection unit 40 is formed from a reflection mark formed on the surface of the insertion portion flexible tube 1 as described in, for example, Japanese Patent Laid-Open Nos. 56-97429 and 60-217326. The insertion length of the insertion portion flexible tube 1 and the rotation angle around the axis line are detected from the change in the reflected light of the light, and the digital detection signal is output from the encoder output device 41.
[0041]
Then, the detection signal of the three-dimensional bending state of the insertion portion flexible tube 1 output from the optical signal input / output device 30 and the insertion length and rotation angle of the insertion portion flexible tube 1 output from the encoder output device 41 are detected. The detection signal is input to the computer 9, the position and orientation of the ultrasonic probe 6 are calculated, and the data and the two-dimensional ultrasonic tomographic image U <b> 2 output from the ultrasonic signal processing unit 82 are combined to obtain the tertiary. An original image U3 is constructed and displayed on the three-dimensional image display device 90 as shown in FIG.
[0042]
Such calculation of the position and orientation of the ultrasonic probe 6 is performed as follows, for example.
The positions of the bending detectors 22 and 22 'are set so that the changes in the output voltage are opposite to each other depending on the direction of the bending of the bending detectors 22 and 22' disposed on the front and back surfaces of the strip member 20. If the state without bending is normalized as zero voltage, the direction of bending can be determined by the sign of the output voltage.
[0043]
The relationship between the bending angle, the twisting angle, and the output voltage of the n-th sensor pair (that is, the bending detection unit 22, 22 ') is as follows.
The proportionality constant when twisted to the right a _n
The proportionality constant when twisted to the left is b _n
The constant of proportionality when bent upward c _n
The proportional constant when bent down is _dn
The output voltage of the sensor pair is V1 _n , V2 _n
The twist angle defined in FIG.
The bending angle defined in FIG.
Then, the following equation holds.
[0044]
(A _n or b _n ) × T + (c _n or d _n ) × B = V 1 _n − (1)
(A _n or b _n ) × T + (c _n or d _n ) × B = V 2 _n − (2)
A _n and b _n in formula (1) (2), whether to use the value of c _n and d _n is the voltage V1 _n, uniquely determined by the change in the sign and voltage value V2 _n.
[0045]
In FIG. 11, (X ₀ , Y ₀ , Z ₀ ) is the original coordinate system, and (X ₁ , Y ₁ , Z ₁ ) is the rotational coordinate system after T rotation. Further, (X ₂ , Y ₂ , Z ₂ ) in FIG. 12 is a rotation coordinate system after B rotation.
[0046]
11 and 12, the (X ₀ , Y ₀ , Z ₀ ) coordinates are rotated about the Y axis by T and then rotated about the X axis by B (X ₂ , Y ₂ , Z ₂ ) can be expressed by the following relational expression.
[0047]
[Expression 1]

[0048]
In FIG. 13, the sensor distance between two points can be calculated using the angle B. Since the belt-like member 20 between the two points can be seen as drawing an arc L, the angle B is nothing but the angle formed by the tangent lines of the sensors _Sn and _{Sn + 1} .
[0049]
The spatial linear distance D between the two points is D = 360 × L × sin (B / 2) / (π × B) — (4)
Therefore, the torsional and bending values in each sensor pair are integrated from the endoscope insertion portion reference position to the distal end portion, the sensor interval is calculated using Equation (4), and the coordinate transformation of Equation (3) is continuously performed. By doing so, it is possible to calculate the position coordinates of the tip (that is, the ultrasonic probe 6) with respect to the reference coordinate system.
[0050]
FIG. 14 is a two-dimensional ultrasonic tomographic image obtained by the ultrasonic probe 6. P1 and P2 correspond to the start point and end point position of scanning by the ultrasonic probe 6, and P3 and P4 correspond to the depth. When the screen magnification is set, the distance is uniquely determined. That is, the positional relationship between the graphic memory address for displaying the two-dimensional ultrasonic tomogram and the subject is determined with correlation.
[0051]
The coordinate position of the distal end from the insertion amount / rotation angle detection unit 40, which is the insertion reference position of the endoscope, can be known from the detection value from the bending detection unit 22, and the image scanned by the ultrasonic probe 6 is a two-dimensional coordinate. Since all pixel positions are known in the system, all images on one plane can be expressed in the insertion reference coordinate system by combining them.
[0052]
In order to make it a three-dimensional image, the insertion amount / rotation angle detection unit 40 detects the rotation angle R of the insertion portion flexible tube 1. If the axial direction is the Z axis, it can be converted into an R rotation coordinate system centered on the Z axis.
[0053]
Even if the component rotated at hand is not correctly transmitted to the tip, the bending detection optical fiber 21 detects the twist angle component on the way, so that the position coordinate of the tip can be detected almost correctly.
[0054]
As shown in FIG. 8B, the pair of bending detection units 22 and 22 'may be arranged orthogonally (second embodiment). FIG. 15 shows a state in which such belt-like members 20 ′ and 20 ″ are incorporated in the insertion portion flexible tube 1.
[0055]
In this case, the relationship between each bending angle of the nth sensor pair and the output voltage is
The X sensor proportionality constant when bent in the X direction e _n
Y sensor proportional constant when bent in the X direction is f _n
X sensor proportional constant when bent in the Y direction g _n
Y sensor proportional constant when bent in the Y direction h _n
The bending angle element in the X direction is θx
The bending angle element in the Y direction is θy
X sensor voltage change Vx _n
The voltage change of the Y sensor Vy _n
Then, the following equation holds.
[0056]
_{_{θx = e n × Vx n +}} f n × Vy n - (5)
_{_{θy = g n × Vx n +}} h n × Vy n - (6)
It is.
[0057]
In an ideal state in which X and Y are completely orthogonal, the voltage change component of the Y sensor should be negligible when bent in the X direction, but it is assumed that variations will occur in the actual sensor built-in state. It is thought that the influence which an ingredient has on both cannot be ignored. Each proportionality constant is a unique value for each endoscope and is acquired in advance by calibration.
[0058]
16, when taking the insertion direction of the endoscope on the z-axis, the angle of the vector of the sensor S _n makes with the y-z plane is [theta] x, since the angle between the x-z plane is [theta] y, S _n position coordinates _{_{(x n, y n, z}} n) is _{x n = L sinθx - (7} )
y _n = L sinθy-(8)
z _n = L {(cosθx) ² − (sinθy) ² } ^1/2
= L {(cosθy) ² − (sinθx) ² } ^1/ 2-(9)
Therefore, the position coordinates of the ultrasonic probe 6 can be specified.
[0059]
In this manner, the observation image display device 70, the tomographic image display device 80, and the three-dimensional image display device 90 shown in FIG. A two-dimensional ultrasonic tomographic image obtained by the probe 6 and a three-dimensional image obtained by processing the two-dimensional ultrasonic tomographic image by combining the detection values from the band-shaped member 20 and the insertion amount / rotation angle detection unit 40. Observed at the same time.
[0060]
Therefore, it is possible to confirm the puncture state of the treatment tool 100 in real time with a two-dimensional ultrasonic tomographic image while confirming the running state of the blood vessel with a three-dimensional image, and perform a puncture treatment safely so as not to pierce the blood vessel. it can.
[0061]
【The invention's effect】
According to the present invention, the two-dimensional tomographic image data obtained from the ultrasonic probe is three-dimensionalized by combining the ultrasonic probe position and posture data obtained from the probe position / orientation detecting means, and the ultrasonic tomographic image is obtained. By providing 3D image construction means for constructing 3D images, it is possible to construct 3D ultrasound tomograms with high accuracy using a convex type ultrasonic probe, etc. A puncture treatment or the like can be performed safely while confirming in real time.
[Brief description of the drawings]
FIG. 1 is an overall configuration diagram of a flexible ultrasonic endoscope apparatus according to an embodiment of the present invention.
FIG. 2 is a perspective view of a distal end portion of an insertion portion of the flexible ultrasonic endoscope apparatus according to the embodiment of the present invention.
FIG. 3 is a schematic view of a display screen simultaneously obtained by the flexible ultrasonic endoscope apparatus according to the embodiment of the present invention.
FIG. 4 is a partial perspective view of an insertion portion flexible tube of the flexible ultrasonic endoscope apparatus according to the embodiment of the present invention.
FIG. 5 is a schematic cross-sectional view of a bending detection unit of a bending detection optical fiber used in an embodiment of the present invention.
FIG. 6 is a schematic cross-sectional view showing a bent state of a bending detection portion of a bending detection optical fiber used in the embodiment of the present invention.
FIG. 7 is a schematic cross-sectional view showing a state in which a bend detection portion of a bend detection optical fiber used in an embodiment of the present invention is bent in a reverse direction.
FIG. 8 is a schematic diagram for explaining the principle of three-dimensional bending state detection by a bending detection optical fiber used in an embodiment of the present invention.
FIG. 9 is a plan view of a belt-like member to which a bending detection optical fiber according to an embodiment of the present invention is attached.
FIG. 10 is a circuit diagram of an optical signal input / output device according to an embodiment of the present invention.
FIG. 11 is a coordinate diagram for explaining the contents of calculation performed in the computer according to the embodiment of the present invention.
FIG. 12 is a coordinate diagram for explaining the contents of calculation performed in the computer according to the embodiment of the present invention.
FIG. 13 is a coordinate diagram for explaining the contents of calculation performed in the computer according to the embodiment of the present invention.
FIG. 14 is a schematic view illustrating a two-dimensional ultrasonic tomographic image of an embodiment of the present invention.
FIG. 15 is a partial cross-sectional view of an insertion portion flexible tube according to a second embodiment of the present invention.
FIG. 16 is a coordinate diagram for explaining the contents of calculation performed in the computer according to the second embodiment of the present invention;
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Insertion part flexible tube 4 Tip part main body 5 Observation window 6 Ultrasonic probe 9 Computer (three-dimensional image construction means)
20 Band-shaped

members

21, 21 ′ Optical fibers for detecting bending 22, 22 ′ Bending detector 30 Optical signal input / output device 40 Insertion / rotation angle detector 70 Observation image display device 80 Tomographic image display device 90 Three-dimensional image display device

Claims

A flexible ultrasonic endoscope in which an ultrasonic probe for transmitting and receiving an ultrasonic signal for obtaining an ultrasonic tomographic image and an observation window for obtaining an optical observation image are provided at the distal end portion of the flexible insertion portion. In the mirror device,
A plurality of flexible bending detection optical fibers are arranged in a distributed manner. A light source that is embedded in the outer shell of the insertion portion flexible tube that forms the insertion portion, and that detects the intensity of the emitted light for each of the optical fibers, and a single light source for allowing light to enter all the optical fibers. A probe position / posture detection unit that is disposed outside the insertion portion flexible tube and detects the position and posture of the ultrasonic probe based on a detection value obtained by the light intensity detection unit;
The two-dimensional ultrasonic tomographic image data obtained from the ultrasonic probe is combined with the ultrasonic probe position and posture data obtained from the probe position / posture detection means to form a three-dimensional image to obtain the ultrasonic tomographic image. A flexible ultrasonic endoscope apparatus comprising a three-dimensional image construction means for constructing a three-dimensional image.

2. The apparatus according to claim 1, wherein the ultrasonic probe transmits and receives an ultrasonic signal on a plane including an axis of the distal end of the insertion portion, and treatment instruments protrude from the distal end of the insertion portion on the scanning surface. Flexible ultrasound endoscope device.

Two-dimensional tomographic image display means for displaying a two-dimensional ultrasonic tomographic image obtained by the ultrasonic probe and three-dimensional tomographic image display means for displaying a three-dimensional image obtained by the three-dimensional image construction means are provided. The flexible ultrasonic endoscope apparatus according to claim 1 or 2.