JP2004358096A - 超音波内視鏡装置 - Google Patents

Abstract

【課題】患者から内視鏡を差し替えることなく、光学像と超音波像の互いの位置と方向とを正確に対応づけて表示する。
【解決手段】光学観察装置４と、光学像メモリ４７と、表面形状推定回路４８と、３次元画像メモリ４９とは、被検体の光学像を取得する光学像取得手段なっている。超音波像メモリ４１と、３次元データ構築回路４２と、３次元画像メモリ４３と、断面抽出回路４４と、断面画像メモリ４５とは、前記被検体の超音波像を取得する超音波像取得手段となっている。位置検出回路５は、前記光学像取得時の前記被検体に対する前記光学像取得手段の位置情報を取得する。形状マッチング回路５０及び座標変換回路５１は、前記位置検出回路５により得られた位置情報を基に前記光学像取得手段により得られた光学像と前記超音波像取得手段により得られた超音波像とをマッチングさせる。
【選択図】 図３

Description

【０００１】
【発明の属する技術分野】
本発明は、被検体の光学像と超音波像を取得する超音波内視鏡装置に関する。
【０００２】
【従来の技術】
従来、患者の開口部から挿入して体腔内より超音波を走査する超音波内視鏡が種々実用化されている。
【０００３】
この超音波内視鏡の先端には、通常、超音波を走査してそのエコーを受信する超音波振動子と、食道、胃、十二指腸、大腸などの管腔表面の光学像を観察するための光学観察窓が設けられている。
【０００４】
ところで、一般に、この超音波内視鏡による超音波像は、光学像との空間的な位置関係を把握しにくいという問題がある。このため、術者には超音波像として管腔のどの部位がモニタに表示されているのかわかりにくく、超音波像で正しく患部を診断することには熟練を要していた。
【０００５】
超音波内視鏡で空間的な位置関係を把握しにくい理由は以下の通りである。
【０００６】
第１に超音波の走査面は光学像では目に見えない。
【０００７】
第２に超音波の走査面は常に光学像の視野内におさまる訳ではない。
【０００８】
第３に超音波で走査する際、超音波を患部まで到達させるために超音波媒体である脱気水を管腔に充満させたり、バルーンを用いたりするが、これが光学像の視野を妨げるため、結局、超音波像による観察は光学像による観察とは時間を置いた別の観察となっていた。
【０００９】
このことに対応して、近年では、別々に撮像された光学像と超音波像とを合成して表示することで、光学像と超音波像との空間的な位置関係を正確に把握できる超音波内視鏡装置が提案されている（例えば、特許文献１参照）。
【００１０】
さらに、特許文献１の技術を用いることで、水平方向への病変の広がりの診断と、垂直方向への病変の深速度診断とを同時に行うことができ、超音波内視鏡検査の診断能を向上させることができる。
【００１１】
光学像と超音波像とを合成する際には、あらかじめ双方の画像データの位置関係を対応づける必要がある。そこで、この特許文献１の技術では、１つの方法として、光学像から被検体病変部表面の３次元立体把握が可能な、立体３次元内視鏡計測システムと、３次元超音波像再構成システムとを組合せ、両者によって得られた病変部表面の３次元形態画像情報をパターンマッチングさせる方法を提案している。
【００１２】
さらに、この中で、光学像から病変部表面の３次元形態画像情報を把握する方法として、次の２つの方法を提案している。
【００１３】
第１に三角測量を基本原理とした、スリット光投影を用いた光切断法による立体計測方法である。これは次のような手法である。
【００１４】
まず、レーザ−を光源とする投影装置を用いてスリット光を発生させ、物体面に照射すると、その物体面にその形状のまま投影され、この物体面での光強度分布をスコープで撮影すると、その物体形状に応じて変化する輝度パターンが得られる。この輝度パターンを解析することで、物体までの距離Ｚ、そして、Ｘ、Ｙ座標を加えた３次元位置を把握することができる。
【００１５】
第２に内視鏡に装着される広角レンズによる歪曲収差を補正する仕組みをもつものを使う方法である。
【００１６】
【特許文献１】
特開平２００２−１７７２９号公報（第９−１６頁、図１−１６）
【００１７】
【発明が解決しようとする課題】
このような従来の光学像から病変部表面の３次元形態画像情報を把握する技術において、スリット光投影を用いた光切断法による立体計測方法では、レーザー光を導光するための特別な光学系を内視鏡に設ける必要があり、歪曲収差を補正する方法では、内視鏡に広角レンズを装着する必要がある。そのため、立体３次元内視鏡計測システムのための内視鏡には特別のものが必要になってしまい、３次元超音波像再構成システムのための内視鏡とは別体にならざるを得ない。
【００１８】
さらに、立体計測方法は、物体面が無地の面であることが前提であり、管腔表面のように不均一な階調をもつ面への投影では、正確に物体面の３次元位置を把握できるとは言いがたい。
【００１９】
従って、このような技術による超音波内視鏡装置を用いて光学像と超音波像とを合成して表示するためには、一方のシステムで患者を検査した後、内視鏡を抜去し、もう一度別の内視鏡を挿入して検査し直さなければならない。その結果、この超音波内視鏡装置による検査は検査時間を長引かせ、洗浄消毒等の検査前後の内視鏡メンテナンスの手間を倍加させるだけでなく、患者への負担を強いるというデメリットが生じてしまう。また、光学像と超音波像の位置関係を対応づける際の正確さに欠けていた。
【００２０】
本発明は、前記事情に鑑みてなされたものであり、患者から内視鏡を差し替える必要なく、光学像と超音波像の互いの位置と方向とを正確に対応づけて表示することのできる超音波内視鏡装置を提供することを目的とする。
【００２１】
【課題を解決するための手段】
前記目的を達成するため請求項１に記載の超音波内視鏡装置は、被検体の光学像を取得する光学像取得手段と、前記被検体の超音波像を取得する超音波像取得手段と、前記光学像取得時の前記被検体に対する前記光学像取得手段の位置情報を取得する位置情報取得手段と、前記位置情報取得手段により得られた位置情報を基に前記光学像取得手段により得られた光学像と前記超音波像取得手段により得られた超音波像とをマッチングさせるマッチング手段と、を備えたことを特徴とする。
【００２２】
請求項２に記載の超音波内視鏡装置は、請求項１に記載の超音波内視鏡装置であって、前記位置情報を基に前記光学像から第１の表面形状を算出する第１の表面形状演算手段と、前記超音波像から第２の表面形状を算出する第２の表面形状演算手段と、を更に有し、前記マッチング手段は、前記第１および第２の表面形状を用いてマッチングすることを特徴とする。
【００２３】
請求項３に記載の超音波内視鏡装置は、請求項２に記載の超音波内視鏡装置であって、前記位置情報取得手段が、前記超音波像取得時の前記被検体に対する前記超音波像取得手段の位置情報を取得し、前記第２の表面形状演算手段が、前記位置情報を基に第２の表面形状を算出することを特徴とする。
【００２４】
請求項４に記載の超音波内視鏡装置は、請求項１に記載の超音波内視鏡装置であって、前記光学像の輝度値を表面画像データに用い、前記超音波像の輝度値を断面画像データに用いて、前記表面画像データと前記断面画像データとを合成して３次元画像を構築する合成手段を設けたことを特徴とする。
【００２５】
請求項５に記載の超音波内視鏡装置は、請求項１に記載の超音波内視鏡装置であって、前記光学像から得られた画像と前記超音波像から得られた画像を同時表示する表示手段と、一方の画像上の任意点に対する、他方への対応点を算出する対応付け制御手段と、を設けたことを特徴とする。
【００２６】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
（第１の実施の形態）
図１乃至図１１は本発明の第１の実施の形態に係り、図１は超音波内視鏡装置の全体構成を示すブロック図、図２は内視鏡の挿入部の挿入側先端の拡大して示す断面図、図３は画像処理装置を示すブロック図、図４は形状マッチング回路を示すブロック図、図５は手引き走査の作用を示す説明図、図６は３次元画像データを示す概念図、図７は３次元画像データの切り直しを示す説明図、図８は表面形状データを示す説明図、図９は内視鏡による関心領域の撮像を示す説明図、図１０は光学像と超音波像の合成を示す説明図、図１１はモニタに表示される画像を示す説明図である。
【００２７】
（構成）
図１に示すように、本実施の形態の超音波内視鏡装置１は、超音波内視鏡２と、超音波観測装置３と、光学観察装置４と、位置検出装置５と、画像処理装置６と、モニタ７と、キーボード８と、マウス９とを有している。
【００２８】
超音波内視鏡２は、挿入部２１と、操作部２５とを連設したものである。
挿入部２１は、可撓性のある材質で構成され、被検体の体腔内へ挿入可能になっている。操作部２５は、挿入部２１の先端部の超音波振動子２２を駆動するモータ２３を備えている。
【００２９】
挿入部２１の先端部には空間に磁場を励起する送信コイル２４を設けている。
位置検出装置５は、コイル駆動回路１１と、複数の受信コイル１２と、位置算出回路１３とを有している。
【００３０】
コイル駆動回路１１は、送信コイル２４にコイル励振信号を出力する。複数の受信コイル１２は、所定の配置方法で特定の位置に固定され、送信コイル２４が張る磁場を逐次検知して電気的な受信信号を出力する。
【００３１】
位置算出回路１３は、受信コイル１２が出力する受信信号から位置方向データを算出する。
【００３２】
なお、複数の受信コイル１２は直方体の筐体に一体的に固定されている。以下、この筐体と受信コイル１２とを合わせて受信コイルユニット１０と呼ぶ。
【００３３】
図１の中では受信コイル１２は紙面の都合上、受信コイルユニット１０の中で直線上に並べて固定されて表されているが、実際には２次元平面上あるいは３次元空間上に並べて固定されているものとする。
【００３４】
図２を用いて挿入部２１の挿入側先端を詳細に説明する。
図２に示すように、挿入部２１の先端部２６にはポリメチルペンテン等の材質でできた音響的に半透明な先端キャップ２７が設けられている。先端キャップ２７の内部には超音波振動子２２が設けられており、先端キャップ２７内には超音波伝達媒体２８が充填されている。超音波振動子２２は可撓性のある材質で作られたフレキシブルシャフト２９に接続されている。フレキシブルシャフト２９は図１に示した内視鏡２の操作部２５内のモータ２３の回転軸へ接続されており、図２の矢印方向に回転するように設けられている。超音波振動子２２はフレキシブルシャフト２９内の信号線（図示せず）を介して内視鏡操作部２５経由で超音波観測装置３へエコー信号を出力する。
【００３５】
挿入部２１の先端には空間に磁場を張るソレノイドコイルである２個の送信コイル２４が設けられている。２個の送信コイル２４は、信号線３０を介して位置検出装置５内のコイル駆動回路１１と接続している。この送信コイル２４のうちの一つは図２の「１２時方向」と書かれた方向を軸として、もう一方は「法線方向」と書かれた方向を軸として導線がコイル状に巻かれている。
【００３６】
この「法線方向」は挿入部２１の挿入軸方向、「１２時方向」はこれに直交する方向である。「法線方向」は超音波振動子２２がラジアル走査して得られる超音波像の法線方向と一致する。また、１２時方向に巻かれた送信コイル２４は、導線の巻かれている方向が、法線方向に直交する方向のうち超音波像の１２時方向に一致するよう設けられているものとする。なお、超音波振動子２２がラジアル走査を行う場合の作用は後述する。
【００３７】
これらの他に、挿入部２１の先端部２６には、光学像をカラーで撮像するための電荷結合素子型固体撮像素子カメラ（以下、ＣＣＤカメラと呼ぶ）３１と、ＣＣＤカメラ３１での撮像に必要な光を体腔内に照射するための撮像光照射窓３２とが設けられている。
【００３８】
ＣＣＤカメラ３１は光学観察装置４と接続しており、挿入部２１内の信号線（図示せず）を介して内視鏡操作部２５経由で光学観察装置４へ撮像信号を出力する。光学観察装置４はこの撮像信号を基に体腔内の光学像を作成する。また、撮像光照射窓３２は挿入部２１内に設けられた光ファイバ等の導光路（図示せず）を経由して光源装置（図示せず）からの撮像光が届くよう構成されており、ＣＣＤカメラ３１での撮像に必要な撮像光を体腔内に照射することができる。
【００３９】
そして、挿入部２１の先端部には、上記した挿入部２１の先端部の各部を一体的に保持するための硬性の硬性フレーム３３が図２のように設けられている。
【００４０】
図３を参照して図１に示した画像処理装置６の構成を詳細に説明する。
図３に示すように、画像処理装置６は、超音波像メモリ４１と、３次元データ構築回路４２と、大容量の第１の３次元画像メモリ（以下、単に３次元画像メモリ４３）と、断面抽出回路４４と、断面画像メモリ４５と、表面抽出回路４６と、光学像メモリ４７と、表面形状推定回路４８と、大容量の第２の３次元画像メモリ（以下、単に３次元画像メモリ４９）と、形状マッチング回路５０と、座標変換回路５１と、表面画像メモリ５２と、合成回路５３と、表示回路５４と、スイッチ５５と、これらを制御するコントローラ５６とを有している。
【００４１】
スイッチ５５は、位置検出装置５からのデータの出力先を超音波像メモリ４１と光学像メモリ４７のうち一方に切り替える。コントローラ５６は、キーボード８やマウス９からの入力に応じてこれら各部および各回路を制御する。
【００４２】
次に、図４を用いて図３に示した形状マッチング回路５０の構成を詳細に説明する。
【００４３】
図４に示すように、形状マッチング回路５０は、第１の表面形状メモリ５７と、第２の表面形状メモリ５８と、相互相関回路５９とを設けている。
【００４４】
また、本実施形態の位置検出装置５は、前記超音波像取得時の前記被検体に対する前記超音波像取得手段の位置情報を取得するようになっている。
【００４５】
（作用）
以下、第１の実施の形態の作用を説明する。
図１、図３及び図４において、実線は光学像に関連する信号またはデータの流れ、破線は超音波像に関連する信号またはデータの流れ、２点鎖線は挿入部２１の先端部の位置方向に関連する信号またはデータの流れ、太線は３次元画像に関連する信号またはデータの流れ、点線はマッチング情報の流れ、曲線の矢印はその他の信号またはデータの流れを示している。
【００４６】
超音波像を構築する作用について説明する。
超音波振動子２２は、超音波観測装置３内からのパルス電圧状の励起信号を受け取って媒体の疎密波である超音波ビームに変換する。
【００４７】
超音波ビームは超音波伝達媒体２８と先端キャップ２７とを伝わり超音波内視鏡２外部へと照射され、被検体内からの反射エコーが超音波ビームとは逆の経路を辿って超音波振動子２２へ戻る。
【００４８】
超音波振動子２２は反射エコーを電気的なエコー信号に変換して励起信号とは逆の経路で超音波観測装置３へ伝達する。さらに、この作用を反復的に繰り返す一方で、操作部２５内のモータ２３が回転することによりフレキシブルシャフト２９と超音波振動子２２がそれぞれ図２のブロック矢印の方向へ回転する。このため超音波ビームが超音波内視鏡２の挿入部２１に垂直な平面（以下、ラジアル走査面）内を順次放射状に照射され、いわゆるメカニカルラジアル走査が実現する。
【００４９】
以下、メカニカルラジアル走査は単にラジアル走査と呼ぶ。
超音波観測装置３は、超音波振動子２２からのエコー信号に包絡線検波・対数増幅・Ａ／Ｄ変換・スキャンコンバート（ラジアル走査で生成された極座標系の画像データを直交座標系の画像データに変換する処理）等の公知の処理を施して超音波像の画像データ（以下、単に超音波像）を構築する。この超音波像は画像処理装置６内の超音波像メモリ４１に出力される。
【００５０】
次に、光学像を構築する作用について説明する。
ＣＣＤカメラ３１は、体腔内表面の情報を基に撮像信号を生成する。具体的には光を電気的な撮像信号へ変換する。そして、撮像信号を光学観察装置４へ出力する。光学観察装置４はこの撮像信号を基に光学像の画像データ（以下、単に光学像）を構築する。この光学像は画像処理装置６内の光学像メモリ４７に出力される。
【００５１】
次に、挿入部２１の先端部の位置方向データを算出する作用について説明する。
コイル駆動回路１１は、送信コイル２４にコイル励振信号を逐次出力する。送信コイル２４は、空間に磁場を張る。
【００５２】
受信コイル１２は、磁場を逐次検知して位置算出回路１３に電気的な受信信号を出力する。
【００５３】
位置算出回路１３は、受信信号を基に位置方向データを算出し、画像処理装置６へ出力する。この位置方向データは送信コイル２４の受信コイルユニット１０に対する位置と方向とを含んだデータとする。具体的には、位置方向データは送信コイル２４の位置だけでなく、超音波内視鏡２の挿入軸方向（図２の「法線方向」と示された方向）と、超音波像に平行な特定の方向（図２の「１２時方向」と書かれた方向）とを含んでいるものとする。ここで、超音波内視鏡２の挿入軸方向は超音波像の法線方向である。
【００５４】
さらに、本実施の形態の超音波観測装置３は、図２の１２時方向が、超音波像の１２時方向になるよう超音波像を作成する。従って、結局、位置方向データは、超音波像の法線方向と１２時方向を示すデータを含むことになる。
【００５５】
次に、画像処理装置６の作用を説明する。
第１に、超音波像に関連する信号／データの流れについて説明する。
まず、術者はキーボード８やマウス９を介し、コントローラ５６にスイッチ５５を切り替えさせる。ここでは、位置方向データの出力先が超音波像メモリ４１に設定される。
【００５６】
この後、術者はラジアル走査をしながら超音波内視鏡２の挿入部２１をゆっくり引き抜く。すると図５に示すように挿入部２１の先端部がゆっくり移動する（以下、この走査方法を手引き走査と呼ぶことにする）。手引き走査に伴い、連続した複数の超音波像６２が得られる。図５のように、挿入部２１の先端部が常に関心領域６１の近くにいるよう手引き走査を実行すれば、ほとんどの超音波像内に関心領域６１が含まれる。
【００５７】
超音波観測装置３はこのように生成される超音波像を次々と超音波像メモリ４１に出力する。コントローラ５６は各超音波像とそれが入力された瞬間の位置方向データとを関連付けて超音波像メモリ４１に記憶させるようにする。例えば、コントローラ５６は位置方向データを超音波像の画像データのヘッダーもしくはフッターとして記憶させるようにする。近年のデジタル技術の進歩により、超音波観測装置３はラジアル走査に対してほとんど遅延なく超音波像を構築でき、また近年の位置検出装置５は磁場の送信に対してほとんど遅延なく位置方向データを算出できるので、超音波像メモリ４１には、事実上、各超音波像とそのエコー信号が取得された瞬間の位置方向データとが記憶されることになる。
【００５８】
このようにして、超音波像メモリ４１には連続した複数の超音波像が、おのおのの位置方向データと関連付けられて記憶される。
【００５９】
３次元データ構築回路４２は、超音波像メモリ４１から連続する複数の超音波像を読み出し、各々が重複する部分を平均化したり、超音波像間に補間処理を施してアドレスが３次元の直交座標で表現される３次元画像データを作成し、３次元画像メモリ４３に出力する。
【００６０】
３次元画像データの概念を図６を参照して説明する。
図６に示すように、３次元画像データ６３はアドレスが３次元の直交座標で表現されるセル６４からなり、各々のセル６４はエコー信号を基にして得た輝度値をデータに持つ。
【００６１】
断面抽出回路４４は、３次元画像データ６３のうち、適当な複数の断面に相当する多数のセル６４を抽出し、断面の画像データ（以下、断面画像データ）を作成する。
【００６２】
断面画像データは断面画像メモリ４５に出力され、記憶される。なお、断面の位置や方向はあらかじめキーボード８やマウス９を介して術者が設定するものとし、本実施の形態では説明の都合上、互いに垂直な複数の断面が設定されているものとする。
【００６３】
表面抽出回路４６は、図７に示すように、３次元画像データ６３を平行な断面像（以下、平行スライス像データ６５）に切り直す。そして、平行スライス像データ６５の各々から管腔表面に相当するセルを抽出する。各平行スライス像データ６５から表面を抽出する方法は本出願人による特開平１０−１９２号公報に詳述されているような公知の処理方法を用いる。この後、表面抽出回路４６は、３次元画像データ６３とは別に、表面に相当するセルを１、表面以外に相当するセルを０にして２値化しだ表面形状データを作成し、形状マッチング回路５０内の表面形状メモリ５７に出力する。
【００６４】
この表面形状データの概念を図８を用いて詳細に説明する。なお、図８では説明の都合上、表面形状データ６６の各セル６７はメッシュが粗く表現されているが、実際には抽出された表面６８が図８に表現されている程度に滑らかに表現できるようメッシュが細かく切られている。
【００６５】
次に、光学像に関連する信号及びデータの流れについて説明する。
まず、術者はキーボード８やマウス９を介し、コントローラ５６にスイッチ５５を切り替えさせる。ここでは、位置方向データの出力先が光学像メモリ４７に設定される。この後、術者は光学像を撮像しながら超音波内視鏡２の挿入部２１を移動させ、図９に示すように、関心領域６１が様々な角度で撮像されるようにする。
【００６６】
光学観察装置４はこのように生成される光学像を次々と光学像メモリ４７に出力する。
【００６７】
コントローラ５６は各光学像とそれが入力された瞬間の位置方向データとを関連付けて光学像メモリ４７に記憶させるようにする。例えば、コントローラ５６は位置方向データを光学像の画像データのヘッダもしくはフッタとして記憶させるようにする。光学観察装置４はＣＣＤカメラ３１による撮像に対してほとんど遅延なく光学像を構築でき、位置検出装置５は磁場の送信に対してほとんど遅延なく位置方向データを算出できるので、光学像メモリ４７には、事実上、各光学像とそれが撮像された瞬間の位置方向データとが記憶されることになる。
【００６８】
このようにして、光学像メモリ４７には、連続した複数の光学像が、おのおのの位置方向データと関連付けられて記憶される。
【００６９】
表面形状推定回路４８は、光学像メモリ４７から連続する複数の光学像を読み出し、表面形状を推定する。この表面形状を推定する方法は本出願人による特開平１１−２９５６１８号公報に詳述されているような公知の処理方法を用いる。ここに開示されている処理方法は本願と同様に位置検出装置５を使って挿入部２１の先端部の位置及び方向を検出し、さらにＣＣＤカメラ３１からの光学像を用いて被検体の表面形状を精度良く推定する方法である。
【００７０】
この後、表面形状推定回路４８は、表面に相当するセルを１、表面以外に相当するセルを０にして２値化した表面形状データを作成し、形状マッチング回路５０内の表面形状メモリ５８に出力する。この表面形状データの概念図は先に述べた図８と同じである。
【００７１】
さらに、表面形状推定回路４８は、この表面形状にもともとの光学像のカラーの輝度値をマッピングすることで、表面形状データとは別に管腔表面の３次元画像データを作成し、３次元画像メモリ４９に出力する。３次元画像データの概念図は先に述べた図６と同じである。３次元画像データはアドレスが３次元の直交座標で表現されるセルからなり、各々のセルは撮像信号から得た管腔表面の輝度値をＲ（赤）、Ｇ（緑）、Ｂ（青）をデータに持つ。
【００７２】
次に、形状マッチング回路５０の作用とマッチング情報の流れについて説明する。
【００７３】
形状マッチング回路５０は表面形状メモリ５７内の、超音波像から得た表面形状データと、表面形状メモリ５８内の、光学像から得た表面形状データとを比較し、光学像から得た表面形状データをどのように回転、並進、拡大／縮小させたら最も良く超音波像から得た表面形状データと一致するかを演算する。この様子を図１０に示す。
【００７４】
具体的には、図１０に示すように、相互相関回路５９が光学像から得た表面形状データ７２に対し、回転、並進、拡大／縮小の変換を施して超音波像から得た表面形状データ７１との相互相関値Ｆを算出し、回転、並進、拡大縮小の変換の程度を微小に変えながらこれを繰り返すことで相互相関値が最大となる時の回転のオイラー角（ψ，θ，φ）、並進の変位（δｘ，δｙ，δｚ）、拡大／縮小率αを算出する。そして相互相関値が最大となる時のこれらの値をマッチング情報として座標変換回路５１に出力する。
【００７５】
以下に、解析的なモデルを説明する。
ｆ（ｘ，ｙ，ｚ）を超音波像から得た表面形状データ７１、ｇ（ｘ，ｙ，ｚ）を光学像から得た表面形状データ７２とすると各々の関数は以下の値を取る。
【００７６】
【数１】

光学像から得た表面形状データ７２に対し、回転、並進、拡大／縮小を施すと、表面形状データ７２上の点（ｘ，ｙ，ｚ）は以下の式で点（ｘ’，ｙ’，ｚ’）に座標変換される。
【００７７】
【数２】

ここでＴｘ（ψ），Ｔｙ（θ），Ｔｚ（φ）はそれぞれｘ軸、ｙ軸、ｚ軸のまわりの回転行列とする。
【００７８】
式（３）から、ｘ’、ｙ’、ｚ’はそれぞれ（ｘ，ｙ，ｚ）、（ψ，θ，φ）、（δｘ，δｙ，δｚ）、αの関数として書かれることになる。
【００７９】
すると、相互相関値Ｆは、（ψ，θ，φ）、（δｘ，δｙ，δｚ）、αの関数として以下の式で与えられる。
【００８０】
【数３】

求める値は以下を満足して、相互相関値Ｆを最大にするψｏ，θｏ，φｏ，（δｘ）ｏ，（δｙ）ｏ，（δｚ）ｏ，αｏであり、相互相関回路５９はこれらを求めるために（ψ，θ，φ）、（δｘ，δｙ，δｚ）、αの値を微小に変えながら式（３）と式（４）の演算を繰り返す。
【００８１】
Ｆ（ψｏ，θｏ，φｏ，（δｘ）ｏ，（δｙ）ｏ，（δｚ）ｏ，αｏ）＝ｍａｘＦ … （５）
結局、相互相関回路５９は座標変換回路５１へマッチング情報としてψｏ，θｏ，φｏ，（δｘ）ｏ，（δｙ）ｏ，（δｚ）ｏ，αｏを出力することになる。
【００８２】
これらの値が超音波像から得た表面形状データと光学像から得た表面形状データとの一致を与える座標変換パラメータである。
【００８３】
次に、３次元画像の合成と表示について説明する。
【００８４】
座標変換回路５１は３次元画像メモリ４９内の光学像から得た３次元画像データ６３に座標変換を施す。
【００８５】
この際、座標変換回路５１は、形状マッチング回路５０からのマッチング情報を基にして、光学像から得た表面形状データ７２が超音波像から得た表面形状データ７１と最も良く一致するよう、光学像から得た表面形状データ７２を回転、並進、拡大／縮小させるのと同じ方法で、光学像から得た３次元画像データ６３を回転、並進、拡大／縮小させる。
【００８６】
具体的には、座標変換回路５１は相互相関回路５９からのψｏ，θｏ，φｏ，（δｘ）ｏ，（δｙ）ｏ，（δｚ）ｏ，αｏの各値を基に、式（３）で書かれる座標変換処理を３次元画像メモリ４９内の光学像から得た３次元画像データ６３に施す訳である。座標変換された３次元画像データ（以下、表面画像データ）は表面画像メモリ５２へ出力され、記憶される。このように処理することで、断面画像メモリ４５内の断面画像データの座標系と表面画像メモリ５２内の表面画像データの座標系が一致するのである。
【００８７】
合成回路５３は断面画像データと表面画像データを合成し、陰面消去等の処理を施して、図１１に示す表面７３と断面７４とを合成して、関心領域が表示された３次元画像を構築する。
【００８８】
この３次元画像は表示回路５４でモニタ７に出力できるよう、ビデオ信号等の信号に変換され、モニタ７に出力される。
【００８９】
モニタ７はこの３次元画像を表示する。
（効果）
このような第１の実施の形態によれば、患者から内視鏡を差し替える必要なく、光学像と超音波像の互いの位置と方向とを正確に対応づけて表示することができるので、検査時間を短縮し、洗浄消毒等の検査前後の内視鏡メンテナンスの手間を減らし、患者への負担を低減できる。
【００９０】
尚、第１の実施の形態では、表面抽出回路４６が３次元画像バータを平行スライス像データ６５に切り直して表面を抽出した後、表面形状データ６６を作成するよう構成したが、各超音波像からそのまま表面を抽出してそれらを補間することで表面形状データ６６を作成するよう構成しても良い。このように構成作用させても特開平１０−１９２号公報に詳述されている表面抽出の方法を用いることができる。また、表面抽出の方法は他の公知のいかなる方法でも良い。
【００９１】
また、第１の実施の形態では、表面形状推定回路４８が特開平１１−２９５６１８号公報に開示されている方法で表面形状を推定するよう構成したが、本方法のほかに、挿入部２１の先端部の位置及び方向を検出し、さらにＣＣＤカメラ３１からの同一被検体に対する時刻の異なった光学像を用いて、いわば時差のあるステレオ視で被検体の表面形状を推定する他の方法であっても良い。
【００９２】
図１２は第１の実施の形態に適用可能な電子ラジアル走査型超音波内視鏡を示す斜視図、図１３は第１の実施の形態に適用可能なコンベックス走査型超音波内視鏡を示す斜視図、図１４は第１の実施の形態に適用可能な２次元アレイ型超音波内視鏡を示す斜視図である。
【００９３】
第１の実施の形態では、用いられる超音波内視鏡として超音波振動子２２を機械的に回転してラジアル走査するメカニカルラジアル走査型超音波内視鏡２を用いたが、本発明はこれに限定されるものではなく、図１２に示す短冊状の超音波振動子８２を挿入軸に対し環状にアレイ状に設けた電子ラジアル走査型超音波内視鏡８１や、図１３に示す挿入軸に沿って超音波振動子９２をアレイ状に設けたコンベックス走査型超音波内視鏡９１を用いてもよい。
【００９４】
コンベックス走査型超音波内視鏡９１を用いた場合には、手引き走査に代えて、図１３に示すよう挿入部９３を挿入軸を中心にねじる走査（ねじり走査）になる。
【００９５】
さらに、図１４に示すように、近年期待が高まっている超音波振動子を平面にアレイ状に配した２次元アレイ超音波振動子１０２を用いた２次元アレイ型超音波内視鏡１０１を本発明に適用してもよい。
【００９６】
２次元アレイ型超音波内視鏡１０１を用いた場合には、手引き走査やねじり走査に代えて、超音波振動子１０２による走査のみで、平面状でなく３次元的な走査（ボリューム走査）ができ、一度に３次元の超音波像を取得することになる。つまり、このように構成することで、図２に示した送信コイル２４を用いずとも超音波による走査のみから３次元画像データを構築できるので、超音波の走査の際には送信コイル２４が不要になる。
【００９７】
また、図２に示した第１の実施の形態では、送信コイル２４を２個独立に設けたが、これは図１２、図１３、図１４に示すよう、２軸に巻かれたコイル８４が一体になったものであっても良く、送信コイルの形態は各種適用可能である。さらには図１に示す送信コイル２４と受信コイル１２が逆であっても、挿入部２１の先端部の位置方向データは算出できるので、一向に差し支えない。なお、図１２、図１３及び図１４ではＣＣＤカメラ３１と撮像光照射窓３２とは省略されているが、実際にはこれらの超音波内視鏡８１，９１，１０１でも設けられている。
【００９８】
（第２の実施の形態）
以下、図１５を用いて、第２の実施の形態の超音波内視鏡装置の構成と作用とを説明する。
【００９９】
図１５は本発明の第２の実施の形態に係る形状マッチング回路を示すブロック図である。
【０１００】
図１５を用いた第２の実施の形態の説明において、図１乃至図１１に示した第１の実施の形態と同様の構成要素には同じ符号を付して説明を省略している。
【０１０１】
（構成）
図１５に示すように、第２の実施の形態は、形状マッチング回路１１０の構成と作用が第１の実施の形態と異なる。
【０１０２】
形状マッチング回路１１０は、表面形状メモリ５７と、表面形状メモリ５８と、重心算出回路１１１と、重心比較回路１１２と、並進回路１１３と、慣性主軸算出回路１１４と、慣性主軸比較回路１１５と、回転回路１１６と、相互相関回路１１７とを設けている。
【０１０３】
その他の構成は第１の実施の形態と同じである。
（作用）
図１５の実線は光学像に関連する信号またはデータの流れ、破線は超音波像に関連する信号またはデータの流れ、点線はマッチング情報の流れを示している。
【０１０４】
第１の実施の形態では、相互相関回路で、光学像から得た表面形状データに対し、回転、並進、拡大／縮小の変換を施して超音波像から得た表面形状データとの相互相関値Ｆを算出し、回転、並進、拡大縮小の変換の程度を微小に変えながらこれを繰り返すことで相互相関値が最大となる時の回転のオイラー角（ψ，θ，φ）、並進の変位（δｘ，δｙ，δｚ）、拡大／縮小率αを算出した。
【０１０５】
一方、第２の実施の形態では、光学像から得た表面形状データと超音波像から得た表面形状データの形状はほとんど同じであることに着目し、並進は両表面形状データの重心の位置関係から、回転は両表面形状データの慣性主軸の位置関係から、そして、拡大／縮小のみ相互相関回路１１７を使い、（ψ，θ，φ）、（δｘ，δｙ，δｚ）、αを算出する。
【０１０６】
まず、重心算出回路１１１は、両表面形状メモリに記憶された表面形状データを読み出し、それぞれの重心の位置べクトルを算出する。重心の位置ベクトルＧの演算は以下の式で与えられる。
【０１０７】
【数４】

ここでｉは表面形状メモリを構成するセルにつけられた番号で、ｒｉは各セルの位置ベクトル、Ｉｉは各セルのデータ（表面は１、それ以外は０）である。
【０１０８】
重心比較回路１１２は、両表面形状データで算出された重心の位置ベクトルＧの差ベクトルを算出することで、両表面形状データ間の位置ずれ、すなわち並進の変位（δｘ，δｙ，δｚ）を算出する。その後、重心比較回路１１２は、この値を座標変換回路５１と並進回路１１３に出力する。
【０１０９】
並進回路１１３は、表面形状メモリ５８内の光学像から得た表面形状データ７２に対し、並進（平行移動）の処理を施し、超音波像から得た表面形状データ７１と重心を合わせ、回転回路１１６と慣性主軸算出回路１１４に出力する。
【０１１０】
慣性主軸算出回路１１４は、表面形状メモリ５７に記憶された超音波像からの表面形状データを読み出し、その慣性主軸の単位ベクトルを算出する。また、慣性主軸算出回路１１４は、並進回路１１３で重心を合わせられた光学像からの表面形状データの慣性主軸の単位ベクトルをも算出する。慣性主軸とは、通常古典力学で扱われる、どのような剛体にも固有に存在する１組の直交３軸である。
【０１１１】
そこで、慣性主軸算出回路１１４は、表面形状データを輝度値Ｉｉ、位置ベクトルｒｉで表されるセルの集合と見なし、さらに輝度値を質量と読み替えることで表面形状データを剛体と見なして、表面形状データから剛体と同様に慣性主軸を算出する。
【０１１２】
ここで、慣性主軸算出回路１１４は、超音波像からの表面形状データと、光学像からの表面形状データのそれぞれについて慣性主軸の直交する３軸の右手系の単位ベクトルを算出する。慣性主軸の算出方法は古典力学及び線形代数で公知である。
【０１１３】
慣性主軸比較回路１１５は、両表面形状データで算出された慣性主軸の単位ベクトル間の関係を算出する。両者間の関係は３行３列の直交行列で表現され、ここから回転のオイラー角（ψ，θ，φ）が算出される。この値が両表面形状データ間の回転ずれである。その後、慣性主軸比較回路１１５は、この値を座標変換回路５１と回転回路１１６に出力する。
【０１１４】
回転回路１１６は、並進回路１１３から出力された光学像から得た表面形状データに対し、回転の処理を施し、超音波像から得た表面形状データと方向を合わせ、相互相関回路１１７へ出力する。
【０１１５】
相互相関回路１１７は、表面形状メモリ５７から超音波像から得た表面形状データ７１を読み出す。そして、相互相関回路１１７は、回転回路１１６から出力された光学像から得た表面形状データを拡大または縮小し、両表面形状データの相互相関を取る。さらに拡大または縮小を倍率αを変えながら繰り返すことで、相互相関値が最大になるαを求め、座標変換回路５１へ出力する。
【０１１６】
その他の作用は第１の実施の形態と同じである。
（効果）
第１の実施の形態では、マッチング情報として相互相関値が最大になる回転のオイラー角（ψ，θ，φ）、並進の変位（δｘ，δｙ，δｚ）、拡大／縮小率αを全て独立変数と見なして算出していたが、第２の実施の形態では、並進の変位（δｘ，δｙ，δｚ）は重心算出回路１１１と重心比較回路１１２とから、回転のオイラー角（ψ，θ，φ）は慣性主軸算出回路１１４と慣性主軸比較回路１１５とから算出され、相互相関回路１１７が算出するのは拡大／縮小率αのみである。相互相関は一般に処理が重いため、第２の実施の形態によれば、第１の実施の形態に比べて処理を高速に実施できる。
【０１１７】
第２の実施の形態のその他の効果は第１の実施の形態と同じである。
（第３の実施の形態）
以下、図１６を用いて、第３の実施の形態の超音波内視鏡装置の構成と作用とを説明する。
【０１１８】
図１６は本発明の第３の実施の形態に係る形状マッチング回路を示すブロック図である。
【０１１９】
図１６を用いた第３の実施の形態の説明において、図１５に示した第２の実施の形態と同様の構成要素には同じ符号を付して説明を省略している。
【０１２０】
（構成）
図１６に示すように、第３の実施の形態は、第２の実施の形態と形状マッチング回路１２０の構成と作用とが異なる。第２の実施の形態とは異なる個所のみ説明する。
【０１２１】
形状マッチング回路１２０は、調整回路１２１を新たに設けている。
その他の第３の実施の形態の構成は第２の実施の形態と同じである。
（作用）
第２の実施の形態は、重心比較回路１１２の出力である並進の変位（δｘ，δｙ，δｚ）と、慣性主軸比較回路１１５の出力である回転のオイラー角（ψ，θ，φ）を直接座標変換回路５１へ出力するよう構成していた。しかし、第３の実施の形態ではこれらの出力を粗調整値として調整回路１２１へ出力させる。
【０１２２】
相互相関回路１１７は、この粗調整値とは別に第１の実施の形態と同じく回転のオイラー角（ψ，θ，φ）、並進の変位（δｘ，δｙ，δｚ）、拡大／縮小率αを算出する。ただし、このとき相互相関回路１１７で算出される回転のオイラー角（ψ，θ，φ）と並進の変位（δｘ，δｙ，δｚ）に関しては、重心比較回路１１２、慣性主軸比較回路１１５での調整に加えた再度の調整値となり微調整値である。
【０１２３】
調整回路１２１は、回転のオイラー角（ψ，θ，φ）、並進の変位（δｘ，δｙ，δｚ）については粗調整値と微調整値とから、正確な値を算出し座標変換回路５１へ出力する。また、調整回路１２１は、相互相関回路１１７からの拡大／縮小率αをそのまま出力する。
【０１２４】
（効果）
第２の実施の形態では、マッチング情報として粗調整値を座標変換回路５１へ出力していたが、光学像から得られた表面形状データと超音波像から得られた表面形状データとでは、体腔内で撮像された範囲が微妙に異なる場合があり、これらの粗調整値が回転のオイラー角と並進の変位を正確に表していない可能性がある。
【０１２５】
第３の実施の形態では、相互相関回路１１７で微調整値を算出するよう構成したので、形状マッチング回路１２０は第２の実施の形態に比べて正確なマッチング情報を出力できる。さらに相互相関回路１１７が微調整値を算出する前に粗調整を実施することで、独立変数を変えながら行う相互相関処理を、独立変数の変化範囲を限定して行うことができ、第１の実施の形態に比べて処理を高速に実施できる。
【０１２６】
その他の効果は第１の実施の形態と同じである。
（第４の実施の形態）
以下、図１７を用いて、第４の実施の形態の超音波内視鏡装置の構成と作用とを説明する。
【０１２７】
図１７は本発明の第４の実施の形態に係る画像処理装置を示すブロック図である。
【０１２８】
図１７を用いた第４の実施の形態の説明において、図１乃至図１１に示した第１の実施の形態と同様の構成要素には同じ符号を付して説明を省略している。
【０１２９】
（構成）
図１７に示すように、第４の実施の形態は、画像処理装置２０６において、第１の実施の形態の座標変換回路５１の代わりにマッピング回路２５１を設けている。
【０１３０】
その他の構成は第１の実施の形態と同じである。
（作用）
第１の実施の形態では光学像から得た３次元画像データ６３をそのまま用いて図１１に示す３次元画像の表面を表現していたが、第４の実施の形態では超音波像から得た表面形状データに光学像から得た３次元画像データの輝度値をマッピングして表面を表現する。具体的には以下の通りである。
【０１３１】
マッピング回路２５１には、表面抽出回路４６からの表面形状データ、形状マッチング回路５０からのマッチング情報、３次元画像メモリ４９からの３次元画像データ６３が入力する。このうちの表面形状データは超音波像から得られており、３次元画像データは光学像から得た管腔表面のＲ（赤）、Ｇ（緑）、Ｂ（青）を輝度値のデータに持つ。
【０１３２】
マッピング回路２５１は、超音波像から得た表面形状データの各セルに対し、マッチング情報を基にして、光学像から得た３次元画像データのセルを対応づける。そして、光学像から得た３次元画像データの輝度値を超音波像から得た表面形状データにマッピングして、表面画像メモリ５２へ出力する。
【０１３３】
その他の作用は第１の実施の形態と同じである。
（効果）
このような第４の実施の形態では、第１の実施の形態と同様の効果が得られる。
（第５の実施の形態）
以下、図１８及び図１９を用いて、第５の実施の形態の超音波内視鏡装置の構成と作用とを説明する。
【０１３４】
図１８及び図１９は本発明の第５の実施の形態に係り、図１８は画像処理装置を示すブロック図、図１９はモニタに表示される画像を示す説明図である。
【０１３５】
図１８及び図１９を用いた第５の実施の形態の説明において、図１乃至図１１に示した第１の実施の形態と同様の構成要素には同じ符号を付して説明を省略している。
【０１３６】
（構成）
図１８に示すように、第５の実施の形態は、画像処理装置３０６において、第１の実施の形態の合成回路５３の代わりに対応付け回路３５３を設けている。
【０１３７】
対応付け回路３５３には、術者のマウス９操作により、モニタ７画面上のマウスカーソルの座標値が、マウスカーソル座標値データとして、逐次コントローラ５６から入力する。
【０１３８】
また、第５の実施の形態は、画像処理装置３０６において、第１の実施の形態の断面画像メモリ４５、３次元画像メモリ４９、表面画像メモリ５２、座標変換回路５１の代わりに平行スライス像メモリ３６０を設けている。平行スライス像メモリ３６０は表面抽出回路４６が作成する平行スライス像データを全て保存する。
【０１３９】
その他の構成は第１の実施の形態と同じである。
（作用）
第１の実施の形態では図１１に示す３次元画像を合成して表示していたが、第５の実施の形態では光学像と超音波像の原画像をそのまま同時表示し、双方の対応点を表示する。この様子を図１９に示す。
【０１４０】
具体的には以下の通りである。
図１８に示す対応付け回路３５３は、図１９に示すように、適当な光学像３７１をモニタ７の画面左側に表示させる。この光学像３７１に対して、術者がキーボード８やマウス９で所望のものを選んで、術者がマウス９でモニタ７の画面上のマウスカーソル３７２を動かすと、コントローラ５６はマウスカーソル座標値データを対応付け回路３５３へ出力する。
【０１４１】
次に、術者は、マウスクリック等の操作により、光学像３７１上で１点を指定する。対応付け回路３５３はこの点にマーカ３７３を付す。
【０１４２】
次に対応付け回路３５３は形状マッチング回路５０からのマッチング情報を基に、光学像３７１上のマーカ３７３への対応点を含んだ平行スライス像データを平行スライス像メモリ３６０の中から選択して読み出す。その後、対応付け回路３５３は平行スライス像データ上の対応点にマーカ３７５を付して、平行スライス像３７４をモニタ７の画面右側に表示する。
【０１４３】
その他の作用は第１の実施の形態と同じである。
（効果）
第１の実施の形態によれば、図１１に示す光学像３７１から作成した表面を３次元画像に合成して表示していたが、この場合、解像度は光学像３７１の原画像よりも落ちる可能性がある。第５の実施の形態は、画像処理装置３０６により、光学像３７１を解像度の良い原画像のままで観察でき、なおかつ超音波の輝度値を持つ断面と対比することができる。
【０１４４】
（変形例）
第５の実施の形態では、表示する超音波のデータとして平行スライス像データを用いるよう構成したが、対応付け回路３５３が光学像３７１上のマーカ３７３への対応点に最も近い原画の超音波像を超音波像メモリ４１から選び出すよう構成しても良い。このように構成することで、モニタ７の画面上に表示される画像はどちらも原画像になり、さらに同原画像の位置関係を対応づけながら全く劣化なく観察することができる。
【０１４５】
［付記］
以上詳述したような本発明の前記実施の形態によれば、以下の如き構成を得ることができる。
【０１４６】
（付記項１） 被検体の光学像を取得する光学像取得手段と、
前記被検体の超音波像を取得する超音波像取得手段と、
前記光学像取得時の前記被検体に対する前記光学像取得手段の位置情報を取得する位置情報取得手段と、
を設けた超音波内視鏡装置であって、
前記位置情報取得手段により得られた位置情報を基に、前記光学像取得手段により得られた前記光学像の位置と前記超音波像取得手段により得られた前記超音波像の位置とをマッチングさせるマッチング手段と、
を設けたことを特徴とする超音波内視鏡装置。
【０１４７】
（付記項２） 前記位置情報を基に前記光学像から第１の表面形状を算出する第１の表面形状算出手段と、
前記超音波像から第２の表面形状を算出する第２の表面形状演算手段と、
を設け、
前記マッチング手段は、第１と第２の前記表面形状を用いてマッチングすることを特徴とする付記項１に記載の超音波内視鏡装置。
【０１４８】
（付記項３） 前記位置情報取得手段は、前記超音波像取得時の前記被検体に対する前記超音波像取得手段の位置情報を取得し、
前記第２の表面形状演算手段は、前記位置情報を基に第２の表面形状を算出することを特徴とする付記項２に記載の超音波内視鏡装置。
【０１４９】
（付記項４） 前記マッチング手段は、相互相関処理を用いてマッチングすることを特徴とする付記項２に記載の超音波内視鏡装置。
【０１５０】
（付記項５） 前記マッチング手段には、前記第１の表面形状と前記第２の表面形状の重心を算出する重心算出手段が設けられていることを特徴とする付記項２に記載の超音波内視鏡装置。
【０１５１】
（付記項６） 前記マッチング手段には、前記第１の表面形状と前記第２の表面形状の慣性主軸を算出する慣性主軸算出手段が設けられていることを特徴とする付記項２に記載の超音波内視鏡装置。
【０１５２】
（付記項７） 前記マッチング手段には、前記第１の表面形状と前記第２の表面形状の重心を算出する重心算出手段、もしくは前記第１の表面形状と前記第２の表面形状の慣性主軸を算出する慣性主軸算出手段を設け、
前記相互相関処理の前に、前記重心もしくは前記慣性主軸を算出したことを特徴とする付記項４に記載の超音波内視鏡装置。
【０１５３】
（付記項８） 前記光学像の輝度値を表面画像データに用い、前記超音波像の輝度値を断面画像データに用いて、前記表面画像データと前記断面画像データとを合成して３次元画像を構築する合成手段が設けられていることを特徴とする付記項１に記載の超音波内視鏡装置。
【０１５４】
（付記項９） 前記光学像から得られた画像と前記超音波像から得られた画像を同時表示する表示手段と、
一方の画像上の任意点に対する、他方への対応点を算出する対応付け制御手段と、
が設けられていることを特徴とする付記項１に記載の超音波内視鏡装置。
【０１５５】
（付記項１０） 前記超音波像取得手段は、それ自身でボリューム走査を行うことを特徴とする付記項１ないし９のいずれか１つに記載の超音波内視鏡装置。
【０１５６】
（付記項１１） 前記超音波像取得手段は、超音波振動子を２次元アレイ状に配した２次元アレイ超音波振動子であることを特徴とする付記項１０に記載の超音波内視鏡装置。
【０１５７】
【発明の効果】
以上述べた様に本発明によれば、患者から内視鏡を差し替えることなく、光学像と超音波像の互いの位置と方向とを正確に対応づけて表示することができるので、検査時間を短縮し、洗浄消毒等の検査前後の内視鏡メンテナンスの手間を減らし、患者への負担を低減できる。
【図面の簡単な説明】
【図１】
本発明の第１の実施の形態に係る超音波内視鏡装置の全体構成を示すブロック図。
【図２】本発明の第１の実施の形態に係る内視鏡の挿入部の挿入側先端の拡大して示す断面図。
【図３】本発明の第１の実施の形態に係る画像処理装置を示すブロック図。
【図４】本発明の第１の実施の形態に係るは形状マッチング回路を示すブロック図。
【図５】本発明の第１の実施の形態に係る手引き走査の作用を示す説明図。
【図６】本発明の第１の実施の形態に係る３次元画像データを示す概念図。
【図７】本発明の第１の実施の形態に係る３次元画像データの切り直しを示す説明図。
【図８】本発明の第１の実施の形態に係る表面形状データを示す説明図。
【図９】本発明の第１の実施の形態に係る内視鏡による関心領域の撮像を示す説明図。
【図１０】本発明の第１の実施の形態に係る光学像と超音波像の合成を示す説明図。
【図１１】本発明の第１の実施の形態に係るモニタに表示される画像を示す説明図。
【図１２】本発明の第１の実施の形態第１の実施の形態に適用可能な電子ラジアル走査型超音波内視鏡を示す斜視図。
【図１３】本発明の第１の実施の形態に適用可能なコンベックス走査型超音波内視鏡を示す斜視図。
【図１４】本発明の第１の実施の形態第１の実施の形態に適用可能な２次元アレイ型超音波内視鏡を示す斜視図。
【図１５】本発明の第２の実施の形態に係る形状マッチング回路を示すブロック図。
【図１６】本発明の第３の実施の形態に係る形状マッチング回路を示すブロック図。
【図１７】本発明の第４の実施の形態に係る画像処理装置を示すブロック図。
【図１８】本発明の第５の実施の形態に係る画像処理装置を示すブロック図。
【図１９】本発明の第５の実施の形態に係るモニタに表示される画像を示す説明図。
【符号の説明】
１ …超音波内視鏡装置
２ …超音波内視鏡
３ …超音波観測装置
４ …光学観察装置
５ …位置検出装置
６ …画像処理装置
７ …モニタ
８ …キーボード
９ …マウス

Claims (5)

1. 被検体の光学像を取得する光学像取得手段と、
   前記被検体の超音波像を取得する超音波像取得手段と、
   前記光学像取得時の前記被検体に対する前記光学像取得手段の位置情報を取得する位置情報取得手段と、
   前記位置情報取得手段により得られた位置情報を基に前記光学像取得手段により得られた光学像と前記超音波像取得手段により得られた超音波像とをマッチングさせるマッチング手段と、
   を備えたことを特徴とする超音波内視鏡装置。
2. 前記位置情報を基に前記光学像から第１の表面形状を算出する第１の表面形状演算手段と、
   前記超音波像から第２の表面形状を算出する第２の表面形状演算手段と、
   を更に有し、
   前記マッチング手段は、前記第１および第２の表面形状を用いてマッチングすることを特徴とする請求項１に記載の超音波内視鏡装置。
3. 前記位置情報取得手段が、前記超音波像取得時の前記被検体に対する前記超音波像取得手段の位置情報を取得し、
   前記第２の表面形状演算手段が、前記位置情報を基に第２の表面形状を算出すること、
   を特徴とする請求項２に記載の超音波内視鏡装置。
4. 前記光学像の輝度値を表面画像データに用い、前記超音波像の輝度値を断面画像データに用いて、前記表面画像データと前記断面画像データとを合成して３次元画像を構築する合成手段を設けたことを特徴とする請求項１に記載の超音波内視鏡装置。
5. 前記光学像から得られた画像と前記超音波像から得られた画像を同時表示する表示手段と、
   一方の画像上の任意点に対する、他方への対応点を算出する対応付け制御手段と、
   を設けたことを特徴とする請求項１に記載の超音波内視鏡装置。

Images