JP2009153863A - 医療用システム - Google Patents

Abstract

【課題】医療画像の解剖学的な位置及び（または）配向に関する情報に関し、術者に誤認を生じさせないような告知を行うことのできる医療用システムを提供する。
【解決手段】本発明の医療用システムは、体腔内の被写体の像に応じた画像を作成するための信号を取得する画像信号取得手段と、取得された信号に基づいて体腔内のリアルタイム画像を作成する画像作成手段と、画像位置配向検出用素子の位置及び配向を検出値として出力する検出手段と、人体の解剖学的な画像を複数具備してなる参照画像データを保持する参照画像データ保持手段と、検出値と、参照画像データとに基づき、リアルタイム画像の体腔内における解剖学的な位置及び配向のうち、少なくとも一方をガイドするためのガイド画像を作成するガイド画像作成手段と、検出値の検出状況を告知するための情報を作成する検出状況告知情報作成手段と、を有する。
【選択図】図１

Description

本発明は、医療用システムに関し、特に、医療画像の解剖学的な位置及び（または）配向に関する情報を取得可能な医療用システムに関するものである。

被検体の光学像を取得可能な内視鏡、及び、被検体の断層像を取得可能な超音波内視鏡等の体腔内プローブは、消化管、気管支、胆膵管または血管等の管腔内へ挿入可能な構成を有しており、該管腔の観察及び診断等を行う場合において従来広く用いられている。

また、前記光学像及び前記断層像の情報だけでは、体腔内プローブを管腔の所望の部位まで進めるのが困難な場合に、例えば、体腔内プローブの先端部が該所望の部位へ容易に到達できるようにするために、ガイド画像が用いられる場合がある。

また、前記超音波内視鏡や体表から超音波プローブを当てて超音波断層像を描出する超音波診断装置においては、術者が該超音波断層像の解剖学的な位置を推測する際の補助的な手段として、ガイド画像が用いられる場合がある。

そして、前述したガイド画像を生成可能な機能を有する装置として、例えば、特許文献１に記載の装置が提案されている。

特許文献１には、超音波断層像と、解剖学的な画像データとして予め蓄積された参照画像とに基づき、該超音波断層像の解剖学的な位置及び（または）配向を示すためのガイド画像を生成可能な構成を有する超音波診断装置が記載されている。
特開２００６−１４９４８１号公報

特許文献１の超音波診断装置は、外部からの磁界に応じて電気信号を出力するコイルが内蔵された位置検出プローブを、超音波内視鏡の鉗子チャンネルに挿通して用いることにより、超音波断層像の解剖学的な位置及び（または）配向を検出することが可能な構成を有している。そして、このような構成における、超音波断層像の解剖学的な位置及び（または）配向の検出精度は、例えば、超音波内視鏡の位置、該超音波内視鏡の使用環境、及び、該超音波内視鏡が挿入されている被検体の体位等の、位置検出プローブに内蔵されたコイルにおける磁界の受信状況に影響を与え得る要素に依存する。

しかし、特許文献１の超音波診断装置は、前述した検出精度を考慮しないまま、超音波断層像の解剖学的な位置及び（または）配向に関する情報を出力してしまう構成であるため、例えば、位置検出プローブに内蔵されたコイルにおける磁界の受信状況が悪い場合であっても、該受信状況が良い場合と区別できないような情報を出力してしまう場合がある。

すなわち、特許文献１の超音波診断装置は、超音波断層像の解剖学的な位置及び（または）配向に関する情報に関し、術者に誤認を生じさせてしまう情報を出力する場合がある、という課題を有している。

本発明は、前述した事情に鑑みてなされたものであり、医療画像の解剖学的な位置及び（または）配向に関する情報に関し、術者に誤認を生じさせないような告知を行うことのできる医療用システムを提供することを目的としている。

本発明における医療用システムは、体腔内に存在する被写体の像に応じた画像を作成するための信号を取得する画像信号取得手段と、前記画像信号取得手段により取得された信号に基づいて前記体腔内のリアルタイム画像を作成する画像作成手段と、前記画像信号取得手段に対して位置が固定された画像位置配向検出用素子の位置及び配向を少なくとも検出し、検出結果を検出値として出力する検出手段と、人体の解剖学的な画像を複数具備してなる参照画像データを保持する参照画像データ保持手段と、前記検出手段により検出された前記検出値と、前記参照画像データとに基づき、前記リアルタイム画像の前記体腔内における解剖学的な位置及び配向のうち、少なくとも一方をガイドするためのガイド画像を作成するガイド画像作成手段と、前記検出手段における前記検出値の検出状況を告知するための検出状況告知情報を作成する検出状況告知情報作成手段と、を有することを特徴とする。

本発明における医療用システムによると、取得した医療画像の解剖学的な位置及び（または）配向に関する情報に関し、術者に誤認を生じさせないような告知を行うことができる。

以下、図面を参照して本発明の実施例を説明する。

図１から図２１は、本発明の実施例１に係るものである。図１は、本発明の実施例１の体腔内プローブ装置の構成を示すものである。図２は、体表検出用コイルを使用例で示すものである。図３は、体腔内接触プローブを示すものである。図４は、画像処理装置の構成を示すものである。図５は、参照画像記憶部内に記憶される参照画像データを示すものである。

図６は、ボクセル空間を示すものである。図７は、位置・配向データを表すために送信アンテナ上に原点を設定した直交基底を示すものである。図８は、被検体側の超音波断層像の中心をボクセル空間へ写像する説明図を示すものである。図９は、被検体側の体腔内特徴点をボクセル空間へ写像する説明図を示すものである。図１０Ａは、位置配向算出装置における判定結果が「正常」である場合において、画像指標作成回路により画像指標データが作成される様子を示すものである。図１０Ｂは、位置配向算出装置における判定結果が「精度低」である場合において、画像指標作成回路により画像指標データが作成される様子を示すものである。図１０Ｃは、位置配向算出装置における判定結果が「検出不能」である場合において、画像指標作成回路により画像指標データが作成される様子を示すものである。

図１１Ａは、挿入形状作成回路により作成される挿入形状データが作成される様子を示すものである。図１１Ｂは、検出状況画像作成回路により作成される検出状況画像の一例を示す図である。図１２は、３次元人体画像データを示すものである。図１３は、合成回路により画像指標データと挿入形状データとが合成メモリ内のボクセル空間に埋められていく様子を示すものである。図１４は、被検体の腹側から観察した場合の３次元ガイド画像データを示すものである。図１５は、被検体の足側から観察した場合の３次元ガイド画像データを示すものである。

図１６は、表示装置に表示される３次元ガイド画像、超音波断層像及び検出状況画像を示すものである。図１７は、本実施例の全体的な処理内容をフローチャートで示すものである。図１８は、図１７における参照画像上での体表特徴点、体腔内特徴点指定処理の具体的な処理内容をフローチャートで示すものである。図１９は、図１７における補正値算出処理の具体的な処理内容をフローチャートで示すものである。図２０は、図１９における処理の説明図を示すものである。図２１は、図１７における超音波断層像・３次元ガイド画像作成／表示処理の具体的な処理内容をフローチャートで示すものである。

まず、本発明の実施例１の体腔内プローブ装置１の構成を説明する。

図１に示すように、医療用システムとしての体腔内プローブ装置１は、体腔内プローブとしての電子ラジアル走査型の超音波内視鏡２と、光学観察装置３と、超音波観測装置４と、位置配向算出装置５と、送信アンテナ６と、体表検出用コイル７と、体腔内接触プローブ８と、Ａ／Ｄユニット部９と、画像処理装置１１と、マウス１２と、キーボード１３と、表示装置１４とを有して構成されている。そして、体腔内プローブ装置１の各部は、信号線により接続されている。

また、体腔内プローブ装置１の外部には、Ｘ線３次元ヘリカルＣＴ装置(X-ray 3 dimentional computer tomography system)１５と、３次元ＭＲＩ装置(3 dimentional magnetic resonance imaging system)１６とが設けられている。そして、体腔内プローブ装置１の画像処理装置１１、Ｘ線３次元ヘリカルＣＴ装置１５、及び、３次元ＭＲＩ装置１６は、光通信またはＡＤＳＬ等の高速のネットワーク１７を介して各々接続されている。

超音波内視鏡２は、食道、胃または十二指腸などの体腔内に挿入可能な構成として、最も先端側に配設され、ステンレス等の硬質な材料により形成された硬性部２１と、硬性部２１の後端側に接続され、可撓性のある材料により形成された長尺の可撓部２２と、可撓部２２の後端側（手前側）に接続され、硬質な材料により形成された操作部２３と、を有する。なお、超音波内視鏡２における挿入部は、硬性部２１と可撓部２２とにより構成されている。

超音波内視鏡２の硬性部２１には、以下に記すように、被写体の像を光学的に撮像し、該被写体の像に応じた画像信号を取得する画像信号取得手段が設けられている。

硬性部２１には、カバーガラスにより形成された光学観察窓２４が設けられている。そして、光学観察窓２４の内側には、光学像を結ぶ対物レンズ２５と、対物レンズ２５の結像位置に配置された撮像素子として、例えばＣＣＤ(charge coupled device)カメラ２６とが設けられている。また、光学観察窓２４に隣接する位置には、図示しない光源から供給される照明光を体腔内の被写体へ出射するための、図示しない照明光照射窓（照明窓）が設けられている。

ＣＣＤカメラ２６は、信号線２７を介して光学観察装置３に接続されている。また、図示しない照明光照射窓は、照明光の照射により、体腔内を照明するように構成されている。被写体としての体腔表面の像は、光学観察窓２４及び対物レンズ２５を経由した後、ＣＣＤカメラ２６において結像される。そして、前記体腔表面の像に応じてＣＣＤカメラ２６から出力されるＣＣＤ信号は、信号線２７を経由した後、光学像のリアルタイム画像を生成する画像作成手段としての光学観察装置３へ出力される。

また、超音波内視鏡２の硬性部２１には、以下に記すように、被写体の像を音響的に撮像し、該被写体の像に応じた画像信号としてのエコー信号を取得する画像信号取得手段もまた設けられている。

硬性部２１における例えば円柱状の先端部分は、短冊状に細かく切断されている。また、前記先端部分には、挿入軸の周囲に環状かつアレイ状に配列させた超音波振動子群が設けられている。そして、前記超音波振動子群により、超音波振動子アレイ２９が形成されている。

超音波振動子アレイ２９を構成する各超音波振動子２９ａは、それぞれが信号線３０に接続されている。そして、信号線３０は、操作部２３を経由し、超音波によるリアルタイム画像を生成する画像作成手段としての、超音波観測装置４に各々接続されている。なお、超音波振動子アレイ２９の環の中心は、後述するラジアル走査による超音波ビームの旋回中心である。

ここで、硬性部２１に固定された正規直交基底(各方向の単位ベクトル)Ｖ、Ｖ₃及びＶ₁₂を、図１のように定義する。
つまり、硬性部２１の長手方向（挿入軸方向）と平行なベクトルであるベクトルＶは、後述するように、超音波断層像の法線方向ベクトルである。また、ベクトルＶ₃は、超音波断層像の３時方向ベクトルである。さらに、ベクトルＶ₁₂は、超音波断層像の１２時方向ベクトルである。

硬性部２１内には、超音波振動子アレイ２９に対する画像位置配向検出用素子としての画像位置配向検出用コイル３１が、超音波振動子アレイ２９の環の中心のごく近傍に固定された状態として設けられている。また、画像位置配向検出用コイル３１は、ベクトルＶ及びＶ₃の２つの方向（軸）を指向するように、２軸方向に巻かれたコイルが一体に形成され、ベクトルＶ及びＶ₃の両方向を検出できるように設定されている。このような構成により、画像位置配向検出用コイル３１は、超音波による画像信号取得手段の位置及び配向（方向）を検出することができる。

可撓部２２の内部には、複数の挿入形状検出用コイル３２が、（可撓部２２の）挿入軸に沿って、例えば一定間隔毎に設けられている。

図１に示すように、挿入形状検出用コイル３２は、１軸方向に巻かれたコイルであり、その巻線軸方向が可撓部２２の挿入軸方向と一致するよう可撓部２２内部に固定されている。なお、硬性部２１の位置は、画像位置配向検出用コイル３１の位置に基づいて検出することができる。

従って、挿入形状検出用素子は、より正確には、硬性部２１内に設けられた画像位置配向検出用コイル３１と、可撓部２２内に設けられた複数の挿入形状検出用コイル３２とから構成されている。

なお、本実施例においては、簡単のため、可撓部２２の内部に挿入形状検出用コイル３２が５つ設けられている場合を例に挙げて説明を行うものとする。また、挿入形状検出用素子としての複数の挿入形状検出用コイル３２は、例えば、超音波内視鏡２の挿入部の先端側部分の挿入形状を検出する目的において、可撓部２２の先端側部分のみに設けられるものであっても良い。さらに、湾曲自在の湾曲部が可撓部２２の先端付近に設けられている場合において、該湾曲部付近のみに複数の挿入形状検出用コイル３２を設けるようにしても良い。

本実施例の体腔内プローブ装置１は、磁場を利用して挿入形状の検出を行うための構成として、挿入形状検出用素子としての複数の挿入形状検出用コイル３２を採用している。これにより、本実施例の体腔内プローブ装置１は、術者及び患者（被検体）が放射線被曝を受けないようにしつつ、超音波内視鏡２の挿入形状を検出することができる。

位置配向算出装置５は、画像位置配向検出用コイル３１の位置及び配向等を検出する検出手段を構成している。そして、位置配向算出装置５は、信号線を介し、送信アンテナ６と、Ａ／Ｄユニット部９を構成する複数のＡ／Ｄユニット９ａ、９ｂ及び９ｃと、挿入形状作成手段、３次元画像作成手段、合成手段及び画像指標作成手段等が内蔵された画像処理装置１１と、に接続されている。このうち、位置配向算出装置５と画像処理装置１１との間は、例えばRS-232C規格のケーブル３３により接続されている。
送信アンテナ６は、例えば直方体の筐体の中に一体に収納された、巻線軸の配向の異なる複数の送信コイル（図示せず）を具備して構成されている。そして、送信アンテナ６内部に設けられた前記複数の送信コイルは、それぞれ位置配向算出装置５に接続されている。

Ａ／Ｄユニット９ｉ（ｉ＝ａ〜ｃ）は、入力されるアナログ信号を増幅する図示しないアンプと、増幅されたアナログ信号をサンプリングしてデジタルデータへ変換する図示しないアナログデジタル変換回路とからなる。

Ａ／Ｄユニット９ａは、信号線３４を介し、画像位置配向検出用コイル３１及び複数の挿入形状検出用コイル３２の各々と個別に接続されている。Ａ／Ｄユニット９ｂは、信号線３５を介し、長尺の体腔内接触プローブ８と接続されている。Ａ／Ｄユニット９ｃは、信号線３６を介し、複数の体表検出用コイル７の各々と個別に接続されている。

なお、図１及び後述する図４の各矢印線は以下の通りの信号、データの流れを示す。

（ａ）第１：点線は、光学像に関わる信号・データの流れを示す。

（ｂ）第２：破線は、超音波断層像に関わる信号・データの流れを示す。

（ｃ）第３：実線は、位置に関わる信号・データやそれを加工して作成されたデータの流れを示す。

（ｄ）第４：一点鎖線は、参照画像データやそれを加工して作成されたデータの流れを示す。

（ｅ）第５：太線は、超音波断層像データ(後述)と、３次元ガイド画像データ(後述)とを合成した最終的な表示画面に関わる信号・データの流れを示す。

（ｆ）第６：流曲線は、それ以外の制御に関わる信号・データの流れを示す。
図２は、被検体検出用素子を形成する体表検出用コイル７を示す。

体表検出用コイル７は、各々１軸方向に巻かれた４個のコイルを具備している。体表検出用コイル７が具備する各々のコイルは、テープ、ベルトまたはバンドなどにより、被検体３７の体表、具体的には腹部体表の特徴のある点(以下、単に体表特徴点)に着脱可能に固定され、その体表特徴点の磁場を用いた位置検出に利用される。

なお、通常の上部内視鏡検査において、被検体３７は、左側を下にしてベッド３８上で横になる、いわゆる左側臥位の姿勢をとりながら、内視鏡を口から挿入される。そのため、図２は、被検体３７が左側臥位の姿勢をとった場合における模式図として描かれている。

なお、本実施例においては、体表特徴点を、骨格上の特徴のある箇所「剣状突起」(xiphoid process)、骨盤(pelvis)の左側の「左上前腸骨棘」(left anterior superior iliac spine)、骨盤の右側の「右上前腸骨棘」(right anterior superior iliac spine)、左右の上前腸骨棘の中間で脊椎上の「腰椎椎体棘突起」(spinous process of vertebral body)の４点にとった場合について説明を行うものとする。

前述した、体表特徴点としての４点の位置は、術者等の触診により位置を特定可能な位置である。また、前述した４点は、同一平面状になく、剣状突起を原点として他の特徴点へ向かう３本のベクトルを基本ベクトルとする斜交座標系(un-orthogonal reference frame)を形成する。そして、前記斜交座標系は、例えば、図２における太線により示されるものとなる。

図３は、体腔内接触プローブ８を示す。体腔内接触プローブ８は、可撓性のある材料により構成された外筒４１を有する。外筒４１の内部における先端部には、体腔内検出用コイル４２が固定して設けられている。また、外筒４１の後端部には、コネクタ４３が設けられている。

図３に示すように、体腔内検出用コイル４２は、体腔内接触プローブ８の先端部に固定された、１軸方向に巻かれたコイルからなる。また、体腔内検出用コイル４２は、その巻線軸方向が体腔内接触プローブ８の挿入軸方向と一致するように固定されている。そして、体腔内検出用コイル４２は、体腔内接触プローブ８の先端が接触された体腔内の関心部位等の位置検出において利用される。

図１に示すように、超音波内視鏡２は、操作部２３から可撓部２２を経て硬性部２１にかけての部分に、管状の処置具チャンネル４６が設けられている。処置具チャンネル４６は、鉗子等を挿入可能な第１の開口としての処置具挿入口（以下では、簡単化のため鉗子口と略記）４４を操作部２３に具備するとともに、該鉗子等（の先端部）を突出可能な第２の開口としての突出口４５を硬性部２１に具備している。

すなわち、処置具チャンネル４６は、体腔内接触プローブ８を鉗子口４４から挿通可能であるとともに、（体腔内接触プローブ８の先端部を）突出口４５から突出可能であるように構成されている。突出口４５の開口方向は、体腔内接触プローブ８が突出口４５から突出したときに、体腔内接触プローブ８が光学観察窓２４の光学視野範囲の内に入るような向きとして形成されている。

図４は、挿入形状作成手段、３次元画像作成手段、合成手段、及び、画像指標作成手段等が内蔵された画像処理装置１１を示す。

画像処理装置１１は、マッチング回路５１と、画像指標作成回路５２と、挿入形状作成回路５３と、通信回路５４と、参照画像記憶部５５と、補間回路５６と、３次元人体画像作成回路５７と、合成回路５８と、回転変換回路５９と、異なる２つの視線方向の３次元ガイド画像を作成する３次元画像作成回路６０と、混合回路６１と、表示回路６２と、制御回路６３と、検出状況画像作成回路６４と、スコープデータ記憶部６７と、を有する。なお、３次元画像作成回路６０は、図４に示すように、３次元ガイド画像作成回路Ａと、３次元ガイド画像作成回路Ｂとからなる。そのため、以降においては、３次元画像作成回路６０が有する２つの３次元ガイド画像作成回路を各々区別しつつ説明を行うものとする。

マッチング回路５１には、挿入形状検出用素子等の位置及び配向を検出する検出手段を構成する位置配向算出装置５からの、位置・配向データ、及び、検出状況データが入力される。なお、前記位置・配向データ、及び、前記検出状況データについては、後述するものとする。

そして、マッチング回路５１は、後述するように、直交座標軸O-xyzにおいて算出された位置・配向データを所定の変換式に従って写像することにより、直交座標軸O'-x'y'z'における新たな位置・配向データを算出する。

そして、マッチング回路５１は、前記新たな位置・配向データを、位置・配向写像データとして、画像指標データを作成する画像指標作成回路５２と、挿入形状データを作成する挿入形状作成回路５３とへ出力する。
通信回路５４は、大容量かつ高速の通信モデムを内部に具備しており、ネットワーク１７を介し、人体の３次元データを生成するＸ線３次元ヘリカルＣＴ装置１５と、３次元ＭＲＩ装置１６とに接続されている。
参照画像記憶部５５は、大容量のデータを保存可能なハードディスクドライブ等からなる。また、参照画像記憶部５５には、解剖学的な画像情報として、複数の参照画像データが記憶されている。

参照画像データは、図５に示すように、Ｘ線３次元ヘリカルＣＴ装置１５と、３次元ＭＲＩ装置１６とにおいて取得された被検体３７の断層像のデータであり、ネットワーク１７及び通信回路５４を介して参照画像記憶部５５に入力される。

なお、本実施例における参照画像データは、被検体３７の体軸(頭から足に抜ける軸)に垂直、かつ、０．５ｍｍ〜数ｍｍピッチ、かつ、一辺数十ｃｍの正方形の断層像のデータであるとする。

被検体３７の断層像を得る場合において、Ｘ線３次元ヘリカルＣＴ装置１５よりも３次元ＭＲＩ装置１６を多用することにより、被検体３７が受けるＸ線の被曝を低減ないしは解消することができる。
図５の参照画像記憶部５５内の参照画像データには、説明の都合上、１番からＮ番までの番号が付されている。

ここで、図５のように、複数の参照画像データに対して固定した直交座標軸O’-x’y’ z’と、その正規直交基底(各軸方向の単位ベクトル)i’、j’、k’とを、原点O’が１番の参照画像データにおける最も左下の位置になるように、参照画像データ上に定義する。

図４に示すように、補間回路５６と合成回路５８とは、それぞれボリュームメモリＶＭを内蔵している。説明の都合上、以下、補間回路５６に設けられたボリュームメモリＶＭを補間メモリ５６ａ、合成回路５８に設けられたボリュームメモリを合成メモリ５８ａと呼ぶこととする。

ボリュームメモリＶＭは、大容量のデータを格納することができるよう構成されている。そして、ボリュームメモリＶＭの一部の記憶領域には、ボクセル空間が割り当てられている。前記ボクセル空間は、図６に示すように、直交座標軸O’-x’y’z’に対応したアドレスを持つメモリセル(以下、ボクセル)からなっている。

３次元人体画像を作成する３次元人体画像作成回路５７と、回転変換を行う回転変換回路５９とには、輝度によるボクセルや画素の抽出、回転変換、相似変換及び平行移動等の画像処理を高速に行うことが可能な、図示しない高速プロセッサが各々内蔵されている。

表示回路６２は、入力を切り替えるためのスイッチ６２ａを有している。スイッチ６２ａは、入力端子αと、入力端子βと、入力端子γと、１個の出力端子とを有している。入力端子αは、参照画像記憶部５５と接続されている。入力端子βは、光学観察装置３の図示しない出力端子と接続されている。入力端子γは、混合回路６１と接続されている。出力端子は、光学像、超音波断層像及び３次元ガイド画像等を表示可能な、表示手段としての表示装置１４と接続されている。
制御回路６３は、画像処理装置１１内の各部及び各回路に指令が出力できるよう、図示しない信号線を介し、該各部及び該各回路に接続されている。また、制御回路６３は、制御線を介し、超音波観測装置４、マウス１２及びキーボード１３に直接接続されている。
図１に示すように、キーボード１３は、体腔内特徴点指定キー６５と、走査制御キー６６と、表示切換キー１３αと、表示切換キー１３βと、表示切換キー１３γとを具備している。

表示切換キー１３α、１３βもしくは１３γが押されると、制御回路６３は、スイッチ６２ａを入力端子α、βもしくはγへ切り換えるように、表示回路６２に対して指令を出力する。これにより、スイッチ６２ａは、表示切換キー１３αが押されたときには入力端子αへ、表示切換キー１３βが押されたときには入力端子βへ、表示切換キー１３γが押されたときには入力端子γへ各々切り換えられる。

上述した（ａ）第１：から（ｆ）第６：までの信号、データに関して、順次説明する。

（ａ）まず、点線で示す第１の光学像に関わる信号・データの流れに沿って、本実施例の作用を説明する。

図示しない光源から供給される照明光は、硬性部２１の図示しない照明光照射窓を介し、光学視野範囲側へ出射される。ＣＣＤカメラ２６は、前記光学視野範囲の物体（被写体）を撮像し、光電変換することにより生成されるＣＣＤ信号を光学観察装置３へ出力する。

光学観察装置３は、入力されたＣＣＤ信号を基にして光学視野範囲のリアルタイム画像のデータを作成し、該データを光学像データとして画像処理装置１１内の表示回路６２のスイッチ６２ａの入力端子βへ出力する。

（ｂ）次に、第２の超音波断層像に関わる信号・データの流れに沿って、本実施例の作用を説明する。

術者により走査制御キー６６が押下されると、制御回路６３は、後述するラジアル走査のON/OFF制御を指令するための走査制御信号を超音波観測装置４へ出力する。

超音波観測装置４は、超音波振動子アレイ２９を構成する超音波振動子２９ａのうち、一部かつ複数の超音波振動子２９ａを選択して、パルス電圧状の励起信号を送信する。

この一部かつ複数の超音波振動子２９ａは、励起信号を受け取ることにより、媒体の疎密波である超音波に変換される。

この際、超音波観測装置４は、各励起信号が各超音波振動子２９ａに到着する時刻が異なるよう、各励起信号に遅延をかけている。前記遅延は、各超音波振動子２９ａにおいて励起される超音波が被検体３７内で重ね合わせられた際に、一本の超音波ビームが形成されるようにその値（遅延量）が調整されている。

超音波ビームは、超音波内視鏡２の外部へ出射された後、被検体３７の内部において反射する。そして、超音波ビームの反射により生じた反射波が、該超音波ビームと逆の経路を辿って各超音波振動子２９ａへ入射される。

各超音波振動子２９ａは、入射される反射波を電気的なエコー信号に変換した後、該エコー信号を、励起信号と逆の経路により超音波観測装置４へ出力する。

超音波観測装置４は、超音波振動子アレイ２９の環の中心を含み、硬性部２１及び可撓部２２に垂直な平面(以下、ラジアル走査面)内において超音波ビームが旋回するよう、超音波ビームの形成に関与する複数の超音波振動子２９ａを選択し直した後、再び励起信号を送信する。超音波観測装置４におけるこのような動作に伴い、超音波ビームの送信角度が次第に変化してゆく。そして、超音波観測装置４における前述した動作が反復的に繰り返されることにより、いわゆるラジアル走査が実現する。

超音波観測装置４は、超音波振動子２９ａが反射波から変換したエコー信号に基づき、超音波振動子アレイ２９における１回分のラジアル走査に対し、硬性部２１の挿入軸に垂直な１枚分の超音波断層像データをリアルタイム画像として作成し、画像処理装置１１の混合回路６１へ出力する。このとき、超音波観測装置４は、超音波断層像データを正方形に加工しつつ作成する。

前述したように、本実施例においては、超音波観測装置４が超音波ビームの形成に関与する複数の超音波振動子２９ａを選択し直した後、再び励起信号を送信するため、正方形の超音波断層像における１２時方向は、超音波観測装置４がどの超音波振動子２９ａを１２時方向として選択しつつ励起信号を送信するかにより決定される。

そして、このような作用に伴い、超音波断層像の法線方向ベクトルＶ、３時方向ベクトルＶ₃、及び、１２時方向ベクトルＶ₁₂が定義される。さらに、超音波観測装置４は、超音波断層像データを、法線方向ベクトルＶの反対方向である、−Ｖの方向から観察したものとして作成する。

超音波振動子アレイ２９によるラジアル走査、超音波観測装置４による超音波断層像データの作成、及び、混合回路６１への出力は、リアルタイムに行われる。これにより、本実施例においては、被検体の内部の超音波断層像がリアルタイム画像として生成される。

（ｃ）続いて、第３の位置に関わる信号・データ、及び、該第３の位置に関わる信号・データを加工して作成されたデータの流れに沿って、本実施例の作用を説明する。

位置配向算出装置５は、送信アンテナ６に設けられた図示しない送信コイルを励磁する。これにより、送信アンテナ６は、空間に交番磁場を張る。画像位置配向検出用コイル３１が具備するベクトルＶの方向に巻かれたコイルと、画像位置配向検出用コイル３１が具備するベクトルＶ₃の方向に巻かれたコイルと、挿入形状検出用コイル３２各々と、被検体検出用素子としての体腔内検出用コイル４２と、体表検出用コイル７とは、送信アンテナ６により生じた交番磁場を各々検出した後、検出した該交番磁場を、各々の位置を示す位置電気信号に変換してＡ／Ｄユニット９ａ、９ｂ及び９ｃへ出力する。

Ａ／Ｄユニット９ａ、９ｂ、９ｃは、位置電気信号をアンプで増幅し、アナログデジタル変換回路でサンプリングしてデジタルデータへ変換した後、該デジタルデータを位置配向算出装置５へ出力する。

次に、位置配向算出装置５は、Ａ／Ｄユニット９ａからのデジタルデータを基にして、画像位置配向検出用コイル３１の位置と、その直交する巻線軸の方向、つまりベクトルＶとＶ₃とを算出する。次に、位置配向算出装置５は、直交する巻線軸の方向のベクトルＶとＶ₃との外積Ｖ×Ｖ₃を算出することにより、残りの直交方向である１２時方向のベクトルＶ₁₂を算出する。このようにして、位置配向算出装置５は、直交する３方向、つまりベクトルＶ、Ｖ₃及びＶ₁₂を算出する。
次に、位置配向算出装置５は、Ａ／Ｄユニット９ａ〜９ｃからのデジタルデータを基にして、５個の挿入形状検出用コイル３２の各々の位置と、体表検出用コイル７の各々の位置と、体腔内検出用コイル４２の位置とを算出する。

また、位置配向算出装置５は、画像位置配向検出用コイル３１の位置及び配向と、５個の挿入形状検出用コイル３２の各々の位置と、体表検出用コイル７の各々の位置と、の検出状況を判定する。

具体的には、位置配向算出装置５は、前述した各コイルのうち、入力されるデジタルデータの信号レベルが（例えば環境ノイズに紛れてしまう程度まで）低いことにより位置を検出できなかったものについては、「検出不能」（コイルの位置を検出することができない）と判定する。また、位置配向算出装置５は、前述した各コイルのうち、入力されるデジタルデータの信号／雑音比が一定レベル以下である状態において位置の算出を行ったもの、または、算出した位置から送信アンテナ６の位置までの距離が所定の値以上離れていたもののいずれかに当てはまる場合については、「精度低」（コイルの位置の検出精度が低い）と判定する。さらに、位置配向算出装置５は、前述した各コイルのうち、入力されるデジタルデータの信号／雑音比が一定レベルより大きい状態において位置の算出を行い、かつ、算出した位置から送信アンテナ６の位置までの距離が所定の値未満であるものについては、「正常」（コイルの位置の検出精度が高い）と判定する。

次に、位置配向算出装置５は、画像位置配向検出用コイル３１の位置及び配向と、５個の挿入形状検出用コイル３２の各々の位置と、４個の体表検出用コイル７の各々の位置と、体腔内検出用コイル４２の位置と、を位置・配向データとして画像処理装置１１のマッチング回路５１へ出力する。

また、位置配向算出装置５は、画像位置配向検出用コイル３１の位置及び配向と、５個の挿入形状検出用コイル３２の各々の位置と、体表検出用コイル７の各々の位置と、の検出状況の判定結果を、検出状況データとして画像処理装置１１のマッチング回路５１へ出力する。

次に位置・配向データの詳細を以下に述べる。

本実施例においては、図７のように、原点Oを送信アンテナ６上に定義するとともに、術者が被検体３７を検査する実際の空間上に直交座標軸O-xyzと、その正規直交基底(各軸方向の単位ベクトル)i、j、kとを定義する。また、画像位置配向検出用コイル３１の位置をO"と定義する。

画像位置配向検出用コイル３１は、超音波振動子アレイ２９の環の中心のごく近傍に固定されている。そのため、位置O"は、ラジアル走査の中心かつ超音波断層像の中心に一致する。

ここで、位置・配向データを以下のように定義する。
直交座標軸O-xyzにおける画像位置配向検出用コイル３１の位置O"の位置ベクトルOO"の各方向成分：
(x0,y0,z0)
直交座標軸O-xyzに対する画像位置配向検出用コイル３１の配向を示すオイラー角(後述)の各角度成分：
(ψ,θ,φ)
直交座標軸O-xyzにおける挿入形状検出用コイル３２の各々の位置ベクトルの各方向成分：
(xi,yi,zi) (iは１から５までの自然数)
直交座標軸O-xyzにおける４個の体表検出用コイル７の各々の位置ベクトルの各方向成分：
(xa,ya,za)、(xb,yb,zb)、(xc,yc,zc)、(xd,yd,zd)
直交座標軸O-xyzにおける体腔内検出用コイル４２の位置ベクトルの各方向成分：
(xp,yp,zp)
ここで、オイラー角とは、図７の直交座標軸O-xyzに、z軸の周りの回転、y軸の周りの回転、再度のz軸の周りの回転をこの順で加えて、以下の通りに各軸の方向が一致するような角度である。

回転後のi ＝ Ｖ₃、回転後のj ＝ Ｖ₁₂、回転後のk ＝ Ｖ
なお、ψは最初のz軸の周りの回転角度を示し、θはy軸の周りの回転角度を示し、φは再度のz軸の周りの回転角度を各々示すものである。

図７のＨは、位置O"からxy平面へ下ろした垂線と、xy平面との交点である。このオイラー角の各角度成分(ψ,θ,φ)が画像位置配向検出用コイル３１の配向、すなわち超音波断層像データの配向に相当する。

マッチング回路５１は、以下の第１と第２と第３と第４とのデータ群から、直交座標軸O-xyz上で表現された位置・配向を、直交座標軸O'-x'y'z'上で表現されたボクセル空間内の位置・配向へ写像する変換式を算出する。この算出の方法は後述する。

また、下記第１と第２で説明する位置・配向データは、被検体３７の体動によって変化が生じる。変換式も被検体３７の体動の変化とともに新たに作成される。この新たに作成される変換式の算出方法も後述する。

第１のデータ群は、位置・配向データのうち、被検体３７の剣状突起、左上前腸骨棘、右上前腸骨棘及び腰椎椎体棘突起の各々に取り付けた体表検出用コイル７の直交座標軸O-xyzにおける位置ベクトルの各方向成分(xa,ya,za)、(xb,yb,zb)、(xc,yc,zc)、(xd,yd,zd)である。図８には、前述した各位置に取り付けられた状態の体表検出用コイル７が示されている。

第２のデータ群は、位置・配向データのうち、直交座標軸O-xyzにおける体腔内検出用コイル４２の位置ベクトルの各方向成分(xp,yp,zp) である。

図９において、体腔内検出用コイル４２を先端に固定して内蔵した体腔内接触プローブ８を太い点線で示す。
第３のデータ群は、1〜Ｎ番までの参照画像データのいずれかの上の、剣状突起、左上前腸骨棘、右上前腸骨棘及び腰椎椎体棘突起の各々について、これら各々から最も体表に近い画素の直交座標軸O'-x'y'z'における座標(xa',ya',za')、(xb',yb',zb')、(xc',yc',zc')及び(xd',yd',zd') である。

これらの画素は、予め術者が1〜Ｎ番までの参照画像データのいずれかの上で指定する。この指定の方法は後述する。
図９においては、これらの画素を黒丸●と白丸○とにより示す。(xa',ya',za')、(xb',yb',zb')、(xc',yc',zc')及び(xd',yd',zd')は、図４に示すように、体表特徴点座標として、参照画像記憶部５５からマッチング回路５１へ読み出される。
第４のデータ群は、1〜Ｎ番までの参照画像データのいずれかの上の、十二指腸乳頭に相当する画素の直交座標軸O'-x'y'z'における座標(xp",yp",zp")である。
これらの画素は、予め術者が1〜Ｎ番までの参照画像データのいずれかの上で指定する。 この指定の方法は後述する。

図９において、この画素（直交座標軸O'-x'y'z'における座標(xp",yp",zp")）をP"で示す。座標(xp",yp",zp")は、図４に示すように、体腔内特徴点座標として、参照画像記憶部５５からマッチング回路５１へ読み出される。
次に、マッチング回路５１は、直交座標軸O-xyzにおいて算出された位置・配向データを、上記変換式に従って写像し、直交座標軸O'-x'y'z'における新たな位置・配向データを算出する。
次に、マッチング回路５１は、この新たな位置・配向データを、位置・配向写像データとして、画像指標作成回路５２と挿入形状作成回路５３とに対して出力するとともに、前述した検出状況データを、画像指標作成回路５２と、挿入形状作成回路５３と、検出状況画像作成回路６４とに対して出力する。

画像指標作成回路５２は、直交座標軸O-xyzにおける画像位置配向検出用コイル３１の位置O"の位置ベクトルOO"の各方向成分(x0,y0,z0)と、直交座標軸O-xyzに対する画像位置配向検出用コイル３１の配向を示すオイラー角の各角度成分(ψ,θ,φ)との計６自由度の位置・配向データを写像した位置・配向写像データと、検出状況データとに基づいて画像指標データを作成し、合成回路５８へ出力する。

この様子を図１０Ａ、図１０Ｂ及び図１０Ｃに示す。つまり、図１０Ａ、図１０Ｂ及び図１０Ｃにおいて、各図の上側の位置・配向写像データから、該各図の下側に示すような画像指標データが作成される。
前述した画像指標データは、平行四辺形の超音波断層像マーカMuに、矢印状の先端方向マーカMdと矢印状の６時方向マーカMtとを合成した、直交座標軸O'-x'y'z'上における画像データである。そして、超音波断層像マーカMu、先端方向マーカMd及び６時方向マーカMtの各マーカは、画像位置配向検出用コイル３１の検出状況データに従って着色される。

具体的には、画像指標作成回路５２は、画像位置配向検出用コイル３１の検出状況データが「正常」である場合には、（例えば図１０Ａに示すように、）超音波断層像マーカMuを白色半透明に着色し、先端方向マーカMdを青に着色し、６時方向マーカMtを黄緑に着色する。また、画像指標作成回路５２は、画像位置配向検出用コイル３１の検出状況データが「精度低」である場合には、（例えば図１０Ｂに示すように、）超音波断層像マーカMuを黄色半透明に着色し、先端方向マーカMdを黄に着色し、６時方向マーカMtを黄に着色する。さらに、また、画像指標作成回路５２は、画像位置配向検出用コイル３１の検出状況データが「検出不能」である場合には、（例えば図１０Ｃに示すように、）超音波断層像マーカMuを赤色半透明に着色し、先端方向マーカMdを赤に着色し、６時方向マーカMtを赤に着色する。

挿入形状作成回路５３は、画像位置配向検出用コイル３１の位置O"の位置ベクトルOO"の各方向成分(x0,y0,z0)と、直交座標軸O-xyzにおける複数個の挿入形状検出用コイル３２の各々の位置ベクトルの各方向成分(xi,yi,zi) との位置・配向データを写像した位置・配向写像データ、及び、検出状況データに基づき、（補間及びマーカ作成処理により）挿入形状データを作成し、合成回路５８へ出力する。

挿入形状データは、画像位置配向検出用コイル３１と５個の挿入形状検出用コイル３２の各々の位置を順につないで補間したひも状の挿入形状マーカＭｓと、各コイル位置を示すコイル位置マーカＭｃとを合成した直交座標軸O'-x'y'z'上における画像データである。

ここで、画像位置配向検出用コイル３１と、先頭から１番目の挿入形状検出用コイル３２と、先頭から３番目の挿入形状検出用コイル３２と、先頭から５番目の挿入形状検出用コイル３２との検出状況データが「正常」であり、先頭から２番目の挿入形状検出用コイル３２の検出状況データが「検出不能」であり、かつ、先頭から４番目の挿入形状検出用コイル３２の検出状況データが「精度低」である場合を例に挙げつつ、挿入形状作成回路５３の作用を具体的に説明する。この様子を図１１Ａに示す。

まず、図１１Ａの上段に示すデータ、すなわち、画像位置配向検出用コイル３１と、先頭から１番目の挿入形状検出用コイル３２と、先頭から３番目の挿入形状検出用コイル３２と、先頭から４番目の挿入形状検出用コイル３２と、先頭から５番目の挿入形状検出用コイル３２と、の直交座標軸O'-x'y'z'における位置・配向写像データが挿入形状作成回路５３に入力される。

挿入形状データの生成の際に、挿入形状作成回路５３は、まず、予め記憶されたスコープデータをスコープデータ記憶部６７から読み込む。

なお、スコープデータ記憶部６７に予め記憶されたスコープデータは、超音波内視鏡２の硬性部２１及び可撓部２２を直線状にした場合における、画像位置配向検出用コイル３１から最も先端側に配置された挿入形状検出用コイル３２までの距離ｌ１、最も先端側に配置された挿入形状検出用コイル３２から２番目の挿入形状検出用コイル３２までの距離ｌ２、２番目の挿入形状検出用コイル３２から３番目の挿入形状検出用コイル３２までの距離ｌ３、３番目の挿入形状検出用コイル３２から４番目の挿入形状検出用コイル３２までの距離ｌ４、４番目の挿入形状検出用コイル３２から５番目の挿入形状検出用コイル３２までの距離ｌ５、及び、可撓部２２（または硬性部２１）の直径ｒの各値を具備するデータであるとする。

次に、挿入形状作成回路５３は、直交座標軸O'-x'y'z'において、画像位置配向検出用コイル３１と、「検出不能」ではない各挿入形状検出用コイル、すなわち、先頭から１番目の挿入形状検出用コイル３２と、先頭から３番目の挿入形状検出用コイル３２と、先頭から４番目の挿入形状検出用コイル３２と、先頭から５番目の挿入形状検出用コイル３２と、を先頭から順番に繋いだ挿入形状曲線を作成する。

続いて、挿入形状作成回路５３は、距離ｌ２及びｌ３に基づき、「検出不能」であった挿入形状検出用コイル、すなわち、先頭から２番目の挿入形状検出用コイル３２の位置を推定する。具体的には、挿入形状作成回路５３は、先頭から２番目の挿入形状検出用コイル３２の位置を、挿入形状曲線上において、先頭から１番目の挿入形状検出用コイル３２と、先頭から３番目の挿入形状検出用コイル３２との間を接続した部分をｌ２：ｌ３に内分する位置に存在するものとして推定する。

なお、本実施形態の挿入形状作成回路５３は、例えば（図１１Ａの例とは異なるが）、最も基端側の「検出不能」でない挿入形状検出用コイルよりもさらに基端側において、「検出不能」である挿入形状検出用コイルが存在する場合、該「検出不能」である挿入形状検出用コイルについては位置の推定を行わないものとする。

挿入形状作成回路５３は、挿入形状曲線と、直径ｒの値とに基づき、挿入形状マーカＭｓを作成する。また、挿入形状作成回路５３は、写像後の挿入形状検出用コイル３２各々の位置に基づき、各コイル位置を示すコイル位置マーカＭｃが挿入形状マーカＭｓ上に合成されるように生成する。このようにして生成された挿入形状データは、例えば図１１Ａの下段のようなものとして示される。

なお、挿入形状作成回路５３は、各コイル位置マーカＭｃの生成の際に、検出状況データが「検出不能」であるコイルに相当するマーカを赤に着色し、検出状況データが「精度低」であるコイルに相当するマーカを黄に着色し、検出状況データが「正常」であるコイルに相当するマーカを黒に着色するものとする。

検出状況告知情報作成手段としての検出状況画像作成回路６４は、検出状況データに基づき、画像位置配向検出用コイル３１の位置と、５個の挿入形状検出用コイル３２の各々の位置と、体表検出用コイル７の各々の位置と、の検出状況を視覚的に告知可能な、例えば図１１Ｂに示すような検出状況画像を生成し、検出状況画像画像データとして混合回路６１へ出力する。

前述した検出状況画像は、画像位置配向検出用コイル３１の位置の検出状況を示すマーカ１０１と、５個の挿入形状検出用コイル３２の各々の位置の検出状況を示すマーカ１０２ａ、１０２ｂ、１０２ｃ及び１０２ｄと、体表検出用コイル７の各々の位置の検出状況を示すマーカ１０３ａ、１０３ｂ、１０３ｃ及び１０３ｄと、を具備して構成される画像である。そして、マッチング回路５１から入力された検出状況データに基づき、「検出不能」であるコイルに相当するマーカが赤に着色され、「精度低」であるコイルに相当するマーカが黄に着色され、「正常」であるコイルに相当するマーカが緑に着色される。

（ｄ）次に、第４の参照画像データやそれを加工して作成されたデータの流れに沿って、本実施例の作用を説明する。

術者は、超音波内視鏡２を用いて観察を行う事前に、被検体３７にＸ線３次元ヘリカルＣＴ装置１５または（及び）３次元ＭＲＩ装置１６により、被検体３７の腹部全体にわたる参照画像データを取得する。

術者は、キーボード１３の所定のキーを押すか、画面上のメニューをマウス１２を用いて選択することにより、参照画像データの取得を指示する。このとき、術者は、参照画像データの入手先も併せて指示する。制御回路６３は、前記指示に基づき、参照画像データの取り込みとその入手先とを通信回路５４に対して指令する。

例えば、参照画像データの入手先がＸ線３次元ヘリカルＣＴ装置１５である場合、通信回路５４は、参照画像データとしてネットワーク１７から複数枚の２次元ＣＴ画像を取り込んだ後、参照画像記憶部５５へ記憶させる。

Ｘ線３次元ヘリカルＣＴ装置１５を用いて撮像を行う際に、術者は、撮像前にＸ線造影剤を被検体３７の血管から注入し、大動脈(aorta)及び上腸間膜静脈(superior mesenteric vein)等の血管（広義には脈管）と、血管を多く含む器官とが、２次元ＣＴ画像上において高輝度または中輝度により表示されるようにする。これにより、血管及び血管を多く含む器官と、周囲の組織との輝度差が生じ易くなる。

また、例えば、参照画像データの入手先が３次元ＭＲＩ装置１６である場合、通信回路５４は、参照画像データとしてネットワーク１７から複数枚の２次元ＭＲＩ画像を取り込んだ後、参照画像記憶部５５へ記憶させる。

３次元ＭＲＩ装置１６を用いて撮像を行う際に、術者は、撮像前に核磁気共鳴の感度の高いＭＲＩ用造影剤を被検体３７の血管から注入し、大動脈及び上腸間膜静脈等の血管と、血管を多く含む器官とが、２次元ＭＲＩ画像上において高輝度や中輝度により表示されるようにする。これにより、血管及び血管を多く含む器官と、周囲の組織との輝度差が生じ易くなる。

なお、Ｘ線３次元ヘリカルＣＴ装置１５が入手先として選択された場合と、３次元ＭＲＩ装置１６が入手先として選択された場合とにおいては、作用が同様である。そのため、以降においては、Ｘ線３次元ヘリカルＣＴ装置１５が入手先として選択され、通信回路５４が参照画像データとして複数枚の２次元ＣＴ画像を取り込んだ場合についての作用のみを説明する。

図５は、参照画像記憶部５５へ記憶された参照画像データの一例を示す図である。Ｘ線造影剤の作用により、大動脈及び上腸間膜静脈等の血管は高輝度に、膵臓(pancreas)等の末梢血管を多く含む器官は中輝度に、十二指腸(duodenum)等は低輝度に造影されている。

補間回路５６は、参照画像記憶部５５より１番からＮ番までの全ての参照画像データを読み出す。次に、補間回路５６は、読み出した参照画像データを補間メモリ５６ａのボクセル空間へ埋めていく。

具体的には、補間回路５６は、参照画像データの各画素の輝度を、画素に対応するアドレスを持つボクセルへ出力していく。そして、補間回路５６は、隣接する参照画像データの輝度値に基づく補間処理を行いつつ、空いているボクセルをデータで埋めていく。このようにして、ボクセル空間内の全てのボクセルが参照画像データを基にしたデータ(以下、ボクセルデータ)により満たされる。

３次元人体画像作成回路５７は、補間回路５６から高輝度値のボクセル（主に血管）、及び、中輝度値のボクセル(主に膵臓など末梢血管を多く含む器官)をそれぞれ輝度値域別に抽出し、輝度別に分類して着色する。

次に、３次元人体画像作成回路５７は、抽出した各ボクセルを、３次元人体画像データとして合成回路５８の合成メモリ５８ａのボクセル空間へ埋めていく。このとき、３次元人体画像作成回路５７は、抽出した各ボクセルを、補間メモリ５６ａ内のボクセル空間におけるアドレスと、合成メモリ５８ａ内のボクセル空間におけるアドレスとが同じになるように埋めていく。

図１２は、３次元人体画像データの一例を示す図である。図１２に示す例における３次元人体画像データは、高輝度の血管である大動脈及び上腸間膜静脈と、中輝度の器官である膵臓とが抽出されたものである。具体的には、図１２に示す例における３次元人体画像データは、血管が赤に着色され、膵臓が緑に着色されているとともに、被検体３７の頭側を右側に足側を左側にして腹側から観察した状態の３次元データとして示されている。

３次元人体画像作成回路５７は、臓器や血管等を抽出する抽出手段の機能も有している。なお、この抽出手段は、３次元ガイド画像作成回路Ａ及び３次元ガイド画像作成回路Ｂに設けられていても良い。そして、３次元ガイド画像の作成の際に、３次元ガイド画像作成回路Ａ及び３次元ガイド画像作成回路Ｂにおいて臓器や血管を選択できるようにしても良い。

合成回路５８は、画像指標データと、挿入形状データとを合成メモリ５８ａ内のボクセル空間に埋めていく。この様子は図１３に示してある。

なお、図１３においては、ボクセル空間に存在する３次元人体画像データを説明の都合上省略している（３次元人体画像データを省略しない場合は図１４等で示す）。このようにして、合成回路５８は、同一のボクセル空間内の３次元人体画像データと、画像指標データと、挿入形状データとを、同一の合成メモリ内に埋めていくことにより、これらを一組のデータ(以下、合成３次元データ)として合成する。

回転変換回路５９は、合成回路５８から合成３次元データを読み出した後、制御回路６３からの回転指示信号に従って、合成３次元データに対して回転処理を施す。

３次元ガイド画像作成回路Ａは、合成３次元データに陰面消去及び陰影付け等のレンダリング処理を施し、画面に出力可能な画像データ(以下、３次元ガイド画像データ)を作成する。

なお、３次元ガイド画像データのデフォルトの向きは、人体の腹側からの向きであるとする。従って、３次元ガイド画像作成回路Ａは、被検体３７の腹側からの方向で観察した３次元ガイド画像データを作成する。なお、３次元ガイド画像作成回路Ａは、３次元ガイド画像データのデフォルトの向きとして、人体の腹側からの向きのものを作成するものに限らず、例えば、人体の背側からの向きのものを作成するようにしても良いし、その他の方向からの向きのものを作成するようにしても良い。

３次元ガイド画像作成回路Ａは、被検体３７の腹側から観察した３次元ガイド画像データを混合回路６１へ出力する。この３次元ガイド画像データを図１４に示す。図１４においては、右側が被検体３７の頭側であり、左側が被検体３７の足側である。

図１４の３次元ガイド画像データにおいては、超音波断層像マーカＭｕを半透明にすることにより、画像指標データの６時方向マーカＭｔと、先端方向マーカＭｄと、挿入形状データの挿入形状マーカＭｓと、コイル位置マーカＭｃとが透けて見えるようにしている。

また、図１４の３次元ガイド画像データにおいては、その他の臓器に対して超音波断層像マーカＭｕを不透明にすることにより、超音波断層像マーカＭｕの裏側の部分を見えなくしている。なお、図１４においては、超音波断層像マーカＭｕの裏側にあり、かつ、超音波断層像マーカＭｕと重なる各マーカを破線により示してある。

３次元ガイド画像作成回路Ｂは、回転処理を加えられた合成３次元データに陰面消去及び陰影付け等のレンダリング処理を施し、画面に出力可能な３次元ガイド画像データを作成する。

本実施例においては、一例として、マウス１２またはキーボード１３からの入力に応じた、制御回路６３からの回転指示信号により、３次元ガイド画像データを９０度回転させ、被検体３７の足側から観察する指示内容になっていたものとする。

従って、３次元ガイド画像作成回路Ｂは、被検体３７の足側からの方向により観察した３次元ガイド画像データを作成する。

３次元ガイド画像作成回路Ｂは、被検体３７の足側から観察した３次元ガイド画像データを混合回路６１へ出力する。この３次元ガイド画像データを図１５に示す。図１５においては、右側が被検体３７の右側、左側が被検体３７の左側である。

図１５の３次元ガイド画像データにおいては、超音波断層像マーカＭｕを半透明にすることにより、画像指標データの６時方向マーカＭｔと、先端方向マーカＭｄと、挿入形状データの挿入形状マーカＭｓと、コイル位置マーカＭｃとが透けて見えるようにしている。

また、図１５の３次元ガイド画像データにおいては、その他の臓器に対して超音波断層像マーカＭｕを不透明にすることにより、超音波断層像マーカＭｕの裏側の部分を見えなくしている。なお、図１５においては、超音波断層像マーカＭｕの裏側にあり、かつ超音波断層像マーカＭｕと重なる各マーカを破線により示してある。
なお、図１５における超音波断層像マーカＭｕの表示は、超音波断層像マーカＭｕの法線が観察視線（すなわち表示装置１４の画面法線）と一致するように正対させる場合でない、つまり非正対の表示である。

（ｅ）次に、第５の超音波断層像データと、３次元ガイド画像データとを合成した最終的な表示画面に関わる信号・データの流れに沿って、本実施例の作用を説明する。
図４の混合回路６１は、超音波観測装置４からの超音波断層像データと、３次元ガイド画像作成回路Ａからの被検体３７を腹側から観察した３次元ガイド画像データと、３次元ガイド画像作成回路Ｂからの被検体３７を足側から観察した３次元ガイド画像データと、検出状況画像作成回路６４からの検出状況画像と、を並べて表示用の混合データを作成する。

表示回路６２は、この混合データをアナログビデオ信号に変換して、表示装置１４に出力するする。
表示装置１４は、このアナログビデオ信号に基づき、例えば図１６に示すように、超音波断層像と、被検体３７を足側から観察した３次元ガイド画像と、腹側から観察した３次元ガイド画像と、検出状況画像と、を並べて対比可能に表示する。

図１６に示すように、表示装置１４は、３次元ガイド画像上において表現される各器官を、参照画像データ上の輝度値に応じた色により、器官別に色分けして表示する。
図１６の表示例においては、膵臓が緑色として表示され、大動脈及び上腸間膜静脈が赤色として表示されている。また、図１６においては、超音波断層像マーカＭｕの裏側にあり、かつ、超音波断層像マーカＭｕと重なる各マーカを破線により示してある。

また、図１６において白抜きの矢印で示すように、２つの３次元ガイド画像は、ラジアル走査面の移動に連動して移動する。

（ｆ）次に、第６に制御に関わる信号・データの流れに沿って、本実施例の作用を説明する。

図４の画像処理装置１１内のマッチング回路５１と、画像指標作成回路５２と、挿入形状作成回路５３と、通信回路５４と、参照画像記憶部５５と、補間回路５６と、３次元人体画像作成回路５７と、合成回路５８と、回転変換回路５９と、３次元ガイド画像作成回路Ａと、３次元ガイド画像作成回路Ｂと、混合回路６１と、表示回路６２と、検出状況画像作成回路６４と、スコープデータ記憶部６７とは、制御回路６３からの指令により制御される。なお、制御の詳細は後述する。
以下、術者の使用形態に沿って、本実施例の画像処理装置１１、キーボード１３、マウス１２、表示装置１４の作用の全体を説明する。図１７は、その全体のフローチャートである。また、図１７におけるステップＳ１〜Ｓ４の各処理は、この順序により実行される。

最初のステップＳ１は、参照画像データ上での体表特徴点、体腔内特徴点指定処理である。つまり、参照画像データ上において、体表特徴点と体腔内特徴点とを指定する処理が図１７のステップＳ１の処理として行われる。

次のステップＳ２において、術者は、被検体３７に体表検出用コイル７を固定する。術者は、被検体３７をその左側を臥せた体位、所謂、左側臥位にする。術者は、被検体３７を触診し、４つの体表特徴点である剣状突起、左上前腸骨棘、右上前腸骨棘、及び、腰椎椎体棘突起に最も近い体表上の４つの位置に体表検出用コイル７を固定する。

次のステップＳ３は、補正値算出処理である。
ステップＳ３において、画像処理装置１１は、体腔内特徴点の位置・配向データを取得し、直交座標軸O-xyz上において表現された位置・配向データを直交座標軸O'-x'y'z'上において表現されたボクセル空間内の位置・配向写像データへ写像する変換式を算出し、さらに、体腔内特徴点の位置・配向データに基づいて変換式の補正値を算出する処理を行う。

次のステップＳ４においては、超音波断層像・３次元ガイド画像作成/表示処理が行われる。換言すると、ステップＳ４は、超音波断層像と３次元ガイド画像とを作成し、表示するための処理である。

ここで、図１７のステップＳ１の処理、すなわち、参照画像データ上における体表特徴点及び体腔内特徴点指定処理について具体的に説明する。

図１８は、図１７のステップＳ１の参照画像データ上において、体表特徴点と体腔内特徴点とを指定する処理の詳細を示すフローチャートである。

最初のステップＳ１−１において、術者は、表示切換キー１３αを押す。これに応じ、制御回路６３は、表示回路６２に指令を出す。表示回路６２のスイッチ６２ａは、制御回路６３からの指令により、入力端子αに切り換わる。

次のステップＳ１−２において、術者は、マウス１２またはキーボード１３を用い、１〜Ｎ番までのいずれかの参照画像データを指定する。

次のステップＳ１−３において、制御回路６３は、表示回路６２に参照画像記憶部５５に記憶された１〜Ｎ番までのいずれかの参照画像データのうち、指定された参照画像データを読み出させる。

表示回路６２は、参照画像記憶部５５からの参照画像データをアナログビデオ信号に変換し、参照画像データを表示装置１４に出力する。これにより、表示装置１４には、術者により指定された参照画像データが表示される。

次のステップＳ１−４において、術者は、マウス１２またはキーボード１３を用い、参照画像データ上における体表特徴点を指定する。具体的には以下の通りである。

術者は、表示装置１４に表示された参照画像データに、被検体３７の４つの体表特徴点である剣状突起、左上前腸骨棘、右上前腸骨棘、または、腰椎椎体棘突起のいずれかが写っているようにする。いずれも写っていなければステップＳ１−２へ戻り、術者に他の参照画像データを指定させる。そして、前述した４つの体表特徴点のうちの少なくともいずれか１つが写っている参照画像データが選択されるまで、参照画像データの表示が繰り返し行われる。

術者は、マウス１２またはキーボード１３を用い、表示された参照画像データ上において、被検体３７の体表面上の４点である剣状突起、左上前腸骨棘、右上前腸骨棘及び腰椎椎体棘突起に最も近い体表上の点に相当する画素を指定する。

図８及び図９において、指定した点を黒丸●と白丸○とにより示す。本実施例では、説明の都合上、剣状突起○がn１番(1≦n1≦N)の参照画像データ上に写っており、左上前腸骨棘、右上前腸骨棘及び腰椎椎体棘突起●がn2番(1≦n2≦N)の参照画像データ上に写っているものとして説明する。

なお、図８と図９においては、説明の都合上、n2番の参照画像データ上の剣状突起に相当する位置に○を付している。

次のステップＳ１−５において、術者は、マウス１２またはキーボード１３を用い、体腔内特徴点P"を指定する。本実施例においては、体腔内特徴点P"として十二指腸乳頭（総胆管の十二指腸への開口部：duodenal papilla）が指定された場合を例にあげて説明する。具体的には以下の通りである。

術者は、マウス１２またはキーボード１３を用い、１〜Ｎ番までのいずれかの参照画像データを指定する。

制御回路６３は、表示回路６２に対する制御により、図示しない信号線を経由して参照画像記憶部５５に記憶された１〜Ｎ番までのいずれかの参照画像データのうち、指定された参照画像データを読み出させる。

表示回路６２は、読み出した参照画像データを表示装置１４へ出力する。これにより、表示装置１４には、前記参照画像データが表示される。術者は、表示された参照画像データに被検体３７の体腔内特徴点である十二指腸乳頭が写っていなければ、他の参照画像データを指定し直す。これにより、十二指腸乳頭が写っている参照画像データが表示されるまで、異なる参照画像データの読み出し及び表示が繰り返される。

術者は、マウス１２またはキーボード１３を用い、表示された参照画像データ上において、被検体３７の体腔内特徴点である十二指腸乳頭に相当する画素を指定する。これにより指定された点を、図９のP"として示す。なお、本実施例においては、説明の都合上、十二指腸乳頭P"がn2番(1≦n2≦N)の参照画像データ上に写っているものとする。

次のステップＳ１−６として、制御回路６３は、ステップＳ１−４により指定された各体表特徴点に相当する各画素と、ステップＳ１−５により指定された体腔内特徴点P"に相当する画素とについて、参照画像データ上でのアドレスに基づき、ボクセル空間に張られた直交座標軸O’-x’y’z’における座標を各々算出し、マッチング回路５１へ出力する。

ここで、ステップＳ１−４により指定された各体表特徴点に相当する各画素の、直交座標軸O’-x’y’z’における座標の算出値を、(xa',ya',za')、(xb',yb',zb')、(xc',yc',zc')、及び、(xd',yd',zd')と設定する。また、ステップＳ１−５により指定された体腔内特徴点に相当する画素の、直交座標軸O’-x’y’z’における各座標の算出値を、(xp",yp",zp")と設定する。
マッチング回路５１は前述した各座標を記憶する。そして、ステップＳ１−６が終了した後、図１７のステップＳ２に進む。さらに、ステップＳ２の処理の後、図１７のステップＳ３の補正値算出処理に進む。

図１９は、図１７のステップＳ３における補正値算出処理の詳細を示すフローチャートである。上述したように、図１７のステップＳ３は、体腔内特徴点の位置・配向データを取得し、直交座標軸O-xyz上において表現された位置・配向データを直交座標軸O'-x'y'z'上において表現されたボクセル空間内の位置・配向写像データへ写像する変換式を算出し、さらに、体腔内特徴点の位置・配向データに基づいて変換式の補正値を算出する処理である。

最初のステップＳ３−１において、術者は、表示切換キー１３βを押す。これに応じ、制御回路６３は、表示回路６２に指令を出す。表示回路６２のスイッチ６２ａは、制御回路６３からの指令により、入力端子βに切り換わる。

次にステップＳ３−２において、表示回路６２は、光学観察装置３からの光学像データをアナログビデオ信号に変換し、光学像を表示装置１４に出力する。これにより、表示装置１４には、前記光学像が表示される。

次のステップＳ３−３において、術者は、超音波内視鏡２の硬性部２１と可撓部２２とを、被検体３７の体腔内へ挿入する。

次のステップＳ３−４において、術者は、光学像を観察しながら硬性部２１を動かして体腔内特徴点を探す。術者は、体腔内特徴点を見つけた後、硬性部２１を該体腔内特徴点近傍へ移動する。

次のステップＳ３−５において、術者は、光学像を観察しながら、体腔内接触プローブ８を鉗子口４４から挿入した後、突出口４５から突出させる。そして、術者は、光学像視野下において、体腔内接触プローブ８の先端を体腔内特徴点に接触させる。この様子を図２０に示す。

図２０においては、表示装置１４の表示画面に光学像が表示されている。また、前記光学像には、体腔内特徴点の例として十二指腸乳頭Pと、体腔内接触プローブ８とが表示されている。

次のステップＳ３−６において、術者は、体腔内特徴点指定キー６５を押す。

一方、本実施例においては、ステップＳ３−６に並行し、制御回路６３等において、以下に記す処理が行われる。

制御回路６３は、図示しない信号線を介し、位置配向算出装置５から４個の体表検出用コイル７の検出状況データを読み込む。

制御回路６３は、４個の体表検出用コイル７の検出状況データに基づき、「検出不能」と判定されたコイルが１つでもある場合、再度体腔内特徴点指定キー６５を押下させる旨を術者に告知するための文字列等を生成し、表示装置１４に表示させるための処理を行う。この場合、再度体腔内特徴点指定キー６５が押下されるまでの間、前記文字列が表示装置１４に表示されつつ、ステップＳ３−６における待機状態となる。

制御回路６３は、４個の体表検出用コイル７の検出状況データに基づき、「検出不能」と判定されたコイルが存在せず、かつ、「精度低」と判定されたコイルが１つでもある場合、このまま処理を進めるか否かを術者に選択させるための文字列等を生成し、表示装置１４に表示させるための処理を行う。そして、制御回路６３は、マウス１２またはキーボード１３により、このまま処理を進めて良い旨の選択がなされた場合、ステップＳ３−７の処理を引き続き行う。また、制御回路６３は、マウス１２またはキーボード１３により、処理を中断する旨の選択がなされた場合、再度体腔内特徴点指定キー６５を押下させる旨を術者に告知するための文字列等を生成し、表示装置１４に表示させるための処理を行う。この場合、再度体腔内特徴点指定キー６５が押下されるまでの間、前記文字列が表示装置１４に表示されつつ、ステップＳ３−６における待機状態となる。

なお、「検出不能」と判定されたコイル、及び、「精度低」と判定されたコイルのいずれも存在しない場合においては、そのまま引き続きステップＳ３−７の処理が行われる。

次のステップＳ３−７において、制御回路６３は、マッチング回路５１に指令を出す。マッチング回路５１は、制御回路６３の指令により、位置配向算出装置５から位置・配向データを取り込みつつ記憶する。この位置・配向データには、前述の通り、直交座標軸O-xyzにおける４個の体表検出用コイル７の各々の位置ベクトルの各方向成分と、直交座標軸O-xyzにおける体腔内検出用コイル４２の位置ベクトルの各方向成分との２種類のデータが含まれている。換言すると、前記位置・配向データには、４個の体表特徴点の直交座標軸O-xyzでの座標 (xa,ya,za)、(xb,yb,zb)、(xc,yc,zc)及び(xd,yd,zd)と、体腔内特徴点の直交座標軸O-xyzでの座標 (xp,yp,zp)との２種類のデータが含まれている。なお、これら２種類のデータは、４個の体表検出用コイル７と、体腔内検出用コイル４２との合わせて５個のコイルから取得されるデータである。

次のステップＳ３−８において、マッチング回路５１は、体表特徴点の座標から第１の写像を表現する第１変換式を作成する。具体的には以下の通りである。

まず、マッチング回路５１は、以下の内容を記憶している。

第１に、ステップＳ１により指定された各体表特徴点に相当する各画素のボクセル空間内の直交座標軸O’-x’y’z’での各座標：
(xa',ya',za')、(xb',yb',zb')、(xc',yc',zc')、(xd',yd',zd')
第２に、ステップＳ１により指定された体腔内特徴点に相当する画素のボクセル空間内の直交座標軸O’-x’y’z’での座標：
(xp",yp",zp")
第３に、ステップＳ３−７により取り込まれた体表特徴点の直交座標軸O-xyzにおける各座標：
(xa,ya,za)、(xb,yb,zb)、(xc,yc,zc)、(xd,yd,zd)
第４に、ステップＳ３−７により取り込まれた体腔内特徴点の直交座標軸O-xyzにおける座標：
(xp,yp,zp)
マッチング回路５１は、このうち、第３の各座標(xa,ya,za)、(xb,yb,zb)、(xc,yc,zc)及び(xd,yd,zd)と、第１の各座標(xa',ya',za')、(xb',yb',zb')、(xc',yc',zc')及び(xd',yd', zd')とから、直交座標軸O-xyz上の任意の点をボクセル空間内の直交座標軸O’-x’y’z’の点へ変換するための、第１の写像を表現する第１変換式を作成する。この第１の写像及び第１変換式は、以下のように定められるものである。

マッチング回路５１は、図８に示すように、体表特徴点である剣状突起、左上前腸骨棘、右上前腸骨棘及び腰椎椎体棘突起を用い、剣状突起から他の点へ向かう３本のベクトルを基本ベクトルとする斜交座標系を、被検体３７上と、ボクセル空間内（図８においては参照画像データとして表現されているが、これを補間して得たデータ空間内）との各々において仮想的に設定する。
第１の写像とは、「直交座標軸O-xyzにおける任意点の、被検体３７上の斜交座標系により表現される座標」と、「直交座標軸O'-x'y'z'におけるこの任意点の写像後の点の、ボクセル空間内の斜交座標系により表現される座標」とが同じになるような、被検体３７からボクセル空間への写像である。
また、第１変換式とは、「任意点の直交座標軸O-xyzにおける座標」を「ボクセル空間内の第１の写像後の点の直交座標軸O'-x'y'z'における座標」へ変換する式である。

例えば、図８に示すように、画像位置配向検出用コイル３１の位置、すなわち、ラジアル走査の中心かつ超音波断層像の中心O"の第１の写像による写像後の点をQ'とする。

また、点Q'の直交座標軸O'-x'y'z'における座標を(x0',y0',z0')とする。第１変換式を用いると、点O"の直交座標軸O-xyzにおける座標(x0,y0,z0)は、点Q'の直交座標軸O'-x'y'z'における座標(x0',y0',z0')へ変換される。

次のステップＳ３−９において、マッチング回路５１は、図９に示すように、第１変換式により、体腔内特徴点Pをボクセル空間内の点P'へ写像する。体腔内特徴点Pの直交座標軸O-xyzでの座標は、(xp,yp,zp)である。ここで、第１の写像後の点P'の直交座標軸O’-x’y’z’における座標を(xp',yp',zp')と定義する。

次のステップＳ３−１０において、マッチング回路５１は、点P'のボクセル空間内の直交座標軸O’-x’y’z’における座標 (xp',yp',zp')と、ステップＳ１で指定された体腔内特徴点に相当する点P"のボクセル空間内の直交座標軸O’-x’y’z’における座標(xp",yp",zp")とに基づき、以下のようにベクトルP'P"を算出する。

P'P" ＝(xp",yp",zp")−(xp',yp',zp') ＝ (xp"−xp',yp"−yp',zp"−zp')
次のステップＳ３−１１において、マッチング回路５１は、ベクトルP'P"を記憶する。 ベクトルP'P"は、後述する処理において、第１変換式を補正して第２の変換式を作成するための補正値として作用する。そして、ステップＳ３−１１の終了後、図１７のステップＳ４へ進む。

次に、図１７のステップＳ４の超音波断層像・３次元ガイド画像作成/表示処理を説明する。図２１は、図１７のステップＳ４における、被検体３７の実際の超音波断層像・３次元ガイド画像を作成し、表示するための処理の詳細を示すフローチャートである。

最初のステップＳ４−１において、術者は、表示切換キー１３γを押す。制御回路６３は表示回路６２に指令を出す。表示回路６２のスイッチ６２ａは、この指令により入力端子γに切り換わる。

次のステップＳ４−２において、術者は、走査制御キー６６を押す。

次のステップＳ４−３において、制御回路６３は、走査制御信号を超音波観測装置４へ出力する。これにより、超音波振動子アレイ２９は、ラジアル走査を開始する。

次のステップＳ４−４において、制御回路６３は、混合回路６１に指令を出す。混合回路６１は、この指令に基づき、超音波観測装置４からのラジアル走査に応じて入力される超音波断層像データを逐次取り込む。
次のステップＳ４−５において、制御回路６３は、マッチング回路５１に指令を出す。マッチング回路５１は、制御回路６３からの指令に基づき、位置配向算出装置５から位置・配向データと、検出状況データとを取り込み、記憶する。なお、この取り込み動作は、瞬時に行われる。そのため、マッチング回路５１は、ステップＳ４−４において混合回路６１が超音波断層像データを取り込んだ瞬間の、以下のデータを含む位置・配向データ、及び、検出状況データを取り込むこととなる。

但し、画像位置配向検出用コイル３１、及び、４個の体表検出用コイル７の合わせて５個のコイルのうち、「検出不能」と判定されたものについては、過去に「精度低」または「正常」と判定された際の最新の位置・配向データが代わりにマッチング回路５１に取り込まれることとする。

直交座標軸O-xyzにおける画像位置配向検出用コイル３１の位置、すなわちラジアル走査の中心かつ超音波断層像の中心O"の位置ベクトルOO"の各方向成分：
(x0,y0,z0)
直交座標軸O-xyzに対する画像位置配向検出用コイル３１の配向、すなわち超音波断層像の配向を示すオイラー角の各角度成分：
(ψ,θ,φ)
直交座標軸O-xyzにおける複数個の挿入形状検出用コイル３２の各々の位置ベクトルの各方向成分：
(xi,yi,zi) (iは１から５までの自然数)
直交座標軸O-xyzにおける４個の体表検出用コイル７の各々の位置ベクトルの各方向成分：
(xa,ya,za)、(xb,yb,zb)、(xc,yc,zc)、(xd,yd,zd)
次のステップＳ４−６において、マッチング回路５１は、ステップＳ４−５において取り込んだ位置・配向データのうち、直交座標軸O-xyzにおける４個の体表検出用コイル７の各々の位置ベクトルの各方向成分(xa,ya,za)、(xb,yb,zb)、(xc,yc,zc)及び(xd,yd,zd)を用い、ステップＳ３において記憶した第１変換式を更新する。

次に、マッチング回路５１は、更新した第１変換式にステップＳ３で記憶したベクトルP'P"による平行移動とを合わせて、第２の写像を表現する第２変換式を新たに作成する。

また、マッチング回路５１は、第１変換式とベクトルP'P"による平行移動とを合わせて、第２の写像を表現する第２変換式を作成する。第２の写像の概念は、以下の通りである。

第２の写像＝第１の写像＋ベクトルP'P"による平行移動
ベクトルP'P"による平行移動には、以下に示す補正効果がある。ここで、ベクトルP'P"は、補正値として作用する。

第１の写像を「直交座標軸O-xyzにおける任意点の、被検体３７上の斜交座標系により表現される座標」と、「直交座標軸O'-x'y'z'におけるこの任意点の写像後の点の、ボクセル空間内の斜交座標系により表現される座標」とが同じになるような、被検体３７からボクセル空間への写像とした。

理想的には、体腔内特徴点Pのボクセル空間内への第１の写像による写像点P'と、ステップＳ１において指定された体腔内特徴点に相当する点P"とは、一致することが望ましい。しかし、実際には、正確に一致させることは困難である。

この理由は、「直交座標軸O-xyzにおける任意点と、被検体３７上の斜交座標系との空間的な位置関係」と「任意点に解剖学的に相当する直交座標軸O'-x'y'z'における点と、ボクセル空間内の斜交座標系との空間的な位置関係」とが種々の要因で完全に一致しないことにある。

本実施例に合わせて説明すると、第１の写像と第１変換式とを骨格上の特徴のある体表特徴点の各座標から求めたが、体腔内特徴点である十二指腸乳頭Pは、骨格上の体表特徴点と常に同じ位置関係にあるとは限らないためである。

この現象の主な原因としては、Ｘ線３次元ヘリカルＣＴ装置１５または３次元ＭＲＩ装置１６を用いた検査時の体位と、超音波内視鏡２を用いた検査時の体位とが異なる、というものが挙げられる。具体的には、Ｘ線３次元ヘリカルＣＴ装置１５または３次元ＭＲＩ装置１６を用いた検査時には一般的に仰臥位をとるため、超音波内視鏡２を用いた検査時の一般的な体位である左側臥位とは異なる体位であり、これにより被検体３７内の諸器官が重力に従って変位することが原因として挙げられる。

そのため、補正値としてのベクトルP'P"による平行移動を第１の写像に合わせて第２の写像とすることにより、体腔内特徴点Pの写像点は、ボクセル空間内における体腔内特徴点に相当する点P"に一致する。さらに、被検体３７の他の点、例えば超音波断層像の中心O"についても、前述した第２の写像を施すことにより、解剖学的な位置との一致性が高くなる。

次のステップＳ４−７において、マッチング回路５１は、ステップＳ４−５により取り込んだ位置・配向データのうち、直交座標軸O-xyzにおける超音波断層像の中心O"の位置ベクトルOO"の各方向成分(x0,y0,z0)と、直交座標軸O-xyzに対する画像位置配向検出用コイル３１の配向を示すオイラー角の各角度成分(ψ,θ,φ)と、直交座標軸O-xyzにおける複数個の挿入形状検出用コイル３２の各々の位置ベクトルの各方向成分(xi,yi,zi) (iは１から５までの自然数)とを、新たに作成した第２変換式を用いて、位置・配向写像データへ変換する。

図８に示すように、第１変換式により、超音波断層像の中心O"は、ボクセル空間上の点Q'へ写像される。そして、本ステップにおいて新たに作成した第２変換式を用いることにより、図９に示すように、超音波断層像の中心O"は、ボクセル空間上の点Q"へ写像される。なお、Q'とQ"との差異を示すベクトルQ'Q"は、第２の写像における平行移動による補正分と一致するため、ベクトルP'P"と同じである。すなわち、以下の式が成立する。

Q'Q" ＝P'P"
次のステップＳ４−８において、画像指標作成回路５２により画像指標データが作成され、挿入形状作成回路５３により挿入形状データが作成されるとともに、検出状況画像作成回路６４により検出状況画像データが作成される。

そして、合成回路５８は、３次元人体画像データと、画像指標データと、挿入形状データとを合成し、合成３次元データを作成する。
回転変換回路５９は、合成３次元データに回転処理を施す。

３次元ガイド画像作成回路Ａ及び３次元ガイド画像作成回路Ｂは、それぞれ３次元ガイド画像データを作成する。
なお、３次元ガイド画像作成回路Ａ及び３次元ガイド画像作成回路Ｂにおいて行われる処理は、前述の通りである。

次のステップＳ４−９において、混合回路６１は、超音波断層像データと３次元ガイド画像データと、検出状況画像データとを並べ、表示用の混合データを作成する。

また、表示回路６２は、前記混合データをアナログビデオ信号に変換する。

表示装置１４は、前記アナログビデオ信号に基づき、超音波断層像と、被検体３７を腹側から観察した３次元ガイド画像と、被検体３７を足側から観察した３次元ガイド画像と、検出状況画像とを並べて、例えば図１６に示すように表示する。

なお、上記それぞれの処理は、前述の通りである。
次のステップＳ４−１０において、制御回路６３は、ステップＳ４−４からステップＳ４−９までの間に、術者が再び走査制御キー６６を押したか否かを確認する。

術者により再び走査制御キー６６が押下されていた場合には、制御回路６３は、ここで上記の処理を終了させ、ラジアル走査の制御OFFを指令するための走査制御信号を超音波観測装置４へ出力する。これに応じ、超音波振動子アレイ２９は、ラジアル走査を終了する。 また、術者により再び走査制御キー６６が押下されていなかった場合には、ステップＳ４−４からステップＳ４−９までの処理が再度行われる。

このようにして、ステップＳ４−４からステップＳ４−９までの処理が繰り返されることにより、超音波振動子アレイ２９のラジアル走査に応じた超音波断層像データが超音波観測装置４により作成され、また、超音波断層像データが超音波観測装置４から混合回路６１へ入力される度に、２つの新たな３次元ガイド画像が作成され、新たな超音波断層像とともに表示装置１４の表示画面にリアルタイムに更新されつつ表示される。

すなわち、図１６に示すように、術者の可撓部２２及び硬性部２１の用手的な操作に伴うラジアル走査面の移動に連動して、画像指標データ上の超音波断層像マーカＭｕと、先端方向マーカＭｄと、６時方向マーカＭｔと、挿入形状データ上の挿入形状マーカＭｓと、コイル位置マーカＭｃとが３次元人体画像データ上を移動もしくは変形してゆくとともに、検出状況画像の各マーカと、３次元ガイド画像内の各マーカの色とが、各コイルの検出状況に伴って随時変化してゆく。

なお、本実施形態の体腔内プローブ装置１は、検出状態に応じてコイル位置マーカＭｃ自体の着色状態を変化させる処理を行うものに限らず、例えば、挿入形状マーカＭｓのうち、コイル位置マーカＭｃの近傍の位置の着色状態を変化させる処理を行うものであっても良い。

以上に述べたように、本実施例の体腔内プローブ装置１は、ガイド画像作成の際の基となる情報である、医療画像の位置及び（または）配向に関する情報を取得するために設けられたコイルの検出状況を、マーカの着色状態の変更により視覚的に告知可能な構成を有している。すなわち、本実施例の体腔内プローブ装置１は、取得した医療画像の解剖学的な位置及び（または）配向に関する情報の信頼性の判定に必要な情報を告知可能であることにより、該情報に関して術者に誤認を生じさせないようにすることができる。

また、以上に述べたように、本実施例の体腔内プローブ装置１は、医療画像の位置及び（または）配向に関する情報を取得するために設けられたコイルの検出状況を、ガイド画像内のマーカだけではなく、検出状況画像が具備するマーカにおいても視覚的に告知することができる。これにより、本実施例の体腔内プローブ装置１は、医療画像の位置及び（または）配向に関する情報を取得するために設けられたコイルが臓器等の裏側に隠れてしまうような状況がガイド画像内において生じた場合においても、該コイルの検出状況を検出状況画像において確認可能としている。

さらに、以上に述べたように、本実施例の体腔内プローブ装置１は、超音波内視鏡が有する複数のコイルのうち、位置及び（または）配向に関する情報を取得不能なコイルが存在する場合であっても、該コイルの位置を推定することにより、該コイルに関する情報を補いつつ挿入形状マーカ及びコイル位置マーカを作成可能な構成を有している。これにより、本実施例の体腔内プローブ装置１は、例えば、位置及び（または）配向に関する情報を取得不能なコイルの存在により挿入形状マーカの一部が表示されなくなるというような状況を回避可能であり、その結果、術者への負担を軽減することができる。

本実施例の体腔内プローブ装置１は、以上に述べた構成及び作用により、超音波内視鏡２の硬性部２１と可撓部２２の挿入形状と超音波断層像の方向とを放射線被曝の侵襲を少なく検出でき、両者を含んだ３次元ガイド画像を作成することができる。

本実施例の体腔内プローブ装置１は、以上に述べた構成及び作用により、超音波断層像と膵臓などの関心領域との位置関係をガイドすることができるとともに、消化管等の体腔壁に対して超音波内視鏡２のラジアル走査面と可撓部２２と硬性部２１とがどのような配向や形状になっているのかをガイドすることができる。従って、術者は、これらの関係を視覚的に把握でき、関心領域に対する診断、処置等を容易に行うことが可能となる。

本実施例の体腔内プローブ装置１は、以上に述べた構成及び作用により、超音波内視鏡２での検査中に被検体３７の体位に変化が生じても、体表特徴点と臓器との位置関係が変化しない限り、超音波断層像、可撓部２２及び硬性部２１と、３次元ガイド画像上の超音波断層像マーカＭｕ、先端方向マーカＭｄ、６時方向マーカＭｔ及び挿入形状マーカＭｓとの位置関係が、解剖学的に高い一致性を示すという効果を奏する。

本実施例の体腔内プローブ装置１は、以上に述べた構成及び作用により、例えば、Ｘ線３次元ヘリカルＣＴ装置１５または３次元ＭＲＩ装置１６の検査時と、超音波内視鏡２の検査時とにおける被検体３７の体位の違いにより、該被検体３７内の諸器官において生じる重力に伴う変位量が異なった場合においても、被検体３７の点、例えば超音波断層像の中心O"に第２の写像を施すことにより、解剖学的な位置の一致性を維持可能である。そのため、本実施例の体腔内プローブ装置１は、３次元ガイド画像において、超音波断層像を一層正確にガイドすることができる。

本実施例の体腔内プローブ装置１は、以上に述べた構成及び作用により、例えば、超音波内視鏡２の検査時において一般的にとられる体位である左側臥位に合わせて、３次元ガイド画像も左側臥位で表示されるため、被検体３７と３次元ガイド画像とを対比しやすい。従って、本実施例の体腔内プローブ装置１は、術者による診断及び処置等の際の操作性を向上或いは適切に支援することができる。

また、本実施例の体腔内プローブ装置１は、以上に述べた構成及び作用により、互いに異なる方向に視線を設定した３次元ガイド画像を作成することができる。これにより、本実施例の体腔内プローブ装置１は、超音波断層像と膵臓などの関心領域との位置関係を複数の方向からガイドすることができるとともに、超音波断層像と超音波内視鏡２の可撓部２２と硬性部２１とが消化管等の体腔壁に対してどのような配向や形状になっているのかを複数の方向からガイドすることができる。

（変形例）
本実施例の体腔内プローブ装置１は、処置具チャンネル４６を備えた超音波内視鏡２と、処置具チャンネル４６に挿通する体腔内接触プローブ８と、を有して構成されるものに限らない。
本実施例の体腔内プローブ装置１においては、体腔内特徴点に対して光学観察窓２４を経由して対物レンズ２５の焦点が合い、かつ、体腔内接触プローブ８を用いずに硬性部２１自体を体腔内特徴点に正確に接触できる構成であれば、例えば、硬性部２１に固定して設けた画像位置配向検出用コイル３１を体腔内接触プローブ８の体腔内検出用コイル４２の代わりに用いても良い。この場合、画像位置配向検出用コイル３１は、画像位置配向検出用素子としてだけでなく体腔内検出用素子としても作用する。

本実施例は、超音波の走査方式には限定されない構成であるため、電子ラジアル走査型超音波内視鏡２を用いるものに限らず、例えば、機械走査型超音波内視鏡、挿入軸の一方に超音波振動子群を扇状に設けた電子コンベックス走査型超音波内視鏡、光学観察窓２４の無い超音波プローブ、または、カプセル型の超音波ゾンデのいずれかを用いるものであっても良い。

また、本実施例の体腔内プローブ装置１は、超音波内視鏡２の硬性部２１において超音波振動子を短冊状に細かく切断し、挿入軸の周囲に環状アレイとして配列させた構成を有するものである。そして、前記環状アレイとしての超音波振動子アレイ２９は、３６０°全周に設けられているものであっても良く、２７０°または１８０°にわたる部分に設けられているものであっても良い。

本実施例の体腔内プローブ装置１は、位置検出手段として送信アンテナ６と受信コイルとを用い、磁場で位置と配向とを検出するように構成及び作用させたが、送受は逆でも良い。この場合、磁場を利用して位置及び配向を検出可能であるため、簡単な構成により位置（配向）検出手段を形成することができるとともに、位置（配向）検出手段を低コスト及び小型化することができる。また、位置（配向）検出手段は、磁場を利用したものに限定されるものでなく、加速度または他の手段により位置と配向とを検出するような構成及び作用をさせても良い。

また、本実施例においては、原点Oを送信アンテナ６上の特定の位置に設定するよう構成したが、送信アンテナ６と位置関係の変わらない他の場所に原点Oを設定するように構成しても良い。

また、本実施例においては、画像位置配向検出用コイル３１を硬性部２１に固定して設けているが、硬性部２１と位置が固定（確定）されるのであれば、硬性部２１の内部に画像位置配向検出用コイル３１を設けなくとも良い。
また、本実施例においては、３次元ガイド画像データ上の各器官を、器官別に色分けして表示されるよう構成したが、色分け（表示色の変更）の態様に限らず、輝度、明度または彩度等の他の態様を採用しても良い。例えば、器官別に輝度の値を変化させる等しても良い。

また、本実施例においては、参照画像データとして、Ｘ線３次元ヘリカルＣＴ装置１５により撮像された複数枚の２次元ＣＴ画像、または、３次元ＭＲＩ装置１６により撮像された複数枚の２次元ＭＲＩ画像を用いるような構成であったが、これに限らず、例えばPET(Positoron Emission Tomography)のような、他のモダリティーを用いて事前に取得した３次元画像データを用いるものであっても良い。また、体外から超音波を照射する方式の、所謂体外式の体腔内プローブ装置により事前に取得した３次元画像データを用いても良い。

また、本実施例においては、参照画像データとして、被検体３７からＸ線３次元ヘリカルＣＴ装置１５等により撮像した画像データを用いるような構成であったが、これに限らず、例えば、あらかじめ体格の似た性別の同じ他人の画像データを用いても良い。

また、本実施例においては、１軸方向に巻かれた４個のコイルからなる体表検出用コイル７を設け、各々を被検体体表にテープ、ベルト、バンド等により、複数の体表特徴点に着脱可能に固定し、体表特徴点の位置・配向データを同時に得るよう構成したが、これに限らず、１個のコイル、例えば体腔内検出用コイル４２に代えて、超音波内視鏡２による検査の事前に、被検体３７を左側臥位にした後、体腔内接触プローブ８の先端を複数の体表特徴点に順次接触させて体表特徴点の位置・配向データを順次に得るような構成及び作用にしても良い。

また、本実施例においては、位置配向算出手段が、位置・配向データとして、体表検出用コイル７に関してはその位置を算出したが、位置の代わりに巻線軸の方向を算出してもよい。また、位置と巻線軸の方向との両方を算出しても良い。１個の体表検出用コイル７に関して位置配向算出装置５が算出する自由度が増えることにより、体表検出用コイル７の個数を減らすことができ、被検体３７に体表検出用コイル７を固定する際や超音波内視鏡検査中の術者や被検体３７の負担を減らすことができる。

また、本実施例においては、体表特徴点を腹部体表の剣状突起、左上前腸骨棘、右上前腸骨棘及び腰椎椎体棘突起とし、体腔内特徴点を十二指腸乳頭として説明したが、この例に限らず、胸部体表や胸部体腔内の特徴点や他の例でも良い。

また、本実施例においては、術者のマウス１２またはキーボード１３からの入力に応じ、被検体足側の方向から観察した３次元ガイド画像データを作成する例を挙げたが、この例に限らず、該入力に応じ、任意の軸または任意の角度により３次元ガイド画像をリアルタイムに回転できるようにしても良い。

本発明の実施例２を説明する。なお、本実施例は、３次元ガイド画像作成回路Ｂの作用以外の部分については実施例１と同じである。そのため、実施例１と同じ構成または作用を示す部分については、説明を省略する。

次に、本実施例の作用を説明する。

上述のように、本実施例は、３次元ガイド画像作成回路Ｂの作用のみが実施例１と異なる。
図１５に示すように、３次元ガイド画像作成回路Ｂは、実施例１においては、被検体足側の方向から観察した３次元ガイド画像データを作成し、混合回路６１へ出力した。そして、実施例１においては、術者による可撓部２２、硬性部２１の用手的な操作に伴うラジアル走査面の移動とともに、画像指標データ上の超音波断層像マーカＭｕと、先端方向マーカＭｄと、６時方向マーカＭｔと、挿入形状データ上の挿入形状マーカＭｓと、コイル位置マーカＭｃとが、３次元人体画像データ上を移動もしくは変形してゆく構成であった。

図２２に示すように、３次元ガイド画像作成回路Ｂは、本実施例においては、位置・配向写像データを基にして、超音波断層像マーカＭｕの法線と観察視線すなわち表示装置１４の画面法線とが一致するよう画面に正対させ、かつ、６時方向マーカＭｔが表示装置１４の画面の下方向に向くように設定されたガイド画像を作成する。

図２２の３次元ガイド画像データにおいては、術者による可撓部２２及び硬性部２１の用手的な操作に伴うラジアル走査面の移動とともに、画像指標データ上の超音波断層像マーカＭｕと、先端方向マーカＭｄと、６時方向マーカＭｔと、挿入形状データ上の挿入形状マーカＭｓと、コイル位置マーカＭｃとが表示装置１４の画面上で固定されつつ、３次元人体画像データが表示装置１４の画面上を移動していく。

図２２の３次元ガイド画像データにおいては、画像指標データのうちの超音波断層像マーカＭｕを半透明にすることにより、画像指標データの６時方向マーカＭｔと、先端方向マーカＭｄと、挿入形状データの挿入形状マーカＭｓと、コイル位置マーカＭｃとが透けて見えるようにしている。また、その他の臓器に対しては超音波断層像マーカＭｕを不透明にすることにより、超音波断層像マーカＭｕの裏側の部分が見えないようにしている。

その他の作用は、実施例１と同じである。

本実施例は、以下の効果を有する。

本実施例によれば、３次元ガイド画像作成回路Ｂが、位置・配向写像データを基にして、超音波断層像マーカＭｕの法線を観察視線すなわち表示装置１４の画面法線と一致するよう画面に正対させ、かつ６時方向マーカＭｔが表示装置１４の画面の下方向に向くように設定された３次元ガイド画像を作成する。これにより、前記３次元ガイド画像と、表示装置１４の画面に並べてリアルタイムに表示される超音波断層像との方向が一致する。そのため、術者は、両者を対比しやすく、超音波断層像の解剖学的な解釈をしやすい。

その他の効果は、実施例１と同じである。

（変形例）
本実施例の変形例として、実施例１で説明した変形例を適用できる。

次に、本発明の実施例３を説明する。
なお、本実施例は、３次元ガイド画像作成回路Ｂの作用以外の部分については実施例２と同じである。そのため、実施例２と同じ構成または作用を示す部分については、説明を省略する。

次に、本実施例の作用を説明する。

上述のように、本実施例は、３次元ガイド画像作成回路Ｂの作用のみが実施例２と異なる。

実施例２においては、図２２に示すように、３次元ガイド画像作成回路Ｂは、画像指標データのうちの超音波断層像マーカＭｕを半透明にし、画像指標データの６時方向マーカＭｔと先端方向マーカＭｄと、挿入形状データの挿入形状マーカＭｓと、コイル位置マーカＭｃとが透けて見えるようにしつつ、その他の臓器に対しては超音波断層像マーカＭｕを不透明にして超音波断層像マーカＭｕの裏側の部分を見えないようにした３次元ガイド画像データを作成し、混合回路６１へ出力した。

本実施例においては、図２３に示すように、３次元ガイド画像作成回路Ｂは、画像指標データのうちの超音波断層像マーカＭｕを半透明にする。また、３次元ガイド画像作成回路Ｂは、画像指標データの６時方向マーカＭｔと先端方向マーカＭｄと、挿入形状データの挿入形状マーカＭｓと、コイル位置マーカＭｃとだけでなく、その他の臓器の超音波断層像マーカＭｕの裏側の部分も透けて見えるようにしつつ、超音波断層像マーカＭｕの表側と裏側にある部分の輝度をそれぞれ変化させた３次元ガイド画像データを作成し、混合回路６１へ出力する。

例えば膵臓であれば、超音波断層像マーカＭｕより表側(手前側)にある部分を濃緑を用いて作成し、裏側にある部分を薄緑を用いて作成する。また、例えば血管であれば、超音波断層像マーカＭｕより表側(手前側)にある部分を濃赤を用いて作成し、裏側にある部分を薄赤を用いて作成する。

図２３においては、超音波断層像マーカＭｕの裏側にあり、かつ、超音波断層像マーカＭｕと重なる各マーカ及び各器官は、破線により示してある。
その他の作用は、実施例２と同じである。

本実施例は、以下の効果を有する。

本実施例によれば、３次元ガイド画像作成回路Ｂが、画像指標データのうちの超音波断層像マーカＭｕを半透明にし、画像指標データの６時方向マーカＭｔと、先端方向マーカＭｄと、挿入形状データの挿入形状マーカＭｓと、コイル位置マーカＭｃとだけでなく、その他の臓器の超音波断層像マーカＭｕの裏側の部分も透けて見えるようにしつつ、超音波断層像マーカＭｕの表側と裏側にある部分の輝度をそれぞれ変化させた３次元ガイド画像データを作成する。

そのため、本実施例によると、可撓部２２と硬性部２１とをさらにどう動かしたら、患部等の関心領域を超音波断層像上に表示できるかがわかりやすく示され、その結果、超音波内視鏡２の可撓部２２と硬性部２１との操作がし易くなる。

特に、胆嚢のように被検体３７内部で柔らかく動きやすい臓器は、超音波断層像マーカＭｕ上には写っていながら、超音波断層像上には写らない可能性がある。本実施例の３次元ガイド画像は、超音波断層像上において胆嚢の描出を可能とするための目印として作用するため、（胆嚢へ向けての）硬性部２１と可撓部２２との操作をし易くすることができる。

その他の効果は、実施例２と同じである。

（変形例）
本実施例においては、画像指標データのうちの超音波断層像マーカＭｕを半透明にすることにより、画像指標データの６時方向マーカＭｔと、先端方向マーカＭｄと、挿入形状データの挿入形状マーカＭｓと、コイル位置マーカＭｃとだけでなく、その他の臓器の超音波断層像マーカＭｕの裏側の部分も透けて見えるように構成及び作用させたが、これに限らず、超音波断層像マーカＭｕの透明度をマウス１２またはキーボード１３からの選択入力に応じて自由に変更することができるようにしても良い。
その他の変形例として、実施例２の変形例を適用することができる。

次に、本発明の実施例４を説明する。
なお、本実施例は、３次元ガイド画像作成回路Ｂの作用以外の部分については実施例３と同じである。そのため、実施例３と同じ構成または作用を示す部分については、説明を省略する。

次に、本実施例の作用を説明する。

上述のように、本実施例は、３次元ガイド画像作成回路Ｂの作用のみが実施例３と異なる。
実施例３においては、図２３に示すように、３次元ガイド画像作成回路Ｂは、画像指標データのうちの超音波断層像マーカＭｕを半透明にし、画像指標データの６時方向マーカＭｔと、先端方向マーカＭｄと、挿入形状データの挿入形状マーカＭｓと、コイル位置マーカＭｃとだけでなく、その他の臓器の超音波断層像マーカＭｕの裏側の部分も透けて見えるようにしつつ、超音波断層像マーカＭｕの表側と裏側にある部分の輝度をそれぞれ変化させた３次元ガイド画像データを作成し、混合回路６１へ出力した。

また、実施例３においては、例えば膵臓であれば、超音波断層像マーカＭｕより表側(手前側)にある部分を濃緑を用いて作成し、裏側にある部分を薄緑を用いて作成した。さらに、実施例３においては、例えば血管であれば、超音波断層像マーカＭｕより表側(手前側)にある部分を濃赤を用いて作成し、裏側にある部分を薄赤を用いて作成した。

本実施例においては、図２４に示すように、３次元ガイド画像作成回路Ｂは、超音波断層像マーカＭｕによって分けられる２つの領域のうち、可撓部２２の先端側すなわち表示装置１４の画面手前側を非表示にしつつ、超音波断層像マーカＭｕ上の部分と、裏側の部分との輝度を変化させた３次元ガイド画像データを作成して、混合回路６１へ出力する。
例えば膵臓であれば、超音波断層像マーカＭｕ上にある部分を濃緑を用いて作成し、裏側にある部分を薄緑を用いて作成する。また、例えば血管であれば、超音波断層像マーカＭｕ上にある部分を濃赤を用いて作成し、裏側にある部分を薄赤を用いて作成する。

その他の作用は、実施例３と同じである。

本実施例は、以下の効果を有する。

本実施例においては、３次元ガイド画像作成回路Ｂが、画像指標データのうちの超音波断層像マーカＭｕによって分けられる２つの領域のうち、可撓部２２の先端側すなわち表示装置１４の画面手前側を非表示にしつつ、超音波断層像マーカＭｕ上の部分と、裏側の部分との輝度を変化させた３次元ガイド画像データを作成する。

そのため、本実施例によれば、手前側の臓器が術者の３次元ガイド画像の観察の邪魔にならない。そのため、術者は、前記３次元ガイド画像と、表示装置１４の画面に並べてリアルタイムに表示される超音波断層像との対比を一層しやすく、超音波断層像の解剖学的な解釈をしやすい。
その他の効果は、実施例３と同じである。
（変形例）
本実施例の変形例は、実施例３の変形例を適用できる。

次に、本発明の実施例５を説明する。

なお、本実施例は、３次元ガイド画像作成回路Ｂの作用以外の部分については実施例１と同じである。そのため、実施例１と同じ構成または作用を示す部分については、説明を省略する。

次に、本実施例の作用を説明する。

上述のように、本実施例は、３次元ガイド画像作成回路Ｂの作用のみが実施例１と異なる。
実施例１においては、図１５に示すように、３次元ガイド画像作成回路Ｂは、画像指標データのうちの超音波断層像マーカＭｕを半透明にして、画像指標データの６時方向マーカＭｔと、先端方向マーカＭｄと、挿入形状データの挿入形状マーカＭｓと、コイル位置マーカＭｃとが透けて見えるようにし、その他の臓器に対しては超音波断層像マーカＭｕを不透明にすることにより、超音波断層像マーカＭｕの裏側の部分を見えないようにした３次元ガイド画像データを作成し、混合回路６１へ出力した。

本実施例においては、図２５に示すように、３次元ガイド画像作成回路Ｂは、画像指標データのうちの超音波断層像マーカＭｕを半透明にし、画像指標データの６時方向マーカＭｔと、先端方向マーカＭｄと、挿入形状データの挿入形状マーカＭｓと、コイル位置マーカＭｃとだけでなく、その他の臓器の超音波断層像マーカＭｕの裏側の部分も透けて見えるようにしつつ、超音波断層像マーカＭｕの表側と裏側にある部分の輝度をそれぞれ変化させた３次元ガイド画像データを作成し、混合回路６１へ出力する。

例えば膵臓であれば、超音波断層像マーカＭｕより先端方向マーカＭｄ側にある部分を濃緑を用いて作成し、反対側にある部分を薄緑を用いて作成する。また、例えば血管であれば、超音波断層像マーカＭｕより先端方向マーカＭｄ側にある部分を濃赤を用いて作成し、反対側にある部分を薄赤を用いて作成する。

その他の作用は、実施例１と同じである。

本実施例は、以下の効果を有する。

本実施例によれば、３次元ガイド画像作成回路Ｂが、画像指標データのうちの超音波断層像マーカＭｕを半透明にし、画像指標データの６時方向マーカＭｔと、先端方向マーカＭｄと、挿入形状データの挿入形状マーカＭｓと、コイル位置マーカＭｃとだけでなく、その他の臓器の超音波断層像マーカＭｕの裏側の部分も透けて見えるようにしつつ、超音波断層像マーカＭｕの表側と裏側にある部分の輝度をそれぞれ変化させた３次元ガイド画像データを作成する。

そのため、本実施例によると、可撓部２２と硬性部２１とをさらにどう動かしたら、患部等の関心領域を超音波断層像上に表示できるかがわかりやすく示され、その結果、超音波内視鏡２の操作がし易くなる。
特に、胆嚢のように被検体３７内部で柔らかく動きやすい臓器は、超音波断層像マーカＭｕ上には写っていながら、超音波断層像上には写らない可能性がある。本実施例の３次元ガイド画像は、超音波断層像上において胆嚢の描出を可能とするための目印として作用するため、（胆嚢へ向けての）硬性部２１と可撓部２２との操作をし易くすることができる。

その他の効果は、実施例１と同じである。

（変形例）
本実施例においては、画像指標データのうちの超音波断層像マーカＭｕを半透明にし、画像指標データの６時方向マーカＭｔと、先端方向マーカＭｄと、挿入形状データの挿入形状マーカＭｓと、コイル位置マーカＭｃとだけでなく、その他の臓器の超音波断層像マーカＭｕの裏側の部分も透けて見えるようにしたが、これに限らず、超音波断層像マーカＭｕの透明度をマウス１２またはキーボード１３からの選択入力に応じて自由に変更することができるようにしても良い。
その他の変形例として、実施例１の変形例を適用できる。

次に、本発明の実施例６を説明する。なお、本実施例においては、実施例１と異なる箇所について主に説明する。

実施例１における硬性部２１には、画像位置配向検出用コイル３１が超音波振動子アレイ２９の環の中心のごく近傍に固定された状態として設けられていた。

本実施例における硬性部２１には、画像位置配向検出用コイル３１がＣＣＤカメラ２６のごく近傍に固定された状態として設けられている。

なお、 画像位置配向検出用コイル３１の固定されている向きは、実施例１と同じである。また、ＣＣＤカメラ２６の光軸は、図１のＶとＶ₁₂とを含む平面内において、Ｖに対し既知の角度に向いている。

図２６は、本実施例の画像処理装置１１を示す。実施例１の画像処理装置１１における混合回路６１は、超音波観測装置４と接続されていた。これと異なり、本実施例における混合回路６１は、超音波観測装置４の代わりに、光学観察装置３と接続されている。

その他の構成は、実施例１と同じである。

次に、本実施例の作用を説明する。

実施例１の画像処理装置１１においては、術者が入手先としてＸ線３次元ヘリカルＣＴ装置１５を選択し、通信回路５４が参照画像データとして複数枚の２次元ＣＴ画像を取り込み、図５に示すような参照画像データが参照画像記憶部５５へ記憶された場合についての作用を説明した。そして、Ｘ線造影剤の作用により、大動脈及び上腸間膜静脈等の血管が高輝度に、膵臓(pancreas)等の末梢血管を多く含む器官が中輝度に、十二指腸(duodenum)等が低輝度に造影されていた。

本実施例においては、Ｘ線３次元ヘリカルＣＴ装置１５を用いて胸部、特に気管、気管支及び気管分枝を非造影により撮像した場合の例であり、かつ、気管支が気管分枝aと気管分枝bとの２本の気管分枝に分岐する箇所において超音波内視鏡２を気管分枝aへ挿入する場合の例について説明する。

光学観察装置３は、光学像の１２時方向（上方向）を、図１のＶとＶ₁₂とを含む平面へのＶ₁₂の射影方向と反対の方向にしつつ光学像データを作成する。

３次元人体画像作成回路５７は、補間回路５６から高輝度値のボクセル(主に気管、気管支及び気管分枝の壁)、を抽出して着色する。また、３次元人体画像作成回路５７は、抽出したボクセルを３次元人体画像データとして合成回路５８の合成メモリ５８ａのボクセル空間へ埋めていく。

このとき、３次元人体画像作成回路５７は、抽出したボクセルの補間メモリ５６ａ内のボクセル空間のアドレスと、合成メモリ内のボクセル空間のアドレスとが同じになるように埋めていく。３次元人体画像データは、具体的には、高輝度の気管壁、気管支壁及び気管分枝壁を抽出し、各壁を肌色により着色し、被検体３７の頭側を右側とし、被検体３７の足側を左側とし、被検体３７の腹側から観察した３次元データとして作成される。

画像指標作成回路５２は、直交座標軸O-xyzにおける画像位置配向検出用コイル３１の位置O"の位置ベクトルOO"の各方向成分(x0,y0,z0)と、直交座標軸O-xyzに対する画像位置配向検出用コイル３１の配向を示すオイラー角の各角度成分(ψ,θ,φ)との計６自由度の位置・配向写像データと、検出状況データとに基づいて画像指標データを作成し、合成回路５８へ出力する。

画像指標データは、光軸の方向を示す光学像視野方向マーカと、光学像の１２時方向を示す光学像up方向マーカとを合成した、直交座標軸O'-x'y'z'上における画像データである。

そして、光学像視野方向マーカ及び光学像up方向マーカは、画像位置配向検出用コイル３１の検出状況データに応じて着色される。具体的には、画像位置配向検出用コイル３１の検出状況データが「正常」である場合には、光学像視野方向マーカがオレンジ色に着色され、光学像up方向マーカが黄緑色に着色される。また、画像位置配向検出用コイル３１の検出状況データが「精度低」である場合には、光学像視野方向マーカが黄色に着色され、光学像up方向マーカが黄色に着色される。さらに、画像位置配向検出用コイル３１の検出状況データが「検出不能」である場合には、光学像視野方向マーカが赤色に着色され、光学像up方向マーカが赤色に着色される。

挿入形状作成回路５３は、実施例１と同様に、画像位置配向検出用コイル３１の位置O"の位置ベクトルOO"の各方向成分(x0,y0,z0)と、直交座標軸O-xyzにおける複数個の挿入形状検出用コイル３２の各々の位置ベクトルの各方向成分(xi,yi,zi) との位置・配向写像
データと、検出状況データとに基づいて挿入形状データを作成し、合成回路５８へ出力する。なお、この様子は、図１１Ａに示した通りである。挿入形状データは、画像位置配向検出用コイル３１と５個の挿入形状検出用コイル３２の各々の位置を順につないで補間したひも状の挿入形状マーカＭｓと、各コイル位置を示すコイル位置マーカＭｃとを合成した直交座標軸O'-x'y'z'上における画像データである。
合成回路５８は、画像指標データと、挿入形状データとを合成メモリ５８ａ内のボクセル空間に埋めていく。このようにして、合成回路５８は、同じボクセル空間内に３次元人体画像データと、画像指標データと、挿入形状データとを同じ合成メモリ５８ａ内に埋めていくことにより、これらを一組の合成３次元データとして合成する。

回転変換回路５９は、合成３次元データを読み出した後、制御回路６３からの回転指示信号に従って、合成３次元データに対して回転処理を施す。

３次元ガイド画像作成回路Ａは、合成３次元データに対して陰面消去及び陰影付け等のレンダリング処理を施し、画面に出力可能な３次元ガイド画像データを作成する。なお、３次元ガイド画像データのデフォルトの向きは、人体の腹側からの向きとする。

従って、３次元ガイド画像作成回路Ａは、被検体３７の腹側の方向から観察した３次元ガイド画像データを作成する。そして、３次元ガイド画像作成回路Ａは、被検体３７の腹側から観察した３次元ガイド画像データを混合回路６１へ出力する。この３次元ガイド画像データは、例えば図２７に示すようなものである。図２７においては、右側が被検体３７の頭側に相当し、また、左側が被検体３７の足側に相当する。

図２７の３次元ガイド画像データにおいては、気管支の壁と、その先の気管分枝a及び気管分枝bの壁とを半透明にすることにより、画像指標データの光学像視野方向マーカと、光学像up方向マーカと、挿入形状データの挿入形状マーカＭｓと、コイル位置マーカＭｃとが見えるようにしている。

３次元ガイド画像作成回路Ｂは、回転処理を加えられた合成３次元データに対して陰面消去及び陰影付け等のレンダリング処理を施し、画面に出力可能な３次元ガイド画像データを作成する。

本実施例においては、一例として、マウス１２またはキーボード１３からの入力に応じた、制御回路６３からの回転指示信号により、３次元ガイド画像データを９０度回転させ、被検体３７の足側から観察する指示内容になっていたものとする。

これに従い、３次元ガイド画像作成回路Ｂは、被検体３７の足側からの方向で観察した３次元ガイド画像データを作成する。そして、３次元ガイド画像作成回路Ｂは、被検体３７の足側から観察した３次元ガイド画像データを混合回路６１へ出力する。この３次元ガイド画像データは、例えば図２８に示すようなものである。図２８においては、被検体３７の右側が被検体３７の右側に相当し、、左側が被検体３７の左側に相当する。

図２８の３次元ガイド画像データにおいては、気管支の壁と、その先の気管分枝a及び気管分枝bの壁とを半透明にすることにより、画像指標データの光学像視野方向マーカと、光学像up方向マーカと、挿入形状データの挿入形状マーカＭｓと、コイル位置マーカＭｃとが見えるようにしている。

検出状況画像作成回路６４は、検出状況データに基づき、画像位置配向検出用コイル３１の位置と、５個の挿入形状検出用コイル３２の各々の位置と、体表検出用コイル７の各々の位置と、の検出状況を視覚的に告知可能な、例えば図１１Ｂに示すような検出状況画像を生成し、検出状況画像画像データとして混合回路６１へ出力する。なお、検出状況画像データの生成に関しては、実施例１において述べた通りである。

混合回路６１は、光学観察装置３からの光学像データと、３次元ガイド画像作成回路Ａからの被検体３７を腹側から観察した３次元ガイド画像データと、３次元ガイド画像作成回路Ｂからの被検体３７を足側から観察した３次元ガイド画像データと、検出状況画像作成回路６４からの検出状況画像画像データと、を並べて表示用の混合データを作成する。

表示回路６２はこの混合データをアナログビデオ信号に変換する。

表示装置１４は、前記アナログビデオ信号に基づき、光学像と、被検体３７を足側から観察した３次元ガイド画像と、被検体３７を腹側から観察した３次元ガイド画像と、検出状況画像とを並べて表示する。

図２９に示すように、表示装置１４は、３次元ガイド画像上において表現される気管支の壁と、気管分枝の壁とを肌色により表示する。

また、本実施例においては、光学像がリアルタイム画像として処理される。

さらに、本実施例においては、実施例１と略同様に、２つの新たな３次元ガイド画像が作成され、新たな光学像とともに表示装置１４の表示画面にリアルタイムに更新されつつ表示される。すなわち、図２９に示すように、術者の可撓部２２及び硬性部２１の用手的な操作に伴う光軸の移動に連動して、画像指標データの光学像視野方向マーカと、光学像up方向マーカと、挿入形状データの挿入形状マーカＭｓと、コイル位置マーカＭｃとが３次元人体画像データ上を移動もしくは変形してゆくとともに、検出状況画像の各マーカと、３次元ガイド画像内の各マーカの色とが、各コイルの検出状況に伴って随時変化してゆく。

その他の作用は、実施例１と同じである。
本実施例は、以下の効果を有する。

本実施例によれば、気管支の壁と、その先の気管分枝a及び気管分枝bの壁とを半透明にすることにより、画像指標データの光学像視野方向マーカと、光学像up方向マーカと、挿入形状データの挿入形状マーカＭｓと、コイル位置マーカＭｃとが見えるようにした３次元ガイド画像データを作成する。また、本実施例によれば、混合回路６１及び表示装置１４の作用により、光学像と、被検体３７を足側から観察した３次元ガイド画像と、被検体３７を腹側から観察した３次元ガイド画像と、検出状況画像とが並べて表示される。
そのため、本実施例は、超音波内視鏡２（或いは以下の変形例で説明するような内視鏡）を気管分枝aへ挿入する場合に、気管分枝bへの誤挿入を防ぐことができる。

その他の効果は、実施例１と同じである。

本実施例においては、画像指標データの光学像視野方向マーカと、光学像up方向マーカと、挿入形状データの挿入形状マーカＭｓと、コイル位置マーカＭｃとが見えるように合成された３次元ガイド画像データを作成している。そのため、本実施例によれば、術者は、気管支の深部側に超音波内視鏡２を挿入する場合以外の他の場合においても、円滑な診断及び処置を行うことが可能となる。すなわち、本実施例によれば、術者が診断及び処置を円滑に行い易い体腔内プローブ装置を実現することができる。

（変形例）
本実施例によれば、実施例１と同様に、光学観察系（光学観察窓２４、対物レンズ２５、ＣＣＤカメラ２６、及び、図示しない照明光照射窓）を具備する電子ラジアル走査型の超音波内視鏡２を体腔内プローブとして用いたが、これに限らず、例えば、光学観察系のみを具備する内視鏡を体腔内プローブとして用いるものであっても良い。

その他の変形例は、実施例１における変形例を適用することができる。

なお、上述した各実施例等を部分的に組み合わせる等して構成される実施例等も、本発明に属するものとする。また、画像処理装置１１のブロック構成は、図４等において示したものに限らず、適宜変更しても良い。

本発明の実施例１の体腔内プローブ装置の全体構成図。 体表検出用コイルを使用例で模式的に示す図。 体腔内接触プローブを示す側面図。 画像処理装置の構成を示すブロック図。 参照画像記憶部内に記憶される参照画像データを示す説明図。 ボクセル空間を示す説明図。 位置・配向データを表すために送信アンテナ上に原点を設定した直交基底を示す図。 被検体側の超音波断層像の中心をボクセル空間へ写像する様子等を示す説明図。 被検体側の体腔内特徴点をボクセル空間へ写像する様子等を示す説明図。 位置配向算出装置における判定結果が「正常」である場合において、画像指標作成回路により画像指標データが作成される様子を示す説明図。 位置配向算出装置における判定結果が「精度低」である場合において、画像指標作成回路により画像指標データが作成される様子を示す説明図。 位置配向算出装置における判定結果が「検出不能」である場合において、画像指標作成回路により画像指標データが作成される様子を示す説明図。 挿入形状作成回路により作成される挿入形状データが作成される様子を示す説明図。 検出状況画像作成回路により作成される検出状況画像の一例を示す図。 ３次元人体画像データを示す説明図。 合成回路により画像指標データと挿入形状データとが合成メモリ内のボクセル空間に埋められていく様子を示す説明図。 被検体の腹側から観察した場合の３次元ガイド画像データを示す説明図。 被検体の足側から観察した場合の３次元ガイド画像データを示す説明図。 表示装置に表示される３次元ガイド画像、超音波断層像及び検出状況画像を示す図。 本実施例の全体的な処理内容を示すフローチャート。 図１７における参照画像上での体表特徴点、体腔内特徴点指定処理の具体的な処理内容を示すフローチャート。 図１７における補正値算出処理の具体的な処理内容を示すフローチャート。 図１９における処理の説明図。 図１７における超音波断層像・３次元ガイド画像作成／表示処理の具体的な処理内容を示すフローチャート。 本発明の実施例２における３次元ガイド画像データを示す説明図。 本発明の実施例３における３次元ガイド画像データを示す説明図。 本発明の実施例４における３次元ガイド画像データを示す説明図。 本発明の実施例５における３次元ガイド画像データを示す説明図。 本発明の実施例６における画像処理装置の構成を示すブロック図。 ３次元ガイド画像作成回路Ａが生成する３次元ガイド画像データを示す説明図。 ３次元ガイド画像作成回路Ｂが生成する３次元ガイド画像データを示す説明図。 表示装置に表示される３次元ガイド画像、光学像及び検出状況画像を示す図。

符号の説明

１…体腔内プローブ装置
２…超音波内視鏡
３…光学観察装置
４…超音波観測装置
５…位置配向算出装置
６…送信アンテナ
７…体表検出用コイル
８…体腔内接触プローブ
９…Ａ／Ｄ変換ユニット部
１１…画像処理装置
１４…表示装置
１５…Ｘ線３次元ヘリカルＣＴ装置
２１…硬性部
２２…可撓部
２６…ＣＣＤカメラ
２９…超音波振動子アレイ
３１…画像位置配向検出用コイル
３２…挿入形状検出用コイル
４２…体腔内検出用コイル
５１…マッチング回路
５２…画像指標作成回路
５３…挿入形状作成回路
５５…参照画像記憶部
５６…補間回路
５７…３次元人体画像作成回路
５８…合成回路
５９…回転変換回路
６０…３次元ガイド画像作成回路Ａ，Ｂ
６１…混合回路
６２…表示回路
６４…検出状況画像作成回路
６５…体腔内特徴点指定キー
６６…走査制御キー
６７…スコープデータ記憶部

Claims (7)

1. 体腔内に存在する被写体の像に応じた画像を作成するための信号を取得する画像信号取得手段と、
   前記画像信号取得手段により取得された信号に基づいて前記体腔内のリアルタイム画像を作成する画像作成手段と、
   前記画像信号取得手段に対して位置が固定された画像位置配向検出用素子の位置及び配向を少なくとも検出し、検出結果を検出値として出力する検出手段と、
   人体の解剖学的な画像を複数具備してなる参照画像データを保持する参照画像データ保持手段と、
   前記検出手段により検出された前記検出値と、前記参照画像データとに基づき、前記リアルタイム画像の前記体腔内における解剖学的な位置及び配向のうち、少なくとも一方をガイドするためのガイド画像を作成するガイド画像作成手段と、
   前記検出手段における前記検出値の検出状況を告知するための検出状況告知情報を作成する検出状況告知情報作成手段と、
   を有することを特徴とする医療用システム。
2. 前記画像信号取得手段は、１または複数の挿入形状検出用素子が長手軸方向に設けられた細長な形状を有する体腔内用プローブであり、
   前記検出手段は、前記画像位置配向検出用素子の位置及び配向と、前記挿入形状検出用素子各々の位置及び配向とを検出し、検出結果を前記検出値として各々出力し、
   前記ガイド画像作成手段は、前記検出手段により検出された前記検出値各々と、前記参照画像データとに基づき、前記体腔内用プローブの形状をガイドするための挿入形状画像を作成することを特徴とする請求項１に記載の医療用システム。
3. 前記検出状況告知情報作成手段は、前記画像位置配向検出用素子の位置及び配向の検出状況と、前記挿入形状検出用素子各々の位置及び配向の検出状況とを告知するための情報を、前記検出状況告知情報として作成することを特徴とする請求項２に記載の医療用システム。
4. 前記ガイド画像作成手段は、前記挿入形状検出用素子各々のうち、前記検出手段において位置及び配向が検出できなかったものがある場合については、前記検出手段において位置及び配向が検出できたものの前記検出値に基づいて位置及び配向の推定値を算出し、該推定値を用いつつ前記挿入形状画像を作成することを特徴とする請求項２または請求項３に記載の医療用システム。
5. 前記画像信号取得手段は、１または複数の挿入形状検出用素子が長手軸方向に設けられた細長な形状を有し、前記体腔内の超音波断層画像を作成するための超音波信号を送受可能な超音波プローブであることを特徴とする請求項１乃至請求項４のいずれか一に記載の医療用システム。
6. 前記検出状況告知情報は、前記検出値の検出精度を各々視覚的に示すための情報を含むことを特徴とする請求項１乃至請求項５のいずれか一に記載の医療用システム。
7. 前記ガイド画像及び前記検出状況告知情報は、一の表示手段において併せて画像表示されることを特徴とする請求項１乃至請求項６のいずれか一に記載の医療用システム。