JP2008284162A - 超音波診断装置 - Google Patents

Abstract

【課題】臓器・器官・組織等の関心領域の超音波断層像を観察する際に、関心領域自体が移動したり変形したりしても、超音波断層像の実際の解剖学的な位置や配向を正しく示すガイド画像を表示する。
【解決手段】参照画像記憶部５５に通常の膵臓の参照画像データと膵臓が回転や移動をした後の参照画像データとを記憶し、制御回路６３が参照画像データの何れを用いるかを判断する。補間回路５６は制御回路６３からの指令により参照画像データを再度読み直し、補間メモリ、合成メモリのボクセル空間がキーの組み合わせに対応して読み出された参照画像データで埋められる。これにより、術者によるキー操作に対して瞬時に３次元人体画像データおよびガイド画像が切り替えられ、超音波断層像の実際の解剖学的な位置や配向とを正しく示すガイド画像を表示することができる。
【選択図】図４

Description

本発明は、生体内へ超音波を送受して超音波断層像を取得する超音波診断装置に関する。

従来より、消化管、胆膵管、血管等の体腔内へ超音波プローブを挿入して、超音波断層像を取得する超音波診断装置が周知である。

例えば、特許文献１（特開２００６−１４９４８１号公報）や特許文献２（国際出願ＷＯ２００６／０５７２９６号公報）には、超音波断層像の位置や配向を検出し、この位置や配向を用いて、予め保持しておいた３Ｄ−ＣＴデータ等の参照画像データに基づき、超音波断層像の解剖学的な位置や配向のガイド画像を表示する超音波診断装置が開示されている。この超音波診断装置では、超音波プローブの例として超音波内視鏡を採用している。

また、特許文献３（特開２００２−２６３１０１号公報）には、生体内部の組織に対して超音波を送受波し、これにより受信信号を出力する超音波探触子と、前記受信信号に基づいて前記組織の超音波画像を形成する超音波画像形成手段と、生体内部を模式的に表す複数のイラストイメージを格納したイメージデータベースと、前記イメージデータベースから前記組織に対応したイラストイメージを選択するイメージ選択手段と、前記超音波画像とともに、前記選択されたイラストイメージを表示する表示手段とを含む超音波診断装置が開示されている。

この特許文献３におけるイメージデータは、段落［００４５］に記載されているように、科目及びタイプによって区分され、各イメージデータ毎に座標情報が関連付けられている。例えば、科目として「腹部」が指定され、タイプとして「全体」が指定された場合には、それらによって特定されるファイル名をもったイメージデータが検索され、当該イメージデータが表示処理部へ出力される。
特開２００６−１４９４８１号公報 国際出願ＷＯ２００６／０５７２９６号公報 特開２００２−２６３１０１号公報

ところで、生体の臓器・器官・組織等の関心領域に接近したり、関心領域全体を漏れなく観察する際には、リアルタイムの超音波断層像を観察しながら、超音波プローブを移動させたり変形させたり向きを変えたりすることが通例である。

しかしながら、この超音波プローブの移動、変形、向きの変化が、臓器等の観察部位自体の移動や変形を引き起こすことがあり、前述の特許文献１〜３の技術では、このような問題に対処することは困難である。

すなわち、特許文献１（特開２００６−１４９４８１号公報）及び特許文献２（国際出願ＷＯ２００６／０５７２９６号公報）で開示されている超音波診断装置では、参照画像データ中の臓器と、超音波プローブで走査中の臓器との間で位置や形状が異なってしまい、ガイド画像が超音波断層像の実際の解剖学的な位置や配向を示せない虞がある。

また、特許文献３（特開２００２−２６３１０１号公報）で開示されている超音波診断装置は、前述したように、「腹部」のような「科目」や、「全体」のような「タイプ」についての表現形態を選択することはできるが、臓器もしくは器官もしくは組織の自身の状態を選択することはできない。

従って、前述の超音波プローブの移動、変形、向きの変化が、観察部位例えば臓器自体の移動や変形を引き起こすことにより、参照画像データ中の臓器と、超音波プローブで走査中の臓器との間で位置や形状が異なってしまい、ガイド画像が超音波断層像の実際の解剖学的な位置や配向を示せないという課題は、依然として未解決のままである。

本発明は上記事情に鑑みてなされたもので、臓器・器官・組織等の関心領域の超音波断層像を観察する際に、関心領域自体が移動したり変形したりしても、超音波断層像の実際の解剖学的な位置や配向を正しく示すガイド画像を表示することのできる超音波診断装置を提供することを目的としている。

上記目的を達成するため、本発明による超音波診断装置は、生体内へ超音波を送受して得られる超音波信号に基づき超音波断層像を作成する超音波断層像作成部と、前記超音波断層像の位置および／または配向を検出する検出部と、参照データを保持する参照データ保持部と、前記位置および／または配向を用いて、前記参照データに基づき、前記超音波断層像の解剖学的な位置および／または配向のガイド画像を作成するガイド画像作成部と、前記ガイド画像を表示する表示部とを具備する超音波診断装置において、前記参照データは、臓器もしくは器官もしくは組織を関心領域として、該関心領域の複数の状態の各々に対応した複数の画像データからなり、前記複数の状態のうち、何れかの状態を選択する状態選択部を設け、前記ガイド画像作成部は、前記状態選択部により選択された前記状態に対応した画像データを基に前記ガイド画像を作成することを特徴とする。

本発明によれば、臓器・器官・組織等の関心領域の超音波断層像を観察する際に、超音波プローブの移動、変形、向きの変化等により、関心領域自体が移動したり変形したりしても、超音波断層像の実際の解剖学的な位置や配向を正しく示すガイド画像を表示することができる。

以下、図面を参照して本発明の実施の形態を説明する。

［第１の実施の形態］
図１〜図２３は本発明の第１の実施の形態に係り、図１は超音波診断装置の構成を示すブロック図、図２は体表検出用コイルを使用例で模式的に示す説明図、図３は体腔内接触プローブを示す側面図、図４は画像処理装置の構成を示すブロック図、図５は参照画像記憶部内に記憶される参照画像データを示す説明図、図６はボクセル空間を示す説明図、図７はキーボードのキー配列を示す説明図、図８は位置・配向データを表すために送信アンテナ上に原点を設定した直交基底を示す説明図、図９は被検体側の体腔内特徴点をボクセル空間へ写像する様子等を示す説明図、図１０は画像指標作成回路により画像指標データが作成される様子を示す説明図、図１１は挿入形状作成回路により作成される挿入形状データが作成される様子を示す説明図、図１２は３次元人体画像データを示す説明図、図１３は合成回路により画像指標データと挿入形状データとが合成メモリ内のボクセル空間に埋められていく様子を示す説明図、図１４は被検体の腹側から観察した場合の３次元ガイド画像データを示す説明図、図１５は超音波断層像と同じ向きから観察した場合の３次元ガイド画像データを示す説明図、図１６は表示装置に表示される３次元ガイド画像及び超音波断層像を示す図、図１７は全体的な処理内容を示すフローチャート、図１８は図１７における参照画像上での体表特徴点、体腔内特徴点指定処理の具体的な処理内容を示すフローチャート、図１９は図１７における補正値算出処理の具体的な処理内容を示すフローチャート、図２０は図１９における処理の説明図、図２１は図１７における超音波断層像・３次元ガイド画像作成／表示処理の具体的な処理内容を示すフローチャート、図２２は３次元人体画像データの回転・移動を示す説明図、図２３はキーの組み合わせと参照画像データとの対応を示す説明図である。

先ず、本実施の形態における超音波診断装置の構成について説明する。図１に示すように、本実施の形態の超音波診断装置１は、超音波プローブとしての電子ラジアル走査型の超音波内視鏡２と、光学観察装置３と、超音波内視鏡２からの超音波信号に基づき超音波断層像を作成する超音波断層像作成部としての超音波観測装置４と、超音波断層像の位置及び／又は配向を検出する検出部としての位置配向算出装置５と、送信アンテナ６と、体表検出用コイル７と、体腔内接触プローブ８と、Ａ／Ｄユニット部９と、画像処理装置１１と、マウス１２と、キーボード１３と、表示部としての表示装置１４とを備え、これらは信号線で接続されている。

超音波診断装置１の外部には、Ｘ線３次元ヘリカルＣＴ装置（X-ray 3 dimentional computer tomography system）１５、３次元ＭＲＩ装置（3 dimentional magnetic resonance imaging system）１６、それらを接続した光通信やＡＤＳＬ等の高速のネットワーク１７がある。Ｘ線３次元ヘリカルＣＴ装置１５と３次元ＭＲＩ装置１６とは、ネットワーク１７経由で本超音波診断装置１の画像処理装置１１と接続している。

超音波内視鏡２は、食道、胃、十二指腸などの体腔に挿入されて用いられるよう、先端のステンレス等の硬質な材料で構成された硬性部２１と、硬性部２１より後端側に可撓性のある材料で構成された長尺の可撓部２２と、可撓部２２より後端側に硬質な材料で構成された操作部２３とからなる。尚、硬性部２１と可撓部２２は、体腔内に挿入される挿入部を形成する。

硬性部２１には、カバーガラスで形成された光学観察窓２４が設けてあり、この光学観察窓２４の内側に光学像を結ぶ対物レンズ２５と、その結像位置に配置された撮像素子として、例えばＣＣＤ(charge coupled device)２６とが設けてある。また、この光学観察窓２４に隣接して、体腔内に照明光を照射する図示しない照明光照射窓（照明窓）が設けられている。

ＣＣＤ２６は、光学観察装置３と信号線２７で接続されている。図示しない照明光照射窓は照明光を照射し、体腔内を照明するよう構成されている。体腔表面の像は、光学観察窓２４から対物レンズ２５を経由してＣＣＤ２６に結像され、ＣＣＤ２６からのＣＣＤ信号は、信号線２７を経由して光学観察装置３へ出力される。

硬性部２１は、例えば円柱状の先端部分が短冊状に細かく切断され、挿入軸の周囲に環状でアレイ状に配列させた超音波振動子群が設けてあり、この超音波振動子群で超音波振動子アレイ２９が形成されている。超音波振動子アレイ２９を構成する各超音波振動子２９ａは、それぞれ信号線３０を介して操作部２３経由で超音波観測装置４と接続されている。超音波振動子アレイ２９の環の中心は、後述するラジアル走査による超音波ビームの旋回中心である。

ここで、硬性部２１に固定した正規直交基底（各方向の単位ベクトル）Ｖ、Ｖ₃、Ｖ₁₂を図１のように定義する。Ｖは硬性部２１の長手方向（挿入軸方向）と平行なベクトルであり、後述するように、超音波断層像の法線方向ベクトルとなる。このベクトルＶに直交するＶ₃は３時方向ベクトル、Ｖ₁₂は１２時方向ベクトルである。

硬性部２１内には、超音波振動子アレイ２９に対する画像位置配向検出用素子としての画像位置配向検出用コイル３１が超音波振動子アレイ２９の環の中心のごく近傍に固定して設けてある。画像位置配向検出用コイル３１は、ベクトルＶ及びＶ₃の２つの方向（軸）を指向するように、２軸方向に巻かれたコイルが一体に形成され、ベクトルＶ及びＶ₃の両方向を検出できるように設定されている。

可撓部２２内には、超音波内視鏡２における挿入部を構成する可撓部２２の挿入形状を検出するため、挿入軸に沿って、例えば一定間隔で複数の挿入形状検出用コイル３２が設けてある。図１に示すように、挿入形状検出用コイル３２は、１軸方向に巻かれたコイルで、その巻線軸方向が可撓部２２の挿入軸方向と一致するよう可撓部２２内部に固定されている。

尚、硬性部２１の位置と配向とは、画像位置配向検出用コイル３１の位置から検出できる。また、可撓部２２の先端付近には、湾曲自在の湾曲部が設けられることが多く、この湾曲部付近のみに複数の挿入形状検出用コイル３２を設け、超音波内視鏡２の挿入部の先端側部分の挿入形状を検出するようにしても良い。

本実施の形態においては、複数の挿入形状検出用コイル３２を採用することにより、磁場を利用して挿入形状の検出を行う。これにより、挿入形状検出のために、術者及び患者（被検体）が放射線被曝を受けないようにできる。

位置配向算出装置５は、画像位置配向検出用コイル３１の位置及び配向及び複数の挿入形状検出用コイル３２の位置等を検出するものであり、送信アンテナ６と、複数のＡ／Ｄユニット９ａ，９ｂ，９ｃを有するＡ／Ｄユニット９と、画像処理装置１１と信号線で接続されている。このうち、位置配向算出装置５と画像処理装置１１とは、例えばＲＳ−２３２Ｃ規格のケーブル３３で接続されている。

送信アンテナ６は、巻線軸の配向の異なる複数の図示しない送信コイルにより構成され、これらの送信コイルは、例えば直方体の筐体の中に一体に収納されている。複数の送信コイルは、それぞれ位置配向算出装置５に接続されている。

Ａ／Ｄユニット９ａ，９ｂ，９ｃの各々は、入力されるアナログ信号を増幅する図示しないアンプと、増幅された信号をサンプリングしてデジタルデータへ変換する図示しないアナログデジタル変換回路とを備えている。Ａ／Ｄユニット９ａは、画像位置配向検出用コイル３１と、複数の挿入形状検出用コイル３２の各々と、個別に信号線３４で接続されている。Ａ／Ｄユニット９ｂは、長尺の体腔内接触プローブ８と信号線３５で接続されている。Ａ／Ｄユニット９ｃは、複数の体表検出用コイル７の各々と個別に信号線３６で接続されている。

図２に示すように、体表検出用コイル７は、各々１軸方向に巻かれた４個のコイルからなり、各々のコイルがテープ、ベルト、バンドなどで、被検体３７の体表、具体的には腹部体表の特徴のある点(以下、単に体表特徴点)に着脱可能に固定され、その体表特徴点の磁場を用いた位置検出に利用される。通常の上部内視鏡検査では、被検体３７は左側を下にしてベッド３８上で横になるいわゆる左側臥位の姿勢をとって、内視鏡を口から挿入されるので、図２もその姿勢で描いている。

本実施の形態では、体表特徴点を、骨格上の特徴のある箇所「剣状突起」(xiphoid process)、骨盤(pelvis)の左側の「左上前腸骨棘」(left anterior superior iliac spine)、骨盤の右側の「右上前腸骨棘」(right anterior superior iliac spine)、左右の上前腸骨棘の中間で脊椎上の「腰椎椎体棘突起」(spinous process of vertebral body)の４点にとって説明する。この４点は術者が触診で位置を特定できる。また、この４点は同一平面状になく、剣状突起を原点として他の特徴点へ向かう３本のベクトルを基本ベクトルとする斜交座標系(un-orthogonal reference frame)を形成する。この斜交座標系を図２に太線で示す。

図３は体腔内接触プローブ８を示す。体腔内接触プローブ８は、可撓性のある材料で構成された外筒４１を有する。この外筒４１内におけるその先端には、体腔内検出用コイル４２が固定して設けられ、この外筒４１の後端にはコネクタ４３が設けてある。

図３に示すように、体腔内検出用コイル４２は、１軸方向に巻かれたコイルで、体腔内接触プローブ８の先端に固定されている。体腔内検出用コイル４２は、その巻線軸方向が体腔内接触プローブ８の挿入軸方向と一致するよう固定されている。そして、この体腔内検出用コイル４２は、体腔内接触プローブ８の先端が接触された体腔内の関心部位等の位置検出に利用される。

図１に示すように、超音波内視鏡２は、操作部２３から可撓部２２を経て硬性部２１にかけて、操作部２３に第１の開口として、鉗子等を挿入する処置具挿入口（以下では、簡単化のため鉗子口と略記）４４を備え、硬性部２１に第２の開口としての突出口４５を備えた、管状の処置具チャンネル４６が設けてある。

この処置具チャンネル４６は、体腔内接触プローブ８を鉗子口４４から挿通し、突出口４５から突出できるよう構成されている。突出口４５の開口方向は、体腔内接触プローブ８が突出口４５から突出したときに、体腔内接触プローブ８が光学観察窓２４の光学視野範囲の内に入るよう向けられている。

図４に示すように、画像処理装置１１は、マッチング回路５１と、画像指標作成回路５２と、挿入形状作成回路５３と、通信回路５４と、参照データを保持する参照データ保持部としての参照画像記憶部５５と、補間回路５６と、３次元人体画像作成回路５７と、合成回路５８と、回転変換回路５９と、異なる２つの視線方向の３次元ガイド画像を作成するガイド画像作成部としての３次元ガイド画像作成回路６０(以下、３次元ガイド画像作成回路Ａと３次元ガイド画像作成回路Ｂと記載)と、混合回路６１と、表示回路６２と、制御回路６３とを有している。通信回路５４は、大容量で高速の通信モデムを内部に設けており、Ｘ線３次元ヘリカルＣＴ装置１５と３次元ＭＲＩ装置１６とネットワーク１７経由で接続している。

マッチング回路５１は、位置配向算出装置５から出力される位置・配向データが入力され、後述するように、直交座標軸0-xyzにおいて算出された位置・配向データを、所定の変換式に従って写像し、直交座標軸O'-x'y'z'における新たな位置・配向データを算出する。そして、マッチング回路５１は、この新たな位置・配向データを、位置・配向写像データとして、画像指標データを作成する画像指標作成回路５２と、挿入形状データを作成する挿入形状作成回路５３とへ出力する。

参照画像記憶部５５は、大容量のデータを保存できるハードディスクドライブ等からなる。参照画像記憶部５５は、解剖学的な画像情報として、複数の参照画像データを記憶している。図５に示すように、参照画像データは、Ｘ線３次元ヘリカルＣＴ装置１５もしくは３次元ＭＲＩ装置１６からネットワーク１７経由で得られた被検体３７の断層像のデータである。

本実施の形態においては、説明の都合上、以下、参照画像データを、複数の被検体のうち特定の１被検体から得た、体軸(頭から足に抜ける軸)に垂直で、０．５ｍｍ〜数ｍｍピッチ、一辺数十ｃｍの正方形の断層像のデータとする。図５の参照画像記憶部５５内の参照画像データには、説明の都合上、１番からＮ番までの番号が付されている。ここで、図５のように、複数の参照画像データに対して固定した直交座標軸O’-x’y’z’とその正規直交基底(各軸方向の単位ベクトル)i’，j’，k’を、原点O’を１番の参照画像データの最も左下に定義して、参照画像データ上に定義する。

図４に示すように補間回路５６と合成回路５８とは、それぞれボリュームメモリＶＭを内蔵している。説明の都合上、以下、補間回路５６に設けられたボリュームメモリＶＭを補間メモリ５６ａ、合成回路５８に設けられたボリュームメモリＶＭを合成メモリ５８ａと呼ぶ。

ボリュームメモリＶＭは、大容量のデータを格納することができるよう構成されている。ボリュームメモリＶＭの一部の記憶領域にはボクセル空間が割り当てられている。図６に示すように、ボクセル空間は、直交座標軸O’-x’y’z’に対応したアドレスを持つメモリセル(以下、ボクセル)からなっている。

図４に示す３次元人体画像を作成する３次元人体画像作成回路５７と回転変換を行う回転変換回路５９は、輝度によるボクセルや画素の抽出、回転変換、相似変換、平行移動等の画像処理を高速に行う図示しない高速プロセッサを内蔵している。

表示回路６２は、その入力を切り替えるスイッチ６２ａを有している。スイッチ６２ａは、入力端子αと、入力端子βと、入力端子γと、１個の出力端子を有する。入力端子αは、参照画像記憶部５５と接続されている。入力端子βは、光学観察装置３の図示しない出力端子と接続されている。入力端子γは、混合回路６１と接続されている。出力端子は、光学像、超音波断層像及び３次元ガイド画像等を表示する表示装置１４と接続されている。

制御回路６３は、画像処理装置１１内の各部、各回路に指令が出力できるよう、各部、各回路とは図示しない信号線で接続されている。制御回路６３は、超音波観測装置４、マウス１２、キーボード１３と制御線で直接接続されている。

図７に示すように、キーボード１３は、体腔内特徴点指定キー６５、走査制御キー６６、表示切換キー１３α、表示切換キー１３β、表示切換キー１３γ、超音波内視鏡走査部位キーとしての胃・十二指腸球部キー１８ａと十二指腸下降脚キー１８ｂ、超音波内視鏡走査情報キーとしてのＰＵＳＨキー１９ａとＰＵＬＬキー１９ｂを備えている。

表示切換キー１３αもしくは１３βもしくは１３γが押されると、制御回路６３は、表示回路６２へスイッチ６２ａを入力端子αもしくはβもしくはγへ切り換えるよう指令を出力する。スイッチ６２ａは、表示切換キー１３αが押されたときには入力端子αへ、表示切換キー１３βが押されたときには入力端子βへ、表示切換キー１３γが押されたときには入力端子γへ切り換える。

次に、以上の構成を有する本実施の形態の超音波診断装置１の機能について、図１，図４に基づいて説明する。図１及び図４の各矢印線は、以下の通りの信号・データの流れを示している。
（ａ）第１：点線で示す光学像に関わる信号・データの流れ
（ｂ）第２：破線で示す超音波断層像に関わる信号・データの流れ
（ｃ）第３：実線で示す位置に関わる信号・データや、それらを加工して作成されたデータの流れ
（ｄ）第４：一点鎖線で示す参照画像データやそれを加工して作成されたデータの流れ
（ｅ）第５：太線で示す超音波断層像データ(後述)と、３次元ガイド画像データ(後述)とを合成した最終的な表示画面に関わる信号・データの流れ
（ｆ）第６：流曲線で示すそれ以外の制御に関わる信号・データの流れ

以下、図１，図４に示す信号・データの流れに沿って順次説明する。

（ａ）光学像に関わる信号・データの流れ
硬性部２１の図示しない照明光照射窓は、光学視野範囲側に照明光を照射する。ＣＣＤ２６は、光学視野範囲の物体を撮像し、光電変換してＣＣＤ信号を光学観察装置３に出力する。光学観察装置３は、入力されたＣＣＤ信号を基にして光学視野範囲の画像のデータを作成し、このデータを光学像データとして画像処理装置１１内の表示回路６２のスイッチ６２ａの入力端子βへ出力する。

（ｂ）超音波断層像に関わる信号・データの流れ
術者が走査情報を選択するための条件を入力する条件入力部としての走査制御キー６６を押すと、制御回路６３は後述するラジアル走査のON/OFF制御を指令するための走査制御信号を超音波観測装置４へ出力する。この走査制御信号を受けた超音波観測装置４は、超音波振動子アレイ２９を構成する超音波振動子２９ａのうち、一部かつ複数の超音波振動子２９ａを選択してパルス電圧状の励起信号を送信する。この一部かつ複数の超音波振動子２９ａは、励起信号を受け取って媒体の疎密波である超音波に変換する。

この際、超音波観測装置４は、各励起信号が各超音波振動子２９ａに到着する時刻が異なるよう、各励起信号に遅延をかけている。この遅延は、各超音波振動子２９ａが励起する超音波が被検体３７内で重ね合わせられたときに一本の超音波ビームを形成するようにその値（遅延量）が調整されている。

超音波ビームは、超音波内視鏡２外部へと照射され、被検体３７内からの反射波が超音波ビームとは逆の経路を辿って各超音波振動子２９ａへ戻る。各超音波振動子２９ａは反射波を電気的なエコー信号に変換して励起信号とは逆の経路で超音波観測装置４へ伝達する。

超音波観測装置４は、超音波ビームが、超音波振動子アレイ２９の環の中心を含み、硬性部２１および可撓部２２に垂直な平面(以下、ラジアル走査面)内で旋回するよう、超音波ビームの形成に関与する複数の超音波振動子２９ａを選択し直し、再び励起信号を送信する。このようにして超音波ビームの送信角度が変わっていく。これを反復的に繰り返すことにより、いわゆるラジアル走査が実現する。

この際、超音波観測装置４は、超音波振動子２９ａが反射波から変換したエコー信号から、超音波振動子アレイ２９の１回のラジアル走査に対し、硬性部２１の挿入軸に垂直な１枚のデジタル化した超音波断層像データを作成し、画像処理装置１１の混合回路６１へ出力する。この際、超音波観測装置４は、超音波断層像データを正方形に加工して作成する。

このように本実施の形態では、超音波観測装置４が超音波ビームの形成に関与する複数の超音波振動子２９ａを選択し直し、再び励起信号を送信するため、正方形の超音波断層像の例えば１２時方向は、超音波観測装置４が１２時方向としてどの超音波振動子２９ａを選択して励起信号を送信するかで決定される。こうして、超音波断層像の法線方向ベクトルＶ、３時方向ベクトルＶ₃、１２時方向ベクトルＶ₁₂が定義される。さらに、超音波観測装置４は、超音波断層像データを、法線ベクトルＶの反対方向−Ｖから観察した方向で作成する。

超音波振動子アレイ２９によるラジアル走査と、超音波観測装置４による超音波断層像データの作成と混合回路６１への出力はリアルタイムに行われる。

（ｃ）位置に関わる信号・データやそれを加工して作成されたデータの流れ
位置配向算出装置５は、送信アンテナ６の図示しない送信コイルを励磁する。送信アンテナ６は、空間に交番磁場を張る。

画像位置配向検出用コイル３１を構成するベクトルＶとＶ₃との方向に巻かれた巻線軸が互いに直交する２個のコイルと、複数個の挿入形状検出用コイル３２と、体腔内検出用コイル４２と、体表検出用コイル７とは、それぞれ交番磁場を検出し、交番磁場を各々の位置電気信号に変換してＡ／Ｄユニット９ａ、９ｂ、９ｃへ出力する。

Ａ／Ｄユニット９ａ，９ｂ，９ｃは、位置電気信号をアンプで増幅し、アナログデジタル変換回路でサンプリングしてデジタルデータへ変換し、デジタルデータを位置配向算出装置５へ出力する。

次に、位置配向算出装置５は、Ａ／Ｄユニット９ａからのデジタルデータを基にして、画像位置配向検出用コイル３１の位置とその直交する巻線軸の方向、つまりベクトルＶとＶ₃とを算出する。次に、位置配向算出装置５は、直交する巻線軸の方向のベクトルＶとＶ₃の外積Ｖ×Ｖ₃を算出することで、残りの直交方向である１２時方向のベクトルＶ₁₂を算出する。このようにして、位置配向算出装置５は直交する３方向、つまりベクトルＶ、Ｖ₃、Ｖ₁₂を算出する。

次に、位置配向算出装置５は、Ａ／Ｄユニット９ａ〜９ｃからのデジタルデータを基にして、複数個の挿入形状検出用コイル３２の各々の位置と、体表検出用コイル７の各々の位置と、体腔内検出用コイル４２の位置とを算出する。そして、位置配向算出装置５は、画像位置配向検出用コイル３１の位置及び配向と、複数個の挿入形状検出用コイル３２の各々の位置と、４個の体表検出用コイル７の各々の位置と、体腔内検出用コイル４２の位置とを、位置・配向データとして画像処理装置１１のマッチング回路５１へ出力する。

以下、位置・配向データの詳細について述べる。
本実施の形態では、図８のように原点Oを送信アンテナ６上に定義して、術者が被検体３７を検査する実際の空間上に直交座標軸O-xyzとその正規直交基底(各軸方向の単位ベクトル)i，j，kを定義する。画像位置配向検出用コイル３１の位置をO"とする。画像位置配向検出用コイル３１は、超音波振動子アレイ２９の環の中心のごく近傍に固定されているので、位置O"は、ラジアル走査の中心かつ超音波断層像の中心に一致する。

ここで、位置・配向データを、以下のように定義する。
直交座標軸O-xyzにおける画像位置配向検出用コイル３１の位置O"の位置ベクトルOO"の各方向成分：
(x0,y0,z0)
直交座標軸O-xyzに対する画像位置配向検出用コイル３１の配向を示すオイラー角(後述)の各角度成分：
(ψ,θ,φ)
直交座標軸O-xyzにおける複数個の挿入形状検出用コイル３２の各々の位置ベクトルの各方向成分：
(xi,yi,zi) (iは１から挿入形状検出用コイル３２の総数までの自然数)
直交座標軸O-xyzにおける4個の体表検出用コイル７の各々の位置ベクトルの各方向成分：
(xa,ya,za)、(xb,yb,zb)、(xc,yc,zc)、(xd,yd,zd)
直交座標軸O-xyzにおける体腔内検出用コイル４２の位置ベクトルの各方向成分：
(xp,yp,zp)

ここで、オイラー角とは、図８の直交座標軸O-xyzに、z軸の周りの回転、y軸の周りの回転、再びz軸の周りの回転をこの順で加えて、以下の通りに各軸の方向が一致するような角度である。
回転後のi＝Ｖ₃、回転後のj＝Ｖ₁₂、回転後のk＝Ｖ
また、ψは、最初のz軸の周りの回転角度、θはy軸の周りの回転角度、φは再びのz軸の周りの回転角度である。

図８のＨは、位置O"からxy平面へ下ろした垂線と、xy平面との交点である。このオイラー角の各角度成分(ψ,θ,φ)が画像位置配向検出用コイル３１の配向、すなわち超音波断層像データの配向に相当する。

マッチング回路５１は、以下の第１と第２と第３と第４とのデータ群から、直交座標軸O-xyz上で表現された位置・配向を、直交座標軸O'-x'y'z'上で表現されたボクセル空間内の位置・配向へ写像する変換式を算出する。この算出の方法は後述する。また、下記第１と第２で説明する位置・配向データは、被検体３７の体動によって変化が生じる。変換式も被検体３７の体動の変化とともに新たに作成される。この変換式の新たな作成も後述する。

第１のデータ群は、位置・配向データのうち、被検体３７の剣状突起、左上前腸骨棘、右上前腸骨棘、腰椎椎体棘突起の各々に取り付けた体表検出用コイル７の直交座標軸O-xyzにおける位置ベクトルの各方向成分(xa,ya,za)、(xb,yb,zb)、(xc,yc,zc)、(xd,yd,zd)である。図９に、これらに取り付けられた体表検出用コイル７を示す。

第２のデータ群は、位置・配向データのうち、直交座標軸O-xyzにおける体腔内検出用コイル４２の位置ベクトルの各方向成分(xp,yp,zp)である。図９において体腔内検出用コイル４２を先端に固定して内蔵した体腔内接触プローブ８を太い点線で示す。

第３のデータ群は、1〜Ｎ番までの参照画像データの何れかの上の、剣状突起、左上前腸骨棘、右上前腸骨棘、腰椎椎体棘突起の各々について、これら各々から最も体表に近い画素の直交座標軸O'-x'y'z'における座標(xa',ya',za')、(xb',yb',zb')、(xc',yc',zc')、(xd',yd',zd')である。これらの画素は、予め術者が1〜Ｎ番までの参照画像データの何れかの上で指定する。この指定の方法は後述する。

図９は、これらの画素を黒丸●と白丸○とで示す。(xa',ya',za')、(xb',yb',zb')、(xc',yc',zc')、(xd',yd',zd')は、図４に示すように体表特徴点座標として、参照画像記憶部５５からマッチング回路５１へ読み出される。

第４のデータ群は、1〜Ｎ番までの参照画像データの何れかの上の、十二指腸乳頭に相当する画素の直交座標軸O'-x'y'z'における座標(xp",yp",zp")である。これらの画素は、予め術者が1〜Ｎ番までの参照画像データの何れかの上で指定する。この指定の方法は後述する。

図９において、この画素をP"で示す。第４の画素の座標(xp",yp",zp")は、図４に示すように体腔内特徴点座標として、参照画像記憶部５５からマッチング回路５１へ読み出される。

次に、マッチング回路５１は、直交座標軸O-xyzにおいて算出された位置・配向データを、上記変換式に従って写像し、直交座標軸O'-x'y'z'における新たな位置・配向データを算出する。そして、マッチング回路５１は、この新たな位置・配向データを、位置・配向写像データとして、画像指標作成回路５２と挿入形状作成回路５３とへ出力する。

画像指標作成回路５２は、直交座標軸O-xyzにおける画像位置配向検出用コイル３１の位置O"の位置ベクトルOO"の各方向成分(x0,y0,z0)と、直交座標軸O-xyzに対する画像位置配向検出用コイル３１の配向を示すオイラー角の各角度成分(ψ,θ,φ)との計６自由度の位置・配向写像データから画像指標データを作成し、合成回路５８へ出力する。

この様子を図１０に示す。つまり、図１０の上側の位置・配向写像データから、図１０の下側に示すように画像指標データが作成される。この画像指標データは、平行四辺形の超音波断層像マーカＭｕに、例えば青色の先端方向マーカＭｄ（図１０中で青と表記）と黄緑色の矢印状の６時方向マーカＭｔ（図１０中に黄緑と表記）とを合成した直交座標軸O'-x'y'z'上における画像データである。

挿入形状作成回路５３は、画像位置配向検出用コイル３１の位置O"の位置ベクトルOO"の各方向成分(x0,y0,z0)と、直交座標軸O-xyzにおける複数個の挿入形状検出用コイル３２の各々の位置ベクトルの各方向成分(xi,yi,zi)との位置・配向写像データから、（補間及びマーカ作成処理により）挿入形状データを作成し、合成回路５８へ出力する。

この様子を図１１に示す。挿入形状データは、画像位置配向検出用コイル３１と複数個の挿入形状検出用コイル３２の各々の位置を順につないで補間したひも状の挿入形状マーカＭｓと、各コイル位置を示すコイル位置マーカＭｃとを合成した直交座標軸O'-x'y'z'上における画像データである。

（ｄ）参照画像データやそれを加工して作成されたデータの流れ
術者は、キーボード１３の所定のキーを押すか、画面上のメニューをマウス１２で選択して、参照画像データの取得を指示する。このとき同時に術者は、入手先も指示する。この指示により、制御回路６３は、通信回路５４に対して参照画像データの取り込みとその入手先を指令する。

例えば、入手先がＸ線３次元ヘリカルＣＴ装置１５であった場合には、通信回路５４は、参照画像データとしてネットワーク１７から複数枚の２次元ＣＴ画像を取り込み、参照画像記憶部５５へ記憶させる。Ｘ線３次元ヘリカルＣＴ装置１５で撮像する際には、撮像前にＸ線造影剤を被検体３７の血管から注入し、大動脈(aorta)、上腸間膜静脈(superior mesenteric vein)等の血管（広義には脈管）や、血管を多く含む器官が、２次元ＣＴ画像上、高輝度や中輝度で表示されるようにし、周囲の組織とは輝度差がつきやすくしておく。

また、例えば、入手先が３次元ＭＲＩ装置１６であった場合には、通信回路５４は、参照画像データとしてネットワーク１７から複数枚の２次元ＭＲＩ画像を取り込み、参照画像記憶部５５へ記憶させる。３次元ＭＲＩ装置１６で撮像する際には、撮像前に核磁気共鳴の感度の高いＭＲＩ用造影剤を被検体３７の血管から注入し、大動脈、上腸間膜静脈等の血管や、血管を多く含む器官が、２次元ＭＲＩ画像上、高輝度や中輝度で表示されるようにし、周囲の組織とは輝度差がつきやすくしておく。

以下、術者が入手先としてＸ線３次元ヘリカルＣＴ装置１５を選択した場合と３次元ＭＲＩ装置１６を選択した場合とは、作用が同様であるので、入手先としてＸ線３次元ヘリカルＣＴ装置１５を選択し、通信回路５４が参照画像データとして複数枚の２次元ＣＴ画像を取り込んだ場合についてのみの作用を説明する。

図５に参照画像記憶部５５へ記憶された参照画像データの例を示す。Ｘ線造影剤の作用により、大動脈、上腸間膜静脈等の血管は高輝度に、膵臓(pancreas)等の末梢血管を多く含む器官は中輝度に、十二指腸(duodenum)等は低輝度に造影されている。

補間回路５６は、参照画像記憶部５５より１番からＮ番までの全ての参照画像データを読み出す。次に、補間回路５６は、読み出した参照画像データを補間メモリ５６ａのボクセル空間へ埋めていく。具体的には、参照画像データの各画素の輝度を、画素に対応するアドレスを持つボクセルへ出力していく。次に補間回路５６は、隣接する参照画像データの輝度値を基に補間して、空いているボクセルをデータで埋めていく。このようにして、ボクセル空間内の全てのボクセルが参照画像データを基にしたデータ(以下、ボクセルデータ)で満たされる。

３次元人体画像作成回路５７は、補間回路５６から高輝度値のボクセル(主に血管)、中輝度値のボクセル(主に膵臓など末梢血管を多く含む器官)をそれぞれ輝度値域別に抽出し、輝度別に分類して着色する。次に、３次元人体画像作成回路５７は、抽出したボクセルを３次元人体画像データとして、合成回路５８の合成メモリ５８ａのボクセル空間へ埋めていく。このとき、３次元人体画像作成回路５７は、抽出したボクセルの補間メモリ５６ａ内のボクセル空間のアドレスと、合成メモリ５８ａ内のボクセル空間のアドレスとが同じになるように埋めていく。

図１２に３次元人体画像データの例を示す。図１２に示す例では、３次元人体画像データは、高輝度の血管である大動脈と上腸間膜静脈、中輝度の器官である膵臓とが抽出されたものであり、血管は赤、膵臓は緑で着色され、被検体３７の頭側を右側に足側を左側にして腹側から観察した３次元データとして示されている。

合成回路５８は、画像指標データと挿入形状データとを、合成メモリ５８ａ内のボクセル空間に埋めていく。この様子を図１３に示す。図１３においては、説明の都合上、ボクセル空間に存在する３次元人体画像データを省略している（３次元人体画像データを省略しない場合は図１４等で示す）。このようにして、合成回路５８は、同じボクセル空間内に３次元人体画像データと、画像指標データと、挿入形状データとを同じ合成メモリ内に埋めていくことで、これらを一組のデータ(以下、合成３次元データ)として合成する。

３次元ガイド画像作成回路Ａは、合成３次元データに陰面消去、陰影付け等のレンダリング処理を施し、画面に出力可能な画像データ(以下、３次元ガイド画像データ)を作成する。３次元ガイド画像データのデフォルトの向きは、人体の腹側からの向きとする。従って、３次元ガイド画像作成回路Ａは、被検体３７の腹側からの方向で観察した３次元ガイド画像データを作成する。

尚、３次元ガイド画像データのデフォルトの向きとしては、人体の腹側からの向きとしているが、背側からの向きの３次元ガイド画像データを作成するようにしても良い。また、その他の方向からの３次元ガイド画像データを作成するようにしても良い。

次に、３次元ガイド画像作成回路Ａは、被検体腹側から観察した３次元ガイド画像データを混合回路６１へ出力する。この３次元ガイド画像データを図１４に示す。図１４の右側が被検体頭側、左側が被検体足側である。また、図１４の３次元ガイド画像データでは、画像指標データのうちの超音波断層像マーカＭｕを半透明にして、画像指標データの６時方向マーカＭｔと、先端方向マーカＭｄと、挿入形状データの挿入形状マーカＭｓと、コイル位置マーカＭｃとが透けて見えるようにしている。その他の臓器に対しては超音波断層像マーカＭｕを不透明にして超音波断層像マーカＭｕの裏側の部分は見えないようにしている。図１４では、超音波断層像マーカＭｕの裏側にあり、かつ超音波断層像マーカＭｕと重なる各マーカは破線で示してある。

回転変換回路５９は、合成３次元データを読み出し、制御回路６３からの回転指示信号に従って、合成３次元データに対して回転処理を施す。

３次元ガイド画像作成回路Ｂは、回転処理を加えられた合成３次元データに陰面消去、陰影付け等のレンダリング処理を施し、画面に出力可能な３次元ガイド画像データを作成する。本実施の形態では、例として、術者のマウス１２やキーボード１３からの入力により、制御回路６３からの回転指示信号が位置・配向写像データを基にして−Ｖ方向、すなわち、超音波断層像マーカＭｕの法線を観察視線として３次元ガイド画像データを観察する指示内容になっていたものとする。回転変換回路５９は、合成３次元データを表示装置１４の画面法線と一致するよう画面に正対させ、かつ６時方向マーカＭｔが表示装置１４の画面の下方向に向くように設定されたガイド画像を作成する。

さらに、図１５に示すように、３次元ガイド画像作成回路Ｂは、画像指標データのうちの超音波断層像マーカＭｕを半透明にし、画像指標データの６時方向マーカＭｔと、先端方向マーカＭｄと、挿入形状データの挿入形状マーカＭｓと、コイル位置マーカＭｃとだけでなく、その他の臓器のうち超音波断層像マーカＭｕの裏側の部分も透けて見えるように３次元ガイド画像データを作成する。

具体的には、３次元ガイド画像作成回路Ｂは、超音波断層像マーカＭｕ上にある部分は濃く、超音波断層像マーカＭｕより手前にある部分を非表示とし、超音波断層像マーカＭｕの裏側にある部分は輝度を下げて３次元ガイド画像データを作成し、混合回路６１へ出力する。膵臓であれば、超音波断層像マーカＭｕ上にある部分は濃緑、裏側にある部分は薄緑で作成する。血管であれば、超音波断層像マーカＭｕ上にある部分は濃赤、裏側部分は薄赤で３次元ガイド画像データを作成する。

３次元ガイド画像作成回路Ｂはこのように作成した３次元ガイド画像データを混合回路６１へ出力する。

（ｅ）超音波断層像データと３次元ガイド画像データとを合成した最終的な表示画面に関わる信号・データの流れ
図４の混合回路６１は、超音波観測装置４からの超音波断層像データと、３次元ガイド画像作成回路Ａからの被検体３７を腹側から観察した３次元ガイド画像データと、３次元ガイド画像作成回路Ｂからの被検体３７を超音波断層像と同じ向きで観察した３次元ガイド画像データとを並べて表示用の混合データを作成する。

表示回路６２は、この混合データをアナログビデオ信号に変換して、表示装置１４に出力する。表示装置１４は、このアナログビデオ信号を基に、超音波断層像と、被検体３７を腹側から観察した３次元ガイド画像と、超音波断層像と同じ向きで観察した３次元ガイド画像とを並べて表示する。

図１６に示すように、表示装置１４は、３次元ガイド画像上で表現される各器官を、もともと参照画像データ上の輝度値に応じた色で器官別に色分けして表示する。図１６の表示例では、膵臓は緑、大動脈、上腸間膜静脈は赤で表示されている。図１６では、超音波断層像マーカＭｕの裏側にあり、かつ超音波断層像マーカＭｕと重なる各マーカは破線で示してある。ここで、腹側から観察した３次元ガイド画像は、事実上、広範囲のガイド画像であり、超音波断層像と同じ向きで観察した３次元ガイド画像は、詳細のガイド画像である。

（ｆ）制御に関わる信号・データの流れ
図４の画像処理装置１１内のマッチング回路５１と、画像指標作成回路５２と、挿入形状作成回路５３と、通信回路５４と、参照画像記憶部５５と、補間回路５６と、３次元人体画像作成回路５７と、合成回路５８と、回転変換回路５９と、３次元ガイド画像作成回路Ａと、３次元ガイド画像作成回路Ｂと、混合回路６１と、表示回路６２とは、制御回路６３からの指令により制御される。制御の詳細は後述する。

以下、術者の使用形態に沿って、本実施の形態の画像処理装置１１、キーボード１３、マウス１２、表示装置１４の作用の全体を説明する。図１７はその全体のフローチャートであり、ステップＳ１〜Ｓ４の各処理はこの順序で実行される。

最初のステップＳ１は、参照画像データ上での体表特徴点、体腔内特徴点指定処理である。つまり、このステップＳ１において、参照画像データ上で、体表特徴点と体腔内特徴点とを指定する処理が行われる。

次のステップＳ２において、術者は、被検体３７に体表検出用コイル７を固定する。術者は、被検体３７をその左側を臥せた体位、所謂、左側臥位にする。術者は、被検体３７を触診し、４つの体表特徴点である剣状突起、左上前腸骨棘、右上前腸骨棘、腰椎椎体棘突起に最も近い体表上の位置に体表検出用コイル７を固定する。

次のステップＳ３は補正値算出処理である。このステップＳ３において画像処理装置１１は、体腔内特徴点の位置・配向データを取得し、直交座標軸O-xyz上で表現された位置・配向データを、直交座標軸O'-x'y'z'上で表現されたボクセル空間内の位置・配向写像データへ写像する変換式を算出し、さらに体腔内特徴点座標から変換式の補正値を算出する処理を行う。

次のステップＳ４において超音波断層像・３次元ガイド画像作成/表示処理が行われる。このステップＳ４は、超音波断層像と３次元ガイド画像を作成し、表示する処理である。

次に、以上の図１７のフローチャートにおけるステップＳ１の処理、つまり参照画像データ上での体表特徴点、体腔内特徴点指定処理を具体的に説明する。図１８は、図１７のステップＳ１の参照画像データ上で、体表特徴点と体腔内特徴点とを指定する処理の詳細を示す。

最初のステップＳ１-１において、術者は表示切換キー１３αを押す。制御回路６３は表示回路６２に指令を出す。表示回路６２のスイッチ６２ａは指令により入力端子αに切り換わる。

次のステップＳ１-２において、術者は、マウス１２、キーボード１３を用い、１〜Ｎ番までの何れかの参照画像データを指定する。

次のステップＳ１-３において、制御回路６３は、表示回路６２に参照画像記憶部５５に記憶された１〜Ｎ番までの何れかの参照画像データのうち、指定された参照画像データを読み出させる。表示回路６２は、参照画像記憶部５５からの参照画像データをアナログビデオ信号に変換し、参照画像データを表示装置１４に出力する。表示装置１４は参照画像データを表示する。

次のステップＳ１-４において、術者は、マウス１２、キーボード１３を用い、参照画像データ上で体表特徴点を指定する。具体的には以下の通りである。

術者は表示された参照画像データに被検体３７の４つの体表特徴点である剣状突起、左上前腸骨棘、右上前腸骨棘、腰椎椎体棘突起の何れかが写っているようにする。何れも写っていなければステップＳ１-２へ戻り、術者は他の参照画像データを指定し直し、ステップＳ１-３で、写っている参照画像データを表示させるまで異なる参照画像データの表示を繰り返す。

術者は、マウス１２、キーボード１３を用い、表示された参照画像データ上で被検体３７の体表面上の４点である剣状突起、左上前腸骨棘、右上前腸骨棘、腰椎椎体棘突起に最も近い体表上の点に相当する画素を指定する。指定した点を図９の黒丸●と白丸○とで示す。

本実施の形態では、説明の都合上、剣状突起○がn１番(1≦n1≦N)の参照画像データ上に写っており、左上前腸骨棘、右上前腸骨棘、腰椎椎体棘突起●がn2番(1≦n2≦N)の参照画像データ上に写っているものとして説明する。図９では、説明の都合上、n2番の参照画像データ上の剣状突起に相当する位置に○で剣状突起を示している。

次のステップＳ１-５において、術者は、マウス１２、キーボード１３を用い、体腔内特徴点P"を指定する。本実施の形態では、体腔内特徴点P"として十二指腸乳頭(総胆管の十二指腸への開口部：duodenal papilla)を例にあげて説明する。具体的には以下の通りである。

術者は、マウス１２、キーボード１３を用い、１〜Ｎ番までの何れかの参照画像データを指定する。制御回路６３は、表示回路６２に図示しない信号線を経由して参照画像記憶部５５に記憶された１〜Ｎ番までの何れかの参照画像データのうち、指定された参照画像データを読み出させる。表示回路６２は、読み出した参照画像データを表示装置１４へ出力する。表示装置１４はこの参照画像データを表示する。術者は表示された参照画像データに被検体３７の体腔内特徴点である十二指腸乳頭が写っていなければ、他の参照画像データを指定し直し、写っている参照画像データを表示させるまで、異なる参照画像データの表示を繰り返す。

術者は、マウス１２、キーボード１３を用い、表示された参照画像データ上で被検体３７の体腔内の点である十二指腸乳頭に相当する画素を指定する。指定した点を図９のP"で示す。本実施の形態では、説明の都合上、十二指腸乳頭P"がn2番(1≦n2≦N)の参照画像データ上に写っているものとして説明する。

次のステップＳ１-６において、制御回路６３は、ステップＳ１-４で指定された各体表特徴点に相当する各画素とステップＳ１-５で指定された体腔内特徴点P"に相当する画素とについて、参照画像データ上でのアドレスからボクセル空間に張られた直交座標軸O’-x’y’z’での座標を算出し、マッチング回路５１へ出力する。

ステップＳ１-４で指定された各体表特徴点に相当する各画素の直交座標軸O’-x’y’z’での座標の算出値を(xa',ya',za')、(xb',yb',zb')、(xc',yc',zc')、(xd',yd',zd')とする。ステップＳ１-５で指定された体腔内特徴点に相当する画素直交座標軸O’-x’y’z’での各座標の算出値を(xp",yp",zp")とする。マッチング回路５１はこの座標を記憶する。

このステップＳ１-６の終了後、図１７のステップＳ２に進む。そして、このステップＳ２の処理の後、図１７のステップＳ３の補正値算出処理に進む。ステップＳ３の補正値算出処理の詳細は図１９に示される。

上述したように、このステップＳ３は、体腔内特徴点の位置・配向データを取得し、直交座標軸O-xyz上で表現された位置・配向データを直交座標軸O'-x'y'z'上で表現されたボクセル空間内の位置・配向写像データへ写像する変換式を算出し、さらに体腔内特徴点の位置・配向データから変換式の補正値を算出する処理である。

図１７のステップＳ３の補正値算出処理が開始すると、図１９の最初のステップＳ３-１において、術者は、表示切換キー１３βを押す。この指示に対応して制御回路６３は表示回路６２に指令を出す。表示回路６２のスイッチ６２ａは指令により入力端子βに切り換わる。

次にステップＳ３-２において、表示回路６２は、光学観察装置３からの光学像データをアナログビデオ信号に変換し、光学像を表示装置１４に出力する。表示装置１４は、光学像を表示する。

次のステップＳ３-３において、術者は、被検体３７に超音波内視鏡２の硬性部２１と可撓部２２とを体腔内へ挿入する。

次のステップＳ３-４において、術者は、光学像を観察しながら硬性部２１を動かして体腔内特徴点を探す。術者は、体腔内特徴点が見つかった後、硬性部２１を体腔内特徴点近傍へ移動する。

次のステップＳ３-５において、術者は、光学像を観察しながら、体腔内接触プローブ８を鉗子口４４から挿入し、突出口４５から突出させる。そして、術者は、光学像視野下で体腔内接触プローブ８の先端を体腔内特徴点に接触させる。この様子を図２０に示す。図２０では表示画面に光学像が表示されている。光学像には体腔内特徴点の例として十二指腸乳頭Pと体腔内接触プローブ８とが表示されている。

次のステップＳ３-６において、術者は、体腔内特徴点指定キー６５を押す。次のステップＳ３-７において、制御回路６３は、マッチング回路５１に指令を出す。マッチング回路５１は、指令により位置配向算出装置５から位置・配向データを取り込み、記憶する。

この位置・配向データには、前述の通り、直交座標軸O-xyzにおける４個の体表検出用コイル７の各々の位置ベクトルの各方向成分、すなわち、この場合は４個の体表特徴点の直交座標軸O-xyzでの座標：(xa,ya,za)、(xb,yb,zb)、(xc,yc,zc)、(xd,yd,zd)、直交座標軸O-xyzにおける体腔内検出用コイル４２の位置ベクトルの各方向成分、すなわち、この場合は体腔内特徴点の直交座標軸O-xyzでの座標：(xp,yp,zp)の２種類のデータが含まれている。

次のステップＳ３-８において、マッチング回路５１は体表特徴点の座標から第１の写像を表現する第１変換式を作成する。具体的には以下の通りである。

先ず、マッチング回路５１は、以下の内容を記憶している。
第１に、ステップＳ１で指定された各体表特徴点に相当する各画素のボクセル空間内の直交座標軸O’-x’y’z’での各座標：(xa',ya',za')、(xb',yb',zb')、(xc',yc',zc')、(xd',yd',zd')
第２に、ステップＳ１で指定された体腔内特徴点に相当する画素のボクセル空間内の直交座標軸O’-x’y’z’での座標：(xp",yp",zp")
第３に、ステップＳ３-７で取り込まれた体表特徴点の直交座標軸O-xyzでの各座標：(xa,ya,za)、(xb,yb,zb)、(xc,yc,zc)、(xd,yd,zd)
第４に、ステップＳ３-７で取り込まれた体腔内特徴点の直交座標軸O-xyzでの座標：(xp,yp,zp)

マッチング回路５１は、このうち、第３の各座標(xa,ya,za)、(xb,yb,zb)、(xc,yc,zc)、(xd,yd,zd)と、第１の各座標(xa',ya',za')、(xb',yb',zb')、(xc',yc',zc')、(xd',yd',zd')とから、直交座標軸O-xyz上の任意の点をボクセル空間内の直交座標軸O’-x’y’z’の点への第１の写像を表現する第１変換式を作成する。この第１の写像と第１変換式とは以下の通り定義される。

図９に示すように、体表特徴点である剣状突起、左上前腸骨棘、右上前腸骨棘、腰椎椎体棘突起を用い、剣状突起から他の点へ向かう３本のベクトルを基本ベクトルとする２つの斜交座標系を、被検体３７上とボクセル空間内(図９では参照画像データとして表現されているが、これを補間して得たデータ空間内)とに仮想（設定）する。

第１の写像とは、「直交座標軸O-xyzにおける任意点の、被検体３７上の斜交座標系で表現される座標」と、「直交座標軸O'-x'y'z'におけるこの任意点の写像後の点の、ボクセル空間内の斜交座標系で表現される座標」とが同じになるような、被検体３７からボクセル空間への写像である。また、第１変換式とは「任意点の直交座標軸O-xyzにおける座標」を「ボクセル空間内の第１の写像後の点の直交座標軸O'-x'y'z'における座標」へ変換する式である。

例えば、図９に示すように、画像位置配向検出用コイル３１の位置、すなわちラジアル走査の中心かつ超音波断層像の中心O"の第１の写像による写像後の点をQ'とする。点Q'の直交座標軸O'-x'y'z'における座標を(x0',y0',z0')とする。第１変換式を用いると、点O"の直交座標軸O-xyzにおける座標(x0,y0,z0)は、点Q'の直交座標軸O'-x'y'z'における座標(x0',y0',z0')へ変換される。

次のステップＳ３-９において、マッチング回路５１は、図９に示すように、第１変換式により、体腔内特徴点Pをボクセル空間内の点P'へ写像する。体腔内特徴点Pの直交座標軸O-xyzでの座標は(xp,yp,zp)である。第１の写像後の点P'の直交座標軸O’-x’y’z’での座標を(xp',yp',zp')と定義する。

次のステップＳ３-１０において、マッチング回路５１は、点P'のボクセル空間内の直交座標軸O’-x’y’z’での座標(xp',yp',zp')と、ステップＳ１で指定された体腔内特徴点に相当する点P"のボクセル空間内の直交座標軸O’-x’y’z’での座標(xp",yp",zp")とから、以下のようにベクトルP'P"を算出する。
P'P"＝(xp",yp",zp")−(xp',yp',zp') ＝ (xp"−xp',yp"−yp',zp"−zp')

次のステップＳ３-１１において、マッチング回路５１は、ベクトルP'P"を記憶する。ベクトルP'P"は、後述する処理で第１変換式を補正して第２の変換式を作成するための補正値として作用する。このステップＳ３-１１の終了後、次のステップＳ４に進む。

次にステップＳ４の超音波断層像・３次元ガイド画像作成/表示処理を、図２１を用いて説明する。図２１は、ステップＳ４の被検体３７の実際の超音波断層像・３次元ガイド画像を作成し、表示する処理の詳細である。

ステップＳ４の処理が開始すると、最初のステップＳ４-１において、術者は表示切換キー１３γを押す。制御回路６３は表示回路６２に指令を出す。表示回路６２のスイッチ６２ａは、この指令により入力端子γに切り換わる。

次のステップＳ４-２において、術者は走査制御キー６６を押す。次のステップＳ４-３において、制御回路６３は走査制御信号を超音波観測装置４へ出力する。そして、超音波振動子アレイ２９は、ラジアル走査を開始する。

次のステップＳ４-４において、制御回路６３は混合回路６１に指令を出す。混合回路６１は、この指令により超音波観測装置４からのラジアル走査に応じて入力される超音波断層像データを逐次取り込む。

次のステップＳ４-５において、制御回路６３はマッチング回路５１に指令を出す。マッチング回路５１は、指令により位置配向算出装置５から位置・配向データを取り込み、記憶する。この取り込みは、瞬時に行われる。そのため、マッチング回路５１は、ステップＳ４-４で混合回路６１が超音波断層像データを取り込んだ瞬間の、以下のデータを含む、位置・配向データを取り込むことになる。
直交座標軸O-xyzにおける画像位置配向検出用コイル３１の位置、すなわちラジアル走査の中心かつ超音波断層像の中心O"の位置ベクトルOO"の各方向成分：(x0,y0,z0)
直交座標軸O-xyzに対する画像位置配向検出用コイル３１の配向、すなわち超音波断層像の配向を示すオイラー角の各角度成分：(ψ,θ,φ)
直交座標軸O-xyzにおける複数個の挿入形状検出用コイル３２の各々の位置ベクトルの各方向成分：(xi,yi,zi) (iは1から挿入形状検出用コイル３２の総数までの自然数)
直交座標軸O-xyzにおける4個の体表検出用コイル７の各々の位置ベクトルの各方向成分：(xa,ya,za)、(xb,yb,zb)、(xc,yc,zc)、(xd,yd,zd)

次のステップＳ４-６において、マッチング回路５１は、ステップＳ４-５で取り込んだ位置・配向データのうち、直交座標軸O-xyzにおける４個の体表検出用コイル７の各々の位置ベクトルの各方向成分(xa,ya,za)、(xb,yb,zb)、(xc,yc,zc)、(xd,yd,zd)を用い、ステップＳ３で記憶した第１変換式を更新する。

次にマッチング回路５１は、更新した第１変換式にステップＳ３で記憶したベクトルP'P"による平行移動とを合わせて、第２の写像を表現する第２変換式を新たに作成する。第２の写像の概念は、以下の通りである。
第２の写像＝第１の写像＋ベクトルP'P"による平行移動

ベクトルP'P"による平行移動には以下に示す補正効果がある。ベクトルP'P"は補正値として作用する。第１の写像を「直交座標軸O-xyzにおける任意点の、被検体３７上の斜交座標系で表現される座標」と、「直交座標軸O'-x'y'z'におけるこの任意点の写像後の点の、ボクセル空間内の斜交座標系で表現される座標」とが同じになるような、被検体３７からボクセル空間への写像とした。

理想的には、体腔内特徴点Pのボクセル空間内への第１の写像による写像点P'と、ステップＳ１で指定された体腔内特徴点に相当する点P"とは一致することが望ましい。しかし、実際には正確に一致させることが難しい。

この理由は、「直交座標軸O-xyzにおける任意点と、被検体３７上の斜交座標系との空間的な位置関係」と、「任意点に解剖学的に相当する直交座標軸O'-x'y'z'における点と、ボクセル空間内の斜交座標系との空間的な位置関係」とが種々の要因で完全に一致しないことにある。本実施の形態で説明すると、第１の写像と第１変換式とを骨格上の特徴のある体表特徴点の各座標から求めたが、体腔内特徴点である十二指腸乳頭Pは骨格上の体表特徴点と常に同じ位置関係にあるとは限らないためである。

この原因は主に、Ｘ線３次元ヘリカルＣＴ装置１５と３次元ＭＲＩ装置１６とは、通常仰臥位で撮像され、左側臥位での超音波内視鏡２検査の時とは体位が異なるため、被検体３７内の諸器官は重力に従って変位することがあげられる。

そのため、第１の写像に補正値としてのベクトルP'P"による平行移動を合わせて第２の写像とすることにより、体腔内特徴点Pの写像点はボクセル空間内で体腔内特徴点に相当する点P"に一致する。さらに、被検体３７の他の点、例えば超音波断層像の中心O"も第２の写像により解剖学的に一層正確な一致をするのである。

次のステップＳ４-７において、マッチング回路５１は、ステップＳ４-５で取り込んだ位置・配向データのうち、直交座標軸O-xyzにおける超音波断層像の中心O"の位置ベクトルOO"の各方向成分(x0,y0,z0)と、直交座標軸O-xyzに対する画像位置配向検出用コイル３１の配向を示すオイラー角の各角度成分(ψ,θ,φ)と、直交座標軸O-xyzにおける複数個の挿入形状検出用コイル３２の各々の位置ベクトルの各方向成分(xi,yi,zi) (iは１から挿入形状検出用コイル３２の総数までの自然数)とを新たに作成した第２変換式を用いて、位置・配向写像データへ変換する。

図９に示すように、第１変換式では超音波断層像の中心O"はボクセル空間上の点Q'へ写像されるが、本ステップで新たに作成した第２変換式を用いることにより、図９に示すように超音波断層像の中心O"はボクセル空間上の点Q"へ写像される。Q'とQ"との差異を示すベクトルQ'Q"は、第２の写像における平行移動による補正分と一致するので、ベクトルP'P"と同じである。すなわち、以下の式が成立する。
Q'Q"＝P'P"

次のステップＳ４-８は、３次元ガイド画像データを作成する処理である。すなわち、画像指標作成回路５２は、画像指標データを作成する。挿入形状作成回路５３は、挿入形状データを作成する。合成回路５８は、３次元人体画像データと、画像指標データと、挿入形状データを合成し、合成３次元データを作成する。回転変換回路５９は合成３次元データに回転処理を施す。３次元ガイド画像作成回路Ａと３次元ガイド画像作成回路Ｂとは、それぞれ３次元ガイド画像データを作成する。以上のそれぞれの処理は、前述の通りである。

次のステップＳ４-９において、混合回路６１は、超音波断層像データと３次元ガイド画像データとを並べて表示用の混合データを作成する。表示回路６２は、この混合データをアナログビデオ信号に変換する。表示装置１４は、このアナログビデオ信号を基に超音波断層像と被検体３７を腹側から観察した３次元ガイド画像と超音波断層像と同じ向きで観察した３次元ガイド画像とを並べて図１６のように表示する。以上のそれぞれの処理は前述の通りである。

次のステップＳ４-１０において、制御回路６３は、ステップＳ４-４からステップＳ４-９の間、術者が再び走査制御キー６６を押すか否かを確認している。術者が再び走査制御キー６６を押していた場合には、制御回路６３は、ここで上記の処理を終了させ、ラジアル走査の制御OFFを指令するための走査制御信号を超音波観測装置４へ出力する。これにより、超音波振動子アレイ２９はラジアル走査を終了する。術者が再び走査制御キー６６を押していなかった場合には、処理はステップＳ４-４へジャンプする。

このようにして、ステップＳ４-４からステップＳ４-９で述べた処理を繰り返すことで、超音波振動子アレイ２９が１回のラジアル走査をして超音波観測装置４が超音波断層像データを作成し、超音波断層像データが超音波観測装置４から混合回路６１に入力するたびに、２つの新たな３次元ガイド画像が作成され、新たな超音波断層像とともに表示装置１４の表示画面にリアルタイムに更新されつつ表示される。

すなわち、図１６に示すように、術者の可撓部２２、硬性部２１の用手的な操作に伴うラジアル走査面の移動に連動して、画像指標データ上の超音波断層像マーカＭｕと先端方向マーカＭｄと６時方向マーカＭｔと、挿入形状データ上の挿入形状マーカＭｓとコイル位置マーカＭｃとが３次元人体画像データ上を移動もしくは変形していく。

以上が３次元ガイド画像を表示するまでの作用である。本実施の形態においては、上記の作用の前に、さらに以下に述べる作用を加えている。

Ｘ線３次元ヘリカルＣＴ装置１５や３次元ＭＲＩ装置１６で撮像される参照画像データは、超音波内視鏡２で超音波を走査する被検体と同一の被検体から撮像することが本来望ましい。その理由は、表示装置１４に同時に表示されるガイド画像と超音波断層像との間の解剖学的な個人差をなくして一致度を向上させるためである。

しかしながら、同一の被検体から撮像しても、以下の理由で良好な一致を得にくく、むしろ、ある条件で作成した超音波断層像を取得した被検体とは異なる被検体の参照画像データを用いた方が解剖学的に良好な一致を見る場合がある。

図２２のＧ＿Ａは、通常の参照画像データに基づく３次元人体画像データであり、膵臓と血管が抽出されている。実際の人体で超音波内視鏡２による検査を実施する際には、主として、以下に説明する４つの方法がある。

（第１の検査方法：十二指腸下降脚ＰＵＬＬ走査）
超音波内視鏡２を、十二指腸下降脚内で口側へ引きながら膵臓の頭部（図２２の膵臓のうち、大動脈に近い側）を観察する方法であり、図２２では太破線矢印で示されている。

（第２の検査方法：十二指腸下降脚ＰＵＳＨ走査）
超音波内視鏡２を、十二指腸下降脚内で肛門側へ押しながら膵臓の頭部を観察する方法であり、十二指腸下降脚ＰＵＬＬ走査とは反対の方向である。

（第３の検査方法：胃・十二指腸球部ＰＵＬＬ走査）
超音波内視鏡２を、十二指腸球部から胃内へ向けて口側へ引きながら膵臓の体部（図２２の膵臓のうち、中間付近）と尾部（図２２の膵臓のうち、下の細くなっている側）とを観察する方法であり、図２２では太破線矢印で示されている。尚、十二指腸球部と胃は膵臓より手前側（紙面鉛直上方側）にある。

（第４の検査方法：胃・十二指腸球部ＰＵＳＨ走査）
超音波内視鏡２を、胃内から十二指腸球部へ向けて肛門側へ押しながら膵臓の体部と尾部とを観察する方法であり、十二指腸球部ＰＵＬＬ走査とは反対の方向である。尚、十二指腸球部と胃は膵臓より手前側（紙面鉛直上方側）にある。

このうち、第１の十二指腸下降脚ＰＵＬＬ走査を行うと、超音波内視鏡２を口側へ引くことに伴い、膵臓の頭部側が図２２の画像データＧ＿Ａに示すブロック矢印のように一緒に引っ張られて回転及び移動してしまう現象が起こる。Ｘ線３次元ヘリカルＣＴ装置１５や３次元ＭＲＩ装置１６で被検体を撮像するときには、このような現象を想定しておらず、通常の撮像方法で得られた参照画像データを使うと、超音波断層像とガイド画像との間で解剖学的に良好な一致を得にくい。第２の十二指腸下降脚ＰＵＳＨ走査、第３の胃・十二指腸球部ＰＵＬＬ走査、第４の胃・十二指腸球部ＰＵＳＨ走査では、このような現象は起こらない。

そこで、参照画像記憶部５５には、特定の被検体で作成した臓器もしくは器官もしくは組織の複数の状態の各々に対応した複数枚の画像データを、参照データとして予め記憶させておく。本実施の形態では、通常の状態の膵臓の画像データと、膵臓の頭部が引っ張られて回転及び移動したデータとを、部分モデル画像データとして、予め参照画像記憶部５５に記憶させておく。回転及び移動した後のデータの作成の仕方は、以下の複数通りがある。

（第１のデータ作成方法）
Ｘ線３次元ヘリカルＣＴ装置１５や３次元ＭＲＩ装置１６での通常の撮像に加え、超音波内視鏡２を挿入し、十二指腸下降脚ＰＵＬＬ走査で膵臓の頭部を引っ張ったまま、再度Ｘ線３次元ヘリカルＣＴ装置１５や３次元ＭＲＩ装置１６で撮像する。このようにして、通常の膵臓の参照画像データと、膵臓が回転や移動をした後の参照画像データとを得ることができる。

（第２のデータ作成方法）
特定の被検体でＸ線３次元ヘリカルＣＴ装置１５や３次元ＭＲＩ装置１６での通常の撮像後、この被検体で超音波内視鏡２による撮像を行い、ガイド画像と超音波断層像が一致するよう、参照画像データ内の膵臓に回転や移動を加えて新たな参照画像データを作成する。このようにして、通常の膵臓の参照画像データと、膵臓が回転や移動をした後の参照画像データとを得ることができる。

この第２のデータ作成方法では、３次元人体画像データＧ＿Ｂの作成は以下の手順で行われる。

先ず、術者は、キーボード１３やマウス１２を経由して膵臓の移動方向や移動距離や回転角度を入力する。３次元人体画像作成回路５７は、入力された移動方向や移動距離や回転角度に基づいて、元の参照画像データから膵臓に回転及び移動を施して３次元人体画像データを作成する。

次に、合成回路５８は、回転、移動を施された膵臓の３次元人体画像データと画像指標データと挿入形状データとを合成し、合成３次元データを作成する。合成３次元データは、回転変換回路５９、３次元ガイド画像作成回路Ａ、３次元ガイド画像作成回路Ｂ、混合回路６１を経て表示装置１４に表示される。

術者は、表示装置１４の表示画面上の超音波断層像と２つの３次元ガイド画像との解剖学的な一致度を比較する。その上で、術者は、再度、超音波断層像と２つの３次元ガイド画像とが解剖学的に良く一致するよう、キーボード１３やマウス１２を経由して膵臓の移動方向や移動距離や回転角度を入力する。そして、上述の作用を繰り返す。

上記第１，第２の何れの方法で作成した参照画像データを用いても、本実施の形態の作用には変化がないので、以下では第２の方法を前提にして本実施の形態の作用を説明する。

本実施の形態では、参照画像記憶部５５には、通常の膵臓の参照画像データと、膵臓が回転や移動をした後の参照画像データとが記憶されている。通常の膵臓の参照画像データに基づく３次元人体画像データを図２２のＧ＿Ａに、膵臓が回転や移動をした後の参照画像データに基づく３次元人体画像データを図２２のＧ＿Ｂに示す。

通常の膵臓の参照画像データと膵臓が回転や移動をした後の参照画像データの選択は、状態選択部としてのキーボード１３、マウス１２、及び制御回路６３によって行われる。本実施の形態では、術者は、キーボード１３の超音波内視鏡走査情報キーである、ＰＵＳＨキー１９ａとＰＵＬＬキー１９ｂとのうち何れかを押す。これらのキー１９ａ，１９ｂは、一方がＯＮであればもう一方はＯＦＦである。また、術者は、キーボード１３の超音波走査部位キーである、胃・十二指腸球部キー１８ａと十二指腸下降脚キー１８ｂとのうち何れかを押す。これらのキー１８ａ，１８ｂは、一方がＯＮであればもう一方はＯＦＦである。

図２２の３次元人体画像データＧ＿Ａと３次元人体画像データＧ＿Ｂのうち何れを用いるかは、これらのキー１８ａ，１８ｂ，１９ａ，１９ｂのＯＮとＯＦＦの組み合わせ状態から制御回路６３が判断する。制御回路６３の判断は図２３の表に拠る。すなわち、制御回路６３は、十二指腸下降脚キー１８ｂとＰＵＳＨキー１９ａとがＯＮのとき、胃・十二指腸球部キー１８ａとＰＵＳＨキー１９ａとがＯＮのとき、胃・十二指腸球部キー１８ａとＰＵＬＬキー１９ｂとがＯＮのとき、画像データＧ＿Ａを参照画像データとして選択し、十二指腸下降脚キー１８ｂとＰＵＬＬキー１９ｂとがＯＮのとき、画像データＧ＿Ｂを参照画像データとして選択する。

補間回路５６は、制御回路６３からの指令により、参照画像データを再度読み直す。このようにして補間メモリ、合成メモリのボクセル空間は、図２３の表に示されたキーの組み合わせに対応して読み出された参照画像データで埋められ、３次元人体画像データ、合成３次元データ、３次元ガイド画像データが差し替えられる。

制御回路６３と、補間回路５６と、３次元人体画像作成回路５７と、合成回路５８と、回転変換回路５９と、３次元ガイド画像作成回路Ａと、３次元ガイド画像作成回路Ｂと、混合回路６１とは、何れもリアルタイムで作用するので、術者によるキー操作に対して瞬時にガイド画像が切り替えられる。

このようにして、術者は十二指腸下降脚であっても、胃・十二指腸球部であっても、超音波内視鏡２のＰＵＳＨ走査であっても、超音波内視鏡２のＰＵＬＬ走査であっても、超音波断層像とガイド画像との間で解剖学的に良好な一致を得ることができる。

以上の本実施の形態によれば、参照画像記憶部５５が通常の膵臓の参照画像データと膵臓が回転や移動をした後の参照画像データとを記憶し、制御回路６３が参照画像データを図２２の３次元人体画像データＧ＿Ａか３次元人体画像画像データＧ＿Ｂのうち何れを用いるかを判断し、補間回路５６は制御回路６３からの指令により、参照画像データを再度読み直し、補間メモリ、合成メモリのボクセル空間は、図２３の表に示されたキーの組み合わせに対応して読み出された参照画像データで埋められ、術者によるキー操作に対して瞬時に３次元人体画像データおよびガイド画像が切り替えられるよう構成している。これにより、超音波断層像の実際の解剖学的な位置や配向とを正しく示すガイド画像を表示することができる。特に、十二指腸下降脚ＰＵＬＬ走査では膵頭部は回転および移動するため、この効果が顕著である。

また、本実施の形態は、画像指標作成回路５２が、超音波断層像マーカＭｕに青色の先端方向マーカＭｄと黄緑色の矢印状の６時方向マーカＭｔとを合成した画像指標データを作成し、合成回路５８が、同じボクセル空間内に３次元人体画像データと、画像指標データと、挿入形状データとを合成し、混合回路６１が超音波観測装置４からの超音波断層像データと、３次元ガイド画像データとを並べて表示用の混合データを作成し、表示回路６２はこの混合データをアナログビデオ信号に変換し、表示装置１４はこのアナログビデオ信号を基に超音波断層像と３次元ガイド画像とを並べて表示するような構成及び作用を有している。

そのため、本実施の形態によれば、超音波断層像と膵臓などの関心領域との位置関係をガイドすることができるとともに、消化管等の体腔壁に対して超音波内視鏡のラジアル走査面と可撓部と硬性部とがどのような配向や形状になっているのかをガイドすることができる。従って、術者はこれらの関係を視覚的に把握でき、関心領域に対する診断、処置等を容易に行うことが可能となる。

また、本実施の形態は、マッチング回路５１がステップＳ４-４からステップＳ４-９で述べた処理を繰り返し、混合回路６１が超音波断層像データを取り込んだ瞬間の、位置・配向データを取り込み、第１変換式とベクトルP'P"による平行移動とを合わせて第２の写像を表現する第２変換式を新たに作成し、直交座標軸O-xyzにおける超音波断層像の中心O"の位置ベクトルOO"の各方向成分(x0,y0,z0)と、直交座標軸O-xyzに対する画像位置配向検出用コイル３１の配向を示すオイラー角の各角度成分(ψ,θ,φ)と、直交座標軸O-xyzにおける複数個の挿入形状検出用コイル３２の各々の位置ベクトルの各方向成分(xi,yi,zi) (iは１から挿入形状検出用コイル３２の総数までの自然数)とを、位置・配向写像データへ変換する処理を繰り返すような構成及び作用を有している。

そのため、本実施の形態によれば、超音波内視鏡２での検査中に被検体３７の体位に変化が生じても、超音波断層像、可撓部２２、硬性部２１と、３次元ガイド画像上の超音波断層像マーカＭｕ、先端方向マーカＭｄ、６時方向マーカＭｔ、挿入形状マーカＭｓとは、それぞれ解剖学的により正確な一致をするという効果がある。

また、Ｘ線３次元ヘリカルＣＴ装置１５と３次元ＭＲＩ装置１６とは、通常仰臥位で撮像され、左側臥位での超音波内視鏡検査の時とは体位が異なるが、本実施の形態によれば、マッチング回路５１が、第１の写像に補正値としてのベクトルP'P"による平行移動を合わせて第２の写像を表現する第２変換式を作成するような構成及び作用を有している。従って、本実施の形態は、被検体３７内の諸器官がＸ線３次元ヘリカルＣＴ装置１５と３次元ＭＲＩ装置１６に比して左側臥位での超音波内視鏡検査の時に重力に従って変位しても、被検体３７の点、例えば超音波断層像の中心O"に第２の写像により解剖学的に一層正確な一致をする。そのため、３次元ガイド画像が超音波断層像を一層正確にガイドすることができる。

また、本実施の形態によれば、３次元ガイド画像作成回路Ａが、右側が被検体頭側、左側が被検体足側で、被検体の腹側からの方向で観察した３次元ガイド画像データを作成するよう構成、作用させている。被検体３７は、超音波内視鏡検査では通常左側臥位での体位で検査され、３次元ガイド画像も左側臥位で表示されるので、被検体と３次元ガイド画像とを対比しやすく、術者には３次元ガイド画像がわかりやすく、術者による診断、処置等の際の操作性を向上或いは適切に支援することができる。

また、本実施の形態によれば、３次元ガイド画像作成回路Ａと３次元ガイド画像作成回路Ｂとが互いに異なる方向に視線を設定した３次元ガイド画像を作成するため、超音波断層像と膵臓などの関心領域との位置関係を複数の方向から、ガイドすることができるとともに、消化管等の体腔壁に対して、超音波断層像と超音波内視鏡２の可撓部２２と硬性部２１とがどのような配向や形状になっているのかを複数の方向からガイドすることができ、術者にはわかりやすい。

また、本実施の形態によれば、３次元ガイド画像作成回路Ｂが、位置・配向写像データを基にして、超音波断層像マーカＭｕの法線を観察視線すなわち表示装置１４の画面法線と一致するよう画面に正対させ、かつ６時方向マーカＭｔが表示装置１４の画面の下方向に向くように設定された３次元ガイド画像を作成するよう構成、作用させるため、この３次元ガイド画像と表示装置１４の画面に並べてリアルタイムに表示される超音波断層像との方向が一致する。そのため、術者は両者を対比しやすく、超音波断層像の解剖学的な解釈をしやすい。

特に、腹側から観察した３次元ガイド画像は、事実上、広範囲のガイド画像、超音波断層像と同じ向きで観察した３次元ガイド画像は、詳細のガイド画像であるため、前者で超音波断層像の大まかな解剖学上の位置を把握し、後者で超音波断層像の詳細の解剖学的な解釈を得ながら超音波の走査面を微調整することができ、検査が効率的である。

また、本実施の形態によれば、３次元ガイド画像作成回路Ｂが、画像指標データのうちの超音波断層像マーカＭｕによって分けられる２つの領域のうち、可撓部２２の先端側すなわち表示装置１４の画面手前側を非表示にし、超音波断層像マーカＭｕ上の部分と、裏側の部分の輝度を変化させた３次元ガイド画像データを作成するよう構成、作用させている。そのため、手前側の臓器が術者の３次元ガイド画像の観察の邪魔になるがことなく、この３次元ガイド画像と表示装置１４の画面に並べてリアルタイムに表示される超音波断層像との対比を一層しやすく、超音波断層像の解剖学的な解釈をしやすい。

＜変形例＞
上述した実施の形態では、処置具チャンネル４６を備えた超音波内視鏡２と、処置具チャンネル４６に挿通する体腔内接触プローブ８を設けて構成したが、構成はこれに限定されるものではない。

体腔内特徴点に対して光学観察窓２４を経由して対物レンズ２５の焦点が合い、体腔内接触プローブ８を用いずに硬性部２１自体を体腔内特徴点に正確に接触できれば、硬性部２１に固定して設けた画像位置配向検出用コイル３１を体腔内接触プローブ８の体腔内検出用コイル４２の代用にしても良い。このとき、画像位置配向検出用コイル３１は、画像位置配向検出用素子としてだけでなく体腔内検出用素子としても作用する。

また、本実施の形態では、超音波プローブとして電子ラジアル走査型超音波内視鏡２を用いたが、従来技術の特開２００４−１１３６２９号公報で開示されている超音波診断装置のように、機械走査型超音波内視鏡でも、挿入軸の一方に超音波振動子群を扇状に設けた電子コンベックス走査型超音波内視鏡でも、カプセル型の超音波ゾンデでも良く、超音波の走査方式には限定されない。また光学観察窓２４の無い超音波プローブでも良い。

また、本実施の形態では、超音波内視鏡２の硬性部２１において超音波振動子を短冊状に細かく切断し、挿入軸の周囲に環状のアレイとして配列させたが、超音波振動子アレイ２９は、３６０°全周に設けても、それより欠けても良い。例えば２７０°や１８０°にわたる部分に超音波振動子アレイ２９が形成されるようにしても良い。

また、本実施の形態では位置検出手段として送信アンテナ６と受信コイルとを用い、磁場で位置と配向とを検出するよう構成、作用させたが、送受は逆でも良い。磁場を利用して位置及び配向を検出する場合には、簡単な構成で位置（配向）検出手段を形成できると共に、低コスト化、小型化することができるが、磁場を利用したものに限定されるものでなく、加速度や他の手段で位置と配向とを検出するようにしても良い。また、本実施の形態では、原点Oを送信アンテナ６上の特定の位置に設定するよう構成したが、送信アンテナ６と位置関係の変わらない他の場所に設定するよう構成しても良い。

また、本実施の形態では、画像位置配向検出用コイル３１を硬性部２１に固定して設けたが、硬性部２１と位置が固定されていれば、硬性部２１の完全に内部でなくとも良い。また、本実施の形態では、３次元ガイド画像データ上の各器官を、器官別に色分けして表示されるよう構成したが、色分けの態様に限らず、輝度、明度、彩度等、他の態様でも良く、例えば、器官別に輝度の値を変化させる等しても良い。

また、本実施の形態では、参照画像データとして、Ｘ線３次元ヘリカルＣＴ装置１５、３次元ＭＲＩ装置１６で撮像された複数枚の２次元ＣＴ画像や２次元ＭＲＩ画像を用いるよう構成、作用させたが、PET(Positoron Emission Tomography)のような他のモダリティーを用いて事前に取得した３次元画像データを用いても良い。また、体外から超音波を照射する方式の所謂、体外式の超音波診断装置で事前に取得した３次元画像データを用いても良い。

また、本実施の形態では、１軸に巻かれた４個のコイルからなる体表検出用コイル７を設け、各々を被検体体表にテープ、ベルト、バンドなどで、複数の体表特徴点に着脱可能に固定し、体表特徴点の位置・配向データを同時に得るするよう構成したが、１個のコイル、例えば体腔内検出用コイル４２に代えて、超音波内視鏡２による検査に先立ち、被検体３７を左側臥位にした後、体腔内接触プローブ８の先端を複数の体表特徴点に順次接触させて体表特徴点の位置・配向データを順次に得るような構成、作用にしても良い。

また、本実施の形態では、位置配向算出装置が、位置・配向データとして、体表検出用コイル７に関してはその位置を算出したが、位置の代わりに巻線軸の方向を算出しても良く、また、位置と巻線軸の方向との両方を算出しても良い。１個の体表検出用コイル７に関して位置配向算出装置５が算出する自由度が増えることで、体表検出用コイル７の個数を減らすことができ、被検体３７に体表検出用コイル７を固定する際や超音波内視鏡検査中の術者や被検体３７の負担を減らすことができる。

また、本実施の形態では、体表特徴点を腹部体表の剣状突起、左上前腸骨棘、右上前腸骨棘、腰椎椎体棘突起とし、体腔内特徴点を十二指腸乳頭としたが、この例に限らず、胸部体表や胸部体腔内の特徴点や他の例でも良い。一般に、体表特徴点は骨格と関連のある点にとった方が、超音波断層像マーカＭｕの配向についての精度が良い。

［第２の実施の形態］
次に、本発明の第２の実施の形態について説明する。図２４〜図２６は本発明の第２の実施の形態に係り、図２４は３次元人体画像データの合成・変形を示す説明図、図２５はキーの組み合わせと３次元人体画像データとの対応を示す説明図、図２６は画像処理装置の構成を示すブロック図である。

第２の実施の形態は、第１の実施の形態に対して、画像処理装置１１の合成回路５８の構成が異なるものである。図２６に示すように、本実施の形態の画像処理装置１１＿２の合成回路５８＿２は、第１の実施の形態の合成回路５８に対して、さらにもう一つの合成メモリ（ボリュームメモリ）５８ｂを追加している。

第２の実施の形態の作用は、ボリュームメモリの追加により、第１の実施の形態とは、参照画像記憶部５５、３次元人体画像作成回路５７の作用が異なる。

第１の実施の形態では、参照画像記憶部５５が通常の膵臓の参照画像データと、膵臓が回転や移動をした後の参照画像データとを記憶し、制御回路６３が図２２の３次元人体画像データＧ＿Ａと３次元人体画像データＧ＿Ｂとのうち何れを用いるかを判断するよう作用した。

これに対し、第２の実施の形態では、３次元人体画像作成回路５７が、図２２に示す通常の膵臓の参照画像データに基づく３次元人体画像データＧ＿Ａを合成回路５８＿２の合成メモリ５８ａ，５８ｂの１つに記憶させる。

さらに、３次元人体画像作成回路５７は、図２４に示すように、この３次元人体画像データＧ＿Ａと膵臓が回転や移動をした後の参照画像データに基づく３次元人体画像データＧ＿Ｂとを合成・変形して３次元人体画像データＧ＿Ｃを作成する。３次元人体画像データＧ＿Ｃは、３次元人体画像データＧ＿Ａと３次元人体画像データＧ＿Ｂとから、新たに作成したデータであり、変形した仮想の膵臓を含んだデータである。

図２４では、説明の都合上、一例として膵臓の尾部端点で位置を合わせている。尾部端点で説明しているのは、尾部端点が十二指腸下降脚ＰＵＬＬ走査であっても、膵臓のうち最も回転や移動しない安定点であるからである。

上述の３次元人体画像データＧ＿Ａと３次元人体画像データＧ＿Ｂとを合成、変形して３次元人体画像データＧ＿Ｃを作成する方法は、以下の通りである。

術者は、キーボード１３やマウス１２を経由して膵臓の移動方向や移動距離や回転角度を入力する。３次元人体画像作成回路５７は、入力された移動方向や移動距離や回転角度に基づいて、元の参照画像データから膵臓に回転及び移動を施して３次元人体画像データを作成する。

次に、合成回路５８＿２は、回転、移動を施された膵臓の３次元人体画像データと画像指標データと挿入形状データとを合成し、合成３次元データを作成する。合成３次元データは、回転変換回路５９、３次元ガイド画像作成回路Ａ、３次元ガイド画像作成回路Ｂ、混合回路６１を経て表示装置１４に表示される。

術者は、表示装置１４の表示画面上の超音波断層像と２つの３次元ガイド画像との解剖学的な一致度を比較する。再度、術者は、その上で、超音波断層像と２つの３次元ガイド画像とが解剖学的に良く一致するよう、キーボード１３やマウス１２を経由して膵臓の移動方向や移動距離や回転角度を入力する。

そして、上述の作用を繰り返し、３次元ガイド画像を作成する。ここまでは第１の実施の形態と同じである。

さらに、術者は、キーボード１３やマウス１２を経由して３次元ガイド画像を図２４に示すように重畳して表示装置１４の表示画面に表示させるようにする。その上で膵臓が適当な形になるようキーボード１３やマウス１２を経由して表示画面上をトレースする。

３次元人体画像作成回路５７は、このトレースされた情報を基に、再度３次元人体画像データＧ＿Ｃを作成し、合成回路５８＿２の合成メモリ５８ａ，５８ｂのもう一方に記憶させる。

図２２の３次元人体画像データＧ＿Ａと、図２４の３次元人体画像データＧ＿Ｃとのうち何れを用いるかは、超音波内視鏡走査部位キーと超音波内視鏡走査情報キーのＯＮとＯＦＦの組み合わせ状態から制御回路６３が判断する。

制御回路６３の判断は、図２５の表に拠る。すなわち、制御回路６３は、十二指腸下降脚キー１８ｂとＰＵＳＨキー１９ａとがＯＮのとき、胃・十二指腸球部キー１８ａとＰＵＳＨキー１９ａとがＯＮのとき、胃・十二指腸球部キー１８ａとＰＵＬＬキー１９ｂとがＯＮのとき、画像データＧ＿Ａを参照画像データとして選択し、十二指腸下降脚キー１８ｂとＰＵＬＬキー１９ｂとがＯＮのとき、３次元人体画像データＧ＿Ａと３次元人体画像データＧ＿Ｂとを合成・変形して作成した画像データＧ＿Ｃを参照画像データとして選択する。

合成回路５８＿２は、制御回路６３からの指令により、画像指標データと挿入形状データと合成する３次元人体画像データを、３次元人体画像データＧ＿Ａにするか３次元人体画像データＧ＿Ｃにするかを切り替える。

このようにして、３次元人体画像データ、合成３次元データ、３次元ガイド画像データが差し替えられる。制御回路６３と、３次元人体画像作成回路５７と、合成回路５８＿２と、回転変換回路５９と、３次元ガイド画像作成回路Ａと、３次元ガイド画像作成回路Ｂと、混合回路６１とは、何れもリアルタイムで作用するので、術者によるキー操作に対して瞬時にガイド画像が切り替えられる。

このようにして、術者は十二指腸下降脚であっても、胃・十二指腸球部であっても、超音波内視鏡２のＰＵＳＨ走査であっても、超音波内視鏡２のＰＵＬＬ走査であっても、超音波断層像とガイド画像との間で解剖学的に良好な一致を得ることができる。その他の作用は第１の実施の形態と同じである。

第２の実施の形態においては、３次元人体画像作成回路５７が、図２２に示す通常の膵臓の参照画像データに基づく３次元人体画像データＧ＿Ａを合成回路５８＿２の２つの合成メモリ５８ａ，５８ｂの一方に記憶させ、この３次元人体画像データＧ＿Ａと膵臓が回転や移動をした後の参照画像データに基づく３次元人体画像データＧ＿Ｂとを合成、変形して３次元人体画像データＧ＿Ｃを作成し、３次元人体画像データＧ＿Ｃを合成回路５８＿２の合成メモリ５８ａ，５８ｂのもう一方に記憶させる。

そして、制御回路６３は、図２２の３次元人体画像データＧ＿Ａと図２４の３次元人体画像データＧ＿Ｃとのうち何れを用いるかを、超音波内視鏡走査部位キーと超音波内視鏡走査情報キーのＯＮとＯＦＦの組み合わせ状態から判断し、合成回路５８＿２は、制御回路６３からの指令により、画像指標データと挿入形状データと合成する３次元人体画像データを、３次元人体画像データＧ＿Ａにするか３次元人体画像データＧ＿Ｃにするかを切り替え、３次元人体画像データ、合成３次元データ、３次元ガイド画像データが差し替えられ、術者によるキー操作に対して瞬時にガイド画像が切り替えられる。

そのため、第２の実施の形態では、第１の実施の形態のように参照画像データを読み込んで、３次元人体画像データを再度作成する必要がなくなり、超音波断層像の実際の解剖学的な位置や配向を正しく示すガイド画像をより高速に得て表示することができる。また、十二指腸下降脚ＰＵＬＬ走査による膵臓の変形は主に膵臓の頭部で生じ、尾部では生じないため、第２の実施の形態では、第１の実施の形態より変形した実際の膵臓に近いガイド画像を表示することができる。その他の効果は第１の実施の形態と同じである。

本発明の第１の実施の形態に係り、超音波診断装置の構成を示すブロック図 同上、体表検出用コイルを使用例で模式的に示す説明図、 同上、体腔内接触プローブを示す側面図 同上、画像処理装置の構成を示すブロック図 同上、参照画像記憶部内に記憶される参照画像データを示す説明図 同上、ボクセル空間を示す説明図 同上、キーボードのキー配列を示す説明図 同上、位置・配向データを表すために送信アンテナ上に原点を設定した直交基底を示す説明図 同上、被検体側の体腔内特徴点をボクセル空間へ写像する様子を示す説明図 同上、画像指標作成回路により画像指標データが作成される様子を示す説明図 同上、挿入形状作成回路により作成される挿入形状データが作成される様子を示す説明図 同上、３次元人体画像データを示す説明図 同上、合成回路により画像指標データと挿入形状データとが合成メモリ内のボクセル空間に埋められていく様子を示す説明図 同上、被検体の腹側から観察した場合の３次元ガイド画像データを示す説明図 同上、超音波断層像と同じ向きから観察した場合の３次元ガイド画像データを示す説明図 同上、表示装置に表示される３次元ガイド画像及び超音波断層像を示す図 同上、全体的な処理内容を示すフローチャート 同上、図１７における参照画像上での体表特徴点、体腔内特徴点指定処理の具体的な処理内容を示すフローチャート 同上、図１７における補正値算出処理の具体的な処理内容を示すフローチャート 同上、図１９における処理の説明図 同上、図１７における超音波断層像・３次元ガイド画像作成／表示処理の具体的な処理内容を示すフローチャート 同上、３次元人体画像データの回転・移動を示す説明図 同上、キーの組み合わせと参照画像データとの対応を示す説明図 本発明の第２の実施の形態に係り、３次元人体画像データの合成・変形を示す説明図 同上、キーの組み合わせと３次元人体画像データとの対応を示す説明図 同上、画像処理装置の構成を示すブロック図

符号の説明

１ 超音波診断装置
２ 超音波内視鏡
３ 光学観察装置
４ 超音波観測装置
５ 位置配向算出装置
１１ 画像処理装置
１２ マウス
１３ キーボード
１８ａ 十二指腸球部キー
１８ｂ 十二指腸下降脚キー
１９ａ ＰＵＳＨキー
１９ｂ ＰＵＬＬキー
２９ 超音波振動子アレイ
２９ａ 超音波振動子
５５ 参照画像記憶部
５７ ３次元人体画像作成回路
６０ ３次元画像作成回路
６３ 制御回路
６６ 走査制御キー

Claims (12)

1. 生体内へ超音波を送受して得られる超音波信号に基づき超音波断層像を作成する超音波断層像作成部と、
   前記超音波断層像の位置および／または配向を検出する検出部と、
   参照データを保持する参照データ保持部と、
   前記位置および／または配向を用いて、前記参照データに基づき、前記超音波断層像の解剖学的な位置および／または配向のガイド画像を作成するガイド画像作成部と、
   前記ガイド画像を表示する表示部と
   を具備する超音波診断装置において、
   前記参照データは、臓器もしくは器官もしくは組織を関心領域として、該関心領域の複数の状態の各々に対応した複数の画像データからなり、
   前記複数の状態のうち、何れかの状態を選択する状態選択部を設け、
   前記ガイド画像作成部は、前記状態選択部により選択された前記状態に対応した画像データを基に前記ガイド画像を作成する
   ことを特徴とする超音波診断装置。
2. 前記複数の状態は、前記関心領域の位置もしくは形状もしくは配向が異なる複数の状態であることを特徴とする請求項１記載の超音波診断装置。
3. 前記複数の状態は、前記関心領域である膵臓の位置もしくは形状もしくは配向が異なる複数の状態であることを特徴とする請求項１記載の超音波診断装置。
4. 生体の体腔内へ挿入し、超音波を走査して超音波断層像を作成するための超音波信号を得る細長の超音波プローブと、
   前記超音波プローブの走査情報を選択する走査選択部とを備え、
   前記状態選択部は、前記走査選択部で選択された走査情報に基づき前記状態を選択することを特徴とする請求項１記載の超音波診断装置。
5. 前記走査情報は、前記超音波プローブの走査位置もしくは移動方向もしくは移動軌跡であることを特徴とする請求項４記載の超音波診断装置。
6. 前記走査情報を選択するための条件を入力する条件入力部を備え、
   前記走査選択部は、前記条件入力部から入力された前記条件によって走査情報を選択することを特徴とする請求項５記載の超音波診断装置。
7. 前記走査位置は、食道と胃と十二指腸と十二指腸球部と十二指腸下降脚と十二指腸横行脚とのうちの何れか、若しくは、これらの何れかの特定の部分であることを特徴とする請求項５記載の超音波診断装置。
8. 前記移動方向は、前記超音波プローブを前記生体の体腔で引き抜く方向もしくは押し込む方向であることを特徴とする請求項５記載の超音波診断装置。
9. 前記参照データは、前記関心領域を含む複数の部分モデル画像データから構成されることを特徴とする請求項１記載の超音波診断装置。
10. 前記複数の部分モデル画像データのうちの特定の部分モデル画像データが前記関心領域の複数の状態の各々に対応した複数の画像データからなり、
    前記ガイド画像作成部は、前記特定の部分モデル画像データに前記状態選択部により選択された前記状態に対応する画像データを用い、この画像データを含む前記複数の部分モデル画像データから構成された参照データに基づき、前記ガイド画像を作成することを特徴とする請求項９記載の超音波診断装置。
11. 生体の体腔内へ挿入し、超音波を走査して超音波断層像を作成するための超音波信号を得る細長の超音波プローブを備え、
    前記複数の状態が、前記超音波プローブにより生じる前記臓器の変形もしくは移動もしくは回転の前後の状態であり、
    前記特定の部分モデル画像データが前記臓器の変形もしくは移動もしくは回転の前後の状態の各々に対応した複数の画像データであることを特徴とする請求項１０記載の超音波診断装置。
12. 生体の体腔内へ挿入し、超音波を走査して超音波断層像を作成するための超音波信号を得る細長の超音波プローブを備え、
    前記複数の状態が前記超音波プローブにより生じる前記臓器の変形の前後の状態であり、
    前記特定の部分モデル画像データが前記臓器の変形の前後の状態の各々に対応した複数の画像データであり、
    前記臓器の前記変形の後の状態に対応した画像データが前記臓器の回転前の状態の画像データと回転後の状態の画像データとを合成した画像データであることを特徴とする請求項１０記載の超音波診断装置。