JP3746617B2 - Position estimation device - Google Patents

Position estimation device Download PDF

Info

Publication number
JP3746617B2
JP3746617B2 JP25143898A JP25143898A JP3746617B2 JP 3746617 B2 JP3746617 B2 JP 3746617B2 JP 25143898 A JP25143898 A JP 25143898A JP 25143898 A JP25143898 A JP 25143898A JP 3746617 B2 JP3746617 B2 JP 3746617B2
Authority
JP
Japan
Prior art keywords
coil
sense
source
sense coil
source coil
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP25143898A
Other languages
Japanese (ja)
Other versions
JP2000081304A (en
Inventor
潤 長谷川
澄洋 内村
靖宏 吉沢
明 谷口
健 川端
文幸 小野田
千恵子 相沢
雅直 原
和孝 辻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP25143898A priority Critical patent/JP3746617B2/en
Publication of JP2000081304A publication Critical patent/JP2000081304A/en
Application granted granted Critical
Publication of JP3746617B2 publication Critical patent/JP3746617B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Measurement Of Length, Angles, Or The Like Using Electric Or Magnetic Means (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は位置推定装置、更に詳しくはセンスコイルの配置部分に特徴のある位置推定装置に関する。
【0002】
【従来の技術】
近年、内視鏡は医療用分野及び工業用分野で広く用いられるようになった。この内視鏡は特に挿入部が軟性のものは、屈曲した体腔内に挿入することにより、切開することなく体腔内深部の臓器を診断したり、必要に応じてチャンネル内に処置具を挿通してポリープ等を切除するなどの治療処置を行うことができる。
【0003】
この場合、例えば肛門側から下部消化管内を検査する場合のように、屈曲した体腔内に挿入部を円滑に挿入するためにはある程度の熟練を必要とする場合がある。
【0004】
つまり、挿入作業を行っている場合、管路の屈曲に応じて挿入部に設けた湾曲部を湾曲させる等の作業が円滑な挿入を行うのに必要になり、そのためには挿入部の先端位置等が、体腔内のどの位置にあるかとか、現在の挿入部の屈曲状態等を知ることができると便利である。
【0005】
そこで、例えば本出願人が先に出願した特願平10−69075号に示されるような磁界を用いた位置推定装置(形状推定装置)が種々提案されている。
【0006】
上記の特願平10−69075号においては、センスコイルユニット内のセンスコイルの配置は、ソースコイルの測定空間において測定誤差を均一にし、同一方向を向いたセンスコイル間の距離を可能な限り離すことによってソースコイルの推定精度が向上するようにセンスコイルユニット内の4隅にX,Y,Z軸方向の単心コイルを3つ配置していた。
【0007】
【発明が解決しようとする課題】
しかしながら、上記従来装置では、測定空間上に金属物体が存在すると、金属を通過する磁界が影響を受け、センスコイルの出力が変化し、ソースコイルの位置が正しく推定できないと言う問題が発生する。
【0008】
すなわち、ソースコイルとセンスコイルユニットとの周辺に金属が存在する場合、推定される形状が歪むという問題がある。
【0009】
本発明は、上記事情に鑑みてなされたものであり、ソースコイルとセンスコイルユニットとの周辺に金属が存在しても、正確に形状を推定することのできる位置推定装置を提供することを目的としている。
【0010】
【課題を解決するための手段】
本発明の位置推定装置は、単心コイルにより磁界を発生するソースコイルと、
前記ソースコイルが発生した磁界を検出するためにセンスコイルユニット内の異なる位置に複数配置されたセンスコイルと、前記センスコイルの出力から前記ソースコイルの位置と向きを推定する推定手段と、を具備した位置推定装置において、前記センスコイルは、前記ソースコイルの位置と向きを推定する測定領域において前記ソースコイルを配置して回転させたとき、前記ソースコイルの位置と向き、及び、前記センスコイルの位置から算出される平面上で前記ソースコイルの磁界が金属体を通過する前記ソースコイルの回転角度が前記金属体の影響を受け難い小さい角度になるように前記センスコイルユニット内に配置され、かつ、自己を通過する前記ソースコイルの磁界が略直交するように向きが設定されたことを特徴とする。
【0012】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施の形態について述べる。
【0013】
第1の実施の形態:
図1ないし図19は本発明の第1の実施の形態に係わり、図1は内視鏡システムの構成を示す構成図、図2は図1の内視鏡装置形状検出装置の機能構成を示すブロック図、図3は図2の内視鏡装置形状検出装置の構成を示す構成図、図4は図3の内視鏡装置形状検出装置の要部である2ポートメモリ等の構成を示す構成図、図5は図4の2ポートメモリの動作を示すタイミング図、図6は図1の内視鏡システムの作用を示すフローチャート、図7は図6のFFT処理の流れを示すフローチャート、図8は図6の内視鏡システムの作用における並行処理タイミングを示すタイミング図、図9は図6のソースコイル推定位置座標算出処理の原理を説明する第1の説明図、図10は図6のソースコイル推定位置座標算出処理の原理を説明する第2の説明図、図11は図6のソースコイル推定位置座標算出処理の原理を説明する第3の説明図、図12は図6のソースコイル推定位置座標算出処理の原理を説明する第4の説明図、図13は図6のソースコイル推定位置座標算出処理の原理を説明する第5の説明図、図14は図1のセンスコイルの配置を説明する第1の説明図、図15は図1のセンスコイルの配置を説明する第2の説明図、図16は図1のセンスコイルの配置を説明する第3の説明図、図17は図1のセンスコイルの配置を説明する第4の説明図、図18は図1のセンスコイルの配置を説明する第5の説明図、図19は図1のセンスコイルの配置を説明する第6の説明図である。
【0014】
(構成)
図1に示すように、本実施の形態の内視鏡システム1は、内視鏡検査を行う内視鏡装置2と、内視鏡検査の補助に用いられる内視鏡装置形状検出装置3とを備え、この内視鏡形状検出装置3は、ベット4に横たわる患者5の体腔内に電子内視鏡6の挿入部7を挿入し、内視鏡検査を行う際の挿入補助手段として使用される。
【0015】
電子内視鏡6は、可撓性を有する細長の挿入部7の後端に湾曲操作ノブを設けた操作部8が形成され、この操作部8からユニバーサルコード9が延出され、ビデオイメージングシステム(またはビデオプロセッサ)10に接続されている。
【0016】
この電子内視鏡6は、ライトガイドが挿通されビデオプロセッサ10内の光源部からの照明光を伝送し、挿入部7の先端に設けた照明窓から伝送した照明光を出射し、患部等を照明する。照明された患部等の被写体は照明窓に隣接して設けられた観察窓に取り付けた対物レンズにより、その結像位置に配置された撮像素子に像を結び、この撮像素子は光電変換する。
【0017】
光電変換された信号はビデオプロッセサ10内の映像信号処理部により信号処理されて標準的な映像信号が生成され、ビデオプロセッサ10に接続された画像観察用モニタ11に表示される。
【0018】
この電子内視鏡6には鉗子チャンネル12が設けてあり、この鉗子チャンネル12の挿入口12aから例えば16個の磁気発生素子(またはソースコイル)14a、14b、…、14p(以下、符号14iで代表する)を有するプローブ15が挿通されることにより、挿入部7内にソースコイル14iが設置される。
【0019】
このプローブ15の後端から延出されたソースケーブル16は、その後端のコネクタが内視鏡形状検出装置3の装置本体21に着脱自在に接続される。そして、装置本体21側から高周波信号伝達手段としてソースケーブル16を介して磁気発生手段となるソースコイル14iに高周波信号(駆動信号)を印加することにより、ソースコイル14iは磁界を伴う電磁波を周囲に放射する。
【0020】
単心コイルからなるセンスコイルを3次元空間上に複数配置し、具体的には、中心のZ座標が第1のZ座標である例えばX軸に向いたセンスコイル22a、22b、22c、22dと、中心のZ座標が第1のZ座標と異なる第2のZ座標であるY軸に向いたセンスコイル22e、22f、22g、22hと、中心のZ座標が第1及び第2のZ座標と異なる第3のZ座標であるZ軸に向いたセンスコイル22i、22j、22k、22lの12個のセンスコイルを配置する(以下、センスコイルの符号を22jで代表させる)。
【0021】
センスコイル22jは、センスコイル22jが収納されているセンスコイルユニット50のコネクタから検出信号伝達手段としてのセンスケーブル23を介して装置本体21に接続されている。この装置本体21には使用者が装置を操作するための操作パネル24またはキーボード等が設けられている。また、この装置本体21には検出した内視鏡形状を表示する表示手段としてモニタ25が接続されている。
【0022】
さらに、内視鏡形状検出装置3の詳細な構成について説明する。内視鏡形状検出装置3は、図2に示すように、ソースコイル14iを起動する駆動ブロック26と、センスコイル22jが受信した信号を検出する検出ブロック27と、検出ブロック27で検出した信号を信号処理するホストプロセッサ28とから構成される。
【0023】
図3に示すように、電子内視鏡6の挿入部7に設置されるプローブ15には、上述したように、磁界を生成するための16個のソースコイル14iが所定の間隔で配置されており、これらソースコイル14iは、駆動ブロック26を構成する16個の互いに異なる高周波の駆動信号を生成するソースコイル駆動回路31に接続されている。
【0024】
ソースコイル駆動回路部31は、各ソースコイル14iをそれぞれ異なる周波数の正弦波の駆動信号電流で駆動し、それぞれの駆動周波数はソースコイル駆動回路部31内部の図示しない駆動周波数設定データ格納手段或いは駆動周波数設定データ記憶手段に格納された駆動周波数設定データ(駆動周波数データとも記す)により設定される。この駆動周波数データは、ホストプロセッサ28において内視鏡形状の算出処理等を行うCPU(中央処理ユニット)32によりPIO(パラレル入出力回路)33を介してソースコイル駆動回路部31内の駆動周波数データ格納手段(図示せず)に格納される。
【0025】
一方、12個のセンスコイル22jは、検出ブロック27を構成するセンスコイル信号増幅回路部34に接続されている。
【0026】
図4に示すように、センスコイル信号増幅回路部34では、単心コイル22jが1個につき1系統設けられた増幅回路35jに接続されており、各単心コイル22jで検出された微小な信号が増幅回路35jにより増幅されフィルタ回路36jでソースコイル群が発生する複数周波数が通過する帯域をもち不要成分を除去して出力バッファ37jに出力された後、ADC(アナログ・デジタル・コンバータ)38jでホストプロセッサ28が読み込み可能なデジタル信号に変換される。
【0027】
なお、検出ブロック27は、センスコイル信号増幅回路部34及びADC38jより構成され、センスコイル信号増幅回路部34は増幅回路35j、フィルタ回路36j及び出力バッファ37jより構成される。
【0028】
図3に戻り、このセンスコイル信号増幅回路部34の12系統の出力は、12個の前記ADC38jに伝送され、制御信号発生回路部40から供給されるクロックにより所定のサンプリング周期のデジタルデータに変換される。このデジタルデータは、制御信号発生回路部27からの制御信号によりローカルデータバス41を介して2ポートメモリ42に書き込まれる。
【0029】
なお、2ポートメモリ42は、図4に示すように、機能的には、ローカルコントローラ42a、第1のRAM42b、第2のRAM42c及びバススイッチ42dよりなり、図5に示すようなタイミングにより、ローカルコントローラ42aからのA/D変換開始信号によりADC38jがA/D変換を開始し、ローカルコントローラ42aからの切り換え信号によりバススイッチ42dがRAM42b、42cを切り換えながら第1RAM42b、42cを交互に読み出しメモリ及び書き込みメモリとして用い、書き込み信号により、電源投入後は、常時データの取り込みを行っている。
【0030】
再び、図3に戻り、CPU32は、制御信号発生回路部27からの制御信号により2ポートメモリ42に書き込まれたデジタルデータをローカルデータバス43、PCIコントローラ44及びPCIバス45(図4参照)からなる内部バス46を介して読みだし、メインメモリ47を用い、後述するように、デジタルデータに対して周波数抽出処理(フーリエ変換:FFT)を行い、各ソースコイル14iの駆動周波数に対応する周波数成分の磁界検出情報に分離抽出し、分離した磁界検出情報の各デジタルデータから電子内視鏡6の挿入部7内に設けられた各ソースコイル14iの空間位置座標を算出する。
【0031】
また、算出された位置座標データから電子内視鏡6の挿入部7の挿入状態を推定し、内視鏡形状画像を形成する表示データを生成し、ビデオRAM48に出力する。このビデオRAM48に書き込まれているデータをビデオ信号発生回路49が読みだし、アナログのビデオ信号に変換してモニタ25へと出力する。モニタ25は、このアナログのビデオ信号を入力すると、表示画面上に電子内視鏡6の挿入部7の挿入形状を表示する。
【0032】
CPU32において、各ソースコイル14iに対応した磁界検出情報、すなわち、各センスコイル22jに発生する起電力(正弦波信号の振幅値)と位相情報が算出される。なお、位相情報は、起電力の極性±を示す。
【0033】
本実施の形態の内視鏡システム1では、電源が投入されると、図6に示すように、ステップS1でパラメータファイルに基づき各システムパラメータを初期化し、ステップS2でハードウエアの初期化を行う。
【0034】
電源投入後は、2ポートメモリ42にはFFT処理を行うためのFFTポイント数分のデータが常時更新されており(図5参照)、ステップS3で、CPU32は、このFFTポイント数分のデータを取り込む。そして、ステップS4で窓関数法による処理によりデータの補正を行い、ステップS5で後述するFFT処理を行う。FFT処理後は、ステップS6で駆動周波数分の周波数成分を抽出し、ステップS7で振幅値及び位相差を算出し、ステップS8で算出した振幅値及び位相差の補正を行う。
【0035】
そして、ステップS9で8個の前記ADC38jからの信号(以下、チャンネル:CHとも記す)の検出が全て終了したか判断し、終了していなければステップS3に戻り、終了していればステップS10でセンスコイル特性に応じて全CH分の振幅値を補正し、ステップS11で全CH分の振幅値及び位相差により後述する方法によりソースコイル14iの推定位置座標を算出する。
【0036】
その後、ステップS12で内視鏡システム1のシステム終了SWがオンかどうか判断し、オンでないならば、ステップS13で後述する内視鏡形状検出イメージ画像表示処理を行い、ステップS3に戻り処理を繰り返す。また、ステップS12で内視鏡システム1のシステム終了SWがオンされると、ステップS14で各システムパラメータをパラメータファイルに保存した後、システムを終了する。
【0037】
ステップS5でのFFT処理では、図7に示すように、CPU32は、ステップS21で全CHがシグナル状態(FFTポイント数分のデータが揃った状態)かどうか判断し、シグナル状態ならばステップS22に進み、シグナル状態でないならばステップS23でシグナル状態になるまで待機しステップS22に進む。
【0038】
ステップS22では、FFT処理を行うCHのビットの状態(ビットが0ならば今回処理のためのデータ、ビットが1ならば処理済みのデータ)を判断し、ビットが0ならばステップS24でFFTを行い、FFT後ステップS25でビットの状態を1とする。ステップS22でビットが1ならばステップS21に戻り、次の第2以降のCH全てに対して処理を繰り返し全てのCHのFFT処理を行う。
【0039】
ステップS25後のステップS26では、全てのCHのビット状態が1かどうか判断し、全てのCHのビット状態が1でない場合は、ビット状態が1でないCHに対してFFT処理を行うためにステップS21に戻る。ステップS26で全てのCHのビット状態が1と判断すると、ステップS27で全CHをノンシグナル状態とし待機し、FFTポイント数分のデータが揃うとステップS28でシグナル状態にセットし、ステップS21に戻る。
【0040】
なお、図6の処理では、高速処理を行うために、図8に示すように、各処理単位を並列処理化するようにしている。特に、処理時間が長く繰り返し演算であるFFTについては、同じ処理単位をほぼ同時に処理する構成にしている。この並列処理化の対応によりCPU32の空き時間を有効に使用し高速化を図っている。
【0041】
次に、図6のステップS11でのソースコイル推定位置座標算出処理について説明する。まず、ソースコイル推定位置座標の算出方法を説明し、その後に具体的な処理内容を説明する。
【0042】
図9に示すように、半径が極めて小さく薄い円形コイルでは、特開平9−84745号公報に記載されているように、円形コイルに電流を流すと磁気双極子と同様に、3次元空間上の点Pの磁位は次のような式で表すことができる。
【0043】
【数1】

Figure 0003746617
μ :透磁率
1 :円形コイルの巻数
a :円形コイルの半径
I :円形コイルに流れる電流
従って、点PにおけるX,Y,Z軸と同一方向の磁界(HPx、HPy、HPz)は、
【数2】
Figure 0003746617
のように求められる。
図10に示すような3次元空間(以下ワールド座標系XW −YW −ZW)において、磁界を発生する単心コイル(以下ソースコイル)の位置を(xgW、ygW、zgW)とし、3次元空間上の任意の位置を点P(xPW、yPW、zPW)とする。
【0044】
ソースコイルを基準とした座標系をローカル座標系XL −YL −ZL とすると、ローカル座標系における点Pの座標(xPl、yPl、zPl)は
【数3】
Figure 0003746617
l :ローカル座標系における原点Oから点Pへのベクトル
W :ワールド座標系における原点Oから点Pへのベクトル
W :ワールド座標系におけるソースコイルの位置へのベクトル
R:回転マトリックス
と表すことができる。
【0045】
但し、Rは回転マトリックスで、図11に示す極座標系の回転マトリックスRは
【数4】
Figure 0003746617
となる。αはZW 軸を中心とした回転量を、βはXW 軸を中心とした回転量を示す。
【0046】
ソースコイルを基準としたローカル座標系において、点Pに発生する磁界Hl (HPxl 、HPyl 、HPzl )は式(10)より
【数5】
Figure 0003746617
となる。
【0047】
従って、ワールド座標系の点PにおけるXW 、YW 、ZW 軸と同一方向の磁界HW (HPxW 、HPyW 、HPzW )は、
【数6】
Figure 0003746617
となる。
【0048】
図13に示すように、3次元空間XYZ上に磁界を発生する1つのソースコイルを位置(xg,yg,zg)、向き(gx,gy,gz)に配置した場合、適当な位置P(xd,yd,Zd)に発生する磁界Hx,Hy,Hzは、式(6)から次のように表される。
【0049】
【数7】
Figure 0003746617
但し、kSは定数、rはソースコイルと点Pとの距離であって、磁界Hx,Hy,Hzの向きはX,Y,Z軸と同一方向である。
【0050】
点Pの位置に座標軸X,Y,Zと同一に向いた単心コイルCx,Cy,Czが配置された場合、それぞれの単心コイルCx,Cy,Czに発生する電圧Vx,Vy,Vz
【数8】
Figure 0003746617
となる。ここで、X軸に向いた単心コイルCxは、コイルを構成する導線を巻くときの軸をX軸と同一方向にしたコイルであって、Y軸,Z軸と同一に向いた単心コイルCy,Czも同様なコイルである。
【0051】
図1に示すように、12個のセンスコイルの電圧、位置、向きが全て既知であることから、式(8)によりソースコイルの位置(xg,yg,zg)と向き(gx,gy,gz)を未知数とする12個の非線形方程式が得られる。
【0052】
この12個の非線形方程式の解、すなわち、ソースコイルの位置と向きを反復改良によって求める(Gauss−Newton法)。
【0053】
xをソースコイルの位置(xg,yg,zg)と向き(gx,gy,gz)のパラメータとし、そのパラメータの初期値をx(0)とする。
【0054】
いま、反復改良によりk次の推定値x(k)が得られ、センスコイルに発生する電力のモデル関数V(x)をx(k)のまわりでTayLor展開すると、その一次近似は
【数9】
Figure 0003746617
となる。
【0055】
このとき、Vmをセンスコイルによって測定された電圧とすると観測方程式は
【数10】
Figure 0003746617
ここで、式が等号ではなくnearly equalとなっているのは、Vmに測定誤差が含まれるため。
【0056】
と表される。式(10)の右辺の第1項を左辺に移動すると
【数11】
Figure 0003746617
となる。但し、
【数12】
ΔVm(k)=Vm−V(x(k))=Vm−Vm(k) …(12)
【数13】
Δx(k)=x−x(k) …(13)
【数14】
Figure 0003746617
(i=1〜n,j=1〜m)
(行方向:未知数の数n、列方向:センスコイルの数m)
である。解Δx(k)は、式(11)より
【数15】
Δx(k)=(B(k)WA(k)-1(k)WΔVm(k) …(15)
と表される。ただし、BはAの転置、Wは重み行列である。
【0057】
よって、式(13)より改良したパラメータの推定値は
【数16】
(k+1)=x(k)+Δx(k) …(16)
と求められる。
【0058】
図1に示すように、12個の単心コイル(センスコイル)を並べると、行列Aは
【数17】
Figure 0003746617
重み行列Wは
【数18】
Figure 0003746617
と表される。ただし、重み行列Wのσi(i=0,1,…,12)は、各センスコイルの測定電圧の変動量で、例えば、環境ノイズ等がある。
【0059】
また、第k番目のΔVmは
【数19】
Figure 0003746617
となることから、ソースコイルの位置と向きは、次の手順(1)から(4)で求められる。
【0060】
手順(1);k=0とし、ソースコイルの初期値を位置(xg,yg,zg(0)、向き(gx,gy,gz(0)とする(例えば、ソースコイルを測定する空間の中心位置とZ軸方向のベクトル(0,0,1))。
手順(2);式(17),(18),(19)により第k番目の行列を計算する。
手順(3);式(16)により第k番目の更新量Δx(k)を計算する。
手順(4);更新量Δx(k)が小さくなるまで上記手順(2)から(4)を繰り返す。
【0061】
本実施の形態では、X,Y,Z軸方向に向いたセンスコイルをそれぞれ同一の高さに配置してソースコイルの位置を推定したが、これに限らず、各々のセンスコイルを任意の位置や向きに配置した場合でも、センスコイルの位置と向きが既知であればソースコイルの位置が推定できる。
【0062】
図1に示すように、センスコイルユニット50はソースコイル14iが発生する磁界を検出するための複数のセンスコイル22jによって構成される。また、センスコイルユニット50はベッドの脇に柱29によって固定されている。
【0063】
図1に示すようにベッド4の脇のセンスコイルユニット50を固定する柱29が金属である場合、センスコイルユニット50の大きさと金属の位置、ソースコイル14iが存在する空間(測定領域)によってセンスコイルユニット50内のセンスコイル22jの配置を設定する。
【0064】
今、1つのソースコイル14iが発生する磁界に対してコイルに誘導される電圧の大きさが一定となるセンスコイル22jの位置を求める。
【0065】
図14に示すように、XZ平面上のZ軸と平行にソースコイルを座標(−a,0)に配置し、第1のセンスコイルと第2のセンスコイルをソースコイルが発生する磁界に対して垂直な方向に配置した場合、各センスコイルに発生する磁界は式(7)より
【数20】
Figure 0003746617
【数21】
Figure 0003746617
となる。
【0066】
ここで、H1x=H2z、b=kaとおくと、
【数22】
Figure 0003746617
の式が得られる。
【0067】
式(22)のkを求めることにより、ソースコイルが発生する磁界に対してセンスコイルに誘導される電圧の大きさが一定となるセンスコイルの存在する空間(楕円体)が求められる(但し、ソースコイルの磁界に対してセンスコイルが垂直に配置される場合)。
【0068】
図15は3次元空間上にlつのソースコイルが配置されたときの磁界を、2次元的に表した図である。各楕円ではセンスコイルに誘導される電圧が異なる。
【0069】
図16に示すように、センスコイルユニット50が固定されている柱29を中空の金属とし、センスコイルユニット50内の第1のセンスコイルの位置を(a,b,c)、第2のセンスコイルの位置を(a’,b’,c’)とする。
【0070】
図17及び図18は、ソースコイルの位置を固定し回転させた場合、第1のセンスコイル、第2のセンスコイルの中心位置と柱29を通過する磁界の様子を表す。ただし、図17及び図18は、第1及び第2のセンスコイルの中心位置を通り、YZ平面に平行な平面上での磁界の通過の状態を示している。
【0071】
界を発生しているソースコイルとセンスコイルユニット50が離れている場合、第1のセンスコイルは第2のセンスコイルに比ぺて、ソースコイルの回転の角度が狭い(θ <θ )ことから、ソースコイルの回転の変化に対して第1のセンスコイルのほうが金属の柱29の影響を受け難いことがわかる。
【0072】
また、磁界がセンスコイルに対して垂直に通過したとき、センスコイルの出力が最も大きく検出され、センスコイルの出力の大きい値がソ−スコイルの位置推定に大きく影響する。
【0073】
従って、第2のセンスコイルよりも金属の影響を受け難い第1のセンスコイルは、図19に示すように、出力を大きく検出できるようにY軸方向の向きに設定し、第2のセンスコイルはZ軸方向の向きに設定する。なお、X軸方向のセンスコイルは、センスコイルユニット50内の柱29から最も離れた位置に設置する。
【0074】
このように本実施の形態では、3次元空間上の金属の影響を受け難いようにセンスコイルユニット内のセンスコイルの位置と向きを設定するため、ソースコイルの位置推定の誤差を小さくでき、内視鏡挿入形状の変形を軽滅することができる。また、図19に示すように、センスコイルユニット内の4隅にXYZ軸方向コイルが配置されることから、ソースコイルの位置推定の誤差を均一に保つことができる。
【0075】
図20ないし図23は本発明の第2の実施の形態に係わり、図20はセンスコイルユニットが設けられるベッドの構成を示す構成図、図21は図20のベッドのフレームの影響を排除したセンスコイルの配置を説明する第1の説明図、図22は図20のベッドのフレームの影響を排除したセンスコイルの配置を説明する第2の説明図、図23は図20のベッドのフレームの影響を排除したセンスコイルの配置を説明する第3の説明図である。
【0076】
第2の実施の形態は、第1の実施の形態とほとんど同じであるので、異なる点のみ説明し、同一の構成には同じ符号をつけ説明は省略する。
【0077】
本実施の形態では、システムの構成は第1の実施の形態と同一でセンスコイルユニット50内のセンスコイルの配置が異なる。
【0078】
すなわち、ベッド4が図20に示すような中空の金属のフレ−ム55によって構成される場合、センスコイルユニット50内のセンスコイルの配置をする場合の実施形態である。
【0079】
磁界を発生するソースコイルとセンスコイルユニット50が離れている場合、図21及び図22に示すように、第1のセンスコイルと第2のセンスコイルの位置では第2のセンスコイルの位置のほうがソ−スコイルの回転の角度が大きい(θ <θ )ことから、位置を固定したソ−スコイルの回転に対してベッド4の金属フレ−ムの影響を受け易い。
【0080】
従って、第1のセンスコイルの位置にはX軸方向のセンスコイルを配置し、第2のセンスコイルの位置にはZ軸方向のセンスコイルを配置する。なお、Y軸方向のセンスコイルについては、ベッド4からできるだけ離れた位置に配置するようにするが、ソースコイルの位置推定誤差を測定空間内で均一にするため、図23ようにそれぞれのセンスコイルを配置する。
【0081】
このように本実施の形態では、第1の実施の形態の効果に加え、金属のフレームで構成されているベッドに対しても金属の影響を軽減するように、センスコイルユニット内のセンスコイルの位置と向きを配置できる。
【0082】
図24及び図25は本発明の第3の実施の形態に係わり、図24はセンスコイルユニットが設けられるベッドの構成を示す構成図、図25は図24のベッドのフレームの影響を排除したセンスコイルの配置を説明する説明図である。
【0083】
第3の実施の形態は、第1の実施の形態とほとんど同じであるので、異なる点のみ説明し、同一の構成には同じ符号をつけ説明は省略する。
【0084】
本実施の形態では、システムの構成は第1の実施の形態と同一でセンスコイルユニット50内のセンスコイルの配置が異なる。
【0085】
本実施の形態では、図24に示すように、ベッド4はベッドマット56を固定するためのフレーム57が中空の金属によって構成されている。また、ソースコイルの測定空間とセンスコイルユニット50を近接させるため、比較的金属の少ない領域にセンスコイルユニット50をベッド4に固定する。
【0086】
固定されたセンスコイルユニット50内のセンスコイルの配置は、第1及び第2の実施の形態で説明したように、ソースコイルとセンスコイルユニット50が離れた場合、X、Y、Z軸方向のセンスコイルが金属のフレ−ムの影響を受け難いようにそれぞれを配置する(図25)。
【0087】
すなわち、図25に示すように、センスコイルユニット50の周りを囲む金属フレ−ムがセンスコイルの出力の影響を受け難いようにセンスコイルの配置するには、金属のフレーム57に近接した位置には、ソースコイルが発生する磁界がフレーム57と交差し難い、X、Z軸方向のセンスコイルで構成し、Y軸方向のセンスコイルは金属のフレーム57から離れた位置に配置する。X軸方向のセンスコイルはフレームを通過した磁界による出力が得られる可能性はあるが、X軸方向のセンスコイルの中心を通過する磁界の進入する角度か浅いため、検出される値が小さくなりソースコイルの位置推定に与える影響が少ない。このため、X軸方向のセンスコイルはY軸方向のセンスコイルより金属フレーム57に近い位置に配置する。
【0088】
このように本実施の形態では、第1の実施の形態の効果に加え、ソースコイルの測定空間とセンスコイルユニットを近接させ、比較的金属の少ない位置にセンスコイルユニットを配置できることから、ソ−スコイルの位置を金属の影響を受け難くして推定が行える。
【0089】
[付記]
(付記項1) 単心コイルにより磁界を発生するソースコイルと、
センスコイルとして3次元空間上に互いに直交した3つの単心コイルを複数配置し、
前記センスコイルの出力から前記ソースコイルの位置と向きを推定する推定手段と
を具備した形状推定装置において、
前記センスコイルの近傍に金属体が配置された場合、前記金属体の断面が存在する平面と平行な平面上で前記ソースコイルが発生する磁界を垂直に通過する前記センスコイルを構成する前記互いに直交した3つの単心コイルのうちの2つの単心コイルおいて、前記金属体の断面と平行な単心コイルを他方の単心コイルより前記金属体に対して遠方に配置する
ことを特徴とする形状推定装置。
【0090】
(付記項2) 前記ソースコイルは、内視鏡の挿入部に配置される
ことを特徴とする付記項1に記載の形状推定装置。
【0091】
(付記項3) 単心コイルにより磁界を発生するソースコイルと、
センスコイルとして3次元空間上に複数の単心コイルを異なる位置に配置し、
前記センスコイルの出力から前記ソースコイルの位置と向きを推定する推定手段と
を具備した形状推定装置において、
前記センスコイルの配置位置と向きを3次元空間上に配置された金属物体と前記ソースコイルの存在する空間により設定する
ことを特徴とする形状推定装置。
【0092】
【発明の効果】
以上説明したように本発明の位置推定装置によれば、ソースコイルとセンスコイルユニットとの周辺に金属が存在しても、正確に形状を推定することができるという効果がある。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態に係る内視鏡システムの構成を示す構成図
【図2】図1の内視鏡装置形状検出装置の機能構成を示すブロック図
【図3】図2の内視鏡装置形状検出装置の構成を示す構成図
【図4】図3の内視鏡装置形状検出装置の要部である2ポートメモリ等の構成を示す構成図
【図5】図4の2ポートメモリの動作を示すタイミング図
【図6】図1の内視鏡システムの作用を示すフローチャート
【図7】図6のFFT処理の流れを示すフローチャート
【図8】図6の内視鏡システムの作用における並行処理タイミングを示すタイミング図
【図9】図6のソースコイル推定位置座標算出処理の原理を説明する第1の説明図
【図10】図10は図6のソースコイル推定位置座標算出処理の原理を説明する第2の説明図
【図11】図6のソースコイル推定位置座標算出処理の原理を説明する第3の説明図
【図12】図6のソースコイル推定位置座標算出処理の原理を説明する第4の説明図
【図13】図6のソースコイル推定位置座標算出処理の原理を説明する第5の説明図
【図14】図1のセンスコイルの配置を説明する第1の説明図
【図15】図1のセンスコイルの配置を説明する第2の説明図
【図16】図1のセンスコイルの配置を説明する第3の説明図
【図17】図1のセンスコイルの配置を説明する第4の説明図
【図18】図1のセンスコイルの配置を説明する第5の説明図
【図19】図1のセンスコイルの配置を説明する第6の説明図
【図20】本発明の第2の実施の形態に係るセンスコイルユニットが設けられるベッドの構成を示す構成図
【図21】図20のベッドのフレームの影響を排除したセンスコイルの配置を説明する第1の説明図
【図22】図20のベッドのフレームの影響を排除したセンスコイルの配置を説明する第2の説明図
【図23】図20のベッドのフレームの影響を排除したセンスコイルの配置を説明する第3の説明図
【図24】本発明の第3の実施の形態に係るセンスコイルユニットが設けられるベッドの構成を示す構成図
【図25】図24のベッドのフレームの影響を排除したセンスコイルの配置を説明する説明図
【符号の説明】
1…内視鏡システム
2…内視鏡装置
3…内視鏡形状検出装置
4…ベット
6…電子内視鏡
7…挿入部
8…操作部
9…ユニバーサルコード
10…ビデオプロセッサ
11…画像観察用モニタ
12…鉗子チャンネル
12a…挿入口
14i…ソースコイル
15…プローブ
16…ソースケーブル
21…装置本体
22j…センスコイル
23…センスケーブル
24…操作パネル
25…モニタ
26…駆動ブロック
27…検出ブロック
28…ホストプロセッサ
31…ソースコイル駆動回路
32…CPU
33…PIO
34…センスコイル信号増幅回路部
35k…増幅回路
36k…フィルタ回路
37k…出力バッファ
38k…ADC
40…制御信号発生回路部
41…ローカルデータバス
42…2ポートメモリ
46…内部バス
47…メインメモリ
48…ビデオRAM
49…ビデオ信号発生回路
50…センスコイルユニット[0001]
BACKGROUND OF THE INVENTION
The present invention Position estimation device More specifically, there is a characteristic in the arrangement part of the sense coil Position estimation device About.
[0002]
[Prior art]
In recent years, endoscopes have been widely used in the medical field and the industrial field. This endoscope, especially with a soft insertion section, can be inserted into a bent body cavity to diagnose deep internal organs without incision, and if necessary, a treatment instrument can be inserted into the channel. Treatment such as excision of polyps and the like can be performed.
[0003]
In this case, for example, when the inside of the lower digestive tract is inspected from the anal side, a certain level of skill may be required to smoothly insert the insertion portion into the bent body cavity.
[0004]
In other words, when performing an insertion operation, it is necessary to perform a smooth insertion operation such as bending the bending portion provided in the insertion portion in accordance with the bending of the pipe line. It is convenient to be able to know the position in the body cavity, the current bending state of the insertion portion, and the like.
[0005]
Therefore, for example, various position estimation devices (shape estimation devices) using a magnetic field as shown in Japanese Patent Application No. 10-69075 filed earlier by the present applicant have been proposed.
[0006]
In the above Japanese Patent Application No. 10-69075, the arrangement of the sense coil in the sense coil unit makes the measurement error uniform in the measurement space of the source coil and keeps the distance between the sense coils facing the same direction as much as possible. Thus, three single-core coils in the X, Y, and Z-axis directions are arranged at the four corners in the sense coil unit so that the estimation accuracy of the source coil is improved.
[0007]
[Problems to be solved by the invention]
However, in the above-described conventional apparatus, when a metal object exists in the measurement space, the magnetic field passing through the metal is affected, the output of the sense coil changes, and the problem that the position of the source coil cannot be estimated correctly occurs.
[0008]
That is, when a metal exists around the source coil and the sense coil unit, there is a problem that the estimated shape is distorted.
[0009]
The present invention has been made in view of the above circumstances, and can accurately estimate the shape even if metal exists around the source coil and the sense coil unit. Position estimation device The purpose is to provide.
[0010]
[Means for Solving the Problems]
The position estimation apparatus of the present invention includes a source coil that generates a magnetic field by a single core coil,
A plurality of sense coils arranged at different positions in the sense coil unit to detect a magnetic field generated by the source coil; and an estimation means for estimating the position and orientation of the source coil from the output of the sense coil. In the position estimation apparatus, the sense coil is In the measurement area where the position and orientation of the source coil are estimated, the source coil is When placed and rotated, the source coil Position and orientation, and The sense coil From the position The rotation angle of the source coil through which the magnetic field of the source coil passes through the metal body on the calculated plane is To a small angle that is not easily affected by the metal body Is arranged in the sense coil unit and passes through itself Orientation so that the magnetic field of the source coil is substantially orthogonal It is characterized by being set.
[0012]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
[0013]
First embodiment:
1 to 19 relate to the first embodiment of the present invention, FIG. 1 is a block diagram showing the configuration of the endoscope system, and FIG. 2 shows the functional configuration of the endoscope apparatus shape detecting device of FIG. FIG. 3 is a block diagram showing a configuration of the endoscope apparatus shape detecting device of FIG. 2, and FIG. 4 is a configuration showing a configuration of a two-port memory, etc., which is a main part of the endoscope device shape detecting device of FIG. 5 is a timing diagram showing the operation of the 2-port memory of FIG. 4, FIG. 6 is a flowchart showing the operation of the endoscope system of FIG. 1, FIG. 7 is a flowchart showing the FFT processing flow of FIG. Is a timing diagram showing the parallel processing timing in the operation of the endoscope system of FIG. 6, FIG. 9 is a first explanatory diagram for explaining the principle of the source coil estimated position coordinate calculation processing of FIG. 6, and FIG. 10 is the source of FIG. A second explanation of the principle of the coil estimated position coordinate calculation process FIG. 11 is a third explanatory diagram for explaining the principle of the source coil estimated position coordinate calculation process of FIG. 6, and FIG. 12 is a fourth explanatory diagram for explaining the principle of the source coil estimated position coordinate calculation process of FIG. 13 is a fifth explanatory diagram for explaining the principle of the source coil estimated position coordinate calculation processing of FIG. 6, FIG. 14 is a first explanatory diagram for explaining the arrangement of the sense coils of FIG. 1, and FIG. FIG. 16 is a third explanatory diagram for explaining the arrangement of the sense coils in FIG. 1, and FIG. 17 is a fourth explanatory diagram for explaining the arrangement of the sense coils in FIG. 18 is a fifth explanatory diagram for explaining the arrangement of the sense coils of FIG. 1, and FIG. 19 is a sixth explanatory diagram for explaining the arrangement of the sense coils of FIG.
[0014]
(Constitution)
As shown in FIG. 1, an endoscope system 1 according to the present embodiment includes an endoscope apparatus 2 that performs an endoscopic examination, and an endoscope apparatus shape detection apparatus 3 that is used to assist the endoscopic examination. This endoscope shape detection device 3 is used as an insertion assisting means when an insertion portion 7 of an electronic endoscope 6 is inserted into a body cavity of a patient 5 lying on a bed 4 and an endoscopic examination is performed. The
[0015]
The electronic endoscope 6 is formed with an operation portion 8 provided with a bending operation knob at the rear end of the elongated insertion portion 7 having flexibility, and a universal cord 9 is extended from the operation portion 8 so that a video imaging system is provided. (Or video processor) 10.
[0016]
This electronic endoscope 6 is inserted through a light guide, transmits illumination light from a light source section in the video processor 10, emits illumination light transmitted from an illumination window provided at the distal end of the insertion section 7, and affects affected areas. Illuminate. An illuminated subject such as a diseased part forms an image on an imaging element disposed at the imaging position by an objective lens attached to an observation window provided adjacent to the illumination window, and this imaging element performs photoelectric conversion.
[0017]
The photoelectrically converted signal is subjected to signal processing by a video signal processing unit in the video processor 10 to generate a standard video signal, which is displayed on an image observation monitor 11 connected to the video processor 10.
[0018]
The electronic endoscope 6 is provided with a forceps channel 12, for example, 16 magnetic generating elements (or source coils) 14 a, 14 b,..., 14 p (hereinafter, denoted by reference numeral 14 i) from the insertion opening 12 a of the forceps channel 12. The source coil 14 i is installed in the insertion portion 7 by inserting the probe 15 having a representative).
[0019]
The source cable 16 extended from the rear end of the probe 15 has a rear end connector detachably connected to the apparatus main body 21 of the endoscope shape detection apparatus 3. Then, by applying a high frequency signal (driving signal) from the apparatus main body 21 side to the source coil 14i serving as the magnetism generating means via the source cable 16 as the high frequency signal transmitting means, the source coil 14i causes the electromagnetic waves accompanied by the magnetic field to the surroundings. Radiate.
[0020]
A plurality of sense coils each consisting of a single-core coil are arranged in a three-dimensional space. Specifically, for example, sense coils 22a, 22b, 22c, and 22d whose center Z coordinate is the first Z coordinate, for example, facing the X axis; Sense coils 22e, 22f, 22g, 22h facing the Y axis, which is a second Z coordinate whose center Z coordinate is different from the first Z coordinate, and the center Z coordinate being the first and second Z coordinates. Twelve sense coils of sense coils 22i, 22j, 22k, and 22l facing the Z axis, which is a different third Z coordinate, are arranged (hereinafter, the sense coil is represented by 22j).
[0021]
The sense coil 22j is connected from the connector of the sense coil unit 50 in which the sense coil 22j is accommodated to the apparatus main body 21 via a sense cable 23 as detection signal transmission means. The apparatus main body 21 is provided with an operation panel 24 or a keyboard for a user to operate the apparatus. Further, a monitor 25 is connected to the apparatus main body 21 as display means for displaying the detected endoscope shape.
[0022]
Further, a detailed configuration of the endoscope shape detection device 3 will be described. As shown in FIG. 2, the endoscope shape detection apparatus 3 includes a drive block 26 that activates the source coil 14i, a detection block 27 that detects a signal received by the sense coil 22j, and a signal detected by the detection block 27. And a host processor 28 for signal processing.
[0023]
As shown in FIG. 3, the probe 15 installed in the insertion portion 7 of the electronic endoscope 6 has 16 source coils 14i for generating a magnetic field arranged at predetermined intervals as described above. These source coils 14 i are connected to a source coil drive circuit 31 that generates 16 different high-frequency drive signals constituting the drive block 26.
[0024]
The source coil drive circuit unit 31 drives each source coil 14i with a sinusoidal drive signal current of a different frequency, and each drive frequency is a drive frequency setting data storage means (not shown) or drive in the source coil drive circuit unit 31. It is set by drive frequency setting data (also referred to as drive frequency data) stored in the frequency setting data storage means. This drive frequency data is obtained from the drive frequency data in the source coil drive circuit unit 31 via a PIO (parallel input / output circuit) 33 by a CPU (central processing unit) 32 that performs an endoscope shape calculation process in the host processor 28. Stored in storage means (not shown).
[0025]
On the other hand, the twelve sense coils 22 j are connected to a sense coil signal amplification circuit unit 34 that constitutes the detection block 27.
[0026]
As shown in FIG. 4, in the sense coil signal amplifying circuit unit 34, a single core coil 22j is connected to an amplifier circuit 35j provided for one system, and a minute signal detected by each single core coil 22j. Is amplified by the amplifying circuit 35j and has a band through which a plurality of frequencies generated by the source coil group is generated in the filter circuit 36j, and unnecessary components are removed and output to the output buffer 37j, and then output by an ADC (analog / digital converter) 38j. It is converted into a digital signal that can be read by the host processor 28.
[0027]
The detection block 27 includes a sense coil signal amplification circuit unit 34 and an ADC 38j. The sense coil signal amplification circuit unit 34 includes an amplification circuit 35j, a filter circuit 36j, and an output buffer 37j.
[0028]
Returning to FIG. 3, the 12 outputs of the sense coil signal amplifying circuit 34 are transmitted to the 12 ADCs 38j and converted into digital data of a predetermined sampling period by the clock supplied from the control signal generating circuit 40. Is done. This digital data is written into the 2-port memory 42 via the local data bus 41 in accordance with a control signal from the control signal generating circuit unit 27.
[0029]
As shown in FIG. 4, the 2-port memory 42 is functionally composed of a local controller 42a, a first RAM 42b, a second RAM 42c, and a bus switch 42d. The ADC 38j starts A / D conversion by the A / D conversion start signal from the controller 42a, and the bus switch 42d alternately reads the first RAMs 42b and 42c while switching between the RAMs 42b and 42c by the switching signal from the local controller 42a. Used as a memory, data is always taken in after a power-on by a write signal.
[0030]
Returning to FIG. 3 again, the CPU 32 transfers the digital data written in the 2-port memory 42 by the control signal from the control signal generation circuit unit 27 from the local data bus 43, the PCI controller 44 and the PCI bus 45 (see FIG. 4). Frequency component corresponding to the driving frequency of each source coil 14i by performing frequency extraction processing (Fourier transform: FFT) on the digital data, as will be described later, using the main memory 47. Then, the spatial position coordinate of each source coil 14i provided in the insertion part 7 of the electronic endoscope 6 is calculated from each digital data of the separated magnetic field detection information.
[0031]
Further, the insertion state of the insertion unit 7 of the electronic endoscope 6 is estimated from the calculated position coordinate data, display data for forming an endoscope shape image is generated, and output to the video RAM 48. Data written in the video RAM 48 is read by the video signal generation circuit 49, converted into an analog video signal, and output to the monitor 25. When this analog video signal is input, the monitor 25 displays the insertion shape of the insertion portion 7 of the electronic endoscope 6 on the display screen.
[0032]
In the CPU 32, magnetic field detection information corresponding to each source coil 14i, that is, an electromotive force (amplitude value of a sine wave signal) and phase information generated in each sense coil 22j is calculated. The phase information indicates the polarity ± of the electromotive force.
[0033]
In the endoscope system 1 of the present embodiment, when the power is turned on, as shown in FIG. 6, the system parameters are initialized based on the parameter file in step S1, and the hardware is initialized in step S2. .
[0034]
After the power is turned on, the data for the number of FFT points for performing the FFT processing is constantly updated in the 2-port memory 42 (see FIG. 5). In step S3, the CPU 32 stores the data for the number of FFT points. take in. In step S4, the data is corrected by the window function method, and in step S5, FFT processing described later is performed. After the FFT processing, frequency components corresponding to the driving frequency are extracted in step S6, the amplitude value and the phase difference are calculated in step S7, and the amplitude value and the phase difference calculated in step S8 are corrected.
[0035]
Then, in step S9, it is determined whether or not the detection of all the signals from the eight ADCs 38j (hereinafter also referred to as channels: CH) is completed. If not completed, the process returns to step S3, and if completed, the process returns to step S10. The amplitude values for all the CHs are corrected according to the sense coil characteristics, and the estimated position coordinates of the source coil 14i are calculated by the method described later from the amplitude values and the phase differences for all the CHs in step S11.
[0036]
Thereafter, in step S12, it is determined whether or not the system end SW of the endoscope system 1 is on. If not, the endoscope shape detection image image display process described later is performed in step S13, and the process returns to step S3 to repeat the process. . When the system end SW of the endoscope system 1 is turned on in step S12, each system parameter is saved in the parameter file in step S14, and then the system is ended.
[0037]
In the FFT process in step S5, as shown in FIG. 7, the CPU 32 determines in step S21 whether all CHs are in a signal state (a state in which data corresponding to the number of FFT points is prepared). If it is not in the signal state, the process waits until it becomes a signal state in step S23, and proceeds to step S22.
[0038]
In step S22, the state of the CH bit to be subjected to FFT processing is determined (if the bit is 0, the data for the current processing, if the bit is 1, the processed data), and if the bit is 0, the FFT is performed in step S24. After the FFT, the bit state is set to 1 in step S25. If the bit is 1 in step S22, the process returns to step S21, and the process is repeated for all the second and subsequent CHs to perform the FFT process for all the CHs.
[0039]
In step S26 after step S25, it is determined whether or not the bit states of all the CHs are 1. If the bit states of all the CHs are not 1, step S21 is performed in order to perform FFT processing on the CHs that do not have a bit state of 1. Return to. If it is determined in step S26 that the bit states of all the CHs are 1, all the CHs are set to the non-signal state in step S27 and wait, and when the data corresponding to the number of FFT points is obtained, the signal state is set in step S28 and the process returns to step S21. .
[0040]
In the processing of FIG. 6, in order to perform high-speed processing, each processing unit is processed in parallel as shown in FIG. In particular, for FFT, which has a long processing time and is a repetitive operation, the same processing unit is processed almost simultaneously. Due to this parallel processing, the idle time of the CPU 32 is effectively used to increase the speed.
[0041]
Next, the source coil estimated position coordinate calculation process in step S11 of FIG. 6 will be described. First, a method of calculating the source coil estimated position coordinates will be described, and then specific processing contents will be described.
[0042]
As shown in FIG. 9, in a thin circular coil having an extremely small radius, as described in Japanese Patent Laid-Open No. 9-84745, when a current is passed through the circular coil, it is similar to a magnetic dipole in a three-dimensional space. The magnetic potential at the point P can be expressed by the following equation.
[0043]
[Expression 1]
Figure 0003746617
μ: Permeability
N 1 : Number of turns of circular coil
a: Radius of circular coil
I: Current flowing in the circular coil
Accordingly, the magnetic field (H at the point P in the same direction as the X, Y, and Z axes) Px , H Py , H Pz )
[Expression 2]
Figure 0003746617
It is required as follows.
A three-dimensional space as shown in FIG. W -Y W -Z W ), The position of a single core coil (hereinafter referred to as a source coil) that generates a magnetic field gW , Y gW , Z gW ) And an arbitrary position in the three-dimensional space is a point P (x PW , Y PW , Z PW ).
[0044]
The coordinate system based on the source coil is the local coordinate system X L -Y L -Z L Then, the coordinates of the point P in the local coordinate system (x Pl , Y Pl , Z Pl )
[Equation 3]
Figure 0003746617
P l : Vector from origin O to point P in the local coordinate system
P W : Vector from origin O to point P in the world coordinate system
G W : Vector to the position of the source coil in the world coordinate system
R: Rotation matrix
It can be expressed as.
[0045]
However, R is a rotation matrix, and the rotation matrix R of the polar coordinate system shown in FIG.
[Expression 4]
Figure 0003746617
It becomes. α is Z W The amount of rotation around the axis, β is X W Indicates the amount of rotation around the axis.
[0046]
Magnetic field H generated at point P in the local coordinate system with reference to the source coil l (H Pxl , H Pyl , H Pzl ) From equation (10)
[Equation 5]
Figure 0003746617
It becomes.
[0047]
Therefore, X at point P in the world coordinate system W , Y W , Z W Magnetic field H in the same direction as the axis W (H PxW , H PyW , H PzW )
[Formula 6]
Figure 0003746617
It becomes.
[0048]
As shown in FIG. 13, one source coil that generates a magnetic field on the three-dimensional space XYZ is positioned (x g , Y g , Z g ), Orientation (g x , G y , G z ) At an appropriate position P (x d , Y d , Z d ) Generated magnetic field H x , H y , H z Is expressed from the equation (6) as follows.
[0049]
[Expression 7]
Figure 0003746617
Where k S Is a constant, r is the distance between the source coil and point P, and the magnetic field H x , H y , H z Is in the same direction as the X, Y, and Z axes.
[0050]
Single-core coil C oriented in the same direction as coordinate axes X, Y, Z at the position of point P x , C y , C z Are arranged, each single-core coil C x , C y , C z Voltage V generated at x , V y , V z Is
[Equation 8]
Figure 0003746617
It becomes. Here, the single-core coil C facing the X-axis x Is a coil in which the axis when winding the conducting wire constituting the coil is in the same direction as the X-axis, and the single-core coil C oriented in the same direction as the Y-axis and Z-axis y , C z Is a similar coil.
[0051]
As shown in FIG. 1, since the voltages, positions, and orientations of the twelve sense coils are all known, the position of the source coil (x g , Y g , Z g ) And orientation (g x , G y , G z 12 nonlinear equations with unknowns) are obtained.
[0052]
The solution of these 12 nonlinear equations, that is, the position and orientation of the source coil are obtained by iterative improvement (Gauss-Newton method).
[0053]
x is the position of the source coil (x g , Y g , Z g ) And orientation (g x , G y , G z ) And the initial value of the parameter is x (0) And
[0054]
Now, iterative improvement is used to estimate kth order x (k) And the model function V (x) of the power generated in the sense coil is expressed as x (k) When the TaylorLor expansion is taken around, the first order approximation is
[Equation 9]
Figure 0003746617
It becomes.
[0055]
At this time, if Vm is a voltage measured by the sense coil, the observation equation is
[Expression 10]
Figure 0003746617
Here, the reason why the equation is not equal but nearly equal is because Vm includes a measurement error.
[0056]
It is expressed. When the first term on the right side of Equation (10) is moved to the left side,
## EQU11 ##
Figure 0003746617
It becomes. However,
[Expression 12]
ΔVm (k) = Vm-V (x (k) ) = Vm-Vm (k) (12)
[Formula 13]
Δx (k) = Xx (k) ... (13)
[Expression 14]
Figure 0003746617
(I = 1 to n, j = 1 to m)
(Row direction: number of unknowns n, column direction: number of sense coils m)
It is. Solution Δx (k) From equation (11)
[Expression 15]
Δx (k) = (B (k) WA (k) ) -1 B (k) WΔVm (k) ... (15)
It is expressed. Where B is a transpose of A and W is a weight matrix.
[0057]
Therefore, the parameter estimate improved from equation (13) is
[Expression 16]
x (k + 1) = X (k) + Δx (k) ... (16)
Is required.
[0058]
As shown in FIG. 1, when 12 single-core coils (sense coils) are arranged, the matrix A is
[Expression 17]
Figure 0003746617
The weight matrix W is
[Formula 18]
Figure 0003746617
It is expressed. However, σ of the weight matrix W i (I = 0, 1,..., 12) is a fluctuation amount of the measurement voltage of each sense coil, and includes, for example, environmental noise.
[0059]
The kth ΔVm is
[Equation 19]
Figure 0003746617
Therefore, the position and orientation of the source coil can be obtained by the following procedures (1) to (4).
[0060]
Procedure (1); k = 0 and the initial value of the source coil is set to the position (x g , Y g , Z g ) (0) , Orientation (g x , G y , G z ) (0) (For example, the center position of the space where the source coil is measured and the vector in the Z-axis direction (0, 0, 1)).
Step (2): The k-th matrix is calculated according to equations (17), (18), and (19).
Step (3); k-th update amount Δx according to equation (16) (k) Calculate
Procedure (4): Update amount Δx (k) The above steps (2) to (4) are repeated until becomes small.
[0061]
In the present embodiment, the position of the source coil is estimated by arranging the sense coils oriented in the X, Y, and Z axis directions at the same height. However, the present invention is not limited to this, and each sense coil is positioned at an arbitrary position. Even if the position and orientation of the sense coil are known, the position of the source coil can be estimated even if the position and orientation of the sense coil are known.
[0062]
As shown in FIG. 1, the sense coil unit 50 includes a plurality of sense coils 22j for detecting a magnetic field generated by the source coil 14i. The sense coil unit 50 is fixed to the side of the bed by a pillar 29.
[0063]
As shown in FIG. 1, when the pillar 29 that fixes the sense coil unit 50 beside the bed 4 is made of metal, the sense coil unit 50 is sensed depending on the size and position of the metal and the space (measurement region) where the source coil 14i exists. The arrangement of the sense coil 22j in the coil unit 50 is set.
[0064]
Now, one source coil 14i is induced in the coil against the magnetic field generated Voltage The position of the sense coil 22j at which the magnitude of is constant is obtained.
[0065]
As shown in FIG. 14, the source coil is arranged at coordinates (−a, 0) in parallel with the Z axis on the XZ plane, and the first sense coil and the second sense coil are arranged against the magnetic field generated by the source coil. When the sensor is arranged in a vertical direction, the magnetic field generated in each sense coil is
[Expression 20]
Figure 0003746617
[Expression 21]
Figure 0003746617
It becomes.
[0066]
Where H 1x = H 2z , B = ka,
[Expression 22]
Figure 0003746617
The following equation is obtained.
[0067]
By obtaining k in Expression (22), a space (ellipsoid) in which a sense coil exists in which the magnitude of a voltage induced in the sense coil with respect to the magnetic field generated by the source coil is constant is obtained (however, When the sense coil is placed perpendicular to the magnetic field of the source coil).
[0068]
FIG. 15 is a two-dimensional representation of the magnetic field when one source coil is arranged in a three-dimensional space. Each ellipse has a different voltage induced in the sense coil.
[0069]
As shown in FIG. 16, the pillar 29 to which the sense coil unit 50 is fixed is a hollow metal, the position of the first sense coil in the sense coil unit 50 is (a, b, c), and the second sense The position of the coil is assumed to be (a ′, b ′, c ′).
[0070]
FIGS. 17 and 18 show the state of the magnetic field passing through the center position of the first sense coil and the second sense coil and the column 29 when the position of the source coil is fixed and rotated. However, FIG. 17 and FIG. 18 show the state of passage of the magnetic field on the plane parallel to the YZ plane passing through the center positions of the first and second sense coils.
[0071]
Magnetism When the source coil generating the field and the sense coil unit 50 are separated from each other, the first sense coil has a narrower rotation angle of the source coil (θ <θ 2) than the second sense coil. It can be seen that the first sense coil is less susceptible to the influence of the metal column 29 with respect to the change in the rotation of the source coil.
[0072]
Further, when the magnetic field passes perpendicularly to the sense coil, the output of the sense coil is detected most greatly, and the large value of the output of the sense coil greatly affects the position estimation of the source coil.
[0073]
Accordingly, as shown in FIG. 19, the first sense coil, which is less susceptible to the influence of metal than the second sense coil, is set in the Y-axis direction so that the output can be largely detected. Is set in the Z-axis direction. Note that the sense coil in the X-axis direction is installed at a position farthest from the pillar 29 in the sense coil unit 50.
[0074]
As described above, in this embodiment, since the position and orientation of the sense coil in the sense coil unit are set so as not to be affected by the metal in the three-dimensional space, the error in estimating the position of the source coil can be reduced. The deformation of the endoscope insertion shape can be neglected. Further, as shown in FIG. 19, since the XYZ axial coils are arranged at the four corners in the sense coil unit, the error in estimating the position of the source coil can be kept uniform.
[0075]
20 to 23 relate to the second embodiment of the present invention, FIG. 20 is a block diagram showing the configuration of a bed provided with a sense coil unit, and FIG. 21 is a sense that eliminates the influence of the bed frame of FIG. FIG. 22 is a second explanatory diagram illustrating the arrangement of the sense coil excluding the influence of the bed frame of FIG. 20, and FIG. 23 is the influence of the bed frame of FIG. It is the 3rd explanatory view explaining arrangement of a sense coil which excluded.
[0076]
Since the second embodiment is almost the same as the first embodiment, only different points will be described, and the same components are denoted by the same reference numerals and description thereof will be omitted.
[0077]
In the present embodiment, the system configuration is the same as that of the first embodiment, and the arrangement of the sense coils in the sense coil unit 50 is different.
[0078]
That is, in the case where the bed 4 is constituted by a hollow metal frame 55 as shown in FIG. 20, the sense coil is arranged in the sense coil unit 50.
[0079]
When the source coil that generates the magnetic field and the sense coil unit 50 are separated from each other, as shown in FIGS. 21 and 22, the position of the second sense coil is the position of the first sense coil and the second sense coil. The angle of rotation of the source coil is large Since (θ <θ), the metal frame of the bed 4 is easily affected by the rotation of the source coil whose position is fixed.
[0080]
Therefore, a sense coil in the X-axis direction is arranged at the position of the first sense coil, and a sense coil in the Z-axis direction is arranged at the position of the second sense coil. The sense coils in the Y-axis direction are arranged as far as possible from the bed 4, but each sense coil is arranged as shown in FIG. 23 in order to make the position estimation error of the source coil uniform in the measurement space. Place.
[0081]
As described above, in this embodiment, in addition to the effects of the first embodiment, the sense coil in the sense coil unit is also reduced so as to reduce the influence of the metal on the bed constituted by the metal frame. Position and orientation can be arranged.
[0082]
24 and 25 relate to the third embodiment of the present invention, FIG. 24 is a block diagram showing the configuration of a bed provided with a sense coil unit, and FIG. 25 is a sense excluding the influence of the bed frame of FIG. It is explanatory drawing explaining arrangement | positioning of a coil.
[0083]
Since the third embodiment is almost the same as the first embodiment, only different points will be described, and the same components are denoted by the same reference numerals and description thereof will be omitted.
[0084]
In the present embodiment, the system configuration is the same as that of the first embodiment, and the arrangement of the sense coils in the sense coil unit 50 is different.
[0085]
In the present embodiment, as shown in FIG. 24, in the bed 4, a frame 57 for fixing the bed mat 56 is made of a hollow metal. In addition, the sense coil unit 50 is fixed to the bed 4 in a region with relatively little metal in order to bring the measurement space of the source coil close to the sense coil unit 50.
[0086]
As described in the first and second embodiments, when the source coil and the sense coil unit 50 are separated from each other, the arrangement of the sense coils in the fixed sense coil unit 50 is arranged in the X, Y, and Z axis directions. Each is arranged so that the sense coil is not easily affected by the metal frame (FIG. 25).
[0087]
That is, as shown in FIG. 25, in order to arrange the sense coil so that the metal frame surrounding the sense coil unit 50 is not easily affected by the output of the sense coil, it is necessary to place the sense coil close to the metal frame 57. Is constituted by a sense coil in the X and Z axis directions in which the magnetic field generated by the source coil hardly crosses the frame 57, and the sense coil in the Y axis direction is arranged at a position away from the metal frame 57. The sense coil in the X-axis direction may obtain an output due to the magnetic field that has passed through the frame, but the detected value becomes small because the angle at which the magnetic field that passes through the center of the sense coil in the X-axis direction enters is shallow. Little effect on source coil position estimation. For this reason, the sense coil in the X-axis direction is disposed closer to the metal frame 57 than the sense coil in the Y-axis direction.
[0088]
As described above, in this embodiment, in addition to the effects of the first embodiment, the measurement space of the source coil and the sense coil unit can be brought close to each other, and the sense coil unit can be arranged at a relatively small amount of metal. The position of the scoil can be estimated by making it less susceptible to metal influences.
[0089]
[Appendix]
(Additional Item 1) A source coil that generates a magnetic field by a single core coil;
A plurality of three single-core coils orthogonal to each other are arranged as a sense coil in a three-dimensional space,
Estimating means for estimating the position and orientation of the source coil from the output of the sense coil;
In the shape estimation apparatus comprising:
When a metal body is disposed in the vicinity of the sense coil, the sense coils that perpendicularly pass the magnetic field generated by the source coil on a plane parallel to a plane on which the cross section of the metal body exists are orthogonal to each other. In two of the three single-core coils, the single-core coil parallel to the cross-section of the metal body is arranged farther from the metal body than the other single-core coil.
The shape estimation apparatus characterized by the above-mentioned.
[0090]
(Additional Item 2) The source coil is disposed in the insertion portion of the endoscope.
Item 2. The shape estimation apparatus according to additional item 1, wherein
[0091]
(Additional Item 3) A source coil that generates a magnetic field by a single-core coil,
A plurality of single-core coils are arranged at different positions on a three-dimensional space as sense coils,
Estimating means for estimating the position and orientation of the source coil from the output of the sense coil;
In the shape estimation apparatus comprising:
The arrangement position and orientation of the sense coil are set by the space in which the metal object arranged in the three-dimensional space and the source coil exist.
The shape estimation apparatus characterized by the above-mentioned.
[0092]
【The invention's effect】
As described above, the present invention Position estimation device According to , So Even if there is a metal around the source coil and the sense coil unit, there is an effect that the shape can be estimated accurately.
[Brief description of the drawings]
FIG. 1 is a configuration diagram showing a configuration of an endoscope system according to a first embodiment of the present invention.
FIG. 2 is a block diagram showing a functional configuration of the endoscope apparatus shape detection apparatus of FIG.
FIG. 3 is a configuration diagram showing a configuration of the endoscope apparatus shape detection device of FIG. 2;
4 is a configuration diagram showing a configuration of a two-port memory, which is a main part of the endoscope apparatus shape detection device in FIG. 3;
FIG. 5 is a timing chart showing the operation of the 2-port memory of FIG.
FIG. 6 is a flowchart showing the operation of the endoscope system of FIG.
FIG. 7 is a flowchart showing the flow of the FFT process in FIG.
FIG. 8 is a timing chart showing parallel processing timing in the operation of the endoscope system of FIG.
9 is a first explanatory diagram illustrating the principle of the source coil estimated position coordinate calculation process of FIG. 6;
FIG. 10 is a second explanatory diagram illustrating the principle of the source coil estimated position coordinate calculation process of FIG. 6;
FIG. 11 is a third explanatory diagram illustrating the principle of the source coil estimated position coordinate calculation process of FIG. 6;
12 is a fourth explanatory diagram illustrating the principle of the source coil estimated position coordinate calculation process of FIG. 6;
FIG. 13 is a fifth explanatory diagram illustrating the principle of the source coil estimated position coordinate calculation process of FIG. 6;
14 is a first explanatory diagram for explaining the arrangement of the sense coils in FIG. 1; FIG.
FIG. 15 is a second explanatory diagram illustrating the arrangement of the sense coils in FIG. 1;
16 is a third explanatory diagram for explaining the arrangement of the sense coils in FIG. 1. FIG.
FIG. 17 is a fourth explanatory diagram for explaining the arrangement of the sense coils in FIG. 1;
FIG. 18 is a fifth explanatory diagram illustrating the arrangement of the sense coils in FIG. 1;
FIG. 19 is a sixth explanatory diagram for explaining the arrangement of the sense coils in FIG. 1;
FIG. 20 is a configuration diagram showing a configuration of a bed provided with a sense coil unit according to a second embodiment of the present invention.
FIG. 21 is a first explanatory diagram illustrating the arrangement of the sense coils excluding the influence of the bed frame of FIG. 20;
22 is a second explanatory diagram for explaining the arrangement of the sense coils excluding the influence of the bed frame of FIG. 20;
FIG. 23 is a third explanatory diagram for explaining the arrangement of the sense coils excluding the influence of the bed frame of FIG. 20;
FIG. 24 is a configuration diagram showing a configuration of a bed provided with a sense coil unit according to a third embodiment of the present invention.
FIG. 25 is an explanatory diagram for explaining the arrangement of the sense coils excluding the influence of the bed frame of FIG. 24;
[Explanation of symbols]
1. Endoscope system
2. Endoscope device
3. Endoscope shape detection device
4 ... Bet
6 ... Electronic endoscope
7 ... Insertion section
8 ... Operation part
9 ... Universal code
10 ... Video processor
11 ... Image observation monitor
12 ... Forceps channel
12a ... insertion slot
14i ... Source coil
15 ... Probe
16 ... Source cable
21 ... Device body
22j ... sense coil
23 ... Sense cable
24. Operation panel
25 ... Monitor
26 ... Drive block
27 ... Detection block
28: Host processor
31 ... Source coil drive circuit
32 ... CPU
33 ... PIO
34... Sense coil signal amplification circuit section
35k… Amplifier circuit
36k ... Filter circuit
37k ... Output buffer
38k… ADC
40. Control signal generation circuit section
41 ... Local data bus
42 ... 2-port memory
46 ... Internal bus
47 ... Main memory
48 ... Video RAM
49. Video signal generation circuit
50 ... Sense coil unit

Claims (1)

単心コイルにより磁界を発生するソースコイルと、
前記ソースコイルが発生した磁界を検出するためにセンスコイルユニット内の異なる位置に複数配置されたセンスコイルと、
前記センスコイルの出力から前記ソースコイルの位置と向きを推定する推定手段と、
を具備した位置推定装置において、
前記センスコイルは、前記ソースコイルの位置と向きを推定する測定領域において前記ソースコイルを配置して回転させたとき、前記ソースコイルの位置と向き、及び、前記センスコイルの位置から算出される平面上で前記ソースコイルの磁界が金属体を通過する前記ソースコイルの回転角度が前記金属体の影響を受け難い小さい角度になるように前記センスコイルユニット内に配置され、かつ、自己を通過する前記ソースコイルの磁界が略直交するように向きが設定されたことを特徴とする位置推定装置。
A source coil that generates a magnetic field with a single core coil;
A plurality of sense coils arranged at different positions in the sense coil unit to detect the magnetic field generated by the source coil;
Estimating means for estimating the position and orientation of the source coil from the output of the sense coil;
In the position estimation device comprising:
The sense coil is a plane calculated from the position and orientation of the source coil and the position of the sense coil when the source coil is arranged and rotated in a measurement region for estimating the position and orientation of the source coil. field of the source coils above is applied in the sense coil unit so that the rotation angle of the source coil that passes through the metal body becomes hardly small angle under the influence of the metal body, and the passing self A position estimation device characterized in that the direction is set so that the magnetic fields of the source coils are substantially orthogonal .
JP25143898A 1998-09-04 1998-09-04 Position estimation device Expired - Fee Related JP3746617B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP25143898A JP3746617B2 (en) 1998-09-04 1998-09-04 Position estimation device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP25143898A JP3746617B2 (en) 1998-09-04 1998-09-04 Position estimation device

Publications (2)

Publication Number Publication Date
JP2000081304A JP2000081304A (en) 2000-03-21
JP3746617B2 true JP3746617B2 (en) 2006-02-15

Family

ID=17222847

Family Applications (1)

Application Number Title Priority Date Filing Date
JP25143898A Expired - Fee Related JP3746617B2 (en) 1998-09-04 1998-09-04 Position estimation device

Country Status (1)

Country Link
JP (1) JP3746617B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7926491B2 (en) * 2002-12-31 2011-04-19 Calypso Medical Technologies, Inc. Method and apparatus for sensing field strength signals to estimate location of a wireless implantable marker
JP4749703B2 (en) 2004-12-01 2011-08-17 オリンパス株式会社 Endoscope insertion shape detection device
CN102939040B (en) 2010-06-09 2015-02-25 奥林巴斯医疗株式会社 Probe shape detection device and probe shape detection method

Also Published As

Publication number Publication date
JP2000081304A (en) 2000-03-21

Similar Documents

Publication Publication Date Title
JP4054104B2 (en) Endoscopic image processing device
US6511417B1 (en) System for detecting the shape of an endoscope using source coils and sense coils
US8200314B2 (en) Surgical navigation
AU2014274640B2 (en) Low-profile location pad for magnetic-based intra-body probe tracking system
JP2008220997A (en) Catheter tracking systems
JP5198686B2 (en) Probe shape detection device and method of operating probe shape detection device
JP2006081900A (en) Radio determination for direction of endoscope
JP4458676B2 (en) Device for estimating the location and orientation of an object during magnetic resonance imaging
JP2001046318A (en) Endoscope shape detector
JP2000175861A (en) Endoscope shape detecting device
JP3571675B2 (en) Coil position measuring device and coil position measuring method
JP3746617B2 (en) Position estimation device
JP3748924B2 (en) Endoscope shape detection device
JP2006280592A (en) Treatment supporting apparatus
JP3236565B2 (en) Position estimation device
JP6242421B2 (en) System comprising an imaging probe and a magnetic measurement detector
JP3923839B2 (en) Endoscope shape detection device
JP2007130132A (en) Endoscope insertion part shape recognition system
JP2000081303A (en) Position detector
JP3748985B2 (en) Coil position measuring device, endoscope insertion shape detecting device, and coil position measuring method
JP4647972B2 (en) Endoscope shape detection device
JP5160619B2 (en) Endoscope shape detection device
JP3389535B2 (en) Endoscope shape detector
JP2000093386A (en) Shape detector for endoscope
Bladen et al. A non-radiological technique for the real time imaging of endoscopes in 3 dimensions

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040120

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040322

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20051115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051124

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081202

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091202

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101202

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111202

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111202

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121202

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131202

Year of fee payment: 8

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees