JP2018047117A - 内視鏡位置検出装置、内視鏡位置検出装置の作動方法 - Google Patents

Abstract

【課題】臓器と内視鏡との相対位置をより正確に反映することができる内視鏡位置検出装置等を提供する。【解決手段】画像データを内視鏡１で取得して入力するビデオプロセッサ３と、被検体２０の動きに応じて変化する動きパラメータを取得する磁気センサ８，９と、内視鏡１の位置を表す内視鏡位置情報を取得する磁気センサ７と、画像データと動きパラメータとに基づいて内視鏡位置情報を補正するワークステーション１１と、を備える内視鏡位置検出装置。【選択図】図１

Description

本発明は、内視鏡位置情報を取得して、取得した内視鏡位置情報を補正する内視鏡位置検出装置、内視鏡位置検出装置の作動方法に関する。

内視鏡の位置を検出する技術は、従来より提案されている。

例えば、特表２００３−５２７８８０号公報には、超音波画像における標的の相対的位置とＣＴ画像から計算された位置とを比較することにより、ＣＴスキャンを行う時間とインターベンションを行う時間との間の人体における内臓の動きまたは呼吸による変化を監視および補償することが記載されている。さらに、該公報には、標的がトランスデューサと内視鏡ヘッドとによって視認されると、標的を超音波画像内に標識付けし、かつその位置をトランスデューサの位置測定要素に対して計算することができ、内視鏡ヘッドの位置測定要素とトランスデューサの位置測定要素との間の測定された相対位置に従い、かつ内視鏡ヘッドの位置測定要素の内視鏡画像への較正に基づき、内視鏡画像に対して標的の３Ｄ位置を計算することが可能になることが記載されている。

また、特開２００８−１９４３０２号公報には、処置時に病変部から剥離され把持されている粘膜の荷重増加又は把持鉗子による引き上げ力量の増加による内視鏡先端部の動きを推定し、推定結果から内視鏡の先端部を元の位置へ移動させることで、処置具が処置位置から離れることなく、処置作業を継続することを可能にする処置具の位置制御を行う内視鏡システムが記載されている。

一方、被検体に対する診断を補助するために、ガイド画像を表示する技術が提案されている。

例えば、特許第４５３７７５６号公報には、人体の解剖学的画像データをもとに、２次元超音波画像の解剖学的な位置および配向に対応したガイド画像を生成する超音波診断装置が記載されている。さらに、解剖学的画像データ上に少なくとも４点の特徴点を指示入力すると共に、特徴点に対応する少なくとも４点の標本点を被検者の位置から検出し、標本点を特徴点に位置合わせする変換式を求めて、この変換式を適用することで、被検者の任意の位置を解剖学的画像データに対応付ける技術、いわゆる４点レジストレーションの技術が記載されている。

特表２００３−５２７８８０号公報 特開２００８−１９４３０２号公報 特許第４５３７７５６号公報

ところで、内視鏡の先端に位置検出センサを設けて、位置検出センサにより検出した内視鏡の先端位置を被検体の臓器の３次元モデル上に表示する際に、呼吸等により臓器が動くと、臓器の動きに伴って内視鏡も動くために、位置検出センサが検出する内視鏡の位置情報が変化する。このとき、臓器と内視鏡との相対位置が変化しない場合であっても、内視鏡の絶対位置情報が変化すると、臓器の３次元モデル上に表示される内視鏡の先端位置が変化してしまう。

本発明は上記事情に鑑みてなされたものであり、臓器と内視鏡との相対位置をより正確に反映することができる内視鏡位置検出装置、内視鏡位置検出装置の作動方法を提供することを目的としている。

本発明のある態様による内視鏡位置検出装置は、被検体内の光学像を表す画像データを内視鏡で取得して入力する入力部と、前記被検体の動きに応じて変化する動きパラメータを取得するパラメータ取得部と、前記被検体内における前記内視鏡の位置を表す内視鏡位置情報を取得する内視鏡位置情報取得部と、前記画像データと、前記動きパラメータとに基づいて、前記内視鏡位置情報を補正する位置情報補正部と、を備える。

本発明のある態様による内視鏡位置検出装置の作動方法は、入力部が、被検体内の光学像を表す画像データを内視鏡で取得して入力し、パラメータ取得部が、前記被検体の動きに応じて変化する動きパラメータを取得し、内視鏡位置情報取得部が、前記被検体内における前記内視鏡の位置を表す内視鏡位置情報を取得し、位置情報補正部が、前記画像データと、前記動きパラメータとに基づいて、前記内視鏡位置情報を補正する。

本発明の内視鏡位置検出装置、内視鏡位置検出装置の作動方法によれば、臓器と内視鏡との相対位置をより正確に反映することが可能となる。

本発明の実施形態１における内視鏡位置検出装置を備える内視鏡システムの構成を示す図。 上記実施形態１において、ワークステーションの構成をより詳細に示すブロック図。 上記実施形態１の液晶ディスプレイにおける表示の一例を示す図。 上記実施形態１における内視鏡位置検出装置を備える内視鏡システムの作用を示すフローチャート。 上記実施形態１において、内視鏡検査時における被検体の方向を説明するための図。 上記実施形態１において、位相限定相関により得られた相関画像の一例を示す図。 上記実施形態１において、テンプレートマッチングにより相関性があると判定された内視鏡画像が撮影されたときの呼吸動座標のｙ成分を横軸、内視鏡座標のｙ成分を縦軸とする散布図。 上記実施形態１において、相関性があると判定された内視鏡画像が撮影されたときの内視鏡座標のｙ成分を縦軸、相関性があると判定された内視鏡画像が撮影された順序を横軸とした分布図に基づき、ピークで区分される往路および復路毎に系列を分割する様子を示す図。 上記実施形態１において、系列毎に求められた近似直線を示す線図。 本発明の実施形態２における内視鏡位置検出装置を備える内視鏡システムの作用を示すフローチャート。 上記実施形態２において、複数のテンプレート画像を設定する様子を示す図。 上記実施形態２において、複数のテンプレート毎に関係式を得ることを説明するための図。

以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］

図１から図９は本発明の実施形態１を示したものであり、図１は内視鏡位置検出装置を備える内視鏡システムの構成を示す図である。

この内視鏡システムは、内視鏡１と、光源装置２と、ビデオプロセッサ３と、モニタ４と、磁気センサ本体５と、磁場発生装置６と、磁気センサ７，８，９と、液晶ディスプレイ１０と、ワークステーション１１と、を備えている。

内視鏡１は、被検体２０内に挿入されて、被検体２０内の光学像を表す画像データ（内視鏡画像データ）を取得して入力する入力部である。ここに、内視鏡１により取得される画像データは、時系列的な複数のフレームで構成される動画像データあるいは複数枚の静止画像データである。この内視鏡１は、図示はしないが、照明光を伝送するライトガイド、伝送された照明光を内視鏡１の先端部から被検体２０内へ照射する照明光学系、照明光を照射された被検体２０内の光学像を結像する対物光学系、および対物光学系により結像された光学像を光電変換して画像データを生成する撮像素子などを備えている。

光源装置２は、ライトガイドコネクタを介して内視鏡１と接続されており、内視鏡１のライトガイドへ照明光を供給する。

ビデオプロセッサ３は、ビデオコネクタを介して内視鏡１と接続されていて、画像データを入力する入力部を構成し、入力された画像データを画像処理して表示用あるいは記録用の画像データを生成する。また、ビデオプロセッサ３は、調光ケーブルを介して光源装置２と接続されており、取得した画像データに基づいて被検体２０内の明るさを検出し、被検体２０内が暗い場合には照明光の光量を増加させるように、また、被検体２０内が明るい場合には照明光の光量を減少させるように、光源装置２を調光制御する。

モニタ４は、例えばシリアルデジタルインタフェース（ＳＤＩ：Serial Digital Interface）ケーブルを介してビデオプロセッサ３と接続されており、ビデオプロセッサ３により画像処理された画像データにより内視鏡画像を表示する。

また、位置検出システムは、磁気センサ本体５、磁場発生装置６、および磁気センサ７，８，９を備えて構成された位置情報取得部である。

磁場発生装置６は、交番磁場を発生する。

磁気センサ７，８，９は、例えばコイルを含んで構成されていて、検出動作時には、検出した交番磁場に応じた電気信号を連続的に発生させる。

ここに、磁気センサ７は、内視鏡１の先端部に配置されていて、内視鏡センサとして機能する。

また、磁気センサ８，９は、被検体２０の動きを検出することができる位置に配置され、具体的には、被検体２０の体表において呼吸に応じて位置が変化する所定の点の座標を取得することができる位置に配置される。さらに具体的には、磁気センサ８，９の一方が被検体２０の剣状突起に配置されて剣状突起センサとして機能し、他方が被検体２０の臍に配置されて臍センサとして機能するようになっている。なお、ここでは呼吸性移動量の検出精度を高めるために２つの磁気センサ８，９を配置したが、必要な検出精度が得られるのであれば１つの磁気センサを配置しても構わないし、あるいは検出精度をより高めるために３つ以上の磁気センサを配置するようにしてもよい。

磁気センサ本体５は、センサケーブルを介して、磁場発生装置６および磁気センサ７，８，９と接続されている。そして、磁気センサ本体５は、磁場発生装置６を制御して交番磁場を発生させる。また、磁気センサ本体５は、磁気センサ７から発生された電気信号に基づき、内視鏡１の先端部の位置を検出して時系列的な内視鏡センサデータとして出力する。さらに、磁気センサ本体５は、磁気センサ８，９から各発生された電気信号に基づき、被検体２０の剣状突起および臍の位置をそれぞれ検出して、時系列的な剣状突起センサデータおよび臍センサデータとして出力する。

従って、位置検出システムにおける磁気センサ本体５、磁場発生装置６、および磁気センサ８，９は、被検体２０の動きに応じて変化する動きパラメータを取得するパラメータ取得部を構成し、具体的には、被検体２０の体表において呼吸に応じて位置が変化する所定の点の座標（体表位置情報）を、動きパラメータ（剣状突起センサデータおよび臍センサデータ）として取得する（つまり、パラメータ取得部は、体表位置情報取得部として機能する）。

また、位置検出システムにおける磁気センサ本体５、磁場発生装置６、および磁気センサ７は、被検体２０内における内視鏡１の位置を表す内視鏡位置情報（内視鏡センサデータ）を取得する内視鏡位置情報取得部を構成する。

ワークステーション１１は、例えばＲＳ−２３２Ｃケーブルを介して磁気センサ本体５と接続されていて、磁気センサ本体５から位置情報を取得する。また、ワークステーション１１は、接続ケーブルを介してビデオプロセッサ３と接続されていて、ビデオプロセッサ３から画像データを取得する。そして、ワークステーション１１は、画像データと、位置情報とに基づいて、内視鏡１の位置を表す内視鏡位置情報を補正する位置情報補正部となっている。さらに、ワークステーション１１は、補正した内視鏡位置情報に基づき、被検体２０の臓器の３次元モデル（３Ｄモデル）上に内視鏡１の先端位置を表示した３Ｄモデル画像を生成する。このワークステーション１１の構成については、後で図２を参照してより詳細に説明する。また、磁気センサ本体５からは、内視鏡１の位置情報だけでなく、内視鏡１の回転情報（例えば６自由度の情報）を取得するようにしてもよい。

こうして、内視鏡位置検出装置は、入力部である内視鏡１およびビデオプロセッサ３と、パラメータ取得部および内視鏡位置情報取得部である位置検出システム（磁気センサ本体５、磁場発生装置６、磁気センサ７，８，９）と、位置情報補正部であるワークステーション１１と、を備えて構成されている。

液晶ディスプレイ１０は、ディスプレイケーブルを介してワークステーション１１と接続されており、ワークステーション１１により生成された３Ｄモデル画像と、ワークステーション１１を介してビデオプロセッサ３から取得した内視鏡画像と、を例えば並べて表示する。

次に、図２はワークステーション１１の構成をより詳細に示すブロック図である。

ワークステーション１１は、呼吸性移動補正部１２と、レジストレーション部１５と、３Ｄモデル画像生成部１６と、を備えている。

呼吸性移動補正部１２は、記録部１３と処理部１４とを備えている。

本実施形態の内視鏡位置検出装置を備える内視鏡システムにおいては、内視鏡検査を実施する前の所定の期間において呼吸性移動量を補正するための関係式を求め、関係式が求まった後に内視鏡検査を実施して、内視鏡検査を実施しているときに関係式に基づき呼吸に伴う内視鏡位置の移動を補正し、補正された内視鏡１の先端位置を被検体２０の臓器の３Ｄモデル上に表示するようになっている。

そこで、呼吸性移動量を補正するための関係式を求める所定の期間において、内視鏡１が時系列的に複数の画像データを取得すると共に、位置情報取得部である位置検出システムが、時系列的な複数の画像データに対応する複数の体表位置情報および複数の内視鏡位置情報を取得する。

こうして、磁気センサ本体５からワークステーション１１に入力された体表位置情報（剣状突起センサデータおよび臍センサデータ）および内視鏡位置情報（内視鏡センサデータ）は、データの取得時刻に関連付けて記録部１３に記録される。同様に、上述した所定の期間において、ビデオプロセッサ３から入力された画像データは、画像の撮影時刻に関連付けて記録部１３に記録される。

従って、呼吸性移動補正部１２は、データの取得時刻と画像の撮影時刻とを比較して、時刻の一致により、画像データに対応する体表位置情報および内視鏡位置情報（つまり、画像データが取得された時点での体表位置情報および内視鏡位置情報）を特定することができるようになっている。

処理部１４は、記録部１３に記録された体表位置情報、内視鏡位置情報、および画像データに基づいて、後で詳しく説明するように、内視鏡位置情報の呼吸性移動量を補正するための関係式を導出する。

関係式が導出されたら、その後の内視鏡検査時に、呼吸性移動補正部１２は、磁気センサ本体５から入力される内視鏡位置情報（内視鏡センサデータ）を、関係式を用いて補正して、補正された内視鏡位置情報を算出する。

レジストレーション部１５は、被検体２０に係る３次元のボリュームデータにおけるボリューム空間座標と、位置検出システムの磁気センサ本体５から入力される実空間座標と、の変換式を算出して保持し、変換式を用いて実空間座標からボリューム空間座標への変換を行う。ここに変換式の算出は、例えば、上述した特許第４５３７７５６号公報に記載されたような、４点レジストレーション（４点位置合わせ）の技術を用いることができる。

３Ｄモデル画像生成部１６は、例えば造影ＣＴスキャンにより取得された被検体２０の臓器（本実施形態においては、例えば腎臓を想定しているが、これに限定されるものではない）のボリュームデータに基づいて、被検体２０の臓器を所望の視線方向から見た３Ｄモデル画像（なお、この３Ｄモデル画像は、回転させて視線方向を変化させることができるようになっている）を生成する。ここに、ボリュームデータは、ワークステーション１１内の記録部１３等に記憶されていてもよいし、院内システムのサーバに記憶されているボリュームデータを、院内ネットワークを介して読み込むようにしても構わない。

さらに、３Ｄモデル画像生成部１６は、呼吸性移動補正部１２により補正された内視鏡位置情報に基づいて、生成した３Ｄモデル画像上に、内視鏡１の先端位置を示すマークＭＫ１（図３参照）を重畳する。ＭＫ１の矢印は内視鏡の視線方向を表す。また、３Ｄモデル画像生成部１６は、生成した３Ｄモデル画像上に、例えば結石を取り除いた腎杯の場所を示すマークＭＫ２（図３参照）も重畳するようになっている。

３Ｄモデル画像生成部１６により生成された３Ｄモデル画像は、例えば液晶ディスプレイ１０に、内視鏡画像と共に表示される。

ここに、図３は、液晶ディスプレイ１０における表示の一例を示す図である。

図示のように、液晶ディスプレイ１０の表示画面には、内視鏡画像１０ａと３Ｄモデル画像１０ｂとが表示され、３Ｄモデル画像１０ｂには上述したマークＭＫ１，ＭＫ２が重畳表示されている。ここに、内視鏡画像１０ａと３Ｄモデル画像１０ｂとを並べて表示することで、術者の視線の動きを小さくすることができる。

なお、ここでは３Ｄモデル画像を液晶ディスプレイ１０に表示したが、図２に示すように、３Ｄモデル画像生成部１６の出力をモニタ４へも接続して、モニタ４にも３Ｄモデル画像を内視鏡画像と共に表示することができるようにしても構わない。

次に、図４は、内視鏡位置検出装置を備える内視鏡システムの作用を示すフローチャートである。

まず、被検体２０は、内視鏡検査を行う際に、図５に示すように、仰臥位（ぎょうがい）をとるものとする。ここに、図５は、内視鏡検査時における被検体２０の方向を説明するための図である。

このとき、重力方向ｇに沿った垂直方向（図５に示す例では垂直上方向）をｙ方向、被検体２０の体軸方向（頭部と脚部とを結ぶ方向）をｚ方向、ｙ方向およびｚ方向に垂直な方向をｘ方向とする。

そして、本実施形態においては、ｙ方向およびｘ方向の呼吸動補正（呼吸性移動量の補正）を行うことについて説明する。ここに、ｙ方向の呼吸動補正とｘ方向の呼吸動補正とは同様の方法が用いられるために、説明を簡単にするべく、以下では主としてｙ方向に着目した呼吸動補正について説明する。

図５に示すように被検体２０を仰臥位にした状態で、図示しないメイン処理からこの処理に入ると、まず、４点レジストレーションの処理を行う（ステップＳ１）。

具体的に、まずボリュームデータにおいて、４点レジストレーションを行う体表の４つの特徴点のボリューム空間座標を確認して記録する。ここに、特徴点は、例えば、臍、剣状突起、左右腸骨であるものとする。

次に、被検体２０の４つの特徴点に、例えば内視鏡１の先端部の磁気センサ７を順次接触させて、内視鏡位置情報（内視鏡センサデータ）を取得する。

そして、レジストレーション部１５が、ボリューム空間座標（ボリュームデータとしてＣＴデータを用いる場合にはＣＴ座標と呼ぶこともできる）と実空間座標（磁気センサを用いる場合には磁気センサ座標と呼ぶこともできる）との変換式を算出する。

一旦変換式が算出されれば、以後の磁気センサ７，８，９の出力は、レジストレーション部１５により、ボリューム空間座標に変換される。

次に、呼吸性移動量を補正するための関係式を求める所定の期間において、呼吸動補正用データとしての内視鏡画像、体表位置情報、および内視鏡位置情報を取得して記録部１３に保存する（ステップＳ２）。

このときには、内視鏡１を腎臓に挿入し、例えば、上腎杯の管腔を撮影することができる位置において、上腎杯管腔が中央に映るようにしてから内視鏡１を固定する。ただし、上腎杯に限定されるものではなく、管腔であればよい。この内視鏡１の固定は、例えば、術者が手で操作部および／または挿入部を固定することにより行う。なお、ワークステーション１１が、液晶ディスプレイ１０またはモニタ４に対して、術者にこのような操作を行うように促す表示等を行うようにするとよい。

人間の安静時の呼吸数は、年齢や性別により異なるが、例えば１分間におおよそ１０〜２０回程度である。従って、複数回の呼吸に渡る呼吸動補正用データを取得するために、所定の期間として例えば４０秒以上の期間、内視鏡１を上述したように固定したまま、内視鏡１により内視鏡画像を取得すると共に、位置検出システムにより体表位置情報（剣状突起センサデータおよび臍センサデータ）および内視鏡位置情報（内視鏡センサデータ）を取得する。

所定の期間が経過したら、ワークステーション１１が、液晶ディスプレイ１０またはモニタ４に対して、内視鏡１の固定を解除しても構わない旨の表示等を行うようにするとよい。

時刻をｔとしたときに、このステップＳ２において得られる内視鏡画像をｆ（ｔ）、剣状突起センサデータおよび／または臍センサデータに基づき得られる呼吸動座標をＢ（ｘｂ（ｔ），ｙｂ（ｔ），ｚｂ（ｔ））、内視鏡センサデータに基づき得られる内視鏡座標をＥｄ（ｘｅ（ｔ），ｙｅ（ｔ），ｚｅ（ｔ））とする。

次に、上述したように取得した呼吸動補正用データの内の、どのデータを用いるかを、処理部１４が、テンプレートマッチングを行うことで決定する（ステップＳ３）。

上述したようにｙ方向の呼吸動補正に着目した場合、呼吸によって体表の剣状突起あるいは臍がｙ方向に移動すると、腎臓も呼吸によって主にｚ方向に移動するが、ｙ方向にも移動し、腎臓内に挿入されている内視鏡１の先端部も腎臓の移動に従ってｙ方向に移動する。このように、内視鏡座標Ｅｄのｙ成分ｙｅ（ｔ）は、呼吸周期に従って振動する。

横軸を時間ｔ、縦軸をｙ座標としたときに、振動する内視鏡座標Ｅｄのｙ成分ｙｅ（ｔ）のグラフとの交点が最も多いｙ＝一定値の水平な直線を求める。なお、ここでは交点が最多である水平な直線を求めたが、これに限定されるものではなく、所定数以上の交点を有する水平な直線を求めても構わない。

そして、複数の交点の内の、時間ｔの値が最も小さい時刻（この時刻をｔ１とする）で得られた内視鏡画像ｆ（ｔ１）を、テンプレート画像として選択する。なお、テンプレート画像は、処理部１４が自動処理で求めることが好ましいが、ユーザが手動で選択することができるようにしても構わない。

なお、呼吸動補正用データの取得を開始した直後はデータがまだ安定していない場合も考えられるために、データ取得開始直後の一定の初期期間を除外した内の、時間ｔの値が最も小さい時刻で得られた内視鏡画像をテンプレート画像として選択するようにしても構わない。

このような処理を行うのは、できるだけ多くの画像とのマッチングが可能な画像をテンプレート画像として選択することにより、呼吸動補正に用いることができるデータをできるだけ多くするためである。

こうして、例えば時刻ｔ１において取得された内視鏡画像ｆ（ｔ１）がテンプレート画像として選択されたら、時刻ｔ１以降に取得された内視鏡画像の中でテンプレートマッチングに適している内視鏡画像を、処理部１４がさらに自動で選択する。

例えば、テンプレートマッチングをエッジに基づき行う場合（ただし、テンプレートマッチングをエッジに基づき行うことに限定されるものではない）には、ハレーションが起きておらず、管腔が撮影されてエッジ数が多いことを選択基準として、内視鏡画像を選択する。

具体的に、処理部１４は、内視鏡画像から輝度成分（もしくはＧ信号などの輝度相当成分）を抽出して輝度画像を生成し、輝度画像において輝度値が所定の閾値よりも大きい部分の面積を算出し、算出した面積が所定面積以上である場合には、ハレーションがあると判定して、その内視鏡画像をテンプレートマッチングに適している内視鏡画像の候補から除外する。

次に、処理部１４は、ハレーションがないと判定された輝度画像に対して、例えばキャニー（Ｃａｎｎｙ）法（ただし、キャニー法以外のエッジ検出法を用いても構わない）を用いてエッジ検出を行い、さらに検出されたエッジ数をカウントする。

こうしてカウントされたエッジ数が所定数以上である場合に、管腔が撮影されているものとして、テンプレートマッチングに適している内視鏡画像とする。

なお、キャニー法に用いる各種のパラメータ（例えば平滑化を行うガウシアンフィルタで用いられる分散、あるいはエッジの信頼度を判定するための大小２つの閾値など）、管腔が撮影されていると判定するためのエッジ数の所定数、ハレーションの有無を判定するための所定の閾値および所定面積は、複数の腎臓の画像に対してキャニー法および閾値によるハレーション検出処理を行った結果に基づき、適切となるように予め決めた値である。

続いて、処理部１４は、テンプレート画像を基準として、所定の期間において取得された内視鏡画像の内の、テンプレートマッチングに適していると判定された内視鏡画像に対して、テンプレートマッチングを行う。ただし、ここでは実用的な観点から、処理時間を短縮するために、画像を例えば２５％に縮小処理してから、テンプレートマッチングの処理を実行する。

テンプレートマッチングの具体的な方法として、ここでは例えば、位相限定相関を用いるものとする（ただし、位相限定相関に限定されるものではない）。

処理部１４による位相限定相関は、概略、以下のような方法で行われる。

まず、内視鏡画像における画像平面上の座標を（Ｘ，Ｙ）により表すものとする。ここに、縮小後の画素構成がＭ×Ｎであって、Ｘ＝０〜（Ｍ−１）、Ｙ＝０〜（Ｎ−１）の範囲の整数値をとるものとする。また、テンプレート画像ｆ（ｔ１）をｆ１により表し、テンプレート画像と相関判定される対象の内視鏡画像である被マッチング画像をｆ２により表すことにする。

このとき、まず、テンプレート画像ｆ１と被マッチング画像ｆ２とに対して、次の数式１，２にそれぞれ示すような２次元離散フーリエ変換を、例えば高速フーリエ変換（ＦＦＴ）のアルゴリズムにより行う。
［数１］

［数２］

こうして得られたＦ１，Ｆ２は振幅および位相成分を含んでいる。

次に、数式３に示すように、Ｆ１，Ｆ２に畳み込み演算（合成積）を行って、振幅成分で正規化することにより、位相の相関のみをＧ１２（ｕ，ｖ）として抽出する。
［数３］

なお、この数式３においては、複素共役を上付きバーにより表している。

続いて、次の数式４に示すように、逆２次元離散フーリエ変換を、例えば逆ＦＦＴのアルゴリズムにより行って、相関画像ｇ１２（Ｘ，Ｙ）を算出する。
［数４］

ここに、図６は、位相限定相関により得られた相関画像ｇ１２（Ｘ，Ｙ）の一例を示す図である。

この相関画像ｇ１２（Ｘ，Ｙ）における画素値のピークの座標（Ｘ０，Ｙ０）がテンプレート画像ｆ１と被マッチング画像ｆ２との位置ずれ量を示し、ピークの高さｈ＝ｇ１２（Ｘ１，Ｙ１）がテンプレート画像ｆ１と被マッチング画像ｆ２との相関値を示している。

テンプレート画像ｆ１と被マッチング画像ｆ２とに相関性があるか否か（類似性があるか否か）を判定するための閾値は予め設定しておくものとし、本実施形態においては、相関値の閾値を例えば０．４としている。従って、ｈ≧０．４である場合にはテンプレート画像ｆ１と被マッチング画像ｆ２とに相関性があると判定され、ｈ＜０．４である場合には相関性がないと判定される。

ここで、相関性がないと判定された被マッチング画像ｆ２は除外され、相関性があると判定された被マッチング画像ｆ２のみが後述するステップＳ４の関係式の算出に用いられる。こうして、呼吸性移動補正部１２は、所定の期間内に取得された複数の画像データの内の、類似する（相関性がある）複数の画像データを類似画像データ群として選択する。

なお、相関性があると判定された画像でも、位置ずれ量が検出された場合には、腎臓に相対して内視鏡１が、撮像素子の撮像面方向に位置ずれしたことを示している。従って、関係式の算出に用いる内視鏡位置情報は、内視鏡センサデータを位置ずれ量により補正した値にするとよい（あるいは十分な数の被マッチング画像ｆ２が取得されている場合には、検出された位置ずれ量が誤差として許容できるような所定量以下の被マッチング画像ｆ２のみ（この場合には、これらが類似画像データ群を構成する）を、関係式の算出に用いるようにしても構わない）。

その後、呼吸性移動補正部１２の処理部１４が、上述したように選択された類似画像データ群に対応する複数の体表位置情報および複数の内視鏡位置情報に基づいて補正パラメータを決定し、関係式を導出する（ステップＳ４）。

まず、図７は、テンプレートマッチングで相関性があると判定された内視鏡画像が撮影されたときの呼吸動座標Ｂのｙ成分ｙｂ（ｔ）を横軸、内視鏡座標Ｅｄのｙ成分ｙｅ（ｔ）を縦軸とする散布図である。

図７に示す散布図の例を見れば分かるように、全ての点を近似するような直線を得ることは困難である。

そこで、散布図に示す点を複数の系列に分割して、系列毎に近似直線を得ることにする。

このためにまず、図８に示すような分布図を作成する。

ここに図８は、相関性があると判定された内視鏡画像が撮影されたときの内視鏡座標Ｅｄのｙ成分ｙｅ（ｔ）を縦軸、相関性があると判定された内視鏡画像が撮影された順序を横軸とした分布図に基づき、ピークで区分される往路および復路毎に系列を分割する様子を示す図である。

図８に示すような分布図において、各点は上下に振動する波形状の分布をなす。そこで、ピーク（極大値および極小値）で区分される往路および復路のそれぞれの上に分布する点を１つの系列としてまとめる。この図８に示す例では、各点が系列Ｇ１〜Ｇ９にまとめられた様子が図示されている。

系列の数がｍ（ｍ≧２）であるときに、系列番号をｉ（ｉ＝１，２，…，ｍ）により表すとすると、処理部１４は、系列Ｇｉに属する図７の散布図上の各点を近似する直線Ｌｉを求めることを、全ての系列Ｇｉに対して行う。

図９は、系列Ｇｉ毎に求められた近似直線Ｌｉを示す線図である。この図９においては、横軸を内視鏡座標Ｅｄのｙ成分ｙｅ（ｔ）、縦軸を呼吸動座標Ｂのｙ成分ｙｂ（ｔ）としている。

近似直線Ｌｉの傾き（ただし、呼吸動座標Ｂのｙ成分ｙｂ（ｔ）の変化量に対する内視鏡座標Ｅｄのｙ成分ｙｅ（ｔ）の変化量を示す傾き）をＳｙ（ｉ）（なお、ｙ方向の呼吸動補正に係る傾きであるために、「Ｓ」に「ｙ」を付して「Ｓｙ」としている）としたときに、処理部１４は、ｍ個の近似直線Ｌｉの傾きＳｙ（ｉ）を統計的に処理して、補正パラメータとしての最適な傾きＳｙを求める。

最適な傾きＳｙを求めるための統計処理は、適宜の方法を採用することができるが、一例を挙げれば次の通りである。

まず、ｍ個の傾きＳｙ（ｉ）の中の中央値ＳｙＣを求める。次に、ｍ個の傾きＳｙ（ｉ）の中から、傾きがＳｙＣ±ΔＳとなるものだけを抽出する。ここに、ΔＳは、統計的な外れ値にならないための許容範囲を示しており、一例を挙げればΔＳ＝２である。この処理により、外れ値となる傾きが除外される。

こうして抽出された傾きＳｙ（ｉ）の内の中央値をさらに求めて、求めた中央値を最適な傾きＳｙとする。こうして求められた最適な傾きＳｙは、補正処理に用いられる補正パラメータとして、記録部１３に記録される。

このように、位置情報補正部であるワークステーション１１の呼吸性移動補正部１２は、類似画像データ群に対応する複数の内視鏡位置情報を、内視鏡位置情報が取得された順序に並べたときに、内視鏡位置情報が示す値のピーク（極大値および極小値）を区切りとして類似画像データ群に対応する複数の内視鏡位置情報を複数の系列に分割し、系列毎に、体表位置情報と内視鏡位置情報との関係を示すグラフを直線に近似して、近似した直線に基づき補正パラメータを決定する。特に、呼吸性移動補正部１２は、系列Ｇｉ毎に求めた複数の近似直線Ｌｉそれぞれの傾きＳｙ（ｉ）を統計的に処理して求めた最適な傾きＳｙを補正パラメータとして決定している。

上述したように求めた最適な傾きＳｙを用いれば、磁気センサ８，９の出力に基づき求められた呼吸動座標Ｂのｙ成分ｙｂ（ｔ）がΔｙｂだけ変化したときには、内視鏡座標Ｅｄのｙ成分ｙｅ（ｔ）の変化量ΔｙｅがＳｙ×Δｙｂであると算出することができる。従って、近似直線Ｌｉの切片は後述する補正処理には用いられない。そのため、図９において縦軸の値域の絶対的な値に意味はない。

こうして、磁気センサ７の出力に基づき求められた内視鏡座標Ｅｄのｙ成分ｙｅ（ｔ）を、磁気センサ８，９の出力に基づき求められた呼吸動座標Ｂのｙ成分ｙｂ（ｔ）に基づき補正して、補正後の内視鏡座標Ｅｄのｙ成分ｙｅ’（ｔ）を得るための関係式は、呼吸動座標Ｂの原点の位置を適切に定義すれば、次の数式５に示すように書くことができる。
［数５］
ｙｅ’（ｔ）＝ｙｅ（ｔ）＋Ｓｙ×ｙｂ（ｔ）

また、ｘ方向についても、上述と同様にして最適な傾きＳｘ（ただし、呼吸動座標Ｂのｙ成分ｙｂ（ｔ）の変化量に対する内視鏡座標Ｅｄのｘ成分ｘｅ（ｔ）の変化量を示す傾き）を求めて記録部１３に記録しておく。

これにより、磁気センサ７の出力に基づき求められた内視鏡座標Ｅｄのｘ成分ｘｅ（ｔ）を、磁気センサ８，９の出力に基づき求められた呼吸動座標Ｂのｙ成分ｙｂ（ｔ）に基づき補正して、補正後の内視鏡座標Ｅｄのｘ成分ｘｅ’（ｔ）を得るための関係式は、呼吸動座標Ｂの原点の位置を適切に定義すれば、次の数式６に示すように書くことができる。
［数６］
ｘｅ’（ｔ）＝ｘｅ（ｔ）＋Ｓｘ×ｙｂ（ｔ）

これら数式５，６における右辺第２項が補正値をそれぞれ表し、磁気センサ７の出力に基づき求められた内視鏡座標に補正値を加算することで、補正後の内視鏡座標を得ている。

このように、呼吸性移動補正部１２の処理部１４は、最適な傾きＳｘ，Ｓｙに体表位置情報の値の変化量（ここでは、原点の位置を適切に定義しているためにｙｂ（ｔ））を乗算したものを補正値として内視鏡位置情報に加算することにより、内視鏡位置情報を補正している。

なお、内視鏡座標Ｅｄのｚ成分ｚｅ（ｔ）を補正するための関係式は、次の実施形態２において説明する。

こうして関係式が導出されたら、呼吸性移動補正部１２による補正処理が可能であって、内視鏡検査を開始してもよい状態となる。従ってこのときには、ワークステーション１１が、液晶ディスプレイ１０またはモニタ４に対して、「内視鏡検査の準備が整いました」等の表示を行うようにするとよい。

こうして内視鏡検査が開始されると、呼吸性移動補正部１２は、補正パラメータを用いて新たに取得される内視鏡位置情報を補正する。すなわち、呼吸性移動補正部１２は、磁気センサ７の出力に基づき求められた内視鏡座標Ｅｄを、磁気センサ８，９の出力に基づき求められた呼吸動座標Ｂを用いて、数式５，６に基づき補正する処理を行う（ステップＳ５）。

こうして補正された内視鏡座標に基づき、３Ｄモデル画像生成部１６は、３Ｄモデル画像に内視鏡１の先端位置を示すマークＭＫ１（図３参照）を重畳する。これにより、マークＭＫ１が、呼吸による内視鏡１の先端位置の変動の影響を受けて変動するのを、適切に抑制することができる。

その後、ワークステーション１１は、検査が終了したか否かを判定し（ステップＳ６）、まだ終了していないと判定した場合にはステップＳ５に戻って補正処理を継続して行う。一方、終了したと判定した場合には、この処理から図示しないメイン処理にリターンする。

なお、上述では、レジストレーション部１５によりボリューム空間座標に変換された座標に対して、数式５，６の関係式を適用することを想定したが、これに限定されるものではなく、位置検出システムにより得られた実空間座標（例えば、磁気センサ座標）に対して数式５，６を導出して適用した後に、補正後の実空間座標をレジストレーション部１５によりボリューム空間座標に変換するようにしてもよい。

こうして呼吸性移動補正部１２は、被検体内における内視鏡１の位置を表す内視鏡位置情報を、被検体２０の３次元モデル（例えば、被検体２０の臓器の３次元モデル）上における位置情報に変換してから補正を行ってもよいし、補正を行った内視鏡位置情報を被検体２０の３次元モデル上における位置情報に変換しても構わない。

また、上述では臓器の動きが生じる原因として呼吸を例に挙げたが、これに限定されるものではなく、拍動、脈動などであっても構わない。

このような実施形態１によれば、内視鏡１で取得された画像データと、被検体２０の動きに応じて変化する体表位置情報とに基づいて、内視鏡１の位置を表す内視鏡位置情報を補正するようにしたために、被検体２０の臓器と内視鏡１との相対位置をより正確に反映することができる。

また、所定の期間内に取得された複数の画像データの内の、類似する複数の画像データを類似画像データ群として選択して、類似画像データ群に対応する複数の体表位置情報および複数の内視鏡位置情報に基づいて補正パラメータを決定し、補正パラメータを用いて新たに取得される内視鏡位置情報を補正するようにしたために、被検体２０の臓器と内視鏡１との相対位置が一定であるときの体表位置情報および内視鏡位置情報に基づいて、正確な補正パラメータを決定することができる。

さらに、ピークを区切りとして位置情報を複数の系列に分割し、系列毎に、体表位置情報と内視鏡位置情報との関係を示すグラフを直線に近似するようにしたために、より容易に直線近似を行うことができる。

そして、系列毎に求めた近似直線の傾きを統計的に処理して求めた最適な傾きを補正パラメータとして決定するようにしたために、外れ値を除外することができ、補正パラメータの信頼性を向上することができる。

加えて、最適な傾きに体表位置情報の値の変化量を乗算したものを補正値として内視鏡位置情報に加算することで、内視鏡位置情報を補正するようにしたために、加算および乗算というコンピュータによる高速処理が可能な演算のみを行えば足り、処理負荷の軽減および処理時間の短縮を図ることができる。これにより、リアルタイム性を損なうことなく、正確な内視鏡先端位置の表示等が可能となる。

また、被検体の体表において呼吸に応じて位置が変化する所定の点の座標を体表位置情報として取得しているために、所定の点を被検体内とする場合に比して取得が容易であると共に、呼吸性移動量を正確に取得することが可能となる。

さらに、位置情報補正部は、被検体内における内視鏡１の位置を表す内視鏡位置情報を、被検体の３次元モデル上における位置情報に変換してから補正を行ってもよいし、補正を行った内視鏡位置情報を被検体の３次元モデル上における位置情報に変換してもよいために、ワークステーション１１の処理プログラムあるいは処理回路の設計の自由度を高めることができる。

こうして、本実施形態の構成によれば、位置検出センサを臓器に貼り付けるという煩わしい処置を行うことなく、あるいは内視鏡１を臓器の粘膜に接触させることなく、呼吸による臓器の動きを検出して、適切に補正することができる。
［実施形態２］

図１０から図１２は本発明の実施形態２を示したものであり、図１０は内視鏡位置検出装置を備える内視鏡システムの作用を示すフローチャート、図１１は複数のテンプレート画像を設定する様子を示す図、図１２は複数のテンプレート毎に関係式を得ることを説明するための図である。

この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。

上述した実施形態１では、内視鏡座標Ｅｄのｘ成分およびｙ成分を補正したが、本実施形態２は、さらに、内視鏡座標Ｅｄのｚ成分を補正するようにしたものとなっている。なお、ここでは独立３方向の全てについて補正するものとして説明するが、何れかの独立方向について補正が不要である場合には、任意の２方向、もしくは任意の１方向のみについて補正するようにしても勿論かまわない。

被検体２０の臓器として腎臓を想定する場合には、内視鏡１の挿入軸は、概略、被検体２０の体軸に沿った方向となる。このような場合に、臓器の位置が呼吸動により変化すると、内視鏡１が臓器に対して挿入軸方向に変位し、内視鏡画像の撮影位置が管腔に沿って移動することがある。

そこで、内視鏡座標Ｅｄのｚ成分については、図１１に示すように、複数のテンプレート画像を設定するようになっている。図１１は、呼吸動座標Ｂを時間に沿って配置したときに、呼吸動座標Ｂの座標位置が異なる複数箇所にテンプレート画像を設定する例を示しており、ここでは例えば５つのテンプレート画像Ｔ１〜Ｔ５が設定されている。

上述した実施形態１では１つのテンプレート画像が設定されていたが、本実施形態では複数のテンプレート画像が設定されるために、図１０の（ステップＳ１１）において全テンプレートの処理が終了したと判定されるまでは、ステップＳ３に戻って次のテンプレートに関する処理を繰り返して行うことになる。

これにより、図１０の（ステップＳ４Ａ）においては、テンプレート画像毎にｚ方向に係る最適な近似直線、ひいては補正パラメータである最適な傾き（例えば、Ｓｚ（Ｔ１）〜Ｓｚ（Ｔ５））が求められることになる（図１２参照）。

そこで、ステップＳ１１において全テンプレートの処理が終了したと判定されたら、テンプレート画像毎に求められた最適な傾きＳｚ（Ｔ１）〜Ｓｚ（Ｔ５）を統計的に処理（例えば、中央値、あるいは外れ値を除外した後の中央値など）して、最適な補正パラメータＳｚ（図１２に示す近似直線Ｌの傾きに対応）を求め、求めた最適な補正パラメータＳｚに基づき、次の数式７に示すような最終的な関係式を導出する（ステップＳ４Ｂ）。
［数７］
ｚｅ’（ｔ）＝ｚｅ（ｔ）＋Ｓｚ×ｙｂ（ｔ）

この数式７における右辺第２項が補正値を表し、磁気センサ７の出力に基づき求められた内視鏡座標に補正値を加算することで、補正後の内視鏡座標を得ているのは、数式５，６と同様である。

このように、呼吸性移動補正部１２は、ｚ方向に関して、所定の期間内に取得された複数の画像データの内から、複数のテンプレート画像を設定し、複数のテンプレート画像に各類似する複数の類似画像データ群を選択して、類似画像データ群毎に補正パラメータを決定し、決定した複数の補正パラメータを統計的に処理して求めた最適な補正パラメータを、内視鏡位置情報の補正に用いている。

こうして最終的な関係式が得られたら、その後は内視鏡検査に進んでステップＳ５の補正処理を行うことは、上述した実施形態１の図４に示した処理と同様である。

なお、上述では内視鏡座標Ｅｄのｚ成分についてのみ複数のテンプレート画像を設定したが、内視鏡座標Ｅｄのｘ成分およびｙ成分についても同様に複数のテンプレート画像を設定して、上述と同様の処理を行うようにしても構わない。

このような実施形態２によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、複数のテンプレート画像を設定して複数の補正パラメータを決定し、さらに統計的に処理して最適な補正パラメータを求めて内視鏡位置情報の補正に用いるようにしたために、内視鏡１と被検体２０の臓器との相対位置が挿入軸方向に変化して、内視鏡画像の撮影位置が管腔に沿って移動した場合にも、適切な内視鏡位置情報の補正を行うことができる。

また、呼吸性移動補正部１２は、数式５〜７に示したように、ｘ方向、ｙ方向、ｚ方向それぞれの内視鏡位置情報を独立に補正しているために、全ての方向の補正を行うことで補正精度を上げることができる一方で、所望の方向の補正のみを行うことで処理を簡略化することもできる。

なお、上述した各部は、回路として構成されていてもよい。そして、任意の回路は、同一の機能を果たすことができれば、単一の回路として実装されていてもよいし、複数の回路を組み合わせたものとして実装されていても構わない。さらに、任意の回路は、目的とする機能を果たすための専用回路として構成されるに限るものではなく、汎用回路に処理プログラムを実行させることで目的とする機能を果たす構成であっても構わない。

また、上述では主として内視鏡位置検出装置について説明したが、内視鏡位置検出装置を上述したように作動させる作動方法であってもよいし、コンピュータに内視鏡位置検出装置と同様の処理を行わせるための処理プログラム、該処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。

さらに、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

１…内視鏡
２…光源装置
３…ビデオプロセッサ
４…モニタ
５…磁気センサ本体
６…磁場発生装置
７，８，９…磁気センサ
１０…液晶ディスプレイ
１０ａ…内視鏡画像
１０ｂ…３Ｄモデル画像
１１…ワークステーション
１２…呼吸性移動補正部
１３…記録部
１４…処理部
１５…レジストレーション部
１６…３Ｄモデル画像生成部
２０…被検体
ＭＫ１，ＭＫ２…マーク

Claims (10)

1. 被検体内の光学像を表す画像データを内視鏡で取得して入力する入力部と、
   前記被検体の動きに応じて変化する動きパラメータを取得するパラメータ取得部と、
   前記被検体内における前記内視鏡の位置を表す内視鏡位置情報を取得する内視鏡位置情報取得部と、
   前記画像データと、前記動きパラメータとに基づいて、前記内視鏡位置情報を補正する位置情報補正部と、
   を備えることを特徴とする内視鏡位置検出装置。
2. 前記内視鏡は、所定の期間内に複数の画像データを取得し、
   前記パラメータ取得部は、前記所定の期間内に前記複数の画像データに対応する複数の前記動きパラメータを取得し、
   前記内視鏡位置情報取得部は、前記所定の期間内に前記複数の画像データに対応する複数の前記内視鏡位置情報を取得し、
   前記位置情報補正部は、前記所定の期間内に取得された前記複数の画像データの内の、類似する複数の画像データを類似画像データ群として選択して、前記類似画像データ群に対応する複数の前記動きパラメータおよび複数の前記内視鏡位置情報に基づいて補正パラメータを決定し、前記補正パラメータを用いて新たに取得される前記内視鏡位置情報を補正することを特徴とする請求項１に記載の内視鏡位置検出装置。
3. 前記位置情報補正部は、前記類似画像データ群に対応する複数の前記内視鏡位置情報を、前記内視鏡位置情報が取得された順序に並べたときに、前記内視鏡位置情報が示す値の極大値および極小値を区切りとして前記類似画像データ群に対応する複数の前記内視鏡位置情報を複数の系列に分割し、前記系列毎に、前記動きパラメータと前記内視鏡位置情報との関係を示すグラフを直線に近似して、近似した前記直線に基づき前記補正パラメータを決定することを特徴とする請求項２に記載の内視鏡位置検出装置。
4. 前記位置情報補正部は、前記系列毎に求めた複数の前記直線それぞれの傾きを統計的に処理して求めた最適な傾きを前記補正パラメータとして決定することを特徴とする請求項３に記載の内視鏡位置検出装置。
5. 前記位置情報補正部は、前記最適な傾きに前記動きパラメータの値の変化量を乗算したものを補正値として前記内視鏡位置情報に加算することにより、前記内視鏡位置情報を補正することを特徴とする請求項４に記載の内視鏡位置検出装置。
6. 前記パラメータ取得部は、前記被検体の体表において呼吸に応じて位置が変化する所定の点の座標を、前記動きパラメータとして取得することを特徴とする請求項２に記載の内視鏡位置検出装置。
7. 前記被検体を仰臥位として、重力に沿った垂直方向をｙ方向、前記被検体の体軸方向をｚ方向、前記ｙ方向および前記ｚ方向に垂直な方向をｘ方向としたときに、
   前記位置情報補正部は、前記ｘ方向、前記ｙ方向、前記ｚ方向それぞれの前記内視鏡位置情報を独立に補正することを特徴とする請求項６に記載の内視鏡位置検出装置。
8. 前記位置情報補正部は、前記ｚ方向に関して、前記所定の期間内に取得された前記複数の画像データの内から、複数のテンプレート画像を設定し、複数の前記テンプレート画像に各類似する複数の類似画像データ群を選択して、類似画像データ群毎に前記補正パラメータを決定し、決定した複数の前記補正パラメータを統計的に処理して求めた最適な前記補正パラメータを、前記内視鏡位置情報の補正に用いることを特徴とする請求項７に記載の内視鏡位置検出装置。
9. 前記位置情報補正部は、前記被検体内における前記内視鏡位置情報を、前記被検体の３次元モデル上における位置情報に変換してから前記補正を行うか、または、前記補正を行った前記内視鏡位置情報を前記被検体の３次元モデル上における位置情報に変換することを特徴とする請求項１に記載の内視鏡位置検出装置。
10. 入力部が、被検体内の光学像を表す画像データを内視鏡で取得して入力し、
    パラメータ取得部が、前記被検体の動きに応じて変化する動きパラメータを取得し、
    内視鏡位置情報取得部が、前記被検体内における前記内視鏡の位置を表す内視鏡位置情報を取得し、
    位置情報補正部が、前記画像データと、前記動きパラメータとに基づいて、前記内視鏡位置情報を補正することを特徴とする内視鏡位置検出装置の作動方法。

Images