JP2012165838A

JP2012165838A - 内視鏡挿入支援装置

Info

Publication number: JP2012165838A
Application number: JP2011027761A
Authority: JP
Inventors: Kensaku Mori; 健策森
Original assignee: Nagoya University NUC
Current assignee: Nagoya University NUC
Priority date: 2011-02-10
Filing date: 2011-02-10
Publication date: 2012-09-06

Abstract

【課題】管腔臓器を内視鏡により観察する場合の支援情報を提示する内視鏡挿入支援装置を提供する。
【解決手段】被検体の管腔臓器内部に内視鏡を挿入して観察する場合に、被検体に内視鏡１２が挿入される部位に内視鏡挿入補助具３４と一体化した内視鏡１２の長手方向の移動距離情報並びに長手方向に垂直な移動距離情報を測定可能な非接触型センサ１４を設置し、非接触型センサ１４から得られる移動距離情報から内視鏡挿入長の時間変化並びに回転角度の時間変化情報を利用して、被検体の３次元画像データ上における現在の内視鏡位置姿勢に対応する位置姿勢を大まかに推定したのち、被検体管腔臓器内に挿入された内視鏡画像と被検体の３次元画像データから生成される仮想化内視鏡画像と比較することによって精密に内視鏡位置姿勢を求め、内視鏡挿入支援情報を生成するものである。
【選択図】図１

Description

本発明は、管腔臓器を内視鏡により観察する場合の支援情報を提供する内視鏡挿入支援装置に関するものである。

内視鏡は細いチューブの先端にレンズが取り付けられ、被検体の体内に挿入することで、被検体の臓器内部の状態を接観察するものである。内視鏡は、胃、気管支、十二指腸、小腸、大腸、直腸といった管腔臓器だけでなく、脳、縦隔、腹腔といった様々な臓器の内部を光学的に直接的に観察するもことができる。最近では極細気管支内視鏡など、非常に細い内視鏡が開発されており、例えば、気管支末梢などといった非常に細い臓器の内部までを直接的観察することが可能となってきた。

しかしながら、内視鏡は被検体内部のごく一部を光学的に観察しながら挿入されるものであり、その操作には高度な技術と多くの経験を要す。さらに、医師が内視鏡を目的とする部位まで的確に挿入するには、内視鏡によって撮影される臓器内部のビデオ画像を見ながら、目的とする臓器に関する一般的な解剖学的構造、被検体の解剖学的構造の一般的な解剖学的構造からの違いといいた医学的知識と照らし合わし、高度な判断を下しながら、内視鏡を操作する必要がある。

一方、Ｘ線ＣＴ（ＣｏｍｐｕｔｅｄＴｏｍｏｇｒａｐｈｙ）画像撮像装置、磁気共鳴画像撮像装置、超音波画像撮像装置等の医用画像撮像機器を用いることで被検体内部の構造を取得することが可能である。Ｘ線ＣＴ画像撮像装置ではＸ線照射機と検出器を用いて被検体を輪切りにしたかのような断面画像（ＣＴ画像）を取得する。被検体を等間隔で撮影したＣＴ画像を計算機上に取り込み、これを基に被検体の３次元形状を計算機上に構成することが可能である。ここで得られる画像は３次元画像データと呼ばれる。

このような医用画像撮像装置から得られた被検体の３次元画像データを利用することで、被検体内部に内視鏡を挿入する際に、内視鏡挿入を支援する情報を提示する装置の開発が行われてきた。

ＣＴ画像やＭＲ画像といった被検体の３次元画像からあたかも内視鏡で観察したかのような画像（仮想化内視鏡画像、あるいは、仮想内視鏡画像と呼ばれる）を生成することで、内視鏡検査を支援する技術が報告されている。

特許文献１の先行技術では、医用画像撮像装置から得られた情報を基に、被検体の管腔臓器を抽出し、そこから被検体の仮想的な内視鏡画像を被検体の管腔臓器の分岐点ごとに提示し、被検体の管腔臓器内部への内視鏡挿入を支援する装置が述べられている。

非特許文献１に示される先行技術では、内視鏡先端にその位置を追跡する超小型磁気式位置センサを装着し、被検体の管腔臓器の芯線情報と位置センサ情報を基に、被検体の３次元画像データにおける内視鏡の位置並びに姿勢を推定し、その結果を基に内視鏡挿入支援情報を生成する手法を述べている。

非特許文献２に示される先行技術では、被検体の３次元画像データから生成される仮想化内視鏡と被検体に挿入された内視鏡画像とを比較することで、被検体に挿入された内視鏡の位置姿勢を推定し、内視鏡の位置姿勢推定結果から内視鏡挿入支援情報を提示する技術が示されている。

ＷＯ２００７／１２９６１６

出口大輔, 石谷和愛, 北坂孝幸, 森健策, 末永康仁, 高畠博嗣, 森雅樹, 名取博, ``超小型位置センサを用いたマーカレス気管支鏡位置追跡手法に関する検討,'' 電子情報通信学会技術研究報告, MI2006-52, pp.17-22 (2006/09) Daisuke Deguchi, Kensaku Mori, Marco Feuerstein, Takayuki Kitasaka, Calvin R.Maurer Jr., Yasuhito Suenaga, Hirotsugu Takabatake, Masaki Mori, Hiroshi Natori, ``Selective image similarity measure for bronchoscope tracking based on image registration,'' Medical Image Analysis, Vol.13, No.4, pp. 621-633(2009/06)

しかしながら、特許文献１の技術は被検体の管腔臓器内部に挿入された内視鏡画像に連動して、内視鏡挿入支援情報を生成するものではなく、被検体の３次元画像データに基づき、通るべき経路を仮想化内視鏡画像として示しているにすぎない。

非特許文献１の技術は、被検体の管腔臓器内に挿入された内視鏡に連動して、被検体の３次元画像データから内視鏡挿入支援情報を生成可能であるが、磁気式位置センサに位置情報を送る磁場発生装置が大がかりとなること、内視鏡先端に位置センサを装着することが必要といった問題点がある。

非特許文献２のシステムでは、管腔臓器が咳などにより閉塞した場合には、被検体に挿入された内視鏡からは仮想化内視鏡と比較するのに十分な情報が得られない、内視鏡を高速に出し入れした場合には内視鏡位置姿勢追跡処理が追随できないなどの問題点が存在した。

本発明は、上記の課題を解決するためになされたものであり、被検体に挿入された内視鏡の動きに連動して内視鏡挿入支援情報が提示でき、内視鏡先端のセンサや大がかりな装置を必要とせず、内視鏡カメラが遮蔽物によって一時的にさえぎられた場合や内視鏡を高速に操作した場合でも内視鏡位置姿勢を推定可能とする内視鏡挿入支援装置を提供することを目的とする。

この欄においては、発明に対する理解を容易にするため、必要に応じて「発明を実施するための形態」欄において用いた符号を付すが、この符号によって請求の範囲を限定することを意味するものではない。

上記「発明が解決しようとする課題」において述べた問題を解決するためになされた請求項１に記載の発明は、内視鏡長手方向の時間的な移動距離情報及び長手方向に垂直な移動距離情報を取得するための非接触型センサが取り付けられた内視鏡挿入補助具（３４）と、内視鏡挿入補助具（３４）に取り付けられた非接触型センサから得られる内視鏡長手方向の時間的な移動距離情報及び長手方向に垂直な移動距離情報から被検体の管腔臓器に挿入された内視鏡の挿入長及びひねり回転角度情報を推定する内視鏡挿入長ひねり回転角度推定手段（１１１）と、内視鏡挿入長ひねり回転角度推定手段（１１１）によって推定された内視鏡の挿入長及びひねり回転角度情報から被検体に挿入された内視鏡の位置姿勢を推定する内視鏡位置姿勢粗推定手段（１１２）と、被検体の１つ以上の３次元画像データに基づき、被検体の仮想的な内視鏡画像を生成する仮想化内視鏡画像生成手段（１１４）と、被検体の管腔臓器に挿入された内視鏡から被検体の管腔臓器の内視鏡画像を得る内視鏡画像取得手段（１５）と、内視鏡画像取得手段（１５）によって得られる被検体の管腔臓器の内視鏡画像と仮想化内視鏡画像生成手段（１１４）によって得られる被検体の管腔臓器の仮想化内視鏡画像を比較する内視鏡画像比較手段（１１３）と、内視鏡画像比較手段（１１３）において内視鏡画像と仮想化内視鏡画像が一致したか否かを判定する収束判定手段（１１６）と、収束判定手段（１１６）の結果に応じて内視鏡位置姿勢情報を更新する内視鏡位置姿勢推定更新手段（１１８）と、少なくとも内視鏡位置姿勢推定更新手段（１１８）によって得られた情報をもとに、内視鏡挿入を支援する情報を提示する内視鏡挿入支援情報提示手段（１２０）、を備えることを特徴とする内視鏡挿入支援装置（１１）である。

これによって、口、鼻、肛門などにおかれる内視鏡挿入補助具に取り付けられた非接触型位置センサから内視鏡長手方向の時間的な移動距離と長手方向に垂直な移動距離情報から被検体の管腔臓器に挿入された内視鏡の挿入長とひねり回転角度情報を推定する内視鏡挿入長ひねり回転角度を推定し、得られた内視鏡挿入長ひねり回転角度情報から被検体に挿入された内視鏡の現在の位置姿勢を大まかに推定し、さらに、被検体の３次元画像データから生成される仮想化内視鏡画像と被検体の管腔臓器内に挿入された内視鏡から得られる画像とを比較することで、精密に被検体内部に挿入された内視鏡の被検体の３次元画像データにおける位置・姿勢を求めることできる。この情報を基に、内視鏡挿入を支援する情報を提示することが可能となる。

また、これまでの内視鏡挿入位置姿勢を記憶する内視鏡挿入経路記憶手段（１１７）を備え、内視鏡挿入経路情報に基づき、内視鏡位置姿勢を推定するようにするとよい。
これによって、これまでに挿入された内視鏡経路を記憶することによって、内視鏡位置姿勢推定手段（１１２）における内視鏡位置姿勢推定性能を向上させることができる。

さらに、内視鏡挿入補助具に一体化された非接触型センサは、内視鏡長手方向の時間的な移動距離と長手方向に垂直な移動距離情報内視鏡挿入長を計測可能であり、この情報から内視鏡挿入長の時間変化、内視鏡回転角の時間変化を算出可能である。

内視鏡挿入補助具に非接触型センサを組み込むことで、内視鏡に接触することなく内視鏡挿入長、並びに、内視鏡ひねり回転角度を測定可能であり、滅菌等の手間を軽減することができ、内視鏡挿入支援装置（１１）を簡便に取り扱うことが可能となる。

また、請求項２に記載のように、内視鏡が被検体に挿入されてからの内視鏡挿入位置及び姿勢を記憶する内視鏡挿入経路記憶手段（１１７）を備え、内視鏡位置姿勢推定手段（１１２）は、内視鏡挿入経路記憶手段（１１７）に記憶された内視鏡が被検体に挿入されてからの内視鏡挿入位置及び姿勢に基づき、内視鏡の位置姿勢を推定するようにするとよい。

さらに、請求項３に記載のように、被検体の３次元画像データから管腔臓器の構造情報を抽出する構造情報抽出手段（１９）を備え、内視鏡位置姿勢推定手段（１１２）は、内視鏡挿入経路記憶手段（１１７）に記憶された内視鏡が被検体に挿入されてからの内視鏡挿入位置及び姿勢に加え、構造情報抽出手段（１９）から得られた管腔臓器の構造情報に基づいて、内視鏡の位置姿勢を推定するようにしてもよい。

本発明の実施形態に係る内視鏡挿入支援装置の機能の概要を示すブロック図である。管腔臓器の構造情報を説明する図である。内視鏡挿入補助具一体型非接触型センサを説明する図である。非接触型センサにより計測される内視鏡長手方向並びに長手方向に垂直な移動距離を説明する図である。内視鏡挿入を支援する情報の表示方法に関する図である。

以下、本発明が適用された実施形態について図面を用いて説明する。なお、本発明の実施の形態は、下記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。

図１は本発明の実施形態による内視鏡挿入支援装置１１の構成の概要を示す機能ブロック図である。
内視鏡挿入支援装置１１は３次元画像データ入力部１６、３次元画像データ格納部１８、被検体に挿入された内視鏡から内視鏡画像を入力する内視鏡画像入力部１５、内視鏡挿入補助具３４に取り付けられた非接触型センサ部１４、被接触型センサから得られた情報を基に内視鏡挿入長、回転角の変化分を計算する非接触型センサ情報処理部１７、内視鏡挿入長、内視鏡ひねり回転角度の変化分の推定を行う内視鏡挿入長・ひねり回転角度推定部１１１、被検体の３次元画像から所望とする臓器の略中心線を抽出する構造情報抽出部１９、得られた構造情報を格納する構造情報格納部１１０、内視鏡挿入長回転角度推定部の出力と対象とする管腔臓器特徴形状情報、並びに後述する軌跡格納部に格納された内視鏡挿入軌跡情報を基に、現在の内視鏡位置並びに姿勢を粗推定する内視鏡位置姿勢粗推定部１１２、管腔臓器の仮想化内視鏡画像を生成する仮想化内視鏡画像生成部１１４、仮想化内視鏡画像と被検体の内視鏡画像とを比較する内視鏡画像比較部１１３、仮想化内視鏡の視点位置・視線方向を更新する内視鏡位置姿勢推定更新部１１８、仮想化内視鏡画像と被検体の内視鏡画像が一致したか否かを判定する収束判定部１１６、内視鏡位置姿勢を一時的に保存する内視鏡位置姿勢一時保存部１１５、推定された内視鏡位置姿勢に基づいて内視鏡挿入支援情報を表示する内視鏡挿入支援情報生成部１２０、被検体に挿入された内視鏡が過去に通過した位置並びにその時の姿勢を格納する軌跡格納部１１７から構成される。

本実施形態では、内視鏡挿入支援装置１１の３次元画像データ入力部１６は、医用画像撮像装置にて取得された被検体の３次元画像を取り込む。医用画像撮像装置は、Ｘ線ＣＴ画像撮像装置、核磁気共鳴画像撮像装置、超音波画像撮像装置等の被検体の生体組織の画像情報を取得する公知の装置である。前記３次元画像データは、被検体の管腔臓器が撮影されたものとする。

３次元画像データ格納部１８は、３次元画像データ入力部１６によって取り込まれた３次元画像データを格納する。
内視鏡画像入力部１５では、被検体の管腔臓器に挿入された内視鏡１２から得られた内視鏡画像を取得し、本内視鏡挿入支援装置１１に取り込むものである。

非接触型センサ部１４は、内視鏡挿入の際に内視鏡のスムースな挿入を可能とする円筒、リング、半円筒、半リング状の補助具に一体化され、該補助具を介して内視鏡が挿入される場合、内視鏡表面を光学的なカメラによって撮影する、あるいは、超音波センサによって、内視鏡の長手方向の移動距離、並びに、内視鏡長手方向に垂直な方向の移動距離を測定する。

非接触型センサ情報処理部１７では、非接触型センサ部１４によって得られた内視鏡の長手方向の移動距離、並びに、内視鏡長手方向に垂直な方向の移動距離からノイズ成分を取り除く処理を行う。

内視鏡挿入長・ひねり回転角度推定部１１１では、非接触型センサ情報処理部１７において得られた内視鏡の長手方向の移動距離、並びに、内視鏡長手方向に垂直な方向の移動距離から、内視鏡挿入長変化分、並びに、内視鏡ひねり回転角度変化分を計算する。

内視鏡位置姿勢粗推定部１１２では、非接触型センサ情報処理部１７から得られた内視鏡挿入長、ひねり回転角度の変化分、一つ前の時刻における内視鏡位置・姿勢情報、並びに該管腔臓器の構造情報を利用して内視鏡挿入長、並びに、内視鏡ひねり回転角度の推定を行い、一つ前の時刻における被検体の管腔臓器内部に挿入された内視鏡の位置並びに姿勢に対応する仮想化内視鏡画像を生成する位置、姿勢情報を、該内視鏡挿入長、並びに、該内視鏡ひねり回転角度推定結果を利用して更新し、仮想化内視鏡位置・姿勢粗推定結果とする。

仮想化内視鏡画像生成部１１４では、３次元画像データ格納部１８に格納された被検体の３次元画像データと、内視鏡位置姿勢粗推定部１１２で推定された仮想化内視鏡位置・姿勢情報に基づいて、仮想的な内視鏡画像（仮想化内視鏡画像）を生成する。

内視鏡画像比較部１１３では、仮想化内視鏡画像生成部１１４から生成されたか仮想内視鏡画像と被検体の現在の内視鏡画像とを比較し、その類似性を評価する値を求める。
収束判定部１１６では、被検体の管腔臓器内部に挿入された内視鏡から得られる現時刻における内視鏡画像と仮想化内視鏡画像が十分に類似したもの否かを判断する。

つまり、内視鏡画像比較部１１３で求められた類似性を評価する値が所定の値であるか否かを判定することにより、類似したもの否かを判断する。
十分に類似したと判断されない場合には、内視鏡位置姿勢推定更新部１１８へと進む。

内視鏡位置姿勢推定更新部１１８では、仮想化内視鏡画像と被検体の内視鏡画像が一致するように、内視鏡画像比較部１１３の結果を利用して、仮想化内視鏡の位置・姿勢情報を更新する。

類似していると判断された場合は、得られた仮想化内視鏡の位置・姿勢情報を被検体の管腔臓器内部に挿入された内視鏡の位置・姿勢情報とみなし、現フレーム位置姿勢計算結果格納部１１９に格納する。

現フレーム位置姿勢計算結果格納部１１９に位置・姿勢情報が格納されたならば、内視鏡挿入支援情報生成部１２０では、得られた仮想化内視鏡位置・姿勢情報を基に、内視鏡挿入支援情報を生成・表示する。

また、内視鏡位置姿勢推定を軌跡格納部１１７に格納して次の内視鏡画像フレームへ進む。
以下、図１を用いて、本実施形態における内視鏡挿入支援情報を生成する方法を説明する。

医用画像撮像装置１３で撮像された被検体の３次元画像データが３次元画像データ入力部１６によって取り込まれると、この３次元画像データは３次元画像データ格納部１８へと送られる。

３次元画像データ格納部１８は３次元画像データ入力部１６から受け取ったデータを格納する。３次元画像データ格納部１８が格納した画像は、構造情報抽出部１９、仮想化内視鏡画像生成部１１４、内視鏡挿入支援情報生成部１２０へ送られる。

構造情報抽出部１９では、３次元画像データから対象とする臓器の領域を取り出し、得られた臓器領域から、臓器領域の大まかな中心線を表す略中心線を得る。
この略中心線について、図２を用いて説明する。図２に示すように、気管支２１であれば、気管支の各枝の構造を表した気管支中心線２２、大腸２３であれば、大腸内部を通る大腸中心線２４が、略中心線となる。

この略中心線を得るには、例えば、国際公開番号ＷＯ２００７／１２９４９３公報に記載されている方法を参考にするとよい。得られ略中心線は、構造情報格納部に格納される。

また、被検体の管腔臓器内部に挿入された内視鏡から得られる内視鏡画像は、内視鏡画像入力部１５によって、本システムに取り込まれる。なお、ここでは、便宜上あるフレーム番号tの内視鏡画像をＲｔとして表す。

内視鏡を被検体の管腔臓器内部に挿入する場合には、内視鏡のスムースな挿入を可能とする円筒、リング、半円筒、半リング状の内視鏡挿入補助具３４を介して行う。この補助具には小型カメラあるいは超音波センサといった非接触型センサ１４部が一体化される。

非接触型センサ部１４は、カメラ、あるいは、超音波センサによって、内視鏡の長手方向の移動距離、並びに、内視鏡長手方向に垂直な方向の移動距離を非接触的に測定する。
ここで、図３を用いて内視鏡挿入補助具一体型非接触型センサについて説明する。

内視鏡挿入補助具３４は、図３に示すように、円筒、リング、半円筒、半リング状をしており、その中央を内視鏡が通過するように用いられる。
非接触型センサ３５は、内視鏡挿入補助具３４の側面に備え付けられており、非接触的に内視鏡側面の状態をセンシングすることができるようになっている。

図４に示すように、非接触型センサーの機能を果たすカメラが内視鏡挿入補助具３４に装着された場合には、内視鏡表面の微細なパターンをカメラが捉えることで、単位時間における内視鏡長手方向の移動距離、並びに、その垂直方向の移動距離を画像処理的に検出する。この移動距離検出には、特開２００４−２２０６１２号公報に記載されている方法を利用してもよい。また、カメラによる距離検出ではなく、超音波センサを利用してもよい。

以下、内視鏡画像フレーム番号ｔにおける内視鏡位置並びに姿勢を（ｘ^t，ｙ^t，ｚ^t，θ^t，φ^t，ψ^t）とする。この内視鏡位置並びに姿勢は被検体の３次元画像データの座標系で表される。ｘ^t，ｙ^t，ｚ^tは３次元的な位置を表し、θ^t，φ^t，ψ^tは内視鏡の姿勢を表すオイラー角である。

（ｘ^t，ｙ^t，ｚ^t，θ^t，φ^t，ψ^t）の位置並びに姿勢で３次元画像データを基に仮想化内視鏡画像生成部１１４で仮想化内視鏡画像を生成するならば、被検体の管腔臓器内部に挿入された内視鏡により得られる画像Ｒｔと等しい仮想化内視鏡画像を得ることができることになる。

すなわち、被検体内部に挿入された内視鏡の位置・姿勢は、仮想化内視鏡の位置・姿勢情報として表すことと等価である。
なお、内視鏡画像フレーム番号０における内視鏡位置並びに姿勢は、手動で与えるか、決められた位置に内視鏡を保持するなどして与えるものとする。

被検体の管腔臓器に内視鏡を挿入すると、非接触型センサ部１４によって内視鏡長手方向の移動距離、並びに、その垂直方向の移動距離の変化量が非接触型センサ情報処理部１７へと送られる。

非接触型センサ情報処理部１７では、平滑化処理、外れ値除去などのノイズ処理を行い、内視鏡長手方向の移動距離、並びに、その垂直方向の移動距離の変化量が内視鏡挿入長・ひねり回転角度推定部へと伝えられる。

内視鏡挿入長・ひねり回転角度推定部１１１では、非接触型センサ情報処理部１７において得られた内視鏡の長手方向の移動距離、並びに、内視鏡長手方向に垂直な方向の移動距離から、内視鏡挿入長変化分、並びに、内視鏡ひねり回転角度変化分を計算する。非接触型センサ情報処理部１７で得られる情報は相対的な情報であるため、ここから、内視鏡画像フレーム番号ｔ−１から内視鏡画像フレーム番号ｔに対する絶対的な挿入長変化分Δｌ^t並びに回転角度変化分Δθ^tを計算する。

次に、内視鏡位置姿勢粗推定部１１２では、挿入長変化分Δｌ^t並びに回転角度変化分Δθ^t、一つ前の内視鏡画像フレーム番号ｔ−１における内視鏡位置・姿勢情報（ｘ^t-1，ｙ^t-1，ｚ^t-1，θ^t-1，φ^t-1，ψ^t-1）、構造情報格納部１１０に格納された略中心線情報から、現内視鏡画像フレーム番号ｔにおける内視鏡位置姿勢粗推定結果（ｘ’^t，ｙ’^t，ｚ’^t，θ’^t，φ’^t，ψ’^t）を得る。

まず、挿入長変化分Δｌ^t並びに回転角度変化分Δθ^tを利用して、内視鏡画像フレーム番号ｔ−１における位置姿勢（ｘ^t-1，ｙ^t-1，ｚ^t-1，θ^t-1，φ^t-1，ψ^t-1）を更新する。

ここでは、内視鏡位置（ｘ^t-1，ｙ^t-1，ｚ^t-1）を内視鏡画像フレーム番号ｔ−１における内視鏡姿勢（θ^t-1，φ^t-1，ψ^t-1）から得られる内視鏡視線方向に向かってΔｌ^tだけ進める。次に、内視鏡姿勢（θ^t-1，φ^t-1，ψ^t-1）を内視鏡画像フレーム番号ｔ−１における内視鏡視線回り方向にΔθ^tだけ回転させ、一時的な内視鏡位置・姿勢情報（ｘ^*t，ｙ^*t，ｚ^*t，θ^*t，φ^*t，ψ^{* t}）を得る。

次に、軌跡格納部１１７に格納されているこれまでの内視鏡挿入軌跡情報を基に、一時的な内視鏡位置・姿勢情報（ｘ^*t，ｙ^*t，ｚ^*t，θ^*t，φ^*t，ψ^*t）が、これまでの挿入軌跡から大きく離れていないかどうかを距離情報を基に判断する。大きく離れている場合には、（ｘ^t-1，ｙ^t-1，ｚ^t-1，θ^t-1，φ^t-1，ψ^t-1）を（ｘ^*t，ｙ^*t，ｚ^*t，θ^*t，φ^*t，ψ^*t）とする。

さらに、得られた内視鏡位置・姿勢情報（ｘ^*t，ｙ^*t，ｚ^*t，θ^*t，φ^*t，ψ^*t）からもっとも略中心線に近い点を求め、その点を内視鏡位置粗推定結果とし、現内視鏡画像フレーム番号ｔにおける内視鏡位置姿勢粗推定結果（ｘ’^t，ｙ’^t，ｚ’^t，θ’^t，φ’^t，ψ’^t）を得る。

次に、得られた内視鏡位置姿勢粗推定結果は、内視鏡位置姿勢一時保存部１１５へと送られる。内視鏡画像フレーム番号ｔにおける内視鏡位置姿勢一時保存部１１５更新回数をｉで表す。

内視鏡位置姿勢粗推定部１１２から内視鏡位置姿勢一時保存部１１５へ送られた内視鏡位置姿勢粗推定結果は（ｘ’^t _(i)，ｙ’^t _(i)，ｚ’^t _(i)，θ’^t _(i)，φ’^t _(i)，ψ’^t _(i)）として記述される。

仮想化内視鏡画像生成部１１４では、内視鏡位置姿勢一時保存部１１５に格納されている（ｘ’^t _(i)，ｙ’^t _(i)，ｚ’^t _(i)，θ’^t _(i)，φ’^t _(i)，ψ’^t _(i)）を基に仮想化内視鏡画像Ｖ’^t _(i)を被検体の３次元画像データを基にボリュームレンダリング法により生成する。

この仮想化内視鏡画像の生成には、非特許文献吉岡政洋, 森健策, 末永康仁, 鳥脇純一郎, ``ソフトウェアによる高速ボリュームレンダリング手法の開発と仮想化内視鏡システムへの適用,'' MEDICAL IMAGING TECHNOLOGY, Vol.19, No.6, pp.477-486 (2001/11)を参考にするとよい。また、ボリュームレンダリング法だけでなく、マーチングキューブズ法を利用したサーフェスレンダリング法などを用いてもよい。

内視鏡画像比較部１１３では、内視鏡位置姿勢一時保存部１１５に格納されている(x’^t _(i),y’^t _(i),z’^t _(i),θ’^t _(i),φ’^t _(i),ψ’^t _(i))から生成された仮想化内視鏡画像V’^t _(i)と現在内視鏡フレーム番号Rtとの間の類似度計算を行い、類似度計算結果を収束判定部１１６へと送る。

この類似度計算には、非特許文献２に記載の類似度評価式を利用するとよい。また、正規化相互相関、自乗平均誤差、正規化相互情報量などを利用してもよい。
内視鏡画像比較部１１３で得られた類似度計算結果を受け取る収束判定部１１６では、被検体の管腔臓器内部に挿入された内視鏡から得られる現フレーム番号の内視鏡画像と仮想化内視鏡画像が十分に類似したもの否かを判断する。

十分に類似したと判断されない場合には、内視鏡位置姿勢推定更新部１１８において、内視鏡画像Ｒｔと仮想化内視鏡画像との類似度が向上するように内視鏡位置姿勢一時保存部１１５に格納されている（ｘ’^t _(i)，ｙ’^t _(i)，ｚ’^t _(i)，θ’^t _(i)，φ’^t _(i)，ψ’^t _(i)）を更新しｉ←ｉ＋１とした後、再度仮想化内視鏡画像生成部１１４へと戻る。

類似していると判断された場合は、得られた内視鏡の位置・姿勢情報(x’^t _(i),y’^t _(i),z’^t _(i),θ’^t _(i),φ’^t _(i),ψ’^t _(i))を被検体の管腔臓器内部に挿入された内視鏡の位置・姿勢情報とし、内視鏡の位置・姿勢情報を現フレーム位置姿勢計算結果格納部１１９に格納した後、内視鏡の位置・姿勢情報を内視鏡挿入支援情報生成部１２０へと送る。

内視鏡挿入支援情報生成部１２０では、最終的に得られた内視鏡の位置・姿勢情報(x’^t _(i),y’^t _(i),z’^t _(i),θ’^t _(i),φ’^t _(i),ψ’^t _(i))を用いて、内視鏡挿入を支援する情報を生成する。

図５を用いて内視鏡挿入を支援する情報の表示方法の例を示す。図５（ａ）にフレーム番号ｔにおける被検体の管腔臓器を観察している内視鏡画像が示され、図５（ｂ）では対応するフレーム番号ｔに対応する仮想化内視鏡画像が示される。この画像では、臓器壁面を半透明表示することで、管腔臓器壁面の向こう側に存在する解剖学的構造物を表示可能である。図５（ｃ）では、管腔臓器の外形像が示され、これまでの内視鏡挿入軌跡、現在位置を表示する。図５（ｄ）では、当該３次元画像データの断面画像が記され、その画面上に現在の内視鏡位置が記される。

本発明によって被検体の管腔臓器内部に挿入された内視鏡の位置・姿勢をリアルタイムで追跡することが可能であり、内視鏡挿入支援情報は随時更新される。なお、ここでは、４画面表示を行ったが、必要に応じて、現在位置から目的地まで進むべき経路、現在地における解剖学的名称などを表示してもよい。

内視鏡フレーム番号tにおける内視鏡挿入支援情報を表示したならば、現フレームの位置姿勢計算結果を軌跡格納部１１７に格納しｔ→ｔ＋１として、次の内視鏡フレーム画像の処理に移る。
（内視鏡挿入支援装置１１の特徴）
以上に説明した内視鏡挿入支援装置１１は、被検体の管腔臓器内部に内視鏡を挿入して観察する場合に、被検体に内視鏡が挿入される部位（気管支、胃、十二指腸、膵臓、小腸であれば口若しくは鼻、直腸、結腸であれば肛門）に内視鏡挿入補助具と一体化した内視鏡の長手方向の移動距離情報並びに長手方向に垂直な移動距離情報を測定可能な非接触型センサを設置し、非接触型センサから得られる移動距離情報から内視鏡挿入長の時間変化並びに回転角度の時間変化情報を利用して、被検体の３次元画像データ上における現在の内視鏡位置姿勢に対応する位置姿勢を大まかに推定したのち、被検体管腔臓器内に挿入された内視鏡画像と被検体の３次元画像データから生成される仮想化内視鏡画像と比較することによって精密に内視鏡位置姿勢を求め、内視鏡挿入支援情報を生成するものである。

したがって、内視鏡挿入支援装置１１によれば、口、鼻、肛門に置かれた内視鏡挿入補助具と一体化した非接触型センサから得られる情報を基に、現在の内視鏡位置姿勢情報を大まかに推定し、得られた内視鏡位置姿勢情報を利用して、被検体管腔臓器内に挿入された内視鏡から得られる内視鏡画像と被検体の３次元画像データから生成される仮想化内視鏡画像と比較することで内視鏡位置姿勢を精密に求めることで、被検体に挿入された内視鏡の動きに連動して内視鏡挿入支援情報を提示することが可能となる。

また、内視鏡先端に特殊なセンサを設置する必要がなく、また、大がかりな装置を必要としない、内視鏡カメラが遮蔽物によって一時的にさえぎられた場合でも内視鏡位置姿勢を追跡可能、内視鏡を高速に操作した場合でも、非接触型センサから得られる内視鏡挿入長の時間変化並びに回転角度の時間変化情報によって内視鏡位置姿勢を推定可能といった特徴を持つ。これによって、内視鏡操作に応じた内視鏡挿入支援上を提示することが可能となり、内視鏡手術検査を行う医師の負担を大幅に軽減することが可能となる。

１１本発明の実施形態に係る内視鏡挿入支援装置
１２内視鏡
１３医用画像撮像装置
１４非接触型センサ
１５内視鏡画像入力部
１６ 3次元画像データ入力部
１７非接触型センサ情報処理部
１８ 3次元画像データ格納部
１９構造情報抽出部
２１気管支
２２気管支略中心線
２３大腸
２４大腸中心線
３１内視鏡操作部
３２内視鏡操作レバー
３３内視鏡チューブ
３４非接触型センサを有す内視鏡挿入補助具
３５非接触型センサ
４１内視鏡チューブの一部
４２内視鏡長手方向移動距離
４３内視鏡長手方向に垂直な移動距離
５１内視鏡映像
５２最終的に得られた内視鏡の位置・姿勢情報(x’ ^t _(i), y’ ^t _(i), z’ ^t _(i), θ’ ^t _(i), φ’ ^t _(i), ψ’ ^t _(i))によって生成された仮想化内視鏡画像
５２最終的に得られた内視鏡の位置・姿勢情報(x’ ^t _(i), y’ ^t _(i), z’ ^t _(i), θ’ ^t _(i), φ’ ^t _(i), ψ’ ^t _(i))によって生成された仮想化内視鏡画像
５３これまでの内視鏡挿入軌跡、現在位置情報を含む管腔臓器の外形像
５４現在の内視鏡位置が示された当該３次元画像データの断面画像
１１０構造情報格納部
１１１内視鏡挿入長・ひねり回転角度推定部
１１２内視鏡位置姿勢粗推定部
１１３内視鏡画像比較部
１１４仮想化内視鏡画像生成部
１１５内視鏡位置姿勢一時保存部
１１６収束判定部
１１７軌跡格納部
１１８内視鏡位置姿勢推定更新部
１１９現フレーム位置姿勢計算結果格納部
１２０内視鏡挿入支援情報生成部

Claims

内視鏡長手方向の時間的な移動距離情報及び長手方向に垂直な移動距離情報を取得するための非接触型センサが取り付けられた内視鏡挿入補助具と、
前記内視鏡挿入補助具に取り付けられた非接触型センサから得られる内視鏡長手方向の時間的な移動距離情報及び長手方向に垂直な移動距離情報から被検体の管腔臓器に挿入された内視鏡の挿入長及びひねり回転角度情報を推定する内視鏡挿入長ひねり回転角度推定手段と、
前記内視鏡挿入長ひねり回転角度推定手段によって推定された内視鏡の挿入長及びひねり回転角度情報から前記被検体に挿入された前記内視鏡の位置姿勢を推定する内視鏡位置姿勢推定手段と、
前記被検体の１つ以上の３次元画像データに基づき、前記被検体の仮想的な内視鏡画像を生成する仮想化内視鏡画像生成手段と、
前記被検体の管腔臓器に挿入された前記内視鏡から前記被検体の管腔臓器の内視鏡画像を得る内視鏡画像取得手段と、
前記内視鏡画像取得手段によって得られる前記被検体の前記管腔臓器の前記内視鏡画像と前記仮想化内視鏡画像生成手段によって得られる前記被検体の前記管腔臓器の前記仮想化内視鏡画像を比較する内視鏡画像比較手段と、
前記内視鏡画像比較手段において前記内視鏡画像と前記仮想化内視鏡画像が一致したか否かを判定する収束判定手段と、
前記収束判定手段の結果に応じて前記内視鏡位置姿勢情報を更新する内視鏡位置姿勢推定更新手段と、
少なくとも前記内視鏡位置姿勢推定更新手段によって得られた情報をもとに、内視鏡挿入を支援する情報を提示する内視鏡挿入支援情報提示手段と、
を備えることを特徴とする内視鏡挿入支援装置。
前記内視鏡が前記被検体に挿入されてからの内視鏡挿入位置及び姿勢を記憶する内視鏡挿入経路記憶手段を備え、
前記内視鏡位置姿勢推定手段は、
前記内視鏡挿入経路記憶手段に記憶された前記内視鏡が前記被検体に挿入されてからの内視鏡挿入位置及び姿勢に基づき、前記内視鏡の位置姿勢を推定することを特徴とする請求項１に記載の内視鏡挿入支援装置。
前記被検体の前記３次元画像データから前記管腔臓器の構造情報を抽出する構造情報抽出手段を備え、
前記内視鏡位置姿勢推定手段は、
前記内視鏡挿入経路記憶手段に記憶された前記内視鏡が前記被検体に挿入されてからの内視鏡挿入位置及び姿勢に加え、前記構造情報抽出手段から得られた前記管腔臓器の構造情報に基づいて、前記内視鏡の位置姿勢を推定することを特徴とする請求項１又は請求項２に記載の内視鏡挿入支援装置。