JP2018134197A - 医用手技ナビゲーションシステムおよび方法 - Google Patents

Abstract

【課題】医用手技用のデバイスを予め確認した病変位置に的確に位置づけることができるようにデバイスをナビゲートすることが可能なナビゲーションシステムを提供する。【解決手段】デバイスを挿入する際の参照画像として、超音波撮像装置の回転プローブを挿入しながら取得した超音波画像やＸ線画像を利用する。そしてデバイスを挿入しながら、その位置を演算し、デバイスの位置に対応する参照画像を表示装置に表示させる。デバイスが患部位置に到達したならば、Ｘ線画像からその角度を推定し提示する。これにより検査者はデバイス先端を提示された角度に相当する角度回転させて患部に位置づけることができる。【選択図】図２

Description

本発明は、Ｘ線画像と超音波画像を利用して、生検や気管支内病変治療などの手技を支援するためのナビゲーションシステムに関し、特にこれら手技のために体内に挿入された鉗子等のデバイスの位置、傾きを認識、表示する技術に関する。

生体内に、内視鏡を装着したデバイスを挿入し、気管支等の管や腔の病変の組織を採取したり病変を治療したりする手技においては、デバイスの挿入を支援するために、内視鏡で得られる映像の他にＸ線撮像装置を用いたフルオロスコピーの画像などが利用される。さらに予めＸ線ＣＴやＭＲＩなどで撮像して得た三次元画像やそれらから作成した管腔内の三次元画像（まとめて参照画像という）をモニターに表示し、手技の対象である病変にデバイスの先端が到達するのを支援する。医用手技ナビゲーションシステム（以下、単にナビゲーションシステムともいう）は、このような内視鏡下での手技を支援する複数のモダリティからなるシステムである。

例えば肺の末梢腫瘍のような、内視鏡の挿入ができない部位では、モダリティの一つとして、メカラジアルプローブ（回転プローブ）を用いて撮像した超音波画像が利用される。メカラジアルプローブは先端径が２ｍｍ程度で小さく、内視鏡では進入できない細い管部に挿入することができ、またプローブの先端が回転することで３６０°の管壁の超音波画像を取得することができる。従ってメカラジアルプローブを用いることで肺末梢病変を確認することができ、その超音波画像は、例えば、肺の末梢腫瘍の細胞を採取する気管支内視鏡を用いた生検検査の参照画像として役立つ。

ただし管腔内の超音波画像は、プローブ位置を通り管腔に概ね直交する断面の画像であり、画像から撮像した部位の管腔における位置を判別することはできない。このため超音波画像を参照画像として表示する場合には、三次元参照画像と位置合わせして表示することが重要であり、そのための技術もいくつか提案されている。

例えば、特許文献１には、電磁場発生ボードと、管腔網をナビゲートするための伸長式の作業チャンネルと、作業チャンネルの遠位端近傍に取り付けた超音波変換器と、作業チャンネルに挿入されるカテーテルの遠位端に取り付けた磁気センサと、を組み合わせたシステムが開示されている。この技術では、電磁場を検出する磁気センサによってカテーテル先端の位置を検出し、また作業チャンネルに取り付けた超音波変換器によって、遠位端が位置する管腔内を可視化する。このシステムでは、超音波変換器の位置、即ち超音波画像を取得している位置は、磁気センサによって検出されたカテーテル先端位置から知ることができる。

また特許文献２には、検査対象内に超音波プローブを挿入しながらリアルタイムで取得した３Ｄ超音波画像と、予め取得した３次元医用画像データとを位置合わせして、超音波画像に対応する３次元医用画像データの断面を逐次表示する技術が開示されている。この技術では、超音波画像と３次元画像データとの位置合わせは、例えば超音波プローブに取り付けた位置センサから得た位置情報を利用する。

国際公開２０１５／０３４９０６号公報 特開２０１１−１１００１号公報

ところで上述したような肺の末梢腫瘍のような部位では、例えば、メカラジアルプローブを用いて撮像した超音波画像で病変を確認した後、細胞を採取する場合は、一旦メカラジアルプローブを抜き、鉗子（デバイス）を再挿入する必要がある。

しかし、特許文献１に記載された技術は、管腔網の３次元モデルと磁気センサを組み合わせたシステムであるため、デバイスをナビゲーションするためには磁気センサを必要とする。また、デバイスは、例えば生検鉗子であれば、軸が回転して先端部を採取すべき組織に対向させることができるように構成されているが、磁気センサのみでは、軸の回転状態を把握することはできない。

特許文献２に記載された技術は、超音波プローブ先端の位置を把握し、参照画像上に位置づけるものであるが、超音波プローブを抜いた後の別のデバイス、例えば内視鏡付鉗子を挿入する際のナビゲーションには適用できない。すなわち、特許文献２に記載された技術では、直接の視認が困難な管腔臓器においては、各モダリティの画像から体内デバイスの相対的な位置を推定するため、位置の認識精度が低いという課題がある。

本発明は、磁気センサなどを用いることなく、デバイスを予め確認した病変位置に的確に位置づけることができるようにデバイスをナビゲートすることが可能なナビゲーションシステムを提供することを課題とする。

上記課題を解決するため、本発明のナビゲーションシステムは、デバイスを挿入する際の参照画像として、超音波撮像装置の回転プローブを挿入しながら取得した超音波画像やＸ線画像を利用する。そしてデバイスを挿入しながら、その位置を演算し、デバイスの位置に対応する参照画像を表示装置に表示させる。

すなわち、本発明のナビゲーションシステムは、検査対象の内部にデバイスを挿入して行う手技を支援するためのナビゲーションシステムであって、検査対象内部に挿入可能な回転プローブを有する超音波撮像部と、Ｘ線撮像部と、前記Ｘ線撮像部が、前記デバイスを前記検査対象に挿入しながら撮像したＸ線画像を用いて前記デバイスの位置を算出する演算部と、予め取得した前記検査対象の画像データから参照画像を作成し、当該参照画像及び前記Ｘ線画像を表示装置に表示させる表示制御部と、を備える。前記表示制御部は、前記参照画像として、前記回転プローブを挿入しながら前記超音波撮像部が撮像した超音波画像を含む参照画像を作成し、前記演算部が算出した前記デバイスの位置と前記回転プローブの位置が一致する参照画像を表示装置に表示させる。

本発明のナビゲーションシステムにおいて、演算部は、例えば、デバイス挿入時に取得する複数のＸ線画像からデバイス先端の位置を推定し、Ｘ線画像と予め取得したデバイス先端の角度画像データとを用いて、デバイス先端の角度を推定し、挿入中のデバイス先端の位置や角度の情報（位置情報）を得る。この位置情報を用いて、参照画像との位置合わせ、表示を行う。

本発明によれば、回転プローブの挿入時に取得した画像を参照画像として利用することで、磁気センサ等を用いることなく、デバイスを適切に手技の対象である部位にナビゲーションすることが可能なシステムを提供することができる。

医用手技ナビゲーションシステムの全体概要を示す機能ブロック図。 医用手技ナビゲーションシステムの動作の概要を示す図。 実施形態の医用手技ナビゲーションシステムの全体概要を示す図。 第一実施形態による、ナビゲーション部の動作の流れを示す図。 プローブ先端位置の算出手法を説明する図。 先端形状データベースを用いた先端の傾き（角度）推定の様子を示す図。 第一実施形態の医用ナビゲーションシステムの表示例を示す図で、（Ａ）はナビゲーション画像と超音波画像が重畳された画像を示す図、（Ｂ）は（Ａ）に超音波弾性画像が追加された画像を示す図。 第二実施形態のナビゲーション部の機能ブロック図。 第三実施形態による、ナビゲーション部の動作の流れを示す図。 第三実施形態の医用手技ナビゲーションシステムの表示例を示す図で、（Ａ）は参照Ｘ線画像とリアルタイムＸ線画像を並列に配置した表示例、（Ｂ）は参照Ｘ線画像にリアルタイムＸ線画像に現れるデバイス経路を重畳して表示した表示例。

以下、図面を参照して本発明の医用手技ナビゲーションシステムの実施形態を説明する。

図１は、医用手技ナビゲーションシステム（以下、単にナビゲーションシステムという）の概要を示す図であり、このナビゲーションシステムは、主な構成要素として、手技を行う際に使用する撮像装置１０と、撮像装置１０で取得した画像やナビゲーションのための画像を表示する表示部２０と、予め取得した被検体の三次元画像や手技に用いるデバイス等の画像データをデータベースとして保存する記憶装置３０と、撮像装置１０で取得した画像や記憶装置３０に格納されている画像データを用いて、ナビゲーション用の情報を作成し出力するナビゲーション部（演算装置を含む）４０と、を備えている。

撮像装置１０は、Ｘ線撮像装置１００及び超音波撮像装置２００を含む。超音波撮像装置は、超音波の送信及び受信を行う超音波プローブが微細な径の管腔に挿入可能な単一トランスデューサを備えたプローブ、特にトランスデューサが軸を中心に３６０度回転可能なメカラジアルプローブ、を備えた超音波撮像装置であり、この超音波撮像装置２００で取得した超音波画像は参照画像を作成するために用いられる。

Ｘ線撮像装置１００は、Ｘ線源と、被検体を挟んでＸ線源と対向して配置されるＸ線検出器とを備えた一般的なＸ線診断装置として用いられるものが使用できる。

表示部２０は、液晶ディスプレイ等の表示装置で、手技を行う者（検査者）が手技を行いながら画面を見やすい位置に設置される。ナビゲーション部４０の演算装置がキーボードやマウスなどの入力用デバイスを備える場合には、そのような入力用デバイスと一体化したものであってもよい。

記憶装置３０は、汎用のハードディスク装置や磁気ディスク或いは光ディスク等の可搬媒体、或いはクラウド上の記憶装置であってもよい。記憶装置には、予めＸ線ＣＴ装置、ＭＲＩ装置、三次元超音波撮像装置などの任意の１乃至複数の撮像装置で取得した被検体の三次元画像が格納されている。記憶装置３０には、さらに、デバイスを複数の回転角度で撮像したＸ線画像データがデータベースとして格納されている。デバイスのＸ線画像データは、後述するナビゲーション部４０による位置情報算出に用いられる。

ナビゲーション部４０は、画像データを用いてデバイスの位置や角度に関する情報（位置情報と言う）などを算出する演算部４１０と、演算部４１０における演算に必要なデータや演算途中のデータなどを記憶するデータ記憶部４３０と、演算部４１０が算出した位置情報を用いて、ナビゲーションのための表示画像を作成し、表示部２０に表示させる表示制御部４２０と、を備えている。ナビゲーション部４０は、ＣＰＵ及びメモリを備えた計算機上にソフトウェアとして構築することができる。またナビゲーション部４０が達成する機能の一部は、ＡＳＩＣやＦＰＧＡ等のハードウェアで実現することも可能である。

このような構成におけるナビゲーションシステムの処理の概要を、図２を参照して説明する。ここでは一例としてＸ線撮像装置１００及び超音波撮像装置２００を用いて生検を行う場合を説明する。

まず生検組織を確認するために、被検体（患者）をＸ線撮像装置１００の撮像位置に寝かせた状態で、超音波撮像装置２００のメカラジアルプローブ（以下、回転プローブという）を生検の対象である管腔、例えば気管支に挿入しながら、超音波撮像装置２００による撮像を連続的に行い、回転プローブの位置が異なる連続的な超音波画像を取得する（Ｓ１０１）。この超音波画像は、位置情報とともに記憶装置３０或いはナビゲーション部４０のメモリ（データ記憶部）に保存される。

上述の回転プローブを用いた超音波撮像によって手技対象の位置が確認されると、検査者は回転プローブを引抜き、手技に用いるデバイス５０を同じ管腔に挿入する。デバイスを挿入する際に、表示制御部４２０は、保存された超音波画像を用いて参照画像を作成し、表示する。例えば、表示制御部４２０は、Ｘ線ＣＴ装置、ＭＲＩ装置、三次元超音波撮像装置等のモダリティで予め取得した被検体の三次元画像データから作成した画像を、超音波画像と位置合わせした後（Ｓ１０２）、重畳して或いは並置して参照画像として表示部２０に表示させる（Ｓ１０３）。

またデバイスを挿入しながら、Ｘ線撮像装置１００によりＸ線透視画像を連続的に取得する（Ｓ１０４）。連続的に取得されたＸ線画像は、必要な画像処理の後、ナビゲーション部４０に出力され、演算部４１０が、Ｘ線画像をもとに、実空間におけるデバイス先端位置を推定する（Ｓ１０５）。デバイス先端位置の推定は、例えば、被検体に対し異なる方向からＸ線を照射して方向の異なる複数のＸ線画像を取得し、これら複数のＸ線画像を用いることで行うことができる。

表示制御部４２０は、取得したＸ線画像を、逐次、表示部２０に表示させるとともに、デバイスの位置に合わせて参照画像を更新する（Ｓ１０６）。これにより検査者は、表示される参照画像でデバイス位置を確認しながら、デバイスの挿入を進めることができ、またデバイスの先端が例えば生検対象である組織部位に達したことを確認することができる。

デバイスの先端が、手技の対象である組織或いは部位の位置に達するまで、上述したステップＳ１０４〜Ｓ１０６が繰り返される（Ｓ１０７）。デバイス先端位置の算出或いは先端位置算出のための複数方向からの撮像は、デバイスの挿入時に連続して行うのではなく、確認が必要なときに検査者が適宜行ってもよい。

デバイスの先端位置が、手技の対象である組織或いは部位の位置に達したならば、Ｘ線画像からデバイス先端の角度を推定する（Ｓ１０８）。デバイス先端の角度の推定は、例えば、予め取得しておいたデバイス先端の角度毎のＸ線画像データとのマッチングによって行うことができる。表示制御部４２０は、推定した角度を表示部２０に表示させる、或いは推定した角度を用いて参照画像上にデバイスの角度が示すマーク等を表示させる、等の手法で角度を提示する。これによりデバイス先端の管壁の周方向の位置（例えば、実空間座標の軸に対する角度）がわかるので、検査者は、デバイス先端の角度を、生検対象組織（患部）を捉えた回転プローブの角度に一致させるように、デバイスを回転させる。これによりデバイス先端は生検対象組織に相対する位置に正確に位置づけられる。ここで角度とは、デバイスの可動機能によって異なり、デバイスの長手方向に沿った軸を中心とする回転方向の角度或いは軸に対する角度のいずれであってもよい。

以上説明したナビテーションシステムの概要と動作を踏まえ、具体的な構成及び処理内容の実施形態を説明する。

＜装置の実施形態＞
まずナビゲーションシステムに組み込まれる撮像装置１０及びナビゲーション部４０の構成を、図３を用いて説明する。本図に示す実施形態では撮像装置１０としてＸ線撮像装置１００及び超音波撮像装置２００を備えている。

Ｘ線撮像装置１００は、被検体１０１を載せる天板１１０と、被検体１０１にＸ線を照射するＸ線源１０２と、被検体１０１に対するＸ線照射領域を設定する絞り装置１０４と、Ｘ線源１０２に電力供給を行なう高電圧発生部１０６と、Ｘ線源１０２に対向する位置に配置され、被検体１０１を透過したＸ線を検出するＸ線検出器１０３と、Ｘ線検出器１０３から出力されたＸ線信号に対して画像処理を行なう画像処理部１０５と、画像処理部１０５から出力されたＸ線画像（Ｘ線透視画像を含む）を記憶するＸ線画像記憶部１０７と、上記各構成要素を制御する制御部１０８と、制御部１０８に対して指令を行なう操作部１０９を備えている。

Ｘ線源１０２は、高電圧発生器１０６から電力供給を受けてＸ線を発生させるＸ線管球を有する。Ｘ線管球は単一であっても、Ｘ線照射方向が異なる複数のＸ線管球であってもよい。また、Ｘ線源１０２には、特定のエネルギーのＸ線を選択的に透過させるＸ線フィルタなどを有していてもよい。絞り装置１０４は、Ｘ線源１０２から発生したＸ線を遮蔽するＸ線遮蔽用鉛板を複数有し、複数のＸ線遮蔽用鉛板をそれぞれ移動することにより、被検体１０１に対するＸ線照射領域を決定する。

Ｘ線検出器１０３は、例えば、Ｘ線を検出する複数の検出素子が二次元アレイ状に配置されて構成されており、Ｘ線源１０２から照射され、被検体１０１を透過したＸ線の入射量に応じたＸ線信号を検出する機器である。

画像処理部１０５は、Ｘ線検出部１０３から出力されたＸ線信号を画像処理し、画像処理されたＸ線画像を出力し、ナビゲーション部４０に渡す。画像処理は、ガンマ変換、階調変換処理、画像の拡大・縮小等である。Ｘ線画像記憶部１０７は、画像処理部１０５から出力されたＸ線画像を記憶する。

超音波診断装置２００は、被検体１０１の体内に挿入し用いるメカラジアルプローブ２０１と、メカラジアルプローブ２０１を介して被検体１０１に時間間隔をおいて超音波を繰り返し送信する送信部２０４と被検体から発生する時系列の反射エコー信号を受信する受信部２０８と、送信部２０４と受信部２０８を制御する超音波送受信制御部２０６と、受信部２０８で受信された反射エコーを整相加算する整相加算部２１０を備えている。

また、整相加算部２１０からのＲＦ信号フレームデータに基づいて被検体１０１の体内の断層画像、例えば白黒（濃淡）の断層画像を構築する断層画像構成部２１２と、断層画像構成部２１２の出力信号を表示部２０の表示に合うように変換する白黒スキャンコンバータ２１４と、被検体１０１の生体組織の変位を計測し、その変位情報から求めた歪み又は弾性率からカラー弾性画像を構成する弾性画像構成部２１６、弾性画像構成部２１６の出力信号を表示に合うように変換するカラースキャンコンバータ２１８を備えている。そして、白黒断層画像とカラー弾性画像（これらをまとめて超音波画像という）を記憶する超音波画像記憶部２２０を備えている。

ナビゲーション部４０は、データ記憶部４３０、表示制御部４２０の他に、回転プローブ挿入時に並行して撮像される超音波画像及びＸ線画像の画像作成開始時間を記録するためのタイムスタンプ生成部４５０、及び、演算部４１０として、被検体１０１の体内に挿入されたデバイスの位置を推定する位置推定部４１１、デバイス先端の傾き（角度）を推定する先端傾き推定部（角度推定部）４１２、及び、初期位置を推定する初期位置推定部４１３を備える。

記憶装置３０には、デバイスの回転角度毎の先端形状を格納した先端形状データベース３１０や、三次元画像データ３３０などが格納されている。

＜ナビゲーションの実施形態＞
次にナビゲーション部４０の動作の実施形態を説明する。

＜＜第一実施形態＞＞
本実施形態では、回転プローブを用いて、回転プローブが挿入される管腔の内部から超音波撮像を行うと同時に、被検体内部に挿入される回転プローブを含むＸ線画像の撮像を行う。このＸ線画像は、回転プローブの位置及び先端の回転角度を算出するために使用され、算出した回転プローブの位置と回転角度は、参照画像として用いられる超音波画像と別途取得した三次元画像との位置合わせに用いられる。回転プローブの位置は、特に限定されないが、例えば、回転プローブの超音波トランスデューサ（そのプローブ進行方向の先端或いは後端）が固定された位置或いはそれから所定の距離にある位置などと決めることができる。ここでは一例として回転プローブの位置は、回転プローブの先端の位置である場合を説明する。

以下、図４に示す動作の流れを参照して説明する。まずこの回転プローブの挿入の状態をＸ線撮像装置１００で連続的に撮像し、回転プローブを含むＸ線透視画像（単にＸ線画像という）を取得する（Ｓ４０１）。表示制御部４２０は、回転プローブを挿入しながら撮像したＸ線画像と、回転プローブによって取得した超音波画像を表示部２０に表示させる（Ｓ４０２）。これらＸ線画像と超音波画像から、手技を行う者（検査者）は、管腔の組織を観察することができ、例えば生検組織の位置と状態を確認することができる。表示の形態については後述する。

一方、タイムスタンプ生成部４５０は、上述したＸ線画像を形成した時刻（画像作成時刻）の情報を、Ｘ線画像及びその時刻に超音波撮像装置２００で撮像した超音波画像に付帯情報として加える。これにより同時刻に形成されたＸ線画像と超音波画像は、それぞれ、これら時間情報と共にＸ線画像記憶部１０７及び超音波画像記憶部２２０に記憶される（Ｓ４０３）。

回転プローブが例えば生検対象である患部に達した時点で或いはその前後で、実空間座標における回転プローブの位置情報（三次元位置情報）を得るために、被検体に対し異なる方向からＸ線を照射して方向の異なる複数のＸ線画像を取得する（Ｓ４０４、Ｓ４０５）。Ｘ線照射方向が異なる複数のＸ線画像は、Ｘ線撮像装置が２以上のＸ線源を備える場合には、複数のＸ線源を用いて同時に取得してもよいし、１つのＸ線源を備えるＸ線撮像装置の場合には、Ｘ線源の位置を変えて２回の撮像を行ってもよい。

演算部４１０は、複数のＸ線画像における回転プローブ先端位置の座標から、三次元座標における回転プローブの先端位置を算出する（Ｓ４０５）。例えば、被検体の体軸方向をＺ方向としたとき、図５に示すように、装置のＸ方向からＸ線を照射して取得したＹ−Ｚ面と平行なＸ線画像における先端位置Ｐの座標を（ｙ１、ｚ１）とし、Ｙ方向からＸ線を照射して取得したＸ−Ｚ面と平行なＸ線画像における先端位置Ｐの座標を（ｘ１、ｚ２）とすると、Ｙ−Ｚ面のＸ線画像の取得とＸ−Ｚ面のＸ線画像の取得との間で先端位置が変化しないならば、ｚ１＝ｚ２であり先端位置の座標は（ｘ１、ｙ１、ｚ１）である。なお図５では２つのＸ線画像が直交する例を示したが、Ｘ線の照射方向が異なる画像であり、その角度がわかれば、先端位置の三次元座標は一意に求められる。

また演算部４１０は、回転プローブ先端の形状が回転角度によって異なることを利用して、回転プローブの回転角度を算出する（Ｓ４０６）。具体的には、所定の回転角度毎に回転プローブのＸ線画像を取得したものをデータベースとして記憶装置３０に格納しておき、取得したＸ線画像における回転プローブの形状とデータベースの回転角度毎のＸ線画像とを比較することで、回転角度を求める。この回転プローブの位置や角度に関する推定機能は、デバイスの先端についてマッチングや傾きの推定を行う先端傾き推定部（角度推定部）４１２及び位置の推定を行う位置推定部４１１で実現することができる。先端傾き角度推定部（角度推定部）４１２におけるデータベースのＸ線画像との比較は、公知のパターン認識の手法でもよいし、特徴点の位置変化などを利用してもよい。Ｘ線画像は、このように算出した先端位置及び角度の情報と共にデータ記憶部４３０に記憶される。

次に回転プローブが管腔から抜き出され、手技のための鉗子等のデバイスが被検体１０１の管腔に挿入されると、Ｘ線撮像装置１００による撮像を開始する（Ｓ４０７）。表示制御部４２０は、Ｘ線撮像によって得られたＸ線画像を表示部２０に表示させるとともに、データ記憶部４３０に格納された画像を用いて参照画像を作成し、表示部２０に表示させる（Ｓ４０８）。参照画像は、例えば、Ｘ線ＣＴ装置、ＭＲＩ装置、三次元超音波撮像装置等のモダリティで予め取得した被検体の三次元画像データから作成した画像（断面画像或いはナビゲーション画像）にステップＳ４０２で取得した超音波画像を重畳した画像である。

予め取得した三次元画像、Ｘ線画像及び超音波画像は、それぞれ別々のモダリティで取得した画像であるため、画像を重畳して表示するためにはそれぞれの画像の位置、回転を適切に補正する必要がある。このため、例えば、初期位置推定部４１３が、Ｘ線画像と、三次元画像データ（例えばＣＴ画像データ）から作成した計算Ｘ線画像との類似度から画像間の位置の補正値を求めておく。補正値は、一方の画像を他方の画像に一致させるために移動する（ｘ方向及びｙ方向の）画素数で表した数値であり、データ記憶部４３０に記録される。なお回転プローブの方向及び回転角度については、前述のように、角度推定部４１２が、Ｘ線画像から、回転プローブの回転する先端部の特徴点の形状及び動きを検出し、画像処理部１０５から出力されたＸ線画像と、先端形状データベース３１０に登録された画像データの中から一致する画像を検出し、回転プローブの傾き及び回転角度を推定する。超音波画像については、同時刻に取得したＸ線画像から上述のように推定した回転プローブの位置の補正値、傾き、及び回転角度を適用することができる。

表示制御部４２０は、上述した補正値及び回転プローブの位置情報を用いて画像の位置合わせ、必要に応じて重畳を行う。重畳した画像においては、例えば回転プローブの進行方向に直交し、回転プローブ先端を含む断面画像を参照画像とする場合、回転プローブが挿入される管腔の管壁の周囲に回転プローブで撮像した超音波画像が表示される。

ここで、回転プローブを用いて撮像した超音波画像は、回転プローブに固定された超音波トランスデューサの位置が画像の所定位置（例えば上）となり、回転プローブの回転角度によって三次元画像の座標系（或いは実空間座標）に対する角度が変化するが、回転プローブの回転角度を算出しておくことで、超音波画像を三次元画像データから作成した断面画像に合わせて回転させることができ、回転方向の位置を一致させて重畳することができる。

なお参照画像として表示される超音波画像は、断面の構造を表す形態画像でもよいし、弾性画像などの性状を示す形態画像でもよい。また特に弾性が他と異なる組織のみを色や明度などで形態画像上に識別可能に表示した画像でもよい。

さらに表示制御部４２０は、上述のように作成した参照画像をデバイスの位置に合わせて更新して表示する。

このため演算部４１０は、Ｘ線画像を用いて、管腔に挿入されて進行するデバイス先端の位置を推定する。先端位置の推定は、回転プローブの先端位置の推定と同様であり、位置推定部４１１が、被検体１０１に対し異なる方向からＸ線を照射して得た複数のＸ線画像から推定する。デバイスの位置情報が得られたならば、表示制御部４２０は、これら位置情報とデータ記憶部４３０に格納された補正値とを用いて、デバイス先端或いはその近傍を含む参照画像を作成し、表示部２０に表示する。このとき表示部２０に表示される参照画像には、デバイスを示すマークＭ（図７）を、デバイスの位置に対応する画像上の位置に表示するようにしてもよい。

このような表示により、検査者は、参照画像と並列に表示されるリアルタイムのＸ線画像上でデバイス位置を確認しながら、参照画像上で、そのデバイス位置における組織の状態を確認しながら、デバイスの挿入を進めることができ、また患部に到達したか否かを確認することができる。

デバイスが、参照画像上で患部に到達することが確認された後（Ｓ４０９）、回転プローブの回転角度の推定と同様に、先端傾き角度推定部（角度推定部）４１２が、その時点で撮像したＸ線画像と、デバイスの回転角度毎の先端形状を格納した先端形状データベース３１０のＸ線画像とを比較し、デバイスの回転角度（或いは傾き）を推定する（Ｓ４１０）。先端形状データベース３１０を用いた先端傾き推定の様子を図６に示す。図示するように、先端形状データベース３１０には、デバイス（鉗子）に対しＸ線を照射する方向の初期位置を０度とし、そこからデバイスを所定の角度ずつ回転させて、所定の角度毎のＸ線画像を取得したものが記録されている。患部に到達したときの、デバイスが映し出されたＸ線画像と、データベースのＸ線画像とをパターンマッチング等により比較することで、デバイスの角度を推定することができる。

参照画像上にデバイスを示すマークを表示する場合には、このマークの角度を推定したデバイスの角度に合わせて表示する（Ｓ４１１）。即ち推定したデバイスの角度と、表示されるマークの角度を連動させる。これにより検査者は、デバイスを患部に適切に対向する位置に回転させることができる。

表示の一例を図７に示す。図７（Ａ）は、デバイスが挿入される管腔をデバイスの進行方向から見たナビゲーション画像とその最前面となる断面における超音波画像とが重畳された参照画像の上に、デバイス位置を示すマークが表示された画像であり、図７（Ｂ）は、図７（Ａ）の画面にさらに超音波断層画像で得られた情報（特に組織が硬い部分を示す画像）が重畳されて表示された画像である。

以上、説明したように、本実施形態のナビゲーションシステムの演算部４１０は、前記検査対象（被検体１０１）に対するＸ線の照射方向が異なる少なくとも２つのＸ線画像データを用いて、回転プローブ（２０１）又はデバイス（５０）の先端位置を推定する位置推定部４１１と、回転プローブ又はデバイスの先端について、複数の異なる回転角度位置で予め撮像したＸ線画像データベースを用いて、先端の回転角度を推定する角度推定部（先端傾き推定部）４１２と、を備える。

これにより、超音波画像がそれを撮像した回転プローブの位置及び角度と一致した状態で、他のモダリティで取得した三次元画像データから作成した画像と重畳して或いは並列で表示される。またデバイス挿入時には、デバイスの位置及び角度に対応する位置、角度の超音波画像や参照画像が表示される。これにより検査者は確実にデバイスを患部に導くことができ、手技の位置の正確性を担保できる。

なお以上の実施形態では、回転プローブ挿入時に取得した超音波画像とＸ線画像とをデータ記憶部４３０に記録し、デバイス挿入時に表示制御部４２０がデータ記憶部４３０から超音波画像及びＸ線画像を読出すとともに、記憶装置３０に格納された三次元画像データを読出し、位置合わせした上で参照画像として表示する流れを説明したが、デバイス挿入に先立って、位置合わせのための補正値を算出するとともに位置合わせした参照画像の三次元データを作成してデータ記憶部４３０に保存しておき、デバイス挿入時に推定したデバイス位置に基き、この三次元データから参照画像を作成して表示するようにしてもよい。

＜＜第二実施形態＞＞
本実施形態のナビゲーションシステムの構成は、基本的に第一実施形態と同様であるが、複数のＸ線画像を用いて推定した回転プローブやデバイスの位置の正確度を評価する機能が追加されていることが特徴である。

以下、第一実施形態と異なる点を中心に本実施形態を説明する。図８に演算部４１０の機能ブロック図を示す。その他の構成は図３と同様であり、また図８において図３と同じ要素は、図３と同じ符号で示し重複する説明は省略する。

図８に示すように本実施形態の演算部４１０には、位置推定部４１１が推定した位置のずれを判断する類似度推定部４１４が追加される。類似度推定部４１４は、位置推定に用いた複数方向のＸ線画像と同じときにそれぞれ取得した複数の超音波画像を用いて、複数の画像間の位置ずれを算出する。

例えば２つの方向のＸ線画像から回転プローブ２０１の三次元的な位置を推定する際、Ｘ線撮像装置１００が、例えばＸ線管球１つのみを備えた装置の場合、２方向からのＸ線画像に時間差が生じる。この間に、手ブレや呼吸が原因となって２方向のＸ線画像間に生じた場合、Ｘ線撮影と同時に保存される超音波画像も変化する。

本実施形態では、１方向からのＸ線撮像を実施時、Ｘ線画像と同タイムスタンプの超音波画像をデータ記憶部４３０に記録するとともに、もう１つの方向からＸ線撮像を実施時、Ｘ線画像と同タイムスタンプの超音波画像をデータ記憶部４３０に記録する。類似度推定部４１４は、データ記憶部４３０に記録された２枚の超音波画像間の画像の類似度を算出する。類似度は、例えば、次式（１）で表される濃度値の差の２乗和（ＳＳＤ）等で表すことができる。

類似度推定部４１４は、算出した類似度を、参照画像を作成する際に求めた補正値（三次元画像データの画像とＸ線画像の補正値）の補正値の信頼度として検査者に通知する。通知の手法は特に限定されないが、表示部２０に表示してもよいし、音声等、それ以外の手段でもよい。検査者への通知は、算出した類似度が所定の閾値以下のときに行ってもよい。

＜＜第三実施形態＞＞
第一実施形態では、参照画像として、超音波画像を用いた画像を表示したが、本実施形態は回転プローブを用いた超音波撮像の際に取得したＸ線画像を参照画像として用いることが特徴である。

本実施形態のナビゲーションシステムは、第二実施形態と同様に、演算部が類似度推定部（比較部）を備えていてもよい。但し、本実施形態の類似度推定部は、Ｘ線画像の類似度を推定する点で第二実施形態とは異なる。

本実施形態の動作を、図９を用いて説明する。
まず被検体１０１の手技対象となる管腔内に回転プローブ２０１を挿入し、超音波画像を観察しながら患部の状態、挿入位置の確認を実施する（Ｓ９０１）。回転プローブ２０１が患部に到達したタイミングでＸ線画像を撮像し、データ記憶部４３０に保存する（Ｓ９０２、Ｓ９０３）。この画像には体内を通って患部に到達している回転プローブ２０１の陰影が記録されている。

その後、回転プローブ２０１を抜き、デバイス（鉗子）を再挿入する際、デバイスが回転プローブと同じルートを通過していることを保証するために、デバイスのＸ線画像（リアルタイムＸ線画像）を撮像しながらリアルタイムで表示するとともに、データ記憶部４３０に記録された回転プローブのＸ線画像を参照画像（参照Ｘ線画像）として表示する（Ｓ９０４、Ｓ９０５）。表示の仕方は、図１０（Ａ）に示すように、リアルタイムＸ線画像と参照Ｘ線画像を並置して表示してもよいし、図１０（Ｂ）に示すように、参照Ｘ線画像上に、リアルタイムＸ線画像或いはリアルタイムＸ線画像から抽出したデバイスの画像を重畳して表示してもよい。デバイスの画像は、例えば、デバイス挿入中のＸ線画像とデバイス挿入前のＸ線画像との差分を取ることで得ることができるが、それ以外の手法を用いてもよい。

重畳して表示する場合には、参照Ｘ線画像とリアルタイムＸ線画像の位置合わせを行った上で重畳する。位置合わせは、画像或いは所定の特徴点が一致するように両者を合わせる等の手法を用いることができる。例えば、式（１）で表される濃度値の差の２乗和が最小となるように参照Ｘ線画像或いはリアルタイムＸ線画像をシフトすることで、両者を一致させることができる。

表示部２０に表示された参照画像を確認することで、検査者はデバイスの経路が回転プローブの経路と異なっているかどうかを確認することが可能であるが、さらに本実施形態では、図９のフローにおいて点線で囲って示したように、類似度推定部４１４が、デバイスのＸ線画像に映し出されたデバイスの陰影が、参照画像における回転プローブの陰影から外れたか否かを判定してもよい（Ｓ９０６）。判定の手法は、第二実施形態と同様に、濃度値の差の２乗和（ＳＳＤ）を算出することで行うことができる。この場合、Ｘ線画像からデバイスの経路を含む所定の領域を選択し、この領域に対応する回転プローブ画像の領域について、上述した類似度を判定することが好ましい。この場合にも、前提として、参照Ｘ線画像とリアルタイムＸ線画像の位置合わせを行った上で経路の類似度を判定する。類似度が低い場合は、デバイスが患部に向かう経路から外れている可能性が高いので、警告する（Ｓ９０７）。警告は、表示、音声など任意の手段を採用できる。これにより検査者は、デバイスを所望の場所まで戻して、挿入作業を続けることができる。

デバイスが患部に到達した後の手順は、第一実施形態で説明した手順（図４のＢ）と同様であり、その位置におけるデバイスのＸ線画像からデバイスの回転角度を推定する。デバイスの角度方向の位置を例えばデバイスのマークとして参照画像上に表示する。検査者はこの角度情報をもとに、デバイスが目的の患部に相対するようにデバイスを必要に応じて回転させることができる。

以上説明したように、本実施形態の医用手技ナビゲーションシステムは、参照画像が、回転プローブを検査対象の内部に挿入しながら、Ｘ線撮像装置が撮像したＸ線画像を含む。また演算部は、回転プローブを検査対象に挿入しながら撮像したＸ線画像と、デバイスを検査対象に挿入しながら撮像したＸ線画像との類似度を推定する類似度推定部を備える。これにより、デバイスが、手技対象患部を確定した回転プローブの経路と異なる経路に進みそうになった場合にも、経路の違いを検査者に知らせることができ、より確実なデバイスのガイドを行うことが可能となる。

以上、ナビゲーション部の動作を中心に、本発明の医用手技ナビゲーションシステムの本実施形態を説明したが、本発明の医用手技ナビゲーションシステムは、回転プローブを用いて超音波撮像することによって得られた超音波画像を含む参照画像を、手技用デバイス挿入の際の参照画像として、手技用デバイスの位置、特に回転方向の位置と一致させて表示する機能を持つことが特徴であり、超音波画像における回転プローブの位置や角度を推定する手法、デバイス挿入時のＸ線画像においてデバイスの位置や角度を推定する手法は、実施形態で説明した手法に限定されるものではない。また各実施形態は、技術的に矛盾しない限り、適宜組み合わせることも可能であるし、各実施形態において本発明に必須でない要素を追加し或いは削除したシステムも本発明に包含される。

本発明によれば、医用手技、特に内視鏡下で行われる手技を適切に遂行するためのガイドとして有効なナビゲーションシステムが提供される。本発明は、例えば、肺がんかどうかを確定するための生検を低被ばく且つ高感度で行うよう支援することができ、より早期な段階におけるがんの発見等に役立つ。

１０：撮像装置、２０：表示部、３０：記憶装置、４０：ナビゲーション部（演算装置を含む）、５０：デバイス、１００：Ｘ線撮像装置、２００：超音波撮像装置、２０１：回転プローブ、３１０：先端形状データベース、４１０：演算部、４１１：位置推定部、４１２：先端傾き推定部（角度推定部）、４１３：初期位置推定部、４１４：類似度推定部、４２０：表示制御部、４３０：データ記憶部、４５０：タイムスタンプ生成部。

Claims (14)

1. 検査対象の内部にデバイスを挿入して行う手技を支援するためのナビゲーションシステムであって、
   検査対象内部に挿入可能な回転プローブを有する超音波撮像部と、
   Ｘ線撮像部と、
   前記Ｘ線撮像部が、前記デバイスを前記検査対象に挿入しながら撮像したＸ線画像を用いて前記デバイスの位置を算出する演算部と、
   予め取得した前記検査対象の画像データから参照画像を作成し、当該参照画像及び前記Ｘ線画像を表示装置に表示させる表示制御部と、
   を備え、
   前記表示制御部は、前記参照画像として、前記回転プローブを挿入しながら前記超音波撮像部が撮像した超音波画像を含む参照画像を作成し、前記演算部が算出した前記デバイスの位置と前記回転プローブの位置が一致する参照画像を表示装置に表示させることを特徴とする医用手技ナビゲーションシステム。
2. 請求項１に記載の医用手技ナビゲーションシステムであって、
   前記演算部は、前記検査対象に対するＸ線の照射方向が異なる少なくとも２つのＸ線画像データを用いて、前記デバイスの位置を推定する位置推定部と、
   前記デバイスについて、複数の異なる角度で予め撮像した複数の画像を記録したデータベースを用いて、前記デバイスの先端の角度を推定する角度推定部と、を備えることを特徴とする医用手技ナビゲーションシステム。
3. 請求項１に記載の医用手技ナビゲーションシステムであって、
   前記参照画像は、前記超音波撮像部が撮像した超音波画像を、予め取得し三次元画像データから作成した画像に重畳した画像であることを特徴とする医用手技ナビゲーションシステム。
4. 請求項３に記載の医用手技ナビゲーションシステムであって、
   前記演算部は、前記検査対象に対するＸ線の照射方向が異なる少なくとも２つのＸ線画像データを用いて、前記回転プローブの位置を推定する位置推定部と、
   前記回転プローブについて、複数の異なる角度で予め撮像した複数の画像を記録したデータベースを用いて、前記回転プローブの先端の回転角度を推定する角度推定部と、を備え、
   前記表示制御部は、前記位置推定部が算出した前記回転プローブの位置及び前記角度推定部が推定した前記回転プローブの先端の回転角度を用いて、前記三次元画像データと前記超音波画像との位置合わせを行い、重畳した画像を作成することを特徴とする医用手技ナビゲーションシステム。
5. 請求項４に記載の医用手技ナビゲーションシステムであって、
   前記演算部は、少なくとも２つのＸ線画像データの取得時と同時刻に取得した少なくとも２つの前記超音波画像間のずれをもとに前記位置推定部が推定した位置の信頼度を推定することを特徴とする医用手技ナビゲーションシステム。
6. 請求項１又は３に記載の医用手技ナビゲーションシステムであって、
   前記超音波画像は、弾性画像を含むことを特徴とする医用手技ナビゲーションシステム。
7. 請求項１に記載の医用手技ナビゲーションシステムであって、
   前記参照画像は、前記回転プローブを前記検査対象の内部に挿入しながら、前記Ｘ線撮像部が撮像したＸ線画像を含むことを特徴とする医用手技ナビゲーションシステム。
8. 請求項７に記載の医用手技ナビゲーションシステムであって、
   前記演算部は、前記回転プローブを前記検査対象に挿入しながら撮像したＸ線画像と、前記デバイスを前記検査対象に挿入しながら撮像したＸ線画像との類似度を推定する類似度推定部を備えることを特徴とする医用手技ナビゲーションシステム。
9. 検査対象の内部にデバイスを挿入して行う手技を支援するためのナビゲーションシステムであって、
   検査対象内部に挿入可能な回転プローブを有する超音波撮像部と、
   Ｘ線撮像部と、
   前記Ｘ線撮像部が、前記デバイスを前記検査対象に挿入しながら撮像したＸ線画像を解析する演算部と、
   予め取得した前記検査対象の画像データから参照画像を作成し、当該参照画像及び前記Ｘ線画像を表示装置に表示させる表示制御部と、
   を備え、
   前記演算部は、前記回転プローブを検査対象に挿入しながら前記Ｘ線撮像部にて撮像した、前記回転プローブの少なくとも一部を含む複数のＸ線画像から前記検査対象における前記回転プローブの位置情報を算出するとともに、前記デバイスを検査対象に挿入しながら前記Ｘ線撮像部にて撮像した、前記デバイスの少なくとも一部を含む複数のＸ線画像から前記検査対象における前記デバイスの位置情報を算出し、
   前記表示制御部は、前記演算部が算出した前記デバイスの位置に対応する前記回転プローブの位置情報を用いて、前記回転プローブを挿入しながら前記超音波撮像部が撮像した超音波画像と、予め取得した前記検査対象の画像データから作成した画像とを位置合わせして重畳又は並置し、前記参照画像として表示部に表示させることを特徴とする医用手技ナビゲーションシステム。
10. 請求項９に記載の医用手技ナビゲーションシステムであって、
    前記演算部は、前記検査対象に対するＸ線の照射方向が異なる少なくとも２つのＸ線画像データを用いて、前記回転プローブ又は前記デバイスの位置を推定する位置推定部と、
    前記回転プローブ又は前記デバイスの先端について、複数の異なる角度で予め撮像した複数のＸ線画像を記録したデータベースを用いて、前記先端の角度を推定する角度推定部と、を備えることを特徴とする医用手技ナビゲーションシステム。
11. 請求項９に記載の医用手技ナビゲーションシステムであって、
    前記Ｘ線撮像部による前記Ｘ線画像の生成、及び、前記超音波撮像部による前記超音波画像の作成、の時間を記録する時間記録部をさらに備えることを特徴とする医用手技ナビゲーションシステム。
12. デバイスを、検査対象の内部に挿入しながら行う手技を支援するための方法であって、
    回転プローブを挿入しながら超音波撮像を行うと同時にＸ線撮像を行うことによって得られたＸ線画像から回転プローブの位置及び角度を算出し、
    当該回転プローブの位置及び角度を用いて、超音波撮像で得られた超音波画像を予め取得した三次元画像に位置合わせして参照画像を作成し、
    前記デバイスを挿入しながらＸ線撮像を行うことによって得られたＸ線画像からデバイスの位置及び角度を算出し、
    前記デバイスを含むＸ線画像と、前記回転プローブが前記デバイスと対応する位置のときの前記参照画像とを表示装置に表示させることを特徴とする医用手技ナビゲーション方法。
13. 請求項１２に記載の医用手技ナビゲーション方法であって、
    前記回転プローブの位置及び角度の算出、及び、前記デバイスの位置及び角度の算出は、
    前記検査対象に対するＸ線の照射方向が異なる少なくとも２つのＸ線画像データを用いて、前記回転プローブ又は前記デバイスの位置を推定するステップと、
    前記回転プローブ又は前記デバイスの先端について、複数の異なる角度で予め撮像した複数のＸ線画像を記録したデータベースを用いて、前記先端の角度を推定するステップと、を含むことを特徴とする医用手技ナビゲーション方法。
14. 請求項１３に記載の医用手技ナビゲーション方法であって、
    前記デバイスの位置を推定するステップは、
    前記少なくとも２つのＸ線画像データを取得するＸ線撮像時に、取得した少なくとも２つの超音波画像を用いて、推定した前記回転プローブの位置の信頼度を推定するステップを含むことを特徴とする医用手技ナビゲーション方法。
    
    

Images