JP2012525898A - 電磁式追跡及び術前のロードマップ走査のないリアルタイムでのスコープの追跡及び分枝のラベリング - Google Patents

Abstract

画像処理装置の位置を突き止めるシステム及び方法は、内部通路の画像をディスプレイに戻すよう構成された誘導画像処理装置を含む。画像処理装置の位置が、単に、通路の内部において得られた画像から受ける情報及び通路の一般知識から決定されるように、処理モジュールが、画像からパターンを認識し、画像変化を利用して、画像処理装置によって受けるモーションを決定するよう構成される。

Description

本開示は、画像処理手段に関し、特に、進路決定中の方位及び向きを維持するために内部通路を地図で表すためのシステム及び方法に関する。

内視鏡検査は、肺気道又は胃腸系等の内部構造の目視検査のためにカメラが体内に挿入される最小限に侵襲性のリアルタイムイメージング様式である。一般的に、内視鏡は、患者の体外で近位端にて光源に接続され、且つ、患者の体内で遠位端にてレンズに接続される長い可撓性の光ファイバーのシステムである。さらに、一部の内視鏡は作用チャネルを含み、該作用チャネルを介して操作者は、吸引を行う又はブラシ、生検針、若しくは鉗子等の機器を通すことができる。ビデオフィードバックは、標的にされた領域までスコープを操るためのヒントを医師又は技術者に与える。

図１を参考にすると、典型的な気管支鏡検査の機構の例証となる概略図が例証となって示されている。気管支鏡１０は、患者の口及び気管１８を通して、並びに、肺気道１６内に挿入される。光１２は、気道を照らすため、及び、気管支鏡からのビデオ画像を捕らえるために利用される。ビデオ画像１４（図２）が出力され、気道を見るために表示される。

イメージガイド内視鏡検査は、従来の内視鏡検査と比較して、術前のコンピュータ断層撮影（ＣＴ）画像をビデオデータと合わせることによる、肺の三次元（３Ｄ）ロードマップに対するそのリアルタイムでの接続という有利さに恵まれている。介入処置が行われている間に、医師は、その３ＤＣＴ空間に関してどこにスコープが位置するかを決定することができる。気管支鏡位置確認の研究において、内視鏡の先端を追跡する方法が３種類ある。タイプ（ａ）は、内視鏡の先端に取り付けられた位置センサに基づき追跡し；タイプ（ｂ）は、ライブ画像レジストレーションに基づき追跡し；さらに、タイプ（ｃ）は、タイプ（ａ）とタイプ（ｂ）２つの組合せである。

電磁（ＥＭ）誘導による内視鏡検査（タイプ（ａ）のシステム）は、多くの肺への用途に対して価値の高い手段として認識されてきたが、補足の案内装置の利用を必要とする。画像レジストレーションに基づく内視鏡検査（タイプ（ｂ）のシステム）は、時間のかかる恐れがある一定のリアルタイムでの一齣一齣のレジストレーションを必要とし、さらに、気道の内側の流体がビデオ画像を覆い隠す場合にエラーを生じる傾向がある。しかし、ＥＭ追跡又は画像レジストレーションに基づく追跡を利用するにもかかわらず、これらのシステムの全てが、迅速且つ強力な（高解像度ＣＴデータが装備された）コンピュータワークステーションを要求し、気管支の区分、画像レジストレーション、経路計画、及び、リアルタイムでの進路決定等の多数の非自明なタスクを実行するのを可能にする。特に高解像度の術前ＣＴ画像とのこの技術的統合は、多くの遠く離れた（特に発展途上国における）資力のより少ない領域に対して莫大な挑戦を引き起し、これらの領域において、肺癌の発生率は異常に高い場合があるけれども、病院の先端技術に対する利用は限られている。

本発明の原理によると、医師が非常に入り組んだ気道において方位を失うということにほとんどの気管支鏡検査の手順における障害が存在していることを考慮に入れると、新規の解決策は、ビデオベースの進路決定方法を気管支鏡検査のひと揃いに結合させる。スコープ経路の全体の進行を追跡する代わりに、ビデオシーケンスを分析することによって、スコープが分岐交差部分に到達した時に方向が提供される。この方法で、標的に到達するために進む進路、又は、スコープの先端の現在の位置を示す進路に関して、ヒントをビデオ画像において提供することができる。ビデオシーケンスのモーションフィールドを分析することによって、システムは、気道の分枝又は他の分枝状の空洞をラベルすることが可能である。本願における解決策は、非常に費用効果が高く、ロードマップとして再構築されることになる術前のＣＴ画像も、又は、（電磁（ＥＭ）追跡等の）さらなる位置追跡手段も必要としない。従って、この多目的の解決策を、ほとんど全ての呼吸器科のクリニック、特に、先端技術の利用が制限されている場所に適用することができる。この誘導技術は、呼吸器科の医師、特に、低開発地域又は開発途上国の医師にとって特に有用である。

本発明の実施形態は、進路決定タスクを行うためのさらなる誘導装置又はコンピュータワークステーションを購入する必要性を減らすか又は排除する。

画像処理装置の位置を突き止めるシステム及び方法は、内部通路の画像をディスプレイに戻すよう構成された誘導画像処理装置を含む。画像処理装置の位置が、単に、通路の内部構造において得られた画像から受ける情報及び通路の一般知識から決定されるように、処理モジュールが、画像からパターンを認識し、画像変化を利用して、画像処理装置によって受けるモーションを決定するよう構成される。

内視鏡の遠位端の位置を突き止める別のシステムは、ケーブルに取り付けられ且つ反射光信号を受けるよう構成された、照射される内視鏡の先端を含む。ディスプレイは、先端から受けた画像を示すよう構成される。処理モジュールは、画像からのパターンを認識し、画像変化を利用して、先端により受ける方向選択及びモーションを決定するよう構成される。一般解剖学的参照は、その解剖学的参照に対して認識したパターン及び画像変化の相互参照をつけ、先端の位置は、認識したパターン及び画像変化並びに解剖学的参照から解読した特徴に関連して決定される。

内視鏡の遠位端の位置を突き止める方法は、内視鏡先端周辺の領域を照射するステップ、先端を介して反射光を受けるステップ、先端から受けた画像を示すステップ、画像からのパターンを認識し、画像変化を利用して、先端によって受けるモーションを決定するステップ、並びに、一般解剖学的参照に対して認識したパターン及び画像変化の相互参照をつけるステップを含み、先端の位置は、画像及び解剖学的参照から解読した特徴に関連して決定される。

本開示の前記及び他の目的、特徴、並びに利点が、付随の図面に関して読まれることになる例証となる実施形態における以下の詳細な説明から明らかになるはずである。

本開示は、以下の図を参考にして、以下の好ましい実施形態の説明を詳細に示す。

従来技術による気管支鏡検査の手順を受けるヒト患者の断面図である。 従来技術によるヒト患者の気管支の分岐の画像である。 一実施形態による分枝通路システムの内部の様子と共にシステムを示したブロック図である。 一実施形態に従い分岐を同定するためにパターン認識にさらされた気管支の分岐の画像である。 一実施形態に従いラベルで示された図４Ａの画像の処理された様子を示した図である。 一実施形態に従いスコープの画像から決定された画像収集装置の移動を決定するためのベクトル場を示した図である。 一実施形態に従いスコープの画像から決定された画像収集装置の移動を決定するためのベクトル場を示した図である。 一実施形態に従いスコープの画像から決定された画像収集装置の回転を決定するためのベクトル場を示した図である。 一実施形態に従いスコープの画像から決定された画像収集装置の回転を決定するためのベクトル場を示した図である。 一実施形態に従いスコープの画像から決定された画像収集装置の前進運動又は後退運動を決定するためのベクトル場を示した図である。 例証となる実施形態に従い内視鏡の末端部分の位置を突き止めるためのステップを示した流れ図である。

本開示は、スコープの進路決定及びイメージングのための器具及び方法を記述している。本発明の原理は、スコープのビデオシーケンスモーションフィールドを分析して、分枝を同定及びラベルする。特に有用な実施形態において、スコープは、気管支鏡、又は、肺、消化器系、若しくは、他の最小限に侵襲性の外科的な目視検査のためのいかなるスコープも含み得る。他の実施形態では、内視鏡等も他の医療手順に対して利用される。これらの手順は、最小限に侵襲性の内視鏡による下垂体手術、内視鏡による頭蓋底腫瘍手術、脳室内神経系外科手術、関節鏡手術、腹腔鏡手術等を含み得る。他の実施形態において、スコープは、内部の消化器の管系を検分するため、及び、動物又は昆虫の穴を注意深く調べるために構成することができる。他の観察用途も意図される。本発明の原理は、（１）ビデオ画像において分岐（又は三分岐等）を同定するためにパターンを認識する構成要素、（２）スコープのモーション及び各方向転換の１又は複数の方向を検出するためにビデオモーション検出を使用する構成要素、（３）解剖学的画像処理データから得ることができる予め定義された知識ベースをトリガするためにルールベースの技術を使用する構成要素、並びに、（４）スコープが一連の方向転換を行った後に三次元においてスコープの位置が突き止められる場所を決定するために、検査される構造の既知の解剖学的組織の３Ｄトポロジーを使用する構成要素を含む。分枝は、スコープの表示画面上で動的にラベルすることができる。本発明の実施形態は、例えば、術前のＣＴ画像がロードマップとして再構築される必要がない、及び、（ＥＭ追跡等の）位置追跡手段が必要とされない等、複数の理由のために費用効果が高い。

放射状モーションフィールドベクトルが、（例えば、目視カメラが現場から離れるように動く−ベクトルは集まる、及び、目視カメラが現場に向かって動く−ベクトルは分散する等）カメラの動きの決定を示すために利用される。モーションフィールド（画像特徴ポイントの速度の２Ｄベクトル場）は、目視カメラが異なる動きをしていることを示すために利用されることが好ましい。方向転換の移動（平行移動）のモーションが発見された場合、対応する分枝を従ってディスプレイ上でラベルすることができる。本明細書に記述された方法は、（気道抽出、ボリュームレンダリング、及び、レジストレーションを行うため等）強力なコンピュータワークステーションを必要とすることなく、内視鏡のビデオプロセッサに組込むことができる。この追跡技術は、従って、（例えば、田舎の呼吸器科クリニック等）ワークステーションの費用を正当化することができない所で利用可能である。本明細書に記述された方法は、コンピュータ上で、又は、特注設計した器具において実行することもできる。

本発明は、気管支鏡の観点から記述されるが、本発明の教示ははるかに広範で、（例えば、消化器系、循環系、管系、動物又は昆虫の通路、坑道、ほら穴等の）分枝状、曲線状、コイル状、又は、他の形状のシステムの内部目視において利用することができるいかなる光学式スコープに対しても適用可能であるということを理解するべきである。本明細書に記述される実施形態は、表示モニター上で見るために表示されることが好ましい。そのようなモニターは、それだけに限られないが（例えば携帯情報端末、電話機等の）ハンドヘルドのディスプレイ、コンピュータディスプレイ、テレビ、指定されたモニター等を含めたいかなる適した表示装置も含み得る。スコープに応じて、システムの一部としてディスプレイを提供することができるか、又は、ディスプレイは、別のユニット若しくは装置であり得る。

光学式スコープは、スコープに接続されたか又はスコープと付随した複数の異なる装置を含み得るということも理解するべきである。そのような装置は、光、裁断装置、ブラシ、電気掃除機、カメラ等を含み得る。これらの構成要素は、スコープの遠位端部分で頭部と一体形成することができる。光学式スコープは、スコープの先端にて配置されたカメラを含み得るか、又は、先端とは反対の光学式ケーブルの末端にてカメラを配置することができる。実施形態は、ハードウェア要素、ソフトウェア要素、又は、ハードウェア要素及びソフトウェア要素どちらも含み得る。好ましい実施形態において、本発明は、それだけに限られないがファームウェア、常駐ソフトウェア、マイクロコード等を含めたソフトウェアを用いて実行される。

さらに、本発明の原理は、コンピュータ若しくはいかなる命令実行システムによる使用、又は、コンピュータ若しくはいかなる命令実行システムに関した使用のためにプログラムコードを提供する、コンピュータにより使用できる又はコンピュータにより読み取り可能な媒体から利用可能なコンピュータプログラムの形をとることができる。コンピュータにより使用できる又はコンピュータにより読み取り可能な媒体は、命令実行システム、器具、若しくは装置による使用、又は、命令実行システム、器具、若しくは装置に関した使用のためにプログラムを含む、記憶する、伝える、伝達する、又は、運ぶことができるいかなる器具でもあり得る。媒体は、電子、磁気、光学、電磁気、赤外線、又は半導体のシステム（又は器具若しくは装置）であり得る。コンピュータにより読み取り可能な媒体の例として、半導体又はソリッドステートメモリ、磁気テープ、取り外し可能なコンピュータディスケット、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、硬質の磁器ディスク、及び、光ディスクが挙げられる。光ディスクの現行の例として、コンパクトディスク−リードオンリーメモリ（ＣＤ−ＲＯＭ）、コンパクトディスク−読み取り書き込み（ＣＤ−Ｒ／Ｗ）、及び、ＤＶＤが挙げられる。

プログラムコードを記憶する及び／又は実行するのに適したデータ処理システムは、メモリ要素に直接又はシステムバスを介して間接的に結合された少なくとも１つのプロセッサを含み得る。プロセッサ又は処理システムには、スコープシステムを提供することができるか、又は、スコープシステムとは無関係に提供することができる。メモリ要素は、プログラムコードの実際の実行の間に利用されるローカルメモリ、大容量記憶装置、及び、キャッシュメモリを含み、実行中に大容量記憶装置からコードが検索される数を減らすために、少なくとも一部のプログラムコードの一時記憶を提供することができる。（それだけに限らないが、キーボード、ディスプレイ、ポインティングデバイス等を含めた）入力／出力又はＩ／Ｏ装置は、直接、又は、間にあるＩ／Ｏ制御装置を介してシステムに結合させることができる。

ネットワークアダプタもシステムに結合させて、データ処理システムが他のデータ処理システムに結合される、又は、間にある私設ネットワーク若しくは公衆ネットワークを介して離れたプリンタ若しくは記憶装置に結合されることになるのを可能にすることができる。モデム、ケーブルモデム、及び、イーサネット（登録商標）カードが、ほんのいくつかの現在利用可能な種類のネットワークアダプタである。

次に、同じ数字が同じ又は類似の要素を表している図面、及び、初めに図３を参考にすると、光学式スコープシステム１００が例証となって示されている。システム１００は、光ファイバースコープ、又は、生物における内部空洞、特に、気道通路を目視することにおいて利用されるカメラ１０８を有したスコープ等の照射されるスコープ１０２を含む。スコープ１０２は、その中に光ファイバーを含み得る可撓性のケーブル１０４を含み、好ましくは、道具の吸引又は挿入のためにその長手方向に沿って作用チャネル１０９を含む。ケーブル１０４の遠位端部分の先端１０６は、カメラ１０８及び少なくとも１つの光源１１０を含む。システムに応じて、光をスコープの末端部分に固定させることができるか、又は、光をケーブル１０４の遠位端から光ファイバー結合を介して伝えることができる。先端１０６は、用途及び手順に応じて他の道具又は付属装置を含むこともできる。２つの種類の内視鏡：光ファイバースコープ又はビデオスコープを利用することができる。光ファイバースコープは、ケーブル１０４の遠位端にて電荷結合素子（ＣＣＤ）カメラを含むことができ、ビデオスコープは、先端１０６の近く又は先端１０６上に置かれるＣＣＤカメラを含むことができる。

内部組織１１２の壁から反射された光１１１が検出され、光学（又は電気）信号としてケーブル１０４を下に伝達される。遠位に配置されたカメラの場合に光検出装置１１６と共に構成されたコンピュータ又は他のプラットフォーム等の処理装置１１４を好ましくは使用して、信号は解釈される。光検出装置１１６は、プリント回路基板に取り付けることができるか、カメラ装置（例えばＣＣＤカメラ）内に含むことができるか、又は、集積回路チップに統合させることができる。多くの構成及び実行を利用して、光学信号を解読及び解釈することができる。カメラが先端１０６内に含まれる場合、信号は、電気信号に変えられ、光検出装置１１６を有さない処理装置によって解釈される。

処理装置１１４は、１又は複数のプログラム１２０を実行するよう構成されたコンピュータ装置、プロセッサ、又は、制御装置を含み得る。プログラム１２０は、本発明の原理による機能を解釈及び実行するための指示を含む。プログラム１２０は、スコープの先端１０６が現在位置している気管支の分枝１２２等の分枝を動的にラベルすることができる。ラベリング処理は、気管支鏡検査手順等の手順に対する進路決定の誘導を行うための費用のかからないもう１つの手段である。

処理装置１１４は、気道の分枝１２２の動的なラベリングを、スコープ１０２の現存のスクリーン又はディスプレイ１２４内に提供する。さらなる外部モニター又はワークステーションは必要とされない。ビデオストリームのモーションパターンを分析することによって、処理装置１１４は、例えば左側の主気管支又は右側の第三気管支内等、スコープ１０２の先端１０６が位置する場所を決定する。外部の追跡機器は必要とされない。高解像度の術前ＣＴ画像に対するレジストレーションも省くことができる。

プログラム１２０の特徴は、ビデオ画像において分岐を同定するためのパターン認識プログラム１２３を含む。モーション検出プログラム１２５も、スコープが方向転換する場合に、どの方向をスコープがとるかを検出するために使用される。一般参照（例えば解剖学的参照）１２６もメモリ１３０に記憶される。一般解剖学的参照１２６は、（一般的な情報として、ＣＴ走査又は他の画像処理走査に対立するものとして）気道の解剖学的組織に関する前の知識を記憶する。この気道の解剖学的組織は、一組のルール又は３Ｄトポロジーマップの形で示すことができる。異なる設計によると、ルールベースの技術又はモデルベースの地理的照合アルゴリズムを使用して、スコープが一連の方向転換をした後にスコープが位置する場所を決定することができる。特定の患者に対する前の理解は必要とされず、全ての患者に対して、従って、一般的な情報に対してルール又はモデルを使用することができるということに留意するべきである。

ルールベースの技術は、パターン認識を介して同定された特徴を使用して、通路のうち以前に横断した部分の接続された経路を提供する。言い換えると、本発明の原理は、スコープが位置する場所を決定するのに寄与するために、里程標を利用するか、又は、通路内の特徴を同定する。例えば、各分岐がパターン認識され、続いて、どの分岐を選択して下に進んだかが決定される。この情報は、現在の位置を決定することになる。内視鏡の位置が処理を通して知られるようにこの処理は続く。方向のシーケンス（例えば、左、右、左）等のルールを利用して、先端１０６の現在の位置を同定することができる。

別のアプローチは、トポロジーマッピングを利用して、肺気道の解剖学的組織におけるアトラスに対する比較を行うことができる。リアルタイムでのモーション分析に基づき、カメラの内部パラメータを使用して、内視鏡によって横断された気道のトポロジー（質的形状）を確立することが可能である。標準トポロジーを記載することができるように、第三気管支まで、トポロジーが対象にわたり十分保存され、トポロジーの各区分は、呼吸器科医の典型的な協定に従い名付けられる。アトラスからの標準トポロジー、及び、内視鏡によって横断される気道の観察したトポロジーに基づき、アトラスに対する内視鏡の現在の位置を記述することができ、次に、アトラスの命名規則を使用して現在の気道区分を同定する。

スコープ１０２は、その独自のビデオプロセッサを含むことができるか、又は、ビデオプロセッサは、処理装置１１４の一部であり得る。内視鏡のビデオプロセッサに組込む構成要素は、画像内のパターンを検出するために信号を利用し、次に、システム又は体内の位置を同定するためにそのパターンを使用する。内視鏡モニター１２４は、現在のビデオフィードバックだけでなく、好ましくはスコープが位置する各分枝のラベリング情報も表示するはずである。パターン認識１２３は通路の分岐を同定する。内視鏡システム１００における照射の性質のため、対象が位置する場所が遠い（深い）程、照射される量は少ない。従って、肺において、２つの気管支の小枝は、小枝が生じる主要な分枝よりも照射の少ない画像をビデオ内に示す。

設計の性質のため、初期設定パラメータが正確に選ばれない場合に、気道のトンネル内での多数の運行の後で、本発明のアプローチは内視鏡の向きを狂わせることができる。従って、例えば、ａ）ビデオ画像において分岐が見られる場合に追跡を開始するためにローカル初期設定方法を使用する、及び／又は、ｂ）ヒトの体の内側にある内視鏡の長さが考慮される場合にグローバル初期設定方法を使用することが提案される。後者の場合において、この深さの情報は、内視鏡の先端のあり得る位置（又は位置範囲）を規制するために、地理的パラメータとして記録される。従って、スコープが周縁領域に到達したかどうか、又は、依然として中枢気道内にあるかどうかを知ることによって、より優れた初期設定パラメータを得ることができる。

図４Ａにおいて、画像は、患者の肺における分岐した通路を表している２つの脂肪（ｂｌｕｂ）１６０及び１６２を示している。２つの大きな濃い脂肪１６０及び１６２がカメラの視野のかなりの部分を満たす場合、例えば、スコープは交点に達しているとして考慮されるべきである。このパターンは、パターン認識プログラム１２３において容易に認識される。脂肪が大きくなるに従い、モーション分析プログラム１２５は、これをその脂肪の選択（左又は右、上又は下）として解釈する。処理装置１１４のメモリ１３０内に同様にプログラムされる参照１２６の解剖学的マップを使用することで、先端１０６の現在の位置を、肺の通路を通って追跡することができる。図４Ｂは、通路にわたりラベル「Ｌ」（左）及び「Ｒ」（右）を有した図４Ａの画像の処理後の画像を示している。

リアルタイムでのモーション分析方法１２５は、メモリ１３０に記憶され、画像を分析して位置又は位置の変化を決定するために利用される。方法１２５は、現在の画像マップを前の画像マップと比較して、方向、速度、回転、移動、及び、他のパラメータを決定することができる。モーション分析方法１２５は、これらのパラメータを追跡するために画像内の特徴を使用することができる。モーション分析の２つの副次的問題は、１）要素の一致：すなわち、フレームのどの要素が、一連のフレームのうちの次のフレームのどの要素に一致するか；及び、２）モーションの再構築：すなわち、一致する要素の数を考慮に入れると、観察された世界の３−Ｄモーションに関して何を理解することができるかを含む。

一実施形態において、Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ（ＳＩＦＴ）が、場の認識及び追跡のための画像特徴を同定するために利用される。ＳＩＦＴを使用して、画像特徴は、画像スケーリング及び回転に対して不変であり、照射及び３Ｄカメラのビューポイントにおける挑戦に対して部分的に不変である。オプティカルフロー方法等の他のモーション検出方法も利用することができる。

時間の経過に伴い算定されたまばらな画像特徴の２Ｄモーションフィールドに基づき、（例えば、３Ｄ空間において既知の絶対座標を有した予め定義されたポイント等）１又は複数の参照ポイントに基づく画像に対する変化を追跡することによって、カメラのモーションを決定することができる。３Ｄ空間における絶対位置及び定位を示す１又は複数の参照ポイントに従い、プログラムは、スコープが左折するか、又は、右折するか、上へ行くか下へ行くかどうかを決定することができ、従って、入り込むべき分枝を対応してラベルすることができる。

図５Ａ及び５Ｂでは、平行のモーションフィールドベクトル２０２が例証となって描写されている。これらの画像において、目視カメラが並進運動を提供している（内部空間で動いている）ことをベクトル場２０２は示している。これらのベクトルは、１つの画像内に特徴を見つける、及び、変化を決定するために、続く画像内にその特徴を見つけることによって生成される。ビデオ分析の道具を、この機能性を提供するよう適応させることができる。図６Ａ及び６Ｂでは、目視カメラが光軸のまわりを回転していることを回転モーションフィールドベクトル２０４は示している。放射状モーションフィールドベクトルは、ベクトルが集まっている場合に目視カメラがその場から離れるように動いていること、及び、ベクトルが分散している場合に目視カメラがその場に向かって動いていることを示している。図７は、集束ベクトル２０６を示している。

再度図３を参考にすると、一実施形態において、目視カメラが異なる動きをしていることをモーションフィールド（画像特徴ポイントの速度の２Ｄベクトル場）が示す場合に、ラベリング機能１３２が利用される。例えば、方向転換移動（平行移動）モーションが決定される場合、対応する１又は複数の分枝は、それに応じてラベルされるか又は示される。ラベリングは、操作者によって見られるようにディスプレイ１２４上に現れる。ラベリングは、いかなるシンボル、特徴、又は、言葉も含み得る。モーション分析モジュール１２５は、移動モーション（方向転換移動及び小さなシフティング移動）、（カメラの光軸に沿った）回転移動、及び、前進（内側対外側の）移動モーション等の間のモーションの差を区別するようプログラムされる。モーションフィールドをしっかりと類別及び分類するために、機械学習技術を使用して、各アプリケーションドメインのビデオシーケンスにおいて直面するより一致した特徴を発見することができる。

例証となる実施形態において、スコープは肺の解剖学的組織の知識を使用して、スコープが現在位置している分枝を名付けることが好ましい。これは、解剖学的データ１２６の座標マップ１４０を含み得る。マップ１４０内のデータは、内部器官又は特徴に対する寸法の範囲を含む、例えば年齢、性別、手術歴、民族性等に基づく個体に対する調整を含む場合がある。マップ１４０は参照を提供し、里程標、標的、異常性等を同定することができるように、その参照に対して画像を比較するか又は特徴を解読することができる。術前のＣＴロードマップは誘導に対して使用されないため、一組のルール又はアトラスベースのアプローチを利用して、スコープが行う一連の方向転換及び肺気道の肉眼的解剖学に基づきスコープの空間位置を決定することができる。例えば、スコープが左折し、続いて別に右折した後で、スコープは左側の第二気管支内に現在位置しているということをルールは特定する。

一実施形態において、状況に応じて、患者の中に本発明のシステムのスコープを挿入して、スコープが患者内を動くに従い画像を記録及び登録することによって、予備手順において患者の内部構成を地図で表すことができる。この方法で、状態及び特徴の記録を集める及び記憶することができる。この方法は、実際の画像がマッピングおよびラベリングにおいて利用されるため、最も正確な位置検出を提供する。これは、特定の患者が多数の手順を受ける又は受けることになる場合に特に有用である。例えば、第１の手順の間に技術者が肺内に病変を見つけた場合、記憶されたデータを利用して、技術者をその位置まで戻って誘導することに寄与することができる。この方法で、現在の位置をラベルする代わりに、特定の位置に達する方法に対する内部の方向が技術者には提供される。全体の手順のビデオ画像を記憶して、手順のモーションビデオを提供することができるということを理解するべきである。

本発明の原理は、呼吸器科手順、消化手順、又は、内視鏡若しくは他のカメラ装置が追跡される必要があるいかなる他の手順においても適用することができる。本発明の原理は、（強力なコンピュータ、位置追跡装置、外部モニター等の）先端技術への利用が制限されている場合に特に有用である。当該システムは、非常に費用効果が高く、ロードマップとして再構築されることになる高解像度の術前ＣＴ画像を必要としない。

図８を参照すると、内視鏡の遠位端の位置を突き止める方法が例証となって示されている。ブロック３０２では、内視鏡の先端が照射される。ブロック３０４において、反射光が内視鏡の先端を介して受け取られる。光ケーブルから受け取った画像が、ブロック３０６において医療技師又は医師による目視のために与えられる。ブロック３０８では、パターンが画像から認識され、画像変化が利用されて、先端によって受けたモーションを決定する。認識パターンは、画像を解釈して、通路内の特徴を同定することを含む。画像変化を使用して、画像内の動きを解釈するためにモーション分析を行い、以前に横断した通路のログを生成する。モーション分析は、画像処理の間に、移動、回転、及び、通路選択を決定するためにモーションベクトル場を生じることを含む。

ブロック３１０では、認識されたパターン及び画像変化が、一般解剖学的参照に対して相互参照を付けられる。先端の位置が、ブロック３１２において、画像及び解剖学的参照から解読された特徴に対して決定される。ブロック３１４において、ディスプレイ上の画像内の特徴は、内視鏡の先端の位置を同定するためにラベルされる。これは、どの通路を選択するかに関してヒントを与えるよう、及び、手順中に技術者／使用者の方位を維持するようリアルタイムで行われることが好ましい。

付随の特許請求の範囲を解釈することにおいて：
ａ）「含む」という単語は、所与の請求項に列挙されたもの以外の要素又は行為の存在を除外しないこと；
ｂ）単数名詞を言及する際の要素の前の不定冠詞又は定冠詞は、その要素の複数形の存在を除外しないこと；
ｃ）特許請求の範囲におけるいかなる参照番号もその範囲を限定しないこと；
ｄ）いくつかの「手段」は、同じ項目又はハードウェア若しくはソフトウェアにより実行される構造又は機能によって表すことができるということ；及び
ｅ）何か特に示されていない限り、特定の一連の行為が必要とされるよう意図されることはないということ；
を理解するべきである。

（例証となるよう意図され、限定的ではない）電磁式追跡及び術前ロードマップ走査のないリアルタイムでのスコープの追跡及び分枝のラベリングのためのシステム及び方法に対する好ましい実施形態を記述したことによって、上記の教示に照らして当業者により修正及び変更を行うことができるということに留意されたい。従って、特許請求の範囲によって概略を述べられた本明細書において開示された実施形態の範囲内の本開示の特定の実施形態において、変更を行うことができるということを理解されたい。このように詳細を記述することによって、及び、特許法により特に必要とすることによって、請求されるもの及び特許によって保護されるよう所望されるものが、付随の特許請求の範囲において定められている。

Claims (20)

1. 画像処理装置の位置を突き止めるシステムであって：
   内部通路の画像をディスプレイに戻すよう構成される誘導画像処理装置；並びに
   前記画像処理装置の位置が、単に、前記通路の内部で得られた画像から受けた認識されたパターン及び画像変化並びに前記通路の一般知識から決定されるように、前記画像からパターンを認識し、画像変化を利用して、前記画像処理装置によって受ける方向選択及びモーションを決定するよう構成される処理モジュール；
   を含むシステム。
2. 前記処理モジュールは、パターン認識プログラムを記憶する関連メモリを有し、前記パターン認識プログラムは、画像を解釈して前記通路内の特徴を同定するよう前記処理モジュールによって実行可能である、請求項１に記載のシステム。
3. 前記処理モジュールは、モーション分析プログラムを記憶する関連メモリを有し、前記モーション分析プログラムは、前記画像内の動きを解釈して以前に横断した通路のログを生成するよう前記処理モジュールによって実行可能である、請求項１に記載のシステム。
4. 前記モーション分析プログラムは、画像処理の間に、移動、回転、及び、通路選択を決定するためにモーションベクトル場を生じる、請求項３に記載のシステム。
5. 前記処理モジュールは、表示画面上に表示されることになるラベルを生成するよう構成されるラベリング装置を含み、前記画像内にあると決定される特徴のパターンを同定する、請求項１に記載のシステム。
6. 前記ラベルは、前記誘導画像処理装置の位置を同定する、請求項５に記載のシステム。
7. 前記誘導画像処理装置は、内視鏡を含む、請求項１に記載のシステム。
8. 内視鏡の遠位端の位置を突き止めるシステムであって：
   ケーブルに取り付けられ且つ反射光信号を受けるよう構成される、照射される内視鏡の先端；
   前記先端から受けた画像を示すよう構成されるディスプレイ；
   前記画像からのパターンを認識し、画像変化を利用して、前記先端により受ける方向選択及びモーションを決定するよう構成される処理モジュール；並びに、
   解剖学的参照に対して認識したパターン及び画像変化の相互参照をつけ、前記先端の位置が、認識したパターン及び画像変化並びに前記解剖学的参照から解読した特徴に関連して決定される、一般解剖学的参照；
   を含むシステム。
9. 前記処理モジュールは、パターン認識プログラムを記憶する関連メモリを有し、前記パターン認識プログラムは、画像を解釈して通路内の特徴を同定するよう前記処理モジュールによって実行可能である、請求項８に記載のシステム。
10. 前記処理モジュールは、モーション分析プログラムを記憶する関連メモリを有し、前記モーション分析プログラムは、前記画像内の動きを解釈して以前に横断した通路のログを生成するよう前記処理モジュールによって実行可能である、請求項８に記載のシステム。
11. 前記モーション分析プログラムは、画像処理の間に、移動、回転、及び、通路選択を決定するためにモーションベクトル場を生じる、請求項１０に記載のシステム。
12. 前記処理モジュールは、表示画面上に表示されることになるラベルを生成するよう構成されるラベリング装置を含み、前記画像内にあると決定される特徴のパターンを同定する、請求項８に記載のシステム。
13. 前記ラベルは、前記内視鏡の先端の位置を同定する、請求項１２に記載のシステム。
14. 前記内視鏡は、気管支鏡を含む、請求項８に記載のシステム。
15. 内視鏡の遠位端の位置を突き止める方法であって：
    内視鏡先端周辺の領域を照射するステップ；
    前記先端を介して反射光を受けるステップ；
    前記先端から受けた画像を示すステップ；
    前記画像からのパターンを認識し、画像変化を利用して、前記先端によって受けるモーションを決定するステップ；並びに
    一般解剖学的参照に対して認識したパターン及び画像変化の相互参照をつけるステップ；
    を含み、前記先端の位置は、前記画像及び前記解剖学的参照から解読した特徴に関連して決定される、方法。
16. パターンを認識するステップは、画像を解釈して通路内の特徴を同定するステップを含む、請求項１５に記載の方法。
17. 画像変化を利用するステップは、前記画像内の動きを解釈するようモーション分析を行って、以前に横断した通路のログを生成するステップを含む、請求項１５に記載の方法。
18. モーション分析を行うステップは、画像処理の間に、移動、回転、及び、通路選択を決定するためにモーションベクトル場を生じるステップを含む、請求項１７に記載の方法。
19. ディスプレイ上で前記画像内の特徴をラベルして、前記内視鏡の先端の位置を同定するステップをさらに含む、請求項１５に記載の方法。
20. 前記内視鏡は気管支鏡を含む、請求項１５に記載の方法。

Images