JP2022516474A - 外科手術中の遠隔カメラの向きに関するユーザインターフェース要素 - Google Patents

Abstract

外科手術中の遠隔カメラの向きに関するユーザインターフェース要素が、提供される。種々の実施形態において、患者の体腔の内部の画像が、内視鏡ツールの遠位端に位置している１つ以上のカメラから受信される。カメラの位置情報および／または向き情報が、受信される。解剖学的モデル上でカメラの視野を示す基準ビューが、位置情報および／または向き情報に基づいて、発生させられる。基準ビューは、画像との組み合わせにおいてユーザに表示される。

Description

（関連出願の相互参照）
本願は、参照することによってその全体として本明細書に組み込まれる２０１８年１２月２８日に出願された米国仮特許出願第６２／７８６，００３号の利益を主張する。

本開示の実施形態は、ロボット外科手術および内視鏡外科手術に関し、より具体的に、外科手術中の遠隔カメラの向きに関するユーザインターフェース要素に関する。

本開示の実施形態によると、外科手術手技中にカメラを向ける方法およびそのためのコンピュータプログラム製品が、提供される。種々の実施形態において、患者の体腔の内部の画像が１つ以上のカメラから受信される方法が、実施される。１つ以上のカメラの位置情報が、受信される。解剖学的モデルに対する１つ以上のカメラの視野を示す基準ビューが、位置情報に基づいて発生させられる。基準ビューは、画像との組み合わせにおいてユーザに表示される。

種々の実施形態において、カメラの向き情報が、受信され得、向き情報に基づいて、カメラの方向を示す方向インジケータが、解剖学的モデル上に発生させられ得る。種々の実施形態において、方向インジケータは、基準ビューとの組み合わせにおいて、ユーザに表示され得る。種々の実施形態において、方向のインジケータは、矢印を含む。種々の実施形態において、カメラは、位置情報を伝送するように構成された絶対位置センサを含む。種々の実施形態において、絶対位置センサは、１つ以上のエンコーダを含む。種々の実施形態において、絶対位置センサは、光学追跡システムを含む。種々の実施形態において、カメラは、向き情報を伝送するように構成された絶対向きセンサを含む。種々の実施形態において、絶対向きセンサは、１つ以上のエンコーダを含む。種々の実施形態において、絶対向きセンサは、光学追跡システムを含む。種々の実施形態において、解剖学的モデルは、汎用の解剖図を含む。種々の実施形態において、解剖学的モデルは、単純化された絵表現を含む。

種々の実施形態において、解剖学的モデルは、患者の撮像を含む。種々の実施形態において、撮像は、医療用画像管理システム（ＰＡＣＳ）から受信される。種々の実施形態において、撮像は、コンピュータ断層撮影（ＣＴ）、磁気共鳴撮像（ＭＲＩ）、Ｘ線、超音波、およびデジタル撮像のうちの少なくとも１つを含む。種々の実施形態において、患者の撮像は、医療手技中にリアルタイムで更新される。種々の実施形態において、患者の基準ビューは、医療手技中にリアルタイムで更新される。種々の実施形態において、方法は、カメラの座標空間を患者の座標空間に位置合わせすることと、カメラの座標空間を解剖学的モデルの座標空間に位置合わせすることと、カメラの深度情報を受信することとをさらに含む。種々の実施形態において、カメラの位置の情報は、ビジュアルオドメトリを介して決定される。種々の実施形態において、基準ビューを表示することは、基準ビューを画像上に重ねることを含む。種々の実施形態において、基準ビューを表示することは、主ディスプレイ上に画像を表示しながら、補完的ディスプレイ上に基準ビューを表示することを含む。種々の実施形態において、基準ビューは、基準ビューの小領域を示すフレームを含み、小領域は、視野に対応する。

種々の実施形態において、患者の体腔の内部を撮像にするように構成されたデジタルカメラと、ディスプレイと、それを用いて具現化されるプログラム命令を有するコンピュータ読み取り可能な記憶媒体を含むコンピューティングノードとを含むシステムが、提供される。プログラム命令は、プロセッサに、患者の体腔の内部の画像が１つ以上のカメラから受信される方法を実施させるように、コンピューティングノードのプロセッサによって実行可能である。１つ以上のカメラの位置情報が、受信される。解剖学的モデル上の１つ以上のカメラの視野を示す基準ビューが、位置情報に基づいて発生させられる。基準ビューは、画像との組み合わせにおいてユーザに表示される。

種々の実施形態において、カメラの向き情報が、受信され得、向き情報に基づいて、カメラの方向を示す方向インジケータが、解剖学的モデル上に発生させられ得る。種々の実施形態において、方向インジケータは、基準ビューとの組み合わせにおいて、ユーザに表示され得る。種々の実施形態において、方向のインジケータは、矢印を含む。種々の実施形態において、カメラは、位置情報を伝送するように構成された絶対位置センサを含む。種々の実施形態において、絶対位置センサは、１つ以上のエンコーダを含む。種々の実施形態において、絶対位置センサは、光学追跡システムを含む。種々の実施形態において、カメラは、向き情報を伝送するように構成された絶対向きセンサを含む。種々の実施形態において、絶対向きセンサは、１つ以上のエンコーダを含む。種々の実施形態において、絶対向きセンサは、光学追跡システムを含む。種々の実施形態において、解剖学的モデルは、汎用の解剖図を含む。種々の実施形態において、解剖学的モデルは、単純化された絵表現を含む。

種々の実施形態において、解剖学的モデルは、患者の撮像を含む。種々の実施形態において、撮像は、医療用画像管理システム（ＰＡＣＳ）から受信される。種々の実施形態において、撮像は、コンピュータ断層撮影（ＣＴ）、磁気共鳴撮像（ＭＲＩ）、Ｘ線、超音波、およびデジタル撮像のうちの少なくとも１つを含む。種々の実施形態において、患者の撮像は、医療手技中にリアルタイムで更新される。種々の実施形態において、患者の基準ビューは、医療手技中にリアルタイムで更新される。種々の実施形態において、方法は、カメラの座標空間を患者の座標空間に位置合わせすることと、カメラの座標空間を解剖学的モデルの座標空間に位置合わせすることと、カメラの深度情報を受信することとをさらに含む。種々の実施形態において、カメラの位置の情報は、ビジュアルオドメトリを介して決定される。種々の実施形態において、基準ビューを表示することは、基準ビューを画像上に重ねることを含む。種々の実施形態において、基準ビューを表示することは、主ディスプレイ上に画像を表示しながら、補完的ディスプレイ上に基準ビューを表示することを含む。種々の実施形態において、基準ビューは、基準ビューの小領域を示すフレームを含み、小領域は、視野に対応する。

種々の実施形態において、外科手術手技中にカメラを向けるためのコンピュータプログラム製品が、提供される。コンピュータプログラム製品は、それを用いて具現化されるプログラム命令を有するコンピュータ読み取り可能な記憶媒体を含む。プログラム命令は、プロセッサに、患者の体腔の内部の画像が１つ以上のカメラから受信される、方法を実施させるように、プロセッサによって実行可能である。１つ以上のカメラの位置情報が、受信される。解剖学的モデル上の１つ以上のカメラの視野を示す基準ビューが、位置情報に基づいて発生させられる。基準ビューは、画像との組み合わせにおいてユーザに表示される。

種々の実施形態において、カメラの向き情報が、受信され得、向き情報に基づいて、カメラの方向を示す方向インジケータが、解剖学的モデル上に発生させられ得る。種々の実施形態において、方向インジケータは、基準ビューとの組み合わせにおいて、ユーザに表示され得る。種々の実施形態において、方向のインジケータは、矢印を含む。種々の実施形態において、カメラは、位置情報を伝送するように構成された絶対位置センサを含む。種々の実施形態において、絶対位置センサは、１つ以上のエンコーダを含む。種々の実施形態において、絶対位置センサは、光学追跡システムを含む。種々の実施形態において、カメラは、向き情報を伝送するように構成された絶対向きセンサを含む。種々の実施形態において、絶対向きセンサは、１つ以上のエンコーダを含む。種々の実施形態において、絶対向きセンサは、光学追跡システムを含む。種々の実施形態において、解剖学的モデルは、汎用の解剖図を含む。種々の実施形態において、解剖学的モデルは、単純化された絵表現を含む。

種々の実施形態において、解剖学的モデルは、患者の撮像を含む。種々の実施形態において、撮像は、医療用画像管理システム（ＰＡＣＳ）から受信される。種々の実施形態において、撮像は、コンピュータ断層撮影（ＣＴ）、磁気共鳴撮像（ＭＲＩ）、Ｘ線、超音波、およびデジタル撮像のうちの少なくとも１つを含む。種々の実施形態において、患者の撮像は、医療手技中にリアルタイムで更新される。種々の実施形態において、患者の基準ビューは、医療手技中にリアルタイムで更新される。種々の実施形態において、方法は、カメラの座標空間を患者の座標空間に位置合わせすることと、カメラの座標空間を解剖学的モデルの座標空間に位置合わせすることと、カメラの深度情報を受信することとをさらに含む。種々の実施形態において、カメラの位置の情報は、ビジュアルオドメトリを介して決定される。種々の実施形態において、基準ビューを表示することは、基準ビューを画像上に重ねることを含む。種々の実施形態において、基準ビューを表示することは、主ディスプレイ上に画像を表示しながら、補完的ディスプレイ上に基準ビューを表示することを含む。種々の実施形態において、基準ビューは、基準ビューの小領域を示すフレームを含み、小領域は、視野に対応する。

図１は、本開示の実施形態による、ロボット外科手術のためのシステムを描写する。

図２は、本開示の実施形態による、例示的ディスプレイを図示する。

図３は、本開示の実施形態による、第２の例示的ディスプレイを図示する。

図４は、本開示の実施形態による、第３の例示的ディスプレイを図示する。

図５は、本開示の実施形態による、内視鏡を向ける方法を図示する。

図６は、例示的な医療用画像管理システム（ＰＡＣＳ）を描写する。

図７は、本開示のある実施形態による、コンピューティングノードを描写する。

内視鏡は、照明付きの光学式の典型的に細長い管状の器具（あるタイプのボアスコープ）であり、身体内を見るために使用される。内視鏡は、診断または外科手術の目的のために内臓を検査するために使用され得る。特殊な器具、例えば、膀胱鏡（膀胱）、腎臓鏡（腎臓）、気管支鏡（気管支）、関節鏡（関節）、結腸鏡（結腸）、腹腔鏡（腹部または骨盤）は、それらの標的解剖学的構造にちなんで名付けられる。

腹腔鏡下外科手術は、一般的に、腹腔鏡の補助を借りて、小さい切開（通常、０．５～１．５ｃｍ）を使用して腹部または骨盤において実施される。そのような低侵襲性技法の利点は、周知であり、観血術と比較してより小さい切開に起因する低減させられた疼痛と、より少ない出血と、より短い回復時間とを含む。

単一の腹腔鏡を通して入手可能な画像は、概して２次元であり、それは、可能な外科手術の範囲にある限界を課す。加えて、腹腔鏡外科手術において使用されるツールは、概して限定された範囲の運動を有し、それは、制約される空間内で稼働することを困難にし得る。

ロボット外科手術は、それも小さい切開、カメラ、および種々の外科手術ツールを使用する限りにおいて、腹腔鏡外科手術に類似する。しかしながら、外科手術ツールを直接保持および操作することの代わりに、外科医は、１つ以上の外科手術ツールを有するロボットを遠隔で操作するために制御を使用する。コンソールは、外科医に増加した正確度および視覚を可能にする高解像度画像を提供する。

ロボット支援低侵襲性外科手術の場合、器具を直接移動させることの代わりに、外科医は、コンピュータ制御される遠隔マニピュレータまたは外科手術ツールのいずれかを使用する。遠隔マニピュレータは、外科医が所与の外科手術に関連付けられる通常の移動を実施することを可能にする遠隔のマニピュレータである。ロボットアームは、エンドエフェクタおよびマニピュレータを使用してそれらの移動を行い、患者に対する外科手術を実施する。コンピュータ制御されるシステムにおいて、外科医は、コンピュータを使用し、ロボットアームおよびそのエンドエフェクタを制御する。

ロボット外科手術の１つの利点は、外科医が、外科手術部位を直接視認する必要がなく、実際、手術室内の中にいる必要が全くないことである。しかしながら、コンソールを通して外科手術部位を視認するとき、外科医は、その外科手術部位の幾何学形状から隔離されている。特に、彼らは、限定された視野に起因して、方向および縮尺に関して混乱させられた状態になり得る。

画像コンソールは、３次元の高解像度、かつ拡大された画像を提供することができる。種々の電子ツールが、適用され、外科医をさらに補助し得る。これらは、視覚的倍率（例えば、可視性を改良する大型視認スクリーンの使用）と、安定化（例えば、機械または揺れるヒトの手に起因する振動の電気機械式減衰）とを含む。シミュレータも、外科手術における医師の熟練度を改良するための特殊仮想現実訓練ツールの形態において提供され得る。

しかしながら、画像がさらに操作されるにつれて、外科医は外科手術部位の幾何学形状からさらに絶縁され、混乱させられた状態になり得る。

外科手術中に外科医に向きを提供することに役立つために、本開示の種々の実施形態は、デジタルディスプレイ内にナビゲーション挿入図を提供する。ナビゲーション挿入図は、解剖学的モデルに対する現在のビューの位置を提供する。加えて、いくつかの実施形態は、「上」等の基準方向の指示を提供する。

図１を参照すると、本開示による、例示的なロボット外科手術設定が、図示される。ロボットアーム１０１が、腹部１０３内でスコープ１０２を展開する。デジタル画像が、スコープ１０２を介して収集される。いくつかの実施形態において、デジタル画像が、スコープ先端における１つ以上のデジタルカメラによって捕捉される。いくつかの実施形態において、デジタル画像が、スコープ先端から他所における１つ以上のデジタルカメラまで伸びる１つ以上の光ファイバ要素によって捕捉される。

デジタル画像は、コンピューティングノード１０４に提供され、それは、処理され、次いで、ディスプレイ１０５上に表示される。

種々の実施形態において、スコープ１０２は、１つ以上の位置および向きセンサ、例えば、磁気計、ジャイロスコープ、および／または距離計を含む。いくつかの実施形態において、アーム１０１の各関節部の位置が、追跡され、コンピューティングノード１０４によるスコープ１０２の場所および向きの算出を可能にする。いくつかの実施形態において、スコープ１０２が、画像に加えて、深度データを提供するように構成される。センサ出力および／または関節部位置に基づいて、コンピューティングノード１０４が、外科手術対象に対するスコープの場所および向きを決定した。この場所は、次いで、解剖学的モデルと互いに関係付けられ得る。下で提示されるように、解剖学的モデルとの相関が、深度データ、画像認識／解剖図位置合わせ、および／または、共通座標系への患者の位置合わせに基づいて、実施され得る。

このように、コンピューティングノード１０４は、表示のためのカメラ位置および向きの指示を発生させることができる。

種々の方法が、カメラの視野がオーバーレイされている解剖学的構造の部分を決定するために使用される。いくつかの実施形態において、患者は、カメラ座標を提供する同じ空間に位置合わせされる。そのような実施形態において、例えば、各ロボット関節部の配列から決定されるようなカメラ場所が、次いで、共通座標空間において患者と互いに関係付けられる。いくつかの実施形態において、カメラによって捕捉された画像が、解釈され、視野の中の解剖学的構造を識別する。このように、視野は、基準モデルに対して決定され得る。

図２を参照すると、本開示による例示的ディスプレイが、提供される。画像２０１が、外科手術部位の内側におけるカメラから伝送される。種々の実施形態において、カメラは、内視鏡ツールの遠位端において提供され得る。カメラの場所および向きに基づいて、概略ビュー２０２も、提供される。ビュー２０２は、例えば、胴体の解剖学的モデルを含む。フレーム２０３が、モデル上で、画像２０１の広がりを強調する。種々の実施形態において、カメラが移動して離れ、解剖学的構造のより大きい部分を見るにつれて、このフレームは、カメラの視野を反映するように大きさを変更する。

図３を参照すると、本開示による第２の例示的ディスプレイが、提供される。画像３０１が、外科手術部位の内側におけるカメラから伝送される。カメラの場所および向きに基づいて、概略ビュー３０２も、提供される。ビュー３０２は、例えば、胴体の解剖学的モデルを含む。フレーム３０３が、モデル上で、画像３０１の広がりを強調する。種々の実施形態において、カメラが移動して離れ、解剖学的構造のより大きい部分を見るにつれて、このフレームは、カメラの視野を反映するように大きさを変更する。矢印３０４が、解剖学的モデルに対するカメラの方向を示した。

種々の実施形態において、外科医は、患者に対して所与の上方向を維持するように、画像３０１を係止し得る。このように、カメラの回転は、画像に回転させない。

図２－３内の配列が、例示的であり、カメラビューおよび基準／概略ビューの他の配列が、種々の実施形態において使用され得ることを理解されたい。例えば、基準ビューは、カメラビューを含むメインディスプレイと別個である補完的ディスプレイ上に表示され得る。別の例では、基準ビューは、メインカメラビューに挿入図として表示される。別の例では、基準ビューは、外科医によって、例えば、タッチインターフェースを通してメインカメラビュー内に位置付けられ、大きさを変更され得る。

図４を参照すると、本開示による第３のディスプレイが、提供される。画像４０１が、外科手術部位の内側（例えば、腹腔鏡手技を受ける患者の腹部の内側）におけるカメラから伝送される。カメラの場所および向きに基づいて、概略ビュー４０２も、提供される。ビュー４０２は、例えば、胴体の解剖学的モデルを含む。フレーム４０３が、モデル上で、画像４０１の広がりを強調する。カメラが移動して離れ、解剖学的構造のより大きい部分を見るにつれて、このフレームが、カメラの視野を反映するように大きさを変更する。矢印４０４が、解剖学的モデルに対するカメラの方向を示した。

種々の実施形態において、解剖学的モデルは、汎用の解剖図を含み得る。種々の実施形態において、汎用の解剖図は、種々の組織、器官、身体構造等の形状、位置、および相対的場所を近似するように模索するヒトの解剖学的構造の一般的表現であり得る。種々の実施形態において、解剖学的モデルは、１つ以上の解剖学的オブジェクト（例えば、心臓、肺、腸、膀胱等）の単純化された絵表現であり得る。種々の実施形態において、単純化された絵表現は、略画であり得る。種々の実施形態において、単純化された絵表現は、解剖学的オブジェクト（例えば、心臓）の種々の構造を表すための基本形状を含み得る。例えば、心臓は、４つの大血管（すなわち、大動脈、大静脈、肺動脈、および肺静脈）を表す４つの円筒形の管を有する中空のボックスまたは球として表され得る。

種々の実施形態において、解剖学的モデルは、患者からの撮像を含み得る。種々の実施形態において、撮像は、ＰＡＣＳから読み出され得る。種々の実施形態において、撮像は、任意の好適な２Ｄ撮像（例えば、デジタル撮像、Ｘ線、ＣＴ、ＭＲＩ、超音波等）を含み得る。種々の実施形態において、撮像は、任意の好適な２Ｄ撮像技法（例えば、一続きの２Ｄ ＭＲＩスライス）に基づいた３Ｄ再構築物を含み得る。種々の実施形態において、患者の撮像は、医療手技中にリアルタイムで更新され得る。例えば、患者の撮像は、（例えば、蛍光透視法、術中ＣＴ等を使用して）リアルタイムで捕捉され得、解剖学的モデルは、リアルタイムの撮像に基づいて更新され得る。例えば、組織または器官が、外科医によって、（例えば、外科医が、下層の構造にアクセスし得るように）外科手術前撮像において表される元の位置から外にシフトされた場合、リアルタイムの撮像が、解剖学的モデル内のシフトされた組織または器官の位置を更新し、モデルの正確度を改良するであろう。

種々の実施形態において、カメラの位置（例えば、３次元座標）および／または向き（例えば、３Ｄ回転）が、絶対位置（すなわち、場所）および絶対向きを使用して決定され得る。例えば、カメラは、カメラの絶対位置および／または絶対向きを決定するための１つ以上のエンコーダを伴う機械アーム上に搭載され得る。別の例では、カメラは、当技術分野において公知であるような好適な光学追跡システムを用いて追跡され得る。

種々の実施形態において、絶対位置は、ＲＦ三角測量法（例えば、時間遅延または位相遅延）を介して決定され得る。種々の実施形態において、カメラの位置は、（例えば、停電中に）オペレーティングシステムがオフにされ、オンに戻されたときでも把握され得る。種々の実施形態において、カメラは、磁気ナビゲーションシステムを含み得る。種々の実施形態において、カメラは、磁気センサを含み得る。種々の実施形態において、磁場発生器が、外科手術部位の外側（例えば、外科手術台の下）において設置され得る。

種々の実施形態において、カメラの位置（例えば、３次元座標）および／または向き（例えば、３Ｄ回転）は、相対位置（すなわち、変位量）および相対向きを使用して決定され得る。例えば、カメラは、慣性測定ユニットを取り付けられ、カメラの相対位置および／または相対向きを決定し得る。

種々の実施形態において、カメラの位置は、以下のセンサのうちの１つ以上を使用して決定され得る：絶対エンコーダ、容量変位センサ、渦電流センサ、ホール効果センサ、増分エンコーダ、誘導センサ、レーザドップラ、振動計（光学）、線形エンコーダ、線形可変作動変圧器（ＬＶＤＴ）、光学エンコーダ、光ダイオードアレイ、磁気エンコーダ、圧電トランスデューサ（圧電）、電位差計、近接センサ（光学）、回転エンコーダ（角度）、ストリング電位差計、および／または超音波センサ。

種々の実施形態において、内視鏡は、例えば、内視鏡の曲率を決定するために、歪みセンサを含み得る。種々の実施形態において、内視鏡は、光学歪みゲージ、例えば、Ｂｒａｇｇファイバを含み得る。

種々の実施形態において、カメラの座標空間は、患者および／または解剖学的モデルの座標空間と位置合わせされ得る。種々の実施形態において、カメラの座標空間と患者および／または解剖学的モデルの座標空間との位置合わせは、較正行列を使用して位置合わせされ得る。種々の実施形態において、較正行列は、最小２乗平均（ＬＭＳ）アルゴリズムを介して決定され得る。種々の実施形態において、較正行列は、カルマンフィルタを介して決定され得る。

種々の実施形態において、カメラの座標空間は、解剖学的目印を使用することによって、患者および／またはモデルの座標空間に位置合わせされ得る。種々の実施形態において、絶対カメラ位置を使用する場合、カメラは、カメラを外側から患者に向けて、目印（例えば、寛骨および／または胸骨等の骨目印）を識別することによって、患者および／またはモデルに位置合わせされることができる。種々の実施形態において、同じ目印が、モデルにおいて識別され得る。種々の実施形態において、異なる目印が、モデルと患者との座標空間を整列させるために識別され得る。例えば、１つ（またはそれを上回る）解剖学的目印が、カメラと患者との座標空間を整列させるために使用され得る一方、異なる（１つ以上の）解剖学的目印が、カメラとモデルとの座標空間を整列させるために使用され得る。種々の実施形態において、カメラの後続の位置は、絶対単位において報告され得る。種々の実施形態において、絶対単位は、患者座標空間および／またはモデル座標空間に変換され得る。

種々の実施形態において、相対カメラ位置を使用する場合、カメラは、絶対位置方法と同様、カメラを１つ以上の解剖学的目印に向けることによって、患者および／またはモデルに位置合わせされることができる。種々の実施形態において、意図される手術部位（例えば、肝臓、食道裂孔、腎臓等）により近い１つ以上の解剖学的目印が、選定される。種々の実施形態において、カメラの相対位置は、初期の位置合わせ部位から連続して追跡され得る。種々の実施形態において、カメラの相対位置は、患者および／またはモデル座標空間に変換され得る。

種々の実施形態において、カメラの位置の情報および／または向き情報が、ビジュアルオドメトリを使用して決定され得る。種々の実施形態において、１つ以上のカメラからの１つ以上の画像フレーム（例えば、一続きの画像）が、分析され、１つ以上のカメラの位置の情報および／または向き情報を決定し得る。種々の実施形態において、ビジュアルオドメトリは、単眼設定において実施され得る。種々の実施形態において、ビジュアルオドメトリは、ステレオ設定（例えば、互いに対する既知の位置を有する２つのカメラ）において実施され得る。種々の実施形態において、１つ以上のカメラは、１つ以上の較正マーカから較正され得る。種々の実施形態において、較正マーカは、例えば、１つ以上の既知の測定値、既知の距離における１つ以上のオブジェクト、および／または１つ以上の既知の角回転を含み得る。種々の実施形態において、カメラは、外科手術を実施することに先立って（例えば、体腔の中への挿入の前に）較正マーカに対して較正され得る。種々の実施形態において、ビジュアルオドメトリは、画像特徴点を抽出し、画像列においてそれらを追跡することによる特徴ベースの方法を使用して実施され得る。種々の実施形態において、ビジュアルオドメトリは、直接的方法を使用して実施され得、画像列におけるピクセル強度が、視覚入力として直接使用される。種々の実施形態において、ビジュアルオドメトリは、特徴ベースの方法および直接的方法の混成方法を使用して実施され得る。種々の実施形態において、ビジュアルオドメトリは、慣性測定ユニットを使用して実施され得る。

種々の実施形態において、ビジュアルオドメトリは、以下のアルゴリズムステップを使用して実施され得る。第１のステップにおいて、入力画像が、単一のカメラ、ステレオカメラ、または全方位カメラのいずれかを使用して入手され得る。第２のステップにおいて、画像処理技法が、レンズ歪除去等のために適用される画像補正が、実施され得る。第３のステップにおいて、特徴検出が、実施され、着目演算子を定義し、フレームを横断して特徴を合致させ、光学流動場を構築し得る。特徴検出において、相関が、２つの画像の対応を確立するために使用され得、長期間の特徴追跡を行わない。特徴抽出および相関が、実施され得る。光学流動場が、構築され得る（例えば、Ｌｕｃａｓ－Ｋａｎａｄｅ法）。第４のステップにおいて、流動場ベクトルが、潜在的な追跡誤差に関して確認され、外れ値を除去する。第５のステップにおいて、カメラ運動が、光学流から推定される。カメラ運動の推定は、（１）状態推定分布維持のためのカルマンフィルタ、または、（２）２つの隣接する画像間の再投影誤差に基づいてコスト関数を最小化する特徴の幾何学的および３Ｄ性質（これは、例えば、数学的最小化または無作為サンプリングによって行われ得る）を通して実施され得る。第６のステップにおいて、追跡点の周期的な再増殖が、画像にわたる対象範囲を維持するために実施され得る。種々の実施形態において、センサ空間における誤差を直接最小化し、続いて、特徴の合致および抽出を回避する直接的または外観ベースのビジュアルオドメトリ技法が、実施され得る。種々の実施形態において、「ビジオドメトリ」として公知であるビジュアルオドメトリの別の方法が、特徴を抽出することの代わりに、位相相関を使用して画像間の平面状の回転平行移動を推定することによって実施され得る。

種々の実施形態において、１つ以上のカメラが、場面内の１つ以上のマーカから位置および／または深度を決定し得る。種々の実施形態において、１つ以上のマーカは、解剖学的目印、人工マーカ（例えば、色素マーカ）、外科手術ツール（例えば、縫合糸）等を含み得る。

種々の実施形態において、１つ以上のカメラは、１つ以上の画像フレームをパノラマピクチャに合成（例えば、スティッチング）し得る。種々の実施形態において、解剖学的モデル上でフレームを強調することは、１つ以上の画像フレームから発生させられるパノラマピクチャに基づいて、調節され得る（例えば、サイズが増加される、またはサイズが縮小される）。

ここで図５を参照すると、本開示の実施形態による、外科手術手技中にカメラを向ける方法が、図示される。４０１において、体腔の内部の画像が、カメラから受信される。４０２において、カメラの位置情報が、受信される。４０３において、解剖学的モデル上のカメラの視野を示す基準ビューが、位置情報に基づいて発生させられる。４０４において、基準ビューが、画像との組み合わせにおいてユーザに表示される。

本開示の種々の実施形態は、内視鏡等の胃腸（ＧＩ）カテーテル内でユーザのために適合され得る。特に、内視鏡は、霧状噴霧器、赤外線源、カメラシステム、光学装置、１つ以上のロボットアーム、および／または画像プロセッサを含み得る。

種々の実施形態において、本明細書に説明されるシステムは、ランタイムにおいて構成可能であり得る。種々の実施形態において、１つ以上の患者画像（例えば、ＤＩＣＯＭ画像）が、外科手術手技に先立って予めロードされ得る。種々の実施形態において、患者画像は、ＰＡＣＳからロードされ得る。種々の実施形態において、ユーザの選好が、保存され得る。種々の実施形態において、ユーザの選好は、システムへの特定のユーザのログイン時、ロードされ得る。

医療用画像管理システム（ＰＡＣＳ）は、複数のモダリティからの画像の記憶およびそれらへのアクセスを提供する医療用撮像システムである。多くの医療環境において、電子画像および報告書が、ＰＡＣＳを介してデジタル的に伝送され、したがって、手動でフィルムジャケットをファイリングし、読み出し、または転送する必要性を排除する。ＰＡＣＳの画像記憶および転送のための規格フォーマットは、ＤＩＣＯＭ（医学におけるデジタルイメージングおよび通信）である。走査文書等の非画像データは、ＤＩＣＯＭ内にカプセル化されたＰＤＦ（ポータブルドキュメントフォーマット）等の種々の規格フォーマットを使用して組み込まれ得る。

電子カルテ（ＥＨＲ）または電子医療記録（ＥＭＲ）は、デジタルフォーマットにおける患者および集団の電子的に記憶された健康情報の体系化された収集物を指し得る。これらの記録は、異なる健康管理設定を横断して共有されることができ、上で議論されるＰＡＣＳにおいて利用可能な情報を超えて拡張され得る。記録は、ネットワーク接続された企業全体の情報システムまたは他の情報ネットワークおよび交換を通して共有され得る。ＥＨＲは、人口統計、医療履歴、薬剤およびアレルギー、免疫ステータス、検査室試験結果、放射線報告書、放射線画像、バイタルサイン、年齢および体重のような個人統計値、および請求書情報を含むある範囲のデータを含み得る。

ＥＨＲシステムは、データを記憶し、時間の経過とともに患者の状態を捕捉するように設計され得る。このように、患者の以前の紙の医療記録を追跡する必要性が、排除される。加えて、ＥＨＲシステムは、データが正確であり、読みやすいことを確実にすることを補助し得る。これは、データが、一元化されているので、データ複製のリスクを低減させ得る。デジタル情報が検索可能であることに起因して、ＥＭＲは、患者体内の可能な傾向および長期間の変化の検査のために医療データを抽出するとき、より効率的であり得る。医療記録の母集団ベースの研究も、ＥＨＲおよびＥＭＲの幅広い採用によって促進され得る。

Ｈｅａｌｔｈ Ｌｅｖｅｌ－７またはＨＬ７は、種々の医療提供者によって使用されるソフトウェアアプリケーション間の臨床的および管理データの転送のための国際規格の組を指す。これらの規格は、ＯＳＩモデル内のレイヤ７であるアプリケーションレイヤ上に焦点を当てる。病院および他の医療提供者組織は、請求書記録から患者追跡までのあらゆるものに関して使用される多くの異なるコンピュータシステムを有し得る。理想的に、これらのシステムの全てが、新しい情報を受信するとき、または情報を読み出すことを所望するときに互いに通信し得るが、そのようなアプローチの採用は、普及していない。これらのデータ規格は、医療組織が容易に臨床情報を共有することを可能にすることが意図される。情報を交換するためのこの能力は、医療処置の変動性および医療処置が地理的に隔離される傾向を最小化することに役立ち得る。

種々のシステムにおいて、ＰＡＣＳ、電子医療記録（ＥＭＲ）、病院情報システム（ＨＩＳ）、放射線情報システム（ＲＩＳ）、または報告書格納場所間の接続が、提供される。このように、ＥＭＲからの記録および報告が、分析のために取り入れられ得る。例えば、ＨＬ７の指示および結果メッセージを取り入れ、記憶することに加えて、ＡＤＴメッセージが、使用され得るか、または、ＥＭＲ、ＲＩＳ、または報告書格納場所が、製品固有の機構を介して直接クエリされ得る。そのような機構は、関連のある臨床的情報に関する高速健康相互運用性リソース（ＦＨＩＲ）を含む。臨床的データも、ケア文書の継続性（ＣＣＤ）等の種々のＨＬ７ＣＤＡ文書の受信を介して取得され得る。種々の追加の独自または現場カスタマイズされたクエリ方法も、標準的方法に加えて、採用され得る。

図６を参照すると、例示的なＰＡＣＳ６００は、４つの主要なコンポーネントから成る。コンピュータ断層撮影（ＣＴ）６０１、磁気共鳴撮像（ＭＲＩ）６０２、または超音波（ＵＳ）６０３等の種々の撮像モダリティ６０１・・・６０９が、システムに像を提供する。いくつかの実装において、像が、アーカイブ６１２内に記憶される前、ＰＡＣＳゲートウェイ６１１に伝送される。アーカイブ６１２は、画像および報告の記憶および読み出しを提供する。ワークステーション６２１・・・６２９は、アーカイブ６１２内の画像を解釈および精査することを提供する。いくつかの実施形態において、セキュリティ保護されたネットワークが、システムのコンポーネント間での患者情報の伝送のために使用される。いくつかの実施形態において、ワークステーション６２１・・・６２９は、ウェブベースのビューアであり得る。ＰＡＣＳは、画像、解釈、および関連するデータへのタイムリーで効率的なアクセスをもたらし、従来的なフィルムベースの画像読み出し、配布、および表示の欠点を排除する。

ＰＡＣＳは、Ｘ線プレーンフィルム（ＰＦ）、超音波（ＵＳ）、磁気共鳴（ＭＲ）、核医学撮像、陽電子放出断層撮影（ＰＥＴ）、コンピュータ断層撮影（ＣＴ）、内視鏡検査（ＥＳ）、マンモグラム（ＭＧ）、デジタルＸ線撮影（ＤＲ）、コンピュータＸ線撮影（ＣＲ）、組織病理学、または眼科等の種々の医学的撮像器具からの画像に対処し得る。しかしながら、ＰＡＣＳは、所定の画像のリストに限定されず、放射線学、心臓学、腫瘍学、または消化器学等の従来の撮像のソースを超えた臨床分野を支援する。

異なるユーザが、ＰＡＣＳシステム全体の中への異なるビューを有し得る。例えば、放射線医師が、典型的に、視認ステーションにアクセスし得る一方、技術者が、典型的に、ＱＡワークステーションにアクセスし得る。

いくつかの実装において、ＰＡＣＳゲートウェイ６１１は、品質保証（ＱＡ）ワークステーションを備えている。ＱＡワークステーションは、患者人口統計が、検査の他の重要な属性と同様に正しいことを確認するためのチェックポイントを提供する。検査情報が、正しい場合、画像は、記憶のためにアーカイブ６１２に渡される。中央記憶デバイス、すなわち、アーカイブ６１２は、画像、いくつかの実装において、画像とともに常駐する報告、測定値、および他の情報を記憶する。

画像が、アーカイブ６１２に記憶されると、それらは、読み取りワークステーション６２１・・・６２９からアクセスされ得る。読み取りワークステーションは、放射線医師が患者の検査を精査し、それらの診断をまとめる場所である。いくつかの実装において、報告パッケージが、読み取りワークステーションに結び付けられ、放射線医師が最終報告を決定することを補助する。従来的な決定に依拠するそれらを含む種々の報告システムが、ＰＡＣＳと統合され得る。いくつかの実装において、ＣＤまたはＤＶＤ編集支援ソフトウェアが、患者または紹介医への配布のための患者検査をコピーするために、ワークステーション６２１・・・６２９内に含まれる。

いくつかの実装において、ＰＡＣＳは、ワークステーション６２１・・・６２９のためのウェブベースのインターフェースを含む。そのようなウェブインターフェースは、インターネットまたは広域ネットワーク（ＷＡＮ）を介してアクセスされ得る。いくつかの実装において、接続セキュリティが、ＶＰＮ（仮想プライベートネットワーク）またはＳＳＬ（セキュアソケットレイヤ）によって提供される。クライアント側ソフトウェアは、ＡｃｔｉｖｅＸ、Ｊａｖａ（登録商標）Ｓｃｒｉｐｔ、またはＪａｖａ（登録商標） Ａｐｐｌｅｔを含む。ＰＡＣＳクライアントは、それらがウェブ環境の外側において実行しているコンピュータの十分なリソースを活用するフルアプリケーションでもあり得る。

ＰＡＣＳ内の通信は、概して、医学におけるデジタルイメージングおよび通信（ＤＩＣＯＭ）を介して提供される。ＤＩＣＯＭは、医療用撮像における情報を取り扱い、記憶し、印刷し、伝送するための規格を提供する。これは、ファイルフォーマット定義と、ネットワーク通信プロトコルとを含む。通信プロトコルは、システム間で通信するためにＴＣＰ／ＩＰを使用するアプリケーションプロトコルである。ＤＩＣＯＭファイルは、ＤＩＣＯＭフォーマットにおける画像および患者データを受信することが可能である２つのエンティティ間で交換されることができる。

ＤＩＣＯＭは、情報をデータセットに群化する。例えば、特定の画像を含むファイルは、概して、ファイル内に患者ＩＤを含み、それによって、画像は、誤ってこの情報から決して分離されることができない。ＤＩＣＯＭデータオブジェクトは、氏名および患者ＩＤ等のアイテムを含むいくつかの属性、および画像ピクセルデータを含む特別な属性から成る。したがって、主要なオブジェクトは、そのようなヘッダを有していないが、代わりに、ピクセルデータを含む属性のリストを含む。ピクセルデータを含むＤＩＣＯＭオブジェクトは、単一の画像に対応し得るか、または、複数のフレームを含み得、シネループまたは他のマルチフレームデータの記憶を可能にする。ＤＩＣＯＭは、単一のＤＩＣＯＭオブジェクト内にカプセル化される３または４次元データを支援する。ピクセルデータは、ＪＰＥＧ、ロスレスＪＰＥＧ、ＪＰＥＧ ２０００、およびランレングス符号化（ＲＬＥ）を含む種々の規格を使用して圧縮され得る。ＬＺＷ（ｚｉｐ）圧縮が、データセット全体またはピクセルデータのみに使用され得る。

ここで図７を参照すると、コンピューティングノードのある例の概略図が、示される。コンピューティングノード１０は、好適なコンピューティングノードの一例にすぎず、本明細書に説明される実施形態の使用または機能性の範囲に関する任意の限界を示唆することを意図するものではない。それにもかかわらず、コンピューティングノード１０は、実装される、および／または前述に記載される機能性のうちのいずれかを実施することが可能である。

コンピューティングノード１０において、コンピュータシステム／サーバ１２が、存在し、それは、多数の他の汎用目的または特殊目的コンピューティングシステム環境または構成で動作する。コンピュータシステム／サーバ１２との使用のために好適であり得る周知のコンピューティングシステム、環境、および／または構成の例は、限定ではないが、パーソナルコンピュータシステム、サーバコンピュータシステム、シンクライアント、シッククライアント、ハンドヘルドまたはラップトップデバイス、マルチプロセッサシステム、マイクロプロセッサベースのシステム、セットトップボックス、プログラマブル消費者電子機器、ネットワークＰＣ、ミニコンピュータシステム、メインフレームコンピュータシステム、および上記のシステムまたはデバイスのいずれかを含む分散型クラウドコンピューティング環境等を含む。

コンピュータシステム／サーバ１２は、コンピュータシステムによって実行されるプログラムモジュール等のコンピュータシステム実行可能命令の一般的コンテキストにおいて説明され得る。概して、プログラムモジュールは、特定のタスクを実施するルーチン、プログラム、オブジェクト、コンポーネント、論理、データ構造等、または特定の抽象データタイプを実装するそれらを含み得る。コンピュータシステム／サーバ１２は、タスクが通信ネットワークを通してリンクされる遠隔処理デバイスによって実施される分散型クラウドコンピューティング環境内で実践され得る。分散型クラウドコンピューティング環境では、プログラムモジュールは、メモリ記憶デバイスを含むローカルおよび遠隔コンピュータシステム記憶媒体の両方内に位置し得る。

図７に示されるように、コンピューティングノード１０内のコンピュータシステム／サーバ１２は、汎用目的コンピューティングデバイスの形態で示される。コンピュータシステム／サーバ１２のコンポーネントは、限定ではないが、１つ以上のプロセッサまたは処理ユニット１６、システムメモリ２８、およびシステムメモリ２８を含む種々のシステムコンポーネントをプロセッサ１６に結合するバス１８を含み得る。

バス１８は、種々のバスアーキテクチャのいずれかを使用するメモリバスまたはメモリコントローラ、周辺バス、加速グラフィックポート、およびプロセッサまたはローカルバスを含むいくつかのタイプのバス構造のいずれかのうちの１つ以上のものを表す。一例として、限定ではなく、そのようなアーキテクチャは、産業標準アーキテクチャ（ＩＳＡ）バス、マイクロチャネルアーキテクチャ（ＭＣＡ）バス、拡張ＩＳＡ（ＥＩＳＡ）バス、Ｖｉｄｅｏ Ｅｌｅｃｔｒｏｎｉｃｓ Ｓｔａｎｄａｒｄｓ Ａｓｓｏｃｉａｔｉｏｎ（ＶＥＳＡ）ローカルバス、周辺コンポーネント相互接続（ＰＣＩ）バス、Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｅｘｐｒｅｓｓ（ＰＣＩｅ）、および高度マイクロコントローラバスアーキテクチャ（ＡＭＢＡ）を含む。

コンピュータシステム／サーバ１２は、典型的に、種々のコンピュータシステム読み取り可能な媒体を含む。そのような媒体は、コンピュータシステム／サーバ１２によってアクセス可能な任意の利用可能な媒体であり得、揮発性および不揮発性媒体のリムーバブルおよび非リムーバブル媒体の両方を含む。

システムメモリ２８は、ランダムアクセスメモリ（ＲＡＭ）３０および／またはキャッシュメモリ３２等の揮発性メモリの形態におけるコンピュータシステム読み取り可能な媒体を含むことができる。コンピュータシステム／サーバ１２は、他のリムーバブル／非リムーバブル揮発性／不揮発性コンピュータシステム記憶媒体をさらに含み得る。一例にすぎないが、記憶システム３４は、非リムーバブル不揮発性磁気媒体（示されないが、典型的に、「ハードドライブ」と呼ばれる）から読み取り、それに書き込むために提供されることができる。図示されないが、リムーバブル不揮発性磁気ディスク（例えば、「フロッピー（登録商標）ディスク」）から読み取り、それに書き込むための磁気ディスクドライブ、およびＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、または他の光学媒体等のリムーバブル不揮発性光ディスクから読み取り、それに書き込むための光ディスクドライブが、提供されることができる。そのようなインスタンスでは、それぞれ、１つ以上のデータ媒体インターフェースによって、バス１８に接続されることができる。下記にさらに描写および説明されるであろうように、メモリ２８は、本開示の実施形態の機能を行うように構成されるプログラムモジュールの組（例えば、少なくとも１つ）を有する少なくとも１つのプログラム製品を含み得る。

プログラムモジュール４２の組（少なくとも１つ）を有するプログラム／ユーティリティ４０は、一例として、限定ではなく、メモリ２８、およびオペレーティングシステム、１つ以上のアプリケーションプログラム、他のプログラムモジュール、およびプログラムデータの中に記憶され得る。オペレーティングシステム、１つ以上のアプリケーションプログラム、他のプログラムモジュール、およびプログラムデータまたはそれらのある組み合わせの各々は、ネットワーキング環境の実装を含み得る。プログラムモジュール４２は、概して、本明細書に説明される実施形態の機能および／または方法論を行う。

コンピュータシステム／サーバ１２は、キーボード、ポインティングデバイス、ディスプレイ２４等の１つ以上の外部デバイス１４、ユーザがコンピュータシステム／サーバ１２と相互作用することを可能にする１つ以上のデバイス、および／またはコンピュータシステム／サーバ１２が１つ以上の他のコンピューティングデバイスと通信することを可能にする任意のデバイス（例えば、ネットワークカード、モデム等）とも通信し得る。そのような通信は、入力／出力（Ｉ／Ｏ）インターフェース２２を介して生じ得る。なおもさらに、コンピュータシステム／サーバ１２は、ネットワークアダプタ２０を介して、ローカルエリアネットワーク（ＬＡＮ）、一般的広域ネットワーク（ＷＡＮ）、および／またはパブリックネットワーク（例えば、インターネット）等の１つ以上のネットワークと通信することができる。描写されるように、ネットワークアダプタ２０は、バス１８を介して、コンピュータシステム／サーバ１２の他のコンポーネントと通信する。図示されないが、他のハードウェアおよび／またはソフトウェアコンポーネントも、コンピュータシステム／サーバ１２と共に使用され得ることを理解されたい。例は、限定ではないが、マイクロコード、デバイスドライバ、冗長処理ユニット、外部ディスクドライブアレイ、ＲＡＩＤシステム、テープドライブ、およびデータアーカイブ記憶システム等を含む。

本開示は、システム、方法、および／またはコンピュータプログラム製品として具現化され得る。コンピュータプログラム製品は、プロセッサに本開示の側面を行わせるためのコンピュータ読み取り可能なプログラム命令をその上に有するコンピュータ読み取り可能な記憶媒体（または複数の媒体）を含み得る。

コンピュータ読み取り可能な記憶媒体は、命令実行デバイスによる使用のための命令を保持し、記憶し得る有形デバイスであることができる。コンピュータ読み取り可能な記憶媒体は、例えば、限定ではないが、電子記憶デバイス、磁気記憶デバイス、光学記憶デバイス、電磁記憶デバイス、半導体記憶デバイス、または前述の任意の好適な組み合わせであり得る。コンピュータ読み取り可能な記憶媒体のより具体的例の非包括的リストは、以下を含む：ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能なプログラム可能読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピー（登録商標）ディスク、その上に記録される命令を有するパンチカードまたは溝内の隆起構造等の機械的にエンコードされたデバイス、および前述の任意の好適な組み合わせ。コンピュータ読み取り可能な記憶媒体は、本明細書で使用される場合、それ自体では、無線波または他の自由に伝搬する電磁波、導波管または他の伝送媒体を通して伝搬する電磁波（例えば、光ファイバケーブルを通して通過する光パルス）、またはワイヤを通して伝送される電気信号等の一過性信号であるとして解釈されるべきではない。

本明細書に説明されるコンピュータ読み取り可能なプログラム命令は、コンピュータ読み取り可能な記憶媒体からそれぞれのコンピューティング／処理デバイスに、またはネットワーク、例えば、インターネット、ローカルエリアネットワーク、広域ネットワーク、および／または無線ネットワークを介して、外部コンピュータまたは外部記憶デバイスにダウンロードされることができる。ネットワークは、銅伝送ケーブル、光学伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ、および／またはエッジサーバを備え得る。各コンピューティング／処理デバイス内のネットワークアダプタカードまたはネットワークインターフェースは、コンピュータ読み取り可能なプログラム命令をネットワークから受信し、それぞれのコンピューティング／処理デバイス内のコンピュータ読み取り可能な記憶媒体内への記憶のために、コンピュータ読み取り可能なプログラム命令を転送する。

本開示の動作を行うためのコンピュータ読み取り可能なプログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋等のオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語または類似プログラミング言語等の従来の手続型プログラミング言語を含む１つ以上のプログラミング言語の任意の組み合わせで書き込まれるソースコードまたはオブジェクトコードのいずれかであり得る。コンピュータ読み取り可能なプログラム命令は、ユーザのコンピュータ上で完全に、ユーザのコンピュータ上で部分的に、独立型ソフトウェアパッケージとして、部分的にユーザのコンピュータ上および部分的に遠隔コンピュータ上で、または完全に遠隔コンピュータまたはサーバ上で実行され得る。後者のシナリオでは、遠隔コンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを通して、ユーザのコンピュータに接続され得るか、または、接続は、外部コンピュータに行われ得る（例えば、インターネットサービスプロバイダを使用して、インターネットを通して）。いくつかの実施形態において、例えば、プログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはプログラマブル論理アレイ（ＰＬＡ）を含む電子回路網が、本開示の側面を実施するために、コンピュータ読み取り可能なプログラム命令の状態情報を利用し、電子回路網を個人化することによって、コンピュータ読み取り可能なプログラム命令を実行し得る。

本開示の側面は、本開示の実施形態による、方法、装置（システム）、およびコンピュータプログラム製品のフローチャート図および／またはブロック図を参照して本明細書に説明される。フローチャート図および／またはブロック図の各ブロックおよびフローチャート図および／またはブロック図内のブロックの組み合わせが、コンピュータ読み取り可能なプログラム命令によって実装され得ることを理解されたい。

これらのコンピュータ読み取り可能なプログラム命令は、コンピュータまたは他のプログラマブルデータ処理装置のプロセッサを介して実行される命令がフローチャートおよび／またはブロック図のブロックまたは複数のブロックにおいて規定される機能／行為を実装するための手段を作成するような機械を生産するために、汎用目的コンピュータ、特殊目的コンピュータ、または他のプログラマブルデータ処理装置のプロセッサに提供され得る。これらのコンピュータ読み取り可能なプログラム命令は、命令を記憶しているコンピュータ読み取り可能な記憶媒体がフローチャートおよび／またはブロック図のブロックまたは複数のブロックにおいて規定される機能／行為の側面を実装する命令を含む製造品を構成するように、コンピュータ、プログラマブルデータ処理装置、および／または他のデバイスに、特定の様式において機能するように指示し得るコンピュータ読み取り可能な記憶媒体内にも記憶され得る。

コンピュータ読み取り可能なプログラム命令は、コンピュータ、他のプログラマブル装置、または他のデバイス上で実行される命令がフローチャートおよび／またはブロック図のブロックまたは複数のブロックにおいて規定される機能／行為を実装するように、コンピュータ、他のプログラマブルデータ処理装置、または他のデバイス上にもロードされ、一連の動作ステップをコンピュータ、他のプログラマブル装置、または他のデバイス上で実施させ、コンピュータ実装プロセスを生産し得る。

図中のフローチャートおよびブロック図は、本開示の種々の実施形態による、システム、方法、およびコンピュータプログラム製品の可能な実装のアーキテクチャ、機能性、および動作を図示する。この点において、フローチャートまたはブロック図内の各ブロックが、規定された論理機能を実装するための１つ以上の実行可能命令を備えているモジュール、セグメント、または命令の一部を表し得る。いくつかの代替実装において、ブロック内に記載される機能は、図に記載の順序から外れて生じ得る。例えば、連続して示される２つのブロックは、実際は、実質的に並行して実行され得るか、または、ブロックは、時として、関わる機能性に応じて、逆の順序で実行され得る。ブロック図および／またはフローチャート図の各ブロック、およびブロック図および／またはフローチャート図内のブロックの組み合わせが、規定された機能または行為を実施する、または特殊目的ハードウェアおよびコンピュータ命令の組み合わせを行う特殊目的のハードウェアベースのシステムによって実装され得ることにも留意されたい。

本開示の種々の実施形態の説明は、例証目的のために提示されているが、包括的である、または開示される実施形態に限定されることを意図するものではない。多くの修正および変形例が、説明される実施形態の範囲および精神から逸脱することなく、当業者に明白となるであろう。本明細書で使用される専門用語は、実施形態の原理、市場に見出される技術に優る実践的用途または技術的改良を最良に説明する、または当業者が本明細書に開示される実施形態を理解することを可能にするように選定された。

Claims (63)

1. 方法であって、前記方法は、
   カメラから、患者の体腔の内部の画像を受信することと、
   前記カメラの位置情報を受信することと、
   前記位置情報に基づいて、解剖学的モデル上に前記カメラの視野を示す基準ビューを発生させることと、
   前記基準ビューを前記画像との組み合わせにおいてユーザに表示することと
   を含む、方法。
2. 前記カメラの向き情報を受信することと、
   前記向き情報に基づいて、解剖学的モデル上に前記カメラの方向を示す方向インジケータを発生させることと、
   前記方向インジケータを前記基準ビューとの組み合わせにおいて前記ユーザに表示することと
   をさらに含む、請求項１に記載の方法。
3. 方向のインジケータは、矢印を含む、請求項２に記載の方法。
4. 前記カメラは、前記位置情報を伝送するように構成された絶対位置センサを備えている、請求項１に記載の方法。
5. 前記絶対位置センサは、１つ以上のエンコーダを備えている、請求項４に記載の方法。
6. 前記絶対位置センサは、光学追跡システムを備えている、請求項４に記載の方法。
7. 前記カメラは、前記向き情報を伝送するように構成された絶対向きセンサを備えている、請求項２に記載の方法。
8. 前記絶対向きセンサは、１つ以上のエンコーダを備えている、請求項７に記載の方法。
9. 前記絶対向きセンサは、光学追跡システムを備えている、請求項７に記載の方法。
10. 前記解剖学的モデルは、汎用の解剖図を備えている、請求項１に記載の方法。
11. 前記解剖学的モデルは、単純化された絵表現を備えている、請求項１に記載の方法。
12. 前記解剖学的モデルは、前記患者の撮像を備えている、請求項１に記載の方法。
13. 前記撮像は、医療用画像管理システム（ＰＡＣＳ）から受信される、請求項１２に記載の方法。
14. 前記撮像は、コンピュータ断層撮影（ＣＴ）、磁気共鳴撮像（ＭＲＩ）、Ｘ線、超音波、およびデジタル撮像のうちの少なくとも１つを備えている、請求項１２に記載の方法。
15. 前記患者の撮像は、医療手技中にリアルタイムで更新される、請求項１２に記載の方法。
16. 前記患者の基準ビューは、前記医療手技中にリアルタイムで更新される、請求項１５に記載の方法。
17. 前記カメラの座標空間を前記患者の座標空間に位置合わせすることと、
    前記カメラの座標空間を前記解剖学的モデルの座標空間に位置合わせすることと、
    前記カメラの深度情報を受信することと
    をさらに含む、請求項１に記載の方法。
18. 前記カメラの位置の情報は、ビジュアルオドメトリを介して決定される、請求項１７に記載の方法。
19. 前記基準ビューを表示することは、前記基準ビューを前記画像上に重ねることを含む、請求項１に記載の方法。
20. 前記基準ビューを表示することは、主ディスプレイ上に前記画像を表示しながら、補完的ディスプレイ上に前記基準ビューを表示することを含む、請求項１に記載の方法。
21. 前記基準ビューは、前記基準ビューの小領域を示すフレームを含み、前記小領域は、前記視野に対応する、請求項１に記載の方法。
22. システムであって、前記システムは、
    患者の体腔の内部を撮像にするように構成されたデジタルカメラと、
    ディスプレイと、
    コンピュータ読み取り可能な記憶媒体を備えているコンピューティングノードと
    を備え、
    前記記憶媒体は、それを用いて具現化されるプログラム命令を有し、前記プログラム命令は、プロセッサに方法を実施させるように前記コンピューティングノードの前記プロセッサによって実行可能であり、前記方法は、
    前記カメラから、前記患者の体腔の内部の画像を受信することと、
    前記カメラの位置情報を受信することと、
    前記位置情報に基づいて、解剖学的モデル上に前記カメラの視野を示す基準ビューを発生させることと、
    前記基準ビューを前記ディスプレイ上に前記画像との組み合わせにおいて表示することと
    を含む、システム。
23. 前記カメラの向き情報を受信することと、
    前記向き情報に基づいて、解剖学的モデル上に前記カメラの方向を示す方向インジケータを発生させることと、
    前記方向インジケータを前記基準ビューとの組み合わせにおいて前記ユーザに表示することと
    をさらに含む、請求項２２に記載のシステム。
24. 前記方向のインジケータは、矢印を含む、請求項２３に記載のシステム。
25. 前記位置情報を伝送するように構成された絶対位置センサをさらに備えている、請求項２２に記載のシステム。
26. 前記絶対位置センサは、１つ以上のエンコーダを備えている、請求項２５に記載のシステム。
27. 前記絶対位置センサは、光学追跡システムを備えている、請求項２５に記載のシステム。
28. 前記向き情報を伝送するように構成された絶対向きセンサをさらに備えている、請求項２３に記載のシステム。
29. 前記絶対向きセンサは、１つ以上のエンコーダを備えている、請求項２８に記載のシステム。
30. 前記絶対向きセンサは、光学追跡システムを備えている、請求項２８に記載のシステム。
31. 前記解剖学的モデルは、汎用の解剖図を備えている、請求項２２に記載のシステム。
32. 前記解剖学的モデルは、単純化された絵表現を備えている、請求項２２に記載のシステム。
33. 前記解剖学的モデルは、前記患者の撮像を備えている、請求項２２に記載のシステム。
34. 前記撮像は、医療用画像管理システム（ＰＡＣＳ）から受信される、請求項３３に記載のシステム。
35. 前記撮像は、コンピュータ断層撮影（ＣＴ）、磁気共鳴撮像（ＭＲＩ）、Ｘ線、超音波、およびデジタル撮像のうちの少なくとも１つを備えている、請求項３３に記載のシステム。
36. 前記患者の撮像は、医療手技中にリアルタイムで更新される、請求項３３に記載のシステム。
37. 前記患者の基準ビューは、前記医療手技中にリアルタイムで更新される、請求項３６に記載のシステム。
38. 前記カメラの座標空間を前記患者の座標空間に位置合わせすることと、
    前記カメラの座標空間を前記解剖学的モデルの座標空間に位置合わせすることと、
    前記カメラの深度情報を受信することと
    をさらに含む、請求項２２に記載のシステム。
39. 前記カメラの位置の情報は、ビジュアルオドメトリを介して決定される、請求項３８に記載のシステム。
40. 前記基準ビューを表示することは、前記基準ビューを前記画像上に重ねることを含む、請求項２２に記載のシステム。
41. 前記基準ビューを表示することは、主ディスプレイ上に前記画像を表示しながら、補完的ディスプレイ上に前記基準ビューを表示することを含む、請求項２２に記載のシステム。
42. 前記基準ビューは、前記基準ビューの小領域を示すフレームを含み、前記小領域は、前記視野に対応する、請求項２２に記載のシステム。
43. 外科手術手技中にカメラを向けるためのコンピュータプログラム製品であって、前記コンピュータプログラム製品は、コンピュータ読み取り可能な記憶媒体を備え、前記記憶媒体は、それを用いて具現化されるプログラム命令を有し、前記プログラム命令は、プロセッサに方法を実施させるように前記プロセッサによって実行可能であり、前記方法は、
    カメラから、患者の体腔の内部の画像を受信することと、
    前記カメラの位置情報を受信することと、
    前記位置情報に基づいて、解剖学的モデル上に前記カメラの視野を示す基準ビューを発生させることと、
    前記基準ビューを前記画像との組み合わせにおいてユーザに表示することと
    を含む、コンピュータプログラム製品。
44. 前記カメラの向き情報を受信することと、
    前記向き情報に基づいて、解剖学的モデル上に前記カメラの方向を示す方向インジケータを発生させることと、
    前記方向インジケータを前記基準ビューとの組み合わせにおいて前記ユーザに表示することと
    をさらに含む、請求項４３に記載のコンピュータプログラム製品。
45. 前記方向のインジケータは、矢印を含む、請求項４４に記載のコンピュータプログラム製品。
46. 前記カメラは、前記位置情報を伝送するように構成された絶対位置センサを備えている、請求項４３に記載のコンピュータプログラム製品。
47. 前記絶対位置センサは、１つ以上のエンコーダを備えている、請求項４６に記載のコンピュータプログラム製品。
48. 前記絶対位置センサは、光学追跡システムを備えている、請求項４６に記載のコンピュータプログラム製品。
49. 前記カメラは、前記向き情報を伝送するように構成された絶対向きセンサを備えている、請求項４４に記載のコンピュータプログラム製品。
50. 前記絶対向きセンサは、１つ以上のエンコーダを備えている、請求項４９に記載のコンピュータプログラム製品。
51. 前記絶対向きセンサは、光学追跡システムを備えている、請求項４９に記載のコンピュータプログラム製品。
52. 前記解剖学的モデルは、汎用の解剖図を備えている、請求項４３に記載のコンピュータプログラム製品。
53. 前記解剖学的モデルは、単純化された絵表現を備えている、請求項４３に記載のコンピュータプログラム製品。
54. 前記解剖学的モデルは、前記患者の撮像を備えている、請求項４３に記載のコンピュータプログラム製品。
55. 前記撮像は、医療用画像管理システム（ＰＡＣＳ）から受信される、請求項５４に記載のコンピュータプログラム製品。
56. 前記撮像は、コンピュータ断層撮影（ＣＴ）、磁気共鳴撮像（ＭＲＩ）、Ｘ線、超音波、およびデジタル撮像のうちの少なくとも１つを備えている、請求項５４に記載のコンピュータプログラム製品。
57. 前記患者の撮像は、医療手技中にリアルタイムで更新される、請求項５４に記載のコンピュータプログラム製品。
58. 前記患者の基準ビューは、前記医療手技中にリアルタイムで更新される、請求項５７に記載のコンピュータプログラム製品。
59. 前記カメラの座標空間を前記患者の座標空間に位置合わせすることと、
    前記カメラの座標空間を前記解剖学的モデルの座標空間に位置合わせすることと、
    前記カメラの深度情報を受信することと
    をさらに含む、請求項４３に記載のコンピュータプログラム製品。
60. 前記カメラの位置の情報は、ビジュアルオドメトリを介して決定される、請求項５９に記載のコンピュータプログラム製品。
61. 前記基準ビューを表示することは、前記基準ビューを前記画像上に重ねることを含む、請求項４３に記載のコンピュータプログラム製品。
62. 前記基準ビューを表示することは、主ディスプレイ上に前記画像を表示しながら、補完的ディスプレイ上に前記基準ビューを表示することを含む、請求項４３に記載のコンピュータプログラム製品。
63. 前記基準ビューは、前記基準ビューの小領域を示すフレームを含み、前記小領域は、前記視野に対応する、請求項４３に記載のコンピュータプログラム製品。

Images