JP2021511903A

JP2021511903A - 手術室の遠隔監視

Info

Publication number: JP2021511903A
Application number: JP2020541969A
Authority: JP
Inventors: ファンソン・リチャード・タイラール; ラディオ・アンドレ・ノヴォミール; マッケイブ・サマンサ
Original assignee: インテリジョイントサージカルインク．
Priority date: 2018-02-02
Filing date: 2019-02-01
Publication date: 2021-05-13
Anticipated expiration: 2039-02-01
Also published as: WO2019148286A1; JP7367990B2; AU2019214340A1; US20200352657A1

Abstract

ＯＲコンピューティングシステムはモニタリングコンピューティングシステムを介して、介入の有無にかかわらず、自己監視及び監視を含む。ＯＲ内の患者処置はセンサを用いて１又は複数の物体の位置が追跡される。姿勢情報を含む手術中データはＧＵＩ内の物体位置を含む手術中データの表示のためにモニタリングコンピューティングシステムに通信される。姿勢情報は、物体の姿勢を計算するセンサデータでも予め計算された姿勢データでも良い。手術中データは作業フローをＵＩスクリーンに表示する処置の作業フロー状態である可能性がある。ＯＲの仮想ビューはＯＲ装置の姿勢情報及び幾何学的データから表示されても良い。衝突警報を含むＯＲ装置の作業ボリュームを表示できる。ＯＲ装置は位置特定及び／又はロボットを含んでも良い。自己監視は処置の進捗状況を評価し、（例えば監視するため）リクエストをトリガできる。【選択図】図１

Description

本発明は、コンピューティングシステムを使用して遠隔で手術室を監視することに関し、より詳細には、ＯＲコンピューティングシステムによって実行されるコンピュータ支援処置を監視すること及び／又は介入することを含む、外科的ナビゲーション及び他の手術室（ＯＲ）コンピューティングシステムを監視することに関する。

外科的ナビゲーション及び他のＯＲコンピューティングシステムは、特定のタイプの処置を補助するために手術室で広く行われている。そのようなシステムの中には、処置中に使用される物体の姿勢を追跡する位置特定を実行するものもあれば、ロボットを使用するもの等、処置中に物体の姿勢を操作するものもある。ＯＲコンピューティングシステム及び関連するコンピュータ支援処置は、高精度の公差を有する。これらの公差は、それぞれの処置の所望の肯定的な結果をもたらすことができる。外科医は、ＯＲコンピューティングシステムを信用しなければならないだけでなく、ＯＲコンピューティングシステムからの正確な知見および結果を得なければならない。ＯＲコンピューティングシステムの問題に起因する処置の終了は、耐えられない場合がある。ＯＲコンピューティングシステムに関する問題に起因して処置を延長することは、望ましくない場合がある。更に、感染の危険性、費用および／またはプライバシーの問題に対処するために、ＯＲ内の多数の担当者を最小限にすることが示されても良い。

ＯＲコンピューティングシステムによる監視は、モニタリングコンピューティングシステムを介して、介入の有無にかかわらず、自己監視および監視を含むものと記述される。ＯＲ内の患者の処置については、センサを用いて１又は複数の物体の位置が追跡される。姿勢情報を含む手術中データはＧＵＩ内の物体の位置を含む手術中データを表示するために、モニタリングコンピューティングシステムに（例えばリアルタイムで）通信される。姿勢情報は物体の姿勢を計算するためのセンサデータであっても良いし、予め計算された姿勢データであっても良い。手術中データは、作業フローをＵＩスクリーンに表示するための処置の作業フロー状態である可能性がある。ＯＲの仮想ビューは、ＯＲ装置の姿勢情報および幾何学的データから表示されても良い。衝突警報を含むＯＲ装置の作業ボリュームを表示できる。ＯＲ装置は、ローカライザ（ｌｏｃａｌｉｚｅｒ）及び／又はロボットを含んでも良い。自己監視は処置の進行を評価し、（例えば監視するために）リクエストをトリガできる。

１の態様では、少なくとも１の処理ユニットと、メモリ又は他のストレージから構成されるデータ記憶装置と、ＯＲコンピューティングシステムを通信ネットワークに結合するために少なくとも１の処理ユニットに結合された通信システムとを備えるＯＲコンピューティングシステムが提供され、データ記憶装置および通信システムは少なくとも１の処理ユニットに結合される。データ記憶装置は少なくとも１の処理ユニットによって実行されると、患者に対するコンピュータ支援処置を実行するようにＯＲコンピューティングシステムを構成し、手術室内のコンピュータ支援処置中に１又は複数の物体のそれぞれの位置を追跡し、手術室内の１又は複数の物体のそれぞれの位置を表すセンサデータが１又は複数の物体に関連付けられたセンサから受信され、コンピュータ支援処置中に（例えばリアルタイムで）、姿勢情報を含む処置中に生成された手術中データを、手術室を監視するためのモニタリングコンピューティングシステムに通信するように、ＯＲコンピューティングシステムを構成し、モニタリングコンピューティングシステムは１又は複数の物体のそれぞれの位置を含む手術中データをＯＲコンピューティングシステムから受信し、表示するように構成される命令を記憶する。姿勢情報は、物体の姿勢を計算するためのセンサデータと、センサデータを使用してＯＲ演算装置によって計算された物体の姿勢を表す姿勢データとのうちの一方または両方を含む。

１の態様では、ＯＲコンピューティングシステムを含む遠隔に配置された手術室を監視するモニタリングコンピューティングシステムが提供される。ＯＲコンピューティングシステムは、１又は複数の物体のそれぞれの位置を表すセンサデータが１又は複数の物体に結合されたセンサから受信されるコンピュータ支援処置中に、１又は複数の物体のそれぞれの位置を追跡して、患者に対するコンピュータ支援処置を実行するように構成される。モニタリングコンピューティングシステムは、少なくとも１の処理ユニットと、メモリまたは他の記憶装置を含むデータ記憶装置と、表示装置と、ネットワークを介してＯＲコンピューティングシステムと通信する通信システムとを含む。データ記憶装置、表示装置、および通信システムのそれぞれは、少なくとも１の処理ユニットに結合される。前記データ記憶装置は前記少なくとも１の処理ユニットによって実行されるとき、前記モニタリングコンピューティングシステムを、前記１又は複数の物体を表す幾何学的データを取得するように構成し、前記姿勢情報を含むコンピュータ支援処置の手術中データに対して、前記ＯＲコンピューティングシステムから（例えばリアルタイムでの処置中に）受信し、前記姿勢情報と前記幾何学的データを使用して前記１又は複数の物体のそれぞれの位置を含む少なくとも一部の手術中データを、前記表示装置を介して表示することによって、ＧＵＩに存在させる命令を記憶する。姿勢情報は、物体の姿勢を計算するためのセンサデータと、センサデータを使用してＯＲコンピューティングシステムによって計算された物体の姿勢を表す姿勢データとの一方または両方を含む。

１の態様では、少なくとも１の処理ユニットと、メモリ又は他のストレージから構成されるデータ記憶装置と、ネットワークを介してＯＲコンピューティングシステムと通信する通信システムとを備えるＯＲコンピューティングシステムが提供される。データ記憶装置、表示装置、および通信システムのそれぞれは、少なくとも１の処理ユニットに結合される。データ記憶装置は少なくとも１の処理ユニットによって実行されると、コンピュータ支援処置を実行し、手術室内のコンピュータ支援処置中に１又は複数の物体のそれぞれの位置を追跡し、手術室内の参照空間内の１又は複数の物体のそれぞれの位置を表す姿勢データを生成し、コンピュータ支援処置の進行を監視するためのログデータを記憶し、ログデータを使用してコンピュータ支援処置の進行を監視し、監視に応じて進捗状況の尺度を決定し、進捗状況の尺度を特定するメッセージ（及びログデータの少なくとも一部を含む）を、ＯＲコンピューティングシステムを監視するために遠隔に配置されたモニタリングコンピューティングシステムに通信するようにＯＲコンピューティングシステムを構成する命令を記憶する。

１の態様では、患者に対するＯＲコンピューティングシステムによるコンピュータ支援処置を実行し、手術室内のコンピュータ支援処置中に１又は複数の物体のそれぞれの位置を追跡し、手術室内の１又は複数の物体のそれぞれの位置を表すセンサデータが１又は複数の物体に関連するセンサからＯＲコンピューティングシステムによって受信され、コンピュータ支援処置中に（例えばリアルタイムで）、姿勢情報を含む処置中に生成された手術中データを手術室を監視するモニタリングコンピューティングシステムに通信し、モニタリングコンピューティングシステムは１又は複数の物体のそれぞれの位置を含むＧＵＩで手術中データを受信し提示するように構成される。姿勢情報は、物体の姿勢を計算するためのセンサデータと、センサデータを使用してＯＲ演算装置によって計算された物体の姿勢を表す姿勢データとのうちの一方または両方を含む。

１の態様では、患者に対してコンピュータ支援処置を実行し、１又は複数の物体のそれぞれの位置を表すセンサデータが１又は複数の物体に結び付けられたセンサから受信されるコンピュータ支援処置中に１又は複数の物体のそれぞれの位置を追跡するように構成されたＯＲコンピューティングシステムを含む、遠隔に配置された手術室を監視する方法が提供される。該方法は１又は複数の物体を表す幾何学的データを取得し、（例えばリアルタイムでの処置中に）コンピュータ支援処置に対して、姿勢情報を含む手術中データを受信し、表示装置を介して、姿勢情報および幾何学的データを使用して、１又は複数の物体のそれぞれの位置を含む手術中データの少なくとも一部を表示することで、ＧＵＩに表示する。姿勢情報は、物体の姿勢を計算するためのセンサデータと、センサデータを使用してＯＲコンピューティングシステムによって計算された物体の姿勢を表す姿勢データとの一方または両方を含む。

１の態様では、ＯＲコンピューティングシステムによるコンピュータ支援処置を実行することと、手術室内のコンピュータ支援処置中に１又は複数の物体のそれぞれの位置を追跡することと、手術室内の参照空間内の１又は複数の物体のそれぞれの位置を表す姿勢データを生成することと、コンピュータ支援処置の進捗状況を監視するためのログデータをＯＲコンピューティングシステムによって記憶することと、ログデータを使用してコンピュータ支援処置の進捗状況をＯＲコンピューティングシステム監視することと、ＯＲコンピューティングシステム、監視に応じて進捗状況の尺度を決定することと、進捗状況の尺度に応じて、進捗状況の尺度を特定するメッセージ（及びログデータの少なくとも一部を含む）をＯＲコンピューティングシステムによって遠隔に配置されたモニタリングコンピューティングシステムに通信して、ＯＲコンピューティングシステムを監視することとを含む方法が提供される。

それぞれの態様では、１又は複数の物体のそれぞれの位置を表すセンサデータが１又は複数の物体に結び付けられたセンサから受信されるコンピュータ支援処置中に、１又は複数の物体のそれぞれの位置を追跡することを含む、患者に対するコンピュータ支援処置を実行するように構成されたＯＲコンピューティングシステムを含む、遠隔に配置された手術室を監視するモニタリングコンピューティングシステム及び手法が提供される。システムはＯＲコンピューティングシステムから、ＯＲコンピューティングシステムの監視を開始するために、コンピュータ支援処置の進捗状況の尺度を特定し、オプションとして、ＯＲコンピューティングシステムによって記憶されたコンピュータ支援処置の少なくとも一部のログデータを含むメッセージを受信するように構成されることで、方法は動作する。

本書を通じて、専門用語や定義の一部が役立つだろう。トラッキングの技術は、主に位置および向きに関する。「座標系」、「座標フレーム」、「参照フレーム」等の用語は位置および向きを記述できる標準的な基礎（ｂａｓｉｓ）を指し、「姿勢」（位置および向きの状態推定値）、位置、相対位置、空間位置決め等の用語はすべて、ある座標フレームに対する剛体の位置および／または向きを記述することを指す。

Ａ〜Ｃは、それぞれの実施例による、ＯＲ中のＯＲコンピューティングシステム及びＯＲの外部のモニタリングコンピューティングシステムを含む監視されたＯＲコンピューティングシステムを示す。ＯＲの仮想ビューとＯＲコンピューティングシステムのＵＩスクリーンを示すモニタリングコンピュータシステムの代表的なスクリーンショットである。Ａ及びＢは、ＯＲコンピューティングシステム（Ａ）及びモニタリングコンピューティングシステム（Ｂ）の１又は複数のデータ記憶コンポーネントを例示し、それぞれ、例示に従って記憶された命令および／またはデータを示し、そのようなシステムは図１Ａ〜図１Ｃに示されるようなものである。Ａ〜Ｃは、それぞれの例に従って示されるＯＲコンピューティングシステムの例示的な動作を示す。Ａ，Ｂは、それぞれの例に従って示されるモニタリングコンピューティングシステムの例示的な動作を示す。それぞれの例に従って示されるＯＲコンピューティングシステムの例示的な動作を示す。それぞれの例に従って示されるモニタリングコンピューティングシステムの例示的な動作を示す。

図１Ａ〜１Ｃは、それぞれの実施例による、ＯＲ中のＯＲコンピューティングシステム及びＯＲの外部のモニタリングコンピューティングシステムを含む、監視されたＯＲコンピューティングシステムを示す。図１Ａは、外科医１０２または他の人物がＯＲ１００Ａに参加しているＯＲ１００Ａを示す。多くのタイプの処置について、追加の外科医または他の医師（例えば麻酔科医）、看護師等を含む多くの人が参加している（図示せず）可能性があり、ＯＲ装置のいくつかのみが図示されていることが理解されるのであろう。外科医１０２は、ワイヤレスマイクロフォン１０４を装着している。患者１０６はＯＲテーブル１０８上にいる。ＯＲテーブル１０８（又は台車（図示せず））は、表示装置１１１及びデータ記憶装置１１５（例えばメモリ又は他のストレージ装置）に結合された処理ユニットを備えるＯＲ演算装置１１０Ａのための好適な支持体を用いて構成されても良い。ワイヤレスマイクロフォン１０４は、ＯＲ演算装置１１０Ａに通信可能に結合できる。ＯＲ演算装置１１０Ａは他の入力／出力またはＩ／Ｏ装置、例えばとりわけ、表示装置１１１、キーボード１１３、及びポインティングデバイス（例えばマウス）を有することができる。

図１Ａでは、ＯＲ演算装置１１０Ａがコンピュータ支援処置中に物体を追跡するための位置特定システム（ｌｏｃａｌｉｚａｔｉｏｎｓｙｓｔｅｍ）に結合されるか、または位置特定システムのコンポーネントである。位置特定システムは光学的に基礎を置くことができ、図示のような手術道具、患者の一部（例えば骨）、または他の物体のような物体１１４の所望される姿勢を追跡するためのＯＲカメラ１１２Ａ（一種のセンサ）を備えることができる。物体１１４は、物体１１４の姿勢を示すために使用される光学トラッカ１１６（センサのタイプ）を有する。ＯＲカメラ１１２Ａは、ブーム１１８、ＯＲテーブル１０８のコンポーネント、又は車輪を有する独立型ユニット等に取り付けられても良い。これは、ＯＲ１００Ａの天井または他の面（図示せず）に取り付けることができる。

光学トラッカ１１６は処置のために（例えば別の物体（図示せず）に結合するために）選択的に取り外し可能であっても良い。光学トラッカ１１６は受動的かつ反射光（ｐａｓｓｉｖｅａｎｄｒｅｆｌｅｃｔｌｉｇｈｔ）を、又は、能動的かつ直接光（ａｃｔｉｖｅａｎｄｏｒｉｇｉｎａｔｅｌｉｇｈｔ）を、ＯＲカメラ１１２Ａによる検知および／または計測のために発生させても良い。ＯＲカメラ１１２Ａは、ステレオカメラ機構または他の構成であっても良く、ＯＲ演算装置１１０Ａに可視光スペクトル内の高解像度ビデオ信号（例えばビデオデータ）を提供して、ＯＲ１００Ａの少なくとも一部を可視化できる。ＯＲカメラ１１２Ａは物体追跡信号（例えばセンサデータ）、例えば赤外（ＩＲ）スペクトル又は他のスペクトルにおける追跡光学トラッカ１１６を提供できる。

ＯＲカメラ１１２Ａは重力を測定するように構成された重力センサ１１９（例えば加速度計／慣性センサ）を有し、それが取り付けられた物体の重力の向きを示すことができる。このような重力センサ１１９又は光学トラッカ１１６は患者１０６を含むＯＲ１００Ａ内の任意の物体に取り付けられて、姿勢情報を決定するために患者に基準を提供できる（しかし、実際には、ＯＲテーブル１０８に取り付ければ、患者の位置を示すのに充分であり得る）。ＯＲカメラ１１２Ａは、光学トラッカ１１６がＯＲカメラ１１２Ａの視野内にあるときにのみ光学トラッカ１１６を追跡でき、この視野は、典型的には患者１０６に対して治療部位に向けられることが理解されるのであろう。図示しないが、ビデオデータを提供する１又は複数のビデオカメラは、ＯＲ演算装置１１０Ａに結合されても良く、例えば、ＯＲカメラ１１２Ａは、ビデオデータを提供せず、センサデータを提供することに限定しても良い。

ＯＲ演算装置１１０Ａは通信システム（例えばＯＲ演算装置１１０Ａのコンポーネント）を介して結合され、ネットワークを介して他のコンピューティングデバイスと通信する。ＯＲ１００Ａには、インターネット等の公衆通信ネットワーク１２２を介して通信するためのワイヤレスアクセスポイント１２０が示されている。ＯＲ演算装置１１０Ａは、ＯＲの外部のコンピューティングデバイスを含む他のコンピューティングデバイスへの有線による通信のために構成され得る。そのような他のコンピューティングデバイスは、患者情報、レポート、および臨床画像（例えば磁気共鳴画像化（ＭＲＩ）、Ｘ線、または他の様式からの画像）等の患者の術前（術前）データを記憶するサーバ又は他のシステム（例えば、画像保管通信システム（ＰＡＣｓ））であっても良い。これらのサーバ又はシステムのいくつかは、ＯＲ１００Ａから地理的に離れて、又は同じ病院（図示せず）等のより近くに配置できる。

このような他のサーバ又はシステムは、コンポーネントのためのコンピュータ支援処置および／またはソフトウエア（命令）の間に追跡されるべき物体の幾何学的定義のような構成関連データを記憶できる。ロボット運動学は、多自由度構造物の移動に幾何学を適用する。剛体やジョイント等の構造物（ロボットマニピュレータ等）のコンポーネントはモデル化され、該モデルは幾何学的情報の例である。ロボット運動学を用いて、コンポーネントと、コンポーネント内の各リンクの位置、速度および加速度との間の関係を決定し、移動を計画および制御し、アクチュエータの力等を計算できる。それぞれのコンポーネントが処置（または他の制約）において採用できるそれぞれの位置の範囲を含むロボット及び位置特定システムのコンポーネントの幾何学的定義を使用して、それぞれのロボット作業ボリューム又は位置特定作業ボリュームを定義できる。例えば定義された形状およびサイズ（体積）を有する特定のロボットアームは、第１の平面内でＸ°、第２の平面内でＹ°回転することで、アームのための作業ボリュームを定義できる。ロボットコンポーネントのすべての作業領域は、ロボット全体の作業領域を定義できる。幾何学的定義はそれぞれの作業ボリュームについて構成され、例えばＯＲコンピューティングシステム及び／又はモニタリングコンピューティングシステムに、利用可能な手術前データとして記憶されても良い。作業ボリュームの幾何学的定義は、必要に応じて作業ボリュームを（例えばリアルタイムで）計算できる構造（例えばアームのリンク）のボリューム及びその運動制約範囲、または事前に計算された作業ボリュームを含むことができる。

ＯＲ内の適用可能なロボットまたは位置特定コンポーネント、例えば静止フレームまたはその基部の姿勢を利用可能にでき、この姿勢から作業容積を表すことができる。作業ボリュームは、点の集合体（ｃｌｏｕｄ）、代表的なエッジライン、又はＯＲの仮想ビューにおける他のＵＩ機能を使用して、ＵＩで表示できる。作業ボリュームは静的な装置を含む任意のＯＲな装置のために定義され、記憶されることができ、ここで、静的な装置とは、そのような装置が構成の全体的なボリュームを変化させることができる可動部分を有しないことを意味する。

ＯＲ装置の２以上のインスタンスの作業ボリュームに対する測定は、作業ボリュームがＯＲ内にどれだけ近いか、及び衝突の危険が生じ得るかどうか（例えば測定値が近接度閾値未満の近接度を示す場合）を決定するために行われ得る。ＯＲ装置は、ロボット又は位置特定、ならびにＯＲテーブル、台車、トレー、タンク、固定具または他の機器等を含んでも良い。ＯＲの仮想ビューにおいて２以上のコンポーネントの作業ボリュームを表すことは、コンポーネントのうちの１つによって採用された現ポーズが他方から離れていても、作業ボリュームが重なり合うことを示すことによって、衝突の危険性を示すことができる。作業ボリュームは、コンポーネントの現在位置が与えられると、ポーズが移動され得る場所を示す。

ワイヤレスアクセスポイント１２０は、ＯＲ１００Ａの外部に配置され得る。他の通信コンポーネント（例えばルータ、ファイアウォール等）が使用されても良く、図１Ａのネットワークコンポーネントが単純化されていることが理解されよう。ＯＲ演算装置１１０Ａは、患者のために手術前データや、追跡されるべき物体の幾何定義等が記憶されるサーバ１２４（又は複数）と通信しても良い。サーバ１２４はＯＲデータ（例えばストリーミングビデオ等）を共有し、更に説明するように、ＯＲ１００Ａをモニタリングコンピューティング装置１２６に監視し、ＯＲ演算装置１１０Ａを介して処置を支援または介入するためのモニタリングコンピューティング装置のデータを共有するサービスを提供できる。サーバ１２４（又は別のサーバ）及びモニタリングコンピューティング装置１２６は、モニタリングコンピューティングシステムを定義できる。

実際には、サーバ１２４及びモニタリングコンピューティング装置１２６が典型的にはＯＲ１００Ａに対して遠隔に配置される。サーバ１２４及びモニタリングコンピューティング装置１２６は同様に、互いに遠隔的に相対的に配置されても良い。単一の代表的な演算装置（即ちサーバ１２４）が手術前データ及び幾何学的データを記憶し、他のものに提供し、ＯＲのデータ及びモニタリングコンピューティング装置のデータを共有するサービスを提供する構成と共に示されているが、同一または異なる場所に配置された複数のサーバが使用されても良い。

モニタリングコンピューティング装置１２６は、表示装置１２８及びデータ記憶装置１３０に結合された処理ユニットを備える。上述したように、モニタリングコンピューティング装置１２６は更に説明するように、ＯＲ演算装置１１０Ａを介して、ＯＲ１００Ａを監視し、コンピュータ支援処置を観察し、支援し、又は介入するように構成できる。

図１ＢのＯＲ１００Ｂの構成は、ＯＲ演算装置１１０Ｂが同様に位置特定システムに結合されているか、又は位置特定システムのコンポーネントであるという点で、ＯＲ１００Ａと同様である。図１Ｂでは、ＯＲカメラ１１２Ｂが位置特定装置のために患者１０６に取り付けられている。ＯＲカメラ１１２Ｂは、画像（および／または映像）をキャプチャできる。ＯＲカメラ１１２Ｂの視野内の光学追跡装置１１６は、ＯＲ演算装置１１０Ｂによって追跡可能である。図１Ｂの構成では、更に説明するように、サーバ１２４がオペレーションルーム１００Ｂを仮想化するためにＯＲデータをモニタリングコンピューティング装置１２６に共有するサービスを提供し、ＯＲコンピューティングデバイス１１０Ｂを介して処置を支援または介入するために、モニタリングコンピューティング装置のデータを共有できる。更に説明されるように、モニタリングコンピューティング装置１２６は、ＯＲ演算装置１１０Ｂを介して、ＯＲ１００Ｂを監視し、コンピュータ支援処置を観察し、支援し、または介入するように構成されても良い。

図１ＣにおけるＯＲ１００Ｃの構成は、ＯＲ１００Ａに対してのＯＲ１００Ｂよりも、ＯＲ１００Ａと比較してより多くの差異を有する。ＯＲ１００Ｃはロボット処置のための構成が示されており、ロボットコンソール１３２及びロボット１３４が示されており、患者１０６に対してコンピュータ支援処置を実行する。ロボット１３４はそれぞれの電動制御可能アーム（例えば１３８）によって空間内に配置可能な複数のそれぞれの手術ツール／エフェクタ（例えば１３６）を有する。処置現場のスコープ又はカメラ１４０は、処置の映像を提供するために電動制御可能アームの１つに取り付けられても良い。ロボットコンソール１３２は、ケーブル１４２及び１４４を介してロボット１３４及びＯＲ演算装置１１０Ｃに結合される。ＯＲ演算装置１１０Ｃは、ロボット処置構成に共通する塔（ｔｏｗｅｒ）のような構成で示される。ＯＲカメラ１１２ＣはＯＲ演算装置１１０Ｃに結合されて、ＯＲ１１０Ｃのより広い映像を提供し、及び／又は、カメラ１１２Ｃが重力の向きを示すセンサを有し得るＯＲに、機器、任意のロボット外科手術システムのコンポーネント、人員等を含む、ＯＲ内の物体の位置を追跡し得る。

ロボットコンソール１３２は、手術ツール／エフェクタ（例えば１３６）及びカメラ１４０を位置決めし、操作するために、ユーザ（例えば１０２）によって操作され得る。図示されていないが、ロボットコンソール１３２のジョイスティック、指制御装置、または他の手および／または足で操作される入力装置等は入力を受け取り、それぞれのモータ（図示せず）を動作させ、ツール／エフェクタ１３６を動作させるための信号を生成する。制御可能アーム１３８の各々につき１又は複数のモータが存在しても良い。例えばアーム上の、又はそれぞれのモータに関連するセンサ（例えば各モータにつき１つ）は、アーム又はモータの位置に対するデータを提供して、それぞれのツール／エフェクタの姿勢を決定しても良い。いくつかの実施形態では、センサがアームの部分の角度（例えば重力に対する）に関するデータを提供でき、このデータはアームの少なくとも遠位端（動作端）、特にツールの位置を決定するために、それぞれのアームに取り付けられた任意のツールの部分、ジョイント等に関する幾何学的データと共に数学的に使用できる。

図１Ａ〜１Ｃの構成のいずれかにおけるセンサデータは、それぞれの物体（例えばツール等）の幾何学的定義データとともに、姿勢データを計算するために使用され得る。また、姿勢データは例えば患者に対する工具の先端具、別の患者の骨に対する患者の骨（例えば大腿骨対骨盤）等の２つの物体の関連する位置等、処置のための有益な測定値を計算するために使用されても良い。その場合、姿勢情報は、姿勢データを計算できるセンサデータ、又はセンサデータを使用して計算される姿勢データのいずれかである。姿勢情報は、物体の位置を提示するために使用するようなモニタリングコンピューティング装置に送信されても良い。いくつかの例では、手術室の仮想ビューが本明細書に記載されるように提示されても良い。

図１Ｃの構成では、サーバ１２４が、モニタリングコンピューティング装置１２６に手術室１００Ｃを仮想化するためのＯＲデータを共有し、更に説明するように、ＯＲコンピューティングデバイス１１０Ｃを介して処置を支援または介入するために、サーバ１２４がモニタリングコンピューティング装置のデータを共有するサービスを提供できる。モニタリングコンピューティング装置１２６は、更に説明されるように、ＯＲコンピューティングシステムを介して（例えばＯＲコンピューティングデバイス１１０Ｃを介して）、ＯＲ１００Ｃを監視し、コンピュータ支援処置を観察し、支援し、または介入するように構成されても良い。

ＯＲ演算装置１１０Ａ〜１１０Ｃのそれぞれは、同様のコンポーネント構成を有することができる。それぞれは、使用される位置特定システム又はロボットシステムを考慮して、異なるプログラミングを有する可能性がある。ＯＲ演算装置（例えば１１０Ａ〜１１０Ｃ）およびそれがＯＲ（１００Ａ〜１００Ｃ）内で結合される任意の位置特定またはロボットシステムは、外科的ナビゲーションのために構成されたそれぞれのＯＲコンピューティングシステムの例である。それぞれのＯＲコンピューティングシステムは、患者に対するコンピュータ支援処置を実行するための１又は複数の計算ユニットを含む。それぞれは、手術室での処置中に１又は複数の物体のそれぞれの位置を追跡する。１又は複数の物体のそれぞれの位置を表すセンサデータは、１又は複数の物体に関連付けられたセンサから受信される。典型的には、関連付けはそれぞれのセンサの１つを物体に結び付けることで提供される。いくつかの追加のセンサ及び／又はデータを使用できる。

コンピュータ支援処置の間、それぞれのＯＲコンピューティングシステムは姿勢情報（例えばリアルタイム）をモニタリングコンピューティングシステムに通信し、最終的には、手術室を監視するために遠隔に配置されたモニタリングコンピューティング装置１２６に通信するように構成されても良い。モニタリングコンピューティング装置１２６は姿勢情報を受信し、１又は複数の物体のそれぞれの位置をグラフィカルユーザインタフェース（ＧＵＩ）に表示するように構成されても良い。姿勢情報は、物体の姿勢を計算するために使用できるセンサデータとできる。姿勢情報は、センサデータを用いてＯＲ演算装置によって計算された物体の姿勢を表す姿勢データであっても良い。

位置特定システム及び外科的ナビゲーション技法は、それぞれＦａｎｓｏｎらのＵＳ９１３８３１９Ｂ２：「手術中に人工関節をアライメントする方法及びシステム」（２０１５年９月２２日）、ＨｌａｄｉｏらのＵＳ９２４７９９８Ｂ２：「術中下肢位測定のためのシステム及び方法」（２０１６年２月２日）、ＦａｎｓｏｎらのＵＳ９７１３５０６Ｂ２：「画像位置合わせ及び外科的位置特定のためのシステム、方法および装置」（２０１７年７月２５日）、ＭｃＣａｂｅらのＵＳ２０１７０１１９４７５Ａ１：「骨盤傾斜に対する人工関節置換術のパラメータを調整し、下肢長及びオフセットを算出するシステム、方法及び装置」（２０１７年５月４日）で開示されている。

コンピュータ支援処置における患者の解剖学に関する外科的ナビゲーションを提供するためには、ＯＲコンピューティングシステムに関する患者の解剖学の空間座標（例示として、人工股関節全置換術（ＴＨＡ）における骨盤のみ）が必要である。このステップは本明細書では「位置合わせ」と呼ばれる。更に、患者の解剖学的構造の１又は複数の医用画像（これは任意である）に対して画像誘導手術ナビゲーションが提供される場合、患者の解剖学的構造の空間座標は、１又は複数の医用画像上に現れる解剖学的構造の空間座標と相関する。このステップが本明細書では「画像位置合わせ」と呼ばれる。解剖学的位置合わせは、関心のある解剖学的構造とＯＲコンピューティングシステムとの間のデジタル位置または座標写像を生成することに関する。同様に、画像位置合わせは、関心のある解剖学的構造と、解剖学的構造の術前スキャン中に取り込まれた１又は複数の医用画像との間のデジタル位置または座標マッピングを生成する。この位置合わせマッピング又は解剖学的構造とＯＲコンピューティングシステムとの間の位置合わせ座標フレームを得るには、多くの方式がある。また、解剖学的構造と、１又は複数の医用画像との間の位置合わせマッピング又は画像位置合わせ座標フレームを取得するための複数の方式がある。これらの位置合わせ方式は、手術作業フローの持続時間を増加させないように迅速であり、十分に正確であることが望ましい。ＯＲコンピューティングシステムは、位置合わせ座標フレーム又は画像位置合わせ座標フレームを利用して、手術中に、この装置を使用して外科医に臨床的に関連する測定値を提供できる。

例として、図１Ｂはセンサ（ＯＲカメラ１１２Ｂ）が患者１０６の解剖学的構造（例えば骨盤）に取り付けられ、ＯＲ演算装置１１０Ｂと通信する、ＴＨＡで使用されるＯＲコンピューティングシステムを示す。光学トラッカ１１６の姿勢（位置および向き）は、ＯＲカメラ１１２Ｂによって検出され、表示装置１１１のＧＵＩ上に表示される。光学トラッカ１１６は器具（例えば物体１１４）又は患者１０６の解剖学的構造の別の部分（例えば大腿骨）に取り付けられても良い。ＴＨＡの外科的測定は、脚の長さ、オフセット、前傾、傾斜等のうちの１又は複数を含むことができる。

医用画像データは、３Ｄ点群によって表される解剖学的構造の３Ｄ表面モデルを作成することによって、または画像セグメンテーション等の技法を使用することによって、手術前スキャンからの１又は複数の生の（ｒａｗ）医用画像、または１又は複数のデジタル処理された医用画像を含む。医用イメージデータは、表示装置１１１のＧＵＩに表示されても良い。画像位置合わせ座標フレームの構築は、外科的測定値が医用画像データに関して表示されることを可能にする。

医用画像はオリジナルフォーマット（例えばＤＩＣＯＭ（ＤｉｇｉｔａｌＩｍａｇｉｎｇａｎｄＣｏｍｍｕｎｉｃａｔｉｏｎｓｉｎＭｅｄｉｃｉｎｅ）ファイル）が使用されても良く、又は、画像セグメンテーション、及び画像誘導手術ナビゲーションに使用され得る医用画像データを生成するために、医用画像を処理する他の既知の方式を使用して前処理されても良い。医用画像はまた、患者を立位にして、仰臥位にして、またはことによると画像診断装置の向きにして得られたものであっても良い。任意の平面に対する画像の向きが提供される場合、本ＯＲコンピューティングシステムのワークステーションは他の入力と共に、画像位置合わせ座標フレームの構築における画像位置合わせ中に、この向きを利用できる。

医用画像は医用画像データを生成し、識別可能な解剖学的軸の方向と、画像に示される患者の解剖学的構造の識別可能な解剖学的点の位置とを定義する画像特性を有するように、処理される。例えば解剖学的構造の同定可能な解剖学的軸は、解剖学的構造の上下方向に沿って伸びる軸であっても良く、又は解剖学的構造の同定可能な解剖学的軸に沿って存在する２点を同定することによって計算しても良く、同定可能な解剖学的点は患者の骨盤上の上前腸骨棘（ＡＳＩＳ）、股関節の回旋中心等であっても良い。これらの画像特性は、医用画像上に現れる解剖学的構造上にマーカを配置することによって医用画像の取り込み中に撮像装置によって定義されても良く、又は医用画像データを作成するために医用画像を後処理する間に、コンピューティングユニット又は他の手段へのユーザ入力によって識別されても良い。手術中に、患者の解剖学的構造の対応する軸および対応する解剖学的点は、画像位置合わせ座標フレームを構築するために、手術中のコンピューティングユニットによって測定され、決定されても良い。

任意の平面の向きはまた、位置合わせ座標フレーム及び画像位置合わせ座標フレームを構築するために使用され、それは、以下にも記載される機械的位置合わせデバイスを使用して、参照要素（後述）に対して測定され得る。ＴＨＡにおいて特に有用な骨盤位置合わせは例示的な例として選択されるが、この説明は一般的な解剖学的構造および種々の他の手術に適用可能であると解釈されることが意図される。多くの場合、光学センサ（例えばＯＲカメラ１１２Ｂ）は、患者１０６の解剖学的構造の骨またはＯＲテーブル１０８のような固定面に取り付けられる。カメラ１１２Ｂによって最大６自由度で検出可能な光学トラッカ１１６は、患者の解剖学的構造の別の骨、ツール、プロテーゼ等の追跡される物体上に配置される。しかしながら、一般に、カメラ１１２Ｂおよび光学トラッカ１１６の位置は機能性を損なうことなく、逆にできる（例えばターゲットを骨または安定した表面上に固定し、センサを追跡される物体に取り付ける）。

さらに、本明細書で説明される技法、コンポーネント、及び方法は、異なる追跡の様式を使用して実装され得ることを、当業者は理解するのであろう。例えば伝統的な立体定位カメラ（例えばＷａｔｅｒｌｏｏ（登録商標）、ＯＮにあるＮＯＲｔｈｅｒｎＤｉｇｉｔａｌＩｎｃ．のＰｏｌａｒｉｓ（登録商標））、電磁追跡システム（例えばＮＯＲｔｈｅｒｎＤｉｇｉｔａｌＩｎｃ．のＡｕｒＯＲａ（登録商標））、超音波位置特定（例えば米国特許第８，０００，９２６号を参照）、機械式定位装置、無線周波数（ＲＦ）位置特定等の使用が考えられる。

カメラ１１２Ｂが患者の解剖学的構造に取り付けられる際、参照要素はカメラ１１２Ｂ自体であっても良い。ＯＲコンピューティングシステムによって計算される全ての測定値は、好ましくはカメラ１１２Ｂに関してであっても良い。カメラ１１２ＢがＯＲテーブル、ＯＲ１１０Ｂ内のスタンド、又は患者上に存在しない任意の他の固定された位置に取り付けられると、参照要素が解剖学的構造に取り付けられ、システムが参照要素に対する位置合わせ座標系および他の測定値を計算することを可能になる。オプションで、かつ必要不可欠ではないが、センサが患者の解剖学的構造に取り付けられるとき、別個の参照要素も取り付けられ得る。それは最大６自由度でカメラ１１２Ｂによって検出可能である光学トラッカと同一であっても良く、又はカメラ１１２Ｂによって追跡されることを可能にする、反射する要素の異なる空間構成を含み得る。参照要素は、カメラ１１２Ｂが患者の解剖学的構造から離れた位置に配置されることを可能にするＯＲコンピューティングシステムの代替的な使用法を提供する（例えば図１Ａにおいて、参照要素は患者に取り付けられ、カメラ１１２Ｂの視野内にある）。出願人の特許および出願には、とりわけＵＳ９７１３５０６Ｂ２、ＵＳ９２４７９９８及びＵＳ９１３８３１９Ｂ２には、様々な位置合わせ方式が開示されている。

図１Ａ〜図１Ｃにおける、監視されるＯＲコンピューティングシステムには、概念的に２つの「側面」、即ち監視されるＯＲコンピューティングシステムを有するＯＲ側（例えばＯＲ演算装置および位置特定システム又はロボット外科手術システムを備える）と、遠隔に配置されるモニタリングコンピューティングシステムを有する監視側（例えばモニタリングコンピュータ装置および（任意選択で）サーバを備える）とがある。図３Ａ及び図３Ｂはそれぞれの側面のための、それぞれのデータ記憶コンポーネント３００Ａ及び３００Ｂを示し、そのようなシステムが図１Ａ〜図１Ｃに示されるＯＲコンピューティングシステム及びモニタリングコンピューティングシステムの実例に従ってそれぞれ記憶された命令および／またはデータを示す。データ記憶コンポーネント３００Ａ及び３００Ｂのそれぞれは、それぞれのシステムの１又は複数の物理的な装置（例えばメモリ又は他のストレージ装置、およびデータベースを含むことができる）において物理的に実施できる。

図２は、モニタリングコンピュータシステム（例えば表示装置１２８）の代表的なスクリーンショット２００であり、それぞれ、ａ）ＯＲ（例えばＯＲ１００Ｂ）の仮想ビュー、及びｂ）ＯＲコンピューティングシステムのＵＩスクリーンを含むインターフェース要素２０２及び２０４を示す。モニタリングコンピュータシステムは特に、ＯＲコンピューティングシステムから受信したデータを使用して、このようなインターフェース要素２０２及び２０４の一方または両方を表示するように構成されても良いことが理解されよう。図示されていないのは、例えばＯＲからのビデオストリームを構成するインターフェース要素である。本実施例におけるＯＲの仮想ビューは、ＯＲにおけるＯＲコンピューティングシステム及び他のＯＲ装置のコンポーネントの少なくとも一部の３Ｄレンダリングである。これらのコンポーネントは例えば追跡されるか、そうでなければ、位置特定システムを使用して決定されたそれぞれの姿勢を有することができる。コンポーネントは姿勢情報が提供され得るようにトラッカ（例えば光トラッカ）を有する可能性がある。重力の向きは、位置特定システムの光学センサ（例えばＯＲカメラ）に関連付けられたセンサから決定される。このデータは、例えば重力の方向に応じてコンポーネントの相対位置を表示するために使用でき、その結果、コンポーネントの仮想ビューはユーザが本当に（例えば床に対して）部屋内いるように見える。

スクリーンショット２００は更に、種々のコントロール２０６、２０８、２１０及び２１２を示す。制御２０６はインターフェース要素２０２に対するパン／チルト／ズーム制御であり、ＯＲの仮想化が様々な視点および概念的焦点距離（例えばデジタルズーム）から表示されることを可能にする。制御２０８は、ＯＲコンピューティングシステムとモニタリングコンピューティングシステムとの間でビデオデータを交換できるビデオ制御である。ビデオ制御の他の選択肢には、ＯＲからビデオデータ（音声を含むことがある）を受信するための一方向のビデオストリーミングの設定を開始、終了、または変更するための制御が含まれることがある。そのような制御はカメラの視野（例えばパン／チルト）および焦点距離（例えば光学ズーム又はデジタルズーム）を制御する（例えば再配置する）能力を含むことができる。制御２１０は例えばワイヤレスマイクロフォン１０４からのようなＯＲからのオーディオを係合させるためのオーディオ制御である。制御２１０はオーディオをオン又はオフにし、音量または他の設定を設定することができる。

制御２１２は、モニタリングコンピューティングシステムを介してＯＲコンピューティング装置に対する介入を開始する、介入制御である。介入を開始する１つの方法は、介入する許可を求めるため、ＯＲコンピューティングシステムにメッセージを送信することを含む。コントロール２１４は、インターフェース要素２０２に対して作業ボリューム表示機能をオン又はオフにするためのコントロールである。制御２１４がＯＲ上にあるとき、インターフェース要素２０２内の仮想ビューは、ＯＲ装置の１又は複数のコンポーネントの作業ボリュームを示す。制御２１４は、作業ボリュームがどのように表示されるか、特定のコンポーネントがそれぞれの作業ボリュームを表示させることができるかどうか、及び衝突がどのように決定され、表現されるか（又はされないか）を選択するためのオプションを提供できる。モニタリングコンピューティングシステムは例えばこれらのインターフェース要素、制御装置、および記載された関連する特徴を提示するために、ソフトウェアモジュールを用いて構成できる。

図３Ａは、コンピュータ支援処置モジュール３０２Ａと、監視モジュール３０４Ａと、手術前データ３０６Ａと、動作内データ３０８Ａと、コンピュータ・オペレーティング・システム及び通信モジュール３１０Ａとを記憶するデータ記憶コンポーネント３００Ａを示す。他のモジュールは記憶されるものであり、データ記憶コンポーネント３００Ａが簡略化される。

コンピュータ支援処置モジュール３０２Ａは、例えば物体を追跡するための支援処置を実行するための命令を記憶する。コンピュータ支援処置モジュール３０２Ａは、ロボットコンソールのユーザからの入力に応じて、ロボットを使用して物体を位置決めする命令を含むことができる。いくつかの例では、処置がコンピュータ支援処置モジュール３０２Ａによって提供される作業フローを使用して実行される。そのような作業の流れ（従って、コンピュータ支援処置モジュール３０２Ａ）は表示装置（例えば１１１又は他の装置（例えばロボットコンソール１３２の一部でも良い））を介して提示するためのＧＵＩ画面を含んでも良い。提示される情報は、処置中に生成された手術前データ及び／又はデータを含むことができる。生成されたデータは、姿勢情報、他のセンサ情報、または姿勢情報または他のセンサ情報から行われた測定値等を含むことができる。

監視モジュール３０４Ａは、生成された又は別の方式でコンピュータ支援処置に関連付けられたデータをモニタリングコンピューティングシステム（例えば１２４および１２６）に通信し、モニタリングコンピューティングシステムから受信された遠隔データを受信し、処理するための命令を提供する。監視モジュール３０４Ａは、更に説明されるように、モニタリングコンピューティングシステムへのメッセージをトリガするために自己監視を実行するための命令を含むことができる。

手術前データ３０６Ａは、１又は複数の様式による患者情報および患者画像を含む術前患者データを含むことができる。手術前データ３０６Ａは他の手術ナビゲーションコンポーネント又は他のＯＲ装置のために、ＯＲ内で追跡および／または位置決めされている物体のための幾何学的定義を含むことができる。幾何学的データは、姿勢情報を決定するために、測定を行うために、又は他の計算を行うために（例えば２つの物体および／またはコンポーネントが空間内で衝突／重複し得る場合）、及び／又は、ライブビデオ上または術前画像上の患者の解剖学的構造の拡張ビュー内等に物体をレンダリングするために、使用され得る。いくつかの例では、幾何学的データが３Ｄビューをレンダリングするため等の３Ｄデータモデルでも良い。いくつかの例では、ＯＲビューがパン／チルト／ズーム等によって操作されても良い。手術前データ３０６Ａは、ＯＲコンピューティングシステムのために、別のコンピューティング装置（例えばサーバ１２４のようなサーバ又は別のサーバ）から取り出すことができる。いくつかの例では、監視モジュール３０４Ａが術前患者データをモニタリングシステムに通信できる。

手術中データ３０８Ａは、そのような処置のコンピュータ支援処置および／または自己監視を実行する間に生成されるデータを含む。これは、ＯＲコンピューティングシステムを基準としたローカルデータである。そのようなデータは、ＯＲコンピューティングシステムの特定、実行されているコンピュータ支援処置、解剖学的位置合わせデータ、患者位置基準データ（即ち位置合わせに対する）、姿勢情報（例えばセンサデータまたはセンサデータから決定された姿勢データ）、重力データの向き、任意の手術中データ３０８Ａ及び／又は手術前データ３０６Ａを使用して決定された計測データ等を含むことができる。いくつかの例では、作業フロー状態（例えばコンピュータ支援処置モジュール３０２Ａの画面を通じた進捗状況）は、モニタリングコンピューティング装置１２６が作業フロー状態を（例えば作業フローに関連付けられたＧＵＩ内の少なくとも現在の画面に）表示できるように、モニタリングコンピューティングシステムに提供するために記憶されても良い。モニタリングコンピューティングシステムはユーザインターフェース（ＵＩ）画面を生成するように設定されている（例えばＯＲコンピューティングシステムと同様に定義を保存する）作業フロー状態を使用して、例えば表示する現在の画面を特定する。そして、手術中データ３０８Ａと、必要に応じてＯＲコンピューティングシステムによって送信される任意の手術前データとを使用して、モニタリングコンピューティングシステムは、ＯＲコンピューティングシステムで表示されるのと同じ情報をＵＩ画面に存在させることができる。通信される手術中データは、表示されるべき実際の情報でも良いし、そのような情報を計算できるデータでも良い。

手術中データ３０８Ａはまた、処置中に処理するためにモニタリングコンピューティングシステムから受信したデータ（即ち遠隔データ）、例えばモニタリングコンピューティング装置１２６のユーザからのような音声または映像データ、又はモニタリング装置１２６からの介入データを監視して、ＯＲコンピューティングシステムのコンポーネントを指令または制御することを含んでも良い。介入データは、キーボード、ポインティングデバイス、スクリーンでの対話（ｓｃｒｅｅｎｉｎｔｅｒａｃｔｉｏｎ）、手および／または足からの制御入力等のインターフェース入力データ、又は遠隔動作を可能にするためにＯＲコンピューティングシステムに通信される、モニタリングコンピューティング装置１２６上の入力デバイスから取り込まれた他のインターフェース入力データを含むことができる。他の例では、介入データが例えばコンピュータ支援処置モジュール３０２Ａを使用してコンピュータ支援処置を実行するモニタリングコンピュータ装置によって受信された、そのような入力データから生成された出力データでも良く、出力データはそれによって出力するために、ＯＲコンピューティングシステムに通信される。

コンピュータ・オペレーティング・システム及び通信モジュール３１０Ａは、他のモジュールを実行するための環境を提供するための命令、ならびにデータを通信するための下位レバー・モジュール等を含む。明るい線の区別が示されているが、いくつかのモジュールの特徴または機能は他のモジュールによって実行されても良く、または他のモジュールによって共有されても良い。

図３Ｂは、コンピュータ支援処置モジュール３０２Ｂと、監視モジュール３０４Ｂと、手術前データ３０６Ｂと、動作内データ３０８Ｂと、コンピュータ・オペレーティング・システム及び通信モジュール３１０Ｂとを記憶する、データ記憶コンポーネント３００Ｂを示す。他のモジュールを記憶でき、データ記憶コンポーネント３００Ｂが簡略化される。

監視側ではいくつかの実施例ではモニタリングコンピューティングシステムが受動な監視（ｐａｓｓｉｖｅｍｏｎｉｔｏｒ）あっても良く、モニタリングコンピューティング装置１２６を介して表示するためのデータを、ＯＲコンピューティングシステムから受信しても良いが、このようなシステムはＯＲコンピューティングシステムを遠隔から命令または制御するために介入する能力を持たない場合がある。そのような例示的なコンピュータ支援処置モジュール３０２Ｂでは、支援された処置を実行することに関連して、その命令を制限できる。これらのモジュールは手術中データ３０８Ａを受信し、それを手術中データ３０８Ｂとして記憶する動作を有することができる。手術中データ３０８Ｂは例えばＧＵＩ内の物体の姿勢を提示するため及び／又はいくつかの測定を実行するために使用するような姿勢情報を含むことができる。姿勢情報が姿勢データ自体ではなく生のセンサデータである場合、これらのコンピュータ支援処置モジュール３０２Ｂは例えばそれぞれの物体（例えば手術前データ３０６Ｂ）の幾何学的データ、及び任意の解剖学的位置合わせデータ、（３０８Ｂとして受信され、記憶された手術中データ３０８Ａからの）重力の向き等を使用して、姿勢データを計算するように構成されても良い。姿勢データは、物体のビューを提示し、特定の測定を実行するのに有用であり得る。監視モジュール３０４Ｂは、物体の姿勢を含むＯＲの配置または構成を示すＯＲの仮想化（仮想ビュー）等の表示装置を提示するように構成しても良い。状態情報を含む作業フローデータは、モニタリングシステムがＯＲコンピューティングシステム上に見られるようにＧＵＩスクリーンを表示することを可能にするために、受信されても良い。このようにして、モニタリングコンピューティングシステムはＯＲのビューを表示し、ＧＵＩ等のミラーを受信する必要なしに、ＯＲコンピューティングシステムＧＵＩのビューを構成することで、通信帯域幅を低減できる。ただし、このような例のモニタリングコンピューティングシステムは、介入するように構成されていない。仮想ビューは、作業ボリュームの表現を含むように、補充されるか、そうでなければ、表示されても良い。ＯＲ装置のそれぞれのインスタンスの姿勢情報が利用可能である場合、それぞれの作業ボリュームを表す幾何学的データを（例えば手術前データから）取得し、姿勢情報に応じて、ＯＲを表す空間にレンダリングできる。ＯＲを表す空間は、レンダリングされるＯＲ装置のそれぞれのインスタンスに対して、共有の参照フレームを有する。参照フレームは、ＯＲコンピューティングシステムから受け取った重力（即ち手術中データ）の向きを表示装置上に向けることができる。作業ボリューム間の衝突は、測定を行うこと、参照フレーム内の作業ボリューム間の距離を決定すること等によって示すことができる。衝突には、作業ボリュームが重なり合う場合だけでなく、作業ボリューム間の空間が閾値未満である場合も含まれる。一部の機器は、他の機器よりも多くの「自由空間」を必要とすることがある。表示装置上では、異なる作業ボリュームが異なる色（例えば異なる色の点群）を使用して表されても良い。２つの異なる色の点群が表示装置上で重なり合うとき、第３の色が表示される。

他の例では、監視側のモニタリングコンピューティングシステムにおいて、モニタリングコンピューティング装置１２６がコンピュータ支援処置の少なくともいくつかの態様（例えばコンピュータ動作）を実行することを可能にするために、３０２Ａと同様に、介入でき、これによって、より多くの命令が必要とされる。介入できるシステムは、監視専用のシステムと同じ監視能力を有することができ、手術中データ３０８Ａを受信し、手術中データ３０８Ｂと同じものを記憶し、センサデータから姿勢データを計算し、測定値を計算し、例えばＯＲの配置またはセットアップを示すＯＲの仮想化を含む表示を提示するように構成できる。対照的に、監視モジュール３０４Ｂは、モニタリングコンピューティング装置１２６において入力を受信（例えば取り込み）し、入力または別の形態（例えば命令メッセージの形態等）であり得る介入データを、ＯＲコンピューティングシステムに送信し得る。

実施例のいずれにおいても、監視モジュール３０４Ｂは、オーディオおよび／またはビデオデータを取り込み、監視データと同じデータをＯＲコンピューティングシステムに送信し、及び／又はオーディオ及び／又はビデオデータをＯＲコンピューティングシステムから受信することで、音声および／または音声および／またはビデオ通信リンクを確立でき、好ましくは、それぞれのシステムのユーザ間等の双方向通信リンクを確立できる。

いずれの例においても、監視モジュール３０４Ｂは、図２に関連して前述したように、監視アプリケーション及び／又は制御を含む機能のＵＩ画面を表示するための命令を有することができ、従って、介入制御が存在できるが、機能が利用可能でないことを示すメッセージを呼び出すことができる（介入能力が提供されない例では介入を開始するためではない）。

監視モジュール３０４Ｂには、以下で更に説明するように、自己監視に応じてトリガされたＯＲコンピューティングシステムからのメッセージを受信する命令を含むことができる。

手術前データ３０６Ｂは、１又は複数の様式による患者情報および患者画像を含むことができる術前患者データを含むことができる。手術前データ３０６Ｂは他の手術ナビゲーションコンポーネントまたは他のＯＲ装置のために、ＯＲ内で追跡または位置決めされている物体のための幾何学的定義を含むことができる。このデータは姿勢情報を決定し、測定又は他の計算（例えば２つの物体及び／又はコンポーネントが衝突する場合）を行い、及び／又は例えばＯＲの仮想ビューにおいて、又は、生の映像又は手術前の画像における患者の解剖学的構造の拡張ビューにおいて、物体をＧＵＩにレンダリングするために使用されても良い。一部の例では、データは３Ｄビューのレンダリング等の３Ｄデータモデルである場合がある。説明したように、いくつかの例では、パン／チルト／ズーム等によってＯＲビューを操作できる。手術前データ３０６Ｂは別のコンピューティング装置（例えばサーバ１２４又は別のサーバのようなサーバ）から検索されても良い。いくつかの例では、術前患者データがＯＲコンピューティングシステムから受信されても良い。

手術中データ３０８Ｂは、監視側によって処置中に生成されたデータを含む。これは、モニタリングコンピューティングシステムを基準としたローカルデータである。それはまた、処置中にＯＲコンピューティングシステムから受信されたデータ（即ち遠隔データ）、例えば姿勢情報、解剖学的位置合わせデータおよび患者基準データ、重力の向き等、ＯＲコンピューティングシステムのユーザ１０２又はＯＲからの音声または映像データを含んでも良い。

コンピュータ・オペレーティング・システム及び通信モジュール３１０Ｂは、他のモジュールを実行するための環境を提供するための命令、ならびにデータを通信するための下位レバー（ｌｅｖｅｒ）・モジュール等を含む。明るい線の区別が示されているが、いくつかのモジュールの特徴または機能は他のモジュールによって実行されても良く、または他のモジュールによって共有されても良い。

図４Ａは、位置特定システム及び／又はロボット外科手術システムに通信可能に結合されたＯＲ演算装置を備え得る、ＯＲコンピューティングシステムの動作のフローチャートである。これらのコンポーネントのうちの少なくともいくつかは、単独で、または一緒に、メモリ又は他のストレージ装置および通信システムを備えるデータ記憶装置に結合された少なくとも１の処理ユニットを備える。通信システムは、ＯＲコンピューティングシステムを通信ネットワークに結合するように構成される。データ記憶装置は少なくとも１の処理ユニットによって実行されるとき、ＯＲコンピューティングシステムの動作（例えば４００）を構成する命令を記憶する。動作４００は４０２において、患者に対してコンピュータ支援処置を実行することと、手術室内の処置中に１又は複数の物体のそれぞれの位置を追跡することとを含み、手術室内の１又は複数の物体のそれぞれの位置を表すセンサデータが、１又は複数の物体に関連付けられたセンサから受信される。４０４において、動作はコンピュータ支援処置中に（例えばリアルタイムで）、手術室を監視するために遠隔に位置するモニタリングコンピューティングシステムに姿勢情報を含む、処置中に生成された手術中データを通信することを含み、モニタリングコンピューティングシステムは（姿勢情報を含む）手術中データを受信し、１又は複数の物体のそれぞれの位置を含む手術中データを提示するように構成される。

姿勢情報は、物体の姿勢を計算するためのセンサデータと、センサデータを使用してＯＲ演算装置によって計算された物体の姿勢を表す姿勢データとのうちの一方または両方を含むことができる。

４０６において、動作はモニタリングコンピューティングシステムによって生成された監視データを受信し、利用することを含む。監視データは例えばＯＲコンピューティングシステムを制御するために、音声データ、映像データおよび介入データから選択できる。

物体の姿勢を患者の姿勢に関連付けるために、姿勢情報は、患者の患者基準の姿勢情報を含むことができる。患者基準は、患者に結び付けられたカメラでも良く、又は、患者に関連付けられた光学トラッカでも良い。患者参照の姿勢情報は、一度決定され、患者が処置中に動かない場合は一度に送信されることがある。

コンピュータ支援処置の実行中、典型的にはその始めに向かって、命令は解剖学的位置合わせデータ、ある種の手術中データを定義するために患者をＯＲコンピューティングシステムに登録し、解剖学的位置合わせデータをモニタリングコンピューティングシステムに通信して、モニタリングコンピューティングシステムが患者の位置及び／又は患者の位置に対する１又は複数の物体のそれぞれの位置を表示することを可能にするように、ＯＲコンピューティングシステムを構成する。

本コンピュータ支援処置は、１又は複数の物体を追跡するためにコンピュータ支援定位を実行することと、ロボットを使用して１又は複数の物体のうちの少なくとも１つの位置決めを制御することとのうちの１つを含むことができる。コンピュータ支援定位が実行される場合、センサは、そのうちの少なくとも１つが１又は複数の物体に取り付けられている光学的位置特定システムのコンポーネントとできる。コンピュータ支援処置がロボットを使用して、１又は複数の物体のうちの少なくとも１つの位置決めを制御することを含む場合、センサは、ロボットに結合される。

手術中データは、ロボットマニピュレータの姿勢情報と、ロボットエンドエフェクタの測定された力と、ロボットエンドエフェクタの測定速度または毎分回転数（ＲＰＭ）と、光学センサからの姿勢情報と、医療撮像装置（Ｃアーム等）の姿勢情報と、タイムスタンプデータとのいずれかを含み得る。

いくつかの例では、センサの１つは位置決めカメラを含み、センサデータは位置決めカメラの生のビデオフィードを含む。１又は複数の物体のうちの少なくとも１つは、処置ツール及び患者の一部分（骨）から選択される。

図示されていないが、ＯＲコンピューティングシステムは監視中の表示に使用するため、患者のための手術前データをモニタリングコンピューティングシステムに通信できる。

ＯＲコンピューティングシステムは、処置中にＯＲビデオ及び／又は音声データを取り込むためのビデオカメラ及びマイクロフォンのうちの少なくとも１つを備えることができ、ＯＲコンピューティングシステムは、ＯＲビデオ及び／又は音声データをモニタリングコンピューティングシステムに通信できる。

処置を実行する場合、ＯＲコンピューティングシステムは、ＵＩスクリーンを含む作業フローを使用して、コンピュータ支援処置を実行するように構成しても良い。いくつかの例ではＯＲコンピューティングシステムがａ）作業フローにおける進捗状況を表す作業フロー状態を維持し、作業フロー状態をモニタリングコンピューティングシステムに通信するように構成されても良く、また、いくつかの例では、ｂ）ＯＲ演算装置の表示装置をミラーリングし、その画像を送信して、モニタリングコンピューティングシステムにＵＩスクリーンを共有する（例えば作業フローの進捗状況に従う）。この状態または実際のＵＩスクリーンの共有により、モニタリングコンピューティング装置は、ＯＲコンピューティングシステム又は他のＯＲ装置のコンポーネントの位置（そのような情報を受信した場合の姿勢を含む）を示す手術室の仮想ビューに関連して、作業フローのＵＩスクリーンを表示できる。前述のように、画像を送信することによる画面のミラーリングは、帯域幅の目的では優先されない場合がある。

いくつかの例では、ＯＲコンピューティングシステムがリクエストに応じてのみ、介入を許可できる（例えば監視のみの状態から、監視を伴う介入状態への切り替え）。図４Ｂに示すように、動作４１０は、監視状態への切り替えを提供する。４１２において、オペレーションは介入のリクエストを受信し、それに応答する。４１４において、動作は介入を有効にする。いくつかの事例では、これは単にモニタリングコンピューティングシステムから、追加のメッセージタイプ（例えば介入情報）を受け取る許可を必要とするかもしれない。モニタリングコンピューティングシステムへの画面のミラーリングを起動して、ＯＲコンピューティングシステムに表示されている内容を正確に確認し、モニタリングコンピューティングシステムへのＵＩスクリーンのミラーリングを開始する場合がある。４１６において、介入データが受信され、利用される。介入データは、あたかもＯＲコンピューティングシステムの入力装置から直接的に受信されるかのように使用される、前述のようなインターフェース入力でも良い。

介入には、処置の作業フロー（ＵＩスクリーン）のナビゲート、データの入力、他のアプリケーション及び／又はオペレーティングシステムのものを含む、特徴または機能の起動等が含まれる。例えばコンピュータ支援処置アプリケーション又はオペレーティングシステムのポリシー（規則）に従って、管理者または他の適格なユーザのみがアクセス可能な保護された機能を起動するための認証（例えばユーザ名およびパスワード）を提供することを含むことがある。

いくつかの例では、モニタリングコンピューティングシステムにビデオデータを提供するＯＲカメラ（例えば１１２Ｃ）又は他のカメラ（図示せず）が、その視野を再配置するためにパン、チルト、及び／又はズームするように制御可能でも良い。そのようなカメラの位置はＵＩスクリーン又はＡＰＩ等のインターフェースを介する等して、ＯＲ演算装置（例えば１１０Ｃ）によって制御されても良い。モニタリングコンピューティングシステムは、ＵＩへの入力であろうとＡＰＩへの入力であろうと、介入データを送信して、カメラの位置を再配置するように構成されても良い。

図４Ｃに示すように、ＯＲコンピューティングシステムは自己監視動作４２０を実行し、モニタリングシステムによる監視をリクエストしても良い。４２２で、ＯＲコンピューティングシステムは進捗状況の自己監視を行う。自己監視には、データのロギングや、さらに説明するようなデータの評価が含まれる場合がある。３２４において、動作は、進捗状況の評価を決定する。そして、４２６において、評価に応じて、動作は例えばＯＲコンピューティングシステムの監視を開始するために、モニタリングコンピューティングシステムにメッセージを通信する。一例によれば、自己監視動作は、本明細書において以下に記載される図６に詳述される。

図５Ａは、ＯＲコンピューティングシステムを含む遠隔に位置する手術室を監視するモニタリングコンピューティングシステムの動作５００のフローチャートである。ＯＲコンピューティングシステムは、１又は複数の物体のそれぞれの位置を表すセンサデータが１又は複数の物体に結び付けられたセンサから受信されるコンピュータ支援処置中に、１又は複数の物体のそれぞれの位置を追跡して、患者に対するコンピュータ支援処置を実行するように構成される。モニタリングコンピューティングシステムは、メモリ又は他のストレージ装置を含むデータ記憶装置に結合され、更に表示装置およびネットワークを介してＯＲコンピューティングシステムと通信するための通信システムに結合された少なくとも１の処理ユニットを含む。データ記憶装置は少なくとも１の処理ユニットによって実行されるとき、動作５００を実行するようにモニタリングコンピューティングシステムを構成する命令を記憶する。

動作５００は、５０２において、１又は複数の物体を表す幾何学的データを取得することを含む。動作は、５０４において、ＯＲコンピューティングシステムから（リアルタイムで）姿勢情報を含む手術中データを受信することを含む。５０６において、操作は、表示装置上に表示すること等によって、姿勢情報および幾何学的データを使用して、１又は複数の物体のそれぞれの位置をＧＵＩ内に表示することを含む。姿勢情報は、物体の姿勢を計算するためのセンサデータと、センサデータを使用してＯＲ演算装置によって計算された物体の姿勢を表す姿勢データとの一方または両方を含むことができる。

姿勢情報は患者の患者参照（姿勢情報）を含むことができ、モニタリングコンピューティングシステムは、ＯＲコンピューティングシステム内の患者の患者登録から決定された解剖学的登録データ（手術中データの種類）を受信し、解剖学的登録データ及び患者参照を使用して、患者の位置および患者の位置に対する１又は複数の物体のそれぞれの位置のうちの少なくとも１つをＧＵＩ内に表示するように構成できる。

センサデータは、光学的位置特定システムのカメラセンサからのカメラ測定値と、カメラ測定値を使用して計算された姿勢データとのうちの一方または両方を含むことができる。いくつかの例では、センサのうちの少なくとも１つは、１又は複数の物体のうちの少なくとも１つの位置決めを制御するロボットのモータのモータエンコーダ測定値を測定する。このような場合、センサデータは、モータエンコーダ測定値、およびモータエンコーダ測定値を使用して計算された姿勢データのうちの１つまたは両方を含むことができる。

１又は複数の物体は処置ツールおよび患者の一部分（例えば骨）から選択されても良い。いくつかの例では、モニタリングコンピューティングシステムがＧＵＩを決定するために、患者のための手術前データを受信するように構成される。

いくつかの実施形態では、モニタリングコンピューティングシステムが監視ビデオ及び／又は音声データを取り込むための少なくとも１つのビデオカメラ及びマイクロフォンを備えても良く、モニタリングコンピューティングシステムは監視ビデオ及び／又は音声データをＯＲコンピューティングシステムに通信するように構成されても良い。

コンピュータ支援処置は、ＵＩスクリーンの作業フローを使用して実行できる。いくつかの例では、作業フロー状態がＯＲコンピューティングシステムによって監視されても良く、そのような状態は（例えば手術中データのように）送信されても良い。例えばＯＲコンピューティングシステムのＵＩスクリーンを、モニタリングコンピューティングシステムにミラーリング（画像の送信）できる。他の例では、監視専用状態の間や、介入状態の間等、受信したデータのミラーリング（モニタリングコンピューティングシステム上で生成された作業フロー状態の画面を補充または置き換える可能性がある）等、作業フロー状態が送受信される場合がある。従って、モニタリングコンピューティングシステムは、状態のデータのみか、ミラーリングのデータのみか、又は両方のタイプを受信し、作業フローのＵＩスクリーンを表示するように構成できる。

図５Ｂに示されるように、モニタリングコンピューティングシステムは、その動作のうちの少なくとも１つを制御するために、ＯＲコンピューティングシステムに対する介入をリクエストする動作５１０で構成されても良い。５１２の動作で、介入のリクエストをＯＲコンピューティングシステムに通信、応答を受信する。５１４の動作において、介入を有効にする。例えば表示装置の別個のウィンドウ（例えば表示装置１２８）では、ＯＲコンピューティングシステムのスクリーンがミラーリングされても良い（例えばＯＲコンピューティングシステムから受信した画像）。５１６で、インターフェース入力がモニタリングコンピューティングシステムで受信され、ＯＲコンピューティングシステムに通信される。インターフェース入力はＯＲコンピューティングシステムの少なくとも１つの動作をモニタリングコンピューティングシステムが効果的に制御できるように、モニタリングコンピューティングシステム上の作業フロー状態（ＯＲコンピューティングシステムから受信）を使用してミラーリング又は生成されたＯＲコンピューティングシステムのスクリーンに関連しても良い。モニタリングコンピューティングシステムによって少なくとも部分的に制御され得る代表的な動作は、例えば、あるＵＩスクリーンから次のＵＩスクリーンへの作業フロー内の移行である。ＯＲコンピューティングシステムはモニタリングコンピューティングシステムから介入データを受信する間、ＯＲコンピューティングシステムに結合された任意の入力装置から入力データを受信する（例えば受信を継続する）こともできる（例えばＯＲ内）。これらの入力装置は、キーボード、ポインティングデバイス、位置特定システム又はロボットシステムのセンサ、マイクロフォン、カメラ等を含むことができる。モニタリングコンピューティングシステム上にミラーリングされたスクリーンは、他のアプリケーションで生成されたスクリーン又はオペレーティングシステムからのスクリーン等のＯＲコンピューティングシステムのソフトウエアを含むことができることが注意される。

幾何学的データは、ユーザインターフェースにおいて３Ｄ物体をレンダリングするための３Ｄデータモデル（例えばＣＡＤ等）を含むことができ、モニタリングコンピューティングシステムは、位置情報およびそれぞれのデータモデルを使用して、手術室における少なくとも１又は複数の物体の３Ｄビューをレンダリングできる。

いくつかの例では、手術室をより詳細に仮想化できる。ＯＲコンピューティングシステムは、位置特定システム又はロボット外科システムのコンポーネントを備えるか、又はそれらに結合され、ＯＲは他のＯＲ装置を規定するコンポーネントを含む。手術中データはそのようなコンポーネントのためのそれぞれのコンポーネント位置情報を含み、モニタリングコンピューティングシステムは、ＯＲコンピューティングシステム及び／又は他のＯＲ装置のそれぞれのコンポーネントのうちの少なくとも１つを表す幾何学的データを取得して、それぞれのコンポーネント位置情報に応じてＯＲの仮想ビュー内にそれぞれのコンポーネントのうちの少なくとも１つの描画を表示するように構成される。

ＯＲコンポーネントを示す仮想ビューは、仮想ビューをパン、チルト、又はズームイン／アウトするためのＵＩコントロールを有効にする。表示装置１２８において、ＯＲコンピューティングシステムの仮想ビュー及びＵＩスクリーン（作業フロー状態から生成されたものでも、ミラーリングされたデータから生成されたものでも良い）及び任意のビデオデータは異なるウィンドウ又は他のＵＩ構造（例えばオーバレイ、ポップアップ等）で表示されても良い。このようにして、モニタリングコンピューティングシステムのユーザは、ＯＲ内のユーザに見えるものをより良く視覚化できる。映像ビューはＯＲの一部のみを示すことができ、３Ｄ仮想ビューは、その中のＯＲ、物体（及び患者）のより良い理解を可能にできることが、理解されるのであろう。

モニタリングコンピューティングシステムは、幾何学的データ及び姿勢情報を使用して、１又は複数の物体の位置情報を決定できる。位置状態情報は、位置、速度、加速度、圧力／力、近接度、および他の尺度を含むことができる。

図６は、例えば図４Ａ〜４Ｃに関連して説明したような、ＯＲコンピューティングシステムの動作６００のフローチャートである。動作６００は、自己監視機能を詳述する。６０２において、ＯＲコンピューティングシステムは例えば手術室内のコンピュータ支援処置中に１又は複数の物体のそれぞれの位置を追跡し、手術室内の参照空間内の１又は複数の物体のそれぞれの位置を表す姿勢データを生成するコンピュータ支援処置を実行する。６０４において、コンピュータ支援処置の進捗状況を表すログデータが記憶される。ここで、ログデータとは、処置中に生成された任意の手術中データ、タイムスタンプデータ、又はそれらのいずれかから生成されたデータを表す総称である。

６０６において、動作は、コンピュータ支援処置の進捗状況を監視する。６０８において、動作は進捗状況の監視に応じて進捗状況の尺度を決定し、６１０において、進捗状況の尺度に応じて、動作は、進捗状況の尺度（及びオプションで、ログデータの少なくとも一部を含む）を特定するメッセージを、モニタリングコンピューティングシステムに通信する。必要に応じて、ＯＲコンピューティングシステムを特定する。

ＯＲコンピューティングシステムはカメラを備えることができ、カメラから画像を受信し、画像をログデータとして記憶するように構成できる。記憶される画像データの量は、定義されたサイズの（循環型の）バッファに書き込み、それが満たされた場合は上書きすること等によって、制限されても良い。

ＯＲコンピューティングシステムは、ＵＩスクリーンを含む作業フローを使用してコンピュータ支援処置を実行するように構成されても良く、記憶されたログデータは作業フロー状態データでも良い。任意のログデータをタイムスタンプに関連付けて、ロギングの発生時刻および／または時刻をマークできる。

進捗状況の尺度は、ある状態から次の状態への作業フローの状態を進めることの失敗、または作業フローのある状態の繰り返すことである可能性がある。障害は例えば閾値時間を超える時間を要すること、または閾値時間内にある状態を２回以上繰り返すことに関連付けられても良い。進捗状況の尺度は、作業フローの状態を１つの状態から次の状態に進行させるための閾値時間の満了に応じたものにできる。進捗状況の尺度は、（例えば無効な姿勢データ又は破損した姿勢データに起因して）失敗した位置特定値の数の閾値を超えることに基づいても良い。

ログデータは、例えば処置の進行の失敗、またはデータの具体的なインスタンス又は共同インスタンス（ｃｏ−ｉｎｓｔａｎｃｅｓ）の記録を探すルールベースの方式によって、ルールを使用して監視（分析）されても良い。例えばこのコンピュータ支援処置は、特定の較正を実行することを含むことができる。較正動作は、状態または較正データ結果（測定値または測定値を使用する計算）等の結果を記録できる。ルールはログデータを分析し、それに応じて進捗状況の尺度を決定し、較正に応じて進行の失敗を決定できる。従って、ＯＲコンピューティングシステムはログデータを分析し、ルール分析に応じて進捗状況の尺度を決定するためのルールを記憶できる。

ルールは、進捗状況の尺度のための重大度指標を決定し、重大度指標に応じてメッセージを通信できる。重大度指標は、メッセージがどのように送信されるか、または誰に送信されるかを指示できる。一例では、進捗状況の尺度が、職員のフォローアップ訓練が指示されていることを示すことができる。一例では、進捗状況の尺度がサービスが必要であることを示すことができる。重大度指標はサービスの必要性の緊急性を示し、より低いレベルのメッセージを電子メールで配信し、より高いレベルのメッセージをＳＭＳ／テキストで配信する必要があることを指示する場合がある。一例では、重症度指標が介入が必要であることを示すことができる。進捗状況の尺度に対する異なる重大度指示は、異なる受信者への異なるメッセージを生成できる。これらのメッセージは電子メール、ショートメッセージサービス（ＳＭＳ）、テキスト、インスタントメッセージ（ＩＭ）等を介して、訓練またはサービス担当者に、あるいはアプリケーションプログラミングインターフェース（ＡＰＩ）または他の通信インターフェースを介して、監視および／または監視および介入をリクエストするモニタリングコンピューティングシステムに、様々な方式で通信できる。

一実施形態では、メッセージがモニタリングコンピューティングシステムに通信されても良い。メッセージは、インターフェース（例えば表示装置１２８上のＵＩ）を介してモニタリングコンピューティングシステムによって受信され表示されても良い。メッセージに応じて、モニタリングコンピューティングシステムのユーザは、ＯＲコンピューティングシステムの監視を開始できる（これは監視を開始したメッセージを送信することを含むか、又は開始することをリクエストできる）。監視を開始するには、ＯＲコンピューティングシステムから追加のログデータ（例えば最近記録された動画、またはＯＲコンピューティングシステムによって生成された他の手術中データ（位置合わせデータ、姿勢情報等））の受信が必要である場合がある。この追加のログデータを取得するために、ＯＲコンピューティングシステムにメッセージが送信される場合がある（例：
送信の呼び出し）。モニタリングコンピューティングシステムは、受信した手術中データを表示できる。例えばモニタリングコンピューティングシステムは、任意のＵＩスクリーンを示しても良く、手術中データ又はそれに由来するデータをＵＩスクリーンに含めても良い。いくつかの例では、受信されるデータが作業フロー状態（例えば処置ＴＨＡ、プローブ校正段、スクリーン２）およびセンサデータ（例えばプローブ（工具）の位置が示されるか、または決定され得るデータ）であり得る。本モニタリングコンピューティングシステムは、ＵＩスクリーン定義等に従って、そのＵＩスクリーンに工具の位置またはそのいずれかのレンダリングを付け加えることを含み、又はモニタリングコンピューティングシステムにアクセス可能なその定義から、対応するＵＩスクリーンを表示できる。オーディオ及び／又はビデオチャネルが、２つのシステム間で開始されても良い。介入が指示され、介入データが上述のように生成されても良い。

ＯＲコンピューティングシステムは、コンピュータ支援処置中にメッセージを通信し、コンピュータ支援処置中に遠隔に配置されるモニタリングコンピューティングシステムから監視データを受信し、ＯＲコンピューティングシステムを介してモニタリングコンピューティングシステムから監視データを利用するように構成できる。モニタリングコンピューティングシステムからの監視データは、少なくとも部分的にＯＲコンピューティングシステムを制御するためにオーディオ及び／又は表示装置および／または介入データを介して提示するためのオーディオ及び／又はビデオデータでも良い。

ＯＲコンピューティングシステムは、マイクロフォン及び／又はビデオカメラに結合され、ＯＲ音声および／またはビデオデータを手術室からモニタリングコンピューティングシステムに通信できる。

ＯＲコンピューティングシステムはＯＲ演算装置によって生成されたログデータ又は手術中データの少なくとも１つから、モニタリングコンピューティングシステムに追加データを送信するように（例えばメッセージが送信された後に）構成されても良い。生成されたログデータは、カメラ画像データ、カメラ画像データから決定された姿勢データを含む手術中データ、姿勢データから決定された計測データ、スクリーンショットデータ、作業フロー状態データ、術前患者データ、および処置中に生成されたデータのいずれかに対するタイムスタンプデータ、のうちのいずれかを含む。

図７は、例えばＯＲコンピューティングシステムからのメッセージに応じたモニタリングコンピューティングシステムの動作７００を示す。モニタリングコンピューティングシステムは、前述のように設定できる。７０２において、ＯＲコンピューティングシステムからメッセージが受信され、そのメッセージは、コンピュータ支援処置を実行する際のＯＲコンピューティングシステムの（示されている）進捗状況の尺度に応じて生成される。

例えばメッセージの形態に応じて、ＯＲコンピューティングシステムの監視は異なる方式（例えば７０４）で呼び出されても良い。メッセージは、電子メールでも良く、ブラウザベースのアプリケーション又は他を起動するためのブラウザベースのインタフェース・リンクを含んでいても良い。該メッセージは、モニタリングコンピューティングシステムが患者のための監視及び／又は手術前データを開始できる、ＯＲコンピューティングシステムを識別するログデータ及び／又はデータを含むことができる。（７０４でも）監視（Ｍｏｎｉｔｅｒｉｎｇ）は、追加のログデータ及び／又は手術中データ及び／又は手術前データをリクエストできる。（７０６で）監視は、そのようなログデータ及び／又は手術中データ及び／又は手術前データを受信し、表示することを含むことができる。いくつかの事例では、少なくとも一部のＯＲコンピューティングシステムが配置されているＯＲの仮想ビューが表示されても良い。いくつかの事例では、（７０８において）受信された作業フロー状態データから生成され得るように、ＯＲコンピューティングシステムのＵＩスクリーンが表示される。７１０での動作は、ＯＲコンピューティングシステムによる動作のために、例えば介入データ及び／又は音声又は映像データのような監視データを生成し、通信する。

ここでの教示は、処置中にデータを交換するリアルタイムの監視について論じているが、例えば処置を再生するために、後の検索および「プレイバック」のために手術中データを記憶（ログ）できることが想定される。記憶された手術中データは、タイムスタンプを有する、又は順序付けられた再生を容易にするように順序付けられた、生のセンサデータ及び／又は位置合わせデータ、作業フロー状態データ等を含んでも良い。

監視の呼び出しは、ＯＲコンピューティングシステムの自己監視動作を用いて説明されているが、他の呼び出しトリガを用いることもできる。一実施形態では、ＯＲコンピューティングシステムがコンピュータ支援処置が開始される度に、自動的にモニタリングコンピューティングシステムにメッセージを送信できる。ＯＲコンピューティングシステムや実行するコンピュータ支援処置等を識別する場合がある。メッセージは、監視を呼び出す要求である可能性がある。メッセージは、処置が開始したという通知でも良い。通知はＯＲコンピューティングシステムによる活動処置の一覧または他の表現（例えばマップ）のように（例えばＧＵＩの中で）提示できる。ＧＵＩは、監視を起動するための処置／ＯＲコンピューティングシステムの選択を可能にしても良い。いくつかの事例では、ＯＲコンピューティングシステムがヘルプボタン又は他の制御を用いて、監視を要求／起動するためのメッセージの送信を起動するように構成できる。

本明細書では様々な例を説明するが、特に断らない限り、または論理的に可能でない限り、任意の例の特徴および機能を別の例の特徴および機能と組み合わせ、かつ／または使用できる。例示として、遠隔に位置するモニタリングコンピューティングシステムと通信して、それに手術中データを提供するように構成されたＯＲコンピューティングシステムは、自己監視を実行するように構成されても良い。

Claims

患者に対してコンピュータ支援処置を行うＯＲコンピューティングシステムを含む遠隔に配置された手術室を監視し、前記コンピュータ支援処置中の１又は複数の物体に結び付けられたセンサから受信される前記１又は複数の物体のそれぞれの位置を表すセンサデータに基づいて、前記１又は複数の物体のそれぞれの位置を追跡するモニタリングコンピューティングシステムであって、
少なくとも１の処理ユニットと、
メモリ又は他のストレージから構成されるデータ記憶装置と、
表示装置と、
ネットワークを介して前記ＯＲコンピューティングシステムと通信する通信システムとを備え、
前記データ記憶装置、前記表示装置、および前記通信システムのそれぞれは、前記少なくとも１の処理ユニットに結合されるものであり、
前記データ記憶装置には、前記少なくとも１の処理ユニットによって実行される命令が記憶され、
前記モニタリングコンピューティングシステムは、
前記１又は複数の物体を表す幾何学的データを取得し、
前記コンピュータ支援処置に対する前記ＯＲコンピューティングシステムから姿勢情報を含む手術中データを処置中に受信し、
前記姿勢情報および前記幾何学的データを使用した前記１又は複数の物体のそれぞれの位置を含む前記手術中データの少なくとも一部を、前記表示装置を介して表示することでＧＵＩ内に存在させるように構成され、
前記姿勢情報は、物体の姿勢を計算するためのセンサデータと、前記センサデータを使用して前記ＯＲコンピューティングシステムで計算された前記物体の前記姿勢を表す姿勢データとの一方または両方を含むことにより構成される、モニタリングコンピューティングシステム。
前記姿勢情報は、前記患者に関連付けられた参照のための姿勢情報を含み、
前記命令は、
前記ＯＲコンピューティングシステム内の前記患者の位置合わせから決定された解剖学的位置合わせデータを受信し、
前記解剖学的位置合わせデータ及び患者基準を使用して、ＧＵＩ内に少なくとも１つの患者の位置を表示し、
前記１又は複数の物体のそれぞれの位置と前記患者の前記位置とを関連させるように前記モニタリングコンピューティングシステムを構成する請求項１記載のモニタリングコンピューティングシステム。
前記コンピュータ支援処置は、前記１又は複数の物体を追跡するためにコンピュータ支援の位置特定を実行することと、ロボットを使用して前記１又は複数の物体のうちの少なくとも１つの位置特定を制御することとのうちの１つを含む、請求項１及び２のいずれかに記載のモニタリングコンピューティングシステム。
前記センサデータは、光学的位置特定システムのカメラセンサからのカメラ測定値と、前記カメラ測定値を使用して計算された姿勢データとのうちの一方または両方を含む、請求項１及び２のいずれかに記載のモニタリングコンピューティングシステム。
前記センサのうちの少なくとも１つが、前記１又は複数の物体のうちの少なくとも１つの位置決めを制御するロボットのモータのモータエンコーダ測定値を含むセンサデータを生成し、前記姿勢情報が、前記モータエンコーダ測定値と、前記モータエンコーダ測定値を使用して計算された姿勢データとのうちの１つまたは両方を含む、請求項１及び２のいずれかに記載のモニタリングコンピューティングシステム。
前記１又は複数の物体は、処置ツール及び前記患者の一部分、好ましくは前記患者の骨から選択される、請求項１から５のいずれかに記載のモニタリングコンピューティングシステム。
前記命令は、前記ＧＵＩに表示するための前記患者の手術前データを受信するように前記モニタリングコンピューティングシステムを構成する、請求項１から６のいずれかに記載のモニタリングコンピューティングシステム。
監視ビデオ及び／又は音声データを取り込むためのビデオカメラ及びマイクロフォンのうちの少なくとも１つを含み、
前記命令が、前記監視ビデオ及び／又は音声データを前記ＯＲコンピューティングシステムに通信するように構成される請求項１から７のいずれかに記載のモニタリングコンピューティングシステム。
前記命令は、
ａ）前記コンピュータ支援処置するためのＵＩスクリーンで構成される作業フローの進捗状況を表す作業フロー状態と、
ｂ）前記モニタリングコンピューティングシステムからの前記作業フローの進捗状況に応じて、前記ＵＩスクリーンを共有している前記ＯＲコンピューティングシステムの前記表示装置のミラーと、
の１つを受信し、
前記作業フローの前記ＵＩスクリーンを表示するように構成される、請求項１から８のいずれかに記載のモニタリングコンピューティングシステム。
前記命令は、前記モニタリングコンピューティングシステムに、前記ＯＲコンピューティングシステムの少なくとも１つの動作を制御する介入データを定義するための入力を受信し、前記介入データを前記ＯＲコンピューティングシステムに通信するように構成される、請求項１から９のいずれかに記載のモニタリングコンピューティングシステム。
前記幾何学的データは、ユーザインターフェースで３Ｄ物体をレンダリングするための３Ｄデータモデルを含み、
前記命令は、前記位置情報を使用するように前記モニタリングコンピューティングシステムを構成し、前記それぞれのデータモデルは、前記ＧＵＩ内の少なくとも前記１又は複数の物体の３Ｄビューをレンダリングするように構成される、請求項１から１０のいずれかに記載のモニタリングコンピューティングシステム。
前記命令は、前記幾何学的データと前記姿勢情報とを用いて前記１又は複数の物体の位置状態情報を決定するように前記モニタリングコンピューティングシステムを構成する、請求項１から１１のいずれかに記載のモニタリングコンピューティングシステム。
前記ＯＲコンピューティングシステムが位置特定システムとロボット外科システムとのうちの１つのコンポーネントを備えるか、又はそれらに結合され、
前記命令が、前記コンポーネントのうちの少なくとも１つを表す幾何学的データにアクセスして、前記コンポーネントのうちの少なくとも１つのレンダリングを前記ＯＲの仮想ビューに表示するように前記モニタリングコンピューティングシステムを構成する、請求項１から１２のいずれかに記載のモニタリングコンピューティングシステム。
前記命令は、前記仮想ビューをパンするためのパン制御と、前記仮想ビューをチルトするためのチルト制御と、前記仮想ビューをズームイン及び／又はズームアウトするためのズーム制御と、前記仮想ビュー内のＯＲ装置の少なくとも１つのコンポーネントのための作業ボリュームを表示するための作業ボリューム制御と、から選択される制御を提供するように前記モニタリングコンピューティングシステムを構成する、請求項１３記載のモニタリングコンピューティングシステム。
前記命令は、前記モニタリングコンピューティングシステムによる監視を開始するために、前記ＯＲコンピューティングシステムからのメッセージを受信するように前記モニタリングコンピューティングシステムを構成する、請求項１から１４のいずれかに記載のモニタリングコンピューティングシステム。
患者に対してコンピュータ支援処置を行うＯＲコンピューティングシステムを含む遠隔に配置された手術室を監視し、前記コンピュータ支援処置中の１又は複数の物体に結び付けられたセンサから受信される前記１又は複数の物体のそれぞれの位置を表すセンサデータに基づいて、前記１又は複数の物体のそれぞれの位置を追跡する方法であって、
１又は複数の物体を表す幾何学的データの取得し、
前記コンピュータ支援処置に対する前記ＯＲコンピューティングシステムから姿勢情報を含む手術中データを処置中に受信し、
前記姿勢情報および前記幾何学的データを使用した前記１又は複数の物体のそれぞれの位置を含む前記手術中データの少なくとも一部を、前記表示装置を介して表示することでＧＵＩ内に存在させ、
前記姿勢情報は、物体の姿勢を計算するためのセンサデータと、前記センサデータを使用して前記ＯＲコンピューティングシステムで計算された前記物体の前記姿勢を表す姿勢データとの一方または両方を含むことにより構成される、方法。
前記姿勢情報は、前記患者に関連付けられた参照のための姿勢情報を含み、
前記命令は、
前記ＯＲコンピューティングシステム内の前記患者の位置合わせから決定された解剖学的位置合わせデータを受信し、
前記解剖学的位置合わせデータ及び患者基準を使用して、ＧＵＩ内に少なくとも１つの患者の位置を表示し、
前記１又は複数の物体のそれぞれの位置と前記患者の前記位置とを関連させるように前記モニタリングコンピューティングシステムを構成する請求項１６記載の方法。
前記コンピュータ支援処置は、前記１又は複数の物体を追跡するためにコンピュータ支援の位置特定を実行することと、ロボットを使用して前記１又は複数の物体のうちの少なくとも１つの位置特定を制御することとのうちの１つを含む、請求項１６及び１７のいずれかに記載の方法。
前記センサデータは、光学的位置特定システムのカメラセンサからのカメラ測定値と、前記カメラ測定値を使用して計算された姿勢データとのうちの一方または両方を含む、請求項１６及び１７のいずれかに記載の方法。
前記センサのうちの少なくとも１つが、前記１又は複数の物体のうちの少なくとも１つの位置決めを制御するロボットのモータのモータエンコーダ測定値を含むセンサデータを生成し、前記姿勢情報が、前記モータエンコーダ測定値と、前記モータエンコーダ測定値を使用して計算された姿勢データとのうちの１つまたは両方を含む、請求項１６及び１７のいずれかに記載の方法。
前記１又は複数の物体は、処置ツール及び前記患者の一部分、好ましくは前記患者の骨から選択される、請求項１６から２０のいずれかに記載の方法。
前記ＧＵＩに表示するために前記患者の手術前データを受信する、請求項１６から２１のいずれかに記載の方法。
ビデオカメラ及びマイクロフォンのうちの少なくとも１つから、監視ビデオ及び／又は音声データを取り込み、前記監視ビデオ及び／又は音声データを前記ＯＲコンピューティングシステムに通信する、請求項１６から２２のいずれかに記載の方法。
ａ）前記コンピュータ支援処置するためのＵＩスクリーンで構成される作業フローの進捗状況を表す作業フロー状態と、ｂ）前記モニタリングコンピューティングシステムからの前記作業フローの進捗状況に応じて、前記ＵＩスクリーンを共有している前記ＯＲコンピューティングシステムの前記表示装置のミラーと、の１つを受信し、前記作業フローの前記ＵＩスクリーンを表示する、請求項１６から２３のいずれかに記載の方法。
前記ＯＲコンピューティングシステムの少なくとも１つの動作を制御する介入データを定義するための入力を受信し、前記介入データを前記ＯＲコンピューティングシステムに通信する、請求項１６から２４のいずれかに記載の方法。
前記幾何学的データは、ユーザインターフェースで３Ｄ物体をレンダリングするための３Ｄデータモデルを含み、
前記ＧＵＩ内の少なくとも前記１又は複数の物体の３Ｄビューを前記位置情報および前記それぞれのデータモデルを使用してレンダリングするように構成される、請求項１６から２５のいずれかに記載の方法。
前記幾何学的データと前記姿勢情報とを用いて前記１又は複数の物体の位置状態情報を決定する、請求項１６から２６のいずれかに記載の方法。
前記ＯＲコンピューティングシステムが位置特定システムとロボット外科システムとのうちの１つのコンポーネントを備えるか、又はそれらに結合され、
前記方法が、前記コンポーネントのうちの少なくとも１つを表す幾何学的データにアクセスして、前記コンポーネントのうちの少なくとも１つのレンダリングを前記ＯＲの仮想ビューに表示するように構成される、請求項１６から２７のいずれかに記載の方法。
前記仮想ビューをパンするためのパン制御と、前記仮想ビューをチルトするためのチルト制御と、前記仮想ビューをズームイン及び／又はズームアウトするためのズーム制御と、前記仮想ビュー内のＯＲ装置の少なくとも１つのコンポーネントのための作業ボリュームを表示するための作業ボリューム制御と、から選択される制御を提供する、請求項２８記載の方法。
監視を開始するために、前記ＯＲコンピューティングシステムからのメッセージを受信する、請求項１６から２９のいずれかに記載の方法。
ＯＲコンピューティングシステムであって、
少なくとも１の処理ユニットと、
メモリ又は他のストレージから構成されるデータ記憶装置と、
前記ＯＲコンピューティングシステムを通信ネットワークに結合するために、前記少なくとも１つの処理装置に結合される通信システムとを備え、
前記データ記憶装置および前記通信システムは、少なくとも１の処理ユニットに結合されるものであり、
前記データ記憶装置には、前記少なくとも１の処理ユニットによって実行される命令が記憶され、
前記ＯＲコンピューティングシステムは、
患者に対してコンピュータ支援処置を行い、手術室での前記コンピュータ支援処置中の手術室内の１又は複数の物体に結び付けられたセンサから受信される前記１又は複数の物体のそれぞれの位置を表すセンサデータに基づいて、前記１又は複数の物体のそれぞれの位置を追跡し、
前記コンピュータ支援処置中において、姿勢情報を含む前記処置中に生成された手術中データを手術室を監視するためのモニタリングコンピューティングシステムに通信し、前記モニタリングコンピューティングシステムは、前記１又は複数の物体のそれぞれの位置を含む前記手術中データを受信し、ＧＵＩに表示するように構成され、
前記姿勢情報は、物体の姿勢を算出するためのセンサデータと、前記センサデータを用いてＯＲ演算装置によって算出された前記物体の前記姿勢を表す姿勢データとの一方または両方を含む、ＯＲコンピューティングシステム。
前記姿勢情報は、前記患者に関連付けられた参照のための姿勢情報を含み、
前記命令は、解剖学的位置合わせデータを定義するために前記患者を前記ＯＲコンピューティングシステムに登録し、前記モニタリングコンピューティングシステムが前記患者の位置と、前記患者の前記位置に対する前記１又は複数の物体のそれぞれの位置とのうちの少なくとも１つを前記ＧＵＩ内に表示するのを可能にするために、前記解剖学的位置合わせデータを前記モニタリングコンピューティングシステムと通信するように前記ＯＲコンピューティングシステムを構成する、請求項３１記載のＯＲコンピューティングシステム。
前記コンピュータ支援処置が、前記１又は複数の物体を追跡するためのコンピュータ支援定位処置と、ロボットを使用して前記１又は複数の物体のうちの少なくとも１つの位置決めを制御することを含むロボット処置とのうちの１つを含む、請求項３１及び２２のいずれかに記載のＯＲコンピューティングシステム。
前記コンピュータ支援定位処置の間、前記１又は複数の物体に取り付けられる少なくとも１つの前記センサは、光学的位置特定システムのコンポーネントである、請求項３３記載のＯＲコンピューティングシステム。
前記ロボット処置の間、前記センサは前記ロボットに結合される、請求項３３記載のＯＲコンピューティングシステム。
前記手術中データが、
ロボットマニピュレータの姿勢情報と、
ロボットエンドエフェクタの測定された力と、
ロボットエンドエフェクタの測定速度または毎分回転数（ＲＰＭ）と、
光学センサからの姿勢情報と、
医療撮像装置の姿勢情報と、
タイムスタンプデータと、のいずれかを含む、請求項３１から３５のいずれかに記載のＯＲコンピューティングシステム。
前記センサのうちの１つは位置決めカメラを含み、前記センサデータは前記位置決めカメラのビデオフィードを含む、請求項３１から３６のいずれかに記載のＯＲコンピューティングシステム。
前記１又は複数の物体の少なくとも１つが、処置ツール及び前記患者の一部分、好ましくは前記患者の骨から選択される、請求項３１から３７のいずれかに記載のＯＲコンピューティングシステム。
前記命令は、前記ＧＵＩの表示に使用するために前記モニタリングコンピューティングシステムに前記患者のための手術前データを通信するように前記ＯＲコンピューティングシステムを構成する、請求項３１から３８のいずれかに記載のＯＲコンピューティングシステム。
ＯＲビデオ及び／又は音声データを取り込むためのビデオカメラ及びマイクロフォンのうちの少なくとも１つを備え、
前記命令は、前記ＯＲビデオ及び／又は音声データを前記モニタリングコンピューティングシステムに通信するように前記ＯＲコンピューティングシステムを構成する、請求項３１から３９のいずれかに記載のＯＲコンピューティングシステム。
前記命令は、前記モニタリングコンピューティングシステムによって生成された監視データを受信して利用するように前記ＯＲコンピューティングシステムを構成する、請求項３１から４０のいずれかに記載のＯＲコンピューティングシステム。
前記監視データは、前記ＯＲコンピューティングシステムを制御するために介入データ、及びオーディオデータ及び／又はビデオデータから選択される、請求項４１記載のＯＲコンピューティングシステム。
前記命令は、
前記コンピュータ支援処置を実行するためのＵＩスクリーンを含む作業フローの使用すること、及び、
ａ）作業フローの進捗状況を表す作業フロー状態を維持し、作業フロー状態をモニタリングコンピューティングシステムに通信すること、
ｂ）モニタリングコンピューティングシステムへの作業フローの進捗状況に応じてＵＩスクリーンを共有するために、前記ＯＲコンピューティングシステムの表示装置をミラーリングすること、
との１つによって、前記モニタリングコンピューティングシステムが作業フローのＵＩスクリーンを表示できるようにすることを前記ＯＲコンピューティングシステムに構成する、請求項３１から４２のいずれかに記載のＯＲコンピューティングシステム。
前記命令は、前記コンピュータ支援処置の進捗状況を自己監視し、前記進捗状況に応じて、前記ＯＲコンピューティングシステムの遠隔監視を起動するメッセージを前記モニタリングコンピューティングシステムに通信するように前記ＯＲコンピューティングシステムを構成する、請求項３１から４３のいずれかに記載のＯＲコンピューティングシステム。
前記ＯＲコンピューティングシステムは、前記ＯＲコンピューティングシステム及び／又は他のＯＲ装置のコンポーネントにおけるコンポーネント姿勢情報を決定し、前記ＯＲのレイアウトを示す仮想ビューの表示を可能にするために、前記コンポーネント姿勢情報を前記モニタリングコンピューティングシステムに通信する、請求項３１から４４のいずれかに記載のＯＲコンピューティングシステム。
方法であって、
患者に対してＯＲコンピューティングシステムによるコンピュータ支援処置を実行し、前記手術室内の前記１又は複数の物体に取り付けられたセンサからＯＲコンピューティングシステムによって受信される前記１又は複数の物体のそれぞれの位置を表すセンサデータに基づいて、１又は複数の物体のそれぞれの位置を追跡し、
前記コンピュータ支援処置中において、姿勢情報を含む前記処置中に生成された手術中データを前記手術室を監視するモニタリングコンピューティングシステムに通信し、前記モニタリングコンピューティングシステムは、前記１又は複数の物体のそれぞれの位置を含む前記手術中データを受信し、ＧＵＩに表示するように構成され、
前記姿勢情報は、物体の姿勢を算出するためのセンサデータと、前記センサデータを用いてＯＲ演算装置によって算出された前記物体の前記姿勢を表す姿勢データとの一方または両方を含む、方法。
前記患者に関連付けられた参照に対する姿勢情報を決定し、解剖学的位置合わせデータを定義するために前記患者を前記ＯＲコンピューティングシステムに登録し、前記モニタリングコンピューティングシステムが前記患者の位置と、前記患者の前記位置に対する前記１又は複数の物体のそれぞれの位置とのうちの少なくとも１つを前記ＧＵＩ内に表示するのを可能にするために、前記解剖学的位置合わせデータを前記モニタリングコンピューティングシステムと通信する、請求項４６記載の方法。
前記コンピュータ支援処置は、前記１又は複数の物体を追跡するためのコンピュータ支援定位処置と、ロボットを使用して前記１又は複数の物体のうちの少なくとも１つの位置決めを制御することを含むロボット処置とのうちの１つを含む、請求項４６及び４７のいずれかに記載の方法。
前記コンピュータ支援定位処置の間、前記１又は複数の物体に取り付けられる少なくとも１つの前記センサは、光学的位置特定システムのコンポーネントである、請求項４８記載の方法。
前記ロボット処置の間、前記センサは前記ロボットに結合される、請求項４８記載の方法。
前記手術中データが、
ロボットマニピュレータの姿勢情報と、
ロボットエンドエフェクタの測定された力と、
ロボットエンドエフェクタの測定速度または毎分回転数（ＲＰＭ）と、
光学センサからの姿勢情報と、
医療撮像装置の姿勢情報と、
タイムスタンプデータと、のいずれかを含む、請求項４６から５０のいずれかに記載の方法。
前記センサの１つが位置決めカメラを含み、前記センサデータは前記位置決めカメラのビデオフィードを含む、請求項４６から５１のいずれかに記載の方法。
前記１又は複数の物体の少なくとも１つが、処置ツール及び前記患者の一部分、好ましくは前記患者の骨から選択される、請求項４６から５２のいずれかに記載の方法。
前記ＧＵＩの表示に使用するために前記モニタリングコンピューティングシステムに前記患者のための手術前データを通信する、請求項４６から５３のいずれかに記載の方法。
ビデオカメラ及びマイクロフォンのうちの少なくとも１つからＯＲビデオ及び／又は音声データを取り込み、前記ＯＲビデオ及び／又は音声データをモニタリングコンピューティングシステムに通信する、請求項４６から５４のいずれかに記載の方法。
前記命令は、前記モニタリングコンピューティングシステムによって生成された監視データを受信し利用するように前記ＯＲコンピューティングシステムを構成する、請求項４６から５５のいずれかに記載の方法。
前記監視データは、前記ＯＲコンピューティングシステムを制御するための介入データ、及び、オーディオデータ及び／又はビデオデータとから選択される、請求項５６記載の方法。
前記コンピュータ支援処置を実行するためのＵＩスクリーンを含む作業フローの使用し、及び、
ａ）作業フローの進捗状況を表す作業フロー状態を維持し、作業フロー状態をモニタリングコンピューティングシステムに通信することと、ｂ）モニタリングコンピューティングシステムへの作業フローの進捗状況に応じてＵＩスクリーンを共有するために、前記ＯＲコンピューティングシステムの表示装置をミラーリングすることとの１つによって、前記モニタリングコンピューティングシステムが作業フローのＵＩスクリーンを表示できるようにする、請求項４６から５７のいずれかに記載の方法。
前記コンピュータ支援処置の進捗状況を自己監視し、前記進捗状況に応答して、前記ＯＲコンピューティングシステムの遠隔監視を起動するメッセージを前記モニタリングコンピューティングシステムに通信することを含む、請求項４６から５８のいずれかに記載の方法。
前記ＯＲコンピューティングシステム及び／又は他のＯＲ装置のコンポーネントのためのコンポーネント姿勢情報を決定し、前記ＯＲのレイアウトを示す仮想ビューの表示を可能にするために、前記コンポーネント姿勢情報を前記モニタリングコンピューティングシステムに通信する、請求項４６から５９のいずれかに記載の方法。
ＯＲコンピューティングシステムであって、
少なくとも１の処理ユニットと、
メモリ又は他のストレージから構成されるデータ記憶装置と、
ネットワークを介して前記ＯＲコンピューティングシステムと、
前記データ記憶装置、前記表示装置、および前記通信システムのそれぞれは、前記少なくとも１の処理ユニットに結合されるものであり、
前記データ記憶装置には、前記少なくとも１の処理ユニットによって実行される命令が記憶され、
前記ＯＲコンピューティングシステムは、
コンピュータ支援処置を実行し、手術室内の前記コンピュータ支援処置中に１又は複数の物体のそれぞれの位置を追跡し、前記手術室内の参照空間内の前記１又は複数の物体のそれぞれの位置を表す姿勢データを生成し、
前記コンピュータ支援処置の進捗状況を監視するログデータを記憶し、
前記ログデータを使用して前記コンピュータ支援処置の前記進捗状況を監視し、
前記監視に応じた進捗状況の尺度を決定し、
前記進捗状況の尺度に応じて前記進捗状況の尺度を特定するメッセージを通信し、オプションで、前記ＯＲコンピューティングシステムを監視するために、少なくとも一部の前記ログデータが遠隔に配置されたモニタリングコンピューティングシステムに含んでいる、ＯＲコンピューティングシステム。
カメラを備え、
前記命令は、前記カメラから画像を受信し、前記画像をログデータとして記憶するように前記ＯＲコンピューティングシステムを構成する、請求項６１記載のＯＲコンピューティングシステム。
前記命令は、ＵＩスクリーンを含む作業フローを使用して、前記コンピュータ支援処置を実行するように前記ＯＲコンピューティングシステムを構成する、請求項６１及び６２のいずれかに記載のＯＲコンピューティングシステム。
前記命令は、前記ＯＲコンピューティングシステムを、前記作業フローの状態をログデータとして記憶し、前記作業フローの状態を前記モニタリングコンピューティングシステムに通信するように構成する、請求項６３記載のＯＲコンピューティングシステム。
前記進捗状況の尺度は、前記作業フローの状態を１つの状態から次の状態に進めるのを失敗すること、又は、前記作業フローの１つの状態を繰り返すことである、請求項６３及び６４のいずれかに記載のＯＲコンピューティングシステム。
前記進捗状況の尺度は、閾値時間の満了に応答して、前記作業フローの状態を１つの状態から次の状態に進めることである、請求項６３及び６４のいずれかに記載のＯＲコンピューティングシステム。
前記命令は、前記ログデータを分析し、前記進捗状況の尺度を生成するためのルールを含む、請求項６１から６６のいずれかに記載のＯＲコンピューティングシステム。
前記ルールは重大度を決定し、前記重大度に応じて前記メッセージを通信する、請求項６７記載のＯＲコンピューティングシステム。
前記命令は、
前記コンピュータ支援処置中に前記メッセージを通信し、
前記コンピュータ支援処置中に前記モニタリングコンピューティングシステムからの前記監視データを受信し、
前記監視データを、前記ＯＲコンピューティングシステムを介して前記モニタリングコンピューティングシステムから利用するように前記ＯＲコンピューティングシステムを構成する、請求項６１から６８のいずれかに記載のＯＲコンピューティングシステム。
前記モニタリングコンピューティングシステムからの前記監視データは、前記ＯＲコンピューティングシステムを少なくとも部分的に制御するための介入データと、オーディオ及び／又は表示装置を介して提示するためのオーディオ及び／又はビデオデータとのうちの一方または両方である、請求項６９記載のＯＲコンピューティングシステム。
マイクロフォン及び／又はビデオカメラが結合され、前記命令は、前記手術室から前記モニタリングコンピューティングシステムにＯＲオーディオ及び／又はビデオデータを通信するように前記ＯＲコンピューティングシステムを構成する、請求項６１から７０のいずれかに記載のＯＲコンピューティングシステム。
前記ＯＲコンピューティングシステムによって生成された前記ログデータ又は前記手術中データの少なくとも１つから、前記モニタリングコンピューティングシステムに追加データを送信することを含む、請求項６１から７１のいずれかに記載のＯＲコンピューティングシステム。
前記追加データは、カメラ画像データ、前記カメラ画像データから決定された姿勢データ、前記姿勢データから決定された計測データ、スクリーンショットデータ、作業フロー状態データ、前記１又は複数の物体のうちの１つの定義を表すデータ、術前患者データ、及び、前記手術中データのうちのいずれかのタイムスタンプデータ、のうちのいずれかを含む、請求項７２記載のＯＲコンピューティングシステム。
方法であって、
ＯＲコンピューティングシステムによるコンピュータ支援処置の実行し、手術室内の前記コンピュータ支援処置中に１又は複数の物体のそれぞれの位置を追跡し、前記手術室内の参照空間内の前記１又は複数の物体のそれぞれの位置を表す姿勢データを生成し、
前記ＯＲコンピューティングシステムは、前記コンピュータ支援処置の進捗状況を監視するためのログデータを記憶し、
前記ＯＲコンピューティングシステムは、前記ログデータを使用して前記コンピュータ支援処置の進捗状況を監視し、
前記ＯＲコンピューティングシステムは、前記監視に応じた進捗状況の尺度を決定し、
前記ＯＲコンピューティングシステムは、前記進捗状況の尺度に応じて前記進捗状況の尺度を特定するメッセージを通信し、オプションで、前記ＯＲコンピューティングシステムを監視するために、少なくとも一部の前記ログデータが遠隔に配置されたモニタリングコンピューティングシステムに含んでいる、方法。
前記ＯＲコンピューティングシステムに結合されたカメラから画像を受信し、ログデータとして画像を記憶する、請求項７４記載の方法。
ＵＩスクリーンを含む作業フローを使用して前記コンピュータ支援処置を実行する、請求項７４及び７５のいずれかに記載の方法。
前記作業フローの状態をログデータとして記憶し、前記作業フローの状態を前記モニタリングコンピューティングシステムに通信する、請求項７６記載の方法。
前記進捗状況の尺度は、前記作業フローの状態を１つの状態から次の状態に進めるのを失敗すること、又は、前記作業フローの１つの状態を繰り返すことである、請求項７６及び７７のいずれかに記載の方法。
前記進捗状況の尺度は、閾値時間の満了に応答して、前記作業フローの状態を１つの状態から次の状態に進めることである、請求項７６及び７７のいずれかに記載の方法。
監視することは、ルールを使用してログデータを分析し、前記進捗状況の尺度を生成することを含む、請求項７４から７９のいずれかに記載の方法。
前記ルールは重大度を決定し、前記重大度に応じて前記メッセージを通信する、請求項８０記載の方法。
前記コンピュータ支援処置中に前記メッセージを通信し、
前記コンピュータ支援処置中に前記モニタリングコンピューティングシステムからの監視データの受信し、
前記監視データを、前記ＯＲコンピューティングシステムを介して前記モニタリングコンピューティングシステムから利用する、請求項７４から８１のいずれかに記載の方法。
前記モニタリングコンピューティングシステムからの前記監視データは、前記ＯＲコンピューティングシステムを少なくとも部分的に制御するための介入データと、オーディオ及び／又は表示装置を介して提示するためのオーディオ及び／又はビデオデータとのうちの一方または両方である、請求項８２記載の方法。
マイクロフォン及び／又はビデオカメラを使用して手術室から取り込まれたＯＲオーディオ及び／又はビデオデータを前記モニタリングコンピューティングシステムに通信する、請求項７４から８３のいずれかに記載の方法。
前記ＯＲコンピューティングシステムによって生成された前記ログデータ又は手術中データの少なくとも１つから、前記モニタリングコンピューティングシステムに追加データを送信することを含む、請求項７４から８４のいずれかに記載の方法。
前記追加データは、カメラ画像データ、前記カメラ画像データから決定された姿勢データ、前記姿勢データから決定された計測データ、スクリーンショットデータ、作業フロー状態データ、前記１又は複数の物体のうちの１つの定義を表すデータ、術前患者データ、及び、前記手術中データのうちのいずれかのタイムスタンプデータ、のうちのいずれかを含む、請求項８５記載の方法。
患者に対してコンピュータ支援処置を行うＯＲコンピューティングシステムを含む遠隔に配置された手術室を監視し、前記コンピュータ支援処置中の１又は複数の物体に結び付けられたセンサから受信される前記１又は複数の物体のそれぞれの位置を表すセンサデータに基づいて、前記１又は複数の物体のそれぞれの位置を追跡するモニタリングコンピューティングシステムであって、
少なくとも１の処理ユニットと、
メモリ又は他のストレージから構成されるデータ記憶装置と、
表示装置と、
ネットワークを介して前記ＯＲコンピューティングシステムと通信する通信システムとを備え、
前記データ記憶装置、前記表示装置、および前記通信システムのそれぞれは、前記少なくとも１の処理ユニットに結合されるものであり、
前記データ記憶装置には、前記少なくとも１の処理ユニットによって実行される命令が記憶され、
前記モニタリングコンピューティングシステムは、前記ＯＲコンピューティングシステムから前記コンピュータ支援処置の進捗状況の尺度を特定するためのメッセージを受信し、オプションで、前記ＯＲコンピューティングシステムの監視を開始するために、前記ＯＲコンピューティングシステムに記憶される、前記コンピュータ支援処置のための少なくとも一部のログデータを含んでいる、モニタリングコンピューティングシステム。
前記データ記憶装置には、前記少なくとも１の処理ユニットによって実行される命令であって、
前記１又は複数の物体を表す幾何学的データを取得し、
前記ＯＲコンピューティングシステムから姿勢情報を含む手術中データを前記コンピュータ支援処置中に受信し、
前記姿勢情報および前記幾何学的データを使用した前記１又は複数の物体のそれぞれの位置を含む前記手術中データの少なくとも一部を、前記表示装置を介して表示することでＧＵＩ内に存在させるように、更に前記モニタリングコンピューティングシステムを構成する命令が記憶される、請求項８７記載のモニタリングコンピューティングシステム。
前記ログデータは、前記ＯＲコンピューティングシステムに結合されたカメラからの画像を含む、請求項８７及び８８のいずれかに記載のモニタリングコンピューティングシステム。
前記ＯＲコンピューティングシステムは、前記コンピュータ支援処置をＵＩスクリーンを含む作業フローを使用して実行し、前記モニタリングコンピューティングシステムは、前記ＯＲコンピューティングシステムから前記作業フローの状態を受信する、請求項８７及び８９のいずれかに記載のモニタリングコンピューティングシステム。
前記進捗状況の尺度は、前記作業フローの状態を１つの状態から次の状態に進めるのを失敗すること、又は、前記作業フローの１つの状態を繰り返すことである、請求項９０記載のモニタリングコンピューティングシステム。
前記進捗状況の尺度は、閾値時間の満了に応じて、前記作業フローの状態を１つの状態から次の状態に進めることである、請求項９０記載のモニタリングコンピューティングシステム。
前記進捗状況の前記監視は、重症度の尺度に関連付けられ、前記メッセージは前記重症度に応じて通信される、請求項８７から９２のいずれかに記載のモニタリングコンピューティングシステム。
前記命令は、
前記コンピュータ支援処置中に前記メッセージを受信し、
監視データを定義し、前記コンピュータ支援処置中に前記監視データを前記ＯＲコンピューティングシステムに通信するように、前記モニタリングコンピューティングシステムを構成する、請求項８７から９３のいずれかに記載のモニタリングコンピューティングシステム。
前記監視データは、前記ＯＲコンピューティングシステムを少なくとも部分的に制御するための介入データと、オーディオ及び／又は表示装置を介して提示するためのオーディオ及び／又はビデオデータとのうちの一方または両方である、請求項９４記載のモニタリングコンピューティングシステム。
マイクロフォン及び／又はビデオカメラに結合され、前記命令は、前記モニタリングコンピューティングシステムから前記手術室にオーディオ及び／又はビデオデータを通信するように前記モニタリングコンピューティングシステムを構成する、請求項８７から９５のいずれかに記載のモニタリングコンピューティングシステム。
前記命令は、前記モニタリングコンピューティングシステムが前記ＯＲコンピューティングシステムによって生成された前記ログデータ又は手術中データの少なくとも１つから、追加データを受信することを含む、請求項８７から９６のいずれかに記載のモニタリングコンピューティングシステム。
前記追加データは、カメラ画像データ、前記カメラ画像データから決定された姿勢データ、前記姿勢データから決定された計測データ、スクリーンショットデータ、作業フロー状態データ、前記１又は複数の物体のうちの１つの定義を表すデータ、術前患者データ、及び、前記手術中データのいずれかのタイムスタンプデータ、のうちのいずれかを含む、請求項９７記載のモニタリングコンピューティングシステム。
モニタリングコンピューティングシステムの１の処理ユニットによって、患者に対してコンピュータ支援処置を行うＯＲコンピューティングシステムを含む遠隔に配置された手術室を監視し、前記コンピュータ支援処置中の１又は複数の物体に結び付けられたセンサから受信される前記１又は複数の物体のそれぞれの位置を表すセンサデータに基づいて、前記１又は複数の物体のそれぞれの位置を追跡する方法であって、
前記ＯＲコンピューティングシステムから前記コンピュータ支援処置の進捗状況の尺度を特定するためのメッセージを受信し、オプションで、前記ＯＲコンピューティングシステムの監視を開始するために、前記ＯＲコンピューティングシステムに記憶される、前記コンピュータ支援処置のための少なくとも一部のログデータを含んでいる、方法。
１又は複数の物体を表す幾何学的データの取得し、
前記コンピュータ支援処置に対する前記ＯＲコンピューティングシステムから姿勢情報を含む手術中データを処置中に受信し、
前記姿勢情報および前記幾何学的データを使用した前記１又は複数の物体のそれぞれの位置を含む前記手術中データの少なくとも一部を、表示装置を介して表示することでＧＵＩ内に存在させる、請求項９９記載の方法。
前記ログデータは、前記ＯＲコンピューティングシステムに結合されたカメラからの画像を含む、請求項９９及び１００のいずれかに記載の方法。
前記ＯＲコンピューティングシステムは、ＵＩスクリーンを含む作業フローを使用して、前記コンピュータ支援処置を実行し、
前記方法は、前記コンピュータ支援処置から作業フローの状態を受信することを含む、請求項９９及び１０１のいずれかに記載の方法。
前記進捗状況の尺度は、前記作業フローの状態を１つの状態から次の状態に進めるのを失敗すること、又は、前記作業フローの１つの状態を繰り返すことである、請求項１０２記載の方法。
前記進捗状況の尺度は、閾値時間の満了に応答して、前記作業フローの状態を１つの状態から次の状態に進めることである、請求項１０２記載の方法。
前記進捗状況の前記監視は、重症度の尺度に関連付けられ、前記メッセージは前記重症度に応じて通信される、請求項９９から１０４のいずれかに記載の方法。
前記コンピュータ支援処置中の前記メッセージを受信し、
前記コンピュータ支援処置中の監視データを定義し、前記監視データを前記ＯＲコンピューティングシステムと通信する、請求項９９から１０５のいずれかに記載の方法。
前記監視データは、前記ＯＲコンピューティングシステムを少なくとも部分的に制御するための介入データと、オーディオ及び／又は表示装置を介して提示するためのオーディオ及び／又はビデオデータとのうちの一方または両方である、請求項１０６記載の方法。
マイクロフォン及び／又はビデオカメラからオーディオ及び／又はビデオデータを受信し、前記ＯＲコンピューティングシステムを介して前記オーディオ及び／又はビデオデータを前記手術室に通信することを含む、請求項９９から１０７のいずれかに記載の方法。
前記ＯＲコンピューティングシステムによって生成された前記ログデータ又は手術中データの少なくとも１つからの追加データを、前記ＯＲコンピューティングシステムから受信することを含む、請求項９９から１０８のいずれかに記載の方法。
前記追加データは、カメラ画像データ、前記カメラ画像データから決定された姿勢データ、前記姿勢データから決定された計測データ、スクリーンショットデータ、作業フロー状態データ、前記１又は複数の物体のうちの１つの定義を表すデータ、術前患者データ、及び、前記手術中データのいずれかに対するタイムスタンプデータ、のうちのいずれかを含む、請求項１０９記載の方法。