JP2016506260A

JP2016506260A - ロボット手術器具のマーカーレス追跡

Info

Publication number: JP2016506260A
Application number: JP2015547988A
Authority: JP
Inventors: ライター，オースティン; アレン，ピーター，ケー．
Original assignee: Columbia University in the City of New York
Current assignee: Columbia University in the City of New York
Priority date: 2012-12-14
Filing date: 2013-12-13
Publication date: 2016-03-03
Also published as: WO2014093824A1; AU2013359057A1; EP2931161A1; EP2931161A4; US20150297313A1; CA2933684A1

Abstract

ロボット手術器具の三次元マーカーレス追跡のための外観学習システム、方法およびコンピュータ製品。腹腔鏡シーケンスにおいて手術ロボット器具を検出および追跡するために使用される外観学習手法が提供される。低レベル目印特徴について頑強視覚特徴記述子を訓練することによって、手術器具を長期間様々なタイプの環境にわたって追跡するようにロボット運動学と３Ｄ視覚観測結果を融合するためのフレームワークが構築される。三次元追跡が、全体外観が異なる多数のタイプの多数の器具について可能にされる。現在開示の主題は、生体外と生体内両方の環境で、ｄａＶｉｎｃｈ（登録商標）などの手術ロボットシステムに適用可能である。

Description

関連出願
本出願は、２０１２年１２月１４日出願の米国特許仮出願第６１／７３７，１７２号の利益を主張する。

開示された主題の実施形態は、一般には、ロボット手術器具の三次元マーカーレス追跡に関する。より詳細には、主題の実施形態は、画像解析および機械学習によるロボット医療器具の確保および追跡のためのシステム、方法およびコンピュータ製品に関する。

内視鏡検査、スマート計測、およびビデオ機能の向上における技術の飛躍的進歩が、侵襲性が最小限の手術の進歩を可能にした。これらの成果は、外科手術の侵襲性の低減を可能にした。コンピュータ支援の外科的処置が医師の技量を向上させ、患者予後を改善することが示された。特に、ロボットハードウェアおよび知的アルゴリズムが、動作変倍および立体画像化のような機構を介して医師の動きの器用さを向上させ、さらには安全性も高めることによって、より複雑な手術への扉を開いた。医師の能力をさらに向上させるために、ロボット手術システムは、外科医の視野内であろうとなかろうと外科手術野内の機器の位置を決定する器具追跡機能を含むことができる。

内視鏡画像内の医療器具の位置および向きについての知識が、広範囲の適用を可能にすることができる。例えば、正確な器具定位は、解剖学的構造物のサイズなど、解剖学的シーンにおける様々な箇所間の距離を測定できる仮想定規（Virtual Ruler）として用いることができる。グラフィックオーバーレイが、例えば電気焼灼器具が点火状態の場合に、特定の器具の状態を表示することができる。これらの表示器は、外科医の注意の視覚中心近くにあるビジュアライザの器具の先端に配置して、このような器具使用の総合的安全性を向上させることができる。これはまた、画面の外にある器具を管理して患者の安全性を高めるのに、または電動カメラの視覚機能に有用でもあり得る。

器具追跡技法は一般に、マーカーベースのシステムとマーカーレスシステムとに分けることができる。マーカーレス器具追跡システムの一例として、ロボット手術システムの関節は、機器の姿勢を順運動学によって計算できるようにエンコーダを備えることができる。しかし、カメラと器具先端の間の運動学チェーンには、２メートルにわたって１８個程度の関節が含まれ得る。その結果、このような手法は不正確になり、そのため数インチ程度の絶対誤差が生じることになる。

マーカーベースの器具追跡の以前の手法では、生体内の器具の位置を特定するために、特化された基準マーカーを使用した。これらの手法には、製造性およびコストなどの実際的な課題がある。いくつかの手法では、器具に印を付けるために色またはテクスチャが使用され、器具についての情報が推測的に知られる場合には、形状モデルを使用して探索空間を制限することができる。１つの方法は、器具追跡を助けるための、手術器具の表面のカスタムマーカーを設計することである。１つの手法では、色相彩度値色空間を解析して、典型的な手術画像ではどの色成分が一般的でないかを決定することによって色マーカーが設計され、そのマーカーが、追跡されるべき器具上に作られ配置される。訓練ステップでカーネル分類子が生成され、このカーネル分類子は次に、フレーム内の画素に前景（器具）または後景としてラベル付けすることができる。いくつかの手法では、マーカーは、器具の既知の直径を横切る３つのストライプを含むことができ、これによりカメラから器具の軸の深度情報を推測することが可能になる。マーカーの別の例はバーコードである。

追跡を補助する別の技法は、補助デバイスを撮像機器自体に付けることである。例えば、レーザポインティング機器ホルダを使用して、レーザスポットを腹腔鏡撮像フレームの中に投射することができる。これは、器具がカメラの視野から出る場合に有用である。臓器表面に投射されたレーザパターンは、臓器に対する機器の相対的な向きについての情報を与える。光学マーカーが手術機器の先端に使用され、投射レーザパターンの画像と一緒に使用されるこれらのマーカーにより、指し示された臓器および機器の測定が可能になる。

視覚特徴検出、およびコンピュータビジョンコミュニティにおける照合の従来手法では、スケールおよびアフィン不変の特徴記述子を適用したが、これらは平面の特徴を照合することに大いに成功している。しかし、これらの手法は、姿勢および光方向が変化する手術器具の場合のように、照明が変化する状態では金属表面の特徴に対して適切に機能しない。他の従来手法では、確度が低くなるか、または、注意をそらさせる、もしくは実際的でない追加の印を器具の表面に加えることを必要とする。したがって、器具の位置についての知識が得られ、かつ正確なグラフィックオーバーレイの使用が可能になる、正確な非侵襲性器具追跡システムが依然として必要とされている。

開示された主題の一態様では、ロボット手術器具追跡方法およびコンピュータプログラム製品が提供される。入力画像の領域の記述子が生成される。訓練された（trained）分類子が記述子に適用されて、手術器具の特徴が領域内に存在するかどうかを示す出力が生成される。手術器具の特徴の位置は、訓練された分類子の出力に基づいて決定される。

いくつかの実施形態では、記述子は、共分散記述子、スケール不変特徴変換記述子、勾配方向ヒストグラム記述子、または２値頑強独立要素特徴記述子である。いくつかの実施形態では、訓練された分類子は、ランダム化木分類子、サポートベクトルマシン分類子、またはＡｄａＢｏｏｓｔ分類子である。いくつかの実施形態では、領域は、入力画像の既定の領域内から選択される。いくつかの実施形態では、領域は、手術器具の先端部分に対応する入力画像の部分を示すマスク領域内から選択される。入力画像が複数の手術器具を含むいくつかの実施形態では、複数の手術器具のうちのどれに特徴が対応するかが決定される。いくつかの実施形態では、マスク領域は、ガウス混合モデルを適用すること、色クラスタ化による画像セグメント化、閾値処理による画像セグメント化、またはグラフカットアルゴリズムの適用による画像セグメント化によって、生成される。

記述子が共分散記述子であるいくつかの実施形態では、この共分散記述子は、ｘ座標、ｙ座標、色相、彩度、明度、一次画像勾配、二次画像勾配、勾配の大きさ、および勾配の向きを含む。分類子がランダム化木分類子であるいくつかの実施形態では、このランダム化木分類子はさらに、それぞれの木と関連付けられた重みを含み、分類子を適用するステップは、それぞれの木と関連付けられた重みをそれぞれの木の出力に適用するステップを含む。

上記の一般的な記述も以下の詳細な記述も、例示的であると共に、特許請求された開示主題についてのさらなる説明を提供するものであることを理解されたい。

開示された主題によるシステムの例示的な実施形態のモジュールの概略図である。開示された主題の実施形態によるシーンラベル付けモジュールのサンプル入力および出力を示す写真である。本開示の実施形態によるロボット手術器具を示す写真である。本開示のシステムによるロボット手術器具の７つの自然発生的目印を示す写真である。本主題の実施形態による特徴記述子の概略図である。本主題の実施形態による軸境界検出出力を示す写真である。本主題の実施形態による運動学出力を示す写真である。開示された主題による評価方式を示す写真である。運動学的待ち時間の例を示す写真である。本開示による器具追跡の適用を示す写真である。本開示による異なる照明および遠近感効果のもとで一般に生じる、ロボット手術器具の例示的な外観変化を示す写真である。図１２Ａは、本主題により解析されるロボット手術器具の７つの特徴を示す写真である。図１２Ｂ〜１２Ｈは、図１２Ａのロボット手術器具の先端で、本主題による極値位置が重ね合わされる器具のサンプル尤度を示す図である。本開示の実施形態による記述子と分類子のいくつかの組合せの相対的性能を示すヒストグラムである。

次に、添付の図に例が示されている、開示された主題の例示的な実施形態を詳しく参照する。開示された主題の方法および対応するステップは、システムについての詳細な説明と併せて説明される。

一般に、本明細書で説明される主題は、既存のシステムでは得られないレベルの確度を実現する画像解析によって、生体内または生体外でロボット手術器具を追跡するシステム、方法およびコンピュータ製品を提供する。

一態様では、オフラインの関節でつながった器具の自然の目印のクラスを学習する追跡システムが提供される。システムは、手作業でグランドトルースとされたデータ（ground-truthed data）からの識別特徴記述子に対し、効果的なマルチクラス分類子を訓練する（train）ことによって目印を学習する。分類子は新しい画像フレーム上で実行されて、それぞれの特徴タイプの位置を表すすべての極値が検出され、ここで、信頼値および幾何学的制約が誤検出を拒否する助けになる。次に、対応するカメラに対してステレオマッチングが実施されて、器具上の３Ｄ点位置が回復される。器具部分上のこれらの目印の位置を推測的に知ることによって（器具のＣＡＤモデルから）、器具の姿勢は、運動学とこれらの経時的な３Ｄ位置との融合アルゴリズムを適用すること、および構造の最も安定した解を計算することによって回復される。器具結合アルゴリズムを適用することによって多数の器具が同時に操作されると共に、現在開示の主題のシステムは、異なるタイプの器具の特徴を検出することができる。検出された特徴は縮小され（画像の約２％）、テクスチャの量が変わり、多くの異なる透視図のもとで観測される。これらの特徴は、運動学を視覚と融合するマーカーレス姿勢推定フレームワーク内で使用されるように設計されるが、これは本明細書の範囲外である。現在開示の主題の学習システムは、多数の器具タイプ、および同時に追跡される多数の器具、ならびに様々なタイプの手術データに拡張される。

ｄａＶｉｎｃｉ（登録商標）手術ロボットは、遠隔操作式マスタースレーブロボットシステムである。主手術制御卓は患者から隔てられ、それによって外科医は立体視制御卓に座り、立体高解像度映像を見ながら２つのマスターツールマニピュレータ（ＭＴＭ）を用いてロボット器具を制御する。患者側のハードウェアは、３つのロボットマニピュレータアームを立体腹腔鏡の内視鏡ロボットアームと共に含む。典型的なロボットアームは、７つの総自由度（ＤＯＦ）を有し、手首のところで関節を形成する。立体カメラシステムは、標準的なカメラ較正技法を用いて、内因と立体外因の両方について較正される。カメラは、手術中に焦点を変える機能を有するが、離散的な数値の固定焦点設定値が可能であり、それぞれの設定値でのカメラ較正構成が保存されており、いつでも利用可能であり、それによって下記の立体視手法が容易になる。

図１は、開示された主題の実施形態による検出・追跡システムのモジュールおよびアルゴリズムの概要を提示する。一般に、このシステムは、多特徴訓練アルゴリズムを適用して、医療器具がある解剖学的シーンの画像中のすべての画素をラベル付けするシーンラベル付けモジュール１０１と、特徴記述子に対し分類子を使用して、器具先端の既知の目印の位置を特定する特徴分類モジュール１０２と、シーンラベル付けモジュール１０１からの軸マスクを使用して、可能なときにはいつでもすべての可視器具の画像中の軸画素にシリンダを合わせる軸抽出モジュール１０３とを含む。患者側マニピュレータ（ＰＳＭ（Patient-Side Manipulator））関連付けモジュール１０４は、特徴分類モジュール１０２からのクラスラベル付けされた特徴検出出力を使用して、どの特徴が画像中のどの器具と関連づけられるかを決定し、融合・追跡モジュール１０５は、軸抽出モジュール１０３と患者側マニピュレータ関連付けモジュール１０４の両方からの出力を取得して、視覚観測値を生の運動学と融合すると共に、関節でつながった器具をある期間にわたって追跡する。以下の各段落では、これらのモジュール、それぞれがさらに説明される。

≪シーンラベル付けモジュール≫
シーンラベル付けモジュール１０１は、入力画像のすべての画素にラベル付けする。図２Ａを参照すると、入力画像はシーン画像２０１であり、典型的には解剖学的シーン２０２、ならびに医療器具２０３および２０４を含む。このシーンは、３つのクラス、すなわち金属、軸または背景、のうちの１つでラベル付けされる。いくつかの色およびテクスチャの特徴のガウス混合モデル（ＧＭＭ）が、これら３つのクラスごとにオフラインで学習される。その後、クラス条件付き確率がクラスごとにすべての画素に割り当てられ、またラベルが割り当てられる。

図２は、図１を参照して説明された画素ラベル付けルーチンの例示的な結果を示す。図２Ａは、ｄａＶｉｎｃｉ（登録商標）手術システムを使用して縫合手術を実施している、第１のロボット器具２０３および第２のロボット器具２０４の生体内ブタシーケンスからの原画像２０１を示す。図２Ｂは金属尤度（例えば、器具先端、クレビス）を示し、マスク領域２０５および２０６が金属の最高確率位置に対応している。図２Ｃは軸尤度を示し、マスク領域２０７および２０８が軸の最高確率位置に対応している。図２Ｄは背景化尤度を示し、マスク領域２０９が背景の最高確率位置に対応している。金属クラスは、クレビスからグリッパまで、器具の遠位先端に位置するすべての画素を表す。特徴分類モジュール１０２で検出されるべき特徴のすべてがこの領域に位置する。加えて、可能なときはいつでもシリンダを器具の軸に合わせるために軸クラスがどのように使用されるかについて、以下で説明される。

一般に、ｄａＶｉｎｃｉ（登録商標）を用いて実施される手術はかなりズームインされ、したがって軸は、シリンダに合わせる（多くの器具追跡アルゴリズムの典型的な手法）のに十分なだけ通常は見えない。しかし、ときにはカメラがズームアウトされ、したがってこのシーン画素ラベル付けルーチンが、このアルゴリズムで軸の６ＤＯＦ姿勢を追加情報として推定することを可能にする。カメラからの器具のおおよその距離を、器具の先端のまばらなコーナ特徴のステレオマッチングを用いて推定することによって、シリンダを合わせようとするのに十分なだけ軸が見えるかどうかを判断することができる。カメラがズームアウトされるとき、軸は見えるが器具先端の特徴はそれほど容易には検出されない。したがって、認識は、軸特徴と、器具先端特徴と、カメラに対する器具の距離によって決まる中間の混成物との組合せに基づくことができる。これらの画素ラベル付けは、以下の文でさらに説明されるように、特徴検出と軸検出の両方を支援するのに役立つ。

≪特徴分類モジュール≫
特徴分類モジュール１０２は、シーンラベル付けモジュール１０１で金属としてラベル付けされた画素（図２Ｂのマスク領域２０５および２０６）だけを解析する。これにより誤検出率ならびに計算時間の両方が減少して、対象の特徴の１つではない可能性がある画素を解析しないようにする助けになる（これらの画素が器具先端に位置することが事前に分かっているので）。多クラス分類子は、識別特徴記述子を使用して訓練される。クラスラベル付けされた特徴は次に、画像中で位置が特定される。次に、これらの特徴検出候補は、ステレオマッチングおよび三角測量されて３Ｄ座標として位置が特定される。これらの特徴検出候補は、さらに既知の幾何学的制約を使用して解析されてアウトライヤ（outlier）が取り除かれてから、アルゴリズムの融合・追跡段階に送り込まれる。

本主題の一態様によれば、分類子を訓練する目的のためにデータが集められる。一実施形態では、ある範囲の外観シナリオおよび照明シナリオを最適にカバーするために、様々な生体内実験にまたがる９つの異なる映像シーケンスが使用される。訓練のために、大型針ドライバ（ＬＮＤ（Large Needle Driver））を使用することができる（図３Ａに示す）。しかし、これは、以下で論じるように、メリーランドバイポーラ鉗子（ＭＢＦ（Maryland Bipolar Forceps））（図３Ｂに示す）および円形先端ハサミ（ＲＴＳ（Round Tip Scissors））（図３Ｃに示す）などの他のタイプの器具にも十分に及ぶ。大型針ドライバについての訓練だけで、本開示のシステムは、大型針ドライバ、メリーランドバイポーラ鉗子および円形先端ハサミを追跡することができる。７つの自然発生的目印が、ＬＮＤの画像に重ねられた図４に示されるように手作業で選択される。選択された特徴は、遠位クレビスを一緒に保持するピン４０１、４０２および４０３、中心のＩＳロゴ４０４、ホイール４０５、ホイールピン４０６、およびｉドット４０７である。ときどき、この目印の組合せはマーカーパターンＭｉと呼ばれる。選択された特徴はまた、融合モジュールで使用されるべきこのマーカーパターンに対する軸中心線の中線上の既知の不変位置を含むこともできる。

グランドトルース（ground truth）手順のフレームごとに、最適な包括的バウンディングボックスは、器具に属していない画素による汚染を回避するために、対象のそれぞれの特徴の周りを手作業でドラッグされる。妥当な労力で可能な限り大きいデータセットを得るために、現在開示の主題のいくつかの実施形態では、Ｌｕｃａｓ−Ｋａｎａｄｅオプティカルフロー（ＫＬＴ）を使用して小さい時空間中を惰力で進行して、以下のようにユーザクリック間のグランドトルース位置を予測し、ユーザは、対象の特徴の周りでバウンディングボックスをドラッグし、ソフトウェアは、ＫＬＴオプティカルフローを使用してこの特徴をフレーム間で追跡し（ボックスの同じ寸法を保持しながら）、ユーザが各フレームを検査しているときに、追跡し損ねた場合、またはサイズが変化した場合には、ユーザは新しいバウンディングボックスをドラッグし、映像シーケンスが終了するまで再び開始する。

これにより、正確なデータがないかを依然として手作業で検査しながら、より速いグランドトルースデータ収集が可能になる。全体的に、訓練セットは、７つの特徴クラスにわたって合計約２００００の訓練サンプルを含むことができる。

これらの特徴目印を互いに頑強に識別することができる特徴記述子が開示される。それぞれの特徴がかなり小さいので（例えば、幅が１７〜３５画素、または画像の約２％）、特徴クラスを記述するための、識別的で頑強な領域記述子が必要とされる。本主題の一実施形態では、領域共分散記述子が使用され、小さい画像領域内のｄ個の特徴からなる対称正方共分散行列が特徴記述子として機能する（図５に示される）。サイズ［Ｗ×Ｈ］の画像Ｉを考えると、ｄ＝１１の特徴が抽出されて、式（１）に示されるように［Ｗ×Ｈ×ｄ］特徴画像が得られ、ここで、ｘ、ｙは画素位置であり、Ｈｕｅ、Ｓａｔ、Ｖａｌは画素位置（ｘ、ｙ）におけるＨＳＶ色変換による色相、彩度、および輝度であり、Ｉ_ｘ、Ｉ_ｙは一次空間導関数であり、Ｉ_ｘｘ、Ｉ_ｙｙは二次空間導関数であり、最後の２つの特徴はそれぞれ、勾配の大きさ、および向きである。最初の２つの画素位置特徴は、他の特徴とこれらの相互関係が共分散行列の非対角のエントリに存在するので有用である。Ｆの中の任意の長方形領域Ｒの［ｄ×ｄ］共分散行列Ｃ_Ｒが、次に我々の特徴記述子になる。

本主題のいくつかの実施形態による、また図５に示される、いくつかの個別の特徴が単一の特徴記述子に緊密に組み合わされる。全体で１１個の特徴が使用され（点線のボックス５０３内に示される）、詳細には、（ｘ、ｙ）位置、色相／彩度／値の色測定値、一次および二次の画像勾配、ならびに勾配の大きさおよび向きである。画像５０１の長方形領域５０２（原画像５０１から拡大されて示された差し込みボックス）が、この領域内のこれら１１個の特徴の共分散行列を使用して描写されて、１１×１１対称行列５０４が得られる。この行列を記述子として典型的な線形数学操作によって使用するには、リー代数技法を使用して行列をその固有リーマン空間５０５からベクトル空間へとマッピングして、以下でさらに詳細に説明される６６次元ベクトル空間記述子５０６を得なければならない。

それぞれのＣ_Ｒは、一体化画像を使用して効率的に計算することができる。それぞれの特徴寸法の合計、ならびにすべての２つの特徴寸法の乗算の合計が計算される。これらの一次および二次の積分画像テンソルを考えると、任意の長方形領域５０２の共分散行列５０４は、Ｏ（ｄ^２）時間に抽出することができる。上記で与えられた方法により集められたグランドトルースデータを使用して、それぞれの訓練特徴の共分散記述子が抽出され、その関連付けられた特徴ラベルは、分類子を訓練するために保存される。しかし、ｄ次元の非特異な共分散行列記述子５０４は、そのままで使用して分類タスクを直接実施することができない。その理由は、記述子５０４がベクトル空間にあるのではなく、連結されたリーマンマニホルド５０５にあり、したがって、記述子は後処理して［ｄ×ｄ］次元行列Ｃ_Ｒ５０４をベクトル

にマッピングしなければならないからである。

共分散記述子をベクトル空間へと後処理する方法は、当技術分野で知られている。上記の非特異な共分散行列が属する対称正定値行列は、連結されたリーマンマニホルド５０５として公式化することができる。マニホルドは局部的にユークリッド空間と類似しており、したがってマニホルド上のすべての点は、接ベクトル空間にマッピングするために同相を定義することができる近傍を有する。本主題の一実施形態によれば、５０４の上の［ｄ×ｄ］次元の行列は、マニホルド５０５上のいくつかの点で接空間５０７にマッピングされ、これは記述子を、以下の方法により分類子の中で使用するためのユークリッド多次元ベクトル空間に変換する。行列Ｘを考えると、点Ｙにおけるマニホルド固有の指数マッピングが式（２）により定義され、式（３）により対数マッピングが定義される。

これらの式で、ｅｘｐおよびｌｏｇは一般行列の指数演算および対数演算である。直交座標系がベクトル演算によって接空間で定義される。マニホルド点Ｙに対するＸのベクトル空間座標を得るために式（４）の演算が実行され、ここでｕｐｐｅｒは、行列の上方三角部のベクトル形を抽出する。最後に、結果は次元

を有するベクトル空間になる。

ユークリッド接空間が構築されるマニホルド点は、訓練データの平均共分散行列である。リーマン空間で平均行列

を計算するために、二乗距離の合計が式（５）により最小化される。これは、勾配降下手順の式（６）の更新ルールを用いて計算することができる。

におけるＹの対数マッピングが用いられて最終ベクトルが得られる。訓練共分散行列記述子はこのユークリッド空間にマッピングされ、以下で説明される多クラス分類子を訓練するために用いられる。

当技術分野で知られている様々な多クラス分類子が、この問題に適切であり得る。しかし、本主題により使用されるべき学習アルゴリズムの選択では、ランタイムが重要な要素である。それゆえに、本開示の一実施形態では、多クラス分類が修正ランダム化木（ＲＴ）手法を用いて実行される。特徴ラベルを提供することに加えて、本開示の手法では、クラスごとにクラス条件尤度画像を構築するために使用される分類タスクの信頼値の検索を可能にする。スケール不変特徴変換（ＳＩＦＴ（Scale-Invariant Feature Transforms））記述子、勾配方向ヒストグラム（ＨｏＧ（Histograms-of-Oriented Gradients））記述子、および前に論じた共分散記述子などの様々な特徴記述子は、サポートベクトルマシン（ＳＶＭ）、または以下で説明されるＲＴの２つの変量などの様々な分類アルゴリズムと対にすることができる。これにより、合計で９つの可能な記述子／分類子の組合せ、すなわちＳＩＦＴ／ＳＶＭ、ＳＩＦＴ／ＲＴ、ＳＩＦＴ／ＢＷＲＴ、ＨｏＧ／ＳＶＭ、ＨｏＧ／ＲＴ、ＨｏＧ／ＢＷＲＴ、Ｃｏｖａｒ／ＳＶＭ、Ｃｏｖａｒ／ＲＴ、およびＣｏｖａｒ／ＢＷＲＴが得られる。本開示の一実施形態では、共分散記述子は適合ＲＴと対にされて、十分なレベルの確度および速度が得られる。

ＳＩＦＴが、特徴点認識／照合のための記述子しとして使用されてきており、また他の特徴記述子と比較されるベンチマークとしてよく使用される。ＳＩＦＴは、より効率的な抽出のために、積分画像を使用して十分に近似できることが示された。本開示の一実施形態では、この方法に基づくアイデアを、画像中の多くの画素において密に分類するために使用することができる。

ＨｏＧ記述子は、別々のビンの中に量子化された（本開示の一実施形態では４５個が使用される）、かつ勾配の大きさに重み付けされたエッジ方向のヒストグラムによって、低コントラスト画素よりも多くの寄与を高コントラスト位置に与えるように形状またはテクスチャを記述する。これらはまた、積分ヒストグラムを使用して効率的に抽出することができる。

ＳＶＭが、任意のクラスの最も近い訓練点までの距離を最大にしようとする１組の超平面を構築する。この超平面を定義するベクトルは、サポートベクトルと呼ばれる特徴ベクトルの線形組合せとして選択することができ、これには、より多くの訓練データが全体的によりよい結果を、より高度の計算という代償を払ってではあるが、もたらすことができる効果がある。ＳＶＭを使用する本開示の代替実施形態では、学習中にカーネルとして動径基底関数が使用される。

ＲＴでは必然的に、簡単な訓練手順を保持しながら、多クラス問題を非常に効率的に取り扱う。ＲＴ分類子Λは、一連のＬ個のランダム発生木Λ＝［γ_１，．．．，γ_Ｌ］で構成される（それぞれの深度ｍ）。それぞれの木γ_ｉは、ｉ∈１，．．．，Ｌで、内部ノードで構成された完全平衡２値木であり、そのそれぞれが、分類されるべきデータの空間を分割する簡単なランダム生成検査と、機能クラスの事後分布の推定値を含む葉ノードとを含む。

木を訓練するために、訓練特徴は木の下方に落とされて、葉モードに達するまでそれぞれの内部ノードで２値検査を実施する。それぞれの葉ノードは、本開示の一実施形態では７である（図４に示される手作業で選択された目印のそれぞれで）、特徴クラスｂの数に等しい長さのヒストグラムを含む。それぞれの葉におけるヒストグラムは、それぞれのクラスラベル付き特徴がそのノードに達する回数を数える。訓練セッションの終わりに、ヒストグラム数は、特定のノードにおける数をそのノードでのヒット総数で正規化することによって、確率に変えられる。次に、ある特徴が、それを訓練木の下方に、葉ノードに達するまで再び落とすことによって分類される。この時点で、その特徴には、訓練により葉に保存された事後分布に応じて、ある特徴クラスに属する確率が割り当てられる。

特徴についてのすべての可能な検査を実施することは計算的に実行不可能であるので、探索空間を十分にカバーし、かつランダム挙動を最適に回避するようにＬおよびｍが選択される。一実施形態では、Ｌ＝６０の木が使用され、それぞれの深度ｍ＝１１である。この手法は、画像パッチを照合するのに適しているが、内部ノード検査は従来、２つの画素位置をランダムに選択し、子までどの経路を取るかを決定する（よりも少ない、よりも多い）２値操作を実行することによって、輝度画像の小さなパッチに対し実行される。一実施形態では、画像パッチではなく特徴記述子ベクトルが使用され、したがってノード検査は、この特化された問題に適するように適合される。

開示された主題の一実施形態では、内部木ノードごとに特徴ベクトルに対するランダム線形分類子ｈ_ｉが、式（７）に示されるようにデータを分割するために構築され、ここでｎは、範囲［−１，１］内のランダム値を有する特徴ｘと同じ長さのランダム生成ベクトルであり、ｚ∈［−１，１］もまたランダムに生成される。この検査は、データの頑強な分割を可能にしており、ドット積、加算、および木ノードごとの２値比較だけであるので、効率的に利用される。こうして木は、共分散記述子のベクトル化バージョンで訓練され、葉ノードで確率分布を増大させる。結果として得られるＲＴ分類子Λは、最終多クラス分類子である。それぞれの木γ_ｉからの結果は、Ｌ個全部の木にわたって平均される。しかし、計算目的のためのＬおよびｍの値が比較的小さくても、探索空間は、内部木ノードにおけるランダムに生成された線形ドット積のかなりの選択量を前提にすると依然として非常に大きく、このため訓練手法がランダム性に影響されやすいままになる。これを緩和するために、この手法は従来のＲＴからさらに修正される。

本主題の一態様では、最良重み付けランダム化木（ＢＷＲＴ（Best Weighted Randomized Trees））と呼ばれる、改善されたＲＴ手法が開示される。それぞれの木γ_ｉは本質的に弱い分類子であるが、いくつかは他よりも適切に機能することができ、訓練データに対しこれらがどれだけ適切に挙動するかに応じて重み付けすることができる。アルゴリズム固有のランダム性、および考察されるべき大きい探索空間の故に、改善は、サイズＥ》Ｌのランダム化木バッグΩを最初に生成することによって示される。これにより、より大きい木の空間を最初に考察することが可能になるが、訓練データについてのΩ内のそれぞれの木の評価後に、最良のＬ個の木が、エラー基準値に応じて最終分類子に含めるために選択される。

後者の点により、最良のパフォーマーを選択するだけでＲＴの計算効率を保持しながら木を構築する場合に、いっそう多くのパラメータ空間を考察することが可能になる。特定の木を訓練データについて評価するために、葉ノードにおける事後確率分布が考察される。まず、訓練データは訓練セットと検証セットに分割される（例えば、約７０％が訓練のために、残りが評価のために使用される）。次に、Ω内の訓練セットからのすべての木が通常のように訓練される。候補訓練木

を考えると、それぞれの訓練サンプルが検証セットから

を通して、葉ノードに達するまで落とされる。訓練特徴Ｘ_ｊおよび特徴クラス１，．．．，ｂを考えると、葉ノードでの事後分布は、ｂ個の条件付き確率

を含み、ここでｙ∈１，．．．，ｂである。Ｘ_ｊについて木

の良好度を評価するために、

が、ラベルｙ_ｊの望ましい確率１と比較され、すべての訓練特徴Ｘｊの二乗平均平方根（ＲＭＳ）エラーをΩ内のすべての評価木にわたって累積する。（最少ＲＭＳエラーに応じた）トップのＬ個の木が最終分類子Λのために選択される。いくつかの実施形態では、初期バッグサイズはＥ＝１２５，０００の候補木分類子であり、最終分類子ではＬ＝６０の訓練木に削減される。

開示されている主題の一態様では、バッグ内の最良木を選択することに加えて、木への重みとしてエラー項が使用される。それぞれの木が最終平均結果に等しく寄与できるようにするのではなく、それぞれの木はワンオーバＲＭＳ（one-over-RMS）として重み付けされ、その結果、検証訓練データをより良くラベル付けする木は、検証データを悪くラベル付けするものよりも最終結果内で大きい発言力を有するようになる。そのため、γ_ｉ∈Λごとに関連重みｗ_ｉが

になるように計算され、ここでｒｍｓ_ｉは、評価データについての木γ_ｉの累積ＲＭＳエラーである。最後に、ｉ∈１，．．．，Ｌのすべての重みｗ_ｉは、合計１になるように正規化され、最終分類子結果は、これらの重みを使用した重み付け平均になる。

訓練された分類子Λを考えると、それぞれのクラスラベルの特徴が、効率的抽出のために積分画像手法を用いて高密度共分散記述子Ｃ_Ｒを計算することによって（例えば、画像中の多くの位置で）、検査画像上に検出される。それぞれのＣ_Ｒは、前に説明されたように訓練データの平均共分散

を使用してベクトル空間にマッピングされて、ユークリッド特徴ｃ_ｊが生成される。それぞれのｃ_ｊは、木γ_ｉを通して落とされ、その確率が、得られた葉ノードで平均されて、Ｌ個の特徴クラスのそれぞれに属するｃ_ｊの確率を表す最終確率分布ｐ_ｉが得られる。これはＬ個のクラス確率画像になる。その画素位置は、それぞれのクラス確率画像内で非最大抑制によって得られる。

確率は、分類ラベルの代わりに使用される。その理由は、ラベルの分類が、その信頼性が分類子中の他のすべてのｂ−１個のクラスよりも大きい場合に生じるからである。しかし、１つの画素位置に対する９５％の信頼性は、異なる位置における同じラベル付けに対する５１％の信頼性を超えることを意味する。この場合、より高い確率を有する画素が選択され（これらが両方同じラベルを有すると仮定しても）、この理由のために、検出がラベル付け空間内ではなく確率空間内で実施される。

候補画素位置が特徴クラスごとに決定された後に、特徴検出が、エピポーラ線に沿って正規化相互相関検査を用いて、対応する立体カメラでステレオマッチングされ、特徴は三角測量されて３Ｄ位置が取り込まれる。加算および二乗加算の積分画像を使用して、これらのエピポールに沿った相関窓が効率的に計算される。

≪患者側マニピュレータ（ＰＳＭ）関連付けモジュール≫
図１に戻ると、３Ｄ点位置（カメラの座標系内）および関連付けられた特徴ラベルを導出した後で、患者側マニピュレータ（ＰＳＭ）関連付けモジュール１０４が、それぞれの特徴がどの器具と関連づけられるかを決定する。シーン中に多数の器具があるので、クラスラベル付けされた３Ｄ特徴位置の決定後にどの特徴がどの器具と関連付けられているかが不明確である。通常、ｄａＶｉｎｃｉ（登録商標）は、３つの患者側マニピュレータ（ＰＳＭ）を有し、そのうちの２つだけがカメラフレーム内でいつでも見える。これらのマニピュレータはＰＳＭ_０、ＰＳＭ_１、およびＰＳＭ_２と呼ばれる。限定ではなく例として、２つの器具（ＰＳＭ_０およびＰＳＭ_１）が同時に現われる場合が以下で論じられる。この場合、患者側マニピュレータ（ＰＳＭ）関連付けモジュール１０４が特徴検出をＰＳＭと関連付ける。

各ＰＳＭは、マーカーパターンＭ_０およびＭ_１をそれぞれ、そのゼロ座標フレーム（例えば、どれかの運動学がマーカーに適用される前の座標系）内に有する。各ＰＳＭからの順運動学推定値を用いて、マーカーパターンを、推定された各ＰＳＭの向きを実現するように回転させる。ほとんどのエラーがその位置にあるので、順運動学からの完全剛体変換は適用されず、回転は完全に正確ではないが、典型的には、必要な幾何学的制約を与えるには十分なだけ近い。これにより式（９）および（１０）が残り、ここでＲｏｔ_０およびＲｏｔ_１は、それぞれＰＳＭ_０およびＰＳＭ_１の順運動学を表す、完全剛体変換からの３×３回転行列である。

および

を考えると、３Ｄ単位ベクトルが、各マーカー内の回転された点位置のそれぞれの間で計算される。これにより７×７の３Ｄ単位ベクトルが、回転されたマーカーパターンごとに７×７×３行列内に得られる。加えて、７×７距離行列Ｄ_ｍが、そのゼロ座標フレーム内のそれぞれのマーカー位置間で計算される。

次に、上述の分類法を用いてＮ個の検出特徴観測値を考えると、それぞれの３Ｄ特徴観測値の間のＭ×Ｎ距離マトリクスと単位ベクトルのＮ×Ｎ×３行列との両方が、ロボットからの運動学推定値を使用してマーカーパターンについて計算されるものと同様に、計算される。最後に、前処理されたマーカー距離およびＰＳＭによる回転構成のうちの１つに付着しない、いかなる特徴観測値も拒否される。実験的に決められた距離（例えば、約３〜５ｍｍ）および向き（例えば、約１０°〜２０°）の閾値を使用して、各特徴と関連付けられたＰＳＭが決定されて、特徴クラスごとに１つだけの割当てが各ＰＳＭに与えられる。

≪軸抽出モジュール≫
図１に戻ると、軸モジュール１０３が入力画像中の軸の位置を決定する。上述のように、有効なシリンダ推定値を計算するために可視である十分な軸画素があることは保証されていなく、したがって、本開示の一実施形態では、カメラに対する器具先端の距離を推定するために立体視が使用される。軸が十分に可視であるように器具がカメラから十分遠くにあるとアルゴリズムが判定した場合、シーンラベル付けモジュール１０１で提供された軸尤度マスクが、２つの器具の軸の１つに（場合により）属する画像の画素を収集するために使用される。それぞれの器具軸が大きい長方形のブラブとして表されていると仮定すると、器具軸の１つである可能性がないこれらの画像領域は、連結された構成要素および２Ｄ統計的尺度（例えば、アスペクト比、総画素面積）を使用して除去される。

図６に示されるように、２Ｄ境界線６０１、６０２、６０３および６０４は、それぞれの候補軸ブラブに合わされる。軸の境界線（線６０１〜６０２および６０３〜６０４からなる外側対）、中線軸（内側線６０５および６０６）、次いで器具の軸とクレビスの間の交差位置（内側線６０５および６０６上のドット６０７および６０８）を抽出することによって、軸観測値が特徴観測値と共に融合・追跡モジュール１０５に供給される。射影幾何形状を使用して３Ｄシリンダが２Ｄラインの各対に合わされて、単一の器具の軸が表される。次に、シリンダ軸に沿って中線を画像の縁部から動かし、最大ジャンプをグレースケール輝度値内に置くことによって、器具軸が近位クレビスと交わる２Ｄ画像内交差点が置かれて、黒軸がどこで金属クレビスと交わるかが表される（内側線６０５および６０６上のドット６０７および６０８）。３Ｄ光線がこの２Ｄ軸／クレビス画素を通して投射されて３Ｄシリンダと交差し、器具の軸の表面に局部集中する。最後に、この３Ｄ表面位置が軸の軸中線に投射されて、軸上の回転不変の３Ｄ特徴が表される。この軸特徴は、その既知のマーカー位置と関連付けられ、特徴分類検出と共に融合段階１０５に加えられる。

≪融合・追跡モジュール≫
検出された特徴が任意の所与のフレーム内で常に可視であることが保証されていないので、最終の関節でつながった姿勢を時間を越えて与えるために、融合・追跡モジュール１０５においてロボット運動学が視覚推定値と組み合わされる。運動学関節角度は通常、非常に速い更新速度で得られるが、各関節でのエラー累積によりあまり正確ではない可能性がある。

ｄａＶｉｎｃｉ（登録商標）のような手術ロボットでは、器具挿入点（遠隔中心とも呼ばれる）を静止したままに保つことが重要である。これは、機器を保持しているロボットアームの１つの部分が手術中に動かないことを意味する（例えば、これは受動的である）。エンドエフェクタ姿勢のエラーは、関節でのポテンショメータのゼロ較正のエラーと、連結長さによる運動学チェーンのエラーとの両方から来る。これらはほとんど静的である。その理由は、受動設定関節からのエラーは、運動学チェーンにおいてさらに増し、また能動関節よりも長い連結長を有するので、総合エラーへの影響がより大きいからである。したがって、この一定のエラーバイアスを解明することによって、これを能動関節の生の運動学に適用して非常に正確な全関節角度推定値を求めることができる。このバイアスは本質的に、静止遠隔中心における剛体姿勢調整になる。カメラを保持するロボットアームのエラーもまたあるが、アームが動かないときには、このエラーをエラー寄与に含める必要はない。

これらの調整をオンラインで実施するために、拡張カルマンフィルタ（ＥＫＦ）が使用される。ＥＫＦの状態変数は、遠隔中心のオフセットのための入力を含み、このオフセットは、固定されているかまたはゆっくり変化すると仮定され、したがって一定処理としてモデル化することができる。観測モデルは、我々の特徴クラスの我々の３Ｄ点位置から来る。少なくとも３つの非共線的な点が、完全に観測可能であるべきシステムには必要とされる。測定ベクトルは式（１１）で与えられる。状態変数を観測結果に変換する観測関数は線形ではなく、したがって式（１２）および（１３）のヤコビアンが必要になり、ここで、ｐ^Ｋは運動学遠隔中心座標フレームＫＣＳ内の３Ｄ点位置であり、

は真の機器関節座標系ＩＣＳとＫＣＳの間の単位四元数回転であり、

はＫＣＳ内の遠隔中心位置である。
ｙ_３＝［ｘ_１，ｙ_１，ｚ_１，．．．，ｘ_ｎ，ｙ_ｎ，ｚ_ｎ］^Ｔ（１１）

コンピュータ視覚問題のいかなる実際的な解決策もアウトライヤを含まないということはありそうにもない。画像解析は、それが融合・追跡モジュール１０５への入力であるので、主たる関心事である。この問題に対処するために、本開示のいくつかの実施形態では、初期ＲＡＮＳＡＣ段階が加えられて、十分な数の観測結果を集めると共に、遠隔中心の姿勢オフセットのための剛性変換のパラメトリックフィッティングを実施する。これは、より多くの時間的情報が累積されるときにＥＫＦおよび更新をオンラインで初期化するために使用される。いくつかの実施形態では、合計が最小約３０のインライヤ（inlier）が、フィルタリング手順を始めるための十分な解に必要とされる。剛体変換オフセットは、上述のＰＳＭ関連付け段階後にＰＳＭごとに別々に行われた、クラスラベル付けされた特徴観測結果と、順運動学推定値を器具ごとにゼロ座標フレーム位置に適用した後の対応するマーカーパターンとの間の、３Ｄ対応関係を使用して計算される。遠隔中心は経時的に変化しないはずであるので、この姿勢オフセットは各フレームにわたって一定のままとなり、したがって、これらの点対応関係を時間的に累積することによって安定した解が得られる。

本開示のいくつかの実施形態には、図１のすべてのモジュールが存在するとは限らない。例えば、一実施形態では、シーンラベル付けモジュール１０１および軸抽出モジュール１０３が省略され、入力画像は、特徴分類モジュール１０２に入力として直接供給される。別の実施形態では運動学データが使用されず、したがって融合・追跡モジュール１０５が省略され、患者側マニピュレータの姿勢は、特徴分類モジュールの出力に基づいて決定される。別の実施形態では、患者側マニピュレータが１つしかなく、患者側マニピュレータ関連付けモジュール１０４が省略される。開示された主題の主旨または範囲から逸脱しない図１のモジュールの他の組合せは、当業者には明らかであろう。

≪実験結果≫
本開示のシステムは、ｄａＶｉｎｃｉ（登録商標）手術ロボットでどちらも前もって集められた２つのタイプのデータセット、すなわち（１）ブタデータ（生体内）、および（２）豚肉データ（生体外）によって、機能することが実証された。試験するために使用されたデータは、上述の訓練収集手順に特に含まれていなかった。上述の最良重み付けランダム化木手法で約２００００の訓練サンプルを使用して７つの特徴クラスを収集および訓練した後に、上述のＰＳＭ関連付けおよび幾何学的制約が適用され、最後に融合・追跡段階が実施された。

全体で、試験には６つの異なる映像シーケンス、合計で６８７６フレーム（４５８秒相当の映像）が含まれた。各映像フレームには、常に可視の２つの器具があった。これらの映像シーケンスにわたって、３つの異なるタイプのｄａＶｉｎｃｉ（登録商標）器具である大型針ドライバ（図３Ａに示す）、メリーランドバイポーラ鉗子（図３Ｂに示す）および円形先端ハサミ（図３Ｃに示す）が分析された。システムは、大型針ドライバ（ＬＮＤ）（図３Ａに示す）に対してだけ訓練され、メリーランドバイポーラ鉗子（ＭＢＦ）（図３Ｂに示す）および円形先端ハサミ（ＲＴＳ）（図３Ｃに示す）に加えて、その同じＬＮＤ器具について試験された。この方法は、クレビスを一緒に保持するために使用されるピン、およびクレビスの中心のＩＳロゴを含む多くの共有部分が各器具にわたってあるので、これら他の器具に対しても機能した。各器具の全体的な外観が非常に異なっていても、結果は、低レベル特徴が一致しているとすれば、この方法が別の器具にも非常にうまく適用されることを示す。しかし、これらの部分を共通して共有しない新しい器具が導入される場合には、より多くの訓練データおよび特徴クラスが、上記で論じた分類子を訓練する際に考慮に入れられ、含まれなければならない。

１０個のサンプル結果が、様々な試験シーケンス図７Ａ〜図７Ｊに示される。図７Ａ〜図７Ｈは、ＬＮＤ、ＭＢＦおよびＲＴＳ器具の異なる組合せによる生体外豚肉の結果を示す。図７Ｉ〜図７Ｊはブタ生体内シーケンスを示し、左側にＭＢＦ、右側にＬＮＤがある。図７Ｈでは、一方の器具が他方の器具の先端を完全に遮っているが、融合段階からのＥＫＦが、正確な構成を予測する助けとなる。それぞれで、重ね合わされた線７０１〜７１０が、ロボットによって与えられ画像フレームの中に投射された生の運動学推定値を描写する。器具の上に重ね合わされた線７１１〜７２０は、本開示の検出・追跡システムのアプリケーションを実行した後の固定運動学を示す。図７Ａ〜図７Ｂは、ＭＢＦ（左）およびＬＮＤ（右）を示す。図７Ｃ〜図７Ｄは、ＲＴＳ（左）およびＭＢＦ（右）を示す。図７Ｅ〜図７Ｆは、ＬＮＤ（左）およびＲＴＳ（右）を示す。図７Ｇ〜図７Ｈは、ＭＢＦ（左）およびＭＢＦ（右）を示す。図７Ｉ〜図７Ｊは、ＭＢＦ（左）およびＬＮＤ（右）を示す。いくつかの画像では推定値が全く見えない重大なエラーが明らかであり、それによって、本開示のシステムおよび方法を必要とする動機が与えられる。視覚検査により、器具に重ね合わされた運動学のかなり正確な補正が得られる。

関節でつながった器具の関節レベルのグランドトルースは、正確に、かつ大きいデータセットに対し収集することが非常に困難であるので、本開示の追跡システムの確度は２Ｄ画像空間で評価される。図８Ａは、運動学推定値の評価方式を示す。点線８０１、８０２は、運動学のカメラ投影に対する許容可能境界を画定し、実線８０３は完全な結果である。図８Ｂは、最も右側の器具上の不正確なトラック８０４の一例を示す。この方式を使用して、試験シーケンスの各フレームは手作業で検査され、データセット全体で９７．８１％の正確率が得られた。

表１は、評価のより詳細な内訳を示す。全体で、本開示のシステムは、生体外と生体内両方の環境を含む６つのシーケンスに対して試験され、シーンにはすべて２つの器具がある。表１は、試験シーケンス名称を第１（最も左）の列に、正確であるとラベル付けされたトラックの数を第２の列に、そのシーケンスにおける検出の総可能数を第３の列に、また最終パーセント正確度を最後（最も右）の列に示す。任意の所与のフレームに、１つまたは２つの可視の器具がある可能性があり、このことが、そのシーケンスにおけるトラックの総可能数に対する第３の列の数がどのように計算されるかであることに留意されたい。最後に、最下位の行は、１３６１３の総可能数から検出された１３３１５の正確なトラックの総数を示し、９７．８１％正確であるという最終確度が得られる。また、この確度は、シーケンス全体にわたって非常に類似していたが、それによって、本開示のシステムおよび方法の一貫性が示されたことにも留意されたい。確度は２Ｄ画像空間で評価されたが、深度のエラーが透視画像投射に反映されない可能性があるので、この確度が全体的な３Ｄ確度を完全に表さない可能性がある。

本開示の完全トラッキングシステムは、フルサイズ立体画像（９６０×５４０画素）を使用して約１．０〜１．５秒／フレームで動作する。ステレオマッチング、ＰＳＭ関連付け、および融合／ＥＫＦ更新は、処理時間のほとんどを占める特徴分類および検出と比べると無視できる。これは以下の要素、すなわち、Λの木の数、各木γ_ｉの深度、領域共分散記述子Ｃ_Ｒに使用される特徴の数（本開示の一実施形態では１１個が使用されるが、より少数が使用されることもある）、および前マスクを提供する初期セグメント化の特性、に依存する。しかし、画像を半分のサイズにすることによって、同様の確度を得ながらより速いフレーム速度を得ることができる（０．６〜０．８秒／フレーム、その例がＳｅｑ．５に示されている）。また、経時的に一定のままである遠隔中心バイアスオフセットに対して解が見出されるので、フレームは、追跡システムの全体確度に影響を及ぼすことなく、より遅い速度で処理することもできる。最後に、分類の多くの段階が並行処理可能であり、共分散記述子とランダム化木の両方をＧＰＵプロセッサで実施することができる。共分散処理の試験結果は、特徴テンソルの処理時間（式（１））が約７００ｍｓから約１００ｍｓに低減することを示し、これはさらに低減させることができる。

本開示による追跡システムの実施では、多くの変形形態が可能である。このような変形形態の１つは、画像全体にわたって分類するための共分散記述子を抽出するときに使用する窓のサイズに見出される。その理由は、訓練中、各特徴のまわりの最良の包括的バウンディングボックスが使用され、全体の特徴を表すことに対し記述子が最適に調整されることである。分類子を適用するとき、窓があまりに小さい、またはあまりに大きい場合には、記述子は特徴を適切に捕捉しない。これを軽減するために、特徴の３Ｄサイズについての以前の知識が使用されて、最適窓サイズの計算が導かれる。抽出するのに軸が十分に可視であるかどうかを判定する立体視手法を使用し（上記で論じたように）、特徴のサイズが約３×３ｍｍであると推定して、画像中の最適窓サイズを自動的に、各フレームに対し動的に決定することができる。評価されるすべての画素位置でエラーをさらに低減させるために、自動的に決定されたこの窓サイズに応じて全サイズにも半サイズにもされて、より小さい特徴（例えば、ピン）を捕えるバウンディングボックスが抽出される。これにより、特徴検出システム全体が改善される。

試験の評価（シーケンス）中に生じるエラーのさらなる検査により、不正確なほとんどの固定され／追跡される運動学構成は、映像と生の運動学の同期外れを時々生じさせる生の運動学における待ち時間に起因することが見出される。この状況は、右側の器具に運動学的待ち時間の例を示す図９Ａ〜図９Ｄに、より正確に示されている。運動学と映像は、互いに同期外れになることが多い。我々のエラーのほとんどはこの事実に起因しており、図９Ａ〜図９Ｄに示される状況で明らかになっている。図９Ａ〜図９Ｄの４つのフレームは、順序が互いに連続している。図９Ａ（時間ｔである）では、両方の器具が適切に追跡されている（線９０１で示す）。次に、図９Ｂ（時間ｔ＋１である）および図９Ｃ（時間ｔ＋２である）では、運動学と映像が同期外れになり、右側の器具は不正確に追跡されるようになる（線９０２および９０３で示される）。しかし、図９Ｄ（時間ｔ＋３である）では、器具は再びうまく追跡されている（線９０４で示される）。図９Ｃの重ね合わせ構成９０３を見ると、これは、すぐ後に続く図９Ｄの正確なもの（９０４）と本質的に同じであり、この待ち時間が我々のエラーの原因であると示唆される。不正確な投射を有する（上述の方式により）個々のフレームでは、完全に見失うのではなく、結果が直ちに正確な構成へジャンプすることになり、前の不正確な投射は、次に来る投射が最終的に達するはずの位置および構成にあった。したがって、映像と運動学が互いにもっと同期しているように試験データをより正確にログ記録することによって、確度がさらに向上することが期待される。しかし、実システムで実際のところは、この運動学的待ち時間は存在しない。

文献中の器具追跡手法の大多数は、シーンで可視である軸のシリンダを推定することによって機能する。しかし、前に論じたように、外科医はかなりズームインして作業する傾向があり、それによってこのシリンダ合わせ手順は、可視の軸画素数の制限により、不可能ではないにしても非常に困難になる。残りの少数の手法は、特徴を使用して器具の先端を分析することにより機能するが、器具先端がカメラで適切に見るにはあまりに遠く離れている場合には、機能しなくなる。上述の手法は、これら２つの手法のどちらが任意の所与の時間に最適であるかを動的に決定し、またしばしば両方を、より長い時間にわたって器具を最適に追跡するために同時に使用する点で、有利である。また、上述の画素ラベル付け方法を使用することによって、本開示のシステムは、器具の一部分が遮られたときにより正確に知らせることができる。例えば、金属器具先端が遮られた場合、画素ラベル付けでは、遮蔽物からの不正確な画素を金属としてラベル付けせず、誤検出が回避されることになる。遮蔽エラーは、軸についても同様に回避される。

本開示は、多数のタイプの器具と多数の器具とを同時に追跡できる器具検出・追跡フレームワークを提供する。そのアルゴリズムは、ｄａＶｉｎｃｉ（登録商標）手術ロボットで実証されており、他のタイプの手術ロボットで使用することもできる。異なる種類の環境（生体外および生体内）にわたって高い確度および長い追跡時間が示されている。マルチクラス分類子を使用して低レベル特徴を学習することによって、本開示のシステムは、各特徴で程度の異なる可視性を克服する。器具先端の軸および特徴の両方を使用する本開示の混成手法は、これらの方法のどちらかだけと比べて有利である。器具の距離についての知識を用いると、本開示のシステムは、共通融合フレームワークの中への異なるレベルの情報に動的に適合することができる。最後に、視覚と運動学を融合することによって、本開示のシステムは、時間が経つにつれて見逃された観測結果を明らかにすることができる。

本開示による器具追跡の例示的な適用例が図１０Ａ〜図１０Ｂに示される。図１０Ａの測定の写真で、僧帽弁の周辺１００１および領域１００２を測定する器具が示される。図１０Ｂに、見失われた器具の例示的なシナリオ（例えば、カメラの視野外）が示され、内視鏡画像（上）は器具を２つだけ示し、固定された運動学およびグラフィック表示（下）によって、外科医には、第３の器具１００３（左下隅の外）がどこに位置し、配されているかを正確に示すことができ、したがって外科医は、器具を視野の中へ戻す操作を安全にすることができる。

図１１は、異なる照明および遠近感効果によって典型的に生じるＩＳロゴ特徴の例示的な外観変化を描写して、頑強な記述子を必要とする動機を与える。

本開示の一実施形態では、十分なレベルの確度および速度を得るために共分散記述子が最良重み付けランダム化木と対にされるが、記述子と分類子の代替組合せを使用することもできる。尤度空間を使用する利用可能なペアリングを評価する１つの方法は次のように機能する。すなわち、試験画像が与えられると、マルチクラス分類子が画像全体にわたって実施されて、特徴クラスごとに各画素でｂ個の確率が得られる。これにより、ｂ個の異なる尤度画像が与えられる。各尤度において非最大抑制が実施されて、その尤度の中で３つの最良ピークが得られる。次に、尤度の中の３つのピークのいずれかが、その特徴タイプに対するグランドトルースの距離閾値（例えば、画像サイズの１％）の中にある場合、特徴分類に正確であるという印が付けられる。この方法は、正確な特徴の位置に局所ピークがあることが多いので適切であるが、それが必ずしも全体のピークとは限らない。したがって、完全追跡システムでは、時間的コヒーレンスフィルタがこれらのアウトライヤを除去することができる。図１２Ａ〜図１２Ｈは、外部位置と重ね合わされたＬＮＤ器具の先端のサンプル尤度を示す。図１２Ａは、個々の特徴を円で示す（上から下へ、ｉドット１２０１、ＩＳロゴ１２０２、ピン３１２０３、ピン１１２０４、ホイール１２０５、ホイールピン１２０６、ピン４１２０７）。７つの特徴のうちの６つが、クラス条件付尤度におけるピークとして正確に検出されており（図１２Ｂｉドット、図１２ＣＩＳロゴ、図１２Ｄピン１、図１２Ｆピン４、図１２Ｇホイール、図１２Ｈホイールピン）、ピン３（図１２Ｅ）特徴は不正確に検出されている。これは、Ｃｏｖａｒ／ＲＴ手法を使用して生成された。

確度を評価するために、訓練段階で特に使用されなかった映像について試験が実施された。試験は、生体内シーケンスからの１５００フレームについて実施され、この結果、約４５００の可能性のある特徴が得られ、これらはグランドトルースとされた。グランドトルースに対する確度は、図１３に個々の特徴タイプごとに別々に示されている。様々な特徴が他のものよりも確実に検出されることが明らかであり、これは、サイズ、テクスチャ、および特異性の違いに帰する可能性がある。しかし、このグラフから、領域共分散は、学習アルゴリズムにかかわらず、ＳＩＦＴ記述子とＨｏＧ記述子の両方よりも性能が優れていることが明白である。

より詳細な分析により、ＳＶＭが全体的に最適に評価することが明らかにされるが、ＲＴとＢＷＲＴの両方が、別々の特徴が別々に機能するので確かに同等である。例えば、Ｃｏｖａｒ／ＳＶＭは、ホイール特徴を確度８１％で分類するのに対し、その同じ特徴をＣｏｖａｒ／ＲＴは８４％で、Ｃｏｖａｒ／ＢＷＲＴは８６％で分類する。対照的に、ＩＳロゴ特徴をＣｏｖａｒ／ＳＶＭは８０％で分類するのに対し、Ｃｏｖａｒ／ＲＴでは５９％、Ｃｏｖａｒ／ＢＷＲＴでは６３％の分類率である。

ＳＩＦＴ記述子を使用しての最大達成確度は、Ｐｉｎ１特徴にＳＩＦＴ／ＳＶＭを使用して４４％であった。ＨｏＧ記述子を使用すると、最良達成確度は、ＩＳロゴ特徴にＨｏＧ／ＳＶＭを使用して３７％であった。

確度に加えて、各アルゴリズムのフレーム当たり処理時間が考慮に入れられる。前に述べたように、ＳＶＭは、より多くの訓練データに起因して生じるより多くの支持ベクトルが加えられるので、より複雑に、かつ時間がかかるようになる傾向がある。逆に、木手法は、ノード試験が低コストであると共に、ある特徴を分類するのに全Ｌ個の木にわたって木当たりｍ個の試験しか必要ないので（この例では、ｍ＝１０およびＬ＝９０）、効率的になるように設計される。ＢＷＲＴの場合では、１０００個の初期木バッグが使用され、このバッグから最良の９０個が選択される。

試験時、所与の６４０×４８０画像に対し、１つおきの画素が記述子／分類子の組合せを使用して分類される。これは、各アルゴリズムでフレーム当たり７６８００回の記述子抽出および分類になる。すべての記述子タイプに対し、記述子ごとに一定サイズの窓（実験的に決められた２１画素径）が使用される。フレーム当たりの平均ランタイムが分析され、その結果が表２の第３の列にｍｓ／フレームの単位で示されている。より高次元の特徴ベクトルは、より多くの時間を特にＳＶＭの場合に要した。したがって、ＳＩＦＴ（ｄ＝１２８）が最大ランタイムを有し、ＨｏＧ（ｄ＝４５）が最小ランタイムを有した。ＲＴおよびＢＷＲＴ（ｄ＝６６）の場合のランタイムは、これらが挙動の面で同等であるので非常に類似しているはずであり、重みの値において異なるだけである。

最速アルゴリズムは、複雑さが最も少ないＨｏＧ／ＲＴおよびＨｏＧ／ＢＷＲＴであった。速度の増加は、画像中でどの画素を分析するかを制限する初期の前マスクが存在したならば、すべての場合に当てはまり得る（上記で当てはまったように）。分類は、器具の金属先端の画素だけに制限することができる（上記で論じたように）。ランタイム結果（マスクを計算するための時間を含む）は、表２の第４の列に示されており、そこには処理の大幅な低減が示されている。これは実時間解法に近くなり、例えばＣｏｖａｒ／ＢＷＲＴ手法は、１ｓ／フレームを少し超えるまでに低減される。最後に、ＳＶＭの場合からＲＴ／ＢＷＲＴの場合へのランタイムのパーセント減少量が記述子ごとに分析される。確度性能がわずかに低下するが、この分析で、Ｃｏｖａｒ記述子を使用して８０％までの、またＨｏＧ記述子およびＳＩＦＴ記述子を使用してそれぞれ９０％および９４％までの低減が示された。これらは些細な高速化ではなく、特徴記述アルゴリズムの選択の際に考慮に入れられるべきである。

いくつかの特徴タイプは必ずしも検出されるとは限らないこともあるが、関節でつながった姿勢を回復するには、所与のフレーム上に最少３つが必要とされ（上述のアルゴリズムが運動学を視覚と融合するので）、したがって、選択された７つの目印にわたり得られたパーセント正確度は、長期間の追跡に十分である。確率が低い特徴は、信頼性に基づいて拒否される。２つの器具を同時に追跡することを考えた場合、最も可能性のある器具ペアリングに特徴を割り当てるために、運動学を幾何学的制約に対し優先すべきものとして使用することができる。

本明細書に記載の主題は、もちろん様々であり得るものとして、特定の実施形態に限定されないことを理解されたい。例えば、本主題により、閾値処理、クラスタ化、グラフカットアルゴリズム、エッジ検出、ガウス混合モデル、および当技術分野で知られている他の適切な画像セグメント化方法を含む、様々な画像セグメント化方法を使用することができる。本主題により、共分散記述子、スケール不変特徴変換（ＳＩＦＴ）記述子、勾配方向ヒストグラム（ＨｏＧ）記述子、２値頑強独立要素特徴（ＢＲＩＥＦ（Binary Robust Independent Elementary Features））記述子、および当技術分野で知られている他の適切な記述子を含む、様々な記述子もまた使用することができる。本主題により、ランダム化木分類子、サポートベクトルマシン（ＳＶＭ）、ＡｄａＢｏｏｓｔ、および当技術分野で知られている他の適切な分類子を含む、様々な分類子もまた使用することができる。したがって、要約書または発明の概要に含まれているものには何も、本開示の範囲を限定するものと理解されるべきものがない。本明細書で使用されている用語は、特定の実施形態を説明するためのものにすぎず、限定するものではないこともまた理解されたい。ある範囲の値が与えられている場合、その範囲の上限と下限の間の各介在値、およびその提示された範囲内の別の任意の提示値または介在値が、開示された主題の中に包含されていることを理解されたい。

他に特に定義されていない限り、本明細書で使用される技術的および科学的用語は、本開示の主題が属する技術分野の当業者によって通常理解されるものと同じ意味を有する。本明細書に記載されたものと類似または同等の任意の方法および材料もまた、本開示の主題の実施または試験の際に使用することができるが、本開示では、特定の例示的な方法または材料について明確に言及することがある。

本明細書および添付の特許請求の範囲では、単数形「１つの（ａ）」、「１つの（ａｎ）」、および「その（ｔｈｅ）」は、特に指示がない限り複数の指示物を含む。

本開示を読めば当業者には明らかになるように、本明細書で説明され図示された個々の実施形態それぞれは、本開示の主題の範囲または趣旨から逸脱することなく、他のいくつかの実施形態のいずれかの特徴と容易に分離または結合することができる個別の構成要素および特徴を有する。開示された主題の方法およびシステムに、開示された主題の趣旨または範囲から逸脱することなく、様々な修正を加えることができる。したがって、開示された主題は、添付の特許請求の範囲およびその等価物の範囲の中にある修正形態および変形形態を含むものである。

１０１シーンラベル付けモジュール
１０２特徴分類モジュール
１０３軸抽出モジュール
１０４患者側マニピュレータ関連付けモジュール
１０５融合・追跡モジュール
２０１シーン画像
２０２解剖学的シーン
２０３医療器具、ロボット器具
２０４医療器具、ロボット器具
２０５マスク領域
２０６マスク領域
２０７マスク領域
２０８マスク領域
２０９マスク領域
４０１ピン
４０２ピン
４０３ピン
４０４ＩＳロゴ
４０５ホイール
４０６ホイールピン
４０７ｉドット
５０１原画像
５０２長方形領域
５０３ボックス
５０４１１×１１対称行列、共分散行列、共分散行列記述子
５０５固有リーマン空間、リーマンマニホルド
５０６６６次元ベクトル空間記述子
５０７接空間
６０１２Ｄ境界線
６０２２Ｄ境界線
６０３２Ｄ境界線
６０４２Ｄ境界線
６０５内側線
６０６内側線
６０６ドット
６０７ドット
７０１線
７０２線
７０３線
７０４線
７０５線
７０６線
７０７線
７０８線
７０９線
７００線
７１０線
７１１線
７１２線
７１３線
７１４線
７１５線
７１６線
７１７線
７１８線
７１９線
７２０線
８０１点線
８０２点線
８０３実践
８０４不正確なトラック
９０１線
９０２線
９０３線
９０４線
１００１僧帽弁の周辺
１００２僧帽弁の領域
１００３第３の器具
１２０１ｉドット
１２０２ＩＳロゴ
１２０３ピン３
１２０４ピン１
１２０５ホイール
１２０６ホイールピン
１２０７ピン４

Claims

入力画像の領域の記述子を生成するステップと、
訓練された分類子を前記記述子に適用して、手術器具の特徴が前記領域内に存在するかどうかを示す出力を生成するステップと、
前記訓練された分類子の前記出力に基づいて、前記手術器具の前記特徴の位置を決定するステップと
を含むロボット手術器具追跡方法。
前記記述子は、共分散記述子、スケール不変特徴変換記述子、勾配方向ヒストグラム記述子、および２値頑強独立要素特徴記述子からなる群から選択される、請求項１に記載の方法。
前記訓練された分類子は、ランダム化木分類子、サポートベクトルマシン分類子、およびＡｄａＢｏｏｓｔ分類子からなる群から選択される、請求項１に記載の方法。
前記領域は、前記入力画像の既定の領域内から選択される、請求項１に記載の方法。
前記領域は、前記手術器具の先端部分に対応する前記入力画像の部分を示すマスク領域内から選択される、請求項１に記載の方法。
前記入力画像は複数の手術器具を含み、
前記方法はさらに、前記複数の手術器具のうちのどれに前記特徴が対応するかを決定するステップを含む、請求項１に記載の方法。
ガウス混合モデルを適用することによって前記マスク領域を生成するステップをさらに含む請求項５に記載の方法。
色クラスタ化による画像セグメント化によって前記マスク領域を生成するステップをさらに含む請求項５に記載の方法。
閾値処理による画像セグメント化によって前記マスク領域を生成するステップをさらに含む請求項５に記載の方法。
グラフカットアルゴリズムの適用による画像セグメント化によって前記マスク領域を生成するステップをさらに含む請求項５に記載の方法。
前記記述子は共分散記述子である、請求項２に記載の方法。
前記共分散記述子は、ｘ座標、ｙ座標、色相、彩度、明度、一次画像勾配、二次画像勾配、勾配の大きさ、および勾配の向きを含む、請求項１１に記載の方法。
前記分類子はランダム化木分類子である、請求項１に記載の方法。
前記ランダム化木分類子はさらに、それぞれの木と関連付けられた重みを含み、
前記分類子を適用するステップは、それぞれの木と関連付けられた前記重みをそれぞれの木の出力に適用するステップを含む、請求項１３に記載の方法。
ロボット手術器具追跡システムと共に使用するための非一時的コンピュータ可読媒体であって、
入力画像の領域の記述子を生成するための命令と、
手術器具の特徴が前記領域内に存在するかどうかを示す出力を生成するように、訓練された分類子を前記記述子に適用するための命令と、
前記訓練された分類子の前記出力に基づいて前記手術器具の前記特徴の位置を決定するための命令と
を含む前記非一時的コンピュータ可読媒体。
前記記述子は、共分散記述子、スケール不変特徴変換記述子、勾配方向ヒストグラム記述子、および２値頑強独立要素特徴記述子からなる群から選択される、請求項１５に記載の非一時的コンピュータ可読媒体。
前記訓練された分類子は、ランダム化木分類子、サポートベクトルマシン分類子、およびＡｄａＢｏｏｓｔ分類子からなる群から選択される、請求項１５に記載の非一時的コンピュータ可読媒体。