JP2020532347A - 外科用認識システム - Google Patents

Abstract

【課題】 外科手術を実施しながら、体内の臓器および他の解剖学的構造を認識するシステムおよび方法を提供することである。【解決手段】 ロボット外科手術のためのシステムは、１つ以上のアームを有する外科用ロボットを含み、１つ以上のアームにおけるアームのうちの少なくともいくつかが、外科用器具を保持する。画像センサは、外科用ロボットによって実施された外科手術のビデオを捕捉するために結合され、ディスプレイは、外科手術の注釈付きビデオを受信するように結合されている。処理装置は、外科用ロボット、画像センサ、およびディスプレイに結合されている。処理装置は、処理装置によって実行されたときに、機械学習アルゴリズムを使用してビデオ内の解剖学的特徴を識別し、注釈付きビデオを生成することを含む動作を処理装置に実施させるロジックを含む。ビデオからの解剖学的特徴は、注釈付きビデオにおいて強調されている。処理装置はまた、注釈付きビデオをリアルタイムでディスプレイに出力する。【選択図】図１Ａ

Description

本開示は、概して、外科手術を実施するためのシステムに関し、特に、排他的ではないが、ロボット外科手術に関する。

ロボットまたはコンピュータ支援外科手術は、ロボットシステムを使用して外科手技を支援する。ロボット外科手術は、既存の外科手技の限界（例えば、外科医の手に関連する空間的制約、人間の動きの固有の揺れ、人間の作業成果物の不一致など）を克服する手法として開発された。近年、切開のサイズを制限し、患者の回復時間を短縮するために、この分野は大きく進歩した。

開腹外科手術の場合において、ロボットで制御された器具が従来のツールに取って代わり、外科用動作を実施し得る。フィードバック制御の動きは、人間によって実施されるものよりもスムーズな外科用ステップを可能にし得る。例えば、肋骨を広げるなどのステップのために外科用ロボットを使用すると、ステップが外科医の手で実施された場合よりも患者の組織への損傷が少なくなる結果となり得る。加えて、外科用ロボットは、手技を完了するために必要なステップが少なくなるため、手術室での時間の量を短縮できる。

しかしながら、ロボット外科手術は、比較的高価であり得、従来の外科手術に関連する制限に悩まされる。例えば、外科医は、外科手術を実施する前にロボットシステムの訓練に多くの時間を費やす必要があり得る。加えて、外科医は、ロボット外科手術を実施するときに混乱することがあり得、その結果、患者に害が及び得る。

本発明の非限定的かつ非網羅的な実施形態は、以下の図を参照して記載され、特に指定しない限り、様々な図を通して同様の参照番号は同様の部分を指す。図面は必ずしも縮尺どおりではなく、記載されている原理を説明することに重点が置かれている。

本開示の実施形態による、ロボット外科手術のためのシステムを示す。 本開示の実施形態による、外科用ロボットのためのコントローラを示す。 本開示の実施形態による、外科手術を実施している間に解剖学的特徴を認識するためのシステムを示す。 本開示の実施形態による、外科手技で遭遇する解剖学的特徴に注釈を付ける方法を示す。

外科手術中に解剖学的特徴を認識するための装置および方法の実施形態は、本明細書に記載される。以下の記載では、実施形態の完全な理解を提供するために、多くの特定の詳細が述べられている。しかしながら、当業者は、本明細書に記載された技術が、１つ以上の特定の詳細なしで、または他の方法、コンポーネント、材料などで実践できることを認識するであろう。他の例において、特定の態様が不明瞭になることを避けるために、よく知られている構造、材料、または動作は、詳細に示されておらず、または記載されていない。

本明細書を通じて「一実施形態」または「実施形態」と言及する場合、実施形態に関連して記載された特定の特徴、構造、または特性が本発明の少なくとも１つの実施形態に含まれることを意味する。したがって、本明細書全体の様々な箇所における「一実施形態において」または「実施形態において」という語句の出現は、必ずしもすべてが同じ実施形態を指しているわけではない。さらに、特定の特徴、構造、または特性は、１つ以上の実施形態で任意の適切な方法で組み合わせることができる。

本開示は、外科手術を実施しながら、体内の臓器および他の解剖学的構造を認識するシステムおよび方法を提供する。外科用スキルは、器用さおよび判断力で成り立っている。恐らく、器用さは、生まれつきの能力および実践から来ている。判断力は、常識および経験から来ている。外科用解剖学の絶妙な知識は、優秀な外科医と平均的な外科医を区別する。外科医になるための学習曲線は長く、レジデンシーおよびフェローシップの期間は、しばしば１０年に近づく。新しい外科用スキルを学習すると、同様の長い学習曲線が見られ、５０〜３００のケースを実施した後にのみ習熟度が得られる。これはロボット外科手術にも当てはまり、共存症、開腹手技への転換、推定失血、手技期間などは、経験のない外科医の方が経験のある外科医よりも悪い。外科医は、様々な手技にまたがる年間約５００件の症例を見ると予想される。したがって、外科手技のいずれか１つのタイプに関する解剖学の外科医の固有の知識は、本質的に制限されている。本明細書で開示されるシステムおよび方法は、コンピュータ化されたデバイスを使用してこの問題を解決し、多くの同様のケースから得られた知識を各動作にもたらす。システムは、注釈付きビデオフィード、または外科医に自分の体のどの部分を見ているかを知らせるその他のアラート（例えば、音、ライトなど）を生成することにより（例えば、外科医が誤って血管を切断するのを防ぐために、ビデオフィードで血管を強調表示する）、この目標を達成する。以前は、このタイプの知識は、試行錯誤（外科用状況で潜在的に致命的）、広範な研究、および観察によってのみ得られた。本明細書で開示されるシステムは、人間の指導または研究だけでは達成できない方法で、外科医にコンピュータ／ロボット支援のガイダンスを提供する。いくつかの実施形態において、システムは、人間の目が区別できない（例えば、構造の色と形状が類似しているため）２つの構造間の違いを伝えることができる。

本開示は、外科用ビデオ内の特定の解剖学的構造を認識し、これらの構造を強調するために、機械学習モデル（例えば、深層学習モデル）を訓練する。例えば、胆嚢摘出術（胆嚢の除去）において、本明細書で開示されるシステムは、関心のある構造（肝臓、胆嚢、大網など）が強調表示されている腹腔鏡ビデオ（ロボット支援の場合とそうでない場合がある）から抽出されたフレームでモデルを訓練する。いったんアルゴリズムによって画像分類が学習されると、デバイスは、スライディングウィンドウアプローチを使用して、ビデオ内の関連する構造を見つけ、例えば境界ボックスで輪郭を描くことによってそれらを強調表示する。いくつかの実施形態において、その後、特徴的な色または標識を注釈に追加することができる。より一般には、深層学習モデルは、様々な種類のカメラ（ＲＧＢカメラ、ＩＲカメラ、分子カメラ、分光入力など）から任意の数のビデオ入力を受信し、関心のある臓器を強調するだけでなく、例えば、強調表示された臓器を病気の組織と病気でない組織にサブセグメント化することもできる。より具体的には、記載された深層学習モデルは、画像フレームで機能する。オブジェクトは、スライディングウィンドウアプローチまたは類似度メトリックを計算する他の方法と組み合わせて、機械学習アルゴリズムによって以前に学習されたモデルを使用して、ビデオ内で識別される（それぞれのサイズに関するアプリオリ情報も使用できる）。別のアプローチは、機械学習を使用して、ビデオ内の特定の解剖学的構造の描写またはセグメント化を直接学習し、その場合、深層学習モデルがジョブ全体を完了する。

本明細書で開示されるシステムは、より多くのデータが収集されると自己更新でき、換言すれば、システムは、学習を続けることができる。また、システムは、利用可能な補足情報（ＢＭＩ、患者の履歴、ゲノミクス、術前画像など）に基づいて、解剖学的変化またはその他の予想される差異を捕捉することもできる。現在、学習には多くの計算能力が必要であるが、訓練されたモデルは、通常のコンピュータまたはモバイルデバイスで、リアルタイムにローカルで実行できる。加えて、強調表示された構造は、それらを必要なときにのみ、それらを必要な人々に提供できる。例えば、手術する外科医は、経験豊富な外科医であり、視覚的な合図を必要としないかもしれないが、観察者（例えば、手術室で症例を見る人、リアルタイムで遠隔で見る人、または後でライムを見る人）は、注釈付きビューから利益を得るかもしれない。この方法で問題を解決することは、可能なすべてのデータの使用を生じさせる。モデルは、必要に応じて再訓練することもできる（例えば、特定の患者集団をセグメント化する方法についての新しい情報が利用可能になったため、または手技を実施する新しい方法が医学界で合意されたため）。深層学習は、モデルを訓練する可能性の高い方法であるが、教師ありおよび教師なしアルゴリズムなど、多くの代替機械学習アルゴリズムを使用できる。このようなアルゴリズムは、サポートベクターマシン（ＳＶＭ）、ｋ平均などを含む。

データに注釈を付ける多数の手法がある。例えば、認識された解剖学的特徴は、破線もしくは連続した線で囲まれるか、または特定のセグメンテーションなしで構造に直接注釈を重ねることができる。そうすることで、外科医を悩ませる、および／またはリスクを負わせる可能性のある、セグメンテーションの欠陥の可能性が軽減される。代替的または追加的に、注釈は、キャプションで利用でき、または、バウンディングボックスは、ビデオシーケンスの解剖学的特徴を経時的にたどることができる。注釈は、外科医によって自由にオン／オフを切り替えることができ、外科医は、どのタイプの注釈が望ましいかを指定することもできる（例えば、血管ではなく臓器を強調表示する）。ユーザーインターフェース（例えば、キーボード、マウス、マイクなど）は、外科医に提供して、追加の注釈を入力できる。将来の検索および学習のために、ビデオのライブラリで自動注釈が実施される、オンラインバージョンを実装することもできる。

本明細書で開示されるシステムおよび方法は、外科用ケース中にリアルタイムのビデオセグメンテーションおよび注釈を実施する機能も有している。例えば、解剖学的構造がマークされている、空間セグメンテーション（例えば、肝臓、胆嚢、胆嚢管、嚢胞動脈など）と、手技のステップが示されている、一時的セグメンテーション（例えば、眼底に縫合糸を入れ、腹膜を切開し、胆嚢を切開するなど）を区別することが重要である。

空間セグメンテーションのために、シングルタスクおよびマルチタスクの両方のニューラルネットワークは、訓練されて、解剖学を学習できる。換言すれば、すべての解剖学を一度に学習することも、または特定の構造を１つずつ学習することもできる。一時的セグメンテーションのために、畳み込みニューラルネットワークおよび隠れマルコフモデルを使用して、外科手技の現在の状態を学習できる。同様に、畳み込みニューラルネットワークおよび長い短期記憶または動的タイムワーピングも、使用できる。

空間セグメンテーションのために、解剖学は、ビデオからフレームごとに学習されることができ、その後、２Ｄ表現は、つなぎ合わされて３Ｄモデルを形成し、物理的な制約は、精度を高めるために課されることができる（例えば、連続する２つのフレーム間で物理的に可能な最大変形）。代替的に、学習は、３Ｄで起こり、スライディングウィンドウアプローチまたはカルマンフィルタリングを使用した、ビデオまたはビデオの一部は、モデルへの入力として直接提供される。

学習のために、モデルは、ビデオからの情報を他の先験的知識およびセンサ情報と組み合わせることもできる（例えば、生物学的アトラス、術前イメージング、触覚、ハイパースペクトルイメージング、テレメトリーなど）。追加の制約は、モデルの実行時に提供されることができる（例えば、テレメトリーからの実際の手の動き）。専用ハードウェアを使用して、モデルを迅速に実行し、最小限の遅延で、リアルタイムでビデオをセグメント化できることに注意されたい。

本開示の別の態様は、信頼性が高いときに、外科医の解剖学的オーバーレイを表示する代わりに、モデル自体が混乱している場合に、外科医に警告することができる、逆システムからなる。例えば、デバイスが大きすぎたり、病気にかかったり、またはデバイスが本物であることを識別するには損傷しすぎたりするため、意味をなさない解剖学的領域がある場合に、モデルは、外科医に警告することができる。アラートは、ユーザーインターフェース上のマーク、または音声メッセージ、またはその両方にすることができる。その後、外科医は、説明（例えば、標識）を提供するか、または経験豊富な外科医（または外科医のチーム、相互変動性が評価され、コンセンサスラベリングが取得されるように）に電話して適切に外科手術を実施していることを確認する必要がある。標識は、ユーザーインターフェース上で（例えば、複数の選択肢がある場合は正しい答えをクリックすることによる）外科医によって提供されることもでき、または標識は、音声標識（「ＯＫロボット、これは神経です」）などで提供されることもできる。この実施形態において、デバイスは、外科医が動作中に外科医が見当違いであること−残念ながら、しばしば外科医が間違いを犯すまでこのエラーを認識していない、外科医がしばしば認識しない問題に対処する。

ヒートマップを使用して、アルゴリズムの信頼度を外科医に伝えることができ、マージンを追加することができる（例えば、神経の輪郭を描くため）。情報自体は、オーバーレイとして表示することも（例えば、半透明のマスクを使用する）、またはフットペダルを使用して切り替えることもできる（蛍光画像が外科医によく表示される手法に似ている）。

非接触ゾーンは、画像上に視覚的に表示されることができ、または禁止された領域への器具の移動を防ぐ（例えば、難しくするか、完全に停止する）、触覚フィードバックを通じて、外科医に強要することができる。代替的に、音のフィードバックは、外科医が禁止領域に近づくと外科医に提供されることができる（例えば、外科医が禁止区域に入るとビープ音が鳴る）。外科医は、手技中の任意の時点でリアルタイムのビデオ解釈エンジンをオン／オフにするオプションを有し、またはバックグラウンドで実行しても何も表示しないオプションを有する。

一時的な実施形態において、モデルが自信を持って次のステップが何であるかを知っている場合はいつでも、外科用ステップは学習され、シーケンス予測が有効になり、外科医に表示される（例えば、外科医の手を予想される方向に導く半透明のオーバーレイまたは触覚フィードバックを使用して）。代替的に、フィードバックは、外科医が予想された経路から大きく外れたときに提供されることもできる。同様に、外科医は、ロボットに外科用フィールドが今から１分間にどのように見えるかを尋ね、その情報が提供され、その後、外科用フィールドに視覚的な邪魔をすることなく、外科手術を続けることができる。

以下の開示は、上記で議論された実施形態のいくつか、およびまだ議論されていないいくつかの実施形態の説明図（例えば、図１〜３）を記載する。

図１Ａは、本開示の実施形態による、ロボット外科手術のためのシステム１００を示す。システム１００は、外科用ロボット１２１、カメラ１０１、光源１０３、スピーカ１０５、処理装置１０７（ディスプレイを含む）、ネットワーク１３１、およびストレージ１３３を含む。示されるように、外科用ロボット１２１を使用して、外科用器具を保持し（例えば、各アームがアームの遠位端に器具を保持する）、外科手術を実施し、病気を診断し、生検を行い、医師が実行できる他の手順を実行することができる。外科用器具は、メス、鉗子、カメラ（例えば、カメラ１０１）などを含み得る。外科用ロボット１２１は、３本のアームしか有していないが、当業者は、外科用ロボット１２１が単なる漫画の説明図であり、外科用ロボット１２１が実施する必要のある外科手術の種類、および他の要件に応じて任意の数の形状を取ることができることを理解するであろう。外科用ロボット１２１は、有線または無線で、処理装置１０７、ネットワーク１３１、および／またはストレージ１３３に結合され得る。さらに、外科用ロボット１２１は、外科医または医師からの指示を受け取るために、ユーザー入力／コントローラ（例えば、図１Ｂに示されるコントローラ１７１）に（無線または有線で）結合され得る。コントローラ、およびコントローラのユーザーは、外科用ロボット１２１および患者の非常に近くに（例えば、同じ部屋に）配置され、または何マイルも離れて配置され得る。このように、外科用ロボット１２１は、専門家が患者から何マイルも離れている外科手術を実施するために使用され、外科医からの指示は、インターネットまたは安全なネットワーク（例えば、ネットワーク１３１）を介して送信される。代替的に、外科医は、局所的であり得、外科医の手よりも体の一部により良くアクセスできるため、単に外科用ロボット１２１を使用することを好み得る。

示されるように、（カメラ１０１内の）画像センサは、外科用ロボット１２１によって実施される外科手術のビデオを捕捉するために結合され、ディスプレイ（処理装置１０７に取り付けられる）は、外科手術の注釈付きビデオを受信するために結合される。処理装置１０７は、（ａ）１つ以上のアームの動きを制御する外科用ロボット１２１、（ｂ）画像センサからビデオを受信する画像センサ、および（ｃ）ディスプレイに結合される。処理装置１０７は、処理装置１０７によって実行されたときに、処理装置１０７に様々な動作を実施させる論理を含む。例えば、処理装置１０７は、機械学習アルゴリズムを使用してビデオ内の解剖学的特徴を識別し、ビデオからの解剖学的特徴が強調される注釈付きビデオを生成し得る（例えば、解剖学的特徴の色を修正したり、解剖学的特徴を線で囲ったり、解剖学的特徴を文字で標識したりすることにより）。次いで、処理装置は、注釈付きビデオをリアルタイムでディスプレイに出力し得る（例えば、注釈付きビデオは、捕捉と表示の間のわずかな遅延のみで、ビデオが捕捉されるのと実質的に同じ速度で表示される）。いくつかの実施形態において、処理装置１０７は、解剖学的特徴の罹患部分（例えば、腫瘍、病変など）および健康部分（例えば、確立された一連の基準に対して「正常」に見える臓器）を識別し、罹患部分または健康部分のうちの少なくとも１つが注釈付きビデオにおいて強調されている、注釈付きビデオを生成し得る。これは、外科医が病気のまたは損傷した組織のみを除去する（または、特定のマージンで組織を除去する）のに役立ち得る。逆に、処理装置１０７が解剖学的特徴を閾値確実度（例えば、特定の臓器のモデルと９５％一致）まで識別し損なったときに、処理装置１０７は、閾値確実度まで識別されていない解剖学的特徴を同様に強調し得る。例えば、処理装置１０７は、ビデオのセクションに「肺組織；７７％の確信」と標識し得る。

上述のように、いくつかの実施形態において、機械学習アルゴリズムは、深層学習アルゴリズム、サポートベクターマシン（ＳＶＭ）、ｋ平均クラスタリングなどのうちの少なくとも１つを含む。さらに、機械学習アルゴリズムは、他の特性の中でも特に、輝度、色差、形状、または体内の位置（例えば、他の臓器、マーカーなどに対する）のうちの少なくとも１つによって解剖学的特徴を識別し得る。さらに、処理装置１０７は、スライディングウィンドウ分析を使用して、ビデオ内の解剖学的特徴を識別し得る。いくつかの実施形態において、処理装置１０７は、機械学習アルゴリズムを再帰的に訓練するために、ビデオからの少なくともいくつかの画像フレームをメモリに記憶する。したがって、外科用ロボット１２１は、新しい外科手術ごとに、より深い知識およびさらなる確信をもたらす。

図示された実施形態において、スピーカ１０５は、処理装置１０７に結合され、処理装置１０７は、ビデオ内の解剖学的特徴の識別（例えば、ビデオに示された臓器の呼び出し）に応じて、音声データをスピーカ１０５に出力する。図示された実施形態において、外科用ロボット１２１は、光を放射して外科用領域を照らす光源１０３も含む。示されるように、光源１０３は、処理装置１０７に結合され、処理装置は、放出された光の強度、放出された光の波長、または光源のデューティ比のうちの少なくとも１つを変化させ得る。いくつかの実施形態において、光源は、可視光、ＩＲ光、ＵＶ光などを放出し得る。さらに、光源１０３から放射された光に応じて、カメラ１０１は、特定の解剖学的特徴を識別することが可能であり得る。例えば、腫瘍に結合し、ＵＶまたはＩＲ光の下で蛍光を発する造影剤は、患者に注入され得る。カメラ１０３は、画像の蛍光部分を記録することができ、処理装置１０７は、その部分を腫瘍として識別し得る。

一実施形態において、画像／光学センサ（例えば、カメラ１０１）、圧力センサ（応力、歪みなど）などはすべて、外科用ロボット１２１を制御し、圧力の正確な運動および適用を保証するために使用される。さらに、これらのセンサは、フィードバックループを使用して外科用ロボット１２１によって適用される場所、力などを継続的に調整するプロセッサ（外科用ロボット１２１、処理装置１０７、または他のデバイスが含まれ得る）に情報を提供し得る。いくつかの実施形態において、外科用ロボット１２１のアーム内のセンサを使用して、臓器および他の解剖学的特徴に対するアームの位置を決定し得る。例えば、外科用ロボットは、アームの端で器具の座標を記憶および記録し、これらの座標をビデオフィードと組み合わせて使用して、アームの場所および解剖学的特徴を決定し得る。本開示の教示によれば、システム１００内のコンポーネント間の距離を計算するための多数の異なる手法（例えば、画像から、機械的に、飛行時間レーザーシステムなど）があり、これらのいずれかを使用して場所を決定し得ることが理解される。

図１Ｂは、本開示の実施形態による、ロボット外科手術のためのコントローラ１７１を示す。コントローラ１７１は、図１Ａの外科用ロボット１２１に関連して使用し得る。コントローラ１７１は、外科用ロボットのためのコントローラの一実施例に過ぎず、本開示の教示に従って他の設計を使用できることが理解される。

図示の実施形態において、制御装置１７１は、処理装置がビデオフィード内の解剖学的構造を検出することに応じて、多数の触覚フィードバック信号を外科医に提供し得る。例えば、触覚フィードバック信号は、外科用ロボットのアームに配置された外科用器具が解剖学的特徴の閾値距離内に入ったときに、コントローラ１７１を介して外科医に提供され得る。例えば、外科用器具は、静脈または動脈に非常に接近して移動する可能性があるため、コントローラは、軽く振動して外科医に警告する（１８１）。代替的に、コントローラ１７１は、外科医が重要な臓器の閾値距離内に入らないようにするか（１８３）、または外科医に強制的に手動で停止を無効にすることはし得ない。同様に、コントローラ１７１は、外科医が重要な臓器または他の解剖学的構造に近づきすぎることに徐々に抵抗し得（１８５）、またはコントローラ１７１は、外科医が典型的な外科用経路に順応している場合に抵抗を下げ得る（１８７）。

図２は、本開示の実施形態による、外科手術を実施している間に解剖学的特徴を認識するためのシステム２００を示す。図２に示されたシステム２００は、図１Ａに示されるロボット外科手術のシステムよりも一般化され得る。このシステムは、外科医がディスプレイ２０９に示される拡張現実に部分的または完全に依存している、手動で実施された外科手術、または内視鏡で実施された外科手術と互換性があり得る。例えば、図２に示されるコンポーネントのいくつか（例えば、カメラ２０１）は、内視鏡に配置され得る。

示されるように、システム２００は、カメラ２０１（画像センサ、レンズバレル、およびレンズを含む）、光源２０３（例えば、複数の発光ダイオード、レーザーダイオード、白熱電球など）、スピーカ２０５（例えば、デスクトップスピーカ、ヘッドフォンなど）、処理装置２０７（画像信号プロセッサ２１１、機械学習モジュール２１３、およびグラフィックス処理ユニット２１５を含む）、およびディスプレイ２０９を含む。図示されているように、光源２０３は、外科用動作を照明しており、カメラ２０１は、動作を撮影している。切開部に脾臓が見え、メスが脾臓に近づいている。処理装置２０７は、切開部の脾臓を認識しており、注釈付きビデオストリームの脾臓を強調（白黒またはカラーのいずれかで太字にされたた）している。この実施形態において、外科医がビデオストリームを見るときに、脾臓ならびに関連する静脈および動脈が強調表示されるので、外科医が誤ってそれらを切らない。加えて、スピーカ２０５は、処理装置２０７からの指示に応じて、メスが脾臓の近くにあると述べている。

処理装置２０７のコンポーネントは、システム２００を構築するために使用できる唯一のコンポーネントではなく、コンポーネント（例えば、コンピュータチップ）は、特注または既製であり得ることが理解される。例えば、画像信号プロセッサ２１１は、カメラに統合され得る。さらに、機械学習モジュール２１３は、機械学習アルゴリズムを実行する汎用プロセッサであり得、または深層学習アルゴリズムのために特に最適化された専用プロセッサであり得る。同様に、グラフィックス処理ユニット２１５（例えば、増強されたビデオを生成するのに使用される）は、システムのためにカスタム構築され得る。

図３は、本開示の実施形態による、外科手技で遭遇する解剖学的特徴に注釈を付ける方法３００を示す。本開示の利益を有する当業者は、方法３００のブロック（３０１〜３０９）の順序が任意の順序で、または並列でさえ起こり得ることを理解するであろう。さらに、本開示の教示に従って、ブロックは、方法３００に追加され、または削除され得る。

ブロック３０１は、解剖学的特徴を含むビデオを、画像センサで、補足することを示す。いくつかの実施形態において、ビデオフィード内の解剖学的特徴は、外科用ロボットによって実施された外科手術からのものであり、外科用ロボットは、画像センサを含む。

ブロック３０３は、画像センサに結合された処理装置でビデオを受信することを示している。いくつかの実施形態において、処理装置も、外科用ロボットに配置される。しかしながら、他の実施形態おいて、システムは、別個の部品（例えば、ラップトップコンピュータに差し込まれたカメラ）を含む。

ブロック３０５は、処理装置のメモリに記憶された機械学習アルゴリズムを使用して、ビデオ内の解剖学的特徴を識別することを記載する。解剖学的特徴の識別は、スライディングウィンドウ分析を使用して、画像内の関心のあるポイントを見つけることで実現され得る。換言すれば、固定された高さおよび幅の長方形または正方形の領域は、画像をスキャン／スライドし、ウィンドウに興味深いオブジェクトが含まれているかどうかを判断するために画像分類子を適用する。特定の解剖学的特徴は、深層学習アルゴリズム、サポートベクターマシン（ＳＶＭ）、ｋ平均クラスタリング、または他の機械学習アルゴリズムのうちの少なくとも１つを使用して識別し得る。これらのアルゴリズムは、輝度、色差、形状、位置、またはその他の特性のうちの少なくとも１つによって解剖学的特徴を識別し得る。例えば、機械学習アルゴリズムは、人体の解剖学的マップ、他の外科用ビデオ、解剖学の画像などで訓練され、これらの入力を使用して人工ニューロンの状態を変更し得る。したがって、深層学習モデルは、入力および人工ニューロンの活性化に基づいて、異なる出力を生成する。

ブロック３０７は、処理装置を使用して注釈付きビデオを生成することを示し、ビデオからの解剖学的特徴は、注釈付きビデオにおいて強調される。一実施形態において、注釈付きビデオを生成することは、解剖学的特徴の色を修正すること、解剖学的特徴を線で囲むこと、または解剖学的特徴を文字で標識することのうちの少なくとも１つを含む。

ブロック３０９は、注釈付きビデオのフィードを出力することを示している。いくつかの実施形態において、注釈付きビデオに視覚フィードバック信号が提供される。例えば、外科用ロボットのアームに配置された外科用器具が解剖学的特徴の限界距離内に入るときに、ビデオは、警告標識を表示したり、またはロボットにどれだけ近いかに応じて解剖学的構造の強度／輝度を変更したりし得る。警告サインは、点滅するライト、テキストなどであり得る。いくつかの実施形態において、システムはまた、外科用器具が重要な臓器または構造に近づきすぎたときに、スピーカを備えた外科医に音声フィードバック信号（例えば、音量が距離に比例する）を出力し得る。

上記で説明したプロセスは、コンピュータソフトウェアおよびハードウェアに関して記載されている。記載された技術は、有形または非一時的な機械（例えば、コンピュータ）可読記憶媒体内に具現化された機械実行可能命令を構成し、機械によって実行されたときに、機械に記載された動作を実行させる。加えて、プロセスは、特定用途向け集積回路（「ＡＳＩＣ」）などのハードウェア内で具現化されてもよい。プロセスは、ローカルで、または分散システム（例えば、複数のサーバー）でも発生し得る。

有形の非一時的機械可読記憶媒体は、機械（例えば、コンピュータ、ネットワークデバイス、携帯情報端末、製造ツール、１つ以上のプロセッサのセットを有するいずれかのデバイス、その他）によってアクセス可能な形態で情報を提供する（すなわち記憶する）任意のメカニズムを含む。例えば、機械可読記憶媒体は、記録可能／記録不可能媒体（例えば、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリ装置等）を含む。

要約に記載されたことを含む、本発明の例示された実施形態の上記の記載は、網羅的であることも、本発明を開示された正確な形態に限定することも意図しない。本発明の特定の実施形態、およびその実施例は、例示的目的で本明細書に記載されているが、当業者が認識するように、本発明の範囲内で様々な修正が可能である。

これらの修正は、上記の詳細な記載に照らして、本発明に対して行うことができる。以下の特許請求の範囲で使用される用語は、本明細書に開示された特定の実施形態に本発明を限定すると解釈されるべきではない。むしろ、本発明の範囲は、以下の特許請求の範囲によって完全に決定されるべきであり、以下の特許請求の範囲は、特許請求の範囲の解釈の確立された原則に従って解釈されるべきである。排他的財産または特権が主張される本発明の実施形態は、特許請求の範囲において定められる。

Claims (22)

1. ロボット外科手術のためのシステムであって、
   １つ以上のアームを有する外科用ロボットであって、前記１つ以上のアームにおける前記アームのうちの少なくともいくつかが、外科用器具を保持する、外科用ロボットと、
   前記外科用ロボットによって実施された外科手術のビデオを捕捉するように結合された画像センサと、
   前記外科手術の注釈付きビデオを受信するように結合されたディスプレイと、
   前記１つ以上のアームの動きを制御するように前記外科用ロボットに結合され、前記ビデオを受信するように前記画像センサに結合され、前記注釈付きビデオを前記ディスプレイに供給するように前記ディスプレイに結合された処理装置と、を備え、前記処理装置は、前記処理装置によって実行されたときに、前記処理装置に、
   機械学習アルゴリズムを使用して、前記ビデオ内の解剖学的特徴を識別することと、
   前記注釈付きビデオを生成することであって、前記ビデオからの前記解剖学的特徴が、前記注釈付きビデオにおいて強調される、前記注釈付きビデオを生成することと、
   前記注釈付きビデオを前記ディスプレイにリアルタイムで出力することと、を含む動作を実施させるロジックを含む、ロボット外科手術のためのシステム。
2. 前記機械学習アルゴリズムは、深層学習アルゴリズム、サポートベクターマシン（ＳＶＭ）、またはｋ平均クラスタリングのうちの少なくとも１つを含む、請求項１に記載のロボット外科手術のためのシステム。
3. 前記機械学習アルゴリズムは、輝度、色差、形状、または体内の場所のうちの少なくとも１つによって前記解剖学的特徴を識別する、請求項１に記載のロボット外科手術のためのシステム。
4. 前記ビデオ内の前記解剖学的特徴を強調することは、前記解剖学的特徴の色を修正すること、前記解剖学的特徴を線で囲むこと、または前記解剖学的特徴を文字で標識することのうちの少なくとも１つを含む、請求項１に記載のロボット外科手術のためのシステム。
5. 前記処理装置に結合されたスピーカをさらに備え、前記処理装置は、前記処理装置によって実行されたときに、前記処理装置に、
   前記ビデオ内の解剖学的特徴を識別することに応じて、音声データを前記スピーカに出力すること、を含む動作を実施させるロジックをさらに含む、請求項１に記載のロボット外科手術のためのシステム。
6. 前記処理装置は、前記処理装置によって実行されたときに、前記処理装置に、
   前記解剖学的特徴の罹患部分を識別し、前記解剖学的特徴の健康部分を識別することと、
   前記注釈付きビデオを生成することであって、前記罹患部分または前記健康部分うちの少なくとも一方が、前記注釈付きビデオにおいて強調される、前記注釈付きビデオを生成することと、を含む動作を実施させるロジックをさらに含む、請求項１に記載のロボット外科手術のためのシステム。
7. 前記処理装置は、前記処理装置によって実行されたときに、前記処理装置に、
   他の解剖学的特徴を閾値確実度まで識別し損なうことと、
   前記注釈付きビデオを生成することであって、前記閾値確実度まで識別されていない他の解剖学的特徴が、前記注釈付きビデオにおいて強調される、前記注釈付きビデオを生成することと、を含む動作を実施させるロジックをさらに含む、請求項１に記載のロボット外科手術のためのシステム。
8. 前記処理装置に結合された光源をさらに備え、前記処理装置は、前記処理装置によって実行されたときに、前記処理装置に、
   前記光源を制御して、光を放射し、前記放射された光の強度、前記放射された光の波長、または前記光源のデューティ比のうちの少なくとも１つを変化させること、を含む動作を実施させるロジックをさらに含む、請求項１に記載のロボット外科手術のためのシステム。
9. 前記処理装置は、前記処理装置によって実行されたときに、前記処理装置に、
   前記ビデオからの少なくともいくつかの画像フレームをメモリに記憶して、前記機械学習アルゴリズムを訓練すること、を含む動作を実施させるロジックをさらに含む、請求項１に記載のロボット外科手術のためのシステム。
10. 前記ビデオ内の解剖学的特徴を識別することは、スライディングウィンドウ分析を使用することを含む、請求項１に記載のロボット外科手術のためのシステム。
11. 外科手技で遭遇する解剖学的特徴に注釈を付ける方法であって、
    画像センサで、解剖学的特徴を含む、ビデオを捕捉することと、
    前記画像センサに結合された処理装置で前記ビデオを受信することと、
    前記処理装置のメモリに記憶された機械学習アルゴリズムを使用して、前記ビデオ内の解剖学的特徴を識別することと、
    前記処理装置を使用して注釈付きビデオを生成することであって、前記ビデオからの前記解剖学的特徴が、前記注釈付きビデオにおいて強調される、前記注釈付きビデオを生成することと、
    前記注釈付きビデオのフィードをリアルタイムで出力することと、を含む、方法。
12. 外科用ロボットで前記外科手技を実施することをさらに含み、前記画像センサおよび前記処理装置が、前記外科用ロボットに含まれる、請求項１１に記載の方法。
13. 前記外科用ロボットのアームに配置された外科用器具が前記解剖学的特徴の閾値距離内に入ったときに、前記外科用ロボットを使用して、触覚フィードバック信号を外科医に提供することをさらに含む、請求項１２に記載の方法。
14. 前記外科用ロボットのアームに配置された外科用器具が前記解剖学的特徴の閾値距離内に入ったときに、視覚フィードバック信号を外科医に提供することをさらに含み、前記視覚フィードバックが、前記処理装置に結合されたディスプレイに提供されて、前記注釈付きビデオの前記フィードを受信する、請求項１２に記載の方法。
15. 前記外科用ロボットのアームに配置された外科用器具が前記解剖学的特徴の閾値距離内に入ったときに、前記処理装置に結合されたスピーカで、外科医に音声フィードバック信号を出力することをさらに含む、請求項１２に記載の方法。
16. 前記処理装置に結合された光源で前記解剖学的特徴を照明することをさらに含み、前記処理装置は、前記光源に光を放射させ、前記放射された光の強度、前記放射された光の波長、または前記光源のデューティ比のうちの少なくとも１つを変化させる、請求項１１に記載の方法。
17. 機械学習アルゴリズムを使用して前記ビデオ内の解剖学的特徴を識別することは、深層学習アルゴリズム、サポートベクターマシン（ＳＶＭ）、またはｋ平均クラスタリングのうちの少なくとも１つを使用することを含む、請求項１１に記載の方法。
18. 前記機械学習アルゴリズムは、輝度、色差、形状、または体内の場所のうちの少なくとも１つによって前記解剖学的特徴を識別する、請求項１７に記載の方法。
19. 注釈付きビデオを生成することは、前記解剖学的特徴の色を修正すること、前記解剖学的特徴を線で囲むこと、または前記解剖学的特徴を文字で標識することのうちの少なくとも１つを含む、請求項１１に記載の方法。
20. 前記ビデオを使用して、前記解剖学的特徴を認識するように、前記機械学習アルゴリズムを訓練することをさらに含む、請求項１１に記載の方法。
21. 前記解剖学的特徴の画像、以前に記録された外科手技の第２のビデオ、または人体のマップのうちの少なくとも１つを使用して、前記解剖学的特徴を認識するように、前記機械学習アルゴリズムを訓練することをさらに含む、請求項１１に記載の方法。
22. 前記ビデオ内の前記解剖学的特徴を識別することは、スライディングウィンドウ分析を使用して、前記ビデオの各フレーム内の前記解剖学的特徴を識別することを含む、請求項１１に記載の方法。