JP2021502159A - ロボットツール制御 - Google Patents

ロボットツール制御 Download PDF

Info

Publication number
JP2021502159A
JP2021502159A JP2020524829A JP2020524829A JP2021502159A JP 2021502159 A JP2021502159 A JP 2021502159A JP 2020524829 A JP2020524829 A JP 2020524829A JP 2020524829 A JP2020524829 A JP 2020524829A JP 2021502159 A JP2021502159 A JP 2021502159A
Authority
JP
Japan
Prior art keywords
tissue
robot tool
robot
motion
identified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020524829A
Other languages
English (en)
Other versions
JP7401429B2 (ja
JP2021502159A5 (ja
Inventor
パウル ティーンプラパ
パウル ティーンプラパ
モリー ララ フレクスマン
モリー ララ フレクスマン
トーレ ミヘル ビドロン
トーレ ミヘル ビドロン
アレクサンドラ ポポヴィッチ
アレクサンドラ ポポヴィッチ
マルチン アルカディウシュ バリッキ
マルチン アルカディウシュ バリッキ
グジェゴシュ アンジェイ トポレク
グジェゴシュ アンジェイ トポレク
アレクサンドラ パトリシウ
アレクサンドラ パトリシウ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2021502159A publication Critical patent/JP2021502159A/ja
Publication of JP2021502159A5 publication Critical patent/JP2021502159A5/ja
Application granted granted Critical
Publication of JP7401429B2 publication Critical patent/JP7401429B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B34/35Surgical robots for telesurgery
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B34/32Surgical robots operating autonomously
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70Manipulators specially adapted for use in surgery
    • A61B34/77Manipulators with motion or force scaling
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361Image-producing devices, e.g. surgical cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00681Aspects not otherwise provided for
    • A61B2017/00694Aspects not otherwise provided for with means correcting for movement of or for synchronisation with the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B2034/301Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for

Abstract

ロボットツールを制御するためのシステムは、命令を記憶するメモリと、命令を実行するプロセッサとを含む。プロセッサによって実行されると、命令は、システムに、3次元空間における組織の連続運動を監視することを含むプロセスを実行させる。このプロセスは、また、位置及び組織が3次元空間内の推定された位置にあることになる対応する時間を推定することを含む。3次元空間内の組織の識別された位置は、推定された位置に基づいて識別される。ロボットツールの軌道は、識別された位置に対応する推定された時間に、識別された位置で組織に接触するように設定される。

Description

本願発明は、ロボットツール制御に関する。
拍動している心臓に対する侵襲的手術の側面を最小限にすることは、外傷を減少させ、心肺バイパスを回避するなどの利点を生み出すことができる。心臓手術は典型的には閉じ込められた動的な環境で行われる。その結果、心臓手術の侵襲性を最小限に抑える努力は、心臓周囲のナビゲーション、心臓および心臓周囲の環境の可視化、ならびに心臓および心臓手術を行うために使用されるツールの操作に対する挑戦に遭遇する。
心臓および肺に関係する運動は心肺運動として知られており、そのような運動は比較的予測可能である。したがって、心臓手術のための従来の慣例は、ロボットが運動を組織と同期させることを可能にし、それによって医療専門家(例えば、外科医)が、心拍運動を認識的におよび手動で取り扱わなければならないことから解放する運動補償能力に焦点を当ててきた。しかしながら、組織が1より多い自由度で移動する場合、従来の機械的運動補償能力は、組織を忠実に追跡することができない。
心臓外科手術の他の態様は、時には組織を連続的に動かす操作を伴うことがあるということである。しかしながら、いくつかの処置は、動いている組織のこのような連続的な操作を必要としない。移動する組織の連続的な操作を必要としない処置の例としては、僧帽弁修復および卵円孔開存閉鎖が挙げられる。
本開示の一態様によれば、ロボットツールを制御するためのシステムは、命令を記憶するメモリと、命令を実行するプロセッサとを含む。プロセッサによって実行されると、命令はシステムに、3次元空間内の組織の連続的な動きを監視することと、位置、および組織が3次元空間内の推定された位置にある対応する時間を推定することとを含むプロセスを実行させる。3次元空間内の組織の識別された位置は、推定された位置に基づいて識別される。ロボットツールの軌道は識別された位置に対応する推定された時間に、識別された位置で組織に接触するように設定される。
本開示の別の態様によれば、ロボットツールを制御するための方法は、3次元空間における組織の連続的な動きを監視することを含む。この方法は、有形かつ非一時的なプロセッサによって、位置および組織が3次元空間内の推定された位置にある対応する時間を推定することを含む。この方法は、推定された位置およびロボットツールの少なくとも1つの特性に基づいて、三次元空間内の組織の識別された位置を識別することをさらに含む。ロボットツールの軌道は、識別された位置に対応する推定された時間に、識別された位置で組織に接触するように設定される。ロボットツールまたはロボットツールに取り付けられた医療治療装置は、軌道に沿った識別された位置で組織に接触するように展開される。
例示的な実施形態は、添付の図面と共に読まれるとき、以下の詳細な説明から最も良く理解される。様々な特徴は、必ずしも一定の縮尺で描かれていないことが強調される。実際、寸法は、議論を明確にするために任意に増減されてもよい。適用可能で実用的である限り、同様の参照番号は同様の要素を指す。
代表的な実施形態による、ロボットツール制御のためのプロセスを示す。 代表的な一実施形態による、ロボットツール制御のためのシステムを示す。 代表的な実施形態による、ロボットツール制御のための命令セットを含む一般的なコンピュータシステムを示す。 代表的な実施形態による、ロボットツール制御のための別のプロセスを示す。 代表的な実施形態による、ロボットツール制御のためにオペレータによって指定された組織を有する心臓を示す。 代表的な実施形態による、ロボットツール制御のためのロボットツールの提案された軌道を有する図4の心臓を示す。 代表的な実施形態による、ロボットツール制御のためのロボットツールの実際の軌道を有する図4の心臓を示す。 代表的な実施形態による、ロボットツール制御において監視される組織運動の簡略化された形態を示す。 代表的な実施形態による、ロボットツール制御において監視される組織運動の別の簡略化された形態を示す。 代表的な実施形態による、ロボットツール制御において監視される組織運動の別の簡略化された形態を示す。 代表的な実施形態による、ロボットツール制御のための別のプロセスを示す。 代表的な実施形態による、ロボットツール制御のための組織運動の監視から得られたデータを示す。
外科手術システムが、本明細書に記載される。外科手術システムは、ロボットが様々な処置のために、一瞬の間、例えば、一心拍の間、心臓の動いている組織と相互作用することのみを必要とし得るという考えを利用する。外科手術システムのためのロボット制御戦略は、心拍からの組織運動を監視し、呼吸などの他の源からの組織運動を監視してもよい。ロボット制御戦略は、組織運動から識別されたパターンを制御ループに統合し、ユーザまたはタスクによって定義される所望の軌道が、組織運動のタイミングに従ってマッチするようにする。心拍に基づく組織運動のロボット制御へのマッチアップは、オペレータに見えないようにされてもよく、その結果、オペレータは組織標的を指定するだけでよく、ロボットは展開を実行するために必要な軌道およびタイミングを計算する。これにより、医療従事者の認知負荷が軽減され、手術が簡略化される。
以下の詳細な説明では、限定ではなく説明の目的で、特定の詳細を開示する代表的な実施形態が、本教示による実施形態の完全な理解を提供するために記載される。代表的な実施形態の説明を曖昧にすることを避けるために、既知のシステム、装置、材料、動作方法、および製造方法の説明は省略されてもよい。それにもかかわらず、当業者の範囲内にあるシステム、装置、材料、および方法は、本教示の範囲内であり、代表的な実施形態に従って使用され得る。本明細書で使用される用語は、特定の実施形態を説明することのみを目的としており、限定することを意図していないことを理解されたい。定義された用語は、本教示の技術分野において一般に理解され受け入れられている定義された用語の技術的および科学的意味に加えられる。
第1、第2、第3などの用語は、様々な要素または構成要素を説明するために本明細書で使用され得るが、これらの要素または構成要素は、これらの用語によって限定されるべきではないことが理解されるであろう。これらの用語は、1つの要素または構成要素を別の要素または構成要素から区別するためにのみ使用される。したがって、以下で論じる第1の要素または構成要素は、本発明の概念の教示から逸脱することなく、第2の要素または構成要素と称されることができる。
本明細書で使用される用語は、特定の実施形態を説明するためだけのものであり、限定することを意図するものではない。明細書及び付属クレームにおいて使用されているように、用語「a」、「an」及び「the」の単数形は、文脈が他の形で明確に指示しない限り、単数形及び複数形の両方を含むことを意図している。さらに、用語「有する」および/または「有する」および/または同様の用語は、本明細書で使用される場合、記載された特徴、要素、および/または構成要素の存在を指定するが、1つまたは複数の他の特徴、要素、構成要素、および/またはそれらのグループの存在または追加を排除するものではない。本明細書で使用される場合、用語「および/または」は、関連する列挙された項目のうちの1つまたは複数の任意のすべての組合せを含む。
特に断りのない限り、要素または構成要素が別の要素または構成要素に「接続されている」、「結合されている」、または「隣接している」と言われる場合、要素または構成要素は他の要素または構成要素に直接接続または結合することができ、あるいは介在する要素または構成要素が存在してもよいことが理解されるのであろう。すなわち、これらのおよび同様の用語は、1つまたは複数の中間要素または構成要素が2つの要素または構成要素を接続するために使用されてもよい場合を包含する。しかしながら、要素または構成要素が別の要素または構成要素に「直接接続されている」と言われる場合、これは、2つの要素または構成要素が中間または介在する要素または構成要素なしに互いに接続されている場合のみを包含する。
前述に鑑みて、本開示は、その様々な態様、実施形態、および/または特定の特徴またはサブコンポーネントのうちの1つまたは複数を通して、したがって、以下に具体的に述べるような利点のうちの1つまたは複数をもたらすことを意図している。限定ではなく説明の目的で、特定の詳細を開示する例示的な実施形態は、本教示による実施形態の完全な理解を提供するために記載される。しかしながら、本明細書に開示される特定の詳細から逸脱する、本開示と一貫した他の実施形態は、添付の特許請求の範囲内にある。さらに、周知の装置および方法の説明は、例示的な実施形態の説明を曖昧にしないように省略されてもよい。そのような方法および装置は、本開示の範囲内である。
本明細書に記載されるように、僧帽弁修復などのいくつかの心臓外科手術手順のために、ロボットは、標的組織を把持して、組織運動を低減または停止させ、それによって、さらなる操作のために組織を固定することができる。たとえ一瞬であっても、組織の動きを低減または停止することによって、ロボットは、動き補償の完全性への依存を低減することができる。標的組織を把持する代わりに、ロボットは、標的組織に付着する装置を単に展開してもよい。標的組織を把持するか、装置を展開するか、または迅速に実行され得る任意の他の手順を実行するかにかかわらず、ロボットは、単一の時間間隔の間、心拍運動に適応するだけでよい。その結果、連続動作補償は技術的に過剰であり、ロボットがより大きな性能、精密さ、複雑さ、およびコストのメカニズムを有することを要求する。本明細書に記載されるロボットツール制御は、連続動き補償なしで単独で使用されてもよく、または1つ以上のプロセスのためにロボットツール制御を選択的に使用する一方で、他のプロセスのために連続動き補償を使用するシステムによって使用されてもよい。
図1は、代表的な実施形態による、ロボットツール制御のためのプロセスを示す。図1において、プロセスは、心臓の4次元(4D)レンダリングが術前画像に基づいて生成されるS110で開始する。本明細書で使用される4次元という用語は時間が第4次元であるように、経時的に得られる3次元(3D)レンダリングのシーケンスを指す。術前画像は手術前の患者の画像であり、手術直前に撮影された画像と、手術部位とは異なる部位で手術のずっと前に撮影された画像とを含むことができる。さらに、S110での心臓のレンダリングは、有用であり得るが、S110での心臓のレンダリングは、本明細書で説明されるロボットツール制御が適切に機能するために特に必要とされない。
S120では、4次元レンダリングが、患者モデル、術中イメージングおよびロボットに位置合わせされる。患者モデルは、例えば、所定のフォーマットの患者に固有の情報である。4次元レンダリングは、患者モデルの一部であることもあれば、単に患者モデルと関連付けられることもある。術中撮像は、超音波やX線などによる手術中の患者の撮像である。4次元レンダリングは、手術中に遭遇する患者の生理機能の局面を決定または確認するために、術中画像との比較のために使用されてもよい。ロボットは、ロボットツールおよび/または市販の治療装置を、手術の一部として空間内で移動させるために、1、2、又は3つの位置次元および1、2、又は3つの回転次元で移動する医療ロボットである。市販の治療装置の一例は、医療治療装置である。
S130において、ロボットは、標的組織の近くの展開前位置にガイドされる。特定の組織は、まだ識別されていなくてもよく、したがって、展開前位置は、3次元手術空間内のデフォルトの事前マッピングされた部位であってもよい。3次元動作空間には原点を設けることができ、その結果、ロボットおよびすべての情報を、同じ原点に対して、方向軸も事前定義された状態でマッピングすることができる。ロボットは、自動的にまたは手動でガイドすることができる。自動ガイダンスは、手術中に取得された術中画像に基づいてプログラムを実行するコンピュータによって実行されてもよい。手動ガイダンスは、例えば、ジョイスティック、タッチスクリーン、ローラボール、または他の形態のタッチ入力を使用するオペレータによって実行されてもよい。
S140では、ロボットが標的とする解剖学的位置が設定される。解剖学的位置は、病理学的または他の臨床的特徴、色または他の視覚的特徴によって、または他の解剖学的位置に対する位置決めによって識別される組織の特定の部分であってもよい。他の解剖学的位置は、解剖学的ランドマークの形態と見なされることができる。解剖学的位置は、また、画像から医療専門家によって、または解剖学的ランドマークを使用して画像から手術システムによって自動的に、または力センサからの力値もしくは光学センサからの光学的読み取り値などの標的とされる組織の特性を使用することによって選択されてもよい。解剖学的位置は、術中画像に基づいてプログラムを実行するコンピュータなどのコンピュータによって自動的に設定されてもよいが、自動的に設定される場合、この位置は、医療専門家によって確認されるべきである。代替的に、ロボットが標的とする解剖学的位置は、ジョイスティック、タッチスクリーン、ローラボール、または他の形態のタッチ入力を使用するオペレータなどの医療専門家によって設定されてもよい。
画像を使用する代わりに、必ずしも画像化を含まない感知によって組織の動きを感知することもできる。例えば、組織運動情報は、レンジセンシング、圧力センシング、電気(例えば、キャパシタンス)センシングなどによって取得され得る。本明細書に記載の術中画像を補足または置換するために、任意の形態の組織運動の感知を使用することができる。
S150では、組織運動がインタラクティブに監視され、次いで運動モデルとマッチングされる。組織運動は、心拍運動、呼吸運動、患者が筋肉を動かすことによって引き起こされる身体運動、および/またはロボットによる以前の動きに応答して患者が動かされることによって引き起こされるフィードバック運動を含む複数の形態の運動を含み得る。運動は、XYZ運動および回転運動を含む、異なる方向における器官の1つ以上の部分の運動であり得る。加えて、運動は、任意の方向または回転における複数の異なる成分を含んでもよい。例えば、心臓全体は、心臓の特定の組織が測定されたペースからオフセットして動いている間に、測定されたペースで動いていることがある。類推として、心臓の特定の組織は、アームが軸の周りを回転し、アームが軸の周りを回転しながら上下に移動し、かごがアームの端部で各アームの端部に形成された異なる軸の周りを回転するサーカスライド(circus ride)と部分的に同様に移動することができる。もちろん、心臓の組織は、そのような類似の運動の全範囲を含まないが、運動の異なる程度は類似していてもよい。S150で監視される組織の動きは、心電図(ECG)、ライブ画像化、ライブ患者生理学的信号に同期される所定のモデル、またはそれらの何らかのハイブリッドを含む、様々な機構によって監視されてもよい。心臓組織は、3次元でマークされ、監視されてもよい。
さらに、複数の運動モデルが、事前に登録され、メモリに記憶されてもよい。例えば、異なる症状または疾患に対応するものとして識別された異なる組織運動は、異なる運動モデルとして事前に登録されてもよい。また、運動モデルは、患者の年齢および性別、ならびに患者の人口統計学的特性および健康特性に対応することができる。あるいは、運動モデルが、患者の人口統計学的特性および健康特性から完全に独立していてもよく、特に、観察される組織運動のタイプおよびパターンのみに対応していてもよい。
S155において、ロボットは、識別された位置で組織に接触するように軌道に沿って駆動される。ロボットは、S130で到達した展開前の位置から駆動することができる。ロボットの駆動は、いくつかの方法/モードで起こり得る。すなわち、図1のプロセスの意図された結果は、S170に関して以下に記載されるように、ロボットエンドエフェクタが展開されることである。ロボットが組織に接触すると、ロボットエンドエフェクタの展開は、組織を把持すること、装置を据え付ける(例えば、取り付ける、固定する)こと、組織を切断することなど、多くの形態をとることができる。軌道自体は、標的心臓組織に接触すること、3次元手術空間内の他の組織および任意の他の物体との衝突を回避すること、ならびに軌道が患者の予期しない挙動によって無効にされる場合に患者を害する可能性を最小限に抑えるかまたは完全に回避するための速度および方向の検討を含む、いくつかの検討事項を反映し得る。
ロボットエンドエフェクタが展開される位置は、所定の基準に従って決定される単一の最適位置であってもよい。例えば、ロボットツールが心臓組織をインターセプトするための最適な位置は、心臓組織の運動が位置の末端および/または速度の最小値にある位置であってもよい。あるいは、心臓組織の最適な位置が、患者が呼気を終え、吸入を開始するところであってもよい。したがって、最適な位置は、手術中の患者の生理学的特性に対応してもよく、これらの生理学的特性は、リアルタイムで動的に決定されてもよい。あるいは、最適位置が、組織運動の特性に対応してもよく、これらの運動特性は、リアルタイムで動的に決定されてもよい。さらに、最適位置は、最適時間に対応してもよく、そのタイミングは、位置より主要な検討事項である。これは、例えば、呼吸タイミングに基づいて位置を設定する場合に当てはまる。
また、ロボットエンドエフェクタが展開される位置は、複数の位置が潜在的なインターセプト位置を識別するための最小閾値を満たす場合など、複数の最適位置のセットのうちの好ましい位置であってもよい。好ましい位置は、実現可能な位置のセットからランダムに決定されてもよく、医療専門家によって実現可能な位置のセットから指定されてもよく、または外科医が左利きもしくは右利きである場合など、医療専門家のユーザ設定に従って決定されてもよい。
遠隔操作展開の第1のモードでは、医療専門家が、ロボットを標的組織に向かって移動させるために1つまたは複数の入力装置を使用することができ、外科手術システムは、心拍タイミング信号を暗黙的に使用して、軌道に沿った実際の運動を制約する。たとえ運動を制約するための心拍タイミング信号の使用が、医療専門家が課されている制約を感知しないように、医療専門家に対して見えないように、またはわずかに実行されても、制約は、移動の速度および位置の両方を制限し得る。自律的展開の第2のモードでは、医療専門家が、外科手術システムに標的組織を指定することができ、外科手術システムは、自律的に移動を実行する。第2モードでは、システムは、ロボットエンドエフェクタの展開のための最適タイミングおよび軌道を選択することができる。さらに、図5に示されるように、外科手術システムは、医療専門家からの確認のために、展開がどのように見えるかのシミュレートされたビューを提示し得る。
S160では、組織運動の標的状態に達したかどうかの判定が行われる。標的段階は、例えば、3Dにおける特定の位置、および/または組織の運動の速度および方向または軌道であってもよい。組織が期待された状態にない場合、図1のプロセスを再開することができる。決定は、術中画像を4Dレンダリングとリアルタイムで比較することによって、または例えば染料で組織をマーキングすることによって行うことができ、その結果、S160での決定は、医療専門家によって視覚的に行うことができる。標的位置に到達していない場合(S160=No)、プロセスは、S150に戻り、再び組織運動のインタラクティブ監視を行う。
標的位置に到達した場合(S160=Yes)、S170でエンドエフェクタが展開される。エンドエフェクタは、ロボットツール、または僧帽弁クリップもしくは弁などの市販の治療装置であってもよい。
図2Aは、代表的な一実施形態による、ロボットツール制御のためのシステムを示す。図2Aでは、構造204が、手術台などのベッドまたはテーブルであってもよい。構造204の周りの3次元空間は、本明細書に記載されるように事前マッピングされてもよい。撮像機器205は、ビデオカメラ、超音波装置、X線装置、又は医療手術中に人間の器官及び組織の画像を捕捉することができる他の装置とすることができる。
撮像装置205は、捕捉された画像からの情報をコンピュータ206を供給する。コンピュータ206は、手術中にリアルタイムで組織の運動を追跡する運動追跡ソフトウェアを記憶し、実行して、ロボットツール207が組織に接触するための軌道を推定することができる。ロボット202は、コンピュータ206から命令を受け取り、ロボットツール207を動かして、識別された位置および時間で組織に接触させるために、アーム203Aおよび203Bを3次元で操作する。アーム203A及び203Bの操作は、回転であってもよい。アーム203Aおよび203Bの操作は、ロボットツール207を軌道上で移動させて組織に接触させることと、アーム203Aおよび203Bならびに任意の他の関連する構成要素がロボットツール207の軌道の結果として、患者または任意の機器と衝突しないことを保証することとの両方を含む。
コンピュータ206は、図2の実施形態のためにほとんどまたはすべての論理演算を実行するものとして説明されているが、ロボット202は、ロボットが論理演算を実行するためのプロセッサおよびメモリなどの適切な機構を有する場合に、すべての論理演算を直接実行してもよい。一実施形態によると、ロボット202及びコンピュータ206は、単一の統合システムの一部である。別の実施形態では、ロボット202およびコンピュータ206が、単一のサブシステムとして提供されてもよい。論理演算は、指定された組織の運動追跡、運動追跡に基づく指定された組織の将来の位置および時間の推定、ならびに指定された組織の将来の位置および時間の推定に基づくロボットツール207の軌道設定を含む。
本明細書に記載されるロボット202は、連続運動補償が必要とされないかもしれないことに基づいて動作し、代わりに、組織運動の一時的であるが迅速な観察を制御戦略に統合する。したがって、ロボット202は、ロボットツール207の軌道の組織運動確認の観察に従ってアーム203A、203Bを制御する。監視される組織は、医療専門家によって設定することができ、軌道は、実行されるタスクについて医療専門家によって定義または確認される。運動中の組織のインターセプトの位置および時間は、組織運動のタイミングに従って決定される。インターセプト位置および時間を設定するために必要とされる処理は、オペレータには見えない場合があり、その結果、オペレータは、組織標的を指定するだけでよく、コンピュータ206が、展開を実行するために必要な軌道およびタイミングを計算する。その結果、医療専門家の認知負荷が軽減され、手術が簡略化される。コンピュータ206は、長時間、組織の高速かつ急激な運動に追従する必要はなく、単一の心拍または数回の心拍に要する時間と同じくらい短い時間で、本明細書に記載されるプロセスを実行してもよい。したがって、心拍および呼吸から生じるパターンを識別するための組織運動の監視/追跡は、ゲーティングに類似していると考えることができる。本明細書に記載されているように、追跡された運動は、心臓組織の位置および対応する時間を推定し、ロボットツールが心臓組織をインターセプトするための軌道を生成するために使用することができる。
システムは、ロボットエンドエフェクタの展開の時間を決めるために心拍タイミングを使用するので、外科手術システムは、適切な軌道を計算することができるように、展開が行われるときに、組織がどの位置にあるべきかも決定しなければならない。外科手術システムは、この決定を行う際に、組織が最も遅く、最も速く、極端な方向に移動している場合などを含む、様々なパラメータを考慮し得る。ロボットツール207の軌道の計算は、ロボット202の機械的/計算的待ち時間、ならびに所与のシナリオにおける成功した展開の確率を考慮することができる。
一実施形態では、ロボットシステムが、組織運動を監視する埋め込み感知システムを含むことができる。埋め込まれた感知システムは、いくつかの例として、小さな超音波トランスデューサ、電極(心臓マッピングプローブ)、または力センサであってもよく、またはそれらを含んでもよい。感知システムからの情報は、処置の前に組織運動のモデルを生成するために、ならびにリアルタイムでモデルを更新するために、および/または情報を外部監視システムと組み合わせるために使用され得る。図2Aでは、このような感知システムが、一般に、撮像装置205によって表される。感知システムからの情報は、非周期的または非線形運動モデルを介して、組織運動の異なるサブステージを区別するために使用され得る。ロボット202は、最終的に、感知システムからの情報に従ってリアルタイムでアーム203Aおよび203Bを制御することができ、制御は、各術中状況に従って動作するために、メモリまたは統計モデルを使用して、コンピュータ206および/またはロボット202を介して実行することができる。
一実施形態によると、ロボットシステムは、ロボット202及び/又はコンピュータ206に基づくコントローラを含んでもよい。すなわち、命令を記憶するメモリと、その命令を実行するプロセッサとは、コントローラの要素であってもよい。このようなコントローラは、ロボット202またはコンピュータ206のサブシステムであってもよく、あるいはロボット202および/またはコンピュータ206の両方の分散サブシステムであってもよく、さらには命令を部分的に実行するリモートコンピュータなどの別の装置の分散サブシステムであってもよい。コントローラによって実行される命令は、本明細書で説明される図1および図8のプロセスを含む、ロボットツール制御のための本明細書で説明されるプロセスの一部またはすべてを実行するために使用される。
図2Bは、代表的な実施形態による、ロボットツール制御のための命令セットを含む一般的なコンピュータシステムを示す。図2Bは、ロボットツール制御の方法を実施することができ、図示され、200で示される、一般的なコンピュータシステムの例示的な実施形態である。コンピュータシステム200は、コンピュータシステム200に、本明細書に開示する方法またはコンピュータベースの機能のうちの任意の1つ以上を実行させるために実行されることができる命令のセットを含むことができる。コンピュータシステム200は、スタンドアロン装置として動作してもよく、または、例えば、ネットワーク201を使用して、他のコンピュータシステムもしくは周辺装置に接続されてもよい。
ネットワーク化された展開では、コンピュータシステム200が、サーバの容量内で、またはサーバ−クライアントのユーザネットワーク環境内のクライアントユーザコンピュータとして、またはピア・ツー・ピア(または分散)ネットワーク環境内のピアコンピュータシステムとして動作してもよい。コンピュータシステム200は、また、コントローラ、固定コンピュータ、モバイルコンピュータ、パーソナルコンピュータ(PC)、ラップトップコンピュータ、ロボット、医療ロボット、外科用ロボット、ロボットシステム、またはその機械によってとられるべき動作を指定する(順次または他の形で)命令のセットを実行することができる任意の他の機械またはシステムなどの様々な装置として実装されるか、またはそれらに組み込まれることができる。コンピュータシステム200は、追加の装置を含む統合システム内にある装置として、または装置内に組み込むことができる。一実施形態では、コンピュータシステム200が、音声、ビデオ、またはデータ通信を提供する電子装置を使用して実装されることができる。さらに、単一のコンピュータシステム200が示されているが、用語「システム」は、1つまたは複数のコンピュータ機能を実行するための命令のセットまたは複数のセットを個別にまたは共同で実行するシステムまたはサブシステムの任意の集合を含むものと解釈されるべきである。
図2Bに示すように、コンピュータシステム200は、プロセッサ210を含む。コンピュータシステム200のためのプロセッサは、有形であり、非一時的である。本明細書で使用される「非一時的」という用語は、状態の永続的な特性として解釈されるのではなく、ある期間持続する状態の特性として解釈されるべきであり、「非一時的」という用語は、搬送波または信号の特性、または任意の時点で一時的にしか存在しない他の形態などの、つかの間の特性を特に否定する。プロセッサは、製造品および/または機械構成要素である。コンピュータシステム200用のプロセッサは、本明細書の様々な実施形態で説明した機能を実行するためのソフトウェア命令を実行するように構成される。コンピュータシステム200のためのプロセッサは、汎用プロセッサであってもよいし、特定用途向け集積回路(ASIC)の一部であってもよい。コンピュータシステム200のためのプロセッサは、マイクロプロセッサ、マイクロコンピュータ、プロセッサチップ、コントローラ、マイクロコントローラ、デジタル信号プロセッサ(DSP)、ステートマシン、またはプログラマブル論理装置であってもよい。コンピュータシステム200のためのプロセッサは、フィールドプログラマブルゲートアレイ(FPGA)などのプログラマブルゲートアレイ(PGA)を含む論理回路、または離散的ゲートおよび/またはトランジスタ論理を含む別のタイプの回路であってもよい。コンピュータシステム200のためのプロセッサは、中央処理装置(CPU)、グラフィックス処理装置(GPU)、またはその両方であってもよい。さらに、本明細書に記載する任意のプロセッサは、複数のプロセッサ、並列プロセッサ、またはその両方を含むことができる。複数のプロセッサは、単一の装置または複数の装置に含まれ得るか、または結合され得る。
さらに、コンピュータシステム200は、バス208を介して互いに通信可能なメインメモリ220およびスタティックメモリ230を含む。本明細書で説明されるメモリは、データおよび実行可能命令を記憶することができる有形の記憶媒体であり、命令がその中に記憶されている間は非一時的である。本明細書で使用される「非一時的」という用語は、状態の永続的な特性として解釈されるのではなく、ある期間持続する状態の特性として解釈されるべきであり、「非一時的」という用語は、搬送波または信号の特性、または任意の時点で一時的にしか存在しない他の形態などの、つかの間の特性を特に否定する。本明細書で説明されるメモリは、製造品および/または機械構成要素である。本明細書に記載するメモリは、コンピュータ可読媒体であり、そこからデータおよび実行可能命令をコンピュータが読み取ることができる。本明細書に記載するメモリは、ランダムアクセスメモリ(RAM)、読取専用メモリ(ROM)、フラッシュメモリ、電気的プログラム可能読取専用メモリ(EPROM)、電気的消去可能プログラマブル読取専用メモリ(EEPROM)、レジスタ、ハードディスク、リムーバブルディスク、テープ、コンパクトディスク読取専用メモリ(CD−ROM)、デジタル多用途ディスク(DVD)、フロッピーディスク、ブルーレイディスク、または当技術分野で公知の他の形式の記憶媒体であってもよい。メモリは、揮発性または不揮発性、セキュアおよび/または暗号化、非セキュアおよび/または非暗号化である可能性がある。
示されるように、コンピュータシステム200は、さらに、液晶ディスプレイ(LCD)、有機発光ダイオード(OLED)、フラットパネルディスプレイ、半導体ディスプレイ、または陰極線管(CRT)などのビデオ表示ユニット250を含んでもよい。さらに、コンピュータシステム200は、キーボード/仮想キーボードまたはタッチ感知入力画面、または音声認識を伴う音声入力などの入力装置260と、マウスまたはタッチ感知入力画面またはパッドなどのカーソル制御装置270とを含んでもよい。コンピュータシステム200は、ディスクドライブユニット280、スピーカまたはリモートコントロールなどの信号生成装置290、およびネットワークインタフェース装置240も含むことができる。
一実施形態では、図2Bに示すように、ディスクドライブユニット280は、1つまたは複数の命令セット284、たとえばソフトウェアを組み込むことができるコンピュータ可読媒体282を含んでもよい。命令284のセットは、コンピュータ可読媒体282から読み取ることができる。さらに、命令284は、プロセッサによって実行されると、本明細書で説明する方法およびプロセスのうちの1つまたは複数を実行するために使用することができる。一実施形態では、命令284が、コンピュータシステム200による実行中に、メインメモリ220、スタティックメモリ230、および/またはプロセッサ210内に完全に、または少なくとも部分的に常駐することができる。
代替実施形態では、特定用途向け集積回路(ASIC)、プログラマブル論理アレイ、および他のハードウェア構成要素などの専用ハードウェア実装を、本明細書で説明する方法のうちの1つまたは複数を実装するように構成することができる。本明細書で説明する1つまたは複数の実施形態は、モジュール間およびモジュールを介して通信することができる関連する制御信号およびデータ信号を有する2つ以上の特定の相互接続されたハードウェアモジュールまたは装置を使用して機能を実装することができる。したがって、本開示は、ソフトウェア、ファームウェア、およびハードウェア実装を包含する。本出願における何も、有形の非一時的プロセッサ及び/又はメモリのようなハードウェアなしで、ソフトウェアのみで実施される又は実施可能であるものとして解釈されるべきではない。
本開示の様々な実施形態によれば、本明細書で説明される方法は、ソフトウェアプログラムを実行するハードウェアコンピュータシステムを使用して実装され得る。さらに、例示的な非限定的な実施形態では、実装が、分散処理、コンポーネント/オブジェクト分散処理、および並列処理を含むことができる。仮想コンピュータシステム処理は、本明細書で説明される方法または機能のうちの1つまたは複数を実装するように構築することができ、本明細書で説明されるプロセッサは、仮想処理環境をサポートするために使用することができる。
本開示は、ネットワーク201に接続された装置がネットワーク201を介して音声、ビデオ、またはデータを通信することができるように、命令284を含むか、または伝搬された信号に応答して命令284を受信し、実行するコンピュータ可読媒体282を企図する。さらに、命令284は、ネットワークインタフェース装置240を介してネットワーク201上で送信または受信されてもよい。
図3は、代表的な実施形態による、ロボットツール制御のための別のプロセスを示す。図3のプロセスは、4次元レンダリングを生成するために3D超音波フレームを取得することによってS310で開始する。4次元レンダリングは、医学的手術を受ける患者の解剖学的構造にも位置合わせされる。言い換えれば、S310において、心臓の4次元レンダリングが、術前画像、例えば、3次元超音波画像の時系列から生成される。このレンダリングは、患者モデル、術中イメージング、及びロボットに位置合わせされる。S310は、制御システム自体の必要な構成要素ではないが、S310を含めると、ロボットシステムの全体的な有用性が増す。
S320では、ロボットが、展開前位置にガイドされる。ロボットは、手動で、または上述のような自動化されたプロセスによって、展開前位置にガイドされてもよい。手動で、ロボットを制御する医療専門家の判断に従って、ロボットを患者の特定の器官の近くにガイドすることができる。自動化されたプロセスによって、ロボットは、患者を保持する手術台の足の上の位置など、患者の周りの制御された領域内のデフォルト位置にガイドされてもよい。言い換えれば、S320において、医療専門家および/またはロボット202は、ロボットを、標的部位、例えば僧帽弁の近くの粗い展開前位置にガイドする。ナビゲーションのこの部分は、心臓内フェーズよりも単純であり、したがって、監視される心臓の動きとロボットツールの軌道との間の正確な調整は、まだ必要ではない。
S330では、最終位置にガイドされているロボット202のシミュレーションが、視覚的に、または3D印刷モデルを使用して生成され、次いで、シミュレーションが、ロボットを制御する医療専門家に表示される。一実施形態によると、複数のシミュレーションが、生成され、表示されてもよく、これにより、医療専門家は、使用するシミュレーションを選択することができる。医療専門家はまた、自動モデルから選択するか、または外科手術システムによって課される制約を伴ってロボットツールを手動でガイドする選択肢を提供され得る。シミュレーションは、展開前位置から標的組織までのロボットツールの軌道を示すことができる。ロボットの展開前位置および動作範囲、または動作範囲の関連部分を含む3次元空間は、画像を使用して事前にマッピングされてもよく、動作のために動的に取得された画像は、患者の解剖学的構造のコンテキストを示すためにマージされてもよい。S310で取得された3次元超音波フレームは、動作のために動的に取得された画像の例であるが、動作のために使用される事前マッピングされた3次元空間に対する特定の特許のコンテキストを提供するために、他の形態の画像を使用することもできる。言い換えれば、S330において、医療専門家は、ロボットが標的とする所望の解剖学的位置を、術前および術中画像化によって示す。ロボット運動のシミュレーションは、予測された組織運動と一緒に任意に示すことができる。医療専門家は、要望通りに標的を確認または再調整することができる。
S340において、システムは、ユーザトリガを用いて、次の心拍における位置決めを実行する。説明として、手術中の患者は、医療機器で厳密に監視され、監視には、心拍の精密な監視、並びに呼吸機能のような他の関連する医学的状態が含まれる。制御されているロボットツール207は、正確な監視に基づいて、及びS330でシミュレートされたガイダンスに示された軌道に従って展開される。つまり、心臓は、心拍、呼吸機能および他の状態に従って動くため、監視に基づいて心臓の動きが推定される。したがって、組織の推定位置および対応する時間が決定され、シミュレートされたガイダンスに示された軌道が、特に、ロボットツールまたはロボットツールに取り付けられた装置が推定位置および時間で組織と接触することを確実にするように生成される。一旦確認されると、ロボットシステムは、3D超音波、または他の形態の感知などの術中撮像を介してライブ組織運動を監視し、その運動を、組織運動を予測する既知の動きモデルとマッチさせる。組織が標的位置に到達すると、ロボットはエンドエフェクタの展開を実行する。これは、弁尖を把持すること、または装置を組織に導入することを含み得る。
図4は、代表的な実施形態による、ロボットツール制御のためにオペレータによって指定された組織を有する心臓を示す。図4は、ロボットツールまたは治療装置が標的である心臓の特定の組織の近くの位置に大まかにガイドされる軌道が示されるS320を示す。図4、5及び6において、心臓は、医療専門家によって認識される心臓の部分に対応する多くの異なるラベルでラベル付けされる。心臓の任意のそのような部分が本明細書で言及される限り、ラベルは、議論のための一般化されたコンテキストを提供するために参照され得る。
図5は、代表的な実施形態による、ロボットツール制御のためのロボットツールの提案された軌道を有する図4の心臓を示す。図5は、特定の組織の最終位置へのシミュレートされたガイダンスが生成され、ユーザに表示されるS330を示す。図5のシミュレーションは、提案された軌道の破線の曲線によって示され、特定の組織とロボットツールまたは治療装置との接触位置は、矢印によって示される。
図6は、代表的な実施形態による、ロボットツール制御のためのロボットツールの実際の軌道を有する図4の心臓を示す。図6は、ロボットツールまたは治療装置の実際の展開がユーザトリガに基づいて次の心拍で実行されるS340を示す。ユーザトリガは、医療専門家がS330からシミュレートされたガイダンスを確認するときである。次の心拍は、ユーザトリガ後の心拍である。当然ながら、システムは、ユーザトリガによる確認に基づいて、S340での展開の前に、2以上の心拍を待つか、または許容してもよい。しかしながら、S340でのシミュレーションは、心臓および医学的状態のリアルタイムでの監視に正確に基づいているので、シミュレーションは、典型的には延長された時間の後には効果がない。したがって、「次の」心拍の言語は、ユーザがS330でシミュレートされた軌道をS340で確認した後、ロボットツールの展開が迅速に行われることを伝えることを意図している。
S330でのシミュレーションは、迅速かつリアルタイムで更新され得る。例えば、心臓運動のシミュレーション及びロボットツール又は治療装置の推定軌道は、心拍毎に、1秒毎に、又は0.1秒毎のような更に速く実行することができる。モニタ上では、シミュレーションの繰り返された実行が、リフレッシュされた画像に反映され得る。シミュレーションは、典型的には1つのリフレッシュから次のリフレッシュへと有意な量だけ変化することはないが、心臓または心臓の一部分だけの非律動的運動のような突然の効果に基づいて変化し得る。
図7Aは、代表的な実施形態による、ロボットツール制御において監視される組織運動の簡略化された形態を示す。図7Aでは、心臓の運動が線形であることが示されている。線形運動は、X、Y、またはZ方向の固定軸に沿ったものではほとんどない限り、X方向(水平)、Y方向(垂直)、およびZ方向(深さ)のそれぞれの値の変化に依然として反映され得る。
図7Bは、代表的な実施形態による、ロボットツール制御において監視される組織運動の別の簡略化された形態を示す。図7Bでは、心臓の運動は、純粋に回転であるように見える。しかしながら、回転運動は、回転が生じる中心軸(又は原点)からの半径によって変化してもよい。図7Cでは、角度は、シータ(Θ)およびファイ(Φ)として示されている。ここで、ΘはXY平面における角度であり、ΦはYZ平面における角度である。
図7Cは、代表的な実施形態による、ロボットツール制御において監視される組織運動の別の簡略化された形態を示す。図7Cでは、律動的運動が、図7AのXYZスケールの少なくとも1つの次元で後退されるセグメントで生じる運動として示されている。すなわち、図7Cの運動は、X方向、Y方向および/またはZ方向に完全にまたは部分的に前後に後退することができる。さらに、図7Cの運動は、時間成分において律動的であり、規則的な周期的間隔でY個の最大値および最小値を打つことなどによって、パターンを完全にまたは部分的に繰り返す。
人体と複数の機能器官の複雑さを考えると、心臓の組織の運動は、同時に、異なる方向において重複する複数の律動を反映している可能性がある。結果は、精密な検査で視覚的にカオス的に見えることがあるが、1つまたは複数の律動は、経時的な心臓の組織の位置の変化を分析する運動追跡ソフトウェアを使用して検出することができる。さらに、運動分析ソフトウェアは、律動運動に加えて、線形運動または回転運動を分離することができる。一旦分離されると、運動は、(近い)将来の対応する時間に心臓の組織の位置を識別するために、時間的に前方に推定されることができる。
図8は、代表的な実施形態による、ロボットツール制御のための別のプロセスを示す。図8において、プロセスは、オペレータからの入力に基づいて監視すべき組織を識別することによって、S805で開始する。組織は、オペレータによって視覚的に識別され、次いで、マウスおよびカーソルなどの入力装置を使用して指定され得る。
S810において、識別された組織は、経時的に連続的に監視される。すなわち、識別された組織および周囲の組織は、運動分析ソフトウェアによる処理のために、画像などによって監視される。
S815では、S810での監視から識別された連続運動が、所定のパターンとマッチングされる。例えば、複数の所定のパターンが、メモリに記憶され、S810での監視から識別された運動をマッチさせるために使用されてもよい。所定のパターンの各々は、例えば、いつパターンが医学的状況のタイプと以前に関連付けられたかを指定するために、異なるラベルと関連付けられてもよい。
S820において、心臓組織の位置および時間が、監視に基づいて推定される。位置及び時間は、S815でマッチされた所定のパターンを用いて部分的に又は全体的に推定されてもよい。
S830において、ロボットツールまたは治療ツールを用いて組織をインターセプトするための最適な位置および時間が識別される。あるいは、識別された位置および時間が、最適ではなく好適である場合がある。すなわち、適切であり得る複数の位置および時間が、識別され得、1つが、医療専門家によって、または所定の設定に従って指定され得る。したがって、識別された位置は、潜在的な位置のセットの中で系統的に最適であってもよく、または明確な最適位置がない場合などに好適であってもよい。
S840において、ツールの軌道は、最適な(または好適な)位置および時間で組織に接触するように設定される。軌道は、将来の時間におけるツールの位置の正確な設定であってもよい。複数の位置の時間は、ミリ秒またはマイクロ秒のレベルで設定されてもよく、ロボットツールの位置は、原点に対するXYZ座標として、または原点に対する2つのRΘΦ座標として設定されてもよい。
S850では、組織が最適な位置および時間にあるかどうかの判定が行われる。この決定は、運動追跡ソフトウェアによって、または範囲、圧力/タッチ、またはキャパシタンスなどの電気的特性を感知するセンサによって行うことができる。組織が、予想される時間に最適な位置にない場合(S850=No)、ツールは引き抜かれ、プロセスは、S810に戻され、繰り返される。組織が、予想される時間に最適な位置にある場合(S850=Yes)、手術がS860で実行される。手術は、針を挿入すること、組織を切断すること、僧帽弁クリップまたは弁などの治療ツールを適用すること、または他の同様の医療手術であり得る。
図9は、代表的な実施形態による、ロボットツール制御のために組織運動を監視することから得られるデータを示す。なお、図9では、25の時間が、第1列のT1〜T25で順次示されている。X値は、X1〜X25として示され、T1〜T25の各時点で監視される組織のX(軸)座標データ値である。Y値は、Y1〜Y25として示され、T1〜T25の各時点で監視される組織のY(軸)座標データ値である。Z値は、Z1〜Z25として示され、T1〜T25の各時点で監視される組織のZ(軸)座標データ値である。R値は、R1〜R25として示され、T1〜T25のそれぞれで監視される組織のR(半径)データ値でありる。Θ値は、Θ1〜Θ25として示され、T1〜T25のそれぞれで監視される組織のΘ(XY平面内の角度)データ値である。Φ値は、Φ1〜Φ25として示され、T1〜T25のそれぞれで監視される組織のΦ(ZY平面内の角度)データ値である。
したがって、図9に示すデータは、経時的に監視される特定の組織の位置データである。データは、線形、回転、および律動運動などのパターンを識別するために監視される組織からのものである。次いで、パターンを使用して、ロボットツールまたは治療装置が監視された組織をインターセプトすることができる最適または好適な位置および時間を推定する。
上述のように、外科手術システムは、医療専門家が意思決定プロセスにおける運動を認知的に考慮する必要なしに、移動物体上で、またはその存在下で、タスクをロボットで実行することを可能にする。本明細書に記載される外科手術システムによって取り扱われるタスクおよびロボット運動の性質は、離散的であり、その結果、移動物体の連続的なロボット操作は、他の使用のために依然として存在し得るが、必要とされない。それにもかかわらず、本明細書に記載される外科手術システムは、このようなタスクが連続的な操作ではなく一連の離散的なロボット展開として再構築され得るという点で、運動補償を使用するか、または以前に使用したロボットタスクを実行するために使用され得る。以前に使用された運動補償問題は、システムが組織の運動に追従する必要がないように置き換えられ、その代わりに、システムは、スポット展開のための顕著な状況を選択して、運動モデルごとに運動の時間を決めることができる。適用可能な場合、本明細書に記載のロボット運動制御によって提供されるアプローチは、単純な運動補償よりも実施および実行が容易であり得る。
ロボットツール制御は、いくつかの例示的な実施形態を参照して説明されたが、使用された単語は、限定の単語ではなく、説明および例示の単語であることが理解される。変更は、現在述べられているように、およびその態様におけるロボットツール制御の範囲および精神から逸脱することなく修正されるように、添付の特許請求の範囲内でなされてもよい。ロボットツール制御は、特定の手段、材料、および実施形態を参照して説明されてきたが、ロボットツール制御は、開示された詳細に限定されることを意図されておらず、むしろ、ロボットツール制御は、添付の特許請求の範囲内にあるような、すべての機能的に同等の構造、方法、および使用に及ぶ。
上述したように、組織運動が、1より多い自由度である場合であっても、外科手術システムは、組織を監視し、組織の位置および時間を事前に推定することができる。このような監視は、複数の自由度における組織の実際の運動を説明する複雑なパターンさえも識別するために使用されることができる。したがって、外科手術システムは、組織運動の分析に基づいて事前に決定された特定の位置および時間でロボットツールを動的に、精密に、かつ正確に展開することによって、組織運動が高速または急激である場合でさえも動作することができる。
上記のように、僧帽弁修復および卵円孔開存閉鎖のような心臓処置は、移動する組織が長期間連続的に追跡または操作される必要がない限り、本明細書中に記載される外科手術システムを使用して実行されることができる。本明細書に記載される外科手術システムは、運動補償の完全性への依存を低減し、標的組織を把持し、それによってさらなる操作のために組織を固定することができる。あるいは、ロボットが、標的組織に付着する装置を展開し得る。本明細書に記載される外科手術システムは、単一の時間隔ほどで心拍運動に適応することが要求されるロボットを提供する。
本明細書に記載される実施形態の図は、様々な実施形態の構造の一般的な理解を提供することを意図している。これらの図は、本明細書に記載された開示の要素および特徴のすべての完全な説明として役立つことを意図したものではない。多くの他の実施形態は、本開示を検討すると当業者には明らかであろう。本開示の範囲から逸脱することなく、構造的および論理的な置換および変更を行うことができるように、他の実施形態を利用し、本開示から導出することができる。さらに、これらの図は、単に代表的なものであり、一定の縮尺で描かれていない場合がある。図中の特定の比率は、誇張されていてもよいが、他の比率は、最小化されていてもよい。したがって、開示および図面は、限定的ではなく例示的であると見なされるべきである。
本開示の1つまたは複数の実施形態は、本明細書では単に便宜上、かつ本出願の範囲を任意の特定の発明または発明概念に自発的に限定することを意図することなく、「発明」という用語によって、個別におよび/または集合的に言及され得る。さらに、本明細書では特定の実施形態を図示し、説明したが、同じまたは同様の目的を達成するように設計された任意の後続の構成を、図示した特定の実施形態の代わりに使用できることを理解されたい。本開示は、様々な実施形態の任意の及び全ての後続の適合又は変形を包含することが意図される。上記の実施形態および本明細書に具体的に記載されていない他の実施形態の組み合わせは、説明を検討すると当業者には明らかになるのであろう。
開示の要約は、37 C.F.R. §1.72(b)を遵守するために提供され、請求項の範囲又は意味を解釈又は限定するために使用されないことを理解して提出される。さらに、前述の詳細な説明では、開示を合理化する目的で、様々な特徴を一緒にグループ化するか、または単一の実施形態で説明することができる。本開示は、特許請求される実施形態が各請求項に明示的に列挙されるよりも多くの特徴を必要とするという意図を反映するものとして解釈されるべきではない。むしろ、以下の特許請求の範囲が反映するように、本発明の主題は、開示される実施形態のいずれかの特徴のすべてよりも少ないものに向けられ得る。従って、以下の請求項は、詳細な説明に組み込まれ、各請求項は、別個に請求された主題を定義するものとして自立する。
開示された実施形態の前述の説明は、当業者が本開示に記載された概念を実施することを可能にするために提供される。したがって、上記で開示された主題は、例示的であり、限定的ではないと見なされるべきであり、添付の特許請求の範囲は、本開示の真の精神および範囲内にある、すべてのそのような修正、拡張、および他の実施形態を包含することが意図される。したがって、本開示の範囲は、法律で許容される最大限の範囲において、以下の請求項及びそれらの均等物の許容される最大限の解釈によって決定されるものであり、前述の詳細な説明によって制限又は限定されるべきではない。

Claims (20)

  1. ロボットツールを制御するためのコントローラにおいて、
    命令を記憶するメモリと、
    前記命令を実行するプロセッサと、
    を有し、前記プロセッサによって実行される場合に、前記命令は、前記コントローラに、
    3次元空間における組織の連続運動の監視すること、
    位置及び前記組織が前記3次元空間内の推定位置にある対応する時間を推定すること、
    前記3次元空間における前記組織の識別された位置を、前記推定された位置に基づいて識別すること、前記識別された位置に対応する推定された時間に、前記識別された位置で前記組織に接触するように前記ロボットツールの軌道を設定すること、
    を有するプロセスを実行させる、
    コントローラ。
  2. 前記連続運動が、線形運動および回転運動を含む、請求項1に記載のコントローラ。
  3. 前記組織が心臓であり、前記組織の連続運動が、心拍、呼吸運動、および前記組織の連続運動に応答して移動する前記ロボットによって引き起こされるフィードバック運動のうちの少なくとも1つの運動である、請求項1に記載のコントローラ。
  4. 前記連続運動は、複数の自由度である、請求項1に記載のコントローラ。
  5. 前記ロボットツールは、手術ツールおよび医療治療装置のうちの少なくとも1つを有する、請求項1に記載のコントローラ。
  6. 前記プロセスが、
    オペレータからの入力に基づいて前記組織を決定し、実現可能な位置および前記実現可能な位置に対応する推定時間のセットから前記識別された位置および前記識別された位置に対応する前記推定時間を選択すること、
    を有し、
    前記監視、前記推定、前記識別および前記設定が、前記決定に基づいて自動的に実行される、請求項1に記載のコントローラ。
  7. 前記プロセスが、
    連続運動の所定のパターンのセットの中のパターンと前記連続運動をマッチングさせることと、
    前記マッチングされたパターンに基づいて、前記位置及び対応する時間を推定することと、
    前記組織が前記推定された時間に前記識別された位置にない場合、前記ロボットツールを引き抜くことと、
    をさらに有する、請求項1に記載の制御装置。
  8. 前記連続運動は、異なる時間に異なる方向に移動しながら、ある位置に重なる前記組織を含む律動的運動を含む、請求項1に記載のコントローラ。
  9. 前記プロセスが、前記組織の前記連続運動を監視するために、前記組織を含む一連の画像を取得することをさらに有する、請求項1に記載のコントローラ。
  10. 前記画像は3次元画像である、請求項9に記載のコントローラ。
  11. 命令を記憶するメモリと、
    前記命令を実行するプロセッサと、
    を有する、ロボットツールを制御するためのシステムにおいて、
    前記プロセッサによって実行される場合に、前記命令は、前記システムに、
    3次元空間における組織の連続運動を監視することと、
    位置及び前記組織が前記3次元空間内の推定位置にある対応する時間を推定することと、
    前記推定された位置に基づいて前記3次元空間内の前記組織の識別された位置を識別することと、
    前記識別された位置に対応する前記推定時間に前記識別された位置で前記組織に接触するように前記ロボットツールの軌道を設定することと、
    を有するプロセスを実行させる、システム。
  12. 前記システムが、外科手術システムであり、
    前記ロボットツールが、手術ツールおよび医療治療装置のうちの少なくとも1つを有する、
    請求項11に記載のシステム。
  13. 前記プロセスが、
    前記組織の前記連続運動を監視するために前記組織を含む一連の画像を取得すること、
    をさらに有し、
    前記画像は3次元画像である、
    請求項11に記載のシステム。
  14. ロボットツールを制御するための方法において、
    3次元空間における組織の連続運動を監視するステップと、
    有形かつ非一時的なプロセッサによって、位置及び前記組織が前記3次元空間内の推定された位置にある対応する時間を推定するステップと、
    前記推定された位置及びロボットツールの少なくとも1つの特性に基づいて、前記3次元空間内の前記組織の識別された位置を識別するステップと、
    前記ロボットツールの軌道を、前記識別された位置に対応する推定された時間に前記識別された位置で前記組織に接触するように設定するステップと、
    前記軌道に沿って前記識別された位置で前記組織に接触するように前記ロボットツールまたは前記ロボットツールに取り付けられた医療治療装置を展開するステップと、
    を有する、方法。
  15. 前記組織の前記連続運動を監視するために前記組織を含む一連の画像を取得するステップと、
    前記一連の画像に基づいて監視すべき前記組織を決定するステップと、
    前記監視すべき組織を確認または再調整するために表示として前記軌道をシミュレートするステップと、
    をさらに有する、請求項14記載の方法。
  16. 前記ロボットツールを展開前位置にガイドし、次いで、前記展開前位置から前記推定された時間に前記識別された位置で前記組織に接触するように前記ロボットツールを前記軌道に沿って移動させるステップ、
    をさらに有する、請求項14記載の方法。
  17. 所定の既知の運動モデルのセットの1つの既知の運動モデルと前記連続運動をマッチングするステップと、
    複数の実現可能な位置から、前記ロボットツールまたは前記ロボットツールに取り付けられた前記医療治療装置が前記組織に接触する前記識別された位置を識別するステップと、
    をさらに有する、請求項14記載の方法。
  18. 遠隔操作された展開において、オペレータからの入力に基づいて前記ロボットツールを前記組織に向かって移動させ、前記組織の前記連続運動の前記監視に基づいて前記ロボットツールの運動を自動的に制約するステップ、または
    自律的な展開において、監視する前記組織を決定することに基づいて前記ロボットツールを前記組織に向かって移動させ、タイミングおよび軌道を最適化することによって前記ロボットツールの展開を自律的に実行するステップ、
    をさらに有する、請求項14記載の方法。
  19. 前記ロボットツールまたは前記ロボットツールに取り付けられた前記医療治療装置が前記組織に接触する前記識別された位置を識別するために使用する特性を、最適な位置のための可能な特性のセットから識別するステップ、
    をさらに有する、請求項14記載の方法。
  20. 前記組織の前記識別された位置は、レンジセンシング、圧力センシング、力センシング、電気センシング、光学センシング、またはイメージングのうちの少なくとも1つから識別される、請求項14に記載の方法。
JP2020524829A 2017-11-13 2018-11-13 ロボットツール制御 Active JP7401429B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762585021P 2017-11-13 2017-11-13
US62/585,021 2017-11-13
PCT/EP2018/080999 WO2019092261A1 (en) 2017-11-13 2018-11-13 Robotic tool control

Publications (3)

Publication Number Publication Date
JP2021502159A true JP2021502159A (ja) 2021-01-28
JP2021502159A5 JP2021502159A5 (ja) 2021-12-09
JP7401429B2 JP7401429B2 (ja) 2023-12-19

Family

ID=64556846

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020524829A Active JP7401429B2 (ja) 2017-11-13 2018-11-13 ロボットツール制御

Country Status (5)

Country Link
US (1) US11602403B2 (ja)
EP (1) EP3709926A1 (ja)
JP (1) JP7401429B2 (ja)
CN (1) CN111343941A (ja)
WO (1) WO2019092261A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200015904A1 (en) 2018-07-16 2020-01-16 Ethicon Llc Surgical visualization controls
US20210093407A1 (en) * 2019-09-26 2021-04-01 Auris Health, Inc. Systems and methods for collision avoidance using object models
US11219501B2 (en) 2019-12-30 2022-01-11 Cilag Gmbh International Visualization systems using structured light
US11759283B2 (en) 2019-12-30 2023-09-19 Cilag Gmbh International Surgical systems for generating three dimensional constructs of anatomical organs and coupling identified anatomical structures thereto
US11776144B2 (en) 2019-12-30 2023-10-03 Cilag Gmbh International System and method for determining, adjusting, and managing resection margin about a subject tissue
US11896442B2 (en) 2019-12-30 2024-02-13 Cilag Gmbh International Surgical systems for proposing and corroborating organ portion removals
US11832996B2 (en) 2019-12-30 2023-12-05 Cilag Gmbh International Analyzing surgical trends by a surgical system
US11648060B2 (en) 2019-12-30 2023-05-16 Cilag Gmbh International Surgical system for overlaying surgical instrument data onto a virtual three dimensional construct of an organ
US11284963B2 (en) 2019-12-30 2022-03-29 Cilag Gmbh International Method of using imaging devices in surgery
US11744667B2 (en) 2019-12-30 2023-09-05 Cilag Gmbh International Adaptive visualization by a surgical system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1150601A2 (en) * 1998-11-20 2001-11-07 Intuitive Surgical, Inc. Performing cardiac surgery without cardioplegia
WO2008086430A1 (en) * 2007-01-09 2008-07-17 Cyberheart, Inc. Method for depositing radiation in heart muscle
JP2016533837A (ja) * 2013-09-04 2016-11-04 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. ロボットシステム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5762458A (en) * 1996-02-20 1998-06-09 Computer Motion, Inc. Method and apparatus for performing minimally invasive cardiac procedures
US5894843A (en) * 1996-02-20 1999-04-20 Cardiothoracic Systems, Inc. Surgical method for stabilizing the beating heart during coronary artery bypass graft surgery
US5923770A (en) * 1996-09-30 1999-07-13 Siemens Corporate Research, Inc. 3D cardiac motion recovery system using tagged MR images
US8004229B2 (en) * 2005-05-19 2011-08-23 Intuitive Surgical Operations, Inc. Software center and highly configurable robotic systems for surgery and other uses
JP4755638B2 (ja) * 2004-03-05 2011-08-24 ハンセン メディカル,インク. ロボットガイドカテーテルシステム
AU2010274004A1 (en) * 2009-07-17 2012-03-08 Cyberheart, Inc. Heart treatment kit, system, and method for radiosurgically alleviating arrhythmia
US8532352B2 (en) 2010-10-06 2013-09-10 Siemens Aktiengesellschaft Method and system for intraoperative guidance using physiological image fusion
US8708902B2 (en) * 2010-12-30 2014-04-29 St. Jude Medical, Atrial Fibrillation Division, Inc. Catheter configuration interface and related system
WO2013057620A1 (en) * 2011-10-20 2013-04-25 Koninklijke Philips Electronics N.V. Shape sensing assisted medical procedure
US8900225B2 (en) * 2012-05-07 2014-12-02 Biosense Webster (Israel) Ltd. Automatic ablation tracking
US9220570B2 (en) * 2012-06-29 2015-12-29 Children's National Medical Center Automated surgical and interventional procedures
US9855103B2 (en) * 2012-08-27 2018-01-02 University Of Houston System Robotic device and system software, hardware and methods of use for image-guided and robot-assisted surgery
US9788910B2 (en) * 2014-07-01 2017-10-17 Auris Surgical Robotics, Inc. Instrument-mounted tension sensing mechanism for robotically-driven medical instruments
US20210393331A1 (en) * 2017-06-15 2021-12-23 Transenterix Surgical, Inc. System and method for controlling a robotic surgical system based on identified structures

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1150601A2 (en) * 1998-11-20 2001-11-07 Intuitive Surgical, Inc. Performing cardiac surgery without cardioplegia
WO2008086430A1 (en) * 2007-01-09 2008-07-17 Cyberheart, Inc. Method for depositing radiation in heart muscle
JP2016533837A (ja) * 2013-09-04 2016-11-04 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. ロボットシステム

Also Published As

Publication number Publication date
JP7401429B2 (ja) 2023-12-19
EP3709926A1 (en) 2020-09-23
WO2019092261A1 (en) 2019-05-16
US20210068908A1 (en) 2021-03-11
CN111343941A (zh) 2020-06-26
US11602403B2 (en) 2023-03-14

Similar Documents

Publication Publication Date Title
JP7401429B2 (ja) ロボットツール制御
Yip et al. Robot autonomy for surgery
US11452567B2 (en) Dynamic planning method for needle insertion
Taylor et al. Medical robotics and computer-integrated surgery
CN109077752B (zh) 移动机器臂
Kesner et al. Robotic catheter cardiac ablation combining ultrasound guidance and force control
JP5103658B2 (ja) 柔軟な針の制御された操作
JP2020168374A (ja) 位置特定データをフィルタリングするシステム及び方法
ES2907252T3 (es) Sistema para realizar procedimientos quirúrgicos y de intervención automatizados
Riviere et al. Robotic compensation of biological motion to enhance surgical accuracy
US10398337B2 (en) Automatic tracking and adjustment of the view angle during catheter ablation treatment
JP6220345B2 (ja) 患者特有のポートの配置中の手術ツールの位置決めおよび向き合せ
EP4090254A1 (en) Systems and methods for autonomous suturing
WO2017180643A1 (en) Organ motion compensation
US20210236773A1 (en) Autonomous Robotic Catheter for Minimally Invasive Interventions
EP3413774A1 (en) Database management for laparoscopic surgery
Moreira et al. Needle steering in biological tissue using ultrasound-based online curvature estimation
Solis New frontiers in robotic surgery: The latest high-tech surgical tools allow for superhuman sensing and more
Cheng et al. COVID-19 pandemic spurs medical telerobotic systems: a survey of applications requiring physiological organ motion compensation
RU2653836C2 (ru) Управляемый микроманипулятором локальный вид с неподвижным общим видом
US20230157762A1 (en) Extended Intelligence Ecosystem for Soft Tissue Luminal Applications
US20230157757A1 (en) Extended Intelligence for Pulmonary Procedures
JP2021502186A (ja) 超音波プローブを誘導するためのシステムおよび方法
WO2022166929A1 (zh) 计算机可读存储介质、电子设备及手术机器人系统
WO2020106664A1 (en) System and method for volumetric display of anatomy with periodic motion

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211029

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221027

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230126

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230328

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230724

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230801

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230824

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231207

R150 Certificate of patent or registration of utility model

Ref document number: 7401429

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150