JP2022502187A - 外科手術ロボットシステムのユーザに支援を提供するための方法およびシステム - Google Patents

外科手術ロボットシステムのユーザに支援を提供するための方法およびシステム Download PDF

Info

Publication number
JP2022502187A
JP2022502187A JP2021517788A JP2021517788A JP2022502187A JP 2022502187 A JP2022502187 A JP 2022502187A JP 2021517788 A JP2021517788 A JP 2021517788A JP 2021517788 A JP2021517788 A JP 2021517788A JP 2022502187 A JP2022502187 A JP 2022502187A
Authority
JP
Japan
Prior art keywords
surgical robot
robot system
instrument
task
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021517788A
Other languages
English (en)
Inventor
デイビッド ロナルド ヘアーズ,ルーク
クリストファー ロバーツ,ポール
メンジーズ,ルパート
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CMR Surgical Ltd
Original Assignee
CMR Surgical Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CMR Surgical Ltd filed Critical CMR Surgical Ltd
Publication of JP2022502187A publication Critical patent/JP2022502187A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B34/32Surgical robots operating autonomously
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B7/00Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
    • G08B7/06Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/04Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
    • A61B18/12Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00477Coupling
    • A61B2017/00482Coupling with a code
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107Visualisation of planned trajectories or target regions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems
    • A61B2034/252User interfaces for surgical systems indicating steps of a surgical procedure
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems
    • A61B2034/254User interfaces for surgical systems being adapted depending on the stage of the surgical procedure
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems
    • A61B2034/258User interfaces for surgical systems providing specific settings for specific users

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Robotics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Manipulator (AREA)

Abstract

外科手術ロボットシステムのユーザに支援を提供するためのシステムであって、システムが、基部と基部から器具の取付部へ延在するアームであって、アームが複数のジョイントを備え、それによってアームの構成が変更されうる、アームとを有する少なくとも一つの外科手術ロボットを備える外科手術ロボットシステムと、処置支援が提供されうるタスクのステップのリストを備える支援モジュールであって、支援モジュールが、外科手術ロボットシステムがタスクを実施するために使用されている間、外科手術ロボットシステムの状態を示す状態データを受信することと、状態データから外科手術ロボットシステムが、処置支援状態にあるかどうかを判定することであって、外科手術ロボットシステムが、処置支援が提供されうるタスクのステップのうちの一つを実施するために使用されているか、または使用されようとしているとき、外科手術ロボットシステムが処置支援状態にある、判定することと、外科手術ロボットシステムが処置支援状態にあると判定することに応じて、外科手術ロボットシステムがタスクを実施するために使用されている間、外科手術ロボットシステムに、タスクのステップを実施する際にユーザに処置支援を提供させることと、を行うように構成される、支援モジュールと、を備える。【選択図】図3

Description

手術を支援および実施するためにロボットを使用することが知られている。図1は、基部108、アーム102、および器具105からなる典型的な外科手術ロボット100を示す。基部は、ロボットを支持し、それ自体、例えば、手術室の床、手術室の天井または台車に強固に取り付けられる。アームは基部と器具との間に延在する。アームは、その長さに沿って複数のフレキシブルジョイント103によって関節形成され、これは、外科手術器具を患者に対して所望の位置に位置付けるために使用される。外科手術器具は、ロボットアームの遠位端104に取り付けられる。外科手術器具は、外科手術部位にアクセスするために、ポート107で患者101の本体を貫通する。その遠位端で、器具は、医療処置に従事するためのエンドエフェクタ106を含む。
図2は、ロボット腹腔鏡手術を実施するための典型的な外科手術器具200を示す。外科手術器具は、外科手術器具がロボットアームに連結する基部201を備える。シャフト202は、基部201と関節203との間に延在する。関節203は、エンドエフェクタ204で終了する。図2では、一対ののこぎり歯状顎がエンドエフェクタ204として図示されている。関節203は、エンドエフェクタ204がシャフト202に対して動くことを可能にする。関節によってエンドエフェクタ204の動きに少なくとも2自由度が与えられることが望ましい。
外科手術ロボットを介して実施されるものを含む、すべての外科手術処置は、患者のリスクと関連付けられる。リスクの多くは、手術前、手術中、手術後に特定の予防措置を講じることで軽減できる。しかし、現在行われている軽減技術の多くは、手術前、手術中、手術後に入手可能な情報によって制限される。外科手術ロボットを使用して外科手術処置のすべてまたは一部を実施する場合、その処置について利用可能な情報は本質的に多い。特に、少なくとも、外科手術ロボットに関する情報、すなわち、ロボットが患者とどのように相互作用するか、およびユーザ(例えば、外科手術チーム)がどのようにそれと相互作用するかについての情報がある。外科手術ロボットを介して実施される外科手術処置の効率および/または有効性を改善することができるその情報を利用することができることが有利であろう。
以下に記載される実施形態は、例示のみによって提供され、既知の外科手術ロボットシステムの不利益の一部またはすべてを解決する実装形態を限定するものではない。
本概要は、発明を実施するための形態において以下でさらに説明される概念の選択を紹介する目的で提供される。本概要は、クレームされた主題の主要な特徴または必須の特徴を識別することを意図しておらず、クレームされた主題の範囲を制限するためにも使用されることを意図しない。
本明細書では、外科手術ロボットシステムの一人以上のユーザに支援を提供するための方法およびシステムが説明される。システムは、外科手術ロボットシステムおよび支援モジュールを含む。外科手術ロボットシステムは、基部および基部から器具の取付部へ延在するアームを有する少なくとも一つの外科手術ロボットを備え、アームは複数のジョイントを備え、それによってアームの構成を変更することができる。支援モジュールは、外科手術ロボットシステムがタスクを実施するために使用されている間、外科手術ロボットシステムの状態を示す状態データを受信し、状態データから外科手術ロボットシステムが支援状態にあるかどうかを判定し、外科手術ロボットシステムが支援状態にあると判定することに応じて、外科手術ロボットシステムがタスクを実施するために使用されている間、外科手術ロボットシステムに、一人以上のユーザに支援を提供させるように構成される。
第一の態様は、外科手術ロボットシステムのユーザに支援を提供するためのシステムを提供し、システムは、基部および基部から器具の取付部へ延在するアームであって、アームが複数のジョイントを備え、それによってアームの構成が変更されうる、アームを有する少なくとも一つの外科手術ロボットを備える外科手術ロボットシステムと、処置支援を提供できるタスクのステップのリストを備える支援モジュールであって、支援モジュールが、外科手術ロボットシステムがタスクを実施するために使用されている間、外科手術ロボットシステムの状態を示す状態データを受信することと、状態データから外科手術ロボットシステムが、処置支援状態にあるかどうかを判定することであって、外科手術ロボットシステムが、処置支援が提供されうるタスクのステップのうちの一つを実施するために使用されているか、または使用されようとしているとき、外科手術ロボットシステムが処置支援状態にある、判定することと、外科手術ロボットシステムが処置支援状態にあると判定することに応じて、外科手術ロボットシステムがタスクを実施するために使用されている間、外科手術ロボットシステムに、タスクのステップを実施する際にユーザに処置支援を提供させることと、を行うように構成される、支援モジュールと、を備える。
支援モジュールは、外科手術ロボットシステムに、タスクのステップの実施方法に関するガイダンスを提供する情報を出力させることによって、外科手術ロボットシステムに処置支援を提供させるように構成されうる。
タスクのステップを実施する方法に関するガイダンスを提供する情報は、次にどの一つ以上のステップを実施するかを示す情報、およびどの器具を少なくとも一つの外科手術用ロボットに次に取り付けるべきかを示す情報のうちの一つ以上を含み得る。
システムは、外科手術ロボットシステムのオペレータが、所望の方法で少なくとも一つの外科手術ロボットに取り付けられた器具の動きを要求できる、一つ以上の入力装置を含むコマンドインターフェースをさらに備えることができ、タスクの実施方法に関するガイダンスを提供する情報は、少なくとも一つの外科手術ロボットのどれが、一つ以上の入力装置の各々と関連付けられるべきかを示す情報を含みうる。
タスクのステップを実施する方法に関するガイダンスを提供する情報は、能動的外科手術ロボットアームがタスクのステップを効率的な方法で実施するために従うべき経路を示す情報を含みうる。
支援モジュールは、能動的外科手術ロボットアームがタスクのステップを実施するために従うべき推奨経路を表示画面上に外科手術ロボットシステムに表示させるように構成されうる。
支援モジュールは、以前実施されたタスクに関連する状態データからガイダンス情報を動的に判定するよう構成されてもよい。
第二の態様は、外科手術ロボットシステムのユーザに支援を提供するためのシステムを提供し、システムは、それぞれが基部と、基部から器具の取付部へ延在するアームであって、各アームは、複数のジョイントを備え、それによってアームの構成が変更されうる、アームと、を有する少なくとも二つの外科手術ロボットを備え、通電された器具が少なくとも二つの外科手術ロボットアームのうちの一方に取り付けられ、内視鏡が少なくとも二つの外科手術ロボットアームの他方に取り付けられる外科手術ロボットシステムと、支援モジュールであって、外科手術ロボットシステムが、タスクを実施するために使用されている間、外科手術ロボットシステムの状態を示す状態データを受信することと、状態データから、外科手術ロボットシステムが、通電された器具の危険状態にあるかどうかを動的に判定することであって、外科手術ロボットシステムが、通電された器具が動作しているとき、通電された器具が内視鏡の視野にないとき、ならびに/あるいは通電された器具が、患者および/または別の器具に対して危険位置にあるとき通電された器具の危険状態にある、動的に判定することと、外科手術ロボットシステムが、通電された器具の危険状態にあると判定することに応じて、外科手術ロボットシステムがタスクを実施するために使用されている間、外科手術ロボットシステムに、通電された器具の危険支援をユーザに提供させることと、を行うように構成される、支援モジュールと、を備える。
通電された器具は、外科手術機能を実施するために電流によって通電される電気外科手術器具、または電気焼灼器具であってもよい。
状態データは、通電された器具の状態に関する情報を含みうる。
通電された器具の状態についての情報は、通電された器具が現在通電されているかどうかについての情報を含みうる。
支援モジュールは、外科手術ロボットシステムに通電された器具の通電を防止させることによって、外科手術ロボットシステムに通電された器具の危険支援を提供させるように構成されうる。
支援モジュールは、制御ユニットに通電電流が通電された器具に送電されるのを防ぐようにさせる制御信号を外科手術ロボットシステムの制御ユニットに送信することによって、外科手術ロボットシステムに通電された器具の通電を防止させるように構成されうる。
支援モジュールはさらに、通電防止がオーバーライドされるか否かについてユーザ入力を要求するように構成されてもよく、通電防止がオーバーライドされるユーザ入力を受信することに応じて、外科手術ロボットシステムに通電された器具の通電を許可させるように構成されてもよい。
支援モジュールは、外科手術ロボットシステムに支援情報を出力させることによって、外科手術ロボットシステムに通電された器具の危険支援を提供させるように構成されてもよく、その支援情報は、通電された器具の危険状態が検出されたこと、および/または通電された器具に通電できないことを外科手術ロボットシステムの一人以上のユーザに通知する。
支援情報をユーザに出力することは、支援情報の少なくとも一部を外科手術ロボットシステムのディスプレイ上に表示することを含みうる。
支援情報をユーザに出力することは、支援情報の少なくとも一部をユーザに音声で伝達することを含みうる。
支援モジュールはさらに、状態データから、外科手術ロボットシステムが危険状態にあるかを判定し、外科手術ロボットシステムが危険状態にあると判定することに応じて、外科手術ロボットシステムがタスクを実施するために使用されている間、外科手術ロボットシステムに、危険支援をユーザに提供させるようにさらに構成されてもよい。
支援モジュールは、支援モジュールが、状態データから、外科手術ロボットシステムが、衝突状態、故障器具状態、および誤った器具状態のうちの少なくとも一つにあると判定するとき、外科手術ロボットシステムが危険状態にあると判定するように構成されうる。
外科手術ロボットシステムは、器具にそれぞれ取り付けられる少なくとも二つの外科手術ロボットを備えてもよく、支援モジュールは、支援モジュールが、状態データから、少なくとも二つの外科手術ロボットアームが衝突したか、または衝突しようとしている、少なくとも二つの器具が衝突したか、または衝突しようとしている、あるいは、器具と外科手術ロボットアームが衝突したか、または衝突しようとしていると判定するとき、外科手術ロボットシステムが衝突状態にあると判定するように構成されうる。
支援モジュールは、支援モジュールが、状態データから、器具が、タスクまたはタスクの現在のステップに適切ではない外科手術ロボットアームに取り付けられていると判定するときに、外科手術ロボットシステムが誤った器具状態にあると判定するように構成されうる。
支援モジュールは、外科手術ロボットシステムが誤った器具状態にあると判定することに応じて、タスクまたはタスクの現在のステップに適切ではない器具が、タスクの現在のステップのタスクに適切な器具で置き換えられるように、外科手術ロボットシステムに器具変更を自動的に実施させるように構成されうる。
支援モジュールは、状態データから、外科手術ロボットシステムが、予測される危険状態にあるかどうかを判定することであって、一つ以上の危険インジケータが状態データから検出されたときに、外科手術ロボットシステムが、予測される危険状態にある、判定することと、外科手術ロボットシステムが、予測される危険状態にあると判定することに応じて、外科手術ロボットシステムが、タスクを実施するために使用されている間に、外科手術ロボットシステムに、予測される危険支援をユーザに提供させることと、を行うようにさらに構成されうる。
一つ以上の危険インジケータは、危険に先行した、以前実施されたタスクの状態データ内の事象またはパターンを含みうる。
タスクは、患者に対して実施される外科手術処置であってもよく、一つ以上の危険インジケータのうちの少なくとも一つは、患者の一つ以上のバイタルサインおよび/または一つ以上の他の健康指標が、所定の範囲外であること、外科手術ロボットシステムのオペレータの一つ以上のバイタルサインおよび/または一つ以上の他の健康指標が、所定の範囲外にあること、声を上げて話すタスクのために一人以上の個人が存在すること、および警告の単語または語句を話すタスクのために一人以上の個人が存在することのうちの一つ以上を含みうる。
支援モジュールは、状態データから、外科手術ロボットシステムが技能支援状態にあるかどうかを判定することであって、外科手術ロボットシステムは、外科手術ロボットシステムが、既知の技能を実施するために使用されているか、または使用されようとしているときに技能支援状態にある、判定すること、を行うようにさらに構成され、外科手術ロボットシステムが技能支援状態にあると判定することに応じて、支援モジュールが、一つ以上の外科手術ロボットアームを制御して、既知の技能を自動的に実施するように構成される。
提供される支援のレベルは、外科手術ロボットシステムのオペレータの技能レベルに基づいてもよい。
支援モジュールは、状態データに基づいてオペレータの技能レベルを動的に判定するよう構成されてもよい。
第三の態様は、外科手術ロボットシステムのユーザに支援を提供するコンピュータ実装方法を提供し、方法は、外科手術ロボットシステムが、複数のステップを含むタスクを実施するために使用されている間、外科手術ロボットシステムの状態を示す状態データを受信することであって、外科手術ロボットシステムは、基部と、基部から器具の取付部へ延在するアームであって、アームが複数のジョイントを備え、それによってアームの構成が変更され得る、アームと、を有する少なくとも一つの外科手術ロボットを備える、受信することと、状態データから、外科手術ロボットシステムが、処置支援状態にあるかどうかを判定することであって、外科手術ロボットシステムは、外科手術ロボットシステムが、処置支援が提供されうるタスクのステップのうちの一つを実施するために使用されているか、または使用されようとしているとき、処置支援状態である、判定することと、外科手術ロボットシステムが処置支援状態にあると判定することに応じて、外科手術ロボットシステムがタスクを実施するために使用されている間に、外科手術ロボットシステムに、タスクのステップを実施する際にユーザに処置支援を提供させることと、を含む。
第四の態様は、外科手術ロボットシステムのユーザに支援を提供するコンピュータ実装方法を提供し、方法は、外科手術ロボットシステムを使用してタスクを実施している間、外科手術ロボットシステムの状態を示す状態データを受信することであって、外科手術ロボットシステムは、それぞれが基部と、基部から器具の取付部へ延在するアームであって、各アームが複数のジョイントを備え、それによってアームの構成が変更されうる、アームと、を有する少なくとも二つの外科手術ロボットを備え、通電された器具が少なくとも二つの外科手術ロボットアームのうちの一方に取り付けられ、内視鏡が少なくとも二つの外科手術ロボットアームの他方に取り付けられる、受信することと、状態データから外科手術ロボットシステムが、通電された器具の危険状態にあるかどうかを動的に判定することであって、通電された器具が動作しているとき、通電された器具が内視鏡の視野にないとき、ならびに/あるいは通電された器具が、患者および/または別の器具に対して危険位置にあるとき、外科手術ロボットシステムは、通電された器具の危険状態にある、動的に判定することと、外科手術ロボットシステムが、通電された器具の危険状態にあると判定することに応じて、外科手術ロボットシステムがタスクを実施するために使用されている間、外科手術ロボットシステムに、通電された器具の危険支援をユーザに提供させることと、を含む。
第五の態様は、外科手術ロボットシステムのユーザに支援を提供するためのシステムを提供し、システムは、基部と、基部から器具の取付部へ延在するアームであって、アームが複数のジョイントを備え、それによってアームの構成が変更されうる、アームと、を有する少なくとも一つの外科手術ロボットを備える外科手術ロボットシステムと、支援モジュールであって、外科手術ロボットシステムが、タスクを実施するために使用されている間、外科手術ロボットシステムの状態を示す状態データを受信し、状態データから外科手術ロボットシステムが支援状態にあるかどうかを判定し、外科手術ロボットシステムが支援状態にあると判定することに応じて、外科手術ロボットシステムがタスクを実施するために使用されている間、外科手術ロボットシステムに、支援をユーザに提供させるように構成される、支援モジュールと、を備える。
支援モジュールは、状態データを以前実施されたタスクの状態データと比較することによって、外科手術ロボットシステムが支援状態にあるかどうかを判定するように構成されうる。
支援モジュールは、外科手術ロボットアームの移動を制御することによって、外科手術ロボットシステムに支援を提供させるように構成されうる。
支援モジュールは、タスクの少なくとも一部を自動的に実施するように、外科手術ロボットアームを移動させることによって、外科手術ロボットアームの移動を制御するように構成されうる。
支援モジュールは、外科手術ロボットアームの移動を阻止することによって、外科手術ロボットアームの移動を制御するように構成されうる。
支援モジュールは、外科手術ロボットアームが自動的に制御されうることを確認するユーザからの入力の受信に応じて、外科手術ロボットアームの移動を制御するようにのみ構成されうる。
支援モジュールは、外科手術ロボットシステムに、ユーザに支援情報を出力させることによって、外科手術ロボットシステムに支援を提供させるように構成されうる。
支援情報をユーザに出力することは、支援情報の少なくとも一部を外科手術ロボットシステムのディスプレイ上に表示することを含みうる。
支援情報をユーザに出力することは、支援情報の少なくとも一部をユーザに音声で伝達することを含む。
支援モジュールは、支援モジュールが、状態データから、外科手術ロボットシステムが危険状態にあると判定するとき、外科手術ロボットシステムが支援状態にあると判定するように構成されうる。
支援モジュールは、支援モジュールが、状態データから、外科手術ロボットシステムが、衝突状態、故障器具状態、誤った器具状態、通電された器具の危険状態、および潜在的危険状態のうちの少なくとも一つにあると判定するとき、外科手術ロボットシステムが危険状態にあると判定するように構成されうる。
外科手術ロボットシステムは、少なくとも二つの外科手術ロボットを備えてもよく、支援モジュールは、支援モジュールが、少なくとも二つの外科手術ロボットアームが衝突したか、または衝突しようとしている、少なくとも二つの器具が衝突したか、または衝突しようとしている、あるいは器具と外科手術ロボットアームが衝突したか、または衝突しようとしていると、状態データから判定するときに、外科手術ロボットシステムが衝突状態にあると判定するように構成されうる。
支援モジュールは、支援モジュールが、状態データから、器具が、タスクまたはタスクの現在のステップに適切ではない外科手術ロボットアームに取り付けられていると判定するときに、外科手術ロボットシステムが誤った器具状態にあると判定するように構成されうる。
支援モジュールは、外科手術ロボットシステムが誤った器具状態にあると判定することに応じて、誤った器具が適切な器具と交換されるように、外科手術ロボットシステムに自動的に器具変更を実施させるように構成されうる。
外科手術ロボットシステムは、少なくとも二つの外科手術ロボットを備えることができ、通電された器具は、外科手術ロボットアームの一方に取り付けられてもよく、内視鏡は、外科手術ロボットアームの他方に取り付けられ、支援モジュールは、支援モジュールが、状態データから通電された器具が動作している、通電された器具が内視鏡の視野にない、および/または通電された器具が、患者および/または別の器具に対して危険位置にあると判定するとき、外科手術ロボットシステムが通電された器具の危険状態にあると判定するように構成されうる。
支援モジュールは、支援モジュールが、一つ以上の危険インジケータが状態データから検出されたときに予測される危険状態にある外科手術ロボットシステムが、予測される危険状態にあると、状態データから判定するとき、外科手術ロボットシステムが、支援状態にあると判定するように構成されうる。
一つ以上の危険インジケータは、危険に先行した、以前実施されたタスクの状態データ内の事象またはパターンを含みうる。
タスクは、患者に対する外科手術処置であってもよく、一つ以上の危険インジケータのうちの少なくとも一つは、患者のバイタルサインおよび/または他の健康指標のうちの一つ以上が、所定の範囲外であること、オペレータのバイタルサインおよび/または他の健康指標のうちの一つ以上が、所定の範囲外にあること、声を上げて話すタスクのために存在する個人の一人以上、および警告の単語または語句を話すタスクのために存在する個人のうちの一人以上のうちの一つ以上を含みうる。
支援モジュールは、支援モジュールが、状態データから、外科手術ロボットが、既知の技能を実施するために使用されているか、または使用されようとしているときに技能支援状態にある外科手術ロボットシステムが、技能支援状態にあると判定するとき、外科手術ロボットシステムは支援状態にあると判定するように構成されてもよく、外科手術ロボットシステムが技能支援状態にあると判定することに応じて、支援モジュールは、一つ以上の外科手術ロボットアームを制御して、既知の技能を自動的に実施するように構成される。
提供される支援のレベルは、外科手術ロボットシステムのオペレータの技能レベルに基づいてもよい。
支援モジュールは、状態データに基づいてオペレータの技能レベルを動的に判定するよう構成されてもよい。
タスクは、外科手術処置であってもよい。
第六の態様は、外科手術ロボットシステムのユーザに支援を提供するコンピュータ実装方法を提供し、方法は、外科手術ロボットシステムを使用してタスクを実施している間、外科手術ロボットシステムの状態を示す状態データを受信することであって、外科手術ロボットシステムは、基部と、基部から器具の取付部へ延在するアームであって、アームが複数のジョイントを備え、それによってアームの構成が変更されうる、アームと、を有する少なくとも一つの外科手術ロボットを備える、受信することと、状態データから外科手術ロボットシステムが支援状態にあるかどうか判定することと、外科手術ロボットシステムが支援状態にあると判定することに応じて、外科手術ロボットシステムがタスクを実施するために使用されている間、外科手術ロボットシステムにユーザに支援を提供させることと、を含む。
上記の特徴は、当業者に明らかであるように、必要に応じて組み合わせてもよく、本明細書に記載される実施例の態様のいずれかと組み合わせてもよい。
実施例は、ここで、添付図面を参照して詳細に記載される。
図1は、外科手術処置を実施する例示的な外科手術ロボットの概略図である。
図2は、例示的な外科手術器具の概略図である。
図3は、外科手術ロボットシステムの一人以上のユーザに支援を提供するための例示的なシステムのブロック図である。
図4は、例示的な外科手術ロボットシステムの概略図である。
図5は、外科手術ロボットシステムの一人以上のユーザに支援を提供する例示的な方法の流れ図である。
添付図面は、様々な実施例を示す。当業者は、図面中の図示された要素の境界(例えば、箱、箱のグループ、または他の形状)が、境界の一例を表すことを理解するであろう。いくつかの実施例では、一つの要素は、複数の要素として設計され得るか、または複数の要素が、一つの要素として設計され得ることがあり得る。同様の特徴を示すために、適切な場合、図全体を通して共通の参照番号が使用される。
以下の説明は、当業者が本発明を作製および使用できるようにするための例として提示されている。本発明は、本明細書に記載される実施形態に限定されないが、本開示の実施形態に対する様々な修正は、当業者には明らかであろう。実施形態は、例としてのみ記載される。
本明細書では、外科手術ロボットシステムがタスクを実施するために使用されている間に、外科手術ロボットシステムの一人以上のユーザに支援を動的に提供する方法およびシステムが説明される。システムは、一つ以上の外科手術ロボットを備える外科手術ロボットシステム、および外科手術ロボットシステムと通信する支援モジュールを備える。支援モジュールは、外科手術ロボットシステムがタスクを実施するために使用されている間、外科手術ロボットシステムの状態を示す状態データを受信し、状態データから外科手術ロボットシステムが支援状態にあるかどうかを判定し、外科手術ロボットシステムが支援状態にあると判定することに応じて、外科手術ロボットがタスクを実施するために使用されている間、外科手術ロボットシステムに、外科手術ロボットシステムのユーザのうちの一人以上に支援を提供させるように構成される。外科手術ロボットシステムのユーザは、外科手術ロボットシステムを制御するオペレータ(例えば、外科医)、および/またはタスク(例えば、外科手術)のために存在し、かつそれに参加するチーム(例えば、外科手術または手術室チーム)の一部である他の個人を含む。
まず図3を参照すると、外科手術ロボットシステムの一人以上のユーザに支援を提供するための例示的なシステム300を示す。システム300は、外科手術ロボットシステム302と、外科手術ロボットシステム302と通信する支援モジュール304とを備える。外科手術ロボットシステム302は、基部と、基部から外科手術器具の取付部へ延在するアームとを有する少なくとも一つの外科手術ロボットを備え、アームは複数のジョイントを備え、それによってアームの構成を変更することができる。例示的な外科手術ロボットシステム302は、図4を参照して以下で説明する。
支援モジュール304は、外科手術ロボットシステム302の状態を示す状態データを受信するように構成される。以下でより詳細に説明するように、状態データは、外科手術ロボットシステム302または外科手術ロボットシステム302が動作している環境に関する任意の情報を含みうる。支援モジュール304は、外科手術ロボットシステム自体から(例えば、外科手術ロボットアームの位置および/または移動に関連するデータ)、および/または外部ソースから、状態データを受信してもよい。支援モジュール304は、外科手術ロボットシステム302から、および/または任意の適切な手段を介して外部ソースから、状態データを受信しうる。例えば、支援モジュール304は、外科手術ロボットシステム302から、および/またはイーサネット接続、Wi−Fi(登録商標)接続、Bluetooth(登録商標)接続、近距離通信(NFC)接続などであるがそれに限定されない、無線または有線通信接続を介して外部ソースから、状態データを受信してもよい。状態データの少なくとも一部は、支援モジュール304にリアルタイムで(または実質的にリアルタイムで)提供される一方、外科手術ロボットシステムは、タスク(例えば、外科手術)を実施するために使用されている。
支援モジュール304は、状態データを分析して、外科手術ロボットシステムが支援状態(すなわち、外科手術ロボットシステムの一人以上のユーザに支援を提供できる状態)にあるかどうかを判定するように構成される。以下でより詳細に説明するように、支援モジュール304は、状態データ中の特定の事象またはパターンを識別することによって、および/または状態データを以前実施されたタスクの状態データと比較することによって、外科手術ロボットシステムが支援状態であると判定しうる。例えば、支援モジュール304は、支援モジュール304が、外科手術ロボットシステムのアーム間で衝突が起ころうとしている、または発生していると判定した場合、外科手術ロボットシステムが支援状態にあると判定するように構成されうる。
支援モジュール304が、外科手術ロボットシステム302が支援状態にあると判定する場合、支援モジュール304は、外科手術ロボットシステムに、タスクを実施する際に、外科手術ロボットシステムの一人以上のユーザに支援を動的に提供させる。以下でより詳細に説明するように、外科手術ロボットシステムに外科手術ロボットの一人以上のユーザに支援を提供させることは、外科手術ロボットアームの一つ以上の移動のすべてまたは一部を制御すること、および/または外科手術ロボットシステムに、(例えば、音声でまたはディスプレイを介して)ユーザに支援情報を提供させることを含みうる。ユーザに提供される支援の種類および形態は、外科手術ロボットシステム302が入る特定の支援状態に基づいてもよい。例えば、支援モジュール304が、外科手術ロボットシステムのアーム間の衝突が発生しようとしている、または発生していると判定した場合、支援モジュール304は、ロボットアームの移動を外科手術ロボットシステムに阻止させるように構成されうる。一部の場合では、外科手術ロボットシステム302に、タスクの実施の際、外科手術ロボットシステムのユーザに支援を提供するようにさせる前に、支援モジュール304は、支援が提供されることを望むかどうかについて、ユーザからの入力を要求するように構成されうる。これらの場合、支援モジュール302は、支援が提供されることを示す入力を受信するのに応じて、外科手術ロボットシステム302に、外科手術ロボットシステムのユーザに支援を提供するようにのみさせるように構成されうる。支援モジュール304によって実施されて、タスクの実施の際に外科手術ロボットシステムの一人以上のユーザに支援を提供し得る方法の例を、図5を参照して以下に説明する。
支援モジュール304は、プロセッサ306およびメモリ308を備えてもよい。メモリ308は、プロセッサ306によって実施可能な非一時的方法でソフトウェアを格納して、状態データを受信し、状態データから外科手術ロボットシステム302が支援状態にあるかどうかを判定し、支援状態が検出された場合、外科手術ロボットシステムに、外科手術ロボットシステムの一人以上のユーザに支援を提供させる。一部の場合では、支援モジュール304はまた、以前実施されたタスクの状態データを格納するために使用されるデータリポジトリ310を含んでもよい。上述のように、一部の場合では、支援モジュール304は、受信した状態データを以前実施されたタスクの状態データと比較することによって、外科手術ロボットシステムが支援状態にあることを識別するように構成されうる。
ここで、例示的な外科手術ロボットシステム400を示す図4を参照する。図4の外科手術ロボットシステム400は、基部404から延在するアーム402を有する外科手術ロボットを備える。アーム402は、いくつかの剛直な肢406を含む。肢は、回転ジョイント408によって結合される。最も近位の肢406aは、ジョイント408aによって基部404に結合される。それおよび他の肢は、ジョイント408のさらなるジョイントによって直列に結合される。一部の場合では、リスト410は、四つの個々の回転ジョイントから構成されうる。リスト410は、一つの肢(406b)をアーム402の最も遠位の肢(406c)に結合する。最も遠位の肢406cは、器具414用の取付部412を担持する。アーム402の各ジョイント408は、それぞれのジョイントで回転運動を引き起こすように動作できる一つ以上のモータ416、およびそのジョイントにおける現在の構成および/または負荷に関する情報を提供する一つ以上の位置および/またはトルクセンサ418を持つ。好適には、モータ416は、重量分布を改善するために、その動作を駆動するジョイントの近位に配置される。明確にするために、一部のモータおよびセンサのみが図4に示される。アームは、概して、同時係属中の特許出願PCT/GB2014/053523に記載されるとおりでありうる。
アームは、器具414とインターフェース接続するために、取付部412で終端する。器具414は、図2に関連して説明された通りの形態をとりうる。器具は、8mm未満の直径を有してもよい。一部の場合では、器具は5mmの直径を有してもよい。他の場合では、器具は、5mm未満の直径を有してもよい。器具の直径は、シャフトの直径であってもよい。器具の直径は、関節の輪郭の直径であってもよい。好適には、関節の輪郭の直径は、シャフトの直径と一致するか、またはシャフトの直径よりも狭い。取付部412は、器具の関節を駆動するための駆動アセンブリを備える。駆動アセンブリインターフェースの可動インターフェース要素は、ロボットアームから器具に駆動を伝達させるために、器具インターフェースの対応する可動インターフェース要素と機械的に係合する。典型的な動作中に、一つの器具を数回交換する。したがって、器具は、動作中にロボットアームに取り付けおよびロボットアームから取り外し可能である。駆動アセンブリインターフェースおよび器具インターフェースの特徴は、オペレータ(例えば、外科医)によって位置合わせされる必要がある精度を低減するために、互いと係合するときにその位置合わせを助ける。
器具414は、動作を実施するためのエンドエフェクタを含む。エンドエフェクタは、任意の適切な形態を取りうる。例えば、エンドエフェクタは、平滑顎、のこぎり歯状顎、グリッパ、一対のせん断、縫合用針、カメラ、レーザ、ナイフ、ステープラ、焼灼器、吸引器であってもよい。図2に関して記載するように、器具は、器具シャフトとエンドエフェクタとの間に関節を含む。関節は、エンドエフェクタが器具のシャフトに対して動くことを可能にするいくつかのジョイントを含む。関節のジョイントは、ケーブルなどの駆動要素によって作動される。これらの駆動要素は、器具シャフトの他方の端で、器具インターフェースのインターフェース要素に固定される。したがって、ロボットアームは、駆動アセンブリインターフェース要素の移動が、エンドエフェクタを移動させる関節のジョイントを移動させる駆動要素を移動させる器具インターフェース要素を移動させるように、エンドエフェクタに駆動を伝達する。
モータ、トルクセンサ、およびエンコーダ用のコントローラは、ロボットアームと共に配置される。コントローラは、通信バスを介して制御ユニット420に接続される。制御ユニット420は、プロセッサ422およびメモリ424を備える。メモリ424は、プロセッサ422によって実施可能な非一時的方法でソフトウェアを格納して、モータ416の動作を制御し、アーム402を本明細書に記述された方法で動作させる。特に、ソフトウェアは、プロセッサ422を制御して、(例えば、分散コントローラを介して)モータに、センサ418およびオペレータ(例えば、外科医)コマンドインターフェース426からの入力に依存するように駆動させることができる。制御ユニット420は、ソフトウェアの実施によって生成される出力に従ってモータ416を駆動するためにモータ416に結合される。制御ユニット420は、感知された入力をセンサから受信するためにセンサ418に結合され、そこから入力を受信するためにコマンドインターフェース426に結合される。それぞれの結合は、例えば、それぞれ電気または光学ケーブルであってもよく、あるいは無線接続によって提供されてもよい。コマンドインターフェース426は、オペレータ(例えば、外科医)が所望の方法でエンドエフェクタの動きを要求できる、一つ以上の入力デバイスを含む。入力デバイスは、例えば、制御ハンドルまたはジョイスティックなどの手動で操作可能な機械的入力デバイス、あるいは光学ジェスチャセンサなどの非接触入力デバイスであってもよい。メモリ424に格納されたソフトウェアは、それらの入力に応答し、アームおよび器具のジョイントを、所定の制御戦略に従って、それに応じて移動させるように構成される。制御戦略は、コマンド入力に応じてアームおよび器具の動きを和らげる安全機能を含みうる。したがって、要約すると、コマンドインターフェース426のオペレータ(例えば、外科医)は、所望の外科手術処置を実施するような方法で、器具414を制御することができる。制御ユニット420および/またはコマンドインターフェース426は、アーム402から遠隔であってもよい。
図4の例示的な外科手術ロボットシステム400は、単一のロボットアームを有する単一の外科手術ロボットを備えるが、他の外科手術ロボットシステムは、複数の外科手術ロボットおよび/または複数のロボットアームを含みうる。例えば、他の例示的な外科手術ロボットシステムは、各々、外科手術器具を受け取るおよび操作することができる複数のロボットアームを有する外科手術ロボットを備えてもよく、または各々が、外科手術器具を受け取るおよび操作することができるロボットアームを有する複数の外科手術ロボットを備えてもよい。
ここで図5を参照すると、外科手術ロボットシステムがタスク(例えば、外科手術)を実施するために使用されている間に、外科手術ロボットシステムの一人以上のユーザに支援を提供するために、図3の支援モジュール304によって実装されうる方法500の例を示す。方法500は、ブロック502で開始し、支援モジュール304は、外科手術ロボットシステム302の状態を示す状態データを受信する。状態データは、外科手術ロボットシステム302または外科手術ロボットシステム302が動作している環境に関する任意の情報を含みうる。状態データの少なくとも一部は、外科手術ロボットシステムがタスクを実施するために使用されている間、リアルタイムで(または実質的にリアルタイムで)受信される。
例えば、状態データは、ロボットアーム、またはそのジョイントの位置および/または移動を示す位置および/またはトルク情報などであるがこれに限定されない、ロボットアームの現在の状態を記述する情報またはデータを含みうる。具体的には、状態データは、位置および/またはトルクセンサ418によって生成される、位置および/またはトルクデータを含みうる。当業者には、これは単なる実施例であり、外科手術ロボットが、ロボットアームの状態に関する情報を提供する他のセンサを備えてもよいことが明白であろう。
状態データはまた、または代替的に、ロボットアームに取り付けられた器具の状態を記述するデータまたは情報を含んでもよい。例えば、状態データは、ロボットアームに取り付けられた器具があるかどうかを識別する情報、およびある場合は、ロボットアームに取り付けられた器具のタイプを含みうる。具体的には、外科手術ロボットシステムが、器具がアームに取り付けられているかどうかを検出するための手段(例えば、外科手術ロボットシステムは、参照により本明細書に組み込まれる、出願人の公開特許出願GB2552855Aに記載されるような器具係合手段を備えてもよい)、および器具のタイプを自動的に検出するための手段を備えてもよく(例えば、各器具は、ロボットアームに取り付けられたときにその身元に関する情報を外科手術ロボットシステムに自動的に提供するように構成されたRFIDまたは他の構成要素を備えてもよい)、この情報は、状態データとして支援モジュール304に提供されてもよい。また、または別の方法として、状態データは、ロボットアームに取り付けられた器具の位置および/または移動を示す、位置および/またはトルク情報などの情報を含んでもよいが、これらに限定されない。当業者には、これが単なる実施例であり、外科手術ロボットまたは器具自体が、器具の状態の情報を提供する他のセンサを含んでもよいことが明白であろう。
ロボットアームに取り付けられた器具の少なくとも一つが、限定されるものではないが、外科手術機能(例えば、焼灼、切断など)を実施するため電気によって通電される電気焼灼器具または電気外科手術器具などの通電された器具である場合、状態データは、例えば、限定されるものではないが、通電された器具が現在通電されているかどうか、および通電されている場合、器具に通電するために使用される電流の波形などの通電された器具の状態に関する情報を含みうる。
ロボットアームに取り付けられた器具の少なくとも一つが、身体に挿入され、患者の身体の内部の画像(例えば、ビデオ)を捕捉する内視鏡である場合、状態データは、内視鏡によって捕捉された画像(例えば、ビデオ)を含みうる。「AUTOMATIC ENDOSCOPE VIDEO AUGMENTATION」と題する、本明細書に参照により組み込まれる本出願と同じ日に出願された出願人の同時係属中の英国特許出願に記載されるように、一部の場合では、外科手術ロボットシステムがタスク(例えば、外科手術処置)を実施するために使用され、かつタスク中に事象が検出される場合、内視鏡によって捕捉された画像(例えば、ビデオ)は、検出された事象を識別する情報で自動的に補強され得る。また、または別の方法として、状態データは、内視鏡の位置、移動、および/または視野を示す情報を含んでもよい。
また、または代替的に、状態データは、ロボットアームおよび器具の動作を制御するために使用されるオペレータ入力デバイスの状態を記述するデータを含んでもよい。上述のように、オペレータ入力デバイスは、例えば、制御ハンドルまたはジョイスティックなどの手動で操作可能な機械的入力デバイスであってもよい。これらの場合、状態データは、入力デバイスの位置および/または移動を示す位置および/またはトルクデータなどのデータを含みうるが、これらに限定されない。
状態データはまた、または別の方法として、外科手術ロボットシステム302の動作モードに関する情報を含んでもよい。例えば一部の場合では、外科手術ロボットシステムは、限定されるものではないが、オペレータ(例えば、外科医)が、ロボットアームのうちの一つ以上を制御して、タスクを実施する、アクティブモード、オペレータ(例えば、外科医)が、コマンドインターフェースから制御しようとするロボットアームを選択または切り替える、選択モード、およびロボットアームに取り付けられた器具の少なくとも一つが取り外されている、取り付けられている、および/または変更される器具交換モード、などの複数のモードのうちの一つで動作することができる。アクティブモードにも、いくつかのタイプがありうる。例えば、一部の場合では、オペレータがロボットアームに取り付けられた内視鏡を制御している内視鏡アクティブモードと、オペレータがロボットアームに取り付けられた一つ以上の他の器具を制御している器具アクティブモードとがありうる。これらの場合、状態データは、外科手術ロボットシステムの現在の動作モードに関する情報を含みうる。当業者には、これらは外科手術ロボットシステムの例示的な動作モードであり、外科手術ロボットシステムの追加的または異なる動作モードがあることが明白であろう。
実施されるタスクが患者に実施される外科手術処置である場合、状態データはまた、または代替的に、患者に関連するデータを含んでもよい。例えば、状態データは、患者の健康の状態を記述する、患者の健康情報またはデータを含みうる。例えば、状態データは、患者のバイタルサイン(例えば、体温、脈拍、呼吸数)または他の健康指標(例えば、血圧、酸素飽和度、血中ブドウ糖/血糖)に関する情報を含みうる。典型的には、手術中、患者のバイタルサインおよびその他の健康指標は、心拍数モニタ、パルスオキシメータ、連続グルコースモニタ(CGM)デバイスなどの特別な医療測定機器によって測定される。これらの場合、医療測定機器は、例えば、通信ネットワーク(例えば、有線または無線通信ネットワーク)を介して、バイタルサイン情報または他の患者の指標情報を支援モジュールに送信するように構成されうる。しかしながら、他の場合では、患者のバイタルサインおよび/または他の患者の健康指標に関する情報は、別の方法で取得されうる。例えば、一部の場合では、外科手術処置が行われる手術室は、ビデオおよび/または音声記録デバイスを備えてもよく、バイタルサインデータおよび/または他の患者指標データは、ビデオおよび/または音声記録から取得されうる。例えば、医療測定機器が、測定値の可聴表現(例えば、可聴音またはビープのセット)を生成する場合、測定値の推定値は、ビデオおよび/または音声記録デバイスによって記録された音声の分析を通して取得されうる。また、または別の方法として、状態データは、年齢および体重などの人口統計情報、ならびに以前のスキャン(例えば、X線、MRI)、以前の転帰、既往歴、診断歴、および/または治療計画などの他の医療情報などであるがこれに限定されない、患者に関連するその他の情報を含んでもよい。
一部の場合では、状態データはまた、外科医の健康情報または外科手術ロボットシステムを制御する外科医の健康を記述するデータを含んでもよい。例えば、状態データは、外科医の一つ以上のバイタルシグナル(例えば、体温、脈拍、呼吸数)および/または他の健康指標(例えば、血圧)に関する情報またはデータを含みうる。例えば、一部の場合では、入力デバイスが手持ち式コントローラである場合、手持ち式コントローラは、外科医の心拍数、外科医の動作の震え、および/または外科医の発汗量を測定するセンサを備え、測定された心拍数、震え、および/または発汗量に関する情報またはデータを支援モジュール304に提供することができる。他の場合では、外科医のバイタルサインまたは他の健康指標を測定するように構成される、外部の医療デバイス、または類似のものがあってもよい。患者のバイタルサインおよびその他の健康指標に関して上述したように、外科医のバイタルサインまたは他の健康指標を測定する医療デバイスは、例えば、通信ネットワークを介して支援モジュール304に測定された指標に関するデータを提供するように構成されうるか、または測定された指標の推定値を他の手段(例えば、手術室のビデオおよび/または音声の分析によって)を介して取得しうる。
上述したように、一部の場合では、タスクが実施される部屋(例えば、手術室)は、タスクが実施される間、部屋の中の音および/または部屋の視覚的画像を記録するための音声および/またはビデオ記録機器を備えてもよい。これらの場合、状態データはまた、または代替的に、音声および/またはビデオ録画機器によって捕捉されたビデオおよび音声データを含んでもよい。
一部の場合では、状態データはまた、または代替的に、実施されるタスクに関する情報を含んでもよい。例えば、状態データは、外科手術ロボットシステムによって実施されるタスク(例えば、外科手術処置)に関する情報を含みうる。一部の場合では、タスクがいくつかのステップを含む場合、状態の情報は、外科手術ロボットシステムによって実施されているタスクのステップを示す情報を含みうる。例えば、外科手術ロボットシステムのオペレータ(例えば、外科医)は、その人が現在実施しているタスクのどのステップを示すことができてもよく、この情報は、状態データとして支援モジュール304に提供されてもよい。
一部の場合では、状態データはまた、または代替的に、外科手術ロボットシステム(例えば、外科手術ロボットを制御するオペレータ(例えば、外科医)および/またはタスクチームの他のメンバ(例えば、外科手術チーム))のユーザに関する情報を含んでもよい。例えば、一部の場合では、タスクが開始される前に、情報を外科手術ロボットシステムおよび/またはタスクを実施するユーザを示す支援モジュールに提供してもよい。他の場合では、タスク(例えば、外科手術)を実施するユーザ(例えば、外科手術チーム)は、外科手術ロボットシステムおよび/または外科手術ロボットシステムの近傍にいるとき、ユーザを識別する支援モジュール304に情報を自動的に送信しうるデバイス(例えば、RFIDデバイス、携帯電話、タブレットなど)を備えてもよい。こうしたシステムの例は、参照により本明細書に組み込まれる「DEVICE INTEROPERATION」と題する、現在の出願と同じ日に出願された出願人の同時係属中の英国特許出願に記載される。
支援モジュール304によって状態データが受信されると、方法500はブロック504に進む。一部の場合では、支援モジュール304は、ブロック504へ進む前に、所定の時間の間、状態データを収集するように構成されうる。支援モジュール304が検出された支援状態に対して迅速に反応できるように、所定の時間は短くてもよい(例えば、50ミリ秒未満)。他の場合では、支援モジュール304は、状態データを格納するための固定量のメモリのみを有してもよく、状態データを格納するためのメモリが満杯になるまで、状態データを収集するように構成されてもよい。
ブロック504で、支援モジュール304は、状態データに基づいて、外科手術ロボットシステム302が支援状態にあるかどうかを判定する。用語「支援状態」は、本明細書では、外科手術ロボットシステムが、外科手術ロボットシステムを介して、外科手術ロボットシステムの一人以上のユーザに支援を提供できる状態にあることを意味するために使用される。支援状態としては、以下に限定されないが、危険または潜在的危険が検出され、危険を回避または最小化するために支援を提供できる危険状態、および危険または潜在的危険が検出されなかったが、タスク(例えば、手術)を実施する際に一人以上のユーザに支援を提供できる補助状態が挙げられる。
危険状態の例としては、限定されるものではないが、複数のロボットアーム、複数の器具、またはロボットアームと器具との間で衝突が発生している(または発生しようとしている)衝突状態、現在のタスクまたはタスクのステップに対して誤った器具がロボットアームに取り付けられる誤ったエンド器具の状態、ロボットアームに取り付けられた器具のうちの一つが故障しているか、または交換する必要がある故障器具状態、通電された器具に関連する危険が検出されている通電された器具の危険状態、および、危険が、例えば、状態データから検出された事象またはパターンに基づいて予測される潜在的危険状態が挙げられる。
補助状態の例としては、限定されるものではないが、外科手術ロボットシステムが、その技能を実施するために支援を提供できる特定の技能を実施するために使用されている技能支援状態、および外科手術ロボットシステムが、タスクもしくはタスクの一部を実施する際に、および/またはタスクもしくはタスクの一部を準備する際に、処置支援を提供できる処置支援状態が挙げられる。用語「技能」は、本明細書では、以下に限定されないが、縫合または結び目など、外科手術ロボットシステムを使用して実施できる別個の活動を意味するために使用される。技能は、タスク(例えば、外科手術処置)中に1回以上実施されうる。
支援モジュール304は、外科手術ロボットシステム302が、状態データに基づいて独立して(例えば、状態データから事象またはパターンを検出することによって)、および/または以前実施されたタスクの状態データと状態データとの比較に基づいて、支援状態にあるかどうかを判定するように構成されうる。例えば、上述したように、一部の場合では、支援モジュール304は、以前実施されたタスクの状態データのデータリポジトリ310を含むか、またはアクセスを有しうる。以前実施されたタスクは、同じ外科手術ロボットシステムおよび/または別の外科手術ロボットシステムによって実施されていてもよい。以前実施されたタスクは、同じオペレータ(例えば、外科医)および/または他のオペレータ(例えば、外科医)によって実施されていてもよい。以前実施されたタスクは、現在実施されているタスクおよび/または他のタイプのタスク(例えば、異なるタイプの外科手術処置または異なる外科手術処置)に対して、同じタイプのタスク(例えば、同じタイプの外科手術処置)を含みうる。
上述のように、一部の場合では、状態データは、ロボットアームおよび/またはロボットアームに取り付けられた器具の位置および/または動きを示すデータもしくは情報を含みうる。これらの場合、支援モジュール304は、例えば、ロボットアームおよび/または器具の位置および/または動きを示すデータまたは情報に基づいて、外科手術ロボットシステムが衝突状態(すなわち、ロボットアームまたは器具が衝突しようとしている、またはすでに別のロボットアームまたは器具と衝突している)にあることを検出するように構成されうる。例えば、支援モジュール304は、ロボットアームおよび/または器具の位置および/または動作データに基づいて、ロボットアームおよび/または器具の軌道を推定し、推定軌道に基づいて衝突があるであろうと推定するように構成されうる。支援モジュール304はまた、または別の方法として、例えば、(i)位置および/または動作データからアームおよび/または器具の位置を判定または推定すること、ならびに一つ以上の器具および/または一つ以上のアームの位置が同一であるか、またはほぼ同様であると判定すること、または(ii)参照により本明細書に組み込まれる出願人の英国特許出願第1810754.0号に記載されるように、アームおよび/または器具の二つ上で等しい力および反対の力が検出されている位置および/または動作情報(例えば、トルクデータ)から判定することによって、アーム間で、器具間で、またはアームと器具の間で、衝突がすでに発生していると判定するように構成されうる。
支援モジュール304は、例えば、支援モジュール304が、特定のタイプの器具がアームに取り付けられており、その特定のタイプの器具が実施されているタスクにてきせつではないか、または現在実施されているタスクの特定のステップに適切なことを、状態データから検出するとき、外科手術ロボットシステム302が誤った器具状態にあることを検出するように構成されうる。上述のように、一部の場合では、状態データは、現在ロボットアームに取り付けられている器具のタイプを示す情報を含みうる。これらの場合、支援モジュール304は、現在ロボットアームに取り付けられている器具のタイプを、現在のタスクの実施に適切な器具のリスト、またはタスクの現在のステップと比較することによって、外科手術ロボットシステム304が誤った器具状態にあることを検出するように構成されうる。一部の場合では、特定のタスクまたはタスクのステップの実施に適切な器具のリストは、事前に決定され、タスクの開始前に支援モジュール304にロードされてもよい。他の場合では、支援モジュール304は、以前実施されたタスクの状態データに基づいて、タスクまたはタスクのステップの実施に適切な器具のリストを動的に生成するように構成されうる。例えば、支援モジュール304は、以前実施されたタスクの状態データから、特定のタスクまたはタスクの特定のステップに使用された器具のセットを判定するように構成されてもよい。
上述のように、一部の場合では、状態データは、実施されているタスク、および任意に実施されているタスクのステップを識別する情報を含みうる。これらの場合、支援モジュール304は、現在のタスク、および任意に、タスク/ステップ識別情報から直接タスクの現在のステップを識別できる場合がある。タスク、および/または現在実施されているタスクのステップを明示的に識別する情報が、状態データの一部として受信されない場合、支援モジュール304は、他の状態データからタスクおよび/またはタスクの現在のステップを動的に検出するように構成されうる。例えば、支援モジュール304は、以前実施されたタスクの状態データのパターンに合致する状態データで検出されたパターンに基づいて、タスクおよび/またはタスクのステップを検出するように構成されうる。具体的には、支援モジュール304、または別のコンピューティングベースのデバイスは、現在のタスクと同じタイプの以前実施されたタスク(例えば、同じ外科手術処置または同じタイプの外科手術処置に関連する状態データ)に関連する状態データを分析し、分析に基づいてそのタスクにおけるステップの共通のセットを識別し、識別されたステップをリンクするマップを生成するように構成されうる。一部の場合では、タスクのステップ(およびそれゆえタスクの現在のステップ)は、使用される器具の組み合わせの一つ以上、ならびに/あるいは器具および/またはロボットアームの移動に基づいて識別されうる。
支援モジュール304は、支援モジュール304が、例えば、ロボットアームに取り付けられた器具が所定の回数使用されていたことを検出した場合、外科手術ロボットシステム302が、故障器具状態にあることを検出するように構成されうる。具体的には、多くの外科手術器具は、交換する必要がある前に所定の回数のみ安全に使用することができる。外科手術器具が交換される必要がある前に使用され得る回数は、器具タイプおよび/または器具製造業者の間で変化し得る。上述のように、一部の場合では、状態データは、アームに取り付けられた器具を識別する情報を含みうる。例えば、各器具は、固有の識別子によって識別されうる。これらの場合、支援モジュール304は、その器具が何回使用されたかを示す、タスク(例えば、外科手術処置が実施される病院が所有する各器具)の実施に使用され得る各器具のリストを維持またはアクセスすることができる。支援モジュール304は、特定の器具が現在のタスクで使用されたことを(器具識別子を介して)検出すると、器具が追加の回数使用されたことを反映するようにリストを更新する。支援モジュール304が、アームに取り付けられた特定の器具の使用の数が所定の閾値を超えたことを検出する場合、支援モジュール304は、外科手術ロボットシステムが、故障器具状態にあると判定しうる。
支援モジュール304は、状態データが、外科手術ロボットシステムが通電された器具を通電するのに安全でない状態にあり、オペレータ(例えば、外科医)が通電された器具を通電しようと試みたことを示す場合、外科手術ロボットシステム302が通電された器具の危険状態にあることを検出するように構成されうる。上述したように、用語「通電された器具」は本明細書で使用され、外科手術機能(例えば、切断、焼灼など)を実施するために電流で通電される電気外科手術器具および電気焼灼器具などであるがこれに限定されない外科手術器具を指す。支援モジュール304は、支援モジュール304が、ロボットアームの一つに取り付けられた通電された器具が、内視鏡の視野の外側にある、ロボットアームの一つに取り付けられた通電された器具が、患者の身体と接触していない、ロボットアームの一つに取り付けられた通電された器具が、静止位置(すなわち、現在、対応するロボットアームによって移動されている)にない、ロボットアームの一つに取り付けられた通電された器具が、患者の身体の特定の部分(例えば、血管)の所定の距離内にある、および/またはロボットアームの一つに取り付けられた通電された器具が、別の器具(別の通電された器具であってもよく、または非通電の器具であってもよい)と接触していることを状態データから検出するとき、外科手術ロボットシステム302が、通電された器具を通電するのに安全でない状態にあることを検出するように構成されうる。
支援モジュール304は、例えば、内視鏡の位置および/または移動に関する情報から、内視鏡の視野を判定することと、通電された器具に取り付けられたアームならびに/あるいは通電された器具の位置および/または移動に関する情報から、通電された器具の位置を判定することと、通電された器具の判定された位置を、内視鏡の判定されたFOVと比較することとによって、ロボットアームの一つに取り付けられた通電された器具が、内視鏡の視野(FOV)の外側にあることを検出するように構成されてもよい。別の方法として、または追加の方法として、支援モジュール304は、通電された器具が内視鏡ビデオで視認可能であるかを判定するために、ビデオ分析技術を使用して内視鏡ビデオを分析することによって、通電された器具が内視鏡のFOVの外側にあることを検出するように構成されうる。
支援モジュール304は、例えば、通電された器具が患者の身体と接触しているか、または通電された器具が患者の身体の特定の部分の所定の距離内にあるかを判定するために、ビデオ分析技術を使用して内視鏡ビデオを分析することとによって、アームの一つに取り付けられた通電された器具が患者の身体と接触していないか、または通電された器具が、患者の身体の特定の部分の所定の距離内にあることを検出するように構成されうる。
支援モジュール304は、ロボットアームおよび/または器具に関連する位置および/または移動情報を分析して、関連するアームが動作しているかどうかを判定することによって、ロボットアームの一つに取り付けられた通電された器具が静止していないと検出するように構成されうる。支援モジュール304が、関連するアームが動作中であると判定する場合、支援モジュール304は、通電された器具が通電するためには安全でない状態にあると判定してもよく、この安全でない状態で、オペレータ(例えば、外科医)が通電された器具を通電しようと試みる場合、支援モジュール304は、通電された器具の危険があると判定しうる。一部の場合では、支援モジュール304は、通電された器具が動作中であり、かつ移動または動作が予期されないか、または許容範囲外である場合、通電された器具が、通電するためには安全でない状態にあることのみを判定するように構成されうる。
支援モジュール304は、支援モジュールが現在のタスクの状態データから一つ以上の危険インジケータを検出する場合、外科手術ロボットシステム302が潜在的危険状態にあることを検出するように構成されうる。危険インジケータは、それ自体は決定的に問題があることを示していないが、問題があることを示しうる状態であってもよい。危険インジケータには、限定されるものではないが、一人以上の患者のバイタルサインおよび/または他の健康指標が、所定の範囲外にあることと、オペレータ(例えば、外科医)のバイタルサインおよび/または他の健康指標のうちの一つ以上が、所定の範囲外であることと、声を上げて話すタスクのために出席する個人のうちの一人以上(例えば、外科手術チームのうちの一人以上)と、警告の単語または語句を話すタスクのために出席する個人のうちの一人以上(例えば、外科手術チームの一人以上)と、が含まれうる。
上述のように、一部の場合では、状態データは、患者の健康情報、または患者のバイタルサインおよび/または一つ以上の他の健康指標のうちの一つ以上の状態を示すデータを含みうる。これらの場合では、支援モジュール304は、患者の健康情報またはデータが、患者の健康指標(例えば、バイタルサイン)の一つ以上が所定の範囲外になったことを示すときに、危険インジケータを検出するように構成されうる。所定の範囲は、健康指標の間で変化しうる(例えば、呼吸数および心拍数に対して異なる範囲がありうる)。同様に、一部の場合では、状態データは、外科医の健康情報、または外科医のバイタルサインおよび/または他の健康指標のうちの一つ以上の状態を示すデータを含みうる。これらの場合では、支援モジュール304は、外科医の健康情報またはデータが、外科医の健康指標(例えば、バイタルサイン)の一つ以上が所定の範囲外になったと示すときに、危険インジケータを検出するように構成されうる。一部の場合では、患者および/または外科医のための異なる医療指標に対する所定の範囲は、タスクを開始する前に支援モジュール304に予めロードされてもよい。一部の場合では、所定の範囲は、以前実施されたタスクの状態データから学習されうる。例えば、支援モジュール304または別のコンピューティングデバイスは、以前実施されたタスクの状態データから、否定的な結果が発生する直前に異なる健康指標のレベルを識別し、識別されたレベルから所定の範囲を生成しうる(例えば、識別された最低レベルおよび最高レベルを包含する範囲が選択されうる)。所定の範囲は、すべてのタスクにわたって決定されてもよく、または異なる所定の範囲は、異なるタスク(すなわち、異なる外科手術処置)に対して決定されてもよい。例えば、X〜Yの範囲の心拍数は、外科手術タイプAでは正常であるが、外科手術タイプBでは正常ではないと以前実施されたタスクの状態データから判定されうる。
上述のように、一部の場合では、状態データは、タスクが実施される部屋(例えば、手術室)のビデオおよび/または音声記録を含みうる。これらの場合、支援モジュール304は、支援モジュール304が、部屋の中の個人が声を上げて話したビデオおよび/または音声記録から、危険インジケータを検出するように構成されうる。具体的には、個人が声を上げながら話す場合、部屋の中の個人の間に何らかの摩擦があること、および/または部屋の中に争点や問題があることを示しうる。支援モジュール304は、任意の既知の音声分析技術を使用して、上げられた声を検出することができる。状態データがビデオおよび/または音声記録を含む場合、支援モジュール304はまた、または代替的に、支援モジュール304が、部屋の中の個人が警告の単語または語句(すなわち、問題がある可能性があることを示す単語または語句)を話したことをビデオおよび/または音声記録から検出したときに、危険インジケータを検出するように構成されてもよい。支援モジュール304は、任意の既知の音声認識または分析技術を使用して、ビデオおよび/または音声記録内の警告の単語および/または語句を検出するように構成されうる。警告の単語および/または語句のリストは、タスクを開始する前に、支援モジュール304に予めロードされてもよい。一部の場合では、警告の単語および/または語句のリストは、以前実施されたタスクの状態データから学習されうる。例えば、支援モジュール304または別のコンピューティングデバイスは、複数の以前実施されたタスクのそれぞれの状態データから、否定的な結果の前に所定の期間話された任意の単語または語句を識別し、所定の数の以前実施されたタスクの間で共通である識別された単語または語句のリストを生成しうる。
当業者にとって、これらは例示的な危険インジケータであり、潜在的な問題や争点を示す他の条件および/または事象などが存在する可能性があることは明らかである。一部の場合では、危険インジケータは、以前実施されたタスク(例えば、外科手術)の状態データから学習されうる。例えば、一部の場合では、以前実施されたタスクに関連する状態データは、データリポジトリ310に格納されてもよく、否定的な結果に先行する事象または一連の事象が識別されてもよく、所定の数の以前実施されたタスクにわたって共通する、識別された事象または一連の事象が、危険インジケータとして識別されてもよい。例えば、複数の以前実施されたタスクの状態データが、ステップA、BおよびCが、否定的な結果または結末が発生する前に実施されたことを示す場合、危険インジケータは、ステップAおよびBおよびステップCの遂行が実施される可能性が高いと識別されうる。以前実施されたタスクの状態データは、同じオペレータ(例えば、外科医)によって実施された、および/または他のオペレータ(例えば、外科医)によって実施された、以前実施されたタスクの状態データを含みうる。以前実施されたタスクの状態データは、同じタスク(例えば、外科手術処置)に関連する状態データのみを含んでもよく、または複数の異なるタスク(例えば、異なる外科手術処置)に関連する状態データを含んでもよい。
支援モジュール304はまた、または別の方法として、外科手術ロボットシステム302が、外科手術ロボットシステムを制御するオペレータ(例えば、外科医)の遂行の評価に基づいて、潜在的危険状態にあることを検出するように構成されてもよい。例えば、支援モジュール304が、オペレータ(例えば、外科医)の遂行が所定の閾値を下回っていることを検出する場合、支援モジュール304は、外科手術ロボットシステム302が潜在的危険状態にあることを検出しうる。一部の場合では、支援モジュール304は、現在のタスクの状態データを以前実施されたタスク(例えば、同じタイプのタスク)の状態データと比較することによって、オペレータ(例えば、外科医)の遂行が所定の閾値を下回っていることを検出するように構成されうる。例えば、支援モジュール304は、以前実施されたタスクの状態データが格納され、外科手術ロボットシステムのオペレータ(例えば、外科医)の遂行が評価または識別されたデータリポジトリ310へのアクセスを有し得るか(例えば、遂行は、所定の等級でランク付けされ得る)、および状態データは、外科手術ロボットシステムの現在のオペレータ(例えば、外科医)の遂行レベルを判定するために、リポジトリに格納された状態データと比較されうる。
一部の場合では、支援モジュール304は、現在のオペレータ(例えば、外科医)の一つ以上の遂行指標を、以前実施されたタスクに対するオペレータ(例えば、外科医)の遂行指標と比較することによって、外科手術ロボットシステムを操作する現在のオペレータ(例えば、外科医)の遂行レベルを判定しうる。一部の場合では、遂行指標は、タスクまたはタスクのステップの実施においてロボットアームまたは器具によってとられる経路、タスクまたはタスクのステップの実施におけるロボットアームおよび/または器具の移動の滑らかさ、および/またはタスクまたはタスクのステップの実施にとられる時間のうちの一つ以上を含みうる。状態データが、外科手術ロボットシステム302のアームおよび/または器具の位置および/または移動を記述する情報を含む場合、支援モジュール304は、アームおよび/または器具の位置および/または移動を記述する情報から、ロボットアームおよび/または器具の経路を判定するように構成されうる。経路が識別されると、支援モジュール304は、経路が滑らかな曲線またはのこぎり歯状のエッジを有するかに基づいて、経路の滑らかさを測定することができる場合がある。上述のように、一部の場合では、状態情報は、現在実施されているタスクおよび/またはタスクのステップを明示的に識別する情報を含みうる。他の場合では、支援モジュール304は、他の状態データに基づいて、現在のタスクおよび/またはタスクの現在のステップを動的に検出することができる場合がある。いずれの場合も、支援モジュール304は、タスク間の時間またはタスクのステップ間の時間を測定することによって、タスクまたはタスクのステップを実施するのにかかる時間を判定するように構成されうる。
一部の場合では、支援モジュール304は、支援が提供され得る技能のリストを含んでもよく、支援モジュール304は、技能のリストの中の技能の一つが、外科手術ロボットシステムによって実施されようとしているか、または外科手術ロボットシステムが、技能のリストの中の技能の一つの実施を開始している状態データから、支援モジュールが検出したときに、外科手術ロボットシステムが、技能支援状態にあることを検出するように構成されてもよい。例えば、支援が提供されうる技能のリストには、限定されないが、縫合を実施すること、または結び目を作るとが含まれうる。これらの場合、支援モジュール304は、縫合器具がロボットアームの一つに取り付けられた場合に、オペレータ(例えば、外科医)が外科手術ロボットシステムを使用して縫合を実施しようとしていることを検出するように構成されうる。当業者にとって、これらは、支援を提供できる技能の単なる例であり、支援を提供できる他の技能がありうることは明らかである。
場合によっては、支援モジュール304は、処置支援が提供され得るタスクまたはタスクのステップのリストを含んでもよく、支援モジュール304は、処置支援が提供され得るタスクまたはタスクのステップのうちの一つが、実行されようとしているか、またはオペレータ(例えば、外科医)が、リスト上のタスクまたはリスト上のタスクのステップのうちの一つの実施を開始したことを状態データから支援モジュール304が検出したときに、外科手術ロボットシステムが処置支援状態にあることを検出するように構成されてもよい。上述のように、一部の場合では、状態データは、現在実施されているタスクまたはステップを明示的に識別する情報を含みうる。他の場合では、支援モジュール304は、他の状態データから現在実施されているタスクまたはタスクのステップを動的に判定することができる。
支援モジュール304が、外科手術ロボットシステムが支援状態ではないと判定する場合、方法は、支援モジュール304が、次の状態データのセットを受信するブロック502に戻り、次の状態データのセットから、外科手術ロボットシステムが支援状態にあるかどうかを判定する。しかしながら、支援モジュール304が、外科手術ロボットシステムが支援状態にあると判定した場合、方法500はブロック506に進む。
ブロック506で、外科手術ロボットシステムが支援状態にあると判定することに応じて、支援モジュール304は、外科手術ロボットシステムに、タスクを実施する際に一人以上のユーザに支援を提供させるように構成される。支援モジュール304は、(i)ロボットアームのうちの一つ以上の移動のすべてまたは一部を制御すること、および/または(ii)外科手術ロボットシステムに、一人以上のユーザがタスクを実施する際に支援できる、一人以上のユーザに支援情報を出力させることによって、外科手術ロボットシステムに、一人以上のユーザにタスクを実施する際に支援を提供させうる。
支援モジュール304は、制御信号を、例えば、制御ユニット420に送信することによって、一つ以上のロボットアームの移動を制御するように構成されてもよく、それにより、制御ユニット420に、一つ以上のアームのモータ416の動作を制御させて、一つ以上のアーム402を特定の様式で動作させる。一部の場合では、支援モジュール304は、(i)ロボットアームの移動を阻止または制限するか、または(ii)ロボットアームを所定の様式で移動させるように、一つ以上のロボットアームの移動を制御するように構成されうる。ロボットアームの動きを阻止または制限することは、ロボットアームが1自由度以上および/または一方向以上移動するのを防止すること、および/または1自由度以上および/または一方向以上のロボットアームの移動を制約すること(例えば、ロボットアームの動きを、所定のマニホールド内の動きに制限すること)を含みうる。支援モジュール304は、例えば、危険の発生を防止するか、または安全でない状態での器具またはロボットアームの使用を制限するために、一つ以上のロボットアームの移動を阻止または制限するように構成されうる。ロボットアームを所定の事態内で移動させることは、例えば、ロボットアームに所定の経路を追従させることを含み得る。支援モジュール304は、例えば、(i)動作平滑化を実施する、(ii)自動外科手術行為を実施する(例えば、結び目を作る)、(iii)自動非外科手術行為を実施する(例えば、器具交換を実施する)ように、一つ以上のロボットアームを所定の様式で移動させるように構成されうる。
支援モジュール304は、例えば、制御ユニット420に一つ以上の制御信号を送信することによって、外科手術ロボットシステムに支援情報を出力させるように構成されてもよく、それにより、制御ユニット420に、外科手術ロボットシステム302の一人以上のユーザに支援情報を出力させる。支援情報は、限定されるものではないが、音声および/または視覚的に任意の適切な形態でユーザに出力されうる。例えば、外科手術ロボットシステムがスピーカまたは他の音声出力デバイスを備える場合、支援モジュール304は、制御ユニット420にスピーカまたは他の音声出力デバイスを介して支援情報を音声出力させる制御信号を制御ユニット420に送信するように構成されうる。外科手術ロボットシステム302が、ユーザに視覚的に情報を伝達することができるディスプレイなどの一つ以上の装置を含む場合、支援モジュール304は、ディスプレイまたはその他の視覚的出力デバイス介して、支援情報を制御ユニット420に視覚的に出力させる制御信号を制御ユニット420に送信するように構成されうる。一部の場合では、外科手術ロボットシステム302は、情報を外科手術ロボットシステムのユーザに伝達するために使用できるロボットアーム上の照明を備えうる。これらの場合、支援情報のすべてまたは一部は、ロボットアーム上の照明を介してユーザに伝達または提示されうる。
支援情報は、タスクを実施する際にユーザを支援できる任意の情報を含みうる。支援情報の例としては、限定されないが、タスクまたはタスクのステップを完了するために実行するステップのリスト、器具変更が提案されていることを示す表示、提案されたポート配置、および潜在的危険状態が検出されたことの警告が挙げられる。
一部の場合では、外科手術ロボットシステム302に、タスクを実施する際に外科手術ロボットシステムの一人以上のユーザに支援を提供するようにさせる前に、支援モジュール304は、支援が提供されることを望むかどうかについて、ユーザからの入力を要求するように構成されうる。これらの場合、支援モジュール302は、支援が提供されることを示す入力を受信するのに応じて、外科手術ロボットシステム302に、外科手術ロボットシステムのユーザに支援を提供するようにのみさせるように構成されうる。外科手術ロボットシステム302が、支援を提供する前にユーザからの入力を要求しているかどうかは、提供される支援のタイプおよび/またはブロック504の支援モジュール304によって検出される支援状態に依存しうる。例えば、支援モジュール302は、ロボットアームの移動のすべてまたは一部を制御する前に、ユーザからの入力を要求するように構成されうるが、支援情報を提供する前に、ユーザからの入力を要求しない。
提供される支援のタイプは、ブロック504で支援モジュール304によって検出される支援状態に基づいてもよい。例えば、一部のタイプの支援状態については、支援モジュール304は、一つのタイプの支援を提供する(例えば、支援情報を出力する)ことができるのみであってよく、他のタイプの支援状態については、支援モジュールは、複数のタイプの支援を提供する(例えば、支援情報を出力し、一つ以上のロボットアームの移動を制御する)ことができてもよい。
支援モジュール304が、外科手術ロボットシステム302が衝突状態にあると(ブロック504で)判定した場合、支援モジュール304は、外科手術ロボットシステムに、衝突(または予測される衝突)が検出されたことを外科手術ロボットシステムの一人以上のユーザに通知し、かつ任意選択的に、限定されるものではないが、衝突のタイプ(例えば、衝突がアーム間であるかどうか、器具間であるか、またはアームと器具との間であるか)、および衝突に関与する要素(例えば、ロボットアームおよび/または器具)などの衝突(または予測される衝突)についての情報を提供する支援情報を出力させるように構成されてもよい。例えば、ロボットアームが制御可能な照明(例えば、制御可能な発光ダイオード(LED)のセット)を備える場合、支援モジュール302は、関連するロボットアームの照明を、衝突に関与したロボットアームを示すために、所定の色(例えば、赤色に)に変えさせる、または所定のパターンで光を放射させるように構成されうる。
代替で、または追加で、支援モジュール304は、予測される衝突を防止するか、または衝突した構成要素が、互いに向かうさらなる移動によって損傷することを止めるため、関連するロボットアーム(衝突または予測される衝突に関与するロボットアーム)の移動を阻止するように構成されうる。例えば、支援モジュール304は、関連するアーム(衝突に関与するアームまたは予測される衝突に関与するアーム)が手動で離れて移動されるまで、全く移動しないように構成されうる。他の実施例では、支援モジュールは、関連するロボットアームが互いに向かって移動するのを防止するが、関連するロボットアームが他の方向に(例えば、互いから離れて)移動することを可能にするように構成されうる。衝突がすでに発生している一部の場合では、支援モジュール304が、所定の期間、関連するアーム(全体または互いに向かって)の移動を防止すると、支援モジュール304は、関連するアームを(例えば、衝突の反対の方向に)自動的に離れて移動させるように構成されうる。一部の場合では、支援モジュール304は、関連するアームを離して移動する前に、まず、外科手術ロボットシステムのユーザからの入力を要求し、関連するアームが離れて移動されることをユーザが確認した後でのみ、関連するアームを離して移動しうる。
支援モジュール304が(ブロック504で)外科手術ロボットシステム302が、故障器具状態または誤った器具状態にあると判定した場合、支援モジュール304は、外科手術ロボットシステムに、故障器具および/または誤った器具が検出されたことを外科手術ロボットシステムの一人以上のユーザに通知する支援情報を出力させるように構成されうる。支援モジュール302はまた、外科手術ロボットシステムに、どの器具に欠陥があるか、および/または故障器具が現在付けられているアームなどであるがこれに限定されない、故障または誤った器具についての情報を出力させる、および/または器具の変更が推奨されることを外科手術ロボットシステムの一人以上のユーザに助言する情報を出力させるように構成されうる。例えば、ロボットアームが制御可能な照明を備える場合、支援モジュールは、関連するアームの照明を特定の色(例えば、オレンジ色)に変えさせるか、または特定のパターンで照明を放射させることによって、ロボットアームに取り付けられた故障器具または誤った器具を有するロボットアームを示すように構成されうる。
代替的に、または追加的に、支援モジュール304は、器具変更を自動的に実施する(すなわち、故障または誤った器具を自動的に変更する)ように構成されうる。支援モジュール304が(ブロック504で)外科手術ロボットシステムが故障器具状態304にあると判定したとき、自動器具変更は、故障器具を同じタイプの器具に置き換える。対照的に、支援モジュール304が(ブロック504で)外科手術ロボットシステムが誤った器具状態にあると判定した場合、自動器具変更は、誤った器具を、現在のタスクまたはタスクのステップを実施するのに適切なタイプの器具に置き換える。
自動器具変更を実施できるようにするために、外科手術ロボットシステムは、外科手術ロボットシステムのロボットアームに取り付けられうる器具が位置する器具ラックと、装填ロボットアームであって、(i)選択されたロボットアームから器具を取り除くか、または取り外すこと、(ii)器具ラックから特定の器具を取り出すこと、および(iii)特定の器具を選択されたロボットアームに取り付けること、ができる装填ロボットアームと、を備えてもよい。一部の場合では、支援モジュール304は、まず、自動器具変更が実施されるかどうかについて、外科手術ロボットシステムのユーザ(例えば、コマンドインターフェース426を介して)からの入力を要求してもよく、かつ、ユーザが自動器具変更が実施されることを確認した場合にのみ、支援モジュール304は、自動器具変更を実施させる。支援モジュール304が(ブロック504で)外科手術ロボットシステムが誤った器具状態であると判定し、複数の適切な器具タイプがある場合、支援モジュール304は、複数の適切な器具のうち、どれが使用されるかに関して外科手術ロボットシステムのユーザからの入力を要求するように構成されうる。
支援モジュール304が(ブロック504で)外科手術ロボットシステム302が通電された器具の危険状態にあると判定した場合、支援モジュール304は、外科手術ロボットシステムに、関連する通電された器具の通電を防止させるように構成されうる。支援モジュール304は、制御ユニット420に、制御ユニット420に通電する電流が関連する通電された器具に送信されるのを防ぐようにさせる制御信号を送信することによって、外科手術ロボットシステムに、関連する通電された器具の通電を防止させるように構成されてもよい。支援モジュール304はまた、外科手術ロボットシステム302に、通電された器具の危険状態が検出されたこと、および/または関連する通電された器具を通電できないことを、外科手術ロボットシステムの一人以上のユーザに通知する情報を出力させるように構成されてもよい。一部の場合では、支援モジュール304はまた、通電防止がオーバーライドされるべきかどうかについて、ユーザ入力(例えば、コマンドインターフェースを介して)を求めるように構成されてもよい。ユーザが通電防止をオーバーライドすべきという入力を提供する場合、支援モジュール304は、外科手術ロボットシステムに、関連する通電された器具の通電を可能にするように構成されうる。
支援モジュール304が、外科手術ロボットシステム302が潜在的危険状態にあると(ブロック504で)判定した場合、支援モジュール304は、外科手術ロボットシステム302に、潜在的危険状態が検出されたことを外科手術ロボットシステムの一人以上のユーザに通知する情報を出力させるように構成されうる。支援モジュール302はまた、外科手術ロボットシステムに、どの危険インジケータが検出されたかに関する情報を出力させるように構成されてもよい(例えば、患者または外科医のバイタルサインまたは他の健康指標が問題の存在を示すか、または部屋の中の個人またはチームによる発話レベルもしくは実際の発言の単語が問題が存在しうることを示すか)。支援モジュール304はまた、タスクを一時停止するべきかどうかについて、外科手術ロボットシステムのユーザからの入力を(例えば、コマンドインターフェースを介して)要求するように構成されてもよい。ユーザが、タスクを一時停止すべきことを示す入力を提供する場合、支援モジュール304は、ロボットアームの一つ以上の移動が抑制されるように構成されうる。
支援モジュール304が、外科手術ロボットシステムが技能支援状態にあると(ブロック504で)判定したとき、支援モジュール304は、外科手術ロボットシステム302に、技能支援状態が検出されたことを外科手術ロボットシステムの一人以上のユーザに通知する情報を出力させるように構成されうる。支援モジュール304はまた、または代替的に、オペレータ(例えば、外科医)が技能を実施するのを助けるために、技能のすべてまたは一部を実施するように、および/または一つ以上の外科手術ロボットアームの移動を阻止するように、外科手術ロボットシステム302の一つ以上のロボットアームを制御するように構成されてもよい。例えば、上述したように、支援モジュール304は、結び目を作るために取る、それに取り付けられたロボットアーム/器具の理想的な経路または好ましい経路で構成されてもよく、支援モジュール304が、結び目が外科手術ロボットシステムを使用して作られようとしていると判定したときに、結び目を作るための理想的な経路または好ましい経路に従ってロボットアームを制御することができてもよい。一部の場合では、支援モジュール304は、技能を自動的に実施すべきかどうかについて、(例えば、コマンドインターフェースを介して)ユーザからの入力を要求するように構成されてもよく、技能が自動的に実施されるべきであるとユーザが示した場合にのみ、支援モジュール304は、ロボットアームを制御して、技能を自動的に実施する。
一部の場合では、代替的に、ロボットアームを制御して技能のすべてまたは一部を実施するために、支援モジュール304は、オペレータ(例えば、外科医)が技能を実施するのを助けるために、一つ以上の外科手術ロボットアームの移動を阻止するように構成されうる。例えば、上述したように、支援モジュールは、結び目を作るために取る、それに取り付けられたロボットアーム/器具の理想的な経路または好ましい経路で構成されてもよく、支援モジュール304は、理想的な経路の所定距離内の関連ロボットアームの移動を制限してもよい。これにより、外科医は、理想的な経路の所定の距離内で関連するロボットアーム/器具の移動を制御し、関連するロボットアーム/器具が経路に従う速度を制御することが可能になる。
一部の場合では、良好な結び目の経路は、結び目を作ることに関与する、以前実施されたタスクの状態データから学習されていてもよい。例えば、支援モジュール304または別のコンピューティングデバイスは、結び目の品質の評価が提供される(例えば、結び目が格付けされている)、結び目を作ることに関与する複数のタスクに関連する状態データを受信し、共通である、または最良の結び目の経路をリンクする経路を識別しうる。共通である経路、または最良の結び目の経路をリンクする経路は、特定のランキングでのまたは特定のランキングより上の結び目の経路からの最大平均二乗距離を有する経路であってもよい。
支援モジュール304が、外科手術ロボットシステムが処置支援状態にあると(ブロック504で)判定した場合、支援モジュールは、外科手術ロボットシステムに、タスクまたはタスクのステップの実施方法に関するガイダンスを提供する情報を出力させるように構成されうる。タスクの実施方法に関するガイダンスを提供する情報には、次に実施される一つ以上のステップを示す情報、次に選択されるべき器具を示す情報、各アクティブアームがどのハンドコントローラに関連付けられるべきかを示す情報、アクティブロボットアームが、タスクを効率的な方法で実施するために従うべき経路を示す情報(例えば、アクティブロボットアーム/器具が従うべき推奨経路が、表示画面に表示されうる)のうちの一つ以上とが含まれうる。
一部の場合では、タスク、またはタスクのステップの実施方法に関するガイダンスは、以前実施されたタスクに関連する状態データから判定される。例えば、支援モジュール304、または別のコンピューティングベースの装置は、以前実施されたタスクの状態データを比較して、その中のパターンを識別することによって、処置の好ましいステップ、好ましい器具、好ましいハンドコントローラ、および/または器具によって取られた好ましい経路を識別するように構成されうる。例えば、状態データが、タスクの成果を示す転帰情報(例えば、患者の転帰)を含むか、またはそれで補強される場合、支援モジュール304、または別のコンピューティングベースのデバイスは、特定のタスクのステップ、器具、ハンドコントローラ、および/または以前実施されたタスクの状態データから最良の転帰を生成した器具によって取られる経路を識別するように構成されてもよい。分析される状態データは、類似のタスクの状態データ(例えば、同じまたは類似の外科手術処置)、類似のオペレータ(例えば、外科医)によって実施されるタスクの状態データ、および/または現在の特許に類似した患者の状態データを含む場合がある。当業者には、これらは、ガイダンス情報の例、ガイダンス情報がどのように取得され得るかの例、および他のガイダンス情報がどのように提供され得るかの例であり、ガイダンス情報は別の方法で生成され得ることが明白であろう。例えば、他の場合では、ガイダンス情報は、事前構成されているか、または事前に決められてもよい。
一部の場合では、ユーザに提供される支援のレベルは、外科手術ロボットシステムを制御するオペレータ(例えば、外科医)の技能レベルに基づいてもよい。例えば、より多くの支援(例えば、より多くの支援情報)が、より低い技能レベルを有するオペレータ(例えば、外科医)に提供されてもよく、より少ない支援(例えば、より少ない支援情報)が、より高い技能レベルを有するオペレータ(例えば、外科医)に提供されてもよい。例えば、技能レベルが低いオペレータ(例えば、外科医)は、技能またはタスクの特定のステップを実施する方法に関する詳細な指示が提供されてもよく、一方で、より高い技能レベルを有するオペレータ(例えば、外科医)は、不完全なヒントまたは助言のみが提供されてもよい。一部の場合では、オペレータ(例えば、外科医)の技能レベルは、状態データの一部として、または別の方法で(例えば、タスクのセットアップの一部として)、支援モジュール304に明示的に提供されてもよい。他の場合では、外科手術ロボットシステムを制御するオペレータ(例えば、外科医)の技能レベルは、現在のタスク(例えば、外科手術処置)の状態データから、またはオペレータ(例えば、外科医)によって実施された以前のタスクの状態データから動的に判定されうる。
上述したように、外科手術ロボットシステムを制御するオペレータ(例えば、外科医)の遂行は、現在のオペレータ(例えば、外科医)の一つ以上の遂行指標を、以前実施されたタスクに対する他のオペレータ(例えば、外科医)の遂行指標と比較することによって、評価または判定することによってもよい。一部の場合では、遂行指標は、タスクまたはタスクのステップの実施においてロボットアームまたは器具によってとられる経路、タスクまたはタスクのステップの実施におけるロボットアームおよび/または器具の移動の滑らかさ、および/またはタスクまたはタスクのステップの実施にとられる時間のうちの一つ以上を含みうる。状態データが、外科手術ロボットシステム302のアームおよび/または器具の位置および/または移動を記述する情報を含む場合、支援モジュール304は、アームおよび/または器具の位置および/または移動を記述する情報から、ロボットアームおよび/または器具の経路を判定するように構成されうる。経路が識別されると、支援モジュール304は、経路が滑らかな曲線またはのこぎり歯状のエッジを有するかに基づいて、経路の滑らかさを測定することができる場合がある。状態データは、現在のタスクまたはタスクの現在のステップを明示的に識別する情報を含んでもよく、または支援モジュール304は、他の状態データに基づいて、現在のタスクおよび/またはタスクの現在のステップを動的に検出しうる。いずれの場合も、支援モジュール304は、タスク間の時間またはタスクのステップ間の時間を測定することによって、タスクまたはタスクのステップを実施するのにかかる時間を判定するように構成されうる。
一部の場合では、外科手術ロボットシステムが支援状態にあることの検出に応じて、外科手術ロボットシステムの一人以上のユーザに支援を提供することに加えて、支援モジュール304はまた、外科手術ロボットシステムのユーザまたはタスク(例えば、外科手術)中の別の当事者にまたはタスク(例えば、外科手術)後に、他のフィードバック情報を提供するように構成されてもよい。例えば、支援モジュール304は、オペレータ(例えば、外科医)が、同じタスクの彼らの以前の遂行と比較して、および/または同じタスク(例えば、外科手術処置)を実行した他のオペレータ(例えば、外科医)と比較して、どのように実施しているかを示す、タスク中のオペレータの遂行に関するフィードバックを提供するように構成されてもよい。例えば、支援モジュール304は、滑らかさ、経路、およびタスクまたはタスクのステップなどを実施するためにかかった時間などであるがこれに限定されない、一つ以上のオペレータの遂行指標を測定するように構成されうる。測定された遂行指標は、その後、オペレータの遂行に関するフィードバックを提供するために、オペレータの以前のタスクの遂行または他のオペレータの過去のタスクの遂行と比較されうる。例えば、支援モジュール304は、限定されないが、「通常より速く進んでいる」、または「同僚より遅く進んでいる」など、オペレータにフィードバックを提供するように構成されうる。
別の実施例では、支援モジュール304はまた、または代替的に、外科手術ロボットシステムの他のユーザ(例えば、外科手術チームの他のメンバ)に関連する指標を測定し、それに関連するフィードバック情報を生成するように構成されてもよい。例えば、支援モジュール304は、タスク中に使用される器具の数、器具交換の数、各器具交換にかかる時間、タスク(例えば、手術)のための外科手術ロボットシステムの準備(例えば、ドレープ)にかかる時間を測定するように構成されうる。支援モジュール304は、外科手術ロボットシステムに、測定された指標を出力させるように構成されてもよく、または測定された指標を他の当事者に提供してもよい。
さらに別の実施例では、支援モジュール304はまた、または代替的に、外科手術ロボットシステムに関する指標を測定し、それに関連するフィードバック情報を生成するように構成されてもよい。例えば、支援モジュール304は、いつ器具の変更が発生したか状態データから検出するように構成されてもよく、支援モジュール304が、アームに取り付けられた第一の器具が、アームに取り付けられた第一の器具の所定の期間内に、同じタイプの第二の器具と交換されていることを検出した場合、支援モジュール304は、第一の器具が故障したことを自動的に検出するように構成されてもよい。この情報は記録され、別の当事者に報告されて、それにより、例えば、そのタイプの新しい器具を注文することができる。
さらに別の実施例では、支援モジュール304、または別のコンピューティングベースのデバイスはまた、または代替的に、タスクもしくは類似のタスクの前または後に実施されるプロセスあるいは処置で使用するためのフィードバック情報を生成するために、状態データを分析するように構成されてもよい。具体的には、支援モジュール304は、状態データを分析して、将来のタスクまたは他の処置のスケジュール設定に使用され得る情報を識別するように構成されてもよい。例えば、支援モジュール304は、いつタスクが完了するか、状態データから予測して、予測される完了時間が所定の閾値(例えば、1時間)を下回る場合、別の当事者(例えば、手術室マネージャ)に通知するように構成されてもよく、その結果、その手術室内の次のタスクがスケジュール設定されることができ、次の患者が準備されることができ、かつ/または外科手術ロボットシステム(例えば、外科医)のオペレータが別のタスクのためにスケジュール設定することができる。別の実施例では、支援モジュール304は、タスクが完了した後に、状態データ(転帰を含む)を、同じオペレータ(例えば、外科医)によって実施された類似の処置の状態データと比較して、そのオペレータがその特定のタスクを実施するための最良の時(例えば、一日のうちの時間および/または週のうちの日)を決定し、そのオペレータがその特定のタスクを実施するための決定された最良の時を示すフィードバック情報を出力するように構成されうる。
当業者にとって、これらは、支援モジュール304によって生成および提供されうる追加のフィードバック情報の実施例であり、状態データおよび/または以前実施されたタスク(例えば、外科手術)の状態データに対する状態データの比較から得ることができる任意の情報を使用して、追加のフィードバック情報を生成することができることは明らかであろう。
これにより、本出願人は、本明細書に記載の各個々の特徴および二つ以上のかかる特徴の任意の組み合わせを、かかる特徴または組み合わせが、当業者の共通の一般知識に照らして、全体として本明細書に基づいて行うことができるような程度まで、かかる特徴または特徴の組み合わせが、本明細書に開示される任意の問題を解決するかどうかにかかわらず、分離して開示する。前述の説明を考慮すると、本発明の範囲内で様々な修正を行うことができることは当業者には明らかであろう。

Claims (20)

  1. 外科手術ロボットシステムのユーザに支援を提供するためのシステム(300)であって、前記システム(300)は、
    それぞれが基部と、前記基部から器具用の取付部へ延在するアームであって、前記アームが、複数のジョイントを備え、それによって前記アームの構成が変更されうる、アームと、を有する少なくとも二つの外科手術ロボットを備え、通電された器具が前記少なくとも二つの外科手術ロボットアームのうちの一方に取り付けられ、内視鏡が前記少なくとも二つの外科手術ロボットアームのうちの他方に取り付けられる、外科手術ロボットシステム(302、400)と、
    支援モジュール(304)であって、
    前記外科手術ロボットシステム(302、400)がタスクを実施するために使用されている間、前記外科手術ロボットシステム(302、400)の状態を示す状態データを受信することと、
    前記状態データから、前記外科手術ロボットシステム(302、400)が、通電された器具の危険状態にあるかどうかを動的に判定することであって、前記外科手術ロボットシステム(302、400)が、前記通電された器具が前記内視鏡の視野にないときに通電された器具の危険状態にある、動的に判定することと、
    前記外科手術ロボットシステム(302、400)が通電された器具の危険状態にあると判定することに応じて、前記外科手術ロボットシステム(302、400)が前記タスクを実施するために使用されている間、前記外科手術ロボットシステムに、通電された器具の危険支援を前記ユーザに提供させることと、を行うように構成される、支援モジュール(304)と、を備えるシステム(300)。
  2. 前記通電された器具が、外科手術機能を実施するために電流によって通電される電気外科手術器具である、請求項1に記載のシステム(300)。
  3. 前記状態データが、前記通電された器具の状態に関する情報を含む、請求項1または2に記載のシステム(300)。
  4. 前記通電された器具の前記状態に関する前記情報が、前記通電された器具が現在通電されているかどうかに関する情報を含む、請求項3に記載のシステム(300)。
  5. 前記支援モジュール(304)が、前記外科手術ロボットシステムに、前記通電された器具の通電を防止させることによって、前記外科手術ロボットシステム(302、400)に通電された器具の危険支援を提供させるように構成される、請求項1〜4のいずれかに記載のシステム(300)。
  6. 前記支援モジュール(304)が、制御ユニットに通電電流が前記通電された器具に送電されることを防止するようにさせる制御信号を前記外科手術ロボットシステムの前記制御ユニットに送信することによって、前記外科手術ロボットシステムに前記通電された器具の通電を防止させるように構成される、請求項5に記載のシステム(300)。
  7. 前記支援モジュール(304)が、前記通電防止がオーバーライドされるか否かについてユーザ入力を要求するようにさらに構成され、前記通電防止がオーバーライドされるユーザ入力を受信することに応じて、前記外科手術ロボットシステムに、前記通電された器具の通電を許可させる、請求項5または請求項6に記載のシステム(300)。
  8. 前記支援モジュール(304)が、前記外科手術ロボットシステムに支援情報を出力させることによって、前記外科手術ロボットシステムに電気外科手術器具の危険支援を提供させるように構成され、前記支援情報が、前記通電された器具の危険状態が検出されたこと、および/または前記通電された器具が通電できないことを前記外科手術ロボットシステムの一人以上のユーザに通知する、請求項1〜7のいずれかに記載のシステム(300)。
  9. 前記支援情報を前記ユーザに出力することが、前記外科手術ロボットシステムのディスプレイ上に前記支援情報の少なくとも一部を表示すること、および前記支援情報の少なくとも一部を前記ユーザに音声で伝達することのうちの一つ以上を含む、請求項8に記載のシステム(300)。
  10. 外科手術ロボットシステムのユーザに支援を提供するためのシステム(300)であって、前記システム(300)は、
    基部と、前記基部から器具の取付部へ延在するアームであって、前記アームが複数のジョイントを備え、それによって前記アームの構成が変更されうる、アームと、を有する少なくとも一つの外科手術ロボットを備える外科手術ロボットシステム(302、400)と、
    処置支援が提供されうるタスクのステップのリストを含む支援モジュール(304)であって、前記支援モジュール(204)は、
    前記外科手術ロボットシステム(302、400)が前記タスクを実施するために使用されている間、前記外科手術ロボットシステム(302、400)の状態を示す状態データを受信することと、
    前記状態データから、前記外科手術ロボットシステム(302、400)が、処置支援状態にあるかどうかを判定することであって、前記外科手術ロボットが、処置支援が提供されうる前記タスクの前記ステップのうちの一つが、実行されようとしているか、または前記ユーザが、処置支援が提供されうる前記タスクの前記ステップのうちの一つを実施し始めたときに、処置支援状態にある、判定することと、
    前記外科手術ロボットシステム(302、400)が処置支援状態にあると判定することに応じて、前記外科手術ロボットシステム(302、400)が前記タスクを実施するために使用されている間、前記タスクの前記ステップを実施する際に、前記外科手術ロボットシステムに、前記ユーザに処置支援を提供させることと、を行うように構成される、支援モジュール(304)と、を備える、システム(300)。
  11. 前記支援モジュール(304)が、前記状態データから、前記外科手術ロボットシステム(302、400)が危険状態にあるかどうかを判定し、前記外科手術ロボットシステム(302、400)が危険状態にあると判定することに応じて、前記外科手術ロボットシステム(302、400)が前記タスクを実施するために使用されている間、前記外科手術ロボットシステムに前記ユーザに危険支援を提供させるようにさらに構成される、請求項1〜10のいずれかに記載のシステム(300)。
  12. 前記支援モジュール(304)が、前記支援モジュールが、前記状態データから、前記外科手術ロボットシステム(302、400)が、衝突状態、故障器具状態、および誤った器具状態のうちの少なくとも一つにあると判定するとき、前記外科手術ロボットシステム(302、400)が危険状態にあると判定するように構成される、請求項11に記載のシステム(300)。
  13. 前記外科手術ロボットシステムが、少なくとも二つの外科手術ロボットを備え、前記支援モジュール(304)は、支援モジュール(304)が、前記状態データから、少なくとも二つの外科手術ロボットアームが衝突しているか、または衝突しようとしている、少なくとも二つの器具が衝突しているか、または衝突しようとしている、あるいは、器具と外科手術ロボットアームとが衝突しているか、または衝突しようとしていると判定するとき、前記外科手術ロボットシステム(302、400)が、衝突状態にあると判定するように構成される、請求項12に記載のシステム(300)。
  14. 前記支援モジュール(304)は、前記支援モジュール(304)が、前記状態データから、器具が前記タスクまたは前記タスクの現在のステップに適切ではない外科手術ロボットアームに取り付けられていると判定するとき、前記外科手術ロボットシステム(302、400)が誤った器具状態にあると判定するように構成される、請求項12または請求項13に記載のシステム(300)。
  15. 前記支援モジュール(304)が、前記外科手術ロボットシステムが誤った器具状態にあると判定することに応じて、前記誤った器具が適切な器具と置き換えられるように、前記外科手術ロボットシステムに器具変更を自動的に実施させるように構成される、請求項14に記載のシステム(300)。
  16. 前記支援モジュール(304)は、前記状態データから、前記外科手術ロボットシステムが、予測される危険状態にあるかどうかを判定することであって、前記外科手術ロボットシステムが、前記状態データから一つ以上の危険インジケータが検出されたとき、予測される危険状態にある、判定することと、前記外科手術ロボットシステムが予測される危険状態にあると判定することに応じて、前記外科手術ロボットシステムが、前記タスクを実施するために使用されている間、前記外科手術ロボットシステム(302、400)に予測される危険支援を前記ユーザに提供させることと、を行うようにさらに構成される、請求項1〜15のいずれかに記載のシステム(300)。
  17. 前記一つ以上の危険インジケータが、危険に先行した以前実施されたタスクの前記状態データ内の事象またはパターンを含む、請求項16に記載のシステム(300)。
  18. 前記タスクが、患者に対する外科手術処置であり、前記一つ以上の危険インジケータのうちの少なくとも一つは、前記患者のバイタルサインおよび/または他の健康指標のうちの一つ以上が、所定の範囲外にあること、オペレータのバイタルサインおよび/または他の健康指標のうちの一つ以上が、所定の範囲外にあること、前記タスクのために存在する個人のうちの一人以上が声を上げて話すこと、および前記タスクのために存在する個人のうちの一人以上が警告の単語または語句を話すことのうちの一つ以上を含む、請求項16または請求項17に記載のシステム(300)。
  19. 前記支援モジュール(304)は、前記状態データから、前記外科手術ロボットシステムが、技能支援状態にあるかどうかを判定することであって、前記外科手術ロボットシステムは、前記外科手術ロボットが既知の技能を実施するために現在使用されているか、または使用されようとしているときに、技能支援状態にある、判定することと、を行うようにさらに構成され、
    前記外科手術ロボットシステムが技能支援状態にあると判定することに応じて、前記支援モジュール(304)は、前記既知の技能を自動的に実施するために一つ以上の外科手術ロボットアームを制御するように構成される、請求項1〜18のいずれかに記載のシステム(300)。
  20. 提供される支援のレベルが、前記外科手術ロボットシステムのオペレータの技能レベルに基づく、請求項1〜19のいずれかに記載のシステム(300)。
JP2021517788A 2018-10-03 2019-10-03 外科手術ロボットシステムのユーザに支援を提供するための方法およびシステム Pending JP2022502187A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1816166.1 2018-10-03
GB1816166.1A GB2577716B (en) 2018-10-03 2018-10-03 Methods and systems for providing assistance to a user of a surgical robot system
PCT/GB2019/052802 WO2020070511A1 (en) 2018-10-03 2019-10-03 Methods and systems for providing assistance to a user of a surgical robot system

Publications (1)

Publication Number Publication Date
JP2022502187A true JP2022502187A (ja) 2022-01-11

Family

ID=68242733

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021517788A Pending JP2022502187A (ja) 2018-10-03 2019-10-03 外科手術ロボットシステムのユーザに支援を提供するための方法およびシステム

Country Status (8)

Country Link
US (1) US20220022982A1 (ja)
EP (1) EP3860496A1 (ja)
JP (1) JP2022502187A (ja)
CN (1) CN112770688A (ja)
AU (2) AU2019351926B2 (ja)
BR (1) BR112021005707A2 (ja)
GB (3) GB2608752B (ja)
WO (1) WO2020070511A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3938152A1 (en) * 2019-03-12 2022-01-19 Intuitive Surgical Operations, Inc. Guided tool change
US20210251706A1 (en) * 2020-02-18 2021-08-19 Verb Surgical Inc. Robotic Surgical System and Method for Providing a Stadium View with Arm Set-Up Guidance
US11748924B2 (en) 2020-10-02 2023-09-05 Cilag Gmbh International Tiered system display control based on capacity and user operation
US11672534B2 (en) 2020-10-02 2023-06-13 Cilag Gmbh International Communication capability of a smart stapler
US11877897B2 (en) 2020-10-02 2024-01-23 Cilag Gmbh International Situational awareness of instruments location and individualization of users to control displays
US11883022B2 (en) * 2020-10-02 2024-01-30 Cilag Gmbh International Shared situational awareness of the device actuator activity to prioritize certain aspects of displayed information
US11963683B2 (en) 2020-10-02 2024-04-23 Cilag Gmbh International Method for operating tiered operation modes in a surgical system
US11830602B2 (en) 2020-10-02 2023-11-28 Cilag Gmbh International Surgical hub having variable interconnectivity capabilities
CN114521965A (zh) * 2020-11-23 2022-05-24 上海微创医疗机器人(集团)股份有限公司 手术器械更换机器人、手术机器人系统及更换系统
CN114652449A (zh) * 2021-01-06 2022-06-24 深圳市精锋医疗科技股份有限公司 手术机器人及其引导手术臂移动的方法、控制装置
CN114628019A (zh) * 2021-11-16 2022-06-14 瑞龙诺赋(上海)医疗科技有限公司 机械臂更换系统、方法、电子设备以及存储介质
US20240000526A1 (en) * 2022-06-30 2024-01-04 Cilag Gmbh International Robotic surgical system with removable portion and method of disassembling same
GB2621578A (en) * 2022-08-15 2024-02-21 Cmr Surgical Ltd Controlling a surgical robot arm whilst entering a sleep mode

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009158164A1 (en) * 2008-06-27 2009-12-30 Intuitive Surgical, Inc. Medical robotic system providing an auxiliary view of articulatable instruments extending out of a distal end of an entry guide
JP2014097431A (ja) * 2009-03-31 2014-05-29 Intuitive Surgical Operations Inc 手術ロボットの合成表現
EP2982330A1 (en) * 2013-03-28 2016-02-10 Olympus Corporation Treatment tool exchanging device and medical system
JP2017080887A (ja) * 2011-11-09 2017-05-18 インテュイティブ サージカル オペレーションズ, インコーポレイテッド 関節器具に好適な姿勢を取らせるような命令をするように入力装置のオペレータを促す、入力装置での力フィードバックの適用
JP2017209529A (ja) * 2012-06-01 2017-11-30 インテュイティブ サージカル オペレーションズ, インコーポレイテッド 手術システム用の器具運搬アセンブリ

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5649021A (en) * 1995-06-07 1997-07-15 David Sarnoff Research Center, Inc. Method and system for object detection for instrument control
CN1207027A (zh) * 1996-01-09 1999-02-03 吉格斯医药有限公司 水下电手术器械
US8623028B2 (en) * 2009-09-23 2014-01-07 Intuitive Surgical Operations, Inc. Surgical port feature
CN103607971B (zh) * 2011-07-07 2016-08-31 奥林巴斯株式会社 医疗主从操作器
KR101997566B1 (ko) * 2012-08-07 2019-07-08 삼성전자주식회사 수술 로봇 시스템 및 그 제어방법
KR102218243B1 (ko) * 2013-03-15 2021-02-22 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 소프트웨어 구성가능한 매니퓰레이터 자유도
US10744646B2 (en) * 2013-08-29 2020-08-18 Wayne State University Camera control system and method
KR102379623B1 (ko) * 2014-02-05 2022-03-29 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 동적 가상 충돌 객체를 위한 시스템 및 방법
US10548459B2 (en) * 2014-03-17 2020-02-04 Intuitive Surgical Operations, Inc. Systems and methods for control of imaging instrument orientation
EP4079251A1 (en) * 2014-03-17 2022-10-26 Intuitive Surgical Operations, Inc. Guided setup for teleoperated medical device
CN111616666A (zh) * 2014-03-19 2020-09-04 直观外科手术操作公司 使用眼球凝视跟踪的医疗装置、系统和方法
EP3134022B1 (en) * 2014-04-24 2018-01-10 KB Medical SA Surgical instrument holder for use with a robotic surgical system
KR102628659B1 (ko) * 2014-10-27 2024-01-25 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 반응 운동 동안 제어점을 감시하기 위한 시스템 및 방법
US10433922B2 (en) * 2015-03-17 2019-10-08 Intuitive Surgical Operations, Inc. Systems and methods for rendering onscreen identification of instruments in a teleoperational medical system
US10226302B2 (en) * 2015-05-15 2019-03-12 Mako Surgical Corporation Systems and methods for providing guidance for a robotic medical procedure
EP3342556A4 (en) * 2015-08-25 2019-05-29 Kawasaki Jukogyo Kabushiki Kaisha ROBOTIC SYSTEM
US11209954B2 (en) * 2015-12-10 2021-12-28 Cmr Surgical Limited Surgical robotic system using dynamically generated icons to represent orientations of instruments
JP6827041B2 (ja) * 2016-01-20 2021-02-10 インテュイティブ サージカル オペレーションズ, インコーポレイテッド 医療デバイスの再配置可能なアームにおける運動偏差の急速な停止及び回復のためのシステム及び方法
CN113384348A (zh) * 2016-02-26 2021-09-14 直观外科手术操作公司 使用虚拟边界避免碰撞的系统和方法
JP6828746B2 (ja) * 2016-08-10 2021-02-10 富士通株式会社 基地局装置、端末装置、および無線通信方法
EP3515349A4 (en) * 2016-09-19 2020-08-19 Intuitive Surgical Operations Inc. POSITIONING INDICATOR SYSTEM FOR REMOTE CONTROLLED ARM AND RELATED PROCESSES
JP7440262B2 (ja) * 2016-11-11 2024-02-28 インテュイティブ サージカル オペレーションズ, インコーポレイテッド 患者健康記録ベース器具制御を備える遠隔操作手術システム
WO2018107062A1 (en) * 2016-12-09 2018-06-14 Verb Surgical Inc. User interface devices for use in robotic surgery
GB2552855B (en) 2017-01-31 2019-02-13 Cmr Surgical Ltd Surgical instrument engagement detection
US10813710B2 (en) * 2017-03-02 2020-10-27 KindHeart, Inc. Telerobotic surgery system using minimally invasive surgical tool with variable force scaling and feedback and relayed communications between remote surgeon and surgery station

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009158164A1 (en) * 2008-06-27 2009-12-30 Intuitive Surgical, Inc. Medical robotic system providing an auxiliary view of articulatable instruments extending out of a distal end of an entry guide
JP2014097431A (ja) * 2009-03-31 2014-05-29 Intuitive Surgical Operations Inc 手術ロボットの合成表現
JP2017080887A (ja) * 2011-11-09 2017-05-18 インテュイティブ サージカル オペレーションズ, インコーポレイテッド 関節器具に好適な姿勢を取らせるような命令をするように入力装置のオペレータを促す、入力装置での力フィードバックの適用
JP2017209529A (ja) * 2012-06-01 2017-11-30 インテュイティブ サージカル オペレーションズ, インコーポレイテッド 手術システム用の器具運搬アセンブリ
EP2982330A1 (en) * 2013-03-28 2016-02-10 Olympus Corporation Treatment tool exchanging device and medical system

Also Published As

Publication number Publication date
AU2019351926B2 (en) 2022-08-04
BR112021005707A2 (pt) 2021-06-22
AU2019351926A1 (en) 2021-05-27
GB2577716A (en) 2020-04-08
AU2022252697B2 (en) 2024-01-25
GB2608752A (en) 2023-01-11
AU2022252697A1 (en) 2022-11-03
EP3860496A1 (en) 2021-08-11
US20220022982A1 (en) 2022-01-27
GB202214754D0 (en) 2022-11-23
GB202214755D0 (en) 2022-11-23
GB2608751A (en) 2023-01-11
WO2020070511A1 (en) 2020-04-09
WO2020070511A4 (en) 2020-07-16
GB2608751B (en) 2023-06-14
CN112770688A (zh) 2021-05-07
GB2608752B (en) 2023-06-14
GB2577716B (en) 2023-01-18

Similar Documents

Publication Publication Date Title
JP2022502187A (ja) 外科手術ロボットシステムのユーザに支援を提供するための方法およびシステム
AU2019352792B2 (en) Indicator system
US10977495B2 (en) Automatic endoscope video augmentation
JP2023544360A (ja) 複数の外科用ディスプレイ上へのインタラクティブ情報オーバーレイ
JP2023544594A (ja) 容量及びユーザ操作に基づく階層化されたシステムの表示制御
EP3413782A1 (en) Fully autonomic artificial intelligence robotic system
US20210205027A1 (en) Context-awareness systems and methods for a computer-assisted surgical system
US20230029184A1 (en) Robotic arm system, method and computer program
GB2611255A (en) Methods and systems for providing assistance to a user of a surgical robot system
RU216092U1 (ru) Автоматическое дополнение эндоскопического видеоизображения
RU214412U1 (ru) Автоматическое дополнение эндоскопического видеоизображения
US20230404691A1 (en) Autonomous Surgical System Instrument Actuation
US20230371968A1 (en) Autonomous Intra-Instrument Surgical System Actuation
CN117442343A (zh) 腔镜手术机器人及其状态的直观显示方法
WO2023223226A2 (en) Autonomous intra-instrument surgical system actuation

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210330

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210330

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220826

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20221206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230403

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20230403

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230411

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20230412

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20230512

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240409