JP2022190604A - トレーニング装置およびトレーニングシステム - Google Patents

トレーニング装置およびトレーニングシステム Download PDF

Info

Publication number
JP2022190604A
JP2022190604A JP2021099008A JP2021099008A JP2022190604A JP 2022190604 A JP2022190604 A JP 2022190604A JP 2021099008 A JP2021099008 A JP 2021099008A JP 2021099008 A JP2021099008 A JP 2021099008A JP 2022190604 A JP2022190604 A JP 2022190604A
Authority
JP
Japan
Prior art keywords
surgical
training
surgical instrument
video
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021099008A
Other languages
English (en)
Inventor
城太 井田
Jota Ida
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Medicaroid Corp
Original Assignee
Medicaroid Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Medicaroid Corp filed Critical Medicaroid Corp
Priority to JP2021099008A priority Critical patent/JP2022190604A/ja
Priority to US17/837,079 priority patent/US20220395341A1/en
Publication of JP2022190604A publication Critical patent/JP2022190604A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B34/35Surgical robots for telesurgery
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B34/37Master-slave robots
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73Querying
    • G06F16/738Presentation of query results
    • G06F16/739Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017Electrical control of surgical instruments
    • A61B2017/00203Electrical control of surgical instruments with speech control or speech recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00973Surgical instruments, devices or methods, e.g. tourniquets pedal-operated
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems
    • A61B2034/256User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B2034/305Details of wrist mechanisms at distal ends of robotic arms
    • A61B2034/306Wrists with multiple vertebrae
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70Manipulators specially adapted for use in surgery
    • A61B34/74Manipulators with manual electric input means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361Image-producing devices, e.g. surgical cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Robotics (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Manipulator (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

【課題】医師が様々な手術に応じたトレーニングを容易に行うことが可能なトレーニング装置を提供する。【解決手段】このトレーニング装置200は、表示部24に、操作ハンドル21Rによる操作に対応するように仮想手術器具241Rを表示し、操作ハンドル21Lによる操作に対応するように仮想手術器具241Lを表示するトレーニング用制御部202と、手術器具4Rおよび手術器具4Lが動作する手術部位の手術中の手術動画210が記憶された記憶部203と、を備える。トレーニング用制御部202は、記憶部203に記憶された手術動画210を表示部24に表示するとともに、手術動画210に対して仮想手術器具241Rおよび241Lをオーバーレイ表示するように構成されている。【選択図】図9

Description

この発明は、トレーニング装置およびトレーニングシステムに関し、特に、ロボットアームを備える手術システムのトレーニングに用いられるトレーニング装置およびトレーニングシステムに関する。
従来、ロボットアームを備える手術システムのトレーニングに用いられるトレーニング装置が知られている(たとえば、特許文献1参照)。
上記特許文献1には、入力装置と表示装置を含むコントロールコンソールと、入力装置の動きに応答して手術器具を移動させるためのマニピュレータとを備える手術システムのトレーニングに用いられるシミュレータユニット(トレーニング装置)が開示されている。このシミュレータユニットでは、仮想環境でシミュレートされた手順を実行するために入力装置の動きに応答して、表示装置に仮想手術器具を動作可能に表示する。また、このシミュレータユニットは、用意された仮想環境において行う複数のトレーニングメニューを選択可能に表示装置に表示し、選択されたトレーニングに対応する仮想環境と仮想手術器具を表示装置に表示して、入力装置を操作してトレーニングを実施することが記載されている。
米国特許第8600551号明細書
しかしながら、上記特許文献1に記載のシミュレータユニット(トレーニング装置)では、用意された仮想環境において行うトレーニングメニューによるトレーニングしかできないため、医師が様々な手術に応じたトレーニングを行うことが困難であるという問題点がある。
この発明は、上記のような課題を解決するためになされたものであり、この発明の1つの目的は、医師が様々な手術に応じたトレーニングを容易に行うことが可能なトレーニング装置およびトレーニングシステムを提供することである。
この発明の第1の局面によるトレーニング装置は、第1手術器具を取り付けた第1ロボットアームおよび第2手術器具を取り付けた第2ロボットアームを含む患者側装置と、第1ロボットアームを操作するための第1入力装置、第2ロボットアームを操作するための第2入力装置および表示部を含む医師側操作装置とを備える手術システムのトレーニングに用いられるトレーニング装置であって、表示部に、第1入力装置による操作に対応するように第1仮想手術器具を表示し、第2入力装置による操作に対応するように第2仮想手術器具を表示するトレーニング用制御部と、第1手術器具および第2手術器具が動作する手術部位の手術中の手術動画が記憶された記憶部と、を備え、トレーニング用制御部は、記憶部に記憶された手術動画を表示部に表示するとともに、手術動画に対して第1仮想手術器具および第2仮想手術器具をオーバーレイ表示するように構成されている。
この発明の第1の局面によるトレーニング装置では、上記のように、記憶部に記憶された手術動画を表示部に表示するとともに、手術動画に対して第1仮想手術器具および第2仮想手術器具をオーバーレイ表示するトレーニング用制御部を設ける。これにより、実際の手術動画を撮像することにより、トレーニングに用いる動画を生成することができるので、様々な手術に応じた手術動画を容易に生成することができる。これにより、医師が様々な手術に応じたトレーニングを容易に行うことができる。また、プロクター(指導医)が生徒の医師に指導対象の術式に応じたトレーニングを行わせる場合に、プロクターの行った手術の手術動画を用いて生徒の医師がトレーニングを行うことにより、プロクターの手術を生徒の医師が事前にトレーニングすることができる。また、手術動画に対して第1仮想手術器具および第2仮想手術器具をオーバーレイ表示することにより、トレーニングにおいて操作する第1仮想手術器具および第2仮想手術器具を表示することができるので、手術動画を用いた場合でも、容易にトレーニングを行うことができる。
この発明の第2の局面によるトレーニングシステムは、第1手術器具を取り付けた第1ロボットアームおよび第2手術器具を取り付けた第2ロボットアームを含む患者側装置と、第1ロボットアームを操作するための第1入力装置、第2ロボットアームを操作するための第2入力装置および表示部を含む医師側操作装置とを備える手術システムのトレーニングに用いられ、表示部に、第1入力装置による操作に対応するように第1仮想手術器具を表示し、第2入力装置による操作に対応するように第2仮想手術器具を表示し、第1手術器具および第2手術器具が動作する手術部位の手術中の手術動画を表示部に表示するとともに、手術動画に対して第1仮想手術器具および第2仮想手術器具をオーバーレイ表示するトレーニング装置が設置された第1施設の第1端末装置、および、手術システムが設置された第2施設の第2端末装置と通信可能であり、第1施設および第2施設とは異なる第3施設に設置されたサーバ装置と、第2施設の手術システムを用いて行われた手術中の手術動画が記憶される記憶装置と、を備える。
この発明の第2の局面によるトレーニングシステムでは、上記のように、憶部に記憶された手術動画を表示部に表示するとともに、手術動画に対して第1仮想手術器具および第2仮想手術器具をオーバーレイ表示する。これにより、実際の手術動画を撮像することにより、トレーニングに用いる動画を生成することができるので、様々な手術に応じた手術動画を容易に生成することができる。これにより、医師が様々な手術に応じたトレーニングを容易に行うことが可能なトレーニングシステムを提供することができる。また、プロクター(指導医)が生徒の医師に指導対象の術式に応じたトレーニングを行わせる場合に、プロクターの行った手術の手術動画を用いて生徒の医師がトレーニングを行うことにより、プロクターの手術を生徒の医師が事前にトレーニングすることができる。また、手術動画に対して第1仮想手術器具および第2仮想手術器具をオーバーレイ表示することにより、トレーニングにおいて操作する第1仮想手術器具および第2仮想手術器具を表示することができるので、手術動画を用いた場合でも、容易にトレーニングを行うことができる。また、第2施設の手術システムにおいて行われた手術の手術動画を、第3施設の記憶装置に記憶させて、第1施設のトレーニング装置において用いることができるので、手術動画が撮像された場所と離れた場所でも撮像された手術動画を用いてトレーニングを容易に行うことができる。
本発明によれば、医師が様々な手術に応じたトレーニングを容易に行うことができる。
一実施形態による手術システムの構成を示す図である。 一実施形態による医療用マニピュレータの構成を示す図である。 一実施形態による操作ハンドルの構成を示す図である。 一実施形態によるフットペダルの構成を示す図である。 一実施形態による医療用マニピュレータのアームの構成を示す図である。 鉗子を示す図である。 一実施形態によるトレーニング装置を示すブロック図である。 一実施形態によるトレーニングシステムを示すブロック図である。 トレーニング装置の第1表示例(第1の手術画像)を示す図である。 トレーニング装置の操作画面の一例を示す図である。 トレーニング装置の術式および術者の選択画面の一例を示す図である。 トレーニング装置の手術器具の選択画面の一例を示す図である。 トレーニング装置の第2表示例(第2の手術画像)を示す図である。
以下、本発明を具体化した実施形態を図面に基づいて説明する。
図1~図12を参照して、一実施形態による手術システム100のトレーニングに用いられるトレーニング装置200について説明する。手術システム100は、患者側装置である医療用マニピュレータ1と、医療用マニピュレータ1を操作するための医師側装置である遠隔操作装置2とを備えている。医療用マニピュレータ1は医療用台車3を備えており、移動可能に構成されている。遠隔操作装置2は、医療用マニピュレータ1から離間した位置に配置されており、医療用マニピュレータ1は、遠隔操作装置2により遠隔操作されるように構成されている。医師である術者(操作者)は、医療用マニピュレータ1に所望の動作を行わせるための指令を遠隔操作装置2に入力する。遠隔操作装置2は、入力された指令を医療用マニピュレータ1に送信する。医療用マニピュレータ1は、受信した指令に基づいて動作する。また、医療用マニピュレータ1は、滅菌された滅菌野である手術室内に配置されている。
遠隔操作装置2は、たとえば、手術室の中または手術室の外に配置されている。遠隔操作装置2は、操作ハンドル21と、フットペダル22と、タッチパネル23と、表示部24と、支持アーム25と、支持バー26とを含む。操作ハンドル21は、術者(操作者)が指令を入力するための操作用のハンドルを構成する。
操作ハンドル21は、医療器具4を操作するように構成されている。また、操作ハンドル21は、医療器具4に対する操作量を受け付ける。操作ハンドル21は、術者(操作者)から見て、左側に配置され、術者の左手により操作される操作ハンドル21Lと、右側に配置され、術者の右手により操作される操作ハンドル21Rと、を含んでいる。なお、操作ハンドル21Rおよび操作ハンドル21Lは、それぞれ、特許請求の範囲の「第1入力装置」および「第2入力装置」の一例である。
また、図3に示すように、操作ハンドル21は、リンク部21a、リンク部21b、リンク部21c、および、術者(操作者)が操作するリンク部21dを含む。リンク部21aは、A4軸周りに回動する。リンク部21aがA4軸周りに回動されることにより、後述するアーム部61がJT4軸周りに回動する。リンク部21bは、リンク部21aに対して、A5軸周りに回動する。リンク部21bがA5軸周りに回動されることにより、後述するアーム部61がJT5軸周りに回動する。リンク部21cは、リンク部21bに対して、A6軸周りに回動する。リンク部21cがA6軸周りに回動されることにより、アーム部61がJT6軸周りに回動する。リンク部21dは、リンク部21cに対して、A7軸周りに回動する。リンク部21dがA7軸周りに回動されることにより、アーム部61がJT7軸周りに回動する。なお、医療器具4は、特許請求の範囲の「手術器具」の一例である。
また、操作ハンドル21は、操作ハンドル21によって受け付けられた操作量に対してアーム60(医療器具4)の移動量が変更(スケーリング)される。たとえば、移動量の倍率が1/2倍に設定されている場合、医療器具4は、操作ハンドル21の移動距離の1/2の移動距離を移動するよう制御される。これによって、精細な手術を精確に行うことができる。
図4に示すように、フットペダル22は、医療器具4に関する機能を実行するように複数設けられている。また、複数のフットペダル22は、基台部28に配置されている。フットペダル22は、切替ペダル22aと、クラッチペダル22bと、カメラペダル22cと、切開ペダル22dと、凝固ペダル22eとを含んでいる。切替ペダル22aと、クラッチペダル22bと、カメラペダル22cと、切開ペダル22dと、凝固ペダル22eとは、術者の足により操作される。また、切開ペダル22dは、右側のアーム60用の切開ペダル22dRと、左側のアーム60用の切開ペダル22dLとを含む。また、凝固ペダル22eは、右側のアーム60用の凝固ペダル22eRと、左側のアーム60用の凝固ペダル22eLとを含む。
切替ペダル22aは、操作ハンドル21で動作させるアーム60を切り替えるように構成されている。クラッチペダル22bは、アーム60と操作ハンドル21との操作接続を一時切断するクラッチ操作を実行するように構成されている。クラッチペダル22bが術者によって踏み込まれている間、操作ハンドル21による操作が、アーム60に伝達されなくなる。
また、第1実施形態では、カメラペダル22cは、内視鏡6を移動させるための指令を入力するために設けられている。具体的には、カメラペダル22cが術者によって踏み込まれることにより、内視鏡6を移動させるための指令が入力される。また、内視鏡6の移動を可能にする指令がカメラペダル22cにより入力された場合(つまり、カメラペダル22cが術者によって踏み込まれている間)、内視鏡6は、操作ハンドル21Rおよび操作ハンドル21Lの両方を操作することによって移動するように構成されている。
また、切開ペダル22d(凝固ペダル22e)が術者によって踏み込まれている間、電気手術装置が起動する。
図1に示すように、表示部24は、内視鏡6によって撮像された画像を表示するためのスコープ型表示装置である。支持アーム25は、表示部24の高さを術者(操作者)の顔の高さに合わせるように表示部24を支持する。タッチパネル23は、支持バー26に配置されている。表示部24近傍に設けられた図示しないセンサにより術者の頭部を検知することにより医療用マニピュレータ1は遠隔操作装置2による操作が可能になる。術者は、表示部24により患部を視認しながら、操作ハンドル21およびフットペダル22を操作する。これにより、遠隔操作装置2に指令が入力される。遠隔操作装置2に入力された指令は、医療用マニピュレータ1に送信される。
医療用台車3には、医療用マニピュレータ1の動作を制御する制御部31と、医療用マニピュレータ1の動作を制御するためのプログラムなどが記憶される記憶部32とが設けられている。そして、遠隔操作装置2に入力された指令に基づいて、医療用台車3の制御部31は、医療用マニピュレータ1の動作を制御する。
また、医療用台車3には、入力装置33が設けられている。入力装置33は、主に施術前に手術の準備を行うために、ポジショナ40、アームベース50、および、複数のアーム60の移動や姿勢の変更の操作を受け付けるように構成されている。
図1および図2に示す医療用マニピュレータ1は、手術室内に配置されている。医療用マニピュレータ1は、医療用台車3と、ポジショナ40と、アームベース50と、複数のアーム60とを備えている。アームベース50は、ポジショナ40の先端に取り付けられている。アームベース50は、比較的長い棒形状(長尺形状)を有する。また、複数のアーム60は、各々のアーム60の基端部が、アームベース50に取り付けられている。複数のアーム60は、折り畳まれた姿勢(収納姿勢)をとることが可能に構成されている。アームベース50と、複数のアーム60とは、図示しない滅菌ドレープにより覆われて使用される。また、アーム60は、医療器具4を支持する。
ポジショナ40は、たとえば、7軸多関節ロボットにより構成されている。また、ポジショナ40は、医療用台車3上に配置されている。ポジショナ40は、アームベース50を移動させる。具体的には、ポジショナ40は、アームベース50の位置を3次元に移動させるように構成されている。
また、ポジショナ40は、ベース部41と、ベース部41に連結された複数のリンク部42とを含む。複数のリンク部42同士は、関節部43により連結されている。
図1に示すように、複数のアーム60の各々の先端には、医療器具4が取り付けられている。医療器具4は、たとえば、取り換え可能なインストゥルメント、手術部位を撮像する(手術部位の画像を取り込むための)内視鏡6などを含む。
図5に示すように、インストゥルメントには、アーム60のホルダ71に設けられたサーボモータによって駆動される被駆動ユニット4aが設けられている。また、インストゥルメントの先端には、鉗子4bが設けられている。
また、図6に示すように、インストゥルメントは、エンドエフェクタ部材104aおよび104bの基端側を先端側でJT11軸周りに回転可能に支持する第1支持体4eと、第1支持体4eの基端側を先端側でJT10軸周りに回転可能に支持する第2支持体4fと、第2支持体4fの基端側に接続されるシャフト4cとを含む。被駆動ユニット4aと、シャフト4cと、第2支持体4fと、第1支持体4eと、鉗子4bとは、Z方向に沿って配置されている。JT11軸は、シャフト4cが延びる方向(Z方向)に対して直交する。また、JT10軸は、シャフト4cが延びる方向においてJT11軸と離間しかつシャフト4cが延びる方向およびJT11軸に対して直交する。
第1支持体4eには、JT11軸の軸線周りに回転するように鉗子4bが取り付けられている。また、第2支持体4fは、第1支持体4eをJT10軸について回転可能に支持している。つまり、第2支持体4fにはJT10軸の軸線周りに回転するように第1支持体4eが取り付けられている。また、第1支持体4eの先端側(Z1方向側)の部分は、U字形状を有している。第1支持体4eのU字形状の先端側の部分のJT11軸の軸線における中央部にツールセンタポイント(TCP1、クレビス)が設定されている。
また、医療器具4(鉗子4b)は、シャフト4cの回転軸(シャフト4cが延びる方向に沿った軸)としてのJT9軸と、鉗子4bの開閉軸としてのJT12軸とを備えている。なお、アーム60のホルダ71に設けられたサーボモータM2は、複数(たとえば、4個)設けられており、複数のサーボモータM2によって、被駆動ユニット4aの回転体が駆動される。これにより、J9軸~J12軸周りに、医療器具4が駆動される。
次に、アーム60の構成について詳細に説明する。
図5に示すように、アーム60は、アーム部61(ベース部62、リンク部63、関節部64)と、アーム部61の先端に設けられる並進移動機構部70とを含む。アーム60は、アーム60の基端(根元)側(アームベース50)に対して先端側を3次元に移動させるように構成されている。また、アーム部61は、7軸多関節ロボットアームから構成されている。なお、複数のアーム60は、互いに同様の構成を有する。
図5に示すように、アーム60は、回転軸としてのJT1~JT7軸と、直動軸としてのJ8軸とを備えている。JT1~JT7軸は、アーム部61の関節部64の回転軸に対応する。また、JT7軸は、並進移動機構部70の基端側リンク部72に対応する。JT8軸は、並進移動機構部70の先端側リンク部73を基端側リンク部72に対してZ方向に沿って相対的に移動させる軸に対応する。
並進移動機構部70は、アーム部61の先端側に設けられるとともに医療器具4が取り付けられている。また、並進移動機構部70は、医療器具4を患者Pに挿入する方向に並進移動させる。また、並進移動機構部70は、医療器具4をアーム部61に対して相対的に並進移動させるように構成されている。具体的には、並進移動機構部70には、医療器具4を保持するホルダ71が設けられている。ホルダ71には、サーボモータが収容されている。
また、図1に示すように、複数のアーム60のうちの一つのアーム60(たとえば、アーム60c)には内視鏡6が取り付けられ、残りのアーム60(たとえば、アーム60a、60bおよび60d)には、内視鏡6以外の医療器具4が取り付けられる。具体的には、手術において、4つのアーム60のうちの1つのアーム60に内視鏡6が取り付けられ、3つのアーム60に内視鏡6以外の医療器具4(鉗子4bなど)が取り付けられる。
また、操作ハンドル21により操作可能なアーム60は、2つである。たとえば、操作ハンドル21Lによって、手術器具4Lを支持するための左アーム60L(例えば、アーム60a)が操作される。また、操作ハンドル21Rによって、手術器具4Rを支持するための右アーム60R(例えば、アーム60d)が操作される。なお、右アーム60R(アーム60d)は、特許請求の範囲の「第1ロボットアーム」の一例である。また、左アーム60L(アーム60a)は、特許請求の範囲の「第2ロボットアーム」の一例である。また、手術器具4Rおよび手術器具4Lは、特許請求の範囲の「第1手術器具」および「第2手術器具」の一例である。
また、手術システム100には、図1に示すように、モニタカート8が設けられている。モニタカート8は、表示部8aを含んでいる。モニタカート8の表示部8aには、遠隔操作装置2の表示部24に表示される画像と同じ画像表示される。つまり、表示部24に表示されて術者が見ている画像を、医療用マニピュレータ1および患者Pの周辺にいる作業者(看護師、助手など)がモニタカート8の表示部8aにより見ることが可能である。
図7に示すように、トレーニング装置200は、制御部201と、トレーニング用制御部202と、記憶部203とを備えている。たとえば、図1に示すように、制御部201と、トレーニング用制御部202と、記憶部203とは、モニタカート8に設けられている。また、トレーニング装置200は、手術システム100のトレーニングに用いられる。つまり、トレーニング装置200は、操作ハンドル21およびフットペダル22の操作を受け付けて、手術システム100の操作のトレーニングを行うために用いられる。
図7に示すように、制御部201は、手術システム100の遠隔操作装置2の操作ハンドル21(21Rおよび21L)の操作、フットペダル22の操作を受け付けて、医療用マニピュレータ1を動作させる制御を行う。また、制御部201は、内視鏡6により撮像した画像を表示部24に伝送する。つまり、制御部201は、実際の手術の際に、手術システム100を動作させる際にも用いられる。また、手術の際に医療用マニピュレータ1の操作を行う遠隔操作装置2の操作ハンドル21Rおよび21Lを用いてトレーニングが行われる。
また、制御部201は、トレーニングの際に、遠隔操作装置2の操作ハンドル21(21Rおよび21L)の操作、フットペダル22の操作を受け付けて、トレーニング用制御部202に操作された情報を送信する。また、制御部201は、トレーニング用制御部202から送信されるトレーニング用の画像を表示部24に伝送する。また、制御部201は、トレーニング用制御部202から送信されるトレーニング用の画像を表示部8aに伝送する。
記憶部203は、手術器具4Rおよび手術器具4Lが動作する手術部位の手術中の手術動画210が記憶されている。たとえば、記憶部203は、複数の手術動画210が記憶されている。
ここで、本実施形態では、トレーニング用制御部202は、図9に示すように、表示部24に、操作ハンドル21Rによる操作に対応するように仮想手術器具241Rを表示し、操作ハンドル21Lによる操作に対応するように仮想手術器具241Rを表示する。また、トレーニング用制御部202は、記憶部203に記憶された手術動画210を表示部24に表示するとともに、手術動画210に対して仮想手術器具241Rおよび241Lをオーバーレイ表示する。なお、仮想手術器具241Rは、特許請求の範囲の「第1仮想手術器具」の一例であり、仮想手術器具241Lは、特許請求の範囲の「第2仮想手術器具」の一例である。
トレーニング装置200によるトレーニングでは、操作者は、手術動画210の手術器具4Rおよび4Lに、仮想手術器具241Rおよび241Lがそれぞれ重なるように、操作ハンドル21Rおよび21Lを操作するようにして、トレーニングを行う。つまり、操作者(生徒の医師)は、プロクター(指導医)が行った手術の手術動画210を見ながら、プロクターの動作をトレースすることによりトレーニングを行う。
図10および図11に示すように、トレーニング用制御部202は、表示部24に、複数の手術動画210から1つの手術動画210を選択するための選択画面24bおよび24cを表示する。
選択画面24bは、図10に示すように、トレーニングを行う際の標準演習ホームの画面の一例である。標準演習ホームの画面では、複数のメニューを選択可能に、複数のボタン243が表示される。操作者は、操作ハンドル21Rおよび21L、または、タッチパネル23を操作して、メニューを選択する。
図11に示すように、トレーニング用制御部202は、手術動画210における手術の術式および手術を行った医師のうち少なくとも1つに基づいて手術動画210を選択可能なように、表示部24に選択画面24cを表示する。選択画面24cは、トレーニングを行う術式および術者を選択するための画面の一例である。選択画面24cでは、術式選択のための複数のボタン244および術者検索のためのボックス245が表示される。操作者は、操作ハンドル21Rおよび21L、または、タッチパネル23を操作して、術式や術者を選択する。また、操作者は、音声入力を用いて術式や術者を選択してもよい。また、選択画面24cには、グラフィカルユーザインターフェイスを含む第1の手術動画(GUI有)とグラフィカルユーザインターフェイスを含まない第2の手術動画(GUI無)の選択のためのボタン246が表示される。
記憶部203には、手術器具4Rに関する情報および手術器具4Lに関する情報を表示するグラフィカルユーザインターフェイスを含む第1の手術動画とグラフィカルユーザインターフェイスを含まない第2の手術動画の2種類の手術動画が記憶されている。第1の手術動画と第2の手術動画は、内視鏡で撮像された手術の動画は同一で、手術器具4Rに関する情報および手術器具4Lに関する情報を表示するグラフィカルユーザインターフェイスの有無のみが異なっている。
トレーニング用制御部202は、選択画面24cで、GUI有のボタン246が操作された場合、グラフィカルユーザインターフェイスを含む第1の手術動画を表示部24に表示する。一方、トレーニング用制御部202は、選択画面24cで、GUI無のボタン246が操作された場合、表示部24にグラフィカルユーザインターフェイスを含まない第2の手術動画を表示する。その際に、トレーニング用制御部202は、仮想手術器具241Rおよび241Lに対応するグラフィカルユーザインターフェイスを生成し、生成したグラフィカルユーザインターフェイスを第2の手術動画に重畳して表示部24に表示する。
図12に示すように、トレーニング用制御部202は、表示部24に、複数種類の手術器具の中から選択された1つの手術器具を仮想手術器具241Rとして設定し、複数種類の手術器具の中から選択された1つの手術器具を仮想手術器具241Lとして設定する設定画面24dを表示する。設定画面24dは、仮想手術器具241Rおよび241Lの手術器具を選択するための複数のボタン247が表示される。操作者は、操作ハンドル21Rおよび21L、または、タッチパネル23を操作して、手術器具の種類を選択する。選択された手術器具の種類に応じて、表示部24に表示される仮想手術器具241Rおよび241Lの種類が変更される。
図9に示すように、トレーニング用制御部202は、仮想手術器具241Rおよび241Lを、色を薄くして、または、半透明にして、手術動画210にオーバーレイ表示する。
まず、選択画面24cで、グラフィカルユーザインターフェイスを含む第1の手術動画が選択された場合について説明する。
図9に示すように、手術動画210は、手術器具4Rに関する情報および手術器具4Lに関する情報を表示するグラフィカルユーザインターフェイス242を含んでいる。つまり、手術動画210は、手術中に内視鏡6により撮像される映像に加えて、操作される手術器具4Rおよび4Lの情報を示すグラフィカルユーザインターフェイス242を映像として含んでいる。
グラフィカルユーザインターフェイス242は、右手用の操作ハンドル21Rによって操作される手術器具4Rに関する情報を示す第1エリア242aと、左手用の操作ハンドル21Lによって操作される手術器具4Lに関する情報を示す第2エリア242bと、内視鏡6に関する情報を示す第3エリア242cと、を含んでいる。また、グラフィカルユーザインターフェイス242は、交換用の手術器具に関する情報を示す第4エリア242dを含んでいる。また、グラフィカルユーザインターフェイス242は、クラッチペダル22bの操作状態を示す第5エリア242eを含んでいる。
第1エリア242aには、手術器具4Rの種類が表示される。第2エリア242bには、手術器具4Lの種類が表示される。また、第1エリア242aは、手術器具4Rに対するフットペダル22(切開ペダル22dRまたは凝固ペダル22eR)が操作された場合に、操作に応じた色が表示される。たとえば、第1エリア242aは、切開ペダル22dRが操作された場合に、黄色の反転表示が行われる。また、第1エリア242aは、凝固ペダル22eRが操作された場合に、青色の反転表示が行われる。
第2エリア242bは、手術器具4Lに対するフットペダル22(切開ペダル22dLまたは凝固ペダル22eL)が操作された場合に、操作に応じた色が表示される。たとえば、第2エリア242bは、切開ペダル22dLが操作された場合に、黄色の反転表示が行われる。また、第2エリア242bは、凝固ペダル22eLが操作された場合に、青色の反転表示が行われる。
第3エリア242cは、内視鏡6に対するフットペダル22(カメラペダル22c)が操作された場合に、操作に応じた色が表示される。たとえば、第3エリア242cは、カメラペダル22cが操作された場合に、背景色と文字色との反転表示が行われる。
第4エリア242dは、交換用の手術器具の種類が表示される。また、第4エリア242dは、第1エリア242aおよび第2エリア242bよりも薄目の色合いで情報が表示される。
手術動画210は、手術中において内視鏡6により撮像された画像が第2の手術動画として録画され、手術中において内視鏡6により撮像された画像と、上記のようなグラフィカルユーザインターフェイス242が合わせて第1の手術動画として録画される。また、手術動画210は、術者が手術中に発する音声を合わせて録音してもよい。
そして、トレーニング時に、トレーニング用制御部202は、グラフィカルユーザインターフェイス242を含む手術動画210(第1の手術動画)に対して仮想手術器具241Rおよび241Lをオーバーレイ表示する。
また、トレーニング用制御部202は、グラフィカルユーザインターフェイス242に基づいて、手術動画210の手術中のフットペダル22の操作を認識する。また、トレーニング用制御部202は、トレーニング中において、操作者のフットペダル22の操作を取得する。そして、トレーニング用制御部202は、手術中のフットペダル22の操作と、トレーニング中のフットペダル22との操作とを比較して、トレーニングにおいて、適切なタイミングにおいてフットペダル22が操作されたか否かを判断してもよい。
また、トレーニング用制御部202は、グラフィカルユーザインターフェイス242に基づいて、手術動画210の手術中の手術器具4Rおよび4Lの種類を認識して、仮想手術器具241Rおよび241Lを自動的に設定してもよい。
次に、選択画面24cで、グラフィカルユーザインターフェイスを含まない第2の手術動画が選択された場合について説明する。
図13に示すように、手術動画210は、仮想手術器具241Rに関する情報および仮想手術器具241Lに関する情報を表示するグラフィカルユーザインターフェイス248を含んでいる。つまり、手術動画210は、手術中に内視鏡6により撮像されるのみの動画であり、トレーニング用制御部202は、操作される仮想手術器具241Rおよび241Lの情報を示すグラフィカルユーザインターフェイス248を生成し、手術動画210(第2の手術動画)にグラフィカルユーザインターフェイス248を重畳して表示部24に表示している。
グラフィカルユーザインターフェイス248は、右手用の操作ハンドル21Rによって操作される仮想手術器具241Rに関する情報を示す第1エリア248aと、左手用の操作ハンドル21Lによって操作される仮想手術器具241Lに関する情報を示す第2エリア248bと、内視鏡6に関する情報を示す第3エリア248cと、を含んでいる。また、グラフィカルユーザインターフェイス248は、交換用の手術器具に関する情報を示す第4エリア248dを含んでいる。また、グラフィカルユーザインターフェイス248は、クラッチペダル22bの操作状態を示す第5エリア248eを含んでいる。
第1エリア248aには、仮想手術器具241Rの種類が表示される。第2エリア248bには、仮想手術器具242Lの種類が表示される。また、第1エリア248aは、仮想手術器具242Rに対するフットペダル22(切開ペダル22dRまたは凝固ペダル22eR)が操作された場合に、操作に応じた色が表示される。たとえば、第1エリア248aは、切開ペダル22dRが操作された場合に、黄色の反転表示が行われる。また、第1エリア248aは、凝固ペダル22eRが操作された場合に、青色の反転表示が行われる。
第2エリア248bは、仮想手術器具241Lに対するフットペダル22(切開ペダル22dLまたは凝固ペダル22eL)が操作された場合に、操作に応じた色が表示される。たとえば、第2エリア248bは、切開ペダル22dLが操作された場合に、黄色の反転表示が行われる。また、第2エリア248bは、凝固ペダル22eLが操作された場合に、青色の反転表示が行われる。
第3エリア248cは、内視鏡6に対するフットペダル22(カメラペダル22c)が操作された場合に、操作に応じた色が表示される。たとえば、第3エリア248cは、カメラペダル22cが操作された場合に、背景色と文字色との反転表示が行われる。
第4エリア248dは、交換用の手術器具の種類が表示される。また、第4エリア248dは、第1エリア248aおよび第2エリア248bよりも薄目の色合いで情報が表示される。
そして、トレーニング時に、トレーニング用制御部202は、グラフィカルユーザインターフェイス242を含まない手術動画210(第2の手術動画)に対してグラフィカルユーザインターフェイス248と仮想手術器具241Rおよび241Lをオーバーレイ表示する。
また、トレーニング用制御部202は、第1の手術動画に含まれるグラフィカルユーザインターフェイス242に基づいて、手術動画210の手術中のフットペダル22の操作を認識する。つまり、この場合、第1の手術動画は、表示部24には表示されないが、手術中のフットペダル22の操作のタイミングを認識するために用いられている。また、トレーニング用制御部202は、トレーニング中において、操作者のフットペダル22の操作を取得する。そして、トレーニング用制御部202は、手術中のフットペダル22の操作と、トレーニング中のフットペダル22との操作とを比較して、トレーニングにおいて、適切なタイミングにおいてフットペダル22が操作されたか否かを判断してもよい。
図8に示すように、トレーニングシステム300は、トレーニング装置200が設置された第1施設E1の端末装置301、および、手術システム100が設置された第2施設E2の端末装置302と通信可能であり、第1施設E1および第2施設E2とは異なる第3施設E3に設置されたサーバ装置303と、第2施設E2の手術システム100を用いて行われた手術中の手術動画210が記憶される記憶装置304と、を備える。記憶装置304は、たとえば、第2施設E2に設けられている。なお、端末装置301は、特許請求の範囲の「第1端末装置」の一例であり、端末装置302は、特許請求の範囲の「第2端末装置」の一例である。
端末装置301と、サーバ装置303とは、通信ネットワーク310を介して通信可能である。また、 端末装置302と、サーバ装置303とは、通信ネットワーク310を介して通信可能である。
サーバ装置303は、第2施設E2の手術システム100を用いて行われた手術中の手術動画210のアップロード要求に応じて、手術動画210を端末装置302から受信して記憶装置304に記憶させる。
また、サーバ装置303は、端末装置301からの手術動画のダウンロード要求に応じて、記憶装置304に記憶された手術動画210のダウンロードを許可する。
たとえば、第2施設E2においてプロクターが手術システム100を用いて実施された手術に基づく手術動画210は、術者としてプロクターの名前が登録される。また、術者は、生徒の医師に手術動画210を使用させるために、サーバ装置303に手術動画210をアップロードさせる。この場合、この手術動画210をダウンロード可能な範囲を生徒の医師に限定することができる。また、手術動画210の使用に関して、使用料が発生してもよい。この場合、サーバ装置303により使用料が管理される。つまり、サーバ装置303により、使用者からの使用料の徴収を管理するとともに、手術動画210の術者に対して使用料の支払いが管理される。つまり、ダウンロード状況(ダウンロード数)に応じて手術動画210の術者に対して使用料が支払われてもよい。
(本実施形態の効果)
本実施形態では、以下のような効果を得ることができる。
本実施形態では、上記のように、記憶部203に記憶された手術動画210を表示部24に表示するとともに、手術動画210に対して仮想手術器具241Rおよび241Lをオーバーレイ表示するトレーニング用制御部202を設ける。これにより、実際の手術動画を撮像することにより、トレーニングに用いる動画を生成することができるので、様々な手術に応じた手術動画210を容易に生成することができる。これにより、医師が様々な手術に応じたトレーニングを容易に行うことができる。また、プロクター(指導医)が生徒の医師に指導対象の術式に応じたトレーニングを行わせる場合に、プロクターの行った手術の手術動画210を用いて生徒の医師がトレーニングを行うことにより、プロクターの手術を生徒の医師が事前にトレーニングすることができる。また、手術動画210に対して仮想手術器具241Rおよび241Lをオーバーレイ表示することにより、トレーニングにおいて操作する仮想手術器具241Rおよび241Lを表示することができるので、手術動画210を用いた場合でも、容易にトレーニングを行うことができる。
また、本実施形態では、上記のように、記憶部203は、複数の手術動画210が記憶されており、トレーニング用制御部202は、表示部24に、複数の手術動画210から1つの手術動画210を選択するための選択画面24cを表示するように構成されている。これにより、複数の手術動画210の中からトレーニングに適した手術動画210を選択画面24cから選択することができるので、所望の手術のトレーニングを容易に行うことができる。
また、本実施形態では、上記のように、トレーニング用制御部202は、手術動画210における手術の術式および手術を行った医師のうち少なくとも1つに基づいて手術動画210を選択可能なように、表示部24に選択画面24cを表示するように構成されている。これにより、トレーニングを行う術式に対応する手術動画210、または、プロクターの医師が行った手術動画を容易に選択することができるので、トレーニングを行う医師がトレーニングに適した手術動画210を容易に選択することができる。
また、本実施形態では、上記のように、トレーニング用制御部202は、表示部24に、複数種類の手術器具の中から選択された1つの手術器具を仮想手術器具241Rとして設定し、複数種類の手術器具の中から選択された1つの手術器具を仮想手術器具241Lとして設定する設定画面24dを表示するように構成されている。これにより、手術動画210中の手術器具4Rおよび4Lとそれぞれ同じ種類の手術器具を、仮想手術器具241Rおよび241Lに設定することができるので、手術動画210にオーバーレイ表示された仮想手術器具241Rおよび241Lを、手術動画210中の手術器具4Rおよび4Lにそれぞれ重ねるように操作してトレーニングを行うことができる。
また、本実施形態では、上記のように、トレーニング用制御部202は、仮想手術器具241Rおよび241Lを、色を薄くして、または、半透明にして、手術動画210にオーバーレイ表示する。これにより、オーバーレイ表示された仮想手術器具241Rおよび241Lにより、トレーニング中に手術動画210が見えにくくなるのを抑制することができる。また、仮想手術器具241Rおよび241Lと、手術器具4Rおよび4Lとを容易に区別することができる。
また、本実施形態では、上記のように、手術動画210は、手術器具4Rに関する情報および手術器具4Lに関する情報を表示するグラフィカルユーザインターフェイス242を含み、トレーニング用制御部202は、グラフィカルユーザインターフェイス242を含む手術動画210に対して仮想手術器具241Rおよび241Lをオーバーレイ表示するように構成されている。これにより、手術動画210を撮像した際の手術器具4Rに関する情報および手術器具4Lに関する情報も、トレーニング中に確認することができるので、手術中の手術器具4Rおよび手術器具4Lの状態を確認しながら、トレーニングをより適切に行うことができる。
また、本実施形態では、上記のように、手術動画210は、手術器具4Rに関する情報および手術器具4Lに関する情報を表示するグラフィカルユーザインターフェイス242を含まず、トレーニング用制御部202は、グラフィカルユーザインターフェイス242を含まない手術動画210に対してグラフィカルユーザインターフェイス248と仮想手術器具241Rおよび241Lをオーバーレイ表示するように構成されている。これにより、手術動画210中の手術器具4Rおよび手術器具4Lの動きのみに応じてトレーニングを行うことで、実際の手術を模したトレーニングを行うことができる。また、手術動画210として、同じ術者の行った第1および第2の手術動画を用いてトレーニングを行うことで、より充実したトレーニングを行うことができる。
また、本実施形態では、上記のように、手術の際に医療用マニピュレータ1の操作を行う遠隔操作装置2の操作ハンドル21Rおよび21Lを用いてトレーニングを行う。これにより、手術の際に用いる遠隔操作装置2を用いてトレーニングを行うことができるので、トレーニングを行うための専用の遠隔操作装置2を別途設ける必要がない。
また、本実施形態では、上記のように、サーバ装置303は、第2施設E2の手術システム100を用いて行われた手術中の手術動画210のアップロード要求に応じて、手術動画210を端末装置302から受信して記憶装置304に記憶させるように構成されている。これにより、記憶装置304にアップロードされたプロクター(指導医)が行った手術の手術動画210を、第1施設E1のトレーニング装置200にダウンロードすることにより、生徒の医師が第1施設E1においてトレーニングを行うことができる。
また、本実施形態では、上記のように、サーバ装置303は、端末装置301からの手術動画のダウンロード要求に応じて、記憶装置304に記憶された手術動画210のダウンロードを許可する。これにより、記憶装置304に記憶された手術動画をダウンロードして、ダウンロードした手術動画210を用いて第1施設E1において容易にトレーニングを行うことができる。
(変形例)
なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更(変形例)が含まれる。
たとえば、上記実施形態では、手術の際に患者側装置の操作を行う医師側操作装置の第1入力装置および第2入力装置を用いてトレーニングを行う構成の例を示したが、本発明はこれに限られない。本発明では、手術の際に用いる医師側操作装置とは別個に、トレーニング用の第1入力装置および第2入力装置を設けてもよい。
また、上記実施形態では、手術中の内視鏡の画像とともにグラフィカルユーザインターフェイスが手術動画に記録される構成の例を示したが、本発明はこれに限られない。本発明では、手術動画にグラフィカルユーザインターフェイスが記録されていなくてもよい。この場合、トレーニングにおいて、内視鏡により撮像された手術動画に、トレーニング中の状態を示すグラフィカルユーザインターフェイスを重ねて表示してもよい。
また、上記実施形態では、患者側装置に、交換用の医療器具が設けられる例を示したが、本発明はこれに限られない。たとえば、患者側装置に、交換用の医療器具が設けられていなくてもよい。
また、上記実施形態では、ロボットアームが4つ設けられている例を示したが、本発明はこれに限られない。本発明では、ロボットアームの数は、少なくとも2つ以上設けられていれば他の任意の数であってもよい。
また、上記実施形態では、ロボットアームおよびポジショナが7軸多関節ロボットから構成されている例を示したが、本発明はこれに限られない。たとえば、ロボットアームおよびポジショナが7軸多関節ロボット以外の軸構成(例えば、6軸や8軸)の多関節ロボットなどから構成されていてもよい。
また、上記実施形態では、患者側装置が、医療用台車と、ポジショナと、アームベースとを備えている例を示したが、本発明はこれに限らない。たとえば、医療用台車と、ポジショナと、アームベースは必ずしも必要なく、患者側装置が、ロボットアームだけで構成されてもよい。
1:医療用マニピュレータ(患者側装置)、2:遠隔操作装置(医師側操作装置)、4L:手術器具(第2手術器具)、4R:手術器具(第1手術器具)、21L:操作ハンドル(第2入力装置)、21R:操作ハンドル(第1入力装置)、24:表示部、24c:選択画面、24d:設定画面、60L:左アーム(第2ロボットアーム)、60R:右アーム(第1ロボットアーム)、100:手術システム、200:トレーニング装置、202:トレーニング用制御部、203:記憶部、210:手術動画、241L:仮想手術器具(第2仮想手術器具)、241R:仮想手術器具(第1仮想手術器具)、242:グラフィカルユーザインターフェイス、300:トレーニングシステム、301:端末装置(第1端末装置)、302:端末装置(第2端末装置)、303:サーバ装置、304:記憶装置、E1:第1施設、E2:第2施設、E3:第3施設

Claims (12)

  1. 第1手術器具を取り付けた第1ロボットアームおよび第2手術器具を取り付けた第2ロボットアームを含む患者側装置と、前記第1ロボットアームを操作するための第1入力装置、前記第2ロボットアームを操作するための第2入力装置および表示部を含む医師側操作装置とを備える手術システムのトレーニングに用いられるトレーニング装置であって、
    前記表示部に、前記第1入力装置による操作に対応するように第1仮想手術器具を表示し、前記第2入力装置による操作に対応するように第2仮想手術器具を表示するトレーニング用制御部と、
    前記第1手術器具および前記第2手術器具が動作する手術部位の手術中の手術動画が記憶された記憶部と、を備え、
    前記トレーニング用制御部は、前記記憶部に記憶された前記手術動画を前記表示部に表示するとともに、前記手術動画に対して前記第1仮想手術器具および前記第2仮想手術器具をオーバーレイ表示するように構成されている、トレーニング装置。
  2. 前記記憶部は、複数の前記手術動画が記憶されており、
    前記トレーニング用制御部は、前記表示部に、前記複数の手術動画から1つの前記手術動画を選択するための選択画面を表示するように構成されている、請求項1に記載のトレーニング装置。
  3. 前記トレーニング用制御部は、前記手術動画における手術の術式および手術を行った医師のうち少なくとも1つに基づいて前記手術動画を選択可能なように、前記表示部に前記選択画面を表示するように構成されている、請求項2に記載のトレーニング装置。
  4. 前記トレーニング用制御部は、前記表示部に、複数種類の手術器具の中から選択された1つの手術器具を前記第1仮想手術器具として設定し、複数種類の手術器具の中から選択された1つの手術器具を前記第2仮想手術器具として設定する設定画面を表示するように構成されている、請求項1~3のいずれか1項に記載のトレーニング装置。
  5. 前記トレーニング用制御部は、前記第1仮想手術器具および前記第2仮想手術器具を、色を薄くして、または、半透明にして、前記手術動画にオーバーレイ表示する、請求項1~4のいずれか1項に記載のトレーニング装置。
  6. 前記手術動画は、前記第1手術器具に関する情報および前記第2手術器具に関する情報を表示するグラフィカルユーザインターフェイスを含む第1の手術動画であり、
    前記トレーニング用制御部は、前記第1の手術動画に対して前記第1仮想手術器具および前記第2仮想手術器具をオーバーレイ表示するように構成されている、請求項1~5のいずれか1項に記載のトレーニング装置。
  7. 前記手術動画は、前記第1手術器具に関する情報および前記第2手術器具に関する情報を表示するグラフィカルユーザインターフェイスを含まない第2の手術動画であり、
    前記トレーニング用制御部は、前記第1仮想手術器具および前記第2仮想手術器具に関する情報を表示するグラフィカルユーザインターフェイスと前記第1仮想手術器具および前記第2仮想手術器具とを前記第2の手術動画に対してオーバーレイ表示するように構成されている、請求項1~5のいずれか1項に記載のトレーニング装置。
  8. 前記トレーニング用制御部は、前記第1手術器具に関する情報および前記第2手術器具に関する情報を表示するグラフィカルユーザインターフェイスを含む第1の手術動画と前記第1手術器具に関する情報および前記第2手術器具に関する情報を表示するグラフィカルユーザインターフェイスを含まない第2の手術動画とを選択可能なように、前記表示部に前記選択画面を表示するように構成されている、請求項2に記載のトレーニング装置。
  9. 手術の際に前記患者側装置の操作を行う医師側操作装置の前記第1入力装置および前記第2入力装置を用いてトレーニングを行う、請求項1~8のいずれか1項に記載のトレーニング装置。
  10. 第1手術器具を取り付けた第1ロボットアームおよび第2手術器具を取り付けた第2ロボットアームを含む患者側装置と、前記第1ロボットアームを操作するための第1入力装置、前記第2ロボットアームを操作するための第2入力装置および表示部を含む医師側操作装置とを備える手術システムのトレーニングに用いられ、前記表示部に、前記第1入力装置による操作に対応するように第1仮想手術器具を表示し、前記第2入力装置による操作に対応するように第2仮想手術器具を表示し、前記第1手術器具および前記第2手術器具が動作する手術部位の手術中の手術動画を前記表示部に表示するとともに、前記手術動画に対して前記第1仮想手術器具および前記第2仮想手術器具をオーバーレイ表示するトレーニング装置が設置された第1施設の第1端末装置、および、前記手術システムが設置された第2施設の第2端末装置と通信可能であり、前記第1施設および前記第2施設とは異なる第3施設に設置されたサーバ装置と、
    前記第2施設の前記手術システムを用いて行われた手術中の前記手術動画が記憶される記憶装置と、を備える、トレーニングシステム。
  11. 前記サーバ装置は、前記第2施設の前記手術システムを用いて行われた手術中の前記手術動画のアップロード要求に応じて、前記手術動画を前記第2端末装置から受信して前記記憶装置に記憶させるように構成されている、請求項10に記載のトレーニングシステム。
  12. 前記サーバ装置は、前記第1端末装置からの前記手術動画のダウンロード要求に応じて、前記記憶装置に記憶された前記手術動画のダウンロードを許可する、請求項10または11に記載のトレーニングシステム。
JP2021099008A 2021-06-14 2021-06-14 トレーニング装置およびトレーニングシステム Pending JP2022190604A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021099008A JP2022190604A (ja) 2021-06-14 2021-06-14 トレーニング装置およびトレーニングシステム
US17/837,079 US20220395341A1 (en) 2021-06-14 2022-06-10 Training device and training system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021099008A JP2022190604A (ja) 2021-06-14 2021-06-14 トレーニング装置およびトレーニングシステム

Publications (1)

Publication Number Publication Date
JP2022190604A true JP2022190604A (ja) 2022-12-26

Family

ID=84391062

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021099008A Pending JP2022190604A (ja) 2021-06-14 2021-06-14 トレーニング装置およびトレーニングシステム

Country Status (2)

Country Link
US (1) US20220395341A1 (ja)
JP (1) JP2022190604A (ja)

Also Published As

Publication number Publication date
US20220395341A1 (en) 2022-12-15

Similar Documents

Publication Publication Date Title
JP7275204B2 (ja) 遠隔操作医療システムにおけるオンスクリーンメニューのためのシステム及び方法
JP7195385B2 (ja) 医療処置トレーニングのためのシミュレータシステム
CN107111682B (zh) 集成用户环境
JP4156606B2 (ja) 臨場感を伴った遠隔操作の方法及びシステム等
JP2002287613A (ja) 操作訓練用装置
CN110996825A (zh) 用于在多个器械臂之间切换控制权的系统和方法
US20230285089A1 (en) Auxiliary Apparatus for Surgical Operations
JP6778326B2 (ja) マスタ操作入力装置およびマスタスレーブマニピュレータ
JP2022190604A (ja) トレーニング装置およびトレーニングシステム
CN108697470A (zh) 由多个臂支撑的外科平台
KR20100124638A (ko) 이력정보를 이용한 수술 로봇 시스템 및 그 제어 방법
JP2022088805A (ja) ロボット手術システムおよび表示方法
KR100956762B1 (ko) 이력정보를 이용한 수술 로봇 시스템 및 그 제어 방법
WO2018069834A1 (en) A simulator for manual tasks
KR20220029314A (ko) 보조 로봇을 이용한 복강경 수술 시스템
JP2023008313A (ja) 手術システム、表示方法およびプログラム
JP2023008647A (ja) 手術システム、表示方法およびプログラム
US20230414307A1 (en) Systems and methods for remote mentoring
JP2022115264A (ja) 手術システムおよび表示方法
US20230149085A1 (en) Surgical simulation device
JP2022120451A (ja) 手術システムおよび表示方法
JP2023172575A (ja) 手術システム、表示方法およびプログラム
JP2023172576A (ja) 手術システム、表示方法およびプログラム
JP2023183966A (ja) 手術用ロボットを用いた手術画像の提供方法および情報処理システム