JP2021003531A - 手術支援システム、制御装置及び制御方法 - Google Patents

手術支援システム、制御装置及び制御方法 Download PDF

Info

Publication number
JP2021003531A
JP2021003531A JP2019120349A JP2019120349A JP2021003531A JP 2021003531 A JP2021003531 A JP 2021003531A JP 2019120349 A JP2019120349 A JP 2019120349A JP 2019120349 A JP2019120349 A JP 2019120349A JP 2021003531 A JP2021003531 A JP 2021003531A
Authority
JP
Japan
Prior art keywords
surgical
surgical manipulator
switching
manipulator
determination unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019120349A
Other languages
English (en)
Other versions
JP7334499B2 (ja
Inventor
景 戸松
Akira Tomatsu
景 戸松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2019120349A priority Critical patent/JP7334499B2/ja
Priority to US17/614,572 priority patent/US20220218427A1/en
Priority to CN202080045194.0A priority patent/CN113993478A/zh
Priority to PCT/JP2020/022479 priority patent/WO2020261956A1/en
Priority to EP20743874.8A priority patent/EP3989867A1/en
Publication of JP2021003531A publication Critical patent/JP2021003531A/ja
Application granted granted Critical
Publication of JP7334499B2 publication Critical patent/JP7334499B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B34/32Surgical robots operating autonomously
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90Identification means for patients or instruments, e.g. tags
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B34/37Master-slave robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70Manipulators specially adapted for use in surgery
    • A61B34/74Manipulators with manual electric input means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70Manipulators specially adapted for use in surgery
    • A61B34/76Manipulators having means for providing feel, e.g. force or tactile feedback
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50Supports for surgical instruments, e.g. articulated arms
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/32Surgical cutting instruments
    • A61B17/3209Incision instruments
    • A61B17/3211Surgical scalpels, knives; Accessories therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34Trocars; Puncturing needles
    • A61B17/3403Needle locating or guiding means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2055Optical tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2055Optical tracking systems
    • A61B2034/2057Details of tracking cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems
    • A61B2034/254User interfaces for surgical systems being adapted depending on the stage of the surgical procedure
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems
    • A61B2034/258User interfaces for surgical systems providing specific settings for specific users
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B2034/302Surgical robots specifically adapted for manipulations within body cavities, e.g. within abdominal or thoracic cavities
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06Measuring instruments not otherwise provided for
    • A61B2090/064Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06Measuring instruments not otherwise provided for
    • A61B2090/064Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A61B2090/065Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension for measuring contact or contact pressure
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361Image-producing devices, e.g. surgical cameras
    • A61B2090/3612Image-producing devices, e.g. surgical cameras with images taken automatically
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20Surgical microscopes characterised by non-optical aspects
    • A61B90/25Supports therefor

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Robotics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Urology & Nephrology (AREA)
  • Endoscopes (AREA)

Abstract

【課題】手術用マニピュレータの自律駆動と、手動操作とのモードの切り替えを適切に行うこと。【解決手段】手術支援システムは、手術用マニピュレータと、手術用マニピュレータに対する自律駆動モードと手動操作モードとを切り替える切り替え操作を検知する検知部と、検知部によって切り替え操作が検知された場合、手術用マニピュレータが配置された手術室の状況を判定する判定部と、判定部によって判定された状況に応じた切り替えシーケンスを選択する選択部と、を備える。【選択図】図9

Description

本開示は、手術支援システム、制御装置及び制御方法に関する。
近年、医療分野においては、各種の施術を行う際に、アームの先端に様々な医療用のユニットが設けられた多関節アーム(支持アームとも称する)を用いる方法が提案されている。
例えば、特許文献1には、体内に挿入して使用した際に、周辺の組織への接触を抑制することが可能な医療用マニピュレータが開示されている。
特表2016−501042号公報
ところで、医療分野においては、術野環境をセンサによってセンシングし、その環境を認識したうえで次の動作を決定して実行するような、いわゆる自律駆動する手術システムを用いて手術を行う方法が提案されている。このような手術システムを用いる場合、技術的及び倫理的なハードルから手術の全てを医療用マニピュレータが行うわけではなく、一部の手技については医師が自分の手で手術を行うことが想定される。例えば、手術システムが自律的に駆動可能でかつ手動操作も可能なシステムの場合には、その切り替えを適切に行うことのできるシステムが必要となることが予想される。
そこで、本開示では、手術用マニピュレータの自律駆動と、手動操作とのモードの切り替えを適切に行うことのできる手術支援システム、制御装置及び制御方法を提案する。なお、本開示において自律駆動とは、術野環境をセンシング結果から認識したうえで次の動作を決定して実行する場合や、一連の動作の一部(環境認識や動作の決定等)をユーザが担うまたは補助する場合(半自律、監視付きの自律)の両方を含む。
上記の課題を解決するために、本開示に係る一態様の手術支援システムは、手術用マニピュレータと、前記手術用マニピュレータの自律駆動モードと手動操作モードとを切り替える切り替え操作を検知する検知部と、前記検知部によって切り替え操作が検知された場合に、前記手術用マニピュレータが配置された手術室の状況を判定する判定部と、前記判定部によって判定された状況に応じた切り替えシーケンスを選択する選択部と、を備える。
手術室システムの全体構成を概略的に示す図である。 集中操作パネルにおける操作画面の表示例を示す図である。 手術室システムが適用された手術の様子の一例を示す図である。 図3に示すカメラヘッド及びCCUの機能構成の一例を示すブロック図である。 本開示の実施形態に係る支持アーム装置の外観を示す概略図である。 本開示の実施形態に係るマスタースレーブ装置の構成の一例を示す図である。 本開示の実施形態に係る手術支援システムの構成の一例を示す図である。 本開示の実施形態に係る手術マニピュレータの構成の一例を示す図である。 本開示の実施形態に係る制御装置の構成の一例を示すブロック図である。 本開示の実施形態に係る制御装置の制御部の第1の処理の流れを示すフローチャートである。 本開示の実施形態に係る制御装置の制御部の第2の処理の流れを示すフローチャートである。 本開示の実施形態に係る制御装置の制御部の第2の処理において手術用マニピュレータに装着されている医療用器具がカメラである場合の切り替え処理の流れの一例を示すフローチャートである。 本開示の実施形態に係る制御装置の制御部の第2の処理において手術用マニピュレータに装着されている医療用器具がメスである場合の切り替え処理の流れの一例を示すフローチャートである。 本開示の実施形態に係る制御装置の制御部の第2の処理において手術用マニピュレータに装着されている医療用器具が針である場合の切り替え処理の流れの一例を示すフローチャートである。 本開示の実施形態に係る制御装置の制御部の第2の処理において手術用マニピュレータに装着されている医療用器具がリトラクターである場合の切り替え処理の流れの一例を示すフローチャートである。 本開示の実施形態に係る制御装置の制御部の第3の処理の流れを示すフローチャートである。 本開示の実施形態に係る制御装置の制御部の第4の処理の流れを示すフローチャートである。 本開示の実施形態に係る制御装置の制御部の第5の処理の流れを示すフローチャートである。 本開示の実施形態に係る制御装置の制御部の第6の処理の流れを示すフローチャートである。 本開示の実施形態に係る制御装置の制御部の第7の処理の流れを示すフローチャートである。 本開示の実施形態に係る制御装置の制御部の第8の処理の流れを示すフローチャートである。 本開示の実施形態に係る制御装置の制御部の第9の処理の流れを示すフローチャートである。 情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
以下に示す項目順序に従って本開示を説明する。
1.手術システムの構成例
2.支持アーム装置の構成例
3.手術支援システム
3−1.手術支援システムの構成
3−2.手術用マニピュレータ
3−3.制御装置
4.制御装置の処理
4−1.第1の処理
4−2.第2の処理
4−2−1.カメラの場合の処理
4−2−2.メスの場合の処理
4−2−3.持針器の場合の処理
4−2−4.リトラクターの場合の処理
4−3.第3の処理
4−4.第4の処理
4−5.第5の処理
4−6.第6の処理
4−7.第7の処理
4−8.第8の処理
4−9.第9の処理
5.ハードウェア構成
[1.手術システムの構成例]
図1は、本開示に係る技術が適用され得る手術室システム5100の全体構成を概略的に示す図である。図1を参照すると、手術室システム5100は、手術室内に設置される装置群が視聴覚コントローラ(AV Controller)5107及び手術室制御装置5109を介して互いに連携可能に接続されることにより構成される。
手術室には、様々な装置が設置され得る。図1では、一例として、内視鏡下手術のための各種の装置群5101と、手術室の天井に設けられ術者の手元を撮像するシーリングカメラ5187と、手術室の天井に設けられ手術室全体の様子を撮像する術場カメラ5189と、複数の表示装置5103A〜5103Dと、レコーダ5105と、患者ベッド5183と、照明5191と、を図示している。
ここで、これらの装置のうち、装置群5101は、後述する内視鏡手術システム5113に属するものであり、内視鏡や当該内視鏡によって撮像された画像を表示する表示装置等からなる。内視鏡手術システム5113に属する各装置は医療用機器とも呼称される。一方、表示装置5103A〜5103D、レコーダ5105、患者ベッド5183及び照明5191は、内視鏡手術システム5113とは別個に、例えば手術室に備え付けられている装置である。これらの内視鏡手術システム5113に属さない各装置は非医療用機器とも呼称される。視聴覚コントローラ5107及び/又は手術室制御装置5109は、これら医療機器及び非医療機器の動作を互いに連携して制御する。
視聴覚コントローラ5107は、医療機器及び非医療機器における画像表示に関する処理を、統括的に制御する。具体的には、手術室システム5100が備える装置のうち、装置群5101、シーリングカメラ5187及び術場カメラ5189は、手術中に表示すべき情報(以下、表示情報ともいう)を発信する機能を有する装置(以下、発信元の装置とも呼称する)であり得る。また、表示装置5103A〜5103Dは、表示情報が出力される装置(以下、出力先の装置とも呼称する)であり得る。また、レコーダ5105は、発信元の装置及び出力先の装置の双方に該当する装置であり得る。視聴覚コントローラ5107は、発信元の装置及び出力先の装置の動作を制御し、発信元の装置から表示情報を取得するとともに、当該表示情報を出力先の装置に送信し、表示又は記録させる機能を有する。なお、表示情報とは、手術中に撮像された各種の画像や、手術に関する各種の情報(例えば、患者の身体情報や、過去の検査結果、術式についての情報等)等である。
具体的には、視聴覚コントローラ5107には、装置群5101から、表示情報として、内視鏡によって撮像された患者の体腔内の術部の画像についての情報が送信され得る。また、シーリングカメラ5187から、表示情報として、当該シーリングカメラ5187によって撮像された術者の手元の画像についての情報が送信され得る。また、術場カメラ5189から、表示情報として、当該術場カメラ5189によって撮像された手術室全体の様子を示す画像についての情報が送信され得る。なお、手術室システム5100に撮像機能を有する他の装置が存在する場合には、視聴覚コントローラ5107は、表示情報として、当該他の装置からも当該他の装置によって撮像された画像についての情報を取得してもよい。
あるいは、例えば、レコーダ5105には、過去に撮像されたこれらの画像についての情報が視聴覚コントローラ5107によって記録されている。視聴覚コントローラ5107は、表示情報として、レコーダ5105から当該過去に撮像された画像についての情報を取得することができる。なお、レコーダ5105には、手術に関する各種の情報も事前に記録されていてもよい。
視聴覚コントローラ5107は、出力先の装置である表示装置5103A〜5103Dの少なくともいずれかに、取得した表示情報(すなわち、手術中に撮影された画像や、手術に関する各種の情報)を表示させる。図示する例では、表示装置5103Aは手術室の天井から吊り下げられて設置される表示装置であり、表示装置5103Bは手術室の壁面に設置される表示装置であり、表示装置5103Cは手術室内の机上に設置される表示装置であり、表示装置5103Dは表示機能を有するモバイル機器(例えば、タブレットPC(Personal Computer))である。
また、図1では図示を省略しているが、手術室システム5100には、手術室の外部の装置が含まれてもよい。手術室の外部の装置は、例えば、病院内外に構築されたネットワークに接続されるサーバや、医療スタッフが用いるPC、病院の会議室に設置されるプロジェクタ等であり得る。このような外部装置が病院外にある場合には、視聴覚コントローラ5107は、遠隔医療のために、テレビ会議システム等を介して、他の病院の表示装置に表示情報を表示させることもできる。
手術室制御装置5109は、非医療機器における画像表示に関する処理以外の処理を、統括的に制御する。例えば、手術室制御装置5109は、患者ベッド5183、シーリングカメラ5187、術場カメラ5189及び照明5191の駆動を制御する。
手術室システム5100には、集中操作パネル5111が設けられており、ユーザは、当該集中操作パネル5111を介して、視聴覚コントローラ5107に対して画像表示についての指示を与えたり、手術室制御装置5109に対して非医療機器の動作についての指示を与えることができる。集中操作パネル5111は、表示装置の表示面上にタッチパネルが設けられて構成される。
図2は、集中操作パネル5111における操作画面の表示例を示す図である。図2では、一例として、手術室システム5100に、出力先の装置として、2つの表示装置が設けられている場合に対応する操作画面を示している。図2を参照すると、操作画面5193には、発信元選択領域5195と、プレビュー領域5197と、コントロール領域5201と、が設けられる。
発信元選択領域5195には、手術室システム5100に備えられる発信元装置と、当該発信元装置が有する表示情報を表すサムネイル画面と、が紐付けられて表示される。ユーザは、表示装置に表示させたい表示情報を、発信元選択領域5195に表示されているいずれかの発信元装置から選択することができる。
プレビュー領域5197には、出力先の装置である2つの表示装置(Monitor1、Monitor2)に表示される画面のプレビューが表示される。図示する例では、1つの表示装置において4つの画像がPinP表示されている。当該4つの画像は、発信元選択領域5195において選択された発信元装置から発信された表示情報に対応するものである。4つの画像のうち、1つはメイン画像として比較的大きく表示され、残りの3つはサブ画像として比較的小さく表示される。ユーザは、4つの画像が表示された領域を適宜選択することにより、メイン画像とサブ画像を入れ替えることができる。また、4つの画像が表示される領域の下部には、ステータス表示領域5199が設けられており、当該領域に手術に関するステータス(例えば、手術の経過時間や、患者の身体情報等)が適宜表示され得る。
コントロール領域5201には、発信元の装置に対して操作を行うためのGUI(Graphical User Interface)部品が表示される発信元操作領域5203と、出力先の装置に対して操作を行うためのGUI部品が表示される出力先操作領域5205と、が設けられる。図示する例では、発信元操作領域5203には、撮像機能を有する発信元の装置におけるカメラに対して各種の操作(パン、チルト及びズーム)を行うためのGUI部品が設けられている。ユーザは、これらのGUI部品を適宜選択することにより、発信元の装置におけるカメラの動作を操作することができる。なお、図示は省略しているが、発信元選択領域5195において選択されている発信元の装置がレコーダである場合(すなわち、プレビュー領域5197において、レコーダに過去に記録された画像が表示されている場合)には、発信元操作領域5203には、当該画像の再生、再生停止、巻き戻し、早送り等の操作を行うためのGUI部品が設けられ得る。
また、出力先操作領域5205には、出力先の装置である表示装置における表示に対する各種の操作(スワップ、フリップ、色調整、コントラスト調整、2D表示と3D表示の切り替え)を行うためのGUI部品が設けられている。ユーザは、これらのGUI部品を適宜選択することにより、表示装置における表示を操作することができる。
なお、集中操作パネル5111に表示される操作画面は図示する例に限定されず、ユーザは、集中操作パネル5111を介して、手術室システム5100に備えられる、視聴覚コントローラ5107及び手術室制御装置5109によって制御され得る各装置に対する操作入力が可能であってよい。
図3は、以上説明した手術室システムが適用された手術の様子の一例を示す図である。シーリングカメラ5187及び術場カメラ5189は、手術室の天井に設けられ、患者ベッド5183上の患者5185の患部に対して処置を行う術者(医者)5181の手元及び手術室全体の様子を撮影可能である。シーリングカメラ5187及び術場カメラ5189には、倍率調整機能、焦点距離調整機能、撮影方向調整機能等が設けられ得る。照明5191は、手術室の天井に設けられ、少なくとも術者5181の手元を照射する。照明5191は、その照射光量、照射光の波長(色)及び光の照射方向等を適宜調整可能であってよい。
内視鏡手術システム5113、患者ベッド5183、シーリングカメラ5187、術場カメラ5189及び照明5191は、図1に示すように、視聴覚コントローラ5107及び手術室制御装置5109(図3では図示せず)を介して互いに連携可能に接続されている。手術室内には、集中操作パネル5111が設けられており、上述したように、ユーザは、当該集中操作パネル5111を介して、手術室内に存在するこれらの装置を適宜操作することが可能である。
以下、内視鏡手術システム5113の構成について詳細に説明する。図示するように、内視鏡手術システム5113は、内視鏡5115と、その他の術具5131と、内視鏡5115を支持する支持アーム装置5141と、内視鏡下手術のための各種の装置が搭載されたカート5151と、から構成される。
内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ5139a〜5139dと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ5139a〜5139dから、内視鏡5115の鏡筒5117や、その他の術具5131が患者5185の体腔内に挿入される。図示する例では、その他の術具5131として、気腹チューブ5133、エネルギー処置具5135及び鉗子5137が、患者5185の体腔内に挿入されている。また、エネルギー処置具5135は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具5131はあくまで一例であり、術具5131としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。
内視鏡5115によって撮影された患者5185の体腔内の術部の画像が、表示装置5155に表示される。術者5181は、表示装置5155に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具5135や鉗子5137を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ5133、エネルギー処置具5135及び鉗子5137は、手術中に、術者5181又は助手等によって支持される。
(支持アーム装置)
支持アーム装置5141は、ベース部5143から延伸するアーム部5145を備える。図示する例では、アーム部5145は、関節部5147a、5147b、5147c、及びリンク5149a、5149bから構成されており、アーム制御装置5159からの制御により駆動される。アーム部5145によって内視鏡5115が支持され、その位置及び姿勢が制御される。これにより、内視鏡5115の安定的な位置の固定が実現され得る。
(内視鏡)
内視鏡5115は、先端から所定の長さの領域が患者5185の体腔内に挿入される鏡筒5117と、鏡筒5117の基端に接続されるカメラヘッド5119と、から構成される。図示する例では、硬性の鏡筒5117を有するいわゆる硬性鏡として構成される内視鏡5115を図示しているが、内視鏡5115は、軟性の鏡筒5117を有するいわゆる軟性鏡として構成されてもよい。
鏡筒5117の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡5115には光源装置5157が接続されており、当該光源装置5157によって生成された光が、鏡筒5117の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者5185の体腔内の観察対象に向かって照射される。なお、内視鏡5115は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
カメラヘッド5119の内部には光学系及び撮像素子が設けられており、観察対象からの反射光(観察光)は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、RAWデータとしてカメラコントロールユニット(CCU:Camera Control Unit)5153に送信される。なお、カメラヘッド5119には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。
なお、例えば立体視(3D表示)等に対応するために、カメラヘッド5119には撮像素子が複数設けられてもよい。この場合、鏡筒5117の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。
(カートに搭載される各種の装置)
CCU5153は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡5115及び表示装置5155の動作を統括的に制御する。具体的には、CCU5153は、カメラヘッド5119から受け取った画像信号に対して、例えば現像処理(デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。CCU5153は、当該画像処理を施した画像信号を表示装置5155に提供する。また、CCU5153には、図1に示す視聴覚コントローラ5107が接続される。CCU5153は、画像処理を施した画像信号を視聴覚コントローラ5107にも提供する。また、CCU5153は、カメラヘッド5119に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。当該撮像条件に関する情報は、入力装置5161を介して入力されてもよいし、上述した集中操作パネル5111を介して入力されてもよい。
表示装置5155は、CCU5153からの制御により、当該CCU5153によって画像処理が施された画像信号に基づく画像を表示する。内視鏡5115が例えば4K(水平画素数3840×垂直画素数2160)又は8K(水平画素数7680×垂直画素数4320)等の高解像度の撮影に対応したものである場合、及び/又は3D表示に対応したものである場合には、表示装置5155としては、それぞれに対応して、高解像度の表示が可能なもの、及び/又は3D表示可能なものが用いられ得る。4K又は8K等の高解像度の撮影に対応したものである場合、表示装置5155として55インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置5155が設けられてもよい。
光源装置5157は、例えばLED(Light Emitting Diode)等の光源から構成され、術部を撮影する際の照射光を内視鏡5115に供給する。
アーム制御装置5159は、例えばCPU等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置5141のアーム部5145の駆動を制御する。
入力装置5161は、内視鏡手術システム5113に対する入力インタフェースである。ユーザは、入力装置5161を介して、内視鏡手術システム5113に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置5161を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置5161を介して、アーム部5145を駆動させる旨の指示や、内視鏡5115による撮像条件(照射光の種類、倍率及び焦点距離等)を変更する旨の指示、エネルギー処置具5135を駆動させる旨の指示等を入力する。
入力装置5161の種類は限定されず、入力装置5161は各種の公知の入力装置であってよい。入力装置5161としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ5171及び/又はレバー等が適用され得る。入力装置5161としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置5155の表示面上に設けられてもよい。
あるいは、入力装置5161は、例えばメガネ型のウェアラブルデバイスやHMD(Head Mounted Display)等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置5161は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置5161は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置5161が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ(例えば術者5181)が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。
処置具制御装置5163は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具5135の駆動を制御する。気腹装置5165は、内視鏡5115による視野の確保及び術者の作業空間の確保の目的で、患者5185の体腔を膨らめるために、気腹チューブ5133を介して当該体腔内にガスを送り込む。レコーダ5167は、手術に関する各種の情報を記録可能な装置である。プリンタ5169は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
以下、内視鏡手術システム5113において特に特徴的な構成について、更に詳細に説明する。
(支持アーム装置)
支持アーム装置5141は、基台であるベース部5143と、ベース部5143から延伸するアーム部5145と、を備える。図示する例では、アーム部5145は、複数の関節部5147a、5147b、5147cと、関節部5147bによって連結される複数のリンク5149a、5149bと、から構成されているが、図3では、簡単のため、アーム部5145の構成を簡略化して図示している。実際には、アーム部5145が所望の自由度を有するように、関節部5147a〜5147c及びリンク5149a、5149bの形状、数及び配置、並びに関節部5147a〜5147cの回転軸の方向等が適宜設定され得る。例えば、アーム部5145は、好適に、6自由度以上の自由度を有するように構成され得る。これにより、アーム部5145の可動範囲内において内視鏡5115を自由に移動させることが可能になるため、所望の方向から内視鏡5115の鏡筒5117を患者5185の体腔内に挿入することが可能になる。
関節部5147a〜5147cにはアクチュエータが設けられており、関節部5147a〜5147cは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置5159によって制御されることにより、各関節部5147a〜5147cの回転角度が制御され、アーム部5145の駆動が制御される。これにより、内視鏡5115の位置及び姿勢の制御が実現され得る。この際、アーム制御装置5159は、力制御又は位置制御等、各種の公知の制御方式によってアーム部5145の駆動を制御することができる。
例えば、術者5181が、入力装置5161(フットスイッチ5171を含む)を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置5159によってアーム部5145の駆動が適宜制御され、内視鏡5115の位置及び姿勢が制御されてよい。当該制御により、アーム部5145の先端の内視鏡5115を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部5145は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部5145は、手術室から離れた場所に設置される入力装置5161を介してユーザによって遠隔操作され得る。
また、力制御が適用される場合には、アーム制御装置5159は、ユーザからの外力を受け、その外力にならってスムーズにアーム部5145が移動するように、各関節部5147a〜5147cのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部5145に触れながらアーム部5145を移動させる際に、比較的軽い力で当該アーム部5145を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡5115を移動させることが可能となり、ユーザの利便性を向上させることができる。
ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡5115が支持されていた。これに対して、支持アーム装置5141を用いることにより、人手によらずに内視鏡5115の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。
なお、アーム制御装置5159は必ずしもカート5151に設けられなくてもよい。また、アーム制御装置5159は必ずしも1つの装置でなくてもよい。例えば、アーム制御装置5159は、支持アーム装置5141のアーム部5145の各関節部5147a〜5147cにそれぞれ設けられてもよく、複数のアーム制御装置5159が互いに協働することにより、アーム部5145の駆動制御が実現されてもよい。
(光源装置)
光源装置5157は、内視鏡5115に術部を撮影する際の照射光を供給する。光源装置5157は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、RGBレーザ光源の組み合わせにより白色光源が構成される場合には、各色(各波長)の出力強度及び出力タイミングを高精度に制御することができるため、光源装置5157において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、RGBレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド5119の撮像素子の駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
また、光源装置5157は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド5119の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
また、光源装置5157は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光(すなわち、白色光)に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察(Narrow Band Imaging)が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの(自家蛍光観察)、又はインドシアニングリーン(ICG)等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置5157は、このような特殊光観察に対応した狭帯域光及び/又は励起光を供給可能に構成され得る。
(カメラヘッド及びCCU)
図4を参照して、内視鏡5115のカメラヘッド5119及びCCU5153の機能についてより詳細に説明する。図4は、図3に示すカメラヘッド5119及びCCU5153の機能構成の一例を示すブロック図である。
図4を参照すると、カメラヘッド5119は、その機能として、レンズユニット5121と、撮像部5123と、駆動部5125と、通信部5127と、カメラヘッド制御部5129と、を有する。また、CCU5153は、その機能として、通信部5173と、画像処理部5175と、制御部5177と、を有する。カメラヘッド5119とCCU5153とは、伝送ケーブル5179によって双方向に通信可能に接続されている。
まず、カメラヘッド5119の機能構成について説明する。レンズユニット5121は、鏡筒5117との接続部に設けられる光学系である。鏡筒5117の先端から取り込まれた観察光は、カメラヘッド5119まで導光され、当該レンズユニット5121に入射する。レンズユニット5121は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット5121は、撮像部5123の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。
撮像部5123は撮像素子によって構成され、レンズユニット5121の後段に配置される。レンズユニット5121を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部5123によって生成された画像信号は、通信部5127に提供される。
撮像部5123を構成する撮像素子としては、例えばCMOS(Complementary Metal Oxide Semiconductor)タイプのイメージセンサであり、Bayer配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば4K以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者5181は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。
また、撮像部5123を構成する撮像素子は、3D表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための1対の撮像素子を有するように構成される。3D表示が行われることにより、術者5181は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部5123が多板式で構成される場合には、各撮像素子に対応して、レンズユニット5121も複数系統設けられる。
また、撮像部5123は、必ずしもカメラヘッド5119に設けられなくてもよい。例えば、撮像部5123は、鏡筒5117の内部に、対物レンズの直後に設けられてもよい。
駆動部5125は、アクチュエータによって構成され、カメラヘッド制御部5129からの制御により、レンズユニット5121のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部5123による撮像画像の倍率及び焦点が適宜調整され得る。
通信部5127は、CCU5153との間で各種の情報を送受信するための通信装置によって構成される。通信部5127は、撮像部5123から得た画像信号をRAWデータとして伝送ケーブル5179を介してCCU5153に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者5181が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部5127には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル5179を介してCCU5153に送信される。
また、通信部5127は、CCU5153から、カメラヘッド5119の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに/又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部5127は、受信した制御信号をカメラヘッド制御部5129に提供する。なお、CCU5153からの制御信号も、光通信によって伝送されてもよい。この場合、通信部5127には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部5129に提供される。
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてCCU5153の制御部5177によって自動的に設定される。つまり、いわゆるAE(Auto Exposure)機能、AF(Auto Focus)機能及びAWB(Auto White Balance)機能が内視鏡5115に搭載される。
カメラヘッド制御部5129は、通信部5127を介して受信したCCU5153からの制御信号に基づいて、カメラヘッド5119の駆動を制御する。例えば、カメラヘッド制御部5129は、撮像画像のフレームレートを指定する旨の情報及び/又は撮像時の露光を指定する旨の情報に基づいて、撮像部5123の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部5129は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部5125を介してレンズユニット5121のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部5129は、更に、鏡筒5117やカメラヘッド5119を識別するための情報を記憶する機能を備えてもよい。
なお、レンズユニット5121や撮像部5123等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド5119について、オートクレーブ滅菌処理に対する耐性を持たせることができる。
次に、CCU5153の機能構成について説明する。通信部5173は、カメラヘッド5119との間で各種の情報を送受信するための通信装置によって構成される。通信部5173は、カメラヘッド5119から、伝送ケーブル5179を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部5173には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部5173は、電気信号に変換した画像信号を画像処理部5175に提供する。
また、通信部5173は、カメラヘッド5119に対して、カメラヘッド5119の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。
画像処理部5175は、カメラヘッド5119から送信されたRAWデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理(帯域強調処理、超解像処理、NR(Noise Reduction)処理及び/又は手ブレ補正処理等)、並びに/又は拡大処理(電子ズーム処理)等、各種の公知の信号処理が含まれる。また、画像処理部5175は、AE、AF及びAWBを行うための、画像信号に対する検波処理を行う。
画像処理部5175は、CPUやGPU等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部5175が複数のGPUによって構成される場合には、画像処理部5175は、画像信号に係る情報を適宜分割し、これら複数のGPUによって並列的に画像処理を行う。
制御部5177は、内視鏡5115による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部5177は、カメラヘッド5119の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部5177は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡5115にAE機能、AF機能及びAWB機能が搭載されている場合には、制御部5177は、画像処理部5175による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。
また、制御部5177は、画像処理部5175によって画像処理が施された画像信号に基づいて、術部の画像を表示装置5155に表示させる。この際、制御部5177は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部5177は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具5135使用時のミスト等を認識することができる。制御部5177は、表示装置5155に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者5181に提示されることにより、より安全かつ確実に手術を進めることが可能になる。
カメラヘッド5119及びCCU5153を接続する伝送ケーブル5179は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
ここで、図示する例では、伝送ケーブル5179を用いて有線で通信が行われていたが、カメラヘッド5119とCCU5153との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル5179を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル5179によって妨げられる事態が解消され得る。
以上、本開示に係る技術が適用され得る手術室システム5100の一例について説明した。なお、ここでは、一例として手術室システム5100が適用される医療用システムが内視鏡手術システム5113である場合について説明したが、手術室システム5100の構成はかかる例に限定されない。例えば、手術室システム5100は、内視鏡手術システム5113に代えて、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。
[2.支持アーム装置の構成例]
次に、本開示に係る技術が適用され得る支持アーム装置の構成の一例について以下に説明する。以下に説明する支持アーム装置は、アーム部の先端に内視鏡を支持する支持アーム装置として構成された例であるが、本実施形態は係る例に限定されない。また、本開示の一実施形態に係る支持アーム装置が医療分野に適用された場合には、当該支持アーム装置は、医療用支持アーム装置として機能し得る。
図5は、本実施形態に係る支持アーム装置200の外観を示す概略図である。図5に示すように、本実施形態に係る支持アーム装置200は、ベース部210及びアーム部220を備える。ベース部210は支持アーム装置200の基台であり、ベース部210からアーム部220が延伸される。また、図5には図示しないが、ベース部210内には、支持アーム装置200を統合的に制御する制御部が設けられてもよく、アーム部220の駆動が当該制御部によって制御されてもよい。当該制御部は、例えばCPUやDSP等の各種の信号処理回路によって構成される。
アーム部220は、複数の能動関節部221a〜221fと、複数のリンク222a〜222fと、アーム部220の先端に設けられた先端ユニットとしての内視鏡装置223とを有する。
リンク222a〜222fは略棒状の部材である。リンク222aの一端が能動関節部221aを介してベース部210と連結され、リンク222aの他端が能動関節部221bを介してリンク222bの一端と連結され、さらに、リンク222bの他端が能動関節部221cを介してリンク222cの一端と連結される。リンク222cの他端は受動スライド機構231を介してリンク222dに連結され、さらに、リンク222dの他端は受動関節部233を介してリンク222eの一端と連結される。リンク222eの他端は能動関節部221d,221eを介してリンク222fの一端と連結される。内視鏡装置223は、アーム部220の先端、すなわち、リンク222fの他端に、能動関節部221fを介して連結される。このように、ベース部210を支点として、複数のリンク222a〜222fの端同士が、能動関節部221a〜221f、受動スライド機構231及び受動関節部233によって互いに連結されることにより、ベース部210から延伸されるアーム形状が構成される。
かかるアーム部220のそれぞれの能動関節部221a〜221fに設けられたアクチュエータが駆動制御されることにより、内視鏡装置223の位置及び姿勢が制御される。本実施形態において、内視鏡装置223は、その先端が施術部位である患者の体腔内に進入して施術部位の一部領域を撮影する。ただし、アーム部220の先端に設けられる先端ユニットは内視鏡装置223に限定されず、内視鏡の代わりに外視鏡や顕微鏡を用いることも可能である。また、アーム部220の先端には先端ユニットとして各種の医療用器具が接続されてよい。このように、本実施形態に係る支持アーム装置200は、医療用器具を備えた医療用支持アーム装置として構成される。
ここで、以下では、図5に示すように座標軸を定義して支持アーム装置200の説明を行う。また、座標軸に合わせて、上下方向、前後方向、左右方向を定義する。すなわち、床面に設置されているベース部210に対する上下方向をz軸方向及び上下方向と定義する。また、z軸と互いに直交する方向であって、ベース部210からアーム部220が延伸されている方向(すなわち、ベース部210に対して内視鏡装置223が位置している方向)をy軸方向及び前後方向と定義する。さらに、y軸及びz軸と互いに直交する方向をx軸方向及び左右方向と定義する。
能動関節部221a〜221fはリンク同士を互いに回動可能に連結する。能動関節部221a〜221fはアクチュエータを有し、当該アクチュエータの駆動により所定の回転軸に対して回転駆動される回転機構を有する。各能動関節部221a〜221fにおける回転駆動をそれぞれ制御することにより、例えばアーム部220を伸ばしたり、縮めたり(折り畳んだり)といった、アーム部220の駆動を制御することができる。ここで、能動関節部221a〜221fは、例えば公知の全身協調制御及び理想関節制御によってその駆動が制御され得る。上述したように、能動関節部221a〜221fは回転機構を有するため、以下の説明において、能動関節部221a〜221fの駆動制御とは、具体的には、能動関節部221a〜221fの回転角度及び/又は発生トルク(能動関節部221a〜221fが発生させるトルク)が制御されることを意味する。
受動スライド機構231は、受動形態変更機構の一態様であり、リンク222cとリンク222dとを所定方向に沿って互いに進退動可能に連結する。例えば受動スライド機構231は、リンク222cとリンク222dとを互いに直動可能に連結してもよい。ただし、リンク222cとリンク222dとの進退運動は直線運動に限られず、円弧状を成す方向への進退運動であってもよい。受動スライド機構231は、例えばユーザによって進退動の操作が行われ、リンク222cの一端側の能動関節部221cと受動関節部233との間の距離を可変とする。これにより、アーム部220の全体の形態が変化し得る。
受動関節部233は、受動形態変更機構の一態様であり、リンク222dとリンク222eとを互いに回動可能に連結する。受動関節部233は、例えばユーザによって回動の操作が行われ、リンク222dとリンク222eとの成す角度を可変とする。これにより、アーム部220の全体の形態が変化し得る。
なお、本明細書において、「アーム部の姿勢」とは、アームを構成する部分のうち少なくとも一部が駆動制御等により変化し得るアーム部の状態を示している。具体的な一例として、一つ又は複数のリンクを挟んで隣り合う能動関節部同士の間の距離が一定の状態で、制御部による能動関節部221a〜221fに設けられたアクチュエータの駆動制御によって変化し得るアーム部の状態が、「アーム部の姿勢」に該当し得る。なお、本開示では、「アーム部の姿勢」は、アクチュエータの駆動制御によって変化し得るアーム部の状態に限定されない。例えば、「アーム部の姿勢」は、受動関節部が協調的に動作することで変化した、アーム部の状態であってもよい。また、本開示では、アーム部は、必ずしも関節部を備えている必要はない。この場合、「アーム部の姿勢」は、対象物に対する位置や、対象物に対する相対角度となる。また、「アーム部の形態」とは、アームを構成する各部の位置や姿勢の関係が変わることで変化し得るアーム部の状態を示している。具体的な一例として、受動形態変更機構が操作されることに伴って、リンクを挟んで隣り合う能動関節部同士の間の距離や、隣り合う能動関節部の間をつなぐリンク同士の成す角度が変わることで変化し得るアーム部の状態が、「アーム部の形態」に該当し得る。お、本開示では、「アーム部の形態」は、リンクを挟んで隣り合う能動関節部同士の間の距離や、隣り合う能動関節部の間をつなぐリンク同士の成す角度が変わることで変化し得るアーム部の状態に限定されない。例えば、「アーム部の形態」は、受動関節部が協調的に動作することで、受動間接部同士の位置関係や、角度が変わることで変化し得るアーム部の状態であってもよい。また、アーム部が関節部を備えていない場合には、「アーム部の姿勢」は、対象物に対する位置や、対象物に対する相対角度が変わることで変化し得るアーム部の状態であってもよい。
本実施形態に係る支持アーム装置200は、6つの能動関節部221a〜221fを有し、アーム部220の駆動に関して6自由度が実現されている。つまり、支持アーム装置200の駆動制御は制御部による6つの能動関節部221a〜221fの駆動制御により実現される一方、受動スライド機構231及び受動関節部233は、制御部による駆動制御の対象とはなっていない。
具体的には、図5に示すように、能動関節部221a,221d,221fは、接続されている各リンク222a,222eの長軸方向及び接続されている内視鏡装置223の撮影方向を回転軸方向とするように設けられている。能動関節部221b,221c,221eは、接続されている各リンク222a〜222c,222e,222f及び内視鏡装置223の連結角度をy−z平面(y軸とz軸とで規定される平面)内において変更する方向であるx軸方向を回転軸方向とするように設けられている。このように、本実施形態においては、能動関節部221a,221d,221fは、いわゆるヨーイングを行う機能を有し、能動関節部221b,221c,221eは、いわゆるピッチングを行う機能を有する。
このようなアーム部220の構成を有することにより、本実施形態に係る支持アーム装置200ではアーム部220の駆動に対して6自由度が実現されるため、アーム部220の可動範囲内において内視鏡装置223を自由に移動させることができる。図3では、内視鏡装置223の移動可能範囲の一例として半球を図示している。半球の中心点RCM(遠隔運動中心)が内視鏡装置223によって撮影される施術部位の撮影中心であるとすれば、内視鏡装置223の撮影中心を半球の中心点に固定した状態で、内視鏡装置223を半球の球面上で移動させることにより、施術部位を様々な角度から撮影することができる。
以上、本開示に係る技術が適用され得る支持アーム装置の構成の一例について説明した。
なお、支持アーム装置200のアーム部220は複数の関節部を有し、6自由度を持つものとして説明したが、本開示はこれに限定されない。具体的には、アーム部220は、先端に内視鏡装置223または外視鏡を設けられればよい。例えば、アーム部220は、内視鏡装置223が患者の体腔内への進入する方向と、後退する方向とに移動するように駆動する1自由度のみを持つ構成であってもよい。
また、本開示は、図6に示されるような、マスタースレーブ装置であってもよい。
マスター装置10は、スレーブ装置50の駆動制御、スレーブ装置50のセンサが計測した振動信号(第1の信号)をユーザへ提示する機能を有する情報処理装置(第1の情報処理装置)である。マスター装置10は、例えば、受動関節を含む1または2以上の関節と、関節に接続されるリンクとを有する装置(受動関節を含むリンク機構を有する装置)である。なお、受動関節は、モータやアクチュエータなどにより駆動しない関節である。
図6に示すように、マスター装置10は、ユーザが把持して操作する操作装置20(20R、及び20L)を備えている。当該操作装置20は、本開示の実施形態に係る触覚提示装置に相当する。また、マスター装置10には、術野が表示されるモニタ30が接続され、ユーザが両腕又は両肘を載せる支持台32が設けられている。なお、マスター装置10は、右手用のマスター装置10R、及び左手用のマスター装置10Lで構成されている。さらに、右手用のマスター装置10Rには右手用の操作装置20Rが備えられ、左手用のマスター装置10Lには左手用の操作装置20Lが備えられている。
ユーザは、両腕又は両肘を支持台32上に載せ、右手及び左手でそれぞれ操作装置20R、20Lを把持する。この状態で、ユーザは、術野が表示されるモニタ30を見ながら操作装置20R、20Lを操作する。ユーザは、それぞれの操作装置20R、20Lの位置及び向きを変位させることにより、スレーブ装置50に取り付けられた術具の位置又は向きを遠隔操作し、あるいは、それぞれの術具による把持動作を行ってもよい。
スレーブ装置50は、手術における患者の患部(以下では、対象物とも称される)と、対象物と接触するスレーブ装置50の部位が接触した際の力及び振動をマスター装置10へ提示する情報処理装置(第2の情報処理装置)である。スレーブ装置50は、例えば、マスター装置10の動きに対応して動くための、1または2以上の能動関節と、能動関節に接続されるリンクとを有する装置(能動関節を含むリンク機構を有する装置)である。なお、能動関節は、モータやアクチュエータなどにより駆動する関節である。
スレーブ装置50では、図6に示すアームの先端部分(図6に示すA)に、各種センサ(例えば、原点センサや、Limitセンサ、エンコーダ、マイクロフォン、加速度センサなど)が設けられる。また、スレーブ装置50のアームの先端部分には、力センサ(図6に示すB)が設けられる。当該力センサは、アームの先端部分が患者と接触した際に、アームの先端部分に印加される力を計測する。なお、上述した各種センサが備えられる場所は特に限定されず、各種センサは、アームの先端部分の任意の場所に備えられてもよい。
スレーブ装置50は、例えば、能動関節の動きを計測するための動きセンサを、能動関節それぞれに対応する位置に備える。上記動きセンサとしては、例えば、エンコーダなどが挙げられる。また、スレーブ装置50は、例えば、能動関節を駆動させるための駆動機構を、能動関節それぞれに対応する位置に備える。上記駆動機構としては、例えば、モータとドライバとが挙げられる。
なお、本開示の実施形態は、バーチャルリアリティな環境に適用されてもよい。例えば、マスター装置10を操作した際に、モニタ30に仮想的なスレーブ装置50側の環境を示す映像を映し、ユーザは、当該映像に基づき、マスター装置10を操作してもよい。
[3.手術支援システム]
(3−1.手術システムの構成)
図7を用いて、本開示の実施形態に係る手術支援システムの構成について説明する。図7は、本開示の実施形態に係る手術支援システムの構成の一例を示す図である。
図7に示すように、手術支援システム1(コンピュータ支援手術システム)は、制御装置100と、手術用マニピュレータ300と、術場カメラ400とを含む。制御装置100と、手術用マニピュレータ300とは、ネットワークNWを介して、通信可能に接続されている。術場カメラ400は、少なくとも制御装置100と通信可能に接続されている。手術用マニピュレータ300は、自律的または半自律的に駆動し、患者に対して各種の施術を施す。本実施形態では、制御装置100は、手術用マニピュレータ300の自律駆動(半自律駆動を含んでもよい)と手動操作とを切り替える。なお、手術用マニピュレータ300は、患者に対して各種の施術を自律的または半自律的に実行するため、手術用ロボットと呼ばれることもある。
(3−2.手術用マニピュレータ)
図8を用いて、手術用マニピュレータの構成の一例について説明する。図8は、手術用マニピュレータの構成の一例を示す図である。
図8に示すように、手術用マニピュレータ300は、第1支持アーム装置310と、第2支持アーム装置320と、第3支持アーム装置330とを備える。第1支持アーム装置310には、第1医療用器具311が設けられる。第2支持アーム装置320には、第2医療用器具321が設けられる。第3支持アーム装置330には、第3医療用器具331が設けられる。第1支持アーム装置310〜第3支持アーム装置330は、例えば、図5に図示の支持アーム装置200と同様の構成を有しているが、本開示はこれに限定されない。例えば、第1支持アーム装置310〜第3支持アーム装置330は、それぞれ、第1医療用器具311〜第3医療用器具331を支持できる構成であれば特に制限はない。また、手術用マニピュレータ300にはさらに別の支持アーム装置が含まれていてもよい。
手術用マニピュレータ300は、第1医療用器具311と、第2医療用器具321とを用いて、医師(または執刀医やサポートスタッフを含むチーム)と協働して患者340に対して各種の施術を施す。第3医療用器具331は、例えば、内視鏡装置であり患者340の体内の様子を撮影する。第3医療用器具331は、例えば、患者340の臓器Oの様子を撮影する。
手術用マニピュレータ300は、第1医療用器具311〜第3医療用器具331の医療用器具の種類を判別するための器具情報を取得する。手術用マニピュレータ300は、例えば、医療用器具にはそれぞれ種類に応じた識別情報が電子的に付与されており、医療用器具が第1支持アーム装置310〜第3支持アーム装置330に支持された際に、その識別情報を読み取ることで種類を判別すればよい。
手術用マニピュレータ300は、外部から加えられた外力に関する外力情報を取得する。手術用マニピュレータ300は、例えば、第1支持アーム装置310〜第3支持アーム装置330に対して、外部から加えられた外力に関する外力情報を取得する。この場合、例えば、第1支持アーム装置310〜第3支持アーム装置330には加速度センサが設けられており、加速度センサによって取得された加速度の大きさを外力の大きさとすればよい。
(3−3.制御装置)
図9を用いて、制御装置100の構成について説明する。図9は、制御装置100の構成の一例を示すブロック図である。
図9に示すように、制御装置100は、通信部110と、記憶部120と、制御部130とを備えている。
通信部110は、例えば、NIC(Network Interface Card)や通信回路等によって実現される。通信部110は、ネットワークNW(インターネット等)と有線又は無線で接続されている。通信部110は、ネットワークNWを介して、通信制御部136の制御に従って他の装置等との間で情報の送受信を行う。通信部110は、例えば、手術用マニピュレータ300との間で情報の送受信を行う。通信部110は、例えば、術場カメラ400との間で情報の送受信を行う。
記憶部120は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部120は、ユーザ情報記憶部121と、手術情報記憶部122と、データ記憶部123とを有する。
ユーザ情報記憶部121は、ユーザを識別するために使用する各種の情報を記憶している。ユーザ情報記憶部121は、例えば、手術用マニピュレータ300を操作する医師などを識別するための各種の情報を記憶している。ユーザ情報記憶部121は、例えば、ユーザを識別するための各ユーザの顔の画像データや音声データなどを記憶している。なお、ユーザ情報記憶部121は、ユーザを識別するための生体情報やその他の識別情報を記憶していてもよい。
手術情報記憶部122は、手術用マニピュレータ300が行う各種の手術(施術)に関する情報を記憶している。手術情報記憶部122は、各種の手術が開始されてから終了するまでの流れ(スケジュール/プロシージャ)に関する情報を記憶している。手術情報記憶部122は、例えば、手術用マニピュレータ300が施術に要する時間に関する情報を記憶している。
データ記憶部123は、各種のデータを記憶している。データ記憶部123は、例えば、判定部133による各種の判定結果を記憶してよい。
制御部130は、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、制御装置100内部に記憶されたプログラム(例えば、本開示に係る情報処理プログラム)がRAM(Random Access Memory)等を作業領域として実行されることにより実現される。また、制御部130は、コントローラ(Controller)であり、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されてもよい。制御部130は、取得部131と、検知部132と、判定部133と、選択部134と、マニピュレータ制御部135と、通信制御部136とを備える。
取得部131は、各種の情報を取得する。取得部131は、例えば、手術用マニピュレータ300から各種の情報を取得する。取得部131は、例えば、手術用マニピュレータ300に対する操作者の操作に関する操作情報を手術用マニピュレータ300から取得する。取得部131は、例えば、第1支持アーム装置310〜第3支持アーム装置330に装着されている医療用器具に関する器具情報を手術用マニピュレータ300から取得する。取得部131は、例えば、手術用マニピュレータ300に加えられた外力に関する外力情報を手術用マニピュレータ300から取得する。取得部131は、例えば、第1支持アーム装置310〜第3支持アーム装置330に加えられた外力に関する外力情報を手術用マニピュレータ300から取得する。取得部131は、例えば、患者の体内の様子を撮影した画像データを手術用マニピュレータ300から取得する。
取得部131は、術場カメラ400から各種の情報を取得する。取得部131は、例えば、手術室を撮影した画像データを術場カメラ400から取得する。取得部131は、例えば、手術用マニピュレータ300を撮影した画像データを取得する。取得部131は、例えば、第1支持アーム装置310〜第3支持アーム装置330に設けられた医療用器具を撮影した画像データを取得する。取得部131は、例えば、手術用マニピュレータ300の操作者を撮影した画像データを取得する。
検知部132は、各種の情報を検知する。検知部132は、例えば、取得部131が取得した情報に基づいて、各種の情報を検知する。検知部132は、例えば、取得部131が取得した手術用マニピュレータ300への操作に関する操作情報に基づいて、手術用マニピュレータ300に対して自律駆動する自律駆動モードと手動で操作する手動操作モードとを切り替える操作が行われたことを検知する。
判定部133は、各種の情報を判定する。判定部133は、例えば、手術用マニピュレータ300の状態が自律駆動モードであるか手動操作モードであるか否かを判定する。判定部133は、例えば、検知部132によって手術用マニピュレータ300に対する自律駆動モードと手動操作モードとを切り替える操作が行われたことが検知された場合に、各種の情報を判定する。この場合、判定部133は、例えば、取得部131が取得した情報に基づいて、各種の情報を判定する。判定部133は、例えば、取得部131が取得した画像データに基づいて、状況を判定する。判定部133は、例えば、画像データに基づいて手術用マニピュレータ300の状態を判定する。判定部133は、例えば、画像データに基づいて手術用マニピュレータ300の操作者の状態を判定する。判定部133は、例えば、画像データに基づいて、手術の状況を判定する。判定部133は、例えば、取得部131が取得した操作情報に基づいて、状況を判定する。判定部133は、例えば、手術用マニピュレータ300の操作者の疲労度等の生体情報の記録に基づいて判定する。
選択部134は、各種の情報を選択する。選択部134は、例えば、判定部133による判定結果に基づいて、各種の情報を選択する。選択部134は、例えば、判定部133によって判定された状況に基づいて、手術用マニピュレータ300の自律駆動モードと手動操作モードとを切り替えるための切り替えシーケンスを選択する。
マニピュレータ制御部135は、手術用マニピュレータ300の各種の状態を制御する。マニピュレータ制御部135は、例えば、選択部134の選択結果に基づいて手術用マニピュレータ300を制御する。マニピュレータ制御部135は、例えば、選択部134によって選択された切り替えシーケンスに従って手術用マニピュレータ300の自律駆動モードと手動操作モードとを切り替える。
通信制御部136は、通信部110を介した情報の送受信を制御する。通信制御部136は、通信部110を制御して、他の情報処理装置と通信を行う。通信制御部136は、例えば、通信部110を制御して、手術用マニピュレータ300と通信を行う。通信制御部136は、例えば、通信部110を制御して、術場カメラ400と通信を行う。
[4.制御装置の処理]
(4−1.第1の処理)
図10を用いて、本開示の実施形態に係る制御装置100の制御部130の第1の処理について説明する。図10は、本開示の実施形態に係る制御装置100の制御部130の第1の処理の流れを示すフローチャートである。
まず、制御部130は、手術用マニピュレータ300に対して動作モードの切り替え操作が行われたか否かを判定する(ステップS11)。具体的には、検知部132が、取得部131によって取得された操作情報に基づいて、動作モードの切り替え操作を検知することで判定する。切り替え操作が行われていないと判定された場合(ステップS11のNo)、制御部130は、ステップS11の処理を繰り返す。切り替え操作が行われたと判定された場合(ステップS11のYes)、ステップS12に進む。
ステップS11でYesと判定された場合、制御部130は、手術用マニピュレータ300の状態が自律駆動モードであるか否かを判定する(ステップS12)。具体的には、判定部133が自律駆動モードであるか否かを判定する。手術用マニピュレータ300が自律駆動モードであると判定された場合(ステップS12のYes)、ステップS13に進む。手術用マニピュレータ300が手動操作モードであると判定された場合(ステップS12のNo)、ステップS16に進む。
ステップS12でYesと判定された場合、制御部130は、手術用マニピュレータ300の周囲の状況を判定する(ステップS13)。具体的には、判定部133が、取得部131によって取得された手術室の画像データなどの環境情報に基づいて、手術用マニピュレータ300の周囲の状況を判定する。具体的には、手術室の状況とは、手術用マニピュレータ300の状態、手術室にいる人(医師および患者など)、手術室の人の状態(位置を含む)など手術室に関する各種の情報を含む。そして、ステップS14に進む。
制御部130は、手術用マニピュレータ300の周囲の状況に応じて、自律駆動モードから手動操作モードへ遷移させる遷移モードを選択する(ステップS14)。具体的には、選択部134が、判定部133による判定結果に基づいて、遷移モードを選択する。このため、選択部134は、周囲の状況に応じて異なる遷移モードを選択することができる。言い換えれば、周囲の状況に応じて異なる切り替えシーケンスで自律駆動モードと手動操作モードとが切り替わる。そして、ステップS15に進む。
制御部130は、手術用マニピュレータ300の自律駆動モードと手動操作モードとを切り替える(ステップS15)。具体的には、マニピュレータ制御部135が、選択部134の選択結果に基づいて、自律駆動モードと手動操作モードとを切り替える。そして、図10の処理は終了する。
ステップS12でNoと判定された場合、制御部130は、手術用マニピュレータ300の周囲の状況を判定する(ステップS16)。この処理は、ステップS13と同じなので説明は省略する。そして、ステップS17に進む。
制御部130は、手術用マニピュレータ300の周囲の状況に応じて、手動操作モードから自律駆動モードへ遷移させる遷移モードを選択する(ステップS17)。具体的には、選択部134が、判定部133による判定結果に基づいて、遷移モードを選択する。そして、ステップS15に進む。
上述のとおり、本実施形態では、手術用マニピュレータ300の周囲の状況に応じた、自律駆動モードと手動操作モードとを切り替える遷移モードを選択することができる。これにより、手術用マニピュレータ300の自律駆動モードと手動操作モードとを最適に切り替えることができる。
(4−2.第2の処理)
図11を用いて、本開示の実施形態に係る制御装置100の制御部130の第2の処理について説明する。図11は、本開示の実施形態に係る制御装置100の制御部130の第2の処理の流れを示すフローチャートである。
医療用器具の種類によっては切り替えシーケンスを変更することが好ましいことが想定されるため、第2の処理では、手術用マニピュレータ300に装着されている医療用器具に応じて遷移モードを選択する処理を実行する。第2の処理では、医療用器具の種類に応じて異なる切り替えシーケンスで自律駆動モードと手動操作モードとが切り替わる。以下では、手術用マニピュレータ300には、カメラ(例えば、内視鏡)、メス、持針器、およびリトラクターのいずれかが装着されているものとして説明するが、本開示はこれに限られない。また、図11の説明において器具の確認順序が記載されているが、本開示はこれに限られない。
ステップS21は、図10に図示のステップS11と同じなので説明は省略する。
ステップS21でYesと判定された場合、制御部130は、手術用マニピュレータ300に装着されている医療用器具がカメラであるか否かを判定する(ステップS22)。具体的には、判定部133が、取得部131によって取得された手術用マニピュレータ300の画像データに基づいて、カメラであるか否かを判定する。また、判定部133は、取得部131が手術用マニピュレータ300から器具情報を取得した場合には、器具情報に基づいてカメラであるか否かを判定する。医療用器具がカメラであると判定された場合(ステップS22のYes)、ステップS23に進む。医療用器具がリトラクターでないと判定された場合(ステップS21のNo)、ステップS25に進む。
ステップS22でYesと判定された場合、制御部130は、カメラ用の遷移モードを選択する(ステップS23)。具体的には、選択部134がカメラ用の遷移モードを選択する。そして、ステップS24に進む。
制御部130は、手術用マニピュレータ300の自律駆動モードと手動操作モードとを切り替える(ステップS24)。具体的には、マニピュレータ制御部135が、選択部134による選択結果に基づいて、自律駆動モードと手動操作モードとを切り替える。そして、図11の処理は終了する。
ステップS22でNoと判定された場合、制御部130は、手術用マニピュレータ300に装着されている医療用器具がメスであるか否かを判定する(ステップS25)。判定方法は、ステップS22と同じなので説明は省略する。医療用器具がメスであると判定された場合(ステップS25のYes)、ステップS26に進む。医療用器具が針でないと判定された場合(ステップS25のNo)、ステップS27に進む。
ステップS25でYesと判定された場合、制御部130は、メス用の遷移モードを選択する(ステップS26)。具体的には、選択部134がメス用の遷移モードを選択する。そして、ステップS24に進む。
ステップS25でNoと判定された場合、制御部130は、手術用マニピュレータ300に装着されている医療用器具が持針器であるか否かを判定する(ステップS27)。判定方法は、ステップS22と同じなので説明は省略する。医療用器具が持針器であると判定された場合(ステップS27のYes)、ステップS28に進む。医療用器具が持針器でないと判定された場合(ステップS27のNo)、ステップS29に進む。
ステップS27でYesと判定された場合、制御部130は、持針器用の遷移モードを選択する(ステップS28)。具体的には、選択部134がメス用の遷移モードを選択する。そして、ステップS24に進む。
ステップS27でYesと判定された場合、制御部130は、リトラクター用の遷移モードを選択する(ステップS28)。具体的には、選択部134がリトラクター用の遷移モードを選択する。そして、ステップS24に進む。
(4−2−1.カメラの場合の処理)
図12を用いて、手術用マニピュレータ300に装着されている医療用器具が内視鏡や顕微鏡などのカメラである場合の切り替え処理について説明する。図12は、手術用マニピュレータ300に装着されている医療用器具がカメラである場合の切り替え処理の流れの一例を示すフローチャートである。
制御部130は、手術用マニピュレータ300の状態が自律駆動モードであるか否かを判定する(ステップS31)。具体的には、判定部133が自律駆動モードであるか否かを判定する。手術用マニピュレータ300が自律駆動モードであると判定された場合(ステップS31のYes)、ステップS32に進む。手術用マニピュレータ300が手動操作モードであると判定された場合(ステップS31のNo)、ステップS36に進む。
ステップS31でYesと判定された場合、制御部130は、手術用マニピュレータ300の一部を手動操作モードに切り替える(ステップS32)。具体的には、マニピュレータ制御部135が、先端のカメラが装着されている部分は固定するようにし、カメラより後方(例えば、関節部分)を操作者が駆動可能な状態に切り替える。これにより、手動操作モードに切り替えた際にカメラが動いてしまうことを防止できるので、手技をしている医師の視野を確保し続けることができる。そして、ステップS33に進む。
制御部130は、手術用マニピュレータ300に対する所定の操作を取得する(ステップS33)。具体的には、取得部131が手術用マニピュレータ300に対する所定の操作に関する操作情報を取得する。そして、ステップS34に進む。
制御部130は、手術用マニピュレータ300に対する所定の操作が適切であるか否かを判定する(ステップS34)。具体的には、判定部133が、取得部131によって取得された操作情報に基づいて、医師が駆動可能なカメラより後方部分を手動で操作したか否かを判定する。操作が適切であると判定された場合(ステップS34のYes)、ステップS35に進む。操作が適切でないと判定された場合(ステップS34のNo)、ステップS33に進む。
ステップS34でYesと判定された場合、制御部130は、手術用マニピュレータ300を手動操作モードに切り替える(ステップS35)。具体的には、マニピュレータ制御部135が手術用マニピュレータ300を手動操作モードに切り替える。上述したように、自律駆動モードから手動操作モードへ切り替える際には、段階的に切り替えることで安全性を向上させることができる。そして、図12の処理を終了する。
ステップS31でNoと判定された場合、制御部130は、手術用マニピュレータ300を自律駆動モードに切り替える(ステップS36)。具体的には、マニピュレータ制御部135が手術用マニピュレータ300を手動操作モードから自律駆動モードに切り替える。そして、ステップS37。
制御部130は、所定期間内に手術用マニピュレータ300に外力が加えられたか否かを判定する(ステップS37)。具体的には、判定部133が、取得部131によって取得された外力情報に基づいて、所定期間内に外力が加えられたか否かを判定する。所定期間に特に制限はないが、例えば、数秒〜数十秒であってもよい。所定期間内に外力が加えられていないと判定された場合(ステップS37のNo)、図12の処理を終了する。所定期間内に外力が加えられた判定された場合(ステップS37のYes)、ステップS35に進む。これにより、手術用マニピュレータ300は手動操作モードに切り替わるので安全性を確保することができる。
(4−2−2.メスの場合の処理)
図13を用いて、手術用マニピュレータ300に装着されている医療用器具がメスである場合の切り替え処理について説明する。図13は、手術用マニピュレータ300に装着されている医療用器具がメスである場合の切り替え処理の流れの一例を示すフローチャートである。
ステップS41は、図12に図示のステップS31と同じなので、説明は省略する。
ステップS41でYesと判定された場合、制御部130は、手術用マニピュレータ300の一部を手動操作モードに切り替える(ステップS42)。具体的には、マニピュレータ制御部135が、メスを保持する先端部は、メスが臓器に刺さる方向(手術器具が生体組織を傷つける虞のある方向)への駆動を拘束し、そのほかの方向には操作可能な状態に切り替える。駆動の拘束は一定時間に限ってもよい。これにより、例えば、手動操作モードに切り替えた際に、操作を誤りメスで体内を傷つけてしまうことを防止できる。その結果、安全性を向上させることができる。そして、ステップS43に進む。
制御部130は、所定時間経過したか否かを判定する(ステップS43)。具体的には、判定部133が所定時間経過したか否かを判定する。ここで、所定時間とは、例えば、手動操作モードに切り替わったことを医師などが十分に認識することができる時間である。所定時間経過していないと判定された場合(ステップS43のNo)、ステップS43の処理を繰り返す。所定時間経過した場合(ステップS43のYes)、ステップS44に進む。
ステップS43でYesと判定された場合、制御部130は、手術用マニピュレータ300を手動操作モードに切り替える(ステップS44)。具体的には、マニピュレータ制御部135が手術用マニピュレータ300を手動操作モードに切り替える。そして、図13の処理は終了する。
ステップS45と、ステップS46とについては、図12に図示のステップS36と、ステップS37と同じなので説明は省略する。
(4−2−3.持針器の場合の処理)
図14を用いて、手術用マニピュレータ300に装着されている医療用器具が持針器である場合の切り替え処理について説明する。図14は、手術用マニピュレータ300に装着されている医療用器具が持針器である場合の切り替え処理の流れの一例を示すフローチャートである。
ステップS51は、図12に図示のステップS31と同じなので、説明は省略する。
ステップS51でYesと判定された場合、制御部130は、持針器に把持された針が患部(例えば、臓器)に挿入されているか否かを判定する(ステップS52)。具体的には、判定部133が、取得部131によって取得された術部の画像データに基づいて、針が患部に挿入されているか否かを判定する。針が患部に挿入されていると判定された場合(ステップS52のYes)、ステップS53に進む。針が患部に挿入されていないと判定された場合(ステップS52のNo)、ステップS55に進む。
ステップS52でYesと判定された場合、制御部130は、手術用マニピュレータ300の一部を手動操作モードに切り替える(ステップS53)。具体的には、マニピュレータ制御部135が、針の挿抜方向および術部を縫合する際の針かけ方向のみへの手動操作を可能とし、そのほかの方向への手動操作を制限する状態に切り替える。すなわち、針の挿抜方向以外の方向には術者による手動操作が行えない状態となる。これにより、例えば、手動操作モードに切り替えた際に、操作が誤り臓器を傷つけてしまうことを防止できる。その結果、手技の安全性を向上させることができる。そして、ステップS54に進む。
制御部130は、処置部から針が挿抜されたか否かを判定する(ステップS54)。具体的には、判定部133が、取得部131によって取得された術部の画像データに基づいて、針が処置部から挿抜されているか否かを判定する。針が処置部から挿抜されていると判定された場合(ステップS54のYes)、ステップS55に進む。針が処置部から挿抜されていないと判定された場合(ステップS54のNo)、ステップS54の処理を繰り返す。
ステップS54でYesと判定された場合、制御部130は、手術用マニピュレータ300を手動操作モードに切り替える(ステップS55)。具体的には、マニピュレータ制御部135が手術用マニピュレータ300を手動操作モードに切り替える。そして、図14の処理は終了する。
ステップS56と、ステップS57とについては、図12に図示のステップS36と、ステップS37と同じなので説明は省略する。
(4−2−4.リトラクターの場合の処理)
図15を用いて、手術用マニピュレータ300に装着されている医療用器具がリトラクターである場合の切り替え処理について説明する。図15は、手術用マニピュレータ300に装着されている医療用器具がリトラクターである場合の切り替え処理の流れの一例を示すフローチャートである。
ステップS61は、図12に図示のステップS31と同じなので、説明は省略する。
ステップS61でYesと判定された場合、制御部130は、リトラクターが臓器を保持しているか否かを判定する(ステップS62)。具体的には、判定部133が、取得部131によって取得された術部の画像データに基づいて、リトラクターが臓器を保持しているか否かを判定する。また、リトラクターに圧力センサが設けられている場合には、判定部133は、圧力センサによる測定値に基づいて、リトラクターが臓器を保持しているか否かを判定してもよい。また、リトラクターを支えるアーム装置の関節部に圧力センサが設けられている場合には、判定部133は、圧力センサの値がリトラクター自身の重さ以上の値である時に、リトラクターが臓器を保持していると判定してもよい。リトラクターが臓器を保持していると判定された場合(ステップS62のYes)、ステップS63に進む。リトラクターが臓器を保持していないと判定された場合(ステップS62のNo)、ステップS66に進む。
ステップS62でYesと判定された場合、制御部130は、手術用マニピュレータ300で臓器を保持したまま、疑似的な重さを発生させる(ステップS63)。具体的には、マニピュレータ制御部135が、例えば、手術用マニピュレータ300の支持アーム装置の関節部のアクチュエータを制御することで疑似的な重さを発生させて、手動操作に切り替わった際に感じる荷重を操作者に対して与える。すなわち、手動操作に切り替わる際に、操作者に保持の操作を実行させる。これにより、手動操作に切り替わった際に、操作者に対して臓器の重さが急に加わることによる誤った操作を行ってしまうことを防止できる。その結果、安全性を向上させることができる。そして、ステップS64に進む。
制御部130は、手術用マニピュレータ300に対する所定の操作を取得する(ステップS64)。具体的には、取得部131が手術用マニピュレータ300に対する所定の操作に関する操作情報を取得する。そして、ステップS65に進む。
制御部130は、手術用マニピュレータ300に対する所定の操作が適切であるか否かを判定する(ステップS65)。具体的には、判定部133が、取得部131によって取得された操作情報に基づいて、手動操作モードに切り替わった際に操作者が確実にリトラクターを保持することが可能な状態であるか否かを判定する。例えば、判定部133は疑似的な重さが発生している手術用マニピュレータ300を支えられているか否かを判定する。操作が適切であると判定された場合(ステップS65のYes)、ステップS66に進む。操作が適切でないと判定された場合(ステップS65のNo)、ステップS64に進む。すなわち、操作が適切でないと判定された場合には、操作者が適切な操作を行うまでステップS63とステップS64との処理を繰り返す。
ステップS65でYesと判定された場合、制御部130は、手術用マニピュレータ300を手動操作モードに切り替える(ステップS66)。具体的には、マニピュレータ制御部135が手術用マニピュレータ300を手動操作モードに切り替える。この場合、マニピュレータ制御部135は、保持力を瞬時に無くして手動に切り替えるのではなく、所定の時間をかけて、徐々に保持力をなくして、手動操作へ切り替える。これにより、手動操作モードへ切り替わった際に、臓器の荷重(またはそのスケールを調整した負荷)が操作者へ一気にかかることがなくなるため、臓器を保持したまま安全に手動へ切り替えることができる。そして、図15の処理は終了する。
ステップS67と、ステップS68とについては、図12に図示のステップS36と、ステップS37と同じなので説明は省略する。
上述のとおり、本実施形態では、手術用マニピュレータ300に装着されている医療用器具に応じて切り替えシーケンスを変更することができる。これにより、本実施形態は、より適切に自律駆動モードと手動操作モードとを切り替えることができる。
(4−3.第3の処理)
図16を用いて、本開示の実施形態に係る制御装置100の制御部130の第3の処理について説明する。図16は、本開示の実施形態に係る制御装置100の制御部130の第3の処理の流れを示すフローチャートである。
手術用マニピュレータ300の操作者が医師か医師でないかに応じて自律駆動モードと手動操作モードとを切り替える切り替えシーケンスを変更することが好ましいことが想定される。そのため、第3の処理では、手術用マニピュレータ300の操作者または操作者の属性に応じて遷移モードを選択する処理を実行する。第3の処理では、手術用マニピュレータ300の操作者に応じて異なる切り替えシーケンスで自律駆動モードと手動操作モードとが切り替わる。
ステップS71は、図10に図示のステップS11と同じなので、説明を省力する。
ステップS71でYesと判定された場合、制御部130は、手術用マニピュレータ300の操作者が医師であるか否かを判定する(ステップS72)。具体的には、判定部133が、取得部131によって取得された手術用マニピュレータ300の操作者の画像データに基づいて、手術用マニピュレータ300の操作者が医師であるか否かを判定する。また、判定部133は、操作者の生体情報に基づいて、操作者が医師であるか否かを判定してもよい。例えば、判定部133は、取得された操作者の指紋情報と、予め登録されている指紋情報とに基づいて指紋認証を実行し、操作者が医師であるか否かを判定してもよい。また、判定部133は、手術用マニピュレータ300の操作者の各種の属性を判定してもよい。判定部133は、例えば、ユーザ情報記憶部121に記憶された情報に基づいて、手術用マニピュレータ300の操作者が医師であるか否かを判定する。手術用マニピュレータ300の操作者が医師であると判定された場合(ステップS72のYes)、ステップS73に進む。手術用マニピュレータ300の操作者が医師でないと判定された場合(ステップS72のNo)、ステップS75に進む。
ステップS72でYesと判定された場合、制御部130は、手術用マニピュレータ300の医師用の遷移モードを選択する(ステップS73)。具体的には、選択部134が、判定部133の判定結果に基づいて、医師用の遷移モードを選択する。そして、ステップS74に進む。
制御部130は、手術用マニピュレータ300の自律駆動モードと手動操作モードとを切り替える(ステップS74)。具体的には、選択部134の選択結果に基づいて、マニピュレータ制御部135が自律駆動モードと手動操作モードとを切り替える。そして、図16の処理は終了する。
ステップS72でNoと判定された場合、制御部130は、手術用マニピュレータ300の一般用の遷移モードを選択する(ステップS73)。具体的には、判定部133の判定結果に基づいて、選択部134が一般用の遷移モードを選択する。そして、ステップS74に進む。
一般用の遷移モードでは、例えば、切り替えを実行するか否かの確認動作を実行する。この場合、確認の入力がされた場合にのみ、切り替えを実行する。また、医師免許を保有していないものが手術用マニピュレータ300を操作する場合には、患者や処置部から退避する方向にのみ手動操作可能な遷移モードを実行するようにしてもよい。
上述のとおり、本実施形態では、手術用マニピュレータ300の操作者に応じて切り替えシーケンスを変更することができる。これにより、本実施形態は、より適切に自律駆動モードと手動操作モードとを切り替えることができる。
(4−4.第4の処理)
図17を用いて、本開示の実施形態に係る制御装置100の制御部130の第4の処理について説明する。図17は、本開示の実施形態に係る制御装置100の制御部130の第4の処理の流れを示すフローチャートである。
手術用マニピュレータ300の操作者の熟練度や手術時間に応じて自律駆動モードと手動操作モードとを切り替える切り替えシーケンスを変更することが好ましいことが想定される。そのため、第4の処理では、手術用マニピュレータ300の操作者のプロフィールや手術時間に応じて遷移モードを選択する処理を実行する。第4の処理では、手術用マニピュレータ300の操作者のプロフィールや手術時間に応じて異なる切り替えシーケンスで自律駆動モードと手動操作モードとが切り替わる。
ステップS81は、図10に図示のステップS11と同じなので、説明を省力する。
ステップS81でYesと判定された場合、制御部130は、手術用マニピュレータ300の操作者が熟練者であるか否かを判定する(ステップS82)。具体的には、判定部133が、取得部131によって取得された手術用マニピュレータ300の操作者の画像データに基づいて、手術用マニピュレータ300の操作者が熟練者であるか否かを判定する。判定部133は、例えば、ユーザ情報記憶部121に記憶された情報に基づいて、手術用マニピュレータ300の操作者がベテラン医師であるか否かを判定する。また、判定部133は、手術用マニピュレータ300の操作者の手術のスキルに基づいて、熟練者であるか否かを判定するようにしてもよい。より具体的には、判定部133、手術経験の豊富なベテランの医師、手術のスキルの高い医師などを熟練者として判定する。また、判定部133は、操作者の生体情報に基づいて、操作者が熟練者であるか否かを判定してもよい。手術用マニピュレータ300の操作者が熟練者であると判定された場合(ステップS82のYes)、ステップS83に進む。手術用マニピュレータ300の操作者が熟練者でないと判定された場合(ステップS82のNo)、ステップS86に進む。
ステップS82でYesと判定された場合、制御部130は、手術時間が閾値より短いか否かを判定する(ステップS83)。具体的には、判定部133が、手術情報記憶部122に記憶された情報に基づいて、手術時間が閾値より短いか否かを判定する。手術時間が閾値より短いと判定された場合(ステップS83のYes)、ステップS84に進む。手術時間が閾値よりも長いと判定された場合(ステップS83のNo)、ステップS86に進む。
ステップS83でYesと判定された場合、制御部130は、手術用マニピュレータ300の通常の遷移モードを選択する(ステップS84)。具体的には、選択部134が、判定部133の判定結果に基づいて、通常の遷移モードを選択する。そして、ステップS85に進む。
制御部130は、手術用マニピュレータ300の自律駆動モードと手動操作モードとを切り替える(ステップS85)。具体的には、マニピュレータ制御部135が、選択部134による選択結果に基づいて、自律駆動モードと手動操作モードとを切り替える。そして。図17の処理は終了する。
ステップS82でNoまたはステップS83でNoと判定された場合、制御部130は、手術用マニピュレータ300のソフトランディングの遷移モードを選択する(ステップS86)。具体的には、選択部134が、判定部133の判定結果に基づいて、ソフトランディングの遷移モードを選択する。ソフトランディングの遷移モードは、通常の遷移モードよりも遷移にかける時間が多く設定されたモードである。すなわち、本実施形態では、操作者が経験の浅い医師である場合と、手術に時間がかかり医師の疲労度が増加していると想定される場合には、時間をかけて切り替え操作が実行される。これにより、安全性を向上させることができる。
上述のとおり、本実施形態では、手術用マニピュレータ300の操作者の熟練度や手術での疲労度に応じて切り替えシーケンスを変更することができる。これにより、本実施形態は、より適切に自律駆動モードと手動操作モードとを切り替えることができる。
(4−5.第5の処理)
図18を用いて、本開示の実施形態に係る制御装置100の制御部130の第5の処理について説明する。図18は、本開示の実施形態に係る制御装置100の制御部130の第5の処理の流れを示すフローチャートである。
手術用マニピュレータ300の手術の進行具合や処理の種類に応じて自律駆動モードと手動操作モードとを切り替える切り替えシーケンスを変更することが好ましいことが想定される。そのため、第5の処理では、手術の進行具合や処置の種類に応じて遷移モードを選択する処理を実行する。たとえば、第5の処理では、手術の状況に応じて、遷移時間の異なる複数の遷移モードから遷移モードを選択する。すなわち、第5の処理では、手術の進行具合や処置の種類に応じて異なる切り替えシーケンスで自律駆動モードと手動操作モードとが切り替わる。
ステップS91は、図10に図示のステップS11と同じなので、説明を省力する。
ステップS91でYesと判定された場合、制御部130は、手術進行が遅れているか否かを判定する(ステップS92)。具体的には、判定部133が、手術情報記憶部122に記憶された手術時間に関する情報に基づいて、手術進行が遅れているか否かを判定する。手術進行が遅れていないと判定された場合(ステップS92のNo)、ステップS93に進む。手術進行が遅れていると判定された場合(ステップS92のYes)、ステップS96に進む。
ステップS92でNoと判定された場合、制御部130は、現在行われている処置が短時間で行うべき処置であるか否かを判定する(ステップS93)。具体的には、判定部133が、取得部131が取得した処置の画像データと、手術情報記憶部122に記憶された情報とに基づいて、短時間で行うべき処置中であるか否かを判定する。短時間で行うべき処置中でないと判定された場合(ステップS93のNo)、ステップS94に進む。短時間で行うべき処置中であると判定された場合(ステップS93のYes)、ステップS96に進む。
ステップS93でNoと判定された場合、制御部130は、手術用マニピュレータ300の通常の遷移モードを選択する(ステップS94)。具体的には、選択部134が、判定部133の判定結果に基づいて、通常の遷移モードを選択する。そして、ステップS95に進む。
制御部130は、手術用マニピュレータ300の自律駆動モードと手動操作モードとを切り替える(ステップS95)。具体的には、マニピュレータ制御部135が、選択部134の選択結果に基づいて、自律駆動モードと手動操作モードとを切り替える。そして、図18の処理は終了する。
ステップS92でYesまたはステップS93でYesと判定された場合、制御部130は、手術用マニピュレータ300のクイックの遷移モードを選択する(ステップS96)。具体的には、選択部134が、判定部133による判定結果に基づいて、クイックの遷移モードを選択する。クイックの遷移モードは、通常の遷移モードよりも遷移にかける時間が短く設定されたモードである。すなわち、本実施形態では、手術進行が遅れている場合や、短時間で処置すべき場合には素早く自律駆動モードと手動操作モードとを切り替えることができる。
上述のとおり、本実施形態では、手術用マニピュレータ300の手術の進行具合や処置の種類に応じて切り替えシーケンスを変更することができる。これにより、本実施形態は、より適切に自律駆動モードと手動操作モードとを切り替えることができる。
(4−6.第6の処理)
図19を用いて、本開示の実施形態に係る制御装置100の制御部130の第6の処理について説明する。図19は、本開示の実施形態に係る制御装置100の制御部130の第6の処理の流れを示すフローチャートである。
手術用マニピュレータ300の周囲に医師がいるか否かに応じて自律駆動モードと手動操作モードとを切り替える切り替えシーケンスを変更することが好ましいことが想定される。そのため、第6の処理では、手術用マニピュレータ300の周囲に医師がいるか否かに応じて遷移モードを選択する処理を実行する。第6の処理では、手術用マニピュレータ300の周囲に医師がいるか否かに応じて異なる切り替えシーケンスで自律駆動モードと手動操作モードとが切り替わる。
制御部130は、患者が出血している否かを判定する(ステップS101)。具体的には、判定部133が、取得部131によって取得された術部の画像データに基づいて、患者が出血しているか否かを判定する。患者が出血していると判定された場合(ステップS101のYes)、ステップS102に進む。患者が出血していないと判定された場合(ステップS101のNo)、ステップS101の処理を繰り返す。
ステップS101でYesと判定された場合、制御部130は、手術用マニピュレータ300の周囲に医師がいるか否かを判定する(ステップS102)。具体的には、判定部133が、取得部131によって取得された手術用マニピュレータ300の周囲の画像データに基づいて、手術用マニピュレータ300の手術用マニピュレータ300の周囲に医師がいるか否かを判定する。また、判定部133は、例えば、手術用マニピュレータ300によって手術用マニピュレータ300の周囲の人物の生体情報を取得し、取得された生体情報に基づいて、その人物が医師であるか否かを判定してもよい。ここで、手術用マニピュレータ300の周囲とは、例えば、医師が危機回避動作を実行するために手術用マニピュレータ300に外力を加えることのできる距離を意味する。判定部133は、例えば、ユーザ情報記憶部121に記憶された情報に基づいて、手術用マニピュレータ300の周囲にいる人物が医師であるか否かを判定する。手術用マニピュレータ300の周囲に医師がいると判定された場合(ステップS102のYes)、ステップS103に進む。手術用マニピュレータ300の周囲に医師がいないと判定された場合(ステップS102のNo)、ステップS107に進む。
ステップS102でYesと判定された場合、制御部130は、医師に対して手動操作を促す(ステップS103)。具体的には、マニピュレータ制御部135が手術用マニピュレータ300を駆動させ、医師に対して手動操作を促す。ここで、制御部130は、スピーカーからの音声を出力したり、表示部にアラートの画像を表示したりすることで、医師に対して手動操作を促してもよい。そして、ステップS104に進む。
医師が手動操作モードを指示しているか否かを判定する(ステップS104)。具体的には、判定部133が、取得部131によって取得された操作情報に基づいて、医師が手動操作モードを指示しているか否かを判定する。医師が手動操作モードを指示している場合(ステップS104のYes)、ステップS105に進む。医師が自律駆動モードを指示している場合(ステップS104のNo)、ステップS107に進む。
ステップS104でYesと判定された場合、制御部130は、手術用マニピュレータ300の通常の遷移モードを選択する(ステップS105)。具体的には、選択部134が、判定部133の判定結果に基づいて、通常の遷移モードを選択する。そして、ステップS106に進む。
制御部130は、手術用マニピュレータ300を手動操作モードに切り替える(ステップS106)。具体的には、マニピュレータ制御部135が、選択部134による選択結果に基づいて、手動操作モードに切り替える。そして、図19の処理は終了する。
ステップS102でNoまたはステップS104でNoと判定された場合、制御部130は、手術用マニピュレータ300の自動止血モードを選択する(ステップS107)。具体的には、選択部134が、判定部133による判定結果に基づいて、自動止血モードを選択する。自動止血モードは、手術用マニピュレータ300が自律的に駆動し患部の止血を処置するモードである。そして、ステップS108に進む。
制御部130は、手術用マニピュレータ300に患部の止血の処置を実行させる(ステップS108)。具体的には、マニピュレータ制御部135が手術用マニピュレータ300を制御して、患部の止血の処置を実行させる。そして、図19の処理は終了する。
上述のとおり、本実施形態では、手術用マニピュレータ300の周囲に医師がいるか否かを判定し、医師がいた場合には医師に指示に従って自律駆動モードと手動操作モードとを変更し、医師がいない場合に自律駆動モードに変更することができる。これにより、本実施形態は、より適切に自律駆動モードと手動操作モードとを切り替えることができる。
(4−7.第7の処理)
図20を用いて、本開示の実施形態に係る制御装置100の制御部130の第7の処理について説明する。図20は、本開示の実施形態に係る制御装置100の制御部130の第7の処理の流れを示すフローチャートである。
手術用マニピュレータ300に外力が加えられたか否かに応じて、自律駆動モードから手動操作モードへと切り替える切り替えシーケンスを変更することが好ましいことが想定される。そのため、第7の処理では、手術用マニピュレータ300に外力が加えられた場合の自律駆動モードから手動操作モードへと切り替える処理を実行する。第7の処理では、手術用マニピュレータ300に加えられた外力の大きさに応じて異なる切り替えシーケンスで自律駆動モードと手動操作モードとが切り替わる。
ステップS201と、ステップS202と、ステップS203と、ステップS204とについては、それぞれ、図10に図示のステップS11と、ステップS13と、ステップS14と、ステップS15と同じなので説明は省略する。
ステップS201でNoと判定された場合、制御部130は、手術用マニピュレータ300に所定以上の外力が加えられたか否かを判定する(ステップS205)。具体的には、判定部133が、取得部131によって取得された外力情報に基づいて、手術用マニピュレータ300に所定以上の外力が加えられたか否かを判定する。所定以上の外力とは、操作者が自律的に駆動する手術用マニピュレータ300の駆動を止めようと判断される力であってもよい。なお、判定部133は、所定以上の外力と判定される閾値を、手術の状況を判定し手術の状況に応じて変更してよい。手術用マニピュレータ300に所定以上の外力が加えられていないと判定された場合(ステップS205のNo)、ステップS201に進む。手術用マニピュレータ300に所定以上の外力が加えられたと判定された場合(ステップS205のYes)、ステップS202に進む。すなわち、手術用マニピュレータ300の切り替えが検知されていない場合であっても、手術用マニピュレータ300に所定以上の外力が加えられた場合には、操作者からの介入と判断し手動操作モードに切り替える。
上述のとおり、本実施形態では、手術用マニピュレータ300に外力が加えられた場合には自律駆動モードから手動操作モードへと切り替えることができる。これにより、本実施形態は、例えば、手術用マニピュレータ300が医師の判断と異なる動作した場合であっても、手術用マニピュレータ300に外力を加えることで手動操作モードに切り替えることができるので安全性が向上する。
(4−8.第8の処理)
図21を用いて、本開示の実施形態に係る制御装置100の制御部130の第8の処理について説明する。図21は、本開示の実施形態に係る制御装置100の制御部130の第8の処理の流れを示すフローチャートである。
手術用マニピュレータ300に外力が加えられたか否かに応じて、手動操作モードから自律駆動モードとへと切り替える切り替えシーケンスを変更することが好ましいことが想定される。そのため、第8の処理では、手術用マニピュレータ300に外力が加えられた場合の手動操作モードから自律駆動モードへと切り替える処理を実行する。第8の処理では、手術用マニピュレータ300に加えられた外力の大きさに応じて異なる切り替えシーケンスで自律駆動モードと手動操作モードとが切り替わる。
ステップS301については、それぞれ、図10に図示のステップS11と同じなので説明は省略する。
ステップS301でNoと判定された場合、制御部130は、手術用マニピュレータ300に所定以上の外力が加えられたか否かを判定する(ステップS302)。具体的には、判定部133が、取得部131によって取得された外力情報に基づいて、所定以上の外力が加えられたか否かを判定する。手術用マニピュレータ300に所定以上の外力が加えられていないと判定された場合(ステップS302のNo)、ステップS303に進む。手術用マニピュレータ300に所定以上の外力が加えられたと判定された場合(ステップS302のYes)、ステップS306に進む。
ステップS303と、ステップS304と、ステップS305とについては、それぞれ、図10に図示のステップS16と、ステップS17と、ステップS15と同じなので説明は省略する。
ステップS302でYesと判定された場合、制御部130は、手術用マニピュレータ300の切り替えを中止する(ステップS306)。具体的には、マニピュレータ制御部135が、手術用マニピュレータ300の切り替えを中止する。すなわち、本実施形態では、手術用マニピュレータ300の切り替えを検知した場合であっても、手術用マニピュレータ300に所定以上の外力が加えられた場合には、操作者からの介入と判断し手動操作モードを維持する。
上述のとおり、本実施形態では、手術用マニピュレータ300に外力が加えられた場合には自律駆動モードへの切り替えを中止することができる。これにより、本実施形態は、安全性が向上する。
(4−9.第9の処理)
図22を用いて、本開示の実施形態に係る制御装置100の制御部130の第9の処理について説明する。図22は、本開示の実施形態に係る制御装置100の制御部130の第9の処理の流れを示すフローチャートである。
手術用マニピュレータ300が自律駆動している場合に、手術用マニピュレータ300の動作が介入するほどではないが、医師の想定とは異なっているため、動作を修正することが想定される。第9の処理では、第1外力と、第1外力よりも大きな第2外力が設定されており、加えられた外力の大きさに応じて自律駆動モードから手動操作モードへと切り替える処理を変更する。第9の処理では、手術用マニピュレータ300に加えられた外力の種類と大きさに応じて異なる切り替えシーケンスで自律駆動モードと手動操作モードとが切り替わる。ここで、第2外力は操作者からの介入と判定される外力である。
制御部130は、手術用マニピュレータ300に第1外力以上の外力が加えられたか否かを判定する(ステップS401)。具体的には、判定部133が、取得部131によって取得された外力情報に基づいて、手術用マニピュレータ300に第1外力以上の外力が加えられたか否かを判定する。手術用マニピュレータ300に第1外力以上の外力が加えられていないと判定された場合(ステップS401のNo)、ステップS401の処理を繰り返す。手術用マニピュレータ300に第1外力以上の外力が加えられたと判定された場合(ステップS401のYes)、ステップS402に進む。
ステップS401でYesと判定された場合、制御部130は、手術用マニピュレータ300に第2外力以上の外力が加えられたか否かを判定する(ステップS402)。具体的には、判定部133が、取得部131によって取得された外力情報に基づいて、判定部133が手術用マニピュレータ300に第2外力以上の外力が加えられたか否かを判定する。手術用マニピュレータ300に第2外力以上の外力が加えられたと判定された場合(ステップS402のYes)、ステップS403に進む。手術用マニピュレータ300に第2外力以上の外力が加えられていないと判定された場合(ステップS402のNo)、ステップS406に進む。
ステップS403〜ステップS405は、図10に図示のステップS13〜ステップS15と同じなので説明は省略する。
ステップS402でNoと判定された場合、制御部130は、手術用マニピュレータ300の周囲の状況を判定する(ステップS406)。この処理は、図10に図示のステップS13と同じなので、説明は省略する。そして、ステップS407に進む。
制御部130は、手術用マニピュレータ300の周囲の状況に応じた自律駆動モードから半自律駆動モードへ遷移させる遷移モードを選択する(ステップS407)。ここで、半自律駆動モードとは、操作者からの操作に基づいて自律駆動を修正するモードである。すなわち、半自律駆動モードでは、手術用マニピュレータ300は自律駆動を実行する。具体的には、判定部133が、第1外力が手術用マニピュレータ300に加えられていることで手術用マニピュレータ300に対する動作の修正が行われると判定する。そして、選択部134が動作の修正を行うために半自律駆動モードを選択する。そして、ステップS408に進む。
制御部130は、所定の操作に基づいて手術用マニピュレータ300の動作を修正する(ステップS408)。具体的には、取得部131が手術用マニピュレータ300に対する第1外力以上第2外力未満での動作の修正に関する動作情報を取得する。そして、マニピュレータ制御部135が手術用マニピュレータ300の動作を修正する。そして、ステップS409に進む。
制御部130は、手術用マニピュレータ300に第1外力以上の外力が加えられたか否かを判定する(ステップS409)。手術用マニピュレータ300に第1外力以上の外力が加えられたと判定された場合(ステップS409のYes)、ステップS410に進む。手術用マニピュレータ300に第1外力以上の力が加えられていないと判定された場合(ステップS409のNo)、ステップS411に進む。
ステップS409でYesと判定された場合、制御部130は、手術用マニピュレータ300に第2外力以上の外力が加えられたか否かを判定する(ステップS410)。手術用マニピュレータ300に第2外力以上の力が加えられたと判定された場合(ステップS410のYes)、ステップS403に進む。この場合、操作者からの介入があったと判定され、自律駆動モードから手動操作モードへと切り替わる。手術用マニピュレータ300に第2外力以上の力が加えられていないと外力判定された場合(ステップS410のNo)、ステップS408に進む。この場合、第1外力以上の力が判定され、かつ第2外力以上の外力が加えられていると判定されてない場合には、半自律駆動モードが継続する。
ステップS409でNoと判定された場合、制御部130は、手術用マニピュレータ300の周囲の状況を判定する(ステップS411)。この処理は、図10に図示のステップS13と同じなので、説明は省略する。そして、ステップS412に進む。
制御部130は、手術用マニピュレータ300の周囲の状況に応じた半自律駆動モードから自律駆動モードへ遷移させる遷移モードを選択する(ステップS412)。具体的には、判定部133が、第1外力が手術用マニピュレータ300に加えられていないため、手術用マニピュレータ300に対する動作の修正が終了したと判断する。そして、選択部134が自律駆動モードを選択する。そして、図22の処理は終了する。
上述のとおり、本実施形態では、自律駆動する手術用マニピュレータ300の動作が医師の想定とは違う場合などに、半自律駆動モードに切り替えて手術用マニピュレータ300の自律駆動における動作を修正することができる。これにより、手術の安全性が向上する。
[5.ハードウェア構成]
上述してきた制御装置100等の情報機器は、例えば図23に示すような構成のコンピュータ1000によって実現される。図23は、制御装置100等の情報処理装置の機能を実現するコンピュータ1000の一例を示すハードウェア構成図である。以下、実施形態に係る制御装置100を例に挙げて説明する。コンピュータ1000は、CPU1100、RAM1200、ROM(Read Only Memory)1300、HDD(Hard Disk Drive)1400、通信インターフェイス1500、及び入出力インターフェイス1600を有する。コンピュータ1000の各部は、バス1050によって接続される。
CPU1100は、ROM1300又はHDD1400に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、CPU1100は、ROM1300又はHDD1400に格納されたプログラムをRAM1200に展開し、各種プログラムに対応した処理を実行する。
ROM1300は、コンピュータ1000の起動時にCPU1100によって実行されるBIOS(Basic Input Output System)等のブートプログラムや、コンピュータ1000のハードウェアに依存するプログラム等を格納する。
HDD1400は、CPU1100によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、HDD1400は、プログラムデータ1450の一例である本開示に係る情報処理プログラムを記録する記録媒体である。
通信インターフェイス1500は、コンピュータ1000が外部ネットワーク1550(例えばインターネット)と接続するためのインターフェイスである。例えば、CPU1100は、通信インターフェイス1500を介して、他の機器からデータを受信したり、CPU1100が生成したデータを他の機器へ送信したりする。
入出力インターフェイス1600は、入出力デバイス1650とコンピュータ1000とを接続するためのインターフェイスである。例えば、CPU1100は、入出力インターフェイス1600を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、CPU1100は、入出力インターフェイス1600を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス1600は、所定の記録媒体(メディア)に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばDVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
例えば、コンピュータ1000が実施形態に係る制御装置100として機能する場合、コンピュータ1000のCPU1100は、RAM1200上にロードされた情報処理プログラムを実行することにより、制御部150等の機能を実現する。また、HDD1400には、本開示に係る情報処理プログラムや、記憶部14内のデータが格納される。なお、CPU1100は、プログラムデータ1450をHDD1400から読み取って実行するが、他の例として、外部ネットワーク1550を介して、他の装置からこれらのプログラムを取得してもよい。
(効果)
手術支援システム1は、手術用マニピュレータ300と、手術用マニピュレータ300の自律駆動モードと手動操作モードとを切り替える切り替え操作を検知する検知部132と、検知部132によって切り替え操作が検知された場合に、手術用マニピュレータ300が配置された手術室の状況を判定する判定部133と、判定部133によって判定された状況に応じた切り替えシーケンスを選択する選択部134と、を備える。
この構成によれば、手術室の状況に応じて自律駆動モードと手動操作モードとを切り替える適切なシーケンスを選択することができる。その結果、手術用マニピュレータ300の自律駆動と手動操作とを安全に切り替えることができる。
判定部133は、手術用マニピュレータ300の状態を判定し、選択部134は、手術用マニピュレータ300の状態に応じた切り替えシーケンスを選択してよい。
この構成によれば、手術用マニピュレータ300の状態に応じて自律駆動と手動操作とを切り替える適切なシーケンスを選択することができる。その結果、手術用マニピュレータ300の自律駆動モードと手動操作モードとを安全に切り替えることができる。
判定部133は、手術用マニピュレータ300が自律駆動モードであるか、手動操作モードであるかを判定してよい。
この構成によれば、手術用マニピュレータ300が自律駆動モードであるか、手動操作モードであるかを判定することができる。その結果、自律駆動モードであるか、手動操作モードであるかに応じた切り替えシーケンスを選択することができる。
判定部133は、手術用マニピュレータ300に装着された医療用器具を判定し、選択部134は、手術用マニピュレータ300に装着された医療用器具に応じた切り替えシーケンスを選択してよい。
この構成によれば、手術用マニピュレータ300に装着された医療用器具の種類に応じて適切なシーケンスを選択することができる。その結果、手術用マニピュレータ300の自律駆動と手動操作とを安全に切り替えることができる。
判定部133は、手術用マニピュレータ300が自律駆動モードであるか、手動操作モードであるかを判定し、選択部134は、手術用マニピュレータ300に装着された医療器具と、自律駆動モードまたは手動操作モードであるかに応じた切り替えシーケンスを選択してよい。
この構成によれば、手術用マニピュレータ300に装着された医療用器具の種類およびモードに応じて適切なシーケンスを選択することができる。その結果、手術用マニピュレータ300の自律駆動と手動操作とを安全に切り替えることができる。
医療器具がカメラまたはメスであると判定された場合、選択部134は、手術用マニピュレータ300が自律駆動モードである場合には、手動操作モードに段階的に切り替える切り替えシーケンスを選択してよい。
この構成によれば、医療器具がカメラまたはメスである場合には、自律駆動モードから手動操作モードに切り替える際には、段階的に切り替えることができる。その結果、手術用マニピュレータ300の自律駆動と手動操作とを安全に切り替えることができる。
医療器具が持針器であると判定された場合、選択部134は、手術用マニピュレータ300が自律駆動モードであり、かつ持針器が把持する針が患部に挿入されている場合には、手動操作モードに段階的に切り替える切り替えシーケンスを選択してよい。
この構成によれば、医療器具が持針器であり、持針器に把持された針が患部に挿入されている場合には、自律駆動モードから手動操作モードに切り替える際には、段階的に切り替えることができる。その結果、手術用マニピュレータ300の自律駆動と手動操作とを安全に切り替えることができる。
医療器具がリトラクターであると判定された場合、選択部134は、手術用マニピュレータ300が自律駆動モードであり、かつリトラクターが臓器を保持している場合には、手術用マニピュレータ300に疑似的な重さを発生させる切り替えシーケンスを選択してよい。
この構成によれば、医療器具がリトラクターであり、リトラクターが臓器を保持している場合には、自律駆動モードから手動操作モードに切り替える際には、疑似的な重さを発生させた後、段階的に切り替えることができる。その結果、手術用マニピュレータ300の自律駆動と手動操作とを安全に切り替えることができる。
選択部134は、手術用マニピュレータ300に疑似的な重さを発生させた後、所定の動作を受け付けた場合に手動操作モードに切り替える切り替えシーケンスを選択してよい。
この構成によれば、医療器具がリトラクターであり、リトラクターが臓器を保持している場合には、自律駆動モードから手動操作モードに切り替える際には、疑似的な重さを発生させた後、所定の操作を受け付けてから段階的に切り替えることができる。その結果、手術用マニピュレータ300の自律駆動と手動操作とを安全に切り替えることができる。
手術用マニピュレータ300は、少なくとも一部が屈曲可能に構成され、かつ医療用器具を支持可能に構成されたアーム部(310,320,330)を有してよい。
この構成によれば、アーム部を有する手術用マニピュレータ300に対して本技術を適用することができる。その結果、汎用性が向上する。
判定部133は、手術用マニピュレータ300に対して切り替え操作を実行した操作者の状態を判定し、選択部134は、操作者の状態に応じた切り替えシーケンスを選択してよい。
この構成によれば、手術用マニピュレータ300の操作者の状態に応じて適切なシーケンスを選択することができる。その結果、手術用マニピュレータ300の自律駆動モードと手動操作モードとを安全に切り替えることができる。
判定部133は、操作者の属性を判定し、選択部134は、操作者の属性に応じて切り替えシーケンスを選択してよい。
この構成によれば、手術用マニピュレータ300の操作者の属性に応じて適切なシーケンスを選択することができる。その結果、手術用マニピュレータ300の自律駆動モードと手動操作モードとを安全に切り替えることができる。
判定部133は、操作者が医師であるか否かを判定し、選択部134は、操作者が医師であるか否かに応じて切り替えシーケンスを選択してよい。
この構成によれば、手術用マニピュレータ300の操作者が医師であるか否かに応じて適切なシーケンスを選択することができる。これにより、手術用マニピュレータ300の自律駆動モードと手動操作モードとを切り替える際に、医師と、医師でない者との応じて適切な切り替えシーケンスを選択することができる。その結果、手術用マニピュレータ300の自律駆動モードと手動操作モードとを安全に切り替えることができる。
判定部133は、操作者の生体情報の記録を判定し、選択部134は、操作者の生体情報の記録に応じた切り替えシーケンスを選択してよい。
この構成によれば、手術用マニピュレータ300の操作者の生体情報に応じて適切なシーケンスを選択することができる。これにより、手術用マニピュレータ300の自律駆動モードと手動操作モードとを切り替える際に、手術用マニピュレータ300の疲労度などに応じて適切な切り替えシーケンスを選択することができる。その結果、手術用マニピュレータ300の自律駆動モードと手動操作モードとを安全に切り替えることができる。
判定部133は、手術室で行われている手術の状況を判定し、選択部134は、手術室で行われている手術の状況に応じた切り替えシーケンスを選択してよい。
この構成によれば、手術の状況に応じた適切なシーケンスを選択することができる。その結果、手術用マニピュレータ300の自律駆動と手動操作とを安全に切り替えることができる。
判定部133は、手術室で行われている手術の進行具合を判定し、選択部134は、手術室で行われている手術の進行具合に応じた切り替えシーケンスを選択してよい。
この構成によれば、手術の進行具合に応じて適切なシーケンスを選択することができる。これにより、手術用マニピュレータ300の自律駆動モードと手動操作モードとを切り替える際に、手術が想定よりも遅れている場合などに適切な切り替えシーケンスを選択することができる。その結果、手術用マニピュレータ300の自律駆動モードと手動操作モードとを安全に切り替えることができる。
選択部134は、手術室で行われている手術の進行具合に応じて、遷移時間の異なる切り替えシーケンスを選択してよい。
この構成によれば、手術の進行具合が遅れ、短時間で行うべき処置である場合には、通常よりも短時間の遷移モードを選択することができる。その結果、手術の安全性が向上する。
判定部133は、術野における出血の有無を判定し、選択部134は、術野における出血の有無に応じて切り替えシーケンスを選択してよい。
この構成によれば、患者からの出血の有無に応じて適切なシーケンスを選択することができる。これにより、手術用マニピュレータ300の自律駆動モードと手動操作モードとを切り替える際に、患者が出血している場合などに適切な切り替えシーケンスを選択することができる。その結果、手術用マニピュレータ300の自律駆動モードと手動操作モードとを安全に切り替えることができる。
判定部133は、手術用マニピュレータ300の周囲に医師がいるか否かを判定し、選択部134は、手術用マニピュレータ300の周囲に医師がいるか否かに応じて切り替えシーケンスを選択してよい。
この構成によれば、手術用マニピュレータ300の周囲に医師がいるか否かに応じて異なる切り替えシーケンスを選択することができる。その結果、手術用マニピュレータ300の自律駆動モードと手動操作モードとを安全に切り替えることができる。
選択部134は、手術用マニピュレータ300の周囲に医師がいないと判定され、かつ手術用マニピュレータ300が自律駆動モードである場合には、手術用マニピュレータ300に術野の出血を止血させる切り替えシーケンスを選択してよい。
この構成によれば、出血を止血する際に、手術用マニピュレータ300の周囲に医師がいない場合には、手術用マニピュレータ300に自律的に止血させる切り替えシーケンスを選択することができる。その結果、手術における安全性を向上させることができる。
判定部133は、手術用マニピュレータ300に加えられた外力が予め定められた閾値を超えているか否かを判定し、選択部134は、手術用マニピュレータ300に加えられた外力が予め定められた閾値を超えているか否かに応じて切り替えシーケンスを選択してよい。
この構成によれば、手術用マニピュレータ300に加えられた外力の大きさなどに応じて適切なシーケンスを選択することができる。これにより、自律駆動モードで駆動する手術用マニピュレータ300の動作が医師の想定とは異なる場合などに、強制的に手動操作モードに切り替えることができる。その結果、手術用マニピュレータ300の自律駆動モードと手動操作モードとを安全に切り替えることができる。
判定部133は、手術室で行われている手術の状況を判定し、かつ手術の状況に応じて閾値を変更してよい。
この構成によれば、切り替えシーケンスが変更される外力の閾値を手術の状況に応じて切り替えることができる。これにより、大きな力を手術用マニピュレータ300に対して加えられない状況下であっても、閾値を小さくすることで自律駆動モードから手動操作モードへ強制的に切り替えることができる。その結果、手術用マニピュレータ300の自律駆動モードと手動操作モードとを安全に切り替えることができる。
判定部133は、手術用マニピュレータ300の動作を修正するための外力が加えられているか否かを判定し、選択部134は、判定部133によって手術用マニピュレータ300の自律駆動モードにおける動作を修正するための外力が加えられていると判定された場合に、手術用マニピュレータ300の動作を修正するための半自律駆動モードを選択してよい。
この構成によれば、自律駆動する手術用マニピュレータ300の動作を手動で修正することができる。これにより、自律駆動する手術用マニピュレータ300の動作が医師の想定とは異なる場合に、医師が手動で手術用マニピュレータ300の動作を修正することができる。その結果、安全性が向上する。
制御装置100は、手術用マニピュレータ300に対する自律駆動モードと手動操作モードとを切り替える切り替え操作を検知する検知部132と、検知部132によって切り替え操作が検知された場合、手術用マニピュレータ300が配置された手術室の状況を判定する判定部133と、判定部133によって判定された状況に応じた切り替えシーケンスを選択する選択部134と、を備える。
この構成によれば、手術室の状況に応じて自律駆動モードと手動操作モードとを切り替える適切なシーケンスを選択することができる。その結果、手術用マニピュレータ300の自律駆動モードと手動操作モードとを安全に切り替えることができる。
制御方法は、手術用マニピュレータ300に対する自律駆動モードと手動操作モードとを切り替える切り替え操作を検知し、手術用マニピュレータに対する切り替え操作が検知された場合、手術用マニピュレータ300が配置された手術室の状況を判定し、判定された状況に応じた切り替えシーケンスを選択する。
この方法によれば、手術室の状況に応じて自律駆動モードと手動操作モードとを切り替える適切なシーケンスを選択することができる。その結果、手術用マニピュレータ300の自律駆動モードと手動操作モードとを安全に切り替えることができる。
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
なお、本技術は以下のような構成も取ることができる。
(1)
手術用マニピュレータと、
前記手術用マニピュレータの自律駆動モードと手動操作モードとを切り替える切り替え操作を検知する検知部と、
前記検知部によって切り替え操作が検知された場合に、前記手術用マニピュレータが配置された手術室の状況を判定する判定部と、
前記判定部によって判定された状況に応じた切り替えシーケンスを選択する選択部と、
を備える、手術支援システム。
(2)
前記判定部は、前記手術用マニピュレータの状態を判定し、
前記選択部は、前記手術用マニピュレータの状態に応じた切り替えシーケンスを選択する、
前記(1)に記載の手術支援システム。
(3)
前記判定部は、前記手術用マニピュレータが自律駆動モードであるか、手動操作モードであるかを判定する、
前記(1)または(2)に記載の手術支援システム。
(4)
前記判定部は、前記手術用マニピュレータに装着された医療用器具を判定し、
前記選択部は、前記手術用マニピュレータに装着された医療用器具に応じた切り替えシーケンスを選択する、
前記(1)または(2)に記載の手術支援システム。
(5)
前記判定部は、前記手術用マニピュレータが自律駆動モードであるか、手動操作モードであるかを判定し、
前記選択部は、前記手術用マニピュレータに装着された医療器具と、自律駆動モードまたは手動操作モードであるかに応じた切り替えシーケンスを選択する、
前記(4)に記載の手術支援システム。
(6)
前記医療器具がカメラまたはメスであると判定された場合、
前記選択部は、前記手術用マニピュレータが自律駆動モードである場合には、手動操作モードに段階的に切り替える切り替えシーケンスを選択する、
前記(5)に記載の手術支援システム。
(7)
前記医療器具が持針器であると判定された場合、
前記選択部は、前記手術用マニピュレータが自律駆動モードであり、かつ前記持針器が把持する針が患部に挿入されている場合には、手動操作モードに段階的に切り替える切り替えシーケンスを選択する、
前記(5)に記載の手術支援システム。
(8)
前記医療器具がリトラクターであると判定された場合、
前記選択部は、前記手術用マニピュレータが自律駆動モードであり、かつ前記リトラクターが臓器を保持している場合には、前記手術用マニピュレータに疑似的な重さを発生させる切り替えシーケンスを選択する、
前記(5)に記載の手術支援システム。
(9)
前記選択部は、前記手術用マニピュレータに疑似的な重さを発生させた後、所定の動作を受け付けた場合に手動操作モードに切り替える切り替えシーケンスを選択する、
前記(8)に記載の手術支援システム。
(10)
前記手術用マニピュレータは、少なくとも一部が屈曲可能に構成され、かつ前記医療用器具を支持可能に構成されたアーム部を有する、
前記(1)〜(9)のいずれか1つに記載の手術支援システム。
(11)
前記判定部は、前記手術用マニピュレータに対して切り替え操作を実行した操作者の状態を判定し、
前記選択部は、前記操作者の状態に応じた切り替えシーケンスを選択する、
前記(1)〜(10)のいずれか1つに記載の手術支援システム。
(12)
前記判定部は、前記操作者の属性を判定し、
前記選択部は、前記操作者の属性に応じて切り替えシーケンスを選択する、
前記(11)に記載の手術支援システム。
(13)
前記判定部は、前記操作者が医師であるか否かを判定し、
前記選択部は、前記操作者が医師であるか否かに応じて切り替えシーケンスを選択する、
前記(11)または(12)に記載の手術支援システム。
(14)
前記判定部は、前記操作者の生体情報の記録を判定し、
前記選択部は、前記操作者の生体情報の記録に応じた切り替えシーケンスを選択する、
前記(11)〜(13)のいずれか1つに記載の手術支援システム。
(15)
前記判定部は、前記手術室で行われている手術の状況を判定し、
前記選択部は、前記手術室で行われている手術の状況に応じた切り替えシーケンスを選択する、
前記(1)〜(14)のいずれか1つに記載の手術支援システム。
(16)
前記判定部は、前記手術室で行われている手術の進行具合を判定し、
前記選択部は、前記手術室で行われている手術の進行具合に応じた切り替えシーケンスを選択する、
前記(1)〜(15)のいずれか1つに記載の手術支援システム。
(17)
前記選択部は、前記手術室で行われている手術の進行具合に応じて、遷移時間の異なる切り替えシーケンスを選択する、
前記(16)に記載の手術支援システム。
(18)
前記判定部は、術野における出血の有無を判定し、
前記選択部は、前記術野における出血の有無に応じて切り替えシーケンスを選択する、
前記(1)〜(17)のいずれか1つに記載の手術支援システム。
(19)
前記判定部は、前記手術用マニピュレータの周囲に医師がいるか否かを判定し、
前記選択部は、前記手術用マニピュレータの周囲に医師がいるか否かに応じて切り替えシーケンスを選択する、
前記(1)〜(18)に記載の手術支援システム。
(20)
前記選択部は、前記手術用マニピュレータの周囲に医師がいないと判定され、かつ前記手術用マニピュレータが自律駆動モードである場合には、前記手術用マニピュレータに前記術野の出血を止血させる切り替えシーケンスを選択する、
前記(19)に記載の手術支援システム。
(21)
前記判定部は、前記手術用マニピュレータに加えられた外力が予め定められた閾値を超えているか否かを判定し、
前記選択部は、前記手術用マニピュレータに加えられた外力が予め定められた閾値を超えているか否かに応じて切り替えシーケンスを選択する、
前記(1)〜(20)のいずれか1つに記載の手術支援システム。
(22)
前記判定部は、前記手術室で行われている手術の状況を判定し、かつ前記手術の状況に応じて前記閾値を変更する、
前記(21)に記載の手術支援システム。
(23)
前記判定部は、前記手術用マニピュレータの動作を修正するための外力が加えられているか否かを判定し、
前記選択部は、前記判定部によって前記手術用マニピュレータの自律駆動モードにおける動作を修正するための外力が加えられていると判定された場合に、前記手術用マニピュレータの動作を修正するための半自律駆動モードを選択する、
前記(1)〜(22)のいずれか1つに記載の手術支援システム。
(24)
手術用マニピュレータに対する自律駆動モードと手動操作モードとを切り替える切り替え操作を検知する検知部と、
前記検知部によって切り替え操作が検知された場合、前記手術用マニピュレータが配置された手術室の状況を判定する判定部と、
前記判定部によって判定された状況に応じた切り替えシーケンスを選択する選択部と、
を備える、
制御装置。
(25)
手術用マニピュレータに対する自律駆動モードと手動操作モードとを切り替える切り替え操作を検知し、
前記手術用マニピュレータに対する切り替え操作が検知された場合、前記手術用マニピュレータが配置された手術室の状況を判定し、
判定された状況に応じた切り替えシーケンスを選択する、
制御方法。
1 手術支援システム
100 制御装置
110 通信部
120 記憶部
130 制御部
131 取得部
132 検知部
133 判定部
134 選択部
135 マニピュレータ制御部
136 通信制御部

Claims (25)

  1. 手術用マニピュレータと、
    前記手術用マニピュレータの自律駆動モードと手動操作モードとを切り替える切り替え操作を検知する検知部と、
    前記検知部によって切り替え操作が検知された場合に、前記手術用マニピュレータが配置された手術室の状況を判定する判定部と、
    前記判定部によって判定された状況に応じた切り替えシーケンスを選択する選択部と、
    を備える、手術支援システム。
  2. 前記判定部は、前記手術用マニピュレータの状態を判定し、
    前記選択部は、前記手術用マニピュレータの状態に応じた切り替えシーケンスを選択する、
    請求項1に記載の手術支援システム。
  3. 前記判定部は、前記手術用マニピュレータが自律駆動モードであるか、手動操作モードであるかを判定する、
    請求項2に記載の手術支援システム。
  4. 前記判定部は、前記手術用マニピュレータに装着された医療用器具を判定し、
    前記選択部は、前記手術用マニピュレータに装着された医療用器具に応じた切り替えシーケンスを選択する、
    請求項2に記載の手術支援システム。
  5. 前記判定部は、前記手術用マニピュレータが自律駆動モードであるか、手動操作モードであるかを判定し、
    前記選択部は、前記手術用マニピュレータに装着された医療器具と、自律駆動モードまたは手動操作モードであるかに応じた切り替えシーケンスを選択する、
    請求項4に記載の手術支援システム。
  6. 前記医療器具がカメラまたはメスであると判定された場合、
    前記選択部は、前記手術用マニピュレータが自律駆動モードである場合には、手動操作モードに段階的に切り替える切り替えシーケンスを選択する、
    請求項5に記載の手術支援システム。
  7. 前記医療器具が持針器であると判定された場合、
    前記選択部は、前記手術用マニピュレータが自律駆動モードであり、かつ前記持針器が把持する針が患部に挿入されている場合には、手動操作モードに段階的に切り替える切り替えシーケンスを選択する、
    請求項5に記載の手術支援システム。
  8. 前記医療器具がリトラクターであると判定された場合、
    前記選択部は、前記手術用マニピュレータが自律駆動モードであり、かつ前記リトラクターが臓器を保持している場合には、前記手術用マニピュレータに疑似的な重さを発生させる切り替えシーケンスを選択する、
    請求項5に記載の手術支援システム。
  9. 前記選択部は、前記手術用マニピュレータに疑似的な重さを発生させた後、所定の動作を受け付けた場合に手動操作モードに切り替える切り替えシーケンスを選択する、
    請求項8に記載の手術支援システム。
  10. 前記手術用マニピュレータは、少なくとも一部が屈曲可能に構成され、かつ前記医療用器具を支持可能に構成されたアーム部を有する、
    請求項4に記載の手術支援システム。
  11. 前記判定部は、前記手術用マニピュレータに対して切り替え操作を実行した操作者の状態を判定し、
    前記選択部は、前記操作者の状態に応じた切り替えシーケンスを選択する、
    請求項1に記載の手術支援システム。
  12. 前記判定部は、前記操作者の属性を判定し、
    前記選択部は、前記操作者の属性に応じて切り替えシーケンスを選択する、
    請求項11に記載の手術支援システム。
  13. 前記判定部は、前記操作者が医師であるか否かを判定し、
    前記選択部は、前記操作者が医師であるか否かに応じて切り替えシーケンスを選択する、
    請求項12に記載の手術支援システム。
  14. 前記判定部は、前記操作者の生体情報の記録を判定し、
    前記選択部は、前記操作者の生体情報の記録に応じた切り替えシーケンスを選択する、
    請求項11に記載の手術支援システム。
  15. 前記判定部は、前記手術室で行われている手術の状況を判定し、
    前記選択部は、前記手術室で行われている手術の状況に応じた切り替えシーケンスを選択する、
    請求項1に記載の手術支援システム。
  16. 前記判定部は、前記手術室で行われている手術の進行具合を判定し、
    前記選択部は、前記手術室で行われている手術の進行具合に応じた切り替えシーケンスを選択する、
    請求項15に記載の手術支援システム。
  17. 前記選択部は、前記手術室で行われている手術の進行具合に応じて、遷移時間の異なる切り替えシーケンスを選択する、
    請求項16に記載の手術支援システム。
  18. 前記判定部は、術野における出血の有無を判定し、
    前記選択部は、前記術野における出血の有無に応じて切り替えシーケンスを選択する、
    請求項15に記載の手術支援システム。
  19. 前記判定部は、前記手術用マニピュレータの周囲に医師がいるか否かを判定し、
    前記選択部は、前記手術用マニピュレータの周囲に医師がいるか否かに応じて切り替えシーケンスを選択する、
    請求項18に記載の手術支援システム。
  20. 前記選択部は、前記手術用マニピュレータの周囲に医師がいないと判定され、かつ前記手術用マニピュレータが自律駆動モードである場合には、前記手術用マニピュレータに前記術野の出血を止血させる切り替えシーケンスを選択する、
    請求項18に記載の手術支援システム。
  21. 前記判定部は、前記手術用マニピュレータに加えられた外力が予め定められた閾値を超えているか否かを判定し、
    前記選択部は、前記手術用マニピュレータに加えられた外力が予め定められた閾値を超えているか否かに応じて切り替えシーケンスを選択する、
    請求項1に記載の手術支援システム。
  22. 前記判定部は、前記手術室で行われている手術の状況を判定し、かつ前記手術の状況に応じて前記閾値を変更する、
    請求項21に記載の手術支援システム。
  23. 前記判定部は、前記手術用マニピュレータの動作を修正するための外力が加えられているか否かを判定し、
    前記選択部は、前記判定部によって前記手術用マニピュレータの自律駆動モードにおける動作を修正するための外力が加えられていると判定された場合に、前記手術用マニピュレータの動作を修正するための半自律駆動モードを選択する、
    請求項1に記載の手術支援システム。
  24. 手術用マニピュレータに対する自律駆動モードと手動操作モードとを切り替える切り替え操作を検知する検知部と、
    前記検知部によって切り替え操作が検知された場合、前記手術用マニピュレータが配置された手術室の状況を判定する判定部と、
    前記判定部によって判定された状況に応じた切り替えシーケンスを選択する選択部と、
    を備える、
    制御装置。
  25. 手術用マニピュレータに対する自律駆動モードと手動操作モードとを切り替える切り替え操作を検知し、
    前記手術用マニピュレータに対する切り替え操作が検知された場合、前記手術用マニピュレータが配置された手術室の状況を判定し、
    判定された状況に応じた切り替えシーケンスを選択する、
    制御方法。
JP2019120349A 2019-06-27 2019-06-27 手術支援システム、制御装置及び制御方法 Active JP7334499B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019120349A JP7334499B2 (ja) 2019-06-27 2019-06-27 手術支援システム、制御装置及び制御方法
US17/614,572 US20220218427A1 (en) 2019-06-27 2020-06-08 Medical tool control system, controller, and non-transitory computer readable storage
CN202080045194.0A CN113993478A (zh) 2019-06-27 2020-06-08 医疗工具控制系统、控制器和非暂时性计算机可读存储器
PCT/JP2020/022479 WO2020261956A1 (en) 2019-06-27 2020-06-08 Medical tool control system, controller, and non-transitory computer readable storage
EP20743874.8A EP3989867A1 (en) 2019-06-27 2020-06-08 Medical tool control system, controller, and non-transitory computer readable storage

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019120349A JP7334499B2 (ja) 2019-06-27 2019-06-27 手術支援システム、制御装置及び制御方法

Publications (2)

Publication Number Publication Date
JP2021003531A true JP2021003531A (ja) 2021-01-14
JP7334499B2 JP7334499B2 (ja) 2023-08-29

Family

ID=71738262

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019120349A Active JP7334499B2 (ja) 2019-06-27 2019-06-27 手術支援システム、制御装置及び制御方法

Country Status (5)

Country Link
US (1) US20220218427A1 (ja)
EP (1) EP3989867A1 (ja)
JP (1) JP7334499B2 (ja)
CN (1) CN113993478A (ja)
WO (1) WO2020261956A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023187911A1 (ja) * 2022-03-28 2023-10-05 リバーフィールド株式会社 手術支援装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020264418A1 (en) * 2019-06-28 2020-12-30 Auris Health, Inc. Console overlay and methods of using same
US20220044398A1 (en) * 2020-08-10 2022-02-10 Kunnskap Medical, LLC Endoscopic system with medium management system control
US11893717B2 (en) * 2021-02-26 2024-02-06 Adobe Inc. Initializing a learned latent vector for neural-network projections of diverse images
CA3191818A1 (en) * 2022-03-04 2023-09-04 Sanctuary Cognitive Systems Corporation Robots, tele-operation systems, computer program products, and methods of operating the same

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014151550A2 (en) * 2013-03-15 2014-09-25 Stryker Corporation Surgical manipulator capable of controlling a surgical instrument in multiple modes
US20190090966A1 (en) * 2017-05-10 2019-03-28 Mako Surgical Corp. Robotic spine surgery system and methods

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104869937B (zh) 2013-02-25 2017-10-10 奥林巴斯株式会社 医疗用机械手和医疗用机械手控制方法
KR102265060B1 (ko) * 2016-10-03 2021-06-16 버브 서지컬 인크. 로봇 수술을 위한 몰입형 3차원 디스플레이
US11241285B2 (en) * 2017-11-07 2022-02-08 Mako Surgical Corp. Robotic system for shoulder arthroplasty using stemless implant components

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014151550A2 (en) * 2013-03-15 2014-09-25 Stryker Corporation Surgical manipulator capable of controlling a surgical instrument in multiple modes
US20190090966A1 (en) * 2017-05-10 2019-03-28 Mako Surgical Corp. Robotic spine surgery system and methods

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023187911A1 (ja) * 2022-03-28 2023-10-05 リバーフィールド株式会社 手術支援装置
JP7360762B1 (ja) 2022-03-28 2023-10-13 リバーフィールド株式会社 手術支援装置

Also Published As

Publication number Publication date
JP7334499B2 (ja) 2023-08-29
EP3989867A1 (en) 2022-05-04
US20220218427A1 (en) 2022-07-14
CN113993478A (zh) 2022-01-28
WO2020261956A1 (en) 2020-12-30

Similar Documents

Publication Publication Date Title
JP7334499B2 (ja) 手術支援システム、制御装置及び制御方法
JP7115493B2 (ja) 手術アームシステム及び手術アーム制御システム
JP7480477B2 (ja) 医療用観察システム、制御装置及び制御方法
WO2018123613A1 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
WO2018088105A1 (ja) 医療用支持アーム及び医療用システム
JPWO2018168261A1 (ja) 制御装置、制御方法、及びプログラム
WO2021049438A1 (ja) 医療用支持アーム、及び医療用システム
US20220008156A1 (en) Surgical observation apparatus, surgical observation method, surgical light source device, and surgical light irradiation method
US20230142404A1 (en) Medical imaging apparatus, learning model generation method, and learning model generation program
JP2019004978A (ja) 手術システムおよび手術用撮像装置
WO2021049220A1 (ja) 医療用支持アーム、及び医療用システム
WO2020262262A1 (ja) 医療用観察システム、制御装置及び制御方法
US20190281233A1 (en) Image processing device, setting method, and program
JPWO2018221068A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP7092111B2 (ja) 撮像装置、映像信号処理装置および映像信号処理方法
JP2021097720A (ja) 内視鏡及びアームシステム
WO2017221491A1 (ja) 制御装置、制御システム、および制御方法
WO2020195186A1 (ja) ケーブル、報知方法
WO2020203164A1 (ja) 医療システム、情報処理装置及び情報処理方法
WO2020009127A1 (ja) 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法
WO2018043205A1 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
JPWO2020045014A1 (ja) 医療システム、情報処理装置及び情報処理方法
US20190268547A1 (en) Image processing device and method, and program
WO2022004250A1 (ja) 医療システム、情報処理装置及び情報処理方法
WO2022201933A1 (ja) 生体内観察システム、観察システム、生体内観察方法及び生体内観察装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230411

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230612

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230718

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230731

R151 Written notification of patent or utility model registration

Ref document number: 7334499

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151