JP2021074243A - 使用器具推定装置及び方法並びに手術補助ロボット - Google Patents

使用器具推定装置及び方法並びに手術補助ロボット Download PDF

Info

Publication number
JP2021074243A
JP2021074243A JP2019202763A JP2019202763A JP2021074243A JP 2021074243 A JP2021074243 A JP 2021074243A JP 2019202763 A JP2019202763 A JP 2019202763A JP 2019202763 A JP2019202763 A JP 2019202763A JP 2021074243 A JP2021074243 A JP 2021074243A
Authority
JP
Japan
Prior art keywords
surgeon
behavior
data
instrument
estimation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019202763A
Other languages
English (en)
Other versions
JP7324121B2 (ja
Inventor
康彦 橋本
Yasuhiko Hashimoto
康彦 橋本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kawasaki Heavy Industries Ltd
Original Assignee
Kawasaki Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kawasaki Heavy Industries Ltd filed Critical Kawasaki Heavy Industries Ltd
Priority to JP2019202763A priority Critical patent/JP7324121B2/ja
Priority to US17/774,856 priority patent/US20220387116A1/en
Priority to EP20885752.4A priority patent/EP4056140A4/en
Priority to CN202080067249.8A priority patent/CN114449970B/zh
Priority to PCT/JP2020/041319 priority patent/WO2021090870A1/ja
Publication of JP2021074243A publication Critical patent/JP2021074243A/ja
Application granted granted Critical
Publication of JP7324121B2 publication Critical patent/JP7324121B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/32—Surgical robots operating autonomously
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00203—Electrical control of surgical instruments with speech control or speech recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2072—Reference field transducer attached to an instrument or patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/254—User interfaces for surgical systems being adapted depending on the stage of the surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/256—User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/258—User interfaces for surgical systems providing specific settings for specific users
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/305—Details of wrist mechanisms at distal ends of robotic arms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Robotics (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)

Abstract

【課題】従来は手術室看護師が行っている手術の状況に即した手術器具の推定を、看護師の技量や習熟度に頼ることなく自動的に行う装置を提供する。【解決手段】使用器具推定装置４は、外科医の動きを検出した行動検出データに基づいて外科手術中の外科医の行動を認識する行動認識部４１と、行動認識部の行動認識結果に基づいて手術の状況を認識する状況認識部４２と、状況認識部の状況認識結果に基づいて予め与えられた複数種類の手術器具の中から外科医が次に使用する少なくとも１種類を推定する推定部４３とを備える。【選択図】図４

Description

本発明は、外科手術中に手術の状況に即した手術器具を推定する技術に関する。
外科手術の現場では、外科医が使用する手術器具は手術室看護師（器械出し看護師）から外科医へ手渡される。手術中の看護師は、外科医から要求が言語で伝えられる前に、手術の進行状況や外科医の動きから次に使用される手術器具を自己の経験に基づいて予測して、それを迅速に外科医に渡すことができるように準備する。このような看護師の器械出し作業は、外科医の習性や施術パターンなどといった暗黙知に基づいている。
近年、センサ機器等から得られるセンサデータを利用して人間の行動を自動認識する技術が注目されている。例えば、特許文献１には、作業者等の被験体に取り付けた動態センサ（ウエアラブルセンサ）からの情報を取得し、被験体が行う動態内容の個々の状態を示す動態項目を認識する動態認識装置が開示されている。この動態認識装置は、動態センサからの情報を用いて被験体の動態を検知し、検知された動態から動態項目を絞り込み、絞り込んだ動態項目について認識処理を実行する。また、特許文献２には、人の行動が映り込む映像データをカメラから取得し、行動認識結果（コンテキスト）を推定する認識装置が開示されている。この認識装置は選択エンジンと複数の異なる認識エンジンとを有し、選択エンジンによって入力データに応じて最適な１つ以上の認識エンジンが自動的に選択され、選択された認識エンジンによって導き出された行動認識結果が出力される。
特開２０１０−１４８６０４号公報 特開２０１９−１３９４７９号公報
上記のような手術室看護師の器械出し作業の良し悪しは、看護師の技量や習熟度に頼るところが大きい。また、器械出し作業を行う看護師は、長時間緊張状態が続いたり、立ちっぱなしなったりするため、肉体的にも精神的にも疲労が大きい。
そこで、本願の発明者は、従来は手術室看護師が行っている器械出し作業の少なくとも一部、即ち、手術の状況に即した手術器具の選択をコンピュータで行うことに想到した。これにより、看護師の技量や習熟度に頼ることなく、手術の状況に即した手術器具を外科医へ提供することができる。更に、これにより、ロボットに手術器具を外科医へ手渡す作業を行わせることが可能となり、手術室看護師の疲労の軽減に寄与することができる。
本発明の一態様に係る使用器具推定装置は、
外科手術中の外科医の動きを検出する行動検出装置と、
前記行動検出装置で得られた行動検出データを含む入力データと前記外科医が次に使用すると推定される少なくとも１種類の手術器具を含む出力データとを対応付けた多数の教師データによって学習した学習済みモデルを有し、当該学習済みモデルを用いて認識すべき前記入力データに対応する前記出力データを導き出す演算部と、
前記出力データを出力する出力装置とを備えることを特徴としている。
また、本発明の一態様に係る使用器具推定方法は、
外科手術中の外科医の動きを検出した行動検出データを取得すること、
前記行動検出データを含む入力データと前記外科医が次に使用すると推定される少なくとも１種類の手術器具を含む出力データとを対応付けた多数の教師データによって学習した学習済みモデルを用いて、認識すべき前記入力データに対応する前記出力データを導き出すこと、及び、
前記出力データを出力すること、を含むことを特徴としている。
本発明の一態様に係る使用器具推定装置は、
外科医の動きを検出した行動検出データに基づいて外科手術中の外科医の行動を認識する行動認識部と、
前記行動認識部の行動認識結果に基づいて手術の状況を認識する状況認識部と、
前記状況認識部の状況認識結果に基づいて予め与えられた複数種類の手術器具の中から前記外科医が次に使用する少なくとも１種類を推定する推定部とを備えることを特徴としている。
また、本発明の一態様に係る使用器具推定方法は、
外科手術中の外科医の動きを検出した行動検出データを取得すること、
前記行動検出データに基づいて前記外科医の行動を認識すること、
認識された前記外科医の行動に基づいて手術の状況を認識すること、及び、
認識された前記手術の状況に基づいて予め与えられた複数種類の手術器具の中から前記外科医が次に使用する少なくとも１種類を推定することを含むことを特徴としている。
また、本発明の一態様に係る手術補助ロボットは、
少なくとも１本のマニピュレータアームと、
前記使用器具推定装置と、
前記マニピュレータアームの動作を制御するロボット制御装置と、
複数種類の手術器具を収容した器具庫とを備え、
前記ロボット制御装置は、前記使用器具推定装置で推定された外科医が次に使用する少なくとも１種類の手術器具を前記器具庫から取り出して所定の手渡し位置まで搬送するように前記マニピュレータアームを動作させることを特徴としている。所定の手渡し位置は、手術内容に応じて定められた一定の位置、手術の進行状況に応じて予め定められた位置、或いは、外科医の好みの手渡し位置であってよい。
前記行動認識部は、行動検出データに基づいて外科医の行動を認識する。行動検出データは、例えば、外科医に取り付けられた動態センサで検出されたデータや、外科医の行動を撮像するカメラで得られた撮像データなどのうち少なくとも１つであってよい。また、行動検出データには、外科医を識別する外科医識別情報が含まれていてもよい。行動認識部は、蓄積された行動検出データと外科医の行動とを対応付けた多数の第１教師データによって学習した第１学習済みモデルを有する。行動認識部は、第１学習済みモデルを用いて、認識すべき行動検出データに対応する外科医の行動を導き出す。
前記状況認識部は、行動認識部の認識結果（即ち、外科医の行動）を含む状況検出データに基づいて手術の状況を認識する。状況検出データには、手術の内容や手術の経過時間などが含まれていてもよい。状況認識部は、蓄積された状況検出データと手術の状況とを対応付けた多数の第２教師データによって学習した第２学習済みモデルを有する。状況認識部は、第２学習済みモデルを用いて、認識すべき状況検出データに対応する手術の状況を導き出す。なお、手術の状況には、手術の進行（切開、切除、縫合などの手術工程）が含まれ得る。
推定部は、状況認識部の状況認識結果（即ち、手術の状況）を含む器具推定データに基づいて外科医が次に使用する少なくとも１種類の手術器具を推定する。器具推定データには、外科医を識別する外科医識別情報が含まれていてもよい。外科医識別情報に基づいて、外科医の利き手、好みの手術器具、好みの手渡し位置などを特定することができる。推定部は、蓄積された器具推定データと手術器具の種類とを対応付けた多数の第３教師データによって学習した第３学習済みモデルを有する。推定部は、第３学習済みモデルを用いて、認識すべき器具推定データに対応する手術器具の種類を導き出す。第３学習済みモデルは、手術器具の種類に合わせて手渡し位置を導き出してもよい。なお、外科手術に一般的に使用される手術器具の種類は、大きく分けて、持針器、鑷子、針と糸、鉗子、鉤、及び開創器などがある。これらの手術器具の大分類は、先端の形状や大きさ、用途に分けて更に細かく分類される。
本発明によれば、従来は手術室看護師が行っている手術の状況に即した手術器具の推定を、看護師の技量や習熟度に頼ることなく自動的に行うことができる。
図１は、本発明の一実施形態に係る手術補助ロボットの全体的な構成を示す図である。 図２は、ロボット制御装置の概略構成図である。 図３は、使用器具推定装置の概略構成図である。 図４は、使用器具推定装置の機能ブロック図である。 図５は、行動認識部の処理の流れを示す図である。 図６は、状況認識部の処理の流れを示す図である。 図７は、推定部の処理の流れを示す図である。 図８は、使用器具推定装置の処理の流れ図である。 図９は、使用器具推定装置の処理の流れ図である。 図１０は、変形例１に係る使用器具推定装置の機能ブロック図である。 図１１は、変形例１に係る使用器具推定装置の処理の流れを示す図である。
次に、図面を参照して本発明の実施の形態を説明する。図１は、本発明の一実施形態に係る手術補助ロボット１の全体的な構成を示す図である。図１に示す手術補助ロボット１は、少なくとも１本のマニピュレータアーム２と、ロボット制御装置３と、使用器具推定装置４と、器具庫５とを備える。器具庫５には、手術に使用され得る複数種類の手術器具が滅菌状態で格納されている。
〔マニピュレータアーム２〕
マニピュレータアーム２は、複数の関節を有する多関節型ロボットアームである。マニピュレータアーム２の遠位端部には、エンドエフェクタとしてのハンド２１が装着されている。ハンド２１は、手術器具を把持することができる。本実施形態では、マニピュレータアーム２として水平多関節型ロボットアームを採用しているが、マニピュレータアーム２は多関節型ロボットアームであればその態様は問わない。また、マニピュレータアーム２は、手術台の傍らに設置されてもよいし、手術室の天井から吊り下げられていてもよい。
〔ロボット制御装置３〕
ロボット制御装置３は、コンピュータを備え、プロセッサでプログラムや使用器具推定装置４から入力される各種信号の解読や演算処理を行うことにより、マニピュレータアーム２の動作制御、ハンド２１の動作制御、各種出力ポートからの信号出力などを行う。
図２に示すように、マニピュレータアーム２は、各関節に対応する関節駆動部Ｄ３１〜Ｄｎを備える。関節駆動部Ｄ３１〜Ｄｎは、例えば、サーボモータ、サーボモータの動力を関節に伝達する動力伝達機構、サーボモータの出力トルクを調整して動力伝達機構に伝える減速機、及び、サーボモータの回転位置を検出する回転位置センサ（いずれも図示略）から構成される。ロボット制御装置３は、各関節駆動部Ｄ３１〜Ｄｎについて、回転位置センサの検出信号を取得しこれに基づいてサーボモータの出力を調整することにより、マニピュレータアーム２の制御点（例えば、ハンド２１上の点）の位置を制御する。また、ハンド２１は少なくとも１つのアクチュエータ２２を含む。ロボット制御装置３は、このアクチュエータ２２を動作させることにより、ハンド２１の動作を制御する。
〔使用器具推定装置４〕
使用器具推定装置４は、演算制御器４００を備える。使用器具推定装置４の後述する各機能部が少なくとも１つの演算制御器４００で構成されていてもよいし、複数の機能部のうち２つ以上が１つの演算制御器４００で構成されていてもよい。図３に示すように、使用器具推定装置４の各演算制御器４００は、プロセッサ４０１、ＲＯＭ及びＲＡＭなどのメモリ４０２、及び、Ｉ／Ｏ部４０３を備える。演算制御器４００には、インターフェース４０４を介して記憶装置４０５、マイク４０６、ディスプレイ４０７、及び、行動検出装置４０８が接続されている。行動検出装置４０８は、外科医に装着される複数の動態センサ、外科医の行動や患部を撮像するカメラ、などのうち少なくとも１つであってよい。
演算制御器４００は、集中制御を行う単独のプロセッサ４０１を備えてもよいし、分散制御を行う複数のプロセッサ４０１を備えてもよい。演算制御器４００は、例えば、コンピュータ、パーソナルコンピュータ、マイクロコントローラ、マイクロプロセッサ、ＦＰＧＡ（field-programmable gate array）などのＰＬＤ（programmable logic device）、ＰＬＣ（programmable logic controller）、及び、論理回路のうち少なくとも１つ、或いは、２つ以上の組み合わせで構成され得る。メモリ４０２や記憶装置４０５には、プロセッサ４０１が実行する基本プログラムやソフトウエアプログラム等が格納されている。プロセッサ４０１がプログラムを読み出して実行することによって、演算制御器４００は当該ソフトウエアプログラムに構成された機能を実現する。
使用器具推定装置４は、図４に示すように、行動認識部４１、状況認識部４２、推定部４３、音声認識部４４、及び、評価部４５の各機能部を有する。また、使用器具推定装置４は、行動認識部４１、状況認識部４２、及び推定部４３の各々に対応する図示されない学習部を有する。
〔行動認識部４１〕
図５に示すように、行動認識部４１は、行動検出装置４０８から取得した行動検出データに基づいて外科医の行動を認識する。行動検出データは、例えば、外科医に取り付けられた動態センサで検出されたデータや、外科医の行動を撮像するカメラで得られた撮像データなどのうち少なくとも１つであってよい。また、行動検出データには、外科医を識別する外科医識別情報が含まれていてもよい。行動認識部４１は、蓄積された行動検出データと外科医の行動とを対応付けた多数の第１教師データによって学習した第１学習済みモデル４１ａを有する。行動認識部４１は、第１学習済みモデル４１ａを用いて、認識すべき行動検出データに対応する外科医の行動を導き出す。行動認識部４１は、例えば、行動検出データから外科医の特定部位の移動量を求め、この移動量に基づいて外科医の行動を認識することができる。なお、行動認識技術は既に公知の技術であり、行動認識部４１ではこれら公知の行動認識技術を利用することができる。
行動認識部４１の学習部は、機械学習技術を用いて、第１学習済みモデル４１ａを作成する。行動認識部４１の学習部は、行動検出データを前処理して、第１教師データを作成する。前処理は、データ形式の変換、異常の確認、データの抽出、変数名やファイル名の変更などの各種処理のうち少なくとも１つを含む。行動認識部４１の学習部は、機械学習により入力データと出力データとの相関関係を学習する。本実施形態では、入力データは行動検出データであり、出力データは外科医の行動である。行動認識部４１の学習部は、機械学習の一例として教師あり学習（クラス分類）を実行する。一般に、教師あり学習は、入力データとそれに対応する出力データとの既知のデータセット（教師データ）が予め大量に与えられ、学習アルゴリズムを用いて教師データから入力データと出力データとの相関性を暗示する特徴を識別することで、新たな入力データに対する所要の出力データを推定するための相関性モデルを学習する手法である。この相関性モデルが、第１学習済みモデル４１ａとなる。第１学習済みモデル４１ａは記憶装置４０５に記憶される。学習初期の第１教師データは、実際の外科手術中に行動検出装置４０８で検出された外科医の動きとそれに対して与えられた正解の外科医の行動とを含むデータセットが蓄積されたものである。
〔状況認識部４２〕
図６に示すように、状況認識部４２は、行動認識部４１の認識結果（即ち、外科医の行動）を含む状況検出データに基づいて手術の状況を認識する。状況検出データには、手術の内容や手術の経過時間などが含まれていてもよい。状況認識部４２は、蓄積された状況検出データと手術の状況とを対応付けた多数の第２教師データによって学習した第２学習済みモデル４２ａを有する。状況認識部４２は、第２学習済みモデル４２ａを用いて、認識すべき状況検出データに対応する手術の状況を導き出す。なお、手術の状況には、手術の進行（切開、切除、縫合などの手術工程）が含まれ得る。
状況認識部４２の学習部は、機械学習技術を用いて、第２学習済みモデル４２ａを作成する。状況認識部４２の学習部の学習方法は行動認識部４１の学習部と同様であってよい。学習初期の第２教師データは、実際の外科手術中に得られた状況検出データとそれに対して与えられた正解の手術の状況とを含むデータセットが蓄積されたものである。
〔推定部４３〕
図７に示すように、推定部４３は、状況認識部４２の状況認識結果（即ち、手術の状況）を含む器具推定データに基づいて外科医が次に使用する少なくとも１種類の手術器具を推定する。器具推定データには、外科医を識別する外科医識別情報が含まれていてもよい。外科医識別情報に基づいて、外科医の利き手、好みの手術器具、好みの手渡し位置などを特定することができる。推定部４３は、蓄積された器具推定データと手術器具の種類とを対応付けた多数の第３教師データによって学習した第３学習済みモデル４３ａを有する。推定部４３は、第３学習済みモデル４３ａを用いて、認識すべき器具推定データに対応する手術器具の種類を導き出す。なお、外科手術に一般的に使用される手術器具の種類は、大きく分けて、持針器、鑷子、針と糸、鉗子、鉤、及び開創器などがある。これらの手術器具の大分類は、先端の形状や大きさ、用途に分けて更に細かく分類される。
第３学習済みモデル４３ａは、手術器具の種類に合わせて手渡し位置を導き出してもよい。手渡し位置は、手術内容に応じて定められた一定の位置、手術の進行状況に応じて予め定められた位置、或いは、外科医の好みの手渡し位置であってよい。また、手渡し位置は、絶対座標で特定されてもよいし、手術台やマニピュレータアーム２に相対する位置として特定されてもよい。
推定部４３の学習部は、機械学習技術を用いて、第３学習済みモデル４３ａを作成する。推定部４３の学習部の学習方法は行動認識部４１の学習部と同様であってよい。学習初期の第３教師データは、実際の外科手術中に得られた器具推定データとそれに対して与えられた正解の手術器具の種類と含むデータセットが蓄積されたものである。
〔音声認識部４４〕
マイク４０６は音声アナログ信号（即ち音声）を取得し、音声デジタル信号に変換する。音声認識部４４は、この音声デジタル信号を取得して、テキストデータに変換する。音声認識部４４は、例えば、入力された音声を音波に変換し、音波を音響分析して音素を特定し、音素の並びを予め登録された辞書とマッチングを行って単語に変換し、変換された文章をテキストデータとして出力する。機械学習を利用した音声認識技術は広く知られており、音声認識部４４は公知の音声認識技術を利用して構成される。
〔評価部４５〕
評価部４５は、推定部４３による推定結果が正しいか否かを判断する。評価部４５の処理については後述する。
〔手術補助方法〕
ここで、手術補助ロボット１を用いた手術補助方法を説明する。この手術補助方法は、本実施形態に係る使用器具推定方法を利用する。
図８及び図９は使用器具推定装置４の処理の流れ図である。図８に示すように、使用器具推定装置４は行動検出装置４０８から外科手術中の外科医の動きを検出した行動検出データを取得する（ステップＳ１）。
次に、使用器具推定装置４の行動認識部４１は、行動検出データに基づいて外科医の行動を認識する（ステップＳ２）。続いて、使用器具推定装置４の状況認識部４２は、行動認識部４１の行動認識結果（即ち、外科医の行動）に基づいて手術の状況を認識する（ステップＳ３）。更に、使用器具推定装置４の推定部４３は、状況認識部４２の状況認識結果（即ち、手術の状況）に基づいて予め与えられた複数種類の手術器具の中から外科医が次に使用する少なくとも１種類の手術器具を推定する（ステップＳ４）。
使用器具推定装置４は、手術器具の推定結果をディスプレイ４０７に出力する（ステップＳ５）。ディスプレイ４０７は、手術室内の外科医が視認可能な位置に配置されている。外科医は、ディスプレイ４０７に表示出力された、次に提供される手術器具の情報を視認することができる。
また、使用器具推定装置４は、手術器具の推定結果をロボット制御装置３へ出力する（ステップＳ５）。手術器具の推定結果を受けたロボット制御装置３は、推定された外科医が次に使用する少なくとも１種類の手術器具を器具庫５から取り出してから待機位置で待機するように、マニピュレータアーム２を動作させる。
外科医は、次に使用する手術器具を要求すべく、音声を発生する。例えば、外科医は「メス」と発声する。この音声はマイク４０６で集音され、使用器具推定装置４に伝達される。
図９に示すように、使用器具推定装置４の音声認識部４４は、マイク４０６から音声データを取得して（ステップＳ１１）、音声認識を行う（ステップＳ１２）。音声認識により、音声データは音声テキストデータに変換される。
使用器具推定装置４の評価部４５は、音声テキストデータ（即ち、認識した音声）と、推定部４３で推定された手術器具の情報とを比較し、一致／不一致を判断する（ステップＳ１３）。使用器具推定装置４は、この判断結果を記憶し、行動検出データとそれに基づいて推定された手術器具と判断結果とを含む新たな教師データを作成して学習済みモデル４１ａ，４２ａ，４３ａを更に学習させる（ステップＳ１４）。
ステップＳ１３で一致と判断されれば、使用器具推定装置４はロボット制御装置３へ許可信号を出力する。許可信号を受けたロボット制御装置３は、待機位置から手渡し位置へ移動するようにマニピュレータアーム２を動作させる。これにより、迅速かつ正確に、外科医の要求する手術器具を提供することができる。
一方、ステップＳ１３で不一致と判断されれば、使用器具推定装置４は音声テキストデータから導き出される少なくとも１つの手術器具の推定結果と許可信号とをロボット制御装置３へ出力する。手術器具の推定結果を受けたロボット制御装置３は、推定された外科医が次に使用する少なくとも１種類の手術器具を器具庫５から取り出して手渡し位置へ移動するように、マニピュレータアーム２を動作させる。これにより、正確に、外科医の要求する手術器具を提供することができる。
以上に説明したように、本実施形態に係る使用器具推定装置４は、外科医の動きを検出した行動検出データに基づいて外科手術中の外科医の行動を認識する行動認識部４１と、行動認識部４１の行動認識結果に基づいて手術の状況を認識する状況認識部４２と、状況認識部４２の状況認識結果に基づいて予め与えられた複数種類の手術器具の中から外科医が次に使用する少なくとも１種類を推定する推定部４３とを備える。
また、本実施形態に係る使用器具推定方法は、外科手術中の外科医の動きを検出した行動検出データを取得すること、行動検出データに基づいて外科医の行動を認識すること、認識された外科医の行動に基づいて手術の状況を認識すること、及び、認識された手術の状況に基づいて予め与えられた複数種類の手術器具の中から外科医が次に使用する少なくとも１種類を推定すること、を含む。
また、本実施形態に係る手術補助ロボット１は、使用器具推定装置４と、少なくとも１本のマニピュレータアーム２と、マニピュレータアーム２の動作を制御するロボット制御装置３と、複数種類の手術器具を収容した器具庫５とを備える。そして、ロボット制御装置３は、使用器具推定装置４で推定された外科医が次に使用する少なくとも１種類の手術器具を器具庫５から取り出して所定の手渡し位置まで搬送するようにマニピュレータアーム２を動作させる。
上記使用器具推定装置４及び方法並びに手術補助ロボット１によれば、従来は手術室看護師が行っている手術の状況に即した手術器具の推定を、看護師の技量や習熟度に頼ることなく自動的に行うことができる。
上記使用器具推定装置４において、行動認識部４１は、行動検出データと外科医の行動とを対応付けた多数の第１教師データによって学習した第１学習済みモデル４１ａを有し、第１学習済みモデル４１ａを用いて、認識すべき行動検出データに対応する外科医の行動を導き出すように構成されている。
また、上記使用器具推定装置４において、状況認識部４２は、行動認識結果を含む状況検出データと手術の状況とを対応付けた多数の第２教師データによって学習した第２学習済みモデル４２ａを有し、第２学習済みモデル４２ａを用いて、認識すべき状況検出データに対応する手術の状況を導き出すように構成されている。
また、上記使用器具推定装置４において、推定部４３は、状況認識結果を含む器具推定データと手術器具の種類とを対応付けた多数の第３教師データによって学習した第３学習済みモデル４３ａを有し、第３学習済みモデル４３ａを用いて、認識すべき器具推定データに対応する手術器具の種類を導き出すように構成されている。
更に、上記使用器具推定装置４において、推定部４３は、推定された手術器具が外科医へ渡される位置である手渡し位置を導き出すように構成されている。
上記構成の使用器具推定装置４によれば、外科医が次に要求する手術器具を正確に推定することができる。
以上に本発明の好適な実施の形態を説明したが、本発明の思想を逸脱しない範囲で、上記実施形態の具体的な構造及び／又は機能の詳細を変更したものも本発明に含まれ得る。上記の使用器具推定装置４及びそれを備える手術補助ロボット１の構成は、例えば、以下のように変更することができる。
例えば、上記実施形態において、使用器具推定装置４の演算制御器４００は第１〜３学習済みモデル４１ａ，４２ａ，４３ａを有する。但し、図１０及び図１１に示すように、使用器具推定装置４Ａの演算制御器４００は、学習済みモデル４１ａ，４２ａ，４３ａを備える行動認識部４１、状況認識部４２及び推定部４３に代えて、第４学習済みモデル４９ａを有する演算部４９を備えていてもよい。
第４学習済みモデル４９ａは、行動検出データを含む入力データから、外科医に次に使用すると推定される少なくとも１種類の手術器具を含む出力データを導き出す。この場合の行動検出データは、例えば、外科医に取り付けられた動態センサで検出されたデータや、外科医の行動を撮像するカメラで得られた撮像データなどのうち少なくとも１つであってよい。また、入力データには、外科医を識別する外科医識別情報、外科手術の内容、及び、外科手術の経過時間のうち少なくとも１つが更に含まれていてもよい。また、出力データは、推定された少なくとも１種類の手術器具が外科医へ渡される位置である手渡し位置を更に含んでいてよい。
演算部４９は学習部を含む。演算部４９の学習部は、機械学習技術を用いて、第４学習済みモデル４９ａを構築する。使用器具推定装置４の学習部は、行動検出データを前処理して、第４教師データを作成する。前処理は、データ形式の変換、異常の確認、データの抽出、変数名やファイル名の変更などの各種処理のうち少なくとも１つを含む。演算部４９の学習部は、機械学習により入力データと出力データとの相関関係を学習する。この機械学習は例えば教師あり学習（クラス分類）であって、学習アルゴリズムは入出力データに応じて適宜採用される。演算部４９の学習部は、入力データとそれに対応する出力データとの既知のデータセット（教師データ）が予め大量に与えられ、学習アルゴリズムを用いて教師データから入力データと出力データとの相関性を暗示する特徴を識別することで、新たな入力データに対する所要の出力データを推定するための相関性モデルを学習する。この相関性モデルが、第４学習済みモデル４９ａとなる。第４学習済みモデル４９ａは記憶装置４０５に記憶される。学習初期の第４教師データは、実際の外科手術中に行動検出装置４０８で検出された外科医の動きとそれに対して与えられた正解の手術器具の種類とを含むデータセットが蓄積されたものである。
上記構成の使用器具推定装置４Ａの演算制御器４００により行われる使用器具推定方法は、外科手術中の外科医の動きを検出した行動検出データを行動検出装置４０８から取得すること、行動検出データを含む入力データと外科医が次に使用すると推定される少なくとも１種類の手術器具を含む出力データとを対応付けた多数の教師データによって学習した学習済みモデル４９ａを用いて、認識すべき入力データに対応する出力データを導き出すこと、及び、出力データをロボット制御装置３やディスプレイ４０７等へ出力すること、を含む。更に、演算部４９の学習部は、前述の学習済みモデル４１ａ，４２ａ，４３ａと同様に、使用器具推定処理における行動検出データとそれに基づいて推定された手術器具と判断結果とを含む新たな教師データを作成して更に第４学習済みモデル４９ａを学習させる。
また、上記実施形態において、使用器具推定装置４が推定した少なくとも１種類の手術器具が外科医の要求する手術器具と異なる場合に、マニピュレータアーム２は改めて要求された手術器具を器具庫５へ取りに行き、それを手渡し位置まで運ぶ。但し、マニピュレータアーム２は手術器具を器具庫５へ戻し、要求された手術器具は看護師から外科医へ手渡されてもよい。また、手渡し位置が外科医の要求する位置と異なる場合に、看護師がマニピュレータアーム２を正しい手渡し位置まで移動させ、ロボット制御装置３が正しい手渡し位置を取得し、それを使用器具推定装置４が学習するようにしてもよい。看護師がマニピュレータアーム２を動かせるようにするために、マニピュレータアーム２にはハンドガイドボタンが設けられていてよい。マニピュレータアーム２はハンドガイドボタンが押されている間はハンドガイドロボットとなり、看護師から与えられた外力によってマニピュレータアーム２が自在に動くことができるように、ロボット制御装置３はマニピュレータアーム２の動作を制御する。
また、上記実施形態において、使用器具推定装置４が備える学習済みモデル４１ａ，４２ａ，４３ａは一連の推定処理が終わるごとに学習するように構成されているが、複数回の推定処理が終わってある程度の教師データが蓄積されてから追加の学習を行うように構成されてもよい。
１ ：手術補助ロボット
２ ：マニピュレータアーム
３ ：ロボット制御装置
４ ：使用器具推定装置
５ ：器具庫
４００ ：演算制御器
４１ ：行動認識部
４１ａ，４２ａ，４３ａ，４９ａ ：学習済みモデル
４２ ：状況認識部
４３ ：推定部
４９ ：演算部

Claims (11)

  1. 外科手術中の外科医の動きを検出する行動検出装置と、
    前記行動検出装置で得られた行動検出データを含む入力データと前記外科医が次に使用すると推定される少なくとも１種類の手術器具を含む出力データとを対応付けた多数の教師データによって学習した学習済みモデルを有し、当該学習済みモデルを用いて認識すべき前記入力データに対応する前記出力データを導き出す演算部と、
    前記出力データを出力する出力装置とを備える、
    使用器具推定装置。
  2. 前記入力データが、前記外科医の識別情報、前記外科手術の内容、及び、前記外科手術の経過時間のうち少なくとも１つを更に含む、
    請求項１に記載の使用器具推定装置。
  3. 前記出力データが、前記手術器具が前記外科医へ渡される位置である手渡し位置を更に含む、
    請求項１又は２に記載の使用器具推定装置。
  4. 外科医の動きを検出した行動検出データに基づいて外科手術中の前記外科医の行動を認識する行動認識部と、
    前記行動認識部の行動認識結果に基づいて手術の状況を認識する状況認識部と、
    前記状況認識部の状況認識結果に基づいて予め与えられた複数種類の手術器具の中から前記外科医が次に使用する少なくとも１種類を推定する推定部とを備える、
    使用器具推定装置。
  5. 前記行動認識部は、前記行動検出データと前記外科医の行動とを対応付けた多数の第１教師データによって学習した第１学習済みモデルを有し、前記第１学習済みモデルを用いて、認識すべき前記行動検出データに対応する前記外科医の行動を導き出す、
    請求項４に記載の使用器具推定装置。
  6. 前記状況認識部は、前記行動認識結果を含む状況検出データと手術の状況とを対応付けた多数の第２教師データによって学習した第２学習済みモデルを有し、前記第２学習済みモデルを用いて、認識すべき前記状況検出データに対応する手術の状況を導き出す、
    請求項４又は５に記載の使用器具推定装置。
  7. 前記推定部は、前記状況認識結果を含む器具推定データと前記手術器具の種類とを対応付けた多数の第３教師データによって学習した第３学習済みモデルを有し、前記第３学習済みモデルを用いて、認識すべき前記器具推定データに対応する前記手術器具の種類を導き出す、
    請求項４〜６のいずれか一項に記載の使用器具推定装置。
  8. 前記推定部は、推定された前記手術器具が前記外科医へ渡される位置である手渡し位置を導き出す、
    請求項４〜７のいずれか一項に記載の使用器具推定装置。
  9. 請求項１〜８のいずれか一項に記載の使用器具推定装置と、
    少なくとも１本のマニピュレータアームと、
    前記マニピュレータアームの動作を制御するロボット制御装置と、
    複数種類の手術器具を収容した器具庫とを備え、
    前記ロボット制御装置は、前記使用器具推定装置で推定された外科医が次に使用する少なくとも１種類の前記手術器具を前記器具庫から取り出して所定の手渡し位置まで搬送するように前記マニピュレータアームを動作させる、
    手術補助ロボット。
  10. 外科手術中の外科医の動きを検出した行動検出データを取得すること、
    前記行動検出データを含む入力データと前記外科医が次に使用すると推定される少なくとも１種類の手術器具を含む出力データとを対応付けた多数の教師データによって学習した学習済みモデルを用いて、認識すべき前記入力データに対応する前記出力データを導き出すこと、及び、
    前記出力データを出力すること、を含む、
    使用器具推定方法。
  11. 外科手術中の外科医の動きを検出した行動検出データを取得すること、
    前記行動検出データに基づいて前記外科医の行動を認識すること、
    認識された前記外科医の行動に基づいて手術の状況を認識すること、及び、
    認識された前記手術の状況に基づいて予め与えられた複数種類の手術器具の中から前記外科医が次に使用する少なくとも１種類を推定すること、を含む、
    使用器具推定方法。
JP2019202763A 2019-11-07 2019-11-07 使用器具推定装置及び方法並びに手術補助ロボット Active JP7324121B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019202763A JP7324121B2 (ja) 2019-11-07 2019-11-07 使用器具推定装置及び方法並びに手術補助ロボット
US17/774,856 US20220387116A1 (en) 2019-11-07 2020-11-05 Device and method of predicting use instrument, and surgery assisting robot
EP20885752.4A EP4056140A4 (en) 2019-11-07 2020-11-05 DEVICE AND METHOD FOR ESTIMATING INSTRUMENT TO BE USED, AND SURGICAL ASSISTANCE ROBOT
CN202080067249.8A CN114449970B (zh) 2019-11-07 2020-11-05 使用器具推断装置、方法以及手术辅助机器人
PCT/JP2020/041319 WO2021090870A1 (ja) 2019-11-07 2020-11-05 使用器具推定装置及び方法並びに手術補助ロボット

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019202763A JP7324121B2 (ja) 2019-11-07 2019-11-07 使用器具推定装置及び方法並びに手術補助ロボット

Publications (2)

Publication Number Publication Date
JP2021074243A true JP2021074243A (ja) 2021-05-20
JP7324121B2 JP7324121B2 (ja) 2023-08-09

Family

ID=75849937

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019202763A Active JP7324121B2 (ja) 2019-11-07 2019-11-07 使用器具推定装置及び方法並びに手術補助ロボット

Country Status (5)

Country Link
US (1) US20220387116A1 (ja)
EP (1) EP4056140A4 (ja)
JP (1) JP7324121B2 (ja)
CN (1) CN114449970B (ja)
WO (1) WO2021090870A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023176211A1 (ja) * 2022-03-15 2023-09-21 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 作業推定方法、作業推定システムおよびプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220280238A1 (en) * 2021-03-05 2022-09-08 Verb Surgical Inc. Robot-assisted setup for a surgical robotic system
US11783938B2 (en) * 2021-07-22 2023-10-10 Cilag Gmbh International Integrated hub systems control interfaces and connections

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015145358A1 (en) * 2014-03-24 2015-10-01 Butterfly Healthcare Pty. Ltd System and method for logistical management, support and supply of objects
JP2019022580A (ja) * 2017-07-24 2019-02-14 ソニー株式会社 手術システム、情報処理方法および情報処理装置
WO2019111512A1 (ja) * 2017-12-05 2019-06-13 ソニー・オリンパスメディカルソリューションズ株式会社 医療用情報処理装置、および情報処理方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001112775A (ja) * 1999-10-21 2001-04-24 Olympus Optical Co Ltd 手術器具準備システム及びコンピュータ読み取り可能な記憶媒体
JP5118620B2 (ja) 2008-12-24 2013-01-16 日立Ｇｅニュークリア・エナジー株式会社 動態認識装置、動態認識システムおよび動態認識方法
KR101302595B1 (ko) * 2012-07-03 2013-08-30 한국과학기술연구원 수술 진행 단계를 추정하는 시스템 및 방법
US9788907B1 (en) * 2017-02-28 2017-10-17 Kinosis Ltd. Automated provision of real-time custom procedural surgical guidance
US12102397B2 (en) * 2018-01-19 2024-10-01 Verily Life Sciences Llc Step-based system for providing surgical intraoperative cues
JP6875058B2 (ja) 2018-02-09 2021-05-19 Kddi株式会社 複数の認識エンジンを用いてコンテキストを推定するプログラム、装置及び方法
US11967422B2 (en) * 2018-03-05 2024-04-23 Medtech S.A. Robotically-assisted surgical procedure feedback techniques

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015145358A1 (en) * 2014-03-24 2015-10-01 Butterfly Healthcare Pty. Ltd System and method for logistical management, support and supply of objects
JP2019022580A (ja) * 2017-07-24 2019-02-14 ソニー株式会社 手術システム、情報処理方法および情報処理装置
WO2019111512A1 (ja) * 2017-12-05 2019-06-13 ソニー・オリンパスメディカルソリューションズ株式会社 医療用情報処理装置、および情報処理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023176211A1 (ja) * 2022-03-15 2023-09-21 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 作業推定方法、作業推定システムおよびプログラム

Also Published As

Publication number Publication date
CN114449970B (zh) 2024-07-09
CN114449970A (zh) 2022-05-06
EP4056140A1 (en) 2022-09-14
WO2021090870A1 (ja) 2021-05-14
US20220387116A1 (en) 2022-12-08
JP7324121B2 (ja) 2023-08-09
EP4056140A4 (en) 2023-11-15

Similar Documents

Publication Publication Date Title
US11819188B2 (en) Machine-learning-based visual-haptic system for robotic surgical platforms
WO2021090870A1 (ja) 使用器具推定装置及び方法並びに手術補助ロボット
JP7542040B2 (ja) 自動内視鏡ビデオ拡張
KR20140020071A (ko) 수술 로봇 시스템 및 그 제어방법
US20200152190A1 (en) Systems and methods for state-based speech recognition in a teleoperational system
US20200278755A1 (en) Determining and evaluating data representing an action to be performed by a robot
JP6656633B2 (ja) 生体信号が表す情報を識別するためのシステム
WO2022030142A1 (ja) 情報処理装置、プログラム、学習モデル及び学習モデルの生成方法
CN114845618A (zh) 计算机辅助手术系统、手术控制设备和手术控制方法
WO2023025008A1 (zh) 手术器械的信息处理方法、系统、手术器械及存储介质
WO2024020223A1 (en) Changing mode of operation of an instrument based on gesture detection

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220912

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230728

R150 Certificate of patent or registration of utility model

Ref document number: 7324121

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150