JP2021074243A - 使用器具推定装置及び方法並びに手術補助ロボット - Google Patents
使用器具推定装置及び方法並びに手術補助ロボット Download PDFInfo
- Publication number
- JP2021074243A JP2021074243A JP2019202763A JP2019202763A JP2021074243A JP 2021074243 A JP2021074243 A JP 2021074243A JP 2019202763 A JP2019202763 A JP 2019202763A JP 2019202763 A JP2019202763 A JP 2019202763A JP 2021074243 A JP2021074243 A JP 2021074243A
- Authority
- JP
- Japan
- Prior art keywords
- surgeon
- behavior
- data
- instrument
- estimation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 29
- 238000001514 detection method Methods 0.000 claims abstract description 63
- 238000001356 surgical procedure Methods 0.000 claims abstract description 41
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000009795 derivation Methods 0.000 claims description 3
- 230000009471 action Effects 0.000 abstract description 8
- 230000006399 behavior Effects 0.000 description 103
- 238000010586 diagram Methods 0.000 description 10
- 238000010801 machine learning Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 230000035582 behavioral recognition Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000013075 data extraction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 239000003638 chemical reducing agent Substances 0.000 description 1
- 239000012636 effector Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011269 treatment regimen Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/32—Surgical robots operating autonomously
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00017—Electrical control of surgical instruments
- A61B2017/00203—Electrical control of surgical instruments with speech control or speech recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00017—Electrical control of surgical instruments
- A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2055—Optical tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2072—Reference field transducer attached to an instrument or patient
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
- A61B2034/254—User interfaces for surgical systems being adapted depending on the stage of the surgical procedure
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
- A61B2034/256—User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
- A61B2034/258—User interfaces for surgical systems providing specific settings for specific users
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B2034/305—Details of wrist mechanisms at distal ends of robotic arms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Robotics (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- General Business, Economics & Management (AREA)
- Business, Economics & Management (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Human Computer Interaction (AREA)
- Manipulator (AREA)
Abstract
【課題】従来は手術室看護師が行っている手術の状況に即した手術器具の推定を、看護師の技量や習熟度に頼ることなく自動的に行う装置を提供する。【解決手段】使用器具推定装置4は、外科医の動きを検出した行動検出データに基づいて外科手術中の外科医の行動を認識する行動認識部41と、行動認識部の行動認識結果に基づいて手術の状況を認識する状況認識部42と、状況認識部の状況認識結果に基づいて予め与えられた複数種類の手術器具の中から外科医が次に使用する少なくとも1種類を推定する推定部43とを備える。【選択図】図4
Description
本発明は、外科手術中に手術の状況に即した手術器具を推定する技術に関する。
外科手術の現場では、外科医が使用する手術器具は手術室看護師(器械出し看護師)から外科医へ手渡される。手術中の看護師は、外科医から要求が言語で伝えられる前に、手術の進行状況や外科医の動きから次に使用される手術器具を自己の経験に基づいて予測して、それを迅速に外科医に渡すことができるように準備する。このような看護師の器械出し作業は、外科医の習性や施術パターンなどといった暗黙知に基づいている。
近年、センサ機器等から得られるセンサデータを利用して人間の行動を自動認識する技術が注目されている。例えば、特許文献1には、作業者等の被験体に取り付けた動態センサ(ウエアラブルセンサ)からの情報を取得し、被験体が行う動態内容の個々の状態を示す動態項目を認識する動態認識装置が開示されている。この動態認識装置は、動態センサからの情報を用いて被験体の動態を検知し、検知された動態から動態項目を絞り込み、絞り込んだ動態項目について認識処理を実行する。また、特許文献2には、人の行動が映り込む映像データをカメラから取得し、行動認識結果(コンテキスト)を推定する認識装置が開示されている。この認識装置は選択エンジンと複数の異なる認識エンジンとを有し、選択エンジンによって入力データに応じて最適な1つ以上の認識エンジンが自動的に選択され、選択された認識エンジンによって導き出された行動認識結果が出力される。
上記のような手術室看護師の器械出し作業の良し悪しは、看護師の技量や習熟度に頼るところが大きい。また、器械出し作業を行う看護師は、長時間緊張状態が続いたり、立ちっぱなしなったりするため、肉体的にも精神的にも疲労が大きい。
そこで、本願の発明者は、従来は手術室看護師が行っている器械出し作業の少なくとも一部、即ち、手術の状況に即した手術器具の選択をコンピュータで行うことに想到した。これにより、看護師の技量や習熟度に頼ることなく、手術の状況に即した手術器具を外科医へ提供することができる。更に、これにより、ロボットに手術器具を外科医へ手渡す作業を行わせることが可能となり、手術室看護師の疲労の軽減に寄与することができる。
本発明の一態様に係る使用器具推定装置は、
外科手術中の外科医の動きを検出する行動検出装置と、
前記行動検出装置で得られた行動検出データを含む入力データと前記外科医が次に使用すると推定される少なくとも1種類の手術器具を含む出力データとを対応付けた多数の教師データによって学習した学習済みモデルを有し、当該学習済みモデルを用いて認識すべき前記入力データに対応する前記出力データを導き出す演算部と、
前記出力データを出力する出力装置とを備えることを特徴としている。
外科手術中の外科医の動きを検出する行動検出装置と、
前記行動検出装置で得られた行動検出データを含む入力データと前記外科医が次に使用すると推定される少なくとも1種類の手術器具を含む出力データとを対応付けた多数の教師データによって学習した学習済みモデルを有し、当該学習済みモデルを用いて認識すべき前記入力データに対応する前記出力データを導き出す演算部と、
前記出力データを出力する出力装置とを備えることを特徴としている。
また、本発明の一態様に係る使用器具推定方法は、
外科手術中の外科医の動きを検出した行動検出データを取得すること、
前記行動検出データを含む入力データと前記外科医が次に使用すると推定される少なくとも1種類の手術器具を含む出力データとを対応付けた多数の教師データによって学習した学習済みモデルを用いて、認識すべき前記入力データに対応する前記出力データを導き出すこと、及び、
前記出力データを出力すること、を含むことを特徴としている。
外科手術中の外科医の動きを検出した行動検出データを取得すること、
前記行動検出データを含む入力データと前記外科医が次に使用すると推定される少なくとも1種類の手術器具を含む出力データとを対応付けた多数の教師データによって学習した学習済みモデルを用いて、認識すべき前記入力データに対応する前記出力データを導き出すこと、及び、
前記出力データを出力すること、を含むことを特徴としている。
本発明の一態様に係る使用器具推定装置は、
外科医の動きを検出した行動検出データに基づいて外科手術中の外科医の行動を認識する行動認識部と、
前記行動認識部の行動認識結果に基づいて手術の状況を認識する状況認識部と、
前記状況認識部の状況認識結果に基づいて予め与えられた複数種類の手術器具の中から前記外科医が次に使用する少なくとも1種類を推定する推定部とを備えることを特徴としている。
外科医の動きを検出した行動検出データに基づいて外科手術中の外科医の行動を認識する行動認識部と、
前記行動認識部の行動認識結果に基づいて手術の状況を認識する状況認識部と、
前記状況認識部の状況認識結果に基づいて予め与えられた複数種類の手術器具の中から前記外科医が次に使用する少なくとも1種類を推定する推定部とを備えることを特徴としている。
また、本発明の一態様に係る使用器具推定方法は、
外科手術中の外科医の動きを検出した行動検出データを取得すること、
前記行動検出データに基づいて前記外科医の行動を認識すること、
認識された前記外科医の行動に基づいて手術の状況を認識すること、及び、
認識された前記手術の状況に基づいて予め与えられた複数種類の手術器具の中から前記外科医が次に使用する少なくとも1種類を推定することを含むことを特徴としている。
外科手術中の外科医の動きを検出した行動検出データを取得すること、
前記行動検出データに基づいて前記外科医の行動を認識すること、
認識された前記外科医の行動に基づいて手術の状況を認識すること、及び、
認識された前記手術の状況に基づいて予め与えられた複数種類の手術器具の中から前記外科医が次に使用する少なくとも1種類を推定することを含むことを特徴としている。
また、本発明の一態様に係る手術補助ロボットは、
少なくとも1本のマニピュレータアームと、
前記使用器具推定装置と、
前記マニピュレータアームの動作を制御するロボット制御装置と、
複数種類の手術器具を収容した器具庫とを備え、
前記ロボット制御装置は、前記使用器具推定装置で推定された外科医が次に使用する少なくとも1種類の手術器具を前記器具庫から取り出して所定の手渡し位置まで搬送するように前記マニピュレータアームを動作させることを特徴としている。所定の手渡し位置は、手術内容に応じて定められた一定の位置、手術の進行状況に応じて予め定められた位置、或いは、外科医の好みの手渡し位置であってよい。
少なくとも1本のマニピュレータアームと、
前記使用器具推定装置と、
前記マニピュレータアームの動作を制御するロボット制御装置と、
複数種類の手術器具を収容した器具庫とを備え、
前記ロボット制御装置は、前記使用器具推定装置で推定された外科医が次に使用する少なくとも1種類の手術器具を前記器具庫から取り出して所定の手渡し位置まで搬送するように前記マニピュレータアームを動作させることを特徴としている。所定の手渡し位置は、手術内容に応じて定められた一定の位置、手術の進行状況に応じて予め定められた位置、或いは、外科医の好みの手渡し位置であってよい。
前記行動認識部は、行動検出データに基づいて外科医の行動を認識する。行動検出データは、例えば、外科医に取り付けられた動態センサで検出されたデータや、外科医の行動を撮像するカメラで得られた撮像データなどのうち少なくとも1つであってよい。また、行動検出データには、外科医を識別する外科医識別情報が含まれていてもよい。行動認識部は、蓄積された行動検出データと外科医の行動とを対応付けた多数の第1教師データによって学習した第1学習済みモデルを有する。行動認識部は、第1学習済みモデルを用いて、認識すべき行動検出データに対応する外科医の行動を導き出す。
前記状況認識部は、行動認識部の認識結果(即ち、外科医の行動)を含む状況検出データに基づいて手術の状況を認識する。状況検出データには、手術の内容や手術の経過時間などが含まれていてもよい。状況認識部は、蓄積された状況検出データと手術の状況とを対応付けた多数の第2教師データによって学習した第2学習済みモデルを有する。状況認識部は、第2学習済みモデルを用いて、認識すべき状況検出データに対応する手術の状況を導き出す。なお、手術の状況には、手術の進行(切開、切除、縫合などの手術工程)が含まれ得る。
推定部は、状況認識部の状況認識結果(即ち、手術の状況)を含む器具推定データに基づいて外科医が次に使用する少なくとも1種類の手術器具を推定する。器具推定データには、外科医を識別する外科医識別情報が含まれていてもよい。外科医識別情報に基づいて、外科医の利き手、好みの手術器具、好みの手渡し位置などを特定することができる。推定部は、蓄積された器具推定データと手術器具の種類とを対応付けた多数の第3教師データによって学習した第3学習済みモデルを有する。推定部は、第3学習済みモデルを用いて、認識すべき器具推定データに対応する手術器具の種類を導き出す。第3学習済みモデルは、手術器具の種類に合わせて手渡し位置を導き出してもよい。なお、外科手術に一般的に使用される手術器具の種類は、大きく分けて、持針器、鑷子、針と糸、鉗子、鉤、及び開創器などがある。これらの手術器具の大分類は、先端の形状や大きさ、用途に分けて更に細かく分類される。
本発明によれば、従来は手術室看護師が行っている手術の状況に即した手術器具の推定を、看護師の技量や習熟度に頼ることなく自動的に行うことができる。
次に、図面を参照して本発明の実施の形態を説明する。図1は、本発明の一実施形態に係る手術補助ロボット1の全体的な構成を示す図である。図1に示す手術補助ロボット1は、少なくとも1本のマニピュレータアーム2と、ロボット制御装置3と、使用器具推定装置4と、器具庫5とを備える。器具庫5には、手術に使用され得る複数種類の手術器具が滅菌状態で格納されている。
〔マニピュレータアーム2〕
マニピュレータアーム2は、複数の関節を有する多関節型ロボットアームである。マニピュレータアーム2の遠位端部には、エンドエフェクタとしてのハンド21が装着されている。ハンド21は、手術器具を把持することができる。本実施形態では、マニピュレータアーム2として水平多関節型ロボットアームを採用しているが、マニピュレータアーム2は多関節型ロボットアームであればその態様は問わない。また、マニピュレータアーム2は、手術台の傍らに設置されてもよいし、手術室の天井から吊り下げられていてもよい。
マニピュレータアーム2は、複数の関節を有する多関節型ロボットアームである。マニピュレータアーム2の遠位端部には、エンドエフェクタとしてのハンド21が装着されている。ハンド21は、手術器具を把持することができる。本実施形態では、マニピュレータアーム2として水平多関節型ロボットアームを採用しているが、マニピュレータアーム2は多関節型ロボットアームであればその態様は問わない。また、マニピュレータアーム2は、手術台の傍らに設置されてもよいし、手術室の天井から吊り下げられていてもよい。
〔ロボット制御装置3〕
ロボット制御装置3は、コンピュータを備え、プロセッサでプログラムや使用器具推定装置4から入力される各種信号の解読や演算処理を行うことにより、マニピュレータアーム2の動作制御、ハンド21の動作制御、各種出力ポートからの信号出力などを行う。
ロボット制御装置3は、コンピュータを備え、プロセッサでプログラムや使用器具推定装置4から入力される各種信号の解読や演算処理を行うことにより、マニピュレータアーム2の動作制御、ハンド21の動作制御、各種出力ポートからの信号出力などを行う。
図2に示すように、マニピュレータアーム2は、各関節に対応する関節駆動部D31〜Dnを備える。関節駆動部D31〜Dnは、例えば、サーボモータ、サーボモータの動力を関節に伝達する動力伝達機構、サーボモータの出力トルクを調整して動力伝達機構に伝える減速機、及び、サーボモータの回転位置を検出する回転位置センサ(いずれも図示略)から構成される。ロボット制御装置3は、各関節駆動部D31〜Dnについて、回転位置センサの検出信号を取得しこれに基づいてサーボモータの出力を調整することにより、マニピュレータアーム2の制御点(例えば、ハンド21上の点)の位置を制御する。また、ハンド21は少なくとも1つのアクチュエータ22を含む。ロボット制御装置3は、このアクチュエータ22を動作させることにより、ハンド21の動作を制御する。
〔使用器具推定装置4〕
使用器具推定装置4は、演算制御器400を備える。使用器具推定装置4の後述する各機能部が少なくとも1つの演算制御器400で構成されていてもよいし、複数の機能部のうち2つ以上が1つの演算制御器400で構成されていてもよい。図3に示すように、使用器具推定装置4の各演算制御器400は、プロセッサ401、ROM及びRAMなどのメモリ402、及び、I/O部403を備える。演算制御器400には、インターフェース404を介して記憶装置405、マイク406、ディスプレイ407、及び、行動検出装置408が接続されている。行動検出装置408は、外科医に装着される複数の動態センサ、外科医の行動や患部を撮像するカメラ、などのうち少なくとも1つであってよい。
使用器具推定装置4は、演算制御器400を備える。使用器具推定装置4の後述する各機能部が少なくとも1つの演算制御器400で構成されていてもよいし、複数の機能部のうち2つ以上が1つの演算制御器400で構成されていてもよい。図3に示すように、使用器具推定装置4の各演算制御器400は、プロセッサ401、ROM及びRAMなどのメモリ402、及び、I/O部403を備える。演算制御器400には、インターフェース404を介して記憶装置405、マイク406、ディスプレイ407、及び、行動検出装置408が接続されている。行動検出装置408は、外科医に装着される複数の動態センサ、外科医の行動や患部を撮像するカメラ、などのうち少なくとも1つであってよい。
演算制御器400は、集中制御を行う単独のプロセッサ401を備えてもよいし、分散制御を行う複数のプロセッサ401を備えてもよい。演算制御器400は、例えば、コンピュータ、パーソナルコンピュータ、マイクロコントローラ、マイクロプロセッサ、FPGA(field-programmable gate array)などのPLD(programmable logic device)、PLC(programmable logic controller)、及び、論理回路のうち少なくとも1つ、或いは、2つ以上の組み合わせで構成され得る。メモリ402や記憶装置405には、プロセッサ401が実行する基本プログラムやソフトウエアプログラム等が格納されている。プロセッサ401がプログラムを読み出して実行することによって、演算制御器400は当該ソフトウエアプログラムに構成された機能を実現する。
使用器具推定装置4は、図4に示すように、行動認識部41、状況認識部42、推定部43、音声認識部44、及び、評価部45の各機能部を有する。また、使用器具推定装置4は、行動認識部41、状況認識部42、及び推定部43の各々に対応する図示されない学習部を有する。
〔行動認識部41〕
図5に示すように、行動認識部41は、行動検出装置408から取得した行動検出データに基づいて外科医の行動を認識する。行動検出データは、例えば、外科医に取り付けられた動態センサで検出されたデータや、外科医の行動を撮像するカメラで得られた撮像データなどのうち少なくとも1つであってよい。また、行動検出データには、外科医を識別する外科医識別情報が含まれていてもよい。行動認識部41は、蓄積された行動検出データと外科医の行動とを対応付けた多数の第1教師データによって学習した第1学習済みモデル41aを有する。行動認識部41は、第1学習済みモデル41aを用いて、認識すべき行動検出データに対応する外科医の行動を導き出す。行動認識部41は、例えば、行動検出データから外科医の特定部位の移動量を求め、この移動量に基づいて外科医の行動を認識することができる。なお、行動認識技術は既に公知の技術であり、行動認識部41ではこれら公知の行動認識技術を利用することができる。
図5に示すように、行動認識部41は、行動検出装置408から取得した行動検出データに基づいて外科医の行動を認識する。行動検出データは、例えば、外科医に取り付けられた動態センサで検出されたデータや、外科医の行動を撮像するカメラで得られた撮像データなどのうち少なくとも1つであってよい。また、行動検出データには、外科医を識別する外科医識別情報が含まれていてもよい。行動認識部41は、蓄積された行動検出データと外科医の行動とを対応付けた多数の第1教師データによって学習した第1学習済みモデル41aを有する。行動認識部41は、第1学習済みモデル41aを用いて、認識すべき行動検出データに対応する外科医の行動を導き出す。行動認識部41は、例えば、行動検出データから外科医の特定部位の移動量を求め、この移動量に基づいて外科医の行動を認識することができる。なお、行動認識技術は既に公知の技術であり、行動認識部41ではこれら公知の行動認識技術を利用することができる。
行動認識部41の学習部は、機械学習技術を用いて、第1学習済みモデル41aを作成する。行動認識部41の学習部は、行動検出データを前処理して、第1教師データを作成する。前処理は、データ形式の変換、異常の確認、データの抽出、変数名やファイル名の変更などの各種処理のうち少なくとも1つを含む。行動認識部41の学習部は、機械学習により入力データと出力データとの相関関係を学習する。本実施形態では、入力データは行動検出データであり、出力データは外科医の行動である。行動認識部41の学習部は、機械学習の一例として教師あり学習(クラス分類)を実行する。一般に、教師あり学習は、入力データとそれに対応する出力データとの既知のデータセット(教師データ)が予め大量に与えられ、学習アルゴリズムを用いて教師データから入力データと出力データとの相関性を暗示する特徴を識別することで、新たな入力データに対する所要の出力データを推定するための相関性モデルを学習する手法である。この相関性モデルが、第1学習済みモデル41aとなる。第1学習済みモデル41aは記憶装置405に記憶される。学習初期の第1教師データは、実際の外科手術中に行動検出装置408で検出された外科医の動きとそれに対して与えられた正解の外科医の行動とを含むデータセットが蓄積されたものである。
〔状況認識部42〕
図6に示すように、状況認識部42は、行動認識部41の認識結果(即ち、外科医の行動)を含む状況検出データに基づいて手術の状況を認識する。状況検出データには、手術の内容や手術の経過時間などが含まれていてもよい。状況認識部42は、蓄積された状況検出データと手術の状況とを対応付けた多数の第2教師データによって学習した第2学習済みモデル42aを有する。状況認識部42は、第2学習済みモデル42aを用いて、認識すべき状況検出データに対応する手術の状況を導き出す。なお、手術の状況には、手術の進行(切開、切除、縫合などの手術工程)が含まれ得る。
図6に示すように、状況認識部42は、行動認識部41の認識結果(即ち、外科医の行動)を含む状況検出データに基づいて手術の状況を認識する。状況検出データには、手術の内容や手術の経過時間などが含まれていてもよい。状況認識部42は、蓄積された状況検出データと手術の状況とを対応付けた多数の第2教師データによって学習した第2学習済みモデル42aを有する。状況認識部42は、第2学習済みモデル42aを用いて、認識すべき状況検出データに対応する手術の状況を導き出す。なお、手術の状況には、手術の進行(切開、切除、縫合などの手術工程)が含まれ得る。
状況認識部42の学習部は、機械学習技術を用いて、第2学習済みモデル42aを作成する。状況認識部42の学習部の学習方法は行動認識部41の学習部と同様であってよい。学習初期の第2教師データは、実際の外科手術中に得られた状況検出データとそれに対して与えられた正解の手術の状況とを含むデータセットが蓄積されたものである。
〔推定部43〕
図7に示すように、推定部43は、状況認識部42の状況認識結果(即ち、手術の状況)を含む器具推定データに基づいて外科医が次に使用する少なくとも1種類の手術器具を推定する。器具推定データには、外科医を識別する外科医識別情報が含まれていてもよい。外科医識別情報に基づいて、外科医の利き手、好みの手術器具、好みの手渡し位置などを特定することができる。推定部43は、蓄積された器具推定データと手術器具の種類とを対応付けた多数の第3教師データによって学習した第3学習済みモデル43aを有する。推定部43は、第3学習済みモデル43aを用いて、認識すべき器具推定データに対応する手術器具の種類を導き出す。なお、外科手術に一般的に使用される手術器具の種類は、大きく分けて、持針器、鑷子、針と糸、鉗子、鉤、及び開創器などがある。これらの手術器具の大分類は、先端の形状や大きさ、用途に分けて更に細かく分類される。
図7に示すように、推定部43は、状況認識部42の状況認識結果(即ち、手術の状況)を含む器具推定データに基づいて外科医が次に使用する少なくとも1種類の手術器具を推定する。器具推定データには、外科医を識別する外科医識別情報が含まれていてもよい。外科医識別情報に基づいて、外科医の利き手、好みの手術器具、好みの手渡し位置などを特定することができる。推定部43は、蓄積された器具推定データと手術器具の種類とを対応付けた多数の第3教師データによって学習した第3学習済みモデル43aを有する。推定部43は、第3学習済みモデル43aを用いて、認識すべき器具推定データに対応する手術器具の種類を導き出す。なお、外科手術に一般的に使用される手術器具の種類は、大きく分けて、持針器、鑷子、針と糸、鉗子、鉤、及び開創器などがある。これらの手術器具の大分類は、先端の形状や大きさ、用途に分けて更に細かく分類される。
第3学習済みモデル43aは、手術器具の種類に合わせて手渡し位置を導き出してもよい。手渡し位置は、手術内容に応じて定められた一定の位置、手術の進行状況に応じて予め定められた位置、或いは、外科医の好みの手渡し位置であってよい。また、手渡し位置は、絶対座標で特定されてもよいし、手術台やマニピュレータアーム2に相対する位置として特定されてもよい。
推定部43の学習部は、機械学習技術を用いて、第3学習済みモデル43aを作成する。推定部43の学習部の学習方法は行動認識部41の学習部と同様であってよい。学習初期の第3教師データは、実際の外科手術中に得られた器具推定データとそれに対して与えられた正解の手術器具の種類と含むデータセットが蓄積されたものである。
〔音声認識部44〕
マイク406は音声アナログ信号(即ち音声)を取得し、音声デジタル信号に変換する。音声認識部44は、この音声デジタル信号を取得して、テキストデータに変換する。音声認識部44は、例えば、入力された音声を音波に変換し、音波を音響分析して音素を特定し、音素の並びを予め登録された辞書とマッチングを行って単語に変換し、変換された文章をテキストデータとして出力する。機械学習を利用した音声認識技術は広く知られており、音声認識部44は公知の音声認識技術を利用して構成される。
マイク406は音声アナログ信号(即ち音声)を取得し、音声デジタル信号に変換する。音声認識部44は、この音声デジタル信号を取得して、テキストデータに変換する。音声認識部44は、例えば、入力された音声を音波に変換し、音波を音響分析して音素を特定し、音素の並びを予め登録された辞書とマッチングを行って単語に変換し、変換された文章をテキストデータとして出力する。機械学習を利用した音声認識技術は広く知られており、音声認識部44は公知の音声認識技術を利用して構成される。
〔評価部45〕
評価部45は、推定部43による推定結果が正しいか否かを判断する。評価部45の処理については後述する。
評価部45は、推定部43による推定結果が正しいか否かを判断する。評価部45の処理については後述する。
〔手術補助方法〕
ここで、手術補助ロボット1を用いた手術補助方法を説明する。この手術補助方法は、本実施形態に係る使用器具推定方法を利用する。
ここで、手術補助ロボット1を用いた手術補助方法を説明する。この手術補助方法は、本実施形態に係る使用器具推定方法を利用する。
図8及び図9は使用器具推定装置4の処理の流れ図である。図8に示すように、使用器具推定装置4は行動検出装置408から外科手術中の外科医の動きを検出した行動検出データを取得する(ステップS1)。
次に、使用器具推定装置4の行動認識部41は、行動検出データに基づいて外科医の行動を認識する(ステップS2)。続いて、使用器具推定装置4の状況認識部42は、行動認識部41の行動認識結果(即ち、外科医の行動)に基づいて手術の状況を認識する(ステップS3)。更に、使用器具推定装置4の推定部43は、状況認識部42の状況認識結果(即ち、手術の状況)に基づいて予め与えられた複数種類の手術器具の中から外科医が次に使用する少なくとも1種類の手術器具を推定する(ステップS4)。
使用器具推定装置4は、手術器具の推定結果をディスプレイ407に出力する(ステップS5)。ディスプレイ407は、手術室内の外科医が視認可能な位置に配置されている。外科医は、ディスプレイ407に表示出力された、次に提供される手術器具の情報を視認することができる。
また、使用器具推定装置4は、手術器具の推定結果をロボット制御装置3へ出力する(ステップS5)。手術器具の推定結果を受けたロボット制御装置3は、推定された外科医が次に使用する少なくとも1種類の手術器具を器具庫5から取り出してから待機位置で待機するように、マニピュレータアーム2を動作させる。
外科医は、次に使用する手術器具を要求すべく、音声を発生する。例えば、外科医は「メス」と発声する。この音声はマイク406で集音され、使用器具推定装置4に伝達される。
図9に示すように、使用器具推定装置4の音声認識部44は、マイク406から音声データを取得して(ステップS11)、音声認識を行う(ステップS12)。音声認識により、音声データは音声テキストデータに変換される。
使用器具推定装置4の評価部45は、音声テキストデータ(即ち、認識した音声)と、推定部43で推定された手術器具の情報とを比較し、一致/不一致を判断する(ステップS13)。使用器具推定装置4は、この判断結果を記憶し、行動検出データとそれに基づいて推定された手術器具と判断結果とを含む新たな教師データを作成して学習済みモデル41a,42a,43aを更に学習させる(ステップS14)。
ステップS13で一致と判断されれば、使用器具推定装置4はロボット制御装置3へ許可信号を出力する。許可信号を受けたロボット制御装置3は、待機位置から手渡し位置へ移動するようにマニピュレータアーム2を動作させる。これにより、迅速かつ正確に、外科医の要求する手術器具を提供することができる。
一方、ステップS13で不一致と判断されれば、使用器具推定装置4は音声テキストデータから導き出される少なくとも1つの手術器具の推定結果と許可信号とをロボット制御装置3へ出力する。手術器具の推定結果を受けたロボット制御装置3は、推定された外科医が次に使用する少なくとも1種類の手術器具を器具庫5から取り出して手渡し位置へ移動するように、マニピュレータアーム2を動作させる。これにより、正確に、外科医の要求する手術器具を提供することができる。
以上に説明したように、本実施形態に係る使用器具推定装置4は、外科医の動きを検出した行動検出データに基づいて外科手術中の外科医の行動を認識する行動認識部41と、行動認識部41の行動認識結果に基づいて手術の状況を認識する状況認識部42と、状況認識部42の状況認識結果に基づいて予め与えられた複数種類の手術器具の中から外科医が次に使用する少なくとも1種類を推定する推定部43とを備える。
また、本実施形態に係る使用器具推定方法は、外科手術中の外科医の動きを検出した行動検出データを取得すること、行動検出データに基づいて外科医の行動を認識すること、認識された外科医の行動に基づいて手術の状況を認識すること、及び、認識された手術の状況に基づいて予め与えられた複数種類の手術器具の中から外科医が次に使用する少なくとも1種類を推定すること、を含む。
また、本実施形態に係る手術補助ロボット1は、使用器具推定装置4と、少なくとも1本のマニピュレータアーム2と、マニピュレータアーム2の動作を制御するロボット制御装置3と、複数種類の手術器具を収容した器具庫5とを備える。そして、ロボット制御装置3は、使用器具推定装置4で推定された外科医が次に使用する少なくとも1種類の手術器具を器具庫5から取り出して所定の手渡し位置まで搬送するようにマニピュレータアーム2を動作させる。
上記使用器具推定装置4及び方法並びに手術補助ロボット1によれば、従来は手術室看護師が行っている手術の状況に即した手術器具の推定を、看護師の技量や習熟度に頼ることなく自動的に行うことができる。
上記使用器具推定装置4において、行動認識部41は、行動検出データと外科医の行動とを対応付けた多数の第1教師データによって学習した第1学習済みモデル41aを有し、第1学習済みモデル41aを用いて、認識すべき行動検出データに対応する外科医の行動を導き出すように構成されている。
また、上記使用器具推定装置4において、状況認識部42は、行動認識結果を含む状況検出データと手術の状況とを対応付けた多数の第2教師データによって学習した第2学習済みモデル42aを有し、第2学習済みモデル42aを用いて、認識すべき状況検出データに対応する手術の状況を導き出すように構成されている。
また、上記使用器具推定装置4において、推定部43は、状況認識結果を含む器具推定データと手術器具の種類とを対応付けた多数の第3教師データによって学習した第3学習済みモデル43aを有し、第3学習済みモデル43aを用いて、認識すべき器具推定データに対応する手術器具の種類を導き出すように構成されている。
更に、上記使用器具推定装置4において、推定部43は、推定された手術器具が外科医へ渡される位置である手渡し位置を導き出すように構成されている。
上記構成の使用器具推定装置4によれば、外科医が次に要求する手術器具を正確に推定することができる。
以上に本発明の好適な実施の形態を説明したが、本発明の思想を逸脱しない範囲で、上記実施形態の具体的な構造及び/又は機能の詳細を変更したものも本発明に含まれ得る。上記の使用器具推定装置4及びそれを備える手術補助ロボット1の構成は、例えば、以下のように変更することができる。
例えば、上記実施形態において、使用器具推定装置4の演算制御器400は第1〜3学習済みモデル41a,42a,43aを有する。但し、図10及び図11に示すように、使用器具推定装置4Aの演算制御器400は、学習済みモデル41a,42a,43aを備える行動認識部41、状況認識部42及び推定部43に代えて、第4学習済みモデル49aを有する演算部49を備えていてもよい。
第4学習済みモデル49aは、行動検出データを含む入力データから、外科医に次に使用すると推定される少なくとも1種類の手術器具を含む出力データを導き出す。この場合の行動検出データは、例えば、外科医に取り付けられた動態センサで検出されたデータや、外科医の行動を撮像するカメラで得られた撮像データなどのうち少なくとも1つであってよい。また、入力データには、外科医を識別する外科医識別情報、外科手術の内容、及び、外科手術の経過時間のうち少なくとも1つが更に含まれていてもよい。また、出力データは、推定された少なくとも1種類の手術器具が外科医へ渡される位置である手渡し位置を更に含んでいてよい。
演算部49は学習部を含む。演算部49の学習部は、機械学習技術を用いて、第4学習済みモデル49aを構築する。使用器具推定装置4の学習部は、行動検出データを前処理して、第4教師データを作成する。前処理は、データ形式の変換、異常の確認、データの抽出、変数名やファイル名の変更などの各種処理のうち少なくとも1つを含む。演算部49の学習部は、機械学習により入力データと出力データとの相関関係を学習する。この機械学習は例えば教師あり学習(クラス分類)であって、学習アルゴリズムは入出力データに応じて適宜採用される。演算部49の学習部は、入力データとそれに対応する出力データとの既知のデータセット(教師データ)が予め大量に与えられ、学習アルゴリズムを用いて教師データから入力データと出力データとの相関性を暗示する特徴を識別することで、新たな入力データに対する所要の出力データを推定するための相関性モデルを学習する。この相関性モデルが、第4学習済みモデル49aとなる。第4学習済みモデル49aは記憶装置405に記憶される。学習初期の第4教師データは、実際の外科手術中に行動検出装置408で検出された外科医の動きとそれに対して与えられた正解の手術器具の種類とを含むデータセットが蓄積されたものである。
上記構成の使用器具推定装置4Aの演算制御器400により行われる使用器具推定方法は、外科手術中の外科医の動きを検出した行動検出データを行動検出装置408から取得すること、行動検出データを含む入力データと外科医が次に使用すると推定される少なくとも1種類の手術器具を含む出力データとを対応付けた多数の教師データによって学習した学習済みモデル49aを用いて、認識すべき入力データに対応する出力データを導き出すこと、及び、出力データをロボット制御装置3やディスプレイ407等へ出力すること、を含む。更に、演算部49の学習部は、前述の学習済みモデル41a,42a,43aと同様に、使用器具推定処理における行動検出データとそれに基づいて推定された手術器具と判断結果とを含む新たな教師データを作成して更に第4学習済みモデル49aを学習させる。
また、上記実施形態において、使用器具推定装置4が推定した少なくとも1種類の手術器具が外科医の要求する手術器具と異なる場合に、マニピュレータアーム2は改めて要求された手術器具を器具庫5へ取りに行き、それを手渡し位置まで運ぶ。但し、マニピュレータアーム2は手術器具を器具庫5へ戻し、要求された手術器具は看護師から外科医へ手渡されてもよい。また、手渡し位置が外科医の要求する位置と異なる場合に、看護師がマニピュレータアーム2を正しい手渡し位置まで移動させ、ロボット制御装置3が正しい手渡し位置を取得し、それを使用器具推定装置4が学習するようにしてもよい。看護師がマニピュレータアーム2を動かせるようにするために、マニピュレータアーム2にはハンドガイドボタンが設けられていてよい。マニピュレータアーム2はハンドガイドボタンが押されている間はハンドガイドロボットとなり、看護師から与えられた外力によってマニピュレータアーム2が自在に動くことができるように、ロボット制御装置3はマニピュレータアーム2の動作を制御する。
また、上記実施形態において、使用器具推定装置4が備える学習済みモデル41a,42a,43aは一連の推定処理が終わるごとに学習するように構成されているが、複数回の推定処理が終わってある程度の教師データが蓄積されてから追加の学習を行うように構成されてもよい。
1 :手術補助ロボット
2 :マニピュレータアーム
3 :ロボット制御装置
4 :使用器具推定装置
5 :器具庫
400 :演算制御器
41 :行動認識部
41a,42a,43a,49a :学習済みモデル
42 :状況認識部
43 :推定部
49 :演算部
2 :マニピュレータアーム
3 :ロボット制御装置
4 :使用器具推定装置
5 :器具庫
400 :演算制御器
41 :行動認識部
41a,42a,43a,49a :学習済みモデル
42 :状況認識部
43 :推定部
49 :演算部
Claims (11)
- 外科手術中の外科医の動きを検出する行動検出装置と、
前記行動検出装置で得られた行動検出データを含む入力データと前記外科医が次に使用すると推定される少なくとも1種類の手術器具を含む出力データとを対応付けた多数の教師データによって学習した学習済みモデルを有し、当該学習済みモデルを用いて認識すべき前記入力データに対応する前記出力データを導き出す演算部と、
前記出力データを出力する出力装置とを備える、
使用器具推定装置。 - 前記入力データが、前記外科医の識別情報、前記外科手術の内容、及び、前記外科手術の経過時間のうち少なくとも1つを更に含む、
請求項1に記載の使用器具推定装置。 - 前記出力データが、前記手術器具が前記外科医へ渡される位置である手渡し位置を更に含む、
請求項1又は2に記載の使用器具推定装置。 - 外科医の動きを検出した行動検出データに基づいて外科手術中の前記外科医の行動を認識する行動認識部と、
前記行動認識部の行動認識結果に基づいて手術の状況を認識する状況認識部と、
前記状況認識部の状況認識結果に基づいて予め与えられた複数種類の手術器具の中から前記外科医が次に使用する少なくとも1種類を推定する推定部とを備える、
使用器具推定装置。 - 前記行動認識部は、前記行動検出データと前記外科医の行動とを対応付けた多数の第1教師データによって学習した第1学習済みモデルを有し、前記第1学習済みモデルを用いて、認識すべき前記行動検出データに対応する前記外科医の行動を導き出す、
請求項4に記載の使用器具推定装置。 - 前記状況認識部は、前記行動認識結果を含む状況検出データと手術の状況とを対応付けた多数の第2教師データによって学習した第2学習済みモデルを有し、前記第2学習済みモデルを用いて、認識すべき前記状況検出データに対応する手術の状況を導き出す、
請求項4又は5に記載の使用器具推定装置。 - 前記推定部は、前記状況認識結果を含む器具推定データと前記手術器具の種類とを対応付けた多数の第3教師データによって学習した第3学習済みモデルを有し、前記第3学習済みモデルを用いて、認識すべき前記器具推定データに対応する前記手術器具の種類を導き出す、
請求項4〜6のいずれか一項に記載の使用器具推定装置。 - 前記推定部は、推定された前記手術器具が前記外科医へ渡される位置である手渡し位置を導き出す、
請求項4〜7のいずれか一項に記載の使用器具推定装置。 - 請求項1〜8のいずれか一項に記載の使用器具推定装置と、
少なくとも1本のマニピュレータアームと、
前記マニピュレータアームの動作を制御するロボット制御装置と、
複数種類の手術器具を収容した器具庫とを備え、
前記ロボット制御装置は、前記使用器具推定装置で推定された外科医が次に使用する少なくとも1種類の前記手術器具を前記器具庫から取り出して所定の手渡し位置まで搬送するように前記マニピュレータアームを動作させる、
手術補助ロボット。 - 外科手術中の外科医の動きを検出した行動検出データを取得すること、
前記行動検出データを含む入力データと前記外科医が次に使用すると推定される少なくとも1種類の手術器具を含む出力データとを対応付けた多数の教師データによって学習した学習済みモデルを用いて、認識すべき前記入力データに対応する前記出力データを導き出すこと、及び、
前記出力データを出力すること、を含む、
使用器具推定方法。 - 外科手術中の外科医の動きを検出した行動検出データを取得すること、
前記行動検出データに基づいて前記外科医の行動を認識すること、
認識された前記外科医の行動に基づいて手術の状況を認識すること、及び、
認識された前記手術の状況に基づいて予め与えられた複数種類の手術器具の中から前記外科医が次に使用する少なくとも1種類を推定すること、を含む、
使用器具推定方法。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019202763A JP7324121B2 (ja) | 2019-11-07 | 2019-11-07 | 使用器具推定装置及び方法並びに手術補助ロボット |
US17/774,856 US20220387116A1 (en) | 2019-11-07 | 2020-11-05 | Device and method of predicting use instrument, and surgery assisting robot |
EP20885752.4A EP4056140A4 (en) | 2019-11-07 | 2020-11-05 | DEVICE AND METHOD FOR ESTIMATING INSTRUMENT TO BE USED, AND SURGICAL ASSISTANCE ROBOT |
CN202080067249.8A CN114449970B (zh) | 2019-11-07 | 2020-11-05 | 使用器具推断装置、方法以及手术辅助机器人 |
PCT/JP2020/041319 WO2021090870A1 (ja) | 2019-11-07 | 2020-11-05 | 使用器具推定装置及び方法並びに手術補助ロボット |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019202763A JP7324121B2 (ja) | 2019-11-07 | 2019-11-07 | 使用器具推定装置及び方法並びに手術補助ロボット |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021074243A true JP2021074243A (ja) | 2021-05-20 |
JP7324121B2 JP7324121B2 (ja) | 2023-08-09 |
Family
ID=75849937
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019202763A Active JP7324121B2 (ja) | 2019-11-07 | 2019-11-07 | 使用器具推定装置及び方法並びに手術補助ロボット |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220387116A1 (ja) |
EP (1) | EP4056140A4 (ja) |
JP (1) | JP7324121B2 (ja) |
CN (1) | CN114449970B (ja) |
WO (1) | WO2021090870A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023176211A1 (ja) * | 2022-03-15 | 2023-09-21 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 作業推定方法、作業推定システムおよびプログラム |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220280238A1 (en) * | 2021-03-05 | 2022-09-08 | Verb Surgical Inc. | Robot-assisted setup for a surgical robotic system |
US11783938B2 (en) * | 2021-07-22 | 2023-10-10 | Cilag Gmbh International | Integrated hub systems control interfaces and connections |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015145358A1 (en) * | 2014-03-24 | 2015-10-01 | Butterfly Healthcare Pty. Ltd | System and method for logistical management, support and supply of objects |
JP2019022580A (ja) * | 2017-07-24 | 2019-02-14 | ソニー株式会社 | 手術システム、情報処理方法および情報処理装置 |
WO2019111512A1 (ja) * | 2017-12-05 | 2019-06-13 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用情報処理装置、および情報処理方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001112775A (ja) * | 1999-10-21 | 2001-04-24 | Olympus Optical Co Ltd | 手術器具準備システム及びコンピュータ読み取り可能な記憶媒体 |
JP5118620B2 (ja) | 2008-12-24 | 2013-01-16 | 日立Geニュークリア・エナジー株式会社 | 動態認識装置、動態認識システムおよび動態認識方法 |
KR101302595B1 (ko) * | 2012-07-03 | 2013-08-30 | 한국과학기술연구원 | 수술 진행 단계를 추정하는 시스템 및 방법 |
US9788907B1 (en) * | 2017-02-28 | 2017-10-17 | Kinosis Ltd. | Automated provision of real-time custom procedural surgical guidance |
US12102397B2 (en) * | 2018-01-19 | 2024-10-01 | Verily Life Sciences Llc | Step-based system for providing surgical intraoperative cues |
JP6875058B2 (ja) | 2018-02-09 | 2021-05-19 | Kddi株式会社 | 複数の認識エンジンを用いてコンテキストを推定するプログラム、装置及び方法 |
US11967422B2 (en) * | 2018-03-05 | 2024-04-23 | Medtech S.A. | Robotically-assisted surgical procedure feedback techniques |
-
2019
- 2019-11-07 JP JP2019202763A patent/JP7324121B2/ja active Active
-
2020
- 2020-11-05 EP EP20885752.4A patent/EP4056140A4/en active Pending
- 2020-11-05 CN CN202080067249.8A patent/CN114449970B/zh active Active
- 2020-11-05 US US17/774,856 patent/US20220387116A1/en active Pending
- 2020-11-05 WO PCT/JP2020/041319 patent/WO2021090870A1/ja unknown
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015145358A1 (en) * | 2014-03-24 | 2015-10-01 | Butterfly Healthcare Pty. Ltd | System and method for logistical management, support and supply of objects |
JP2019022580A (ja) * | 2017-07-24 | 2019-02-14 | ソニー株式会社 | 手術システム、情報処理方法および情報処理装置 |
WO2019111512A1 (ja) * | 2017-12-05 | 2019-06-13 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用情報処理装置、および情報処理方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023176211A1 (ja) * | 2022-03-15 | 2023-09-21 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 作業推定方法、作業推定システムおよびプログラム |
Also Published As
Publication number | Publication date |
---|---|
CN114449970B (zh) | 2024-07-09 |
CN114449970A (zh) | 2022-05-06 |
EP4056140A1 (en) | 2022-09-14 |
WO2021090870A1 (ja) | 2021-05-14 |
US20220387116A1 (en) | 2022-12-08 |
JP7324121B2 (ja) | 2023-08-09 |
EP4056140A4 (en) | 2023-11-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11819188B2 (en) | Machine-learning-based visual-haptic system for robotic surgical platforms | |
WO2021090870A1 (ja) | 使用器具推定装置及び方法並びに手術補助ロボット | |
JP7542040B2 (ja) | 自動内視鏡ビデオ拡張 | |
KR20140020071A (ko) | 수술 로봇 시스템 및 그 제어방법 | |
US20200152190A1 (en) | Systems and methods for state-based speech recognition in a teleoperational system | |
US20200278755A1 (en) | Determining and evaluating data representing an action to be performed by a robot | |
JP6656633B2 (ja) | 生体信号が表す情報を識別するためのシステム | |
WO2022030142A1 (ja) | 情報処理装置、プログラム、学習モデル及び学習モデルの生成方法 | |
CN114845618A (zh) | 计算机辅助手术系统、手术控制设备和手术控制方法 | |
WO2023025008A1 (zh) | 手术器械的信息处理方法、系统、手术器械及存储介质 | |
WO2024020223A1 (en) | Changing mode of operation of an instrument based on gesture detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220912 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230704 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230728 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7324121 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |