JP2013543764A - ヒューマン・マシン連携ロボットシステム - Google Patents
ヒューマン・マシン連携ロボットシステム Download PDFInfo
- Publication number
- JP2013543764A JP2013543764A JP2013538978A JP2013538978A JP2013543764A JP 2013543764 A JP2013543764 A JP 2013543764A JP 2013538978 A JP2013538978 A JP 2013538978A JP 2013538978 A JP2013538978 A JP 2013538978A JP 2013543764 A JP2013543764 A JP 2013543764A
- Authority
- JP
- Japan
- Prior art keywords
- automatic
- semi
- task
- user
- user interface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002452 interceptive effect Effects 0.000 claims abstract description 32
- 230000009471 action Effects 0.000 claims abstract description 25
- 238000004088 simulation Methods 0.000 claims description 15
- 230000008859 change Effects 0.000 claims description 4
- 238000010801 machine learning Methods 0.000 claims description 3
- 230000033001 locomotion Effects 0.000 description 31
- 238000000034 method Methods 0.000 description 20
- 238000013459 approach Methods 0.000 description 19
- 238000001356 surgical procedure Methods 0.000 description 12
- 230000007704 transition Effects 0.000 description 11
- 238000002474 experimental method Methods 0.000 description 10
- 238000012935 Averaging Methods 0.000 description 9
- 238000012549 training Methods 0.000 description 9
- 238000006073 displacement reaction Methods 0.000 description 8
- 230000003993 interaction Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000003780 insertion Methods 0.000 description 4
- 230000037431 insertion Effects 0.000 description 4
- 238000002357 laparoscopic surgery Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000000306 recurrent effect Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010003402 Arthropod sting Diseases 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000002674 endoscopic surgery Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 231100001261 hazardous Toxicity 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000002324 minimally invasive surgery Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 229920003259 poly(silylenemethylene) Polymers 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000009958 sewing Methods 0.000 description 1
- 238000005309 stochastic process Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/37—Master-slave robots
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/04—Viewing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1689—Teleoperation
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/42—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
- G05B19/427—Teaching successive positions by tracking the position of a joystick or handle to control the positioning servo of the tool head, master-slave control
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
- G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00017—Electrical control of surgical instruments
- A61B2017/00203—Electrical control of surgical instruments with speech control or speech recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/35—Nc in input of data, input till input file format
- G05B2219/35472—Mode selection
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39004—Assisted by automatic control system for certain functions
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39025—Spheric tool interrupts transmitted calibration beam, in different configurations
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40116—Learn by operator observation, symbiosis, show, watch
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40399—Selection of master-slave operation mode
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40413—Robot has multisensors surrounding operator, to understand intention of operator
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Robotics (AREA)
- Surgery (AREA)
- Mechanical Engineering (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Public Health (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Algebra (AREA)
- Mathematical Analysis (AREA)
- Theoretical Computer Science (AREA)
- Educational Technology (AREA)
- Automation & Control Theory (AREA)
- Chemical & Material Sciences (AREA)
- Medicinal Chemistry (AREA)
- Educational Administration (AREA)
- Computational Mathematics (AREA)
- Business, Economics & Management (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Primary Health Care (AREA)
- Human Computer Interaction (AREA)
- Urology & Nephrology (AREA)
- Epidemiology (AREA)
- Manipulator (AREA)
Abstract
【解決手段】半自動、相互作用ロボットシステムは、ユーザ・インタフェース・システムと、ユーザ・インタフェース・システムと通信を行うように構成された認識システムと、認識システムと通信を行うように構成された制御システムと、制御システムと通信を行うように構成されたセンサ・アクチュエータ・システムとを備える。認識システムは、ユーザがユーザ・インタフェース・システムを操作する間ユーザの取った行動を認識し、その認識された行動およびマルチステップタスクのタスクモデルに基づいて、制御システムに選択的に命令を出して、センサ・アクチュエータ・システムに、マルチステップタスクの自動ステップ、半自動ステップまたはダイレクトステップの1つを実行および/またはシミュレーションさせる。
【選択図】図1
Description
本出願は、2010年11月11日に出願された米国仮出願61/412,587および2011年2月17日に出願された米国仮出願61/443,779に基づく優先権を主張するもので、その全内容は参照により本願に組み込まれる。
本発明の特許請求の範囲に記載された最新の実施の態様の技術分野はロボットシステムに関し、より詳しくは、半自動、双方性ロボットシステムとシミュレーションされた半自動、双方性ロボットシステムとに関する。
2.関連技術の考察
ロボットシステムは、反復的な、複雑な、錯綜した、および/または危険なタスクの実行に有用である。例えば、手術の場合のように、複雑な処置は外科医にとって高い作業負荷を意味する。加えて、最近の手術室へのロボットの導入により、外科医の訓練および評価をするための新たな技術が必要になっている。このため、近年、外科的ジェスチャモデリングが大きな注目を集め、また、通常、隠れマルコフモデルまたはその変形を利用するいくつかの方法が、オフラインでの技能モデル化および分類のために提案されている(J. Rosen, J. Brown, L. Chang, M. Sinanan および B. Hannaford, "Generalized approach for modeling minimally invasive surgery as a stochastic process using a discrete markov model, "IEEE Trans, on Biomedical Engineering, vol. 53, no. 3, pp. 399-413, 2006; H. C. Lin, I. Shafran, D. Yuh および G. D. Hager, "Towards automatic skill evaluation: Detection and segmentation of robot-assisted surgical motions," Computer Aided Surgery, vol. 11, no. 5, pp. 220-230, 2006; B. Varadarajan, C. E. Reiley, H. Lin, S. Khudanpur, および G. D. Hager, "Data-derived models for segmentation with application to surgical assessment and training," in MICCAI(1), 2009, pp.426-434)。
・B. P. L. Lo, A. Darzi, および G. -Z. Yang, "Episode classification for the analysis of tissue/instrument interaction with multiple visual cues," in International Conference on Medical Image Computing and Computer-Assisted Intervention (MICCAI), 2003, pp. 230-237.
・K. Yoshimitsu, F. Miyawaki, T. Sadahiro, K. Ohnuma, Y. Fuki, D. Hashimoto, および K. Masamune, "Development and evaluation of the second version of scrub nurse robot (snr) for endoscopic and laparoscopic surgery," in IROS, 2007, pp. 2288-2294.
・S. Speidel, G. Sudra, J. Senemaud, M. Drentschew, B. P. Mller-Stich, C. Gutt および R. Dillmann, "Recognition of risk situations based on endoscopic instrument tracking and knowledge based situation modeling," in Med. Imaging.SPIE, 2008.
・N. Padoy, D. Mateus, D. Weinland, M. -O. Berger, および N. Navab, "Workflow monitoring based on 3d motion features," in Proceedings of the International Conference on Computer Vision Workshops, IEEE Workshop on Video-oriented Object and Event Classification, 2009.
本発明のいくつかの実施の形態に係るマルチステップタスクを実行するための半自動、相互作用ロボットシステムは、ユーザ・インタフェース・システムと、ユーザ・インタフェース・システムと通信を行うように構成された認識システムと、認識システムと通信を行うように構成された制御システムと、制御システムと通信を行うように構成されたセンサ・アクチュエータ・システムとを備える。認識システムは、ユーザがユーザ・インタフェース・システムを操作する間ユーザがとる行動を認識し、その認識された行動およびマルチステップタスクのタスクモデルに基づいて、制御システムに選択的に命令を出して、センサ・アクチュエータ・システムに、マルチステップタスクの自動ステップ、半自動ステップまたはダイレクトステップの1つを実行させる。
INTUITIVE SURGICAL社のDA VINCI手術システムのような遠隔手術ロボットの利用の増加に伴い、手術を指導、評価および実施するための新たな方法が提供されている。一方では、大量の客観的な実演データはロボットから収集することができる(H. C. Lin, I. Shafran, D. Yuh, および G. D. Hager, "Towards automatic skill evaluation: Detection and segmentation of robot-assisted surgical motions," Computer Aided Surgery, vol. 11, no. 5, pp. 220-230, 2006)。他方では、その技術により、近い将来、特定の手術タスクが自動化される可能性がある(J. van den Berg, S. Miller, D. Duckworth, H. Hu, A. Wan, X.-Y. Fu, K. Goldberg, および P. Abbeel, "Superhuman performance of surgical tasks by robots using iterative learning from human-guided demonstrations," in ICRA, 2010, pp. 2074-2081)。しかし、オペレータ、手術対象物に適応でき、また、手術中に途切れのない支援を提供することができる高効率のヒューマン・マシン連携システムを設計するために、収集した実演データをどのように用いるのかは明確ではなかった。
この実施の形態の目的のために、あるタスクが、連続する時間的な順序で実行する必要のある順序付けられたサブタスク(つまりステップ)の集合から構成されているとする。説明を容易にするために、タスクは、手動サブタスクと自動化されたサブタスクとの間で交互に入れ替わり、手動サブタスクから開始されるものと仮定する。これは、手動または自動化の各タイプの連続するサブタスクを単一の分割不可能なサブタスクのように集合させることによって達成することができる。
本アプローチを実演するために用いた2つのタスクを図6および図7に示す。第1のタスクは、ピンタスクと称され、単一の器具を必要とし、3つのピンを3主要位置に移動することにある(図6(a))。このタスクは、システムにより学習された6つの大きな搬送動作と、オペレータの実行による把持およびピン留めを含む6つの微細な動作とからなる。サブタスクの概要を表1に示す。器具によって実行される動作を図6(b)に示しており、そこでは、搬送および微細な動作は異なる色で表されている。
セットアップでは、タスクを達成するために使用するポッドは、各7度の自由度(DOF)を持つ2つの患者側マニピュレータ(PSM)によって操作することができる。各PSMは、手術器具を制御する。本ケースでは、PSMは、タスクの間同一の器具、つまり、2つの大きな針ドライバを有している。7度の自由度は、器具把持装置の開口に対応する。ダ・ビンチ・ロボット(Guthart00)を用いることにより、より多くの一般的な遠隔操作の構成が可能であるが、簡略化のために、左右それぞれのマスターマニピュレータが、左右それぞれのPSMを制御するものと仮定する。遠隔操作の間、器具およびポッドは、立体内視鏡カメラによって監視されており、器具およびポッドは、特定の6DOFマニピュレータを用いて移動することができる。
指示により、オペレータが各タスクをM回実演すると、タスク{rk}1≦k≦Mの一連のM回の記録が得られる。各記録は、1≦t≦|rk|の場合のR26=R14×R12において、値rk t=(^rk t,・rk t)を取る長さ|rk|の多次元時系列rk={rk 1,...,rk n}(なお、ここで、nは、下付き文字の|rk|を意味する。)に対応する。投影^rk tは、6次元直交座標速度のみならず2器具の把持状態も包含する。これらのデータは、認識システムによって使用されることになる。投影・rk tは、制御軌道を学習するために使用する予定の2器具の6次元直交座標位置を包含する。2器具の位置は、タスク座標系において、ロボット初期運動学とは無関係に表現される。
認識システムの目的は、各手動タスクが完了したことを判断し、自動制御への途切れのない移行を実行することにある。オペレータは、自動化が軌道の制御を引き継ぐまで、オペレータが次のサブタスクを手動で開始および実行しているかのように、連続する動作を当然に実行すべきである。途切れのない移行を行うため、オペレータが、自動軌道が開始されることができる地点に到達した瞬間を決定する必要がある。この決定は、HMMに基づいて一時的なモデルから計算される、サブタスク完了の実時間測定値を用いて行われる。
制御
ロボットアームは、ダ・ビンチ研究インタフェース(DiMaio2008)を用いて制御される。器具ごとに、直交座標動作Δ=[ΔT|ΔR]を、主マニピュレータの外科医の操作によって起こる動作に重ね合わせる制御モードが使用される。ある実験では、その動作Δは、カメラ座標系Ccamに与えられる。
このセクションでは、所定の器具のためにロボットに動作{[Tt|Rt]}1≦t≦τを与える学習方法について説明する。自動化サブタスクT2iに関して、動作がデータ{・r(k,2i)}1≦k≦Mから計算される。ここでは、考慮対象の器具の直交座標位置および方向のみのデータを使用する。以下において、回転は四元数で表し、7次元位置データは、指数2iを外した{~rk}1≦k≦Mによって表す。
ダ・ビンチ・ロボットを用い、CISST蔵書(A. Deguet, R. Kumar, R. Taylor, および P. Kazanzides, "The CISST libraries for computer assisted intervention systems," Insight Journal. [オンライン]。 http://hdl.handle.net/10380/1465aから入手可)に基づいて、モジュラーアプリケーションでHMCアプローチを実行した。このアプリケーションは、役割を伴う5つの相互作用するスレッドを含む。つまり、1)完了認識、2)経路設計、3)ロボット制御、4)可視化重ね合わせ、および5)メインタスク制御である。
ここでは、本発明の実施の形態に係る実演からの学習に基づく遠隔手術のための新規なヒューマン・マシン連携のアプローチを説明した。微細な動作はオペレータにより実行され、一方、動作の終了の実時間が認識されると、これが起因となって、以前に学習した動作であるが対象とのいかなる相互作用も含まない動作の自動的な実行が起動される。ダ・ビンチ遠隔手術ロボットを用いることにより、そのような動作が大きな搬送動作である場合には、そのような連携により、マスターマニピュレータの作業空間の使用が改善されることが分かった。さらに、実験では、そのようなヒューマン・マシン連携により、手動操作と自動化の実行との間で途切れのない直感的に理解できる切り替えを行うことができることを示している。
102,202 ユーザ・インタフェース・システム
104 認識システム
106 制御システム
108,208 センサ・アクチュエータ・システム
204 ワークステーション
206 データ処理および記憶システム
210 多関節アーム
212 右手用制御装置
214 左手用制御装置
216 右目用表示装置
218 左目用表示装置
220 把持装置またはツール取付組立体
Claims (15)
- マルチステップタスクを実行するための半自動、相互作用ロボットシステムであって、
ユーザ・インタフェース・システムと、
前記ユーザ・インタフェース・システムと通信を行うように構成された認識システムと、
前記認識システムと通信を行うように構成された制御システムと、
前記制御システムと通信を行うように構成されたセンサ・アクチュエータ・システムとを備え、
前記認識システムが、ユーザが前記ユーザ・インタフェース・システムを操作する間、前記ユーザが取った行動を認識し、さらに、前記認識された行動およびマルチステップタスクのタスクモデルに基づいて、前記センサ・アクチュエータ・システムに、前記マルチステップタスクの中の自動ステップ、半自動ステップまたはダイレクトステップの1つを実行させるように、選択的に前記制御システムに指示を行うように構成されている、半自動、相互作用ロボットシステム。 - 前記センサ・アクチュエータ・システムは、複数の多関節アームを備える、請求項1に記載の半自動、相互作用ロボットシステム。
- 前記複数の多関節アームの少なくとも1つは、把持装置またはツール取付組立体の一方を備える、請求項2に記載の半自動、相互作用ロボットシステム。
- 前記タスクモデルは、隠れマルコフモデルである、請求項1に記載の半自動、相互作用ロボットシステム。
- 前記タスクモデルは、機械学習モデルである、請求項1に記載の半自動、相互作用ロボットシステム。
- 前記ユーザ・インタフェース・システムは、ユーザ観察システムを備えており、前記ユーザ観察システムは、前記ユーザの少なくとも一部の動作を検出および決定し、前記認識システムと通信を行って前記制御システムに提供される命令を開始または変更の少なくとも一方を行うように構成および配列されている、請求項1に記載の半自動、相互作用ロボットシステム。
- 前記観察システムは、カメラを備える、請求項1に記載の半自動、相互作用ロボットシステム。
- 前記センサ・アクチュエータ・システムは、センサシステムを備えており、前記センサシステムは、操作される対象の少なくとも一部の特性を検出および決定し、前記認識システムと通信を行って前記制御システムに提供される命令を開始または変更の少なくとも一方を行うように構成および配列されている、請求項1に記載の半自動、相互作用ロボットシステム。
- 前記ユーザ・インタフェース・システムは、入力装置を備えており、前記入力装置は、前記ユーザが、手動でまたは口頭での少なくとも一方により前記認識システムに送信されるコマンドを入力することを許容して、前記制御システムに提供される命令を開始または変更の少なくとも一方を行うように構成されている、請求項1に記載の半自動、相互作用ロボットシステム。
- 前記ユーザ・インタフェース・システムは、実行予定のステップに関する情報を前記ユーザに表示するように構成された表示装置を備える、請求項1に記載の半自動、相互作用ロボットシステム。
- マルチステップタスクをシミュレーションするための半自動、相互作用ロボットシミュレーションシステムであって、
ユーザ・インタフェース・システムと、
前記ユーザ・インタフェース・システムと通信を行うように構成された認識システムと、
前記認識システムと通信を行うように構成された制御システムと、
前記制御システムと通信を行うように構成されたシミュレーション・センサ・アクチュエータ・システムとを備え、
前記認識システムが、ユーザが前記ユーザ・インタフェース・システムを操作する間、前記ユーザが取った行動を認識し、さらに、前記認識された行動およびマルチステップタスクのタスクモデルに基づいて、前記シミュレーション・センサ・アクチュエータ・システムに、前記マルチステップタスクの中の自動ステップ、半自動ステップまたはダイレクトステップの1つの実行をシミュレーションさせるように、選択的に前記制御システムに指示を行うように構成されている、半自動、相互作用ロボットシミュレーションシステム。 - 前記シミュレーション・センサ・アクチュエータ・システムは、複数の多関節アームをシミュレーションする、請求項11に記載の半自動、相互作用ロボットシミュレーションシステム。
- 前記タスクモデルは、隠れマルコフモデルである、請求項11に記載の半自動、相互作用ロボットシミュレーションシステム。
- 前記タスクモデルは、機械学習モデルである、請求項11に記載の半自動、相互作用ロボットシミュレーションシステム。
- 前記ユーザ・インタフェース・システムは、シミュレーション予定のステップに関する情報を前記ユーザに表示するように構成された表示装置を備える、請求項11に記載の半自動、相互作用ロボットシミュレーションシステム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US41258710P | 2010-11-11 | 2010-11-11 | |
US61/412,587 | 2010-11-11 | ||
US201161443779P | 2011-02-17 | 2011-02-17 | |
US61/443,779 | 2011-02-17 | ||
PCT/US2011/060638 WO2012065175A2 (en) | 2010-11-11 | 2011-11-14 | Human-machine collaborative robotic systems |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013543764A true JP2013543764A (ja) | 2013-12-09 |
JP6106594B2 JP6106594B2 (ja) | 2017-04-05 |
Family
ID=46051612
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013538978A Active JP6106594B2 (ja) | 2010-11-11 | 2011-11-14 | ヒューマン・マシン連携ロボットシステム |
Country Status (6)
Country | Link |
---|---|
US (1) | US9283675B2 (ja) |
EP (1) | EP2637594A4 (ja) |
JP (1) | JP6106594B2 (ja) |
KR (1) | KR101891138B1 (ja) |
CN (1) | CN103249368B (ja) |
WO (1) | WO2012065175A2 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018083246A (ja) * | 2016-11-22 | 2018-05-31 | パナソニックIpマネジメント株式会社 | ピッキングシステム及びその制御方法 |
JP2018538037A (ja) * | 2015-11-12 | 2018-12-27 | インテュイティブ サージカル オペレーションズ, インコーポレイテッド | 訓練又は支援機能を有する手術システム |
WO2019225746A1 (ja) * | 2018-05-25 | 2019-11-28 | 川崎重工業株式会社 | ロボットシステム及び追加学習方法 |
JP2020062743A (ja) * | 2018-09-05 | 2020-04-23 | ザ・ボーイング・カンパニーThe Boeing Company | ロボット制御ための方法及び装置 |
JP2021037583A (ja) * | 2019-09-03 | 2021-03-11 | 日立Geニュークリア・エナジー株式会社 | 現場監視装置、現場監視方法及び現場監視プログラム |
JP2022518870A (ja) * | 2019-01-25 | 2022-03-16 | 李漢忠 | 経尿道的レゼクトスコープ手術ロボットシステム |
US11737841B2 (en) | 2015-06-09 | 2023-08-29 | Intuitive Surgical Operations, Inc. | Configuring surgical system with surgical procedures atlas |
Families Citing this family (78)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9160898B2 (en) * | 2011-01-25 | 2015-10-13 | Autofuss | System and method for improved video motion control |
WO2013018908A1 (ja) | 2011-08-04 | 2013-02-07 | オリンパス株式会社 | 医療用マニピュレータおよび手術支援装置 |
JP6009840B2 (ja) | 2011-08-04 | 2016-10-19 | オリンパス株式会社 | 医療機器 |
WO2013018861A1 (ja) | 2011-08-04 | 2013-02-07 | オリンパス株式会社 | 医療用マニピュレータおよびその制御方法 |
JP5936914B2 (ja) | 2011-08-04 | 2016-06-22 | オリンパス株式会社 | 操作入力装置およびこれを備えるマニピュレータシステム |
JP5953058B2 (ja) | 2011-08-04 | 2016-07-13 | オリンパス株式会社 | 手術支援装置およびその着脱方法 |
JP6081061B2 (ja) | 2011-08-04 | 2017-02-15 | オリンパス株式会社 | 手術支援装置 |
JP6021484B2 (ja) | 2011-08-04 | 2016-11-09 | オリンパス株式会社 | 医療用マニピュレータ |
JP6005950B2 (ja) * | 2011-08-04 | 2016-10-12 | オリンパス株式会社 | 手術支援装置及びその制御方法 |
JP5931497B2 (ja) | 2011-08-04 | 2016-06-08 | オリンパス株式会社 | 手術支援装置およびその組立方法 |
CN104054023B (zh) | 2011-11-16 | 2017-11-17 | 欧特法斯公司 | 用于与机器人控制的物体映射的3d投影的系统和方法 |
US9832352B2 (en) | 2011-11-16 | 2017-11-28 | Autofuss | System and method for 3D projection mapping with robotically controlled objects |
CN103988136A (zh) * | 2011-12-09 | 2014-08-13 | 戴姆勒股份公司 | 运行生产厂房的方法 |
KR101997566B1 (ko) * | 2012-08-07 | 2019-07-08 | 삼성전자주식회사 | 수술 로봇 시스템 및 그 제어방법 |
US20140051049A1 (en) | 2012-08-17 | 2014-02-20 | Intuitive Surgical Operations, Inc. | Anatomical model and method for surgical training |
JP6306024B2 (ja) | 2012-10-01 | 2018-04-04 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | デバイス形状センシングを用いた臨床意思決定支援及びトレーニングシステム |
TWI499879B (zh) * | 2012-12-21 | 2015-09-11 | Ind Tech Res Inst | 工序分析監控系統及其方法 |
US20140201629A1 (en) * | 2013-01-17 | 2014-07-17 | Microsoft Corporation | Collaborative learning through user generated knowledge |
US9056396B1 (en) * | 2013-03-05 | 2015-06-16 | Autofuss | Programming of a robotic arm using a motion capture system |
KR20140112207A (ko) * | 2013-03-13 | 2014-09-23 | 삼성전자주식회사 | 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템 |
WO2015031777A1 (en) | 2013-08-29 | 2015-03-05 | Wayne State University | Camera control system and method |
CN106030683B (zh) | 2013-12-20 | 2020-10-30 | 直观外科手术操作公司 | 用于医疗程序培训的模拟器系统 |
DE102014204251A1 (de) | 2014-03-07 | 2015-09-10 | Siemens Aktiengesellschaft | Verfahren zu einer Interaktion zwischen einer Assistenzvorrichtung und einem medizinischen Gerät und/oder einem Bedienpersonal und/oder einem Patienten, Assistenzvorrichtung, Assistenzsystem, Einheit und System |
CN106471441A (zh) | 2014-08-25 | 2017-03-01 | X开发有限责任公司 | 用于显示机器人设备动作的虚拟表示的增强现实的方法和系统 |
US9272418B1 (en) * | 2014-09-02 | 2016-03-01 | The Johns Hopkins University | System and method for flexible human-machine collaboration |
US10070835B2 (en) | 2014-12-31 | 2018-09-11 | General Electric Company | X-ray imaging method and apparatus using positioning assemblies having multiple degrees of freedom |
GB2533803A (en) * | 2014-12-31 | 2016-07-06 | Gen Electric | Mammography device and method |
CN104552297B (zh) * | 2015-01-15 | 2016-01-27 | 合肥工业大学 | 一种六自由度串联机器人的控制系统及其控制方法 |
CA2882968C (en) | 2015-02-23 | 2023-04-25 | Sulfur Heron Cognitive Systems Inc. | Facilitating generation of autonomous control information |
US9409294B1 (en) * | 2015-03-05 | 2016-08-09 | Toyota Motor Engineering & Manufacturing North America, Inc. | Hierarchical geometric plan composition (HGPC) framework for robot task planning |
JP6762320B2 (ja) * | 2015-05-15 | 2020-09-30 | マコ サージカル コーポレーション | ロボット医療処置のガイダンスを提供するためのシステムおよび方法 |
US9910761B1 (en) | 2015-06-28 | 2018-03-06 | X Development Llc | Visually debugging robotic processes |
US9916506B1 (en) | 2015-07-25 | 2018-03-13 | X Development Llc | Invisible fiducial markers on a robot to visualize the robot in augmented reality |
US9919427B1 (en) | 2015-07-25 | 2018-03-20 | X Development Llc | Visualizing robot trajectory points in augmented reality |
US10959795B2 (en) * | 2015-08-25 | 2021-03-30 | Kawasaki Jukogyo Kabushiki Kaisha | Remote-control manipulator system and method of operating the same |
CN105108764B (zh) * | 2015-09-14 | 2017-03-29 | 南京工程学院 | 机器人智能机械手及其控制系统 |
US20190008598A1 (en) * | 2015-12-07 | 2019-01-10 | M.S.T. Medical Surgery Technologies Ltd. | Fully autonomic artificial intelligence robotic system |
DE102015122998B3 (de) * | 2015-12-30 | 2017-01-05 | Haddadin Beteiligungs UG (haftungsbeschränkt) | Roboter und Verfahren zum Betreiben eines Roboters |
US10737377B2 (en) * | 2016-03-15 | 2020-08-11 | Kindred Systems Inc. | Systems, devices, articles, and methods for robots in workplaces |
US10500726B2 (en) * | 2016-04-25 | 2019-12-10 | Kindred Systems Inc. | Facilitating device control |
WO2017214293A1 (en) | 2016-06-08 | 2017-12-14 | D-Wave Systems Inc. | Systems and methods for quantum computation |
US11315438B1 (en) * | 2016-06-24 | 2022-04-26 | Verily Life Sciences Llc | Surgical training systems and methods |
CN106003049B (zh) * | 2016-07-05 | 2018-06-12 | 李亚楠 | 人-机协作系统的控制方法 |
JP6662746B2 (ja) * | 2016-10-07 | 2020-03-11 | ファナック株式会社 | 機械学習部を備えた作業補助システム |
US11263547B2 (en) | 2017-01-30 | 2022-03-01 | D-Wave Systems Inc. | Quantum annealing debugging systems and methods |
TWI710871B (zh) * | 2017-05-22 | 2020-11-21 | 達明機器人股份有限公司 | 協作型機器人編程速度的方法 |
EP3409230B1 (de) * | 2017-05-31 | 2019-05-22 | Siemens Healthcare GmbH | Bewegen eines roboterarms |
US20180348742A1 (en) * | 2017-06-01 | 2018-12-06 | X Development Llc | Planning and Adapting Projects Based on a Buildability Analysis |
US10678338B2 (en) | 2017-06-09 | 2020-06-09 | At&T Intellectual Property I, L.P. | Determining and evaluating data representing an action to be performed by a robot |
CN107433591A (zh) * | 2017-08-01 | 2017-12-05 | 上海未来伙伴机器人有限公司 | 多维度交互机器人应用控制系统及方法 |
EP3672496A4 (en) * | 2017-08-23 | 2021-04-28 | The General Hospital Corporation | SUPPORT OF A SURGICAL DECISION USING A THEORETICAL DECISION MODEL |
EP3479971A1 (en) * | 2017-11-03 | 2019-05-08 | Nederlandse Organisatie voor toegepast- natuurwetenschappelijk onderzoek TNO | Method of performing assembling of an object, and assembly system |
US20190138623A1 (en) * | 2017-11-03 | 2019-05-09 | Drishti Technologies, Inc. | Automated birth certificate systems and methods |
CN111432990B (zh) | 2017-11-28 | 2023-10-27 | 川崎重工业株式会社 | 技能传承机械装置 |
KR101977274B1 (ko) * | 2017-12-29 | 2019-08-28 | 한국생산기술연구원 | 자율 로봇을 위한 프레임 워크 설정 방법 및 이를 수행하는 디지털 제어 장치 |
US10881472B2 (en) * | 2018-02-20 | 2021-01-05 | Verb Surgical Inc. | Correcting a robotic surgery user interface device tracking input |
US10517681B2 (en) * | 2018-02-27 | 2019-12-31 | NavLab, Inc. | Artificial intelligence guidance system for robotic surgery |
US11250726B2 (en) | 2018-05-24 | 2022-02-15 | Verily Life Sciences Llc | System for simulation of soft bodies |
CN109102873A (zh) * | 2018-05-31 | 2018-12-28 | 上海联影医疗科技有限公司 | C型臂设备及其训练方法、装置、医学影像系统及存储介质 |
EP3784133B1 (en) * | 2018-05-31 | 2024-05-15 | Shanghai United Imaging Healthcare Co., Ltd. | Systems and methods for controllinig an x-ray imaging device |
IT201800006156A1 (it) | 2018-06-08 | 2019-12-08 | Metodo di controllo predittivo di un robot e relativo sistema di controllo | |
EP3806832A1 (en) | 2018-06-14 | 2021-04-21 | Alma Mater Studiorum - Università di Bologna | Electrospun fibers for a local release of an anti-inflammatory drug and a promyelinating drug |
US11179846B2 (en) * | 2018-07-24 | 2021-11-23 | Yan Yufik | Method and systems for enhancing collaboration between robots and human operators |
GB2577715B (en) | 2018-10-03 | 2022-10-05 | Cmr Surgical Ltd | Device interoperation |
US10930395B2 (en) * | 2018-11-23 | 2021-02-23 | Asheleigh Adeline Mowery | System for surgical decisions using deep learning |
KR102213061B1 (ko) * | 2018-12-03 | 2021-02-09 | 한국생산기술연구원 | 로봇용 학습 프레임워크 설정방법 및 이를 수행하는 디지털 제어 장치 |
CN113195177B (zh) * | 2018-12-27 | 2024-05-10 | 川崎重工业株式会社 | 机器人控制装置、机器人系统以及机器人控制方法 |
US11900264B2 (en) | 2019-02-08 | 2024-02-13 | D-Wave Systems Inc. | Systems and methods for hybrid quantum-classical computing |
EP3753684B1 (en) * | 2019-06-21 | 2022-08-10 | Robert Bosch GmbH | Method and system for robot manipulation planning |
CN110507972A (zh) * | 2019-09-26 | 2019-11-29 | 江西福方科技有限公司 | 一种人与机器人协作投篮竞赛系统 |
JP2021070140A (ja) * | 2019-11-01 | 2021-05-06 | 株式会社Preferred Networks | 被遠隔操作装置、遠隔操作システム、遠隔操作支援方法、プログラム及び非一時的コンピュータ可読媒体 |
US11529737B2 (en) | 2020-01-30 | 2022-12-20 | Raytheon Company | System and method for using virtual/augmented reality for interaction with collaborative robots in manufacturing or industrial environment |
CN111513856B (zh) * | 2020-04-28 | 2021-08-03 | 王欢 | 一种多机械臂联动式外科手术机器人 |
DE102020207085A1 (de) * | 2020-06-05 | 2021-12-09 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zum steuern eines roboters und robotersteuereinheit |
US20220058518A1 (en) * | 2020-08-23 | 2022-02-24 | Keith Louis DeSanto | Using machine learning algorithms and nanotechnology combinations to clean an indoor environment. |
CN112356030B (zh) * | 2020-11-05 | 2022-04-22 | 苏州工业园区卡鲁生产技术研究院 | 机器人的控制方法、装置、计算机设备和存储介质 |
KR20220089828A (ko) * | 2020-12-22 | 2022-06-29 | 주식회사 에이스로보테크 | 협동 로봇 시스템. |
CN114888804B (zh) * | 2022-05-18 | 2024-03-12 | 深圳鹏行智能研究有限公司 | 基于工作链的机器人控制装置及方法、介质、机器人 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009066692A (ja) * | 2007-09-12 | 2009-04-02 | Advanced Telecommunication Research Institute International | 軌道探索装置 |
US20090183125A1 (en) * | 2008-01-14 | 2009-07-16 | Prime Sense Ltd. | Three-dimensional user interface |
JP2010524547A (ja) * | 2007-04-16 | 2010-07-22 | ニューロアーム サージカル リミテッド | 医療用ロボットに関する自動化された動作のための方法、装置、及びシステム |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020036617A1 (en) * | 1998-08-21 | 2002-03-28 | Timothy R. Pryor | Novel man machine interfaces and applications |
US8600551B2 (en) * | 1998-11-20 | 2013-12-03 | Intuitive Surgical Operations, Inc. | Medical robotic system with operatively couplable simulator unit for surgeon training |
US10820949B2 (en) * | 1999-04-07 | 2020-11-03 | Intuitive Surgical Operations, Inc. | Medical robotic system with dynamically adjustable slave manipulator characteristics |
US7155316B2 (en) * | 2002-08-13 | 2006-12-26 | Microbotics Corporation | Microsurgical robot system |
US20060166620A1 (en) * | 2002-11-07 | 2006-07-27 | Sorensen Christopher D | Control system including an adaptive motion detector |
US8496647B2 (en) * | 2007-12-18 | 2013-07-30 | Intuitive Surgical Operations, Inc. | Ribbed force sensor |
US7819859B2 (en) * | 2005-12-20 | 2010-10-26 | Intuitive Surgical Operations, Inc. | Control system for reducing internally generated frictional and inertial resistance to manual positioning of a surgical manipulator |
US8620473B2 (en) * | 2007-06-13 | 2013-12-31 | Intuitive Surgical Operations, Inc. | Medical robotic system with coupled control modes |
US8418073B2 (en) * | 2009-03-09 | 2013-04-09 | Intuitive Surgical Operations, Inc. | User interfaces for electrosurgical tools in robotic surgical systems |
US8935003B2 (en) | 2010-09-21 | 2015-01-13 | Intuitive Surgical Operations | Method and system for hand presence detection in a minimally invasive surgical system |
US8996173B2 (en) | 2010-09-21 | 2015-03-31 | Intuitive Surgical Operations, Inc. | Method and apparatus for hand gesture control in a minimally invasive surgical system |
US8521331B2 (en) | 2009-11-13 | 2013-08-27 | Intuitive Surgical Operations, Inc. | Patient-side surgeon interface for a minimally invasive, teleoperated surgical instrument |
US8543240B2 (en) | 2009-11-13 | 2013-09-24 | Intuitive Surgical Operations, Inc. | Master finger tracking device and method of use in a minimally invasive surgical system |
EP2524280A1 (en) * | 2010-01-14 | 2012-11-21 | BrainLAB AG | Controlling a surgical navigation system |
US9014848B2 (en) * | 2010-05-20 | 2015-04-21 | Irobot Corporation | Mobile robot system |
CN101870107B (zh) * | 2010-06-26 | 2011-08-31 | 上海交通大学 | 骨科手术辅助机器人的控制系统 |
US8880223B2 (en) * | 2012-07-16 | 2014-11-04 | Florida Institute for Human & Maching Cognition | Anthro-centric multisensory interface for sensory augmentation of telesurgery |
-
2011
- 2011-11-14 EP EP11839194.5A patent/EP2637594A4/en not_active Withdrawn
- 2011-11-14 JP JP2013538978A patent/JP6106594B2/ja active Active
- 2011-11-14 KR KR1020137014499A patent/KR101891138B1/ko active IP Right Grant
- 2011-11-14 CN CN201180054479.1A patent/CN103249368B/zh active Active
- 2011-11-14 US US13/881,662 patent/US9283675B2/en active Active
- 2011-11-14 WO PCT/US2011/060638 patent/WO2012065175A2/en active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010524547A (ja) * | 2007-04-16 | 2010-07-22 | ニューロアーム サージカル リミテッド | 医療用ロボットに関する自動化された動作のための方法、装置、及びシステム |
JP2009066692A (ja) * | 2007-09-12 | 2009-04-02 | Advanced Telecommunication Research Institute International | 軌道探索装置 |
US20090183125A1 (en) * | 2008-01-14 | 2009-07-16 | Prime Sense Ltd. | Three-dimensional user interface |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11737841B2 (en) | 2015-06-09 | 2023-08-29 | Intuitive Surgical Operations, Inc. | Configuring surgical system with surgical procedures atlas |
JP2021191519A (ja) * | 2015-11-12 | 2021-12-16 | インテュイティブ サージカル オペレーションズ, インコーポレイテッド | 訓練又は支援機能を有する手術システム |
JP2018538037A (ja) * | 2015-11-12 | 2018-12-27 | インテュイティブ サージカル オペレーションズ, インコーポレイテッド | 訓練又は支援機能を有する手術システム |
US11751957B2 (en) | 2015-11-12 | 2023-09-12 | Intuitive Surgical Operations, Inc. | Surgical system with training or assist functions |
US10912619B2 (en) | 2015-11-12 | 2021-02-09 | Intuitive Surgical Operations, Inc. | Surgical system with training or assist functions |
JP2018083246A (ja) * | 2016-11-22 | 2018-05-31 | パナソニックIpマネジメント株式会社 | ピッキングシステム及びその制御方法 |
JP7167141B2 (ja) | 2018-05-25 | 2022-11-08 | 川崎重工業株式会社 | ロボットシステム及び追加学習方法 |
JPWO2019225746A1 (ja) * | 2018-05-25 | 2021-06-10 | 川崎重工業株式会社 | ロボットシステム及び追加学習方法 |
WO2019225746A1 (ja) * | 2018-05-25 | 2019-11-28 | 川崎重工業株式会社 | ロボットシステム及び追加学習方法 |
JP2020062743A (ja) * | 2018-09-05 | 2020-04-23 | ザ・ボーイング・カンパニーThe Boeing Company | ロボット制御ための方法及び装置 |
JP7386652B2 (ja) | 2018-09-05 | 2023-11-27 | ザ・ボーイング・カンパニー | ロボット制御ための方法及び装置 |
JP2022518870A (ja) * | 2019-01-25 | 2022-03-16 | 李漢忠 | 経尿道的レゼクトスコープ手術ロボットシステム |
JP7239739B2 (ja) | 2019-01-25 | 2023-03-14 | 李漢忠 | 経尿道的レゼクトスコープ手術ロボットシステム |
JP2021037583A (ja) * | 2019-09-03 | 2021-03-11 | 日立Geニュークリア・エナジー株式会社 | 現場監視装置、現場監視方法及び現場監視プログラム |
JP7217212B2 (ja) | 2019-09-03 | 2023-02-02 | 日立Geニュークリア・エナジー株式会社 | 現場監視装置、現場監視方法及び現場監視プログラム |
Also Published As
Publication number | Publication date |
---|---|
CN103249368B (zh) | 2016-01-20 |
WO2012065175A3 (en) | 2012-07-19 |
KR20130137185A (ko) | 2013-12-16 |
WO2012065175A2 (en) | 2012-05-18 |
KR101891138B1 (ko) | 2018-08-23 |
WO2012065175A9 (en) | 2012-09-20 |
US20130218340A1 (en) | 2013-08-22 |
CN103249368A (zh) | 2013-08-14 |
EP2637594A4 (en) | 2015-05-06 |
EP2637594A2 (en) | 2013-09-18 |
US9283675B2 (en) | 2016-03-15 |
JP6106594B2 (ja) | 2017-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6106594B2 (ja) | ヒューマン・マシン連携ロボットシステム | |
Padoy et al. | Human-machine collaborative surgery using learned models | |
Mayer et al. | The Endo [PA] R system for minimally invasive robotic surgery | |
US20180042680A1 (en) | Interactive user interfaces for minimally invasive telesurgical systems | |
US8398541B2 (en) | Interactive user interfaces for robotic minimally invasive surgical systems | |
WO2018195319A1 (en) | Systems and methods for constraining a virtual reality surgical system | |
Da Col et al. | Scan: System for camera autonomous navigation in robotic-assisted surgery | |
Staub et al. | Human-computer interfaces for interaction with surgical tools in robotic surgery | |
Berthet-Rayne et al. | Hubot: A three state human-robot collaborative framework for bimanual surgical tasks based on learned models | |
Özgüner et al. | Three-dimensional surgical needle localization and tracking using stereo endoscopic image streams | |
Bihlmaier et al. | Learning dynamic spatial relations | |
Abdelaal et al. | Parallelism in autonomous robotic surgery | |
Moccia et al. | Autonomous endoscope control algorithm with visibility and joint limits avoidance constraints for da vinci research kit robot | |
Barragan et al. | SACHETS: Semi-autonomous cognitive hybrid emergency teleoperated suction | |
Rivas-Blanco et al. | Towards a cognitive camera robotic assistant | |
Bihlmaier et al. | Endoscope robots and automated camera guidance | |
Sagitov et al. | Design of simple one-arm surgical robot for minimally invasive surgery | |
Staub et al. | Implementation and evaluation of a gesture-based input method in robotic surgery | |
Mayer et al. | An experimental system for robotic heart surgery | |
Dharmarajan et al. | A trimodal framework for robot-assisted vascular shunt insertion when a supervising surgeon is local, remote, or unavailable | |
Staub et al. | Remote minimally invasive surgery–haptic feedback and selective automation in medical robotics | |
Bihlmaier et al. | Learning surgical know-how: Dexterity for a cognitive endoscope robot | |
Sudra et al. | MEDIASSIST: medical assistance for intraoperative skill transfer in minimally invasive surgery using augmented reality | |
US12029522B2 (en) | Deep disengagement detection during telesurgery | |
US20220087763A1 (en) | Deep disengagement detection during telesurgery |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141113 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150901 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150904 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160510 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20160810 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20160810 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160902 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170214 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170306 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6106594 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |