CN103068348B - 使用协作机器人控制和音频反馈呈现力传感器信息的方法 - Google Patents

使用协作机器人控制和音频反馈呈现力传感器信息的方法 Download PDF

Info

Publication number
CN103068348B
CN103068348B CN201180038449.1A CN201180038449A CN103068348B CN 103068348 B CN103068348 B CN 103068348B CN 201180038449 A CN201180038449 A CN 201180038449A CN 103068348 B CN103068348 B CN 103068348B
Authority
CN
China
Prior art keywords
operation tool
audible feedback
power
robot
tool
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180038449.1A
Other languages
English (en)
Other versions
CN103068348A (zh
Inventor
罗素·H·泰勒
马尔辛·阿尔卡迪乌什·巴利茨基
詹姆斯·塔哈拉·汉达
彼得·路易斯·盖尔巴赫
尤利安·约尔达基塔
阿里·于内里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Johns Hopkins University
Original Assignee
Johns Hopkins University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Johns Hopkins University filed Critical Johns Hopkins University
Publication of CN103068348A publication Critical patent/CN103068348A/zh
Application granted granted Critical
Publication of CN103068348B publication Critical patent/CN103068348B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/35—Surgical robots for telesurgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/72—Micromanipulators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/77—Manipulators with motion or force scaling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/007—Methods or devices for eye surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/007—Methods or devices for eye surgery
    • A61F9/00727—Apparatus for retinal reattachment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00115—Electrical control of surgical instruments with audible or visual output
    • A61B2017/00119—Electrical control of surgical instruments with audible or visual output alarm; indicating an abnormal situation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2061—Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/303—Surgical robots specifically adapted for manipulations within body lumens, e.g. within lumen of gut, spine, or blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A61B2090/065—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension for measuring contact or contact pressure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A61B2090/066—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension for measuring torque
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7455—Details of notification to user or communication with user or patient ; user input means characterised by tactile indication, e.g. vibration or electrical stimulation

Abstract

用于手术工具的协作控制的系统和方法包括：工具保持器，其用于接纳适合于被机器人和外科医生把持的手术工具；传感器，其用于探测基于操作者输入的力和/或工具末端力；控制器，其用于基于探测到的力来限制机器人速度以便提供触觉反馈；选择器，其用于基于探测到的所施加的力来自动地选择多水平音频反馈中的一个水平，所述音频反馈代表所施加的力的相对强度；以及音频设备，其用于与所述触觉反馈共同地提供所述音频反馈。音频反馈向外科医生提供允许在操作期间施加更低的力的附加信息。

Description

使用协作机器人控制和音频反馈呈现力传感器信息的方法
相关申请的引用
本申请要求于2010年8月2日提交的美国临时专利申请第61/370,029号的权益，该美国临时专利申请据此为了所有目的而通过引用并入，如同在本文中充分地阐述。
政府利益的声明
本发明是通过美国政府的支持在由国立卫生研究院授予的第EB007969号拨款和由国家科学基金会授予的第EEC9731478号拨款下做出的。美国政府拥有本发明的某些权利。
发明领域
本发明涉及用于手术工具的协作控制的方法和系统。更具体地，本发明涉及用于使用协作机器人控制和音频反馈呈现力传感器信息的方法和系统。
发明背景
视网膜显微手术是手术任务中的最具挑战性组中的一个，这是由于人类感觉运动限制、对于精密和微型的检测仪表的需要以及在小且脆弱的环境中执行微米尺度的运动任务的固有困难。在视网膜手术中，外科医生需要进行微米尺度操纵，同时把力安全地施加于在感官知觉下的视网膜组织。手术表现还受到不精确仪器、生理性手震颤、差的可视化、对某些结构的可接近性的缺乏、患者运动以及由于延长操作而引起的疲劳的挑战。视网膜手术中的手术器械以被穿过巩膜(眼睛的可见白壁)插入的长细轴(在直径上典型地为0.5mm至0.7mm)为特征。被这些工具施加的力经常远低于人类感觉阈值。
外科医生因此必须依赖于视觉信号以避免把过度的力施加在视网膜上。这些视觉信号是被施加于组织的力的直接结果，并且训练有素的外科医生通过撤回工具并且再次握持组织来对该视觉信号做出反应以搜索可选择的路径。这使剥离过程中断，并且要求外科医生小心地再次接近目标。感测不可觉察的微力信号以及使用机器人操纵器来抢先地反应具有允许连续剥离、增加任务完成时间以及使并发症的风险减到最小的可能性。所有的这些因素促成可能导致视力丧失的手术错误和并发症。
示例性程序是视网膜前膜的剥离，其中薄膜被使用精细的(20-25Ga)手术器械从视网膜的表面小心地分层。被施加在视网膜组织上的力经常远低于人类感觉阈值。在目前的实践中，外科医生仅具有待依赖的视觉信号来避免施加过度的力，这已经被观察到导致具有视力丧失的相关风险的视网膜损伤和出血。
虽然机器人助手，例如DAVINCITM手术机器人系统，已经被广泛地用于腹腔镜手术，但是目标在于显微手术的系统仍然处于研究阶段。显微手术系统包括远程操作系统、徒手主动震颤消除系统(freehand activetremor-cancellation system)以及协作地控制的交叉手系统(hand-over-handsystem)，例如Johns Hopkins“稳定手”机器人。在稳定手控制中，外科医生和机器人二者都把持手术工具；机器人感测被外科医生施加在工具把手上的力，并且运动成依从，过滤掉任何震颤。对于视网膜显微手术来说，工具典型地在巩膜插入点处枢轴转动，除非外科医生想要使眼球移动。该枢轴点可以被机械地约束的远程运动中心或软件来执行。工具轴和巩膜之间的相互作用使对机器人的控制和对工具至视网膜力的测量二者都复杂化。
为了测量工具至视网膜力，已经使用在巩膜插入点的远侧安装在工具轴上的极端敏感的(0.25mN的分辨率)力传感器。该力传感器允许对工具至组织力的测量，同时衰减了来自于工具至巩膜力的干扰。此外，端点微力传感器已经用在手术应用中，其中力缩放协作控制方法产生基于工具至组织力和工具手力之间的缩放差异的机器人响应。
此外，第一代稳定手机器人已经被特别地设计用于玻璃体视网膜手术。虽然该稳定手机器人成功地用在体外机器人辅助的血管套管插入实验中，但是其被发现具有人体工程学限制。例如，第一代稳定手机器人仅具有±30％工具旋转限制值。为了进一步扩展工具旋转范围，已经开发了第二代稳定手机器人，其已经把该范围增加至±60％。第二代稳定手机器人利用平行六杆机构，该平行六杆机构机械地提供等中心运动，而不引入随着第一代稳定手机器人发生的在直角坐标阶段(Cartesian stage)中的大的并行共同速度(concurrent joint velocity)。
第二代稳定手机器人并入显著地改进的操纵器以及集成微力感测工具，该第二代稳定手机器人提供用于改进的玻璃体视网膜手术。然而，因为玻璃体视网膜手术的灵敏度，在本领域中仍然有对于对工具的改进控制的需要，以避免不必要的并发症。例如，玻璃体视网膜手术中的并发症可能起因于力到眼睛组织的过度和/或不正确的施加。目前的实践要求外科医生通过缓慢且稳定的操纵而把操作力保持为低且安全。外科医生还必须单独地依赖视觉反馈，视觉反馈使问题复杂化，因为其耗费时间来探测、评估并且然后对模糊信号做出反应；对于初学者外科医生来说，任务是特别困难的。
据此，在本领域中有对于用于在玻璃体视网膜手术和类似手术中使用的手术工具的改进的控制方法的需要。
概述
根据本发明的第一方面，用于手术工具的协作控制的系统包括：工具保持器，其用于接纳适合于被机器人和外科医生把持的手术工具；传感器，其用于探测基于操作者输入的力和/或工具末端力；控制器，其用于基于在所述手术工具和所述组织之间探测到的力来限制机器人速度以便提供触觉反馈；选择器，其用于基于所探测到的所施加的力来自动地选择多水平音频反馈中的一个水平，所述音频反馈代表所施加的力的相对强度；以及音频设备，其用于与所述触觉反馈共同地提供所述音频反馈。
根据本发明的第二方面，用于手术工具的协作控制的系统包括：工具保持器，其用于接纳适合于被机器人和外科医生把持的手术工具；传感器，其用于探测在手术工具和感兴趣的目标区域之间的距离；选择器，其用于基于所探测到的距离来自动地选择音频反馈，所述音频反馈代表关于所述手术工具距所述感兴趣的目标区域多远的范围感测信息；以及音频设备，其用于提供所述音频反馈。
根据本发明的第三方面，用于手术工具的协作控制的方法包括：接纳适合于被机器人和外科医生把持的手术工具；探测所述手术工具和组织之间的界面处的力；基于在所述手术工具和所述组织之间探测到的所述力来限制机器人速度以便提供触觉反馈；基于所探测到的力来自动地选择音频反馈，所述音频反馈代表所施加的力的相对强度；以及与所述触觉反馈共同地提供所选择的音频反馈。
附图简述
附图提供了视觉表示，该视觉表示将用来更充分地描述本文公开的代表性实施方案并且可以被本领域的技术人员使用以更好地理解代表性实施方案及其内在优势。在这些附图中，相似的参考数字指代相应的元件，并且：
图1图示了根据本发明的特征的示例性系统的示意图。
图2图示了根据本发明的特征的示例性系统的示意图。
图3图示了根据本发明的特征的示例性手术工具的分解视图。
图4图示了根据本发明的特征的关于力的音频反馈的图形表示。
图5图示了根据本发明的特征的剥离样品可重复性测试的图形表示。
图6A-D是具有和不具有根据本发明的特征的音频反馈的示出了末端力的各种控制模式的代表性试验的标绘图(plot)。
优选实施方案的详细描述
现在将在下文中参照附图更充分地描述现在公开的主题内容，在附图中，示出了本发明的某些而非全部的实施方案。相同的数字在全文中指代相同的元件。现在公开的主题内容可以被以许多不同的形式来体现并且不应当被理解为限于本文提出的实施方案；而是，提供这些实施方案，使得本公开内容将满足可适用的法定要求。实际上，本文提出的现在公开的主题内容的许多修改和其他实施方案将被现在公开的主题内容所属于的领域的技术人员想到，具有在前述描述和相关附图中提出的教导的益处。因此，将理解，现在公开的主题内容不限于所公开的特定实施方案，并且修改和其他实施方案意在被包含在所附权利要求的范围内。
本发明涉及用于手术工具的协作控制的系统和方法。本发明的示例性实施方案提供该系统和方法在协作地控制的交叉手系统中的用途，例如在Mitchell等人的“Development and Application of a New Steady-HandManipulator for Retinal Surgery”，IEEE ICRA，第623-629页(2007)，在M.Balicki、A.Uneri、I.lordachita、J.Handa、P.Gehlbach和R.H.Taylor的“Micro-force Sensing in Robot Assisted Membrane Peeling for VitreoretinalSurgery”，Medical Image Computing and Computer-Assisted Intervention(MICCAI)，北京，2010年9月，第303-310页以及在A.Uneri、M.Balicki、James Handa、Peter Gehlbach、R.Taylor和I.lordachita的“New Steady-HandEye Robot with Microforce Sensing for Vitreoretinal Surgery Research”，Intemational Conference on Biomedical Robotics and Biomechatronics(BIOROB)，东京，2010年9月26-29，第814-819页中描述的机器人辅助的手术系统，其全部内容通过引用并入本文。在稳定手控制中，外科医生和机器人二者都把持手术工具。机器人感测被外科医生施加在工具把手上的力，并且运动成依从，过滤掉任何震颤。虽然具体的协作控制系统关于以上公布来描述，但是应当理解，本发明的系统和方法还可以可适用于其他协作地控制的系统以及徒手手术(freehand surgery)。
参照图1和2，示出了待结合本发明使用的机器人辅助手术系统的第一例证性实施方案。系统10可以例如在器官例如，诸如人眼的中空器官的显微手术中使用，但是其他应用是可能的。
如图1和2中所示，系统10包括用于接纳待被机器人12和外科医生17二者都把持的手术工具16的工具保持器14。工具保持器14帮助在显微手术程序期间所需要的多种手术工具的附接，包括但不限于镊子、针保持器和剪刀。优选地，外科医生17在工具把手18处把持手术工具16，并且使用机器人12协作地导向手术工具16，以使用工具末端20进行感兴趣区域的手术。此外，力/转矩传感器24可以安装在工具保持器16处，其感测被外科医生施加在工具上的力，以用作向机器人的命令输入。
优选地，提供提高了机器人阶段的刚度和精确度的自定义机械RCM。RCM机构通过当在虚拟RCM模式中操作时减少直角坐标阶段中的运动范围和速度来提高系统的总体稳定性，这把工具轴线约束为始终与眼睛上的巩膜切开术开口交叉。
参照图3，图示了待结合本发明的系统和方法使用的示例性手术工具30。特别地，手术工具30可以被特别地设计为用于在协作操纵中使用，例如上文描述的系统，但是可以在远程操作机器人中作为手术机器人的端部执行器(end effector)来使用或用于徒手操纵。此外，手术工具30可以被特别地设计为用于在人眼E上操作。
继续参照图3，手术工具30包括具有钩状端部34的工具轴32。手术工具30优选地制造有集成光纤布拉格光栅(FGB)传感器。FBG是高强度的光学传感器，其能够探测污迹中的改变，而没有来自于静电源、电磁源或射频源的干扰。优选地，多个光纤36沿着工具轴32放置，其允许对工具的弯曲的测量并且允许对横切平面中的力的计算(沿着Fx和Fy)，具有0.25mN的灵敏度。因此，可以获得对工具和末端之间的力的灵敏测量。
对于玻璃体视网膜显微手术应用来说，应当选择允许亚mN精确度的力传感器，需要对通常低于7.5mN的力的感测。据此，非常小的仪器尺寸是必需的，以穿过25Ga巩膜切开术开口插入，并且力传感器被设计成在巩膜下方获得在仪器的末端处的测量。
参照回图1和2，系统10包括处理器26和存储设备28。存储设备28可以包括一个或多个计算机可读的存储介质以及用于执行机器人的协作控制的机器可读指令。根据要求保护的发明的特征，取决于被发送至处理器26的探测到的力(操作者输入和/或工具末端力)，机器人速度被控制器限制以便提供触觉反馈。此外，程序包括用于基于探测到的所施加力来自动地选择多水平音频反馈的一个水平的指令。音频反馈代表所施加的力的相对强度。音频设备与触觉反馈共同地提供音频反馈。优选地，音频设备与处理器26集成，但是也可以是分开的设备。
参照图4，多水平音频反馈的示例性实施方案被图形地表示。特别地，音频反馈的有用范围专门地为了玻璃体视网膜手术而开发。特别地，在三个力水平区域中调节音频“蜂鸣声(beep)”的回放节奏的听觉反馈被选择为呈现在典型的玻璃体视网膜操作中有关的力操作范围。音频反馈可以基于所施加的力是否落入预定范围内来选择。根据优选的实施方案，音频可以是无声的，直到测量到1mN或更大的力。恒定的缓慢蜂鸣声被从1mN直到约3.5mN的范围选择，该范围被指定为“安全的”操作区。“警惕的”区域被指定为3.5-7.5mN，并且具有成比例地增加的节奏，随后是产生对于高于7.5mN的任何力的恒定的高节奏蜂鸣声的“危险区”。此外，高节奏的蜂鸣声优选地与所施加的力成比例地增加，以进一步向外科医生指示正在施加过度的力。
如上文所讨论的，具有不同的基于操作输入和/或工具末端力来调节机器人行为的协作控制方法，并且可以结合音频反馈来使用，如根据本发明所描述的。控制方法参数考虑把手输入力范围(0-5N)，以及剥离任务力和速度。音频知觉代替作为反馈的替代或互补的形式起作用并且提供高分辨率实时工具末端力信息。然而，应当理解，根据本发明的特征，不同的类型的控制方法可以结合音频反馈来使用。此外，应当理解，其他类型的音频反馈被包括在本发明中，并且不限于蜂鸣声。
协作控制方法的一个实例是成比例速度控制(PV)范例，如在Kumar等人的“Preliminary Experiments in Cooperative Human/Robert Force Controlfor Robot Assisted Microsurgical Manipulation”，IEEE ICRA，1：610-617(2000)中描述的，其全部公开内容通过引用并入本文。特别地，工具的速度(V)与使用者在把手处的输入力(Fh)成比例。对于玻璃体视网膜手术来说，使用α＝1的增益，该增益把1N的把手输入力转换为1mm/s的工具速度。
另一个协作控制方法被称为线性力缩放控制(FS)，其通过调节机器人速度把被工具末端感测到的人类不可觉察的力(Ft)绘制或放大为把手相互作用力。使用γ＝25和γ＝62.5比例因子(其对于在玻璃体视网膜剥离中的操作参数的范围来说是低的)的在先应用，如在Berkelman等人的“Evaluation of a Cooperative Manipulation Microsurgical Assistant RobotApplied to Stapedotomy”，LNCS ISSU2208：1426-1429(2001)和Kumar等人的“Preliminary Experiments in Cooperative Human Robert Force Controlfor Robot Assisted Microsurgical Manipulation”，IEEE ICRA，1：610-617(2000)中描述的，其全部公开内容通过引用并入本文。γ＝500的比例因子可以用来把在工具末端的0-10mN的操纵力绘制为把手处的0-5N的输入力。
可以结合本发明使用的另一个协作控制方法是具有限制值(VL)的成比例速度控制，其在存在低末端力时增加可操作性。该方法使用PV控制，但是具有与末端力成反比的另外的速度约束。通过这样的缩放，机器人响应在较高的工具末端力下变得非常迟钝，有效地抑制了操纵速度。对于玻璃体视网膜手术来说，约束参数根据经验选择成m＝-180和b＝0.9。为了避免零交叉不稳定性，在量级上低于f1＝1mN的力不限制速度。相似地，为了在末端力超过高阈值(f2＝7.5mN)时提供对操作者的某项控制，执行速度限制值(v2＝0.1)。
本发明对徒手手术也是有用的。在目前的实践中，外科医生通过对来自于变形组织的改变光反射的目视判读间接地评估被施加于组织的相对应力。这种类型的“视觉感官代替”需要只被专家外科医生所共有的重要的经验和专注。为了提供更清楚和客观的反馈，根据本发明的特征，力可以被直接地测量并且使用听觉表示法实时地传递至外科医生。
本发明还可以关于探测手术工具距感兴趣的目标区域多远来使用。特别地，可以提供传感器以用于探测手术工具和感兴趣的目标区域之间的距离。音频反馈基于探测到的距离来选择。优选地，传感器是OCT范围传感器，但是可以包括任何其他类型的距离传感器。
实施例
已经包括以下的实施例，以向本领域的普通技术人员提供引导来实践现在公开的主题内容的代表性实施方案。按照本公开内容和本领域的技术的一般水平，本领域的技术人员可以领会到，以下的实施例意在仅仅是示例性的，并且多种改变、修改和变更可以被采用，而不偏离现在公开的主题内容的范围。以下的实施例以例证的方式并且不以限制的方式来提供。
具有集成的光纤布拉格光栅(FBG)传感器的工具被制造有沿着工具轴的三根光纤。工具沿着相对于机器人的校准定向安装在机器人工具保持器中。传感器数据被以2kHz收集和处理并且通过TCP/IP传输。为了模拟视网膜组织的剥离，产生了幻像模型。发现来自于19mm Clear Bandages(来德爱牌)的粘性翼片(sticky tab)是用于分层的合适且可重复的幻像。该翼片被切成薄片以产生可以被从其衬背剥离多次的2mm宽的带条，具有显示出剥离力随着剥离速度的增加而增加的可预测性能。塑料剥离层是非常柔软的但足够强硬以抵抗在钩子附接部位处的破坏压力。需要20mm的工具行进以完成剥离。图5示出了在各种速度下观察到的力。
上文描述的控制方法的效果比较之下减小平均剥离力和最大剥离力，同时使完成任务所耗费的时间减到最少。在本实施例中测试了单一对象，本实施例以以下的方式设置。把幻像使用双粘贴胶带附着于稳定平台并且把机器人定位为使得钩子超过剥离表面～1.5mm。把手的定向垂直于剥离方向并且对于操作者来说是舒适的。为了消除来自于工具弯曲的力提示，除了工具末端以外，工具轴的可见性被阻挡。测试对象在试验之前被广泛培训(～3小时)。允许在试验之间中断五分钟。操作者被指导稳定地并且尽可能缓慢而没有停止地剥离膜。为了简化实验，机器人运动被限于只是直角坐标平移；实验显示在使用和不使用旋转DOF的试验之间没有显著差异。没有视觉放大被提供至操作者。对于所有试验来说，使用相同样品，并且为了一致性，测试该样品在实验之前和之后的性能。为了比较，包括操作者不使用机器人辅助剥离样品的徒手剥离测试。每种方法的五个试验使用音频反馈进行且五个不使用音频反馈进行。
在测试的每种方法中，音频反馈降低了最大末端力以及末端力变化性。其显著地增加了徒手试验和成比例速度控制试验的任务完成时间，而该时间对于其他试验来说略微地减少。操作者被自然地倾斜成围绕相应于3.5mN的离散音频过渡点“徘徊”，这在除了徒手之外的所有情况下被观察到。这在力缩放中是特别地突出的，在力缩放中，操作者表现为依赖于触觉反馈之上的音频指示(见图5C，时间60-80s)。在速度限制试验中，音频把平均输入把手力减小50％而不损害表现。这表示使用者有意识地试图使用音频反馈来减少被施加于样品的力。
徒手(图6A)试验示出了由生理的手震颤导致的相当高的力变化。所施加的平均力为约5mN，具有约8mN的最大值。音频反馈帮助减少大的力，但是显著地增加任务完成时间。
成比例速度(图6B)控制性能受益于机器人辅助的稳定性并且引起更平稳的力施加，同时力的范围是与徒手测试可比较的。同样地，音频反馈引起大力的减少但是增加了用来完成任务的时间。
力缩放(图6C)控制产生使用和不使用音频时在平均力方面的最好的总体表现。但是，用来完成的平均时间是除了使用音频的徒手以外最长的。
速度限制(图6D)控制引起非常平滑的响应，除了要求在有限的速度下的较高的绝对剥离力的部分以外。这具有“沿着”虚拟约束物作出轮廓的作用。由于匹配的阈值，音频在表现方面具有非常小的影响。
根据上文的实验数据，本发明提供了能够测量以及对低于7.5mN的显微手术中的普遍范围的力起反应的系统和方法。此外，力缩放连同音频反馈提供在模拟膜剥离任务中的最直观的响应以及力减少表现，该模拟膜剥离任务的目的是施加低且稳定的力来产生受控的分层。
虽然已经结合其优选实施方案来描述本发明，但是本领域的技术人员将领会到，可以做出未具体地描述的增加、删除、修改和替换，而不偏离如在所附权利要求中所限定的本发明的精神和范围。

Claims (27)

1.一种用于手术工具的协作控制的系统，包括：
工具保持器，其用于接纳适合于被机器人和外科医生把持的手术工具；
传感器，其用于探测基于操作者输入的力或基于工具末端力或基于操作者输入的力和工具末端力两者的力；
控制器，其提供基于所探测到的力的触觉反馈；
选择器，其用于基于所探测到的力来自动地选择多水平音频反馈中的一个水平，所述音频反馈代表所探测到的力的相对强度；以及
音频设备，其用于与所述触觉反馈共同地提供所述音频反馈。
2.根据权利要求1所述的系统，其中所述音频反馈是一系列蜂鸣声。
3.根据权利要求1所述的系统，其中所述音频反馈基于所施加的力是否落入预定范围内来选择。
4.根据权利要求1所述的系统，其中所述手术工具用在玻璃体视网膜手术中。
5.根据权利要求3所述的系统，其中所述音频反馈是无声的，直到所施加的力在多于1mN的预定范围内。
6.根据权利要求3所述的系统，其中当所施加的力处于在1mN和3.5mN之间的预定范围内时，所述音频反馈是持续的慢节奏蜂鸣声。
7.根据权利要求3所述的系统，其中当所施加的力在3.5mN至7mN之间的预定范围内时，所述音频反馈是持续的快节奏蜂鸣声。
8.根据权利要求7所述的系统，其中所述快节奏蜂鸣声的节奏与所施加的力成比例地增加。
9.根据权利要求1所述的系统，其中所述手术工具是所述机器人中的端部执行器。
10.根据权利要求1所述的系统，其中所述传感器是内嵌在所述手术工具中以用于探测所述手术工具和组织之间的力的光纤布拉格光栅(FBG)传感器。
11.一种用于手术工具的协作控制的系统，包括：
工具保持器，其用于接纳适合于被机器人和外科医生把持的手术工具；
传感器，其用于探测所述手术工具和感兴趣的目标区域之间的距离；
选择器，其用于基于所探测到的距离来自动地选择音频反馈，所述音频反馈代表关于所述手术工具距所述感兴趣的目标区域多远的范围感测信息；以及
音频设备，其用于提供所述音频反馈。
12.根据权利要求11所述的系统，其中所述音频反馈基于所述距离是否落入预定范围内来选择。
13.根据权利要求11所述的系统，其中所述手术工具用在玻璃体视网膜手术中。
14.根据权利要求11所述的系统，其中所述手术工具是所述机器人中的端部执行器。
15.根据权利要求11所述的系统，其中所述距离是使用传感器探测到的，并且所述传感器是OCT范围传感器。
16.一种用于手术工具的协作控制的方法，包括：
接纳适合于被机器人和外科医生把持的手术工具；
探测所述手术工具和组织之间的界面处的力或用来移动所述手术工具的输入力或所述手术工具和组织之间的界面处的力和用来移动所述手术工具的输入力两者；
基于在所述手术工具和所述组织之间的界面处探测到的所述力来限制机器人速度以便提供触觉反馈；
基于所探测到的力来自动地选择音频反馈，所述音频反馈代表所探测的力的相对强度；以及
与所述触觉反馈共同地提供所选择的音频反馈。
17.根据权利要求16所述的方法，其中所述音频反馈基于所施加的力是否落入预定范围内来选择。
18.根据权利要求16所述的方法，其中所述手术工具用在玻璃体视网膜手术中。
19.根据权利要求16所述的方法，其中所述手术工具是所述机器人中的端部执行器。
20.根据权利要求19所述的方法，其中所述机器人以成比例速度控制的方式来控制。
21.根据权利要求19所述的方法，其中所述机器人通过线性力缩放控制来控制。
22.根据权利要求19所述的方法，其中所述机器人通过具有限制值控制的成比例速度来控制。
23.一种用于手术工具的协作控制的方法，包括：
接纳适合于被机器人和外科医生把持的手术工具；
探测所述手术工具和感兴趣的目标区域之间的距离；
基于所探测到的距离来自动地选择音频反馈，所述音频反馈代表关于所述手术工具距所述感兴趣的目标区域多远的范围感测信息；以及
提供所选择的音频反馈。
24.根据权利要求23所述的方法，其中所述音频反馈基于所述距离是否落入预定范围内来选择。
25.根据权利要求23所述的方法，其中所述手术工具用在玻璃体视网膜手术中。
26.根据权利要求23所述的方法，其中所述手术工具是所述机器人中的端部执行器。
27.根据权利要求23所述的方法，其中所述距离是使用传感器探测到的，并且所述传感器是OCT范围传感器。
CN201180038449.1A 2010-08-02 2011-08-02 使用协作机器人控制和音频反馈呈现力传感器信息的方法 Active CN103068348B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US37002910P 2010-08-02 2010-08-02
US61/370,029 2010-08-02
PCT/US2011/046276 WO2012018821A2 (en) 2010-08-02 2011-08-02 Method for presenting force sensor information using cooperative robot control and audio feedback

Publications (2)

Publication Number Publication Date
CN103068348A CN103068348A (zh) 2013-04-24
CN103068348B true CN103068348B (zh) 2015-07-15

Family

ID=45560028

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180038449.1A Active CN103068348B (zh) 2010-08-02 2011-08-02 使用协作机器人控制和音频反馈呈现力传感器信息的方法

Country Status (6)

Country Link
US (1) US20140052150A1 (zh)
EP (1) EP2600813B1 (zh)
JP (2) JP5782515B2 (zh)
KR (1) KR101840312B1 (zh)
CN (1) CN103068348B (zh)
WO (1) WO2012018821A2 (zh)

Families Citing this family (104)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8944070B2 (en) 1999-04-07 2015-02-03 Intuitive Surgical Operations, Inc. Non-force reflecting method for providing tool force information to a user of a telesurgical system
US9789608B2 (en) 2006-06-29 2017-10-17 Intuitive Surgical Operations, Inc. Synthetic representation of a surgical robot
US8628518B2 (en) 2005-12-30 2014-01-14 Intuitive Surgical Operations, Inc. Wireless force sensor on a distal portion of a surgical instrument and method
US8062211B2 (en) 2006-06-13 2011-11-22 Intuitive Surgical Operations, Inc. Retrograde instrument
US10008017B2 (en) 2006-06-29 2018-06-26 Intuitive Surgical Operations, Inc. Rendering tool information as graphic overlays on displayed images of tools
US9718190B2 (en) 2006-06-29 2017-08-01 Intuitive Surgical Operations, Inc. Tool position and identification indicator displayed in a boundary area of a computer display screen
US10258425B2 (en) 2008-06-27 2019-04-16 Intuitive Surgical Operations, Inc. Medical robotic system providing an auxiliary view of articulatable instruments extending out of a distal end of an entry guide
US20090192523A1 (en) 2006-06-29 2009-07-30 Intuitive Surgical, Inc. Synthetic representation of a surgical instrument
US9089256B2 (en) 2008-06-27 2015-07-28 Intuitive Surgical Operations, Inc. Medical robotic system providing an auxiliary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide
US9084623B2 (en) 2009-08-15 2015-07-21 Intuitive Surgical Operations, Inc. Controller assisted reconfiguration of an articulated instrument during movement into and out of an entry guide
US9469034B2 (en) 2007-06-13 2016-10-18 Intuitive Surgical Operations, Inc. Method and system for switching modes of a robotic system
US9138129B2 (en) 2007-06-13 2015-09-22 Intuitive Surgical Operations, Inc. Method and system for moving a plurality of articulated instruments in tandem back towards an entry guide
US8620473B2 (en) 2007-06-13 2013-12-31 Intuitive Surgical Operations, Inc. Medical robotic system with coupled control modes
US8864652B2 (en) 2008-06-27 2014-10-21 Intuitive Surgical Operations, Inc. Medical robotic system providing computer generated auxiliary views of a camera instrument for controlling the positioning and orienting of its tip
US9492927B2 (en) 2009-08-15 2016-11-15 Intuitive Surgical Operations, Inc. Application of force feedback on an input device to urge its operator to command an articulated instrument to a preferred pose
US8918211B2 (en) 2010-02-12 2014-12-23 Intuitive Surgical Operations, Inc. Medical robotic system providing sensory feedback indicating a difference between a commanded state and a preferred pose of an articulated instrument
US10758315B2 (en) 2012-06-21 2020-09-01 Globus Medical Inc. Method and system for improving 2D-3D registration convergence
US10624710B2 (en) 2012-06-21 2020-04-21 Globus Medical, Inc. System and method for measuring depth of instrumentation
US10874466B2 (en) * 2012-06-21 2020-12-29 Globus Medical, Inc. System and method for surgical tool insertion using multiaxis force and moment feedback
US11864839B2 (en) 2012-06-21 2024-01-09 Globus Medical Inc. Methods of adjusting a virtual implant and related surgical navigation systems
US11253327B2 (en) 2012-06-21 2022-02-22 Globus Medical, Inc. Systems and methods for automatically changing an end-effector on a surgical robot
US11399900B2 (en) 2012-06-21 2022-08-02 Globus Medical, Inc. Robotic systems providing co-registration using natural fiducials and related methods
US11298196B2 (en) 2012-06-21 2022-04-12 Globus Medical Inc. Surgical robotic automation with tracking markers and controlled tool advancement
US11857266B2 (en) 2012-06-21 2024-01-02 Globus Medical, Inc. System for a surveillance marker in robotic-assisted surgery
US11857149B2 (en) 2012-06-21 2024-01-02 Globus Medical, Inc. Surgical robotic systems with target trajectory deviation monitoring and related methods
US10646280B2 (en) * 2012-06-21 2020-05-12 Globus Medical, Inc. System and method for surgical tool insertion using multiaxis force and moment feedback
US11045267B2 (en) 2012-06-21 2021-06-29 Globus Medical, Inc. Surgical robotic automation with tracking markers
US10799298B2 (en) 2012-06-21 2020-10-13 Globus Medical Inc. Robotic fluoroscopic navigation
US10842461B2 (en) 2012-06-21 2020-11-24 Globus Medical, Inc. Systems and methods of checking registrations for surgical systems
US11786324B2 (en) 2012-06-21 2023-10-17 Globus Medical, Inc. Surgical robotic automation with tracking markers
US11317971B2 (en) 2012-06-21 2022-05-03 Globus Medical, Inc. Systems and methods related to robotic guidance in surgery
US11864745B2 (en) 2012-06-21 2024-01-09 Globus Medical, Inc. Surgical robotic system with retractor
US11589771B2 (en) 2012-06-21 2023-02-28 Globus Medical Inc. Method for recording probe movement and determining an extent of matter removed
US11896446B2 (en) 2012-06-21 2024-02-13 Globus Medical, Inc Surgical robotic automation with tracking markers
US11793570B2 (en) 2012-06-21 2023-10-24 Globus Medical Inc. Surgical robotic automation with tracking markers
US10507066B2 (en) 2013-02-15 2019-12-17 Intuitive Surgical Operations, Inc. Providing information of tools by filtering image areas adjacent to or on displayed images of the tools
US10042422B2 (en) 2013-11-12 2018-08-07 Thalmic Labs Inc. Systems, articles, and methods for capacitive electromyography sensors
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
US20150124566A1 (en) 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
US9283048B2 (en) * 2013-10-04 2016-03-15 KB Medical SA Apparatus and systems for precise guidance of surgical tools
WO2015081113A1 (en) 2013-11-27 2015-06-04 Cezar Morun Systems, articles, and methods for electromyography sensors
US9375841B1 (en) * 2014-05-28 2016-06-28 Google Inc. Robotic devices with ambient indications of joint status
US9549781B2 (en) * 2014-05-30 2017-01-24 The Johns Hopkins University Multi-force sensing surgical instrument and method of use for robotic surgical systems
US9880632B2 (en) 2014-06-19 2018-01-30 Thalmic Labs Inc. Systems, devices, and methods for gesture identification
US10369045B2 (en) 2014-07-29 2019-08-06 The Johns Hopkins University Micromanipulation systems and methods
NL2013369B1 (en) 2014-08-26 2016-09-26 Univ Eindhoven Tech Surgical robotic system and control of surgical robotic system.
US9815206B2 (en) 2014-09-25 2017-11-14 The Johns Hopkins University Surgical system user interface using cooperatively-controlled robot
DE102014114234B4 (de) * 2014-09-30 2020-06-25 Kastanienbaum GmbH Verfahren und Vorrichtung zur Steuerung/Regelung eines Roboter-Manipulators
FR3032346B1 (fr) * 2015-02-05 2021-10-15 Univ Pierre Et Marie Curie Paris 6 Procede d'assistance a la manipulation d'un instrument
DE102015109371A1 (de) * 2015-06-12 2016-12-15 avateramedical GmBH Vorrichtung und Verfahren zur robotergestützten Chirurgie
US10166080B2 (en) * 2015-06-12 2019-01-01 The Johns Hopkins University Cooperatively-controlled surgical robotic system with redundant force sensing
US10188552B2 (en) * 2015-08-14 2019-01-29 The Johns Hopkins University Surgical system providing hands-free control of a surgical tool
CN106826915A (zh) * 2015-12-04 2017-06-13 西门子公司 一种机器人触觉操控方法及其装置
US11000211B2 (en) 2016-07-25 2021-05-11 Facebook Technologies, Llc Adaptive system for deriving control signals from measurements of neuromuscular activity
EP3487395A4 (en) 2016-07-25 2020-03-04 CTRL-Labs Corporation METHODS AND APPARATUS FOR PREDICTING MUSCULOSKELETAL POSITION INFORMATION USING PORTABLE SELF-CONTAINED SENSORS
US11216069B2 (en) 2018-05-08 2022-01-04 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
US10409371B2 (en) 2016-07-25 2019-09-10 Ctrl-Labs Corporation Methods and apparatus for inferring user intent based on neuromuscular signals
US11331045B1 (en) 2018-01-25 2022-05-17 Facebook Technologies, Llc Systems and methods for mitigating neuromuscular signal artifacts
EP3487595A4 (en) 2016-07-25 2019-12-25 CTRL-Labs Corporation SYSTEM AND METHOD FOR MEASURING MOVEMENTS OF ARTICULATED RIGID BODIES
US10489986B2 (en) 2018-01-25 2019-11-26 Ctrl-Labs Corporation User-controlled tuning of handstate representation model parameters
WO2020112986A1 (en) 2018-11-27 2020-06-04 Facebook Technologies, Inc. Methods and apparatus for autocalibration of a wearable electrode sensor system
US10531929B2 (en) 2016-08-16 2020-01-14 Ethicon Llc Control of robotic arm motion based on sensed load on cutting tool
US10709511B2 (en) 2016-08-16 2020-07-14 Ethicon Llc Control of jaw or clamp arm closure in concert with advancement of device
US10390895B2 (en) * 2016-08-16 2019-08-27 Ethicon Llc Control of advancement rate and application force based on measured forces
US11033341B2 (en) 2017-05-10 2021-06-15 Mako Surgical Corp. Robotic spine surgery system and methods
AU2018265160B2 (en) 2017-05-10 2023-11-16 Mako Surgical Corp. Robotic spine surgery system and methods
JP7349992B2 (ja) 2017-09-05 2023-09-25 コヴィディエン リミテッド パートナーシップ ロボット手術システムのための衝突処理アルゴリズム
US11259860B2 (en) * 2017-09-25 2022-03-01 Covidien Lp Systems and methods for providing sensory feedback with an ablation system
WO2019079757A1 (en) 2017-10-19 2019-04-25 Ctrl-Labs Corporation SYSTEMS AND METHODS FOR IDENTIFYING BIOLOGICAL STRUCTURES ASSOCIATED WITH NEUROMUSCULAR SOURCE SIGNALS
US10675107B2 (en) 2017-11-15 2020-06-09 Intuitive Surgical Operations, Inc. Surgical instrument end effector with integral FBG
US11069148B2 (en) * 2018-01-25 2021-07-20 Facebook Technologies, Llc Visualization of reconstructed handstate information
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
US10504286B2 (en) 2018-01-25 2019-12-10 Ctrl-Labs Corporation Techniques for anonymizing neuromuscular signal data
US10937414B2 (en) 2018-05-08 2021-03-02 Facebook Technologies, Llc Systems and methods for text input using neuromuscular information
EP3743790A4 (en) 2018-01-25 2021-03-17 Facebook Technologies, Inc. RECONSTRUCTION OF HAND STATE ON THE BASIS OF MULTIPLE ENTRIES
US10970936B2 (en) 2018-10-05 2021-04-06 Facebook Technologies, Llc Use of neuromuscular signals to provide enhanced interactions with physical objects in an augmented reality environment
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments
WO2019147996A1 (en) 2018-01-25 2019-08-01 Ctrl-Labs Corporation Calibration techniques for handstate representation modeling using neuromuscular signals
US11150730B1 (en) 2019-04-30 2021-10-19 Facebook Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
EP3743901A4 (en) 2018-01-25 2021-03-31 Facebook Technologies, Inc. REAL-TIME PROCESSING OF HAND REPRESENTATION MODEL ESTIMATES
US11567573B2 (en) 2018-09-20 2023-01-31 Meta Platforms Technologies, Llc Neuromuscular text entry, writing and drawing in augmented reality systems
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
US11234775B2 (en) 2018-01-26 2022-02-01 Mako Surgical Corp. End effectors, systems, and methods for impacting prosthetics guided by surgical robots
US10592001B2 (en) 2018-05-08 2020-03-17 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
WO2019227032A1 (en) * 2018-05-25 2019-11-28 Intuitive Surgical Operations, Inc. Fiber bragg grating end effector force sensor
CN112469469A (zh) 2018-05-25 2021-03-09 脸谱科技有限责任公司 用于提供肌肉下控制的方法和装置
CN112261907A (zh) 2018-05-29 2021-01-22 脸谱科技有限责任公司 表面肌电信号测量中降噪的屏蔽技术及相关系统和方法
WO2019241701A1 (en) 2018-06-14 2019-12-19 Ctrl-Labs Corporation User identification and authentication with neuromuscular signatures
US11045137B2 (en) 2018-07-19 2021-06-29 Facebook Technologies, Llc Methods and apparatus for improved signal robustness for a wearable neuromuscular recording device
WO2020036958A1 (en) 2018-08-13 2020-02-20 Ctrl-Labs Corporation Real-time spike detection and identification
EP3843617B1 (en) 2018-08-31 2023-10-04 Facebook Technologies, LLC. Camera-guided interpretation of neuromuscular signals
CN112771478A (zh) 2018-09-26 2021-05-07 脸谱科技有限责任公司 对环境中的物理对象的神经肌肉控制
US11364084B2 (en) * 2018-11-21 2022-06-21 Biosense Webster (Israel) Ltd. Contact force compensation in a robot manipulator
EP3886747A4 (en) * 2018-11-27 2022-10-05 Covidien LP DEVICE FOR HAPTIC FEEDBACK FOR SURGICAL INSTRUMENTS AND ROBOTIC SURGICAL SYSTEMS
CN109549774B (zh) * 2018-12-06 2021-09-03 哈尔滨工业大学 一种适于眼底显微手术的微创执行机构
CN109549775B (zh) * 2018-12-06 2021-09-03 哈尔滨工业大学 面向眼底视网膜显微手术的机器人操作臂
US10973579B2 (en) 2018-12-28 2021-04-13 Industrial Technology Research Institute Optical system
US10905383B2 (en) 2019-02-28 2021-02-02 Facebook Technologies, Llc Methods and apparatus for unsupervised one-shot machine learning for classification of human gestures and estimation of applied forces
CN114603551A (zh) * 2020-12-08 2022-06-10 山东新松工业软件研究院股份有限公司 一种控制方法及电子设备
FR3120777B1 (fr) * 2021-03-17 2023-04-21 Quantum Surgical Robot médical collaboratif pour sécuriser le guidage d’instruments
JP6947465B1 (ja) * 2021-03-23 2021-10-13 リバーフィールド株式会社 力覚通知装置および力覚通知方法
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof
US20220331053A1 (en) * 2021-04-14 2022-10-20 Cilag Gmbh International Intraoperative display for surgical systems

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6013628A (en) * 1994-02-28 2000-01-11 Regents Of The University Of Minnesota Method for treating conditions of the eye using polypeptides
US6810281B2 (en) 2000-12-21 2004-10-26 Endovia Medical, Inc. Medical mapping system
WO2001082812A1 (en) * 2000-04-27 2001-11-08 Medtronic, Inc. Vibration sensitive ablation apparatus and method
JP4655175B2 (ja) * 2000-12-19 2011-03-23 ソニー株式会社 マニピュレータシステム、マスタマニピュレータ、スレーブマニピュレータ及びそれらの制御方法、並びに記録媒体
AU2002233323A1 (en) * 2001-02-09 2002-08-28 Sensomotoric Instruments Gmbh Multidimensional eye tracking and position measurement system
US20040243147A1 (en) * 2001-07-03 2004-12-02 Lipow Kenneth I. Surgical robot and robotic controller
US7877243B2 (en) * 2001-07-16 2011-01-25 Immersion Corporation Pivotable computer interface
JP2003211377A (ja) * 2002-01-18 2003-07-29 Hitachi Ltd マニピュレーション動作支援装置及びその支援方法
US7831292B2 (en) * 2002-03-06 2010-11-09 Mako Surgical Corp. Guidance system and method for surgical procedures with improved feedback
JP2005185427A (ja) * 2003-12-25 2005-07-14 Takashima Sangyo Kk 硝子体カッター及び該硝子体カッターを備える硝子体手術装置、硝子体カッター製造方法
US20070005061A1 (en) * 2005-06-30 2007-01-04 Forcept, Inc. Transvaginal uterine artery occlusion
KR101296220B1 (ko) * 2005-12-30 2013-08-13 인튜어티브 서지컬 인코포레이티드 모듈식 힘센서
JP5044126B2 (ja) * 2006-02-23 2012-10-10 オリンパス株式会社 内視鏡観察装置および画像形成を行う内視鏡の作動方法
US20070239140A1 (en) * 2006-03-22 2007-10-11 Revascular Therapeutics Inc. Controller system for crossing vascular occlusions
US7981109B2 (en) * 2007-08-15 2011-07-19 Novartis Ag System and method for a user interface
US20090076476A1 (en) * 2007-08-15 2009-03-19 Hansen Medical, Inc. Systems and methods employing force sensing for mapping intra-body tissue
JP4319232B2 (ja) * 2007-09-12 2009-08-26 トヨタ自動車株式会社 パワーアシスト装置およびその制御方法
WO2009124287A1 (en) 2008-04-03 2009-10-08 The Trustees Of Columbia University In The City Of New York Systems and methods for inserting steerable arrays into anatomical structures
WO2009140688A2 (en) * 2008-05-16 2009-11-19 The Johns Hopkins University System and method for macro-micro distal dexterity enhancement in micro-surgery of the eye
US8709036B2 (en) * 2009-05-13 2014-04-29 University of Pittsburgh—of the Commonwealth System of Higher Education Tension transducing forceps

Also Published As

Publication number Publication date
KR101840312B1 (ko) 2018-03-20
KR20130136430A (ko) 2013-12-12
EP2600813A4 (en) 2017-11-01
WO2012018821A3 (en) 2012-05-10
EP2600813A2 (en) 2013-06-12
US20140052150A1 (en) 2014-02-20
JP5782515B2 (ja) 2015-09-24
WO2012018821A2 (en) 2012-02-09
CN103068348A (zh) 2013-04-24
JP2015180282A (ja) 2015-10-15
JP2013533063A (ja) 2013-08-22
EP2600813B1 (en) 2021-01-20

Similar Documents

Publication Publication Date Title
CN103068348B (zh) 使用协作机器人控制和音频反馈呈现力传感器信息的方法
CN103037798B (zh) 用于纤弱组织的手术操纵的微力引导协调控制
Üneri et al. New steady-hand eye robot with micro-force sensing for vitreoretinal surgery
Balicki et al. Micro-force sensing in robot assisted membrane peeling for vitreoretinal surgery
Wagner et al. The role of force feedback in surgery: analysis of blunt dissection
Tavakoli et al. Haptic interaction in robot‐assisted endoscopic surgery: a sensorized end‐effector
US20170225337A1 (en) Robotic hand controller
Cutler et al. Auditory force feedback substitution improves surgical precision during simulated ophthalmic surgery
CN109640863B (zh) 基于所感测的参数进行外科工具定位
US8981914B1 (en) Portable haptic force magnifier
He et al. Toward safe retinal microsurgery: Development and evaluation of an rnn-based active interventional control framework
US20210298855A1 (en) Master control device with finger grip sensing and methods therefor
Griffin et al. The role of haptic feedback in robotic-assisted retinal microsurgery systems: a systematic review
Low et al. A review of master–slave robotic systems for surgery
Morel et al. Comanipulation
US20210041314A1 (en) Use of pressure sensitive material for force feedback in a surgical instrument
Beretta et al. Force feedback enhancement for soft tissue interaction tasks in cooperative robotic surgery
Singh et al. Recent challenges for haptic interface and control for robotic assisted surgical training system: A review
Beretta et al. Nonlinear force feedback enhancement for cooperative robotic neurosurgery enforces virtual boundaries on cortex surface
Gupta et al. Toward sclera-force-based robotic assistance for safe micromanipulation in vitreoretinal surgery
Nambi et al. Effect of haptic-interface virtual kinematics on the performance and preference of novice users in telemanipulated retinal surgery
Payne Ungrounded haptic-feedback for hand-held surgical robots.
Teleoperation Uncontrolled Manifold Analysis of Arm Joint Angle Variability During Robotic Teleoperation and Freehand Movement of Surgeons and Novices
Shapiro et al. Haptic control System for a Robotic Medical System With application to surface acquisition for Joint Arthroplasty

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant