CN110799144A - 用于远程控制系统中菜单项的选择的触觉反馈的系统和方法 - Google Patents

用于远程控制系统中菜单项的选择的触觉反馈的系统和方法 Download PDF

Info

Publication number
CN110799144A
CN110799144A CN201880042878.8A CN201880042878A CN110799144A CN 110799144 A CN110799144 A CN 110799144A CN 201880042878 A CN201880042878 A CN 201880042878A CN 110799144 A CN110799144 A CN 110799144A
Authority
CN
China
Prior art keywords
control device
haptic
freedom
feedback method
haptic feedback
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880042878.8A
Other languages
English (en)
Other versions
CN110799144B (zh
Inventor
N·迪奥拉伊蒂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intuitive Surgical Operations Inc
Original Assignee
Intuitive Surgical Operations Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intuitive Surgical Operations Inc filed Critical Intuitive Surgical Operations Inc
Priority to CN202310560733.XA priority Critical patent/CN116585029A/zh
Publication of CN110799144A publication Critical patent/CN110799144A/zh
Application granted granted Critical
Publication of CN110799144B publication Critical patent/CN110799144B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/35—Surgical robots for telesurgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/409—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by using manual data input [MDI] or by using control panel, e.g. controlling functions with the panel; characterised by control panel details or by setting parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

触觉反馈方法包括提供远程操作控制系统，该远程操作控制系统包括用于响应于控制装置在第一自由度中的移动而操作远程操作器械的第一操作模式和用于控制图形用户界面的第二操作模式。方法还包括进入远程操作控制系统的第二操作模式。当处于第二操作模式时，方法包括跟踪处于不同于第一自由度的第二自由度的控制装置的移动。当处于第二操作模式并且响应于控制装置在第二自由度中的移动时，方法包括通过远程操作控制系统将第一触觉力施加至控制装置。

Description

用于远程控制系统中菜单项的选择的触觉反馈的系统和方法
相关申请的交叉引用
本申请要求2017年7月6日提交的美国临时申请62/529,038的权益，其全部内容以引用方式并入本文。
技术领域
本公开涉及用于控制远程操作控制系统的操作的系统和方法，并且更具体地涉及用于在使用远程操作控制系统的控制装置访问图形用户界面菜单时向用户提供触觉反馈的系统和方法。
背景技术
微创医疗技术旨在减少在有创医疗程序期间受损的组织的数量，从而减少患者的恢复时间、不适和有害的副作用。这样的微创技术可通过患者解剖结构中的自然孔口或通过一个或多个外科切口来执行。通过这些自然的孔口或切口，临床医生可插入医疗工具以到达目标组织位置。微创医疗工具包括器械诸如治疗器械、诊断器械和外科器械。微创医疗工具还可包括成像器械诸如内窥镜器械。一些微创医疗器械可为遥控的或计算机辅助的。各种控制装置可用于控制远程操作或计算机辅助的医疗工具。为了在不向用户的控制台添加其他结构控件的情况下扩展远程操作系统的功能，可使用图形用户界面。当使用控制装置访问图形用户界面时，系统和方法向用户提供触觉反馈，该控制装置也用于控制患者身体内的器械。
发明内容
本发明的实施例由随附的权利要求书概括。
在一个实施例中，触觉反馈方法包括提供远程操作控制系统，其包括用于响应于控制装置在第一自由度中的移动而操作远程操作器械的第一操作模式和用于控制图形用户界面的第二操作模式。方法还包括进入(engaging)远程操作控制系统的第二操作模式。当处于第二操作模式时，方法包括追踪处于不同于第一自由度的第二自由度的控制装置的移动。当处于第二操作模式中并且响应于控制装置在第二自由度中的移动时，方法包括通过远程操作控制系统将第一触觉力施加至控制装置。
在另一实施例中，触觉反馈方法包括进入远程操作控制系统的界面模式。响应于远程操作控制系统的控制装置的移动，方法还包括从标称位置将第一触觉力施加至控制装置，以将控制装置推(促使，urge)向标称位置。方法还包括确定控制装置已经从标称位置以第一自由度移动第一位移距离到进入位置(engaged position)。方法还包括将第二触觉力施加至控制装置以提供指示进入操作状态的触觉感觉。方法还包括在处于进入操作状态时将第三触觉力施加至控制装置，以促使控制装置从进入位置向标称位置返回。
附图说明
当结合附图阅读时，通过以下详细描述可最好地理解本公开的各方面。要强调的是，根据行业中的标准实践，各种特征未按比例绘制。实际上，为了清楚起见，各种特征的尺寸可任意增加或减小。另外，本公开可在各个示例中重复参考数字和/或字母。此重复是出于简单和清楚的目的，并且其本身并不指示所讨论的各种实施例和/或配置之间的关系。
图1A是根据本公开的实施例的远程操作医疗系统的示意图。
图1B是根据许多实施例的用于远程操作医疗系统的外科医生的控制台的透视图。
图1C是根据许多实施例的远程操作医疗系统电子推车的透视图。
图1D是根据本文描述的原理的一个示例的患者侧推车的透视图。
图2说明包括选择器图标的图形用户界面。
图3A说明处于标称位置的图2的选择器图标。
图3B说明旋转到进入位置的图2的选择器图标。
图3C说明从进入位置返回到标称位置的图2的选择器图标。
图4说明根据可选实施例的选择器图标。
图5是说明当使用图形用户界面菜单时通过远程操作系统的控制装置提供触觉反馈的方法的流程图。
图6是根据本公开的一个实施例的用于提供触觉反馈的扭矩曲线。
图7是说明当使用图形用户界面菜单时通过远程操作系统的控制装置提供触觉反馈的另一个方法的流程图。
图8是根据本公开的另一实施例的用于提供触觉反馈的扭矩曲线。
图9是说明当使用图形用户界面菜单时通过远程操作系统的控制装置提供触觉反馈的另一个方法的流程图。
具体实施方式
为了促进对本公开的原理的理解，现在将参考附图中示出的实施例，并且将使用特定语言来描述它们。然而，将理解的是，不意图限制本公开的范围。在本发明各方面的以下详细描述中，阐述许多具体细节以便提供对所公开的实施例的透彻理解。然而，对于本领域技术人员将显而易见的是，可在没有这些具体细节的情况下实践本公开的实施例。在其他情况下，未详细描述公知的方法、过程、组件和电路，以免不必要地使本发明的实施例的各方面不清楚。
如本公开所属领域的技术人员通常会想到的，对所描述的装置、器械、方法的任何改变和进一步修改以及对本申请原理的任何进一步应用都是可预期的。特别地，完全预期相对于一个实施例描述的特征、组件和/或步骤可与相对于本公开的其他实施例描述的特征、组件和/或步骤组合。另外，本文提供的尺寸用于特定示例，并且可预期的是，可利用不同的大小、尺寸和/或比率来实现本公开的概念。为了避免不必要的描述性重复，可根据其他说明性实施例的适用来使用或省略根据一个说明性实施例描述的一个或多个组件或动作。为了简洁起见，将不单独描述这些组合的许多迭代。为了简单起见，在某些情况下，在所有附图中使用相同的附图标记指代相同或相似的部分。
下面的实施例将根据各种器械和器械的部分在三维空间中的状态来描述各种器械和器械的部分。如本文所使用的，术语“位置”是指物体或物体的一部分在三维空间(例如，沿笛卡尔X、Y、Z坐标的三个平移自由度)中的定位。如本文所使用的，术语“取向”是指物体或物体的一部分的旋转放置(三个旋转自由度，例如、滚动、俯仰和偏转)。
参照附图的图1A，用于例如包括诊断、治疗或外科程序的医疗程序中的远程操作医疗系统通常由附图标记10表示。如将描述的，此公开的远程操作医疗系统在外科医生的远程操作控制下。在可选实施例中，远程操作医疗系统可在被编程为执行程序或子程序的计算机的部分控制下。在其他可选实施例中，在被编程为执行程序或子程序的计算机的完全控制下的全自动医疗系统可用于执行程序或子程序。如图1A所示，远程操作医疗系统10通常包括安装至手术台O或附近的远程操作组件12，患者P位于手术台O上。远程操作组件12可被称为患者侧推车。医疗器械系统14和内窥镜成像系统15可操作地联接至远程操作组件12。操作员输入系统16允许外科医生或其他类型的临床医生S查看外科部位的图像或表示外科部位的图像并控制医疗器械系统14和/或内窥镜成像系统15的操作。
操作员输入系统16可位于外科医生的控制台上，该控制台通常与手术台O位于同一房间。但是，应当理解，外科医生S可位于不同的房间或与患者P完全不同的建筑物中。操作员输入系统16通常包括用于控制医疗器械系统14的一个或多个控制装置。一个或多个控制装置可包括任意数量的各种输入装置(诸如手柄、操纵杆、轨迹球、数据手套、扳机枪、手动控制器、语音识别装置、触摸屏、肢体运动或存在传感器等)中的一个或多个。在一些实施例中，将向一个或多个控制装置提供与远程操作组件的医疗器械相同的自由度，以为外科医生提供远程呈现：一个或多个控制装置与器械成一体的感知作用，使得外科医生具有直接控制器械的强烈意识，就像在外科部位处一样。在其他实施例中，一个或多个控制装置可具有比相关联医疗器械更多或更少的自由度，并且仍然为外科医生提供远程呈现。在一些实施例中，一个或多个控制装置是手动输入装置，其以六个自由度移动并且还可包括用于致动器械的可致动手柄(例如，用于闭合抓紧钳口，向电极施加电势，递送治疗药物等)。
当外科医生S通过控制台16察看外科部位时，远程操作组件12支撑并操纵医疗器械系统14。可通过内窥镜成像系统15诸如立体内窥镜获得外科部位的图像，内窥镜成像系统15可由远程操作组件12操纵以定位内窥镜15。电子推车18可用于处理外科部位的图像，以便随后通过外科医生的控制台16显示给外科医生S。一次使用的医疗器械系统14的数量通常取决于诊断或外科程序以及手术室内的空间限制等因素。远程操作组件12可包括一个或多个非伺服控制的连杆的运动学结构(例如，可手动定位并锁定在适当位置的一个或多个连杆，通常称为安装(set-up)结构)和远程操作操纵器。远程操作组件12包括多个驱动医疗器械系统14上的输入件的电动机。这些电动机响应于来自控制系统(例如，控制系统20)的命令而移动。电动机包括驱动系统，该驱动系统在联接到医疗器械系统14时可使医疗器械前进到自然地或外科方式产生的解剖学孔口中。其他机动化驱动系统可在包括三个线性运动角度(例如，沿笛卡尔参考系的X、Y、Z轴的线性运动)的多个自由度上和在三个旋转运动角度(例如，绕X、Y、Z笛卡尔坐标轴旋转)上移动医疗器械的远端。另外，电动机可用于致动器械的可铰接的末端执行器，以将组织抓紧在活检装置等的钳口中。可控制电动机以产生命令扭矩(或在线性电动机下的力)。
远程操作医疗系统10还包括控制系统20。控制系统20包括至少一个存储器和至少一个处理器(未显示)，和通常多个处理器，用于实现医疗器械系统14、操作员输入系统16和电子系统18之间的控制。控制系统20还包括编程的指令(例如，存储指令的计算机可读介质)，以实现根据本文公开的方面描述的一些或全部方法。虽然在图1A的简化示意图中将控制系统20示为单个方框，但是系统可包括两个或更多个数据处理电路，其中处理的一部分任选地在远程操作组件12上或在其附近执行，处理的另一部分在操作员输入系统16处执行等。可采用各种各样的集中式或分布式数据处理架构中的任一种。类似地，经编程的指令可被实现为多个单独的程序或子例程，或者它们可被集成到本文所述的远程操作系统的许多其他方面。在一个实施例中，控制系统20支持无线通信协议诸如蓝牙、IrDA、HomeRF、IEEE802.11、DECT和无线遥测。
在一些实施例中，控制系统20可包括从医疗器械系统14接收力和/或扭矩反馈的一个或多个伺服控制器。响应于反馈，伺服控制器将信号发送到操作员输入系统16。(一个或多个)伺服控制器还可发送信号以指示远程操作组件12移动经由体内的开口延伸到患者体内的内部外科部位的(一个或多个)医疗器械系统14和/或内窥镜成像系统15。可使用任何合适的常规或专用伺服控制器。伺服控制器可与远程操作组件12分离或集成。在一些实施例中，伺服控制器和远程操作组件被提供为定位在患者身体附近的远程操作臂推车的一部分。
远程操作医疗系统10还可包括任选的操作和支持系统(未示出)，诸如照明系统、转向控制系统、冲洗系统和/或抽吸系统。在可选实施例中，远程操作系统可包括多于一个远程操作组件和/或多于一个操作员输入系统。操纵器组件的确切数量将取决于外科程序和手术室内的空间限制等因素。可将操作员输入系统并置，也可将它们放置在单独的位置。多个操作员输入系统允许多于一个操作员以各种组合的方式控制一个或多个操纵器组件。
图1B是外科医生控制台16的透视图。外科医生控制台16包括左眼显示器32和右眼显示器34，用于向外科医生S呈现能够进行深度感知的外科部位的协调立体图。控制台16还包括一个或多个输入控制装置36、37，外科医生使用输入控制装置来执行系统10的功能。输入控制装置36是手动输入控制装置，其使远程操作组件12操纵一个或多个器械或内窥镜成像系统。输入控制装置36可提供与其相关联的器械14相同的自由度，以为外科医生S提供远程呈现，或者输入控制装置36与器械14成一体的感知，使得外科医生具有直接控制器械14的强烈意识。为此，可采用位置、力和触觉反馈传感器(未示出)来通过输入控制装置36将位置、力和触觉感觉从器械14传递回外科医生的手。输入控制装置37允许系统10在操作模式之间切换。装置37可为由外科医生的脚操作的踏板，或者可为用作离合器装置以脱离第一操作模式并进入第二操作控制模式的其他类型的手或脚切换器。远程操作医疗系统10的操作模式可包括例如外科器械控制模式、相机控制模式、菜单控制模式等。外科器械控制模式可允许外科医生如上所述控制器械14的操纵。相机控制模式可允许外科医生使用输入控制装置36以使远程操作组件12操纵内窥镜成像系统15。菜单控制模式可允许外科医生使用输入控制装置36来导航经由左眼显示器32和右眼显示器34将其显示给外科医生的图形用户界面菜单。例如，可按下控制装置37以在外科器械控制模式和菜单模式之间转换。
图1C是电子推车18的透视图。电子推车18可与内窥镜15联接，并且可包括处理器以处理捕获的图像以用于随后显示到诸如在外科医生的控制台上或在位于本地和/或远程的另一合适显示器上的外科医生。例如，在使用立体内窥镜的情况下，电子推车18可处理捕获的图像以向外科医生呈现外科部位的协调立体图像。这样的协调可包括相对图像之间的对准，并且可包括调整立体内窥镜的立体工作距离。作为另一个示例，图像处理可包括使用先前确定的相机校准参数来补偿图像捕获装置的成像误差，诸如光学像差。电子推车18还可包括显示监视器和控制系统20的组件。
图1D是可被称为患者侧推车的远程操作组件12的一个实施例的透视图。所示的患者侧推车12提供对三个外科工具26(例如，器械系统14)和成像装置28(例如，内窥镜成像系统15)的操纵，诸如用于捕获程序部位的图像的立体内窥镜。成像装置可通过电缆56将信号传输到电子推车18。操纵是由具有多个接头的远程操作机构提供。成像装置28和外科工具26可通过患者中的切口定位和操纵，使得将运动学远程中心保持在切口处以最小化切口的尺寸。外科部位的图像可包括当外科工具26的远端被定位在成像装置28的视野内时的图像。
患者侧推车22包括可驱动基座58。可驱动基座58连接到允许调节臂54的高度的伸缩柱57。臂54可包括旋转并上下移动的旋转接头55。每个臂54可连接到定向平台53。定向平台53可能够旋转360度。患者侧推车22还可包括在水平方向上移动定向平台53的可伸缩水平悬臂52。
在本示例中，每个臂54连接至操纵器臂51。操纵器臂51可直接连接至医疗器械26。操纵器臂51可远程操作。在一些示例中，连接到定向平台的臂54是不可远程操作的。而是，这些臂54在外科医生18开始用远程操作部件进行操作之前按需要定位。
可以包括刚性或柔性内窥镜的各种配置来提供内窥镜成像系统(例如，系统15、28)。刚性内窥镜包括容纳中继透镜系统的刚性管，该中继透镜系统用于将图像从内窥镜的远端传输到近端。柔性内窥镜使用一根或多根柔性光纤传输图像。内窥镜可设置有不同的视角，包括用于向前轴向查看的0°视角或用于向前倾斜查看的0°-90°之间的视角。基于数字图像的内窥镜具有“尖端芯片”设计，其中远端数字传感器(诸如一个或多个电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)器件)存储图像数据。内窥镜成像系统可向观看者提供二维或三维图像。二维图像可提供有限的深度感知。三维立体内窥镜图像可为观看者提供更准确的深度感知。立体内窥镜器械采用立体相机来捕获患者解剖结构的立体图像。
为了在不向控制台16添加附加结构附件诸如踏板、物理开关、转盘和按钮的情况下扩展远程操作医疗系统10的功能，图形用户界面菜单可用于提供用于操作系统10的附加选项和动作。当使用图形用户界面菜单提供系统10的附加功能时，在控制台16处向操作员提供触觉反馈是有帮助的，从而促进与图形用户界面菜单元素的交互并提供已经执行命令的确认。其他反馈机制(诸如听觉和视觉反馈线索)也可提供已经执行命令的确认。使用图形界面菜单时使用触觉反馈可为用户提供沉浸感。
图2说明通过外科医生控制台16的左眼显示器32和右眼显示器34可见的显示器100。在此实施例中，显示器包括外科环境102的视图，该外科环境102包括医疗工具104、106、108。在外科器械控制或远程操作系统的“跟随”操作模式中，控制装置36可经操纵而在有限或无限自由度中控制工具104、106、108的移动。例如，在外科器械控制模式中，控制装置可操作为仅在笛卡尔坐标空间中以三个平移自由度移动器械。当调用远程操作系统的图形用户界面模式时(例如，通过踩下离合器踏板37)，控制装置36与工具104、106、108解除联接，并且可用来从图形用户界面菜单中选择项目。图2说明包括选择器图标110和多个菜单项112、114、116的图形用户界面菜单。如图2所示，图形用户界面菜单113可叠加在外科环境102的图像上，或可选地，可仅显示图形用户界面菜单，而没有外科环境。在工具104、106、108与控制装置36解除联接的图形用户界面模式下，控制装置中的一个或多个可经联接以使选择器图标110在标称位置或中立位置(如图2所示)和菜单项112、114、116之间移动。在一个实施例中，菜单项112可与内窥镜相机控制模式相关联，在该模式下可重新定位相机。
图3A说明图2的选择器图标110，其处于标称位置并且具有顺时针移动方向，该顺时针移动方向对应于控制装置36围绕控制装置的旋转轴的顺时针移动。当进入图形用户界面模式时，控制装置36的标称位置可位于控制装置被定位和定向的空间中。因此，每次进入界面模式时，控制装置36的标称位置在空间中的位置可不同。
选择器图标110的移动可联接到右手或左手控制装置。不同的图形用户界面菜单可与每只手相关联，使得右手从第一菜单中进行选择，而左手从第二菜单中进行选择。可选地，菜单可被配置为使得通过逆时针旋转来选择菜单项。当系统处于其他操作模式诸如外科器械控制模式时，用于移动选择器图标110的控制装置36的旋转移动可为不用于操作工具的自由度。因此，用户认识到绕控制装置的轴线的滚动自由度用于菜单选择而不是工具操作。在其他实施例中，用于控制选择器图标的相同自由度可用于在外科器械控制模式下控制工具的移动。在其他实施例中，控制装置可沿顺时针方向和逆时针方向移动以选择菜单项。例如，顺时针旋转可将选择器图标指向“激活相机控制动作”的菜单项，而逆时针旋转可将选择器图标指向“激活迁移”动作的菜单项。在其他实施例中，控制装置可绕其他旋转轴线移动或可沿轴线平移以产生选择运动。换句话说，任何笛卡尔平移或旋转运动都可产生选择运动。
现在参考图5，流程图150说明当使用图形用户界面菜单(例如菜单113)时通过远程操作系统(例如系统10)的控制装置提供触觉反馈的方法。在启动流程图150中所示的过程之前，系统10可处于外科器械控制模式或系统的另一操作模式。在过程152，控制系统20确定输入控制装置37是否已被致动以启动系统10的图形用户界面模式。例如，可通过以下来启用此模式：踩下外科医生控制台的离合器踏板37以从外科器械控制模式解耦(包括将外科器械与控制装置36分离)，并进入图形用户界面控制模式，包括将控制装置中的至少一个联接到图形用户界面菜单选择器图标。在过程154，在带有或不带有外科环境的图像情况下显示菜单113。例如，如果菜单113与在外科环境中可见的器械相关联，则菜单可出现在所述器械的远侧末端附近。
在过程156，系统10从控制装置36接收并跟踪控制信号，该控制信号指示控制装置正在绕控制装置的杆的轴线沿顺时针方向移动。因此，选择器图标110如图3B所示从标称位置N(见图3A)向菜单项A逆时针移动。
在过程158，当器械控制装置移动与对应于菜单项A114的选择位置相关联的阈值位移距离时，将触觉力诸如触觉扭矩提供到控制装置。触觉力可叠加在控制器产生的正常扭矩上。触觉扭矩向用户提供指示控制器已经选择菜单项A的触觉止动(detent)或感觉。正常扭矩可为这样的扭矩，其例如经产生以向用户反映远程操作组件相对于控制装置的位置/方向具有的跟踪误差。
在过程160，响应于用户输入(例如，按下控制装置上的物理按钮)，执行与菜单项A相关联的命令。例如，菜单项A可启动相机控制。可选地，并且特别是，如果存在单个菜单项，则当控制装置到达所选位置时可执行命令。任选地，选择器图标110和控制装置36可保持在所选位置，等待控制装置的进一步移动以将选择器图标顺时针移动到菜单项B116或逆时针移动到标称位置。
在过程162，任选地，在过程160执行菜单项A的命令之后，可提供另一种触觉扭矩以将控制装置36和选择器图标110返回到标称位置(参见图3C)。通过将选择器图标和控制装置36重新居中到标称位置的这种技术，每次选择器图标和控制装置36从选择位置返回到标称位置时，计数器模块可用于计数。在此实施例中，每当选择器图标和控制装置36从选择位置返回到标称位置时，计数器模块的计数值就增加。计数器模块的每个计数增量可与菜单项相关联，从而允许用户通过控制装置36的反复往复移动在菜单中的项之间切换。例如，单击一下(例如，对进入到选择位置的移动和进入标称位置的返回的计数)可对应于第一菜单项，并且两次单击可对应于第二菜单项。可将递增的菜单项显示给用户。使用计数器模块要求用户仅将控制装置旋转有限的距离(例如到菜单项A)以通过几个菜单项进行切换，而不是要求用户将控制装置旋转远离标称位置。这可防止用户将手扭曲到大角度位置，并允许用户的手始终靠近标称位置，在该位置他可快速更改模式并恢复对与控制装置36联接的外科器械的控制。
图4说明可选的图形用户界面菜单120，其中选择器图标122沿平移方向移动。可使用其中控制装置和选择器图标以其他单个自由度移动的其他菜单布置。
在可选实施例中，控制装置36的顺时针运动或控制装置的逆时针运动可引起选择器图标110沿顺时针方向移动，或者可引起选择器图标122在单个平移方向上的移动。换句话说，控制装置36在左右滚动方向上的运动将引起选择器图标的相同单个前进。对于每个单个动作，用户可感受到触觉止动特征或“点击”声。此实施例可适合于使移动动作易于在控制装置36的多种姿势下进行。例如，当控制装置36指向右侧时，用户可更容易扭转控制装置的侧倾轴线到左侧，而不是右侧，以使选择器图标前进。通过使移动动作对称(即，使得任一控制装置都可使选择器前进)，用户具有用于控制选择器的更多选择。此特征可同时在左右控制装置上激活。软件可检测哪个控制装置超过了δ1阈值，以确定哪个控制装置正在激活触觉止动特征。
图6说明根据一个实施例的触觉止动扭矩曲线TS，该触觉止动扭矩曲线TS叠加在用于向控制装置36提供触觉反馈的控制器扭矩曲线TC上，其中所施加的电动机扭矩模拟旋转的弹簧加载按钮。在此实施例中，触觉止动扭矩曲线TS产生弹簧加载按钮的触觉感觉。图7是描述图6的扭矩曲线的流程图180。将扭矩曲线提供到控制装置36中的一个或多个驱动致动器，以提供由外科医生S的手感受到的力反馈。控制器扭矩曲线TC提供定心或力，其将控制装置推向标称值位置。随着位移δ(例如，控制装置36的旋转角度或旋转距离)增加而施加更大的扭矩，并且随着位移δ增加，控制装置上的外科医生的手感受到控制装置的阻力增加。标称位置位于位移δ等于零的位置。叠加在控制器扭矩曲线TC上的触觉止动扭矩曲线TS具有多个区域。
参考图6和图7，在过程182中，当控制装置在零与δ1之间的位移区域内具有位移(相对于标称值)时，扭矩曲线T1遵循控制器扭矩曲线TC，不提供超过扭矩曲线TC的附加阻力扭矩。在过程184，当控制装置在δ1和δ2之间的位移区域中具有位移时，扭矩曲线T2具有远离扭矩曲线TC的陡峭负斜率。即，外科医生承受的阻力突然减小。在过程186，当控制装置在δ2和δ3之间的位移区域中有位移时，扭矩曲线T3具有扭矩符号反转，该扭矩符号反转提供力，该力促使控制装置远离标称位置并且朝向位移距离δ2。扭矩曲线T3提供在位移距离δ3处发生的朝着按钮“点击”声或进入点的强烈推动的触觉感觉。在过程188，一旦控制装置已经达到位移距离δ3，则扭矩曲线T4提供比在相同位移距离处的扭矩曲线TC小的定心(朝向标称)力。如图6所示，扭矩曲线TC和TS具有代表两个“按钮”扭矩曲线的对称曲线。对称扭矩曲线可提供相同的触觉止动感觉，但是当控制装置的旋转运动沿相反的方向时可发生。在可选实施例中，所计算的扭矩曲线可在与不同菜单项的位置相关联的不同位移处改变，并且所提供的扭矩的大小可取决于包括用户偏好、与止动幅度相关联的用户抓握动作或连续动作之间的预期时间的多种因素而增加或减小。
图8说明叠加在控制器扭矩曲线TC上的触觉止动扭矩曲线TE，其用于在达到进入或“点击”位移距离δ3之后向控制装置36提供触觉反馈。在此实施例中，触觉止动器扭矩曲线TE创建进入或“点击”的弹簧加载按钮的触觉感觉和重新定心的止动的触觉感觉。图9是描述图8的扭矩曲线的流程图190。一旦控制装置36已经达到位移距离δ3，则扭矩曲线T4提供比在相同位移距离处的扭矩曲线TC小的定心(朝向标称)力。遵循扭矩曲线T4，直到控制装置在返回到标称位置时达到位移距离δ5。在过程192中，当控制装置达到位移距离δ5时，扭矩曲线T5将增加的扭矩提供至控制器扭矩曲线TC的水平。当扭矩曲线T5施加至控制装置上时，使用者感受到阻力比T4突然增加。阻力的突然增加可引起用户本能地放松或释放其抓握，从而使控制装置在过程194中重新居中到标称位置，在此位置δ等于零。
在一个可选实施例中，叠加在正常控制装置扭矩上的扭矩模拟平移开关，该平移开关在沿着空间的线的位移距离处提供ON和OFF开关位置。在另一可选实施例中，叠加在正常控制装置扭矩上的扭矩模拟旋转开关，该旋转开关在围绕空间轴线的角位移距离处提供ON和OFF开关位置。此实施例可与以上详细描述的按钮实施例相似，不同之处在于不提供使控制装置朝向标称位置移动的重新定心力。而是，控制装置保持在选择的位置(即，“点击状态”)，直到执行动作为止，此时停用或复位止动器。在另一可选实施例中，叠加在正常控制装置扭矩上的扭矩模拟沿着空间中的一条线移动的弹簧加载的平移按钮。
本发明实施例中的一个或多个元件可用软件实现以在计算机系统诸如控制处理系统的处理器上执行。当以软件实现时，本发明的实施例的元件本质上是用于执行必要任务的代码段。程序或代码段可存储在处理器可读存储介质或装置中，程序或代码段可通过在传输介质或通信链路上以载波形式体现的计算机数据信号来下载。处理器可读存储装置可包括可存储信息的任何介质，包括光学介质、半导体介质和磁性介质。处理器可读存储装置示例包括电子电路；半导体装置，半导体存储装置，只读存储器(ROM)，闪存，可擦可编程只读存储器(EPROM)；软盘，CD-ROM，光盘，硬盘或其他存储装置。可经由计算机网络诸如Internet、Intranet等下载代码段。
需注意，所呈现的过程和显示可并非固有地与任何特定计算机或其他装置有关。各种通用系统可与根据本文的教导的程序一起使用，或者可证明构造更专用装置来执行所描述的操作是方便的。各种这些系统所需的结构将作为权利要求中的要素出现。另外，没有参考任何特定的编程语言来描述本发明的实施例。应当理解，可使用多种编程语言来实现如本文所述的本发明的教导。
尽管已经在附图中描述和示出本发明的某些示例性实施例，但是应当理解，这样的实施例仅是示例性的，而不是限制本发明，并且本发明的实施例不限于所示和描述的具体构造和布置，因为本领域普通技术人员可进行各种其他修改。

Claims (20)

1.一种触觉反馈方法，包括：
提供远程操作控制系统，所述远程操作控制系统包括：用于响应于控制装置在第一自由度中的移动来操作远程操作器械的第一操作模式；以及用于控制图形用户界面的第二操作模式；
进入所述远程操作控制系统的所述第二操作模式；
当处于所述第二操作模式时，跟踪在不同于所述第一自由度的第二自由度中的所述控制装置的移动；和
当处于所述第二操作模式时并且响应于所述控制装置在所述第二自由度中的所述移动，通过远程操作控制系统将第一触觉力施加至所述控制装置。
2.根据权利要求1所述的触觉反馈方法，还包括：
确定所述控制装置已经在所述第二自由度中从标称位置移动第一位移距离到进入位置，和
将第二触觉力施加至所述控制装置以提供指示所述第二操作模式的进入状态的触觉感觉。
3.根据权利要求2所述的触觉反馈方法，其中，所述第二触觉力提供指示所述进入状态的初始阶段的触觉感觉，所述方法还包括：
将与所述第二触觉力相反的第三触觉力施加至所述控制装置以将所述控制装置推至所述进入位置，所述第三触觉力提供指示所述第二操作模式的所述进入状态的整个阶段的触觉感觉。
4.根据权利要求2所述的触觉反馈方法，还包括：
将第三触觉力施加至所述控制装置以将所述控制装置推向所述标称位置。
5.根据权利要求4所述的触觉反馈方法，还包括：
当所述控制装置返回到所述标称位置时，递增计数器值。
6.根据权利要求4所述的触觉反馈方法，还包括：
确定所述控制装置与所述标称位置相距第三位移距离，和
将大于所述第三触觉力的第四触觉力施加至所述控制装置以将所述控制装置推向所述标称位置。
7.根据权利要求4所述的触觉反馈方法，其中，所述第三触觉力小于所述第一触觉力。
8.根据权利要求1所述的触觉反馈方法，其中，所述第二自由度是绕所述控制装置的旋转轴线的旋转自由度。
9.根据权利要求8所述的触觉反馈方法，其中，所述第一自由度是线性自由度。
10.根据权利要求2所述的触觉反馈方法，其中，所述图形用户界面包括选择器图标、标称标记和选择标记，并且其中，当所述控制装置处于所述标称位置时，所述选择器图标标识所述标称标记，并且当所述控制装置处于所述进入位置时所述选择器图标标识所述选择标记。
11.根据权利要求1所述的触觉反馈方法，其中，所述远程操作器械是内窥镜相机。
12.根据权利要求1所述的触觉反馈方法，其中，所述远程操作器械包括末端执行器。
13.一种触觉反馈方法，包括：
进入远程操作控制系统的接口模式；
响应于所述远程操作控制系统的控制装置从标称位置的移动，将第一触觉力施加至所述控制装置，从而将所述控制装置推向所述标称位置；
确定所述控制装置已经在第一自由度中从标称位置移动第一位移距离到进入位置；和
将第二触觉力施加至所述控制装置以提供指示进入操作状态的触觉感觉；和
在处于所述进入操作状态时，将第三触觉力施加至所述控制装置以促使所述控制装置从所述进入位置向所述标称位置返回。
14.根据权利要求13所述的触觉反馈方法，其中，所述第二触觉力提供指示所述进入操作状态的初始阶段的触觉感觉，所述方法还包括：
将与所述第二触觉力相反的第四触觉力施加至所述控制装置以将所述控制装置推至所述进入位置，所述第四触觉力提供指示所述进入操作状态的整个阶段的触觉感觉。
15.根据权利要求13所述的触觉反馈方法，还包括：
当所述控制装置返回到所述标称位置时，递增计数器值。
16.根据权利要求13所述的触觉反馈方法，还包括：
确定所述控制装置与所述标称位置相距第三位移距离，和
将大于所述第三触觉力的第四触觉力施加至所述控制装置以将所述控制装置推向所述标称位置。
17.根据权利要求13所述的触觉反馈方法，其中，所述控制装置在所述第一自由度中的移动处于围绕所述控制装置的旋转轴线的旋转自由度中。
18.根据权利要求13所述的触觉反馈方法，还包括：
显示包括选择器图标、标称标记和选择标记的图形用户界面，并且其中，当所述控制装置处于所述标称位置时，所述选择器图标标识所述标称标记，而当所述控制装置处于所述进入位置时，所述选择器图标标识所述选择标记。
19.根据权利要求13所述的触觉反馈方法，其中，所述远程操作控制系统包括器械控制模式，所述器械控制模式用于响应于所述控制装置在不同于所述第一自由度的第二自由度中的移动来操作远程操作器械。
20.根据权利要求13所述的触觉反馈方法，其中，所述远程操作控制系统包括器械控制模式，所述器械控制模式用于响应于所述控制装置在多个自由度中的移动来操作远程操作器械，其中，所述多个自由度不包括所述第一自由度。
CN201880042878.8A 2017-07-06 2018-06-29 用于远程控制系统中菜单项的选择的触觉反馈的系统和方法 Active CN110799144B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310560733.XA CN116585029A (zh) 2017-07-06 2018-06-29 用于远程控制系统中菜单项的选择的触觉反馈的系统和方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762529038P 2017-07-06 2017-07-06
US62/529,038 2017-07-06
PCT/US2018/040475 WO2019010097A1 (en) 2017-07-06 2018-06-29 HAPTIC FEEDBACK SYSTEMS AND METHODS FOR SELECTING MENU ELEMENTS IN A TELEFUNCTIONAL SYSTEM

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310560733.XA Division CN116585029A (zh) 2017-07-06 2018-06-29 用于远程控制系统中菜单项的选择的触觉反馈的系统和方法

Publications (2)

Publication Number Publication Date
CN110799144A true CN110799144A (zh) 2020-02-14
CN110799144B CN110799144B (zh) 2023-06-06

Family

ID=64951212

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202310560733.XA Pending CN116585029A (zh) 2017-07-06 2018-06-29 用于远程控制系统中菜单项的选择的触觉反馈的系统和方法
CN201880042878.8A Active CN110799144B (zh) 2017-07-06 2018-06-29 用于远程控制系统中菜单项的选择的触觉反馈的系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202310560733.XA Pending CN116585029A (zh) 2017-07-06 2018-06-29 用于远程控制系统中菜单项的选择的触觉反馈的系统和方法

Country Status (4)

Country Link
US (2) US11376088B2 (zh)
EP (1) EP3648698A4 (zh)
CN (2) CN116585029A (zh)
WO (1) WO2019010097A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11478318B2 (en) * 2018-12-28 2022-10-25 Verb Surgical Inc. Methods for actively engaging and disengaging teleoperation of a surgical robotic system
US11204640B2 (en) 2019-05-17 2021-12-21 Verb Surgical Inc. Methods for determining if teleoperation should be disengaged based on the user's gaze
US11337767B2 (en) 2019-05-17 2022-05-24 Verb Surgical Inc. Interlock mechanisms to disengage and engage a teleoperation mode
US20230073049A1 (en) * 2020-02-19 2023-03-09 Intuitive Surgical Operations, Inc. Systems and methods for navigating an onscreen menu in a teleoperational medical system
US20210401527A1 (en) * 2020-06-30 2021-12-30 Auris Health, Inc. Robotic medical systems including user interfaces with graphical representations of user input devices
JP2022088805A (ja) * 2020-12-03 2022-06-15 株式会社メディカロイド ロボット手術システムおよび表示方法
US11819302B2 (en) 2021-03-31 2023-11-21 Moon Surgical Sas Co-manipulation surgical system having user guided stage control
CA3212211A1 (en) 2021-03-31 2022-10-06 David Paul Noonan Co-manipulation surgical system for use with surgical instruments for performing laparoscopic surgery
US11832909B2 (en) 2021-03-31 2023-12-05 Moon Surgical Sas Co-manipulation surgical system having actuatable setup joints
US11844583B2 (en) 2021-03-31 2023-12-19 Moon Surgical Sas Co-manipulation surgical system having an instrument centering mode for automatic scope movements
US11812938B2 (en) 2021-03-31 2023-11-14 Moon Surgical Sas Co-manipulation surgical system having a coupling mechanism removeably attachable to surgical instruments
WO2023220108A1 (en) * 2022-05-13 2023-11-16 Intuitive Surgical Operations, Inc. Systems and methods for content aware user interface overlays
US11986165B1 (en) 2023-01-09 2024-05-21 Moon Surgical Sas Co-manipulation surgical system for use with surgical instruments for performing laparoscopic surgery while estimating hold force
US11839442B1 (en) 2023-01-09 2023-12-12 Moon Surgical Sas Co-manipulation surgical system for use with surgical instruments for performing laparoscopic surgery while estimating hold force

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040100440A1 (en) * 1996-11-26 2004-05-27 Levin Michael D. Control knob with multiple degrees of freedom and force feedback
US20110118752A1 (en) * 2009-11-13 2011-05-19 Brandon Itkowitz Method and system for hand control of a teleoperated minimally invasive slave surgical instrument
WO2016077552A1 (en) * 2014-11-13 2016-05-19 Intuitive Surgical Operations, Inc. Interaction between user-interface and master controller

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6219032B1 (en) * 1995-12-01 2001-04-17 Immersion Corporation Method for providing force feedback to a user of an interface device based on interactions of a controlled cursor with graphical elements in a graphical user interface
US7877243B2 (en) * 2001-07-16 2011-01-25 Immersion Corporation Pivotable computer interface
US8010180B2 (en) * 2002-03-06 2011-08-30 Mako Surgical Corp. Haptic guidance system and method
US8918211B2 (en) 2010-02-12 2014-12-23 Intuitive Surgical Operations, Inc. Medical robotic system providing sensory feedback indicating a difference between a commanded state and a preferred pose of an articulated instrument
US8442806B2 (en) * 2010-03-03 2013-05-14 Immersion Medical, Inc. Systems and methods for simulations utilizing a virtual coupling
US9639156B2 (en) 2011-12-29 2017-05-02 Mako Surgical Corp. Systems and methods for selectively activating haptic guide zones
WO2013123310A1 (en) 2012-02-15 2013-08-22 Intuitive Surgical Operations, Inc. User selection of robotic system operating modes using mode distinguishing operator actions
US9198714B2 (en) * 2012-06-29 2015-12-01 Ethicon Endo-Surgery, Inc. Haptic feedback devices for surgical robot
US10123846B2 (en) 2014-11-13 2018-11-13 Intuitive Surgical Operations, Inc. User-interface control using master controller
CN113893032A (zh) * 2016-07-14 2022-01-07 直观外科手术操作公司 用于远程操作医疗系统中的屏幕菜单的系统和方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040100440A1 (en) * 1996-11-26 2004-05-27 Levin Michael D. Control knob with multiple degrees of freedom and force feedback
US20110118752A1 (en) * 2009-11-13 2011-05-19 Brandon Itkowitz Method and system for hand control of a teleoperated minimally invasive slave surgical instrument
WO2016077552A1 (en) * 2014-11-13 2016-05-19 Intuitive Surgical Operations, Inc. Interaction between user-interface and master controller

Also Published As

Publication number Publication date
WO2019010097A1 (en) 2019-01-10
US20220296324A1 (en) 2022-09-22
US20200222138A1 (en) 2020-07-16
CN116585029A (zh) 2023-08-15
EP3648698A1 (en) 2020-05-13
CN110799144B (zh) 2023-06-06
EP3648698A4 (en) 2021-03-31
US11376088B2 (en) 2022-07-05

Similar Documents

Publication Publication Date Title
CN110799144B (zh) 用于远程控制系统中菜单项的选择的触觉反馈的系统和方法
US11819301B2 (en) Systems and methods for onscreen menus in a teleoperational medical system
EP3651677B1 (en) Systems and methods for switching control between multiple instrument arms
US20230064265A1 (en) Moveable display system
CN115426965A (zh) 用于在远程操作医疗系统中导航屏上菜单的系统和方法
US20220296323A1 (en) Moveable display unit on track
US20210068799A1 (en) Method and apparatus for manipulating tissue
WO2023192465A1 (en) User interface interaction elements with associated degrees of freedom of motion
EP4397272A2 (en) Systems and methods for switching control between multiple instrument arms
AU2022224765A1 (en) Camera control
CN116568235A (zh) 用于远程指导的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant