CN116348054A - 经由多输入模态的成像设备控制 - Google Patents

经由多输入模态的成像设备控制 Download PDF

Info

Publication number
CN116348054A
CN116348054A CN202180069301.8A CN202180069301A CN116348054A CN 116348054 A CN116348054 A CN 116348054A CN 202180069301 A CN202180069301 A CN 202180069301A CN 116348054 A CN116348054 A CN 116348054A
Authority
CN
China
Prior art keywords
reference point
imaging device
location
input
input modality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180069301.8A
Other languages
English (en)
Inventor
M•S•帕拉斯特加里
P•G•格里菲思
B•D•伊科威兹
G•A•林奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intuitive Surgical Operations Inc
Original Assignee
Intuitive Surgical Operations Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intuitive Surgical Operations Inc filed Critical Intuitive Surgical Operations Inc
Publication of CN116348054A publication Critical patent/CN116348054A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/35—Surgical robots for telesurgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/77—Manipulators with motion or force scaling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Robotics (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

公开了用于计算机辅助设备中的成像设备控制的技术，该计算机辅助设备包括被配置为支撑成像设备的可重新定位结构和控制系统，该控制系统被配置为确定与第一输入模态相关联的第一参考点的定位；在第一模式中，基于第一参考点确定成像设备的目标参考点的定位；在第二模式中，确定与第二输入模态相关联的第二参考点的定位，并基于第一参考点的定位和第二参考点的定位确定目标参考点的定位；确定移动成像设备使得与成像设备相关联的第三参考点朝向目标参考点移动的第一可重新定位结构的移动；并基于该移动致使可重新定位结构的致动。

Description

经由多输入模态的成像设备控制
相关申请
本申请要求2020年12月10日提交的标题为“Imaging Device Control viaMultiple Input Modalities”的美国临时申请号63/123939的权益，该申请通过引用并入本文。
技术领域
本公开总体上涉及电子设备，并且更具体地涉及具有可重新定位的成像设备的设备的控制。
背景技术
越来越多的设备被计算机辅助电子设备所取代。在工业、娱乐、教育和其他环境中尤其如此。作为医疗示例，当今的医院在手术室、介入套房、重症监护病房、急诊室等中发现了大量电子设备。这些电子设备中的许多可以能够自主或半自主运动。人员使用位于用户控制系统处的一个或多个输入设备来控制电子设备的运动和/或操作也是常见的。作为具体示例，微创机器人远程外科手术系统允许外科医生从床边或远程位置对患者进行手术。远程外科手术通常指使用外科手术系统执行的外科手术，其中外科医生使用某种形式的远程控制(例如伺服机构)来操纵外科手术器械移动，而不是直接用手握持和移动器械。
当电子设备用于在工作部位处执行任务时，一个或多个成像设备(例如，内窥镜、光学相机和/或超声探头)可以捕获工作部位的图像，该图像向正在监视和/或执行任务的操作员提供视觉反馈。(一个或多个)成像设备也可以是可控制的，以更新经由显示单元提供给操作员的工作部位的视图。例如，(一个或多个)成像设备可以被附接到可重新定位结构，该可重新定位结构包括由一个或多个关节耦合在一起的两个或多个连杆，其中可重新定位结构可以被移动(包括通过内部重新配置)以更新成像设备在工作部位处的定位和/或取向。在这种情况下，(一个或多个)成像设备的移动可以由操作员、另一人或自动控制，并且能够改变工作部位的视图。
用于控制成像设备的一种途径是移动成像设备以跟随显示单元的运动。例如，操作员的头部运动可以经由传感器系统来跟踪，并用于控制成像设备的运动。用于控制成像设备的另一种途径是移动成像设备以跟随手动控制器的运动。例如，操作员可以通过由操作员的每只手操作的一个输入设备来控制手动控制器。这些途径是单独使用的，并且每个途径都具有自己的优点和缺点。
因此，期望用于控制可重新定位的成像设备的改进的方法和系统。
发明内容
与一些实施例一致，计算机辅助设备包括被配置为支撑成像设备的第一可重新定位结构，以及耦合到第一可重新定位结构的控制系统。控制系统被配置为：确定与第一输入模态相关联的第一参考点的定位；在第一模式中，基于至少第一参考点确定成像设备的目标参考点的定位；在第二模式中，确定与第二输入模态相关联的第二参考点的定位，并且基于至少第一参考点的定位和第二参考点的定位来确定目标参考点的定位；确定移动成像设备使得与成像设备相关联的第三参考点朝向目标参考点移动的第一可重新定位结构的移动；并且基于所确定的移动来致使第一可重新定位结构的致动。
与一些实施例一致，计算机辅助设备包括被配置为支撑成像设备的第一可重新定位结构，以及耦合到第一可重新定位结构的控制系统。控制系统被配置为：确定与第一输入模态相关联的第一参考点的定位；基于至少第一参考点的定位确定第一目标参考点的定位；确定第一可重新定位结构是否能够被致动以移动成像设备而使得与成像设备相关联的第三参考点移动到第一目标参考点；确定与第二输入模态相关联的第二参考点的定位；基于至少第一参考点的定位和第二参考点的定位来确定第二目标参考点的定位；确定第一可重新定位结构是否能够被致动以移动成像设备而使得第三参考点移动到第二目标参考点；并且响应于确定第一可重新定位结构能够被致动以移动成像设备而使得第三参考点移动到第二目标参考点，基于第二目标参考点的定位致动第一可重新定位结构。
与一些实施例一致，一种操作计算机辅助设备的方法，该计算机辅助设备包括第一可重新定位结构和一个或多个处理器，该一个或多个处理器通信地耦合到第一可重新定位结构，该方法包括：由一个或多个处理器确定与第一输入模态相关联的第一参考点的定位；在第一模式中，由一个或多个处理器基于至少第一参考点来确定由计算机辅助设备的第一可重新定位结构支撑的成像设备的目标参考点的定位；在第二模式中，由一个或多个处理器确定与第二输入模态相关联的第二参考点的定位，并且基于至少第一参考点的定位和第二参考点的定位确定目标参考点的定位；由一个或多个处理器确定移动成像设备而使得与成像设备相关联的第三参考点朝向目标参考点移动的第一可重新定位结构的移动；以及由一个或多个处理器基于所确定的移动来致使第一可重新定位结构的致动。
与一些实施例一致，一种操作计算机辅助设备的方法，该计算机辅助设备包括第一可重新定位结构和一个或多个处理器，该一个或多个处理器通信地耦合到第一可重新定位结构，该方法包括：由一个或多个处理器确定与第一输入模态相关联的第一参考点的定位；由一个或多个处理器基于至少第一参考点的定位来确定第一目标参考点的定位；由一个或多个处理器确定第一可重新定位结构是否能够被致动以移动成像设备而使得与成像设备相关联的第三参考点移动到第一目标参考点；由一个或多个处理器确定与第二输入模态相关联的第二参考点的定位；由一个或多个处理器基于至少第一参考点的定位和第二参考点的定位来确定第二目标参考点的定位；由一个或多个处理器确定第一可重新定位结构是否能够被致动以移动成像设备而使得第三参考点移动到第二目标参考点；以及响应于确定第一可重新定位结构能够被致动以移动成像设备而使得第三参考点移动到第二目标参考点，基于第二目标参考点的定位致动第一可重新定位结构。
其他实施例包括但不限于包括多个机器可读指令的一个或多个非暂时性机器可读介质，当由一个或多个处理器执行时，该多个机器可读指令适于致使一个或多个处理器执行本文公开的任何方法。
应当理解，上述一般描述和以下详细描述两者本质上都是示例性和解释性的，并且旨在提供对本公开的理解而不限制本公开的范围。在这方面，本领域技术人员将从以下详细描述中清楚本公开的附加方面、特征和优点。
附图说明
图1是根据各种实施例的示例远程操作系统的简化图。
图2是根据一些实施例的示例显示系统的透视图。
图3示出了根据各种实施例的显示单元、手动控制器和成像设备的各种自由度。
图4图示了根据各种实施例的显示单元工作空间、手动控制器工作空间和成像设备工作空间中的示例参考点。
图5图示了根据各种实施例的显示单元和手动控制器工作空间中的参考点的改变与成像设备工作空间中的参考点的改变之间的映射。
图6A-图6B图示了根据各种实施例的用于控制成像设备的方法的简化图。
图7更详细地图示了根据各种实施例的图6B的方法的一个过程。
图8更详细地图示了根据各种实施例的图6B的方法的另一过程。
图9更详细地图示了根据各种实施例的图6B的方法的另一过程。
具体实施方式
本说明书和图示了发明方面、实施例、实施例或模块的所附附图不应被视为限制——权利要求书限定受保护发明。在不脱离本说明书和权利要求书的精神和范围的情况下，可以进行各种机械、组成、结构、电气和操作改变。在一些情况下，为了不混淆本发明，未详细示出或描述公知的电路、结构或技术。两个或多个图中的相同数字表示相同或相似的元件。
在本说明书中，阐述了描述与本公开一致的一些实施例的具体细节。阐述了许多具体细节，以提供对实施例的透彻理解。然而，对于本领域技术人员来说显而易见的是，可以在没有这些具体细节中的一些或全部的情况下实践一些实施例。本文所公开的具体实施例意在说明而非限制。本领域技术人员可以认识到尽管这里没有具体描述，但在本公开的范围和精神内的其他元件。此外，为了避免不必要的重复，与一个实施例相关联地示出和描述的一个或多个特征可以被并入其他实施例中，除非以其他方式具体描述或者如果一个或多个特征将使实施例不起作用。
此外，本说明书的术语不旨在限制本发明。例如，可以使用空间相对术语(例如“下面”、“下方”、“下部”、“上方”，“上部”、“近侧”、“远侧”等)来描述一个元件或特征与另一元件或特征如图所示的关系。这些空间相对术语旨在涵盖元件或其操作除图中所示的定位和取向之外的不同定位(即，位置)和取向(即，旋转放置)。例如，如果图中的一个的内容被翻转，则被描述为“在”其他元件或特征“下方”或“下面”的元件将“在”其他元件或特征“上方”或“之上”。因此，示例性术语“下方”可以涵盖上方和下方两者的定位和取向。设备可以以其他方式定向(旋转90度或以其他取向)，并且本文使用的空间相对描述符被相应地解释。同样，沿着和围绕各种轴线的移动的描述包括各种特殊的元件定位和取向。此外，单数形式“一”、“一个”和“该”也旨在包括复数形式，除非上下文另有指示。并且，术语“包括”、“包含”、“具有”等指出了所述特征、步骤、操作、元件和/或部件的存在，但不排除一个或多个其他特征、步骤、操作、元件、部件和/或组的存在或添加。被描述为耦合的部件可以电力地或机械地直接耦合，或者它们可以经由一个或多个中间部件间接耦合。
只要可行，参考一个实施例、实施例或模块详细描述的元件可以被包括在未具体示出或描述它们的其他实施例、实施例或模块中。例如，如果参考一个实施例详细描述了元件，而没有参考第二实施例描述该元件，则该元件仍然可以被要求保护为包括在第二实施例中。因此，为了避免在以下描述中不必要的重复，与一个实施例、实施例或应用相关联地示出和描述的一个或多个元件可以被并入其他实施例、实施例或方面，除非另有特别描述，除非一个或多个元件将使实施例或实施例不起作用，或者除非元件中的两个或多个提供冲突的功能。
在一些情况下，尚未详细描述公知的方法、程序、部件和电路，以免不必要地混淆实施例的方面。
本公开根据各种设备、元件和计算机辅助设备和元件的部分在三维空间中的状态描述了各种设备、元件和计算机辅助设备和元件的部分。如本文所使用的，术语“定位”是指元件或元件的一部分在三维空间中的位置(例如，沿笛卡尔x、y和z坐标的三个平移自由度)。如本文所使用的，术语“取向”是指元件或元件的一部分的旋转放置(三个旋转自由度——例如，滚转、俯仰和偏航)。如本文所使用的，术语“形状”是指沿元件测量的一组定位或取向。如本文所使用的，并且对于具有可重新定位臂的设备，术语“近侧”是指沿着其运动链朝向计算机辅助设备的基座的方向，而“远侧”是指沿着运动链远离基座的方向。
参考计算机辅助系统和设备描述了本公开的方面，该计算机辅助系统和设备可以包括远程操作、远程控制、自主、半自主、机器人等的系统和设备。此外，本公开的方面是根据使用外科手术系统(例如加利福尼亚州桑尼维尔市Intuitive surgical，Inc.商业化的da
Figure BDA0004169053910000051
外科手术系统)的实施例来描述的。然而，知识渊博的人将理解，这些示例不是限制性的，并且本文所公开的发明方面可以以各种方式体现和实施，包括机器人实施例和(如果适用)非机器人实施例。例如，参考外科手术器械和外科手术方法描述的技术可以用于其他情境。因此，本文所描述的器械、系统和方法可用于人类、动物、人类或动物解剖结构的部分、工业系统、通用机器人或远程操作系统。作为进一步的示例，本文所描述的器械、系统和方法可用于非医疗目的，包括工业用途、通用机器人用途、感测或操纵非组织工件、美容改进、人体或动物解剖结构的成像、从人体或动物解剖结构收集数据、设置或取下系统、培训医疗或非医疗人员等。附加示例应用包括用于对从人体或动物解剖结构中取出的组织(不返回人体或动物解剖结构)的程序以及用于对人体或动物尸体的程序。此外，这些技术还可用于包括或不包括外科手术方面的医疗治疗或诊断程序。
系统概述
图1是根据各种实施例的示例远程操作系统100的简化图。在一些示例中，远程操作系统100可以是远程操作医疗系统，例如外科手术系统。如图所示，远程操作系统100包括跟随器设备104和处于引导器-跟随器配置的引导器设备。在引导器-跟随器配置中，跟随器模仿引导器的运动。图1中的引导器设备被示出为包括工作站形式的输入系统102(也称为“控制台”)。在各种实施例中，输入系统102可以以任何适当的形式，并且可以包括或可以不包括工作站。在图1的示例中，跟随器设备104由输入系统102的一个或多个输入设备106控制，下面将更详细地描述。引导器-跟随器配置有时也被称为主从配置，并且包括引导器设备和跟随器设备的系统有时也被称为主从系统，其中引导器是“主”，跟随器是“从”。
在该示例中，输入系统102包括由操作员108接触和操纵的一个或多个输入设备。如图所示，输入系统102包括供操作员的每只手使用的输入设备106。输入设备106由输入系统102支撑并且可以机械地接地。在一些实施例中，可以提供人体工程学支撑件110(例如，前臂撑)，操作员108可以将他或她的前臂搁置在其上。在一些示例中，操作员108可以通过使用输入设备106命令跟随器设备104来在程序期间在跟随器设备104附近的工作部位处执行任务。
显示单元112是包括在输入系统102中的另一输入设备。显示单元112可以显示供操作员108查看的图像。显示单元112可以以各种自由度被移动，以适应操作员108的查看定位和/或提供控制功能。在远程操作系统100的示例中，显示的图像可以描绘操作员108通过操纵输入设备106和/或显示单元112以在其处执行各种任务的工作部位。在一些示例中，由显示单元112显示的图像可以由输入系统102从布置在工作部位处的用于捕获图像的一个或多个成像设备接收。在其他示例中，由显示单元显示的图像可以由显示单元112(或由连接的其他设备或系统)生成，例如用于工具、工作部位的虚拟表示或用于用户界面部件。
当使用输入系统102时，操作员108可以站立或坐在椅子或其他支撑件上，定位他或她的眼睛以查看显示单元112，操纵输入设备106和/或显示单元112并根据需要将他或她的前臂搁置在人体工程学支撑件110上。在一些实施例中，操作员108可以站立在输入系统102处或呈现其他姿势，并且显示单元112和其他输入设备可以被调整就位(高度、深度等)以适应操作员108。
远程操作系统100还可以包括可以由引导器设备(例如由输入系统102)命令的跟随器设备104。在医疗示例中，跟随器设备104可以位于手术台(例如，台、床或其他支撑件)附近，患者可以被定位在该手术台上。在这种情况下，工作部位可以在手术台上提供，例如，在患者、模拟患者或模型等(未示出)上或患者、模拟患者或模型等内。所示的跟随器设备104包括多个操纵器臂120，每个操纵器臂120被配置为耦合到器械122。操纵器臂120是器械122(例如操纵器械或具有成像设备的器械)可以被安装在其上的可重新定位结构的示例。器械122可以包括例如末端执行器126和被配置为耦合到操纵器臂120的壳体。
在各种实施例中，器械122中的一个或多个可以包括用于捕获图像的成像设备(例如，光学相机、高光谱相机、超声波传感器等)。例如，器械122中的一个或多个可以是包括成像设备的内窥镜，该成像设备可以提供要经由显示单元112显示的工作部位的一部分的捕获的图像。
在一些实施例中，操纵器臂120可被控制为响应于操作员108对输入设备的操纵而移动、铰接或致动器械122(例如通过平移或旋转整个器械122、铰接或致动末端执行器126，或铰接末端执行器126近侧的任何器械关节)，使得操作员108可以在工作部位处执行任务。对于外科手术示例，操作员可以引导操纵器臂120移动器械122，以通过微创孔口或自然孔口在内部外科手术部位处执行外科手术程序。
如图所示，控制系统140被提供在输入系统102的外部，并与输入系统102通信。在其他实施例中，控制系统140可以被提供在输入系统102中和/或跟随器设备104中。随着操作员108移动(一个或多个)输入设备106和/或显示单元112，包括感测的定位和/或取向信息的感测的空间信息基于输入设备106和/或显示单元112的移动而被提供到控制系统140。控制系统140可以基于接收到的信息和用户输入来确定到跟随器设备104的控制信号或提供控制信号给跟随器设备104，以控制操纵器臂120或器械122的移动。在一个实施例中，控制系统140支持一个或多个有线通信协议(例如，以太网、USB等)和/或一个或多个无线通信协议(例如，蓝牙、IrDA、HomeRF、IEEE 802.11、DECT、无线遥测等)。
控制系统140可以在一个或多个计算系统上实施。一个或多个计算系统可用于控制跟随器设备104。此外，一个或多个计算系统可用于控制输入系统102的部件，例如响应于由操作员108的头部提供的输入来控制显示单元112的移动。
如图所示，控制系统140包括处理器150和存储控制模块170的存储器160。在实施例中，控制系统140可以包括一个或多个处理器、非持久性储存器(例如，易失性存储器(例如随机存取存储器(RAM)、高速缓冲存储器))、持久性储存器(例如，硬盘、光盘驱动器(例如压缩盘(CD)驱动器或数字多功能盘(DVD)驱动器)、闪存等)、通信接口(例如，蓝牙接口、红外接口、网络接口、光学接口等)以及许多其他元件和功能。此外，控制模块170的功能可以在任何技术上可行的软件和/或硬件中实施。
控制系统140的一个或多个处理器中的每一个可以是用于处理指令的集成电路。例如，一个或多个处理器可以是处理器、中央处理单元(CPU)、微处理器、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、数字信号处理器(DSP)、图形处理单元(GPU)、张量处理单元(TPU)等的一个或多个核或微核。
控制系统140的通信接口可以包括用于将计算系统连接到网络(未示出)(例如，局域网(LAN)、广域网(WAN)(例如因特网)、移动网络或任何其他类型的网络)和/或连接到另一设备(例如另一计算系统)的集成电路。
此外，控制系统140可以包括一个或多个输出设备，例如显示设备、打印机、扬声器、外部储存器或任何其他输出设备。存在许多不同类型的计算系统，并且上述(一个或多个)输入设备和输出设备可以采取其他形式。
执行本公开实施例的计算机可读程序代码形式的软件指令可以全部或部分临时或永久地存储在非暂时性计算机可读介质(例如CD、DVD、储存设备、磁盘、磁带、闪存、物理存储器或任何其他计算机可读储存介质)上。具体地，软件指令可以对应于当由(一个或多个)处理器执行时被配置为执行本发明的一些实施例的计算机可读程序代码。
继续图1，控制系统140可以被连接到网络或者可以是网络的一部分。网络可以包括多个节点。控制系统140可以在一个节点上或在一组节点上实施。作为示例，控制系统140可以在被连接到其他节点的分布式系统的节点上实施。作为另一示例，控制系统140可以在具有多个节点的分布式计算系统上实施，其中控制系统140的不同功能和/或部件可以位于分布式计算系统内的不同节点上。此外，上述控制系统140的一个或多个元件可以位于远程位置处并通过网络连接到其他元件。
在一些实施例中，一个或多个输入设备可以不接地(不接地的输入设备不是运动学上接地的，并且示例不接地的输入设备被配置为由操作员108的手握持，而没有硬件提供附加物理支撑)。这种不接地的输入设备可以与显示单元112结合使用。在一些实施例中，操作员108可以使用定位在工作部位附近的显示单元112，使得操作员108可以在查看由显示单元112显示的图像的同时在工作部位处手动操作器械，例如外科手术示例中的腹腔镜器械。
一些实施例可以包括远程操作医疗系统(例如由美国加利福尼亚州桑尼维尔市Intuitive surgical，Inc.商业化的da
Figure BDA0004169053910000091
外科手术系统)的一个或多个部件。
图2是根据各种实施例的示例显示系统200的透视图。在一些实施例中，显示系统200用在远程操作系统的工作站中(例如，在图1所示的工作站中)，或者显示系统200可以用在其他系统中或作为独立系统，例如，以允许操作员查看工作部位或其他物理部位、显示的虚拟环境等。尽管图2示出了特定配置，但其他实施例可以使用不同的配置。
显示系统200包括基座支撑件202、臂支撑件204和显示单元206。在一些实施例中，显示单元206与图1中的显示单元112一致。显示单元206被提供有由支撑连杆装置提供的多个移动自由度，该支撑连杆装置包括基座支撑件202、耦合到基座支撑件202的臂支撑件204以及耦合到臂支撑件204的倾斜构件224(下文描述)，其中显示单元206被耦合到倾斜构件224。
基座支撑件202可以是机械接地(例如，直接或间接地耦合到地面，例如通过搁置或附接到地板)的竖直构件。例如，基座支撑件202可以被机械地耦合到支撑结构210，该支撑结构被耦合到地面。基座支撑件202包括第一基座部分212和第二基座部分214，第一基座部分212和第二基座部分214耦合成使得第二基座部分214可相对于第一基座部分212在线性自由度上平移。
臂支撑件204可以是被机械地耦合到基座支撑件202的水平构件。臂支撑件204包括第一臂部分218和第二臂部分220。第二臂部分220被耦合到第一臂部分218，使得第二臂部分220可相对于第一臂部分218在第一线性自由度(DOF)上线性平移。
显示单元206可以被机械地耦合到臂支撑件204。显示单元206可在由第二基座部分214和第二臂部分220的线性平移提供的第二线性DOF上移动。
在一些实施例中，显示单元206包括可以显示数字图像的显示设备，例如一个或多个显示屏、投影仪或其他显示设备。显示单元206可以包括两个视口223，其中显示设备被提供在视口后面或被包括在视口中。在一些实施例中，一个或多个显示屏或其他显示设备可以被定位在显示单元206上以代替视口223。
在一些实施例中，显示单元206显示由成像设备(例如内窥镜)捕获的工作部位(例如，医疗示例中患者的内部解剖结构)的图像。工作部位可以替代地是工作部位的虚拟表示。在跟随器设备104的器械122中的一个或多个由操作员经由输入系统102的输入设备控制的同时，图像可以示出这些器械122的捕获的图像或虚拟渲染。
在一些实施例中，显示单元206通过倾斜构件224可旋转地耦合到臂支撑件204。在图示的示例中，倾斜构件224在第一端处通过旋转耦合件耦合到臂支撑件204的第二臂部分220，该旋转耦合件被配置为提供倾斜构件224和显示单元206相对于第二臂部分220围绕倾斜轴线226的旋转运动。在一些实施例中，倾斜轴线226被定位在显示单元206中的显示设备上方。
本文所讨论的各个自由度中的每一个都可以是被动的，并且需要手动操纵，或者可通过一个或多个致动器(例如通过一个或多个马达、螺线管等)移动。例如，倾斜构件224和显示单元206围绕倾斜轴线226的旋转运动可以由一个或多个致动器驱动，例如由在倾斜轴线226处或附近耦合到倾斜构件的马达驱动。
显示单元206可以被旋转地耦合到倾斜构件224，并且可以围绕偏航轴线230旋转。例如，这可以是从经由视口223查看显示单元206的图像的操作员的视角来看的横向或左右旋转。在该示例中，显示单元206通过旋转机构耦合到倾斜构件，该旋转机构可以是轨道(track)机构。例如，在一些实施例中，轨道机构包括弯曲轨道228，该弯曲轨道228可滑动地接合耦合到倾斜构件224的凹槽构件229，从而允许显示单元206通过移动弯曲轨道228穿过凹槽构件229的凹槽而围绕偏航轴线230旋转。
因此，显示系统200可以为显示单元206提供竖直线性自由度216、水平线性自由度222、旋转(倾斜)自由度227和旋转偏航自由度231。显示系统200的部件在这些自由度中的协调移动的组合允许显示单元206被定位在显示单元206的工作空间中的各种定位和取向处。当操作员正通过头部运动提供头部输入时，显示单元206在倾斜、水平和竖直自由度上的运动允许显示单元206保持接近操作员的头部或维持与操作员的头部接触。
显示系统200的自由度允许显示系统200提供显示单元206在物理空间中围绕可被定位在不同位置的枢转轴线的枢转运动。例如，当操作显示系统200时，显示系统200可以提供显示单元206在物理空间中对应于操作员头部运动的运动。这样的运动可以包括围绕限定的颈部枢转轴线的旋转，该颈部枢转轴线大致对应于操作员颈部处的操作员头部的颈部轴线。旋转允许显示单元206根据正引导显示单元206移动的操作员的头部来移动。在另一示例中，运动可以包括围绕限定的前额枢转轴线的旋转，该前额枢转轴线大致对应于当显示单元206如图所示被定向在围绕偏航轴线230的中心偏航旋转定位时在前额处延伸通过操作员头部的前额轴线。
显示单元206可以包括一个或多个输入设备，该一个或多个输入设备允许操作员提供输入以操纵显示单元206在空间中的取向和/或定位，和/或操纵显示系统200和/或更大系统(例如，远程操作系统)的其他功能或部件。
说明性地，显示单元206包括头部输入区域242。在一些实施例中，头部输入区域242被定位在显示单元206的在显示单元206的操作期间面向操作员头部的表面上。
头部输入区域242可以被成形为形成头枕，当操作员正提供头部输入时，头枕可以与操作员的头部接触。更具体地，头部输入区域242可以位于视口223上方的区域中，以在操作员正通过视口223查看图像的同时与操作员的前额接触。显示单元206可以包括一个或多个头部输入传感器，该一个或多个头部输入传感器感测到头部输入区域242的操作员头部输入作为命令，以致使成像设备的移动，或者以其他方式致使展现给操作员的图像中的视图的更新(例如通过图形渲染、数字变焦或摇摄等)。此外，在一些实施例和一些操作实例中，感测到的头部移动用于移动显示单元206以补偿头部移动。因此，即使当操作员执行头部移动以控制由成像设备提供的视图时，操作员的头部的定位也可以相对于视口223保持静止。因此可以确保操作员的眼睛与视口的正确对准。
在一些实施例中，感测操作员头部输入包括感测操作员的头部或头部的一部分(例如前额)的存在或与头部输入区域242的接触。一个或多个头部输入传感器可以包括各种类型的传感器中的任何一种，例如电阻传感器、电容传感器、力传感器、光学传感器等。
继续图2，显示单元206的取向和/或定位可以由显示系统200基于到头部输入区域242的操作员头部输入来改变。例如，感测到的操作员输入被提供给控制系统(例如，控制系统140)，该控制系统控制显示系统200的致动器以使第二基座部分214在线性自由度216中移动、使第二臂部分220在线性自由度222中移动、使倾斜构件224在旋转自由度227中移动和/或使显示单元206在旋转自由度231中移动，以致使显示单元206以(例如根据)感测到的操作员头部输入作为命令而移动。感测到的操作员头部输入还可用于控制显示系统200和/或更大系统(例如，图1的远程操作系统100)的其他功能。因此，在一些实施例中，操作员可以移动他或她的头部以提供输入以控制显示单元206通过显示系统200根据头部的运动而移动，从而允许显示单元206跟随操作员头部的运动和视角的变化。
在一些实施例中，由显示单元206和/或其他受控设备显示的图像基于显示单元206的感测到的运动来改变和操纵。在显示系统的一些实施例中，显示单元206可围绕偏航轴线230在自由度231中旋转，并且从显示系统200中省略了其他自由度216、222和227中的一个或多个。例如，显示单元206可围绕偏航轴线230旋转(例如，通过(一个或多个)致动器和/或由操作员手动)，并且显示单元206可以被手动地定位得更高和/或更低(例如，通过(一个或多个)致动器和/或由操作员手动)，例如，使用基座支撑件202或其他机构，其中省略了水平自由度222和/或倾斜自由度227。
本领域技术人员将理解，图2仅示出了显示系统的配置的示例。支撑基于来自操作员的输入的显示单元206的移动的替代配置也是可能的。可以使用支撑显示单元206的期望移动的任何连杆装置来代替图2中所示的配置。
尽管本文主要针对作为接地机械结构(例如，显示系统200)的一部分的显示单元206进行了描述，但在其他实施例中，显示单元可以是任何技术上可行的显示设备(一个或多个)。例如，显示单元可以是由操作员握持的手持设备，例如平板设备或移动电话。作为另一示例，显示单元可以是头戴式设备(例如，眼镜、护目镜、头盔)。在这种情况下，可以使用一个或多个加速计、陀螺仪、惯性测量单元、相机和/或显示单元内部或外部的其他传感器来确定显示单元的定位和/或取向。
经由多输入模态的成像设备控制
如所述，在一些实施例中，显示单元中的头部输入设备可以包括感测操作员头部输入(例如，向显示单元(例如，显示单元206)施加力，或移动或重新配置显示单元的头部输入)的一个或多个头部输入传感器。类似地，手动控制器可以包括感测操作员手输入(例如，向手动控制器的一个或多个输入设备(例如输入设备106)施加力，或移动或重新配置手动控制器的一个或多个输入设备的手输入)的一个或多个手输入传感器。在一些实施例中，感测到的头部输入和感测到的手输入在第一模式和第二模式中不同地利用。在第一模式中，来自一个输入模态的感测到的输入被用于确定致使成像设备的视场或由成像设备捕获的图像的显示部分中的改变的命令。在第二模式中，来自两个输入模态的感测到的输入被一起使用，以产生致使视场或所显示部分中的改变的命令。在一些实施例中，第一模式使用头部输入来确定致使成像设备的视场中的改变的命令，并且这种模式在本文中也被称为“显示单元控制模式”。在一些实施例中，第一模式使用手输入来确定致使成像设备的视场中的改变的命令，并且这种模式在本文中也被称为“手动控制模式”。在一些实施例中，第二模式使用头部输入和手输入一起确定致使成像设备的视场中的改变的命令，并且这种模式在本文中也被称为“组合控制模式”。一些实施例除了第一模式和第二模式之外还具有模式，例如第三模式、第四模式或其他模式。例如，一些实施例具有作为“手动控制模式”(或“显示单元控制模式”)的第一模式、作为“组合控制模式”的第二模式和作为“显示单元操作模式”(或者“头部操作控制模式)的第三模式。
成像设备的视场可以通过成像设备的物理移动、成像设备内的成像元件(例如光学传感器的光学元件)的内部重新配置或捕获的图像的数字变焦和摇摄来改变。可以通过数字变焦或摇摄、计算内插或外插等来实现对捕获的图像的显示部分的改变。对所显示图像的改变可以通过对与所显示部分重叠的视场的改变、通过数字变焦和摇摄或上述的组合引起。
作为所显示图像是整个捕获的图像的具体示例，成像设备的移动改变由成像设备捕获并经由显示单元展现给操作员的图像中的视图。例如，由头部力或头部移动提供给显示单元的头部输入，或者由手力或手移动提供给手动控制器的手输入，或者这种头部输入和手输入的组合，可以被捕获并转换为用于移动成像设备(例如，内窥镜组件内)被安装在其上的可重新定位结构的命令。成像设备可用于捕获并提供经由输入系统的显示单元(例如，输入系统102的显示单元112)显示以供输出的工作部位的一部分的图像。
各种实施例利用用于基于不同的输入模态(例如上述显示单元输入模态和手动控制器输入模态)来控制成像设备或向操作员示出的捕获的图像的一部分的途径。此外，如果支撑成像设备的跟随器设备由于运动范围限制(例如，与成像设备和/或成像设备被安装在其上的跟随器设备的可重新定位结构相关联的限制、障碍物、碰撞等)而不能遵循基于来自多个输入模态的输入的命令，各种实施例提供指示这种限制的触觉反馈。这种触觉反馈可以帮助促进操作员理解限制。示例触觉反馈阻止操作员以提供跟随器设备无法遵循的命令的方式移动或以其他方式操作特定输入模态的进一步尝试。
图3示出了根据各种实施例的显示单元、手动控制器和成像设备的各种自由度。如面板(panel)A所示，在一些示例中，与图1的显示单元112和图2的显示单元206相对应的显示单元310可在四个DOF中移动。在图3所示的特定系统姿态中，操作员302可以在竖直(页面上的上和下)DOF 314以及水平(页面上的左和右)DOF 316中平移显示单元310。在所示的特定系统姿态中，操作员302还可以围绕竖直轴线(偏航)DOF 318旋转显示单元310，并围绕水平轴线(俯仰)DOF 312旋转显示单元310。例如，如上结合图2所述，显示单元206的取向和/或定位可以基于到头部输入区域242的操作员头部输入来改变，以手动移动显示单元206，或者控制显示系统200的致动器来移动显示单元206。例如，通过以线性自由度216移动第二基座部分214、以线性自由度222移动第二臂部分220、以旋转自由度227移动倾斜构件224和/或以旋转自由度231移动显示单元206，手动或致动器提供的移动可以跟随操作员头部的移动。
如图所示，手动控制器320包括输入设备322、324，输入设备322、324可以由操作员302的手操纵并在任何技术上可行数量的DOF中移动。在一些实施例中，手动控制器具有六个DOF(沿着三个轴线平移和围绕三个轴线旋转)。在其他实施例中，手动控制器可以具有少于六个DOF或多于六个DOF(例如，通过内部配置改变)。说明性地，手动控制器320包括两个手动输入设备322、324，两个手动输入设备322、324对应于上文结合图1描述的输入设备106，并且可以联合地操纵。此外，来自手动输入设备322、324的手输入可以被处理为模拟把手控制。尽管出于说明目的示出了具有两个输入设备322、324的手动控制器320，但是在一些实施例中可以使用具有任何数量或类型的输入设备的任何技术上可行的手动控制器。例如，在一些实施例中，手动控制器可以包括由操作员的手操纵的单个把手形式的单个输入设备。作为另一示例，在一些实施例中，手动控制器可以包括由操作员的一只手操纵的单个输入设备，或者操作员一次握持其中的子集的两个或多个输入设备等。作为又一示例，手动控制器320可以包括接地或不接地的输入设备。在所示的示例和系统姿态中，手动控制器320包括输入设备322、324，每个输入设备322和324可以在竖直(页面上的上和下)DOF 326中平移，在第一水平(页面上的左和右)DOF 328中平移，并且可以在偏航DOF 330中围绕竖直轴线旋转，并且在俯仰DOF 332中围绕第二水平轴线旋转。在一些实施例中，输入设备322、324还可以在第二水平(页面内和页面外)DOF(未示出)中平移，并在滚转DOF(未示出)中围绕第一水平轴线旋转。此外，手动控制器320可以在围绕输入设备322、324之间的中点环绕运行(滚转)的多输入设备旋转DOF 334中协调移动。在其他实施例中，手动控制器320可包含可在更多或更少的DOF中移动的输入设备。例如，在一些实施例中，输入设备322、324也可以在附加DOF(未示出)中内部重新配置，并采用不同的形状。作为另一示例，在一些实施例中，输入设备322、324可以仅具有自由空间中的刚体的三个平移DOF和三个旋转DOF的子集。
尽管本文主要针对包括两个输入模态(例如，显示单元输入模态和手动控制器输入模态)的实施例进行了描述，但其他实施例可以包括两个以上的输入模态。例如，附加输入模态可以由附加显示单元提供，该附加显示单元也是输入设备、附加手动控制器、一个或多个脚操作控制器、一个或多个手臂控制器等。
如面板B所示，当被安装在包括可重新定位结构的操纵器臂120上并由操作员302操作时，成像设备340可被限制为在三个DOF中移动。在一些示例中，成像设备340可以通过进入端口或套管引入工作部位中。在这种情况的示例中，成像设备340可以具有围绕与进入端口或套管相关联的远程运动中心的俯仰DOF 344、偏航DOF 346和插入-缩回DOF 342。例如，成像设备340可以是0°内窥镜，在这种情况下，成像设备340的视图方向对应于插入-缩回DOF 342的插入方向。作为另一示例，成像设备可以是30°(或其他偏移)内窥镜，在这种情况下，成像设备340的视图方向将与插入-缩回DOF 342的插入方向具有30°偏差(或其他旋转偏差)。此外，内窥镜还可以具有用于围绕内窥镜的轴、沿着内窥镜轴的提供附加DOF的一个或多个关节等旋转的滚转DOF。
图4图示了根据各种实施例的显示单元工作空间、手动控制器工作空间和成像设备工作空间中的示例参考点。面板4A-面板4B进一步图示了使用控制系统(例如，控制系统140)通过确定参考点430(本文也称为“成像设备参考点430”)的目标定位，将显示单元310的运动和手动控制器320的运动映射到成像设备340的命令运动。成像设备参考点430从成像设备340偏移。目标定位基于参考点400(本文也称为“显示单元参考点400”)的定位和参考点420(本文也称为“手动控制器参考点420”)的定位来确定。在一些实施例中，参考点420是参考手动控制器320的输入设备322、324的定位；例如，参考点420可以基于手动控制器320的位置、取向和/或物理配置来限定。在图4的示例中，手动参考点420在输入设备322、324之间的中点处。如图所示，当在显示单元上查看图像时，显示单元参考点400通过在远离操作员302的眼睛的方向上在显示单元310“前面”一定距离而从显示单元310偏移，并且在其他实施例中，偏移可以在另一方向上。成像设备参考点430通过在成像设备的视场的方向上在成像设备340“前面”一定距离而从成像设备340偏移。在其他实施例中，偏移可以在另一方向上。
随着显示单元参考点400的当前定位和/或手动控制器参考点420的当前定位改变，控制系统可以定期地确定和更新目标定位。目标定位可以被确定为使得成像设备参考点430朝向目标定位的运动将类似于显示单元参考点400从先前定位到当前定位的运动和手动控制器参考点420从先前定位到当前定位的运动的组合。该组合可以是显示单元参考点400和手动控制器参考点420的运动的直和、加权和、时间平均和、线性或非线性组合或任何其他适当组合。不在先前定位和当前定位之间移动的参考点400、420可以对组合具有零贡献。结果，使用显示单元参考点400、手动控制器参考点420和成像设备参考点430，可以将改变显示单元310的定位和/或手动控制器320的定位的操作员输入映射到成像设备340的命令定位、速度和/或加速度。
在一些示例中，显示单元参考点400在远离操作员302的方向上位于显示单元310的透镜(例如，显示单元206的视口223的透镜)前面的距离402处，即，当通过视口223观察时，在操作员302的眼睛前面。在一些示例中，显示单元参考点400可以在远离操作员302的方向上在显示单元310的透镜前面大约30cm，这大致是平均身材的操作员302的眼睛和手之间的距离。在一些示例中，例如在显示单元310是不接地的头戴式设备的情况下，显示单元参考点400仍然可以在头戴式设备前面大约30cm，或者在当通过头戴式设备查看时操作员的眼睛将所在的位置。
在系统为手动控制器参考点420利用两个或多个输入设备的一些示例中，手动控制器参考点420将位于输入设备的质心、几何中心或其他物理限定的参考位置。例如，在系统利用两个输入设备322、324来提供手动控制器参考点420的一些示例中，手动控制器参考点420可以位于输入设备322、324之间的中点或其他几何参考位置。在系统为手动控制器参考点420利用单个输入设备的其他实施例中，手动控制器参考点420可以位于输入设备的预定义位置、操作输入设备的手的预定义位置、在操作员的一只手处的位置等。
在一些示例中(包括显示单元参考点400在操作员的眼睛前面大约30cm的一些情况)，成像设备参考点430可以被设置在成像设备340的远端前面的距离处，该距离大致为在工作部位处的使用期间成像设备340与一个或多个远程操作器械(例如，跟随器设备104的器械122)之间的预期距离(例如，在一些情况下，在大约10cm的固定距离处)。在一些实施例中，显示单元参考点400在操作员302前面的距离和/或成像设备参考点430在成像设备340前面的距离不是固定的，并且可以随着操作员配置、正被应用的数字和/或光学变焦、系统模式、操作条件、正被使用的器械122的类型、正被执行的程序等变化。例如，由成像设备340捕获并经由显示单元310展现给操作员的图像可以通过成像设备340的光学或数字变焦或摇摄和/或应用于由显示单元310显示的图像的光学变焦或摇摄来修改。在这种情况下，即使成像设备340本身没有移动，成像设备参考点430也可以基于光学或数字变焦和摇摄而相对于成像设备340移动。例如，物理(例如光学)或数字缩小和放大可以使成像设备参考点430沿着视场的中心轴线移动，并且相对于成像设备340更远或更近，而光学或数字摇摄可以使成像设备参考点430远离视场的中心轴线并且相对于成像设备340横向移动。
如图所示，显示单元参考点400的定位可以在任何适当的坐标系中表示，例如用笛卡尔坐标(xd，yd，zd)表示，其被示出为轴线412、414和416。类似地，手动控制器参考点420的定位可以在笛卡尔坐标(xh，yh，zh)中表示，其被示出为轴线422、424和426。图像设备参考点430的定位也可以在笛卡尔坐标(xi、yi、zi)中表示，其被示出为轴线434、436和438。无论显示单元310的DOF如何，如上结合图3所描述的，显示单元310在显示单元310的任何DOF中的移动都可以被投影到显示单元310前面的距离402，以根据xd、yd和zd确定显示单元参考点400。类似的映射也可用于确定成像设备340在成像设备340的任何DOF中的移动与成像设备参考点430在xd、yd和zd坐标(或另一坐标系)中的移动之间的关系。此外，为了确定xh、yh和zh坐标(或另一坐标系)中的手动控制器参考点420，可以计算物理参考(例如输入设备322、324之间的中点)；该手动控制器参考点420因此跟随输入设备322、324的移动。
在一些实施例中，控制系统使用支撑显示单元310和输入设备322、324的可重新定位结构的正向运动学和已知关节定位来分别求解显示单元参考点400和手动控制器参考点420的定位。例如，控制系统本身可以计算关节定位以用于跟随操作员302的头部运动，或者从计算关节定位的另一模块获得这些关节定位、基于关节定位经由正向运动学求解显示单元310的透镜的定位，并且在垂直于透镜的视平面的方向上添加透镜定位前面的距离402，以确定显示单元参考点400的定位。此外，控制系统本身可以在操作员的手移动输入设备322、324之后计算关节定位，或者从计算关节定位的另一模块获得这些关节定位，经由正向运动学求解输入设备322、324之间的中点或其他参考定位以确定手动控制器参考点420的定位。在其他实施例中，控制系统可以以任何技术上可行的方式确定显示单元参考点400和手动控制器参考点420的定位。例如，当显示单元是不接地的头戴式显示器时，表示显示单元的定位的点可以使用由头戴式显示器中或物理耦合到头戴式显示器的传感器捕获的数据和/或使用头戴式显示器外部的一个或多个传感器来跟踪。然后距离可以被添加到显示单元的定位以获得显示单元参考点400的定位。类似地，在一些示例中，手动控制器的一个或多个输入设备的定位可以使用一个或多个输入设备中的传感器或与一个或多个输入设备物理耦合的传感器和/或使用(一个或多个)输入设备外部的一个或多个传感器以及基于一个或多个输入设备的定位计算的手动控制器参考点420来确定。
在一些实施例中，在确定显示单元参考点400的定位和手动控制器参考点420的定位之后，控制系统基于显示单元参考点400定位的改变和手动控制器参考点420定位的改变的组合来生成(一个或多个)控制命令。然后使用显示单元参考点400定位的改变和手动控制器参考点420定位的改变的组合来确定成像设备参考点430的目标定位的定位改变。然后，控制系统将(一个或多个)控制命令作为(一个或多个)输入发送到成像设备340被安装在其上的可重新定位结构，从而致使可重新定位结构移动，使得成像设备参考点430朝向成像设备参考点430的目标定位移动。显示单元参考点400和手动控制器参考点420可以使用直和、加权和、时间平均和、线性或非线性组合或任何其他合适的组合来组合，以确定目标定位。在一些实施例中，可以通过所应用的缩放因子来限定目标定位。如下文更详细描述的，相同或不同的缩放因子可以被应用于显示单元参考点400的运动和手动控制器参考点420的运动，并且显示单元参考点400和手动控制器参考点420的缩放运动可以被组合以获得成像设备参考点430的相应目标定位。例如，显示单元参考点400沿着xd、yd和zd自由度的笛卡尔运动以及手动控制器参考点420沿着xh、yh和zh自由度的笛卡尔运动可以被映射到经受(一个或多个)缩放因子的相应目标定位。在一些示例中，(一个或多个)缩放因子可以基于操作员偏好、显示单元310的类型、手动控制器320的类型、成像设备340的类型、正被执行的程序等来确定。
在一些实施例中，成像设备340被安装在其上的可重新定位结构可被致动以更新成像设备340在工作部位处的定位和/或取向，使得成像设备参考点430移动到目标定位或朝向目标定位移动。在这种情况下，控制系统可以使用成像设备参考点430的目标定位来确定成像设备340的远端的定位，如下文结合图5更详细地描述的。然后成像设备340和/或成像设备340被安装在其上的可重新定位结构的反向运动学可用于确定如何致动成像设备340的关节和/或成像设备340被安装在其上的可重新定位结构的关节，以相应地移动成像设备340。
在一些实施例中，一个或多个器械(例如，器械122中的一个或多个)相对于当成像设备340移动时不改变的参考系移动。例如，在上述跟随器模式中，一个或多个器械可以基于使用来自手动控制器320的输入生成的命令而相对于参考系移动。在这种情况下，当成像设备340被移动时，通过成像设备340的移动而实现的环境的不同视图不影响其中器械被控制的参考系。环境的不同视图仅改变成像设备340相对于器械的视场，这改变了由成像设备340捕获的图像展现给器械的操作员的有效视点。
图5图示了根据各种实施例的显示单元和手动控制器工作空间中的参考点的改变与成像设备工作空间中参考点的改变之间的映射。如图所示，在一些示例中，显示单元参考点400的定位相对于显示单元基线参考点502的定位被限定，手动控制器参考点420的定位相对于手动控制器基线参考点506的定位被限定，并且成像设备参考点430的定位相对于成像设备基线参考点510的定位被限定。成像设备基线参考点510可以基于当操作员302选择进入显示单元控制模式或组合控制模式时在当时的显示单元310的姿态来限定。例如，显示单元基线参考点502可以被限定为当操作员302选择进入显示单元控制模式时在远离操作员302的方向上在显示单元310前面的一定距离处的点。在显示单元控制模式中，显示单元310的移动被转换为命令，以致使成像设备340的移动跟随显示单元310的移动。在组合控制模式中，显示单元310的移动与到手动控制器的输入相组合，以致使成像设备340的移动。然后，显示单元参考点400的定位在随后的时间可以被表示为当前显示单元参考点400和显示单元基线参考点502之间的增量504，本文用Δ显示单元表示。
手动控制器基线参考点506可以基于当操作员302选择进入手动控制模式或组合控制模式时在当时的(一个或多个)输入设备(例如，输入设备322、324)的姿态来限定。例如，手动控制器基线参考点506可以被限定为当操作员302选择进入手动控制模式或组合控制模式时手动控制器320的输入设备322、324之间的中点。在手动控制模式中，手动控制器320的一个或多个输入设备的移动被转换为命令，以致使成像设备340的移动跟随手动控制器320的移动。在随后的时间，手动控制器参考点420可以被表示为当前手动控制器参考点420和手动控制器基线参考点506之间的增量504，本文用Δ手动表示。
成像设备基线参考点510可以被限定为当操作员302选择进入显示单元控制模式、手动控制模式或组合控制模式时成像设备340前面远离操作员302一定距离处的点。然后，成像设备参考点430的定位在随后的时间可以被表示为当前成像设备参考点和成像设备基线参考点510之间的增量，本文用Δ成像设备表示。
在一些实施例中，显示单元参考点400和手动控制器参考点420定位的改变可以通过根据等式1应用缩放因子来映射到成像设备参考点430定位的改变。
Δ成像设备＝缩放手动×Δ手动+缩放显示单元×Δ显示单元等式1
在等式1中，缩放因子缩放手动和缩放显示单元可以是例如静态的或可变的，或者在值上彼此相等或不同。作为具体示例，缩放因子可以是可选择的离散值，例如对于成像设备340的精细控制小于1(例如，1/3、1/2、2/3)，对于成像设备的一般控制等于1，对于成像设备340的粗略控制大于1(例如1.5、2、3)。等式1假设已经进入了手动控制模式和显示单元控制模式两者，即，控制系统处于手动加显示单元控制模式。然而，应当理解，操作员可以仅进入手动控制模式或显示单元控制模式，在这种情况下，成像设备参考点430定位的改变可以通过分别缩放手动控制器参考点420定位的改变或缩放显示单元参考点400定位的改变来确定，即，未使用的控制模式的增量为零。
在一些情况下，由于例如与成像设备340和/或成像设备340被安装在其上的可重新定位结构相关联的运动范围(ROM)限制、障碍物、碰撞等，成像设备参考点430可能无法根据等式1跟随显示单元参考点400和手动控制器参考点420。ROM限制可以是物理施加的(例如由于物理关节限制)、软件施加的，或者其中一些ROM限制是物理施加和软件施加的组合。在这种情况下，控制系统可以确定触觉反馈并向手动控制器320的输入设备322、324和/或向显示单元310提供触觉反馈。如上所描述的，可以识别致使无法跟随的特定输入模态(例如，手动控制器320或显示单元310)以提供触觉反馈，该触觉反馈阻止操作员302以成像设备340无法跟随的方式移动该输入模态的进一步尝试。如图所示，在一些示例中，控制系统使用两个虚拟跟随器设备520和530来确定来自手动控制器320或显示单元310的输入是否致使超过与成像设备340相关联的ROM限制。
虚拟跟随器设备520和530中的每一个被用于模拟成像设备340的移动，并且与虚拟ROM限制相关联，虚拟ROM限制对应于成像设备340和/或成像设备340被安装在其上的可重新定位结构的实际ROM限制。虚拟跟随器设备520和530被用于防止成像设备340被安装在其上的可重新定位结构的命令定位超过可重新定位结构的ROM限制。在一些实施例中，为了确定是否超过ROM限制，控制系统使用反向运动学来计算可重新定位结构的所得关节定位，将命令定位作为输入发送到虚拟跟随器设备520和530，并将这些关节定位与预定义关节限制(即，虚拟ROM限制)进行比较。
在一些实施例中，控制系统验证与第一虚拟目标定位514相关联的第一虚拟跟随器设备520的定位是否违反与第一虚拟跟随器设备520相关联的虚拟ROM限制。在该示例中，第一虚拟目标定位514根据等式2基于手动控制器参考点420来确定。
Δ虚拟跟随器＝缩放手动×Δ手动 等式2
在等式2中，Δ虚拟跟随器是第一虚拟跟随器设备520前面的虚拟目标定位514与成像设备基线参考点510之间的增量，如增量512所示。当由于与第一虚拟跟随器设备520相关联的虚拟ROM限制而无法实现第一虚拟目标定位514时，控制系统向手动控制器320的输入设备322、324提供触觉反馈以约束输入设备322和324的运动，使得在手动控制器320和成像设备340之间没有(或减少)损失的运动。在一些实施例中，根据等式3，触觉反馈与使用第一虚拟跟随器设备520确定的并在本文中由Δ可实现的虚拟跟随器表示的可实现的成像设备参考点430的增量和通过应用缩放因子与第一虚拟目标定位514的定位相关联的增量之间的差成比例。
Ffbk＝α手动×(Δ可实现的第一虚拟跟随器-缩放手动×Δ手动) 等式3
在等式3中，Ffbk是应用到手动控制器320的输入设备322、324的触觉反馈，并且α手动是比例常数。控制系统可以进一步将触觉反馈转换为输入设备322、324被安装在其上的(一个或多个)可重新定位结构的关节的关节力和/或扭矩。在一些示例中，触觉反馈可以针对手动控制器参考点420的xd、yd和zd轴线中的每一个单独确定和/或应用。
如图所示，控制系统还验证根据等式1确定的第二虚拟跟随器设备530的第二虚拟目标定位518是否违反与第二虚拟跟随器设备530相关联的虚拟ROM限制。当第二虚拟跟随器设备530的目标定位违反虚拟ROM限制时，控制系统向显示单元310提供触觉反馈以约束显示单元310的运动，使得在显示单元310和成像设备340之间没有(或减少)损失的运动。在一些实施例中，根据等式4，触觉反馈与使用第二虚拟跟随器设备530确定的可以被实现的与成像设备参考点430的定位相关联的增量和通过应用缩放因子与第二虚拟目标定位518的定位相关联的增量(示出为增量516)之间的差成比例。
Ffbk＝α显示单元×(Δ可实现的第二虚拟跟随器-Δ可实现的第一虚拟跟随器-缩放显示单元×Δ显示单元) 等式4
在等式4中，Ffbk是应用到显示单元310的触觉反馈，α显示单元是比例常数，增量Δ可实现的第二虚拟跟随器是使用第二虚拟跟随器设备确定的成像设备参考点430的可实现定位，并且增量Δ可实现的第一虚拟跟随器是使用第一虚拟跟随器设备确定的成像设备参考点430的可实现定位。控制系统可以进一步将触觉反馈转换为显示单元310被安装在其上的可重新定位结构的关节的关节力和/或扭矩。在一些示例中，触觉反馈可以针对显示单元参考点400的xd、yd和zd轴线中的每一个单独确定和/或应用。
在一些实施例中，控制系统还致使触觉反馈通过输入设备322、324提供。当成像设备340被命令以基于目标定位移动时，触觉反馈可以基于由成像参考点430实现的实际定位与目标定位(例如使用上述虚拟跟随器设备520和530确定的目标定位)的偏差。在一些实施例中，控制系统确定由成像设备参考点430实现的实际定位与目标定位之间的差。然后，根据等式5，控制模块通过应用缩放因子向手动控制器320的输入设备322、324提供触觉反馈。作为替代，可以使用由成像设备340自身实现的实际定位与成像设备340的命令定位之间的差。
Ffbk＝α实际×(实际定位-目标定位) 等式5
在等式5中，Ffbk是应用到手动控制器320的输入设备322、324的实际触觉反馈，并且α所实现的是比例常数。在一些示例中，不提供触觉反馈。例如，在一些示例中，当由成像设备340实现的实际定位与成像设备340的命令定位不同时，不向显示单元310提供触觉反馈。由于各种原因(包括成本节约、系统复杂性降低、操作员不适感降低等)，可能不提供触觉反馈。
此外，在一些实施例中，控制系统考虑不导致成像设备340的运动的显示单元310的运动、手动控制器320的输入设备(例如322、324)的运动，或者考虑不是由来自显示单元310、输入设备322、324或输入系统102的一些其他部件的命令导致的成像设备340的运动。例如，这种未链接的运动可以由对显示单元310、输入设备322、324和/或成像设备340的定位或取向的手动调整导致。例如，操作员302可以对显示单元310或手动控制器320的输入设备322、324的定位或取向进行人体工程学调整。具体地，在第一示例中，操作员302可以退出显示单元控制模式，手动调整显示单元310的定位或取向，然后重新进入显示单元控制模式。在第二示例中，操作员302可以退出手动控制模式，手动调整输入设备322、324的定位或取向，然后重新进入手动控制模式。在这种情况下，显示单元310或输入设备322、324的定位或取向可以被手动改变(例如，出于包括操作员人体工程学的任何原因)，但是控制系统不命令成像设备340的移动以跟随与该调整相关联的移动。作为另一示例，如果操作员302或其他人员或其他东西移动了成像设备340，则成像设备340可以被手动调整。具体地，在示例中，操作员302可以退出显示单元控制模式、手动控制模式和/或组合控制模式，手动调整成像设备340，然后重新进入显示单元控制模式或手动控制模式。在这种情况下，成像设备340的定位被移位，但是显示单元310和手动控制器320的输入设备322、324的定位不改变。
如以下更详细描述的，在一些实施例中，当显示单元310的定位或取向在人体工程学调整模式(其中没有发出相应的命令来移动成像设备340)中被调整时，控制系统：(1)在定位或取向的改变完成时或直到定位或取向的改变完成(这将显示单元参考点400的增量504设置为零)，基于显示单元310的定位和取向来更新显示单元基线参考点502，以及(2)求解等式6中的校正。在一些实施例中，控制系统然后(3)执行棘轮(ratcheting)技术以在多个移动周期内减少校正。
Δ成像设备＝缩放手动×Δ手动+缩放显示单元×Δ显示单元+校正 等式6
类似地，在一些实施例中，当手动控制器320的输入设备(例如，输入设备322、324)中的一个或多个的定位或取向在人体工程学调整模式中被调整时(其中没有发出移动成像设备340的相应命令)，控制系统(1)在人体工程学调整完成时或直到人体工程学调整完成(这将手动控制器参考点420的增量508设置为零)，基于一个或多个输入设备的定位和取向来更新手动控制器基线参考点506。然后，控制系统(2)求解等式6中的校正。在一些实施例中，控制系统进一步(3)执行棘轮技术以在多个移动周期内减少校正。
此外，在一些实施例中，当成像设备340的定位或取向在没有基于来自显示单元310、输入设备322、324或输入系统102的一些其他部件的(一个或多个)输入而生成的(一个或多个)命令的情况下调整移动时，控制系统：(1)在定位或取向的改变完成时(这将成像设备参考点430的增量设置为零)，基于成像设备340的定位和取向来更新成像设备基线参考点510，以及(2)求解等式6中的校正。在一些实施例中，控制系统然后(3)执行棘轮技术以在多个移动周期内减少校正。
在包括两个以上输入模态的其他实施例中，与输入模态中的每一个相关联的一个或多个参考点定位的改变可以被缩放和组合，以提供成像设备参考点的目标定位。该组合可以是简单和、加权和、线性或非线性或任何其他适当的组合。此外，一个虚拟跟随器设备可用于针对输入模态中的每一个确定与该输入模态相关联的(一个或多个)参考点中的每一个的定位的改变是否致使违反相关联的虚拟ROM限制。在一些实施例中，ROM限制的违反导致为该输入模态提供触觉反馈。
图6A-图6B图示了根据各种实施例的用于控制成像设备的方法600的简化图。方法600的过程602-634中的一个或多个可以至少部分地以存储在非暂时性、有形的机器可读介质上的可执行代码的形式来实施，当由一个或多个处理器(例如，控制系统140中的处理器150)运行时，该可执行代码可致使一个或多个处理器执行过程602-634中的一个或多个。在一些实施例中，方法600可以由一个或多个模块(例如控制系统140中的控制模块170)执行。在一些实施例中，方法600可以包括未示出的附加过程。在一些实施例中，过程602-634中的一个或多个可以至少部分地由控制系统140的单元中的一个或多个执行。
如图所示，方法600开始于过程602，其中手动控制器基线参考点506、显示单元基线参考点502和成像设备基线参考点510被初始化。如所描述的，在一些实施例中，手动控制器基线参考点506是参考手动控制器320的输入设备322、324的定位；例如，手动控制器基线参考点506可以基于手动控制器320的定位、取向和/或物理配置来限定。在一些示例中，手动控制器基线参考点506是当进入手动控制模式时输入设备322、324之间的中点。此外，在一些实施例中，显示单元基线参考点502是当进入显示单元控制模式时显示单元参考点400的定位。手动控制器基线参考点506可以是手动控制器参考系或世界参考系中的点。此外，在一些实施例中，成像设备基线参考点510是当进入手动控制模式或显示单元控制模式时成像设备参考点430的定位。成像设备基线参考点510可以是显示单元参考系或世界参考系中的点。
在过程604处，确定成像设备340的实际定位和成像设备340的先前命令定位之间的差。例如，先前命令定位可以是在先前的移动周期期间由控制系统发送到成像设备340被安装在其上的可重新定位结构的命令定位。然而，由于与成像设备340和/或成像设备340被安装在其上的可重新定位结构相关联的ROM限制、障碍物、碰撞等，成像设备340可能无法实现这样的命令定位。在过程604处，控制系统确定实际定位和先前命令定位之间的差(如果有的话)。
在过程606处，基于在过程604处确定的差向手动控制器320提供触觉反馈。在差为零或空或低于某个阈值量的情况下，可以不应用指示差的触觉反馈。如所描述的，在一些实施例中，触觉反馈与成像设备参考点430的实际定位和与成像设备340的先前命令定位相关联的成像设备参考点430的目标定位之间的差成比例。例如，触觉反馈可以根据等式5来确定。
在过程608处，确定手动控制器参考点420的定位和显示单元参考点400的定位。在一些实施例中，手动控制器参考点420的定位是相对于手动控制器(例如输入设备322、324之间的中点)确定的，并且显示单元参考点400的定位是在从显示单元310偏移的距离处(例如在远离操作员的方向上)确定的。在一些示例中，手动控制器参考点420和显示单元参考点400的定位可以分别基于输入设备322、324和显示单元310被安装在其上的可重新定位结构的关节定位使用正向运动学来确定。在其他示例中，手动控制器参考点420和显示单元参考点400的定位可以以任何技术上可行的方式来确定，例如通过输入设备322、324和显示单元310中的一个或多个传感器或耦合到输入设备322、324和显示单元310的一个或多个传感器和/或使用一个或多个外部跟踪系统。
在过程610处，如果手动控制器420已在手动控制器的移动不会致使成像设备340的相应移动的模式下被调整，则在过程612处，手动控制器基线参考点506被更新并且校正被确定。例如，当操作员302对输入设备322、324中的一个或两个的定位进行手动调整(例如人体工程学调整)时，手动控制器320可以在没有成像设备340的相应移动的情况下被移动。在这种情况下，通过在完成对输入设备322和/或输入设备324的手动调整时将手动控制器基线参考点506设置到手动控制器参考点420的定位，手动控制器基线参考点506可以被更新。
在过程614处，如果显示单元310已在显示单元310的移动不会致使成像设备340的相应移动的模式下被调整，则在过程616处，显示单元基线参考点502被更新并且校正被确定。例如，当操作员302对显示单元310进行手动调整(例如人体工程学调整)时，显示单元310可以在没有成像设备340的相应移动的情况下被移动。在这种情况下，通过在完成对显示单元310的手动调整时将显示单元基线参考点502设置到显示单元参考点400的定位，手动控制器基线参考点506可以被更新。
在过程618处，如果已在没有基于来自显示单元310、输入设备322、324或输入系统102的一些其他部件的(一个或多个)输入而生成的(一个或多个)命令的情况下移动了成像设备340，则在过程620处，成像设备基线参考点510被更新并且校正被确定。在一些实施例中，通过在完成对成像设备340的手动调整时将手动控制器基线参考点506设置到手动控制器基线参考点506的定位，手动控制器基线参照点506可以被更新。
在过程610、614和618中的任何或所有过程中，可通过求解等式6中的校正来确定适用的校正。
在过程622处，确定成像设备参考点430的第一虚拟目标定位514。在一些实施例中，根据等式2，第一虚拟目标定位514可以通过相对于手动控制器基线参考点506按缩放因子缩放手动控制器参考点420的增量来确定。
在过程624处，控制系统确定第一虚拟目标定位514是否可以被实现。如所描述的，在一些实施例中，第一虚拟跟随器设备520可以虚拟地朝向第一虚拟目标定位514移动。这使得能够确定是否违反了虚拟ROM限制。虚拟ROM限制对应于成像设备340和/或成像设备340被安装在其上的可重新定位结构的实际ROM限制。如本文所使用的，“朝向……移动”包括朝向目标移动的运动，无论该运动是否实现了目标。
如果由于违反了虚拟ROM限制而无法实现在过程622处确定的第一虚拟目标定位514，则在过程626处确定可实现定位。此外，在过程626处，触觉反馈可以被提供给手动控制器320。图7根据各种实施例更详细地图示了过程626。在一些实施例中，针对多个轴线中的每一个(例如，xh、yh和zh轴线中的每一个)单独执行过程702-708。
如图所示，在过程702处，确定成像设备340的可实现定位。再次，可以基于成像设备参考点430的第一虚拟目标定位514将可实现定位确定为在满足与第一虚拟跟随器设备520相关联的虚拟ROM限制的同时成像设备340的可以被实现的定位。
在过程704处，确定触觉反馈。在一些示例中，触觉反馈可以被确定为力，该力是成像设备参考点430的增量和成像设备参考点430的目标增量之间的差的函数。增量可以与成像设备340的可实现定位相关联。目标增量可以基于手动控制器参考点420的增量来确定，例如根据等式3。
在过程706处，触觉反馈被转换为关节力和/或扭矩。在一些示例中，触觉反馈可以经由反向运动学转换为输入设备322、324被安装在其上的一个或多个可重新定位结构的关节的关节力和/或扭矩。
在过程708处，关节力和/或扭矩被施加到手动控制器320的输入设备322、324被安装在其上的(一个或多个)可重新定位结构上。在一些示例中，一个或多个命令可以被生成并发送到输入设备322、324被安装在其上的(一个或多个)可重新定位结构中的关节的控制器，以提供关节力和/或扭矩。
返回图6，在过程628处，确定成像设备参考点430的第二虚拟目标定位518。图8根据各种实施例更详细地图示了过程628。在一些实施例中，针对多个轴线中的每一个(例如，xi、yi和zi轴线中的每一个)单独执行过程802-812。如图所示，在过程802处，如果来自先前移动周期的非零校正被识别，则方法600继续到过程804，在过程804处确定新的(第k个)校正。如所描述的，新的(第k个)校正可以是响应于手动控制器320的输入设备322、324和/或显示单元310的出于人体工程学原因的手动重新定位和/或成像设备340的手动重新位置而确定的等式6中的校正。
在过程806处，如果新的(第k个)校正的数值大于先前的(第k-1个)校正的数值，则在过程808处，校正被设置为先前的(第k-1个)校正。另一方面，如果新的(第k个)校正的数值不大于先前的(第k-1个)校正的数值，则在过程810处，基于新的(第k个)校正、先前的(第k-1个)校正和棘轮因子来设置校正。在一些示例中，过程806-810可以根据等式7来实施。
如果|校正k|＞|校正k-1|，则校正k＝校正k-1，否则校正k＝r×校正k+(1-r)×校正k-1 等式7
其中r是棘轮因子0<r≤1。在一些示例中，可以基于操作员偏好、显示单元310的类型、成像设备340的类型、正被执行的程序等中的一个或多个来选择r。
在过程808和810之后，或者如果在过程802处没有识别出校正，则在过程812处基于手动控制器参考点和校正(如果有的话)来确定成像设备参考点430的第一目标定位。在一些示例中，过程812可以根据上文结合图5描述的等式6来实施。在一些示例中，棘轮因子r可以被设置为1。在这种情况下，根据等式1，成像设备参考点430(以及操作员看到的图像)将不会移动，直到校正被消除并且成像设备参考点430直接跟随显示单元参考点400和手动控制器参考点420。此外，通过允许校正仅改变为较小的数字，校正收敛到零。
返回图6，在过程630处，控制系统确定第二虚拟目标定位518是否可以被实现。如所描述的，在一些实施例中，第二虚拟跟随器设备530可以虚拟地朝向第二虚拟目标定位518移动。这使得能够确定是否违反了虚拟ROM限制。虚拟ROM限制对应于实际ROM限制。
如果第二虚拟目标定位518可以被实现，则在过程632处，基于成像设备参考点430的第二虚拟目标定位518来致动成像设备340。在一些示例中，例如当成像设备340被包括在上文结合图1描述的内窥镜中时，可以使用反向运动学来确定成像设备340和/或成像设备340被安装在其上的可重新定位结构的关节定位，使得成像设备参考点430朝向根据过程628确定的目标定位移动。在这种情况下，适当的命令可以被生成并传输到成像设备340和/或成像设备340被安装在其上的可重新定位结构的关节的控制器。在其他示例中，成像设备340可以以任何技术上可行的方式重新定位。
另一方面，如果第二虚拟目标定位518无法被实现，则在过程634处确定可实现定位。然后，成像设备340被致动至可实现定位或被致动朝向可实现定位。触觉反馈可以被提供给显示单元310。图9根据各种实施例更详细地图示了过程634。在一些实施例中，针对多个轴线中的每一个(例如，xd、yd和zd轴线中的每一个)单独执行过程902-908。
如图所示，在过程902处，确定成像设备340的可实现定位。如所描述的，在一些实施例中，可以基于成像设备参考点430的第二虚拟目标定位518将可实现定位确定为在满足与第二虚拟跟随器设备530相关联的虚拟ROM限制的同时成像设备340的可以被实现的定位。
在过程904处，确定触觉反馈。在一些示例中，触觉反馈可以被确定为力，根据等式4，该力与使用第二虚拟跟随器设备530确定的可以被实现的与成像设备参考点430的定位相关联的增量和通过应用缩放因子与第二虚拟目标定位518的定位相关的增量之间的差成比例。
在过程906处，触觉反馈被转换为关节力和/或扭矩。在一些示例中，触觉反馈可以经由反向运动学转换为显示单元310被安装在其上的可重新定位结构的关节的关节力和/或扭矩。在其他示例中，触觉反馈可以被转换为任何(一种或多种)技术上可行的形式，例如头戴式设备的振动。
在过程908处，关节力和/或扭矩(或其他(一种或多种)形式的触觉反馈)被施加到显示单元310被安装在其上(或以其他方式)的可重新定位结构。在一些示例中，一个或多个命令可以被生成并发送到显示单元310被安装在其上的可重新定位结构中的关节的控制器，以提供关节力和/或扭矩(或其他(一种或多种)形式的触觉反馈)。
返回图6，在成像设备340通过过程632或634被致动到新的定位或被致动朝向新的定位之后，通过返回到过程604开始下一个移动周期。
有利地，所公开的实施例允许可重新定位的成像设备的运动跟随操作员控制多个输入模态时被跟踪的这些输入模态的运动。所公开的实施例还确定可重新定位的成像设备不能跟随多个输入模态中的哪一个，从而可以提供触觉反馈以阻止操作员以不能跟随的方式移动所识别的(一个或多个)输入模态的进一步尝试。此外，所公开的实施例避免当操作员对输入模态进行人体工程学调整或手动重新定位成像设备时可能会使操作员感到困惑的不连续性。
图6至图9中所示的方法中的过程中的一个或多个可以部分或全部以存储在非暂时性、有形的机器可读介质上的可执行代码的形式实施，当由一个或多个处理器(例如，控制系统140中的处理器150)运行时，该可执行代码可致使一个或多个处理器执行方法600的过程和/或图6、图7和图8中任何一个的过程中的一个或多个。在一些实施例中，过程可以由一个或多个模块(例如控制系统140中的控制模块170)执行。在一些实施例中，方法600可以包括未示出的附加过程。可以包括方法600的过程和/或图6、图7和/或图8的过程的一些常见形式的机器可读介质是例如软盘、软磁盘、硬盘、磁带、任何其他磁性介质、CD-ROM、任何其他光学介质、穿孔卡、纸带、任何其他具有孔图案的物理介质、RAM、PROM、EPROM、FLASH-EPROM，任何其它存储器芯片或盒式存储器和/或处理器或计算机适于从中读取的任何其它介质。
虽然已经示出和描述了说明性实施例，但是在上述公开中设想了广泛的修改、改变和替换，并且在一些情况下，可以采用实施例的一些特征而不相应地使用其他特征。本领域普通技术人员将认识到许多变化、替代和修改。因此，本发明的范围应当仅受以下权利要求的限制，并且适当的是，权利要求被广泛地解释，并且以与本文公开的实施例的范围一致的方式解释。

Claims (45)

1.一种计算机辅助设备，包括：
第一可重新定位结构，其被配置为支撑成像设备；和
耦合到所述第一可重新定位结构的控制系统；
其中所述控制系统被配置为：
确定与第一输入模态相关联的第一参考点的定位；
在第一模式中，基于至少所述第一参考点来确定所述成像设备的目标参考点的定位；
在第二模式中，确定与第二输入模态相关联的第二参考点的定位，并且基于至少所述第一参考点的所述定位和所述第二参考点的所述定位来确定所述目标参考点的所述定位；
确定移动所述成像设备使得与所述成像设备相关联的第三参考点朝向所述目标参考点移动的所述第一可重新定位结构的移动；和
基于所确定的移动致使所述第一可重新定位结构的致动。
2.根据权利要求1所述的计算机辅助设备，其中所述计算机辅助设备是远程操作的医疗设备。
3.根据权利要求1所述的计算机辅助设备，其中所述第一输入模态包括对手动控制器或显示单元中的一个的操纵，并且所述第二输入模态包括对所述手动控制器或所述显示单元中的另一个的操纵。
4.根据权利要求3所述的计算机辅助设备，其中所述第一输入模态包括对所述手动控制器的操纵，并且其中所述第二输入模态包括对所述显示单元的操纵。
5.根据权利要求3所述的计算机辅助设备，其中所述第一参考点通过在远离操作员的方向上在所述显示单元的前面而从所述显示单元偏移，其中所述手动控制器包括第一输入控件和第二输入控件，其中所述第二参考点在所述第一输入控件和所述第二输入控件之间的中点处，并且其中所述第三参考点通过在所述成像设备的视场方向上在所述成像设备的前面而从所述成像设备偏移。
6.根据权利要求3所述的计算机辅助设备，其中所述成像设备和被配置为支撑所述成像设备的所述第一可重新定位结构一起具有第一多个自由度，其中所述显示单元和被配置为支撑所述显示单元的第二可重新定位结构一起具有不同于所述第一多个自由度的第二多个自由度，并且其中所述手动控制器的输入控件和被配置为支撑所述输入控件的第三可重新定位结构一起具有不同于所述第一多个自由度的第三多个自由度。
7.根据权利要求6所述的计算机辅助设备，其中所述第一多个自由度在数量上不同于所述第二多个自由度和所述第三多个自由度，或者其中所述第一多个自由度包括不与所述第二多个自由度或所述第三多个自由度匹配的一个或多个自由度。
8.根据权利要求3所述的计算机辅助设备，还包括：被配置为支撑工具的另一可重新定位结构，其中所述控制系统还被配置为：
在第三模式中，响应于经由所述第二输入模态接收的输入，致使所述另一可重新定位结构的致动以移动所述工具。
9.根据权利要求1所述的计算机辅助设备，其中所述控制系统还被配置为：在第三模式中，确定与所述第二输入模态相关联的所述第二参考点的所述定位，确定与第三输入模态相关联的第四参考点的定位，并且基于至少所述第一参考点的所述定位、所述第二参考点的所述定位和所述第四参考点的所述定位来确定所述目标参考点的所述定位。
10.根据权利要求1所述的计算机辅助设备，其中，为了基于至少所述第一参考点的所述定位和所述第二参考点的所述定位来确定所述目标参考点的所述定位，所述控制系统被配置为将第一缩放差加到第二缩放差，所述第一缩放差是所述第一参考点的所述定位与按第一缩放因子缩放的所述第一输入模态的基线参考点之间的差，并且所述第二缩放差是所述第二参考点的所述定位与按第二缩放因子缩放的所述第二输入模态的基线参考点之间的差。
11.根据权利要求10所述的计算机辅助设备，其中所述第一缩放因子等于所述第二缩放因子。
12.根据权利要求10所述的计算机辅助设备，其中所述控制系统还被配置为：
基于进入所述第一模式时所述第一参考点的所述定位来确定所述第一输入模态的所述基线参考点；
基于进入第三模式时所述第二参考点的所述定位来确定所述第二输入模态的所述基线参考点；和
基于进入所述第一模式或进入所述第三模式时所述成像设备的配置来确定所述成像设备的所述基线参考点。
13.根据权利要求12所述的计算机辅助设备，其中所述控制系统被进一步配置为：
在所述第三模式中，确定与所述第二输入模态相关联的所述第二参考点的所述定位，并且基于至少所述第二参考点的所述定位来确定所述目标参考点的所述定位。
14.根据权利要求1至13中任一项所述的计算机辅助设备，其中所述控制系统还被配置为：
确定使用虚拟跟随器设备是否能够实现所述目标参考点；和
响应于确定不能实现所述目标参考点：
基于所述第三参考点的可实现定位与所述目标参考点之间的差来确定触觉反馈，
基于所述触觉反馈确定被配置为支撑所述第一输入模态的第二可重新定位结构或被配置为支撑所述第二输入模态的第三可重新定位结构中的关节的关节力或扭矩，以及
基于所确定的关节力或扭矩致使所述第二可重新定位结构或所述第三可重新定位结构的所述关节的致动。
15.根据权利要求1至13中任一项所述的计算机辅助设备，其中所述控制系统还被配置为响应于确定所述第一可重新定位结构不能实现所确定的移动：
基于所述第一可重新定位结构的可实现移动与所确定的移动之间的差来确定触觉反馈；
基于所述触觉反馈确定被配置为支撑所述第一输入模态的第二可重新定位结构中的关节的关节力或扭矩；和
基于所确定的关节力或扭矩来致使所述第二可重新定位结构的所述关节的致动。
16.根据权利要求1至13中任一项所述的计算机辅助设备，其中所述控制系统还被配置为响应于识别对所述第一输入模态的手动调整：
在完成对所述第一输入模态的所述手动调整时，将所述第一输入模态的基线参考点设置到所述第一参考点的所述定位；
基于所述第二参考点和所述第二输入模态的基线参考点之间的差以及所述第三参考点和所述成像设备的基线参考点之间的差来设置校正；和
在一个或多个移动周期内减少所述校正。
17.根据权利要求1至13中任一项所述的计算机辅助设备，其中所述控制系统还被配置为响应于识别对所述第二输入模态的手动调整：
在完成对所述第二输入模态的所述手动调整时，将所述第二输入模态的基线参考点设置到所述第二参考点的所述定位；
基于所述第一参考点和所述第一输入模态的基线参考点之间的差以及所述第三参考点和所述成像设备的基线参考点之间的差来设置校正；和
在一个或多个移动周期内减少所述校正。
18.根据权利要求1至13中任一项所述的计算机辅助设备，其中所述控制系统还被配置为响应于识别对所述成像设备的手动调整：
在完成对所述成像设备的所述手动调整时，将所述成像设备的基线参考点设置到所述第三参考点的所述定位；
基于所述第一参考点和所述第一输入模态的基线参考点之间的差以及所述第二参考点与所述第二输入模态的基线参考点之间差来设置校正；和
在一个或多个移动周期内减少所述校正。
19.一种计算机辅助设备，包括：
第一可重新定位结构，其被配置为支撑成像设备；和
耦合到所述第一可重新定位结构的控制系统；
其中所述控制系统被配置为：
确定与第一输入模态相关联的第一参考点的定位；
基于至少所述第一参考点的所述定位来确定第一目标参考点的定位；
确定所述第一可重新定位结构是否能够被致动以移动所述成像设备而使得与所述成像设备相关联的第三参考点移动到所述第一目标参考点；
确定与第二输入模态相关联的第二参考点的定位；
基于至少所述第一参考点的所述定位和所述第二参考点的所述定位来确定第二目标参考点的定位；
确定所述第一可重新定位结构是否能够被致动以移动所述成像设备而使得所述第三参考点移动到所述第二目标参考点；和
响应于确定所述第一可重新定位结构能够被致动以移动所述成像设备而使得所述第三参考点移动到所述第二目标参考点，基于所述第二目标参考点的所述定位致动所述第一可重新定位结构。
20.根据权利要求19所述的计算机辅助设备，其中所述控制系统被配置为使用第一虚拟跟随器设备来确定所述第一可重新定位结构是否能够被致动以移动所述成像设备而使得所述第三参考点移动到所述第一目标参考点，以及使用第二虚拟跟随器设备来确定所述第一可重新定位结构是否能够被致动以移动所述成像设备而使得所述第三参考点移动到所述第二目标参考点。
21.根据权利要求19所述的计算机辅助设备，其中所述第一输入模态包括对手动控制器或显示单元中的一个的操纵，并且所述第二输入模态包括对所述手动控制器或所述显示单元中的另一个的操纵。
22.根据权利要求21所述的计算机辅助设备，其中：
所述第一参考点通过在远离操作员的方向上在所述显示单元的前面而从所述显示单元偏移；
所述手动控制器包括第一输入控件和第二输入控件；
所述第二参考点在所述第一输入控件和所述第二输入控件之间的中点处；所述第三参考点通过在所述成像设备的视场方向上在所述成像设备的前面而从所述成像设备偏移；
所述成像设备和被配置为支撑所述成像设备的所述第一可重新定位结构一起具有第一多个自由度；
所述显示单元和被配置为支撑所述显示单元的第二可重新定位结构一起具有不同于所述第一多个自由度的第二多个自由度；和
所述手动控制器的输入控件和被配置为支撑所述输入控件的第三可重新定位结构一起具有不同于所述第一多个自由度的第三多个自由度。
23.根据权利要求19所述的计算机辅助设备，其中所述控制系统还被配置为：确定与所述第二输入模态相关联的所述第二参考点的所述定位，确定与第三输入模态相关联的第四参考点的定位，并且基于至少所述第一参考点的所述定位、所述第二参考点的所述定位和所述第四参考点的所述定位来确定所述第二目标参考点的所述定位。
24.根据权利要求19所述的计算机辅助设备，其中，为了基于至少所述第一参考点的所述定位和所述第二参考点的所述定位来确定所述第二目标参考点的所述定位，所述控制系统被配置为将第一缩放差加到第二缩放差，所述第一缩放差是所述第一参考点的所述定位与按第一缩放因子缩放的所述第一输入模态的基线参考点之间的差，并且所述第二缩放差是所述第二参考点的所述定位与按第二缩放因子缩放的所述第二输入模态的基线参考点之间的差。
25.根据权利要求19至24中任一项所述的计算机辅助设备，其中所述控制系统还被配置为响应于识别对所述第一输入模态的手动调整：
在完成对所述第一输入模态的所述手动调整时，将所述第一输入模态的基线参考点设置到所述第一参考点的所述定位；
基于所述第二参考点和所述第二输入模态的基线参考点之间的差以及所述第三参考点和所述成像设备的基线参考点之间的差来设置校正；和
在一个或多个移动周期内减少所述校正。
26.根据权利要求19至24中任一项所述的计算机辅助设备，其中所述控制系统还被配置为响应于识别对所述第二输入模态的手动调整：
在完成对所述第二输入模态的所述手动调整时，将所述第二输入模态的基线参考点设置到所述第二参考点的所述定位；
基于所述第一参考点和所述第一输入模态的基线参考点之间的差以及所述第三参考点和所述成像设备的基线参考点之间的差来设置校正；和
在一个或多个移动周期内减少所述校正。
27.根据权利要求19至24中任一项所述的计算机辅助设备，其中所述控制系统还被配置为响应于识别对所述成像设备的手动调整：
在完成对所述成像设备的所述手动调整时，将所述成像设备的基线参考点设置到所述第三参考点的所述定位；
基于所述第一参考点和所述第一输入模态的基线参考点之间的差以及所述第二参考点与所述第二输入模态的基线参考点之间差来设置校正；和
在一个或多个移动周期内减少所述校正。
28.一种操作计算机辅助设备的方法，所述计算机辅助设备包括第一可重新定位结构和一个或多个处理器，所述一个或多个处理器通信地耦合到所述第一可重新定位结构，所述方法包括：
由所述一个或多个处理器确定与第一输入模态相关联的第一参考点的定位；
在第一模式中，由所述一个或多个处理器基于至少所述第一参考点来确定由计算机辅助设备的第一可重新定位结构支撑的成像设备的目标参考点的定位；
在第二模式中，由所述一个或多个处理器确定与第二输入模态相关联的第二参考点的定位，并且基于至少所述第一参考点的所述定位和所述第二参考点的所述定位确定所述目标参考点的所述定位；
由所述一个或多个处理器确定移动所述成像设备而使得与所述成像设备相关联的第三参考点朝向所述目标参考点移动的所述第一可重新定位结构的移动；和
由所述一个或多个处理器基于所确定的移动来致使所述第一可重新定位结构的致动。
29.根据权利要求28所述的方法，其中所述第一输入模态包括对手动控制器或显示单元中的一个的操纵，并且所述第二输入模态包括对所述手动控制器或所述显示单元中另一个的操纵。
30.根据权利要求29所述的方法，其中所述第一参考点通过在远离操作员的方向上在所述显示单元的前面而从所述显示单元偏移，其中所述手动控制器包括第一输入控件和第二输入控件，其中所述第二参考点在所述第一输入控件和所述第二输入控件之间的中点处，并且其中所述第三参考点通过在所述成像设备的视场方向上在所述成像设备的前面而从所述成像设备偏移。
31.根据权利要求29所述的方法，进一步包括：
在第三模式中，响应于经由所述第二输入模态接收的输入，致使另一可重新定位结构的致动以移动工具，其中所述另一可重新定位结构被配置为支撑所述工具。
32.根据权利要求28所述的方法，其中基于至少所述第一参考点的所述定位和所述第二参考点的所述定位来确定所述目标参考点的所述定位包括：
将第一缩放差加到第二缩放差，所述第一缩放差是所述第一参考点的所述定位与按第一缩放因子缩放的所述第一输入模态的基线参考点之间的差，并且所述第二缩放差是所述第二参考点的所述定位与按第二缩放因子缩放的所述第二输入模态的基线参考点之间的差。
33.根据权利要求32所述的方法，进一步包括：
基于进入所述第一模式时所述第一参考点的所述定位来确定所述第一输入模态的所述基线参考点；
基于进入第三模式时所述第二参考点的所述定位来确定所述第二输入模态的所述基线参考点；和
基于进入所述第一模式或进入所述第三模式时所述成像设备的配置来确定所述成像设备的基线参考点。
34.根据权利要求33所述的方法，进一步包括：
在所述第三模式中，确定与所述第二输入模态相关联的所述第二参考点的所述定位，并且基于至少所述第二参考点的所述定位来确定所述目标参考点的所述定位。
35.根据权利要求28所述的方法，进一步包括：
确定使用虚拟跟随器设备是否能够实现所述目标参考点；和
响应于确定不能实现所述目标参考点：
基于所述第三参考点的可实现定位与所述目标参考点之间的差来确定触觉反馈，
基于所述触觉反馈确定被配置为支撑所述第一输入模态的第二可重新定位结构或被配置为支撑所述第二输入模态的第三可重新定位结构中的关节的关节力或扭矩，以及
基于所确定的关节力或扭矩致使所述第二可重新定位结构或所述第三可重新定位结构的所述关节的致动。
36.根据权利要求28所述的方法，还包括响应于确定所述第一可重新定位结构不能实现所确定的移动：
基于所述第一可重新定位结构的可实现移动与所确定的移动之间的差来确定触觉反馈；
基于所述触觉反馈确定被配置为支撑所述第一输入模态的第二可重新定位结构中的关节的关节力或扭矩；和
基于所确定的关节力或扭矩来致使所述第二可重新定位结构的所述关节的致动。
37.根据权利要求28所述的方法，还包括响应于识别对所述第一输入模态的手动调整：
在完成对所述第一输入模态的所述手动调整时，将所述第一输入模态的基线参考点设置到所述第一参考点的所述定位；
基于所述第二参考点和所述第二输入模态的基线参考点之间的差以及所述第三参考点和所述成像设备的基线参考点之间的差来设置校正；和
在一个或多个移动周期内减少所述校正。
38.根据权利要求28所述的方法，还包括响应于识别对所述第二输入模态的手动调整：
在完成对所述第二输入模态的所述手动调整时，将所述第二输入模态的基线参考点设置到所述第二参考点的所述定位；
基于所述第一参考点和所述第一输入模态的基线参考点之间的差以及所述第三参考点和所述成像设备的基线参考点之间的差来设置校正；和
在一个或多个移动周期内减少所述校正。
39.根据权利要求28所述的方法，还包括响应于识别对所述成像设备的手动调整：
在完成对所述成像设备的所述手动调整时，将所述成像设备的基线参考点设置到所述第三参考点的所述定位；
基于所述第一参考点和所述第一输入模态的基线参考点之间的差以及所述第二参考点与所述第二输入模态的基线参考点之间的差来设置校正；和
在一个或多个移动周期内减少所述校正。
40.一种操作计算机辅助设备的方法，所述计算机辅助设备包括第一可重新定位结构和一个或多个处理器，所述一个或多个处理器通信地耦合到所述第一可重新定位结构，所述方法包括：
由所述一个或多个处理器确定与第一输入模态相关联的第一参考点的定位；
由所述一个或多个处理器基于至少所述第一参考点的所述定位来确定第一目标参考点的定位；
由所述一个或多个处理器确定所述第一可重新定位结构是否能够被致动以移动成像设备而使得与所述成像设备相关联的第三参考点移动到所述第一目标参考点；
由所述一个或多个处理器确定与第二输入模态相关联的第二参考点的定位；
由所述一个或多个处理器基于至少所述第一参考点的所述定位和所述第二参考点的所述定位来确定第二目标参考点的定位；
由所述一个或多个处理器确定所述第一可重新定位结构是否能够被致动以移动所述成像设备而使得所述第三参考点移动到所述第二目标参考点；和
响应于确定所述第一可重新定位结构能够被致动以移动所述成像设备而使得所述第三参考点移动到所述第二目标参考点，基于所述第二目标参考点的所述定位致动所述第一可重新定位结构。
41.根据权利要求40所述的方法，其中：
确定所述第一可重新定位结构是否能够被致动以移动所述成像设备而使得所述第三参考点移动到所述第一目标参考点包括：使用第一虚拟跟随器设备；和
确定所述第一可重新定位结构是否能够被致动以移动所述成像设备而使得所述第三参考点移动到所述第二目标参考点包括：使用第二虚拟跟随器设备。
42.根据权利要求40所述的方法，其中所述第一输入模态包括对手动控制器或显示单元中的一个的操纵，并且所述第二输入模态包括对所述手动控制器或所述显示单元中另一个的操纵。
43.根据权利要求42所述的方法，其中：
所述第一参考点通过在远离操作员的方向上在所述显示单元的前面而从所述显示单元偏移；
所述手动控制器包括第一输入控件和第二输入控件；
所述第二参考点在所述第一输入控件和所述第二输入控件之间的中点处；所述第三参考点通过在所述成像设备的视场方向上在所述成像设备的前面而从所述成像设备偏移；
所述成像设备和被配置为支撑所述成像设备的所述第一可重新定位结构一起具有第一多个自由度；
所述显示单元和被配置为支撑所述显示单元的第二可重新定位结构一起具有不同于所述第一多个自由度的第二多个自由度；并且
所述手动控制器的输入控件和被配置为支撑所述输入控件的第三可重新定位结构一起具有不同于所述第一多个自由度的第三多个自由度。
44.根据权利要求40所述的方法，还包括响应于识别对所述第二输入模态的手动调整：
在完成对所述第二输入模态的所述手动调整时，将所述第二输入模态的基线参考点设置到所述第二参考点的所述定位；
基于所述第一参考点和所述第一输入模态的基线参考点之间的差以及所述第三参考点和所述成像设备的基线参考点之间的差来设置校正；和
在一个或多个移动周期内减少所述校正。
45.一个或多个非暂时性机器可读介质，其包括多个机器可读指令，当由一个或多个处理器执行时，所述多个机器可读指令适于致使所述一个或多个处理器执行权利要求19至44中任一项所述的方法。
CN202180069301.8A 2020-12-10 2021-12-08 经由多输入模态的成像设备控制 Pending CN116348054A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063123939P 2020-12-10 2020-12-10
US63/123,939 2020-12-10
PCT/US2021/062466 WO2022125699A1 (en) 2020-12-10 2021-12-08 Imaging device control via multiple input modalities

Publications (1)

Publication Number Publication Date
CN116348054A true CN116348054A (zh) 2023-06-27

Family

ID=80119556

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180069301.8A Pending CN116348054A (zh) 2020-12-10 2021-12-08 经由多输入模态的成像设备控制

Country Status (4)

Country Link
US (1) US20240024049A1 (zh)
EP (1) EP4259029A1 (zh)
CN (1) CN116348054A (zh)
WO (1) WO2022125699A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8335590B2 (en) * 2008-12-23 2012-12-18 Intuitive Surgical Operations, Inc. System and method for adjusting an image capturing device attribute using an unused degree-of-freedom of a master control device
EP2979605A4 (en) * 2013-03-29 2016-11-23 Tokyo Inst Tech ENDOSCOPE OPERATING SYSTEM AND ENDOSCOPE PROGRAM
US10265057B2 (en) * 2013-08-14 2019-04-23 Intuitive Surgical Operations, Inc. Endoscope control system
JP2018202032A (ja) * 2017-06-08 2018-12-27 株式会社メディカロイド 医療器具の遠隔操作装置

Also Published As

Publication number Publication date
WO2022125699A1 (en) 2022-06-16
EP4259029A1 (en) 2023-10-18
US20240024049A1 (en) 2024-01-25

Similar Documents

Publication Publication Date Title
US11173005B2 (en) Methods and devices for tele-surgical table registration
KR102482803B1 (ko) 컴퓨터 보조 원격조작 시스템에서의 2차 기구 제어
WO2014093367A1 (en) Collision avoidance during controlled movement of image capturing device and manipulatable device movable arms
CN113873961A (zh) 用于断开和进入远程操作模式的联锁机构
US20230064265A1 (en) Moveable display system
US20240025050A1 (en) Imaging device control in viewing systems
CN114521131A (zh) 用于臂间配准的系统和方法
Bihlmaier et al. Endoscope robots and automated camera guidance
US20240000534A1 (en) Techniques for adjusting a display unit of a viewing system
WO2023023186A1 (en) Techniques for following commands of an input device using a constrained proxy
US20240024049A1 (en) Imaging device control via multiple input modalities
US20220296323A1 (en) Moveable display unit on track
US20220287788A1 (en) Head movement control of a viewing system
US20230393544A1 (en) Techniques for adjusting a headrest of a computer-assisted system
CN116546931A (zh) 用于基于操作员的头部运动来调整成像设备的视场的技术
CN116528790A (zh) 用于调整观看系统的显示单元的技术
WO2023069745A1 (en) Controlling a repositionable structure system based on a geometric relationship between an operator and a computer-assisted device
US20240008942A1 (en) Steerable viewer mode activation and de-activation
WO2023177802A1 (en) Temporal non-overlap of teleoperation and headrest adjustment in a computer-assisted teleoperation system
WO2023163955A1 (en) Techniques for repositioning a computer-assisted system with motion partitioning
WO2022232170A1 (en) Method and apparatus for providing input device repositioning reminders
WO2024076592A1 (en) Increasing mobility of computer-assisted systems while maintaining a partially constrained field of view
WO2023192204A1 (en) Setting and using software remote centers of motion for computer-assisted systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination