CN110678141A - 无标记机器人跟踪系统、控制器和方法 - Google Patents

无标记机器人跟踪系统、控制器和方法 Download PDF

Info

Publication number
CN110678141A
CN110678141A CN201880034989.4A CN201880034989A CN110678141A CN 110678141 A CN110678141 A CN 110678141A CN 201880034989 A CN201880034989 A CN 201880034989A CN 110678141 A CN110678141 A CN 110678141A
Authority
CN
China
Prior art keywords
robot
coordinate system
controller
camera
surgical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880034989.4A
Other languages
English (en)
Inventor
G·A·托波雷克
A·波波维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN110678141A publication Critical patent/CN110678141A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2059—Mechanical position encoders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/302—Surgical robots specifically adapted for manipulations within body cavities, e.g. within abdominal or thoracic cavities
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937—Visible markers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Robotics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Manipulator (AREA)

Abstract

一种无标记机器人跟踪系统(10)采用外科手术RCM机器人(20)，所述外科手术RCM机器人包括能围绕主要旋转轴线旋转的主要旋转关节(22)和能围绕次级旋转轴线旋转的次级旋转关节(22)。多个唯一路标集合被集成到所述机器人(20)中，其中，每个唯一路标集合包括处于相对于所述主要旋转轴线的固定取向的(一个或多个)路标(30)，并且还包括处于相对于所述次级旋转轴线的固定取向的额外的(一个或多个)路标(30)。所述系统(10)还包括光学相机(41、51)和机器人跟踪控制器(70)，所述光学相机用于在相机坐标系(43、53)内对所述多个唯一路标集合的子集进行可视化，所述机器人跟踪控制器用于估计从由所述光学相机(41、51)在所述相机坐标系(43、53)内对(一个或多个)路标的所述子集的所述可视化导出的所述外科手术RCM机器人(20)在所述相机坐标系(43、53)内的机器人姿态。

Description

无标记机器人跟踪系统、控制器和方法
技术领域
本公开内容的发明总体上涉及出于跟踪外科手术机器人在相机坐标系内的姿态(例如，在光学位置测量系统的坐标系中跟踪光学标记或在电磁位置测量系统的坐标系中跟踪电磁传感器)的目的而使用被附接到外科手术机器人的可跟踪标记的系统、控制器和方法。
本公开内容的发明更具体地涉及通过出于估计外科手术机器人在位置测量系统(例如，光学位置测量系统或单目位置测量系统)的坐标系内的姿态的目的而将可跟踪路标集成到外科手术机器人中来改进这种系统、控制器和方法。
背景技术
在大多数图像引导的流程中，在配准之后，被跟踪的外科手术器械与先前采集的医学图像被共同显示。相对于患者坐标系的器械位置的这种显示可视化已经表明是有益于各种临床流程的，特别是有益于涉及外科手术器械相对于关键解剖结构的位置的术中确认的流程。
对外科手术器械(例如，组织切除设备、超声换能器、针等)的跟踪可以通过外部位置测量系统(例如，光学位置测量系统、电磁位置测量系统等)来实现。在机器人外科手术工具的情况下，鉴于电磁跟踪的准确性易受铁磁材料(例如，不锈钢器械和机器人臂、电动机等)(其不仅存在于手术室中而且通常还在外科手术机器人系统中使用)影响，利用电磁传感器的跟踪已经证明是不可行的。
另一方面，光学跟踪的高准确性和集成容易性已经使光学跟踪技术在技术团体中非常普及。最常见的方法是使用被附接到机器人的臂的外部标记。例如，逆向反射标记结合红外光学跟踪系统已经用于检测机器人臂的运动和减少机器人的笛卡尔位置误差。使用逆向反射标记的光学跟踪也已经针对微创机器人辅助的椎弓根螺钉置入以及脊柱融合进行了研究，其中，光学标记被安装在机器人末端执行器和患者的椎骨两者上并随后用于导航。另一患者-机器人配准方法已经被并入所描述的机器人系统中，其中，该方法涉及使用基于点的匹配的粗略配准和基于表面匹配的精细对准。
发明内容
为了对用于跟踪外科手术RCM机器人在相机坐标系内的姿态的基于标记的跟踪系统、控制器和方法进行改进，本公开内容提供了用于基于被集成到外科手术RCM机器人中的唯一路标集合在相机坐标系内的可视化来估计外科手术RCM机器人在位置测量系统的坐标系内的姿态的发明。
本公开内容的发明的一个实施例是一种无标记机器人跟踪系统，所述无标记机器人跟踪系统包括在机器人坐标系内能在多个姿态之间转变的外科手术RCM机器人。
所述外科手术RCM机器人包括能围绕主要旋转轴线旋转的主要旋转关节和能围绕次级旋转轴线旋转的次级旋转关节。
多个唯一路标集合被集成到所述外科手术RCM机器人中。每个唯一路标集合包括处于相对于所述主要旋转轴线的固定取向的一个或多个路标，并且还包括处于相对于所述次级旋转轴线的固定取向的额外的一个或多个路标。
所述系统还采用光学相机和机器人跟踪控制器来跟踪所述外科手术RCM机器人。
在操作中，所述光学相机在相机坐标系内对路标的子集或所有路标进行可视化。所述路标的所述子集包括来自所述唯一路标集合中的一个或多个唯一路标集合的两个或更多个路标。
所述机器人跟踪控制器响应于由所述光学相机在所述相机坐标系内对路标的所述子集的可视化而控制对所述外科手术RCM机器人在所述相机坐标系内的机器人姿态的估计。
对所述外科手术RMC机器人在所述相机坐标系内的所述机器人姿态的所述估计可以涉及由所述机器人跟踪控制器对所述机器人坐标系与所述相机坐标系之间的平移对准和/或旋转取向的估计。
本公开内容的发明的第二实施例是一种无标记机器人跟踪设备，所述无标记机器人跟踪设备包括机器人姿态控制器，所述机器人姿态控制器用于响应于由所述光学相机在所述相机坐标系内对路标的所述子集的所述可视化而控制对所述外科手术RCM机器人在所述相机坐标系内的所述机器人姿态的估计，并且还用于生成外科手术RCM机器人姿态数据，所述外科手术RCM机器人姿态数据提供对所述外科手术RCM机器人在所述相机坐标系内的所述机器人姿态的所述估计。
可以出于介入流程的任何目的来处理所述外科手术RCM机器人姿态数据，包括但不限于所述外科手术RCM机器人在所述相机坐标系内的所述机器人姿态到与患者的介入图像(例如，CT图像、MRI图像、X射线图像、超声图像等)内的相关联的图像坐标系内的变换，由此机器人器械(例如，针、椎弓根螺钉等)可以被叠加在所述患者的所述介入图像内，并且/或者由此由机器人器械(例如，内窥镜等)生成的图像可以与所述患者的所述介入图像融合。
本公开内容的发明的第三实施例是一种用于跟踪外科手术RCM机器人的无标记机器人跟踪方法。
所述无标记机器人跟踪方法包括所述外科手术RCM机器人在机器人坐标系内的多个机器人姿态之间被选择性转变，光学相机在相机坐标系内对路标的子集或所有路标进行可视化，并且机器人跟踪控制器控制从由所述光学相机在所述相机坐标系内对路标的子集或所有路标的所述可视化导出的所述外科手术RCM机器人在所述相机坐标系内的机器人姿态的估计。
出于描述和要求保护本公开内容的发明的目的：
(1)包括但不限于“路标”、“坐标系”、“姿态”、“臂”、“弧”、“旋转关节”、“立体相机”、“单目相机”、“平移向量”和“旋转取向”的本公开内容的领域中的术语要如在本公开内容的领域中已知的和在本公开内容中示范性地描述的那样进行理解；
(2)术语“外科手术RCM机器人”广义地涵盖如本公开内容的领域中已知的和在下文中构想的在结构上被布置有具有在远程运动中心(RCM)处相交的旋转轴线的两个或更多个旋转关节的所有外科手术机器人；
(3)术语“唯一路标集合”广义地涵盖如在本公开内容中示范性地描述的具有与其他(一个或多个)路标集合的描述符截然不同的共同描述符的路标集合。描述符的范例包括但不限于针对路标的尺寸和几何构造；
(4)术语“位置测量系统”广义地涵盖如本公开内容的领域中已知的和在下文中构想的包括光学相机来对外科手术RCM机器人的特征进行可视化的所有系统。位置测量系统的范例包括但不限于光学位置测量系统(例如，NDI Polaris Spectra)和单目位置测量系统(例如，MicronTracker和ClaroNav)。光学相机的范例包括但不限于立体相机和单目相机；
(5)术语“无标记机器人跟踪系统”广义地涵盖如本公开内容的领域中已知的和在下文中构想的包含用于如在本公开内容中示范性地描述的那样基于被集成到外科手术RCM机器人中的唯一路标集合在相机坐标系内的可视化来估计外科手术RCM机器人在位置测量系统的坐标系内的姿态的本公开内容的发明原理的所有机器人跟踪系统。已知的机器人跟踪系统的范例包括但不限于具有深度传感器(例如，Microsoft Kinect)、飞行时间传感器(例如，Swissranger SR400)的基于相机的系统。
(6)术语“无标记机器人跟踪方法”广义地涵盖如本公开内容的领域中已知的和在下文中构想的包含用于如在本公开内容中示范性地描述的那样基于被集成到外科手术RCM机器人中的唯一路标集合在相机坐标系内的可视化来估计外科手术RCM机器人在位置测量系统的坐标系内的姿态的本公开内容的发明原理的所有机器人跟踪方法。已知的机器人跟踪方法的范例包括但不限于使用单个相机和多视图重建、飞行时间相机、具有深度传感器(例如，Microsoft Kinect)的相机以及场景学习方法(例如使用卷积神经网络)的所有类型的基于相机的跟踪方法。
(7)术语“控制器”广义地涵盖用于控制与如在本公开内容中示范性地描述的那样基于被集成到外科手术RCM机器人中的唯一路标集合在相机坐标系内的可视化来估计外科手术RCM机器人在位置测量系统的坐标系内的姿态有关的本公开内容的各种发明原理的应用的专用主板或专用集成电路的所有结构构造。所述控制器的结构构造可以包括但不限于(一个或多个)处理器、(一个或多个)计算机可用/计算机可读存储介质、操作系统、(一个或多个)应用模块、(一个或多个)外围设备控制器、(一个或多个)接口、(一条或多条)总线、(一个或多个)插槽以及(一个或多个)端口。出于识别的目的，本文中使用的针对术语“控制器”的标签“机器人致动”和“机器人跟踪”将特定的控制器与在本文中描述和要求保护的其他控制器区分开，而不指定或暗示对术语“控制器”的任何额外限制；
(8)术语“应用模块”广义地涵盖包括用于运行特定应用的电路和/或可执行程序(例如，被存储在(一个或多个)非瞬态计算机可读介质上的可执行软件和/或固件)的控制器的部件。出于识别的目的，本文中使用的针对术语“应用模块”的标签“平移向量估计器”、“旋转取向估计器”和“机器人姿态估计器”将特定的应用模块与在本文中描述和要求保护的其他应用模块区分开，而不指定或暗示对术语“应用模块”的任何额外限制；并且
(9)术语“信号”和“命令”广义地涵盖如在本公开内容的领域中理解的和如在本公开内容中示范性地描述的那样用于传达支持应用如随后在本公开内容中描述的本公开内容的各种发明原理的信息和/或指令的所有形式的可检测物理量或脉冲(例如，电压、电流或磁场强度)。本公开内容的部件之间的数据/命令通信可以涉及如在本公开内容的领域中已知的和在下文中构想的任何通信方法，包括但不限于通过任何类型的有线或无线介质/数据链路对数据/命令发射/接收和对被上传到计算机可用/计算机可读存储介质的数据/命令的读取。
结合附图阅读本公开内容的发明的各种实施例的以下详细描述，本公开内容的发明的前述实施例和其他实施例以及本公开内容的发明的各种特征和优点将变得更加明显。详细描述和附图仅仅是对本公开内容的发明的说明而非限制，本公开内容的发明的范围由权利要求及其等价方案来限定。
附图说明
图1图示了根据本公开内容的发明原理的无标记机器人跟踪系统的示范性实施例。
图2A-2C图示了根据本公开内容的发明原理的外科手术RCM机器人的示范性实施例。
图3图示了根据本公开内容的发明原理的在图1中示出的无标记机器人跟踪系统的示范性实施例。
图4-6图示了根据本公开内容的发明原理的RCM机器人的旋转关节的示范性旋转。
具体实施方式
作为用于跟踪外科手术机器人在相机坐标系内的姿态的基于标记的跟踪系统、控制器和方法的改进方案，本公开内容提供了用于基于被集成到外科手术RCM机器人中的唯一路标集合在相机坐标系内的可视化来估计外科手术RCM机器人在相机坐标系内的姿态的发明。
为了便于对本公开内容的各种发明的理解，下面对图1-2C的描述教导了根据本公开内容的发明原理的无标记机器人跟踪系统10和路标标记的外科手术RCM机器人20的实施例。根据该描述，本领域普通技术人员将会意识到如何实践根据本公开内容的发明原理的无标记跟踪系统和路标标记的外科手术RCM机器人的各种各样的实施例。
而且，根据该描述，本领域普通技术人员将会意识到在利用本公开内容的路标标记的外科手术RCM机器人的各种各样的类型的图像引导的介入中加入本公开内容的无标记跟踪系统。这种图像引导的介入的范例包括但不限于微创腹腔镜外科手术(例如，前列腺切除术、脾切除术、肾切除术、肝切除术、叶切除术等)和脊柱的微创外科手术(例如，椎弓根螺钉置入、减压、脊柱融合等)。
参考图1，本公开内容的无标记机器人跟踪系统10采用外科手术RCM机器人20。
外科手术RCM机器人20具有两(2)个或更多个臂/弧21和一(1)个或多个旋转关节22的结构布置，一(1)个或多个旋转关节22用于定义如本公开内容的领域中已知的通过旋转关节22的旋转轴线的相交建立的远程运动中心(RCM)。
根据本公开内容的发明原理，出于估计外科手术RCM机器人20在相机坐标系内的姿态的目的，如将会在本公开内容中进一步描述的，如图所示，两(2)个或更多个唯一路标集合30被集成到臂/弧21中和/或优选被集成到旋转关节22中。
在实践中，每个唯一路标集合包括具有共同描述符(例如，相同尺寸和相同几何构造)的完全相同的路标，并且如将会在本公开内容中进一步描述的，唯一路标集合之间的共同描述符在便于在唯一路标集合之间进行视觉区分的程度上相异。
另外，在实践中，出于由光学相机对特定的唯一集合中的每个路标30进行有差别的可视化的目的，如将会在本公开内容中进一步描述的，每个唯一路标集合30到臂/弧21的集成和/或优选到旋转关节22内的集成定义了特定的唯一集合的每个路标30相对于(一个或多个)旋转关节22的(一条或多条)旋转轴线的固定取向的唯一位置。
而且，在实践中，路标30的结构构造和材料成分取决于外科手术RCM机器人20的具体实施例的结构构造和由无标记机器人跟踪系统10采用的位置测量系统的具体类型。
在第一实施例中，路标30是利用如本公开内容的领域中已知的光学相机(例如，立体相机)的视线可检测的外部逆向反射物体。这种逆向反射物体的范例包括但不限于在材料上包括如本公开内容的领域中已知的逆向反射箔的棱镜(例如，在材料上包括逆向反射箔的球体)。
在第二实施例中，路标30是在如本公开内容的领域中已知的使用计算机视觉算法的相机(例如，单目相机)的相机图像内可检测的弧21或旋转关节22的外部几何结构。这种外部特征的范例包括但不限于(例如，非虚线的或虚线的、笔直的或弧形的)线和闭合形状(例如，圆形、椭圆形、六边形等)。
图2A图示了示范性外科手术RCM机器人120，该外科手术RCM机器人120采用主要旋转关节121、次级旋转关节122、臂123、支撑弧124以及器械弧125，主要旋转关节121能围绕旋转轴线RA1旋转，次级旋转关节122能围绕旋转轴线RA2旋转，器械弧125包括末端执行器126，末端执行器126充当用于保持如图所示的具有旋转轴线EA的金属内窥镜200或任何其他机器人器械(例如，针、椎弓根螺钉等)的引导件。支撑弧124被同心地连接到旋转关节121和旋转关节122，并且器械弧125被同心地连接到旋转关节122。更具体地，
1、旋转轴线RA1、RAD和EA在外科手术RCM机器人120的远程运动中心127处相交，
2、支撑弧124的基弧长度θB在旋转轴线RA1与RA2之间延伸，
3、器械弧125的延伸弧长度θE1在旋转轴线RA1与EA之间延伸，
4、主要旋转关节121的机动化致动器可以被操作为使弧124和125围绕旋转轴线RA1共同旋转期望的
Figure BDA0002290835210000081
度，以控制内窥镜200的远侧焦点顶端202在工作空间37a内的宽泛移动，
5、次级旋转关节122的机动化致动器可以被操作为使器械弧125围绕旋转轴线RA2旋转期望的
Figure BDA0002290835210000082
度，以控制内窥镜200的远侧焦点顶端202的目标移动，
6、末端执行器126具有使内窥镜200围绕其旋转轴线EA旋转的手动或受控的能力，
7、RCM长度LRCM是RCM 127与远侧焦点顶端202之间的距离，并且
8、焦距(未示出)是如能从内窥镜200的目镜201观察到的从远侧焦点顶端202延伸的内窥镜200的视场的长度。
在实践中，本公开内容的领域的普通技术人员将会意识到可以由外科手术RCM机器人120来引导的其他器械。
根据本公开内容的发明原理，出于估计外科手术RCM机器人120在相机坐标系内的姿态的目的，如将会在本公开内容中进一步描述的，如用符号示出的唯一路标集合130以相对于旋转轴线的固定取向被集成到旋转关节121和旋转关节122中。同时地或备选地，路标可以以相对于旋转轴线的固定取向被集成到弧124和125中。
例如，如图2B所示，非虚线路标131和以180°相对的另一非虚线路标(未示出)的唯一集合以及虚线路标132和133的唯一集合围绕旋转关节121的旋转轴线RA1以固定取向在空间上被相等地布置。这些路标可以在材料上包括或不包括逆向反射箔。对于该范例，相同的唯一路标集合也可以被集成到旋转关节122中，并且/或者不同的唯一路标集合可以被集成到旋转关节122中。
通过另外的范例，如图2C所示，菱形路标134和以180°相对的菱形路标对(未示出)的唯一集合以及梯形路标135对的唯一集合围绕旋转关节122的旋转轴线RA2以固定取向在空间上被相等地布置。这些路标可以在材料上包括或不包括逆向反射箔。对于该范例，相同的唯一路标集合也可以被集成到旋转关节121中，并且/或者不同的唯一路标集合可以被集成到旋转关节121中。
图2B和图2C是唯一路标集合在外科手术RCM机器人中的集成的各种各样的实施例的非限制性范例。
在实践中，无标记机器人跟踪系统10还可以采用如本公开内容的领域中已知的可致动平台(为了清楚而未示出)，该可致动平台包括用于在全局坐标系内旋转和/或平移外科手术RCM机器人120的(一个或多个)连杆和(一个或多个)关节。
返回参考图1，本公开内容的无标记机器人跟踪系统10还采用一(1)个或多个光学位置测量系统，该一(1)个或多个光学位置测量系统包括立体位置测量系统40和单目位置测量系统50。
立体位置测量系统40包括如本公开内容的领域中已知的具有视线42的立体相机41，立体相机41用于在被校准到视线42的相机坐标系43内对(一个或多个)路标30进行可视化。在实践中，如将会在本公开内容中进一步描述的，在任何瞬时时刻，当外科手术RCM机器人20在相对于立体相机41的多个姿态之间被转变时，一个或多个路标30将会在立体相机41的视线42内可见。
立体位置测量系统40还包括如本公开内容的领域中已知的立体相机控制器44，立体相机控制器44用于控制立体相机41的操作，由此控制器44生成路标位置数据45，路标位置数据45提供由立体相机41基于时间在相机坐标系43内对每个路标30的三维(“3D”)位置(即，位置和取向)进行可视化的估计的信息。
单目位置测量系统50包括如本公开内容的领域中已知的具有视线52的单目相机51，单目相机51用于在被校准到视线52的相机坐标系53内对(一个或多个)路标30进行可视化。在实践中，如将会在本公开内容中进一步描述的，在任何瞬时时刻，当外科手术RCM机器人20在相对于单目相机51的多个姿态之间被转变时，一个或多个路标30将会在单目相机51的视线52内可见。
单目位置测量系统50还包括如本公开内容的领域中已知的单目相机控制器54，单目相机控制器54用于控制单目相机51的操作，由此控制器54生成路标位置数据55，路标位置数据55提供由单目相机51基于时间在相机坐标系53内对每个路标30的三维(“3D”)位置(即，位置和取向)进行可视化的估计的信息。
仍然参考图1，本公开内容的无标记机器人跟踪系统10还采用机器人姿态控制器60和机器人跟踪控制器70。
机器人姿态控制器60在结构上如本公开内容的领域中已知地被配置为将旋转关节致动命令63传达到一个或多个旋转关节22，从而在由图像引导的介入指定的程度上使旋转关节22相对于其旋转轴线旋转。如本公开内容的领域中已知的，机器人姿态控制器60可以采用用于实施图像引导的介入的模块(未示出)，或者可以接收来自图像引导的控制器(未示出)的命令。
机器人姿态控制器60还在结构上如本公开内容的领域中已知地被配置为经由如本公开内容的领域中已知的编码器或其他位置传感器来接收旋转关节位置数据23，旋转关节位置数据23提供每个旋转关节22相对于其旋转轴线的旋转位置的信息。机器人姿态控制器60相对于机器人坐标系61处理旋转关节位置数据23以生成外科手术机器人姿态数据62，外科手术机器人姿态数据62提供外科手术RCM机器人20在机器人坐标系120内的姿态的信息。
机器人跟踪控制器70根据本公开内容的发明原理在结构上被配置为估计外科手术RCM机器人20在相机坐标系(例如，立体位置测量系统40的相机坐标系43或单目位置测量系统50的相机坐标系53)内的姿态25。
在实践中，机器人跟踪控制器70解读路标位置数据(例如，立体位置测量系统40的路标位置数据45或单目位置测量系统50的路标位置数据55)和外科手术机器人姿态数据62来估计外科手术RCM机器人20在相机坐标系内的姿态25。
在实践中，机器人跟踪控制器70可以实施本机器人的领域中已知的任何技术，由此机器人跟踪控制器70解读路标位置数据和外科手术机器人姿态数据62来确认相机坐标系与机器人坐标系61之间的变换对准，从而将外科手术RCM机器人20在机器人坐标系61内的姿态24变换为外科手术RCM机器人20在相机坐标系内的估计姿态25。
在一个实施例中，机器人跟踪控制器70解读路标位置数据和外科手术机器人姿态数据62来产生平移向量和/或旋转矩阵，作为用于将外科手术RCM机器人20在机器人坐标系61内的姿态24变换为外科手术RCM机器人20在相机坐标系内的估计姿态25的变量。
如将会在本公开内容中进一步描述的，平移向量定义机器人坐标系62的原点与相机坐标系的原点之间的平移对准。
如将会在本公开内容中进一步描述的，旋转矩阵定义机器人坐标系62的轴线与相机坐标系的轴线的旋转取向。
在一个立体实施例中，机器人跟踪控制器70实施姿态确定71，姿态确定71涉及对路标位置数据45和外科手术机器人姿态数据62的解读，从而产生平移向量和旋转矩阵，作为用于将外科手术RCM机器人20在机器人坐标系61内的姿态24变换为外科手术RCM机器人20在相机坐标系43内的估计姿态25的变量。机器人跟踪控制器70生成提供外科手术RCM机器人20在相机坐标系43内的估计姿态25的信息的估计外科手术机器人姿态数据72a，并且将估计外科手术机器人姿态数据72传达到机器人姿态控制器60或任何其他控制器(未示出)，以便由机器人姿态控制器60根据图像引导的介入或任何其他可应用介入利用估计外科手术机器人姿态数据72来控制对外科手术RCM机器人20的选择性致动。
在单目实施例中，机器人跟踪控制器70实施姿态确定72，姿态确定72涉及对路标位置数据45和外科手术机器人姿态数据62的解读，从而产生平移向量和旋转矩阵，作为用于将外科手术RCM机器人20在机器人坐标系61内的姿态24变换为外科手术RCM机器人20在相机坐标系53内的估计姿态25的变量。机器人跟踪控制器70生成提供外科手术RCM机器人20在相机坐标系53内的估计姿态25的信息的估计外科手术机器人姿态数据72b，并且将估计外科手术机器人姿态数据72传达到机器人姿态控制器60或任何其他控制器(未示出)，以便由机器人姿态控制器60根据图像引导的介入或任何其他可应用介入利用估计外科手术机器人姿态数据72来控制对外科手术RCM机器人20的选择性致动。
为了便于对本公开内容的各种发明的进一步理解，下面对图3-6的描述教导了根据本公开内容的发明原理的采用路标标记的外科手术机器人120(图2A)的无标记机器人跟踪系统110的实施例。根据该描述，本领域普通技术人员将会进一步意识到如何实践根据本公开内容的发明原理的无标记跟踪系统和路标标记的外科手术RCM机器人的各种各样的实施例。
参考图3，无标记机器人跟踪系统110采用被附接到检查台181的主动臂180，由此外科手术RCM机器人120(图2A)可以在全局坐标系(未示出)内相对于检查台181进行旋转和/或平移。为此目的，主动臂180如本公开内容的领域中已知地包括平移关节182、旋转关节183和平移关节184。
无标记机器人跟踪系统110还采用具有被校准到相机坐标系141的视线(未示出)的立体相机140和/或具有被校准到相机坐标系151的视线(未示出)的单目相机150。
无标记机器人跟踪系统110还采用工作站190和无标记机器人跟踪设备111，无标记机器人跟踪设备111包括机器人姿态控制器160、相机控制器161和机器人跟踪控制器170。
工作站190如本公开内容的领域中已知地包括监测器191、键盘192和计算机193的已知布置。
机器人姿态控制器160、相机控制器161和机器人跟踪控制器170被安装在计算机193中，并且每个控制器可以包括经由一条或多条系统总线互相连接的处理器、存储器、用户接口、网络接口和存储设备。
处理器可以是如在本公开内容的领域中已知的或在下文中构想的能够运行被存储在存储器或存储设备中的指令或以其他方式处理数据的任何硬件设备。在非限制性范例中，处理器可以包括微处理器、现场可编程门阵列(FPGA)、专用电路(ASIC)或其他类似的设备。
存储器可以包括如在本公开内容的领域中已知的或在下文中构想的各种存储器，包括但不限于L1、L2或L3高速缓冲存储器或系统存储器。在非限制性范例中，存储器可以包括静态随机存取存储器(SRAM)、动态RAM(DRAM)、闪速存储器、只读存储器(ROM)或其他类似的存储器设备。
用户接口可以包括如在本公开内容的领域中已知的或在下文中构想的用于实现与诸如管理员之类的用户通信的一个或多个设备。在非限制性范例中，用户接口可以包括可以经由网络接口被呈现给远程终端的命令行接口或图形用户接口。
网络接口可以包括如在本公开内容的领域中已知的或在下文中构想的用于实现与其他硬件设备通信的一个或多个设备。在非限制性范例中，网络接口可以包括被配置为根据以太网协议进行通信的网络接口卡(NIC)。另外，网络接口可以实施用于根据TCP/IP协议进行通信的TCP/IP栈。用于网络接口的各种备选的或额外的硬件或配置将会是显而易见的。
存储设备可以包括如在本公开内容的领域中已知的或在下文中构想的一个或多个机器可读存储介质，包括但不限于只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光学存储介质、闪速存储器设备或类似的存储介质。在各种非限制性实施例中，存储设备可以存储用于由处理器运行的指令或处理器可以对其进行操作的数据。例如，存储设备可以存储用于控制硬件的各种基本操作的基本操作系统。存储设备还可以以可执行软件/固件的形式存储一个或多个应用模块。
更具体地，仍然参考图3，机器人姿态控制器160包括以下的(一个或多个)应用模块(未示出)，这(一个或多个)应用模块用于经由如本公开内容的领域中已知的平台180来旋转和平移外科手术RCM机器人120，用于如先前在本公开内容中针对机器人姿态控制器60(图1)所描述的那样对外科手术RCM机器人120的旋转关节进行致动，并且用于如先前在本公开内容中针对机器人姿态控制器60(图1)所描述的那样跟踪外科手术RCM机器人120在机器人坐标系121内的姿态。
相机控制器161包括以下的(一个或多个)应用模块(未示出)，这(一个或多个)应用模块用于如先前在本公开内容中针对相机控制器44和54(图1)所描述的那样控制由立体相机140和/或单目相机基于时间对外科手术RCM机器人120的一个或多个路标的可视化并且根据路标可视化来生成路标位置数据。
机器人跟踪控制器170包括根据本公开内容的发明原理的以下的(一个或多个)应用模块，这(一个或多个)应用模块用于如先前在本公开内容中针对机器人跟踪控制器70(图1)描述的那样估计外科手术RCM机器人120在相机坐标系内的姿态。
在一个实施例中，机器人跟踪控制器170实施对以下硬件、软件、固件和/或电路的布置，该硬件、软件、固件和/或电路在结构上配置用于估计平移向量的平移向量估计器171、用于估计旋转矩阵的旋转矩阵估计器172以及用于基于估计的平移向量和旋转矩阵来估计外科手术RCM机器人120在相机坐标系内的机器人姿态的机器人姿态估计器173。
出于描述估计器171-173的示范性实施例的目的，图4图示了外科手术RCM机器人120的关节的图形模型200，并且图5图示了被集成到外科手术RCM机器人120中的路标的图形模型201，这两个模型均适合于估计适合于被集成到如先前在本公开内容中描述的外科手术RCM机器人120中的路标的立体可视化的平移向量和旋转矩阵。
参考图4，图形模型200包括作为主要旋转关节的图形表示的关节J4和作为次级旋转关节的图形表示的关节J5。关节J6被示为突出显示本公开内容在包括额外的次级旋转关节的外科手术RCM机器人实施例中的可应用性。
仍然参考图4，图形模型包括用于主动臂180的平移关节182(图3)的关节J1、用于主动臂180的旋转关节183(图3)的关节J2以及主动臂180的平移关节184(图3)。
参考图5，图形模型211包括被集成到主要旋转关节PRJ上的路标u1和被集成到次级旋转关节SRJ上的路标u2的第一唯一路标集合。图形模型211包括被集成到主要旋转关节PRJ上的路标v1和被集成到次级旋转关节SRJ上的路标v2的第二唯一路标集合。
参考图3-5，第一，在相机坐标系(例如，如图1所示的坐标系43或坐标系53)中具有n个唯一路标的集合F＝U∪V＝{f1,…,fn}，其中，路标fi∈R3(fi＝[x,y,z,1]T)位于从关节i的轴线ei的偏移di处，并且fi||ei是可以根据以下公式[1]和[2]计算的相机坐标系中的电动机轴线：
Figure BDA0002290835210000141
Figure BDA0002290835210000142
其中，Ri描述由机器人姿态控制器160给出的围绕通过关节i的
Figure BDA0002290835210000143
和角度θi定义的轴线的旋转。偏移di可以通过(a)知晓电动机轴线上的单个点的位置或(b)使用在(例如如图5所示的)已知的关节位置(机器人初始位置)处估计偏移的校准方法来计算。
优选地，线特征向量可以被三角化；具有根据相机图像以及校准的立体相机系统在外科手术RCM机器人120上检测到的对应的2D线段的集合，使用对极几何对3D特征向量
Figure BDA0002290835210000152
进行三角化，即，通过使经过相应的相机中心的两个平面和2D线段相交来将2D对应关系变换成3D线。备选地，可以通过检测位于在相机图像上检测到的2D线段上的至少两个点来计算线特征向量
第二，在最小二乘意义上通过根据以下公式[3]和[4]使每条电动机轴线ei和t之间的距离平方和最小化的点来找到平移向量t：
Figure BDA0002290835210000154
Figure BDA0002290835210000155
第三，通过根据以下公式[5]-[11]形成正交基的三个向量来定义旋转矩阵R：
Figure BDA0002290835210000156
Figure BDA0002290835210000157
Figure BDA0002290835210000159
Figure BDA00022908352100001510
其中，Ri描述由机器人姿态控制器160给出的围绕通过关节i的
Figure BDA00022908352100001513
和角度θi定义的轴线的旋转。
最后，根据以下公式[12]来定义机器人120在相机坐标系中的姿态：
T＝[R t] [12]
仍然参考图3-5、第二姿态估计实施例，机器人跟踪控制器170实施以下的硬件、软件、固件和/或电路的结构布置，该硬件、软件、固件和/或电路用于姿态估计，该姿态估计仅涉及对路标位置数据的解读以估计外科手术RCM机器人120在相机坐标系内的姿态(“最优姿态估计”)。
该最优姿态实施例描述了仅使用视觉信息(路标)来计算机器人120的姿态的特殊情况。具有R3中的跨越包含非平行路标的平面PF的非平行路标的非空集合F＝{f1,…,fn}，机器人120的姿态可以使用以下算法来计算：
第一，在最小二乘意义上通过使由以下公式[13]和[14]中的路标fi和w定义的每条轴线之间的距离平方和最小化的点来找到交点w：
Figure BDA0002290835210000162
第二，通过根据以下公式{15]-[17]在由针对平面PF的法向
Figure BDA00022908352100001610
定义的方向上将交点w偏移标量值-d(x)i来找到平移向量t：
Figure BDA0002290835210000163
Figure BDA0002290835210000164
Figure BDA0002290835210000165
其中，按照公式[16]来计算针对平面的法向
Figure BDA00022908352100001611
第三，通过根据以下公式[18]-[21]形成正交基的三个向量来定义旋转矩阵R：
Figure BDA0002290835210000166
Figure BDA0002290835210000167
Figure BDA0002290835210000168
最后，根据以下公式[22]来定义机器人120在相机坐标系中的姿态：
T＝[R t] [22]
出于描述估计器171-173的另一示范性实施例的目的，图6图示了外科手术RCM机器人120的关节的图形模型202，图形模型202适合于估计适合于被集成到如先前在本公开内容中描述的外科手术RCM机器人120中的路标的立体可视化的平移向量和旋转矩阵。
参考图6，图形模型202包括围绕作为主要旋转关节的图形表示的关节轴线β1的旋转角θ1和作为围绕次级旋转关节的图形表示的关节轴线β2的旋转角θ2。围绕关节轴线β3的旋转角θ3被示为突出显示本公开内容在包括额外的次级旋转关节的外科手术RCM机器人实施例中的可应用性。
参考图3、图5和图6，相机/机器人姿态估计描述了用于使用单个校准的光学相机对机器人120进行跟踪和姿态估计的方法，该单个校准的光学相机提供具有大于或等于3的元素数量的唯一2D路标的集合L＝{l1,…,ln}。
在图像坐标系中具有路标集合li∈R2(例如，li＝[x,y,1]T)和在机器人坐标系中具有路标集合ri∈R3(例如，ri＝[x,y,z,1]T)，可以通过基于以下公式[23]使用本领域中已知的方法(例如，RANSAC算法)求解PnP问题来估计机器人的姿态：
ri＝(KP)-1li [23]
其中，K是相机校准矩阵(固有的相机参数)，并且P是在世界坐标系中的相机位置和取向(固有的相机参数)，其是使用上面描述的方法(RANSAC算法)来计算的。
在相机坐标系中具有路标集合li，使用以下公式[24]在机器人坐标系中动态地计算路标集合ri：
其中，d代表从关节轴线ji∈R3(例如，ji＝[x,y,z,1]T)的偏移，其是根据以下公式[25]和[26]中的每个公式来计算的(并且被改变为同类表示)：
Figure BDA0002290835210000172
Figure BDA0002290835210000181
其中，r代表同心拱的半径(RCM与路标之间的距离)，βi代表如图6所示的关节旋转轴线之间的旋转角，并且θi代表如图6所示的围绕关节旋转轴线的旋转角。
返回参考图3，机器人姿态控制器160、相机控制器161和/或机器人跟踪控制器170可以被备选地或同时地安装在其他类型的处理设备(包括但不限于平板电脑或能由工作站和平板电脑访问的服务器)上，或者可以被分布在支持对本公开内容的姿态估计的运行的网络上。
而且，在实践中，机器人姿态控制器160、相机控制器161和/或机器人跟踪控制器170可以是无标记机器人跟踪设备111的集成部件、分开部件或逻辑分区部件。
而且，在实践中，相机控制器可以从设备111中省略，并且被安装在单独的光学位置测量系统上。
参考图1-4，本领域普通技术人员将会意识到本公开内容的许多益处，包括但不限于通过本公开内容的发明对基于标记的跟踪系统、控制器和方法的改进，本公开内容的发明提供了可跟踪路标到可以在任何类型的图像引导的介入(例如，微创腹腔镜外科手术和脊柱的微创外科手术)中使用的外科手术RCM机器人内的集成。
此外，如本领域普通技术人员鉴于本文中提供的教导将意识到的，本公开内容/说明书中描述的和/或在附图中描绘的特征、元件、部件等均可以被实施在电子部件/电路、硬件、可执行软件和可执行固件的各种组合中，并提供可以被组合在单个元件或多个元件中的功能。例如，能够通过使用专用硬件以及能够运行与适当的软件相关联的软件的硬件来提供在附图中示出/图示/描绘的各个特征、元件、部件等的功能。当由处理器提供时，所述功能能够由单个专用处理器、由单个共享处理器或由多个个体处理器(它们中的一些能够被共享和/或多路复用)来提供。此外，对术语“处理器”的明确使用不应被解释为专指能够运行软件的硬件，并且能够隐含地包括而不限于数字信号处理器(“DSP”)硬件、存储器(例如，用于储存软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)、非易失性储存器等)，以及实质上能够(和/或可配置为)执行和/或控制过程的任意单元和/或机器(包括硬件、软件、固件、它们的组合等)。
此外，本文中记载本发明的原理、各方面和实施例以及其特定示例的所有陈述，旨在涵盖其结构和功能上的等价物。额外地，这样的等价物旨在包括当前已知的等价物以及未来发展的等价物(即，能够执行相同或基本上相似的功能的所发展的任何元件而无论其结构如何)。因此，例如，鉴于本文中提供的教导，本领域普通技术人员应意识到，本文中呈现的任何框图能够表示实施本发明的原理的图示性系统部件和/或电路的概念视图。类似地，鉴于本文中提供的教导，本领域普通技术人员应意识到，任意流程图表、流程图等均能够表示各种过程，所述各种过程基本上能被表示在计算机可读储存媒介中，并由具有处理能力的计算机、处理器或其他设备如此运行，而无论是否明确示出这样的计算机或处理器。
此外，本发明的示例性实施例能够采取计算机程序产品或应用模块的形式，所述计算机程序产品或应用模块可从计算机可用存储介质或计算机可读存储介质存取，所述计算机可用存储介质或计算机可读存储介质提供用于由例如计算机或任何指令运行系统使用或者与例如计算机或任何指令运行系统结合使用的程序代码和/或指令。根据本公开内容，计算机可用存储介质或计算机可读存储介质能够是例如能够包括、存储、通信、传播或输送用于由指令运行系统、装置或设备使用或与指令运行系统、装置或设备结合使用的程序的任何装置。这样的示例性介质能够是例如电子、磁性、光学、电磁、红外或半导体系统(或装置或设备)或传播介质。计算机可读介质的示例包括例如半导体或固态存储器、磁带、可移动计算机软盘、随机存取存储器(RAM)、只读存储器(ROM)、闪速(驱动器)、硬磁盘,以及光盘。光盘的当前示例包括压缩盘-只读存储器(CD-ROM)、压缩盘-读/写(CD-R/W),以及DVD。另外，应当理解，以后可能发展出的任何新的计算机可读介质也均应被视为根据本发明和公开内容的示例性实施例可以使用或涉及到的计算机可读介质。
已经描述了具有新颖性和创造性的无标记机器人跟踪系统、控制器和方法的优选和示例性实施例(这些实施例旨在是图示性的而非限制性的)，应当注意，按照本文中提供的教导，本领域普通技术人员能够做出修改和变型，包括对附图的修改和变型。因此，应当理解，能够在/对本公开内容的优选和示例性实施例中做出在本文中公开的实施例的范围内的改变。
此外，能够设想到，包括和/或实施根据本公开内容的设备或诸如能够在所述设备中使用/实施的对应的和/或有关的系统也被设想到并且被认为在本发明的范围内。而且，用于制造和/或使用根据本公开内容的设备和/或系统的对应的和/或有关的方法也被设想到并且被认为在本公开内容的范围内。

Claims (20)

1.一种无标记机器人跟踪系统(10)，包括：
外科手术RCM机器人(20)，其在机器人坐标系(61)内能在多个机器人姿态之间转变，
其中，所述外科手术RCM机器人(20)包括能围绕主要旋转轴线旋转的主要旋转关节(22)，并且
其中，所述外科手术RCM机器人(20)还包括能围绕次级旋转轴线旋转的次级旋转关节(22)；
多个唯一路标集合，
其中，每个唯一路标集合包括以相对于所述主要旋转轴线的固定取向被集成到所述外科手术RCM机器人(20)中的至少一个路标(30)，并且
其中，每个唯一路标集合还包括以相对于所述次级旋转轴线的固定取向被集成到所述外科手术RCM机器人(20)中的额外的至少一个路标(30)；
光学相机(41、51)，其在结构上被配置为在相机坐标系(43、53)内对所述多个唯一路标集合的至少子集进行可视化；以及
机器人跟踪控制器(70)，其在结构上被配置为响应于由所述光学相机(41、51)在所述相机坐标系(43、53)内对所述多个唯一路标集合的所述至少子集的可视化而控制对所述外科手术RCM机器人(20)在所述相机坐标系(43、53)内的机器人姿态的估计。
2.根据权利要求1所述的无标记机器人跟踪系统(10)，还包括：
相机控制器(44、54)，其在结构上被配置为控制由所述光学相机(41、51)在所述相机坐标系(43、53)内对所述多个唯一路标集合的所述至少子集的所述可视化，
其中，所述相机控制器(44、54)还在结构上被配置为生成路标位置数据，所述路标位置数据提供从由所述光学相机(41、51)在所述相机坐标系(43、53)内对所述多个唯一路标集合的所述至少子集的所述可视化导出的所述主要旋转关节(22)的定位和所述次级旋转关节(22)的定位的信息；
其中，响应于由所述相机控制器(44、54)对所述路标位置数据的生成，所述机器人跟踪控制器(70)还在结构上被配置为估计所述机器人坐标系(61)与所述相机坐标系(43、53)之间的平移对准；并且
其中，所述机器人跟踪控制器(70)还在结构上被配置为基于所述平移对准来估计所述外科手术RCM机器人(20)在所述相机坐标系(43、53)内的所述机器人姿态。
3.根据权利要求1所述的无标记机器人跟踪系统(10)，
相机控制器(44、54)，其在结构上被配置为控制由所述光学相机(41、51)在所述相机坐标系(43、53)内对所述多个唯一路标集合的所述至少子集的所述可视化，
其中，所述相机控制器(44、54)还在结构上被配置为生成路标位置数据，所述路标位置数据提供从由所述光学相机(41、51)在所述相机坐标系(43、53)内对所述多个唯一路标集合的所述至少子集的所述可视化导出的所述主要旋转关节(22)在所述相机坐标系(43、53)内的定位和所述次级旋转关节(22)在所述相机坐标系内的定位的信息；
其中，响应于由所述相机控制器(44、54)对所述路标位置数据的生成，所述机器人跟踪控制器(70)还在结构上被配置为估计所述机器人坐标系(61)与所述相机坐标系(43、53)之间的旋转取向；并且
其中，所述机器人跟踪控制器(70)还在结构上被配置为基于所述旋转取向来估计所述外科手术RCM机器人(20)在所述相机坐标系(43、53)内的所述机器人姿态。
4.根据权利要求3所述的无标记机器人跟踪系统(10)，
其中，响应于由所述相机控制器(44、54)对所述路标位置数据的生成，所述机器人跟踪控制器(70)还在结构上被配置为估计所述机器人坐标系(61)与所述相机坐标系(43、53)之间的平移对准；并且
其中，所述机器人跟踪控制器(70)还在结构上被配置为基于所述平移对准和所述旋转取向来估计所述外科手术RCM机器人(20)在所述相机坐标系(43、53)内的所述机器人姿态。
5.根据权利要求2所述的无标记机器人跟踪系统(10)，还包括：
机器人姿态控制器(60)，其在结构上被配置为控制所述外科手术RCM机器人(20)在机器人坐标系(61)内的所述多个机器人姿态之间的转变，
其中，所述机器人姿态控制器(60)在结构上被配置为生成旋转关节位置数据，所述旋转关节位置数据提供所述主要旋转关节(22)相对于所述主要旋转轴线的旋转位置和所述次级旋转关节(22)相对于所述次级旋转轴线的旋转位置的信息；
其中，响应于由所述相机控制器(44、54)对所述路标位置数据的生成和由所述机器人姿态控制器(60)对所述旋转关节位置数据的生成，所述机器人跟踪控制器(70)还在结构上被配置为估计所述机器人坐标系(61)与所述相机坐标系(43、53)之间的平移对准；并且
其中，所述机器人跟踪控制器(70)还在结构上被配置为基于所述平移对准来估计所述外科手术RCM机器人(20)在所述相机坐标系(43、53)内的所述机器人姿态。
6.根据权利要求3所述的无标记机器人跟踪系统(10)，
机器人姿态控制器(60)在结构上被配置为控制所述外科手术RCM机器人(20)在机器人坐标系(61)内的所述多个机器人姿态之间的转变，
其中，所述机器人姿态控制器(60)在结构上被配置为生成旋转关节位置数据，所述旋转关节位置数据提供所述主要旋转关节(22)相对于所述主要旋转轴线的旋转位置和所述次级旋转关节(22)相对于所述次级旋转轴线的旋转位置的信息；
其中，响应于由所述相机控制器(44、54)对所述路标位置数据的生成和由所述机器人姿态控制器(60)对所述旋转关节位置数据的生成，所述机器人跟踪控制器(70)还在结构上被配置为估计所述机器人坐标系(61)与所述相机坐标系(43、53)之间的旋转取向；并且
其中，所述机器人跟踪控制器(70)还在结构上被配置为基于所述旋转取向来估计所述外科手术RCM机器人(20)在所述相机坐标系(43、53)内的所述机器人姿态。
7.根据权利要求6所述的无标记机器人跟踪系统(10)，
其中，响应于由所述相机控制器(44、54)对所述路标位置数据的生成和由所述机器人姿态控制器(60)对所述旋转关节位置数据的生成，所述机器人跟踪控制器(70)还在结构上被配置为估计所述机器人坐标系(61)与所述相机坐标系(43、53)之间的平移对准；并且
其中，所述机器人跟踪控制器(70)还在结构上被配置为基于所述平移对准和所述旋转取向来估计所述外科手术RCM机器人(20)在所述相机坐标系(43、53)内的所述机器人姿态。
8.一种用于外科手术RCM机器人(20)的无标记机器人跟踪设备，所述外科手术RCM机器人(20)在机器人坐标系(61)内能在多个机器人姿态之间转变，
所述外科手术RCM机器人(20)包括能围绕主要旋转轴线旋转的主要旋转关节(22)和能围绕次级旋转轴线旋转的次级旋转关节(22)，
多个唯一路标集合被集成到外科手术RCM机器人(20)中，
其中，每个唯一路标集合包括以相对于所述主要旋转轴线的固定取向被集成到所述外科手术RCM机器人(20)中的至少一个路标(30)，并且
其中，每个唯一路标集合还包括以相对于所述次级旋转轴线的固定取向被集成到所述外科手术RCM机器人(20)中的额外的至少一个路标(30)，
所述无标记机器人跟踪设备包括：
机器人跟踪控制器(70)，
其中，所述机器人跟踪控制器(70)在结构上被配置为响应于由光学相机(41、51)在相机坐标系(43、53)内对所述多个唯一路标集合的至少子集的可视化而控制对所述外科手术RCM机器人(20)在所述相机坐标系(43、53)内的机器人姿态的估计，并且
其中，所述机器人跟踪控制器(70)还在结构上被配置为生成外科手术RCM机器人姿态数据，所述外科手术RCM机器人姿态数据提供对所述外科手术RCM机器人(20)在所述相机坐标系(43、53)内的所述机器人姿态的所述估计的信息。
9.根据权利要求8所述的无标记机器人跟踪设备，
其中，所述机器人跟踪控制器能操作用于接收路标位置数据，所述路标位置数据提供从由所述光学相机(41、51)在所述相机坐标系(43、53)内对所述多个唯一路标集合的所述至少子集的所述可视化导出的所述主要旋转关节(22)在所述相机坐标系(43、53)内的定位和所述次级旋转关节(22)在所述相机坐标系内的定位的信息；
其中，所述机器人跟踪控制器(70)包括：
平移对准估计器(171)和旋转取向估计器(172)中的至少一个，所述平移对准估计器在结构上被配置为响应于所述路标位置数据而估计所述机器人坐标系(61)与所述相机坐标系(43、53)之间的平移对准，所述旋转取向估计器在结构上被配置为响应于所述路标位置数据而估计所述机器人坐标系(61)与所述相机坐标系(43、53)之间的旋转取向；以及
姿态估计器(173)，其在结构上被配置为基于所述平移对准和所述旋转取向中的至少一个来估计所述外科手术RCM机器人(20)在所述相机坐标系(43、53)内的所述机器人姿态。
10.根据权利要求8所述的无标记机器人跟踪设备，还包括：
相机控制器(44、54)，其在结构上被配置为控制由所述光学相机(41、51)在所述相机坐标系(43、53)内对所述多个唯一路标集合的所述至少子集的所述可视化，
其中，所述相机控制器(44、54)还在结构上被配置为生成路标位置数据，所述路标位置数据提供从由所述光学相机(41、51)在所述相机坐标系(43、53)内对所述多个唯一路标集合的所述至少子集的所述可视化导出的所述主要旋转关节(22)在所述相机坐标系(43、53)内的定位和所述次级旋转关节(22)在所述相机坐标系内的定位的信息；
其中，响应于由所述相机控制器(44、54)对所述路标位置数据的生成，所述机器人跟踪控制器(70)还在结构上被配置为估计所述机器人坐标系(61)与所述相机坐标系(43、53)之间的平移对准；并且
其中，所述机器人跟踪控制器(70)还在结构上被配置为基于所述平移对准来估计所述外科手术RCM机器人(20)在所述相机坐标系(43、53)内的所述机器人姿态。
11.根据权利要求8所述的无标记机器人跟踪设备，
相机控制器(44、54)在结构上被配置为控制由所述光学相机(41、51)在所述相机坐标系(43、53)内对所述多个唯一路标集合的所述至少子集的所述可视化，
其中，所述相机控制器(44、54)还在结构上被配置为生成路标位置数据，所述路标位置数据提供从由所述光学相机(41、51)在所述相机坐标系(43、53)内对所述多个唯一路标集合的所述至少子集的所述可视化导出的所述主要旋转关节(22)在所述相机坐标系(43、53)内的定位和所述次级旋转关节(22)在所述相机坐标系内的定位的信息；
其中，响应于由所述相机控制器(44、54)对所述路标位置数据的生成，所述机器人跟踪控制器(70)还在结构上被配置为估计所述机器人坐标系(61)与所述相机坐标系(43、53)之间的旋转取向；并且
其中，所述机器人跟踪控制器(70)还在结构上被配置为基于所述旋转取向来估计所述外科手术RCM机器人(20)在所述相机坐标系(43、53)内的所述机器人姿态。
12.根据权利要求11所述的无标记机器人跟踪设备，
其中，响应于由所述相机控制器(44、54)对所述路标位置数据的生成，所述机器人跟踪控制器(70)还在结构上被配置为估计所述机器人坐标系(61)与所述相机坐标系(43、53)之间的平移对准；并且
其中，所述机器人跟踪控制器(70)还在结构上被配置为基于所述平移对准和所述旋转取向来估计所述外科手术RCM机器人(20)在所述相机坐标系(43、53)内的所述机器人姿态。
13.根据权利要求10所述的无标记机器人跟踪设备，还包括：
机器人姿态控制器(60)，其在结构上被配置为控制所述外科手术RCM机器人(20)在机器人坐标系(61)内的所述多个机器人姿态之间的转变，
其中，所述机器人姿态控制器(60)在结构上被配置为生成旋转关节位置数据，所述旋转关节位置数据提供所述主要旋转关节(22)相对于所述主要旋转轴线的旋转位置和所述次级旋转关节(22)相对于所述次级旋转轴线的旋转位置的信息；
其中，响应于由所述相机控制器(44、54)对所述路标位置数据的生成和由所述机器人姿态控制器(60)对所述旋转关节位置数据的生成，所述机器人跟踪控制器(70)还在结构上被配置为估计所述机器人坐标系(61)与所述相机坐标系(43、53)之间的平移对准；并且
其中，所述机器人跟踪控制器(70)还在结构上被配置为基于所述平移对准来估计所述外科手术RCM机器人(20)在所述相机坐标系(43、53)内的所述机器人姿态。
14.根据权利要求10所述的无标记机器人跟踪设备，
机器人姿态控制器(60)在结构上被配置为控制所述外科手术RCM机器人(20)在机器人坐标系(61)内的所述多个机器人姿态之间的转变，
其中，所述机器人姿态控制器(60)在结构上被配置为生成旋转关节位置数据，所述旋转关节位置数据提供所述主要旋转关节(22)相对于所述主要旋转轴线的旋转位置和所述次级旋转关节(22)相对于所述次级旋转轴线的旋转位置的信息；
其中，响应于由所述相机控制器(44、54)对所述路标位置数据的生成和由所述机器人姿态控制器(60)对所述旋转关节位置数据的生成，所述机器人跟踪控制器(70)还在结构上被配置为估计所述机器人坐标系(61)与所述相机坐标系(43、53)之间的旋转取向；并且
其中，所述机器人跟踪控制器(70)还在结构上被配置为基于所述旋转取向来估计所述外科手术RCM机器人(20)在所述相机坐标系(43、53)内的所述机器人姿态。
15.根据权利要求14所述的无标记机器人跟踪设备，
其中，响应于由所述相机控制器(44、54)对所述路标位置数据的生成和由所述机器人姿态控制器(60)对所述旋转关节位置数据的生成，所述机器人跟踪控制器(70)还在结构上被配置为估计所述机器人坐标系(61)与所述相机坐标系(43、53)之间的平移对准；并且
其中，所述机器人跟踪控制器(70)还在结构上被配置为基于所述平移对准和所述旋转取向来估计所述外科手术RCM机器人(20)在所述相机坐标系(43、53)内的所述机器人姿态。
16.一种无标记机器人跟踪方法，包括：
外科手术RCM机器人(20)在机器人坐标系(61)内的多个机器人姿态之间被选择性转变，
其中，所述外科手术RCM机器人(20)包括能围绕主要旋转轴线旋转的主要旋转关节(22)和能围绕次级旋转轴线旋转的次级旋转关节(22)，
其中，多个唯一路标集合被集成到外科手术RCM机器人(20)中，
其中，每个唯一路标集合包括以相对于所述主要旋转轴线的固定取向被集成到所述外科手术RCM机器人(20)中的至少一个路标(30)，并且
其中，每个唯一路标集合还包括以相对于所述次级旋转轴线的固定取向被集成到所述外科手术RCM机器人(20)中的额外的至少一个路标(30)；
光学相机(41、51)在相机坐标系(43、53)内对所述多个唯一路标集合的至少子集进行可视化；并且
机器人跟踪控制器(70)控制对从由所述光学相机(41、51)在所述相机坐标系(43、53)内对所述多个唯一路标集合的所述至少子集的所述可视化导出的所述外科手术RCM机器人(20)在所述相机坐标系(43、53)内的机器人姿态的估计。
17.根据权利要求16所述的无标记机器人跟踪方法，还包括：
相机控制器(44、54)控制由所述光学相机(41、51)在所述相机坐标系(43、53)内对所述多个唯一路标集合的所述至少子集的所述可视化，
其中，所述相机控制器(44、54)生成路标位置数据，所述路标位置数据提供从由所述光学相机(41、51)在所述相机坐标系(43、53)内对所述多个唯一路标集合的所述至少子集的所述可视化导出的所述主要旋转关节(22)在所述相机坐标系(43、53)内的定位和所述次级旋转关节(22)在所述相机坐标系内的定位的信息；并且
所述机器人跟踪控制器(70)响应于由所述相机控制器(44、54)对所述路标位置数据的所述生成而估计所述机器人坐标系(61)与所述相机坐标系(43、53)之间的平移对准，
其中，所述机器人跟踪控制器(70)还在结构上被配置为基于所述平移对准来估计所述外科手术RCM机器人(20)在所述相机坐标系(43、53)内的所述机器人姿态。
18.根据权利要求17所述的无标记机器人跟踪方法，还包括：
机器人姿态控制器(60)控制所述外科手术RCM机器人(20)在机器人坐标系(61)内的所述多个机器人姿态之间的转变，
其中，所述机器人姿态控制器(60)生成旋转关节位置数据，所述旋转关节位置数据提供所述主要旋转关节(22)相对于所述主要旋转轴线的旋转位置和所述次级旋转关节(22)相对于所述次级旋转轴线的旋转位置的信息；并且
所述机器人跟踪控制器(70)响应于由所述相机控制器(44、54)对所述路标位置数据的生成和由所述机器人姿态控制器(60)对所述旋转关节位置数据的生成而估计所述机器人坐标系(61)与所述相机坐标系(43、53)之间的平移对准，
其中，所述机器人跟踪控制器(70)基于所述平移对准来估计所述外科手术RCM机器人(20)在所述相机坐标系(43、53)内的所述机器人姿态。
19.根据权利要求16所述的无标记机器人跟踪方法，还包括：
相机控制器(44、54)控制由所述光学相机(41、51)在所述相机坐标系(43、53)内对所述多个唯一路标集合的所述至少子集的所述可视化，
其中，所述相机控制器(44、54)生成路标位置数据，所述路标位置数据提供从由所述光学相机(41、51)在所述相机坐标系(43、53)内对所述多个唯一路标集合的所述至少子集的所述可视化导出的所述主要旋转关节(22)在所述相机坐标系(43、53)内的定位和所述次级旋转关节(22)在所述相机坐标系内的定位的信息；并且
所述机器人跟踪控制器(70)响应于由所述相机控制器(44、54)对所述路标位置数据的所述生成而估计所述机器人坐标系(61)与所述相机坐标系(43、53)之间的旋转取向，
其中，所述机器人跟踪控制器(70)还在结构上被配置为基于所述旋转取向来估计所述外科手术RCM机器人(20)在所述相机坐标系(43、53)内的所述机器人姿态。
20.根据权利要求19所述的无标记机器人跟踪方法，还包括：
机器人姿态控制器(60)控制所述外科手术RCM机器人(20)在机器人坐标系(61)内的所述多个机器人姿态之间的转变，
其中，所述机器人姿态控制器(60)生成旋转关节位置数据，所述旋转关节位置数据提供所述主要旋转关节(22)相对于所述主要旋转轴线的旋转位置和所述次级旋转关节(22)相对于所述次级旋转轴线的旋转位置的信息；并且
所述机器人跟踪控制器(70)响应于由所述相机控制器(44、54)对所述路标位置数据的生成和由所述机器人姿态控制器(60)对所述旋转关节位置数据的生成而估计所述机器人坐标系(61)与所述相机坐标系(43、53)之间的旋转取向，
其中，所述机器人跟踪控制器(70)基于所述旋转取向来估计所述外科手术RCM机器人(20)在所述相机坐标系(43、53)内的所述机器人姿态。
CN201880034989.4A 2017-03-31 2018-03-28 无标记机器人跟踪系统、控制器和方法 Pending CN110678141A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762479852P 2017-03-31 2017-03-31
US62/479,852 2017-03-31
PCT/EP2018/057919 WO2018178150A1 (en) 2017-03-31 2018-03-28 Markerless robot tracking systems, controllers and methods

Publications (1)

Publication Number Publication Date
CN110678141A true CN110678141A (zh) 2020-01-10

Family

ID=61911556

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880034989.4A Pending CN110678141A (zh) 2017-03-31 2018-03-28 无标记机器人跟踪系统、控制器和方法

Country Status (5)

Country Link
US (1) US10751133B2 (zh)
EP (1) EP3600115A1 (zh)
JP (1) JP2020512116A (zh)
CN (1) CN110678141A (zh)
WO (1) WO2018178150A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3082629A1 (en) * 2019-07-04 2021-01-04 Aaron Fenster Biopsy apparatus
EP3824839A1 (en) * 2019-11-19 2021-05-26 Koninklijke Philips N.V. Robotic positioning of a device
US12002571B2 (en) 2019-12-30 2024-06-04 Cilag Gmbh International Dynamic surgical visualization systems
CN111208783B (zh) * 2019-12-30 2021-09-17 深圳市优必选科技股份有限公司 一种动作模仿方法、装置、终端及计算机存储介质
EP4161427A1 (en) * 2020-06-08 2023-04-12 Mazor Robotics Ltd. Robotic reference frames for navigation
CN113524201B (zh) * 2021-09-07 2022-04-08 杭州柳叶刀机器人有限公司 机械臂位姿主动调节方法、装置、机械臂和可读存储介质
EP4408328A1 (en) * 2021-09-30 2024-08-07 Covidien LP Setting remote center of motion in surgical robotic system
CN113855233B (zh) * 2021-11-01 2023-05-05 杭州柳叶刀机器人有限公司 手术范围确定方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070265527A1 (en) * 2006-05-11 2007-11-15 Richard Wohlgemuth Medical position determination using redundant position detection means and priority weighting for the position detection means
CN102791214A (zh) * 2010-01-08 2012-11-21 皇家飞利浦电子股份有限公司 采用实时速度优化的不经校准的视觉伺服
CN102792305A (zh) * 2010-03-11 2012-11-21 皇家飞利浦电子股份有限公司 用于表征和可视化电磁跟踪误差的方法和系统
WO2016069648A1 (en) * 2014-10-27 2016-05-06 Intuitive Surgical Operations, Inc. System and method for integrated surgical table
WO2016141378A1 (en) * 2015-03-05 2016-09-09 Think Surgical, Inc. Methods for locating and tracking a tool axis
CN106420057A (zh) * 2016-11-23 2017-02-22 北京锐视康科技发展有限公司 一种pet‑荧光双模态术中导航成像系统及其成像方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1356413A2 (en) * 2000-10-05 2003-10-29 Siemens Corporate Research, Inc. Intra-operative image-guided neurosurgery with augmented reality visualization
US8010180B2 (en) 2002-03-06 2011-08-30 Mako Surgical Corp. Haptic guidance system and method
DE10322739B4 (de) 2003-05-20 2006-10-26 Siemens Ag Verfahren zur markerlosen Navigation in präoperativen 3D-Bildern unter Verwendung eines intraoperativ gewonnenen 3D-C-Bogen-Bildes
US8108072B2 (en) 2007-09-30 2012-01-31 Intuitive Surgical Operations, Inc. Methods and systems for robotic instrument tool tracking with adaptive fusion of kinematics information and image information
US9867669B2 (en) 2008-12-31 2018-01-16 Intuitive Surgical Operations, Inc. Configuration marker design and detection for instrument tracking
GB0521281D0 (en) * 2005-10-19 2005-11-30 Acrobat Company The Ltd hybrid constrant mechanism
JP4738270B2 (ja) * 2006-07-14 2011-08-03 株式会社日立メディコ 手術支援装置
WO2009045827A2 (en) 2007-09-30 2009-04-09 Intuitive Surgical, Inc. Methods and systems for tool locating and tool tracking robotic instruments in robotic surgical systems
DE102007055205A1 (de) 2007-11-19 2009-05-20 Kuka Roboter Gmbh Verfahren zum Ermitteln eines Aufstellortes und zum Aufstellen einer Erfassungsvorrichtung eines Navigationssystems
US9259289B2 (en) 2011-05-13 2016-02-16 Intuitive Surgical Operations, Inc. Estimation of a position and orientation of a frame used in controlling movement of a tool
US8668345B2 (en) 2011-11-30 2014-03-11 Izi Medical Products Retro-reflective marker with snap on threaded post
CN106572887B (zh) * 2014-07-15 2020-05-12 皇家飞利浦有限公司 X射线套件中的图像整合和机器人内窥镜控制

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070265527A1 (en) * 2006-05-11 2007-11-15 Richard Wohlgemuth Medical position determination using redundant position detection means and priority weighting for the position detection means
CN102791214A (zh) * 2010-01-08 2012-11-21 皇家飞利浦电子股份有限公司 采用实时速度优化的不经校准的视觉伺服
CN102792305A (zh) * 2010-03-11 2012-11-21 皇家飞利浦电子股份有限公司 用于表征和可视化电磁跟踪误差的方法和系统
WO2016069648A1 (en) * 2014-10-27 2016-05-06 Intuitive Surgical Operations, Inc. System and method for integrated surgical table
WO2016141378A1 (en) * 2015-03-05 2016-09-09 Think Surgical, Inc. Methods for locating and tracking a tool axis
CN106420057A (zh) * 2016-11-23 2017-02-22 北京锐视康科技发展有限公司 一种pet‑荧光双模态术中导航成像系统及其成像方法

Also Published As

Publication number Publication date
US10751133B2 (en) 2020-08-25
US20200038116A1 (en) 2020-02-06
EP3600115A1 (en) 2020-02-05
JP2020512116A (ja) 2020-04-23
WO2018178150A1 (en) 2018-10-04

Similar Documents

Publication Publication Date Title
CN110678141A (zh) 无标记机器人跟踪系统、控制器和方法
US11813030B2 (en) Robotic navigation of robotic surgical systems
US11779408B2 (en) Robotic navigation of robotic surgical systems
US20210378783A1 (en) Methods And Systems For Display Of Patient Data In Computer-Assisted Surgery
CN103705307B (zh) 手术导航系统及医疗机器人
CN109077699B (zh) 通过联合传感器和/或照相机导出数据实现3-d刀具跟踪的方法与系统
US20230172679A1 (en) Systems and methods for guided port placement selection
US20150320514A1 (en) Surgical robots and control methods thereof
CN110868937B (zh) 与声学探头的机器人仪器引导件集成
AU2017210349A1 (en) Graphical user interface for a robotic surgical system
EP3311251A1 (en) Augmented reality imaging system, apparatus and method
US20240268899A1 (en) System and method of displaying images from imaging devices
US20230165639A1 (en) Extended reality systems with three-dimensional visualizations of medical image scan slices
Edgcumbe et al. Calibration and stereo tracking of a laparoscopic ultrasound transducer for augmented reality in surgery
EP3474763A1 (en) Image guidance for a decoupled kinematic control of a remote-center-of-motion
EP4137033A1 (en) System and method for view restoration
KR102612603B1 (ko) 2d-3d 이미지 정합 방법 및 이를 수행하는 수술용 로봇 시스템
WO2023018684A1 (en) Systems and methods for depth-based measurement in a three-dimensional view

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20230317