CN110494096B - 确定手术路径上一个或多个点的方法和系统 - Google Patents

确定手术路径上一个或多个点的方法和系统 Download PDF

Info

Publication number
CN110494096B
CN110494096B CN201880019229.6A CN201880019229A CN110494096B CN 110494096 B CN110494096 B CN 110494096B CN 201880019229 A CN201880019229 A CN 201880019229A CN 110494096 B CN110494096 B CN 110494096B
Authority
CN
China
Prior art keywords
points
region
coordinate system
robotic arm
surgery
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880019229.6A
Other languages
English (en)
Other versions
CN110494096A (zh
Inventor
陈阶晓
王冠茹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Titan Falcon Biotechnology Co ltd
Original Assignee
Titan Falcon Biotechnology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Titan Falcon Biotechnology Co ltd filed Critical Titan Falcon Biotechnology Co ltd
Publication of CN110494096A publication Critical patent/CN110494096A/zh
Application granted granted Critical
Publication of CN110494096B publication Critical patent/CN110494096B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/363—Use of fiducial points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/374—NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]

Abstract

一种将机器人手臂驱动到手术路径上一个或多个点的方法。该方法包括：基于患者的医学图像扫描构建三维模型；依据该三维模型规划手术路径；取回由三维光学设备所捕获的该患者的图像信息；在该三维模型中选择第一组定位标记点；在所取回的图像信息中选择第二组定位标记点；将第一组定位标记点与第二组定位标记点进行匹配；基于匹配的结果，将坐标从三维模型坐标系统转换成三维光学设备坐标系统；以及在机器人手臂坐标系统中，将该机器人手臂驱动到手术路径上的一个或多个点。

Description

确定手术路径上一个或多个点的方法和系统
相关申请的交叉引用
本申请要求2017年6月4日所申请的美国临时专利申请第62/514,951号、2018年1月2日所申请的美国临时专利申请第62/612,728号和2018年1月16日所申请的美国临时专利申请第62/618,053号的利益，其全部内容通过引用并入本文。
技术领域
本发明的实施例一般涉及确定手术路径上一个或多个点的方法和系统。
背景技术
除非文中另外指出，否则本节中所描述的方法对本申请中的权利要求而言并非先前技术，并且通过包括在本节中并非承认为先前技术。
在手术中，规划手术路径至关重要。该手术路径可能包括多个点，例如与该患者有距离的安全点和术前点、患者组织上的进入点和该手术的目标处的目标点。
机器人手术可能对该手术路径提供精确控制。在该手术之前，患者接受医学扫描(如计算机断层扫描(Computed tomography，CT)或核磁共振成像(Magnetic resonanceimaging，MRI))。到所需解剖区的手术路径是经过规划的。可能采用人工智能向外科医师建议带来最少损害的最佳路径。为了进行该手术，可能将该患者的该位置与该医疗扫描的透视图进行匹配，以沿着该经过规划的手术路径准确进行该手术。惯用方法依赖于贴上或旋入基标(fiducial marks)，这会有适应的问题。
附图说明
图1示出手术期间可能遇到的几个点之间的空间关系的示例图；
图2是图示将机器人手臂驱动到手术路径上一个或多个点的示例过程的流程图；
图3图示手术路径计算的示例；
图4A和图4B图示处理医学图像扫描所得到的信息的图像处理；
图5A和图5B图示选择关键特征以识别定位标记点的脸部辨识方法；
图6图示从所构建三维模型坐标系统至三维相机坐标系统的坐标转换；
图7是图示转换坐标的示例过程的流程图；
图8是图示在机器人手臂坐标系统中记录光学设备的示例过程的流程图；
图9是图示将机器人手臂从手术路径上的初始点移动到安全点的示例过程的流程图；
图10是示出在机器人手臂坐标系统中记录附接到机器人手臂凸缘的外科工具的系统的示例图；以及
图11和图12图示由系统的第一相机和第二相机所捕获以在机器人手臂坐标系统中记录附接到机器人手臂凸缘的外科工具的示例图像，其全部依据本公开的一些实施例设置。
具体实施方式
在下面具体实施方式中，参照形成其一部分的所附的附图。在附图中，除非上下文另外指出，否则类似符号通常识别类似组件。实施方式、附图和权利要求中所描述的例示性实施例并非意指限制。可能利用其他实施例，并且可能做出其他变更，而不背离在此所呈现的技术方案的精神或范畴。将很容易理解，如文中一般所描述以及附图中所图示的本公开的方面可以广泛多种的不同配置进行设置、代换、组合和设计，所有这些均于文中明确设想。
图1是示出依据本公开的一些实施例设置的手术期间可能遇到的几个点之间的空间关系的示例图。在图1中，手术路径110可能包括安全点120、术前点130、进入点140和目标点150。
图2是图示将机器人手臂驱动到依据本公开的一些实施例设置的手术路径上一个或多个点的示例过程200的流程图。过程200可能包括如可能通过硬件、软件及/或固件执行的区块210、220、230、240、250、260、270及/或280所图示的一个或多个操作、功能或动作。各种区块不旨在限于所描述的实施例。所概述的步骤和操作仅提供为示例，并且一些步骤和操作可能是可选的、组合成较少步骤和操作或扩展成附加步骤和操作，而未减损所公开的实施例的本质。尽管区块以序列次序图示，但是这些区块也可能并行及/或以与文中所描述不同的次序进行。
过程200可能开始于区块210“基于医学图像扫描构建三维模型”。在执行手术之前，可能使用一些医学成像技术以捕获患者状态的快照，使得可能制定手术规划。该手术规划可能包括如以上所阐述的经过规划的手术路径。举例来说，外科医师可能嘱咐手术目标的医学图像扫描(如CT或MRI)。这样的医学图像扫描可能在该手术之前几天(如3至5天)执行。可能使用一些已知方法基于该医学图像扫描数据构建三维模型。据此，该经过规划的手术路径上的点可能在该三维模型中识别。
区块210接着可能是区块220“执行智能手术路径规划”。在一些实施例中，可能采用人工智能引擎向该外科医师建议对该患者的身体损害最小的一条或多条路径。基于该患者的CT或MRI扫描，该人工智能引擎可能建议一种或多种最佳手术路径。图3图示到达依据本公开的一些实施例设置的目标点320的手术路径310的计算的示例。该计算可能包括转换标准脑部图谱数据，并且将其记录到该患者的医学扫描图像以识别脑部区。一些示例脑部区包括运动联合区331、表达口语区332、较高心智功能区333、运动区334、感觉区335、体感联合区336、全球语言区337、视觉区338、接受口语区339、联合区341和小脑区342。而且，可能自动识别常见目标组织(例如丘脑下核)。此外，以上所阐述的每个脑部区均可能被指定成本函数，以供该人工智能引擎建议到目标组织的一条或多条路径。血管可能是从时差测距(Time-of-flight MRI，TOF)数据识别的。该外层脑部边界上的点是进入点的候选者。
图4A和图4B图示处理依据本公开的一些实施例设置的该医学图像扫描所得到的信息的图像处理。结合图4A和图4B，依据本公开的一些实施例，区块220接着可能是区块230“处理医学图像扫描所得到的信息”。从三维光学设备所捕获的图像得到的点仅与该患者的外观信息相关联，但是与该患者的皮下信息无关。然而，医学图像扫描所得到的图像通常与该外观和该皮下信息均相关联。执行图像处理以从该医学图像扫描移除该皮下信息。因此，在区块260中，该三维光学设备所得到的外观点和从该医学图像扫描得到的外观点用于该三维匹配。
在图4A中，在一些实施例中，假设该手术目标在该患者头部里面，则二进制图像410可能沿着从该患者头部到脚趾的轴向从原始MRI图像导出。区域411是该患者的头骨，并且通常在该原始MRI图像中以白色表示。区域411的外层周边412可能指代与该患者的外观相关联的该患者的皮肤。采用设定阈值方法，可能创建包括该头骨外部(全黑)的区域413和该头骨内部的区域415的图像410。图像410可能被进一步处理以形成图像420。在图像420中，区域413被指定灰度以与黑色和白色区分来形成区域423。
在图4B中，图像420可能被进一步处理以形成图像430。在图像430中，除了区域413的灰度以外的区域被指定黑色以形成区域431。图像430中的区域423随后可能被指定白色以形成图像440。在一些实施例中，可能选择沿着图像440的周边441的点，以供匹配来自区块240中该三维光学设备所拍摄图像的点。
区块230接着可能是区块240“取回三维光学设备所拍摄的患者的图像”。该“三维光学设备”一般可能指代采用深度感测技术的相机或扫描仪。在一些实施例中，该三维光学设备可能包括，但不限于，至少两台二维相机。在一些其他实施例中，该三维光学设备可能包括，但不限于，三维深度感测模块和二维相机模块。在一些实施例中，该三维扫描仪被配置成在待扫描物体的表面上创建几何样本的点云。这些点可能用于推估该物体的形状。在一些实施例中，该三维扫描仪可能是口内扫描仪。
在一些实施例中，除了以传统二维光学设备所得到的信息之外，该三维光学设备可能捕获该患者的深度信息。在一些实施例中，该三维光学设备可能被配置成在手术室中在患者身上进行外科切口之前立即拍摄该患者的图像。该三维光学设备可能固定在该手术室中的固定式装置(如机器人手臂、手术台车)处。
区块240接着可能是区块250“选择定位标记点”。在一些实施例中，可能从区块210中所构建的该三维模型和区块240中所取回的该图像选择一个或多个定位标记点。在一些实施例中，选择具有强烈特征的3个或更多个定位标记点。定位标记点的示例可能包括双眼中间、鼻尖或口部。在一些实施例中，3个定位标记点可能识别允许使用递归最近点(Iterative closest point，ICP)算法进行后续匹配的初始三维坐标。在一些实施例中，定位标记点可能在该三维光学设备扫描和该CT/MRI数据中均具有相同次序(例如：1.鼻尖、2.左眼、3.右眼)。
为了清楚表示，下面讨论主要使用该三维光学设备(如三维相机)及其坐标系统(如三维相机坐标系统)的一个非限制性示例来解释本公开的各种实施例。
在一些实施例中，图5A和图5B图示选择关键特征以识别依据本公开的一些实施例设置的定位标记点的脸部辨识方法。由于患者通常会在外科程序期间闭上其眼睛，因此无法使用依赖于采用圆形虹膜识别其眼睛的传统脸部辨识算法。而是，首先可能选择该患者的鼻子，即最前面的结构。这是可能的，因为该患者一般会躺在相同位置。从具有预定z偏移的该鼻尖，定义想要观测的区域(如图5A中所图示的矩形)以供选择其他定位标记点(如双眼)。在一些实施例中，想要观测的区域可能包括一个区，其由鼻尖、双眼、前额定义；以及一个区，其在双眉之间。据此，在一些实施例中，从横向(轴向)剖面，可能识别3个或更多个定位标记点(如鼻子为较高中心峰值，并且双眼球为较小2个峰值)。
区块250接着可能是区块260“执行图像匹配”。在一些实施例中，该图像匹配包括匹配区块250中所选择的定位标记点。在一些实施例中，将从该三维光学设备所拍摄的图像选择的定位标记点与从该所构建三维模型选择的定位标记点进行匹配，有时递归进行以最小化该两组定位标记点之间的差异。在一些实施例中，用于匹配的定位标记点可能涵盖所有可用表面数据。在其他实施例中，用于匹配的定位标记点可能是该表面数据的选定子集。举例来说，用于匹配的定位标记点可能从该三维光学设备所拍摄的图像的想要观测的区域(如图5A中所图示的矩形)和所构建三维模型的想要观测的区域重复选择，而非从所有可用表面数据重复选择。
区块260接着可能是区块270“转换坐标”。在区块270中，从所构建三维模型选择的点(如P1、P2和P3)从其原始坐标系统(即三维模型坐标系统)转换成该三维光学设备所拍摄的图像的坐标(即三维相机坐标系统)。该转换可能基于一些图像比较方法，例如递归最近点(ICP)。区块270可能进一步包括附加坐标转换，其中该三维相机坐标系统上的所有点均转换成该机器人手臂的坐标(即机器人手臂坐标系统)。以下将进一步描述转换坐标的细节。
区块270接着可能是区块280“将机器人手臂驱动到手术路径上的点”。在区块280中，三维模型坐标系统中该经过规划的手术路径的坐标可能转换成该机器人手臂坐标系统。因此，该机器人手臂可能移动到该经过规划的手术路径上的安全点、术前点、进入点及/或目标点。
总结来说，可能使用三维相机或扫描仪得到患者的脸部特征。脸部特征随后可能和与医学图像扫描相关联的经过处理图像数据进行比较。为了比较，在该三维相机所得到的图像和与该医学图像扫描相关联的图像中均以相同序列选择定位标记点。在一些实施例中，示例过程200可能应用于各种类型的手术，例如脑部手术、神经系统手术、内分泌腺手术、眼部手术、耳部手术、呼吸道手术、循环系统手术、淋巴腺手术、胃肠手术、口部和牙科手术、泌尿手术、生殖手术、骨骼、软骨和关节手术、肌肉/软组织手术、乳房手术、皮肤手术等。
图6图示依据本公开的一些实施例从所构建三维模型坐标系统至三维相机坐标系统的示例坐标转换。以下将结合图7进一步讨论本图。
图7是依据本公开的一些实施例，图示转换坐标的示例过程700的流程图。过程700可能包括如可能通过硬件、软件及/或固件执行的区块710、720、730及/或740所图示的一个或多个操作、功能或动作。各种区块不旨在限于所描述的实施例。所概述的步骤和操作仅提供为示例，并且一些步骤和操作可能是可选的、组合成较少步骤和操作或扩展成附加步骤和操作，而未减损所公开实施例的本质。尽管区块以序列次序图示，但是这些区块也可能并行及/或以与文中所描述的不同的次序进行。
结合图6，在区块710中，得到初始矩阵。在一些实施例中，得到第一初始矩阵TMRI和第二初始矩阵T相机。在一些实施例中，
Figure BDA0002206588970000071
其中
Figure BDA0002206588970000072
Figure BDA0002206588970000073
Figure BDA0002206588970000074
向量Xx是向量X的x分量、向量Xy是向量X的y分量，并且向量Xz是向量X的z分量。同样地，向量Yx是向量Y的x分量、向量Yy是向量Y的y分量，并且向量Yz是向量Y的z分量。向量Zx是向量Z的x分量、向量Zy是向量Z的y分量，并且向量Zz是向量Z的z分量。P1x是P1的x坐标、P1y是P1的y坐标，并且P1z是P1的z坐标。
在一些其他实施例中，
Figure BDA0002206588970000081
其中
Figure BDA0002206588970000082
Figure BDA0002206588970000083
Figure BDA0002206588970000084
向量X'x是向量X'的x分量、向量X'y是向量X'的y分量，并且向量X'z是向量X'的z分量。同样地，向量Y'x是向量Y'的x分量、向量Y'y是向量Y'的y分量，并且向量Y'z是向量Y'的z分量。向量Z'x是向量Z'的x分量、向量Z'y是向量Z'的y分量，并且向量Z'z是向量Z'的z分量。P1'x是P1'的x坐标、P1'y是P1'的y坐标，并且P1'z是P1'的z坐标。
区块710接着可能是区块720“得到换算矩阵”。在一些实施例中，该换算矩阵可能系
Figure BDA0002206588970000085
并且P1、P2和P3依据
Figure BDA0002206588970000086
转换成该三维相机坐标系统。假设P1、P2和P3分别转换成P1经过转换、P2经过转换和P3经过转换，则与P1经过转换和P1'、P2经过转换和P2'以及P3经过转换和P3'之间的差异相关联的距离度量基于一些可行的ICP方法进行计算。
区块720接着可能是区块730。在区块730中，确定该距离度量的改变是否到达阈值。如果未到达该阈值，则区块730可能回到区块720，其中选择P1经过转换、P2经过转换和P3经过转换以更新T相机，并且最后得到新的换算矩阵
Figure BDA0002206588970000087
如果到达该阈值，则区块730接着可能是区块740。
在区块740中，得到转换矩阵以将点从该三维相机坐标系统转换成该机器人手臂坐标系统。在一些实施例中，该转换矩阵
Figure BDA0002206588970000091
其中
R＝I+(sinθ)K+(1-cosθ)K2  (4)
Figure BDA0002206588970000092
Figure BDA0002206588970000093
Figure BDA0002206588970000094
Figure BDA0002206588970000095
是与该机器人手臂坐标系统中的相机中心(如该相机坐标系统的原点)相关联的旋转向量。
kx是
Figure BDA0002206588970000096
的x分量、ky是
Figure BDA0002206588970000097
的y分量，并且kz是
Figure BDA0002206588970000098
的z分量；以及Pcx是该机器人手臂坐标系统中该相机中心的x坐标、Pcy是该相机中心的y坐标，并且Pcz是该相机中心的z坐标。在一些实施例中，以下将结合图8进一步描述在该机器人手臂坐标系统中记录该相机中心的示例方法。
依据该转换矩阵，该三维模型坐标系统中该手术路径上的点可能转换成该机器人手臂坐标系统。因此，该机器人手臂可能移动到该手术路径上的一个或多个点。
在一些实施例中，图8是图示在该机器人手臂坐标系统中记录光学设备(如相机)的示例过程800的流程图。在一些实施例中，该光学设备可能安装在该机器人手臂的凸缘处。为了以如以上所阐述的kx、ky、kz、Pcx、Pcy和Pcz描述该机器人手臂坐标系统中的该光学设备，首先可能依据过程800在该机器人手臂坐标系统中记录与该光学设备相关联的点(如该相机坐标系统的原点)。过程800可能包括如可能通过硬件、软件及/或固件执行的区块810、820、830及/或840所图示的一个或多个操作、功能或动作。各种区块不旨在限于所描述的实施例。所概述的步骤和操作仅提供为示例，并且一些步骤和操作可能是可选的、组合成较少步骤和操作或扩展成附加步骤和操作，而未减损所公开实施例的本质。尽管区块以序列次序图示，但是这些区块也可能并行及/或以与文中所描述的不同的次序进行。
过程800可能从区块810开始。在区块810中，该机器人手臂被配置成移动到起始位置。在一些实施例中，该起始位置紧邻且面向该机器人手臂的基部。在一些实施例中，在该起始位置处，该光学设备被配置成捕获该机器人手臂的该基部的一个或多个图像。所捕获图像与该光学设备的点和该机器人手臂的该基部之间的空间关系相关联。
区块810接着可能是区块820。在区块820中，基于所捕获图像得到该机器人手臂的该基部的网格。
区块820接着可能是区块830。在区块830中，基于该机器人手臂的某些物理信息构建该机器人手臂的该基部的三维模型。在一些实施例中，该物理信息可能包括该机器人手臂的元件的尺寸、定向及/或几何特征。
区块830接着可能是区块840。在区块840中，将该所得到网格与该所构建三维模型进行匹配。一些技术可行的方法可能用于该匹配，举例来说，递归最近点方法可能用于将该所得到网格的点与该所构建三维模型的点进行匹配，以达到给定收敛精确度要求。响应于该给定收敛精确度达到要求，可计算该光学设备的点和该机器人手臂的该基部之间的空间关系。基于该计算，可能在该机器人手臂坐标系统中记录该相机的该点。
图9是依据本公开的一些实施例，图示将机器人手臂从手术路径上的初始点移动到安全点的示例过程900的流程图。在一些实施例中，该初始点是配置光学设备拍摄该患者的图像的点。在一些实施例中，该初始点和该安全点在该机器人手臂坐标系统中。过程900可能包括如可能通过硬件、软件及/或固件执行的区块910、920及/或930所图示的一个或多个操作、功能或动作。各种区块不旨在限于所描述的实施例。所概述的步骤和操作仅提供为示例，并且一些步骤和操作可能是可选的、组合成较少步骤和操作或扩展成附加步骤和操作，而未减损所公开实施例的本质。尽管区块以序列次序图示，但是这些区块也可能并行及/或以与文中所描述的不同的次序进行。
在区块910中，得到用于将该机器人手臂从该初始点旋转到该安全点的旋转矩阵。在一些实施例中，该旋转矩阵是Rs＝Rχ(β)Rz(α)R1，其中
Figure BDA0002206588970000111
Figure BDA0002206588970000112
R1是该初始点处的旋转矩阵；
α是在该初始点处沿着Z轴旋转的度数；以及
β是在该初始点处沿着Y轴旋转的度数。
区块910接着可能是区块920。在区块920中，得到该安全点的坐标。在一些实施例中，该安全点的坐标(Xs,Ys,Zs)可能是：
Figure BDA0002206588970000113
R1是该初始点处的旋转矩阵；
(X1,Y1,Z1)是该初始点的坐标；
Xdis是从该初始点在X轴上的移动距离；
Ydis是从该初始点在Y轴上的移动距离；以及
Zdis是从该初始点在Z轴上的移动距离。
在一些实施例中，Xdis、Ydis和Zdis与附接在该机器人手臂上的该外科器具的长度相关联。在一些实施例中，该外科器具的长度及Xdis、Ydis和Zdis中任一者的总和小于分别在X轴、Y轴和Z轴任一者上从该机器人手臂到该患者的距离。
区块920接着可能是区块930。在区块930中，机器人手臂被配置成依据区块910中所得到的旋转矩阵和区块920中所得到的坐标，从该初始点旋转和移动到该安全点。
在一些实施例中，图10的计算系统1060可能被配置成执行前述过程900。
图10是依据本公开的一些实施例，示出在该机器人手臂坐标系统中记录附接到机器人手臂凸缘的外科工具的系统1000的示例图。在一些实施例中，该机器人手臂在初始点处。在一些实施例中，系统1000可能包括具有边缘1011的机器人手臂的凸缘1010、附接到具有尖端1021的凸缘1010的外科器具1020、第一光源1032、第一相机1042、第二光源1034、第二相机1044，以及经由有线连接或无线连接耦合到该机器人手臂的计算系统1060。在一些实施例中，光源1032和1034可能是垂直布置在板1050上的背光板。在一些实施例中，板1050使用附接在凸缘1010上的标准探头经由技术可行的校正方法通过该机器人手臂坐标系统定义。在校正之后，该标准探头可能从凸缘1010拆离，并且外科器具1020随后附接到凸缘1010。由于板1050经由该校正通过该机器人手臂坐标系统定义，因此如图10中所示，第一背光板1032可能通过该机器人手臂坐标系统的x和z坐标定义，并且第二背光板1034可能通过该机器人手臂坐标系统的y和z坐标定义。
在一些实施例中，光源1032和1034相对于彼此垂直布置。在一些其他实施例中，第一相机1042被布置在板1050上且垂直第二光源1034，并且第二相机1044被布置在板1050上且垂直第一光源1032。外科器具1020可能被布置在第一光源1032、第二光源1034、第一相机1042和第二相机1044之间。
在一些实施例中，第一光源1032被配置成产生背光。该背光被配置成穿过外科器具1020的本体。第一相机1042被配置成捕获与外科器具1020相关联的一个或多个图像(如第一光源1032所产生该背光所引起的该机器人手臂坐标系统的x-z平面上的外科器具的投影)。
同样地，第二光源1034也被配置成产生背光。该背光被配置成穿过外科器具1020的本体。第二相机1044被配置成捕获与外科器具1020相关联的一个或多个图像(如第二光源1034所产生该背光所引起的该机器人手臂坐标系统的y-z平面上的外科器具的投影)。
结合图10，图11依据本公开的一些实施例，图示第一相机1042所捕获的示例图像1101、1102和1103。如以上所阐述，在一些实施例中，第一相机1042被配置成在该机器人手臂坐标系统的x-z平面上捕获外科器具1020的一个或多个投影。为了在该机器人手臂坐标系统中记录外科器具1020，响应于处于第一状态的外科器具1020的第一x-z平面投影，从而使尖端1021的第一x-z平面投影与图像1101的中心有距离，计算系统1060被配置成产生命令以移动该机器人手臂和凸缘1010，并且因此外科器具1020被移动到第二状态。处于该第二状态，外科器具1020的第二x-z平面投影被示出在图像1102中，其中尖端1021的第二x-z平面投影与图像1102的中心吻合。然而，处于该第二状态，外科器具1020的第二x-z平面投影并未与该机器人手臂坐标系统的z轴对齐。作为响应，计算系统1060被配置成产生命令以旋转该机器人手臂和凸缘1010，并且因此外科器具1020被旋转到第三状态。处于该第三状态，外科器具1020的第三x-z平面投影被示出在图像1103中，其中尖端1021的第三x-z平面投影与图像1103的中心吻合，并且外科器具1020的第三x-z平面投影与该机器人手臂坐标系统的z轴对齐。
除了以上所描述的步骤之外，结合图10和图11，图12依据本公开的一些实施例，图示第二相机1044所捕获的示例图像1201、1202和1203。如以上所阐述，在一些实施例中，第二相机1044被配置成在该机器人手臂坐标系统的y-z平面上捕获外科器具1020的一个或多个投影。为了在该机器人手臂坐标系统中记录外科器具1020，响应于处于第四状态的外科器具1020的第一y-z平面投影，从而使尖端1021的第一y-z平面投影与图像1201的中心有距离，计算系统1060被配置成产生命令以移动机器人手臂和凸缘1010，并且因此外科器具1020被移动到第五状态。处于该第五状态，外科器具1020的第二y-z平面投影被示出在图像1202中，其中尖端1021的第二y-z平面投影吻合图像1202的中心。然而，处于第五状态，外科器具1020的第二y-z平面投影并未与该机器人手臂坐标系统的z轴对齐。作为响应，计算系统1060被配置成产生命令以旋转该机器人手臂和凸缘1010，并且因此外科器具1020被旋转到第六状态。处于该第六状态，外科器具1020的第三y-z平面投影被示出在图像1203中，其中尖端1021的第三y-z平面投影吻合图像1203的中心，并且外科器具1020的第三y-z平面投影与z轴对齐。
在一些实施例中，处于该第六状态，第一相机1042被配置成在该机器人手臂坐标系统的x-z平面上捕获外科器具1020的一个或多个投影。响应于该第六状态也示出实质上与图像1103相同的x-z平面投影，计算系统1060被配置成确定起始点在凸缘1010被边缘1011处且结束点在尖端1021处的对应于外科器具1020的线，被定义在该机器人手臂坐标系统中。据此，该机器人手臂坐标系统中的尖端1021的坐标可能基于该机器人手臂坐标系统中的边缘1011的坐标和外科器具1020的几何信息(如长度)被确定。
反之，响应于该第六状态示出实质上并未与图像1103相同的x-z平面投影，重复以上关于图11和图12所描述的一个或多个步骤，直到该第六状态示出实质上与图像1103相同的x-z平面投影。
在一些实施例中，在确定该机器人手臂坐标系统中的尖端1021的坐标之后，该机器人手臂可能被配置成通过移动及/或旋转该凸缘1010和外科器具1020，将尖端1021接触在该机器人手臂坐标系统中具有已知坐标的参考点。响应于尖端1021实质上碰触该参考点，则计算系统1060被配置成确定尖端1021的坐标经过验证。否则，可能重复以上所阐述的步骤。
前述实施方式已通过使用区块图、流程图及/或示例阐述装置及/或过程的各种实施例。在这样的区块图、流程图及/或示例含有一个或多个功能及/或操作的范围内，本领域技术人员将能理解这样的区块图、流程图或示例内的每个功能及/或操作，均可通过广泛的硬件、软件、固件或几乎其任何组合个别及/或集体实现。在一些实施例中，文中所描述的技术方案的几个部分可能通过专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)或其他集成格式实现。然而，本领域技术人员将能认可，文中所公开的实施例的一些方面可全部或部分在集成电路中等效实现为在一个或多个计算机上运行的一个或多个计算机程序(如在一个或多个计算机系统上运行的一个或多个程序)、在一个或多个处理器上运行的一个或多个程序(如在一个或多个微处理器上运行的一个或多个程序)、固件或几乎其任何组合，并且设计该电路及/或编写该软件及/或固件的代码将根据本公开完全在本领域技术人员的技术范围内。此外，本领域技术人员将能了解，文中所描述的技术方案的机制能够以多种形式分布为程序产品，并且文中所描述的技术方案的例示性实施例不论用于实际执行该分布的信号承载介质的特定类型如何均适用。信号承载介质的示例包括，但不限于，下列：可记录类型介质，例如软式磁盘、硬盘机、光盘(CD)、数字激光视盘(DVD)、数字磁带、计算机存储器等；以及传输类型介质，例如数字及/或模拟通信介质(如光纤电缆、波导、有线通信链接、无线通信链接等)。
从前述将能了解，文中为了例示的目的已描述本公开的各种实施例，并且可能做出各种修改而不背离本公开的范畴与精神。据此，文中所公开的各种实施例均不旨在是限制性的。

Claims (23)

1.一种将机器人手臂驱动到手术路径上的一个或多个点的方法，包括：
基于患者的医学图像扫描构建三维模型，所述医学图像扫描与所述患者的外观信息和皮下信息相关联；
依据所述三维模型规划手术路径；
取回由三维光学设备所捕获的所述患者的图像信息，所述图像信息仅与所述患者的所述外观信息相关联，而与所述患者的所述皮下信息无关；
在所述三维模型中选择第一组定位标记点；
在所取回的所述图像信息中选择第二组定位标记点；
通过递归最近点算法将所述第一组定位标记点与所述第二组定位标记点进行匹配；
基于将所述第一组定位标记点与所述第二组定位标记点进行匹配的结果，将坐标从与所述三维模型相关联的第一坐标系统转换成与所述三维光学设备相关联的第二坐标系统；以及
在与所述机器人手臂相关联的第三坐标系统中，将所述机器人手臂驱动到所述手术路径上的所述一个或多个点。
2.根据权利要求1所述的方法，还包括基于所述医学图像扫描创建一个或多个二进制图像，其中所述二进制图像的白色区域对应于所述手术路径上的解剖区。
3.根据权利要求2所述的方法，还包括基于所述白色区域定义所述二进制图像的第一区和第二区。
4.根据权利要求3所述的方法，其中选择所述第一组定位标记点还包括在所述第二区中选择一个或多个定位标记点，所述第二区具有与所述第一区不同的灰度值。
5.根据权利要求1所述的方法，其中选择所述第一组定位标记点包括在所述三维模型的想要观测的第一区中一致地选择一个或多个定位标记点。
6.根据权利要求5所述的方法，其中选择所述第二组定位标记点包括在所取回的所述图像信息的想要观测的第二区中一致地选择一个或多个定位标记点。
7.根据权利要求6所述的方法，其中想要观测的所述第一区或想要观测的所述第二区包括由鼻尖、双眼、前额所定义的区；以及在所述患者的双眉之间的区。
8.根据权利要求1所述的方法，其中转换坐标还包括在所述第三坐标系统中记录所述三维光学设备的点。
9.根据权利要求8所述的方法，还包括基于所述第三坐标系统中所记录的所述点，将坐标从所述第二坐标系统转换成所述第三坐标系统。
10.根据权利要求8所述的方法，还包括将所述三维光学设备所捕获的所述机器人手臂的一部分的图像所得到的网格与所述机器人手臂的所述部分的三维模型进行匹配。
11.根据权利要求1所述的方法，还包括记录附接到所述第三坐标系统中所述机器人手臂的外科器具。
12.根据权利要求11所述的方法，其中记录所述外科器具是基于所述第三坐标系统中所述外科器具的一个或多个投影。
13.根据权利要求1所述的方法，其中规划所述手术路径还包括对所述患者的解剖区指定成本函数。
14.一种将机器人手臂驱动到手术路径上的一个或多个点的系统，包括：
机器人手臂；
三维光学设备；以及
处理器，其被配置为：
基于患者的医学图像扫描构建三维模型，所述医学图像扫描与所述患者的外观信息和皮下信息相关联；
依据所述三维模型规划手术路径；
取回所述三维光学设备所捕获的所述患者的图像信息，所述图像信息仅与所述患者的所述外观信息相关联，而与所述患者的所述皮下信息无关；
在所述三维模型中选择第一组定位标记点；
在所取回的所述图像信息中选择第二组定位标记点；
通过递归最近点算法将所述第一组定位标记点与所述第二组定位标记点进行匹配；
基于将所述第一组定位标记点与所述第二组定位标记点匹配的结果，将坐标从与所述三维模型相关联的第一坐标系统转换成与所述三维光学设备相关联的第二坐标系统；以及
在与所述机器人手臂相关联的第三坐标系统中，将所述机器人手臂驱动到所述手术路径上的所述一个或多个点。
15.根据权利要求14所述的系统，其中所述处理器还被配置为基于所述医学图像扫描创建一个或多个二进制图像，其中所述二进制图像的白色区域对应于所述手术路径上的解剖区。
16.根据权利要求15所述的系统，其中所述处理器还被配置为基于所述白色区域定义所述二进制图像的第一区和第二区。
17.根据权利要求16所述的系统，其中所述处理器还被配置为在所述第二区中选择一个或多个定位标记点，所述第二区具有与所述第一区不同的灰度值。
18.根据权利要求14所述的系统，其中所述处理器还被配置为在所述三维模型的想要观测的第一区中一致地选择一个或多个定位标记点，及/或在所取回的所述图像信息的想要观测的第二区中一致地选择一个或多个定位标记点。
19.根据权利要求14所述的系统，其中所述处理器还被配置为在所述第三坐标系统中记录所述三维光学设备的点，并且基于所述第三坐标系统中所记录的所述点，将坐标从所述第二坐标系统转换成所述第三坐标系统。
20.根据权利要求14所述的系统，还包括第一光源和第二光源，其被配置为产生光以形成附接到所述机器人手臂的外科器具的多个投影，其中所述投影是以所述第三坐标系统描述的。
21.根据权利要求20所述的系统，其中所述第一光源和所述第二光源被设置为彼此垂直。
22.根据权利要求21所述的系统，还包括第一相机和第二相机，其被设置为彼此垂直，并且被配置为捕获所述投影的图像。
23.根据权利要求14所述的系统，其中所述系统被配置为用于脑部手术、神经系统手术、内分泌腺手术、眼部手术、耳部手术、呼吸道手术、循环系统手术、淋巴腺手术、胃肠手术、口部和牙科手术、泌尿手术、生殖手术、骨骼、软骨和关节手术、肌肉/软组织手术、乳房手术及/或皮肤手术。
CN201880019229.6A 2017-06-04 2018-06-04 确定手术路径上一个或多个点的方法和系统 Active CN110494096B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201762514951P 2017-06-04 2017-06-04
US62/514,951 2017-06-04
US201862612728P 2018-01-02 2018-01-02
US62/612,728 2018-01-02
US201862618053P 2018-01-16 2018-01-16
US62/618,053 2018-01-16
PCT/CN2018/089769 WO2018223925A1 (en) 2017-06-04 2018-06-04 Method and system of determining one or more points on operation pathway

Publications (2)

Publication Number Publication Date
CN110494096A CN110494096A (zh) 2019-11-22
CN110494096B true CN110494096B (zh) 2023-05-05

Family

ID=64566379

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880019229.6A Active CN110494096B (zh) 2017-06-04 2018-06-04 确定手术路径上一个或多个点的方法和系统

Country Status (7)

Country Link
US (1) US11648066B2 (zh)
EP (1) EP3586507A4 (zh)
JP (1) JP7095079B2 (zh)
KR (1) KR102493021B1 (zh)
CN (1) CN110494096B (zh)
TW (1) TWI670681B (zh)
WO (1) WO2018223925A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2020234305A1 (en) * 2019-03-11 2021-10-07 Intellijoint Surgical Inc. Computer assisted surgery system and method to process and communicate planning data
TWI766253B (zh) * 2019-03-19 2022-06-01 鈦隼生物科技股份有限公司 基於影像匹配決定手術路徑之方法與系統
FR3095331A1 (fr) * 2019-04-26 2020-10-30 Ganymed Robotics Procédé de chirurgie orthopédique assistée par ordinateur
FR3104934B1 (fr) * 2019-12-18 2023-04-07 Quantum Surgical Méthode de planification automatique d’une trajectoire pour une intervention médicale
TW202216076A (zh) * 2020-03-21 2022-05-01 鈦隼生物科技股份有限公司 用以基於影像匹配進行鼻咽採檢之方法與系統
CN113768624B (zh) * 2021-09-28 2023-05-09 杭州柳叶刀机器人有限公司 作业面定位控制方法、装置、计算机设备及可读存储介质
CN114617636B (zh) * 2022-05-11 2022-09-02 杭州键嘉机器人有限公司 确定口腔u型槽夹具和医学影像坐标系转换关系的方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103260550A (zh) * 2010-12-21 2013-08-21 修复型机器人公司 在毛发移植手术中用于引导工具移动的方法和系统
CN106794044A (zh) * 2015-06-05 2017-05-31 陈阶晓 术中追踪方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5389101A (en) * 1992-04-21 1995-02-14 University Of Utah Apparatus and method for photogrammetric surgical localization
JPH0759763A (ja) * 1993-08-25 1995-03-07 Hitachi Gazo Joho Syst:Kk ３次元物体計測装置
US5999840A (en) * 1994-09-01 1999-12-07 Massachusetts Institute Of Technology System and method of registration of three-dimensional data sets
JP2008526422A (ja) * 2005-01-13 2008-07-24 メイザー サージカル テクノロジーズ リミテッド 鍵穴脳神経外科用画像ガイドロボットシステム
CN1907225B (zh) 2005-08-05 2011-02-02 Ge医疗系统环球技术有限公司 用于脑内出血损伤分割的方法和设备
US20070066881A1 (en) 2005-09-13 2007-03-22 Edwards Jerome R Apparatus and method for image guided accuracy verification
US9782229B2 (en) * 2007-02-16 2017-10-10 Globus Medical, Inc. Surgical robot platform
JP5283157B2 (ja) 2007-03-20 2013-09-04 国立大学法人静岡大学 手術支援情報表示装置、手術支援情報表示方法及び手術支援情報表示プログラム
CN101049248A (zh) * 2007-05-18 2007-10-10 西安工业大学 光磁电复合导航手术定位装置和方法
EP2381866B1 (en) * 2008-12-29 2017-03-22 Koninklijke Philips N.V. Path planning for reducing tissue damage in minimally invasive surgery
CA2797302C (en) * 2010-04-28 2019-01-15 Ryerson University System and methods for intraoperative guidance feedback
CN102727309B (zh) * 2011-04-11 2014-11-26 上海优益基医疗器械有限公司 结合内窥镜影像的外科手术导航系统
US9629523B2 (en) * 2012-06-27 2017-04-25 Camplex, Inc. Binocular viewing assembly for a surgical visualization system
KR101993384B1 (ko) * 2012-10-24 2019-06-26 삼성전자주식회사 환자의 자세 변화에 따른 의료 영상을 보정하는 방법, 장치 및 시스템
CN103961178B (zh) 2013-01-30 2016-05-11 深圳先进技术研究院 远程手术规划与导航系统
US10507066B2 (en) 2013-02-15 2019-12-17 Intuitive Surgical Operations, Inc. Providing information of tools by filtering image areas adjacent to or on displayed images of the tools
AU2014229201A1 (en) * 2013-03-11 2015-09-10 Tylerton International Inc. Modeling the autonomous nervous system and uses thereof
US9814390B2 (en) * 2013-03-15 2017-11-14 Synaptive Medical (Barbados) Inc. Insert imaging device for surgical procedures
SG11201507610RA (en) * 2013-03-15 2015-10-29 Synaptive Medical Barbados Inc Planning, navigation and simulation systems and methods for minimally invasive therapy
JP5781135B2 (ja) 2013-09-27 2015-09-16 エフ・エーシステムエンジニアリング株式会社 ３ｄナビゲーション映像生成装置
US10231704B2 (en) * 2013-12-20 2019-03-19 Raghu Raghavan Method for acquiring ultrasonic data
TWI548388B (zh) * 2013-12-30 2016-09-11 國立臺灣大學 骨科手術之手持式機器人以及其控制方法
CN106714681A (zh) * 2014-07-23 2017-05-24 凯内蒂科尔股份有限公司 用于在医学成像扫描期间追踪和补偿患者运动的系统、设备和方法
US9950194B2 (en) 2014-09-09 2018-04-24 Mevion Medical Systems, Inc. Patient positioning system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103260550A (zh) * 2010-12-21 2013-08-21 修复型机器人公司 在毛发移植手术中用于引导工具移动的方法和系统
CN106794044A (zh) * 2015-06-05 2017-05-31 陈阶晓 术中追踪方法

Also Published As

Publication number Publication date
EP3586507A4 (en) 2021-02-24
KR102493021B1 (ko) 2023-01-31
KR20200016833A (ko) 2020-02-17
TW201907366A (zh) 2019-02-16
WO2018223925A1 (en) 2018-12-13
US11648066B2 (en) 2023-05-16
TWI670681B (zh) 2019-09-01
CN110494096A (zh) 2019-11-22
JP7095079B2 (ja) 2022-07-04
EP3586507A1 (en) 2020-01-01
JP2020522369A (ja) 2020-07-30
US20200008892A1 (en) 2020-01-09

Similar Documents

Publication Publication Date Title
CN110494096B (zh) 确定手术路径上一个或多个点的方法和系统
TWI595437B (zh) 術中追蹤方法
US10610378B2 (en) Feedback for providing artificial bone flap
US10390892B2 (en) System and methods for updating patient registration during surface trace acquisition
US10111717B2 (en) System and methods for improving patent registration
US11666387B2 (en) System and methods for automatic muscle movement detection
TWI733151B (zh) 病患位置之術中追蹤方法、系統與可讀取儲存媒體
CN113597288B (zh) 基于影像匹配确定手术路径的方法与系统
Xiao et al. Cortexbot: 3d visual fusion of robotic neuronavigated tms system
WO2021213450A1 (en) Method and system to augment medical scan image information on extended reality image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant