CN116801829A - 用于导航的分体式机器人参考系 - Google Patents
用于导航的分体式机器人参考系 Download PDFInfo
- Publication number
- CN116801829A CN116801829A CN202280012668.0A CN202280012668A CN116801829A CN 116801829 A CN116801829 A CN 116801829A CN 202280012668 A CN202280012668 A CN 202280012668A CN 116801829 A CN116801829 A CN 116801829A
- Authority
- CN
- China
- Prior art keywords
- tracking
- tracking marks
- robotic
- marks
- robotic arm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims description 56
- 238000004891 communication Methods 0.000 description 12
- 239000012636 effector Substances 0.000 description 11
- 239000003550 marker Substances 0.000 description 11
- 238000001356 surgical procedure Methods 0.000 description 10
- 238000013507 mapping Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000001574 biopsy Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000002329 infrared spectrum Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000002432 robotic surgery Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000001429 visible spectrum Methods 0.000 description 2
- 238000002679 ablation Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000011664 nicotinic acid Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 210000003625 skull Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Landscapes
- Manipulator (AREA)
Abstract
一种机器人导航系统包括:机器人基座;机器人臂,该机器人臂具有固定到该机器人基座的近侧端部、可相对于该近侧端部移动的远侧端部以及位于该近侧端部与该远侧端部之间的一个或多个臂段;基本的跟踪标记集合,该基本的跟踪标记集合固定到该机器人基座;和至少一个附加的跟踪标记集合,该至少一个附加的跟踪标记集合固定到该机器人臂。
Description
技术领域
本技术整体涉及机器人手术,并且更具体地涉及在机器人手术期间使用分体式机器人参考系的导航。
背景技术
手术导航系统用于跟踪手术期间的一个或多个对象的位置。手术机器人适用于在手术期间固持一个或多个工具或装置,并且可自主地(例如,在操作期间没有任何人工输入)、半自主地(例如,在操作期间具有一些人工输入)或非自主地(例如,仅如由人工输入所指导的)操作。
发明内容
本公开的示例性方面包括:
根据本公开的至少一个实施方案的一种机器人导航系统包括:机器人基座;机器人臂,该机器人臂包括固定到该机器人基座的近侧端部;能够相对于该近侧端部移动的远侧端部;和位于该近侧端部与该远侧端部之间的一个或多个臂段;基本的跟踪标记集合,该基本的跟踪标记集合固定到该机器人基座;至少一个附加的跟踪标记集合,该至少一个附加的跟踪标记集合固定到该一个或多个臂段中的至少一个臂段;以及至少一个传感器,该至少一个传感器用于检测该基本的跟踪标记集合和该至少一个附加的跟踪标记集合的布置。
在本文的任一方面,其中该至少一个附加的跟踪标记集合包括固定到该一个或多个臂段中的第一臂段的第一跟踪标记集合和固定到该一个或多个臂段中的第二臂段的第二跟踪标记集合。
在本文的任一方面,其中该基本的跟踪标记集合、该第一跟踪标记集合和该第二跟踪标记集合中的每一者包括至少两个标记。
在本文的任一方面,还包括:几何图案,该几何图案投影到该机器人臂上。
在本文的任一方面,其中该至少一个附加的跟踪标记集合能够通过波长来区分。
在本文的任一方面,其中该基本的跟踪标记集合以可移除地固定或牢固地固定中的至少一种方式固定到该机器人基座。
在本文的任一方面,还包括:至少一个处理器;和存储器,该存储器存储用于由该至少一个处理器执行的指令,该指令在被执行时使该至少一个处理器:从该至少一个传感器接收关于该基本的跟踪标记集合和该至少一个附加的跟踪标记集合的检测到的布置的信息;基于该检测到的布置信息,生成跨越该基本的跟踪标记集合和该至少一个附加的跟踪标记集合的虚拟参考系;以及使用该虚拟参考系确定该机器人臂在空间中的位姿。
在本文的任一方面,还包括:至少一个处理器;和存储器,该存储器存储用于由该至少一个处理器执行的指令,该指令在被执行时使该至少一个处理器:从该至少一个传感器接收关于该基本的跟踪标记集合和该至少一个附加的跟踪标记集合的所检测到的布置的信息以及关于投影到该机器人臂上的该图案的信息;以及基于该检测到的布置和该图案来映射该机器人臂。
在本文的任一方面,其中该至少一个传感器为第一传感器,该系统还包括:第二传感器,该第二传感器被配置为提供对应于该机器人臂的位姿信息,并且其中该存储器存储用于由该至少一个处理器执行的附加指令,该指令在被执行时进一步使该至少一个处理器:从该第二传感器接收位姿信息,以及基于该位姿信息确定该基本的跟踪标记集合和该至少一个附加的跟踪标记集合的预测的布置。
在本文的任一方面,其中该存储器存储用于由该至少一个处理器执行的附加指令,该指令在被执行时进一步使该至少一个处理器:将该检测到的布置与该预测的布置进行比较,该所检测到的布置是从该第一传感器接收的。
在本文的任一方面,其中该存储器存储用于由该至少一个处理器执行的附加指令,该指令在被执行时进一步使该至少一个处理器:基于该比较验证该位姿信息的完整性。
根据本公开的至少一个实施方案的一种利用机器人参考系进行导航的方法包括:使机器人臂接触解剖元件;从传感器接收关于基本的跟踪标记集合和至少一个附加的跟踪标记集合的检测到的布置的信息,该基本的跟踪标记集合定位在机器人的基座上,并且该至少一个附加的跟踪标记集合定位在该机器人臂的对应的至少一个机器人臂段上;基于该检测到的布置生成虚拟参考系;以及基于该虚拟参考系确定该解剖元件的位置。
在本文的任一方面,其中该确定该解剖元件的该位置包括基于该虚拟参考系确定该解剖元件的位姿。
在本文的任一方面,其中该至少一个附加的跟踪标记集合包括固定到该至少一个臂段中的第一臂段的第一跟踪标记集合和固定到该至少一个臂段中的第二臂段的第二跟踪标记集合。
在本文的任一方面,其中该基本的跟踪标记集合和该至少一个附加的跟踪标记集合中的每一者包括至少两个标记。
在本文的任一方面,其中接收的该信息是从第一传感器接收的,并且其中该方法还包括:从第二传感器接收位姿信息;基于从该第二传感器接收的该位姿信息确定该基本的跟踪标记集合和该至少一个附加的跟踪标记集合的所预测的布置;以及将该检测到的布置与该预测的布置进行比较。
在本文的任一方面,其中该至少一个附加的跟踪标记集合能够通过波长来区分。
在本文的任一方面,其中该基本的跟踪标记集合以可移除地固定或牢固地固定中的至少一种方式固定到该机器人基座。
根据本公开的至少一个实施方案的一种用于利用机器人参考系进行手术导航的装置,该装置包括:至少一个处理器;和存储器,该存储器存储用于由该至少一个处理器执行的指令,该指令在被执行时使该至少一个处理器:使机器人臂接触解剖元件;从传感器接收关于基本的跟踪标记集合和第一跟踪标记集合的检测到的布置的信息和信息,该基本的跟踪标记集合设置在机器人的基座上,并且该第一跟踪标记集合设置在机器人臂的臂段上;基于该检测到的布置生成虚拟参考系;以及基于该虚拟参考系确定该解剖元件在空间中的位姿。
在本文的任一方面,其中该臂段是该机器人臂的多个臂段中的第一臂段,并且该多个臂段中的第二臂段包括第二跟踪标记集合。
任何方面与任一个或多个其他方面组合。
本文所公开特征中的任一个或多个。
本文大体上公开特征中的任一个或多个。
本文大体上公开的特征中的任一个或多个与本文大体上公开的任一个或多个其他特征组合。
方面/特征/实施方案中的任一个与任一个或多个其他方面/特征/实施方案组合。
使用本文所公开的方面或特征中的任一个或多个。
应当了解,本文所述的任何特征可与如本文所述的任何其他特征组合来要求保护,而不管特征是否来自同一描述的实施方案。
本公开的一个或多个方面的细节在以下附图和描述中阐述。根据说明书和附图以及权利要求书,本公开中描述的技术的其他特征、目的和优点将是显而易见的。
短语“至少一个”、“一个或多个”以及“和/或”是在操作中具有连接性和分离性两者的开放式表述。例如,表述“A、B和C中的至少一个”、“A、B或C中的至少一个”、“A、B和C中的一个或多个”、“A、B或C中的一个或多个”以及“A、B和/或C”中的每一者意指仅A、仅B、仅C、A和B一起、A和C一起、B和C一起,或A、B和C一起。当上述表述中的A、B和C中的每一者都指诸如X、Y和Z的一个元素或诸如X1-Xn、Y1-Ym和Z1-Zo的一类元素时,短语意图指选自X、Y和Z的单个元素、选自同一类的元素(例如,X1和X2)的组合以及选自两类或更多类的元素(例如,Y1和Zo)的组合。
术语“一(a/an)”实体是指一个或多个该实体。因此,术语“一(a/an)”、“一个或多个”和“至少一个”在本文中可以可互换地使用。还应当注意,术语“包括(comprising/including)”、和“具有”可以可互换地使用。
前述内容是本公开的简化概述以提供对本公开的一些方面的理解。本发明内容既不是对本公开及其各个方面、实施方案和配置的广泛性概述也不是详尽性概述。其既不意图确定本公开的关键或重要元素,也不意图划定本公开的范围,而是以简化形式呈现本公开的选定概念,作为对下文呈现的更详细描述的介绍。如应当了解的,本公开的其他方面、实施方案和配置可能单独或组合地利用上文所阐述或下文所详细描述的特征中的一个或多个。
在考虑下文提供的实施方案描述之后,本发明的许多额外特征和优点对于本领域技术人员将变得显而易见。
附图说明
附图并入并形成本说明书的一部分以示出本公开的几个示例。这些附图连同描述一起解释本公开的原理。附图仅示出如何实施和使用本公开的优选和替代示例,并且这些示例不应解释为仅将本公开限制于所示出和所描述的示例。另外的特征和优点将根据以下对本公开的各个方面、实施方案和配置的更详细的描述变得显而易见,如通过以下参考的附图所示出。
图1A是根据本公开的至少一个实施方案的系统的框图;
图1B描绘了根据本公开的至少一个实施方案的机器人;并且
图2是根据本公开的至少一个实施方案的方法的流程图。
具体实施方式
应当理解,本文所公开的各个方面可以与说明书和附图中具体呈现的组合不同的组合进行组合。还应当理解,取决于示例或实施方案,本文所述的任何过程或方法的某些动作或事件可以不同的顺序执行,和/或可添加、合并或完全省略(例如,根据本公开的不同实施方案,实施所公开技术可能不需要所有描述的动作或事件)。此外,虽然为了清楚起见,本公开的某些方面被描述为由单个模块或单元执行,但应当理解,本公开的技术可由与例如计算装置和/或医疗装置相关联的单元或模块的组合执行。
在一个或多个示例中,所描述的方法、过程和技术可在硬件、软件、固件或它们的任何组合中实施。如果在软件中实施,则功能可作为一个或多个指令或代码存储在计算机可读介质上并且由基于硬件的处理单元执行。计算机可读介质可包括非暂时性计算机可读介质,其对应于有形介质,诸如数据存储介质(例如,RAM、ROM、EEPROM、闪存存储器,或可用于存储指令或数据结构形式的期望程序代码并且可由计算机访问的任何其他介质)。
指令可由一个或多个处理器执行,诸如一个或多个数字信号处理器(DSP)、通用微处理器(例如,Intel Core i3、i5、i7或i9处理器;Intel Celeron处理器;Intel Xeon处理器;Intel Pentium处理器;AMD Ryzen处理器;AMD Athlon处理器;AMD Phenom处理器;Apple A10或10X Fusion处理器;Apple A11、A12、A12X、A12Z或A13 Bionic处理器;或任何其他通用微处理器)、图形处理单元(例如,Nvidia GeForce RTX 2000系列处理器、NvidiaGeForce RTX 3000系列处理器、AMD Radeon RX 5000系列处理器、AMD Radeon RX 6000系列处理器或任何其他图形处理单元)、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其他等效的集成或离散逻辑电路。因此,如本文所用的术语“处理器”可指前述结构或适于实现所描述的技术的任何其他物理结构中的任一种。另外,本技术可在一个或多个电路或逻辑元件中完全实施。
在详细地解释本公开的任何实施方案之前,应当理解,本公开在其应用方面不限于以下描述中阐述或附图中示出的构造细节和部件布置。本公开能够具有其他实施方案并且能够以各种方式实践或实施。另外,应当理解,本文所用的措词和术语是出于描述的目的,而不应被视为是限制性的。本文中使用“包括(including/comprising)”、或“具有”及其变化形式意在涵盖其后列出的项目及其等效物,以及额外项目。此外,本公开可使用示例来示出其一个或多个方面。除非另有明确说明,否则使用或列出一个或多个示例(其可由“例如(for example)”、“借助于示例”、“例如(e.g.)”、“诸如”或类似语言指示)不意图且并不限制本公开的范围。
导航的机器人程序可涉及参考系和跟踪器,这些跟踪器的位置由跟踪标记传感器检测。例如,导航系统可使用相机作为跟踪标记传感器,该相机可检测附接到机器人臂的参考系上的光学跟踪标记。利用此信息,机器人系统的坐标系可与导航系统的坐标系相关联。在其他情况下,可准确地确定机器人臂的位置和取向的来自跟踪标记传感器的信息可用于校准机器人系统。
然而,这些光学系统需要相机与跟踪标记之间的清晰视线,这些视线可能会在外科手术期间被仪器、工具、外科医生或其他人员遮挡。为了克服这些问题(和其他问题),可以将基本的跟踪标记集合设置在机器人的基座上的已知位置处,并且可以将至少一个附加的跟踪标记集合固定到机器人臂的一个或多个机器人臂段。基本的跟踪标记集合和至少一个附加的跟踪标记集合可以被组合成“虚拟参考系”。然后,可以使用虚拟参考系和关于机器人臂的位姿的信息来确定机器人臂在空间中的位姿。在两个或更多个跟踪标记集合固定到相应的机器人臂段的实施方案中,产生了冗余,并且仅一个跟踪标记集合需要被跟踪标记传感器检测到并与基本的跟踪标记集合组合。换句话说,尽管视线被部分阻挡,但只要至少一个集合可被跟踪标记传感器检测到,就可以形成虚拟参考系。
本公开的实施方案提供了一种虚拟参考系,该虚拟参考系包括位于已知固定位置处的基本的跟踪标记集合以及固定到一个或多个机器人臂段中的至少一个机器人臂段的至少一个附加的跟踪标记集合。因此,本公开的实施方案使得即使一些跟踪标记被阻挡也能够形成参考系。类似地,本公开的实施方案使得能够通过将基于传感器数据的机器人臂位置和/或取向信息(例如,位姿信息)与使用虚拟参考系确定的机器人臂位置和/或取向信息进行比较来实时验证机器人完整性。因此,与已知的导航系统、配准程序和校准操作相比,本公开的实施方案增加了易用性并且减少了操作次数。
本公开的实施方案提供了针对以下问题的技术解决方案:(1)确定机器人臂、解剖元件或对象的位姿;(2)验证从机器人臂接收的位姿信息;(3)获得参考标记的视线;以及/或者(4)提高外科手术期间导航的准确性。
首先转到图1A,示出了根据本公开的至少一个实施方案的系统100的框图。系统100可例如:用于执行本文所公开的方法的一个或多个方面;用于导航目的;用于配准目的;用于校准操作;用于(自动地或手动地)验证导航系统(诸如导航系统160)、机器人(诸如机器人136)或具有编码器或其他传感器的任何其他部件或装置的操作完整性;或用于任何其他有用的目的。系统100包括计算装置102、跟踪标记传感器132、机器人136、导航系统160、数据库164和云168。尽管描述了前述内容,根据本公开的其他实施方案的系统可省略计算装置102、跟踪标记传感器132、机器人136、导航系统160、数据库164和/或云168中的任何一者或多者。另外,根据本公开的其他实施方案的系统可不同地布置系统100的一个或多个部件(例如,跟踪标记传感器132、机器人136和导航系统160中的一者或多者可包括图1A所示的部件作为计算装置102的一部分)。
计算装置102包括至少一个处理器104、至少一个通信接口108、至少一个用户界面112和至少一个存储器116。根据本公开的其他实施方案的计算装置可省略通信接口108和用户界面112中的一者或两者。
计算装置102的至少一个处理器104可以是本文中所标识或描述的任何处理器或任何类似处理器。至少一个处理器104可被配置为执行存储在至少一个存储器116中的指令,这些指令可使至少一个处理器104利用或基于例如从跟踪标记传感器132、机器人136、导航系统160、数据库164和/或云168接收的数据来执行一个或多个计算步骤。
计算装置102还可包括至少一个通信接口108。至少一个通信接口108可用于从外部源(诸如跟踪标记传感器132、机器人136、导航系统160、数据库164、云168和/或便携式存储介质(例如,USB驱动器、DVD、CD))接收图像数据或其他信息,和/或用于将指令、图像或其他信息从至少一个处理器104和/或计算装置102更一般地传输到外部系统或装置(例如,另一计算装置102、跟踪标记传感器132、机器人136、导航系统160、数据库164、云168和/或便携式存储介质(例如,USB驱动器、DVD、CD))。至少一个通信接口108可包括一个或多个有线接口(例如,USB端口、以太网端口、火线端口)和/或一个或多个无线接口(例如,被配置为经由一个或多个无线通信协议,诸如802.11a/b/g/n、蓝牙、低功耗蓝牙、NFC、ZigBee等来传输信息)。在一些实施方案中,至少一个通信接口108可适用于使得装置102能够与一个或多个其他处理器104或计算装置102通信,无论是减小完成计算密集任务所需的时间或是出于任何其他原因。
至少一个用户界面112可以是或包括键盘、鼠标、轨迹球、监测器、电视、触摸屏、按钮、操纵杆、开关、杠杆、头戴式耳机和/或用于从用户接收信息和/或用于将信息提供到计算装置102的用户的任何其他装置。至少一个用户界面112可用于例如:接收结合本文中所描述的任何方法(例如,方法200)的任何步骤的用户选择或其他用户输入;接收关于计算装置102和/或系统100的另一部件的一个或多个可配置设置的用户选择或其他用户输入;接收关于如何存储和/或传送由计算装置102接收、修改和/或生成的数据和/或将该数据存储和/或传送到何处的用户选择或其他用户输入;和/或基于由计算装置102接收、修改和/或生成的数据而向用户显示信息(例如,文本、图像)和/或播放声音。尽管在系统100中包括至少一个用户界面112,但是系统100可以自动地(例如,在没有经由至少一个用户界面112的任何输入的情况下或以其他方式)执行本文中所描述的任何方法的步骤中的一个或多个或全部。
虽然至少一个用户界面112示出为计算装置102的部分,但在一些实施方案中,计算装置102可利用与计算装置102的一个或多个其余部件分开容纳的用户界面112。在一些实施方案中,用户界面112可位于计算装置102的一个或多个其他部件附近,而在其他实施方案中,用户界面112可位于远离计算机装置102的一个或多个其他部件之处。
至少一个存储器116可以是或包括RAM、DRAM、SDRAM、其他固态存储器、本文中所描述的任何存储器或用于存储计算机可读数据和/或指令的任何其他有形的非暂时性存储器。至少一个存储器116可存储可用于完成例如本文中所描述的方法200的任何步骤的信息或数据。至少一个存储器116可存储例如关于一个或多个预定坐标系120的信息(例如,关于机器人坐标系或空间的信息、关于导航坐标系或空间的信息、关于患者坐标系或空间的信息);用于由至少一个处理器104执行,例如以使至少一个处理器104执行方法200的步骤中的一个或多个步骤的指令124;和/或用于由处理器使用以执行完成方法200的步骤中的一个或多个步骤所需的任何计算或用于任何其他计算的一种或多种算法128。在一些实施方案中,此类预定坐标系120、指令124和/或算法128可被组织成一个或多个应用程序、模块、包、层或引擎,并且可使至少一个处理器104操纵存储在至少一个存储器116中和/或从系统100的另一部件或通过该另一部分接收的数据。
跟踪标记传感器132可用于检测基本的跟踪标记集合158和至少一个附加的跟踪标记集合156(如下所述)的布置。跟踪标记传感器132可为例如光学相机;红外相机;3D相机系统;立体视觉系统;另一成像装置;或可检测至少一个附加的跟踪标记集合156的任何其他传感器。跟踪标记传感器132可包括用于执行存储在跟踪标记传感器132的专用存储器中的指令的专用处理器,或者跟踪标记传感器132可简单地被配置为将其收集的数据传输到计算装置102或系统100的另一部件。在一些实施方案中,尽管在图1A中示出为仅与计算装置102通信,但跟踪标记传感器132可与计算装置102、机器人136、导航系统160、数据库164和/或云168中的任何一者或多者进行通信。而且,在一些实施方案中,计算装置102可包括跟踪标记传感器132,而在其他实施方案中,导航系统160可包括跟踪标记传感器132。在仍其他实施方案中,机器人136可包括跟踪标记传感器132。
跟踪标记传感器132可直接定位于手术台或其一部分的上方,或者定位于手术台或其一部分的上方和一侧,或者定位于手术室或容纳机器人136的其他房间内的另一方便位置。跟踪标记传感器132可以定位在被选择以向跟踪标记传感器132提供在操作机器人期间包括机器人臂144的机器人136的(并且因此基本的跟踪标记集合158和牢固地固定到机器人臂144的至少一个附加的跟踪标记集合156的)清晰、无障碍和/或部分无障碍的视野的位置处。在一些实施方案中,跟踪标记传感器132是固定的,而在其他实施方案中,跟踪标记传感器132可在一个或多个方向上精确地移动(无论手动还是自动)(例如,无论通过诸如机器人臂144的第二机器人臂还是以其他方式)。
跟踪标记传感器132可被配置为仅在给定时刻捕获关于基本的跟踪标记集合158和/或至少一个附加的跟踪标记集合156的感测到的跟踪标记的数据。例如,在跟踪标记传感器132是相机的情况下,跟踪标记传感器132可被配置为捕获包括基本的跟踪标记集合158和至少一个附加的跟踪标记集合156的静态图像。跟踪标记传感器132可被配置为以周期性间隔捕获此类数据,或者当由用户命令(例如,经由用户界面112)时或根据来自计算装置102、机器人136和/或导航系统160(自主地生成或响应于用户输入)的信号捕获此类数据。
跟踪标记传感器132可另外或替代地用于连续、实时地捕获对应于基本的跟踪标记集合158和/或至少一个附加的跟踪标记集合156中的一个或多个跟踪标记的数据。在此类实施方案中,跟踪标记传感器132可向计算装置102提供实时传感器数据流,该计算装置可连续地处理传感器数据以检测基本的跟踪标记集合158和/或至少一个附加的跟踪标记集合156中的一个或多个跟踪标记。在一些实施方案中,跟踪标记传感器132可包括多于一个跟踪标记传感器132。
仍参考图1A,并且还参考图1B,机器人136可为任何手术机器人或手术机器人系统。机器人136可以是或包括例如Mazor XTM隐形版机器人引导系统或Mazor机器人复兴TM引导系统。机器人136还可以是具有位置传感器(例如,编码器)和/或距离传感器的任何装置,包括例如显微镜或颅骨活检工具。机器人136可包括支撑机器人臂144的基座140。机器人136可包括一个或多个机器人臂144。在一些实施方案中,机器人臂144可包括第一机器人臂和第二机器人臂。在其他实施方案中,机器人136可包括多于两个机器人臂144。在一些实施方案中,机器人臂144可协助外科规程(例如,通过在外科医生或其他用户操作工具时将工具固持在期望轨迹或位姿和/或支撑工具的重量,或以其他方式)和/或自动地进行外科规程。
仍然参考图1A至图1B,机器人臂144可具有一个、两个、三个、四个、五个、六个或更多个自由度。机器人臂可以具有线性、旋转和/或任何其他类型的接头。机器人臂144可包括一个或多个段152。每个段152可包括构件176和接头172,构件176附接到该接头和/或构件176从该接头延伸。接头172可固定到例如基座140或另一段152的构件176。接头172可为使构件176能够相对于接头172所附接到的结构选择性移动的任何类型的接头。例如,接头172可为枢转接头、铰链接头、鞍形接头或球窝接头。接头172可允许构件176在一个维度或多个维度中和/或沿一个轴线或沿多个轴线移动。
在包括仅具有一个段152的机器人臂144的机器人136的实施方案中,段152的接头172可固定到基座140,并且段152的构件176可包括稳固到接头172的近侧端部和支撑端部执行器的远侧端部。端部执行器可以是例如工具(例如,钻、锯、成像装置)或工具引导件(例如,用于沿着期望的轨迹引导活检针、消融探针或其他工具)。在一些实施方案中,端部执行器可以是用于测量对象或解剖元件的属性的测量物品。在一些实施方案中,端部执行器可以是导航标记。
在包括具有多个段152的机器人臂144的机器人136的实施方案中,诸如图1B所示,第三段152C可包括固定到基座140的接头172,并且第一段152C的构件176可包括固定到接头172的近侧端部和支撑第二段152B的接头的远侧端部。第二段152B的构件176可包括稳固到第二段152B的接头172的近侧端部和支撑第一段152A的接头172的远侧端部,依此类推。最后一个段152的构件176可包括支撑端部执行器180的远侧端部,该端部执行器可与上文所描述的端部执行器相同或类似。在此类实施方案中,各个段152的接头172可为或可不为相同的类型,并且各个段152的构件176可为或可不为相同的。
机器人臂144的段152的所有或一些接头172可被供电(以便可选择性地控制而无需由人进行物理操纵)。电动、气动、液压和/或其他手段中的任何一种或多种手段可用于选择性地控制构件176关于接头172的移动。例如,每个段152可包括用于相对于该段152的接头172选择性地移动该段152的构件176的伺服系统。
机器人臂144还包括一个或多个传感器148。每个传感器148可被定位为检测给定段152的构件176相对于段152的接头172的位置。例如,在给定段152的接头172是或包括铰链接头的情况下,传感器148可检测构件176相对于铰链接头的轴线的角位置。在给定段152的接头172是或包括旋转接头(例如,被配置为允许构件176围绕延伸穿过构件176和接头172的轴线旋转)的情况下,传感器148可检测构件176相对于延伸穿过构件176和接头172的轴线的角位置。每个传感器148可为例如旋转编码器、线性编码器或增量编码器。
来自传感器148的数据可被提供给机器人136的处理器、计算装置102的处理器104和/或导航系统160。该数据可用于计算机器人臂144相对于预定坐标系120的空间位置。例如,机器人136可计算机器人臂144相对于坐标系的空间位置,该坐标系的原点位于机器人臂144的第一段152的接头172固定到基座140的位置处。该计算可不仅基于从传感器148接收的数据,而且还可基于与每个段152相对应和/或与稳固到最后一个段152的端部执行器相对应的数据或信息(例如,物理尺寸)。仅借助于示例,机器人臂144的近侧端部的已知位置(例如,在其处,第一段152的接头172稳固到基座140)、每个段152的已知尺寸以及来自传感器148的关于每个段152的构件176相对于每个段152的接头172的取向的数据可用于计算机器人臂通过空间的路径。
仍然参考图1A至图1B,将基本的跟踪标记集合158牢固地固定到或定位在基座140上。至少一个附加的跟踪标记集合156包括牢固地固定到或定位在第一机器人臂段152A上的第一跟踪标记集合156A和牢固地固定到或定位在第二机器人臂段152B上的第二跟踪标记集合156B。如本文所使用的,“牢固地固定”并不意味着“永久地固定”,并且实际上,基本的跟踪标记集合158和/或至少一个附加的跟踪标记集合156中的跟踪标记可以从基座140、第一机器人臂段152A和/或第二机器人臂段152B拆卸。
在一些实施方案中,至少一个附加的跟踪标记集合156仅是一个跟踪标记集合。在其他实施方案中,至少一个附加的跟踪标记集合156包括两个或更多个跟踪标记集合。如图所示,第一跟踪标记集合156A可定位在端部执行器180附近,尽管第一跟踪标记集合156A可设置在机器人臂144上的任何地方。多个跟踪标记集合156可用于产生跟踪标记156的冗余,使得可根据一些跟踪标记156确定参考系。因此,如果跟踪标记156中的一些被可见地阻挡,则仍然可以根据剩余的可见跟踪标记156和基本的跟踪标记集合158来确定参考系。
在一些实施方案中,基本的跟踪标记集合158和/或至少一个附加的跟踪标记集合156中的跟踪标记可以是发光二极管(LED)。在其他实施方案中,基本的跟踪标记集合158和/或至少一个附加的跟踪标记集合156中的跟踪标记可以是无源标记。基本的跟踪标记集合158和/或至少一个附加的跟踪标记集合156中的跟踪标记可以全部相同,或者基本的跟踪标记集合158和/或至少一个附加的跟踪标记集合156中的一个或多个跟踪标记可以不同于基本的跟踪标记集合158和/或至少一个附加的跟踪标记集合156中的另外一个或多个跟踪标记。在一些实施方案中,基本的跟踪标记集合158和/或至少一个附加的跟踪标记集合156中的一个或多个跟踪标记可以被配置为发射第一波长的光,并且基本的跟踪标记集合158和/或至少一个附加的跟踪标记集合156中的另外一个或多个跟踪标记可以被配置为发射不同于第一波长的第二波长的光。而且在一些实施方案中,基本的跟踪标记集合158和/或至少一个附加的跟踪标记集合156中的一个或多个跟踪标记可被配置为反射第一波长的光,而这些跟踪标记中的另外一个或多个跟踪标记可被配置为反射不同于第一波长的第二波长的光。上文所描述的实施方案的光的发射波长和/或反射波长可为特定光谱内的波长(例如,可见光谱中对应于红光的波长与对应于蓝光的波长,或红外光谱中的不同波长)以及来自不同光谱的波长(例如,可见光谱中的波长与红外光谱中的波长)。
在一些实施方案中,基本的跟踪标记集合158和/或至少一个附加的跟踪标记集合156中的一个或多个跟踪标记可以是或包括以第一频率脉冲的LED,并且基本的跟踪标记集合158和/或至少一个附加的跟踪标记集合156中的另外一个或多个跟踪标记可以是或包括以不同于第一频率的第二频率脉冲的LED。在一些实施方案中,基本的跟踪标记集合158和/或至少一个附加的跟踪标记集合156中的跟踪标记可以是或包括反射球、几何图案(例如,QR码)或可容易地由跟踪标记传感器132区分的其他物品或特征。在其他实施方案中,基本的跟踪标记集合158和/或至少一个附加的跟踪标记集合156中的跟踪标记可以是可区分的波长(例如,可见光(即,颜色)、红外线、紫外线等)。例如,第一跟踪标记集合可以是第一波长的光,并且第二跟踪标记集合可以是第二波长的光。跟踪标记可被配置为即使当被可布置在机器人臂144上或上方以维持无菌手术室环境的盖布或其他覆盖物覆盖时也可由跟踪标记传感器132检测到。
在一些实施方案中,分别牢固地固定到或定位在机器人臂144和/或基座140上的基本的跟踪标记集合158和/或至少一个附加的跟踪标记集合156中的跟踪标记的数量可以是至少两个。在其他实施方案中,分别牢固地固定到或定位在基座140和/或机器人臂144上的基本的跟踪标记集合158和/或至少一个附加的跟踪标记集合156中的跟踪标记的数量可以多于两个。基本的跟踪标记集合158和/或至少一个附加的跟踪标记集合156中的多个跟踪标记可以按任何图案定位,并且可以分别定位在机器人臂144和/或基座140的任何部分上。基本的跟踪标记集合158可以被定位为以便可由跟踪标记传感器132一致地检测。
选定的跟踪标记集合156的数量可以基于至少一个附加的跟踪标记集合156基于至少一个附加的跟踪标记集合156中的检测到的跟踪标记与固定、基本的跟踪标记集合158的相对取向来确定机器人臂144的空间位置所需的跟踪标记的最小数量,如下面更详细描述的。例如,如果确定机器人臂144的位置所需的附加跟踪标记的最小数量(不计基本的跟踪标记集合158)是2个,则机器人臂144可以仅具有单个跟踪标记集合156(包括两个或更多个跟踪标记)。替代地,如果确定机器人臂144的位置所需的跟踪标记的最小数量是4个,则机器人臂144上的跟踪标记的总数可为定义一个或多个跟踪标记集合156的4个或更多个标记。无论机器人臂144的取向如何,倍数越大,该最小数量的跟踪标记将对跟踪标记传感器132可见或将以其他方式可由该跟踪标记传感器检测到的可能性越大。
参考图1A,图案154(例如,结构光)可被投影到机器人臂144上。图案154可以由相机或投影仪投影到机器人臂144上。在其他实施方案中,图案可以被涂到机器人臂144上。图案154可以反射任何波长的光。在一些实施方案中,图案154是网格。在其他实施方案中,图案154可以是任何图案、几何图案或图案组合。图案154可被投影在机器人臂144的一部分上或整个机器人臂144上。当与至少一个附加的跟踪标记集合156中的跟踪标记一起使用时,图案154可以实现机器人臂144的映射,如将进一步详细描述的。
再次参考图1A,在手术期间,导航系统160可为外科医生和/或机器人136提供导航。导航系统160可以为任何现在已知的或将来开发的导航系统,包括例如MedtronicStealthStationTMS8外科手术导航系统。导航系统160可包括相机或一个或多个其他传感器,用于检测和/或跟踪一个或多个参考标记、导航跟踪器或在手术室或进行外科手术的其他房间内的其他对象。在一些实施方案中,导航系统160可包括跟踪标记传感器132。在各个实施方案中,导航系统160可用于跟踪机器人臂144(或更具体地,附接到机器人臂144的跟踪标记156)的位置。导航系统160可用于跟踪一个或多个参考标记或阵列或其他结构的位置,该参考标记或阵列或其他结构可用于由导航系统160的相机或其他传感器检测。导航系统160可包括用于显示来自外部源(例如,计算装置102、跟踪标记传感器132或其他源)的一个或多个图像,或来自导航系统160的相机或其他传感器的视频流的显示器。在一些实施方案中,系统100可在不使用导航系统160的情况下操作。
数据库164可存储将至少一个附加的跟踪标记集合156的每个特定布置与机器人臂144的对应位置和取向或位姿相关的信息。数据库164还可存储将基本的跟踪标记集合158的每个特定布置与基座140上的对应位置和取向或位姿相关的信息。在此类实施方案中,来自跟踪标记传感器132的关于至少一个附加的跟踪标记集合156中的多个所检测的跟踪标记中的每个跟踪标记的位置的信息可用于在数据库164中查找机器人臂144的对应位置。数据库164可另外或替代地存储例如关于或对应于基本的跟踪标记集合158和/或至少一个附加的跟踪标记集合156中的跟踪标记的一个或多个特性;供机器人136、导航系统160和/或计算装置102或系统100的用户使用的一个或多个手术计划;可与待由系统100的一个或多个其他部件完成或待在该一个或多个其他部件的辅助下完成的手术结合使用的一个或多个图像的信息;和/或其他任何有用的信息。数据库164可被配置为将任何此类信息提供到计算装置102或提供到系统100的任何其他装置或系统100外部的任何其他装置,无论直接地或经由云168。在一些实施方案中,数据库164可以是或包括医院图像存储系统的一部分,诸如图片存档与通信系统(PACS)、健康信息系统(HIS)和/或用于收集、存储、管理和/或传输包括图像数据的电子医疗记录的另一系统。
云168可以是或表示互联网或任何其他广域网。计算装置102可经由通信接口108使用有线连接、无线连接或这两者连接到云168。在一些实施方案中,计算装置102可经由云168与数据库164和/或外部装置(例如,计算装置)通信。
现在转向图2,例如可由至少一个处理器执行用于利用机器人参考系进行导航的方法200。至少一个处理器可与上文所述的计算装置102的处理器104相同或相似。至少一个处理器可为机器人(诸如机器人136)的部分,或导航系统(诸如导航系统160)的一部分。除了本文所述的任何处理器之外的处理器也可以用于执行方法200。至少一个处理器可通过执行存储在存储器中的指令(诸如存储器116的指令124)来进行方法200。指令可以对应于下文所述的方法200的一个或多个步骤。这些指令可使处理器执行一种或多种算法,诸如算法128。
方法200包括接收关于基本的跟踪标记集合和至少一个附加的跟踪标记集合的检测到的布置的信息(步骤202)。该基本的跟踪标记集合可以与基本的跟踪标记集合158相同或相似,并且该至少一个附加的跟踪标记集合可以与至少一个附加的跟踪标记集合156相同或相似。基本的跟踪标记集合可以设置在机器人(诸如机器人136)的基座(诸如基座140)上。至少一个附加的跟踪标记集合可以设置在机器人臂(诸如机器人臂144)的对应机器人臂段(诸如机器人臂段152)上。在一些实施方案中,至少一个附加的跟踪标记集合包括:第一跟踪标记集合,诸如设置在第一机器人臂段(诸如第一机器人臂段152A)上的第一跟踪标记集合156A;以及第二跟踪标记集合,诸如设置在第二机器人臂段(诸如第二机器人臂段152B)上的第二跟踪标记集合156B。在此类实施方案中,所检测到的布置可以包括关于第一跟踪标记集合、第二跟踪标记集合或这两个跟踪标记集合的信息。
这些跟踪标记可以与如上所述的基本的跟踪标记集合158和/或至少一个附加的跟踪标记集合156中的跟踪标记相同或相似。例如,跟踪标记可为LED或反射球或几何图案(诸如QR码)。跟踪标记可全部相同,或者每个跟踪标记可通过独特的特性(例如,独特的波长、独特的产生脉冲的频率)与其他跟踪标记区分开。在一些实施方案中,一些跟踪标记可通过共有特性与一个或多个其他跟踪标记区分开。例如,第一跟踪标记集合可发射第一波长的光,并且第二跟踪标记集合可发射第二波长的光。在其他实施方案中,跟踪标记可通过波长来区分(无论是由于颜色的变化还是由于其他原因)。例如,第一跟踪标记集合可反射第一波长的光,并且第二跟踪标记集合可反射第二波长的光。
该信息可以从传感器接收。该传感器可以是可与跟踪标记传感器132相同或相似的跟踪标记传感器。跟踪标记传感器可为光学相机、红外相机或被配置为检测跟踪标记的任何其他传感器。在一些实施方案中,跟踪标记传感器可为机器人的一部分,或导航系统(诸如导航系统160)的一部分,或计算装置(诸如计算装置102)的一部分。在一些实施方案中,跟踪标记传感器可独立于前述部件中的任一部件,但可与前述部件中的一个或多个部件进行电子通信。
该信息可以包括基本的跟踪标记集合和至少一个附加的跟踪标记集合中的每一者在跟踪标记的检测到的布置中的位置。跟踪标记的所检测到的布置的位置可基于坐标系(诸如机器人坐标系或导航坐标系)或相对于基本的跟踪标记集合和至少一个附加的跟踪标记集合中的另外一个或多个跟踪标记来定义。该信息可仅包括关于基本的跟踪标记集合和至少一个附加的跟踪标记集合中的每一者相对于彼此的位置的信息,并且可用于计算基本的跟踪标记集合和至少一个附加的跟踪标记集合中的每一者相对于坐标系(诸如机器人坐标系或导航坐标系)的位置。
可例如经由诸如通信接口108等通信接口来接收信息。
方法200还包括基于所检测到的布置生成虚拟参考系(步骤204)。虚拟参考系有利地使得能够使用大的(并且因此更准确的)虚拟参考系,该虚拟参考系包括基本的跟踪标记集合以及设置在机器人臂上的至少一个附加的跟踪标记集合。至少一个附加的跟踪标记集合可以小于标准物理参考系,因为它不必自己提供参考系的全部功能。因此,该至少一个附加的跟踪标记集合占据机器人臂上或附近的较小体积或面积,并且不太可能在外科手术期间阻碍所需的轨迹或视线。此外,在多个跟踪标记集合被附着到或以其他方式连接到机器人臂的情况下,机器人臂的任何给定移动可能使跟踪标记集合中的一个或多个跟踪标记集合从跟踪标记传感器的视野中被遮挡,同时还使一个或多个其他跟踪标记集合进入跟踪标记传感器的视野。因此,当使用机器人臂时,仍然可以构建和利用虚拟参考系。
方法200还包括使用虚拟参考系确定机器人臂在空间中的位姿(步骤206)。因为至少一个机器人臂段与至少一个附加的跟踪标记集合相关(例如,因为至少一个附加的跟踪标记集合固定到至少一个机器人臂段),所以基于至少一个附加的跟踪标记集合的位姿得知至少一个机器人臂段的位姿。而且,因为机器人的底座与基本的跟踪标记集合相关(例如,因为基本的跟踪标记集合固定到机器人的基座),所以从基本的跟踪标记集合的位姿得知基座的位姿。因此,至少一个附加的跟踪标记集合相对于基本的跟踪标记集合的位姿与至少一个机器人臂段相对于基座的位姿相关。因此,虚拟参考系可以用于确定机器人臂在空间中的位姿。替代地,在构成虚拟参考系的各种跟踪标记的任何给定布置可对应于机器人臂的仅一个位姿的实施方案中,整个虚拟参考系可用于确定机器人臂的位姿。在又一些实施方案中,即使构成虚拟参考系的各种跟踪标记的给定布置可对应于机器人臂的多个位姿,整个虚拟参考系也可用于确认机器人臂的预期位姿(例如,基于机器人臂上或可操作地连接到机器人臂的一个或多个传感器)。这可以例如简单地通过基于来自传感器的信息确认机器人臂的位姿是机器人臂的多个位姿中的对应于构成虚拟参考系的各种跟踪标记的所检测到的布置的一个位姿来实现,如将在下面进一步描述的。
方法200包括使机器人臂接触解剖元件(步骤208)。在一些实施方案中,机器人臂可替代地接触诸如工具、仪器或任何其他部件等对象。机器人臂可以使用诸如端部执行器180等端部执行器来接触解剖元件。在一些实施方案中,端部执行器可以是导航标记,可用于确定或验证解剖元件的位置。在一些实施方案中,机器人臂可由用户定向成接触解剖元件。在其他实施方案中,机器人臂可自动定向。来自诸如机器人传感器148之类的传感器(例如,压力传感器)、诸如跟踪标记传感器132之类的另一传感器(例如,光学相机)或传感器组合的感测数据可以用于引导机器人臂接触解剖元件。
方法200还包括确定解剖元件的位置(步骤210)。确定位置可以包括确定解剖元件的位姿。当机器人臂如步骤208中所述与解剖元件接触时,可以从机器人臂的位姿确定解剖元件的位置。机器人臂的位姿可以如步骤202至步骤206中所述来确定。换句话说,例如,可以进行步骤208以将机器人臂定向成接触解剖元件,然后可以进行步骤202至步骤206以确定机器人臂的位姿,然后可以进行步骤210以基于机器人臂的位姿确定解剖元件的位置。
可以基于与解剖元件接触的机器人臂的位姿来确定解剖元件的位置。机器人臂与解剖元件之间的接触点处的位置可以被设置为解剖元件的位置。替代地,可以通过向接触点添加偏移或者通过使用解剖元件的模型定义具有与解剖元件的位置相对应的位置的体积,来确定解剖元件的位置。在使用偏移的情况下,该偏移可以基于解剖元件的尺寸。此外,步骤208至步骤210(以及步骤202至步骤206)可以用于获得解剖元件的多个位置以确定解剖元件的边界或表面。
方法200还包括接收关于机器人臂的位姿的位姿信息(步骤212)。该信息可以从定位在机器人臂上或与机器人臂集成的诸如传感器148等传感器接收。在一些实施方案中,用于如步骤202中所述检测跟踪标记布置的传感器为第一传感器,并且用于提供位姿信息的传感器为第二传感器。例如,第一传感器可以是用于检测跟踪标记布置的导航相机,并且第二传感器可以是用于感测机器人臂的位姿的编码器。
从第二传感器接收的位姿信息可包括关于机器人臂的一个或多个段和/或整个机器人臂的检测到的位置和/或取向的传感器数据。位姿信息可基于机器人臂的一个或多个部件的一个或多个设置。例如,位姿信息可包括描述一个或多个马达、伺服系统、齿轮或用于控制机器人臂和/或其一个或多个段的位置的其他装置或部件的位置(无论是实际位置或命令位置)的数据。可独立于所检测到的布置信息获得位姿信息,反之亦然。
方法200还包括基于从第二传感器接收的机器人臂的位姿信息来确定基本的跟踪标记集合和至少一个附加的跟踪标记集合的预测的布置(步骤214)。在一些实施方案中,机器人臂的位姿可以是机器人臂的当前位姿。在此类实施方案中,可从步骤212接收机器人臂的当前位姿。该确定可以包括访问关于基本的跟踪标记集合相对于基座的位置以及至少一个附加的跟踪标记集合中的每个集合相对于机器人臂或其一部分的对应的至少一个机器人臂段的位置的所存储的信息,而无论该信息是来自诸如存储器116之类的存储器、诸如数据库164之类的数据库,还是来自其他地方。该确定还可包括基于机器人臂的计划位置和关于至少一个附加的跟踪标记集合中的每个跟踪标记集合相对于机器人臂(或其一部分)的位置的信息来计算基本的跟踪标记集合和至少一个附加的跟踪标记集合中的每一者的预测的位置。该确定可包括计算牢固地固定到机器人臂的所有跟踪标记的预测的位置,或者仅计算牢固地固定到机器人臂的所有跟踪标记的子集的预测的位置。该确定还可包括将多个跟踪标记中的每个跟踪标记的所计算的预测的位置汇编成多个跟踪标记的预测的布置。
可相对于坐标系来确定机器人臂的预测的布置。坐标系可为机器人坐标系、导航坐标系或另一坐标系。
方法200还包括将从第一传感器接收的基本的跟踪标记集合和至少一个附加的跟踪标记集合的所检测到的布置与基本的跟踪标记集合和至少一个附加的跟踪标记集合的所预测的布置进行比较(步骤216)。该比较可包括将基本的跟踪标记集合和至少一个附加的跟踪标记集合中的每一者的预测的位置从一个坐标空间(例如,机器人坐标空间)平移或以其他方式相关联到另一坐标空间(例如,导航坐标空间)。替代地,该比较可包括将基本的跟踪标记集合和至少一个附加的跟踪标记集合中的每一者的检测到的位置从一个坐标空间(例如,导航坐标空间)平移或以其他方式相关联到另一坐标空间(例如,机器人坐标空间)。该比较可以包括简单地将基本的跟踪标记集合和至少一个附加的跟踪标记集合在所预测的布置中的相对位置与基本的跟踪标记集合和至少一个附加的跟踪标记集合在所检测到的布置中的相对位置进行比较。
方法200还包括验证位姿信息的完整性(步骤218)。在一些实施方案中,可以使用预定阈值来确定位姿信息是否被验证。在此类实施方案中,可以将所检测到的布置与所预测的布置之间的计算出的差异与阈值进行比较。该差异可以基于位置、取向或这两者之间的差异来计算。如果该差异在阈值内,则可验证位姿信息。
当该比较产生所检测到的布置与所预测的布置匹配的结论时,机器人臂的精确位姿是已知的并被验证。因此,在该时刻,机器人臂(借助于牢固地固定到其上的跟踪标记)构成定制的一次性参考系,该定制的一次性参考系可用于与任何已知参考系相同的目的,包括例如用于将机器人坐标系与导航坐标系配准和/或用于确定或确认给定对象在特定坐标系中的位置。例如,机器人臂可被定位为使得其端部与解剖特征、手术工具或另一对象接触,使得机器人臂包括参考系,基于该参考系,可确定或确认解剖特征、手术工具或其他对象的位置。
而且,当比较产生所检测到的布置与所预测的布置匹配的结论时,可确认机器人和导航系统的操作完整性。这在手术规程期间可能是有用的并且可用于机器人系统的初始校准操作。另一方面,当比较产生所检测到的布置与所预测的布置不匹配的结论时,即使机器人臂处于用于确定所预测的布置的位姿(例如,位置和/或取向),也可得出机器人和导航系统中的一者或两者缺乏操作完整性的进一步结论。因此,当发生这种情况时,可将警告显示给机器人和/或导航系统的操作员,和/或可通过用户界面(例如,计算装置102的用户界面112或特定于机器人或导航系统的用户界面)来播放可听声音。向机器人和/或导航系统的操作员提供这种警告有助于确保机器人和/或导航系统的可疑操作完整性会被调查并且任何错误会被校正,然后再进一步使用机器人和/或导航系统。
在一些实施方案中,在基本的跟踪标记集合和至少一个附加的跟踪标记集合的所检测到的布置仅略微不同于基本的跟踪标记集合和至少一个附加的跟踪标记集合的所预测的布置的情况下,可预测基本的跟踪标记集合和至少一个附加的跟踪标记集合的另一布置(例如,基于机器人臂的不同位姿),并且相机或其他跟踪标记传感器可提供关于(例如,当机器人臂处于不同位姿时所检测到的)跟踪标记的第二检测到的布置的附加的信息。如果基本的跟踪标记集合和至少一个附加的跟踪标记集合的第二检测到的布置同样略微不同于基本的跟踪标记集合和至少一个附加的跟踪标记集合的第二预测的布置,则可进行错误计算和/或校准过程以确定要应用于任何另外的所预测的布置,使得其匹配对应的所检测到的布置的调整,反之亦然。换句话说,如果基本的跟踪标记集合和至少一个附加的跟踪标记集合的所预测的布置与基本的跟踪标记集合和至少一个附加的跟踪标记集合的对应的检测到的布置之间的偏移可通过常数或导出方程来表征,使得该偏移可结合到基本的跟踪标记集合和至少一个附加的跟踪标记集合的预测的布置和检测到的布置的进一步比较中,则可确认机器人和/或导航系统的操作完整性。
方法200还可以包括接收关于除了所检测到的布置之外的机器人臂上的图案的信息(步骤220)。该图案可以是图案154并且可以被投影到机器人臂上。图案可由相机或投影仪(例如,如结构照明)投影到机器人臂的一部分上或整个机器人臂上。在其他实施方案中,图案可被涂到机器人臂上。图案可以反射任何波长的光。在一些实施方案中,图案是网格。在其他实施方案中,图案可以是任何图案、几何图案或图案组合。图案可由传感器检测。传感器可以是相机。在一些实施方案中,传感器可以是与跟踪标记传感器相同的传感器。在其他实施方案中,检测图案的传感器可以与投影图案的相机或投影仪相同。
方法200还可包括基于图案和/或所检测到的布置映射机器人臂的表面(步骤222)。可以从该映射确定机器人臂在空间中的位姿、位置或定位。在一些实施方案中,映射可以包括映射机器人臂的表面。在其他实施方案中,映射可以包括映射外壳在空间中的位置或定位和/或机器人臂的每个接头的位置。可以从步骤214接收图案,并且可以从步骤202接收所检测到的布置。基本的跟踪标记集合和至少一个附加的跟踪标记集合的所检测到的布置可以用于确定机器人臂在空间中的位姿,如步骤206中所述。然后可以使用图案来在所确定的位置处映射机器人臂的表面。所映射的表面用于生成机器人臂的三维模型。
在图案中检测到的扭曲可用于确定表面的形状、轮廓和/或相对位置。例如,网格可以被投影到机器人臂上,并且基于在网格中检测到的扭曲(例如,朝向或远离彼此倾斜的线、延长或缩短的线等),可以确定和映射表面的轮廓和相对位置。
在一些实施方案中,整个机器人臂可以用单一颜色涂刷或以其他方式着色,该单一颜色易于与使用机器人臂的环境中的其他颜色区分开。一旦检测和/或确认机器人臂的位姿(例如,使用如上所述的虚拟参考系),跟踪标记传感器或另一传感器(例如,光学相机或其他成像装置)可以用于检测整个机器人臂,并且确定整个机器人臂的位姿。例如,当整个机器人臂的尺寸未知时,这可能是有用的。
本公开涵盖方法200的包括比上述实施方案更多或更少的步骤的实施方案。
本文提供的系统和方法有利地使得能够基于基本的跟踪标记集合和定位在机器人臂上的至少一个附加的跟踪标记集合来确定机器人臂的位姿、确认机器人臂的位姿,或者确定解剖元件的位姿。因为基本的跟踪标记集合是固定的并且产生了跟踪标记的冗余(无论是通过在至少一个附加的跟踪标记集合中的每个集合中包括多个跟踪标记,还是通过在机器人臂上包括多个跟踪标记集合),所以需要至少一个附加的跟踪标记集合中的仅一些跟踪标记(或至少一个附加的跟踪标记集合中的仅一个集合)的可见性(或检测)来确定机器人臂的位姿。因此,这些系统和方法避免了视线问题,并且能够生成虚拟参考系以确定机器人臂的位姿,即使仅一些跟踪标记是可见的也是如此。另外,与从机器人传感器接收的位姿信息组合的虚拟参考系使得能够验证机器人臂的所确定的位姿。当机器人臂与解剖元件接触时,位姿信息和虚拟参考系还可以用于确定解剖元件的位姿。因此,虚拟参考系提供用于确定机器人臂的位姿并与来自机器人臂的位姿信息组合、验证机器人臂的位姿或确定解剖元件的位姿的许多有用益处。
如基于前述公开可以理解的,本公开涵盖具有少于图2中标识的所有步骤的方法(以及方法200的对应描述),以及包括除图2中标识的那些步骤之外的附加步骤的方法(以及方法200的对应描述)。
本公开的实施方案可以包括在名称为“用于导航的机器人参考系(RoboticReference Frames for Navigation)”并且申请日为2020年6月8日的63/036,130号美国专利申请中描述的一个或多个方面,该美国专利申请的全部内容以引用方式并入本文。
前述内容并不意图将本公开限于本文所公开的一种或多种形式。在前述的具体实施方式中,例如,出于简化本公开的目的,将本公开的各种特征一起分组在一个或多个方面、实施方案和/或配置中。本公开的方面、实施方案和/或配置的特征可组合在除了上文所论述的那些之外的替代方面、实施方案和/或配置中。本公开的方法不应被解释为反映以下意图:权利要求需要比每项权利要求中明确叙述的特征更多的特征。相反,如以下权利要求书所反映,本发明方面在于少于单个前述公开的方面、实施方案和/或配置的全部特征。因此,以下权利要求特此并入这个具体实施方式中,其中每项权利要求作为本公开的单独的优选实施方案而独立存在。
此外,尽管描述已经包括对一个或多个方面、实施方案和/或配置以及某些变化和修改的描述,但在理解本公开后,其他变化、组合和修改也在本公开的范围内,例如,如可在本领域技术人员的技能和知识内。意图在准许的范围内获得包括替代方面、实施方案和/或配置的权利,包括所要求保护的那些的替代、可互换和/或等效的结构、功能、范围或步骤,而不管这些替代、可互换和/或等效的结构、功能、范围或步骤是否在本文中公开,而且不意图公开用于任何可获专利的主题。
Claims (20)
1.一种机器人导航系统,所述机器人导航系统包括:
机器人基座;
机器人臂,所述机器人臂包括:
固定到所述机器人基座的近侧端部;
能够相对于所述近侧端部移动的远侧端部;和
位于所述近侧端部与所述远侧端部之间的一个或多个臂段;
基本的跟踪标记集合,所述基本的跟踪标记集合固定到所述机器人基座;
至少一个附加的跟踪标记集合,所述至少一个附加的跟踪标记集合固定到所述一个或多个臂段中的至少一个臂段;和
至少一个传感器,所述至少一个传感器用于检测所述基本的跟踪标记集合和所述至少一个附加的跟踪标记集合的布置。
2.根据权利要求1所述的机器人导航系统,其中所述至少一个附加的跟踪标记集合包括固定到所述一个或多个臂段中的第一臂段的第一跟踪标记集合和固定到所述一个或多个臂段中的第二臂段的第二跟踪标记集合。
3.根据权利要求2所述的机器人导航系统,其中所述基本的跟踪标记集合、所述第一跟踪标记集合和所述第二跟踪标记集合中的每一者包括至少两个标记。
4.根据权利要求1所述的机器人导航系统,所述机器人导航系统还包括:
几何图案,所述几何图案投影到所述机器人臂上。
5.根据权利要求1所述的机器人导航系统,其中所述至少一个附加的跟踪标记集合能够通过波长来区分。
6.根据权利要求1所述的机器人导航系统,其中所述基本的跟踪标记集合以可移除地固定或牢固地固定中的至少一种方式固定到所述机器人基座。
7.根据权利要求1所述的机器人导航系统,所述机器人导航系统还包括:
至少一个处理器;和
存储器,所述存储器存储用于由所述至少一个处理器执行的指令,所述指令在被执行时使所述至少一个处理器:
从所述至少一个传感器接收关于所述基本的跟踪标记集合和所述至少一个附加的跟踪标记集合的检测到的布置的信息;
基于所述检测到的布置信息,生成跨越所述基本的跟踪标记集合和所述至少一个附加的跟踪标记集合的虚拟参考系;以及
使用所述虚拟参考系确定所述机器人臂在空间中的位姿。
8.根据权利要求4所述的机器人导航系统,所述机器人导航系统还包括:
至少一个处理器;和
存储器,所述存储器存储用于由所述至少一个处理器执行的指令,所述指令在被执行时使所述至少一个处理器:
接收关于所述基本的跟踪标记集合和所述至少一个附加的跟踪标记集合的检测到的布置的信息以及关于投影到所述机器人臂上的所述图案的信息;以及
基于所述检测到的布置和所述图案来映射所述机器人臂。
9.根据权利要求7所述的机器人导航系统,其中所述至少一个传感器为
第一传感器,所述系统还包括:
第二传感器,所述第二传感器被配置为提供对应于所述机器人臂的位姿信息,并且
其中所述存储器存储用于由所述至少一个处理器执行的附加指令,所述指令在被执行时进一步使所述至少一个处理器:
从所述第二传感器接收位姿信息,以及
基于所述位姿信息确定所述基本的跟踪标记集合和所述至少一个附加的跟踪标记集合的预测的布置。
10.根据权利要求9所述的机器人导航系统,其中所述存储器存储用于由所述至少一个处理器执行的附加指令,所述附加指令在被执行时进一步使所述至少一个处理器:
将所述检测到的布置与所述预测的布置进行比较,所述检测到的布置是从所述第一传感器接收的。
11.根据权利要求10所述的机器人导航系统,其中所述存储器存储用于由所述至少一个处理器执行的附加指令,所述附加指令在被执行时进一步使所述至少一个处理器:
基于所述比较来验证所述位姿信息的完整性。
12.一种利用机器人参考系进行导航的方法,所述方法包括:
使机器人臂接触解剖元件;
从传感器接收关于基本的跟踪标记集合和至少一个附加的跟踪标记集合的检测到的布置的信息,所述基本的跟踪标记集合定位在机器人的基座上,并且所述至少一个附加的跟踪标记集合定位在所述机器人臂的对应的至少一个机器人臂段上;
基于所述检测到的布置生成虚拟参考系;以及
基于所述虚拟参考系确定所述解剖元件的位置。
13.根据权利要求12所述的方法,其中所述确定所述解剖元件的所述位置包括基于所述虚拟参考系确定所述解剖元件的位姿。
14.根据权利要求12所述的方法,其中所述至少一个附加的跟踪标记集合包括固定到所述至少一个臂段中的第一臂段的第一跟踪标记集合和固定到所述至少一个臂段中的第二臂段的第二跟踪标记集合。
15.根据权利要求12所述的方法,其中所述基本的跟踪标记集合和所述至少一个附加的跟踪标记集合中的每一者包括至少两个标记。
16.根据权利要求12所述的方法,其中接收的所述信息是从第一传感器接收的,并且其中所述方法还包括:
从第二传感器接收位姿信息;
基于从所述第二传感器接收的所述位姿信息确定所述基本的跟踪标记集合和所述至少一个附加的跟踪标记集合的预测的布置;以及
将所述检测到的布置与所述预测的布置进行比较。
17.根据权利要求12所述的方法,其中所述至少一个附加的跟踪标记集合能够通过波长来区分。
18.根据权利要求12所述的方法,其中所述基本的跟踪标记集合以可移除地固定或牢固地固定中的至少一种方式固定到所述机器人基座。
19.一种用于利用机器人参考系进行手术导航的装置,所述装置包括:
至少一个处理器;和
存储器,所述存储器存储用于由所述至少一个处理器执行的指令,所述指令在被执行时使所述至少一个处理器:
使机器人臂接触解剖元件;
从传感器接收关于基本的跟踪标记集合和第一跟踪标记集合的检测到的布置的信息和信息,所述基本的跟踪标记集合设置在机器人的基座上,并且所述第一跟踪标记集合设置在机器人臂的臂段上;
基于所述检测到的布置生成虚拟参考系;以及
基于所述虚拟参考系确定所述解剖元件在空间中的位姿。
20.根据权利要求19所述的装置,其中所述臂段是所述机器人臂的多个臂段中的第一臂段,并且所述多个臂段中的第二臂段包括第二跟踪标记集合。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US63/144,091 | 2021-02-01 | ||
US17/580,298 | 2022-01-20 | ||
US17/580,298 US20220241033A1 (en) | 2021-02-01 | 2022-01-20 | Split robotic reference frame for navigation |
PCT/IL2022/050127 WO2022162669A1 (en) | 2021-02-01 | 2022-01-30 | Split robotic reference frame for navigation |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116801829A true CN116801829A (zh) | 2023-09-22 |
Family
ID=88046963
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280012668.0A Pending CN116801829A (zh) | 2021-02-01 | 2022-01-30 | 用于导航的分体式机器人参考系 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116801829A (zh) |
-
2022
- 2022-01-30 CN CN202280012668.0A patent/CN116801829A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11653983B2 (en) | Methods for locating and tracking a tool axis | |
US20230255699A1 (en) | Time-spaced robotic reference frames | |
US20230270511A1 (en) | Registration of multiple robotic arms using single reference frame | |
US11944391B2 (en) | Systems and methods for using surgical robots with navigation arrays | |
CN115989002A (zh) | 用于导航的机器人参考系 | |
US20220241033A1 (en) | Split robotic reference frame for navigation | |
CN116801829A (zh) | 用于导航的分体式机器人参考系 | |
WO2022162669A1 (en) | Split robotic reference frame for navigation | |
EP4018957A1 (en) | Systems and methods for surgical port positioning | |
US20230240761A1 (en) | Methods for locating and tracking a tool axis | |
US20220183766A1 (en) | Systems and methods for defining a work volume | |
US20210165197A1 (en) | Optical observation system with a contactless pointer unit, operating method and computer program product | |
US20230363827A1 (en) | Accuracy check and automatic calibration of tracked instruments | |
US20230133689A1 (en) | Arm movement safety layer | |
WO2022130370A1 (en) | Systems and methods for defining a work volume | |
KR20230034296A (ko) | 내비게이션 및/또는 로봇 추적 방법 및 시스템 | |
JP2024056663A (ja) | コンピュータ支援外科手術ナビゲーションのためのカメラ追跡システム | |
CN118284497A (zh) | 臂移动安全层 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |