CN117460464A - 用于成像系统和机器人手术的增强现实引导 - Google Patents
用于成像系统和机器人手术的增强现实引导 Download PDFInfo
- Publication number
- CN117460464A CN117460464A CN202280034470.2A CN202280034470A CN117460464A CN 117460464 A CN117460464 A CN 117460464A CN 202280034470 A CN202280034470 A CN 202280034470A CN 117460464 A CN117460464 A CN 117460464A
- Authority
- CN
- China
- Prior art keywords
- head mounted
- data
- virtual
- combination
- patient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 708
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 555
- 238000002432 robotic surgery Methods 0.000 title description 2
- 238000000034 method Methods 0.000 claims abstract description 85
- 210000003484 anatomy Anatomy 0.000 claims description 185
- 239000012636 effector Substances 0.000 claims description 129
- 230000033001 locomotion Effects 0.000 claims description 127
- 239000007943 implant Substances 0.000 claims description 108
- 230000005540 biological transmission Effects 0.000 claims description 100
- 230000003993 interaction Effects 0.000 claims description 90
- 238000001514 detection method Methods 0.000 claims description 70
- 230000003287 optical effect Effects 0.000 claims description 67
- 238000005259 measurement Methods 0.000 claims description 53
- 238000004891 communication Methods 0.000 claims description 45
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 29
- 238000004422 calculation algorithm Methods 0.000 claims description 27
- 238000002583 angiography Methods 0.000 claims description 23
- 238000002603 single-photon emission computed tomography Methods 0.000 claims description 17
- 230000004913 activation Effects 0.000 claims description 16
- 230000011218 segmentation Effects 0.000 claims description 13
- 230000009849 deactivation Effects 0.000 claims description 12
- 238000002604 ultrasonography Methods 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 10
- 238000012285 ultrasound imaging Methods 0.000 claims description 8
- 238000001356 surgical procedure Methods 0.000 abstract description 10
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 158
- 238000005520 cutting process Methods 0.000 description 80
- 210000003811 finger Anatomy 0.000 description 62
- 239000003550 marker Substances 0.000 description 60
- 210000000988 bone and bone Anatomy 0.000 description 31
- 210000001508 eye Anatomy 0.000 description 26
- 210000001519 tissue Anatomy 0.000 description 25
- 230000006870 function Effects 0.000 description 23
- 230000008569 process Effects 0.000 description 23
- 230000000007 visual effect Effects 0.000 description 22
- 238000012800 visualization Methods 0.000 description 22
- 238000004164 analytical calibration Methods 0.000 description 19
- 230000006855 networking Effects 0.000 description 17
- 238000002600 positron emission tomography Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 15
- 230000008859 change Effects 0.000 description 14
- 230000001960 triggered effect Effects 0.000 description 14
- 230000009471 action Effects 0.000 description 12
- 210000000056 organ Anatomy 0.000 description 12
- 238000002601 radiography Methods 0.000 description 12
- 230000002457 bidirectional effect Effects 0.000 description 11
- 230000003466 anti-cipated effect Effects 0.000 description 10
- 230000007246 mechanism Effects 0.000 description 10
- 210000002436 femur neck Anatomy 0.000 description 9
- 210000001624 hip Anatomy 0.000 description 9
- 210000000689 upper leg Anatomy 0.000 description 9
- 230000002792 vascular Effects 0.000 description 9
- 238000002679 ablation Methods 0.000 description 8
- 238000005286 illumination Methods 0.000 description 8
- 238000003801 milling Methods 0.000 description 8
- 210000002303 tibia Anatomy 0.000 description 8
- 210000003128 head Anatomy 0.000 description 7
- 238000013150 knee replacement Methods 0.000 description 7
- 239000003826 tablet Substances 0.000 description 7
- 210000003813 thumb Anatomy 0.000 description 7
- 230000009466 transformation Effects 0.000 description 7
- 210000000588 acetabulum Anatomy 0.000 description 6
- 238000003491 array Methods 0.000 description 6
- 230000000747 cardiac effect Effects 0.000 description 6
- 238000012937 correction Methods 0.000 description 6
- 210000001503 joint Anatomy 0.000 description 6
- 210000003127 knee Anatomy 0.000 description 6
- 210000001747 pupil Anatomy 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 210000000845 cartilage Anatomy 0.000 description 5
- 238000002591 computed tomography Methods 0.000 description 5
- 238000013170 computed tomography imaging Methods 0.000 description 5
- -1 fiducial array Substances 0.000 description 5
- 210000000527 greater trochanter Anatomy 0.000 description 5
- 230000002207 retinal effect Effects 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 5
- 241001227561 Valgus Species 0.000 description 4
- 241000469816 Varus Species 0.000 description 4
- 230000003213 activating effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 230000015271 coagulation Effects 0.000 description 4
- 238000005345 coagulation Methods 0.000 description 4
- 238000005553 drilling Methods 0.000 description 4
- 238000005538 encapsulation Methods 0.000 description 4
- 238000002594 fluoroscopy Methods 0.000 description 4
- 210000000528 lesser trochanter Anatomy 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000010355 oscillation Effects 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 238000004513 sizing Methods 0.000 description 4
- 238000000844 transformation Methods 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 239000011324 bead Substances 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 3
- 210000004247 hand Anatomy 0.000 description 3
- 210000004394 hip joint Anatomy 0.000 description 3
- 229910052751 metal Inorganic materials 0.000 description 3
- 239000002184 metal Substances 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 238000002271 resection Methods 0.000 description 3
- 210000001525 retina Anatomy 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 239000002023 wood Substances 0.000 description 3
- 241001422033 Thestylus Species 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 210000003423 ankle Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000002872 contrast media Substances 0.000 description 2
- 238000013144 data compression Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- ZZUFCTLCJUWOSV-UHFFFAOYSA-N furosemide Chemical compound C1=C(Cl)C(S(=O)(=O)N)=CC(C(O)=O)=C1NCC1=CC=CO1 ZZUFCTLCJUWOSV-UHFFFAOYSA-N 0.000 description 2
- 238000003306 harvesting Methods 0.000 description 2
- 238000011540 hip replacement Methods 0.000 description 2
- 230000005865 ionizing radiation Effects 0.000 description 2
- 210000000554 iris Anatomy 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000012528 membrane Substances 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000002035 prolonged effect Effects 0.000 description 2
- 210000004061 pubic symphysis Anatomy 0.000 description 2
- 230000002285 radioactive effect Effects 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 210000002832 shoulder Anatomy 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 210000005065 subchondral bone plate Anatomy 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 240000001436 Antirrhinum majus Species 0.000 description 1
- 206010058907 Spinal deformity Diseases 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000005013 brain tissue Anatomy 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000010968 computed tomography angiography Methods 0.000 description 1
- 230000001054 cortical effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000002500 effect on skin Effects 0.000 description 1
- 210000001513 elbow Anatomy 0.000 description 1
- 238000010894 electron beam technology Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 210000002683 foot Anatomy 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 210000002216 heart Anatomy 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000003116 impacting effect Effects 0.000 description 1
- 238000002513 implantation Methods 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 239000003999 initiator Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 210000000936 intestine Anatomy 0.000 description 1
- 210000003734 kidney Anatomy 0.000 description 1
- 210000000629 knee joint Anatomy 0.000 description 1
- 239000011133 lead Substances 0.000 description 1
- 210000002414 leg Anatomy 0.000 description 1
- 210000003041 ligament Anatomy 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 230000005415 magnetization Effects 0.000 description 1
- 210000004373 mandible Anatomy 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 210000002050 maxilla Anatomy 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012633 nuclear imaging Methods 0.000 description 1
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000011330 nucleic acid test Methods 0.000 description 1
- 230000000399 orthopedic effect Effects 0.000 description 1
- 238000012946 outsourcing Methods 0.000 description 1
- 206010033675 panniculitis Diseases 0.000 description 1
- 230000000849 parathyroid Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000013404 process transfer Methods 0.000 description 1
- 230000001179 pupillary effect Effects 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 210000000952 spleen Anatomy 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 210000004304 subcutaneous tissue Anatomy 0.000 description 1
- 230000009469 supplementation Effects 0.000 description 1
- 210000001738 temporomandibular joint Anatomy 0.000 description 1
- 210000001685 thyroid gland Anatomy 0.000 description 1
- 239000010936 titanium Substances 0.000 description 1
- 229910052719 titanium Inorganic materials 0.000 description 1
- 210000001226 toe joint Anatomy 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Landscapes
- Endoscopes (AREA)
Abstract
描述了用于使用多个头戴式显示器或其他增强现实显示装置进行手术过程的增强现实引导的系统、装置和方法。此外，描述了使用头戴式显示器或其他增强现实显示系统来操作手术机器人和/或成像系统的系统、装置和方法。
Description
相关申请
本申请要求2021年3月10日提交的美国临时申请号63/158,941、2021年3月19日提交的美国临时申请号63/163,156、2021年4月12日提交的美国临时申请号63/173,565以及2021年8月12日提交的美国临时申请号63/232,376的权益和优先权，每个的全文通过引用并入本文中。
技术领域
公开文本的方面涉及用于利用使用一个或多个头戴式显示器的视觉引导并利用一个或多个成像研究的显示执行手术步骤或手术过程的系统、装置和方法。公开文本的方面涉及用于利用与患者的解剖结构(anatomy)配准的工具或器械的跟踪信息的实时无线显示来操作一个或多个头戴式显示器的系统、装置和方法。公开文本的方面涉及用于在图像获取之前操作具有图像获取区域或体积的增强现实显示的成像系统的系统、装置和方法。
背景技术
利用计算机辅助手术，例如手术导航或机器人，可以使用患者的术前(pre-operative)和/或术中(intra-operative)成像研究。可以在手术室中在外部计算机监视器显示成像研究，并且患者的解剖结构(例如界标(landmark))可以与在监视器上显示的信息相关地配准。由于术野(surgical field)在不同的位置并且对于外科医生的眼睛具有与外部计算机监视器不同的视图坐标系统，因此对外科医生来说，手眼协调可能是挑战性的。用于术前和/或术中成像研究的图像获取频繁地要求在获取决定性成像研究之前获取成像数据，例如用于诊断目的或图像引导目的。
发明内容
公开文本的方面涉及一种系统，该系统包括至少一个头戴式显示器；机器人，其中机器人包括末端执行器(effector)；包括一个或多个计算机处理器的第一计算系统；以及包括一个或多个计算机处理器的第二计算系统，其中第一计算系统与机器人通信，其中第二计算系统与至少一个头戴式显示器通信，其中第二计算系统配置为通过至少一个头戴式显示器显示包括至少一个虚拟对象的虚拟用户界面，其中第二计算系统配置为至少部分地基于与在虚拟用户界面中显示的至少一个虚拟对象的至少一个交互而生成命令，其中第二计算系统配置为使用无线发送将命令发送至第一计算系统，其中命令配置为使第一计算系统控制机器人，以进行机器人部件、机器人马达、机器人致动器、机器人驱动器、机器人控制器、机器人液压系统、机器人压电系统、机器人开关、末端执行器、或其任何组合的移动、激活、操作、去激活、或其任何组合。
在一些实施方案中，命令配置为将末端执行器控制在预定操作边界、预定操作范围、预定操作区域或预定操作体积内。
在一些实施方案中，第一计算系统通过线材(wire)连接至机器人，或者其中，第一计算系统通过无线连接而连接至机器人。
在一些实施方案中，第二计算系统通过线材连接到至少一个头戴式显示器，或者其中第二计算系统通过无线连接而连接到至少一个头戴式显示器。
在一些实施方案中，第二计算系统配置为通过至少一个头戴式显示器显示末端执行器的预定操作边界、预定操作范围、预定操作区域或预定操作体积的表示，或者在机器人部件、机器人马达、机器人致动器、机器人驱动器、机器人控制器、机器人液压系统、机器人压电系统、机器人开关、末端执行器、或其任何组合的移动、激活、操作、去激活、或其任何组合之后的预期结果。
在一些实施方案中，末端执行器包括物理手术工具或物理手术器械。
在一些实施方案中，第一计算系统配置为获得机器人的部件、末端执行器、目标对象、患者的目标解剖结构、至少一个头戴式显示器、物理工具、物理器械、物理植入物(implant)、物理对象、或其任何组合的实时跟踪信息。
在一些实施方案中，第二计算系统配置为获得机器人的部件、末端执行器、目标对象、患者的目标解剖结构、至少一个头戴式显示器、物理工具、物理器械、物理植入物、物理对象、或其任何组合的实时跟踪信息。
在一些实施方案中，第一计算系统配置为获得联接至机器人的物理工具、物理器械、或其任何组合的实时跟踪信息。
在一些实施方案中，第二计算系统配置为获得联接至机器人的物理工具、物理器械、或其任何组合的实时跟踪信息。在一些实施方案中，第一计算系统配置为无线发送机器人的部件、末端执行器、目标对象、患者的目标解剖结构、至少一个头戴式显示器、物理工具、物理器械、物理植入物、物理对象、或其任何组合的实时跟踪信息。在一些实施方案中，第二计算系统配置为无线发送机器人的部件、末端执行器、目标对象、患者的目标解剖结构、至少一个头戴式显示器、物理工具、物理器械、物理植入物、物理对象、或其任何组合的实时跟踪信息。
在一些实施方案中，第二计算系统配置用于由至少一个头戴式显示器显示3D立体视图。在一些实施方案中，3D立体视图被叠加在患者的解剖结构上。在一些实施方案中，3D立体视图包括末端执行器的预定轨迹、末端执行器的预定操作边界的表示、末端执行器的预定操作范围的表示、末端执行器的预定操作区域的表示、末端执行器的预定操作体积的表示或其组合。在一些实施方案中，3D立体视图包括在机器人部件、机器人马达、机器人致动器、机器人驱动器、机器人控制器、机器人液压系统、机器人压电系统、机器人开关、末端执行器、或其任何组合的移动、激活、操作、去激活、或其任何组合之后，末端执行器的预定轨迹、末端执行器的预定操作边界的表示、末端执行器的预定操作范围的表示、末端执行器的预定操作区域的表示、末端执行器的预定操作体积的表示或其组合。
在一些实施方案中，第一计算系统、第二计算系统或二者配置为打开或关闭虚拟用户界面的显示。在一些实施方案中，3D立体视图包括在执行命令之前末端执行器的预定轨迹、末端执行器的预定操作边界的表示、末端执行器的预定操作范围的表示、末端执行器的预定操作区域的表示、末端执行器的预定操作体积的表示或其组合。
在一些实施方案中，无线发送包括蓝牙信号、WiFi信号、LiFi信号、射频信号、微波信号、超声波信号、红外信号、电磁波或其任何组合。
在一些实施方案中，系统包括两个或多于两个头戴式显示器，其中无线发送是多播、广播发送或其任何组合。
在一些实施方案中，至少一个虚拟对象包括一个或多个虚拟按钮、虚拟场、虚拟光标、虚拟指针、虚拟滑块、虚拟轨迹球、虚拟节点、虚拟数字显示器、虚拟触摸板、虚拟键盘或其组合。
在一些实施方案中，交互是物理对象和至少一个虚拟对象之间的碰撞检测。在一些实施方案中，交互是用户的手指与至少一个虚拟对象之间的碰撞检测。在一些实施方案中，交互是被跟踪指针、被跟踪工具、被跟踪器械或其组合与至少一个虚拟对象之间的碰撞检测。
在一些实施方案中，与至少一个虚拟对象的交互包括视线(gaze)跟踪。
公开文本的方面涉及一种系统，该系统包括至少一个头戴式显示器；机器人，其中机器人包括末端执行器；包括一个或多个计算机处理器的第一计算系统，其中第一计算系统与机器人通信；包括一个或多个计算机处理器的第二计算系统，其中第二计算系统与至少一个头戴式显示器通信，其中第二计算系统配置为通过至少一个头戴式显示器显示包括至少一个虚拟对象的虚拟用户界面，其中第二计算系统配置为至少部分地基于与在虚拟用户界面中显示的至少一个虚拟对象的至少一个交互而生成事件消息，其中第二计算系统配置为使用无线发送将事件消息发送至第一计算系统，其中第二计算系统配置为基于事件消息生成命令，并且其中命令配置为使第一计算系统控制机器人，以进行机器人部件、机器人马达、机器人致动器、机器人驱动器、机器人控制器、机器人液压系统、机器人压电系统、机器人开关、末端执行器、或其任何组合的移动、激活、操作、去激活、或其任何组合。
在一些实施方案中，末端执行器包括解剖刀(scalpel)、锯(saw)、切割工具(cutting tool)、线材(wire)、针(needle)、销(pin)、钻头(drill)、毛刺(burr)、铣刀(mill)、铰刀(reamer)、冲击器(impactor)、拉刀(broach)、激光器、射频装置、热凝固装置、冷冻消融装置、放射性探针、放射性发射装置、脉冲能量发射装置、超声能量发射装置、微波能量发射装置或其组合。
在一些实施方案中，命令包括子命令，其中子命令配置为执行命令的接受或取消功能。
公开文本的方面涉及一种系统，包括：(a)至少一个头戴式显示器、至少一个相机或扫描装置，其中至少一个相机或扫描装置配置为跟踪至少一个头戴式显示器、患者的至少一个解剖结构、以及至少一个物理手术工具或物理手术器械的实时信息；(b)包括一个或多个计算机处理器的第一计算系统，其中第一计算系统配置为获得至少一个头戴式显示器、患者的至少一个解剖结构、以及至少一个物理手术工具或物理手术器械的实时跟踪信息，其中第一计算系统配置用于无线发送至少一个头戴式显示器、患者的至少一个解剖结构以及至少一个物理手术工具或物理手术器械的实时跟踪信息；(c)包括一个或多个计算机处理器的第二计算系统，其中第二计算系统配置用于无线接收至少一个头戴式显示器、患者的至少一个解剖结构、以及至少一个物理手术工具或物理手术器械的实时跟踪信息，其中第二计算系统配置为生成3D立体视图，其中立体视图包括被跟踪的至少一个物理手术工具或物理手术器械的3D表示，并且其中至少一个头戴式显示器配置为显示3D立体视图。
在一些实施方案中，第二计算系统的一个或多个计算机处理器使用至少一个头戴式显示器的实时跟踪信息，生成针对头戴式显示器相对于患者的至少一个解剖结构的视角(view angle)的3D立体视图。
在一些实施方案中，实时跟踪信息包括多个头戴式显示器的跟踪信息。在一些实施方案中，实时跟踪信息包括用于每个头戴式显示器的头戴式显示器特定标签(label)或标志(tag)，或者其中，针对被跟踪的每个头戴式显示器标签化(label)实时跟踪信息。
在一些实施方案中，无线发送是向多个头戴式显示器的多播或广播发送。
在一些实施方案中，实时跟踪信息包括两个或多于两个头戴式显示器的跟踪信息。在一些实施方案中，两个或多于两个头戴式显示器位于不同位置。在一些实施方案中，实时跟踪信息包括用于每个头戴式显示器的头戴式显示器标签，其中每个头戴式显示器具有不同的标签。在一些实施方案中，针对被跟踪的每个头戴式显示器标签化实时跟踪信息。
在一些实施方案中，第二计算系统的一个或多个计算机处理器针对因佩戴头戴式显示器的用户而调整的瞳孔间距生成3D立体视图。
在一些实施方案中，第二计算系统通信地联接到至少一个头戴式显示器。
在一些实施方案中，第二计算系统与至少一个头戴式显示器集成。
在一些实施方案中，第二计算系统与至少一个头戴式显示器分开，并且使用至少一个线缆连接到至少一个头戴式显示器的显示单元。
在一些实施方案中，无线发送、无线接收或二者包括WiFi信号、LiFi信号、蓝牙信号或其组合。
在一些实施方案中，相机或扫描装置与至少一个头戴式显示器分开。
在一些实施方案中，相机或扫描装置被集成或附接至至少一个头戴式显示器。
在一些实施方案中，无线发送包括以20Hz或更大的速率发送包括至少一个头戴式显示器、患者的至少一个解剖结构和至少一个物理手术工具或物理手术器械的实时跟踪信息的数据包。
在一些实施方案中，无线接收包括以20Hz或更大的速率接收包括至少一个头戴式显示器、患者的至少一个解剖结构以及至少一个物理手术工具或物理手术器械的实时跟踪信息的数据包。
在一些实施方案中，系统进一步包括第三计算系统，其中第三计算系统配置用于从第一计算系统无线接收实时跟踪信息，并且其中第三计算系统配置用于向第二计算系统无线发送实时跟踪信息。在一些实施方案中，第三计算系统包括配置用于无线接收和无线发送实时跟踪信息的一系列计算系统。
在一些实施方案中，系统进一步包括第三计算系统，其中第三计算系统通信地联接至第二头戴式显示器，其中，第三计算系统配置用于无线接收第二头戴式显示器、患者的至少一个解剖结构、以及至少一个物理手术工具或物理手术器械的实时跟踪信息，其中第三计算系统配置为使用第二头戴式显示器的跟踪信息生成第二头戴式显示器的3D立体视图。
在一些实施方案中，第二头戴式显示器的跟踪信息包括第二头戴式显示器专用的标签，以供第三计算系统识别第二头戴式显示器的跟踪信息。
在一些实施方案中，系统进一步包括第四计算系统，其中第四计算系统通信地联接至第三头戴式显示器，其中，第四计算系统配置用于无线接收第三头戴式显示器、患者的至少一个解剖结构、以及至少一个物理手术工具或物理手术器械的实时跟踪信息，其中第四计算系统配置为使用第三头戴式显示器的跟踪信息生成第三头戴式显示器的3D立体视图。
在一些实施方案中，第三头戴式显示器的跟踪信息包括第三头戴式显示器专用的标签，以供第四计算系统识别第三头戴式显示器的跟踪信息。
在一些实施方案中，系统进一步包括第五计算系统，其中第五计算系统通信地联接至第四头戴式显示器，其中，第五计算系统配置用于无线接收第四头戴式显示器、患者的至少一个解剖结构、以及至少一个物理手术工具或物理手术器械的实时跟踪信息，其中第五计算系统配置为使用第四头戴式显示器的跟踪信息生成第四头戴式显示器的3D立体视图。
在一些实施方案中，第四头戴式的跟踪信息包括第四头戴式显示器专用的标签，以供第五计算系统识别第四头戴式显示器的跟踪信息。
在一些实施方案中，实时跟踪信息包括一个或多个坐标。在一些实施方案中，一个或多个坐标包括患者的至少一个解剖结构的坐标。在一些实施方案中，一个或多个坐标包括至少一个物理手术工具或物理手术器械的坐标。在一些实施方案中，一个或多个坐标包括至少一个头戴式显示器的坐标。
在一些实施方案中，至少一个头戴式显示器包括至少一个光学透视(see-through)头戴式显示器。
在一些实施方案中，至少一个头戴式显示器包括至少一个视频透视头戴式显示器。
在一些实施方案中，至少一个相机或扫描装置包括激光扫描器、飞行时间(time-of-flight)3D激光扫描器、结构光3D扫描器、手持激光扫描器、LIDAR扫描器、飞行时间相机、深度相机、视频系统、立体相机系统、相机阵列、或其组合。
在一些实施方案中，系统包括至少一个惯性测量单元。在一些实施方案中，至少一个惯性测量单元被集成到或附接至至少一个物理手术工具或物理手术器械。在一些实施方案中，至少一个惯性测量单元被集成或附接至患者的至少一个解剖结构。在一些实施方案中，至少一个惯性测量单元被集成到或附接至至少一个头戴式显示器。在一些实施方案中，至少一个头戴式显示器的实时跟踪信息包括来自至少一个惯性测量单元的信息。
公开文本的方面涉及一种系统，包括(a)两个或多于两个头戴式显示器；(b)至少一个相机或扫描装置，其中至少一个相机或扫描装置配置为跟踪两个或多于两个头戴式显示器、患者的至少一个解剖结构、以及至少一个物理手术工具或物理手术器械的实时信息；(c)包括一个或多个计算机处理器的第一计算系统，其中第一计算系统配置为获得患者的至少一个解剖结构、至少一个物理手术工具或物理手术器械以及两个或多于两个头戴式显示器的实时跟踪信息，其中针对两个或多于两个头戴式显示器的每个标签化两个或多于两个头戴式显示器的跟踪信息，其中第一计算系统配置用于无线发送患者的至少一个解剖结构的实时跟踪信息、至少一个物理手术工具或物理手术器械的跟踪信息以及两个或多于两个头戴式显示器的标签化的跟踪信息；(d)第二计算系统，其中第二计算系统配置用于无线接收患者的至少一个解剖结构的实时跟踪信息、至少一个物理手术工具或物理手术器械的跟踪信息以及两个或多于两个头戴式显示器中的第一头戴式显示器的标签化的跟踪信息，其中第二计算系统配置为使用第一头戴式显示器的标签化的跟踪信息来生成特定于第一头戴式显示器的第一视角(viewing perspective)的第一3D立体显示，其中第一头戴式显示器配置为显示3D立体显示；(e)第三计算系统，其中第三计算系统配置用于无线接收患者的至少一个解剖结构的实时跟踪信息、至少一个物理手术工具或物理手术器械的跟踪信息以及两个或多于两个头戴式显示器的第二头戴式显示器的标签化的跟踪信息，其中第三计算系统配置为使用第二头戴式显示器的标签化的跟踪信息来生成特定于第二头戴式显示器的第二视角的第二3D立体显示，其中第一立体显示和第二立体显示包括至少一个物理手术工具或物理手术器械的3D表示。
在一些实施方案中，第二计算系统通信地联接至两个或多于两个头戴式显示器中的第一头戴式显示器，并且其中第三计算系统通信地联接至两个或多于两个头戴式显示器中的第二头戴式显示器。
公开文本的方面涉及一种准备与患者相关联的成像数据获取的系统，系统包括至少一个计算机处理器；增强现实显示装置；成像系统，其中至少一个计算机处理器配置为获得成像系统的一个或多个部件的实时跟踪信息，其中至少一个计算机处理器配置为生成表面、体积或其组合的3D表示，其中表面、体积或其组合的3D表示至少部分地从关于成像系统的一个或多个部件的几何结构(geometry)的信息、关于图像获取的几何结构的信息、关于一个或多个图像获取参数的信息、或其组合得到，其中至少一个计算机处理器配置为生成增强视图，增强视图包括表面、体积或其组合的3D表示，其中至少一个计算机处理器配置为通过增强现实显示装置在相对于成像系统的一个或多个部件的定义的位置和取向(orientation)处显示增强视图，并且其中基于成像系统的一个或多个部件的实时跟踪信息来更新增强视图的位置和取向。
在一些实施方案中，表面、体积或其组合的3D表示不包含来自患者的成像数据。
在一些实施方案中，成像系统配置为获取表面、体积或其组合的3D表示内的患者的2D、3D、或2D和3D成像数据。
在一些实施方案中，至少一个计算机处理器配置为在获取患者的2D、3D、或2D和3D成像数据之前生成表面、体积、或其组合的3D表示，或者其中至少一个计算机处理器配置为在获取患者的2D、3D、或2D和3D成像数据之前显示表面、体积、或其组合的3D表示。
在一些实施方案中，表面、体积或其组合包括关于2D、3D或2D和3D成像数据获取的限制、边缘、边沿(margin)、边界、圆周(circumference)、周界(perimeter)、包络(envelope)或其组合的信息。
在一些实施方案中，至少一个计算机处理器配置为至少部分地从关于成像系统的几何结构的信息、关于图像获取的几何结构的信息、关于一个或多个图像获取参数的信息、或其组合中生成表面、体积、或其组合。
在一些实施方案中，系统配置为促进确定增强视图的希望位置和取向，其中希望位置和取向包括患者的目标解剖结构。
在一些实施方案中，至少一个计算机处理器配置为响应于成像系统的被跟踪的一个或多个部件的移动来调整增强视图，其中调整配置为将增强视图保持在相对于成像系统的一个或多个部件的定义的位置和取向处。
在一些实施方案中，关于成像系统的几何结构的信息、关于图像获取的几何结构的信息、关于一个或多个图像获取参数的信息、或其组合包括关于一个或多个成像系统部件、在一个或多个成像系统部件之间的几何关系，准直器，网格，图像增强器(intensifier)，检测器分辨率，x射线源，x射线管设置，kVp设置，mA设置，mAs设置，准直，管-检测器距离，管-患者距离，患者-检测器距离，患者-图像增强器距离，相对于管、检测器的台高度、相对于管、检测器的台位置或其组合，患者位置，C臂位置、取向或其组合，台架(gantry)位置、取向或其组合，网格高度，网格宽度，网格比率，视场(field of view)，视场的中心，视场的外围，矩阵，像素大小，体素大小，图像大小，图像体积，成像平面，在x、y、z和/或倾斜(oblique)方向上的图像尺寸，图像位置，图像体积位置，扫描覆盖，节距(pitch)，平面内(in-plane)分辨率，切片厚度，增量，检测器配置，检测器分辨率，检测器密度，管电流，管电位，重建算法，扫描范围，扫描边界，扫描限制，成像系统的旋转轴，成像系统的旋转中心，重建的切片厚度，分割算法，窗口，水平(level)，亮度(brightness)，对比度(contrast)，显示分辨率，或其组合的信息。
在一些实施方案中，成像系统包括x射线系统、荧光检查系统、C臂、3D C臂、数字断层融合(tomosynthesis)成像系统、血管造影系统、双平面(bi-planar)血管造影系统、3D血管造影系统、CT扫描器、MRI扫描器、PET扫描器、SPECT扫描器、核闪烁扫描系统、2D超声成像系统、3D超声成像系统、或其组合。
在一些实施方案中，至少一个计算机处理器配置为获得增强现实显示装置、患者的解剖结构、与成像系统一起使用的患者台、成像系统、成像系统的一个或多个部件、或其组合的实时跟踪信息。
在一些实施方案中，系统进一步包括相机或扫描器，相机或扫描器配置为获取增强现实显示装置、患者的解剖结构、与成像系统一起使用的患者台、成像系统、成像系统的一个或多个部件、或其组合的实时跟踪信息。在一些实施方案中，相机或扫描器包括导航系统、3D扫描器、LIDAR系统、深度传感器、IMU或其组合。在一些实施方案中，实时跟踪信息包括增强现实显示装置、患者的解剖结构、与成像系统一起使用的患者台、成像系统、成像系统的一个或多个部件、或其组合的坐标信息。在一些实施方案中，实时跟踪信息包括增强现实显示装置、患者的解剖结构、与成像系统一起使用的患者台、成像系统、成像系统部件的一个或多个部件、或其组合的位置信息。在一些实施方案中，相机或扫描器包括激光扫描器、飞行时间3D扫描器、结构光3D扫描器、手持激光扫描器、飞行时间相机或其组合。
在一些实施方案中，系统配置为使用来自成像系统的内在信息获得成像系统的实时跟踪信息，其中内在信息包括姿态(pose)数据、传感器数据、相机数据、3D扫描器数据、控制器数据、驱动器数据、致动器数据、末端执行器数据、来自一个或多个电位计的数据、来自一个或多个视频系统的数据、来自一个或多个LIDAR系统的数据、来自一个或多个深度传感器的数据、来自一个或多个惯性测量单元的数据、来自一个或多个加速度计的数据、来自一个或多个磁力计的数据、来自一个或多个陀螺仪的数据、来自一个或多个力传感器的数据、来自一个或多个压力传感器的数据、来自一个或多个位置传感器的数据、来自一个或多个取向传感器的数据、来自一个或多个运动传感器的数据、来自步进马达的位置和/或取向数据、来自电动马达的位置和/或取向数据、来自液压马达的位置和/或取向数据、来自电动和/或机械致动器的位置和/或取向数据、来自驱动器的位置和/或取向数据、来自机器人控制器的位置和/或取向数据、来自一个或多个机器人计算机处理器的位置和/或取向数据、或其组合。
在一些实施方案中，成像系统配置为生成x射线束。在一些实施方案中，成像系统的x射线束是锥形或圆柱形的。在一些实施方案中，成像系统的x射线束源自一个或多个点源。在一些实施方案中，成像系统的x射线束被准直。
在一些实施方案中，成像系统配置为生成x射线束，其中表面、体积或其组合的3D表示包括关于x射线束的限制、边缘、边缘、边界、圆周、周界、包络或其组合的信息。
在一些实施方案中，系统进一步包括用户界面。在一些实施方案中，用户界面包括虚拟用户界面，其中虚拟界面包括至少一个虚拟对象。在一些实施方案中，至少一个虚拟对象包括一个或多个虚拟按钮、虚拟场、虚拟光标、虚拟指针、虚拟滑块、虚拟轨迹球、虚拟节点、虚拟数字显示器、虚拟触摸板、虚拟键盘或其组合。在一些实施方案中，虚拟用户界面包括手势识别、视线识别、视线锁定、眼睛跟踪、手跟踪、指针跟踪、器械跟踪、工具跟踪、或其组合。在一些实施方案中，至少一个计算机处理器配置为至少部分地基于用户与虚拟用户界面中显示的至少一个虚拟对象的至少一个交互而生成命令。在一些实施方案中，命令配置为移动、倾斜或旋转成像系统的一个或多个部件、患者台的一个或多个部件或其组合。在一些实施方案中，命令配置为对马达、致动器、驱动器、控制器、液压系统、开关、电子电路、计算机芯片、x射线管、图像增强器、成像系统的功能单元或者其组合进行激活、操作、去激活或者其组合。在一些实施方案中，命令配置为移动或修改成像系统的几何结构、患者台、一个或多个成像系统部件之间的几何关系、准直器、网格、图像增强器、检测器分辨率、成像系统的设置、成像系统的参数、成像数据获取的参数、显示参数、x射线源设置、x射线管设置、kVp设置、mA设置、mAs设置、准直、管-检测器距离、管-患者距离、患者-检测器距离、患者-图像增强器距离、相对于管的台高度、检测器、相对于管的台位置、检测器、患者位置、C臂位置、取向、或其组合、台架位置、取向、或其组合、网格高度、网格宽度、网格比率、视场、矩阵、像素大小、体素大小、图像大小、图像体积、成像平面、在x、y、z和/或倾斜方向上的图像尺寸、图像位置、图像体积位置、扫描覆盖、节距、平面内分辨率、切片厚度、增量、检测器配置、检测器分辨率、检测器密度、管电流、管电位、重建算法、扫描范围、扫描边界、扫描限制、重建的切片厚度、分割算法、窗口、水平、亮度、对比度、显示分辨率、或其组合。在一些实施方案中，命令配置为设置和/或修改成像系统的一个或多个图像获取参数。在一些实施方案中，命令配置为设置、移动和/或修改2D、3D或2D和3D成像数据获取的位置、取向、大小、面积、体积或其组合。在一些实施方案中，命令配置为设置、移动和/或修改3D表示的一个或多个坐标。在一些实施方案中，命令配置为设置、移动和/或修改3D表示的尺寸、大小、面积、体积或其组合。在一些实施方案中，3D表示的尺寸、大小、面积、体积或其组合的设置、移动和/或修改配置为设置、移动和/或修改2D、3D或2D和3D成像数据获取以保持在3D表示的位置处。在一些实施方案中，命令配置为对成像系统的传感器、相机、视频系统、3D扫描器、Lidar系统、导航系统、电位计、压电系统、压电机构、压电锁定或者释放系统、控制器、驱动器、马达、液压系统、致动器、或者其组合、成像系统部件、患者台、或者其组合进行激活、操作、去激活、或者其组合。在一些实施方案中，传感器包括深度传感器、惯性测量单元、加速度计、磁力计、陀螺仪、力传感器、压力传感器、位置传感器、取向传感器、运动传感器或其组合。
在一些实施方案中，成像系统的一个或多个部件被附接至或集成到机器人中。在一些实施方案中，机器人配置为移动成像系统的一个或多个部件。
在一些实施方案中，虚拟用户界面配置为生成由碰撞检测触发的事件消息。在一些实施方案中，系统进一步包括配置为处理事件消息的事件处理器(handler)。在一些实施方案中，事件处理器配置为生成命令。
在一些实施方案中，计算系统配置为生成命令，其中命令由虚拟用户界面触发。
在一些实施方案中，系统配置为确定与成像系统相关联的增强视图的希望位置以在希望位置处获取2D、3D或2D和3D成像数据。
在一些实施方案中，增强现实显示装置是头戴式显示器，并且增强视图包括3D立体视图。
在一些实施方案中，至少一个计算机处理器配置为将3D立体视图投影在患者的预期2D、3D或2D和3D成像数据获取的坐标处。在一些实施方案中，2D、3D或2D和3D成像数据获取的位置包括患者的一个或多个目标解剖结构。
公开文本的方面涉及一种准备由成像系统在患者中进行图像获取的方法，包括：实时跟踪成像系统的一个或多个部件；由至少一个计算机处理器获得关于成像系统的一个或多个部件的几何结构的信息、关于图像获取的几何结构的信息、关于一个或多个图像获取参数的信息或其组合；由至少一个计算机处理器生成表面、体积或其组合的3D表示，其中表面、体积或其组合的3D表示至少部分地从关于成像系统的一个或多个部件的几何结构的信息、关于图像获取的几何结构的信息、关于一个或多个图像获取参数的信息或其组合得到；由至少一个计算机处理器生成增强视图，增强视图包括表面、体积或其组合的3D表示；以及通过增强现实显示装置显示增强视图，其中增强视图的位置和取向相对于成像系统的一个或多个部件被定义，并且基于成像系统的一个或多个部件的实时跟踪信息被更新。
在一些实施方案中，表面、体积或其组合的3D表示不包含来自患者的成像数据。
在一些实施方案中，成像系统配置为获取患者的2D、3D、或2D和3D成像数据，并且其中在表面、体积或其组合的3D表示内获取患者的2D、3D、或2D和3D成像数据。
在一些实施方案中，在相对于成像系统的一个或多个部件的定义位置处的增强视图相对于成像系统的被跟踪的一个或多个部件移动，其中移动促进将3D表示与患者的目标解剖结构叠加或对准。
在一些实施方案中，响应于成像系统的被跟踪一个或多个部件的移动来调整增强视图的位置、取向、位置和取向。
在一些实施方案中，生成增强视图的步骤在获取患者的2D、3D或2D和3D成像数据的步骤之前，或其中显示增强视图的步骤在获取患者的2D、3D或2D和3D成像数据的步骤之前。
在一些实施方案中，增强现实显示装置是头戴式显示器，并且其中增强视图包括3D立体视图。
附图说明
通过结合附图进行的以下详细描述，将更清晰地理解说明性、非限制性实施例性实施方案。
图1示出了系统配置的非限制性实施例，该系统配置用于跟踪例如解剖结构、器械、植入物、机器人、成像系统、或其任何组合，并且通过例如包括多个头戴式显示器的一个或多个头戴式显示器进行显示，例如其中渲染每个头戴式显示器的观看方向。
图2示出了具有模块化系统配置的系统的非限制性实施例，该系统包括例如跟踪模块、器械校准模块、耳机(headset)校准模块、成像和导航模块、增强现实(AR)无线联网模块、AR可视化模块以及AR显示模块。
图3示出了跟踪系统、一个或多个计算机系统、一个或多个机器人、一个或多个成像系统、和/或一个或多个头戴式显示器的非限制性实施例，其中，例如计算机系统可配置为例如通过用户与通过虚拟用户界面显示的虚拟对象的交互而生成命令，该命令用于激活、去激活、操作、移动导航系统、一个或多个头戴式显示器、机器人和/或成像系统的一个或多个系统、部件、显示器等。
图4示出了一个或多个跟踪系统的非限制实施例，在该实施例中，一个或多个跟踪系统集成或附接至一个或多个头戴式显示器、一个或多个计算机系统、一个或多个计算机处理器、一个或多个机器人、一个或多个成像系统、和/或一个或多个头戴式显示器，例如配置用于激活、去激活、操作、移动导航系统、一个或多个头戴式显示器、机器人和/或成像系统的一个或多个系统、部件、显示器等。
图5示出了以下系统的非限制性实施例：在该实施例中，集成或附接至一个或多个头戴式显示器的一个或多个跟踪系统、例如集成、连接或附接至头戴式显示器的一个或多个计算机系统(每个均具有一个或多个计算机处理器)、一个或多个机器人、一个或多个成像系统和/或一个或多个头戴式显示器，例如配置用于激活、去激活、操作、移动导航系统的一个或多个系统、部件、显示器等、一个或多个头戴式显示器、机器人和/或成像系统。
图6A示出了C臂系统(例如，2D或3D C臂)的非限制实施例以及通过头戴式显示器(HMD)或其他增强现实装置的虚拟显示的应用。
图6B示出了C臂系统(例如，2D或3D C臂)的非限制实施例以及通过头戴式显示器(HMD)或其他增强现实装置进行的虚拟显示的应用，例如其中在打开x射线束之前显示x射线束的外包络或周界。
图6C-图6E示出3D C臂系统的非限制性实施例以及通过头戴式显示器(HMD)或其他增强现实装置的虚拟显示的应用，例如其中显示预期的3D成像数据获取的外包络或周界或限制。
图7A示出了射线照相术(例如，2D、3D)、血管造影术(例如，2D、3D、4D)或其他基于x射线的成像系统的非限制实施例以及通过头戴式显示器(HMD)或其他增强现实装置的虚拟显示的应用。
图7B-图7C示出了射线照相术(例如，2D、3D)、血管造影术(例如，2D、3D、4D)或其他基于x射线的成像系统的非限制实施例以及通过头戴式显示器(HMD)或其他增强现实装置的虚拟显示的应用，例如其中在打开x射线束之前显示x射线束的外包络或周界的3D表示。
图7D-图7E示出了射线照相术(例如，2D、3D)、血管造影术(例如，2D、3D、4D)或其他基于x射线的成像系统的非限制性实施例和通过头戴式显示器(HMD)或其他增强现实装置的虚拟显示的应用，例如其中在实际成像数据获取之前显示3D成像数据获取的外包络或周界或限制的3D表示。
图8A示出了CT、锥形束CT、螺旋CT、MRI系统、SPECT系统、PET系统或其组合的非限制性实施例以及由头戴式显示器(HMD)或其他增强现实装置的虚拟显示的应用。
图8B示出了CT、锥形束CT、螺旋CT、SPECT系统、PET系统或其组合的非限制实施例以及通过头戴式显示器(HMD)或其他增强现实装置的虚拟显示的应用，例如其中在打开x射线或能量束之前显示x射线或能量束的外包络或周界。
图8C-图8E示出了CT、锥形束CT、螺旋CT、MRI系统、SPECT系统、PET系统或其组合的非限制性实施例以及通过头戴式显示器(HMD)或其他增强现实装置的虚拟显示的应用，例如其中在实际成像数据获取之前显示3D成像数据获取的外包络或周界或限制。
图9示出了根据公开文本的一些实施方案的用于多个观看者(例如主治外科医生、第二外科医生、手术助手和/或护士)对多个HMD或其他增强现实显示系统的使用的非限制性实施例。。
图10示出了根据公开文本的一些实施方案的用于分割和选择后续步骤的工作流程的非限制性实施例。
图11示出根据公开文本的一些实施方案的配准用于初始手术步骤的数字全息图、执行手术步骤以及重新配准用于后续手术步骤的一个或多个数字全息图的非限制实施例。
图12A-图12C是根据公开文本的一些实施方案的在髋和虚拟股骨颈切割平面中的虚拟对象(例如，任意虚拟平面)的说明性非限制性实施例，例如用于移动、定向、操作手术机器人和/或成像系统。
图13示出根据公开文本的一些实施方案的在手术期间例如由第一外科医生、第二外科医生、手术助手和/或一个或多个护士可以如何使用多个HMD或其他增强现实显示系统以及在该过程期间由多个HMD或其他增强现实显示系统可以如何修改和显示手术计划同时为每个单独的操作者保留虚拟数据和对应的现场数据的正确透视图的说明性、非限制性实施例。
图14A-图14F是根据公开文本的一些实施方案的使用一个或多个HMD或其他增强现实显示系统显示虚拟手术引导件(例如虚拟髋臼(acetabular)扩孔轴(reaming axis))并且使物理髋臼扩孔器(reamer)(例如，附接至手术机器人上或手术机器人的一部分)与虚拟扩孔轴对准以用于以预定杯角度、偏移、内侧(medial)或外侧(lateral)位置和/或前倾(anteversion)放置髋臼杯的说明性的、非限制性实施例。
图15A-图15D提供了根据公开文本的一些实施方案的用于膝关节置换(kneereplacement)的由HMD显示的虚拟手术引导件(诸如虚拟远侧股骨切割块)和物理手术引导件(诸如物理远侧股骨切割块)(例如，附接至手术机器人或手术机器人的一部分))的使用的说明性的、非限制性实施例。
图16A-图16C提供了根据公开文本的一些实施方案的用于膝关节置换的由HMD显示的虚拟手术引导件(诸如AP股骨切割块)和物理手术引导件(诸如物理AP切割块(例如，附接至手术机器人或手术机器人的一部分))的使用的说明性的、非限制性实施例。
图17A-图17F提供了根据公开文本的一些实施方案的由HMD显示的虚拟手术引导件(诸如虚拟近侧胫骨(proximal tibial)切割引导件)以及物理手术引导(诸如物理近侧胫骨切割引导件(例如，附接至手术机器人或者手术机器人的一部分))的使用的说明性的、非限制性实施例。
图18示出了具有25个正方形和四个4.0x4.0cm光学标记(marker)的木板。
图19示出了使用HMD的图像捕获系统相对于四个光学标记配准四个立方体的说明性、非限制性实施例。
图20示出了光学标记的说明性、非限制性实施例。
图21示出了使用HMD的图像捕获系统检测光学标记的说明性、非限制性实施例。
图22示出了使用集成到HMD中的摄像机检测光学标记的准确度的说明性、非限制性实施例。
图23A-图23E示出了用于使用虚拟界面放置椎弓根螺钉(pedicle screw)的预期路径的说明性、非限制性实施例。该放置可以通过徒手技术或例如使用手术机器人(例如具有机器人工具或器械套筒或钻头导向器)来执行。
图24A-图24B提供了一个或多个增强现实HMD显示器的说明性、非限制性实施例，显示器包括用于虚拟放置、定尺寸、装配、选择和对准虚拟椎弓根螺钉的虚拟用户界面并且包括用于引导脊柱器械和植入物的OHMD显示器。
图25A-图25B提供了一个或多个增强现实OHMD显示器的说明性、非限制性实施例，一个或多个增强现实OHMD显示器用于徒手或由手术机器人对植入部件进行虚拟放置、定尺寸、装配、选择和对准。
具体实施方式
以下描述仅提供实施例性实施方案，并且不旨在限制公开文本的范围、适用性或者配置。相反，实施例性实施方案的以下描述将向本领域技术人员提供用于实现一个或多个实施例性实施方案的使能描述。应当理解，在不偏离当前公开的实施方案的精神和范围的情况下，可以对元件的功能和布置进行各种改变。
公开文本的各方面尤其提供了用于患者的现场数据(live data，现场数据)和通过头戴式显示器(HMD)或其他增强现实显示系统的虚拟数据的数字表示的同时可视化的系统、装置和方法，虚拟数据诸如例如用于机器人和/或成像系统的虚拟操作范围、虚拟操作区域、虚拟操作体积，例如用于成像系统的虚拟图像获取范围、虚拟图像获取区域、虚拟图像获取体积，虚拟切割和/或包括切割块、钻头引导件、一个或多个虚拟轴、一个或多个虚拟平面或其组合的虚拟手术引导件。在一些实施方案中，该系统可以包括一个或多个HMD或其他增强现实显示系统、一个或多个处理器和一个或多个用户界面。在一些实施方案中，包括患者的现场数据的手术部位、HMD、和虚拟数据被配准在公共坐标系中。在一些实施方案中，虚拟数据叠加到患者的现场数据上并与患者的现场数据对准。在一些实施方案中，头戴式显示器是透视HMD，例如视频透视HMD或光学透视HMD。不同于混合出(blend out)现场数据的虚拟现实头部系统，HMD可允许外科医生通过HMD看到患者的现场数据(例如术野)，同时使用该HMD单元的显示器以预定位置和/或取向观察患者和/或虚拟手术器械或植入物的虚拟数据。
在公开文本的任何实施方案中，可以使用视频透视HMD或者光学透视HMD。在公开文本的任何实施方案中，其他增强现实显示装置可例如与HMD结合使用或者代替HMD使用，例如平板电脑，诸如iPad(Apple，Cupertino，CA)或Surface(Microsoft，Redmond，WI)或智能电话，例如iPhone(Apple Cupertino，CA)。当使用其他增强现实显示装置时，它们可包括可选的摄像机或扫描器，例如3D扫描器，包括例如LIDAR系统，用于扫描物理对象，诸如成像系统、手术机器人(在本文中也称为机器人系统或手术机器人系统)、OR(手术)台、OR台上的患者、成像系统台、成像系统台上的患者、物理工具、物理器械、末端执行器等。增强现实显示器可包括视频馈送和虚拟装置或虚拟对象的合成或混合现实或增强现实显示器，例如虚拟末端执行器或x射线束的3D表示或预期图像获取。本领域已知的或在说明书中描述的任何虚拟装置、虚拟手术引导件、虚拟工具或器械、或虚拟对象可以与视频馈送或视频图像一起显示。
本领域已知的或在本说明书中描述的虚拟装置、虚拟手术引导件、虚拟工具或器械、或虚拟对象可以结合视频馈送显示，并且可以可选地与包括在视频馈送或视频图像中的物理对象、装置(例如，成像系统或手术机器人)或物理患者或目标解剖结构配准。可以使用本说明书中描述的或本领域已知的任何配准技术。如贯穿公开文本所使用的术语“混合现实”和“增强现实”可以互换地使用。在任何图示中，术语“HMD(即，头戴式显示器)”可以与增强现实显示装置、混合现实显示装置(例如，平板电脑或智能电话)互换使用。在一些实施方案中，术语“头戴式显示器(HMD)、增强现实显示装置、混合现实显示装置”可以可互换地使用。
在一些实施方案中，手术者(诸如外科医生)可以透过HMD观察关于患者的物理数据或信息，例如手术部位或在手术部位上诱发的变化，而患者的预先存在的数据(pre-existing data)被叠加到现场患者的物理视觉表示上。国际专利申请号PCT/US2018/012459(其全文通过引用并入本文)中描述了改进被叠加到患者的现场数据的虚拟数据的显示的准确性的系统、方法和技术。
可以使用诸如在PCT国际申请号PCT/US2017/021859、PCT/US2018/013774和PCT/US2019/015522中描述的那些配准和交叉引用的方法和系统，包括配准和交叉引用手术部位和一个或多个HMD或其他增强现实显示系统(例如，使用从内向外(inside-out)跟踪技术、从外向内(outside-in)跟踪技术以及其组合)。可以使用诸如在PCT国际申请号No.PCT/US2017/021859、PCT/US2018/013774、PCT/US2019/61698、PCT/US2019/015522、以及美国专利号9，861，446中描述的那些使用一个或多个HMD或其他增强现实显示系统的显示各种手术、医疗或牙科应用中的虚拟数据的方法、技术和系统。这些申请全文通过引用并入本文。
公开文本的方面涉及用于使用头戴式显示器执行具有视觉引导的手术步骤或手术过程的系统、装置和方法。在一些实施方案中，头戴式显示器可以是例如用于增强现实应用的透视头戴式显示器(例如光学透视头戴式显示器)。在一些实施方案中，头戴式显示器可以是用于虚拟现实应用的非透视头戴式显示器(例如视频透视类型)，可选地具有包括来自患者的现场数据的视频流传输(video streaming)的视频显示(例如来自集成到头戴式显示器中、附接至头戴式显示器或与头戴式显示器分开的相机的视频馈送)。头戴式显示器可以在混合现实环境中提供手术引导。
公开文本的一些方面涉及一种用于执行手术过程的系统，该系统包括：处理器；透视头戴式显示器或其他增强现实显示装置；以及附接至患者的标记(marker)，其中，该系统配置为生成虚拟手术引导件的3D立体视图或增强视图，其中该虚拟手术引导件是在一个或多个预定坐标处的放置指示符，该放置指示符指示用于对准物理手术工具或物理手术器械的预定位置、预定取向或其组合，其中该系统配置为通过透视头戴式显示器将3D立体视图显示到患者上，例如患者的脊柱、患者的关节、患者的牙齿、牙龈(gum)、牙齿结构或其组合。该处理器可以配置为确定该虚拟手术引导件的一个或多个预定坐标与该透视头戴式显示器之间的距离，其中虚拟手术引导件的一个或多个预定坐标可以参考或基于该标记。在一些实施方案中，处理器可配置为基于确定的距离例如使用从内向外或从外向内跟踪或其组合来调整3D立体视图的显示的至少一个焦平面、焦点、会聚或其组合。在一些实施方案中，系统可配置为例如实时地跟踪机器人部件、末端执行器、成像系统部件或其组合。从内向外跟踪可包括使用集成到头戴式显示器或增强现实显示装置中的至少一个相机、扫描器(包括导航系统、LIDAR系统等)或其组合，跟踪例如头戴式显示器、增强现实显示装置、患者的解剖结构、与成像系统一起使用的患者台、成像系统、成像系统的一个或多个部件、手术器械、手术工具、植入物、手术机器人、与成像系统集成或是其一部分的机器人、物理对象或其任何组合。从外向内跟踪可包括使用与头戴式显示器或增强现实显示装置分开的至少一个相机、扫描器(包括导航系统、LIDAR系统等)或其组合，跟踪例如头戴式显示器、增强现实显示装置、患者的解剖结构、与成像系统一起使用的患者台、成像系统、成像系统的一个或多个部件、手术器械、手术工具、植入物、手术机器人、与成像系统集成或是其一部分的机器人、物理对象或其任何组合。在一些实施方案中，系统包括一个或多个标记。在一些实施方案中，该标记可以配置为反射或发射具有在380nm与700nm之间的波长的光。在一些实施方案中，该标记可以配置为反射或发射具有大于700nm的波长的光。在一些实施方案中，标记可以是射频标记，或标记可以是光学标记，其中光学标记可以包括几何图案。
在一些实施方案中，该一个或多个标记可以包括附接至患者的至少一个标记、附接至透视头戴式显示器的至少一个标记、附接至手术中的结构的至少一个标记或其任何组合。
在一些实施方案中，该系统可以配置为使用一个或多个相机确定一个或多个坐标。
在一些实施方案中，该一个或多个相机检测波长在380nm与700nm之间的光。在一些实施方案中，该一个或多个相机检测波长高于700nm的光。在一些实施方案中，该一个或多个相机检测具有在380nm与700nm之间、高于700nm或其组合的波长的光。
在一些实施方案中，该系统包括集成到或附接至头戴式显示器的至少一个相机、扫描器、3D扫描器、LIDAR系统、深度传感器、惯性测量单元(IMU)、示波器、陀螺仪或其组合。在一些实施方案中，少一个相机、扫描器、3D扫描器、LIDAR系统、深度传感器、IMU、示波器、陀螺仪或其组合与头戴式显示器分开。在一些实施方案中，该一个或多个相机、扫描器、3D扫描器、LIDAR系统、深度传感器、IMU、示波器、陀螺仪或其组合配置为确定标记的位置、取向、或位置和取向。在一些实施方案中，该一个或多个相机、扫描器、3D扫描器、LIDAR系统、深度传感器、IMU、示波器、陀螺仪或其组合配置为确定该标记的一个或多个坐标。在一些实施方案中，该一个或多个相机、扫描器、3D扫描器、LIDAR系统、深度传感器、IMU、示波器、陀螺仪或其组合配置为在标记的移动过程中跟踪该标记的一个或多个坐标。在一些实施方案中，一个或多个相机、扫描器、3D扫描器、LIDAR系统、深度传感器、IMU、示波器、陀螺仪或其组合配置为例如通过检测所选择的解剖界标和/或结构和/或表面(例如脊柱结构和/或表面、关节结构和/或表面、牙齿和/或表面、牙龈和/或表面、牙齿结构和/或表面、其他结构和/或表面或身体组织)来直接(例如，无标记)确定患者的一个或多个坐标。在一些实施方案中，该一个或多个相机、扫描器、3D扫描器、LIDAR系统、深度传感器、IMU或其组合配置为确定透视头戴式显示器的一个或多个坐标。
在一些实施方案中，该系统配置为在患者、透视头戴式显示器、或患者和透视头戴式显示器的移动期间跟踪透视头戴式显示器的一个或多个坐标。患者的移动可以是例如脊柱、一个或多个脊柱单元、头部、关节、一个或多个关节表面、下颌骨、上颌骨、牙齿的移动。
在一些实施方案中，该系统包括一个或多个处理器。在一些实施方案中，该一个或多个处理器配置为生成虚拟手术引导件、虚拟显示的3D立体视图，例如虚拟轴、虚拟平面、(例如，机器人和/或成像系统的)虚拟操作范围、区域或体积、(例如，成像系统的)虚拟图像获取范围、区域或体积。在一些实施方案中，该一个或多个处理器配置为确定该虚拟手术引导件、虚拟显示的一个或多个预定坐标之间的距离，例如虚拟轴、虚拟平面、(例如，机器人和/或成像系统的)虚拟操作范围、区域或体积、(例如，成像系统的)虚拟图像获取范围、区域或体积以及透视头戴式显示器。在一些实施方案中，该一个或多个处理器配置为在该患者、该透视头戴式显示器或该患者和该透视头戴式显示器的移动期间跟踪至少一个或多个标记、一个或多个解剖结构、一个或多个透视头戴式显示器或其组合的一个或多个坐标。在一些实施方案中，该一个或多个处理器配置为在标记和/或解剖结构的移动、透视头戴式显示器的移动、或标记和/或解剖结构和透视头戴式显示器的移动期间，确定该虚拟手术引导件、虚拟显示的一个或多个预定坐标之间的距离，例如虚拟轴、虚拟平面、虚拟操作边界、(例如，机器人和/或成像系统的)虚拟操作范围、区域或体积、(例如，成像系统的)虚拟图像获取范围、区域或体积以及透视头戴式显示器。在一些实施方案中，一个或多个处理器配置为基于确定的距离的改变(例如从HMD到手术部位和/或解剖结构)而调整至少一个焦平面、焦点、会聚或其组合。在一些实施方案中，一个或多个计算机处理器和/或计算系统(例如第一、第二、第三、第四等计算机处理器和/或计算系统)配置为例如通过计算机监视器和/或一个或多个头戴式显示器来显示虚拟手术引导件，例如虚拟轴、虚拟平面、(例如，机器人和/或成像系统的)虚拟操作范围、虚拟操作区域或虚拟操作体积、(例如，成像系统的)虚拟图像获取范围、虚拟图像获取区域或虚拟图像获取体积。第一计算机处理器和/或计算系统可以配置为和机器人和/或成像系统进行通信(例如，经由直接线缆连接或无线连接)或通信地联接至机器人和/或成像系统。第二计算机处理器和/或计算系统可配置为和一个或多个头戴式显示器进行通信(例如，经由直接线缆连接或无线连接)或通信地联接至头戴式显示器。
在一些实施方案中，物理手术工具或物理手术器械可以配置为实现患者的组织去除。组织去除可以是例如骨的截骨术(osteotomy)(例如，使用如在脊柱畸形手术或关节手术中使用的骨折术)、使用例如可选地附接至或集成到机器人(例如，手持或附接至OR台)或机器人臂的销(pin)、钻头(drill)、铣刀(mill)、铰刀(reamer)、拉刀(broach)、冲击器(impactor)、和/或锯或锯片对骨的钳住(pinning)、钻孔(drilling)、铣磨(milling)、铰孔(reaming)、拉销(broaching)、冲击(impacting)和/或切割(cutting)。在一些实施方案中，机器人末端执行器可配置为实现患者的组织去除或组织改变。组织去除或组织改变可以是骨的去除或软骨(cartilage)的去除或骨和软骨的去除、或牙齿和/或牙齿组织的去除、组织消融、组织凝固(coagulation)、细胞转移、植入等。实施例包括热凝固、冷冻消融(cryoablation)、用解剖刀或其他切割装置进行的切割。组织去除或改变可以是骨、骨组织、软骨、牙科组织、牙龈、牙龈组织、脑、脑组织、器官(例如，肝脏、脾脏、肾脏、肠、胃、心脏、肺、甲状腺、甲状旁腺组织)、皮肤、真皮组织、皮下组织、或其任何组合的去除或添加/补充。
公开文本的方面涉及用于利用使用一个或多个头戴式显示器的视觉引导并利用一个或多个成像研究的显示(例如x射线、Panorex视图、CT扫描(例如，螺旋CT、锥形束CT)、MRI扫描、超声扫描、PET扫描、SPECT扫描或其组合)执行手术步骤或手术过程的装置和方法。
蓝牙
在一些实施方案中，该装置可以包括蓝牙发射机和/或接收机。
蓝牙可以是具有主/从架构的基于分组的协议。一个主机可以与微微网中的多个从机通信。主蓝牙装置可与微微网中的多个装置通信。装置可以通过协议切换角色，并且从装置可以变成主装置(例如，启动与电话的连接的耳机可以作为主装置开始—作为连接的启动者—但是可以随后作为从装置操作)。蓝牙可以是包括核心协议、线缆替换协议、电话控制协议和协定的协议的层协议架构。在一些实施方案中，该装置可以采用高速蓝牙协议。该装置可以包括在服务器和使用蓝牙装置的该装置之间的接口。该接口可以是HCI(主机控制器接口)。
主机控制器接口可以为控制器和为链路管理器提供命令接口，它可以允许访问硬件状态并控制某些寄存器。该接口可以为所有蓝牙装置提供接入层。机器的HCI层可以与蓝牙装置中存在的HCI固件交换命令和数据。在一些实施方案中，HCI可自动发现在覆盖半径内的其他蓝牙装置。
构成蓝牙装置(包括可选地在装置内的蓝牙装置)的硬件可以包括两个部件：负责调制和发送信号的无线电装置和数字控制器。在一些实施方案中，这些特定部件可以在物理上分开，而在其他实施方案中可以物理上在一起。
在一些实施方案中，数字控制器可以是计算机处理器或中央处理单元(CPU)。在一些实施方案中，计算机处理器CPU可以运行链路控制器；以及与主机装置的接口，诸如主机控制器接口。链路控制器可负责基带的处理以及ARQ和物理层FEC协议的管理。在一些实施方案中，计算机处理器或CPU可以处理传输函数(异步和同步二者)、音频编码和数据加密。在一些实施方案中，装置的计算机处理器或CPU可以负责执行与主机装置的蓝牙有关的指令，以便简化其操作。为了执行与主机装置的蓝牙有关的特定指令，计算机处理器或CPU可以运行被称为链路管理器的软件，其具有通过LMP协议与其他装置通信的功能。
在一些实施方案中，链路管理器可以在装置之间建立连接。例如，链路管理器可以在装置之间建立连接。链路管理器可以负责链路的建立、认证和配置。由于LMP链路的管理协议，链路管理器还可以找到其他管理器并与其通信。
链路管理器协议可以包括可以从一个装置发送给另一个装置的多个PDU(协议数据单元)。以下是所支持的服务的列表：
1)数据的发送和接收
2)名称请求
3)链路地址的请求
4)连接的建立
5)认证
6)链路模式和连接建立的协商
当处于可发现模式时，系统可以按需发送以下信息：
1)装置名称
2)装置类别
3)服务列表
4)技术信息(例如：装置特征、制造商、使用的蓝牙规范、时钟偏移)
系统能够具有唯一的48位地址。该系统可以具有友好的蓝牙名称，其可以由用户设置。当另一用户扫描装置时，这个名称可以出现在配对的装置的列表中。
在服务器和系统之间的配对期间，二者可以通过创建共享秘密或链路密钥来建立关系。如果两个装置存储相同的链路密钥，则它们可以被配对或绑定。
以下是可以在公开文本的一些实施方案中使用的配对机制：
1)传统配对，其中每个装置必须输入PIN码；如果两个装置输入相同的PIN码，配对才成功。传统具有以下认证机制：
a.有限的输入装置，其中装置具有固定PIN，例如“1111”或“2222”，其被硬编码到装置中
b.数字输入装置，其中用户可以输入长度为16个数字的数值
c.字母数字输入装置，其中用户可以输入完整的UTF8文本作为PIN码
2)使用公钥密码术和某些修改的安全简单配对(SSP)可帮助防止中间人或MITM攻击。SSP具有以下认证机制：
a.只工作(Just works)：该方法作用时没有用户交互。然而，装置可以提示用户确认配对过程。
b.数字比较：配对的装置显示6个数字的数字码。用户可以比较数字以确保它们是完全相同的。如果比较成功，则用户可以确认可以接受输入的装置的配对。该方法提供MITM保护，假设用户在两个装置上确认并且实际上正确地执行比较。
c.密码键输入(Passkey Entry)：这种机制可以在具有显示器的装置和具有数字小键盘输入(诸如键盘)的装置或具有数字小键盘输入的两个装置之间使用。在第一种情况下，显示器向用户呈现6个数字的数字码，然后，用户在键盘上输入代码。在第二种情况下，每个装置的用户输入相同的6个数字数。
d.带外(OOB)：该方法使用诸如近场通信(NFC)的外部通信方式来交换在配对过程中使用的信息。使用蓝牙无线电完成配对，但是需要来自OOB机制的信息。
在一些实施方案中，该装置包括蓝牙发射机和/或接收机，其中蓝牙发射机和/或接收机配置为与增强现实手术引导系统、手术导航系统、机器人、机器人系统、和/或手持机器人相结合地工作。
在一些实施方案中，蓝牙发射机和/或接收机以及蓝牙发射机和/或接收机与增强现实手术引导系统、手术导航系统、机器人、机器人系统、和/或手持机器人之间建立的连接可以结合一个或多个开/关开关和/或一个或多个电位计(例如数字电位计)和/或一个或多个变阻器和/或一个或多个致动器工作，以调整锯片的移动或的骨钻头的移动的速度，或提供触觉反馈。
例如，在增强现实手术引导系统、手术导航系统、机器人、机器人系统、和/或手持机器人检测手术器械或工具在一个或多个维度中的任何方向上偏离预期手术轴、目标、目标区域、目标体积、组织切除(resection)目标、区域、体积(例如，骨或组织去除或切除，例如用骨钻头或骨科锯)特定距离的移动的情况下，增强现实手术引导系统、手术导航系统、机器人、机器人系统、和/或手持机器人可以向蓝牙接收机发送信息，该蓝牙接收机可以调节蓝牙开关，包括发射机和接收机，以激活开/关开关和/或电位计(例如数字的)和/或变阻器和/或特定致动器以用于触觉反馈。在增强现实手术引导系统、手术导航系统、机器人、机器人系统、和/或手持机器人检测到接近例如特定解剖结构或安全区的钻头或锯或其他电动工具的移动的情况下，增强现实手术引导系统、手术导航系统、机器人、机器人系统、和/或手持机器人可以类似地与附接至钻头或锯的装置内的蓝牙开关相结合地工作，以调整、控制、和/或调节开/关开关和/或电位计和/或变阻器和/或特定致动器以用于触觉反馈。当接近某些解剖结构时，相同的概念可以类似地用于开启或增加锯片或骨钻头或其他电动工具或器械的移动的速度。
在一些实施方案中，蓝牙开关、蓝牙接收机和/或蓝牙发射机可以采用低延迟蓝牙，以便提供即时锯或钻头速度调节或即时触觉反馈。
WiFi
在一些实施方案中，该装置包括WiFi发射机和/或接收机。在一些实施方案中，该装置可以包括WiFi能力。可以使用不同版本的WiFi，包括但不限于：802.11a、802.11b、802.11g、802.11n(WiFi 4[40])、802.11h、802.11i、802.11-2007、802.11-2012、802.11ac(Wi-Fi 5[40])、802.11ad、802.11af、802.11-2016、802.11ah、802.11ai、802.11aj、802.11aq、802.11ax(Wi-Fi 6[40])和802.11ay。在一些实施方案中，该装置包括WiFi发射机和/或接收机，其中该WiFi发射机和/或接收机配置为结合手术引导系统工作。在一些实施方案中，该系统可以包括路由器，这些路由器可以配置用于内联网和互联网连接。
在一些实施方案中，该系统可以利用若干不同的射频范围。例如，系统使用802.11标准，其可以包括在Wi-Fi通信中使用的不同的射频范围，诸如：900MHz、2.4GHz、5GHz、5.9GHz以及60GHz频带。每个频率或范围可具有多个信道。
在一些实施方案中，系统和/或装置的Wi-Fi可以是IEEE 802协议族的一部分。在一些实施方案中，系统和/或装置可以包括一个或多个发射机。WiFi发射机是低功率装置。
在一些实施方案中，系统和/或装置可以包括一个或多个天线。系统和/或装置可包括遵循802.11b和/或802.11g的接入点。使用常用(stock)全向天线可具有100m(0.062mi)的范围。在远端利用类似装备的接收机的具有外部半抛物面天线(15dB增益)的相同无线电可以具有超过20英里的范围。
在一些实施方案中，系统和/或装置可以包括多个输入和多个输出。包括但不限于诸如IEEE 802.11n和IEEE 802.11ac的标准的系统和/或装置可以包括用于扩展范围和更高速度的多个天线。在一些实施方案中，WiFi可以包括局域网(LAN)。在一些实施方案中，该装置可以包括一个或多个接入点。无线接入点可以将一组无线装置连接至相邻的有线LAN。在一些实施方案中，该装置可以包括一个或多个无线适配器。无线适配器可以允许装置连接至无线网络。
在一些实施方案中，该装置可以包括一个或多个路由器。无线路由器能够集成无线接入点、以太网交换机和内部路由器固件应用，该内部路由器固件应用通过集成的WAN接口提供IP路由、NAT和DNS转发。在一些实施方案中，该装置可以包括一个或多个无线网络网桥。无线网络网桥可以起到连接两个网络以在Wi-Fi上的数据链路层处形成单个网络的作用。主要标准是无线分布系统(WDS)。无线网桥可以将有线网络连接至无线网络。
在一些实施方案中，该装置可以包括一个或多个安全特征。安全特征可以是本领域已知的任何安全标准。
在一些实施方案中，WiFi发射机和/或接收机以及在WiFi发射机和/或接收机与增强现实手术引导系统之间所建立的连接可以结合一个或多个开/关开关和/或一个或多个电位计和/或一个或多个变阻器和/或一个或多个致动器工作，以调节锯片的振荡或骨钻头的移动，或提供触觉反馈。
例如，在增强现实手术引导系统检测到钻头或锯或其他电动工具或器械偏离预期切割/钻头手术轴的移动的情况下，该手术引导系统可以调节WiFi开关(包括发射机和接收机二者)以便激活开/关开关和/或电位计(例如数字的)和/或变阻器和/或特定致动器以用于触觉反馈。在手术引导系统检测到接近例如特定解剖结构或安全区的钻头或锯或其他电动工具或器械的移动的情况下，手术引导系统可以类似地与附接至钻头或锯或其他电动工具或器械的装置内的WiFi开关结合工作，以激活开/关开关和/或电位计和/或变阻器和/或特定致动器以用于触觉反馈。当接近某些解剖结构时，相同的概念可以类似地用于开启或增加锯片或骨钻头或其他电动工具或器械的移动速度。
LiFi
在一些实施方案中，该装置可包括LiFi发射机和/或接收机。在一些实施方案中，该装置可以包括LiFi能力。LiFi可以使用来自发光二极管(LED)的光作为媒介以传递联网的、移动的、高速度通信。
在一些实施方案中，该系统可以包括可见光通信(VLC)。VLC通过以非常高的速度关断和接通至LED的电流来工作。
在一些实施方案中，系统可以包括Bg-Fi。Bg-Fi可以是由用于移动装置的应用和简单的消费产品装置组成的Li-Fi系统，具有颜色传感器、微控制器和嵌入式软件。来自移动装置显示器的光传递到消费产品上的颜色传感器，颜色传感器将光转换成数字信息。发光二极管使得消费产品能够与移动装置同步通信。
在一些实施方案中，Li-Fi系统可以是无线的并且可以使用802.11协议。在一些实施方案中，LiFi系统可以使用紫外光、红外光和可见光通信。可从由IEEE 802工作组建立的通信协议设计可见光通信的一部分。在一些实施方案中，IEEE 802.15.7标准可以定义物理层(PHY)和媒体接入控制(MAC)层。为PHY I和PHY II识别的调制格式是开关键控(OOK)和可变脉冲位置调制(VPPM)。用于PHY I和PHY II层的曼彻斯特编码可以通过用OOK符号“01”表示逻辑0并且用OOK符号“10”表示逻辑1(全部具有DC分量)来将时钟包括在所发送的数据内部。DC分量在逻辑0的延长运行的情况下避免消光(light extinction)。
使用LiFi提供了额外的益处，因为光波不太可能影响或阻碍医疗过程或医疗装置的效率。
在一些实施方案中，该装置可以包括LiFi发射机和/或接收机，其中LiFi发射机和/或接收机配置为与手术引导系统结合工作。在一些实施方案中，LiFi发射机和/或接收机以及LiFi发射机和/或接收机与增强现实手术引导系统之间所建立的连接可以与一个或多个开/关开关和/或一个或多个电位计和/或一个或多个变阻器和/或一个或多个致动器相结合地工作以调节锯片的振荡或钻头的移动或提供触觉反馈。
例如，在增强现实手术引导系统检测到钻头或锯偏离预期切割/钻头手术轴的移动的情况下，手术引导系统可以调节LiFi开关(包括发射机和接收机)以激活开/关开关和/或电位计和/或变阻器和/或特定致动器以用于触觉反馈。在手术引导系统检测到接近例如特定解剖结构或安全区的钻头或锯的移动的情况下，手术引导系统可以类似地与附接至或集成到钻头或锯中的装置内的LiFi开关结合工作，以激活开/关开关和/或电位计和/或变阻器和/或特定致动器以用于触觉反馈。当接近某些解剖结构时，相同的概念可以类似地用于开启或增加锯片或钻头的移动速度。
在一些实施方案中，可以使用本领域已知的其他形式的无线数据传输，不仅蓝牙、Wifi、Lifi，而且包括但不限于射频信号、微波信号、超声信号、红外信号、电磁波或其组合。在任何实施方案中，可以使用本领域已知的任何形式的无线数据传输。
在一些实施方案中，该系统包括集成到或附接至透视头戴式显示器的至少一个相机、视频系统和/或扫描器(例如，3D扫描器、激光扫描器、LIDAR系统或LIDAR扫描器)、深度传感器、IMU或其组合。在一些实施方案中，至少一个相机、视频系统和/或扫描器(例如，3D扫描器、激光扫描器、LIDAR系统或LIDAR扫描器)、深度传感器、IMU或其组合与头戴式显示器分开。在一些实施方案中，一个或多个相机、视频系统、扫描器、3D扫描器、LIDAR系统、深度传感器、IMU或其组合配置为确定标记、表面和/或组织的位置、取向或位置和取向。在一些实施方案中，一个或多个相机、视频系统、扫描器、3D扫描器、LIDAR系统、深度传感器、IMU或其组合配置为确定标记、表面和/或组织的一个或多个坐标。在一些实施方案中，一个或多个相机、视频系统、扫描器、3D扫描器、LIDAR系统、深度传感器、IMU、示波器、陀螺仪或其组合配置为在标记、表面和/或组织的移动过程中跟踪该标记、表面和/或组织的一个或多个坐标。在一些实施方案中，一个或多个相机、视频系统、扫描器、3D扫描器、LIDAR系统、深度传感器、IMU、示波器、陀螺仪或其组合配置为确定透视头戴式显示器的一个或多个坐标。在一些实施方案中，一个或多个标记可以附接至或集成到物理器械、物理工具、物理试验植入物、物理植入物、物理装置、一个或多个HMD或其他增强现实显示系统、机器人、机器人臂、手持式机器人、末端执行器、成像系统、成像系统的一个或多个部件或其组合中。
成像系统
在整个说明书中使用的术语“成像系统”可以包括使用电离辐射或非电离辐射的任何成像系统。在整个说明书中使用的术语“成像系统”可包括利用x射线的任何成像系统，例如射线照相系统、投影射线照相系统、荧光透视系统、2D荧光透视系统、3D荧光透视系统(例如，使用3D C臂系统)、锥形束CT系统、螺旋CT系统、使用笔形束几何结构、扇形束几何结构、开放束几何结构的CT成像系统、使用单个检测器阵列的CT成像系统、使用多个检测器阵列的CT成像系统、电子束CT成像系统、常规射线照相系统、数字射线照相系统、数字断层摄影系统、双能量成像系统、双能量减法成像系统、减法成像系统、血管造影成像系统、单平面血管造影系统、双平面血管造影系统、3D血管造影系统；在整个说明书中使用的术语“成像系统”可包括磁共振成像(MRI)系统、超声成像系统；如贯穿本说明书所使用的术语成像系统可以包括放射性核素成像系统、用于放射性核素成像的闪烁检测器成像系统、用于放射性核素成像的半导体检测器成像系统、用于放射性核素成像的脉冲高度光谱成像系统、平面核成像系统、心脏放射性核素成像系统、单光子发射计算机断层摄影(SPECT)成像系统、正电子发射断层摄影(PET)成像系统。如贯穿本说明书所使用的术语成像系统可以包括前述成像系统或其任何组合，例如组合的x射线-超声成像系统、SPECT MRI成像系统、PET MRI成像系统、2D射线照相术/荧光检查-3D锥形束CT成像系统等。
在任何实施方案中，术语成像参数可以与术语图像获取参数、获取参数、获取设置、图像获取设置可互换地使用。
表1：成像系统的一个或多个部件的成像参数、设置、几何结构(部分列表)的非限制性实施例，可用于对不同成像系统进行设置、调整、修改，例如使用由一个或多个头戴式显示器或其他增强现实显示系统显示的虚拟用户界面：X射线、荧光检查、C-臂(2D、3D成像，例如包括锥形束CT)、CT(例如，用于在说明书中描述或本领域中已知的不同扫描器、几何结构、CT技术(例如，螺旋CT等))：
x射线管设置
kVp
mAs
准直
管-检测器距离
管-患者距离
患者-检测器距离
患者-图像增强器距离
台高度(例如，相对于管、检测器或其组合)
台位置(例如，相对于管、检测器或其组合)
患者位置
C臂位置、取向、定位
台架位置、取向、定位
准直
网格高度
网格宽度
网格比率
视场
视场中心
视场的边缘、周界、限制
矩阵
像素大小
体素大小
图像大小
图像体积
成像平面
在x、y、z和/或倾斜方向上的图像尺寸，例如扫描覆盖图像定位
图像体积定位
节距
平面内分辨率
切片厚度
增量
检测器配置
检测器分辨率
检测器密度
管电流
管电位
重建算法，例如脑、软组织、腹部、骨
扫描范围，
扫描边界
扫描限制
扫描范围
(例如，螺旋获取、检测器移动、管移动、C臂移动的)旋转中心
(例如，螺旋获取、检测器移动、管移动、C臂移动的)旋转轴
重建切片厚度
分割算法
窗口和/或水平
亮度
对比度
显示器分辨率
超声：
波长
频率
速度
声速
深度
增益
帧速率
宽度
线密度
持续性
灵敏度
动态范围
相对强度(例如，以dB为单位)
相对压力(例如，以dB为单位)
振幅
压力振幅比
强度比
功率
换能器(transducer)几何结构(geometry)线性/相位换能器激活
近场几何结构
远场几何结构
束几何结构
束发散
发送聚焦
接收聚焦
声透镜几何结构(例如，可变形的)
前放大设置
波束转向设置
动态聚焦设置
信号求和设置
时间增益补偿设置
对数压缩设置
解调、包络检测设置
A模式设置
B模式设置
M模式设置
多普勒设置
多普勒波设置
多普勒角
多普勒频移
多普勒频移设置
呼吸门控
心脏门控
呼吸门控设置
心脏门控设置
谐波成像设置
谐波波设置混叠，抗混叠设置患者位置换能器位置/取向患者扫描区域位置/取向视场
矩阵
像素大小
体素大小
图像大小
图像体积
成像平面
平面内分辨率
切片厚度
扫描范围
重建切片厚度
分割算法窗口和/或水平
亮度
对比度
显示器分辨率MRI：
重复时间
回波时间
反转时间
翻转角
回波链长度
激励数
脉冲序列，例如自旋回波、梯度回波、快速场回波、快速自旋回波(turbo spinecho)
台高度
台位置
患者位置
视场
矩阵
像素大小
体素大小
图像大小
图像体积
成像平面
在x、y、z和/或倾斜方向上的图像尺寸，例如扫描覆盖
平面内分辨率
切片厚度
2D傅里叶变换获取参数
3D傅里叶变换获取参数
磁化转移对比度参数
k空间采样参数
线圈
线圈参数
线圈几何结构
相控阵列线圈系统
发送和/或接收线圈
线圈灵敏度
线圈灵敏度曲线
梯度线圈设置
梯度上升时间
梯度强度
重建算法
扫描范围
重建切片厚度
分割算法
窗口和/或水平
亮度
对比度
显示器分辨率基于放射性核素的成像，例如核闪烁照相术、SPECT、PET等：台高度
台位置
患者位置台架位置、取向、定位
检测器尺寸
检测器分辨率
图像分辨率
散射
准直
准直器设置
间隔(septal，狭缝)准直器位置、准直器环
单能量获取设置
多能量获取设置
2D获取设置
3D获取设置
视场
矩阵
像素大小
体素大小
图像大小
图像体积
成像平面
在x、y、z和/或倾斜方向上的图像尺寸，例如扫描覆盖
平面内分辨率
切片厚度
重建算法
滤波器参数
滤波器内核
放射性核素衰变
扫描范围
重建切片厚度
分割算法
窗口和/或水平
亮度
对比度
显示器分辨率
在整个说明书中使用的术语“成像参数”可包括一个或多个上述参数和/或本领域中已知的其他参数。可以使用包括图形用户界面的用户界面来设置、定义、确定、调整、修改任何前述参数。图形用户界面可包括例如使用头戴式显示器或其他增强现实显示装置的虚拟用户界面。虚拟界面可例如使用碰撞检测，例如用于生成和/或启用一个或多个命令。以上成像参数和/或本领域中已知的其他成像参数中的任一者可以使用虚拟用户界面、使用说明书中所描述的实施方案中的任一者和/或说明书中所描述的实施方案的任何组合来设置、定义、确定、调整、修改。
术语“虚拟界面”可以与术语“虚拟用户界面”互换地使用。虚拟用户界面可以是图形用户界面。虚拟用户界面可由一个或多个头戴式显示器或其他增强现实显示装置来显示。由第一头戴式显示器、第二头戴式显示器、第三头戴式显示器、第四头戴式显示器等显示的虚拟用户界面可以是相同或不同的。虚拟用户界面可以包括至少一个虚拟对象。虚拟用户界面或至少一个虚拟对象可包括一个或多个虚拟按钮、虚拟场(virtual field，虚拟场)、虚拟光标、虚拟指针、虚拟滑块、虚拟轨迹球、虚拟节点、虚拟数字显示器、虚拟触摸板、虚拟键盘或其组合。一个或多个命令可由例如用户与虚拟用户界面的交互生成。交互可以例如是例如用户的手指与虚拟对象(例如虚拟按钮)之间或在被跟踪的指针或工具或手术器械与虚拟对象之间的碰撞检测。
在一个实施方案中，如图1中以非限制的严格实施例性方式所示，该系统可包括例如跟踪相机或跟踪系统1170(例如，光学跟踪系统、电磁跟踪系统、一个或多个可见光和/或红外相机、视频系统、扫描器，例如3D扫描器、激光扫描器、LIDAR系统、深度传感器)；服务器/控制器/计算单元1180；可选地实时接收相机1170检测到的标记的跟踪数据的跟踪器控制器1190。服务器/控制器/计算机单元可处理和/或包括当前姿态数据，例如在患者身上的检测的标记(例如脊柱夹(spinal clamp))、一个或多个工具或器械、和/或可选地一个或多个HMD 1200。变换管理器可以将被跟踪的项目例如从局部坐标系(CS)转换到相机坐标系(CS)1210。配准和/或校准1220可可选地将局部坐标系变换成标记坐标系。步骤、过程、命令和/或功能1190、1200、1210、1220可以由服务器/控制器/计算单元1180处理或操作。
被跟踪的项目的当前姿态数据1230可被定位在相机坐标系中并且可被传递到一个或多个HMD或其他增强现实显示装置，例如第一、第二、第三、第四等HMD 1240或其他增强现实显示装置，被跟踪的项目例如为患者、解剖结构、标记(例如，在脊柱夹上、和/或附接至患者的任何标记、和/或在任何工具或器械上的任何标记、和/或在一个或多个HMD或其他增强现实显示装置上的任何标记)、物理工具或器械、和/或一个或多个HMD或其他增强现实显示装置，包括关于一个或多个HMD或其他增强现实显示装置的观看方向的信息。一个或多个HMD 1240或其他增强现实显示装置可例如运行Unity应用并在相应的一个或多个HMD或其他增强现实显示装置的观看视角渲染一个或多个被跟踪的项目。在一些实施方案中，包括一个或多个处理器的第一计算系统可配置为向第二计算系统发送数据，第二计算系统配置为基于所发送的数据来生成由头戴式显示器或其他增强现实显示装置的显示。在一些实施方案中，包括一个或多个处理器的第一计算系统可以配置为向第二计算系统发送数据，该第二计算系统配置为生成头戴式显示器或其他增强现实显示装置的显示。在一些实施方案中，配置为生成头戴式显示器或其他增强现实显示装置的显示的第二计算系统可配置为将数据发送给与该头戴式显示器或其他增强现实显示装置分开的第一计算系统。在一些实施方案中，第一计算系统和第二计算系统可配置为彼此发送和/或接收数据，例如用于通过头戴式显示器或其他增强现实显示装置来更新显示。可接收和/或发送的数据或数据包可包括例如表2中列出的任何数据：
表2：用于在两个或多于两个计算系统(包括通信地连接至一个、两个或多于两个移动HMD单元和/或其他增强现实显示装置的计算系统和/或通信地连接至手术机器人和/或成像系统的计算系统)之间的无线发送和/或接收的数据或数据包。
-患者(例如患者的解剖结构、脊柱的至少一部分、脊柱结构、关节、牙齿、牙齿结构、血管结构或其他身体部位)的2D成像数据(包括源自2D成像研究的数据)。
○术前成像数据(CT、MRI、超声等)。
○例如从术中成像系统接收的术中成像数据，诸如2D、3D C臂、锥形束CT、CT等。
-至少患者(例如患者的解剖结构、脊柱的一部分、脊柱结构、关节、牙齿、牙齿结构、血管结构、或其他身体部位)的3D成像数据(包括源自2D和/或3D成像研究的数据)。
○术前成像数据(CT、MRI、超声等)。
○例如从术中成像系统(诸如2D、3D C臂、锥形束CT、CT等)接收的术中成像数据。
-患者(例如患者的解剖结构、脊柱、脊柱结构、关节、牙齿、牙齿结构、血管结构或其他身体部位)的坐标数据或信息。
-实时或近实时地跟踪患者(例如患者的解剖结构、脊柱、脊柱结构、关节、牙齿、牙齿结构、血管结构、或其他身体部位)的数据或信息。
-一个或多个物理指针的坐标数据或者信息。
-实时或近实时地跟踪一个或多个物理指针的数据或信息。
-一个或多个物理工具或器械的坐标数据或者信息。
-实时或者近实时地跟踪一个或多个物理工具或器械的数据或者信息。
-一个或多个物理植入物、物理植入部件或物理试验植入物的坐标信息。
-一个或多个物理植入物、物理植入部件或物理试验植入物的实时或近实时跟踪数据或信息。
-集成或附接至机器人或者机器人的一部分(例如机器人臂)、手持式机器人或其组合的一个或多个末端执行器、物理工具或者器械的坐标数据或者信息，和/或机器人的一个或多个部件的坐标数据或信息，例如其中利用机器人的姿态数据、传感器数据、相机数据、3D扫描器数据、控制器数据、驱动器数据、致动器数据、末端执行器数据或其组合(例如，内在数据)生成的坐标数据或信息的至少一部分(例如，使用内部或集成传感器、电位计、相机、视频系统、3D扫描器、LIDAR系统、深度传感器、惯性测量单元、加速计、磁力计、陀螺仪、力传感器、压力传感器、位置传感器、取向传感器、移动传感器、来自步进马达的位置和/或取向反馈、来自电动马达的位置和/或取向反馈、来自液压马达的位置和/或取向反馈、来自电动和/或机械致动器的位置和/或取向反馈、来自驱动器的位置和/或取向反馈、来自机器人控制器的位置和/或取向反馈、来自一个或多个机器人计算机处理器的位置和/或取向反馈或其组合获得的)。
-集成或附接至机器人或机器人的一部分(例如机器人臂)、手持式机器人或其组合的一个或多个末端执行器、物理工具或器械的实时或近实时跟踪数据或信息，和/或机器人的一个或多个部件的实时或近实时跟踪数据或信息，例如具有利用机器人的姿态数据、传感器数据、相机数据、3D扫描器数据、控制器数据、驱动器数据、致动器数据、末端执行器数据或其组合(例如，内在数据)生成的跟踪数据或信息的至少一部分，(例如，使用内部或集成传感器、电位计、相机、视频系统、3D扫描器、LIDAR系统、深度传感器、惯性测量单元、加速度计、磁力计、陀螺仪、力传感器、压力传感器、位置传感器、取向传感器、移动传感器、来自步进马达的位置和/或取向反馈、来自电动马达的位置和/或取向反馈、来自液压马达的位置和/或取向反馈、来自电动和/或机械致动器的位置和/或取向反馈、来自驱动器的位置和/或取向反馈、来自机器人控制器的位置和/或取向反馈、来自一个或多个机器人计算机处理器的位置和/或取向反馈或其组合获得的)。
-附接至机器人(例如，机器人臂、手持式机器人或其组合)的一个或多个物理植入物、物理植入部件或物理试验植入物的坐标信息，例如其中，利用机器人的姿态数据、传感器数据、相机数据、3D扫描器数据、控制器数据、驱动器数据、致动器数据、末端执行器数据或其组合(例如，内在数据)生成坐标数据或信息的至少一部分(例如，使用内部或集成传感器、电位计、相机、视频系统、3D扫描器、LIDAR系统、深度传感器、惯性测量单元、加速计、磁力计、陀螺仪、力传感器、压力传感器、位置传感器、取向传感器、运动传感器、来自步进马达的位置和/或取向反馈、来自电动马达的位置和/或取向反馈、来自液压马达的位置和/或取向反馈、来自电动和/或机械致动器的位置和/或取向反馈、来自驱动器的位置和/或取向反馈、来自机器人控制器的位置和/或取向反馈、来自一个或多个机器人计算机处理器的位置和/或取向反馈或其组合获得的数据)。
-附接至机器人(例如，机器人臂、手持式机器人或其组合)的一个或多个物理植入物、物理植入部件或物理试验植入物的实时或近实时跟踪数据或信息，例如其中，具有机器人的姿态数据、传感器数据、相机数据、3D扫描器数据、控制器数据、驱动器数据、致动器数据、末端执行器数据或其组合(例如，内在数据)生成的跟踪数据或信息的至少一部分(例如，使用内部或集成传感器、电位计、相机、视频系统、3D扫描器、LIDAR系统、深度传感器、惯性测量单元、加速计、磁力计、陀螺仪、力传感器、压力传感器、位置传感器、取向传感器、运动传感器、来自步进马达的位置和/或取向反馈、来自电动马达的位置和/或取向反馈、来自液压马达的位置和/或取向反馈、来自电动和/或机械致动器的位置和/或取向反馈、来自驱动器的位置和/或取向反馈、来自机器人控制器的位置和/或取向反馈、来自一个或多个机器人计算机处理器的位置和/或取向反馈或其组合获得的数据)。
-成像系统的一个或多个部件的坐标数据或信息，例如其中，具有利用成像系统的一个或多个部件的姿态数据、传感器数据、相机数据、3D扫描器数据、控制器数据、驱动器数据、致动器数据或其组合(例如，内在数据)生成的坐标数据或信息的至少一部分(例如，使用内部或集成传感器、电位计、相机、视频系统、3D扫描器、LIDAR系统、深度传感器、惯性测量单元、加速计、磁力计、陀螺仪、力传感器、压力传感器、位置传感器、取向传感器、运动传感器、来自步进马达的位置和/或取向反馈、来自电动马达的位置和/或取向反馈、来自液压马达的位置和/或取向反馈、来自电动和/或机械致动器的位置和/或取向反馈、来自驱动器的位置和/或取向反馈、来自一个或多个控制器的位置和/或取向反馈、来自一个或多个计算机处理器的位置和/或取向反馈或其组合获得的数据)。
-成像系统的一个或多个部件的实时或近实时跟踪数据或信息，例如其中，具有利用成像系统的一个或多个部件的姿态数据、传感器数据、相机数据、3D扫描器数据、控制器数据、驱动器数据、致动器数据或其组合(例如，内在数据)生成的跟踪数据或信息的至少一部分(例如，使用内部或集成传感器、电位计、相机、视频系统、3D扫描器、LIDAR系统、深度传感器、惯性测量单元、加速计、磁力计、陀螺仪、力传感器、压力传感器、位置传感器、取向传感器、运动传感器、来自步进马达的位置和/或取向反馈、来自电动马达的位置和/或取向反馈、来自液压马达的位置和/或取向反馈、来自电动和/或机械致动器的位置和/或取向反馈、来自驱动器的位置和/或取向反馈、来自一个或多个控制器的位置和/或取向反馈、来自一个或多个计算机处理器的位置和/或取向反馈或其组合获得的数据)。
-集成或附接至机器人的一部分(例如，机器人臂)、手持式机器人或其组合的一个或多个末端执行器、物理工具或器械的坐标数据或信息和/或该机器人的一个或多个部件的坐标数据或信息，例如具有利用集成或附接至一个或多个HMD或其他增强现实显示系统、与一个或多个HMD或其他增强现实显示系统分开(例如，在支架、三脚架上，附接或集成至OR照明、OR灯具、成像系统(例如，x射线、锥形束CT、CT))或其组合的一个或多个相机、视频系统、3D扫描器、LIDAR系统、深度传感器或其组合生成的坐标数据或信息的至少一部分，其中，一个或多个计算机处理器配置为使用一个或多个相机、视频系统、3D扫描器、LIDAR系统、深度传感器或其组合，来确定例如一个或多个末端执行器、物理工具或器械和/或一个或多个标记(例如有源标记(如RF标记)、无源标记(如红外标记)、光学标记(例如具有几何图案、QR码、条形码、限定形状，例如，三角形、正方形、矩形等)、LED或其组合的位置、取向、移动方向、一个或多个坐标或其组合，一个或多个末端执行器、物理工具或器械集成或附接至机器人或机器人的一部分，一个或多个标记集成或附接至一个或多个物理工具或器械、集成或附接至机器人的至少一部分(例如，机器人臂、手持式机器人或其组合)、或集成或附接至一个或多个物理工具或器械并集成或附接至机器人的至少一部分。
-集成或附接至机器人(例如，机器人臂、手持式机器人或其组合)的一个或多个末端执行器、物理工具或器械的实时或近实时跟踪数据或信息和/或该机器人的一个或多个部件的实时或近实时跟踪数据或信息，例如其中，具有利用集成或附接至一个或多个HMD或其他增强现实显示系统、与一个或多个HMD或其他增强现实显示系统分开(例如，在附接或集成至OR照明、OR灯具、成像系统(例如，x射线、锥形束CT、CT)的支架、三脚架上)或其组合的一个或多个相机、视频系统、3D扫描器、LIDAR系统、深度传感器或其组合生成的跟踪数据或信息的至少一部分，其中，一个或多个计算机处理器配置为使用一个或多个相机、视频系统、3D扫描器、LIDAR系统、深度传感器或其组合，来确定例如一个或多个末端执行器、物理工具或器械和/或一个或多个标记(例如有源标记(如RF标记)、无源标记(如红外标记)、光学标记(例如具有几何图案、QR码、条形码、限定形状，例如，三角形、正方形、矩形等)、LED或其组合的位置、取向、移动方向、一个或多个坐标或其组合，一个或多个末端执行器、物理工具或器械集成或附接至机器人或其一部分，一个或多个标记集成或附接至一个或多个物理工具或器械、集成或附接至机器人的至少一部分(例如，机器人臂、手持式机器人或其组合)、或集成或附接至一个或多个物理工具或器械并集成或附接至机器人的至少一部分，
-附接至机器人(例如，机器人臂、手持式机器人或其组合)的一个或多个物理植入物、物理植入部件或物理试验植入物的坐标信息，例如其中，具有利用集成或附接至一个或多个HMD或其他增强现实显示系统、与一个或多个HMD或其他增强现实显示系统分开(例如，在支架、三脚架上、附接或集成至OR照明、OR灯具、成像系统(例如，x射线、锥形束CT、CT))或其组合的一个或多个相机、视频系统、3D扫描器、LIDAR系统、深度传感器或其组合生成的坐标数据或信息的至少一部分，其中，一个或多个计算机处理器配置为使用一个或多个相机、视频系统、3D扫描器、LIDAR系统、深度传感器或其组合，来确定例如，附接至机器人的一个或多个物理植入物、物理植入部件或物理试验植入物的位置、取向、移动方向、一个或多个坐标或其组合，和/或集成或附接至一个或多个物理工具或器械、集成或附接至机器人(例如，机器人臂、手持式机器人或其组合)的至少一部分、或集成或附接至一个或多个物理工具或器械并集成或附接至机器人的至少一部分的一个或多个标记，例如有源标记(如RF标记)、无源标记(如红外标记)、光学标记(例如具有几何图案、QR码、条形码、限定形状，例如，三角形、正方形、矩形等)、LED或其组合，
-附接至机器人(例如，机器人臂、手持式机器人或其组合)的一个或多个物理植入物、物理植入部件或物理试验植入物的实时或近实时跟踪数据或信息，例如具有利用集成或附接至一个或多个HMD或其他增强现实显示系统、与一个或多个HMD或其他增强现实显示系统分开(例如，在支架、三脚架上，附接或集成至OR照明、OR灯具、成像系统(例如，x射线、锥形束CT、CT))或其组合的一个或多个相机、视频系统、3D扫描器、LIDAR系统、深度传感器或其组合生成的跟踪数据或信息的至少一部分，其中，一个或多个计算机处理器配置为使用一个或多个相机、视频系统、3D扫描器、LIDAR系统、深度传感器或其组合，来确定例如，附接至机器人的一个或多个物理植入物、物理植入部件或物理试验植入物的位置、取向、移动方向、一个或多个坐标或其组合，和/或集成或附接至一个或多个物理工具或器械、集成或附接至机器人(例如，机器人臂、手持式机器人或其组合)的至少一部分、或集成或附接至一个或多个物理工具或器械并集成或附接至机器人的至少一部分的一个或多个标记，例如有源标记(如RF标记)、无源标记(如红外标记)、光学标记(例如具有几何图案、QR码、条形码、限定形状，例如，三角形、正方形、矩形等)、LED或其组合，
-成像系统的一个或多个部件的坐标数据或信息，例如具有利用集成或附接至一个或多个HMD或其他增强现实显示系统、与一个或多个HMD或其他增强现实显示系统分开(例如，在支架、三脚架上，附接或集成至OR照明、OR灯具、成像系统(例如，x射线、锥形束CT、CT))或其组合的一个或多个相机、视频系统、3D扫描器、LIDAR系统、深度传感器或其组合生成的坐标数据或信息的至少一部分，其中，一个或多个计算机处理器配置为使用一个或多个相机、视频系统、3D扫描器、LIDAR系统、深度传感器或其组合，来确定例如，成像系统的一个或多个部件的位置、取向、移动方向、一个或多个坐标或其组合，和/或集成或附接至成像系统的一个或多个部件的一个或多个标记，例如有源标记(如RF标记)、无源标记(如红外标记)、光学标记(例如具有几何图案、QR码、条形码、限定形状，例如，三角形、正方形、矩形等)、LED或其组合，
-成像系统的一个或多个部件的实时或近实时跟踪数据或信息，例如具有利用集成或附接至一个或多个HMD或其他增强现实显示系统、与一个或多个HMD或其他增强现实显示系统分开(例如，在支架、三脚架上，附接或集成至OR照明、OR灯具、成像系统(例如，x射线、锥形束CT、CT))或其组合的一个或多个相机、视频系统、3D扫描器、LIDAR系统、深度传感器或其组合生成的跟踪数据或信息的至少一部分，其中，一个或多个计算机处理器配置为使用一个或多个相机、视频系统、3D扫描器、LIDAR系统、深度传感器或其组合，来确定例如成像系统的一个或多个部件的位置、取向、移动方向、一个或多个坐标或其组合，
-一个或多个HMD或其他增强现实显示系统(包括例如但不限于HMD壳体、HMD护目镜、HMD显示器[例如，反射镜、组合器、光波导、光学器件、显示单元])的坐标数据或信息，包括例如关于HMD或其他增强现实显示系统的位置、取向、俯仰或倾斜、移动方向的信息，可选地针对每个特定HMD或其他增强现实显示系统标记或编码这些信息(例如，通过集成、附接或连接至相机或扫描器的计算机处理器，集成、附接或连接至第一计算单元(例如，在服务器中)的计算机处理器，和/或集成、附接或连接至第二计算单元(例如，在客户端中，如，集成至HMD或其他增强现实显示系统或连接至HMD或其他增强现实显示系统)的计算机处理器)，
-一个或多个HMD或其他增强现实显示系统(包括例如但不限于HMD壳体、HMD护目镜、HMD显示器[例如，反射镜、组合器、光波导、光学器件、显示单元])的实时或近实时跟踪数据，包括例如关于HMD或其他增强现实显示系统的位置、取向、俯仰或倾斜、移动方向的信息，可选地针对每个特定HMD或其他增强现实显示系统标记或编码这些信息(例如，通过集成、附接或连接至相机或扫描器的计算机处理器，集成、附接或连接至第一计算单元(例如，在服务器中)的计算机处理器，和/或集成、附接或连接至第二计算单元(例如，在客户端中，如，集成至HMD或其他增强现实显示系统或连接至HMD或其他增强现实显示系统)的计算机处理器)，
-关于一个或多个HMD或其他增强现实显示系统(包括例如但不限于HMD壳体、HMD护目镜、HMD显示器[例如，反射镜、组合器、光波导、光学器件、显示单元])的位置、取向、位置和取向、俯仰或倾斜、移动方向的实时或近现场数据，可选地针对每个特定HMD或其他增强现实显示系统标记或编码这些数据(例如，通过集成、附接或连接至相机或扫描器的计算机处理器，集成、附接或连接至第一计算单元(例如，在服务器中)的计算机处理器，和/或集成、附接或连接至第二计算单元(例如，在客户端中，如，集成至HMD或其他增强现实显示系统或连接至HMD或其他增强现实显示系统)的计算机处理器)。
用户特定的设置和/或参数
○用户特定的显示设置(例如，颜色偏好、字母数字数据的位置、扫描数据、图像数据、HMD视场内的3D显示)，
○瞳孔间距，例如，经由物理测量和/或电子测量(例如，通过移动/对准由HMD显示的虚拟对象)确定的瞳孔间距；该瞳孔间距可选地存储在(例如)可通信地联接至服务器(例如，连接至导航系统、机器人、和/或成像系统)的第一计算系统上，并且发送至可通信地联接至HMD的第二计算系统/由其接收；或者该瞳孔间距可选地存储在可通信地联接至HMD的第二计算系统上，并且发送至例如可通信地联接至服务器，例如，连接至导航系统、机器人、和/或成像系统的第一计算系统/由其接收，
-一个或多个HMD或其他增强现实显示系统的一个或多个虚拟显示(包括例如虚拟视网膜显示)(例如，虚拟界面)的坐标数据或信息，包括例如关于虚拟显示位置、取向、俯仰或倾斜、移动方向的信息，可选地针对每个特定虚拟显示和/或HMD或其他增强现实显示系统标记或编码这些信息(例如，通过集成、附接或连接至相机或扫描器的计算机处理器，集成、附接或连接至第一计算单元(例如，在服务器中)的计算机处理器，和/或集成、附接或连接至第二计算单元(例如，在客户端中，如，集成至HMD或其他增强现实显示系统或连接至HMD或其他增强现实显示系统)的计算机处理器)，
-一个或多个HMD或其他增强现实显示系统的一个或多个虚拟显示(包括例如虚拟视网膜显示)(例如，虚拟界面)的实时或近实时跟踪数据，包括例如关于虚拟显示位置、取向、俯仰或倾斜、移动方向的信息，可选地针对每个特定虚拟显示和/或HMD或其他增强现实显示系统标记或编码这些信息(例如，通过集成、附接或连接至相机或扫描器的计算机处理器，集成、附接或连接至第一计算单元(例如，在服务器中)的计算机处理器，和/或集成、附接或连接至第二计算单元(例如，在客户端中，如，集成至HMD或其他增强现实显示系统或连接至HMD或其他增强现实显示系统)的计算机处理器)，
-一个或多个HMD或其他增强现实显示系统的一个或多个虚拟显示(包括，例如，虚拟视网膜显示)(例如，虚拟界面)的位置、取向、位置和取向、俯仰或倾斜、移动方向的实时或近现场数据，可选地针对每个特定虚拟显示和/或HMD或其他增强现实显示系统标记或编码这些数据，(例如，通过集成、附接或连接至相机或扫描器的计算机处理器，集成、附接或连接至第一计算单元(例如，在服务器中)的计算机处理器，和/或集成、附接或连接至第二计算单元(例如，在客户端中，如，集成至HMD或其他增强现实显示系统或连接至HMD或其他增强现实显示系统)的计算机处理器)，
-一个或多个物理工具或器械的3D体积信息，
-关于跟踪的物理工具或器械(例如，跟踪的指针、跟踪的触笔、跟踪的工具、跟踪的器械或其组合)与一个或多个虚拟显示(例如，虚拟界面)(包括例如，虚拟视网膜显示)的一个或多个交互(例如，一个或多个碰撞)的实时或近现场数据
-一个或多个虚拟显示(例如，虚拟界面)(包括例如虚拟视网膜显示器)的由于与跟踪的物理工具或器械(例如，跟踪的指针、跟踪的触笔、跟踪的工具、跟踪的器械或其组合)的一个或多个交互(例如，一个或多个碰撞)或由其触发的实时或近实时改变、修改或变更，
-一个或多个物理植入物、物理植入部件或物理试验植入物的3D体积信息，
-一个或多个物理工具或器械的3D体积信息，
-一个或多个物理工具或器械的3D表面信息，
-一个或多个物理植入物、物理植入部件或物理试验植入物的3D表面信息，
-患者的一个或多个结构或身体部位的至少一部分，例如脊柱、脊柱结构、关节、牙齿、牙齿结构、血管结构或其他身体部位的至少一部分的2D或3D表示(例如，如患者的2D或3D解剖模型、源自成像数据的模型)(包括例如3D体积或3D表面数据)，
-一个或多个虚拟工具或器械的至少一部分(例如，对应于一个或多个物理工具或器械的至少一部分，例如，工具或器械轴线)的2D或3D表示(包括，例如3D体积或3D表面数据)。
-一个或多个虚拟植入物、虚拟植入部件或虚拟试验植入物的至少一部分(例如，对应于一个或多个物理植入物、物理植入部件或物理试验植入物的至少一部分，例如，植入物轴线和/或植入物轮廓)的2D或3D表示(包括例如，3D体积或3D表面数据)，
-虚拟外科引导件的2D或3D表示(包括例如，3D体积或3D表面数据)，例如，一个或多个虚拟线、虚拟轨迹、虚拟轴线、虚拟平面、虚拟切割平面、虚拟锯片、虚拟切割块、虚拟插入件等，
-目标数据，定向数据，例如，2D或3D数据，
-例如针对一个或多个HMD生成的前述任一项的立体视图(例如，考虑用户规格(specification)和/或特性，例如，瞳孔间距)
-前述一项或多项的任意组合。
数据或数据包可包括立体和/或非立体视图，或为一个或多个HMD或其他增强现实显示系统的立体和/或非立体视图或显示准备的数据。例如，可以以10Hz、15Hz、20Hz、25Hz、30Hz、35Hz、40Hz、45Hz、50Hz、55Hz、60Hz、65Hz、70Hz、80Hz、90Hz、100Hz的速率或包括更高速率或频率的任何其他速率或频率，近实时更新或实时更新为一个或多个HMD或其他增强现实显示系统的立体和/或非立体视图或显示准备的立体和/或非立体视图或数据。
可使用如下各项获得、测量和/或生成一个或多个HMD或其他增强现实显示系统的位置、取向、位置和取向、移动方向和/或跟踪数据：例如使用集成或附接至一个或多个HMD或其他增强现实显示系统的一个或多个相机或扫描器(例如，视频系统、3D扫描器、LIDAR系统、深度传感器；使用可见光和/或红外和/或任意其他波长)、与一个或多个HMD或其他增强现实显示系统分开的一个或多个相机和/或扫描器(例如，视频系统、3D扫描器、LIDAR系统、深度传感器、使用可见光和/或红外和/或任意其他波长)；例如集成或附接至一个或多个HMD或其他增强现实显示系统和/或与一个或多个HMD或其他增强现实显示系统分开的一个或多个激光器；集成或附接至一个或多个HMD或其他增强现实显示系统或外科医生头部的一个或多个惯性测量单元；集成或附接至一个或多个HMD或其他增强现实显示系统、可选地对相机和/或扫描器可见的任意组合的一个或多个标记，例如有源标记(如RF标记)、无源标记(如红外标记)、光学标记(例如具有几何图案、QR码、条形码、限定形状，例如，三角形、正方形、矩形等)，或其任意组合。
例如，可以以10Hz、15Hz、20Hz、25Hz、30Hz、35Hz、40Hz、45Hz、50Hz、55Hz、60Hz、65Hz、70Hz、80Hz、90Hz、100Hz的速率或包括更高速率或频率的任何其他速率或频率，近实时或实时生成、发送和/或接收一个或多个HMD或其他增强现实显示系统的位置、取向、位置和取向、移动方向和/或跟踪数据。
一个或多个HMD或其他增强现实显示系统的位置、取向、位置和取向、移动方向和/或跟踪数据可由集成或连接至一个或多个HMD或其他增强现实显示系统的一个或多个计算机处理器经由无线接入点或路由器无线发送至具有一个或多个计算机处理器的单独计算系统。该单独计算系统可处理所接收的关于一个或多个HMD或其他增强现实显示系统的位置、取向、位置和取向、移动方向和/或跟踪数据的数据，并将其与对应时间点或时间间隔的其他数据一起封装，例如，患者跟踪数据和/或器械跟踪数据，以用于可选地发送回一个或多个HMD或其他增强现实显示系统。
一个或多个HMD或其他增强现实显示系统的位置、取向、位置和取向、移动方向和/或跟踪数据可通过与一个或多个HMD或其他增强现实显示系统分开的一个或多个相机或扫描器获得、获取和/或生成，并且可由连接或集成至相机和/或扫描器和/或连接或集成至单独计算系统(例如，可选地直接连接至或无线连接至相机或扫描器的服务器)的一个或多个计算机处理器处理。该单独计算系统可处理所接收的关于一个或多个HMD或其他增强现实显示系统的位置、取向、位置和取向、移动方向的数据和/或跟踪数据的数据，并将其与对应时间点或时间间隔的其他数据一起封装，例如，患者跟踪数据和/或器械跟踪数据，以用于例如发送(和/或接收)回一个或多个HMD或其他增强现实显示系统。
表2所列的任意数据和任意另外数据可实时或近实时地发送和/或接收，其中，发送和/或接收速率为10Hz、15Hz、20Hz、25Hz、30Hz、35Hz、40Hz、45Hz、50Hz、55Hz、60Hz、65Hz、70Hz、80Hz、90Hz、100Hz或包括更高速率或频率的任意其他速率或频率。
在发送和/或接收多个数据集时，例如不同类型的数据，诸如器械跟踪数据和/或HMD或其他增强现实显示系统跟踪数据和/或患者或手术部位(例如，脊柱、关节、牙齿或血管结构)跟踪数据和/或虚拟用户界面和/或与虚拟用户界面数据的交互(例如，与跟踪的物理工具或器械)，它们可同时或非同时地发送和/或接收。可例如用时间戳、时间点、时间间隔(例如，在1次发送或数据接收内，例如，对于60Hz的速率、在16.66ms或更短时间内，或者例如，在为发送和接收所分配的时间内的任意其他值)、时间标签、时间标志或其任意组合，可选地对包括表2所列的任意数据的数据集进行标签化。
在一些实施方案中，可以针对每个特定HMD或其他增强现实显示系统可选地标记或编码一个或多个HMD或其他增强现实显示系统的坐标信息、配准数据、跟踪数据或其组合，例如，通过集成、附接或连接至相机或扫描器的计算机处理器(可选地作为第一或第二计算单元的一部分)，集成、附接或连接至第一计算单元(例如，在服务器中)的计算机处理器，和/或集成、附接或连接至第二计算单元(例如，在客户端中，如，集成至HMD或其他增强现实显示系统或连接至HMD或其他增强现实显示系统)的计算机处理器。
在一些实施方案中，数据包(例如，如表2所列的)可包括多个类型的数据，例如，包括器械跟踪数据的数据、包括HMD或其他增强现实显示系统跟踪数据的数据和/或包括患者或手术部位(例如脊柱、关节、牙齿、血管、器官或神经结构)跟踪数据和/或虚拟用户界面数据和/或与虚拟用户界面数据的交互(例如与跟踪的物理工具或器械)的数据，所有这些数据封装在同一数据包内。随着数据包被发送或接收，例如，包括器械跟踪数据的数据和/或包括HMD或其他增强现实显示系统跟踪数据的数据和/或包括患者或手术部位(例如脊柱、关节、牙齿、血管、器官或神经结构)跟踪数据和/或虚拟用户界面数据和/或与虚拟用户界面数据的交互(例如与跟踪的物理工具或器械)的数据可一起同时被发送或接收。
在一些实施方案中，发送和/或接收可由例如第一和/或第二计算系统中的和/或集成或附接至相机或扫描器(例如，集成或附接至HMD或其他增强现实显示系统、集成或附接至机器人、与HMD或其他增强现实显示系统或机器人等分开)的一个或多个计算机处理器处理，使得在同一数据包中发送和/或接收数据，例如以相同时间戳、时间点、时间标签、时间标志或在相同时间间隔或其任意组合内获取的器械跟踪数据和/或HMD或其他增强现实显示系统跟踪数据和/或患者或手术部位(例如脊柱或关节)跟踪数据。
在一些实施方案中，发送和/或接收可由一个或多个计算机处理器处理，使得在相同时间间隔(并且可选地以相同时间间隔标记)内获取的数据(例如器械跟踪数据和/或HMD或其他增强现实显示系统跟踪数据和/或患者或手术部位(例如脊柱或关节)跟踪数据和/或虚拟用户界面数据和/或与虚拟用户界面数据的交互(例如与跟踪的物理工具或器械))由例如第一和/或第二计算系统中的一个或多个计算机处理器在定义时间段内在多个数据包中发送和/或接收；该定义时间段可与时间间隔相对应、匹配或重叠。可选地，用于发送和/或接收数据包的定义时间段可以是由发送和/或接收速率界定或定义或得到的时间段，例如对于60Hz的发送和/或接收速率，定义时间段为<0.16666666秒；或者对于30Hz的发送和/或接收速率，定义时间段为<0.0333333秒；对于25Hz的发送和/或接收速率，定义时间段为<0.04秒，或者任何其他值。
可例如使用不同频率同时发送和/或接收数据包(例如，如表2所列的)，例如，包括器械跟踪数据的第一数据包、包括HMD或其他增强现实显示系统跟踪数据的第二数据包和/或包括患者或手术部位(例如，脊柱、关节、牙齿、血管、器官或神经结构)跟踪数据的第三数据包和/或包括虚拟用户界面数据和/或与虚拟用户界面数据的交互(例如与跟踪的物理工具或器械)的第四数据包。可(例如使用相同或不同频率)依次发送和/或接收数据包，例如包括器械跟踪数据的第一数据包、包括HMD或其他增强现实显示系统跟踪数据的第二数据包和/或包括患者或手术部位(例如，脊柱或关节)跟踪数据的第三数据包和/或包括虚拟用户界面数据和/或与虚拟用户界面数据的交互(例如与跟踪的物理工具或器械)的第四数据包。可例如以偏移方式，例如，其间具有隔开的暂停或滞后间隔，发送和/或接收数据包，例如包括器械跟踪数据的第一数据包、包括HMD或其他增强现实显示系统跟踪数据的第二数据包和/或包括患者或手术部位(例如，脊柱或关节)跟踪数据的第三数据包和/或包括虚拟用户界面数据和/或与虚拟用户界面数据的交互(例如与跟踪的物理工具或器械)的第四数据包。可以以交错方式发送和/或接收数据包，例如包括器械跟踪数据的第一数据包、包括HMD或其他增强现实显示系统跟踪数据的第二数据包和/或包括患者或手术部位(例如，脊柱或关节)跟踪数据的第三数据包和/或包括虚拟用户界面数据和/或与虚拟用户界面数据的交互(例如与跟踪的物理工具或器械)的第四数据包。在发送和/或接收过程中，可以以非重叠方式发送和/或接收数据包，例如包括器械跟踪数据的第一数据包、包括HMD或其他增强现实显示系统跟踪数据的第二数据包和/或包括患者或手术部位(例如，脊柱或关节)跟踪数据的第三数据包和/或包括虚拟用户界面数据和/或与虚拟用户界面数据的交互(例如与跟踪的物理工具或器械)的第四数据包。在发送和/或接收过程中，可以以重叠方式发送和/或接收数据包，例如包括器械跟踪数据的第一数据包、包括HMD或其他增强现实显示系统跟踪数据的第二数据包和/或包括患者或手术部位(例如，脊柱或关节)跟踪数据的第三数据包和/或包括虚拟用户界面数据和/或与虚拟用户界面数据的交互(例如与跟踪的物理工具或器械)的第四数据包。
因此，可以以同时、同步方式和/或可替代地以非同步或异步方式发送或接收数据包，数据包例如包括如下数据中的一者或多者：包括器械跟踪数据的数据、包括HMD或其他增强现实显示系统跟踪数据的数据或包括患者或手术部位数据的数据。例如，可以以10Hz、15Hz、20Hz、25Hz、30Hz、35Hz、40Hz、45Hz、50Hz、55Hz、60Hz、65Hz、70Hz、80Hz、90Hz、100Hz的速率或包括更高速率或频率的任何其他速率或频率，近实时或实时发送数据。
可使用本领域已知的无线数据发送协议执行数据发送，例如，蓝牙、WiFi、LiFi等，以及如在PCT国际申请号PCT/US2017/021859、PCT/US2018/013774、PCT/US2019/061698以及PCT/US2019/015522中描述的无线数据发送协议，其全文通过引用并入本文中。
在一些实施方案中，该系统可包括例如使用红外和/或可见光相机、视频系统、3D扫描器、LIDAR系统、深度传感器、射频跟踪系统或其组合的跟踪系统或传感器，例如光学跟踪系统，以例如用于由外向内或由内向外的跟踪。多个跟踪系统可同时使用，或可选地组合使用，例如由内向外和由外向内的跟踪。可使用本领域已知的任何跟踪、传感器或配准系统(例如，如使用红外和/或可见光相机、视频系统、3D扫描器、LIDAR系统、深度传感器、射频跟踪系统或其组合的光学跟踪系统)，例如如在PCT国际申请号PCT/US2017/021859、PCT/US2018/013774、PCT/US2019/061698以及PCT/US2019/015522中以非限制性方式描述的那些系统，其全文通过引用并入本文中。
第一计算系统可包括一个或多个计算机处理器。第二计算系统可包括一个或多个计算机处理器。第二计算系统可以是一个或多个移动、无线HMD或其他增强现实显示系统单元的一部分。第二计算系统可以是第一移动、无线HMD或其他增强现实显示系统单元的一部分。第三计算系统可以是第二移动无线HMD或其他增强现实显示系统单元的一部分。第四计算系统可以是第三移动无线HMD或其他增强现实显示系统单元的一部分。第五计算系统可以是第三移动无线HMD或其他增强现实显示系统单元的一部分，等等。
第一计算系统可包括一个或多个计算机处理器。第一计算系统可以是例如如图1的1180所示的服务器或控制器或计算单元。一个或多个计算机处理器可配置为运行例如如图2所示的不同的操作模块，例如，
-跟踪模块或跟踪引擎1100。跟踪模块或跟踪引擎可包括跟踪系统或传感器，例如摄像机、红外相机、3D扫描器、激光扫描器、LIDAR、成像系统等，以用于由外向内或由内向外的跟踪。一个或多个计算机处理器以及在一个或多个计算机处理器上运行的软件可包括界面，例如图形用户界面，以用于操作跟踪系统或跟踪传感器。界面可配置用于与例如和第一计算系统或第二计算系统集成的其他操作模块通信。跟踪模块或跟踪引擎1100可例如获得跟踪信息或数据，和/或跟踪一个或多个物理器械和/或工具、患者(例如手术部位中)的一个或多个解剖结构、界标和/或表面、和/或一个或多个HMD或其他增强现实显示系统。跟踪模块或引擎1100可选地可将针对每个特定HMD或其他增强现实显示系统的跟踪数据和/或信息标签化或编码，例如，通过集成、附接或连接至相机或扫描器的计算机处理器(可选地作为第一或第二计算单元的一部分)，集成、附接或连接至第一计算单元(例如，在服务器中)的计算机处理器，和/或集成、附接或连接至第二计算单元(例如，在客户端中，如，集成至HMD或其他增强现实显示系统或连接至HMD或其他增强现实显示系统)的计算机处理器。跟踪模块或引擎1100可例如基于针对每个单独HMD或其他增强现实显示系统接收的和/或从其接收的跟踪数据和/或信息，来应用专用于每个HMD或其他增强现实显示系统的标签或代码。跟踪数据和/或信息可以是例如来自集成或附接至HMD或其他增强现实显示系统的相机或扫描器的数据或信息。跟踪数据和/或信息可例如来自与HMD或其他增强现实显示系统分开的相机或扫描器。跟踪数据和/或信息可例如，来自集成至HMD或其他增强现实显示系统或者附接或连接至HMD或其他增强现实显示系统的一个或多个相机或扫描器，以及来自与HMD或其他增强现实显示系统分开的一个或多个相机或扫描器(例如，附接至OR灯、OR灯具、OR壁、机器人等)。跟踪数据和/或信息可例如包括例如附接至一个或多个HMD或其他增强现实显示系统的一个或多个标记、患者(例如患者的解剖结构、界标或表面)、物理手术工具或器械、物理植入物或其组合的数据。在一些实施方案中，例如使用可例如由一个或多个计算机处理器识别的唯一条形码、QR码、基准标记配置、RF信号等将一个或多个标记配置专用于每个HMD或其他增强现实显示系统。
-器械校准模块1110。一个或多个计算机处理器可配置为运行器械校准模块。器械校准模块可包括接口。器械校准模块可配置用于确定器械或工具尖端、器械或工具轴线、器械或工具长度、器械或工具旋转摆动等。跟踪模块或跟踪引擎和/或接口可配置用于与例如和第一计算系统或第二计算系统集成的其他操作模块通信。
-耳机校准模块1120。一个或多个计算机处理器可配置为运行耳机校准模块。耳机校准模块可包括接口。耳机校准模块，包括其接口，可例如配置用于确定瞳孔间距、从眼睛(例如，瞳孔、虹膜、视网膜)到显示器(例如，波导、反射镜等)的距离，和/或用于设置或调整耳机中的瞳孔间距，用于设置或调整视场，用于为给定用户设置或调整从眼睛到显示器的距离，用于设置或调整用户显示偏好(例如，颜色、定向工具、放大倍率、字母数字显示、显示窗口位置、字母数字数据位置等)。耳机校准模块和/或接口可配置用于与例如和第一计算系统或第二计算系统集成的其他操作模块通信。
-成像和导航模块1130。一个或多个计算机处理器可配置为运行成像和导航模块。成像和导航模块可例如包括：PACS接口、到成像系统(例如x射线、C臂、3D C臂、锥形束CT、CT、MRI等)的接口、DICOM读取器、用于例如多平面重建和/或显示、3D重建和/或显示的图像处理和显示单元、具有例如用于用户、外科医生的接口(例如，用于螺钉或植入物选择和放置)的规划模块、例如具有来自规划模块的坐标输出的导航模块。成像和导航模块和/或接口可配置用于与例如和第一计算系统或第二计算系统集成的其他操作模块通信。
-AR或VR无线联网模块1140。在AR或VR无线联网模块中，一个或多个计算机处理器可配置用于封装数据，例如，表2所列的数据。数据的封装可选地可以包括数据压缩。数据的封装可选地可包括分割或分离为不同时间段。例如，可以以10Hz、15Hz、20Hz、25Hz、30Hz、35Hz、40Hz、45Hz、50Hz、55Hz、60Hz、65Hz、70Hz、80Hz、90Hz、100Hz的速率或包括更高速率或频率的任何其他速率或频率来生成针对不同时间段的数据包。一个或多个计算机处理器可配置为使用无线接入点向第二、第三、第四或更多计算系统发送数据包。一个或多个计算机处理器可配置为使用无线接入点从第二、第三、第四或更多计算系统接收数据包。在一些实施方案中，可使用多个无线接入点。可使用本领域已知的任何无线通信协议，如蓝牙、WiFi、LiFi。
-AR或VR可视化模块1150。一个或多个计算机处理器可配置用于生成供一个或多个HMD或其他增强现实显示系统显示的显示数据。显示数据可包括定向显示，例如，目标圆盘状放大显示、彩色标记显示(例如，指示位置或对准准确度或阈值的红色、黄色、绿色)、患者的3D模型、图像切片、工具或器械(例如，跟踪的物理工具或器械)的3D模型或3D或2D图形表示、字母数字显示和/或AR或VR使能图形用户界面(例如使用手势识别的手势识别、虚拟指针、虚拟鼠标、虚拟键盘、虚拟按钮、视线识别、视线锁定或其组合)。AR或VR可视化模块可包括虚拟用户界面的显示和/或一个或多个虚拟交互的显示，例如与虚拟用户界面(例如，与跟踪的物理工具或器械)的碰撞。AR或VR可视化模块和/或显示模块和/或接口可配置用于与例如和第一计算系统或第二计算系统集成的其他操作模块通信。
-AR或VR显示模块1160。一个或多个计算机处理器可配置用于例如以类似于数据发送或接收的速率和/或以不同速率，生成一个或多个3D立体视图。可例如针对用户特定特性(例如，瞳孔间距、从瞳孔到反射镜的距离等)来调整3D立体视图。例如可针对从瞳孔或显示器到患者(例如手术部位(如脊柱、膝、髋、器官、血管等))的距离来调整3D立体视图；调整可包括焦平面或焦点的调整、虚拟显示和显示项的缩小或放大的调整、会聚的调整。调整可以是实时的或近实时的。调整可以是低于实时的。AR或VR显示模块可包括虚拟用户界面的显示和/或一个或多个虚拟交互的显示，例如与虚拟用户界面(例如，与跟踪的物理工具或器械)的碰撞。
模块1100-1160中的一者或多者可被集成或组合。例如，AR可视化模块1150可与AR显示模块1160集成或组合。
模块1100-1160中的一者或多者可由相同计算机处理器或同一组计算机处理器运行。模块1100-1160中的一者或多者可由不同计算机处理器运行。
操作跟踪引擎或跟踪模块1100的一个或多个计算机处理器、操作器械校准模块1110的一个或多个计算机处理器、操作耳机校准模块1120的一个或多个计算机处理器、操作成像和导航模块1130的一个或多个计算机处理器、操作AR无线联网模块1140的一个或多个计算机处理器、操作AR可视化模块1150的一个或多个计算机处理器和/或操作AR显示模块1160的一个或多个计算机处理器可以是相同的。
操作跟踪引擎或跟踪模块1100的一个或多个计算机处理器、操作器械校准模块1110的一个或多个计算机处理器、操作耳机校准模块1120的一个或多个计算机处理器、操作成像和导航模块1130的一个或多个计算机处理器、操作AR无线联网模块1140的一个或多个计算机处理器、操作AR可视化模块1150的一个或多个计算机处理器和/或操作AR显示模块1160的一个或多个计算机处理器可以是不同的。
例如在推车或支架上，第一计算系统可以是例如固定的。在一些实施方案中，第一计算系统还可以是移动的，例如，可以是移动、无线HMD系统或其他增强现实显示系统的一部分。
第二、第三、第四、第五或更多计算系统可包括一个或多个计算机处理器。一个或多个计算机处理器可配置为运行例如如图2所示的不同的操作模块，例如，
-跟踪模块或跟踪引擎1100。跟踪模块或跟踪引擎可包括跟踪系统或传感器，例如摄像机、红外相机、3D扫描器、激光扫描器、LIDAR、成像系统等，以用于由外向内或由内向外的跟踪。一个或多个计算机处理器以及在一个或多个计算机处理器上运行的软件可包括界面，例如图形用户界面，以用于操作跟踪系统或跟踪传感器。界面可配置用于与例如和第一计算系统或第二计算系统集成的其他操作模块通信。跟踪模块或跟踪引擎1100可例如获得跟踪信息或数据，和/或跟踪一个或多个物理器械和/或工具、患者(例如手术部位中)的一个或多个解剖结构、界标和/或表面、和/或一个或多个HMD或其他增强现实显示系统。跟踪模块或引擎1100可选地可将每个特定HMD或其他增强现实显示系统的跟踪数据和/或信息标签化或编码，例如，通过集成、附接或连接至相机或扫描器的计算机处理器(可选地作为第一或第二计算单元的一部分)，集成、附接或连接至第一计算单元(例如，在服务器中)的计算机处理器，和/或集成、附接或连接至第二计算单元(例如，在客户端中，如，集成至HMD或其他增强现实显示系统或连接至HMD或其他增强现实显示系统)的计算机处理器。跟踪模块或引擎1100可例如基于针对每个单独HMD或其他增强现实显示系统接收的和/或从其接收的跟踪数据和/或信息，来应用专用于每个HMD或其他增强现实显示系统的标签或代码。跟踪数据和/或信息可以是例如来自集成或附接至HMD或其他增强现实显示系统的相机或扫描器的数据或信息。跟踪数据和/或信息可例如来自与HMD或其他增强现实显示系统分开的相机或扫描器。跟踪数据和/或信息可例如来自集成至HMD或其他增强现实显示系统或者附接或连接至HMD或其他增强现实显示系统的一个或多个相机或扫描器，以及来自与HMD或其他增强现实显示系统分开的一个或多个相机或扫描器(例如，附接至OR灯、OR灯具、OR壁、机器人等)。跟踪数据和/或信息可例如包括例如附接至一个或多个HMD或其他增强现实显示系统的一个或多个标记、患者(例如患者的解剖结构、界标或表面)、物理手术工具或器械、物理植入物或其组合的数据。在一些实施方案中，例如使用可例如由一个或多个计算机处理器识别的唯一条形码、QR码、基准标记配置、RF信号等，而可配置一个或多个标记特定于每个HMD或其他增强现实显示系统。
-器械校准模块1110。一个或多个计算机处理器可配置为运行器械校准模块。器械校准模块可包括接口。器械校准模块可配置用于确定器械或工具尖端、器械或工具轴线、器械或工具长度、器械或工具旋转摆动等。跟踪模块或跟踪引擎和/或接口可配置用于与例如和第一计算系统或第二计算系统集成的其他操作模块通信。
-耳机校准模块1120。一个或多个计算机处理器可配置为运行耳机校准模块。耳机校准模块可包括接口。耳机校准模块，包括其接口，可例如配置用于确定瞳孔间距、从眼睛(例如，瞳孔、虹膜、视网膜)到显示器(例如，波导、反射镜等)的距离，和/或用于设置或调整耳机中的瞳孔间距，用于设置或调整视场，用于为给定用户设置或调整从眼睛到显示器的距离，用于设置或调整用户显示偏好(例如，颜色、定向工具、放大倍率、字母数字显示、显示窗口位置、字母数字数据位置等)。耳机校准模块和/或接口可配置用于与例如和第一计算系统或第二计算系统集成的其他操作模块通信。
-成像和导航模块1130。一个或多个计算机处理器可配置为运行成像和导航模块。成像和导航模块可例如包括：PACS接口、到成像系统(例如x射线、C臂、3D C臂、锥形束CT、CT、MRI等)的接口、DICOM读取器、用于例如多平面重建和/或显示、3D重建和/或显示的图像处理和显示单元、具有例如用于用户、外科医生的接口(例如，用于螺钉或植入物选择和放置)的规划模块、例如具有来自规划模块的坐标输出的导航模块。成像和导航模块和/或接口可配置用于与例如和第一计算系统或第二计算系统集成的其他操作模块通信。
-AR或VR无线联网模块1140。在AR或VR无线联网模块中，一个或多个计算机处理器可配置用于封装数据，例如，表2所列的数据。数据的封装可以可选地包括数据压缩。数据的封装可可选地包括分割或分离为不同时间段。例如，可以以10Hz、15Hz、20Hz、25Hz、30Hz、35Hz、40Hz、45Hz、50Hz、55Hz、60Hz、65Hz、70Hz、80Hz、90Hz、100Hz的速率或包括更高速率或频率的任何其他速率或频率来生成针对不同时间段的数据包。一个或多个计算机处理器可配置为使用无线接入点向第二、第三、第四或更多计算系统发送数据包。一个或多个计算机处理器可配置为使用无线接入点从第二、第三、第四或更多计算系统接收数据包。在一些实施方案中，可使用多个无线接入点。可使用本领域已知的任何无线通信协议，如蓝牙、WiFi、LiFi。
-AR或VR可视化模块1150。一个或多个计算机处理器可配置为生成用于由一个或多个HMD或其他增强现实显示系统显示的显示数据。显示数据可包括定向显示，例如，目标圆盘状放大显示、彩色标记显示(例如，指示位置或对准准确度或阈值的红色、黄色、绿色)、患者的3D模型、图像切片、工具或器械的3D模型或3D或2D图形表示(例如，跟踪的物理工具或器械)、字母数字显示和/或AR或VR使能图形用户界面(例如使用手势识别的手势识别、虚拟指针、虚拟鼠标、虚拟键盘、虚拟按钮、视线识别、视线锁定或其组合)。AR或VR可视化模块可包括虚拟用户界面的显示和/或一个或多个虚拟交互的显示，虚拟交互例如与虚拟用户界面(例如，与跟的物理工具或器械)的碰撞。AR或VR可视化模块和/或显示模块和/或接口可配置用于例如与和第一计算系统或第二计算系统集成的其他操作模块通信。
-AR或VR显示模块1160。一个或多个计算机处理器可配置用于例如以类似于数据发送或接收的速率和/或以不同速率，生成一个或多个3D立体视图。可例如针对用户特定特性(例如，瞳孔间距、从瞳孔到反射镜的距离等)来调整3D立体视图。例如可针对从瞳孔或显示器到患者(例如手术部位(如脊柱、膝、髋、器官、血管等))的距离来调整3D立体视图；调整可包括焦平面或焦点的调整、虚拟显示和显示项的缩小或放大的调整、会聚的调整。调整可以是实时的或近实时的。调整可以是低于实时的。AR或VR显示化模块可包括虚拟用户界面的显示和/或一个或多个虚拟交互的显示，例如与虚拟用户界面(例如，与跟踪的物理工具或器械)的碰撞。
第二计算系统可以是一个或多个移动、无线HMD或其他增强现实显示系统单元的一部分。第二计算系统可以是第一移动、无线HMD或其他增强现实显示系统单元的一部分。第三计算系统可以是第二移动无线HMD或其他增强现实显示系统单元的一部分。第四计算系统可以是第三移动无线HMD或其他增强现实显示系统单元的一部分。第五计算系统可以是第三移动无线HMD或其他增强现实显示系统单元的一部分，等等。第一、第二、第三、第四等移动无线HMD单元等可由用户，例如，内科医生、外科医生、牙科医生、内科医生或牙医助手等佩戴。第一、第二、第三、第四等移动无线HMD单元可以是视频透视HMD。第一、第二、第三、第四等移动无线HMD单元等可以是光学透视HMD。
一个或多个模块可被组合或集成并且可例如由相同的一个或多个计算机处理器或可选地由不同的一个或多个计算机处理器来操作。
操作跟踪引擎或跟踪模块1100的一个或多个计算机处理器、操作器械校准模块1110的一个或多个计算机处理器、操作耳机校准模块1120的一个或多个计算机处理器、操作成像和导航模块1130的一个或多个计算机处理器、操作AR无线联网模块1140的一个或多个计算机处理器、操作AR可视化模块1150的一个或多个计算机处理器和/或操作AR显示模块1160的一个或多个计算机处理器可以是相同的。
操作跟踪引擎或跟踪模块1100的一个或多个计算机处理器、操作器械校准模块1110的一个或多个计算机处理器、操作耳机校准模块1120的一个或多个计算机处理器、操作成像和导航模块1130的一个或多个计算机处理器、操作AR无线联网模块1140的一个或多个计算机处理器、操作AR可视化模块1150的一个或多个计算机处理器和/或操作AR显示模块1160的一个或多个计算机处理器可以是不同的。
一个或多个模块可由第一计算系统操作，而一个或多个不同模块可由第二计算系统、或第三计算系统、或第四计算系统等操作。一个或多个模块可由第一计算系统操作，而一个或多个不同模块可由第二计算系统、第三计算系统、以及第四计算系统等操作。一个或多个模块可由第一计算系统操作，而一个或多个相同模块可由第二计算系统、或第三计算系统、或第四计算系统等操作。一个或多个模块可由第一计算系统操作，而一个或多个相同模块可由第二计算系统、第三计算系统、和第四计算系统等操作。
在一个实施例中，第一计算系统可包括跟踪模块或跟踪引擎1100、器械校准模块1110、耳机校准模块1120、成像和导航模块1130、AR无线联网模块1140、和AR可视化模块1150；第二计算系统可包括AR显示模块1160。
在另一实施例中，第一计算系统可包括跟踪模块或跟踪引擎1100、器械校准模块1110、耳机校准模块1120、成像和导航模块1130、以及AR无线联网模块1140；第二计算系统可包括AR可视化模块1150和AR显示模块1160。
在另一实施例中，第一计算系统和第二计算系统可包括专用于例如相同和/或不同功能的一个或多个相同模块。例如，第一计算系统可包括例如用于数据发送的AR无线联网模块1140；第二计算系统还可包括例如用于数据接收的AR无线联网模块1140。
在另一实施例中，第一计算系统可包括跟踪模块或跟踪引擎1100、器械校准模块1110、成像和导航模块1130、以及AR无线联网模块1140；第二计算系统可包括耳机校准模块1120、AR无线联网模块1140、AR可视化模块1150和AR显示模块1160。
相同和/或不同模块的任何组合(包括不同(第一、第二、第三、第四、第五)计算系统上的模块的复制)是可能的并且在公开文本的范围内。
使用例如第二计算系统中的一个或多个计算机处理器，AR显示模块1160可针对相对于患者的一个或多个解剖界标或解剖结构的第一人视角生成第一人的立体或非立体视图。使用例如第三计算系统中的一个或多个计算机处理器，AR显示模块1160可针对相对于患者的一个或多个解剖界标或解剖结构的第二人视角生成第二人的立体或非立体视图。使用例如第四计算系统中的一个或多个计算机处理器，AR显示模块1160可针对相对于患者的一个或多个解剖界标或解剖结构的第三人视角生成第三人的立体或非立体视图。使用例如第五计算系统中的一个或多个计算机处理器，AR显示模块1160可针对相对于患者的一个或多个解剖界标或解剖结构的第四人视角生成第四人的立体或非立体视图，等等。第二计算系统、第三计算系统、第四计算系统、第五计算系统或更多计算系统可以是相同的。第二计算系统、第三计算系统、第四计算系统、第五计算系统或更多计算系统可以不同，例如，集成或连接至不同的移动单元和/或不同的HMD或其他增强现实显示系统。
第一计算系统、第二计算系统、第三计算系统、第四计算系统、第五计算系统或更多计算系统可以是相同的。第一计算系统、第二计算系统、第三计算系统、第四计算系统、第五计算系统或更多计算系统可以是不同的。第一计算机处理器、第二计算机处理器、第三计算机处理器、第四计算机处理器、第五计算机处理器或更多计算机处理器可以是相同的。第一计算机处理器、第二计算机处理器、第三计算机处理器、第四计算机处理器、第五计算机处理器或更多计算机处理器可以是不同的。
第一计算机处理器、第二计算机处理器、第三计算机处理器、第四计算机处理器、第五计算机处理器或更多计算机处理器可以具有相同的处理速度。第一计算机处理器、第二计算机处理器、第三计算机处理器、第四计算机处理器、第五计算机处理器或更多计算机处理器中的至少一者可以具有不同的处理速度。例如，计算机处理器可具有1GHz、1.5GHz、2.0GHz、2.1GHz、2.2GHz、2.3GHz、2.4GHz、2.5GHz、2.6GHz、2.7GHz、2.8GHz、2.9Ghz、3.0GHz或更大的处理速度。任何值都是可能的。公开文本的一些应用可以受益于较高的处理速度，例如，高于1.5GHz或2.0GHz，例如，当获取、生成、发送和/或接收数据密集、复杂的数据包时(也参见表2)。计算机处理器可例如为Qualcomm Snapdragon 845或更高版本(Qualcomm,SanDiego,CA92121)。
单播、多播或广播发送和/或接收
单播
在一些实施方案中，例如表2中所列的数据或数据包可以例如在第一计算系统或服务器与第二计算系统或客户端之间利用单播发送和/或接收来发送和/或接收；第二计算系统可配置为生成HMD或其他增强现实显示系统的立体或非立体2D或3D显示1160。
在一些实施方案中，第一单播发送可从第一计算系统发送并由第二计算系统接收，例如第二计算系统集成到或连接至第一HMD或其他增强现实显示系统，其中，第一单播发送包括用于第一HMD或其他增强现实显示系统的特定跟踪信息以及可选地包括器械和/或手术部位跟踪数据。第二单播发送、第三单播发送、第四单播发送、第五单播发送或更多单播发送可从第一计算系统发送到第三计算系统、第四计算系统、第五计算系统、第六计算系统或更多计算系统，例如，它们分别集成到或连接至第二、第三、第四、第五或更多HMD或其他增强现实显示系统。第二单播发送、第三单播发送、第四单播发送、第五单播发送或更多单播发送可以是顺次的，例如，重叠或非重叠。
第二单播发送可从第一计算系统发送并由第三计算系统接收，例如，由第三计算系统集成到或连接至第二HMD或其他增强现实显示系统，其中，第二单播发送包括第二HMD或其他增强现实显示系统的特定跟踪信息，以及可选地包括器械和/或手术部位跟踪数据。
第三单播发送可从第一计算系统发送并由第四计算系统接收，例如，第四计算系统集成到或连接至第三HMD或其他增强现实显示系统中，其中，第三单播发送包括第三HMD或其他增强现实显示系统的特定跟踪信息以及可选地包括器械和/或手术部位跟踪数据。
第四单播发送可从第一计算系统发送并由第五计算系统接收，例如，五计算系统集成到或连接至第四HMD或其他增强现实显示系统，其中，第四单播发送包括第四HMD或其他增强现实显示系统的特定跟踪信息以及可选地包括器械和/或手术部位跟踪数据。
第五单播发送可从第一计算系统发送并由第六计算系统接收，例如，第六计算系统集成到或连接至第五HMD或其他增强现实显示系统，其中，第五单播发送包括第五HMD或其他增强现实显示系统的特定跟踪信息以及可选地包括器械和/或手术部位跟踪数据。
任何数量的单播发送可从第一计算系统发送并由对应数量的HMD或其他增强现实显示系统接收。如果期望30Hz、40Hz、50Hz、60Hz或70Hz的总发送速率和接收速率，则连续的单播发送可在0.0333秒、0.025秒、0.02秒、0.0166秒、0.01428秒或任何其他值内完成。然后，可以开始下一轮的连续单播发送和/或接收，以实现不同耳机的特定跟踪信息，以及可选的用于器械的立体和/或非立体显示的器械跟踪和/或患者跟踪数据和/或由一个或多个HMD或其他增强现实显示系统提供的患者数据的近实时或实时发送和/或接收。
多播、广播
在一些实施方案中，例如，在第一计算系统或服务器与多个客户端(例如，第二计算系统、第三计算系统、第四计算系统、第五计算系统等，可选地各自具有一个或多个计算机处理器)之间，可使用多播发送和/或接收来发送和/或接收如表2中列出的数据或数据包；第二计算系统、第三计算系统、第四计算系统、第五计算系统等可配置为生成对应的第一、第二、第三和第四等HMD或其他增强现实显示系统的立体或非立体2D或3D显示1160。
在一些实施方案中，例如，在第一计算系统或服务器与多个客户端(例如，所有可用的客户端，例如第二计算系统、第三计算系统、第四计算系统、第五计算系统等，可选地各自具有一个或多个计算机处理器)之间，可利用广播发送和/或接收来发送和/或接收如表2中列出的数据或数据包；第二计算系统、第三计算系统、第四计算系统、第五计算系统等可配置为生成对应的第一、第二、第三和第四等HMD或其他增强现实显示系统的立体或非立体2D或3D显示1160。
利用多播或广播发送和/或接收，可针对每个HMD或其他增强现实显示系统，例如，对应于HMD或其他增强现实显示系统对每个HMD或其他增强现实显示系统的位置、取向、位置和取向、移动方向和/或跟踪数据进行标签化，例如，第一HMD或其他增强现实显示系统标记“1”、第二HMD或其他增强现实显示系统标记“2”、第三HMD或其他增强现实显示系统标记“3”、第四HMD或其他增强现实显示系统标记“4”、第五HMD或其他增强现实显示系统标记“5”等。第二计算系统、第三计算系统、第四计算系统、第五计算系统等可配置为基于对应于每个HMD或其他增强现实显示系统的标签以及每个相应HMD或其他增强现实显示系统的跟踪数据，生成相应的第一、第二、第三和第四等HMD或其他增强现实显示系统的立体或非立体2D或3D显示1160。例如，第二计算系统可在所接收的数据中识别用于第一HMD或其他增强现实显示系统的标签，例如，“1”，并且使用标记为用于第一HMD或其他增强现实显示系统的HMD或其他增强现实显示系统跟踪数据来生成第一HMD或其他增强现实显示系统的立体或非立体2D或3D显示；第三计算系统可在所接收的数据中识别用于第二HMD或其他增强现实显示系统的标签，例如，“2”，并使用标记为用于第二HMD或其他增强现实显示系统的HMD或其他增强现实显示系统跟踪数据来生成第二HMD或其他增强现实显示系统的立体或非立体2D或3D显示；第四计算系统可在所接收的数据中识别用于第三HMD或其他增强现实显示系统的标签，例如，“3”，并使用标记为用于第三HMD或其他增强现实显示系统的HMD或其他增强现实显示系统跟踪数据，来生成第三HMD或其他增强现实显示系统的立体或非立体2D或3D显示；第五计算系统可在所接收的数据中识别第四HMD或其他增强现实显示系统的标签，例如，“4”，并使用标记为用于第四HMD或其他增强现实显示系统标记的HMD或其他增强现实显示系统跟踪数据来生成第四HMD或其他增强现实显示系统的立体或非立体2D或3D显示；对于使用的任何编号的HMD或其他增强现实显示系统同样如此。以这种方式，每个客户端或第二计算系统、第三计算系统、第四计算系统、第五计算系统等(可选地具有一个或多个计算机处理器)可以为每个HMD或其他增强现实显示系统生成立体或非立体2D或3D显示或增强视图，每个特定HMD或其他增强现实显示系统例如相对于患者的一个或多个跟踪的解剖结构和/或一个或多个跟踪的物理工具、器械和/或植入物和/或一个或多个附接至患者的标记(例如附接至骨骼上的基准阵列)具有正确视角和观看角度。例如，每个客户端或第二计算系统、第三计算系统、第四计算系统、第五计算系统等(可选地具有一个或多个计算机处理器)可以为每个HMD或其他增强现实显示系统生成立体或非立体2D或3D显示，每个特定HMD或其他增强现实显示系统例如相对于患者的一个或多个跟踪的解剖结构和/或一个或多个跟踪的物理工具、器械和/或植入物和/或附接到患者的一个或多个标记，例如，附接到骨骼上的基准阵列具有正确视角和观看角度，每个特定HMD或其他增强现实显示系统用于虚拟显示(例如，虚拟用户界面)或跟踪的物理手术工具或器械与虚拟用户界面的一个或多个交互的显示。以此方式，虚拟用户界面的或与虚拟用户界面的一个或多个交互的显示可以例如显示在物理HMD单元(例如波导显示器或基于反射镜的显示器)的显示平面中。以此方式，例如，虚拟用户界面的或与虚拟用户界面的一或多个交互的显示可显示在用于第一HMD、第二HMD、第三HMD、第四HMD、第五HMD和/或第六HMD的预定显示平面中，例如基本上平行于用户的视网膜的显示平面或基本上垂直于用户眼睛的一或多个瞳孔轴的显示平面。在其他实施方案中，虚拟用户界面或与虚拟用户界面的一个或多个交互的显示可显示在第一HMD、第二HMD、第三HMD、第四HMD、第五HMD和/或第六HMD的预定位置和/或取向上，例如，在相对于患者、手术部位、附接到患者的一个或多个标记，例如，附接到骨骼上的基准阵列，附接到手术室中的结构，例如OR台、OR灯等上的一个或多个标记的预定位置和/或取向上的显示平面。
HMD或其他增强现实显示系统的网络
在一些实施方案中，可以使用HMD网络或其他增强现实显示系统。一个或多个HMD或其他增强现实显示系统可包括集成到或附接至HMD或其他增强现实显示系统中的至少一个相机、扫描器、3D扫描器、LIDAR系统、深度传感器、IMU或其组合。集成到或附接至一个或多个HMD或其他增强现实显示系统中的至少一个相机、扫描器、3D扫描器、LIDAR系统、深度传感器、IMU或其组合可用于生成一个或多个HMD或其他增强现实显示系统、患者、患者的解剖结构、一个或多个物理手术工具、一个或多个物理手术器械、一个或多个机器人(例如，具有机器人臂的机器人、手持式机器人、或其组合)或它们的组合的坐标和/或跟踪信息。
HMD或其他增强现实显示系统中的二者或多于二者可以可选地互连和创建网络，例如，用于增强的视图的共享体验和/或用于坐标信息和/或跟踪信息的多方向生成。坐标信息和/或跟踪信息的多方向生成的使用可有助于减少或避免视线问题。例如，当集成到或附接至第一HMD上的第一相机、扫描器、3D扫描器、LIDAR系统、深度传感器、IMU或其组合的视线被阻挡时，视线对于集成到或附接至第一HMD、第二HMD、第三HMD、第四HMD或第五HMD等中的第二、第三、第四、第五等或其组合相机、扫描器、3D扫描器、LIDAR系统、深度传感器、IMU或其组合可以是原有的或保持的。
HMD或其他增强现实显示系统可被组织在客户端-服务器网络中，其中，多个HMD客户端可集中在单个服务器(例如，第一计算单元)周围。因此，当将计算密集型的任务(图像处理)外包给服务器时，HMD装置可减轻计算能力。此外，HMD的电池寿命可显著地延长，这可使得即使在单个HMD客户端的情况下方法也是有吸引力的。可在OR中访问服务器。
在多个客户端的情况下，服务器可以使用来自各种视角(例如，从第一HMD、第二HMD、第三HMD、第四HMD、第五HMD等)的不同数据输入来提高计算的准确性(例如，通过对误差进行平均)。在一些实施方案中，服务器可获得并处理例如来自两个或多于两个HMD客户端的空间图的坐标信息和/或跟踪信息。例如，空间图可由根据每个HMD的深度传感器信息构建的三角形网格组成。一旦空间图已经从第一HMD、第二HMD、第三HMD、第四HMD、第五HMD或其组合发送到服务器，就可以使用例如平均算法将不同的网格组合成组合的、更准确的网格。例如，来自第一HMD的数据可用作基线。从基线网格中的每个面，可以沿着该面的表面法线投射光线。可计算光线与所有其他网格之间的交点。可将组合网格的新顶点得到为沿着光线的所有交点的平均值。可连接来自基线网格中的相邻三角形的新顶点以形成组合网格中的面。然后，可将组合的网格传送回各个HMD装置，用于精细化配准、坐标或跟踪信息和/或用于精细化(refinement)立体或非立体HMD显示的实时或近实时更新，例如，与患者的解剖结构或解剖界标叠加和/或对准。
在一些实施方案中，一旦已使用集成到或附接至HMD或其他增强现实显示系统的至少一个相机、扫描器、3D扫描器、LIDAR系统、深度传感器、IMU或其组合获得例如一个或多个HMD或其他增强现实显示系统、患者、患者的解剖结构，一个或多个物理手术工具、一个或多个物理手术器械、一个或多个机器人或其组合的坐标信息、配准信息、跟踪信息、表面信息，并且信息已经从第一HMD、第二HMD、第三HMD、第四HMD、第五HMD或其组合传送到服务器，由集成到或附接至两个或多于两个HMD或其他增强现实显示系统中的至少一个相机、扫描器、3D扫描器、LIDAR系统、深度传感器、IMU或其组合生成的数据使用例如平均算法可被组合，例如组合成更精确的表面或表面网格。可选地，可对由不同HMD或其他增强现实显示系统传送的数据进行加权处理，例如，对于位置越接近患者和/或更接近至少一个相机、扫描器、3D扫描器、LIDAR系统、深度传感器、IMU或其组合的HMD或其他增强现实显示系统，可以给予越高的权重。手术机器人的内在和/或外在跟踪
在一些实施方案中，手术机器人可包括机器人臂、手持式机器人、手持式部分、或其组合。在一些实施方案中，手术机器人可包括一个或多个传感器、相机、视频系统、扫描器(例如3D扫描器)、LIDAR系统、深度传感器、控制器、电子控制器、机械控制器、驱动器、致动器、末端执行器、附接机构、电位计、惯性测量单元、加速度计、磁力计、陀螺仪、力传感器、压力传感器、位置传感器、取向传感器、运动传感器、线材、步进马达、电动马达、液压马达、电动致动器和/或机械致动器、开关、显示单元、计算机处理器或其组合。
在一些实施方案中，可使用机器人或一个或多个机器人部件的姿态数据、传感器数据、相机数据、3D扫描器数据、控制器数据、驱动器数据、致动器数据、末端执行器数据或其组合生成集成或附接至机器人或机器人的一部分的一个或多个末端执行器、物理工具或器械和/或附接至机器人的一个或多个物理植入物，物理植入部件或物理试验植入物的坐标信息、跟踪数据或其组合，这些数据是例如使用内在或内部数据获得的，内在或内部数据通过或包括内在或内部的、集成或附接的传感器、电位计、相机、视频系统、3D扫描器、LIDAR系统、深度传感器、惯性测量单元、加速度计、磁力计、陀螺仪、力传感器、压力传感器、位置传感器、取向传感器、运动传感器，来自机器人步进马达的位置和/或取向反馈、来自机器人电动马达的位置和/或取向反馈、来自机器人液压马达的位置和/或取向反馈、来自机器人电动和/或机械致动器的位置和/或取向反馈、来自机器人驱动器的位置和/或取向反馈、来自机器人控制器的位置和/或取向反馈、来自一个或多个机器人计算机处理器的位置和/或取向反馈、或其组合而生成。如果一个或多个集成或附接的相机、视频系统、3D扫描器、LIDAR系统、深度传感器或其组合用于生成内在或内部机器人数据，则可可选地针对一个或多个集成或附接的相机、视频系统、3D扫描器、LIDAR系统、深度传感器或其组合与附接至或集成到机器人中或机器人的一部分的末端执行器、手术工具或器械(例如切割工具、组织去除工具(例如，钻、锯、铰刀、冲击器)或消融工具)之间的任何距离和/或角度偏移来校正该数据。替代地和/或附加地，如果使用一个或多个集成或附接的相机、视频系统、3D扫描器、LIDAR系统、深度传感器或其组合来生成内在或内部机器人数据，则可可选地针对在一个或多个集成或附接的相机、视频系统、3D扫描器、LIDAR系统、深度传感器或其组合与患者的解剖结构、表面和/或界标之间的任何距离和/或角度偏移来校正该数据。偏移(例如，距离和/或角度)校正的任何组合都是可能的。在一些实施方案中，一个或多个相机、视频系统、3D扫描器、LIDAR系统、机器人外部的深度传感器(例如，在支架上、在OR灯和/或一个或多个HMD或其他增强现实显示系统中)可以用于确定距离和/或角度偏移。
在一些实施方案中，可利用机器人外在或外部的以及例如，集成或附接至一个或多个HMD或其他增强现实显示系统、与一个或多个HMD或其他增强现实显示系统分开(例如，在支架、三脚架上、附接或集成到OR照明、OR灯具、成像系统(例如，x射线、锥形束CT、CT))或其组合的一个或多个相机、视频系统、3D扫描器、LIDAR系统、深度传感器或其组合，获得或生成集成或附接至机器人或机器人的一部分的一个或多个末端执行器、物理工具或器械和/或附接至机器人的一个或多个物理植入物、物理植入部件、或物理试验植入物的坐标信息、跟踪数据或其组合。例如，可使用在机器人外在或外部的一个或多个相机、视频系统、3D扫描器、LIDAR系统、深度传感器或其组合来配置一个或多个计算机处理器，以确定一个或多个末端执行器的至少一部分、物理手术工具、机器人的至少一部分或其组合(例如，使用图像处理和/或图案识别和/或人工神经网络)或一个或多个标记，例如，有源标记(例如，RF标记)、无源标记(例如，红外标记)、光学标记(例如，具有几何图案、QR码、条形码、限定的形状，例如，三角形、正方形、矩形等)、集成或附接至一个或多个末端执行器的LED或其组合、集成或附接至机器人的至少一部分的物理工具或器械、或其组合(外在数据或外部数据)的位置、取向、移动方向、一个或多个坐标或其组合。
在一些实施方案中，可生成由一个或多个计算机监视器或由一个或多个HMD或其他增强现实显示系统进行的一个或多个显示，其中，显示可以是非立体的(例如，通过计算机监视器、其他增强现实显示装置和/或HMD)或立体的(例如，通过HMD)。
在一些实施方案中，一个或多个计算机处理器可例如使用内在或内部机器人数据，例如，一个或多个HMD或其他增强现实显示系统、患者、患者的解剖结构、一个或多个物理手术工具、一个或多个物理手术器械、一个或多个机器人或其组合的配准数据、坐标数据和/或跟踪数据生成由计算机监视器和/或一个或多个HMD或其他增强现实显示系统对虚拟数据(例如，虚拟手术计划)、一个或多个虚拟手术引导件(例如，虚拟轴、虚拟平面、虚拟消化道引导件)和/或一个或多个患者表面的显示。
在一些实施方案中，一个或多个计算机处理器可例如使用外在或外部机器人数据生成由计算机监视器和/或一个或多个HMD或其他增强现实显示系统对虚拟数据(例如，虚拟手术计划)、一个或多个虚拟手术引导件(例如，虚拟轴、虚拟平面、虚拟消化道引导件)和/或一个或多个患者表面的显示，外在或外部机器人数据例如为末端执行器、一个或多个物理手术工具、一个或多个物理手术器械、一个或多个机器人或其组合的配准数据、坐标数据和/或跟踪数据。
在一些实施方案中，一个或多个计算机处理器可使用内在或内部和外在或外部机器人数据生成例如由计算机监视器和/或一个或多个HMD或其他增强现实显示系统进行的虚拟数据(例如，虚拟手术计划)、一个或多个虚拟手术引导件(例如，虚拟轴、虚拟平面、虚拟消化道引导件)和/或一个或多个患者表面的显示，内在或内部和外在或外部机器人数据例如为一个或多个HMD或其他增强现实显示系统、患者、患者的解剖结构、一个或多个物理手术工具、一个或多个物理手术器械、一个或多个机器人或其组合的配准数据、坐标数据和/或跟踪数据。在该实施例中，可以可选地使用与外在或外部机器人数据不同的颜色或显示图案来显示内在和/或内部机器人数据，由此突出潜在差异和/或偏差。在一些实施方案中，可使用一个或多个计算机处理器来计算内在或内部机器人数据与外在或外部机器人数据之间的任何差异和/或偏差，例如，投影器械或工具路径(例如，钻孔路径、锯路径)的差异，计划的或执行的组织切除的差异。一个或多个计算机处理器可配置为例如使用颜色编码、线条或条形图或本领域已知的任何其他图和/或字母数字显示来生成例如由计算机监视器和/或一个或多个HMD或其他增强现实显示系统的差异显示。例如，可使用内在或内部机器人数据与外在或外部机器人数据(例如，一个或多个HMD或其他增强现实显示系统、患者、患者的解剖结构、一个或多个物理手术工具、一个或多个物理手术器械、一个或多个机器人或其组合的配准数据、坐标数据和/或跟踪数据)之间的差异来突出机器人与预定计划(例如，预定组织切除(例如，预定组织切除体积、组织切除面积、组织切除表面、切骨、钻孔、铰孔、铣削、冲击)的任何潜在偏差。
成像系统和成像系统部件的内在和/或外在跟踪
在一些实施方案中，成像系统可包括一个或多个成像系统部件。在一些实施方案中，一个或多个成像系统部件可包括一个或多个传感器、相机、视频系统、扫描器(例如，3D扫描器)、LIDAR系统、深度传感器、控制器、电子控制器、机械控制器、驱动器、致动器、末端执行器、附接机构、电位计、惯性测量单元、加速度计、磁力计、陀螺仪、力传感器、压力传感器、位置传感器、取向传感器、运动传感器、线材、步进马达、电动马达、液压马达、电动致动器和/或机械致动器、开关、显示单元、计算机处理器或其组合。
在一些实施方案中，可使用一个或多个成像系统部件的例如使用内在或内部数据获得的姿态数据、传感器数据、相机数据、3D扫描器数据、控制器数据、驱动器数据、致动器数据、末端执行器数据或其组合来生成一个或多个成像系统部件的坐标信息、跟踪数据或其组合，内在或内部数据通过内在或内部的、集成或附接的传感器、电位计、相机、视频系统、3D扫描器、LIDAR系统、深度传感器、惯性测量单元、加速度计、磁力计、陀螺仪、力传感器、压力传感器、位置传感器、取向传感器、运动传感器，来自成像系统部件步进马达的位置和/或取向反馈、来自成像系统部件电动马达的位置和/或取向反馈、来自成像系统部件液压马达的位置和/或取向反馈，来自系统部件电动和/或机械致动器的位置和/或取向反馈、来自成像系统部件驱动器的位置和/或取向反馈、来自成像系统部件控制器的位置和/或取向反馈，来自成像系统部件计算机处理器的位置和/或取向反馈，或其组合生成或包括其。如果一个或多个集成或附接的相机、视频系统、3D扫描器、LIDAR系统、深度传感器或其组合用于生成内在或内部成像系统部件数据，则可可选地针对一个或多个集成或附接的相机、视频系统、3D扫描器、LIDAR系统、深度传感器或其组合与一个或多个成像系统部件之间的任何距离和/或角度偏移来校正该数据。替代地和/或附加地，如果使用一个或多个集成或附接的相机、视频系统、3D扫描器、LIDAR系统、深度传感器或其组合来生成内在或内部成像系统部件数据，则可可选地针对一个或多个集成或附接的相机、视频系统、3D扫描器、LIDAR系统、深度传感器或其组合与患者的解剖结构、表面和/或界标之间的任何距离和/或角度偏移来校正该数据。偏移(例如，距离和/或角度)校正的任何组合都是可能的。在一些实施方案中，可使用在一个或多个成像系统部件外部(例如，在支架上、在OR灯中和/或一个或多个HMD或其他增强现实显示系统中)的一个或多个相机、视频系统、3D扫描器、LIDAR系统、深度传感器来确定距离和/或角度偏移。
在一些实施方案中，可利用成像系统部件外在或外部的一个或多个相机、视频系统、3D扫描器、LIDAR系统、深度传感器或其组合获得或生成一个或多个成像系统部件的坐标信息、跟踪数据或其组合，一个或多个相机、视频系统、3D扫描器、LIDAR系统、深度传感器或其组合例如，集成或附接至一个或多个HMD或其他增强现实显示系统、与一个或多个HMD或其他增强现实显示系统分开(例如，支架、三脚架上、附接或集成到OR照明、OR灯具、成像系统(例如，x射线、锥形束CT、CT))或其组合。例如，可使用一个或多个成像系统部件外在或外部的一个或多个相机、视频系统、3D扫描器、LIDAR系统、深度传感器或其组合来配置一个或多个计算机处理器，以确定一个或多个成像系统部件(例如，使用图像处理和/或图案识别和/或人工神经网络)的至少一部分或一个或多个标记，例如，有源标记(例如，RF标记)、无源标记(例如，红外标记)、光学标记(例如，具有几何图案、QR码、条形码、限定的形状，例如，三角形、正方形、矩形等)、集成或附接至一个或多个成像系统部件(外在或外部数据)的LED或其组合的位置、取向、移动方向、一个或多个坐标或其组合。
在一些实施方案中，可生成一个或多个计算机监视器或一个或多个HMD或其他增强现实显示系统的一个或多个显示，其中，显示可以是非立体的(例如，通过计算机监视器、其他增强现实显示装置和/或HMD)或立体的(例如，通过HMD)。
在一些实施方案中，一个或多个计算机处理器可使用内在或内部成像系统数据，例如，一个或多个成像系统部件的配准数据、坐标数据和/或跟踪数据生成例如由计算机监视器和/或一个或多个HMD或其他增强现实显示系统对虚拟数据(例如，虚拟手术计划)、一个或多个虚拟手术引导件(例如，虚拟轴、虚拟平面、虚拟消化道引导件)、一个或多个术前或术中成像数据和/或一个或多个患者表面的显示。
在一些实施方案中，一个或多个计算机处理器可使外在或外部跟踪数据，例如，一个或多个HMD或其他增强现实显示系统、患者、患者的解剖结构、一个或多个物理手术工具、一个或多个物理手术器械、一个或多个成像系统部件或其组合的配准数据、坐标数据和/或跟踪数据，生成例如由计算机监视器和/或一个或多个HMD或其他增强现实显示系统对虚拟数据(例如，虚拟手术计划)、一个或多个虚拟手术引导件(例如，虚拟轴、虚拟平面、虚拟消化道引导件)、一个或多个术前或术中成像数据和/或一个或多个患者表面的显示。
在一些实施方案中，一个或多个计算机处理器可使用内在或内部数据和外在或外部跟踪数据，例如，一个或多个HMD或其他增强现实显示系统、患者、患者的解剖结构、一个或多个物理手术工具、一个或多个物理手术器械、一个或多个成像系统部件或其组合的配准数据、坐标数据和/或跟踪数据生成例如由计算机监视器和/或一个或多个HMD或其他增强现实显示系统对虚拟数据(例如，虚拟手术计划)、一个或多个虚拟手术引导件(例如，虚拟轴、虚拟平面、虚拟消化道引导件)和/或一个或多个患者表面的显示。在该实施例中，可可选地使用与外在或外部成像系统数据不同的颜色或显示图案来显示内在和/或内部成像系统数据，从而突出潜在差异和/或偏差。在一些实施方案中，一个或多个计算机处理器可用于计算内在或内部成像系统数据与外在或外部成像系统数据之间的任何差异和/或偏差。一个或多个计算机处理器可配置为例如使用颜色编码、线条或条形图或本领域已知的任何其他图和/或字母数字显示来生成例如计算机监视器和/或一个或多个HMD或其他增强现实显示系统的差异显示。
公开文本的方面涉及一种系统，包括：至少一个头戴式显示器或其他增强现实显示装置；至少一个相机或扫描装置；包括一个或多个计算机处理器的第一计算系统；以及包括一个或多个计算机处理器的第二计算系统，
其中，第一计算系统配置为使用至少一个相机或扫描装置获得至少一个头戴式显示器或其他增强现实显示装置、患者的至少一个解剖结构以及至少一个物理手术工具或物理手术器械的实时跟踪信息，
其中，第一计算系统配置用于无线发送至少一个头戴式显示器或其他增强现实显示装置、患者的至少一个解剖结构以及至少一个物理手术工具或物理手术器械的实时跟踪信息，
其中，第二计算系统被连接到或集成到至少一个头戴式显示器或其他增强现实显示装置中，
其中，第二计算系统配置用于无线接收至少一个头戴式显示器或其他增强现实显示装置、患者的至少一个解剖结构以及至少一个物理手术工具或物理手术器械的实时跟踪信息，并且
其中，第二计算系统配置为生成3D立体视图，
其中，立体视图包括至少一个物理手术工具或物理手术器械的3D表示。
在一些实施方案中，第二计算系统的一个或多个计算机处理器使用至少一个头戴式显示器或其他增强现实显示装置的实时跟踪信息，生成针对头戴式显示器或其他增强现实显示装置相对于患者的至少一个解剖结构的视角的3D立体视图。
在一些实施方案中，实时跟踪信息包括两个或多于两个头戴式显示器或其他增强现实显示装置的跟踪信息。
在一些实施方案中，实时跟踪信息包括用于每个头戴式显示器或其他增强现实显示装置的头戴式显示器或其他增强现实显示装置的专用标签。在一些实施方案中，为每个跟踪的头戴式显示器或其他增强现实显示装置标签化实时跟踪信息。
在一些实施方案中，实时跟踪信息包括两个或多于两个头戴式显示器或其他增强现实显示装置的跟踪信息。在一些实施方案中，两个或多于两个头戴式显示器或其他增强现实显示装置位于不同位置。在一些实施方案中，实时跟踪信息包括用于每个头戴式显示器或其他增强现实显示装置的头戴式显示器或增强现实显示装置的专用标签。在一些实施方案中，为每个跟踪的头戴式显示器或其他增强现实显示装置标签化实时跟踪信息。
在一些实施方案中，第二计算系统的一个或多个计算机处理器针对因佩戴头戴式显示器或其他增强现实显示装置的人而调整的瞳孔间距生成3D立体视图。
在一些实施方案中，第二计算系统与至少一个头戴式显示器或其他增强现实显示装置集成。
在一些实施方案中，第二计算系统与至少一个头戴式显示器或其他增强现实显示装置分开并且使用至少一个线缆连接至至少一个头戴式显示器或其他增强现实显示装置的显示单元。
在一些实施方案中，无线发送或接收或发送和接收包括WiFi信号、LiFi信号、蓝牙信号或其组合。
在一些实施方案中，相机或扫描装置与至少一个头戴式显示器或其他增强现实显示装置分开。
在一些实施方案中，相机或扫描装置被集成或附接至至少一个头戴式显示器或其他增强现实显示装置。
在一些实施方案中，无线发送包括以20Hz或更大的速率发送数据包，该数据包包括至少一个头戴式显示器或其他增强现实显示装置、患者的至少一个解剖结构以及至少一个物理手术工具或物理手术器械的实时跟踪信息。
在一些实施方案中，无线接收包括以20Hz或更大的速率接收数据包，该数据包包括至少一个头戴式显示器或其他增强现实显示装置、患者的至少一个解剖结构以及至少一个物理手术工具或物理手术器械的实时跟踪信息。
在一些实施方案中，系统包括第三计算系统，其中，第三计算系统配置用于从第一计算系统无线接收实时跟踪信息，并且其中，第三计算系统配置用于将实时跟踪信息无线发送至第二计算系统。
在一些实施方案中，第三计算系统包括配置用于实时跟踪信息的无线接收和无线发送的计算系统链。
在一些实施方案中，系统包括第三计算系统，其中，第三计算系统被连接至或集成到第二头戴式显示器或其他增强现实显示装置中，其中，第三计算系统配置用于无线接收第二头戴式显示器或其他增强现实显示装置、患者的至少一个解剖结构、以及至少一个物理手术工具或物理手术器械的实时跟踪信息，其中，第三计算系统配置为使用第二头戴式显示器或其他增强现实显示装置的跟踪信息来生成第二头戴式显示器或其他增强现实显示装置的3D立体视图。
在一些实施方案中，第二头戴式显示器的跟踪信息包括第二头戴式显示装置或其他增强现实显示装置专用的标签，该标签用于由第三计算系统识别第二头戴式显示装置或其他增强现实显示装置的跟踪信息。
在一些实施方案中，系统包括第四计算系统，其中，第四计算系统连接至或集成到第三头戴式显示器或其他增强现实显示装置中，其中，第四计算系统配置用于无线接收第三头戴式显示器或其他增强现实显示装置、患者的至少一个解剖结构、以及至少一个物理手术工具或物理手术器械的实时跟踪信息，并且其中，第四计算系统配置为使用第三头戴式显示器或其他增强现实显示装置的跟踪信息生成第三头戴式显示器或其他增强现实显示装置的3D立体视图。
在一些实施方案中，第三头戴式显示器的跟踪信息包括第三头戴式显示器或其他增强现实显示装置专用的标签，该标签用于由第四计算系统识别第三头戴式显示器或其他增强现实显示装置的跟踪信息。
在一些实施方案中，系统包括第五计算系统，其中，第五计算系统连接至或集成到第四头戴式显示器或其他增强现实显示装置中，其中，第五计算系统配置用于无线接收第四头戴式显示器或其他增强现实显示装置、患者的至少一个解剖结构、以及至少一个物理手术工具或物理手术器械的实时跟踪信息，并且其中，第五计算系统配置为使用第四头戴式显示器或其他增强现实显示装置的跟踪信息来生成第四头戴式显示器或其他增强现实显示装置的3D立体视图。
在一些实施方案中，第四头戴式显示器的跟踪信息包括第四头戴式显示器或其他增强现实显示装置专用的标签，该标签用于由第五计算系统识别第四头戴式显示器或其他增强现实显示装置的跟踪信息。
在一些实施方案中，实时跟踪信息包括一个或多个坐标。
在一些实施方案中，一个或多个坐标包括患者的至少一个解剖结构的坐标。
在一些实施方案中，一个或多个坐标包括至少一个物理手术工具或物理手术器械的坐标。
在一些实施方案中，一个或多个坐标包括至少一个头戴式显示器或其他增强现实显示装置的坐标。
在一些实施方案中，至少一个头戴式显示器或其他增强现实显示装置包括至少一个光学透视头戴式显示器或其他增强现实显示装置。
在一些实施方案中，至少一个头戴式显示器或其他增强现实显示装置包括至少一个视频透视头戴式显示器或其他增强现实显示装置。
在一些实施方案中，至少一个相机、至少一个扫描装置或至少一个相机以及至少一个扫描装置包括激光扫描器、飞行时间3D激光扫描器、结构光3D扫描器、手持激光扫描器、LIDAR扫描器、飞行时间相机、深度相机、视频系统、立体相机系统、相机阵列、或其组合。
在一些实施方案中，系统包括至少一个惯性测量单元。在一些实施方案中，至少一个惯性测量单元被集成到或附接至至少一个物理手术工具或物理手术器械。在一些实施方案中，至少一个惯性测量单元被集成或附接至患者的至少一个解剖结构。在一些实施方案中，至少一个惯性测量单元被集成或附接至至少一个头戴式显示器或其他增强现实显示装置。
在一些实施方案中，至少一个头戴式显示器或其他增强现实显示装置的实时跟踪信息包括来自至少一个惯性测量单元的信息。
公开文本的方面涉及一种系统，该系统包括两个或多于两个头戴式显示器或其他增强现实显示装置、至少一个相机或扫描装置、包括一个或多个计算机处理器的第一计算系统，
其中，第一计算系统配置为使用至少一个相机或扫描装置获得患者的至少一个解剖结构、至少一个物理手术工具或物理手术器械、以及两个或多于两个头戴式显示器或其他增强现实显示装置的实时跟踪信息，
其中，两个或多于两个头戴式显示器或其他增强现实显示装置的跟踪信息被标签化成专用于每个头戴式显示器或其他增强现实显示装置，
其中，第一计算系统配置用于无线发送患者的至少一个解剖结构的实时跟踪信息、至少一个物理手术工具或物理手术器械的跟踪信息以及两个或多于两个头戴式显示器或其他增强现实显示装置的标签化的跟踪信息，
第二计算系统，
其中，第二计算系统连接至或集成到两个或多于两个头戴式显示器或其他增强现实显示装置中的第一头戴式显示器或其他增强现实显示装置，
其中，第二计算系统配置用于无线接收患者的至少一个解剖结构的实时跟踪信息、至少一个物理手术工具或物理手术器械的跟踪信息以及两个或多于两个头戴式显示器或其他增强现实显示装置中的第一头戴式显示器或其他增强现实显示装置的标签化的跟踪信息，
其中，第二计算系统配置为使用第一头戴式显示器或增强现实显示装置的标签化的跟踪信息来生成专用于第一头戴式显示器或增强现实显示装置的视角的3D立体显示，
第三计算系统，
其中，第三计算系统连接至或集成到两个或多于两个头戴式显示器或其他增强现实显示装置中的第二头戴式显示器或其他增强现实显示装置中，
其中，第三计算系统配置用于无线接收患者的至少一个解剖结构的实时跟踪信息、至少一个物理手术工具或物理手术器械的跟踪信息以及两个或多于两个头戴式显示器或其他增强现实显示装置中的第二头戴式显示器或其他增强现实显示装置的标签化的跟踪信息，
其中，第三计算系统配置为使用第二头戴式显示器或其他增强现实显示装置的标签化的跟踪信息来生成专用于第二头戴式显示器或其他增强现实显示装置的视角的3D立体显示，
其中，立体视图包括至少一个物理手术工具或物理手术器械的3D表示。
虚拟用户界面
在一些实施方案中，物理工具或器械(见表2)，例如，跟踪的指针、跟踪的触笔、跟踪的工具、跟踪的器械或其组合可被用于与HMD的虚拟界面显示交互。可以使用本领域已知的任何跟踪技术，例如，在PCT国际申请号PCT/US2017/021859、PCT/US2018/013774、PCT/US2019/61698和PCT/US2019/015522中所描述的内向外跟踪、外向内跟踪或其组合，这些专利以其全文结合在此。
跟踪的指针、跟踪的触笔或另一跟踪的工具或跟踪的器械或其组合可包括一个或多个标记。在一些实施方案中，标记可配置为反射或发射波长在380nm与700nm之间或它们之间的任何值或范围或子范围的光。在一些实施方案中，标记可配置为反射或发射波长大于700nm的光。例如，标记可配置为反射或发射波长在700nm与1mm之间或它们之间的任何值或范围或子范围的光。在一些实施方案中，标记可配置为反射或发射波长小于380nm的光。例如，标记可配置为反射或发射波长在50nm与380nm之间或其之间的任何值或范围或子范围的光。在一些实施方案中，标记可以是射频标记，例如有源标记，红外标记，例如，回射或无源标记。标记可以是光学标记，例如，包括几何图案的光学标记。一个、两个或多于两个标记可被附接至或集成到跟踪的指针、跟踪的触笔、其他跟踪的工具、其他跟踪的器械或其组合中。跟踪的指针、跟踪的触笔、其他跟踪的工具、其他跟踪的器械或其组合还可包括一个或多个集成的或附接的IMU。
在一些实施方案中，系统包括集成到或附接至头戴式显示器或其他增强现实显示装置的至少一个相机、扫描器(例如，3D扫描器、激光扫描器)、LIDAR系统、深度传感器、IMU或其组合。在一些实施方案中，至少一个相机、扫描器(例如，3D扫描器、激光扫描器)、LIDAR系统、深度传感器、IMU或其组合可与头戴式显示器或其他增强现实显示装置分开。集成或附接至一个或多个HMD或其他增强现实显示系统和/或与一个或多个HMD或其他增强现实显示系统分开的至少一个相机、扫描器(例如，3D扫描器、激光扫描器)、LIDAR系统、深度传感器、IMU或其组合可配置为扫描和/或检测指针、触笔、工具、器械或其组合；指针、触笔、工具、器械或其组合可在3D空间中被跟踪的，例如，当用户移动它们时。跟踪可以是直接的，例如，通过例如，使用一个或多个计算机处理器利用指针、触笔、工具、器械或其组合的所存储的形状、表面和/或2D或3D轮廓数据，或一个或多个指针、触笔、工具、器械或其组合的形状、表面和/或2D或3D轮廓数据的库直接识别器械。
用于与虚拟界面交互的工具和/或器械的直接跟踪
一个或多个计算机处理器可配置为例如在图像或扫描器数据中使用相机和/或扫描器(例如，摄像机、红外相机、3D扫描器、激光扫描器、LIDAR、成像系统等)检测物理工具或器械，例如，被跟踪的指针、被跟踪的触笔、其他被跟踪的工具或被跟踪的器械、或其组合，并且可选地，实时或近实时地例如在包括在图像或扫描器数据中的3D空间内跟随和/或跟踪指针、触笔、工具、器械或其组合。一个或多个相机和/或扫描器(例如，摄像机、红外相机、3D扫描器、激光扫描器、LIDAR、成像系统等)可以集成或附接至一个或多个HMD单元，或者可以与一个或多个HMD单元分开或其组合。可选地，包括在该图像或扫描器数据中的指针、触笔、工具、器械或其组合可以与一个或多个(可选地，不同的)指针、触笔、其他工具、其他器械或其组合的存储的形状、表面、和/或2D或3D轮廓数据的数据库或库进行比较，并且可以使用一个或多个(可选地，不同的)指针、触笔、其他工具、其他器械或其组合的存储的形状、表面、和/或2D或3D轮廓数据的数据库来识别。在图像或扫描器数据中包括的指针、触笔、工具、器械或其组合的识别可以可选地促进对指针、触笔、工具、器械或其组合的跟踪。数据库还可以包括关于一个或多个光学标记、基准、基准阵列、和/或标记或阵列配置的信息。在一些实施方案中，指针、手术工具或器械可以包括独特标记、基准阵列或标记/阵列配置。以此方式，一个或多个计算机处理器可配置为检测和/或识别与该指针、手术工具或器械相关联的独特标记、基准阵列或标记/阵列配置。如果至少一个计算机处理器已经使用任何前述技术识别出指针、工具或器械，则至少一个计算机处理器可以例如关联和/或激活和/或显示某些功能，例如，显示与该工具相关联的功能和/或系统功能。
例如，如果至少一个计算机处理器已经例如基于对其独特形状(例如，相对于工具形状的数据库)的识别或基于对独特标记、基准阵列或标记/阵列配置的识别而识别出指针，则由至少一个计算机处理器进行的识别可以触发或启动特定功能。例如，在设置用于手术过程的增强现实系统的期间，可以激活校准程序。当指针(或其他工具或器械)被识别出时，该系统可以例如通过HMD或其他增强现实装置来自动显示虚拟对象，例如，与该校准程序相关联的虚拟对象。在AR显示校准的该实施例中，可以通过移动被跟踪的物理指针来移动虚拟对象。虚拟对象的移动可对应于被跟踪的物理指针的移动，或其可处于虚拟对象的移动与被跟踪的物理指针的移动之间的不同移动比率，例如，例如以mm、cm和/或角度表示的1:1、1.5:1、2.0:1、0.5:1.0或任何其他比率。通过移动被跟踪的物理指针，使得虚拟对象(例如，虚拟标记球)与相应的物理对象(例如，物理标记球)叠加和/或对准，该系统可确定坐标差和/或坐标变换和/或距离，将虚拟对象叠加到物理对象上所需的角移动；通过至少一个计算机处理器促使信息可用于移动虚拟显示，来作为优化用户在任何虚拟对象(例如，虚拟脊柱和/或虚拟器械和/或虚拟植入物)的虚拟显示与相应的物理对象和/或结构(例如，相应的物理脊柱和/或者相应的物理器械和/或者相应的物理植入物)之间的叠加和/或对准的手段。至少一个计算机处理器可以使用与将虚拟对象叠加在相应的物理对象上所需的坐标差和/或坐标变换和/或距离和/或所需的角移动有关的数据/信息来作为AR系统校准的手段，以使虚拟AR显示器、AR显示器的轴、AR显示器的中心与用户的眼睛的光轴匹配得更加紧密。数据可以可选地由第一计算系统(例如，可通信地连接至导航系统、机器人和/或成像系统)和第二(或多个)计算系统(可通信地连至一个或多个HMD或其他增强现实显示装置)无线发送和/或接收。
在另一实施例中，系统可以检测例如与另一器械(例如，锥子)相关联的另一独特标记、基准阵列或标记/阵列配置。与锥子相关联的独特标记、基准阵列或标记/阵列配置的识别可以触发HMD或其他增强现实显示装置对定向(target)工具的显示，定向(target)工具用于将锥子进行定向，例如，叠加在患者的目标解剖结构上。
一个或多个计算机处理器可配置为例如通过检测形状、外形和/或轮廓、对所使用的触笔、工具、器械或其组合的可选识别、以及对触笔、工具、器械或其组合的已知形状数据和/或尺寸的可选使用来检测和/或识别指针、触笔、工具、器械或其组合的尖端和/或轴和/或移动方向。
配置为例如在图像或扫描器数据中使用相机和/或扫描器检测指针、触笔、其他工具、其他器械或其组合，并且可选地配置为实时或近实时地跟随和/或跟踪指针、触笔、其他工具、其他器械或其组合的一个或多个计算机处理器可以是第一计算系统的一部分，例如，如图1的1180所示的服务器或控制器或计算单元。配置为例如在图像或扫描器数据中使用相机和/或扫描器检测指针、触笔、其他工具、其他器械或其组合，并且可选地配置为实时或近实时地跟随和/或跟踪指针、触笔、其他工具、其他器械或其组合的一个或多个计算机处理器可以是第二计算系统的一部分，例如，集成、附接或经由线缆连接至HMD的客户端或移动单元。内向外和/或外向内跟踪技术可由一个或多个计算机处理器使用以使用相机和/或扫描器跟踪指针、触笔、其他工具、其他器械或其组合。
使用标记跟踪与虚拟界面交互的工具和/或器械
一个或多个计算机处理器可配置为使用相机和/或扫描器(例如，摄像机、红外相机、3D扫描器、激光扫描器、LIDAR、成像系统等)来检测集成或附接至一个或多个物理工具或器械(例如，被跟踪的指针、被跟踪的触笔、其他被跟踪的工具或被跟踪的器械或其组合)的一个或多个标记，并且可选地使用一个或多个标记实时或近实时地跟随和/或跟踪一个或多个指针、触笔、工具或器械。一个或多个相机和/或扫描器(例如，摄像机、红外相机、3D扫描器、激光扫描器、LIDAR、成像系统等)可以集成或附接至一个或多个HMD单元，或者可以与一个或多个HMD单元分开或其组合。
一个或多个计算机处理器可配置为使用一个或多个集成或附接的标记来检测和/或识别指针、触笔、其他工具、其他器械或其组合的尖端和/或轴和/或移动方向。
配置为使用相机和/或扫描器实时地或近实时地检测和/或跟踪集成或附接至一个或多个指针、触笔、其他工具、其他器械或其组合的一个或多个标记的一个或多个计算机处理器可以是第一计算系统的一部分，例如图1的1180所示的服务器或控制器或计算单元。配置为使用相机和/或扫描器实时地或近实时地检测和/或跟踪集成或附接至一个或多个指针、触笔、其他工具、其他器械或其组合的一个或多个标记的一个或多个计算机处理器可以是第二计算系统的一部分，例如，集成到、附接至或经由线缆连接至HMD的客户端或移动单元。一个或多个计算机处理器可以使用内向外和/或外向内的跟踪技术，以用于使用相机和/或扫描器来跟踪集成或附接至指针、触笔、工具、器械或其组合的一个或多个标记。标记可以是本说明书中描述的或本领域已知的任何标记，例如，有源标记，无源标记，红外标记，回射标记、射频标记、光学标记(例如，具有几何图案、条形码、QR码、Aruco码等)。
虚拟界面显示
一个或多个HMD或其他增强现实显示系统可以可选地生成2D或3D立体或非立体虚拟显示或增强视图，包括例如叠加在物理患者、物理解剖结构、物理解剖界标和/或物理解剖表面上和/或与物理患者、物理解剖结构、物理解剖界标和/或物理解剖表面相邻或接近的虚拟界面。一个或多个计算机处理器(例如，在第一(例如，服务器)或第二(例如，客户端)计算系统中)可配置为生成2D或3D立体或非立体虚拟显示，包括在相对于一个或多个解剖结构和/或患者的预定位置和/或取向处的虚拟界面。一个或多个计算机处理器(例如，在第一(例如，服务器)或第二(例如，客户端)计算系统中)可配置为生成2D或3D立体或非立体虚拟显示，包括例如在相对于附接至一个或多个解剖结构和/或患者和/或手术室中的固定结构的一个或多个标记(例如，红外标记、射频标记、有源标记、无源标记、光学标记(例如，具有几何图案、条形码、QR码等)、LED等)的预定位置和/或取向处的虚拟界面。该一个或多个标记可以例如是附接至一个或多个骨骼上的基准阵列。一个或多个计算机处理器(例如，在第一(例如，服务器)或第二(例如，客户端)计算系统中)可配置为生成2D或3D立体或非立体虚拟显示，包括在相对于手术室中的一个或多个结构(例如，OR台、OR灯、或外部计算机监视器等)的预定位置和/或取向处的虚拟界面。一个或多个计算机处理器(例如，在第一(例如，服务器)或第二(例如，客户端)计算系统中)可以配置为生成2D或3D立体或非立体虚拟显示，该2D或3D立体或非立体虚拟显示包括在相对于用户的眼睛和/或面部和/或相对于物理HMD或其他增强现实显示单元(例如，HMD单元的壳体或HMD的物理显示器(例如，组合器、波导和/或反射镜)的预定位置和/或取向处的虚拟界面。
包括由一个或多个HMD或其他增强现实显示系统显示的虚拟界面的2D或3D立体或非立体虚拟显示可包括例如一个或多个虚拟按钮、虚拟场、虚拟光标、虚拟指针、虚拟滑块、虚拟轨迹球、虚拟节点、虚拟数字显示器、虚拟触摸板、虚拟键盘或其组合。一个或多个虚拟按钮、虚拟场、虚拟光标、虚拟指针、虚拟滑块、虚拟轨迹球、虚拟节点、虚拟数字显示器、虚拟触摸板、虚拟键盘或其组合可由一个或多个HMD或其他增强现实显示系统使用一个或多个计算机处理器以2D、3D或其组合来显示。例如，虚拟滑块可以是2D和/或3D的。例如，3D虚拟滑块可包括在x方向上取向的激活或滑动领域、在y方向上取向的激活或滑动场、以及在z方向上取向的激活或滑动场。该系统可配置用于检测用户与虚拟界面的一个或多个虚拟对象的各种交互，例如，经由手势识别、视线识别、视线锁定、眼睛跟踪、手跟踪、指针跟踪、器械跟踪、工具跟踪或其组合的交互。例如，被跟踪的手指、被跟踪的手、被跟踪的指针、被跟踪的器械、被跟踪的工具可与虚拟界面交互。交互可以触发事件消息(可选地，由事件处理器管理)和/或命令。交互、事件消息、命令或其组合可选地可以在第一计算系统和第二计算系统之间发送和/或接收，例如，第一计算系统(例如，可通信地连接至导航系统、机器人和/或成像系统)和第二(或更多个)计算系统(可通信地连至一个或多个HMD或其他增强现实显示装置)。
碰撞检测
在一些实施方案中，该系统可以包括碰撞检测模块或其他交互模块。碰撞检测模块或其他交互模块可以是与其他模块分开的模块，诸如，AR可视化模块1150或AR显示模块1160。碰撞检测模块或其他交互模块可以是另一模块的一部分，例如另一模块(诸如，AR可视化模块1150或AR显示模块1160)的子模块。
操作碰撞检测模块或其他交互模块的一个或多个计算机处理器、操作跟踪引擎或跟踪模块1100的一个或多个计算机处理器、操作器械校准模块1110的一个或多个计算机处理器、操作耳机校准模块1120的一个或多个计算机处理器、操作成像和导航模块1130的一个或多个计算机处理器、操作AR无线联网模块1140的一个或多个计算机处理器、操作AR可视化模块1150的一个或多个计算机处理器和/或操作AR显示模块1160的一个或多个计算机处理器可以是相同的。
操作碰撞检测模块或其他交互模块的一个或多个计算机处理器、操作跟踪引擎或跟踪模块1100的一个或多个计算机处理器、操作器械校准模块1110的一个或多个计算机处理器、操作耳机校准模块1120的一个或多个计算机处理器、操作成像和导航模块1130的一个或多个计算机处理器、操作AR无线联网模块1140的一个或多个计算机处理器，操作AR可视化模块1150的一个或多个计算机处理器和/或操作AR显示模块1160的一个或多个计算机处理器可以是不同的。
在一些实施方案中，一个或多个HMD或其他增强现实显示系统和一个或多个物理工具或物理器械(例如，指针、触笔、其他工具、其他器械)可例如使用内向外或外向内跟踪来跟踪。还可跟踪包括由一个或多个HMD或其他增强现实显示系统显示的虚拟界面的虚拟显示的坐标、位置和/或取向。一个或多个计算机处理器可配置为使用一个或多个碰撞检测模块来检测视线(例如，使用视线跟踪、视线锁定)、手指(例如，使用手指/手跟踪)、手(例如，使用手跟踪)，眼睛(例如，使用眼睛跟踪)、一个或多个被跟踪的物理工具或物理器械(例如，被跟踪的指针、被跟踪的触笔、其他被跟踪的物理工具、其他被跟踪的物理器械、或其组合)与包括虚拟界面(例如，一个或多个虚拟对象，诸如，虚拟按钮、虚拟场、虚拟光标、虚拟指针、虚拟滑块、虚拟轨迹球、虚拟节点、虚拟数字显示器、虚拟触摸板、虚拟键盘或其组合)的虚拟显示之间的碰撞。一个或多个计算机处理器可以使用基于多边形的碰撞检测或其他交互的检测。一个或多个计算机处理器可以使用基于体积的碰撞检测或其他交互的检测。例如，一个或多个计算机处理器可配置有用于碰撞检测或其他交互检测的预定容差，例如，<0.1、<0.5、<1.0、<1.5、<2.0、<3.0、<4.0、<5.0、<10.0mm或任何其他值，和/或<0.1、<0.5、<1.0、<1.5、<2.0、<3.0、<4.0、<5.0、<10.0、<15.0、<20.0度或任何其他值。在一些实施方案中，可以选择和/或预先确定针对碰撞检测或其他交互的检测的容差，例如以实现特定应用，例如，激活或执行命令，移动虚拟滑块，选择虚拟按钮等。例如，碰撞检测或其他交互的检测的容差对于不同的应用(例如，HMD校准、器械校准、AR可视化模块)可以是相同或不同的，例如，包括针对物理工具或器械的预定路径的选择。
本领域已知的不同的碰撞检测模块或包包括例如I-碰撞[在1995年ACM国际3D图形会议中的Cohen等人的“I-COLLIDE:An Interactive and Exact Collision DetectionSystem for Large-Scale Environments”]；V-夹具[“Mirtich等人的“V-Clip:Fast andRobust Polyhedral Collision Detection”，ACM计算机图形学，17,3，pp.177-208]；SWIFT[Ehrmann等人的“SWIFT:Accelerated Proximity Queries Between Convex Polyhedraby Multi-Level Voronoi Marching”，技术报告，计算机科学系，北卡罗来纳大学教堂山分校]；RAPID[Gottschalk等人的“OBB-Tree:A Hierarchical Structure for RapidInterference Detection”，计算机图形学SIGGRAPH，96年论文集30，171-180页]；V-碰撞[Hudson等人的“V-COLLIDE:Accelerated Collision Detection for VRML”，美国加利福尼亚州，第二届虚拟现实建模语言学术研讨会，ACM出版社]；PQP[Larsen等人的“FastProximity Queries With Swept Sphere Volumes”，技术报告TR99-018，北卡罗来纳大学，计算机科学系]；SOLID[Bergen等人的“User’s Guide to the SOLID InterferenceDetection Library”]；SWIFT[Ehrmann等人的“Accurate and Fast Proximity QueriesBetween Polyhedra Using Surface Decomposition”，欧洲制图学会，计算机图形学论坛，20,3]或VPS[McNeely等人的“Six Degree-of-Freedom Haptic Rendering Using VoxelSampling”，SIGGRAPH 99会议论文集，年度会议系列，pp.401-408页]。
在一些实施方案中，碰撞检测模块，(例如，I碰撞)可以利用凸多面体用于多体碰撞检测。在一些实施方案中，碰撞检测模块(诸如，RAPID)可以利用非凸模型检测例如成对的碰撞。一些碰撞检测模块(例如，V-碰撞)可配置为检测多体碰撞。一些碰撞检测模块(例如，PQP)可以支持非凸模式和/或可以可选地执行距离计算和/或容差验证查询。一些碰撞检测模块(例如，SWIFT)可以包括相交检测、容差验证、精确与近似距离计算、接触确定、或其组合。一些碰撞检测方法(例如，I-碰撞、RAPID、PQP和/或SWIFT)可基于多边形相交。一些碰撞检测封包(例如，VPS)可利用体素并且可(例如)检测碰撞，执行容差验证，近似距离并且确定接触法线、质心或其组合。
一个或多个计算机处理器可配置为利用基于扫描的连续碰撞检测。基于扫描的连续碰撞检测可以使用撞击时间(TOI)算法通过使用其基于跟踪数据的当前速度扫描其前向轨迹，来计算例如，对于视线(例如，使用视线跟踪、视线锁定)、手指(例如，使用手指/手跟踪)、手(例如，使用手跟踪)和眼睛(例如，使用眼睛跟踪)，对于一个或多个被跟踪的物理指针、被跟踪的物理工具、被跟踪的物理器械、或其组合的潜在的碰撞。如果存在与虚拟显示的接触，包括例如虚拟界面(例如，沿着一个或多个被跟踪的物理指针、被跟踪的物理工具、被跟踪的物理器械、或其组合的移动方向)，一个或多个计算机处理器可配置为检测碰撞。在一些实施方案中，一个或多个计算机处理器可配置为例如对于被跟踪的物理指针、物理工具、被跟踪的物理器械、或其组合的给定移动方向和/或速度来计算撞击时间。一个或多个计算机处理器可从该时间起向前执行子步骤，计算TOI之后的速度，然后重新扫描。
一个或多个计算机处理器可配置为利用推测性连续碰撞检测。推测性连续碰撞检测可通过基于被跟踪的物理手术工具、被跟踪的物理器械或其组合的线性和角运动增加该被跟踪的物理手术工具、被跟踪的物理器械或其组合的粗略阶段轴对齐的最小包围盒来操作。该算法可以是推测性的，因为其可以在下一个物理步骤期间挑选所有可能的接触。然后，可以将接触馈送到由一个或多个计算机处理器操作的求解程序中，这可确保可以满足适用的或预定的接触约束。一个或多个计算机处理器(例如，在第一计算单元(例如，服务器)和/或第二计算单元(例如，集成或连接至HMD或其他增强现实显示装置的客户端)上)可以操作具有一个或多个集成的碰撞检测模块或程序的市售软件，例如，Unity软件(Unity软件公司)。
使用虚拟界面触发的命令和/或可执行动作
在一些实施方案中，第一计算单元(例如，服务器或控制器)可包括碰撞检测模块或用于检测其他交互的模块(例如，软件程序)。在一些实施方案中，第二计算单元，例如，移动客户端(例如，可通信地连接至一个或多个HMD或其他增强现实显示单元或其一部分)可包括碰撞检测模块或者用于检测其他交互的模块、程序或软件。在一些实施方案中，例如，当系统包括多个HMD或其他增强现实显示系统时，第二计算单元、第三计算单元、第四计算单元、第五计算单元、第六计算单元等，例如，第二无线移动客户端、第三无线移动客户端、第四无线移动客户端、第五无线移动客户端、第六无线移动客户端等可以包括碰撞检测模块或用于检测其他交互的模块、程序或软件，例如，碰撞检测模块或用于检测每个HMD单元和相关联的计算单元的其他交互、程序或软件的模块。在一些实施方案中，第一计算单元和第二计算单元、和/或第三计算单元、和/或第四计算单元、和/或第五计算单元、和/或第六计算单元等的一个或多个计算机处理器可以操作相同碰撞检测模块或用于检测其他交互的模块。在一些实施方案中，第一计算单元和第二计算单元、和/或第三计算单元、和/或第四计算单元、和/或第五计算单元、和/或第六计算单元等的一个或多个计算机处理器可以操作不同的碰撞检测模块或用于检测其他交互的模块。
在一些实施方案中，第一计算单元和第二计算单元、和/或第三计算单元、和/或第四计算单元、和/或第五计算单元、和/或第六计算单元等的一个或多个计算机处理器可以操作相同碰撞检测模块或用于检测其他交互的模块，其可用于作为虚拟界面的一部分显示的虚拟对象的相同功能和/或交互和/或命令/与该虚拟对象的相同功能和/或交互和/或命令。在一些实施方案中，第一计算单元和第二计算单元、和/或第三计算单元、和/或第四计算单元、和/或第五计算单元、和/或第六计算单元等的一个或多个计算机处理器可以操作相同的碰撞检测模块或用于检测其他交互的模块，其可以用于虚拟界面的不同功能和/或交互和/或命令/与该虚拟界面的不同功能和/或交互和/或命令。
在一些实施方案中，一个或多个数据包，例如，如表2中所描述的，例如，一个或多个HMD或其他增强现实显示系统、一个或多个虚拟显示、一个或多个物理指针、物理工具、或物理器械、一个或多个物理植入物、一个或多个机器人或机器人臂的跟踪数据可从第一计算系统无线发送至第二计算系统、和/或第三计算系统、和/或第四计算系统、和/或第五计算系统、和/或第六计算系统等，例如，集成到或连接到第一HMD或其他增强现实显示单元、和/或第二HMD或其他增强现实显示单元、和/或第三HMD或其他增强现实显示单元、和/或第四HMD或其他增强现实显示单元、和/或第五HMD或其他增强现实显示单元等的无线移动客户端。第二无线移动客户端、和/或第三无线移动客户端、和/或第四无线移动客户端、和/或第五无线移动客户端、和/或第六无线移动客户端等的一个或多个计算机处理器可以例如使用Unity软件(旧金山，第三街30号，Unity软件公司，CA 94103)操作一个或多个碰撞检测模块，来检测一个或多个被跟踪的物理工具或器械(例如，物理指针或物理触笔或其他物理工具或器械)与由一个或多个HMD或其他增强现实显示系统显示的虚拟界面的碰撞；被跟踪的物理工具或器械、或视线(例如，使用视线跟踪、视线锁定)、手指(例如，使用手指/手跟踪)、手(例如，使用手跟踪)、眼睛(例如，使用眼睛跟踪)与虚拟界面的不同部分、方面、场或显示(例如，虚拟按钮、虚拟场、虚拟光标、虚拟指针、虚拟滑块，虚拟轨迹球、虚拟节点、虚拟数字显示器、虚拟触摸板、虚拟键盘或其组合)的碰撞可以用于触发一个或多个动作和/或一个或多个命令，这些动作和/或命令可以可选地从第二无线移动客户端、和/或第三无线移动客户端、和/或第四无线移动客户端、和/或者第五无线移动客户端和/或第六无线移动客户端等发送，并且由第一计算单元接收以进行进一步处理，例如，由一个或多个计算机处理器执行命令。
在一些实施方案中，一个或多个HMD或其他增强现实显示系统和/或由一个或多个HMD或其他增强现实显示系统实现的一个或多个虚拟显示(见表2)的坐标和/或跟踪数据可连同一个或多个物理工具或物理器械、一个或多个物理植入物、一个或多个机器人或机器人臂的跟踪数据一起由第一计算单元接收。第一计算单元或系统可以操作一个或多个碰撞检测模块以检测一个或多个被跟踪的物理工具或器械(例如，物理指针或物理触笔或其他物理工具或器械)与虚拟显示(例如，由一个或多个HMD或其他增强现实显示系统显示的虚拟界面)的碰撞。被跟踪的物理工具或器械与虚拟界面的不同部分、方面、场或显示(例如，诸如虚拟按钮、虚拟场、虚拟光标、虚拟指针、虚拟滑块、虚拟轨迹球、虚拟节点、虚拟数字显示器、虚拟触摸板、虚拟键盘或其组合的虚拟对象)的碰撞可以用于触发一个或多个动作和/或一个或多个命令，一个或多个动作和/或一个或多个命令可以由第一计算系统的一个或多个计算机处理器处理，并且可以可选地发送到连接到或集成到第一HMD或其他增强现实显示装置、第二HMD或其他增强现实显示装置、第三HMD或其他增强现实显示装置、第四HMD或其他增强现实显示装置、和/或第五HMD或其他增强现实显示装置等的第二无线移动客户端、和/或第三无线移动客户端、和/或第四无线移动客户端、和/或第五无线移动客户端、和/或第六无线移动客户端等，可选地通过第二无线移动客户端、和/或第三无线移动客户端、和/或第四无线移动客户端、和/或第五无线移动客户端、和/或第六无线移动客户端等和一个或多个连接的HMD或其他增强现实显示系统的一个或多个计算机处理器触发命令和/或动作。
在一些实施方案中，物理工具或器械(参见表2)，例如，被跟踪的指针、被跟踪的触笔、被跟踪的工具、被跟踪的器械或其组合，可以用于通过HMD或其他增强现实显示装置与虚拟界面显示交互。在一些实施方案中，视线(例如，使用视线跟踪、视线锁定)、手指(例如，使用手指/手跟踪)、手(例如，使用手跟踪)、眼睛(例如，使用眼睛跟踪)或其组合可用于通过HMD或其他增强现实显示装置与虚拟界面显示交互。在一些实施方案中，例如被跟踪的物理工具或器械与由第一HMD显示的虚拟显示(例如，虚拟用户界面中的虚拟对象)的碰撞或其他交互可以由第一计算系统(例如，服务器)和/或第二计算系统(例如，集成、附接、和/或连接至第一HMD(和/或可选地第二、第三、第四、第五、第六或更多个HMD)的客户端)中的一个或多个计算机处理器检测。例如，碰撞和/或其他交互可以可选地用于执行功能和/或例如用颜色变化、不同的按钮和/或功能等的显示来改变虚拟显示(例如，虚拟界面)的外观。
例如，与被跟踪的物理工具或器械与虚拟显示(例如，虚拟界面)的碰撞和/或其他交互有关的或由被跟踪的物理工具或器械与虚拟显示的碰撞和/或其他交互触发的数据和/或执行功能，和/或由一个或多个HMD或其他增强现实显示系统显示的由与被跟踪的物理工具或器械的碰撞或其他交互触发的虚拟显示(例如，虚拟界面)的变化可由第一计算单元(例如，服务器)中的一个或多个计算机处理器生成，并且可发送至一个或多个额外计算单元，例如，第二计算单元、第三计算单元、第四计算单元、第五计算单元或更多个计算单元，例如，集成、附接或连接到一个或多个HMD或其他增强现实显示系统的客户端。
例如，与由被跟踪的物理工具或器械与虚拟显示(例如，虚拟界面)的碰撞和/或其他交互有关的或触发的数据和/或执行功能和/或由一个或多个HMD或其他增强现实显示系统显示的由被跟踪的物理工具或器械的碰撞或其他交互触发的虚拟显示(例如，虚拟界面)的变化可由第二(或第一)计算单元中的一个或多个计算机处理器生成，例如集成、附接或连接到第一HMD的客户端，并且可以发送到第一(或第二)计算单元，例如，服务器(例如与一个或多个HMD或其他增强现实显示系统分开)。例如，在第二(或第一)计算单元(例如，服务器)中的一个或多个计算机处理器可配置为处理与由被跟踪的物理工具或器械与虚拟显示(例如，虚拟界面)的碰撞和/或其他交互有关的或触发的数据和/或执行功能，和/或由与被跟踪的物理工具或器械的碰撞或其他交互触发的虚拟显示(例如，虚拟界面)的变化，和/或将其发送到一个或多个额外计算单元，例如，第二计算单元、第三计算单元、第四计算单元、第五计算单元或更多个计算单元，例如，一个或多个客户端，该一个或多个客户端集成、附接或连接到一个或多个额外HMD或其他增强现实显示系统以供由该一个或多个额外HMD或其他增强现实显示系统显示。
图3是跟踪系统1300的代表性、非限制性实施例，例如，一个或多个相机，包括使用可见光和/或红外光的相机、立体相机、Lidar系统和/或相机、扫描器(例如，3D扫描器)、一个或多个计算机系统(CS)CS#1 1310、CS#2 1320、CS#3 1330，每个计算机系统均具有一个或多个计算机处理器、一个或多个机器人1340(例如，手持式、附接至OR台和/或包括机器人臂)、一个或多个成像系统1350(例如，C臂、3D C臂、锥形束CT、螺旋CT、MRI和/或一个或多个头戴式显示器HMD A 1360、HMD B 1370(例如，立体光学透视头戴式显示器、和/或立体视频透视头戴式显示器)。一个或多个机器人1340和/或一个或多个成像系统1350还可以包括一个或多个计算机系统(例如，CS#4、CS#5)，例如，每个计算机系统具有一个或多个计算机处理器。
第一计算机系统CS#1 1310可以例如驻留在例如位于手术室中的服务器或计算机中。该一个或多个第一计算机系统CS#1 1310还可以位于远程位置，例如，在手术室外，和/或可以包括云计算系统和/或通过云计算系统通信，例如，通过有线或无线连接。一个或多个第二CS#2 1320、第三CS#3 1330、或更多个计算机系统可被集成、连接或附接至一个或多个头戴式显示器HMD A 1360和/或HMD B 1370或其他增强现实显示装置。跟踪系统1300可以与一个或多个头戴式显示器HMD A 1360和/或HMD B 1370或其他增强现实显示装置分开。在一些实施方案中，跟踪系统1300可以集成或附接至一个或多个头戴式显示器HMD A1360和/或HMD B 1370或其他增强现实显示装置。
跟踪系统1300可配置为例如使用第一计算机系统CS#1 1310和/或可选地使用第二计算机系统CS#2 1320、第三计算机系统CS#3 1330和/或额外计算机系统，可选地跟踪1410手和/或手指1380、指针、工具、器械和/或植入物1390，可选地，第一头戴式显示器1360、第二头戴式显示器1370、第三头戴式显示器、第四头戴式显示器、第五头戴式显示器等，患者(未示出)，和/或机器人1340和/或成像系统1350或其组合。
跟踪系统1300可配置为可选地跟踪1410手和/或手指1380、指针、工具、器械和/或植入物1390、可选地，第一头戴式显示器1360、第二头戴式显示器1370、第三头戴式显示器、第四头戴式显示器、第五头戴式显示器等、患者(未示出)、和/或机器人1340和/或成像系统1350或其组合，并且将跟踪信息1415发送到第一计算机系统CS#11310和/或可选地第二计算机系统CS#2 1320、第三计算机系统CS#31330、和/或额外计算机系统。
第二CS#2 1320、第三CS#3 1330和/或额外计算机系统可被集成、连接或附接至一个或多个HMD 1360、1370或其他增强现实显示系统。该一个或多个额外计算机系统可以附接、连接至或位于机器人系统1340和/或成像系统1350内。跟踪1410可以包括通过第一计算机系统CS#1 1310和/或第二计算机系统CS#2 1320和/或第三计算机系统CS#3 1330和/或额外计算机系统(例如，在机器人1340或成像系统1350中)例如使用相机或扫描器1300来记录手和/或手指1380、指针、工具、器械、和/或植入物1390、和/或第一头戴式显示器1360、第二头戴式显示器1370、第三头戴式显示器、第四头戴式显示器、第五头戴式显示器等或其他增强现实显示装置、和/或患者(未示出)的一个或多个坐标和/或对其跟踪。例如，跟踪1410可以包括通过第一计算机系统CS#1 1310和/或第二计算机系统CS#2 1320和/或第三计算机系统CS#3 1330和/或额外计算机系统(例如，在机器人1340或成像系统1350中)例如使用相机或扫描器1300来记录手和/或手指1380、指针、工具、器械、和/或植入物1390、和/或第一头戴式显示器1360、第二头戴式显示器1370、第三头戴式显示器、第四头戴式显示器、第五头戴式显示器等和/或患者(未示出)的一个或多个坐标。例如，该系统可通过第一计算机系统CS#1 1310和/或第二计算机系统CS#2 1320和/或第三计算机系统CS#3 1330和/或额外计算机系统(例如，在机器人1340或成像系统1350中)例如使用相机或扫描器1300来跟踪手和/或手指1380、指针、工具、器械、和/或植入物1390、和/或第一头戴式显示器1360、第二头戴式显示器1370、第三头戴式显示器、第四头戴式显示器、第五头戴式显示器等、和/或患者(未示出)。
一个或多个第一计算机系统1310、第二计算机系统1320、第三计算机系统1330等的一个或多个计算机处理器可配置为执行一个或多个坐标变换1420和/或确定手或手指1380、一个或多个指针、工具、器械、和/或植入物1390、第一头戴式显示器1360、第二头戴式显示器1370、第三头戴式显示器、第四头戴式显示器、第五头戴式显示器等、和/或患者(未示出)的姿态1420。
一个或多个第一计算机系统1310、第二计算机系统1320、第三计算机系统1330等或额外计算机系统(例如，同样在机器人1340和/或成像系统1350中)的一个或多个计算机处理器可配置为例如使用蓝牙或Wi-Fi或LiFi无线接入点(例如，包括发送器和/或接收器)或有线连接，来发送和/或接收1430关于手指或手1380，或一个或多个指针、工具、器械和/或植入物1390的信息，例如，它们的姿态，关于第一头戴式显示器1360、第二头戴式显示器1370、第三头戴式显示器、第四头戴式显示器、第五头戴式显示器等或其他增强现实显示装置的信息或第一头戴式显示器、第二头戴式显示器、第三头戴式显示器、第四头戴式显示器、第五头戴式显示器等或其他增强现实显示装置的信息，例如，头戴式显示器或其他增强现实显示装置的姿态，或头戴式显示器1360、1370或其他增强实现显示装置和/或患者(未示出)的显示数据。例如，发送和/或接收1430可以包括与耳机的佩戴者的视线方向有关的数据，耳机例如为第一头戴式显示器1360、第二头戴式显示器1370、第三头戴式显示器、第四头戴式显示器、第五头戴式显示器等。如本说明书中所描述的，发送和/或接收1430可以是无线的，例如，使用去往和/或来自第一头戴式显示器1360、第二头戴式显示器1370、第三头戴式显示器、第四头戴式显示器、第五头戴式显示器等的广播或多播发送。该发送可以包括位置数据、显示数据和/或其他数据。该发送1430可以去往或来自第一计算机系统1310、去往或来自第二计算机系统1320、去往或来自第三计算机系统1330、去往或来自第四、第五或更多个计算机系统。该发送可以去往或来自第二计算机系统1320、去往或来自第一计算机系统1310、去往或来自第三计算机系统1330、去往或来自第四、第五或更多个计算机系统。该发送可以去往或来自第三计算机系统1330、去往或来自第一计算机系统1310、去往或来自第二计算机系统1320、去往或来自第四、第五或更多个计算机系统等。
在整个说明书的任何实施方案中，例如，发送1430在一个或多个第一计算机系统1310、第二计算机系统1320、第三计算机系统1330等或额外计算机系统(例如，被集成或附接至机器人或成像系统)之间可以是单向和/或双向的、同步单向和/或双向的、和/或非同步单向和/或双向的，例如依次单向和/或双向的，或其组合。
在整个说明书的任何实施方案中，第二计算机系统1320、第三计算机系统1330等或额外计算机系统可以被集成、连接或附接至一个或多个HMD 1360、1370或其他增强现实显示系统、一个或多个机器人系统1340和/或一个或多个成像系统1350，和/或与其分开。一个或多个计算机系统1310可以与一个或多个HMD 1360、1370或其他增强现实显示系统、一个或多个机器人系统1340和/或一个或多个成像系统1540分开，例如，独立的。
一个或多个第一计算机系统1310、第二计算机系统1320、第三计算机系统1330等或额外计算机系统(例如，同样在机器人1340和/或成像系统1350中)的一个或多个计算机处理器可以配置为生成一个或多个用户界面控件1440。一个或多个用户界面控件1440可以例如是虚拟界面控件。一个或多个用户界面控件1440可包括例如一个或多个虚拟按钮、虚拟场、虚拟光标、虚拟指针、虚拟滑块、虚拟轨迹球、虚拟节点、虚拟数字显示器、虚拟触摸板、虚拟键盘或其组合。
一个或多个第一计算机系统1310、第二计算机系统1320、第三计算机系统1330等或额外计算机系统(例如，同样在机器人1340和/或成像系统1350中)的一个或多个计算机处理器可配置为例如在手或手指1380与由一个或多个头戴式显示器1360、1370或其他增强现实显示装置所显示的虚拟界面之间、或在被跟踪的物理指针、物理工具、物理器械、物理植入部件1390或其组合与由一个或多个头戴式显示器1360、1370或其他增强现实显示装置所显示的虚拟界面之间执行一个或多个碰撞检测1445；碰撞检测可以例如使用跟踪系统1300(或集成或附接至HMD或其他增强现实显示装置的相机或扫描器)来执行。一个或多个第一计算机系统1310、第二计算机系统1320、第三计算机系统1330等或额外计算机系统(例如，同样在机器人1340和/或成像系统1350中)的一个或多个计算机处理器可配置为使用一个或多个相机(可选地，集成或附接至一个或多个头戴式显示器1360、1370)执行例如在手或手指1380与虚拟界面之间的手势识别。第一计算机系统1310可以例如是独立计算机系统或云计算系统。例如，第二计算机系统1320、第三计算机系统1330等或额外计算机系统可以被集成、连接或附接至一个或多个HMD 1360、1370或其他增强现实显示系统、一个或多个机器人系统1340、和/或一个或多个成像系统1350和/或与其分开。
一个或多个计算机系统，例如，第一计算机系统1310、第二计算机系统1320、第三计算机系统1330等、或额外计算机系统(例如，同样在机器人1340和/或成像系统1350中)可配置为生成和/或可选地无线发送一个或多个事件消息1450。例如，一个或多个事件消息可以是与例如使用跟踪系统1300执行手或手指1380、被跟踪的物理指针、物理工具、物理器械、物理植入部件1390或其组合与虚拟界面之间的碰撞检测1445相关的事件消息。一个或多个事件消息1450可以可选地包括与机器人1340控制、界面、力、和/或位置和/或取向和/或成像系统1350控制、界面、力、和/或位置和/或取向相关的事件消息。
一个或多个计算机系统(例如，第一计算机系统1310、第二计算机系统1320、第三计算机系统1330、第四计算机系统、第五计算机系统等或额外计算机系统(例如，同样在机器人1340和/或成像系统1350中))可以包括配置为操纵、管理和/或处理一个或多个可选事件消息1450的可选事件处理器1460。
一个或多个计算机系统(例如，第一计算机系统1310、第二计算机系统1320、第三计算机系统1330等或额外计算机系统(例如，同样在机器人1340和/或成像系统1350中))可以配置为启动和/或处理可选的事件动作1470，例如，例如基于事件消息1450和可选地从事件处理器1460接收的信息或数据来执行命令。命令可以通过无线或有线连接发送至例如机器人1340或成像系统1350。
在一些实施方案中，配置为生成事件消息1450的一个或多个计算机系统可以是包括事件处理器1460的相同或不同的计算机系统，和/或可以是启动和/或处理事件动作1470(例如，执行命令)的相同或不同的计算机系统。在一些实施方案中，配置为生成事件消息1450的一个或多个计算机处理器可以是包括事件处理器1460的相同或不同的计算机处理器，和/或可以是启动和/或处理事件动作1470(例如，执行命令)的相同或不同的计算机处理器。在一些实施方案中，第一、第二、第三、第四、第五、第六或更多个计算机系统对于管理不同任务可以是相同的，或者对于管理不同任务可以是不同的。
图4是一个或多个跟踪系统1300的代表性、非限制性实施例，例如一个或多个相机，包括使用可见光和/或红外光的相机、立体相机、Lidar系统和/或相机、扫描器(例如，3D扫描器)，在这个实施例中，它们被集成或附接至一个或多个头戴式显示器1360、1370或其他增强现实显示装置，一个或多个计算机系统(CS)CS#1 1310、CS#1 1320(例如，被集成、连接或附接至头戴式显示器1360或其他增强现实显示装置)、CS#2 1330(例如，被集成、连接或附接至头戴式显示器1360或其他增强现实显示装置)，每个计算机系统均具有一个或多个计算机处理器、一个或多个机器人1340(例如手持式、附接至OR台和/或包括机器人臂)、一个或多个成像系统1350(例如，C臂、3D C臂、锥形束CT、螺旋CT、MRI和/或一个或多个头戴式显示器HMD A 1360、HMD B 1370(例如，立体光学透视头戴式显示器、和/或立体视频透视头戴式显示器、或其他增强现实显示装置)。一个或多个机器人1340和/或一个或多个成像系统1350还可以包括一个或多个计算机系统(例如，CS#4、CS#5)，例如，每个计算机系统具有一个或多个计算机处理器。
可选的第一计算机系统CS#1 1310可以例如驻留在例如位于手术室中的服务器或计算机中。可选的该一个或多个第一计算机系统CS#1 1310还可以位于远程位置，例如，在手术室外，和/或可以包括云计算系统和/或通过云计算系统通信，例如，通过有线或无线连接。一个或多个第二CS#2 1320、第三CS#3 1330、或更多个计算机系统可被集成、连接或附接至一个或多个头戴式显示器HMD A 1360和/或HMD B 1370或其他增强现实显示装置。一个或多个跟踪系统1300可以集成或附接至一个或多个头戴式显示器HMD A 1360和/或HMDB 1370或其他增强现实显示装置。
例如，一个或多个跟踪系统1300可以配置为例如使用第二计算机系统CS#2 1320、第三计算机系统CS#3 1330和/或额外计算机系统可选地跟踪1410例如用户的手和/或手指1380、指针、工具、器械和/或植入物1390、患者(未示出)、和/或机器人1340、和/或成像系统1350或其组合。可选的第一计算机系统CS#1 1310还可以用于跟踪，包括用于处理跟踪信息。
跟踪系统1300可配置为可选地跟踪1410手和/或手指1380、指针、工具、器械和/或植入物1390、患者(未示出)、和/或机器人1340和/或成像系统1350或其组合，并且向第二计算机系统CS#2 1320、第三计算机系统CS#3 1330、和/或额外计算机系统发送跟踪信息1415；该发送可以是有线的或无线的。一个或多个跟踪系统1300可以被集成或附接至一个或多个头戴式显示器1360、1370或其他增强现实显示装置。一个或多个计算机系统1320、1330(包括一个或多个计算机处理器)可以被集成或连接至一个或多个头戴式显示器1360、1370或其他增强现实显示装置。第二CS#2 1320、第三CS#3 1330和/或额外计算机系统可被集成、连接或附接至一个或多个HMD 1360、1370或其他增强现实显示系统。该一个或多个额外计算机系统可以被附接至、连接至或位于机器人系统1340和/或成像系统1350内。
跟踪1410可以包括由例如第二计算机系统CS#2 1320、和/或第三计算机CS#31330、和/或额外计算机系统(例如，在机器人1340或成像系统1350中)例如使用相机或扫描器1300来记录手和/或手指1380、指针、工具、器械、和/或植入物1390、和/或患者(未示出)的一个或多个坐标和/或跟踪手和/或手指1380、指针、工具、器械、和/或植入物1390、和/或患者(未示出)。跟踪1410可以包括由第二计算机系统CS#2 1320、和/或第三计算机系统CS#3 1330、和/或额外计算机系统(例如，在机器人1340或成像系统1350中)例如使用相机或扫描器1300来记录手和/或手指1380、指针、工具、器械、和/或植入物1390、和/或患者(未示出)的一个或多个坐标。该系统可以例如通过第二计算机系统CS#2 1320、和/或第三计算机系统CS#31330、和/或额外计算机系统(例如，在机器人1340或成像系统1350中)例如使用跟踪系统(例如，具有相机或扫描器1300)来跟踪手和/或手指1380、指针、工具、器械、和/或植入物1390、和/或患者(未示出)。
一个或多个第一计算机系统1310、第二计算机系统1320、第三计算机系统1330等的一个或多个计算机处理器可配置为执行一个或多个坐标变换和/或确定手或手指1380、一个或多个指针、工具、器械、和/或植入物1390、和/或可选地第一头戴式显示器1360、第二头戴式显示器1370、第三头戴式显示器、第四头戴式显示器、第五头戴式显示器等或其他增强现实显示装置(例如，与附接至患者的标记相关)、和/或患者(未示出)的姿态1420。
一个或多个第一计算机系统1310、可选地第二计算机系统1320、第三计算机系统1330等或额外计算机系统(例如，同样在机器人1340和/或成像系统1350中)的一个或多个计算机处理器可以配置为例如使用无线连接(例如，蓝牙或无线Wi-Fi或LiFi接入点)，可选地包括发送器和/或接收器，或使用有线连接，来发送和/或接收1430关于手指或手1380、或一个或多个指针、工具、器械和/或植入物1390的信息，例如，它们的姿态，和/或可选地关于第一头戴式显示器1360、第二头戴式显示器1370、第三头戴式显示器、第四头戴式显示器、第五头戴式显示器等的信息或第一头戴式显示器1360、第二头戴式显示器1370、第三头戴式显示器、第四头戴式显示器、第五头戴式显示器等的信息，例如，头戴式显示器(或其他增强现实显示装置)(例如，与患者的标记相关)的姿态、或头戴式显示器1360、1370或其他增强现实显示装置和/或患者(未示出)的显示数据。发送和/或接收1430可以包括关于耳机(例如，与视线光标一起使用)的佩戴者的视线方向的数据(或者关于另一增强现实显示装置的用户的视线方向的数据)，例如，第一头戴式显示器1360、第二头戴式显示器1370、第三头戴式显示器、第四头戴式显示器、第五头戴式显示器等。如本说明书中所描述的，发送和/或接收1430可以是有线的或无线的，例如，使用去往和/或来自第一头戴式显示器1360、第二头戴式显示器1370、第三头戴式显示器、第四头戴式显示器、第五头戴式显示器等的广播或多播发送。该发送可以包括位置数据、显示数据和/或其他数据。该发送1430可以去往或来自可选的第一计算机系统1310、去往或来自第二计算机系统1320、去往或来自第三计算机系统1330、去往或来自第四计算机系统、第五计算机系统或更多个计算机系统。该发送可以去往或来自第二计算机系统1320、去往或来自可选的第一计算机系统1310、去往或来自第三计算机系统1330、去往或来自第四计算机系统、第五计算机系统或更多个计算机系统。该发送可以去往或来自第三计算机系统1330、去往或来自可选的第一计算机系统1310、去往或来自第二计算机系统1320、去往或来自第四计算机系统、第五计算机系统或更多个计算机系统，等等。
在整个说明书的任何实施方案中，例如，发送1430在一个或多个第一(可选的)计算机系统1310、第二计算机系统1320、第三计算机系统1330等或额外计算机系统(例如，也被集成或附接至机器人或成像系统)之间可以是单向和/或双向的、同步单向和/或双向的、和/或非同步单向和/或双向的，例如依次单向和/或双向的，或其组合。
在整个说明书的任何实施方案中，第二计算机系统1320、第三计算机系统1330等或额外计算机系统可以被集成、连接或附接至一个或多个HMD 1360、1370或其他增强现实显示系统、一个或多个机器人系统1340和/或一个或多个成像系统1350、和/或与其分开。一个或多个计算机系统1310可以与一个或多个HMD 1360、1370或其他增强现实显示系统、一个或多个机器人系统1340和/或一个或多个成像系统1540分开，例如，独立的。
一个或多个第一计算机系统1310、第二计算机系统1320、第三计算机系统1330等或额外计算机系统(例如，同样在机器人1340和/或成像系统1350中)的一个或多个计算机处理器可以配置为生成一个或多个用户界面控件1440。一个或多个用户界面控件1440可以例如是虚拟界面控件。至少一个虚拟界面控件1440可以例如包括一个或多个虚拟按钮、虚拟场、虚拟光标、虚拟指针、虚拟滑块、虚拟轨迹球、虚拟节点、虚拟数字显示器、虚拟触摸板、虚拟键盘或其组合。
一个或多个第一(可选的)计算机系统1310、第二计算机系统1320、第三计算机系统1330等或额外计算机系统(例如，也在机器人1340和/或成像系统1350中)的一个或多个计算机处理器可配置为例如在手或手指1380与由一个或多个头戴式显示器1360、1370或其他增强现实显示装置所显示的虚拟界面之间、或在被跟踪的物理指针、物理工具、物理器械、物理植入部件1390或其组合与由一个或多个头戴式显示器1360、1370或其他增强现实显示装置所显示的虚拟界面之间执行一个或多个碰撞检测1445；可以例如使用跟踪系统1300来执行碰撞检测。一个或多个第一计算机系统1310、第二计算机系统1320、第三计算机系统1330等或额外计算机系统(例如，同样在机器人1340和/或成像系统1350中)的一个或多个计算机处理器可配置为使用一个或多个相机(可选地，被集成或附接至一个或多个头戴式显示器1360、1370)执行例如手或手指1380与由一个或多个头戴式显示器1360、1370显示的虚拟界面之间的手势识别。一个或多个相机可以是一个或多个跟踪系统1300的一部分。可选的第一计算机系统1310可以例如是独立计算机系统或云计算系统。例如，第二计算机系统1320、第三计算机系统1330等或额外计算机系统可以被集成、连接或附接至一个或多个HMD 1360、1370或其他增强现实显示系统、一个或多个机器人系统1340、和/或一个或多个成像系统1350和/或与其分开。
一个或多个计算机系统，例如第一计算机系统1310、第二计算机系统1320、第三计算机系统1330等、或例如也在机器人1340和/或成像系统1350中的额外计算机系统可以配置为生成和/或可选地无线发送一个或多个事件消息1450。该一个或多个事件消息可以例如是与例如使用跟踪系统1300检测到的手或手指1380、被跟踪的物理指针、物理工具、物理器械、物理植入部件1390、或其组合与虚拟界面之间的碰撞检测1445相关的事件消息。一个或多个事件消息1450可以可选地包括与机器人1340控制、界面、力、和/或位置、和/或取向、和/或成像系统1350控制、界面、力、和/或位置、和/或取向相关的事件消息。
一个或多个计算机系统，例如第一计算机系统1310、第二计算机系统1320、第三计算机系统1330、第四计算机系统、第五计算机系统等、或例如也在机器人1340和/或成像系统1350中的额外计算机系统可以包括配置为操纵、管理和/或处理一个或多个可选事件消息1450的可选事件处理器1460。
一个或多个计算机系统，例如第一计算机系统1310、第二计算机系统1320、第三计算机系统1330等、或例如也在机器人1340和/或成像系统1350中的额外计算机系统可以配置为例如基于事件消息1450和可选地从事件处理器1460接收的信息或数据来启动和/或处理可选事件动作1470(例如执行命令)。该命令可以通过无线或有线连接发送至例如机器人1340或成像系统1350。
在一些实施方案中，配置为生成事件消息1450的一个或多个计算机系统可以是包括事件处理器1460的相同或不同的计算机系统，和/或可以是启动和/或处理事件动作1470(例如执行命令)的相同或不同的计算机系统。在一些实施方案中，配置为生成事件消息1450的一个或多个计算机处理器可以是包括事件处理器1460的相同或不同的计算机处理器，和/或可以是启动和/或处理事件动作1470(例如执行命令)的相同或不同的计算机处理器。在一些实施方案中，第一、第二、第三、第四、第五、第六或更多个计算机系统对于管理不同任务可以是相同的，或者对于管理不同任务可以是不同的。
图5是以下各项的代表性、非限制性实施例：一个或多个跟踪系统1300，例如一个或多个相机，包括使用可见光和/或红外光的相机、立体相机、Lidar系统和/或相机、扫描器(例如3D扫描器)，在这个实施例中，它们被集成或附接至一个或多个头戴式显示器1360、1370或其他增强现实显示装置；一个或多个计算机系统(CS)CS#11510(例如被集成、连接或附接至头戴式显示器1360)、CS#2 1520(例如被集成、连接或附接至头戴式显示器1360)，各自具有一个或多个计算机处理器；一个或多个机器人1530，例如手持式、附接至OR台和/或包括机器人臂；一个或多个成像系统1540，例如C臂、3D C臂、锥形束CT、螺旋CT、MRI；和/或一个或多个头戴式显示器HMD A 1360、HMD B 1370，例如立体光学透视头戴式显示器、和/或立体视频透视头戴式显示器或其他增强现实显示装置。该一个或多个机器人1530和/或一个或多个成像系统1540还可以包括一个或多个计算机系统(例如CS#3、CS#4)，例如每个计算机系统具有一个或多个计算机处理器。
一个或多个第一CS#1 1510、第二CS#2 1520或更多个计算机系统可以被集成、连接或附接至一个或多个头戴式显示器HMD A 1360和/或HMD B 1370。一个或多个跟踪系统1300可以被集成或附接至一个或多个头戴式显示器HMD A 1360和/或HMD B 1370或其他增强现实显示装置。
一个或多个跟踪系统1300可以配置为例如使用第一计算机系统1510、第二计算机1520和/或额外计算机系统来可选地跟踪1410(例如用户的)手和/或手指1380、指针、工具、器械、和/或植入物1390、患者(未示出)、和/或机器人1530、和/或成像系统1540或其组合。
跟踪系统1300可以配置为可选地跟踪1410(例如用户的)手和/或手指1380、指针、工具、器械、和/或植入物1390、患者(未示出)、和/或机器人1530、和/或成像系统1540或其组合，并且将跟踪信息1415发送至第一计算机系统CS#1 1510、第二计算机系统CS#2 1520和/或额外计算机系统；该发送可以是有线的或无线的。一个或多个跟踪系统1300可以被集成或附接至一个或多个头戴式显示器1360、1370或其他增强现实显示装置。一个或多个计算机系统1510、1520(包括一个或多个计算机处理器)可以被集成或连接至一个或多个头戴式显示器1360、1370或其他增强现实显示装置。第一CS#1 1510、第二CS#2 1520和/或额外计算机系统可以被集成、连接或附接至一个或多个HMD 1360、1370或其他增强现实显示系统。该一个或多个额外计算机系统可以附接、连接至机器人系统1530和/或成像系统1540或位于其内部。
跟踪1410可以包括通过第一计算机系统CS#1 1510、和/或第二计算机系统CS#21520、和/或例如在机器人1530或成像系统1540中的额外计算机系统例如使用相机或扫描器1300来记录手和/或手指1380、指针、工具、器械、和/或植入物1390和/或患者(未示出)的一个或多个坐标和/或对其跟踪。跟踪1410可以包括通过第一计算机系统CS#1 1510、和/或第二计算机系统CS#2 1520、和/或例如在机器人1530或成像系统1540中的额外计算机系统来例如使用相机或扫描器1300记录(例如用户的)手和/或手指1380、指针、工具、器械、和/或植入物1390、和/或患者(未示出)的一个或多个坐标。该系统可以通过第一计算机系统CS#1 1510、和/或第二计算机系统CS#21520、和/或例如在机器人1530或成像系统1540中的额外计算机系统例如使用跟踪系统(例如相机或扫描器130)来跟踪手和/或手指1380、指针、工具、器械、和/或植入物1390、和/或患者(未示出)。
第一计算机系统1510、第二计算机系统1520等中的一者或多者的一个或多个计算机处理器可以配置为进行一个或多个坐标变换1420，和/或确定手或手指1380、一个或多个指针、工具、器械、和/或植入物1390、和/或可选地第一头戴式显示器1360、第二头戴式显示器1370、第三头戴式显示器、第四头戴式显示器、第五头戴式显示器等(例如与附接至患者的标记相关)、和/或患者(未示出)的姿势1420。
第一计算机系统1510、第二计算机系统1520、和/或例如也在机器人1530和/或成像系统1540中的额外计算机系统的一个或多个计算机处理器可以配置为例如使用无线连接(例如蓝牙或无线WiFi或LiFi接入点，可选地包括发射器和/或接收器)或使用有线连接，来发送和/或接收1430关于(例如用户的)手指或手1380、或一个或多个指针、工具、器械、和/或植入物1390的信息(例如它们的姿势)、和/或可选地关于或用于第一头戴式显示器1360、第二头戴式显示器1370、第三头戴式显示器、第四头戴式显示器、第五头戴式显示器等的信息(例如这些头戴显示器的姿势)(例如与患者的标记相关)、或用于头戴式显示器1360、1370或其他增强现实显示装置和/或患者的显示数据。发送和/或接收1430可以包括关于耳机(例如与视线光标一起使用)的佩戴者的视线方向的数据，耳机例如第一头戴式显示器1360、第二头戴式显示器1370、第三头戴式显示器、第四头戴式显示器、第五头戴式显示器等或其他增强现实显示装置。如本说明书中描述的，发送和/或接收1430可以是有线的或无线的，例如，使用去往和/或来自第一头戴式显示器1360、第二头戴式显示器1370、第三头戴式显示器、第四头戴式显示器、第五头戴式显示器等或其他增强现实显示装置的广播或多个单播发送。该发送可以包括位置数据、显示数据和/或其他数据。发送1430可以去往或来自第一计算机系统1510、去往或来自第二计算机系统1520、去往或来自第三计算机系统(例如机器人1530的一部分或联接至机器人1530)、去往或来自第四计算机系统、第五计算机系统或更多个计算机系统。该发送可以去往或来自第二计算机系统1520、去往或来自第一计算机系统1510、去往或来自第三计算机系统1530、去往或来自第四计算机系统、第五计算机系统或更多个计算机系统。该发送可以去往或来自第三计算机系统1530、去往或来自第一计算机系统1510、去往或来自第二计算机系统1520、去往或来自第四计算机系统、第五计算机系统或更多个计算机系统等。
在整个说明书的任何实施方案中，例如，发送(和/或接收)1430在第一计算机系统1510、第二计算机系统1320、第三计算机系统1330等或例如也被集成或附接至机器人和/或成像系统的额外计算机系统之间可以是单向的和/或双向的、同步单向的和/或双向的、和/或非同步的(例如依次单向的和/或双向的)、或其组合。
在整个说明书的任何实施方案中，第一计算机系统1510、第二计算机系统1520等或额外计算机系统可以被集成、连接和/或附接至一个或多个HMD 1360、1370或其他增强现实显示系统、一个或多个机器人系统1530、和/或一个或多个成像系统1540，和/或与一个或多个HMD 1360、1370或其他增强现实显示系统、一个或多个机器人系统1530、和/或一个或多个成像系统1540分开。一个或多个计算机系统可以与一个或多个HMD 1360、1370或其他增强现实显示系统、一个或多个机器人系统1530、和/或一个或多个成像系统1540分开，例如独立。
第一计算机系统1510、第二计算机系统1520、或例如也在机器人1530和/或成像系统1540中的额外计算机系统中的一者或多者的一个或多个计算机处理器可以配置为生成一个或多个用户界面控件1440。一个或多个用户界面控件1440可以例如是虚拟界面控件。一个或多个用户界面控件可以例如包括一个或多个虚拟按钮、虚拟场、虚拟光标、虚拟指针、虚拟滑块、虚拟轨迹球、虚拟节点、虚拟数字显示器、虚拟触摸板、虚拟键盘、或其组合。
第一计算机系统1510、第二计算机系统1520、或例如也在机器人1530和/或成像系统1540中的额外计算机系统中的一者或多者的一个或多个计算机处理器可以配置为例如在手或手指1380与由一个或多个头戴式显示器1360、1370或其他增强现实显示装置显示的虚拟用户界面之间、或在被跟踪的物理指针、物理工具、物理器械、物理植入部件1390、或其组合与由一个或多个头戴式显示器1360、1370显示的虚拟用户界面之间进行一个或多个碰撞检测1445；该碰撞检测可以例如使用跟踪系统1300来进行。第一计算机系统1510、第二计算机系统1520、或例如也在机器人1530和/或成像系统1540中的额外计算机系统中的一者或多者的一个或多个计算机处理器可以配置为使用一个或多个相机(可选地被集成或附接至一个或多个头戴式显示器1360、1370)在例如手或手指1380与由一个或多个头戴式显示器1360、1370显示的虚拟界面之间进行手势识别。该一个或多个相机可以是一个或多个跟踪系统1300的一部分。例如，第一计算机系统1510、第二计算机系统1520、或额外计算机系统可以被集成、连接或附接至一个或多个HMD 1360、1370或其他增强现实显示系统、一个或多个机器人系统1530和/或一个或多个成像系统1540，和/或与这些分开。
一个或多个计算机系统，例如第一计算机系统1510、第二计算机系统1520、或例如也在机器人1530和/或成像系统1540中的额外计算机系统可以配置为生成和/或可选地无线发送一个或多个事件消息1450。该一个或多个事件消息可以例如是例如使用跟踪系统1300检测的与手或手指1380、被跟踪的物理指针、物理工具、物理器械、物理植入部件1390、或其组合与虚拟用户界面之间的碰撞检测1445相关的事件消息。一个或多个事件消息1450可以可选地包括与机器人1530控制、界面、力、和/或位置、和/或取向、和/或成像系统1540控制、界面、力、和/或位置、和/或取向相关的事件消息。
一个或多个计算机系统，例如第一计算机系统1510、第二计算机系统1520、第三计算机系统、第四计算机系统、第五计算机系统等、或例如也在机器人1530和/或成像系统1540中的额外计算机系统可以包括配置为操纵、管理和/或处理一个或多个可选事件消息1450的可选事件处理器1460。
一个或多个计算机系统，例如第一计算机系统1510、第二计算机系统1520、第三计算机系统、或例如也在机器人1530和/或成像系统1540中的额外计算机系统可以配置为例如基于从事件处理器1460接收的事件消息1450和可选地信息或数据来启动和/或处理可选的事件动作1470(例如执行命令)。该命令可以通过无线或有线连接发送至例如机器人1530或成像系统1540。
在一些实施方案中，配置为生成事件消息1450的一个或多个计算机系统可以是包括事件处理器1460的相同或不同的计算机系统，和/或可以是启动和/或处理事件动作1470(例如执行命令)的相同或不同的计算机系统。在一些实施方案中，配置为生成事件消息1450的一个或多个计算机处理器可以是包括事件处理器1460的相同或不同的计算机处理器，和/或可以是启动和/或处理事件动作1470(例如执行命令)的相同或不同的计算机处理器。在一些实施方案中，第一、第二、第三、第四、第五、第六或更多个计算机系统对于管理不同任务可以是相同的，或者对于管理不同任务可以是不同的。
与包括一个或多个HMD的多个装置一起使用的AR系统架构
在一些实施方案中，系统可以包括：至少一个头戴式显示器或增强现实显示装置；至少一个相机或扫描装置，其中，该至少一个相机或扫描装置可以配置为跟踪至少一个头戴式显示器或增强现实显示装置、患者的至少一个解剖结构以及至少一个物理手术工具或物理手术器械的实时信息；第一计算系统，包括一个或多个计算机处理器，其中，该第一计算系统可以配置为获得至少一个头戴式显示器或增强现实显示装置、患者的至少一个解剖结构以及至少一个物理手术工具或物理手术器械的实时跟踪信息，其中，该第一计算系统可以配置用于无线发送至少一个头戴式显示器、患者的至少一个解剖结构以及至少一个物理手术工具或物理手术器械的实时跟踪信息；第二计算系统，包括一个或多个计算机处理器，其中，该第二计算系统可以配置用于无线接收至少一个头戴式显示器或增强现实显示装置、患者的至少一个解剖结构以及至少一个物理手术工具或物理手术器械的实时跟踪信息，其中，该第二计算系统可以配置为生成增强或3D立体视图，其中，该增强或3D立体视图可以包括至少一个被跟踪的物理手术工具或物理手术器械的3D表示，并且其中，该至少一个头戴式显示器或增强现实显示装置可以配置为显示3D立体视图或增强视图。在一些实施方案中，第二计算系统的一个或多个计算机处理器可以使用至少一个头戴式显示器的实时跟踪信息针对头戴式显示器相对于患者的至少一个解剖结构的视角生成3D立体视图。在一些实施方案中，实时跟踪信息可以包括多个头戴式显示器的跟踪信息。在一些实施方案中，实时跟踪信息可以包括用于每个头戴式显示器的头戴式显示器或增强现实显示装置特定标签或标志，或者可以针对每个被跟踪的头戴式显示器或增强现实显示装置标签化实时跟踪信息。在一些实施方案中，无线发送可以是向多个头戴式显示器的多播或广播发送。在一些实施方案中，实时跟踪信息包括两个或多于两个头戴式显示器或增强现实显示装置的跟踪信息。在一些实施方案中，该两个或多于两个头戴式显示器位于不同位置。在一些实施方案中，实时跟踪信息可以包括用于每个头戴式显示器或增强现实显示装置的头戴式显示器或增强现实显示装置标签，其中，每个头戴式显示器或增强现实显示装置具有不同的标签。在一些实施方案中，可以针对每个被跟踪的头戴式显示器或增强现实显示装置标签化实时跟踪信息。在一些实施方案中，第二计算系统的一个或多个计算机处理器可以针对因佩戴头戴式显示器的用户而调整的瞳孔间距生成3D立体视图。在一些实施方案中，第二计算系统可以与至少一个头戴式显示器集成。在一些实施方案中，第二计算系统与至少一个头戴式显示器分开，并且使用至少一个线缆连接至至少一个头戴式显示器的显示单元。在一些实施方案中，无线发送、无线接收或二者包括WiFi信号、LiFi信号、蓝牙信号、射频信号或其组合。在一些实施方案中，相机或扫描装置与至少一个头戴式显示器分开。在一些实施方案中，相机或扫描装置可以被集成或附接至至少一个头戴式显示器。在一些实施方案中，无线发送可以包括以20Hz或大于20Hz的速率发送包括至少一个头戴式显示器、至少一个增强显示装置、患者的至少一个解剖结构以及至少一个物理手术工具或物理手术器械的实时跟踪信息的数据包。在一些实施方案中，无线接收可以包括以20Hz或大于20Hz的速率接收包括至少一个头戴式显示器、至少一个增强显示装置、患者的至少一个解剖结构以及至少一个物理手术工具或物理手术器械的实时跟踪信息的数据包。在一些实施方案中，实时跟踪信息包括例如去往或来自第一和第二计算系统的例如发送或接收的一个或多个坐标。在一些实施方案中，一个或多个坐标可以包括患者的至少一个解剖结构的坐标。在一些实施方案中，一个或多个坐标可以包括至少一个物理手术工具或物理手术器械的坐标。在一些实施方案中，一个或多个坐标可以包括至少一个头戴式显示器或增强现实显示装置的坐标。在一些实施方案中，至少一个头戴式显示器可以包括至少一个光学透视头戴式显示器。在一些实施方案中，至少一个头戴式显示器可以包括至少一个视频透视头戴式显示器。在一些实施方案中，至少一个相机或扫描装置可以包括激光扫描器、飞行时间3D激光扫描器、结构光3D扫描器、手持激光扫描器、LIDAR扫描器、飞行时间相机、深度相机、视频系统、立体相机系统、相机阵列或其组合。在一些实施方案中，系统可以包括至少一个惯性测量单元。在一些实施方案中，至少一个惯性测量单元可以被集成或附接至至少一个物理手术工具或物理手术器械。在一些实施方案中，至少一个惯性测量单元可以被集成或附接至患者的至少一个解剖结构。在一些实施方案中，至少一个惯性测量单元可以被集成或附接至至少一个头戴式显示器或增强现实显示装置。在一些实施方案中，至少一个头戴式显示器或增强现实显示装置的实时跟踪信息可以包括来自至少一个惯性测量单元的信息。在一些实施方案中，第二计算系统通信地联接至至少一个头戴式显示器。
在一些实施方案中，系统可以包括：两个或多于两个头戴式显示器或增强现实显示装置；至少一个相机或扫描装置，其中，该至少一个相机或扫描装置可以配置为跟踪至少两个或多于两个头戴式显示器或增强现实显示装置、患者的至少一个解剖结构以及至少一个物理手术工具或物理手术器械的实时信息；第一计算系统，包括一个或多个计算机处理器，其中，该第一计算系统可以配置为获得患者的至少一个解剖结构、至少一个物理手术工具或物理手术器械以及两个或多于两个头戴式显示器的实时跟踪信息，其中，可以针对两个或多于两个头戴式显示器或增强现实显示装置中的每个标签化该两个或多于两个头戴式显示器或增强现实显示装置的跟踪信息，其中，该第一计算系统可以配置用于无线发送患者的至少一个解剖结构的实时跟踪信息、至少一个物理手术工具或物理手术器械的跟踪信息、以及两个或多于两个头戴式显示器或增强现实显示装置的标签化的跟踪信息；第二计算系统，其中，该第二计算系统可以配置用于无线接收患者的至少一个解剖结构的实时跟踪信息、至少一个物理手术工具或物理手术器械的跟踪信息、以及两个或多于两个头戴式显示器或增强现实显示装置的第一头戴式显示器或增强现实显示装置的标签化的跟踪信息，其中，该第二计算系统可以配置为使用第一头戴式显示器或增强现实显示装置的标签化的跟踪信息来生成特定于(专用于，specific for)第一头戴式显示器或增强现实显示装置的第一视角的第一3D立体显示，其中，该第一头戴式显示器或增强现实显示装置可以配置为显示3D立体显示或增强视图；第三计算系统，其中，该第三计算系统可以配置用于无线接收患者的至少一个解剖结构的实时跟踪信息、至少一个物理手术工具或物理手术器械的跟踪信息、以及两个或多于两个头戴式显示器或增强现实显示装置的第二头戴式显示器或增强现实显示装置的标签化的跟踪信息，其中，该第三计算系统可以配置为使用第二头戴式显示器或增强现实显示装置的标签化的跟踪信息来生成特定于第二头戴式显示器或增强现实显示装置的第二视角的第二3D立体显示或增强视图，并且其中，该第一和第二立体显示或增强现实显示装置可以包括至少一个物理手术工具或物理手术器械的3D表示。
手术机器人的AR引导
在公开文本的一些实施方案中，系统可以包括：至少一个头戴式显示器；机器人，其中，该机器人可以包括末端执行器；第一计算系统，包括一个或多个计算机处理器，其中，该第一计算系统可以与机器人通信；第二计算系统，包括一个或多个计算机处理器，其中，该第二计算系统可以与至少一个头戴式显示器通信，其中，该第二计算系统可以配置为通过至少一个头戴式显示器来显示包括至少一个虚拟对象的虚拟用户界面，其中，该第二计算系统可以配置为至少部分地基于与在虚拟用户界面中显示的至少一个虚拟对象的至少一个交互而生成命令，其中，该第二计算系统可以配置为使用无线发送来将命令发送至第一计算系统，其中，该命令可以配置为使第一计算系统控制机器人进行机器人部件、机器人马达、机器人致动器、机器人驱动器、机器人控制器、机器人液压系统、机器人压电系统、机器人开关、末端执行器、或其任何组合的移动、激活、操作、去激活、或其任何组合。在一些实施方案中，命令可以配置为将末端执行器控制在预定操作边界、预定操作范围、预定操作区域或预定操作体积内。在一些实施方案中，第一计算系统可以通过线材连接至机器人，或者该第一计算系统可以通过无线连接连接至机器人。在一些实施方案中，第二计算系统可以通过线材连接至至少一个头戴式显示器，或者，该第二计算系统可以通过无线连接连接至至少一个头戴式显示器。在一些实施方案中，第二计算系统可以配置为通过至少一个头戴式显示器来显示末端执行器的预定操作边界、预定操作范围、预定操作区域或预定操作体积的表示或机器人部件、机器人马达、机器人致动器、机器人驱动器、机器人控制器、机器人液压系统、机器人压电系统、机器人开关、末端执行器、或其任何组合的移动、激活、操作、去激活、或其组合之后的预计结果。在一些实施方案中，末端执行器可以包括物理手术工具或物理手术器械。
在一些实施方案中，第一计算系统可以配置为获得机器人的部件、末端执行器、目标对象、患者的目标解剖结构、至少一个头戴式显示器、物理工具、物理器械、物理植入物、物理对象、或其任何组合的实时跟踪信息。在一些实施方案中，第二计算系统可以配置为获得机器人的部件、末端执行器、目标对象、患者的目标解剖结构、至少一个头戴式显示器、物理工具、物理器械、物理植入物、物理对象、或其任何组合的实时跟踪信息。在一些实施方案中，第一计算系统可以配置为获得联接至机器人的物理工具、物理器械、或其任何组合的实时跟踪信息。在一些实施方案中，第二计算系统可以配置为获得联接至机器人的物理工具、物理器械、或其任何组合的实时跟踪信息。在一些实施方案中，第一计算系统可以配置为无线发送机器人的部件、末端执行器、目标对象、患者的目标解剖结构、至少一个头戴式显示器、物理工具、物理器械、物理植入物、物理对象、或其任何组合的实时跟踪信息。在一些实施方案中，第二计算系统可以配置为无线发送机器人的部件、末端执行器、目标对象、患者的目标解剖结构、至少一个头戴式显示器、物理工具、物理器械、物理植入物、物理对象、或其任何组合的实时跟踪信息。
在一些实施方案中，第二计算系统可以配置用于通过至少一个头戴式显示器来显示3D立体视图。在一些实施方案中，3D立体视图可以叠加在患者的解剖结构上。在一些实施方案中，3D立体视图可以包括末端执行器的预定轨迹、末端执行器的预定操作边界的表示、末端执行器的预定操作范围的表示、末端执行器的预定操作区域的表示、末端执行器的预定操作体积的表示、或其组合。在一些实施方案中，3D立体视图可以包括在机器人部件、机器人马达、机器人致动器、机器人驱动器、机器人控制器、机器人液压系统、机器人压电系统、机器人开关、末端执行器、或其任何组合的移动、激活、操作、去激活、或其任何组合之后末端执行器的预定轨迹、末端执行器的预定操作边界的表示、末端执行器的预定操作范围的表示、末端执行器的预定操作区域的表示、末端执行器的预定操作体积的表示、或其组合。
在一些实施方案中，第一计算系统、第二计算系统或二者可以配置为打开或关闭虚拟用户界面的显示。在一些实施方案中，无线发送可以包括蓝牙信号、WiFi信号、LiFi信号、射频信号、微波信号、超声波信号、红外信号、电磁波或其任何组合。
在一些实施方案中，3D立体视图可以包括在执行命令之前末端执行器的预定轨迹、末端执行器的预定操作边界的表示、末端执行器的预定操作范围的表示、末端执行器的预定操作区域的表示、末端执行器的预定操作体积的表示、或其组合。
在一些实施方案中，系统可以包括两个或多于两个头戴式显示器，其中，无线发送可以是多播、广播发送或其任何组合。
在一些实施方案中，由HMD显示的虚拟对象可以包括一个或多个虚拟按钮、虚拟场、虚拟光标、虚拟指针、虚拟滑块、虚拟轨迹球、虚拟节点、虚拟数字显示器、虚拟触摸板、虚拟键盘或其组合。在一些实施方案中，与虚拟用户界面的交互可以包括物理对象与至少一个虚拟对象之间的碰撞检测。在一些实施方案中，交互可以是用户的手指与HMD显示的至少一个虚拟对象之间的碰撞检测。在一些实施方案中，交互可以包括被跟踪的指针、被跟踪的工具、被跟踪的器械、或其组合与HMD显示的至少一个虚拟对象之间的碰撞检测。在一些实施方案中，与由HMD显示的虚拟对象的交互可以包括手势识别、视线识别、视线锁定、手跟踪、眼睛跟踪或其组合。在一些实施方案中，例如还在不与由HMD显示的虚拟对象交互的情况下，可以使用手跟踪、眼睛跟踪和语音控制。
在一些实施方案中，末端执行器可以包括解剖刀、锯、切割工具、线材、针、销、钻头、钻孔器、铣刀、铰刀、冲击器、拉刀、激光器、射频装置、热凝固装置、冷冻消融装置、放射性探针、放射性发射装置、脉冲能量发射装置、超声能量发射装置、微波能量发射装置或其组合。在一些实施方案中，命令可以包括子命令，其中，该子命令配置为执行命令的接受或取消功能。
在一些实施方案中，系统可以包括：至少一个头戴式显示器；机器人，其中，该机器人可以包括末端执行器；第一计算系统，包括一个或多个计算机处理器，其中，该第一计算系统可以与机器人通信；第二计算系统，包括一个或多个计算机处理器，其中，该第二计算系统可以与至少一个头戴式显示器通信，其中，该第二计算系统可以配置为通过至少一个头戴式显示器来显示包括至少一个虚拟对象的虚拟用户界面，其中，该第二计算系统可以配置为至少部分地基于与在虚拟用户界面中显示的至少一个虚拟对象的至少一个交互而生成命令，其中，该第二计算系统可以配置为使用无线发送来将事件消息发送至第一计算系统，其中，该第二计算系统可以配置为基于该事件消息生成命令，其中，该命令可以配置为使第一计算系统控制机器人进行机器人部件、机器人马达、机器人致动器、机器人驱动器、机器人控制器、机器人液压系统、机器人压电系统、机器人开关、末端执行器、或其任何组合的移动、激活、操作、去激活、或其任何组合。成像系统和/或图像获取的AR引导
在一些实施方案中，准备在患者中通过成像系统进行图像获取(在实际图像获取之前)可以包括通过至少一个计算机处理器来实时跟踪成像系统的一个或多个部件，可选地通过至少一个计算机处理器来获得关于成像系统的一个或多个部件的几何结构的信息、关于图像获取的位置、取向和/或几何结构的信息、关于一个或多个图像获取参数的信息、或其组合；通过至少一个计算机处理器来生成表面、体积或其组合的3D表示，其中，该表面、体积或其组合的3D表示可以至少部分地源自或基于关于成像系统的一个或多个部件的几何结构的信息、关于图像获取的位置、取向和/或几何结构的信息、关于一个或多个图像获取参数的信息、或其组合；通过至少一个计算机处理器来生成3D立体视图或增强视图，其中，该3D立体视图或增强视图可以包括表面、体积或其组合的3D表示；可选地通过增强现实显示装置(例如头戴式显示器、平板电脑、iPad、iPhone或其他AR显示装置)来在相对于成像系统的一个或多个部件的定义的位置处或相对于患者的定义的位置处显示3D立体视图或增强视图，其中，可以基于成像系统的实时跟踪信息来确定3D立体视图或增强视图的位置和取向；并且然后通过成像系统在表面、体积或其组合的3D表示内或在表面、体积或其组合的3D表示的位置处获取患者的2D、3D或2D和3D成像数据。
在一些实施方案中，表面、体积或其组合的3D表示不包含来自患者的成像数据。在一些实施方案中，表面、体积或其组合的3D表示可以包括来自在当前、计划、预期图像获取之前的先前图像获取的患者的成像数据。在一些实施方案中，表面、体积或其组合的3D表示可以包括模型数据，例如患者解剖结构的通用3D模型、患者解剖结构的化身等。在一些实施方案中，3D表示可以包括2D轮廓、3D轮廓、网格、一组表面点或其组合，其至少部分地源自或基于关于成像系统的一个或多个部件的几何结构的信息、关于图像获取的位置、取向和/或几何结构的信息、关于一个或多个图像获取参数的信息、或其组合。
由头戴式显示器或另一个增强现实显示装置可选地显示的表面、体积或其组合的3D表示的形状可以响应于成像系统(例如准直器)的一个或多个部件的几何结构的改变、图像获取的位置、取向和/或几何结构的改变(例如管位置、检测器位置、图像增强器位置、视场、准直的改变)、和/或一个或多个图像获取参数的改变而改变。
在一些实施方案中，成像系统或其一个或多个部件可以例如由用户移动，可选地由一个或多个马达、控制器、驱动器、液压和/或电气系统、和/或机器人部件、和/或臂辅助，并且在一些实施方案中，可选地叠加到患者上的增强视图或3D立体视图可以通过系统和/或一个或多个计算机处理器来配置为相对于成像系统的被跟踪的一个或多个部件移动。当成像系统或其一个或多个部件移动时，或者当确定图像获取的位置和/或取向的一个或多个参数改变时，系统可以配置为响应于被跟踪的成像系统的移动、其一个或多个部件的移动、和/或确定图像获取的位置和/或取向的一个或多个参数的改变而调整增强视图或3D立体视图的位置、取向、位置和取向。在一些实施方案中，调整或调节配置为将增强视图保持在相对于成像系统的一或多个部件的定义的位置和取向处。在一些实施方案中，位于相对于成像系统的一个或多个部件的定义的位置处的增强视图相对于成像系统的一个或多个被跟踪的部件移动，其中，该移动有助于将3D表示与患者的目标解剖结构叠加或对准。在一些实施方案中，成像系统可以配置为获取患者的2D、3D、或2D和3D成像数据，并且其中，该患者的2D、3D、或2D和3D成像数据在表面、体积或其组合的3D表示内获取。
在一些实施方案中，生成增强视图的步骤在获取患者的2D、3D或2D和3D成像数据的步骤之前进行，或者其中，显示增强视图的步骤在获取患者的2D、3D或2D和3D成像数据的步骤之前进行。
在一些实施方案中，至少一个计算机处理器可以配置为生成由HMD或增强现实显示装置显示的表面、体积或其组合的3D表示，其中，该表面、体积或其组合的3D表示可以包括关于成像系统的一个或多个部件的几何结构的信息、关于图像获取的位置、取向和/或几何结构的信息、关于一个或多个图像获取参数的信息、或其组合，其中，该表面、体积或其组合的3D表示可以例如不包含来自患者的成像数据。用户可以例如通过与由HMD或增强现实或混合现实显示装置显示的虚拟用户界面交互来移动叠加到患者上的表面或体积的3D表示。3D表示的移动可以例如旨在将3D表示移动到被包括和/或包含在成像数据获取中的期望解剖区域或体积(例如目标解剖区域)上。然后，系统可以可选地配置为响应于3D表示的移动，例如使用一个或多个马达、控制器、驱动器、液压和/或电气系统、和/或机器人部件、和/或臂来移动成像系统、成像系统的一个或多个部件、与成像系统结合使用的患者台、或其任何组合。以这种方式，可以在随后的成像数据获取的期望区域或体积中获得随后的成像数据获取。
在一些实施方案中，获取2D或3D或2D和3D图像的步骤可以在生成增强视图或3D立体视图的步骤之后进行。在一些实施方案中，获取2D或3D或2D和3D图像的步骤可以在显示增强视图或3D立体视图的步骤之后进行。
在一些实施方案中，至少一个计算机处理器可以配置为在获取患者的2D、3D、或2D和3D成像数据之前生成表面、体积或其组合的3D表示，或者该至少一个计算机处理器可以配置为在获取患者的2D、3D、或2D和3D成像数据之前显示表面、体积或其组合的3D表示。
在一些实施方案中，准备与患者相关联的成像数据获取的系统可以包括至少一个计算机处理器、头戴式显示器(例如视频透视头戴式显示器或光学透视头戴式显示器)、增强现实显示装置(例如平板电脑或智能电话)、成像系统，其中，该至少一个计算机处理器可以配置为获得成像系统(以及可选地患者台、HMD、增强现实显示装置、患者的解剖结构、机器人)的一个或多个部件的实时跟踪信息，其中，该至少一个计算机处理器可以配置为生成表面、体积或其组合的3D表示，其中，该表面、体积或其组合的3D表示可以包括关于成像系统的一个或多个部件的几何结构的信息、关于图像获取的位置、取向和/或几何结构的信息、关于一个或多个图像获取参数的信息、或其组合，其中，该表面、体积或其组合的3D表示可以例如不包含来自患者的成像数据，或者可以包含来自先前成像数据获取但不是当前、计划、预期图像获取的患者的成像数据，其中，该至少一个计算机处理器可以配置为生成增强视图或3D立体视图，增强视图或3D立体视图包括表面、体积或其组合的3D表示，其中，该至少一个计算机处理器可以配置为通过头戴式显示器或增强现实显示装置来显示增强视图或3D立体视图，其例如叠加到患者上、或与患者的视频馈送或成像系统(如果使用增强现实显示装置，则诸如台或智能电话)组合，其中，可以基于成像系统的一个或多个部件的实时跟踪信息来确定增强视图或3D立体视图的位置和/或取向(可选地包括预期位置和/或取向)，并且其中，成像系统可以配置为在表面、体积或其组合的3D表示内或在表面、体积或其组合的3D表示的位置处获取患者的2D、3D、或2D和3D成像数据。在一些实施方案中，成像系统还可以获取具有多于3个维度(例如当以作为第4维度的时间进行顺序扫描)的成像研究。代表性实施例例如包括超声流量研究、多普勒超声、血管造影术(包括血管径流)、用于血管成像(例如整个心动周期或在心动周期期间)的造影剂推注之后的螺旋CT、或MR血管造影研究、或成像组合研究(例如SPECT-CT或PET-MRI)。
在一些实施方案中，至少一个计算机处理器可以配置为在获取患者的2D、3D、或2D和3D成像数据之前生成表面、体积或其组合的3D表示，和/或在一些实施方案中，至少一个计算机处理器可以配置为在获取患者的2D、3D、或2D和3D成像数据之前显示表面、体积或其组合的3D表示。
在一些实施方案中，至少一个计算机处理器可以配置为生成表面、体积或其组合的3D表示，其可以包括关于计划或预期或即将到来的成像数据获取(例如2D、3D、4D、5D或其组合成像获取)的限制、边缘、边沿、边界、圆周、周界、或其组合的信息。该计划或预期或即将到来的成像数据获取的限制、边缘、边沿、边界、圆周、周界、或其组合可以不包含或包括患者的任何成像数据，或者可以包括来自先前成像数据获取而不是来自计划或预期或即将到来的成像数据获取的患者的成像数据。该计划或预期或即将到来的成像数据获取的限制、边缘、边沿、边界、圆周、周界、或其组合可以包括关于成像系统的一个或多个部件的几何结构的信息、关于图像获取的位置、取向和/或几何结构的信息、关于一个或多个图像获取参数的信息、或其组合。该计划或预期或即将到来的成像数据获取的限制、边缘、边沿、边界、圆周、周界、或其组合可以基于或源自关于成像系统的一个或多个部件的几何结构的信息、关于图像获取的位置、取向和/或几何结构的信息、关于一个或多个图像获取参数的信息、或其组合。
限制、边缘、边沿、边界、圆周、周界、或其组合的地点、位置和/或取向，计划或预期或即将到来的成像数据获取的3D表示的表面或体积的地点、位置和/或取向可以基于成像系统的被跟踪的地点、位置、取向和/或坐标、和/或成像系统的一个或多个部件的被跟踪的地点、位置、取向和/或坐标。
在一些实施方案中，至少一个计算机处理器可以配置为至少部分地从关于成像系统的几何结构的信息、关于成像系统的一个或多个部件的位置、取向和/或几何结构的信息、关于图像获取的几何结构的信息、关于一个或多个图像获取参数的信息、或其组合生成表面、体积或其组合。在一些实施方案中，至少一个计算机处理器可以配置为确定与成像系统相关联的增强视图或3D立体视图的期望位置和取向，其中，该至少一个计算机处理器可以配置为在获取患者的2D、3D、或2D和3D成像数据之前生成表面、体积或其组合的3D表示，或者其中，该至少一个计算机处理器可以配置为在获取患者的2D、3D、或2D和3D成像数据之前显示表面、体积或其组合的3D表示。
在一些实施方案中，系统可配置为通过成像系统在表面、体积或其组合的3D表示的位置和取向处、和/或在由HMD或增强现实显示装置(诸如平板电脑或智能电话)显示的表面、体积或其组合的3D表示的立体视图或增强视图的位置和取向处获取来自患者的2D、3D或2D和3D成像数据。
在一些实施方案中，至少一个计算机处理器可以配置为将表面、体积或其组合(至少部分地基于关于成像系统的几何结构的信息，关于成像系统的一个或多个部件的位置、取向和/或几何结构的信息、关于图像获取的几何结构的信息、关于一个或多个图像获取参数的信息、或其组合)的3D表示的增强视图或3D立体视图投影在患者的计划成像数据获取的坐标处，该计划成像数据获取可以是2D、3D、4D、5D或更多维度的成像数据获取(例如，还考虑时间元素、减法成像等)。
在一些实施方案中，成像数据获取(例如2D、3D、4D或其组合成像数据获取)的位置可以包括患者的一个或多个目标解剖结构。这些解剖结构可以可选地使用在本说明书中描述的或本领域已知的任何技术来跟踪。
在一些实施方案中，系统可以配置为有助于确定增强视图的期望位置和取向，其中，该期望位置和取向包括患者的目标解剖结构。在一些实施方案中，至少一个计算机处理器可以配置为响应于成像系统的一个或多个被跟踪的部件的移动、和/或患者台的移动而调整增强视图或3D立体视图的位置、取向或位置和取向。该调整可以配置为将增强视图保持在相对于成像系统的一个或多个部件的定义的位置和取向处。
在一些实施方案中，关于成像系统的几何结构的信息(例如用于生成计划成像数据获取的表面、体积或其组合的表示)、关于一个或多个成像系统部件的位置、取向和/或几何结构的信息、关于图像获取的几何结构的信息、关于一个或多个图像获取参数的信息、或其组合可以包括关于一个或多个成像系统部件、一个或多个成像系统部件之间的几何关系、准直器、网格、图像增强器、检测器分辨率、x射线源、x射线管设置、kVp设置、mA设置、mAs设置、准直、管-检测器距离、管-患者距离、患者-检测器距离、患者-图像增强器距离、相对于管、检测器的台高度、相对于管、检测器的台位置、或其组合、患者位置、C臂位置、取向、或其组合、台架位置、取向、或其组合、网格高度、网格宽度、网格比率、视场、视场的中心、视场的边缘或外围、矩阵、像素大小、体素大小、图像大小、图像体积、成像平面、在x、y、z和/或倾斜方向上的图像尺寸、图像位置、图像体积位置、扫描覆盖、节距、平面内分辨率、切片厚度、增量、检测器配置、检测器分辨率、检测器密度、管电流、管电位、重建算法、扫描范围、扫描边界、扫描限制、扫描获取的旋转中心、扫描获取的旋转轴、重建的切片厚度、分割算法、窗口、水平、亮度、对比度、显示分辨率、或制成表1的任何设定参数、或其组合的信息。
一个或多个成像系统部件之间的几何关系可以例如包括管-检测器距离、管-图像增强器距离、旋转轴(例如在螺旋CT或锥形束CT或3D C臂中)、旋转中心、MRI线圈尺寸、与一个或多个尺寸/几何结构等有关的灵敏度分布(例如用于MRI分布)。关于准直器的信息可以例如包括网格间距、网格深度、准直器尺寸以及其由一个或多个马达、控制器和/或驱动器的运动引起的任何改变。
在一些实施方案中，成像系统可以包括x射线系统、荧光检查系统、C臂、3D C臂、数字断层融合成像系统、血管造影系统、双平面血管造影系统、3D血管造影系统、CT扫描器、MRI扫描器、PET扫描器、SPECT扫描器、核闪烁扫描系统、2D超声成像系统、3D超声成像系统、或其组合。
在一些实施方案中，至少一个计算机处理器可以配置为获得头戴式显示器、增强现实显示装置、患者的解剖结构、与成像系统一起使用的患者台、成像系统、成像系统的一个或多个部件、手术器械、手术工具、植入物、手术机器人、与成像系统集成或成像系统的一部分的机器人、或其任何组合的实时跟踪信息。可以使用本说明书中描述的使用外在和内在跟踪的任何跟踪技术。例如，可以使用手术导航系统、相机、3D扫描器。可以使用自内向外或自外向内的跟踪。内在信息可以用于如整个本说明书描述的跟踪。
在一些实施方案中，系统可包括相机或扫描器，该相机或扫描器配置为获取头戴式显示器、患者的解剖结构、与成像系统一起使用的患者台、成像系统、成像系统的一个或多个部件、手术器械、手术工具、植入物或其组合的实时跟踪信息。在一些实施方案中，相机或扫描器包括导航系统、3D扫描器、LIDAR系统、深度传感器、IMU或其组合中的至少一者。在一些实施方案中，跟踪信息可包括头戴式显示器、增强或混合现实显示装置、患者的解剖结构、与成像系统一起使用的患者台、成像系统、成像系统部件的一个或多个部件、或其组合的坐标信息。在一些实施方案中，跟踪信息可包括头戴式显示器、增强或混合现实显示装置、患者的解剖结构、与成像系统一起使用的患者台、成像系统、成像系统的一个或多个部件、或其组合的位置信息。在一些实施方案中，相机或扫描器可包括激光扫描器、飞行时间3D扫描器、结构光3D扫描器、手持激光扫描器、飞行时间相机或其组合。
在一些实施方案中，系统可配置为使用来自成像系统的内在信息来获得成像系统的实时跟踪信息。内在信息可包括姿态数据、传感器数据、相机数据、3D扫描器数据、控制器数据、驱动器数据、致动器数据、末端执行器数据、来自一个或多个电位计的数据、来自一个或多个视频系统的数据、来自一个或多个LIDAR系统的数据、来自一个或多个深度传感器的数据、来自一个或多个惯性测量单元的数据、来自一个或多个加速度计的数据、来自一个或多个磁力计的数据、来自一个或多个陀螺仪的数据、来自一个或多个力传感器的数据、来自一个或多个压力传感器的数据、来自一个或多个位置传感器的数据、来自一个或多个取向传感器的数据、来自一个或多个运动传感器的数据、来自步进马达的位置和/或取向数据、来自电动马达的位置和/或取向数据、来自液压马达的位置和/或取向数据、来自电动和/或机械致动器的位置和/或取向数据、来自驱动器的位置和/或取向数据、来自机器人控制器的位置和/或取向数据、来自一个或多个机器人计算机处理器的位置和/或取向数据、或其组合。
在一些实施方案中，成像系统，例如，x射线系统、荧光检查系统、C臂、3D C臂、锥形束CT、CT扫描器、SPECT CT扫描器、PET CT扫描器可配置为生成x射线束。在一些实施方案中，成像系统的x射线束可以是圆锥形或圆柱形、铅笔形或扇形。在一些实施方案中，成像系统的x射线束可源自一个或多个点源。在一些实施方案中，成像系统的x射线束可被准直。准直可以是可调节的。准直的调节可使用图形用户界面来进行，例如HMD显示的虚拟用户界面。准直可确定图像获取的表面或体积的3D表示的形状、限制、边缘、周界。3D表示可由HMD以立体形式叠加在躺在成像系统中的患者台上的患者上来显示。
在一些实施方案中，系统可包括用户界面。在一些实施方案中，用户界面可包括虚拟用户界面，其中该虚拟界面可包括至少一个虚拟对象。在一些实施方案中，例如由HMD或其他增强现实显示装置显示为虚拟界面的一部分的虚拟对象可包括一个或多个虚拟按钮、虚拟场、虚拟光标、虚拟指针、虚拟滑块、虚拟轨迹球、虚拟节点、虚拟数字显示、虚拟触摸板、虚拟键盘或其组合。在一些实施方案中，虚拟用户界面可包括手势识别、视线识别、视线锁定或其组合。其他界面可包括语音识别、眼睛跟踪、手跟踪、指针跟踪、器械跟踪、工具跟踪、或其组合，其还可以可选地用于“触摸”和/或激活由虚拟界面显示的一个或多个虚拟对象。在一些实施方案中，至少一个计算机处理器可配置为至少部分地基于用户与由HMD或其他增强现实显示装置在虚拟用户界面中显示的至少一个虚拟对象的至少一个交互而生成命令。在一些实施方案中，命令可配置为移动、倾斜或旋转成像系统的一个或多个部件、患者台的一个或多个部件或其组合。在一些实施方案中，命令可配置为对马达、致动器、驱动器、控制器、液压系统、开关、x射线管、图像增强器、成像系统、超声换能器、超声接收器、机器人(例如手术机器人)或其组合进行激活、操作、去激活或者其组合。
在一些实施方案中，例如来自虚拟界面的命令可配置为移动机器人的一个或多个部件和/或一个或多个末端执行器，移动或修改成像系统的几何结构、患者台、一个或多个成像系统部件之间的几何关系、准直器、网格、图像增强器、检测器分辨率、成像系统的设置、成像系统的参数、成像数据获取的参数、显示参数、x射线源设置，x射线管设置、kVp设置、mA设置、mAs设置、准直、管-检测器距离、管-患者距离、患者-检测器距离、患者-图像增强器距离，例如图像获取的旋转中心、管和/或检测器系统的旋转运动的旋转中心、C臂的旋转运动的旋转中心、锥形束CT扫描器的旋转运动的旋转中心、螺旋CT扫描器的螺旋获取的中心、相对于管的台高度、检测器、相对于管的台位置、检测器、患者位置、C臂位置、取向、或其组合、台架位置、取向、或其组合、网格高度、网格宽度、网格比率、视场、矩阵、像素大小、体素大小、图像大小、图像体积、成像平面、在x、y、z和/或倾斜方向上的图像尺寸、图像位置、图像体积位置、扫描覆盖、节距、平面内分辨率、切片厚度、增量、检测器配置、检测器分辨率、检测器密度、管电流、管电位、重建算法、扫描范围、扫描边界、扫描限制、重建的切片厚度、分割算法、窗口、水平(level)、亮度、对比度、显示分辨率、或其组合。
在一些实施方案中，命令可配置为设置和/或修改成像系统的一个或多个图像获取参数，成像系统例如为x射线系统、C臂、3D C臂、锥形束CT系统、CT扫描器、螺旋CT扫描器、MRI扫描器、超声系统、放射性核素成像装置、SPECT扫描器、PET系统、心脏成像系统、血管造影系统、或其任何组合。
在一些实施方案中，命令可配置为设置、移动和/或修改诸如2D、3D、4D、5D成像数据获取或其组合的成像数据获取的位置、取向、大小、面积、体积。在一些实施方案中，命令可配置为设置、移动和/或修改例如表面或体积的3D表示的一个或多个坐标，表面或体积表示即将到来的、计划的、预期的图像获取的限制、周界、外边缘，例如，用于由HMD进行立体显示或者由另一个增强现实显示装置进行的例如来自成像系统、患者等的视频馈送的增强显示。在一些实施方案中，命令可配置为设置、移动和/或修改即将到来的、计划的、预期的成像数据获取的一个或多个坐标，成像数据获取例如，2D、3D、4D、5D成像数据获取或其任何组合。
在一些实施方案中，命令可配置为设置、移动和/或修改例如表面或体积的3D表示的尺寸、大小、面积、体积或其组合，表面或体积表示即将到来的、计划的、预期的图像获取的限制、周界、外边缘以例如用于由HMD进行立体显示。
在一些实施方案中，命令可被配置成设置、移动和/或修改即将到来的、计划的、预期的成像数据获取(例如，2D、3D、4D、5D成像数据获取或其任何组合)的尺寸、大小、面积、体积或其组合。
在整个说明书的任何实施方案中，命令可配置为对成像系统的传感器、相机、视频系统、3D扫描器、Lidar系统、导航系统、电位计、电子电路、计算机芯片、压电系统、压电机构、压电锁定或释放系统、控制器、驱动器、马达、液压系统、致动器、功能单元或其组合、成像系统部件、患者台、或者其组合进行激活、操作、去激活、或者其组合。
在整个说明书的任何实施方案中，命令可配置为对手术机器人的传感器、相机、视频系统、3D扫描器、Lidar系统、导航系统、电位计、电子电路、计算机芯片、压电系统、压电机构、压电锁定或释放系统、控制器、驱动器、马达、液压系统、致动器或其组合、手术机器人的部件、手术机器人的功能单元、与手术机器人结合使用的患者台、或其组合进行激活、操作、去激活、或者其组合。
在整个说明书的任何实施方案中，传感器可包括深度传感器、惯性测量单元、加速度计、磁力计、陀螺仪、力传感器、压力传感器、位置传感器、取向传感器、运动传感器或其组合。
在一些实施方案中，成像系统的一个或多个部件可被附接至机器人、集成到机器人或成为机器人的一部分。机器人可配置为移动成像系统的一个或多个部件。
在一些实施方案中，虚拟用户界面可配置为生成由用户交互例如碰撞检测触发的事件消息。系统可包括配置为处理事件消息的事件处理器。事件处理器可配置为生成命令。在一些实施方案中，计算系统可配置为生成命令，其中命令可由虚拟用户界面触发。
在一些实施方案中，系统可配置为确定/识别可选地与成像系统相关联的增强视图或3D立体视图的期望位置/取向，以在期望位置/取向处获取例如，2D、3D、4D或其任何组合的成像数据。
在一些实施方案中，系统可配置为确定与成像系统相关联的增强视图的期望位置以在期望位置处获取2D、3D或2D和3D成像数据。在一些实施方案中，增强现实显示装置可以是头戴式显示器，并且其中增强视图可包括2D、3D和/或3D立体视图。在一些实施方案中，至少一个计算机处理器可配置为将3D立体视图投影在患者的预期2D、3D或2D和3D成像数据获取的坐标处。在一些实施方案中，2D、3D或2D和3D成像数据获取的位置包括患者的一个或多个目标解剖结构。
图6A至图6B示出了C臂系统，例如，2D或3D C臂，以及由头戴式显示器(HMD)或例如平板电脑、iPad、智能手机、iPhone等的其他增强现实显示装置进行的虚拟显示的应用的非限制性实施例。一个或多个用户1600可佩戴头戴式显示器(HMD)1610。头戴式显示器或其他增强现实显示装置可生成HMD 1610或其他增强现实显示装置的视场1620内的一个或多个虚拟对象的虚拟显示。虚拟显示可包括例如x射线束1640的能量束的表面或体积的3D表示1630。体积的表面可描述能量束1640的外包络、边缘、周界。由HMD或其他增强现实显示装置进行的3D表示和立体显示可在激活/开启能量束之前生成。表面或体积的3D表示可基于/源自于关于成像系统的一个或多个部件的几何结构、关于图像获取的几何结构的信息、关于一个或多个图像获取参数的信息或其组合。表面、体积或其组合的3D表示1630可以例如不包含来自患者1650的成像数据，或者可以包含来自先前成像数据获取的成像数据，但不是患者1650的当前的、计划的、预期的、期望的图像获取。还示出了C臂系统的x射线管1660和图像增强器1670。3D表示1630的位置、取向、或位置和取向可相对于成像系统的一个或多个部件、患者台或其组合来限定。3D表示1630的位置、取向、或位置和取向可相对于成像系统的一个或多个部件来固定；该系统可配置为使得该3D表示随着以下而移动：成像系统的一个或多个部件的移动，和/或成像系统的位置、取向和/或几何结构的任何变化，一个或多个成像系统部件(例如，还包括准直器)的位置、取向和/或几何结构的任何变化，图像获取的位置、取向和/或几何结构的任何变化，一个或多个图像获取参数的任何变化或其组合。
图6C至图6E示出3D C臂系统以及由头戴式显示器(HMD)或其他增强现实显示装置进行的虚拟显示的应用的非限制性实施例，例如其中表面或体积的3D表示1700的增强现实或立体显示表示在实际3D成像数据获取之前的预期或计划的3D成像数据获取的例如外包络或周界或限制。通过HMD或其他增强现实装置的视图1620示出在实际3D成像数据体积获取之前由HMD或其他增强现实显示装置显示的预期对患者1650进行的3D成像数据体积获取的表面或体积的3D表示1700的由HMD或其他增强现实显示装置进行的虚拟显示。这个非限制性实施例中，利用3D C臂1680(或利用任何3D或4D成像系统)预期对该患者1650进行的成像数据体积获取可以是在这个实施例中的体积圆柱形获取。任何其他3D形状的图像获取都是可能的，具体取决于所使用的成像系统、其部件以及其独特的几何结构。3D成像数据获取的表面或体积的3D表示1700可以基于/源自于成像系统的一个或多个部件的位置、取向和/或几何结构、关于图像获取的位置、取向和/或几何结构的信息、关于一个或多个图像获取参数的信息或其组合。预期的3D成像数据获取的表面或体积的3D表示1700可以例如以覆盖方式叠加到患者1650和/或目标器官或目标解剖结构(如在这个非限制性实施例中的脊柱1710的一部分)上进行显示。
成像系统，在这个非限制性实施例中的3D C臂1680，和/或其部件中的一个或多个、和/或患者台1690可由例如用户移动，可选地由一个或多个马达、控制器、驱动器、液压和/或电气系统、和/或机器人部件和/或臂辅助。可选地，成像系统，在这个非限制性实施例中的3D C臂1680，和/或其部件中的一个或多个、和/或患者台1690可被跟踪，例如，使用贯穿本说明书所描述的任何技术。此外，患者1650和/或目标器官或目标解剖结构，例如脊柱1710的一部分还可以可选地被跟踪，例如，使用贯穿本说明书所描述的任何技术。系统，包括其计算系统和/或计算机处理器中的一者或者个，可配置为使得由HMD或其他增强现实显示装置例如叠加到患者上(在实际成像数据采集之前)的预期或期望的成像数据获取的包络、周界、限制、边缘或其组合的表面或体积的3D表示1700的3D立体视图或增强视图可以相对于跟踪的成像系统1680、成像系统的跟踪的一个或多个部件1660，1670、跟踪的患者台1690、和/或可选地跟踪的解剖目标结构，如脊柱1710(例如，可选地具有一个或多个附接的标记或基准点或基准点阵列，未示出)移动。当成像系统1680或其部件1660，1670中的一个或多个被移动时，或者当患者台1690被移动时，或者当确定和/或影响图像获取的位置和/或取向的一个或多个参数被改变时，或其任何组合，系统可配置为响应于跟踪的成像系统1680的移动、其部件1660，1670中的一个或多个的移动、跟踪的患者台1690的移动、和/或确定和/或影响图像获取的位置和/或取向的一个或多个参数的变化而调整3D表示1700的3D立体视图或增强视图的位置、取向、或位置和取向。
图6C至图6E示出在实际成像数据获取之前由HMD或其他增强现实显示装置在相对于成像系统的一个或多个部件的限定的位置和取向(可选地叠加在患者上)处显示的预期或期望的成像数据获取的包络、周界、限制、边缘或其组合的表面或体积的3D表示1700如何随着跟踪的成像系统1680的移动、其部件1660中的一个或多个的移动、可选地跟踪的患者台1690的移动、和/或确定和/或影响图像获取的位置和/或取向的一个或多个参数的变化而相对于目标解剖结构，如脊柱1710，移动。
在图6C中，在实际成像数据获取之前，由HMD或其他增强现实装置在这个实施例中叠加到患者1650上的预期或期望的成像数据获取的包络、周界、限制、边缘或其组合的表面或体积的3D表示1700相对于目标解剖结构(如脊柱1710)太靠前。这会在以下情况发生：例如，当成像系统1680或其部件中的一个或多个部件相对于患者1650或目标解剖结构，如脊柱1710，在位置上太低时，或者当患者台1690相对于成像系统1680太高时。分解视图1720示出了在图像数据获取之后图像看起来什么样。在实际图像数据体积获取和结果图像中将仅包括脊柱1730的小的前部分。
在图6D中，在实际成像数据获取之前，由HMD或其他增强现实装置在这个实施例中叠加到患者1650上的预期或期望的成像数据获取的包络、周界、限制、边缘或其组合的表面或体积的3D表示1700相对于目标解剖结构，如脊柱1710，太靠侧面、偏离到侧面。这会在以下情况发生：例如，当成像系统1680或其部件中的一个或多个相对于患者1650或目标解剖结构，如脊柱1710，在位置上太靠侧面或未对准时，或者当患者台1690相对于成像系统1680，例如，成像系统的中心、C臂的旋转中心、锥形束CT的自转的中心、和/或例如利用CT扫描的螺旋的中心，太靠侧面、偏离到侧面时，或者当患者1650未正确地定位在患者台1690上时，例如，不在患者台的中心，偏离到侧面。分解视图1720示出了在实际图像数据获取之后图像看起来什么样。在图像数据体积获取和结果图像中仅包括脊柱1730的小的侧部。
在图6E中，在实际成像数据获取之前，由HMD或其他增强现实显示装置在这个实施例中叠加到患者1650上的预期或期望的成像数据获取的包络、周界、限制、边缘或其组合的表面或体积的3D表示1700相对于目标解剖结构，如脊柱1710，被正确地定位。这会在以下情况发生：例如，当成像系统1680或其部件中的一个或多个部件被正确地定位时，例如，相对于患者1650或目标解剖结构，如脊柱1710，居中，和/或当患者台1690相对于成像系统1680被正确地定位时，和/或当患者1650被正确地定位在患者台1690上时，例如，在患者台的中心，不偏离到侧面。分解视图1720示出了在实际图像数据获取之后图像看起来什么样。在图像数据体积获取和结果图像中将包括脊柱1730的整个目标部分。
图7A至图7C示出了射线照相术(例如，2D、3D)1750、血管造影术(例如，2D、3D、4D)1750或其他基于x射线的成像系统1750以及由头戴式显示器(HMD)或其他增强现实显示装置进行的虚拟显示的应用的非限制性实施例。一个或多个用户1600可佩戴头戴式显示器(HMD)1610或使用另一类型的增强现实显示装置。头戴式显示器或其他增强现实显示装置可生成HMD 1610或其他增强现实显示装置的视场1620内的一个或多个虚拟对象的虚拟显示。虚拟显示可包括例如x射线束的能量束的表面或体积的3D表示1630。体积的表面可描述能量束的外包络、边缘、周界。由HMD或其他增强现实显示装置进行的3D表示和立体显示可以在激活/开启例如x射线束的能量束之前生成。表面或体积的3D表示1630可以基于/源自于关于成像系统的一个或多个部件的位置、取向和/或几何结构、关于图像获取的位置、取向和/或几何结构的信息、关于一个或多个图像获取参数的信息或其组合。表面、体积或其组合的3D表示1630可以例如不包含来自患者1650的成像数据，或者可以包含来自先前成像数据获取的成像数据，但不是患者1650的当前、计划、预期、期望的图像获取。还示出了x射线管壳体1665。在图7B中，x射线束和对应的3D表示1630是具有圆形底部的圆锥形状。在图7C中，x射线束和对应的3D表示1630具有带有矩形或正方形底部的矩形或正方形周界。
图7D至图7E示出了射线照相术(例如，3D)1750、血管造影术(例如，3D、4D)1750或其他基于x射线的成像系统1750以及由头戴式显示器(HMD)进行的虚拟显示的应用的非限制性实施例，其中，表面或体积的3D表示1700的立体显示表示在实际3D(或可选地4D)成像数据获取之前的预期或计划的3D(或可选地4D)成像数据获取的例如外包络或周界或限制。通过HMD或其他增强现实装置的视图1620示出在实际3D成像数据体积获取之前由HMD或其他增强现实装置显示的预期对患者1650进行的3D成像数据体积获取的表面或体积的3D表示1700的由HMD进行的虚拟显示。利用这个非限制性实施例中的射线照相术(例如，3D)1750、血管造影术(例如，3D、4D)1750或其他基于x射线的成像系统1750(或利用任何3D或4D成像系统)预期在这个患者1650进行的成像数据体积获取可以是这个实施例中的体积圆柱形获取。任何其他3D形状的图像获取都是可能的，具体取决于所使用的成像系统、其部件和/或其独特的几何结构。3D成像数据(或可选地，4D)获取的表面或体积的3D表示1700可基于/源自于关于成像系统的一个或多个部件的位置、取向和/或几何结构、关于图像获取的位置、取向和/或几何结构的信息、关于一个或多个图像获取参数的信息或其组合。预期的3D成像数据获取的表面或体积的3D表示1700可以由HMD或其他增强现实装置，例如在这个非限制性实施例中的平板电脑、iPad、智能电话等，例如以覆盖方式叠加到患者1650和/或目标器官或目标解剖结构，如脊柱1710的一部分上来进行显示。
成像系统，在这个非限制性实施例中的射线照相术(例如，3D)1750、血管造影术(例如，3D、4D)1750或其他基于x射线的成像系统1750、和/或其部件中的一个或多个部件、和/或患者台1690可由用户移动，可选地由一个或多个马达、控制器、驱动器、液压和/或电气系统、和/或机器人部件和/或臂辅助。可选地，成像系统，在这个非限制性实施例中的射线照相术(例如，3D)1750、血管造影术(例如，3D、4D)1750或其他基于x射线的成像系统1750，和/或可选地其部件中的一个或多个部件，和/或可选地患者台1690可以被跟踪的，例如使用贯穿本说明书所描述的任何技术。此外，还可以可选地跟踪患者1650和/或目标器官或目标剖结构，如脊柱1710的一部分，例如，使用贯穿本说明书所描述的任何技术。系统(包括其计算系统和/或计算机处理器中的一个或多个)可配置为使得在实际成像数据获取之前由HMD或其他增强现实装置在相对于成像系统的一个或多个部件在限定的位置、取向、坐标或其组合处(如在这个实施例中，在患者身上)显示的预期或期望的成像数据获取的包络、周界、限制、边缘或其组合的表面或体积的3D表示1700的3D立体视图可相对于跟踪的成像系统1750、成像系统的跟踪的一个或多个部件、可选地跟踪的患者台1690、和/或(可选地跟踪的)解剖目标结构(如脊柱1710(例如，可选地具有一个或多个附接的标记或基准或基准阵列，未示出))移动。当成像系统1750或其部件中的一个或多个被移动时，或可选地，当患者台1690被移动时，或者当确定和/或影响图像获取的位置和/或取向的一个或多个参数被改变时，或其任何组合，系统可配置为响应于跟踪的成像系统1750的移动、其部件中的一个或多个部件的移动、跟踪的患者台1690的移动、和/或确定和/或影响图像获取的位置和/或取向的一个或多个参数的变化而调整3D表示1700的3D立体视图或增强视图的位置、取向、或位置和取向。
图7D至图7E示出了由HMD或其他增强现实装置在相对于成像系统的一个或多个部件的限定的位置、取向和/或坐标处显示的预期或期望的成像数据获取的包络、周界、限制、边缘或其组合的表面或体积的3D表示1700如何随着跟踪的成像系统1750的移动、其部件中的一个或多个部件的移动、跟踪的患者台1690的移动，和/或确定和/或影响图像获取的位置和/或取向的一个或多个参数的变化而相对于目标解剖结构(如脊柱1710)移动。
在图7D中，在实际成像数据获取之前，由HMD或其他增强现实装置叠加到患者1650上的预期或期望的成像数据获取的包络、周界、限制、边缘或其组合的表面或体积的3D表示1700相对于目标解剖结构，如脊柱1710，太靠前。这会在以下情况发生：例如，当成像系统1750或其部件中的一个或多个部件相对于患者1650或目标解剖结构，如脊柱1710，在位置上太低时，或者当患者台1690相对于成像系统1750太高时。分解视图1720示出了在图像数据获取之后图像看起来什么样。在实际图像数据体积获取和结果图像中将仅包括脊柱1730的小的前部。
在图7E中，在实际成像数据获取之前，由HMD或其他增强现实装置叠加到患者1650上的预期或期望的成像数据获取的包络、周界、限制、边缘或其组合的表面或体积的3D表示1700相对于目标解剖结构，如脊柱1710，被正确地定位。这会在以下情况发生：例如，当成像系统1750或其部件中的一个或多个被正确定位时，例如，相对于患者1650或目标解剖结构，如脊柱1710，居中，和/或当患者台1690相对于成像系统1750被正确定位时，和/或当患者1650被正确定位在患者台1690上时，例如在患者台的中心，不偏离到侧面。分解视图1720示出了在实际图像数据获取之后图像看起来什么样。在图像数据体积获取和结果图像中将包括脊柱1730的整个目标部分。
因此，在实际图像数据获取之前，通过移动跟踪的成像系统1750、成像系统的跟踪的一个或多个部件、可选地跟踪的患者台1690和/或患者1650，和/或解剖目标结构，如脊柱1710，中的一者或多者，并且通过优化由HMD或其他增强现实显示装置显示的预期对患者1650，和/或目标解剖结构，如脊柱1710，进行的3D成像数据体积获取的包络、边缘、周界和/或限制的表面或体积的3D表示1700的位置、取向或位置和取向和/或坐标，可以相对于目标解剖结构，如脊柱1710，的覆盖和/或包含优化实际图像数据获取。该方法可在实际3D体积获取之前消除对重复侦察图像和/或x射线图像(例如，AP，侧面)的需要。
图8A至图8B示出了CT、锥形束CT、螺旋CT、MRI系统、SPECT系统、PET系统1780或其组合以及由头戴式显示器(HMD)或其他增强现实装置进行的虚拟显示的应用的非限制性实施例。一个或多个用户1600可佩戴头戴式显示器(HMD)1610或携带另一增强现实装置。头戴式显示器或其他增强现实装置可在HMD 1610或其他增强现实装置的视场1620内生成一个或多个虚拟对象的虚拟显示。虚拟显示可包括例如x射线束的能量束1640的表面或体积的3D表示1630。体积的表面可描述能量束1640的外包络、边缘、周界。HMD或其他增强现实显示装置的3D表示和立体显示或增强视图可以在激活/开启例如x射线束的能量束1640之前生成。表面或体积的3D表示1630可以基于/源自于关于成像系统(例如，具有MRI系统、一个或多个梯度、梯度线圈等的成像飞洒发送和/或接收线圈)的一个或多个部件的位置、取向和/或几何结构、关于图像获取的位置、取向和/或几何结构的信息、关于一个或多个图像获取参数的信息或其组合。表面、体积或其组合的3D表示1630可以例如不包含来自患者1650的成像数据，或者可以包含来自先前成像数据获取的成像数据，但不是患者1650的当前的、计划的、预期的、期望的图像获取。
图8C至图8E示出CT、锥形束CT、螺旋CT、MRI系统、SPECT系统、PET系统1780或其组合以及由头戴式显示器(HMD)或其他增强现实装置进行的虚拟显示的应用的非限制性实施例，例如，其中表面或体积的3D表示1700的立体和/或增强显示表示实际3D(或可选地4D)成像数据获取之前预期或计划的3D(或可选地4D[例如血管流动或血管造影，例如利用螺旋CT血管造影或MRI血管造影])图像数据获取的例如外包络或周界或限制。通过HMD或其他增强现实装置的视图1620示出在实际3D成像数据体积获取之前由HMD显示的预期对患者1650进行的3D成像数据体积获取的表面或体积的3D表示1700的由HMD或其他增强现实装置进行的虚拟显示和/或增强显示。利用这个非限制性实施例中的CT、锥形束CT、螺旋CT、MRI系统、SPECT系统、PET系统1780或其组合预期对这个患者1650进行的成像数据体积获取在这个实施例中可以是体积圆柱形获取。任何其他3D形状的图像获取都是可能的，具体取决于所使用的成像系统、其部件以及其独特的几何结构。3D成像数据(或可选地，4D)获取的表面或体积的3D表示1700可基于/源自于成像系统的一个或多个部件的位置、取向和/或几何结构、关于图像获取的位置、取向和/或几何结构的信息、关于一个或多个图像获取参数的信息或其组合。预期的3D成像数据获取的表面或体积的3D表示1700可以由HMD或其他增强现实装置显示在相对于成像系统的一个或多个部件的限定的位置、取向和/或限定的坐标处，例如以覆盖方式叠加到患者1650和/或目标器官或目标解剖结构，如在这个非限制性实施例中的脊柱1710的一部分上。
该成像系统，在这个非限制性实施例中的CT、锥形束CT、螺旋CT、MRI系统、SPECT系统、PET系统1780或其组合、和/或其部件中的一个或多个、和/或患者台1690可由例如用户移动，例如可选地由一个或多个马达、控制器、驱动器、液压和/或电气系统、和/或机器人部件和/或臂辅助。可选地，成像系统，在这个非限制性实施例中的CT、锥形束CT、螺旋CT、MRI系统、SPECT系统、PET系统1780或其组合，和/或其部件中的一个或多个，和/或可选地患者台1690可以例如使用贯穿本说明书所描述的任何技术被跟踪。此外，还可以可选地跟踪患者1650和/或目标器官或目标解剖结构，如脊柱1710的一部分，例如使用贯穿本说明书所描述的任何技术。系统，包括其计算系统和/或计算机处理器中的一个或多个，可配置为使得在实际成像数据获取之前由HMD或其他增强现实显示装置在相对于成像系统的一个或多个部件的限定的位置/取向处，可选地叠加在患者上，显示的预期或期望的成像数据获取的包络、周界、限制、边沿(margin，边缘)或其组合的表面或体积的3D表示1700的3D立体视图或增强视图可相对于跟踪的成像系统1780，成像系统的跟踪的一个或多个部件，(可选地跟踪的)患者台1690、和/或解剖目标结构，如脊柱1710(还可选地被跟踪的，例如利用一个或多个附接的标记或基准点或基准点阵列，未示出)移动。当成像系统1780或其部件中的一个或多个被移动时，或者当患者台1690被移动时，或者当确定和/或影响图像获取的位置和/或取向的一个或多个参数变化时，或其任何组合，系统可配置为响应于跟踪的成像系统1750的移动、其部件中的一个或多个的移动、可选地跟踪的患者台1690的移动、和/或确定和/或影响图像获取的位置和/或取向的一个或多个参数的变化而调整3D表示1700的3D立体视图或增强视图的位置、取向、或位置和取向。
图8C至图8E示出了在实际成像数据获取之前可选地叠加在患者上的由HMD或其他增强现实装置在相对于成像系统的一个或多个部件的限定的位置、取向或其组合处显示的预期或期望的成像数据获取的包络、周界、限制、边缘或其组合的表面或体积的3D表示1700随着跟踪的成像系统1780的移动、其部件中的一个或多个的移动、可选地跟踪的患者台1690的移动，和/或确定和/或影响图像获取的位置和/或取向的一个或多个参数的变化而如何相对于目标解剖结构(如脊柱1710)移动。
在图8C中，在实际成像数据获取之前，由HMD或其他增强现实显示装置叠加到患者1650上的预期或期望成像数据获取的包络、周界、限制、边缘或其组合的表面或体积的3D表示1700相对于目标解剖结构(如脊柱1710)太靠前。这会在以下情况发生：例如，当成像系统1780或其部件中的一个或多个部件相对于患者1650或目标解剖结构(如脊柱1710)在位置上太低时，或者当患者台1690相对于成像系统1780太高时。分解视图1720示出了在图像数据获取之后图像看起来什么样。在实际图像数据体积获取和结果图像中将仅包括脊柱1730的小的前部分。
在图8D中，在实际成像数据获取之前，由HMD或其他增强现实显示装置叠加到患者1650上的预期或期望的成像数据获取的包络、周界、限制、边缘或其组合的表面或体积的3D表示1700相对于目标解剖结构(如脊柱1710)太靠后。3D表示1700部分地漂浮在患者1650上方。这会在以下情况发生：例如，当成像系统1780或其部件中的一个或多个部件相对于患者1650或目标解剖结构(如脊柱1710)在位置上太高或未对准时，或者当患者台1690相对于成像系统1780(例如，成像系统的中心、C臂的旋转的中心、锥形束CT的自转的中心、和/或例如利用CT扫描的螺旋的中心)太低时。分解视图1720示出了在实际图像数据获取之后图像看起来什么样。在图像数据体积获取和结果图像中仅包括脊柱1730的小的后部。
在图8E中，在实际成像数据获取之前，由HMD或其他增强现实显示装置叠加到患者1650上的预期或期望的成像数据获取的包络、周界、限制、边缘或其组合的表面或体积的3D表示1700相对于目标解剖结构(如脊柱1710)被正确地定位。这会在以下情况发生，例如，当成像系统1780或其部件中的一个或多个被正确定位时，例如，相对于患者1650或目标解剖结构(如脊柱1710)居中，和/或当患者台1690相对于成像系统1780被正确定位时，和/或当患者1650被正确定位在患者台1690上时，例如在患者台的中心，不偏离到侧面。分解视图1720示出了在实际图像数据获取之后图像看起来什么样。在图像数据体积获取和结果图像中将包括脊柱1730的整个目标部分。
因此，在实际图像数据获取之前通过移动跟踪的成像系统1780、成像系统的跟踪的一个或多个部件、(可选地跟踪的)患者台1690和/或患者1650，和/或(可选地跟踪的)解剖目标结构(如脊柱1710)中的一者或多者，并且在实际图像数据获取之前通过优化由该HMD或其他增强现实装置显示的预期或希望对患者1650和/或目标解剖目标结构(如脊柱1710)进行的3D成像数据体积获取的包络、边缘、周界和/或限制的表面或体积的3D表示1700的位置、取向或位置和取向和/或坐标，可以相对于目标解剖结构(如脊柱1710)的覆盖和/或包含优化实际图像数据获取。该方法可以在实际3D体积获取之前消除对重复侦察图像，例如MRI侦察图像、CT侦察图像和/或x射线图像(例如，AP，侧面)的需要。
用于确定预期的图像获取的表面、体积、包络或周界的3D表示针对不同成像系统设置相对于成像系统的一个或多个部件的位置的校准体模
在一些实施方案中，成像校准体模可用于确定表面或体积的3D表示的位置，包括关于预期的成像获取的包络、限制、周界和/或边界相对于成像系统的一个或多个部件的信息。成像校准体模可以例如包括一个或多个图像可视标记，例如，球体、部件、或隔室，包含取决于所使用的成像模态的不同类型的材料。例如，对于使用x射线或x射线束的成像系统，材料可包括金属，例如，铝、钛、钢、铅或任何其他金属。对于利用放射性核素的成像系统，体模可包括图像可视标记，例如，容纳、含有一种或多种放射性同位素或放射性核素的球体、隔室或容器。该体模可包括容纳、含有适用于特定成像模态或成像系统的造影剂的球体、隔室或容器。例如，对于MRI，体模可包括包含钆-DTPA-掺杂水的球体、隔室或容器；可替代地，也可以使用油基流体。
体模可包括在单个平面内或者在多个平面内的图像可视标记的限定的几何图案或者布置。例如，对于使用x射线的成像模态，一个或多个金属球体或珠子，即，图像可视标记，可布置成3D布局，其中多个不同的球体或珠子位于例如在多个层中的不同位置，每个位置具有不同的x、y和z坐标。
体模和包含在其中的图像可视标记(例如，球体、珠子等)的尺寸与预期的成像获取的表面、体积、包络、限制、周界相比可以更小、尺寸相似或更大。例如，体模可大于成像获取的最大包络、限制、周界和/或边界。图像可视标记可以在3个维度上紧密地间隔，例如，以20mm、15mm、10mm、5mm、3mm、2mm、1mm间隔或任何其他间隔。可以使用本领域已知的或者说明书中描述的任何跟踪或者配准技术来跟踪体模。例如，体模可包括一个或多个基准标记、光学标记、基准阵列等。
在一些实施方案中，体模可放置在与成像系统相关联的台上，例如，患者台，该患者台位于该成像系统或多个成像系统部件，例如，C臂或O臂、CT扫描器、锥形束CT或其他成像系统的通常区域和/或开口中。该系统可配置为跟踪头戴式显示器、增强或混合现实显示装置、与成像系统一起使用的患者台、成像系统、成像系统部件中的一个或多个部件、或其组合以及体模。
基于制造规格和/或可选的制造后成像测试，可以知道在体模内或者集成或者附接至体模的图像可视标记的几何结构。
计算机处理器可配置为例如使用自动化图像分割软件来自动检测体模的图像可视标记。具有图像可视标记的体模可放置在成像系统的患者台上。相对于跟踪的成像系统或成像系统的跟踪的一个或多个部件，体模的地点、位置和/或取向可以使用跟踪系统来确定。可以进行图像获取。计算机处理器可以检测包括在图像获取中的图像可视标记。因此，计算机处理器可确定在图像获取中包括哪些图像可视标记以及不包括体模的哪些图像可视标记；包含在图像/图像体积中的图像可视标记和未包含在图像/图像体积中的图像可视标记的边界可由计算机处理器用于确定例如相对于跟踪的体膜，并且因此相对于成像系统的跟踪的一个或多个部件的图像获取的边界、限制、周界、包络、表面或体积。成像系统的一个或多个部件可以使用外在或内在跟踪信息和/或技术来跟踪，如贯穿说明书所描述的。本领域技术人员可以认识到，图像可视标记在体膜内间隔得越近，则图像获取的边界、限制、周界、包络的限定可以得到越多的改进，图像获取的边界、限制、周界、包络的限定用于生成图像获取的表面或体积的3D表示。在一些实施方案中，体膜可大于由成像系统提供的最大图像获取体积。
在基于跟踪信息已知的跟踪的体膜相对于跟踪的成像系统或成像系统的跟踪的一个或多个部件的地点、位置和/或取向、并且已知的体膜的图像可视标记的几何结构、和/或已知的图像获取数据/体积中检测到的图像可视标记的情况下，计算机处理器可以生成图像获取的边界、限制、周界和/或包络的表面或体积的估计。
在一些实施方案中，可以针对成像系统的不同的几何结构(例如，不同的管检测器距离)、不同的患者台高度、成像系统的一个或多个部件(例如，准直器)的不同的位置、取向和/或几何结构、图像获取的不同的几何结构、和/或不同的图像获取参数重复图像获取。使用用于确定图像获取的边界、限制、周界和/或包络的表面或体积的前述技术，图像获取的边界、限制、周界和/或包络的表面或体积的数据和相应的3D表示可以针对给定的成像系统和不同的几何结构、位置、取向和/或图像获取参数进行存储。
当患者随后放置在成像系统台上时，可以生成和/或显示图像获取的边界、限制、周界和/或包络的表面或体积的3D表示，对应于或反映为那个患者和预期的扫描选择的一组几何结构、位置、取向和/或图像获取参数。然后，系统可通过HMD或其他增强现实显示装置显示相对于一个或多个成像部件的3D表示。成像系统可被移动到患者的目标解剖区域，同时保持相对于一个或多个成像部件的3D表示的显示。成像系统可被移动到用于相对于目标解剖区域的后续图像获取的优化位置，如通过相对于目标解剖区域的3D表示的位置在立体视图或增强视图中看到的。
本领域技术人员可以认识到，与图像获取的边界、限制、周界和/或包络的表面或体积相关的数据或信息还可以从由成像系统制造商提供的成像系统简档或数据库中检索；图像获取的边界、限制、周界、和/或包络的表面或体积和3D表示可以基于内在成像系统信息自动更新和/或调整，例如，成像系统的不同几何设置(例如，不同管检测器距离)、成像系统的一个或多个部件的不同位置、取向和/或几何设置(例如，准直器)、图像获取的不同几何设置、和/或不同图像获取参数。
实施例
实施例1-多个头戴式显示器的使用
在一些实施方案中，可以使用多个头戴式显示器。头戴式显示器(HMD)可以是视频透视头戴式显示器或光学透视头戴式显示器。参考图9，示出了对于多个观看者，例如，主要外科医生、第二外科医生、手术助手和/或护士使用多个HMD 11、12、13、14或其他增强现实显示系统的系统10，在任何实施方案中还可使用视频透视头戴式显示器。多个HMD或其他增强现实显示系统可使用解剖结构、解剖结构界标、校准体膜、参考体膜、光学标记、导航标记和/或空间锚点(例如，类似于Microsoft全息透镜所使用的空间锚点)配准在公共坐标系15中。患者的术前数据16也可以配准在公共坐标系15中。可以例如使用一个或多个IMU、光学标记、导航标记、图像或视频捕获系统和/或空间锚点来测量例如来自手术部位(例如，脊柱，可选地具有微创通路、髋关节切开术部位、膝关节切开术部位、骨切口、改变的表面)的患者的现场数据18。患者的现场数据18可配准在公共坐标系15中。术中成像研究20可配准在公共坐标系15中。OR参考(例如，OR台或房间固定装置)可以使用例如IMU、光学标记、导航标记或空间映射配准22在公共坐标系15中。术前数据16或包括术中测量结果的现场数据18或其组合可用于开发、生成或修改虚拟手术计划24。虚拟手术计划24可配准在公共坐标系统15中。HMD 11、12、13、14或其他增强现实显示系统可使用左眼的观看位置和取向将虚拟数据或虚拟数据的数字全息图投影到左眼的视图中26，并且可使用每个用户的右眼的观看位置和取向将虚拟数据或虚拟数据的数字全息图投影到右眼的视图中28，从而产生共享数字全息体验30。使用虚拟或其他界面，佩戴HMD 11的外科医生可执行命令32，例如，显示例如来自虚拟手术计划或成像研究或术中测量结果的下一个预定骨切口，这会触发HMD 11、12、13、14以将下一个手术步骤的数字全息图投影为以预定位置和/或取向叠加到手术部位上并与手术部位对准34。
通过在公共的、共享的坐标系中配准患者的现场数据，例如，术野，患者的虚拟数据以及每个HMD，患者的虚拟数据可由每个单独的HMD为每个单独的观看者针对其相应的视角或角度投影为叠加到患者的现场数据上。因此，患者的虚拟数据(包括虚拟手术计划的多个方面)可以保持与患者的现场数据叠加和/或对准，而不管观看者的视角或角度，并且当观看者移动他或她的头部或身体时可以保持对准和/或叠加。
实施例2-可选的成像数据或其他数据分割
当患者的图像叠加到通过光学头戴式显示器看到的现场数据上时，在许多实施方案中，可能需要图像分割。出于此目的，可以使用本领域中的任何已知算法，例如阈值化、种子点技术、活线(live wire)算法、可变形模型、统计模型、活动形状模型、水平设定方法、前进立方体算法、人工神经网络、深度学习技术或其组合等。这些算法中的许多是可用的开放源或商业库的一部分，例如，洞察分割与配准工具包(ITK)、开放源计算机视觉库OpenCV、G’MIC(GREYC的图像计算魔术)、Caffe或MATLAB(MathWorks，Natick，Mass.)。在图10中提供了用于分割和后续的代表性工作流。可以获得可选的术前成像研究40。可以获得可选的术中成像研究41。可以分割42术前成像研究40或术中成像研究41，提取例如表面、体积或关键特征。可以生成可选的3D重建或3D渲染43。术前成像研究40或术中成像研究41和任何3D重建或3D渲染43可以配准在公共坐标系中44。术前成像研究40或术中成像研究41和任何3D重建或3D渲染43可以用于生成虚拟手术计划45。虚拟手术计划45可以配准在公共坐标系44中。手术部位46可以配准在公共坐标系44中。可以获得术中测量47并且术中测量47可以用于生成虚拟手术计划45。头戴式显示器48可以投影或显示虚拟数据的立体图像或叠加到手术部位上且与手术部位对准的虚拟数据49。HMD 48可以配置为使用内置相机或图像捕获或视频捕获系统50来可选地检测和/或测量一个或多个光学标记51的位置和/或取向和/或对准，该光学标记可以用于坐标测量52，该坐标测量可以是术中测量47的一部分。
实施例3-立体显示器的配准和可选的重新配准
图11示出了配准用于初始手术步骤的立体显示(例如，数字全息图)或虚拟数据、执行手术步骤并且重新配准用于后续手术步骤的一个或多个全息图的实施例。光学头戴式显示器可以投影或显示虚拟数据的数字全息图或患者的虚拟数据55。立体显示/数字全息图可以可选地固定到HMD，使得其将随着HMD的移动而移动56。操作者可以移动HMD，直到患者的虚拟数据或虚拟数据的数字全息图与患者(例如，手术部位)的现场数据叠加并对准57。虚拟数据的数字全息图或虚拟数据然后可以使用与数字全息图所叠加的现场数据的坐标相同或相似的坐标进行配准58。然后，外科医生可以执行一个或多个预定的手术步骤59，例如，骨切割。虚拟数据的数字全息图或虚拟数据可以可选地在手术改变之后与现场数据配准或重新配准60。手术改变后的虚拟数据的数字全息图或虚拟数据可以可选地由HMD显示61。虚拟数据的数字全息图或手术改变后的虚拟数据可以可选地相对于HMD固定，使得其将随着HMD的移动而移动62。操作者可以移动HMD，直到患者手术改变后的虚拟数据的数字全息图或虚拟数据与患者手术改变后的现场数据叠加并对准63。虚拟数据的数字全息图或虚拟数据然后可以使用与数字全息图所叠加的手术改变后的现场数据相同或相似的坐标进行配准64。然后，外科医生可以执行一个或多个预定的后续手术步骤，例如，骨切割、铣削或钻孔65。可以可选地重复前述步骤，直到手术过程完成66。可以利用虚拟手术计划67。可选地，可以由HMD显示包括第一手术改变后的患者的天然解剖结构68。HMD可以可选地显示后续手术步骤的立体显示/数字全息图69。
实施例4-例如用于操作机器人和/或成像系统的虚拟对象的显示、虚拟界面的实施例性应用
在一些实施方案中，HMD可以显示虚拟对象，例如在术野上的任意虚拟平面。使用虚拟或其他界面能够移动虚拟对象/任意虚拟平面。例如，虚拟对象/任意虚拟平面可以包括“触摸区域”，其中，手势识别软件(例如由Microsoft提供的具有Microsoft全息透镜，包括例如用于全息图的集成的虚拟“拖动功能”)的手势识别软件可以用于移动任意虚拟平面。例如，集成或附接到HMD的一个或多个相机可以捕获外科医生的手指相对于触摸区域的移动；使用手势跟踪软件，然后可以通过使手指在期望方向上朝向触摸区域推进来移动虚拟对象/虚拟平面。经由用户交互(例如，手势识别、视线跟踪、指针跟踪等)对虚拟对象/虚拟平面的移动可以用于由计算机处理器生成命令。该命令可以触发手术机器人和/或成像系统的一个或多个部件的对应移动。
HMD可以显示最初例如投射到术野(例如髋关节、膝关节、肩关节、踝关节或脊柱)上或外的任何位置中的虚拟对象/任意虚拟平面。HMD可以可选地显示以定义的角度(例如相对于手术室中的固定结构正交或平行)显示虚拟对象/任意虚拟平面，该虚拟对象/任意虚拟平面例如可以使用集成到HMD中的一个或多个相机、图像捕获或视频捕获系统和/或3D扫描器以及诸如由Microsoft提供的具有Microsoft全息透镜的空间识别软件来识别，或者可以使用一个或多个附接的光学标记或包括红外或RF标记的导航标记来识别。例如，一个或多个光学标记可以附接至手术台的延伸部。HMD可以检测该一个或多个光学标记并且确定它们的坐标以及与其一起的手术室台的水平面。然后可以相对于手术室台垂直地或以另一角度显示虚拟对象/任意虚拟平面。
例如，在髋关节置换中，HMD可以在手术部位上显示虚拟任意平面。虚拟任意平面可以垂直于手术台或相对于OR台成另一预定义或预定角度。使用虚拟界面，例如，虚拟手术平面上的触摸区域和手势跟踪，HMD可以检测外科医生如何移动虚拟任意平面。可选地，当外科医生移动和/或重新取向平面时，任意虚拟平面可以相对于OR台保持其垂直的(或期望的其他角度)取向；当外科医生打算进行垂直的股骨颈切割时，可能需要垂直取向。当外科医生打算使股骨颈以另一取向切割时，可能需要不同的角度。虚拟对象的位置和/或取向可以从与HMD通信的第二计算系统发送到例如与手术机器人和/或成像系统通信的第一计算系统。虚拟对象的位置和/或取向可以用于设置例如在关于虚拟对象定义的区域或体积中进行图像获取的坐标。虚拟对象的位置和/或取向可以用于由手术机器人利用例如末端执行器设置用于骨切除的坐标，其中，末端执行器可以包括销、钻头、铣刀、锯、锯片、扩孔器、冲击器或其组合。
使用触摸区域或其他虚拟界面，外科医生可以将虚拟对象(例如任意虚拟平面)移动到期望位置、取向和/或对准。任意虚拟平面的移动可以包括使用任何期望角度或向量在任何期望方向上的平移和旋转或其组合，可以从第二计算系统无线发送至第一计算系统，并且可以用于生成例如用于移动、对准、定位和/或取向末端执行器、手术机器人、成像系统或其组合的一个或多个命令。外科医生可以移动虚拟对象，例如任意虚拟平面，以与选择的解剖界标相交或与选择的解剖或生物机械轴相交。外科医生可以移动虚拟对象，例如任意虚拟平面，以与选择的解剖界标或选择的解剖或生物机械轴相切。
例如，在髋关节置换中，外科医生可以移动任意虚拟平面以与较大转子的最上面和较小转子的最上面相切。图12A示出了主治外科医生已移动并对准成与较大转子71的最上面和较小转子72的最上面相切的虚拟平面70的说明性实施例。图12B示出了主治外科医生已移动并对准成与较大转子71的最上面和较小转子72的最上面相切的相同虚拟平面70的说明性实施例，现在例如具有从OR台的另一侧的第二外科医生或手术助手的光学头戴式显示器的视图。
可选地，例如，利用具有附接的光学标记或附接的导航标记的指针，或利用集成到HMD和手势识别软件(诸如Microsoft提供的具有全息透镜的软件)的图像或视频捕获系统检测到的手指，或利用具有附接的光学标记或导航标记的手指，外科医生可以指向并识别沟点，例如较大转子与股骨颈之间的最低点，这可以是额外参考。然后可以在髋部的术前或术中AP射线照片上确定连接较大转子的最上面和较小转子的最上面的线；可选地，也可在AP射线照片上检测沟点。AP射线照片可以包括外科医生用于对例如股骨和髋臼部件以及内衬和/或股骨骼进行选择和定尺寸的模板。射线照相模板可以包括股骨颈切割的指示。可以确定连接较大转子的最上面和较小转子的最上面的线与股骨颈切割的指示之间的角度。图12C是示出了第二虚拟平面73(虚拟股骨颈切割平面73)然后可以由HMD投影或显示的说明性实施例，该平面也与任意虚拟平面70一样垂直于OR台，后者与较大转子71的最上面和较小转子72的最上面相切，并且股骨颈切割平面73到任意虚拟平面的角度和/或距离与连接较大转子的最上面和较小转子的最上面的线与射线照片上股骨颈切割的指示之间的角度和距离相同。以此方式，可以使用基于术中放置的由操作者移动为与较大转子的最上面和较小转子的最上面相切的任意虚拟平面规定或预定的第二虚拟平面来定义股骨颈切割平面。在这个实施例中，第二虚拟平面可以是股骨颈切割平面，其可以从与HMD通信的第二计算系统无线发送至与手术机器人通信的第一计算系统；计算机处理器可以配置为生成一个或多个命令以移动和/或调整手术机器人的末端执行器来与虚拟股骨颈切割平面对准并且随后执行与虚拟股骨颈切割平面叠加和对准的股骨切割。
以此方式规定和投影或显示的虚拟股骨颈切割平面还可以是虚拟引导件，例如投影例如用于引导物理锯的虚拟槽的虚拟切割块。虚拟引导件或虚拟切割块可以具有与物理引导件或切割块相同的一个或多个尺寸，使得物理引导件或切割块可以与虚拟引导件或切割块对准。虚拟引导件或切割块可以是具有一个或多个相同尺寸的物理引导件或切割块的2D或3D(部分或全部)轮廓，使得外科医生可以使物理引导件或切割块与虚拟引导件或切割块对准。虚拟引导件或切割块可以包括用于物理引导件或切割块的放置标志。
实施例5-用于修改虚拟手术计划和/或用于操作手术机器人或成像系统的一个或多个/数个HMD或其他增强现实显示系统的使用
图13示出了在手术期间，例如由第一外科医生、第二外科医生、手术助手和/或一个或多个护士可以如何使用多个HMD或其他增强现实显示系统以及在手术过程中由多个HMD或其他增强现实显示系统可以如何修改和显实施例如与手术机器人一起使用的手术计划，同时为每个单独的手术者保留虚拟数据和相应的现场数据的正确透视图的说明性实施例。示出了数个观察者(例如，主治外科医生、第二外科医生、手术助手和/或护士)使用多个HMD 11、12、13、14或其他增强现实显示系统的系统10。可以使用解剖结构、解剖界标、校准体模、参考体模、光学标记、导航标记、扫描器、相机、3D扫描器和/或空间锚(例如，类似于Microsoft全息透镜使用的空间锚)将多个HMD或其他增强现实显示系统配准在公共坐标系15中。也可以将患者的术前数据16配准在公共坐标系15中。可以例如使用一个或多个IMU、光学标记、导航标记、图像或视频捕获系统和/或3D扫描器和/或空间锚来测量患者的现场数据18，例如来自手术部位(例如，脊柱，可选地具有最小侵入性接入)、髋关节切开部位、膝关节切开部位、骨切割、改变的表面。患者的现场数据18可以配准在公共坐标系15中。术中成像研究20可以配准在公共坐标系15中。可以使用例如光学标记IMU、导航标记或空间映射22将OR参考(例如，OR台或手术室夹具)配准在公共坐标系15中。术前数据16或包括术中测量的现场数据18或其组合可以用于开发、生成或修改虚拟手术计划24。虚拟手术计划24可以配准在公共坐标系15中。HMD 11、12、13、14或其他增强现实显示系统可以针对每一HMD11、12、13、14为每一观看者的透视图及位置及头部位置及取向27保持患者的虚拟数据与患者的现场数据的对准和叠加。使用虚拟或其他界面，佩戴HMD 11的外科医生可以与由HMD或其他增强现实显示系统显示的一个或多个虚拟对象交互，以生成/执行命令32，例如以显实施例如来自虚拟手术计划或成像研究或术中测量的下一个预定骨切割，这可以触发HMD11、12、13、14或其他增强现实显示系统在预定位置和/或取向投影叠加到手术部位上并与手术部位对准的下一个手术步骤34的虚拟数据。与HMD或其他增强现实显示系统通信的一个或多个计算系统/计算机处理器可以生成由与由HMD显示的虚拟对象交互的用户触发的命令。一个或多个计算系统/计算机处理器可以可选地将命令无线发送到例如与机器人和/或成像系统通信的一个或多个不同的计算系统/计算机处理器。例如与机器人和/或成像系统通信的一个或多个不同的计算系统/计算机处理器可以例如处理该命令以启动、开始、停止、激活、去激活、移动、调整手术机器人和/或成像系统的一个或多个部件、控制器、驱动器、马达、传感器、继电器、处理器或其组合的位置/取向。HMD 11、12、13、14或其他增强现实显示系统中的任一者可以使用例如集成或附接的相机、图像捕获或视频系统或扫描器(例如，3D扫描器)来获取例如解剖界标、来自相机的轴、解剖轴、生物机械轴、腿17的机械轴的一个或多个光学或其他测量或测量输入。通过使用多个HMD 11、12、13、14或其他增强现实显示系统从多个相机、图像捕获或视频系统、扫描器、3D扫描器的不同视角可以可选地提高测量的准确度。可选地，可以使用多个HMD 11、12、13、14或其他增强现实显示系统从多个相机、图像捕获或视频系统的不同视角来执行视差/立体测量。一个或多个光学测量可以用于可选地使用来自多个HMD 11、12、13、14或其他增强现实显示系统的信息来修改虚拟手术计划19。本领域技术人员可以认识到，可以使用多个坐标系来代替公共坐标系。在这种情况下，坐标变换可以从一个坐标系应用至另一个坐标系，例如用于配准HMD、患者的包括手术部位的现场数据、虚拟器械和/或虚拟植入物以及物理器械和物理植入物。
实施例6-例如用于操作手术机器人和/或成像系统的虚拟手术引导件(例如，虚拟轴)的HMD显示器
在脊柱、关节(例如，髋关节)、一个或多个HMD或其他增强现实显示系统中，一个或多个虚拟数据集或虚拟数据可以配准在公共坐标系中。在关节(例如，髋关节)中，例如具有相对的软骨表面和在软骨下骨的两个相对的关节表面可以单独地和/或可选地联合配准在坐标系(例如，公共坐标系)中。第一关节表面可以位于骨盆侧上，即髋臼上，第二关节表面可以位于近侧股骨上。将第一关节表面和/或相关的骨和/或结构和第二关节表面和/或相关的骨和/或结构分开地配准在公共坐标系中可以具有允许移动的益处，例如髋臼侧上的第一关节表面和/或相关的骨和/或结构相对于例如近侧股骨侧上的第二关节表面和/或相关的骨和/或结构的屈曲和/或延伸和/或旋转和/或外展、和/或内收、和/或升高和/或例如平移的其他移动，同时保持例如髋臼侧上的第一关节表面和/或相关的骨和/或结构和/或例如近侧股骨侧上的第二关节表面和/或相关的骨和/或结构例如在公共坐标系或子坐标系中的配准，例如可选地连同一个或多个HMD或其他增强现实显示系统和/或可选地手术室中的固定结构(例如，OR台)和/或患者的其他结构或解剖界标一起，例如不考虑关节的各个部分的移动；前述适用于人体中的任何关节，例如，肩关节、肘关节、腕关节、指关节、膝关节、踝关节、足或趾关节或颞下颌关节。以此方式，髋关节或任何其他关节可以被放置于不同位置，例如屈曲、伸展、旋转、外展、内收，例如在股骨部件放置期间髋外展的度，例如20度、30度、40度或其他度，以及在髋臼部件放置期间髋外展的度，例如30度、40度或50度或其他度，或取决于手术技术和外科医生偏好的任一部件放置的任何其度，同时髋臼的配准和/或近侧股骨侧的配准和任何虚拟数据的显示，例如，髋臼侧和/或近侧股骨侧上的虚拟手术引导件、虚拟切割平面、虚拟植入部件可以保持并叠加到相应的解剖区域上，例如，旨在用于放置植入部件的区域，而不管关节的各个部分的移动，从而允许一个或多个HMD或其他增强现实显示系统保持例如以正切、相交和/或偏移的方式(例如在正常的、受损的和/或患病的软骨和/或软骨下骨和/或皮质骨的外部和/或内部)叠加到例如包括正常的、受损的和/或患病的软骨和/或软骨下骨和/或皮质骨的物理关节解剖的相应部分(例如，关节表面)上的虚拟数据的解剖配准的显示。图14A至图14F是使用一个或多个HMD或其他增强现实显示系统显示虚拟手术引导件(例如，虚拟髋臼扩孔轴)以及将例如附接到手术机器人上或手术机器人的一部分的物理髋臼扩孔器与虚拟扩孔轴对准以用于以预定杯角度、偏移、内侧或外侧位置和/或前倾和/或倾斜放置髋臼杯的说明性实施例。图14A示出了第一外科医生的例如通过HMD在患者暴露的髋臼280上的视图。还应注意，可以可选地用于例如使用附接的光学标记或导航标记的配准目的的髂前上棘281和耻骨联合关节282。在图14B中，第一外科医生可以通过HMD看到虚拟髋臼扩孔轴283，HMD可以预定方式取向以例如从用于患者的虚拟手术计划实现预定髋臼杯角度、偏移、内侧或外侧位置和/或前倾和/或倾斜。在图14C中，第一外科医生对准物理髋臼扩孔轴284，使得其中心轴与虚拟髋臼扩孔轴对准或叠加，从而将扩孔器头285以预定位置和取向放置在髋臼中，以用于预定髋臼杯角度、偏移、内侧或外侧位置和/或前倾和/或倾斜。
图14D示出了第二外科医生通过HMD在他或她的视角观看的在患者暴露的髋臼280上的现场数据和虚拟数据的视图。还应注意，可以可选地髂前上棘281和耻骨联合关节282例如使用附接的光学标记或导航标记以用于配准目的。在图14E中，第二外科医生可以通过HMD看到虚拟髋臼扩孔轴283，HMD可以预定方式取向以例如从用于患者的虚拟手术计划实现预定髋臼杯角度、偏移、内侧或外侧位置和/或前倾和/或倾斜。虚拟髋臼扩孔轴以与第二外科医生所看到的患者的现场数据的视角或透视角匹配的视角或透视角来投影。在图14F中，第二外科医生可以看到第一外科医生如何对准物理髋臼扩孔轴284，使得其中心轴与虚拟髋臼扩孔轴对准或叠加，从而将扩孔器头285以预定位置和取向放置在髋臼中，以用于预定髋臼杯角度、偏移、内侧或外侧位置和/或前倾和/或倾斜。可选地，例如，具有一个或多个虚拟对象的虚拟界面可以由HMD显示，用于外科医生进行交互。该交互可以用于通过计算机处理器生成命令，该命令可以配置为例如启动、开始、停止、激活、去激活、移动、调整手术机器人和/或成像系统的一个或多个部件、控制器、驱动器、马达、传感器、继电器、处理器或其组合的位置/取向。
图15A至图15D提供了虚拟手术引导件(诸如由HMD显示的远侧股骨切割块)和物理手术引导件(诸如物理远侧股骨切割块)的使用的说明性、非限制性实施例。图15A示出了膝关节置换手术期间患者暴露的远侧股骨300、内髁301、外髁302和滑车303的现场数据。在图15B中，一个或多个HMD或其他增强现实显示系统可以例如针对外科医生的左眼和右眼以立体方式显示虚拟远侧股骨切割块，从而产生虚拟手术引导件(即，虚拟远侧切割块)的电子全息图的形式。在这个实施例中，虚拟远侧股骨切割块304是物理远侧股骨切割块的轮廓，具有与物理远侧股骨切割块的尺寸基本上相似的尺寸。虚拟远侧股骨切割块304至少部分基于用于引导远侧股骨切割的预定位置的坐标而对准，例如，用于实现相对于远侧股骨以及例如其解剖结构或生物机械轴的预定内翻或外翻校正和/或预定股骨部件屈曲。在图15C中，物理手术引导件305(即这个实施例中的物理远侧股骨切割块305(实线)(它可以可选地附接到手术机器人上或手术机器人的一部分)可以被移动和对准(例如，通过手术机器人)成与虚拟手术引导件304(即这个实施例中的虚拟远侧股骨切割块304(虚线))基本上叠加或对准。膝关节306的被物理远侧股骨切割块305遮挡或隐藏的隐藏区域还可以可选地由HMD显示。在图15D中，物理远侧股骨切割块305(其可以可选地附接到手术机器人上或手术机器人的一部分)可以使用两个销307附接到远侧股骨。这些销307可以用于后续手术步骤，例如用于参考屈曲间隙或延伸间隙或用于韧带平衡。HMD可以停止显示虚拟手术引导件，即这个实施例中的虚拟股骨远端切割块，但是可以可选地继续显示隐藏的解剖结构，例如膝关节306的隐藏区域。可选地，例如，具有一个或多个虚拟对象的虚拟界面可以由HMD显示，用于外科医生进行交互。该交互可以用于通过计算机处理器生成命令，该命令可以配置为例如启动、开始、停止、激活、去激活、移动、调整手术机器人和/或成像系统的一个或多个部件、控制器、驱动器、马达、传感器、继电器、处理器或其组合的位置/取向。该命令可以可选地从与一个或多个HMD或其他增强现实显示系统通信的计算系统/计算机处理器发送到与机器人和/或成像系统通信的计算系统/计算机处理器。
图16A至图16C提供了虚拟手术引导件(诸如由HMD显示的AP股骨切割块)和物理手术引导件(诸如用于膝关节置换的物理AP切割块)的使用的说明性、非限制性实施例。图16A示出了在产生平面远侧表面310的远侧股骨切割之后的膝关节置换手术期间患者暴露的远侧股骨300、内髁301、外髁302和滑车303的现场数据。在图16B，一个或多个HMD或其他增强现实显示系统可以例如针对外科医生的左眼和右眼以立体方式显示虚拟股骨AP切割块312，从而产生虚拟手术引导件(即，虚拟股骨AP切割块312)的电子或数字全息图的形式。在该实施例中，虚拟股骨AP切割块312是具有的尺寸、边缘或平面与物理股骨AP切割块相似的物理股骨AP切割块的轮廓。虚拟股骨AP切割块312至少部分地基于预定位置的坐标而对准，例如用于实现预定股骨部件旋转,预定位置用于引导取决于物理股骨AP切割块的配置的不同的骨切割(例如，前部切割、后部切割和/或倒角切割)。在图16C中，物理手术引导件314(即这个实施例中的物理股骨AP切割块314(实线))(例如，附接至手术机器人上或手术机器人的一部分)可以被移动并且对准成与虚拟手术引导件312(即这个实施例中的虚拟股骨AP切割块312(虚线))基本上叠加或对准。可以使用销(未示出)将物理股骨AP切割块(可选地附接到手术机器人上或手术机器人的一部分)附接到远侧股骨上并且可以执行这些切割。可以可选地基于使用物理股骨AP切割块执行的一个或多个切割来参考后续手术步骤。
外科医生可以将物理股骨AP切割块与虚拟股骨AP切割块的数字全息图或其2D或3D轮廓或由HMD投影的一个或多个放置指示符对准或基本上叠加。一旦已经实现了物理AP切割块与虚拟AP切割块或其2D或3D轮廓或者由HMD显示的一个或多个放置指示符的充分对准或叠加，外科医生就可以钉住物理AP切割块并且执行切割。通过利用例如来自光学标记和图像或视频捕获或扫描器测量(包括立体成像)的术前3D数据信息或术中信息，针对在HMD的帮助下的物理股骨AP切割块的定位、对准和旋转，外科医生可以以高度准确的方式执行前部和后部股骨切割，从而实现股骨部件的准确的旋转对准。可以将相同方法和显示选项，例如虚拟切割块、2D或3D轮廓或一个或多个放置指示符应用于包括倒角切割和倒角切割块的所有后续股骨准备步骤。
可选地，例如，具有一个或多个虚拟对象的虚拟界面可以由HMD显示，用于外科医生进行交互。例如，虚拟对象可以是虚拟手术引导件，例如虚拟AP切割块。交互可以包括例如使用跟踪的指针、手势识别、手指跟踪、对象跟踪等移动虚拟对象，例如虚拟手术引导件。该交互可以用于通过计算机处理器生成命令，该命令可以配置为例如启动、开始、停止、激活、去激活、移动、调整手术机器人和/或成像系统的虚拟对象(例如，虚拟手术引导件)以及可选地对应的一个或多个部件、控制器、驱动器、马达、传感器、继电器、处理器或其组合的位置/取向。该命令可以可选地从与一个或多个HMD或其他增强现实显示系统通信的计算系统/计算机处理器发送到与机器人和/或成像系统通信的计算系统/计算机处理器。
值得注意的是，类似步骤和HMD引导的股骨手术过程也可以使用具有公开文本中描述的或本领域中已知的任何其他配准和交叉参考技术(例如，术中图像引导)的HMD。
图17A至图17F提供了虚拟手术引导件(诸如由HMD显示的虚拟近侧胫骨切割引导件)和物理手术引导件(诸如物理近侧胫骨切割引导件)的使用的说明性、非限制性实施例。图17A示出了患者的膝关节置换手术期间暴露的近侧胫骨330、胫骨内侧平台331、胫骨外侧平台332和胫骨内侧脊柱333和胫骨脊柱外侧334的现场数据。在图17B中，一个或多个HMD或其他增强现实显示系统可以例如针对外科医生的左眼和右眼以立体方式显示虚拟近侧胫骨切割引导件，从而产生虚拟手术引导件(即，虚拟近侧胫骨切割引导件)的电子全息图的形式。在这个实施例中，虚拟近侧胫骨切割引导件336可以是物理近侧胫骨切割引导件的轮廓，具有与物理近侧胫骨切割引导件的尺寸基本上相似的尺寸。虚拟近侧胫骨切割引导件336至少部分基于用于引导近侧胫骨切割的预定位置的坐标而被对准，例如，用于实现相对于近侧胫骨以及例如其解剖结构或生物机械轴的预定内翻或外翻校正和/或预定斜率。在图17C中，(例如，集成到、附接至手术机器人或手术机器人的一部分的)物理手术引导件338(即这个实施例中的物理近侧胫骨切割引导件338(实线))可以被移动并对准成与虚拟手术引导件336(即这个实施例中的虚拟近侧胫骨切割引导件336(虚线))基本上叠加或对准。注意物理近侧胫骨切割引导件338中的两个销孔339。在图17D中，物理近侧胫骨切割引导件338可以使用两个销340附接到近侧胫骨。这些销307可以用于后续手术步骤，例如用于参考屈曲间隙或延伸间隙或用于韧带平衡。在图17E中，示出了图17B的可替换的实施方案。一个或多个HMD或其他增强现实显示系统可以例如针对外科医生的左眼和右眼以立体方式显示虚拟近侧胫骨切割平面342，从而产生虚拟胫骨切割平面的电子全息图的形式。在这个实施例中，虚拟近侧胫骨切割平面342与物理近侧胫骨切割引导件的预定切割平面平行且基本上对准和叠加。虚拟近侧胫骨切割平面342至少部分基于用于引导近侧胫骨切割的预定位置的坐标而对准，例如，用于实现相对于近侧胫骨以及例如其解剖结构或生物机械轴的预定内翻或外翻校正和/或预定斜率。物理锯片或用于对准物理近侧胫骨切割引导件中的物理锯片(例如，作为具有集成或附接的锯的手术机器人的末端执行器)的槽或用于将锯片容纳在物理近侧胫骨切割引导件中的开放引导区域然后可以与虚拟近侧胫骨切割平面342对准并且至少部分地叠加。在图17F中，示出了图17B的可替换的实施方案。一个或多个HMD或其他增强现实显示系统可以针对外科医生的左眼和右眼例如以立体方式显示放置在近侧胫骨中的两个或多于两个虚拟钻头或销344，从而产生虚拟胫骨销或钻头的电子全息图的形式。在这个实施例中，虚拟钻头或销344可以是可以用于将物理近侧胫骨切割引导件固定至近侧胫骨的物理销或钻头的轮廓或投影路径。虚拟钻头或销344至少部分基于用于引导近侧胫骨切割的预定位置的坐标而对准，例如，用于实现相对于近侧胫骨以及例如其解剖结构或生物机械轴的预定内翻或外翻校正和/或预定斜率。物理钻头或销(未示出)然后可以与虚拟钻头或销344对准和叠加，并且被放置在近侧胫骨中。然后可以将物理近侧胫骨切割引导件附接到物理销，并且可以执行近侧胫骨切割。
可选地，例如，具有一个或多个虚拟对象的虚拟界面可以由HMD显示，用于外科医生进行交互。例如，虚拟对象可以是虚拟手术引导件，例如虚拟切割平面、虚拟销、虚拟钻头、虚拟轴、虚拟工具、虚拟器械、虚拟植入物。交互可以包括例如使用跟踪的指针、手势识别、手指跟踪、对象跟踪等移动虚拟对象，例如虚拟手术引导件。该交互可以用于通过计算机处理器生成命令，该命令可以配置为例如启动、开始、停止、激活、去激活、移动、调整手术机器人和/或成像系统的虚拟对象(例如，虚拟手术引导件，例如虚拟切割平面、虚拟销、虚拟钻头、虚拟轴、虚拟工具、虚拟器械、虚拟植入物)以及可选地对应的一个或多个部件、控制器、驱动器、马达、传感器、继电器、处理器或其组合的位置/取向。该命令可以可选地从与一个或多个HMD或其他增强现实显示系统通信的计算系统/计算机处理器发送到与机器人和/或成像系统通信的计算系统/计算机处理器。
实施例7-标记(例如，光学标记)的使用
在一些实施方案中，可以使用HMD获得数据，例如由Microsoft制造的HMD、Microsoft全息透镜或全息透镜2(威斯康星州雷德蒙德市的Microsoft)。全息透镜可以使用例如包括Unity(加利福尼亚州旧金山的Unity Technologies)和Vuforia 6.2(马萨诸塞州尼德汉姆的PTC，Inc.)的Windows全息API。
使用Microsoft全息透镜和Vuforia 6.2配准光学标记
图18示出了具有已经制备好的25个正方形和四个4.0x 4.0cm光学标记420的木板，其中在间隔4.0cm的等距位置应用四个不同的QR码。如图19中可见，实施软件例程以投影叠加到正方形上的具有4.0x 4.0x 4.0cm尺寸的四个立方体423并且保持正方形上的配准而不管头部移动。图19示出了结果。Microsoft全息透镜不能保持四个立方体在指定的光学标记上的配准；该立方体有时移位多达3-4cm并且还是倾斜的。例如，可以使用全息透镜和OpenCV 2.4实现对光学标记的配准。可以在全息透镜系统上使用OpenCVForUnity实现OpenCV 2.4，开放源计算机视觉框架(加利福尼亚州圣克拉拉的Intel Inc.)。如图20可见，可以3.0x 3.0cm的距离布置具有2.8x 2.8cm大小的从OpenCV可获得的ArUco标记425。在图20的底部示出了cm标尺426。使用图21示出的结果所示的这种方法，使用内部全息透镜相机采集25个标记425需要1秒，对应于每个标记大约40ms。如图21可见，如由显示的绿色标记ID号428所指示的一致地识别标记，其中仅有很少的偶然丢弃，没有显示绿色标记ID号430。
标记可以安装在具有2.8x 2.8cm尺寸的木板上并且以3.0x 3.0cm的距离布置，并且可以在全息透镜和板之间在距板中心约32.5cm的距离处以约40度的角度获得光学检测的标记位置相对实际标记位置的位移的静态测量结果。图22示出了将黑色432中的实际标记尺寸(2.8x 2.8cm)和位置与使用被视为红色轮廓434的全息透镜相机的光学检测的标记进行比较的实施例。由于角度，标记在图像中不是正方形的。在该测试中，像素大小在水平方向上约为0.5mm，在竖直方向上约为0.75mm。数据指示子像素准确度，这是可以实现数据的以下分析的原因：如果大于一半的灰度值低于平均灰度值(即，黑色背景与灰色背景之间的灰度值)，则认为不正确地检测到上、下、左和右边界处的像素。例如，图22中的上边界处的水平红线将需要精确地高1个像素，以便被计数为正确地检测到。相反，从左侧开始的下第二和第三水平红线被计数为精确地检测到。然后，可以确定正确检测到的每个边缘(上、下、左、右)的百分比，例如，在图22中，上边缘为100％，下边缘为50％。对25个标记的分析示出了光学检测的标记位置与实际标记之间的最大偏差为0.75mm，即在竖直方向上的一个像素尺寸，其中光学检测的标记位置与实际标记之间的平均偏差为0.349个像素＝0.26mm。
实施例8-虚拟用户界面的应用
用于椎弓根螺钉、椎间体装置、或其他类型的植入物(例如用于关节置换)的路径的虚拟界面可以使用例如用于全息透镜引擎的Unity(加利福尼亚州旧金山的UnityTechnologies)。Unity的姿势识别器界面允许识别不同的保持、导航和操纵功能。另外，注视功能可以用于实现由用户的观看方向控制的光标。因此，在选择应用中，用户的注视可以控制包括光标移动的光标。闭合眼皮还可以例如用于生成执行功能的命令。利用虚拟界面，例如可以使用映射到入口点和向量的手势命令对由HMD显示的荧光检查图像执行规划。如图23A至图23E中所示，外科医生可以使用手势命令(例如，拇指和食指的合拢位置或拇指和食指的打开位置)放置与手术器械(例如，锥子或椎弓根螺钉)的预期路径对应的向量。图23A至图23E示出了用于放置椎弓根螺钉的预期路径的说明性实施例。在图23A至图23E中，示出腰椎水平L1至L5的腰椎442的荧光检查图像440由HMD显示，使用具有附接至患者背部的光学标记446的参考框架444与解剖界标配准。每个标记具有其自己的唯一QR或其他码，由此可选地识别患者的左侧和右侧、上侧和下侧。可以使用其他标记，例如反光标记球或盘。在图23B中，HMD在任意位置显示初步路径448；还看到了拇指450和食指452。外科医生可以在手指打开的情况下将手指朝向任意路径移动。在图23C中，外科医生将拇指450和食指452在预期路径454上方合拢，从而经由手势识别触发命令以随着手指移动来移动预期路径。在图23D中，外科医生通过移动拇指450和食指452来将预期路径455移动到在椎弓根上的期望的取向中。在图23E中，外科医生打开拇指450和食指452，从而经由手势识别触发命令以将预期路径455的向量固定在坐标系中。在该非限制性实施例中，打开位置指示向量被锚定并且预期路径相对于全局坐标系和解剖界标固定。在这个非限制性实施例中，合拢位置指示向量可以随着手指的移动而以六个自由度移动。可以使用任何其他手指符号和移动。
例如经由手势识别或与虚拟用户界面(例如显示诸如虚拟按钮、滑块、键盘等的虚拟对象)的用户交互可以用于通过计算机处理器生成命令，该命令可以配置为例如启动、开始、停止、激活、去激活、移动、调整手术机器人和/或成像系统的虚拟对象(例如，虚拟手术引导件，例如虚拟切割平面、虚拟轨迹、虚拟销、虚拟钻头、虚拟轴、虚拟工具、虚拟器械、虚拟植入物)以及可选地对应的一个或多个部件、控制器、驱动器、马达、传感器、继电器、处理器或其组合的位置/取向。该命令可以可选地从与一个或多个HMD或其他增强现实显示系统通信的计算系统/计算机处理器发送到与机器人和/或成像系统通信的计算系统/计算机处理器，然后可以实现或使得启动、开始、停止、激活、去激活、移动、调整手术机器人和/或成像系统的一个或多个部件、控制器、驱动器、马达、传感器、继电器、处理器或其组合。例如，该命令可以使得与机器人通信的计算系统/计算机处理器移动机器人臂和末端执行器和/或钻头引导件，以与由外科医生使用虚拟用户界面和/或手势识别所定义的轨迹对准。
图24A和图24B提供了包括虚拟用户界面990并且包括用于引导脊柱器械和植入物的HMD显示的一个或多个增强现实HMD显示器的说明性、非限制性实施例，该虚拟用户界面例如显示一个或多个虚拟按钮、虚拟场、虚拟光标、虚拟指针、虚拟滑块、虚拟轨迹球、虚拟节点、虚拟数字显示器、虚拟触摸板、虚拟键盘或其组合，用于虚拟放置、定尺寸、装配、选择和对准虚拟椎弓根螺钉。虚拟用户界面990可以配置用于选择不同尺寸的虚拟椎弓根螺钉，例如直径以mm为单位。计算机处理器可以配置为允许例如使用基于术前CT扫描或术中O臂或3D C臂扫描生成的3D模型将虚拟椎弓根螺钉放置和移动到患者的虚拟显示的脊柱993上。计算机处理器可以配置用于使用例如语音命令或手势命令来选择不同尺寸的植入物(例如，以mm为单位)，例如，尺寸为6.0mm。可以显示用于引导放置一个或多个物理椎弓根螺钉的虚拟路径996。计算机处理器可以配置为使用例如手势识别或语音命令来移动、放置、定尺寸和对准虚拟椎弓根螺钉1000，并且可选地显示例如来自CT扫描的放大视图1003，从而演示了包括椎弓根1009的中间壁的椎弓根1006。还可以示出虚拟椎弓根螺钉1000的目标放置位置1012。虚拟螺钉可以被调整成放置在椎弓根的中心。可以例如使用导航系统或视频系统(例如，利用导航标记或光学标记或直接光学跟踪)来跟踪物理螺钉和/或锥子或螺钉起子。当螺钉路径、锥子路径或螺钉起子路径延伸超过椎弓根的中间壁时，计算机处理器可以例如经由颜色编码或声学信号产生警报。物理器械(例如，物理锥子1015)可以与由HMD投影的虚拟路径996对准并叠加在该虚拟路径上。
例如经由手势识别或与虚拟用户界面(例如显示诸如一个或多个虚拟按钮、虚拟场、虚拟光标，虚拟指针、虚拟滑块、虚拟轨迹球、虚拟节点、虚拟数字显示、虚拟触摸板、虚拟键盘或其组合的虚拟对象)的用户交互可以用于通过计算机处理器生成命令，该命令可以配置为例如启动、开始、停止、激活、去激活、移动、调整手术机器人和/或成像系统的虚拟对象的位置/取向，虚拟对象例如虚拟手术引导件，例如虚拟切割平面、虚拟轨迹、虚拟销、虚拟钻头、虚拟轴、虚拟工具、虚拟器械、虚拟植入物(例如，虚拟螺钉或虚拟笼或其他椎间体装置))以及可选地对应的一个或多个部件、控制器、驱动器、马达、传感器、继电器、处理器或其组合。该命令可以可选地从与一个或多个HMD或其他增强现实显示系统通信的计算系统/计算机处理器发送到与机器人和/或成像系统通信的计算系统/计算机处理器，然后可以实现或使得启动、开始、停止、激活、去激活、移动、调整手术机器人和/或成像系统的一个或多个部件、控制器、驱动器、马达、传感器、继电器、处理器或其组合。例如，该命令可以使得与机器人通信的计算系统/计算机处理器移动机器人臂和末端执行器和/或钻头引导件，以与由外科医生使用虚拟用户界面和/或手势识别所定义的轨迹对准。
图25A和图25B提供了一个或多个增强现实HMD显示器的说明性、非限制性实施例，一个或多个增强现实HMD显示器用于虚拟放置、定尺寸、装配、选择和对准植入部件。虚拟股骨部件960可以由一个或多个HMD显示器显示。例如显示一个或多个虚拟按钮、虚拟场、虚拟光标、虚拟指针、虚拟滑块、虚拟轨迹球、虚拟节点、虚拟数字显示器、虚拟触摸板、虚拟键盘或其组合的虚拟用户界面963可以配置用于选择不同大小的虚拟股骨部件。计算机处理器可以配置为允许将虚拟股骨部件放置和移动到患者的物理远侧股骨966上。在图25B的实施例中，计算机处理器可配置用于使用例如语音命令来选择不同大小(size，尺码)的植入物，例如大小为6，并且用于使用配置为识别食指969和拇指972的手势识别来将虚拟股骨部件960与现场患者的物理远侧股骨对准。虚拟植入物可以相对于坐标系配准和/或显示。一个或多个标记975(例如，具有QR码或反光或其他标记)可以配准在相同的坐标系中。在经由与虚拟用户界面的用户交互进行调整之后，虚拟植入物的最终位置和/或取向的坐标可以从与HMD通信的计算系统/计算机处理器例如无线发送到与手术机器人和/或成像系统通信的计算系统/计算机处理器。命令可以由通过与虚拟用户界面的用户交互触发的一个或多个计算机处理器产生，并且可以从与HMD通信的计算系统/计算机处理器例如无线发送到与手术机器人和/或成像系统通信的计算系统/计算机处理器。该命令可以使得与成像系统通信的计算系统/计算机处理器在虚拟植入物的区域上(例如，中心在该区域上)定位和/或对准成像系统。该命令可以使得与手术机器人通信的计算系统/计算机处理器在虚拟植入物的区域(例如，中心在该区域上)上定位和/或对准手术机器人和/或其末端执行器，并且利用一个或多个末端执行器执行或促进执行骨切除以放置植入物，例如钻孔、锉磨、切割、铣削、扩孔和/或冲击。
本文中提及的所有出版物、专利都通过引用以其全部内容结合于此，如同每个单独的出版物或专利被具体地且单独地表明通过引用结合。
Claims (81)
1.一种系统，包括：
至少一个头戴式显示器，
机器人，
其中所述机器人包括末端执行器，
第一计算系统，其包括一个或多个计算机处理器，
其中所述第一计算系统与所述机器人通信，
第二计算系统，其包括一个或多个计算机处理器，
其中所述第二计算系统与所述至少一个头戴式显示器通信，其中所述第二计算系统被配置为通过所述至少一个头戴式显示器显示包括至少一个虚拟对象的虚拟用户界面，
其中所述第二计算系统被配置为至少部分地基于与在所述虚拟用户界面中显示的所述至少一个虚拟对象的至少一个交互而生成命令，
其中所述第二计算系统被配置为使用无线发送将所述命令发送至所述第一计算系统，
其中所述命令被配置为使所述第一计算系统控制所述机器人进行机器人部件、机器人马达、机器人致动器、机器人驱动器、机器人控制器、机器人液压系统、机器人压电系统、机器人开关、所述末端执行器或其任何组合的移动、激活、操作、去激活或其任何组合。
2.根据权利要求1所述的系统，其中所述命令被配置为将所述末端执行器控制在预定操作边界、预定操作范围、预定操作区域或预定操作体积内。
3.根据权利要求1所述的系统，其中所述第一计算系统通过线材连接至所述机器人，或其中所述第一计算系统通过无线连接而连接至所述机器人。
4.根据权利要求1所述的系统，其中所述第二计算系统通过线材连接至所述至少一个头戴式显示器，或其中所述第二计算系统通过无线连接而连接至所述至少一个头戴式显示器。
5.根据权利要求1所述的系统，其中所述第二计算系统被配置为通过所述至少一个头戴式显示器显示所述末端执行器的预定操作边界、预定操作范围、预定操作区域或预定操作体积的表示或所述机器人部件、机器人马达、机器人致动器、机器人驱动器、机器人控制器、机器人液压系统、机器人压电系统、机器人开关、所述末端执行器或其任何组合的所述移动、激活、操作、去激活或其组合之后的预期结果。
6.根据权利要求1所述的系统，其中所述末端执行器包括物理手术工具或物理手术器械。
7.根据权利要求1所述的系统，其中所述第一计算系统被配置为获得所述机器人的部件、所述末端执行器、目标对象、患者的目标解剖结构、所述至少一个头戴式显示器、物理工具、物理器械、物理植入物、物理对象或其任何组合的实时跟踪信息。
8.根据权利要求1所述的系统，其中所述第二计算系统被配置为获得所述机器人的部件、所述末端执行器、目标对象、患者的目标解剖结构、所述至少一个头戴式显示器、物理工具、物理器械、物理植入物、物理对象或其任何组合的实时跟踪信息。
9.根据权利要求1所述的系统，其中所述第一计算系统被配置为获得联接至所述机器人的物理工具、物理器械或其任何组合的实时跟踪信息。
10.根据权利要求1所述的系统，其中所述第二计算系统配置为获得联接至所述机器人的物理工具、物理器械或其任何组合的实时跟踪信息。
11.根据权利要求7所述的系统，其中所述第一计算系统被配置为无线发送所述机器人的所述部件、所述末端执行器、目标对象、患者的目标解剖结构、所述至少一个头戴式显示器、物理工具、物理器械、物理植入物、物理对象或其任何组合的所述实时跟踪信息。
12.根据权利要求8所述的系统，其中所述第二计算系统被配置为无线发送所述机器人的所述部件、所述末端执行器、目标对象、患者的目标解剖结构、所述至少一个头戴式显示器、物理工具、物理器械、物理植入物、物理对象或其任何组合的所述实时跟踪信息。
13.根据权利要求1所述的系统，其中所述第二计算系统被配置用于通过所述至少一个头戴式显示器显示3D立体视图。
14.根据权利要求13所述的系统，其中将所述3D立体视图叠加在患者的解剖结构上。
15.根据权利要求13所述的系统，其中所述3D立体视图包括所述末端执行器的预定轨迹、所述末端执行器的预定操作边界的表示、所述末端执行器的预定操作范围的表示、所述末端执行器的预定操作区域的表示、所述末端执行器的预定操作体积的表示或其组合。
16.根据权利要求15所述的系统，其中所述3D立体视图包括在所述机器人部件、机器人马达、机器人致动器、机器人驱动器、机器人控制器、机器人液压系统、机器人压电系统、机器人开关、所述末端执行器或其任何组合的所述移动、激活、操作、去激活或其组合之后所述末端执行器的预定轨迹、所述末端执行器的预定操作边界的表示、所述末端执行器的预定操作范围的表示、所述末端执行器的预定操作区域的表示、所述末端执行器的预定操作体积的表示或其组合。
17.根据权利要求13所述的系统，其中所述3D立体视图包括在执行所述命令之前所述末端执行器的预定轨迹、所述末端执行器的预定操作边界的表示、所述末端执行器的预定操作范围的表示、所述末端执行器的预定操作区域的表示、所述末端执行器的预定操作体积的表示或其组合。
18.根据权利要求1所述的系统，其中所述第一计算系统、所述第二计算系统或二者被配置为打开或关闭所述虚拟用户界面的所述显示。
19.根据权利要求1所述的系统，其中所述无线发送包括蓝牙信号、WiFi信号、LiFi信号、射频信号、微波信号、超声信号、红外信号、电磁波或其任何组合。
20.根据权利要求1所述的系统，其中所述系统包括两个或多于两个头戴式显示器，其中所述无线发送是多播、广播发送或其任何组合。
21.根据权利要求1所述的系统，其中所述至少一个虚拟对象包括一个或多个虚拟按钮、虚拟场、虚拟光标、虚拟指针、虚拟滑块、虚拟轨迹球、虚拟节点、虚拟数字显示器、虚拟触摸板、虚拟键盘或其组合。
22.根据权利要求1所述的系统，其中所述交互是物理对象与所述至少一个虚拟对象之间的碰撞检测。
23.根据权利要求22所述的系统，其中所述交互是用户的手指与所述至少一个虚拟对象之间的碰撞检测。
24.根据权利要求22所述的系统，其中所述交互是被跟踪的指针、被跟踪的工具、被跟踪的器械或其组合与所述至少一个虚拟对象之间的碰撞检测。
25.根据权利要求1所述的系统，其中与所述至少一个虚拟对象的所述交互包括视线跟踪。
26.一种系统，包括：
至少一个头戴式显示器，
至少一个相机或扫描装置，其中所述至少一个相机或扫描装置被配置为跟踪所述至少一个头戴式显示器、患者的至少一个解剖结构和至少一个物理手术工具或物理手术器械的实时信息，
第一计算系统，其包括一个或多个计算机处理器，
其中所述第一计算系统被配置为获得所述至少一个头戴式显示器、所述患者的至少一个解剖结构和所述至少一个物理手术工具或物理手术器械的所述实时跟踪信息，
其中所述第一计算系统被配置用于无线发送所述至少一个头戴式显示器、所述患者的至少一个解剖结构和所述至少一个物理手术工具或物理手术器械的所述实时跟踪信息，
第二计算系统，其包括一个或多个计算机处理器，
其中所述第二计算系统被配置用于无线接收所述至少一个头戴式显示器，所述患者的至少一个解剖结构和所述至少一个物理手术工具或物理手术器械的所述实时跟踪信息，
其中所述第二计算系统被配置为生成3D立体视图，其中所述立体视图包括被跟踪的所述至少一个物理手术工具或物理手术器械的3D表示，以及
其中所述至少一个头戴式显示器被配置为显示所述3D立体视图。
27.根据权利要求26所述的系统，其中所述第二计算系统的所述一个或多个计算机处理器使用所述至少一个头戴式显示器的所述实时跟踪信息针对所述头戴式显示器相对于所述患者的所述至少一个解剖结构的视角生成所述3D立体视图。
28.根据权利要求26所述的系统，其中所述实时跟踪信息包括多个头戴式显示器的跟踪信息。
29.根据权利要求28所述的系统，其中所述实时跟踪信息包括用于每个头戴式显示器的头戴式显示器专用标签或标志，或其中针对每个被跟踪的头戴式显示器标签化所述实时跟踪信息。
30.根据权利要求28所述的系统，其中所述无线发送是向所述多个头戴式显示器的多播或广播发送。
31.根据权利要求26所述的系统，其中所述实时跟踪信息包括两个或多于两个头戴式显示器的跟踪信息。
32.根据权利要求31所述的系统，其中所述两个或多于两个头戴式显示器位于不同位置。
33.根据权利要求31所述的系统，其中所述实时跟踪信息包括用于每个头戴式显示器的头戴式显示器标签，其中每个头戴式显示器具有不同的标签。
34.根据权利要求31所述的系统，其中针对被跟踪的每个头戴式显示器标签化所述实时跟踪信息。
35.根据权利要求26所述的系统，其中所述第二计算系统的所述一个或多个计算机处理器针对因佩戴所述头戴式显示器的用户而调整的瞳孔间距生成所述3D立体视图。
36.根据权利要求26所述的系统，其中所述第二计算系统与所述至少一个头戴式显示器集成。
37.根据权利要求26所述的系统，其中所述第二计算系统与所述至少一个头戴式显示器分开，并且使用至少一个线缆连接至所述至少一个头戴式显示器的显示单元。
38.根据权利要求26所述的系统，其中所述无线发送、所述无线接收或二者包括WiFi信号、LiFi信号、蓝牙信号或其组合。
39.根据权利要求26所述的系统，其中所述相机或扫描装置与所述至少一个头戴式显示器分开。
40.根据权利要求26所述的系统，其中所述相机或扫描装置被集成或附接至所述至少一个头戴式显示器。
41.根据权利要求26所述的系统，其中所述无线发送包括以20Hz或大于20Hz的速率发送包括所述至少一个头戴式显示器、所述患者的至少一个解剖结构和所述至少一个物理手术工具或物理手术器械的所述实时跟踪信息的数据包。
42.根据权利要求26所述的系统，其中所述无线接收包括以20Hz或大于20Hz的速率接收包括所述至少一个头戴式显示器、所述患者的所述至少一个解剖结构以及所述至少一个物理手术工具或物理手术器械的所述实时跟踪信息的数据包。
43.根据权利要求26所述的系统，其中所述实时跟踪信息包括一个或多个坐标。
44.根据权利要求43所述的系统，其中所述一个或多个坐标包括所述患者的所述至少一个解剖结构的坐标。
45.根据权利要求43所述的系统，其中所述一个或多个坐标包括所述至少一个物理手术工具或物理手术器械的坐标。
46.根据权利要求43所述的系统，其中所述一个或多个坐标包括所述至少一个头戴式显示器的坐标。
47.根据权利要求26所述的系统，其中所述至少一个头戴式显示器包括至少一个光学透视头戴式显示器。
48.根据权利要求26所述的系统，其中所述至少一个头戴式显示器包括至少一个视频透视头戴式显示器。
49.根据权利要求26所述的系统，其中所述至少一个相机或扫描装置包括激光扫描器、飞行时间3D激光扫描器、结构光3D扫描器、手持激光扫描器、LIDAR扫描器、飞行时间相机、深度相机、视频系统、立体相机系统、相机阵列或其组合。
50.根据权利要求26所述的系统，其中所述系统包括至少一个惯性测量单元。
51.根据权利要求50所述的系统，其中所述至少一个惯性测量单元被集成或附接至所述至少一个物理手术工具或物理手术器械。
52.根据权利要求50所述的系统，其中所述至少一个惯性测量单元被集成或附接至所述患者的所述至少一个解剖结构。
53.根据权利要求50所述的系统，其中所述至少一个惯性测量单元被集成或附接至所述至少一个头戴式显示器。
54.根据权利要求50所述的系统，其中所述至少一个头戴式显示器的所述实时跟踪信息包括来自所述至少一个惯性测量单元的信息。
55.根据权利要求26所述的系统，其中所述第二计算系统通信地联接至所述至少一个头戴式显示器。
56.一种系统，包括：
两个或多于两个头戴式显示器，
至少一个相机或扫描装置，其中所述至少一个相机或扫描装置被配置为跟踪所述两个或多于两个头戴式显示器、患者的至少一个解剖结构和至少一个物理手术工具或物理手术器械的实时信息，
第一计算系统，其包括一个或多个计算机处理器，
其中所述第一计算系统被配置为获得患者的至少一个解剖结构、至少一个物理手术工具或物理手术器械和所述两个或多于两个头戴式显示器的实时跟踪信息，
其中针对所述两个或多于两个头戴式显示器的每个标签化所述两个或多于两个头戴式显示器的跟踪信息，
其中所述第一计算系统被配置用于无线发送所述患者的所述至少一个解剖结构的所述实时跟踪信息、所述至少一个物理手术工具或物理手术器械的所述跟踪信息和所述两个或多于两个头戴式显示器的标签化的跟踪信息，
第二计算系统，
其中所述第二计算系统被配置用于无线接收所述患者的所述至少一个解剖结构的所述实时跟踪信息、所述至少一个物理手术工具或物理手术器械的所述跟踪信息和所述两个或多于两个头戴式显示器的第一头戴式显示器的标签化的跟踪信息，
其中所述第二计算系统被配置为使用所述第一头戴式显示器的所述标签化的跟踪信息来生成专用于所述第一头戴式显示器的第一视角的第一3D立体显示，
其中所述第一头戴式显示器被配置为显示所述3D立体显示；
第三计算系统，
其中所述第三计算系统被配置用于无线接收所述患者的所述至少一个解剖结构的所述实时跟踪信息、所述至少一个物理手术工具或物理手术器械的所述跟踪信息以及所述两个或多于两个头戴式显示器的第二头戴式显示器的标签化的跟踪信息，
其中所述第三计算系统被配置为使用所述第二头戴式显示器的所述标签化的跟踪信息来生成专用于所述第二头戴式显示器的第二视角的第二3D立体显示，以及
其中所述第一立体显示和所述第二立体显示包括所述至少一个物理手术工具或物理手术器械的3D表示。
57.一种准备与患者相关联的成像数据获取的系统，包括：
至少一个计算机处理器；
增强现实显示装置；和
成像系统，
其中所述至少一个计算机处理器被配置为获得所述成像系统的一个或多个部件的实时跟踪信息，
其中所述至少一个计算机处理器被配置为生成表面、体积或其组合的3D表示，
其中所述表面、体积或其组合的所述3D表示至少部分地从关于所述成像系统的所述一个或多个部件的几何结构的信息、关于图像获取的几何结构的信息、关于一个或多个图像获取参数的信息或其组合得到，
其中所述至少一个计算机处理器被配置为生成增强视图，所述增强视图包括所述表面、体积或其组合的所述3D表示，
其中所述至少一个计算机处理器被配置为通过所述增强现实显示装置在相对于所述成像系统的所述一个或多个部件的定义的位置和取向处显示所述增强视图，以及
其中基于所述成像系统的所述一个或多个部件的所述实时跟踪信息而更新所述增强视图的所述位置和所述取向。
58.根据权利要求57所述的系统，其中所述表面、体积或其组合的所述3D表示不包含来自患者的成像数据。
59.根据权利要求57所述的系统，其中所述成像系统被配置为在所述表面、体积或其组合的所述3D表示内获取所述患者的2D、3D、或2D和3D成像数据。
60.根据权利要求57所述的系统，其中所述表面、体积或其组合包括关于2D、3D或2D和3D成像数据获取的限制、边缘、边沿、边界、圆周、周界、包络或其组合的信息。
61.根据权利要求57所述的系统，其中所述至少一个计算机处理器被配置为响应于所述成像系统的被跟踪的所述一个或多个部件的移动来调整所述增强视图，其中所述调整被配置为将所述增强视图保持在相对于所述成像系统的所述一个或多个部件的定义的所述位置和所述取向处。
62.根据权利要求57所述的系统，其中关于所述成像系统的所述几何结构的所述信息、关于所述图像获取的所述几何结构的信息、关于一个或多个图像获取参数的信息或其组合包括：关于一个或多个成像系统部件，一个或多个成像系统部件之间的几何关系，准直器，网格，图像增强器，检测器分辨率，x射线源，x射线管设置，kVp设置，mA设置，mAs设置，准直，管-检测器距离，管-患者距离，患者-检测器距离，患者-图像增强器距离，相对于管、检测器的台高度、相对于管、检测器的台位置或其组合，患者位置，C臂位置、取向或其组合，台架位置、取向或其组合，网格高度，网格宽度，网格比率，视场，视场的中心，视场的外围，矩阵，像素大小，体素大小，图像大小，图像体积，成像平面，在x、y、z和/或倾斜方向上的图像尺寸，图像位置，图像体积位置，扫描覆盖，节距，平面内分辨率，切片厚度，增量，检测器配置，检测器分辨率，检测器密度，管电流，管电位，重建算法，扫描范围，扫描边界，扫描限制，所述成像系统的旋转轴，所述成像系统的旋转中心，重建的切片厚度，分割算法，窗口，水平，亮度，对比度，显示分辨率或其组合的信息。
63.根据权利要求57所述的系统，其中所述成像系统包括x射线系统、荧光检查系统、C臂、3D C臂、数字断层融合成像系统、血管造影系统、双平面血管造影系统、3D血管造影系统、CT扫描器、MRI扫描器、PET扫描器、SPECT扫描器、核闪烁扫描系统、2D超声成像系统、3D超声成像系统或其组合。
64.根据权利要求57所述的系统，其中所述至少一个计算机处理器被配置为获得所述增强现实显示装置、所述患者的解剖结构、与所述成像系统一起使用的患者台、所述成像系统、所述成像系统的所述一个或多个部件或其组合的实时跟踪信息。
65.根据权利要求64所述的系统，还包括相机或扫描器，所述相机或扫描器配置为获取所述增强现实显示装置、所述患者的所述解剖结构、与所述成像系统一起使用的所述患者台、所述成像系统、所述成像系统的所述一个或多个部件或其组合的所述实时跟踪信息。
66.根据权利要求57所述的系统，其中所述系统被配置为使用来自所述成像系统的内在信息获得所述成像系统的实时跟踪信息，其中所述内在信息包括姿态数据、传感器数据、相机数据、3D扫描器数据、控制器数据、驱动器数据、致动器数据、末端执行器数据、来自一个或多个电位计的数据、来自一个或多个视频系统的数据、来自一个或多个LIDAR系统的数据、来自一个或多个深度传感器的数据、来自一个或多个惯性测量单元的数据、来自一个或多个加速度计的数据、来自一个或多个磁力计的数据、来自一个或多个陀螺仪的数据、来自一个或多个力传感器的数据、来自一个或多个压力传感器的数据、来自一个或多个位置传感器的数据、来自一个或多个取向传感器的数据、来自一个或多个运动传感器的数据、来自步进马达的位置和/或取向数据、来自电动马达的位置和/或取向数据、来自液压马达的位置和/或取向数据、来自电动和/或机械致动器的位置和/或取向数据、来自驱动器的位置和/或取向数据、来自机器人控制器的位置和/或取向数据、来自一个或多个机器人计算机处理器的位置和/或取向数据或其组合。
67.根据权利要求57所述的系统，其中所述成像系统被配置为生成x射线束，其中所述表面、体积或其组合的所述3D表示包括关于所述x射线束的限制、边缘、边沿、边界、圆周、周界、包络或其组合的信息。
68.根据权利要求57所述的系统，其中所述系统还包括用户界面。
69.根据权利要求68所述的系统，其中所述用户界面包括虚拟用户界面，其中所述虚拟界面包括至少一个虚拟对象。
70.根据权利要求69所述的系统，其中所述至少一个虚拟对象包括一个或多个虚拟按钮、虚拟场、虚拟光标、虚拟指针、虚拟滑块、虚拟轨迹球、虚拟节点、虚拟数字显示器、虚拟触摸板、虚拟键盘或其组合。
71.根据权利要求69所述的系统，其中所述虚拟用户界面包括手势识别、视线识别、视线锁定、眼睛跟踪、手跟踪、指针跟踪、器械跟踪、工具跟踪或其组合。
72.根据权利要求69所述的系统，其中所述至少一个计算机处理器被配置为至少部分地基于用户与在所述虚拟用户界面中显示的所述至少一个虚拟对象的至少一个交互而生成命令。
73.根据权利要求72所述的系统，其中所述命令被配置为移动、倾斜或旋转所述成像系统的一个或多个部件、患者台的一个或多个部件或其组合，或
其中所述命令被配置为对马达、致动器、驱动器、控制器、液压系统、开关、电子电路、计算机芯片、x射线管、图像增强器、成像系统的功能单元或其组合进行激活、操作、去激活或其组合，
其中所述命令被配置为移动或修改所述成像系统的几何结构、患者台、一个或多个成像系统部件之间的几何关系，准直器，网格，图像增强器，检测器分辨率，所述成像系统的设置，所述成像系统的参数，所述成像数据获取的参数，显示参数，x射线源设置，x射线管设置，kVp设置，mA设置，mAs设置，准直，管-检测器距离，管-患者距离，患者-检测器距离，患者-图像增强器距离，相对于管、检测器的台高度，相对于管、检测器的台位置，患者位置，C臂位置、取向或其组合，台架位置、取向或其组合，网格高度，网格宽度，网格比率，视场，矩阵，像素大小，体素大小，图像大小，图像体积，成像平面，在x、y、z和/或倾斜方向上的图像尺寸，图像位置，图像体积位置，扫描覆盖，节距，平面内分辨率，切片厚度，增量，检测器配置，检测器分辨率，检测器密度，管电流，管电位，重建算法，扫描范围，扫描边界，扫描限制，重建的切片厚度，分割算法，窗口，水平，亮度，对比度，显示分辨率，或其组合，或其中所述命令被配置为设置和/或修改所述成像系统的一个或多个图像获取参数，或
其中所述命令被配置为设置、移动、和/或修改2D、3D或2D和3D成像数据获取的位置、取向、大小、面积、体积或其组合。
74.根据权利要求57所述的系统，其中所述系统被配置为确定与所述成像系统相关联的所述增强视图的希望位置，以在所述希望位置处获取2D、3D或2D和3D成像数据。
75.根据权利要求57-74中任一项所述的系统，其中所述增强现实显示装置是头戴式显示器，并且其中所述增强视图包括3D立体视图。
76.根据权利要求75所述的系统，其中所述至少一个计算机处理器被配置为将所述3D立体视图投影在所述患者的预期2D、3D或2D和3D成像数据获取的坐标处。
77.根据权利要求76所述的系统，其中所述2D、3D、或2D和3D成像数据获取的位置包括所述患者的一个或多个目标解剖结构。
78.一种准备在患者中通过成像系统进行图像获取的方法，包括：
a.实时跟踪所述成像系统的一个或多个部件；
b.由至少一个计算机处理器获得关于所述成像系统的一个或多个部件的几何结构的信息、关于所述图像获取的几何结构的信息、关于一个或多个图像获取参数的信息或其组合；
c.由所述至少一个计算机处理器生成表面、体积或其组合的3D表示，其中所述表面、所述体积或其组合的所述3D表示至少部分地从关于所述成像系统的所述一个或多个部件的所述几何结构的信息、关于所述图像获取的所述几何结构的信息、关于所述一个或多个图像获取参数的信息或其组合得到；
d.由所述至少一个计算机处理器生成增强视图，所述增强视图包括所述表面、体积或其组合的所述3D表示；和
e.由增强现实显示装置显示所述增强视图，其中所述增强视图的位置和取向是相对于所述成像系统的所述一个或多个部件定义的，并且基于所述成像系统的所述一个或多个部件的实时跟踪信息而更新。
79.根据权利要求78所述的方法，其中所述成像系统被配置为获取所述患者的2D、3D、或2D和3D成像数据，并且其中在所述表面、体积或其组合的所述3D表示内获取所述患者的所述2D、3D、或2D和3D成像数据。
80.根据权利要求78所述的方法，其中生成所述增强视图的步骤在获取所述患者的2D、3D或2D和3D成像数据的步骤之前，或其中显示所述增强视图的步骤在获取所述患者的2D、3D或2D和3D成像数据的步骤之前。
81.根据权利要求78-80中任一项所述的方法，其中所述增强现实显示装置是头戴式显示器，并且其中所述增强视图包括3D立体视图。
Applications Claiming Priority (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US63/158,941 | 2021-03-10 | ||
| US63/163,156 | 2021-03-19 | ||
| US63/173,565 | 2021-04-12 | ||
| US202163232376P | 2021-08-12 | 2021-08-12 | |
| US63/232,376 | 2021-08-12 | ||
| PCT/US2022/019825 WO2022192585A1 (en) | 2021-03-10 | 2022-03-10 | Augmented reality guidance for imaging systems and robotic surgery |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117460464A true CN117460464A (zh) | 2024-01-26 |
Family
ID=89586030
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202280034470.2A Pending CN117460464A (zh) | 2021-03-10 | 2022-03-10 | 用于成像系统和机器人手术的增强现实引导 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117460464A (zh) |
-
2022
- 2022-03-10 CN CN202280034470.2A patent/CN117460464A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11786206B2 (en) | Augmented reality guidance for imaging systems | |
| US20210307842A1 (en) | Surgical system having assisted navigation | |
| US11723724B2 (en) | Ultra-wideband positioning for wireless ultrasound tracking and communication | |
| US10398514B2 (en) | Systems and methods for sensory augmentation in medical procedures | |
| CN111031954B (zh) | 用于医疗程序中的感觉增强系统和方法 | |
| CN111329554B (zh) | 用于手术的装置与方法 | |
| CN107847278B (zh) | 用于为医疗器械提供轨迹的可视化的靶向系统 | |
| US20210052348A1 (en) | An Augmented Reality Surgical Guidance System | |
| US11589926B2 (en) | Mobile surgical tracking system with an integrated fiducial marker for image guided interventions | |
| CN117460464A (zh) | 用于成像系统和机器人手术的增强现实引导 | |
| US20240130797A1 (en) | Three-dimensional dual fiducial-sensor trackable device and method of use | |
| US20240206973A1 (en) | Systems and methods for a spinal anatomy registration framework | |
| CANGELOSI | Image-Guided Surgery and Augmented Reality in Orthopaedic Surgery: a perspective on reducing Iatrogenic Nerve Damage in Elbow |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |