CN117015352A - 模拟对患者操作的增强现实系统 - Google Patents
模拟对患者操作的增强现实系统 Download PDFInfo
- Publication number
- CN117015352A CN117015352A CN202280017370.9A CN202280017370A CN117015352A CN 117015352 A CN117015352 A CN 117015352A CN 202280017370 A CN202280017370 A CN 202280017370A CN 117015352 A CN117015352 A CN 117015352A
- Authority
- CN
- China
- Prior art keywords
- patient
- robotic arm
- virtual
- augmented reality
- tool
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 24
- 239000011521 glass Substances 0.000 claims abstract description 33
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000004088 simulation Methods 0.000 claims abstract description 16
- 239000007787 solid Substances 0.000 claims description 10
- 210000003625 skull Anatomy 0.000 claims description 7
- 210000000988 bone and bone Anatomy 0.000 claims description 3
- 238000001356 surgical procedure Methods 0.000 description 11
- 210000005036 nerve Anatomy 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 description 2
- 210000000278 spinal cord Anatomy 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000010146 3D printing Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/32—Surgical robots operating autonomously
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
- G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/102—Modelling of surgical devices, implants or prosthesis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/50—Supports for surgical instruments, e.g. articulated arms
- A61B2090/502—Headgear, e.g. helmet, spectacles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Robotics (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Mathematical Optimization (AREA)
- Pathology (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Physics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Algebra (AREA)
- Medicinal Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Manipulator (AREA)
Abstract
本发明涉及一种增强现实(AR)系统，包括一副用于观察真实世界和虚拟世界的AR眼镜，其中，该系统设置有传感器以指示AR眼镜的用户的位置和观察方向，并且其中，该系统能够用于利用包括工具的自主机械臂来模拟对患者的外科手术操作。AR系统能够减慢、停止、增加或倒退模拟操作的进程。本发明还涉及一种用于使用这种AR系统来模拟对患者的操作的方法。
Description
技术领域
本发明涉及一种增强现实(AR)系统，该系统包括一副用于观察真实世界和虚拟世界的AR眼镜，其中，该系统设置有传感器以指示AR眼镜的用户的位置和观察方向，并且，该系统能够用于模拟利用包括工具的自主机械臂来模拟对患者的外科手术操作。
背景技术
从EP3482710中已知这样的系统。从US2019000578A1中也已知这样的系统。该系统描述了一种具有用于外科手术操作的手动控制的机械臂的外科手术导航系统。已知系统的用户是将进行操作的外科医生。AR设备是外科医生使用3D眼镜观察的AR显示控制台，即外科医生将控制台上的图像转换为3D图像。该控制台还包括用于机械臂的控制仪表。已知的系统用于机械臂的(重新)设计、外科医生的训练和用于操作的用最佳路径的实验，即以避免机器人上不同仪表的相互影响，以及实验外科医生应如何操纵机械臂以获得最佳结果。使用时，该系统完全处于外科医生的控制之下，即该系统是主从系统。外科医生始终决定并控制机械臂的路径和动作。
已知系统的问题是，尽管外科医生总是想要完全控制，但他们确实会感到疲劳，随着年龄的增长，外科医生的手也不那么稳定，而且他们不能长时间连续地工作。具有更自主地工作的机械臂的系统能够帮助克服这些问题，但这样的系统的引入即使不是不可能，也是很困难的，因为外科医生仍然负责手术，他们不想放弃完全的控制。
发明内容
根据本发明，AR系统能够减慢、停止、增加或倒退模拟操作的进程。
有利地，AR系统能够减慢、停止、增加或倒退模拟操作的进程。因此，外科医生能够花时间并按照自己的节奏研究操作的进程。外科医生能够放大进程中的困难阶段，即机械臂接近患者的关键区域。没有理由从已知系统开始提供这些要求保护的功能，因为已知系统中公开的模拟的目的是不同的。
利用自主机械臂和工具，机器人在外科手术操作过程中进行操作，而无需来自外科医生的任何指导。外科医生唯一可用的动作是影响机器人的速度，即减慢或停止机器人。完全自主的机械臂与该工具的使用违背了外科医生的所有本能和训练。外科医生被教导他们应该在任何时候都保持对所有动作的完全控制。发明人意识到，说服外科医生使用自主机械臂的唯一方法是让他们在安全的环境中建立信心。与已知系统相比，外科医生在本发明系统中的作用是被动的，即机械臂自主地执行动作。通过AR设备，外科医生只能够观察机械臂的性能。对于AR设备，使用了一副AR眼镜或护目镜，即由用户佩戴的个人观察设备。这使得外科医生可以选择他们自己对机械臂和患者的观点。从各个角度观察机械臂的性能的能力有助于建立对自主机械臂的工作的信心。当外科医生意识到自主机械臂能很好地完成外科手术操作时，他们就获得了信心，并能够被说服让自主机械臂执行真正的操作。因此，本发明的系统是朝着完全自主地工作的外科手术机械臂迈出的一步。
优选地，在增强现实系统中，真实世界包括室，并且虚拟世界包括虚拟操作室(OR)台、虚拟患者和虚拟机械臂，其中，虚拟患者基于操作前患者数据，并且虚拟机械臂基于真实机械臂的模拟模型。在该实施例中，真实世界中唯一的结构是室。虚拟世界显示在AR眼镜上。与已知系统相比，外科医生的位置不限于站在AR显示器和控制台后面，而是与用于他/她的位置和观察方向的传感器相结合的AR眼镜使得外科医生在虚拟OR台周围行走，并从各个角度观察自主机械臂的性能。这使外科医生感觉到操作是真实的，而不仅仅是在他眼前播放的电影。
在本发明的增强现实系统的另一个实施例中，真实世界包括OR台、具有工具的自主机械臂，并且虚拟世界包括基于操作前患者数据的患者。在该实施例中，使用真实OR台和自主机械臂，只有OR台上的患者是虚拟的。这可以更接近真实操作的模拟。外科医生可以实时观察机械臂的性能，并查看机械臂如何移动并对虚拟患者执行外科手术操作。
在增强现实系统的另一个实施例中，真实世界包括OR台、机械臂和患者的3D实体模型，并且虚拟世界包括患者的内部结构的操作前患者数据。该实施例向外科医生展示了机械臂的工具如何在3D实体模型(也称为3D体模)上操作，同时他/她可以观察患者体内的操作进展。
优选地，在增强现实系统中，模拟操作基于用于具有工具的机械臂的操作前规划路径。这意味着对患者进行扫描，外科医生规划用于自主机械臂上的工具的路径。然后在用于自主机械臂的算法中对该路径进行编程。因此，外科医生的控制仅限于操作前阶段。一旦规划完成并且操作正在进行，机械臂就自主地遵循规划路径。更有利地，在AR眼镜上的虚拟世界中显示与规划路径的偏差。这些偏差可能由软件不准确引起，但也可能由机械臂本身的机械不准确引起，或由患者的操作前数据/3D扫描中的不准确引起。由于这不是真实的操作，这使得外科医生回到规划阶段并改变机械臂的规划路径。
优选地，操作前患者数据包括患者的待操作区域的外部形状、内部结构和关键区域。这些数据可用于限定虚拟患者的外部形状。此外，内部结构(如重要器官或神经)可以显示在AR眼镜上。在操作前规划阶段，也可以由外科医生限定机器人必须完全避开的关键区域。然后可以对机械臂的路径进行编程，以避免并保持与这些关键区域的安全距离。
尽管该系统可用于许多不同的操作，但优选地，该系统用于模拟对患者的硬结构(如骨骼、颅骨或椎骨)的操作。在操作前程序中可以很好地限定这些结构。在操作过程中修复这些结构可以在对这些结构的模拟操作和实际操作之间创建非常好的匹配。由于神经、血管和大脑的许多关键区域可能受损，颅骨也是操作复杂的区域。椎骨具有复杂的形状，并且由于靠近脊髓，因此需要高精度。可以高精度避开所有这些区域的自主机械臂对患者是有利的。可以对较软组织进行不同操作的模拟，但这需要更复杂的操作前扫描(例如一段时间内的扫描)以考虑患者的运动，例如由于其呼吸而产生的运动。
当然，并不总是需要使用整个患者的模型。当谈到患者时，也可以使用患者的身体部位。例如，为了模拟对足部的操作，不需要制作患者的全身的虚拟模型，足部的模型就足够了。
本发明还涉及一种增强现实(AR)系统，该AR系统包括一副AR眼镜，该AR眼镜设置有传感器以指示AR眼镜的用户的位置和观察方向，以监控由包括工具的真实自主机械臂对真实患者执行的外科手术操作，该AR系统用虚拟世界增强，该虚拟世界包括患者的内部结构的操作前患者数据和具有工具的机械臂的位置数据，其中，AR系统可以减慢、停止、增加或倒退机械臂和工具的进程。当外科医生发现机器人的错误动作时，例如当遇到不可预见的情况时，外科医生可以有利地使用该系统。然后，该系统可以减慢、停止、增加或倒退机械臂和工具的进程。例如，外科医生可以修复故障并继续操作。一旦外科医生获得了足够的信心以将外科手术操作委托给自主机器人，就可以在实际操作期间有利地使用AR系统来监控操作的进程。在真实外科手术操作期间，由于血液或身体部位阻碍了清晰视野，操作区域几乎看不见或甚至看不见。AR监控系统然后可以将机械臂和工具的内部结构和不可见部分投影到AR眼镜上，即眼镜基于操作前数据和机械臂与工具的已知运动提供透视图像。机械臂和工具的运动可以从(非光学)传感器推断，或可以基于机械臂和工具的模型推断。这样，如果有必要，外科医生仍然可以停止或减慢操作。
本发明还涉及一种使用根据本发明的AR系统来模拟对患者的操作的方法。
附图说明
本发明借助以下附图进行进一步说明，其中：
图1示出了根据本发明的系统以教用户如何使用该系统用于医疗操作并在实际操作中灌输信心。
图2示出了使用图1的系统的方法的步骤的示意图。
这些附图仅用于解释，未按比例绘出。
具体实施方式
图1示出了增强现实(AR)系统1，该AR系统1包括用户2，主要是佩戴AR设备的外科医生来观察真实世界4和虚拟世界5，其中，该系统设置有传感器6以指示AR设备的用户2的位置和观察方向，并且其中，系统1可用于模拟具有包括工具9的机械臂8的患者7的外科手术操作。该系统包括自主机械臂8、工具9和包括一副AR眼镜3的AR设备。患者躺在操作室12内的操作台10上。AR眼镜3是由外科医生2佩戴的个人观察设备，例如来自微软的Hololense2。
与已知系统相比，外科医生2在本发明系统中的作用是被动的，即机械臂8自主地执行动作。通过AR设备，外科医生2只能够观察机械臂8的性能。对于AR设备，使用一副AR眼镜或护目镜。这使得外科医生2可以选择自己对机械臂8和患者7的观点。从所有角度观察机械臂8的性能的能力有助于建立对自主机械臂8的工作的信心。当外科医生2意识到自主机械臂8很好地进行外科手术操作时，外科医生获得了信心，并且能够确信让自主机械臂8进行真实操作。
优选地，在增强现实系统中，真实世界4包括操作室(OR)12，并且虚拟世界5包括虚拟操作台10、虚拟患者7和虚拟机械臂8，其中，虚拟患者7基于术前患者数据，并且机械臂8基于真实机械臂的模拟模型。在该实施例中，真实世界中唯一的结构是室12。虚拟世界5被显示在AR眼镜3上。外科医生2的位置不限于站在AR显示器和控制台后面，而是与用于他的位置和观察方向的传感器6相结合的AR眼镜3使得外科医生2在虚拟OR台10周围行走，并从各个角度观察自主机械臂8的性能。这使外科医生2感觉到操作是真实的，而不仅仅是在他眼前播放的电影。
在另一个实施例中，真实世界4包括OR台10、自主机械臂8，并且虚拟世界5包括基于操作前患者数据的虚拟患者7。在该实施例中，使用真实操作台10和自主机械臂8，只有OR台10上的患者7是虚拟的。这可以更接近真实操作的模拟。外科医生2可以实时观察机械臂8的性能，并查看机械臂8和工具9如何移动并对虚拟患者7执行外科手术操作。
在AR系统1的另一个实施例中，真实世界4包括操作台10、机械臂8和患者7的3D实体模型，并且虚拟世界5包括患者7的内部结构的操作前患者数据。该实施例向外科医生2显示了机械臂8的工具9如何在患者7的3D实体模型上操作，同时外科医生2可以观察在患者7内部的操作如何进行。3D实体模型可以通过例如基于3D患者数据的3D打印来制作。例如，对于患者颅骨上的操作，可以制作颅骨的3D实体模型并在模拟中使用。当然，没有必要使用整个患者的实体模型。操作区域的实体模型就足够了。
优选地，在AR系统1中，模拟操作基于用于机械臂8的操作前规划路径。这意味着对患者7进行扫描，并且外科医生2规划用于自主机械臂8上的工具9的路径。然后在用于自主机械臂8的算法中对该路径进行编程。因此，外科医生2的控制被限制在操作前阶段。一旦规划完成并且操作正在进行，机械臂8就自主地工作。更有利地，在AR眼镜3上的虚拟世界5中显示与规划路径的偏差。这些偏差可以由软件不精确引起，也可以由机械臂8本身的机械不精确引起。由于这不是真正的操作，这使得外科医生2回到规划阶段并改变机械臂8的规划路径。
优选地，操作前患者数据包括患者7的待操作区域的外部形状、内部结构和关键区域。这些数据可用于限定虚拟患者7的外部形状。此外，内部结构(如重要器官或神经)可以显示在AR眼镜3上。在操作前规划阶段，也可以由外科医生2限定机械臂8必须完全避开的关键区域。然后可以对机械臂8的路径进行编程，以避免并保持与这些关键区域的安全距离。
有利地，AR系统1能够减慢、停止、增加或倒退模拟操作的进程。因此，外科医生2能够花时间并且按照自己的节奏研究操作的进程。外科医生2能够放大该进程中的困难阶段，此时机械臂8接近患者7的关键区域。
尽管该系统1可以用于许多不同的操作，但优选地，该系统1用于模拟对患者7的硬结构(如骨骼、颅骨或椎骨)的操作。在操作前程序可以很好的限定这些结构。在操作过程中修复这些结构可以在对这些结构的模拟操作和实际操作之间创建非常好的匹配。由于神经和大脑的许多关键区域可能受损，颅骨也是操作复杂的区域。椎骨具有复杂的形状，并且由于靠近脊髓，因此需要高精度。可以高精度避开所有这些区域的自主机械臂8对患者7是有利的。可以对较软组织进行不同操作的模拟，但这需要更复杂的操作前扫描(例如一段时间内的扫描)以考虑患者的运动，例如由于其呼吸而引起的运动。在谈到患者时，应该清楚的是，没有必要模拟整个患者。在大多数情况下，只需要模拟患者要进行操作的部位或其附近。
本发明还涉及一种增强现实(AR)系统1，该AR系统1包括一副AR眼镜3，该AR眼镜3设置有传感器6以指示AR眼镜3的用户2的位置和观察方向，以监控由包括工具9的真实自主机械臂8对真实患者7执行的外科手术操作，该AR系统1用虚拟世界增强，该虚拟世界5包括患者的内部结构的操作前患者数据和具有工具9的机械臂8的位置数据。一旦外科医生2获得了足够的信心来以将外科手术操作委托给自主机器人8，就可以在实际操作期间有利地使用AR系统1来监控操作的进程。在真实外科手术操作期间，由于血液或身体部位阻碍了清晰视野，操作区域几乎看不见或甚至看不见。AR监控系统1然后可以将机械臂8和工具9的内部结构和不可见部分投影到AR眼镜3上，即眼镜3基于操作前数据和机械臂8与工具9的已知运动提供透视图像。机械臂8和工具9的运动可以从机械臂8上的(非光学)传感器推断，或可以基于机械臂8和工具9的模型推断。这样，如果有必要，外科医生2仍然可以停止或减慢操作。
本发明还涉及一种使用根据本发明的AR系统1来模拟对患者的操作的方法。
图2示出了在使用如图1所示的AR系统1时模拟外科手术操作的方法中使用的不同步骤A-F。
步骤A：在步骤A中，规划用于操作的路径。该路径基于3D患者数据和用于工具9的期望路径。路径应避开任何关键区域，如神经或血管。这些关键区域可以从3D患者数据中推断。
步骤B：在步骤B中，基于机械臂8的模型或真实数据以及在步骤A中获得的期望路径来规划工具9在机械臂上的路径。
步骤C：在步骤C中，将步骤A和步骤B中获得的数据与虚拟室12、操作台10上的数据以及基于传感器6的外科医生2的位置和观察方向合并，以提供用于观察模拟的正确环境。根据实施例，或多或少的结构在真实世界4或虚拟世界5中。这意味着机械臂8的动作可以被显示为真实机械臂8的真实动作，也可以被显示为模拟机械臂8的虚拟动作。当系统用于监控真实外科手术操作时，3D患者数据可以被显示为包括例如其体内结构和关键区域的虚拟患者7、可由真实机械臂8或模拟的虚拟机械臂8操作的患者7或可以是真实患者的患者7的3D实体模型。此外，室12和台10也可以在真实世界4或虚拟世界5中。因此，考虑到外科医生2在何处以及他/她在看什么方向，步骤C将通过外科医生2的AR眼镜3看到的真实世界4和虚拟世界5结合在一起。
步骤D：在步骤D中，进行操作。该操作可以是对虚拟患者的模拟操作或是对3D实体模型的操作。步骤A至步骤D也可以用于监控真实外科手术操作。模拟程序可以实时完成，但也可以模拟减慢、停止、倒退或加快。在监控对真实患者7的真实操作时，外科医生2只能减慢或停止操作。有利地，在该步骤中显示实际或虚拟机械臂8和工具9与理想规划路径的任何偏差。
步骤E：在步骤E中，步骤D中进行的模拟给了外科医生2对自主机械臂8如此多的信心，使得外科医生2信任该系统来进行真实操作。在监控真实操作时，将不存在步骤E，但希望成功地进行外科手术操作。
尽管描述了先前执行外科手术的机器人，到那时模拟的操作可以应用于对患者7的许多机器人辅助操作，例如也可以有利地模拟内窥镜检查。
Claims (10)
1.一种增强现实AR系统(1)，包括一副用于观察真实世界(4)和虚拟世界(5)的AR眼镜(3)，其中，所述系统(1)设置有传感器(6)以指示所述AR眼镜(3)的用户(2)的位置和观察方向，并且其中，所述系统(1)能够用于利用包括工具(9)的自主机械臂(8)来模拟对患者(7)的外科手术操作，其特征在于，所述AR系统(1)能够减慢、停止、增加或倒退模拟操作的进程。
2.根据权利要求1所述的增强现实系统(1)，其特征在于，所述真实世界(4)包括室(12)，并且所述虚拟世界(5)包括虚拟操作室OR台(10)、虚拟患者(7)和虚拟机械臂(8)，其中，所述虚拟患者(7)基于操作前患者数据，并且所述虚拟机械臂(8)基于真实机械臂的模拟模型。
3.根据权利要求1所述的增强现实系统(1)，其特征在于，所述真实世界(4)包括OR台(10)、机械臂(8)，并且所述虚拟世界(5)包括基于操作前患者数据的虚拟患者(7)。
4.根据权利要求1所述的增强现实系统(1)，其特征在于，所述真实世界(4)包括OR台(10)、具有所述工具(9)的所述机械臂(8)以及所述患者(7)的3D实体模型，并且所述虚拟世界(5)包括所述患者(7)的内部结构的操作前患者数据。
5.根据前述权利要求中任一项所述的增强现实系统(1)，其特征在于，所述模拟操作基于用于具有所述工具(9)的所述机械臂(8)的操作前规划路径。
6.根据权利要求5所述的增强现实系统(1)，其特征在于，所述AR眼镜(3)显示具有所述工具(9)的所述机械臂(8)与所述规划路径的偏差。
7.根据前述权利要求中任一项所述的增强现实系统(1)，其特征在于，所述操作前患者数据包括所述患者(7)的待操作的区域的外部形状、内部结构和关键区域。
8.根据前述权利要求中任一项所述的增强现实系统(1)，其特征在于，所述系统(1)用于模拟对所述患者(7)的骨骼、颅骨或椎骨的硬结构的操作。
9.一种增强现实AR系统(1)，包括一副AR眼镜(3)，所述AR眼镜(3)设置有传感器(6)以指示所述AR眼镜(3)的用户(2)的位置和观察方向，以监控由包括工具(9)的真实自主机械臂(8)对真实患者(7)执行的外科手术操作，所述AR系统(1)用虚拟世界(4)增强，所述虚拟世界(4)包括所述患者的内部结构的操作前患者数据和具有所述工具的所述机械臂的位置数据，其特征在于，所述AR系统(1)能够减慢、停止、增加或倒退所述机械臂(8)和所述工具(9)的进程。
10.一种用于使用根据前述权利要求中任一项所述的AR系统(1)来模拟对患者(7)的操作的方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| NL2027671A NL2027671B1 (en) | 2021-02-26 | 2021-02-26 | Augmented reality system to simulate an operation on a patient |
| NL2027671 | 2021-02-26 | ||
| PCT/NL2022/050102 WO2022182233A1 (en) | 2021-02-26 | 2022-02-23 | Augmented reality system to simulate an operation on a patient |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117015352A true CN117015352A (zh) | 2023-11-07 |
Family
ID=75252809
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202280017370.9A Pending CN117015352A (zh) | 2021-02-26 | 2022-02-23 | 模拟对患者操作的增强现实系统 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20240127707A1 (zh) |
| EP (1) | EP4297685A1 (zh) |
| CN (1) | CN117015352A (zh) |
| NL (1) | NL2027671B1 (zh) |
| WO (1) | WO2022182233A1 (zh) |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3297564A1 (en) * | 2015-05-19 | 2018-03-28 | MAKO Surgical Corp. | System and method for demonstrating planned autonomous manipulation of an anatomy |
| WO2017223120A1 (en) * | 2016-06-20 | 2017-12-28 | Avra Medical Robotics, Inc. | Robotic medical apparatus, system, and method |
| US11284955B2 (en) | 2017-06-29 | 2022-03-29 | Verb Surgical Inc. | Emulation of robotic arms and control thereof in a virtual reality environment |
| EP3445048A1 (en) * | 2017-08-15 | 2019-02-20 | Holo Surgical Inc. | A graphical user interface for a surgical navigation system for providing an augmented reality image during operation |
| US11272985B2 (en) * | 2017-11-14 | 2022-03-15 | Stryker Corporation | Patient-specific preoperative planning simulation techniques |
| AU2019206392A1 (en) * | 2018-01-10 | 2020-07-23 | Covidien Lp | Guidance for positioning a patient and surgical robot |
| WO2019139931A1 (en) * | 2018-01-10 | 2019-07-18 | Covidien Lp | Guidance for placement of surgical ports |
-
2021
- 2021-02-26 NL NL2027671A patent/NL2027671B1/en active
-
2022
- 2022-02-23 WO PCT/NL2022/050102 patent/WO2022182233A1/en active Application Filing
- 2022-02-23 US US18/278,303 patent/US20240127707A1/en active Pending
- 2022-02-23 CN CN202280017370.9A patent/CN117015352A/zh active Pending
- 2022-02-23 EP EP22709422.4A patent/EP4297685A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| NL2027671B1 (en) | 2022-09-26 |
| EP4297685A1 (en) | 2024-01-03 |
| WO2022182233A1 (en) | 2022-09-01 |
| US20240127707A1 (en) | 2024-04-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11844574B2 (en) | Patient-specific preoperative planning simulation techniques | |
| US20230157776A1 (en) | Systems and methods for constraining a virtual reality surgical system | |
| EP3119326B1 (en) | Command shaping to dampen vibrations in mode transitions | |
| Roizenblatt et al. | Robot-assisted vitreoretinal surgery: current perspectives | |
| EP3972517A1 (en) | A system and method for interaction and definition of tool pathways for a robotic cutting tool | |
| US20210259776A1 (en) | Hybrid simulation model for simulating medical procedures | |
| Perez-Gutierrez et al. | Endoscopic endonasal haptic surgery simulator prototype: A rigid endoscope model | |
| Cavusoglu | Telesurgery and surgical simulation: Design, modeling, and evaluation of haptic interfaces to real and virtual surgical environments | |
| JP2023530652A (ja) | コンピュータ支援インターベンション用の空間認識ディスプレイ | |
| Zinchenko et al. | Virtual reality control of a robotic camera holder for minimally invasive surgery | |
| Renda et al. | Principles and advantages of robotics in urologic surgery | |
| CN117015352A (zh) | 模拟对患者操作的增强现实系统 | |
| Shahinpoor et al. | Robotic surgery: smart materials, robotic structures, and artificial muscles | |
| Soleimani et al. | Robots and medicine–shaping and defining the future of surgery, endovascular surgery, electrophysiology and interventional radiology | |
| Balicki et al. | Prototyping a hybrid cooperative and tele-robotic surgical system for retinal microsurgery | |
| Narula et al. | Robotic surgical systems | |
| Bloom et al. | Advanced technology in surgery | |
| Mohan et al. | Virtual Reality-Aplay station'of the future. A review of virtual reality and orthopaedics | |
| US20230414307A1 (en) | Systems and methods for remote mentoring | |
| Mattos et al. | Microsurgery systems | |
| Boon | Spherical Mechanism Design and Application for Robot-Assisted Surgery | |
| Ahmad et al. | Shared Control of an Automatically Aligning Endoscopic Instrument Based on Convolutional Neural Networks | |
| Nawrat et al. | Robin Heart-Perspectives of application of mini invasive tools in cardiac surgery | |
| Tsirbas et al. | Robotic surgery in ophthalmology | |
| Solano et al. | Robot-assisted Cholecystectomy |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication |