CN117012342A - 用于基于估计的外科医生姿态确定造影的技术 - Google Patents

用于基于估计的外科医生姿态确定造影的技术 Download PDF

Info

Publication number
CN117012342A
CN117012342A CN202310486456.2A CN202310486456A CN117012342A CN 117012342 A CN117012342 A CN 117012342A CN 202310486456 A CN202310486456 A CN 202310486456A CN 117012342 A CN117012342 A CN 117012342A
Authority
CN
China
Prior art keywords
pose
display device
surgeon
portable display
patient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310486456.2A
Other languages
English (en)
Inventor
汉斯·肖普
弗洛里安·赫尔曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stryker European Operations Ltd
Original Assignee
Stryker European Operations Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stryker European Operations Ltd filed Critical Stryker European Operations Ltd
Publication of CN117012342A publication Critical patent/CN117012342A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/368—Correlation of different images or relation of image positions in respect to the body changing the image on a display according to the operator's position
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983—Reference marker arrangements for use with image guided surgery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G06T2207/10121—Fluoroscopy

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Gynecology & Obstetrics (AREA)
  • Software Systems (AREA)
  • Epidemiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Primary Health Care (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Endoscopes (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了一种用于确定要在便携式显示装置的显示器上向外科医生显示的内容的造影的方法、系统和计算机程序。获得指示手术室中的患者的解剖特征的第一姿态的第一姿态数据和指示手术室中的便携式显示装置的第二姿态的第二姿态数据。基于所述第一姿态数据和所述第二姿态数据来估计外科医生相对于所述患者的第三姿态。基于估计的第三姿态，确定要在所述便携式显示装置的显示器上向所述外科医生显示的内容的造影。

Description

用于基于估计的外科医生姿态确定造影的技术
技术领域
本公开总体上涉及一种用于确定要在便携式显示装置的显示器上向外科医生显示的内容的造影的技术。本公开还涉及一种相关联的系统和计算机程序。
背景技术
近年来，已经在临床领域建立起计算机辅助手术(CAS)和机器人辅助手术(RAS)。在CAS和RAS中，可以向外科医生提供造影，所述造影通知外科医生关于患者身体的解剖单元的姿态，例如相对于由外科医生移动的导航外科器械或由外科机器人持有的工具。其它信息，例如预先计划的对象(例如，轨迹、植入体或要切除的组织)也可以被造影。
这种造影可以通过安装在手术导航系统的推车上的显示器提供给外科医生。在这种情况下，显示器必须被定位成距患者达几米远，以使外科医生能够接近患者以进行外科手术。由于这种布置，外科医生可能需要将他的视场从患者的手术场切换到手术导航系统的推车上的显示器，和切换回来。切换视场可能涉及外科医生的眼部和头部移动，并且将增加外科医生的认知负荷，这是因为外科医生可能需要通过在脑力上调整造影内容的方位来转换显示器上提供的造影，以符合他对手术场的观察。每当外科医生在手术场与安装在手术导航系统的推车上的显示器之间改变视场时，他或她可能需要调整他或她的眼部的焦距，从而导致分心和疲劳。
发明内容
需要一种解决上述或其它问题中的一个或更多个的技术。
根据第一方面，提供一种用于确定要在便携式显示装置的显示器上向外科医生显示的内容的造影的方法。所述方法包括获得指示手术室中的患者(例如，所述患者的解剖特征)的第一姿态的第一姿态数据和指示手术室中的便携式显示装置的第二姿态的第二姿态数据。所述方法还包括基于所述第一姿态数据和所述第二姿态数据来估计外科医生相对于所述患者(例如，所述患者的所述解剖特征)的第三姿态。所述方法包括基于估计的第三姿态，确定要在所述便携式显示装置的显示器上向所述外科医生显示的内容的造影。
所述方法可以由至少一个处理器执行。所述方法可以是计算机实现的方法。所述方法不包括需要与人或动物身体进行实质性相互作用的步骤。所述方法不包括外科手术步骤。
根据本公开，“姿态”可以包括位置和方位中的至少一个。
可以在不追踪外科医生的情况下(例如，通过外科追踪系统)估计第三姿态。外科医生可能不需要被提供一个或更多个(例如，可由手术追踪系统追踪的)追踪器。
便携式显示装置可以被配置成使得外科医生可以从一距离(例如，大于10cm、20cm、50cm或70cm)处识别所显示的内容。外科医生可能不需要佩戴便携式显示装置(例如，作为HMD)。便携式显示装置可以被放置为靠近手术场(例如，距手术场小于1m)。便携式显示装置可以被配置成放置在患者的身体上(例如，同时向外科医生显示内容)。便携式显示装置可以满足以下条件中的至少一个：(i)它是无线装置；(ii)它是非可穿戴设备；(iii)它可相对于外科医生移动；(iv)它远离外科医生(例如，距外科医生的眼部>20cm)；(v)它与手术追踪系统(的例如推车)分离；(vi)它是平板电脑或包括平板电脑；(vii)显示器或整个便携式显示装置被配置成由手术帷帘覆盖(例如，同时向外科医生显示内容)；(viii)便携式显示装置包括用于输入用户输入的用户界面。便携式显示装置可以不是HMD。显示器可以是不透明或不可看穿的显示器。显示器的背面可以是不透明的。显示器可以是触摸屏。
所述方法可以包括获得外科医生相对于便携式显示装置的第四姿态。还可以基于所述第四姿态来估计所述第三姿态。
可以基于与所述便携式显示装置相关联的预定义的空间标准来确定所述第四姿态。所述预定义的空间标准可以定义所述第四姿态位于相对于所述便携式显示装置具有预定义的空间关系的轨迹上。所述轨迹可以平行于便携式显示装置的显示器的法线。所述轨迹可以与所述便携式显示装置的显示器(例如，显示器的中心)相交。
可替换地或额外地，可以基于由所述便携式显示装置的传感器获取的传感器数据来确定所述第四姿态。传感器数据可以指示外科医生与便携式显示装置之间的空间关系。
可以基于预定义的空间准则来确定近似第四姿态。可以基于传感器数据来细化近似第四姿态以确定第四姿态。
传感器可以包括相机。传感器数据可以包括由相机获取的图像数据。所述图像数据可以包括外科医生的至少一部分的图像。
传感器可以包括深度传感器。传感器数据可以包括由深度传感器获取的深度数据。深度数据可以表示深度传感器与外科医生的至少一部分之间的距离。
第一姿态数据和第二姿态数据中的至少一个可以由(例如)手术追踪系统获得。可以从配置成追踪所述解剖特征的所述手术追踪系统或相对于所述解剖特征固定地附接的一个或更多个追踪器来获得所述第一姿态数据。可替换地或额外地，可以从配置成追踪所述便携式显示装置或相对于所述便携式显示装置固定地附接的一个或更多个追踪器来获得所述第二姿态数据。手术追踪系统可以是光学追踪系统。手术追踪系统可以被配置成通过获取包括至少一个实体的至少一个图像的图像数据来追踪从解剖特征、便携式显示装置和一个或更多个追踪器选择的至少一个实体。图像数据可以由手术追踪系统的一个或更多个图像传感器获取，所述图像传感器被配置成检测红外光和可见光中的至少一个。根据本公开的追踪器可以包括可由手术追踪系统检测的一个或更多个主动或被动追踪标记。
造影可以基于外科医生看向患者(例如，患者的解剖特征)的观察方向来确定。可以基于第四姿态来确定观察方向。可以将观察方向确定为从外科医生朝向患者(例如，患者的解剖特征)的方向。可以进一步基于传感器数据来确定观察方向。例如，可以基于外科医生的头部相对于便携式显示装置的方位来确定观察方向，所述方位基于传感器数据来检测。
内容可以与解剖特征相关联。所述内容可以与所述患者的一个或更多个解剖特征相关联，所述解剖特征与所述观察方向具有预定义的空间关系。所述一个或更多个解剖特征可以包括具有第一姿态的解剖特征。根据本公开的“解剖特征”可以包括(i)解剖单元(诸如骨骼、器官等等)和(ii)患者身体表面的至少一部分的形状中的至少一个。
造影可以是(i)内容和(ii)解剖特征的增强视图或解剖特征的表示。造影可以是(i)内容和(ii)一个或更多个解剖特征或其表示(即，一个或更多个解剖特征的表示)的增强视图。
造影可以模拟外科医生看向患者(例如，患者的解剖特征)的视图。造影可以对应于外科医生看向患者(例如，患者的解剖特征)的视图，并且包括叠置在所述视图上的内容。(例如，一个或更多个)解剖特征或其表示可以相对于外科医生的方位来显示，所述方位对应于患者的相应的解剖特征相对于外科医生的方位。造影可以被确定为使得所显示的内容(例如，所显示的内容的方位)符合或对应于外科医生看向患者(例如，患者的解剖特征)的观察方向。
造影可以进一步基于所获得的第二姿态来确定。造影可以基于外科医生看向便携式显示装置的显示器的视线来确定。造影可以被确定为使得造影沿视线的投影符合沿外科医生看向患者(例如，患者的解剖特征)的观察方向的视图。
所述方法还可以包括在所述便携式显示装置的所述显示器上触发所述造影的显示。
所述便携式显示装置的所述显示器和所述相机可以面向相似的方向。便携式显示装置的相机可以是配置成获取观看便携式显示装置的显示器的人的图像(例如，外科医生的图像)的相机。
所述方法还可以包括将从所述第二姿态、所述第三姿态和所述第四姿态中选择的至少一个姿态与预定义的标准进行比较。所述方法可以包括基于所述比较的结果，执行与所述结果相关联的一个或更多个预定义的动作。预定义的标准可以定义与至少一个姿态的先前获得的实例的预设最大偏差。如果(例如，仅如果)比较的结果指示至少一个姿态超过预设最大偏差，则造影可以是(i)被确定和(ii)被触发以在便携式显示装置的显示器上显示的至少一种。
所述方法还可以包括获得经由便携式显示装置输入的用户输入。所述方法可以包括基于所获得的用户输入来执行一个或更多个动作。用户输入可以包括经由所述传感器输入的手势命令。
在第一变型中，所述方法可以不包括基于估计的第三姿态来确定要在所述便携式显示装置的显示器上向所述外科医生显示的内容的造影的步骤。在第一变型中，所述方法可以包括执行与估计的第三姿态相关联的一个或更多个预定义的动作。在第一变型中，一个或更多个预定义的动作可以包括以下各项中的至少一个：(i)触发基于所估计的第三姿态而确定的信息的显示；(ii)触发所估计的第三姿态的指示的显示；(iii)向便携式显示装置转发指示所估计的第三姿态的信息；(iv)基于估计的第三姿态，确定要在所述便携式显示装置的显示器上向所述外科医生显示的内容的造影。
在第二变型中，所述方法可以不包括以下各项中的一个或更多个：(i)获得指示手术室中的患者的解剖特征的第一姿态的第一姿态数据的步骤；(ii)基于所述第一姿态数据和所述第二姿态数据来估计外科医生相对于所述患者的第三姿态的步骤；以及(iii)基于估计的第三姿态，确定要在所述便携式显示装置的显示器上向所述外科医生显示的内容的造影的步骤。在第二变型中，所述方法可以包括在获得第二姿态数据之后，基于第一姿态数据来估计在手术室中外科医生的第四姿态。在第二变型中，估计第四姿态的步骤可以包括以下各项中的至少一个：(i)获得本文中描述的第四姿态；和(i)确定本文中描述的第四姿态。在第二变型中，所述方法可以包括执行与估计的第四姿态相关联的一个或更多个预定义的动作。在第二变型中，一个或更多个预定义的动作可以包括以下各项中的至少一个：(i)触发基于所估计的第四姿态而确定的信息的显示；(i)触发所估计的第四姿态的指示的显示；(iii)向便携式显示装置转发指示所估计的第四姿态的信息；(iv)基于估计的第四姿态，确定要在所述便携式显示装置的显示器上向所述外科医生显示的内容的造影。
根据第二方面，提供一种用于确定要在便携式显示装置的显示器上向外科医生显示的内容的造影的系统。所述系统包括至少一个处理器，所述至少一个处理器被配置成获得指示手术室中的患者(例如，所述患者的解剖特征)的第一姿态的第一姿态数据和指示手术室中的便携式显示装置的第二姿态的第二姿态数据。所述至少一个处理器被配置成基于所述第一姿态数据和所述第二姿态数据来估计外科医生相对于所述患者(例如，所述患者的所述解剖特征)的第三姿态。所述至少一个处理器还被配置成基于估计的第三姿态来确定要在所述便携式显示装置的显示器上向所述外科医生显示的内容的造影。
所述至少一个处理器可以被配置成执行根据第一方面的方法。
所述系统还可以包括便携式显示装置。所述便携式显示装置可以如上文针对第一方面所描述的那样配置。
所述系统还可以包括手术追踪系统。所述手术追踪系统可以如上文针对第一方面所描述的那样配置。所述外科手术追踪系统被配置成追踪选自以下各项中的至少一个的实体：(i)解剖特征；(ii)相对于所述解剖特征固定地附接的一个或更多个追踪器；(iii)所述便携式显示装置；以及(iv)相对于所述便携式显示装置固定地附接的一个或更多个追踪器。所述手术追踪系统可以被配置成向所述至少一个处理器提供从所述第一姿态数据和所述第二姿态数据中选择的至少一个输入。所述至少一个处理器可以被配置成从手术追踪系统获得所述至少一个输入。
根据第三方面，提供了一种计算机程序。所述计算机程序包括指令，所述指令当在至少一个处理器上执行时，使得所述至少一个处理器进行或执行根据第一方面的方法。还提供了一种包括指令的计算机程序产品，所述指令当在至少一个处理器上执行时，使得所述至少一个处理器进行或执行根据第一方面的方法。所述计算机程序可以被存储在一个或更多个(例如，非暂时性)计算机可读介质上或由数据流携带。本公开还提供了这样的计算机可读介质和这样的数据流。
附图说明
根据结合附图的以下实施例，将明白本公开的其他的细节、优点和方面，在附图中：
图1示出了根据本公开的系统；
图2示出了根据本公开的方法；
图3a至图3b示出了根据本公开的示例性造影；以及
图4示出了根据本公开的系统的示例性坐标系。
具体实施方式
在以下说明书中，将参考附图解释系统和方法的示例性实施例。相同的附图标记将被用于指示相同或相似的结构特征。
图1示出了根据本公开的系统100。系统100包括计算系统200。计算系统200包括偶联到存储器4和接口6的处理器2。系统100还包括经由有线或无线通信连接8连接到接口6的手术追踪系统300，以及经由有线或无线通信连接10连接到接口6的便携式显示装置400。(例如，使用多个接口或中继设备)将处理器2与手术追踪系统300和便携式显示装置400连接的其它变型也是可以的。
手术追踪系统300是光学追踪系统，其被配置成追踪固定到保持患者16的患者支撑件14的第一追踪器12。第一追踪器12与患者16的解剖特征20具有固定的空间关系。手术追踪系统300还被配置成追踪附接到便携式显示装置400的第二追踪器18。
在一个变型中，手术追踪系统300可以被配置成直接追踪患者16(例如，患者16的解剖特征20)，而不是追踪第一追踪器12。替代地或额外地，手术追踪系统300可以被配置成直接追踪便携式显示装置400，而不是追踪第二追踪器18。在这些情况下，可以省略对应的追踪器12、18中的一个或两个。为了直接追踪患者16(例如，患者16的解剖特征20)和便携式显示装置400，手术追踪系统300可以包括配置成使用可见光获取图像的一个或更多个图像传感器。然后可以使用适当的图像分析技术(例如，对象识别)在图像中检测患者16(例如，患者16的解剖特征20)和便携式显示装置400。(例如，使用飞行时间传感器、热感相机等)用于直接追踪患者16(例如，患者16的解剖特征20)和便携式显示装置400的其它变型也是可以的。
便携式显示装置400是平板计算机，并且包括配置为触摸屏的显示器20。便携式显示装置400还包括面向观看显示器20的人的正面自拍相机22。替代地或除了相机22之外，便携式显示装置400包括深度传感器24，所述深度传感器被配置成测量便携式显示装置400与观看显示器20的人之间的距离。便携式显示装置400还可以包括作为用户界面的一部分的各种按钮26。便携式显示装置400被配置成在显示器20上向外科医生28显示内容。便携式显示装置400可以被配置成被消毒。可选地或额外地，便携式显示装置400可以被配置成在被手术帷帘27覆盖时向外科医生28显示内容。在图1中，从后面示出了外科医生28的头部，以指示外科医生正沿观察方向30朝向患者16观看或沿视线32朝向显示器20看。
便携式显示装置400可以被放置为紧密靠近手术场34(例如，距手术场34<1m、<50cm或甚至<30cm)。这可以使外科医生将他的视场从手术场34改变到显示器20并返回所需的头部和眼部移动的量最小化。此外，外科医生28不需要佩戴HMD来提供造影。相反，外科医生28可以在他打算这样做的任何时候简单地查看便携式显示装置400。
图2示出了根据本公开的方法。所述方法可由处理器2执行。存储器4可以存储指令，所述指令当由处理器2执行时使得处理器2执行本文中描述的方法。
在步骤202中，获得指示手术室中的患者16的解剖特征20的第一姿态的第一姿态数据。第一姿态数据可以替代地或额外地指示患者16在手术室中的第一姿态。从手术追踪系统300获得第一姿态数据，并且第一姿态数据指示患者16(例如，患者16的解剖特征20)相对于手术追踪系统300的位置和方位。第一姿态数据可以通过利用手术追踪系统300追踪第一追踪器12或者通过利用手术追踪系统300直接追踪患者16(例如，患者16的解剖特征20)来确定。
在步骤204中，获得指示手术室中的便携式显示装置400的第二姿态的第二姿态数据。从手术追踪系统300获得第二姿态数据，并且第二姿态数据指示便携式显示装置400相对于手术追踪系统300的位置和方位。第二姿态数据可以通过利用手术追踪系统300追踪第二追踪器18或者通过利用手术追踪系统300直接追踪便携式显示装置来确定。在又一变型中，第二姿态数据可以从便携式显示装置400获得，所述便携式显示装置被配置成使用其传感器中的一个或更多个传感器(例如，相机22和/或深度传感器24)来确定其在手术室中的位置和方位。
在步骤206中，(例如仅)基于第一姿态数据和第二姿态数据来估计外科医生28相对于患者16(例如，患者16的解剖特征20)的第三姿态。
由于基于第一姿态数据和第二姿态数据估计第三姿态，因此外科医生28不需要被手术追踪系统300追踪。换句话说，从手术追踪系统300获得的用于确定第三姿态的仅有的数据可以是第一姿态数据和第二姿态数据。不需要将额外的追踪器附接到外科医生28以获得外科医生28的第三姿态。
所述方法可以包括获得外科医生28相对于便携式显示装置400的第四姿态。然后可以进一步基于第四姿态估计外科医生28相对于患者16的第三姿态。
基于第四姿态和第二姿态，可以确定外科医生28相对于手术追踪系统300的位置和方位。第一姿态指示患者16(例如，患者16的解剖特征20)在手术室中的位置和方位。因此，相对于手术追踪系统300，患者16(例如，患者16的解剖特征20)的位置和方位以及外科医生28的位置和方位都是已知的。基于这些位置和方位，可以确定外科医生相对于便携式显示装置400的第四姿态。
近似第四姿态(也称为粗略估计的第四姿态)可以被确定为位于相对于便携式显示装置300具有预定义的空间关系的轨迹上。所述轨迹平行于所述便携式显示装置的显示器的法线，并且与所述便携式显示装置的显示器的中心相交。换句话说，可以假设外科医生28将显示器20定位成面向他。
在一些情况下，外科医生28的第四姿态正好位于所述轨迹上。在这些情况下，可以将粗略估计的第四姿态作为第四姿态。否则，可以基于由便携式显示装置400的相机22或深度传感器24获取的传感器数据来细化所述粗略估计的第四姿态，从而确定第四姿态。例如，外科医生28的精确位置可以在由相机22获取的图像中确定。近似第四姿态可以被用于检测外科医生28在图像中的精确位置，这例如通过检测最接近所述轨迹的人脸实现。
在步骤208中，基于估计的第三姿态，确定要在便携式显示装置400的显示器20上向外科医生28显示的内容的造影。
造影可以基于外科医生28对患者16的观察方向30来确定。观察方向30被确定为从外科医生28朝向患者16(例如，患者16的解剖特征20)的方向。可以基于外科医生的头部相对于便携式显示装置400的方位来确定观察方向30，所述方位在由相机22获取的图像中被检测。
要显示给外科医生28的内容可以包括预先计划的对象，例如植入体、计划的轨迹或所关注的身体部分。要显示的内容与患者16的一个或更多个解剖特征(包括解剖特征20)相关联，所述解剖特征可以具有与观察方向30的预定义的空间关系。内容可以包括患者16的相关的解剖特征的模型、分割或表示。例如，可以显示与观察方向30相交的或者位于观察方向30周围的预定义的距离内的所有解剖特征相关联的内容。外科医生28可以调整要显示的内容。
造影可以是增强视图。内容可以叠置在患者16上或其图像上。增强视图可以包括内容和相关联的解剖特征或其表示(例如，图像、模型或分割)。
要显示的造影模拟外科医生28看向患者16的视图，特别是外科医生28看向包括解剖特征20的手术场34的视图。因此，造影可以对应于外科医生28看向患者16的视图，并且包括叠置在视图上的内容。换句话说，造影被确定为使得所显示的解剖特征(例如，所述解剖特征的显示)和与其相关联的内容符合外科医生28看向患者16的观察方向30。
因此，当外科医生28将他的视场从手术场34改变到显示器20和反向时时，外科医生28可以不需要在脑力上转置(例如，旋转)所显示的内容。
造影可以进一步基于外科医生28看向便携式显示装置400的显示器20的视线32来确定。造影可以被确定为使得造影沿视线32的投影符合沿外科医生28的观察方向30的视图。由此，可以补偿由于显示器20上的锐角形的视角而导致的外科医生28感知的所显示的内容的潜在变形。
在步骤210中，在便携式显示装置400的显示器20上触发造影的显示。处理器2可以向便携式显示装置400发送控制命令以触发造影的显示。处理器2可以向显示装置400发送表示或定义要显示的造影的信息(例如，图像数据)。
在一个示例中，仅当第二姿态、第三姿态和/或第四姿态超过相对于各个第二姿态、第三姿态或第四姿态的先前获得的实例的预设最大偏差时，才确定并触发待被显示的造影。这可以避免过于频繁地确定和更新所显示的造影，从而减少处理时间并降低对外科医生28的干扰。
所述方法还可以包括获得经由便携式显示装置400输入的用户输入。可以对应于用户输入来执行一个或更多个预定义的动作。例如，可以基于用户输入来启动导航工作流或者调整造影。用户输入可以包括基于由相机22获取的图像数据或基于由深度传感器24获取的深度数据而识别的手势命令。用户输入可以经由触摸屏20或按钮26来输入。
图3a和图3b示出了根据本公开的示例性造影。在这些附图中，解剖特征20被示意性地示出为具有可区分的多个侧的立方体。
如图3a中图示的，外科医生28可以位于平行于显示器20的法线的轨迹38上，所述轨迹38起源于显示器20的中间。因此可以通过假设外科医生28位于轨迹38上来确定外科医生28相对于便携式显示装置400的第四姿态。(例如，在步骤202和204中)获得便携式显示装置400的姿态和解剖特征20的姿态。便携式显示装置400与解剖特征20之间的空间关系可以从这些所获得的姿态来导出。这允许(例如，在步骤206中)基于所获得的第一姿态和第二姿态以及基于第四姿态来估计外科医生28相对于解剖特征20的姿态。然后可以(例如，在步骤208中)确定造影，使得造影符合外科医生28看向手术特征20的观察方向。在图示的示例中，所确定的造影被显示在显示器20上，使得向外科医生28呈现解剖特征20在他的视场中的一侧的视图。
如图3b中图示的，外科医生28可以不被定位在轨迹38上。可以通过假设外科医生28位于轨迹38上来确定外科医生28相对于便携式显示装置400的近似第四姿态。这在多个人位于便携式显示装置400附近的情况下可能是有利的。在图示的示例中，护士40位于手术室中并且可以观察显示器20。然而，在该示例中，护士40比外科医生28距法线38更远。换句话说，相较于护士40，显示器20的定向更适于外科医生28。因此，与护士40的真实姿态相比，近似第四姿态更接近外科医生28的真实姿态。
为了细化外科医生28的近似第四姿态，可以获得便携式显示装置400的传感器数据。例如，由相机22获取的图像或由深度传感器24获取的深度数据可以被用于检测人(例如，人脸)。可以使用面部识别或对象识别(例如，识别外科医生穿戴的识别贴片或外科医生穿的衣服)来识别外科医生28。可以假设最靠近轨迹38的检测到的人是外科医生28，并且可以将其检测姿态作为外科医生28相对于便携式显示装置400的姿态。可以通过在图像的最接近轨迹38的区域中开始面部识别或对象识别来细化近似第四姿态。或者，外科医生28的检测位置可以直接用作外科医生28的第四姿态，而不考虑近似第四姿态或轨迹38。
此外，(例如，在步骤202和204中)获得解剖特征20的姿态和便携式显示装置400的姿态，使得它们的相对位置和方位是已知的。基于外科医生28相对于便携式显示装置400的(例如，细化的)第四姿态，(例如，在步骤206中)确定外科医生28相对于解剖特征20的第三姿态。在图示的示例中，向外科医生28呈现解剖特征20在其视场中的两侧的视图。如果使用近似第四姿态而不是细化的第四姿态，则将向外科医生28呈现解剖单元20的单侧的视图，如图3a中图示的。
图4示出了根据本公开的示例性坐标系。
患者16(例如，患者16的解剖特征20)的第一姿态可以在手术追踪系统300的坐标系C追踪系统中被获得作为姿态P1。可以基于坐标系C追踪系统中第一追踪器12的追踪姿态P2并且基于患者16(例如，患者16的解剖特征20)与第一追踪器12之间的已知相对姿态P3来确定第一姿态。可替换地，第一姿态P1可以通过由手术追踪系统300在坐标系C追踪系统中直接追踪患者16(例如，患者16的解剖特征20)来获得。
便携式显示装置400的第二姿态可以在手术追踪系统300的坐标系C追踪系统中被获得作为姿态P5。可以基于坐标系C追踪系统中第二追踪器18的追踪姿态P6以及基于便携式显示装置400与第二追踪器18之间的已知相对姿态P7来确定第二姿态。可选地，第二姿态P5可以通过由手术追踪系统300在坐标系C追踪系统中直接追踪便携式显示装置400来确定。
如上文描述的，可以获得外科医生28相对于便携式显示装置400的第四姿态P8。这可以涉及确定近似第四姿态并基于传感器数据来细化近似第四姿态。
姿态P5和P8，或者姿态P6、P7和P8可以被组合以获得外科医生28在坐标系C追踪系统中的姿态P9。可以基于姿态P1和P9或者基于姿态P2、P3和P9来确定外科医生28与患者16(例如，患者16的解剖特征20)之间的第三姿态P10。代替姿态P9，可以使用姿态P5与P8的组合，或者姿态P6、P7与P8的组合。
使用本文中描述的方法，不需要手术追踪系统300追踪外科医生28。而是，基于姿态P5和P8，或者基于姿态P6、P7和P8来估计姿态P9。
存在确定患者16与患者图像数据之间的配准的各种技术，所述患者图像数据包括包含解剖特征20的患者身体的至少一个图像。例如，由手术追踪系统300追踪的探针可以被放置在患者16(例如，患者16的解剖特征20)上，以获得患者16(例如，患者16的解剖特征20)在坐标系C追踪系统中的第一姿态。然后，第一姿态可以与患者图像数据相关联或被映射到患者图像数据，以确定患者16(例如，患者16的解剖特征20)与患者图像数据之间的配准。然后可以(例如，基于配准)确定患者图像数据的坐标系C患者图像数据与手术追踪系统300的坐标系C追踪系统之间的相对姿态P4。
要向外科医生28显示的内容可以是患者图像数据的一部分，或者在坐标系C患者图像数据中被定义(例如，被计划)。基于第三姿态P10，可以确定外科医生28看向患者16(例如，患者16的解剖特征20)的观察方向30。然后可以确定造影，使得要显示的内容相对于外科医生28被布置成如患者16相对于外科医生28的相似方位。换句话说，可以确定所述内容的造影，使得所述内容对应于或符合外科医生28看向患者16的视图。
如根据上文将变得明显的，本文中公开的技术可以提供许多优点。例如，所述技术可以允许使用可以被布置成非常靠近手术场的被追踪的便携式显示装置。便携式显示装置可以是移动平板装置。诸如手术导航信息之类的内容可以被提供为紧密靠近手术场。与HMD相比，便携式显示装置的显示可以不阻挡外科医生的视线。便携式显示装置的显示器可以不需要被布置在(例如，推车上的)完全不同的观察方向上，而是可以被布置为靠近手术场。当将外科医生的视场从看向患者的手术场切换到显示器并且反向时，外科医生可不需要调整他的眼部的焦距。
通过追踪所述便携式显示装置的定位和定向，可以估计外科医生与患者之间的空间关系(例如，第三姿态)。这些信息可以被用于减轻外科医生的脑力负担。可以基于外科医生相对于便携式显示装置的姿态来调整所显示的内容。特别地，(例如，导航的)内容可以通过旋转屏幕视角来调整以符合外科医生的真实视角。当外科医生将他的视场从外科手术场切换到显示器或反向时，外科医生可以不需要在脑力上旋转所显示的信息(例如，内容和一个或更多个解剖特征或其表示)。
外科医生可能不需要佩戴追踪器。他的观察方向仍然可以使用本文中描述的技术在显示器上模拟。外科医生可以不需要佩戴HMD来被提供所显示的内容。
便携式显示装置可以是无菌的(这例如，通过外科手术帷帘或其它技术实现)，并且可以通过其触摸屏功能用作遥控器。手势命令可以被便携式显示装置检测作为用户输入。
基于外科医生相对于其它追踪装置(例如，外科器械)的姿态，可以执行额外的预定义的动作(例如，激活导航软件中的工作流或调整造影)。
鉴于上文，本领域技术人员将明白额外的优点。对本文中公开的技术的各种修改是可以的。例如，第一姿态数据可以从第一追踪系统获得，并且第二姿态数据可以(例如，使用与第一追踪系统不同的追踪模式)从单独的第二追踪系统获得。在另一示例中，在便携式显示装置被配置成(例如，使用被包括在便携式显示装置中的传感器)确定其相对与其自身的空间姿态的情况下，则可以从便携式显示装置获得第二姿态数据。

Claims (20)

1.一种用于确定要在便携式显示装置的显示器上向外科医生显示的内容的造影的方法，所述方法包括：
获得指示手术室中的患者的解剖特征的第一姿态的第一姿态数据；
获得指示所述手术室中的便携式显示装置的第二姿态的第二姿态数据；
基于所述第一姿态数据和所述第二姿态数据来估计外科医生相对于所述患者的第三姿态；以及
基于估计的第三姿态，确定要在所述便携式显示装置的显示器上向所述外科医生显示的内容的造影。
2.根据权利要求1所述的方法，还包括：
获得所述外科医生相对于所述便携式显示装置的第四姿态，
其中，还基于所述第四姿态来估计所述第三姿态。
3.根据权利要求2所述的方法，其中
基于与所述便携式显示装置相关联的预定义的空间标准来确定所述第四姿态。
4.根据权利要求3所述的方法，其中，所述预定义的空间标准定义所述第四姿态位于相对于所述便携式显示装置具有预定义的空间关系的轨迹上。
5.根据权利要求3所述的方法，其中
基于由所述便携式显示装置的传感器获取的传感器数据来确定所述第四姿态。
6.根据权利要求5所述的方法，其中
基于预定义的空间准则来确定近似第四姿态，并且基于所述传感器数据来细化所述近似第四姿态以确定所述第四姿态。
7.根据权利要求5所述的方法，其中
所述传感器包括相机，并且所述传感器数据包括由所述相机获取的图像数据。
8.根据权利要求1所述的方法，其中
由手术追踪系统获得所述第一姿态数据和所述第二姿态数据中的至少一个，并且其中满足以下条件中的至少一个：
(a)由配置成追踪所述解剖特征的所述手术追踪系统或相对于所述解剖特征固定地附接的一个或更多个追踪器来获得所述第一姿态数据；
(b)由配置成追踪所述便携式显示装置的所述手术追踪系统或相对于所述便携式显示装置固定地附接的一个或更多个追踪器来获得所述第二姿态数据。
9.根据权利要求1所述的方法，其中
所述造影基于所述外科医生看向所述患者的观察方向来确定。
10.根据权利要求9所述的方法，其中
所述内容与所述患者的一个或更多个解剖特征相关联，所述解剖特征与所述观察方向具有预定义的空间关系。
11.根据权利要求10所述的方法，其中
所述造影是(i)所述内容和(ii)所述一个或更多个解剖特征或其表示的增强视图。
12.根据权利要求1所述的方法，还包括：
在所述便携式显示装置的所述显示器上触发所述造影的显示。
13.根据权利要求7所述的方法，还包括：
在所述便携式显示装置的所述显示器上触发所述造影的显示，
其中，所述便携式显示装置的所述显示器和所述相机面向相似的方向。
14.根据权利要求1所述的方法，还包括：
将从所述第二姿态、所述第三姿态和所述第四姿态中选择的至少一个姿态与第一标准进行比较；和
基于所述比较的结果，执行与所述结果相关联的一个或更多个预定义的动作。
15.根据权利要求1所述的方法，还包括：
获得经由所述便携式显示装置输入的用户输入；和
基于所获得的用户输入来执行一个或更多个动作。
16.根据权利要求5所述的方法，还包括：
获得经由所述便携式显示装置输入的用户输入；和
基于所获得的用户输入来执行一个或更多个动作，
其中，所述用户输入包括经由所述传感器输入的手势命令。
17.一种用于确定要在便携式显示装置的显示器上向外科医生显示的内容的造影的系统，所述系统包括至少一个处理器，所述至少一个处理器被配置成：
获得指示手术室中的患者的解剖特征的第一姿态的第一姿态数据；
获得指示所述手术室中的便携式显示装置的第二姿态的第二姿态数据；
基于所述第一姿态数据和所述第二姿态数据来估计外科医生相对于所述患者的第三姿态；以及
基于估计的第三姿态，确定要在所述便携式显示装置的显示器上向所述外科医生显示的内容的造影。
18.根据权利要求17所述的系统，还包括：
所述便携式显示装置。
19.根据权利要求17所述的系统，还包括：
外科手术追踪系统，所述外科手术追踪系统被配置成追踪选自以下各项的至少一个实体
(i)所述解剖特征；
(ii)相对于所述解剖特征固定地附接的一个或更多个追踪器；
(iii)所述便携式显示装置；以及
(iv)相对于所述便携式显示装置固定地附接的一个或更多个追踪器，
其中，所述手术追踪系统被配置成向所述至少一个处理器提供从所述第一姿态数据和所述第二姿态数据中选择的至少一个输入。
20.一种存储计算机程序的非暂时性计算机可读介质，所述计算机程序包括指令，所述指令当在至少一个处理器上执行时，使所述至少一个处理器：
获得指示手术室中的患者的解剖特征的第一姿态的第一姿态数据；
获得指示所述手术室中的便携式显示装置的第二姿态的第二姿态数据；
基于所述第一姿态数据和所述第二姿态数据来估计外科医生相对于所述患者的第三姿态；以及
基于估计的第三姿态，确定要在所述便携式显示装置的显示器上向所述外科医生显示的内容的造影。
CN202310486456.2A 2022-05-06 2023-04-28 用于基于估计的外科医生姿态确定造影的技术 Pending CN117012342A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP22171974.3A EP4272679B1 (en) 2022-05-06 2022-05-06 Technique for determining a visualization based on an estimated surgeon pose
EP22171974.3 2022-05-06

Publications (1)

Publication Number Publication Date
CN117012342A true CN117012342A (zh) 2023-11-07

Family

ID=82019904

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310486456.2A Pending CN117012342A (zh) 2022-05-06 2023-04-28 用于基于估计的外科医生姿态确定造影的技术

Country Status (3)

Country Link
US (1) US20230355310A1 (zh)
EP (1) EP4272679B1 (zh)
CN (1) CN117012342A (zh)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3692939B1 (en) * 2019-02-07 2021-07-14 Stryker European Operations Limited Surgical systems for facilitating tissue treatment
EP4161432A1 (en) * 2020-06-09 2023-04-12 Stryker Leibinger GmbH & Co. KG Spatially-aware displays for computer-assisted interventions

Also Published As

Publication number Publication date
EP4272679B1 (en) 2024-07-03
US20230355310A1 (en) 2023-11-09
EP4272679A1 (en) 2023-11-08

Similar Documents

Publication Publication Date Title
US20200246081A1 (en) Augmented reality navigation systems for use with robotic surgical systems and methods of their use
US11734901B2 (en) Surgeon head-mounted display apparatuses
US20220346889A1 (en) Graphical user interface for use in a surgical navigation system with a robot arm
US20230040952A1 (en) Device and method for assisting laparoscopic surgery utilizing a touch screen
JP6709796B2 (ja) 手術室及び手術部位認識
CN109152615A (zh) 在机器人手术过程期间识别和跟踪物理对象的系统和方法
WO2017076886A1 (en) Determining a configuration of a medical robotic arm
US20210378757A1 (en) Augmented Reality with Medical Imaging
EP3200719A1 (en) Determining a configuration of a medical robotic arm
US20230355310A1 (en) Technique For Determining A Visualization Based On An Estimated Surgeon Pose
US20220022964A1 (en) System for displaying an augmented reality and method for generating an augmented reality
US20230127963A1 (en) Technique For Providing Guidance To A User On Where To Arrange An Object Of Interest In An Operating Room
JP2019101293A (ja) 頭部装着型表示装置、表示システム及び表示方法
CN114159157A (zh) 辅助移动器械的方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination