CN115527010A - 用于显示增强现实的图形视图的显示装置 - Google Patents

用于显示增强现实的图形视图的显示装置 Download PDF

Info

Publication number
CN115527010A
CN115527010A CN202210728801.4A CN202210728801A CN115527010A CN 115527010 A CN115527010 A CN 115527010A CN 202210728801 A CN202210728801 A CN 202210728801A CN 115527010 A CN115527010 A CN 115527010A
Authority
CN
China
Prior art keywords
vis
display
display unit
augmented reality
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210728801.4A
Other languages
English (en)
Inventor
A.雷根斯伯格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Medical Ag
Original Assignee
Siemens Healthineers AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Healthineers AG filed Critical Siemens Healthineers AG
Publication of CN115527010A publication Critical patent/CN115527010A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90Identification means for patients or instruments, e.g. tags
    • A61B90/94Identification means for patients or instruments, e.g. tags coded with symbols, e.g. text
    • A61B90/96Identification means for patients or instruments, e.g. tags coded with symbols, e.g. text using barcodes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90Identification means for patients or instruments, e.g. tags
    • A61B90/98Identification means for patients or instruments, e.g. tags using electromagnetic means, e.g. transponders
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017Electrical control of surgical instruments
    • A61B2017/00207Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/105Modelling of the patient, e.g. for ligaments or bones
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107Visualisation of planned trajectories or target regions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2048Tracking techniques using an accelerometer or inertia sensor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2051Electromagnetic tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2055Optical tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2063Acoustic tracking systems, e.g. using ultrasound
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/372Details of monitor hardware
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502Headgear, e.g. helmet, spectacles
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/08Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Electromagnetism (AREA)
  • Robotics (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明涉及一种用于显示增强现实的图形视图的显示装置,所述显示装置具有捕获单元、第一显示单元和处理单元,第一显示单元至少部分透明地设计,捕获单元被构造为,捕获第一显示单元相对于第二显示单元的显示面的相对定位,第二显示单元的显示面被构造为显示图形信息,处理单元被构造为:‑根据相对定位确定第一显示单元与第二显示单元的显示面之间的观察几何图形,‑接收数据组,‑基于数据组生成增强现实并且‑通过沿着观察几何图形将增强现实虚拟映射在显示面上来提供增强现实的图形视图,第一显示单元被构造为,与第二显示单元的显示面至少部分叠加地显示增强现实的图形视图。本发明还涉及一种用于提供增强现实的图形视图的系统和方法。

Description

用于显示增强现实的图形视图的显示装置
技术领域
本发明涉及一种用于显示增强现实的图形视图的显示装置、系统和用于提供增强现实的图形视图的方法。
背景技术
为了现实地显示(或者说展示)检查对象的医学信息、例如医学图像数据,越来越多地使用增强现实(英语augmented reality,AR)的视图。在此,通常将真实的对象、例如医学对象和/或检查对象与虚拟数据、尤其是医学图像数据和/或虚拟对象叠加地并且在一个显示器中显示。为了以较高的沉浸程度接近现实地显示,需要在虚拟数据与真实对象之间准确地配准(Registrierung)。
检查对象的术前和/或术中的图像数据在增强现实中的图形视图(或者说图形展示)可以用于在介入式的和/或外科的手术中辅助医疗人员、例如医生。然而通常不利的是,必须由提供单元和/或医学成像设备尤其是实时地接收和处理待由用于显示增强现实的设备显示的图像数据。这尤其可能在尤其同时地将图像数据提供给多个用于显示增强现实的装置的情况下不利地受到可供使用的传输带宽的限制。此外,由此也可能不利地降低待借助用于显示增强现实的装置显示的图像数据的图像品质。
在对检查对象的尤其是术中的图像数据的记录与其在增强现实中的显示之间的延迟和/或降低的图像品质可能导致在介入式的和/或外科的手术中的错误协作。由此可能提高检查对象的受伤风险。
在医学环境中通常需要的是,能够同时地通过医疗人员的多个观察者观察检查对象的三维分辨(3D)的图像数据。为此例如可以将3D监视器与可由医疗人员佩戴的立体的过滤眼镜结合地使用。在此,3D监视器可以提供两个立体的单独图像,所述单独图像能够对于医疗人员的多个观察者借助过滤眼镜被立体地捕获到。然而,在此不利的是,立体的单独图像没有与多个观察者的尤其是当前的观察点适配(或者说没有根据观察点调整单独图像)。由此在观察3D监视器上的三维分辨的图像数据时,可能形成不真实和/或不充分的深度感知,尤其取决于观察点。
发明内容
因此本发明所要解决的技术问题在于,实现对增强现实的改善的调整。
该技术问题按本发明通过用于显示增强现实的图形视图的显示装置、系统和用于提供增强现实的图形视图的方法解决。
本发明在第一方面涉及一种用于显示增强现实的图形视图的显示装置。在此,所述显示装置具有捕获单元、第一显示单元和处理单元。此外,第一显示单元至少部分透明地设计。捕获单元被构造为,捕获第一显示单元相对于第二显示单元的显示面的相对定位。在此,第二显示单元的显示面被构造为显示图形信息。处理单元被构造为,根据相对定位确定第一显示单元与第二显示单元的显示面之间的观察几何图形。此外,处理单元被构造为,接收数据组。处理单元还被构造为,基于数据组生成增强现实。此外,处理单元被构造为,通过沿着观察几何图形将增强现实虚拟映射(Abbildung)在第二显示单元的显示面上,来提供增强现实的图形视图。此外,第一显示单元被构造为,与第二显示单元的显示面至少部分叠加地显示增强现实的图形视图。
第二显示单元在此例如可以具有屏幕和/或监视器和/或投影装置和/或投影面。在此,第二显示单元的显示面可以包括屏幕和/或监视器的显示层(面板,英语panel)和/或投影面。第二显示单元的显示面尤其可以包括在空间上受限的、尤其是连续的面,在所述面上能够显示图形信息。在此,第二显示单元的显示面可以至少区段性地、尤其是完全地面状地、尤其是平坦地,或者弯曲地延伸。图形信息可以包括尤其是医学的图像数据和/或文本信息,例如尤其是医学的对象的运行参数和/或对象参数和/或关于医学图像数据的元数据。
捕获单元(或者说检测单元、获取单元)可以有利地被构造为,捕获第一和第二显示单元、尤其是第二显示单元的显示面的空间定位。在此,第一和第二显示单元的空间定位可以分别描述第一和第二显示单元在捕获单元的坐标系中的空间位置和/或定向。此外,捕获单元可以被构造为,根据第一和第二显示单元的所捕获的空间定位确定第一显示单元相对于第二显示单元的显示面的相对定位。第一显示单元相对于第二显示单元的显示面的相对定位可以有利地包括关于第一显示单元、尤其是第一显示单元的坐标系的原点与第二显示单元的显示面、尤其是显示面的参考点、例如中心点或者角点之间的空间距离的信息。此外,相对定位可以包括关于第一显示单元相对于第二显示单元的显示面、尤其是相对于显示面的参考点中的法线向量的角、尤其是观察角的信息。
备选地,捕获单元可以被构造为,捕获(Erfassen)第一或者第二显示单元、尤其是第二显示单元的显示面相对于相应的其它显示单元的空间定位。在此,捕获单元可以按定义地相对于第一或者第二显示单元布置,尤其是固定在第一或者第二显示单元上和/或至少部分地、尤其是完全地集成在第一或者第二显示单元中。由此,捕获单元可以被构造为,直接捕获第二显示单元的显示面相对于第一显示单元的相对定位。在此,第一显示单元相对于第二显示单元的显示面的相对定位可以描述显示面在第一显示单元的坐标系中的尤其是三维的空间位置和定向(或者说取向)。
此外,处理单元可以被构造为,根据相对定位确定第一显示单元、尤其是一个或多个观察点、尤其是在显示装置的运行状态中透视第一显示单元的用户的眼睛与第二显示单元的显示面之间的观察几何图形。在此,观察几何图形可以描述第二显示单元的显示面与第一显示单元、尤其是用户的一个或多个观察点之间的光路。观察几何图形尤其可以在显示装置的运行状态中描述显示在第二显示单元的显示面上的图形信息的光路,所述光路穿过第一显示单元、尤其是增强现实的图形视图到达一个或多个观察点、尤其是透视第一显示单元的用户的眼睛。由此,观察几何图形可以描述从用户的一个或多个观察点出发对能够显示在第二显示单元上的图形信息与增强现实的图形视图的叠加观察的光路。
处理单元可以有利地通信式地、例如无线地或者通过线缆连接地与第一显示单元和捕获单元耦连。对数据组的接收尤其可以包括对计算机可读的数据存储器的捕获和/或读取和/或从数据存储单元、例如数据库接收。此外,数据组可以由医学成像设备提供。为此,处理单元可以具有接口。
数据组(Datensatz)可以包括尤其是医学的图像数据和/或图像参数、尤其是元数据,和/或模型数据、尤其是患者和/或器官和/或组织的模型,和/或模型参数和/或文本数据、例如运行参数和/或尤其是医学对象的对象参数和/或患者信息、例如既往病历数据和/或诊断数据和/或生理学信息,和/或程序上的数据、例如关于手术阶段的信息。
处理单元可以有利地被构造为,基于数据组生成具有至少一个虚拟对象、尤其是多个虚拟对象的增强现实。在此,增强现实可以包括至少一个虚拟对象、尤其是多个虚拟对象在第一显示单元的坐标系中的尤其是二维和/或三维的虚拟布置。处理单元可以有利地被构造为,生成至少一个虚拟对象,所述虚拟对象具有数据组的几何的和/或解剖的和/或纹理的和/或图形的特征。此外,处理单元可以被构造为,将增强现实、尤其是至少一个虚拟对象与第二显示单元的显示面配准。
此外,处理单元可以被构造为,通过沿着观察几何图形将增强现实、尤其是至少一个虚拟对象虚拟映射在第二显示单元的显示面上,来提供增强现实的图形视图、尤其是至少一个虚拟对象的图形视图。在此,图形视图可以包括增强现实在第一显示单元上的尤其是二维的和/或三维的、尤其是立体的视图。在此,增强现实的图形视图可以为透视第一显示单元的用户虚拟地布置在第二显示单元的显示面上。沿着观察几何图形将增强现实虚拟映射(或者说成像)在第二显示单元的显示面上尤其可以包括沿着观察几何图形将至少一个虚拟对象虚拟布置在第二显示单元的显示面上。此外,用于提供增强现实的图形视图的虚拟映射例如可以基于沿着观察几何图形在第二显示单元的显示面上按照至少一个虚拟对象的映射矩阵、尤其是摄像机矩阵的虚拟投影映射和/或光线追踪(英语ray-tracing)和/或渲染。此外,增强现实在第二显示单元的显示面上的虚拟映射可以包括按照尤其是当前的观察几何图形对至少一个虚拟对象的虚拟照明和/或虚拟遮蔽。此外,处理单元可以被构造为,根据观察几何图形通过第一显示单元调整(或者说适配)虚拟映射的立体视差(英语stereo disparity),以立体地显示增强现实的图形视图。增强现实的图形视图可以附加地具有背景信息、例如患者信息和/或工作流程提示,所述背景信息有利地虚拟地布置在第二显示单元的显示面之外,尤其是与显示面邻接地虚拟地布置和/或虚拟地布置在具有显示面的平面中。
增强现实的图形视图的提供可以包括存储在计算机可读的存储介质上和/或传输至第一显示单元。
第一显示单元可以有利地被构造为,尤其是二维或者三维地显示增强现实的图形视图。第一显示单元尤其可以被构造为立体地显示增强现实的图形视图。第一显示单元可以有利地被构造为,与增强现实的图形视图、尤其是至少一个虚拟对象的图形视图至少部分叠加地并且在一个显示内容中显示真实的、尤其是具体的对象、尤其是第二显示单元的显示面。为此,第一显示单元例如可以具有屏幕和/或监视器和/或投影装置和/或投影面。第一显示单元可以有利地设计为眼镜、尤其是数据眼镜,和/或头盔、尤其是数据头盔。此外,第一显示单元可以设计为便携式的,尤其是能够由用户佩戴的。在此,第一显示单元可以有利地跟随用户的运动、尤其是用户的头部运动而运动。此外,第一显示单元可以至少部分地设计为透明的,尤其是透光的和/或可透视的(durchblickbar)。此外,第一显示单元可以被构造为布置在用户的视场中。
所建议的实施方式可以有利地实现增强现实的图形视图的与用户的尤其是当前的观察几何图形适配的显示。在此,增强现实的图形视图可以至少部分地与第二显示单元在显示装置的运行状态中显示在其显示面上的图形信息叠加。此外,第二显示单元在显示装置的运行状态中可以不受增强现实的图形视图的显示影响地、尤其是无延迟地和/或以较高的图像品质在第二显示单元的显示面上显示图形信息。
在所建议的显示装置的另一有利实施方式中,所述处理单元可以被构造为,在相对定位改变的情况下,重复地确定第一显示单元与第二显示单元的显示面之间的观察几何图形(Betrachtungsgeometrie)。此外,处理单元可以被构造为,在相对定位改变的情况下,基于最后确定的观察几何图形提供增强现实的图形视图。
捕获单元可以有利地被构造为,重复地、尤其是连续地捕获第一显示单元相对于第二显示单元的显示面的相对定位。此外,处理单元可以被构造为,识别第一显示单元相对于第二显示单元的显示面的最后与先前捕获到的相对定位之间的偏差。在此,偏差的识别可以包括在最后与先前捕获到的相对定位之间的比较。此外,处理单元可以被构造为,尤其是基于最后捕获到的相对定位重复地确定观察几何图形。此外,处理单元可以被构造为,基于最后确定的观察几何图形来提供增强现实的图形视图。处理单元尤其可以被构造为,通过沿着最后确定的观察几何图形将增强现实虚拟映射在第二显示单元的显示面上来提供增强现实的图形视图。
增强现实的图形视图由此可以有利地与尤其是由于用户的运动而改变的相对定位适配。
在所建议的显示装置的另一有利实施方式中,所述捕获单元可以与第一显示单元和第二显示单元相间隔地布置或者至少部分地、尤其是完全地集成在第一显示单元或者第二显示单元中。
在第一变型方案中,捕获单元可以与第一和第二显示单元相间隔地布置,尤其是相对于在显示装置的运行状态下布置有第一和第二显示单元的空间位置固定地布置。有利地,捕获单元在此可以这样布置、尤其是定位,使得在显示装置的运行状态中,第一和第二显示单元布置在捕获单元的捕获区域中。由此,捕获单元可以被构造为分别捕获、尤其是同时捕获第一和第二显示单元的空间定位。
在第二变型方案中,捕获单元可以至少部分地集成在第一显示单元中或者至少部分地集成在第二显示单元中。在此,捕获单元可以具有相对于第一或者第二显示单元、尤其是第二显示单元的显示面的定义的、尤其是位置固定的布置。有利地,捕获单元可以这样至少部分地集成在第一或者第二显示单元中,使得在显示装置的运行状态中,相应的另一个显示单元布置在捕获单元的捕获区域中。由此,捕获单元可以被构造为直接捕获第一显示单元与第二显示单元之间的相对定位。
在捕获单元与第一显示单元相间隔地布置的情况下,尤其是在捕获单元至少部分地集成在第二显示单元中的情况下,捕获单元可以有利地被构造为,尤其是同时地捕获多个尤其是相同类型的或者不同的显示装置的相应的空间定位、尤其是相应的相对定位。
在所建议的显示装置的另一有利实施方式中,所述捕获单元可以具有用于捕获相对定位的光学的和/或者电磁的和/或者声学的传感器。
例如,捕获单元可以具有设计为摄像机的光学传感器、尤其是2D摄像机和/或全向摄像机和/或3D摄像机、尤其是立体摄像机和/或深度摄像机和/或飞行时间摄像机(TOF摄像机),其被构造为至少局部地、尤其是光学地捕获第一和/或第二显示单元。此外,捕获单元可以具有电磁传感器,该电磁传感器可以被构造为,根据电磁波、尤其是电磁波的变化和/或干涉来定位第一和/或第二显示单元。尤其在捕获单元至少部分地集成到第一或者第二显示单元中时,电磁传感器也可以设计为用于捕获所述捕获单元的空间定位的陀螺传感器。此外,捕获单元可以具有声学的传感器、尤其是基于超声波的传感器,该传感器被构造为发射定义的超声波场并且根据超声波场的反射部分捕获相对定位。捕获单元可以有利地被构造为,根据捕获到的第一显示单元相对于第二显示单元的显示面的相对定位向处理单元提供信号。
所建议的实施方式可以实现对第一显示单元相对于第二显示单元的显示面的相对定位的精确捕获。
在所建议的显示装置的另一有利实施方式中,所述捕获单元可以被构造为,根据第一显示单元和/或第二显示单元的物理特征和/或根据在第二显示单元的显示面上可见地和/或不可见地显示的图形标记结构捕获相对定位。
第一和/或第二显示单元的物理特征可以包括例如轮廓和/或形状和/或材料特性和/或纹理(Textur),例如反射率和/或吸收率。此外,第一和/或第二显示单元可以具有物理的、尤其是二维或者三维的标记结构,所述标记结构以定义的布置固定在第一和/或第二显示单元上和/或至少部分地集成在第一和/或第二显示单元中,例如在第一和/或第二显示单元的边缘和/或框架上实现。捕获单元可以有利地被构造为捕获相应标记结构的空间定位、尤其是空间上的位置和/或定向和/或姿态。
作为备选或补充,第二显示单元可以被构造为,以尤其对于人类用户可见和/或不可见的方式显示图形标记结构。所述图形标记结构可以有利地包括图形位置标记的尤其相对于第二显示单元的显示面静止的布置结构,例如几何图形和/或定义的图案。捕获单元可以有利地被构造为,捕获在显示装置的运行状态下显示在第二显示单元的显示面上的图形标记结构。此外,捕获单元可以被构造为,根据捕获到的图形标记结构、尤其是根据图形标记结构的空间定位,捕获第一显示单元相对于第二显示单元的显示面的相对定位。
第二显示单元可以被构造为以可见的方式、尤其至少部分与图形信息叠加地和/或至少部分集成到图形信息中地显示图形标记结构。
作为备选或补充,第二显示单元可以被构造为,以不可见的方式显示图形标记结构。在此,图形标记结构的显示可以有利地在人类用户可感知的光谱之外的波长范围内、例如在红外范围内实现。作为备选或补充,第二显示单元可以被构造为,在时间和/或空间上与图形信息交错地显示图形标记结构。在此,时间上的交错可以描述图形标记结构在图形信息的显示的时间序列内的、尤其是重复的显示。在此,第二显示单元可以被构造为,在图形信息的显示的序列内这样很少地和/或短暂地显示图形标记结构,使得图形标记结构对于人类用户是不可感知的。例如,图形标记结构与图形信息的空间交错显示能够以行和/或列的方式进行。在此,第二显示单元可以有利地被构造为,这样预设图形标记结构的空间分辨率,使得在空间交错显示中的图形标记结构对于人类用户是不可感知的。有利地,第二显示单元可以被构造为,在对于图形信息没有能够被人类用户感知的影响的情况下显示图形标记结构。
所建议的实施方式可以实现对第一显示单元相对于第二显示单元的显示面的相对定位的特别稳健并且同时精确的捕获。
在所建议的显示装置的另一有利实施方式中,所述增强现实的图形视图可以具有增强现实的至少一个虚拟对象的图形视图。此外,捕获单元可以被构造为,根据相对定位确定观察参数。此外,处理单元可以被构造为,根据观察参数确定至少一个虚拟对象。作为备选或补充,处理单元可以被构造为,根据观察参数调整至少一个虚拟对象的图形视图的分辨率和/或缩放比例和/或尺寸和/或定位。
根据相对定位确定的观察参数可以有利地、尤其以非用户特定的方式描述观察几何图形的一个或多个特性。例如,观察参数可以包括关于第一显示单元、尤其是第一显示单元的坐标系的原点,与第二显示单元的显示面、尤其是显示面的参考点、例如中心点或者角点之间的空间距离、尤其是当前的空间距离的信息。此外,观察参数可以包括关于第一显示单元相对于第二显示单元的显示面、尤其是相对于显示面的参考点中的法线向量的角、尤其是观察角的信息。此外,观察参数可以包括关于第一显示单元的视场相对于第二显示单元的显示面的空间延伸、尤其是扇形角的信息。
处理单元可以有利地被构造为,根据观察参数确定至少一个虚拟对象。在此,至少一个虚拟对象的确定例如可以包括数据组的尤其是在内容和/或图形方面的过滤和/或重建。数据组的过滤例如可以包括根据用于确定数据组的至少一个虚拟对象的观察参数来选择数据组的元素和/或特征和/或信息。作为备选或补充,处理单元可以被构造为,根据观察参数调整至少一个虚拟对象的图形视图的尤其是空间和/或时间的分辨率和/或缩放比例和/或尺寸和/或定位。例如,处理单元可以被构造为,随着第一显示单元和第二显示单元的显示面之间的空间距离的增加,降低至少一个虚拟对象的图形视图的空间分辨率。此外,处理单元可以被构造为,随着第一显示单元和第二显示单元的显示面之间的空间距离的增加,例如通过缩放来减小至少一个虚拟对象的图形视图。此外,处理单元可以被构造为,根据观察参数、尤其是观察角调整至少一个虚拟对象的图形视图在第二显示单元的显示面上的定位、尤其是位置和/或定向。处理单元还可以被构造为,根据观察参数调整至少一个虚拟对象的图形视图的其它显示参数,例如字体尺寸和/或线条粗细和/或颜色编码和/或灰度值编码。
所建议的实施方式可以有利地在与第二显示单元的显示面至少部分叠加的情况下实现增强现实的图形视图的、尤其是至少一个虚拟对象的沉浸式和接近现实的显示。
在所建议的显示装置的另一有利实施方式中,所述捕获单元可以被构造为,捕获在显示装置的运行状态中透视第一显示单元的用户的输入和/或身份。此外,捕获单元可以被构造为,附加地根据用户的输入和/或身份、尤其是针对用户特定地确定观察参数。
用于捕获相对定位的捕获单元的传感器也可以有利地被构造为捕获用户的输入。作为备选或补充,捕获单元可以具有其它的、尤其是光学的和/或电磁的和/或声学的和/或触觉的传感器,所述传感器被构造为捕获用户的输入。捕获单元可以有利地被构造为,根据输入器件捕获用户的输入。输入器件例如可以包括指示装置、例如笔和/或标记结构,和/或输入单元、例如键盘,和/或用户身体的一部分、例如手和/或手指,和/或光学的和/或声学的信号。有利地,捕获单元可以被构造为尤其根据输入器件二维和/或三维地空间分辨地捕获用户的输入。捕获单元尤其可以被构造为,点式地和/或时间分辨地、例如作为轨迹和/或手势捕获用户的输入。
用户的输入可以有利地具有信息、尤其是至少一个输入参数,用于确定至少一个虚拟对象和/或调整至少一个虚拟对象的图形视图的分辨率和/或缩放比例和/或尺寸和/或定位。例如,用户的输入可以具有用于选择用于确定至少一个虚拟对象的数据组的元素和/或者特征和/或信息的标准。
此外,捕获单元可以被构造为,捕获用户的身份。捕获单元可以被构造为,通过捕获单元的用于捕获相对定位的传感器和/或通过其它传感器捕获用户的身份。用户的身份的捕获例如可以根据生物特征、例如声音特性和/或指纹,和/或根据用户的输入和/或根据识别介质、例如条形码和/或射频识别系统(英语radiofrequency identification,RFID)实现。处理单元可以有利地被构造为,根据用户的身份来分配或者说配置角色。例如,可以根据尤其是医学的观察重点和/或交互程度和/或相应用户的专业知识将用户的不同角色分类。
处理单元可以被构造为,针对用户的不同身份、尤其是角色,至少部分不同地生成增强现实。此外,处理单元可以被构造为,针对用户的不同身份、尤其是角色,至少部分不同地提供增强现实的图形视图。捕获单元可以有利地被构造为,附加地根据用户的身份、尤其是角色确定、尤其是选择观察参数。捕获单元可以有利地通过捕获和/或读取计算机可读的数据存储器和/或从数据存储单元、例如数据库接收来分别确定关于用户的分类角色的至少一个观察参数。观察参数例如可以具有用于选择用于确定至少一个虚拟对象的数据组的元素和/或特征和/或信息的、尤其是针对用户特定的和/或针对角色特定的标准。作为备选或补充,观察参数可以具有关于至少一个虚拟对象的图形视图的分辨率和/或缩放比例和/或尺寸和/或定位的、尤其是针对用户特定的和/或针对角色特定的提示。此外,尤其是针对用户特定的观察参数可以具有关于针对用户特定的立体视差(英语stereo disparity)的信息。在此,处理单元可以有利地被构造为,基于观察参数地将用于提供增强现实的图形视图的、尤其是用于立体地显示增强现实的图形视图的虚拟映射与针对用户特定的立体视差适配。
所建议的实施方式可以有利地实现增强现实的图形视图、尤其是至少一个虚拟对象的针对用户特定的和/或背景敏感的、尤其是手动的适配。
在所建议的显示装置的另一有利实施方式中,所述数据组可以具有关于图形信息的参数,第二显示单元在显示装置的运行状态中将所述图形信息显示在显示面上。在此,处理单元还可以被构造为,根据所述参数生成增强现实。
参数可以具有关于第二显示单元在显示装置的运行状态中显示的图形信息的原始信息和/或显示信息。在此,原始信息例如可以具有关于图形信息的源、例如用于记录和/或用于提供图形信息的医学成像设备的信息。参数尤其可以具有关于图形信息的元数据。此外,原始信息可以具有关于图形信息的记录参数和/或重建参数。此外,原始信息可以具有定位信息,该定位信息例如描述源、尤其是用于记录和/或用于提供图形信息的医学成像设备的空间位置和/或定向和/或姿态和/或空间记录区域。显示信息还可以包括用于显示图形信息的信息,例如图像频率和/或分辨率和/或图像值的编码、例如颜色编码或者灰度值编码。
处理单元还可以被构造为,根据参数生成增强现实。处理单元尤其可以被构造为,根据参数确定至少一个虚拟对象、尤其是多个虚拟对象。此外,处理单元可以被构造为,根据参数调整至少一个虚拟对象、尤其是多个虚拟对象在第一显示单元的坐标系中的虚拟布置。由此也可以根据参数调整至少一个虚拟对象的图形视图在第二显示单元的显示面上的定位。处理单元尤其可以被构造为,基于观察几何图形和参数将增强现实、尤其是至少一个虚拟对象与图形信息配准。处理单元还可以被构造为,根据参数调整增强现实的、尤其是至少一个虚拟对象的图形视图。
由此可以实现增强现实的图形视图在与在运行状态下显示在第二显示单元的显示面上的图形信息至少部分叠加的情况下的更好沉浸感。
在所建议的显示装置的另一有利实施方式中,数据组可以具有第一医学图像数据。在此,处理单元可以被构造为,基于第一医学图像数据生成增强现实。第二显示单元可以有利地在显示装置的运行状态中将第二医学图像数据的图形视图作为图形信息显示在显示面上。在此,第一和第二医学图像数据可以具有检查对象的至少部分共同的检查区域的映射和/或模型。此外,在显示装置的运行状态中,增强现实的图形视图可以至少部分地与第二医学图像数据的图形视图叠加。
第一和/或第二医学图像数据可以有利地由一个医学成像设备或者由不同的医学成像设备记录和/或提供。在此,用于记录第一和/或第二医学图像数据的至少一个医学成像设备例如可以设计为医学X射线设备和/或磁共振设备(MRI)和/或计算机断层扫描设备(CT)和/或正电子发射断层扫描设备(PET)和/或超声设备和/或内窥镜、尤其是腹腔镜和/或支气管镜,和/或导管。在此,第一和第二医学图像数据在它们的记录参数和/或重建方面可以相同或者不同。此外,第一和第二医学图像数据可以相互配准。
有利地,第一医学图像数据可以具有检查对象的至少一个第一检查区域、例如解剖区域和/或器官、尤其是中空器官和/或骨骼结构的、尤其是时间分辨的、二维或者三维地空间分辨的映射。此外,第二医学图像数据可以具有检查对象的至少一个第二检查区域、例如解剖区域和/或器官、尤其是中空器官和/或骨骼结构的、尤其是时间分辨的、二维或者三维地空间分辨的映射。第一和/或第二医学图像数据例如可以具有场景,例如手术视频。在此,第一和第二检查区域可以至少部分地协调适配。由此,第一和第二医学图像数据可以至少部分地反映(或者说映射出)检查对象的共同的检查区域。第一和/或第二医学图像数据可以分别具有检查对象、尤其是第一和/或第二检查区域的对比映射和/或分割映射。例如,检查对象可以是人类患者和/或动物患者和/或检查体模。此外,第一和第二医学图像数据可以在不同的或者至少部分相同的记录时间点、例如在术前和/或术中反映(abbilden)检查对象、尤其是共同的检查区域。此外,第一医学图像数据可以具有用于记录第二医学图像数据的医学成像设备的、尤其是在作为内窥镜和/或导管的设计中的医学成像设备的尤其是术中的映射,或者反之亦然。
作为备选或补充,第一和/或第二医学图像数据可以具有相应检查区域、尤其是中空器官的2D和/或3D模型,尤其是中心线模型和/或体积模型、例如体积网格模型(英语volume mesh model)。
处理单元可以有利地被构造为,基于第一医学图像数据生成增强现实。例如,处理单元可以被构造为,通过分割和/或识别在第一医学图像数据中反映的解剖对象、例如组织区域和/或器官、尤其是中空器官,和/或医学对象、例如外科的和/或诊断的仪器和/或植入物来确定至少一个虚拟对象。至少一个虚拟对象例如可以具有被分割和/或识别的解剖对象和/或医学对象的映射和/或虚拟呈现、例如2D或者3D模型。
第二显示单元可以有利地被构造为,在显示装置的运行状态中显示第二医学图像数据的图形视图作为图形信息。此外,处理单元可以被构造为,这样提供增强现实的图形视图,使得在显示装置的运行状态下由第一显示单元显示的增强现实的图形视图至少部分地与第二显示单元的显示面上的第二医学图像数据的图形视图叠加。处理单元尤其可以被构造为,这样提供增强现实的图形视图,使得检查对象的至少部分共同的区域全等地布置在第二医学图像数据的图形视图与增强现实的图形视图的叠加部中。处理单元尤其可以被构造为,根据相对定位、尤其是观察几何图形,将增强现实的图形视图与第二医学图像数据的图形视图配准。
所建议的实施方式能够实现增强现实的图形视图与第二医学图像数据的在运行状态下显示在第二显示单元的显示面上的图形视图的至少部分叠加的显示。在此,第二医学图像数据的图形视图的显示可以尤其是在其图像品质和/或显示延迟方面保持不受增强现实的图形视图的显示的影响。
在所建议的显示装置的另一有利实施方式中,第一图像数据可以将检查对象三维地映射和/或模型化。此外,处理单元可以被构造为,提供具有关于第二图像数据的图形视图的虚拟窗口的增强现实的图形视图。
处理单元可以有利地被构造为,确定和/或识别第二显示单元的显示面上的、尤其是第二医学图像数据中的、尤其是二维的关注区域。在此,处理单元可以被构造为,例如根据用户的进一步输入和/或几何特征、例如轮廓和/或图像值和/或对比度值,和/或解剖特征、例如组织边界和/或血管壁和/或第二医学图像数据的标记结构确定和/或识别关注区域。有利地,关注区域可以描述第二显示单元的显示面的至少一个、尤其是连续的和/或空间受限的部分,增强现实的图形视图中的虚拟窗口要被定位在所述部分处。
虚拟窗口可以表示增强现实的图形视图的空间受限的和/或连续的区域,该区域在与第二显示单元的显示面的至少部分的叠加中具有关于第二医学图像数据的图形视图的虚拟透明度。有利地,处理单元可以被构造为,将增强现实的图形视图、尤其是至少一个虚拟对象的图形视图布置在第二显示单元的显示面上的关注区域中。处理单元可以有利地被构造为,二维或者三维地空间分辨地提供虚拟窗口。虚拟窗口还可以具有第一医学图像数据的至少一个尤其是二维或者三维地空间分辨的区域。有利地,处理单元可以被构造为,这样提供增强现实的图形视图,使得检查对象的至少部分共同的区域、尤其是共同的几何和/或解剖特征全等地布置在第二医学图像数据的图形视图与增强现实的图形视图、尤其是虚拟窗口的叠加部中。处理单元还可以被构造为,根据尤其是当前的观察几何图形来调整虚拟窗口、尤其是第一医学图像数据的区域。此外,处理单元可以被构造为,根据观察参数和/或关于图形信息、尤其是第二医学图像数据的参数调整虚拟窗口。根据观察几何图形对虚拟窗口的调整可以有利地包括增强现实在第二显示单元的显示面上、尤其是关注区域上的虚拟映射,所述映射具有关于显示面的深度维度。在此,增强现实、尤其是至少一个虚拟对象在显示面上的虚拟映射例如可以基于沿着观察几何图形按照映射矩阵、尤其是用于记录和/或提供第一医学图像数据的医学成像设备的映射矩阵和/或摄像机矩阵的虚拟投影映射和/或光线追踪和/或渲染。此外,深度维度可以基本上垂直于第二显示单元的显示面延伸。第二显示单元的显示面上的关注区域尤其可以界定通过与增强现实的图形视图、尤其是虚拟窗口的叠加提供的透明度的空间范围。
所建议的实施方式可以有利地实现通过第二显示单元的显示面中的虚拟窗口对增强现实的图形视图中的第一医学图像数据的沉浸式观察。
在所建议的显示装置的另一有利实施方式中,检查对象的共同的检查区域可以具有由壁包围的空腔。在此,虚拟窗口可以通过被增强现实向第二显示单元的显示面上的虚拟映射中的虚拟平面切割的空腔的壁界定(或者说形成边界)。
所述由壁包围的空腔可以表示检查对象的空腔、例如中空器官,所述空腔尤其是由组织和/或结构和/或组织边界在空间上界定并且尤其填充有流体。中空器官例如可以包括血管区段、尤其是动脉或者静脉,和/或肺和/或肠和/或心脏。
处理单元可以有利地被构造为,根据空腔的壁确定和/或识别第二显示单元的显示面上的、尤其是第二医学图像数据中的关注区域。在增强现实向第二显示单元的显示面上的虚拟映射中,空腔的壁可以被尤其是相对于第二显示单元的显示面平行或者倾斜的虚拟平面切割。在此,被切割的空腔壁可以具有尤其是闭合的或者中断的轮廓。处理单元可以有利地被构造为,尤其是在增强现实的虚拟映射中,例如根据图像值和/或对比度值确定和/或识别被切割的空腔壁的轮廓。有利地,处理单元可以被构造为,将关注区域确定和/或识别为由被切割的壁的轮廓界定的、尤其是连续的面。被切割的空腔的轮廓尤其可以界定通过与增强现实的图形视图、尤其是虚拟窗口的叠加提供的透明度的空间范围。在二维地设计虚拟窗口的情况下,处理单元可以被构造为,与关注区域相应地,尤其是通过被切割的空腔壁的轮廓在空间上界定虚拟窗口。在三维地设计虚拟窗口的情况下,处理单元可以被构造为,通过空腔的壁附加地沿着显示面的深度维度界定虚拟窗口(即形成虚拟窗口的边界)。
由此可以实现由壁包围的空腔的接近真实的显示和通过虚拟窗口对其的观察。
在所建议的显示装置的另一有利实施方式中,处理单元可以被构造为,提供具有至少一个在第二图像数据中映射的对象的虚拟延长段的增强现实的图形视图。此外,第一显示单元可以被构造为,在第二显示单元的显示面之外和/或与第二显示单元的显示面邻接地显示所述虚拟延长段。
处理单元可以有利地被构造为,例如根据图像值和/或对比度值和/或标记结构和/或解剖图谱,识别第二医学图像数据中的至少一个、尤其是解剖和/或医学和/或几何的对象。在此,对第二医学数据中的至少一个对象的识别例如可以包括分割。此外,处理单元可以被构造为,例如根据第一医学图像数据和第二医学图像数据之间的配准和/或图像值和/或对比度值和/或标记结构和/或解剖图谱,识别第一医学图像数据中的与所述至少一个对象对应的对象。在此,对第一医学图像数据中的至少一个对应的对象的识别例如可以包括分割。有利地,处理单元还可以被构造为,根据第一医学图像数据确定具有对应的对象的映射和/或虚拟呈现、尤其是模型的虚拟延长段。此外,处理单元可以被构造为,这样将增强现实虚拟地映射在第二显示单元的显示面上,使得在显示装置的运行状态下,在第二显示单元的显示面之外和/或与第二显示单元的显示面邻接地显示所述虚拟延长段。在此,虚拟延长段可以布置在与第二显示单元的显示面平行的平面中或者相对于显示面成预定角地布置。
由此可以实现增强现实的图形视图的与第二显示单元的显示面配准的并且在空间上不受显示面限制的显示。
本发明在第二方面涉及一种系统,所述系统包括一个所建议的显示装置、尤其是多个所建议的显示装置、第二显示单元和医学成像设备。在此,医学成像设备被构造为,记录和/或提供第一医学图像数据和/或第二医学图像数据。此外,第二显示单元被构造为,将第二医学图像数据的图形视图显示在显示面上。
所建议的系统的优点基本上相应于所建议的用于显示增强现实的图形视图的显示装置的优点。在此提到的特征、优点或者备选实施方式也可以转用到其它要求保护的主题上并且反之亦然。
在所建议的系统的另一有利实施方式中,医学成像设备可以被构造为,至少部分地布置在检查对象的检查区域中。
医学成像设备例如可以设计为内窥镜、尤其是腹腔镜和/或支气管镜和/或导管。在此,医学成像设备的远端区段可以在系统的运行状态下布置在检查对象中、尤其是布置在检查对象的中空器官中。此外,医学成像设备的远侧区段可以被构造为记录第一和/或第二医学图像数据。
本发明在第三方面涉及一种用于提供增强现实的图形视图的方法。在此,借助捕获单元捕获第一显示单元相对于第二显示单元的显示面的相对定位。此外,将图形信息显示在第二显示单元的显示面上。此外,根据相对定位确定第一显示单元与第二显示单元的显示面之间的观察几何图形。此外,接收数据组。此外,基于数据组生成增强现实。此外,通过沿着观察几何图形将增强现实虚拟映射在第二显示单元的显示面上来提供增强现实的图形视图。在此,所述提供包括与第二显示单元的显示面上的图形信息至少部分叠加地借助第一显示单元显示增强现实的图形视图。
所建议的方法的优点基本上相应于所建议的用于显示增强现实的图形视图的显示装置的优点。在此提到的特征、优点或者备选实施方式也可以转用到其它要求保护的主题上并且反之亦然。按照本发明的装置、尤其是显示装置和/或系统可以有利地被构造为,执行所建议的方法的实施方式。
附图说明
本发明的实施例在附图中示出并且在以下更详细地描述。在不同的附图中对于相同特征使用相同的附图标记。在附图中:
图1至图3示出了用于显示增强现实的图形视图的显示装置的不同的有利实施方式的示意图;
图4示出了具有虚拟窗口的增强现实的虚拟映射的示意图;
图5示出了所建议的系统的有利实施方式的示意图;
图6示出了用于提供增强现实的图形视图的所建议的方法的示意图。
具体实施方式
在图1中示出了所建议的用于显示增强现实的图形视图的显示装置的有利实施方式。显示装置可以具有捕获单元RU、第一显示单元VIS.1和处理单元22。在此,第一显示单元VIS.1可以设计为至少部分透明的。此外,捕获单元RU可以被构造为,捕获第一显示单元VIS.1相对于第二显示单元VIS.2的显示面VIS.S的相对定位。捕获单元RU例如可以具有用于捕获相对定位的光学和/或电磁和/或声学的传感器。此外,第二显示单元VIS.2的显示面VIS.S可以被构造为显示图形信息GI。例如,第二显示单元VIS.2可以具有屏幕和/或监视器和/或投影装置和/或投影面。在此,第二显示单元VIS.2的显示面VIS.S可以包括投影面和/或屏幕的和/或监视器的显示层。第二显示单元VIS.2的显示面VIS.S尤其可以包括在其上能够显示图形信息GI的受限的面。在此,第二显示单元VIS.2的显示面VIS.S可以至少区段性地、尤其是完全地是面状的、尤其是平坦的,或者弯曲地延伸。图形信息GI尤其可以包括尤其是医学的图像数据和/或文本信息,例如尤其是医学的对象的运行参数和/或对象参数,和/或包括关于医学图像数据的元数据。
此外,处理单元22可以被构造为,根据相对定位确定第一显示单元VIS.1和第二显示单元VIS.2的显示面VIS.S之间的观察几何图形。处理单元22也可以被构造为接收数据组。有利地,处理单元22可以通信式地例如通过信号22.S与第一显示单元VIS.1和捕获单元RU耦连。此外,处理单元22可以被构造为,基于数据组生成增强现实。此外,处理单元22可以被构造为,通过沿着观察几何图形将增强现实虚拟映射在第二显示单元VIS.2的显示面VIS.S上,来提供增强现实的图形视图G.AR。
第一显示单元VIS.1可以有利地被构造为,与第二显示单元VIS.2的显示面VIS.S至少部分叠加地、尤其是立体地显示增强现实的图形视图G.AR。为此,第一显示单元VIS.1例如可以具有屏幕和/或监视器和/或投影装置和/或投影面。第一显示单元VIS.1可以有利地设计为眼镜、尤其是数据眼镜,和/或头盔、尤其是数据头盔。此外,第一显示单元VIS.1可以设计为便携式的,尤其是能够由用户U在用户U的视场内佩戴。
在此,捕获单元RU可以至少部分地集成到第一显示单元VIS.1中。此外,捕获单元RU可以具有相对于第一显示单元VIS.1定义的、尤其是位置固定的布置结构。有利地,捕获单元RU能够这样至少部分地集成到第一显示单元VIS.1中,使得第二显示单元VIS.2在显示装置的运行状态下布置在捕获单元RU的捕获区域中。
有利地,处理单元22还可以被构造为,在相对定位改变时重复地确定第一显示单元VIS.1和第二显示单元VIS.2的显示面VIS.S之间的观察几何图形。此外,处理单元22可以被构造为,在相对定位改变时基于最后确定的观察几何图形来提供增强现实的图形视图G.AR。
增强现实的图形视图G.AR可以有利地具有增强现实的至少一个虚拟对象的图形视图。在此,捕获单元RU可以被构造为,根据相对定位来确定观察参数。此外,处理单元22可以被构造为,根据观察参数确定至少一个虚拟对象。作为备选或补充,处理单元22可以被构造为,根据观察参数调整至少一个虚拟对象的图形视图的分辨率和/或缩放比例和/或尺寸和/或定位。
捕获单元RU还可以被构造为,捕获在显示装置的运行状态中透视第一显示单元VIS.1的用户U的输入和/或身份。此外,捕获单元RU可以被构造为,附加地根据用户U的输入和/或身份确定观察参数。
所述数据组可以有利地具有关于图形信息GI的参数,第二显示单元VIS.2在显示装置的运行状态中将所述图形信息显示在显示面VIS.S上。此外,处理单元22可以被构造为,根据所述参数生成增强现实。
图2示出了所建议的显示装置的另一有利实施方式的示意图。在此,捕获单元RU可以与第一显示单元VIS.1和第二显示单元VIS.2相间隔地布置,尤其是相对于在显示装置的运行状态中布置有第一显示单元VIS.1和第二显示单元VIS.2的空间呈位置固定地布置。有利地,捕获单元RU在此可以这样布置、尤其是定位,使得第一显示单元VIS.1和第二显示单元VIS.2在显示装置的运行状态中布置在捕获单元RU的捕获区域中。此外,捕获单元RU可以被构造为,根据第一和第二显示单元VIS.2的物理特征捕获相对定位。
在图3中示意性地示出所建议的显示装置的另一有利实施方式。在此,捕获单元RU可以被构造为,根据在第二显示单元VIS.2的显示面VIS.S上可见和/或不可见地显示的图形标记结构PM来捕获相对定位。图形标记结构PM可以有利地包括图形位置标记的尤其相对于第二显示单元VIS.2的显示面VIS.S静止的、二维的布置结构,例如几何形状和/或定义的图案。此外,捕获单元RU可以被构造为,根据捕获到的图形标记结构、尤其是根据图形标记结构PM的空间定位,捕获第一显示单元VIS.1相对于第二显示单元VIS.2的显示面VIS.S的相对定位。
图4示出了具有虚拟窗口WW的增强现实AR的虚拟映射的示意图。在此,数据组可以具有第一医学图像数据。此外,处理单元22可以被构造为,基于第一医学图像数据生成增强现实AR。此外,在显示装置的运行状态中,第二显示单元VIS.2可以在显示面VIS.S上显示第二医学图像数据的图形视图。在此,第一和第二医学图像数据可以反映检查对象的至少部分共同的检查区域的映射和/或模型。第一医学图像数据可以有利地在三个维度上反映检查对象。此外,增强现实AR的图形视图G.AR可以至少部分地与第二医学图像数据的图形视图叠加。此外,处理单元22可以被构造为,提供具有关于第二图像数据的图形视图的虚拟窗口WW的增强现实AR的图形视图G.AR。
检查对象的共同区域可以有利地具有由壁包围的空腔HO,例如中空器官。中空器官例如可以包括血管区段、尤其是动脉或者静脉,和/或肺和/或肠和/或心脏。在此,虚拟窗口WW可以通过被增强现实AR向第二显示单元VIS.2的显示面VIS.S上的虚拟映射中的虚拟平面VP切割的空腔HO的壁VW界定。在增强现实AR向第二显示单元VIS.2的显示面VIS.S上的虚拟映射中,空腔HO的壁VW可以被尤其是平行于第二显示单元VIS.2的显示面VIS.S的虚拟平面VP切割。在此,空腔HO的被切割的壁VW可以具有尤其是闭合的或者中断的轮廓WW.C。空腔HO的被切割的壁VW的轮廓WW.C尤其可以界定通过与增强现实AR的图形视图G.AR、尤其是虚拟窗口WW的叠加提供的透明度的空间范围。处理单元22可以有利地被构造为,以空间受限的方式相应于空腔HO的通过虚拟平面VP切割的壁VW、尤其是轮廓WW.C地确定虚拟窗口WW。在三维地设计虚拟窗口WW时,处理单元22可以被构造为,通过空腔HO的壁VW附加地沿着显示面VIS.S的深度维度界定虚拟窗口WW。为了说明,在图4中示出了透视第一显示单元的用户U的两个示例性观察位置P.1和P.2。在此,可以根据尤其是当前的观察位置P.1或者P.2以用户U的不同观察方向VD.1或者VD.2观察第二图像数据的图形视图在第二显示单元VIS.2的显示面VIS.S上的与增强现实AR的图形视图G.AR叠加的显示。在此,朝向观察方向VD.1的限制光线VD.1B和朝向观察方向VD.2的限制光线VD2.B说明了通过空腔HO的壁VW沿着显示面VIS.S的深度维度对虚拟窗口WW的、尤其是视觉上的界定。在此,增强现实AR在用于提供增强现实AR的图形视图G.AR的第二显示单元VIS.2的显示面VIS.S上的虚拟映射例如可以基于沿着观察几何图形按照映射矩阵、尤其是用于记录和/或提供第一医学图像数据的医学成像设备的映射矩阵和/或摄像机矩阵的虚拟投影映射和/或光线追踪和/或渲染,尤其是根据用户U的观察位置P.1或者P.2和/或观察方向VD.1或者VD.2实现。
在图5中示意性地显示了所建议的系统。该系统可以具有显示装置、第二显示单元VIS.2和医学成像设备MD。在此,医学成像设备MD可以被构造为,至少部分地布置在检查对象31的检查区域RE中、尤其是中空器官中,所述检查对象31尤其布置在患者支承装置32上。医学成像设备MD可以有利地被构造为,记录和/或提供第一和/或第二医学图像数据。此外,第二显示单元VIS.2可以被构造为在显示面VIS.S上显示第二医学图像数据的图形视图。
处理单元22可以有利地被构造为,提供增强现实AR的图形视图G.AR,所述图形视图具有至少一个在第二图像数据中映射的、尤其是解剖和/或医学和/或几何的对象GI.OB的虚拟延长段G.VF。在图5中示例性地示出了作为在第二图像数据中映射的至少一个对象GI.OB的中空器官。在此,第一显示单元VIS.1可以被构造为,在第二显示单元VIS.2的显示面VIS.S之外和/或与第二显示单元VIS.2的显示面VIS.S邻接地显示虚拟延长段G.VF。在此,虚拟延长段G.VF可以有利地具有用于医学对象和/或用于中空器官中的医学成像设备MD的图形路径规划信息G.PP。
在图6中示意性地示出了所建议的用于提供PROV-G.AR增强现实AR的图形视图G.AR的方法的有利实施方式。在此,借助捕获单元RU可以捕获第一显示单元VIS.1相对于第二显示单元VIS.2的显示面VIS.S的相对定位POS。此外,图形信息GI可以显示VISU-GI在第二显示单元VIS.2的显示面VIS.S上。此外,第一显示单元VIS.1与第二显示单元VIS.2的显示面VIS.S之间的观察几何图形GEO可以根据相对定位POS确定DET-GEO。此外,可以接收REC-DS数据组DS。此外,可以基于数据组DS生成GEN-AR增强现实AR。此外,可以通过沿着观察几何图形GEO将增强现实AR虚拟映射在第二显示单元VIS.2的显示面VIS.S上来提供PROV-G.AR增强现实的图形视图G.AR。在此,所述提供PROV-G.AR可以包括与第二显示单元VIS.2的显示面VIS.S上的图形信息GI至少部分叠加地借助第一显示单元VIS.1显示VISU-G.AR增强现实的图形视图G.AR。
所描述的附图中包含的示意图不代表比例尺或者尺寸之比。
最后需要再次指出,以上详细描述的方法和装置只是实施例,本领域技术人员可以在不脱离本发明范围的情况下以不同的方式对其进行修改。此外,不定冠词“一个”的使用不排除相关特征也可以多次存在的可能性。同样地,术语“单元”和“元素”不排除相关部件由多个共同作用的子部件组成的可能性,这些子组件必要时也可以分布在空间中。

Claims (15)

1.一种用于显示(VISU-G.AR)增强现实(AR)的图形视图(G.AR)的显示装置,其中,所述显示装置具有捕获单元(RU)、第一显示单元(VIS.1)和处理单元(22),
其中,第一显示单元(VIS.1)至少部分透明地设计,
其中,捕获单元(RU)被构造为,捕获(CAP-POS)第一显示单元(VIS.1)相对于第二显示单元(VIS.2)的显示面(VIS.S)的相对定位(POS),
其中,第二显示单元(VIS.2)的显示面(VIS.S)被构造为显示(VISU-GI)图形信息(GI),
其中,处理单元(22)被构造为:
-根据相对定位(POS)确定(DET-GEO)第一显示单元(VIS.1)与第二显示单元(VIS.2)的显示面(VIS.S)之间的观察几何图形(GEO),
-接收(REC-GEO)数据组(DS),
-基于数据组(DS)生成(GEN-AR)增强现实(AR)并且
-通过沿着观察几何图形(GEO)将增强现实(AR)虚拟映射在第二显示单元(VIS.2)的显示面(VIS.S)上,来提供(PROV-G.AR)增强现实(AR)的图形视图(G.AR),
其中,第一显示单元(VIS.1)被构造为,与第二显示单元(VIS.2)的显示面(VIS.S)至少部分叠加地显示(VISU-G.AR)增强现实(AR)的图形视图(G.AR)。
2.按权利要求1所述的显示装置,
其中,所述处理单元(22)被构造为,在相对定位(POS)改变的情况下:
-重复地确定(DET-GEO)第一显示单元(VIS.1)与第二显示单元(VIS.2)的显示面(VIS.S)之间的观察几何图形(GEO)并且
-基于最后确定的观察几何图形(GEO)提供(PROV-G.AR)增强现实(AR)的图形视图(G.AR)。
3.按权利要求1或2所述的显示装置,
其中,所述捕获单元(RU)与第一显示单元(VIS.1)和第二显示单元(VIS.2)相间隔地布置或者至少部分地集成在第一显示单元(VIS.1)或者第二显示单元(VIS.2)中。
4.按前述权利要求之一所述的显示装置,
其中,所述捕获单元(RU)具有用于捕获(CAP-POS)相对定位(POS)的光学的和/或电磁的和/或声学的传感器。
5.按前述权利要求之一所述的显示装置,
其中,所述捕获单元(RU)被构造为,根据第一显示单元(VIS.1)和/或第二显示单元(VIS.2)的物理特征和/或根据在第二显示单元(VIS.2)的显示面(VIS.S)上可见地和/或不可见地显示的图形标记结构(PM)捕获(CAP-POS)相对定位(POS)。
6.按前述权利要求之一所述的显示装置,
其中,所述增强现实(AR)的图形视图(G.AR)具有增强现实(AR)的至少一个虚拟对象的图形视图,
其中,所述捕获单元(RU)被构造为,根据相对定位(POS)确定观察参数,
其中,所述处理单元(22)被构造为,
-根据观察参数确定至少一个虚拟对象和/或
-根据观察参数调整至少一个虚拟对象的图形视图的分辨率和/或缩放比例和/或尺寸和/或定位。
7.按权利要求6所述的显示装置,其中,
所述捕获单元(RU)还被构造为:
-捕获在显示装置的运行状态中透视第一显示单元(VIS.1)的用户(U)的输入和/或身份并且
-附加地根据用户(U)的输入和/或身份确定观察参数。
8.按前述权利要求之一所述的显示装置,
其中,所述数据组(DS)具有关于图形信息(GI)的参数,第二显示单元(VIS.2)在显示装置的运行状态中将所述图形信息显示在显示面(VIS.S)上,
其中,处理单元(22)还被构造为,根据所述参数生成(GEN-AR)增强现实(AR)。
9.按前述权利要求之一所述的显示装置,
其中,数据组(DS)具有第一医学图像数据,
其中,处理单元(22)被构造为,基于第一医学图像数据生成增强现实(AR),
其中,在显示装置的运行状态中:
-第二显示单元(VIS.2)将第二医学图像数据的图形视图作为图形信息(GI)显示在显示面(VIS.S)上,
其中,第一和第二医学图像数据具有检查对象(31)的至少部分共同的检查区域(RE)的映射和/或模型,
-增强现实(AR)的图形视图(G.AR)至少部分地与第二医学图像数据的图形视图叠加。
10.按权利要求9所述的显示装置,
其中,第一图像数据将检查对象(31)三维地映射和/或模型化,
其中,处理单元(22)被构造为,提供具有关于第二图像数据的图形视图的虚拟窗口(WW)的增强现实(AR)的图形视图(G.AR)。
11.按权利要求10所述的显示装置,
其中,检查对象(31)的共同的检查区域具有由壁包围的空腔(HO),
其中,虚拟窗口(WW)通过被增强现实(AR)向第二显示单元(VIS.2)的显示面(VIS.S)上的虚拟映射中的虚拟平面(VP)切割的空腔(HO)的壁(VW)界定。
12.按权利要求9至11之一所述的显示装置,
其中,处理单元(22)被构造为,提供具有至少一个在第二图像数据中映射的对象(GI.OB)的虚拟延长段(G.VF)的增强现实(AR)的图形视图(G.AR),
其中,第一显示单元(VIS.1)被构造为,在第二显示单元(VIS.2)的显示面(VIS.S)之外和/或与第二显示单元(VIS.2)的显示面(VIS.S)邻接地显示所述虚拟延长段(G.VF)。
13.一种系统,包括按权利要求9至12之一所述的显示装置、第二显示单元(VIS.2)和医学成像设备,
其中,医学成像设备(MD)被构造为,记录和/或提供第一医学图像数据和/或第二医学图像数据,
其中,第二显示单元(VIS.2)被构造为,将第二医学图像数据的图形视图显示在显示面(VIS.S)上。
14.按权利要求13所述的系统,其中,医学成像设备(MD)被构造为,至少部分地布置在检查对象(31)的检查区域(RE)中。
15.一种用于提供(PROV-G.AR)增强现实(AR)的图形视图(G.AR)的方法,
其中,借助捕获单元(RU)捕获(CAP-POS)第一显示单元(VIS.1)相对于第二显示单元(VIS.2)的显示面(VIS.S)的相对定位(POS),
其中,将图形信息(GI)显示(VISU-GI)在第二显示单元(VIS.2)的显示面(VIS.S)上,
其中,根据相对定位(POS)确定(DET-GEO)第一显示单元(VIS.1)与第二显示单元(VIS.2)的显示面(VIS.S)之间的观察几何图形(GEO),
其中,接收(REC-DS)数据组(DS),
其中,基于数据组(DS)生成(GEN-AR)增强现实(AR),
其中,通过沿着观察几何图形(GEO)将增强现实(AR)虚拟映射在第二显示单元(VIS.2)的显示面(VIS.S)上,来提供(PROV-G.AR)增强现实(AR)的图形视图(G.AR),
其中,所述提供(PROV-G.AR)包括与第二显示单元(VIS.2)的显示面(VIS.S)上的图形信息(GI)至少部分叠加地借助第一显示单元(VIS.1)显示(VISU-G.AR)增强现实(AR)的图形视图(G.AR)。
CN202210728801.4A 2021-06-24 2022-06-24 用于显示增强现实的图形视图的显示装置 Pending CN115527010A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021206565.1 2021-06-24
DE102021206565.1A DE102021206565A1 (de) 2021-06-24 2021-06-24 Darstellungsvorrichtung zur Anzeige einer graphischen Darstellung einer erweiterten Realität

Publications (1)

Publication Number Publication Date
CN115527010A true CN115527010A (zh) 2022-12-27

Family

ID=84388578

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210728801.4A Pending CN115527010A (zh) 2021-06-24 2022-06-24 用于显示增强现实的图形视图的显示装置

Country Status (4)

Country Link
US (1) US11941765B2 (zh)
JP (1) JP7504942B2 (zh)
CN (1) CN115527010A (zh)
DE (1) DE102021206565A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024198148A1 (zh) * 2023-03-31 2024-10-03 荆晨 延展现实显示系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5228307B2 (ja) * 2006-10-16 2013-07-03 ソニー株式会社 表示装置、表示方法
EP2795893A4 (en) * 2011-12-20 2015-08-19 Intel Corp PRESENTATIONS OF AN ADVANCED REALITY BETWEEN SEVERAL EQUIPMENT
US9626799B2 (en) * 2012-10-02 2017-04-18 Aria Glassworks, Inc. System and method for dynamically displaying multiple virtual and augmented reality scenes on a single display
EP4380150A3 (en) 2015-10-08 2024-07-24 InterDigital VC Holdings, Inc. Methods and systems of automatic calibration for dynamic display configurations
JP2018097160A (ja) * 2016-12-14 2018-06-21 セイコーエプソン株式会社 表示システム、表示装置、及び、表示装置の制御方法
US10010379B1 (en) 2017-02-21 2018-07-03 Novarad Corporation Augmented reality viewing and tagging for medical procedures
EP3598948B1 (de) 2018-07-27 2022-03-16 Siemens Healthcare GmbH Bildgebendes system und verfahren zum erzeugen einer stereoskopischen darstellung, computerprogramm und datenspeicher
EP3637374A1 (en) 2018-10-09 2020-04-15 Siemens Healthcare GmbH Method and system for visualising a spatial surface curvature of a 3d-object, computer program product, and computer-readable storage medium
US10909751B2 (en) * 2019-01-31 2021-02-02 Intel Corporation Methods and apparatus to transition between 2D and 3D renderings of augmented reality content
US11379033B2 (en) 2019-09-26 2022-07-05 Apple Inc. Augmented devices
KR102495213B1 (ko) * 2020-11-05 2023-02-07 한국전자통신연구원 증강 현실 기반의 스크린 스포츠 체험 장치 및 방법
DE102021205700B4 (de) 2021-06-07 2023-07-06 Siemens Healthcare Gmbh Darstellungsvorrichtung zur Anzeige einer erweiterten Realität und Verfahren zum Bereitstellen einer erweiterten Realität

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024198148A1 (zh) * 2023-03-31 2024-10-03 荆晨 延展现实显示系统

Also Published As

Publication number Publication date
US11941765B2 (en) 2024-03-26
DE102021206565A1 (de) 2022-12-29
US20220414994A1 (en) 2022-12-29
JP2023004884A (ja) 2023-01-17
JP7504942B2 (ja) 2024-06-24

Similar Documents

Publication Publication Date Title
US11759261B2 (en) Augmented reality pre-registration
US20230016227A1 (en) Medical augmented reality navigation
US11750788B1 (en) Augmented reality guidance for spinal surgery with stereoscopic display of images and tracked instruments
US11443431B2 (en) Augmented reality patient positioning using an atlas
EP2637593B1 (en) Visualization of anatomical data by augmented reality
EP0741540B1 (en) Imaging device and method
KR20210104715A (ko) 광학 코드를 이용한 증강 현실 디스플레이
US11961193B2 (en) Method for controlling a display, computer program and mixed reality display device
US11340708B2 (en) Gesture control of medical displays
US20230050857A1 (en) Systems and methods for masking a recognized object during an application of a synthetic element to an original image
CN115527010A (zh) 用于显示增强现实的图形视图的显示装置
Bichlmeier et al. Improving depth perception in medical ar: A virtual vision panel to the inside of the patient
EP3944254A1 (en) System for displaying an augmented reality and method for generating an augmented reality
US11869216B2 (en) Registration of an anatomical body part by detecting a finger pose
US20220409283A1 (en) Presentation device for displaying a graphical presentation of an augmented reality
Hawkes Virtual Reality and Augmented Reality in Medicine

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240903

Address after: German Phu F Haim

Applicant after: Siemens Medical AG

Country or region after: Germany

Address before: Erlangen

Applicant before: Siemens Healthineers AG

Country or region before: Germany