CN104939925A - 基于三角测量的深处和表面可视化 - Google Patents

基于三角测量的深处和表面可视化 Download PDF

Info

Publication number
CN104939925A
CN104939925A CN201510144492.6A CN201510144492A CN104939925A CN 104939925 A CN104939925 A CN 104939925A CN 201510144492 A CN201510144492 A CN 201510144492A CN 104939925 A CN104939925 A CN 104939925A
Authority
CN
China
Prior art keywords
image data
imaging device
projection module
patient
visual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510144492.6A
Other languages
English (en)
Other versions
CN104939925B (zh
Inventor
A.格拉芬伯格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Healthineers AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of CN104939925A publication Critical patent/CN104939925A/zh
Application granted granted Critical
Publication of CN104939925B publication Critical patent/CN104939925B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/44—Constructional features of apparatus for radiation diagnosis
    • A61B6/4429—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units
    • A61B6/4435—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure
    • A61B6/4441—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure the rigid structure being a C-arm or U-arm
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/462—Displaying means of special interest characterised by constructional features of the display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/466—Displaying means of special interest adapted to display 3D data
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted

Abstract

本发明涉及一种在介入手术范围内对患者的三维表面结构和深处结构进行可视化的、手术中的、无标记的可视化系统和方法。为此提供具有C形臂投射模块(16)和照相机(14)的C形臂(10)，以及具有HMD投射模块(22)和照相机(24)的可视化眼镜(20)。投射模块(16，22)用于投射结构化的光。处理器(25)被确定为用于计算组合的图像数据组(kBD)，以将其投影到可视化眼镜(20)的眼镜片(21)上。

Description

基于三角测量的深处和表面可视化
技术领域
本发明涉及用于特别是利用基于X射线的方法可视化患者身体中和由此是“深处的”医学结构(例如骨、器官或植入物)，和用于可视化身体表面的表面结构的手术中的可视化技术领域。本发明优选地可以应用在手术中的介入。
背景技术
在现有技术中公知导航系统，以便能够在执行医学介入的情况下有针对地在空间中引导医生。然而为此，除了成像装置之外还需要提供其他模块，所述模块在导航系统的范围内是所需的。这特别地涉及提供具有相应的电源线和网络连接线的单独的照相机。然而所述电源线和网络连接线可能在介入期间不利地限制医生的可动性并且常常导致明显的时间损耗。标记(例如红外或无源标记)的使用也证明是不利的；因为它们必须首先也被安装并且利用其他设备读出。由此值得期望的是，能够提供可视化系统，其在不使用附加部件(诸如单独的照相机和标记系统)的情况下就够用。
公知在表面上应用或使用结构化的光来采集表面的三维形状。为此将光图案投射到对象，在此也就是：投射患者或其身体部位，并且借助照相机观察图案变形。在此可以说，患者身体的几何(三维的)表面结构按照光编码和由此可以被采集。
从虚拟现实的研究领域中也公知使用头戴式可视化装置，即所谓的头盔式显示器(简称HMD)。它们是眼镜，其镜片既可以用于透视也可以作为对于数字图像的投射面而被连接和使用。在US 2013/0021373 A1中详细描述了对于HMD装置的例子。
然而在医学领域中重要的是，执行介入的外科医生或医生不需要将视线离开相关的身体结构，以获得关于待检查的身体结构的其他所需信息(例如X射线图像)。例如非常不便的是，医生必须将视线离开手术区域，以分析在单独的监视器上显示的X射线图像。
在医学技术中目前缺少具体的系统，其将以三维形式的图形表面信息和身体区段的图形深处信息以合适的方式组合和位置分辨地融合。
发明内容
由此本发明要解决的技术问题是，提供一种克服现有技术的缺陷可视化系统。可视化系统应当在处于手术室中的医生或使用者方面没有附加麻烦的情况下可以实施。此外，应当改善使得所提供的信息分别可用的时间和质量。
上述技术问题通过按照本发明的可视化系统和方法和控制程序解决。
以下关于要求保护的装置或系统描述技术问题的解决方案。在此提到的特征、优点或替换实施方式也可以应用于其他要求保护的内容，并且反之亦然。换言之，物的(例如针对系统的)权利要求也可以利用关于方法所描述或要求保护的特征来扩展，并且反之亦然。方法的相应的功能特征在此通过相应的物的模块、特别是通过微处理器或硬件模块构造。
按照一个方面，本发明涉及一种在对患者进行介入的范围内借助成像装置，例如利用C形臂将三维结构可视化的可视化系统，包括：
-C形臂投射模块，其被确定为，将结构化的光投射到患者的身体表面的第一选出区域上，其中，C形臂投射模块被集成在成像装置中并且成像装置为了采集图像而运动，
-可视化眼镜，其包括HMD投射模块，其被确定为，根据开始信号将结构化的光投射到患者的身体表面的第二选出区域上，
-照相机系统，其被确定为，采集从C形臂投射模块和从HMD投射模块投射的结构化的光，以便利用处理器计算三维表面结构的至少一个数字图像数据组，并且其中照相机系统被集成在成像装置中和/或可视化眼镜中，
-同步化装置，其被确定为，当其自动采集到，由C形臂投射模块投射的第一选出区域与由HMD投射模块投射的第二选出区域一致或利用照相机系统所采集的各自的数字图像数据组一致时，则输出触发信号，
-融合单元，其被确定为，响应于同步化单元的触发信号，产生组合的图像数据组并且在可视化眼镜上输出，其中，组合的图像数据组将由成像装置所采集的图像和照相机系统的身体表面的数字图像数据组相关。
以下详细解释在该申请的范围内使用的概念。
可视化系统包括多个物理部件并且优选地在手术中，也就是在外科介入期间被使用。替换地，其也可以在没有外科介入的情况下采集图像数据时被使用，例如在规划外科介入或在用于对患者进行检查的纯成像措施情况下。可视化系统是无标记的，即，其不使用并且也不需要采用标记，以采集位置或运动数据。这是相对于公知系统的重要优点，因为不必定位和维护标记。特别是在介入期间必须注意，也能够无干扰地接收标记信号并且不会例如通过在空间中的其他医学物品中断。
“结构”可以是患者身体中的器官或身体区段或人工的医学对象，诸如植入物或外科材料，诸如螺钉、销钉等。
成像装置通常是可动或移动C形臂，其被确定为用于采集X射线图像。当然，本发明也可以应用于断层合成装置和其他成像模态，诸如MRT设备、PET装置等。按照本发明的一个方面，成像装置被确定为用于对不是位于患者的身体表面上，而是位于患者的内部的结构进行图像数据采集。
C形臂投射模块是用于投射结构化的光、例如光图案或具有不同波长或颜色的光的装置。重要的是，C形臂投射模块直接被集成在C形臂或成像装置中。在此其在预定的和由此已知的位置固定在C形臂上。该位置然后可以对于后来的位置、运动和/或图像计算被使用。优选地，C形臂投射模块可以是可拆卸的但是固定在C形臂上。
除了C形臂之外，可视化眼镜还具有这样的投射模块，即，HMD投射模块。其同样被确定为用于投射结构化的光。特别地，这两个投射模块可以由同一个控制单元控制并且应用同一种结构化的光。按照一种实施方式控制单元可以被集成在处理器中。其此外还可以控制光投射在时间上的实施，特别地也按照在这两个投射模块之间的关系。
可视化眼镜作为头戴式视野装置工作并且也可以被称为头盔式显示器。可以考虑变化。于是眼镜也可以构造为视频眼镜、头盔显示器或仅构造为具有一个眼镜片或一个透镜的目镜。
照相机系统可以包括一个或至少两个照相机，优选CCD照相机。照相机系统被确定为，采集所应用的结构化的光。如果应用了彩色的光，则相应地必须是彩色照相机，否则S/W采集就足够。优选地，设置两个照相机：一个集成在C形臂中(例如用作为可拆卸但固定集成的模块)并且第二个集成在可视化眼镜中。照相机系统包括处理器或与单独的处理器处于数据交换中(优选经过无线的无线电连接)。处理器是用于基于计算机和自动地处理由照相机系统所采集的数字数据组的处理单元。特别地，处理器产生数字图像数据组。附加地，处理器还可以执行另外的图像处理，例如滤波功能、数据的存储、与额定值的比较等。按照本发明的一个方面，照相机系统被确定为用于采集不是位于患者的内部，而是位于患者的身体表面上的三维的表面结构。
同步化装置是电子部件。其用作为基于计算机的模块，用于比较由两个照相机所采集的图像数据。特别地，按照可预先设置的容差范围以非常高的精度，进行相同性或一致性的比较。该相同性比较用于将C形臂和可视化眼镜同步。由此确保，C形臂的投射模块和可视化眼镜的HMD投射模块将光应用到患者的精确相同的身体区域上。仅在该情况中输出触发信号。
根据触发信号，融合单元可以被激活。融合单元同样是电子部件并且用于产生组合的图像数据组。组合的图像数据组包括(由成像装置例如X射线设备所采集的)深处图像和(由照相机系统或照相机系统的照相机对身体表面所采集的)表面图像。在此深处图像和表面图像是位置相关的。深处图像涉及与表面图像相同的身体结构，并且反之亦然。组合的图像数据组被投射到可视化眼镜上。观察者由此对同一个身体结构同时并且按照同一个物理的视线轴获得三个不同的图像数据组：
1.由成像装置所采集的图像数据组(例如X射线图像)
2.以三维形式的表面图像，其中表面图像的内容与第一图像数据组的内容一致，和
3.在观察身体结构时(在没有眼镜投影的情况下通过眼镜或在直接观察身体结构的情况下)纯的图像。
按照一种优选的实施方式，同步化装置被集成在可视化眼镜中。对于融合单元同样成立。替换地，前面提到的电子部件也可以被集成在处理器中或在经过网络连接线连接的其他处理模块中并且由此布置在可视化眼镜的外部。
按照另一个实施方式，同步化装置和融合单元被集成在一个模块中。
按照另一个实施方式，通过应用用于光学三角测量的自动的、基于计算机的方法，处理器即使在成像装置的运动、特别是在旋转和/或平移运动期间也计算由照相机系统所采集的数字图像数据组。当医生在可视化眼镜的HMD投射模块的运动期间改变其带有可视化眼镜的头部支架时，也可以应用该方法。附加地，自动地经过传感器采集各自的照相机与对象(在此：表面)的距离或如果该距离是已知的则从存储位置读取。在此，将运动视差指的是在位于与光学采集系统或观察者(在此：照相机)不同距离的对象之间的、通过观察者站立点的改变或通过对象相对于观察者的运动引起的看起来的相对位移或运动。远处的对象在此看起来比具有与观察者较近距离的对象更慢地运动。运动视差由此包括深处提示，其在处理器中和/或融合单元中的计算时被考虑。
另一个技术问题解决方案在于一种在对患者进行介入的范围内借助成像装置将三维结构可视化的可视化方法，包括以下方法步骤：
-利用成像装置，特别是C形臂，采集图像数据组，
-在成像装置为了图像采集的目的而运动期间，利用集成在成像装置中的C形臂投射模块，将结构化的光第一投射到患者的身体表面的第一选出区域，
-利用在可视化眼镜中集成的HMD投射模块，将结构化的光第二投射到患者的身体表面的第二选出区域，
-采集具有投射的第一和/或第二选出区域的至少一个数字图像数据组，用于计算在分别投射的区域中的三维表面结构，
-如果自动采集到，第一选出区域和第二选出区域一致，则输出触发信号，
-响应于触发信号：产生组合的图像数据组并且将其在可视化眼镜上输出，其中通过将由成像装置所采集的图像与具有计算的三维表面结构的至少一个数字图像数据组相关，计算组合的图像数据组。
本发明的其他实施在此与前面的处理步骤的顺序不同。于是例如也可以在第一步骤中进行第一投射并且然后才采集X射线照片。
按照一个方面，第一投射和第二投射同时或在一致的时间范围内实时(也就是至少具有时间上的重叠；但是也可以给定不同的起始时间点)。
按照一个方面，当进行第二投射(的同时或之后)进行至少一个数字图像数据组的采集。概念“当…时”在此理解为时间上的条件或也理解为原因上的条件。这意味着，仅当进行了或进行投射时才进行采集。同样，采集可以在这样的时间范围中进行，在所述时间范围中也进行投射。
按照一个方面，至少一个数字图像数据组的采集与借助成像装置进行图像获取的同时或在与其一致的时间范围中执行。
本发明的前面描述的按照本发明的实施方式也可以构造为具有计算机程序的计算机程序产品，其中当计算机程序在计算机上或在计算机的处理器上被运行时，促使计算机用于执行上述按照本发明的方法。
一个替换的技术问题解决方案还在于一种具有计算机程序代码的计算机程序，当计算机程序在计算机上运行时用于执行按照所要求保护的或上面描述的方法的所有方法步骤。在此计算机程序也可以存储在机器可读的存储介质上。
一种替换的技术问题解决方案是存储介质，其被确定为用于执行前面描述的基于计算机的方法并且可以由计算机读取。
在本发明的范围内，方法的所有步骤不一定必须在同一个计算机实体上实施，而是其也可以在不同的计算机实体(包括计算机、处理器或其他基于计算机的自动处理实体)上实施。方法步骤的顺序，如前所述，也可以被改变。
此外也可以的是，前面描述的方法的单个片段在一个可销售的单元中而其余部件在另一个可销售的单元中-也可以说作为分布的系统-实施。
附图说明
在以下详细的附图描述中根据附图解释具有其特征和其他优点的非限制性理解的实施例。其中：
图1示出了按照本发明的可视化系统的优选实施方式的总体结构的概览图，
图2示出了关于可视化眼镜的示意性概览图，
图3示出了关于用于计算组合图像数据组的处理器的示意性概览图，以及
图4示出了相应于本发明的优选实施方式的方法的数据流。
具体实施方式
以下详细参考附图解释本发明。
图1以示意性方式示出了可视化系统，其特别地在医学介入期间被使用。在此可以是外科手术或是用于规划其他步骤的图像数据采集或是其他措施。可视化系统用于在空间中可视化或者说显示三维患者结构。在此既应当在可预选的区域中(感兴趣区域-ROI)获得身体表面的三维图像并且也应当显示利用成像装置10所采集的图像。成像装置特别地是移动C形臂，其移动地并且例如可以放置在板车18上。C形臂用于采集X射线图像和/或断层合成图像。当然，本发明也可以应用于其他成像模态，例如磁共振断层成像设备。然而以下的附图描述主要关于X射线C形臂10，因为这是本发明的优选实施方式，然而不将本发明的保护范围限制到该实施。
可视化系统由此用于同时显示在感兴趣区域(ROI)中患者的身体表面和深处图像。重要的是，医生例如在介入期间同时获得关于身体表面的信息和对应的、对于位于身体表面下的(“内部的”或“深处”)结构，例如骨、器官、血管、植入物等的图像信息。最后提到的结构可以借助C形臂10采集。按照本发明的可视化系统由此将身体表面结构与身体深处结构相关并且将其显示在可视化眼镜20上。
可视化系统是无标记的并且不需要放置在现有技术中公知的(有源或无源的)标记。
可视化系统在图1中被示意性示出并且包括C形臂10和可视化眼镜20，其可以构造为眼镜形并且医生由此在介入期间可以戴到头上。可视化眼镜20也可以称为头戴式视野装置或所谓的头盔式显示器。可视化眼镜20由此也可以按照头盔的方式或作为具有仅一个眼镜片21的视野装置构造。然而具有两个眼镜片21的可视化眼镜20是优选的。
C形臂10如现有技术中也公知的包括至少一个X射线源12。概念“X射线源”在此不限制地理解并且应当表示由X射线发射器构造的X射线系统。通常，X射线源可以由多个不同布置的X射线发射器构造，其此外还在C形臂10内部是可动的(例如可摆动地放置)。作为配对物并且为了采集穿透患者或患者的相关区域的X射线，在C形臂10中设置了X射线检测器，其在图1中未被示出，因为其对于本发明的理解来说是不重要的。C形臂10按照本发明除了公知部件之外还包括其他物理部件：
1.C形臂投射模块16，和
2.固定定位的照相机14。
C形臂投射模块16和照相机14固定集成在C形臂10中。概念“固定”在此意味着，两个物理部件具有固定位置，其对于后面的计算可以被使用。尽管如此，两个部件或部件之一可以可拆卸地固定在C形臂10上，例如通过卡嗒一声或插上。然而重要的是，C形臂投射模块16以及照相机14都具有特别是关于X射线源12的分别对应的、限定的位置。C形臂10在图像采集期间围绕患者运动(摆动运动)并且也可以平移地运动。所采集的X射线图像通常被传输到经过相应的网络连接所连接的计算机19上以用于后处理或用于进一步处理。然而计算机19也可以部分地或完全地直接集成在C形臂中。此外，计算机19也可以作为单独的模块提供。同样在本发明的范围中的是，在此设置多个处理器或计算机或计算机单元，其总体上称为计算机19。各个部件或单元也可以分布地布置。
图2概览性和以示意性方式示出了可视化眼镜，其在图中基本上利用附图标记20表示。可视化眼镜20包括HMD投射模块22、照相机24和处理器25。这些部件优选地与两个眼镜片21一起由框架所支承。HMD投射模块22用于将结构化的光投射到患者的身体表面的第二选出区域上。按照一种优选实施方式，HMD投射模块22在采集到开始信号s之后才被激活。换言之，如果不能接收到相应的开始信号s，HMD投射模块22保持不激活并且不发送光线。由HMD投射模块22投射的光可以是简单的光图案(例如条纹图案)或被应用到三维表面上的颜色图案，基于三角测量计算，通过三维形状引起的光图案失真可以由照相机，例如可视化眼镜20的照相机24采集并且由处理器25计算，其是三维表面结构的所属的图像数据。由此三维表面结构的图像数据可以被计算和可视化。为了采集投射的光图案，设置照相机24。按照替换的实施方式，在此设置另一个照相机，其例如可以布置在C形臂10中或也可以提供本来在手术中的介入的范围内围绕OP场布置的其他照相机。
可视化眼镜20的处理器25用于产生三维身体表面的数字图像数据组。计算可以通过包括基于光学三角测量计算的算法的计算模块实施。
处理器25包括接口25i、25ii。经过输入接口25i、25ii读入的输入参数特别地是利用在C形臂10处的照相机14和利用在可视化眼镜20处的照相机24所采集的数字的图像数据组。
图3以示意性方式示出了处理器25的部件。利用照相机14所采集的各自的图像数据组，经过处理器输入接口25i被传输到处理器25。借助可视化眼镜照相机24所采集的数字图像数据组经过处理器输入接口25ii被传输到处理器25。如前面已经解释的，也可以的是，作为照相机系统，仅设置一个照相机。在该情况中该一个照相机于是既采集C形臂投射模块16的投射的第一光图案也采集HMD投射模块22的投射的第二光图案。在这些情况中，所采集的图像数据经过共同的或经过不同的接口传输到处理器25，其然后将所采集的图像数据进一步处理。如在图3中详细示出的，为此处理器25包括同步化装置30和融合单元32。同步化装置30被确定为，如果可以自动采集到，由C形臂投射模块16投射的第一选出区域与由HMD投射模块22投射的第二选出区域一致，则输出触发信号ts。换言之，同步化装置30将C形臂10和可视化眼镜20通过应用的第一和第二光图案进行同步。主要的是，第一光图案或第一选出区域由C形臂投射模块16照射并且第二光图案或第二选出区域由另一个投射模块，即，由HMD投射模块22(可视化眼镜20)照射。其中C形臂投射模块16投射光图案的时间段和其中HMD投射模块22应用光图案的时间段不必一定一致。然而优选地，这两个时间段具有重叠范围。
处理器25包括融合单元32。融合单元32被确定为，如果其从同步化单元30已经接收了触发信号ts，则产生组合的图像数据组KBD。这应当确保，如果激活也是必要的并且特别地，如果医生以其视野眼镜20也已经恰好精确观察在其中C形臂10建立X射线图像或基于X射线的图像(例如层图像)的区域，才激活融合单元32。如在图3中示意性表示的，触发信号ts也可以被进一步传输到位于外部和在处理器25之外的其他模块。此外，触发信号ts也可以被进一步传输到位于可视化眼镜20外部的模块。但是通常触发信号ts至少被传输到融合单元32，以便通知该融合单元，应当产生组合的图像数据组kBD。组合的图像数据组KBD然后被投影到两个眼镜片21上。
组合的图像数据组kBD由此包括由C形臂10所采集的在患者的一个区域中的X射线图像和在患者的相应的身体表面的三维表面图像。在此这两个图像数据组是相关的。这意味着，身体表面图像数据组和深处图像数据组在空间关系上互相比较。由此确保，各自的深处图像和身体表面图像来自于恰好相同位置。由此得到主要的有益的技术效果，即，医生在其对患者进行检查和/或手术时看一眼而无需移动其头部(以便例如看单独的监视器)就既可以获得关于身体表面也可以获得关于位于分别待处理的身体结构的身体深处的对象的信息。此外其同时还获得第三图像信息，即，医生刚才收入视野中的所观察的身体区域。后者当医生没有其他技术附加仪器(特别是没有可视化眼镜和没有X射线的情况下)看向患者时，也会被医生看到。
原则上，医生对同一个身体区域同时获得三个图像信息：
1.例如借助X射线图像获得的身体深处信息，
2.借助照相机系统14、24所采集的关于表面的三维形状的身体表面信息，和
3.通过医生的观察获得的本来视野。
由此医生可以在最短时间内获得最多图像信息，以便例如能够将螺钉为了旋紧植入物而放置在身体表面上正确的位置并且放置为使得螺钉也内部地在正确的位置上并且按照正确的角度碰到植入物。医生通过X射线图像信息获得后一种信息。如果涉及的微创手术，其中医生应当对未打开的患者进行手术，则这些信息特别是非常重要和有利的。这意味着在外科手术方法中特别是时间和质量优点，因为可以避免仪器和/或器具的错误定位。
以下参考图4详细描述按照本发明的可视化方法的可能的流程图：
在系统开始之后在步骤A中采集X射线图像。为此可以在准备阶段选出感兴趣区域(ROI)。
在步骤B中借助C形臂投射模块16进行结构化的光的第一投射。
在采集开始信号s之后在步骤C中借助位于可视化眼镜20处的HMD投射模块22进行结构化的光的第二投射。
在一种优选实施方式中，处理器25控制在步骤B中第一光图案的应用和在步骤C中第二光图案的应用。通常，投射相同的光图案。然而替换的实施方式在此可以设置不同的控制措施，从而C形臂投射模块16和HMD投射模块22输出结构化的光的不同的形状(不同的图案、不同的颜色等)。
在步骤D中进行数字图像数据组的采集。数字图像数据组包括利用照相机系统14、24所采集的各自的身体表面的图像数据。数字的图像数据组优选地在处理器25中被计算。数字图像数据组优选地涉及投射的区域的三维表面结构。数字图像数据组在另一个方面其特征在于，其不包含深处信息。这意味着，数字图像数据组仅包括身体表面的图像数据而不包括涉及身体内部的图像数据。
在步骤F中进行情况区分。在该步骤中检查，第一投射的区域与第二投射的区域是否相同地一致。这特别地用于将C形臂10与可视化眼镜20同步。如果这些区域不一致，则可以假定，医生利用其可视化眼镜20看向与由X射线设备10照射并且对其采集深处图像信息的区域不同的区域。在该情况中，可以再次分支到步骤B，从而再次激活两个光图案的投射。
否则，也就是如果第一投射的区域与第二投射的区域一致，则在步骤G中进行触发信号ts的输出。
在步骤H中产生组合的图像数据组kBD。组合的图像数据组包括深处图像信息和(三维)身体表面信息。两个图像数据组在空间分辨地上匹配并且被融合为一个融合图像。
在步骤I中进行计算的组合的图像数据组kBD到可视化眼镜20和特别是到可视化眼镜的两个眼镜片21的输出。
如在图4中示出的，通过两个投射模块再次投射结构化的光并且重新执行该方法，可以再次迭代地执行该方法。否则，并且特别是如果提供足够的信息，则也结束该方法。
对于按照本发明的可视化系统和方法主要的是，医生在可视化功能激活的情况下总是获得自动更新地计算的组合图像数据组kBD，其自动地与其视野装置或与其视野一致。无需移动头和视线，其可以同时调用身体表面信息和身体深处信息。
在C形臂10摆动或转动运动期间由C形臂投射模块16投射的光图案改变。此外，投射的光的形状通过位于手术台上的患者的不同的三维身体表面改变。这些光学数据借助光学三角测量方法被转换到患者的虚拟身体表面。因为三维X射线数据和通过照相机系统14、24所采集的身体表面数据是相关的，这通过相应的投射模块16、22和照相机14、24的固定布置是可能的，所以医生可以获得印象，即，其在按照本发明的可视化激活的情况下在其视野中获得身体表面的几乎透明的印象并且由此可以看透身体表面。
在可视化眼镜20上在组合图像数据组kBD中分别总是可视化和显示仅当前的图像数据。由此可以确保，医生总是恰好获得与其当前刚好所看的区域一致的附加信息(身体表面信息、身体深处信息)。此外，通过应用开始信号s和触发信号ts可以实现，医生不被不必要的附加信息所困扰。如果不能采集到激活信号s、ts，则在可视化眼镜20的眼镜片21上不显示图像数据组和特别是不显示组合图像数据组kBD。在该情况中可视化眼镜20不是作为投射部件起作用，而是医生与当其没有可视化眼镜20工作时的情形相比相同的视觉结果。
如果激活了可视化系统并且医生想要获得附加的图像信息(深处信息、表面信息)，则其始终以更新的形式，并且特别是如果其移动其头部并且观察患者的身体表面的另一个区域时也获得所述图像信息。效果是，医生借助可视化眼镜20以一种放大镜的方式几乎可以“看透”其刚才观察的身体区域。
按照一个方面，通过投射结构化的光，同时进行深处信息的采集(借助成像装置10)和身体表面信息的采集(借助照相机系统14、24)。这意味着，在成像装置10采集X射线图像期间两个投射模块16、22也是激活的，以便在选出的第一和第二区域应用结构化的光。
前面提到“选出的第一/第二区域”，因为在配置阶段可能的是，结构化的光仅被投射到一个分别感兴趣的身体区域。这使得可以的是，不必收集不需要的图像表面数据。通常，仅位于手术介入周围的区域是感兴趣的，从而足够的是，这样设置投射模块，使得其照射仅一个选出的区域。按照替换的实施方式预先设置，选出的第一/第二区域由整个第一/第二区域形成。
最后指出，关于本发明的确定的物理实现，原则上不限制地理解本发明的描述和实施例。对于专业人员，特别明显的是，本发明可以部分地或完全地按照软件和/或硬件和/或在多个物理产品-在此特别地也可以是计算机程序产品-上分布地实现。
附图标记列表
10 成像装置，特别是C形臂X射线设备
12 X射线源
14 C形臂中的照相机
16 C形臂投射模块
18 用于放置C形臂的板车
19 计算单元或计算机
20 可视化眼镜
22 HMD投射模块
24 在可视化眼镜中的照相机
25 处理器
21 眼镜片
25i 处理器输入接口
25ii 其他处理器输入接口
30 同步化装置
32 融合单元
ts 触发信号
kBD 组合的图像数据组
s 开始信号
A 采集X射线图像
B 利用C形臂投射模块16对第一光图案的第一投射
C 利用HMD投射模块22对第二光图案的第二投射
D 采集数字图像数据组
F 自动检查：第一投射的光图案与第二投射的光图案是否相同地一致？
G 输出触发信号ts
H 产生组合的图像数据组kBD
I 在可视化眼镜20上输出组合的图像数据组kBD

Claims (12)

1.一种在对患者进行介入的范围内借助在图像采集期间运动的成像装置(10)将三维结构可视化的、手术中的、无标记的可视化系统，包括：
-C形臂投射模块(16)，其被确定为，将结构化的光投射到患者的身体表面的第一选出区域上，其中，该C形臂投射模块(16)被集成在成像装置(10)中并且成像装置(10)为了采集图像而运动，
-可视化眼镜(20)，其包括HMD投射模块(22)，所述HMD投射模块被确定为，根据开始信号(s)将结构化的光投射到患者的身体表面的第二选出区域上，
-照相机系统(14,24)，其被确定为，采集由C形臂投射模块(16)和由HMD投射模块(22)投射的结构化的光，以便利用处理器(25)计算三维表面结构的至少一个数字图像数据组，并且其中，照相机系统(14,24)至少部分地被集成在成像装置(10)中和/或可视化眼镜(20)中，
-同步化装置(30)，其被确定为，当其自动采集到，由C形臂投射模块(16)投射的第一选出区域与由HMD投射模块(22)投射的第二选出区域一致时，则输出触发信号(ts)，
-融合单元(32)，其被确定为，响应于同步化单元(30)的触发信号(ts)，产生组合的图像数据组(kBD)并且在可视化眼镜(20)上输出，其中，组合的图像数据组(kBD)将由成像装置(10)所采集的图像与照相机系统(14,24)的身体表面的数字图像数据组相关。
2.根据权利要求1所述的手术中的可视化系统，
其中，同步化装置(30)和/或融合单元(32)被集成到可视化眼镜(20)中。
3.根据权利要求1所述的手术中的可视化系统，
其中，同步化装置(30)和/或融合单元(32)布置在所述可视化眼镜(20)外部并且与其交换数据。
4.根据权利要求1所述的手术中的可视化系统，其中，同步化装置(30)和融合单元(32)被集成在一个模块中。
5.根据上述权利要求中任一项所述的手术中的可视化系统，其中，通过应用用于光学三角测量的自动的、基于计算机的方法，即使在成像装置(10)的运动、特别是在旋转和/或平移运动期间，和/或在可视化眼镜(20)的HMD投射模块(22)运动期间，处理器(25)也计算由照相机系统(14,24)所采集的数字图像数据组。
6.根据上述权利要求中任一项所述的手术中的可视化系统，
其中，成像装置(10)被确定为用于对不是位于患者的身体表面上，而是位于患者的内部的结构进行图像数据采集。
7.根据上述权利要求中任一项所述的手术中的可视化系统，
其中，照相机系统(14,24)被确定为用于采集不是位于患者的内部，而是位于患者的表面上的三维的表面结构。
8.一种在对患者进行介入的范围内借助在图像采集期间运动的成像装置(10)将三维结构可视化的、手术中的、无标记的可视化方法，包括以下方法步骤：
-利用成像装置(10)采集(A)图像数据组
-在成像装置(10)为了图像采集的目的而运动期间，利用集成在成像装置(10)中的C形臂投射模块(16)，将结构化的光第一投射(B)到患者的身体表面的第一选出区域，
-利用在可视化眼镜(20)中集成的HMD投射模块(22)，将结构化的光第二投射(C)到患者的身体表面的第二选出区域，
-采集包括所投射的第一和/或第二选出区域的至少一个数字图像数据组(D)，用于计算在分别所投射的区域中的三维表面结构，
-如果自动采集到第一选出区域和第二选出区域一致，则输出(G)触发信号(ts)，
-响应于触发信号(ts)：产生(H)组合的图像数据组(kBD)并且将其在可视化眼镜(20)上输出，其中，通过将由成像装置(10)所采集的图像与具有所计算的三维表面结构的至少一个数字图像数据组相关，计算组合的图像数据组(kBD)。
9.根据权利要求8所述的手术中的、无标记的可视化方法，
其中，第一投射(B)和第二投射(C)同时或在一致的时间范围中执行。
10.根据上述权利要求中任一项所述的手术中的、无标记的可视化方法，其中，当执行第二投射(C)时，采集(D)所述至少一个数字图像数据组。
11.根据上述权利要求中任一项所述的手术中的、无标记的可视化方法，其中，所述至少一个数字图像数据组的采集(D)与借助成像装置(10)的图像采集同时或在一致的时间范围内执行。
12.一种计算机程序，能够加载或加载到计算机或处理器的存储器中，具有由计算机或处理器可读的命令，用于当命令在计算机或处理器上运行时，执行按照上述方法权利要求所述的方法。
CN201510144492.6A 2014-03-31 2015-03-30 基于三角测量的深处和表面可视化 Active CN104939925B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102014206004.4 2014-03-31
DE102014206004.4A DE102014206004A1 (de) 2014-03-31 2014-03-31 Triangulationsbasierte Tiefen- und Oberflächen-Visualisierung

Publications (2)

Publication Number Publication Date
CN104939925A true CN104939925A (zh) 2015-09-30
CN104939925B CN104939925B (zh) 2017-08-25

Family

ID=52692405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510144492.6A Active CN104939925B (zh) 2014-03-31 2015-03-30 基于三角测量的深处和表面可视化

Country Status (4)

Country Link
US (1) US10448003B2 (zh)
EP (1) EP2926733B1 (zh)
CN (1) CN104939925B (zh)
DE (1) DE102014206004A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106109015A (zh) * 2016-08-18 2016-11-16 秦春晖 一种头戴式医疗系统及其操作方法
CN106251752A (zh) * 2016-10-25 2016-12-21 深圳市科创数字显示技术有限公司 Ar和vr相结合的医学培训系统
CN108430376A (zh) * 2015-12-22 2018-08-21 皇家飞利浦有限公司 提供投影数据集
CN109996511A (zh) * 2016-09-22 2019-07-09 美敦力导航股份有限公司 用于引导进程的系统
CN110584779A (zh) * 2019-08-20 2019-12-20 周苹 一种头戴可视手术部位导航系统及其操作方法
US11006093B1 (en) 2020-01-22 2021-05-11 Photonic Medical Inc. Open view, multi-modal, calibrated digital loupe with depth sensing
CN113180593A (zh) * 2020-01-29 2021-07-30 西门子医疗有限公司 显示设备
CN114667474A (zh) * 2019-10-23 2022-06-24 艾哈迈德·苏莱曼·艾哈迈德·阿尔穆萨 用于车辆的智能玻璃
US11944272B2 (en) 2017-12-07 2024-04-02 Medtronic Xomed, Inc. System and method for assisting visualization during a procedure

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3032282B1 (fr) * 2015-02-03 2018-09-14 Francois Duret Dispositif de visualisation de l'interieur d'une bouche
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
US10722200B2 (en) * 2015-06-04 2020-07-28 Siemens Healthcare Gmbh Apparatus and methods for a projection display device on X-ray imaging devices
JP6058184B1 (ja) * 2016-03-10 2017-01-11 株式会社コロプラ ヘッドマウントディスプレイシステムを制御するための方法、および、プログラム
US10656731B2 (en) 2016-09-15 2020-05-19 Daqri, Llc Peripheral device for head-mounted display
US10663729B2 (en) * 2016-09-15 2020-05-26 Daqri, Llc Peripheral device for head-mounted display
US10412377B2 (en) * 2017-01-11 2019-09-10 Koninklijke Philips N.V. Augmented display device for use in a medical imaging laboratory
WO2018134140A1 (en) * 2017-01-17 2018-07-26 Koninklijke Philips N.V. Augmented reality interventional system providing contextual overlays
US10921613B2 (en) * 2017-06-01 2021-02-16 NewSight Reality, Inc. Near eye display and related computer-implemented software and firmware
EP3409193B1 (de) * 2017-06-02 2019-12-25 Siemens Healthcare GmbH Positionieren einer mr-körperspule
US10610179B2 (en) * 2017-06-05 2020-04-07 Biosense Webster (Israel) Ltd. Augmented reality goggles having X-ray protection
EP3336848B1 (en) * 2017-08-15 2023-09-27 Siemens Healthcare GmbH Method for operating a medical imaging device and medical imaging device
EP3469990A1 (en) 2017-10-16 2019-04-17 Koninklijke Philips N.V. Determination of a subject profile with a camera
CZ2017777A3 (cs) * 2017-12-05 2019-07-03 Radalytica s.r.o. Způsob nedestruktivního zobrazování vnitřní struktury a zařízení k provádění tohoto způsobu
EP3496037A1 (en) * 2017-12-06 2019-06-12 Koninklijke Philips N.V. Device, system and method for detecting body movement of a patient
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
EP3784133A4 (en) * 2018-05-31 2021-06-30 Shanghai United Imaging Healthcare Co., Ltd. SYSTEMS AND METHODS FOR CONTROLLING AN X-RAY IMAGING DEVICE
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US11464581B2 (en) 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
US11607277B2 (en) 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure
EP4024034A1 (en) * 2021-01-05 2022-07-06 The Boeing Company Methods and apparatus for measuring fastener concentricity
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5091926A (en) * 1990-03-26 1992-02-25 Horton Jerry L Head activated fluoroscopic control
US20020082498A1 (en) * 2000-10-05 2002-06-27 Siemens Corporate Research, Inc. Intra-operative image-guided neurosurgery with augmented reality visualization
US6608884B1 (en) * 1999-07-20 2003-08-19 Lunar Corporation Fluoroscopy machine with head mounted display
US20090034820A1 (en) * 2007-05-08 2009-02-05 Canon Kabushiki Kaisha Diagnostic imaging system
WO2011063266A2 (en) * 2009-11-19 2011-05-26 The Johns Hopkins University Low-cost image-guided navigation and intervention systems using cooperative sets of local sensors
WO2011134083A1 (en) * 2010-04-28 2011-11-03 Ryerson University System and methods for intraoperative guidance feedback
US20130021373A1 (en) * 2011-07-22 2013-01-24 Vaught Benjamin I Automatic Text Scrolling On A Head-Mounted Display
WO2014005225A1 (en) * 2012-07-03 2014-01-09 7D Surgical Inc. Attachments for tracking handheld implements
WO2014037953A2 (en) * 2012-09-10 2014-03-13 Elbit Systems Ltd. Digital system for surgical video capturing and display

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2925620C (en) * 2012-10-29 2020-07-21 7D Surgical Inc. Integrated illumination and optical surface topology detection system and methods of use thereof

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5091926A (en) * 1990-03-26 1992-02-25 Horton Jerry L Head activated fluoroscopic control
US6608884B1 (en) * 1999-07-20 2003-08-19 Lunar Corporation Fluoroscopy machine with head mounted display
US20020082498A1 (en) * 2000-10-05 2002-06-27 Siemens Corporate Research, Inc. Intra-operative image-guided neurosurgery with augmented reality visualization
US20090034820A1 (en) * 2007-05-08 2009-02-05 Canon Kabushiki Kaisha Diagnostic imaging system
WO2011063266A2 (en) * 2009-11-19 2011-05-26 The Johns Hopkins University Low-cost image-guided navigation and intervention systems using cooperative sets of local sensors
WO2011134083A1 (en) * 2010-04-28 2011-11-03 Ryerson University System and methods for intraoperative guidance feedback
US20130021373A1 (en) * 2011-07-22 2013-01-24 Vaught Benjamin I Automatic Text Scrolling On A Head-Mounted Display
WO2014005225A1 (en) * 2012-07-03 2014-01-09 7D Surgical Inc. Attachments for tracking handheld implements
WO2014037953A2 (en) * 2012-09-10 2014-03-13 Elbit Systems Ltd. Digital system for surgical video capturing and display

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TERRY M PETERS: ""Image-guidance for surgical procedures"", 《PHYSICS IN MEDICINE AND BIOLOGY》 *
TOBIAS SIELHORST ETC.: ""Advanced Medical Displays: A Literature Review of Augmented Reality"", 《JOURNAL OF DISPLAY TECHNOLOGY》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108430376A (zh) * 2015-12-22 2018-08-21 皇家飞利浦有限公司 提供投影数据集
CN106109015A (zh) * 2016-08-18 2016-11-16 秦春晖 一种头戴式医疗系统及其操作方法
CN109996511B (zh) * 2016-09-22 2022-06-28 美敦力导航股份有限公司 用于引导进程的系统
CN109996511A (zh) * 2016-09-22 2019-07-09 美敦力导航股份有限公司 用于引导进程的系统
US11839433B2 (en) 2016-09-22 2023-12-12 Medtronic Navigation, Inc. System for guided procedures
CN106251752A (zh) * 2016-10-25 2016-12-21 深圳市科创数字显示技术有限公司 Ar和vr相结合的医学培训系统
US11944272B2 (en) 2017-12-07 2024-04-02 Medtronic Xomed, Inc. System and method for assisting visualization during a procedure
CN110584779A (zh) * 2019-08-20 2019-12-20 周苹 一种头戴可视手术部位导航系统及其操作方法
CN114667474A (zh) * 2019-10-23 2022-06-24 艾哈迈德·苏莱曼·艾哈迈德·阿尔穆萨 用于车辆的智能玻璃
US11006093B1 (en) 2020-01-22 2021-05-11 Photonic Medical Inc. Open view, multi-modal, calibrated digital loupe with depth sensing
US11166006B2 (en) 2020-01-22 2021-11-02 Photonic Medical Inc. Open view, multi-modal, calibrated digital loupe with depth sensing
US11412202B2 (en) 2020-01-22 2022-08-09 Photonic Medical Inc. Open view, multi-modal, calibrated digital loupe with depth sensing
US11611735B2 (en) 2020-01-22 2023-03-21 Photonic Medical Inc. Open view, multi-modal, calibrated digital loupe with depth sensing
CN113180593A (zh) * 2020-01-29 2021-07-30 西门子医疗有限公司 显示设备

Also Published As

Publication number Publication date
EP2926733A1 (de) 2015-10-07
US10448003B2 (en) 2019-10-15
CN104939925B (zh) 2017-08-25
US20150281680A1 (en) 2015-10-01
EP2926733B1 (de) 2016-11-02
DE102014206004A1 (de) 2015-10-01

Similar Documents

Publication Publication Date Title
CN104939925A (zh) 基于三角测量的深处和表面可视化
US10788672B2 (en) Augmented visualization during surgery
US10359916B2 (en) Virtual object display device, method, program, and system
McJunkin et al. Development of a mixed reality platform for lateral skull base anatomy
RU2740259C2 (ru) Позиционирование датчика ультразвуковой визуализации
US20220079675A1 (en) Augmented Reality Guidance for Surgical Procedures with Adjustment of Scale, Convergence and Focal Plane or Focal Point of Virtual Data
JP6889703B2 (ja) 患者の３ｄ表面画像を手術中に観察するための方法及び装置
Gavaghan et al. A portable image overlay projection device for computer-aided open liver surgery
Bichlmeier et al. The virtual mirror: a new interaction paradigm for augmented reality environments
JP6883222B2 (ja) 画像処理装置、画像処理方法、プログラム及び手術用ナビゲーションシステム
KR101647467B1 (ko) 증강현실을 이용한 외과 수술용 3d 안경 시스템
EP2953569B1 (en) Tracking apparatus for tracking an object with respect to a body
ES2292593T3 (es) Sistema de guiado.
WO2017179350A1 (ja) 画像表示制御装置および方法並びにプログラム
Condino et al. Evaluation of a wearable AR platform for guiding complex craniotomies in neurosurgery
CN108836478A (zh) 侵入式手术在狭窄通道中的内窥镜视图
CN108629845B (zh) 手术导航装置、设备、系统和可读存储介质
KR101667152B1 (ko) 수술 지원 영상을 제공하는 스마트 글라스 시스템 및 스마트 글라스를 이용한 수술 지원 영상 제공 방법
WO2019006456A1 (en) SYSTEMS AND METHODS FOR INTRA-OPERATIVE PLANNING AND PLACEMENT OF IMPLANTS
CN111297501B (zh) 一种口腔种植手术增强现实导航方法和系统
KR102097390B1 (ko) 시선 검출 기반의 스마트 안경 표시 장치
US20080091069A1 (en) Systems and methods for calibrating an endoscope
Gsaxner et al. Augmented reality in oral and maxillofacial surgery
KR20230037007A (ko) 수술 내비게이션 시스템 및 그 응용
EP3075342B1 (en) Microscope image processing device and medical microscope system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220125

Address after: Erlangen

Patentee after: Siemens Healthineers AG

Address before: Munich, Germany

Patentee before: SIEMENS AG

TR01 Transfer of patent right