CN111466935B - 医学成像设备、用于支持医务人员的方法和存储介质 - Google Patents

医学成像设备、用于支持医务人员的方法和存储介质 Download PDF

Info

Publication number
CN111466935B
CN111466935B CN202010065396.3A CN202010065396A CN111466935B CN 111466935 B CN111466935 B CN 111466935B CN 202010065396 A CN202010065396 A CN 202010065396A CN 111466935 B CN111466935 B CN 111466935B
Authority
CN
China
Prior art keywords
tissue
image data
data set
imaging device
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010065396.3A
Other languages
English (en)
Other versions
CN111466935A (zh
Inventor
A.雷根斯布格尔
A.阿尔扎加
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Healthineers AG
Original Assignee
Siemens Healthineers AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Healthineers AG filed Critical Siemens Healthineers AG
Publication of CN111466935A publication Critical patent/CN111466935A/zh
Application granted granted Critical
Publication of CN111466935B publication Critical patent/CN111466935B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/44—Constructional features of apparatus for radiation diagnosis
    • A61B6/4417—Constructional features of apparatus for radiation diagnosis related to combined acquisition of different diagnostic modalities
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/467—Arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B6/469—Arrangements for interfacing with the operator or the patient characterised by special input means for selecting a region of interest [ROI]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Pulmonology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明涉及一种医学成像设备(1)、一种用于支持医务人员的方法、一种相应的计算机程序产品和一种相应的计算机可读的存储介质(9)。在本发明中，借助第一成像模态(3，4)采集3D数据组(13，23)，借助第二成像模态(7)采集检查对象(5，6)的图像数据(20，25)。通过3D数据组和图像数据以至少在第二成像模态下不同的成像特性映射同一器官(6)的不同的组织区域(14)。基于此，在图像数据中检测组织区域之间的组织界限(21)。为了将图像数据与3D数据组配准，将组织界限对齐到3D数据组中的相应的组织界限(19)。附加地或替换地，根据组织界限对在产生图像数据期间已经发生的检查对象的运动进行自动运动补偿。

Description

医学成像设备、用于支持医务人员的方法和存储介质
技术领域
本发明涉及一种医学成像设备和一种用于支持医务人员的方法。本发明还涉及一种相应的计算机程序产品和一种计算机可读的存储介质，在其上存储有相应的计算机程序产品。
背景技术
在医学实践中，相应的医务人员、例如进行治疗的医生或外科医生，在正确的时间点获得尽可能精确且完整的相应解剖情况的图像对于诊断和治疗的成功通常是决定性的。为此，近年来已经开发了例如可以通过可视化来对医务人员进行支持的一系列措施和方法。在迄今为止从医学实践中已知的方法中，例如借助分别使用的成像模态将可见或可成像的标记物附着在预先给定的解剖特征上。这种标记物然后可以实现图像数据与另外的数据组的配准，就像对运动进行跟踪(Tracking)一样。但是，这伴随着放置和随后移除标记物的相应的开销，并且不能在所有情况下都提供精确的结果。例如，在切除情况下，必要时必须将标记物布置在残余的解剖部分上，并且因此在进行切除的区域中、特别是在相应的解剖部分变形的情况下并不能总是提供令人满意的结果。
发明内容
因此，本发明要解决的技术问题是，能够改善对医务人员的支持。上述技术问题通过本发明的内容来解决。在本发明的说明书和附图中还给出了有利的设计方案和扩展。
根据本发明的医学成像设备具有数据采集装置、检测装置和数据处理装置。在此，这些装置中的一些或全部可以进行集成或组合，即例如是或代表共同的装置或单元、例如电路单元或数据处理单元的部分或功能。数据采集装置用于、即被设计和配置为用于采集借助第一成像模态产生的检查对象的3D数据组，以及用于采集借助第二成像模态产生的检查对象的图像数据。在此，第一和第二成像模态彼此不同。此外，通过3D数据组以及通过图像数据映射的同一器官的至少一个第一和第二组织区域在此至少在第二成像模态下分别具有不同的成像特性。优选地，在两个成像模态下，两个组织区域可以具有不同的成像特性。尤其可以规定，两个组织区域是类似的，即是相同类型或相同种类的组织。同一器官的这种组织区域不能通过常规方法容易地相互区分或界定，并且通过标记物仅能够不充分地限定。
在此，成像特性在本发明的意义中是相应的组织区域的特性，该特性导致该组织区域借助相应的成像模态以特定的方式进行显示或成像，特别是相对于周围的组织或组织区域进行界定。成像特性例如可以是相对于未被影响的状态增强的对比度、改变的颜色、针对用作相应的图像模态的一部分的辐射的改变的反射行为或吸收行为和/或类似的特性。尽管两个组织区域来自或可以来自相同的组织或同一组织类型，但是通过不同的成像特性可以将这两个组织区域相互区分。这些不同的成像特性例如可以通过用造影剂或染料标记组织区域中的至少一个来产生。同样地，在记录图像数据和/或可能的3D数据组之前，例如可以将向组织区域中的一个供应的血管夹紧或收缩，以便在相应的组织区域中产生局部缺血、即供血不足，这例如可以以可检测到的方式影响组织区域的颜色或光谱反射率和/或氧含量。
3D数据组和图像数据的采集可以包括或者意味着借助相应的成像模态对它们进行实际记录或测量。因此，成像模态可以是医学成像设备的一部分或与其连接。如果第一成像模态例如是计算机断层成像或计算机断层成像设备或磁共振设备，则相应地可以将根据本发明的医学成像设备设计为计算机断层成像设备或磁共振设备或者可以包括这些设备中的一个。
同样地，对3D数据组或图像数据的采集可以意味着或包括由数据采集装置例如通过相应的数据接口或数据连接从相应的数据存储器中调用3D数据组或图像数据。在这种情况下，尤其可以将根据本发明的医学成像设备设计为计算机或计算装置或数据处理装置。
在此，这种采集的可能性对于3D数据组和图像数据可以彼此不同或彼此独立。例如，3D数据组可以是过去已经记录的CT数据组或磁共振数据组，其可以由医学成像设备从相应的数据存储器中调用，而图像数据可以在当前时间点进行记录、即作为检查对象的实时数据产生。同样地，3D数据组可以是(例如根据这种3D CT数据组或3D磁共振数据组产生的)检查对象的3D模型或可以包括这种3D模型。特别优选地，图像数据可以是或可以包括检查对象的一个或多个照相机图像或视频或视频流。相应地，第二成像模态优选地可以是照相机或检查对象的基于照相机的成像。
检查对象可以是患者、患者的子区域、器官或器官的一部分。因此，器官可以是检查对象或检查对象的一部分。
根据本发明的医学成像设备的检测装置用于、即被设计和配置为，用于在图像数据中根据不同的成像特性自动检测第一组织区域与第二组织区域之间的至少一个组织界限。因此，检测装置可以是或包括例如图像处理算法和/或对象识别算法或特征识别算法或者相应配置的电子数据处理单元。根据图像数据的设计方案，组织界限在此例如可以是线或面。
根据本发明的医学成像设备的数据处理装置用于、即被设计和配置为，用于通过将至少一个检测到的组织界限对齐到3D数据组中的相应的片段界限或组织界限来将图像数据与3D数据组自动配准。因此，图像数据和3D数据组可以虚拟地叠加或覆盖，从而可以将彼此相应的空间点或区域、在此特别是组织界限相互覆盖或带入对应于实际的彼此的空间位置关系或者相应地相互关联。相应的关联例如可以通过确定3D数据组和图像数据的相应坐标系彼此之间的变换来说明，从而可以借助所确定的变换将图像数据在空间上正确地映射到3D数据组，反之亦然。
因此，组织区域或其不同的成像特性沿着其彼此相遇的组织界限在此用作对于配准的参考。在此，组织界限可以是抽象的线或面，其本身不一定必须对应于具体的解剖特征。因为组织界限在此可以直接穿过或沿着器官的例如要切除的部分延伸，而不在物理上妨碍或限制医务人员、例如相应的进行治疗的外科医生。同样地，不同于标记物，组织界限本身不必手动进行放置并随后再次移除。因此，在例如不能使用或不能可靠使用常规标记物的情况下，组织界限有利地还可以实现有利且可靠的标记和可视化。
在3D数据组中，可以例如通过相应自动、半自动或手动分割给出或标记出相应的组织界限。同样地，例如可以根据例如几何方法来估计3D数据组中的组织界限，该几何方法基于对于3D数据组形成对比的血管树或基于器官的部分或体积元至血管树或血管树的各个血管(其供应不同的组织区域)的相应距离。
附加地或替换地，根据本发明的医学成像设备的数据处理装置被设计和配置为，用于根据至少一个组织界限对在产生图像数据期间已经发生或出现的检查对象的运动进行自动运动补偿。因此，组织界限在此例如可以用作标记物或参考特征，根据标记物或参考特征可以检测和跟踪检查对象的运动。这在必要时能够比使用常规物理标记物的情况更加灵活且可靠，并且在物理上的限制或妨碍更少。运动补偿例如可以针对3D数据组与图像数据的叠加执行，使得图像数据总是可以在空间上正确地、即分别根据检查对象的当前姿势与3D数据组叠加，从而始终可以向相应的医务人员分别提供关于当前解剖情况的可靠且正确的概览。
同样地，附加地或替换地，例如可以基于组织界限针对与3D数据组和/或图像数据叠加的虚拟数据执行运动补偿，该虚拟数据例如是检查对象的至少一部分、器械、器械路径、目标区域(英文：Region of Interest，RoI)和/或类似物的虚拟模型。为此，因此可以在图像数据中或借助图像数据(特别是光学地)跟踪组织界限。在此，由沿着组织界限彼此相遇的组织区域的不同的成像特性限定的组织界限是比作为常规方式使用的表面特征明显更简单、更可靠且更鲁棒的可跟踪特征。
总体而言，本发明通过使组织、即至少两个组织区域在两个不同的成像模态或成像技术中可见并且通过使用组织界限作为参考特征，提供了相比于常规方法改进的、用于例如通过改进的可视化和/或改进的引导或导航来支持医务人员的可能。
在本发明的有利的设计方案中，医学成像设备、特别是其检测装置被配置为，根据不同的成像特性实施对3D数据组和/或图像数据的自动分割。换言之，医学成像设备被配置为，例如借助图像处理算法来对3D数据组和/或图像数据进行处理，并且将成像特性的界限或跳变、即例如对比度跳变或颜色跳变识别或者处理为组织区域之间的界限。如果器官是例如肝脏，则作为不同的组织区域可以是肝脏的不同片段、叶或血管供应区域。
在如今的方法中，这通常是通过以下方式手动执行：对供应不同组织区域或片段的血管树的不同分支进行标记，并且然后基于几何方法，例如通过分别根据相应的体积元与血管之间的最小距离将单独的实质体积元(Parenchym-Volumenelemente)与血管树的分支相关联，来限定组织区域或片段。
通过本发明，这种至今手动的且由于模型假设通常不精确的过程可以用自动化的过程代替，由此能够更快速并且必要时更可靠或更准确地执行或实现分割。
如果不同组织区域的成像特性例如通过引入造影剂或染料和/或通过收缩或夹紧血管树的分支而发生了改变，则(通过相应的生理过程)相应地标记或强调了恰好一个相应的血管供应区域、即相应的片段，其中造影剂或染料或供血不足还通过最小的血管分支扩散，该最小的血管分支在常规方法中可能是不可见的或仅通过巨大的工作量手动进行考虑。
在本发明的另外有利的设计方案中，医学成像设备、尤其是其数据处理装置被配置为，自动确定和说明从组织界限至预先给定的目标组织的距离。预先给定的目标组织例如可以是肿瘤或组织改变。通过确定和说明该目标组织与组织界限之间的距离可以有利地例如说明或识别出：在从组织界限另一侧的血管区域或供应区域损伤血管的危险形成之前，例如在切除目标组织时还存在多少安全余量。同样地，例如基于距离可以估计，目标组织必要时是否会穿过组织界限延伸到器官的更深区域中。因此，所确定和说明的距离为相应的医务人员提供了有价值的数据，该数据可以使规划和成功地执行介入变得容易。距离例如可以作为数字值、矩阵或数值栅格，以颜色编码的方式，作为叠加图像中的虚拟标尺、例如作为显示增强现实的虚拟元素和/或以类似方式进行说明。
在本发明的另外有利的设计方案中，数据处理装置被配置为，用于自动确定图像数据中的至少一个检测到的组织界限和3D数据组中的相应的组织界限的形状、形态或走向的差异，并且根据所确定的差异使3D数据组或由此产生的3D模型变形。换言之，将在图像数据中检测到的组织界限的形状或走向转用到3D数据组或由此产生的3D模型。例如，可以可形变地或弹性地执行3D数据组与图像数据之间的配准。为此，根据图像数据或通过图像数据与3D数据组的比较可以确定检查对象或器官的运动场。
在此，运动场是数据组、例如值矩阵或数学函数，由此可以说明组织区域或器官或检查对象的各个体积元或表面元的运动或位置变化。这例如可以涉及特别是能够由手术前或介入前的3D数据组给出的未变形的位置或形状。
然后可以将所确定的运动场或由此确定的反向运动场应用于3D数据组或由此产生的3D模型，以便掌握相应的形变、即在3D数据组或由此产生的3D模型中影响或产生相应的形变。由于在介入期间可能发生检查对象以及组织界限的移位或变形、即形变(例如由器械或工具与器官之间的物理接触引起)，因此以这种方式可以有利地获得更新的3D模型或更新的3D数据组。因此，在此产生或获得形变且配准的更新的3D数据组或者形变且配准的更新的3D模型，其说明或表示在采集或产生图像数据的相应时间点的组织区域或器官的真实姿势和几何形状。这有利地可以通过适应情况地且忠于现实地可视化或表示相应的解剖情况来向相应的医务人员提供支持。在此，图像数据可以是与例如介入中或手术中记录的CT数据组或磁共振数据组或超声波数据组一样的(例如立体的)照相机图像。
在本发明的另外有利的设计方案中，医学成像设备被配置为，用于通过将图像数据与叠加图像叠加来产生并输出增强图像，叠加图像表示至少一个检测到的组织界限穿过器官体积的三维延续。然后，组织界限或其延续可以是两个三维组织区域之间的体积界限，即，可以是或说明了这些组织区域之间的界限面。该界限面、即组织界限或其延续例如可以是可以淡入到增强图像中的虚拟对象或模型。由于图像数据表示或映射真实的检查对象，由此产生增强现实或混合现实的表示，从而也可以将增强图像称为AR(英文：AugmentedReality，增强现实)图像。组织界限或AR图像的延续可以使相应的医务人员有利地获得相应解剖情况的空间印象，该空间印象例如不能通过例如根据常规的照相机图像(如其例如在相应的介入中使用的腹腔镜能够提供的那样)从外部观察组织区域或器官看到。
以这种方式，有利地可以在切除时对医务人员进行支持，因为例如可以将切割角度对准组织界限的三维走向，以避免穿透组织界限，从而避免对各个相邻的组织区域的损伤。这是特别有利的，因为例如在肝脏切除时恰好血管损伤和相应的出血是重大挑战。同样地，可以淡入在可见组织表面下方的、在例如借助腹腔镜记录的2D图像中不可见的血管的走向，以防止对这些血管的意外伤害。
可以对组织界限的延续进行估计，例如根据器官的生物力学模型，基于(特别是在介入前或术前的)3D数据组以及必要时3D数据组或者由此产生的3D模型的形变，根据生物力学模型和在(特别是介入中的)图像数据中检测到的例如二维组织界限的走向进行估计。同样地，组织界限的延续例如可以根据介入中的另外的或第二3D数据组、例如3D CT数据组或3D磁共振数据组来确定。在每种情况下，都可以通过增强图像向医务人员提供在组织区域或器官的可见表面下方的相应解剖情况的印象、即器官的体积中的相应解剖情况的印象，以进行支持。为此，增强图像优选地可以借助立体或3D显示装置、例如借助立体或3D屏幕或AR眼镜或HMD(英文：Head-Mounted Display，头戴式显示器)进行输出。
在本发明的另外有利的设计方案中规定，在3D数据组中对至少一个相应的组织界限进行三维标记，或者例如通过医学成像设备进行标记。这例如可以通过相应的自动、半自动或手动的分割实现。此外还规定，图像数据包括在切除器官之后的器官的至少一个立体照相机图像。优选地，图像数据可以包括在切除器官之前、之后和/或连续地在其期间产生或记录或者已经产生或记录的立体照相机图像。然后将数据处理装置配置为，根据至少一个立体照相机图像自动重建器官的至少一个残留子区域的3D表面，并且在考虑重建的3D表面的情况下执行和/或更新图像数据与3D数据组的配准。例如可以根据重建的3D表面，必要时通过与在切除之前记录的立体照相机图像和/或与介入前的3D数据组进行比较，来对切除的范围、去除的体积或者器官的去除的组织区域的大小进行估计或建模。
优选地，例如一旦检测到3D表面的改变和/或如果器官的新的区域或表面被暴露，就与配准和3D表面的更新一样地在此可以连续地或定期重复地进行3D表面的重建、特别是自动地进行3D表面的重建。由于组织区域的不同的成像特性可以分别涉及其暴露表面或其相应的总体积，因此借助本发明通过最终基于不同成像特性的配准方法，有利地即使在切除的情况下、即组织区域或器官的物理形状和体积改变的情况下也可以可靠地进行配准，或者尽管存在相对于介入前的3D数据组的偏差也能维持配准。
因此，即使已经切入到器官的深度或体积中，配准在此仍然有利地进行工作，因为不同的成像特性、即组织区域之间的多光谱组织界限有利地可以存在于整个器官体积中。
由于通过切除以及在此可能同时出现的器官或组织区域的移位或形变会为配准形成巨大的计算量，因此在此可以有利地考虑预先给限定的边界条件，以限制计算量。例如可以假定具有最大刚性的形状变化，在专业术语中也被称为“尽可能严格的形状操纵(as-rigid-as-possible shape manipulation)”，即，可以为器官做出相应的刚度假定。因此，基于立体照相机图像在此可以估计：根据介入前的3D数据组，组织区域或器官的当前暴露的表面分别位于组织区域或器官的原始表面下方多远。由此，即使3D数据组中的器官表面的形状和位置与通过介入前知晓的图像数据分别映射的暴露的器官表面的形状和位置不同，也可以进行图像数据与3D数据组之间的配准。
在本发明的另外有利的设计方案中，不同的成像特性包括在位于可见光谱之外的光谱范围中的组织区域中的一个的荧光。即，该组织区域例如可以在红外线中发出荧光，而这借助人的视觉能力或在常规的照相机图像中是不能看到的。于是，为了产生图像数据，根据本发明的医学成像设备包括多光谱照相机，多光谱照相机被配置为，产生荧光光谱范围中的荧光图像以及(特别是同时)产生可见光谱或光谱范围中的光学图像，作为图像数据的一部分。多光谱照相机例如可以集成到腹腔镜中，腹腔镜通过数据连接与数据采集装置连接。因此，第二成像模态由多光谱照相机给出，其中组织区域或其成像特性通过以下方式进行区分，即，在位于可见光谱之外的光谱范围中的组织区域中的仅一个组织区域发出荧光。为此可以利用荧光染料、例如吲哚菁绿(ICG)对相应的组织区域进行标记。多光谱照相机例如可以具有多个透镜、滤光器、分束器和/或图像传感器等，以便记录荧光图像以及光学图像。例如，通过叠加荧光图像和光学图像，相应的医务人员能够特别是在没有物理妨碍的情况下识别出组织区域，如其例如会示出相应的标记物那样。同时，对医务人员来说，通过光学图像可以实现与真实显示一样的、未错位且未被影响的对器官的观察。
在本发明的另外有利的设计方案中，图像数据包括借助照相机产生的图像，并且医学成像设备被配置为，为了进行配准和/或运动补偿，在产生图像数据期间跟踪照相机的姿势。为此，医学成像设备具有跟踪装置、即跟踪系统(Trackingsystem)，和/或本身被配置为用于根据图像数据来自动跟踪照相机。前者也被称为外内跟踪(outside-in Tracking)，后者也被称为内外跟踪(inside-out Tracking)。跟踪装置例如可以通过电磁跟踪和/或基于图像地、例如根据布置在照相机上的至少一个标记物和/或通过在同时记录的荧光透视图像(在其中能够看到照相机)中的对象识别来跟踪照相机。通过跟踪照相机，有利地可以特别可靠地执行配准或运动补偿。由于给出了相应的照相机的姿势并且因此给出了借助照相机产生或记录的图像相对于坐标系或3D数据组的空间位置，因此在照相机和/或检查对象的运动时可以特别容易地、即以特别小的计算量执行或保持对配准和/或运动补偿的更新。
在本发明的另外有利的设计方案中，3D数据组示出了检查对象的介入前状态。然后，医学成像设备被配置为用于采集第二3D数据组，该第二3D数据组与图像数据一样地示出了检查对象的介入中状态，并且将该第二3D数据组配准到介入前的3D数据组。在此，在介入中状态下，要么组织区域中的一个利用X射线可见的造影剂以及荧光染料进行标记并且第二3D数据组是3D CT数据组，要么组织区域中的一个利用X射线可见的造影剂进行标记并且可以根据供血特性与另外的组织区分并且第二3D数据组为此是3D磁共振数据组，该3D磁共振数据组借助映射供血特性的序列进行记录。供血特性例如可以是灌注或血氧含量。后者例如可以通过BOLD对比度或借助BOLD序列(英文：Blood oxygenation leveldependent，血氧水平依赖性)进行确定或区分。因此，在这两个变形方案中确保了，组织区域可以借助用于记录第二3D数据组的相应的成像模态根据其不同的成像特性进行区分。
此外，医学成像设备然后被配置为，根据连续采集的图像数据来跟踪标记的组织区域，该图像数据包括组织区域的照相机图像。在此，图像数据例如可以采集或映射标记的组织区域的荧光或基于不同的血氧含量而改变的组织区域的颜色。然后，医学成像设备还被配置为，基于图像数据对配准进行自动更新。
因此在此例如可以规定，直接在器官表面的下方注射由X射线可见的造影剂和荧光染料组成的混合物，优选地注射到多个位置。替换地，也可以在外侧利用这种混合物涂覆表面，直观地即是“上色”。然后，例如可以利用C形臂CT设备将这种造影剂富集的空间位置(从而将器官或器官表面的位置或姿势)配准到介入前的3D数据组或由此产生的3D模型。随后，可以光学地、即借助照相机或图像数据对通过注射产生的发出荧光的表面区域进行跟踪，由此可以实现对手术前的3D数据组或由此产生的3D模型的配准的运动更新。
由于可以连续地、即例如作为视频流记录图像数据，因此可以(特别是实时地)相应连续地更新配准、即动态地保持配准。特别地，配准在此可以如所描述的那样弹性地进行。
在此描述的本发明的设计方案或在此描述的方法是有利的，特别是对于短期或短时间的应用，以及对于至少流向相应标记的组织区域的器官的血流中断的应用情况，以及对于沿着表面具有相对较低的扩散速度的器官。在这些情况下，在荧光染料能够沿着器官的表面扩散之前并且因此在组织区域之间的组织界限的标记或可检测性模糊之前，可以以相对较少的开销却仍然可靠地执行配准或其更新。在此，相比于常规方法特别有利的是，不需要发出荧光的标记物(英文：Fiducials，基准点)，这可以节省成本和开发开销。
在第二变形方案中，即在例如利用BOLD序列或使器官内的供血特性可见的另外的序列在介入中或手术中记录磁共振数据组的情况下，可以将第二3D数据组用于3D-3D配准以配准到介入前的3D数据组或由此产生的3D模型。在此，随后还可以借助照相机或图像数据光学地跟踪器官表面上的多光谱组织界限，以便获得配准的运动更新。
在本发明的另外有利的设计方案中，医学成像设备被配置为，用于采集第二3D数据组，该第二3D数据组与图像数据一样地示出了检查对象的介入中状态。特别地，这尤其可以是已经提到的第二3D数据组。然后，对此医学成像设备被配置为，根据对第二3D数据组的分割，尤其是根据对不同成像特性之间的界限的分割、对器官表面的分割和/或对仅在组织区域中的一个中形成对比的器官的血管树的分割，确定组织区域之间的相应的组织界限。进一步对医学成像设备进行配置。然后，医学成像设备还进一步被配置为，将由此确定的组织界限用作3D数据组或由此产生的3D模型中的相应的组织界限。
因此可以规定，在3D数据组中对组织界限、即器官的片段或组织区域的至少一个界限进行估计，然后在提供了根据介入中记录的第二3D数据组确定的组织界限之后，将该估计的组织界限摒弃。在此可以规定，在将根据第二3D数据组确定的相应的组织界限转用到介入前的3D数据组或由此产生的3D模型之前，弹性或可形变地执行对第二3D数据组与图像数据之间的配准。同样地，可以根据图像数据与相应更新的介入前的3D数据组之间的转用执行相应的变形或弹性配准或配准更新。
可选地，可以使用根据第二3D数据组和/或图像数据的分割和/或另外的可视化，以便产生用于增强图像、即AR显示的叠加或虚拟模型。
在此提出的本发明的设计方案有利地可以实现，根据手术前或介入前的3D数据组对相应的介入进行详细的规划，而不必在此期间相应的患者例如准备好进行手术地等待。同时，通过基于介入中记录的第二3D数据组对介入前的3D数据组(其也被称为第一3D数据组)进行更新、尤其是自动更新，来向相应的医务人员提供在患者或者检查对象的相应的当前位置中的相应解剖情况的特别可靠的三维可视化。通过这种支持，然后可以特别可靠地并且以特别高的成功率执行相应的介入。
如果图像数据仅包括不能映射不透明的器官内部体积的二维图像、例如照相机图像，则通过使用第二3D数据组来更新介入前的第一3D数据组或由此产生的3D模型可以特别可靠地反映三维解剖情况。
在本发明的另外有利的设计方案中，医学成像设备包括显示装置。该显示装置例如可以是屏幕或HMD、例如AR眼镜等。于是，医学成像设备被配置为，用于根据3D数据组、图像数据和/或检测到的组织界限自动产生叠加图像、尤其是增强现实(AR：augmentierte)或混合现实(MR：mixed Reality)的图像，在叠加图像中不同地显示两个组织区域。此外，医学成像设备然后被配置为，用于借助显示装置输出该叠加图像。因此，在叠加图像中可以将例如3D数据组或由此产生的3D模型与图像数据叠加。在此，图像数据优选地可以是或包括来自或具有不同光谱范围的图像。
同样地，组织界限或由组织界限限制的组织区域例如可以通过相应的(尤其是自动的)分割从图像数据获得并且与3D数据组叠加。同样地，叠加图像可以是图像数据的不同单个图像的叠加，从而例如将荧光图像与光学图像彼此叠加以产生叠加图像，该荧光图像映射或显示不可见光谱范围中的组织区域中的一个的荧光，该光学图像显示或映射视觉光谱范围中的组织区域。然后，可选地，在其中可以淡入或叠加附加的虚拟模型或元素、例如根据3D数据组产生的3D模型。因此，叠加图像尤其可以是三维和二维图像或图像内容的混合或组合。这种类型的叠加图像有利地可以为医务人员提供特别全面且内容丰富的支持。
本发明的另一方面是一种用于支持医务人员的方法。该方法的方法步骤是：采集借助第一成像模态产生的检查对象的3D数据组。该方法的另外的方法步骤是：采集借助不同于第一成像模态的第二成像模态产生的检查对象的图像数据，其中在3D数据组和图像数据中映射器官的至少一个第一组织区域以及同一器官的至少一个第二组织区域，并且组织区域至少在第二成像模态下具有不同的成像特性。该方法的另外的步骤是：在图像数据中根据不同的成像特性来检测第一组织区域与第二组织区域之间的至少一个组织界限。该方法的另外的步骤是：通过将至少一个检测到的组织界限对齐到3D数据组的相应的组织界限来将图像数据与3D数据组配准和/或根据至少一个组织界限对在产生图像数据期间出现的检查对象的运动实施运动补偿。
换言之，根据本发明的方法因此包括结合根据本发明的医学成像设备描述的措施、过程或流程。在这种情况下提到的其他过程、措施或流程也可以设置为根据本发明的方法的必要时可选的其他方法步骤。
本发明的另一方面是一种计算机程序产品、即程序代码，其包括命令或控制指令，在通过计算机、特别是通过根据本发明的医学成像设备或其数据处理装置实施计算机程序产品或程序代码时，所述命令或控制指令促使该计算机特别是自动或半自动地执行根据本发明的方法的至少一个变形方案或实施方式。
本发明的另一方面是一种计算机可读的存储介质，在其上存储了根据本发明的计算机程序产品的至少一个实施方式。
尤其可以规定，根据本发明的医学成像设备包括根据本发明的计算机可读的存储介质。因此，根据本发明的医学成像设备尤其可以被设计和配置为，用于优选自动或半自动地执行根据本发明的方法的至少一个变形方案。为此，根据本发明的医学成像设备可以优选地具有处理器装置，例如微处理器、微芯片或微控制器，其与计算机可读的存储介质连接并且被配置为用于执行在其上存储的计算机程序产品或程序代码。
在此应当注意，为说明本发明而提到或指出的任何外科手术步骤或措施显然都不是要求保护的本发明的一部分、特别地不是根据本发明的方法的一部分。因此，仅在本发明或方法不包括外科步骤的范围内要求保护本发明、特别是根据本发明的方法。然而，这并不妨碍本发明的可执行性或可用性，因为根据本发明的医学成像设备与根据本发明的方法一样虽然可以与介入或外科手术并行地进行使用，但是在此仅可以用于对相应医务人员的特别是自动的支持，并且同样地可以独立于实际进行的外科手术步骤基于相应提供的数据进行使用、运行或执行。即使根据本发明的方法有利地可以至少部分地在提到的介入手术期间进行执行，但它最终仅涉及对根据本发明的医学成像设备或相应数据处理装置的相应控制或相应运行，而不涉及在手术或介入中可能执行的外科手术步骤。
到目前为止说明的以及随后说明的根据本发明的医学成像设备、根据本发明的方法、根据本发明的计算机程序产品和根据本发明的计算机可读的存储介质的特性和扩展以及相应的优点分别可以比照地在本发明的这些方面之间互相转用。因此，根据本发明的成像设备、根据本发明的方法，根据本发明的计算机程序和根据本发明的计算机可读的存储介质的那些扩展也属于本发明，这些扩展具有在此为了避免不必要的冗余没有在本发明的相应组合中或针对每个方面而详细单独描述的设计方案。
附图说明
根据下面对优选的实施例的描述并且参照附图得出本发明的其他特征、细节和优点。附图中：
图1示出了医学成像设备的示意图；
图2示出了用于支持医务人员的方法的示例的示意性流程图；
图3示出了具有多个片段的器官的示意性3D模型；
图4示出了器官的部分的2D图像；
图5示出了示意性的第一叠加图像；和
图6示出了示意性的第二叠加图像。
具体实施方式
下面说明的实施例是本发明的优选实施方式。在实施例中，实施方式的所描述的部件分别是本发明的彼此独立地观察的各个特征，这些特征分别还彼此独立地扩展本发明，并且因此单独地或者以不同于所示组合的组合将这些特征视为本发明的组成部分。此外，所描述的实施方式还可以通过已经描述的本发明的其他特征来补充。
在附图中，为了清楚起见，相同、功能相同或彼此相应的元件分别用相同的附图标记进行表示，即使它们可以是相应元件的不同实例或示例。
在医学成像技术领域中，基于图像的引导和导航对于许多应用情况来说是值得期望的，例如对于肝脏切除，特别是当(相对于大规模的解剖切除，其中例如要去除整个器官的一半)在此要切除单个片段或供血区域时。在切除时，通常应当将片段或供血区域的所有实质去除，目标是不留下缺血组织或实质。这种片段选择性的切除、尤其是肝脏切除，目前是备受关注的话题，因为这代表了对常规切除的有利的替换方法，在常规切除中，例如总共在已识别出的肿瘤组织周围切除约1cm宽的安全区域，而与解剖学或几何结构或者与片段界限或者供血区域的界限无关。
即使在个别情况下，在切除时不希望精确地遵循片段或供血区域的界限，了解这些界限的位置或走向也很有价值。特别地，相对于理论上的、例如通过算法基于手术前的分割计算出的分割界限或体积，了解分割界限的实际的介入中的走向是特别有价值的。
已知方法使用附着在肝脏表面的标记物和/或尝试光学特征跟踪(英文：opticalFeature Tracking)。在此不利的是，附加的开销和有限的准确性以及对相应医务人员的潜在妨碍都与标记物相关联，并且现有的解剖特征通常不是非常鲁棒的，或者是能够可靠地检测并且可跟踪的，并且光学特征跟踪通常仅相对于初始化进行工作，其中跟踪中的错误会随着时间而增长。
片段选择性的造影剂掺杂例如可以通过将染料、例如吲哚菁绿(ICG)引入供应路径、例如特定片段的血管树支路，和/或通过中断对例如相邻片段的供应来实现。同样地，相反地可以中断对特定片段的供应，然后可以将染料引入重要的供应路径，从而染料仅散布到另外的片段中，并且不会到达由隔开的供应路径供应的片段。这导致对片段界限的标记或者识别，然后可以沿着该片段界限进行表面切割。然而，当更深地切入组织时，通常难以保持治疗平面或截面平面沿着片段界限对齐。如果片段界限在此损伤，则染料可以流过该损伤进入相邻的片段，从而使片段界限模糊。另外的难点在于，通过染料通常不能识别在切除时哪些血管沿着切割路径延伸。特别地，在许多患者中可能出现例如肝脏动脉或者胆管的血管走向，例如从限定为门静脉的供血区域跨过片段界限的解剖学变化。
为了在这种背景下向医务人员提供技术支持，在此设置了在图1中示意性示出的、相应配置的医学成像设备1和相应的方法。在此，医学成像设备1具有C形臂2，在C形臂2上安装有射线源3和与其相对布置的检测器4作为第一成像模态。医学成像设备1在此包括例如CT设备，但是第一成像模态同样可以以其他方式、例如以磁共振设备或数据接口的形式进行设计以采集相应的数据组。
在此，在射线源3与检测器4之间布置有患者5，该患者或患者的肝脏6在此用作检查对象。在此示出了将配备有多光谱照相机的腹腔镜7布置在肝脏6的区域中的情况。腹腔镜7在此既可以记录可见光谱范围中的光学图像，也可以记录位于可见光谱之外的光谱范围中的荧光图像。因此，腹腔镜7或其多光谱照相机在此构成不同于第一成像模态的、特别地基于另外的成像原理的第二成像模态。
医学成像设备1还具有数据处理单元8，该数据处理单元8用于采集和处理借助射线源3和检测器4产生的3D数据组以及由腹腔镜7提供的图像数据。为此，数据处理单元8在此包括计算机可读的存储装置9和与其连接的处理器装置10，处理器装置用于执行存储在存储装置9上的程序代码或计算机程序。数据处理单元8可以根据3D数据组和/或图像数据和/或通过产生虚拟模型或对象而生成图像，然后可以借助在此同样示意性示出的显示装置11来输出所述图像。显示装置11可以是医学成像设备1的一部分或与医学成像设备1连接。在此应纯示意性地理解显示装置11的显示，从而显示装置11例如也可以是AR眼镜等。
图2示出用于特别是借助医学成像设备1来支持医务人员的方法的示例性的示意性流程图12。该方法可以通过存储在存储装置9上的计算机程序进行编码或代表。因此，该方法的步骤或流程可以代表计算机程序或程序代码各个程序模块、功能块或功能。
在方法步骤S1中，记录患者5的手术前或介入前的3D数据组23(参见图5)。3D数据组23例如可以借助医学成像设备1的第一成像模态或借助另外的成像设备进行记录、即产生。3D数据组23例如可以是3D CT数据组或3D磁共振数据组。
在方法步骤S2中，根据3D数据组23产生了在此示意性在图3中示出的3D模型13、在此例如是肝脏6的3D模型。为了产生3D模型，例如可以对3D数据组23进行自动、半自动或手动地分割。为此，例如可以以多个对比度阶段来记录3D数据组23。于是，例如首先可以对在3D数据组中映射的、形成对比的血管进行分割，并且然后可以对属于不同肝脏片段的血管部分或血管分支进行标记。随后，通过几何方法、例如通过分别确定最小距离，将所映射的器官组织与不同的供血区域相关联。换言之，因此可以基于相应的供应血管的结构和布置来对肝脏6的解剖片段进行估计。
在图3中，在3D模型13中，多个组织区域14(即，第一组织区域15、第二组织区域16和第三组织区域17)例如通过不同的染色相互界定。在此，在组织区域14之间示意性示出了片段界限19。组织区域14可以对应于所提到的片段或肝叶或供血区域。此外，在此示出了肝脏6的血管树18，其中组织区域14通过血管树18的不同血管分支进行供应。
例如，由于根据3D数据组23和3D模型13已经规划了介入，因此可以针对介入或在介入期间改变组织区域14的成像特性，从而可以将这些组织区域彼此区分。为此，可以夹紧相应的供应路径、例如从门静脉(Vena portae)分支的血管，和/或可以将造影剂和荧光染料引入到血管树18的供应分支中。
然后，在方法步骤S3中，借助医学成像设备1在手术中记录第二3D数据组。其中肝脏6的解剖组织区域14之间的实际界限可以通过借助之前引入的造影剂逐片段地进行对比或标记来识别。替换地，第二3D数据组在手术中例如可以利用磁共振设备通过使用序列进行记录，该序列使得可以识别组织区域14之间的实际界限或各个组织区域14。然后，在方法步骤S4中，将来自第二3D数据组的手术中给出的片段界限19或各个组织区域14的当前姿势配准到手术前的第一3D数据组23或配准到由此产生的3D模型13。在这个时间点，肝脏6关于其形状和体积仍可以优选地对应于其在记录手术前的3D数据组23时所具有的状态，从而能够以特别简单的方式进行配准。在此，可以将之前仅针对手术前的3D数据组23估计的片段界限19摒弃，并且由根据第二3D数据组确定的实际片段界限19代替。
然后，在方法步骤S5中，在手术中借助第二成像模态、即在此借助腹腔镜7来记录图像数据、即在此记录肝脏6的照相机图像。在此，作为图像数据的一部分，记录可见光谱范围中的光学图像以及不可见光谱范围中的荧光图像，之前引入的荧光染料在荧光图像中发出荧光。由此，通过叠加产生了在图4中示意性示出的2D图像20。在该2D图像20中，第一组织区域15和第二组织区域16示例性地通过组织界限21彼此分开。在此，例如第一组织区域15被荧光染料充满，从而第一组织区域在2D图像20中与仅能在可见光谱范围中识别到并相应显示的第二组织区域16相比明显显得突出。在实践中，利用颜色成像还能够比在此提供的图示明显更好地识别这点。
在方法步骤S6中，在图像数据中特别是自动地检测组织界限21，并且在此基础上执行对图像数据的特别是自动的分割，以便限定组织区域14。这种根据组织区域14的不同成像特性的自动分割例如可以基于组织区域14的不同颜色或不同对比度特性。因此，在此可以基于相应的空间的信号对比度对组织区域14、即例如肝脏片段和/或与血管树18的各个血管分支相关联的供血区域进行分割。在此，该信号对比度恰好沿着组织界限21出现。
如果腹腔镜7是立体腹腔镜，则然后可以根据相应的立体图像数据执行对肝脏6或组织区域14的立体表面重建。这可以特别是连续地或定期重复地在介入期间自动执行，这在此由循环的程序路径P1表示。
在此，腹腔镜7的姿势可以借助跟踪装置、即借助跟踪系统进行跟踪。例如，这种跟踪装置同样可以布置在C形臂2上，从而固有地存在跟踪装置的坐标系与第一成像模态的坐标系之间的预先给定的(特别是固定的)空间位置关系，从而容易地相互配准或者能够相互配准相应的数据。
然后，在方法步骤S7中，根据在图像数据中检测到的组织界限21，特别是自动地执行图像数据与3D数据组23或由此产生的3D模型13的配准。为此，该组织界限21例如可以对齐到3D数据组23或3D模型13中的相应的片段界限19。由于3D模型13根据3D数据组23产生，因此针对3D数据组23和3D模型13可以容易地使用同一坐标系，因此图像数据与3D数据组23的配准也会自动导致图像数据与3D模型13的配准。在这种配准的框架下，组织界限21、组织区域14或整个肝脏6的形变或变形可以被转用到3D数据组23和/或3D模型13。结果是，这提供了分别根据当前的解剖情况正确形变但仍然配准的3D模型13，或者相应形变并且配准的3D数据组23。在此，同样地例如在介入时执行切除的框架下还可以考虑根据立体表面重建而确定的肝脏6的体积变化。
同样地，如果将在此描述的配准方法或配准过程与现有技术的其他配准方法结合。例如，为了进一步进行保护，可以附加地将已知的标记物定位在肝脏6上，并且例如同样地借助跟踪装置进行跟踪。然后，在配准时，同样可以考虑这些标记物的相应位置作为另外的边界条件，由此在必要时可以实现进一步改善的准确性或可靠性。
在此，为了将图像数据与3D数据组23或3D模型13配准，利用多光谱标记的表面区域的位置、即在此是第一组织区域15的荧光表面的位置，来调整供血区域或肝脏片段的位置、即在此是组织区域14的位置。在此，优选地可以使用这种光谱改变的(即在此发出荧光的)肝脏6的表面区域或区域，以及光谱未改变的(即不发出荧光的)肝脏6的表面区域或区域，在此例如是第二组织区域16的表面，然而特别是使用在这些关于其成像特性或光谱特性不同的组织区域14之间延伸的组织界限21。
在手术前的3D数据组23或者3D模型13中，可以针对配准说明或者确定或者自动识别出：在介入期间哪些组织区域14在光谱上、即关于其成像特性已经发生了改变，并且哪些组织区域14在光谱上保持不变。
如所描述的，附加地或替换地可以通过产生一个或多个组织区域14的局部缺血来产生颜色变化，从而产生相应的组织表面或组织区域14的光谱吸收的变化和/或反射的变化，这种变化同样可以借助腹腔镜7检测到，并且可以用于确定或检测组织界限21以及用于配准。同样地，附加地或替换地，可以检测接近组织区域14的相应表面的血液氧合度、即所谓的BOLD对比度，并且将其用于确定和检测组织界限21以及用于配准。
配准和/或形变可以同样地根据在方法步骤S6中连续检测或跟踪的组织界限21连续地或定期重复地进行更新，这在此通过循环的程序路径P2表示。
在方法步骤S8中，可以基于3D数据组23、3D模型13和图像数据或者在其中检测到的组织界限21产生在图5中示意性示出的增强的第一叠加图像22。可以将第一叠加图像22理解为配准的结果。在此，在第一叠加图像22中，将根据图像数据调整的并且关于片段界限19调整的3D模型13作为虚拟对象(也被称为覆盖(Overlay))淡入。然后，第一叠加图像22优选地可以作为AR图像、即作为增强现实的图像，例如借助显示装置11进行输出。
在第一叠加图像22中可以淡入或叠加其他细节或虚拟对象，优选地例如预先给定的目标组织与片段界限19或组织界限21之间的距离，以及引入各个组织区域14的和从各个组织区域14引出的血管的相应位置、特别是沿着片段界限19或组织界限21的相应位置。特别优选地示出了组织界限21穿过肝脏6体积或3D模型13体积的三维延续，这为相应的医务人员易化了对相应空间解剖情况的定向和导航以及理解。在此提到的细节和虚拟对象优选地也可以淡入到2D图像20中。
图6示意性示出了肝脏6的第二叠加图像24。在此，第二叠加图像24基于借助腹腔镜7记录的腹腔镜视频图像25，一些虚拟对象与所述腹腔镜视频图像25叠加。作为腹腔镜视频图像25，在此例如同样良好地可以使用2D图像20。在此，虚拟对象示出了组织界限21、叠加的第一解剖结构26和叠加的第二解剖结构27。例如，第一解剖结构26可以表示第一类型的血管、诸如胆管等，其延伸越过片段界限或组织界限21。与之不同地出地或识别出地，第二解剖结构27例如可以表示第二类型的血管、诸如门静脉等，其在组织区域14中的一个的内部延伸并且不穿透组织界限21。在第二叠加图像24中还可以淡入或识别出其他细节，例如通过对组织区域14进行不同的染色。
在方法步骤S9中，在进一步连续记录的图像数据中可以借助腹腔镜7或者通过数据处理单元8光学地跟踪组织界限21，并且相应地连续执行对叠加图像22和/或在2D图像20中淡入的虚拟元素或虚拟对象的运动补偿。该运动补偿可以在整个介入期间自动执行，这在此通过循环的程序路径P3表示。
在此描述的示例示出了，如何在医学成像中、特别是针对外科应用，例如在肝肿瘤的腹腔镜切除时，实现对增强现实覆盖或叠加的精确配准和运动补偿。在此使用有色的或光谱的、例如荧光分辨的供血区域的界限，以便执行对手术前的3D数据组23或由此导出的3D模型13的运动补偿和配准。与常规方法相反，在此可以实现改善的引导或导航，特别是在高要求的应用情况下、例如解剖学的肝切除，这些应用情况迄今只能由少数专家可靠地执行。同样地，针对外科的增强现实可以实现对器官运动的更鲁棒的光学跟踪，尤其是在不必使用物理标记物或标记对象的情况下，即不必将标记物或标记对象施加到相应的器官表面。因此，总的来说，在此描述了根据片段选择性对比的手术中的图像数据与手术前的数据组的配准以及基于器官表面上的多光谱界限的AR配准更新。

Claims (18)

1.一种医学成像设备(1)，其具有
-数据采集装置(8)，其用于采集借助第一成像模态(3，4)产生的检查对象(5，6)的3D数据组(13，23)，以及用于采集借助第二成像模态(7)产生的检查对象(5，6)的图像数据(20，25)，其中，所述第一成像模态(3，4)和所述第二成像模态(7)彼此不同，并且通过3D数据组(13，23)以及通过图像数据(20，25)映射的同一器官(6)的至少一个第一和第二组织区域(14，15，16，17)至少在所述第二成像模态(7)下分别具有不同的成像特性，
-检测装置(8)，其被配置为用于在图像数据(20，25)中根据不同的成像特性自动检测所述第一组织区域(14，15)与所述第二组织区域(14，16)之间的至少一个组织界限(21)，和
-数据处理装置(8)，其被配置为，
-用于通过将至少一个检测到的组织界限(21)对齐到所述3D数据组(13，23)中的相应的组织界限(19)，来将所述图像数据(20，
25)与所述3D数据组(13，23)自动配准，和/或
-用于借助至少一个检测到的组织界限(21)对在产生所述图像数据(20，25)期间和/或在时间上在产生所述3D数据组(13，23)与所述图像数据(20，25)之间已经发生的检查对象(5，6)的运动进行自动运动补偿。
2.根据权利要求1所述的医学成像设备(1)，其特征在于，所述医学成像设备(1)被配置为，根据不同的成像特性实施对所述3D数据组(13，23)和/或所述图像数据(20，25)的自动分割。
3.根据权利要求1或2所述的医学成像设备(1)，其特征在于，所述医学成像设备(1)被配置为，用于自动确定和说明从检测到的组织界限(21)至预先给定的目标组织的距离。
4.根据权利要求1或2所述的医学成像设备(1)，其特征在于，所述数据处理装置(8)被配置为，用于自动确定图像数据(20，25)中的至少一个检测到的组织界限(21)与3D数据组(13，23)中的相应的组织界限(19)的形状差异，并且根据所确定的差异使所述3D数据组(13，23)或由此产生的3D模型(13)虚拟地变形。
5.根据权利要求1或2所述的医学成像设备(1)，其特征在于，所述医学成像设备(1)被配置为，用于通过将所述图像数据(20，25)与叠加图像(20，22，24)叠加来产生并输出增强图像，所述叠加图像表示至少一个检测到的组织界限(21)穿过器官体积的三维延续。
6.根据权利要求1或2所述的医学成像设备(1)，其特征在于，
-在所述3D数据组(13，23)中对至少一个相应的组织界限(19)进行三维标记，
-所述图像数据(20，25)包括在切除所述器官(6)之后的所述器官(6)的至少一个立体照相机图像(20，25)，和
-所述数据处理装置(8)被配置为，根据至少一个立体照相机图像(20，25)自动重建所述器官(6)的至少一个残留子区域(14)的3D表面，并且在考虑重建的3D表面的情况下执行和/或更新配准。
7.根据权利要求1或2所述的医学成像设备(1)，其特征在于，不同的成像特性包括在位于可见光谱之外的光谱范围中的组织区域(14)中的一个的荧光，并且为了产生所述图像数据(20)，所述医学成像设备(1)包括多光谱照相机，所述多光谱照相机被配置为，产生荧光光谱范围中的荧光图像(20)以及产生可见光谱中的光学图像(20)作为所述图像数据(20)的一部分。
8.根据权利要求1或2所述的医学成像设备(1)，其特征在于，所述图像数据(20，25)包括借助照相机(7)产生的图像(20，25)，并且所述医学成像设备(1)被配置为，为了进行配准和/或运动补偿，在产生所述图像数据(20，25)期间跟踪所述照相机(7)的姿势，并且所述医学成像设备(1)为此具有跟踪装置和/或被配置为用于根据所述图像数据(20，25)来自动跟踪所述照相机(7)。
9.根据权利要求1或2所述的医学成像设备(1)，其特征在于，
-所述3D数据组(13，23)示出了所述检查对象(5，6)的介入前状态，并且
-所述医学成像设备(1)被配置为，
-用于采集第二3D数据组(13，23)，所述第二3D数据组与所述图像数据(20，25)一样地示出了所述检查对象(5，6)的介入中状态，并且将所述第二3D数据组配准到介入前的3D数据组(13，
23)，其中在介入中状态下，要么组织区域(14)中的一个利用X射线可见的造影剂和荧光染料进行标记并且所述第二3D数据组(13，23)是3D CT数据组(23)，要么组织区域中的一个能够根据供血特性与另外的组织(14)区分并且所述第二3D数据组(13，
23)为此是3D磁共振数据组，所述3D磁共振数据组借助映射供血特性的序列进行记录，
-根据连续采集的图像数据(20，25)来跟踪标记的组织区域(14)，所述图像数据(20，25)包括所述组织区域(14)的照相机图像，
并且，
-基于所述图像数据(20，25)对配准进行自动更新。
10.根据权利要求1或2所述的医学成像设备(1)，其特征在于，所述医学成像设备(1)被配置为，
-用于采集第二3D数据组(13，23)，所述第二3D数据组与所述图像数据(20，25)一样地示出了所述检查对象(5，6)的介入中状态，
-根据对所述第二3D数据组(13，23)的分割，确定所述组织区域(14)之间的相应的组织界限(19)，和
-将由此确定的组织界限(19)用作所述3D数据组(13，23)或由此产生的3D模型(13)中的相应的组织界限(19)。
11.根据权利要求1或2所述的医学成像设备(1)，其特征在于，所述医学成像设备(1)包括显示装置(11)，并且所述医学成像设备被配置为，
-用于根据3D数据组(13，23)、图像数据(20，25)和/或检测到的组织界限(21)自动产生叠加图像(20，22，24)，在所述叠加图像中可以识别出两个组织区域(14)，并且
-用于借助所述显示装置(11)输出所述叠加图像(20，22，24)。
12.根据权利要求2所述的医学成像设备(1)，其特征在于，所述检测装置(8)被配置为，根据不同的成像特性实施对所述3D数据组(13，23)和/或所述图像数据(20，25)的自动分割。
13.根据权利要求3所述的医学成像设备(1)，其特征在于，所述数据处理装置(8)被配置为，用于自动确定和说明从检测到的组织界限(21)至预先给定的目标组织的距离。
14.根据权利要求7所述的医学成像设备(1)，其特征在于，所述多光谱照相机被配置为，产生荧光光谱范围中的荧光图像(20)以及同时产生可见光谱中的光学图像(20)作为所述图像数据(20)的一部分。
15.根据权利要求10所述的医学成像设备(1)，其特征在于，所述对所述第二3D数据组(13，23)的分割包括根据对不同的成像特性之间的界限的分割、对器官(6)的表面的分割和/或对仅在组织区域(14)中的一个中形成对比的器官(6)的血管树(18)的分割。
16.根据权利要求11所述的医学成像设备(1)，其特征在于，所述叠加图像(20，22，24)是增强现实或混合现实的图像。
17.一种用于支持医务人员的方法(12)，所述方法具有以下方法步骤：
-采集借助第一成像模态(3，4)产生的检查对象(5，6)的3D数据组(13，23)，
-采集借助不同于所述第一成像模态(3，4)的第二成像模态(7)产生的检查对象(5，6)的图像数据(20，25)，其中在所述3D数据组(13，23)和所述图像数据(20，25)中映射器官(6)的至少一个第一组织区域(14，15)以及同一器官(6)的至少一个第二组织区域(14，16)，并且所述组织区域(14，15，16，17)至少在第二成像模态(7)下具有不同的成像特性，
-在所述图像数据(20，25)中根据不同的成像特性来检测所述第一组织区域(14，15)与所述第二组织区域(14，16)之间的至少一个组织界限(21)，并且
-通过将至少一个检测到的组织界限(21)对齐到所述3D数据组(13，23)的相应的组织界限(19)来将所述图像数据(20，25)与所述3D数据组(13，23)配准，和/或
-对于所述图像数据(20，25)的配准和/或对于在使用配准的情况下产生的叠加图像(20，22，24)，根据至少一个检测到的组织界限(21)对在产生所述图像数据(20，25)期间出现的检查对象(5，6)的运动实施运动补偿。
18.一种计算机可读的存储介质(9)，在其上存储有计算机程序产品(12)，所述计算机程序产品包括命令(12)，在通过计算机(1，8)实施所述计算机程序产品(12)时，所述命令促使所述计算机(1，8)实施根据权利要求17所述的方法(12)。
CN202010065396.3A 2019-01-23 2020-01-20 医学成像设备、用于支持医务人员的方法和存储介质 Active CN111466935B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019200786.4A DE102019200786A1 (de) 2019-01-23 2019-01-23 Bildgebendes medizinisches Gerät, Verfahren zum Unterstützen von medizinischem Personal, Computerprogrammprodukt und computerlesbares Speichermedium
DE102019200786.4 2019-01-23

Publications (2)

Publication Number Publication Date
CN111466935A CN111466935A (zh) 2020-07-31
CN111466935B true CN111466935B (zh) 2023-10-20

Family

ID=71402743

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010065396.3A Active CN111466935B (zh) 2019-01-23 2020-01-20 医学成像设备、用于支持医务人员的方法和存储介质

Country Status (3)

Country Link
US (1) US11282211B2 (zh)
CN (1) CN111466935B (zh)
DE (1) DE102019200786A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3677186A1 (en) * 2019-01-03 2020-07-08 Siemens Healthcare GmbH Medical imaging device, system, and method for generating a motion-compensated image, and corresponding storage medium
EP4178446A4 (en) * 2020-08-10 2023-06-07 Shanghai United Imaging Healthcare Co., Ltd. IMAGING SYSTEMS AND METHODS
CN114931435B (zh) * 2022-06-02 2023-02-17 上海市胸科医院 三维模型处理方法、装置和电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101478917A (zh) * 2006-06-28 2009-07-08 皇家飞利浦电子股份有限公司 基于3d图像数据的空间变化的2d图像处理
US9547940B1 (en) * 2014-09-12 2017-01-17 University Of South Florida Systems and methods for providing augmented reality in minimally invasive surgery
CN107174263A (zh) * 2016-03-09 2017-09-19 西门子保健有限责任公司 用于采集和处理检查对象的图像数据的方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060089636A1 (en) * 2004-10-27 2006-04-27 Christopherson Mark A Ultrasound visualization for transurethral needle ablation
DE102005030646B4 (de) * 2005-06-30 2008-02-07 Siemens Ag Verfahren zur Kontur-Visualisierung von zumindest einer interessierenden Region in 2D-Durchleuchtungsbildern
US8041409B2 (en) 2005-09-08 2011-10-18 Carestream Health, Inc. Method and apparatus for multi-modal imaging
US8386015B2 (en) * 2008-10-27 2013-02-26 Siemens Aktiengesellschaft Integration of micro and macro information for biomedical imaging
US8885926B2 (en) * 2009-04-15 2014-11-11 Massachusetts Institute Of Technology Image and data segmentation
US9108048B2 (en) * 2010-08-06 2015-08-18 Accuray Incorporated Systems and methods for real-time tumor tracking during radiation treatment using ultrasound imaging
WO2012107857A1 (en) * 2011-02-07 2012-08-16 Koninklijke Philips Electronics N.V. Medical imaging device for providing an image representation supporting the accurate positioning of an invention device in vessel intervention procedures
US9129422B2 (en) 2013-02-25 2015-09-08 Siemens Aktiengesellschaft Combined surface reconstruction and registration for laparoscopic surgery
DE102014005407A1 (de) 2014-04-14 2015-10-15 Carl Zeiss Meditec Ag Vorrichtung zum Auffinden eines funktionstragenden Gewebeareals in einem Gewebebereich
JP2018514748A (ja) * 2015-02-06 2018-06-07 ザ ユニバーシティ オブ アクロンＴｈｅ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ａｋｒｏｎ 光学撮像システムおよびその方法
EP3165153A1 (en) 2015-11-05 2017-05-10 Deutsches Krebsforschungszentrum Stiftung des Öffentlichen Rechts System for fluorescence aided surgery
US10674970B2 (en) * 2016-03-10 2020-06-09 Body Vision Medical Ltd. Methods and systems for using multi view pose estimation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101478917A (zh) * 2006-06-28 2009-07-08 皇家飞利浦电子股份有限公司 基于3d图像数据的空间变化的2d图像处理
US9547940B1 (en) * 2014-09-12 2017-01-17 University Of South Florida Systems and methods for providing augmented reality in minimally invasive surgery
CN107174263A (zh) * 2016-03-09 2017-09-19 西门子保健有限责任公司 用于采集和处理检查对象的图像数据的方法

Also Published As

Publication number Publication date
US11282211B2 (en) 2022-03-22
CN111466935A (zh) 2020-07-31
US20200234449A1 (en) 2020-07-23
DE102019200786A1 (de) 2020-07-23

Similar Documents

Publication Publication Date Title
US11883118B2 (en) Using augmented reality in surgical navigation
Kersten-Oertel et al. Augmented reality in neurovascular surgery: feasibility and first uses in the operating room
US10166079B2 (en) Depth-encoded fiducial marker for intraoperative surgical registration
US7570987B2 (en) Perspective registration and visualization of internal areas of the body
US11547499B2 (en) Dynamic and interactive navigation in a surgical environment
JP6707535B2 (ja) コンピュータ断層撮影の拡張された蛍光透視法のシステム、装置、およびその利用方法
JP2019115664A (ja) 医療手技におけるナビゲーションを補助するための拡張現実の使用
CN111466935B (zh) 医学成像设备、用于支持医务人员的方法和存储介质
EP2680755B1 (en) Visualization for navigation guidance
US20150049174A1 (en) System and method for non-invasive patient-image registration
Liu et al. Augmented reality and cone beam CT guidance for transoral robotic surgery
JP2014525765A (ja) 内視鏡手術におけるガイド下注入のためのシステム及び方法
JP2007508913A (ja) 術中ターゲティングのシステムおよび方法
CA3020951C (en) Method for recovering patient registration
JP2021505226A (ja) 処置中の視覚化を支援するためのシステム及び方法
EP3544538B1 (en) System for navigating interventional instrumentation
WO2007115825A1 (en) Registration-free augmentation device and method
EP3554383B1 (en) System for providing images for guiding surgery
Kersten-Oertel et al. Towards augmented reality guided craniotomy planning in tumour resections
Paolucci et al. Ultrasound based planning and navigation for non-anatomical liver resections–an Ex-Vivo study
Hirai et al. Image-guided neurosurgery system integrating AR-based navigation and open-MRI monitoring
CN115363751B (zh) 术中解剖结构指示方法
US20230233259A1 (en) Augmented reality headset systems and methods for surgical planning and guidance for knee surgery
Giraldez et al. Design and clinical evaluation of an image-guided surgical microscope with an integrated tracking system
US20230360212A1 (en) Systems and methods for updating a graphical user interface based upon intraoperative imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant