CN115104129A - 导航和显示3d图像数据的计算机实现的方法和系统 - Google Patents

导航和显示3d图像数据的计算机实现的方法和系统 Download PDF

Info

Publication number
CN115104129A
CN115104129A CN202080067305.8A CN202080067305A CN115104129A CN 115104129 A CN115104129 A CN 115104129A CN 202080067305 A CN202080067305 A CN 202080067305A CN 115104129 A CN115104129 A CN 115104129A
Authority
CN
China
Prior art keywords
image
kernel
image data
location
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080067305.8A
Other languages
English (en)
Inventor
约翰·芒罗·辛普森
库贝兰·普什帕拉贾
阿尔贝托·戈麦斯埃雷罗
朱莉娅·安妮·施纳贝尔
加文·惠勒
邓舒捷
尼古拉斯·图森特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guy And St Thomas Nhs Trust
Kings College London
Original Assignee
Guy And St Thomas Nhs Trust
Kings College London
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guy And St Thomas Nhs Trust, Kings College London filed Critical Guy And St Thomas Nhs Trust
Publication of CN115104129A publication Critical patent/CN115104129A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/62—Semi-transparency
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2024—Style variation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Architecture (AREA)
  • Human Computer Interaction (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Generation (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

描述了一种导航和显示3D图像数据的计算机实现的方法和系统。在该方法中，检索要显示的3D图像数据集，并在3D图像数据集中标识高亮位置。针对3D图像数据集计算标量不透明度图，该不透明度图具有3D图像数据集中的多个位置中的每一个的值，相应值取决于相对于高亮位置的相应位置，并取决于相对于高亮位置处的3D图像的值在相应位置处的3D图像的值。不透明度应用于3D图像数据集以生成修改后的3D图像视图。

Description

导航和显示3D图像数据的计算机实现的方法和系统
技术领域
本发明涉及一种导航和显示三维成像的系统和计算机实现的方法，并且特别适用于出于医疗诊断和治疗规划的目的的人体解剖结构的三维成像。
背景技术
传统的成像扫描仪用于各种目的，包括对人体和动物身体进行成像，以便在手术等医疗干预期间进行诊断和指导。成像扫描仪的其他使用包括对建筑物、管道等的结构分析。
传统的医用超声扫描仪创建二维B模式组织图像，其中像素的亮度基于回波返回的强度。其他类型的成像扫描仪可以捕获血流、组织随时间的运动、血液的位置、特定分子的存在、组织的硬度或三维(3D)区域的解剖结构。
传统上，成像扫描仪产生二维图像。2D图像例如2D超声图像不能代表人体或动物身体器官的典型3D结构，因为它们只能捕获横截面的一个2D切片。然而，如果诸如超声探头之类的探头以机械方式或电子方式扫过感兴趣的区域，则会生成三维图像体量(volume)。替代地，一些超声探头，例如“矩阵”探头，具有多个压电晶体并且可以构建“实时”3D超声图像。然后，这可以通过例如3D全息技术显示，并且对于受过训练的观察者和未受过训练的观察者来说，解剖结构变得更容易可视化，因为它更能代表真正的底层结构/解剖结构。其他技术也允许捕获或构建3D图像。
近年来，3D成像(以超声、CT、MR的形式)已为临床医生所用，并且由于能够以直观的格式传达成像信息，因此3D成像被证实为非常具有价值。例如，在心脏病学领域，此类数据被用于规划和指导外科手术和导管干预。
3D成像的当前限制是，尽管数据本质上是3D，但传统的2D显示只能在屏幕上渲染图像的平面表示(投影、切片、投射等)。
如上所述，3D成像设备是可用的。然而，大多数计算系统(包括成像系统中的那些)都具有二维显示器以及用于二维导航的用户界面设计。直到最近，使用计算现实技术如全息图、虚拟现实、混合现实或增强现实技术显示3D图像的技术才变得可用。然而，此类技术的开发主要不是针对临床环境的特定要求。3D系统往往很昂贵，而且它们的界面对于习惯于在2D中工作的用户来说是陌生的。
数据三维渲染的另一个问题是向用户描绘的信息量显著增加。
虽然这可以说是积极的，但它也使得导航和改变三维空间中的视图以及吸收有关感兴趣特征的信息更加困难。
通常，这些问题意味着用户退回到使用2D显示和用户界面处理3D图像数据的二维切片。虽然这可能是用户的首选，但它会丢失来自3D视图的可能与用户相关或感兴趣的信息(例如，来自不同取向的信息)。由此，失去了3D系统的许多优点，并且使得3D系统最终变成了昂贵的2D系统。
发明内容
根据本发明的一个方面，提供了一种用于导航和显示3D图像数据的方法和设备。该方法包括：
检索要显示的3D图像数据集；
接收对所述3D图像数据集内的高亮位置的标识；
计算所述3D图像数据集的标量不透明度图，所述不透明度图具有所述3D图像数据集中的多个位置中的每一个位置的值，相应值取决于相对于所述高亮位置的相应位置，并取决于相对于所述高亮位置处的3D图像的值在所述相应位置处的3D图像的值；以及
将不透明度应用于所述3D图像数据集以生成修改后的3D图像视图。
在本发明的实施例中，3D图像数据集指代标量或矢量值的3D阵列，以及可能地允许建立3D图像与真实或想象世界对象之间的对应关系的相关范围、取向和分辨率。此处描述的方法和装置以及概述的权利要求适用于对3D图像数据的此定义，也适用于其他定义，该其他定义包括但不限于3D标量或矢量场的非笛卡尔空间采样，例如3D球形采样(例如用于某些3D超声系统)、3D非结构化数据集(例如产生于计算流体动力学模拟)和点云(例如来自粒子图像测速)。在所有情况下，3D图像内的点的值可以是颜色值或一些其他标量或矢量图像相关值。该值可已被或可能未被图像传感器捕获，并且可是超声、MRI、多普勒或其他数据，但它也可表示已检测到的血液速度或其他模态或映射到3D图像的可测量的/可计算的值。
在多通道3D图像数据的情况下，可以采用多种不同的方法(其可通过用户界面选择，或者可已根据预期数据而被预选择)。例如：
系统可以将同一不透明度掩模应用于多个(不一定是所有)通道。可以针对一个通道计算不透明度掩模，针对多个通道计算不透明度掩模，并针对扁平版本的通道合并或计算不透明度掩模。
系统可以选择性地(由系统或用户)计算并将不透明度掩模应用于仅一个通道；
例如，针对彩色血流多普勒，可以使解剖通道(B模式)淡出，但血流(CFD通道)不会淡出。
系统可以以加权方式(由系统确定或由用户经由用户界面指定)将不透明度掩模应用于多个通道。
例如，针对彩色血流多普勒，可以使解剖通道(B模式)与血流淡出(CFD通道)相比的淡出较多，而与距高光点相同距离的淡出相比淡出较少。
或者，一个通道与另一个通道的淡出距离可不同，例如解剖结构在非常靠近高亮点淡出，颜色在远离高亮点而流动。
计算步骤可以包括使用掩蔽内核。作为掩蔽内核的替代，预定义的形状或另一3D图像可以用作掩蔽函数。
修改后的3D图像视图可以被渲染为2D或3D图像(或其他渲染)以显示给用户。
优选地，针对3D图像数据集的区域计算标量不透明度图，该区域包括在视野中的在高亮位置与3D图像数据集的边缘之间的3D图像数据集的部分。
这种3D图像的一个示例是心脏的3D超声图像。这些图像包括心脏周围的对超声波不透明的许多结构；由此，这些结构将遮挡心脏内部结构的视野。这方面的一示例如图2a中所示。本发明的实施例包括使用户能够剥离模糊结构并聚焦于感兴趣的结构的方法和系统。优选实施例具有直观的用户界面，其使用来自3D成像体量中的指定高亮位置的视图的中心来限定感兴趣的结构。通过这种方式，用户只需标识他们希望高亮位置和方向(以类似于将手电筒照射在未照亮的场景上的方式)，并且系统就能够聚焦于该视野中的结构。优选地，使用掩蔽内核(或者用户可以被赋予从多个掩蔽内核中选择一个的能力)，并且用户界面包括用户界面特征，用户可以通过该用户界面特征来调整内核的参数。这些参数优选地在使用期间是可调节的，以便用户可以改变能够看到周围结构的程度。
可以使用的一种内核是下面讨论的高斯内核。替代地，将理解其他内核，诸如基于均匀/矩形分布、径向基函数、球形阶梯函数或指数分布的内核(在指数分布的情况下，用户会选择一点/区域来隐藏(obscure)而不是高亮)。
优选实施例应用与位置相关的不透明度内核，使得3D图像数据集的渲染的2D视图(或3D视图)中的图像特征的不透明度根据高亮点的位置而改变。优选地，用户界面使用户能够移动高亮点和可选地用于控制不透明度的其他参数，如下面更详细的描述。有利地，向用户提供直观的用户界面以使用2D显示来导航3D图像。优选地，用户界面从通过2D显示与用户界面交互的键盘和/或鼠标和/或其他控制器获取输入。以这种方式，用户可以改变3D图像周围的视角/视图，并从不同的视角查看高亮的结构/区域。作为由体素等定义的3D图像，可以使用现有的3D渲染系统(或2D切片或3D图像的其他渲染)来导航和查看体量。
尽管以下讨论的焦点是在3D图像上，但是应当理解，本发明的实施例适用于更高维度的数据集，例如4D(3D图像+时间)。在这种情况下，用户界面可以包括用户设置要及时显示的点(或范围)的能力，或者它可以将记录的图像自动循环以用于视图。
类似地，维度不需要对应于(或完全对应于)来自可见光谱的数据，并且可以包括对超声、MRI(磁共振成像)或用于形成要查看的多光谱或突出谱图像的其他数据的表示。
例如：
3D彩色多普勒数据
这模态由随时间推移的3通道3D成像数据组成。每一个时间帧是一数据量，并且对于成像数据中的每一个体素有两个值(通道)：与B模式(亮度)解剖图像相对应的背景值，通常以灰度可视化；以及多普勒速度值，该多普勒速度值通常以cm/s计来测量沿特定方向的血流速度，并且通常以红色到蓝色的颜色标度来可视化。
扩散MRI数据
该模态由N通道3D成像数据(N＞0)组成。成像数据中的每一个体素包含N+1个值。第一值称为BO信号，并且随后的所有值对应于体素位置处的扩散加权信号。N通常为6，但可以达数百个通道。这种类型的模态通常用于探索器官内的内在组织取向。
PET-MRI数据
这种模式由配备PET成像设备的专用MRI扫描仪产生。它由2通道3D成像数据组成。成像数据中的每一个体素包含两个值。第一值对应于MR加权信号(可以是T1、T2加权或任何其他MR模态)，并且第二值对应于PET信号。这种类型的成像模态通常用于高亮附着在肿瘤组织上的放射性示踪剂的集中存在，其叠加于结构MRI信号上。
MR(或CT)超声融合
本身不是一种模态，但(通常是实时的)3D或2D超声数据可以与MR或CT数据融合。这可以提供结构/功能视图或以一种模态展示在另一种模态中可能不那么清楚的特征。这可以用于指导。这两组数据可以保存在单独的坐标系中，或者融合到单个体量中，其中一种模态被注册到另一种模态，然后被重新采样。
应当理解，对掩蔽内核、不透明通道和2D或3D渲染图像的计算可以在运行中完成或者可以被缓存/记录——特别是在循环(及时)显示的情况下，优选地，在第一循环期间生成渲染图像并缓存这些图像，直到位置或内核参数被移动。还将理解，本发明的实施例也适用于在实时图像捕获情况下使用。用户界面可以用作代替技术人员在扫描患者时用来引导探头的视图，或者用作临床医生的替代视图，该视图可以独立于探头的操作进行控制。
本发明的实施例能够基本实时地工作，允许用户通过移动高亮位置和内核参数来导航成像体量并改变正在显示和不显示的内容。
与涉及穿过体量的切片平面然后手动裁剪图像的现有系统相比，应当理解，本发明的实施例提供了显著的效率和灵活性，同时减少了操作成像系统所需的专业知识和技能。
优选实施例利用全3D交互来允许用户选择3D中的位置(例如通过手部跟踪，或使用交互工具)并使结构在远离该点时淡出。
可以理解，能够记录用户交互以供以后重放(并且记录只需要记录用于再现的视点和参数，因为可以在显示时重新计算视图本身，特别是如果要使用不同的显示设备来渲染3D图像数据集，这种方法特别有利，因为不同的临床医生或专家可能有不同的显示技术可供他们使用)。
附图说明
现在将仅通过示例的方式参考所附描述来描述本发明的实施例，其中：图1是根据本发明实施例的成像系统的示意图；
图2a和图2b是显示根据本发明的实施例的没有(图2a)和有(图2b)处理的3D渲染图像的说明性的线条图和相应的图像；
图3a和图3b是显示常规图像(图3a)和应用本发明实施例后图像变化(图3b)的超声扫描图像；以及
图4显示其中应用了本发明的方法且表现颜色距离参数和欧几里得距离参数与高斯内核的陡度到Q之间的权衡的图像。
具体实施方式
本发明的实施例涉及显示和应用用户输入以操纵3D图像的方法和系统。
存在许多3D图像数据源，包括3D成像扫描仪。实施例可以直接从3D图像数据源接收数据，或者可以接收先前已经获取并存储在数据储存库或类似物中的数据。
3D图像数据通常以3D体素阵列的形式编码。在3D成像中，术语“体素”用于指代三维空间中规则网格上的标量或矢量值。与位图中的像素一样，体素本身通常不会将它们的位置(它们的空间坐标)连同它们的值一起显式编码。相反，渲染系统根据一体素相对于其他体素的位置(即，它在构成单个体积图像(volumetric image)的数据结构中的位置)来推断该体素的位置。
在本发明的实施例中，3D图像数据优选地被处理(优选地实时或接近实时地)以抑制在视野外围的图像特征。优选地，系统根据距离相关的不透明度图来决定如何/是否在渲染输出中描绘图像特征。通过这种方式，焦点(由用户界面指定)处的图像特征以完全不透明的方式显示，其周围的图像特征随着不透明度的降低而变得不那么明显，并且越来越远的图像特征被更加抑制。在一个实施例中，来自直接视野的特征越多，它们被抑制得越多。需要注意的是，3D图像数据被处理为体素数组(如果不使用体素，则为其他表示)。因此，结构的存在与系统无关，不需要额外的处理。不透明度会根据与焦点的距离以及颜色差异(或与其他标量值的差异，如果不是颜色)而变化。容器(vessel)可具有相似的颜色，因此容器的体素将取决于与视点的距离具有相似的不透明度。
图1是根据本发明实施例的成像系统的示意图。
成像系统包括图像数据源10、处理器20、显示器30和用户界面。该实施例中的用户界面包括位置控制40和用户输入设备45，尽管可以理解能够使用不同的表示和输入设备。
处理器20接收来自图像数据源10的图像数据以及来自位置控制器40的位置数据。处理器20从位置数据生成不透明度通道并使用不透明度通道来渲染图像数据以在显示器30上显示。
在所示实施例中，位置控制与显示器30分离。在一些实施例中，位置控制40可以叠加在显示器30上显示的图像上。在其他实施例中，位置控制40可以单独显示。
用户(可以是或可以不是生成从成像数据源10提供的成像数据的成像探头的操作者)与位置控制器40交互以限定高亮位置(箭头(A)的基部)和方向(箭头的方向)。在本实施例中是提供给处理器20的数据。
例如，可以使用鼠标、平板电脑、X/Y/Z位置和使用键盘、滑块等的X/Y/Z高亮方向来完成定位。在图示示例中，位置光标由箭头表示，并从位置A移动到位置B。
一旦确定了定位和内核参数并计算了不透明度通道V0，则通过传递函数输出生成的2通道图像以进行可视化，该传递函数将强度映射到颜色，并将计算出的不透明度通道映射到不透明度。
图2a和图2b是表示根据本发明实施例的没有(图2a)和有(图2b)处理的3D渲染图像，并且图3a和图3b是超声扫描的图像，显示在应用本发明的实施例之后的变化(图3a是未应用本发明实施例的渲染的图示)的说明性的线条图和相应的图像。
给定强度和不透明度通道，处理器20对传递函数的应用是简单的。可以理解，输出可以是到3D显示设备，将3D图像投影到2D显示上，或者输出可以是渲染数据(或基本3D图像数据集和不透明度通道或仅是不透明度通道)。
可以理解，目标位置和内核参数(θ，λ)都可以交互地调整。优选地，该系统包括用户界面，用户可以在用户界面中移动光标来选择目标点并且可以使用滑块或其他GUI元素来选择内核参数。
周围区域被隐藏的量可以通过内核的权衡参数来控制(如上所述，优选地以GUI滑块等的形式提供给用户)。上述实施例中的权衡是在颜色距离θ和欧几里得距离之间，以及通过θ的不透明度内核的陡度，如图4所示。
例如，图3a是对在医学成像中用于帮助临床医生进行诊断或治疗决策的超声图像数据的常规渲染的示例。图3b是使用本发明的实施例渲染的图像。在本发明的实施例中，优选地根据用户输入来改变渲染，从而渲染在高亮焦点处或周围的器官或其他成像结构(图4中的十字准线)，但是当遇到远离高亮焦点的图像特征时，这些特征相对于到高亮焦点的距离会被抑制。
优选地，该系统包括允许用户以3D方式与渲染的2D环境交互的用户界面。用户界面允许用户在3D中选择一位置(例如通过手动跟踪或使用交互工具)，并使结构在远离该点时淡出(见图2b和图3b)。
在本优选实施例中，以标量(1通道)或矢量(多通道)图像形式的3D图像数据作为输入。系统基于内核来计算不透明度通道，该内核作用于3D图像数据中的体素的强度和该体素相对于用户定义位置的相对位置(通常系统将有一默认位置，用户可以通过用户界面来操作该位置)。可以理解，其他格式的图像数据也可以用作输入。
相对于高亮的焦点来计算不透明度通道，该不透明度通道用于从输入图像数据来生成图2b或图3b的渲染视图。从图2b和图3b可以看出，感兴趣的区域是不透明的，并且通过半透明结构是可见的。
使用此传递函数来可视化3D图像，优选地使用产生2D投影的体渲染(volumerendering)。
如将理解的，体渲染指的是用于显示3D离散采样数据集的2D投影的一组技术，通常是3D标量场。为了渲染3D图像数据集的2D投影，在空间中相对于每一个体素(voxel)的体量、不透明度以及颜色来定义相机。这通常使用RGBA(用于红色、绿色、蓝色、alpha)传递函数来定义，该传递函数为每一个可能的体素值定义RGBA值。
例如，可以通过从体量中提取等值面(相等值的表面)并将它们渲染为多边形网孔(mesh)或通过将体量直接渲染为数据块来观察体量。行进立方体算法(cubes algorithm)是从体数据中提取等值面的常用技术。光线投射算法是直接渲染体量的常用技术。
优选地，3D图像数据集被存储为具有均匀网格G上的样本的D维标量图。这可以在接收到3D图像数据集的点处作为转换步骤来完成的，或者替代地，数据集可以在被接收时被存储，并在要进行渲染时作为初始步骤进行转换/映射。
将V(x)：RD→R定义为D维标量图，其中网格
Figure BDA0003565063750000102
上的样本，然后V(G)是D维标量图像。类似地，将V(x)：RD→R定义为向量取值的图，并且V(G)是D维向量取值的图像。在下文中，我们将所有图像表示为V，并且假设标量图像是矢量图像，其中d＝1。
为了计算不透明度通道，优选地，用户提供：
1)空间位置(优选地通过可移动光标)P∈RD以及；
2)用于掩蔽内核θ的M维参数向量(其可以通过例如滑块或GUI中的其他控件提供)。
在一个实施例中，掩蔽内核k将位置X和图像V映射到标量不透明度值，并且具有以下形式：
kP，θ({X，V})：RD+1→[0，1]
例如，内核可以使用各向同性高斯内核，以P0为中心：
Figure BDA0003565063750000101
其中θ是标量值，表示高斯内核的宽度。
从上面的讨论中可以理解，内核不必具有高斯形式。其他示例包括径向(球形)阶梯函数和逆高斯内核：
i)径向阶梯函数，以P0为中心：
Figure BDA0003565063750000111
其中R是一个标量值，表示径向内核的半径。
ii)以P0为中心的逆高斯内核：(这会隐藏目标区域，从而可以查看其他区域)：
Figure BDA0003565063750000112
其中θ是表示高斯宽度的标量值。
将上述方法推广到任何内核，优选实施例使用组合强度(相对于参考强度值)和位置(到感兴趣的目标的欧几里德距离)的内核来定义不透明度通道V0，如下所示：
Figure BDA0003565063750000113
其中λ是不透明度由强度控制(λ＝0)或不透明度由基于位置的内核(λ＝1)控制之间的权衡因子，
Figure BDA0003565063750000114
是基于位置的内核，例如如上所述的任何内核，并且
Figure BDA0003565063750000115
是基于强度的内核，例如：
Figure BDA0003565063750000116
与上述情况一样，VR是参考图像值(其可以是感兴趣目标处的强度，或者通常在标量超声中固定为VR＝255，即，亮白色区域的强度。
可以理解，这些参数不需要用户提供，也可以是系统默认值。此外，定位并掩蔽内核参数可以通过外部系统来提供，该系统可已经记录了数据集的先前视图或具有来自其他源(诊断、成像、病史或其他数据)的数据，并在该数据的指导下将可能感兴趣的特征部高亮。该系统还可以包括机器学习或其他系统，以便为处于视野焦点或高亮位置(例如，在十字准线内等)的特定特征部的参数提供最佳选择的帮助。
图4示出了使用本发明的实施例获得的不透明度通道的示例图像。图像表示在中庭上选取一点时，λ(从左到右：0.1、0.2、0.3、0.4和0.5)和Q(从上到下：0.05、0.1和0.15)的值增加的不透明度通道(白色十字)。
应当理解，上述方法可以在软件和/或硬件中实现。最近开发的一种加速传统体渲染算法——如光线投射——的技术是使用现代图形卡。从可编程像素着色器开始，人们认识到对多个像素进行并行操作的能力，并开始对图形处理单元(GPGPU)和其他高性能硬件执行通用计算。像素着色器能够从视频存储器中随机读取和写入，并执行一些基本的数学计算和逻辑计算。这些单指令多数据(SIMD)处理器用于执行一般计算，例如渲染多边形和信号处理。在最近几代GPU中，像素着色器现在能够用作多指令多数据(MIMD)处理器(现在能够独立分支)，从而使用达1GB的浮点格式纹理存储器。有了这样的能力，可以以极大的加速度来执行几乎任何具有能够并行执行步骤的算法，例如体量光线投射或断层重建。可编程像素着色器可用于模拟照明、阴影、反射、发光的颜色等特性的变化。可以使用高级着色语言来编写此类模拟。
出于说明的目的，已经公开了前述优选实施例。本发明的基本概念的变化和修改对于本领域技术人员来说将是显而易见的。例如，除了点或十字准线之外的图形符号可以用于描绘体量中的位置。用户界面也不限于特定的软件元素。不仅可以使用不同的软件GUI元素，还可以使用硬件接口特征部，例如轨迹球、摇杆开关、旋转开关和按键。在可以使用基于运动的检测器、虚拟控制器/环境、增强现实等时，也可以使用鼠标、操纵杆、控制杆、滑块或其他输入设备。还将理解，可以在包括2D、3D、虚拟现实、增强现实、全息和其他显示类型在内的许多不同的显示技术的情况下使用所产生的渲染图像。所有这些变化和修改旨在被本发明的实施例所涵盖。
应当理解，如下所讨论的本发明的某些实施例可以作为代码(例如，软件算法或程序)驻留在固件中和/或具有控制逻辑的计算机可用介质上，该控制逻辑能够在具有计算机处理器的计算机系统上执行。这种计算机系统通常包括存储器存储装置，该存储器存储装置被配置为提供来自代码执行的输出，该代码根据执行来配置处理器。代码可以被安排为固件或软件，并且可以被组织为一组模块，例如离散代码模块、函数调用、过程调用或面向对象编程环境中的对象。如果使用模块来实现代码，则代码可以包括单个模块或相互协作运行的多个模块。
本发明的可选实施例可以理解为包括本文提及或指示的部件、元件和特征部，单独地或共同地，以部件、元件或特征部中的任一个或两个或多个或所有组合，并且其中，在本文中提到了在本发明所涉及的领域中具有已知等效物的特定整数，这些已知等效物被视为并入本文，如同单独阐述一样。
尽管已经描述了本发明的图示实施例，应当理解，在不背离由权利要求及其等效物的叙述所限定的本发明的情况下，本领域的普通技术人员可以进行各种改变、替换和变更。
这项工作是由美国国立卫生研究院资助的独立研究(创新规划的发明，3D心脏项目，II-LA-0716-20001)。所表达的观点是作者的观点，而不一定是NHS、NIHR或卫生部的观点。
本申请要求GB 1913832.0的优先权，其内容和本申请所附摘要的内容通过引用并入本文。

Claims (12)

1.一种导航和显示3D图像数据的计算机实现的方法，包括：
检索要显示的3D图像数据集；
接收对所述3D图像数据集内的高亮位置的标识；
计算所述3D图像数据集的标量不透明度图，所述不透明度图具有所述3D图像数据集中的多个位置中的每一个位置的值，相应值取决于相对于所述高亮位置的相应位置，并取决于相对于所述高亮位置处的3D图像的值在所述相应位置处的3D图像的值；以及
将不透明度应用于所述3D图像数据集以生成修改后的3D图像视图。
2.根据权利要求1所述的方法，其中，计算步骤使用掩蔽内核。
3.根据权利要求2所述的方法，其中，所述掩蔽内核选自包括高斯内核、基于均匀/矩形分布的内核、径向基函数、球形阶梯函数或指数分布在内的集合。
4.根据权利要求3所述的方法，还包括经由用户界面接收所述3D图像数据集中的所述高亮位置，所述方法还包括取决于所述高亮位置、所述3D图像数据集和所述掩蔽内核来计算所述标量不透明度图。
5.根据权利要求4所述的方法，其中，还包括经由所述用户界面接收所述掩蔽内核的参数。
6.根据权利要求4或5所述的方法，其中，所述用户界面包括对所述3D图像数据集的2D表示。
7.根据权利要求1所述的方法，其中，计算步骤使用预定义的形状或预定义的3D作为掩蔽函数。
8.根据前述任一项权利要求所述的方法，还包括将修改后的3D图像渲染为2D或3D图像以显示给用户。
9.根据前述任一项权利要求所述的方法，还包括针对所述3D图像数据集的区域计算所述标量不透明度图，所述区域包括在视野中在所述高亮位置与所述3D图像数据集的边缘之间的所述3D图像数据集的部分。
10.一种用于导航和显示3D图像数据的系统，包括：数据存储库，存储要显示的3D图像数据集；
用户界面，被配置为接收对所述3D图像数据集内的高亮位置的标识；
处理器，被配置为：计算所述3D图像数据集的标量不透明度图，所述不透明度图具有所述3D图像数据集中的多个位置中的每一个位置的值，相应值取决于相对于所述高亮位置的相应位置并取决于相对于所述高亮位置处的3D图像的值在所述相应位置处的3D图像的值；并且将不透明度应用于所述3D图像数据集以生成修改后的3D图像视图。
11.根据权利要求10所述的系统，其中，所述系统被配置为经由所述用户界面接收掩蔽内核的可调参数，所述处理器被配置为在计算所述标量不透明度图时应用所接收的参数。
12.根据权利要求11所述的系统，其中，所述用户界面包括对所述3D图像数据集的表示加以展示的2D显示，所述系统被配置为经由2D显示的表示来接收对所述高亮位置的指定。
CN202080067305.8A 2019-09-25 2020-09-25 导航和显示3d图像数据的计算机实现的方法和系统 Pending CN115104129A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1913832.0 2019-09-25
GB201913832A GB201913832D0 (en) 2019-09-25 2019-09-25 Method and apparatus for navigation and display of 3d image data
PCT/GB2020/052337 WO2021058981A1 (en) 2019-09-25 2020-09-25 Computer implemented method and system for navigation and display of 3d image data

Publications (1)

Publication Number Publication Date
CN115104129A true CN115104129A (zh) 2022-09-23

Family

ID=68425503

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080067305.8A Pending CN115104129A (zh) 2019-09-25 2020-09-25 导航和显示3d图像数据的计算机实现的方法和系统

Country Status (6)

Country Link
US (1) US11995773B2 (zh)
EP (1) EP4022578A1 (zh)
JP (1) JP2022551060A (zh)
CN (1) CN115104129A (zh)
GB (1) GB201913832D0 (zh)
WO (1) WO2021058981A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6771262B2 (en) * 1998-11-25 2004-08-03 Siemens Corporate Research, Inc. System and method for volume rendering-based segmentation
US8634615B2 (en) * 2008-10-08 2014-01-21 Tomtec Imaging Systems Gmbh Method of filtering an image dataset
US9301733B2 (en) * 2012-12-31 2016-04-05 General Electric Company Systems and methods for ultrasound image rendering
KR20200073222A (ko) * 2017-09-18 2020-06-23 엘리먼트, 인크. 모바일 인증에서 스푸핑을 검출하기 위한 방법, 시스템 및 매체
US10660613B2 (en) * 2017-09-29 2020-05-26 Siemens Medical Solutions Usa, Inc. Measurement point determination in medical diagnostic imaging
JP2022512333A (ja) * 2018-12-05 2022-02-03 ストライカー コーポレイション 医療用撮像データを表示するためのシステム及び方法

Also Published As

Publication number Publication date
US20220343605A1 (en) 2022-10-27
JP2022551060A (ja) 2022-12-07
US11995773B2 (en) 2024-05-28
EP4022578A1 (en) 2022-07-06
WO2021058981A1 (en) 2021-04-01
GB201913832D0 (en) 2019-11-06

Similar Documents

Publication Publication Date Title
Stytz et al. Three-dimensional medical imaging: algorithms and computer systems
Zhang et al. Volume visualization: a technical overview with a focus on medical applications
RU2497194C2 (ru) Способ и устройство для объемной визуализации наборов данных
JP5690608B2 (ja) 画像処理方法および画像処理装置
US10593099B2 (en) Transfer function determination in medical imaging
US20070276214A1 (en) Systems and Methods for Automated Segmentation, Visualization and Analysis of Medical Images
JP2009034521A (ja) 医学的な画像診断におけるデータを体積レンダリングするシステムと方法ならびにコンピュータ読み出し可能記憶媒体
EP1467653A2 (en) System and method for visualization and navigation of threedimensional medical images
US20050237336A1 (en) Method and system for multi-object volumetric data visualization
Grigoryan et al. Probabilistic surfaces: Point based primitives to show surface uncertainty
JP6560745B2 (ja) 生体構造のボリュメトリック画像を視覚化すること
US20140176685A1 (en) Image processing method and image processing apparatus
Birkeland et al. The ultrasound visualization pipeline
CN110574074B (zh) 链接到mpr视图十字线的3d体积中的嵌入式虚拟光源
US11995773B2 (en) Computer implemented method and system for navigation and display of 3D image data
US20240054756A1 (en) Method and system for processing multi-modality and/or multi-source data of a medium
CN108701492B (zh) 医学图像导航系统
US20240177437A1 (en) Ultrasound imaging system and method for generating and displaying a colorized surface rendering
Senger An immersive environment for the direct visualization and segmentation of volumetric data sets
Haidacher Importance-driven rendering in interventional imaging
Øye et al. Illustrative couinaud segmentation for ultrasound liver examinations
Zhang et al. Medical image volumetric visualization: Algorithms, pipelines, and surgical applications
CN116263948A (zh) 用于图像融合的系统和方法
CN118105109A (zh) 用于生成并显示着色表面渲染图的超声成像系统和方法
Faynshteyn Context-Preserving Volume Image Exploration Using A 3D Painting Metaphor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination