CN112241996A - 用于对体积绘制图像进行着色的方法和系统 - Google Patents

Abstract

本发明题为“用于对体积绘制图像进行着色的方法和系统”。本发明提供了用于医疗成像的各种方法和系统。在一个实施方案中，方法包括从3D医疗成像数据集显示体积绘制图像；将第一虚拟标记物定位在体积绘制图像的绘制体积内，该绘制体积由3D医疗成像数据集限定；以及通过从第一虚拟标记物投影模拟光来照明该制体积。以这种方式，该第一虚拟标记物对绘制体积的照明在视觉上指示第一虚拟标记物在体积绘制图像内的位置和深度。

Description

用于对体积绘制图像进行着色的方法和系统

技术领域

本文所公开的主题的实施方案涉及医疗成像。

背景技术

一些非侵入式医疗成像模态(诸如超声)可采集三维(3D)数据集。3D数据集可用体积绘制图像可视化，该体积绘制图像通常为3D医疗成像数据集的2D表示。目前存在许多用于生成体积绘制图像的不同技术。一种此类技术，光线投射，包括通过3D医疗成像数据集投影多条光线。将3D医疗成像数据集中的每个样品(例如，体素)映射至颜色和透明度。数据沿着每条光线累积。根据一种常用技术，将沿着每条光线累积的数据显示为体积绘制图像中的像素。此外，为了有助于目标解剖特征的可视化，特别是在跨越示出3D数据集的不同视图的不同体积绘制图像上和/或在跨越3D数据集的不同2D切片上，用户可将一个或多个注释(称为虚拟标记物)定位在3D数据集内。当从3D数据集绘制图像时，可在图像中的一个或多个适当位置处包括这些虚拟标记物。然而，在一些视图中，可能难以判断虚拟标记物的深度。

发明内容

在一个实施方案中，一种方法包括：显示从3D医疗成像数据集绘制的体积绘制图像；将第一虚拟标记物定位在体积绘制图像的绘制体积内，绘制体积由3D医疗成像数据集限定；以及通过从第一虚拟标记物投影模拟光来照明绘制体积。以这种方式，第一虚拟标记物对绘制体积的照明在视觉上指示第一虚拟标记物在体积绘制图像内的位置和深度。

应当理解，提供上面的简要描述来以简化的形式介绍在具体实施方式中进一步描述的精选概念。这并不意味着识别所要求保护的主题的关键或必要特征，该主题的范围由具体实施方式后的权利要求书唯一地限定。此外，所要求保护的主题不限于解决上文或本公开的任何部分中提到的任何缺点的实施方式。

附图说明

通过参考附图阅读以下对非限制性实施方案的描述将更好地理解本公开，其中以下：

图1示出了根据一个实施方案的示例性超声成像系统；

图2是根据一个实施方案的可用于生成体积绘制图像的几何形状的示意图；

图3是示出用于从3D数据集生成体积绘制图像的方法的流程图；

图4是根据一个实施方案的多个光源和3D医疗成像数据集的取向的示意图；

图5是包括三个虚拟标记物的示例性体积绘制图像；并且

图6示出了具有三个虚拟标记物并且具有来自从每个虚拟标记物投影的模拟光的对应照明的示例性体积绘制图像。

具体实施方式

以下描述涉及用于利用医疗成像系统(诸如图1的超声成像系统)执行的非侵入式体积医疗成像(诸如体积超声成像)的各种实施方案。具体地，以下描述涉及对由从医疗成像系统采集的体积数据集生成的体积绘制图像进行着色。可根据如图2中所示的合适技术生成体积绘制图像。可用与虚拟标记物相关联的光源对体积绘制图像进行着色，以便提供深度线索，以增强对虚拟标记物的位置的确定，如通过图3的方法所示。为了获得额外的深度感和透视感，通常基于光的方向用一个或多个外部光源对体积绘制图像进行着色。可使用着色以便传达体积绘制图像中的结构或表面的相对定位。着色有助于查看者更容易地使由体积绘制图像表示的对象的三维形状可视化。虚拟标记物可存在于体积绘制图像中以标记目标解剖特征。然而，尽管从外部光源着色，但是医疗成像系统的用户或其他临床医生可能难以判断体积绘制图像中的虚拟标记物的深度。因此，根据本文所公开的实施方案，虚拟标记物本身可充当用于对体积绘制图像进行着色的目的的光源。虚拟标记物(或与虚拟标记物相关联的光源)可将模拟光连同通常用于提供体积绘制图像的着色的一个或多个外部光源(如图4中所示)投影至体积绘制图像中的虚拟标记物周围的结构上。投影光可具有作为距光源的距离的函数而下降的强度，并且可类似于真实光将阴影投射在体积绘制图像中的结构上。至少在一些示例中，虚拟标记物可根据用户请求定位，并且可根据用户请求移动。与虚拟标记物相关联的光源也可与虚拟标记物一前一后地移动，并且体积绘制图像的着色可随着虚拟标记物(以及因此光源)移动而被更新。此外，医疗成像系统的用户(或其他最终用户，诸如在外部显示设备上查看体积绘制图像的临床医生)可调整从一个或多个虚拟标记物光源投影的光的强度。当多个虚拟标记物存在于同一3D数据集中时，每个虚拟标记物可被分配不同的颜色，并且光源还可投影具有所分配颜色的光以改善虚拟标记物之间的视觉清晰度，如图5和图6中所示。这样做时，体积绘制图像的查看者可更容易且更快速地确定每个虚拟标记物的深度。

图1是根据一个实施方案的超声成像系统100的示意图。超声成像系统100包括发射波束形成器101和发射器102，该发射波束形成器和发射器驱动换能器阵列或超声探头106内的元件104将脉冲超声信号发射至体内(未示出)。超声探头106可例如包括线性阵列探头、曲线阵列探头、扇形探头或任何其他类型的超声探头。因此，超声探头106的元件104可以一维(1D)或2D阵列布置。仍参考图1，超声信号从体内结构反向散射，以产生返回至元件104的回波。回波被元件104转换成电信号或超声数据，并且电信号被接收器108接收。表示所接收的回波的电信号穿过输出超声数据的接收波束形成器110。根据一些实施方案，探头106可包含电子电路来执行发射波束形成和/或接收波束形成的全部或部分。例如，发射波束形成器101、发射器102、接收器108和接收波束形成器110的全部或部分可位于超声探头106内。在本公开中，术语“扫描”或“扫描中”还可用于指通过发射和接收超声信号的过程来采集数据。在本公开中，术语“数据”和“超声数据”可用于指用超声成像系统采集的一个或多个数据集。

用户界面115可用于控制超声成像系统100的操作，包括用于控制患者数据的输入、用于改变扫描或显示参数、用于选择各种模式、操作和参数等。用户界面115可包括以下中的一者或多者：旋转件、鼠标、键盘、轨迹球、链接至特定动作的硬键、可被配置为控制不同功能的软键、显示在显示设备118上的图形用户界面(在显示设备118包括触敏显示设备或触摸屏的实施方案中)等。在一些示例中，用户界面115可包括接近度传感器，该接近度传感器被配置为检测在接近度传感器的几厘米内的对象或手势。接近度传感器可位于显示设备118上或作为触摸屏的一部分。用户界面115可包括例如定位在显示设备118前面的触摸屏，或者触摸屏可与显示设备118分开。用户界面115还可包括单独的或与显示在显示设备118上的图形用户界面图标组合的一个或多个物理控件，诸如按钮、滑块、旋钮、键盘、鼠标、轨迹球等。显示设备118可被配置为根据存储器120中存储的指令来显示图形用户界面(GUI)。GUI可包括表示命令和指令的用户界面图标。GUI的用户界面图标被配置为使得用户可选择与每个具体用户界面图标相关联的命令以便启动GUI所控制的各种功能。例如，可使用各种用户界面图标来表示窗口、菜单、按钮、光标、滚动条等。根据用户界面115包括触摸屏的实施方案，触摸屏可被配置为与显示在显示设备118上的GUI进行交互。触摸屏可以是被配置为一次检测单个接触点的单点触摸式触摸屏，或触摸屏可以是被配置为一次检测多个接触点的多点触摸式触摸屏。对于触摸屏是多点触摸屏的实施方案，触摸屏可被配置为一次检测涉及来自用户两个或更多个手指的接触的多点触摸手势。触摸屏可为电阻式触摸屏、电容式触摸屏或任何其他类型的触摸屏，其被配置为从触笔或用户的一个或多个手指接收输入。根据其他实施方案，触摸屏可包括光学触摸屏，其使用诸如红外光或其他频率的光的技术来检测用户启动的一个或多个接触点。

根据各种实施方案，用户界面115可包括现成消费电子设备，诸如智能电话、平板电脑、膝上型电脑等。出于本公开的目的，术语“现成消费电子设备”被定义为针对一般消费者使用来设计和开发而非特别设计用于医疗环境的电子设备。根据一些实施方案，消费电子设备可与超声成像系统100的其余部分物理地分开。消费电子设备可通过无线协议诸如Wi-Fi、蓝牙、无线局域网(WLAN)、近场通信等与处理器116通信。根据一个实施方案，消费电子设备可通过开放应用程序编程接口(API)与处理器116通信。

超声成像系统100还包括处理器116，该处理器用以控制发射波束形成器101、发射器102、接收器108和接收波束形成器110。处理器116被配置为从用户界面115接收输入。接收波束形成器110可包括根据各种实施方案的常规硬件波束形成器或软件波束形成器。如果接收波束形成器110是软件波束形成器，则接收波束形成器110可包括以下中的一者或多者：图形处理单元(GPU)、微处理器、中央处理单元(CPU)、数字信号处理器(DSP)、或能够执行逻辑运算的任何其他类型的处理器。接收波束形成器110可被配置为执行常规波束形成技术以及诸如回溯发射波束形成(RTB)的技术。如果接收波束形成器110是软件波束形成器，则处理器116可被配置为执行与接收波束形成器110相关联的一些或所有功能。

处理器116与超声探头106进行电子通信。出于本公开的目的，术语“电子通信”可被定义为包括有线通信和无线通信两者。处理器116可控制超声探头106以采集数据。处理器116控制元件104中的哪些元件是活动的以及从超声探头106发射的波束的形状。处理器116还与显示设备118进行电子通信，并且处理器116可将数据处理成图像以显示在显示设备118上。根据一个实施方案，处理器116可包括CPU。根据其他实施方案，处理器116可包括能够执行处理功能的其他电子部件，诸如GPU、微处理器、DSP、现场可编程门阵列(FPGA)或能够执行逻辑运算的任何其他类型的处理器。根据其他实施方案，处理器116可包括能够执行处理功能的多个电子部件。例如，处理器116可包括选自电子部件的列表的两个或更多个电子部件，这些电子部件包括：CPU、DSP、FPGA和GPU。根据另一个实施方案，处理器116可还包括解调RF数据并且生成原始数据的复合解调器(未示出)。在另一个实施方案中，解调可以在处理链中较早地执行。处理器116适于根据数据上的多个可选超声模态来执行一个或多个处理操作。随着接收到回波信号，可以在扫描会话期间实时处理数据。出于本公开的目的，术语“实时”被定义为包括在没有任何有意延迟的情况下执行的过程。例如，实施方案可以7至20体积/秒的实时速率采集图像。超声成像系统100可以显著更快的速率采集一个或多个平面的2D数据。然而，应当理解，实时体积速率可取决于采集用于显示的每体积数据所花费的时间长度。因此，当采集相对大体积的数据时，实时体积速率可能较慢。因此，一些实施方案可具有显著快于20体积/秒的实时体积速率，而其他实施方案可具有慢于7体积/秒的实时体积速率。数据可在扫描会话期间临时存储在缓冲器(未示出)中，并且在实时或离线操作中以不太实时的方式处理。本公开的一些实施方案可包括多个处理器(未示出)，以处理根据上文所述的示例性实施方案由处理器116处理的处理任务。应当理解，其他实施方案可使用不同的处理器布置方式。

超声成像系统100可以例如10Hz至30Hz的体积速率连续采集数据。可以类似帧速率刷新从数据生成的图像。其他实施方案可以不同速率采集并且显示数据。例如，根据体积的大小和预期的应用，一些实施方案可以小于10Hz或大于30Hz的体积速率采集数据。包括存储器120以用于存储已处理的采集数据的体积。在一个示例性实施方案中，存储器120具有足够的容量来存储相当于至少数秒钟的超声数据体积。数据体积的存储方式便于根据其采集顺序或时间进行检索。存储器120可包括任何已知的数据存储介质。

任选地，可利用造影剂来实现本公开的实施方案。当使用包括微泡在内的超声造影剂时，造影成像生成体内解剖结构和血流的增强图像。在使用造影剂采集数据之后，图像分析包括分离谐波分量和线性分量、增强谐波分量以及通过利用增强的谐波分量生成超声图像。使用合适的滤波器来执行从所接收信号中分离谐波分量。使用造影剂进行超声成像是本领域技术人员所熟知的，因此将不再详细描述。

在本公开的各种实施方案中，处理器116可通过其他或不同的模式相关模块(例如，B模式、彩色多普勒、M模式、彩色M模式、频谱多普勒、弹性成像、TVI、应变、应变速率等)来处理数据，以形成2D或3D数据。例如，一个或多个模块可生成B模式、彩色多普勒、M模式、彩色M模式、频谱多普勒、弹性成像、TVI、应变、应变速率以及它们的组合，等等。存储图像线和/或体积，并且可记录指示在存储器中采集数据的时间的定时信息。这些模块可包括例如扫描转换模块，用于执行扫描转换操作，以将图像体积从光束空间坐标转换为显示空间坐标。可提供视频处理器模块，该视频处理器模块从存储器读取图像体积，并且在对患者进行手术时实时显示图像。视频处理器模块可将图像存储在图像存储器中，从该图像存储器读取和显示图像。

如上文所提及的，超声探头106可包括线性探头或弯曲阵列探头。图1进一步描绘了超声探头106的纵向轴线188。超声探头106的纵向轴线188延伸穿过超声探头106的手柄并且与之平行。此外，超声探头106的纵向轴线188垂直于元件104的阵列面。

尽管以举例的方式描述了超声系统，但是应当理解，当应用于使用其他成像模态(诸如磁共振成像(MRI)、CT、层析X射线照相组合、PET、C臂血管造影术等)采集的图像时，本发明技术也可以是有用的。例如，可用另一种合适的模态(诸如MRI)采集体积成像数据集，并且可将本文所讨论的虚拟标记物和光源应用于从体积磁共振数据集生成的体积绘制图像。对超声成像模态的本发明论述仅提供作为一种合适的成像模态的示例。

图2是根据一个实施方案的可用于生成体积绘制图像的几何形状的示意图。图2包括3D医疗成像数据集150和视平面154。可用合适的成像模态采集3D医疗成像数据集150。例如，可用超声成像系统的超声探头(例如，图1的超声成像系统100的探头106)采集3D成像数据集150。例如，超声探头可跨物理非虚拟体积(例如，患者的腹部或躯干)扫描，以便生成3D医疗成像数据集150，其中3D医疗成像数据集150包括描述物理非虚拟体积(例如，在对应于物理非虚拟体积的配置的配置中)的数据(例如，体素)。3D医疗成像数据集150可存储在计算设备的存储器(例如，图1的存储器120)中。如下文所述的，可经由处理器(诸如图1的处理器116)从3D医疗成像数据集生成体积绘制图像。

参考图1和图2两者，处理器116可根据多种不同的技术生成体积绘制图像。根据一个实施方案，处理器116可通过光线投射技术从视平面154生成体积绘制图像。处理器116可将多条平行光线从视平面154投射至3D医疗成像数据集150或穿过3D医疗成像数据集150。图2示出了界定视平面154的第一光线156、第二光线158、第三光线160和第四光线162。应当理解，可投射附加光线以便将值分配给视平面154内的所有像素163。3D医疗成像数据集150可包括体素数据，其中体素或体积元素被分配值或强度。另外，也可为每个体素分配不透明度。可根据一些实施方案，将值或强度映射至颜色。处理器116可使用用于体积组成的“从前至后”或“从后至前”技术，以便将值分配给视平面154中与光线相交的每个像素。例如，从前面开始，即从查看图像的方向，可对沿着对应光线的所有体素的强度求和。然后，任选地，可将强度乘以对应于沿着光线的体素的不透明度的不透明度，以生成不透明度加权值。然后沿着每条光线在从前至后或从后至前的方向上累积这些不透明度加权值。对视平面154中的每个像素163重复累积值的过程，以便生成体积绘制图像。根据一个实施方案，来自视平面154的像素值可被显示为体积绘制图像。体积绘制算法可另外被配置为使用不透明度函数，该不透明度函数提供不透明度从零(完全透明)至1.0(完全不透明)的逐渐过渡。当将值分配给视平面154中的像素163中的每一个时，体积绘制算法可考虑沿着每条光线的体素的不透明度。例如，不透明度接近1.0的体素将阻挡进一步沿着光线的体素的大部分贡献，而不透明度更接近零的体素将允许进一步沿着光线的体素的大部分贡献。另外，当使表面可视化时，可执行阈值处理操作，其中体素的不透明度基于值重新分配。根据示例性阈值处理操作，可将值高于阈值的体素的不透明度设置为1.0，而可将值低于阈值的体素的不透明度设置为零。还可使用其他类型的阈值处理方案。不透明度函数可用于将除零和1.0之外的不透明度分配给值接近于过渡区中的阈值的的体素。该过渡区可用于减少在使用简单的二元阈值处理算法时可能发生的伪影。例如，将不透明度映射至值的线性函数可用于将不透明度分配给具有过渡区中的值的体素。还可使用从零进展至1.0的其他类型的函数。还可使用除上述体积绘制技术之外的体积绘制技术以便从3D医疗成像数据集生成体积绘制图像。

体积绘制图像可被着色以便向用户呈现更好的深度感知。这可根据各种实施方案以几种不同的方式执行。例如，可基于3D医疗成像数据集的体积绘制来限定多个表面。根据一个实施方案，可在每个像素处计算梯度。处理器116(图1中所示)可计算对应于每个像素的位置处的光量，并且基于梯度和特定光方向应用一种或多种着色方法。查看方向可对应于图2中所示的查看方向。处理器116还可在生成体积绘制图像时使用多个光源作为输入。例如，当光线投射时，处理器116可计算沿着每条光线在特定查看方向上从每个体素反射、散射或透射的光的量。这可涉及对来自多个光源的贡献求和。处理器116可计算来自体积中所有体素的贡献。然后，处理器116可合成来自所有体素的值或来自相邻体素的内插值，以便计算图像上显示的像素的最终值。虽然上述示例描述了沿着光线积分体素值的实施方案，但还可根据其他技术(诸如使用沿着每条光线的最高值、使用沿着每条光线的平均值或使用任何其他体积绘制技术)计算体积绘制图像。

虽然体积绘制图像是从视平面154查看的由3D医疗成像数据集150包括的图像数据的2D绘制，但是体积绘制图像具有深度外观(例如，可取决于3D医疗成像数据集150中的体素离视平面154的距离而不同地照明体积绘制图像中所示的结构)。体积绘制图像在本文中可被描述为具有绘制体积，其中绘制体积由3D医疗成像数据集的体素数据限定并且是指体积绘制图像的深度的外观(例如，如从视平面154所查看的)。下面参考图5至图6描述绘制体积的示例。

图3是示出用于生成体积绘制图像的方法300的流程图。下面关于图1中所描绘的系统和部件描述方法300，但是应当理解，在不脱离本公开的范围的情况下，方法300可用其他系统和部件来实现。在一些实施方案中，方法300可在超声成像系统100、连接至超声成像系统100的边缘设备(例如，外部计算设备)、与成像系统通信的云等的任何适当组合中被实现为可执行指令。作为一个示例，方法300可在计算设备的非暂态存储器中实现，诸如图1中的超声成像系统100的控制器(例如，处理器116和存储器120)。

在302处，获得3D体积的3D医疗成像数据集。可用合适的成像模态(诸如图1的超声探头106)采集3D数据集，并且3D体积可以是成像受检者的一部分或整体，诸如患者的心脏。因此，在一些示例中，可从经由超声探头获得的超声数据生成3D数据集。3D医疗成像数据集可包括体素数据，其中每个体素被分配值和不透明度。值和不透明度可对应于体素的强度。

在304处，方法300包括确定是否接收到在3D数据集上和/或3D数据集内包括虚拟标记物的请求。虚拟标记物可响应于来自用户的请求而被包括在3D数据集中。例如，用户可选择显示在图形用户界面上的菜单项或控制按钮，该菜单项或控制按钮指示虚拟标记物将被定位在3D数据集内。虚拟标记物可指示所关注解剖特征或以其他方式标记成像3D体积的所关注区域，并且可显示在用超声系统采集的图像中并显示在显示设备上和/或保存以供稍后查看，如将在下文更详细所述。如果接收到包括虚拟标记物的请求，则方法300前进至312以将虚拟标记物定位在3D数据集中的指示位置处。在一些示例中，位置可由用户指示。例如，作为一个示例，用户可经由光标的移动和后续鼠标、键盘或其他输入来指示该位置，该其他输入指示光标的位置是虚拟标记物的位置。当用户正在查看3D数据集或3D数据集的一部分(例如，作为体积绘制图像)时，虚拟标记物可定位在3D数据集内，并且用户可经由光标移动/输入输入或输入触摸输入以指示3D数据集内待放置虚拟标记物的期望位置。在其他示例中，虚拟标记物可根据类似的机构(例如，经由鼠标控制的光标或经由触摸输入)关于所显示的3D数据集的2D切片定位。在其他示例中，用户可输入指示虚拟标记物应定位在目标解剖结构处的输入，并且超声系统可自动确定将虚拟标记物定位在何处。当显示3D数据集的包括虚拟标记物的方面(诸如2D切片或体积绘制图像，如下文所解释的)时，虚拟标记物被显示在所指示的位置处。虚拟标记物可与3D数据集的一个或多个体素相关联，并且/或者虚拟标记物可与3D体积的解剖特征相关联，并且当显示一个或多个体素和/或解剖特征时，虚拟标记物可被显示为所显示图像上的注释。虚拟标记物可呈现合适的视觉外观，诸如实心圆形、矩形或其他形状、字母或单词、或其他期望的外观。

在314处，从3D数据集生成体积绘制图像。可根据先前关于图2所述的技术中的一种来生成体积绘制图像。体积绘制图像可响应于用户请求而生成，或者体积绘制图像可例如响应于规定体积绘制图像被生成的扫描协议或工作流而自动生成。体积绘制图像可以是3D体积的一个或多个期望平面的二维图像(例如，具有由3D数据集的数据限定的绘制体积的2D表示)，或者体积绘制图像可以是3D体积的表面的二维图像或其他合适的体积绘制图像。

如先前所解释的，虚拟标记物可定位在3D数据集的表面上或3D数据集内。当从3D数据集生成体积绘制图像时，超声系统的用户(例如，临床医生)可能难以判断虚拟标记物的深度。例如，对于用户来说可能具有挑战性的是，确定虚拟标记物是否旨在定位在由成像结构形成的腔体内，或者虚拟标记物是否旨在定位在限定腔体的表面上。因此，如将在下文更详细地解释，虚拟标记物可与链接至虚拟标记物的第一光源相关联，使得第一光源定位在与虚拟标记物相同的位置处。使用第一光源对体积绘制图像进行照明/着色，以便向图像添加深度线索并允许用户更容易地确定虚拟标记物的位置。

因此，生成体积绘制图像包括从定位在虚拟标记物处的第一光源对体积绘制图像进行着色，如316处所示。此外，生成体积绘制图像包括从远离3D数据集定位的第二光源对体积绘制图像进行着色，如318处所示。第二光源可以是不定位在3D数据集内的一个或多个外部光源。第一光源链接至虚拟标记物，并且因此定位在3D数据集内(在图像空间中)。例如，第一光源可定位在3D数据集的一个或多个体素处。

作为体积绘制图像的生成的一部分，确定用于体积绘制图像的着色。如上文关于图2所述，体积绘制图像的着色可包括计算来自两个或更多个不同光源(例如，第一光源和第二光源)的光将如何与体积绘制图像中表示的结构进行交互。控制着色的算法可基于3D数据集中的强度、不透明度和梯度来计算光将如何反射、折射和漫射。3D数据集中的强度、不透明度和梯度可对应于从其采集3D数据集的所关注体积中的组织、器官和结构。使用来自多个光源的光以便计算沿着用于生成体积绘制图像的每条光线的光的量。因此，与多个光源相关联的位置、取向和其他参数将直接影响体积绘制图像的外观。另外，光源可用于计算关于体积绘制图像中表示的表面的着色。

如上文所解释的，可执行来自第一光源和一个或多个第二光源的着色，其中来自第一光源和一个或多个第二光源的光用于计算着色和/或用于计算沿着用于生成体积绘制图像的每条光线的光量。在一些示例中，可通过估计体积绘制图像的每个表面的法线并应用具有漫射分量和镜面分量的着色模型来确定由第一光源产生的着色。由3D数据集中的第一光源投影的模拟光的强度可以是距3D数据集内的第一光源/虚拟标记物的距离的函数(例如，与距3D数据集内的第一光源/虚拟标记物的平方距离成反比)。来自第一光源的着色可包括将各自由3D体积中的一个或多个相应结构投射的一个或多个阴影叠加至3D体积的一个或多个表面上。在一些示例中，与来自第一光源的着色的确定相比，可以类似方式(例如，使用相同的着色模型)确定来自第二光源的着色(例如，可通过估计体积绘制图像的每个表面的法线并应用用于计算第一光源的着色的相同着色模型(该模型具有漫射分量和镜面分量)来确定由第二光源产生的着色)。然而，由于第一光源位于3D数据集内(例如，第一光源定位在3D数据集内，而第二光源定位在3D数据集之外或外部)，因此由第一光源发射的光在视觉上与由第二光源发射的光可区分开。作为一个示例，由第一光源发射的光相对于由第二光源发射的光可具有不同的颜色。又如，由于第一光源位于3D数据集内，因此由第一光源发射的光可具有增加的视强度和/或亮度(例如，在第一光源和第二光源具有相同光强度的条件下，由于第一光源定位在3D数据集内并且第二光源定位在3D数据集之外，因此由第一光源发射的光可看起来比由第二光源发射的光更亮和/或更强)。第一光源位于3D数据集内可导致第一光源被定位成更靠近由3D数据集所描述(例如，由3D数据集的体素所表征)的结构，并且因为第一光源被定位成更靠近该结构，所以相对于第二光源对结构的照明量，该结构可被第一光源以更大的量照明。

在一些示例中，可对来自第一光源和第二光源的贡献(例如，由第一光源和第二光源发射的光)求和，以便确定体积绘制图像的部分的照明量。例如，相对于相同表面仅接收来自第二光源的光的条件，可以增加的亮度绘制体积绘制图像的接收来自第一光源和第二光源中的每一者的光的表面。在一些示例中，第二光源可发射白光，并且第一光源可发射不同颜色的光(例如，红光)。接收来自第一光源和第二光源中的每一者的光的表面可根据来自第二光源的白光和来自第一光源的有色光的组合被照明(例如，被第一光源和第二光源两者照明的表面可显现得着色为第一光源的颜色，其中颜色的饱和量是第一光源的距离的函数)。

在一些示例中，由第一光源和/或第二光源引起的照明可使用由遮挡调制的冯氏(Phong)照明模型以考虑遮蔽来确定。在该示例中，确定在光线投射期间体素的照明可包括对由第一光源和/或第二光源的遮挡调制的漫射和镜面反射贡献求和。在一些示例中，遮挡值可通过将来自每个光源的阴影光线跟踪至每个体素以确定遮挡程度来确定。

如上文关于图2所解释的，体积绘制图像可从第二光源，并且在一些示例中从一个或多个在成像空间中远离3D数据集定位的附加光源着色，以便在体积绘制图像上提供有助于区分和识别体积绘制图像中的结构的照明和/或阴影，提供深度线索，并且模拟成像结构在使用可见光查看时将如何显现。一个或多个第二光源可根据上文关于图2提供的示例(例如，主光、填充光和/或背光)或其他合适的配置来定位。一个或多个第二光源可固定在适当位置，或者位置、角度、光特性等可由用户或由超声系统调整。一个或多个第二光源可与3D数据集间隔开一个或多个合适的距离，该距离可以在毫米、厘米或米的范围内，或者可与3D数据集间隔开合适数量的体素。3D数据集可包括多个体素并由边界限定，并且一个或多个第二光源可定位在3D数据集的边界之外。以这种方式，一个或多个第二光源可为体积绘制图像提供表面着色。

在320处，着色的体积绘制图像显示在与超声系统相关联的显示设备(诸如显示设备118)上。着色的体积绘制图像可附加地或另选地存储在存储器(诸如存储器120)中和/或作为成像受检者的电子医疗记录的一部分，以供稍后查看。所显示的体积绘制图像包括在所指示的位置处的虚拟标记物(例如，如上文所解释)的视觉描绘，并且用从第一光源投影的模拟光照明体积绘制图像中的虚拟标记物周围的结构。此外，用从一个或多个第二光源投影的模拟光照明体积绘制图像中所描绘的结构的表面。

在322处，可响应于用户请求来更新从第一光源投影的模拟光的强度。例如，用户可输入合适的输入(例如，至显示设备上显示的菜单或控制按钮)，请求调整(例如，增大或减小)从第一光源投影的光的强度。当调整光的强度时，还调整虚拟标记物周围的照明结构的着色，并且因此可显示具有经调整着色的经调整体积绘制图像。在一些示例中，用户可请求不从第一光源投影光，因此体积绘制图像在此类示例中可仅包括来自一个或多个第二光源的着色。在324处，如果被请求，则更新虚拟标记物的位置，并且随着虚拟标记物的位置改变，相应地更新第一光源的位置，并因此更新体积绘制图像的着色。例如，用户可输入指示虚拟标记物应被重新定位的输入。当虚拟标记物的位置改变时，第一光源的位置也改变，因为第一光源链接至虚拟标记物。当第一光源的位置改变时，体积绘制图像中的结构的照明/着色也改变，因此可在体积绘制图像中调整着色，或者可以更新的着色显示更新的体积绘制图像。然后，方法300返回。

返回至304，如果未接收到将虚拟标记物定位在3D数据集上或3D数据集内的请求，则方法300前进至306以生成没有来自3D数据集的虚拟标记物的体积绘制图像。可如上文关于图2所述生成体积绘制图像，例如，使用光线投射从指定视平面生成图像。生成不具有虚拟标记物的体积绘制图像可包括从远离3D体积定位的一个或多个第二光源对体积绘制图像进行着色，并且不用与任何虚拟标记物相关联的任何光源对体积绘制图像进行着色。

在310处，着色的体积绘制图像显示在与超声系统相关联的显示设备(诸如显示设备118)上。着色的体积绘制图像可附加地或另选地存储在存储器(诸如存储器120)中和/或作为成像受检者的电子医疗记录的一部分，以供稍后查看。当不存在虚拟标记物时生成和显示的着色体积绘制图像不包括虚拟标记物或与虚拟标记物相关联的光源。然后，方法300返回。

图4是根据一个实施方案的3D数据集402和可用于对3D数据集402的体积绘制图像施加着色的多个光源的取向400的示意图。图4是俯视图，并且应当理解，其他实施方案可使用更少的光源或更多的光源，并且/或者光源可以关于3D数据集402不同地取向。取向400包括第一光源404、第二光源406和任选的第三光源408。第一光源404、第二光源406和任选的第三光源408可用于计算用于体积绘制图像的着色。然而，如前所述，还可在光线投射期间使用光源，同时生成体积绘制。取向400还包括表示查看3D数据集402的位置的查看方向410。

图4表示侧视图，并且应当理解，每个光源均可关于3D数据集402和查看方向410定位在不同高度处。

第一光源404是虚拟标记物光源，该光源定位在与由超声系统的用户放置的虚拟标记物的位置对应(例如，相同)的位置处。在图4中所示的示例中，第一光源404是在所有方向上投影光的点光，但是其他配置也是可能的，诸如第一光源404是聚光。在第一光源404不是点光的示例中，可由用户调整从第一光源投影的光的方向性。第一光源404定位在与3D数据集重叠的位置处。例如，第一光源404可定位在3D数据集的一个或多个体素处。

第二光源406可定位在与3D数据集402间隔开的位置处。例如，如所示，第二光源406可被定位成照明3D数据集402的前表面，并且因此可被放置成远离3D数据集的前表面(关于查看方向)。第二光源406可以是合适的光源，诸如主光(例如，其可以是用于照明体积绘制的最强光源)。第二光源406可从查看方向410的基准的左侧或右侧照明体积绘制图像。当被包括时，第三光源408可以是作为关于查看方向410的主光定位在体积绘制的相对侧上的填充光，以便降低来自主光的阴影的刺眼性。

图4中所示的光源是示例性的，并且其他配置是可能的。例如，可存在第四光源，其中第四光源定位在3D数据集402后面以充当背光。背光可用于帮助突出显示3D数据集402中成像的体积并且将其与背景分离。此外，第二光源406和第三光源408(当包括时)可定位在其他合适的位置和/或具有其他合适的强度、光形状等。

图4包括坐标系412。如所示的，3D数据集沿着x轴线和z轴线(以及y轴线，但在图4中未见数据集沿着y轴线的范围)延伸。图4中还示出了示例性视平面414。视平面414可沿着x轴线和轴y线延伸，并且可以是绘制体积绘制图像的视平面。例如，当关于视平面414生成体积绘制图像时，可丢弃视3D数据集中在平面414前方(关于z轴线)的所有数据，并且可生成体积绘制图像，使得视平面414充当体积绘制图像的前表面。

图5示出了由利用成像系统(诸如图1的超声成像系统100)采集的医疗成像数据的3D数据集生成的示例性体积绘制图像500。至少在一些示例中，可沿着视平面414从3D数据集402生成体积绘制图像500。体积绘制图像500描绘心脏502的结构，例如，成像体积为心脏。示出了内部组织结构512在视平面处的区段，以及心脏在视平面后面的未被视平面中的组织阻挡的表面，诸如腔体514和腔体516。由体积绘制图像500所示的结构形成体积绘制图像500的绘制体积。例如，与腔体514和腔体516相比，内部组织结构512以相对于视平面的不同深度示出。各种结构相对于视平面的深度差异提供了2D体积绘制图像500的三维外观或绘制体积。坐标系510在图5中示出，其中视平面沿着x轴线和y轴线延伸。视平面后面的表面沿着z轴线位于视平面后面。

用一个或多个外部光源(诸如图4的第二光源和/或第三光源)照明体积绘制图像。因此，体积绘制图像前面(例如，沿着视平面)的内部组织结构512具有相对大量的照明，而更远离的结构(例如，图5所示的腔室的背表面)具有很少的照明或不具有照明，如通过腔体514所理解的。此外，由一个或多个外部光源与沿着z轴线定位在视平面后面的表面之间的结构投射阴影。例如，阴影被投射至腔体516中。

图像500包括三个虚拟标记物，即第一虚拟标记物504、第二虚拟标记物506和第三虚拟标记物508。如上文关于图3所解释的，每个虚拟标记物均可根据用户输入来定位，以便标记目标解剖结构。每个虚拟标记物以不同的颜色描绘，例如，第一虚拟标记物504以黄色示出，第二虚拟标记物506以红色示出，并且第三虚拟标记物508以绿色示出，以便增强虚拟标记物的可视化和区分。

如通过图5所理解的，可能难以在体积绘制图像500中判断虚拟标记物沿着z轴线(例如，沿着3D体积的深度)的位置。例如，可能难以确定第一虚拟标记物504是否旨在沿着第一虚拟标记物504后面的腔体的背表面定位(例如，在沿着正z方向离x-y视平面第一距离处)，或者是否第一虚拟标记物504旨在被定位成更靠近视平面(例如，在沿着正z方向离x-y视平面第二更短的距离处)。

因此，根据本文所公开的实施方案，每个虚拟标记物可与相应光源相关联/链接至相应光源，并且每个光源可用于照明相应虚拟标记物周围的结构以提供用于帮助用户判断每个虚拟标记物的深度的深度线索(例如，以照明形成体积绘制图像500的绘制体积的结构)。图6示出了类似于体积绘制图像500的示出心脏502的第二体积绘制图像600。在第二体积绘制图像600中，每个虚拟标记物均包括投影模拟光以照明围绕每个虚拟标记物的结构的光源。例如，第一虚拟标记物504可与第一虚拟标记物光源相关联，第二虚拟标记物506可与第二虚拟标记物光源相关联，并且第三虚拟标记物508可与第三虚拟标记物光源相关联。每个虚拟标记物光源可投影不同颜色的模拟光，使得第一虚拟标记物光源投影黄光，第二虚拟标记物光源投影红光，并且第三虚拟标记物光源投影绿光。

通过包括虚拟标记物光源，每个虚拟标记物的深度可由超声系统的用户更容易地确定。如通过图6所理解的，第一虚拟标记物504被定位成比第一虚拟标记物504放置在其上的腔体的背表面相对更靠近视平面。同样，第二虚拟标记物506被定位成比第二虚拟标记物506后面的表面更靠近视平面。

当多个虚拟标记物定位在3D数据集中时，与每个虚拟标记物相关联的光源可将光投影至相同体素中的一个或多个。例如，与第一虚拟标记物504相关联的第一虚拟标记物光源可将光投影至成像体积的区域518，并且与第二虚拟标记物506相关联的第二虚拟标记物光源也可将光投影至区域518。可对来自两个光源的贡献求和并且将其用于对区域518的体素进行照明/着色。在其他示例中，锥形结构或其他模拟结构可放置在每个虚拟标记物光源周围，以将每个光源的投影限制在相应相关联的虚拟标记物周围的阈值范围，这可以减少来自虚拟标记物光源的照明的重叠。此外，在体积绘制图像包括被组织或其他解剖结构阻挡(在体积绘制图像的视图中)的虚拟标记物的示例中，虚拟标记物光源可看起来发光以便向查看者发信号通知将虚拟标记物定位在成像组织内，尽管不可见。在其他示例中，当体积绘制图像包括被阻挡的虚拟标记物时，可不显示从虚拟标记物光源投影的光。

将光源与定位在体积医疗成像数据集内的虚拟标记物相关联并且根据从光源投影的模拟光对体积绘制图像(从体积医疗成像数据集绘制)进行着色的技术效果是增加查看者对虚拟标记物的深度感知。

如本文所用，以单数形式列举并且以单词“一个”或“一种”开头的元件或步骤应当被理解为不排除多个所述元件或步骤，除非明确说明此类排除。此外，对本发明的“一个实施方案”的引用不旨在被解释为排除也包含所引用特征的附加实施方案的存在。此外，除非明确地相反说明，否则“包含”、“包括”或“具有”具有特定特性的元件或多个元件的实施方案可包括不具有该特性的附加此类元件。术语“包括”和“在...中”用作相应的术语“包含”和“其中”的简明语言等同形式。此外，术语“第一”、“第二”和“第三”等仅用作标记，而不旨在对其对象施加数字要求或特定位置次序。

该书面描述使用示例来公开本发明，包括最佳模式，并且还使相关领域中的普通技术人员能够实践本发明，包括制造和使用任何设备或系统以及执行任何包含的方法。本发明可取得专利权的范围由权利要求书限定，并且可包括本领域普通技术人员想到的其他示例。如果此类其他示例具有与权利要求书的字面语言没有区别的结构元素，或者如果它们包括与权利要求书的字面语言具有微小差别的等效结构元素，则此类其他示例旨在落入权利要求书的范围内。

Claims (20)

1.一种方法，包括：

显示从3D医疗成像数据集绘制的体积绘制图像；

将第一虚拟标记物定位在所述体积绘制图像的绘制体积内，所述绘制体积由所述3D医疗成像数据集限定；以及

通过从所述第一虚拟标记物投影模拟光来照明所述绘制体积。

2.根据权利要求1所述的方法，其中通过从所述第一虚拟标记物投影模拟光来照明所述绘制体积包括将由所述绘制体积内的第一结构投射的阴影叠加至所述绘制体积内的第二结构的表面上。

3.根据权利要求1所述的方法，其中由所述第一虚拟标记物投影的所述模拟光的强度作为距所述绘制体积内的所述第一虚拟标记物的距离的函数而减小。

4.根据权利要求1所述的方法，还包括将第二虚拟标记物定位在所述绘制体积内，并且其中照明所述绘制体积包括从所述第二虚拟标记物投影模拟光。

5.根据权利要求4所述的方法，其中由所述第一虚拟标记物投影的所述模拟光的颜色不同于由所述第二虚拟标记物投影的所述模拟光的颜色。

6.根据权利要求1所述的方法，其中所述第一虚拟标记物以球形方式投影所述模拟光，以便从所述第一虚拟标记物在所有方向上照明所述绘制体积。

7.根据权利要求1所述的方法，其中定位所述第一虚拟标记物包括响应于用户输入来定位所述第一虚拟标记物。

8.根据权利要求1所述的方法，还包括经由超声探头采集所述3D医疗成像数据集，所述3D医疗成像数据集包括表示由所述超声探头扫描的物理非虚拟体积的多个体素以及相关联的强度和/或不透明度值。

9.根据权利要求8所述的方法，其中照明所述绘制体积包括确定所述模拟光对所述多个体素中的每个体素的贡献，以及将所述贡献应用于每个体素。

10.一种体积绘制3D医疗成像数据的方法，包括：

从利用医疗成像设备采集的3D数据集生成体积绘制图像，所述体积绘制图像包括定位在所述3D数据集的第一位置处的虚拟标记物；

从定位在所述第一位置处的第一光源以及从定位在与所述3D数据集间隔开的第二位置处的第二光源对所述体积绘制图像进行着色；以及

在显示设备上显示所述着色的体积绘制图像。

11.根据权利要求10所述的方法，还包括接收请求显示所述第一位置处的所述虚拟标记物的用户输入，以及作为响应，将所述虚拟标记物定位在所述3D数据集中的所述第一位置处。

12.根据权利要求10所述的方法，其中对所述体积绘制图像进行着色包括针对所述3D数据集的每个体素确定所述第一光源对所述体素的第一贡献和所述第二光源对所述体素的第二贡献，以及根据所述第一贡献和所述第二贡献来对所述体素进行着色。

13.根据权利要求10所述的方法，其中从所述第一光源对所述体积绘制图像进行着色包括根据表面着色算法从所述第一光源对所述体积绘制图像进行着色。

14.根据权利要求10所述的方法，其中生成所述体积绘制图像包括使用光线投射从所述3D数据集的多个体素生成所述体积绘制图像，并且其中从所述第一光源对所述体积绘制图像进行着色包括包含所述第一光源在所述光线投射中对所述多个体素中的每个体素的贡献。

15.根据权利要求10所述的方法，其中所述医疗成像设备为超声探头。

16.一种系统，包括：

超声探头；

显示器；和

处理器，所述处理器被配置有存储在非暂态存储器中的指令，所述指令在被执行时使所述处理器：

从利用所述超声探头采集的3D数据集生成体积绘制图像，所述体积绘制图像包括定位在所述3D数据集的第一位置处的虚拟标记物；

从定位在所述第一位置处的第一光源以及从定位在与所述3D数据集间隔开的第二位置处的第二光源对所述体积绘制图像进行着色；以及

在所述显示器上显示所述着色的体积绘制图像。

17.根据权利要求16所述的系统，其中所述第一光源具有第一光强度并且所述第二光源具有不同的第二光强度。

18.根据权利要求16所述的系统，还包括存储在所述非暂态存储器中的指令，所述指令在被执行时使所述处理器：

响应于请求将所述虚拟标记物从所述第一位置调整至所述第三位置的用户输入来将所述第一光源的所述位置从所述第一位置调整至第三位置。

19.根据权利要求16所述的系统，其中所述体积绘制图像是具有第一视平面的第一体积绘制图像；并且

还包括存储在所述非暂态存储器中的指令，所述指令在被执行时使所述处理器：

从利用所述超声探头采集的所述3D数据集生成第二体积绘制图像，所述第二体积绘制图像包括维持在所述3D数据集的所述第一位置处的所述虚拟标记物，所述第二体积绘制图像具有不同的第二视平面；

从定位在所述第一位置处的所述第一光源对所述第二体积绘制图像进行着色；以及

在所述显示器上显示所述着色的第二体积绘制图像。

20.根据权利要求16所述的系统，还包括存储在所述非暂态存储器中的指令，所述指令在被执行时使所述处理器：

响应于用户输入来调整所述第一光源的强度或颜色；以及

基于所述第一光源的所述调整的强度或颜色来更新所述显示器上的所述着色的体积绘制图像。

Images