CN108720807A - 用于模型驱动的多模态医疗成像方法和系统 - Google Patents

Abstract

提供用于诊断医疗成像的多模态医学图像的显像的系统和方法。所述系统和方法接收所关注的解剖结构的第一和第二图像数据集，将所述第一和第二图像数据集与所述所关注解剖结构的几何模型配准以形成已配准图像。所述几何模型包括解剖标记的位置。所述系统和方法进一步显示所述已配准图像。

Description

用于模型驱动的多模态医疗成像方法和系统

技术领域

本文中所描述的实施例大体上涉及提供用于医疗成像的多模态医学图像的显像。

背景技术

图像配准广泛应用于医疗成像中。图像配准通常会引起几何变换，其使不同图像中相同对象或其部分的位置和定向明确关联。更具体地说，图像配准包括将不同图像数据集变换到共同坐标空间。可通过不同成像装置或另一选择为通过同一成像装置但在不同成像阶段或时间点处获得所述图像。如应了解，在医疗成像领域中，患者经历的成像阶段或扫描的数目已稳定增加。可在时间上从同一成像模态或系统获得身体部位的图像。或者，在多模态成像(multi-modal imaging)中，可通过由X射线成像系统(例如计算机断层扫描(computed tomography；CT)成像系统)、磁谐振(magnetic resonance；MR)成像系统、超声成像系统或正电子发射断层扫描(positron emission tomography；PET)成像系统等等使用例如放射性成像等不同成像模态而捕获相同身体部位的图像。

在比较不同图像时缺乏明确图像配准就依赖于人工解释和心理旋转，这导致临床医师使用未配准图像无法沟通且导航困难。举例来说，以超声心动图训练的心脏病科医师和以X射线导引过程训练的心脏病科医师或外科医生具有不同视角和与成像和图像导引相关的语言。基于不同视角，对于一手术，临床医师必须手动找到某些解剖结构的最佳视图和/或切片。

发明内容

在实施例中，提供一种方法(例如用于多模态成像)。所述方法包括接收所关注的解剖结构的第一和第二图像数据集，将所述第一和第二图像数据集与所述所关注解剖结构的几何模型配准以形成已配准图像(registered image)。所述几何模型包括解剖标记的位置。所述方法进一步包括显示所述已配准图像。

在实施例中，提供一种系统(例如，多模态成像系统)。所述系统包括显示器和被配置成存储第一和第二图像数据集和几何模型的存储器。所述几何模型包括所关注解剖结构的解剖标记的位置。所述系统包括被配置成执行存储于所述存储器中的经编程指令的一个或多个处理器。所述一个或多个处理器在执行所述经编程指令时执行一个或多个操作。所述一个或多个操作包括接收所关注解剖结构的第一和第二图像数据集；将所述第一和第二图像数据集与所关注解剖结构的几何模型配准以形成已配准图像；以及在显示器上显示所述已配准图像。

在实施例中，提供一种包括一个或多个计算机软件模块的有形且非暂时性计算机可读介质。所述一个或多个计算机软件模块被配置成引导一个或多个处理器接收所关注解剖结构的第一和第二图像数据集。所述第一图像数据集与超声成像数据相关联且所述第二图像数据集与放射性图像数据相关联。所述一个或多个计算机软件模块被配置成引导一个或多个处理器将所述第一和第二图像数据集与所关注解剖结构的几何模型配准以形成已配准图像。所述几何模型包括解剖标记的位置。此外，所述一个或多个计算机软件模块被配置成引导一个或多个处理器显示所述已配准图像，其中所述已配准图像包括解剖标记的显像。

附图说明

图1A说明多模态成像系统的实施例的示意框图。

图1B说明多模态和诊断成像系统的实施例的示意框图。

图2说明用于配准多模态图像的方法的实施例的流程图。

图3说明第一图像数据集的实施例。

图4说明第二图像数据集的实施例。

图5说明已配准图像的实施例。

图6说明图形用户界面的实施例。

具体实施方式

当结合附图阅读时，将更好地了解某些实施例的以下详细描述。就附图示出的各个实施例的功能模块的图而言，这些功能块不一定指示连接件电路系统之间的划分。因此，例如，功能块中的一个或多个(例如，处理器或存储器)可以被实现为单件连接件(例如，通用信号处理器或随机存取存储器的块、硬盘等)。类似地，程序可以是独立式程序，可以作为子例程并入操作系统中，可以在安装的软件包中起作用，等等。应了解，各种实施例并不限于图式中所展示的布置和手段。

如本文所用，以单数形式叙述和前接用词“一(a/an)”的元件或步骤应被了解为并不排除多个所述元件或步骤，除非明确陈述了这种排除。此外，对本发明的“一个实施例”的引用并非意图被解释为排除也结合所叙述特征的额外实施例的存在。此外，除非明确地陈述为相反情况，否则“包括”或“具有”有着特定性质的一个或多个元件的实施例可包括不具有所述性质的额外元件。

各种实施例提供系统和方法，用于提供用于诊断医疗成像的多模态医学图像的显像。所述多模态医学图像可由来自两个成像系统的图像产生，所述成像系统例如超声成像系统和CT成像系统。所述多模态医学图像可表示通过将第一和第二图像数据集两者与共同解剖模型配准而对这两者进行的图像配准。可能已经使用不同模态采集了所述第一和第二图像数据集。所述第一和第二图像数据集可表示二维图像数据、三维图像数据等等。举例来说，所述第一图像数据集可与超声成像数据相关联。在另一实例中，所述第二图像数据集可与放射性图像数据(例如，X射线成像系统、计算机断层扫描(CT)成像系统、磁谐振(MR)成像系统、正电子发射断层扫描(PET)成像系统等等)相关联。

所述几何模型可基于所关注解剖结构(例如，大脑、心脏、膀胱、肾脏、肝脏、骨骼结构、血管结构、器官等等)。所述几何模型包括对应于所关注解剖结构的结构、标志和/或特征的解剖标记。举例来说，所关注解剖结构可为心脏。所述解剖标记可表示不同腔室、瓣膜、流出道、流入道等等。所述几何模型经参数化使得所述解剖标记具有参数坐标系统的固定位置或坐标。所述参数坐标系统使得所述几何模型能够与所关注解剖结构的总体解剖方向(例如，上方到下方、左侧到右侧、前面到背面等等)具有已知且固定的关系。

所述多模态成像系统被配置成将第一和第二图像数据集与几何模型配准。举例来说，将所述第一和第二图像数据集与几何模型配准。所述多模态成像系统被配置成使所述几何模型变形，以使得所述模型中的解剖结构与设定非零预定阈值内的第一和第二图像数据集中的每一个之间存在对应。基于参数模型坐标系统和所述几何模型与第一和第二图像数据集中的每一个之间的可变形配准，解剖模型内的解剖标记可映射到第一和第二图像数据集中所关注视图和/或切片的对应场。临床医生可选择多模态医学图像的视图和/或切片的一个或多个场以在多模态成像系统的显示器上展示。举例来说，临床医生可利用用户界面选择所关注解剖结构的视图(例如，三腔室视图)的场。

另外或另一选择为，所述多模态医学图像可包括被配置成指示所关注解剖结构内的视场在何处的视图标记。视需要，所述多模态医学图像可分别包括第一和第二图像数据集的第一与第二边界(例如，限界框)。举例来说，第一边界和第二边界可表示第一与第二图像数据集的边界和/或端部。

本文中所描述的至少一个实施例的技术效应减少临床医生选择解剖结构的视场的时间量。本文中所描述的至少一个实施例的技术效应使得能够通过例如超声成像系统和CT系统等多模态医疗成像系统实施多个图像数据集的配准，而不需要额外连接件且无需与X射线系统集成。

图1A-B说明多模态成像系统(multi-modal imaging system；MMIS)100、150的实施例的示意性框图。图1A的MMIS 100可包括以可操作方式连接到通信电路136、显示器138、用户界面142和存储器140的控制器电路136。

通信电路136可通过对应双向通信链路以通信方式连接到一个或多个医学诊断成像系统、替代MMIS(例如，图1B中所展示的MMIS 150)、远程服务器等等。所述一个或多个医学诊断成像系统可包括超声成像系统、核药物成像系统(例如，正电子发射断层扫描(PET)或单光子发射计算机断层扫描(Single Photon Emission Computed Tomography；SPECT)成像系统)、磁谐振(MR)成像系统、计算机断层扫描(CT)成像装置和/或X射线成像系统等等。远程服务器可被配置成存储由一个或多个医学诊断成像系统从对患者的先前扫描和/或临床阶段所采集的图像数据集。

所述双向通信链路可为有线(例如，通过物理导体)和/或无线通信(例如，利用射频(radio frequency；RF))链路以用于在MMIS 100与替代MMIS、一个或多个医学诊断成像系统、远程服务器等等之间交换数据(例如，数据包)。举例来说，MMIS 100可从替代MMIS、一个或多个医学诊断成像系统、远程服务器等等接收来自所保存扫描和/或临床阶段的第一和第二图像数据集(例如，医学图像)。所述双向通信链路可基于标准通信协议，例如以太网、TCP/IP、WiFi、802.11、自定义通信协议等等。

控制器电路136被配置成控制MMIS 100的操作。控制器电路136可包括一个或多个处理器、中央控制器电路(CPU)、一个或多个微处理器、图形控制器电路(GPU)或能够根据具体逻辑指令处理输入的数据的任何其它电子部件。视需要，控制器电路136可包括和/或表示一个或多个连接件电路或电路系统，其包括一个或多个处理器、控制器和/或其它基于连接件逻辑的装置；与一个或多个处理器、控制器和/或其它基于连接件逻辑的装置联接；或包括一个或多个处理器、控制器和/或其它基于连接件逻辑的装置且与一个或多个处理器、控制器和/或其它基于连接件逻辑的装置联接。另外或另一选择为，控制器电路136可以执行存储在有形且非暂时性计算机可读介质(例如，存储器140)上的指令。

控制器电路136可以可操作方式连接到通信电路102和/或控制所述通信电路。通信电路102被配置成与一个或多个医学诊断成像系统、替代MMIS、远程服务器等等接收和/或发射信息。通信电路102可表示用于沿着双向通信链路发射和/或接收数据的连接件。通信电路102可包括用于与一个或多个医学诊断成像系统、替代MMIS、远程服务器等等有线和/或无线地通信(例如，发射和/或接收)的收发器、接收器、收发器等等以及相关联电路系统(例如，天线)。举例来说，协议固件可存储于存储器140中，通过控制器电路136访问所述存储器。所述协议固件为控制器电路136提供网络协议语法以汇编数据包、建立和/或分割沿着双向通信链路接收的数据，等等。

控制器电路136以可操作方式连接到显示器138和用户界面142。显示器138可以包括一个或多个液晶显示器(例如，发光二极管(LED)背光)、有机发光二极管(OLED)显示器、等离子体显示器、CRT显示器等。显示器138可显示显示器138从控制器电路136接收的患者信息、存储于存储器140中或当前正采集的一个或多个图像数据集和/或视频、图形用户界面的部件、测量结果、诊断、治疗信息等等。

用户界面142控制控制器电路136的操作，并且被配置成从用户接收输入。用户界面142可以包括键盘、鼠标、触摸板、一个或多个物理按钮等。视需要，显示器138可以是包括用户界面142的至少一部分的触摸屏显示器。举例来说，用户界面142的一部分可对应于由控制器电路136产生的图形用户界面(graphical user interface；GUI)(例如，如图6中所展示)，其展示于显示器138上。触摸屏显示器可由显示器138上的算子检测到触碰的存在且还可识别触碰相对于显示器138的表面区域的位置。举例来说，用户可通过触碰或与显示器138接触而选择显示器上展示的GUI的一个或多个用户界面图标。举例来说，可通过一个人的手、手套、触控笔等中的至少一个来施加触碰。

存储器140包括控制器电路136用以执行本文中所描述的一个或多个操作的参数、算法、模型、数据值等等。存储器140可以是有形且非暂时性计算机可读介质，例如闪速存储器、RAM、ROM、EEPROM等。存储器140可包括几何模型和被配置成将一个或多个图像数据集与几何模型配准的配准算法。另外或另一选择为，所述几何模型和/或配准算法可通过通信电路102沿着双向通信链路中的一个接收且存储于存储器140中。

所述几何模型可基于所关注解剖结构(例如，大脑、心脏、膀胱、肾脏、肝脏、骨骼结构、血管结构、器官等等)的机器学习算法(例如，卷积神经网络算法、深度学习算法、决策树学习算法等等)、用户预定义模型等等。可使用例如样条表面等参数坐标系统来界定所述几何模型，从而使得模型中的关键解剖标记在参数系统中具有固定坐标，但可由控制器电路136扩展几何模型的整体形状且使其变形。几何模型的初始形状和变形的模式可由先验界定和/或通过利用机器学习算法所利用的一系列训练图像、用户导引选择数据库(例如，对应于参数坐标系统内的每个解剖标记的真阳性和真阴性)而获悉。举例来说，参数坐标系统可界定所关注解剖结构中对应于一个或多个解剖标记的位置或坐标。解剖标记可表示所关注解剖结构的结构(例如，腔室、解剖边界、道、孔等等)、标志(例如，顶点)和/或特征。举例来说，所关注解剖结构可为心脏。几何模型的参数坐标系统可在参数坐标系统内将左心室的顶点(例如，解剖标记)界定为坐标(0，0)。

由控制器电路136执行的配准算法被配置成将一个或多个图像数据集与几何模型的参数坐标系统配准以形成已配准图像。所述配准算法是基于用以将由MMIS 100接收到的一个或多个图像数据集聚结到几何模型的配准技术。

视需要，所述配准算法可被配置成将一个或多个图像数据集变换到一个共同坐标系统(例如，几何模型的参数坐标系统)中，如题为“用于显像已配准图像的方法和系统(Method and system for visualizing registered images)”的美国专利第8,090,165号中所描述，所述美国专利以全文引用的方式并入。控制器电路136(例如，通过执行配准算法)可被配置成基于解剖标记而确定一个或多个合适的变换，所述变换可用于将一个或多个图像数据集变换到参数坐标系统。根据本发明技术的方面，所述变换可包括例如但不限于刚性变换、非刚性变换或仿射变换等变换。所述刚性变换可包括例如平移、旋转或其组合。并且，所述非刚性变换可包括例如有限元建模(finite element modeling；FEM)、B-样条变换、守护程序的(基于流体流)方法、基于扩散的方法、基于光流的方法或基于水平集的方法。

另外或另一选择为，所述配准算法被配置成识别图像数据集内的一个或多个解剖标记且分配、对准和/或匹配到由参数坐标系统界定的解剖标记。举例来说，所述配准算法可利用所关注解剖结构的一系列训练图像由机器学习算法(例如，卷积神经网络算法、深度学习算法、决策树学习算法等等)界定。可基于一个或多个解剖结构的特征(例如，边界、厚度等等)通过机器学习算法识别所述解剖标记。所述特征可表示训练图像的像素和/或体元的高级特征，例如直方图定向梯度、斑点特征、协方差特征、二进制模式特征等等。视需要，机器学习算法可通过自动地构建对应于基于来自训练图像、分类模型、受监督建模等等的特征而识别的每个解剖标记的真阳性和真阴性的统计模型和/或数据库来界定配准算法。

举例来说，可基于多个训练医学图像而配置和/或设计所述配准算法。可将所述多个训练医学图像分组到不同解剖标记组中。另外或另一选择为，每一组内的训练医学图像可表示一个或多个解剖标记的不同定向和/或视图。举例来说，一组训练医学图像可包括超过50,000个图像。举例来说，一组训练医学图像可包括对应于心脏(例如，所关注解剖结构)的一个或多个不同视图。在另一实例中，第二组训练图像可包括对应于大脑(例如，所关注解剖结构)的一个或多个不同视图。

另外或另一选择为，可基于受监督学习方法(a supervised learning method)而界定所述配准算法以识别一个或多个图像数据集内的解剖标记。举例来说，用户(例如，有经验的开业医生)可利用用户界面142手动标记所述多个训练医学图像内的一个或多个解剖标记。手动标记的医学图像可用于构建对应于界定配准算法的所关注解剖结构的每个解剖标记的真阳性和真阴性的统计模型和/或数据库。

配准算法可经界定以利用分类模型(例如，随机森林分类器(random forestclassifier))识别一个或多个解剖标记。举例来说，配准算法可被配置成基于像素级分类器模型识别一个或多个解剖标记以将医学图像的每个像素标记和/或分配成多个类别或种类(例如，肌肉、脂肪、背景人体、所关注解剖结构、腔室)。执行分类模型的控制器电路136可基于图像数据集内像素的各种强度和空间位置而由像素的特征空间确定所述种类。执行配准算法的控制器电路136可连续地选择第一和第二图像数据集的像素，且将选择像素的特性与特征矢量进行比较。举例来说，控制器电路136可以将选择像素的强度或亮度与分类模型的特征矢量进行比较。在另一实例中，控制器电路136可以通过将所选像素的强度与所选像素周围相邻和/或邻近像素进行比较来确定所选像素的方差峰度、偏度或空间分布特性。

可基于包括在特征矢量中的特征组由控制器电路136比较所选像素的多个特性。每个特征矢量可为n维矢量，其包括对应于第一和第二图像数据集内人体的像素种类(例如，背景人体、肌肉组织、脂肪、膀胱)的像素的三个或多于三个特征(例如，均值、方差、峰度、偏度、空间分布)。分类模型的特征矢量可基于多个训练医学图像由控制器电路136产生和/或界定。例如，控制器电路136可以从一百个参考训练医学图像中选择像素块。所选像素块可以具有五个像素的长度和五个像素的宽度。例如，每个所选像素块内的多个像素可以表示和/或对应于所述种类中的一个，例如膀胱组织。基于所选像素块内的多个像素，控制器电路136可以产生和/或界定特征矢量。控制器电路136可确定对应于同一种类的一所选像素块或多于一个所选像素块的所述多个像素内每个像素的特征组。特征组中的一个可以基于参考超声图像的强度直方图。举例来说，控制器电路136可以计算多个像素的平均强度、多个像素强度的方差、多个像素的强度分布的峰度或形状、多个像素的偏度等。

此外，所述特征组中的一个可对应于所选像素块内的像素的位置或空间特征。相对于参考图像内的位置(例如，中心位置)的空间位置和相对于患者内的采集深度的深度。控制器电路136可对所述特征组执行k-均值聚类和/或随机森林分类以界定对应于所选像素块的种类的特征值。控制器电路136可基于针对所述分类模型的特征值而界定对应于所述种类的特征矢量。控制器电路136可基于对应特征矢量而将一种类分配给所选像素。当所选像素被分配一种类时，控制器电路136可对第一和第二图像数据集的剩余像素重复所述分类模型以识别解剖标记。

可注意到，用以界定配准算法的机器学习算法为实例，额外方法可供用于所属领域的技术人员。在实施例中，控制器电路136可被配置成使几何模型变形，如题为“用于自动地识别3d数据集中的图像视图的方法和设备(Method and apparatus for automaticallyidentifying image views in a 3d dataset)”的美国专利公开案第2010/0195881号中所描述，所述美国专利全文以引用的方式并入本文中。举例来说，控制器电路136可基于卡尔曼滤波器(Kalman filter)使所述几何模型变形。

结合图1B，MMIS 150可与例如超声成像系统的医学诊断成像系统集成和/或是其一部分。举例来说，MMIS 150可被配置成采集图像数据集中的至少一个。MMIS 150包括具有发射器122、发射波束成形器121和探针/SAP电子件110的超声探针126。探针/SAP电子件110可以用于控制换能器元件124的切换。探针/SAP电子件110还可以用于将换能器元件124分组成一个或多个子孔。

超声探针126可被配置成基于预定设置从患者的所关注解剖结构采集超声波数据或信息。超声探针126经由发射器122可通信地连接到控制器电路136。发射器122基于由控制器电路136接收的采集设置将信号发送到发射波束成形器121。采集设置可以界定由换能器元件124发射的超声脉冲的振幅、脉冲宽度、频率、增益设置、扫描角度、功率、时间增益补偿(time gain compensation；TGC)、分辨率等。换能器元件124将脉冲超声波信号发射到患者(例如，身体)中。视需要，可利用用户界面142由用户界定所述采集设置。由发射器122发射的信号又驱动换能器阵列112内的多个换能器元件124。

换能器元件124将脉冲超声波信号发射到与沿着一个或多个扫描平面的采集设置相对应的身体(例如患者)或体积中。超声波信号可以包括例如一个或多个参考脉冲、一个或多个推动脉冲(例如剪切波)和/或一个或多个脉冲波多普勒脉冲。脉冲超声波信号的至少一部分从所关注解剖结构反向散射以产生回波。回波根据深度或移动在时间和/或频率上延迟，并且由换能器阵列112内的换能器元件124接收。超声波信号可以用于成像，用于产生和/或跟踪剪切波，用于测量解剖结构内位置或速度的变化、组织的压缩位移(例如，应变)的差异，和/或用于治疗以及其它用途。例如，探针126可以递送在成像和跟踪期间的低能量脉冲、用于产生剪切波的中等到高能量脉冲、以及在治疗期间的高能量脉冲。

换能器元件124将接收到的回波信号转换成可以由接收器128接收的电信号。接收器128可以包括一个或多个放大器、模数转换器(ADC)等。接收器128可以被配置成在适当的增益补偿之后放大所接收的回波信号，并将来自每个换能器元件124的这些接收到的模拟信号转换成在时间上均匀采样的数字化信号。表示接收到的回波的数字化信号暂时存储在存储器140中。数字化信号对应于由每个换能器元件124在不同时间接收的反向散射波。在数字化之后，信号仍然可以保留反向散射波的振幅、频率、相位信息。

视需要，控制器电路136可以检索存储在存储器140中的数字化信号以准备用于波束成形器处理器130。例如，控制器电路136可以将数字化信号转换为基带信号或压缩数字化信号。

波束成形器处理器130可以包括一个或多个处理器。视需要，波束成形器处理器130可以包括中央控制器电路(CPU)、一个或多个微处理器或能够根据具体逻辑指令处理输入的数据的任何其它电子部件。另外或另一选择为，波束成形器处理器130可以执行存储在有形且非暂时性计算机可读介质(例如，存储器140)上的指令以用于使用任何合适的波束成形方法来进行波束成形计算，这些波束成形方法例如自适应波束成形、合成发射聚焦、像差校正、合成孔径、杂波抑制和/或自适应噪声控制等。视需要，波束成形器处理器130可以与控制器电路136集成和/或分开。例如，由波束成形器处理器130执行的所描述操作可以被配置成由控制器电路136执行。

波束成形器处理器130对换能器元件的数字化信号执行波束成形，并且输出射频(RF)信号。然后将RF信号提供给处理RF信号的RF处理器132。RF处理器132可以包括一个或多个处理器。视需要，RF处理器132可以包括中央控制器电路(CPU)、一个或多个微处理器或能够根据具体逻辑指令处理输入的数据的任何其它电子部件。另外或另一选择为，RF处理器132可以执行存储在有形且非暂时性计算机可读介质(例如，存储器140)上的指令。视需要，RF处理器132可以与控制器电路136集成和/或分开。例如，由RF处理器132执行的所描述操作可以被配置成由控制器电路136执行。

RF处理器132可以基于第一模型的预定设置而产生不同的超声图像数据类型，例如B模式、彩色多普勒(速度/功率/方差)、组织多普勒(速度)和多普勒能量，以用于多个扫描平面或不同扫描模式。例如，RF处理器132可以产生用于多扫描平面的组织多普勒数据。RF处理器132收集与多个数据切片相关的信息(例如，I/Q、B模式、彩色多普勒、组织多普勒和多普勒能量信息)，并且将可包括时间戳和定向/旋转信息的数据信息存储在存储器140中。

或者，RF处理器132可以包括解调RF信号以形成表示回波信号的IQ数据对的复合解调器(未展示)。然后可以将RF或IQ信号数据直接提供给存储器140以供存储(例如，暂时存储)。视需要，波束成形器处理器130的输出可以直接传递到控制器电路136。

控制器电路136可被配置成调整系统设置、图像呈现设置和/或由MMIS 150采集的超声数据和/或超声图像表示的解剖结构。举例来说，控制器电路136可以被配置成处理所采集的超声数据(例如，RF信号数据或IQ数据对)，并且准备和/或产生表示用于显示在显示器138上的所关注解剖结构的超声图像数据(例如，图像数据集)的帧。当接收到回波信号时，在扫描或治疗阶段期间，采集的超声数据可以由控制器电路136实时处理。另外或另一选择为，超声数据可以在扫描阶段期间暂时存储在存储器140中，并且在实时或离线操作中以不太实时的方式处理。

存储器140可以用于存储采集的超声数据的处理过的帧，其未被调度为立即显示或者存储后处理图像(例如，剪切波图像、应变图像)、固件或软件，所述固件或软件对应于例如图形用户界面、一个或多个默认图像显示设置、编程的指令等。存储器140可存储超声数据的3D超声图像数据集，其中针对当前2D和3D图像访问此类3D超声图像数据集。举例来说，3D超声图像数据集可映射到对应存储器140以及一个或多个参考平面中。包括超声图像数据集的超声数据的处理可部分地基于用户输入，例如在用户界面142处接收到的用户选择。

控制器电路136以可操作方式连接到显示器138和用户界面142。显示器138可以包括一个或多个液晶显示器(例如，发光二极管(LED)背光)、有机发光二极管(OLED)显示器、等离子体显示器、CRT显示器等。显示器138可以显示由显示器138从控制器电路136接收的患者信息，超声图像和/或视频，显示界面的部件，来自存储在存储器140中或当前正在采集的超声数据的一个或多个2D、3D或4D超声图像数据集，测量结果，诊断，治疗信息等。

用户界面142控制控制器电路136的操作，并且被配置成从用户接收输入。用户界面142可以包括键盘、鼠标、触摸板、一个或多个物理按钮等。视需要，显示器138可以是包括用户界面142的至少一部分的触摸屏显示器。举例来说，用户界面142的一部分可对应于由控制器电路136产生的展示于显示器上的图形用户界面(GUI)。GUI可以包括一个或多个界面部件(例如，图6中所示的用户界面部件602到605)，其可以由操作用户界面142(例如，触摸屏、键盘、鼠标)的用户选择、操纵和/或激活。用户界面部件可以以各种形状和颜色呈现，例如图形或可选图标、滑动条、光标等。视需要，一个或多个用户界面部件可以包括文本或符号，例如下拉菜单、工具栏、菜单栏、标题栏、窗口(例如，弹出窗口)等。另外或另一选择为，一个或多个用户界面部件可以指示用于输入或编辑信息(例如，患者信息、用户信息、诊断信息)的GUI内的区域，例如文本框、文本域等。

在各种实施例中，用户界面部件在被选择时可执行各种功能，例如测量功能、编辑功能、数据库访问/搜索功能、诊断功能、控制采集设置、选择已配准图像的视图的不同场、将指示关注点的参考标记放置在已配准图像内和/或由控制器电路136执行的超声成像系统100的系统设置。

图2说明用于多模态成像的方法200的实施例的流程图。方法200例如可采用本文中论述的各种实施例的结构或方面(例如，系统和/或方法)。在各种实施例中，可省略或添加某些步骤(或操作)，可组合某些步骤，可同时执行某些步骤，可并行执行某些步骤，可将某些步骤拆分成多个步骤，可以不同次序执行某些步骤，或可以重复方式反复执行某些步骤或步骤系列。在各种实施例中，方法200的部分、方面和/或变化可用作引导连接件执行本文所描述的一个或多个操作的一个或多个算法。应注意，根据本文中的实施例，可使用其它方法。

在202处开始，控制器电路136可被配置成接收所关注解剖结构的第一图像数据集300。图3说明第一图像数据集300的实施例。第一图像数据集300是关于表示所关注解剖结构的心脏。第一图像数据集300可包括多个解剖标记，例如腔室302、304和306。结合图1A到B，控制器电路136可沿着通信电路102的双向通信链路和/或在存储器140内接收第一图像数据集300。举例来说，控制器电路136可沿着双向通信链路从远程服务器、医学诊断成像系统等等接收第一图像数据集300。

在另一实例中，结合图1B，控制器电路136可基于从超声探针126接收的图像数据而接收第一图像数据集300。第一图像数据集300可与超声成像数据相关联和/或基于超声成像数据。控制器电路136可针对所关注解剖结构沿着超声探针126的成像平面收集超声数据。超声探针126的换能器元件124可基于超声采集设置而在一段时间内发射超声波脉冲。超声波脉冲的至少一部分通过所关注解剖结构的组织反向散射且被接收器128接收，其将所接收到的回波信号转换成数字化信号。如本文中所描述，数字化信号通过波束成形器处理器130波束成形且通过RF处理器132形成为表示回波信号的IQ数据对(例如，超声数据)。数字化信号由波束成形器处理器130波束成形，并将处理的RF信号输出到RF处理器132。处理的RF信号在存储器140中存储为由控制器电路136采集和接收的超声数据。所述超声数据可作为所关注解剖结构的第一图像数据集300的像素存储于所述存储器中。应注意，当超声探针126采集超声数据时，可实时接收第一图像数据集300。

在204处，控制器电路136可被配置成接收所关注解剖结构的第二图像数据集400。图4说明第二图像数据集400的实施例。可能已经利用相对于第一图像数据集300的不同模态采集到第二图像数据集400。举例来说，第二图像数据集400可与放射性图像数据相关联和/或基于放射性图像数据。第二图像数据集400可能已经使用医学诊断成像系统采集，医学诊断成像系统例如x射线成像系统、计算机断层扫描(CT)成像系统、磁谐振(MR)成像系统、正电子发射断层扫描(PET)成像系统等等。控制器电路136可通过双向通信链路102接收第二图像数据集400和/或接收存储于存储器140中的所述第二图像数据集。第二图像数据集400是关于表示所关注解剖结构的心脏。第二图像数据集400可包括多个解剖标记，例如腔室402、404和406。

可注意到，第一和第二图像数据集300、400暂时可能不同。举例来说，第二图像数据集400可能已经在采集第一图像数据集300之前和/或之后从患者采集到。另外或另一选择为，可能已经同时采集到第一和第二图像数据集300、400。

在206处，控制器电路136可被配置成将第一和第二图像数据集300、400与所关注解剖结构的几何模型配准以形成已配准图像502(图5)。举例来说，控制器电路136可执行存储于存储器140中的配准算法。基于配准算法，控制器电路136可识别第一和第二图像数据集300、400内的解剖标记302、304、306、402、404、406。举例来说，控制器电路136可基于所执行配准算法的分类模型而识别解剖标记302、304、306、402、404、406。控制器电路136可识别解剖标记302、304、306、402、404、406且基于由几何模型界定的参数坐标系统而给解剖标记302、304、306、402、404、406分配坐标。可注意到，控制器电路136可单独和/或并行地(例如，同时)识别第一和第二图像数据集300、400的解剖标记302、304、306、402、404、406。

结合图5，控制器电路136通过执行配准算法而形成已配准图像502。已配准图像502包括第一和第二图像数据集300、400，其具有与几何模型的参数坐标系统对准的解剖标记302、304、306、402、404、406。

图5说明已配准图像502的实施例500。已配准图像502可在显示器138上展示。已配准图像502可包括对应于第一和第二图像数据集300、400的解剖标记302、304、306、402、404、406的至少一部分的解剖标记514、516、518。实施例500可包括已配准图像502和显像512。举例来说，显像512可与已配准图像502并行地展示于显示器138上。显像512可表示所述几何模型。此外，显像512包括通过所述几何模型识别的所关注解剖结构的解剖标记522到525。视需要，第一与第二数据图像数据集300、400可与已配准图像502并行地显示于显示器138上。

在208处，控制器电路136可确定是否接收到视场(field of view；FOV)。举例来说，所述FOV可表示所关注解剖结构内对应于已配准图像502的平面。可通过用户界面142由控制器电路136接收所述FOV。结合图6，控制器电路136可基于临床医生的选择从展示于显示器138上的图形用户界面(GUI)600接收FOV。

图6说明GUI 600的实施例。GUI 600包括多个用户界面部件602到605。用户界面部件602到605可表示被配置成允许临床医生选择系统函数、操纵已配准图像502、输入信息等等的图形图标、文本输入空间等等。举例来说，用户界面部件602可被配置成围绕所关注解剖结构的一个或多个轴线旋转已配准图像502的FOV。在另一实例中，用户界面部件604可被配置成沿着所关注解剖结构的一个或多个轴线平移和/或横穿所述FOV。在另一实例中，用户界面部件603可被配置成增大FOV的厚度。在另一实例中，用户界面部件605可被配置成穿过已配准图像502设置预先界定视图和/或剖面。

如果未接收到所述FOV，那么在210处，控制器电路136可被配置成将已配准图像502旋转到默认FOV。默认FOV可对应于存储于存储器140中的已配准图像502的默认定向(例如，上方到下方、左侧到右侧、前面到背面)。举例来说，控制器电路136将第一和第二图像数据集300、400与所述几何模型配准。几何模型的参数坐标系统包括与解剖结构的总体解剖方向的已知且固定的关系，这实现FOV在所关注解剖结构内的旋转和/或平移。当将已配准图像502旋转到默认FOV时，控制器电路136被配置成指导已配准图像502显示于显示器138上。

默认FOV可存储于存储器140中。举例来说，存储器140可包括默认FOV数据库，其包括与对应默认FOV匹配的所关注解剖结构。在实施例中，所关注解剖结构可以是心脏。控制器电路136可将默认FOV设置到心脏的四个腔室视图。在另一实例中，默认FOV数据库可基于与对应默认FOV匹配的由临床医生执行的扫描。

如果接收到所述FOV，那么在212处，控制器电路136可被配置成在所关注解剖结构内旋转和/或平移已配准图像502的FOV。举例来说，控制器电路136可基于临床医生利用用户界面142的选择而旋转和/或平移已配准图像502的FOV。所关注解剖结构内对应于所述FOV的已配准图像502的旋转和/或平移可通过调整参数坐标系统由控制器电路136确定。举例来说，已配准图像502的解剖标记514、516、518具有几何模式的参数坐标系统的固定位置(例如，坐标)。已配准图像502对应于FOV的旋转的旋转基于从用户界面142接收到的用户选择通过旋转参数坐标系统而由控制器电路136产生。举例来说，FOV的旋转和/或平移可基于图6中所展示的GUI 600的用户界面部件602和604的选择。当将已配准图像502旋转到所接收到的FOV时，控制器电路136被配置成指导已配准图像502显示于显示器138上。

在214处，控制器电路136可显示显像512上的视图标记510。视图标记510可指示所关注解剖结构内FOV的位置和/或定向。举例来说，当FOV在所关注解剖结构内旋转和/或平移时，控制器电路136可连续地和/或间歇性地更新和/或修正视图标记510相对于显像512的位置。

在218处，控制器电路136可在已配准图像502和第一和第二图像数据集300、400上覆盖参考标记507到509。参考标记507到509可对应于所关注解剖结构内的所关注用户结构。举例来说，临床医生可利用用户界面142(例如，GUI 600)将参考标记507放置于已配准图像502上。控制器电路136可在已配准图像502上覆盖参考标记507。另外或另一选择为，控制器电路136可确定参考标记507相对于参数坐标系统的坐标。基于所述坐标，控制器电路136可分别在第一和第二图像数据集300、400上覆盖参考标记508到509。

在220处，控制器电路136可在已配准图像上覆盖第一与第二边界。第一边界和第二边界可分别基于第一和第二图像数据集300、400。举例来说，第一边界和第二边界可表示并不包括所关注解剖结构的数据的第一和第二图像数据集300、400的边缘(例如，边界框)和/或部分。

如图5中所示，展示基于第一图像数据集300的第一边界520。在第一边界520外部，已配准图像502仅包括第二图像数据集400的信息。在第一边界520内，已配准图像502包括第一和第二图像数据集300、400的信息。另外或另一选择为，第一边界和第二边界可以覆盖在第一和第二图像数据集300、400上。举例来说，第二图像数据集400包括第一边界520。

在222处，控制器电路136可确定是否接收到调整参考标记507到509中的至少一个的位置的用户选择。举例来说，控制器电路136可监测用户界面142以用于调整解剖标记302、304、306中的至少一个。

如果接收到所述用户选择，那么在224处，控制器电路136可被配置成调整参考标记507到509相对于已配准图像502，显像512和/或第一和第二图像数据集300、400的位置。举例来说，控制器电路136可基于从用户界面142接收到的用户选择而接收对参考标记507的调整。控制器电路136可基于所述用户选择而重新定位参考标记507。基于经调整参考标记的坐标，控制器电路136可调整第一和第二图像数据集300、400的参考标记508到509的位置以与经调整参考标记的坐标匹配。

应注意，可以以硬件、软件或者其组合实施各种实施例。各种实施例和/或部件，例如其中的模块或部件和控制器也可实施为一个或多个计算机或处理器的部分。计算机或处理器可以包括计算装置、输入装置、显示单元和界面，例如用于访问因特网。计算机或处理器可包括微处理器。微处理器可联接到通信总线。计算机或处理器还可包括存储器。存储器可包括随机存取存储器(Random Access Memory；RAM)和只读存储器(Read Only Memory；ROM)。计算机或处理器还可以包括存储装置，存储装置可以是硬盘驱动器或者可移动存储驱动器，例如固态驱动器、光盘驱动器等。存储装置也可以是其它用于将计算机程序或其它指令加载到计算机或处理器内的类似构件。

如本文中所用，术语“计算机”、“子系统”、“电路”、“控制器电路”或“模块”可以包括任何基于处理器或基于微处理器的系统，包括使用微控制器的系统、精简指令集计算机(reduced instruction set computer；RISC)、ASIC、逻辑电路和能够执行本文中所描述的功能的任何其它电路或处理器。以上实例仅为示范性的，并且因此不希望以任何方式限制术语“计算机”、“子系统”、“电路”、“控制器电路”或“模块”的定义和/或含义。

计算机或处理器执行存储于一个或多个存储元件中的指令集，以便处理输入数据。存储元件也可根据需要或要求来存储数据或其它信息。存储元件可呈在处理机器内的信息源或物理存储器元件的形式。

指令集可以包括各种命令，其指导作为处理机器的计算机或处理器执行具体操作，例如各种实施例的方法和过程。指令集可呈软件程序形式。软件可呈各种形式，例如系统软件或者应用程序软件，并且其可实施为有形且非暂时性计算机可读介质。另外，软件可呈单独程序或模块的集合、在较大程序内的程序模块或者程序模块的一部分的形式。软件还可包括呈面向对象编程形式的模块化编程。由处理机器对输入数据的处理可响应于操作者命令或者响应于先前处理的结果，或者响应于由另一处理机器做出的请求而进行。

如本文中所用，“被配置成”执行任务或操作的结构、限制或元件特别地以对应于所述任务或操作的方式在结构上形成、构造或调适。出于清楚目的并且为了避免疑惑，只能通过修改来执行任务或操作的对象并非“被配置成”执行如本文中所用的任务或操作。替代地，如本文中所用，使用“被配置成”表示结构适应或特征，并且表示被描述为“配置成”执行任务或操作的任何结构、限制或元件的结构要求。例如，“被配置成”执行任务或操作的控制器电路、处理器或计算机可以理解为被特别地结构化为执行所述任务或操作(例如，具有在其上面存储或与其相结合地使用、被定制成执行或旨在执行所述任务或操作的一个或多个程序或指令和/或具有被定制成执行或旨在执行所述任务或操作的处理电路系统的布置)。出于清楚目的并且避免疑惑，通用计算机(其可以变成“被配置成”执行任务或操作，如果适当地编程的话)并非“被配置成”执行任务或操作，除非或者直到特定地编程或者结构上修改成执行所述任务或操作。

如本文中所用，术语“软件”和“固件”是可互换的，且包括存储于存储器中用于由计算机执行的任何计算机程序，所述存储器包括RAM存储器、ROM存储器、EPROM存储器、EEPROM存储器和非易失性RAM(NVRAM)存储器。关于可用于计算机程序的存储的存储器类型，以上存储器类型仅为示范性的，且因此并不是限制性的。

应了解，以上描述希望为说明性而非限制性的。举例来说，上述实施例(和/或其方面)可相互组合使用。此外，可做出许多修改以使得特定情形或材料适应各种实施例的教导内容而不会偏离其范围。虽然本文中所描述的材料的尺寸和类型希望界定各种实施例的参数，但它们绝非限制性的并且只是示范性的。所属领域的技术人员在查阅以上描述后将会明白许多其它实施例。因此，应参考所附权利要求，以及此类权利要求被赋予的等效物的整个范围来确定各个实施例的范围。在所附权利要求中，术语“包括(including)”和“其中(inwhich)”用作相应术语“包括(comprising)”和“其中(wherein)”的纯英语等效物。此外，在所附权利要求中，术语“第一”、“第二”和“第三”等仅用作标签，且并不希望对其对象强加数值要求。本书面描述使用实例来公开各种实施例，包括最佳模式，且也使得所属领域的技术人员能够实践各种实施例，包括做出和使用任何装置或系统和执行任何并入的方法。各种实施例的专利保护范围由权利要求限定，且可包括所属领域的技术人员想到的其它实例。如果此类其它实例具有与权利要求的字面语言并无不同的结构元件或者所述实例包括与权利要求的字面语言并无实质不同的等效结构元件，那么所述实例预期在权利要求的范围内。

Claims (10)

1.一种用于多模态成像的方法，所述方法包括：

接收所关注解剖结构的第一和第二图像数据集；

将所述第一和第二图像数据集与所述所关注解剖结构的几何模型配准以形成已配准图像，其中所述几何模型包括解剖标记的位置；以及

显示所述已配准图像。

2.根据权利要求1所述的用于多模态成像的方法，其特征在于：所述配准操作进一步包括识别所述第一和第二图像数据集的解剖标记，且基于由所述几何模型界定的参数坐标系统将坐标分配给所述解剖标记。

3.根据权利要求1所述的用于多模态成像的方法，其特征在于：进一步包括显示所述第一和第二图像数据集以及所述已配准图像。

4.根据权利要求3所述的用于多模态成像的方法，其特征在于：进一步包括在所述已配准图像和所述第一和第二图像数据集上覆盖参考标记，且基于用户选择调整所述参考标记的位置。

5.根据权利要求1所述的用于多模态成像的方法，其特征在于：进一步包括从用户界面接收所述所关注解剖结构的视场，其中所述已配准图像对应于所述视场。

6.根据权利要求5所述的用于多模态成像的方法，其特征在于：进一步包括在显像上显示视图标记，其中所述视图标记表示相对于所述显像的所述视场。

7.根据权利要求1所述的用于多模态成像的方法，其特征在于：进一步包括在所述已配准图像上覆盖第一与第二边界，其中所述第一边界是基于所述第一图像数据集且所述第二边界是基于所述第二图像数据集。

8.根据权利要求1所述的用于多模态成像的方法，其特征在于：所述第一图像数据集与超声成像数据相关联。

9.一种多模态成像系统，包括：

显示器；

存储器，其被配置成存储第一和第二图像数据集以及几何模型，其中所述几何模型包括所关注解剖结构的解剖标记的位置；

一个或多个处理器，其被配置成执行存储于所述存储器中的经编程指令，其中所述一个或多个处理器在执行所述经编程指令时执行以下操作：

接收所关注解剖结构的所述第一和第二图像数据集；

将所述第一和第二图像数据集与所述所关注解剖结构的所述几何模型配准以形成已配准图像；以及

在所述显示器上显示所述已配准图像。

10.一种有形且非暂时性计算机可读介质，包括被配置成引导一个或多个处理器以进行以下操作的一个或多个计算机软件模块：

接收所关注解剖结构的第一和第二图像数据集，其中所述第一图像数据集与超声成像数据相关联且所述第二图像数据集与放射性图像数据相关联；

将所述第一和第二图像数据集与所述所关注解剖结构的几何模型配准以形成已配准图像，其中所述几何模型包括解剖标记的位置；以及

显示所述已配准图像。