CN112529919B - 用于生成受试者的心脏的牛眼图生成的系统和方法 - Google Patents

Abstract

提供了一种用于生成受试者的心脏的牛眼图的系统。系统可以获得多个组中的多个切片图像，其中，各个组对应于心脏的多个切面中的一个切面并且包括对应切面的至少一个切片图像，并且各个切片图像包括右心室的一部分、左心室的一部分以及心肌的一部分。系统还可以在各个切片图像中通过应用界标检测网络来识别与左心室相关联的至少一个界标。系统还可以基于在多个切片图像中的每一个切片图像中识别的至少一个界标来生成心脏的牛眼图，其中，牛眼图包括多个扇区，多个扇区中的每一个扇区表示多个切面中的一个切面中的心肌的解剖区域。

Description

用于生成受试者的心脏的牛眼图生成的系统和方法

技术领域

本公开总体涉及心脏分析，更具体地涉及用于基于机器学习技术自动生成牛眼图的方法和系统。

背景技术

医学成像广泛用于心脏功能分析和疾病诊断。例如，可以执行电影磁共振成像(CMRI)来扫描受试者(例如，患者)的心脏，以在整个心动周期中采集心脏的高分辨率解剖图像。从这些解剖图像分割心脏结构(例如，左心室、右心室以及心肌)可以使得能够测量一个或多个心脏诊断指数。为了呈现来自CMRI的数据，可以将来自不同检查的测量结果传送到牛眼图中，该牛眼图可以用于数据集成和临床决策。按常规，牛眼图通常是手动生成的，这不仅耗时，而且易受人为错误或主观性的影响。由此，期望提供系统和方法，这些系统和方法用于自动生成牛眼图，从而提高心脏分析和/或诊断的效率和准确度。

发明内容

根据本公开的一个方面，提供了一种用于生成受试者的心脏的牛眼图的系统。心脏可以包括左心室、右心室以及左心室周围的心肌。系统可以包括：至少一个储存装置，其包括用于生成受试者的心脏的牛眼图的指令集；和至少一个处理器，其被配置为与至少一个储存装置通信。当执行指令时，至少一个处理器可以被配置为引导系统执行以下操作。至少一个处理器可以被配置为引导系统获得多个组中的多个切片图像，其中，多个组对应于基本上垂直于心脏的长轴的多个切面，各个组对应于多个切面中的一个切面并且包括对应切面的至少一个切片图像，并且各个切片图像包括右心室的一部分、左心室的一部分以及心肌的一部分。至少一个处理器还可以被配置为引导系统在多个切片图像中的每一个切片图像中，通过应用界标检测网络来识别与左心室相关联的至少一个界标。至少一个处理器还可以被配置为引导系统基于在多个切片图像中的每一个切片图像中识别的至少一个界标来生成心脏的牛眼图，其中，牛眼图包括多个扇区，多个扇区中的每一个扇区表示多个切面中的一个切面中的心肌的解剖区域。

根据本公开的一个方面，提供了一种用于生成界标检测网络的系统。系统可以包括：至少一个储存装置，其存储用于生成界标检测网络的指令集；和至少一个处理器，其被配置为与至少一个储存装置通信。当执行指令时，至少一个处理器可以被配置为引导系统执行以下操作。至少一个处理器可以被配置为引导系统获得多个训练样本。多个训练样本中的每一个训练样本可以包括样本心脏的样本切片图像和样本切片图像的金标准距离偏移图，其中，样本切片图像用样本心脏的至少一个金标准界标来注释，并且金标准距离偏移图包括样本切片图像的各个像素与至少一个金标准界标中的每一个金标准界标之间的距离信息。至少一个处理器还可以被配置为引导系统通过使用多个训练样本训练初步模型来生成界标检测网络。

在一些实施例中，至少一个处理器可以被配置为引导系统执行包括获得多个组中的多个切片图像的操作，其中，各个组包括至少一个切片图像，各个组对应于基本上垂直于心脏的长轴的切面，并且各个切片图像包括右心室的一部分、左心室的一部分以及心肌的一部分。至少一个处理器还可以被配置为引导系统执行操作，该操作包括：在多个切片图像中的每一个切片图像中，通过应用界标检测网络来识别与左心室相关联的至少一个界标。至少一个处理器还可以被配置为引导系统执行操作，该操作包括：基于在多个切片图像中的每一个切片图像中识别的至少一个界标来生成心脏的牛眼图，其中，牛眼图包括多个扇区，多个扇区中的每一个扇区表示多个切面中的一个切面中的心肌的解剖区域。

根据本公开的另一方面，提供了一种非瞬时性计算机可读存储介质，包括用于生成受试者的心脏的牛眼图的指令集。当由至少一个处理器执行时，该指令集指导至少一个处理器实行一种方法。方法可以包括：获得多个组中的多个切片图像，其中，多个组对应于基本上垂直于心脏的长轴的多个切面，各个组对应于多个切面中的一个切面并且包括对应切面的至少一个切片图像，并且各个切片图像包括右心室的一部分、左心室的一部分以及心肌的一部分。方法还可以包括：在多个切片图像中的每一个切片图像中，通过应用界标检测网络来识别与左心室相关联的至少一个界标。方法还可以包括：基于在多个切片图像中的每一个切片图像中识别的至少一个界标来生成心脏的牛眼图，其中，牛眼图包括多个扇区，多个扇区中的每一个扇区表示多个切面中的一个切面中的心肌的解剖区域。

附加特征将部分在以下描述中阐述，并且将部分在审查以下内容和附图时对本领域技术人员变得显而易见，或者可以通过示例的产生或操作来学习。本公开的特征可以通过实践或使用在下面讨论的详细示例中阐述的方法、装置以及组合的各个方面来实现和获得。

附图说明

本公开根据示例性实施例来进一步描述。这些示例性实施例参见附图来详细描述。这些实施例是非限制性的示例性实施例，其中在附图的若干视图中，同样的附图标记表示类似的结构，并且附图中：

图1是例示了根据本公开的一些实施例的示例性成像系统的示意图；

图2是例示了根据本公开的一些实施例的计算装置的示例性硬件和/或软件部件的示意图；

图3是例示了根据本公开的一些实施例的移动装置的示例性硬件和/或软件部件的示意图；

图4A和图4B是例示了根据本公开的一些实施例的示例性处理装置的框图；

图5是例示了根据本公开的一些实施例的用于生成受试者的心脏的牛眼图的示例性过程的流程图；

图6是例示了根据本公开的一些实施例的用于获得多个组中的多个切片图像的示例性过程的流程图，这些组对应于心脏的多个切面；

图7是例示了根据本公开的一些实施例的用于识别至少一个界标的示例性过程的流程图，该至少一个界标与切片图像中的左心室相关联；

图8是例示了根据本公开的一些实施例的用于生成界标检测网络的示例性过程的流程图；

图9是例示了根据本公开的一些实施例的用于生成界标检测网络的示例性过程的流程图；以及

图10是例示了根据本公开的一些实施例的用于生成受试者的心脏的牛眼图的示例性过程的示意图。

具体实施方式

在以下详细描述中，通过示例的方式阐述了许多具体细节，以便提供对相关公开的透彻理解。应当理解，除非上下文明确地另外指示。如本文所用的，术语“和/或”包括一个或多个相关联的所列项目的任何和所有组合。本公开中的术语“图像”用于共同地指代图像数据(例如，扫描数据、投影数据)和/或各种形式的图像，包括二维(2D)图像、三维(3D)图像、四维(4D)图像等。本公开中的术语“像素”和“体素”可互换地用于指代图像的元素。在受试者的图像中示出的解剖结构可以与存在于受试者身体中或上的实际解剖结构对应。术语“分割受试者图像中的解剖结构”或“识别受试者图像中的解剖结构”可以指代分割或识别图像中与受试者身体中或上存在的实际解剖结构对应的部分。

本公开的这些和其它特征和特性、以及结构的相关元件的操作方法和功能以及零件的组合和制造的经济性，在参见附图考虑以下描述时可以变得更加明显，所有附图形成本公开的一部分。然而，应当明确地理解，附图仅用于例示和描述的目的，而不旨在限制本公开的范围。应当理解，附图不是等比例。

本文提供了用于诸如用于疾病诊断或研究目的的非侵入性生物医学成像的系统和方法。在一些实施例中，系统可以包括单模式成像系统和/或多模式成像系统。单模式成像系统可以包括例如超声成像系统、X射线成像系统、计算机断层摄影(CT)系统、磁共振成像(MRI)系统、超声检查系统、正电子发射断层摄影(PET)系统、光学相干断层摄影(OCT)成像系统、超声(US)成像系统、血管内超声(IVUS)成像系统、近红外光谱(NIRS)成像系统、远红外(FIR)成像系统等、或其任意组合。多模式成像系统可以包括例如X射线成像-磁共振成像(X射线-MRI)系统、正电子发射断层摄影-X射线成像(PET-X射线)系统、单光子发射计算机断层摄影-磁共振成像(SPECT-MRI)系统、正电子发射断层摄影-计算机断层摄影(PET-CT)系统、C形臂系统、数字减影血管造影-磁共振成像(DSA-MRI)系统等。应当注意，下面描述的成像系统仅是为了例示的目的而提供的，而不旨在限制本公开的范围。

如本文所用的术语“成像模式”或“模式”广泛地指代采集、生成、处理和/或分析受试者的成像信息的成像方法或技术。受试者可以包括生物受试者和/或非生物受试者。生物受试者可以是人、动物、植物或其部分(例如，心脏、乳房等)。在一些实施例中，受试者可以是具有或不具有生命的有机和/或无机物的人造组合物。

本公开的一个方面涉及用于基于机器学习技术自动生成受试者的心脏的牛眼图的系统和方法。受试者的心脏可以包括左心室、右心室以及左心室周围的心肌。系统可以获得多个组中的多个切片图像。各个组可以包括至少一个切片图像，并且对应于基本上垂直于心脏长轴的切面。切片图像可以包括右心室的一部分、左心室的一部分以及心肌的一部分。系统可以在多个切片图像中的每一个切片图像中通过应用界标检测网络来识别与左心室相关联的至少一个界标，并且基于在多个切片图像中的每一个切片图像中识别的至少一个界标来生成心脏的牛眼图。牛眼图可以包括多个扇区，多个扇区中的每一个扇区表示多个切面中的一个切面中的心肌的解剖区域。

根据本公开的一些实施例，与切片图像中的左心室相关联的至少一个界标可以使用界标检测网络来识别，并且牛眼图可以基于识别结果自动生成。术语“自动”是指在很少或没有直接的人为干预的情况下进行分析信息并生成结果的过程的方法和系统。界标检测网络可以是神经网络，该神经网络被配置为接收切片图像并输出与切片图像中的一个或多个界标有关的信息(例如，位置信息)。在本公开的一些实施例中，界标识别不依赖于人力。相反，可以将从训练数据学习用于识别一个或多个界标的最佳机制的界标检测网络用于界标识别。与手动定义界标相比，这种方法可以更可靠且鲁棒、不易受人为错误或主观性影响和/或完全自动化。

另外，在某些实施例中，对于切片图像，界标检测网络可以输出距离偏移图，该距离偏移图指示各个像素与切片图像中的一个或多个估计界标的相对位置。切片图像的至少一个界标还可以基于距离偏移图中的各个像素的位置信息以及可选地切片图像中的各个像素的权重(该权重反映像素的可靠性)来确定。换言之，切片图像的各个像素可以具有关于待识别切片图像的至少一个界标的投票权，并且取决于界标识别的可靠性而对界标识别具有不同的影响。这可以进一步提高界标识别结果的准确性和可靠性。

图1是例示了根据本公开的一些实施例的示例性成像系统100的示意图。如图所示，成像系统100可以包括成像装置110、网络120、一个或多个终端130、处理装置140以及储存装置150。在一些实施例中，成像装置110、终端130、处理装置140和/或储存装置150可以经由无线连接(例如，网络120)、有线连接或其组合彼此连接和/或通信。成像系统100的部件之间的连接可以是可变的。仅仅通过示例的方式，成像装置110可以通过网络120连接到处理装置140，如图1例示。作为另一示例，成像装置110可以直接或通过网络120连接到处理装置140。作为另外的示例，储存装置150可以通过网络120或直接连接到处理装置140。

成像装置110可以通过扫描受试者来生成或提供与受试者有关的图像数据。在一些实施例中，受试者可以包括生物受试者和/或非生物受试者。例如，受试者可以包括身体的特定部分，诸如心脏、乳房等。在一些实施例中，成像装置110可以包括如本公开中别处描述的单模式扫描仪(例如，MRI装置、CT扫描仪)和/或多模式扫描仪(例如，PET-MR扫描仪)。在一些实施例中，与受试者有关的图像数据可以包括投影数据、受试者的一个或多个图像等。投影数据可以包括由成像装置110通过扫描受试者生成的原始数据和/或由受试者图像上的前向投影生成的数据。

在一些实施例中，成像装置110可以包括台架111、检测器112、检测区域113、扫描台114以及放射性扫描源115。台架111可以支撑检测器112和放射性扫描源115。受试者可以置于扫描台114上以被扫描。放射性扫描源115可以向受试者发射放射线。检测器112可以检测从检测区域113发射的辐射和/或辐射事件(例如，伽马光子)。在一些实施例中，检测器112可以包括多个检测器单元。在一些实施例中，成像装置110可以是MR扫描仪。

网络120可以包括可以促进成像系统100的信息和/或数据交换的任何合适的网络。在一些实施例中，成像系统100的一个或多个部件(例如，成像装置110、处理装置140、储存装置150、终端130)可以经由网络120与成像系统100的一个或多个其他部件传送信息和/或数据。例如，处理装置140可以经由网络120从成像装置110获得图像数据。作为另一示例，处理装置140可以经由网络120从终端130获得用户指令。

在一些实施例中，网络120可以包括一个或多个网络接入点。例如，网络120可以包括有线和/或无线网络接入点，诸如基站和/或互联网交换点，通过这些接入点，成像系统100的一个或多个部件可以连接到网络120以交换数据和/或信息。

终端130可以连接到成像装置110、处理装置140和/或储存装置150和/或与之通信。例如，终端130可以接收生成受试者的牛眼图的用户指令。作为另一示例，终端130可以显示由处理装置140生成的受试者的牛眼图。在一些实施例中，终端130可以包括移动装置131、平板计算机132、膝上型计算机133等、或其任意组合。在一些实施例中，终端130可以包括输入装置、输出装置等。在一些实施例中，终端130可以是处理装置140的一部分。

处理装置140可以处理从成像装置110、储存装置150、终端130或者成像系统100的其它部件获得的数据和/或信息。在一些实施例中，处理装置140可以是单个服务器或服务器组。服务器组可以是集中式的或分布式的。例如，处理装置140可以通过使用多个训练样本训练初步模型来生成界标检测网络。作为另一示例，处理装置140可以应用界标检测网络来从受试者的图像中识别与受试者的左心室相关联的至少一个界标。在一些实施例中，界标检测网络可以由处理装置生成，而界标检测网络的应用可以在不同的处理装置上执行。在一些实施例中，界标检测网络可以由与成像系统100不同的系统的处理装置或者与在其上执行界标检测网络的应用的处理装置140不同的服务器生成。比如，界标检测网络可以由提供和/或维护这种界标检测网络的供应商的第一系统生成，而基于所提供的界标检测网络的界标识别可以在供应商的客户的第二系统上执行。在一些实施例中，界标检测网络的应用可以响应于对界标识别的请求而在线执行。在一些实施例中，界标检测网络可以离线地确定或生成。

在一些实施例中，界标检测网络可以由例如成像装置110的制造商或供应商来确定和/或更新(或维护)。比如，制造商或供应商可以在成像装置110和/或处理装置140的安装之前或期间将界标检测网络加载到成像系统100或其一部分(例如，处理装置140)中，并且不时地(定期地或不定期地)维护或更新界标检测网络。维护或更新可以通过安装存储在储存装置(例如，光盘、USB驱动器等)上的程序来实现，或者经由网络120从外部源(例如，由制造商或供应商维护的服务器)检索。程序可以包括新的模型(例如，新的界标检测网络)或模型的一部分，该部分替代或补充模型的对应部分。

在一些实施例中，处理装置140可以在成像系统100本地或远离成像系统100。例如，处理装置140可以经由网络120从成像装置110、储存装置150和/或终端130访问信息和/或数据。作为另一示例，处理装置140可以直接连接到成像装置110、终端130和/或储存装置150以访问信息和/或数据。在一些实施例中，处理装置140可以在云平台上实施。例如，云平台可以包括私有云、公共云、混合云、社区云、分布式云、云间、多云等、或其组合。在一些实施例中，处理装置140可以由具有结合图2描述的一个或多个部件的计算装置200来实施。在一些实施例中，处理装置140可以包括一个或多个处理器(例如，单核处理器或多核处理器)。

储存装置150可以存储数据、指令和/或任何其他信息。在一些实施例中，储存装置150可以存储从处理装置140、终端130和/或成像装置110获得的数据。例如，储存装置150可以存储由成像装置110收集的图像数据、由处理装置140生成的受试者的一个或多个图像、由处理装置140生成或从外部源检索的界标检测网络等。在一些实施例中，储存装置150可以存储数据和/或指令，处理装置140可以执行或使用这些数据和/或指令来执行本公开中描述的示例性方法。在一些实施例中，储存装置150可以包括大容量储存装置、可移动储存装置、易失性读写存储器、只读存储器(ROM)等、或其任意组合。在一些实施例中，储存装置150可以在云平台上实施，如本公开中别处描述的。

在一些实施例中，储存装置150可以连接到网络120，以与成像系统100的一个或多个其他部件(例如，处理装置140、终端130)通信。成像系统100的一个或多个部件可以经由网络120访问存储在储存装置150中的数据或指令。在一些实施例中，储存装置150可以是处理装置140的一部分。

应当注意，成像系统100的以上描述旨在是例示性的，而不是限制本公开的范围。许多替代、修改以及变更对于本领域技术人员将是显而易见的。本文所述的示例性实施例的特征、结构、方法以及其他特性可以以各种方式组合，以获得附加和/或替代的示例性实施例。例如，成像系统100可以包括一个或多个附加部件。另外或替代地，可以省略上述成像系统100的一个或多个部件。作为另一示例，成像系统100的两个或更多个部件可以被集成到单个部件中。

图2是例示了根据本公开的一些实施例的计算装置200的示例性硬件和/或软件部件的示意图。计算装置200可以用于实施如本文所述的成像系统100的任何部件。例如，处理装置140和/或终端130可以分别经由其硬件、软件程序、固件或其组合在计算装置200上实施。尽管为了方便起见而仅示出了一个这种计算装置，但是与如本文所述的成像系统100有关的计算机功能可以以分布式方式在多个类似平台上实施，以分布处理负载。如图2例示，计算装置200可以包括处理器210、储存器220、输入/输出(I/O)230以及通信端口240。处理器210可以执行计算机指令(例如，程序代码)并且根据本文所述的技术执行处理装置140的功能。例如，处理器210可以处理从成像装置110、终端130、储存装置150和/或成像系统100的任何其它部件获得的图像数据。仅为了例示，在计算装置200中仅描述了一个处理器。然而，应当注意，本公开中的计算装置200还可以包括多个处理器，由此，如本公开中描述的由一个处理器执行的操作和/或方法操作也可以由多个处理器联合地或单独地执行。例如，如果在本公开中，计算装置200的处理器执行操作A和操作B二者，则应当理解，操作A和操作B还可以由计算装置200中的两个或更多个不同的处理器联合地或单独地执行(例如，第一处理器执行操作A并且第二处理器执行操作B，或者第一处理器和第二处理器联合地执行操作A和操作B)。储存器220可以存储从成像装置110、终端130、储存装置150和/或成像系统100的任何其它部件获得的数据/信息。在一些实施例中，储存器220可以包括大容量储存装置、可移动储存装置、易失性读写存储器、只读存储器(ROM)等、或其任意组合。在一些实施例中，储存器220可以存储执行在本公开中描述的示例性方法的一个或多个程序和/或指令。例如，储存器220可以存储用于处理装置140执行以生成界标检测网络的程序。

I/O 230可以输入和/或输出信号、数据、信息等。在一些实施例中，I/O 230可以使得用户能够与处理装置140交互。在一些实施例中，I/O 230可以包括输入装置和输出装置。通过输入装置接收的输入信息可以经由例如总线传输到另一部件(例如，处理装置140)以用于进一步处理。通信端口240可以连接到网络(例如，网络120)，以促进数据通信。通信端口240可以在处理装置140与成像装置110、终端130和/或储存装置150之间建立连接。该连接可以是有线连接、无线连接、能够进行数据传输和/或接收的任何其它通信连接、和/或这些连接的任意组合。

图3是例示了根据本公开的一些实施例的移动装置300的示例性硬件和/或软件部件的示意图。在一些实施例中，成像系统100的一个或多个部件(例如，终端130和/或处理装置140)可以在移动装置300上实施。

如图3例示，移动装置300可以包括通信平台310、显示器320、图形处理单元(GPU)330、中央处理单元(CPU)340、I/O 350、存储器360以及储存器390。在一些实施例中，移动装置300中还可以包括任何其他合适的部件，包括但不限于系统总线或控制器(未示出)。在一些实施例中，移动操作系统370(例如，iOS、Andriod、Windows Phone)和一个或多个应用380可以从储存器390加载到存储器360中，以便由CPU 340执行。应用380可以包括浏览器或任何其他合适的移动应用，用于从处理装置140接收和渲染与图像处理有关的信息或其他信息。用户与信息流的交互可以经由I/O 350来实现，并且经由网络120被提供给处理装置140和/或成像系统100的其他部件。

图4A和图4B是例示了根据本公开的一些实施例的示例性处理装置140A和140B的框图。处理装置140A和140B可以是如结合图1描述的示例性处理装置140。在一些实施例中，处理装置140A可以被配置位在生成受试者的心脏的牛眼图时应用界标检测网络。处理装置140B可以被配置为使用多个训练样本来生成界标检测网络。在一些实施例中，处理装置140A和140B可以分别在处理单元(例如，图2中例示的处理器210或如图3例示的CPU 340)上实施。仅仅通过示例的方式，处理装置140A可以在终端装置的CPU 340上实施，而处理装置140B可以在计算装置200上实施。或者，处理装置140A和140B可以在同一计算装置200或同一CPU 340上实施。例如，处理装置140A和140B可以在同一计算装置200上实施。

如图4A所示，处理装置140A可以包括采集模块401、识别模块402以及生成模块403。

采集模块401可以被配置为获得与成像系统100有关的信息。例如，采集模块401可以获得多个组中的多个切片图像。多个组可以对应于心脏的多个切面，例如，基部切面、中间腔切面以及心尖切面。各个组可以包括一个或多个切片图像，并且对应于基本上垂直于心脏长轴的切面。各个切片图像可以包括右心室的一部分、左心室的一部分以及心肌的一部分。在一些实施例中，切片图像可以对应于特定心动时相，诸如受试者的收缩末期(ES)时相、舒张末期(ED)时相或ES时相与ED时相之间的中间时相。切片图像可以基于使用图像采集装置采集的图像数据来生成。关于获得多个组中的多个切片图像的更多描述可以在本公开的别处找到。参见例如图5中的操作501及其相关描述。

识别模块402可以被配置为在多个切片图像中的每一个切片图像中通过应用界标检测网络来识别与左心室相关联的至少一个界标。与左心室相关联的界标可以对应于反映左心室的解剖特征的物理点，并且可以用于自动牛眼图生成。界标检测网络是指神经网络模型，该神经网络模型被配置为接收心脏的切片图像并输出与切片图像中的一个或多个界标有关的信息(例如，位置信息)。关于至少一个界标的识别的更多描述可以在本公开的别处找到。参见例如图5中的操作502及其相关描述。

生成模块403可以被配置为基于在多个切片图像中的每一个切片图像中识别的至少一个界标来生成心脏的牛眼图。牛眼图可以包括与各个切面中的心肌的多个解剖区域相对应的多个扇区。在一些实施例中，对于各个切面，可以将对应于切面的各个切片图像中的心肌分割成与切面中的心肌的多个解剖区域对应的多个分段，并且可以根据对应于切面的至少一个切片图像的分割结果来确定指示解剖区域的生理状况的一个或多个参数值。关于牛眼图的生成的更多描述可以在本公开的别处找到。参见例如图5中的操作503及其相关描述。

如图4B所示，处理装置140B可以包括采集模块404和模型生成模块405。

采集模块404可以被配置为获得多个训练样本。各个训练样本可以包括样本心脏的样本切片图像和样本切片图像的金标准距离偏移图。在一些实施例中，样本切片图像可以用样本心脏的至少一个金标准界标来注释，并且金标准距离偏移图可以包括样本切片图像的各个像素与至少一个金标准界标中的每一个金标准界标之间的距离信息。关于训练样本的采集的更多描述可以在本公开的别处找到。参见例如图8中的操作801及其相关描述。

模型生成模块405被配置为通过使用多个训练样本训练初步模型来生成界标检测网络。在一些实施例中，模型生成模块405可以根据如在本公开中的别处(例如，图5和相关描述)描述的机器学习算法来训练初步模型。关于界标检测网络的生成的更多描述可以在本公开的别处找到。参见例如图8中的操作802及其相关描述。

应当注意，以上描述仅是为了例示的目的而提供的，而不是旨在限制本公开的范围。对于本领域普通技术人员来说，在本公开的示教下可以进行多种变更和修改。然而，这些变更和修改不脱离本公开的范围。在一些实施例中，处理装置140A和/或处理装置140B可以共享两个或更多个模块，并且模块中的任何一个可以被分成两个或更多个单元。比如，处理装置140A和140B可以共享同一采集模块；即，采集模块401和采集模块404是同一模块。在一些实施例中，处理装置140A和/或处理装置140B可以包括一个或多个附加模块，诸如用于存储数据的储存模块(未示出)。在一些实施例中，处理装置140A和处理装置140B可以集成为一个处理装置140。

图5是例示了根据本公开的一些实施例的用于生成受试者的心脏的牛眼图的示例性过程的流程图。在一些实施例中，过程500可以由成像系统100执行。例如，过程500可以被实施为存储在储存装置(例如，储存装置150、储存器220和/或储存器390)中的指令集(例如，应用)。在一些实施例中，处理装置140A(例如，计算装置200的处理器210、移动装置300的CPU 340和/或图4A所例示的一个或多个模块)可以执行指令集，因此可以被引导来执行过程500。

如本文所用的，受试者可以包括生物受试者和/或非生物受试者，其包括心脏(或其部分)。例如，受试者可以是人、动物或其部分(例如，心脏、乳房等)。作为另一示例，受试者可以是人类心脏的体模。在一些实施例中，心脏可包括左心室(LV)、右心室(RV)以及左心室周围的心肌。左心室可以被分成多个垂直于(或基本上垂直于)心脏长轴的切面。例如，左心室可以被分成三个切面，包括基部切面、中间腔切面以及心尖切面，它们中的每一个都基本上垂直于心脏的长轴。在某些实施例中，心脏的长轴是指心脏左心室的长轴。

在一些实施例中，可以对心脏或心脏的一部分执行一个或多个测量以用于心脏健康评估和/或诊断。例如，可以将基部切面、中间腔切面以及心尖切面中的心肌分别划分为多个解剖区域。对于心肌的各个解剖区域，可以通过分析心脏的一个或多个图像来确定指示解剖区域的生理状况的一个或多个参数值。示例性参数可以包括心肌质量、心肌厚度(例如，舒张末期心肌厚度、收缩末期心肌厚度)、心肌血流量、应变力值、最大收缩时间、峰值强度时间、最大上升时间、活体组织百分比、活体组织厚度、射血分数等。可以在牛眼图中记录和/或显示在左心室的不同切面处的心肌的解剖区域的参数值。

在某些实施例中，可以根据美国心脏协会(AHA)推荐的分割系统，将基部切面、中间腔切面以及心尖切面中的心肌分成16或17个解剖区域。基部切面中的心肌可以分成6个解剖区域，包括基部前部分段、基部前间隔分段、基部下间隔分段、基部下部分段、基部下外侧分段以及基部前外侧分段。中间腔切面中的心肌可以分成6个解剖区域，包括中间前部分段、中间前间隔分段、中间下间隔分段、中间下部分段、中间下外侧分段以及中间前外侧分段。心尖切面中的心肌可以分成4个解剖区域，包括心尖前部分段、心尖间隔分段、心尖下部分段以及心尖外侧分段。可选地，可以将左心室顶部的没有任何腔的心肌与作为顶点的心尖切面中的心肌分开，作为心尖的心尖切面中的心肌可以被认为是心肌的第17解剖区域。

牛眼图可以是由如图10所示的多个同心环1010、1011以及1012形成的图形1009。同心环1010、1011以及1012可以分别表示左心室的基部切面、中间腔切面以及心尖切面。同心环1010可以包括与基部切面中的心肌的6个解剖区域相对应的扇区1至6。同心环1011可以包括与中间腔切面中的心肌的6个解剖区域相对应的扇区7至12。同心环1012可以包括与心尖切面中的心肌的4个解剖区域相对应的扇区13至16。可选地，牛眼图1009还可以包括位于其中心处以表示心尖的扇区17。在一些替代实施例中，可以以另一形式(例如在表格中)记录和/或显示与心肌有关的参数值。为了便于描述，术语“牛眼图”在本文中用于广泛地指代心脏的测量结果的任何表示。

在生成牛眼图时，可能需要根据心脏的图像来确定与心肌的不同解剖区域相对应的心肌的多个分段。从图像准确地划分分段对于牛眼图的生成和心脏病检测的准确性可能是关键的。按常规，图像中的心肌的分割可以由用户手动执行，这是耗时的并且易受用户的可变性的影响。为了便于生成牛眼图，在下文中的过程500中提供了用于生成心肌分段的自动方法。

在501中，处理装置140A(例如，采集模块401、处理器210的接口电路)可以获得多个组中的多个切片图像。多个组可以对应于心脏的多个切面，即，基部切面、中间腔切面以及心尖切面。各个组可以包括一个或多个切片图像，并且对应于基本上垂直于心脏长轴的切面。各个切片图像可以包括右心室的一部分、左心室的一部分以及心肌的一部分。

如本文所用的，切片图像是指短轴图像，其例示了垂直于心脏长轴的心脏横切面。与特定切面对应的组中的切片图像可以包括特定切面中的左心室、右心室以及心肌。仅仅通过示例的方式，可以获得对应于基部切面的第一组、对应于中间腔切面的第二组以及对应于心尖切面的第三组。第一组、第二组以及第三组中的每一组可以包括在对应切面中的心脏的10个切片图像。

在一些实施例中，切片图像可以基于使用图像采集装置采集的图像数据来生成，该图像采集装置诸如为系统100的成像装置110或外部图像采集装置。例如，可以引导诸如CT装置、MRI装置、X射线装置、PET装置等的成像装置110来扫描受试者(例如，受试者的心脏)。处理装置140A可以基于在受试者的扫描期间由成像装置110采集的图像数据来重建包括受试者的心脏的目标图像容积。处理装置140A还可以从目标图像容积分割左心室、右心室以及心肌，并且基于分割结果生成切片图像。关于切片图像的生成的细节可以在本公开的别处找到(例如，图6及其相关描述)。在一些替代实施例中，多个组中的切片图像可以预先生成并存储在储存装置(例如，储存装置150、储存器220、储存器390或外部源)中。左心室、右心室以及心肌可能已经在各个切片图像中被分割。处理装置140A可以直接从储存装置检索切片图像。

在某些实施例中，切片图像可以对应于特定心动时相，诸如受试者的收缩末期(ES)时相、舒张末期(ED)时相或ES时相与ED时相之间的中间时相。仅仅通过示例的方式，可以通过对受试者的心脏执行MR扫描使用MRI装置来采集一系列电影MRI(CMRI)图像。在MR扫描期间，可以采集表示受试者的心脏运动的心电图(ECG)信号。根据ECG信号，可以将受试者的心动周期分成多个心动时相，并且可以将在MR扫描中采集的图像数据分成与心动时相相对应的多个图像数据集。可以基于对应于ES时相(或ED时相)的图像数据集重建ES时相(或ED时相)的CMRI图像。例如，可以通过执行如结合图6描述的过程600由处理装置140A基于对应于ES时相(或ED时相)的CMRI图像生成切片图像。

在一些实施例中，在获得切片图像之后，处理装置140A可以确定切片图像的取向是否满足特定条件(例如，是否是短轴取向)。如果切片图像的取向不满足特定条件，则处理装置140A可例如通过重复操作603来获得取向满足特定条件的新切片图像。

在502中，处理装置140A(例如，识别模块402、处理器210的处理电路)可以在多个切片图像中的每一个切片图像中通过应用界标检测网络来识别与左心室相关联的至少一个界标。

如本文所用的，与左心室相关联的界标可以对应于反映左心室的解剖特征的物理点，并且可以用于自动牛眼图生成。仅仅通过示例的方式，在切片图像中识别的至少一个界标可以包括切片图像中的右心室与心肌之间的上交点(例如，如图10所示的1007)和/或右心室与心肌之间的下交点(例如，如图10所示的1008)。上交点可以更靠近受试者的肺，并且下交点可以更靠近受试者的肝脏。

界标检测网络是指神经网络模型，该神经网络模型被配置为接收心脏的切片图像并输出与切片图像中的一个或多个界标有关的信息(例如，位置信息)。界标检测网络可以是任何类型的神经网络模型。在某些实施例中，界标检测网络可以是卷积网络。示例性CNN模型可以包括全卷积网络，诸如V-NET模型、U-NET模型(例如，残差U-NET模型、密集U-NET模型)、超分辨率CNN(SRCNN)等。

在一些实施例中，处理装置140A(例如，采集模块401)可以经由网络(例如，网络120)从成像系统100的一个或多个部件(例如，储存装置150、终端130)或外部源获得界标检测网络。例如，界标检测网络可以由计算装置(例如，处理装置140B)预先训练，并且存储在成像系统100的储存装置(例如，储存装置150、储存器220和/或储存器390)中。处理装置140A可以访问储存装置并检索界标检测网络。在一些实施例中，界标检测网络可以根据机器学习算法来生成。机器学习算法可以包括但不限于人工神经网络算法、深度学习算法、决策树算法、关联规则算法、归纳逻辑编程算法、支持向量机算法、聚类算法、贝叶斯网络算法、强化学习算法、表示学习算法、相似度和度量学习算法、稀疏字典学习算法、遗传算法、基于规则的机器学习算法等、或其任意组合。用于生成界标检测网络的机器学习算法可以是监督学习算法、半监督学习算法、无监督学习算法等。在一些实施例中，界标检测网络可以由计算装置(例如，处理装置140B)通过执行用于生成本文所公开的界标检测网络的过程(例如，过程800)来生成。关于界标检测网络的生成的更多描述可以在本公开的别处找到(例如，图8至图9及其描述)。

在一些实施例中，为了通过应用界标检测网络从切片图像识别至少一个界标，处理装置140A可以将切片图像输入到界标检测网络中，并且界标检测网络可以直接输出切片图像中的至少一个界标的位置。或者，处理装置140A可以将切片图像输入到界标检测网络中，并且界标检测网络可以输出距离偏移图，该距离偏移图指示切片图像中的各个像素与一个或多个估计界标中的每一个界标的相对位置。处理装置140A可以基于距离偏移图和可选地其他信息(诸如切片图像的各个像素的权重)来确定至少一个界标。关于通过应用界标检测网络来识别切片图像中的至少一个界标的更多描述可以在本公开的别处找到(图6及其描述)。

在某些实施例中，对于对应于心脏的不同切面的切片图像，处理装置140A可以应用同一界标检测网络或不同的界标检测网络。例如，基部切面、中间腔切面以及心尖切面中的每一个切面可以具有对应的界标检测网络。作为另一示例，基部切面和中间腔切面可以对应于同一界标检测网络，并且心尖切面可以对应于另一界标检测网络。对于特定切面的切片图像，处理装置140A可以获得与特定切面相对应的界标检测网络，并且将所获得的界标检测网络应用于切片图像，以识别切片图像中的至少一个界标。

在503中，处理装置140A(例如，生成模块403、处理器210的处理电路)可以基于在多个切片图像中的每一个切片图像中识别的至少一个界标来生成心脏的牛眼图。

如上所述，牛眼图可以包括与各个切面中的心肌的多个解剖区域相对应的多个扇区。对应于心肌的特定解剖区域的扇区可以用特定解剖区域的一个或多个参数值来注释，以用于心脏病检测。例如，在如图10所示的示例性牛眼图1009中，扇区1至6中的每一个扇区可以用基部切面中的对应解剖区域的一个或多个参数值来注释。

为了生成牛眼图，对于各个切面，处理装置140A可以将对应于该切面的各个切片图像中的心肌分割成对应于切面中的心肌的多个解剖区域的多个分段。例如，根据AHA分割系统，基部切面可以分成6个解剖区域，包括基部前部分段、基部前间隔分段、基部下间隔分段、基部下部分段、基部下外侧分段以及基部前外侧分段。在基部切面的切片图像中，右心室于心肌之间的上交点可以被识别为与左心室相关联的界标。在基部切面的切片图像中的心肌可以被认为是圆。上交点可以被认为是起始点，并且可以通过从起始点以60°的角度步长顺时针旋转来生成分段。作为另一示例，右心室与心肌之间的上交点和下交点可以被识别为与左心室相关联的两个界标。两个界标之间的区域可以分成基部前间隔分段和基部下间隔分段。剩余的分段可以通过均匀地划分剩余的区域来确定，例如，通过从上交点以恒定角度步长(例如，60°)顺时针旋转或从下交点以恒定角度步长(例如，60°)逆时针旋转来确定。类似地，基于切片图像中的至少一个界标，可以将中间腔切面的各个切片图像中的心肌分为6个分段，并且可以将心尖切面的各个切片图像中的心肌分为4个分段。

对于多个切面中的每一个切面中的心肌的各个解剖区域，处理装置140A可以根据与切面对应的至少一个切片图像的分割结果来确定指示解剖区域的生理状况的一个或多个参数值。处理装置140A还可以根据解剖区域的参数值来注释表示牛眼图中的各个解剖区域的扇区。比如以基部前部为例，处理装置140A可以基于基部切面的各个切片图像中的对应分段来确定基部前部中的心肌厚度值。如果存在对应于基部切面的多个切片图像，则处理装置140A可以例如将心肌厚度的平均值确定为心肌厚度的最终值。心肌厚度的最终值可以在对应于牛眼图1009中的基部前部的扇区1中注释，如图10例示。在一些实施例中，解剖区域的参数值可以在对应扇区中作为数字或以任何其它形式(例如，特定颜色)注释。

在一些实施例中，可以对牛眼图执行另外的处理和/或分析。例如，处理装置140A可以基于扇区的参数值用不同颜色来注释牛眼图的扇区，其中，不同颜色可以直观地呈现不同的健康状态。作为另一示例，可以对与受试者的不同心动时相相对应的不同切片图像集合执行过程500，以便生成与不同心动时相相对应的多个牛眼图。处理装置140A还可以基于多个牛眼图来分析心脏在心动周期期间的动态变化。

应当注意，以上关于过程500的描述仅是为了例示的目的而提供的，而不是旨在限制本公开的范围。对于本领域普通技术人员来说，在本公开的示教下可以进行多种变更和修改。然而，这些变更和修改不脱离本公开的范围。在一些实施例中，过程500可以利用未描述的一个或多个附加操作和/或不利用以上讨论的操作中的一个或多个来完成。例如，过程500可以包括将牛眼图传输到终端装置(例如，医生的终端装置130)以便显示的附加操作。

图6是例示了根据本公开的一些实施例的用于获得多个组中的多个切片图像的示例性过程的流程图，这些组对应于心脏的多个切面。在一些实施例中，过程600可以由成像系统100执行。例如，过程600可以被实施为存储在储存装置(例如，储存装置150、储存器220和/或储存器390)中的指令集(例如，应用)。在一些实施例中，处理装置140A(例如，计算装置200的处理器210、移动装置300的CPU 340和/或图4A所例示的一个或多个模块)可以执行指令集，因此可以被引导来执行过程600。在一些实施例中，可以执行过程600的一个或多个操作，以实现如结合图5描述的操作501的至少一部分。

在601中，处理装置140A(例如，采集模块401、处理器210的接口电路)可以获得包括受试者心脏的目标图像容积。

如本文所用的，包括受试者心脏的目标图像容积是指包括心脏的3D图像。例如，目标图像容积可以是ES或ED时相的心脏的3D MRI图像。在一些实施例中，目标图像容积可以由处理装置140A基于在扫描(例如，受试者的MRI扫描)中采集的图像数据来重建。或者，目标图像容积可以预先生成并存储在储存装置(例如，储存装置150、储存器220、储存器390或外部源)中，并且处理装置140A可以从储存装置检索目标图像容积。

在602中，处理装置140A(例如，采集模块401、处理器210的接口电路)可以从目标图像容积分割心脏的右心室、左心室以及心肌，以获得分割的目标图像容积。

如本文所用的，从图像分割特定器官是指分割图像中对应于特定器官的区域。例如，可以从目标图像容积中识别与右心室上的物理点相对应的第一组体素、与左心室上的物理点相对应的第二组体素、以及与心肌上的物理点相对应的第三组体素。可选地，第一组、第二组以及第三组体素可以被分配有不同的标记或以不同的颜色表示以区分它们。

在一些实施例中，右心室、左心室以及心肌可以由用户(例如，医生、成像专家、技术人员)通过例如注释在用户界面上显示的目标图像容积来从目标图像容积手动地分割。或者，右心室、左心室以及心肌可以由处理装置140A根据图像分析算法(例如，图像分割算法)自动地分割。或者，右心室、左心室以及心肌可以由处理装置140A基于图像分析算法结合用户提供的信息半自动地分割。用户提供的示例性信息可以包括与图像分析算法有关的参数、与要分割的区域有关的位置参数、对由处理装置140A生成的初步分割结果的调节、或者拒绝或确认等。

在某些实施例中，处理装置140A可以通过应用第一心脏分割网络来对目标图像容积执行分割。第一心脏分割网络可以被配置为接收受试者心脏的3D图像数据，并根据3D图像数据分割心脏的右心室、左心室以及心肌。第一心脏分割网络可以是任何类型的神经网络模型。在某些实施例中，界标检测网络可以是卷积网络。示例性CNN模型可以包括全卷积网络，诸如V-NET模型、U-NET模型(例如，残差U-NET模型、密集U-NET模型)、超分辨率CNN(SRCNN)等。在一些实施例中，处理装置140A(例如，采集模块401)可以经由网络(例如，网络120)从成像系统100的一个或多个部件(例如，储存装置150、终端130)或外部源获得第一心脏分割网络。例如，第一心脏分割网络可以由计算装置(例如，处理装置140B)预先训练，并且存储在成像系统100的储存装置(例如，储存装置150、储存器220和/或储存器390)中。处理装置140A可以访问储存装置并检索第一心脏分割网络。在一些实施例中，第一心脏分割网络可以根据如本公开中别处描述的机器学习算法(例如，图5和相关描述)来生成。

仅仅通过示例的方式，第一心脏分割网络可以由处理装置140B根据监督学习算法来训练。处理装置140B可以获得多个训练图像和初步分割模型。各个训练图像可以包括样本心脏，在该样本心脏中，右心室、左心室以及心肌可能已经被用户注释为金标准分割结果。要训练的初步分割模型可以包括一个或多个模型参数，诸如层的数量(或计数)、节点的数量(或计数)、损失函数等、或其任意组合。在训练之前，初步分割模型可以具有模型参数的一个或多个初始参数值。初步分割模型的训练可以包括一次或多次迭代，以基于训练图像迭代地更新初步分割模型的模型参数，直到在特定迭代中满足终止条件为止。示例性终止条件可以是在特定迭代中获得的损失函数的值小于阈值、已经执行了特定计数的迭代、损失函数收敛使得在先前迭代和当前迭代中获得的损失函数的值的差在阈值内等。损失函数可以用于测量在迭代中由初步分割模型预测的分割结果与金标准分割结果之间的差异。示例性损失函数可以包括焦点损失函数、对数损失函数、交叉熵损失、Dice比率等。

在603中，对于多个切面中的每一个切面，处理装置140A(例如，采集模块401、处理器210的接口电路)可以从分割的目标图像容积中提取对应于切面的至少一个切片图像。

例如，处理装置140A可以通过将左心室分成与心脏的长轴垂直的基部切面、中间腔切面以及心尖切面，来将分割的目标图像容积分成第一部分、第二部分以及第三部分。在对应于基部切面的第一部分中，处理装置140A可以提取第一数量的垂直于心脏长轴的横切面图像，作为基部切面的至少一个切片图像。类似地，处理装置140A可以从第二部分提取中间腔切面的第二数量的切片图像，并且从第三部分提取心尖切面的第三数量的切片图像。第一数量、第二数量以及第三数量可以等于任何正整数，它们可以彼此相等或部分或完全不同。

应当注意，以上关于过程600的描述仅是为了例示的目的而提供的，而不是旨在限制本公开的范围。对于本领域普通技术人员来说，在本公开的示教下可以进行多种变更和修改。然而，这些变更和修改不脱离本公开的范围。在一些实施例中，过程600可以利用未描述的一个或多个附加操作和/或不利用以上讨论的操作中的一个或多个来完成。例如，操作602和603可以被集成到单个操作中。作为另一示例，操作603可以在操作602之前执行。例如，处理装置140A可以首先从原始目标图像容积中提取对应于各个切面的至少一个切片图像。处理装置140A然后可以通过应用第二心脏分割网络来从各个切片图像分割心脏的右心室、左心室以及心肌，其中，第二心脏分割网络可以用于从2D图像分割心脏结构。可选地，分割的切片图像可以被存储在储存装置中并且在操作501中被检索以用于另外的处理，例如，生成受试者的牛眼图。

在一些实施例中，可以对与受试者的ES时相和/或ED时相相对应的图像数据执行过程500和/或过程600的一个或多个操作。与ES时相和/或ED时相对应的图像数据的处理结果可以用于处理与受试者的其它心动时相对应的图像数据。仅仅通过示例的方式，可以通过对ED时相的目标图像容积执行过程600来生成具有心脏结构(例如，左心室、右心室以及心肌)的标记的ED时相的目标切片图像。可以处理(例如，重采样、裁剪、填充、归一化)与即时时相对应的切片图像，以生成具有与ED时相的目标切片图像相同的格式(例如，大小和/或分辨率)的处理后的切片图像。可以基于目标切片图像中的心脏结构的标记来生成对应于即时时相的切片图像中的心脏结构的标记。

图7是例示了根据本公开的一些实施例的用于识别至少一个界标的示例性过程的流程图，该至少一个界标与切片图像中的左心室相关联。在一些实施例中，过程700可以由成像系统100执行。例如，过程700可以被实施为存储在储存装置(例如，储存装置150、储存器220和/或储存器390)中的指令集(例如，应用)。在一些实施例中，处理装置140A(例如，计算装置200的处理器210、移动装置300的CPU 340和/或图4A所例示的一个或多个模块)可以执行指令集，因此可以被引导来执行过程700。在一些实施例中，可以执行过程700的一个或多个操作，以实现如结合图5描述的操作502的至少一部分。例如，可以对在操作501中获得的各个切片图像执行过程700。

如结合502所述，至少一个界标可以对应于反映左心室的解剖特征的物理点，并且可以用于自动生成牛眼图。为了例示的目的，参照切片图像中的右心室与心肌之间的上交点和下交点的识别来描述以下描述。这不旨在是限制性的，并且至少一个界标可以包括切片图像中的上交点和下交点之一以及可选地其他点。

在701中，处理装置140A(例如，采集模块401、处理器210的接口电路)可以通过将切片图像输入到界标检测网络中来获得切片图像的距离偏移图。

距离偏移图包括切片图像的各个像素与一个或多个估计界标中的每一个估计界标之间的距离信息。例如，切片图像可以在包括X轴和Y轴的2D坐标系中表示。对于切片图像的特定像素，距离偏移图可以包括特定像素与估计的上交点之间沿着X轴的距离、特定像素与估计的上交点之间沿着Y轴的距离、特定像素与估计的下交点之间沿着X轴的距离、特定像素与估计的下交点之间沿着Y轴的距离。切片图像中的不同像素的估计界标可以相同或不同。换言之，各个像素可以具有关于要识别的上交点和下交点的投票权。与直接输出上交点和下交点的位置相比，这可以提高上交点和下交点的识别准确度。

在一些实施例中，切片图像的距离偏移图可以包括第一距离偏移图和/或第二距离偏移图，第一距离偏移图包括沿着X轴方向的距离信息，第二距离偏移图包括沿着Y轴方向的距离信息。例如，如果切片图像的图像分辨率为256*256，则界标检测网络可以输出具有大小256*256的两个矩阵，分别作为第一距离偏移图和第二距离偏移图。可选地，两个矩阵可以表示为两个图像。

在某些实施例中，切片图像可以位于心脏的切面处，并且在701中使用的界标检测网络可以对应于切片图像的该切面。例如，可以将基部切面的切片图像输入到与基部切面相对应的界标检测网络中。

在702中，处理装置140A(例如，识别模块402、处理器210的处理电路)可以确定切片图像的各个像素的权重。

像素的权重可以反映像素在识别至少一个界标中的重要性和/或可靠性。例如，如果第一像素具有比第二像素高的权重，则距离偏移图中的第一像素的距离信息可以具有比第二像素的距离信息高的可靠性。在一些实施例中，像素的权重可以由用户设置或由处理装置140A确定。例如，处理装置140A可以根据像素的位置来确定像素的权重。如果像素对应于左心室、右心室或心肌上的物理点，则可以向该像素分配较高的权重。作为另一示例，处理装置140A可以将切片图像输入到权重确定模型中，以获得切片图像的各个像素的权重。权重确定模型可以使用至少一个训练切片图像来预先训练，其中，至少一个训练切片图像中的各个像素可以具有已知权重(例如，由用户注释)。

在703中，处理装置140A(例如，识别模块402、处理器210的接口电路)可以基于距离偏移图和切片图像的各个像素的权重来确定切片图像中的至少一个界标的位置。

为了例示的目的，将上交点的确定作为示例进行描述。仅仅通过示例的方式，对于切片图像的各个像素，处理装置140A可以基于距离偏移图和像素的位置来确定对应的估计的上交点的位置。处理装置140A还可以通过基于各个像素的权重对所估计的上交点的位置进行加权平均来确定上交点的位置。作为另一示例，处理装置140A可以去除权重小于阈值(诸如0.4、0.5、0.6、0.7、30％、40％、50％、60％等)的一部分像素。处理装置140A还可以基于剩余的像素确定上交点的位置。通过对不同的像素分配不同的权重，可以主要通过具有较高可靠性和重要性的像素来确定至少一个界标的位置，从而提高确定结果的准确性和可靠性。

应当注意，以上关于过程700的描述仅是为了例示的目的而提供的，而不是旨在限制本公开的范围。对于本领域普通技术人员来说，在本公开的示教下可以进行多种变更和修改。然而，这些变更和修改不脱离本公开的范围。在一些实施例中，过程700可以利用未描述的一个或多个附加操作和/或不利用以上讨论的操作中的一个或多个来完成。例如，操作701和702可以被集成到单个操作中，在该操作中，界标检测网络可以输出包括距离信息以及各个像素的权重的加权距离偏移图。作为另一示例，可以省略操作702，或者可以在702中为切片图像的各个像素的权重分配相同的值。在一些替代实施例中，处理装置140A可以将切片图像输入到界标检测网络中，并且界标检测网络可以直接输出切片图像中的至少一个界标的位置。

图8是例示了根据本公开的一些实施例的用于生成界标检测网络的示例性过程的流程图。在一些实施例中，过程800可以由成像系统100执行。例如，过程800可以被实施为存储在储存装置(例如，储存装置150、储存器220和/或储存器390)中的指令集(例如，应用)。在一些实施例中，处理装置140B(例如，计算装置200的处理器210、移动装置300的CPU340和/或图4B所例示的一个或多个模块)可以执行指令集，因此可以被引导来执行过程800。或者，过程800可以由提供和/或维护这种界标检测网络的供应商的系统的计算装置来执行，其中，供应商的系统不同于成像系统100。为了例示的目的，以下描述是参照由处理装置140B对过程800的实施来描述的，并且不旨在限制本公开的范围。

在801中，处理装置140B(例如，采集模块404、处理器210的接口电路)可以获得多个训练样本。各个训练样本可以包括样本心脏的样本切片图像和样本切片图像的金标准距离偏移图。

如本文所用的，样本心脏是指与如结合图5描述的受试者属于相同类型的受试者的样本受试者的心脏。样本心脏的样本切片图像是指用于训练界标检测网络的样本心脏的切片图像。例如，如果界标检测网络用于对患者的心脏MRI图像(或其一部分)执行界标识别，则样本切片图像可以是另一患者的心脏MRI图像。

在一些实施例中，样本切片图像可以用样本心脏的至少一个金标准界标来注释，并且金标准距离偏移图可以包括样本切片图像的各个像素与至少一个金标准界标中的每一个金标准界标之间的距离信息。样本切片图像中的至少一个金标准界标的注释可以由用户(例如，医生、放射科医师)手动地执行，或者由计算装置(例如，处理装置140B)根据图像分析技术自动地或根据图像分析技术结合用户介入半自动地执行。

在一些实施例中，样本受试者的训练样本可以是先前生成的并存储在储存装置(例如，储存装置150、储存器220、储存器390或外部数据库)中。处理装置140B可以直接从储存装置检索训练样本。在一些替代实施例中，训练样本的至少一部分可以由处理装置140B生成。仅仅通过示例的方式，处理装置140B可以获得用一个或多个金标准界标注释的样本切片图像，并且确定样本切片图像中的各个像素相对于各个金标准界标的偏移，以生成对应的金标准距离偏移图。

在一些实施例中，训练样本的样本切片图像可以包括不同心脏切面的切片图像，并且所生成的界标检测网络可以用于对任何心脏切面的切片图像执行界标识别。或者，训练样本的样本切片图像可以包括特定心脏切面的切片图像，并且所生成的界标检测网络可以应用于特定心脏切面的切片图像。例如，基部切面处的样本切片图像可以用于生成用于识别基部切面的切片图像中的界标的界标检测网络。

在802中，处理装置140B(例如，模型生成模块405、处理器210的接口电路)可以通过使用多个训练样本训练初步模型来生成界标检测网络。

初步模型可以是任何类型的神经网络模型。在某些实施例中，初步模型可以是卷积网络。示例性CNN模型可以包括全卷积网络，诸如V-NET模型、U-NET模型(例如，残差U-NET模型、密集U-NET模型)、超分辨率CNN(SRCNN)等。在一些实施例中，初步模型可以包括一个或多个模型参数。初步模型的示例性模型参数可以包括层的数量(或计数)、核的数量(或计数)、核大小、步幅、各个卷积层的填充、损失函数等、或其任意组合。

在训练之前，处理装置140B可以初始化初步模型的模型参数的参数值。在训练初步模型时，处理装置140B可以基于多个训练样本迭代地更新初步模型的参数值。例如，处理装置140B可以通过执行一次或多次迭代来更新初步模型的模型参数，其中，至少一次迭代可以包括如结合图9描述的过程900的一个或多个操作。

为了例示的目的，在以下描述中描述迭代中的当前迭代。当前迭代可以包括图9所例示的过程900的一个或多个操作，并且可以基于至少一些训练样本来执行。在一些实施例中，在训练初步模型的不同迭代中可以使用相同的训练样本集合或不同的训练样本集合。

在901中，对于多个训练样本中的至少一些训练样本中的每一个训练样本，处理装置140B(例如，模型生成模块405、处理器210的接口电路)可以通过应用在先前迭代中确定的更新的初步模型来生成训练样本的预测距离偏移图。

例如，对于至少一个训练样本中的每一个训练样本，可以将对应的样本切片图像输入到更新的初步模型中，并且更新的初步模型可以输出样本切片图像的预测距离偏移图。

在902中，处理装置140B(例如，模型生成模块405、处理器210的接口电路)可以基于多个训练样本中的至少一些训练样本中的每一个训练样本的预测距离偏移图和金标准距离偏移图来确定经更新的初步模型的损失函数的值。

损失函数可以用于评估更新的初步模型的准确性和可靠性，例如，损失函数越小，模型越可靠。在一些实施例中，处理装置140B可以基于至少一些训练样本中的每一个训练样本的预测距离偏移图与金标准距离偏移图之间的差(例如，L1距离、L2距离)来确定损失函数的值。

在903中，处理装置140B(例如，模型生成模块405、处理器210的处理电路)可以确定损失函数的值在当前迭代中是否被最小化。

例如，如果在当前迭代中获得的损失函数的值小于预定阈值(例如，常数)，则可以认为损失函数的值被最小化。作为另一示例，如果执行了一定计数的迭代，或者损失函数收敛使得在连续迭代中获得的损失函数值的差在阈值(例如，常数)内等，则可以认为损失函数的值被最小化。

响应于确定损失函数的值被最小化，过程900可以进行到904，在904中，处理装置140B(例如，模型生成模块405、处理器210的处理电路)可以将当前迭代中的更新的初步模型设计为界标检测网络。

响应于确定损失函数的值在当前迭代中未被最小化，过程900可以进行到905，在905中，处理装置140B(例如，模型生成模块405、处理器210的处理电路)可以进一步更新将在下一次迭代中使用的更新的初步模型。例如，处理装置140B可以根据例如反向传播算法基于损失函数的值来更新已更新的初步模型的参数值。在一些实施例中，模型可以包括多个参数值，并且更新模型的参数值是指更新模型的至少一部分参数值。

应当注意，以上关于过程800和过程900的描述仅是为了例示的目的而提供的，而不是旨在限制本公开的范围。对于本领域普通技术人员来说，在本公开的示教下可以进行多种变更和修改。然而，这些变更和修改不脱离本公开的范围。在一些实施例中，过程800和/或过程900可以利用未描述的一个或多个附加操作和/或不利用以上讨论的操作中的一个或多个来完成。例如，过程800可以包括以下附加操作：将界标检测网络存储在储存装置(例如，储存装置150、储存器220和/或储存器390)中以便进一步使用(例如，在过程500中)。作为另一示例，在生成界标检测网络之后，处理装置140B还可以使用一组测试图像来测试界标检测网络。附加地或替代地，处理装置140B可以基于一个或多个新生成的训练图像(例如，在医学诊断中生成的新样本切片图像)来定期或不定期地更新界标检测网络。

图10是例示了根据本公开的一些实施例的用于生成牛眼图1009的示例性过程的示意图。

如图10所示，可以获得包括对应于心脏的基部切面的患者心脏的切片图像1001并将其输入到心脏分割网络1002中。心脏分割网络1002可以输出已分割的切片图像1003，在该切片图像1003中，从切片图像1001分割左心室(即，白色部分)、右心室(即，深灰色部分)以及心肌(即，浅灰色部分)。可以将已分割的切片图像1003进一步输入到界标检测网络1004中，以获得已分割的切片图像1003的距离偏移图。可以基于距离偏移图和可选地已分割切片图像1003中的各个像素的权重来确定右心室与心肌之间的上交点1007和下交点1008。然后，可以基于如图像1006所示的上交点和下交点将心肌分割成六个分段1013-1018。例如，可以基于上交点1007来确定分段1013。剩余的分段1014-1018可以通过从上交点1007以60°的角度步长顺时针旋转来确定。分段1013-1018可以对应于基部切面中的心肌的六个解剖区域(即，基部前部、基部前间隔、基部下间隔、基部下部、基部下外侧以及基部前外侧)。

进一步地，可以至少部分地基于图像1006中的分割结果来生成牛眼图1009。例如，牛眼图1009的最外面的同心环1010可以表示心脏的基部切面，并且包括表示基部切面中的心肌的六个解剖区域的扇区1-6。对于基部切面中的心肌的各个解剖区域，可以根据图像1006中的分割结果以及可选地基部切面的其他切片图像来确定指示解剖区域的生理状况的一个或多个参数值。例如，可以基于图像1006中的分段1013以及可选地其他切片图像的分割结果来确定基部前部的一个或多个参数值。然后，可以在牛眼图1009的扇区1中注释基部前部的一个或多个参数值。类似地，可以基于中间腔切面的切片图像对牛眼图1009的扇区7-12进行注释，可以基于心尖切面的切片图像对扇区13-16进行注释，并且可以基于心尖的切片图像对扇区17进行注释。

应当注意，图10所例示的示例仅是为了例示的目的而提供的，而不是旨在限制本公开的范围。对于本领域普通技术人员来说，在本公开的示教下可以进行多种变更和修改。然而，这些变更和修改不脱离本公开的范围。在一些实施例中，可以从已分割的切片图像1003中识别上交点1007和下交点1008中的一个。附加地或替代地，牛眼图1009可以以任何其他形式呈现。例如，可以省略扇区17。

处理元件或序列的叙述顺序、或数字、字母或其它标记的使用因此并不旨在将所要求保护的过程和方法限制为任何顺序，除非在权利要求中可以指定。最后，应当理解，本文所公开的本申请的实施例是本申请的实施例的原理的例示。可以采用的其它修改可以在本申请的范围内。由此，通过示例的方式而非限制的方式，可以根据本文的示教利用本申请的实施例的替代配置。因此，本申请的实施例不限于如精确地示出和描述的实施例。

Claims (10)

1.一种用于生成受试者的心脏的牛眼图的系统，所述心脏包括左心室、右心室以及所述左心室周围的心肌，所述系统包括：

至少一个储存装置，其包括指令集；和

至少一个处理器，其被配置为与所述至少一个储存装置通信，其中，当执行所述指令集时，所述至少一个处理器被配置为引导所述系统执行操作，其包括：

获得多个组中的多个切片图像，其中，所述多个组对应于基本上垂直于所述心脏的长轴的多个切面，各个组对应于所述多个切面中的一个切面并且包括所述对应切面的至少一个切片图像，并且每一个切片图像都包括所述右心室的一部分、所述左心室的一部分以及所述心肌的一部分；

在所述多个切片图像中的每一个切片图像中，通过应用界标检测网络来识别与所述左心室相关联的至少一个界标；其中，所述界标检测网络被配置为接收心脏的切片图像并输出与切片图像中的一个或多个界标有关的信息；以及

基于在所述多个切片图像中的每一个切片图像中识别的所述至少一个界标来生成所述心脏的所述牛眼图，其中，所述牛眼图包括多个扇区，所述多个扇区中的每一个扇区表示所述多个切面中的一个切面中的所述心肌的解剖区域。

2.根据权利要求1所述的系统，其中，所述获得所述多个组中的所述多个切片图像包括：

获得包括所述受试者的所述心脏的目标图像容积；

从所述目标图像容积分割所述心脏的所述右心室、所述左心室以及所述心肌，以获得分割的目标图像容积；以及

针对所述多个切面中的每一个切面，从所述分割的目标图像容积中提取与所述切面相对应的所述至少一个切片图像。

3.根据权利要求1所述的系统，其中，所述通过应用界标检测网络来识别与切片图像中的所述左心室相关联的至少一个界标包括：

通过将所述切片图像输入到所述界标检测网络中来获得所述切片图像的距离偏移图，所述距离偏移图包括所述切片图像的各个像素与一个或多个所估计界标中的每一个所估计界标之间的距离信息；以及

基于所述距离偏移图和所述切片图像的各个像素的权重来确定所述切片图像中的所述至少一个界标的位置。

4.根据权利要求1所述的系统，其中，切片图像中的所述至少一个界标包括以下内容中的至少一个：

所述切片图像中的所述右心室与所述心肌之间的上交点、或

所述切片图像中的所述右心室与所述心肌之间的下交点。

5.根据权利要求1所述的系统，其中，所述基于在所述多个切片图像中的每一个切片图像中识别的所述至少一个界标生成所述心脏的所述牛眼图包括：

针对与所述多个切面中的每一个切面相对应的各个切片图像，基于在所述切片图像中识别的所述至少一个界标将所述切片图像中的所述心肌分割成与所述切面中的所述心肌的多个解剖区域相对应的多个分段；以及

针对所述多个切面中的每一个切面中的所述心肌的各个解剖区域，

根据与所述切面对应的所述至少一个切片图像的所述分割结果来确定指示所述解剖区域的生理状况的参数值；以及

根据所述解剖区域的所述参数值来注释所述牛眼图中表示所述解剖区域的所述扇区。

6.根据权利要求1所述的系统，其中，所述多个切面包括基部切面、中间腔切面以及心尖切面。

7.根据权利要求1所述的系统，其中，根据模型训练过程来训练所述界标检测网络，所述模型训练过程包括：

获得多个训练样本，所述多个训练样本中的每一个训练样本包括样本心脏的样本切片图像和所述样本切片图像的金标准距离偏移图，所述样本切片图像用所述样本心脏的至少一个金标准界标来注释，并且所述金标准距离偏移图包括所述样本切片图像的各个像素与所述至少一个金标准界标中的每一个金标准界标之间的距离信息；以及

通过使用所述多个训练样本训练初步模型来生成所述界标检测网络。

8.根据权利要求7所述的系统，其中，在样本切片图像中注释的所述至少一个金标准界标包括以下内容中的至少一个：

所述样本切片图像中的所述样本心脏的右心室与心肌之间的上交点、或

所述样本切片图像中的所述样本心脏的所述右心室与所述心肌之间的下交点。

9.根据权利要求7所述的系统，其中，所述通过使用所述多个训练样本训练初步模型来生成所述界标检测网络包括：

初始化所述初步模型的参数值；以及

通过基于所述多个训练样本迭代地更新所述初步模型的所述参数值来训练所述初步模型，其中，所述迭代地更新所述初步模型的所述参数值包括：执行包括一次或多次迭代的迭代操作，并且所述迭代操作的至少一次迭代中的每一次迭代包括：

针对所述多个训练样本中的至少一些训练样本中的每一个训练样本，通过应用在先前迭代中确定的已更新初步模型来生成预测距离偏移图；

基于所述多个训练样本中的所述至少一些训练样本中的每一个训练样本的所述预测距离偏移图和所述金标准距离偏移图来确定所述已更新初步模型的损失函数的值；以及

进一步基于所述损失函数的所述值更新要在下一次迭代中使用的所述已更新初步模型的所述参数值。

10.一种用于生成受试者的心脏的牛眼图的方法，所述方法在具有至少一个处理器和至少一个储存装置的计算装置上实施，所述心脏包括左心室、右心室以及所述左心室周围的心肌，所述方法包括：

获得多个组中的多个切片图像，其中，所述多个组对应于基本上垂直于所述心脏的长轴的多个切面，各个组对应于所述多个切面中的一个切面并且包括所述对应切面的至少一个切片图像，并且每一个切片图像都包括所述右心室的一部分、所述左心室的一部分以及所述心肌的一部分；

在所述多个切片图像中的每一个切片图像中，通过应用界标检测网络来识别与所述左心室相关联的至少一个界标；其中，所述界标检测网络被配置为接收心脏的切片图像并输出与切片图像中的一个或多个界标有关的信息；以及

基于在所述多个切片图像中的每一个切片图像中识别的所述至少一个界标来生成所述心脏的所述牛眼图，其中，所述牛眼图包括多个扇区，所述多个扇区中的每一个扇区表示所述多个切面中的一个切面中的所述心肌的解剖区域。