CN114764783A - 使用序贯模型的计算机辅助医学图像分析的方法和系统 - Google Patents

Abstract

本公开的实施例提供了使用序贯模型分析包含血管结构的医学图像的系统和方法。一种示例性系统包括配置成接收所述医学图像和所述序贯模型的通信接口。所述序贯模型包括血管提取子模型和病变分析子模型。所述血管提取子模型和所述病变分析子模型独立地或联合地训练。所述示例性系统还包括至少一个处理器，其配置成对接收的所述医学图像应用所述血管提取子模型以提取所述血管结构的位置信息。所述至少一个处理器还对接收的所述医学图像和由所述血管提取子模型提取的所述位置信息应用所述病变分析子模型以获得所述血管结构的病变分析结果。所述至少一个处理器还输出所述血管结构的所述病变分析结果。

Description

使用序贯模型的计算机辅助医学图像分析的方法和系统

相关申请的交叉引用

本申请要求于2021年1月4日提交的美国临时申请第63/133,766号的优先权，其全部内容通过引用并入本文。

技术领域

本公开涉及用于医学图像分析的系统和方法，更具体地，涉及使用序贯模型分析包含血管结构的医学图像的系统和方法。

背景技术

医学图像分析系统通常设计为基于医学图像进行多项任务。例如，该系统可以分割医学图像中的血管并沿着血管检测病变。然而，现有系统通常以忽略各任务之间的潜在关系的方式独立地进行多个任务。因此，多个任务提供的分析结果往往相互不一致。

例如，由现有系统训练的病变检测模型通常不考虑医学图像中的血管信息。因此，经训练的病变检测模型可能会产生许多假阳性(例如，在非血管区域检测到的病变)。如果在病变检测过程中考虑血管位置信息(例如，沿着血管中心线检测病变)，则可以大大减少这种类型的错误。作为另一示例，在未循着血管中心线或在未考虑沿着血管的现有病变的情况下进行血管分割任务。结果，由于血管严重病变狭窄，系统可能会返回断开的(broken)血管分割掩码(mask)。

此外，现有的医学图像分析系统通常无法容易地结合人工干预来调整分析结果。例如，现有系统不包括将不同形式的人工干预(例如，拖动、放下、添加涂鸦或擦除操作)转换为统一形式的独立的人工干预编辑单元，该统一形式例如为修改掩码或修改后的血管中心线。

本公开的实施例通引入使用序贯模型分析包含血管结构的医学图像的系统和方法来解决上述问题。

发明内容

在一个方案中，本公开的实施例提供了使用序贯模型分析包含血管结构的医学图像的系统。一种示例性系统包括配置成接收所述医学图像和所述序贯模型的通信接口。所述序贯模型包括血管提取子模型和病变分析子模型。所述血管提取子模型和所述病变分析子模型独立地或联合地训练。所述示例性系统还包括至少一个处理器，其配置成对接收的所述医学图像应用所述血管提取子模型以提取所述血管结构的位置信息。所述至少一个处理器还对接收的所述医学图像和由所述血管提取子模型提取的所述位置信息应用所述病变分析子模型以获得所述血管结构的病变分析结果。所述至少一个处理器还输出所述血管结构的所述病变分析结果。

在另一方案中，本公开的实施例还提供了使用序贯模型分析包含血管结构的医学图像的方法。一种示例性方法包括由通信接口接收所述医学图像和所述序贯模型。所述序贯模型包括血管提取子模型和病变分析子模型。所述血管提取子模型和所述病变分析子模型独立地或联合地训练。所述方法还包括由至少一个处理器对接收的所述医学图像应用所述血管提取子模型以提取所述血管结构的位置信息。所述方法还包括由所述至少一个处理器对接收的所述医学图像和由所述血管提取子模型提取的所述位置信息应用所述病变分析子模型以获得所述血管结构的病变分析结果。所述方法还包括由所述至少一个处理器输出所述血管结构的所述病变分析结果。

在又一方案中，本公开的实施例还提供了一种其上存储有指令的非暂时性计算机可读介质，所述指令在由至少一个处理器实施时使所述至少一个处理器执行使用序贯模型分析包含血管结构的医学图像的方法。所述方法包括接收所述医学图像和所述序贯模型。所述序贯模型包括血管提取子模型和病变分析子模型。所述血管提取子模型和所述病变分析子模型独立地或联合地训练。所述方法还包括对接收的所述医学图像应用所述血管提取子模型以提取所述血管结构的位置信息。所述方法还包括对接收的所述医学图像和由所述血管提取子模型提取的所述位置信息应用所述病变分析子模型以获得所述血管结构的病变分析结果。所述方法还包括输出所述血管结构的所述病变分析结果。

应该理解的是，前面的一般性描述和下面的详细描述仅仅是示例性和解释性的，并不是对要求保护的本发明的限制。

附图说明

图1示出了根据本公开的实施例的用于分析医学图像的示例性医学图像分析系统的示意图。

图2示出了根据本公开的实施例的用于分析医学图像的示例性序贯模型的流程图。

图3示出了根据本公开的实施例的序贯模型的示例性子模型的流程图。

图4示出了根据本公开的实施例用于分析医学图像的示例性图像处理设备的框图。

图5示出了根据本公开的实施例用于检测病变和分割血管的示例性序贯模型的流程图。

图6是根据本公开的实施例的用于分析包含血管结构的医学图像的示例性方法的流程图。

具体实施方式

现在将详细地参考示例性实施例，其示例在附图中示出。

所公开的系统和方法使用序贯模型来执行各种任务，例如分析医学图像以解决病变检测和血管分割问题。在一些实施例中，该序贯模型可以利用分治策略来将大任务分为一个以上更简单/更小的任务。例如，图像分析任务可以分成一个以上相关的医学图像分析任务。然后分配多个子模型来解决这些单独的更简单/更小的任务。这些子模型的输入可能取决于其他子模型的输出，它们按顺序执行。一些子任务的结果可以被一个以上其他子任务重用。因此，可以更容易地训练子模型来解决子任务，因为训练子模型通常比单个模型需要更少的训练数据。此外，还可以确保多个相关任务之间的一致性。此外，子模型的顺序结构使其更容易以方便的形式/表示将人工干预作为输入结合到某个子模型中。

用于血管图像分析的示例性序贯模型可以包括三个子模型：配置成从医学图像中提取血管位置的血管提取子模型，配置成检测病变并分析检测到的病变的病变分析子模型，以及配置成细化血管边界并获得血管分割掩码的血管分割子模型。在一些实施例中，血管提取子模型可以接收第一用户编辑以调整医学图像中的血管结构的血管位置信息。病变分析子模型可以接收第二用户编辑以调整医学图像中的血管结构的病变分析结果。血管分割子模型可以接收第三用户编辑以调整医学图像中血管结构的分割任务。在一些实施例中，第一用户编辑、第二用户编辑和第三用户编辑是相互独立的。可以设想，由所公开的序贯模型处理的任务可以是图像分析任务之外的任何任务。子模型将被相应地设计以解决相应的子任务。

在一些实施例中，序贯模型分三个阶段应用于医学图像和/或用户编辑。例如，首先序贯模型的血管提取子模型应用于接收到的医学图像和/或第一用户编辑，以提取接收到的医学图像中的血管结构的位置信息。其次，序贯模型的病变分析子模型应用于接收到的医学图像、由血管提取子模型提取的位置信息和/或第二用户编辑，以获得接收到的医学图像中的血管结构的病变分析结果。第三，序贯模型的血管分割子模型应用于接收到的医学图像、由血管提取子模型提取的位置信息、由病变分析子模型生成的血管结构的病变分析结果和/或第三用户编辑，以从接收到的医学图像中分割血管结构。在一些实施例中，序贯模型可以接收医学图像、第一用户编辑、第二用户编辑和第三用户编辑作为输入，并输出血管结构的病变分析结果和血管结构的分割掩码。

所公开的系统和方法不孤立地分别处理多个相关的医学图像分析任务。相反，所公开的系统和方法以顺序方式将序贯模型的各个子模型应用于接收到的医学图像，以创建用于相关的医学图像分析任务(例如，附近的解剖位置，或在同一目标解剖结构上)的统一解决方案。因此，各个输出的分析结果(例如，检测到的病变，分割的血管)彼此一致。

所公开的系统和方法相比于现有技术提供了五个主要优势：(1)相互依赖的图像分析任务以统一的方式解决，而不是孤立地处理；(2)通过所公开的系统和方法强制地执行相关图像分析任务之间的相互依赖关系，以确保相关图像分析任务(诸如血管分割和病变量化)的一致结果；(3)可以基于上游图像分析任务的中间结果实现各个图像分析任务的更好性能；(4)建模和训练更容易且更快，因为训练各个子模型需要更少的训练数据；(5)诸如人工干预的额外信息可以容易地以方便的形式/表示(例如血管中心线)结合到所公开的系统和方法中。

图1示出了根据本公开的一些实施例用于分析医学图像的示例性医学图像分析系统100(以下也称为系统100)的示意图。与本公开一致，系统100配置成分析由图像采集设备105获取的医学图像。在一些实施例中，图像采集设备105可以使用一种以上成像方式，包括例如磁共振成像(MRI)、电子计算机断层扫描(CT)、功能性MRI(例如，fMRI、DCE-MRI和扩散MRI)、锥形束CT(CBCT)、正电子发射断层扫描(PET)、单光子发射计算机断层扫描(SPECT)、X射线、光学相干断层扫描(OCT)、荧光成像、超声成像和放射治疗门静脉成像等。在一些实施例中，图像采集设备105可以捕获包含至少一个树状结构对象的图像，该树状结构对象例如是血管。例如，图像采集设备105可以是MRI扫描仪或捕获冠状血管图像的CT扫描仪，或者捕获视网膜血管图像的OCT设备。在一些实施例中，捕获的医学图像可以是二维(2D)或三维(3D)图像。3D图像可以包含多个2D图像切片。

如图1所示，系统100可以包括用于执行两个阶段的部件，该两个阶段为训练阶段和预测阶段。为了执行训练阶段，系统100可以包括训练数据库101和模型训练设备102。为了执行预测阶段，系统100可以包括图像处理设备103和医学图像数据库104。在一些实施例中，系统100可以包括比图1中所示更多或更少的部件。例如，当预先训练并提供用于分析医学图像的序贯模型时，系统100可以仅包括图像处理设备103和医学图像数据库104。

系统100可以可选地包括网络106，以便于系统100的各种部件之间的通信，各部件例如是数据库101和104，设备102、103和105。例如，网络106可以是局域网(LAN)、无线网、云计算环境(例如，软件即服务、平台即服务、基础设施即服务)、客户端-服务器、广域网(WAN)等。在一些实施例中，网络106可以由有线数据通信系统或设备代替。

在一些实施例中，系统100的各种部件可以彼此远离或位于不同位置，并且通过如图1所示的网络106连接。在一些替代实施例中，系统100的某些部件可以位于同一地点或位于一个设备内。例如，训练数据库101可以与模型训练设备102一起位于现场或者是模型训练设备102的一部分。作为另一示例，模型训练设备102和图像处理设备103可以在同一计算机或处理设备内。

模型训练设备102可以使用从训练数据库101接收的训练数据来训练用于分析从例如医学图像数据库104接收的医学图像的序贯模型。如图1所示，模型训练设备102可以与训练数据库101通信以接收一组以上训练数据，该训练数据可以是2D或3D图像。每组训练数据可以包括至少一个医学图像及其对应的为各个医学图像提供分析结果的基础事实。在一些实施例中，基础事实分析结果可以是整个模型的最终结果或子模型的中间结果。例如，分析结果可以包括血管位置信息、病变分析结果、血管分割掩码或其他各种形式(例如距离变换、特征图、概率图等)的导出结果。

在一些实施例中，训练阶段可以“在线”或“离线”执行。“在线”训练是指与预测阶段同时执行训练阶段，例如，在分析新医学图像之前实时执行模型。“在线”训练可有利于基于当时可用的训练数据获得最新的模型。然而，“在线”训练可能需要大量的计算成本来执行，并且如果训练数据大和/或模型复杂，则可能并不总是可行的。与本公开一致，使用“离线”训练，其中训练阶段与预测阶段分开执行。离线训练的序贯模型被保存并重新用于分析新的医学图像。

模型训练设备102可以用由执行训练处理的软件专门编程的硬件来实现。例如，模型训练设备102可以包括处理器和非暂时性计算机可读介质(结合图4详细讨论)。处理器可以通过执行存储在计算机可读介质中的训练处理的指令来进行训练。模型训练设备102可以另外包括输入和输出接口以与训练数据库101、网络106和/或用户界面(未示出)通信。用户界面可用于选择训练数据集、调整训练处理的一个以上参数、选择或修改序贯模型的框架、和/或手动或半自动地提供与用于训练的图像相关联的预测结果。

与一些实施例一致，由模型训练设备102训练的序贯模型可以是包括至少两个子模型的机器学习模型(例如，深度学习模型)，例如，该两个子模型是配置为提取接收到的医学图像中的血管结构的位置信息的血管提取子模型和配置为基于由血管提取子模型提取的位置信息和接收到的医学图像获得病变分析结果的病变分析子模型。在一些实施例中，序贯模型可以包括两个以上子模型。例如，序贯模型可以另外包括第三子模型，例如，配置为基于两个上游子模型(例如，血管提取子模型和病变分析子模型)的输出来细化血管边界的血管分割子模型。

在一些实施例中，可以根据已知的数学关系(例如，动力系统、统计模型、微分方程或博弈论模型)来制定序贯模型。例如，序贯模型可以是通过明确给出的数学函数建模的。在一些替代实施例中，序贯模型可以是混合模型，包括机器学习子模型和数学子模型。例如，机器学习子模型使用人工神经网络或其他机器学习方法进行训练和调整，而数学子模型的参数通过曲线拟合来确定。然而，可以设想，序贯模型的结构不限于所公开的内容，只要序贯模型中的子模型编码序贯关系(例如，下游子模型的输入取决于上游子模型的至少一个输出)，并且按顺序执行子模型以分析新的医学图像。

例如，图2示出了根据本公开的实施例的用于分析医学图像的示例性序贯模型200的流程图。如图2所示，序贯模型200(以下也称为模型200)可以接收输入211(例如，来自医学图像数据库104的包含血管结构的医学图像)并生成输出213-1和214。模型200可以包括三个子模型201、202和203。子模型按顺序应用于输入211。例如，子模型201接收输入211以生成输出212(例如，血管结构的位置信息)来馈送下游子模型202和203。子模型202接收输入212-1(例如，从输出212导出)以生成输出213，例如，包括血管结构的病变分析结果。子模型202然后可以将输出213-1(例如，从输出213导出)发送出模型200。子模型203接收输入213-2(例如，从输出213导出)和输入212-2(例如，从输出212导出)以生成输出214(例如，血管结构的分割掩码)。子模型203然后提供输出214作为模型200的输出的一部分(例如，分析结果120)。

图3示出了根据本公开的实施例的序贯模型的示例性子模型310的流程图。如图3所示，子模型310(作为所公开的序贯模型中的示例性子模型)可以接收原始数据/图像301、上游子模型302的输出或人工干预303中的至少一个。与一些实施例一致，原始数据/图像301可以由图像采集设备105采集并存储在医学图像数据库104中。例如，原始数据/图像301(例如，图2中的输入211)可以是由MRI扫描仪或CT扫描仪(作为图像采集设备105的示例)生成的2D/3D医学图像或其他类型的原始数据。

在一些实施例中，上游子模型302的输出可以是由上游子模型(例如图2中的子模型201或子模型202)生成的医学图像(例如，原始数据/图像301)的分析结果。例如，医学图像分析结果可以包括由上游子模型以特征图、概率图、边界框等形式生成的血管位置信息或病变分析信息。在一些实施例中，人工干预303可以是由用户(例如，医生、专业人员、专家操作者)基于其知识和经验输入的编辑。在一些实施例中，用户编辑以编辑掩码、拖动/放下操作、添加涂鸦、擦除操作等的形式输入。

在一些实施例中，子模型310可生成至少一个输出(例如，输出311)。例如，输出311可以在内部用于馈送下游子模型(例如，图2中的输入212-1、输入213-2)，但是不作为分析结果的一部分从系统100中输出。例如，如果子模型310是病变分析子模型，输出311可以包括病变分析结果，例如病变检测边界框、病变表征和量化的信息。用于细化血管边界的下游子模型(例如，血管分割子模型)可以将输出311作为输入并生成逐像素血管分割掩码。在一些实施例中，子模型310可以生成第二输出(例如，输出312)，其可以从医学图像分析系统中输出。例如，如果子模型310是病变分析子模型，输出312可以是病变检测边界框、概率图、分割掩码或病变位置信息的其他表示。输出312可以作为分析结果120的一部分从系统100中输出。在一些实施例中，子模型310的输入和输出可以以其他变换的形式显示，例如扩张的中心线、关键点周围的高斯场热图，变换空间中的点(例如极坐标)等。

返回图1，模型训练设备102可以通过单独训练各个子模型来初始训练序贯模型。与一些实施例一致，为了训练单独的子模型(例如，子模型310)，模型训练设备102可以接收一组训练数据，其包括医学图像(例如，原始数据/图像301)、先前训练的上游子模型的输出(例如，上游子模型302的输出)。如果上游子模型尚未训练或者子模型310没有上游子模型，则可以使用专家的手动注释(例如，血管或病变位置的识别)来替代上游子模型的输出302。模型训练设备102还可以接收用户编辑/模拟(例如，人工干预303)作为训练数据的一部分。此外，每个接收到的训练数据集可以包括基础事实输出(例如，输出311和/或输出312)，其可以使用与上游子模型302的输出类似的方法获得(例如，从先前训练的子模型或专家的手动注释获得)。

在一些实施例中，模型训练设备102可以联合训练单独训练的子模型。例如，模型训练设备102可以联合优化相邻子模型(例如，子模型201和子模型202)的参数。模型训练设备102然后可以联合优化子模型201、202和203的参数。联合训练可以在所公开的系统的最终输出中实现更好的性能。联合训练还可以保证最终输出(例如，输出213-1和输出214)的一致结果。例如，病变检测结果与血管分割掩码一致，反之亦然。

在一些实施例中，当所有子模型被联合训练时，模型训练设备102可将训练的子模型集成到序贯模型中，并且将训练的序贯模型(例如，训练的序贯模型110)部署到图像处理设备103。在一些实施例中，训练的序贯模型110可以由图像处理设备103使用来分析新的医学图像。图像处理设备103可以包括处理器和非暂时性计算机可读介质(结合图4详细讨论)。处理器可以执行存储在介质中的图像分析处理的指令。图像处理设备103可以另外包括输入和输出接口(结合图4详细讨论)以与医学图像数据库104、网络106和/或用户界面(未示出)通信。用户界面可以用于选择用于分析的医学图像、启动分析处理、显示医学图像和/或分析结果。

图像处理设备103可与医学图像数据库104通信以接收一个以上医学图像。在一些实施例中，存储在医学图像数据库104中的医学图像可以包括来自3D扫描的2D图像切片。医学图像可以由图像采集设备105采集。图像处理设备103可以使用从模型训练设备102接收到的训练的序贯模型110来分析从医学图像数据库104接收到的所接收到的医学图像。例如，图像处理设备103可以首先执行血管提取以在接收到的医学图像中定位血管结构的粗略轮廓(例如，血管中心线)。基于血管的位置信息，图像处理设备103然后定位、表征或量化与血管结构相关联(例如，沿着血管路径)的病变。图像处理设备103可以进一步细化血管结构的边界，并基于病变检测结果和血管位置信息生成逐像素血管分割掩码。图像处理设备103可以从系统100中输出分析结果120(例如，分割掩码和病变检测结果)。

图4示出了根据本公开的实施例的用于分析医学图像的示例性图像处理设备103的框图。在一些实施例中，图像处理设备103可以是专用计算机或通用计算机。例如，图像处理设备103可以是为医院定制以执行图像采集和图像处理任务的计算机。如图4所示，图像处理设备103可以包括通信接口402、存储器404、存储器406、处理器408和总线410。通信接口402、存储器404、存储器406和处理器408与总线410连接并通过总线410相互通信。

通信接口402可以包括网络适配器、电缆连接器、串行连接器、USB连接器、并行连接器、高速数据传输适配器(例如光纤、USB 3.0、雷电接口(thunderbolt)等)、无线网络适配器(例如WiFi适配器)、电信(3G、4G/LTE等)适配器等。图像处理设备103可以通过通信接口402连接到系统100的其他部件和网络106。在一些实施例中，通信接口402从图像采集设备105接收医学图像。与一些实施例一致，医学图像捕获树结构对象，诸如血管。例如，医学图像可以是冠状血管图像或视网膜血管图像。在一些实施例中，通信接口402还从建模训练设备102接收序贯模型(例如，训练的序贯模型110)。

存储器404/存储器406可以是非暂时性计算机可读介质，例如只读存储器(ROM)、随机存取存储器(RAM)、相变随机存取存储器(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、电可擦除可编程只读存储器(EEPROM)、其他类型的随机存取存储器(RAM)、闪存盘或其他形式的闪存、高速缓存、寄存器、静态存储器、光盘只读存储器(CD-ROM)、数字多功能盘(DVD)或其他光存储、盒式磁带或其他磁存储设备，或者可以用于存储能够被计算机设备等访问的信息或指令的任何其他非暂时性介质。

在一些实施例中，存储器404可以存储训练的序贯模型(例如，训练的序贯模型110)以及在执行计算机程序时生成的诸如血管结构的位置信息(例如血管中心线)的数据等。在一些实施例中，存储器406可以存储计算机可执行指令，诸如一个以上图像处理程序。在一些实施例中，可以基于血管中心线来检测病变并且病变信息(例如，位置、表征、量化)可以存储在存储器404中。病变信息可以从存储器404读取并存储在存储器406中。

处理器408可以是包括一个以上通用处理设备的处理设备，例如微处理器、中央处理单元(CPU)、图形处理单元(GPU)等。更具体地，处理器可以是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、运行其他指令集的处理器或运行指令集的组合的处理器。处理器还可以是一个以上专用处理设备，例如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、片上系统(SoC)等。处理器408可以通信地耦合到存储器406并且配置为执行存储在其上的计算机可执行指令。

在一些实施例中，处理器408配置为分析接收到的医学图像。例如，处理器408使用训练的序贯模型来分析接收到的医学图像中的血管结构，并输出分析结果(例如，病变信息、血管分割掩码)。图5示出了根据本公开的实施例的用于检测病变和分割血管的示例性序贯模型500的流程图。如图5所示，序贯模型500可包括血管提取子模型520、病变分析子模型530和血管分割子模型540。与一些实施例一致，在医学图像510上应用序贯模型500可以包括在医学图像510上按顺序应用血管提取子模型520、病变分析子模型530和血管分割子模型540。

例如，血管提取子模型520应用于医学图像510以提取医学图像510中的血管结构的血管位置信息。在一些实施例中，血管位置信息(例如，输出521)可以是血管结构的粗略轮廓(例如，以距离变换形式示出的血管中心线)并被发送到下游子模型(例如，病变分析子模型530和血管分割子模型540)作为输入。例如，输出521可以是指示血管结构的中心线位置的距离变换。在一些替代实施例中，输出521可以是特征图、概率图或血管位置信息的其他表示。在一些实施例中，输出521是仅馈送一个以上下游子模型的中间数据。换句话说，输出521不会被从序贯模型中输出。

在一些实施例中，人工干预(例如，用户编辑501)可以被发送到血管提取子模型520以影响血管提取结果。例如，专家操作者可以通过经由用户编辑501经由点来添加涂鸦、拖动并放到不同位置、扩展或擦除现有血管位置来大规模更改血管整体位置信息。在一些实施例中，独立单元(图5中未示出)用于将不同形式的人工干预(例如，拖放、添加涂鸦、扩展或擦除操作)转换为统一形式(例如，修改的中心线)，然后将统一形式应用于血管提取子模型520以调整输出521。

在一些实施例中，血管位置信息(例如，输出521)可以用于便利病变检测任务。例如，病变分析子模型530可以基于输出521沿着血管路径检测病变。因为输出521提供了医学图像中的血管结构的位置信息，病变分析子模型530可以沿着血管区域搜索病变，而不会在非血管区域浪费时间。在一些实施例中，如果检测到一个以上病变，病变分析子模型530可进一步量化和表征检测到的病变。例如，病变分析子模型530可以确定检测到的血管病变的类别(例如，钙化或非钙化)。此外，病变分析子模型530可以计算检测到的病变的狭窄程度。在一些实施例中，病变分析子模型530生成包括检测到的病变信息(例如，病变位置、病变量化和病变表征)的病变分析结果531并将其从序贯模型500中输出。

在一些实施例中，用户可以向病变分析子模型530发送用户编辑502以编辑病变分析结果531。用户可以是与输入用户编辑501相同的专家操作者或不同的专家操作者。用户可以使用各种操作(例如，添加、拖动、放下、扩展或擦除)来改变病变位置、病变表征(例如，钙化或非钙化)和病变量化(例如，狭窄程度)。与一些实施例一致，可以在用户编辑502上应用独立单元(图5中未示出)以将各种人工操作转换成统一形式来调整病变分析结果531。

在一些实施例中，病变分析结果531和输出521的副本用于细化血管分割子模型540中的血管边界。例如，血管分割子模型540可以基于血管位置的信息(例如，输出521)和检测到的病变(例如，病变分析结果531)生成逐像素血管分割掩码(例如，血管分割掩码541)。在一些实施例中，血管分割掩码可以是接收到的医学图像的逐像素或逐体素注释，其中每个像素/体素被分类和标记，例如，如果像素/体素属于血管，则值为1，否则值为0。血管分割子模型540可以使用病变位置信息(例如，病变分析结果531)来细化病变区域周围的血管边界。在一些实施例中，血管分割子模型540可以生成指示医学图像中的各个像素属于血管结构的概率的概率图。血管分割子模型540然后可以执行阈值化以获得逐像素分割掩码。例如，血管分割子模型540可以在概率图中的相应概率大于0.8时将分割掩码的像素设定为1(即属于血管结构)，并且将分割掩码的剩余像素设定为0(即，不属于血管结构)。阈值可由操作者设定或由血管分割子模型540自动选择。

在一些实施例中，用户可以向血管分割子模型540发送人工干预(例如，用户编辑503)以调整血管分割掩码541。用户可以是输入用户编辑501或用户编辑502的同一专家操作者，或者是不同的专家操作者。人工干预可以包括血管边界的基于网格的拖动、像素铅笔和橡皮擦工具以细化血管边界。与一些实施例一致，可以在用户编辑503上应用独立单元(图5中未示出)以将各种人工操作转换为可以应用于血管分割掩码541的统一形式。返回到图4，处理器408可以配置为经由总线410将病变分析结果531和血管分割掩码541(作为分析结果120的示例)从图像处理设备103中输出。分析结果可以显示在与图像处理设备103连接的显示器中，打印在医疗报告上，或存储在外部存储器中。

与本公开一致，模型训练设备102可以具有与图像处理设备103相同或相似的结构。在一些实施例中，模型训练设备102包括处理器以及其他部件，配置为使用训练数据单独地或联合地来训练血管提取子模型、病变分析子模型和血管分割子模型。

图6是根据本公开的实施例的用于分析包含血管结构的医学图像的示例性方法600的流程图。例如，方法600可以由图1中的图像处理设备103使用诸如图2中的模型200的训练的序贯模型来实现。然而，方法600不限于该示例性实施例。方法600可以包括如下所述的步骤S602-S612。应当理解，一些步骤对于执行这里提供的公开可能是可选的。此外，一些步骤可以同时执行，或者以与图6所示不同的顺序执行。

在步骤S602中，图像处理设备103例如从医学图像数据库104接收医学图像。医学图像捕获血管结构对象，例如血管。图像处理设备103可以另外地接收医学图像分析模型，例如序贯模型500。与一些实施例一致，图像分析模型可包括三个子模型(例如，血管提取子模型520、病变分析子模型530、血管分割子模型540)。在一些实施例中，图像处理设备103还可接收由一个以上专家操作者输入的一个以上人工干预(例如，用户编辑501、502或503)。

在步骤S604中，图像处理设备103提取接收到的医学图像中包含的血管结构的位置信息。在一些实施例中，可以执行血管提取以定位血管结构的轮廓(例如，血管中心线)。例如，中心线跟踪血管结构的路径。在一些实施例中，图像处理设备103可以对提取的血管位置应用接收到的人工干预(例如，用户编辑501)以调整输出的血管提取结果。

在步骤S606中，图像处理设备103使用提取的血管位置信息沿着血管路径检测病变。在一些实施例中，图像处理设备103还可以确定检测到的病变是钙化的还是非钙化的。图像处理设备103还可以确定每个检测到的病变的狭窄程度。在一些实施例中，图像处理设备103可以对检测到的病变应用接收到的人工干预(例如，用户编辑502)以调整输出的病变信息，例如，病变位置、病变表征和病变量化。在步骤S608中，图像处理设备103输出病变信息(例如，病变分析结果531)。例如，病变分析结果可以显示在与外部医疗仪器连接的显示器上或打印在医疗报告中。

在步骤S610中，图像处理设备103基于在步骤S604中提取的血管位置信息和在步骤S608中输出的病变分析结果来细化血管边界。例如，图像处理设备103可基于在步骤S608中提供的病变分析结果精确地分割病变区域周围的血管边界，并且生成逐像素血管分割掩码。在一些实施例中，图像处理设备103可以在血管分割掩码上应用接收到的人工干预(例如，用户编辑503)以调整细化的血管边界。在步骤S612中，图像处理装置103输出细化的血管边界(例如，血管分割掩码541)。例如，细化的血管边界可以显示在与外部医疗仪器连接的显示器上或打印在医疗报告中。

尽管使用包含血管结构的医学图像作为示例描述了本公开的某些实施例，但是可以设想，所公开的系统和方法不限于分析血管结构图像。序列网络中的子模型(例如图2的序贯模型200)是通用模型，其可以被调整和训练以分析任何其他图像或非图像原始数据。

例如，所公开的系统和方法可以配置为分析包含器官(例如，心脏)的医学图像，并且使用序贯模型计算冠状动脉钙化分数。冠状动脉钙化分数是心血管疾病风险的临床指标评分。在一些实施例中，序贯模型可以包括至少两个子模型：冠状动脉检测子模型和钙化检测子模型。冠状动脉检测子模型配置成提取环绕心脏的冠状动脉。然后钙化检测子模型可以接收提取的冠状动脉并检测提取的冠状动脉周围的钙化。序贯模型还可包括其他子模型以基于检测到的钙化来计算冠状动脉钙化分数。因为序贯模型只能检测冠状动脉上的钙化而不能检测其他血管(例如，主动脉)上的钙化，因此序贯模型可以获得比单个冠状动脉钙化检测模型更好的性能。

作为另一示例，所公开的系统和方法可以包括配置为分割医学图像中的器官(例如，胰腺)的序贯模型。因为胰腺是在不同人间具体形状不同的细长器官，训练用于分割胰腺的单个分割模型来获得满意的分割结果是非常具有挑战性的。在一些实施例中，序贯模型可包括两个子模型：分割胰腺周围的较大器官(例如，胃、肝脏)的较大器官分割子模型，以及基于分割的较大器官的结果分割胰腺的胰腺分割子模型。因此，序贯模型可以通过分割其他较大的器官来容易地排除非胰腺区域，并提供胰腺的准确分割掩码。

本公开的另一方面涉及一种存储指令的非暂时性计算机可读介质，该指令在被执行时使一个以上处理器执行上述方法。计算机可读介质可以包括易失性或非易失性、磁性、半导体、磁带、光学、可移动、不可移动或其他类型的计算机可读介质或计算机可读存储设备。例如，如所公开的，计算机可读介质可以是其上存储有计算机指令的存储设备或存储器模块。在一些实施例中，计算机可读介质可以是其上存储有计算机指令的盘或闪存驱动器。

对于本领域技术人员而言显而易见的是，可以对所公开的系统和相关方法进行各种修改和变化。考虑到所公开的系统和相关方法的说明和实践，其它实施例对于本领域技术人员来说将是显而易见的。

本说明书和示例旨在仅被视为示例性的，真实范围由以下权利要求及其等同物指示。

Claims (20)

1.一种使用序贯模型分析包含血管结构的医学图像的系统，包括：

通信接口，其配置成接收所述医学图像和所述序贯模型，其中，所述序贯模型包括血管提取子模型和病变分析子模型，其中，所述血管提取子模型和所述病变分析子模型独立地或联合地训练；以及

至少一个处理器，其配置成：

对接收的所述医学图像应用所述血管提取子模型以提取所述血管结构的位置信息；

对接收的所述医学图像和由所述血管提取子模型提取的所述位置信息应用所述病变分析子模型以获得所述血管结构的病变分析结果；以及

输出所述血管结构的所述病变分析结果。

2.根据权利要求1所述的系统，其中，所述通信接口配置成接收第一用户编辑和第二用户编辑，其中，所述第一用户编辑和所述第二用户编辑彼此独立，

其中，所述至少一个处理器进一步配置成：

另外地对所述第一用户编辑应用所述血管提取子模型以提取所述血管结构的位置信息；或者

另外地对所述第二用户编辑应用所述病变分析子模型以获得所述血管结构的病变分析结果。

3.根据权利要求1所述的系统，其中，所述序贯模型还包括相对于所述血管提取子模型和所述病变分析子模型独立地或联合地训练的血管分割子模型，

其中，所述至少一个处理器进一步配置成：

对接收的所述医学图像、由所述血管提取子模型提取的所述位置信息和由所述病变分析子模型获得的所述血管结构的所述病变分析结果应用所述血管分割子模型以从所述医学图像中分割所述血管结构。

4.根据权利要求3所述的系统，其中，所述通信接口配置成接收第一用户编辑、第二用户编辑和第三用户编辑，其中，所述第一用户编辑、所述第二用户编辑和所述第三用户编辑彼此独立，

其中，所述至少一个处理器进一步配置成：

另外地对所述第一用户编辑应用所述血管提取子模型以提取所述血管结构的位置信息；

另外地对所述第二用户编辑应用所述病变分析子模型以获得所述血管结构的病变分析结果；或者

另外地对所述第三用户编辑应用所述血管分割子模型以分割所述血管结构。

5.根据权利要求1所述的系统，其中，所述位置信息包括血管结构的中心线。

6.根据权利要求2所述的系统，其中，所述第一用户编辑或所述第二用户编辑包括编辑掩码、拖动、放下、添加涂鸦或擦除操作中的至少一个。

7.根据权利要求1所述的系统，其中，所述病变分析子模型配置成定位、表征或量化与所述血管结构关联的病变。

8.根据权利要求4所述的系统，其中，所述血管分割子模型配置成细化血管边界并生成逐像素血管分割掩码。

9.一种使用序贯模型分析包含血管结构的医学图像的方法，包括：

由通信接口接收所述医学图像和所述序贯模型，其中，所述序贯模型包括血管提取子模型和病变分析子模型，其中，所述血管提取子模型和所述病变分析子模型独立地或联合地训练；

由至少一个处理器对接收的所述医学图像应用所述血管提取子模型以提取所述血管结构的位置信息；

由所述至少一个处理器对接收的所述医学图像和由所述血管提取子模型提取的所述位置信息应用所述病变分析子模型以获得所述血管结构的病变分析结果；以及

由所述至少一个处理器输出所述血管结构的所述病变分析结果。

10.根据权利要求9所述的方法，还包括：

由所述通信接口接收第一用户编辑和第二用户编辑，其中，所述第一用户编辑和所述第二用户编辑彼此独立；

由所述至少一个处理器另外地对所述第一用户编辑应用所述血管提取子模型以提取所述血管结构的位置信息；或者

由所述至少一个处理器另外地对所述第二用户编辑应用所述病变分析子模型以获得所述血管结构的病变分析结果。

11.根据权利要求9所述的方法，所述序贯模型还包括相对于所述血管提取子模型和所述病变分析子模型独立地或联合地训练的血管分割子模型，

其中，所述方法还包括：

由所述至少一个处理器对接收的所述医学图像、由所述血管提取子模型提取的所述位置信息和由所述病变分析子模型获得的所述血管结构的所述病变分析结果应用所述血管分割子模型以从所述医学图像中分割所述血管结构。

12.根据权利要求1所述的方法，还包括：

由所述通信接口接收第一用户编辑、第二用户编辑和第三用户编辑，其中，所述第一用户编辑、所述第二用户编辑和所述第三用户编辑彼此独立，

由所述至少一个处理器另外地对所述第一用户编辑应用所述血管提取子模型以提取所述血管结构的位置信息；

由所述至少一个处理器另外地对所述第二用户编辑应用所述病变分析子模型以获得所述血管结构的病变分析结果；或者

由所述至少一个处理器另外地对所述第三用户编辑应用所述血管分割子模型以分割所述血管结构。

13.根据权利要求9所述的方法，其中，所述位置信息包括血管结构的中心线。

14.根据权利要求10所述的方法，其中，所述第一用户编辑或所述第二用户编辑包括编辑掩码、拖动、放下、添加涂鸦或擦除操作中的至少一个。

15.根据权利要求9所述的方法，还包括：

由所述至少一个处理器使用所述病变分析子模型定位、表征或量化与所述血管结构关联的病变。

16.根据权利要求12所述的方法，还包括：

由所述至少一个处理器使用所述血管分割子模型细化血管边界并生成逐像素血管分割掩码。

17.一种非暂时性计算机可读介质，其上存储有计算机程序，其中，所述计算机程序在由至少一个处理器实施时执行使用序贯模型分析包含血管结构的医学图像的方法，所述方法包括：

接收所述医学图像和所述序贯模型，其中，所述序贯模型包括血管提取子模型和病变分析子模型，其中，所述血管提取子模型和所述病变分析子模型独立地或联合地训练；

对接收的所述医学图像应用所述血管提取子模型以提取所述血管结构的位置信息；

对接收的所述医学图像和由所述血管提取子模型提取的所述位置信息应用所述病变分析子模型以获得所述血管结构的病变分析结果；以及

输出所述血管结构的所述病变分析结果。

18.根据权利要求17所述的非暂时性计算机可读介质，其中，所述方法还包括：

接收第一用户编辑和第二用户编辑，其中，所述第一用户编辑和所述第二用户编辑彼此独立；

另外地对所述第一用户编辑应用所述血管提取子模型以提取所述血管结构的位置信息；或者

另外地对所述第二用户编辑应用所述病变分析子模型以获得所述血管结构的病变分析结果。

19.根据权利要求17所述的非暂时性计算机可读介质，其中，所述序贯模型还包括相对于所述血管提取子模型和所述病变分析子模型独立地或联合地训练的血管分割子模型，

其中，所述方法还包括：

对接收的所述医学图像、由所述血管提取子模型提取的所述位置信息和由所述病变分析子模型获得的所述血管结构的所述病变分析结果应用所述血管分割子模型以从所述医学图像中分割所述血管结构。

20.根据权利要求19所述的非暂时性计算机可读介质，其中，所述方法还包括：

接收第一用户编辑、第二用户编辑和第三用户编辑，其中，所述第一用户编辑、所述第二用户编辑和所述第三用户编辑彼此独立；

另外地对所述第一用户编辑应用所述血管提取子模型以提取所述血管结构的位置信息；

另外地对所述第二用户编辑应用所述病变分析子模型以获得所述血管结构的病变分析结果；或者

另外地对所述第三用户编辑应用所述血管分割子模型以分割所述血管结构。

Images