CN110556179B - 使用深度神经网络标记全脊柱图像的方法和系统 - Google Patents

Abstract

本发明题为“使用深度神经网络标记全脊柱图像的方法和系统。”本发明公开了一种用于自动标记脊柱图像的方法和系统。该方法包括接收输入脊柱图像并通过深度神经网络对输入脊柱图像的图像特征进行分析。该方法还包括基于训练图像数据集的图像特征，通过深度神经网络生成与输入脊柱图像对应的掩模图像。掩模图像中的感兴趣区域包括脊柱的候选椎骨。训练图像数据集包括多个脊柱图像和多个对应的掩模图像。该方法还包括将标签与掩模图像的多个图像组件相关联，以及基于与掩模图像相关联的标签来标记输入脊柱图像。

Description

使用深度神经网络标记全脊柱图像的方法和系统

技术领域

本说明书的实施方案整体涉及用于自动标记脊柱图像的方法和系统，更具体地说，涉及使用深度神经网络标记全脊柱图像的方法和系统。

背景技术

可获得脊柱图像以检测影响脊柱外观的脊柱病症，诸如：骨折、肿瘤、脊柱侧凸以及椎间退变和突出。因此，精确的检测和识别脊柱结构(诸如：椎骨和椎间盘)是必要的。对脊柱图像手动标注和/或标记，以识别椎骨和椎间盘。还存在对椎骨和椎间盘进行半自动标注和/或标记的技术。例如，放射科医生或技术人员手动标记每个切片的脊柱的顶椎和下部椎骨，以供标注工具对所有椎骨进行标记。这些标签由放射科医生或技术人员进行审查。如果放射科医生标记脊柱的起始部分(例如，腰椎)，则标注工具示出剩余脊柱椎骨的标签。然而，当脊柱中存在解剖或病理变异时，诸如脊柱侧弯(脊柱弯曲异常)，融合椎骨、创伤诱发性解剖变异、脊柱植入物、过渡椎骨和腰椎骶化，标注工具可能无法准确地提供标签。

通常期望具有能够对脊柱图像进行准确标记的工具。

发明内容

本公开的其中一个实施方案涉及用于自动标记脊柱图像的方法。该方法包括接收输入脊柱图像并通过深度神经网络对输入脊柱图像的图像特征进行分析。该方法还包括基于训练图像数据集的图像特征，通过深度神经网络生成与输入脊柱图像对应的掩模图像。掩模图像中的感兴趣区域包括脊柱的候选椎骨。训练图像数据集包括多个脊柱图像和多个对应的掩模图像。该方法还包括将标签与掩模图像的多个图像组件相关联，以及基于与掩模图像相关联的标签来标记输入脊柱图像。

在另一个实施方案中，公开了一种用于训练深度神经网络的方法。该方法包括向深度神经网络提供训练图像数据集。训练图像数据集包括多个脊柱图像和多个对应的掩模图像。多个脊柱图像中的每个脊柱图像均为全脊柱解剖结构的。该方法还包括通过将训练图像数据集中的每个脊柱图像的图像特征与训练图像数据集中的对应掩模图像关联，根据分配给图像特征的权重训练深度神经网络。掩模图像中的感兴趣区域包括脊柱的候选椎骨。该方法还包括通过深度神经网络，基于训练获悉训练图像数据集中脊柱图像与对应掩模图像之间的关系。

在另一个实施方案中，公开了一种用于自动标记脊柱图像的系统。该系统包括深度神经网络框架，该框架被配置为基于训练图像数据集的图像特征来分析输入脊柱图像的图像特征，并生成与输入脊柱图像对应的掩模图像。掩模图像中的感兴趣区域包括脊柱的候选椎骨。训练图像数据集包括多个脊柱图像和多个对应的掩模图像。所述深度神经网络还被配置为将标签与对应于输入脊柱图像的掩模图像的多个图像组件相关联；以及基于与掩模图像相关联的标签来标记输入脊柱图像。

通过参考以下具体实施方式和附图，将更完整地理解本公开及其其他特征和优点。

附图说明

图1示意性地示出了根据一个实施方案的用于标记输入脊柱图像的系统；

图2为根据一个实施方案所示的深度神经网络处理输入脊柱图像以用于标记的示意图；

图3示出了根据一个实施方案的经由神经网络生成掩模图像的系统；

图4示出了根据一个实施方案的具有单个输出连接的神经元；

图5示出了根据一个实施方案的神经网络，该神经网络为至少部分地基于U-net结构图的卷积神经网络；

图6示意性地示出了根据一个实施方案的掩模图像的分割；

图7示出了根据一个实施方案的掩模图像的图像组件及其质心；

图8示出了根据一个实施方案的标记的输入脊柱图像；

图9示出了根据一个实施方案的掩模图像以及与图像组件相关联的扫描平面；

图10示出了根据一个实施方案的通过多个输入脊柱图像和多个标记的掩模图像训练的深度神经网络框架的深度神经网络。

图11示出了根据一个实施方案的标记掩模图像；

图12示出了根据一个实施方案的受过训练的神经网络处理输入脊柱图像，以生成标记的脊柱图像；

图13示出了根据一个实施方案的标记脊柱图像的方法；

图14示出了根据一个实施方案的用于标记脊柱图像的方法；

图15示出了根据一个示例性实施方案的用于训练图1中神经网络的服务器的方框图；并且

图16示出了根据一个示例性实施方案的用于训练图1、2和10中神经网络的服务器的方框图；

具体实施方式

当结合附图阅读时，将更好地理解某些实施方案的以下详细描述。就附图示出各种实施方案的功能块的图而言，功能块不一定指示硬件电路之间的划分。因此例如，一个或多个功能块(例如，处理器或存储器)可以在单件硬件(例如，通用信号处理器或一块随机存取存储器、硬盘等)或GPU(图形处理单元)或分布式硬件(在GPU/CPU、GPU+CPU中分布)中实现。类似地，程序可以是独立程序，可以作为子例程合并在操作系统中，可以是已安装的软件包中的功能，存在于基于云的软件/程序、存在于封边机/烟雾机软件等等。应当理解，各种实施方案不限于附图中所示的布置和器械。

下文描述了本公开的一个或多个具体实施方案，以便读者充分理解。这些所描述的实施方案仅为标记脊柱图像的方法和系统的示例。此外，如将理解的，本发明的实施方案不限于神经网络，并且相应地可包括其他形式的人工智能。技术人员将会理解，在不脱离本公开实质的情况下，在实施方案中描述的具体细节在付诸实践时可进行修改。

当引入本公开的各种实施方案的元件时，冠词“a”(一个)、“an”(一个)和“the”(该)旨在表示存在一个或多个元件。术语“第一”、“第二”等不表示任何顺序、数量或重要性，而是用于将一个元件与另一个元件区分开。术语“包含”、“包括”和“具有”，旨在表示包含性的，并且是指除了所列元件之外还可存在其他元件。如本文所用术语“连接到”、“耦合到”等，在本文中，一个对象(例如，材料、元件、结构、构件等等)可以被连接到或耦合到另一个对象，不管一个对象是否为直接连接或耦合到另一个物体，或在一个对象和另一对象之间是否存在一个或多个干预对象。

此外，应当理解，对本公开的“一个实施方案”的引用并非旨在被解释为排除也包含所叙述的特征的其他实施方案的存在。此外，以下权利要求的限制不是用装置加功能格式书写的，也不旨在就其本身来解释，除非并且直到这些权利要求限制明确地使用短语“用于……的装置”，然后是没有其他结构的功能陈述。

下文详细讨论的是标记脊柱图像的方法的实施方案。该方法包括接收输入脊柱图像。该方法还包括使用深度神经网络对输入脊柱图像的图像特征进行分析。该方法还包括根据训练图像数据集的图像特征，通过深度神经网络生成与输入脊柱图像对应的掩模图像，其中掩模图像中的感兴趣区域包括脊柱的候选椎骨，训练图像数据集包括多个脊柱图像和多个掩模图像。该方法还包括处理掩模图像以将标签与掩模图像相关联。该方法还包括基于与掩模图像相关联的标签来标记输入脊柱图像。

图1示意性地示出了根据本发明的一个实施方案的用于自动标记输入脊柱图像的系统100。系统100包括接收或设置有训练图像数据集104的深度神经网络框架102。训练图像数据集104包括多个脊柱图像106和多个掩模图像108。多个脊柱图像106可由一台或多台成像设备例如，成像设备110来生成。在一个实施方案中，成像设备110可为磁共振成像设备。然而，可以注意到根据其他实施方案，成像设备(例如，成像设备110)可以为诸如计算机断层成像设备的任何其他成像设备。掩模图像可由脊柱图像生成，并且掩模图像具有感兴趣区域，该区域包含脊柱的候选椎骨。在一个实施方案中，脊柱图像可以是全脊柱解剖结构的。因此，所生成的掩模图像可为具有所有椎骨的整个脊柱。在另一个实施方案中，脊柱图像可以是一部分脊柱，因此掩模图像也是一部分脊柱。如本文中所用，术语“掩模图像”是指图像的其中一些像素值更改为零值或设置为一些背景值，并且其他设置为非零值的一个图像。例如，MR脊柱图像可包括脊柱、颅骨和其他组织的结构，并且由MR脊柱图像生成的掩模图像仅示出脊柱。此处，与颅骨和其他组织相关的图像像素的像素值更改为零值，脊柱的图像像素的像素值保留为非零值，例如，1。因此，在训练图像数据集104中，掩模图像可具有对应的脊柱图像。在一个实施方案中，可由用户从对应的脊柱图像生成掩模图像。

深度神经网络框架102包括深度神经网络112，该深度神经网络由训练图像数据集104训练。通过将脊柱图像的图像特征与多个掩模图像108中的一个掩模图像的图像特征关联，根据分配给多个脊柱图像106中的一个脊柱图像的图像特征的权重，深度神经网络112得到训练。脊柱图像和掩模图像的图像特征可包括但不限于，像素值、像素强度、位置、颜色、方向和色调。在训练期间，深度神经网络112获悉脊柱图像和对应的掩模图像之间的关系。该关系指示掩模图像与特定脊柱图像相关联。例如，如果脊柱图像包括融合椎骨，则深度神经网络从多个掩模图像中找到具有相同融合椎骨的掩模图像以获悉该关系。由于训练，生成受过训练的深度神经网络114，其中包含受过训练的深度神经网络116。这将在图3-5更详细地进行解释。

如图2所示，根据一个实施方案的示出深度神经网络200处理输入脊柱图像以用于标记的示意图。输入脊柱图像202由深度神经网络200接收。深度神经网络200为受过训练的深度神经网络。根据在结合图1所解释的对象上执行的扫描程序，输入脊柱图像202由一台成像设备生成。在一个实施方案中，输入脊柱图像20可采用合适的格式，直接从成像设备反馈给深度神经网络200。在另一个实施方案中，输入脊柱图像202可作为来自存储设备的输入被接收，该存储设备能够存储由不同成像设备生成的医学图像。然而，可以理解的是，根据其他实施方案，输入脊柱图像202可从任何其他来源位置被接收。深度神经网络200处理输入脊柱图像202，以生成掩模图像204。掩模过程由深度神经网络200基于其经过的训练来执行。深度神经网络200对输入脊柱图像202的图像特征进行分析。图像的特征可包括但不限于，像素值、像素强度、位置、颜色、方向、色调以及图像组件的形状。如本文所用，术语“图像组件”是指输入脊柱图像或掩模图像中每个椎骨或脊柱的一部分。基于对图像特征的这种分析，对输入脊柱图像202执行掩模操作以生成掩模图像204。参考结合图1给定的掩模图像定义，掩模图像(例如，掩模图像204)具有感兴趣区域，该区域覆盖具有非零值(例如，1)的图像像素。掩模图像204的感兴趣区域包括脊柱的候选椎骨或椎骨。在一些实施方案中，深度神经网络200可以是具有U-net结构图的卷积神经网络，该卷积神经网络已受过训练，接收多个记住图形和对应的掩模图像作为输入。在其他实施方案中，深度神经网络200可以是具有但不限于全局嵌套神经网络(HNN)结构，或全卷积神经网络结构(即：三维)，或体积卷积神经网络结构的神经网络。

然后，掩模图像204通过图像处理模块206进行处理，以生成分割图像208。分割过程涉及将掩模图像204转换为多个图像组件，其中具有某些图像特征的一组图像像素形成图像组件。图像组件可通过图像处理模块206与它们的边界一起被识别。掩模图像204可使用不同的图像处理技术进行分割，例如但不限于，边缘检测技术、边界检测技术、阈值技术、聚类技术、基于压缩的技术、基于直方图的技术或它们的组合。在分割之后，执行进一步处理以确定图像组件之间的连接。例如，椎骨是连接到另一椎骨，还是存在融合椎骨等。其后，分别识别每个图像组件。这将结合图6进行详细解释。图像处理模块206随后将组件标签与分割图像208的每个图像组件相关联。在一个实施方案中，图像组件的组件标签可由用户预定义。组件标签可存储在数据库中。在一个实施方案中，组件标签可以表数据库(例如，查找表)的形式，或使用根据本公开的各种实施方案的任何其他存储方法或结构来存储。还应当理解，在一个实施方案中，可将组件标签标记为分割图像208的图像组件。然后，基于分配给分割图像208或掩模图像204的对应图像组件的组件标签，来为输入脊柱图像202的每个图像组件分配标签，以生成标记的脊柱图像210。在一些实施方案中，标记的脊柱图像210可具有提供给每个图像组件作为标注的标签。或者，标签可作为标记提供给标记的脊柱图像210的每个图像组件。根据各种实施方案，标签可被存储在数据库中，例如，采用查找表格式或任何其他数据存储格式。

现在移至图3的实施方案，系统经由具有一个或多个节点/神经元302的神经网络300，从输入脊柱图像202生成掩模图像204，在实施方案中，神经网络可处理成多层304、306、308、310、312、314和316。神经网络300可以是深度神经网络。关于神经元如本文中所用，术语“层”是指所具有的输入和/或输出以类似于其他模拟神经元集合的方式连接的模拟神经元的集合。因此，如图3所示，神经元302可通过一个或多个连接318彼此之间连接，使得数据可从输入层304通过一个或多个中间层306、308、310、312、314传播到输出层316。

图4示出了根据示例性实施方案的用于神经元的输入和输出连接。如图4所示，单个神经元302的连接318可包括一个或多个输入连接402和一个或多个输出连接404。神经元302的每个输入连接402可为之前神经元的输出连接，而神经元302的输出连接404可为一个或多个后续神经元的输入连接。虽然图4示出了具有单个输出连接402的神经元302，但应当理解，神经元可具有传输/传递相同值的多个输出连接。在实施方案中，神经元302可为数据结构，例如，结构，实例化类对象、矩阵等，而输入连接318可由神经元302作为加权数值被接收，例如，浮点或整数值。例如，如图4中进一步所示，输入连接X1、X2和X3可分别经由权重W1、W2和W3加权、求和，并且作为输出连接Y被发送/传输/传递。应当这样解释，单个神经元302的处理，一般来讲，可通过以下方程式表示：

其中n是到神经元302的输入连接402的总数。在实施方案中，Y的值可至少部分地基于WiXi的总和是否超过阈值。例如，如果加权输入的总和未能超过所需阈值，则Y可具有零(0)值。

还应当理解，输入层304中神经元302的输入连接402(图3)可被映射到输入脊柱图像202，而输出层316中的神经元302的输出连接402(图3)可被映射到掩模图像204。如本文中所用，将输入连接402“映射”到输入脊柱图像202是指输入脊柱图像202影响/指示输入连接402的值的方式。类似地，同样如本文中所用，将输出连接402“映射”到掩模图像204是指输出连接402的值影响掩模图像204的方式。

因此，在实施方案中，所采集/获得的输入脊柱图像202或由此衍生的值被传送/馈送到神经网络300的输入层304，并通过层304、306、308、310、312、314和316传播，使得输出层316的映射输出连接404生成/对应于掩模图像204。可将由神经网络300生成的掩模图像204与训练图像数据集中的掩模图像108进行比较。诸如Dice系数等的损耗系数可用于此目的。Dice系数一般可通过以下公式表示：

DICE＝(S∩T)/S∪T)

其中，S是指掩模图像体积，并且T是指神经网络300的输出。从该公式得出的值称为Dice得分，该得分指示神经网络300输出的准确性。换句话说，Dice得分指示了从神经网络300接收作为输出的掩模图像与提供作为训练图像数据集一部分的掩模图像之间的紧密度。

转到图5，在实施方案中，神经网络300可以是至少部分地基于U-net结构图的卷积神经网络。例如，在某些实施方案中，神经网络300可包括特征图512、514、516、518、520、522、524、526、528、530、532、534、536的一个或多个层502、504、506、508、510。应当这样解释，在实施方案中，层502、504、506、508、510可具有相应的分辨率256x256、128x128、64x64、32x32和16x16。应当理解，层502、504、506、508、510的分辨率在各个实施方案之间可能有所变化。特征图512、514、516、518、520、522、524、526、528、530、532、534、536可相应地具有两(2)、六十四(64)、六十四(64)、一百二十八(128)、一百二十八(128)、三百二(320)、一百二十八(128)、一百九十二(192)、六十四(64)、六十四(64)和一(1)个过滤器/卷积核。如将进一步理解的，每个特征图的过滤器/卷积核的数量在各个实施方案之间可能有所变化。

每层的特征图可分成前端分组538和后端分组540。在此类实施方案中，输入脊柱图像202可映射/馈送到顶层502的前端分组538中的输入特征图512。然后，输入特征图512在同一分组540和层502内通过一个或多个中间特征图512和端部特征图516卷积。然后，端部特征图516的一部分542被复制到相同层502的后端分组540的输入特征图530，而后端特征图516同样被合并到从属层504的前端分组538的输入特征图518中。

与502层类似，从属层504的输入特征图512随后在同一分组538和层540内通过一个或多个中间层504和端部特征图522卷积，其中后端特征度的一部分544被复制到相同层502的后端分组540的输入特征图512，而后端特征图516被合并到下一从属层506的输入特征图。

层504的后端分组的输入层524，通过相同后端分组540和层504的一个或多个中间特征图526和端部特征图528卷积。然后，端部特征图528被展开/升高一级到输入层530中，并与从端部特征图516复制的部分542合并，以便填充/完成特征图530。然后，输入特征图530通过一个或多个中间特征图532、534和端部特征图536卷积，其中端部特征图536被映射到掩模图像204。

如将进一步理解的，层506、508、510以与层502和504相似的方式进行卷积、复制、合并以及展开/升高一级，除了层510放弃合并之外，因为该层为底层。此外，虽然图5将神经网络300描绘为具有五个(5)特征图层，例如，502、504、506、508和510，但应当理解，特征图层的数量在各个实施方案中可能有所变化。

重新参考之前结合图2所述的图像处理模块206利用不同图像处理技术处理掩模图像204以进行分割，图6示意性地示出了根据本公开实施方案的掩模图像204的分割。掩模图像204被分割为多个图像组件，以生成一个分割的掩模图像600。此后，图像处理模块206对分割的掩模图像600进行分析，以确定图像组件之间的任何连接。例如，如果分割的掩模图像600为全脊柱解剖结构的，则可确定椎骨之间的连接。在此过程中，分割的掩模图像600的每个图像组件的一个或多个特征参数可能需要进行分析。一个或多个特征参数可包括例如，图像组件中图像像素以及图像组件周围的邻近图像像素的像素值、像素强度、梯度分辨率、图像组件的形状、位置、颜色、方向、色调。如果图像组件之间存在任何连接，或者两个或两个以上图像组件彼此连接，则图像处理模块206执行连接移除方法以将图像组件彼此分开。可使用的连接移除方法包括但不限于：侵蚀方法、形态学算子方法等。通过与图像组件之前连接相关的示例来解释，在全脊柱掩模图像的情况下，连接脊柱椎骨的脊髓(即：图像组件)在连接全部椎骨时可能是可见的。图像处理模块206对分割的掩模图像600进行处理，以使用连接移除方法来移除椎骨之间的这种连接。其后，图像处理模块206通过分析每个图像组件的特征参数来识别每个图像组件的边界。此处，图像处理模块206可使用边缘检测技术、边界检测技术等从分割的掩模图像600中单独提取每个图像组件。分割的掩模图像600的图像组件分开，其示出为分割的掩模图像602。如图6中示出的分割掩模图像602所示，每个图像组件彼此分开。

图像处理模块206对分割的掩模图像602进行处理，以确定多个图像组件中的每个图像组件的位置。在一个实施方案中，每个图像组件的质心由图像处理模块206确定。如果存在连接的图像组件(诸如融合椎骨)，会识别与所连接图像组件相关联的质心。

其后，确定特定图像组件的质心与其他图像组件的质心之间的距离，以识别图像组件的位置。通过举例的方式加以解释，也就是说，确定每个椎骨的质心，然后确定一个椎骨的质心与相邻椎骨的质心之间的距离，以识别椎骨的位置。在另一个实施方案中，可确定特定椎骨的质心与所有相邻椎骨的质心之间的距离，以识别椎骨的位置。如图7所示，两个图像组件700和702(即，椎骨)的质心可被标识为C1和C2。一旦确定了质心，图像组件700和702的质心C1和C2之间的距离就被标识为D。另外，图像组件704的质心可被标识为C3。质心C1和C3之间的距离被确定为D1。基于质心C1、C2和C3之间的距离以及这些质心之间的距离，识别图像组件700、702和704的位置。相似地，分割掩模图像602的其他组件的位置也可被确定。一旦识别了图像组件的位置，图像处理模块206就将组件标签与分割掩模图像602的图像组件相关联。图像处理模块206对这些组件标签进行分析，以标记输入脊柱图像202的图像组件。也就是说，图像处理模块206可识别与分割掩模图像602的图像组件相关联的组件标签，然后识别与具有组件标签的分割掩模图像602的图像组件对应的输入脊柱图像202的图像组件。基于此，图像处理模块206对输入脊柱图像202的图像组件进行标记，以生成标记的输入脊柱图像210，如图8所示。如8中所示，根据一个示例性实施方案，给定标签可以是例如分配给颈椎的1-C3、2-C4、3-C5、5-C7和4-C6，分配给胸椎的6-T1、7-72、8-T3、9-T4、10-T5、11-T6、12-T7、13-T8、14-T9、15-T10、16-T11和17-T12，分配给腰椎的L1-18、L2-19、L3-20、L4-21和L5-22以及分配给骶椎的S1-23。然而，根据其他实施方案，可设想任何其他格式的标签也可被分配给输入脊柱图像202。

在本发明的另一个实施方案中，图像处理模块206可使用针对图像组件识别的质心来确定掩模图像602的每个图像组件的扫描平面，如图9所示。图像处理模块206可识别连接两个图像组件质心的线段，然后确定与穿过这些质心的线段垂直的平面。该平面可被视为潜在扫描平面。如图9所示，考虑到图像组件902和图像组件904，线段906可结合或穿过图像组件的质心。图像处理模块可识别取向与线段906垂直的平面908。该平面908被识别为图像组件904的扫描平面。相似地，平面910可为图像组件912和914的扫描平面，因为平面910的取向与穿过图像组件912和914的质心的线段916垂直。

现移到图10，该图示出了根据本公开一个实施方案，通过多个输入脊柱图像(以下称为“输入脊柱图像1004”)和多个标记的掩模图像(以下称为“标记掩模图像1006”)训练的深度神经网络框架1002的深度神经网络1000。深度神经网络1000可为深卷积神经网络，例如，R-CNN，或任何其他深卷积神经网络。每个输入脊柱图像1004可具有对应的标记掩模图像1006。标记掩模图像1006包括具有分配给掩模图像每个图像组件的组件标签的掩模图像。在一个实施方案中，可为每个图像组件分配组件标签，以将其与其他组件区分开。组件标签可以是唯一标签，该标签可基于图像组件的图像特征而变化。图像特征可包括但不限于，图像组件的图像像素的像素值、像素颜色以及像素强度。例如，考虑到脊柱掩模图像包括颈椎、胸椎、腰椎、骶椎和尾椎的情况，与颈椎、胸椎、腰椎、骶椎和尾椎相关联的图像像素可能具有不同的图像特征。如图11所示，每个椎骨可具有不同的图像像素颜色、灰度或强度，并且可基于像素颜色、灰度或强度将唯一标签分配给每个椎骨。例如，椎骨1102的组件标签可为11，椎骨1104的组件标签可为22。此处，椎骨1102和椎骨1104的图像特征(例如，像素强度)是不同的。在另一个实施方案中，每个椎骨可基于其图像像素的颜色进行标记。换句话说，椎骨的图像像素的颜色作为其标识，进而作为其标签。可由用户将组件标签分配给每个图像组件。

在标记掩模图像1006中，为了标记图像组件，可能需要确定与图像组件相关联的位置。在一个实施方案中，通过识别图像组件的质心来确定图像组件的位置。深度神经网络1000获悉每个图像组件的质心。应当理解，尽管公开了确定图像组件的质心以识别图像组件的位置信息作为一个实施方案的一部分，但是根据不同其他的实施方案，可利用任何其他的位置参数识别图像组件的位置信息。例如，位置参数可以是沿着图像组件边缘的一个点。深度神经网络1002在输入脊柱图像1004和标记掩模图像1006上进行训练，以生成受过训练的深度神经网络1008，作为受过训练的深度神经网络框架1010的一部分。

根据本公开的一个实施方案，受过训练的深度神经网络1008可对输入脊柱图像1200进行处理，以生成标记的脊柱图像1202，如图12中所示。当接收到输入脊柱图像1200时，受过训练的深度神经网络1008识别输入脊柱图像1200的每个图像组件的位置信息。在一个实施方案中，通过质心指示位置信息。然后，基于图像组件的质心，将对应的标签分配给输入脊柱图像1200的图像组件。在一个实施方案中，为了详细说明，受过训练的深度神经网络1008可从输入脊柱图像1200生成掩模图像。然后，基于受过训练的深度神经网络所受的训练(结合图10所述的)来确定掩模图像的图像组件位置。将掩模图像的图像组件的位置与输入脊柱图像1200的图像组件的位置进行映射。然后，组件标签与掩模图像的图像组件相关联，该图像组件基于分配给标记掩模图像1006的对应图像组件的组件标签。基于该关联，将标签分配给输入脊柱图像1200的图像组件，以生成标记的脊柱图像1202。在此过程中，不需要对掩模图像1006进行分割，从而避免产生分割的处理费用。

现移至图13，公开了根据一个实施方案的标记脊柱图像的方法1300。方法1300包括在框1302处接收输入脊柱图像。输入脊柱图像可为从成像设备生成的或存储在存储设备中的脊柱图像。输入脊柱图像可与全脊柱解剖结构相关联。在框1304处使用深度神经网络分析输入脊柱图像的图像特征。然后，在框1306处，基于训练图像数据集的图像特征，由深度神经网络生成与输入脊图像对应的掩模图像。训练图像数据集包括多个脊柱图像和多个掩模图像。掩模图像可具有包括脊柱的候选椎骨的感兴趣区域。

提供训练图像数据集以训练深度神经网络。在框1308处，通过将脊柱图像的图像特征与掩模图像的图像特征相关联，根据分配给脊柱图像的图像特征的权重对深度神经网络进行训练。深度神经网络通过基于训练的深度神经网络来获悉脊柱图像与多个掩模图像中的对应掩模图像之间的关系。在框1308处，处理掩模图像以分配组件标签。处理掩模图像的方法结合图14进行了描述。然后，在框1310处基于与掩模图像相关联的组件标签来标记输入脊图像。

图14示出了根据本公开的实施方案的处理掩模图像的方法1400。方法1400包括在框1402处将掩模图像分割成多个图像组件。例如，掩模图像中的图像组件包括椎骨。在分割过程中，对多个图像组件中的每个图像组件的一个或多个特征参数进行分析。一个或多个特征参数可包括例如像素值、像素强度、梯度分辨率、图像组件的形状、位置、颜色、方向和色调。然后，基于该分析从掩模图像中逐个提取每个图像组件。在框1404处，识别待标记的多个图像组件中的一个图像组件。为了识别图像组件，确定图像组件的位置。在一个实施方案中，通过识别图像组件的质心来确定其位置。然后，在框1406处，将组件标签与掩模图像的每个图像组件相关联。

现在参见图15，公开了根据本公开的一个实施方案的用于标记脊柱图像的方法1500。方法1500包括在框1502处接收输入脊柱图像。在框1504处使用深度神经网络分析与输入脊柱图像相关的图像特征。在各种实施方案中，由深度神经网络在输入脊柱图像的图像像素层面对图像特征进行分析。在框1504处，基于训练图像数据集的图像特征，由深度神经网络生成与输入脊图像对应的掩模图像。训练图像数据集包括用于训练深度神经网络的多个脊柱图像和多个标记的掩模图像。多个标记掩模图像中的一个标记掩模图像具有分配或标记到每个图像组件的标签。然后，在框1506处，由深度神经网络确定掩模图像的每个图像组件的位置。在框1508处，基于分配给标记掩模图像的每个图像组件的组件标签，掩模图像的每个图像组件与组件标签相关联。

根据示例性实施方案，神经网络(112，200，1000)的实例化可在设置在第一位置1602处的服务器1600上进行训练，例如，研究中心和/或成像系统制造站点，如图16所示。一旦被训练到神经网络(112,200,1000)从在许可误差限值范围内输入脊柱图像生成掩模图像和标记脊柱图像的点时，例如，适于医疗诊断目的和处方的标记脊柱图像，权重和获悉可通过网络1604，例如，因特网和云网络，发送到可能与成像系统110(图1)相似的一个或多个成像系统1606、1608、1610，并在一个或多个站点1612、1614、1616配置，例如，诸如医院等医疗设施。一旦接收，权重和获悉可通过系统1606、1608、1610内的神经网络1604的实例/实例化来应用。换句话说，在实施方案中，神经网络1604可在研究设施1616中进行训练，其中权重通过网络1604被推送到各种成像系统1606、1608、1610，每个成像系统运行/执行神经网络1604的实例。

此外，操作者(例如，技术人员或放射科医生)可将来自不同站点成像系统1606、1608、1610的被拒绝或批准的掩模图像或标记的掩模图像发送到服务器1600，以添加作为训练图像数据集的一部分。在一个实施方案中，这些额外的被拒绝和批准的掩模图像或标记的脊柱图像由专家来审查，并添加到服务器1600中的训练图像数据集中。这些在训练图像数据集中的添加有助于完善在成像系统1606、1608、1610中运行的驻留深度神经网络。

虽然神经网络(112，200，1000)的实例化被描述为包括多个成像系统的分布式网络的一部分(参考图16)，应当理解，根据本发明的实施方案，神经网络(112、200或1000)可在用于执行标记脊柱图像的方法的单个成像系统或设备中实现。

上文描述了用于标记输入脊柱图像的系统和方法的各种实施方案，以允许用户通过可能的手动校正实现脊柱完全自动标注。该方法减少了所需的标记时间并提高了在脊柱图像上工作的技术人员的生产力。此外，由于该完全自动化的脊柱标注，技术人员或放射科医生可更高效地编写医疗报告。

上述优点应被视为例证性的而非限制性的。应当理解，根据任何特定的实施方案，并非所有上述的目的或优点都可实现。因此例如，本领域的技术人员将认识到，本文所述的系统和技术可以实现或改进如本文所述的一个优点或一组优点的方式来实施或执行，而不必实现本文所述的或建议的其他目的或优点。

应注意到，各种实施方案可以用硬件、软件或其组合来实现。各种实施方案和/或组件(例如，其中的模块、或部件和控制器)也可以实现为一个或多个计算机或处理器的一部分。计算机或处理器可以包括计算设备、输入设备、示出单元和接口，例如以用于访问互联网。计算机或处理器可以包括微处理器。微处理器可以连接到通信总线。计算机或处理器还可以包括存储器。存储器可以包括随机存取存储器(RAM)和只读存储器(ROM)。计算机或处理器还可以包括存储设备，其可以是硬盘驱动器或可移动存储驱动器诸如固态驱动器、光盘驱动器等。存储设备还可以是用于将计算机程序或其他指令加载到计算机或处理器中的其他类似设备。

如本文所用，术语“计算机”、“子系统”、“控制器电路”、“电路”或“模块”可以包括任何基于处理器或基于微处理器的系统，其包括使用微控制器、精简指令集计算机(RISC)、专用集成电路(ASIC)、逻辑电路和能够执行本文所述功能的任何其他电路或处理器的系统。以上示例仅是示例性的，并且因此不旨在以任何方式限制术语“控制器电路”的定义和/或含义。

计算机、子系统、控制器电路、电路执行存储在一个或多个存储元件中的指令集以便处理输入数据。存储元件还可以根据期望或需要存储数据或其他信息。存储元件可以呈处理机内的信息源或物理存储器元件的形式。

指令集可以包括指示计算机、子系统、控制器电路和/或电路来执行特定操作(诸如各种实施方案中所述的方法和过程)的各种命令。指令集可以呈软件程序的形式。软件可以呈各种形式，诸如系统软件或应用软件，并且可以体现为有形和非暂态计算机可读介质。此外，软件可以呈单独程序或模块的集合、较大程序内的程序模块或程序模块的一部分的形式。软件还可以包括以面向对象编程形式的模块化编程。处理机对输入数据的处理可以响应于操作员命令，或者响应于先前处理的结果，或者响应于另一个处理机做出的请求。

如本文所用，“被配置为”执行任务或操作的结构、限制或元件在特定结构上以对应于任务或操作的方式形成、构造或调整。出于清楚和避免疑问的目的，仅能够被修改以执行任务或操作的对象未“被配置为”执行如本文所用的任务或操作。相反，本文使用的“被配置为”表示结构适应或特征，并且表示被描述为“被配置为”执行任务或操作的任何结构、限制或元件的结构要求。例如，“被配置为”执行任务或操作的控制器电路、电路、处理器或计算机可以被理解为被特别构造为执行该任务或操作(例如，具有存储在其上或与其一起使用的被定制或旨在执行任务或操作的一个或多个程序或指令，和/或具有定制或旨在执行任务或操作的处理电路的布置)。出于清楚和避免疑问的目的，通用计算机(其可以“配置为”执行任务或操作，如果适当编程的话)未“被配置为”执行任务或操作，除非或直到被专门编程或结构上进行修改以执行任务或操作。

如本文所使用的，术语“软件”和“固件”是可互换的，并且包括存储在存储器中以供计算机执行的任何计算机程序，该存储器包括RAM存储器、ROM存储器、EPROM存储器、EEPROM存储器和非易失性RAM(NVRAM)存储器。上述存储器类型仅是示例性的，并且因此不限制可用于存储计算机程序的存储器的类型。

应当理解，以上描述旨在是例示性的而非限制性的。例如，上述实施方案(和/或其各方面)可彼此组合使用。另外，在不脱离本发明的各种实施方案的范围的情况下，可进行许多修改以使特定情况或材料适应各种实施方案的教导。虽然本文描述的材料的尺寸和类型旨在限定各种实施方案的参数，但它们决不是限制性的而仅是示例性。在阅读以上描述后，许多其它实施方案对于本领域技术人员而言将是显而易见的。因此，各种实施方案的范围应参考所附权利要求书以及这些权利要求书所赋予的等同物的全部范围来确定。在所附权利要求中，术语“包括”和“在……中”用作相应术语“包含”和“其中”的通俗中文等同物。此外，在以下权利要求中，术语“第一”、“第二”和“第三”等仅用作标记，而不旨在对其对象施加数字要求。

该书面描述使用示例来公开本发明，包括最佳模式，并且还使本领域技术人员能够实践本发明，包括制造和使用任何计算系统或系统以及执行任何包含的方法。本发明的专利范围由权利要求限定，并且可包括本领域技术人员想到的其它示例。如果这些其他示例具有与权利要求的字面语言没有不同的结构元件，或者如果它们包括与权利要求的字面语言无实质差别的等效结构元件，则这些其他示例旨在在权利要求的范围内。

Claims (20)

1.一种用于自动标记脊柱图像的方法，所述方法包括：

接收输入脊柱图像；

通过深度神经网络，对所述输入脊柱图像的图像特征进行分析；

基于训练图像数据集的图像特征，通过所述深度神经网络生成与所述输入脊柱图像对应的掩模图像，其中所述掩模图像中的感兴趣区域包括脊柱的候选椎骨，其中所述训练图像数据集包括多个脊柱图像和多个对应的掩模图像；

将标签与对应于所述输入脊柱图像的所述掩模图像的多个图像组件相关联；以及

基于与所述掩模图像相关联的所述标签来标记所述输入脊柱图像。

2.根据权利要求1所述的方法，其中所述输入脊柱图像为全脊柱解剖结构的。

3.根据权利要求1所述的方法，还包括：

向所述深度神经网络提供所述训练图像数据集；

通过将所述训练图像数据集中的每个脊柱图像的所述图像特征与所述训练图像数据集中的对应掩模图像关联，根据分配给所述图像特征的权重训练所述深度神经网络；以及

通过所述深度神经网络，基于所述训练获悉所述训练图像数据集中所述脊柱图像与所述对应掩模图像之间的关系。

4.根据权利要求1所述的方法，还包括：

将与所述输入脊柱图像对应的所述掩模图像分割为所述多个图像组件；以及

识别待标记的所述多个图像组件中的每个图像组件。

5.根据权利要求4所述的方法，还包括确定所述多个图像组件的各图像组件之间的连接。

6.根据权利要求4所述的方法，其中分割所述掩模图像包括：

对所述多个图像组件中的每个图像组件的至少一个特征参数进行分析；以及

从所述掩模图像中单独提取每个图像组件。

7.根据权利要求6所述的方法，还包括确定所述多个图像组件中的每个图像组件的位置，以对每个图像组件进行标记。

8.根据权利要求1所述的方法，其中所述训练图像数据集中的所述多个掩模图像中的每个掩模图像均为标记掩模图像，所述标记掩模图像包括多个图像组件。

9.根据权利要求8所述的方法，其中所述标记掩模图像的所述多个图像组件中的每个图像组件，均基于所述图像组件的图像特征被分配组件标签，所述方法还包括：

基于每个图像组件的所述组件标签和位置信息来在每个图像组件的位置训练所述深度神经网络。

10.根据权利要求9所述的方法，还包括：

确定与所述输入脊柱图像对应的所述掩模图像的每个图像组件的位置，

其中将标签与所述多个组件相关联包括基于分配给所述标记掩模图像的每个图像组件的所述组件标签来使所述掩模图像的每个图像组件的标签相关联。

11.一种训练深度神经网络的方法，所述方法包括：

向所述深度神经网络提供训练图像数据集，所述训练图像数据集包括多个脊柱图像和多个对应的掩模图像，其中所述多个脊柱图像中的每个脊柱图像均为全脊柱解剖结构的；

通过将所述训练图像数据集中的每个脊柱图像的所述图像特征与所述训练图像数据集中的对应掩模图像关联，根据分配给所述图像特征的权重训练所述深度神经网络，其中所述掩模图像的感兴趣区域包括脊柱的候选椎骨；以及

通过所述深度神经网络，基于所述训练获悉所述训练图像数据集中所述脊柱图像与所述对应掩模图像之间的关系。

12.根据权利要求11所述的方法，其中所述多个掩模图像中的每个掩模图像均为标记掩模图像，所述标记掩模图像包括多个图像组件，所述方法还包括：

基于所述图像组件的图像特征来向所述多个图像组件中的每个图像组件分配组件标签；以及

基于每个图像组件的所述组件标签和位置信息来获悉每个图像组件的位置。

13.一种用于自动标记脊柱图像的系统，所述系统包括：

深度神经网络框架，所述深度神经网络框架被配置为：

对输入脊柱图像的图像特征进行分析；

基于训练图像数据集的图像特征来生成与所述输入脊柱图像对应的掩模图像，其中所述掩模图像中的感兴趣区域包括脊柱的候选椎骨，其中所述训练图像数据集包括多个脊柱图像和多个对应的掩模图像；以及

将标签与对应于所述输入脊柱图像的所述掩模图像的多个图像组件相关联；以及

基于与所述掩模图像相关联的所述标签来标记所述输入脊柱图像。

14.根据权利要求13所述的系统，其中所述输入脊柱图像为全脊柱解剖结构的。

15.根据权利要求13所述的系统，其中所述深度神经网络框架还被配置为：

接收所述训练图像数据集；

通过将所述训练图像数据集中的每个脊柱图像的所述图像特征与所述训练图像数据集中的对应掩模图像关联，根据分配给所述图像特征的权重训练；以及

基于所述训练来获悉所述训练图像数据集中所述脊柱图像与所述对应掩模图像之间的关系。

16.根据权利要求13所述的系统，其中所述深度神经网络框架还被配置为：

将与所述输入脊柱图像对应的所述掩模图像分割为多个图像组件；以及

识别待标记的所述多个图像组件。

17.根据权利要求16所述的系统，其中所述深度神经网络框架还被配置为确定所述多个图像组件中各图像组件之间的连接。

18.根据权利要求16所述的系统，其中所述深度神经网络框架还被配置为：

对所述多个图像组件中的每个图像组件的至少一个特征参数进行分析；

从所述掩模图像中单独提取每个图像组件；以及

确定所述多个图像组件中的每个图像组件的位置，以对每个图像组件进行标记。

19.根据权利要求13所述的系统，其中所述多个掩模图像中的每个掩模图像均为具有多个图像组件的标记掩模图像，其中每个图像组件均基于所述图像组件的图像特征被分配组件标签，所述深度神经网络框架还被配置为：

基于每个图像组件的组件标签和位置信息来在每个图像组件的位置进行训练。

20.根据权利要求19所述的系统，其中所述深度神经网络框架还被配置为：

确定由所述深度神经网络从所述输入脊柱图像生成的所述掩模图像的每个图像组件的位置；以及

基于分配给所述标记掩模图像的每个图像组件的所述组件标签，使所述掩模图像的每个图像组件的标签相关联。

Images