CN113240659B - 一种基于深度学习的心脏核磁共振影像病变结构提取方法 - Google Patents

Abstract

本发明提供了一种基于深度学习的影像特征提取方法，该方法包括：由深度学习网络从心脏核磁共振成像系统接收表示心脏核磁共振的未注解图像的第一输入数据；由深度学习网络预处理所述未注解图像，以生成表示心脏核磁共振的显著性图像的第二输入数据，以及表示显著性图像的显著性区域的相应注解数据；处理第一和第二输入数据，以通过显著性图像中识别的显著性区域中的未注解图像中的目标特征检测来执行深度学习网络的训练；使用训练后的深度学习网络处理第三输入数据，以识别新的未注解图像中的病变结构。本发明提出了一种基于深度学习的影像特征提取方法，不需要复杂的结构，一次性完成对所需模型的训练，以更快的进行心脏病变结构的定位。

Description

一种基于深度学习的心脏核磁共振影像病变结构提取方法

技术领域

本发明涉及医学图像处理，特别涉及一种基于深度学习的影像特征提取方法。

背景技术

基于机器学习的方法能够自动地对个体进行分类。而对应心脏核磁共振图像，存在样本量小，特征维数高等特点，传统机器学习方法仅使用简单的浅层分类模型，无法充分挖掘到心脏功能数据的高级特征。同时，这些方法无法有效地利用功能核磁共振数据中的拓扑结构信息。因此，基于传统机器学习方法的功能核磁共振数据分类效果有待进一步提升。对于深度学习方法，虽然在医学图像分类会话上也已经得到了很好的应用，但参数非常多，因此容易产生过拟合的问题，训练深度学习模型需要耗费大量的时间，难以保证现今的大数据环境下的时间效率。

发明内容

为解决上述现有技术所存在的问题，本发明提出了一种基于深度学习的心脏核磁共振影像病变结构提取方法，包括：

由深度学习网络从心脏核磁共振成像系统接收表示心脏核磁共振的未注解图像的第一输入数据；

由所述深度学习网络预处理所述未注解图像，以生成表示心脏核磁共振的显著性图像的第二输入数据，以及表示所述显著性图像的显著性区域的相应注解数据；

由所述深度学习网络处理所述第一输入数据和第二输入数据，以通过所述显著性图像中识别的显著性区域中的未注解图像中的目标特征检测来执行所述深度学习网络的训练；以及

使用训练后的深度学习网络处理第三输入数据，所述第三输入数据表示新的未注解图像，以识别新的未注解图像中的病变结构；

其中由所述深度学习网络处理所述第一输入数据和第二输入数据，以通过所述显著性图像中识别的显著性区域中的未注解图像中的目标特征检测来执行所述深度学习网络的训练包括：

过滤所述未注解图像中未被标注为显著性区域的所述显著性图像中的区域。

由所述深度学习网络预处理所述未注解图像，进一步包括：

通过在所述未注解图像上执行分级阈值运算，生成所述显著性图像，所述分级阈值运算具有基于多个显著性变换的区域分组。

优选地，其中多个显著性运算包括对图像特征进行运算，并且其中所述图像特征包括区域大小、区域位置、颜色值或亮度值。

优选地，其中由所述深度学习网络预处理所述未注解图像，进一步包括：

在所述未注解图像的具有不同组织密度的区域上应用不同区域大小的过滤器，从而识别所述未注解图像中的显著性区域。

优选地，其中，由所述深度学习网络预处理所述未注解图像还包括：

执行颜色连通分量分组，所述颜色连通分量分组用于识别所述未注解图像内的显著性区域，其中，所述未注解图像中具有相似特征的心脏结构具有相似的颜色。

优选地，对预处理的未注解图像中的显著性区域，执行基于特定会话的过滤，以识别对所执行的特定会话感兴趣的显著性区域；

基于过滤后的显著性区域生成显著性图像。

优选地，其中所述注解数据表示所述未注解图像中的多个轮廓，以及多个对应的标签，用于识别所述未注解图像中存在的心脏结构。

优选地，其中由所述深度学习网络处理所述第一输入数据和第二输入数据，包括：

将所述第一输入数据与所述第二输入数据组合以生成组合图像输入，所述深度学习网络利用卷积滤波器层集合来处理所述组合图像输入；

将所述第一输入数据提交给深度学习网络的第一组卷积滤波器层集合，并将所述第二输入数据提交给深度学习网络的第二组卷积滤波器层集合，其中所述第一组卷积滤波器层集合和所述第二组卷积滤波器层集合的输出被合并，以形成深度学习网络的去卷积部分的组合特征输入；

将所述第二输入数据替换为所述第一输入数据，作为对深度学习网络的输入，以执行深度学习网络的训练。

本发明相比现有技术，具有以下优点：

本发明提出了一种基于深度学习的影像特征提取方法，不需要复杂的结构，一次性完成对所需模型的训练，以更快的进行心脏病变结构的定位。

附图说明

图1是根据本发明实施例的基于深度学习的影像特征提取方法的流程图。

具体实施方式

下文与图示本发明原理的附图一起提供对本发明一个或多个实施例的详细描述。结合这样的实施例描述本发明，但是本发明不限于任何实施例。本发明的范围仅由权利要求书限定，并且本发明涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节以提供对本发明的透彻理解。出于示例的目的而提供这些细节，并且无这些具体细节中的一些或所有细节也可以根据权利要求书实现本发明。

本发明的一方面提供了一种基于深度学习的影像特征提取方法。图1是根据本发明实施例的基于深度学习的影像特征提取方法流程图。

本发明通过对心脏核磁共振图像中的某些亮度区域进行显著性变换的显著性驱动的预划分，用于改进全卷积网络的结果，并以无监督的方式获得显著性驱动的预划分。具体地，基于全卷积网络提供复合式深度学习网络，其使用来自基于显著性的划分的预处理而将学习过程集中在感兴趣区域，即可能出现心脏病变的区域。

本发明针对特定类型的心脏核磁共振图像突出显示图像中的显著性区域，并提供显著性区域信息作为附加输入，与原始心脏核磁共振图像数据相结合，用于心脏核磁共振图像中的小区域的病变划分。在用于训练深度学习网络的训练操作期间，原始心脏核磁共振图像数据用提示数据来扩展，以提高训练的速度和性能。所述提示数据提供心脏核磁共振图像的显著性区域的粗粒度识别，即提示数据用于确定心脏核磁共振图像区域的目标，在该区域中执行更有针对性的分析以识别指示特定结构、病变等特征。

如上所述，本发明提供了改进的深度学习网络的方法，其采用原始训练图像和显著性区域注解图像即区域显著性图像作为输入。改进的深度学习网络将全卷积网络与预处理的基于显著性的划分显著性区域图像相结合。

所述显著性区域图像可以通过分级阈值化方法生成，然后用不同的显著性变换进行区域分组。显著性变换可为区域大小、位置、颜色、亮度或指示心脏核磁共振图像的显著部分的其他图像特征。假设需要在心脏核磁共振图像中执行病变检测，即识别心脏核磁共振图像中指示病变的心脏结构与健康个体在心脏结构上的差异。本发明收集心脏核磁共振图像数据。然后执行无监督学习操作，包括预先对所收集的图像数据添加注解以生成注解的图像数据，其中注解操作标识心脏核磁共振图像中存在的心脏结构，包括具有标签的轮廓，从而识别对应于所收集的图像数据的显著性图像。该显著性图像完全以无监督的方式使用多个显著性变换生成，所述显著性变换突出显示在原始收集的图像数据中的区域。假设心脏病变区域位于通过应用多个显著性变换识别的显著性区域之中。

因此，使用多个显著性变换来预处理原始未注解的收集的心脏核磁共振图像数据，从而将原始收集的心脏核磁共振图像数据划分成多个显著性区域。

所述分级阈值方法将心脏核磁共振图像的亮度直方图划分成基于图像中的亮度分布最佳选择的等级。例如，将图像亮度划分成N个最佳等级{t₁*，t₂*，.. ，t_N*}；

设置N+1个类：C₁为[1，..，t₁]，C₂为[t₁₊₁，..，t₂]，..，C_N+1表示[t_N+1，..L]，其中L是观察到的最大亮度等级。

所述最佳阈值{t₁*，t₂*，.. ，t_N*}.通过最大化类间方差σ_B ²来选择：

{t₁*，t₂*，.. ，t_N*}=argmax{σ_B ^N（t₁，t₂，....t_N）}

其中σ_B ^N =∑_k=1 ^Nω_k（μ_k-μ_T）²，ω_k=∑_i∈Ckp_i，并且

μ_k=∑_i∈Ck

，

其中p_i是图像中灰度级i的概率，μ_k是类别加权平均值，μ_T是总平均值。

作为预处理的一部分，除了图像的分级阈值化之外，本发明进一步使用颜色关联的分量分组来表示感兴趣区域。利用颜色关联的分量分组，当使用医学成像技术时，具有相似特征的结构，例如组织的密度等，以相似的颜色或灰度、亮度等显示在图像中。因此，系统寻找图像中具有相似颜色、亮度等的部分，并将它们组合在一起以表示相似的结构。使用分级阈值处理和颜色关联分量分组的预处理的结果是一组感兴趣区域，用于进一步过滤。

由于深度学习网络可以对灰度级输入进行操作，选择用于各种组织结构的N+1种颜色，以具有足够的颜色分离来保持它们不同的灰度级效果。通过将病变区域进行突出显示并抑制其他区域中的细节，为进一步过滤提供了感兴趣区域。

在基于特定会话的显著性度量中，使用特定显著性度量来过滤感兴趣区域。基于特定会话的显著性度量确定要在显著性中保持的感兴趣区域的各种不同特征，以优化深度学习网络的训练。例如，显著性度量包括感兴趣区域的特定尺寸特征、颜色、亮度等。例如对于血管瘤，较大的斑点状区域更能表示病变。因此将满足显著性度量的区域保持在显著性图像中，而将不满足显著性度量的区域丢弃，不再作为显著性图像的一部分。

在生成多个显著性图像以辅助复合式深度学习网络的训练之后，在复合式深度学习网络的训练期间，将原始图像和区域显著性图像馈送到深度学习网络中。可以采用多种方式可以将原始图像和区域显著性图像的组合输入提供给深度学习网络。例如，将原始图像数据与显著性图像数据在外部合并以形成组合图像输入，使用深度学习网络的单组卷积滤波器层。可选地，还可使用两组卷积层，将原始图像和显著性图像的组合从两层产生的结果特征进行合并，以形成深度学习网络的去卷积分类器部分的组合特征输入。

在又一可选实施例中，用显著性图像代替原始图像，并用作训练深度学习网络的基础，因为作为区域图像的显著性图像数据对于包括所识别的显著性区域的每个区域具有更均匀的颜色。

然后将复合式深度学习网络生成的结果特征进行连接，通过深度学习网络的目标函数来实施训练，通过训练过程来修改深度学习网络的卷积层的操作参数，以最小化深度学习网络的损失函数。

所述深度学习网络在标记的数据集上训练，以在心脏病变识别会话中突出显示感兴趣的病变。本发明采用FCN体系结构进行感兴趣区域的识别。FCN体系结构由收缩路径和扩展路径组成。收缩路径由3×3卷积组成，其后是通过每层中的校正线性单元的非线性激活函数。从一层到下一层的传播是通过2×2最大池化操作，即从卷积层的节点集群中获取输出，并从集群中输出最大值。卷积和最大池化操作的顺序组成收缩操作，用于捕获心脏病变区域的存在。因为会话是心脏病变区域划分，因此需要执行扩展路径，即从与原始特征的上卷积和连接序列中创建高分辨率划分图。这种上卷积使用学习的滤波器，将每个特征向量映射到一个2×2的输出窗口中，然后是执行非线性激活函数。输出划分图有两个通道，一个用于前景，一个用于背景，从而在生成的二进制图中产生心脏病变划分和定位。FCN总共有23层，其中18层是卷积层。

进一步地，通过增强FCN架构，以提供复合式深度学习网络，其中原始图像数据和区域显著性图像被提供作为输入，并通过增强的FCN架构进行处理，以生成输出，例如表示原始图像数据中心脏病变的存在或不存在。将显著性图像输入FCN架构的收缩路径，并经由卷积层、最大池层和扩展路径进行处理，以生成划分图输出。区域划分图像在一个区域内颜色均匀，使得心脏病变区域更加显著。

在通过FCN架构的单独收缩路径来处理显著性图像和原始图像的实施例中，将原始图像数据输入自身的一组卷积层，该组卷积层与作为收缩路径的一部分用于处理显著性图像的卷积层分开，此外，对于单独的原始图像或显著性图像处理路径，还可以在级联层之前分别提供附加的卷积层、最大池层等作为收缩路径的一部分。

拼接层将来自原始图像和显著性图像的单独处理路径的向量输出进行拼接，然后由作为扩展路径的一部分的FCN架构进行处理。复合式深度学习网络的其余部分与原始FCN架构类似。

当被训练时，本发明的复合式深度学习网络可以被用来执行它们被训练的各种会话，包括心脏病变区域的检测和划分。例如，复合式深度学习网络可以是功能核磁共振成像系统的一部分，在识别心脏病变后。响应于来自用户分析和注解的请求，对心脏核磁共振图像数据进行注解。

本发明扩展了可用于训练一组带注解的心脏核磁共振图像数据。通过使用训练的复合式深度学习网络提供心脏核磁共振图像的自动注解，本发明有效地用于通过包括附加的自动注解的心脏核磁共振图像，来扩展相对较小的人工注解的训练心脏核磁共振图像集。因此，由本发明生成的自动注解的心脏核磁共振图像可添加到先前已有的注解的心脏核磁共振图像数据集，以扩展心脏核磁共振图像数据集，然后作为训练心脏核磁共振图像分析系统的输入。

例如，医生可以访问与患者相关联的心脏核磁共振图像，并选择选项来识别心脏核磁共振图像中的任何病变区域。本发明的复合式深度学习网络的操作响应于接收到新的医学成像数据来执行，例如由多个医学成像数据源计算系统添加到语料库。从耦合到网络的图像数据源计算系统、语料库、等接收原始未注解图像数据，以及从相应的区域显著性图像数据存储器接收区域显著性图像数据。区域显著性图像数据可以由复合式深度学习网络训练引擎使用诸如上文描述的过程从原始图像数据生成。复合式深度学习网络训练引擎包括区域显著性图像生成器，用于对原始图像数据输入进行操作以生成相应的区域显著性图像。在生成区域显著性图像时，区域显著性图像生成器使用分级阈值化、用于识别原始图像数据中的区域的颜色关联分量分组以及基于会话特定显著性变换的过滤来对原始图像数据执行划分过程。

具体地，在分级阈值化阶段，生成输入原始图像数据的亮度直方图，并将其划分成基于亮度分布最佳选择的亮度等级，通过最大化类间方差来选择最佳阈值。将区域显著性图像生成器生成的结果区域显著性图像存储在区域显著性图像数据存储器中，用于训练复合式深度学习网络。训练器提供用于通过优化目标函数来实施复合式深度学习网络的训练的总体逻辑。

复合式深度学习网络的输出可以与真实图像数据进行比较，以确定由复合式深度学习网络在原始图像数据中识别的区域和在相应的真实图像中指定的区域的重叠。即在训练期间，作为原始图像数据输入的训练图像可以是训练图像，对于该训练图像，存在相应的真实图像，真实图像指示当复合式深度学习网络被适当训练时应当由复合式深度学习网络识别的区域。显著性图像提供了复合式深度学习网络在处理原始图像数据时需要关注的显著性区域的指示。当执行原始图像数据的处理时，通过将复合式深度学习网络聚焦在显著性图像中的区域上，能够提高训练速度，因为复合式深度学习网络由于图像中被处理的区域减少而更快地实现收敛。训练器确定复合式深度学习网络的卷积层的操作参数的修改，以优化复合式深度学习网络的目标函数并实现收敛。

在训练期间，向复合式深度学习网络提供原始图像数据和相应的显著性图像数据，基于对应于原始训练图像数据的显著性图像来执行训练。复合式深度学习网络训练引擎通过机器学习过程来训练复合式深度学习网络，以使复合式深度学习网络根据复合式深度学习网络正在被训练的特定会话来适当地处理原始图像数据并生成正确的输出。经过训练后，复合式深度学习网络然后可以被用来处理新的原始图像数据并生成相应的结果，所述输出包括原始图像数据的注解版本。此时，调用被训练的复合式深度学习网络来自动注解定义病变区域的心脏核磁共振图像内的轮廓。复合式深度学习网络处理从语料库检索的心脏核磁共振图像数据，从而自动识别定义心脏核磁共振图像数据中病变区域的轮廓点。所述轮廓点可用于在心脏核磁共振图像的呈现上图形化呈现指示心脏病变区域的边界。通过修改和更新心脏核磁共振图像数据，以在指定心脏核磁共振图像中自动识别和注解的轮廓的元数据。

在可选的实施例中，当新的心脏核磁共振图像数据被添加到语料库时，自动调用训练后的复合式深度学习网络。例如，作为预处理操作，当数据被添加到语料库时，训练后的复合式深度学习网络对数据进行操作，以识别心脏核磁共振图像中病变区域的坐标并对其进行注解，从而更新心脏核磁共振图像数据，以包括指定心脏病变区域的元数据。此后，在系统运行期间，当请求识别心脏核磁共振图像中的病变区域时，可以从语料库中检索带注解的心脏核磁共振图像，而不需要调用训练的复合式深度学习网络的操作。

因此，本发明通过提供用于生成区域显著性图像的机制以及修改深度学习网络的架构以处理显著性图像本身作为原始图像的替代或处理原始图像数据和显著性图像的组合，提供了用于改进深度学习网络的训练的机制。本发明的深度学习网络提供了改进的性能，包括更快的训练时间和更简易的网络架构。

综上所述，本发明提出了一种基于深度学习的影像特征提取方法，不需要复杂的结构，一次性完成对所需模型的训练，以更快的进行心脏病变结构的定位。

显然，本领域的技术人员应该理解，上述的本发明的各模块或各步骤可以用通用的计算系统来实现，它们可以集中在单个的计算系统上，或分布在多个计算系统所组成的网络上，可选地，它们可以用计算系统可执行的程序代码来实现，从而，可以将它们存储在存储系统中由计算系统来执行。这样，本发明不限制于任何特定的硬件和软件结合。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或这种范围和边界的等同形式内的全部变化和修改例。

Claims (5)

1.一种基于深度学习的心脏核磁共振影像病变结构提取方法，其特征在于，包括：

由深度学习网络从心脏核磁共振成像系统接收表示心脏核磁共振的未注解图像的第一输入数据；

由所述深度学习网络预处理所述未注解图像，以生成表示心脏核磁共振的显著性图像的第二输入数据，以及表示所述显著性图像的显著性区域的相应注解数据；

由第二深度学习网络处理所述第一输入数据和第二输入数据，以通过所述显著性图像中识别的显著性区域中的未注解图像中的目标特征检测来执行所述深度学习网络的训练；并通过增强的FCN架构进行处理，以生成输出，将显著性图像输入FCN架构的收缩路径，并经由卷积层、最大池层和扩展路径进行处理，以生成划分图输出；将原始图像数据输入自身的一组卷积层，该组卷积层与作为收缩路径的一部分用于处理显著性图像的卷积层分开；利用拼接层将来自原始图像和显著性图像的单独处理路径的向量输出进行拼接，然后由作为扩展路径的一部分的FCN架构进行处理；

以及使用训练后的所述第二深度学习网络处理第三输入数据，所述第三输入数据表示新的未注解图像，以识别新的未注解图像中的病变结构；

其中由所述第二深度学习网络处理所述第一输入数据和第二输入数据，以通过所述显著性图像中识别的显著性区域中的未注解图像中的目标特征检测来执行所述深度学习网络的训练包括：过滤所述未注解图像中未被标注为显著性区域的所述显著性图像中的区域；

其中，所述由深度学习网络预处理所述未注解图像，进一步包括：

通过在所述未注解图像上执行分级阈值运算，生成所述显著性图像，所述分级阈值运算具有基于多个显著性变换的区域分组；在分级阈值化阶段，生成输入原始图像数据的亮度直方图，并将其划分成基于亮度分布最佳选择的亮度等级，通过最大化类间方差来选择最佳阈值。

2.根据权利要求1所述方法，其特征在于，其中由所述深度学习网络预处理所述未注解图像，进一步包括：

在所述未注解图像的具有不同组织密度的区域上应用不同区域大小的过滤器，从而识别所述未注解图像中的显著性区域。

3.根据权利要求2所述方法，其特征在于，其中，由所述深度学习网络预处理所述未注解图像还包括：

执行颜色连通分量分组，所述颜色连通分量分组用于识别所述未注解图像内的显著性区域，其中，所述未注解图像中具有相似特征的心脏结构具有相似的颜色。

4.根据权利要求3所述方法，其特征在于，还包括：

对预处理的未注解图像中的显著性区域，执行基于特定会话的过滤，以识别对所执行的特定会话感兴趣的显著性区域；

基于过滤后的显著性区域生成显著性图像。

5.根据权利要求1所述方法，其特征在于，其中所述注解数据表示所述未注解图像中的多个轮廓，以及多个对应的标签，用于识别所述未注解图像中存在的心脏结构。

Images