CN110188813A - 图像特征分类方法、计算机设备和存储介质 - Google Patents

Abstract

本申请提供的一种图像特征分类方法、计算机设备和存储介质，通过分割网络对输入的初始图像先进行分割，得到分割后的特征图像，同时在所述分割网络中提取得到其中一层卷积后的特征图；再进一步的根据特征图像得到初始图像的特征信息，以及将该特征信息和卷积后的特征图输入到分类网络中对特征信息进行分类，得到分类结果。在上述过程中，由于卷积后的特征图是在分割网络中的其中一层卷积后产生的特征图，因此卷积后的特征图与分割后的特征图具有极高的相关性，而经过分割后的特征图像又与分类结果有极高的相关性，因此，本申请提出的将卷积后的特征图作为重要的分类依据送入分类网络对特征信息进行分类的方法，极大的提高了分类结果的准确性。

Description

图像特征分类方法、计算机设备和存储介质

技术领域

本申请涉及医疗图像识别技术领域，尤其涉及一种图像特征分类方法、计算机设备和存储介质。

背景技术

阿尔茨海默症(Alzheimer disease，AD)是一种常见的神经退行性疾病，至2030年，全球AD患者预计超过7000万。磁共振成像(Magnetic Resonance Imaging，MRI)因其具有无放射性、对脑结构成像质量高等特性，被越来越广泛地应用于AD及其相关病症的诊断，这使得利用计算机辅助检测(Computer Aided Design，CAD)AD的需求变得迫切。AD的计算机辅助检测可以根据MRI等医学影像有效筛查AD患者及其前期轻度认知障碍(MCI)阶段，大大降低医生的工作量，同时也可提高医生检测的准确度。

目前，传统的利用结构MRI影像实现AD及其相关病症的计算机辅助诊断的方法复杂，部分功能还需要人工处理，不能实现全部自动化。

发明内容

基于此，提供一种新的图像特征分类方法、计算机设备和存储介质。

第一方面，一种图像特征分类方法，所述方法包括：

将初始图像输入至分割网络，得到分割后的特征图像；

根据分割后的特征图像，得到初始图像的特征信息；

提取初始图像在分割网络中得到的其中一层卷积后的特征图；

将卷积后的特征图和特征信息输入至分类网络，得到分类结果；分类网络为根据样本特征信息，以及与分类结果对应的分类标签训练得到的，用于对特征信息进行分类的网络。

在其中一个实施例中，所述分割网络的训练过程包括：

获取多个样本图像；

以样本掩膜图像为监督信息，将所述多个样本图像输入至待训练的分割网络，训练所述待训练的分割网络，得到所述分割网络。

在其中一个实施例中，若分割后的特征图为海马体特征图，则对应的特征信息为海马体厚度；若分割后的特征图为脉络膜裂特征图，则对应的特征信息为脉络膜裂宽度；若分割后的特征图为颞脚特征图，则对应的特征信息为颞脚宽度。

在其中一个实施例中，将卷积后的特征图和特征信息输入至分类网络，得到分类结果，包括：

将卷积后的特征图的向量和特征信息进行组合连接，得到组合后的向量；组合后的向量被用于分类网络进行分类；

对组合后的向量进行分类得到所述分类结果。

在其中一个实施例中，将卷积后的特征图的向量和特征信息进行组合连接，得到组合后的向量，包括：

将卷积后的特征图的向量输入至分类网络的卷积层进行卷积操作，得到卷积后的向量；

将卷积后的向量和所述特征信息进行组合连接，得到组合后的向量。

在其中一个实施例中，对组合后的向量进行分类得到分类结果，包括：

将组合后的向量输入至分类网络的全连接层，得到分类结果。

在其中一个实施例中，分类结果包括海马萎缩分类结果和/或脑病症分类结果。

在其中一个实施例中，卷积后的特征图为初始图像在分割网络中经过卷积后得到的最小尺寸的卷积特征图。

第二方面，一种图像特征分类装置，所述装置包括：

分割模块，用于将初始图像输入至分割网络，得到分割后的特征图像；

获取特征信息模块，用于根据分割后的特征图像，得到初始图像的特征信息；

提取模块，用于提取所述初始图像在所述分割网络中得到的其中一层卷积后的特征图；

分类模块，用于将所述卷积后的特征图和所述特征信息输入至分类网络，得到分类结果；所述分类网络为根据样本特征信息，以及与所述分类结果对应的分类标签训练得到的，用于对所述特征信息进行分类的网络。

第三方面，一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现第一方面任一实施例所述的图像特征分类方法。

第四方面，一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面任一实施例所述的图像特征分类方法。

本申请提供的一种图像特征分类方法、计算机设备和存储介质，通过分割网络对输入的初始图像先进行分割，得到分割后的特征图像，同时在所述分割网络中提取得到其中一层卷积后的特征图；再进一步的根据特征图像得到初始图像的特征信息，以及将该特征信息和卷积后的特征图输入到分类网络中对特征信息进行分类，得到分类结果。在上述过程中，由于卷积后的特征图是在分割网络中的其中一层卷积后产生的特征图，因此卷积后的特征图与分割后的特征图具有极高的相关性，而分割后的特征图又与分类结果有极高的相关性，因此，本申请提出的将卷积后的特征图作为重要的分类依据送入分类网络对特征信息进行分类的方法，极大的提高了分类结果的准确性。

附图说明

图1为一个实施例提供的一种计算机设备的内部结构示意图；

图2为一个实施例提供的一种图像特征分类方法的流程图；

图3为一个实施例提供的一种网络结构的示意图；

图4为一个实施例提供的一种网络结构的示意图；

图5为一个实施例提供的一种网络结构的示意图；

图6为一个实施例提供的一种网络结构的示意图；

图7为一个实施例提供的一种网络结构的示意图；

图8为一个实施例提供的一种训练方法的流程图；

图9为图2实施例S103的一种实现方式的流程图；

图10为图9实施例S301的一种实现方式的流程图；

图11为一个实施例提供的一种网络结构的示意图；

图12为一个实施例提供的一种网络结构的示意图；

图13为一个实施例提供的一种训练方法的流程图；

图14为一个实施例提供的一种网络结构的示意图；

图15为一个实施例提供的一种图像特征分类装置的结构示意图；

图16为一个实施例提供的一种图像特征分类装置的结构示意图；

图17为一个实施例提供的一种图像特征分类装置的结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本申请，并不用于限定本申请。

本申请提供的图像特征分类方法，可以应用于如图1所示的计算机设备中，该计算机设备可以是终端，其内部结构图可以如图1所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像特征分类方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

下面将通过实施例并结合附图具体地对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。

图2为一个实施例提供的一种图像特征分类方法的流程图。本实施例的执行主体为如图1所示的计算机设备，本实施例涉及的是计算机设备采用分类网络对初始图像的图像特征进行分类的具体过程。如图2所示，该方法包括：

S101、将初始图像输入至分割网络，得到分割后的特征图像。

其中，初始图像表示当前需要进行分析和处理的图像，为一种包含脑结构的图像，具体可以包括海马体结构、脉络膜裂结构、颞脚结构等多种生态结构。该初始图像可以包括但不限于常规CT图像、MRI图像、PET-MRI图像等，本实施例对此不做限定。在实际应用中，计算机设备可以通过连接扫描设备对人体脑部结构进行扫描得到初始图像。可选的，计算机设备也可以直接从数据库中或从互联网上下载得到包含脑结构的初始图像，对此本实施例不做限制。在一个实施例中，分割网络为一种深度卷积神经网络，用于对初始图像进行多结构的分割处理，以得到分割后的特征图像。可选的，本实施中的分割网络可以具体采用V-net神经网络。上述特征图像中可以包含一个结构特征，也可以包括多个结构特征，例如，若初始图像为脑结构的图像，则经过分割后，分割后的特征图像中可以包含海马体结构特征、脉络膜裂结构特征、颞脚结构特征等中的任意一种结构特征或多种结构特征。

本实施例中，当计算机设备获取到初始图像时，可以先将该初始图像输入至预先训练好的分割网络中，利用该分割网络对该初始图像进行多结构的分割处理，得到分割后的特征图像，以便之后使用该分割后的特征图像进行其它处理。

S102、根据分割后的特征图像，得到初始图像的特征信息。

其中，初始图像的特征信息与分割后的特征图像中包含的各结构特征对应，表征各结构特征的特征值，例如，若分割后的特征图像中包含海马体结构特征，则特征信息为海马体的厚度，若分割后的特征图像中包含脉络膜裂结构特征，则特征信息为脉络膜裂宽度，若分割后的特征图像中包含颞脚结构特征，则特征信息为颞脚宽度。

由前述描述可知，分割后的特征图像可只包含一个结构特征，也可以包含多个结构特征，具体的，分割后的特征图像中只包含一个结构特征时，该特征图像可以是海马体特征图、脉络膜裂特征图、颞脚特征图中的任意一种，而对应的特征信息可以是海马体厚度、脉络膜裂宽度、颞脚宽度中的任意一种，且上述分割后的特征图像中包含的结构特征与特征信息一一对应，即，若特征图像为海马体特征图，则对应的特征信息为海马体厚度；若特征图像为脉络膜裂特征图，则对应的特征信息为脉络膜裂宽度；若特征图像为颞脚特征图，则对应的征信息为颞脚宽度。若分割后的特征图像中包含多个结构特征时，该特征图像中可以同时包含海马体特征图、脉络膜裂特征图、颞脚特征图等，且根据特征图像得到的特征信息包括海马体厚度、脉络膜裂宽度、颞脚宽度等。

本实施例中，当计算机设备根据S101的步骤得到分割后的特征图像后，可以进一步的从该特征图像中提取各结构特征对应的特征信息，以得到初始图像的特征信息。具体的，计算机设备获得特征信息的方法可以有多种，例如，计算机设备可以利用如图3所示的网络结构获取多个特征信息(假设有三个特征信息)。其中，网络1为计算机设备预先根据包含多个结构特征的样本特征图和多个特征信息训练好的网络，且该网络1能够从输入的特征图中同时检测出该特征图中包含的多个结构特征的特征信息，在实际检测过程中，可以使用该网络1将前述所述的分割后的特征图像输入到该网络1中进行检测，同时得到该特征图像中包含的多个结构特征的特征信息(图中为#1、#2、和#3特征信息)。

又例如，计算机设备还可以利用如图4所示的网络结构获取多个特征信息(假设有三个特征信息)。其中，网络2、网络3、以及网络4分别为计算机设备预先根据包含多个结构特征的样本图像和特定特征信息训练好的网络，且在使用时需要将特征图同时输入到各网络中，则每个网络都能够从输入的特征图中检测出该特征图中包含的某一结构特征的特征信息(例如，图中的网络2能够检测出特征图中的#4特征信息、网络3能够检测出特征图中的#5特征信息、网络4能够检测出特征图中的#6特征信息)。基于前述所述的特征图像，在检测过程中，计算机设备可以将前述所述的分割后的特征图像直接输入到网络2、网络3、以及网络4中进行各特征信息的检测，同时在各网络的输出端得到与各结构特征对应的特征信息。

再例如，计算机设备还可以利用如图5所示的网络结构获取多个特征信息(假设有三个特征信息)。其中，网络5、检测网络6、以及网络7分别为计算机设备预先根据特定特征信息和包含单个结构特征的样本图像训练好的网络，且在使用时需要分别将不同的特征图(图中为#1特征图、#2特征图、以及#3特征图)输入到各网络，则每个网络都能够从输入的特征图中提取出与各自输入的特征图中包含的结构特征对应的特征信息(例如，图中网络5从#1特征图中检测出#7特征信息、图中网络6从#2特征图中检测出#8特征信息、图中网络7从#3特征图中检测出#9特征信息)。

基于前述得到的分割后的特征图像，因为该特征图像包含多个结构特征，因此，计算机设备在利用如图5所示的网络结构进行特征检测时，可以预先对分割后的特征图像进行图像分离处理，得到多个包含单个结构特征的特征图，然后再将多个包含单个结构特征的特征图分别输入到网络5、网络6、以及网络7中进行各特征信息的检测，同时在各网络的输出端得到与各结构特征对应的特征信息。

需要说明的是，上述图3、图4、图5实施例中的各网络均可以具体采用回归网络实现根据分割后的特征图像得到该特征图像上结构特征的特征信息。

S103、提取初始图像在分割网络中得到的其中一层卷积后的特征图。

本实施例涉及计算机设备利用分割网络在对初始图像进行分割的过程中提取某一层卷积后的特征图的过程。本实施例中，计算机设备在对初始图像进行分割处理时，需要从分割网络中的某一层卷积层的输出端提取出卷积后的特征图，以便之后使用。需要说明的是，计算机设备可以提取分割网络中的任意一层卷积层输出的特征图，对此本实施例不做限制。

例如，计算机设备可以采用如图6所示的网络结构对初始图像进行分割，其中分割网络包含下采样段和上采样段，下采样段可以包含多个卷积层(例如，如图6中的a、b、c)，实现对输入图像的卷积操作，上采样段可以包含多个反卷积层(例如，如图6中的d、e、f)，实现对输入图像的反卷积操作。当计算机设备利用如图6所示的分割网络对初始图像分割时，计算机设备可以从下采样段中的任一层卷积层的输出端提取该层卷积后的特征图，最优方案为从下采样的最后一层(图中的c)的输出端提取该层卷积后的特征图。

可选的，上述卷积后的特征图为初始图像在分割网络中经过卷积后得到的最小尺寸的卷积特征图。其中，最小尺寸的卷积特征图通常为分割网络中下采样段中的最后一层卷积层上输出的卷积后的特征图，也可以是分割网络中下采样段之后的任意一层卷积层上输出的卷积后的特征图。本实施例可以采用如图7所示的网络结构对初始图像进行分割，并从中获取最小尺寸的卷积特征图。其中，网络结构包括下采样段、最小尺寸的卷积层、上采样段。最小尺寸的卷积层用于对下采样段最后一层卷积层输出的卷积特征图进行深度特征提取，以得到最小尺寸的卷积特征图。

在实际应用中，当计算机设备将初始图像输入至如图7所示的网络结构时，下采样段对输入的初始图像进行卷积处理，得到卷积后的特征图，最小尺寸的卷积层再对下采样段输出的卷积后的特征图进行进一步的深度特征提取，得到最小尺寸的卷积特征图，然后再将最小尺寸的卷积特征图输入到上采样段进行反卷积处理，以使在该网络结构的输出端输出分割后的特征图像。

S104、将卷积后的特征图和特征信息输入至分类网络，得到分类结果。

其中，分类网络为根据样本特征信息，以及与分类结果对应的分类标签训练得到的，用于对特征信息进行分类的网络。分类结果用于表征特征信息对应的分类结果，该分类结果可以是描述脑疾病类别的分类结果，例如，在对脑疾病图像的检测过程中，分类结果可以包括阿尔兹海默症AD、轻度认知障碍MCI，或脑正常等结果。可选的，该分类结果也可以是描述脑结构中海马萎缩分级的结果，例如，海马萎缩一级、二级、三级等。上述分类结果可以包括一种类型的分类结果，也可以包括多种类型的分类结果。

可选的，本实施例中的分类结果具体包括海马萎缩分类结果和/或脑疾病分类结果。其中脑疾病分类结果包括阿尔兹海默症(AD)、稳定型轻度认知障碍(sMCI)、进展型轻度认知障碍(pMCI)、正常(NC)。海马萎缩分类结果包括萎缩一级、萎缩二级、萎缩三级等，级别越高海马萎缩程度越高。

本实施例中，当计算机设备根据前述S102的方法获取到初始图像的特征信息以及根据前述S103的方法从分割网络中提取出卷积后的特征图，时，进一步的将特征信息和卷积后的特征图输入至预先训练好的分类网络中，利用该分类网络对特征信息进行分类处理，得到分类结果。

综上描述的内容，本申请提出的图像特征分类方法包括：计算机设备先获取初始图像，再将初始图像输入到网络之前，可以预先对初始图像进行预处理，具体预处理可以包括：将初始图像输入到分割网络中进行分割，得到分割后的特征图像，同时，计算机设备从分割网络中的其中一层卷积层的输出端提取出卷积后的特征图，之后，计算机设备采用相应的特征提取方法从分割后的特征图像中提取出对应的一个或多个特征信息，再进一步的将特征信息和前面获得的卷积后的特征图输入到分类网络中，实现对特征信息的分类处理，得到包含至少一种类型的分类结果。

上述实施例提供的图像特征分类方法，通过分割网络对输入的初始图像先进行分割，得到分割后的特征图像，同时在所述分割网络中提取得到其中一层卷积后的特征图；再进一步的根据分割后的特征图像得到初始图像的特征信息，以及将该特征信息和卷积后的特征图输入到分类网络中对特征信息进行分类，得到分类结果。在上述过程中，由于卷积后的特征图是在分割网络中的其中一层卷积后产生的特征图，因此卷积后的特征图与分割后的特征图像具有极高的相关性，而分割后的特征图像又与分类结果有极高的相关性，因此，本申请提出的将卷积后的特征图作为重要的分类依据送入分类网络对特征信息进行分类的方法，极大的提高了分类结果的准确性。

由前述描述可知，分割网络是预先由计算机设备训练得到的网络，因此，本申请还提供了一种训练分割网络的方法，图8为一个实施例提供的一种训练方法的流程图，本实施例涉及计算机设备根据样本图像，并以样本掩膜图像为监督信息，对待训练的分割网络进行训练的过程，如图8所示，该过程包括：

S201、获取多个样本图像。

其中，样本图像表示当前需要进行训练时使用的图像，其与前述S101中描述的初始图像的类型相同，具体内容可参考前述的说明，在此不重复累赘说明。

S202、以样本掩膜图像为监督信息，将多个样本图像输入至待训练的分割网络，训练待训练的分割网络，得到分割网络。

样本掩膜图像为经过标记后的图像，其上预先由计算机设备使用不同的标签标记了脑结构中的不同生态结构，例如，海马体结构、脉络膜裂结构、颞脚结构等多种生态结构。待训练的分割网络的结构形式与前述S101中描述的分割网络的结构形式相同，具体内容可参考前述的说明，在此不重复累赘说明。需要说明的是，每个样本图像对应一个样本掩膜图像。

本实施例中，当计算机设备获取到多个样本图像和对应的样本掩膜图像时，将该多个样本图像输入至待训练的分割网络中，输出样本图像对应的分割图像，然后根据输出的分割图像与样本掩膜图像之间的差异，调整分割网络的参数，进行训练，直至待训练的分割网络的损失函数收敛，或输出的分割图像与输入样本图像对应的样本掩膜图像基本一致为止，得到训练好的分割网络，以便在上述图2所述的检测过程中使用。

图9为图2实施例S103的一种实现方式的流程图。本实施例涉及计算机设备利用分类网络对特征信息进行分类处理的具体过程，如图9所示，该过程包括：

S301、将卷积后的特征图的向量和特征信息进行组合连接，得到组合后的向量；组合后的向量被用于分类网络进行分类。

当计算机设备在对特征信息进行分类之前，需要先将卷积后的特征图的向量与特征信息组合连接在一起，形成新的向量，以便之后分类网络对该新的向量进行分类处理。

S302、对组合后的向量进行分类得到分类结果。

计算机设备在获取到组合后的向量时，可以进一步的采用相应的分类方法对组合后的向量进行分类，得到针对特征信息的分类处理结果。需要说明的是，计算机设备在对组合后的向量进行分类时，可以具体采用训练好的分类网络对组合后的向量进行分类。

图10为图9实施例S301的一种实现方式的流程图。上述S301“将卷积后的特征图的向量和特征信息进行组合连接，得到组合后的向量”，如图5所示，具体包括：

S401、将卷积后的特征图的向量输入至分类网络的卷积层进行卷积操作，得到卷积后的向量。

在实际应用中，计算机设备利用分类网络对特征信息进行分类时，可以采用特定卷积层对输入的卷积后的特征图的向量进行卷积操作，实现对输入的卷积后的特征图进行深度特征提取，以得到卷积后的向量。

S402、将卷积后的向量和特征信息进行组合连接，得到组合后的向量。

在计算机设备根据S401的步骤得到卷积后的向量时，可以进一步的将卷积后的向量和特征信息进行组合连接，从而得到组合后的向量，以便之后分类网络针对组合后的向量进行分类。

在一个实施例中，提供了一种上述S402的具体实施方式，具体包括：将组合后的向量输入至分类网络的全连接层，得到分类结果。

在实际应用中，计算机设备可以具体利用分类网络中的全连接层对组合后的向量进行分类，从而得到分类结果，即得到对特征信息进行分类后的结果。综上图9和图10实施例的说明，相当于分类网络包括卷积层和全连接层的应用场景，在此种应用场景下，计算机设备利用如图11所示的分类网络对输入的特征信息进行分类，其中，卷积层对输入的卷积后的特征图进行深度特征提取，得到卷积后的向量；计算机设备再将卷积后的向量与输入的特征信息进行组合，得到组合后的向量；然后全连接层对组合后的向量进行分类处理，得到分类结果。可选的，还存在另一种应用场景，如图12所示，分类网络包括卷积层和两个全连接层(图中的11和22)，其中卷积层对输入的卷积后的特征图进行深度特征提取，得到卷积后的向量；计算机设备再将卷积后的向量与输入的特征信息进行组合，得到组合后的向量；然后11全连接层和22全连接层对组合后的向量分别进行分类处理，可以得到两种类型的分类结果(图中的#1分类结果和#2分类结果)。

由前述描述可知，分类网络是预先由计算机设备训练得到的网络，因此，本申请还提供了一种训练分类网络的方法，本实施例具体涉及一种交替训练分类网络的方法，如图13所示，该方法具体包括：

S501、获取样本图像的特征值。

其中，样本图像的特征值表示当前需要进行训练时使用的图像的特征值，其与前述S102中描述的初始图像的特征信息的类型相同，具体内容可参考前述的说明，在此不重复累赘说明。

S502、将样本图像的特征值输入至待训练的分类网络，交替以第一分类标签和第二分类标签为监督信息，训练待训练的分类网络，直至待训练的分类网络的两个损失函数均收敛，得到分类网络；以第一分类标签为监督信息进行训练的顺序在以第二分类标签为监督信息进行训练之前。

上述第一分类标签和第二分类标签分别与不同种类型的分类结果一一对应，例如，若分类结果为海马萎缩分类结果，则第一分类标签与该海马萎缩分类结果对应，若分类结果为脑病症分类结果，则第二分类标签与该脑病症分类结果对应。相应的，也可以第一分类标签对应脑病症分类结果，第二分类标签对应海马萎缩分类结果，只要不同的分类标签对应不同类型的分类结果即可。

本实施例中，当计算机设备获取到多个样本图像的特征值和每个样本图像的特征值对应的第一分类标签和第二分类标签时，将该多个样本图像的特征值输入至待训练的分类网络中，输出样本图像的特征值对应的分类结果，然后根据输出的分类结果与第一标签之间的差异，调整分类网络的参数，进行训练，然后，再继续训练上述分类网络，具体的将多个样本图像的特征值输入至待继续训练的分类网络，输出样本图像的特征值对应的分类结果，然后根据输出的分类结果与第二标签之间的差异，调整该分类网络的参数，进行训练，反复重复上述训练过程，直至待训练的分类网络的两个损失函数均收敛，或输出的两种分类结果分别与第一标签和第二分类标签基本一致为止，以得到训练好的分割网络。

上述实施例中，通过交替训练分类网络，且先后以第一分类结果的第一标签和第二分类结果的第二标签为监督信息训练的方法，由于第一分类结果和第二分类结果具有相关性，因此，该方法相比于传统的仅以一种分类标签训练分类网络的方法，一方面使利用该训练方法得到的分类网络在对特征值进行分类时能够得到两种类型的分类结果，另一方面使利用该训练方法得到的分类网络在对特征值进行分类时分类的准确性较高。

综合上述所有实施例所述的内容，本申请还提供了一种对图像特征进行分类的方法，该方法适用于如图14所示的网络结构，该网络结构中包括分割网络、第一回归网络、第二回归网络、第三回归网络、以及分类网络，其中分割网络用于对输入的初始图像进行分割，得到分割图像；第一回归网络用于对第一分割图像进行特征信息检测，得到第一特征信息；第二回归网络用于对第二分割图像进行特征信息检测，得到第二特征信息；第三回归网络用于对第三分割图像进行特征信息检测，得到第三特征信息；分类网络用于根据输入的第一特征信息、第二特征信息、第三特征信息、以及卷积后的特征图得到分类结果。

上述实施例中，若初始图像中包含海马体结构、脉络膜裂结构、颞脚结构；分割图像中相应包含海马体分割图像、脉络膜裂分割图像、颞脚分割图像；则第一分割图像为海马体分割图像；第二分割图像为脉络膜裂分割图像；第三分割图像为颞脚分割图像。相应的，第一特征信息为海马体厚度；第二特征信息为脉络膜裂宽度；第三特征信息为颞脚宽度。在该应用场景下，利用上述图14网络对初始图像进行图像处理的具体过程包括：计算机设备首先将初始图像输入到分割网络中进行分割处理，得到分割图像，同时，计算机设备从分割网络中提取出最小尺寸的卷积特征图；再进一步的对分割图像进行图像分离处理，得到分离后的三个图像，即第海马体特征图、脉络膜裂特征图、颞脚特征图；然后再将海马体特征图输入至第一回归网络中进行特征检测得到海马体厚度，将脉络膜裂特征图输入至第二回归网络中进行特征提检测到脉络膜裂宽度，将颞脚特征图输入至第三回归网络中进行特征检测得到颞脚宽度。计算机设备接着将海马体厚度、脉络膜裂宽度、颞脚宽度、以及最小尺寸的特征图输入至分类网络中进行分类，得到包括海马萎缩分类结果和/或脑病症分类结果。海马萎缩分类结果包括0级、1级、2级、3级、以及4级；脑病症分类结果包括NC、sMCI、pMCI、以及AD。

上述实施例中，在对图像特征信息进行分类的过程中嵌入对初始图像的自动分割过程，并将分割过程中的中间结果和最终输出分割结果作为后面分类网络的输入，加快了整个分类工作的时间，且中间结果，即最小尺寸的卷积特征图，包含了与脑结构疾病和海马萎缩分级相关的全局信息，因此，在分类过程中，以中间结果作为分类网络的重要依据，实现对特征信息的分类，极大的提高了分类的准确性。

应该理解的是，虽然图2，和图8-图10，图13流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2，和图8-图10，图13至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行。

在一个实施例中，如图15示，提供了一种图像特征分类装置，包括：分割模块101、检测模块102、提取模块103、以及分类模块104，其中：

分割模块101，用于将初始图像输入至分割网络，得到分割后的特征图像；

检测模块102，用于根据所述分割后的特征图像，得到所述初始图像的特征信息。

提取模块103，用于提取所述初始图像在所述分割网络中得到的其中一层卷积后的特征图；

分类模块104，用于将所述卷积后的特征图和所述特征信息输入至分类网络，得到分类结果；所述分类网络为根据样本特征信息，以及与所述分类结果对应的分类标签训练得到的，用于对所述特征信息进行分类的网络。

在一个实施例中，如图16，提供了一种图像特征分类装置，上述装置还包括：第一训练模块105和第二训练模块106，其中：

第一训练模块105，用于获取多个样本图像；以样本掩膜图像为监督信息，将所述多个样本图像输入至待训练的分割网络，训练所述待训练的分割网络，得到所述分割网络；

第二训练模块106，用于获取样本图像的特征值；将样本图像的特征值输入至待训练的分类网络，交替以第一分类标签和第二分类标签为监督信息，训练待训练的分类网络，直至待训练的分类网络的两个损失函数均收敛，得到分类网络；以第一分类标签为监督信息进行训练的顺序在以第二分类标签为监督信息进行训练之前。

在一个实施例中，如图17，上述分类模块104，包括：组合单元1041和分类单元1042，其中：

组合单元1041，用于将所述卷积后的特征图的向量和所述特征信息进行组合连接，得到组合后的向量；所述组合后的向量被用于所述分类网络进行分类；

分类单元1042，用于对所述组合后的向量进行分类得到所述分类结果。

在一个实施例中，上述组合单元1041具体用于将所述卷积后的特征图的向量输入至所述分类网络的卷积层进行卷积操作，得到卷积后的向量；将所述卷积后的向量和所述特征信息进行组合连接，得到所述组合后的向量。

在一个实施例中，上述分类单元1042具体用于将所述组合后的向量输入至所述分类网络的全连接层，得到所述分类结果。

上述实施例提供的一种图像特征分类装置，其实现原理和技术效果与上述方法实施例类似，在此不在累赘。

关于图像特征分类装置的具体限定可以参见上文中对于一种图像特征分类方法的限定，在此不再赘述。上述图像特征分类装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

将初始图像输入至分割网络，得到分割后的特征图像；

根据分割后的特征图像，得到初始图像的特征信息；

提取初始图像在分割网络中得到的其中一层卷积后的特征图；

将卷积后的特征图和特征信息输入至分类网络，得到分类结果；分类网络为根据样本特征信息，以及与分类结果对应的分类标签训练得到的，用于对特征信息进行分类的网络。

上述实施例提供的一种计算机设备，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时还实现以下步骤：

将初始图像输入至分割网络，得到分割后的特征图像；

根据分割后的特征图像，得到初始图像的特征信息；

提取初始图像在分割网络中得到的其中一层卷积后的特征图；

将卷积后的特征图和特征信息输入至分类网络，得到分类结果；分类网络为根据样本特征信息，以及与分类结果对应的分类标签训练得到的，用于对特征信息进行分类的网络。

上述实施例提供的一种计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双倍数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像特征分类方法，其特征在于，所述方法包括：

将初始图像输入至分割网络，得到分割后的特征图像；

根据所述分割后的特征图像，得到所述初始图像的特征信息；

提取所述初始图像在所述分割网络中得到的其中一层卷积后的特征图；

将所述卷积后的特征图和所述特征信息输入至分类网络，得到分类结果；所述分类网络为根据样本特征信息，以及与所述分类结果对应的分类标签训练得到的，用于对所述特征信息进行分类的网络。

2.根据权利要求1所述的方法，其特征在于，所述分割网络的训练过程包括：

获取多个样本图像；

以样本掩膜图像为监督信息，将所述多个样本图像输入至待训练的分割网络，训练所述待训练的分割网络，得到所述分割网络。

3.根据权利要求1所述的方法，其特征在于，若所述特征图像为海马体特征图，则对应的所述特征信息为海马体厚度；若所述特征图像为脉络膜裂特征图，则对应的所述特征信息为脉络膜裂宽度；若所述特征图像为颞脚特征图，则对应的所述特征信息为颞脚宽度。

4.根据权利要求1所述的方法，其特征在于，所述将所述卷积后的特征图和所述特征信息输入至分类网络，得到分类结果，包括：

将所述卷积后的特征图的向量和所述特征信息进行组合连接，得到组合后的向量；所述组合后的向量被用于所述分类网络进行分类；

对所述组合后的向量进行分类得到所述分类结果。

5.根据权利要求4所述的方法，其特征在于，所述将所述卷积后的特征图的向量和所述特征信息进行组合连接，得到组合后的向量，包括：

将所述卷积后的特征图的向量输入至所述分类网络的卷积层进行卷积操作，得到卷积后的向量；

将所述卷积后的向量和所述特征信息进行组合连接，得到所述组合后的向量。

6.根据权利要求4或5所述的方法，其特征在于，所述对所述组合后的向量进行分类得到所述分类结果，包括：

将所述组合后的向量输入至所述分类网络的全连接层，得到所述分类结果。

7.根据权利要求1所述的方法，其特征在于，所述分类结果包括海马萎缩分类结果和/或脑病症分类结果。

8.根据权利要求1所述的方法，其特征在于，所述卷积后的特征图为所述初始图像在所述分割网络中经过卷积后得到的最小尺寸的卷积特征图。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。