CN110210544B - 图像分类方法、计算机设备和存储介质 - Google Patents
图像分类方法、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN110210544B CN110210544B CN201910440349.XA CN201910440349A CN110210544B CN 110210544 B CN110210544 B CN 110210544B CN 201910440349 A CN201910440349 A CN 201910440349A CN 110210544 B CN110210544 B CN 110210544B
- Authority
- CN
- China
- Prior art keywords
- classification
- network
- image
- result
- classification result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Abstract
本申请提供的一种图像分类方法、计算机设备和存储介质,通过将获取到的图像的特征值输入至分类网络中,对特征值进行分类,得到第一分类结果和第二分类结果。其中的分类网络是分别根据第一分类结果的第一分类标签和第二分类结果的第二分类标签共同训练得到的。由于第一分类标签和第一结果对应,以及第二分类标签和第二结果对应,且第一分类结果与第二分类结果具有相关性,因此,分别以不同的分类标签对应交替训练分类网络,会使训练后的分类网络可以考虑到第一结果和第二结果的相关性,极大的提高了本申请提供的分类网络的分类准确性。
Description
技术领域
本申请涉及医疗图像识别技术领域,尤其涉及一种图像分类方法、装置、计算机设备和存储介质。
背景技术
阿尔茨海默症(Alzheimer disease,AD)是一种常见的神经退行性疾病,至2030年,全球AD患者预计超过7000万。磁共振成像(Magnetic Resonance Imaging,MRI)因其具有无放射性、对脑结构成像质量高等特性,被越来越广泛地应用于AD及其相关病症的诊断,这使得利用计算机辅助检测(Computer Aided Design,CAD)的需求变得迫切。AD的计算机辅助诊断可以根据MRI等医学影像有效筛查AD患者及其前期轻度认知障碍(MCI)阶段,大大降低医生的工作量,同时也可提高医生检测的准确度。
目前,传统的利用结构MRI影像实现AD及其相关病症的计算机辅助诊断的方法主要包括对MRI影像图像的分割、检测以及分类,其中对MRI影像图像的分类方法主要包括:首先通过MRI成像设备采集医学图像,再对采集到的医学图像进行预处理,例如对采集到的医学图像进行重采样、调整方向、去头骨、灰度校正等一系列操作,以去除成像设备工作情况对图像质量的影响。然后从预处理后的图像中提取出感兴趣区域ROI,相应的在ROI中提取若干特征,并根据若干特征生成分类器的训练样本图像和测试样本图像,接下来,将训练样本图像输入至分类器进行训练,再进一步的使用训练好的分类器对测试样本图像进行分类处理,并得到相应的分类结果。
发明内容
基于此,有必要提供一种新的图像分类方法、计算机设备和存储介质。
第一方面,一种图像分类方法,所述方法包括:
获取图像的特征值;
将特征值输入至分类网络中,得到第一分类结果和第二分类结果;分类网络是分别根据第一分类结果的第一分类标签和第二分类结果的第二分类标签共同训练得到的。
在其中一个实施例中,上述分类网络的训练过程包括:
以第一分类标签和第二分类标签为监督信息,交替训练分类网络。
在其中一个实施例中,以第一分类标签和第二分类标签为监督信息,交替训练分类网络,包括:
获取样本图像的特征值;
将样本图像的特征值输入至待训练的分类网络,交替以第一分类标签和第二分类标签为监督信息,训练待训练的分类网络,直至待训练的分类网络的两个损失函数均收敛,得到分类网络;以第一分类标签为监督信息进行训练的顺序在以第二分类标签为监督信息进行训练之前。
在其中一个实施例中,上述方法还包括:
将初始图像输入至分割网络,得到分割特征图像;
根据分割特征图像,得到特征值;
提取初始图像在分割网络中得到的卷积特征图;
将卷积特征图和特征值输入至分类网络,得到第一分类结果和第二分类结果;分类网络是分别根据第一分类结果的第一分类标签和第二分类结果的第二分类标签共同训练得到的。
在其中一个实施例中,特征值包括海马厚度、脉络膜裂宽度、以及颞脚宽度中的一个或多个。
在其中一个实施例中,第一分类结果包括脑病症分类结果;第二分类结果包括海马萎缩分类结果。
在其中一个实施例中,脑病症分类结果包括:正常、稳定性轻度认知障碍、进展性轻度认知障碍、以及阿尔兹海默症中的至少两种。
在其中一个实施例中,海马萎缩分类结果包括至少两级。
第二方面,一种图像分类装置,所述装置包括:
获取模块,用于获取图像的特征值;
分类模块,用于将特征值输入至分类网络中,得到第一分类结果和第二分类结果;分类网络是分别根据第一分类结果的第一分类标签和第二分类结果的第二分类标签共同训练得到的。
第三方面,一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现第一方面任一实施例所述的图像分类方法。
第四方面,一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现第一方面任一实施例所述的图像分类方法。
本申请提供的一种图像分类方法、计算机设备和存储介质,通过将获取到的图像的特征值输入至分类网络中,对特征值进行分类,得到第一分类结果和第二分类结果。其中的分类网络是分别根据第一分类结果的第一分类标签和第二分类结果的第二分类标签共同训练得到的。由于第一分类标签和第一结果对应,以及第二分类标签和第二结果对应,且第一分类结果与第二分类结果具有相关性,因此,分别以不同的分类标签对应交替训练分类网络,会使训练后的分类网络可以考虑到第一结果和第二结果的相关性,极大的提高了本申请提供的分类网络的分类准确性。
附图说明
图1为一个实施例提供的一种计算机设备的内部结构示意图;
图2为一个实施例提供的一种图像分类方法的流程图;
图3为一个实施例提供的一种网络结构的示意图;
图4为一个实施例提供的一种分类网络训练方法的流程图;
图5为一个实施例提供的一种图像分类方法的流程图;
图6为一个实施例提供的一种网络结构的示意图;
图7为一个实施例提供的一种网络结构的示意图;
图8为一个实施例提供的一种网络结构的示意图;
图9为一个实施例提供的一种网络结构的示意图;
图10为一个实施例提供的一种网络结构的示意图;
图11为一个实施例提供的一种网络结构的示意图;
图12为一个实施例提供的一种图像分类装置的结构示意图;
图13为一个实施例提供的一种图像分类装置的结构示意图;
图14为一个实施例提供的一种图像分类装置的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅用以解释本申请,并不用于限定本申请。
本申请提供的图像分类方法,可以应用于如图1所示的计算机设备中,该计算机设备可以是终端,其内部结构图可以如图1所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像分类方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图1中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
下面将通过实施例并结合附图具体地对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。
图2为一个实施例提供的一种图像分类方法的流程图。本实施例的执行主体为如图1所示的计算机设备,本实施例涉及的是计算机设备采用分类网络对图像的特征值进行分类的具体过程。如图2所示,该方法包括:
S101、获取图像的特征值。
其中,图像的特征值用于表征该图像中所包含的结构特征的特征值,例如,若图像为包含海马体结构特征、或脉络膜裂结构特征、或颞脚结构特征类型的脑结构的图像,则该图像的特征值可以是海马体厚度、脉络膜裂宽度、颞脚宽度等中的任一种或多种。
本实施例中,计算机设备可以通过对图像中包含的各结构特征进行检测,得到该图像的一个或多个特征值,具体的,计算机设备可以采用如图3所示的网络结构得到图像的特征值,其中,图3中的网络结构包括分割网络和至少一个回归网络,分割网络用于对输入图像进行分割,得到分割后的特征图,再进一步的将分割后的特征图分离成多个包含单一结构特征的特征图,然后将多个特征图分别对应输入到至少一个回归网络中,得到各回归网络输出的特征值。可选的,计算机设备还可以直接从网上直接下载得到待检测的图像的特征值,对此本实施例不做限制。
S102、将特征值输入至分类网络中,得到第一分类结果和第二分类结果;分类网络是分别根据第一分类结果的第一分类标签和第二分类结果的第二分类标签共同训练得到的。
其中,分类网络为一种深度卷积神经网络,用于对输入的一个或多个图像的特征值进行分类,并得到至少两个分类结果。分类结果为描述脑疾病类别的分类结果,也可以为描述海马萎缩级别的分类结果,具体用于表征图像的特征值对应的分类结果。分类标签可以为预先由计算机设备根据脑疾病类别确定的脑疾病标签,也可以为预先由计算机设备根据海马萎缩级别确定的海马萎缩分级标签,分类标签与分类结果一一对应。
可选的,上述第一分类结果为包括脑疾病分类结果,也可以是包括海马萎缩分类结果。同样的,第二分类结果为包括脑疾病分类结果,也可以为包括海马萎缩分类结果,只要第一分类结果和第二分结果不相同即可。
具体的,上述脑病症分类结果可以包括:正常、稳定性轻度认知障碍、进展性轻度认知障碍、以及阿尔兹海默症中的至少两种。上述海马萎缩分类结果包括至少两级。
需要说明的是,上述分类网络是预先由计算机设备分别根据第一分类结果的第一分类标签和第二分类结果的第二分类标签共同训练得到的。在实际应用中,计算机设备可以先根据第一分类标签训练分类网络,使该分类网络可以对输入的特征值进行分类后得到第一分类结果,然后再根据第二分类标签继续训练上述的分类网络,使该分类网络可以对输入的特征值进行分类后得到第二分类结果,最后训练好的分类网络可以在对特征值进行分类后同时得到第一分类结果和第二分类结果。上述先后以第一分类标签和第二分类标签进行训练的顺序仅是一种举例说明,且交替训练的次数可以为多次,本实施例对训练顺序和交替训练的次数不做限制。
本实施例中,当计算机设备基于S101获取到一个或多个图像的特征值时,可以进一步的将图像的特征值输入至预先训练好的分类网络进行分类,得到各特征值对应的第一分类结果和第二分类结果。例如,若有三个图像的特征值为海马体厚度、脉络膜裂宽度、颞脚宽度,则利用上述分类网络对这三个特征值进行分类后,可以得到这三个特征值分别对应的脑病症分类结果和海马萎缩分类结果。
上述实施例提供的图像分类方法,通过将获取到的图像的特征值输入至分类网络中,对特征值进行分类,得到第一分类结果和第二分类结果。其中的分类网络是分别根据第一分类结果的第一分类标签和第二分类结果的第二分类标签共同训练得到的。由于第一分类标签和第一结果对应,以及第二分类标签和第二结果对应,且第一分类结果与第二分类结果具有相关性,因此,分别以具有相关性的不同的分类标签对应交替训练分类网络,会使训练后的分类网络可以考虑到第一分类结果和第二分类结果的相关性,极大的提高了本申请提供的分类网络的分类准确性。
由前述描述可知,分类网络是预先由计算机设备训练得到的网络,因此,本申请还提供了一种训练分类网络的方法,具体包括:以第一分类标签和第二分类标签为监督信息,交替训练分类网络。
本实施例涉及计算机设备交替训练分类网络的方法,即先以第一分类标签为监督信息,初步训练分类网络,再在此基础上,以第二分类标签为监督信息,训练上述经过初步训练后的分类网络,交替执行上述的训练过程,直至能够得到输出满足实际应用需求的两种分类结果的分类网络。需要说明的是,关于交替的次数根据分类网络的收敛情况确定,对此本实施例不做限制。
基于上述实施例描述,接下来的实施例涉及交替训练的具体过程,如图4所示,交替训练的过程包括:
S201、获取样本图像的特征值。
其中,样本图像的特征值表示当前需要进行训练时使用的图像的特征值,其与前述S101中描述的图像的特征值的类型相同,具体内容可参考前述的说明,在此不重复累赘说明。
S202、将样本图像的特征值输入至待训练的分类网络,交替以第一分类标签和第二分类标签为监督信息,训练待训练的分类网络,直至待训练的分类网络的两个损失函数均收敛,得到分类网络;以第一分类标签为监督信息进行训练的顺序在以第二分类标签为监督信息进行训练之前。
本实施例中,当计算机设备获取到多个样本图像的特征值和每个样本图像的特征值对应的第一分类标签和第二分类标签时,将该多个样本图像的特征值输入至待训练的分类网络中,输出样本图像的特征值对应的分类结果,然后根据输出的分类结果与第一标签之间的差异,调整分类网络的参数,进行训练,然后,再继续训练上述分类网络,具体的将多个样本图像的特征值输入至待继续训练的分类网络,输出样本图像的特征值对应的分类结果,然后根据输出的分类结果与第二标签之间的差异,调整该分类网络的参数,进行训练,反复重复上述训练过程,直至待训练的分类网络的两个损失函数均收敛,或输出的两种分类结果分别与第一标签和第二分类标签基本一致为止,以得到训练好的分割网络。
上述实施例中,通过交替训练分类网络,且先后以第一分类结果的第一标签和第二分类结果的第二标签为监督信息训练的方法,由于第一分类结果和第二分类结果具有相关性,因此,该方法相比于传统的仅以一种分类标签训练分类网络的方法,一方面使利用该训练方法得到的分类网络在对特征值进行分类时能够得到两种类型的分类结果,另一方面使利用该训练方法得到的分类网络在对特征值进行分类时分类的准确性较高。
在一个实施例中,如图5所示,本申请还提供了一种图像分类方法,该方法包括:
S301、将初始图像输入至分割网络,得到分割特征图像。
其中,初始图像表示当前需要进行分割处理的图像,为一种包含脑结构的图像,具体可以包括海马体结构、脉络膜裂结构、颞脚结构等多种生态结构。该初始图像可以包括但不限于常规CT图像、MRI图像、PET-MRI图像等,本实施例对此不做限定。在实际应用中,计算机设备可以通过连接扫描设备对人体脑部结构进行扫描得到初始图像。可选的,计算机设备也可以直接从数据库中或从互联网上下载得到包含脑结构的初始图像,对此本实施例不做限制。分割网络为一种深度卷积神经网络,用于对初始图像进行多结构的分割处理,以得到分割特征图像。可选的,本实施中的分割网络可以具体采用V-net神经网络。上述分割特征图像中可以包含一个结构特征,也可以包括多个结构特征,例如,若初始图像为脑结构的图像,则经过分割后,分割特征图像中可以包含海马体结构特征、脉络膜裂结构特征、颞脚结构特征等中的任意一种结构特征或多种结构特征。
本实施例中,当计算机设备获取到初始图像时,可以先将该初始图像输入至预先训练好的分割网络中,利用该分割网络对该初始图像进行多结构的分割处理,得到分割特征图像,以便图2中的实施例中计算机设备根据该分割特征图像获取图像的特征值。
S302、根据分割特征图像,得到特征值。
其中,特征值与分割特征图像中包含的各结构特征对应,表征各结构特征的特征值,例如,若分割特征图像中包含海马体结构特征,则特征值为海马体的厚度,若分割特征图像中包含脉络膜裂结构特征,则特征值为脉络膜裂宽度,若分割特征图像中包含颞脚结构特征,则特征值为颞脚宽度。
由前述描述可知,分割特征图像可只包含一个结构特征,也可以包含多个结构特征,具体的,分割特征图像中只包含一个结构特征时,该分割特征图像可以是海马体特征图、脉络膜裂特征图、颞脚特征图中的任意一种,而对应的特征值可以是海马体厚度、脉络膜裂宽度、颞脚宽度中的任意一种,且上述分割特征图像中包含的结构特征与特征值一一对应,即,若分割特征图像为海马体特征图,则对应的特征值为海马体厚度;若分割特征图像为脉络膜裂特征图,则对应的特征值为脉络膜裂宽度;若分割特征图像为颞脚特征图,则对应的征值为颞脚宽度。若分割特征图像中包含多个结构特征时,该分割特征图像中可以同时包含海马体特征图、脉络膜裂特征图、颞脚特征图等,在此种应用情况下,根据上述分割特征图像可以得到多个特征值,分别为海马体厚度、脉络膜裂宽度、颞脚宽度等。
本实施例中,当计算机设备根据S301的步骤得到分割特征图像后,可以进一步的从该分割特征图像中提取各结构特征对应的特征值,以得到初始图像的特征值。具体的,计算机设备获得特征值的方法可以有多种,例如,计算机设备可以利用如图6所示的网络结构获取多个特征值(假设有三个特征值)。其中,网络1为计算机设备预先根据包含多个结构特征的样本特征图和多个特征值训练好的网络,且该网络1能够从输入的特征图中同时检测出该特征图中包含的多个结构特征的特征值,在实际检测过程中,可以使用该网络1将前述所述的分割特征图像输入到该网络1中进行检测,同时得到该特征图中包含的多个结构特征的特征值(图中为#1、#2、和#3特征值)。
又例如,计算机设备还可以利用如图7所示的网络结构获取多个特征值(假设有三个特征值)。其中,网络2、网络3、以及网络4分别为计算机设备预先根据包含多个结构特征的样本图像和特定特征值训练好的网络,且在使用时需要将特征图同时输入到各网络中,则每个网络都能够从输入的特征图中检测出该特征图中包含的某一结构特征的特征值(例如,图中的网络2能够检测出特征图中的#4特征值、网络3能够检测出特征图中的#5特征值、网络4能够检测出特征图中的#6特征值)。基于前述所述的分割特征图像,在检测过程中,计算机设备可以将前述所述的分割特征图像直接输入到网络2、网络3、以及网络4中进行各特征值的检测,同时在各网络的输出端得到与各结构特征对应的特征值。
再例如,计算机设备还可以利用如图8所示的网络结构获取多个特征值(假设有三个特征值)。其中,网络5、检测网络6、以及网络7分别为计算机设备预先根据特定特征值和包含单个结构特征的样本特征图训练好的网络,且在使用时需要分别将不同的特征图(图中为#1特征图、#2特征图、以及#3特征图)输入到各网络,则每个网络都能够从输入的特征图中提取出与各自输入的特征图中包含的结构特征对应的特征值(例如,图中网络5从#1特征图中检测出#7特征值、图中网络6从#2特征图中检测出#8特征值、图中网络7从#3特征图中检测出#9特征值)。
基于前述得到的分割特征图像,因为该分割特征图包含多个结构特征,因此,计算机设备在利用如图8所示的网络结构进行特征检测时,可以预先对分割特征图进行图像分离处理,得到多个包含单个结构特征的特征图,然后再将多个包含单个结构特征的特征图分别输入到网络5、网络6、以及网络7中进行各特征值的检测,同时在各网络的输出端得到与各结构特征对应的特征值。
需要说明的是,上述图6、图7、图8实施例中的各网络均可以具体采用回归网络实现根据特征图得到该特征图上结构特征的特征值。
S303、提取初始图像在分割网络中得到的卷积特征图。
本实施例涉及计算机设备利用分割网络在对初始图像进行分割的过程中提取某一层卷积后的特征图的过程。本实施例中,计算机设备在对初始图像进行分割处理时,需要从分割网络中的某一层卷积层的输出端提取出卷积特征图,以便之后使用。需要说明的是,计算机设备可以提取分割网络中的任意一层卷积层输出的特征图,对此本实施例不做限制。
例如,计算机设备可以采用如图9所示的网络结构对初始图像进行分割,其中分割网络包含下采样段和上采样段,下采样段可以包含多个卷积层(例如,如图9中的a、b、c),实现对输入图像的卷积操作,上采样段可以包含多个反卷积层(例如,如图9中的d、e、f),实现对输入图像的反卷积操作。当计算机设备利用如图9所示的分割网络对初始图像分割时,计算机设备可以从下采样段中的任一层卷积层的输出端提取该层输出的卷积特征图,最优方案为从下采样的最后一层(图中的c)的输出端提取该层的卷积特征图。
可选的,上述卷积特征图为初始图像在分割网络中经过卷积后得到的最小尺寸的卷积特征图。其中,最小尺寸的卷积特征图通常为分割网络中下采样段中的最后一层卷积层上输出的卷积特征图,也可以是分割网络中下采样段之后的任意一层卷积层上输出的卷积特征图。本实施例可以采用如图10所示的网络结构对初始图像进行分割,并从中获取最小尺寸的卷积特征图。其中,网络结构包括下采样段、最小尺寸的卷积层、上采样段。最小尺寸的卷积层用于对下采样段最后一层卷积层输出的卷积特征图进行深度特征提取,以得到最小尺寸的卷积特征图。
在实际应用中,当计算机设备将初始图像输入至如图10所示的网络结构时,下采样段对输入的初始图像进行卷积处理,得到卷积特征图,最小尺寸的卷积层再对下采样段输出的卷积特征图进行进一步的深度特征提取,得到最小尺寸的卷积特征图,然后再将最小尺寸的卷积特征图输入到上采样段进行反卷积处理,以使在该网络结构的输出端输出分割后的特征图。
S304、将卷积特征图和特征值输入至分类网络,得到第一分类结果和第二分类结果;分类网络是分别根据第一分类结果的第一分类标签和第二分类结果的第二分类标签共同训练得到的。
其中,分类网络为根据多个样本特征值,以及与第一分类结果的第一分类标签和第二分类结果的第二分类标签共同训练得到的,用于对一个或多个特征值进行分类的网络。分类结果用于表征特征值对应的分类结果,该分类结果可以是描述脑疾病类别的分类结果,例如,在对脑疾病图像的检测过程中,分类结果可以包括阿尔兹海默症AD、轻度认知障碍MCI,或脑正常等结果。可选的,该分类结果也可以是描述脑结构中海马萎缩分级的结果,例如,海马萎缩一级、二级、三级等。上述分类结果可以包括一种类型的分类结果,也可以包括多种类型的分类结果。需要说明的是,第一分类结果与第二分类结果的类型不同。
本实施例中,当计算机设备根据前述S302的方法获取到初始图像的一个或多个特征值以及根据前述S303的方法从分割网络中提取出卷积特征图时,进一步的将特征值和卷积特征图输入至预先训练好的分类网络中,利用该分类网络对特征值进行分类处理,同时得到第一分类结果和第二分类结果。
上述实施例中,由于卷积特征图是在分割网络中的其中一层卷积后产生的特征图,因此卷积后的特征图与分割特征图具有极高的相关性,而分割特征图又与第一分类结果和第二分类结果有极高的相关性,因此,本申请提出的将卷积特征图作为重要的分类依据送入分类网络对特征值进行分类的方法,极大的提高了分类结果的准确性。
综合上述所有实施例所述的内容,本申请还提供了一种图像分类方法,该方法适用于如图11所示的网络结构,该网络结构中包括分割网络、第一回归网络、第二回归网络、第三回归网络、以及分类网络,其中分割网络用于对输入的初始图像进行分割,得到分割后的特征图;第一回归网络用于对第一特征图进行特征值分析,得到第一特征值;第二回归网络用于对第二特征图进行特征值分析,得到第二特征值;第三回归网络用于对第三特征图进行特征值分析,得到第三特征值;分类网络用于根据输入的第一特征值、第二特征值、第三特征值、以及卷积特征图得到分类结果。
上述实施例中,若初始图像中包含海马体结构、脉络膜裂结构、颞脚结构;分割后的图像中相应包含海马体分割图像、脉络膜裂分割图像、颞脚分割图像;则第一特征图为海马体分割图像;第二特征图为脉络膜裂分割图像;第三特征图为颞脚分割图像。相应的,第一特征值为海马体厚度;第二特征值为脉络膜裂宽度;第三特征值为颞脚宽度。在该应用场景下,利用上述图11网络对初始图像进行图像处理的具体过程包括:计算机设备首先将初始图像输入到分割网络中进行分割处理,得到分割特征图,同时,计算机设备从分割网络中提取出最小尺寸的卷积特征图;再进一步的对分割特征图进行图像分离处理,得到分离后的三个特征图,即第海马体特征图、脉络膜裂特征图、颞脚特征图;然后再将海马体特征图输入至第一回归网络中进行特征检测得到海马体厚度,将脉络膜裂特征图输入至第二回归网络中进行特征提检测到脉络膜裂宽度,将颞脚特征图输入至第三回归网络中进行特征检测得到颞脚宽度。计算机设备接着将海马体厚度、脉络膜裂宽度、颞脚宽度、以及最小尺寸的卷积特征图输入至分类网络中进行分类,得到海马萎缩分类结果和/或脑病症分类结果。海马萎缩分类结果包括0级、1级、2级、3级、以及4级;脑病症分类结果包括NC、sMCI、pMCI、以及AD。
上述实施例中,在对图像进行分类的过程中嵌入对初始图像的自动分割过程,并将分割过程中的中间结果和最终输出分割结果作为后面分类网络的输入,加快了整个分类工作的时间,且中间结果,即最小尺寸的卷积特征图,包含了与脑结构疾病和海马萎缩分级相关的全局信息,因此,在分类过程中,以中间结果作为分类网络的重要依据,实现对特征值的分类,极大的提高了分类的准确性。
应该理解的是,虽然图2、图4、图5流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2、图4、图5至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行。
在一个实施例中,如图12示,提供了一种图像分类装置,包括:获取模块11和分类模块12,其中:
获取模块11,用于获取图像的特征值;
分类模块12,用于将所述特征值输入至分类网络中,得到第一分类结果和第二分类结果;所述分类网络是分别根据所述第一分类结果的第一分类标签和所述第二分类结果的第二分类标签共同训练得到的。
在一个实施例中,如图13示,上述装置还包括:
训练模块13,用于以所述第一分类标签和所述第二分类标签为监督信息,交替训练所述分类网络。
在一个实施例中,上述训练模块13具体用于获取样本图像的特征值;
将所述样本图像的特征值输入至待训练的分类网络,交替以所述第一分类标签和所述第二分类标签为监督信息,训练所述待训练的分类网络,直至所述待训练的分类网络的两个损失函数均收敛,得到所述分类网络;所述以第一分类标签为监督信息进行训练的顺序在所述以第二分类标签为监督信息进行训练之前。
在一个实施例中,如图14所示,上述装置还包括:分割模块14、获取特征值模块15、和提取特征图模块16,其中:
分割模块14,用于将初始图像输入至分割网络,得到分割特征图像;
获取特征值模块15,用于根据所述分割特征图像,得到所述特征值;
提取特征图模块16,用于提取所述初始图像在所述分割网络中得到的卷积特征图;
上述分类模块12,用于将所述卷积特征图和所述特征值输入至所述分类网络,得到所述第一分类结果和所述第二分类结果;所述分类网络是分别根据所述第一分类结果的第一分类标签和所述第二分类结果的第二分类标签共同训练得到的。
关于图像分类装置的具体限定可以参见上文中对于一种图像分类方法的限定,在此不再赘述。上述图像分类装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取图像的特征值;
将所述特征值输入至分类网络中,得到第一分类结果和第二分类结果;所述分类网络是分别根据所述第一分类结果的第一分类标签和所述第二分类结果的第二分类标签共同训练得到的。
上述实施例提供的一种计算机设备,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时还实现以下步骤:
获取图像的特征值;
将所述特征值输入至分类网络中,得到第一分类结果和第二分类结果;所述分类网络是分别根据所述第一分类结果的第一分类标签和所述第二分类结果的第二分类标签共同训练得到的。
上述实施例提供的一种计算机可读存储介质,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双倍数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种图像分类方法,其特征在于,所述方法包括:
获取图像的特征值;
将所述特征值输入至一个分类网络中,得到第一分类结果和第二分类结果;所述第一分类结果和所述第二分类结果不相同;
所述分类网络的训练过程包括:
获取样本图像的特征值;
将所述样本图像的特征值输入至待训练的分类网络,交替以第一分类标签和第二分类标签为监督信息,训练所述待训练的分类网络,直至所述待训练的分类网络的两个损失函数均收敛,得到所述分类网络。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将初始图像输入至分割网络,得到分割特征图像;
根据所述分割特征图像,得到所述特征值;
提取所述初始图像在所述分割网络中得到的卷积特征图;
将所述卷积特征图和所述特征值输入至所述分类网络,得到所述第一分类结果和所述第二分类结果;所述分类网络是分别根据所述第一分类结果的第一分类标签和所述第二分类结果的第二分类标签共同训练得到的。
3.根据权利要求1所述的方法,其特征在于,所述特征值包括海马厚度、脉络膜裂宽度、以及颞脚宽度中的一个或多个。
4.根据权利要求1所述的方法,其特征在于,所述第一分类结果包括脑病症分类结果;所述第二分类结果包括海马萎缩分类结果。
5.根据权利要求4所述的方法,其特征在于,所述脑病症分类结果包括:正常、稳定性轻度认知障碍、进展性轻度认知障碍、以及阿尔兹海默症中的至少两种。
6.根据权利要求4所述的方法,其特征在于,所述海马萎缩分类结果包括至少两级。
7.一种图像分类装置,其特征在于,所述装置包括:
获取模块,用于获取图像的特征值;
分类模块,用于将特征值输入至分类网络中,得到第一分类结果和第二分类结果;所述第一分类结果和所述第二分类结果不相同;
训练模块,用于获取样本图像的特征值;将所述样本图像的特征值输入至待训练的分类网络,交替以第一分类标签和第二分类标签为监督信息,训练所述待训练的分类网络,直至所述待训练的分类网络的两个损失函数均收敛,得到所述分类网络。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括:
分割模块,用于将初始图像输入至分割网络,得到分割特征图像;
获取特征值模块,用于根据所述分割特征图像,得到所述特征值;
提取特征图模块,用于提取所述初始图像在所述分割网络中得到的卷积特征图;
上述分类模块,用于将所述卷积特征图和所述特征值输入至所述分类网络,得到所述第一分类结果和所述第二分类结果;所述分类网络是分别根据所述第一分类结果的第一分类标签和所述第二分类结果的第二分类标签共同训练得到的。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910440349.XA CN110210544B (zh) | 2019-05-24 | 2019-05-24 | 图像分类方法、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910440349.XA CN110210544B (zh) | 2019-05-24 | 2019-05-24 | 图像分类方法、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110210544A CN110210544A (zh) | 2019-09-06 |
CN110210544B true CN110210544B (zh) | 2021-11-23 |
Family
ID=67788582
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910440349.XA Active CN110210544B (zh) | 2019-05-24 | 2019-05-24 | 图像分类方法、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110210544B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110807495B (zh) * | 2019-11-08 | 2023-09-12 | 腾讯科技(深圳)有限公司 | 多标签分类方法、装置、电子设备及存储介质 |
CN111160441B (zh) * | 2019-12-24 | 2024-03-26 | 上海联影智能医疗科技有限公司 | 分类方法、计算机设备和存储介质 |
CN111080643A (zh) * | 2019-12-31 | 2020-04-28 | 上海鹰瞳医疗科技有限公司 | 基于眼底图像的糖尿病及相关疾病的分类方法及设备 |
WO2022141092A1 (zh) * | 2020-12-29 | 2022-07-07 | 深圳市大疆创新科技有限公司 | 模型生成方法、图像处理方法、装置及可读存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103824084A (zh) * | 2014-03-12 | 2014-05-28 | 西安电子科技大学 | 基于sdit和svm的极化sar图像分类方法 |
CN105760900A (zh) * | 2016-04-08 | 2016-07-13 | 西安电子科技大学 | 基于近邻传播聚类和稀疏多核学习的高光谱图像分类方法 |
CN109117879A (zh) * | 2018-08-03 | 2019-01-01 | 南京旷云科技有限公司 | 图像分类方法、装置及系统 |
CN109242849A (zh) * | 2018-09-26 | 2019-01-18 | 上海联影智能医疗科技有限公司 | 医学图像处理方法、装置、系统和存储介质 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10127475B1 (en) * | 2013-05-31 | 2018-11-13 | Google Llc | Classifying images |
JP6883787B2 (ja) * | 2017-09-06 | 2021-06-09 | パナソニックIpマネジメント株式会社 | 学習装置、学習方法、学習プログラム、推定装置、推定方法、及び推定プログラム |
US10599978B2 (en) * | 2017-11-03 | 2020-03-24 | International Business Machines Corporation | Weighted cascading convolutional neural networks |
CN108399431A (zh) * | 2018-02-28 | 2018-08-14 | 国信优易数据有限公司 | 分类模型训练方法以及分类方法 |
CN108596267B (zh) * | 2018-05-03 | 2020-08-28 | Oppo广东移动通信有限公司 | 一种图像重建方法、终端设备及计算机可读存储介质 |
CN109447169B (zh) * | 2018-11-02 | 2020-10-27 | 北京旷视科技有限公司 | 图像处理方法及其模型的训练方法、装置和电子系统 |
CN109523015B (zh) * | 2018-11-09 | 2021-10-22 | 上海海事大学 | 一种神经网络中图像处理方法 |
CN109685110B (zh) * | 2018-11-28 | 2022-01-28 | 北京陌上花科技有限公司 | 图像分类网络的训练方法、图像分类方法及装置、服务器 |
CN109784424B (zh) * | 2019-03-26 | 2021-02-09 | 腾讯科技(深圳)有限公司 | 一种图像分类模型训练的方法、图像处理的方法及装置 |
-
2019
- 2019-05-24 CN CN201910440349.XA patent/CN110210544B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103824084A (zh) * | 2014-03-12 | 2014-05-28 | 西安电子科技大学 | 基于sdit和svm的极化sar图像分类方法 |
CN105760900A (zh) * | 2016-04-08 | 2016-07-13 | 西安电子科技大学 | 基于近邻传播聚类和稀疏多核学习的高光谱图像分类方法 |
CN109117879A (zh) * | 2018-08-03 | 2019-01-01 | 南京旷云科技有限公司 | 图像分类方法、装置及系统 |
CN109242849A (zh) * | 2018-09-26 | 2019-01-18 | 上海联影智能医疗科技有限公司 | 医学图像处理方法、装置、系统和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110210544A (zh) | 2019-09-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110210544B (zh) | 图像分类方法、计算机设备和存储介质 | |
EP3543880B1 (en) | Stroke diagnosis and prognosis system | |
EP4345746A2 (en) | Method and system for image segmentation and identification | |
US20190370957A1 (en) | Methods and systems for labeling whole spine image using deep neural network | |
CN110993063B (zh) | 用于便于由放射科医师和人工智能算法进行联合解释的扫描仪处的医学图像预处理 | |
CN110188813B (zh) | 图像特征分类方法、计算机设备和存储介质 | |
EP4099267A1 (en) | Artificial intelligence-based pathological image processing method and apparatus, electronic device, and storage medium | |
US20230036359A1 (en) | Image reconstruction method, device,equipment, system, and computer-readable storage medium | |
CN111179231A (zh) | 图像处理方法、装置、设备和存储介质 | |
CN110210519B (zh) | 分类方法、计算机设备和存储介质 | |
CN110717905B (zh) | 脑部图像检测方法、计算机设备和存储介质 | |
CN110363774B (zh) | 图像分割方法、装置、计算机设备和存储介质 | |
CN110738643B (zh) | 脑出血的分析方法、计算机设备和存储介质 | |
CN111340087A (zh) | 图像识别方法、装置、计算机可读存储介质和计算机设备 | |
KR20200137768A (ko) | 두부경부 컴퓨터단층촬영영상에서의 안와뼈 분할 방법 및 장치 | |
CN110490841B (zh) | 计算机辅助影像分析方法、计算机设备和存储介质 | |
CN111128348A (zh) | 医学图像处理方法、装置、存储介质及计算机设备 | |
CN111160441B (zh) | 分类方法、计算机设备和存储介质 | |
CN113706451A (zh) | 颅内动脉瘤识别检测的方法、装置、系统和计算机可读存储介质 | |
CN111160442B (zh) | 图像分类方法、计算机设备和存储介质 | |
AU2019204365B1 (en) | Method and System for Image Segmentation and Identification | |
CN110189310B (zh) | 图像特征值的获取方法、计算机设备和存储介质 | |
CN111899263B (zh) | 图像分割方法、装置、计算机设备及存储介质 | |
CN110766653B (zh) | 图像分割方法、装置、计算机设备和存储介质 | |
CN113160199A (zh) | 影像识别方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |