CN112116005A - 影像分类模型的训练方法及装置、存储介质和电子设备 - Google Patents

影像分类模型的训练方法及装置、存储介质和电子设备 Download PDF

Info

Publication number
CN112116005A
CN112116005A CN202010987247.2A CN202010987247A CN112116005A CN 112116005 A CN112116005 A CN 112116005A CN 202010987247 A CN202010987247 A CN 202010987247A CN 112116005 A CN112116005 A CN 112116005A
Authority
CN
China
Prior art keywords
image
loss function
classification model
feature
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010987247.2A
Other languages
English (en)
Other versions
CN112116005B (zh
Inventor
谭卫雄
张荣国
李新阳
王少康
陈宽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Infervision Medical Technology Co Ltd
Original Assignee
Infervision Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infervision Medical Technology Co Ltd filed Critical Infervision Medical Technology Co Ltd
Priority to CN202010987247.2A priority Critical patent/CN112116005B/zh
Publication of CN112116005A publication Critical patent/CN112116005A/zh
Application granted granted Critical
Publication of CN112116005B publication Critical patent/CN112116005B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种影像分类模型的训练方法及装置、存储介质和电子设备。该训练方法包括分别对整体影像和整体影像中的局部影像进行特征提取得到第一特征和第二特征，整体影像中除局部影像之外的区域具有病灶，局部影像包含由病灶引起的结构变异；融合第一特征和第二特征得到第三特征；对第三特征进行分类输出最终分类结果；根据最终分类结果训练影像分类模型，从而能够实现采用本发明实施例中的影像分类模型对整体影像中的难以定位或区分的病灶进行准确分类。

Description

影像分类模型的训练方法及装置、存储介质和电子设备
技术领域
本发明涉及影像分类技术领域，具体涉及一种影像分类模型的训练方法及装置、存储介质和电子设备。
背景技术
随着神经网络技术的发展，基于神经网络模型对医学影像进行处理和分类成为一种研究热潮。传统的对医学影像的分类方案中，通常仅能对病灶位于影像中某一特定位置时对病灶进行分类。
然而，当病灶的位置难以确定或者多种病灶的影像特征高度相似的情况下，传统的影像分类模型无法对该病灶进行准确地分类。
发明内容
有鉴于此，本发明实施例提供了一种影像分类模型的训练方法及装置、存储介质和电子设备，从而能够实现对整体影像中难以定位或区分的病灶进行准确分类。
根据本发明实施例的第一方面，提供一种影像分类模型的训练方法，包括：分别对整体影像和整体影像中的局部影像进行特征提取得到第一特征和第二特征，整体影像中除局部影像之外的区域具有病灶，局部影像包含由病灶引起的结构变异；融合第一特征和第二特征得到第三特征；对第三特征进行分类输出最终分类结果；根据最终分类结果训练影像分类模型。
在本发明一实施例中，在上述分别对整体影像和整体影像中的局部影像进行特征提取得到第一特征和第二特征之后，该训练方法还包括：分别对第一特征和第二特征进行分类得到第一分类结果和第二分类结果；根据第一分类结果计算第一损失函数；根据第二分类结果计算第二损失函数；其中，上述根据最终分类结果训练影像分类模型包括：根据最终分类结果计算第三损失函数；根据第一损失函数、第二损失函数和第三损失函数调整影像分类模型的参数。
在本发明一实施例中，上述根据第一损失函数、第二损失函数和第三损失函数调整影像分类模型的参数，包括：根据第一损失函数调整影像分类模型中对整体影像进行特征提取时的第一参数；根据第二损失函数调整影像分类模型中对局部影像进行特征提取时的第二参数；根据第三损失函数调整影像分类模型中对第三特征进行分类时的第三参数。
在本发明一实施例中，上述根据第一损失函数、第二损失函数和第三损失函数调整影像分类模型的参数，包括：对第一损失函数、第二损失函数和第三损失函数进行加权运算，得到加权结果；根据加权结果调整影像分类模型的参数。
在本发明一实施例中，在训练影像分类模型过程中，第三损失函数对应的权重随着迭代次数的增加而增加。
在本发明一实施例中，上述分别对整体影像和整体影像中的局部影像进行特征提取得到第一特征和第二特征，包括：采用三维的神经网络分别对整体影像和整体影像中的局部影像进行特征提取得到第一特征和第二特征，其中，三维的神经网络基于二维的神经网络构建，三维的神经网络包括三维的残差网络或三维的生成网络，三维的神经网络中卷积层和池化层的维数为3。
在本发明一实施例中，三维的残差网络的神经网络层数为18层。
在本发明一实施例中，整体影像为磁共振成像的脑部影像，整体影像中的局部影像为左海马体和/或右海马体的影像，最终分类结果为病毒性脑炎、自身免疫性脑炎和健康中的任何一种。
根据本发明实施例的第二方面，提供一种影像分类模型的训练装置。该训练装置包括：特征提取模块，用于分别对整体影像和整体影像中的局部影像进行特征提取得到第一特征和第二特征，整体影像中除局部影像之外的区域具有病灶，局部影像包含由病灶引起的结构变异；融合模块，用于融合第一特征和第二特征得到第三特征；输出模块，用于对第三特征进行分类输出最终分类结果；训练模块，用于根据最终分类结果训练影像分类模型。
根据本发明实施例的第三方面，提供一种计算机可读存储介质。存储介质存储有计算机程序，计算机程序用于执行上述本发明实施例的第一方面中任一影像分类模型的训练方法。
根据本发明实施例的第四方面，提供了一种电子设备。该电子设备包括：处理器；用于存储处理器可执行指令的存储器；处理器，用于执行上述本发明实施例的第一方面中任一影像分类模型的训练方法。
根据本发明实施例提供的技术方案，通过分别对整体影像和整体影像中的局部影像进行特征提取得到第一特征和第二特征；融合第一特征和第二特征得到第三特征；对第三特征进行分类输出最终分类结果；根据最终分类结果训练影像分类模型，从而通过结合整体影像中除局部影像之外的区域的病灶的特征以及局部影像中由病灶引起的结构变异的特征，能够实现本发明实施例中的影像分类模型能够对整体影像中的难以定位或区分的病灶进行准确分类。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1所示为本发明一实施例提供的一种影像分类模型的训练方法的流程示意图。
图2A所示为本发明一实施例提供的一种影像分类模型的结构示意图。
图2B所示为图2A所示实施例中影像分类模型的基本块的结构示意图。
图3所示为本发明另一实施例提供的一种影像分类模型的训练方法的流程示意图。
图4A所示为本发明又一实施例提供的一种影像分类模型的训练方法的流程示意图。
图4B所示为本发明再一实施例提供的一种影像分类模型的训练方法的流程示意图。
图5所示为本发明一实施例提供的影像分类模型的训练装置的框图。
图6所示为本发明一实施例提供的电子设备的框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1所示为本发明一实施例提供的影像分类模型的训练方法的流程示意图。该方法可以由计算机设备(例如，服务器)执行。如图1所示，该方法包括如下内容。
S110：分别对整体影像和整体影像中的局部影像进行特征提取得到第一特征和第二特征，整体影像中除局部影像之外的区域具有病灶，局部影像包含由病灶引起的结构变异。
举例来说，影像分类模型中可以包括以三维的卷积神经网络作为主干网络的特征提取模块。在一些实施例中，特征提取模块的数量为一个，服务器将整体影像和局部影像分别经过该特征提取模块进行特征提取，从而得到第一特征和第二特征；在另一些实施例中，特征提取模块的数量为两个如包括第一特征提取模块和第二特征提取模块，服务器将整体影像经过该第一特征提取模块进行特征提取得到第一特征，服务器将局部影像经过该第二特征提取模块进行特征提取得到第二特征，本发明实施例对整体影像和局部影像进行特征提取所采用的方式不做具体限定。在训练影像分类模型中的所有训练影像除包括本发明实施例中的整体影像和局部影像外，还可以包括不具有病灶信息的整体影像和局部影像，本发明实施例对此不做具体限定。
还应当理解，整体影像可以为包含病毒性脑炎(Viral Encephalitis，VE)或自身免疫性脑炎(Autoimmune Encephalitis，AE)难以定位或区分的病灶的脑部影像，整体影像也可以为其他难以定位或区分的病灶的影像，本发明实施例对整体影像的类型不做具体限定。整体影像的成像方式可以如脑炎影像由磁共振成像的方式获得，也可以如肺部影像由超声成像的方式获得，本发明实施例对整体影像的成像方式不做具体限定。局部影像可以是通过影像分类模型从整体影像中提取出来，也可以是使用影像分类模型以外的其他工具从整体影像中分割出来，本发明实施例对此不做具体限定。整体影像不同于一般的图像，整体影像为三维结构，而一般的图像为二维的结构。
还应当理解，在步骤S100之前，服务器还可以对整体影像和局部影像进行归一化、加窗处理、去噪处理、细节增强等操作，本发明实施例对此不做具体限定。在一些实施例中，采用对比度调整，随机加入椒盐噪声以及伽马(gamma)变换等数据增强方式对整体影像和局部影像进行预处理，从而提高了整体影像和局部影像中特征的利用率，并有效降低过拟合，提高影像分类模型的鲁棒性。
S120：融合第一特征和第二特征得到第三特征。
应当理解，融合的方式可以为拼接、加和或点乘等，本发明实施例对此不做具体限定。
S130：对第三特征进行分类输出最终分类结果。
应当理解，可以采用多层感知机(Multilayer Perceptron，MLP)、支持向量机(Support Vector Machine，SVM)、K近邻算法(K-Nearest Neighbor algorithm，KNN)或贝叶斯等方式对第三特征进行分类输出最终分类结果，本发明实施例对第三特征进行分类的方式不做具体限定。
S140：根据最终分类结果训练影像分类模型。
在一些实施例中，可以直接将最终分类结果与整体图像对应的原始结果(标注)进行对比，根据对比后的差值调整影像分类模型的参数；在另一些实施例中，可以根据最终分类结果计算损失函数，再根据损失函数调整影像分类模型的参数，本发明实施例对此不做具体限定。
根据本发明实施例提供的技术方案，通过分别对整体影像和整体影像中的局部影像进行特征提取得到第一特征和第二特征，并进一步融合第一特征和第二特征得到第三特征；对第三特征进行分类输出最终分类结果；根据最终分类结果训练影像分类模型，从而在影像分类模型的训练过程中，除考虑整体影像中除局部影像之外的区域的病灶的特征外，结合局部影像中由病灶引起的结构变异的特征，进而能够实现使用训练好的影像分类模型对整体影像中难以定位或区分的病灶进行准确分类。
在本发明一实施例中，上述S110包括：采用三维的神经网络分别对整体影像和整体影像中的局部影像进行特征提取得到第一特征和第二特征，其中，三维的神经网络基于二维的神经网络构建，三维的神经网络包括三维的残差网络(3D ResNet)或三维的生成网络(3D Inception Net)，三维的神经网络中卷积层和池化层的维数为3。
应当理解，三维的神经网络包括但不限于3D ResNet或3D Inception Net，还可以为其他类型的网络如移动端神经网络MobileNet等，本发明实施例对此不做具体限定。3DResNet可以是基于二维的ResNet开发的；3D ResNet的神经网络层数可以为18层、34层、50层等，本发明实施例对此不做具体限定。
本发明实施例中，通过采用三维的神经网络分别对整体影像和整体影像中的局部影像进行特征提取得到第一特征和第二特征，三维的神经网络选用3D ResNet或3DInception Net，从而使得在对整体影像和局部影像进行分类的过程中，能够有效提取整体影像中的第一特征和局部影像中的第二特征，进而提高影像分类模型对难以定位或区分的病灶进行分类的准确度。
在本发明一实施例中，三维的残差网络的神经网络层数为18层。
应当理解，当3D ResNet的神经网络层数为18层即3D ResNet-18时，3D ResNet-18的结构200可以如图2A所示，其中，X为输入的整体影像或局部影像，Y为输出结果如本发明实施例中的第一特征或第二特征，BN为Batch Normalization，即批处理，c代表通道数，s代表步长，d代表对上一个卷积结果进行最大池化操作时尺寸缩小的倍数。另外，s＝2,2,1代表从长、宽和高三个维度上的步长分别为2,2,1，如此设计，是为了能够有效提取到整体影像或局部影像的特征。3D ResNet-18的结构中的基本块即3D ResNet块210可以如图2B所示，也可以将BN与Relu的顺序进行调整，本发明实施例对此不做具体限定。3D ResNet-18的结构也可以为除图2A所示以外的其他结构，例如，图2A中的网络最浅层7×7×7的卷积conv还可以为3×3×3的卷积；c、s和d的数值可以根据需要进行更改；图2A和图2B中激活函数除可以为线性整流函数(Rectified Linear Unit，Relu)外，还可以为Relu6、sigmod等，本发明实施例对此不做具体限定。
本发明实施例中，通过将影像分类模型设置为3D ResNet-18，从而能够权衡影像分类模型对整体影像和局部影像进行特征提取时所提取的第一特征和第二特征的有效性，既能保留整体影像中的原有信息，又能保留局部影像中的局部变异信息，避免因神经网络层数过多使得从整体影像中提取到的第一特征和从局部影像中提取到的第二特征失真，或因神经网络层数过少使得从整体影像中提取到的第一特征和从局部影像中提取到的第二特征不能有效提取到整体影像和局部影像的深层次的关键信息。
图3所示为本发明另一实施例提供的一种影像分类模型的训练方法的流程示意图。图3所示实施例为图1所示实施例的一个例子。与图1所示实施例的不同之处在于，整体影像为磁共振成像的脑部影像，整体影像中的局部影像为左海马体和/或右海马体的影像，最终分类结果为病毒性脑炎(Viral Encephalitis，VE)、自身免疫性脑炎(AutoimmuneEncephalitis，AE)和健康(Health，HC)中的任何一种，其中，步骤S111对应于图1所示实施例中的步骤S110。另外，在步骤S111或步骤S110之后，该训练方法还可以包括步骤S150-S170以及步骤S141-S142,其中，步骤S141-S142对应于图1所示实施例中的步骤S140。
S111：分别对脑部影像和海马体影像进行特征提取得到第一特征和第二特征，脑部影像中除海马体影像之外的区域具有病灶，局部影像中包含由病灶引起的结构变异。其中，第一特征表示为T1，第二特征表示为T2。
应当理解，海马体影像可以为左海马体影像，也可以为右海马体影像，还可以为左海马体影像和右海马体影像融合后的影像，本发明实施例对此不做具体限定。在一些实施例中，可以基于Linux系统的FSL软件从脑部影像中分割出海马体影像，具体地，首先用fslmaths命令对影像处理，其次用bet命令将大脑中的非脑组织部分去除，最后，用first命令分割出左右海马体，本发明实施例对海马体影像从脑部影像中分割的方式不做具体限定。
还应当理解，AE和VE为脑炎的两种主要亚型，在临床表现上非常相似，且两种脑炎都具有重叠的临床表现和影像学表现。海马体还可以称之为海马回、海马区或大脑海马等，脑炎引起的异常会使海马体发生结构性变异，本发明实施例使用脑部影像和海马体影像作为输入的影像仅仅是示例性的，还可以为其他相似类型的整体影像和局部影像，本发明实施例对此不做具体限定。
S150：分别对第一特征和第二特征进行分类得到第一分类结果和第二分类结果。其中，第一分类结果表示为C1，第二分类结果表示为C2。
应当理解，可以采用多层感知机(Multilayer Perceptron，MLP)、支持向量机(Support Vector Machine，SVM)，K近邻算法(K-Nearest Neighbor algorithm，KNN)或贝叶斯等方式对第一特征和第二特征进行分类得到第一分类结果和第二分类结果；对第一特征和第二特征进行分类的方式可以相同或不同；本发明实施例对第一特征和第二特征进行分类的方式以及分类的方式是否相同不做具体限定。影像分类模型可以输出第一分类结果和第二分类结果，也可以不输出第一分类结果和第二分类结果，本发明实施例对此不做具体限定。
S160：根据第一分类结果计算第一损失函数。其中，第一损失函数表示为L1。
S170：根据第二分类结果计算第二损失函数。其中，第二损失函数表示为L2。
应当理解，第一损失函数和第二损失函数可以为交叉熵损失函数(CrossEntropyLoss)、均方差损失函数或合页损失函数中的任何一种，还可以为其他损失函数，本发明实施例对此不做具体限定。第一损失函数与第二损失函数的类型可以相同或不同，本发明实施例对此不做具体限定。
S120：融合第一特征和第二特征得到第三特征。其中，第三特征表示为T3。
S130：对第三特征进行分类输出最终分类结果。其中，最终分类结果表示为C0。
S141：根据最终分类结果计算第三损失函数。其中，第三损失函数表示为L3。
应当理解，第三损失函数可以为交叉熵损失函数(CrossEntropyLoss)、均方差损失函数或合页损失函数中的任何一种，还可以为其他损失函数，本发明实施例对此不做具体限定。
S142：根据第一损失函数、第二损失函数和第三损失函数调整影像分类模型的参数。
应当理解，影像分类模型的参数可以包括对整体影像进行特征提取时的参数、对局部影像进行特征提取时的参数等，本发明实施例对此不做具体限定。第一损失函数、第二损失函数和第三损失函数可以分别调整影像分类模型的相同或不同参数，也可以结合第一损失函数、第二损失函数和第三损失函数后共同调整影像分类模型的相同或不同参数，本发明实施例对此不做具体限定。
根据本发明实施例提供的技术方案，通过设置整体影像为磁共振成像的脑部影像，整体影像中的局部影像为左海马体和/或右海马体的影像，从而结合病灶和病灶引起的结构变异的特征对影像分类模型进行训练，使得训练好的影像分类模型能够对整体图像中包括病毒性脑炎或自身免疫性脑炎难以定位和区分的病灶进行准确分类。另外，通过第一损失函数、第二损失函数和第三损失函数对影像分类模型的参数不断进行更新，以便于得到足够小的损失，进而使得该影像分类模型具有更高的准确度。并且，由于第一损失函数、第二损失函数辅助训练影像分类模型，从而能够加快影像分类模型的收敛，提高训练影像分类模型的效率。
图4A所示为本发明又一实施例提供的一种影像分类模型的训练方法的流程示意图。图4A所示实施例为图3所示实施例的一变型例。与图3所示实施例的不同之处在于，步骤S1421-S1423对应于图3所示实施例中的步骤S142。
S1421：根据第一损失函数调整影像分类模型中对整体影像进行特征提取时的第一参数。其中，第一参数表示为A1。
应当理解，第一损失函数L1可以仅用于调整影像分类模型对整体影像进行特征提取时的第一参数，也可以还用于调整影像分类模型对局部影像进行特征提取时的第二参数，本发明实施例对此不做具体限定。
S1422：根据第二损失函数调整影像分类模型中对局部影像进行特征提取时的第二参数。其中，第二参数表示为A2。
应当理解，第二损失函数L2可以仅用于调整影像分类模型对局部影像进行特征提取时的第二参数，也可以还用于调整影像分类模型对整体影像进行特征提取时的第一参数，本发明实施例对此不做具体限定。
S1423：根据第三损失函数调整影像分类模型中对第三特征进行分类时的第三参数。其中，第三参数表示为A3。
应当理解，第三损失函数可以仅用于调整影像分类模型训练过程中对第三特征进行分类时的第三参数，也可以用于调整影像分类模型对局部影像进行特征提取时的第二参数和/或调整影像分类模型对整体影像进行特征提取时的第一参数，本发明实施例对此不做具体限定。第一参数、第二参数和第三参数的参数数量可以为一个或多个，本发明实施例对此不做具体限定。
根据本发明实施例提供的技术方案，通过使用第一损失函数、第二损失函数和第三损失函数分别对影像分类模型的不同参数同时进行调整，从而能够加快影像分类模型的收敛，提高训练影像分类模型的效率。
图4B所示为本发明又一实施例提供的一种影像分类模型的训练方法的流程示意图。图4B所示实施例为图3所示实施例的一变型例。与图3所示实施例的不同之处在于，步骤S1424-S1425对应于图3所示实施例中的步骤S142。
S1424：对第一损失函数、第二损失函数和第三损失函数进行加权运算，得到加权结果。其中，加权结果表示为L。
应当理解，加权结果L的运算公式可以为L＝w1L1+w2L2+w3L3，其中，w1为L1对应的权重，w2为L2对应的权重，w3为L3对应的权重。在不断训练影像分类模型的过程中，w1、w2和w3的值会不断进行调整，w1、w2和w3之和为1，本发明实施例对w1、w2和w3的值如何调整不做具体限定。
S1425：根据加权结果调整影像分类模型的参数。
根据本发明实施例提供的技术方案，通过加权运算的方式将第一损失函数、第二损失函数与第三损失函数关联起来，使用关联的加权结果对影像分类模型进行训练，从而在利用第一损失函数与第二损失函数辅助训练影像分类模型的同时采用加权结果调整影像分类模型的参数，减少了影像分类模型的参数的调整次数，进一步加快了影像分类模型的训练效率。
在本发明一实施例中，在训练影像分类模型过程中，第三损失函数对应的权重随着迭代次数的增加而增加。
在一些实施例中，在训练影像分类模型的前期，为了能够更好地提取整体影像和局部影像中的特征，w1和w2的值可以设置的较w3的值高，随着迭代次数的增加，第三损失函数对应的权重w3会随之增加，w1和w2的值会相应减少。
本发明实施例中，通过设置在训练影像分类模型过程中，第三损失函数对应的权重随着迭代次数的增加而增加，从而提高影像分类模型中对第三特征进行分类的准确度。
图5所示为本发明一实施例提供的一种影像分类模型的训练装置的框图。如图5所示，该影像分类模型的训练装置500包括：特征提取模块510，用于分别对整体影像和整体影像中的局部影像进行特征提取得到第一特征和第二特征，整体影像中除局部影像之外的区域具有病灶，局部影像包含由病灶引起的结构变异；融合模块520，用于融合第一特征和第二特征得到第三特征；输出模块530，用于对第三特征进行分类输出最终分类结果；训练模块540，用于根据最终分类结果训练影像分类模型。
根据本发明实施例提供的技术方案，通过使用特征提取模块、融合模块、输出模块和训练模块，从而在影像分类模型的训练过程中，除考虑整体影像中除局部影像之外的区域的病灶的特征外，结合局部影像中由病灶引起的结构变异的特征，进而能够实现使用训练好的影像分类模型对整体影像中难以定位或区分的病灶进行分类时具有较高的准确度。
在本发明一实施例中，训练装置500还包括分类模块550、第二计算模块560、第三计算模块570。分类模块550用于分别对第一特征和第二特征进行分类得到第一分类结果和第二分类结果；第二计算模块560用于根据第一分类结果计算第一损失函数；第三计算模块570，用于根据第二分类结果计算第二损失函数。其中，训练模块540包括第一计算模块541和第一调整模块542。第一计算模块541用于根据最终分类结果计算第三损失函数，第一调整模块542用于根据第一损失函数、第二损失函数和第三损失函数调整影像分类模型的参数。
在本发明一实施例中，第一调整模块542包括第一子调整模块5421、第二子调整模块5422和第三子调整模块5423。其中，第一子调整模块5421用于根据第一损失函数调整影像分类模型中对整体影像进行特征提取时的第一参数；第二子调整模块5422用于根据第二损失函数调整影像分类模型中对局部影像进行特征提取时的第二参数；第三子调整模块5423用于根据第三损失函数调整影像分类模型中对第三特征进行分类时的第三参数。
在本发明一实施例中，第一调整模块542包括加权运算模块5424和第四子调整模块5425。其中，加权运算模块5424用于对第一损失函数、第二损失函数和第三损失函数进行加权运算，得到加权结果；第四子调整模块5425用于根据加权结果调整影像分类模型的参数。
在本发明一实施例中，在训练影像分类模型过程中，第三损失函数对应的权重随着迭代次数的增加而增加。
在本发明一实施例中，影像分类模型包括基于二维的神经网络模型构建的三维的神经网络模型，三维的神经网络模型包括三维的残差网络模型或三维的生成网络模型，三维的神经网络模型中卷积层和池化层的维数为3。
在本发明一实施例中，三维的残差网络模型的神经网络层数为18层。
在本发明一实施例中，整体影像为磁共振成像的脑部影像，整体影像中的局部影像为左海马体和/或右海马体的影像，最终分类结果为病毒性脑炎、自身免疫性脑炎和健康中的任何一种。
图6所示为本发明一实施例提供的电子设备600的框图。
参照图6，电子设备600包括处理组件610，其进一步包括一个或多个处理器，以及由存储器620所代表的存储器资源，用于存储可由处理组件610的执行的指令，例如应用程序。存储器620中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件610被配置为执行指令，以执行上述影像分类模型的训练方法。
电子设备600还可以包括一个电源组件被配置为执行电子设备600的电源管理，一个有线或无线网络接口被配置为将电子设备600连接到网络，和一个输入输出(I/O)接口。电子设备600可以操作基于存储在存储器620的操作系统，例如Windows ServerTM，Mac OSXTM，UnixTM，LinuxTM，FreeBSDTM或类似。
一种非临时性计算机可读存储介质，当存储介质中的指令由上述电子设备600的处理器执行时，使得上述电子设备600能够执行一种影像分类模型的训练方法，包括：分别对整体影像和整体影像中的局部影像进行特征提取得到第一特征和第二特征，整体影像中除局部影像之外的区域具有病灶，局部影像包含由病灶引起的结构变异；融合第一特征和第二特征得到第三特征；对第三特征进行分类输出最终分类结果；根据最终分类结果训练影像分类模型。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序校验码的介质。
另外，还需要说明的是，本案中各技术特征的组合方式并不限本案权利要求中所记载的组合方式或是具体实施例所记载的组合方式，本案所记载的所有技术特征可以以任何方式进行自由组合或结合，除非相互之间产生矛盾。
需要注意的是，以上列举的仅为本发明的具体实施例，显然本发明不限于以上实施例，随之有着许多的类似变化。本领域的技术人员如果从本发明公开的内容直接导出或联想到的所有变形，均应属于本发明的保护范围。
应当理解，本发明实施例中提到的第一、第二等限定词，仅仅为了更清楚地描述本发明实施例的技术方案使用，并不能用以限制本发明的保护范围。
以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种影像分类模型的训练方法，其特征在于，包括：
分别对整体影像和所述整体影像中的局部影像进行特征提取得到第一特征和第二特征，所述整体影像中除所述局部影像之外的区域具有病灶，所述局部影像包含由所述病灶引起的结构变异；
融合所述第一特征和所述第二特征得到第三特征；
对所述第三特征进行分类输出最终分类结果；
根据所述最终分类结果训练所述影像分类模型。
2.根据权利要求1所述的训练方法，其特征在于，在所述分别对整体影像和所述整体影像中的局部影像进行特征提取得到第一特征和第二特征之后，还包括：
分别对所述第一特征和所述第二特征进行分类得到第一分类结果和第二分类结果；
根据所述第一分类结果计算第一损失函数；
根据所述第二分类结果计算第二损失函数；
其中，所述根据所述最终分类结果训练所述影像分类模型，包括：
根据所述最终分类结果计算第三损失函数；
根据所述第一损失函数、所述第二损失函数和所述第三损失函数调整所述影像分类模型的参数。
3.根据权利要求1所述的训练方法，其特征在于，所述根据所述第一损失函数、所述第二损失函数和所述第三损失函数调整所述影像分类模型的参数，包括：
根据所述第一损失函数调整所述影像分类模型中对所述整体影像进行特征提取时的第一参数；
根据所述第二损失函数调整所述影像分类模型中对所述局部影像进行特征提取时的第二参数；
根据所述第三损失函数调整所述影像分类模型中对所述第三特征进行分类时的第三参数。
4.根据权利要求2所述的训练方法，其特征在于，所述根据所述第一损失函数、所述第二损失函数和所述第三损失函数调整所述影像分类模型的参数，包括：
对所述第一损失函数、所述第二损失函数和所述第三损失函数进行加权运算，得到加权结果；
根据所述加权结果调整所述影像分类模型的参数。
5.根据权利要求4所述的训练方法，其特征在于，在训练所述影像分类模型过程中，所述第三损失函数对应的权重随着迭代次数的增加而增加。
6.根据权利要求1所述的训练方法，其特征在于，所述分别对整体影像和所述整体影像中的局部影像进行特征提取得到第一特征和第二特征，包括：
采用三维的神经网络分别对整体影像和所述整体影像中的局部影像进行特征提取得到第一特征和第二特征，其中，所述三维的神经网络基于二维的神经网络构建，所述三维的神经网络包括三维的残差网络或三维的生成网络，所述三维的神经网络中卷积层和池化层的维数为3。
7.根据权利要求6所述的训练方法，其特征在于，所述三维的残差网络的神经网络层数为18层。
8.根据权利要求1-7中任一项所述的训练方法，其特征在于，所述整体影像为磁共振成像的脑部影像，所述整体影像中的局部影像为左海马体和/或右海马体的影像，所述最终分类结果为病毒性脑炎、自身免疫性脑炎和健康中的任何一种。
9.一种影像分类模型的训练装置，其特征在于，包括：
特征提取模块，用于分别对整体影像和所述整体影像中的局部影像进行特征提取得到第一特征和第二特征，所述整体影像中除所述局部影像之外的区域具有病灶，所述局部影像包含由所述病灶引起的结构变异；
融合模块，用于融合所述第一特征和所述第二特征得到第三特征；
输出模块，用于对所述第三特征进行分类输出最终分类结果；
训练模块，用于根据所述最终分类结果训练所述影像分类模型。
10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-8中任一项所述的影像分类模型的训练方法。
11.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于执行上述权利要求1-8中任一项所述的影像分类模型的训练方法。
CN202010987247.2A 2020-09-18 2020-09-18 影像分类模型的训练方法及装置、存储介质和电子设备 Active CN112116005B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010987247.2A CN112116005B (zh) 2020-09-18 2020-09-18 影像分类模型的训练方法及装置、存储介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010987247.2A CN112116005B (zh) 2020-09-18 2020-09-18 影像分类模型的训练方法及装置、存储介质和电子设备

Publications (2)

Publication Number Publication Date
CN112116005A true CN112116005A (zh) 2020-12-22
CN112116005B CN112116005B (zh) 2024-01-23

Family

ID=73800808

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010987247.2A Active CN112116005B (zh) 2020-09-18 2020-09-18 影像分类模型的训练方法及装置、存储介质和电子设备

Country Status (1)

Country Link
CN (1) CN112116005B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112749801A (zh) * 2021-01-22 2021-05-04 上海商汤智能科技有限公司 神经网络训练和图像处理方法及装置
CN113080929A (zh) * 2021-04-14 2021-07-09 电子科技大学 一种基于机器学习的抗nmdar脑炎图像特征分类方法
CN114821176A (zh) * 2022-04-28 2022-07-29 浙江大学 一种儿童脑部mr图像病毒性脑炎分类系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002059828A2 (en) * 2001-01-23 2002-08-01 Biowulf Technologies, Llc Computer-aided image analysis
CN106570505A (zh) * 2016-11-01 2017-04-19 北京昆仑医云科技有限公司 对组织病理图像进行分析的方法和系统
CN110321920A (zh) * 2019-05-08 2019-10-11 腾讯科技（深圳）有限公司 图像分类方法、装置、计算机可读存储介质和计算机设备
US20200085382A1 (en) * 2017-05-30 2020-03-19 Arterys Inc. Automated lesion detection, segmentation, and longitudinal identification
KR102108050B1 (ko) * 2019-10-21 2020-05-07 가천대학교 산학협력단 증강 컨볼루션 네트워크를 통한 유방암 조직학 이미지 분류 방법 및 그 장치
CN111539480A (zh) * 2020-04-27 2020-08-14 上海鹰瞳医疗科技有限公司 多类别医学图像识别方法及设备
CN111553420A (zh) * 2020-04-28 2020-08-18 北京邮电大学 一种基于神经网络的x线影像识别方法及装置
US20200265272A1 (en) * 2019-02-19 2020-08-20 Fujitsu Limited Apparatus and method for training classification model and apparatus for performing classification by using classification model

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002059828A2 (en) * 2001-01-23 2002-08-01 Biowulf Technologies, Llc Computer-aided image analysis
CN106570505A (zh) * 2016-11-01 2017-04-19 北京昆仑医云科技有限公司 对组织病理图像进行分析的方法和系统
US20200085382A1 (en) * 2017-05-30 2020-03-19 Arterys Inc. Automated lesion detection, segmentation, and longitudinal identification
US20200265272A1 (en) * 2019-02-19 2020-08-20 Fujitsu Limited Apparatus and method for training classification model and apparatus for performing classification by using classification model
CN110321920A (zh) * 2019-05-08 2019-10-11 腾讯科技（深圳）有限公司 图像分类方法、装置、计算机可读存储介质和计算机设备
KR102108050B1 (ko) * 2019-10-21 2020-05-07 가천대학교 산학협력단 증강 컨볼루션 네트워크를 통한 유방암 조직학 이미지 분류 방법 및 그 장치
CN111539480A (zh) * 2020-04-27 2020-08-14 上海鹰瞳医疗科技有限公司 多类别医学图像识别方法及设备
CN111553420A (zh) * 2020-04-28 2020-08-18 北京邮电大学 一种基于神经网络的x线影像识别方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112749801A (zh) * 2021-01-22 2021-05-04 上海商汤智能科技有限公司 神经网络训练和图像处理方法及装置
CN113080929A (zh) * 2021-04-14 2021-07-09 电子科技大学 一种基于机器学习的抗nmdar脑炎图像特征分类方法
CN114821176A (zh) * 2022-04-28 2022-07-29 浙江大学 一种儿童脑部mr图像病毒性脑炎分类系统

Also Published As

Publication number Publication date
CN112116005B (zh) 2024-01-23

Similar Documents

Publication Publication Date Title
CN112116005A (zh) 影像分类模型的训练方法及装置、存储介质和电子设备
Roy et al. Multiple sclerosis lesion segmentation from brain MRI via fully convolutional neural networks
US20220044009A1 (en) Face verifying method and apparatus
CN107492099B (zh) 医学图像分析方法、医学图像分析系统以及存储介质
US10387714B2 (en) Face verifying method and apparatus
US20220067437A1 (en) Method and system for processing a task with robustness to missing input information
US11195280B2 (en) Progressive and multi-path holistically nested networks for segmentation
US20190392587A1 (en) System for predicting articulated object feature location
Chan et al. A convex analysis framework for blind separation of non-negative sources
CN110349147B (zh) 模型的训练方法、眼底黄斑区病变识别方法、装置及设备
EP2977921B1 (en) Apparatus and method for automatically registering landmarks in three-dimensional medical image
CN110276408B (zh) 3d图像的分类方法、装置、设备及存储介质
US20210233244A1 (en) System and method for image segmentation using a joint deep learning model
CN113728335A (zh) 用于3d图像的分类和可视化的方法和系统
CN110782502B (zh) 基于深度学习的pet散射估计系统和使用感知神经网络模型的方法
WO2021070108A1 (en) Disease detection from weakly annotated volumetric medical images using convolutional long short-term memory
US20200012887A1 (en) Attribute recognition apparatus and method, and storage medium
CN111291817B (zh) 图像识别方法、装置、电子设备和计算机可读介质
US11830187B2 (en) Automatic condition diagnosis using a segmentation-guided framework
Abdelmaguid et al. Left ventricle segmentation and volume estimation on cardiac mri using deep learning
Liu et al. 3d tomographic pattern synthesis for enhancing the quantification of covid-19
CN104573710B (zh) 一种基于潜在空间平滑自表征的子空间聚类方法
CN111081372B (zh) 疾病诊断装置、终端设备及计算机可读存储介质
US11875898B2 (en) Automatic condition diagnosis using an attention-guided framework
WO2014205642A1 (en) Method and apparatus for consistent segmentation of 3d models

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant