CN112633405A - 模型训练方法、医学影像分析方法及装置、设备、介质 - Google Patents

模型训练方法、医学影像分析方法及装置、设备、介质 Download PDF

Info

Publication number
CN112633405A
CN112633405A CN202011611935.5A CN202011611935A CN112633405A CN 112633405 A CN112633405 A CN 112633405A CN 202011611935 A CN202011611935 A CN 202011611935A CN 112633405 A CN112633405 A CN 112633405A
Authority
CN
China
Prior art keywords
medical image
training
model
image analysis
medical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011611935.5A
Other languages
English (en)
Inventor
张先杰
高耀宗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Intelligent Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Intelligent Healthcare Co Ltd filed Critical Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority to CN202011611935.5A priority Critical patent/CN112633405A/zh
Publication of CN112633405A publication Critical patent/CN112633405A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/004Artificial life, i.e. computing arrangements simulating life
    • G06N3/006Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种模型训练方法、医学影像分析方法及装置、设备、介质,基于医学影像的模型训练方法包括:获取多个医学影像并根据所述医学影像获取第一训练数据,所述医学影像具有多个属性,所述第一训练数据对应具有每个属性的类别标签;采用卷积神经网络对所述第一训练数据进行训练,得到用于识别医学影像的属性类别的多任务分类模型。本发明通过对医学影像的多个属性打上标签来训练得到多任务分类模型,从而能够实现通过一个多任务分类模型就可以对医学影像的多个属性类别进行一次性识别,并且本发明中医学影像上的属性标签更容易获取,因此数据量充足,模型训练的效果更好,训练出的多任务分类模型的识别准确率也更高。

Description

模型训练方法、医学影像分析方法及装置、设备、介质
技术领域
本发明涉及图像处理领域,特别涉及一种模型训练方法、医学影像分析方法及装置、设备、介质。
背景技术
现有的很多疾病对其病理属性的研究和鉴别具有非常重要的临床价值,现有针对疾病的病理属性分类方法主要包括以下三类:
1、医学特征学习法,该方法基于病灶影像的临床特征描述和生理数据训练分类器,使用分类器判别病理属性的分类。
2、图像特征学习法,该方法通过获取到的病灶的二值掩模,提取掩模区域的图像特征,根据提取到的图像特征训练分类器,使用分类器来判别病理属性的分类。
3、深度学习法,该方法通过构建深度学习分类网络,并使用带有标签的图像数据训练分类网络,最后使用训练好的分类网络判别病理属性的分类。
但是,现有的病理属性分类方法都需要带有病理属性标签的训练数据,而这种数据的量相对较少,导致训练的效果一般;并且,现有的分类方法基本都是围绕训练数据和病理属性分类的直接对应关系来进行的,导致训练出的模型应用场景和应用范围过于固化和单一,无法对病灶影像数据作进一步的分析和利用。
发明内容
本发明要解决的技术问题是为了克服现有技术中病理属性分类方法训练数据量较少导致训练的效果一般且训练出的模型应用场景和应用范围过于固化和单一的缺陷,提供一种模型训练方法、医学影像分析方法及装置、设备、介质。
本发明是通过下述技术方案来解决上述技术问题:
本发明提供了一种基于医学影像的模型训练方法,包括以下步骤:
获取多个医学影像并根据所述医学影像获取第一训练数据,所述医学影像具有多个属性,所述第一训练数据对应具有每个属性的类别标签;
采用卷积神经网络对所述第一训练数据进行训练,得到用于识别医学影像的属性类别的多任务分类模型。
较佳地,所述医学影像为病灶的医学影像;和/或,
所述医学影像为3D医学影像或2D医学影像;和/或,
若所述医学影像为肺结节的CT影像,则所述属性包括密度、形状、边缘、毛刺、分叶、空泡、胸膜凹陷、棘状突起、血管集束、脂肪、钙化、充气支气管、空洞中的至少一种;和/或,
所述卷积神经网络具有不同属性类别共用的一个全连接层或具有与多个属性类别分别对应的多个全连接层;和/或,
所述模型训练方法还包括:对第一训练数据进行复制并且对复制后的第一训练数据进行数据增强处理。
本发明还提供了一种医学影像分析模型的训练方法,包括:
获取多个医学影像并根据所述医学影像获取第二训练数据,所述第二训练数据包括通过多任务分类模型提取的医学影像的特征,所述多任务分类模型利用上述的模型训练方法训练得到;
采用机器学习算法对所述第二训练数据进行训练,得到医学影像分析模型。
较佳地,所述第二训练数据还包括影像组学特征和临床特征中的至少一种;和/或,
所述通过多任务分类模型提取的医学影像的特征包括:通过多任务分类模型的卷积层和/或共用的全连接层提取的特征;和/或,
所述训练方法还包括:对所述第二训练数据进行预处理;和/或,
所述机器学习算法为神经网络、支持向量机或随机森林算法;和/或,
所述医学影像分析模型包括病理属性分类模型。
本发明还提供了一种医学影像分析方法,包括:
获取待分析的医学影像;
将所述医学影像输入医学影像分析模型中,得到分析结果,所述分析结果基于所述医学影像的特征分析得出;
其中,所述医学影像分析模型利用上述的医学影像分析模型的训练方法训练得到。
本发明还提供了一种基于医学影像的模型训练装置,包括:
第一获取模块,用于获取多个医学影像并根据所述医学影像获取第一训练数据,所述医学影像具有多个属性,所述第一训练数据对应具有每个属性的类别标签;
第一训练模块,用于采用卷积神经网络对所述第一训练数据进行训练,得到用于识别医学影像的属性类别的多任务分类模型。
较佳地,所述医学影像为病灶的医学影像;和/或,
所述医学影像为3D医学影像或2D医学影像;和/或,
若所述医学影像为肺结节的CT影像,则所述属性包括密度、形状、边缘、毛刺、分叶、空泡、胸膜凹陷、棘状突起、血管集束、脂肪、钙化、充气支气管、空洞中的至少一种;和/或,
所述卷积神经网络具有不同属性类别共用的一个全连接层或具有与多个属性类别分别对应的多个全连接层;和/或,
所述模型训练装置还包括:数据增强模块,用于对第一训练数据进行复制并且对复制后的第一训练数据进行数据增强处理。
本发明还提供了一种医学影像分析模型的训练装置,包括:
医学影像获取模块,用于获取多个医学影像并根据所述医学影像获取第二训练数据,所述第二训练数据包括通过多任务分类模型提取的医学影像的特征,所述多任务分类模型利用上述的模型训练装置训练得到;
模型训练模块,用于采用机器学习算法对所述第二训练数据进行训练,得到医学影像分析模型。
较佳地,所述第二训练数据还包括影像组学特征和临床特征中的至少一种;和/或,
所述通过多任务分类模型提取的医学影像的特征包括:通过多任务分类模型的卷积层和/或共用的全连接层提取的特征;和/或,
所述训练方法还包括:对所述第二训练数据进行预处理;和/或,
所述机器学习算法为神经网络、支持向量机或随机森林算法;和/或,
所述医学影像分析模型包括病理属性分类模型。
本发明还提供了一种医学影像分析装置,包括:
数据获取模块,用于获取待分析的医学影像;
分析模块,用于将所述医学影像输入医学影像分析模型中,得到分析结果,所述分析结果基于所述医学影像的特征分析得出;
其中,所述医学影像分析模型利用上述的医学影像分析模型的训练装置训练得到。
本发明还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述的基于医学影像的模型训练方法,或实现上述的医学影像分析模型的训练方法,或实现上述的医学影像分析方法。
本发明还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述的基于医学影像的模型训练方法的步骤,或实现上述的医学影像分析模型的训练方法的步骤,或实现上述的医学影像分析方法的步骤。
本发明的积极进步效果在于:本发明通过对医学影像的多个属性打上标签来训练得到多任务分类模型,从而能够实现通过一个多任务分类模型就可以对医学影像的多个属性类别进行一次性识别,并且本发明中医学影像上的属性标签相比于现有技术中医学影像的病理分类标签更容易获取,因此数据量充足,从而模型训练的效果更好,训练出的多任务分类模型的识别准确率与对医学影像的各个属性单独构建分类模型所能达到的准确率处于同一水平;另外,基于本发明训练得到的多任务分类模型的全连接层之前的卷积层或者共用的全连接层能够提取医学影像的特征,该特征同时具有较高的语义性和良好的泛化表征能力,能够很好地反映医学影像在多方面的特性,具有更加丰富的属性表示,从而使得该特征的应用更加广泛,而并不局限于病理属性的分类。
附图说明
图1为本发明实施例1的基于医学影像的模型训练方法的流程图。
图2为本发明实施例2的医学影像分析模型的训练方法的流程图。
图3为本发明实施例3的医学影像分析方法的流程图。
图4为本发明实施例4的基于医学影像的模型训练装置的模块示意图。
图5为本发明实施例5的医学影像分析模型的训练装置的模块示意图。
图6为本发明实施例6的医学影像分析装置的模块示意图。
图7为本发明实施例7的电子设备的结构示意图。
具体实施方式
下面通过实施例的方式进一步说明本发明,但并不因此将本发明限制在所述的实施例范围之中。
实施例1
本实施例提供了一种基于医学影像的模型训练方法,如图1所示,包括以下步骤:
步骤101、获取多个医学影像并根据所述医学影像获取第一训练数据,所述医学影像具有多个属性,所述第一训练数据对应具有每个属性的类别标签;
步骤102、采用卷积神经网络对所述第一训练数据进行训练,得到用于识别医学影像的属性类别的多任务分类模型。
在步骤101中,所述医学影像具体可以为病灶的医学影像,例如可以是肺结节的医学影像、乳腺肿瘤的医学影像、脑肿瘤的医学影像等,当然本领域技术人员应当理解,本发明的所述医学影像并不限于此,只要是能够从中提取多个属性的医学影像都可以;另外,所述医学影像可以为3D医学影像或2D医学影像,具体的3D医学影像可以是CT影像、MRI影像、超声影像等,具体的2D医学影像可以是X光影像、利用显微镜对病理切片进行观察的成像等;
在步骤101中会根据医学影像来获取第一训练数据,具体是根据医学影像自带的属性来获取,与传统的医学影像训练数据相比,传统的医学影像训练数据基本都要求带有病理属性标签,这就需要提前获知医学影像所表征的实际病理(即是否有疾病、具体是什么疾病等),这种传统训练数据必须要经过医院及医生的详细检查、诊断之后才能打上病理标签,因此从模型训练的角度来说数据量是非常少的;而在本实施例中,所述第一训练数据仅依赖医学影像自带的属性即可获取,并不需要对医学影像打上病理标签,并且相应的属性可以直接通过观察影像数据就可以确定各个属性的分布,因此,本实施例的第一训练数据更加容易获取、数据量也更多。
并且,对于医学影像所自带的属性,本领域技术人员可以根据实际需要进行相应的属性类别定义和选取,即同一个医学影像在不同情况下可具有不同的多个属性,例如,对于同一个肺结节的医学影像,考虑的属性可包括密度、形状和边缘,或包括密度、形状和毛刺,具体到底包括哪些属性以及每个属性的定义可根据需要进行设置;并且对于同一属性也可以根据实际需要进行不同的类别划分,例如,对于肺结节的医学影像,对于形状这一属性,可以分为圆形、半圆形和不规则这三类,也可以分为圆形和非圆形这两类;从而本实施例的第一训练数据可塑性更强、后续用途也更加广泛。
在本实施例中,模型训练方法所针对的医学影像具体可以为肺结节的CT影像,具体属性可以包括密度、形状、边缘、毛刺、分叶、空泡、胸膜凹陷、棘状突起、血管集束、脂肪、钙化、充气支气管、空洞中的至少一种,而如上所述,具体选择哪几个属性或者选择全部的属性可以根据实际需要设置;当然,对于每个属性,其具体可分为几个类别也可以根据实际需要进行设置。
而所述第一训练数据具体可以包括样本医学图像和金标准,在具体针对肺结节的医学影像时,相应的第一训练数据具体可以仅包括肺结节的切片或同时包括肺结节的切片及对应肺结节的二值掩摸,其中,若医学影像为3D医学影像则对应切片为3D切片、若为2D医学影像则对应的切片为2D切片,具体可根据肺结节的中心点进行第一训练数据的提取;而为了进一步增加训练数据量,所述模型训练方法还可以包括:对第一训练数据进行复制并且对复制后的第一训练数据进行数据增强处理,具体的数据增强处理措施可包括旋转、缩放、畸变和添加噪声等,从而可以通过增加训练数据量来提升训练效果。另外,可以采用与获取训练数据相同的手段来获取测试数据,所述测试数据用于验证模型训练的效果。
而在步骤102中,若医学影像为3D医学影像,则优选所述卷积神经网络为3D卷积神经网络,如3D Resnet网络,而卷积神经网络的全连接层可以设置为一个或多个,若设置为一个,则表示所述医学影像的多个不同属性共用该一个全连接层;若设置为多个,则所述医学影像的多个不同属性可分别对应一个全连接层,或一部分属性共用一个全连接层、另外一部分属性分别对应一个全连接层(例如,对于多个属性包括A、B、C、D、E、F,可以A、B共用一个全连接层,C、D共用一个全连接层,E和F每个分别对应一个全连接层,也可以A、B、C共用一个全连接层,D、E和F每个分别对应一个全连接层,具体可根据实际需要进行属性和全连接层的对应关系的设置)。
在步骤102的具体训练过程中,若针对的是肺结节的3D医学影像(如CT影像),则优选将3D切片与其二值掩膜数据作为双通道输入进行训练,并在训练过程中计算所述多任务分类模型输出的多个属性的类别与属性对应标签值的损失,并以此更新网络参数直至满足训练要求。
另外,优选地,本实施例在步骤102之后还可以包括:
步骤103、通过训练出的所述多任务分类模型提取医学影像的特征,具体地,若卷积神经网络的全连接层设置为一个,则可通过共用的全连接层来提取特征或通过全连接层之前的卷积层来提取特征(卷积层优选为全连接层之前的前一个或前两个卷积层),若卷积神经网络的全连接层设置为多个,则可通过全连接层之前的卷积层来提取特征(卷积层优选为全连接层之前的前一个或前两个卷积层)。
本实施例通过对医学影像的多个属性打上标签来训练得到多任务分类模型,从而能够实现通过一个多任务分类模型就可以对医学影像的多个属性类别进行一次性识别,并且本实施例中医学影像上的属性标签相比于现有技术中医学影像的病理分类标签更容易获取,因此数据量充足,从而模型训练的效果更好,训练出的多任务分类模型的识别准确率与对医学影像的各个属性单独构建分类模型所能达到的准确率处于同一水平。
另外,由于不同属性共用同一个卷积特征提取网络,基于本实施例训练得到的多任务分类模型的全连接层之前的卷积层或者共用的全连接层能够提取医学影像的丰富的多维度特征,该特征同时具有较高的语义性和良好的泛化表征能力,能够很好地反映医学影像在多方面的特性,具有更加丰富的属性表示,从而使得该特征的应用更加广泛,而并不局限于病理属性的分类。
实施例2
本实施例提供了一种医学影像分析模型的训练方法,如图2所示,包括:
步骤201、获取多个第二医学影像并根据所述第二医学影像获取第二训练数据,所述第二训练数据包括通过多任务分类模型提取的第二医学影像的特征,所述多任务分类模型具体利用实施例1的模型训练方法训练得到;
步骤202、采用机器学习算法对所述第二训练数据进行训练,得到医学影像分析模型。
本领域技术人员应当理解,实施例1中对医学影像的各种限定同样适用于本实施例中的第二医学影像,此处“第二”仅仅为了从字面上与实施例1中的医学影像进行区分,并不具有其他的特殊含义,其保护范围也不受“第二”的描述所限制;
本实施例的训练方法基于实施例1训练出的多任务分类模型而实现,具体地,在步骤201中会通过实施例1训练出的多任务分类模型对第二医学影像进行处理来提取属性特征,而提取特征的操作步骤具体可参见实施例1中步骤103的描述,在此就不再赘述;
另外优选地,所述第二训练数据除了可包括属性特征之外,还可以包括影像组学特征和临床特征中的至少一种,即所述属性特征可以单独使用,也可以和影像组学特征、临床特征等其他类型的特征进行组合使用。
在本实施例的具体实施过程中,在获取第二训练数据之后,同样可以通过与实施例1中相同的数据增强处理措施来增加训练数据量,并且还可以对第二训练数据进行一定的预处理,包括标准化、特征选择、正则化、特征降维等,而所述机器学习算法可以为神经网络、支持向量机或随机森林算法等;
具体的医学影像分析模型则可以根据实际需要进行设置,具体可以将想要通过医学影像分析出的结果作为主要考虑对象,例如,想要通过医学影像分析出其所表征的病理情况及分类,则所述医学影像分析模型具体可以为病理属性分类模型,当然也可以根据其他想要的结果来训练得到对应的其他模型,具体实践中只需要在第二训练数据中打上相应的标签即可。
从而在本实施例中,利用多任务分类模型所提取出的医学影像的属性特征来获取第二训练数据,由于该属性特征具有高语义性的特征表示,能够反映医学影像在多方面的特性,从而可以通过该属性特征训练得到各种与医学影像的各个属性相关联的医学影像分析模型,具体可以涉及到医学影像的各个属性、各个方面,从而本实施例的训练方法应用范围非常广泛,利用多任务分类模型所提取出的医学影像的属性特征来进行的训练,其能够显著提高训练的效果,以病理属性分类模型为例,本实施例的训练方法训练出的病理属性分类模型其分类准确率得到显著提高。
实施例3
本实施例提供了一种医学影像分析方法,如图3所示,包括:
步骤301、获取待分析的第三医学影像;
步骤302、将所述第三医学影像输入医学影像分析模型中,得到分析结果,所述分析结果基于所述医学影像的特征分析得出;
其中,所述医学影像分析模型利用实施例2所述的医学影像分析模型的训练方法训练得到。
本领域技术人员应当理解,实施例1中对医学影像的各种限定同样适用于本实施例中的第三医学影像,此处“第三”仅仅为了从字面上与实施例1中的医学影像以及实施例2中的第二医学影像进行区分,并不具有其他的特殊含义,其保护范围也不受“第三”的描述所限制;
本实施例的医学影像分析方法基于实施例2训练出的医学影像分析模型而实现,因此,实施例2中对医学影像分析模型的各种限定同样适用于本实施例;
通过本实施例的医学影像分析方法就可以对待分析的第三医学影像进行一个精准的预测和分析,例如,假设训练出的医学影像分析模型为病理属性分类模型,则通过本实施例就可以对待分析的第三医学影像所表征的病理属性进行准确预测和分类。
实施例4
本实施例提供了一种基于医学影像的模型训练装置,如图4所示,包括:
第一获取模块41,用于获取多个医学影像并根据所述医学影像获取第一训练数据,所述医学影像具有多个属性,所述第一训练数据对应具有每个属性的类别标签;
第一训练模块42,用于采用卷积神经网络对所述第一训练数据进行训练,得到用于识别医学影像的属性类别的多任务分类模型。
其中,所述医学影像具体可以为病灶的医学影像,例如可以是肺结节的医学影像、乳腺肿瘤的医学影像、脑肿瘤的医学影像等,当然本领域技术人员应当理解,本发明的所述医学影像并不限于此,只要是能够从中提取多个属性的医学影像都可以;另外,所述医学影像可以为3D医学影像或2D医学影像,具体的3D医学影像可以是CT影像、MRI影像、超声影像等,具体的2D医学影像可以是X光影像、利用显微镜对病理切片进行观察的成像等;
所述第一获取模块41会根据医学影像来获取第一训练数据,具体是根据医学影像自带的属性来获取,与传统的医学影像训练数据相比,传统的医学影像训练数据基本都要求带有病理属性标签,这就需要提前获知医学影像所表征的实际病理(即是否有疾病、具体是什么疾病等),这种传统训练数据必须要经过医院及医生的详细检查、诊断之后才能打上病理标签,因此从模型训练的角度来说数据量是非常少的;而在本实施例中,所述第一训练数据仅依赖医学影像自带的属性即可获取,并不需要对医学影像打上病理标签,并且相应的属性可以直接通过观察影像数据就可以确定各个属性的分布,因此,本实施例的第一训练数据更加容易获取、数据量也更多。
并且,对于医学影像所自带的属性,本领域技术人员可以根据实际需要进行相应的属性类别定义和选取,即同一个医学影像在不同情况下可具有不同的多个属性,例如,对于同一个肺结节的医学影像,考虑的属性可包括密度、形状和边缘,或包括密度、形状和毛刺,具体到底包括哪些属性以及每个属性的定义可根据需要进行设置;并且对于同一属性也可以根据实际需要进行不同的类别划分,例如,对于肺结节的医学影像,对于形状这一属性,可以分为圆形、半圆形和不规则这三类,也可以分为圆形和非圆形这两类;从而本实施例的第一训练数据可塑性更强、后续用途也更加广泛。
在本实施例中,模型训练装置所针对的医学影像具体可以为肺结节的CT影像,具体属性可以包括密度、形状、边缘、毛刺、分叶、空泡、胸膜凹陷、棘状突起、血管集束、脂肪、钙化、充气支气管、空洞中的至少一种,而如上所述,具体选择哪几个属性或者选择全部的属性可以根据实际需要设置;当然,对于每个属性,其具体可分为几个类别也可以根据实际需要进行设置。
而所述第一训练数据具体可以包括样本医学图像和金标准,在具体针对肺结节的医学影像时,相应的第一训练数据具体可以仅包括肺结节的切片或同时包括肺结节的切片及对应肺结节的二值掩摸,其中,若医学影像为3D医学影像则对应切片为3D切片、若为2D医学影像则对应的切片为2D切片,具体可根据肺结节的中心点进行第一训练数据的提取;而为了进一步增加训练数据量,所述模型训练装置还可以包括:数据增强模块43,对第一训练数据进行复制并且对复制后的第一训练数据进行数据增强处理,具体的数据增强处理措施可包括旋转、缩放、畸变和添加噪声等,从而可以通过增加训练数据量来提升训练效果。另外,可以采用与获取训练数据相同的手段来获取测试数据,所述测试数据用于验证模型训练的效果。
若医学影像为3D医学影像,则优选所述卷积神经网络为3D卷积神经网络,如3DResnet网络,而卷积神经网络的全连接层可以设置为一个或多个,若设置为一个,则表示所述医学影像的多个不同属性共用该一个全连接层,若设置为多个,则所述医学影像的多个不同属性可分别对应一个全连接层,或一部分属性共用一个全连接层、另外一部分属性分别对应一个全连接层(例如,对于多个属性包括A、B、C、D、E、F,可以A、B共用一个全连接层,C、D共用一个全连接层,E和F每个分别对应一个全连接层,也可以A、B、C共用一个全连接层,D、E和F每个分别对应一个全连接层,具体可根据实际需要进行属性和全连接层的对应关系的设置)。
在所述第一训练模块42的具体训练过程中,若针对的是肺结节的3D医学影像(如CT影像),则优选将3D切片与其二值掩膜数据作为双通道输入进行训练,并在训练过程中计算所述多任务分类模型输出的多个属性的类别与属性对应标签值的损失,并以此更新网络参数直至满足训练要求。
另外,优选地,本实施例的模型训练装置还可以包括:
特征提取模块44,用于通过训练出的所述多任务分类模型提取医学影像的特征,具体地,若卷积神经网络的全连接层设置为一个,则可通过共用的全连接层来提取特征或通过全连接层之前的卷积层来提取特征(卷积层优选为全连接层之前的前一个或前两个卷积层),若卷积神经网络的全连接层设置为多个,则可通过全连接层之前的卷积层来提取特征(卷积层优选为全连接层之前的前一个或前两个卷积层)。
本实施例通过对医学影像的多个属性打上标签来训练得到多任务分类模型,从而能够实现通过一个多任务分类模型就可以对医学影像的多个属性类别进行一次性识别,并且本实施例中医学影像上的属性标签相比于现有技术中医学影像的病理分类标签更容易获取,因此数据量充足,从而模型训练的效果更好,训练出的多任务分类模型的识别准确率与对医学影像的各个属性单独构建分类模型所能达到的准确率处于同一水平。
另外,由于不同属性共用同一个卷积特征提取网络,基于本实施例训练得到的多任务分类模型的全连接层之前的卷积层或者共用的全连接层能够提取医学影像的丰富的多维度特征,该特征同时具有较高的语义性和良好的泛化表征能力,能够很好地反映医学影像在多方面的特性,具有更加丰富的属性表示,从而使得该特征的应用更加广泛,而并不局限于病理属性的分类。
实施例5
本实施例提供了一种医学影像分析模型的训练装置,如图5所示,包括:
医学影像获取模块51,用于获取多个第二医学影像并根据所述第二医学影像获取第二训练数据,所述第二训练数据包括通过多任务分类模型提取的医学影像的特征,所述多任务分类模型利用实施例4的模型训练装置训练得到;
模型训练模块52,用于采用机器学习算法对所述第二训练数据进行训练,得到医学影像分析模型。
本领域技术人员应当理解,实施例4中对医学影像的各种限定同样适用于本实施例中的第二医学影像,此处“第二”仅仅为了从字面上与实施例4中的医学影像进行区分,并不具有其他的特殊含义,其保护范围也不受“第二”的描述所限制;
本实施例的训练装置基于实施例4训练出的多任务分类模型而实现,具体地,所述医学影像获取模块51会通过实施例4练出的多任务分类模型对第二医学影像进行处理来提取属性特征,而提取特征的操作具体可参见实施例4中对特征提取模块44的描述,在此就不再赘述;
另外优选地,所述第二训练数据除了可包括属性特征之外,还可以包括影像组学特征和临床特征中的至少一种,即所述属性特征可以单独使用,也可以和影像组学特征、临床特征等其他类型的特征进行组合使用。
在本实施例的具体实施过程中,在获取第二训练数据之后,同样可以通过与实施例4中相同的数据增强处理措施来增加训练数据量,并且还可以对第二训练数据进行一定的预处理,包括标准化、特征选择、正则化、特征降维等,而所述机器学习算法可以为神经网络、支持向量机或随机森林算法等;
具体的医学影像分析模型则可以根据实际需要进行设置,具体可以将想要通过医学影像分析出的结果作为主要考虑对象,例如,想要通过医学影像分析出其所表征的病理情况及分类,则所述医学影像分析模型具体可以为病理属性分类模型,当然也可以根据其他想要的结果来训练得到对应的其他模型,具体实践中只需要在第二训练数据中打上相应的标签即可。
从而在本实施例中,利用多任务分类模型所提取出的医学影像的属性特征来获取第二训练数据,由于该属性特征具有高语义性的特征表示,能够反映医学影像在多方面的特性,从而可以通过该属性特征训练得到各种与医学影像的各个属性相关联的医学影像分析模型,具体可以涉及到医学影像的各个属性、各个方面,从而本实施例的训练方法应用范围非常广泛,利用多任务分类模型所提取出的医学影像的属性特征来进行的训练,其能够显著提高训练的效果,以病理属性分类模型为例,本实施例的训练装置训练出的病理属性分类模型其分类准确率得到显著提高。
实施例6
本实施例提供了一种医学影像分析装置,如图6所示,包括:
数据获取模块61,用于获取待分析的第三医学影像;
分析模块62,用于将所述第三医学影像输入医学影像分析模型中,得到分析结果,所述分析结果基于所述医学影像的特征分析得出;
其中,所述医学影像分析模型利用实施例5的医学影像分析模型的训练装置训练得到。
本领域技术人员应当理解,实施例4中对医学影像的各种限定同样适用于本实施例中的第三医学影像,此处“第三”仅仅为了从字面上与实施例4中的医学影像以及实施例5中的第二医学影像进行区分,并不具有其他的特殊含义,其保护范围也不受“第三”的描述所限制;
本实施例的医学影像分析装置基于实施例5训练出的医学影像分析模型而实现,因此,实施例5中对医学影像分析模型的各种限定同样适用于本实施例;
通过本实施例的医学影像分析装置就可以对待分析的第三医学影像进行一个精准的预测和分析,例如,假设训练出的医学影像分析模型为病理属性分类模型,则通过本实施例就可以对待分析的第三医学影像所表征的病理属性进行准确预测和分类。
实施例7
本发明实施例提供了一种电子设备,电子设备可以通过计算设备的形式表现(例如可以为服务器设备),包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中处理器执行计算机程序时可以实现本发明实施例1中的基于医学影像的模型训练方法,或实现实施例2中的医学影像分析模型的训练方法,或实现实施例3中的医学影像分析方法。
图7示出了本实施例的硬件结构示意图,如图7所示,电子设备9具体包括:
至少一个处理器91、至少一个存储器92以及用于连接不同系统组件(包括处理器91和存储器92)的总线93,其中:
总线93包括数据总线、地址总线和控制总线。
存储器92包括易失性存储器,例如随机存取存储器(RAM)921和/或高速缓存存储器922,还可以进一步包括只读存储器(ROM)923。
存储器92还包括具有一组(至少一个)程序模块924的程序/实用工具925,这样的程序模块924包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
处理器91通过运行存储在存储器92中的计算机程序,从而执行各种功能应用以及数据处理,例如本发明实施例1中的基于医学影像的模型训练方法,或实现实施例2中的医学影像分析模型的训练方法,或实现实施例3中的医学影像分析方法。
电子设备9进一步可以与一个或多个外部设备94(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口95进行。并且,电子设备9还可以通过网络适配器96与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。网络适配器96通过总线93与电子设备9的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备9使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
应当注意,尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块,但是这种划分仅仅是示例性的并非强制性的。实际上,根据本申请的实施方式,上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之,上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
实施例8
本发明实施例提供了一种计算机可读存储介质,其上存储有计算机程序,程序被处理器执行时实现本发明实施例1中的基于医学影像的模型训练方法的步骤,或实现实施例2中的医学影像分析模型的训练方法的步骤,或实现实施例3中的医学影像分析方法的步骤。
其中,可读存储介质可以采用的更具体可以包括但不限于:便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
在可能的实施方式中,本发明还可以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在终端设备上运行时,所述程序代码用于使所述终端设备执行实现本发明实施例1中的基于医学影像的模型训练方法的步骤,或实现实施例2中的医学影像分析模型的训练方法的步骤,或实现实施例3中的医学影像分析方法的步骤。
其中,可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码,所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
虽然以上描述了本发明的具体实施方式,但是本领域的技术人员应当理解,这仅是举例说明,本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下,可以对这些实施方式做出多种变更或修改,但这些变更和修改均落入本发明的保护范围。

Claims (10)

1.一种基于医学影像的模型训练方法,其特征在于,包括以下步骤:
获取多个医学影像并根据所述医学影像获取第一训练数据,所述医学影像具有多个属性,所述第一训练数据对应具有每个属性的类别标签;
采用卷积神经网络对所述第一训练数据进行训练,得到用于识别医学影像的属性类别的多任务分类模型。
2.如权利要求1所述的基于医学影像的模型训练方法,其特征在于,
所述医学影像为病灶的医学影像;和/或,
所述医学影像为3D医学影像或2D医学影像;和/或,
若所述医学影像为肺结节的CT影像,则所述属性包括密度、形状、边缘、毛刺、分叶、空泡、胸膜凹陷、棘状突起、血管集束、脂肪、钙化、充气支气管、空洞中的至少一种;和/或,
所述卷积神经网络具有不同属性类别共用的一个全连接层或具有与多个属性类别分别对应的多个全连接层;和/或,
所述模型训练方法还包括:对第一训练数据进行复制并且对复制后的第一训练数据进行数据增强处理。
3.一种医学影像分析模型的训练方法,其特征在于,包括:
获取多个医学影像并根据所述医学影像获取第二训练数据,所述第二训练数据包括通过多任务分类模型提取的医学影像的特征,所述多任务分类模型利用如权利要求1或2所述的模型训练方法训练得到;
采用机器学习算法对所述第二训练数据进行训练,得到医学影像分析模型。
4.如权利要求3所述的医学影像分析模型的训练方法,其特征在于,
所述第二训练数据还包括影像组学特征和临床特征中的至少一种;和/或,
所述通过多任务分类模型提取的医学影像的特征包括:通过多任务分类模型的卷积层和/或共用的全连接层提取的特征;和/或,
所述训练方法还包括:对所述第二训练数据进行预处理;和/或,
所述机器学习算法为神经网络、支持向量机或随机森林算法;和/或,
所述医学影像分析模型包括病理属性分类模型。
5.一种医学影像分析方法,其特征在于,包括:
获取待分析的医学影像;
将所述医学影像输入医学影像分析模型中,得到分析结果,所述分析结果基于所述医学影像的特征分析得出;
其中,所述医学影像分析模型利用如权利要求3或4所述的医学影像分析模型的训练方法训练得到。
6.一种基于医学影像的模型训练装置,其特征在于,包括:
第一获取模块,用于获取多个医学影像并根据所述医学影像获取第一训练数据,所述医学影像具有多个属性,所述第一训练数据对应具有每个属性的类别标签;
第一训练模块,用于采用卷积神经网络对所述第一训练数据进行训练,得到用于识别医学影像的属性类别的多任务分类模型。
7.一种医学影像分析模型的训练装置,其特征在于,包括:
医学影像获取模块,用于获取多个医学影像并根据所述医学影像获取第二训练数据,所述第二训练数据包括通过多任务分类模型提取的医学影像的特征,所述多任务分类模型利用如权利要求6所述的模型训练装置训练得到;
模型训练模块,用于采用机器学习算法对所述第二训练数据进行训练,得到医学影像分析模型。
8.一种医学影像分析装置,其特征在于,包括:
数据获取模块,用于获取待分析的医学影像;
分析模块,用于将所述医学影像输入医学影像分析模型中,得到分析结果,所述分析结果基于所述医学影像的特征分析得出;
其中,所述医学影像分析模型利用如权利要求7所述的医学影像分析模型的训练装置训练得到。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1或2所述的基于医学影像的模型训练方法,或实现如权利要求3或4所述的医学影像分析模型的训练方法,或实现如权利要求5所述的医学影像分析方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1或2所述的基于医学影像的模型训练方法的步骤,或实现如权利要求3或4所述的医学影像分析模型的训练方法的步骤,或实现如权利要求5所述的医学影像分析方法的步骤。
CN202011611935.5A 2020-12-30 2020-12-30 模型训练方法、医学影像分析方法及装置、设备、介质 Pending CN112633405A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011611935.5A CN112633405A (zh) 2020-12-30 2020-12-30 模型训练方法、医学影像分析方法及装置、设备、介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011611935.5A CN112633405A (zh) 2020-12-30 2020-12-30 模型训练方法、医学影像分析方法及装置、设备、介质

Publications (1)

Publication Number Publication Date
CN112633405A true CN112633405A (zh) 2021-04-09

Family

ID=75287074

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011611935.5A Pending CN112633405A (zh) 2020-12-30 2020-12-30 模型训练方法、医学影像分析方法及装置、设备、介质

Country Status (1)

Country Link
CN (1) CN112633405A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113436726A (zh) * 2021-06-29 2021-09-24 南开大学 一种基于多任务分类的肺部病理音自动化分析方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446782A (zh) * 2016-08-29 2017-02-22 北京小米移动软件有限公司 图像识别方法及装置
CN108171692A (zh) * 2017-12-26 2018-06-15 安徽科大讯飞医疗信息技术有限公司 一种肺部影像检索方法及装置
CN109949275A (zh) * 2019-02-26 2019-06-28 中山大学肿瘤防治中心 一种上消化道内镜图像的诊断方法及装置
CN110348522A (zh) * 2019-07-12 2019-10-18 创新奇智(青岛)科技有限公司 一种图像检测识别方法及系统、电子设备、图像分类网络优化方法及系统
CN110580460A (zh) * 2019-08-28 2019-12-17 西北工业大学 基于行人身份和属性特征联合识别验证的行人再识别方法
CN110931112A (zh) * 2019-12-05 2020-03-27 电子科技大学中山学院 一种基于多维信息融合和深度学习的脑部医学影像分析方法
CN110956610A (zh) * 2019-10-31 2020-04-03 广州市番禺区中心医院(广州市番禺区人民医院、广州市番禺区心血管疾病研究所) 基于稀疏表示的下肢深静脉血栓溶栓疗效预测方法及系统
CN111814868A (zh) * 2020-07-03 2020-10-23 苏州动影信息科技有限公司 一种基于影像组学特征选择的模型、构建方法和应用
CN112132917A (zh) * 2020-08-27 2020-12-25 盐城工学院 一种直肠癌淋巴结转移的智能诊断方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446782A (zh) * 2016-08-29 2017-02-22 北京小米移动软件有限公司 图像识别方法及装置
CN108171692A (zh) * 2017-12-26 2018-06-15 安徽科大讯飞医疗信息技术有限公司 一种肺部影像检索方法及装置
CN109949275A (zh) * 2019-02-26 2019-06-28 中山大学肿瘤防治中心 一种上消化道内镜图像的诊断方法及装置
CN110348522A (zh) * 2019-07-12 2019-10-18 创新奇智(青岛)科技有限公司 一种图像检测识别方法及系统、电子设备、图像分类网络优化方法及系统
CN110580460A (zh) * 2019-08-28 2019-12-17 西北工业大学 基于行人身份和属性特征联合识别验证的行人再识别方法
CN110956610A (zh) * 2019-10-31 2020-04-03 广州市番禺区中心医院(广州市番禺区人民医院、广州市番禺区心血管疾病研究所) 基于稀疏表示的下肢深静脉血栓溶栓疗效预测方法及系统
CN110931112A (zh) * 2019-12-05 2020-03-27 电子科技大学中山学院 一种基于多维信息融合和深度学习的脑部医学影像分析方法
CN111814868A (zh) * 2020-07-03 2020-10-23 苏州动影信息科技有限公司 一种基于影像组学特征选择的模型、构建方法和应用
CN112132917A (zh) * 2020-08-27 2020-12-25 盐城工学院 一种直肠癌淋巴结转移的智能诊断方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
邢甜甜: "基于卷积神经网络的舌象模式分类研究", 《中国优秀硕士学位论文全文数据库医药卫生科技辑》, vol. 2019, no. 05, pages 4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113436726A (zh) * 2021-06-29 2021-09-24 南开大学 一种基于多任务分类的肺部病理音自动化分析方法
CN113436726B (zh) * 2021-06-29 2022-03-04 南开大学 一种基于多任务分类的肺部病理音自动化分析方法

Similar Documents

Publication Publication Date Title
Tran et al. Computational radiology in breast cancer screening and diagnosis using artificial intelligence
Sharma et al. Bone cancer detection using feature extraction based machine learning model
US10339653B2 (en) Systems, methods and devices for analyzing quantitative information obtained from radiological images
CN112070119B (zh) 超声切面图像质量控制方法、装置和计算机设备
US8335359B2 (en) Systems, apparatus and processes for automated medical image segmentation
CN109460756B (zh) 医学影像处理方法、装置、电子设备及计算机可读介质
CN112365980A (zh) 脑肿瘤多靶点辅助诊断与前瞻性治疗演化可视化方法及系统
KR20180022607A (ko) 다양한 측정으로부터의 의료 측정 데이터에 기초한 결과 데이터의 결정
US20220392619A1 (en) Information processing apparatus, method, and program
WO2021112141A1 (ja) 文書作成支援装置、方法およびプログラム
CN110648318A (zh) 用于皮肤病的辅助分析方法及装置、电子设备、存储介质
Zhai et al. Automatic quantitative analysis of pulmonary vascular morphology in CT images
CN115564756A (zh) 医学图像病灶定位显示方法与系统
Irene et al. Segmentation and approximation of blood volume in intracranial hemorrhage patients based on computed tomography scan images using deep learning method
Rani et al. Radon transform-based improved single seeded region growing segmentation for lung cancer detection using AMPWSVM classification approach
WO2021107099A1 (ja) 文書作成支援装置、文書作成支援方法及びプログラム
WO2021193548A1 (ja) 文書作成支援装置、方法およびプログラム
CN112633405A (zh) 模型训练方法、医学影像分析方法及装置、设备、介质
US20240331861A1 (en) Method and system for predicting histopathology of lesions
Malinda et al. Lumbar vertebrae synthetic segmentation in computed tomography images using hybrid deep generative adversarial networks
JP2021532888A (ja) 医用画像の処理
Bhushan Liver cancer detection using hybrid approach-based convolutional neural network (HABCNN)
CN112766333B (zh) 医学影像处理模型训练方法、医学影像处理方法及装置
US11282193B2 (en) Systems and methods for tumor characterization
Cao et al. LNAS: A clinically applicable deep-learning system for mediastinal enlarged lymph nodes segmentation and station mapping without regard to the pathogenesis using unenhanced CT images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination