CN113724185A - 用于图像分类的模型处理方法、装置及存储介质 - Google Patents

用于图像分类的模型处理方法、装置及存储介质 Download PDF

Info

Publication number
CN113724185A
CN113724185A CN202110252035.4A CN202110252035A CN113724185A CN 113724185 A CN113724185 A CN 113724185A CN 202110252035 A CN202110252035 A CN 202110252035A CN 113724185 A CN113724185 A CN 113724185A
Authority
CN
China
Prior art keywords
image
classification
medical image
model
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110252035.4A
Other languages
English (en)
Inventor
熊俊峰
伍健荣
朱艳春
钱天翼
时允凯
孙文博
徐海波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110252035.4A priority Critical patent/CN113724185A/zh
Publication of CN113724185A publication Critical patent/CN113724185A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Abstract

本申请关于一种用于图像分类的模型处理方法、装置及存储介质，涉及医疗技术领域。该方法包括：获取包含样本医学图像，以及样本医学图像对应的分类标签的样本数据集；获取样本医学图像的真实影像组学特征；通过图像处理模型对样本医学图像进行处理，获得预测分类结果以及预测影像组学特征；基于预测分类结果、分类标签、预测影像组学特征和真实影像组学特征，对图像处理模型进行训练；基于训练后的图像处理模型生成图像分类模型。通过上述方法，将影像组学特征引入到图像分类模型的训练过程中，从而使得影像组学特征与神经网络自动学习的特征进行融合，共同对模型参数进行调整，从而提高获得的图像分类模型的分类准确性。

Description

用于图像分类的模型处理方法、装置及存储介质
技术领域
本申请涉及医疗技术领域，特别涉及用于图像分类的模型处理方法、装置及存储介质。
背景技术
在医疗领域，通过医学成像进行器官损伤程度检测已成为辅助医生进行病例判断的常用技术，随着科技的进步，使得利用计算机设备基于医学成像获取的医学图像自动进行图像分类成为可能。
在相关技术中，通常将医学图像输入到神经网络模型中，基于神经网络提取到的医学图像特征对医学图像进行分类，从而获得医学图像的分类结果。
然而，上述技术中，在训练神经网络模型时，需要通过大量的医学图像样本进行模型训练，而在医学领域中，实际的医学图像样本数量较少，导致训练获得的神经网络模型的分类效果较差，获得的分类结果的准确性较低。
发明内容
本申请实施例提供了一种用于图像分类的模型处理方法、装置及存储介质，可以提高获得的图像分类模型的分类准确性，该技术方案如下：
一方面，提供了一种用于图像分类的模型处理方法，所述方法包括：
获取样本数据集，所述样本数据集中包含样本医学图像，以及所述样本医学图像对应的分类标签；
获取所述样本医学图像的真实影像组学特征；
通过图像处理模型对所述样本医学图像进行处理，获得所述样本医学图像的预测分类结果，以及所述样本医学图像的预测影像组学特征；所述图像处理模型中用于提取所述预测分类结果对应的机器学习特征的部分，与用于提取所述预测影像组学特征对应的机器学习特征的部分是相同的；
基于所述预测分类结果、所述分类标签、所述预测影像组学特征、以及所述真实影像组学特征，对所述图像处理模型进行参数更新，以对所述图像处理模型进行训练；
基于训练完成后的所述图像处理模型，生成图像分类模型；所述图像分类模型用于对目标医学图像进行处理，并输出所述目标医学图像的分类结果。
另一方面，提供了一种用于图像分类的模型处理方法，所述方法包括：
获取目标医学图像；
将所述目标医学图像输入到图像分类模型中，获取所述图像分类模型输出的所述目标医学图像的分类结果；
输出所述分类结果；
其中，所述图像分类模型的生成过程包括：获取所述样本数据集；获取所述样本医学图像的真实影像组学特征，所述样本数据集中包含样本医学图像，以及所述样本医学图像对应的分类标签；通过图像处理模型对所述样本医学图像进行处理，获得所述样本医学图像的预测分类结果，以及所述样本医学图像的预测影像组学特征；所述图像分类模型中用于提取所述预测分类结果对应的机器学习特征的部分，与用于提取所述预测影像组学特征对应的机器学习特征的部分是相同的；基于所述预测分类结果、所述分类标签、所述预测影像组学特征、以及所述真实影像组学特征，对所述图像处理模型进行参数更新，以对所述图像处理模型进行训练；基于训练完成后的所述图像处理模型，生成所述图像分类模型。
另一方面，提供了一种用于图像分类的模型处理装置，所述装置包括：
样本数据集获取模块，用于获取样本数据集，所述样本数据集中包含样本医学图像，以及所述样本医学图像对应的分类标签；
真实影像组学特征获取模块，用于获取所述样本医学图像的真实影像组学特征；
预测结果获取模块，用于通过图像处理模型对所述样本医学图像进行处理，获得所述样本医学图像的预测分类结果，以及所述样本医学图像的预测影像组学特征；所述图像处理模型中用于提取所述预测分类结果对应的机器学习特征的部分，与用于提取所述预测影像组学特征对应的机器学习特征的部分是相同的；
参数更新模块，用于基于所述预测分类结果、所述分类标签、所述预测影像组学特征、以及所述真实影像组学特征，对所述图像处理模型进行参数更新，以对所述图像处理模型进行训练；
模型生成模块，用于基于训练完成后的所述图像处理模型，生成图像分类模型；所述图像分类模型用于对目标医学图像进行处理，并输出所述目标医学图像的分类结果。
在一种可能的实现方式中，所述预测结果获取模块，包括：
机器学习特征获取子模块，用于通过所述图像处理模型中的特征提取部分对所述样本医学图像进行处理，获得所述样本医学图像的机器学习特征；
预测分类结果获取子模块，用于通过所述图像处理模型中的分类部分对所述样本医学图像的机器学习特征进行处理，获得所述预测分类结果；
预测影像组学特征获取子模块，用于通过所述图像处理模型中的影像组学预测部分对所述样本医学图像的机器学习特征进行处理，获得所述预测影像组学特征。
在一种可能的实现方式中，所述参数更新模块，包括：
第一损失函数计算子模块，用于基于所述预测分类结果，以及所述分类标签，计算第一损失函数；
第二损失函数计算子模块，用于基于所述预测影像组学特征，以及所述真实影像组学特征，计算第二损失函数；
参数更新子模块，用于基于所述第一损失函数以及所述第二损失函数，对所述图像处理模型进行参数更新，以对所述图像处理模型进行训练。
在一种可能的实现方式中，所述参数更新子模块，包括：
第一参数更新单元，用于基于所述第一损失函数，对所述图像处理模型中的特征提取部分，以及所述图像处理模型中的分类部分进行参数更新；
第二参数更新单元，用于基于所述第二损失函数，对所述图像处理模型中的特征提取部分，以及通过所述图像处理模型中的影像组学预测部分进行参数更新。
在一种可能的实现方式中，所述参数更新子模块，用于基于所述第一损失函数以及所述第二损失函数，对所述图像处理模型的参数进行交替迭代更新，以对所述图像处理模型进行训练。
在一种可能的实现方式中，所述第一损失函数为分类损失函数，所述第二损失函数为回归损失函数。
在一种可能的实现方式中，所述模型生成模块，用于基于训练完成后的所述图像处理模型中的机器学习特征的部分，以及训练完成后的所述图像处理模型中的所述分类部分，生成所述图像分类模型。
在一种可能的实现方式中，所述装置还包括：
数据增强处理模块，用于对所述样本医学图像进行数据增强处理；
所述真实影像组学特征获取模块，用于获取数据增强处理后的所述样本医学图像的所述真实影像组学特征；
所述预测结果获取模块，用于通过所述图像处理模型对数据增强处理后的所述样本医学图像进行处理，获得所述样本医学图像的预测分类结果，以及所述样本医学图像的预测影像组学特征。
在一种可能的实现方式中，所述数据增强处理包括以下处理操作中的至少一项：
对所述样本医学图像进行随机旋转；
对所述样本医学图像进行随机平移；
对所述样本医学图像进行裁剪。
在一种可能的实现方式中，所述样本医学图像是对应指定人体部位的医学图像，所述预测分类结果用于指示所述指定人体部位的损伤程度。
另一方面，提供了一种用于图像分类的模型处理装置，所述装置包括：
医学图像获取模块，用于获取目标医学图像；
分类结果获取模块，用于将所述目标医学图像输入到图像分类模型中，获取所述图像分类模型输出的所述目标医学图像的分类结果；
分类结果输出模块，用于输出所述分类结果；
其中，所述图像分类模型的生成过程包括：获取所述样本数据集；获取所述样本医学图像的真实影像组学特征，所述样本数据集中包含样本医学图像，以及所述样本医学图像对应的分类标签；通过图像处理模型对所述样本医学图像进行处理，获得所述样本医学图像的预测分类结果，以及所述样本医学图像的预测影像组学特征；所述图像分类模型中用于提取所述预测分类结果对应的机器学习特征的部分，与用于提取所述预测影像组学特征对应的机器学习特征的部分是相同的；基于所述预测分类结果、所述分类标签、所述预测影像组学特征、以及所述真实影像组学特征，对所述图像处理模型进行参数更新，以对所述图像处理模型进行训练；基于训练完成后的所述图像处理模型，生成所述图像分类模型。
在一种可能的实现方式中，所述装置还包括：
数据增强处理模块，用于对所述目标医学图像进行至少一次数据增强处理；
所述分类结果获取模块，用于将所述目标医学图像以及至少一次数据增强处理后的所述目标医学图像分别输入到所述图像分类模型中，获取所述图像分类模型对应所述目标医学图像以及至少一次数据增强处理后的所述目标医学图像分别输出的至少两个候选分类结果；基于至少两个所述候选分类结果，获取所述目标医学图像的所述分类结果。
另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储由至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述用于图像分类的模型处理方法。
另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条计算机程序，所述计算机程序由处理器加载并执行以实现上述用于图像分类的模型处理方法。
另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的用于图像分类的模型处理方法。
本申请提供的技术方案可以包括以下有益效果：
通过获取样本医学图像，样本医学图像对应的分类标签以及样本医学图像的真实影像组学特征，对包含可以实现提取预测分类结果以及提取预测影像组学特征的图像处理模型进行训练，获得训练后的图像处理模型，其中图像处理模型中提取预测分类结果与提取预测影像组学特征共用同一个机器学习特征的部分，基于训练获得的图像处理模型生成图像分类模型；从而将影像组学特征引入到图像分类模型的训练过程中，使得影像组学特征能够与神经网络自动学习的特征进行融合，共同对模型参数进行调整，从而在样本数量有限的情况下，可以显著提高获得的图像分类模型的分类准确性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1示出了本申请一示例性实施例提供的用于图像分类的模型处理方法的系统架构的示意图；
图2示出了本申请一示例性实施例提供的用于图像分类的模型处理方法的流程图；
图3是根据一示例性实施例示出的一种图像分类模型生成以及图像分类的框架图；
图4示出了本申请一示例性实施例提供的用于图像分类的模型处理方法的流程图；
图5示出了本申请一示例性实施例示出的图像处理模型的结构示意图；
图6示出了本申请一示例性提供的图像处理模型在向后反馈阶段的示意图；
图7示出了本申请一示例性实施例示出的残差网络的结构示意图；
图8示出了本申请一示例性实施例提供的图像分类过程的示意图；
图9示出了本申请一示例性实施例提供的用于图像分类的模型处理装置的方框图；
图10示出了本申请一示例性实施例提供的用于图像分类的模型处理装置的方框图；
图11示出了本申请一示例性实施例示出的计算机设备的结构框图；
图12示出了本申请一示例性实施例示出的计算机设备的结构框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本申请实施例提供了一种用于图像分类的模型处理方法，可以提高获得的图像分类模型的分类准确性。为了便于理解，下面对本申请涉及的几个名词进行解释。
1)人工智能(Artificial Intelligence，AI)
人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。本申请所示的包含图像采集组件的显示设备主要涉及其中的计算机视觉技术以及机器学习/深度学习等方向。
2)机器学习(Machine Learning，ML)
机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
3)3D卷积神经网络(Convolutional Neural Network，CNN)
卷积神经网络是一种深度模型，与普通神经网络类似，由具有可学习的权重和偏置常量的神经元组成，通过局部连接和全局共享两种方式显著降低网络的复杂度。
3D卷积神经网络在结构体系上类似于2D卷积神经网络，区别在于，3D卷积神经网络，使用的是3D卷积核，因此可以捕捉3D空间维度中具有区分性的特征，更加适用于视频分类，动作识别领域以及经常使用3D采集方式的医学图像数据处理的医学领域。
4)影像组学(Radiomics)
影像组学是对医疗影像进行定量描述和定量分析的一种研究方法，将视觉影像信息转化为深层次的特征来进行量化研究。影像组学是计算机辅助检测或诊断(Computer-Aided Diagnosis，CAD)的一个自然扩展，是将影像定量分析与机器学习方法结合起来。目前，影像组学的基本作用是通过大量的影像组学特征对肿瘤感兴趣区进行定量分析，从而可以提供有价值的诊断、预后或预测信息。影像组学的目的是探索和利用这些信息资源来开发诊断、预测或预后的影像组学模型，以支持个性化的临床决策和改善个体化的资料选择。
影像组学的工作流程如下：
1.图像采集；
可以通过影像扫描方式进行图像采集，其中影像扫描方式可以为CT(ComputedTomography，电子计算机断层扫描)、MRI(Nuclear Magnetic Resonance Imaging，磁共振成像)、PET-CT(Positron Emission Tomography-Computed Tomography,正电子发射计算机断层显像)等。
2.图像分割；
图像分割是指对感兴趣部位的分割，也就是在影像图像上勾画出感兴趣区域，从而针对这一特定区域计算出影像组学特征。其中，图像分割的方法包括人工分割法、半自动分割法及自动分割法。
3.图像特征提取和量化；
影像组学特征可以分为：形状特征，一阶直方图特征，二阶直方图或纹理特征。还有一些获取于特定图像的影像组学特征，如PET中的SUV(Standard Uptake Value，标准摄取值)度量，以及仅适用于多模式数据集的分形和融合特征。
4.特征选择；
可以根据变量的稳定程度或相关性对变量进行筛选，消除高度相关的特征；通过消除高度相关的特征，剩下“非冗余”的特征集。
5.建立模型。
基于影像组学特征建立预测和分类模型。
图1示出了本申请一示例性实施例提供的用于图像分类的模型处理的系统架构的示意图，如图1所示，该系统包括：计算机设备110以及医学图像采集设备120。
其中，上述计算机设备110可以实现为终端或服务器，当该计算机设备110实现为服务器时，该计算机设备110可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。当该计算机设备110实现为终端时，该计算机设备110可以是智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
上述医学图像采集设备120为具有医学图像采集功能的设备，比如该医学图像采集设备可以是用于医学检测的CT检测仪，核磁共振仪，正电子发射计算机断层扫描仪等带有图像采集装置的设备等。
可选的，上述系统中包含一个或者计算机设备110，以及一个或多个医学图像采集设备120。本申请实施例对于计算机设备110和医学图像采集设备120的个数不做限制。
医学图像采集设备120以及计算机设备110通过通信网络相连。可选的，通信网络是有线网络或无线网络。
可选的，上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网、但也可以是任何网络，包括但不限于局域网(Local Area Network，LAN)、城域网(Metropolitan Area Network，MAN)、广域网(Wide Area Network，WAN)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合。在一些实施例中，使用包括超文本标记语言(Hyper Text Mark-up Language，HTML)、可扩展标记语言(Extensible MarkupLanguage，XML)等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层(Secure Socket Layer，SSL)、传输层安全(Transport Layer Security，TLS)、虚拟专用网络(Virtual Private Network，VPN)、网际协议安全(Internet ProtocolSecurity，IPsec)等常规加密技术来加密所有或者一些链路。在另一些实施例中，还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。本申请在此不做限制。
图2示出了本申请一示例性实施例提供的用于图像分类的模型处理方法的流程图，该方法由计算设备执行，该计算机设备可以实现为终端或服务器，如图2所示，该用于图像分类的模型处理方法包括以下步骤：
步骤210，获取样本数据集，该样本数据集中包含样本医学图像，以及样本医学图像对应的分类标签。
在一种可能的实现方式中，该样本数据集中包含至少两个样本医学图像，各个样本医学图像都有对应的分类标签，该分类标签用以体现该样本医学图像属于某一分类，或者，比如，对于心脏医学图像而言，该分类标签可以指示该心脏医学图像中心脏受损或者心脏未受损，或者，进一步的，该分类标签还可以指示该心脏医学图像中心脏的受损程度，比如，心脏受损程度为轻微受损或重度受损等，或者，该分类标签还可以指示该心脏医学图像中心脏的受损程度比例，比如，心脏受损程度为10％或50％等。本申请对分类标签的表现形式不进行限制。
步骤220，获取样本医学图像的真实影像组学特征。
在一种可能的实现方式中，计算机设备通过对样本医学图像进行图像分割，图像特征提取和量化，特征选择等操作获取样本医学图像的真实影像组学特征。
在一种可能的实现方式中，可以将样本医学图像输入预先训练好的影像组学特征提取模型，对样本医学图像的真实影像组学特征进行提取。
步骤230，通过图像处理模型对样本医学图像进行处理，获得样本医学图像的预测分类结果，以及样本医学图像的预测影像组学特征；该图像处理模型中用于提取预测分类结果对应的机器学习特征的部分，与用于提取预测影像组学特征对应的机器学习特征的部分是相同的。
在一种可能的实现方式中，在本申请实施例的图像处理模型中，基于图像分类模型中用于提取机器学习特征的部分获取样本医学图像的图像特征，基于该图像特征，分别通过图像处理模型中用于提取预测分类结果的部分以及图像处理模型中用于提取预测影像组学特征的部分，分别获取图样本医学图像的预测分类结果以及预测样本组学特征。
在另一种可能的实现方式中，图像处理模型中包含两个并行的，用于提取机器学习特征的部分，这两个并行的部分分别用于提取预测分类结果对应的机器学习特征，以及预测影像组学特征对应的机器学习特征，并且，这两个并行的部分的结构和参数相同。
步骤240，基于预测分类结果、分类标签、预测影像组学特征、以及真实影像组学特征，对图像处理模型进行参数更新，以对图像处理模型进行训练。
在一种可能的实现方式中，计算机设备基于预测分类结果、分类标签、预测影像组学特征、以及真实影像组学特征，对图像处理模型的参数进行迭代更新，直至图像处理模型收敛，结束对图像处理模型的训练。
步骤250，基于训练完成后的图像处理模型，生成图像分类模型；该图像分类模型用于对目标医学图像进行处理，并输出目标医学图像的分类结果。
在一种可能的实现方式中，该图像分类模型是基于图像处理模型中，用于获得预测分类结果的部分生成的模型。
在应用该图像分类模型时，将目标医学图像输入到该图像分类模型中，即可获得对应于该目标医学图像的分类结果，其中，该分类结果可以指示对应器官的受损程度，存在病灶的概率等等。
综上所述，本申请实施例提供的用于图像分类的模型处理方法，通过获取样本医学图像，样本医学图像对应的分类标签以及样本医学图像的真实影像组学特征，对包含可以实现提取预测分类结果以及提取预测影像组学特征的图像处理模型进行训练，获得训练后的图像处理模型，其中图像处理模型中提取预测分类结果与提取预测影像组学特征共用同一个机器学习特征的部分，基于训练获得的图像处理模型生成图像分类模型；从而将影像组学特征引入到图像分类模型的训练过程中，使得影像组学特征能够与神经网络自动学习的特征进行融合，共同对模型参数进行调整，从而在样本数量有限的情况下，可以显著提高获得的图像分类模型的分类准确性。
在本申请实施例所述的方案中，将样本医学图像的真实影像组学特征作为注意力机制模块引入图像处理模型的训练过程，并基于训练获得的图像处理模型生成图像分类模型，使得模型训练过程中有效的利用样本医学图像中的特征，从而提高了获得的图像分类模型的分类准确性。上述方案的应用场景包括但不限于以下场景：
1)新冠肺炎心脏损伤鉴别场景：
在感染新冠肺炎的病人中，由于病毒感染，可能会对病人的心脏造成不同程度的损伤。对于部分心脏受损严重的病人而言，这种损伤是致命的。若临床能够预测心脏损伤严重程度，将能够给临床决策提供有效信息。在上述场景中，可以通过本申请提供的用于图像分类的模型处理方法，获得对应于上述场景的图像分类模型，用以鉴别心脏损伤程度，比如，确定心脏损伤程度轻微，或者，心脏损伤程度严重。在该过程中，获取样本数据集，该样本数据集可以是基于心脏器官获取的样本医学图像，且该样本医学图像对应有受损程度的分类标签；获取该样本医学图像的真实影像组学特征，基于该样本医学图像的分类标签，真实影像组学特征，以及将样本医学图像输入图像处理模型后获得的预测分类结果和预测影像组学特征，对图像处理模型进行训练，之后，基于训练后的图像处理模型获取图像分类模型，通过获取到的图像分类模型对临床获取到的样本医学图片处理，以进行心脏损失程度判断。
2)医学图像病灶判断场景：
在医学领域，医护人员往往通过医学图像采集设备获取到的医学图像对器官中是否可能存在病灶进行判断，比如，对胃部进行病灶检查等。若临床能够对器官的损伤程度进行自动分析判断，则可进一步自动判断该器官中存在病灶的可能性。在上述场景中，可以通过本申请提供的用于图像分类的模型处理方法，获得对应于上述场景的图像分类模型，用以鉴别器官损伤程度，比如，确定胃部损伤程度轻微，或者，胃部损伤程度严重，进而由此推断该器官中存在病灶的可能性，以使得医护人员基于存在病灶的可能性进行医疗资源分配；因此，在本申请提供的图像分类模型能够提高图像分类准确性的基础上，可以进一步提高病灶判断的准确性，从而实现对医疗资源的合理分配。
本申请涉及的方案包括图像分类模型生成阶段和图像分类阶段。图3是根据一示例性实施例示出的一种图像分类模型生成以及图像分类的框架图，如图3所示，在图像分类模型生成阶段，图像分类模型生成设备310通过预先设置好的训练样本数据集(包括样本医学图像以及样本医学图像对应的分类标签)，得到图像处理模型，之后，基于该图像处理模型生成图像分类模型。在图像分类阶段，图像分类设备320基于该图像分类模型，对输入的目标医学图像进行处理，获得该目标医学图像的分类结果，比如，确定该目标医学图像对应的器官的损伤程度，器官的病灶位置以及器官的病灶类型等等。
其中，上述图像分类模型生成设备310和图像分类设备320可以是计算机设备，比如，该计算机设备可以是个人电脑、服务器等固定式计算机设备，或者，该计算机设备也可以是平板电脑、电子书阅读器等移动式计算机设备。
可选的，上述图像分类模型生成设备310和图像分类设备320可以是同一个设备，或者，图像分类模型生成设备310和图像分类设备320也可以是不同的设备。并且，当图像分类模型生成设备310和图像分类设备320是不同设备时，图像分类模型生成设备310和图像分类设备320可以是同一类型的设备，比如图像分类模型生成设备310和图像分类设备320可以都是服务器；或者图像分类模型生成设备310和图像分类设备320也可以是不同类型的设备，比如图像分类设备320可以是个人电脑或者终端，而图像分类模型生成设备310可以是服务器等。本申请实施例对图像分类模型生成设备310和图像分类设备320的具体类型不做限定。
图4示出了本申请一示例性实施例提供的用于图像分类的模型处理方法的流程图，该方法由计算设备执行，该计算机设备可以实现为终端或服务器，如图2所示，该用于图像分类的模型处理方法包括以下步骤：
步骤401，获取样本数据集，该样本数据集中包含样本医学图像，以及样本医学图像对应的分类标签。
步骤402，获取样本医学图像的真实影像组学特征。
其中，计算机设备可以通过影像组学获取样本医学图像的真实影像组学特征；该影像组学是指从影像图像中提取全部特征的过程，将对基于影像组学提取到的全部特征进行筛选后获得的具有预测价值的特征获取为影像组学特征。
为使得图像处理模型能够从样本医学图像中获取到更多有效的机器学习特征，在一种可能的实现方式中，在获取样本医学图像的真实影像组学特征之前，该方法还包括：
对样本医学图像进行数据增强处理；
之后，获取数据增强处理后的样本医学图像的真实影像组学特征。
其中，对医学图像进行的数据增强处理可以包括以下操作中的至少一项：
对样本医学图像进行随机旋转；
对样本医学图像进行随机平移；
对样本医学图像进行裁剪。
在本申请实施例中，通过医学图像采集设备获取到的医学图像可以是三维医学图像，因此，对医学图像进行的数据增强处理操作可以是对原始的三维医学图像进行随机三维旋转，随机三维平移以及三维裁剪等；其中，随机三维旋转可以是指将三维医学图像在x、y和z三个方向中的至少一个方向随机旋转0到360°，随机平移可以是将三维医学图像沿着x、y和z中的至少一个方向随机移动至少一个像素点，比如，将三维医学图像沿着x、y和z随机移动0到15个像素点。
计算机设备基于影像组学获取医学图像的真实影像组学特征的过程可以参考图2所示实施例中的相关内容，此处不再赘述。
步骤403，通过图像处理模型中的特征提取部分对样本医学图像进行处理，获得样本医学图像的机器学习特征。
在一种可能的实现方式中，本申请实施例中的医学图像(包括样本医学图像以及目标样本医学图像)为三维医学图像，相适应的，为提高图像处理模型对医学图像的机器学习特征提取能力，该图像处理模型中的机器学习特征提取部分可以实现为3D卷积神经网络，用以提取医学图像在3D空间维度中具有区分性的特征，从而获取医学图像中的更多特征信息。
在对样本医学图像进行数据增强处理的前提下，上述过程可以实现为：通过图像处理模型对数据增强处理后的样本医学图像进行处理，获得样本医学图像的预测分类结果，以及样本医学图像的预测影像组学特征。
示意性的，上述过程实现为，计算机设备通过数据处理模型中的特征提取部分对数据增强处理后的样本医学图像进行处理，获得数据增强处理后的样本医学图像的机器学习特征；之后，基于数据增强处理后的样本医学图像的机器学习特征，获得样本医学图像的预测分类结果，以及样本医学图像的预测影像组学特征。
步骤404，通过图像处理模型中的分类部分对样本医学图像的机器学习特征进行处理，获得预测分类结果。
在一种可能的实现方式中，该样本医学图像是对应指定人体部位的医学图像，该预测分类结果用于指示指定人体部位的损伤程度。比如，该人体部位可以是人体心脏器官，该预测分类结果用于指示该人体心脏器官的受损程度。
步骤405，通过图像处理模型中的影像组学预测部分对样本医学图像的机器学习特征进行处理，获得预测影像组学特征。
图5示出了本申请一示例性实施例示出的图像处理模型的结构示意图，如图5所示，该图像处理模型500包括机器学习特征提取模块520，影像组学模块530，分类模块540，以及影像组学特征预测模块550；机器学习特征提取模块520用于提取样本医学图像的机器学习特征，示意性的，该机器学习特征提取模块可以包括卷积神经网络以及全连接层，该卷积神经网络可以是3D卷积神经网络；该影像组学模块530用于对数据增强后的样本医学图像进行处理，获得样本医学图像对应的真实影像组学特征；该分类模块540用于基于机器学习特征提取模块520提取到的机器学习特征进行分类预测，获取样本医学图像对应的预测分类结果；该影像组学特征预测模块550用于基于机器学习特征提取模块520提取到的机器学习特征进行影像组学特征预测，获取预测影像组学特征。也就是说，图像处理模型中用于提取预测分类结果对应的机器学习特征的部分，与用于提取预测影像组学特征对应的机器学习特征的部分是相同的。
为提高对图像处理模型的训练效果，在将样本医学图像输入到图像处理模型之前，先将样本医学图像输入到数据增强模块510中，以对医学样本图像进行数据增强处理；相应的，该机器学习特征提取模块520用于提取数据增强处理后的样本医学图像的机器学习特征。示意性的，该机器学习特征提取模块中的主体网络可以实现为残差网络，图7示出了本申请一示例性实施例示出的残差网络的结构示意图，如图7所示，在本申请实施例中，将数据增强后的医学图像710作为残差网络的输入，基于残差网络中至少两个瓶颈(Bottleneck)层的处理后，经过平均池化，获得数据增强后的医学图像对应的机器学习特征。
在图像处理模型的训练过程中，主要分为向前传播和向后反馈两个阶段，向前传播阶段如图5所示，对样本医学图像进行数据增强处理，提取样本医学图像的机器学习特征，基于该机器学习特征分别获得预测分类结果以及预测影像组学特征，在此过程中，同时提取该样本医学图像的真实影像组学特征，以作为辅助训练标签；
向后反馈阶段则是根据向前传播阶段获取到的预测分类结果、预测影像组学特征以及真实影像组学特征，结合样本医学图像对应的分类标签，对图像处理模型进行参数更新的过程。
步骤406，基于预测分类结果、分类标签、预测影像组学特征、以及真实影像组学特征，对图像处理模型进行参数更新，以对图像处理模型进行训练。
在一种可能的实现方式中，基于预测分类结果，以及分类标签，计算第一损失函数；
基于预测影像组学特征，以及真实影像组学特征，计算第二损失函数；
基于第一损失函数以及第二损失函数，对图像处理模型进行参数更新，以对图像处理模型进行训练。
在本申请实施例的一个示例性的方案中，计算机设备可以分别通过第一损失函数和第二损失函数，对图像处理模型进行参数更新。
在一种可能的实现方式中，基于第一损失函数，对图像处理模型中的特征提取部分，以及图像处理模型中的分类部分进行参数更新；
基于第二损失函数，对图像处理模型中的特征提取部分，以及通过图像处理模型中的影像组学预测部分进行参数更新。
也就是说，可以在进行参数更新的过程中，第一损失函数和第二损失函数均会对图像模型中的特征提取部分的参数更新造成影响。
在一种可能的实现方式中，基于第一损失函数以及第二损失函数，对图像处理模型的参数进行交替迭代更新，以对图像处理模型进行训练。
也就是说，在模型训练过程中，在每轮迭代过程中获得第一损失函数和第二损失函数之后，可以先基于第一损失函数对图像处理模型中，与获得预测分类结果相关的部分进行参数更新，之后再基于第二损失函数对图像处理模型中，与获得预测影像组学特征的相关的部分进行参数更新。
或者，也可以先基于第二损失函数对图像处理模型中，与获得预测影像组学特征的相关的部分进行参数更新，再基于第一损失函数对图像处理模型中，与获得预测分类结果相关的部分进行参数更新。
重复上述基于第一损失函数与第二损失函数对图像处理模型中的相关参数进行迭代更新的过程，直至图像处理模型收敛。图6示出了本申请一示例性提供的图像处理模型在向后反馈阶段的示意图，如图6所示，在向后反馈阶段，基于第一损失函数更新机器学习特征提取模块620以及分类模块640中的参数，基于第二损失函数更新机器学习特征提取模块620以及影像组学特征预测模块650中的参数。也就是说，机器学习特征提取模块620中的参数是基于分类标签以及真实影像组学特征的作用下共同更新的，从而使得在图像处理模型的更新过程中，可以融合人为设计的影像组学特征和神经网络自动学习的特征信息，共同对图像处理模型进行优化，从而提高训练获得的图像处理模型的预测准确性，进而提高基于该图像处理模型获取到的图像分类模型的预测准确性。
其中，该第一损失函数可以实现为分类损失函数，比如交叉熵损失函数等；第二损失函数可以实现为回归损失函数，比如均方差损失函数等。
步骤407，基于训练完成后的图像处理模型，生成图像分类模型；该图像分类模型用于对目标医学图像进行处理，并输出目标医学图像的分类结果。
在本申请实施例中，基于训练完成后图像处理模型中的机器学习特征的部分，以及训练完成后的图像处理模型中的分类部分，生成图像分类模型。
在一种可能的实现方式中，将图5所示的机器学习特征提取模块520以及分类模块540组成的模型获取为图像分类模型。
在一种可能的实现方式中，可以将图5所示的影像组学模块530，分类模块540，以及影像组学特征预测模块550组成的模型获取为图像分类模型；在应用该图分类模型时，将目标医学图像输入到图像分类模型中，获取目标医学图像的预测分类结果，预测影像组学特征以及真实影像组学特征，基于预测影像组学特征以及真实影像组学特征之间的相似程度，对图像分类模型的预测分类结果进行可信度评价。比如，基于图像分类模型输出的目标医学图像的预测影像组学特征以及真实影像组学特征相似度为80％，则将该相似度获取为对图像分类模型的预测分类结果的可信度，即对该预测分类结果的可信度为80％。相应的，在输出预测分类结果时，可以将可信度进行的输出，以供相关人员进行参考评估。
步骤408，获取目标医学图像。
其中，该目标医学图像是待进行分类判断的医学图像，示意性的，该目标医学图像可以是医学图像采集设备实时采集到的医学图像。
步骤409，将目标医学图像输入到图像分类模型中，获取图像分类模型输出的目标医学图像的分类结果。
其中，该图像分类模型的生成过程包括：获取样本数据集；获取样本医学图像的真实影像组学特征，该样本数据集中包含样本医学图像，以及样本医学图像对应的分类标签；通过图像处理模型对样本医学图像进行处理，获得样本医学图像的预测分类结果，以及样本医学图像的预测影像组学特征；该图像分类模型中用于提取预测分类结果对应的机器学习特征的部分，与用于提取预测影像组学特征对应的机器学习特征的部分是相同的；基于预测分类结果、分类标签、预测影像组学特征、以及真实影像组学特征，对图像处理模型进行参数更新，以对图像处理模型进行训练；基于训练完成后的图像处理模型，生成图像分类模型。
为了增加预测分类结果的鲁棒性，在一种可能的实现方式中，在将目标医学图像输入到图像分类模型中，获取图像分类模型输出的目标医学图像的分类结果之前，该方法还包括：
对目标医学图像进行至少一次数据增强处理；
之后，将目标医学图像以及至少一次数据增强处理后的目标医学图像分别输入到图像分类模型中，获取图像分类模型对应所述目标医学图像以及至少一次数据增强处理后的目标医学图像分别输出的目标医学图像的至少两个候选分类结果；
基于至少两个候选分类结果，获取目标医学图像的分类结果。
或者，也可以对目标医学图像进行至少两次数据增强处理；
将至少一次数据增强处理后的目标医学图像分别输入到图像分类模型中，获取图像分类模型分别输出的目标医学图像的至少两个候选分类结果；
基于至少两个候选分类结果，获取目标医学图像的分类结果。
也就是说，可以基于目标医学图像获取目标医学图像的分类结果；或者，也可以基于目标医学图像结合数据增强处理后的目标医学图像获取目标医学图像的分类结果；或者，也可以基于数据增强处理后的目标医学图像获取目标医学图像的分类结果。
可选的，计算机设备可以获取至少两个候选分类结果的平均值为目标医学图像的分类结果。比如，以基于数据增强处理后的目标医学图像获取目标医学图像的分类结果为例，对于同一个目标医学图像，重复随机数据处理的过程10次，即对目标医学图像进行10次数据增强处理，并分别将10次数据增强处理后的目标医学图像输入到图像分类模型中，获取10个预测分类结果pi，i∈[1,10]，将10个概率进行平均得到最终的预测分类结果p：
Figure BDA0002966455580000191
其中，该数据增强处理可以包括以下处理操作中的至少一项：
对目标医学图像进行随机旋转；
对目标医学图像进行随机平移；
对目标医学图像进行裁剪。
上述可能的数据增强操作可以结合使用也可以分别使用，从而可以基于同一个目标医学图像进行多次不重复的测试，从而减少预测的偶然性。
步骤410，输出分类结果。
在一种可能的实现方式中，在具有显示功能的终端显示界面上显示该分类结果，比如，在终端显示界面上显示该目标医学图像以及对应于该目标医学图像的分类结果；或者，在终端显示界面上生成目标医学图像对应的分类结果报告；或者，也可以通过语音播报的方式进行分类结果的输出，本申请对输出分类结果的方式不进行限制。
综上所述，本申请实施例提供的用于图像分类的模型处理方法，通过获取样本医学图像，样本医学图像对应的分类标签以及样本医学图像的真实影像组学特征，对包含可以实现提取预测分类结果以及提取预测影像组学特征的图像处理模型进行训练，获得训练后的图像处理模型，其中图像处理模型中提取预测分类结果与提取预测影像组学特征共用同一个机器学习特征的部分，基于训练获得的图像处理模型生成图像分类模型；从而将影像组学特征引入到图像分类模型的训练过程中，使得影像组学特征能够与神经网络自动学习的特征进行融合，共同对模型参数进行调整，从而在样本数量有限的情况下，可以显著提高获得的图像分类模型的分类准确性。
同时，在利用图像分类模型进行分类结果预测时，通过对同一目标医学样本进行多次数据增强处理后，通过图像分类模型进行多次不重复的处理，基于多次处理的结果获取最终的预测结果，减少了预测的偶然性，提高了模型预测的鲁棒性。
以上述各个方法实施例所示的方案应用在新冠肺炎心脏损伤鉴别场景为例，图8示出了本申请一示例性实施例提供的图像分类过程的示意图，如图8所示，在新冠肺炎心脏损伤鉴别场景中，在获取到基于心脏器官获取的目标医学图像后目标医学图像810输入到数据增强模块820中，获得数据增强后的医学图像830；将数据增强后的医学图像830输入到图像分类模型840中，获得图像分裂模型输出的对心脏的损伤程度的预测分类结果，比如，该预测分类结果指示心脏损伤程度轻微，或者心脏损伤程度严重。
上述图8所示的方案仅以网新冠肺炎心脏损伤鉴别场景中的应用为例进行说明，除此之外，上述方案也可以应用于其它任意需要对医学图像进行分类结果预测的场景。本申请对于上述方案的应用场景不做限定。
图9示出了本申请一示例性实施例提供的用于图像分类的模型处理装置的方框图，该用于图像分类的模型处理装置包括：
样本数据集获取模块910，用于获取样本数据集，所述样本数据集中包含样本医学图像，以及所述样本医学图像对应的分类标签；
真实影像组学特征获取模块920，用于获取所述样本医学图像的真实影像组学特征；
预测结果获取模块930，用于通过图像处理模型对所述样本医学图像进行处理，获得所述样本医学图像的预测分类结果，以及所述样本医学图像的预测影像组学特征；所述图像处理模型中用于提取所述预测分类结果对应的机器学习特征的部分，与用于提取所述预测影像组学特征对应的机器学习特征的部分是相同的；
参数更新模块940，用于基于所述预测分类结果、所述分类标签、所述预测影像组学特征、以及所述真实影像组学特征，对所述图像处理模型进行参数更新，以对所述图像处理模型进行训练；
模型生成模块950，用于基于训练完成后的所述图像处理模型，生成图像分类模型；所述图像分类模型用于对目标医学图像进行处理，并输出所述目标医学图像的分类结果。
在一种可能的实现方式中，所述预测结果获取模块930，包括：
机器学习特征获取子模块，用于通过所述图像处理模型中的特征提取部分对所述样本医学图像进行处理，获得所述样本医学图像的机器学习特征；
预测分类结果获取子模块，用于通过所述图像处理模型中的分类部分对所述样本医学图像的机器学习特征进行处理，获得所述预测分类结果；
预测影像组学特征获取子模块，用于通过所述图像处理模型中的影像组学预测部分对所述样本医学图像的机器学习特征进行处理，获得所述预测影像组学特征。
在一种可能的实现方式中，所述参数更新模块940，包括：
第一损失函数计算子模块，用于基于所述预测分类结果，以及所述分类标签，计算第一损失函数；
第二损失函数计算子模块，用于基于所述预测影像组学特征，以及所述真实影像组学特征，计算第二损失函数；
参数更新子模块，用于基于所述第一损失函数以及所述第二损失函数，对所述图像处理模型进行参数更新，以对所述图像处理模型进行训练。
在一种可能的实现方式中，所述参数更新子模块，包括：
第一参数更新单元，用于基于所述第一损失函数，对所述图像处理模型中的特征提取部分，以及所述图像处理模型中的分类部分进行参数更新；
第二参数更新单元，用于基于所述第二损失函数，对所述图像处理模型中的特征提取部分，以及通过所述图像处理模型中的影像组学预测部分进行参数更新。
在一种可能的实现方式中，所述参数更新子模块，用于基于所述第一损失函数以及所述第二损失函数，对所述图像处理模型的参数进行交替迭代更新，以对所述图像处理模型进行训练。
在一种可能的实现方式中，所述第一损失函数为分类损失函数，所述第二损失函数为回归损失函数。
在一种可能的实现方式中，所述模型生成模块950，用于基于训练完成后的所述图像处理模型中的机器学习特征的部分，以及训练完成后的所述图像处理模型中的所述分类部分，生成所述图像分类模型。
在一种可能的实现方式中，所述装置还包括：
数据增强处理模块，用于对所述样本医学图像进行数据增强处理；
所述真实影像组学特征获取模块920，用于获取数据增强处理后的所述样本医学图像的所述真实影像组学特征；
所述预测结果获取模块930，用于通过所述图像处理模型对数据增强处理后的所述样本医学图像进行处理，获得所述样本医学图像的预测分类结果，以及所述样本医学图像的预测影像组学特征。
在一种可能的实现方式中，所述数据增强处理包括以下处理操作中的至少一项：
对所述样本医学图像进行随机旋转；
对所述样本医学图像进行随机平移；
对所述样本医学图像进行裁剪。
在一种可能的实现方式中，所述样本医学图像是对应指定人体部位的医学图像，所述预测分类结果用于指示所述指定人体部位的损伤程度。
综上所述，本申请实施例提供的用于图像分类的模型处理装置，通过获取样本医学图像，样本医学图像对应的分类标签以及样本医学图像的真实影像组学特征，对包含可以实现提取预测分类结果以及提取预测影像组学特征的图像处理模型进行训练，获得训练后的图像处理模型，其中图像处理模型中提取预测分类结果与提取预测影像组学特征共用同一个机器学习特征的部分，基于训练获得的图像处理模型生成图像分类模型；从而将影像组学特征引入到图像分类模型的训练过程中，使得影像组学特征能够与神经网络自动学习的特征进行融合，共同对模型参数进行调整，从而在样本数量有限的情况下，可以显著提高获得的图像分类模型的分类准确性。
图10示出了本申请一示例性实施例提供的用于图像分类的模型处理装置的方框图，如图10所示，该用于图像分类的模型处理装置包括：
医学图像获取模块1010，用于获取目标医学图像；
分类结果获取模块1020，用于将所述目标医学图像输入到图像分类模型中，获取所述图像分类模型输出的所述目标医学图像的分类结果；
分类结果输出模块1030，用于输出所述分类结果；
其中，所述图像分类模型的生成过程包括：获取所述样本数据集；获取所述样本医学图像的真实影像组学特征，所述样本数据集中包含样本医学图像，以及所述样本医学图像对应的分类标签；通过图像处理模型对所述样本医学图像进行处理，获得所述样本医学图像的预测分类结果，以及所述样本医学图像的预测影像组学特征；所述图像分类模型中用于提取所述预测分类结果对应的机器学习特征的部分，与用于提取所述预测影像组学特征对应的机器学习特征的部分是相同的；基于所述预测分类结果、所述分类标签、所述预测影像组学特征、以及所述真实影像组学特征，对所述图像处理模型进行参数更新，以对所述图像处理模型进行训练；基于训练完成后的所述图像处理模型，生成所述图像分类模型。
在一种可能的实现方式中，所述装置还包括：
数据增强处理模块，用于对所述目标医学图像进行至少一次数据增强处理；
所述分类结果获取模块1020，用于将所述目标医学图像以及至少一次数据增强处理后的所述目标医学图像分别输入到所述图像分类模型中，获取所述图像分类模型对应所述目标医学图像以及至少一次数据增强处理后的所述目标医学图像分别输出的至少两个候选分类结果；基于至少两个所述候选分类结果，获取所述目标医学图像的所述分类结果。
综上所述，本申请实施例提供的用于图像分类的模型处理装置，通过获取样本医学图像，样本医学图像对应的分类标签以及样本医学图像的真实影像组学特征，对包含可以实现提取预测分类结果以及提取预测影像组学特征的图像处理模型进行训练，获得训练后的图像处理模型，其中图像处理模型中提取预测分类结果与提取预测影像组学特征共用同一个机器学习特征的部分，基于训练获得的图像处理模型生成图像分类模型；从而将影像组学特征引入到图像分类模型的训练过程中，使得影像组学特征能够与神经网络自动学习的特征进行融合，共同对模型参数进行调整，从而在样本数量有限的情况下，可以显著提高获得的图像分类模型的分类准确性。
同时，在利用图像分类模型进行分类结果预测时，通过对同一目标医学样本进行多次数据增强处理后，通过图像分类模型进行多次不重复的处理，基于多次处理的结果获取最终的预测结果，减少了预测的偶然性，提高了模型预测的鲁棒性。
图11示出了本申请一示例性实施例示出的计算机设备1100的结构框图。该计算机设备可以实现为本申请上述方案中的服务器。所述计算机设备1100包括中央处理单元(Central Processing Unit，CPU)1101、包括随机存取存储器(Random Access Memory，RAM)1102和只读存储器(Read-Only Memory，ROM)1103的系统存储器1104，以及连接系统存储器1104和中央处理单元1101的系统总线1105。所述计算机设备1100还包括用于存储操作系统1109、应用程序1110和其他程序模块1111的大容量存储设备1106。
所述大容量存储设备1106通过连接到系统总线1105的大容量存储控制器(未示出)连接到中央处理单元1101。所述大容量存储设备1106及其相关联的计算机可读介质为计算机设备1100提供非易失性存储。也就是说，所述大容量存储设备1106可以包括诸如硬盘或者只读光盘(Compact Disc Read-Only Memory，CD-ROM)驱动器之类的计算机可读介质(未示出)。
不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、可擦除可编程只读寄存器(Erasable Programmable Read Only Memory，EPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-OnlyMemory，EEPROM)闪存或其他固态存储其技术，CD-ROM、数字多功能光盘(DigitalVersatile Disc，DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器1104和大容量存储设备1106可以统称为存储器。
根据本公开的各种实施例，所述计算机设备1100还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备1100可以通过连接在所述系统总线1105上的网络接口单元1107连接到网络1108，或者说，也可以使用网络接口单元1107来连接到其他类型的网络或远程计算机系统(未示出)。
所述存储器还包括至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集存储于存储器中，中央处理器1101通过执行该至少一条指令、至少一段程序、代码集或指令集来实现上述各个实施例所示的用于图像分类的模型处理方法中的全部或部分步骤。
图12示出了本申请一个示例性实施例提供的计算机设备1200的结构框图。该计算机设备1200可以实现为上述的终端，比如：智能手机、平板电脑、笔记本电脑或台式电脑。计算机设备1200还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，计算机设备1200包括有：处理器1201和存储器1202。
处理器1201可以包括一个或多个处理核心，比如4核心处理器、12核心处理器等。处理器1201可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1201也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1201可以集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1201还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器1202可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1202还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1202中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1201所执行以实现本申请中方法实施例提供的用于图像分类的模型处理方法中的全部或部分步骤。
在一些实施例中，计算机设备1200还可选包括有：外围设备接口1203和至少一个外围设备。处理器1201、存储器1202和外围设备接口1203之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1203相连。具体地，外围设备包括：射频电路1204、显示屏1205、摄像头组件1206、音频电路1207、定位组件1208和电源1209中的至少一种。
外围设备接口1203可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器1201和存储器1202。在一些实施例中，处理器1201、存储器1202和外围设备接口1203被集成在同一芯片或电路板上；在一些其他实施例中，处理器1201、存储器1202和外围设备接口1203中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
在一些实施例中，计算机设备1200还包括有一个或多个传感器1210。该一个或多个传感器1210包括但不限于：加速度传感器1211、陀螺仪传感器1212、压力传感器1213、指纹传感器1214、光学传感器1215以及接近传感器1216。
本领域技术人员可以理解，图12中示出的结构并不构成对计算机设备1200的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在一示例性实施例中，还提供了一种计算机可读存储介质，用于存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述用于图像分类的模型处理方法中的全部或部分步骤。例如，该计算机可读存储介质可以是只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)、磁带、软盘和光数据存储设备等。
在一示例性实施例中，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述图2或图4任一实施例所示方法的全部或部分步骤。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (15)

1.一种用于图像分类的模型处理方法，其特征在于，所述方法包括：
获取样本数据集，所述样本数据集中包含样本医学图像，以及所述样本医学图像对应的分类标签；
获取所述样本医学图像的真实影像组学特征；
通过图像处理模型对所述样本医学图像进行处理，获得所述样本医学图像的预测分类结果，以及所述样本医学图像的预测影像组学特征；所述图像处理模型中用于提取所述预测分类结果对应的机器学习特征的部分，与用于提取所述预测影像组学特征对应的机器学习特征的部分是相同的；
基于所述预测分类结果、所述分类标签、所述预测影像组学特征、以及所述真实影像组学特征，对所述图像处理模型进行参数更新，以对所述图像处理模型进行训练；
基于训练完成后的所述图像处理模型，生成图像分类模型；所述图像分类模型用于对目标医学图像进行处理，并输出所述目标医学图像的分类结果。
2.根据权利要求1所述的方法，其特征在于，所述通过图像处理模型对所述样本医学图像进行处理，获得所述样本医学图像的预测分类结果，以及所述样本医学图像的预测影像组学特征，包括：
通过所述图像处理模型中的特征提取部分对所述样本医学图像进行处理，获得所述样本医学图像的机器学习特征；
通过所述图像处理模型中的分类部分对所述样本医学图像的机器学习特征进行处理，获得所述预测分类结果；
通过所述图像处理模型中的影像组学预测部分对所述样本医学图像的机器学习特征进行处理，获得所述预测影像组学特征。
3.根据权利要求2任一所述的方法，其特征在于，所述基于所述预测分类结果、所述分类标签、所述预测影像组学特征、以及所述真实影像组学特征，对所述图像处理模型进行参数更新，以对所述图像处理模型进行训练，包括：
基于所述预测分类结果，以及所述分类标签，计算第一损失函数；
基于所述预测影像组学特征，以及所述真实影像组学特征，计算第二损失函数；
基于所述第一损失函数以及所述第二损失函数，对所述图像处理模型进行参数更新，以对所述图像处理模型进行训练。
4.根据权利要求3所述的方法，其特征在于，所述基于所述第一损失函数以及所述第二损失函数，对所述图像处理模型进行参数更新，以对所述图像处理模型进行训练，包括：
基于所述第一损失函数，对所述图像处理模型中的特征提取部分，以及所述图像处理模型中的分类部分进行参数更新；
基于所述第二损失函数，对所述图像处理模型中的特征提取部分，以及通过所述图像处理模型中的影像组学预测部分进行参数更新。
5.根据权利要求3所述的方法，其特征在于，所述基于所述第一损失函数以及所述第二损失函数，对所述图像处理模型进行参数更新，以对所述图像处理模型进行训练，包括：
基于所述第一损失函数以及所述第二损失函数，对所述图像处理模型的参数进行交替迭代更新，以对所述图像处理模型进行训练。
6.根据权利要求3所述的方法，其特征在于，所述第一损失函数为分类损失函数，所述第二损失函数为回归损失函数。
7.根据权利要求2所述的方法，其特征在于，所述基于训练完成后的所述图像处理模型，生成图像分类模型，包括：
基于训练完成后的所述图像处理模型中的机器学习特征的部分，以及训练完成后的所述图像处理模型中的所述分类部分，生成所述图像分类模型。
8.根据权利要求1所述的方法，其特征在于，在获取所述样本医学图像的真实影像组学特征之前，所述方法还包括：
对所述样本医学图像进行数据增强处理；
所述获取所述样本医学图像的真实影像组学特征，包括：
获取数据增强处理后的所述样本医学图像的所述真实影像组学特征；
所述通过图像处理模型对所述样本医学图像进行处理，获得所述样本医学图像的预测分类结果，以及所述样本医学图像的预测影像组学特征，包括：
通过所述图像处理模型对数据增强处理后的所述样本医学图像进行处理，获得所述样本医学图像的预测分类结果，以及所述样本医学图像的预测影像组学特征。
9.根据权利要求7所述的方法，其特征在于，所述数据增强处理包括以下处理操作中的至少一项：
对所述样本医学图像进行随机旋转；
对所述样本医学图像进行随机平移；
对所述样本医学图像进行裁剪。
10.根据权利要求1至9任一所述的方法，其特征在于，所述样本医学图像是对应指定人体部位的医学图像，所述预测分类结果用于指示所述指定人体部位的损伤程度。
11.一种用于图像分类的模型处理方法，其特征在于，所述方法包括：
获取目标医学图像；
将所述目标医学图像输入到图像分类模型中，获取所述图像分类模型输出的所述目标医学图像的分类结果；
输出所述分类结果；
其中，所述图像分类模型的生成过程包括：获取所述样本数据集；获取所述样本医学图像的真实影像组学特征，所述样本数据集中包含样本医学图像，以及所述样本医学图像对应的分类标签；通过图像处理模型对所述样本医学图像进行处理，获得所述样本医学图像的预测分类结果，以及所述样本医学图像的预测影像组学特征；所述图像分类模型中用于提取所述预测分类结果对应的机器学习特征的部分，与用于提取所述预测影像组学特征对应的机器学习特征的部分是相同的；基于所述预测分类结果、所述分类标签、所述预测影像组学特征、以及所述真实影像组学特征，对所述图像处理模型进行参数更新，以对所述图像处理模型进行训练；基于训练完成后的所述图像处理模型，生成所述图像分类模型。
12.根据权利要求11所述的方法，其特征在于，在将所述目标医学图像输入到图像分类模型中，获取所述图像分类模型输出的所述目标医学图像的分类结果之前，所述方法还包括：
对所述目标医学图像进行至少一次数据增强处理；
所述将所述目标医学图像输入到图像分类模型中，获取所述图像分类模型输出的所述目标医学图像的分类结果，包括：
将所述目标医学图像以及至少一次数据增强处理后的所述目标医学图像分别输入到所述图像分类模型中，获取所述图像分类模型对应所述目标医学图像以及至少一次数据增强处理后的所述目标医学图像分别输出的至少两个候选分类结果；
基于至少两个所述候选分类结果，获取所述目标医学图像的所述分类结果。
13.一种用于图像分类的模型处理装置，其特征在于，所述装置包括：
样本数据集获取模块，用于获取样本数据集，所述样本数据集中包含样本医学图像，以及所述样本医学图像对应的分类标签；
真实影像组学特征获取模块，用于获取所述样本医学图像的真实影像组学特征；
预测结果获取模块，用于通过图像处理模型对所述样本医学图像进行处理，获得所述样本医学图像的预测分类结果，以及所述样本医学图像的预测影像组学特征；所述图像处理模型中用于提取所述预测分类结果对应的机器学习特征的部分，与用于提取所述预测影像组学特征对应的机器学习特征的部分是相同的；
参数更新模块，用于基于所述预测分类结果、所述分类标签、所述预测影像组学特征、以及所述真实影像组学特征，对所述图像处理模型进行参数更新，以对所述图像处理模型进行训练；
模型生成模块，用于基于训练完成后的所述图像处理模型，生成图像分类模型；所述图像分类模型用于对目标医学图像进行处理，并输出所述目标医学图像的分类结果。
14.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器存储有至少一条指令、至少一条程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至12任一所述的用于图像分类的模型处理方法。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条计算机程序，所述计算机程序由处理器加载并执行以实现如权利要求1至12任一所述的用于图像分类的模型处理方法。
CN202110252035.4A 2021-03-08 2021-03-08 用于图像分类的模型处理方法、装置及存储介质 Pending CN113724185A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110252035.4A CN113724185A (zh) 2021-03-08 2021-03-08 用于图像分类的模型处理方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110252035.4A CN113724185A (zh) 2021-03-08 2021-03-08 用于图像分类的模型处理方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN113724185A true CN113724185A (zh) 2021-11-30

Family

ID=78672604

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110252035.4A Pending CN113724185A (zh) 2021-03-08 2021-03-08 用于图像分类的模型处理方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN113724185A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115147314A (zh) * 2022-09-02 2022-10-04 腾讯科技（深圳）有限公司 图像处理方法、装置、设备以及存储介质
CN116681706A (zh) * 2023-08-04 2023-09-01 福建自贸试验区厦门片区Manteia数据科技有限公司 医学影像的处理方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105005714A (zh) * 2015-06-18 2015-10-28 中国科学院自动化研究所 一种基于肿瘤表型特征的非小细胞肺癌预后方法
CN111242174A (zh) * 2019-12-31 2020-06-05 浙江大学 一种基于影像组学的肝癌图像特征提取与病理分类方法和装置
CN111898622A (zh) * 2019-05-05 2020-11-06 阿里巴巴集团控股有限公司 信息处理、信息显示与模型训练方法、系统及设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105005714A (zh) * 2015-06-18 2015-10-28 中国科学院自动化研究所 一种基于肿瘤表型特征的非小细胞肺癌预后方法
CN111898622A (zh) * 2019-05-05 2020-11-06 阿里巴巴集团控股有限公司 信息处理、信息显示与模型训练方法、系统及设备
CN111242174A (zh) * 2019-12-31 2020-06-05 浙江大学 一种基于影像组学的肝癌图像特征提取与病理分类方法和装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115147314A (zh) * 2022-09-02 2022-10-04 腾讯科技（深圳）有限公司 图像处理方法、装置、设备以及存储介质
CN115147314B (zh) * 2022-09-02 2022-11-29 腾讯科技（深圳）有限公司 图像处理方法、装置、设备以及存储介质
CN116681706A (zh) * 2023-08-04 2023-09-01 福建自贸试验区厦门片区Manteia数据科技有限公司 医学影像的处理方法、装置、电子设备及存储介质
CN116681706B (zh) * 2023-08-04 2023-11-10 福建自贸试验区厦门片区Manteia数据科技有限公司 医学影像的处理方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
WO2020215984A1 (zh) 基于深度学习的医学图像检测方法及相关设备
WO2020215985A1 (zh) 医学影像分割方法、装置、电子设备和存储介质
US10853409B2 (en) Systems and methods for image search
CN114283151A (zh) 用于医学图像的图像处理方法、装置、设备及存储介质
CN112508842A (zh) 具有结构化的图像分解的3d医学图像中的可操纵对象合成
CN113724185A (zh) 用于图像分类的模型处理方法、装置及存储介质
CN111798424B (zh) 一种基于医学图像的结节检测方法、装置及电子设备
CN117274599A (zh) 一种基于组合双任务自编码器的脑磁共振分割方法及系统
CN114283110A (zh) 用于医学图像的图像处理方法、装置、设备及存储介质
CN113592769B (zh) 异常图像的检测、模型的训练方法、装置、设备及介质
CN117237351B (zh) 一种超声图像分析方法以及相关装置
CN112750110A (zh) 基于神经网络对肺部病灶区进行评估的评估系统和相关产品
WO2021184195A1 (zh) 医学图像重建方法、医学图像重建网络训练方法和装置
CN111209946B (zh) 三维图像处理方法、图像处理模型训练方法及介质
EP4073749A1 (en) Medical image segmentation and atlas image selection
CN116030308B (zh) 基于图卷积神经网络的多模态医学图像分类方法及系统
CN112488178A (zh) 网络模型的训练方法及装置、图像处理方法及装置、设备
Xu et al. Correlation via synthesis: end-to-end nodule image generation and radiogenomic map learning based on generative adversarial network
CN111918611B (zh) 胸部x线图像的异常显示控制方法、记录介质及装置
Ferreira et al. GAN-based generation of realistic 3D volumetric data: A systematic review and taxonomy
CN112530554B (zh) 一种扫描定位方法、装置、存储介质及电子设备
CN115115900A (zh) 图像重建模型的训练方法、装置、设备、介质及程序产品
CN113850796A (zh) 基于ct数据的肺部疾病识别方法及装置、介质和电子设备
CN113192085A (zh) 三维器官图像分割方法、装置及计算机设备
CN113822846A (zh) 医学图像中确定感兴趣区域的方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination