CN113743543B - 一种图像分类训练方法、装置、服务器及存储介质 - Google Patents

一种图像分类训练方法、装置、服务器及存储介质 Download PDF

Info

Publication number
CN113743543B
CN113743543B CN202111302734.1A CN202111302734A CN113743543B CN 113743543 B CN113743543 B CN 113743543B CN 202111302734 A CN202111302734 A CN 202111302734A CN 113743543 B CN113743543 B CN 113743543B
Authority
CN
China
Prior art keywords
image
neural network
network model
preset
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111302734.1A
Other languages
English (en)
Other versions
CN113743543A (zh
Inventor
于红刚
姚理文
张丽辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202111302734.1A priority Critical patent/CN113743543B/zh
Publication of CN113743543A publication Critical patent/CN113743543A/zh
Application granted granted Critical
Publication of CN113743543B publication Critical patent/CN113743543B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本申请提供一种图像分类训练方法、装置、服务器及存储介质，该方法对神经网络进行训练时，通过梯度激活热力图策略获取图像的预测异常区域标注和真实异常区域标注，根据图像的预测异常区域标注和真实异常区域标注判断损失函数是否满足预设要求；若满足，再次对训练后的神经网络进行基于梯度激活热力图的识别准确度的验证，通过多次验证提高利用神经网络进行图像分类训练的精度。

Description

一种图像分类训练方法、装置、服务器及存储介质
技术领域
本申请涉及医疗技术辅助领域，具体涉及一种图像分类训练方法、装置、服务器及存储介质。
背景技术
近年来，人工智能（Artificial intelligence，AI）机器视觉技术飞速发展，在交通、金融、医学等领域进行了大量应用。多项研究表明AI的诊断能力在某些疾病中已经超越了人类专家。
深度学习是一种从原始数据中学习、总结出来的用于进行预测的算法。其中的深度（多层）架构用于映射输入或观测特征与输出之间的联系。在深度学习的图像分类应用中，损失函数通常采用交叉熵损失函数，但是该损失函数有时并不能训练得到能够很好进行图片分类识别的模型，特别是在基于图片特定区域的特征进行分类识别的情况；使得这种损失函数对应的神经网络模型的识别精度不高。
发明内容
本申请提供一种图像分类训练方法、装置、服务器及存储介质，旨在解决现有技术下的图像识别模型精度不高，识别效果不好的问题。
第一方面，本申请实施例提供一种图像分类训练方法，所述方法包括：
利用预设分类后的训练图像对预设第一神经网络模型进行训练，得到训练后的第二神经网络模型，所述训练图像中包括图像的真实异常区域标注；
在训练所述第一神经网络模型时，利用预设梯度激活热力图策略获取所述训练图像对应的预测异常区域标注；
根据所述训练图像的真实异常区域标注和所述预测异常区域标注，判断所述第二神经网络模型对应的第一损失函数否满足预设要求；
若所述第一损失函数满足预设要求，利用所述第二神经网络模型获取基于梯度激活热力图的图像分类的识别准确度，并根据所述识别准确度判断所述第二神经网络模型是否满足预设识别精度要求；
若所述第二神经网络模型不满足预设识别精度要求，则继续对所述第一神经网络模型进行训练，直至满足预设识别精度要求。
在本申请一种可能的实现方式中，在利用预设分类后的训练图像对预设第一神经网络模型进行训练，得到训练后的第二神经网络模型之前，所述方法还包括：
获取初始图像集，所述初始图像集中包括多个初始图像；
对所述初始图像进行分类，得到颗粒图像和非颗粒图像；
标注所述颗粒图像中的颗粒区域，以及所述非颗粒图像中的非颗粒区域，得到所述预设分类后的训练图像。
在本申请一种可能的实现方式中，所述在训练所述第一神经网络模型时，利用预设梯度激活热力图策略获取所述训练图像对应的预测异常区域标注，包括：
在训练所述第一神经网络模型时，利用所述梯度激活热力图策略判断所述训练图像中每个像素为异常像素对应的热力图阈值；
判断像素为异常像素对应的热力图阈值是否大于等于目标热力图阈值；
若像素为异常像素对应的热力图阈值大于等于所述目标热力图阈值，则确认所述像素为异常像素，将所述异常像素划分到异常区域，得到所述预测异常区域标注。
在本申请一种可能的实现方式中，所述根据所述训练图像真实异常区域标注和所述预测异常区域标注，确定所述第二神经网络模型对应的第一损失函数否满足预设要求，包括：
获取所述第一神经网络模型对应的初始损失函数；
在对所述第一神经网络模型训练的过程中，获取多个不同的预测异常区域标注；
根据所述真实异常区域标注和所述多个不同的预测异常区域标注，计算得到所述初始损失函数对应的多个不同的损失函数值；
判断所述多个损失函数值是否不再减小；
若所述多个损失函数值不再减小，则确定当所述损失函数值不再降低时对应的损失函数，即为所述第一损失函数。
在本申请一种可能的实现方式中，所述若所述第一损失函数满足预设要求，利用所述第二神经网络模型获取基于梯度激活热力图的图像分类的识别准确度，并根据所述识别准确度判断所述第二神经网络模型是否满足预设识别精度要求，包括：
利用所述第二神经网络模型对预设的待分类图像进行分类识别，以确定所述待分类图像对应的图像类别和热力图特征；
确定所述待分类图像中样本分类正确且热力图特征正确的第一图像，以及所述第一图像对应的第一数量；
确定所述待分类图像中样本分类正确且热力图特征错误的第二图像，以及所述第二图像对应的第二数量；
根据所述第一数量和所述第二数量，计算得到基于梯度激活热力图的图像分类的识别准确度；
根据所述识别准确度判断所述第二神经网络模型是否满足预设识别精度要求。
在本申请一种可能的实现方式中，所述根据所述第一数量和所述第二数量，计算得到基于梯度激活热力图的图像分类的识别准确度，包括：
获取所述预设的待分类图像的第三数量；
计算所述第一数量和所述第二数量之间的数量差值；
对所述第三数量和所述数量差值做预设计算，得到基于梯度激活热力图的图像识别的识别准确度。
在本申请一种可能的实现方式中，所述根据所述识别准确度判断所述第二神经网络模型是否满足预设识别精度要求，包括：
判断所述识别准确度是否大于等于预设精度阈值；
若所述识别准确度大于等于所述预设精度阈值，则确定所述第二神经网络模型满足预设识别精度要求。
第二方面，本申请实施例还提供一种图像分类训练装置，所述装置包括：
第一训练单元，用于利用预设分类后的训练图像对预设第一神经网络模型进行训练，得到训练后的第二神经网络模型，所述训练图像中包括图像的真实异常区域标注；
热力图生成单元，用于在训练所述第一神经网络模型时，利用预设梯度激活热力图策略获取所述训练图像对应的预测异常区域标注；
损失函数校验单元，用于根据所述训练图像的真实异常区域标注和所述预测异常区域标注，判断所述第二神经网络模型对应的第一损失函数否满足预设要求；
模型校验单元，用于若所述第一损失函数满足预设要求，利用所述第二神经网络模型获取基于梯度激活热力图的图像分类的识别准确度，并根据所述识别准确度判断所述第二神经网络模型是否满足预设识别精度要求；
第二训练单元，用于若所述第二神经网络模型不满足预设识别精度要求，则继续对所述第一神经网络模型进行训练，直至满足预设识别精度要求。
第三方面，本申请还提供一种服务器，所述服务器包括：
一个或多个处理器；
存储器；以及
一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现如上任一项所述的图像分类训练方法。
第四方面，本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行如上任一项所述的图像分类训练方法中的步骤。
本申请提供一种图像分类训练方法、装置、服务器及存储介质，该方法对神经网络模型进行训练时，神经网络模型对应的损失函数中包括图像的真实异常区域标注和预测异常区域标注，在神经网络模型训练过程中得到图像的异常区域标注；根据真实异常区域标注和预测异常区域标注，校验损失函数是否满足预设要求；若损失函数满足要求，则可以获取最终的损失函数以及与损失函数对应的训练后的神经网络模型。同时还需要再次利用训练后的神经网络模型进行图像分类训练，以获取图像分类训练的基于梯度激活热力图的识别准确度，并根据图像分类训练的基于梯度激活热力图的识别准确度再次判断训练后的神经网络模型是否满足预设识别精度。本申请通过引入新的损失函数，在对神经网络训练过程中验证损失函数是否满足要求后；再次对训练后的神经网络进行基于梯度激活热力图的识别准确度的验证，通过多次验证以提高利用神经网络进行图像分类训练时的精度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的图像分类训练的场景示意图；
图2为本申请实施例提供的图像分类训练方法的一个实施例流程示意图；
图3为本申请实施例提供的判断第一损失函数是否满足要求一实施例流程示意图；
图4为本申请实施例提供的验证第二神经网络模型一实施例流程示意图；
图5为本申请实施例提供的计算识别准确度一实施例流程示意图，可以包括；
图6为本申请实施例提供的图像分类训练装置一实施例示意图；
图7其示出了本申请实施例所涉及到的服务器的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本申请中，“示例性”一词用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本发明，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本发明。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本发明的描述变得晦涩。因此，本发明并非旨在限于所示的实施例，而是与符合本申请所公开的原理和特征的最广范围相一致。
本申请实施例提供一种图像分类训练方法、装置、服务器及存储介质，以下分别进行详细说明。
如图1所示，为本申请实施例提供的图像分类训练系统的场景示意图，该图像分类训练系统可以包括多个终端100和服务器200，终端100之间、服务器200之间、以及终端100与服务器200之间通过各种网关组成的互联网等方式连接通信，不再赘述。其中，终端100可以包括检测终端101以及用户终端102等。
本发明实施例中服务器200主要用于利用预设分类后的训练图像对预设第一神经网络模型进行训练，得到训练后的第二神经网络模型，述训练图像中包括图像的真实异常区域标注；在训练第一神经网络模型时，利用预设梯度激活热力图策略获取训练图像对应的预测异常区域标注；根据训练图像的真实异常区域标注和预测异常区域标注，判断第二神经网络模型对应的第一损失函数否满足预设要求；若第一损失函数满足预设要求，利用第二神经网络模型获取基于梯度激活热力图的图像分类的识别准确度，并根据识别准确度判断第二神经网络模型是否满足预设识别精度要求；若第二神经网络模型不满足预设识别精度要求，则继续对第一神经网络模型进行训练，直至满足预设识别精度要求。
本发明实施例中，该服务器200可以是独立的服务器，也可以是服务器组成的服务器网络或服务器集群，例如，本发明实施例中所描述的服务器200，其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云服务器。其中，云服务器由基于云计算(Cloud Computing)的大量计算机或网络服务器构成。本发明的实施例中，服务器与终端之间可通过任何通信方式实现通信，包括但不限于，基于第三代合作伙伴计划（3rd Generation Partnership Project，3GPP）、长期演进（Long Term Evolution，LTE)、全球互通微波访问（Worldwide Interoperability for Microwave Access， WiMAX）的移动通信，或基于TCP/IP协议族（TCP/IP Protocol Suite，TCP/IP）、用户数据报协议（User Datagram Protocol，UDP）的计算机网络通信等。
可以理解的是，本发明实施例中所使用的终端100可以是既包括接收和发射硬件的设备，即具有能够在双向通信链路上，执行双向通信的接收和发射硬件的设备。这种终端可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备。
具体的，检测终端101主要负责采集人体的待检测部位的内镜影像，检测终端上的采集设备可以包括核磁共振成像仪（MRI，Magnetic Resonance Imaging）、计算机断层扫描设备（CT，Computed Tomography）、阴道镜或内窥镜等电子设备。本实施例中图像采集设备主要用于获取病患直肠部位的图像。
用户终端102包括但不局限于手机、平板等便携终端，电脑、查询机等固定终端，以及各种虚拟终端等；主要提供待造影图像的上传功能、处理功能、造影图像对应的处理结果的展示功能等。
本领域技术人员可以理解，图1中示出的应用环境，仅仅是与本申请方案一种应用场景，并不构成对本申请方案应用场景的限定，其他的应用环境还可以包括比图1中所示更多或更少的服务器，或者服务器网络连接关系，例如图1中仅示出1个服务器和2个终端，可以理解的，该病变识别场景中还可以包括一个或多个其他服务器，或/且一个或多个与服务器网络连接的终端，具体此处不作限定。
另外，如图1所示，该图像分类训练系统还可以包括存储器300，用于存储数据，如存储图像数据，例如终端获取到的待检测部位的图像数据。且存储器300可以包括本地数据库和/或云端数据库。
需要说明的是，图1所示的图像分类训练系统的场景示意图仅仅是一个示例，本发明实施例描述的图像分类训练场景是为了更加清楚的说明本发明实施例的技术方案，并不构成对于本发明实施例提供的技术方案的限定，本领域普通技术人员可知，随着图像分类训练场景的演变和新业务场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。
在本申请的实施例中，利用直肠部位对应的医学图像对神经网络模型进行训练，使得神经网络模型可以对医学图像进行识别分类；还需要判断训练后的神经网络模型的识别精度是否达到预设识别精度要求。若是训练后的神经网络模型的识别精度没有达到预设的识别精度要求，则需要再次对神经网络模型进行训练，以使得训练后的神经网络模型的识别精度达到要求。
如图2所示，为本申请实施例提供的图像分类训练方法一实施例流程示意图。可以包括：
21、利用预设分类后的训练图像对预设第一神经网络模型进行训练，得到训练后的第二神经网络模型。
在本申请的实施例中，可以利用预设分类后的训练图像对预设的第一神经网络模型进行训练，得到可以对图像进行分类识别的第二神经网络模型。
其中，在本申请的实施例中，训练图像通常是人体直肠部分的图像；即本申请实施例实际上提供的是直肠图像的分类训练方法。而本申请实施例所提供的神经网络模型主要是对直肠部分的图像进行识别，以确定直肠部分出现的异常区域，便于识别病变进而进行诊断。
在一些实施例中，在对第一神经网络模型进行训练之前，还需要获取分类后训练图像。具体的，可以包括：
获取初始图像集；对初始图像进行分类，得到颗粒图像和非颗粒图像；标注颗粒图像中的颗粒区域，以及非颗粒图像中的非颗粒区域，得到预设分类后的训练图像。
其中，初始图像集中包括有多个初始图像；且在本申请的实施例中，初始图像一般为直肠结构对应的图像。可以由医学专家对初始图像集中的多个初始图像进行分类标注。具体的，可以先将图像分为颗粒（G）图像和非颗粒（NG）图像两种；再分别标注颗粒（G）图像中的病灶颗粒区域，以及非颗粒（NG）图像中的病灶光滑区域。
在上述实施例中，颗粒（G）图像实际上为存在异常（病灶）的图像，非颗粒（NG）图像为正常的图像；同时标注具体的颗粒区域为Y，即训练图像中包括图像的真实异常区域标注。
在本申请的实施例中，还可以将初始图像集中的多个初始图像划分为训练集、验证集和测试集，以利用不同的图像进行训练、验证和测试。
22、在训练第一神经网络模型时，利用预设梯度激活热力图策略获取训练图像对应的预测异常区域标注。
在本申请的实施例中，神经网络模型通常对应有损失函数，在训练神经网络模型的过程中，通常利用神经网络模型对应的损失函数来判断训练后的神经网络模型是否满足要求。
其中，常用的损失函数包括交叉熵损失函数（Cross Entropy Loss Function）。二分类的交叉熵损失函数的表达式为：
Figure 724865DEST_PATH_IMAGE001
其中，yi为样本i的标签，正类为1，负类为0。而pi为样本i预测为正类的概率。
多分类的交叉熵损失函数的表达式为：
Figure 924903DEST_PATH_IMAGE002
其中，M表示类别的数量；yic是符号函数，取值为0或1，当样本i的真实类别为c时取1，否则取0。Pic则表示样本i属于类别c的概率。
在本申请的实施例中，神经网络模型对应的损失函数在交叉熵损失函数的基础上增加IOU损失函数，两者共同作为本申请中的神经网络模型对应的损失函数。
具体的，本申请中的损失函数可以为：
Lloss=Lce+Liou
其中，Lce即为交叉熵损失函数，而Liou为IOU损失函数。而IOU损失函数的表达式可以为：
Figure 511742DEST_PATH_IMAGE003
其中，X为图像训练识别过程中的预测异常区域标注，Y为图像对应的真实异常区域标注。具体的，在本申请的实施例中，X即为利用神经网络模型预测得到的预测异常区域标注（特征区域），而Y为真实的专家标注的真实异常区域标注（特征区域）。
在本申请的实施例中，可以利用预设的梯度激活热力图策略，获取训练图像对应的预测异常区域标注X，即第一神经网络模型训练过程中识别出的颗粒区域；而训练图像对应的真实异常区域标注Y则是在利用人工进行图像识别分类时，就确认的颗粒区域。
在上述实施例中，主要是利用人工标注初始图像中的有识别价值的特征区域Y；且XY对应的均是一个区域，而非确定的值或参数。
23、根据训练图像的预测异常区域标注和真实异常区域标注，判断第二神经网络模型对应的第一损失函数是否满足预设要求。
对于神经网络模型的训练来说，训练的过程就是不断调整神经网络模型中的参数，以使得损失函数越来越小的过程。在本申请的实施例中，确定了训练图像对应的预测异常区域标注X和真实异常区域标注Y后，就可以计算得到不同XY对应的不同损失函数值，以根据损失函数值判断第一损失函数是否满足训练要求。
24、若第一损失函数满足预设要求，利用第二神经网络模型获取基于梯度激活热力图的图像识别的识别准确度，并根据识别准确度判断第二神经网络模型是否满足预设精度要求。
25、若第二神经网络模型不满足预设识别精度要求，则继续对第一神经网络模型进行训练，直至满足预设识别精度。
通常来说，当损失函数满足要求时，对应的神经网络模型会认为是满足要求的神经网络模型。但在本申请的实施例中，还需要对训练后的第二神经网络模型再次进行验证，以确定第二神经网络模型符合精度要求。
而在本申请的实施例中，是利用训练后的第二神经网络模型再次进行图像分类识别，以获取基于梯度激活热力图的图像分类的识别准确度；再根据识别准确度再次判断第二神经网络模型是否满足预设精度要求。
本申请实施例提供的图像分类训练方法，对神经网络模型进行训练时，神经网络模型对应的损失函数中包括图像的预测异常区域标注和真实异常区域标注，在神经网络模型训练过程中得到图像的异常区域标注；根据真实异常区域标注和预测异常区域标注，以校验训练过程中的损失函数是否满足预设要求；若损失函数满足要求，则可以获取最终的损失函数以及与损失函数对应的训练后的神经网络模型。同时还需要再次利用训练后的神经网络模型进行图像分类训练，以获取图像分类训练的基于梯度激活热力图的识别准确度，并根据图像分类训练的基于梯度激活热力图的识别准确度再次判断训练后的神经网络模型是否满足预设识别精度。本申请通过引入新的损失函数，在对神经网络训练过程中验证损失函数是否满足要求后；再次对训练后的神经网络进行基于梯度激活热力图的识别准确度的验证，通过多次验证以提高利用神经网络进行图像分类训练时的精度。
在本申请的实施例中，在训练第一神经网络模型时，利用预设梯度激活热力图策略获取训练图像对应的预测异常区域标注和真实异常区域标注，可以包括：
在训练所述第一神经网络模型时，利用梯度激活热力图策略判断训练图像中每个像素为异常像素对应的热力图阈值；判断像素为异常像素对应的热力图阈值是否大于目标热力图阈值；若像素为异常像素对应的热力图阈值大于目标热力图阈值，则确认像素为异常像素，将异常像素划分到异常区域，得到所述预测异常区域标注。
在上述实施例中，在训练第一神经网络模型的过程中，会判断训练图像中每一个像素可能为异常像素对应的置信度，即每个像素为异常像素对应的热力图阈值。在本申请的实施例中，目标热力图阈值可以为0.5，即将热力图阈值大于等于0.5的像素作为深度学习过程中图像特征的阳性区域，即训练第一神经网络模型过程中识别出的图像中的异常区域。
在利用上述方法确定训练图像中的预测异常区域标注后，就可以利用前述损失函数的计算公式，就可以计算得到对应的损失函数值，并根据损失函数值判断神经网络模型是否满足要求。
需要说明的是，在本申请的实施例中，计算像素对应的热力图阈值的具体过程可以参考现有技术，此处不再赘述。且目标热力图阈值可以根据实际情况进行调整。
如图3所示，为本申请实施例提供的判断第一损失函数是否满足要求一实施例流程示意图，可以包括：
31、获取第一神经网络模型对应的初始损失函数。
32、在对第一神经网络模型训练的过程中，获取多个不同的预测异常区域标注。
33、根据真实异常区域标注和多个不同的预测异常区域标注，计算得到初始损失函数对应的多个不同的损失函数值。
34、判断多个损失函数值是否不再减小。
35、若多个损失函数值不再减小，确定当损失函数不再减小时对应的损失函数，即为第一损失函数。
具体的，在对第一神经网络模型训练的过程中，会得到多个不同的预测异常区域标注Y，而图像对应的真实异常区域标注X又是确定的；因此可以根据损失函数：Lloss=Lce+Liou计算得到真实异常区域标注和多个不同异常区域标注对应下的不同损失函数值。
对于损失函数来说，当损失函数对应的损失函数值不再减小时，可以认此时损失函数对应的神经网络模型即为符合要求的第二神经网络模型。无需再对第一神经网络模型进行训练。
而在确定了第二神经网络模型后，还需要再对第二神经网络模型进行验证。如图4所示，为本申请实施例提供的验证第二神经网络模型一实施例流程示意图，可以包括：
41、利用第二神经网络模型对预设的待分类图像进行分类识别，以确定待分类图像对应的图像类别和热力图特征。
在一个具体实施例中，由于将训练图像分为了颗粒图像和非颗粒图像两类，所以利用第二神经网络模型可以对预设的待分类图像划分为分类颗粒图像和非颗粒图像；即训练后的第二神经网络模型可以确定每一个图像对应的图像类别。
而在对图像进行识别的同时，还可以识别出每一个图像各自对应的预测异常区域标注X（即图像中的病灶颗粒区域），以此得到每个图像对应的热力图特征。而热力图特征即为预测得到的图像的预测异常区域标注X。
即在利用训练后的第二神经网络进行图像分类的过程中，不仅需要判断出图像对应的图像类别（即颗粒图像或非颗粒图像）；同时若是图像中包括异常区域，还需要标注出图像中的异常区域X（即热力图特征）。
42、确定待分类图像中样本分类正确且热力图特征正确的第一图像，以及第一图像对应的第一数量。
43、确定待分类图像中样本分类正确且热力图特征错误的第二图像，以及第二图像对应的第二数量。
44、根据第一数量和第二数量，计算得到基于梯度激活热力图的图像分类的识别准确度。
在上述实施例中，热力图特征正确即为识别出的病灶颗粒区域的范围，与实际人工标注的病灶颗粒区域相比，区域误差在预设范围内。此时可以认为识别出的病灶颗粒区域与人工标注的病灶颗粒区域没有区别，识别出的病灶颗粒区域即为实际图像中的病灶颗粒区域。
同理，热力图特征错误即为识别出的病灶颗粒区域的范围，与实际人工标注的病灶颗粒区域相比，区域误差不在预设范围内。此时识别出的病灶颗粒区域与人工标注的病灶区域存在较大差异，识别出的病灶颗粒区域不能作为实际图像中的病灶颗粒区域。
在上述实施例中，可以分别确定样本分类正确且热力图特征正确的第一图像对应的第一数量，以及样本分类正确且热力图特征错误的第二图像对应的第二数量；再根据第一数量和第二数量判断第二神经网络模型是否满足预设精度要求。
在上述实施例中，判断预测出的预测异常区域标注和真实异常区域标注之间的区域误差，可以为判断预测异常区域标注和真实异常区域标注面积比值，即为区域误差。在本申请的实施例中，区域误差的预设范围大小可以为0.7；即当预测异常区域标注的面积大于等于真实异常区域标注面积的70%后，就可以认为识别出的预测异常区域标注等同于真实异常区域标注。
45、根据识别准确度判断第二神经网络模型是否满足预设识别精度。
在本申请的实施例中，引入了识别准确度Accuracyme的识别参数，而识别准确度是根据前述第一数量和第二数量计算得到的。根据识别准确度可以判断第二神经网络模型是否满足预设识别精度；进而判断第二神经网络模型是否满足预设的识别精度。
如图5所示，为本申请实施例提供的计算识别准确度一实施例流程示意图，可以包括：
51、获取预设的待分类图像的第三数量。
52、计算第一数量和第二数量之间的差值。
53、对第三数量和数量差值做预设计算，得到基于梯度激活热力图的图像分类的识别准确度。
具体的，在本申请的实施例中，可以定义分类正确且热力图特征正确的第一图像的第一数量为Xa，定义分类正确但热力图特征错误的第二图像的第二数量为Xn，而待分类图像的第三数量为M。
Figure 393635DEST_PATH_IMAGE004
在上述实施例中，确定了识别准确度后，可以根据识别准确度判断训练后的第二神经网络模型是否满足精度要求。具体的，可以判断识别准确度是否大于等于预设精度阈值；若识别准确度大于等于预设精度阈值，则确定第二神经网络模型满足预设精度要求。
在一个具体实施例中，预设精度阈值可以为0.7。即当识别准确度Accuracyme的值大于等于0.7时，可以认为此时的第二神经网络模型能够很好的对图像进行分类识别，且可以很好的识别出图像中的病灶颗粒区域和病灶光滑区域。
而若是识别准确度的值小于预设精度阈值时，需要增加样本数量以继续训练第一神经网络模型，直至训练后的神经网络模型可以很好的掌握图像特征，得到良好的图像分类结果。即若是第二神经网络模型不满足预设识别精度要求，则继续对第一神经网络模型进行训练，直至满足预设识别精度要求。
为了更好实施本申请实施例中图像分类训练方法，在图像分类训练方法基础之上，本申请实施例中还提供一种图像分类训练装置，如图6所示，为本申请实施例提供的图像分类训练装置一实施例示意图，该图像分类训练装置包括：
第一训练单元601，用于利用预设分类后的训练图像对预设第一神经网络模型进行训练，得到训练后的第二神经网络模型，训练图像中包括图像的真实异常标注。
热力图生成单元602，用于在训练第一神经网络模型时，利用预设梯度激活热力图策略获取训练图像对应的预测异常区域标注。
损失函数校验单元603，用于根据训练图像的真实异常区域标注和所述预测异常区域标注，判断第二神经网络模型对应的第一损失函数否满足预设要求。
模型校验单元604，用于若所述第一损失函数满足预设要求，利用所述第二神经网络模型获取基于梯度激活热力图的图像分类的识别准确度，并根据所述识别准确度判断所述第二神经网络模型是否满足预设识别精度要求。
第二训练单元605，用于若所述第二神经网络模型不满足预设识别精度要求，则继续对第一神经网络模型进行训练，直至满足预设识别精度要求。
本申请实施例提供的图像分类训练装置对神经网络进行训练时，神经网络模型对应的损失函数中包括图像的真实异常区域标注和预测异常区域标注，在神经网络模型训练过程中得到图像的异常区域标注；根据真实异常区域标注和预测异常区域标注，校验训练过程中的损失函数是否满足预设要求；若满足，则可以获取最终的损失函数以及与损失函数对应的训练后的神经网络模型。同时还需要再次利用训练后的神经网络模型进行图像分类训练，以获取图像分类训练的基于梯度激活热力图的识别准确度，并根据图像分类训练的基于梯度激活热力图的识别准确度再次判断训练后的神经网络模型是否满足预设识别精度。本申请通过引入新的损失函数，在对神经网络训练过程中验证损失函数是否满足要求后；再次对训练后的神经网络进行基于梯度激活热力图的识别准确度的验证，通过多次验证以提高利用神经网络进行图像分类训练时的精度。
在本申请的一些实施例中，热力图生成单元602还可以用于：在训练第一神经网络模型时，利用梯度激活热力图策略判断训练图像中每个像素为异常像素对应的热力图阈值；判断像素为异常像素对应的热力图阈值是否大于等于目标热力图阈值；若像素为异常像素对应的热力图阈值大于等于目标热力图阈值，则确认像素为异常像素，将异常像素划分到异常区域，得到预测异常区域标注。
在本申请的一些实施例中，损失函数校验单元603还可以用于：获取第一神经网络模型对应的初始损失函数；在对第一神经网络模型训练的过程中，获取多个不同的预测异常区域标注；根据真实异常区域标注和多个不同的预测异常区域标注，计算得到初始损失函数对应的多个不同的损失函数值；判断多个损失函数值是否不再减小；若多个损失函数值不再减小，则确定当损失函数值不再减小时对应的损失函数，即为第一损失函数。
在本申请的一些实施例中，模型校验单元604还可以用于：利用第二神经网络模型对预设的待分类图像进行分类识别，以确定待分类图像对应的图像类别和热力图特征；确定待分类图像中样本分类正确且热力图特征正确的第一图像，以及第一图像对应的第一数量；确定待分类图像中样本分类正确且热力图特征错误的第二图像，以及第二图像对应的第二数量；根据第一数量和第二数量，计算得到基于梯度激活热力图的图像分类的识别准确度；根据识别准确度判断第二神经网络模型是否满足预设识别精度要求。
在本申请的一些实施例中，模型校验单元604还可以用于：获取预设的待分类图像的第三数量；计算第一数量和第二数量之间的数量差值；对第三数量和数量差值做预设计算，得到基于梯度激活热力图的图像分类的识别准确度。
在本申请的一些实施例中，模型校验单元604还可以用于：判断识别准确度是否大于等于预设精度阈值；若识别准确度大于等于预设精度阈值，则第二神经网络模型满足预设识别精度要求。
本申请还提供一种服务器，其集成了本申请实施例所提供的任一种基于深度学习的图像分类训练装置，如图7所示，其示出了本申请实施例所涉及到的服务器的结构示意图，具体来讲：
该服务器可以包括一个或者一个以上处理核心的处理器701、一个或一个以上计算机可读存储介质的存储器702、电源703和输入单元704等部件。本领域技术人员可以理解，图4中示出的服务器结构并不构成对服务器的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器701是该服务器的控制中心，利用各种接口和线路连接整个服务器的各个部分，通过运行或执行存储在存储器702内的软件程序和/或模型，以及调用存储在存储器702内的数据，执行服务器的各种功能和处理数据，从而对服务器进行整体监控。可选的，处理器701可包括一个或多个处理核心；优选的，处理器701可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器701中。
存储器702可用于存储软件程序以及模型，处理器701通过运行存储在存储器702的软件程序以及模型，从而执行各种功能应用以及数据处理。存储器702可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据服务器的使用所创建的数据等。此外，存储器702可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器702还可以包括存储器控制器，以提供处理器701对存储器702的访问。
服务器还包括给各个部件供电的电源703，优选的，电源703可以通过电源管理系统与处理器701逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源703还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该服务器还可包括输入单元704，该输入单元704可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，服务器还可以包括显示单元等，在此不再赘述。具体在本实施例中，服务器中的处理器701会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器702中，并由处理器701来运行存储在存储器702中的应用程序，从而实现各种功能，如下：
利用预设分类后的训练图像对预设第一神经网络模型进行训练，得到训练后的第二神经网络模型，训练图像中包括图像的真实异常区域标注；在训练第一神经网络模型时，利用梯度激活热力图策略获取训练图像对应的预测异常区域标注；根据训练图像的预测异常区域标注和真实异常区域标注，判断第二神经网络模型对应的第一损失函数否满足预设要求；若第一损失函数满足预设要求，利用第二神经网络模型获取基于梯度激活热力图的图像分类的识别准确度，并根据识别准确度判断第二神经网络模型是否满足预设识别精度要求；若第二神经网络模型不满足预设识别精度要求，则继续对第一神经网络模型进行训练，直至满足预设识别精度要求。
本申请还提供一种计算机可读存储介质，该存储介质可以包括：只读存储器（ROM，Read Only Memory）、随机存取记忆体（RAM，Random Access Memory）、磁盘或光盘等。存储介质存储有计算机程序，该计算机程序被处理器进行加载，以执行本申请实施例所提供的任一种图像分类训练方法中的步骤。例如，所述计算机程序被处理器进行加载可以执行如下步骤：
利用预设分类后的训练图像对预设第一神经网络模型进行训练，得到训练后的第二神经网络模型，训练图像中包括图像的真实异常区域标注；在训练第一神经网络模型时，利用梯度激活热力图策略获取训练图像对应的预测异常区域标注；根据训练图像的预测异常区域标注和真实异常区域标注，判断第二神经网络模型对应的第一损失函数否满足预设要求；若第一损失函数满足预设要求，利用第二神经网络模型获取基于梯度激活热力图的图像分类的识别准确度，并根据识别准确度判断第二神经网络模型是否满足预设识别精度要求；若第二神经网络模型不满足预设识别精度要求，则继续对第一神经网络模型进行训练，直至满足预设识别精度要求。
需要说明的是，本申请实施例方法由于是在电子设备中执行，各电子设备的处理对象均以数据或信息的形式存在，例如时间，实质为时间信息，可以理解的是，后续实施例中若提及尺寸、数量、位置等，均为对应的数据存在，以便电子设备进行处理，具体此处不作赘述。
以上对本申请实施例所提供的一种图像分类训练方法、装置、服务器及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种图像分类训练方法，其特征在于，所述方法包括：
利用预设分类后的训练图像对预设第一神经网络模型进行训练，得到训练后的第二神经网络模型，所述训练图像中包括图像的真实异常区域标注；
在训练所述第一神经网络模型时，利用预设梯度激活热力图策略获取所述训练图像对应的预测异常区域标注；
根据所述训练图像的真实异常区域标注和所述预测异常区域标注，判断所述第二神经网络模型对应的第一损失函数否满足预设要求；
若所述第一损失函数满足预设要求，利用所述第二神经网络模型获取基于梯度激活热力图的图像分类的识别准确度，并根据所述识别准确度判断所述第二神经网络模型是否满足预设识别精度要求；
若所述第二神经网络模型不满足预设识别精度要求，则继续对所述第一神经网络模型进行训练，直至满足预设识别精度要求。
2.根据权利要求1所述的图像分类训练方法，其特征在于，在利用预设分类后的训练图像对预设第一神经网络模型进行训练，得到训练后的第二神经网络模型之前，所述方法还包括：
获取初始图像集，所述初始图像集中包括多个初始图像；
对所述初始图像进行分类，得到颗粒图像和非颗粒图像；
标注所述颗粒图像中的颗粒区域，以及所述非颗粒图像中的非颗粒区域，得到所述预设分类后的训练图像。
3.根据权利要求2所述的图像分类训练方法，其特征在于，所述在训练所述第一神经网络模型时，利用预设梯度激活热力图策略获取所述训练图像对应的预测异常区域标注，包括：
在训练所述第一神经网络模型时，利用所述梯度激活热力图策略判断所述训练图像中每个像素为异常像素对应的热力图阈值；
判断像素为异常像素对应的热力图阈值是否大于等于目标热力图阈值；
若像素为异常像素对应的热力图阈值大于等于所述目标热力图阈值，则确认所述像素为异常像素，将所述异常像素划分到异常区域，得到所述预测异常区域标注。
4.根据权利要求3所述的图像分类训练方法，其特征在于，所述根据所述训练图像真实异常区域标注和所述预测异常区域标注，确定所述第二神经网络模型对应的第一损失函数否满足预设要求，包括：
获取所述第一神经网络模型对应的初始损失函数；
在对所述第一神经网络模型训练的过程中，获取多个不同的预测异常区域标注；
根据所述真实异常区域标注和所述多个不同的预测异常区域标注，计算得到所述初始损失函数对应的多个不同的损失函数值；
判断所述多个不同的损失函数值是否不再减小；
若所述多个不同的损失函数值不再减小，则确定当所述损失函数值不再减小时对应的损失函数，即为所述第一损失函数。
5.根据权利要求2所述的图像分类训练方法，其特征在于，所述若所述第一损失函数满足预设要求，利用所述第二神经网络模型获取基于梯度激活热力图的图像分类的识别准确度，并根据所述识别准确度判断所述第二神经网络模型是否满足预设识别精度要求，包括：
利用所述第二神经网络模型对预设的待分类图像进行分类识别，以确定所述待分类图像对应的图像类别和热力图特征；
确定所述待分类图像中样本分类正确且热力图特征正确的第一图像，以及所述第一图像对应的第一数量；
确定所述待分类图像中样本分类正确且热力图特征错误的第二图像，以及所述第二图像对应的第二数量；
根据所述第一数量和所述第二数量，计算得到基于梯度激活热力图的图像分类的识别准确度；
根据所述识别准确度判断所述第二神经网络模型是否满足预设识别精度要求。
6.根据权利要求5所述的图像分类训练方法，其特征在于，所述根据所述第一数量和所述第二数量，计算得到基于梯度激活热力图的图像分类的识别准确度，包括：
获取所述预设的待分类图像的第三数量；
计算所述第一数量和所述第二数量之间的数量差值；
对所述第三数量和所述数量差值做预设计算，得到基于梯度激活热力图的图像识别的识别准确度。
7.根据权利要求6所述的图像分类训练方法，其特征在于，所述根据所述识别准确度判断所述第二神经网络模型是否满足预设识别精度要求，包括：
判断所述识别准确度是否大于等于预设精度阈值；
若所述识别准确度大于等于所述预设精度阈值，则确定所述第二神经网络模型满足预设识别精度要求。
8.一种图像分类训练装置，其特征在于，所述装置包括：
第一训练单元，用于利用预设分类后的训练图像对预设第一神经网络模型进行训练，得到训练后的第二神经网络模型，所述训练图像中包括图像的真实异常区域标注；
热力图生成单元，用于在训练所述第一神经网络模型时，利用预设梯度激活热力图策略获取所述训练图像对应的预测异常区域标注；
损失函数校验单元，用于根据所述训练图像的真实异常区域标注和所述预测异常区域标注，判断所述第二神经网络模型对应的第一损失函数否满足预设要求；
模型校验单元，用于若所述第一损失函数满足预设要求，利用所述第二神经网络模型获取基于梯度激活热力图的图像分类的识别准确度，并根据所述识别准确度判断所述第二神经网络模型是否满足预设识别精度要求；
第二训练单元，用于若所述第二神经网络模型不满足预设识别精度要求，则继续对所述第一神经网络模型进行训练，直至满足预设识别精度要求。
9.一种服务器，其特征在于，所述服务器包括：
一个或多个处理器；
存储器；以及
一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现权利要求1至7中任一项所述的图像分类训练方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行权利要求1至7任一项所述的图像分类训练方法中的步骤。
CN202111302734.1A 2021-11-05 2021-11-05 一种图像分类训练方法、装置、服务器及存储介质 Active CN113743543B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111302734.1A CN113743543B (zh) 2021-11-05 2021-11-05 一种图像分类训练方法、装置、服务器及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111302734.1A CN113743543B (zh) 2021-11-05 2021-11-05 一种图像分类训练方法、装置、服务器及存储介质

Publications (2)

Publication Number Publication Date
CN113743543A CN113743543A (zh) 2021-12-03
CN113743543B true CN113743543B (zh) 2022-02-08

Family

ID=78727465

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111302734.1A Active CN113743543B (zh) 2021-11-05 2021-11-05 一种图像分类训练方法、装置、服务器及存储介质

Country Status (1)

Country Link
CN (1) CN113743543B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116934709B (zh) * 2023-07-20 2024-04-02 北京长木谷医疗科技股份有限公司 一种基于弱监督学习的脊柱滑脱智能识别方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108090096B (zh) * 2016-11-23 2020-11-06 北京国双科技有限公司 获取热力图的方法和装置
WO2019014649A1 (en) * 2017-07-14 2019-01-17 Memorial Sloan Kettering Cancer Center LOW SUPERVISED IMAGE CLASSIFIER
JP2020075063A (ja) * 2018-11-09 2020-05-21 イーグロース株式会社 画像補間・臓器抽出装置およびそのプログラム
CN109858482B (zh) * 2019-01-16 2020-04-14 创新奇智(重庆)科技有限公司 一种图像关键区域检测方法及其系统、终端设备
CN111046959A (zh) * 2019-12-12 2020-04-21 上海眼控科技股份有限公司 模型训练方法、装置、设备和存储介质
CN112560999B (zh) * 2021-02-18 2021-06-04 成都睿沿科技有限公司 一种目标检测模型训练方法、装置、电子设备及存储介质
CN113506287A (zh) * 2021-07-27 2021-10-15 陕西师范大学 全视野病理切片图像分类方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN113743543A (zh) 2021-12-03

Similar Documents

Publication Publication Date Title
US20220051405A1 (en) Image processing method and apparatus, server, medical image processing device and storage medium
EP3742451B1 (en) Apparatus for predicting metadata of medical image and method thereof
CN110738235B (zh) 肺结核判定方法、装置、计算机设备及存储介质
CN111079833B (zh) 图像识别方法、装置以及计算机可读存储介质
CN111275707B (zh) 肺炎病灶分割方法和装置
CN110179465A (zh) 机械通气脱机量化评估方法、装置、设备和存储介质
CN112151179A (zh) 影像数据评估方法、装置、设备及存储介质
CN113344927A (zh) 基于深度学习的图像识别方法、装置、服务器及存储介质
CN113743543B (zh) 一种图像分类训练方法、装置、服务器及存储介质
CN116091432A (zh) 一种用于医疗内窥镜检查的质控方法、装置及计算机设备
CN113344926B (zh) 胆胰超声图像识别方法、装置、服务器及存储介质
CN113822144A (zh) 一种目标检测方法、装置、计算机设备和存储介质
CN111275059B (zh) 一种图像处理方法、装置和计算机可读存储介质
CN115298705A (zh) 车牌识别方法、装置、电子设备及存储介质
CN114419135B (zh) 胰腺标志物尺寸量化方法、装置、终端及可读存储介质
CN110543364A (zh) 一种医学影像快速加载方法及系统
WO2023108418A1 (zh) 脑图谱构建及神经环路检测的方法和相关产品
CN113706536B (zh) 滑镜风险预警方法、装置及计算机可读存储介质
CN115035133A (zh) 一种模型训练方法、图像分割方法及相关装置
CN115526882A (zh) 一种医学图像的分类方法、装置、设备及存储介质
CN114462522A (zh) 肺癌生存期预测模型训练、预测方法、系统、装置及介质
CN114462526A (zh) 一种分类模型训练方法、装置、计算机设备及存储介质
CN113903433A (zh) 一种图像处理方法、装置和电子设备
CN114187281A (zh) 一种图像处理方法、装置、电子设备和存储介质
CN114898888B (zh) 医学数据处理方法、装置、计算机设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant