CN111797923A - 图像分类模型的训练方法、图像分类的方法及装置 - Google Patents

图像分类模型的训练方法、图像分类的方法及装置 Download PDF

Info

Publication number
CN111797923A
CN111797923A CN202010630004.3A CN202010630004A CN111797923A CN 111797923 A CN111797923 A CN 111797923A CN 202010630004 A CN202010630004 A CN 202010630004A CN 111797923 A CN111797923 A CN 111797923A
Authority
CN
China
Prior art keywords
image
classification model
image classification
training
microscopic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010630004.3A
Other languages
English (en)
Inventor
宋丽
刘利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yueshi Intelligent Technology Co ltd
Original Assignee
Beijing Yueshi Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yueshi Intelligent Technology Co ltd filed Critical Beijing Yueshi Intelligent Technology Co ltd
Priority to CN202010630004.3A priority Critical patent/CN111797923A/zh
Publication of CN111797923A publication Critical patent/CN111797923A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification

Abstract

本发明公开了一种图像分类模型的训练方法、图像分类的方法及装置。具体包括：对多个显微图像样本进行特征提取，得到多个第一特征图；对所述多个第一特征图进行特征增强处理，得到多个第二特征图；利用所述多个显微图像样本和所述多个第二特征图，迭代训练图像分类模型，以得到目标图像分类模型。根据本发明实施例，能够提升显微图像数据样本利用率，减少数据噪声的负面影响，提升显微图像分类模型的训练效率。

Description

图像分类模型的训练方法、图像分类的方法及装置
技术领域
本发明属于计算机技术领域，尤其涉及一种图像分类模型的训练方法、图像分类的方法、装置、设备及存储介质。
背景技术
医学显微图像是进行医疗诊断的重要参考依据，对显微图像有效地识别分析，可以为专业医护人员提供可靠医疗诊断辅助。目前，常用基于深度学习模型的图像分析的方法，对显微图像进行图像分类等研究分析。
由于与自然图像相比，显微图像数据的获取往往更为困难、图像质量相对不好，例如，采集到的显微图像可能会存在部分清晰、部分模糊的情况，为了提高显微图像数据的深度学习模型的分类识别能力，通常会对显微图像数据的进行数据增强处理。
但是，相关技术中的显微图像数据增强处理仍存在一些缺陷，例如，较易引入数据噪声，并不能总是确保数据增强的良好效果，进而导致深度学习模型难以准确快速地学习新图像的特征。
发明内容
本发明实施例提供一种图像分类模型的训练方法、图像分类的方法、装置、设备及存储介质，能够提升显微图像数据样本利用率，减少数据噪声的负面影响，提升显微图像分类模型的训练效率。
第一方面，本发明实施例提供一种图像分类模型的训练方法，该方法包括：
对多个显微图像样本进行特征提取，得到多个第一特征图；
对所述多个第一特征图进行特征增强处理，得到多个第二特征图；
利用所述多个显微图像样本和所述多个第二特征图，迭代训练图像分类模型，以得到目标图像分类模型。
可选地，在所述对多个显微图像样本集合进行特征提取之前，还包括：
获取多个待处理显微图像样本；
对所述多个待处理显微图像样本进行数据增强处理，得到所述多个显微图像样本；
其中，每个所述待处理显微图像样本包括样本显微图像及所述样本显微图像的样本标签。
可选地，所述对多个待处理显微图像样本进行数据增强处理，得到所述多个显微图像样本，包括：
将所述多个待处理显微图像样本进行两两组合，得到多个显微图像样本对；
分别对每个所述显微图像样本对进行图像叠加处理，得到增强后的所述多个显微图像样本。
可选地，所述对多个第一特征图进行特征增强处理，得到多个第二特征图，包括：
将提取到的所述显微图像样本的第一特征图进行两两组合，得到多个第一特征图对；
分别对所述每个第一特征图对进行图像叠加处理，得到所述多个第二特征图。
可选地，所述利用多个显微图像样本和所述多个第二特征图，迭代训练图像分类模型，以得到目标图像分类模型，包括：
利用所述多个显微图像样本和所述多个第二特征图，确定待训练的所述图像分类模型的损失函数；
根据待训练的所述图像分类模型的损失函数值调整待训练的所述图像分类模型的模型参数；
利用所述多个显微图像样本和所述多个第二特征图，对调整后的所述图像分类模型进行迭代训练，直至满足预设训练停止条件，以得到所述目标图像分类模型。
可选地，所述预设训练停止条件包括：
迭代次数达到预设次数阈值；或，
待训练的所述图像分类模型的损失函数与上一次迭代过程中确定的损失函数之间的差值不超过预设差值阈值。
可选地，所述方法，还包括：
根据所述显微图像样本对应的特征向量与所述第二特征图对应的特征向量之间的L2距离、第一交叉熵损失函数和第二交叉熵损失函数，计算得到所述图像分类模型的损失函数。
可选地，所述图像叠加处理包括整体图像叠加处理和局部图像叠加处理中的至少一种。
第二方面，本发明实施例提供了一种图像分类的方法，包括：
获取待处理的显微图像；
将所述显微图像输入利用第一方面以及第一方面可选所述的图像分类模型的训练方法训练得到的所述目标图像分类模型中，输出对所述显微图像的分类识别结果。
第三方面，本发明实施例提供了一种图像分类模型的训练装置，装置包括：
提取模块，用于对多个显微图像样本进行特征提取，得到多个第一特征图；
处理模块，用于对所述多个第一特征图进行特征增强处理，得到多个第二特征图；
训练模块，用于利用所述多个显微图像样本和所述多个第二特征图，迭代训练图像分类模型，以得到目标图像分类模型。
第四方面，本发明实施例提供了一种图像分类的装置，所述装置包括：
获取模块，用于获取待分类的显微图像；
识别模块，用于将所述显微图像输入利用第一方面以及第一方面可选所述的图像分类模型的训练方法训练得到的所述目标图像分类模型中，输出对所述显微图像的分类识别结果。
第五方面，本发明实施例提供了一种图像分类模型的训练设备，设备包括：处理器以及存储有计算机程序指令的存储器；
所述处理器执行所述计算机程序指令时实现如第一方面及第一方面可选的所述的图像分类模型的训练方法。
第六方面，本发明实施例提供了一种图像分类的设备，设备包括：处理器以及存储有计算机程序指令的存储器；
所述处理器执行所述计算机程序指令时实现如第二方面所述的图像分类的方法。
第七方面，本发明实施例提供了一种计算机存储介质，计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如第一方面及第一方面可选的所述的图像分类模型的训练方法，和/或，如第二方面所述的图像分类的方法。
本发明实施例的一种图像分类模型的训练方法、图像分类方法、装置、设备及计算机存储介质，能够在显微图像分类模型训练的过程中，通过对提取的显微图像的特征图进行特征级别上的增强和约束，尽可能减少数据增强处理中引入的噪声，提升图像数据样本利用率，确保数据增强的良好效果，以使显微图像分类模型可以准确快速地学习新图像的特征，提升图像分类模型的训练效率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一些实施例提供的图像分类模型的训练方法的流程示意图；
图2是本发明另一些实施例提供的图像分类模型的训练方法的流程示意图；
图3是本发明一些实施例提供的图像分类的方法的流程示意图；
图4是本发明另一些实施例提供的图像分类模型的训练装置的结构示意图；
图5是本发明另一些实施例提供的图像分类的装置的结构示意图；
图6是本发明另一些实施例提供的图像分类模型的训练设备硬件结构示意图；
图7是本发明另一些实施例提供的图像分类设备的硬件结构示意图。
具体实施方式
下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
通常，利用显微图像在深度学习模型训练的过程中，分类任务面临着一些问题：如，显微图像样本标签集合元素多，在低倍镜下的显微图像中的目标比较小。一张显微图像上会存在多个标签，且单个标签在图像上对应的目标数量范围广，相比于自然场景下的单一类别的分类任务，显微图像的高维语义特征提取会更复杂；高倍镜下，对焦过程中由于细胞的重叠，采集到的图像可能会存在部分清晰、部分模糊的情况，影响了显微图像的质量；显微图像分布广，除了光照等自然条件外，还有涂片、保存、扫描采集等多个阶段中的影响因素，获取到的显微图像的分布大多是不一致的。为了提高显微图像数据的深度学习模型的分类识别能力，通常会对显微图像数据样本的进行数据增强处理。
但相关技术中的显微图像数据增强处理仍存在一些缺陷，例如，直接利用加权标签，较易引入数据噪声，并不能总是确保数据增强的良好效果，进而导致深度学习模型难以准确快速地学习新图像的特征。
为了解决现有技术问题，本发明实施例提供了一种图像分类模型的训练方法、图像分类方法、装置、设备及存储介质，通过对提取的显微图像的特征图进行特征级别上的增强和约束，降低直接单纯利用加权标签所产生的噪声。利用特征提取的过程化增强，辅助模型的学习。既可以提升样本数据的利用率，也可以提升图像分类模型的训练效率。
下面结合附图，描述根据本申请实施例提供的图像分类模型的训练方法、图像分类方法、装置、设备及存储介质。应注意，这些实施例并不是用来限制本申请公开的范围。
下面首先对本申请实施例所提供的图像分类模型的训练方法进行介绍。
图1是本发明一个实施例提供的图像分类模型的训练方法的流程示意图。如图1所示，在本发明实施例中，该图像分类模型的训练方法，具体实施为如下步骤：
S101：对多个显微图像样本进行特征提取，得到多个第一特征图。
这里，多个显微图像样本可以为多个显微图像训练样本，即显微图像训练样本集，该显微图像训练样本集可以包括样本显微图像及样本显微图像的样本标签。
S102：对多个第一特征图进行特征增强处理，得到多个第二特征图。
S103：利用多个显微图像样本和多个第二特征图，迭代训练图像分类模型，以得到目标图像分类模型。
这里，图像分类模型可以包括卷积神经网络模型。该卷积神经网络模型可以由特征提取网络和分类网络组成，将显微图像样本输入卷积神经网络模型，经过特征提取网络得到第二特征图，再经过分类网络得到特征向量，以输出分类识别的结果。
综上，在本发明实施例中，该图像分类模型训练的方法，能够在显微图像分类模型训练的过程中，通过对提取的显微图像的特征图进行特征级别上的增强约束，尽可能减少数据增强处理中引入的噪声，降低直接单纯利用加权标签所产生的噪声。由此，基于该方法可以提升图像数据样本利用率，确保数据增强的良好效果，以使显微图像分类模型可以准确快速地学习新图像的特征，提升图像分类模型的训练效率。
在本发明实施例中，如图2所示，图2是本申请一些实施例提供的图像分类模型的训练方法的流程示意图。前述实施例中的图像分类模型的训练方法可以扩展实施为如下步骤：
S201：获取多个待处理显微图像样本。
这里，每个待处理显微图像样本可以包括样本显微图像及所述样本显微图像的样本标签。
S202：对多个待处理显微图像样本进行数据增强处理，得到所述多个显微图像样本。
这里，数据增强处理具体是指基于有限的数据生成更多同样有效的数据，丰富训练数据的分布，使通过训练集得到的模型泛化能力更强。也就是说，在图像分类任务中，训练一个好的分类模型往往需要大量的图像样本数据，并且对于处理不同于训练数据分布的图像，也要具备一定的精确度。如何从已有的图像数据中创造出“新”的数据，称为数据增强。
其中，数据增强处理的方式可以包括旋转变换，翻转变换，缩放变换，平移变换，尺度变换，对比度变换，噪声扰动，颜色变换以及图像叠加处理中的一个或者多个处理方式。
示例性的，对于一张显微图像A，可以对其进行亮度、对比度等调节，也可以在显微图像A上添加高斯噪声，或者对显微图像A的某个区域进行遮挡等等。对于一个显微图像对A，B来说，针对两张图的增强还可以进行图像叠加处理。
在本发明实施例中，在对多个待处理显微图像样本进行数据增强处理时，可以将多个待处理显微图像样本进行两两组合，得到多个显微图像样本对。
具体地，待处理显微图像样本的组合方式可以是随机两两组合，得到多个显微图像样本对后，可以分别对每个显微图像样本对进行图像叠加处理，得到增强后的所述多个显微图像样本。
这里，该图像叠加处理包括整体图像叠加处理和局部图像叠加处理中的至少一种。
具体地，在对每个显微图像样本对进行整体图像叠加处理时，示例性的，一个显微图像样本对A，B，可以通过公式(1)进行整体图像叠加处理，得到新的显微图像样本NewI：
NewI＝p×IA+(1-p)×IB,p∈[0,1] (1)
其中，IA表示显微图像样本A，IB表示显微图像样本B，p表示预设系数。
在对每个显微图像样本对进行局部图像叠加处理时，示例性的，一个显微图像样本对A，B，可以扣取显微图像样本B的预设位置的预设大小的矩形图像，将该矩形图像放置显微图像样本A上，进行图像叠加处理。例如，扣取显微图像样本B的左上角的10×10像素的矩形图像，将该矩形图像放置显微图像样本A上，完成局部图像叠加处理。
可选地，局部图像叠加处理可以叠加多个图像框，具体数量可以根据实际需求选定。为了方便选择了图像框，实际应用中，可以选取任意形状图像框，不仅限于矩形等形。同时，也可以通过离散选取像素格子的方式选取用于局部叠加的图像。
可选地，这里，对每个显微图像样本对进行图像叠加处理，可以用如下矩阵形式表示：
整体图像叠加矩阵形式表示：
NewI＝Ones×p×IA+Ones×(1-p)×IB,p∈[0,1] (2)
其中，IA表示显微图像样本A，IB表示显微图像样本B，p表示预设系数,Ones表示单位矩阵，NewI表示增强后的显微图像样本。
局部图像叠加矩阵形式表示：
NewI＝MaskA×IA+MaskB×IB,MaskA+MaskB＝Ones (3)
其中，IA表示显微图像样本A，IB表示显微图像样本B，p表示预设系数，Ones表示单位矩阵，NewI表示增强后的显微图像样本，MaskA表示显微图像样本A的掩码，MaskB表示显微图像样本B的掩码。
预设系数p，即叠加的参数，与样本标签没有直接联系，所以通过添加关于数据增强的约束条件，以此避免了在对于增强样本的损失计算时，因直接对样本标签进行计算加权损失而引入的噪声。并且，还可以直接利用图像样本A，B本身的损失进行监督。
可以理解的是，这里，主要是对显微图像训练样本的数据增加。通过对显微图像训练样本进行数据增强处理，可以增加训练数据，提升卷积神经网络的准确率，避免过拟合。
S203：对多个显微图像样本进行特征提取，得到多个第一特征图。
可选地，利用卷积神经网络模型的特征提取网络，对输入卷积神经网络模型的多个显微图像样本进行特征提取，得到多个第一特征图。
S204：对多个第一特征图进行特征增强处理，得到多个第二特征图。
这里，可以应用S203的数据增强处理方式，对多个第一特征图进行特征增强处理。
具体地，在本发明实施例中，在对多个第一特征图进行数据增强处理时，对于可以将提取到的所述显微图像样本的第一特征图进行两两组合，得到多个第一特征图对。
分别对每个第一特征图对进行图像叠加处理，得到多个第二特征图。
可选地，该图像叠加处理可以包括整体图像叠加处理和局部图像叠加处理中的至少一种。具体地，这里，对每个第一特征图对进行图像叠加处理，可以应用S203中的对每个显微图像样本对进行图像叠加处理的方式。
示例性的，在对每个第一特征图对进行整体图像叠加处理时，一个第一特征图对A，B，可以通过公式(4)进行整体图像叠加处理，得到第二特征图NewI：
Figure BDA0002568233770000091
其中，
Figure BDA0002568233770000092
表示显微图像样本对应的第一特征图，即IA通过特征提取网络得到的特征图，
Figure BDA0002568233770000093
表示显微图像样本B对应的第一特征图，p表示预设系数。
可选地，这里，对每个第一特征图对进行图像叠加处理，还可以用如下矩阵形式表示：
整体图像叠加矩阵形式表示：
Figure BDA0002568233770000101
其中，
Figure BDA0002568233770000102
表示IA对应的第一特征图，
Figure BDA0002568233770000103
表示IB对应的第一特征图，p表示预设系数,Ones表示单位矩阵，NewI表示第二特征图。
局部图像叠加矩阵形式表示：
Figure BDA0002568233770000104
MaskA+MaskB＝Ones
其中，
Figure BDA0002568233770000105
表示IA对应的第一特征图，
Figure BDA0002568233770000106
表示IB对应的第一特征图，p表示预设系数,Ones表示单位矩阵，NewI表示第二特征图，MaskA表示IA对应的第一特征图的掩码，MaskB表示IB对应的第一特征图的掩码。
此外，这里，每个第一特征图对进行图像叠加处理时，可以把掩码mask由非参数矩阵变成参数化矩阵，进而可以将该数据增强操作参数化，作为该用于图像分类的卷积神经网络模型的参数，以便于优化该卷积神经网络模型学习效果。
S205：利用多个显微图像样本和多个第二特征图，迭代训练图像分类模型，以得到目标图像分类模型。
这里，首先利用多个显微图像样本和多个第二特征图，确定待训练的所述图像分类模型的损失函数。然后，根据待训练的所述图像分类模型的损失函数值调整待训练的所述图像分类模型的模型参数。利用多个显微图像样本和多个第二特征图，对调整后的图像分类模型进行迭代训练，直至满足预设训练停止条件，以得到目标图像分类模型。
具体地，该预设训练停止条件可以为迭代次数达到预设次数阈值，或，待训练的所述图像分类模型的损失函数与上一次迭代过程中确定的损失函数之间的差值不超过预设差值阈值。
可选地，在本发明一些实施中，可以根据显微图像样本对应的特征向量与第二特征图对应的特征向量之间的L2距离、第一交叉熵损失函数和第二交叉熵损失函数，计算得到所述图像分类模型的损失函数。
具体地，该图像分类模型的损失函数L可以表示为如下公式(7)：
Figure BDA0002568233770000111
其中，Aug(IA,IB)表示对图像(IA,IB)的增强操作，
Figure BDA0002568233770000112
表示IA通过特征提取网络得到的特征图，即IA对应的第二特征图，同理
Figure BDA0002568233770000113
表示IB通过特征提取网络
Figure BDA0002568233770000114
得到的特征图，即IB对应的第二特征图。yA表示类别A，yB表示类别B。
Figure BDA0002568233770000115
表示第二特征图通过分类网络θ后的特征向量与增强后的显微图像样本通过分类网络θ后的特征向量之间的L2距离。
Figure BDA0002568233770000116
表示第一交叉熵损失函数，即IA对应的分类损失函数，
Figure BDA0002568233770000117
表示表示第二交叉熵损失函数，即IB对应的分类损失函数。
公式(7)表示了一张增强的图像Aug(IA,IB)通过特征提取网络
Figure BDA0002568233770000118
和分类网络θ得到的特征向量，和一张增强的特征图
Figure BDA0002568233770000119
通过分类网络θ的特征向量之间要尽可能的相近，同时保留IA,IB各自分类损失作为监督信息。
此外，对图像的增强操作可以表示如下矩阵形式：
Figure BDA00025682337700001110
Figure BDA00025682337700001111
其中，Maska是MaskA按照步长乘积相应缩小后的结果，同理，Maskb是MaskB按照步长乘积相应缩小后的结果。
综上，在本发明实施例中，在显微图像分类模型训练的过程中，通过上述数据增强处理，可以进一步地对训练数据进行图像级别和特征级别的增强约束，使图像级别和特征级别上的数据增强具有一致性。利用该图像级别的增强和特征级别的增强的一致性约束，可以降低直接利用加权标签所产生的噪声，以辅助图像分类模型的学习。由此，基于该图像分类模型训练的方法，可以进一步地提升图像数据样本利用率，确保数据增强的良好效果，以使显微图像分类模型可以准确快速地学习新图像的特征，提升图像分类模型的训练效率。
下面对本发明实施例所提供的图像分类的方法进行详细的介绍。
图3是本发明一个实施例提供的图像分类的方法的流程示意图。如图3所示，在本发明实施例中，该图像分类的方法可以包括以下步骤：
S301：获取待分类的显微图像。
S302：将显微图像输入目标图像分类模型中，输出显微图像的分类识别结果。
这里，该图像分类模型可以是利用上述实施例中的图像分类模型的训练方法训练得到的目标图像分类模型。
综上，本发明实施例中，该图像分类的方法，通过利用前述实施例中的图像分类模型的训练方法训练得到的图像分类模型，由于该图像分类模型具有较好的识别效果，进而可以提升对显微图像进行分类识别的准确性。
基于上述实施例提供的图像分类模型的训练方法，相应地，本申请还提供了图像分类模型的训练装置的具体实现方式。请参见以下实施例。
在本发明一实施例中，如图4所示，图4是本发明另一个实施例提供的图像分类模型的训练装置的结构示意图，该图像分类模型的训练装置，具体包括：
提取模块401，用于对多个显微图像样本进行特征提取，得到多个第一特征图；
处理模块402，用于对所述多个第一特征图进行特征增强处理，得到多个第二特征图；
训练模块403，用于利用所述多个显微图像样本和所述多个第二特征图，迭代训练图像分类模型，以得到目标图像分类模型。
图4所示装置中的各个模块/单元具有实现图1和图2所示方法中各个步骤的功能，并能达到其相应的技术效果，为简洁描述，在此不再赘述。
综上，在本发明实施例中，该图像分类模型的训练装置可以用于实现前述实施例中的图像分类模型训练的方法，能够在显微图像分类模型训练的过程中，通过对提取的显微图像的特征图进行特征级别上的增强和约束，尽可能减少数据增强处理中引入的噪声，降低直接单纯利用加权标签所产生的噪声。由此，基于该方法可以提升图像数据样本利用率，确保数据增强的良好效果，以使显微图像分类模型可以准确快速地学习新图像的特征，提升图像分类模型的训练效率。
基于上述实施例提供的图像分类的方法，相应地，本申请还提供了图像分类的装置的具体实现方式。请参见以下实施例。
在本发明一实施例中，如图5所示，图5是本发明另一个实施例提供的图像分类的装置的结构示意图，该图像分类的装置，具体包括：
获取模块501，用于获取待分类的显微图像。
识别模块502，用于将显微图像输入目标图像分类模型中，输出显微图像的分类识别结果。
这里，该图像分类模型可以是利用上述实施例中的图像分类模型的训练方法训练得到的目标图像分类模型。
综上，本发明实施例中，该图像分类的装置可以用于实现前述实施例中的图像分类的方法，该方法通过利用前述实施例中的图像分类模型的训练方法训练得到的图像分类模型，由于该图像分类模型具有较好的识别效果，进而可以提升对显微图像进行分类识别的准确性。
基于上述实施例提供的图像分类模型的训练方法和图像分类方法，相应地，本申请还提供了图像分类模型的训练设备和图像分类设备的具体硬件结构说明。请参见以下实施例。
图6示出了本发明实施例提供的图像分类模型的训练设备硬件结构示意图。
图像分类模型的训练设备可以包括处理器601以及存储有计算机程序指令的存储器602。
具体地，上述处理器601可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本发明实施例的一个或多个集成电路。
存储器602可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器602可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器602可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器602可在综合网关容灾设备的内部或外部。在特定实施例中，存储器802是非易失性固态存储器。在特定实施例中，存储器602包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器601通过读取并执行存储器602中存储的计算机程序指令，以实现上述实施例中的任意一种图像分类模型的训练方法。
在一个示例中，图像分类模型的训练设备还可包括通信接口603和总线610。其中，如图6所示，处理器601、存储器602、通信接口603通过总线610连接并完成相互间的通信。
通信接口603，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。
总线610包括硬件、软件或两者，将图像分类模型的训练设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线610可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。
该图像分类模型的训练设备可以执行本发明实施例中的图像分类模型的训练方法，从而实现结合图1和图2描述的图像分类模型的训练方法。
图7示出了本发明实施例提供的图像分类设备的硬件结构示意图。
图像分类的设备可以包括处理器701以及存储有计算机程序指令的存储器702。
具体地，上述处理器701可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本发明实施例的一个或多个集成电路。
存储器702可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器702可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器702可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器702可在综合网关容灾设备的内部或外部。在特定实施例中，存储器702是非易失性固态存储器。在特定实施例中，存储器702包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器701通过读取并执行存储器702中存储的计算机程序指令，以实现上述实施例中的任意一种图像分类的方法。
在一个示例中，图像分类的设备还可包括通信接口703和总线710。其中，如图7所示，处理器701、存储器702、通信接口703通过总线710连接并完成相互间的通信。
通信接口703，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。
总线710包括硬件、软件或两者，将图像分类的设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线710可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。
该图像分类的设备可以执行本发明实施例中的图像分类的方法，从而实现结合图3描述的图像分类的方法。
另外，结合上述实施例中的图像分类模型的训练方法，本发明实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种图像分类模型的训练方法。
另外，结合上述实施例中的图像分类的方法，本发明实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种图像分类的方法。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。

Claims (14)

1.一种图像分类模型的训练方法，其特征在于，包括：
对多个显微图像样本进行特征提取，得到多个第一特征图；
对所述多个第一特征图进行特征增强处理，得到多个第二特征图；
利用所述多个显微图像样本和所述多个第二特征图，迭代训练图像分类模型，以得到目标图像分类模型。
2.根据权利要求1所述的方法，其特征在于，在所述对多个显微图像样本集合进行特征提取之前，还包括：
获取多个待处理显微图像样本；
对所述多个待处理显微图像样本进行数据增强处理，得到所述多个显微图像样本；
其中，每个所述待处理显微图像样本包括样本显微图像及所述样本显微图像的样本标签。
3.根据权利要求2所述的方法，其特征在于，所述对多个待处理显微图像样本进行数据增强处理，得到所述多个显微图像样本，包括：
将所述多个待处理显微图像样本进行两两组合，得到多个显微图像样本对；
分别对每个所述显微图像样本对进行图像叠加处理，得到增强后的所述多个显微图像样本。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述对多个第一特征图进行特征增强处理，得到多个第二特征图，包括：
将提取到的所述显微图像样本的第一特征图进行两两组合，得到多个第一特征图对；
分别对所述每个第一特征图对进行图像叠加处理，得到所述多个第二特征图。
5.根据权利要求1所述的方法，其特征在于，所述利用多个显微图像样本和所述多个第二特征图，迭代训练图像分类模型，以得到目标图像分类模型，包括：
利用所述多个显微图像样本和所述多个第二特征图，确定待训练的所述图像分类模型的损失函数；
根据待训练的所述图像分类模型的损失函数值调整待训练的所述图像分类模型的模型参数；
利用所述多个显微图像样本和所述多个第二特征图，对调整后的所述图像分类模型进行迭代训练，直至满足预设训练停止条件，以得到所述目标图像分类模型。
6.根据权利要求5所述的方法，其特征在于，所述预设训练停止条件包括：
迭代次数达到预设次数阈值；或，
待训练的所述图像分类模型的损失函数与上一次迭代过程中确定的损失函数之间的差值不超过预设差值阈值。
7.根据权利要求5所述的方法，其特征在于，所述方法，还包括：
根据所述显微图像样本对应的特征向量与所述第二特征图对应的特征向量之间的L2距离、第一交叉熵损失函数和第二交叉熵损失函数，计算得到所述图像分类模型的损失函数。
8.根据权利要求4所述的方法，其特征在于，所述图像叠加处理包括整体图像叠加处理和局部图像叠加处理中的至少一种。
9.一种图像分类的方法，其特征在于，包括：
获取待处理的显微图像；
将所述显微图像输入利用权利要求1-8任意一项所述的图像分类模型的训练方法训练得到的所述目标图像分类模型中，输出对所述显微图像的分类识别结果。
10.一种图像分类模型的训练装置，其特征在于，所述装置包括：
提取模块，用于对多个显微图像样本进行特征提取，得到多个第一特征图；
处理模块，用于对所述多个第一特征图进行特征增强处理，得到多个第二特征图；
训练模块，用于利用所述多个显微图像样本和所述多个第二特征图，迭代训练图像分类模型，以得到目标图像分类模型。
11.一种图像分类的装置，其特征在于，所述装置包括：
获取模块，用于获取待分类的显微图像；
识别模块，用于将所述显微图像输入利用权利要求1-8任意一项所述的图像分类模型的训练方法训练得到的所述目标图像分类模型中，输出对所述显微图像的分类识别结果。
12.一种图像分类模型的训练设备，其特征在于，所述设备包括：处理器以及存储有计算机程序指令的存储器；
所述处理器执行所述计算机程序指令时实现如权利要求1-8任意一项所述的图像分类模型的训练方法。
13.一种图像分类的设备，其特征在于，所述设备包括：处理器以及存储有计算机程序指令的存储器；
所述处理器执行所述计算机程序指令时实现如权利要求9所述的图像分类的方法。
14.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-8任意一项所述的图像分类模型的训练方法，或者实现如权利要求9所述的图像分类的方法。
CN202010630004.3A 2020-07-03 2020-07-03 图像分类模型的训练方法、图像分类的方法及装置 Pending CN111797923A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010630004.3A CN111797923A (zh) 2020-07-03 2020-07-03 图像分类模型的训练方法、图像分类的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010630004.3A CN111797923A (zh) 2020-07-03 2020-07-03 图像分类模型的训练方法、图像分类的方法及装置

Publications (1)

Publication Number Publication Date
CN111797923A true CN111797923A (zh) 2020-10-20

Family

ID=72811158

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010630004.3A Pending CN111797923A (zh) 2020-07-03 2020-07-03 图像分类模型的训练方法、图像分类的方法及装置

Country Status (1)

Country Link
CN (1) CN111797923A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112633425A (zh) * 2021-03-11 2021-04-09 腾讯科技（深圳）有限公司 图像分类方法和装置
CN113822322A (zh) * 2021-07-15 2021-12-21 腾讯科技（深圳）有限公司 图像处理模型训练方法及文本处理模型训练方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160292856A1 (en) * 2015-04-06 2016-10-06 IDx, LLC Systems and methods for feature detection in retinal images
US20170200092A1 (en) * 2016-01-11 2017-07-13 International Business Machines Corporation Creating deep learning models using feature augmentation
CN108985302A (zh) * 2018-07-13 2018-12-11 东软集团股份有限公司 一种皮肤镜图像处理方法、装置及设备
CN110503146A (zh) * 2019-08-21 2019-11-26 杭州比智科技有限公司 数据增强方法、装置、计算设备及计算机存储介质
CN111160238A (zh) * 2019-12-27 2020-05-15 上海杏脉信息科技有限公司 显微图像质量分析方法、训练方法、系统、设备及介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160292856A1 (en) * 2015-04-06 2016-10-06 IDx, LLC Systems and methods for feature detection in retinal images
US20170200092A1 (en) * 2016-01-11 2017-07-13 International Business Machines Corporation Creating deep learning models using feature augmentation
CN108985302A (zh) * 2018-07-13 2018-12-11 东软集团股份有限公司 一种皮肤镜图像处理方法、装置及设备
CN110503146A (zh) * 2019-08-21 2019-11-26 杭州比智科技有限公司 数据增强方法、装置、计算设备及计算机存储介质
CN111160238A (zh) * 2019-12-27 2020-05-15 上海杏脉信息科技有限公司 显微图像质量分析方法、训练方法、系统、设备及介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112633425A (zh) * 2021-03-11 2021-04-09 腾讯科技（深圳）有限公司 图像分类方法和装置
CN112633425B (zh) * 2021-03-11 2021-05-11 腾讯科技（深圳）有限公司 图像分类方法和装置
CN113822322A (zh) * 2021-07-15 2021-12-21 腾讯科技（深圳）有限公司 图像处理模型训练方法及文本处理模型训练方法

Similar Documents

Publication Publication Date Title
CN111461134B (zh) 一种基于生成对抗网络的低分辨率车牌识别方法
CN111145209B (zh) 一种医学图像分割方法、装置、设备及存储介质
US9846932B2 (en) Defect detection method for display panel based on histogram of oriented gradient
CN113269257A (zh) 一种图像分类方法、装置、终端设备及存储介质
CN111932577B (zh) 文本检测方法、电子设备及计算机可读介质
CN112733885A (zh) 点云识别模型的确定方法、点云识别的方法及装置
CN111797923A (zh) 图像分类模型的训练方法、图像分类的方法及装置
Hou et al. BSNet: Dynamic hybrid gradient convolution based boundary-sensitive network for remote sensing image segmentation
CN112307919A (zh) 一种基于改进YOLOv3的单证图像中数字信息区域识别方法
CN115439456A (zh) 一种病理图像中对象检测识别方法及装置
CN115941407A (zh) 基于递归式卷积网络和注意力机制的信号调制识别方法
CN111985537A (zh) 一种目标图像识别方法、终端、系统和存储介质
CN111340041A (zh) 一种基于深度学习的车牌识别方法及装置
CN113223614A (zh) 一种染色体核型分析方法、系统、终端设备和存储介质
CN111754497B (zh) 一种基于几何代数的工业缺陷检测方法和系统
CN114445620A (zh) 一种改进Mask R-CNN的目标分割方法
CN114444565A (zh) 一种图像篡改检测方法、终端设备及存储介质
CN113553876A (zh) 条形码识别方法、装置、设备及存储介质
CN114155540B (zh) 基于深度学习的文字识别方法、装置、设备及存储介质
CN116205927A (zh) 一种基于边界增强的图像分割方法
CN115439850A (zh) 基于审单的图文字符识别方法、装置、设备及存储介质
CN113780492A (zh) 一种二维码二值化方法、装置、设备及可读存储介质
CN115188049A (zh) 一种基于在线强化学习的小区人脸姿态检测系统及方法
CN114332493A (zh) 一种跨维度交互式显著检测模型及其检测方法
CN114972155A (zh) 一种基于上下文信息和反向注意力的息肉图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination