CN110348515B - 图像分类方法、图像分类模型训练方法及装置 - Google Patents

图像分类方法、图像分类模型训练方法及装置 Download PDF

Info

Publication number
CN110348515B
CN110348515B CN201910620467.9A CN201910620467A CN110348515B CN 110348515 B CN110348515 B CN 110348515B CN 201910620467 A CN201910620467 A CN 201910620467A CN 110348515 B CN110348515 B CN 110348515B
Authority
CN
China
Prior art keywords
image
processed
information
classification
weight information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910620467.9A
Other languages
English (en)
Other versions
CN110348515A (zh
Inventor
胡一凡
郑冶枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910620467.9A priority Critical patent/CN110348515B/zh
Publication of CN110348515A publication Critical patent/CN110348515A/zh
Application granted granted Critical
Publication of CN110348515B publication Critical patent/CN110348515B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理技术领域，具体而言，涉及一种图像分类方法及装置、图像分类模型训练方法及装置，以及电子设备。图像分类方法包括：获取待处理图像以及待处理图像中的标注区域，提取对应于标注区域的目标图像以及对应于标注区域之外区域的背景图像；根据目标图像以及所述背景图像的第一特征信息，分别获取目标图像以及背景图像的第一权重信息；将第一特征信息输入至第一机器学习模型，获取待处理图像的第二特征信息；并将所述第一权重信息输入至所述第一机器学习模型，获取转换后的第二权重信息；根据所述第二特征信息以及所述第二权重信息获取所述待处理图像的分类结果。本发明能够对不同区域施加不同权重，提高分类结果的精确度。

Description

图像分类方法、图像分类模型训练方法及装置
技术领域
本发明涉及图像处理技术领域，具体而言，涉及一种图像分类方法及装置、图像分类模型训练方法及装置，以及电子设备。
背景技术
医学影像是指为了医疗或医学研究，对人体或人体某部分，以非侵入方式取得内部组织影像的技术与处理过程。医学影像能够作为辅助临床诊断的一种重要手段和参考因素，对于不同病征的内在异质性也在其成像表型(外观和形状)中体现。医学图像分析也成为一项十分具有挑战性的任务。
现有的图像分析技术中存在基于SE-Net(Squeeze and Excitation Network，挤压激励网络)的图像分析方法，其在自然图像数据库ImageNet上取得了很好的效果。但由于医学图像与自然图像相比大部分是灰度图，因此存在有效信息少，不同器官亮度差异小，不同区域之间边界模糊，不同病人之间病灶区域/ROI大小和形状差异大等问题，导致基于SE-Net的图像分析方法并不能有效的对不同通道进行自适应加权来实现放大重要通道特征，以及降低噪声通道特征来实现提高分类准确率的目的。
鉴于此，本领域亟需开发一种新的图像处理方法。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本发明的实施例提供了一种图像分类方法、图像分类装置、图像分类模型训练方法、图像分类模型训练装置及电子设备，进而至少在一定程度上可以对医学图像中不同的分割区域做出不同的处理，提升图像分类结果的准确率。
本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。
根据本发明实施例的一个方面，提供了一种图像分类方法，包括：获取待处理图像以及待处理图像中的标注区域，并提取对应于所述标注区域的目标图像以及对应于所述标注区域之外区域的背景图像；根据所述目标图像以及所述背景图像的第一特征信息，分别获取所述目标图像以及所述背景图像的第一权重信息；将所述第一特征信息输入至第一机器学习模型，获取所述待处理图像的第二特征信息；并将所述第一权重信息输入至所述第一机器学习模型，获取转换后的第二权重信息；根据所述第二特征信息以及所述第二权重信息获取所述待处理图像的分类结果。
根据本发明实施例的一个方面，提供了一种图像分类模型训练方法，包括：获取样本图像以及样本图像中的标注区域，并提取对应于所述标注区域的目标图像以及对应于所述标注区域之外区域的背景图像；根据所述目标图像以及所述背景图像的第一特征信息，分别获取所述目标图像以及所述背景图像的第一权重信息；将所述第一特征信息输入至第一机器学习模型，获取所述样本图像的第二特征信息；以及，将所述第一权重信息输入至所述第一机器学习模型，获取转换后的第二权重信息；根据所述第二特征信息以及所述第二权重信息获取所述样本图像的分类结果；将所述分类结果与所述样本图像对应的真实分类结果进行比对，并根据比对结果，对所述第一机器学习模型的参数进行调整。
根据本发明实施例的一个方面，提供了一种图像分类装置，包括：图像分割模块，用于获取待处理图像以及待处理图像中的标注区域，并提取对应于所述标注区域的目标图像以及对应于所述标注区域之外区域的背景图像；第一数据获取模块，用于根据所述目标图像以及所述背景图像的第一特征信息，分别获取所述目标图像以及所述背景图像的第一权重信息；第二数据获取模块，用于将所述第一特征信息输入至第一机器学习模型，获取所述待处理图像的第二特征信息；并将所述第一权重信息输入至所述第一机器学习模型，获取转换后的第二权重信息；分类结果生成模块，用于根据所述第二特征信息以及所述第二权重信息获取所述待处理图像的分类结果。
在本发明的一些实施例中，基于前述方案，所述图像分割模块为：根据所述标注区域对所述待处理图像进行图像分割，以获取所述目标区域和所述背景区域。
在本发明的一些实施例中，基于前述方案，所述第一数据获取模块还包括：第一特征信息获取单元，用于利用残差网络层对所述目标图像和所述背景图像进行特征提取，以获取所述目标图像和所述背景图像对应的第一特征信息；第一权重信息获取单元，用于利用全局池化层分别对所述目标图像和所述背景图像对应的第一特征信息进行池化处理，以获取所述目标图像和所述背景图像对应的第一权重信息。
在本发明的一些实施例中，所述第一权重信息获取单元为：根据所述目标图像和所述背景图像的第一特征信息与所述待处理图像各通道的特征信息分别计算所述目标图像和所述背景图像各通道对应特征矩阵的平均值，并将所述平均值作为所述目标图像和所述背景图像的第一权重信息。
在本发明的一些实施例中，基于前述方案，所述第二数据获取模块包括：第二权重信息获取单元，用于利用第一机器学习模型的第一全连接层、激活层、第二全连接层和分类层，对所述第一权重信息依次进行全连接、非线性激活、全连接以及分类处理，以获取转换后的第二权重信息。
在本发明的一些实施例中，基于前述方案，所述第二数据获取模块包括：第二特征信息获取单元，用于利用第一机器学习模型的第一全连接层、激活层、第二全连接层和分类层，对所述第一特征信息依次进行全连接、非线性激活、全连接以及分类处理，以获取所述第二特征信息。
在本发明的一些实施例中，基于前述方案，所述分类结果生成模块包括：第二权重信息处理单元，用于根据所述第二特征信息以及所述第二权重信息获取所述待处理图像对应的中间特征信息；分类结果获取单元，用于根据所述中间特征信息获取所述待处理图像的分类结果。
在本发明的一些实施例中，基于前述方案，所述第二权重信息处理单元为：将所述目标图像和所述背景图像对应的第二权重信息分别施加至所述目标图像和所述背景图像对应的第二特征信息，以获取所述待处理图像对应的中间特征信息。
在本发明的一些实施例中，基于前述方案，所述分类结果获取单元为：将所述中间特征信息映射为分类结果对应的概率向量，并选取所述概率向量最大值对应的类别作为所述待处理图像的分类结果。
在本发明的一些实施例中，基于前述方案，所述图像分类装置还包括：图像预处理模块，用于对所述待处理图像依次进行归一化处理和图像扩展处理；其中，所述图像扩展处理包括以下任意一项或任意多项的组合：翻转、旋转、放缩以及对比度增强。
在本发明的一些实施例中，基于前述方案，所述待处理图像与所述待处理图像中的标注区域具有相同的图像尺寸。
根据本发明实施例的一个方面，提供了一种图像分类模型训练装置，包括：样本图像获取模块，用于获取样本图像以及样本图像中的标注区域，并提取对应于所述标注区域的目标图像以及对应于所述标注区域之外区域的背景图像；第一数据获取模块，用于根据所述目标图像以及所述背景图像的第一特征信息，分别获取所述目标图像以及所述背景图像的第一权重信息；第二数据获取模块，用于将所述第一特征信息输入至第一机器学习模型，获取所述样本图像的第二特征信息；以及，将所述第一权重信息输入至所述第一机器学习模型，获取转换后的第二权重信息；分类结果生成模块，用于根据所述第二特征信息以及所述第二权重信息获取所述样本图像的分类结果；参数优化模块，用于将所述分类结果与所述样本图像对应的真实分类结果进行比对，并根据比对结果，对所述第一机器学习模型的参数进行调整。
在本发明的一些实施例中，基于前述方案，所述图像分割模块为：根据所述标注区域对所述样本图像进行图像分割，以获取所述目标区域和所述背景区域。
在本发明的一些实施例中，基于前述方案，所述第一数据获取模块还包括：第一特征信息获取单元，用于利用残差网络层对所述目标图像和所述背景图像进行特征提取，以获取所述目标图像和所述背景图像对应的第一特征信息；第一权重信息获取单元，用于利用全局池化层分别对所述目标图像和所述背景图像对应的第一特征信息进行池化处理，以获取所述目标图像和所述背景图像对应的第一权重信息。
在本发明的一些实施例中，所述第一权重信息获取单元为：根据所述目标图像和所述背景图像的第一特征信息与所述待样本图像各通道的特征信息分别计算所述目标图像和所述背景图像各通道对应特征矩阵的平均值，并将所述平均值作为所述目标图像和所述背景图像的第一权重信息。
在本发明的一些实施例中，基于前述方案，所述第二数据获取模块包括：第二权重信息获取单元，用于利用第一机器学习模型的第一全连接层、激活层、第二全连接层和分类层，对所述第一权重信息依次进行全连接、非线性激活、全连接以及分类处理，以获取转换后的第二权重信息。
在本发明的一些实施例中，基于前述方案，所述第二数据获取模块包括：第二特征信息获取单元，用于利用第一机器学习模型的第一全连接层、激活层、第二全连接层和分类层，对所述第一特征信息依次进行全连接、非线性激活、全连接以及分类处理，以获取所述第二特征信息。
在本发明的一些实施例中，基于前述方案，所述分类结果生成模块包括：第二权重信息处理单元，用于根据所述第二特征信息以及所述第二权重信息获取所述样本图像对应的中间特征信息；分类结果获取单元，用于根据所述中间特征信息获取所述样本图像的分类结果。
在本发明的一些实施例中，基于前述方案，所述第二权重信息处理单元为：将所述目标图像和所述背景图像对应的第二权重信息分别施加至所述目标图像和所述背景图像对应的第二特征信息，以获取所述样本图像对应的中间特征信息。
在本发明的一些实施例中，基于前述方案，所述分类结果获取单元为：将所述中间特征信息映射为分类结果对应的概率向量，并选取所述概率向量最大值对应的类别作为所述样本图像的分类结果。
在本发明的一些实施例中，基于前述方案，所述图像分类装置还包括：图像预处理模块，用于对所述样本图像依次进行归一化处理和图像扩展处理；其中，所述图像扩展处理包括以下任意一项或任意多项的组合：翻转、旋转、放缩以及对比度增强。
在本发明的一些实施例中，基于前述方案，所述样本图像与所述样本图像中的标注区域具有相同的图像尺寸。
根据本发明实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中所述的图像分类方法。
根据本发明实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中所述的图像分类模型训练方法。
在本发明的一些实施例所提供的技术方案中，在获取待处理图像后，首先根据待处理图像对应的标注区域提取待处理图像中的目标图像和背景图像，再分别获取目标图像和背景图像的特征信息和权重信息，并将权重信息施加在不同的图像中，进而获取待处理图像的分类结果。本发明的技术方案一方面能够有效的利用待处理图像的标注区域，进而根据标注区域对待处理图像进行分类；另一方面，能够针对待处理图像中的目标图像内容和目标图像之外的背景图像内容分别施加不同的自适应权重，能准确的处理待处理图像中不同区域之间的关系，从而避免丢失目标图像中的重要特征或在目标图像中混杂其他干扰特征，进一步的提高待处理图像的分类结果的精确度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1示出了可以应用本发明实施例的技术方案的示例性系统架构的示意图；
图2示意性示出了根据本发明的一个实施例的图像分类方法的流程示意图；
图3示意性示出了根据本发明的一个实施例的获取第一特征信息和第一权重信息的流程示意图；
图4示意性示出了根据本发明的一个实施例的ROI-SE block的模型框架结构示意图；
图5示意性示出了根据本发明的一个实施例的计算待处理图像分类结果的方法的流程示意图；
图6示意性示出了根据本发明的一个实施例的图像分类模型训练方法的流程示意图；
图7示意性示出了根据本发明的一个实施例的基于ResNet结构的分类模型结构示意图；
图8示意性示出了根据本发明的一个实施例的原始医疗图像的示意图；
图9示意性示出了根据本发明的一个实施例的图8所示原始医疗图像对应的ROI图像的示意图；
图10示意性示出了根据本发明的一个实施例的图8所示原始医疗图像对应的图像分割结果图像的示意图；
图11示意性示出了根据本发明的一个实施例的图像分类装置的框图；
图12示意性示出了根据本发明的一个实施例的图像分类模型训练装置的框图；
图13示出了适于用来实现本发明实施例的电子设备的计算机系统的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
图1示出了可以应用本发明实施例的技术方案的示例性系统架构的示意图。
如图1所示，系统架构100可以包括终端设备(如图1中所示智能手机101、平板电脑102和便携式计算机103中的一种或多种，当然也可以是台式计算机等等)、网络104和服务器105。网络104用以在终端设备和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线通信链路、无线通信链路等等。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。
在本发明的一个实施例中，用户可以利用终端设备101(也可以是终端设备102或103)获取待处理图像以及待处理图像中的标注区域，然后将待处理图像及标注区域发送至服务器105；服务器105在接收到终端设备101发送的待处理图像及标注区域图像后，能够根据待处理图像对应的标注区域提取待处理图像中的目标图像和背景图像，再分别获取目标图像和背景图像的特征信息和权重信息，并将权重信息施加在不同的图像中，进而获取待处理图像的分类结果。本发明实施例的技术方案一方面能够有效的利用待处理图像的标注区域，进而根据标注区域对待处理图像进行分类；另一方面，能够针对待处理图像中的目标图像内容和目标图像之外的背景图像内容分别施加不同的自适应权重，能准确的处理待处理图像中不同区域之间的关系，从而避免丢失目标图像中的重要特征或在目标图像中混杂其他干扰特征，进一步的提高待处理图像的分类结果的精确度。
需要说明的是，本发明实施例所提供的图像分类方法一般由服务器105执行，相应地，图像分类装置一般设置于服务器105中。但是，在本发明的其它实施例中，终端设备也可以与服务器具有相似的功能，从而执行本发明实施例所提供的图像分类方案。
近年来，人工智能技术快速发展，利用人工智能技术对医学影像进行识别，对医学影像中的病灶区域进行检测和识别，辅助医生做出临床诊断，已成为医学图像分析中最具挑战性的任务之一。
在本领域的相关技术中，利用基于SE-Net(Squeeze and Excitation Network，挤压和激励网络)模型的图像分析方法，能够通过一系列池化和激活函数，计算出对每一个通道进行的加权，通过损失函数和反向传播来寻找最优的权重，对部分更有意义的特征通道赋予更高的权重，对噪声通道降低权重，这样能更好的整合信息以达到最好的分类结果。并且，SE-Net模型已经在自然图像数据库ImageNet的分类应用上取得了很好的效果。
但是相关技术存在相应的缺陷，主要体现在以下两方面：(1)医学图像与自然图像相比大部分是灰度图，因此存在有效信息少，不同器官亮度差异小，不同区域之间边界模糊，不同病人之间病灶区域/ROI(Region of Interest，感兴趣区域)大小形状差异大等问题，而SE-Net模型的结构并不能够解决该问题，因为SE-Net模型中average pooling(平均池化)的操作会中和病灶区域和非病灶区域的信息，或是因为病灶区域亮度和影像中另一个组织的亮度相似，从而导致average pooling平均池化)后权重相似；(2)医学影像往往存在医生对病变组织选择的分割区域，或是一些分割算法能够事先分割出我们的病灶/感兴趣区域，而SE-Net模型无法利用上述信息，从而丧失了能提升分类精度的信息。
鉴于相关技术中存在的问题，本发明实施例首先提出了一种图像分类方法，以下以医学图像作为待处理图像为例，对本发明实施例的技术方案的实现细节进行详细阐述：
图2示意性示出了根据本发明的一个实施例的图像分类方法的流程图，该图像分类方法可以由服务器或者终端设备来执行，该服务器或者终端设备可以是图1中所示的服务器或终端设备。参照图2所示，该图像分类方法至少包括步骤S210至步骤S240，详细介绍如下：
在步骤S210中，获取待处理图像以及待处理图像中的标注区域，并提取对应于所述标注区域的目标图像以及对应于所述标注区域之外区域的背景图像。
在本发明的一个实施例中，可以通过终端设备101(也可以是终端设备102或103)获取待处理图像以及对应的标注区域，其中，标注区域也可以采用图像的表现方式。上述的待处理图像可以是二维或三维的医学图像，如图8所示，图8示意性示出了一种脑部区域MRI格式的原始医疗图像。对于待处理图像中的标注区域，可以是待处理图像中的ROI(Regionof Interest，感兴趣区域)，例如医学图像中病灶区域的图像；如图9所示，图9示意性示出了图8所示的原始医疗图像中的ROI图像。在获取待处理图像以及待处理图像中的标注区域后，便可以根据标注区域对待处理图像进行图像分割，从而获取医学图像中病灶区域对应的目标区域，以及医学图像中病灶区域以外的背景区域。此外，待处理图像和标注区域图像可以具有相同的图像尺寸。
具体地，上述的待处理图像可以是二维平面图像或三维图像；例如：CT(ComputedTomography，电子计算机断层扫描)，MRI(Magnetic Resonance Imaging，磁共振成像)，超声，X光，心电图，脑电图，光学摄影等等由医学仪器生成的图像。对于待处理图像中的标注区域，可以是待处理图像中的ROI(Region of Interest，感兴趣区域)。对于医学图像来说，ROI图像可以是病变或病变区域的图像。
具体地，待处理图像中的标注区域可以通过人工框选的方式获取，例如由医生在医学图像中勾画或框选出病灶区域作为标注区域；或者也可以利用少量分割标注(One-shot或Few-shot算法)，训练分割算法对待处理图像进行分割，从而获取标注区域；或者，也可以根据病灶区域的灰度值特征，利用无监督算法分割出待处理图像中的病灶区域，从而获取标注区域。本发明实施例对获取待处理图像的标注区域的具体方式不做限定。此时，标注区域(ROI图像)可以是一个超参数图像。
在本发明的一个实施例中，在获取待处理图像，例如原始的医学图像后，还可以对待处理图像进行依次进行归一化处理和图像扩展处理；其中，所述图像扩展处理包括以下任意一项或任意多项的组合：翻转、旋转、放缩以及对比度增强。一般来说，由于医学图像中的病灶区域没有固定的形状、大小和方向，通过对原始图像进行翻转、旋转、放缩、对比度增强等数据增广的操作，可以增加样本数量，增大方向性和不同大小规模下的信息价值。
通过利用标注区域对待处理图像进行分割获取目标图像和背景图像，从而实现有效的利用分割信息对待处理图像进行分类。如图10所示，图10示意性示出了图8所示的原始医疗图像中对于病灶区域和非病灶区域的图像分割结果。
在步骤S220中，根据所述目标图像以及所述背景图像的第一特征信息，分别获取所述目标图像以及所述背景图像的第一权重信息。
在本发明的一个实施例中，图3示出了获取第一特征信息和第一权重信息的流程示意图，如图3所示：在步骤S2201中，利用残差网络层对所述目标图像和所述背景图像进行特征提取，以获取所述目标图像和所述背景图像对应的第一特征信息；在步骤2202中，利用全局池化层分别对所述目标图像和所述背景图像对应的第一特征信息进行池化处理，以获取所述目标图像和所述背景图像对应的第一权重信息。
在本发明的一个实施例中，本网络模型的基础模块是在SE-block的基础改进的，图4示出了本方法改进后的ROI-SE block的模型框架结构示意图。上述的ROI-SE block模型可以包括一残差网络层401。
具体地，残差网络层401可以包括多个残差模块，各残差模块包括依次设置的卷积层、归一化层、ReLU激活层、卷积层以及归一化层；可以利用各残差模块对目标图像和背景图像依次进行卷积、归一化、激活、卷积以及归一化处理，从而输出目标图像对应的第一特征信息和背景图像对应的第一特征信息。再利用全局池化层分别对目标图像的第一特征信息和背景图像的第一特征信息进行池化处理，从而获取目标图像和背景图像对应的第一权重信息。
具体地，ROI-SE block模型的池化层可以是全局池化层，用于对图像的每个通道池化到1*1，也就是计算每个通道的平均值。对于上述的残差网络层所包含的多个残差模块，可以分别连接一全局池化层，即将各残差模块输出的第一特征信息分别输入对应的一全局池化层中进行池化处理。
对于目标图像和背景图像来说，可以利用全局池化层分别计算目标图像和背景图像平均值作为第一权重信息。具体来说，可以根据所述目标图像和所述背景图像的第一特征信息与所述待处理图像各通道的特征信息分别计算所述目标图像和所述背景图像各通道对应特征矩阵的平均值，并将所述平均值作为所述目标图像和所述背景图像的第一权重信息。具体地，其对应的表达式可以包括：
其中，Ix为待处理图像的第x个通道；mask为目标图像；(1-mask)为背景图像。上式中*是两个矩阵的elementwise(元素智能乘积)乘积；sum是矩阵所有元素的求和。k1为目标图像，k2为背景图像。
举例来说，mask图像可以是针对待处理图像中的目标区域为1，背景区域为0的图像。目标图像的尺寸为H*W*C，则目标图像具有C个通道(则x∈1,2,…,C)，每个通道大小为H*W，而mask(目标图像)对于每一层的所有通道都是相同的，大小也为H*W。1-mask则计算了和mask大小相同的全1矩阵减去mask每个单元的值后得到的矩阵，即背景图像对应的矩阵。在全局池化层，我们通过mask计算两个第一权重信息对应的值k1和k2，即目标图像各通道对应的权重值，和背景图像各通道对应的权重值；因此待处理图像的C个通道则会获取2C个值，其排列顺序可以为[k11,k21,k12,k22,…,k1C,k2C]。
此外，对于上述的利用标注区域对待处理图像进行分割获取目标图像和背景图像的步骤，也可以通过该残差网络层来实现，即将待处理图像和标注区域输入残差网络层，通过残差网络层获取对应的目标图像和背景图像，并计算目标图像和背景图像对应的第一特征信息。
在步骤S230中，将所述第一特征信息输入至第一机器学习模型，获取所述待处理图像的第二特征信息；并将所述第一权重信息输入至所述第一机器学习模型，获取转换后的第二权重信息。
在本发明的一个实施例中，如图4所示，在池化层后可以连接一机器学习模型。上述的机器学习模型可以包括依次设置的第一全连接层404、ReLU激活层405、第二全连接层406和Sigmoid分类层407。在获取第一权重信息后，可以将目标图像的第一权重信息和背景图像的第一权重信息同时输入第一全连接层404，并通过第一全连接层404、ReLU激活层405、第二全连接层406和Sigmoid分类层407进行全连接、非线性激活、全连接和分类处理后，得到目标图像的第二权重信息和背景图像的第二权重信息。对应于目标图像和背景图像的2C个第一权重数值，得到变换后的2C个第二权重信息的数值：[k11'，k21'，k12'，k22'，…，k1C'，k2C']。同样的，对于目标图像和背景图像对应的第一特征信息，利用上述第一机器学习模型依次进行全连接、非线性激活、全连接以及分类处理，从而获取目标图像对应的第二特征信息和背景图像对应的第二特征信息。
通过利用ROI-SE block模型分别对目标图像和背景图像分别进行处理，从而对于目标图像和背景图像的每一个通道，实现了准确利用目标图像对mask内的图像(目标图像)内容和mask外的图像(背景图像)内容分别求自适应注意力权重。
在步骤S240中，根据所述第二特征信息以及所述第二权重信息获取所述待处理图像的分类结果。
在本发明的一个实施例中，图5示出了本方法计算待处理图像分类结果的方法的流程示意图，如图5所示，在步骤S2401中，根据所述第二特征信息以及所述第二权重信息获取所述待处理图像对应的中间特征信息；在步骤S2402中，根据所述中间特征信息获取所述待处理图像的分类结果。
在加权层(Scale层)410，可以将所述目标图像和所述背景图像对应的第二权重信息分别施加至所述目标图像和所述背景图像对应的第二特征信息，以获取所述待处理图像对应的中间特征信息。具体地，可以对所述目标图像的各通道均施加所述目标图像对应的第二权重信息；以及对所述背景图像的各通道均施加所述背景图像对应的第二权重信息。具体地，对于上述的变换后的2C个第二权重信息的数值，在Scale层，将权重应用在不同的区域内，对不同的通道，作用相应的权重得到scale之后的中间特征信息Kx，其表达式可以包括：
Kx＝k′1x*mask+k′2x*(1-mask)
其中，mask为目标图像，(1-mask)为背景图像，k1x’、k2x’分别为目标图像和背景图像对应的第二权重信息；x∈1，2，……。
对于获取的中间特征信息对应的图像Kx，可以利用一个全连接层将提取的特征映射为一个向量长度为类别个数的概率向量，然后按照argmax函数输出为类别个数。
在本发明的一个实施例中，上述的图像分类方法中，可以设置一级ROI-SE block模型，或者连续的多级ROI-SE block模型，或者不连续的多级ROI-SE block模型。图7示出了本发明的一个基于ResNet结构的分类模型结构示意图，如图7所示，其模型中设置连续的多级ROI-SE block模型。如图7所示，其输入参数为待处理的原始图像，以及对应的标注区域图像。待处理图像与标注区域具有相同的图像尺寸，待处理图像和标注区域均为三维图像，其图像尺寸均为100*100*100，待处理图像通道数为1。该模型首先利用一个特征提取单元对待处理图像依次进行卷积、归一化和激活处理，得到待处理图像对应的特征图像，图像尺寸为50*50*50，通道数为64；然后利用最大池化层对特征图像进行下采样，图像尺寸变为25*25*25，通道数为64。同时，为了保持标注区域与特征图像保持相同的图像尺寸，对标注区域进行连续的两次下采样。
然后，将特征图像和下采样后的标注区域输入第一级ROI-SE Block模型中，并将第一级ROI-SE Block模型的输出的中间特征图像作为第二级ROI-SE Block模型的输入参数，同时，对标注区域再次进行下采样并作为第二ROI-SE Block模型的输入参数。对第二级ROI-SE Block模型输出的中间特征图像进行下采样，得到图像尺寸为13*13*13，通道数为128的中间特征图像，将其作为第三级ROI-SE Block模型的输入参数，同时对标注区域图像再次进行下采样，得到图像尺寸为13*13*13的采样结果并作为第三级ROI-SE Block模型的输入参数。经过连续的八级ROI-SE Block模型的处理，将第八级ROI-SE Block模型输出的中间特征图像进行平均池化和全连接处理，在全连接层将提取的特征共512个映射为一个向量长度为类别个数的概率向量，然后按照argmax函数输出为类别个数，作为最终的分类结果。
在本发明的一个实施例中，对于图7所示的网络结构中，也可以仅包含两级ROI-SEBlock模型，或者四级ROI-SE Block模型，以及其他数量的ROI-SE Block模型。
在本发明的一个实施例中，对于图4、图7中所示的ROI-SE Block模型，还可以将ROI-SE Block模型在不同的经典网络上进行嵌套，包括但不限于ResNet(Residual NeuralNetwork，残差神经网络)模型系列，Inception网络模型系列，VGG(Visual Geometry GroupNetwork，超分辨率测试序列网络)模型系列等。
在本发明的一个实施例中，在上述的图像分类方法在服务器105执行时，用户可以在终端设备103(或者终端设备102或终端设备101)输入待分类的医学图像，以及该医学图像对应的分割信息，在终端设备103可以根据用户输入的医学图像以及该医学图像对应的分割信息生成图像处理请求，并将该图像处理请求发送至服务器105。服务器105在接收到该图像处理请求后，便可以首先对医学图像进行归一化处理和图像扩展处理；然后将处理后的医学图像和分割信息作为输入参数，输入图像分类模型中，在服务器105端执行上述实施例中所述的图像分类方法，并最终生成分类结果。然后，服务器105将分类结果返回至终端设备103，供用户参考和使用。
本发明实施例中的图像分类方法可以应用于医疗图像、自然图像等类型图像的分类应用中。根据本发明实施例中的图像分类方法，在处理医疗图像时，能够有效的利用分割信息，对医疗图像中的病灶区域与非病灶区域的位置关系进行有效的利用；并且，可以根据病灶区域内的图像内容和病灶区域外的图像内容分别计算不同的自适应权重，再将权重值分别施加到病灶区域图像和非病灶区域图像中，保留了正常组织和病灶间的联系，并且实现了对病灶区域和非病灶区域施加不同的权重/注意力，从而实现对ROI区域内外做不同处理，让网络模型可以更加关注病灶区域的信息，进而有效的提升分类结果的准确率。
此外，对本发明实施例中图像分类方法中所提供的ROI-SE block的模型，在实际使用中，可以根据图像分类结果的精确度要求，或者根据待分类图像的类型，选择设置一级ROI-SE block模型，或者连续的多级ROI-SE block模型，或者嵌套在其他网络模型的结构中，进而最大程度的提高对医疗图像分类结果的准确率。
图6示意性示出了根据本发明的一个实施例的图像分类模型训练方法的流程图，该图像分类模型训练方法可以由服务器或者终端设备来执行，该服务器或者终端设备可以是图1中所示的服务器或终端设备。参照图6所示，该图像分类模型训练方法至少包括步骤S610至步骤S650，详细介绍如下：
在步骤S610中，获取样本图像以及样本图像中的标注区域，并提取对应于所述标注区域的目标图像以及对应于所述标注区域之外区域的背景图像；在步骤S620中，根据所述目标图像以及所述背景图像的第一特征信息，分别获取所述目标图像以及所述背景图像的第一权重信息；在步骤S630中，将所述第一特征信息输入至第一机器学习模型，获取所述样本图像的第二特征信息；以及，将所述第一权重信息输入至所述第一机器学习模型，获取转换后的第二权重信息；在步骤S640中，根据所述第二特征信息以及所述第二权重信息获取所述样本图像的分类结果；在步骤S650中，将所述分类结果与所述样本图像对应的真实分类结果进行比对，并根据比对结果，对所述第一机器学习模型的参数进行调整。
在本发明的一个实施例中，在对图像分类模型进行训练时，为了提高模型的广泛有效性，可以选取不同类型的图像作为训练样本。具体地，在本方案中，选取CT平扫脑部出血原因判断数据集、包括4个模态的BraTS18比赛用MR数据集以及有三个通道的宫颈彩色图像分期数据集等原始图像作为训练样本。
对于上述的原始图像，可以先对其进行0-1归一化处理。其次，对于上述的训练样本，由于图像中的病灶区域没有固定的形状、大小和方向性，还可以对上述原始图像进行翻转、旋转、放缩、对比度增强等数据增广的操作，增加训练样本数量，增大方向性和不同大小规模下的信息价值。
在本发明的一个实施例中，对于样本图像，可以根据其对应的标注区域对样本图像进行分割，获取对应的包含病灶区域的目标图像和病灶区域以外的背景图像。如图4所示的ROI-SE block的模型框架结构，可以将样本图像和对应的标注区域输入残差网络层，通过残差网络层获取样本图像对应的目标图像和背景图像，并计算目标图像和背景图像对应的第一特征信息。然后，将样本图像对应的第一特征信息和背景图像对应的第一特征信息输入一全局池化层，利用全局池化层分别对所述目标图像和所述背景图像对应的第一特征信息进行池化处理，从而获取目标图像对应的第一权重信息和所背景图像对应的第一权重信息。具体地，可以根据目标图像和背景图像的第一特征信息与样本图像各通道的特征信息分别计算目标图像和背景图像各通道对应特征矩阵的平均值，并将所述平均值作为目标图像和背景图像的第一权重信息。
如图4所示，在池化层后可以连接一机器学习模型。在获取目标图像和背景图像的第一权重信息后，可以将目标图像的第一权重信息和背景图像的第一权重信息同时输入第一全连接层404，并通过第一全连接层404、ReLU激活层405、第二全连接层406和Sigmoid分类层407进行全连接、非线性激活、全连接和分类处理后，得到目标图像的第二权重信息和背景图像的转换后的第二权重信息。同样的，对于目标图像和背景图像对应的第一特征信息，利用上述第一机器学习模型依次进行全连接、非线性激活、全连接以及分类处理，从而获取目标图像对应的第二特征信息和背景图像对应的第二特征信息。
如图4所示，在机器学习模型后连接一加权层，可以将所述目标图像和所述背景图像对应的第二权重信息分别施加至所述目标图像和所述背景图像对应的第二特征信息，以获取所述待处理图像对应的中间特征信息。具体地，可以对所述目标图像的各通道均施加所述目标图像对应的第二权重信息；以及对所述背景图像的各通道均施加所述背景图像对应的第二权重信息。对于获取的中间特征信息对应的图像Kx，可以利用一个全连接层将提取的特征映射为一个向量长度为类别个数的概率向量，然后按照argmax函数输出为类别个数，得到样本图像的分类结果。
对于获取的样本图像的分类结果，可以将其与该样本图像对应的真实分类结果进行比对，再根据比对结果对所述第一机器学习模型的相关参数进行调整和优化
在本发明的一个实施例中，可以采用基于Adam(adaptive moment estimation，自适应矩估计)的梯度下降算法更新网络的参数，可以设置初始学习率为0.05，Adam算法中的betas＝(0.95，0.9995)。经过图像分类网络模型得到样本图像预测类别的概率值(该概率值为一个N*1向量，N为类别数)，并通过计算该概率值与样本图像对应的真实类别标签之间的weighted cross entropy(加权交叉熵)作为损失函数，通过最小化损失函数，可以计算误差梯度并通过反向传播更新图像分类网络的梯度。在上述网络训练完成之后，利用最终的预测概率值，得到分类结果。
在本发明的一个实施例中，图7示出了本方法一种基于ResNet(Residual NeuralNetwork，残差神经网络)结构的分类模型结构示意图。训练样本为脑出血数据。在对该模型进行训练时，如图7所示，输入参数为训练样本的原始图像(image)，以及对应的标注区域(mask)图像。样本图像与标注区域具有相同的图像尺寸，样本图像和标注区域均为三维图像，其图像尺寸为100*100*100，通道数均为1。模型首先利用一个特征提取单元对样本图像依次进行卷积、归一化和激活处理，得到特征图像，图像尺寸为50*50*50，通道数为64；然后利用最大池化层对特征图像进行下采样，图像尺寸变为25*25*25，通道数为64。同时，为了保持标注区域与特征图像保持相同的图像尺寸和通道数，对标注区域进行连续的两次下采样。
然后，将特征图像和标注区域输入第一级ROI-SE Block模型中，并将第一级ROI-SE Block模型的输出参数作为第二级ROI-SE Block模型的输入参数，同时，对标注区域再次进行下采样并作为第二ROI-SE Block模型的输入参数。经过连续的多级ROI-SE Block模型的处理，再将第四级ROI-SE Block模型输出的特征数据进行平均池化和全连接处理，在全连接层将提取的特征共512个映射为一个向量长度为类别个数的概率向量，然后按照argmax函数输出为类别个数，作为分类结果。再将该分类结果与输入样本图像的真实分类结果进行对比，再根据分类结果优化ROI-SE Block模型及对应的损失函数。重复上述的过程，直至模型对样本图像输出的分类结果达到预期目标。
以下介绍本发明的装置实施例，可以用于执行本发明上述实施例中用于图像分类方法，以及上述实施例中的图像分类模型训练方法。对于本发明装置实施例中未披露的细节，请参照本发明上述的图像分类方法和图像分类模型训练方法的实施例。
图11示意性示出了根据本发明的一个实施例的图像分类装置的框图。
参照图11所示，根据本发明的一个实施例的图像分类装置800，包括：图像分割模块801、第一数据获取模块802、第二数据获取模块803和分类结果生成模块804。
其中，图像分割模块801，用于获取待处理图像以及待处理图像中的标注区域，并提取对应于所述标注区域的目标图像以及对应于所述标注区域之外区域的背景图像；第一数据获取模块802，用于根据所述目标图像以及所述背景图像的第一特征信息，分别获取所述目标图像以及所述背景图像的第一权重信息；第二数据获取模块803，用于将所述第一特征信息输入至第一机器学习模型，获取所述待处理图像的第二特征信息；并将所述第一权重信息输入至所述第一机器学习模型，获取转换后的第二权重信息；分类结果生成模块804，用于根据所述第二特征信息以及所述第二权重信息获取所述待处理图像的分类结果。
在本发明的一个实施例中，所述图像分割模块801为：根据所述标注区域对所述待处理图像进行分割，以获取所述目标区域和所述背景区域。
在本发明的一个实施例中，所述第一数据获取模块802还包括：第一特征信息获取单元，用于利用残差网络层对所述目标图像和所述背景图像进行特征提取，以获取所述目标图像和所述背景图像对应的第一特征信息；第一权重信息获取单元，用于利用全局池化层分别对所述目标图像和所述背景图像对应的第一特征信息进行池化处理，以获取所述目标图像和所述背景图像对应的第一权重信息。
在本发明的一个实施例中，所述第一权重信息获取单元为：根据所述目标图像和所述背景图像的第一特征信息与所述待处理图像各通道的特征信息分别计算所述目标图像和所述背景图像各通道对应特征矩阵的平均值，并将所述平均值作为所述目标图像和所述背景图像的第一权重信息。
在本发明的一个实施例中，所述第一权重信息获取单元包括以下表达式：
其中，Ix为待处理图像的第x个通道；mask为目标图像；(1-mask)为背景图像。
在本发明的一个实施例中，所述第二数据获取模块803包括：第二权重信息获取单元，用于利用第一机器学习模型的第一全连接层、激活层、第二全连接层和分类层，对所述第一权重信息依次进行全连接、非线性激活、全连接以及分类处理，以获取转换后的第二权重信息。
在本发明的一个实施例中，所述第二数据获取模块803包括：第二特征信息获取单元，用于利用第一机器学习模型的第一全连接层、激活层、第二全连接层和分类层，对所述第一特征信息依次进行全连接、非线性激活、全连接以及分类处理，以获取所述第二特征信息。
在本发明的一个实施例中，所述分类结果生成模块804包括：：第二权重信息处理单元，用于根据所述第二特征信息以及所述第二权重信息获取所述待处理图像对应的中间特征信息；分类结果获取单元，用于根据所述中间特征信息获取所述待处理图像的分类结果。
在本发明的一个实施例中，所述第二权重信息处理单元为：将所述目标图像和所述背景图像对应的第二权重信息分别施加至所述目标图像和所述背景图像对应的第二特征信息，以获取所述待处理图像对应的中间特征信息。
在本发明的一个实施例中，所述分类结果获取单元为：将所述中间特征信息映射为分类结果对应的概率向量，并选取所述概率向量最大值对应的类别作为所述待处理图像的分类结果。
在本发明的一个实施例中，所述分类结果获取单元包括以下表达式：
Kx＝k′1x*mask+k′2x*(1-mask)
其中，mask为目标图像，(1-mask)为背景图像，k1x’、k2x’分别为目标图像和背景图像对应的第二权重信息。
在本发明的一个实施例中，所述图像分类装置还包括：图像预处理模块，用于对所述待处理图像依次进行归一化处理和图像扩展处理；其中，所述图像扩展处理包括以下任意一项或任意多项的组合：翻转、旋转、放缩以及对比度增强。
在本发明的一个实施例中，所述待处理图像与所述待处理图像中的标注区域具有相同的图像尺寸。
图12示意性示出了根据本发明的一个实施例的图像分类模型训练装置900的框图。
参照图12所示，根据本发明的一个实施例的图像分类模型训练装置900，包括：样本图像获取模块901、第一数据获取模块902、第二数据获取模块903、分类结果生成模块904和参数优化模块905。
其中，样本图像获取模块901，用于获取样本图像以及样本图像中的标注区域，并提取对应于所述标注区域的目标图像以及对应于所述标注区域之外区域的背景图像；第一数据获取模块902，用于根据所述目标图像以及所述背景图像的第一特征信息，分别获取所述目标图像以及所述背景图像的第一权重信息；第二数据获取模块903，用于将所述第一特征信息输入至第一机器学习模型，获取所述样本图像的第二特征信息；以及，将所述第一权重信息输入至所述第一机器学习模型，获取转换后的第二权重信息；分类结果生成模块904，用于根据所述第二特征信息以及所述第二权重信息获取所述样本图像的分类结果；参数优化模块905，用于将所述分类结果与所述样本图像对应的真实分类结果进行比对，并根据比对结果，对所述第一机器学习模型的参数进行调整。
在本发明的一个实施例中，所述样本图像获取模块901为：根据所述标注区域对所述样本图像进行分割，以获取所述目标区域和所述背景区域。
在本发明的一个实施例中，所述第一数据获取模块902还包括：第一特征信息获取单元，用于利用残差网络层对所述目标图像和所述背景图像进行特征提取，以获取所述目标图像和所述背景图像对应的第一特征信息；第一权重信息获取单元，用于利用全局池化层分别对所述目标图像和所述背景图像对应的第一特征信息进行池化处理，以获取所述目标图像和所述背景图像对应的第一权重信息。
在本发明的一个实施例中，所述第一权重信息获取单元为：根据所述目标图像和所述背景图像的第一特征信息与所述待样本图像各通道的特征信息分别计算所述目标图像和所述背景图像各通道对应特征矩阵的平均值，并将所述平均值作为所述目标图像和所述背景图像的第一权重信息。
在本发明的一个实施例中，所述第二数据获取模块903包括：第二权重信息获取单元，用于利用第一机器学习模型的第一全连接层、激活层、第二全连接层和分类层，对所述第一权重信息依次进行全连接、非线性激活、全连接以及分类处理，以获取转换后的第二权重信息。
在本发明的一个实施例中，所述第二数据获取模块903包括：第二特征信息获取单元，用于利用第一机器学习模型的第一全连接层、激活层、第二全连接层和分类层，对所述第一特征信息依次进行全连接、非线性激活、全连接以及分类处理，以获取所述第二特征信息。
在本发明的一个实施例中，所述分类结果生成模块904包括：第二权重信息处理单元，用于根据所述第二特征信息以及所述第二权重信息获取所述样本图像对应的中间特征信息；分类结果获取单元，用于根据所述中间特征信息获取所述样本图像的分类结果。
在本发明的一个实施例中，所述第二权重信息处理单元：将所述目标图像和所述背景图像对应的第二权重信息分别施加至所述目标图像和所述背景图像对应的第二特征信息，以获取所述样本图像对应的中间特征信息。
在本发明的一个实施例中，所述分类结果获取单元为：将所述中间特征信息映射为分类结果对应的概率向量，并选取所述概率向量最大值对应的类别作为所述样本图像的分类结果。
在本发明的一个实施例中，所述图像分类装置还包括：图像预处理模块，用于对所述样本图像依次进行归一化处理和图像扩展处理；其中，所述图像扩展处理包括以下任意一项或任意多项的组合：翻转、旋转、放缩以及对比度增强。
在本发明的一个实施例中，所述样本图像与所述样本图像中的标注区域具有相同的图像尺寸。
图13示出了适于用来实现本发明实施例的电子设备的计算机系统的结构示意图。
需要说明的是，图13示出的电子设备的计算机系统1000仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图13所示，计算机系统1000包括中央处理单元(Central Processing Unit，CPU)1001，其可以根据存储在只读存储器(Read-Only Memory，ROM)1002中的程序或者从存储部分1008加载到随机访问存储器(Random Access Memory，RAM)703中的程序而执行各种适当的动作和处理。在RAM 1003中，还存储有系统操作所需的各种程序和数据。CPU 1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(Input/Output，I/O)接口1005也连接至总线1004。
以下部件连接至I/O接口1005：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分1007；包括硬盘等的存储部分1008；以及包括诸如LAN(Local AreaNetwork，局域网)卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的计算机程序根据需要被安装入存储部分1008。
特别地，根据本发明的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1009从网络上被下载和安装，和/或从可拆卸介质1011被安装。在该计算机程序被中央处理单元(CPU)1001执行时，执行本申请的系统中限定的各种功能。
需要说明的是，本发明实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现上述实施例中所述的方法。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本发明实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (13)

1.一种图像分类方法，其特征在于，包括：
获取待处理图像以及待处理图像中的标注区域，并提取对应于所述标注区域的目标图像以及对应于所述标注区域之外区域的背景图像；
利用残差网络层对所述目标图像和所述背景图像进行特征提取，以获取所述目标图像和所述背景图像对应的第一特征信息；
根据所述目标图像和所述背景图像的第一特征信息与所述待处理图像各通道的特征信息分别计算所述目标图像和所述背景图像各通道对应特征矩阵的平均值，并将所述平均值作为所述目标图像和所述背景图像的第一权重信息；
将所述第一特征信息输入至第一机器学习模型，获取所述待处理图像的第二特征信息；并将所述第一权重信息输入至所述第一机器学习模型，获取转换后的第二权重信息；
根据所述第二特征信息以及所述第二权重信息获取所述待处理图像的分类结果。
2.根据权利要求1所述的图像分类方法，其特征在于，提取对应于所述标注区域的目标图像以及对应于所述标注区域之外区域的背景图像，包括：
根据所述标注区域对所述待处理图像进行图像分割，以获取目标图像和背景图像。
3.根据权利要求1所述的图像分类方法，其特征在于，将所述第一权重信息输入至所述第一机器学习模型，获取转换后的第二权重信息，包括：
利用第一机器学习模型的第一全连接层、激活层、第二全连接层和分类层，对所述第一权重信息依次进行全连接、非线性激活、全连接以及分类处理，以获取转换后的第二权重信息。
4.根据权利要求1或3所述的图像分类方法，其特征在于，将所述第一特征信息输入至第一机器学习模型，获取所述待处理图像的第二特征信息，包括：
利用第一机器学习模型的第一全连接层、激活层、第二全连接层和分类层，对所述第一特征信息依次进行全连接、非线性激活、全连接以及分类处理，以获取所述第二特征信息。
5.根据权利要求1所述的图像分类方法，其特征在于，根据所述第二特征信息以及所述第二权重信息获取所述待处理图像的分类结果，包括：
根据所述第二特征信息以及所述第二权重信息获取所述待处理图像对应的中间特征信息；
根据所述中间特征信息获取所述待处理图像的分类结果。
6.根据权利要求5所述的图像分类方法，其特征在于，根据所述第二特征信息以及所述第二权重信息获取所述待处理图像对应的中间特征信息，包括：
将所述目标图像和所述背景图像对应的第二权重信息分别施加至所述目标图像和所述背景图像对应的第二特征信息，以获取所述待处理图像对应的中间特征信息。
7.根据权利要求5所述的图像分类方法，其特征在于，根据所述中间特征信息获取所述待处理图像的分类结果，包括：
将所述中间特征信息映射为分类结果对应的概率向量，并选取所述概率向量最大值对应的类别作为所述待处理图像的分类结果。
8.根据权利要求1所述的图像分类方法，其特征在于，所述获取待处理图像后，所述方法还包括：
对所述待处理图像依次进行归一化处理和图像扩展处理；
其中，所述图像扩展处理包括以下任意一项或任意多项的组合：翻转、旋转、放缩以及对比度增强。
9.根据权利要求1或8所述图像分类方法，其特征在于，所述待处理图像与所述待处理图像中的标注区域具有相同的图像尺寸。
10.一种图像分类模型训练方法，其特征在于，包括：
获取样本图像以及样本图像中的标注区域，并提取对应于所述标注区域的目标图像以及对应于所述标注区域之外区域的背景图像；
利用残差网络层对所述目标图像和所述背景图像进行特征提取，以获取所述目标图像和所述背景图像对应的第一特征信息；
根据所述目标图像和所述背景图像的第一特征信息与所述样本图像各通道的特征信息分别计算所述目标图像和所述背景图像各通道对应特征矩阵的平均值，并将所述平均值作为所述目标图像和所述背景图像的第一权重信息；
将所述第一特征信息输入至第一机器学习模型，获取所述样本图像的第二特征信息；以及，将所述第一权重信息输入至所述第一机器学习模型，获取转换后的第二权重信息；
根据所述第二特征信息以及所述第二权重信息获取所述样本图像的分类结果；
将所述分类结果与所述样本图像对应的真实分类结果进行比对，并根据比对结果，对所述第一机器学习模型的参数进行调整。
11.一种图像分类装置，其特征在于，包括：
图像分割模块，用于获取待处理图像以及待处理图像中的标注区域，并提取对应于所述标注区域的目标图像以及对应于所述标注区域之外区域的背景图像；
第一特征信息获取单元，用于利用残差网络层对所述目标图像和所述背景图像进行特征提取，以获取所述目标图像和所述背景图像对应的第一特征信息；
第一权重信息获取单元，用于根据所述目标图像和所述背景图像的第一特征信息与所述待处理图像各通道的特征信息分别计算所述目标图像和所述背景图像各通道对应特征矩阵的平均值，并将所述平均值作为所述目标图像和所述背景图像的第一权重信息；
第二数据获取模块，用于将所述第一特征信息输入至第一机器学习模型，获取所述待处理图像的第二特征信息；并将所述第一权重信息输入至所述第一机器学习模型，获取转换后的第二权重信息；
分类结果生成模块，用于根据所述第二特征信息以及所述第二权重信息获取所述待处理图像的分类结果。
12.一种图像分类模型训练装置，其特征在于，包括：
样本图像获取模块，用于获取样本图像以及样本图像中的标注区域，并提取对应于所述标注区域的目标图像以及对应于所述标注区域之外区域的背景图像；
第一特征信息获取单元，用于利用残差网络层对所述目标图像和所述背景图像进行特征提取，以获取所述目标图像和所述背景图像对应的第一特征信息；
第一权重信息获取单元，用于根据所述目标图像和所述背景图像的第一特征信息与所述样本图像各通道的特征信息分别计算所述目标图像和所述背景图像各通道对应特征矩阵的平均值，并将所述平均值作为所述目标图像和所述背景图像的第一权重信息；
第二数据获取模块，用于将所述第一特征信息输入至第一机器学习模型，获取所述样本图像的第二特征信息；以及，将所述第一权重信息输入至所述第一机器学习模型，获取转换后的第二权重信息；
分类结果生成模块，用于根据所述第二特征信息以及所述第二权重信息获取所述样本图像的分类结果；
参数优化模块，用于将所述分类结果与所述样本图像对应的真实分类结果进行比对，并根据比对结果，对所述第一机器学习模型的参数进行调整。
13.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至9中任一项所述的图像分类方法，或者如权利要求10所述的图像分类模型训练方法。
CN201910620467.9A 2019-07-10 2019-07-10 图像分类方法、图像分类模型训练方法及装置 Active CN110348515B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910620467.9A CN110348515B (zh) 2019-07-10 2019-07-10 图像分类方法、图像分类模型训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910620467.9A CN110348515B (zh) 2019-07-10 2019-07-10 图像分类方法、图像分类模型训练方法及装置

Publications (2)

Publication Number Publication Date
CN110348515A CN110348515A (zh) 2019-10-18
CN110348515B true CN110348515B (zh) 2024-08-23

Family

ID=68174821

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910620467.9A Active CN110348515B (zh) 2019-07-10 2019-07-10 图像分类方法、图像分类模型训练方法及装置

Country Status (1)

Country Link
CN (1) CN110348515B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110751221A (zh) * 2019-10-24 2020-02-04 广东三维家信息科技有限公司 图片分类方法、装置、电子设备及计算机可读存储介质
CN110826608A (zh) * 2019-10-25 2020-02-21 广州思德医疗科技有限公司 一种图像分类方法及装置
CN110929774B (zh) * 2019-11-18 2023-11-14 腾讯科技（深圳）有限公司 图像中目标物的分类方法、模型训练方法和装置
CN111179193B (zh) * 2019-12-26 2021-08-10 苏州斯玛维科技有限公司 基于DCNNs和GANs的皮肤镜图像增强和分类方法
CN113312943A (zh) * 2020-02-27 2021-08-27 华为技术有限公司 视频的动作识别方法和装置
CN111429407B (zh) * 2020-03-09 2023-05-09 清华大学深圳国际研究生院 基于双通道分离网络的胸部x光疾病检测装置及方法
CN111311592B (zh) * 2020-03-13 2021-10-08 中南大学 一种基于深度学习的三维医学图像自动分割方法
CN111755118B (zh) * 2020-03-16 2024-03-08 腾讯科技（深圳）有限公司 医疗信息处理方法、装置、电子设备及存储介质
CN111666972A (zh) * 2020-04-28 2020-09-15 清华大学 基于深度神经网络的肝部病例图像分类方法及系统
US11908132B2 (en) * 2020-05-02 2024-02-20 Blaize, Inc. Method and systems for predicting medical conditions and forecasting rate of infection of medical conditions via artificial intelligence models using graph stream processors
CN111583354B (zh) * 2020-05-08 2024-01-02 上海联影医疗科技股份有限公司 医学图像处理单元的训练方法和医学图像运动估计方法
CN111369562B (zh) * 2020-05-28 2020-08-28 腾讯科技（深圳）有限公司 图像处理方法、装置、电子设备及存储介质
CN111476806B (zh) * 2020-06-23 2020-10-23 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质
TWI844747B (zh) * 2020-11-09 2024-06-11 財團法人工業技術研究院 辨識系統及其圖資擴增與訓練方法
CN115147267A (zh) * 2021-03-30 2022-10-04 晶晨半导体(上海)股份有限公司 图像处理装置、系统、方法和计算机可读存储介质
CN113052831B (zh) * 2021-04-14 2024-04-23 清华大学 脑部医学影像异常检测方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104778702A (zh) * 2015-04-15 2015-07-15 中国科学院自动化研究所 基于深度学习的图像隐写检测方法
CN108510472A (zh) * 2018-03-08 2018-09-07 北京百度网讯科技有限公司 用于处理图像的方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108615010B (zh) * 2018-04-24 2022-02-11 重庆邮电大学 基于平行卷积神经网络特征图融合的人脸表情识别方法
CN108764292B (zh) * 2018-04-27 2022-03-18 北京大学 基于弱监督信息的深度学习图像目标映射及定位方法
CN109191453A (zh) * 2018-09-14 2019-01-11 北京字节跳动网络技术有限公司 用于生成图像类别检测模型的方法和装置
CN109684922B (zh) * 2018-11-20 2023-04-07 浙江大学山东工业技术研究院 一种基于卷积神经网络的多模型对成品菜的识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104778702A (zh) * 2015-04-15 2015-07-15 中国科学院自动化研究所 基于深度学习的图像隐写检测方法
CN108510472A (zh) * 2018-03-08 2018-09-07 北京百度网讯科技有限公司 用于处理图像的方法和装置

Also Published As

Publication number Publication date
CN110348515A (zh) 2019-10-18

Similar Documents

Publication Publication Date Title
CN110348515B (zh) 图像分类方法、图像分类模型训练方法及装置
US20190065897A1 (en) Medical image analysis method, medical image analysis system and storage medium
CN110599505A (zh) 一种器官图像分割方法、装置、电子设备和存储介质
Gao et al. Bone age assessment based on deep convolution neural network incorporated with segmentation
US11430123B2 (en) Sampling latent variables to generate multiple segmentations of an image
CN112365980A (zh) 脑肿瘤多靶点辅助诊断与前瞻性治疗演化可视化方法及系统
Liu et al. The measurement of Cobb angle based on spine X-ray images using multi-scale convolutional neural network
CN112950631B (zh) 基于显著图约束和x光头颅定位侧位图像的年龄估计方法
Qian et al. Breast cancer diagnosis using evolving deep convolutional neural network based on hybrid extreme learning machine technique and improved chimp optimization algorithm
CN114863225B (zh) 图像处理模型训练方法、生成方法、装置、设备及介质
WO2019118353A1 (en) Automated segmentation of tissue in magnetic resonance imaging
Tummala et al. Liver tumor segmentation from computed tomography images using multiscale residual dilated encoder‐decoder network
CN111968108A (zh) 基于智能扫描协议的ct智能成像方法、装置及系统
CN117058307A (zh) 心脏三维核磁共振图像生成方法、系统、设备及储存介质
Khazaei et al. Sex determination from lateral cephalometric radiographs using an automated deep learning convolutional neural network
Manimala et al. Sparse MR image reconstruction considering Rician noise models: A CNN approach
CN113850796A (zh) 基于ct数据的肺部疾病识别方法及装置、介质和电子设备
CN114400086A (zh) 一种基于深度学习的关节盘前移辅助诊断系统和方法
Balan et al. An intelligent human age and gender forecasting framework using deep learning algorithms
Yang et al. Low‐dose CT denoising with a high‐level feature refinement and dynamic convolution network
Kondou et al. Artificial intelligence-based forensic sex determination of East Asian cadavers from skull morphology
Hao et al. Radiographs and texts fusion learning based deep networks for skeletal bone age assessment
Mouzai et al. Xray-Net: Self-supervised pixel stretching approach to improve low-contrast medical imaging
CN115375706A (zh) 图像分割模型训练方法、装置、设备及存储介质
Priya et al. An intellectual caries segmentation and classification using modified optimization-assisted transformer denseUnet++ and ViT-based multiscale residual denseNet with GRU

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant