CN110210543A - 图像分类系统、方法、设备和存储介质 - Google Patents

图像分类系统、方法、设备和存储介质 Download PDF

Info

Publication number
CN110210543A
CN110210543A CN201910437934.4A CN201910437934A CN110210543A CN 110210543 A CN110210543 A CN 110210543A CN 201910437934 A CN201910437934 A CN 201910437934A CN 110210543 A CN110210543 A CN 110210543A
Authority
CN
China
Prior art keywords
image
area
feature
fisrt feature
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910437934.4A
Other languages
English (en)
Other versions
CN110210543B (zh
Inventor
李青峰
石峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Intelligent Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Intelligent Healthcare Co Ltd filed Critical Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority to CN202111068480.1A priority Critical patent/CN113705723A/zh
Priority to CN201910437934.4A priority patent/CN110210543B/zh
Publication of CN110210543A publication Critical patent/CN110210543A/zh
Application granted granted Critical
Publication of CN110210543B publication Critical patent/CN110210543B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明涉及一种图像分类系统、方法、设备和存储介质，所获得分类结果是通过第一分类网络对输入的医学图像进行特征提取，获得医学图像中异常区域的第一特征向量，并通过第一特征区域检测网络，对第一特征向量进行位置信息提取，得到医学图像中的异常区域的第一位置信息，并通过第一特征区域获取单元得到根据该第一位置信息获得的医学图像中与第一位置信息对应的第一特征区域图像，进而通过输出网络，对第一特征区域图像进行分类处理，输出得到的分类结果。本申请中，第一特征区域图像是通过神经网络自动获得的，提高了获得的第一特征区域图像的准确性，进而提高了根据第一特征区域图像得到分类结果的准确性。

Description

图像分类系统、方法、设备和存储介质
技术领域
本发明涉及深度学习技术领域，特别是涉及了一种图像分类系统、方法、设备和存储介质。
背景技术
随着人工智能技术的不断发展，常常会通过神经网络模型对医学图像进行处理。例如，阿尔茨海默症(Alzheimer’s disease，AD)作为一种常见的神经退行性疾病，可以通过神经网络模型对脑图像进行处理，确定脑图像中是否存在与AD对应的异常区域，以确定AD及相关病变。
传统方法中，以AD为例，可以通过人工对脑图像进行标注，获得脑图像中与AD相关的特征区域，例如海马、颞叶、杏仁核、扣带回等特征区域，采用模板图像配准的方法从这些特征区域中选择多个感兴趣区域，进而从各感兴趣区域提取特征信息输入预设的神经网络模型，得到脑图像的处理结果，该处理结果可以表征脑图像中是否存在与AD及相关病变对应的异常区域。
发明内容
基于此，提供了一种图像分类系统、方法、设备和存储介质。
第一方面，一种图像分类系统，该系统包括：
第一分类网络，用于对输入的医学图像进行特征提取，获得医学图像中异常区域的第一特征向量；
第一特征区域检测网络，用于对第一特征向量进行位置信息提取，获得医学图像中的异常区域的第一位置信息；
第一特征区域获取单元，用于根据第一位置信息获得医学图像中与第一位置信息对应的第一特征区域图像；
输出网络，用于对第一特征区域图像进行分类处理，输出分类结果。
在其中一个实施例中，上述输出网络包括：
第二分类网络，用于对第一特征区域图像进行特征提取，获得第一特征区域图像中异常区域的第二特征向量；
第二特征区域检测网络，用于对第二特征向量进行位置信息提取，获得第一特征区域图像中异常区域的第二位置信息；
第二特征区域获取单元，用于根据第二位置信息获得第一特征区域图像中与第二位置信息对应的第二特征区域图像；
第三分类网络，用于对第二特征区域图像进行分类处理，获得分类结果。
在其中一个实施例中，该系统还包括：
图像处理单元，用于对医学图像中所述第一特征区域图像或第二特征区域图像对应的区域进行去特征处理，得到更新后的医学图像；所述更新后的医学图像用于通过所述图像分类系统获得更新后的分类结果，所述更新后的分类结果包括从第一特征区域图像或第二特征区域之外的特征区域得到的分类结果。
在其中一个实施例中，上述第一分类网络包括全连接层；
所述医学图像中异常区域的第一特征向量是从全连接层获得的。
在其中一个实施例中，对第一分类网络、第二分类网络、第三分类网络、第一特征区域检测网络和第二特征区域检测网络的训练是联合进行的。
第二方面，一种图像分类方法，该方法包括：
将医学图像输入第一分类网络进行异常区域特征提取，获得医学图像中异常区域的第一特征向量；
将第一特征向量输入第一特征区域检测网络进行位置信息提取，获得医学图像中的异常区域的第一位置信息；
获取所述医学图像中与所述第一位置信息对应的第一特征区域图像；
对所述第一特征区域图像进行分类处理，获得分类结果。
在其中一个实施例中，上述所述对所述第一特征区域图像进行分类处理，获得分类结果包括：
将所述第一特征区域图像输入第二分类网络进行异常区域特征提取，获得所述第一特征区域图像中异常区域的第二特征向量；
将所述第二特征向量输入第二特征区域检测网络进行位置信息提取，获得所述第一特征区域图像中异常区域的第二位置信息；
获取所述第一特征区域图像中与所述第二位置信息对应的第二特征区域图像；
对所述第二特征区域图像进行分类处理，获得所述分类结果。
在其中一个实施例中，该方法还包括：
对医学图像中第二特征区域图像对应的区域进行去特征处理，得到更新后的医学图像；更新后的医学图像用于通过上述任一项图像分类方法获得更新后的分类结果，更新后的分类结果包括从第一特征区域图像或第二特征区域之外的特征区域得到的分类结果。
第三方面，一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述图像分类方法所述的方法步骤。
第四方面，一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述图像分类方法所述的方法步骤。
上述图像分类系统、方法、设备和存储介质，所获得分类结果是通过第一分类网络对输入的医学图像进行特征提取，获得医学图像中异常区域的第一特征向量，并通过第一特征区域检测网络，对第一特征向量进行位置信息提取，得到医学图像中的异常区域的第一位置信息，并通过第一特征区域获取单元得到根据该第一位置信息获得的医学图像中与第一位置信息对应的第一特征区域图像，进而通过输出网络，对第一特征区域图像进行分类处理，输出得到的分类结果。本申请中，通过第一分类网络和第一特征检测网络获得医学图像中异常区域的第一位置信息，并根据该第一位置信息得到第一特征区域图像，使得第一特征区域图像是通过神经网络自动获得的，避免了通过人工标注的方法得到第一位置信息，进而通过模板图像配准的方法得到第一特征区域图像的情况，提高了获得的第一特征区域图像的准确性，进而提高了根据第一特征区域图像得到分类结果的准确性性。
附图说明
图1为一个实施例中结图像分类系统的结构示意图；
图2为另一个实施例中结图像分类系统的结构示意图；
图3为另一个实施例中结图像分类系统的结构示意图；
图4为另一个实施例中结图像分类系统的结构示意图；
图5为一个实施例中结图像分类方法的流程示意图；
图6为另一个实施例中结图像分类方法的流程示意图；
图7为一个实施例中计算机设备的内部结构图。
附图标记说明
100、第一分类网络； 200、第一特征区域检测网络；
300、第一特征区域获取单元； 400、输出网络；
101、全连接层； 401、第二分类网络；
402、第二特征区域检测网络； 403、第二特征区域获取单元；
404、第三分类网络； 500、图像处理单元。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。
图1为一个实施例中图像分类系统的结构示意图。该图像分类系统包括：第一分类网络100，用于对输入的医学图像进行特征提取，获得医学图像中异常区域的第一特征向量；第一特征区域检测网络200，用于对第一特征向量进行位置信息提取，获得医学图像中的异常区域的第一位置信息；第一特征区域获取单元300，用于根据第一位置信息获得医学图像中与第一位置信息对应的第一特征区域图像；输出网络400，用于对第一特征区域图像进行分类处理，输出分类结果。
具体地，第一分类网络100，用于对输入的医学图像进行分类，在分类的过程中进行特征提取，获得医学图像中异常区域的第一特征向量。在将医学图像输入第一分类网络100时，可以对医学图像进行预处理，以医学图像是MRI图像，医学图像中的异常区域对应AD的病变区域为例，通过磁共振扫描设备获取脑结构MRI图像，该MRI图像可以是便于观察解剖结构的T1加权图像，也可以是显示组织病变较好的T2加权图像，本申请实施例对此不做限制。对上述MRI图像进行标注，如AD、轻度认知障碍(mild cognitive impairment，MCI)和正常样本(Normal sample，NC)。进而对MRI图像进行旋转、重采样、调整尺寸、去头骨、图像非均匀校正、直方图匹配、灰度归一化一系列操作，使图像尺寸为256×256×256mm3，使得MRI图像的方向为标准笛卡尔LPI坐标系，灰度范围均为(-1，1)区间内的标准图像。可选地，医学图像尺寸还可以为48×48×48mm3，64×64×64mm3，128×128×128mm3。第一分类网络100可以是CNN网络、残差网络ResNet和结合特征加权模块SEBlock的三维稠密连接网络DenseNet中的任一种。以第一分类网络100为CNN网络为例，该CNN网络可以基于DenseNet的网络设计，在传统的卷积神经网络中，如果网络层数为L，那么就会有L个连接，但在DenseNet中，当网络层数为L时，会有L(L+1)/2个网络连接，即每一层的输入由前面所有层的输出构成。整个网络的每个模块中卷积层输出的特征映射数量都很少(小于100)，而不会像传统卷积神经网络中出现较大的宽度。DenseNet的主体部分由若干稠密加权模块Denseblock构成，每个Dense Block的3×3×3卷积前面都包含了1×1×1的卷积操作，可以压缩输入的特征映射数量，其输出结果作为3×3×3卷积的输入。基于上述Densenet的网络结构设计，每层的输出要与前面所有层的输出按通道连接，作为下一层的输入，因此最后每个Denseblock的输出通道数也是巨大的，为减少内存占用，同时融合各输出通道的特征，每两个Dense Block的中间有一组1×1×1卷积操作，称为Transition layer，在每个DenseBlock后加上由空洞卷积模块组成的Dilation Block，以扩大卷积核的感受野；在Denseblock的3×3×3卷积后加入压缩-激活模块，以获得特征映射的不同通道的权重；同时为每个Denseblock增加由残差注意力模块构成的旁路，以获得特征映射的不同体素的权重。
在此基础上，通过第一分类网络100对医学进行预分类的过程中，提取第一特征向量，其中第一特征向量中包括医学图像中异常区域的第一位置信息。此时可以通过第一特征区域检测网络200，对第一特征向量进行位置信息提取，获得医学图像中的异常区域的第一位置信息。其中，第一特征区域检测网络200经加权分类器进行分类处理，输出异常区域的第一位置信息。第一特征区域检测网络200可以由多层全连接神经网络构成。例如，第一特征区域检测网络200可以由四层全连接神经网络构成。该网络的第一层输入通道数与第一分类网络100的第一层全连接层通道数相同，此后的每一层输入通道数压缩为前一层的1/2，第四层，即第一特征区域检测网络200的输出层可以由6个输出通道构成，分别为异常区域中心点坐标xc，yc，zc，以及异常区域在三个轴向上的半径Rx，Ry，Rz，即获得了第一位置信息。
在获得第一位置信息的基础上，可以通过第一特征区域获取单元300，根据第一位置信息获得医学图像中与第一位置信息对应的第一特征区域图像。第一特征区域获取单元300可以通过遮挡上述医学图像中非异常区域的掩模函数，得到第一位置信息对应的第一特征区域图像。通过掩膜函数可以保证保证异常区域获取操作为可导操作，从而使得第一特征区域检测网络200可以通过神经网络的梯度反向传播方法进行优化。可选地，可以采用以下函数作为掩膜函数：
M(x,y,z,xc,yc,zc,Rx,Ry,Rz＝[h(x-lx(RAS))]·[h(y-ly(RAS))]·[h(z-lz(RAS))]，其中：
lx(LPI)＝xc-Rx，ly(LPI)＝yc-Ry，lz(LPI)＝zc-Rz，lx(RAS)＝xc+Rx，ly(RAS)＝yc+Ry，lz(RAS)＝zc+Rz，x,y,z为被掩膜图像的每个体素的坐标。
在通过第一特征区域获取单元300获得第一特征区域图像时，可以通过输出网络400，进行分类处理，输出分类结果。例如，输出网络400可以是一个CNN网络，通过CNN网络，对第一特征区域图像进行分类处理，输出分类结果；输出网络400也可以包括分类网络-特征区域检测网络-特征区域获取单元-分类网络的一组网络，通过该组网络，进一步的提取特征信息，获得特征更加收敛的特征区域图像作为第一特征区域图像，将此第一特征区域图像输入分类网络，进行分类处理，得到分类结果；本申请实施例对此不做限制。其中，分类结果用于指示医学图像中的异常区域。
上述图像分类系统，所获得分类结果是通过第一分类网络对输入的医学图像进行特征提取，获得医学图像中异常区域的第一特征向量，并通过第一特征区域检测网络，对第一特征向量进行位置信息提取，得到医学图像中的异常区域的第一位置信息，并通过第一特征区域获取单元得到根据该第一位置信息获得的医学图像中与第一位置信息对应的第一特征区域图像，进而通过输出网络，对第一特征区域图像进行分类处理，并输出得到的分类结果。本实施例中，通过第一分类网络和第一特征检测网络获得医学图像中异常区域的第一位置信息，并根据该第一位置信息得到第一特征区域图像，使得第一特征区域图像是通过神经网络自动获得的，避免了通过人工标注的方法得到第一位置信息，进而通过模板图像配准的方法得到第一特征区域图像的情况，提高了获得的第一特征区域图像的准确性，进而提高了根据第一特征区域图像得到分类结果的准确性。
图2为另一个实施例中图像分类系统的结构示意图。上述输出网络400包括：第二分类网络401，用于对第一特征区域图像进行特征提取，获得第一特征区域图像中异常区域的第二特征向量；第二特征区域检测网络402，用于对第二特征向量进行位置信息提取，获得第一特征区域图像中异常区域的第二位置信息；第二特征区域获取单元403，用于根据第二位置信息获得第一特征区域图像中与第二位置信息对应的第二特征区域图像；第三分类网络404，用于对第二特征区域图像进行分类处理，获得分类结果。
具体地，上述输出网络400包括：第二分类网络401，可以是CNN网络、残差网络ResNet和结合特征加权模块SEBlock的三维稠密连接网络DenseNet中的任一种，用于对第一特征区域图像进行特征提取，获得第一特征区域图像中异常区域的第二特征向量。进而第二特征区域检测网络402对上述第二特征向量进行位置信息提取，获得第一特征区域图像中异常区域的第二位置信息，其中，由于第二位置信息是对第二特征向量提取的位置信息，而第二特征向量是对第一特征区域图像中的异常区域进行特征提取获得的，而第一特征区域图像是基于对医学图像中的异常区域进行特征提取获得的，是去除掉部分医学图像中非异常区域得到的，也即是说，第二位置信息是在去除掉部分医学图像中非异常区域后，进一步地提取的异常区域的位置信息，第二位置信息比第一位置信息更加准确。在此基础上，第二特征区域获取单元403可以根据第二位置信息获得第一特征区域图像中与第二位置信息对应的第二特征区域图像。例如，第二特征区域获取单元403可以通过掩膜函数来获得第二位置信息对应的第二特征区域图，掩膜函数中包括可变参数k,用于控制掩膜函数的形态，在上述实施例的基础上，当k取值为一较大正数时，例如，k取值为10，掩膜函数可近似视为阶跃函数，可获得较好的掩模效果。可以将掩膜函数和第一分类网络100的输入图像相乘，获得掩膜后的图像，该图像中保持异常区域体素值，而其余区域体素值被置为0，即上述第二特征区域图像。进而将第二特征区域图像输入第三分类网络404，对第二特征区域图像进行分类处理，获得分类结果。其中，第三分类网络404可以是CNN网络、残差网络ResNet和结合特征加权模块SEBlock的三维稠密连接网络DenseNet中的任一种，本申请实施例对此不做限制。
上述图像分类系统中的输出网络包括：第二分类网络，用于对第一特征区域图像进行特征提取，获得第一特征区域图像中异常区域的第二特征向量；第二特征区域检测网络，用于对第二特征向量进行位置信息提取，获得第一特征区域图像中异常区域的第二位置信息；第二特征区域获取单元，用于根据第二位置信息获得第一特征区域图像中与第二位置信息对应的第二特征区域图像；第三分类网络，用于对第二特征区域图像进行分类处理，获得分类结果，使得通过输出网络获得的分类结果时，是进一步地对第一特征区域图像中异常区域进行特征提取，获得异常区域位置更加准确的第二位置信息，并在更加准确的第二位置信息对应的第二特征区域图像的基础上，进行分类处理获得的分类结果，进一步地提高了分类结果的准确性。
图3为另一个实施例中图像分类系统的结构示意图。该图像分类系统还包括：图像处理单元500，用于对医学图像中第一特征区域图像或第二特征区域图像对应的区域进行去特征处理，得到更新后的医学图像；所述更新后的医学图像用于通过所述图像分类系统获得更新后的分类结果，所述更新后的分类结果包括从第一特征区域图像或第二特征区域之外的特征区域得到的分类结果。
具体地，在上述实施例的基础上，该图像分类系统还包括：图像处理单元500，用于对医学图像中第一特征区域图像或第二特征区域图像对应的区域进行去特征处理，得到更新后的医学图像，并将更新后的医学图像通过图像分类系统获得更行后的分类结果，其中更新后的分类结果包括从第一特征区域图像或第二特征区域之外的特征区域得到的分类结果。以对第二特征区域图像进行去特征处理为例，图像处理单元500可以根据上述第二位置信息，对医学图像中第二位置信息对应区域进行高斯模糊处理，以消除该区域的判别能力，得到更新后的医学图像。进而将更新后的医学图像输入第一分类网络100，对更新后的医学图像进行特征提取，获得医学图像中下一个异常区域的第一特征向量，并通过第一特征区域检测网络200，对下一个异常区域的第一特征向量进行位置信息提取，获得下一个异常区域的第一位置信息，进而通过第一特征区域获取单元300，根据下一个异常区域的第一位置信息，获得下一个异常区域的第一位置信息对应的下一个第一特征区域图像，进而输出网络400，对下一个第一特征区域图像进行分类处理，输出下一个分类结果，该分类结果是从第二特征区域之外的特征区域得到的分类结果。进一步地，图像处理单元500还可以进行多次迭代，依次获得多个更新后的医学图像，各更新后的医学图像通过上述第一分类网络100，第一特征区域检测网络200、第一特征区域获取单元300和输出网络400获得各更新后的医学图像对应的分类结果，进而可以将各更新后的医学图像对应的分类结果融合，得到上述医学图像的总体分类结果。
上述图像分类系统，还包括图像处理单元，用于对医学图像中第二特征区域图像对应的区域进行去特征处理，得到更新后的医学图像；更新后的医学图像用于通过图像分类系统获得更新后的分类结果，更新后的分类结果包括从第一特征区域图像或第二特征区域之外的特征区域得到的分类结果，使得上述图像分类系统在获得一个异常区域的分类结果后，可以通过对该异常区域进行去特征处理，获取下一个异常区域的分类结果，使得通过该图像分类系统可以获得多个异常区域的分类结果，进而使得图像分类系统获得的分类结果更加全面。
图4为另一个实施例中图像分类系统的结构示意图。可选地，上述第一分类网络100包括全连接层101；医学图像中异常区域的第一特征向量是从全连接层101获得的。
具体地，第一分类网络100中可以包括全连接层101，全连接层101用于提取医学图像中异常区域特征，全连接层101可以是在第一分类网络对医学图像进行分类的过程中，提取医学图像中异常区域的特征，进而得到医学图像中异常区域对应的第一特征向量。
可选地，对第一分类网络100、第二分类网络401、第三分类网络402、第一特征区域检测网络200和第二特征区域检测网络402的训练是联合进行的。
具体地，可以通过损失函数来对第一分类网络100、第二分类网络401、第三分类网络402、第一特征区域检测网络200和第二特征区域检测网络402的进行联合训练。在上述实施例的基础上，本申请的图像分类系统的网络结构可知，该图像分类系统网络结构分为三个层级，其损失函数可如下公式描述：
其中：
Lrank(pt (s),pt (s+1))＝max{0,pt (s)-pt (s+1)+margin}
式中，X表示输入训练图像；s表示自动诊断网络的每个层级；Lclass表示疾病自动诊断任务中的分类损失函数；Y(s)表示类别预测概率向量；Y*表示真实类别向量；Lrank表示排序损失函数；pt (s)表示对于该图像X的真实类别t，诊断网络的预测概率；margin为一预先设定的非负常数。
其中，损失函数L(x)可被分为两部分：分类损失函数Lclass，以及排序损失函数Lrank。
分类损失函数Lclass，用于提高分类精度，即提高第一分类网络100、第二分类网络401和第三分类网络404的分类性能，提高其对正确标签的预测概率尽可能高。可采用常规分类任务中常用的目标函数(如交叉熵)作为损失函数Lclass。
排序损失函数Lrank，用于提高异常区域定位精度的，排序损失函数Lrank，当后面层级的网络的pt大于相邻的前面层级网络的pt时，Lrank较小；也即是说，第一特征区域检测网络200和第二特征区域检测网络402的训练目标是使得第一特征区域检测网络200后的第二分类网络401，和第二特征区域检测网络402后的第三分类网络402的更准确。其中，margin参数为可设定的正数，取值区间为0～1，其设定值越大，系统会向后面层级网络诊断效果显著优于相邻前面层级网络的趋势来进行优化。
在具体的训练过程中，可以采用交替训练的策略。例如，首先固定第一特征区域检测网络200和第二特征区域检测网络402的训练参数，然后使用分类损失函数Lclass训练第一分类网络100、第二分类网络401和第三分类网络404，直至Lrank函数收敛，接下来将固定第一分类网络100、第二分类网络401和第三分类网络404的训练参数，使用排序损失函数Lrank训练第一特征区域检测网络200和第二特征区域检测网络402，直至Lclass函数收敛；重复上述训练过程，直至总的损失函数L(x)收敛。
在开始训练前，可以对第一分类网络100、第二分类网络401、第三分类网络402、第一特征区域检测网络200和第二特征区域检测网络402分别进行预训练，使用预训练参数作为初始化参数，对第一分类网络100、第二分类网络401、第三分类网络402、第一特征区域检测网络200和第二特征区域检测网络402进行联合训练。
图5为一个实施例中图像分类方法的流程示意图。本实施例涉及的是如何通过神经网络自动获得分类结果的具体过程。如图5所示，该方法包括以下步骤：
S101、将医学图像输入第一分类网络进行异常区域特征提取，获得医学图像中异常区域的第一特征向量。
S102、将第一特征向量输入第一特征区域检测网络进行位置信息提取，获得医学图像中的异常区域的第一位置信息。
S103、获取医学图像中与第一位置信息对应的第一特征区域图像。
S104、对第一特征区域图像进行分类处理，获得分类结果。
本实施例提供的图像分类方法，其实现原理和技术效果与上述系统实施例类似，在此不再赘述。
图6为一个实施例中图像分类方法的流程示意图。本实施例涉及的是如何从第一特征区域图像获得分类结果的具体过程。如图6所示，上述S104“对第一特征区域图像进行分类处理，获得分类结果”一种可能的实现方法包括以下步骤：
S201、将第一特征区域图像输入第二分类网络进行异常区域特征提取，获得第一特征区域图像中异常区域的第二特征向量。
S202、将第二特征向量输入第二特征区域检测网络进行位置信息提取，获得第一特征区域图像中异常区域的第二位置信息。
S203、获取第一特征区域图像中与第二位置信息对应的第二特征区域图像。
S204、对第二特征区域图像进行分类处理，获得分类结果。
本实施例提供的图像分类方法，其实现原理和技术效果与上述系统实施例类似，在此不再赘述。
可选地，对医学图像中第一特征区域图像或第二特征区域图像对应的区域进行去特征处理，得到更新后的医学图像，更新后的医学图像用于通过如图5或图6所示的图像分类方法获得更新后的分类结果，更新后的分类结果包括从第一特征区域图像或第二特征区域之外的特征区域得到的分类结果。
本实施例提供的图像分类方法，其实现原理和技术效果与上述系统实施例类似，在此不再赘述。
应该理解的是，虽然图5或图6的流程图中的各个步骤按照箭头的指示，依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图5或图6中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端设备，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种结图像分类方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
将医学图像输入第一分类网络进行异常区域特征提取，获得医学图像中异常区域的第一特征向量；
将第一特征向量输入第一特征区域检测网络进行位置信息提取，获得医学图像中的异常区域的第一位置信息；
获取所述医学图像中与所述第一位置信息对应的第一特征区域图像；
对所述第一特征区域图像进行分类处理，获得分类结果。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将所述第一特征区域图像输入第二分类网络进行异常区域特征提取，获得所述第一特征区域图像中异常区域的第二特征向量；将所述第二特征向量输入第二特征区域检测网络进行位置信息提取，获得所述第一特征区域图像中异常区域的第二位置信息；获取所述第一特征区域图像中与所述第二位置信息对应的第二特征区域图像；对所述第二特征区域图像进行分类处理，获得所述分类结果。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：对所述医学图像中所述第一特征区域或所述第二特征区域图像对应的区域进行去特征处理，得到更新后的所述医学图像；更新后的医学图像用于通过图5或图6所示图像分类方法获得更新后的分类结果，更新后的分类结果包括从第一特征区域图像或第二特征区域之外的特征区域得到的分类结果。
本实施例提供的终端设备，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
将医学图像输入第一分类网络进行异常区域特征提取，获得医学图像中异常区域的第一特征向量；
将第一特征向量输入第一特征区域检测网络进行位置信息提取，获得医学图像中的异常区域的第一位置信息；
获取所述医学图像中与所述第一位置信息对应的第一特征区域图像；
对所述第一特征区域图像进行分类处理，获得分类结果。
在一个实施例中，计算机程序被处理器执行时实现以下步骤：将所述第一特征区域图像输入第二分类网络进行异常区域特征提取，获得所述第一特征区域图像中异常区域的第二特征向量；将所述第二特征向量输入第二特征区域检测网络进行位置信息提取，获得所述第一特征区域图像中异常区域的第二位置信息；获取所述第一特征区域图像中与所述第二位置信息对应的第二特征区域图像；对所述第二特征区域图像进行分类处理，获得所述分类结果。
在一个实施例中，计算机程序被处理器执行时实现以下步骤：对所述医学图像中所述第一特征区域或所述第二特征区域图像对应的区域进行去特征处理，得到更新后的所述医学图像；更新后的医学图像用于通过图5或图6所示图像分类方法获得更新后的分类结果，更新后的分类结果包括从第一特征区域图像或第二特征区域之外的特征区域得到的分类结果。
本实施例提供的计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像分类系统，其特征在于，所述系统包括：
第一分类网络，用于对输入的医学图像进行特征提取，获得所述医学图像中异常区域的第一特征向量；
第一特征区域检测网络，用于对所述第一特征向量进行位置信息提取，获得所述医学图像中的异常区域的第一位置信息；
第一特征区域获取单元，用于根据所述第一位置信息获得所述医学图像中与所述第一位置信息对应的第一特征区域图像；
输出网络，用于对所述第一特征区域图像进行分类处理，输出分类结果。
2.根据权利要求1所述系统，其特征在于，所述输出网络包括：
第二分类网络，用于对所述第一特征区域图像进行特征提取，获得所述第一特征区域图像中异常区域的第二特征向量；
第二特征区域检测网络，用于对所述第二特征向量进行位置信息提取，获得所述第一特征区域图像中异常区域的第二位置信息；
第二特征区域获取单元，用于根据所述第二位置信息获得所述第一特征区域图像中与所述第二位置信息对应的第二特征区域图像；
第三分类网络，用于对所述第二特征区域图像进行分类处理，获得所述分类结果。
3.根据权利要求1或2所述系统，其特征在于，所述系统还包括：
图像处理单元，用于对所述医学图像中所述第一特征区域图像或所述第二特征区域图像对应的区域进行去特征处理，得到更新后的医学图像；所述更新后的医学图像用于通过所述图像分类系统获得更新后的分类结果，所述更新后的分类结果包括从第一特征区域图像或第二特征区域之外的特征区域得到的分类结果。
4.根据权利要求1或2所述系统，其特征在于，所述第一分类网络包括全连接层；
所述医学图像中异常区域的第一特征向量是从全连接层获得的。
5.根据权利要求1或2所述系统，其特征在于，对所述第一分类网络、所述第二分类网络、所述第三分类网络、所述第一特征区域检测网络和所述第二特征区域检测网络的训练是联合进行的。
6.一种图像分类方法，其特征在于，所述方法包括：
将医学图像输入第一分类网络进行异常区域特征提取，获得所述医学图像中异常区域的第一特征向量；
将所述第一特征向量输入第一特征区域检测网络进行位置信息提取，获得所述医学图像中的异常区域的第一位置信息；
获取所述医学图像中与所述第一位置信息对应的第一特征区域图像；
对所述第一特征区域图像进行分类处理，获得分类结果。
7.根据权利要求6所述方法，其特征在于，
所述对所述第一特征区域图像进行分类处理，获得分类结果包括：
将所述第一特征区域图像输入第二分类网络进行异常区域特征提取，获得所述第一特征区域图像中异常区域的第二特征向量；
将所述第二特征向量输入第二特征区域检测网络进行位置信息提取，获得所述第一特征区域图像中异常区域的第二位置信息；
获取所述第一特征区域图像中与所述第二位置信息对应的第二特征区域图像；
对所述第二特征区域图像进行分类处理，获得所述分类结果。
8.根据权利要求6或7所述方法，其特征在于，所述方法还包括：
对所述医学图像中所述第一特征区域或所述第二特征区域图像对应的区域进行去特征处理，得到更新后的所述医学图像；所述更新后的医学图像用于通过所述图像分类方法获得更新后的分类结果，所述更新后的分类结果包括从所述第一特征区域图像或所述第二特征区域之外的特征区域得到的分类结果。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求6-8中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算程序被处理器执行时实现权利要求6-8中任一项所述的方法的步骤。
CN201910437934.4A 2019-05-24 2019-05-24 图像分类系统、方法、设备和存储介质 Active CN110210543B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111068480.1A CN113705723A (zh) 2019-05-24 2019-05-24 图像分类系统、方法和计算机设备
CN201910437934.4A CN110210543B (zh) 2019-05-24 2019-05-24 图像分类系统、方法、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910437934.4A CN110210543B (zh) 2019-05-24 2019-05-24 图像分类系统、方法、设备和存储介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202111068480.1A Division CN113705723A (zh) 2019-05-24 2019-05-24 图像分类系统、方法和计算机设备

Publications (2)

Publication Number Publication Date
CN110210543A true CN110210543A (zh) 2019-09-06
CN110210543B CN110210543B (zh) 2021-08-17

Family

ID=67788615

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910437934.4A Active CN110210543B (zh) 2019-05-24 2019-05-24 图像分类系统、方法、设备和存储介质
CN202111068480.1A Pending CN113705723A (zh) 2019-05-24 2019-05-24 图像分类系统、方法和计算机设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202111068480.1A Pending CN113705723A (zh) 2019-05-24 2019-05-24 图像分类系统、方法和计算机设备

Country Status (1)

Country Link
CN (2) CN110210543B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110807495A (zh) * 2019-11-08 2020-02-18 腾讯科技（深圳）有限公司 多标签分类方法、装置、电子设备及存储介质
CN111160441A (zh) * 2019-12-24 2020-05-15 上海联影智能医疗科技有限公司 分类方法、计算机设备和存储介质
CN111667469A (zh) * 2020-06-03 2020-09-15 北京小白世纪网络科技有限公司 肺部疾病分类方法、装置及设备
CN113705723A (zh) * 2019-05-24 2021-11-26 上海联影智能医疗科技有限公司 图像分类系统、方法和计算机设备
CN113743186A (zh) * 2021-06-15 2021-12-03 腾讯医疗健康(深圳)有限公司 医学图像的处理方法、装置、设备及存储介质
CN114255209A (zh) * 2021-11-22 2022-03-29 杭州电子科技大学 基于磁共振成像和神经网络的脑深部电刺激靶点定位方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070031020A1 (en) * 2005-08-05 2007-02-08 Ge Medical Systems Global Technology Company, Llc Method and apparatus for intracerebral hemorrhage lesion segmentation
CN101383008A (zh) * 2008-10-23 2009-03-11 上海交通大学 基于视觉注意模型的图像分类方法
CN104217213A (zh) * 2014-08-20 2014-12-17 哈尔滨工程大学 一种基于对称性理论的医学图像多阶段分类方法
GB2549554A (en) * 2016-04-21 2017-10-25 Ramot At Tel-Aviv Univ Ltd Method and system for detecting an object in an image
CN107680678A (zh) * 2017-10-18 2018-02-09 北京航空航天大学 基于多尺度卷积神经网络甲状腺超声图像结节自动诊断系统
CN108364006A (zh) * 2018-01-17 2018-08-03 超凡影像科技股份有限公司 基于多模式深度学习的医学图像分类装置及其构建方法
US10223610B1 (en) * 2017-10-15 2019-03-05 International Business Machines Corporation System and method for detection and classification of findings in images

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106250863B (zh) * 2016-08-09 2019-07-26 北京旷视科技有限公司 对象追踪方法和装置
CN109271992A (zh) * 2018-09-26 2019-01-25 上海联影智能医疗科技有限公司 一种医学图像处理方法、系统、装置和计算机可读存储介质
CN110210543B (zh) * 2019-05-24 2021-08-17 上海联影智能医疗科技有限公司 图像分类系统、方法、设备和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070031020A1 (en) * 2005-08-05 2007-02-08 Ge Medical Systems Global Technology Company, Llc Method and apparatus for intracerebral hemorrhage lesion segmentation
CN101383008A (zh) * 2008-10-23 2009-03-11 上海交通大学 基于视觉注意模型的图像分类方法
CN104217213A (zh) * 2014-08-20 2014-12-17 哈尔滨工程大学 一种基于对称性理论的医学图像多阶段分类方法
GB2549554A (en) * 2016-04-21 2017-10-25 Ramot At Tel-Aviv Univ Ltd Method and system for detecting an object in an image
US10223610B1 (en) * 2017-10-15 2019-03-05 International Business Machines Corporation System and method for detection and classification of findings in images
CN107680678A (zh) * 2017-10-18 2018-02-09 北京航空航天大学 基于多尺度卷积神经网络甲状腺超声图像结节自动诊断系统
CN108364006A (zh) * 2018-01-17 2018-08-03 超凡影像科技股份有限公司 基于多模式深度学习的医学图像分类装置及其构建方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MENGSHI QI等: "DEEP-CSSR: Scene classification using category-specific salient region with deep features", 《2016 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP)》 *
周修庄等: "《视觉跟踪中的马氏链蒙特卡洛方法》", 30 June 2018, 北京邮电大学出版社 *
闫鹏等: "基于级联卷积网络的自然场景下的车牌检测", 《计算机工程与设计》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113705723A (zh) * 2019-05-24 2021-11-26 上海联影智能医疗科技有限公司 图像分类系统、方法和计算机设备
CN110807495A (zh) * 2019-11-08 2020-02-18 腾讯科技（深圳）有限公司 多标签分类方法、装置、电子设备及存储介质
CN110807495B (zh) * 2019-11-08 2023-09-12 腾讯科技（深圳）有限公司 多标签分类方法、装置、电子设备及存储介质
CN111160441A (zh) * 2019-12-24 2020-05-15 上海联影智能医疗科技有限公司 分类方法、计算机设备和存储介质
CN111160441B (zh) * 2019-12-24 2024-03-26 上海联影智能医疗科技有限公司 分类方法、计算机设备和存储介质
CN111667469A (zh) * 2020-06-03 2020-09-15 北京小白世纪网络科技有限公司 肺部疾病分类方法、装置及设备
CN111667469B (zh) * 2020-06-03 2023-10-31 北京小白世纪网络科技有限公司 肺部疾病分类方法、装置及设备
CN113743186A (zh) * 2021-06-15 2021-12-03 腾讯医疗健康(深圳)有限公司 医学图像的处理方法、装置、设备及存储介质
CN114255209A (zh) * 2021-11-22 2022-03-29 杭州电子科技大学 基于磁共振成像和神经网络的脑深部电刺激靶点定位方法

Also Published As

Publication number Publication date
CN113705723A (zh) 2021-11-26
CN110210543B (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
CN110210543A (zh) 图像分类系统、方法、设备和存储介质
Cheng et al. CNNs based multi-modality classification for AD diagnosis
Zhou et al. Collaborative learning of semi-supervised segmentation and classification for medical images
Ahuja et al. Transfer learning based brain tumor detection and segmentation using superpixel technique
CN111640118B (zh) 使用多参数磁共振成像的肿瘤组织表征
CN114463605B (zh) 基于深度学习的持续学习图像分类方法及装置
CN114022718B (zh) 消化系统病理图像识别方法、系统及计算机存储介质
Xu et al. BMAnet: Boundary mining with adversarial learning for semi-supervised 2D myocardial infarction segmentation
CN110097128A (zh) 医学图像分类装置及系统
Yang et al. DBAN: Adversarial network with multi-scale features for cardiac MRI segmentation
CN110210544A (zh) 图像分类方法、计算机设备和存储介质
Bintsi et al. Voxel-level importance maps for interpretable brain age estimation
Kora et al. Brain tumor detection with transfer learning
Alagarsamy et al. Identification of Brain Tumor using Deep Learning Neural Networks
Liu et al. Medical image segmentation using deep learning
Hou et al. Cross attention densely connected networks for multiple sclerosis lesion segmentation
Letyagin et al. Multi-class brain tumor segmentation via multi-sequences MRI mixture data preprocessing
Zhao et al. Region ensemble network for MCI conversion prediction with a relation regularized loss
Basu Analyzing Alzheimer's disease progression from sequential magnetic resonance imaging scans using deep convolutional neural networks
CN114663421A (zh) 基于信息迁移和有序分类的视网膜图像智能分析系统及方法
CN109460777A (zh) 图片分类方法、装置及计算机可读存储介质
Qikun et al. Feature fusion: Graph attention network and CNN combing for hyperspectral image classification
Reddy et al. Optimized CNN model with deep convolutional GAN for brain tumor detection
Wang et al. The application of panoramic segmentation network to medical image segmentation
Raj et al. End to End Trained Long Term Recurrent Convolutional Network for Subject-level Alzheimer Detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant