CN111932529B - 一种图像分类分割方法、装置及系统 - Google Patents

一种图像分类分割方法、装置及系统 Download PDF

Info

Publication number
CN111932529B
CN111932529B CN202010949745.8A CN202010949745A CN111932529B CN 111932529 B CN111932529 B CN 111932529B CN 202010949745 A CN202010949745 A CN 202010949745A CN 111932529 B CN111932529 B CN 111932529B
Authority
CN
China
Prior art keywords
classification
feature vector
target
category
detection object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010949745.8A
Other languages
English (en)
Other versions
CN111932529A (zh
Inventor
崔恒基
魏东
顾实
马锴
郑冶枫
胡一凡
李悦翔
曹世磊
陈嘉伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Healthcare Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010949745.8A priority Critical patent/CN111932529B/zh
Publication of CN111932529A publication Critical patent/CN111932529A/zh
Application granted granted Critical
Publication of CN111932529B publication Critical patent/CN111932529B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Abstract

本申请提供一种图像分割方法、装置及系统，属于计算机技术领域，涉及人工智能和计算机视觉技术。其中，图像分割方法包括：从目标图像序列中获取目标检测对象，确定目标检测对象的目标特征向量；分别针对每一个分类类别，根据目标特征向量分别与分类类别中每个类别特征向量之间的距离，以及每个类别特征向量的权重，确定目标检测对象属于各个分类类别的概率；其中，一个分类类别包括多个细分类类别，类别特征向量为学习对应的细分类类别下训练样本的训练特征向量确定的；将概率满足设定条件的分类类别作为目标检测对象的分类类别；按照目标图像序列中每一个目标检测对象的分类类别，将目标图像序列进行图像分割。

Description

一种图像分类分割方法、装置及系统
技术领域
本申请涉及计算机技术领域，尤其涉及一种图像分类分割方法、装置及系统。
背景技术
图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。它是由图像处理到图像分析的关键步骤。其中，图像分割又基于图像分类技术。
在医疗领域，医学图像分割是医学图像处理与分析领域的复杂而关键的步骤，其目的是将医学图像中具有某些特殊含义的部分分割出来，并提取相关特征，为临床诊疗和病理学研究提供可靠的依据。由于医学图像自身的复杂性稀缺性，在分割过程中需要解决不均匀及个体差异等一系列问题，所以一般的图像分割方法难以直接应用于医学图像分割。当前，医学图像分割仍在从手动分割或半自动分割向全自动分割发展。
在医学图像的分割过程中，由于医学图像的训练样本较为稀缺，因此，现有的图像分割模型得到的结果一般准确性较低。
发明内容
为解决相关技术中存在的技术问题，本申请实施例提供一种图像分类分割方法、装置及系统，可以在训练疏忽提高图像分割的准确性。
为达到上述目的，本申请实施例的技术方案是这样实现的：
一方面，本申请实施例提供一种图像分类分割方法，所述方法包括：
从目标图像序列中获取目标检测对象，确定所述目标检测对象的目标特征向量；
分别针对每一个分类类别，根据所述目标特征向量分别与所述分类类别中每个类别特征向量之间的距离，以及每个类别特征向量的权重，确定所述目标检测对象属于各个分类类别的概率；其中，一个分类类别包括多个细分类类别，所述类别特征向量为学习对应的细分类类别下训练样本的训练特征向量确定的；
将概率满足设定条件的分类类别作为所述目标检测对象的分类类别；
按照所述目标图像序列中每一个目标检测对象的分类类别，将所述目标图像序列进行图像分割。
另一方面，本申请实施例还提供一种图像分类分割装置，所述装置包括：
特征单元，用于从目标图像序列中获取目标检测对象，确定所述目标检测对象的目标特征向量；
概率单元，用于分别针对每一个分类类别，根据所述目标特征向量分别与所述分类类别中每个类别特征向量之间的距离，以及每个类别特征向量的权重，确定所述目标检测对象属于各个分类类别的概率；其中，一个分类类别包括多个细分类类别，所述类别特征向量为学习对应的细分类类别下训练样本的训练特征向量确定的；
类别单元，用于将概率满足设定条件的分类类别作为所述目标检测对象的分类类别；
分割单元，用于按照所述目标图像序列中每一个目标检测对象的分类类别，将所述目标图像序列进行图像分割。
一种可选的实施例中，特征单元用于基于特征提取网络确定目标检测对象的目标特征向量，特征提取网络包括卷积层、池化层、反卷积层和拼接层，其中特征单元具体用于：
将目标检测对象输入至特征提取网络，通过特征提取网络中卷积层、池化层和反卷积层得到目标检测对象的第一特征图；
获取特征提取网络中每一个反卷积层得到的中间特征图；
通过拼接层将第一特征图与中间特征图进行拼接，得到目标检测对象的第二特征图；
根据目标检测对象的第二特征图，确定目标检测对象的目标特征向量。
一种可选的实施例中，特征单元具体用于：
以目标图像序列的中心作为原点，确定目标检测对象在目标图像序列中的空间位置信息；
通过拼接层将第一特征图、中间特征图以及目标检测对象的空间位置信息进行拼接，得到目标检测对象的第二特征图。
一种可选的实施例中，特征单元具体用于：
将目标检测对象的第二特征图输入特征加强模型；
利用特征加强模型中的注意力模块，对第二特征图中的通道加权；
利用特征加强模型中的金字塔池化模块，对加权后的第二特征图以不同采样率的空洞卷积并行采样，得到目标检测对象的目标特征向量。
一种可选的实施例中，概率单元，具体用于：
确定目标特征向量与每一个类别特征向量之间的距离；分类类别中的多个类别特征向量为根据分类类别下训练样本的训练特征向量训练得到的；
针对分类类别中的每一个类别特征向量，将目标特征向量输入细分类模型，确定类别特征向量针对目标特征向量的混合系数；细分类模型根据分类类别下训练样本的训练特征向量训练得到，混合系数决定每个类别特征向量的权重；
根据目标特征向量与每一个类别特征向量之间的距离，以及每一个类别特征向量针对目标特征向量的混合系数，确定目标检测对象属于分类类别的概率。
一种可选的实施例中，概率单元，具体用于：
将目标检测对象输入细分类模型，通过细分类模型中的线性整流函数和激活函数，得到每一个类别特征向量对应的中间系数；
根据类别特征向量对应的中间系数以及所有类别特征向量对应的中间系数，确定类别特征向量针对目标特征向量的混合系数。
一种可选的实施例中，还包括训练单元，用于联合训练特征提取网络、特征加强模型和细分类模型。
一种可选的实施例中，训练单元，具体用于：
获取训练样本以及训练样本的分类类别；
将训练样本输入特征提取网络，确定训练样本的训练特征图；
将训练样本的训练特征图输入特征加强模型，确定训练样本的训练特征向量；
根据训练样本的训练特征向量与类别特征向量之间的距离，以及每个类别特征向量的权重确定分类概率；
根据确定的分类概率、训练样本的分类类别以及每个分类类别中训练样本的数量确定损失函数，当损失函数小于预设阈值时，确定对应的参数。
另一方面，本申请实施例还提供一种医学图像分割系统，至少包括：医学图像采集设备、医学图像处理设备和显示设备，具体地：
医学图像采集设备，用于获取目标对象的医学图像序列；
医学图像处理设备，用于从所述医学图像序列中获取目标检测对象，确定所述目标检测对象的目标特征向量；分别针对每一个分类类别，根据所述目标特征向量分别与所述分类类别中每个类别特征向量之间的距离，以及每个类别特征向量的权重，确定所述目标检测对象属于各个分类类别的概率；其中，一个分类类别包括多个细分类类别，所述类别特征向量为学习对应的细分类类别下训练样本的训练特征向量确定的；将概率满足设定条件的分类类别作为所述目标检测对象的分类类别；按照所述目标图像序列中每一个目标检测对象的分类类别，将所述目标图像序列进行图像分割；
显示设备，用于输出所述医学图像序列的分割结果。
另一方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现第一方面的图像分类分割方法。
另一方面，本申请实施例还提供一种电子设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器实现第一方面的图像分类分割方法。
本申请实施例的图像分类方法，可以确定目标图像序列中每一个目标检测对象的分类类别。一般来说，一个目标图像序列中不同的目标检测对象可以被划分为多个分类类别。具体地，从目标图像序列中获取目标检测对象，确定目标检测对象的目标特征向量，本申请实施例中一个分类类别包括多个细分类类别，一个细分类类别对应一个类别特征向量，类别特征向量为学习对应的细分类类别下训练样本的训练特征向量确定的。分别针对每一个分类类别，根据目标特征向量分别与该分类类别中每个类别特征向量之间的距离，以及每个类别特征向量的权重，确定目标检测对象属于各个分类类别的概率，再将概率满足设定条件的分类类别作为目标检测对象的分类类别，最后，按照目标图像序列中每一个目标检测对象的分类类别，将目标图像序列进行图像分割。本申请实施例在每个分类类别中学习多个类别特征向量，对于同一个分类类别中的不同类别特征向量，体现出了该分类类别中不同细分类类别之间细微特征的差异性，同时不同类别特征向量的权重不同，从而可以更好地适应同一类别中不同样本的个体差异。根据目标检测对象与同一分类类别中每一个类别特征向量之间的距离，以及每个类别特征向量的权重，计算该目标检测对象属于该分类类别的概率，从而使得目标检测对象依靠更为精细的特征进行分类，提高了将图像进行分割的准确性。这样，在训练样本及其标注数量不足的情况下，也可以依靠较少的训练样本对目标图像序列进行准确地分割。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种图像分类分割模型的原理示意图；
图2为本申请实施例中图像分类分割方法的应用架构示意图；
图3为本申请实施例提供的一种图像分类分割方法的流程图；
图4为本申请实施例提供的U-Net网络的具体结构示意图；
图5为本申请实施例中图像分类分割模型的结构示意图；
图6为本申请实施例中分割结果可视化示意图；
图7为本申请实施例提供的一种图像分类分割装置的结构示意图；
图8为本申请实施例提供的一种医学分割系统的结构示意图；
图9为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
下文中所用的词语“示例性”的意思为“用作例子、实施例或说明性”。作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
文中的术语“第一”、“第二”仅用于描述目的，而不能理解为明示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征，在本申请实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
以下对本申请实施例中的部分用语进行解释说明，以便于本领域技术人员理解。
图像分割 (Semantic Segmentation) ：是图像处理和是机器视觉技术中关于图像理解的重要一环，也是 AI 领域中一个重要的分支。图像分割即是对图像中每一个像素点进行分类，确定每个点的类别（如属于背景、人或车等），从而进行区域划分。目前，图像分割已经被广泛应用于自动驾驶、无人机落点判定等场景中。
磁共振图像（magnetic resonance imaging，MRI）：磁共振成像是利用原子核在磁场内共振产生的信号经重建成像的成像技术。人体组织中的原子核(含基数质子或中子，一般指氢质子)在强磁场中磁化，梯度场给予空间定位后，射频脉冲激励特定进动频率的氢质子产生共振，接受激励的氢质子驰豫过程中释放能量，即磁共振信号，计算机将磁共振信号收集起来，按强度转换成黑白灰阶，按位置组成二维或三维的形态，最终组成磁共振图像。
距离度量学习：（distance metric learning，DML），也叫度量学习，是一种空间映射的方法，其能够学习到一种特征（Embedding）空间，在此空间中，所有的数据都被转换成一个特征向量，并且相似样本的特征向量之间距离小，不相似样本的特征向量之间距离大，从而对数据进行区分。度量学习应用在很多领域中，比如图像检索，人脸识别，目标跟踪等等。
CNN：（Convolutional Neural Networks，卷积神经网络）是一类包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks），是深度学习（deeplearning）的代表算法之一。卷积神经网络具有表征学习（representation learning）能力，能够按其阶层结构对输入信息进行平移不变分类（shift-invariantclassification），因此也被称为“平移不变人工神经网络。
注意力机制：注意力机制模仿了生物观察行为的内部过程，即一种将内部经验和外部感觉对齐从而增加部分区域的观察精细度的机制。注意力机制可以快速提取稀疏数据的重要特征，因而被广泛用于自然语言处理任务，特别是机器翻译。
ASPP（atrous spatial pyramid pooling，空洞空间卷积池化金字塔）：对所给定的输入以不同采样率的空洞卷积并行采样，相当于以多个比例捕捉图像的上下文。将不同扩张率的扩张卷积特征结合到一起，能够在不牺牲特征空间分辨率的同时扩大特征接收野。
下面结合附图及具体实施例对本申请作进一步详细的说明。
为了解决相关技术中因训练数据稀缺而导致的医学图像分割准确性较低的问题，本申请实施例提供了一种图像分类方法、装置及系统。本申请实施例涉及人工智能（Artificial Intelligence, AI）、机器学习技术和云技术，基于人工智能中的计算机视觉（Computer Vision, CV）技术、机器学习（Machine Learning, ML）和云技术（Cloudtechnology）而设计。
人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术主要包括计算机视觉技术、语音处理技术、以及机器学习/深度学习等几大方向。
随着人工智能技术研究和进步，人工智能在多个领域展开研究和应用，例如常见的智能家居、图像检索、视频监控、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗等，相信随着技术的发展，人工智能将在更多的领域得到应用，并发挥越来越重要的价值。
计算机视觉技术是人工智能的重要应用，其研究相关的理论和技术，试图建立能够从图像、视频或者多维数据中获取信息，以代替人的视觉判读的人工智能系统。典型的计算机视觉技术通常包括图像处理和视频分析。本申请实施例提供的视频筛选方法属于视频分析的一种方法。
机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习等技术。本申请实施例在将医学图像中的样本分类的过程中，采用了基于深度强化学习的特征提取网络对目标检索样本的目标特征向量进行特征提取，并利用学习得到的细分类模型确定目标特征向量对应于同一分类类别中每个类别特征向量的混合系数，基于目标特征向量与类别特征向量之间的距离以及对应的混合系数，确定目标检测对象属于每个分类类别的概率。
云技术是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。
云计算(cloud computing)是一种计算模式，它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展，按使用付费。
作为云计算的基础能力提供商，会建立云计算资源池(简称云平台，一般称为IaaS(Infrastructure as a Service，基础设施即服务)平台，在资源池中部署多种类型的虚拟资源，供外部客户选择使用。云计算资源池中主要包括：计算设备(为虚拟化机器，包含操作系统)、存储设备、网络设备。
按照逻辑功能划分，在IaaS（Infrastructure as a Service，基础设施即服务）层上可以部署PaaS(Platform as a Service,平台即服务)层，PaaS层之上再部署SaaS(Software as a Service,软件即服务)层，也可以直接将SaaS部署在IaaS上。PaaS为软件运行的平台，如数据库、web容器等。SaaS为各式各样的业务软件，如web门户网站、短信群发器等。一般来说，SaaS和PaaS相对于IaaS是上层。
本申请实施例提供的图像分类分割方法可以应用于医学图像分割等场景中。医学影像分割对于疾病诊断、治疗等发挥了重要的作用，深度神经网络在医学影像分割领域的应用使其效果远超传统方法。根据检查部位和目的的不同，医学图像有多种常见模态，本申请基于脑部MRI进行阐述，亦可用于其他模态和器官的分割。
对于医学图像而言，准确的分割是需要专业人员耗费大量精力与时间才能完成的工作；在一些特定场景（例如罕见病）下，训练数据本身就是稀缺的。这会直接导致传统CNN数据密集型的分割方法效果变差甚至完全失效。因此需要在样本数量较少的情况下改善分割的效果。
在自然图像领域发展出的小样本学习难以直接移植到医学图像领域中来。例如给定一例脑部MRI及标签，现有的小样本学习框架很难从其他模态的图像（如CT）或者身体其他部位（如腹部）的影像中学习有效的先验知识并用来进行脑部的语义分割。
而弱监督学习虽然只需要少量的标注，但仍然需要大量的未标记数据才能有效工作，而对于医学图像而言，标注和数据的稀缺是相关的，因此使用依旧受限。
因此，本申请实施例中提供了一种图像分类分割方法。其中，从目标图像序列获取目标检测对象，确定该目标检测对象的目标特征向量。本申请实施例中一个分类类别包括多个细分类类别，类别特征向量为学习对应的细分类类别下训练样本的训练特征向量确定的。分别针对每一个分类类别，根据目标特征向量分别与该分类类别中每个类别特征向量之间的距离，以及每个类别特征向量的权重，确定目标检测对象属于各个分类类别的概率，再将概率满足设定条件的分类类别作为目标检测对象的分类类别。这样，由于在同一个分类类别确定出多个类别特征向量，体现出了该分类类别中细微特征的差异性，同时不同类别特征向量的权重不同，从而可以更好地适应同一类别中不同样本的个体差异。因此，可以使得目标检测对象依靠更为精细的特征进行分类，提高了图像分类的准确性，进一步提高了将图像进行分割的准确性。这样，在训练样本及其标注数量不足的情况下，也可以依靠较少的训练样本对目标图像序列进行准确地分类以及分割。
同时，本申请实施例中，在获取目标检测对象的目标特征向量的过程中，为了增加特征在组成上的多样性，将特征提取网络进行特征提取过程中的特征图与特征提取网络得到的特征图拼接起来，并将拼接后的特征图通过注意力模型和金字塔池化模块，以提升分类过程的鲁棒性，从而在一定程度上提高图像分割的准确性。
图1示出了本申请实施例中图像分类分割模型的原理示意图。如图1所示，本申请 实施例利用嵌入空间，将图像样本映射为特征向量。在训练过程中，获取带有标注的训练数 据集
Figure DEST_PATH_IMAGE001
，其中
Figure DEST_PATH_IMAGE002
是标注为
Figure DEST_PATH_IMAGE003
的第l个训练样本，L为训练样本总数。 本申请实施例在嵌入空间中，从训练集中学习得到每个分类类别的类别特征向量，用
Figure DEST_PATH_IMAGE004
表 示，其中，
Figure 53951DEST_PATH_IMAGE004
为分类类别
Figure DEST_PATH_IMAGE005
的类别特征向量，K是待分类图像中包含的类别总数。 本申请实施例的待分类目标为基于训练数据得到任意测试数据xts的分类类别。如图1所示， 测试过程中，首先使用具有可学习参数
Figure DEST_PATH_IMAGE006
的嵌入函数
Figure DEST_PATH_IMAGE007
将测试样本中的像素投影到嵌入 空间中，从而得到测试特征向量
Figure DEST_PATH_IMAGE008
，其中，i为像素的索引，
Figure DEST_PATH_IMAGE009
为测试 特征向量。根据DML的概念，像素
Figure DEST_PATH_IMAGE010
的分类标签可以采用非参数的方式通过寻找距离ei最近 的ck进行预测。本申请实施例中主要关注广义上的小样本分割场景，即
Figure DEST_PATH_IMAGE011
。
参阅图2所示，为本申请实施例中图像分类分割方法的应用架示意图，包括服务器100、终端设备200。
终端设备200可以是医疗设备，例如，用户可以基于终端设备200查看图像分割结果。
终端设备200与服务器100之间可以通过互联网相连，实现相互之间的通信。可选地，上述的互联网使用标准通信技术和/或协议。互联网通常为因特网、但也可以是任何网络，包括但不限于局域网（Local Area Network，LAN）、城域网（ Metropolitan AreaNetwork，MAN）、广域网（Wide Area Network，WAN）、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合。在一些实施例中，使用包括超文本标记语言（Hyper Text Mark-up Language，HTML）、可扩展标记语言（Extensible Markup Language，XML）等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层（Secure SocketLayer，SSL）、传输层安全（Transport Layer Security，TLS）、虚拟专用网络（VirtualPrivate Network，VPN）、网际协议安全（Internet Protocol Security，IPsec）等常规加密技术来加密所有或者一些链路。在另一些实施例中，还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。
服务器100可以为终端设备200提供各种网络服务，服务器100可以采用云计算技术进行信息处理。其中，服务器100可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
具体地，服务器100可以包括处理器110（Center Processing Unit ，CPU）、存储器120、输入设备130和输出设备140等，输入设备130可以包括键盘、鼠标、触摸屏等，输出设备140可以包括显示设备，如液晶显示器（Liquid Crystal Display， LCD）、阴极射线管（Cathode Ray Tube，CRT）等。
存储器120可以包括只读存储器（ROM）和随机存取存储器（RAM），并向处理器110提供存储器120中存储的程序指令和数据。在本发明实施例中，存储器120可以用于存储本发明实施例中图像识别模型训练方法或图像识别方法的程序。
处理器110通过调用存储器120存储的程序指令，处理器110用于按照获得的程序指令执行本发明实施例中任一种图像分类分割方法的步骤。
需要说明的是，本发明实施例中，图像分类分割方法主要由服务器100侧执行，例如，针对图像分类分割方法，终端设备200可以将采集到的脑部等机体部位的图像，发送给服务器100，由服务器100对图像进行图像分割，并可以将分割结果返回给终端设备200。如图1所示的应用架构，是以应用于服务器100侧为例进行说明的，当然，本发明实施例中图像分类分割方法也可以由终端设备200执行，例如终端设备200可以从服务器100侧获得训练好的图像分类模型，从而基于该图像分类模型，对图像中的各个样本进行图像分类，并基于分类将相邻的样本分割为同一个组织，并标注组织名称对此本发明实施例中并不进行限制。
另外，本发明实施例中的应用架构图是为了更加清楚地说明本发明实施例中的技术方案，并不构成对本发明实施例提供的技术方案的限制，当然，也并不仅限于消化道疾病诊断业务应用，对于其它的应用架构和业务应用，本发明实施例提供的技术方案对于类似的问题，同样适用。
本发明各个实施例以应用于图2所示的应用架构图为例进行示意性说明。
图3示出了本申请一个实施例提供的图像分类分割方法的流程图。如图2所示，该方法包括如下步骤：
步骤S301，从目标图像序列中获取目标检测对象，确定目标检测对象的目标特征向量。
其中，目标图像可以为医学图像，如脑部MRI、心脏MRI、肺部CT等，也可以为其它非医学领域的图像，如无人驾驶领域中车载摄像头拍摄的图像，安防监控领域通过监控摄像头拍摄的图像等。本申请实施例主要以医学图像中的脑部MRI为例进行说明。
医学图像是反映解剖区域内部结构或内部功能的图像，它是由一组图像元素——像素（2D）或立体像素（3D）组成的。医学图像是由采样或重建产生的离散性图像表征，它能将数值映射到不同的空间位置上。像素的数量是用来描述某一成像设备下的医学成像的，同时也是描述解剖及其功能细节的一种表达方式。
MRI影像检查有一个突出特点，就是有着多种多样的成像序列。这些成像序列能够产生各具特点的MRI图像，能够反映人体解剖形态。MRI扫描方式可以简单的划分为常规扫描和功能扫描两大类，包括T1加权、T2加权成像，血管造影成像、以及动态增强成像等。具体实施过程中，本申请实施例获取三种扫描序列：T1加权序列（T1- weighted）、T1加权反转恢复序列（T1-weighted inversion recovery sequence）、T2-FLAIR序列。
本申请实施例中，从目标图像序列中裁切得到三维的目标检测对象输入图像分类模型中，其中不同的图像序列对应模型的不同输入通道。例如，目标检测对象可以脑部MRI扫描序列中3×32×32×32像素的样本。经过特征提取网络，得到与输入尺寸相同的特征图。当然，本申请实施例中目标检测对象的尺寸仅为举例，不做限制，目标检测对象的尺寸可以取任意大小数量的像素。
步骤S302，分别针对每一个分类类别，根据目标特征向量分别与分类类别中每个类别特征向量之间的距离，以及每个类别特征向量的权重，确定目标检测对象属于各个分类类别的概率。其中，一个分类类别包括多个细分类类别，类别特征向量为学习对应的细分类类别下训练样本的训练特征向量确定的。
具体实施过程中，根据距离度量学习的方法，确定目标检测对象对应的分类类别。距离度量学习，即为根据不同的任务来自主学习出针对某个特定任务的度量距离函数，通过计算两张图片之间的相似度，使得输入图片被归入到相似度大的图片类别中去，在本申请实施例中，即为计算目标检测对象与分类类别中的图像之间的相似度，使得目标检测对象被归入相似度大的分类类别中。
一般来说，在相关技术中，一般利用一个类别特征向量代表一个分类类别，即利用训练样本进行学习，一个分类类别会对应于一个类别特征向量，该类别特征向量表征了该分类类别对应的概率最大的特征组合。这样，在对目标检测对象进行分类的过程中，计算该目标检测对象的目标特征向量与每一个分类类别对应的类别特征向量之间的距离，距离越近的类别特征向量对应的分类类别概率越高，即可以将目标检测对象被归入距离最小的分类类别中。
本申请实施例中，针对一个分类类别，通过学习训练样本，得到对应的多个类别特征向量，其中每一个类别特征向量为学习对应的细分类类别下训练样本的训练特征向量确定的。对于同一个分类类别仅对应一个类别特征向量，不同类别特征向量之间反应出不同分类类别之间特征的区别。而同一分类类别对应多个类别特征向量，则同一分类类别的不同类别特征向量之间，反应出该分类类别的细分类类别之间的细微差别，从而目标检测对象依据细分类类别确定出的分类类别，精确度更高，具有更高的分类准确度。
具体对于每一个分类类别，由于不同细分类特征在分类类别中影响的比重不同，因此不仅需要确定目标特征向量与每一个类别特征向量之间的距离，还需要确定该分类类别中每个类别特征向量的权重，进而根据距离和权重计算目标检测对象属于各个分类类别的概率。
步骤S303，将概率满足设定条件的分类类别作为目标检测对象的分类类别。
步骤S304，按照目标图像序列中每一个目标检测对象的分类类别，将目标图像序列进行图像分割。
通过上述方法，在每个分类类别中学习多个类别特征向量，对于同一个分类类别中的不同类别特征向量，体现出了该分类类别中不同细分类类别之间细微特征的差异性，同时不同类别特征向量的权重不同，从而可以更好地适应同一类别中不同样本的个体差异。根据目标检测对象与同一分类类别中每一个类别特征向量之间的距离，以及每个类别特征向量的权重，计算该目标检测对象属于该分类类别的概率，从而使得目标检测对象依靠更为精细的特征进行分类，提高了将图像进行分割的准确性。这样，在训练样本及其标注数量不足的情况下，也可以依靠较少的训练样本对目标图像序列进行准确地分割。
一种较佳的实施例中，上述步骤301中确定目标检测对象的目标特征向量，是基于特征提取网络获取的。这里的特征提取网络，具体可以是卷积神经网络，如U-Net网络、V-Net网络等。本申请实施中以U-Net网络作为特征提取网络的主干为例进行介绍。U-Net广泛应用于医学图像分割任务，它将原始图像进行下采样和上采样，并在之间加入跳层连接（skip connections）来提高分割质量。
图4示出了U-Net网络的具体结构，如图4所示，特征提取网络包括卷积层、池化层、反卷积层。
下面以特征提取网络为7级卷积层、3级池化层和3级反卷积层构成的U-Net网络结构为例进行说明。卷积层用于提取特征的层，分为卷积操作和激活操作两部分。其中，进行卷积操作时，使用预先经过训练学习得到的卷积核进行特征提取，进行激活操作时，使用激活函数对卷积得到的特征图进行激活处理，常用的激活函数包括线性整流(RectifiedLinear Unit，ReLU)函数、S 型(Sigmoid)函数和双曲正切(Tanh)函数等。
池化(pooling)层，位于卷积层之后，用于降低卷积层输出的特征向量，即缩小特征图的尺寸，同时改善过拟合问题。常用的池化方式包括平均池化(mean-pooling)、最大池化(max-pooling)和随机池化(stochastic-pooling)等。
反卷积层(deconvolution)，用于对特征向量进行上采样的层，即用于增大特征图的尺寸。
如图4所示，首先通过第i级卷积层对第i-1特征图进行卷积以及激活处理，并将处理后的第i-1 特征图输入第i级池化层，2≤i≤n。对于第一级卷积层，其输入为目标检测对象；而对于第i级卷积层，其输入则为第i-1级池化层输出的特征图。可选的，第一级卷积层获取到目标检测对象后，通过预设卷积核对目标检测对象进行卷积操作，再通过预设激活函数进行激活操作；第i级卷积层获取第i-1池化层输出的第i-1特征图后，通过预设卷积核对第i-1特征图进行卷积操作，再通过预设激活函数进行激活操作，从而起到提取特征的作用，其中，进行卷积处理后，特征图的通道数增加。如图4所示，第一级卷积层对目标检测对象进行两次卷积处理；第二级卷积层对第一池化层输出的第一特征图进行两次卷积处理，第三级卷积层对第二池化层输出的第二特征图进行两次卷积处理，第四级卷积层对第三池化层输出的第三特征图进行两次卷积处理。其中，多通道特征图的高度用于表示尺寸，而宽度则用于表示通道数。
其次，通过第i级池化层对处理后的第i-1特征图进行池化处理，得到第i特征图。第i级卷积层完成卷积处理后，将处理后的第i-1特征图输入第i-1级池化层，由第i-1级池化层进行池化处理，从而输出第i特征图。其中，各级池化层用于缩小特征图的尺寸，并保留特征图中的重要信息。可选的，各级池化层对输入的特征图进行最大池化处理。示意性的，如图4所示，第一级池化层对第一级卷积层输出特征图进行处理，得到第一特征图，第二级池化层对第二级卷积层输出特征图进行处理，得到第二特征图，第三级池化层对第三级卷积层输出特征图进行处理，得到第三特征图。
最后，将第i特征图输入第i+1级卷积层。完成池化处理后，第i级池化层将第i特征图输入下一级卷积层，由下一级卷积层进一步进行特征提取。如图4所示，手势图像依次经过第一级卷积层、第一级池化层、第二级卷积层和第二级池化层、第三卷积层以及第三池化层后，由第三级池化层将第三特征图输入第四级卷积层。上述实施例仅以进行三次卷积、池化操作为例进行说明，在其他可能的实施方式中，特征提取模型可以进行多次卷积、池化操作，本实施例并不对此构成限定。
在进行了交替的卷积层和池化层的处理操作后，还需要通过反卷积层得到最终的特征图，通过第n+1至第2n+1级卷积层和n级反卷积层，对中间特征图进行卷积以及反卷积处理，得到最终特征图。其中，最终特征图的尺寸等于输入的目标检测对象的尺寸。
本申请实施例中的U-Net网络采用二级下采样以及二级上采样结构，最终得到与输入的目标检测对象尺寸相同的特征图。
考虑到本申请实施例中训练数据数量有限的情况下，直接将U-Net网络计算得到的特征图作为目标检测对象最终的特征图，会出现特征在组成上缺乏多样性，对每个像素的描述不够充分的问题。因此，本申请实施例中还将多个特征图进行拼接，以增加特征在组成上的多样性。故本申请实施例中的特征提取网络还包括拼接层。
具体地，确定目标检测对象的目标特征向量，包括：
将所述目标检测对象输入至特征提取网络，通过特征提取网络中卷积层、池化层和反卷积层得到目标检测对象的第一特征图；
获取特征提取网络中每一个反卷积层得到的中间特征图；
通过拼接层将所述第一特征图与中间特征图进行拼接，得到所述目标检测对象的第二特征图；
根据所述目标检测对象的第二特征图，确定所述目标检测对象的目标特征向量。
具体实施过程中，将目标检测对象输入特征提取网络，通过特征中卷积层、池化层和反卷积层得到目标检测对象的第一特征图，该第一特征图即为通过特征提取网络中最后一层反卷积层计算得到特征图。为了增加特征组成上的多样性，可以从U-Net网络中获取更多的特征信息，因此本申请实施例将特征提取网络中每一层反卷积层得到的中间特征图与第一特征图拼接起来，得到目标检测对象的第二特征图。需要说明的是，由于中间特征图与第一特征图的尺寸可能不同，因此可以对特征图进行上采样以使所有的特征图尺寸相同。
图5示出了本申请实施例中图像分类分割模型的结构示意图。如图5所示，目标检测对象经过U-Net网络后，将每一层反卷积层输出的中间特征图与最后一层反卷积层输出的第一特征图进行拼接。
进一步地，由于医学图像中许多组织和器官具有位置特异性，空间信息对于医学图像的分割具有重要意义，因此本申请实施例中需要将目标检测对象的空间位置特征也进行拼接。
即通过拼接层将第一特征图与中间特征图进行拼接，得到目标检测对象的第二特征图，还包括：
以目标图像序列的中心作为原点，确定目标检测对象在目标图像序列中的空间位置信息；
通过拼接层将第一特征图、中间特征图以及目标检测对象的空间位置信息进行拼接，得到目标检测对象的第二特征图。
具体实施过程中，本申请实施例以图像序列中心为原点，在目标图像序列中建立笛卡尔坐标系，从而可以确定每个目标检测对象的位置坐标向量。将目标检测对象的位置坐标向量作为目标检测对象的空间位置信息。如图5所示，将第一特征图、中间特征图以及目标检测对象均输入拼接层中进行特征拼接，得到目标检测对象的第二特征图。
进一步地，本申请实施例中还通过特征加强模型提升整个图像分类模型的鲁棒性。其中，特征加强模型中包括注意力模块和金字塔池化模块。则上述根据所述目标检测对象的第二特征图，确定目标检测对象的目标特征向量，包括：
将目标检测对象的第二特征图输入特征加强模型；
利用特征加强模型中的注意力模块，对第二特征图中的通道加权；
利用特征加强模型中的金字塔池化模块，对加权后的第二特征图以不同采样率的空洞卷积并行采样，得到目标检测对象的目标特征向量。
具体实施过程中，特征加强模型通过其中的注意力模块和金字塔池化模块提升模型的鲁棒性。可选的，注意力模块可以为基于SENet （Squeeze-and-Excitation Networks）网络结构的注意力模型。SENet网络结构通过对特征通道间的相关性进行建模，把重要的特征进行强化来提升准确率。需要说明的是，本申请实施例也可以利用其它注意力机制，如自注意力机制进行重要特征的强化。
另一方面，第二特征图经过注意力模块加权后，再输入金字塔池化模块。本申请实施例中，金字塔池化模块根据ASPP对所给定的输入以不同采样率的空洞卷积并行采样，从而捕捉特征图中不同尺度的信息，扩大感受野，进一步改善分割效果。如图5所示，第二特征图经过注意力模块和金字塔池化模块后，得到目标检测对象的目标特征向量ei。
本申请实施例得到目标检测对象的目标特征向量后，依据DML计算目标特征向量与类别特征向量之间的距离，以确定该目标检测对象属于类别特征向量所在分类类别的概率。具体计算距离的方法可以为计算余弦距离，或者计算平方欧式距离。本申请实施例以余弦距离为例进行计算。
相关技术中，一般一个分类类别对应一个类别特征向量，此时直接计算目标特征向量与该类别特征向量之间的距离即可。具体的计算方式如下：
通过函数
Figure DEST_PATH_IMAGE012
可以计算像素点xi的目标特征向量ei与某类别特征向量ck的距 离。像素点xi属于分类类别k的概率与距离相反数的指数成正比：
Figure DEST_PATH_IMAGE013
。对 所有类别进行softmax操作后得到判别分类类别的概率：
Figure DEST_PATH_IMAGE014
……公式1
其中，
Figure DEST_PATH_IMAGE015
是分类类别的标签为si的概率；si是像素点xi的分类标签；
Figure DEST_PATH_IMAGE016
是像素点xi属于分类类别k的概率；
Figure DEST_PATH_IMAGE017
为目标特征向量ei与类别特征向量ck的距离。考 虑使用余弦距离：
Figure DEST_PATH_IMAGE018
。其中，
Figure DEST_PATH_IMAGE019
为计算ei与ck的 夹角角度，
Figure DEST_PATH_IMAGE020
是L2标准化，
Figure DEST_PATH_IMAGE021
和
Figure DEST_PATH_IMAGE022
分别是经过L2标准化的目标特征向量和类别特征向量， 可得到
Figure DEST_PATH_IMAGE023
。
Figure DEST_PATH_IMAGE024
的计算可以由偏移量（bias）设置为0的全连接 层实现，ck是连接到第k个输出节点的全连接层权值（weight），每个输出节点代表一个分类 类别。这样，基于余弦距离的度量学习可以隐式地通过常用的全连接层实现而不需要显式 的表示，其中所有类别原型作为整个全连接层的权值：
Figure DEST_PATH_IMAGE025
。为指数函数添加一个 可学习的参数
Figure DEST_PATH_IMAGE026
来调整具体值，最终得到：
Figure DEST_PATH_IMAGE027
……公式2
其中，
Figure DEST_PATH_IMAGE028
是分类类别的标签为si的概率；si是像素点xi的分类标签；
Figure 911705DEST_PATH_IMAGE021
和
Figure 222600DEST_PATH_IMAGE022
分别是经过L2标准化的目标特征向量和类别特征向量。
本申请实施例中，由于一个分类类别对应多个类别特征向量，因此确定目标检测对象属于分类类别的概率，包括：
确定目标特征向量与每一个类别特征向量之间的距离；分类类别中的多个类别特征向量为根据分类类别下训练样本的训练特征向量训练得到的；
针对分类类别中的每一个类别特征向量，将目标特征向量输入细分类模型，确定类别特征向量针对目标特征向量的混合系数；细分类模型根据分类类别下训练样本的训练特征向量训练得到，混合系数决定每个类别特征向量的权重；
根据目标特征向量与每一个类别特征向量之间的距离，以及每一个类别特征向量针对目标特征向量的混合系数，确定目标检测对象属于分类类别的概率。
具体地，根据上述计算余弦距离的方式进行计算。分类类别k的类别特征向量表示 为
Figure DEST_PATH_IMAGE029
，其中
Figure DEST_PATH_IMAGE030
代表第j个类别特征向量，M是分类类别k中总的类别特征向量 个数。这些类别特征向量为每个分类类别定义了M个概率，本申请实施例利用概率的加权和 并标准化得到最终概率：
Figure DEST_PATH_IMAGE031
……公式3
其中，
Figure DEST_PATH_IMAGE032
是分类类别的标签为si的概率；si是像素点xi的分类标签；
Figure DEST_PATH_IMAGE033
是像素点xi属于分类类别k中第j个细分类类别的概率；
Figure DEST_PATH_IMAGE034
为分类类别k的第j个细 分类类别对应的类别特征向量；
Figure 356823DEST_PATH_IMAGE021
和
Figure 702354DEST_PATH_IMAGE022
分别是经过L2标准化的目标特征向量和类别特征 向量；
Figure DEST_PATH_IMAGE035
为可学习的参数；
Figure DEST_PATH_IMAGE036
为分类类别k的第j个类别特征向量的混合系数，且
Figure DEST_PATH_IMAGE037
。
Figure DEST_PATH_IMAGE038
控制了每个类别特征向量在计算最终概率时的比重。
进一步地，本申请实施例中确定类别特征向量针对目标特征向量的混合系数，包括：
将目标检测对象输入细分类模型，通过细分类模型中的线性整流函数和激活函数，得到每一个类别特征向量对应的中间系数；
根据类别特征向量对应的中间系数以及所有类别特征向量对应的中间系数，确定类别特征向量针对目标特征向量的混合系数。
具体实施过程中，本申请实施例采用SENet的注意力机制实现自适应混合系数，该 方法简单直接并使模型可以进行端到端训练。将ei作为全连接层输入并降维，经过线性整 流函数（ReLu）及另外一个全连接层和ReLu函数后得到维度为KM×1的向量，经过sigmoid激 活函数得到中间系数
Figure DEST_PATH_IMAGE039
。混合系数通过各分类类别 内的softmax函数计算得出：
Figure DEST_PATH_IMAGE040
……公式4
其中，
Figure 541128DEST_PATH_IMAGE038
为分类类别k的第j个类别特征向量的混合系数，且
Figure DEST_PATH_IMAGE041
。最后， 可以根据
Figure 870478DEST_PATH_IMAGE038
求得
Figure 600537DEST_PATH_IMAGE015
，最终得到输入图像的预测：
Figure DEST_PATH_IMAGE042
。
本申请实施例中，上述所有的模型均为端到端计算和训练，即特征提取网络、特征加强模型和细分类模型联合训练。具体的训练方式，包括：
获取训练样本以及训练样本的分类类别；
将训练样本输入特征提取网络，确定训练样本的训练特征图；
将训练样本的训练特征图输入特征加强模型，确定训练样本的训练特征向量；
根据训练样本的训练特征向量与类别特征向量之间的距离，以及每个类别特征向量的权重确定分类概率；
根据确定的分类概率、训练样本的分类类别以及每个分类类别中训练样本的数量确定损失函数，当损失函数小于预设阈值时，确定对应的参数。
具体实施过程中，损失函数为类内平均的交叉熵损失：
Figure DEST_PATH_IMAGE043
……公式5
其中，
Figure DEST_PATH_IMAGE044
，为像素i的标注，
Figure DEST_PATH_IMAGE045
即狄拉克
Figure DEST_PATH_IMAGE046
函数，若
Figure DEST_PATH_IMAGE047
函数值 等于1，其他情况下等于0；，
Figure 20148DEST_PATH_IMAGE015
是分类类别的标签为si的概率；Nk为每批用于计算损 失的数据中属于分类类别k的像素总数。本申请实施例通过优化
Figure DEST_PATH_IMAGE048
，以端到端的方式同时 学习特征提取网络、特征加强模型和细分类模型。
需要说明的是，在医学图像中类别不均衡的情况普遍存在，会导致小类别欠采样并进一步导致分割效果变差。因此，本申请实施例使用在目标检测任务中取得良好效果的困难样本挖掘技术并应用在体素层面上来解决小类别欠采样问题。将占据脑组织85%以上的白质、灰质和脑脊液作为大类，其他组织作为小类别。每次训练时将小类别计算得出的损失全部计入最终损失，大类别中每个体素按照损失值从大到小进行排序，取损失值前的体素计入最终损失进行反向传播。具体实现时，取每次训练迭代中小类别体素总数的6倍。
以下通过具体实例说明本申请实施例提供的图像分类分割方法的实现过程。
获取目标对象的医学图像序列。
按照上述图像分类分割的方法确定医学图像序列中每一个检测样本的分类类别。
将相邻且分类类别相同的检测样本作为同一个医学组织，按照确定的医学组织将医学图像序列进行图像分割，并将图像分割的结果向用户显示。
本申请实施例中图像分类分割方法的实验结果如表1所示，配准使用ANTs进行实验。白质病变因其形状位置多变对于脑部MRI分割是个具有挑战性的任务，因此在计算两个评价指标时列出了除白质病变外的平均值（Mean excl.）。自从最早在AlexNet中广泛使用以来，在线数据增广已经成为减轻深度学习网络过度拟合的标准技术。它在训练过程中对图像进行随机变换，以人为地增加训练数据的多样性。在实验中采用的数据增广操作包括随机的镜像反转（50%的概率）以及亮度和对比度的调节。从表中可知仅使用一例样本进行训练的未做数据增广的U-Net表现极差，Dice和HD95仅能分别达到14.86%和59.30mm。虽然经过数据增广U-Net表现取得了显著提升但仍然差强人意。使用单样本训练时，本发明提出的框架取得了较好的表现（Dice和HD95分别为78.39%和6.30mm），与U-Net-1相比具有显著优势；同时与U-Net-6相比，该框架使用单例样本训练时Dice便已达到其约97%以及非常相近的HD95值。
表1
Figure DEST_PATH_IMAGE049
表1中“-n”代表使用n例样本训练，Aug.代表数据增广操作。其中，Dicesimilarity coefficient（戴斯相似性系数）越高越好，95% Hausdorff（豪斯多夫）距离越小越好。
将训练样本从1例增加到3例，可以观察到本申请实施例的实验结果得到明显提升。使用2例样本进行训练时豪斯多夫距离优于U-Net-6；使用3例样本进行训练，此框架在两个指标上均优于U-Net-6。综上所述，本申请实施例提出的医学图像分类分割方法在小样本大脑MRI分割上具有优越性。图6进行了分割结果可视化，可得到与前述相同的结论。
与上述方法实施例相对应地，本申请实施例还提供了一种图像分类分割装置。图7为本申请实施例的提供的图像分类分割装置的结构示意图；如图7所示，该图像分类装置包括：
特征单元701，用于从目标图像序列中获取目标检测对象，确定目标检测对象的目标特征向量；
概率单元702，用于分别针对每一个分类类别，根据目标特征向量分别与分类类别中每个类别特征向量之间的距离，以及每个类别特征向量的权重，确定目标检测对象属于各个分类类别的概率；其中，一个分类类别包括多个细分类类别，类别特征向量为学习对应的细分类类别下训练样本的训练特征向量确定的；
类别单元703，用于将概率满足设定条件的分类类别作为目标检测对象的分类类别；
分割单元704，用于按照目标图像序列中每一个目标检测对象的分类类别，将目标图像序列进行图像分割。
在一种可选的实施例中，特征单元701用于基于特征提取网络确定目标检测对象的目标特征向量，特征提取网络包括卷积层、池化层、反卷积层和拼接层，其中特征单元701具体用于：
将目标检测对象输入至特征提取网络，通过特征提取网络中卷积层、池化层和反卷积层得到目标检测对象的第一特征图；
获取特征提取网络中每一个反卷积层得到的中间特征图；
通过拼接层将第一特征图与中间特征图进行拼接，得到目标检测对象的第二特征图；
根据目标检测对象的第二特征图，确定目标检测对象的目标特征向量。
在一种可选的实施例中，特征单元701具体用于：
以目标图像序列的中心作为原点，确定目标检测对象在目标图像序列中的空间位置信息；
通过拼接层将第一特征图、中间特征图以及目标检测对象的空间位置信息进行拼接，得到目标检测对象的第二特征图。
在一种可选的实施例中，特征单元701具体用于：
将目标检测对象的第二特征图输入特征加强模型；
利用特征加强模型中的注意力模块，对第二特征图中的通道加权；
利用特征加强模型中的金字塔池化模块，对加权后的第二特征图以不同采样率的空洞卷积并行采样，得到目标检测对象的目标特征向量。
在一种可选的实施例中，概率单元702，具体用于：
确定目标特征向量与每一个类别特征向量之间的距离；分类类别中的多个类别特征向量为根据分类类别下训练样本的训练特征向量训练得到的；
针对分类类别中的每一个类别特征向量，将目标特征向量输入细分类模型，确定类别特征向量针对目标特征向量的混合系数；细分类模型根据分类类别下训练样本的训练特征向量训练得到，混合系数决定每个类别特征向量的权重；
根据目标特征向量与每一个类别特征向量之间的距离，以及每一个类别特征向量针对目标特征向量的混合系数，确定目标检测对象属于分类类别的概率。
在一种可选的实施例中，概率单元702，具体用于：
将目标检测对象输入细分类模型，通过细分类模型中的线性整流函数和激活函数，得到每一个类别特征向量对应的中间系数；
根据类别特征向量对应的中间系数以及所有类别特征向量对应的中间系数，确定类别特征向量针对目标特征向量的混合系数。
在一种可选的实施例中，还包括训练单元705，用于联合训练特征提取网络、特征加强模型和细分类模型。
在一种可选的实施例中，训练单元705，具体用于：
获取训练样本以及训练样本的分类类别；
将训练样本输入特征提取网络，确定训练样本的训练特征图；
将训练样本的训练特征图输入特征加强模型，确定训练样本的训练特征向量；
根据训练样本的训练特征向量与类别特征向量之间的距离，以及每个类别特征向量的权重确定分类概率；
根据确定的分类概率、训练样本的分类类别以及每个分类类别中训练样本的数量确定损失函数，当损失函数小于预设阈值时，确定对应的参数。
本申请实施例还提供了一种医学图像分割系统。图8为本申请实施例的提供的医学图像分割系统的结构示意图，如图8所示至少包括：
医学图像采集设备801，用于获取目标对象的医学图像序列；
医学图像处理设备802，用于从医学图像序列中获取目标检测对象，确定目标检测对象的目标特征向量；分别针对每一个分类类别，根据目标特征向量分别与分类类别中每个类别特征向量之间的距离，以及每个类别特征向量的权重，确定目标检测对象属于各个分类类别的概率；其中，一个分类类别包括多个细分类类别，所述类别特征向量为学习对应的细分类类别下训练样本的训练特征向量确定的；将概率满足设定条件的分类类别作为目标检测对象的分类类别；按照所述目标图像序列中每一个目标检测对象的分类类别，将所述目标图像序列进行图像分割；
显示设备803，用于输出医学图像序列的分割结果。
与上述方法实施例相对应地，本申请实施例还提供了一种电子设备。
图9为本申请实施例提供的一种电子设备的结构示意图；如图9所示，本申请实施例中该电子设备90包括：处理器91、显示器92、存储器93、输入设备96、总线95和通讯设备94；该处理器91、存储器93、输入设备96、显示器92和通讯设备94均通过总线95连接，该总线95用于该处理器91、存储器93、显示器92、通讯设备94和输入设备96之间传输数据。
其中，存储器93可用于存储软件程序以及模块，如本申请实施例中的图像分类方法对应的程序指令/模块，处理器91通过运行存储在存储器93中的软件程序以及模块，从而执行电子设备90的各种功能应用以及数据处理，如本申请实施例提供的图像分类方法。存储器93可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个应用的应用程序等；存储数据区可存储根据电子设备90的使用所创建的数据（比如训练样本、特征提取网络）等。此外，存储器93可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器91是电子设备90的控制中心，利用总线95以及各种接口和线路连接整个电子设备90的各个部分，通过运行或执行存储在存储器93内的软件程序和/或模块，以及调用存储在存储器93内的数据，执行电子设备90的各种功能和处理数据。可选的，处理器91可包括一个或多个处理单元，如CPU、GPU（Graphics Processing Unit，图形处理单元）、数字处理单元等。
本申请实施例中，处理器91将分割的图像通过显示器92展示给用户。
该输入设备96主要用于获得用户的输入操作，当该电子设备不同时，该输入设备96也可能不同。例如，当该电子设备为计算机时，该输入设备96可以为鼠标、键盘等输入设备；当该电子设备为智能手机、平板电脑等便携设备时，该输入设备96可以为触控屏。
本申请实施例还提供了一种计算机存储介质，该计算机存储介质中存储有计算机可执行指令，该计算机可执行指令用于实现本申请任一实施例所述的图像分类方法。
在一些可能的实施方式中，本申请提供的图像分类方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在计算机设备上运行时，所述程序代码用于使所述计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的图像分类方法的步骤，例如，所述计算机设备可以执行如图3所示的步骤S301~S304中的图像分类分割流程。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。

Claims (12)

1.一种图像分类分割方法，其特征在于，所述方法包括：
从目标图像序列中获取目标检测对象，确定所述目标检测对象的目标特征向量；
分别针对每一个分类类别，根据所述目标特征向量分别与所述分类类别中每个类别特征向量之间的距离，以及每个类别特征向量的权重，确定所述目标检测对象属于各个分类类别的概率；其中，一个分类类别包括多个细分类类别，所述类别特征向量为学习对应的细分类类别下训练样本的训练特征向量确定的；
将概率满足设定条件的分类类别作为所述目标检测对象的分类类别；
按照所述目标图像序列中每一个目标检测对象的分类类别，将所述目标图像序列进行图像分割。
2.根据权利要求1所述的方法，其特征在于，所述确定所述目标检测对象的目标特征向量，是基于特征提取网络获取的，所述特征提取网络包括卷积层、池化层、反卷积层和拼接层，其中：
将所述目标检测对象输入至所述特征提取网络，通过所述特征提取网络中卷积层、池化层和反卷积层得到所述目标检测对象的第一特征图；
获取所述特征提取网络中每一个反卷积层得到的中间特征图；
通过所述拼接层将所述第一特征图与中间特征图进行拼接，得到所述目标检测对象的第二特征图；
根据所述目标检测对象的第二特征图，确定所述目标检测对象的目标特征向量。
3.根据权利要求2所述的方法，其特征在于，所述通过所述拼接层将所述第一特征图与中间特征图进行拼接，得到所述目标检测对象的第二特征图，还包括：
以所述目标图像序列的中心作为原点，确定所述目标检测对象在所述目标图像序列中的空间位置信息；
通过所述拼接层将所述第一特征图、中间特征图以及所述目标检测对象的空间位置信息进行拼接，得到所述目标检测对象的第二特征图。
4.根据权利要求2所述的方法，其特征在于，所述根据所述目标检测对象的第二特征图，确定所述目标检测对象的目标特征向量，包括：
将所述目标检测对象的第二特征图输入特征加强模型；
利用所述特征加强模型中的注意力模块，对所述第二特征图中的通道加权；
利用所述特征加强模型中的金字塔池化模块，对加权后的第二特征图以不同采样率的空洞卷积并行采样，得到所述目标检测对象的目标特征向量。
5.根据权利要求4所述的方法，其特征在于，所述根据所述目标特征向量分别与所述分类类别中每个类别特征向量之间的距离，以及每个类别特征向量的权重，确定所述目标检测对象属于所述分类类别的概率，包括：
确定所述目标特征向量与每一个类别特征向量之间的距离；所述分类类别中的多个类别特征向量为根据所述分类类别下训练样本的训练特征向量训练得到的；
针对所述分类类别中的每一个类别特征向量，将所述目标特征向量输入细分类模型，确定所述类别特征向量针对所述目标特征向量的混合系数；所述细分类模型根据所述分类类别下训练样本的训练特征向量训练得到，所述混合系数决定每个类别特征向量的权重；
根据所述目标特征向量与每一个类别特征向量之间的距离，以及每一个类别特征向量针对所述目标特征向量的混合系数，确定所述目标检测对象属于所述分类类别的概率。
6.根据权利要求5所述的方法，其特征在于，所述将所述目标特征向量输入细分类模型，确定所述类别特征向量针对所述目标特征向量的混合系数，包括：
将所述目标检测对象输入所述细分类模型，通过所述细分类模型中的线性整流函数和激活函数，得到每一个类别特征向量对应的中间系数；
根据类别特征向量对应的中间系数以及所有类别特征向量对应的中间系数，确定所述类别特征向量针对所述目标特征向量的混合系数。
7.根据权利要求5所述的方法，其特征在于，还包括：
所述特征提取网络、所述特征加强模型和所述细分类模型联合训练。
8.根据权利要求7所述的方法，其特征在于，所述特征提取网络、所述特征加强模型和所述细分类模型联合训练，包括：
获取训练样本以及所述训练样本的分类类别；
将所述训练样本输入特征提取网络，确定所述训练样本的训练特征图；
将所述训练样本的训练特征图输入特征加强模型，确定所述训练样本的训练特征向量；
根据所述训练样本的训练特征向量与类别特征向量之间的距离，以及每个类别特征向量的权重确定分类概率；
根据确定的分类概率、所述训练样本的分类类别以及每个分类类别中训练样本的数量确定损失函数，当所述损失函数小于预设阈值时，确定对应的参数。
9.一种图像分类分割装置，其特征在于，所述装置包括：
特征单元，用于从目标图像序列中获取目标检测对象，确定所述目标检测对象的目标特征向量；
概率单元，用于分别针对每一个分类类别，根据所述目标特征向量分别与所述分类类别中每个类别特征向量之间的距离，以及每个类别特征向量的权重，确定所述目标检测对象属于各个分类类别的概率；其中，一个分类类别包括多个细分类类别，所述类别特征向量为学习对应的细分类类别下训练样本的训练特征向量确定的；
类别单元，用于将概率满足设定条件的分类类别作为所述目标检测对象的分类类别；
分割单元，用于按照所述目标图像序列中每一个目标检测对象的分类类别，将所述目标图像序列进行图像分割。
10.一种医学图像分割系统，其特征在于，至少包括：医学图像采集设备、医学图像处理设备和显示设备，具体地：
医学图像采集设备，用于获取目标对象的医学图像序列；
医学图像处理设备，用于从所述医学图像序列中获取目标检测对象，确定所述目标检测对象的目标特征向量；分别针对每一个分类类别，根据所述目标特征向量分别与所述分类类别中每个类别特征向量之间的距离，以及每个类别特征向量的权重，确定所述目标检测对象属于各个分类类别的概率；其中，一个分类类别包括多个细分类类别，所述类别特征向量为学习对应的细分类类别下训练样本的训练特征向量确定的；将概率满足设定条件的分类类别作为所述目标检测对象的分类类别；按照所述目标图像序列中每一个目标检测对象的分类类别，将所述目标图像序列进行图像分割；
显示设备，用于输出所述医学图像序列的分割结果。
11.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1~8任一权利要求所述方法的步骤。
12.一种计算机可读存储介质，其特征在于，其存储有可由计算机设备执行的计算机程序，当所述程序在计算机设备上运行时，使得所述计算机设备执行权利要求1~8任一所述方法的步骤。
CN202010949745.8A 2020-09-10 2020-09-10 一种图像分类分割方法、装置及系统 Active CN111932529B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010949745.8A CN111932529B (zh) 2020-09-10 2020-09-10 一种图像分类分割方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010949745.8A CN111932529B (zh) 2020-09-10 2020-09-10 一种图像分类分割方法、装置及系统

Publications (2)

Publication Number Publication Date
CN111932529A CN111932529A (zh) 2020-11-13
CN111932529B true CN111932529B (zh) 2020-12-29

Family

ID=73309705

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010949745.8A Active CN111932529B (zh) 2020-09-10 2020-09-10 一种图像分类分割方法、装置及系统

Country Status (1)

Country Link
CN (1) CN111932529B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580484B (zh) * 2020-12-14 2024-03-29 中国农业大学 基于深度学习的遥感影像玉米秸秆覆盖识别方法及装置
CN112633373A (zh) * 2020-12-22 2021-04-09 东软睿驰汽车技术（沈阳）有限公司 一种车辆工况预测方法及装置
CN114298234B (zh) * 2021-12-31 2022-10-04 深圳市铱硙医疗科技有限公司 脑部医学影像分类方法、装置、计算机设备和存储介质
CN114882138A (zh) * 2022-05-20 2022-08-09 厦门大学 一种用于多层cs-mri的重建方法
CN115631205B (zh) * 2022-12-01 2023-03-21 阿里巴巴（中国）有限公司 图像分割及模型训练的方法、装置及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709924A (zh) * 2016-11-18 2017-05-24 中国人民解放军信息工程大学 基于深度卷积神经网络和超像素的图像语义分割方法
CN108230291A (zh) * 2017-03-30 2018-06-29 北京市商汤科技开发有限公司 物体识别系统训练方法、物体识别方法、装置和电子设备
CN109165593A (zh) * 2013-09-16 2019-01-08 眼验股份有限公司 用于生物认证的特征提取及匹配以及模板更新
CN110188783A (zh) * 2018-02-22 2019-08-30 北京猎户星空科技有限公司 一种图像分类方法、装置及电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10235758B2 (en) * 2016-02-04 2019-03-19 Nec Corporation Semantic segmentation based on global optimization

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109165593A (zh) * 2013-09-16 2019-01-08 眼验股份有限公司 用于生物认证的特征提取及匹配以及模板更新
CN106709924A (zh) * 2016-11-18 2017-05-24 中国人民解放军信息工程大学 基于深度卷积神经网络和超像素的图像语义分割方法
CN108230291A (zh) * 2017-03-30 2018-06-29 北京市商汤科技开发有限公司 物体识别系统训练方法、物体识别方法、装置和电子设备
CN110188783A (zh) * 2018-02-22 2019-08-30 北京猎户星空科技有限公司 一种图像分类方法、装置及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"图像物体分类与检测算法综述";黄凯奇等;《计算机学报》;20140630;第37卷(第6期);第1225-1240页 *

Also Published As

Publication number Publication date
CN111932529A (zh) 2020-11-13

Similar Documents

Publication Publication Date Title
US11861829B2 (en) Deep learning based medical image detection method and related device
CN111932529B (zh) 一种图像分类分割方法、装置及系统
Dalca et al. Learning conditional deformable templates with convolutional networks
US20210365717A1 (en) Method and apparatus for segmenting a medical image, and storage medium
Zhou et al. GAN review: Models and medical image fusion applications
Guibas et al. Synthetic medical images from dual generative adversarial networks
CN111754596B (zh) 编辑模型生成、人脸图像编辑方法、装置、设备及介质
CN108898175B (zh) 基于深度学习胃癌病理切片的计算机辅助模型构建方法
CN104484886B (zh) 一种mr图像的分割方法及装置
An et al. Medical image segmentation algorithm based on multilayer boundary perception-self attention deep learning model
CN110414607A (zh) 胶囊内窥镜图像的分类方法、装置、设备及介质
CN116309648A (zh) 一种基于多注意力融合的医学图像分割模型构建方法
CN112767417A (zh) 一种基于级联U-Net网络的多模态图像分割方法
CN111091010A (zh) 相似度确定、网络训练、查找方法及装置和存储介质
EP3973508A1 (en) Sampling latent variables to generate multiple segmentations of an image
CN116129141A (zh) 医学数据处理方法、装置、设备、介质和计算机程序产品
CN115496720A (zh) 基于ViT机制模型的胃肠癌病理图像分割方法及相关设备
CN113850796A (zh) 基于ct数据的肺部疾病识别方法及装置、介质和电子设备
Chatterjee et al. A survey on techniques used in medical imaging processing
CN114283152A (zh) 图像处理、图像处理模型的训练方法、装置、设备及介质
Yang et al. A dense R‐CNN multi‐target instance segmentation model and its application in medical image processing
CN114580510A (zh) 骨髓细胞细粒度分类方法、系统、计算机设备及存储介质
CN113409324A (zh) 一种融合微分几何信息的脑分割方法
CN113724184A (zh) 脑出血预后预测方法、装置、电子设备及存储介质
Li et al. V-ShadowGAN: generative adversarial networks for removing and generating shadows associated with vehicles based on unpaired data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210923

Address after: 518054 Room 201, building A, 1 front Bay Road, Shenzhen Qianhai cooperation zone, Shenzhen, Guangdong

Patentee after: Tencent Medical Health (Shenzhen) Co.,Ltd.

Address before: 35th floor, Tencent building, Keji Zhongyi Road, high tech Zone, Nanshan District, Shenzhen City, Guangdong Province

Patentee before: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd.

TR01 Transfer of patent right