CN112991266A - 用于小样本医疗影像的语义分割方法及系统 - Google Patents

用于小样本医疗影像的语义分割方法及系统 Download PDF

Info

Publication number
CN112991266A
CN112991266A CN202110169377.XA CN202110169377A CN112991266A CN 112991266 A CN112991266 A CN 112991266A CN 202110169377 A CN202110169377 A CN 202110169377A CN 112991266 A CN112991266 A CN 112991266A
Authority
CN
China
Prior art keywords
semantic segmentation
medical image
data set
data
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110169377.XA
Other languages
English (en)
Inventor
邬学宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN202110169377.XA priority Critical patent/CN112991266A/zh
Publication of CN112991266A publication Critical patent/CN112991266A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Multimedia (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本申请提供了一种用于小样本医疗影像的语义分割方法及系统。该语义分割方法包括：获取医疗影像数据，并对其中对应病灶位置的部分进行标注；从经过标注的医疗影像数据中选择对应于特定人体组织的像素值，并对所选择的像素值进行归一化；对经过归一化的像素值进行数据增广，并基于经过数据增广的像素值数据生成用于基于深度学习的语义分割网络的训练数据集和测试数据集；以及利用训练数据集训练语义分割网络对特定人体组织的医疗影像进行语义分割，并利用测试数据集测试语义分割网络对特定人体组织的医疗影像进行语义分割的能力，其中，语义分割网络通过对训练数据集中包含的隐藏特征进行流形混合插值改善了深度学习中小样本所导致的一些问题。

Description

用于小样本医疗影像的语义分割方法及系统
技术领域
本发明涉及计算机视觉领域，尤其涉及一种用于小样本医疗影像的语义分割方法及系统。
背景技术
随着计算机视觉技术的发展，计算机视觉技术被用来辅助完成基于医疗影像的病灶定位(即，对于医疗影像的语义分割)，以减轻医生的工作负担和提高效率。对于医疗影像的语义分割通常采用基于深度学习的语义分割方法。
通常，深度学习需要大量标注数据，而医疗行业因为数据的敏感性较高，所以标注数据量非常有限。如何在标注数据量较少的条件下，准确地对医疗影像进行语义分割是亟需解决的问题。
发明内容
鉴于以上所述的一个或多个问题，本发明提供了一种用于小样本医疗影像的语义分割方法及系统。
根据本发明实施例的用于小样本医疗影像的语义分割方法，包括：获取医疗影像数据，并对医疗影像数据中对应病灶位置的部分进行标注；从经过标注的医疗影像数据中选择对应于特定人体组织的像素值，并对所选择的像素值进行归一化；对经过归一化的像素值进行数据增广，并基于经过数据增广的像素值生成用于基于深度学习的语义分割网络的训练数据集和测试数据集；以及利用训练数据集训练语义分割网络对特定人体组织的医疗影像进行语义分割，并利用测试数据集测试语义分割网络对特定人体组织的医疗影像进行语义分割的能力，其中语义分割网络通过对训练数据集中包含的隐藏特征进行流形混合插值来增加训练数据集中包含的数据样本量。
根据本发明实施例的用于小样本医疗影像的语义分割系统，包括：影像数据处理单元，被配置为获取医疗影像数据，并对医疗影像数据中对应病灶位置的部分进行标注；像素值归一化单元，被配置为从经过标注的医疗影像数据中选择对应于特定人体组织的像素值，并对所选择的像素值进行归一化；数据集生成单元，被配置为对经过归一化的像素值进行数据增广，并基于经过数据增广的像素值数据生成用于基于深度学习的语义分割网络的训练数据集和测试数据集；以及网络训练测试单元，被配置为利用训练数据集训练语义分割网络对特定人体组织的医疗影像进行语义分割，并利用测试数据集测试语义分割网络对特定人体组织的医疗影像进行语义分割的能力，其中语义分割网络通过对训练数据集中包含的隐藏特征进行流形混合插值来增加训练数据集中包含的数据样本量。
在一些实施例中，流形混合插值中所用的lambda可以是(0，1)区间的系数，其可以从Beta分布中通过采样获得。如果选择Beta(1，1)，则是从均匀分布中采样。
根据本发明实施例的语义分割系统还可以包括分割结果优化单元，其可以被配置为利用条件随机场(CRF)对语义分割网络生成的语义分割结果进行优化。优选地，分割结果优化单元可以被配置为采用符合吉布斯(Gibbs)分布的条件随机场对语义分割结果进行优化。
根据本发明实施例的语义分割系统还可以包括干扰像素去除单元，其可以被配置为从经过归一化的像素值中去除会干扰语义分割网络对特定人体组织的医疗影像进行语义分割的像素值。
在根据本发明实施例的语义分割系统中，语义分割网络可以采用通道注意力模型作为特征提取模型。在一些实施例中，语义分割网络可以采用DICE系数作为损失函数。在一些实施例中，语义分割网络可以采用自适应动量估计算法作为梯度下降优化算法。
根据本发明实施例的用于小样本医疗影像的语义分割方法及系统，无需针对特定人体组织的大量经过标注的医疗影像数据即可训练基于深度学习的语义分割网络基于特定人体组织的医疗影像准确地做出针对该特定人体组织的疾病诊断。
附图说明
从下面结合附图对本发明的具体实施方式的描述中可以更好地理解本发明，其中：
图1示出了根据本发明实施例的用于医疗影像的语义分析系统的示例性框图。
图2示出了根据本发明实施例的用于医疗影像的语义分割方法的示例性流程图。
图3示出了能够用于实现本发明的实施例的计算机系统的示例性结构框图。
具体实施方式
下面将详细描述本发明的各个方面的特征和示例性实施例。在下面的详细描述中，提出了许多具体细节，以便提供对本发明的全面理解。但是，对于本领域技术人员来说很明显的是，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明的更好的理解。本发明决不限于下面所提出的任何具体配置和算法，而是在不脱离本发明的精神的前提下覆盖了元素、部件和算法的任何修改、替换和改进。在附图和下面的描述中，没有示出公知的结构和技术，以避免对本发明造成不必要的模糊。
鉴于深度学习需要大量标注数据，而医疗行业因为数据的敏感性较高，标注数据量非常有限，因此发明人提出了根据本发明的用于小样本医疗影像的语义分割方法及系统，以在无需针对特定人体组织的大量经过标注的医疗影像数据的条件下训练基于深度学习的语义分割网络基于特定人体组织的医疗影像准确地做出针对该特定人体组织的疾病诊断。
图1示出了根据本发明实施例的用于小样本医疗影像的语义分割系统100的示例性框图。图2示出了根据本发明实施例的用于小样本医疗影像的语义分割方法200的示例性流程图。下面结合图1和图2，详细描述根据本发明实施例的用于小样本医疗影像的语义分割系统100及语义分割方法200。
如图1所示，根据本发明实施例的用于小样本医疗影像的语义分割系统100包括影像数据处理单元102、像素值归一化单元104、数据集生成单元106、以及网络训练测试单元108。具体而言，影像数据处理单元102被配置为获取医疗影像数据，并对医疗影像数据中对应病灶位置的部分进行标注(即，执行步骤S202)；像素值归一化单元104被配置为从经过标注的医疗影像数据中选择对应于特定人体组织的像素值，并对所选择的像素值进行归一化(即，执行步骤S204)；数据集生成单元106被配置为对经过归一化的像素值进行数据增广，并基于经过数据增广的像素值数据生成用于基于深度学习的语义分割网络的训练数据集和测试数据集(即，执行步骤S206)；网络训练测试单元108被配置为利用训练数据集训练语义分割网络对特定人体组织的医疗影像进行语义分割，并利用测试数据集测试语义分割网络对特定人体组织的医疗影像进行语义分割的能力，其中，语义分割网络通过对训练数据集中包含的隐藏特征进行流形混合插值来增加训练数据集中包含的数据样本量(即，执行步骤S208)。
事实上，在基于深度学习的医疗场景下，因为隐私和法律法规限制等原因，医疗影像数据通常不是大数据，样本数量有限，甚至可能带有噪声。但另一方面，深度神经网络的层数太多、拟合能力太强所导致的过拟合问题，在大数据的情况下可能不太明显，但在样本数量有限的情况下就比较突出。本发明通过采用基于隐藏特征的流形混合插值算法，可以通过对流形上的隐藏特征进行插值来增加样本数量，从而改善因为样本数量少、稀疏不连续、有噪声同时深度神经网络的层数太多、拟合能力太强所导致的过拟合问题。
具体而言，在根据本发明实施例的用于医疗影像的语义分割系统100和语义分割方法200中，由于语义分割网络采用基于隐藏特征的流形混合插值算法，对流形上的隐藏特征进行插值来弥补样本数量少的缺陷，可以解决对应于特定人体组织的经标注的医疗影像数据量较少的现实问题，因而可以在无需针对特定人体组织的大量经过标注的医疗影像数据的条件下训练语义分割网络基于特定人体组织的医疗影像准确地分割出针对该特定人体组织的病灶，辅助医生诊断。
这里，需要说明的是，针对图像的语义分割过程可以被看作一个图像降维过程，以一个公司考勤机的人脸识别模型为例：模型输入是一张百万像素的人脸照片(例如，1000X1000像素，一般是视频，在此简化为照片，输入维度为100万像素)，模型输出是这张人脸照片上的人物的标识信息(假设这个公司有100个员工，就是100选一，输出维度为100)。这个过程是通过深度神经网络对人脸图像逐步降维的处理实现的。在医疗领域，医疗影像可以是例如，CT图像，按照医学数字成像与通信(DICOM，Digital Imaging andCommunications in Medicine)标准，医疗影像中各个像素位置的像素值可以用亨氏单位(HU，Housefield Unit)计量，范围一般在-1000至1000HU。通常，不同的人体组织对应不同的HU范围，例如，颅脑对应的HU范围可以是-65至125，肺部对应的HU范围可以是-1000至0，肝脏对应的HU范围可以是125至235等。不管特定人体组织具体是人体的哪部分组织，都可以将针对该特定人体组织的医疗影像中各个像素位置的CT值归一化至[0,255]之间。
在一些实施例中，语义分割网络可以采用例如0到1之间的实数作为流形混合系数。通常，医疗影像存在百万像素的高维空间，通过采用基于隐藏特征的流形混合插值算法进行流形学习可以发现医疗影像包含的这些像素分布在某个低维流形上，这样可以使语义分割网络更容易对像素进行分类。需要说明的是，对特定人体组织的医疗影像进行语义分割的本质就是对该医疗影像上的每个像素进行分类(即，识别每个像素对应的位置是否存在病灶)。
在一些实施例中，根据本发明实施例的语义分割系统100还可以包括干扰像素去除单元110，其被配置为从经过归一化的像素值中去除会干扰语义分割网络对特定人体组织的医疗影像进行语义分割的像素值。例如，在特定人体组织为肺部的情况下，肺壁有可能会被语义分割网络误判为纤维化组织，所以需要从肺部图像中去除肺壁和肺壁以外的部分的图像。应该明白的是，针对不同的人体组织，干扰像素情况会有所不同。
由于隐私保护等法律法规的限制等原因，经过标注的医疗影像数据的总体数量较少，而对应于特定人体组织的经过标注的医疗影像数据更少。所以，在一些实施例中，数据集生成单元106可以进一步被配置为通过翻转、平移、旋转等操作中的一个或多个操作对经过归一化的像素值进行数据增广，增加用于训练和测试语义分割网络对特定人体组织的医疗影像进行语义分割的能力的像素值的数量。另外，数据集生成单元106可以利用从经过数据增广的像素值数据中随机选择的预定比例(例如，80％)的像素值数据生成训练数据集，并利用经过数据增广的像素值数据中的其余像素值数据(例如，20％)生成测试数据集。
通常，语义分割网络可以分为编码器和解码器两个部分，编码器的目的是进行特征提取，通常是卷积神经网络(CNN)，解码器的目的是还原高分辨率的图像并对像素进行分类(即，识别是否为病灶)，通常是个反卷积神经网络，医疗场景要求病灶位置准确，要求高分辨率的还原。具体地，对于编码器而言，提取病灶特征的能力是关键，其采用了兼顾空间和通道建模能力的SE模块进行特征提取。在语义分割网络的主干网络中，编码器包括双残差卷积模块和SE模块，其中，双残差卷积模块除了采用常规的卷积模块外还通过1X1卷积来控制通道数量；SE模块通过学习自动获得每个通道的重要度，并按此来增强对任务效果影响大的通道，抑制效果不明显的通道。注意力模块集成了门信号模块，其中，注意力模块利用下层特征指导注意力模块聚焦在病灶区，解码器通过不断连接上采样与注意力的输出，将特征还原为高分辨率图像。
在一些实施例中，语义分割网络可以采用通道注意力模型作为特征提取模型。通道注意力模型不仅关注对于图像的空间特征/通道的捕捉，而且关注不同空间特征/通道之间的关系。通过对空间特征/通道的权重进行注意力学习，按空间特征/通道的重要性进行权重的调整，可以提高语义分割网络的特征提取能力，从而提高语义分割网络的语义分割能力。
具体地，CNN可以模拟人的视觉过程。深度学习的本质是从高维数据学习其中的重要特征(即，低维特征)。例如，在基于深度学习的人脸识别中，用于识别人脸图像上的人物的特征可能是人物的五官，那么五官就是深度学习算法通过大量数据训练学到的特征，这类特征由于不可见而被称为隐藏空间特征。隐藏空间的维度通常较低，但其中包含的特征的数量可能较多。从基于隐藏特征的流形学习的角度来看，可以认为样本的隐藏特征位于高维空间的某个低维流形上。在高维空间中难以区分的样本在低维空间中更容易分类(语义分割就是对每个像素分类)。而且，对于小样本的情况，可以通过在低维空间中进行插值来弥补数据不足或数据稀疏的缺陷。
确定语义分割网络模型之后，可以定义损失函数，并选择梯度下降优化器、激活函数和流形混合系数。在一些实施例中，语义分割网络采用DICE或交并比(IOU)系数作为损失函数来测量语义分割网络的表现，即标注数据与预测值之间的差异，优选采用DICE系数。在一些实施例中，采用自适应动量估计(Adam,Adaptive Moment Estimation)算法作为梯度下降优化算法，计算每个参数的自适应学习率。在一些实施例中，可以采用Sigmoid、Tanh、和Relu三种激活函数中的一种或多种作为激活函数，优选采用Relu函数。当损失函数、迭代次数达到阈值时，即可停止训练，保存模型，检查模型结果。之后，可以将测试数据输入模型，观察损失函数与DICE重合系数是否达到要求。
在一些实施例中，根据本发明实施例的语义分割系统100还可以包括分割结果优化单元112，其被配置为利用条件随机场(CRF)对语义分割网络生成的语义分割结果进行优化。即，分割结果优化单元110可以被配置为通过考虑特定人体组织的医疗影像中的每个像素的周边像素的位置和语义分割结果(即，分类)，判断语义分割网络针对该像素生成的语义分割结果是否正确。通过对语义分割结果进行优化，可以消除小部分错误的语义分割结果，从而可以提高语义分割结果的准确性。
以计算机视觉CV中的语义分割CRF为例，可选择能量函数：
Figure BDA0002938476850000071
第1项表示某个像素的分类错误(比如实际是0，被模型指定为1)所导致的能量增加；第2项表某像素与相似的像素分类不同所导致的能量增加。模型总是试图降低能量增加，即：尽量减少分类错误，同时鼓励相似的像素的分类标签尽量相同，一些噪声因此而被消除，像素相似度可能以颜色、位置等因素来度量。
在一些实施例中，分割结果优化单元112可以进一步被配置为采用符合吉布斯(Gibbs)分布的条件随机场对语义分割结果进行优化。例如，吉布斯分布可以由以下方程式表示：
Figure BDA0002938476850000081
其中，I是特定人体组织的医疗影像中的任意一个像素，x是语义分割网络针对该像素的语义分割结果(即，对该像素的分类)。这里，语义分割结果为病灶或非病灶，所以x的取值为0或1。E(x|I)是能量函数。exp()是底数为自然常数的指数函数。Z(I)是配分函数(Partition Function)，用以确保各个语义分割结果的概率之和等于1。
如本文已描述的，深度神经网络的层数越多、表达能力越强，对高维数据的进行映射分类能力越强。但是，随着深度神经网络的层数和神经元数量的增多，容易产生过拟合的情况，即在训练数据集上表现很好，但是在测试数据集上表现不好。根据本发明，这一问题可以得到有效解决。下面举例说明根据本发明一个实施例的网络训练测试。
用f(x)＝fk(gk(x))表示深度神经网络，gk表示深度神经网络中将输入图像映射到隐藏特征空间的第一子网络(编码器)；fk是表示深度神经网络中将隐藏特征映射到输出的第二子网络(解码器)；K表示深度神经网络的第K层，这里对应隐藏特征空间对应的网络层。深度神经网络的训练过程可以包括以下方面：
数据采样处理，即随机抽取2个样本(x1,y1)、(x2,y2)，x代表图像输入，y代表标签数据(在医疗语义分割场景中为0/1，1表示病灶，0表示正常)。(h1,h2)是(x1,x2)在隐藏特征空间中的表达。
数据插值处理，即利用h_int＝lambda*h1+(1-lambda)*h2，y_int＝lambda*y1+(1-lambda)*y2对隐藏特征空间中的特征和标签数据进行插值，lambda是(0，1)区间的系数，可以从Beta分布中通过采样获得，如果选择Beta(1，1)，则是从均匀分布中采样。
数据训练处理，即利用数据(h_int，y_int)对第二子网络进行训练，然后将第二子网络的输出提供给深度神经网络的输出层。
网络优化处理，即使用深度神经网络的输出层的输出结果计算损失和梯度，并更新深度神经网络的各网络参数。
在一些实施例中，在网络训练测试单元108完成对于语义分割网络的训练和测试后，可以进行模型验证，例如可以通过人工(例如医生)评价语义分割网络对于特定人体组织的疾病诊断的准确性是否达到临床要求。
综上所述，在根据本发明实施例的用于医疗影像的语义分割系统和方法中，基于深度学习的语义分割网络采用了在隐藏特征空间的流形混合插值算法，弥补对应于特定人体组织的经标注的医疗影像数据量较少的缺陷。其次，在特征提取方面采用了通道注意力模型，基于不同特征/通道之间的关系，通过对通道的权重进行训练，按通道的重要性进行权重的调整，因而具有很强的病灶特征提取能力，第三，基于门信号的注意力模型的指导模型聚焦于病灶。这样的深度学习语义分割架构可以在特定人体组织标注的医疗影像数据有限的条件下，训练语义分割网络，基于特定人体组织的医疗影像准确地进行病灶的语义分割，辅助医生进行医疗诊断。
图3示出了能够用于实现本发明的实施例的计算机系统的示例性结构框图。下面结合图3，描述适于用来实现本发明的实施例的计算机系统300。应该明白的是，图3示出的计算机系统300仅是一个示例，不应对本发明的实施例的功能和使用范围带来任何限制。
如图3所示，计算机系统300可以包括处理装置(例如，中央处理器、图形处理器等)301，其可以根据存储在只读存储器(ROM)302中的程序或者从存储装置308加载到随机访问存储器(RAM)303中的程序而执行各种适当的动作和处理。在RAM 303中，还存储有计算机系统300操作所需的各种程序和数据。处理装置301、ROM 302、以及RAM 303通过总线304彼此相连。输入/输出(I/O)接口305也连接至总线304。
通常，以下装置可以连接至I/O接口305：包括例如触摸屏、触摸板、摄像头、加速度计、陀螺仪等的输入装置306；包括例如液晶显示器(LCD，Liquid Crystal Display)、扬声器、振动器等的输出装置307；包括例如闪存(Flash Card)等的存储装置308；以及通信装置309。通信装置309可以允许计算机系统300与其他设备进行无线或有线通信以交换数据。虽然图3示出了具有各种装置的计算机系统300，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图3中示出的每个方框可以代表一个装置，也可以根据需要代表多个装置。
特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例提供一种计算机可读存储介质，其存储计算机程序，该计算机程序包含用于执行图2所示的方法200的程序代码。在这样的实施例中，该计算机程序可以通过通信装置309从网络上被下载和安装，或者从存储装置308被安装，或者从ROM 302被安装。该计算机程序在被处理装置301执行时，实现本发明的实施例的装置中限定的上述功能。
需要说明的是，本发明的实施例所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明的实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(Radio Frequency，射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述计算机系统300中所包含的；也可以是单独存在，而未装配入该计算机系统300中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该计算设备执行时，使得该计算机系统：获取医疗影像数据，并对医疗影像数据中对应病灶位置的部分进行标注；从经过标注的医疗影像数据中选择对应于特定人体组织的像素值，并对所选择的像素值进行归一化；对经过归一化的像素值进行数据增广，并基于经过数据增广的像素值数据生成用于语义分割网络的训练数据集和测试数据集；利用训练数据集训练语义分割网络对特定人体组织的医疗影像进行语义分割，并利用测试数据集测试语义分割网络对特定人体组织的医疗影像进行语义分割的能力，其中语义分割网络通过对所述训练数据集中包含的隐藏特征进行流形混合插值来增加所述训练数据集中包含的数据样本量。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明的实施例的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言——诸如Python、Java、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本发明的各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能、和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明的实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器，包括影像数据处理单元、像素值归一化单元、数据集生成单元、网络训练测试单元、分割结果优化单元、以及干扰像素去除单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
以上描述仅为本发明的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本发明的实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本发明的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种用于小样本医疗影像的语义分割方法，包括：
获取医疗影像数据，并对所述医疗影像数据中对应病灶位置的部分进行标注；
从经过标注的医疗影像数据中选择对应于特定人体组织的像素值，并对所选择的像素值进行归一化；
对经过归一化的像素值进行数据增广，并基于经过数据增广的像素值数据生成用于基于深度学习的语义分割网络的训练数据集和测试数据集；以及
利用所述训练数据集训练所述语义分割网络对所述特定人体组织的医疗影像进行语义分割，并利用所述测试数据集测试所述语义分割网络对所述特定人体组织的医疗影像进行语义分割的能力，其中，所述语义分割网络通过对所述训练数据集中包含的隐藏特征进行流形混合插值来增加所述训练数据集中包含的数据样本量。
2.如权利要求1所述的语义分割方法，其中流形混合插值中所用的lambda是(0，1)区间的系数，其从Beta分布中通过采样获得。
3.如权利要求1所述的语义分割方法，还包括：
利用条件随机场对所述语义分割网络生成的语义分割结果进行优化。
4.如权利要求3所述的语义分割方法，其中，所述条件随机场符合吉布斯分布。
5.如权利要求1至4中任一项所述的语义分割方法，还包括：
从所述经过归一化的像素值中去除会干扰所述语义分割网络对所述特定人体组织的医疗影像进行语义分割的像素值。
6.如权利要求1至4中任一项所述的语义分割方法，其中，所述语义分割网络采用通道注意力模型作为特征提取模型。
7.如权利要求1至4中任一项所述的语义分割方法，其中，所述语义分割网络采用自适应动量估计算法作为梯度下降优化算法。
8.一种用于小样本医疗影像的语义分割系统，包括：
影像数据处理单元，被配置为获取医疗影像数据，并对所述医疗影像数据中对应病灶位置的部分进行标注；
像素值归一化单元，被配置为从经过标注的医疗影像数据中选择对应于特定人体组织的像素值，并对所选择的像素值进行归一化；
数据集生成单元，被配置为对经过归一化的像素值进行数据增广，并基于经过数据增广的像素值数据生成用于基于深度学习的语义分割网络的训练数据集和测试数据集；以及
网络训练测试单元，被配置为利用所述训练数据集训练所述语义分割网络对所述特定人体组织的医疗影像进行语义分割，并利用所述测试数据集测试所述语义分割网络对所述特定人体组织的医疗影像进行语义分割的能力，其中，所述语义分割网络通过对所述训练数据集中包含的隐藏特征进行流形混合插值来增加所述训练数据集中包含的数据样本量。
9.一种用于小样本医疗影像的语义分割系统，包括：
处理器；
存储计算机程序的存储器，所述计算机程序在由所述处理器执行时使得所述处理器执行权利要求1至7中任一项所述的方法。
10.一种存储计算机程序的计算机可读存储介质，所述计算机程序在由计算机系统的处理器执行时使得所述计算机系统执行权利要求1至7中任一项所述的方法。
CN202110169377.XA 2021-02-07 2021-02-07 用于小样本医疗影像的语义分割方法及系统 Pending CN112991266A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110169377.XA CN112991266A (zh) 2021-02-07 2021-02-07 用于小样本医疗影像的语义分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110169377.XA CN112991266A (zh) 2021-02-07 2021-02-07 用于小样本医疗影像的语义分割方法及系统

Publications (1)

Publication Number Publication Date
CN112991266A true CN112991266A (zh) 2021-06-18

Family

ID=76349028

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110169377.XA Pending CN112991266A (zh) 2021-02-07 2021-02-07 用于小样本医疗影像的语义分割方法及系统

Country Status (1)

Country Link
CN (1) CN112991266A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116863216A (zh) * 2023-06-30 2023-10-10 国网湖北省电力有限公司武汉供电公司 一种基于数据流形几何的深度领域适应图像分类方法、系统及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107886514A (zh) * 2017-11-22 2018-04-06 浙江中医药大学 基于深度残差网络的乳腺钼靶图像肿块语义分割方法
US20180129912A1 (en) * 2016-11-07 2018-05-10 Nec Laboratories America, Inc. System and Method for Learning Random-Walk Label Propagation for Weakly-Supervised Semantic Segmentation
CN109711413A (zh) * 2018-12-30 2019-05-03 陕西师范大学 基于深度学习的图像语义分割方法
CN110188866A (zh) * 2019-05-28 2019-08-30 北京工业大学 一种基于注意力机制的特征提取方法
CN111583291A (zh) * 2020-04-20 2020-08-25 中山大学 基于深度学习的视网膜层和积液区域的层分割方法及系统
CN112102221A (zh) * 2019-05-31 2020-12-18 深圳市前海安测信息技术有限公司 用于检测肿瘤的3D UNet网络模型构建方法、装置及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180129912A1 (en) * 2016-11-07 2018-05-10 Nec Laboratories America, Inc. System and Method for Learning Random-Walk Label Propagation for Weakly-Supervised Semantic Segmentation
CN107886514A (zh) * 2017-11-22 2018-04-06 浙江中医药大学 基于深度残差网络的乳腺钼靶图像肿块语义分割方法
CN109711413A (zh) * 2018-12-30 2019-05-03 陕西师范大学 基于深度学习的图像语义分割方法
CN110188866A (zh) * 2019-05-28 2019-08-30 北京工业大学 一种基于注意力机制的特征提取方法
CN112102221A (zh) * 2019-05-31 2020-12-18 深圳市前海安测信息技术有限公司 用于检测肿瘤的3D UNet网络模型构建方法、装置及存储介质
CN111583291A (zh) * 2020-04-20 2020-08-25 中山大学 基于深度学习的视网膜层和积液区域的层分割方法及系统

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
HEAVENPEIEN: "条件随机场 CRF", 《CSDN》 *
IN-FIGHTING: "条件随机场与图像分割", 《CSDN》 *
MOUSTAPHA CISSE: "mixup: BEYOND EMPIRICAL RISK MINIMIZATION", 《ICLR》 *
SHUN ZHAO: "Attention residual convolution neural network based on U-net (AttentionResU-Net) for retina vessel segmentation", 《IOP CONFERENCE SERIES: EARTH AND ENVIRONMENTAL SCIENCE》 *
VERMA V: "Manifold Mixup:Better Representations by Interpolating Hidden States", 《ICLR》 *
侯向丹: "融合残差注意力机制的UNet视盘分割", 《中国图象图形学报》 *
张春芳: "基于条件随机场的图像语义分割", 《计算机光盘软件与应用》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116863216A (zh) * 2023-06-30 2023-10-10 国网湖北省电力有限公司武汉供电公司 一种基于数据流形几何的深度领域适应图像分类方法、系统及介质

Similar Documents

Publication Publication Date Title
Lin et al. Comparison of handcrafted features and convolutional neural networks for liver MR image adequacy assessment
CN108509915B (zh) 人脸识别模型的生成方法和装置
CN110097130B (zh) 分类任务模型的训练方法、装置、设备及存储介质
CN109919928B (zh) 医学影像的检测方法、装置和存储介质
CN112767329B (zh) 图像处理方法及装置、电子设备
CN114820584B (zh) 肺部病灶定位装置
CN108229375B (zh) 用于检测人脸图像的方法和装置
WO2021016087A1 (en) Systems for the generation of source models for transfer learning to application specific models
CN111275686A (zh) 用于人工神经网络训练的医学图像数据的生成方法及装置
CN108399401B (zh) 用于检测人脸图像的方法和装置
CN111626134A (zh) 一种基于隐密度分布的密集人群计数方法、系统及终端
CN115661282A (zh) 伪影识别方法、装置及计算机可读存储介质
CN115601299A (zh) 基于图像的肝硬化状态智能评估系统及其方法
CN113850796A (zh) 基于ct数据的肺部疾病识别方法及装置、介质和电子设备
CN113177554B (zh) 甲状腺结节识别与分割方法、系统、存储介质及设备
CN114596440A (zh) 语义分割模型的生成方法、装置、电子设备及存储介质
CN113033305B (zh) 活体检测方法、装置、终端设备和存储介质
CN112991266A (zh) 用于小样本医疗影像的语义分割方法及系统
CN112530554B (zh) 一种扫描定位方法、装置、存储介质及电子设备
CN113298807A (zh) 一种计算机断层扫描图像处理方法及装置
CN113192085A (zh) 三维器官图像分割方法、装置及计算机设备
CN108154107B (zh) 一种确定遥感图像归属的场景类别的方法
CN112232431A (zh) 水印检测模型训练方法、水印检测方法、系统、设备及介质
CN110570417A (zh) 肺结节分类方法、装置及图像处理设备
US20230343438A1 (en) Systems and methods for automatic image annotation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210618

RJ01 Rejection of invention patent application after publication