CN114742840A - 一种图像分割方法、装置、终端设备及可读存储介质 - Google Patents

一种图像分割方法、装置、终端设备及可读存储介质 Download PDF

Info

Publication number
CN114742840A
CN114742840A CN202210192963.0A CN202210192963A CN114742840A CN 114742840 A CN114742840 A CN 114742840A CN 202210192963 A CN202210192963 A CN 202210192963A CN 114742840 A CN114742840 A CN 114742840A
Authority
CN
China
Prior art keywords
image
segmentation
consistency
network model
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210192963.0A
Other languages
English (en)
Inventor
林黄靖
李雁雯
张宏伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Imsight Medical Technology Co Ltd
Original Assignee
Shenzhen Imsight Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Imsight Medical Technology Co Ltd filed Critical Shenzhen Imsight Medical Technology Co Ltd
Priority to CN202210192963.0A priority Critical patent/CN114742840A/zh
Publication of CN114742840A publication Critical patent/CN114742840A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种图像分割方法及装置，该方法包括：获取待分割的第一图像；对第一图像进行处理，得到第二图像；将第二图像输入到预先训练好的双路一致性学习网络模型，得到目标分割特征信息；其中，双路一致性学习网络模型是在图像层面和特征层面分别对无标注图像进行一致性学习训练得到的；根据目标分割特征信息对第一图像进行分割，采用双路一致性半监督学习方法，能够大量减少全监督算法标注时需要的巨大工作量和工作难度，并且能够在短时间内就对数据进行较大扩增，同时，可以对图像上的病灶进行分割，提高分割的准确性。

Description

一种图像分割方法、装置、终端设备及可读存储介质
技术领域
本发明涉及计算机技术领域，特别是涉及一种图像分割方法、装置、终端设备及可读存储介质。
背景技术
在新冠肺炎诊断过程中，CT成像技术有着重要的作用，且经过实验验证，其对新冠肺炎的诊断敏感度较高。医生通过对CT图像中新冠肺炎病灶区域的识别和勾画，可以进行定性定量诊断以及给出相应的治疗方案。然而，手动病灶识别和勾画费时费力，因此对于这种快速扩增的传染性疾病来说，精确的自动化病灶分割就十分关键。
目前采用的分割算法大部分都是基于深度学习算法和卷积神经网络的全监督方法。这些方法依赖于医生标注的像素级的轮廓或病灶区域掩模，通过神经网络编码器和构建的多个并行解码器对单层CT图像中的新冠肺炎病灶进行分割。
若采用现有技术中的全监督算法，需要大量像素级的标注数据，而对于CT图像这种三维数据来说，其标注工作量和标注难度都非常大，不仅需要消耗较多的人力，而且分割准确率较低。
发明内容
鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种图像分割方法及装置。
第一个方面，本发明实施例提供一种图像分割方法，所述方法包括：
获取待分割的第一图像；
对所述第一图像进行处理，得到第二图像；
将所述第二图像输入到预先训练好的双路一致性学习网络模型，得到目标分割特征信息；其中，所述双路一致性学习网络模型是在图像层面和特征层面分别对无标注图像进行一致性学习训练得到的；
根据所述目标分割特征信息对所述第一图像进行分割。
可选地，所述对所述第一图像进行处理，得到第二图像，包括：
根据大津法及形态学图像处理方法，对所述第一图像进行处理，得到第一目标图像区域；
对所述第一目标图像区域进行放缩处理；
当放缩到达预设值时，对放缩后图像进行滑窗处理，得到所述第二图像；其中，所述第二图像符合所述双路一致性学习网络模型的输入要求。
可选地，所述双路一致性学习网络模型是在图像层面对无标注图像进行一致性学习训练得到的，包括：
获取第一样本图像和第二样本图像，其中，所述第一样本图像不包括标注信息，所述第二样本图像包括标注信息；
根据所述第二样本图像对初始图像模型进行训练，得到第一损失函数；
对所述第一样本图像进行随机变换，得到第一变换图像；
根据所述第一样本图像和所述第一变换图像对所述初始图像模型进行训练，得到第二损失函数。
可选地，所述双路一致性学习网络模型包括共享编码器、主解码器和多个辅助解码器，其中，所述共享编码器用于对第一样本图像进行特征提取，得到第一样本图像的特征信息，所述主解码器用于对特征信息进行处理，生成预测分割分数图；所述辅助解码器用于当第一样本图像的特征信息受到扰动时，对扰动后的图像特征信息进行特征综合，并生成预测分割分数图，所述双路一致性学习网络模型是在特征层面分别对无标注图像进行一致性学习训练得到的，包括：
对第一样本图像进行特征提取，得到第一样本图像的特征信息；
将所述第一样本图像的特征信息输入到所述主解码器，得到第一结果；
将扰动后的图像的特征信息对所述辅助解码器中，得到第二结果；
根据所述第一结果和所述第二结果，对初始图像模型进行一致性训练，得到第三损失函数；
若所述第一损失函数、所述第二损失函数和第三损失函数满足预设条件时，将所述初始图像模型确定为所述双路一致性学习网络模型。
可选地，所述方法还包括：
根据均值不确定性参数和均方差不确定性参数对初始图像模型进行鲁棒性调整，其中，所述均值不确定性参数是通过计算多个解码器预测概率值均值的熵来确定的，所述均方差不确定性参数是通过计算多个解码器输出预测值的均方差来确定的。
第二个方面，本发明实施例提供一种图像分割装置，所述装置包括：
获取模块，用于获取待分割的第一图像；
处理模块，用于对所述第一图像进行处理，得到第二图像；
确定模块，用于将所述第二图像输入到预先训练好的双路一致性学习网络模型，得到目标分割特征信息；其中，所述双路一致性学习网络模型是在图像层面和特征层面分别对无标注图像进行一致性学习训练得到的；
分割模块，用于根据所述目标分割特征信息对所述第一图像进行分割。
可选地，所述处理模块，用于：
根据大津法及形态学图像处理方法，对所述第一图像进行处理，得到第一目标图像区域；
对所述第一目标图像区域进行放缩处理；
当放缩到达预设值时，对放缩后图像进行滑窗处理，得到所述第二图像；其中，所述第二图像符合所述双路一致性学习网络模型的输入要求。
可选地，所述装置还包括训练模块，所述训练模块用于：
获取第一样本图像和第二样本图像，其中，所述第一样本图像不包括标注信息，所述第二样本图像包括标注信息；
根据所述第二样本图像对初始图像模型进行训练，得到第一损失函数；
对所述第一样本图像进行随机变换，得到第一变换图像；
根据所述第一样本图像和所述第一变换图像对所述初始图像模型进行训练，得到第二损失函数。
可选地，所述双路一致性学习网络模型包括共享编码器、主解码器和多个辅助解码器，其中，所述共享编码器用于对第一样本图像进行特征提取，得到第一样本图像的特征信息，所述主解码器用于对特征信息进行处理，生成预测分割分数图；所述辅助解码器用于当第一样本图像的特征信息受到扰动时，对扰动后的图像特征信息进行特征综合，并生成预测分割分数图，所述训练模块用于：
对第一样本图像进行特征提取，得到第一样本图像的特征信息；
将所述第一样本图像的特征信息输入到所述主解码器，得到第一结果；
将扰动后的图像的特征信息对所述辅助解码器中，得到第二结果；
根据所述第一结果和所述第二结果，对初始图像模型进行一致性训练，得到第三损失函数；
若所述第一损失函数、所述第二损失函数和第三损失函数满足预设条件时，将所述初始图像模型确定为所述双路一致性学习网络模型。
可选地，所述确定模块用于：
根据所述第一结果和第二结果，对初始图像模型进行一致性训练，得到均方差损失函数。可选地，所述训练模块用于：
根据均值不确定性参数和均方差不确定性参数对初始图像模型进行鲁棒性调整，其中，所述均值不确定性参数是通过计算多个解码器预测概率值均值的熵来确定的，所述均方差不确定性参数是通过计算多个解码器输出预测值的均方差来确定的。
第三个方面，本发明实施例提供一种终端设备，包括：至少一个处理器和存储器；
所述存储器存储计算机程序；所述至少一个处理器执行所述存储器存储的计算机程序，以实现第一个方面提供的图像分割方法。
第四个方面，本发明实施例提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，所述计算机程序被执行时实现第一个方面提供的图像分割方法。
本发明实施例包括以下优点：
本发明实施例提供的图像分割方法、装置、终端设备及可读存储介质，通过获取待分割的第一图像；对第一图像进行处理，得到第二图像；将第二图像输入到预先训练好的双路一致性学习网络模型，得到目标分割特征信息；其中，双路一致性学习网络模型是在图像层面和特征层面分别对无标注图像进行一致性学习训练得到的；根据目标分割特征信息对第一图像进行分割，采用双路一致性半监督学习方法，能够大量减少全监督算法标注时需要的巨大工作量和工作难度，并且能够在短时间内就对数据进行较大扩增。
附图说明
图1是本发明的一种图像分割方法实施例的步骤流程图；
图2是本发明的模型训练的结构示意图；
图3是本发明的一种图像分割装置实施例的结构框图；
图4是本发明的一种终端设备的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明一实施例提供一种图像分割方法，用于对图像中的目标物体进行分割。本实施例的执行主体为图像分割装置，设置在终端设备上。
参照图1，示出了本发明的一种图像分割方法实施例的步骤流程图，该方法具体可以包括如下步骤：
S101、获取待分割的第一图像；
具体的，对于有病灶的图像，需要能够快速定位到病灶位置，因此，本发明实施例提供一种图像分割方法，具体地，本发明实施例提供一种由不确定性指导的三维半监督学习算法，通过半监督学习方法利用大量无标注的数据结合少量有像素级标注的CT图像数据进行训练，从而避免了大量数据全标注的工作以及伪标签方法对特征提取不准确性的放大。
在具体的实施过程中，终端设备获取到待分割的第一图像，该第一图像可以是CT图像，也可以是其他类型的图像，在本发明实施例中不做具体限定。
S102、对第一图像进行处理，得到第二图像；
具体地，由于第一图像的格式可以是任意格式，所以需要将第一图像转换成双路一致性学习网络模型可以识别的格式，也就是转换成第二图像，第二图像可以被双路一致性学习网络模型识别。
S103、将第二图像输入到预先训练好的双路一致性学习网络模型，得到目标分割特征信息；其中，双路一致性学习网络模型是在图像层面和特征层面分别对无标注图像进行一致性学习训练得到的；
具体地，在终端设备上预先训练双路一致性学习网络模型，该双路一致性学习网络模型由两个Vnet网络构成双路，该网络模型的输入是有标注数据和无标注数据的混合图像，其输出是分割图像的掩膜，该双路一致性学习网络模型可以在少量标注数据进行模型训练的同时，能够从其他无标注数据中得到更多的图像分割信息；且双路一致性学习网络模型是在图像层面和特征层面分别对无标注图像进行一致性学习训练得到的。
终端设备在获取到第二图像输入到预先训练好的双路一致性学习网络模型，得到目标分割特征信息，也就是得到目标物体对应的掩膜。
S104、根据目标分割特征信息对第一图像进行分割。
具体地，终端设备根据目标分割特征信息，对第一图像的目标物体，也就是病灶位置进行分割，通过采用双路一致性半监督学习方法，能够大量减少全监督算法标注时需要的巨大工作量和工作难度，并且能够在短时间内就对数据进行较大扩增。同时双路一致性学习可以避免伪标签学习算法对模型不准确性的放大，同时，可以对图像上的病灶进行分割，提高分割的准确性。
具体地，本发明实施例提供的图像分割方法，通过获取待分割的第一图像；对第一图像进行处理，得到第二图像；将第二图像输入到预先训练好的双路一致性学习网络模型，得到目标分割特征信息；其中，双路一致性学习网络模型是在图像层面和特征层面分别对无标注图像进行一致性学习训练得到的；根据目标分割特征信息对第一图像进行分割，采用双路一致性半监督学习方法，能够大量减少全监督算法标注时需要的巨大工作量和工作难度，并且能够在短时间内就对数据进行较大扩增，同时，可以对图像上的病灶进行分割，提高分割的准确性。
本发明又一实施例对上述实施例提供的图像分割方法做进一步补充说明。
可选地，对第一图像进行处理，得到第二图像，包括：
根据大津法及形态学图像处理方法，对第一图像进行处理，得到第一目标图像区域；
对第一目标图像区域进行放缩处理；
当放缩到达预设值时，对放缩后图像进行滑窗处理，得到第二图像；其中，第二图像符合双路一致性学习网络模型的输入要求。
具体地，终端设备在获取到第一图像后，也就是原始肺部CT图像，需要对该第一图像进行预处理，即对第一图像使用大津法及形态学图像处理方法进行肺内区域的分割，得到对肺部感兴趣区域，即第一目标图像区域，然后对肺部感兴趣区域即第一目标图像区域进行放缩，放缩至预设值，该预设值可以为xyz三轴的像素点物理间距均为0.8mm，再对放缩后图像进行滑窗处理，得到神经网络的输入图像块，即第二图像，该第二图像为三维图像。
本发明实施例提供双路一致性学习网络模型的训练方法，如图2所示，包括特征级一致性训练和图像级一致性训练，其中，特征级一致性由主解码器的预测和辅助解码器的预测构成，图像级一致性由原始图像预测和变换后图像的预测组成，置信不确定性和一致不确定性通过多解译器预测的均值和标准差量化，然后用于指导一致性学习。
可选地，双路一致性学习网络模型是在图像层面对无标注图像进行一致性学习训练得到的，包括：
获取第一样本图像和第二样本图像，其中，第一样本图像不包括标注信息，第二样本图像包括标注信息；
根据第二样本图像对初始图像模型进行训练，得到第一损失函数；
对第一样本图像进行随机变换，得到第一变换图像；
根据第一样本图像和第一变换图像对初始图像模型进行训练，得到第二损失函数；
根据第一图像经过编码器得到的特征和其扰动后特征对模型进行训练，得到第三损失函数；
若第一损失函数、第二损失函数和第三损失函数满足预设条件时，将初始图像模型确定为双路一致性学习网络模型。
具体的，初始图像模型是3D Vnet卷积神经网络模型，该神经网络模型采用编码-解码机制，在编码器中，共使用4个特征提取模块对图像特征进行提取，每个特征提取模块包含多个三维卷积操作和一个三维池化操作。在解码器中，通过多个三维上采样和卷积操作从而生成像素级的分割结果。
为了能够使用不同层级的图像特征，在编码器和解码器之间加入跳跃连接，使得解码器可以利用编码器不同卷积模块输出的图像特征。其中，不同层级特征指的是经过不同次数降采样后的特征。
为了在少量标注数据进行模型训练的同时能够从其他无标注数据中得到更多的图像分割信息，在Vnet模型的基础上提供了双路一致性学习网络模型，从图像层面和特征层面分别对无标注数据进行一致性学习。
在图像层面，对第一样本图像进行随机变换得到第一变换图像，其中，随机变换包括翻转，平移，旋转等，输入第一样本图像和第一变换图像的两个图像的目的是网络对变换前后图像的预测结果的一致性进行学习，可以让网络学习到更加精准的学习到分割需要的特征信息，排除图像中其他干扰信息，得到第一变换图像。
将输入的无标签图像(第一样本图像)及其第一变换图像均输入双路一致性学习网络模型中的包含主解码器的分割模型支路，其支路结构使用的是前面提到的3D Vnet，再对变换后图像的模型预测结果进行反变换，具体为，反变换就是指之前随机变换中的翻转平移等操作的反向操作，如之前及逆行左右翻转，则现在将其翻转回来，如之前进行顺时针旋转20度，则现在将其逆时针旋转20度；对反变换结果和原始图像模型预测结果进行一致性学习来实现图像层面的半监督学习。根据模型的线性变换不变性，对第一样本图像进行线性变换后，其对应位置像素的预测结果应该和变换前对应位置的预测结果相同，因此在训练中使用均方误差损失函数对两种预测结果进行一致性评价。
可选地，双路一致性学习网络模型包括共享编码器、主解码器和多个辅助解码器，其中，所述共享编码器用于对第一样本图像进行特征提取，得到第一样本图像的特征信息，所述主解码器用于对特征信息进行处理，生成预测分割分数图；所述辅助解码器用于当第一样本图像的特征信息受到扰动时，对扰动后的图像特征信息进行特征综合，并生成预测分割分数图，双路一致性学习网络模型是在特征层面分别对无标注图像进行一致性学习训练得到的，包括：
对第一样本图像进行特征提取，得到第一样本图像的特征信息；
将所述第一样本图像的特征信息输入到所述主解码器，得到第一结果；
将扰动后的图像的特征信息对所述辅助解码器中，得到第二结果；
根据所述第一结果和所述第二结果，对初始图像模型进行一致性训练，得到第三损失函数；
若所述第一损失函数、所述第二损失函数和第三损失函数满足预设条件时，将所述初始图像模型确定为所述双路一致性学习网络模型。
可选地，根据所述第一结果和所述第二结果，对初始图像模型进行一致性训练，得到第三损失函数，包括：
根据所述第一结果和第二结果，对初始图像模型进行一致性训练，得到均方差损失函数。可选地，还包括：
根据均值不确定性参数和均方差不确定性参数对初始图像模型进行鲁棒性调整，其中，均值不确定性参数是通过计算多个解码器预测概率值均值的熵来确定的，均方差不确定性参数是通过计算多个解码器输出预测值的均方差来确定的。
具体在，该双路一致性学习网络模型还包括不确定性训练指导模块，在本发明实施例中在半监督学习过程中引入不确定性估计，通过估计的不确定性对训练过程进行指导，从图像中筛选出不确定性低的像素进行损失函数的计算，从而得到对噪声鲁棒的模型。
同时在特征层面，在使用同一个编码器的基础上，引入多个辅助解码器，对每个解码器的输入特征加入不同的随机细微扰动，主解码器的输入特征是第一样本图像的特征向量，辅助解码器的输入特征是进行随机扰动后的特征向量，然后通过对辅助解码器和主解码器的预测结果进行一致性学习来实现特征层面的半监督学习。
鉴于模型的鲁棒性，相同特征在不同的随机细微扰动下应该保持相同的预测结果，因此同样使用均方差损失函数对每个辅助解码器的输出和主解码器的输出进行一致性学习。无标签数据即第一样本图像通过双路一致性学习网络及两个均方差损失函数为模型提供了更多的信息，同时有标注数据即第二样本图像通过编码器和主解码器进行有监督学习。这种方法能够更好的运用无标签数据而不会在无标签数据训练中加强之前模型产生的不准确信息。
由于图像本身和标注中存在的噪声和不确定性，这种不确定性在无标签的训练中由于随机扰动的加入可能会被进一步放大，因此在双路一致性学习网络的基础上加入了对模型训练过程中不确定性的计算，并引入基于多解码器的不确定引导机制来指导半监督学习的分割。在训练过程中衡量两种不确定性参数，分别是均值不确定性参数和均方差不确定性参数。
在图像分割过程中由于病灶的部分边缘较模糊，或者是在标注过程中边缘勾画不精细，因此在病灶边缘出的分割结果是不准确的，经过不确定性衡量，在计算损失函数的时候将这些不确定的像素点排除，不纳入模型的学习，可以增强模型的鲁棒性，因此，需要进行不确定性衡量，均值不确定性参数是通过计算多个解码器预测概率值均值的熵来进行衡量的。对于输出的分割图中的每个像素点，经过多个解码器预测后会得到多个不同的预测概率值，将这些概率值的均值取熵运算则为均值不确定度，这个不确定性代表着这个像素点能否被肯定的预测为某一类，其值越大则说明这个像素点越难被分类。均方差不确定性是通过计算多个解码器输出预测值的均方差进行衡量的，其值越大则说明不同解码器对于此像素的分类差异越大，则说明该点的类别不确定性也越强。因此，在不确定性估计过程中，首先计算出模型预测的两种不确定性，然后根据阈值对不确定像素进行晒学，在损失函数计算时去除高不确定性像素的影响，加强模型的训练中的鲁棒性。
在本发明实施例中，提供双路一致性学习网络模型，该由两个Vnet网络构成双路，这个网络的输入是有标注数据和无标注数据的混合数据，其输出是分割的mask掩膜。这个结构使得可以在少量标注数据进行模型训练的同时能够从其他无标注数据中得到更多的图像分割信息。另外，在双路一致性学习网络模型中增加不确定性评估模块，这个模块是加在双路一致性学习结构中使用的，其目的是保证训练过程的鲁棒性。
本发明提供了一种不确定性指导的双路一致性半监督学习网络。和现有技术相比：采用三维卷积神经网络模型，可以更好的利用三维信息，从而利用CT图像空间连续的特点，进一步提取肺炎病灶的特征。采用双路一致性半监督学习方法，能够大量减少全监督算法标注时需要的巨大工作量和工作难度，并且能够在短时间内就对数据进行较大扩增。同时双路一致性学习可以避免伪标签学习算法对模型不准确性的放大；双重不确定性指导模块可以进一步改善模型学习过程，从而训练得到更可靠、更稳健的模型。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
本发明实施例提供的图像分割方法，通过获取待分割的第一图像；对第一图像进行处理，得到第二图像；将第二图像输入到预先训练好的双路一致性学习网络模型，得到目标分割特征信息；其中，双路一致性学习网络模型是在图像层面和特征层面分别对无标注图像进行一致性学习训练得到的；根据目标分割特征信息对第一图像进行分割，采用双路一致性半监督学习方法，能够大量减少全监督算法标注时需要的巨大工作量和工作难度，并且能够在短时间内就对数据进行较大扩增，同时，可以对图像上的病灶进行分割，提高分割的准确性。
本发明另一实施例提供一种图像分割装置，用于执行上述实施例提供的图像分割方法。
参照图3，示出了本发明的一种图像分割装置实施例的结构框图，该装置具体可以包括如下模块：获取模块301、处理模块302、确定模块303和分割模块304，其中：
获取模块301用于获取待分割的第一图像；
处理模块302用于对第一图像进行处理，得到第二图像；
确定模块303用于将第二图像输入到预先训练好的双路一致性学习网络模型，得到目标分割特征信息；其中，双路一致性学习网络模型是在图像层面和特征层面分别对无标注图像进行一致性学习训练得到的；
分割模块304用于根据目标分割特征信息对第一图像进行分割。
本发明实施例提供的图像分割装置，通过获取待分割的第一图像；对第一图像进行处理，得到第二图像；将第二图像输入到预先训练好的双路一致性学习网络模型，得到目标分割特征信息；其中，双路一致性学习网络模型是在图像层面和特征层面分别对无标注图像进行一致性学习训练得到的；根据目标分割特征信息对第一图像进行分割，采用双路一致性半监督学习方法，能够大量减少全监督算法标注时需要的巨大工作量和工作难度，并且能够在短时间内就对数据进行较大扩增，同时，可以对图像上的病灶进行分割，提高分割的准确性。
本发明又一实施例对上述实施例提供的图像分割装置做进一步补充说明。
可选地，处理模块，用于：
根据大津法及形态学图像处理方法，对第一图像进行处理，得到第一目标图像区域；
对第一目标图像区域进行放缩处理；
当放缩到达预设值时，对放缩后图像进行滑窗处理，得到第二图像；其中，第二图像符合双路一致性学习网络模型的输入要求。
可选地，该装置还包括训练模块，训练模块用于：
获取第一样本图像和第二样本图像，其中，所述第一样本图像不包括标注信息，所述第二样本图像包括标注信息；
根据所述第二样本图像对初始图像模型进行训练，得到第一损失函数；
对所述第一样本图像进行随机变换，得到第一变换图像；
根据所述第一样本图像和所述第一变换图像对所述初始图像模型进行训练，得到第二损失函数。
可选地，所述双路一致性学习网络模型包括共享编码器、主解码器和多个辅助解码器，其中，所述共享编码器用于对第一样本图像进行特征提取，得到第一样本图像的特征信息，所述主解码器用于对特征信息进行处理，生成预测分割分数图；所述辅助解码器用于当第一样本图像的特征信息受到扰动时，对扰动后的图像特征信息进行特征综合，并生成预测分割分数图，所述训练模块用于：
对第一样本图像进行特征提取，得到第一样本图像的特征信息；
将所述第一样本图像的特征信息输入到所述主解码器，得到第一结果；
将扰动后的图像的特征信息对所述辅助解码器中，得到第二结果；
根据所述第一结果和所述第二结果，对初始图像模型进行一致性训练，得到第三损失函数；
若所述第一损失函数、所述第二损失函数和第三损失函数满足预设条件时，将所述初始图像模型确定为所述双路一致性学习网络模型。
可选地，确定模块用于：
根据所述第一结果和第二结果，对初始图像模型进行一致性训练，得到均方差损失函数。
可选地，训练模块用于：
根据均值不确定性参数和均方差不确定性参数对初始图像模型进行鲁棒性调整，其中，均值不确定性参数是通过计算多个解码器预测概率值均值的熵来确定的，均方差不确定性参数是通过计算多个解码器输出预测值的均方差来确定的。
需要说明的是，本实施例中各可实施的方式可以单独实施，也可以在不冲突的情况下以任意组合方式结合实施本申请不做限定。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本发明实施例提供的图像分割装置，通过获取待分割的第一图像；对第一图像进行处理，得到第二图像；将第二图像输入到预先训练好的双路一致性学习网络模型，得到目标分割特征信息；其中，双路一致性学习网络模型是在图像层面和特征层面分别对无标注图像进行一致性学习训练得到的；根据目标分割特征信息对第一图像进行分割，采用双路一致性半监督学习方法，能够大量减少全监督算法标注时需要的巨大工作量和工作难度，并且能够在短时间内就对数据进行较大扩增，同时，可以对图像上的病灶进行分割，提高分割的准确性。
本发明再一实施例提供一种终端设备，用于执行上述实施例提供的图像分割方法。
图4是本发明的一种终端设备的结构示意图，如图4所示，该终端设备包括：至少一个处理器401和存储器402；
存储器存储计算机程序；至少一个处理器执行存储器存储的计算机程序，以实现上述实施例提供的图像分割方法。
本实施例提供的终端设备，通过获取待分割的第一图像；对第一图像进行处理，得到第二图像；将第二图像输入到预先训练好的双路一致性学习网络模型，得到目标分割特征信息；其中，双路一致性学习网络模型是在图像层面和特征层面分别对无标注图像进行一致性学习训练得到的；根据目标分割特征信息对第一图像进行分割，采用双路一致性半监督学习方法，能够大量减少全监督算法标注时需要的巨大工作量和工作难度，并且能够在短时间内就对数据进行较大扩增，同时，可以对图像上的病灶进行分割，提高分割的准确性。
本申请又一实施例提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，计算机程序被执行时实现上述任一实施例提供的图像分割方法。
根据本实施例的计算机可读存储介质，通过获取待分割的第一图像；对第一图像进行处理，得到第二图像；将第二图像输入到预先训练好的双路一致性学习网络模型，得到目标分割特征信息；其中，双路一致性学习网络模型是在图像层面和特征层面分别对无标注图像进行一致性学习训练得到的；根据目标分割特征信息对第一图像进行分割，采用双路一致性半监督学习方法，能够大量减少全监督算法标注时需要的巨大工作量和工作难度，并且能够在短时间内就对数据进行较大扩增，同时，可以对图像上的病灶进行分割，提高分割的准确性。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、电子设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理电子设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理电子设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理电子设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理电子设备上，使得在计算机或其他可编程电子设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程电子设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者电子设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者电子设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者电子设备中还存在另外的相同要素。
以上对本发明所提供的一种图像分割方法和一种图像分割装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种图像分割方法，其特征在于，所述方法包括：
获取待分割的第一图像；
对所述第一图像进行处理，得到第二图像；
将所述第二图像输入到预先训练好的双路一致性学习网络模型，得到目标分割特征信息；其中，所述双路一致性学习网络模型是在图像层面和特征层面分别对无标注图像进行一致性学习训练得到的；
根据所述目标分割特征信息对所述第一图像进行分割。
2.根据权利要求1所述的方法，其特征在于，所述对所述第一图像进行处理，得到第二图像，包括：
根据大津法及形态学图像处理方法，对所述第一图像进行处理，得到第一目标图像区域；
对所述第一目标图像区域进行放缩处理；
当放缩到达预设值时，对放缩后图像进行滑窗处理，得到所述第二图像；其中，所述第二图像符合所述双路一致性学习网络模型的输入要求。
3.根据权利要求1所述的方法，其特征在于，所述双路一致性学习网络模型是在图像层面对无标注图像进行一致性学习训练得到的，包括：
获取第一样本图像和第二样本图像，其中，所述第一样本图像不包括标注信息，所述第二样本图像包括标注信息；
根据所述第二样本图像对初始图像模型进行训练，得到第一损失函数；
对所述第一样本图像进行随机变换，得到第一变换图像；
根据所述第一样本图像和所述第一变换图像对所述初始图像模型进行训练，得到第二损失函数。
4.根据权利要求1所述的方法，其特征在于，所述双路一致性学习网络模型包括共享编码器、主解码器和多个辅助解码器，其中，所述共享编码器用于对第一样本图像进行特征提取，得到第一样本图像的特征信息，所述主解码器用于对特征信息进行处理，生成预测分割分数图；所述辅助解码器用于当第一样本图像的特征信息受到扰动时，对扰动后的图像特征信息进行特征综合，并生成预测分割分数图，所述双路一致性学习网络模型是在特征层面分别对无标注图像进行一致性学习训练得到的，包括：
对第一样本图像进行特征提取，得到第一样本图像的特征信息；
将所述第一样本图像的特征信息输入到所述主解码器，得到第一结果；
将扰动后的图像的特征信息对所述辅助解码器中，得到第二结果；
根据所述第一结果和所述第二结果，对初始图像模型进行一致性训练，得到第三损失函数；
若所述第一损失函数、所述第二损失函数和第三损失函数满足预设条件时，将所述初始图像模型确定为所述双路一致性学习网络模型。
5.根据权利要求4所述的方法，其特征在于，所述根据所述第一结果和所述第二结果，对初始图像模型进行一致性训练，得到第三损失函数，包括：
根据所述第一结果和第二结果，对初始图像模型进行一致性训练，得到均方差损失函数。
6.根据权利要求4所述的方法，其特征在于，所述方法还包括：
根据均值不确定性参数和均方差不确定性参数对初始图像模型进行鲁棒性调整，其中，所述均值不确定性参数是通过计算多个解码器预测概率值均值的熵来确定的，所述均方差不确定性参数是通过计算多个解码器输出预测值的均方差来确定的。
7.一种图像分割装置，其特征在于，所述装置包括：
获取模块，用于获取待分割的第一图像；
处理模块，用于对所述第一图像进行处理，得到第二图像；
确定模块，用于将所述第二图像输入到预先训练好的双路一致性学习网络模型，得到目标分割特征信息；其中，所述双路一致性学习网络模型是在图像层面和特征层面分别对无标注图像进行一致性学习训练得到的；
分割模块，用于根据所述目标分割特征信息对所述第一图像进行分割。
8.根据权利要求7所述的装置，其特征在于，所述处理模块，用于：
根据大津法及形态学图像处理方法，对所述第一图像进行处理，得到第一目标图像区域；
对所述第一目标图像区域进行放缩处理；
当放缩到达预设值时，对放缩后图像进行滑窗处理，得到所述第二图像；其中，所述第二图像符合所述双路一致性学习网络模型的输入要求。
9.一种终端设备，其特征在于，包括：至少一个处理器和存储器；
所述存储器存储计算机程序；所述至少一个处理器执行所述存储器存储的计算机程序，以实现权利要求1-6中任一项所述的图像分割方法。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质中存储有计算机程序，所述计算机程序被执行时实现权利要求1-6中任一项所述的图像分割方法。
CN202210192963.0A 2022-03-01 2022-03-01 一种图像分割方法、装置、终端设备及可读存储介质 Pending CN114742840A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210192963.0A CN114742840A (zh) 2022-03-01 2022-03-01 一种图像分割方法、装置、终端设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210192963.0A CN114742840A (zh) 2022-03-01 2022-03-01 一种图像分割方法、装置、终端设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN114742840A true CN114742840A (zh) 2022-07-12

Family

ID=82274895

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210192963.0A Pending CN114742840A (zh) 2022-03-01 2022-03-01 一种图像分割方法、装置、终端设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN114742840A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116071375A (zh) * 2023-03-10 2023-05-05 福建自贸试验区厦门片区Manteia数据科技有限公司 图像分割方法和装置、存储介质及电子设备
CN116344004A (zh) * 2023-05-31 2023-06-27 苏州恒瑞宏远医疗科技有限公司 一种影像样本数据扩增方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116071375A (zh) * 2023-03-10 2023-05-05 福建自贸试验区厦门片区Manteia数据科技有限公司 图像分割方法和装置、存储介质及电子设备
CN116071375B (zh) * 2023-03-10 2023-09-26 福建自贸试验区厦门片区Manteia数据科技有限公司 图像分割方法和装置、存储介质及电子设备
CN116344004A (zh) * 2023-05-31 2023-06-27 苏州恒瑞宏远医疗科技有限公司 一种影像样本数据扩增方法及装置
CN116344004B (zh) * 2023-05-31 2023-08-08 苏州恒瑞宏远医疗科技有限公司 一种影像样本数据扩增方法及装置

Similar Documents

Publication Publication Date Title
Wu et al. Research on image text recognition based on canny edge detection algorithm and k-means algorithm
CN110599537A (zh) 基于Mask R-CNN的无人机图像建筑物面积计算方法及系统
Le et al. Interactive boundary prediction for object selection
CN107689052B (zh) 基于多模型融合和结构化深度特征的视觉目标跟踪方法
US8331669B2 (en) Method and system for interactive segmentation using texture and intensity cues
CN114742840A (zh) 一种图像分割方法、装置、终端设备及可读存储介质
CN113688665B (zh) 一种基于半监督迭代学习的遥感影像目标检测方法及系统
CN111709966B (zh) 眼底图像分割模型训练方法及设备
CN113111947B (zh) 图像处理方法、装置和计算机可读存储介质
Shu et al. LVC-Net: Medical image segmentation with noisy label based on local visual cues
CN113111716B (zh) 一种基于深度学习的遥感影像半自动标注方法和装置
CN114549470B (zh) 基于卷积神经网络和多粒度注意力的手骨关键性区域获取方法
Chykeyuk et al. Class-specific regression random forest for accurate extraction of standard planes from 3D echocardiography
Al-Huda et al. Weakly supervised pavement crack semantic segmentation based on multi-scale object localization and incremental annotation refinement
WO2023207389A1 (zh) 数据处理方法、装置、程序产品、计算机设备和介质
Buhmann et al. Synaptic partner prediction from point annotations in insect brains
CN110400335B (zh) 基于深度学习的纹理图像质量估计方法
CN116109812A (zh) 一种基于非极大值抑制阈值优化的目标检测方法
CN114998362A (zh) 基于双分割模型的医学图像分割方法
CN110827327B (zh) 一种基于融合的长期目标跟踪方法
CN113033356B (zh) 一种尺度自适应的长期相关性目标跟踪方法
Biresaw et al. Correlation-based self-correcting tracking
CN112967293A (zh) 一种图像语义分割方法、装置及存储介质
CN117765432A (zh) 一种基于动作边界预测的中学理化生实验动作检测方法
CN117253044A (zh) 一种基于半监督交互学习的农田遥感图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination