CN116486196A - 病灶分割模型训练方法、病灶分割方法及装置 - Google Patents

病灶分割模型训练方法、病灶分割方法及装置 Download PDF

Info

Publication number
CN116486196A
CN116486196A CN202310293073.3A CN202310293073A CN116486196A CN 116486196 A CN116486196 A CN 116486196A CN 202310293073 A CN202310293073 A CN 202310293073A CN 116486196 A CN116486196 A CN 116486196A
Authority
CN
China
Prior art keywords
segmentation
medical image
model
trained
focus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310293073.3A
Other languages
English (en)
Other versions
CN116486196B (zh
Inventor
叶辰飞
郭绪涛
王勃然
马婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Harbin Institute of Technology
Original Assignee
Shenzhen Graduate School Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Harbin Institute of Technology filed Critical Shenzhen Graduate School Harbin Institute of Technology
Priority to CN202310293073.3A priority Critical patent/CN116486196B/zh
Publication of CN116486196A publication Critical patent/CN116486196A/zh
Application granted granted Critical
Publication of CN116486196B publication Critical patent/CN116486196B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/88—Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种病灶分割模型训练方法、病灶分割方法及装置，病灶分割模型训练方法包括：获取多张带标注的医学影像；将所述带标注的医学影像输入训练好的图像分割模型，确定所述带标注的医学影像中各个像素点的不确定性值；根据各个所述像素点的所述不确定性值构建多个二进制掩膜，根据所述二进制掩膜确定对应的基模型的损失函数，其中，所述二进制掩膜与所述基模型一一对应；基于集成学习算法和所述损失函数，采用所述带标注的医学影像对多个所述基模型进行训练，获得病灶分割模型。本发明的技术方案提高了病灶分割模型预测病灶区域的准确性。

Description

病灶分割模型训练方法、病灶分割方法及装置
技术领域
本发明涉及图像处理技术领域，具体而言，涉及一种病灶分割模型训练方法、病灶分割方法及装置。
背景技术
基于医学影像的术前规划是保障手术去除或破坏病灶区域成功率的重要技术手段，通常由医生使用MRI(Magnetic Resonance Imaging，磁共振成像)、CT(ComputedTomography，电子计算机断层扫描)等扫描人体得到医学影像，然后医生分析医学影像进行病灶定位，最后根据定位结果确定手术方案。但是由医生手动确定病灶区域，并勾勒病灶区域的轮廓，费时费力，导致医生的工作量繁重。
随着计算机视觉技术的不断发展，目前常通过计算机视觉技术辅助医生进行病灶区域定位和分割，以减轻医生的工作负担。该方法通过医学影像组成的训练集训练分割模型，然后利用训练好的分割模型对待处理的医学影像进行处理，实现病灶区域定位和分割。其中，分割模型的精度高度依赖于训练集的精度，训练集中的医学影像由医生等进行病灶区域标注，但是，由于医学影像中病变区域的边界通常是模糊的，即使是具有专业知识和丰富临床的医学专家，不同的医学专家对于同一医学影像中病变区域的标注也可能存在一定的差异，导致训练得到的分割模型预测病灶区域的准确性较差。
发明内容
本发明解决的问题是如何提高分割模型预测病灶区域的准确性。
为解决上述问题，本发明提供一种病灶分割模型训练方法、病灶分割方法及装置。
第一方面，本发明提供了一种病灶分割模型训练方法，包括：
获取多张带标注的医学影像；
将所述带标注的医学影像输入训练好的图像分割模型，确定所述带标注的医学影像中各个像素点的不确定性值；
根据各个所述像素点的所述不确定性值构建多个二进制掩膜，根据所述二进制掩膜确定对应的基模型的损失函数，其中，所述二进制掩膜与所述基模型一一对应；
基于集成学习算法和所述损失函数，采用所述带标注的医学影像对多个所述基模型进行训练，获得病灶分割模型。
可选地，所述根据各个所述像素点的所述不确定性值构建多个二进制掩膜包括：
执行掩膜生成步骤，所述掩膜生成步骤包括：将各个所述像素点的所述不确定性值分别与预设阈值进行对比，根据对比结果构建所述二进制掩膜；
更换所述预设阈值，重复执行所述掩膜生成步骤多次，生成多个所述二进制掩膜。
可选地，所述根据对比结果构建所述二进制掩膜包括：
将所述不确定性值大于所述预设阈值的所述像素点的掩码值设置为0，将所述不确定性值小于或等于所述预设阈值的所述像素点的掩码值设置为1；
组合各个所述像素点的所述掩码值，生成所述二进制掩膜。
可选地，所述根据所述二进制掩膜确定对应的基模型的损失函数包括：
将所述二进制掩膜与交叉熵损失相结合，确定对应的所述基模型的所述损失函数。
可选地，所述损失函数采用下述公式表示：
其中，表示损失值，N表示所述带标注的医学影像的数量，M表示每张所述带标注的医学影像中所述像素点的数量，C表示分割类别的数量，Mask(xn，m)表示第n张所述带标注的医学影像中第m个所述像素点对应的掩码值，yn，m表示符号函数，/>表示第n张所述带标注的医学影像中第m个所述像素点属于类别c的预测概率。
第二方面，本发明提供了一种病灶分割方法，包括：
获取待处理的医学影像；
将所述待处理的医学影像输入训练好的病灶分割模型，确定所述待处理的医学影像中病灶区域的分割结果；
其中，所述训练好的病灶分割模型采用如第一方面所述的病灶分割模型训练方法训练得到。
可选地，所述训练好的病灶分割模型包括多个训练好的基模型；
所述将所述待处理的医学影像输入训练好的病灶分割模型，确定所述待处理的医学影像中的病灶区域包括：
将所述待处理的医学影像分别输入各个所述训练好的基模型，获得各个所述训练好的基模型分别输出的分割概率图，所述分割概率图包括所述待处理的医学影像中各个像素点属于病灶区域的预测概率；
根据各个所述分割概率图确定各个所述像素点的预测概率平均值，获得所述分割结果。
可选地，所述获得各个所述训练好的基模型分别输出的分割概率图之后还包括：
根据各个所述分割概率图确定各个所述像素点的所述预测概率的方差，确定所述像素点的预测不确定性。
可选地，所述根据各个所述分割概率图确定各个所述像素点的所述预测概率的平均值之后还包括：
根据所述待处理的医学影像中各个前景像素的所述预测概率平均值确定平均概率；
将所述平均概率除以所述前景像素的数量，获得各个所述前景像素组成的切片的预测不确定性。
第三方面，本发明提供了一种病灶分割模型训练装置，包括：
第一获取模块，用于获取多张带标注的医学影像；
评估模块，用于将所述带标注的医学影像输入训练好的图像分割模型，确定所述带标注的医学影像中各个像素点的不确定性值；
构建模块，用于根据各个所述像素点的所述不确定性值构建多个二进制掩膜，根据所述二进制掩膜确定对应的基模型的损失函数，其中，所述二进制掩膜与所述基模型一一对应；
训练模块，用于基于集成学习算法和所述损失函数，采用所述带标注的医学影像对多个所述基模型进行训练，获得病灶分割模型。
第四方面，本发明提供了一种病灶分割装置，包括：
第二获取模块，用于获取待处理的医学影像；
分割模块，用于将所述待处理的医学影像输入训练好的病灶分割模型，确定所述待处理的医学影像中病灶区域的分割结果；
其中，所述训练好的病灶分割模型采用如第一方面所述的病灶分割模型训练方法训练得到。
本发明的病灶分割模型训练方法、病灶分割方法及装置的有益效果是：获取多张带标注的医学影像作为训练集，带标注的医学影像包括各个像素点的标签。将带标注的医学影像输入预先训练好的图像分割模型，以确定带标注的医学影像中各个像素点的不确定性值，该不确定性值用于表征对应像素点的标签的不确定性。根据各个像素点的不确定性值构建多个二进制掩膜，不同的二进制掩膜能够表征不同标注者对于同一医学影像的标注差异性，根据不同的二进制掩膜分别确定各个基模型的损失函数，基于该损失函数训练各个基模型时，能够使各个基模型分别学习不同标注者对于同一医学影像的标注标准。并且，通过集成学习算法融合各个基模型，得到病灶分割模型。
相较于现有技术中采用单个标注者标注的医学影像直接训练分割模型，本发明综合考虑了不同标注者对于同一医学影像评估的多样性，能够避免采用单一样本训练模型导致的过拟合，有效提高了训练得到的病灶分割模型预测病灶区域的准确性。
附图说明
图1为本发明实施例的一种病灶分割模型训练方法的流程示意图；
图2为本发明实施例的一种病灶分割模型训练方法的过程示意图；
图3为本发明实施例的基模型的网络结构示意图；
图4为本发明实施例的一种病灶分割方法的流程示意图；
图5为本发明实施例的一种病灶分割模型训练装置的结构示意图；
图6为本发明实施例的一种病灶分割装置的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。虽然附图中显示了本发明的某些实施例，然而应当理解的是，本发明可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本发明。应当理解的是，本发明的附图及实施例仅用于示例性作用，并非用于限制本发明的保护范围。
应当理解，本发明的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本发明的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”；术语“可选地”表示“可选的实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本发明中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本发明中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本发明实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
现有技术中，分割模型的精度高度依赖于训练集的精度，训练集中的医学影像由医生等进行病灶区域标注，但是，由于医学影像中病变区域的边界通常是模糊的，即使是具有专业知识和丰富临床的医学专家，不同的医学专家对于同一医学影像中病变区域的标注也可能存在一定的差异，例如，有研究表明三名训练有素的标注者(两名放射科医生和一名放射治疗师)，在间隔约一周的时间里勾画同样腹部CT图像中的肝脏病变两次，标注者间勾画区域的差异达到了20％。当一组标注者分别得到的标注存在差异时，则需要多位标注者进行研讨以得到较为统一的标注。但是，这种方式需要多位标注者分别进行标注以及研讨，会耗费大量的人力物力，且效率较低。
如图1和图2所示，针对上述现有技术存在的问题，本发明实施例提供的一种病灶分割模型训练方法，包括：
步骤S110，获取多张带标注的医学影像。
具体地，医学影像可包括MRI影像、CT影像和PET(positron emissiontomography，正电子发射断层)影像等，可由医学专家等专业人员对医学影像中各个像素点进行标注(即标签)，像素点属于病灶时的标签可为1，像素点属于正常组织时的标签可为0。
步骤S120，将所述带标注的医学影像输入训练好的图像分割模型，确定所述带标注的医学影像中各个像素点的不确定性值。
具体地，图像分割模型可采用Dropout U-net模型，Dropout U-net模型包括对输出进行蒙特卡洛随机失活处理的贝叶斯U-Net网络，在U-Net中添加Dropout层即可得到贝叶斯U-Net网络，可预先采用标注的医学影像训练Dropout U-net模型，得到训练好的Dropout U-net模型。医学专家对于医学影像的标注给出的是二进制(0或1)的标注结果，但是病灶区域边界等模糊区域其实难以判断具体为病灶还是正常组织，因此病灶边界区域像素点的标注结果存在着不确定性。
采用训练好的Dropout U-net模型来估计带标注的医学影像中各个像素点的不确定性，确定各个像素点的不确定性值，不确定性值可处于0至1之间，用于表征对应像素点标注的不确定性的大小。可将各个像素点以对应的不确定性值表示，生成不确定性热图，可以看到不确定性值大的像素点主要分布在病灶区域边界等模糊的、不确定性高的区域。
步骤S130，根据各个所述像素点的所述不确定性值构建多个二进制掩膜，根据所述二进制掩膜确定对应的基模型的损失函数，其中，所述二进制掩膜与所述基模型一一对应。
具体地，二进制掩膜包括各个像素点的掩码值，掩码值为0或1。不同的二进制掩膜可用于表征不同的标注者(医学专家)对于同一医学影像的标注差异性，训练基模型时二进制掩膜能够决定哪些像素点用于计算损失函数，不同的二进制掩膜对应的损失函数的计算存在差异性，使得不同的二进制掩膜对应不同的监督信息，能够使训练得到的多个基模型具有不同的特性，以优化模型训练。
步骤S140，基于集成学习算法和所述损失函数，采用所述带标注的医学影像对多个所述基模型进行训练，获得病灶分割模型。
具体地，基于集成学习算法，采用多个带标注的医学影像组成的训练集对多个基模型进行训练。集成学习算法为现有技术，在此不再赘述。病灶分割任务可看作对医学影像中各个像素点的分类，其预测各个像素点属于各个类别的概率，各个类别的概率之和为1。基模型可采用U-Net模型，其具体结构如图3所示。
训练结束后，还可采用多个带标注的医学影像组成的测试集对训练好的病灶分割模型进行测试。
示例性地，将带标注的医学影像分别输入多个基模型，每个基模型输出待标注的医学影像中各个像素点属于病灶的概率，对每个基模型输出的概率进行融合就可得到分割结果，每个基模型采用对应的损失函数和预测的概率计算损失值，以优化对应的基模型，训练好的所有基模型组成病灶分割模型。
本实施例中，获取多张带标注的医学影像作为训练集，带标注的医学影像包括各个像素点的标签。将带标注的医学影像输入预先训练好的图像分割模型，以确定带标注的医学影像中各个像素点的不确定性值，该不确定性值用于表征对应像素点的标签的不确定性。根据各个像素点的不确定性值构建多个二进制掩膜，不同的二进制掩膜能够表征不同标注者对于同一医学影像的标注差异性，根据不同的二进制掩膜分别确定各个基模型的损失函数，基于该损失函数训练各个基模型时，能够使各个基模型分别学习不同标注者对于同一医学影像的标注标准。并且，通过集成学习算法融合各个基模型，得到病灶分割模型。
相较于现有技术中采用单个标注者标注的医学影像直接训练分割模型，本发明综合考虑了不同标注者对于同一医学影像评估的多样性，能够避免采用单一样本训练模型导致的过拟合，有效提高了训练得到的病灶分割模型预测病灶区域的准确性。
并且，相较于现有技术中由多位标注者分别进行标注以及研讨，确定医学影像的标注，以训练分割模型，本发明采用单个标注者标注的医学影像，通过构建不同的二进制掩膜，以表征不同标注者对于同一医学影像的标注差异性，并且根据不同的二进制掩膜分别确定各个基模型的损失函数，训练并融合各个基模型，不需要多位标注者进行标注和研讨，有效节省了人力物力，提高了模型训练效率。
可选地，还可采用随机翻转、随机旋转、随机镜像和随机缩放等至少一种数据增强技术对带标注的医学影像进行预处理，以避免训练得到的模型过拟合。
可选地，模型训练可采用Pytorch库实现，Adam优化器作为优化器。基模型采用由随机高斯分布初始化的卷积网络2D U-Net的架构。模型训练时学习率设置而且0.0001，batch size设置为4，patchsize设置为192×192。在推理阶段，可采用50％的重叠滑动窗口技术预测分割概率图。
可选地，所述根据各个所述像素点的所述不确定性值构建多个二进制掩膜包括：
执行掩膜生成步骤，所述掩膜生成步骤包括：将各个所述像素点的所述不确定性值分别与预设阈值进行对比，根据对比结果构建所述二进制掩膜；
更换所述预设阈值，重复执行所述掩膜生成步骤多次，生成多个所述二进制掩膜。
具体地，预设阈值位于0至1之间，设置多个预设阈值，即图2中的参数λ，预设阈值的数量可与基模型的数量相同。对于任意一个预设阈值，将各个像素点的不确定性值分别与该预设阈值进行对比，根据对比结果将各个不确定性值二值化处理，确定各个像素点的掩码值，即将像素点采用0或1表示，将各个像素点以对应的掩码值表示，就可得到一个二进制掩膜。采用多个预设阈值重复上述过程，就可得到多个二进制掩膜。
本可选的实施例中，不同的预设阈值可表征不同标注者对于同一医学影像不同的标注标准，例如预设阈值为0.9可表示对应标注者对于不确定性的评估标准较低，预设阈值为0.1可表示对应标注者对于不确定性的评估标准较高。通过设置不同的预设阈值生成不同的二进制掩膜，不同的二进制掩膜存在差异性，以表征不同标注者对同一医学影像进行标注存在的差异性，根据不同的二进制掩膜确定损失函数不同，使得不同训练得到的基模型存在差异性，实现监督增广。训练好的各个基模型组成的病灶分割模型应用时，能够充分考虑不同标注者对于同一医学影像中病灶定位的差异性，通过集成学习算法融合各个基模型的预测结果，以提高病灶分割模型的预测准确性。
可选地，所述根据对比结果构建所述二进制掩膜包括：
将所述不确定性值大于所述预设阈值的所述像素点的掩码值设置为0，将所述不确定性值小于或等于所述预设阈值的所述像素点的掩码值设置为1；
组合各个所述像素点的所述掩码值，生成所述二进制掩膜。
具体地，掩码值可用于表征对应的像素点是否参与计算损失函数，其中，掩码值为0表示对应的像素点不参与计算损失函数，掩码值为1表示对应的像素点参与计算损失函数。
本可选的实施例中，通过不同的二进制掩膜实现不同基模型的损失函数之间的差异性，以表征不同标注者对于同一医学影像的标注差异性，在训练的基模型中创建足够多的多样性，多个训练好的基模型组成病灶分割模型，避免单个基模型的过拟合，提高了预测准确性。
可选地，所述根据所述二进制掩膜确定对应的基模型的损失函数包括：
将所述二进制掩膜与交叉熵损失相结合，确定对应的所述基模型的所述损失函数。
可选地，所述损失函数采用下述公式表示：
其中，表示损失值，N表示所述带标注的医学影像的数量，M表示每张所述带标注的医学影像中所述像素点的数量，C表示分割类别的数量，n表示任一带标注的医学影像，即任一样本，m表示带标注的医学影像中的任一像素点，Mask(xn，m)表示第n张所述带标注的医学影像中第m个所述像素点对应的掩码值，yn，m表示符号函数(取值为0或1)，若第n张所述带标注的医学影像中第m个所述像素点的真实类别为c取1，否则取0；/>表示第n张所述带标注的医学影像中第m个所述像素点属于类别c的预测概率。
如图4所示，本发明实施例提供的一种病灶分割方法，包括：
步骤S210，获取待处理的医学影像。
具体地，可为通过MRI检查、CT检查和PET检查等获取的医学影像。
可以理解的是，本发明中涉及到的任何关于数据获取或采集的部分，均为在用户授权的情况下获取或采集的。
步骤S220，将所述待处理的医学影像输入训练好的病灶分割模型，确定所述待处理的医学影像中病灶区域的分割结果。
其中，所述训练好的病灶分割模型采用如上所述的病灶分割模型训练方法训练得到。
本实施例中，将待处理的医学影像输入采用上述病灶分割模型训练方法训练得到的病灶分割模型，由于该病灶分割模型融合多个训练好的基模型，而各个基模型分别学习了不同标注者对于同一医学影像评估的多样性，使得该病灶分割模型确定的病灶区域分割结果，综合考虑了不同的评估标准，相较于现有技术中采用单个标注者标注的医学影像训练的分割模型进行预测，有效提高了病灶区域的预测准确性。
可选地，所述训练好的病灶分割模型包括多个训练好的基模型；
所述将所述待处理的医学影像输入训练好的病灶分割模型，确定所述待处理的医学影像中的病灶区域包括：
将所述待处理的医学影像分别输入各个所述训练好的基模型，获得各个所述训练好的基模型分别输出的分割概率图，所述分割概率图包括所述待处理的医学影像中各个像素点属于病灶区域的预测概率；
根据各个所述分割概率图确定各个所述像素点的预测概率平均值，获得所述分割结果。
具体地，各个训练好的基模型分别对待处理的医学影像进行处理，每个基模型均输出一张分割概率图。对于待处理的医学影像中的任一像素点，对各个基模型输出的分割概率图中该像素点的预测概率求平均值，得到该像素点的预测概率平均值，具体可采用如下公式表示：
其中，表示该像素点的预测概率平均值，K表示训练好的基模型的数量，即分割概率图的数量，k表示任一分割概率图，pk表示分割概率图k中该像素点的预测概率。
将各个像素点以对应的预测概率平均值表示，就可得到分割结果，其与训练阶段得到分割结果的过程相同。
本可选的实施例中，通过多个训练好的基模型分别对待处理的医学影像进行病灶区域预测，各个训练好的基模型是考虑不同标注者对于同一医学影像的标注差异性训练得到的，各个基模型分别学习了不同标注者(医学专家)对于同一医学影像的判断标准，具有多样性。将各个训练好的基模型输出的预测结果相融合，综合各种判断标准得出的预测结果，提高了预测准确性。
可选地，所述获得各个所述训练好的基模型分别输出的分割概率图之后还包括：
根据各个所述分割概率图确定各个所述像素点的所述预测概率的方差，确定所述像素点的预测不确定性。
具体地，对于待处理的医学影像中的任一像素点，对各个基模型输出的分割概率图中该像素点的预测概率求方差Var(pk)，pk表示分割概率图k中该像素点的预测概率,得到该像素点的预测不确定性。
本可选的实施例中，可将各个像素点用对应的预测不确定性表示，生成不确定性图。通过对待处理的医学影像分割结果的不确定性进行量化，便于术前规划阶段提示医生对待处理的医学影像中病灶区域边界等模糊区域进行校正，以提高术前规划的准确性，医生能够更多地关注病灶分割中具有高不确定性的区域(如较为模糊的边界、较难分割的区域)，而对于不确定性较低的区域(如脑胶质瘤核心区)无需投入额外精力，从而减轻医生负担，提高术前规划效率。
可选地，所述根据各个所述分割概率图确定各个所述像素点的所述预测概率的平均值之后还包括：
根据所述待处理的医学影像中各个前景像素的所述预测概率平均值确定平均概率；
将所述平均概率除以所述前景像素的数量，获得各个所述前景像素组成的切片的预测不确定性。
具体地，可采用轮廓提取算法等确定待处理的医学影像中的前景像素，前景像素指病灶区域的像素，例如医学影像中胶质瘤区域的像素点。对各个前景像素的预测概率平均值求平均值，得到平均概率，将平均概率除以前景像素的数量得到的值表示该切片的预测不确定性，该预测不确定性的值应该接近1。能够实现对切片级的预测不确定性进行评价，根据切片的预测不确定性进行术前规划，能够提高术前规划的效率。
需要说明的是，本发明的病灶分割方法适用于采用MRI、CT、PET等多种模态医学影像进行术前规划，适用于垂体瘤、脑胶质瘤、癫痫等多种神经系统病灶类型的颅脑影像术前规划。
如图5所示，本发明实施例提供的一种病灶分割模型训练装置，包括：
第一获取模块，用于获取多张带标注的医学影像；
评估模块，用于将所述带标注的医学影像输入训练好的图像分割模型，确定所述带标注的医学影像中各个像素点的不确定性值；
构建模块，用于根据各个所述像素点的所述不确定性值构建多个二进制掩膜，根据所述二进制掩膜确定对应的基模型的损失函数，其中，所述二进制掩膜与所述基模型一一对应；
训练模块，用于基于集成学习算法和所述损失函数，采用所述带标注的医学影像对多个所述基模型进行训练，获得病灶分割模型。
可选地，所述构建模块具体用于：执行掩膜生成步骤，所述掩膜生成步骤包括：将各个所述像素点的所述不确定性值分别与预设阈值进行对比，根据对比结果构建所述二进制掩膜；更换所述预设阈值，重复执行所述掩膜生成步骤多次，生成多个所述二进制掩膜。
可选地，所述构建模块具体用于：将所述不确定性值大于所述预设阈值的所述像素点的掩码值设置为0，将所述不确定性值小于或等于所述预设阈值的所述像素点的掩码值设置为1；组合各个所述像素点的所述掩码值，生成所述二进制掩膜。
可选地，所述构建模块还用于：将所述二进制掩膜与交叉熵损失相结合，确定对应的所述基模型的所述损失函数。
可选地，所述损失函数采用下述公式表示：
其中，表示损失值，N表示所述带标注的医学影像的数量，M表示每张所述带标注的医学影像中所述像素点的数量，C表示分割类别的数量，Mask(xn，m)表示第n张所述带标注的医学影像中第m个所述像素点对应的掩码值，yn，m表示符号函数，/>表示第n张所述带标注的医学影像中第m个所述像素点属于类别c的预测概率。
如图6所示，本发明实施例提供的一种病灶分割装置，包括：
第二获取模块，用于获取待处理的医学影像；
分割模块，用于将所述待处理的医学影像输入训练好的病灶分割模型，确定所述待处理的医学影像中病灶区域的分割结果；
其中，所述训练好的病灶分割模型采用如上所述的病灶分割模型训练方法训练得到。
可选地，所述训练好的病灶分割模型包括多个训练好的基模型；所述分割模块用于：将所述待处理的医学影像分别输入各个所述训练好的基模型，获得各个所述训练好的基模型分别输出的分割概率图，所述分割概率图包括所述待处理的医学影像中各个像素点属于病灶区域的预测概率；根据各个所述分割概率图确定各个所述像素点的预测概率平均值，获得所述分割结果。
可选地，还包括预测模块，所述预测模块用于：根据各个所述分割概率图确定各个所述像素点的所述预测概率的方差，确定所述像素点的预测不确定性。
可选地，所述预测模块还用于：根据所述待处理的医学影像中各个前景像素的所述预测概率平均值确定平均概率；将所述平均概率除以所述前景像素的数量，获得各个所述前景像素组成的切片的预测不确定性。
本发明实施例提供的一种电子设备，包括存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，用于当执行所述计算机程序时，实现如上所述的病灶分割模型训练方法，或如上所述的病灶分割方法。
现将描述可以作为本发明的服务器或客户端的电子设备，其是可以应用于本发明的各方面的硬件设备的示例。电子设备旨在表示各种形式的数字电子的计算机设备，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
电子设备包括计算单元，其可以根据存储在只读存储器(ROM)中的计算机程序或者从存储单元加载到随机访问存储器(RAM)中的计算机程序，来执行各种适当的动作和处理。在RAM中，还可存储设备操作所需的各种程序和数据。计算单元、ROM以及RAM通过总线彼此相连。输入/输出(I/O)接口也连接至总线。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。在本申请中，所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
虽然本发明公开披露如上，但本发明公开的保护范围并非仅限于此。本领域技术人员在不脱离本发明公开的精神和范围的前提下，可进行各种变更与修改，这些变更与修改均将落入本发明的保护范围。

Claims (10)

1.一种病灶分割模型训练方法，其特征在于，包括：
获取多张带标注的医学影像；
将所述带标注的医学影像输入训练好的图像分割模型，确定所述带标注的医学影像中各个像素点的不确定性值；
根据各个所述像素点的所述不确定性值构建多个二进制掩膜，根据所述二进制掩膜确定对应的基模型的损失函数，其中，所述二进制掩膜与所述基模型一一对应；
基于集成学习算法和所述损失函数，采用所述带标注的医学影像对多个所述基模型进行训练，获得病灶分割模型。
2.根据权利要求1所述的病灶分割模型训练方法，其特征在于，所述根据各个所述像素点的所述不确定性值构建多个二进制掩膜包括：
执行掩膜生成步骤，所述掩膜生成步骤包括：将各个所述像素点的所述不确定性值分别与预设阈值进行对比，根据对比结果构建所述二进制掩膜；
更换所述预设阈值，重复执行所述掩膜生成步骤多次，生成多个所述二进制掩膜。
3.根据权利要求2所述的病灶分割模型训练方法，其特征在于，所述根据对比结果构建所述二进制掩膜包括：
将所述不确定性值大于所述预设阈值的所述像素点的掩码值设置为0，将所述不确定性值小于或等于所述预设阈值的所述像素点的掩码值设置为1；
组合各个所述像素点的所述掩码值，生成所述二进制掩膜。
4.根据权利要求1至3任一项所述的病灶分割模型训练方法，其特征在于，所述根据所述二进制掩膜确定对应的基模型的损失函数包括：
将所述二进制掩膜与交叉熵损失相结合，确定对应的所述基模型的所述损失函数。
5.根据权利要求4所述的病灶分割模型训练方法，其特征在于，所述损失函数采用下述公式表示：
其中，表示损失值，N表示所述带标注的医学影像的数量，M表示每张所述带标注的医学影像中所述像素点的数量，C表示分割类别的数量，Mask(xn，m)表示第n张所述带标注的医学影像中第m个所述像素点对应的掩码值，yn，m表示符号函数，/>表示第n张所述带标注的医学影像中第m个所述像素点属于类别c的预测概率。
6.一种病灶分割方法，其特征在于，包括：
获取待处理的医学影像；
将所述待处理的医学影像输入训练好的病灶分割模型，确定所述待处理的医学影像中病灶区域的分割结果；
其中，所述训练好的病灶分割模型采用如权利要求1至5任一项所述的病灶分割模型训练方法训练得到。
7.根据权利要求6所述的病灶分割方法，其特征在于，所述训练好的病灶分割模型包括多个训练好的基模型；
所述将所述待处理的医学影像输入训练好的病灶分割模型，确定所述待处理的医学影像中的病灶区域包括：
将所述待处理的医学影像分别输入各个所述训练好的基模型，获得各个所述训练好的基模型分别输出的分割概率图，所述分割概率图包括所述待处理的医学影像中各个像素点属于病灶区域的预测概率；
根据各个所述分割概率图确定各个所述像素点的预测概率平均值，获得所述分割结果。
8.根据权利要求7所述的病灶分割方法，其特征在于，所述获得各个所述训练好的基模型分别输出的分割概率图之后还包括：
根据各个所述分割概率图确定各个所述像素点的所述预测概率的方差，确定所述像素点的预测不确定性；
和/或，所述根据各个所述分割概率图确定各个所述像素点的所述预测概率的平均值之后还包括：根据所述待处理的医学影像中各个前景像素的所述预测概率平均值确定平均概率，将所述平均概率除以所述前景像素的数量，获得各个所述前景像素组成的切片的预测不确定性。
9.一种病灶分割模型训练装置，其特征在于，包括：
第一获取模块，用于获取多张带标注的医学影像；
评估模块，用于将所述带标注的医学影像输入训练好的图像分割模型，确定所述带标注的医学影像中各个像素点的不确定性值；
构建模块，用于根据各个所述像素点的所述不确定性值构建多个二进制掩膜，根据所述二进制掩膜确定对应的基模型的损失函数，其中，所述二进制掩膜与所述基模型一一对应；
训练模块，用于基于集成学习算法和所述损失函数，采用所述带标注的医学影像对多个所述基模型进行训练，获得病灶分割模型。
10.一种病灶分割装置，其特征在于，包括：
第二获取模块，用于获取待处理的医学影像；
分割模块，用于将所述待处理的医学影像输入训练好的病灶分割模型，确定所述待处理的医学影像中病灶区域的分割结果；
其中，所述训练好的病灶分割模型采用如权利要求1至5任一项所述的病灶分割模型训练方法训练得到。
CN202310293073.3A 2023-03-17 2023-03-17 病灶分割模型训练方法、病灶分割方法及装置 Active CN116486196B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310293073.3A CN116486196B (zh) 2023-03-17 2023-03-17 病灶分割模型训练方法、病灶分割方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310293073.3A CN116486196B (zh) 2023-03-17 2023-03-17 病灶分割模型训练方法、病灶分割方法及装置

Publications (2)

Publication Number Publication Date
CN116486196A true CN116486196A (zh) 2023-07-25
CN116486196B CN116486196B (zh) 2024-01-23

Family

ID=87216171

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310293073.3A Active CN116486196B (zh) 2023-03-17 2023-03-17 病灶分割模型训练方法、病灶分割方法及装置

Country Status (1)

Country Link
CN (1) CN116486196B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109712111A (zh) * 2018-11-22 2019-05-03 平安科技（深圳）有限公司 一种皮肤癌种类识别方法、系统、计算机设备和存储介质
WO2021189855A1 (zh) * 2020-09-22 2021-09-30 平安科技（深圳）有限公司 基于ct序列的图像识别方法、装置、电子设备及介质
CN114494230A (zh) * 2022-02-14 2022-05-13 北京航空航天大学杭州创新研究院 乳腺病灶分割装置、模型训练方法及电子设备
CN114503159A (zh) * 2019-08-14 2022-05-13 豪夫迈·罗氏有限公司 通过对象检测定位的医学图像的三维对象分割
CN114723760A (zh) * 2022-05-19 2022-07-08 北京世纪好未来教育科技有限公司 人像分割模型的训练方法、装置及人像分割方法、装置
CN114913183A (zh) * 2021-02-07 2022-08-16 上海交通大学 基于约束的图像分割方法、系统、装置和介质
CN115147303A (zh) * 2022-06-30 2022-10-04 首都医科大学附属北京世纪坛医院 一种基于掩膜引导的二维超声医学图像修复方法
CN115294086A (zh) * 2022-08-17 2022-11-04 上海交通大学 医学影像分割方法、分割模型训练方法、介质及电子设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109712111A (zh) * 2018-11-22 2019-05-03 平安科技（深圳）有限公司 一种皮肤癌种类识别方法、系统、计算机设备和存储介质
CN114503159A (zh) * 2019-08-14 2022-05-13 豪夫迈·罗氏有限公司 通过对象检测定位的医学图像的三维对象分割
WO2021189855A1 (zh) * 2020-09-22 2021-09-30 平安科技（深圳）有限公司 基于ct序列的图像识别方法、装置、电子设备及介质
CN114913183A (zh) * 2021-02-07 2022-08-16 上海交通大学 基于约束的图像分割方法、系统、装置和介质
CN114494230A (zh) * 2022-02-14 2022-05-13 北京航空航天大学杭州创新研究院 乳腺病灶分割装置、模型训练方法及电子设备
CN114723760A (zh) * 2022-05-19 2022-07-08 北京世纪好未来教育科技有限公司 人像分割模型的训练方法、装置及人像分割方法、装置
CN115147303A (zh) * 2022-06-30 2022-10-04 首都医科大学附属北京世纪坛医院 一种基于掩膜引导的二维超声医学图像修复方法
CN115294086A (zh) * 2022-08-17 2022-11-04 上海交通大学 医学影像分割方法、分割模型训练方法、介质及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郜峰利;陶敏;李雪妍;何昕;杨帆;王卓;宋俊峰;佟丹;: "基于深度学习的CT影像脑卒中精准分割", 吉林大学学报(工学版), no. 02 *

Also Published As

Publication number Publication date
CN116486196B (zh) 2024-01-23

Similar Documents

Publication Publication Date Title
CN110245721B (zh) 神经网络模型的训练方法、装置和电子设备
Jaiswal et al. Identifying pneumonia in chest X-rays: A deep learning approach
CN114467146A (zh) 用于对部署机构中的人工智能模型进行专业化的训练方法以及用于对人工智能模型进行训练的装置
CN113168912B (zh) 使用深度学习确定3d数据集中对象的增长速度
CN112365980A (zh) 脑肿瘤多靶点辅助诊断与前瞻性治疗演化可视化方法及系统
Li et al. Superpixel-guided iterative learning from noisy labels for medical image segmentation
Aslantas et al. CADBOSS: A computer-aided diagnosis system for whole-body bone scintigraphy scans
Seo et al. Deep neural network with consistency regularization of multi-output channels for improved tumor detection and delineation
Wang et al. Medical matting: a new perspective on medical segmentation with uncertainty
Lyu et al. Learning from synthetic ct images via test-time training for liver tumor segmentation
CN114266896A (zh) 图像标注方法、模型训练方法及装置、电子设备、介质
Ryalat et al. Harris hawks optimization for COVID-19 diagnosis based on multi-threshold image segmentation
Li et al. A hybrid approach for approximating the ideal observer for joint signal detection and estimation tasks by use of supervised learning and markov-chain monte carlo methods
Liu et al. AHU-MultiNet: adaptive loss balancing based on homoscedastic uncertainty in multi-task medical image segmentation network
Hann et al. Ensemble of deep convolutional neural networks with monte carlo dropout sampling for automated image segmentation quality control and robust deep learning using small datasets
CN112990374B (zh) 图像分类方法、装置、电子设备及介质
Liao et al. Modeling annotator preference and stochastic annotation error for medical image segmentation
Tempelaere et al. Synthetic data for X-ray CT of healthy and disordered pear fruit using deep learning
CN115803751A (zh) 训练模型用于对医学数据执行任务
CN116486196B (zh) 病灶分割模型训练方法、病灶分割方法及装置
Bukas et al. Patient-specific virtual spine straightening and vertebra inpainting: an automatic framework for osteoplasty planning
CN113159202B (zh) 图像分类方法、装置、电子设备及存储介质
EP4195148A1 (en) Selecting training data for annotation
Wang et al. Adaptive solitary pulmonary nodule segmentation for digital radiography images based on random walks and sequential filter
Zeng et al. Weakly supervised learning of recurrent residual convnets for pancreas segmentation in ct scans

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant