CN115131333B - 基于实例不确定性的图像检测及分割的方法和装置 - Google Patents

基于实例不确定性的图像检测及分割的方法和装置 Download PDF

Info

Publication number
CN115131333B
CN115131333B CN202210862288.8A CN202210862288A CN115131333B CN 115131333 B CN115131333 B CN 115131333B CN 202210862288 A CN202210862288 A CN 202210862288A CN 115131333 B CN115131333 B CN 115131333B
Authority
CN
China
Prior art keywords
segmentation
pixel
candidate target
instance
uncertainty
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210862288.8A
Other languages
English (en)
Other versions
CN115131333A (zh
Inventor
吕行
邝英兰
黄仁斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Hengqin Shengao Yunzhi Technology Co ltd
Original Assignee
Zhuhai Hengqin Shengao Yunzhi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Hengqin Shengao Yunzhi Technology Co ltd filed Critical Zhuhai Hengqin Shengao Yunzhi Technology Co ltd
Priority to CN202210862288.8A priority Critical patent/CN115131333B/zh
Publication of CN115131333A publication Critical patent/CN115131333A/zh
Application granted granted Critical
Publication of CN115131333B publication Critical patent/CN115131333B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明提供一种基于实例不确定性的图像检测及分割的方法和装置，其中方法包括：基于多个优选实例分割模型，分别对待分割医学影像进行实例分割，得到多个优选分割结果；基于多个优选分割结果，确定待分割医学影像的实例分割结果以及实例分割结果中每一像素的分割不确定度；分割不确定度是基于不同模型预测对应像素为目标像素的概率分布确定的；检测实例分割结果中的多个候选目标实例，并基于实例分割结果中每一像素的分割不确定度，确定多个候选目标实例的分割不确定向量；基于多个候选目标实例的分割不确定向量，滤除多个候选目标实例中的假阳实例，得到待分割医学影像的图像分割结果。本发明提升了目标检测的精度，降低了图像分割结果的假阳率。

Description

基于实例不确定性的图像检测及分割的方法和装置
技术领域
本发明涉及图像分割技术领域，尤其涉及一种基于实例不确定性的图像检测及分割的方法和装置。
背景技术
随着人工智能技术的迅猛发展，基于人工智能技术的图像分割方案被更多地应用于医学领域，以对各类医学影像(如CT影像、Dicom影像等)进行感兴趣区域(Region OfInterest，ROI)的分割，从而可以基于图像分割得到的感兴趣区域进行进一步处理，例如基于分割得到的人体组织、器官(如气管、血管等)子图像进行可视化处理，以便于教学或是便于患者看懂医学影像等；又例如可以基于分割得到的感兴趣区域进行尺寸、形状等数据统计，以供进行大数据分析等。
为了分割出医学影像中的感兴趣区域，多采用深度神经网络模型进行目标检测。然而，由于感兴趣区域以及背景区域在医学影像中具有类似的影像学特征，深度神经网络模型在推理过程中常常将此类背景区域中的部分区域错误的检测为感兴趣区域，导致模型的输出结果呈现假阳率高的特点。为了提升医学影像分割的准确性，需要降低感兴趣区域检测的假阳率。
目前，降低感兴趣区域检测假阳率的常规手段包括：后处理过程中，通过精确分割医学影像中包含的各类非感兴趣区域，将检测出的感兴趣区域的空间信息与分割结果进行校验对比，如果模型输出的某感兴趣区域的位置与上述非感兴趣区域的分割结果重叠，则认为该感兴趣区域为假阳，将其删除；或者，增加图像检测训练集的规模，提升模型检测的结果。然而，上述方法中，检测结果依赖于非感兴趣区域分割的精度，如果该模型将感兴趣区域错误的分割为非感兴趣区域，则会降低图像检测结果灵敏度；而通过增加训练集规模提升检测精度的方式，由于数据集的获取和标注代价十分昂贵，因此会大幅增加训练成本，训练效率较低。
发明内容
本发明提供一种基于实例不确定性的图像检测及分割的方法和装置，用以解决现有技术中模型检测精度提升效果欠佳的缺陷。
本发明提供一种基于实例不确定性的图像检测及分割的方法，包括：
基于多个优选实例分割模型，分别对待分割医学影像进行实例分割，得到多个优选分割结果；所述优选分割结果中包含对应模型预测的所述待分割医学影像中每一像素为目标像素的概率；
基于所述多个优选分割结果，确定所述待分割医学影像的实例分割结果以及所述实例分割结果中每一像素的分割不确定度；所述分割不确定度是基于不同模型预测对应像素为目标像素的概率分布确定的；
检测所述实例分割结果中的多个候选目标实例，并基于所述实例分割结果中每一像素的分割不确定度，确定所述多个候选目标实例的分割不确定向量；
基于所述多个候选目标实例的分割不确定向量，滤除所述多个候选目标实例中的假阳实例，得到所述待分割医学影像的图像分割结果。
根据本发明提供的一种基于实例不确定性的图像检测及分割的方法，所述基于所述实例分割结果中每一像素的分割不确定度，确定所述多个候选目标实例的分割不确定向量，具体包括：
基于任一候选目标实例中每一像素在所述任一候选目标实例中的位置，确定所述任一候选目标实例中每一像素对应的权重系数；其中，所述任一候选目标实例中的任一像素越靠近所述任一候选目标实例的边缘，所述任一像素对应的权重系数越高；
基于所述任一候选目标实例中每一像素的分割不确定度和对应的权重系数，确定所述任一候选目标实例的分割不确定向量。
根据本发明提供的一种基于实例不确定性的图像检测及分割的方法，所述基于任一候选目标实例中每一像素在所述任一候选目标实例中的位置，确定所述任一候选目标实例中每一像素对应的权重系数，具体包括：
获取所述任一候选目标实例的实例重心，并基于所述任一候选目标实例中每一像素与所述任一候选目标实例的实例重心之间的距离，确定所述任一候选目标实例中每一像素对应的权重系数；其中，所述任一候选目标实例中任一像素与所述实例重心之间的距离越大，所述任一像素对应的权重系数越高；
或者，获取所述任一候选目标实例的实例表面，并基于所述任一候选目标实例中每一像素与所述任一候选目标实例的实例表面之间的距离，确定所述任一候选目标实例中每一像素对应的权重系数；其中，所述任一候选目标实例中任一像素与所述实例表面之间的距离越小，所述任一像素对应的权重系数越高。
根据本发明提供的一种基于实例不确定性的图像检测及分割的方法，所述基于所述实例分割结果中每一像素的分割不确定度，确定所述多个候选目标实例的分割不确定向量，具体包括：
基于所述待分割医学影像的实例分割结果以及所述实例分割结果中每一像素的分割不确定度，确定所述实例分割结果对应的不确定度分布图；
分别以所述多个候选目标实例的质心为中心，基于所述多个候选目标实例在各轴上对应的切割尺寸，对所述实例分割结果对应的不确定度分布图进行切割，得到所述多个候选目标实例的分割不确定向量；其中，任一候选目标实例在任一轴上对应的切割尺寸与所述任一候选目标实例在所述任一轴上的实例尺寸相匹配。
根据本发明提供的一种基于实例不确定性的图像检测及分割的方法，所述基于所述多个候选目标实例的分割不确定向量，滤除所述多个候选目标实例中的假阳实例，具体包括：
基于任一候选目标实例的实例尺寸，确定所述任一候选目标实例所属的实例尺寸分段；
基于所述任一候选目标实例所属的实例尺寸分段对应的假阳检测模型，对所述任一候选目标实例的分割不确定向量进行假阳检测，学习所述任一候选目标实例中各个像素的分割不确定度在假阳检测时的权重，得到所述任一候选目标实例的假阳检测结果；
若所述任一候选目标实例的假阳检测结果指示所述任一候选目标实例为假阳实例，则将所述任一候选目标实例滤除；
其中，任一实例尺寸分段对应的假阳检测模型是基于实例尺寸属于所述任一实例尺寸分段的样本目标实例的样本分割不确定向量以及所述样本目标实例的假阳标签训练得到的。
根据本发明提供的一种基于实例不确定性的图像检测及分割的方法，所述多个优选实例分割模型的输出层中包含随机掩蔽层，且所述多个优先实例分割模型在进行实例分割时，所述随机掩蔽层处于开启状态；
所述基于所述多个优选分割结果，确定所述待分割医学影像的实例分割结果以及所述实例分割结果中每一像素的分割不确定度，具体包括：
对所述多个优选分割结果中所述待分割医学影像中每一像素为目标像素的概率进行融合，得到所述待分割医学影像中每一像素为目标像素的融合概率；
基于预设分割阈值以及所述待分割医学影像中每一像素为目标像素的融合概率，确定所述实例分割结果；其中，若任一像素为目标像素的融合概率大于等于所述预设分割阈值，则将所述任一像素的像素值置1，否则，将所述任一像素的像素值置0；
基于所述多个优选分割结果中对应同一像素的概率之间的概率分布，确定所述同一像素的分割不确定度。
根据本发明提供的一种基于实例不确定性的图像检测及分割的方法，所述预设分割阈值是基于如下步骤确定的：
基于多个样本医学影像以及所述多个样本医学影像的目标标注结果，计算不同候选分割阈值下所述多个样本医学影像的实例分割结果的目标检测灵敏度；
确定最高目标检测灵敏度对应的候选分割阈值，作为所述预设分割阈值。
本发明还提供一种基于实例不确定性的图像检测及分割的装置，包括：
实例分割单元，用于基于多个优选实例分割模型，分别对待分割医学影像进行实例分割，得到多个优选分割结果；所述优选分割结果中包含对应模型预测的所述待分割医学影像中每一像素为目标像素的概率；
像素分割不确定度获取单元，用于基于所述多个优选分割结果，确定所述待分割医学影像的实例分割结果以及所述实例分割结果中每一像素的分割不确定度；所述分割不确定度是基于不同模型预测对应像素为目标像素的概率分布确定的；
实例不确定性获取单元，用于检测所述实例分割结果中的多个候选目标实例，并基于所述实例分割结果中每一像素的分割不确定度，确定所述多个候选目标实例的分割不确定向量；
假阳实例筛选单元，用于基于所述多个候选目标实例的分割不确定向量，滤除所述多个候选目标实例中的假阳实例，得到所述待分割医学影像的图像分割结果。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于实例不确定性的图像检测及分割的方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于实例不确定性的图像检测及分割的方法的步骤。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于实例不确定性的图像检测及分割的方法的步骤。
本发明提供的基于实例不确定性的图像检测及分割的方法和装置，通过综合多个优选实例分割模型分割得到的优选分割结果，获取更准确的实例分割结果以及每一像素的分割不确定度，其中像素的分割不确定度反映了对应像素图像特征的易混淆性，表征了其为假阳目标像素的可能性；随后，基于候选目标实例内部各像素的分割不确定度，综合考虑各局部区域为假阳的可能性，获取候选目标实例的分割不确定向量，将局部区域分割的不确定性转换为候选目标实例整体区域分割的不确定性，可以避免由于局部细节被忽略而导致遗漏假阳实例，从而提升了假阳实例检测的精度，降低了图像分割结果的假阳率。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的基于实例不确定性的图像检测及分割的方法的流程示意图；
图2是本发明提供的基于实例不确定性的图像检测及分割的装置的结构示意图；
图3是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的基于实例不确定性的图像检测及分割的方法的流程示意图，如图1所示，该方法包括：
步骤110，基于多个优选实例分割模型，分别对待分割医学影像进行实例分割，得到多个优选分割结果；所述优选分割结果中包含对应模型预测的所述待分割医学影像中每一像素为目标像素的概率。
此处，可以预先训练多个结构不同的目标分割模型，通过设置模型组件，如学习率曲线、优化器(如Adam、SGD等)、损失函数(focal loss、diceloss、boundaryloss等)、正则化项(L1、L2等)，以及模型超参数，如训练迭代次数、批训练大小、正则化权重等，对各个目标分割模型进行训练。其中，对于任一目标分割模型，可以通过网格搜索技术(GridSearchCV)，综合对比模型在使用不同组件及超参数时模型在测试集上的表现，确定当前任务下最佳的模型设置，并使用最佳的模型组件及超参数，完成对模型的最终训练。随后，根据各个目标分割模型在测试集上的表现，从中选取多个性能最优的模型作为优选实例分割模型。
训练目标分割模型之前，可以获取目标检测数据集，该数据集中包含样本医学图像及感兴趣区域勾画的标注。将该数据集划分为训练集和测试集，以对各个目标分割模型进行训练和测试。在模型训练之前，还可对样本医学图像进行图像预处理，以降低图像采样时分辨率的不同以及其他组织对模型训练产生的干扰。具体可以通过三维插值算法(如最近邻插值、双线性插值、三次B样条插值等)将数据集中的样本医学图像调整至统一的空间分辨率；并通过目标区域检测，将包含感兴趣区域的大目标(以感兴趣区域为支气管为例，大目标可以是包含支气管的更大范围的区域，例如整个肺部区域)以外的区域像素值置0，从而消除大目标以外的人体组织对模型训练的干扰。需要说明的是，在利用筛选出的优选实例分割模型对待分割医学影像进行实例分割之前，也可以利用上述图像预处理方式对待分割医学影像进行处理。
此外，目标分割模型可以基于U-net、V-net等分割模型构建得到，且各个目标分割模型不限于2D模型或3D模型。其中，若目标分割模型为2D模型，则样本医学图像和待分割医学影像可以选用完整的CT轴位图像；若目标分割模型为3D模型，则样本医学图像和待分割医学影像可以选用从CT图像中随机采样的3D图像块，本发明实施例对此不作具体限定。
随后，基于筛选得到的多个优选实例分割模型，分别对待分割医学影像进行实例分割，得到各个优选实例分割模型对应的优选分割结果。其中，任一优选实例分割模型输出的优选分割结果中包含该模型预测的待分割医学影像中每一像素为目标像素的概率。其中，目标像素是指感兴趣区域内的像素。
步骤120，基于所述多个优选分割结果，确定所述待分割医学影像的实例分割结果以及所述实例分割结果中每一像素的分割不确定度；所述分割不确定度是基于不同模型预测对应像素为目标像素的概率分布确定的。
此处，综合上述多个优选实例分割模型分割得到的优选分割结果，可以确定待分割医学影像的实例分割结果。通过综合不同结构的优选实例分割模型输出的优选分割结果，各个模型输出的优选分割结果可以相互印证，从而提高融合得到的实例分割结果的准确性。其中，实例分割结果中确定为目标像素的像素值可以置为1，确定为非目标像素的像素值置为0。为了尽可能提升实例分割结果的准确性，可以将待分割医学影像输入到同一优选实例分割模型多次。以N个优选实例分割模型为例，假设将待分割医学影像输入到同一优选实例分割模型M次，对于任一像素，可以得到M*N个概率。融合上述M*N个概率，可以确定待分割医学影像的实例分割结果。
另外，基于上述多个优选分割结果，可以确定实例分割结果中每一像素的分割不确定度。其中，可以只确定实例分割结果中被认为是目标像素的分割不确定度，以提升效率。此处，可以基于不同模型预测对应像素为目标像素的概率分布，确定该像素的分割不确定度。其中，可以基于能够反映概率分布的统计量，包括但不限于方差、熵和巴氏系数等，确定任一像素的分割不确定度。
具体而言，对于实例分割结果中的任一像素i，可以获取上述多个优选实例分割模型输出的优选分割结果中包含的该像素i为目标像素的概率p1、p2、…、pM*N。根据上述多个概率之间的概率，可以确定各个优选实例分割模型输出的概率分布情况，包括各个概率落在哪些概率区间，以及在概率区间上分布的疏密情况。由于每个优选实例分割模型预测的概率可以体现对应模型对该像素进行分类时的置信程度(概率越接近分类阈值，如0.5，置信程度可以认为越低)，而不同优选实例分割模型对同一像素进行分类时的置信程度是不同的，因此根据各个优选实例分割模型输出的概率在各个概率区间上的分布情况，可以确定上述多个优选实例分割模型对于该像素整体上的分割不确定度，以表征多个优选实例分割模型整体而言对于该像素类型的置信程度。其中，任一像素对应的各个概率所处的概率区间之间差异越大，处于分类阈值附近的概率区间的概率越多，则任一像素的分割不确定度越高。而任一像素的分割不确定度越高，表明对应像素越容易被混淆，从而能够表明该像素越不具备明确的感兴趣区域的特征，其为假阳目标像素的可能性越大。其中，假阳目标像素是指模型认为是目标像素但实际上不为目标像素的像素。
步骤130，检测所述实例分割结果中的多个候选目标实例，并基于所述实例分割结果中每一像素的分割不确定度，确定所述多个候选目标实例的分割不确定向量。
其中，可以对实例分割结果进行连通域检测，得到实例分割结果中的候选目标实例，并定位各个候选目标实例区域内的像素。随后，基于实例分割结果中每一像素的分割不确定度，以及各个候选目标实例的区域位置，可以获取各个候选目标实例内各像素的分割不确定度。根据任一候选目标实例内各像素的分割不确定度，可以确定该候选目标实例的分割不确定向量。该候选目标实例中分割不确定度高的像素越多，表明可能为假阳目标像素的像素越多，则整个候选目标实例为假阳实例的可能性也越大。此处，任一候选目标实例的分割不确定向量可以表征该候选目标实例中各像素的分割不确定度的分布特征。例如，可以基于该候选目标实例中各个像素的分割不确定度之间的均值、中位数、方差、熵、直方图的高斯拟合参数等统计量中的一种或多种，计算得到该候选目标实例的分割不确定向量。需要说明的是，无论是各像素的分割不确定度还是候选目标实例的分割不确定向量都为针对各像素以及候选目标实例的分割不确定性评估，其由各像素以及候选目标实例区域本身的图像特征的易混淆性所决定，因此其具备客观性，据此进行假阳检测得到的检测结果具备可信性。
可见，本发明实施例通过多个优选实例分割模型对各个像素进行多次预测，再基于各个像素对应的M*N个预测概率的概率分布，获取各个像素的分割不确定度，可以从像素角度获取多个优选实例分割模型对于局部区域分割的不确定性。随后，再基于候选目标实例中各像素的分割不确定度确定该候选目标实例的分割不确定向量，以据此确定该候选目标实例是否为假阳实例，可以较准确地检测出优选实例分割模型输出的假阳实例。此处，通过获取各局部区域分割的不确定性，综合考虑候选目标实例内部各局部区域为假阳的可能性，将局部区域分割的不确定性转换为候选目标实例整体区域分割的不确定性，可以避免由于局部细节被忽略而导致遗漏假阳实例，从而提升了假阳实例检测的精度。
步骤140，基于所述多个候选目标实例的分割不确定向量，滤除所述多个候选目标实例中的假阳实例，得到所述待分割医学影像的图像分割结果。
其中，可以基于任一候选目标实例的分割不确定向量，对该候选目标实例进行假阳检测，判断该候选目标实例是否为假阳实例。此处，可以预先训练一个分类模型，用于对候选目标实例的分割不确定向量进行分析和分类，得到可以指示其是否为假阳实例的假阳分类结果。该分类模型可以基于样本医学影像中各样本目标实例(包含真实目标实例和假阳实例)的分割不确定向量以及各样本目标实例的假阳标签训练得到。此处，样本目标实例的分割、样本目标实例的分割不确定向量可以基于上述步骤的类似方式进行，在此不再赘述。另外，分类模型的训练过程中可以同样使用网格搜索技术确认模型所使用的参数，并保存训练完毕的分类模型，在此不再赘述。若判断得知任一候选目标实例为假阳实例，则将其删除，从而得到待分割医学影像的仅包含真实感兴趣区域的图像分割结果，降低了图像分割结果的假阳率。
本发明实施例提供的方法，通过综合多个优选实例分割模型分割得到的优选分割结果，获取更准确的实例分割结果以及每一像素的分割不确定度，其中像素的分割不确定度反映了对应像素图像特征的易混淆性，表征了其为假阳目标像素的可能性；随后，基于候选目标实例内部各像素的分割不确定度，综合考虑各局部区域为假阳的可能性，获取候选目标实例的分割不确定向量，将局部区域分割的不确定性转换为候选目标实例整体区域分割的不确定性，可以避免由于局部细节被忽略而导致遗漏假阳实例，从而提升了假阳实例检测的精度，降低了图像分割结果的假阳率。
基于上述任一实施例，所述基于所述实例分割结果中每一像素的分割不确定度，确定所述多个候选目标实例的分割不确定向量，具体包括：
基于任一候选目标实例中每一像素在所述任一候选目标实例中的位置，确定所述任一候选目标实例中每一像素对应的权重系数；其中，所述任一候选目标实例中的任一像素越靠近所述任一候选目标实例的边缘，所述任一像素对应的权重系数越高；
基于所述任一候选目标实例中每一像素的分割不确定度和对应的权重系数，确定所述任一候选目标实例的分割不确定向量。
具体地，一个候选目标实例中包含有多个像素，但不同像素在进行目标检测或者假阳目标检测时的重要程度不同。对于分辨感兴趣区域和其他非感兴趣区域的任务而言，部分像素的区分性较小，其被分割错误的可能性高，因此其不确定度也可能很高。例如候选目标实例中心区域的像素，由于其与相近像素的相似度较高且缺乏结构信息，因此其区分性较小。然而，正由于该部分像素的区分性小，因此其对于判定整个候选目标实例是否为假阳实例(或是判定整个候选目标实例是否为真正的感兴趣区域)的影响较小。因此，需要削弱该部分像素在计算候选目标实例整体的分割不确定向量时的影响，以避免上述区域的像素造成整个候选目标实例的分割不确定性虚高。而区分性较大的像素，其分割准确性对于整个候选目标实例是否为假阳实例的判定影响较大，因此可以适当增强该部分像素在计算候选目标实例整体的分割不确定向量时的影响，以提升据此获得的候选目标实例分割不确定性的准确性。
对此，可以基于任一候选目标实例中每一像素在该候选目标实例中的位置，确定该候选目标实例中每一像素对应的权重系数，从而调整每一像素在确定该候选目标实例的分割不确定向量时的影响程度，并基于该候选目标实例中每一像素的分割不确定度和对应的权重系数，确定该候选目标实例的分割不确定向量。其中，越靠近候选目标实例中心区域的像素区分性越小，其对于判定整个候选目标实例是否为假阳实例(或是判定整个候选目标实例是否为真正的感兴趣区域)的影响越小，而越靠近候选目标实例边缘区域的像素由于与背景或其他组织更接近、具备更多的结构信息，因此其区分性越大，其对于判定整个候选目标实例是否为假阳实例(或是判定整个候选目标实例是否为真正的感兴趣区域)的影响越大。因此，该候选目标实例中的任一像素越靠近该候选目标实例的边缘，该像素对应的权重系数可以设置得越高，而任一像素越靠近该候选目标实例的中心，该像素对应的权重系数可以设置得越低。例如，可以将像素与候选目标实例中心的距离，作为该像素对应的权重系数，也可以对像素与候选目标实例中心的距离进行标准化处理后，作为该像素对应的权重系数，本发明实施例对此不作具体限定。
基于上述任一实施例，所述基于任一候选目标实例中每一像素在所述任一候选目标实例中的位置，确定所述任一候选目标实例中每一像素对应的权重系数，具体包括：
获取所述任一候选目标实例的实例重心，并基于所述任一候选目标实例中每一像素与所述任一候选目标实例的实例重心之间的距离，确定所述任一候选目标实例中每一像素对应的权重系数；其中，所述任一候选目标实例中任一像素与所述实例重心之间的距离越大，所述任一像素对应的权重系数越高；
或者，获取所述任一候选目标实例的实例表面，并基于所述任一候选目标实例中每一像素与所述任一候选目标实例的实例表面之间的距离，确定所述任一候选目标实例中每一像素对应的权重系数；其中，所述任一候选目标实例中任一像素与所述实例表面之间的距离越小，所述任一像素对应的权重系数越高。
具体地，为了确定任一候选目标实例中每一像素在该候选目标实例中的位置，判断每一像素离该候选目标实例边缘的远近或是离该候选目标实例中心的远近，从而设定对应的权重系数，可以先判断该候选目标实例是否为规则或近似规则的球形。具体可以计算该候选目标实例的球形度，以判断其形状的规则程度。
若该候选目标实例的球形度高于球形度阈值，表明该候选目标实例为规则或近似规则的球形，因此可以获取该候选目标实例的实例重心作为中心位置，并基于该候选目标实例中每一像素与该候选目标实例的实例重心之间的距离，确定该候选目标实例中每一像素对应的权重系数。其中，该候选目标实例中任一像素与实例重心之间的距离越大，表明该像素距离该候选目标实例的边缘越近，则该像素对应的权重系数越高。需要说明的是，对于球形或近似球形的候选目标实例，也可以采用下述获取候选目标实例表面、计算候选目标实例中各像素与候选目标实例表面之间的距离并确定各像素权重系数的方式，本发明实施例对此不作具体限定。
若该候选目标实例的球形度低于球形度阈值，表明该候选目标实例为不规则形状，难以通过获取实例重心的方式确定候选目标实例的中心位置。因此，可以基于该候选目标实例中各像素的位置，利用三维表面重建的方式获取该候选目标实例的实例表面，并基于该候选目标实例中每一像素与该候选目标实例的实例表面之间的距离，确定该候选目标实例中每一像素对应的权重系数。其中，该候选目标实例中任一像素与实例表面之间的距离越小，表明该像素距离该候选目标实例的边缘越近，则该像素对应的权重系数越高。
基于上述任一实施例，所述基于所述实例分割结果中每一像素的分割不确定度，确定所述多个候选目标实例的分割不确定向量，具体包括：
基于所述待分割医学影像的实例分割结果以及所述实例分割结果中每一像素的分割不确定度，确定所述实例分割结果对应的不确定度分布图；
分别以所述多个候选目标实例的质心为中心，基于所述多个候选目标实例在各轴上对应的切割尺寸，对所述实例分割结果对应的不确定度分布图进行切割，得到所述多个候选目标实例的分割不确定向量；其中，任一候选目标实例在任一轴上对应的切割尺寸与所述任一候选目标实例在所述任一轴上的实例尺寸相匹配。
具体地，待分割医学影像的实例分割结果中，被确定为目标像素的像素值置为1，非目标像素的像素值置为0。将实例分割结果中各像素的像素值与对应像素的分割不确定度相乘，可以得到实例分割结果对应的不确定度分布图。其中，由于后续任务是进行假阳实例检测，因此不确定度分布图中忽略了实例分割结果中被认为是非目标像素的区域，而只关注被认为是目标像素的区域。
为了获取任一候选目标实例中各像素的不确定度之间的分布情况，构成该候选目标实例的分割不确定向量，从而对分割不确定向量进行分析，判断该候选目标实例是否为假阳实例，可以分别以该候选目标实例的质心为中心，基于该候选目标实例在各轴上对应的切割尺寸，对实例分割结果对应的不确定度分布图进行切割，得到该候选目标实例的分割不确定向量。可见，任一候选目标实例的分割不确定向量由不确定分布图中对应该候选目标实例所在区域的不确定分布子图构成，而切割出的不确定分布子图的尺寸(即切割尺寸)与该实例的实例尺寸相匹配，使得切割出的分割不确定向量具备当前候选目标实例完整的分割不确定度的分布信息，又不涉及其他候选目标实例的像素的分割不确定度，使其免受其他候选目标实例的干扰。具体而言是候选目标实例在任一轴上对应的切割尺寸与该候选目标实例在该轴上的实例尺寸相匹配。实例尺寸越大，对应的切割尺寸也越大。需要说明的是，切割尺寸应当足够大以保证能将不确定分布图中对应该候选目标实例的全部区域完整切割。
由于获取得到的候选目标实例的分割不确定向量为不确定分布图中对应该候选目标实例所在区域的不确定分布子图，其中包含有该候选目标实例中各像素的分割不确定度以及各像素之间的位置结构关系，因此该分割不确定向量中包含有更丰富的语义信息以供进行假阳实例检测，从而得以提高假阳实例检测的准确性。
基于上述任一实施例，所述基于所述多个候选目标实例的分割不确定向量，滤除所述多个候选目标实例中的假阳实例，具体包括：
基于任一候选目标实例的实例尺寸，确定所述任一候选目标实例所属的实例尺寸分段；
基于所述任一候选目标实例所属的实例尺寸分段对应的假阳检测模型，对所述任一候选目标实例的分割不确定向量进行假阳检测，学习所述任一候选目标实例中各个像素的分割不确定度在假阳检测时的权重，得到所述任一候选目标实例的假阳检测结果；
若所述任一候选目标实例的假阳检测结果指示所述任一候选目标实例为假阳实例，则将所述任一候选目标实例滤除；
其中，任一实例尺寸分段对应的假阳检测模型是基于实例尺寸属于所述任一实例尺寸分段的样本目标实例的样本分割不确定向量以及所述样本目标实例的假阳标签训练得到的。
具体地，基于候选目标实例的分割不确定向量进行假阳检测时，可以利用预先训练的假阳检测模型对候选目标实例的分割不确定向量进行分析，根据分割不确定向量中包含的各像素的不确定度的分布以及各像素之间的位置结构关系，自主学习该候选目标实例中各像素的分割不确定度在假阳检测时的权重，从而确定该候选目标实例的假阳检测结果。
此处，考虑到不同尺寸大小的感兴趣区域之间形态特征等可能存在区别，为了避免误将不同形态的感兴趣区域判定为假阳实例造成误判，导致遗漏真实感兴趣区域，可以将感兴趣区域可能的实例尺寸划分为多个实例尺寸分段，例如3mm-5mm，5mm-7mm等，再根据针对各个实例尺寸分段分别训练各自对应的假阳检测模型。针对任一实例尺寸分段，可以获取实例尺寸落入到该实例尺寸分段的样本目标实例，然后利用上述实施例中给出的方式获取样本目标实例的样本分割不确定向量。结合实例尺寸属于该实例尺寸分段的样本目标实例的样本分割不确定向量以及上述样本目标实例的假阳标签，训练该实例尺寸分段对应的假阳检测模型。对于待分割医学影像中的候选目标实例，可以基于该候选目标实例的实例尺寸，确定该候选目标实例所属的实例尺寸分段，再基于该候选目标实例所属的实例尺寸分段对应的假阳检测模型，对该候选目标实例的分割不确定向量进行假阳检测，学习该候选目标实例中各个像素的分割不确定度在假阳检测时的权重，从而确定该候选目标实例的假阳检测结果。
若任一候选目标实例的假阳检测结果指示该候选目标实例为假阳实例，则将该候选目标实例滤除，降低图像分割结果中的假阳率。
基于上述任一实施例，所述多个优选实例分割模型的输出层中包含随机掩蔽层，且所述多个优先实例分割模型在进行实例分割时，所述随机掩蔽层处于开启状态；
所述基于所述多个优选分割结果，确定所述待分割医学影像的实例分割结果以及所述实例分割结果中每一像素的分割不确定度，具体包括：
对所述多个优选分割结果中所述待分割医学影像中每一像素为目标像素的概率进行融合，得到所述待分割医学影像中每一像素为目标像素的融合概率；
基于预设分割阈值以及所述待分割医学影像中每一像素为目标像素的融合概率，确定所述实例分割结果；其中，若任一像素为目标像素的融合概率大于等于所述预设分割阈值，则将所述任一像素的像素值置1，否则，将所述任一像素的像素值置0；
基于所述多个优选分割结果中对应同一像素的概率之间的概率分布，确定所述同一像素的分割不确定度。
具体地，上述多个优选实例分割模型的输出层中包含随机掩蔽层，用于随机将对应优选实例分割模型中的部分参数置0，以添加一定的随机性。在确定待分割医学影像的实例分割结果以及实例分割结果中每一像素的分割不确定度时，保持多个优先实例分割模型中的随机掩蔽层处于开启状态。
将待分割医学影像输入至上述多个优选实例分割模型并得到多个优选分割结果后，对多个优选分割结果中待分割医学影像中每一像素为目标像素的概率进行融合，得到待分割医学影像中每一像素为目标像素的融合概率。此处，可以通过求平均值的方式对个优选分割结果中待分割医学影像中每一像素为目标像素的概率进行融合。
基于预设分割阈值以及待分割医学影像中每一像素为目标像素的融合概率，确定实例分割结果。其中，若任一像素为目标像素的融合概率大于等于上述预设分割阈值，则将该像素的像素值置1，否则，将该像素的像素值置0。随后，基于多个优选分割结果中对应同一像素的概率之间的概率分布，确定上述同一像素的分割不确定度，具体确定方式可以采用上述实施例中给出的方式，在此不再赘述。
基于上述任一实施例，所述预设分割阈值是基于如下步骤确定的：
基于多个样本医学影像以及所述多个样本医学影像的目标标注结果，计算不同候选分割阈值下所述多个样本医学影像的实例分割结果的目标检测灵敏度；
确定最高目标检测灵敏度对应的候选分割阈值，作为所述预设分割阈值。
具体地，上述实施例给出的方案中，在确定待分割医学影像的实例分割结果时，会基于预设分割阈值以及待分割医学影像中每一像素为目标像素的融合概率，对实例分割结果中各个像素的像素值进行处理，仅保留融合概率大于等于预设分割阈值的像素。其中，预设分割阈值的大小会对后续的假阳实例检测产生重要影响。一方面，如果预设分割阈值设置得较高，部分较复杂、较难分割的感兴趣区域可能会在该步骤中被忽略，导致遗漏感兴趣区域。更重要的是，若预设分割阈值设置得较高，保留下来的像素为目标像素的概率均较大，在确定各个像素的分割不确定度时会出现不合理的偏低现象，从而导致后续在确定候选目标实例的分割不确定向量并进行假阳检测时遗漏部分假阳实例。另一方面，预设分割阈值设置得较小，会引入大量干扰因素，为后续的假阳实例检测带来过多干扰，影响假阳实例检测的效率和准确性。
为了选取合适的预设分割阈值，以避免上述可能的负面影响，可以基于多个样本医学影像以及上述多个样本医学影像的目标标注结果，计算不同候选分割阈值下多个样本医学影像的实例分割结果的目标检测灵敏度。其中，目标检测灵敏度表征了对于真正感兴趣区域的检出率。随后，确定最高目标检测灵敏度对应的候选分割阈值，作为上述预设分割阈值。
基于上述任一实施例，图2为本发明实施例提供的基于实例不确定性的图像检测及分割的装置的结构示意图，如图2所示，该装置包括：实例分割单元210、像素分割不确定度获取单元220、实例不确定性获取单元230和假阳实例筛选单元240。
其中，实例分割单元210用于基于多个优选实例分割模型，分别对待分割医学影像进行实例分割，得到多个优选分割结果；所述优选分割结果中包含对应模型预测的所述待分割医学影像中每一像素为目标像素的概率；
像素分割不确定度获取单元220用于基于所述多个优选分割结果，确定所述待分割医学影像的实例分割结果以及所述实例分割结果中每一像素的分割不确定度；所述分割不确定度是基于不同模型预测对应像素为目标像素的概率分布确定的；
实例不确定性获取单元230用于检测所述实例分割结果中的多个候选目标实例，并基于所述实例分割结果中每一像素的分割不确定度，确定所述多个候选目标实例的分割不确定向量；
假阳实例筛选单元240用于基于所述多个候选目标实例的分割不确定向量，滤除所述多个候选目标实例中的假阳实例，得到所述待分割医学影像的图像分割结果。
本发明实施例提供的装置，通过综合多个优选实例分割模型分割得到的优选分割结果，获取更准确的实例分割结果以及每一像素的分割不确定度，其中像素的分割不确定度反映了对应像素图像特征的易混淆性，表征了其为假阳目标像素的可能性；随后，基于候选目标实例内部各像素的分割不确定度，综合考虑各局部区域为假阳的可能性，获取候选目标实例的分割不确定向量，将局部区域分割的不确定性转换为候选目标实例整体区域分割的不确定性，可以避免由于局部细节被忽略而导致遗漏假阳实例，从而提升了假阳实例检测的精度，降低了图像分割结果的假阳率。
基于上述任一实施例，所述基于所述实例分割结果中每一像素的分割不确定度，确定所述多个候选目标实例的分割不确定向量，具体包括：
基于任一候选目标实例中每一像素在所述任一候选目标实例中的位置，确定所述任一候选目标实例中每一像素对应的权重系数；其中，所述任一候选目标实例中的任一像素越靠近所述任一候选目标实例的边缘，所述任一像素对应的权重系数越高；
基于所述任一候选目标实例中每一像素的分割不确定度和对应的权重系数，确定所述任一候选目标实例的分割不确定向量。
基于上述任一实施例，所述基于任一候选目标实例中每一像素在所述任一候选目标实例中的位置，确定所述任一候选目标实例中每一像素对应的权重系数，具体包括：
获取所述任一候选目标实例的实例重心，并基于所述任一候选目标实例中每一像素与所述任一候选目标实例的实例重心之间的距离，确定所述任一候选目标实例中每一像素对应的权重系数；其中，所述任一候选目标实例中任一像素与所述实例重心之间的距离越大，所述任一像素对应的权重系数越高；
或者，获取所述任一候选目标实例的实例表面，并基于所述任一候选目标实例中每一像素与所述任一候选目标实例的实例表面之间的距离，确定所述任一候选目标实例中每一像素对应的权重系数；其中，所述任一候选目标实例中任一像素与所述实例表面之间的距离越小，所述任一像素对应的权重系数越高。
基于上述任一实施例，所述基于所述实例分割结果中每一像素的分割不确定度，确定所述多个候选目标实例的分割不确定向量，具体包括：
基于所述待分割医学影像的实例分割结果以及所述实例分割结果中每一像素的分割不确定度，确定所述实例分割结果对应的不确定度分布图；
分别以所述多个候选目标实例的质心为中心，基于所述多个候选目标实例在各轴上对应的切割尺寸，对所述实例分割结果对应的不确定度分布图进行切割，得到所述多个候选目标实例的分割不确定向量；其中，任一候选目标实例在任一轴上对应的切割尺寸与所述任一候选目标实例在所述任一轴上的实例尺寸相匹配。
基于上述任一实施例，所述基于所述多个候选目标实例的分割不确定向量，滤除所述多个候选目标实例中的假阳实例，具体包括：
基于任一候选目标实例的实例尺寸，确定所述任一候选目标实例所属的实例尺寸分段；
基于所述任一候选目标实例所属的实例尺寸分段对应的假阳检测模型，对所述任一候选目标实例的分割不确定向量进行假阳检测，学习所述任一候选目标实例中各个像素的分割不确定度在假阳检测时的权重，得到所述任一候选目标实例的假阳检测结果；
若所述任一候选目标实例的假阳检测结果指示所述任一候选目标实例为假阳实例，则将所述任一候选目标实例滤除；
其中，任一实例尺寸分段对应的假阳检测模型是基于实例尺寸属于所述任一实例尺寸分段的样本目标实例的样本分割不确定向量以及所述样本目标实例的假阳标签训练得到的。
基于上述任一实施例，所述多个优选实例分割模型的输出层中包含随机掩蔽层，且所述多个优先实例分割模型在进行实例分割时，所述随机掩蔽层处于开启状态；
所述基于所述多个优选分割结果，确定所述待分割医学影像的实例分割结果以及所述实例分割结果中每一像素的分割不确定度，具体包括：
对所述多个优选分割结果中所述待分割医学影像中每一像素为目标像素的概率进行融合，得到所述待分割医学影像中每一像素为目标像素的融合概率；
基于预设分割阈值以及所述待分割医学影像中每一像素为目标像素的融合概率，确定所述实例分割结果；其中，若任一像素为目标像素的融合概率大于等于所述预设分割阈值，则将所述任一像素的像素值置1，否则，将所述任一像素的像素值置0；
基于所述多个优选分割结果中对应同一像素的概率之间的概率分布，确定所述同一像素的分割不确定度。
基于上述任一实施例，所述预设分割阈值是基于如下步骤确定的：
基于多个样本医学影像以及所述多个样本医学影像的目标标注结果，计算不同候选分割阈值下所述多个样本医学影像的实例分割结果的目标检测灵敏度；
确定最高目标检测灵敏度对应的候选分割阈值，作为所述预设分割阈值。
图3示例了一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行基于实例不确定性的图像检测及分割的方法，该方法包括：基于多个优选实例分割模型，分别对待分割医学影像进行实例分割，得到多个优选分割结果；所述优选分割结果中包含对应模型预测的所述待分割医学影像中每一像素为目标像素的概率；基于所述多个优选分割结果，确定所述待分割医学影像的实例分割结果以及所述实例分割结果中每一像素的分割不确定度；所述分割不确定度是基于不同模型预测对应像素为目标像素的概率分布确定的；检测所述实例分割结果中的多个候选目标实例，并基于所述实例分割结果中每一像素的分割不确定度，确定所述多个候选目标实例的分割不确定向量；基于所述多个候选目标实例的分割不确定向量，滤除所述多个候选目标实例中的假阳实例，得到所述待分割医学影像的图像分割结果。
此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的基于实例不确定性的图像检测及分割的方法，该方法包括：基于多个优选实例分割模型，分别对待分割医学影像进行实例分割，得到多个优选分割结果；所述优选分割结果中包含对应模型预测的所述待分割医学影像中每一像素为目标像素的概率；基于所述多个优选分割结果，确定所述待分割医学影像的实例分割结果以及所述实例分割结果中每一像素的分割不确定度；所述分割不确定度是基于不同模型预测对应像素为目标像素的概率分布确定的；检测所述实例分割结果中的多个候选目标实例，并基于所述实例分割结果中每一像素的分割不确定度，确定所述多个候选目标实例的分割不确定向量；基于所述多个候选目标实例的分割不确定向量，滤除所述多个候选目标实例中的假阳实例，得到所述待分割医学影像的图像分割结果。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于实例不确定性的图像检测及分割的方法，该方法包括：基于多个优选实例分割模型，分别对待分割医学影像进行实例分割，得到多个优选分割结果；所述优选分割结果中包含对应模型预测的所述待分割医学影像中每一像素为目标像素的概率；基于所述多个优选分割结果，确定所述待分割医学影像的实例分割结果以及所述实例分割结果中每一像素的分割不确定度；所述分割不确定度是基于不同模型预测对应像素为目标像素的概率分布确定的；检测所述实例分割结果中的多个候选目标实例，并基于所述实例分割结果中每一像素的分割不确定度，确定所述多个候选目标实例的分割不确定向量；基于所述多个候选目标实例的分割不确定向量，滤除所述多个候选目标实例中的假阳实例，得到所述待分割医学影像的图像分割结果。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种基于实例不确定性的图像检测及分割的方法，其特征在于，包括：
基于多个优选实例分割模型，分别对待分割医学影像进行实例分割，得到多个优选分割结果；所述优选分割结果中包含对应模型预测的所述待分割医学影像中每一像素为目标像素的概率；
基于所述多个优选分割结果，确定所述待分割医学影像的实例分割结果以及所述实例分割结果中每一像素的分割不确定度；所述分割不确定度是基于不同模型预测对应像素为目标像素的概率分布确定的；
检测所述实例分割结果中的多个候选目标实例，并基于所述实例分割结果中每一像素的分割不确定度，确定所述多个候选目标实例的分割不确定向量；
基于所述多个候选目标实例的分割不确定向量，滤除所述多个候选目标实例中的假阳实例，得到所述待分割医学影像的图像分割结果；
所述基于所述实例分割结果中每一像素的分割不确定度，确定所述多个候选目标实例的分割不确定向量，具体包括：
基于所述待分割医学影像的实例分割结果以及所述实例分割结果中每一像素的分割不确定度，确定所述实例分割结果对应的不确定度分布图；分别以所述多个候选目标实例的质心为中心，基于所述多个候选目标实例在各轴上对应的切割尺寸，对所述实例分割结果对应的不确定度分布图进行切割，得到所述多个候选目标实例的分割不确定向量；其中，任一候选目标实例在任一轴上对应的切割尺寸与所述任一候选目标实例在所述任一轴上的实例尺寸相匹配；
所述基于所述多个候选目标实例的分割不确定向量，滤除所述多个候选目标实例中的假阳实例，具体包括：
基于任一候选目标实例的实例尺寸，确定所述任一候选目标实例所属的实例尺寸分段；基于所述任一候选目标实例所属的实例尺寸分段对应的假阳检测模型，对所述任一候选目标实例的分割不确定向量进行假阳检测，学习所述任一候选目标实例中各个像素的分割不确定度在假阳检测时的权重，得到所述任一候选目标实例的假阳检测结果；若所述任一候选目标实例的假阳检测结果指示所述任一候选目标实例为假阳实例，则将所述任一候选目标实例滤除；其中，任一实例尺寸分段对应的假阳检测模型是基于实例尺寸属于所述任一实例尺寸分段的样本目标实例的样本分割不确定向量以及所述样本目标实例的假阳标签训练得到的。
2.根据权利要求1所述的基于实例不确定性的图像检测及分割的方法，其特征在于，所述基于所述实例分割结果中每一像素的分割不确定度，确定所述多个候选目标实例的分割不确定向量，具体包括：
基于任一候选目标实例中每一像素在所述任一候选目标实例中的位置，确定所述任一候选目标实例中每一像素对应的权重系数；其中，所述任一候选目标实例中的任一像素越靠近所述任一候选目标实例的边缘，所述任一像素对应的权重系数越高；
基于所述任一候选目标实例中每一像素的分割不确定度和对应的权重系数，确定所述任一候选目标实例的分割不确定向量。
3.根据权利要求2所述的基于实例不确定性的图像检测及分割的方法，其特征在于，所述基于任一候选目标实例中每一像素在所述任一候选目标实例中的位置，确定所述任一候选目标实例中每一像素对应的权重系数，具体包括：
获取所述任一候选目标实例的实例重心，并基于所述任一候选目标实例中每一像素与所述任一候选目标实例的实例重心之间的距离，确定所述任一候选目标实例中每一像素对应的权重系数；其中，所述任一候选目标实例中任一像素与所述实例重心之间的距离越大，所述任一像素对应的权重系数越高；
或者，获取所述任一候选目标实例的实例表面，并基于所述任一候选目标实例中每一像素与所述任一候选目标实例的实例表面之间的距离，确定所述任一候选目标实例中每一像素对应的权重系数；其中，所述任一候选目标实例中任一像素与所述实例表面之间的距离越小，所述任一像素对应的权重系数越高。
4.根据权利要求1至3任一项所述的基于实例不确定性的图像检测及分割的方法，其特征在于，所述多个优选实例分割模型的输出层中包含随机掩蔽层，且所述多个优先实例分割模型在进行实例分割时，所述随机掩蔽层处于开启状态；
所述基于所述多个优选分割结果，确定所述待分割医学影像的实例分割结果以及所述实例分割结果中每一像素的分割不确定度，具体包括：
对所述多个优选分割结果中所述待分割医学影像中每一像素为目标像素的概率进行融合，得到所述待分割医学影像中每一像素为目标像素的融合概率；
基于预设分割阈值以及所述待分割医学影像中每一像素为目标像素的融合概率，确定所述实例分割结果；其中，若任一像素为目标像素的融合概率大于等于所述预设分割阈值，则将所述任一像素的像素值置1，否则，将所述任一像素的像素值置0；
基于所述多个优选分割结果中对应同一像素的概率之间的概率分布，确定所述同一像素的分割不确定度。
5.根据权利要求4所述的基于实例不确定性的图像检测及分割的方法，其特征在于，所述预设分割阈值是基于如下步骤确定的：
基于多个样本医学影像以及所述多个样本医学影像的目标标注结果，计算不同候选分割阈值下所述多个样本医学影像的实例分割结果的目标检测灵敏度；
确定最高目标检测灵敏度对应的候选分割阈值，作为所述预设分割阈值。
6.一种基于实例不确定性的图像检测及分割的装置，其特征在于，包括：
实例分割单元，用于基于多个优选实例分割模型，分别对待分割医学影像进行实例分割，得到多个优选分割结果；所述优选分割结果中包含对应模型预测的所述待分割医学影像中每一像素为目标像素的概率；
像素分割不确定度获取单元，用于基于所述多个优选分割结果，确定所述待分割医学影像的实例分割结果以及所述实例分割结果中每一像素的分割不确定度；所述分割不确定度是基于不同模型预测对应像素为目标像素的概率分布确定的；
实例不确定性获取单元，用于检测所述实例分割结果中的多个候选目标实例，并基于所述实例分割结果中每一像素的分割不确定度，确定所述多个候选目标实例的分割不确定向量；
假阳实例筛选单元，用于基于所述多个候选目标实例的分割不确定向量，滤除所述多个候选目标实例中的假阳实例，得到所述待分割医学影像的图像分割结果；
所述基于所述实例分割结果中每一像素的分割不确定度，确定所述多个候选目标实例的分割不确定向量，具体包括：
基于所述待分割医学影像的实例分割结果以及所述实例分割结果中每一像素的分割不确定度，确定所述实例分割结果对应的不确定度分布图；分别以所述多个候选目标实例的质心为中心，基于所述多个候选目标实例在各轴上对应的切割尺寸，对所述实例分割结果对应的不确定度分布图进行切割，得到所述多个候选目标实例的分割不确定向量；其中，任一候选目标实例在任一轴上对应的切割尺寸与所述任一候选目标实例在所述任一轴上的实例尺寸相匹配；
所述基于所述多个候选目标实例的分割不确定向量，滤除所述多个候选目标实例中的假阳实例，具体包括：
基于任一候选目标实例的实例尺寸，确定所述任一候选目标实例所属的实例尺寸分段；基于所述任一候选目标实例所属的实例尺寸分段对应的假阳检测模型，对所述任一候选目标实例的分割不确定向量进行假阳检测，学习所述任一候选目标实例中各个像素的分割不确定度在假阳检测时的权重，得到所述任一候选目标实例的假阳检测结果；若所述任一候选目标实例的假阳检测结果指示所述任一候选目标实例为假阳实例，则将所述任一候选目标实例滤除；其中，任一实例尺寸分段对应的假阳检测模型是基于实例尺寸属于所述任一实例尺寸分段的样本目标实例的样本分割不确定向量以及所述样本目标实例的假阳标签训练得到的。
7.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述基于实例不确定性的图像检测及分割的方法的步骤。
8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述基于实例不确定性的图像检测及分割的方法的步骤。
CN202210862288.8A 2022-07-20 2022-07-20 基于实例不确定性的图像检测及分割的方法和装置 Active CN115131333B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210862288.8A CN115131333B (zh) 2022-07-20 2022-07-20 基于实例不确定性的图像检测及分割的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210862288.8A CN115131333B (zh) 2022-07-20 2022-07-20 基于实例不确定性的图像检测及分割的方法和装置

Publications (2)

Publication Number Publication Date
CN115131333A CN115131333A (zh) 2022-09-30
CN115131333B true CN115131333B (zh) 2023-03-28

Family

ID=83384386

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210862288.8A Active CN115131333B (zh) 2022-07-20 2022-07-20 基于实例不确定性的图像检测及分割的方法和装置

Country Status (1)

Country Link
CN (1) CN115131333B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109242869A (zh) * 2018-09-21 2019-01-18 科大讯飞股份有限公司 一种图像实例分割方法、装置、设备及存储介质
CN114170212A (zh) * 2021-12-14 2022-03-11 广州柏视医疗科技有限公司 一种基于ct影像中肺小结节假阳检测方法及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110517759B (zh) * 2019-08-29 2022-03-25 腾讯医疗健康(深圳)有限公司 一种待标注图像确定的方法、模型训练的方法及装置
US11508061B2 (en) * 2020-02-20 2022-11-22 Siemens Healthcare Gmbh Medical image segmentation with uncertainty estimation
CN111915628B (zh) * 2020-06-24 2023-11-24 浙江大学 一种基于预测目标密集边界点的单阶段实例分割方法
EP3985552A1 (en) * 2020-10-14 2022-04-20 Deep Safety GmbH System for detection and management of uncertainty in perception systems
CN113706475B (zh) * 2021-08-06 2023-07-21 福建自贸试验区厦门片区Manteia数据科技有限公司 基于图像分割的置信度分析方法及装置
CN114332132A (zh) * 2021-12-31 2022-04-12 联影智能医疗科技(成都)有限公司 图像分割方法、装置和计算机设备
CN114708286B (zh) * 2022-06-06 2022-08-26 珠海横琴圣澳云智科技有限公司 基于伪标注动态更新的细胞实例分割方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109242869A (zh) * 2018-09-21 2019-01-18 科大讯飞股份有限公司 一种图像实例分割方法、装置、设备及存储介质
CN114170212A (zh) * 2021-12-14 2022-03-11 广州柏视医疗科技有限公司 一种基于ct影像中肺小结节假阳检测方法及系统

Also Published As

Publication number Publication date
CN115131333A (zh) 2022-09-30

Similar Documents

Publication Publication Date Title
CN110766051A (zh) 一种基于神经网络的肺结节形态学分类方法
US8126229B2 (en) Reduction of lymph tissue false positives in pulmonary embolism detection
CN101556650B (zh) 一种分布式自适应肺结节计算机检测方法及系统
CN109886970B (zh) 太赫兹图像中目标物体的检测分割方法及计算机存储介质
CN109741335B (zh) 血管oct图像中血管壁及血流区域的分割方法与装置
CN114067109B (zh) 谷物检测方法及检测设备、存储介质
Naresh et al. Early detection of lung cancer using neural network techniques
JP2020038660A (ja) ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を利用して車線を検出するための学習方法及び学習装置そしてこれを利用したテスト方法及びテスト装置｛ＬＥＡＲＮＩＮＧ ＭＥＴＨＯＤ， ＬＥＡＲＮＩＮＧ ＤＥＶＩＣＥ ＦＯＲ ＤＥＴＥＣＴＩＮＧ ＬＡＮＥ ＵＳＩＮＧ ＣＮＮ ＡＮＤ ＴＥＳＴ ＭＥＴＨＯＤ， ＴＥＳＴ ＤＥＶＩＣＥ ＵＳＩＮＧ ＴＨＥ ＳＡＭＥ｝
CN110610472A (zh) 实现肺结节图像分类检测的计算机装置及方法
CN114067147B (zh) 一种基于局部形状匹配的舰船目标确认方法
CN116309571B (zh) 一种基于半监督学习的三维脑血管分割方法和装置
EP4318395A1 (en) A training method and an image instance segmentation method for an image mask generator
CN112116635A (zh) 一种基于快速人体移动的视觉跟踪方法及装置
CN115527050A (zh) 图像特征匹配方法、计算机设备和可读存储介质
CN115082909B (zh) 一种肺部病变识别方法及系统
CN111612749B (zh) 基于肺部影像的病灶检测方法和装置
CN115131333B (zh) 基于实例不确定性的图像检测及分割的方法和装置
CN117237990A (zh) 群养猪只体重的估测方法、装置、电子设备及存储介质
Li et al. Brown rice germ integrity identification based on deep learning network
CN115937991A (zh) 人体摔倒识别方法、装置、计算机设备及存储介质
CN111723688A (zh) 人体动作识别结果的评价方法、装置和电子设备
CN116721410A (zh) 一种航空发动机密集零部件三维实例分割方法和系统
Li et al. Glaucoma detection: Joint segmentation and classification framework via deep ensemble network
Ali et al. Asphalt Pavement Potholes Localization and Segmentation using Deep Retina Net and Conditional Random Fields
CN111860288B (zh) 人脸识别方法、装置及系统、可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant