CN113706475A - 基于图像分割的置信度分析方法及装置 - Google Patents

Abstract

本发明公开了一种基于图像分割的置信度分析方法及装置。其中，该方法包括：获取待分割的目标图像；将目标图像输入训练好的特征金字塔模型，输出多个分割结果，其中，特征金字塔模型包括多个卷积层，多个卷积层之间设置有概率模块；根据多个分割结果，确定目标图像的分割图像以及分割图像的置信度。本发明解决了相关技术中图像分割方法，难以有效预测分割结果的准确性，导致分割结果的可靠性较差的技术问题。

Description

基于图像分割的置信度分析方法及装置

技术领域

本发明涉及图像分割领域，具体而言，涉及一种基于图像分割的置信度分析方法及装置。

背景技术

在计算机中，图像分割是指将不同的区域分开来，这些区域是互不相交的，且每一个区域都满足特定区域的一致性，而分割的目的是为了将感兴趣区域提取出来，从而为定量、定性分析提供基础。医学影像分割属于图像分割方法的一个子领域，图像分割在医疗影像中有很多的应用。自动的影像分割能帮助医生确定感兴趣器官、病变肿瘤的边界，从而依据相关统计信息进行诊断和治疗，还能定量评价治疗前后的效果。

在进行医学影像的图像分割中，会面临大量与自然图像不同的特征，如模糊、图像密度不均匀、病人个体差异大，还有部分影像会存在伪影和噪声，以及部分病变存在边缘不明确，这些都会对分割的结果造成很大的影响。由于医学影像数据的复杂性，目前还没有分割技术能完全准确地对目标进行分割。当用预测结果辅助医生诊断时，医生还要花费额外精力去判断分割结果的准确性。但在实际应用中，尤其是在临床中，医生希望模型给出预测结果的同时，模型也能告诉医生预测的结果里哪些是肯定准确的，哪些是模糊不确定的，这样医生就只需在那些模型不确定的位置花费时间和精力复查，不用对模型所有的预测结果都全部复查。

现有技术在进行计算分割结果不确定时，一般采用深度学习方法，但是传统的dropout和神经网络适配性并不好，效果一般。现有技术计算分割结果不确定性时，基本都需要多次运行，其中两大主流方法之一的Mc-dropout需要多次预测，另一种主流方法深度集成(deep ensemble)尽管预测不确定性效果是最好的，但是需要多次训练和多次预测，两种主流方法成本都比较高，耗时长。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种基于图像分割的置信度分析方法及装置，以至少解决相关技术中图像分割方法，难以有效预测分割结果的准确性，导致分割结果的可靠性较差的技术问题。

根据本发明实施例的一个方面，提供了一种基于图像分割的置信度分析方法，包括：获取待分割的目标图像；将所述目标图像输入训练好的特征金字塔模型，输出多个分割结果，其中，所述特征金字塔模型包括多个卷积层，多个卷积层之间设置有概率模块；根据多个所述分割结果，确定所述目标图像的分割图像以及所述分割图像的置信度。

可选的，获取待分割的目标图像之前，所述方法还包括：建立初始金字塔模型；对所述初始金字塔模型进行训练，得到目标金字塔模型；对所述目标金字塔模型进行测试，在所述目标金字塔模型通过测试的情况下，将所述目标金字塔模型作为所述特征金字塔模型。

可选的，建立初始金字塔模型包括：建立原始金字塔模型；在所述原始金字塔模型的多个卷积层之间设置所述概率模块，得到所述初始金字塔模型。

可选的，在所述原始特征金字塔模型的多个卷积层之间设置所述概率模块，得到所述初始金字塔模型包括：在所述原始金字塔模型中的中间层中设置至少一个概率模块，其中，所述中间层为所述原始金字塔模型中除第一层和最后一层之外的其他卷积层。

可选的，对所述初始金字塔模型进行训练，得到目标金字塔模型包括：获取训练数据，其中，所述训练数据包括训练集和验证集，所述训练集和验证集均包括待分割的原图像，以及将所述原图像标记后的标准图像，所述训练集和验证集的原图像不重复；根据所述训练集对所述初始金字塔模型，进行多次训练，得到多个训练模型；将验证集的第一原图像分别输入多个训练模型，得到多个训练模型输出的多个训练分割图像；根据所述训练分割图像和所述验证集的标准图像确定所述训练模型的损失系数；选择所述损失系数最小的训练模型作为所述目标金字塔模型。

可选的，对所述目标金字塔模型进行测试，在所述目标金字塔模型通过测试的情况下，将所述目标金字塔模型作为所述特征金字塔模型包括：获取测试数据，其中，所述测试数据包括待分割的原图像，以及将所述原图像标记后的标准图像，所述测试数据与所述训练数据不重复；将所述测试集的第二原图像输入所述目标金字塔模型，得到所述目标金字塔模型输出的测试分割图像；根据所述测试分割图像，测试分割图像的置信度，以及所述测试数据对所述目标金字塔模型进行评估；在所述目标金字塔模型评估通过的情况下，确认所述目标金字塔模型通过测试，将所述目标金字塔模型作为所述特征金字塔模型。

可选的，根据所述测试分割图像，测试分割图像的置信度，以及所述测试数据对所述目标金字塔进行评估包括：根据所述目标金字塔模型的所述测试分割图像对应的多个测试分割结果，采用求方差，或者求熵的方式，确定所述目标金字塔模型的置信度分布图；显示所述置信度分布图，接收对所述置信分布图的置信指令；在所述置信指令指示所述置信度分布图可信的情况下，根据所述置信度分布图对所述目标金字塔进行进一步评估。

可选的，在所述置信指令指示所述置信度分布图可信的情况下，根据所述置信度分布图进行进一步评估包括：根据置信度阈值对所述置信分布图进行筛选，得到第一区域的图像；根据所述置信分布图对应的测试分割图像，与所述测试分割图像对应的测试数据的标准图像求差，得到第二区域图像；通过相似度函数确定所述第一区域和所述第二区域的相似度；在所述相似度达预设相似度阈值的情况下，确定所述置信度分布图的目标金字塔通过评估。

可选的，根据多个所述分割结果，确定所述目标图像的分割图像以及所述分割图像的置信度包括：对所述多个分割结果求平均，确定所述分割图像；根据所述多个分割结果，确定所述分割图像的置信度分布图，其中，所述置信度分布图用于确定所述分割图像的置信度。

根据本发明实施例的另一方面，还提供了一种基于图像分割的置信度分析装置，包括：获取模块，用于获取待分割的目标图像；分割模块，用于将所述目标图像输入训练好的特征金字塔模型，输出多个分割结果，其中，所述特征金字塔模型包括多个卷积层，多个卷积层之间设置有概率模块；确定模块，用于根据多个所述分割结果，确定所述目标图像的分割图像以及所述分割图像的置信度。

根据本发明实施例的另一方面，还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述中任意一项所述的基于图像分割的置信度分析方法。

根据本发明实施例的另一方面，还提供了一种计算机存储介质，述计算机存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机存储介质所在设备执行上述中任意一项所述的基于图像分割的置信度分析方法。

在本发明实施例中，采用获取待分割的目标图像；将目标图像输入训练好的特征金字塔模型，输出多个分割结果，其中，特征金字塔模型包括多个卷积层，多个卷积层之间设置有概率模块；根据多个分割结果，确定目标图像的分割图像以及分割图像的置信度的方式，达到了通过包括多层卷积层分割模型输出多个分割结果，确定分割图像，并同时确定分割图像的置信度的目的，从而实现了有效确定分割图像的不确定性，并提高图像分割的准确性，和图像分割的可靠性的技术效果，进而解决了相关技术中图像分割方法，难以有效预测分割结果的准确性，导致分割结果的可靠性较差的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种基于图像分割的置信度分析方法的流程图；

图2是根据本发明实施方式的图像分割并确定分割图像的不确定性方法的流程图；

图3是根据本发明实施方式的分割模型的示意图；

图4-1是根据本发明实施方式的待分割的目标图像的示意图；

图4-2是根据本发明实施方式的目标图像的医生标记分割的标准图像的示意图；

图4-3是根据本发明实施方式的分割模型输出的分割图像的示意图；

图4-4是根据本发明实施方式的分割图像和标准图像的不确定性图的示意图；

图5是根据本发明实施方式的Dice函数含义的示意图；

图6是根据本发明实施例的一种基于图像分割的置信度分析装置的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本发明实施例，提供了一种基于图像分割的置信度分析方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本发明实施例的一种基于图像分割的置信度分析方法的流程图，如图1所示，该方法包括如下步骤：

步骤S102，获取待分割的目标图像；

步骤S104，将目标图像输入训练好的特征金字塔模型，输出多个分割结果，其中，特征金字塔模型包括多个卷积层，多个卷积层之间设置有概率模块；

步骤S106，根据多个分割结果，确定目标图像的分割图像以及分割图像的置信度。

通过上述步骤，采用获取待分割的目标图像；将目标图像输入训练好的特征金字塔模型，输出多个分割结果，其中，特征金字塔模型包括多个卷积层，多个卷积层之间设置有概率模块；根据多个分割结果，确定目标图像的分割图像以及分割图像的置信度的方式，达到了通过包括多层卷积层分割模型输出多个分割结果，确定分割图像，并同时确定分割图像的置信度的目的，从而实现了有效确定分割图像的不确定性，也即是置信度，并提高图像分割的准确性，和图像分割的可靠性的技术效果，进而解决了相关技术中图像分割方法，难以有效预测分割结果的准确性，导致分割结果的可靠性较差的技术问题。

上述待分割的目标图像可以包括多个图像区域，对目标图像进行分割可以是从目标图像中确定出其中包括的一个或多个图像区域，由于采用深度学习方法，其卷积神经网络，对较为复杂的图像区域识别的准确率不高。而且需要多个的训练数据进行多次训练才能达到较高的准确率，其成本高，耗时长。而本实施例通过在机器学习的分割模型中设置概率模块，使得该分割模型在训练时通过一组训练数据，进行循环多次训练，由概率模块引起训练数据的变化，训练分割模型，从而节省成本。

本实施例通过具有概率模块和多个卷积层的分割模型，实现输出多个分割结果，从而将目标图像输入分割模型一次，就可对目标图像进行多次分割，不仅训练时效率高，仅需要训练一次，而且在对图像进行分割时，将多个分割结果进行综合，确定最终的分割图像，提高了目标图像的分割准确率。而且在生成分割图像时，生成多个分割结果，从而根据多个分割结果确定最终的分割图像，提高了分割图像的准确率，并根据多个分割结果，确定分割图像的不确定性，也即是上述置信度。在使用时可以结合置信度，对分割结果进行复查，提高使用者对分割结果的复查效率，也提高了使用体验。

上述分割模型包括多个卷积层，每个卷积层都可以输出一个分割结果，当然，也可以从多个卷积层中选择部分可靠或者准确率较高的卷积层，输出分割结果。由此可以输出多个分割结果。通过在卷积层中设置概率模块，可以使多个卷积层之间产生多样性，无需多组训练就可以实现得到多个分割结果的目的，极大的提高了训练和分割的效率。同时根据多个分割结果确定分割结果的不确定性，相对于现有技术中，需要单独建立不确定性识别模型，来识别分割结果的不确定性，具有更方便，效果更好，准确度更高的特点。

上述根据多个分割结果，确定目标图像的分割图像包括：对多个分割结果求平均，确定分割图像。具体的，是对多个分割结果的图像的像素点的像素值求平均，以确定最终的分割图像的像素值。从而根据多个分割结果确定目标图像的分割图像，提高分割图像的准确性，以及分割效率。

上述根据多个分割结果，确定分割图像的置信度，可以根据多个分割结果，确定分割图像的置信度分布图。具体的，可以对多个分割结果的图像的像素值，采用求方差或者求熵的方式，确定置信度分布图的像素点的像素值。从而生成置信度分布图，确定分割图像的不确定性。

具体的，本实施方式采用通过下式进行求熵的方式，确定置信度分布图的像素点的像素值：U＝-P*logP-(1-P)*(log(1-P))，式中，U为置信度分布图的像素点的像素值，P为分割图像对应的像素点的像素值。

可选的，步骤S102，获取待分割的目标图像之前，方法还包括：建立初始金字塔模型；对初始金字塔模型进行训练，得到目标金字塔模型；对目标金字塔模型进行测试，在目标金字塔模型通过测试的情况下，将目标金字塔模型作为特征金字塔模型。

上述初始金字塔模型也即是设置有概率模块的金字塔结构的卷积神经网络模型，其中包括的卷积层数可以为多层，如图3所示，初始金字塔结构的卷积神经网络模型包括五个卷积层，每个卷积层包括多个卷积块，第一层卷积层的输入经过本层的卷积块的处理后，作为第二层卷积层输入，在第二层卷积层，经过卷积块处理后，通过概率模块进行处理，再作为第三层卷积层的输入，以此类推。直至最后一层(也即是第五层)的卷积层，该第五层的卷积层只包括一个卷积块，第五层的卷积块对上一层卷积层的概率模块输出的数据进行处理，得到第五层的处理数据，将处理数据输入给第四层卷积层的用于输出的卷积块，由该卷积块输出将第四层的处理数据，通过概率修改模块，以及后续的卷积块，上采样模块进行处理，生成对应的分割结果四，同时，第四层卷积层的用于输出的卷积块将第四层的处理数据通过对应的概率模块返回第三层卷积层，由第三层用于输出的卷积块处理后，通过第三层的概率修改模块，以及后续的卷积块，上采样模块处理后，生成对应的分割结果三，同时，第三层卷积层的用于输出的卷积块将第三层的处理数据通过对应的概率模块返回第二层卷积层。以此类推，直至第二层的用于输出的卷积块将第二层的处理数据通过对应的概率模块返回第一层卷积层，第一层的用于输出的卷积块，接收第二层通过对应概率模块返回的数据后，进行处理，通过后续的卷积模块输出对应的分割结果一。从而根据五层的初始金字塔模型，输出四个分割结果。

在上述初始金字塔的目标卷积层的输出端设置上采样模块，其中，目标卷积层为在分割模型中除第一层之外且输出分割结果的卷积层。上述上采样模块也即是放大模块，用于放大卷积层输出的分割结果的图像尺寸，以保证多个卷积层输出的多个分割结果具有相同的尺寸，以便后续进行处理。

具体的，建立初始金字塔模型包括：建立原始金字塔模型；在原始金字塔模型的多个卷积层之间设置概率模块，得到初始金字塔模型。

上述原始金字塔模型也即是设置概率模块之前的金字塔模型，该金字塔模型为现有技术，也称特征金字塔，现有的特征金字塔包括FIP(Featurized Image Pyramid)，SFM(Singn Feature Map)，PFH(Pyramidal Feature Hierarchy)，以及FPN(Feature PyramidNetwork)。

上述概率模块可以为dropblock，在原始金字塔模型的多个卷积层之间设置概率模块，得到初始金字塔模型时，可以在原始金字塔模型中的中间层中设置至少一个概率模块，其中，中间层为原始金字塔模型中除第一层和最后一层之外的其他卷积层。如图3所示，在五层的金字塔特征模型中，除了第一层和第五层之外的中间层，包括第二层，第三层，第四层都设置有概率模块dropblock，而且每个中间层的概率模块对称设置，也即是在每个中间层的输入和输出均设置有概率模块，不仅可以对输入进行随机变换，还可以对输出进行随机变换，有效的对卷积层的输入和输出进行概率修改，使得每层卷积层处理的数据具有足够的多样化，极大地提高了数据的多样性，以从而产生多个分割结果，进而保证对添加概率模块后的初始金字塔模型在训练和分割过程中，具有极高的准确性。

上述原始金字塔模型的每个卷积层中包括多个卷积块，如图3所示，第一层的卷积层的卷积块的数量最多，在图3中只示出了输入和输出的两个卷积块，实际上之间距离的长箭头省略了多个卷积块，其它层的情况也类似，用箭头的长短表示了中间卷积块的数量的多少。具体的，第一层的卷积层的卷积块的数量最多，多于第二层卷积层的卷积块的数量，第二层卷积层的卷积块的数量多于第三层，第三层卷积层的卷积块的数量多于第四层，第四层卷积层的卷积块的数量多于第五层，第五层的卷积块数量为一个。整体的多个卷积层的卷积块呈倒金字塔结构。

可选的，对初始金字塔模型进行训练，得到目标金字塔模型包括：获取训练数据，其中，训练数据包括训练集和验证集，训练集和验证集均包括待分割的原图像，以及将原图像标记后的标准图像，训练集和验证集的原图像不重复；根据训练集对初始金字塔模型，进行多次训练，得到多个训练模型；将验证集的第一原图像分别输入多个训练模型，得到多个训练模型输出的多个训练分割图像；根据训练分割图像和验证集的标准图像确定训练模型的损失系数；选择损失系数最小的训练模型作为目标金字塔模型。

上述训练数据包括训练集和验证集，训练集和验证集均包括待分割的原图像，以及将原图像标记后的标准图像，训练集和验证集的原图像不重复，以保证对初始金字塔模型的训练和验证的有效性。

由于上述初始金字塔模型设置了概率模块，其在训练时概率模块可以产生数据的多样性，对其训练一次就可以达到现有技术中多次训练的效果，因此，上述训练集可以为一组训练数据，通过该训练集多次训练，就可以实现对该初始模型成倍训练的效果。针对每次训练都可以得到一个训练模型，多次训练就可以得到多个训练模型。

通过验证集对多个训练模型进行筛选。上述验证集也可以为一组验证数据，从而使得对多个训练模型的验证具有可比性，更准确的筛选出损失系数最小的训练模型作为目标金字塔模型。具体的，将验证集的第一原图像分别输入多个训练模型，由多个训练模型输出，每个第一原图像对应的多个训练分割结果，根据多个训练分割结果确定该第一原图像对应的训练分割图像，以及训练分割图像的置信度。根据该多个训练分割结果通过求方差或者求熵的方式，确定训练分割图像的置信度分布图，将置信度分布图与验证集的标准图像，通过相似度函数求二者相似度，上述相似度函数可以为dice函数。根据相似度，确定训练模型的损失系数，例如，损失函数loss＝1-η，其中，η为上述置信度分布图与验证集的标准图像的相似度，损失系数越小，说明训练分割图像与标准图像越相接近，也即是分割结果的置信度越可信，分割结果越准确，因此，选择损失系数最小的训练模型作为目标金字塔模型。

上述Dice函数的具体含义如图5所示，dice系数表示X区域和Y区域交集的面积，与X区域和Y区域并集的面积的比值。

可选的，对目标金字塔模型进行测试，在目标金字塔模型通过测试的情况下，将目标金字塔模型作为特征金字塔模型包括：获取测试数据，其中，测试数据包括待分割的原图像，以及将原图像标记后的标准图像，测试数据与训练数据不重复；将测试集的第二原图像输入目标金字塔模型，得到目标金字塔模型输出的测试分割图像；根据测试分割图像，测试分割图像的置信度，以及测试数据对目标金字塔模型进行评估；在目标金字塔模型评估通过的情况下，确认目标金字塔模型通过测试，将目标金字塔模型作为特征金字塔模型。

上述对目标金字塔测试，也即是通过测试数据，测试训练完成的目标金字塔模型是否足够准确，可以满足使用需求。上述测试数据也包括待分割的原图像，以及将原图像标记后的标准图像，与训练数据中的训练集和验证集均不重复，以保证测试数据的有效性。

将测试集的第二原图像输入目标金字塔模型，得到目标金字塔模型输出的测试分割图像，该测试分割图像是根据目标金字塔模型输出的多个测试分割结果求平均确定的。根据测试分割图像，测试分割图像的置信度，以及测试数据对目标金字塔模型进行评估。确定该目标金字塔模型的输出，是否满足要求。

具体的，根据测试分割图像，测试分割图像的置信度，以及测试数据对目标金字塔进行评估包括：根据目标金字塔模型的测试分割图像对应的多个测试分割结果，采用求方差，或者求熵的方式，确定目标金字塔模型的置信度分布图；显示置信度分布图，由使用者根据经验对其置信度分布图的准确性进行初步判断，若使用者认为该置信度分布图的准确度，明显不合格，则直接判定该置信度分布图不合格，接收不合格的置信指令，判定该目标金字塔模型不合格。若使用者初步判定该置信度分布图合格，则接收合格的置信指令，也即是指示置信分布图可信。在置信指令指示置信度分布图可信的情况下，根据置信度分布图对目标金字塔进行进一步评估。

具体的，在置信指令指示置信度分布图可信的情况下，根据置信度分布图进行进一步评估包括：根据置信度阈值对置信分布图进行筛选，得到第一区域的图像；根据置信分布图对应的测试分割图像，与测试分割图像对应的测试数据的标准图像求差，得到第二区域图像；通过相似度函数确定第一区域和第二区域的相似度；在相似度达预设相似度阈值的情况下，确定置信度分布图的目标金字塔通过评估。

根据置信度阈值对置信分布图进行筛选，得到第一区域的图像，可以通过预设的置信度阈值对该置信度分布图进行筛选，该预设的而置信度阈值，也即是判定该置信度分布图中不可信或可信的区域，具体可以为，超过该置信度阈值的置信分布图的区域为可信区域，未超过该置信度阈值的置信分布图的区域为不可信区域。上述预设的置信度阈值可以为经验值，也可以为置信度分布图中的置信度的最小值和最大值的中位值，平均值等。还可以是置信度分布图中的最小值到最大值的置信度范围中，预设位置的值，例如，60％的值，70％的值，或者80％的值。筛选后得到可信或者不可信的第一区域的图像。

然后，根据置信分布图对应的测试分割图像，与测试分割图像对应的测试数据的标准图像求差，得到第二区域图像，其重合的区域为分割正确的图像，也即是可信，差异的部分为分割错误图像，也即是不可信。上述第二区域图像可以为上述不可信的图像，则上述第一区域的图像对应的也应该为不可信的图像。在另一些实施例中，也可以根据置信分布图对应的测试分割图像，与测试分割图像对应的测试数据的标准图像求交集，也即是确定可信的第二区域图像，则第一区域的图像也对应的为可信区域的图像，这样才有可比性，来确定置信度分布图的置信度是否可信。

通过相似度函数确定第一区域和第二区域的相似度，此处的相似度函数可以与上述测试目标金字塔模型时采用的相似度函数为同一函数，例如，dice函数。当然也可以为不同的相似度函数。其目的都是为了确定第一区域的图像和第二区域的图像的相似度。在相似度达预设相似度阈值的情况下，说明置信度分布图中不可信的区域与的测试分割图像与标准图像的实际差异越相似，则说明置信度分布图越准确，确定置信度分布图的目标金字塔通过评估。

可选的，根据多个分割结果，确定目标图像的分割图像以及分割图像的置信度包括：对多个分割结果求平均，确定分割图像；根据多个分割结果，确定分割图像的置信度分布图，其中，置信度分布图用于确定分割图像的置信度。

从而使用时，根据特征金字塔模型的多个分割结果确定分割图像，以及分割图像的置信度分布图，也即是不确定性。上述置信度分布图指示确定分割图像不确定性的一种方式。

还可以通过多个分割结果求分割结果的不确定性系数，也即是确定分割模型输出的最终分割结果的准确程度，不确定性系数越高，说明分割结果准确性越差，不确定性系数越低，说明分割越准确。也即是分割模型在输出分割图像的同时，可以输出该分割图像的准确程度，也即是不确定性系数，从而方便使用者在根据分割结果进行查看时，根据其不确定性系数，可以进行不同的操作。

需要说明的是，本申请实施例还提供了一种可选的实施方式，下面对该实施方式进行详细说明。

本实施方式针对卷积神经网络，并没有使用普通的概率模块dropout，而是采用了更为有效的dropblock，使之能够更加准确的预测分割中不确定性。上述dropout是指在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃。

鉴于目前方法大多需要多次训练和预测，引入了金字塔结构的卷积神经网络模型，在保证整体分割不确定性预测的准确率的情况下，只需要一个训练一次预测即可计算分割不确定性，大大提高了速度。

图2是根据本发明实施方式的图像分割的流程图，如图2所示，测试流程如下:

1.训练流程图：

训练数据不限于CT图像，当前实验数据输入格式为numpy，但不限于该格式。

如果数据较差，需要进行归一化及数据处理。

图3是根据本发明实施方式的分割模型的示意图，如图3所示，其中整体模型的结构图如下：

包括深度学习中的卷积块conv，添加的概率模块dropblock，用于概率修改神经网络以此产生多样性，上采样模块upsample，神经网络中的每层最终输出的分割结果pred，包括分割结果一pred1，分割结果二pred2，分割结果三pred3，分割结果四pred4，输出尺寸大小一致，加权模块loss主要用于训练时对每层输出进行加权计算loss函数值(BCE loss和dice loss简单加权1:1)来训练，测试时就不需要了。本实施方式采用了类图像金字塔结构和dropblock概率模块，在能保证网络结构的多样性，保证分割不确定性的预测准确率效果的情况下成本也很低。

训练流程步骤说明：

训练时对数据进行数据增强后输入到以上神经网络中，然后每层都会神经网络都会输出一个同等大小的分割结果pred(图3的pred1，pred2，pred3，pred4)，然后对这四个输出分别进行loss计算并累加，然后进行反向传播，记loss函数为fun，则最终loss计算公式为：

loss＝(fun(pred1)+fun(pred2)+fun(pred3)+fun(pred4))/4，

该训练模型为金字塔结构的卷积神经网络模型，通过向其结构添加dropblock概率模块构造不确定性，同时借鉴金字塔结构的卷积神经网络模型的思路，充分利用每层输出，以此来减少预测时需要多次计算的成本。

在测试时，输入需要分割的数据，只需要用训练好的模型预测一次，就会生成四个预测结果图，利用神经网络每层获取特征能力的不同(因为神经网络中每层关注侧重点都不同，但是假如每层都预测出来了，说明网络对预测很自信，反之，则说明网络对预测不那么自信)，去计算分割的不确定性。

分割不确定性具体计算方式为：对于生成的四个预测图，求其平均，然后对每个像素点计算熵，最后这个熵值的图即可作为不确定性图(或者对这四个预测图按像素点求方差也可作为不确定性图，本实施方式评估阶段采用熵作为指标)。

不确定性具体计算公式为：

pred＝(pred1+pred2+pred3+pred4)/4，

uncertainty＝-pred*log(pred)–(1–pred)*(log(1–pred))，

式中，pred为最终的分割图像的像素点的像素值，pred1，pred2，pred3，pred4分贝为分割结果一、二、三、四的对应像素点的像素值，uncertainty为分割图像的置信度分布图的对应的像素点的像素值。

2.模型评估

1)初步评估：

以不确定图的形式直观体现出来，如下：

图4-1是根据本发明实施方式的待分割的目标图像的示意图，如图4-1，为要分割的原图(表示测试/训练模型图的输入)，图4-2是根据本发明实施方式的目标图像的医生标记分割的标准图像的示意图，如图4-2所示，为医生标记的分割图(真实mask图，训练时计算loss)，图4-3是根据本发明实施方式的分割模型输出的分割图像的示意图，如图4-3所示，为模型预测的分割图(表示测试/训练模型图的分割输出图，这里是四个输出pred的平均)，图4-4是根据本发明实施方式的分割图像和标准图像的不确定性图的示意图，如图4-4所示，为模型给出的不确定性图(用模型预测的分割图进一步计算得到的不确定性图，是基于左下角的图做出的进一步处理得到的；颜色越黄，代表该部分预测结果越不确定，比如右下图中间部分，本来应该是不存在的，但是网络预测出来了，那么左下角的分割不确定性图上那部分就应该在那个位置时深黄色的)，可以很直观的看到对于模型预测错误部分，模型也可以很大程度上给出它的不确定性。

2)进一步评估(dice评估)：

一.利用阈值筛选出不确定图中不确定的部分，也就是图4-4中的部分，定义为块A，

二.利用医生画出来的分割图(图4-2)和网络预测分割图(图4-3)求出两者不一样的部分(也就是预测错误部分)，定义为块B，然后求块A和块B的dice系数，dice系数越高，说明不确定性预测越准确。

补充：Dice系数是一种集合相似度的度量函数，可以用于计算两个样本的相似度，图5是根据本发明实施方式的Dice函数含义的示意图，Dice函数的具体含义如图5所示，dice系数表示X区域和Y区域交集的面积，与X区域和Y区域并集的面积的比值。

本实施方式充分利用金字塔结构的卷积神经网络模型每层提取特征能力的不同来获取分割不确定性，计算分割不确定性时只用测试一次，成本低；由于加入了概率模块dropblock，可以更直观，更准确地预测分割中不确定性；本实施方式旨在真正应用于临床，提出新的基于“深度学习”的分割不确定性预测流程，能够帮助医生更快的验证分割系统给出的分割结果，缩短时间，提高准确性。

图6是根据本发明实施例的一种的图像分割装置的示意图，如图6所示，根据本发明实施例的另一方面，还提供了一种图像分割装置，包括：获取模块62，分割模块64，确定模块66，下面对该装置进行详细说明。

获取模块62，用于获取待分割的目标图像；分割模块64，与上述获取模块62相连，用于将目标图像输入训练好的特征金字塔模型，输出多个分割结果，其中，特征金字塔模型包括多个卷积层，多个卷积层之间设置有概率模块；确定模块66，与上述分割模块64相连，用于根据多个分割结果，确定目标图像的分割图像以及分割图像的置信度。

通过上述装置，采用获取待分割的目标图像；将目标图像输入训练好的特征金字塔模型，输出多个分割结果，其中，特征金字塔模型包括多个卷积层，多个卷积层之间设置有概率模块；根据多个分割结果，确定目标图像的分割图像以及分割图像的置信度的方式，达到了通过包括多层卷积层分割模型输出多个分割结果，确定分割图像，并同时确定分割图像的置信度的目的，从而实现了有效确定分割图像的不确定性，并提高图像分割的准确性，和图像分割的可靠性的技术效果，进而解决了相关技术中图像分割方法，难以有效预测分割结果的准确性，导致分割结果的可靠性较差的技术问题。

根据本发明实施例的另一方面，还提供了一种处理器，处理器用于运行程序，其中，程序运行时执行上述中任意一项的基于图像分割的置信度分析方法。

根据本发明实施例的另一方面，还提供了一种计算机存储介质，述计算机存储介质包括存储的程序，其中，在程序运行时控制计算机存储介质所在设备执行上述中任意一项的基于图像分割的置信度分析方法。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (11)

1.一种基于图像分割的置信度分析方法，其特征在于，包括：

获取待分割的目标图像；

将所述目标图像输入训练好的特征金字塔模型，输出多个分割结果，其中，所述特征金字塔模型包括多个卷积层，多个卷积层之间设置有概率模块；

根据多个所述分割结果，确定所述目标图像的分割图像以及所述分割图像的置信度。

2.根据权利要求1所述的方法，其特征在于，获取待分割的目标图像之前，所述方法还包括：

建立初始金字塔模型；

对所述初始金字塔模型进行训练，得到目标金字塔模型；

对所述目标金字塔模型进行测试，在所述目标金字塔模型通过测试的情况下，将所述目标金字塔模型作为所述特征金字塔模型。

3.根据权利要求2所述的方法，其特征在于，建立初始金字塔模型包括：

建立原始金字塔模型；

在所述原始金字塔模型的多个卷积层之间设置所述概率模块，得到所述初始金字塔模型。

4.根据权利要求3所述的方法，其特征在于，在所述原始特征金字塔模型的多个卷积层之间设置所述概率模块，得到所述初始金字塔模型包括：

在所述原始金字塔模型中的中间层中设置至少一个概率模块，其中，所述中间层为所述原始金字塔模型中除第一层和最后一层之外的其他卷积层。

5.根据权利要求2所述的方法，其特征在于，对所述初始金字塔模型进行训练，得到目标金字塔模型包括：

获取训练数据，其中，所述训练数据包括训练集和验证集，所述训练集和验证集均包括待分割的原图像，以及将所述原图像标记后的标准图像，所述训练集和验证集的原图像不重复；

根据所述训练集对所述初始金字塔模型，进行多次训练，得到多个训练模型；

将验证集的第一原图像分别输入多个训练模型，得到多个训练模型输出的多个训练分割图像；

根据所述训练分割图像和所述验证集的标准图像确定所述训练模型的损失系数；

选择所述损失系数最小的训练模型作为所述目标金字塔模型。

6.根据权利要求5所述的方法，其特征在于，对所述目标金字塔模型进行测试，在所述目标金字塔模型通过测试的情况下，将所述目标金字塔模型作为所述特征金字塔模型包括：

获取测试数据，其中，所述测试数据包括待分割的原图像，以及将所述原图像标记后的标准图像，所述测试数据与所述训练数据不重复；

将所述测试集的第二原图像输入所述目标金字塔模型，得到所述目标金字塔模型输出的测试分割图像，以及测试分割图像的置信度；

根据所述测试分割图像，测试分割图像的置信度，以及所述测试数据对所述目标金字塔模型进行评估；

在所述目标金字塔模型评估通过的情况下，确认所述目标金字塔模型通过测试，将所述目标金字塔模型作为所述特征金字塔模型。

7.根据权利要求6所述的方法，其特征在于，根据所述测试分割图像，测试分割图像的置信度，以及所述测试数据对所述目标金字塔进行评估包括：

根据所述目标金字塔模型的所述测试分割图像对应的多个测试分割结果，采用求方差，或者求熵的方式，确定所述目标金字塔模型的置信度分布图；

显示所述置信度分布图，接收对所述置信分布图的置信指令；

在所述置信指令指示所述置信度分布图可信的情况下，根据所述置信度分布图对所述目标金字塔进行进一步评估。

8.根据权利要求7所述的方法，其特征在于，在所述置信指令指示所述置信度分布图可信的情况下，根据所述置信度分布图进行进一步评估包括：

根据置信度阈值对所述置信分布图进行筛选，得到第一区域的图像；

根据所述置信分布图对应的测试分割图像，与所述测试分割图像对应的测试数据的标准图像求差，得到第二区域图像；

通过相似度函数确定所述第一区域和所述第二区域的相似度；

在所述相似度达预设相似度阈值的情况下，确定所述置信度分布图的目标金字塔通过评估。

9.根据权利要求1至8中任意一项所述的方法，其特征在于，根据多个所述分割结果，确定所述目标图像的分割图像以及所述分割图像的置信度包括：

对所述多个分割结果求平均，确定所述分割图像；

根据所述多个分割结果，确定所述分割图像的置信度分布图，其中，所述置信度分布图用于确定所述分割图像的置信度。

10.一种基于图像分割的置信度分析装置，其特征在于，包括：

获取模块，用于获取待分割的目标图像；

分割模块，用于将所述目标图像输入训练好的特征金字塔模型，输出多个分割结果，其中，所述特征金字塔模型包括多个卷积层，多个卷积层之间设置有概率模块；

确定模块，用于根据多个所述分割结果，确定所述目标图像的分割图像以及所述分割图像的置信度。

11.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至9中任意一项所述的方法。

Images