CN110232678B - 一种图像不确定度预测方法、装置、设备及存储介质 - Google Patents

Abstract

本发明涉及一种图像不确定度预测方法、装置、设备及存储介质，所述方法包括：获取训练图像集，对所述训练图像集中的每张图像进行标注，得到标注图像集；初始化预设深度学习模型，所述预设深度学习模型包括分布采样网络和图像分割网络；基于所述训练图像集和所述标注图像集对所述预设深度学习模型进行训练，得到第一预测模型；从所述第一预测模型中抽取出第二预测模型；获取目标图像，通过所述第二预测模型对所述目标图像进行图像不确定度的预测。本发明给出了一种不确定度的预测方法，并且通过一次前向计算可以获得多样化的蒙特卡洛样本，在减少计算量的同时，使得不确定度估计更精准。

Description

一种图像不确定度预测方法、装置、设备及存储介质

技术领域

本发明涉及人工智能技术领域，尤其涉及一种图像不确定度预测方法、装置、设备及存储介质。

背景技术

当前深度学习中的分类、检测、分割等神经网络，需要对最后一层全连接层采用一种激活函数进行概率映射操作，激活函数无一例外的选择softmax或sigmoid作为理想的概率映射函数，把输出结果映射回[0，1]之间作为算法的输出概率值。例如，当输入的值位于某一区间时，输出值会极不稳定上下浮动，当经过激活函数之后，浮动的不确定度消失了，取而代之的是一个稳定的结果。由此可知，采用激活函数作为后续处理时，在置信度高的区间内并不能很好地描述这种不确定性。

因此，在实际应用中，算法给出的“度量”并不是准确的，例如在临床应用领域，模型根据输入的图像判定为一种疾病并给出了较高的概率，但是直接将输出的判断概率当成置信度是不可靠的，因此需要一个新的置信度指标来对结果进行量化。

发明内容

本发明所要解决的技术问题在于，提供一种图像不确定度预测方法、装置、设备及存储介质，通过一次前向计算可以获得多样化的蒙特卡洛样本，在减少计算量的同时，使得不确定度估计更精准。

为了解决上述技术问题，一方面，本发明提供了一种图像不确定度预测方法，所述方法包括：

获取训练图像集，对所述训练图像集中的每张图像进行标注，得到标注图像集；

初始化预设深度学习模型，所述预设深度学习模型包括分布采样网络和图像分割网络；

基于所述训练图像集和所述标注图像集对所述预设深度学习模型进行训练，得到第一预测模型；其中，对于每张图像，将当前图像分别输入所述图像分割网络和所述分布采样网络，得到图像分割特征和若干个隐变量，根据所述图像分割特征、所述若干个隐变量以及与当前图像对应的标注图像，对所述预设深度学习模型进行训练；

从所述第一预测模型中抽取出第二预测模型；

获取目标图像，通过所述第二预测模型对所述目标图像进行图像不确定度的预测。

另一方面，本发明提供了一种图像不确定度预测装置，所述装置包括：

训练集获取模块，用于获取训练图像集，对所述训练图像集中的每张图像进行标注，得到标注图像集；

初始化模块，用于初始化预设深度学习模型，所述预设深度学习模型包括分布采样网络和图像分割网络；

训练模块，用于基于所述训练图像集和所述标注图像集对所述预设深度学习模型进行训练，得到第一预测模型；其中，对于每张图像，将当前图像分别输入所述图像分割网络和所述分布采样网络，得到图像分割特征和若干个隐变量，根据所述图像分割特征、所述若干个隐变量以及与当前图像对应的标注图像，对所述预设深度学习模型进行训练；

抽取模块，用于从所述第一预测模型中抽取出第二预测模型；

不确定度预测模块，用于获取目标图像，通过所述第二预测模型对所述目标图像进行图像不确定度的预测。

另一方面，本发明还提供了一种设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述的图像不确定度预测方法。

另一方面，本发明还提供了一种计算机存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行如上述的图像不确定度预测方法。

实施本发明实施例，具有如下有益效果：

本发明通过对获取的训练图像集进行标注，并基于训练图像集和标注图像集对预设的深度学习模型进行训练，得到第一预测模型；其中，对于每张图像的处理，将当前图像输入到预设模型中，得到当前图像的分割特征和若干个隐变量，根据图像分割特征，若干个隐变量以及与当前图像对应的标注图像，对预设的深度学习模型进行训练；从训练好的第一预测模型中抽取出第二预测模型，用于对目标图像进行图像不确定度的预测。本发明采用图像不确定度对输入图像进行预测量化，并且只需要一次前向计算，就可以获得多样化的蒙特卡洛采样样本，在减少计算量的同时，使得图像不确定度的预测更加精准。

附图说明

图1是本发明实施例提供的一种应用环境示意图；

图2是本发明实施例提供的激活函数输入与输出的关系图；

图3是本发明实施例提供的一种图像不确定度预测方法流程示意图；

图4是本发明实施例提供的不同形态的蒙特卡洛采样方式示意图；

图5是本发明实施例提供的一种蒙特卡洛采样变量获取方法示意图；

图6是本发明实施例提供的一种预测模型的训练框架图；

图7是本发明实施例提供的一种图像分割输出样本的处理方法示意图；

图8是本发明实施例提供的一种交叉熵计算方法流程示意图；

图9是本发明实施例提供的另一种图像不确定度预测方法流程示意图；

图10是本发明实施例提供的一种测试框架示意图；

图11是本发明实施例提供的一种图像不确定度预测装置示意图；

图12是本发明实施例提供的采样模块示意图；

图13是本发明实施例提供的样本处理模块示意图；

图14是本发明实施例提供的交叉熵计算模块示意图；

图15是本发明实施例提供的不确定度预测模块示意图；

图16是本发明实施例提供的一种设备结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

请参见图1，其示出了本申请实施例提供的一种应用环境示意图，如图1所示，该应用环境至少可以包括用户终端110和服务器120。

本说明书实施例中，所述用户终端110可以包括智能手机、台式电脑、平板电脑、笔记本电脑、数字助理、智能可穿戴设备等类型的实体设备，也可以包括运行于实体设备中的软体，例如应用程序、网站等。本申请实施例中用户终端上运行的操作系统可以包括但不限于安卓系统、IOS系统、linux、windows等。具体地，所述用户终端110可以用于基于服务器120训练得到的图像不确定度预测模型进行图像不确定度的预测。

本说明书实施例中，所述服务器120可以包括一个独立运行的服务器，或者分布式服务器，或者由多个服务器组成的服务器集群。具体的，所述服务器120可以用于进行图像不确定预测模型的训练，以及图像不确定度的预测。

现有技术中，对于神经网络需要在最后的全连接层通过激活函数进行概率映射操作，把输出结果映射回[0,1]之间作为算法的输出概率值，如图2中左图所示，当输入x的值位于灰色区域时(大约x处于2.5之后)，输出f(x)会极不稳定上下浮动；图2的右图为当输入x的值位于灰色区域时(大约x处于2.5之后)，输出σ(f(x))的值的情况。很显然，经过激活函数(sigmoid，softmax这类型的函数)操作以后，这种浮动的不确定消失了，取而代之的是一个稳定的结果“1.0”。从图中可以看出，采用激活函数作为后处理时，在置信度高的区间内并不能很好地描述这种不确定性。

为了解决现有技术中存在的问题，本实施例提供了一种不确定度预测方法，主要针对图像进行预测，以下介绍本发明实施例提供的一种图像不确定度预测方法，可参见图3，其示出了图像不确定度预测方法流程示意图，所述方法包括：

S310.获取训练图像集，对所述训练图像集中的每张图像进行标注，得到标注图像集。

本发明实施例中采用有监督的模型训练方法，故在获取到用于训练的图像集合时，需要根据预设的规则，对每个图像进行相应的标注，得到标注图像集合。

S320.初始化预设深度学习模型，所述预设深度学习模型包括分布采样网络和图像分割网络。

本实施例中的深度学习模型主要可以由两大部分组成，分布采样网络主要用于对输入图像及标注图像所在的概率分布进行估计，拟合出高维的分布模型，然后在高维模型中进行若干次蒙特卡洛采样得到若干个隐变量。

S330.基于所述训练图像集和所述标注图像集对所述预设深度学习模型进行训练，得到第一预测模型。

其中，对于每张图像，将当前图像分别输入所述图像分割网络和所述分布采样网络，得到图像分割特征和若干个隐变量，根据所述图像分割特征、所述若干个隐变量以及与当前图像对应的标注图像，对所述预设深度学习模型进行训练。

通过对训练图像集中的每个图像，以及相应的标注图像，对预设的深度学习模型进行训练，对相关参数进行更新，直到网络收敛，本实施例中，收敛条件可以为：当K-L散度损失和交叉熵损失变化小于一个预设值，如10^-3，最终得到第一预测模型。

S340.从所述第一预测模型中抽取出第二预测模型。

第一预测模型中的部分网络模型是用于辅助模型训练而设置的，其只应用于模型训练阶段，在具体的不确定度预测过程中不起作用，故最终需要的预测模型是从第一预测模型中抽取出的第二预测模型，其包含了第一预测模型的一部分网络。

S350.获取目标图像，通过所述第二预测模型对所述目标图像进行图像不确定度的预测。

将目标图像输入第二预测模型，可以预测目标图像的不确定度。

需要说明的是，本发明实施例中的“不确定度”指标是基于贝叶斯理论上给出的量化指标；本实施例中的模型训练采用端到端的训练方式。

本实施例上述的一种图像不确定预测方法，通过训练图像集和标注图像集对预设的深度学习模型进行训练，得到第一预测模型，并从第一预测模型中抽取出第二预测模型进行目标图像的图像不确定的预测。通过预测图像的不确定度，避免了直接采用输出概率作为最终结果的判断依据从而导致判断错误的问题，预测的不确定度为最终的结果判断提供了一种量化指标，有助于提高最终结果判断的准确性。

对于不确定度的获取一般采用蒙特卡洛采样方法，常用的不同形态的蒙特卡洛采样方式可参见图4。

图4中的a图，通过在不同的Dropout层(可看成是一个可变层)进行m次前向而得到m个不同的蒙特卡洛样本。现有技术中通过利用一个训练好的网络，通过添加Dropout层，得到一个基于深度学习的蒙特卡洛网络，通过前向计算T次计算得到T个不同的输出结果，将不同的输出结果称作蒙特卡洛采样样本(MC Samples)，得到采样样本之后，便可进行不确定度的计算。

图4中的b图，采用的是集成(ensemble)的方法，即采用m个不同的网络进行一次前向，从而获得m个不同的蒙特卡洛样本。

图4中的c图，采用了m个不同的网络头部(m-head)，通过同一个网络主干(backbone)进行一次前向获得m个不同的蒙特卡洛样本。网络主干是指深度学习模型中共同的部分。

以上所述的三种蒙特卡洛采样方法中，a图所示的方法需要多次进行蒙特卡洛的前向运算，耗费大量的时间和计算量；b图所示的方法虽然只进行了一次前向，但是网络的参数量扩增了m倍，无法应用于实际问题中；c图中所示的方法虽然尽在网络头部产生了分支，但是由于主干是相同的，因此导致了产生的蒙特卡洛样本的多样性不高。

因此，本发明提供了一种蒙特卡洛隐变量获取方法，对于本实施例上述的预设深度学习模型包括分布采样网络和图像分割网络，其中，分布采样网络还包括先验网络和后验网络，蒙特卡洛采样变量获取方法具体可参见图5，所述方法包括：

S510.将当前图像分别输入到所述先验网络和所述分割网络，将当前图像以及与当前图像相对应的标注图像进行叠加，输入所述后验网络。

本实施例中，先验网络和分割网络的输入可以只包括当前图像，而后验网络的输入可以包括当前图像以及与当前图像对应的标注图像，具体的模型可参见图6，其示出了一种预测模型的训练框架图，如图6所示，输入图像分为三个支路，与相关网络相对应，具体可以包括：先验支路、后验支路以及分割支路。

S520.根据所述先验网络的输出结果拟合当前图像的先验概率分布，根据所述后验网络的输出结果拟合当前图像的后验概率分布。

先验支路中，图像进入先验网络的编码器结构，先验编码器输出先验多维高斯分布的均值μ_先验以及方差σ_先验；后验支路中，输入图像与标注图像联合输入后验编码器，输出后验多维高斯分布的均值μ_后验以及方差σ_后验，需要说明的是，这里的先验编码器与后验编码器结构相同。

S530.计算所述先验概率分布和所述后验概率分布的散度损失，根据所述散度损失更新所述先验网络的模型参数和所述后验网络的模型参数。

每输入一个图像，在得到其对应的先验多维高斯分布的均值μ_先验以及方差σ_先验，后验多维高斯分布的均值μ_后验以及方差σ_后验后，需要根据模型的输出结果反向更新模型的相关参数，这里引进了散度损失的概念，具体地，在分别得到先验网络和后验网络的均值和方差之后，便可确定其分别对应的高斯概率分布，计算这两个多维高斯分布的K-L散度损失，K-L损失的作用是通过深度学习能够利用先验网络来逼近后验的分布，其计算公式为：

其中，p为真实分布，使用q来近似p，有上述公式(1)可以看出，D_KL(p||q)就是q和p对数差值的期望，所以K-L散度可以表示为：

D_KL(p||q)＝E[log p(x)-log q(x)]   (2)

每输入一个图像，进行一次计算之后，确定相应的概率分布，并根据输出的概率分布，计算一次两者的散度损失，从而反向更新先验网络和后验网络的相关参数。需要说明的是，先验网络和后验网络的模型结构相同，即在更新相关参数的时候，先验网络和后验网络是同步更新的。

S540.根据所述先验概率分布进行若干次蒙特卡洛采样，得到若干个隐变量。

对于先验网络确定的多维高斯分布，从中进行若干次蒙特卡洛采样，得到若干个蒙特卡洛采样变量，比如5次，10次，50次等，具体的采样次数可根据实际实施情况而定，这里不作具体限定。

上述的蒙特卡洛采样变量获取方法，只需要将当前图像输入网络，进行一次前向计算，根据输出的结果便可进行若干次蒙特卡洛采样，从而得到若干个蒙特卡洛采样变量，减少了网络的计算量；另外，使得网络反向可导，根据输出结果确定概率分布，通过计算散度损失反向更新模型参数。

对于每一个图像，在得到与其对应的若干个采样变量时，将其加入到分割的图像特征中去，便形成了若干个蒙特卡洛采样样本，具体的实施过程可参见图7，其示出了一种图像分割输出样本的处理方法，其中包括了图像分割输出样本的形成过程以及图像分割输出样本的处理过程，所述方法具体可以包括：

S710.将所述若干个隐变量分别叠加到所述图像分割特征中，形成若干个蒙特卡洛特征，对若干个蒙特卡洛特征进行卷积操作后得到若干个图像分割输出样本。

图像的具体分割操作是在图像分割网络完成的，本实施例中，图像分割网络的主干可以采用典型的Unet结构。根据上述采样变量获取方法进行蒙特卡洛采样后得到的多维高斯分布隐变量分别叠加到图像分割网络的特征中去，由于每次采样都是随机的，因此每次的隐变量均不同，将隐变量叠加到分割网络的图像特征中去，形成的图像特征也不相同，即可通过特征多样化以达到输出结果多样性的目的。

需要说明的是，本实施例中分割网络采用的Unet结构，任何能够实现分割网络相关功能的结构均可应用于本实施例中，比如可以替换成现有的PSPNet、DeepLabv3、DenseNet等，本实施例中不作具体限定。

上述隐变量叠加到图像分割网络中，是在输出层的前一层进行叠加的，即图像分割网络最终的输出结果是图像分割特征与隐变量叠加之后再进行卷积的结果，可以将其看成是图像分割输出样本。若干次采样对应若干个隐变量，对应若干个图像分割输出样本。

S720.根据若干个图像分割输出样本，确定图像分割网络的输出图像和当前图像对应的标注图像的交叉熵。

交叉熵可在机器学习中作为损失函数，交叉熵损失函数可以衡量真实标记的分布和训练后的模型的预测分布的相似性。

具体地，请参见图8，本实施例中的交叉熵计算的方法包括：

S810.计算若干个图像分割输出样本的均值，得到平均图像。

由于对于每一个图像，在图像分割网络的输出，会有若干个图像分割输出样本，此时需要对这若干个图像分割输出样本计算均值，得到当前图像的平均图像。

S820.计算所述平均图像与所述标注图像的交叉熵。

交叉熵的具体计算公式如下式所示：

y是标注图像的概率分布，p是模型预测图像的概率分布，j对应于每个像素点。

采用上述公式(3)计算平均图像与标注图像的交叉熵，对于每一个图像，只需要计算一次交叉熵。经过分割支路网络得到的不同输出结果与标注图像进行交叉熵损失计算，调整分割网络的参数以增加蒙特卡洛样本与标注图像的相似性。

S730.根据所述交叉熵更新所述图像分割网络、所述先验网络、所述后验网络的模型参数。

通过反向传播，根据计算的交叉熵，更新整个网络的模型参数，包括对先验网络、后验网络以及图像分割网络的模型参数的更新。

其具体的实现过程可基于图6所示的训练框架图，在分割网络的最后一层输出图像分割输出样本，对于同一图像，计算所有输出样本的平均值，再计算平均值与标注图像的交叉熵以更新图像分割网络的模型参数。

由图5所示的蒙特卡洛采样变量获取方法以及图7所示的图像分割输出样本的处理方法可知，本发明实施例将采样变量的获取和图像样本的获取分成两个独立的网络模块来实现，区别于现有技术中将采样变量和图像样本获取的网络一体化的实现方式，本实施例所提供的实施方式采用一次主干前向与若干次蒙特卡洛层的采样相结合，极大减少网络的计算量；并且这种蒙特卡洛采样方式使得网络反向可导，且生成的蒙特卡洛样本更加多样化，使得不确定度的估计更精准。

在基于上述实施例获得的预测模型的基础上，本实施例提供了另一种图像不确定度预测方法，请参见图9，所述方法包括：

S910.从所述第一预测模型中抽取出所述先验网络和所述分割网络，构成所述第二预测模型。

第一预测模型中的部分网络模型是用于辅助模型训练而设置的，其只应用于模型训练阶段，在具体的不确定度预测过程中不起作用，故最终需要的预测模型是从第一预测模型中抽取出的第二预测模型，其包含了第一预测模型的一部分网络。

在具体的实施过程中，可从第一预测模型中抽取出先验网络和分割网络，构成第二预测模型。

S920.将所述目标图像输入所述第二预测模型，通过所述第二预测模型中的先验网络拟合出与所述目标图像对应的先验概率分布，通过所述第二预测模型中的分割网络得到目标分割特征。

这里将目标对象分别输入到先验网络和分割网络，通过先验网络确定与目标图像对应的多维高斯分布，通过图像分割模块得到目标图像的分割特征。

S930.根据所述目标图像的先验概率分布进行蒙特卡洛采样，得到若干个目标蒙特卡洛隐变量。

S940.将若干个目标蒙特卡洛隐变量分别叠加到所述目标分割特征中，形成若干个目标蒙特卡洛特征。

S950.对若干个目标蒙特卡洛特征进行卷积操作后得到若干个目标图像样本，根据若干个目标图像样本，计算所述目标图像的不确定度。

在获得目标图像的高斯分布以及分割特征之后，便可得到目标图像样本，具体的样本获取方式与本实施上述样本获取方式一致，在此不再赘述。

图9的图像不确定度预测方法可基于图10所示的测试框架图进行实现，当训练好先验网络之后，将后验网络去掉，把先验网络达成后验网络来使用。这时输入一个测试图像，测试图像会经过先验网络计算出多维高斯分布的均值μ_测试以及方差σ_测试；拟合多维高斯分布后一次采样m个多维高斯样本插入到分割网络的特征图中，即可根据一次前向操作取得多个蒙特卡洛样本。

测试框架相比于训练框架，在得到多个蒙特卡洛样本之后，根据多个样本可以获得最终的测试图片的分割结果图以及相应的不确定图，具体地，把网络分割出来的m个蒙特卡洛样本分别分割预测模块以及不确定度计算模块中。其中，分割预测模块主要是对蒙特卡洛样本进行取平均的操作，计算m个蒙特卡洛样本相加的均值得到网络的分割预测结果图；对于不确定度的计算，本实施例提供了以下几种不确定度的计算方法：

(1)方差不确定度(MC Sample Variance Uncertainty)

方差不确定度需要计算T个不同输出结果的方差，即：

var(Y₁,...,Y_T)   (4)

(2)预测熵不确定度(Predictive Entropy Uncertainty)

预测熵不确定度用于衡量密度预测函数中信息量的多少，如下式子所示，其中输入像素点

C为类别总数，T为MC Sample的个数，Wt为网络的参数，

为网络的预测结果，p为概率值，H为预测熵不确定度。

(3)互信息不确定度(Mutual Information Uncertainty)

互信息不确定度用于衡量模型的后验密度函数和预测密度函数的信息熵，公式如下：

本实施例中具体采用哪种不确定度计算方法来计算测试图像的不确定度可根据实际情况进行选择；另外，本实施例中没有涉及的其他可以实现本实施例中图像不确定度计算方法的均可以应用于本实施例中。

从图10中可以看出，不确定度图在边缘预测的部分变得高亮，因此说明网络在这块的分割结果是不能保证的。

下面以一个具体的例子来说明本实施例中的图像不确定预测方法的具体实施过程，具体可以分为以下几大步骤：

(1)训练数据集

本实施例中训练集Optovue 573张，测试集Optovue、海德堡各50张，图像大小统一为630×496。

(2)参数初始化

网络的先验、后验、分割模块均采用方差为0.01，均值为0的高斯分布进行初始化，我们设定多维高斯分布的维度为6。本实施例中的先验网络和后验网络可以为任意卷积神经网络CNN分类器结构。

(3)数据预处理及训练

训练图像需要被统一缩放至630×496的大小。随后统一对图像进行标准化(减图像均值除以图像方差)，并做(-30°～+30°)的随机旋转、随机水平翻转、随机弹性形变、添加随机speckle噪声操作。本技术方案采用基于Adam的梯度下降法来求解神经网络模型的卷积层参数w和偏置参数b，采用每20K次迭代以90％对学习率进行衰减的方式进行训练。

(4)预测

测试图像需要经过统一缩放裁剪，然后进行标准化，输入测试阶段框架。测试阶段设定蒙特卡洛次数为采样5次，不确定度计算模块采用方差不确定度计算方式实现，分割预测模块采用计算蒙特卡洛样本均值的方式计算。

(5)硬件环境

本实施例的技术方法采用Pytorch实现，在Nvidia Tesla P40显卡上运行。

光学相干断层扫描(OCT)是近年来一种新的成像技术，能够对生物组织的各个方面进行成像，如结构信息、血流、弹性参数等。OCT在对眼底结构观察的清晰度高于其他检查方法，用于观察眼底时能够将视网膜神经纤维、内外从、核层、锥杆细胞层、色素上皮层等清晰区分开，因此对诊断黄斑裂孔、中心性浆液性脉络膜视网膜病变、囊样水肿等都有很好的效果。目前现有对眼后段(眼底)OCT的算法研究包括视网膜层的分割、病灶的检测、疾病的分类、转诊级别分类等；然而在实际应用中，算法所给出的“度量”并不是准确的。比如，一张网络没有见过的图像要让网络来进行预测疾病，这时网络判断成了其中一类疾病，并且给出概率高达0.99。显然，这种概率当成置信度是不可靠的，通过本实施例提供的方法计算其相应的图像不确定度，假设网络可能会给出不确定度为0.7，医生会认为网络给出的结果不一定可靠，而再仔细诊断疾病图像，在一定程度上可以减少AI导致医生判断错误的风险。

本实施例中的方法可以应用于不同设备的OCT图像分类、分割算法中，为医生提供一种不确定度的估算指标，该指标能够提供医生AI算法结果的可靠度，在一定程度上可以减少AI误诊导致医生误诊的风险。

本发明实施例提供了一种不确定度的概念，在临床使用上能够为医生提供定量化的AI预测风险指标，通过一次前向计算可以获得多样化的蒙特卡洛样本，极大减少计算量的同时，使得不确定度估计更精准。

请参见图11，其示出了一种图像不确定度预测装置，所述装置包括：

训练集获取模块1110，用于获取训练图像集，对所述训练图像集中的每张图像进行标注，得到标注图像集。

初始化模块1120，用于初始化预设深度学习模型，所述预设深度学习模型包括分布采样网络和图像分割网络。

训练模块1130，用于基于所述训练图像集和所述标注图像集对所述预设深度学习模型进行训练，得到第一预测模型；其中，对于每张图像，将当前图像分别输入所述图像分割网络和所述分布采样网络，得到图像分割特征和若干次采样结果，根据所述图像分割特征、所述若干次采样结果以及与当前图像对应的标注图像，对所述预设深度学习模型进行训练。

抽取模块1140，用于从所述第一预测模型中抽取出第二预测模型。

不确定度预测模块1150，用于获取目标图像，通过所述第二预测模型对所述目标图像进行图像不确定度的预测。

请参见图12，所述分布采样网络包括先验网络和后验网络，所述训练模块1130包括采样模块，所述采样模块包括：

图像输入模块1210，用于将当前图像分别输入到所述先验网络和所述分割网络，将当前图像以及与当前图像相对应的标注图像进行叠加，输入所述后验网络。

概率分布确定模块1220，用于根据所述先验网络的输出结果拟合当前图像的先验概率分布，根据所述后验网络的输出结果拟合当前图像的后验概率分布。

第一更新模块1230，用于计算所述先验概率分布和所述后验概率分布的散度损失，根据所述散度损失更新所述先验网络的模型参数和所述后验网络的模型参数。

采样变量获取模块1240，用于根据所述先验概率分布进行若干次蒙特卡洛采样，得到若干个隐变量。

请参见图13，所述训练模块1130包括样本处理模块，所述样本处理模块包括：

输出样本形成模块1310，用于将所述若干个隐变量分别叠加到所述图像分割特征中，形成若干个蒙特卡洛特征，对若干个蒙特卡洛特征进行卷积操作后得到若干个图像分割输出样本；

交叉熵计算模块1320，用于根据若干个图像分割输出样本，确定图像分割网络的输出图像和当前图像对应的标注图像的交叉熵；

第二更新模块1330，用于根据所述交叉熵更新所述图像分割网络、所述先验网络以及所述后验网络的模型参数。

请参见图14，所述交叉熵计算模块1320包括：

第一计算模块1410，用于计算若干个图像分割输出样本的均值，得到平均图像。

第二计算模块1420，用于计算所述平均图像与所述标注图像的交叉熵。

请参见图15，所述不确定度预测模块1150包括：

目标图像输入模块1510，用于将所述目标图像输入所述第二预测模型，通过所述第二预测模型中的先验网络拟合出与所述目标图像对应的先验概率分布，通过所述第二预测模型中的分割网络得到目标分割特征。

目标采样变量获取模块1520，用于根据所述目标图像的先验概率分布进行蒙特卡洛采样，得到若干个目标蒙特卡洛隐变量。

目标图像样本获取模块1530，用于将若干个目标蒙特卡洛隐变量分别叠加到所述目标分割特征中，形成若干个目标蒙特卡洛特征。

不确定度确定模块1540，用于对若干个目标蒙特卡洛特征进行卷积操作后得到若干个目标图像样本，根据若干个目标图像样本，计算所述目标图像的不确定度。

上述实施例中提供的装置可执行本发明任意实施例所提供方法，具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的方法。

本实施例还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行本实施例上述的任一方法。

本发明实施例提供的图像不确定度预测模型训练方法及预测方法均可以在移动终端、计算机终端、服务器或类似的运算设备中执行。请参见图16，本实施例提供了一种设备，该设备1600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，CPU)1622(例如，一个或一个以上处理器)和存储器1632，一个或一个以上存储应用程序1642或数据1644的存储介质1630(例如一个或一个以上海量存储设备)。其中，存储器1632和存储介质1630可以是短暂存储或持久存储。存储在存储介质1630的程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括对设备中的一系列指令操作。更进一步地，中央处理器1622可以设置为与存储介质1630通信，在设备1600上执行存储介质1630中的一系列指令操作。设备1600还可以包括一个或一个以上电源1626，一个或一个以上有线或无线网络接口1650，一个或一个以上输入输出接口1658，和/或，一个或一个以上操作系统1641，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。本实施例上述的任一方法均可基于图16所示的设备进行实施。

本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤和顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或中断产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。

本实施例中所示出的结构，仅仅是与本申请方案相关的部分结构，并不构成对本申请方案所应用于其上的设备的限定，具体的设备可以包括比示出的更多或更少的部件，或者组合某些部件，或者具有不同的部件的布置。应当理解到，本实施例中所揭露的方法、装置等，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分仅仅为一种逻辑功能的划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元模块的间接耦合或通信连接。

基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域技术人员还可以进一步意识到，结合本说明书所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但这种实现不应认为超出本发明的范围。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种图像不确定度预测方法，其特征在于，包括：

获取训练图像集，对所述训练图像集中的每张图像进行标注，得到标注图像集；

初始化预设深度学习模型，所述预设深度学习模型包括分布采样网络和图像分割网络；所述分布采样网络包括先验网络；

基于所述训练图像集和所述标注图像集对所述预设深度学习模型进行训练，得到第一预测模型；其中，对于每张图像，将当前图像输入到所述先验网络，对于所述先验网络确定的多维高斯分布进行若干次蒙特卡洛采样，得到若干个隐变量；将所述当前图像输入到所述图像分割网络，得到图像分割特征，根据所述图像分割特征、所述若干个隐变量以及与所述当前图像对应的标注图像，对所述预设深度学习模型进行训练；

从所述第一预测模型中抽取出所述先验网络和所述图像分割网络，构成第二预测模型；

获取目标图像，通过所述第二预测模型对所述目标图像进行图像不确定度的预测。

2.根据权利要求1所述的一种图像不确定度预测方法，其特征在于，所述分布采样网络还包括后验网络，所述方法还包括：

将所述当前图像以及与所述当前图像相对应的标注图像进行叠加，输入所述后验网络；

根据所述先验网络的输出结果拟合当前图像的先验概率分布，根据所述后验网络的输出结果拟合所述当前图像的后验概率分布；

计算所述先验概率分布和所述后验概率分布的散度损失，根据所述散度损失更新所述先验网络的模型参数和所述后验网络的模型参数；

所述对于所述先验网络确定的多维高斯分布进行若干次蒙特卡洛采样，得到若干个隐变量，包括：

根据所述先验概率分布进行若干次蒙特卡洛采样，得到所述若干个隐变量。

3.根据权利要求2所述的一种图像不确定度预测方法，其特征在于，所述根据所述图像分割特征、所述若干个隐变量以及与当前图像对应的标注图像对所述预设深度学习模型进行训练包括：

将所述若干个隐变量分别叠加到所述图像分割特征中，形成若干个蒙特卡洛特征，对若干个蒙特卡洛特征进行卷积操作后得到若干个图像分割输出样本；

根据若干个图像分割输出样本，确定图像分割网络的输出图像和当前图像对应的标注图像的交叉熵；

根据所述交叉熵更新所述图像分割网络、所述先验网络以及所述后验网络的模型参数。

4.根据权利要求3所述的一种图像不确定度预测方法，其特征在于，所述根据若干个图像分割输出样本，确定图像分割网络的输出图像和当前图像对应的标注图像的交叉熵包括：

计算若干个图像分割输出样本的均值，得到平均图像；

计算所述平均图像与所述标注图像的交叉熵。

5.根据权利要求1所述的一种图像不确定度预测方法，其特征在于，所述获取目标图像，通过所述第二预测模型对所述目标图像进行图像不确定度的预测包括：

将所述目标图像输入所述第二预测模型，通过所述第二预测模型中的先验网络拟合出与所述目标图像对应的先验概率分布，通过所述第二预测模型中的图像分割网络得到目标分割特征；

根据所述目标图像的先验概率分布进行蒙特卡洛采样，得到若干个目标蒙特卡洛隐变量；

将若干个目标蒙特卡洛隐变量分别叠加到所述目标分割特征中，形成若干个目标蒙特卡洛特征；

对若干个目标蒙特卡洛特征进行卷积操作后得到若干个目标图像样本，根据若干个目标图像样本，计算所述目标图像的不确定度。

6.根据权利要求2所述的一种图像不确定度预测方法，其特征在于，所述根据所述散度损失更新所述先验网络的模型参数和所述后验网络的模型参数包括：

所述先验网络和所述后验网络的模型结构相同。

7.一种图像不确定度预测装置，其特征在于，包括：

训练集获取模块，用于获取训练图像集，对所述训练图像集中的每张图像进行标注，得到标注图像集；

初始化模块，用于初始化预设深度学习模型，所述预设深度学习模型包括分布采样网络和图像分割网络；所述分布采样网络包括先验网络；

训练模块，用于基于所述训练图像集和所述标注图像集对所述预设深度学习模型进行训练，得到第一预测模型；其中，对于每张图像，将当前图像输入到所述先验网络，对于所述先验网络确定的多维高斯分布进行若干次蒙特卡洛采样，得到若干个隐变量；将所述当前图像输入到所述图像分割网络，得到图像分割特征，根据所述图像分割特征、所述若干个隐变量以及与当前图像对应的标注图像，对所述预设深度学习模型进行训练；

抽取模块，用于从所述第一预测模型中抽取出所述先验网络和所述图像分割网络，构成第二预测模型；

不确定度预测模块，用于获取目标图像，通过所述第二预测模型对所述目标图像进行图像不确定度的预测。

8.一种电子设备，其特征在于，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至6任一项所述的图像不确定度预测方法。

9.一种计算机存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行如权利要求1至6任一项所述的图像不确定度预测方法。

Images