CN113780292B - 一种基于证据推理的语义分割网络模型不确定性量化方法 - Google Patents

一种基于证据推理的语义分割网络模型不确定性量化方法 Download PDF

Info

Publication number
CN113780292B
CN113780292B CN202111011851.2A CN202111011851A CN113780292B CN 113780292 B CN113780292 B CN 113780292B CN 202111011851 A CN202111011851 A CN 202111011851A CN 113780292 B CN113780292 B CN 113780292B
Authority
CN
China
Prior art keywords
network model
fcn
evidence
image data
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111011851.2A
Other languages
English (en)
Other versions
CN113780292A (zh
Inventor
王睿
梁茨
郑伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jiaotong University
Original Assignee
Beijing Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jiaotong University filed Critical Beijing Jiaotong University
Priority to CN202111011851.2A priority Critical patent/CN113780292B/zh
Priority to US17/453,983 priority patent/US20230084910A1/en
Publication of CN113780292A publication Critical patent/CN113780292A/zh
Application granted granted Critical
Publication of CN113780292B publication Critical patent/CN113780292B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting

Abstract

本发明提供了一种基于证据推理的语义分割网络模型不确定性量化方法。该方法包括：构建FCN网络模型，利用训练数据集对FCN网络模型进行训练，得到用于图像数据的语义分割的训练后的FCN网络模型；将D‑S证据理论移植于所述训练后的FCN网络模型，得到重构后的FCN网络模型；将待分割的图像数据输入到重构后的FCN网络模型，FCN网络模型输出待分割图像的分类结果，利用D‑S证据理论指标计算出每个像素点的分类结果不确定值。本发明可以在短时间内有效完成对语义分割不确定度的量化计算，极大提高计算效率，节约时间、资源成本。

Description

一种基于证据推理的语义分割网络模型不确定性量化方法
技术领域
本发明涉及语义分割技术领域，尤其涉及一种基于证据推理的语义分割网络模型不确定性量化方法。
背景技术
语义分割为识别图像中存在的内容以及位置(通过查找属于它的所有像素)。语义分割是一种典型的计算机视觉问题，其涉及将一些原始数据(例如，平面图像)作为输入并将它们转换为具有突出显示的感兴趣区域的新数据。语义分割是在像素级别上的分类，属于同一类的像素都要被归为一类。
D-S证据理论(Dempster-ShaferTheory of Evidence)也称D-S理论，最早是Dempster在利用上下限概率来解决多值映射问题方面所做的工作，他试图使用一个概率范围而不是一个确定的概率值来描述不确定性。证据理论将概率论中对事件的单点赋值扩展为对事件集合赋值，弱化了相应的公理系统，满足了比概率更弱的要求，可看作一种广义的概率论。
为了能够更好地理解D-S证据理论，下面介绍D-S证据理论的样本空间、基本函数和证据之间的组合规则。
(1)样本空间
设Θ为变量X的所有可能取值的有限集合，也称为样本空间，Θ中元素两两互斥，则由Θ中所有子集构成的集合称为幂集，记为2Θ。当Θ中的元素个数为N时，其幂集中元素的个数为2N。
(2)基本函数
D-S证据理论中，有基本概率分配函数(mass)、信任函数(belief)和似然函数(plausibility)三个重要的概念，下面分别对其进行介绍。
1)基本概率分配函数(mass)
在样本空间Θ上的基本概率分配是把Θ的任意一个子集都映射为[0,1]上的函数m，称为mass函数，并且满足公式(2-1)。
Figure BDA0003238698900000021
此时称m是2Θ上的概率分配函数，m(A)称为A的基本概率数，m(A)表示依据当前的证据对假设集合A的信任程度。
2)信任函数(belief)
在样本空间Θ上基于基本概率分配函数的信任函数定义为：对任意的A包含于Θ，均满足公式(2-2)。
Figure BDA0003238698900000022
Bel(A)表示在当前证据下，对假设集合A的信任程度。Bel(A)的值等于A的所有子集的基本概率之和。
3)似然函数(plausibility)
在样本空间θ上基于基本概率分配函数的似然函数定义为：对任意的A包含于θ，均满足公式(2-3)。
Figure BDA0003238698900000023
由于信任函数Bel(A)表示对A为真的信任度，
Figure BDA0003238698900000024
表示对A为假的信任度，因此Pl(A)表示对A为非假的信任度，似然函数又称为不可驳斥函数或上限函数。
(3)证据之间的组合规则
在实际问题中，对于相同的证据，由于来源不同，可能会得到不同的概率分配函数，这时，在D-S证据理论框架下，两组独立的mass函数可以通过正交和进行数据融合。假设m1和m2是两个不同的概率分配函数，融合公式为式(2-4)。
Figure BDA0003238698900000031
其中F值的计算方式如式(2-5)所示：
Figure BDA0003238698900000033
当F≠0时，则正交和m也是一个概率分配函数，当F＝0时，则不存在正交和m，此时称作m1与m2相矛盾。
目前，D-S证据理论被广泛应用于统计模式识别中，研究的方向有分类器融合、证据校准和分类器设计。在分类器设计领域，Denoeux基于D-S证据理论证明多项式逻辑回归模型以及它的非线性扩展(即神经网络分类器)可以将输入层或更高层的特征转换成D-S质量函数，然后利用D-S证据理论的组合规则进行信息推理，从而辅助基于不确定性信息的精准决策。
在多分类决策问题中，假设有类别集合Θ＝{θ1,…,θK}，K表示类别的个数，各个类别之间相互独立；特征集合为
Figure BDA0003238698900000034
J表示特征的个数，特征间相互独立。传统的分类器一般通过最小化损失函数来学习特征
Figure BDA0003238698900000035
和参数β0k与βk，之后使用softmax将输入映射为0-1之间的实数，输出对各个类别的判别概率，并归一化保证和为1。如图1展示了传统分类器结构。
D-S分类器通过将输入或高层神经元的特征输出转化为质量函数，然后进行组合计算和似然转化，最后输出对各个类别的信任程度。图1为现有技术中的一种D-S分类器的结构图。当仅仅考虑输出分类，二者是等效的，但D-S决策视图奠定了一个潜在的质量函数，相比概率输出，归一化的组合质量函数输出更具有信息量，在特征组合的过程中，可计算得到特征之间的冲突以及无效的信息量。
在进行证据间的组合运算时，定义证据的权重为w，计算公式为式(2-6),其中
Figure BDA0003238698900000041
为两个系数。
Figure BDA0003238698900000042
其中：
Figure BDA0003238698900000043
Figure BDA0003238698900000044
公式(2-6)中μj为特征集合
Figure BDA0003238698900000045
的均值。
使用F来表示证据之间的冲突值，计算公式为式(2-7)，其中η+和η-的计算方法为公式(2-8)和公式(2-9)。
Figure BDA0003238698900000046
Figure BDA0003238698900000047
Figure BDA0003238698900000048
其中
Figure BDA0003238698900000049
表示证据的总权重的正相关支持，
Figure BDA00032386989000000410
表示负相关支持。
使用m({θk})表示根据D-S证据理论的组合规则计算所得到的对分类{θk}的总置信度，其计算公式为式(2-10)，其中η＝(1-F)-1。
Figure BDA00032386989000000411
使用m(Θ)表示无法进行分配的信任度，计算公式为式(2-11)。
Figure BDA0003238698900000051
使用D-S证据理论进行证据组合的过程中，F值可以表示出证据之间的冲突性，m(θ)可以表示无法进行分配的信任度，这些值能够辅助理解深度神经网络的不确定性，在本发明用于测试数据的生成工作方面起到了良好的指导作用。
神经网络语义分割预测结果不确定性的定量研究最早开始于贝叶斯神经网络(Bayesian Neural Networks，BNN)。研究者开拓性地使用概率分布代替模型训练过程中对参数的点估计，因此通过神经网络的训练不但可以得到预测结果，还可以得到参数的概率分布，即估计预测结果的不确定性。然而，使用BNN模型在选择合适的先验分布或精确地推理后验参数时面临着棘手的挑战。随后，有研究者提出了一系列近似推理方法，亦称为变分推理(variational inference)，即假设一组后验分布q(ω)，通过最小化q(ω)与真实后验p(ω)之间的KL散度(Kullback-Leibler Divergence)，寻找近似的参数后验分布
Figure BDA0003238698900000052
然而，最早的变分推理方法和引入了新的近似方法的变分推理，如基于采样的变分推理和随机变分推理等都无法避免计算量过大的问题。而且为了度量预测不确定性，对于同样规模的网络模型，参数的数量甚至需要加倍。
为避免贝叶斯神经网络带来的计算量过大的问题，近些年研究者们先后提出了使用非贝叶斯方法来定量评估神经网络的不确定性。Gal和Ghahramani证明了对于任意一个非线性的神经网络，在所有参数层之前增加dropout操作(随机丢弃一定比例的隐藏节点输出值，以防止模型过拟合的操作)，该模型在数学上等同一个概率深度高斯过程的近似(近似边缘化的隐空间)；模型训练的优化目标(损失函数加L2正则化)实际上就是在最小化假设的近似分布和深度高斯过程的真实后验之间的KL散度。最后利用蒙特卡洛(MonteCarlo)采样方法，在测试阶段同样使用dropout操作，模拟T随机前向计算，得到各输出节点的平均值及方差估计值，即预测结果的不确定性，因此该方法也称为MC dropout。
目前，基于上述方法发展出的贝叶斯深度学习(Bayesian Deep Learning，BDL)被用于不确定性建模，它在深度学习架构基础上提供了不确定性估计。这些深层结构可以利用深层学习的层次表示能力对复杂任务进行建模，同时还可以推断复杂的多模态后验分布。贝叶斯深度学习模型通常通过在模型权重上放置分布或通过学习得到概率输出的直接映射来形成不确定性估计。
然而，基于上述技术的贝叶斯深度学习方法的缺点为：普遍存在权重分布估计困难，计算量极大的问题。而基于改进的MC Dropout方法也需要进行大规模的模型推理才能得到多个预测结果，从而计算预测方差，即不确定度。而且在将贝叶斯学习方法与神经网络结合时，由于神经网络本身已经具有非常巨大的参数量，再加上贝叶斯学习方法的大量模型推理，导致计算量非常庞大，无法在短时间内有效完成对语义分割不确定度的推理计算。
发明内容
本发明的实施例提供了一种基于证据推理的语义分割网络模型不确定性量化方法，以实现有效进行语义分割不确定度的量化计算。
为了实现上述目的，本发明采取了如下技术方案。
一种基于证据推理的语义分割网络模型不确定性量化方法，包括：
构建FCN网络模型，利用训练数据集对FCN网络模型进行训练，得到用于图像数据的语义分割的训练后的FCN网络模型；
将D-S证据理论移植于所述训练后的FCN网络模型，得到重构后的FCN网络模型；
将待分割的图像数据输入到重构后的FCN网络模型，FCN网络模型输出待分割图像的分类结果，利用D-S证据理论指标计算出每个像素点的分类结果不确定值。
优选地，所述的构建FCN网络模型，包括：
将卷积神经网络中经卷积层和池化层缩小的特征图通过上采样/反卷积操作，实现特征空间信息的恢复，得到全卷积网络FCN网络模型，对FCN网络模型的参数进行训练，所述FCN网络模型的参数包括特征图的激活值和滤波器的权重，FCN网络模型的参数层均为卷积层，最后一个卷积层的卷积核大小为1*1，FCN网络模型的全连接层不用于执行图像分割任务。
优选地，所述的利用训练数据集对FCN网络模型进行训练，得到用于图像数据的语义分割的训练后的FCN网络模型，包括：
获取已知的原始图像数据集和标签数据，所述原始图像数据集中的预处理图像为相同尺度大小m*n，将所述原始图像数据集和标签数据构成训练数据集，将所述训练数据集输入到FCN网络模型中，利用损失函数自动计算优化分类模型的参数，得到用于图像数据的语义分割的训练后的FCN网络模型。
优选地，所述的将D-S证据理论移植于所述训练后的FCN网络模型，得到重构后的FCN网络模型，包括：
将D-S证据理论移植于所述训练后的FCN网络模型，通过D-S证据理论计算得到原始证据池mjk；再将Dempster组合规则应用于原始证据池mjk，通过计算得到对K个类别的置信度ml和不确定性度量指标，不确定性度量指标用于评估预测结果的不确定性，K个类别的置信度ml经过似然变换得到归一化似然函数Pm，将FCN网络模型的输出结果P(Ck)等价于基于证据推理方法得到的似然函数Pm(Ck)，得到重构后的FCN网络模型。
优选地，所述的将待分割的图像数据输入到重构后的FCN网络模型，FCN网络模型输出FCN网络模型输出待所述分割的图像数据的图像分割结果，包括：
将待分割的图像数据输入到重构后的FCN网络模型，假设需要将待分割的图像数据分割为K+1类，外加“背景”类别，设置FCN网络模型的最后一个卷积层包括K个滤波器，FCN网络模型的最后一层特征图的尺寸及通道数分别为nH，nW和nC；
所述重构后的FCN网络模型对待分割的图像数据进行语义分割，从FCN网络模型的最后一组特征图提取激活值
Figure BDA0003238698900000084
Figure BDA0003238698900000085
是J维(J＝nH*nW*nC)的激活值，同时提取FCN的最后一个卷积层的滤波器的权重w及偏置b；利用所述激活值
Figure BDA0003238698900000086
权重w及偏置b，通过计算得到原始证据池mjk；
将Dempster组合规则应用于所述原始证据池mjk，通过计算得到对K个类别的置信度ml，FCN网络模型的输出结果P(CK)为：
Figure BDA0003238698900000081
得到N*nH*nW*nC*(K+1)维的预测数据，其中N为输入图片样本数量，nH，nW，nC分别为原始图片的尺寸：高度、宽度、颜色通道数，K为分类类别数。
优选地，所述的利用D-S证据理论指标计算出每个像素点的分类结果不确定值，包括：
提取FCN网络模型的最后一层特征图的所有激活值
Figure BDA0003238698900000082
和训练得到的滤波器的权重w及偏置b，在D-S证据理论中，冲突度用来表示证据间的矛盾程度，对于两条证据m1和m2的冲突度F的计算方法为公式(2-5)；
Figure BDA0003238698900000083
当F≠0时，则正交和m也是一个概率分配函数，当F＝0时，则不存在正交和m，此时称作m1与m2相矛盾；
所述待分割的图像数据的最终分割结果的冲突度F的计算方法为(2-7)、(2-8)和(2-9)；
Figure BDA0003238698900000091
Figure BDA0003238698900000092
Figure BDA0003238698900000093
其中
Figure BDA0003238698900000094
表示证据的总权重的正相关支持，
Figure BDA0003238698900000095
表示负相关支持。
优选地，所述的利用D-S证据理论指标计算出每个像素点的分类结果不确定值，还包括：
信息无效度
Figure BDA0003238698900000096
是指对全集
Figure BDA0003238698900000097
分配的基本概率，
Figure BDA0003238698900000098
的计算方法为：
Figure BDA0003238698900000099
当
Figure BDA00032386989000000910
时，意味着对该命题完全未知
待分割的图像数据的最终分割结果的信息无效度m(Θ)表示无法进行分配的信任度，计算公式为式(2-11)。
Figure BDA00032386989000000911
其中，η＝(1-F)-1，η+与η-参见公式(2-8)与(2-9)。
优选地，所述的利用D-S证据理论指标计算出每个像素点的分类结果不确定值，还包括：
采用总不确定熵来度量神经网络的不确定性，其定义如下：
Figure BDA0003238698900000101
Figure BDA0003238698900000102
Figure BDA0003238698900000103
公式(2-14)由(2-15)与(2-16)代入计算得出其中；其中|a|为子集a中元素的个数；pl_Pm(x)为概率mass函数，计算方法见公式(2-15)，pl(xi)为似然函数；m(a)为集合
Figure BDA0003238698900000105
的子集的mass函数，计算方法见公式(2-16)，η＝(1-F)-1；
使用m({θk{)表示根据D-S证据理论的组合规则计算所得到的对分类{θk}的总置信度，其计算公式为式(2-10)，其中η＝(1-F)-1；
Figure BDA0003238698900000104
其中，η＝(1-F)-1，η+与η-参见公式(2-8)与(2-9)；
第一部分Hs(pl_Pm)是对应于bpa的香农熵，第二部分Hd(m)计算分配给非单一元素集合基本概率的不确定熵之和，两部分度量值相加即为神经网络对一个样本预测结果的总不确定熵，总不确定熵用来度量模型预测结果的不确定性。
由上述本发明提供的技术方案可以看出，本发明实施例可以在短时间内有效完成对语义分割不确定度的量化计算，极大提高计算效率，节约时间、资源成本。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为现有技术中的一种D-S分类器的结构图；
图2为本发明实施例提供的一种基于证据推理的语义分割网络模型不确定性量化方法的处理流程图；
图3为本发明实施例提供的一种基于证据推理的语义分割网络模型不确定性量化方法的实现原理示意图。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。
本发明实施例基于D-S证据理论，采用证据推理的方法，从用于语义分割的全卷积神经网络(Fully Convolutional Network,FCN)模型(如SegNet，Unet)中提取预测不确定(predictive uncertainty)信息。具体来说，通过FCN网络模型最后一组特征图(featuremaps)的激活值及一个卷积层的参数值计算对应的质量函数mjk，进而推理出两类可区分“缺乏特征”和“特征冲突”的预测结果不确定性，用于决策辅助。
本发明实施例提供的一种基于证据推理的语义分割网络模型不确定性量化方法的实现原理示意图如图3所示，具体处理流程如图2所示，包括如下的处理步骤：
步骤S10、获取原始训练集。
首先获取原始图像数据集和标签数据，上述原始图像数据集中的预处理图像为相同尺度大小m*n，这里以CamVid数据集为例，如图3(a)所示。上述原始图像数据集和标签数据构成训练数据集，用于对FCN网络模型进行训练。
步骤S20、构建FCN网络模型，利用训练数据集对FCN网络模型进行训练，得到用于图像数据的语义分割的训练好的FCN网络模型。
基于卷积神经网络(Convolutional NeuralNetworks，CNN)的分类模型通常以若干层全连接层结尾，这样会将原来二维的矩阵(图片)压扁成一维，从而丢失了空间信息，最后训练输出一个标量，即分类标签。而图像语义分割的输出是二维分割图，为了得到与原图等大的分割图，本发明实施例将卷积神经网络中经卷积层和池化层缩小的特征图通过上采样/反卷积操作，实现特征空间信息的恢复。这类将CNN网络的全连接层转化为上采样层/反卷积层的模型，统称为全卷积网络FCN网络模型。为实现本发明方法，需搭建如图3(a)所示的语义分割网络模型，并对语义分割网络模型的参数进行训练，其中要求语义分割网络模型最后一个卷积层的卷积核大小为1*1(在数值计算上等价于全连接层，为不确定信息推理做铺垫)。
本发明实施例中的FCN中的神经网络中有参数层均为卷积层，全连接层不用于执行图像分割任务。FCN的参数包括特征图的激活值，滤波器的权重。
将上述训练数据集输入到FCN网络模型中，利用损失函数自动计算优化分类模型的参数，得到训练后的FCN网络模型，该训练后的FCN网络模型即为本发明实施例的图像数据的语义分割网络模型。
步骤S30、将D-S证据理论体系移植于FCN网络模型，得到重构后的FCN网络模型。
首先，在D-S证据理论体系中，对一个命题的信任程度用基本概率分配(basicprobability assignment，以下简称为bpa)来衡量，bpa也被称为质量函数(massfunction)，其定义为：对于有限集
Figure BDA0003238698900000131
集合
Figure BDA0003238698900000132
的质量函数为由
Figure BDA0003238698900000133
的幂集到区间[0,1]的映射：
Figure BDA0003238698900000134
满足：
Figure BDA0003238698900000135
其中，幂集
Figure BDA0003238698900000141
中满足m(A)>0的子集A称为焦点集合；满足以下形式的bpa称为简单(simple)bpa：m(A)＝s,
Figure BDA0003238698900000142
对于简单bpa，变量ω:＝-ln(1-s)叫做证据的权重。那么，此简单bpa用证据权重ω可表示为：Aω。
对于一个基于FCN解决图像分割的问题，假设每个像素点的目标类别为
Figure BDA0003238698900000143
Figure BDA0003238698900000144
Figure BDA0003238698900000145
为最后一层特征图(featuremaps)的J维(J＝nH*nW*nC)激活值。在此，每一个
Figure BDA0003238698900000146
特征值(激活值)都被视为支持分类结果
Figure BDA0003238698900000147
的一条证据。在此定义，一条证据
Figure BDA0003238698900000148
是否支持输入样本归类于Ck将取决于下面权重值的符号：
Figure BDA0003238698900000149
其中k＝1,…,K，j＝1,…,J，βjk，αjk为参数。当权重值ωjk>0时，本条证据支持样本属于子集{Ck}，证据权重(支持度)等于ωjk +:＝max(0,ωjk)；当权重值ωjk<0时，本条证据支持样本属于{Ck}的补集
Figure BDA00032386989000001410
证据权重(支持度)等于ωjk -:＝max(0,-ωjk)。因此，对于每个神经元的输出值
Figure BDA00032386989000001411
都有2个简单bpa：
Figure BDA00032386989000001412
因此，对于J个特征值(激活值)，K个目标类别，可抽取出J×K×2条证据，形成“原始证据池mjk”(如图3(c)所示)。
然后，通过D-S证据理论体系中的Dempster组合规则，得到J个特征值(激活值)对K个类别的置信度ml。最后，通过似然变换等一系列证据推理，针对K个类别得到归一化的似然函数Pm(Ck)。该似然函数等价于通过神经网络全连接层线性计算，及由softmax函数归一化处理后得到的预测概率值。本发明方法进一步将上述方法移植于FCN网络模型中，将FCN网络模型的输出结果P(Ck)等价于基于证据推理方法得到的似然函数Pm(Ck)。
图3(c)描述了将D-S证据理论体系应用于(迁移至)FCN网络的完整过程，即，首先通过D-S证据理论计算得到原始证据池mjk；再将Dempster组合规则应用于原始证据池mjk，通过计算得到对K个类别的置信度ml和不确定性度量指标Conflict,Ignorance以及Entropy。不确定性度量指标用于评估预测结果的不确定性。
K个类别的置信度ml经过似然变换得到归一化似然函数Pm。经过论证得出Pm与标准FCN的输出是等价的，该结论证明将D-S证据理论体系迁移至FCN网络是完全可行的。本发明将D-S证据理论体系与FCN结合，并且提出的不确定性度量指标是对D-S证据理论体系的扩展。
步骤S40、将待分割的图像数据输入到重构后的FCN网络模型，FCN网络模型输出待分割的图像数据中每个像素点的分类结果，利用D-S证据理论指标计算出每个像素点的分类结果不确定值。
将待分割的图像数据输入到重构后的FCN网络模型，假设需要将图像分割为K+1类，外加“背景”类别，FCN网络模型的最后一个卷积层需要K个滤波器(filter)。将网络最后两层(卷积层和softmax输出层)展开如图3(b)所示，最后一层特征图(featuremaps)的尺寸及通道数分别为nH，nW和nC，
Figure BDA0003238698900000151
为特征图的激活值(输出值).
上述重构后的FCN网络模型进行语义分割需要的参数及步骤：
1、从FCN网络模型最后一组特征图(feature maps)提取激活值
Figure BDA0003238698900000152
Figure BDA0003238698900000153
是J维(J＝nH*nW*nC)的激活值，同时提取FCN的最后一个卷积层的滤波器的权重w及偏置b；
2、利用步骤1中得到的激活值
Figure BDA0003238698900000154
权重w及偏置b，通过计算得到原始证据池mjk；
3、将Dempster组合规则应用于原始证据池mjk，通过计算得到对K个类别的置信度ml和不确定性度量指标Conflict，Ignorance以及Entropy。
本发明中的FCN网络模型的输出结果P(CK)可简要表达为：
Figure BDA0003238698900000161
通过训练后的模型推理计算，得到N*nH*nW*nC*(K+1)维的预测数据，其中N为输入图片样本数量，nH，nW，nC分别为原始图片的尺寸：高度、宽度、颜色通道数，K为分类类别数。
提取最后一层特征图的所有激活值
Figure BDA0003238698900000162
和训练得到的滤波器的权重w及偏置b，计算以下三类模型预测结果的不确定值。
下面的三个参数：冲突度F、信息无效度
Figure BDA0003238698900000163
和不确定熵H(m)是用来评估图像最终分割结果的不确定性。FCN网络模型仅能输出每个像素点的分类结果，即图像分割结果，但结果可能是错误的，原模型无法判断结果的真实性，尤其针对安全关键系统，需要通过其他指标判断预测结果，本发明提出的三个指标均能判断每个像素点的分类结果的不确定性，也就是分割结果的不确定性，例如三个指标很高的情况，可以选择不信任或丢弃预测结果。
信息冲突度(Conflict)：在D-S证据理论中，冲突度用来表示证据间的矛盾程度，对于代表两条证据的bpa：m1和m2冲突度的定义为(2-5)。该指标计算各证据对相斥命题支持度的正交和，意在度量不同证据的相互矛盾程度。因此，本发明根据公式(2-7)推理图像最终分割结果的F。
在D-S证据理论中，冲突度用来表示证据间的矛盾程度，对于两条证据m1和m2的冲突度F的计算方法为公式(2-5)；
Figure BDA0003238698900000164
m1为证据1的mass函数，m2为证据2的mass函数。
当F≠0时，则正交和m也是一个概率分配函数，当F＝0时，则不存在正交和m，此时称作m1与m2相矛盾；
所述待分割的图像数据的最终分割结果的冲突度F的计算方法为(2-7)、(2-8)和(2-9)；
Figure BDA0003238698900000171
Figure BDA0003238698900000172
Figure BDA0003238698900000173
其中
Figure BDA0003238698900000174
表示证据的总权重的正相关支持，
Figure BDA0003238698900000175
表示负相关支持，K为分类的类别数，η+，η-是推理公式的中间变量。
精确计算特征图的激活值对预测结果的信息冲突度，即一组激活值支持不同分类成果的程度。
信息无效度(Ignorance)：信息无效度是指对全集
Figure BDA0003238698900000176
分配的基本概率，即
Figure BDA0003238698900000177
定义为：
Figure BDA0003238698900000178
当
Figure BDA0003238698900000179
时，意味着对该命题完全未知。同理，本发明根据公式(2-11)推理待分割的图像数据的最终分割结果的信息无效度m(Θ)，精确计算每个样本的激活值对预测结果的信息无效度，即一组激活值缺乏有效信息来确定分类结果的程度。
使用m(Θ)表示无法进行分配的信任度，计算公式为式(2-11)。
Figure BDA0003238698900000181
其中，η＝(1-F)-1，
Figure BDA0003238698900000182
表示负相关支持，K为分类的类别数，η，η+，η-是推理公式的中间变量，η+与η-参见公式(2-8)与(2-9)。
不确定熵(Entropy)：熵的概念最早起源于物理学，用于度量一个热力学系统的无序程度。在信息论里面，Shannon熵是对不确定性的测量。D-S证据理论的扩展理论中，也有大量研究采用熵来度量bpa的不确定度。本发明综述并全面比对了bpa熵的各类度量方法，并提出了一个新的bpa熵的定义，用来衡量bpa的总不确定熵(total uncertaintyentropy)。本发明采用总不确定熵来度量神经网络的不确定性，其定义如下：
Figure BDA0003238698900000183
Figure BDA0003238698900000184
Figure BDA0003238698900000185
公式(2-14)由(2-15)与(2-16)代入计算得出其中；其中|a|为子集a中元素的个数；pl_Pm(x)为概率mass函数(即归一化似然函数)，计算方法见公式(2-15)，pl(xi)为似然函数；m(a)为集合
Figure BDA0003238698900000187
的子集的mass函数，计算方法见公式(2-16)，η＝(1-F)-1。
使用m({θk})表示根据D-S证据理论的组合规则计算所得到的对分类{θk}的总置信度，其计算公式为式(2-10)，其中η＝(1-F)-1。
Figure BDA0003238698900000186
其中，η＝(1-F)-1，η+与η-参见公式(2-8)与(2-9)。
第一部分Hs(pl_Pm)是对应于bpa的香农熵，第二部分Hd(m)计算分配给非单一元素集合基本概率的不确定熵之和。两部分度量值相加即为神经网络对一个样本预测结果的总不确定熵。总不确定熵用来度量模型预测结果的不确定性。
本发明利用全卷积网络的结构特点，将用于神经网络或多层感知器(MultilayerPerceptron，MLP)的证据分类器，迁移至用于图像语义分割的各类全卷积网络，如FCN，SegNet，U-Net。
本发明将证据分类器与用于图像语义分割的全卷积网络结合，是一种基于D-S证据理论进行模型预测不确定性量化和辅助决策的方法；
本发明基于证据推理，可量化三类具有明确语义的不确定性指标，即能够区分“缺乏证据”、“冲突证据”及“香农熵”的不确定性。本发明解决了如何量化语义分割网络模型输出的不确定性，如何评估语义分割网络模型的不确定性和如何量化语义分割网络模型决策的可信度的问题。
综上所述，本发明实施例方法只需通过一次模型推理就能得到不确定度的量化值；与现有技术相比较，本发明可在短时间内有效完成对语义分割不确定度的量化计算，克服了现有技术方法的计算量非常庞大，无法在短时间内有效完成对语义分割不确定度的推理计算。极大提高计算效率，节约时间、资源成本。
本发明解决了如何量化神经网络输出的不确定性，如何评估语义分割网络模型的不确定性和如何量化神经网络决策的可信度的问题，效果显著。
此外，本发明基于证据推理，可量化三类具有明确语义的不确定性指标，即能够区分“缺乏证据”、“冲突证据”及“香农熵”的不确定性，为基于模型预测值进行决策提供更多的有效支持。
回答：本发明采用证据推理方法从语义分割的网络模型中提取预测不确定信息，提出了不确定性量化指标。
发明将证据分类器与用于图像语义分割的全卷积网络结合，是一种基于D-S证据理论进行模型预测不确定性量化和辅助决策的方法。
本发明方法只需通过一次模型推理就能得到不确定度的量化值。
与现有技术相比较，本发明可在短时间内有效完成对语义分割不确定度的量化计算，极大提高计算效率，节约时间、资源成本。
本发明解决了如何量化神经网络输出的不确定性，如何评估语义分割模型的不确定性和如何量化神经网络决策的可信度的问题，效果显著。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (7)

1.一种基于证据推理的语义分割网络模型不确定性量化方法，其特征在于，包括：
构建FCN网络模型，利用训练数据集对FCN网络模型进行训练，得到用于图像数据的语义分割的训练后的FCN网络模型；
将D-S证据理论移植于所述训练后的FCN网络模型，得到重构后的FCN网络模型；
将待分割的图像数据输入到重构后的FCN网络模型，FCN网络模型输出待分割图像的分类结果，利用D-S证据理论指标计算出每个像素点的分类结果不确定值；
所述的将D-S证据理论移植于所述训练后的FCN网络模型，得到重构后的FCN网络模型，包括：
将D-S证据理论移植于所述训练后的FCN网络模型，通过D-S证据理论计算得到原始证据池mjk；再将Dempster组合规则应用于原始证据池mjk，通过计算得到对K个类别的置信度ml和不确定性度量指标，不确定性度量指标用于评估预测结果的不确定性，K个类别的置信度ml经过似然变换得到归一化似然函数Pm，将FCN网络模型的输出结果P(Ck)等价于基于证据推理方法得到的似然函数Pm(Ck)，得到重构后的FCN网络模型。
2.根据权利要求1所述的方法，其特征在于，所述的构建FCN网络模型，包括：
将卷积神经网络中经卷积层和池化层缩小的特征图通过上采样/反卷积操作，实现特征空间信息的恢复，得到全卷积网络FCN网络模型，对FCN网络模型的参数进行训练，所述FCN网络模型的参数包括特征图的激活值和滤波器的权重，FCN网络模型的参数层均为卷积层，最后一个卷积层的卷积核大小为1*1，FCN网络模型的全连接层不用于执行图像分割任务。
3.根据权利要求2所述的方法，其特征在于，所述的利用训练数据集对FCN网络模型进行训练，得到用于图像数据的语义分割的训练后的FCN网络模型，包括：
获取已知的原始图像数据集和标签数据，所述原始图像数据集中的预处理图像为相同尺度大小m*n，将所述原始图像数据集和标签数据构成训练数据集，将所述训练数据集输入到FCN网络模型中，利用损失函数自动计算优化分类模型的参数，得到用于图像数据的语义分割的训练后的FCN网络模型。
4.根据权利要求1所述的方法，其特征在于，所述的将待分割的图像数据输入到重构后的FCN网络模型，FCN网络模型输出FCN网络模型输出待所述分割的图像数据的图像分割结果，包括：
将待分割的图像数据输入到重构后的FCN网络模型，假设需要将待分割的图像数据分割为K+1类，外加“背景”类别，设置FCN网络模型的最后一个卷积层包括K个滤波器，FCN网络模型的最后一层特征图的尺寸及通道数分别为nH，nW和nC；
所述重构后的FCN网络模型对待分割的图像数据进行语义分割，从FCN网络模型的最后一组特征图提取激活值
Figure FDA0003562729780000021
是J维的激活值，J＝nH*nW*nC，同时提取FCN的最后一个卷积层的滤波器的权重w及偏置b；利用所述激活值
Figure FDA0003562729780000022
权重w及偏置b，通过计算得到原始证据池mjk；
将Dempster组合规则应用于所述原始证据池mjk，通过计算得到对K个类别的置信度ml，FCN网络模型的输出结果P(CK)为：
Figure FDA0003562729780000023
得到N*nH*nW*nC*(K+1)维的预测数据，其中N为输入图片样本数量，nH，nW，nC分别为原始图片的尺寸：高度、宽度、颜色通道数，K为分类类别数。
5.根据权利要求4所述的方法，其特征在于，所述的利用D-S证据理论指标计算出每个像素点的分类结果不确定值，包括：
提取FCN网络模型的最后一层特征图的所有激活值
Figure FDA0003562729780000031
和训练得到的滤波器的权重w及偏置b，在D-S证据理论中，冲突度用来表示证据间的矛盾程度，对于两条证据m1和m2的冲突度F的计算方法为公式(2-5)；
Figure FDA0003562729780000032
当F≠0时，则正交和m也是一个概率分配函数，当F＝0时，则不存在正交和m，此时称作m1与m2相矛盾；
所述待分割的图像数据的最终分割结果的冲突度F的计算方法为(2-7)、(2-8)和(2-9)；
Figure FDA0003562729780000033
Figure FDA0003562729780000034
Figure FDA0003562729780000035
其中
Figure FDA0003562729780000036
表示证据的总权重的正相关支持，
Figure FDA0003562729780000037
表示负相关支持。
6.根据权利要求5所述的方法，其特征在于，所述的利用D-S证据理论指标计算出每个像素点的分类结果不确定值，还包括：
信息无效度
Figure FDA0003562729780000038
是指对类别全集
Figure FDA0003562729780000039
分配的基本概率，在两条证据情况下,
Figure FDA00035627297800000310
的计算方法为：
Figure FDA00035627297800000311
当
Figure FDA0003562729780000041
时，意味着对命题完全未知；
待分割的图像数据的最终分割结果的信息无效度
Figure FDA0003562729780000042
表示无法进行分配的信任度，计算公式为式(2-11)；
Figure FDA0003562729780000043
其中，η＝(1-F)-1，η+与η-参见公式(2-8)与(2-9)。
7.根据权利要求5所述的方法，其特征在于，所述的利用D-S证据理论指标计算出每个像素点的分类结果不确定值，还包括：
采用总不确定熵来度量神经网络的不确定性，其定义如下：
Figure FDA0003562729780000044
Figure FDA0003562729780000045
Figure FDA0003562729780000046
公式(2-14)由(2-15)与(2-16)代入计算得出其中；其中|a|为子集a中元素的个数；pl_Pm(x)为概率mass函数，计算方法见公式(2-15)，pl(xi)为似然函数；m(a)为集合
Figure FDA0003562729780000047
的子集的mass函数，计算方法见公式(2-16)，η＝(1-F)-1；
使用m({θk})表示根据D-S证据理论的组合规则计算所得到的对分类{θk}的总置信度，其计算公式为式(2-10)，其中η＝(1-F)-1；
Figure FDA0003562729780000048
其中，η＝(1-F)-1，η+与η-参见公式(2-8)与(2-9)；
第一部分Hs(pl_Pm)是对应于bpa基本概率分配的香农熵，第二部分Hd(m)计算分配给非单一元素集合基本概率的不确定熵之和，两部分度量值相加即为神经网络对一个样本预测结果的总不确定熵，总不确定熵用来度量模型预测结果的不确定性。
CN202111011851.2A 2021-08-31 2021-08-31 一种基于证据推理的语义分割网络模型不确定性量化方法 Active CN113780292B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111011851.2A CN113780292B (zh) 2021-08-31 2021-08-31 一种基于证据推理的语义分割网络模型不确定性量化方法
US17/453,983 US20230084910A1 (en) 2021-08-31 2021-11-08 Semantic segmentation network model uncertainty quantification method based on evidence inference

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111011851.2A CN113780292B (zh) 2021-08-31 2021-08-31 一种基于证据推理的语义分割网络模型不确定性量化方法

Publications (2)

Publication Number Publication Date
CN113780292A CN113780292A (zh) 2021-12-10
CN113780292B true CN113780292B (zh) 2022-05-06

Family

ID=78840290

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111011851.2A Active CN113780292B (zh) 2021-08-31 2021-08-31 一种基于证据推理的语义分割网络模型不确定性量化方法

Country Status (2)

Country Link
US (1) US20230084910A1 (zh)
CN (1) CN113780292B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114936475B (zh) * 2022-07-20 2022-10-28 成都信息工程大学 一种基于拟合优度可信度融合的复杂系统成功率评估方法
CN115100491B (zh) 2022-08-25 2022-11-18 山东省凯麟环保设备股份有限公司 一种面向复杂自动驾驶场景的异常鲁棒分割方法与系统
CN116664773B (zh) * 2023-06-02 2024-01-16 北京元跃科技有限公司 一种基于深度学习的多张绘画生成3d模型的方法及系统
CN116452070B (zh) * 2023-06-16 2023-09-01 中国人民解放军国防科技大学 多辨识框架下的大型设备健康评估方法和装置
CN116740360A (zh) * 2023-08-10 2023-09-12 荣耀终端有限公司 一种图像处理方法、装置、设备及存储介质
CN116821966B (zh) * 2023-08-25 2023-12-19 杭州海康威视数字技术股份有限公司 机器学习模型训练数据集隐私保护方法、装置及设备
CN117196042B (zh) * 2023-11-03 2024-01-30 福建天晴数码有限公司 一种教育元宇宙中学习目标的语义推理方法及终端

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2335815T3 (es) * 2006-03-17 2010-04-05 Solystic Metodo para fisionar ocr postales que explota funciones de creencia.
CN107729920A (zh) * 2017-09-18 2018-02-23 江苏海事职业技术学院 一种基于bp神经网络与d‑s证据理论结合的状态估计方法
CN110543872A (zh) * 2019-09-12 2019-12-06 云南省水利水电勘测设计研究院 一种基于全卷积神经网络的无人机影像建筑物屋顶提取方法
CN111368885A (zh) * 2020-02-24 2020-07-03 大连理工大学 一种基于深度学习和信息融合的航空发动机气路故障诊断方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11074495B2 (en) * 2013-02-28 2021-07-27 Z Advanced Computing, Inc. (Zac) System and method for extremely efficient image and pattern recognition and artificial intelligence platform
CN107341447A (zh) * 2017-06-13 2017-11-10 华南理工大学 一种基于深度卷积神经网络和证据k近邻的人脸核实方法
CN113297972B (zh) * 2021-05-25 2022-03-22 国网湖北省电力有限公司检修公司 一种基于数据融合深度学习的变电站设备缺陷智能分析方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2335815T3 (es) * 2006-03-17 2010-04-05 Solystic Metodo para fisionar ocr postales que explota funciones de creencia.
CN107729920A (zh) * 2017-09-18 2018-02-23 江苏海事职业技术学院 一种基于bp神经网络与d‑s证据理论结合的状态估计方法
CN110543872A (zh) * 2019-09-12 2019-12-06 云南省水利水电勘测设计研究院 一种基于全卷积神经网络的无人机影像建筑物屋顶提取方法
CN111368885A (zh) * 2020-02-24 2020-07-03 大连理工大学 一种基于深度学习和信息融合的航空发动机气路故障诊断方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
An integrated hazard identification method based on the hierarchical Colored Petri Net;Rui Wang 等;《Safety Science》;20160528;第166-179页 *
Evidential fully convolutional network for semantic segmentation;Zheng Tong 等;《arXiv》;20210325;第1-34页 *
多特征融合的高分辨率影像建筑物变化检测;李军胜 等;《测绘通报》;20191231(第10期);第105-108页 *

Also Published As

Publication number Publication date
CN113780292A (zh) 2021-12-10
US20230084910A1 (en) 2023-03-16

Similar Documents

Publication Publication Date Title
CN113780292B (zh) 一种基于证据推理的语义分割网络模型不确定性量化方法
CN109584337B (zh) 一种基于条件胶囊生成对抗网络的图像生成方法
CN108491874B (zh) 一种基于生成式对抗网络的图像单分类方法
CN111738363B (zh) 基于改进的3d cnn网络的阿尔茨海默病分类方法
WO2021138085A1 (en) Predicting neuron types based on synaptic connectivity graphs
WO2021138082A1 (en) Training artificial neural networks based on synaptic connectivity graphs
WO2021138091A1 (en) Reservoir computing neural networks based on synaptic connectivity graphs
CN109447096B (zh) 一种基于机器学习的扫视路径预测方法和装置
CN113191390B (zh) 一种图像分类模型的构建方法、图像分类方法及存储介质
CN114926693A (zh) 基于加权距离的sar图像小样本识别方法及装置
CN114898121A (zh) 基于图注意力网络的混凝土坝缺陷图像描述自动生成方法
CN113469119A (zh) 基于视觉转换器和图卷积网络的宫颈细胞图像分类方法
CN114743037A (zh) 一种基于多尺度结构学习的深度医学图像聚类方法
CN114863348A (zh) 基于自监督的视频目标分割方法
CN114332075A (zh) 基于轻量化深度学习模型的结构缺陷快速识别与分类方法
CN116664928A (zh) 一种基于CNN与Transformer的糖尿病视网膜病变分级方法与系统
CN115239967A (zh) 一种基于Trans-CSN生成对抗网络的图像生成方法及装置
CN115063374A (zh) 模型训练、人脸图像质量评分方法、电子设备及存储介质
KR102432766B1 (ko) 알츠하이머 병 분류를 위한 mr 이미지 분석 시스템 및 방법
Kiritoshi et al. L1-Norm Gradient Penalty for Noise Reduction of Attribution Maps.
CN113449751B (zh) 基于对称性和群论的物体-属性组合图像识别方法
CN112489012A (zh) 一种用于ct图像识别的神经网络架构方法
JP6993250B2 (ja) コンテンツ特徴量抽出装置、方法、及びプログラム
Burugupalli Image classification using transfer learning and convolution neural networks
Bhalla et al. Basic principles of AI simplified for a Medical Practitioner: Pearls and Pitfalls in Evaluating AI algorithms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant