CN115294406B - 基于属性的多模态可解释分类的方法与系统 - Google Patents

基于属性的多模态可解释分类的方法与系统 Download PDF

Info

Publication number
CN115294406B
CN115294406B CN202211206014.XA CN202211206014A CN115294406B CN 115294406 B CN115294406 B CN 115294406B CN 202211206014 A CN202211206014 A CN 202211206014A CN 115294406 B CN115294406 B CN 115294406B
Authority
CN
China
Prior art keywords
attribute
modal
loss function
representing
strength
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211206014.XA
Other languages
English (en)
Other versions
CN115294406A (zh
Inventor
王辉
黄宇廷
范自柱
杨辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Jiaotong University
Original Assignee
East China Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Jiaotong University filed Critical East China Jiaotong University
Priority to CN202211206014.XA priority Critical patent/CN115294406B/zh
Publication of CN115294406A publication Critical patent/CN115294406A/zh
Application granted granted Critical
Publication of CN115294406B publication Critical patent/CN115294406B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出一种基于属性的多模态可解释分类的方法与系统，通过批归一化通道交换及邓普斯特‑谢弗理论，利用多模态数据的互补能力，有效提高分类准确性；根据对象具有的属性以及决策树推理规则对预测结果进行解释，运用不同的损失函数描述对象在决策树叶层级和内部层级的推理损失，以及分类属性原型在决策树叶层级和内部层级的损失；进行训练时，将多模态分类数据集输入至模型中，反向传播训练网络权重以最小化训练损失，将损失函数降低至最低点；进行分类预测时，将多模态数据输入至训练完成的网络，得到检测物体的预测结果，通过可视化展示物体具有的属性及决策树推理规则及路由信息，以对预测结果进行很好地解释。

Description

基于属性的多模态可解释分类的方法与系统
技术领域
本发明涉及计算机数据处理技术领域，特别涉及一种基于属性的多模态可解释分类的方法与系统。
背景技术
由于人工智能存在着脆弱和易受攻击的缺陷，高度的不确定性与复杂性使人们无法理解决策背后的原因。因此，探索一种更为安全准确并且可解释的人工智能，是非常有必要的。
目前，神经网络的准确性已经得到了极大提高，但人工智能可解释性的研究仍处于初期阶段。常见的人工智能可解释性的研究包括：影响函数分析训练数据对人工智能模型的影响；Grad-CAM可视化地分析人工智能模型利用的数据特征；LIME利用可解释模型局部近似复杂的黑盒模型；决策树层层推理实现最终的分类。然而，上述这些可解释方法的理论框架仍有待完善，方法的准确性和有效性仍然较低。
基于此，有必要提出一种新型的基于属性的多模态可解释分类方法，以尽可能提高人工智能的可解释性，同时增强可解释方法的准确性和有效性，提高运行效率。
发明内容
为此，本发明的实施例提出一种基于属性的多模态可解释分类的方法与系统，以解决上述技术问题。
本发明提出一种基于属性的多模态可解释分类方法，其中，所述方法包括如下步骤：
步骤一、通过多种传感器，获取图片中待分类识别的对象的多模态原始数据；
步骤二、将采集到的所述多模态原始数据输入到对应模态的ResNet卷积神经网络中以得到模态特征图，并使用全局最大池化从模态特征图中提取模态属性强度；
步骤三、在各模态对应的所述ResNet卷积神经网络中进行批归一化通道交换，利用正则化损失函数稀疏批归一化层，用于增强各模态之间的数据互补能力；
步骤四、计算所述模态属性强度的置信度和不确定度，并利用邓普斯特-谢弗理论对所述模态属性强度的置信度与不确定度进行融合，以计算得到对象的属性强度；
步骤五、将所述对象的属性强度输入至决策树，在决策树中利用嵌入决策推理规则进行软推理，以预测得到各类别概率并选择概率最大的一个类别作为预测结果，通过由多模态融合损失函数与决策树推理损失函数构成的叶层级推理损失函数，内部层级推理损失函数以及类别原型损失函数，对所述ResNet卷积神经网络进行优化；
步骤六、根据所述对象的属性强度、决策树推理规则以及路由信息，对所述预测结果进行解释。
本发明提出一种基于属性的多模态可解释分类方法，通过批归一化通道交换及邓普斯特-谢弗理论，利用多模态数据的互补能力，有效提高分类的准确性；同时，根据图片中待分类识别的对象所具有的属性以及决策树推理规则对预测结果进行解释，运用四种不同的损失函数描述对象在决策树叶层级和内部层级的推理损失，以及分类属性原型在决策树叶层级和内部层级的损失；
在进行训练时，将多模态分类数据集输入至模型中，反向传播训练网络权重以最小化训练损失，将损失函数降低至最低点；在进行分类预测时，只需要将多模态数据输入至训练完成的网络，便能得到检测物体的预测结果，通过可视化展示物体具有的属性及决策树推理规则及路由信息，得到预测的过程及依据，以对预测结果进行很好地解释。
本发明还提出一种基于属性的多模态可解释分类系统，其中，所述系统包括：
信息获取模块，用于：
通过多种传感器，获取图片中待分类识别的对象的多模态原始数据；
属性提取模块，用于：
将采集到的所述多模态原始数据输入到对应模态的ResNet卷积神经网络中以得到模态特征图，并使用全局最大池化从模态特征图中提取模态属性强度；
通道交换模块，用于：
在各模态对应的所述ResNet卷积神经网络中进行批归一化通道交换，利用正则化损失函数稀疏批归一化层，用于增强各模态之间的数据互补能力；
属性融合模块，用于：
计算所述模态属性强度的置信度和不确定度，并利用邓普斯特-谢弗理论对所述模态属性强度的置信度与不确定度进行融合，以计算得到对象的属性强度；
卷积优化模块，用于：
将所述对象的属性强度输入至决策树，在决策树中利用嵌入决策推理规则进行软推理，以预测得到各类别概率并选择概率最大的一个类别作为预测结果，通过由多模态融合损失函数与决策树推理损失函数构成的叶层级推理损失函数，内部层级推理损失函数以及类别原型损失函数，对所述ResNet卷积神经网络进行优化；
模型解释模块，用于：
根据所述对象的属性强度、决策树推理规则以及路由信息，对所述预测结果进行解释。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实施例了解到。
附图说明
本发明实施例的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明提出的基于属性的多模态可解释分类方法的流程图；
图2为本发明提出的基于属性的多模态可解释分类系统的结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提出一种基于属性的多模态可解释分类方法，其中，所述方法包括如下步骤：
S101、通过多种传感器，获取图片中待分类识别的对象的多模态原始数据。
S102、将采集到的所述多模态原始数据输入到对应模态的ResNet卷积神经网络中以得到模态特征图，并使用全局最大池化从模态特征图中提取模态属性强度。
在步骤S102中，提取模态属性强度的方法包括如下步骤：
S1021、将所述多模态原始数据
Figure 898966DEST_PATH_IMAGE001
输入至对应模态的ResNet卷积神经网络中的网络特征提取模块中，以提取得到模态特征图
Figure 757200DEST_PATH_IMAGE002
；
S1022、利用全局最大池化对所述模态特征图进行提取，以得到模态属性强度；
S1023、使用带泄露整流函数对所述模态属性强度进行约束，微调后保证模态属性强度为非负数
Figure 448076DEST_PATH_IMAGE003
；
对应的计算公式表示为：
Figure 126182DEST_PATH_IMAGE004
其中，
Figure 809973DEST_PATH_IMAGE005
表示模态原始数据，
Figure 522714DEST_PATH_IMAGE006
表示模态特征图，
Figure 384491DEST_PATH_IMAGE007
表示模态属性强度，
Figure 815472DEST_PATH_IMAGE008
表示第
Figure 538840DEST_PATH_IMAGE009
个模态原始数据，
Figure 106087DEST_PATH_IMAGE010
表示第
Figure 138765DEST_PATH_IMAGE011
个模态特征图，
Figure 525884DEST_PATH_IMAGE012
表示第
Figure 551478DEST_PATH_IMAGE011
个模态属性强度，
Figure 238811DEST_PATH_IMAGE013
表示模态数量，
Figure 707970DEST_PATH_IMAGE014
表示第
Figure 847964DEST_PATH_IMAGE011
个模态的ResNet卷积神经网络的特征提取操作，
Figure 910205DEST_PATH_IMAGE015
表示模态属性的数量，
Figure 452045DEST_PATH_IMAGE016
表示最大值函数，
Figure 826525DEST_PATH_IMAGE017
表示最小值函数，
Figure 453816DEST_PATH_IMAGE018
表示泄露值为0.01的带泄露整流函数，
Figure 821212DEST_PATH_IMAGE019
表示全局最大池化，
Figure 483138DEST_PATH_IMAGE020
表示微调偏移量。
S103、在各模态对应的所述ResNet卷积神经网络中进行批归一化通道交换，利用正则化损失函数稀疏批归一化层，用于增强各模态之间的数据互补能力。
在步骤S103中，批归一化通道交换的计算公式表示为：
Figure 762940DEST_PATH_IMAGE021
其中，
Figure 611948DEST_PATH_IMAGE022
表示第
Figure 284500DEST_PATH_IMAGE023
个模态的批归一化通道交换结果，
Figure 66511DEST_PATH_IMAGE024
表示第
Figure 782794DEST_PATH_IMAGE023
个模态的批归一化缩放因子，
Figure 119098DEST_PATH_IMAGE025
表示第
Figure 828296DEST_PATH_IMAGE009
个模态的批归一化偏移量，
Figure 199235DEST_PATH_IMAGE026
表示第
Figure 86419DEST_PATH_IMAGE027
个模态的批归一化缩放因子，
Figure 175598DEST_PATH_IMAGE028
表示第
Figure 915585DEST_PATH_IMAGE027
个模态的批归一化偏移量，
Figure 406609DEST_PATH_IMAGE029
表示第
Figure 464695DEST_PATH_IMAGE027
个模态原始数据，
Figure 775590DEST_PATH_IMAGE030
表示样本平均值，
Figure 826592DEST_PATH_IMAGE031
表示样本方差，
Figure 172122DEST_PATH_IMAGE032
表示批归一化通道交换阈值。
进一步的，上述正则化损失函数表示为：
Figure 401110DEST_PATH_IMAGE033
其中，
Figure 199301DEST_PATH_IMAGE034
表示正则化损失函数，
Figure 555459DEST_PATH_IMAGE035
表示正则化化损失系数，
Figure 755496DEST_PATH_IMAGE036
表示进行批归一化通道交换的层次数量，
Figure 155384DEST_PATH_IMAGE037
表示样本绝对值，
Figure 440872DEST_PATH_IMAGE038
表示第
Figure 99255DEST_PATH_IMAGE011
个模态的第
Figure 153799DEST_PATH_IMAGE039
层批归一化缩放因子平均值，
Figure 724589DEST_PATH_IMAGE040
。
S104、计算所述模态属性强度的置信度和不确定度，并利用邓普斯特-谢弗理论对所述模态属性强度的置信度与不确定度进行融合，以计算得到对象的属性强度。
在步骤S104中，计算对象的属性强度的方法包括如下步骤：
S1041、计算各模态属性强度的狄利克雷分布
Figure 497373DEST_PATH_IMAGE041
，公式表示为：
Figure 192403DEST_PATH_IMAGE042
其中，
Figure 101453DEST_PATH_IMAGE043
表示第
Figure 108723DEST_PATH_IMAGE011
个模态的第
Figure 103224DEST_PATH_IMAGE044
个属性强度，
Figure 103410DEST_PATH_IMAGE041
表示第
Figure 866967DEST_PATH_IMAGE011
个模态的第
Figure 45138DEST_PATH_IMAGE044
个属性强度的狄利克雷分布；
S1042、计算模态属性强度的置信度
Figure 526935DEST_PATH_IMAGE045
与不确定度
Figure 143861DEST_PATH_IMAGE046
，公式表示为：
Figure 653602DEST_PATH_IMAGE047
其中，
Figure 799413DEST_PATH_IMAGE048
表示第
Figure 768506DEST_PATH_IMAGE009
个模态属性强度的狄利克雷强度，
Figure 189123DEST_PATH_IMAGE049
表示第
Figure 51906DEST_PATH_IMAGE009
个模态的第
Figure 696514DEST_PATH_IMAGE044
个属性强度的置信度，
Figure 28269DEST_PATH_IMAGE050
表示第
Figure 783735DEST_PATH_IMAGE011
个模态属性强度的不确定度；
S1043、根据邓普斯特-谢弗理论对模态属性强度的置信度与不确定度进行融合，计算得到对象的属性强度
Figure 270998DEST_PATH_IMAGE051
，公式表示为：
Figure 820928DEST_PATH_IMAGE052
其中，
Figure 639980DEST_PATH_IMAGE053
表示模态间数据的冲突程度，
Figure 199137DEST_PATH_IMAGE054
表示模态的第
Figure 36512DEST_PATH_IMAGE044
个属性融合置信度，
Figure 22922DEST_PATH_IMAGE055
表示模态属性强度的融合不确定度，
Figure 63691DEST_PATH_IMAGE056
表示第
Figure 160960DEST_PATH_IMAGE027
个模态属性强度的不确定度，
Figure 619885DEST_PATH_IMAGE057
表示对象的第
Figure 777197DEST_PATH_IMAGE044
个属性强度，
Figure 305261DEST_PATH_IMAGE058
表示模态属性强度的狄利克雷强度。
S105、将所述对象的属性强度输入至决策树，在决策树中利用嵌入决策推理规则进行软推理，以预测得到各类别概率并选择概率最大的一个类别作为预测结果，通过由多模态融合损失函数与决策树推理损失函数构成的叶层级推理损失函数，内部层级推理损失函数以及类别原型损失函数，对所述ResNet卷积神经网络进行优化。
在步骤S105中，利用嵌入决策推理规则进行软推理的方法包括如下步骤：
S1051、构建决策树，计算类别层次矩阵，公式表示为：
Figure 206221DEST_PATH_IMAGE059
其中，
Figure 18188DEST_PATH_IMAGE060
表示类别层次矩阵，用于确认根到节点
Figure 346402DEST_PATH_IMAGE061
是否经过节点
Figure 361762DEST_PATH_IMAGE062
；
S1052、计算经softmax函数处理的节点决策概率
Figure 800834DEST_PATH_IMAGE063
，公式表示为：
Figure 965842DEST_PATH_IMAGE064
其中，
Figure 464957DEST_PATH_IMAGE065
表示节点
Figure 967614DEST_PATH_IMAGE062
的决策概率，
Figure 475955DEST_PATH_IMAGE066
表示对象的属性强度，
Figure 731356DEST_PATH_IMAGE067
表示归一化操作，
Figure 666951DEST_PATH_IMAGE068
表示嵌入决策推理规则，
Figure 391325DEST_PATH_IMAGE069
，
Figure 437778DEST_PATH_IMAGE070
表示类别数量；
S1053、计算每个节点所代表类别的预测概率
Figure 314729DEST_PATH_IMAGE071
，公式表示为：
Figure 421226DEST_PATH_IMAGE072
其中，
Figure 898475DEST_PATH_IMAGE065
表示节点
Figure 217460DEST_PATH_IMAGE062
的决策概率；
S1054、将多个预测概率中数值最大的预测概率作为预测结果。
进一步的，上述的叶层级推理损失函数表示为：
Figure 713033DEST_PATH_IMAGE073
其中，
Figure 724851DEST_PATH_IMAGE074
表示改进的交叉熵损失函数，
Figure 954975DEST_PATH_IMAGE075
表示KL散度，
Figure 77652DEST_PATH_IMAGE076
表示多模态融合损失函数，
Figure 990765DEST_PATH_IMAGE077
表示决策树推理损失函数，
Figure 704643DEST_PATH_IMAGE078
表示推理损失函数，
Figure 890905DEST_PATH_IMAGE079
表示叶层级推理损失函数，
Figure 817272DEST_PATH_IMAGE080
表示对象的类别向量，
Figure 287437DEST_PATH_IMAGE081
表示双伽马函数，
Figure 641058DEST_PATH_IMAGE082
表示第
Figure 49037DEST_PATH_IMAGE011
个模态的狄利克雷分布，
Figure 779095DEST_PATH_IMAGE083
表示去除不正确证据后第
Figure 870810DEST_PATH_IMAGE084
个模态的狄利克雷分布，
Figure 395332DEST_PATH_IMAGE085
表示属性强度的狄利克雷分布，
Figure 556186DEST_PATH_IMAGE086
表示去除不正确证据后属性强度的狄利克雷分布，
Figure 824357DEST_PATH_IMAGE087
表示向量内积，
Figure 3534DEST_PATH_IMAGE088
表示伽马函数，
Figure 698958DEST_PATH_IMAGE089
表示狄利克雷函数，
Figure 347108DEST_PATH_IMAGE090
表示KL散度权重，
Figure 418969DEST_PATH_IMAGE091
表示交叉熵损失函数，
Figure 951188DEST_PATH_IMAGE092
表示叶子节点代表类别的预测概率，
Figure 817513DEST_PATH_IMAGE093
表示ReLU函数的平滑操作，
Figure 952959DEST_PATH_IMAGE094
表示叶子节点的嵌入决策推理规则。
进一步的，上述内部层级推理损失函数表示为：
Figure 562932DEST_PATH_IMAGE095
其中，
Figure 716702DEST_PATH_IMAGE096
表示内部层级推理损失函数。
上述的类别原型损失函数计算的步骤包括：
计算类别的原型属性强度：
Figure 19507DEST_PATH_IMAGE097
其中，
Figure 376670DEST_PATH_IMAGE098
表示类别具有的原型属性强度，
Figure 790334DEST_PATH_IMAGE099
表示类别具有的独特属性；
计算类别的原型属性强度的叶层级损失函数：
Figure 300075DEST_PATH_IMAGE100
其中，
Figure 773782DEST_PATH_IMAGE101
表示第
Figure 414979DEST_PATH_IMAGE102
类原型属性强度的叶层级损失函数，
Figure 491388DEST_PATH_IMAGE103
表示第
Figure 229537DEST_PATH_IMAGE102
类原型属性强度，
Figure 749511DEST_PATH_IMAGE104
表示决策树推理损失函数，
Figure 205900DEST_PATH_IMAGE105
表示叶子节点；
计算类别的原型属性强度的内部损失函数：
Figure 590395DEST_PATH_IMAGE106
其中，
Figure 183050DEST_PATH_IMAGE107
表示类别的原型属性强度的内部损失函数，
Figure 873926DEST_PATH_IMAGE108
表示决策树中除叶子节点以外的所有节点；
类别原型损失函数表示为：
Figure 817611DEST_PATH_IMAGE109
其中，
Figure 501402DEST_PATH_IMAGE110
表示类别原型损失函数，
Figure 214143DEST_PATH_IMAGE111
均表示损失函数权重参数。
S106、根据所述对象的属性强度、决策树推理规则以及路由信息，对所述预测结果进行解释。
本发明提出一种基于属性的多模态可解释分类方法，通过批归一化通道交换及邓普斯特-谢弗理论，利用多模态数据的互补能力，有效提高分类的准确性；同时，根据图片中待分类识别的对象所具有的属性以及决策树推理规则对预测结果进行解释，运用四种不同的损失函数描述对象在决策树叶层级和内部层级的推理损失，以及分类属性原型在决策树叶层级和内部层级的损失；
在进行训练时，将多模态分类数据集输入至模型中，反向传播训练网络权重以最小化训练损失，将损失函数降低至最低点；在进行分类预测时，只需要将多模态数据输入至训练完成的网络，便能得到检测物体的预测结果，通过可视化展示物体具有的属性及决策树推理规则及路由信息，得到预测的过程及依据，以对预测结果进行很好地解释。
请参阅图2，本发明还提出一种基于属性的多模态可解释分类系统，其中，所述系统包括：
信息获取模块，用于：
通过多种传感器，获取图片中待分类识别的对象的多模态原始数据；
属性提取模块，用于：
将采集到的所述多模态原始数据输入到对应模态的ResNet卷积神经网络中以得到模态特征图，并使用全局最大池化从模态特征图中提取模态属性强度；
通道交换模块，用于：
在各模态对应的所述ResNet卷积神经网络中进行批归一化通道交换，利用正则化损失函数稀疏批归一化层，用于增强各模态之间的数据互补能力；
属性融合模块，用于：
计算所述模态属性强度的置信度和不确定度，并利用邓普斯特-谢弗理论对所述模态属性强度的置信度与不确定度进行融合，以计算得到对象的属性强度；
卷积优化模块，用于：
将所述对象的属性强度输入至决策树，在决策树中利用嵌入决策推理规则进行软推理，以预测得到各类别概率并选择概率最大的一个类别作为预测结果，通过由多模态融合损失函数与决策树推理损失函数构成的叶层级推理损失函数，内部层级推理损失函数以及类别原型损失函数，对所述ResNet卷积神经网络进行优化；
模型解释模块，用于：
根据所述对象的属性强度、决策树推理规则以及路由信息，对所述预测结果进行解释。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (2)

1.一种基于属性的多模态可解释分类方法，其特征在于，所述方法包括如下步骤：
步骤一、通过多种传感器，获取图片中待分类识别的对象的多模态原始数据；
步骤二、将采集到的所述多模态原始数据输入到对应模态的ResNet卷积神经网络中以得到模态特征图，并使用全局最大池化从模态特征图中提取模态属性强度；
步骤三、在各模态对应的所述ResNet卷积神经网络中进行批归一化通道交换，利用正则化损失函数稀疏批归一化层，用于增强各模态之间的数据互补能力；
步骤四、计算所述模态属性强度的置信度和不确定度，并利用邓普斯特-谢弗理论对所述模态属性强度的置信度与不确定度进行融合，以计算得到对象的属性强度；
步骤五、将所述对象的属性强度输入至决策树，在决策树中利用嵌入决策推理规则进行软推理，以预测得到各类别概率并选择概率最大的一个类别作为预测结果，通过由多模态融合损失函数与决策树推理损失函数构成的叶层级推理损失函数，内部层级推理损失函数以及类别原型损失函数，对所述ResNet卷积神经网络进行优化；
步骤六、根据所述对象的属性强度、决策树推理规则以及路由信息，对所述预测结果进行解释；
在所述步骤二中，提取模态属性强度的方法包括如下步骤：
将所述多模态原始数据
Figure 758069DEST_PATH_IMAGE001
输入至对应模态的ResNet卷积神经网络中的网络特征提取模块中，以提取得到模态特征图
Figure 887699DEST_PATH_IMAGE002
；
利用全局最大池化对所述模态特征图进行提取，以得到模态属性强度；
使用带泄露整流函数对所述模态属性强度进行约束，微调后保证模态属性强度为非负数
Figure 967651DEST_PATH_IMAGE003
；
对应的计算公式表示为：
Figure 586851DEST_PATH_IMAGE004
Figure 385043DEST_PATH_IMAGE005
其中，
Figure 115101DEST_PATH_IMAGE006
表示模态原始数据，
Figure 315139DEST_PATH_IMAGE007
表示模态特征图，
Figure 308502DEST_PATH_IMAGE008
表示模态属性强度，
Figure 328411DEST_PATH_IMAGE009
表示第
Figure 862160DEST_PATH_IMAGE010
个模态原始数据，
Figure 179354DEST_PATH_IMAGE011
表示第
Figure 874777DEST_PATH_IMAGE012
个模态特征图，
Figure 850823DEST_PATH_IMAGE013
表示第
Figure 922685DEST_PATH_IMAGE012
个模态属性强度，
Figure 831735DEST_PATH_IMAGE014
表示模态数量，
Figure 229218DEST_PATH_IMAGE015
表示第
Figure 223719DEST_PATH_IMAGE012
个模态的ResNet卷积神经网络的特征提取操作，
Figure 99271DEST_PATH_IMAGE016
表示模态属性的数量，
Figure 331669DEST_PATH_IMAGE017
表示最大值函数，
Figure 368895DEST_PATH_IMAGE018
表示最小值函数，
Figure 381851DEST_PATH_IMAGE019
表示泄露值为0.01的带泄露整流函数，
Figure 795515DEST_PATH_IMAGE020
表示全局最大池化，
Figure 882419DEST_PATH_IMAGE021
表示微调偏移量；
在所述步骤三中，批归一化通道交换的计算公式表示为：
Figure 90547DEST_PATH_IMAGE022
其中，
Figure 59640DEST_PATH_IMAGE023
表示第
Figure 542574DEST_PATH_IMAGE024
个模态的批归一化通道交换结果，
Figure 280723DEST_PATH_IMAGE025
表示第
Figure 128593DEST_PATH_IMAGE024
个模态的批归一化缩放因子，
Figure 584982DEST_PATH_IMAGE026
表示第
Figure 606028DEST_PATH_IMAGE024
个模态的批归一化偏移量，
Figure 467192DEST_PATH_IMAGE027
表示第
Figure 282701DEST_PATH_IMAGE028
个模态的批归一化缩放因子，
Figure 164069DEST_PATH_IMAGE029
表示第
Figure 723227DEST_PATH_IMAGE028
个模态的批归一化偏移量，
Figure 701547DEST_PATH_IMAGE030
表示第
Figure 687958DEST_PATH_IMAGE028
个模态原始数据，
Figure 322201DEST_PATH_IMAGE031
表示样本平均值，
Figure 419470DEST_PATH_IMAGE032
表示样本方差，
Figure 986718DEST_PATH_IMAGE033
表示批归一化通道交换阈值；
在所述步骤四中，计算对象的属性强度的方法包括如下步骤：
计算各模态属性强度的狄利克雷分布
Figure 409609DEST_PATH_IMAGE034
，公式表示为：
Figure 62307DEST_PATH_IMAGE035
其中，
Figure 166529DEST_PATH_IMAGE036
表示第
Figure 853863DEST_PATH_IMAGE037
个模态的第
Figure 182076DEST_PATH_IMAGE038
个属性强度，
Figure 587649DEST_PATH_IMAGE034
表示第
Figure 26721DEST_PATH_IMAGE037
个模态的第
Figure 771823DEST_PATH_IMAGE038
个属性强度的狄利克雷分布；
计算模态属性强度的置信度
Figure 270938DEST_PATH_IMAGE039
与不确定度
Figure 163807DEST_PATH_IMAGE040
，公式表示为：
Figure 406570DEST_PATH_IMAGE041
其中，
Figure 65566DEST_PATH_IMAGE042
表示第
Figure 938844DEST_PATH_IMAGE037
个模态属性强度的狄利克雷强度，
Figure 787851DEST_PATH_IMAGE043
表示第
Figure 99884DEST_PATH_IMAGE037
个模态的第
Figure 616316DEST_PATH_IMAGE038
个属性强度的置信度，
Figure 457233DEST_PATH_IMAGE044
表示第
Figure 996798DEST_PATH_IMAGE037
个模态属性强度的不确定度；
根据邓普斯特-谢弗理论对模态属性强度的置信度与不确定度进行融合，计算得到对象的属性强度
Figure 581363DEST_PATH_IMAGE045
，公式表示为：
Figure 952302DEST_PATH_IMAGE046
其中，
Figure 229699DEST_PATH_IMAGE047
表示模态间数据的冲突程度，
Figure 318878DEST_PATH_IMAGE048
表示模态的第
Figure 644817DEST_PATH_IMAGE038
个属性融合置信度，
Figure 135842DEST_PATH_IMAGE049
表示模态属性强度的融合不确定度，
Figure 584140DEST_PATH_IMAGE050
表示第
Figure 895036DEST_PATH_IMAGE028
个模态属性强度的不确定度，
Figure 821404DEST_PATH_IMAGE051
表示对象的第
Figure 370197DEST_PATH_IMAGE038
个属性强度，
Figure 723818DEST_PATH_IMAGE052
表示模态属性强度的狄利克雷强度；
在所述步骤五中，利用嵌入决策推理规则进行软推理的方法包括如下步骤：
构建决策树，计算类别层次矩阵，公式表示为：
Figure 787589DEST_PATH_IMAGE053
其中，
Figure 517647DEST_PATH_IMAGE054
表示类别层次矩阵，用于确认根到节点
Figure 920947DEST_PATH_IMAGE055
是否经过节点
Figure 448399DEST_PATH_IMAGE056
；
计算经softmax函数处理的节点决策概率
Figure 733887DEST_PATH_IMAGE057
，公式表示为：
Figure 267636DEST_PATH_IMAGE058
其中，
Figure 587759DEST_PATH_IMAGE059
表示节点
Figure 283183DEST_PATH_IMAGE056
的决策概率，
Figure 259229DEST_PATH_IMAGE060
表示对象的属性强度，
Figure 331090DEST_PATH_IMAGE061
表示归一化操作，
Figure 505719DEST_PATH_IMAGE062
表示嵌入决策推理规则，
Figure 637623DEST_PATH_IMAGE063
，
Figure 835387DEST_PATH_IMAGE064
表示类别数量；
计算每个节点所代表类别的预测概率
Figure 710939DEST_PATH_IMAGE065
，公式表示为：
Figure 474495DEST_PATH_IMAGE066
将多个预测概率中数值最大的预测概率作为预测结果；
在所述步骤三中，正则化损失函数表示为：
Figure 42880DEST_PATH_IMAGE067
其中，
Figure 524677DEST_PATH_IMAGE068
表示正则化损失函数，
Figure 141603DEST_PATH_IMAGE069
表示正则化损失系数，
Figure 25245DEST_PATH_IMAGE070
表示进行批归一化通道交换的层次数量，
Figure 764531DEST_PATH_IMAGE071
表示样本绝对值，
Figure 733624DEST_PATH_IMAGE072
表示第
Figure 950979DEST_PATH_IMAGE073
个模态的第
Figure 892390DEST_PATH_IMAGE074
层批归一化缩放因子平均值，
Figure 557506DEST_PATH_IMAGE075
；
叶层级推理损失函数表示为：
Figure 279474DEST_PATH_IMAGE076
其中，
Figure 34941DEST_PATH_IMAGE077
表示改进的交叉熵损失函数，
Figure 96438DEST_PATH_IMAGE078
表示KL散度，
Figure 646368DEST_PATH_IMAGE079
表示多模态融合损失函数，
Figure 590053DEST_PATH_IMAGE080
表示决策树推理损失函数，
Figure 414789DEST_PATH_IMAGE081
表示推理损失函数，
Figure 127531DEST_PATH_IMAGE082
表示叶层级推理损失函数，
Figure 317203DEST_PATH_IMAGE083
表示对象的类别向量，
Figure 482606DEST_PATH_IMAGE084
表示双伽马函数，
Figure 845454DEST_PATH_IMAGE085
表示第
Figure 678281DEST_PATH_IMAGE010
个模态的狄利克雷分布，
Figure 835592DEST_PATH_IMAGE086
表示去除不正确证据后第
Figure 691553DEST_PATH_IMAGE010
个模态的狄利克雷分布，
Figure 592513DEST_PATH_IMAGE087
表示属性强度的狄利克雷分布，
Figure 545425DEST_PATH_IMAGE088
表示去除不正确证据后属性强度的狄利克雷分布，
Figure 873639DEST_PATH_IMAGE089
表示向量内积，
Figure 13633DEST_PATH_IMAGE090
表示伽马函数，
Figure 655967DEST_PATH_IMAGE091
表示狄利克雷函数，
Figure 197807DEST_PATH_IMAGE092
表示KL散度权重，
Figure 965430DEST_PATH_IMAGE093
表示交叉熵损失函数，
Figure 592720DEST_PATH_IMAGE094
表示叶子节点代表类别的预测概率，
Figure 835483DEST_PATH_IMAGE095
表示ReLU函数的平滑操作，
Figure 435091DEST_PATH_IMAGE096
表示叶子节点的嵌入决策推理规则；
内部层级推理损失函数表示为：
Figure 105107DEST_PATH_IMAGE097
其中，
Figure 485273DEST_PATH_IMAGE098
表示内部层级推理损失函数；
类别原型损失函数计算的步骤包括：
计算类别的原型属性强度：
Figure 531726DEST_PATH_IMAGE099
其中，
Figure 782579DEST_PATH_IMAGE100
表示类别具有的原型属性强度，
Figure 826759DEST_PATH_IMAGE101
表示类别具有的独特属性；
计算类别的原型属性强度的叶层级损失函数：
Figure 428641DEST_PATH_IMAGE102
其中，
Figure 278785DEST_PATH_IMAGE103
表示第
Figure 649724DEST_PATH_IMAGE104
类原型属性强度的叶层级损失函数，
Figure 661542DEST_PATH_IMAGE105
表示第
Figure 750721DEST_PATH_IMAGE104
类原型属性强度，
Figure 76660DEST_PATH_IMAGE106
表示决策树推理损失函数，
Figure 302105DEST_PATH_IMAGE107
表示叶子节点；
计算类别的原型属性强度的内部损失函数：
Figure 15983DEST_PATH_IMAGE108
其中，
Figure 326879DEST_PATH_IMAGE109
表示类别的原型属性强度的内部损失函数，
Figure 456509DEST_PATH_IMAGE110
表示决策树中除叶子节点以外的所有节点；
类别原型损失函数表示为：
Figure 802040DEST_PATH_IMAGE111
其中，
Figure 152731DEST_PATH_IMAGE112
表示类别原型损失函数，
Figure 216502DEST_PATH_IMAGE113
均表示损失函数权重参数。
2.一种基于属性的多模态可解释分类系统，其特征在于，所述系统应用如上述权利要求1所述的基于属性的多模态可解释分类方法，所述系统包括：
信息获取模块，用于：
通过多种传感器，获取图片中待分类识别的对象的多模态原始数据；
属性提取模块，用于：
将采集到的所述多模态原始数据输入到对应模态的ResNet卷积神经网络中以得到模态特征图，并使用全局最大池化从模态特征图中提取模态属性强度；
通道交换模块，用于：
在各模态对应的所述ResNet卷积神经网络中进行批归一化通道交换，利用正则化损失函数稀疏批归一化层，用于增强各模态之间的数据互补能力；
属性融合模块，用于：
计算所述模态属性强度的置信度和不确定度，并利用邓普斯特-谢弗理论对所述模态属性强度的置信度与不确定度进行融合，以计算得到对象的属性强度；
卷积优化模块，用于：
将所述对象的属性强度输入至决策树，在决策树中利用嵌入决策推理规则进行软推理，以预测得到各类别概率并选择概率最大的一个类别作为预测结果，通过由多模态融合损失函数与决策树推理损失函数构成的叶层级推理损失函数，内部层级推理损失函数以及类别原型损失函数，对所述ResNet卷积神经网络进行优化；
模型解释模块，用于：
根据所述对象的属性强度、决策树推理规则以及路由信息，对所述预测结果进行解释。
CN202211206014.XA 2022-09-30 2022-09-30 基于属性的多模态可解释分类的方法与系统 Active CN115294406B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211206014.XA CN115294406B (zh) 2022-09-30 2022-09-30 基于属性的多模态可解释分类的方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211206014.XA CN115294406B (zh) 2022-09-30 2022-09-30 基于属性的多模态可解释分类的方法与系统

Publications (2)

Publication Number Publication Date
CN115294406A CN115294406A (zh) 2022-11-04
CN115294406B true CN115294406B (zh) 2022-12-20

Family

ID=83833324

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211206014.XA Active CN115294406B (zh) 2022-09-30 2022-09-30 基于属性的多模态可解释分类的方法与系统

Country Status (1)

Country Link
CN (1) CN115294406B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116884094B (zh) * 2023-09-07 2023-12-12 武汉理工大学 基于视角和行为解耦的多视角行为识别方法及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02195473A (ja) * 1989-01-25 1990-08-02 Hitachi Ltd 学習システムにおける属性値予測方法
US20190122073A1 (en) * 2017-10-23 2019-04-25 The Charles Stark Draper Laboratory, Inc. System and method for quantifying uncertainty in reasoning about 2d and 3d spatial features with a computer machine learning architecture
CN111046962B (zh) * 2019-12-16 2022-10-04 中国人民解放军战略支援部队信息工程大学 基于稀疏注意力的卷积神经网络模型的特征可视化方法及系统
CN111652271A (zh) * 2020-04-24 2020-09-11 华东交通大学 一种基于神经网络的非线性特征选择方法
US20210117760A1 (en) * 2020-06-02 2021-04-22 Intel Corporation Methods and apparatus to obtain well-calibrated uncertainty in deep neural networks
CN114037871A (zh) * 2021-11-09 2022-02-11 浙江大学 一种基于神经支持决策树的图像分类可解释方法
CN114999006A (zh) * 2022-05-20 2022-09-02 南京邮电大学 基于不确定性估计的多模态情感分析方法、装置及设备

Also Published As

Publication number Publication date
CN115294406A (zh) 2022-11-04

Similar Documents

Publication Publication Date Title
Li et al. Application on traffic flow prediction of machine learning in intelligent transportation
Yang et al. A unified model of sequential three-way decisions and multilevel incremental processing
Singla et al. A fast automatic optimal threshold selection technique for image segmentation
CN113361397B (zh) 一种基于深度学习的人脸口罩佩戴情况检测方法
CN112132818A (zh) 基于图卷积神经网络构建三阶段的图像处理方法
Harshavardhan et al. LSGDM with biogeography-based optimization (BBO) model for healthcare applications
CN113297972B (zh) 一种基于数据融合深度学习的变电站设备缺陷智能分析方法
CN115294406B (zh) 基于属性的多模态可解释分类的方法与系统
Yang et al. Hyperspectral image classification with spectral and spatial graph using inductive representation learning network
CN114782761B (zh) 基于深度学习的智能仓储物料识别方法和系统
CN112365482A (zh) 一种基于染色体三等分特征点定位的交叉染色体图像实例分割方法
CN114359631A (zh) 基于编码-译码弱监督网络模型的目标分类与定位方法
CN115546525A (zh) 多视图聚类方法、装置、电子设备及存储介质
CN113326862A (zh) 审计大数据融合聚类与风险数据检测方法、介质、设备
Reyes et al. Enhanced rotational invariant convolutional neural network for supernovae detection
CN112529025A (zh) 一种数据处理方法及装置
Verma et al. A systematic review on the advancement in the study of fuzzy variational problems
CN115761240B (zh) 一种混沌反向传播图神经网络的图像语义分割方法及装置
CN115423091A (zh) 一种条件对抗神经网络训练方法、场景生成方法和系统
Beheshtifar Identification of landslide-prone zones using a GIS-based multi-criteria decision analysis and region-growing algorithm in uncertain conditions
CN112801028A (zh) 基于归纳表示学习网络的光谱和空间图高光谱图像分类方法
CN112418358A (zh) 一种强化深度融合网络的车辆多属性分类方法
CN114494753A (zh) 聚类方法、装置、电子设备及计算机可读存储介质
Lulio et al. Jseg algorithm and statistical ann image segmentation techniques for natural scenes
Ooi et al. Multi-objective image segmentation with an interactive evolutionary computation approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant