CN115294406A - 基于属性的多模态可解释分类的方法与系统 - Google Patents

基于属性的多模态可解释分类的方法与系统 Download PDF

Info

Publication number
CN115294406A
CN115294406A CN202211206014.XA CN202211206014A CN115294406A CN 115294406 A CN115294406 A CN 115294406A CN 202211206014 A CN202211206014 A CN 202211206014A CN 115294406 A CN115294406 A CN 115294406A
Authority
CN
China
Prior art keywords
attribute
modal
loss function
representing
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211206014.XA
Other languages
English (en)
Other versions
CN115294406B (zh
Inventor
王辉
黄宇廷
范自柱
杨辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Jiaotong University
Original Assignee
East China Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Jiaotong University filed Critical East China Jiaotong University
Priority to CN202211206014.XA priority Critical patent/CN115294406B/zh
Publication of CN115294406A publication Critical patent/CN115294406A/zh
Application granted granted Critical
Publication of CN115294406B publication Critical patent/CN115294406B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出一种基于属性的多模态可解释分类的方法与系统，通过批归一化通道交换及邓普斯特‑谢弗理论，利用多模态数据的互补能力，有效提高分类准确性；根据对象具有的属性以及决策树推理规则对预测结果进行解释，运用不同的损失函数描述对象在决策树叶层级和内部层级的推理损失，以及分类属性原型在决策树叶层级和内部层级的损失；进行训练时，将多模态分类数据集输入至模型中，反向传播训练网络权重以最小化训练损失，将损失函数降低至最低点；进行分类预测时，将多模态数据输入至训练完成的网络，得到检测物体的预测结果，通过可视化展示物体具有的属性及决策树推理规则及路由信息，以对预测结果进行很好地解释。

Description

基于属性的多模态可解释分类的方法与系统
技术领域
本发明涉及计算机数据处理技术领域，特别涉及一种基于属性的多模态可解释分类的方法与系统。
背景技术
由于人工智能存在着脆弱和易受攻击的缺陷，高度的不确定性与复杂性使人们无法理解决策背后的原因。因此，探索一种更为安全准确并且可解释的人工智能，是非常有必要的。
目前，神经网络的准确性已经得到了极大提高，但人工智能可解释性的研究仍处于初期阶段。常见的人工智能可解释性的研究包括：影响函数分析训练数据对人工智能模型的影响；Grad-CAM可视化地分析人工智能模型利用的数据特征；LIME利用可解释模型局部近似复杂的黑盒模型；决策树层层推理实现最终的分类。然而，上述这些可解释方法的理论框架仍有待完善，方法的准确性和有效性仍然较低。
基于此，有必要提出一种新型的基于属性的多模态可解释分类方法，以尽可能提高人工智能的可解释性，同时增强可解释方法的准确性和有效性，提高运行效率。
发明内容
为此，本发明的实施例提出一种基于属性的多模态可解释分类的方法与系统，以解决上述技术问题。
本发明提出一种基于属性的多模态可解释分类方法，其中，所述方法包括如下步骤：
步骤一、通过多种传感器，获取图片中待分类识别的对象的多模态原始数据；
步骤二、将采集到的所述多模态原始数据输入到对应模态的ResNet卷积神经网络中以得到模态特征图，并使用全局最大池化从模态特征图中提取模态属性强度；
步骤三、在各模态对应的所述ResNet卷积神经网络中进行批归一化通道交换，利用正则化损失函数稀疏批归一化层，用于增强各模态之间的数据互补能力；
步骤四、计算所述模态属性强度的置信度和不确定度，并利用邓普斯特-谢弗理论对所述模态属性强度的置信度与不确定度进行融合，以计算得到对象的属性强度；
步骤五、将所述对象的属性强度输入至决策树，在决策树中利用嵌入决策推理规则进行软推理，以预测得到各类别概率并选择概率最大的一个类别作为预测结果，通过由多模态融合损失函数与决策树推理损失函数构成的叶层级推理损失函数，内部层级推理损失函数以及类别原型损失函数，对所述ResNet卷积神经网络进行优化；
步骤六、根据所述对象的属性强度、决策树推理规则以及路由信息，对所述预测结果进行解释。
本发明提出一种基于属性的多模态可解释分类方法，通过批归一化通道交换及邓普斯特-谢弗理论，利用多模态数据的互补能力，有效提高分类的准确性；同时，根据图片中待分类识别的对象所具有的属性以及决策树推理规则对预测结果进行解释，运用四种不同的损失函数描述对象在决策树叶层级和内部层级的推理损失，以及分类属性原型在决策树叶层级和内部层级的损失；
在进行训练时，将多模态分类数据集输入至模型中，反向传播训练网络权重以最小化训练损失，将损失函数降低至最低点；在进行分类预测时，只需要将多模态数据输入至训练完成的网络，便能得到检测物体的预测结果，通过可视化展示物体具有的属性及决策树推理规则及路由信息，得到预测的过程及依据，以对预测结果进行很好地解释。
本发明还提出一种基于属性的多模态可解释分类系统，其中，所述系统包括：
信息获取模块，用于：
通过多种传感器，获取图片中待分类识别的对象的多模态原始数据；
属性提取模块，用于：
将采集到的所述多模态原始数据输入到对应模态的ResNet卷积神经网络中以得到模态特征图，并使用全局最大池化从模态特征图中提取模态属性强度；
通道交换模块，用于：
在各模态对应的所述ResNet卷积神经网络中进行批归一化通道交换，利用正则化损失函数稀疏批归一化层，用于增强各模态之间的数据互补能力；
属性融合模块，用于：
计算所述模态属性强度的置信度和不确定度，并利用邓普斯特-谢弗理论对所述模态属性强度的置信度与不确定度进行融合，以计算得到对象的属性强度；
卷积优化模块，用于：
将所述对象的属性强度输入至决策树，在决策树中利用嵌入决策推理规则进行软推理，以预测得到各类别概率并选择概率最大的一个类别作为预测结果，通过由多模态融合损失函数与决策树推理损失函数构成的叶层级推理损失函数，内部层级推理损失函数以及类别原型损失函数，对所述ResNet卷积神经网络进行优化；
模型解释模块，用于：
根据所述对象的属性强度、决策树推理规则以及路由信息，对所述预测结果进行解释。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实施例了解到。
附图说明
本发明实施例的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明提出的基于属性的多模态可解释分类方法的流程图；
图2为本发明提出的基于属性的多模态可解释分类系统的结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提出一种基于属性的多模态可解释分类方法，其中，所述方法包括如下步骤：
S101、通过多种传感器，获取图片中待分类识别的对象的多模态原始数据。
S102、将采集到的所述多模态原始数据输入到对应模态的ResNet卷积神经网络中以得到模态特征图，并使用全局最大池化从模态特征图中提取模态属性强度。
在步骤S102中，提取模态属性强度的方法包括如下步骤：
S1021、将所述多模态原始数据
Figure 898966DEST_PATH_IMAGE001
输入至对应模态的ResNet卷积神经网络中的网络特征提取模块中，以提取得到模态特征图
Figure 757200DEST_PATH_IMAGE002
；
S1022、利用全局最大池化对所述模态特征图进行提取，以得到模态属性强度；
S1023、使用带泄露整流函数对所述模态属性强度进行约束，微调后保证模态属性强度为非负数
Figure 448076DEST_PATH_IMAGE003
；
对应的计算公式表示为：
Figure 126182DEST_PATH_IMAGE004
其中，
Figure 809973DEST_PATH_IMAGE005
表示模态原始数据，
Figure 522714DEST_PATH_IMAGE006
表示模态特征图，
Figure 384491DEST_PATH_IMAGE007
表示模态属性强度，
Figure 815472DEST_PATH_IMAGE008
表示第
Figure 538840DEST_PATH_IMAGE009
个模态原始数据，
Figure 106087DEST_PATH_IMAGE010
表示第
Figure 138765DEST_PATH_IMAGE011
个模态特征图，
Figure 525884DEST_PATH_IMAGE012
表示第
Figure 551478DEST_PATH_IMAGE011
个模态属性强度，
Figure 238811DEST_PATH_IMAGE013
表示模态数量，
Figure 707970DEST_PATH_IMAGE014
表示第
Figure 847964DEST_PATH_IMAGE011
个模态的ResNet卷积神经网络的特征提取操作，
Figure 910205DEST_PATH_IMAGE015
表示模态属性的数量，
Figure 452045DEST_PATH_IMAGE016
表示最大值函数，
Figure 826525DEST_PATH_IMAGE017
表示最小值函数，
Figure 453816DEST_PATH_IMAGE018
表示泄露值为0.01的带泄露整流函数，
Figure 821212DEST_PATH_IMAGE019
表示全局最大池化，
Figure 483138DEST_PATH_IMAGE020
表示微调偏移量。
S103、在各模态对应的所述ResNet卷积神经网络中进行批归一化通道交换，利用正则化损失函数稀疏批归一化层，用于增强各模态之间的数据互补能力。
在步骤S103中，批归一化通道交换的计算公式表示为：
Figure 762940DEST_PATH_IMAGE021
其中，
Figure 611948DEST_PATH_IMAGE022
表示第
Figure 284500DEST_PATH_IMAGE023
个模态的批归一化通道交换结果，
Figure 66511DEST_PATH_IMAGE024
表示第
Figure 782794DEST_PATH_IMAGE023
个模态的批归一化缩放因子，
Figure 119098DEST_PATH_IMAGE025
表示第
Figure 828296DEST_PATH_IMAGE009
个模态的批归一化偏移量，
Figure 199235DEST_PATH_IMAGE026
表示第
Figure 86419DEST_PATH_IMAGE027
个模态的批归一化缩放因子，
Figure 175598DEST_PATH_IMAGE028
表示第
Figure 915585DEST_PATH_IMAGE027
个模态的批归一化偏移量，
Figure 406609DEST_PATH_IMAGE029
表示第
Figure 464695DEST_PATH_IMAGE027
个模态原始数据，
Figure 775590DEST_PATH_IMAGE030
表示样本平均值，
Figure 826592DEST_PATH_IMAGE031
表示样本方差，
Figure 172122DEST_PATH_IMAGE032
表示批归一化通道交换阈值。
进一步的，上述正则化损失函数表示为：
Figure 401110DEST_PATH_IMAGE033
其中，
Figure 199301DEST_PATH_IMAGE034
表示正则化损失函数，
Figure 555459DEST_PATH_IMAGE035
表示正则化化损失系数，
Figure 755496DEST_PATH_IMAGE036
表示进行批归一化通道交换的层次数量，
Figure 155384DEST_PATH_IMAGE037
表示样本绝对值，
Figure 440872DEST_PATH_IMAGE038
表示第
Figure 99255DEST_PATH_IMAGE011
个模态的第
Figure 153799DEST_PATH_IMAGE039
层批归一化缩放因子平均值，
Figure 724589DEST_PATH_IMAGE040
。
S104、计算所述模态属性强度的置信度和不确定度，并利用邓普斯特-谢弗理论对所述模态属性强度的置信度与不确定度进行融合，以计算得到对象的属性强度。
在步骤S104中，计算对象的属性强度的方法包括如下步骤：
S1041、计算各模态属性强度的狄利克雷分布
Figure 497373DEST_PATH_IMAGE041
，公式表示为：
Figure 192403DEST_PATH_IMAGE042
其中，
Figure 101453DEST_PATH_IMAGE043
表示第
Figure 108723DEST_PATH_IMAGE011
个模态的第
Figure 103224DEST_PATH_IMAGE044
个属性强度，
Figure 103410DEST_PATH_IMAGE041
表示第
Figure 866967DEST_PATH_IMAGE011
个模态的第
Figure 45138DEST_PATH_IMAGE044
个属性强度的狄利克雷分布；
S1042、计算模态属性强度的置信度
Figure 526935DEST_PATH_IMAGE045
与不确定度
Figure 143861DEST_PATH_IMAGE046
，公式表示为：
Figure 653602DEST_PATH_IMAGE047
其中，
Figure 799413DEST_PATH_IMAGE048
表示第
Figure 768506DEST_PATH_IMAGE009
个模态属性强度的狄利克雷强度，
Figure 189123DEST_PATH_IMAGE049
表示第
Figure 51906DEST_PATH_IMAGE009
个模态的第
Figure 696514DEST_PATH_IMAGE044
个属性强度的置信度，
Figure 28269DEST_PATH_IMAGE050
表示第
Figure 783735DEST_PATH_IMAGE011
个模态属性强度的不确定度；
S1043、根据邓普斯特-谢弗理论对模态属性强度的置信度与不确定度进行融合，计算得到对象的属性强度
Figure 270998DEST_PATH_IMAGE051
，公式表示为：
Figure 820928DEST_PATH_IMAGE052
其中，
Figure 639980DEST_PATH_IMAGE053
表示模态间数据的冲突程度，
Figure 199137DEST_PATH_IMAGE054
表示模态的第
Figure 36512DEST_PATH_IMAGE044
个属性融合置信度，
Figure 22922DEST_PATH_IMAGE055
表示模态属性强度的融合不确定度，
Figure 63691DEST_PATH_IMAGE056
表示第
Figure 160960DEST_PATH_IMAGE027
个模态属性强度的不确定度，
Figure 619885DEST_PATH_IMAGE057
表示对象的第
Figure 777197DEST_PATH_IMAGE044
个属性强度，
Figure 305261DEST_PATH_IMAGE058
表示模态属性强度的狄利克雷强度。
S105、将所述对象的属性强度输入至决策树，在决策树中利用嵌入决策推理规则进行软推理，以预测得到各类别概率并选择概率最大的一个类别作为预测结果，通过由多模态融合损失函数与决策树推理损失函数构成的叶层级推理损失函数，内部层级推理损失函数以及类别原型损失函数，对所述ResNet卷积神经网络进行优化。
在步骤S105中，利用嵌入决策推理规则进行软推理的方法包括如下步骤：
S1051、构建决策树，计算类别层次矩阵，公式表示为：
Figure 206221DEST_PATH_IMAGE059
其中，
Figure 18188DEST_PATH_IMAGE060
表示类别层次矩阵，用于确认根到节点
Figure 346402DEST_PATH_IMAGE061
是否经过节点
Figure 361762DEST_PATH_IMAGE062
；
S1052、计算经softmax函数处理的节点决策概率
Figure 800834DEST_PATH_IMAGE063
，公式表示为：
Figure 965842DEST_PATH_IMAGE064
其中，
Figure 464957DEST_PATH_IMAGE065
表示节点
Figure 967614DEST_PATH_IMAGE062
的决策概率，
Figure 475955DEST_PATH_IMAGE066
表示对象的属性强度，
Figure 731356DEST_PATH_IMAGE067
表示归一化操作，
Figure 666951DEST_PATH_IMAGE068
表示嵌入决策推理规则，
Figure 391325DEST_PATH_IMAGE069
，
Figure 437778DEST_PATH_IMAGE070
表示类别数量；
S1053、计算每个节点所代表类别的预测概率
Figure 314729DEST_PATH_IMAGE071
，公式表示为：
Figure 421226DEST_PATH_IMAGE072
其中，
Figure 898475DEST_PATH_IMAGE065
表示节点
Figure 217460DEST_PATH_IMAGE062
的决策概率；
S1054、将多个预测概率中数值最大的预测概率作为预测结果。
进一步的，上述的叶层级推理损失函数表示为：
Figure 713033DEST_PATH_IMAGE073
其中，
Figure 724851DEST_PATH_IMAGE074
表示改进的交叉熵损失函数，
Figure 954975DEST_PATH_IMAGE075
表示KL散度，
Figure 77652DEST_PATH_IMAGE076
表示多模态融合损失函数，
Figure 990765DEST_PATH_IMAGE077
表示决策树推理损失函数，
Figure 704643DEST_PATH_IMAGE078
表示推理损失函数，
Figure 890905DEST_PATH_IMAGE079
表示叶层级推理损失函数，
Figure 817272DEST_PATH_IMAGE080
表示对象的类别向量，
Figure 287437DEST_PATH_IMAGE081
表示双伽马函数，
Figure 641058DEST_PATH_IMAGE082
表示第
Figure 49037DEST_PATH_IMAGE011
个模态的狄利克雷分布，
Figure 779095DEST_PATH_IMAGE083
表示去除不正确证据后第
Figure 870810DEST_PATH_IMAGE084
个模态的狄利克雷分布，
Figure 395332DEST_PATH_IMAGE085
表示属性强度的狄利克雷分布，
Figure 556186DEST_PATH_IMAGE086
表示去除不正确证据后属性强度的狄利克雷分布，
Figure 824357DEST_PATH_IMAGE087
表示向量内积，
Figure 3534DEST_PATH_IMAGE088
表示伽马函数，
Figure 698958DEST_PATH_IMAGE089
表示狄利克雷函数，
Figure 347108DEST_PATH_IMAGE090
表示KL散度权重，
Figure 418969DEST_PATH_IMAGE091
表示交叉熵损失函数，
Figure 951188DEST_PATH_IMAGE092
表示叶子节点代表类别的预测概率，
Figure 817513DEST_PATH_IMAGE093
表示ReLU函数的平滑操作，
Figure 952959DEST_PATH_IMAGE094
表示叶子节点的嵌入决策推理规则。
进一步的，上述内部层级推理损失函数表示为：
Figure 562932DEST_PATH_IMAGE095
其中，
Figure 716702DEST_PATH_IMAGE096
表示内部层级推理损失函数。
上述的类别原型损失函数计算的步骤包括：
计算类别的原型属性强度：
Figure 19507DEST_PATH_IMAGE097
其中，
Figure 376670DEST_PATH_IMAGE098
表示类别具有的原型属性强度，
Figure 790334DEST_PATH_IMAGE099
表示类别具有的独特属性；
计算类别的原型属性强度的叶层级损失函数：
Figure 300075DEST_PATH_IMAGE100
其中，
Figure 773782DEST_PATH_IMAGE101
表示第
Figure 414979DEST_PATH_IMAGE102
类原型属性强度的叶层级损失函数，
Figure 491388DEST_PATH_IMAGE103
表示第
Figure 229537DEST_PATH_IMAGE102
类原型属性强度，
Figure 749511DEST_PATH_IMAGE104
表示决策树推理损失函数，
Figure 205900DEST_PATH_IMAGE105
表示叶子节点；
计算类别的原型属性强度的内部损失函数：
Figure 590395DEST_PATH_IMAGE106
其中，
Figure 183050DEST_PATH_IMAGE107
表示类别的原型属性强度的内部损失函数，
Figure 873926DEST_PATH_IMAGE108
表示决策树中除叶子节点以外的所有节点；
类别原型损失函数表示为：
Figure 817611DEST_PATH_IMAGE109
其中，
Figure 501402DEST_PATH_IMAGE110
表示类别原型损失函数，
Figure 214143DEST_PATH_IMAGE111
均表示损失函数权重参数。
S106、根据所述对象的属性强度、决策树推理规则以及路由信息，对所述预测结果进行解释。
本发明提出一种基于属性的多模态可解释分类方法，通过批归一化通道交换及邓普斯特-谢弗理论，利用多模态数据的互补能力，有效提高分类的准确性；同时，根据图片中待分类识别的对象所具有的属性以及决策树推理规则对预测结果进行解释，运用四种不同的损失函数描述对象在决策树叶层级和内部层级的推理损失，以及分类属性原型在决策树叶层级和内部层级的损失；
在进行训练时，将多模态分类数据集输入至模型中，反向传播训练网络权重以最小化训练损失，将损失函数降低至最低点；在进行分类预测时，只需要将多模态数据输入至训练完成的网络，便能得到检测物体的预测结果，通过可视化展示物体具有的属性及决策树推理规则及路由信息，得到预测的过程及依据，以对预测结果进行很好地解释。
请参阅图2，本发明还提出一种基于属性的多模态可解释分类系统，其中，所述系统包括：
信息获取模块，用于：
通过多种传感器，获取图片中待分类识别的对象的多模态原始数据；
属性提取模块，用于：
将采集到的所述多模态原始数据输入到对应模态的ResNet卷积神经网络中以得到模态特征图，并使用全局最大池化从模态特征图中提取模态属性强度；
通道交换模块，用于：
在各模态对应的所述ResNet卷积神经网络中进行批归一化通道交换，利用正则化损失函数稀疏批归一化层，用于增强各模态之间的数据互补能力；
属性融合模块，用于：
计算所述模态属性强度的置信度和不确定度，并利用邓普斯特-谢弗理论对所述模态属性强度的置信度与不确定度进行融合，以计算得到对象的属性强度；
卷积优化模块，用于：
将所述对象的属性强度输入至决策树，在决策树中利用嵌入决策推理规则进行软推理，以预测得到各类别概率并选择概率最大的一个类别作为预测结果，通过由多模态融合损失函数与决策树推理损失函数构成的叶层级推理损失函数，内部层级推理损失函数以及类别原型损失函数，对所述ResNet卷积神经网络进行优化；
模型解释模块，用于：
根据所述对象的属性强度、决策树推理规则以及路由信息，对所述预测结果进行解释。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (10)

1.一种基于属性的多模态可解释分类方法，其特征在于，所述方法包括如下步骤：
步骤一、通过多种传感器，获取图片中待分类识别的对象的多模态原始数据；
步骤二、将采集到的所述多模态原始数据输入到对应模态的ResNet卷积神经网络中以得到模态特征图，并使用全局最大池化从模态特征图中提取模态属性强度；
步骤三、在各模态对应的所述ResNet卷积神经网络中进行批归一化通道交换，利用正则化损失函数稀疏批归一化层，用于增强各模态之间的数据互补能力；
步骤四、计算所述模态属性强度的置信度和不确定度，并利用邓普斯特-谢弗理论对所述模态属性强度的置信度与不确定度进行融合，以计算得到对象的属性强度；
步骤五、将所述对象的属性强度输入至决策树，在决策树中利用嵌入决策推理规则进行软推理，以预测得到各类别概率并选择概率最大的一个类别作为预测结果，通过由多模态融合损失函数与决策树推理损失函数构成的叶层级推理损失函数，内部层级推理损失函数以及类别原型损失函数，对所述ResNet卷积神经网络进行优化；
步骤六、根据所述对象的属性强度、决策树推理规则以及路由信息，对所述预测结果进行解释。
2.根据权利要求1所述的基于属性的多模态可解释分类方法，其特征在于，在所述步骤二中，提取模态属性强度的方法包括如下步骤：
将所述多模态原始数据
Figure 587152DEST_PATH_IMAGE001
输入至对应模态的ResNet卷积神经网络中的网络特征提取模块中，以提取得到模态特征图
Figure 590880DEST_PATH_IMAGE002
；
利用全局最大池化对所述模态特征图进行提取，以得到模态属性强度；
使用带泄露整流函数对所述模态属性强度进行约束，微调后保证模态属性强度为非负数
Figure 360122DEST_PATH_IMAGE003
；
对应的计算公式表示为：
Figure 816511DEST_PATH_IMAGE004
其中，
Figure 775240DEST_PATH_IMAGE005
表示模态原始数据，
Figure 243262DEST_PATH_IMAGE006
表示模态特征图，
Figure 58771DEST_PATH_IMAGE007
表示模态属性强度，
Figure 625625DEST_PATH_IMAGE008
表示第
Figure 184782DEST_PATH_IMAGE009
个模态原始数据，
Figure 772890DEST_PATH_IMAGE010
表示第
Figure 493721DEST_PATH_IMAGE011
个模态特征图，
Figure 49336DEST_PATH_IMAGE012
表示第
Figure 146605DEST_PATH_IMAGE011
个模态属性强度，
Figure 854798DEST_PATH_IMAGE013
表示模态数量，
Figure 746531DEST_PATH_IMAGE014
表示第
Figure 556486DEST_PATH_IMAGE011
个模态的ResNet卷积神经网络的特征提取操作，
Figure 457446DEST_PATH_IMAGE015
表示模态属性的数量，
Figure 754566DEST_PATH_IMAGE016
表示最大值函数，
Figure 82779DEST_PATH_IMAGE017
表示最小值函数，
Figure 347407DEST_PATH_IMAGE018
表示泄露值为0.01的带泄露整流函数，
Figure 52058DEST_PATH_IMAGE019
表示全局最大池化，
Figure 469264DEST_PATH_IMAGE020
表示微调偏移量。
3.根据权利要求2所述的基于属性的多模态可解释分类方法，其特征在于，在所述步骤三中，批归一化通道交换的计算公式表示为：
Figure 968379DEST_PATH_IMAGE021
其中，
Figure 798931DEST_PATH_IMAGE022
表示第
Figure 467460DEST_PATH_IMAGE023
个模态的批归一化通道交换结果，
Figure 739172DEST_PATH_IMAGE024
表示第
Figure 612450DEST_PATH_IMAGE011
个模态的批归一化缩放因子，
Figure 727037DEST_PATH_IMAGE025
表示第
Figure 632545DEST_PATH_IMAGE011
个模态的批归一化偏移量，
Figure 148977DEST_PATH_IMAGE026
表示第
Figure 865260DEST_PATH_IMAGE027
个模态的批归一化缩放因子，
Figure 467143DEST_PATH_IMAGE028
表示第
Figure 677807DEST_PATH_IMAGE027
个模态的批归一化偏移量，
Figure 48745DEST_PATH_IMAGE029
表示第
Figure 201509DEST_PATH_IMAGE027
个模态原始数据，
Figure 25108DEST_PATH_IMAGE030
表示样本平均值，
Figure 537998DEST_PATH_IMAGE031
表示样本方差，
Figure 763443DEST_PATH_IMAGE032
表示批归一化通道交换阈值。
4.根据权利要求3所述的基于属性的多模态可解释分类方法，其特征在于，在所述步骤四中，计算对象的属性强度的方法包括如下步骤：
计算各模态属性强度的狄利克雷分布
Figure 821529DEST_PATH_IMAGE033
，公式表示为：
Figure 398004DEST_PATH_IMAGE034
其中，
Figure 527634DEST_PATH_IMAGE035
表示第
Figure 230754DEST_PATH_IMAGE036
个模态的第
Figure 849954DEST_PATH_IMAGE037
个属性强度，
Figure 523512DEST_PATH_IMAGE033
表示第
Figure 253571DEST_PATH_IMAGE036
个模态的第
Figure 578242DEST_PATH_IMAGE037
个属性强度的狄利克雷分布；
计算模态属性强度的置信度
Figure 368343DEST_PATH_IMAGE038
与不确定度
Figure 529198DEST_PATH_IMAGE039
，公式表示为：
Figure 797368DEST_PATH_IMAGE040
其中，
Figure 478010DEST_PATH_IMAGE041
表示第
Figure 439013DEST_PATH_IMAGE011
个模态属性强度的狄利克雷强度，
Figure 821584DEST_PATH_IMAGE042
表示第
Figure 96707DEST_PATH_IMAGE011
个模态的第
Figure 271337DEST_PATH_IMAGE037
个属性强度的置信度，
Figure 262295DEST_PATH_IMAGE043
表示第
Figure 522375DEST_PATH_IMAGE011
个模态属性强度的不确定度；
根据邓普斯特-谢弗理论对模态属性强度的置信度与不确定度进行融合，计算得到对象的属性强度
Figure 7715DEST_PATH_IMAGE044
，公式表示为：
Figure 36850DEST_PATH_IMAGE045
其中，
Figure 691386DEST_PATH_IMAGE046
表示模态间数据的冲突程度，
Figure 438762DEST_PATH_IMAGE047
表示模态的第
Figure 727792DEST_PATH_IMAGE037
个属性融合置信度，
Figure 611435DEST_PATH_IMAGE048
表示模态属性强度的融合不确定度，
Figure 209775DEST_PATH_IMAGE049
表示第
Figure 178868DEST_PATH_IMAGE027
个模态属性强度的不确定度，
Figure 6010DEST_PATH_IMAGE050
表示对象的第
Figure 9738DEST_PATH_IMAGE037
个属性强度，
Figure 14865DEST_PATH_IMAGE051
表示模态属性强度的狄利克雷强度。
5.根据权利要求4所述的基于属性的多模态可解释分类方法，其特征在于，在所述步骤五中，利用嵌入决策推理规则进行软推理的方法包括如下步骤：
构建决策树，计算类别层次矩阵，公式表示为：
Figure 736834DEST_PATH_IMAGE052
其中，
Figure 367666DEST_PATH_IMAGE053
表示类别层次矩阵，用于确认根到节点
Figure 225901DEST_PATH_IMAGE054
是否经过节点
Figure 166044DEST_PATH_IMAGE055
；
计算经softmax函数处理的节点决策概率
Figure 109729DEST_PATH_IMAGE056
，公式表示为：
Figure 278673DEST_PATH_IMAGE057
其中，
Figure 991414DEST_PATH_IMAGE058
表示节点
Figure 600994DEST_PATH_IMAGE055
的决策概率，
Figure 31975DEST_PATH_IMAGE059
表示对象的属性强度，
Figure 4611DEST_PATH_IMAGE060
表示归一化操作，
Figure 571858DEST_PATH_IMAGE061
表示嵌入决策推理规则，
Figure 853804DEST_PATH_IMAGE062
，
Figure 975344DEST_PATH_IMAGE063
表示类别数量；
计算每个节点所代表类别的预测概率
Figure 610724DEST_PATH_IMAGE064
，公式表示为：
Figure 173424DEST_PATH_IMAGE065
将多个预测概率中数值最大的预测概率作为预测结果。
6.根据权利要求5所述的基于属性的多模态可解释分类方法，其特征在于，在所述步骤三中，正则化损失函数表示为：
Figure 501637DEST_PATH_IMAGE066
其中，
Figure 267730DEST_PATH_IMAGE067
表示正则化损失函数，
Figure 237960DEST_PATH_IMAGE068
表示正则化化损失系数，
Figure 655166DEST_PATH_IMAGE069
表示进行批归一化通道交换的层次数量，
Figure 154280DEST_PATH_IMAGE070
表示样本绝对值，
Figure 906205DEST_PATH_IMAGE071
表示第
Figure 883388DEST_PATH_IMAGE011
个模态的第
Figure 420680DEST_PATH_IMAGE072
层批归一化缩放因子平均值，
Figure 90695DEST_PATH_IMAGE073
。
7.根据权利要求6所述的基于属性的多模态可解释分类方法，其特征在于，叶层级推理损失函数表示为：
Figure 408544DEST_PATH_IMAGE074
其中，
Figure 818447DEST_PATH_IMAGE075
表示改进的交叉熵损失函数，
Figure 334879DEST_PATH_IMAGE076
表示KL散度，
Figure 51162DEST_PATH_IMAGE077
表示多模态融合损失函数，
Figure 653045DEST_PATH_IMAGE078
表示决策树推理损失函数，
Figure 362243DEST_PATH_IMAGE079
表示推理损失函数，
Figure 998761DEST_PATH_IMAGE080
表示叶层级推理损失函数，
Figure 885946DEST_PATH_IMAGE081
表示对象的类别向量，
Figure 709545DEST_PATH_IMAGE082
表示双伽马函数，
Figure 723900DEST_PATH_IMAGE083
表示第
Figure 949345DEST_PATH_IMAGE011
个模态的狄利克雷分布，
Figure 7431DEST_PATH_IMAGE084
表示去除不正确证据后第
Figure 583906DEST_PATH_IMAGE011
个模态的狄利克雷分布，
Figure 634907DEST_PATH_IMAGE085
表示属性强度的狄利克雷分布，
Figure 714858DEST_PATH_IMAGE086
表示去除不正确证据后属性强度的狄利克雷分布，
Figure 537321DEST_PATH_IMAGE087
表示向量内积，
Figure 210879DEST_PATH_IMAGE088
表示伽马函数，
Figure 675358DEST_PATH_IMAGE089
表示狄利克雷函数，
Figure 498564DEST_PATH_IMAGE090
表示KL散度权重，
Figure 288666DEST_PATH_IMAGE091
表示交叉熵损失函数，
Figure 183941DEST_PATH_IMAGE092
表示叶子节点代表类别的预测概率，
Figure 717690DEST_PATH_IMAGE093
表示ReLU函数的平滑操作，
Figure 896868DEST_PATH_IMAGE094
表示叶子节点的嵌入决策推理规则。
8.根据权利要求7所述的基于属性的多模态可解释分类方法，其特征在于，内部层级推理损失函数表示为：
Figure 857870DEST_PATH_IMAGE095
其中，
Figure 506021DEST_PATH_IMAGE096
表示内部层级推理损失函数。
9.根据权利要求8所述的基于属性的多模态可解释分类方法，其特征在于，类别原型损失函数计算的步骤包括：
计算类别的原型属性强度：
Figure 577882DEST_PATH_IMAGE097
其中，
Figure 113031DEST_PATH_IMAGE098
表示类别具有的原型属性强度，
Figure 244935DEST_PATH_IMAGE099
表示类别具有的独特属性；
计算类别的原型属性强度的叶层级损失函数：
Figure 114802DEST_PATH_IMAGE100
其中，
Figure 990354DEST_PATH_IMAGE101
表示第
Figure 144123DEST_PATH_IMAGE102
类原型属性强度的叶层级损失函数，
Figure 181350DEST_PATH_IMAGE103
表示第
Figure 804092DEST_PATH_IMAGE102
类原型属性强度，
Figure 421018DEST_PATH_IMAGE104
表示决策树推理损失函数，
Figure 304660DEST_PATH_IMAGE105
表示叶子节点；
计算类别的原型属性强度的内部损失函数：
Figure 153535DEST_PATH_IMAGE106
其中，
Figure 122628DEST_PATH_IMAGE107
表示类别的原型属性强度的内部损失函数，
Figure 215349DEST_PATH_IMAGE108
表示决策树中除叶子节点以外的所有节点；
类别原型损失函数表示为：
Figure 953498DEST_PATH_IMAGE109
其中，
Figure 722740DEST_PATH_IMAGE110
表示类别原型损失函数，
Figure 179129DEST_PATH_IMAGE111
均表示损失函数权重参数。
10.一种基于属性的多模态可解释分类系统，其特征在于，所述系统包括：
信息获取模块，用于：
通过多种传感器，获取图片中待分类识别的对象的多模态原始数据；
属性提取模块，用于：
将采集到的所述多模态原始数据输入到对应模态的ResNet卷积神经网络中以得到模态特征图，并使用全局最大池化从模态特征图中提取模态属性强度；
通道交换模块，用于：
在各模态对应的所述ResNet卷积神经网络中进行批归一化通道交换，利用正则化损失函数稀疏批归一化层，用于增强各模态之间的数据互补能力；
属性融合模块，用于：
计算所述模态属性强度的置信度和不确定度，并利用邓普斯特-谢弗理论对所述模态属性强度的置信度与不确定度进行融合，以计算得到对象的属性强度；
卷积优化模块，用于：
将所述对象的属性强度输入至决策树，在决策树中利用嵌入决策推理规则进行软推理，以预测得到各类别概率并选择概率最大的一个类别作为预测结果，通过由多模态融合损失函数与决策树推理损失函数构成的叶层级推理损失函数，内部层级推理损失函数以及类别原型损失函数，对所述ResNet卷积神经网络进行优化；
模型解释模块，用于：
根据所述对象的属性强度、决策树推理规则以及路由信息，对所述预测结果进行解释。
CN202211206014.XA 2022-09-30 2022-09-30 基于属性的多模态可解释分类的方法与系统 Active CN115294406B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211206014.XA CN115294406B (zh) 2022-09-30 2022-09-30 基于属性的多模态可解释分类的方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211206014.XA CN115294406B (zh) 2022-09-30 2022-09-30 基于属性的多模态可解释分类的方法与系统

Publications (2)

Publication Number Publication Date
CN115294406A true CN115294406A (zh) 2022-11-04
CN115294406B CN115294406B (zh) 2022-12-20

Family

ID=83833324

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211206014.XA Active CN115294406B (zh) 2022-09-30 2022-09-30 基于属性的多模态可解释分类的方法与系统

Country Status (1)

Country Link
CN (1) CN115294406B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116884094A (zh) * 2023-09-07 2023-10-13 武汉理工大学 基于视角和行为解耦的多视角行为识别方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02195473A (ja) * 1989-01-25 1990-08-02 Hitachi Ltd 学習システムにおける属性値予測方法
US20190122073A1 (en) * 2017-10-23 2019-04-25 The Charles Stark Draper Laboratory, Inc. System and method for quantifying uncertainty in reasoning about 2d and 3d spatial features with a computer machine learning architecture
CN111046962A (zh) * 2019-12-16 2020-04-21 中国人民解放军战略支援部队信息工程大学 基于稀疏注意力的卷积神经网络模型的特征可视化方法及系统
CN111652271A (zh) * 2020-04-24 2020-09-11 华东交通大学 一种基于神经网络的非线性特征选择方法
US20210117760A1 (en) * 2020-06-02 2021-04-22 Intel Corporation Methods and apparatus to obtain well-calibrated uncertainty in deep neural networks
CN114037871A (zh) * 2021-11-09 2022-02-11 浙江大学 一种基于神经支持决策树的图像分类可解释方法
CN114999006A (zh) * 2022-05-20 2022-09-02 南京邮电大学 基于不确定性估计的多模态情感分析方法、装置及设备
CN115049130A (zh) * 2022-06-20 2022-09-13 重庆邮电大学 一种基于时空金字塔的自动驾驶轨迹预测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02195473A (ja) * 1989-01-25 1990-08-02 Hitachi Ltd 学習システムにおける属性値予測方法
US20190122073A1 (en) * 2017-10-23 2019-04-25 The Charles Stark Draper Laboratory, Inc. System and method for quantifying uncertainty in reasoning about 2d and 3d spatial features with a computer machine learning architecture
CN111046962A (zh) * 2019-12-16 2020-04-21 中国人民解放军战略支援部队信息工程大学 基于稀疏注意力的卷积神经网络模型的特征可视化方法及系统
CN111652271A (zh) * 2020-04-24 2020-09-11 华东交通大学 一种基于神经网络的非线性特征选择方法
US20210117760A1 (en) * 2020-06-02 2021-04-22 Intel Corporation Methods and apparatus to obtain well-calibrated uncertainty in deep neural networks
CN114037871A (zh) * 2021-11-09 2022-02-11 浙江大学 一种基于神经支持决策树的图像分类可解释方法
CN114999006A (zh) * 2022-05-20 2022-09-02 南京邮电大学 基于不确定性估计的多模态情感分析方法、装置及设备
CN115049130A (zh) * 2022-06-20 2022-09-13 重庆邮电大学 一种基于时空金字塔的自动驾驶轨迹预测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YUFENG CHEN等: "Intelligent Gain Flattening of FMF Raman Amplification by Machine Learning Based Inverse Design", 《IEEE》 *
杨辉等: "基于多传感器数据融合的管廊环境评估方法", 《控制工程》 *
薛惠锋等: "数据融合技术在环境监测网络中的应用与思考", 《中国环境监测》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116884094A (zh) * 2023-09-07 2023-10-13 武汉理工大学 基于视角和行为解耦的多视角行为识别方法及系统
CN116884094B (zh) * 2023-09-07 2023-12-12 武汉理工大学 基于视角和行为解耦的多视角行为识别方法及系统

Also Published As

Publication number Publication date
CN115294406B (zh) 2022-12-20

Similar Documents

Publication Publication Date Title
CN109614985B (zh) 一种基于密集连接特征金字塔网络的目标检测方法
CN110070141B (zh) 一种网络入侵检测方法
CN108549891B (zh) 基于背景与目标先验的多尺度扩散显著目标检测方法
Singla et al. A fast automatic optimal threshold selection technique for image segmentation
CN112132818B (zh) 基于图卷积神经网络构建的肺结节检测和临床分析方法
CN104504366A (zh) 基于光流特征的笑脸识别系统及方法
CN113361397B (zh) 一种基于深度学习的人脸口罩佩戴情况检测方法
CN108763793A (zh) 一种加权模糊型d-s证据理论框架
CN112365482B (zh) 一种基于染色体三等分特征点定位的交叉染色体图像实例分割方法
CN111046926B (zh) 一种计算机视觉图像分类集成学习方法
CN114998695A (zh) 一种提高图像识别速度的方法及系统
CN115294406B (zh) 基于属性的多模态可解释分类的方法与系统
CN114782761B (zh) 基于深度学习的智能仓储物料识别方法和系统
CN115546525A (zh) 多视图聚类方法、装置、电子设备及存储介质
CN113297972A (zh) 一种基于数据融合深度学习的变电站设备缺陷智能分析方法
Hamidzadeh et al. Identification of uncertainty and decision boundary for SVM classification training using belief function
CN112529025A (zh) 一种数据处理方法及装置
CN113657394A (zh) 基于马尔可夫随机场和证据理论的遥感图像分割方法
CN112418358A (zh) 一种强化深度融合网络的车辆多属性分类方法
CN117079017A (zh) 可信的小样本图像识别分类方法
CN113128659A (zh) 神经网络定点化方法、装置、电子设备及可读存储介质
CN107492101B (zh) 基于自适应构造最优图的多模态鼻咽肿瘤分割算法
CN114067360A (zh) 一种行人属性检测方法及装置
Doncescu et al. Image color segmentation using the fuzzy tree algorithm T-LAMDA
Ooi et al. Multi-objective image segmentation with an interactive evolutionary computation approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant