CN114004340A - 一种基于序列变换的循环神经网络可解释性方法、系统 - Google Patents
一种基于序列变换的循环神经网络可解释性方法、系统 Download PDFInfo
- Publication number
- CN114004340A CN114004340A CN202111344376.0A CN202111344376A CN114004340A CN 114004340 A CN114004340 A CN 114004340A CN 202111344376 A CN202111344376 A CN 202111344376A CN 114004340 A CN114004340 A CN 114004340A
- Authority
- CN
- China
- Prior art keywords
- component
- model
- sequence
- input
- original
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000009466 transformation Effects 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 28
- 125000004122 cyclic group Chemical group 0.000 title claims description 7
- 238000004364 calculation method Methods 0.000 claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 26
- 230000000306 recurrent effect Effects 0.000 claims abstract description 18
- 238000003860 storage Methods 0.000 claims description 14
- 230000000694 effects Effects 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 7
- 238000012935 Averaging Methods 0.000 claims description 6
- 230000035772 mutation Effects 0.000 claims description 6
- 108090000623 proteins and genes Proteins 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 14
- 238000004422 calculation algorithm Methods 0.000 description 25
- 238000013473 artificial intelligence Methods 0.000 description 21
- 230000015654 memory Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 238000004590 computer program Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000002068 genetic effect Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000012821 model calculation Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 238000003066 decision tree Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明实施例提供一种基于序列变换的循环神经网络可解释性方法、系统，包括：获取用户选择的待解释模型和预期输入至待解释模型的原输入、各组件的序列；计算各组件对应的组件内部重要性作为模型局部计算逻辑的解释；计算各个组件对应的组件中心重要性；从组件中心重要性数据库中获取与各组件的序列相似的数据；获取各组件的序列变异后的父代输入和交叉变换之后的子代输入，确定原输入中最关键的输入序列；确定待解释模型对于所计算的原输入的结果的解释。本发明可以探索多个输入序列对循环神经网络计算过程的影响，并将模型的计算过程和其训练过程联系起来，获知训练集对计算产生影响的部分。
Description
技术领域
本发明涉及人工智能的可解释性的技术领域，具体地涉及一种基于序列变换的循环神经网络可解释性方法、系统。
背景技术
人工智能的可解释性，是通过解析人工智能内部工作原理，联系人工智能模型输入、输出和中间过程，来解释人工智能模型的运算结果，从而帮助人们理解人工智能、信任人工智能、消除人工智能训练过程中产生的错误。
人工智能模型有着优秀的表现性能，但是目前在人工智能模型使用过程中，较为普遍的是使用训练集训练人工智能模型，然后直接应用该模型。即使是构造该模型的人也不明白人工智能模型工作的原理，这就产生两个问题：1、因为缺少原理支撑，模型优化难度大幅提升。2、在医疗、自动驾驶领域，人们很难信任一个不清楚原理的人工智能模型。同时，在发生事故时，也很难进行追责。
人工智能的可解释性有以下三个方面：整体可解释性，从人工智能模型的整体角度说明整个模型的计算判断方式；局部可解释性，对人工智能模型的某个部分进行说明，表现模型某方面的计算原理；构造本身就比较容易理解的人工智能模型。
近几年的主流方法主要是通过注意力机制来寻找机器学习模型关注的重点从而实现可解释性。或者通过知识萃取，将原本复杂的机器学习模型转化为决策树，通过决策树本身易于理解的特性实现可解释性。循环神经网络模型是具有长时间记忆能力的，该模型计算过程不仅与输入本身内容有关，也和输入的顺序有关联。现有的可解释模型都只有解释模型本身输入的能力，其提供可解释性的方面较为单一，无法满足现阶段对于人工智能模型的可解释性的要求。
发明内容
本发明实施例的目的是提供一种基于序列变换的循环神经网络可解释性方法、系统，该基于序列变换的循环神经网络可解释性方法、系统可以探索多个输入序列对循环神经网络计算过程的影响，能够获知对智能模型影响最大的序列，并将模型的计算过程和其训练过程联系起来，获知训练集对计算产生影响的部分。
为了实现上述目的，本发明实施例提供一种基于序列变换的循环神经网络可解释性方法，所述基于序列变换的循环神经网络可解释性方法包括：
获取用户选择的待解释模型和预期输入至所述待解释模型的原输入；
获取所述原输入按照顺序划分得到的各组件的序列；
基于各组件按照顺序划分得到的各符号及其交换相邻符号位置的序列计算各组件对应的组件内部重要性作为模型局部计算逻辑的解释；
基于各组件及其交换相邻组件位置的序列计算各个组件对应的组件中心重要性作为模型全局计算逻辑的解释；
从组件中心重要性数据库中获取与所述各组件的序列相似的数据作为训练集对模型的影响的解释；
获取各组件的序列变异后的父代输入和交叉变换之后的子代输入，基于所述各组件变异后的父代输入和交叉变换之后的子代输入确定所述原输入中最关键的输入序列作为输入最关注的点的解释；
基于模型局部计算逻辑的解释、模型全局计算逻辑的解释、训练集对模型的影响的解释以及模型对于输入最关注的点的解释确定所述待解释模型对于所计算的原输入的结果的解释。
优选地，所基于各组件按照顺序划分得到的各符号及其交换相邻符号位置的序列计算各组件对应的组件内部重要性作为模型局部计算逻辑的解释包括：
获取各组件划分得到的各符号，针对每一符号，获取所述原输入输入至所述待解释模型以获得的原预测值和所述原输入变换相邻符号的序列后输入至所述待解释模型以获得的局部变换后预测值，基于所述局部原预测值和各个局部变换后预测值计算各个符号各自对应的符号中心重要性，基于各个符号各自对应的符号中心重要性计算各个组件对应的组件内部重要性作为所述模型局部计算逻辑的解释。
优选地，所述获取所述原输入输入至所述待解释模型以获得的原预测值和所述原输入变换相邻符号的序列后输入至所述待解释模型以获得的局部变换后预测值，基于所述局部原预测值和各个局部变换后预测值计算各个符号各自对应的符号中心重要性包括：
步骤11，选择原输入中的第一个组件；
步骤12，选择原输入中的第一个组件中的第一个符号；
步骤13，选择输入中第一个组件除步骤12中选择符号的第一个符号；
步骤14，将步骤12、13选中的两个符号互换位置，其他符号与组件相对位置不变；
步骤15，将序列变换后的输入提交给所述待解释模型，获得序列变换后的预测值，计算其与原预测值的差值；
步骤16，将步骤13改为选择除步骤12中选择符号的第二个符号，重复步骤13、14、15，将这些差值取平均值，作为第一个符号的符号中心重要性；
步骤17，将步骤12改为选择输入中的第一个组件中的第二个符号，并重复步骤12、13、14、15、16，获得所有符号的符号中心重要性。
优选地，所述基于各组件及其交换相邻组件位置的序列计算各个组件对应的组件中心重要性作为模型全局计算逻辑的解释包括：
针对每一组件，获取所述原输入变换相邻组件的序列后输入至所述待解释模型以获得的全局变换后预测值，基于所述原预测值和各个全局变换后预测值计算各个组件对应的组件中心重要性作为所述模型全局计算逻辑的解释。
优选地，所述基于所述原预测值和各个全局变换后预测值计算各个组件对应的组件中心重要性包括：
步骤21，选择原输入中的第一个组件；
步骤22，选择输入中除步骤21中选择组件的第一个组件；
步骤23，将步骤21、22选中的两个组件互换位置，其他组件相对位置不变；
步骤24，将序列变换后的输入提交给待解释模式，获得序列变换后的预测值，计算其与原预测值的差值；
步骤25，将步骤22改为选择除步骤21中选择组件的第二个组件，重复步骤22、23、24，将这些差值取平均值，作为第一个组件的组件中心重要性；
步骤26，将步骤21改为选择输入中的第二个组件，并重复步骤21、22、23、24、25，获得所有组件的组件中心重要性。
优选地，所述获取各组件的序列变异后的父代输入和交叉变换之后的子代输入，基于所述各组件变异后的父代输入和交叉变换之后的子代输入确定所述原输入中最关键的输入序列作为输入最关注的点的解释包括：
步骤31，选择原输入；
步骤32，进行一次变异操作，变异操作为随机选中某一序列中的两个组件，交换两者的位置；
步骤33，进行交叉操作，交叉操作为从操作中随机选择两个父代个体P1,P2，选择两个点，将P1，P2两点之间部分提取出来，放在子代O1，O2相同位置，之后将其余基因按父代中的相对顺序放入生成的子代中；
步骤34，计算所有子代预测值与原序列输入预测值的偏差，其偏差值作为适应度函数；
步骤35，以适应度函数为权重，按有放回的俄罗斯轮盘赌方法选取子代，作为下一轮的父代进行遗传；
步骤36，重复步骤32、33、34、35直至预设定的代数。
另外，本发明还提供一种后端系统，所述后端系统执行上述的基于序列变换的循环神经网络可解释性方法。
另外，本发明还提供一种基于序列变换的循环神经网络可解释性系统，所述基于序列变换的循环神经网络可解释性系统包括：
根据上述的后端系统；以及
前端系统，用于响应用户的选择操作，展示所述后端系统执行得到的模型局部计算逻辑的解释、模型全局计算逻辑的解释、训练集对模型的影响的解释或模型对于输入最关注的点的解释；其中所述训练集对模型的影响的解释所示出的序列位置关系对模型的计算影响程度越大则所述前端系统中所展示的组件的颜色的越深。
另外，本发明还提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行上述的基于序列变换的循环神经网络可解释性方法。
另外，本发明还提供一种处理器，所述处理器用于运行程序，所述程序运行时执行上述的基于序列变换的循环神经网络可解释性方法。
通过上述技术方案，不仅仅关注用户输入本身，也将关注点放在了输入的序列上，使用序列变换的思想综合了其他多种可解释性算法，从而从多角度、多方面对模型的逻辑和决策进行了解释。在使用本方案后，用户给出的输入首先会进入可解释性的模块，之后进行序列变换的操作，可解释性系统再将序列变换后的数据和原始数据提交给待解释模型，并将待解释模型的处理结果进行整合，最后用户即能获得其输入的计算结果，同时也会获得该模型计算得到该结果的解释。
本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：
图1是说明本发明的一种基于序列变换的循环神经网络可解释性方法的流程图；
图2是局部序列可解释性算法的流程图；
图3是全局序列可解释性算法的流程图；
图4是提取关键序列的遗传算法的流程图；
图5是训练集追溯算法的流程图；以及
图6是说明本发明的一种基于序列变换的循环神经网络可解释性方法的流程框图。
具体实施方式
以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。
图1是本发明的一种基于序列变换的循环神经网络可解释性方法，所述基于序列变换的循环神经网络可解释性方法包括：
S101，获取用户选择的待解释模型和预期输入至所述待解释模型的原输入；
S102，获取所述原输入按照顺序划分得到的各组件的序列；
S103，基于各组件按照顺序划分得到的各符号及其交换相邻符号位置的序列计算各组件对应的组件内部重要性作为模型局部计算逻辑的解释；
S104，基于各组件及其交换相邻组件位置的序列计算各个组件对应的组件中心重要性作为模型全局计算逻辑的解释；
S105，从组件中心重要性数据库中获取与所述各组件的序列相似的数据作为训练集对模型的影响的解释；
S106，获取各组件的序列变异后的父代输入和交叉变换之后的子代输入，基于所述各组件变异后的父代输入和交叉变换之后的子代输入确定所述原输入中最关键的输入序列作为输入最关注的点的解释；
S107，基于模型局部计算逻辑的解释、模型全局计算逻辑的解释、训练集对模型的影响的解释以及模型对于输入最关注的点的解释确定所述待解释模型对于所计算的原输入的结果的解释。
实际上，本发明的基于序列变换的循环神经网络可解释性方法主要采用一套完整的系统来实现，负责进行可视化的前端系统，负责进行可解释性计算的后端系统，用户提供的人工智能模型。可解释性人工智能需要帮助用户更好地理解模型。一个完善、明了的可视化界面可以极大程度上帮助用户理解待解释模型。该系统通过输入模块获取用户的输入，然后在局部可解释性模块，全局可解释性模块和训练集追溯模块展示了模型的计算逻辑。
其中，所述后端系统包括局部可解释性模块，局部可解释性模块使用了局部可解释性算法，通过算法计算出每个组件的组件内部重要性以及每个组件内部符号的符号中心重要性，并通过转化为颜色数值，使用户更直观地理解待解释模型。在这张效果图中，颜色更深的符号对模型计算的影响更大，颜色更深的组件的输入本身的属性对模型计算的影响更大。
全局可解释性模块，全局可解释性模块包含了两个部分：1.使用全局可解释性算法的全局重要性部分，使用全局可解释性算法计算出每个组件的组件中心重要性后，将重要性数值转化为颜色数值。在这张效果图中，颜色更深的组件的序列位置关系对模型的计算影响更大。2.使用提取关键序列的遗传算法，将遗传算法计算出的最后一批子代保存了下来，这一批子代是让模型预测值偏差最大的输入序列，其中隐藏着着模型最关注的序列，在图片的下半部分是这些子代的公共子序列，即算法提取出来的关键序列。关键序列对模型的影响比其他序列更大。
训练集追溯模块，训练集追溯模块使用了训练集追溯算法，将所有的关键序列都映射到了训练集的相关部分。效果图中展示了关键序列和一部分与之相关的训练集，如果用户想要获取所有训练集内容，可以点击按钮下载文件。用户可以检查训练集和关键序列之间的逻辑关联性，如果在联系上存在异常，则能以此为线索修改待解释模型。
优选地，所基于各组件按照顺序划分得到的各符号及其交换相邻符号位置的序列计算各组件对应的组件内部重要性作为模型局部计算逻辑的解释包括：
获取各组件划分得到的各符号，针对每一符号，获取所述原输入输入至所述待解释模型以获得的原预测值和所述原输入变换相邻符号的序列后输入至所述待解释模型以获得的局部变换后预测值，基于所述局部原预测值和各个局部变换后预测值计算各个符号各自对应的符号中心重要性，基于各个符号各自对应的符号中心重要性计算各个组件对应的组件内部重要性作为所述模型局部计算逻辑的解释。
具体地，如图2所示，局部序列可解释性算法从局部的角度解释了待解释模型。我们的可解释性算法将待解释模型包裹在最底层，用户首先通过可视化模块的Reorder.vue和Flask.py将待解释模型原本的输入提交给可解释性系统，组件中心可解释性模块首先保存原输入，将原输入提交给待解释模型，获得原预测值，之后可解释性算法会将组件划分为更细粒度的单位——符号，以符号为单位，将原输入按照下述算法计算每个符号对本次计算的重要性。所述获取所述原输入输入至所述待解释模型以获得的原预测值和所述原输入变换相邻符号的序列后输入至所述待解释模型以获得的局部变换后预测值，基于所述局部原预测值和各个局部变换后预测值计算各个符号各自对应的符号中心重要性包括：
步骤11，选择原输入中的第一个组件；
步骤12，选择原输入中的第一个组件中的第一个符号；
步骤13，选择输入中第一个组件除步骤12中选择符号的第一个符号；
步骤14，将步骤12、13选中的两个符号互换位置，其他符号与组件相对位置不变；
步骤15，将序列变换后的输入提交给所述待解释模型，获得序列变换后的预测值，计算其与原预测值的差值；
步骤16，将步骤13改为选择除步骤12中选择符号的第二个符号，重复步骤13、14、15，将这些差值取平均值，作为第一个符号的符号中心重要性；
步骤17，将步骤12改为选择输入中的第一个组件中的第二个符号，并重复步骤12、13、14、15、16，获得所有符号的符号中心重要性。
每个组件的组件内部重要性等于其所包含符号的符号中心重要性的均值，这种序列变换限定于某一个组件内部，体现了该组件本身的重要性及对结果的影响，体现人工智能模型局部的运算逻辑。
公式表达如下：
TAI(Tr)＝|P(To)-P(Tr)|；
其中，算法会将用户的原输入先分为粗粒度的单位——组件，然后再更细分为更细粒度的单位——符号。将组件划分为更细粒度目的如下：我们将一个组件内部的符号序列打乱，则影响组件本身性能对结果的影响，从而表现组件自身的属性。与后面形成对比的，全局可解释性部分中，我们不打乱符号，而只打乱组件，是在保证组件本身性能不变的条件下，研究上下文、组件顺序对结果的影响，表现的组件序列关系的属性。
优选地，所述基于各组件及其交换相邻组件位置的序列计算各个组件对应的组件中心重要性作为模型全局计算逻辑的解释包括：
针对每一组件，获取所述原输入变换相邻组件的序列后输入至所述待解释模型以获得的全局变换后预测值，基于所述原预测值和各个全局变换后预测值计算各个组件对应的组件中心重要性作为所述模型全局计算逻辑的解释。
具体地，如图3所示，全局序列可解释性算法从全局的角度解释了待解释模型。我们的可解释性算法将待解释模型包裹在最底层，用户首先通过可视化模块的Reorder.vue和Flask.py将待解释模型原本的输入提交给可解释性系统，组件中心可解释性模块首先保存原输入，将原输入提交给待解释模型，获得原预测值，之后将原输入按照下述算法计算其对本次计算的重要性：
步骤21，选择原输入中的第一个组件；
步骤22，选择输入中除步骤21中选择组件的第一个组件；
步骤23，将步骤21、22选中的两个组件互换位置，其他组件相对位置不变；
步骤24，将序列变换后的输入提交给待解释模式，获得序列变换后的预测值，计算其与原预测值的差值；
步骤25，将步骤22改为选择除步骤21中选择组件的第二个组件，重复步骤22、23、24，将这些差值取平均值，作为第一个组件的组件中心重要性；
步骤26，将步骤21改为选择输入中的第二个组件，并重复步骤21、22、23、24、25，获得所有组件的组件中心重要性。
每个组件的组件中心重要性由其所处的序列关系决定，这种序列变换涉及到输入中的多个组件，体现了该组件顺序的重要性及对结果的影响，体现人工智能模型全局的运算逻辑。
公式表示如下：
优选地，提取关键序列的遗传算法使用了遗传算法，并为本方法专门进行了改进和应用，目的是提取出模型所关注的重点序列。关键序列展示了模型此次计算关注的重点，是对人工智能模型全局运算逻辑的补充说明。所述获取各组件的序列变异后的父代输入和交叉变换之后的子代输入，基于所述各组件变异后的父代输入和交叉变换之后的子代输入确定所述原输入中最关键的输入序列作为输入最关注的点的解释包括：
步骤31，选择原输入；
步骤32，进行一次变异操作，变异操作为随机选中某一序列中的两个组件，交换两者的位置；
步骤33，进行交叉操作，交叉操作为从操作中随机选择两个父代个体P1,P2，选择两个点，将P1，P2两点之间部分提取出来，放在子代O1，O2相同位置，之后将其余基因按父代中的相对顺序放入生成的子代中；
步骤34，计算所有子代预测值与原序列输入预测值的偏差，其偏差值作为适应度函数；
步骤35，以适应度函数为权重，按有放回的俄罗斯轮盘赌方法选取子代，作为下一轮的父代进行遗传；
步骤36，重复步骤32、33、34、35直至预设定的代数。
这种算法会将此次用户输入中最关键的输入序列给保存下来，在遗传算法计算完毕后，从保存下来的最后一代子代中挑选出公共子序列，即为保存下来的关键序列。
另外，本发明还提供一种后端系统，所述后端系统执行上述的基于序列变换的循环神经网络可解释性方法。
另外，本发明还提供一种基于序列变换的循环神经网络可解释性系统，所述基于序列变换的循环神经网络可解释性系统包括：
根据上述的后端系统；以及
前端系统，用于响应用户的选择操作，展示所述后端系统执行得到的模型局部计算逻辑的解释、模型全局计算逻辑的解释、训练集对模型的影响的解释或模型对于输入最关注的点的解释；其中所述训练集对模型的影响的解释所示出的序列位置关系对模型的计算影响程度越大则所述前端系统中所展示的组件的颜色的越深。
另外，本发明还提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行上述的基于序列变换的循环神经网络可解释性方法。
另外，本发明还提供一种处理器，所述处理器用于运行程序，所述程序运行时执行上述的基于序列变换的循环神经网络可解释性方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种基于序列变换的循环神经网络可解释性方法，其特征在于，所述基于序列变换的循环神经网络可解释性方法包括：
获取用户选择的待解释模型和预期输入至所述待解释模型的原输入；
获取所述原输入按照顺序划分得到的各组件的序列；
基于各组件按照顺序划分得到的各符号及其交换相邻符号位置的序列计算各组件对应的组件内部重要性作为模型局部计算逻辑的解释；
基于各组件及其交换相邻组件位置的序列计算各个组件对应的组件中心重要性作为模型全局计算逻辑的解释；
从组件中心重要性数据库中获取与所述各组件的序列相似的数据作为训练集对模型的影响的解释；
获取各组件的序列变异后的父代输入和交叉变换之后的子代输入，基于所述各组件变异后的父代输入和交叉变换之后的子代输入确定所述原输入中最关键的输入序列作为输入最关注的点的解释；
基于模型局部计算逻辑的解释、模型全局计算逻辑的解释、训练集对模型的影响的解释以及模型对于输入最关注的点的解释确定所述待解释模型对于所计算的原输入的结果的解释。
2.根据权利要求1所述的基于序列变换的循环神经网络可解释性方法，其特征在于，所基于各组件按照顺序划分得到的各符号及其交换相邻符号位置的序列计算各组件对应的组件内部重要性作为模型局部计算逻辑的解释包括：
获取各组件划分得到的各符号，针对每一符号，获取所述原输入输入至所述待解释模型以获得的原预测值和所述原输入变换相邻符号的序列后输入至所述待解释模型以获得的局部变换后预测值，基于所述局部原预测值和各个局部变换后预测值计算各个符号各自对应的符号中心重要性，基于各个符号各自对应的符号中心重要性计算各个组件对应的组件内部重要性作为所述模型局部计算逻辑的解释。
3.根据权利要求1所述的基于序列变换的循环神经网络可解释性方法，其特征在于，所述获取所述原输入输入至所述待解释模型以获得的原预测值和所述原输入变换相邻符号的序列后输入至所述待解释模型以获得的局部变换后预测值，基于所述局部原预测值和各个局部变换后预测值计算各个符号各自对应的符号中心重要性包括：
步骤11，选择原输入中的第一个组件；
步骤12，选择原输入中的第一个组件中的第一个符号；
步骤13，选择输入中第一个组件除步骤12中选择符号的第一个符号；
步骤14，将步骤12、13选中的两个符号互换位置，其他符号与组件相对位置不变；
步骤15，将序列变换后的输入提交给所述待解释模型，获得序列变换后的预测值，计算其与原预测值的差值；
步骤16，将步骤13改为选择除步骤12中选择符号的第二个符号，重复步骤13、14、15，将这些差值取平均值，作为第一个符号的符号中心重要性；
步骤17，将步骤12改为选择输入中的第一个组件中的第二个符号，并重复步骤12、13、14、15、16，获得所有符号的符号中心重要性。
4.根据权利要求1所述的基于序列变换的循环神经网络可解释性方法，其特征在于，所述基于各组件及其交换相邻组件位置的序列计算各个组件对应的组件中心重要性作为模型全局计算逻辑的解释包括：
针对每一组件，获取所述原输入变换相邻组件的序列后输入至所述待解释模型以获得的全局变换后预测值，基于所述原预测值和各个全局变换后预测值计算各个组件对应的组件中心重要性作为所述模型全局计算逻辑的解释。
5.根据权利要求4所述的基于序列变换的循环神经网络可解释性方法，其特征在于，所述基于所述原预测值和各个全局变换后预测值计算各个组件对应的组件中心重要性包括：
步骤21，选择原输入中的第一个组件；
步骤22，选择输入中除步骤21中选择组件的第一个组件；
步骤23，将步骤21、22选中的两个组件互换位置，其他组件相对位置不变；
步骤24，将序列变换后的输入提交给待解释模式，获得序列变换后的预测值，计算其与原预测值的差值；
步骤25，将步骤22改为选择除步骤21中选择组件的第二个组件，重复步骤22、23、24，将这些差值取平均值，作为第一个组件的组件中心重要性；
步骤26，将步骤21改为选择输入中的第二个组件，并重复步骤21、22、23、24、25，获得所有组件的组件中心重要性。
6.根据权利要求1所述的基于序列变换的循环神经网络可解释性方法，其特征在于，所述获取各组件的序列变异后的父代输入和交叉变换之后的子代输入，基于所述各组件变异后的父代输入和交叉变换之后的子代输入确定所述原输入中最关键的输入序列作为输入最关注的点的解释包括：
步骤31，选择原输入；
步骤32，进行一次变异操作，变异操作为随机选中某一序列中的两个组件，交换两者的位置；
步骤33，进行交叉操作，交叉操作为从操作中随机选择两个父代个体P1,P2，选择两个点，将P1，P2两点之间部分提取出来，放在子代O1，O2相同位置，之后将其余基因按父代中的相对顺序放入生成的子代中；
步骤34，计算所有子代预测值与原序列输入预测值的偏差，其偏差值作为适应度函数；
步骤35，以适应度函数为权重，按有放回的俄罗斯轮盘赌方法选取子代，作为下一轮的父代进行遗传；
步骤36，重复步骤32、33、34、35直至预设定的代数。
7.一种后端系统，其特征在于，所述后端系统执行权利要求1-6中任意一项所述的基于序列变换的循环神经网络可解释性方法。
8.一种基于序列变换的循环神经网络可解释性系统，其特征在于，所述基于序列变换的循环神经网络可解释性系统包括：
根据权利要求7所述的后端系统；以及
前端系统，用于响应用户的选择操作，展示所述后端系统执行得到的模型局部计算逻辑的解释、模型全局计算逻辑的解释、训练集对模型的影响的解释或模型对于输入最关注的点的解释；其中所述训练集对模型的影响的解释所示出的序列位置关系对模型的计算影响程度越大则所述前端系统中所展示的组件的颜色的越深。
9.一种机器可读存储介质，该机器可读存储介质上存储有指令，其特征在于，该指令用于使得机器执行权利要求1-6中任意一项所述的基于序列变换的循环神经网络可解释性方法。
10.一种处理器，所述处理器用于运行程序，其特征在于，所述程序运行时执行权利要求1-6中任意一项所述的基于序列变换的循环神经网络可解释性方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111344376.0A CN114004340B (zh) | 2021-11-15 | 2021-11-15 | 一种基于序列变换的循环神经网络可解释性方法、系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111344376.0A CN114004340B (zh) | 2021-11-15 | 2021-11-15 | 一种基于序列变换的循环神经网络可解释性方法、系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114004340A true CN114004340A (zh) | 2022-02-01 |
| CN114004340B CN114004340B (zh) | 2024-06-07 |
Family
ID=79928931
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111344376.0A Active CN114004340B (zh) | 2021-11-15 | 2021-11-15 | 一种基于序列变换的循环神经网络可解释性方法、系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114004340B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115457365A (zh) * | 2022-09-15 | 2022-12-09 | 北京百度网讯科技有限公司 | 一种模型的解释方法、装置、电子设备及存储介质 |
| CN115829755A (zh) * | 2023-02-07 | 2023-03-21 | 支付宝(杭州)信息技术有限公司 | 交易风险的预测结果的解释方法和装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200065645A1 (en) * | 2018-08-27 | 2020-02-27 | International Business Machines Corporation | Facilitating extraction of individual customer level rationales utilizing deep learning neural networks coupled with interpretability-oriented feature engineering and post-processing |
| CN111310023A (zh) * | 2020-01-15 | 2020-06-19 | 中国人民大学 | 基于记忆网络的个性化搜索方法及系统 |
| CN112784986A (zh) * | 2021-02-08 | 2021-05-11 | 中国工商银行股份有限公司 | 深度学习计算结果的特征解释方法、装置、设备及介质 |
| WO2021099338A1 (en) * | 2019-11-18 | 2021-05-27 | UMNAI Limited | Architecture for an explainable neural network |
| CN112862007A (zh) * | 2021-03-29 | 2021-05-28 | 山东大学 | 基于用户兴趣编辑的商品序列推荐方法及系统 |
| CN112907145A (zh) * | 2021-03-31 | 2021-06-04 | 重庆度小满优扬科技有限公司 | 模型解释方法以及电子设备 |
| US20210174194A1 (en) * | 2019-12-06 | 2021-06-10 | Bank Of America Corporation | System and methods for explainability ensembles for neural network architectures in regulated applications |
| WO2021222384A1 (en) * | 2020-04-28 | 2021-11-04 | Strong Force Intellectual Capital, Llc | Digital twin systems and methods for transportation systems |
-
2021
- 2021-11-15 CN CN202111344376.0A patent/CN114004340B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200065645A1 (en) * | 2018-08-27 | 2020-02-27 | International Business Machines Corporation | Facilitating extraction of individual customer level rationales utilizing deep learning neural networks coupled with interpretability-oriented feature engineering and post-processing |
| WO2021099338A1 (en) * | 2019-11-18 | 2021-05-27 | UMNAI Limited | Architecture for an explainable neural network |
| US20210174194A1 (en) * | 2019-12-06 | 2021-06-10 | Bank Of America Corporation | System and methods for explainability ensembles for neural network architectures in regulated applications |
| CN111310023A (zh) * | 2020-01-15 | 2020-06-19 | 中国人民大学 | 基于记忆网络的个性化搜索方法及系统 |
| WO2021222384A1 (en) * | 2020-04-28 | 2021-11-04 | Strong Force Intellectual Capital, Llc | Digital twin systems and methods for transportation systems |
| CN112784986A (zh) * | 2021-02-08 | 2021-05-11 | 中国工商银行股份有限公司 | 深度学习计算结果的特征解释方法、装置、设备及介质 |
| CN112862007A (zh) * | 2021-03-29 | 2021-05-28 | 山东大学 | 基于用户兴趣编辑的商品序列推荐方法及系统 |
| CN112907145A (zh) * | 2021-03-31 | 2021-06-04 | 重庆度小满优扬科技有限公司 | 模型解释方法以及电子设备 |
Non-Patent Citations (1)
| Title |
|---|
| 朱静雯;向仕兵;: "常用线性分类器算法及基于Mathematica三维可视化", 现代计算机(专业版), no. 10, 5 April 2017 (2017-04-05) * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115457365A (zh) * | 2022-09-15 | 2022-12-09 | 北京百度网讯科技有限公司 | 一种模型的解释方法、装置、电子设备及存储介质 |
| CN115457365B (zh) * | 2022-09-15 | 2024-01-05 | 北京百度网讯科技有限公司 | 一种模型的解释方法、装置、电子设备及存储介质 |
| CN115829755A (zh) * | 2023-02-07 | 2023-03-21 | 支付宝(杭州)信息技术有限公司 | 交易风险的预测结果的解释方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114004340B (zh) | 2024-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10650042B2 (en) | Image retrieval with deep local feature descriptors and attention-based keypoint descriptors | |
| Pezzotti et al. | Approximated and user steerable tSNE for progressive visual analytics | |
| Borcard et al. | Canonical ordination | |
| Möckl et al. | Deep learning in single-molecule microscopy: fundamentals, caveats, and recent developments | |
| Reeves et al. | Genetic algorithms: principles and perspectives: a guide to GA theory | |
| CN102622335B (zh) | 用于根据示例的自动化表格变换的方法和系统 | |
| US6868420B2 (en) | Method for traversing quadtrees, octrees, and N-dimensional bi-trees | |
| CN111461168A (zh) | 训练样本扩充方法、装置、电子设备及存储介质 | |
| CN114004340A (zh) | 一种基于序列变换的循环神经网络可解释性方法、系统 | |
| CN106462401A (zh) | 程序生成装置、程序生成方法和程序 | |
| Bialopetravičius et al. | Deriving star cluster parameters with convolutional neural networks-II. Extinction and cluster-background classification | |
| Sohns et al. | Attribute-based explanation of non-linear embeddings of high-dimensional data | |
| Ponte-Fernández et al. | Evaluation of existing methods for high-order epistasis detection | |
| Bernard et al. | Techniques for inferring context-free Lindenmayer systems with genetic algorithm | |
| Effenberger et al. | Exploration of the robustness and generalizability of the additive factors model | |
| Clarkin et al. | Diagnostic assessment of preference constraints for simulation optimization in water resources | |
| Saitta et al. | Feature selection using stochastic search: An application to system identification | |
| CN117521063A (zh) | 基于残差神经网络并结合迁移学习的恶意软件检测方法及装置 | |
| CN117520495A (zh) | 基于路径遍历的问题回复方法、装置和计算机设备 | |
| CN115422346A (zh) | 基于知识图谱的多轮话题推荐方法 | |
| CN111210870B (zh) | 蛋白质分类方法 | |
| CN116185843B (zh) | 基于神经元覆盖率引导的两阶段神经网络测试方法及装置 | |
| CN118644486B (zh) | 基于双路多尺度融合网络的人群计数方法、系统 | |
| CN109344912A (zh) | 一种大坝位移指标确定方法及装置 | |
| Ullman et al. | Human-like scene interpretation by a guided counterstream processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |