CN111612080A - 模型解释方法、设备及可读存储介质 - Google Patents

模型解释方法、设备及可读存储介质 Download PDF

Info

Publication number
CN111612080A
CN111612080A CN202010446887.2A CN202010446887A CN111612080A CN 111612080 A CN111612080 A CN 111612080A CN 202010446887 A CN202010446887 A CN 202010446887A CN 111612080 A CN111612080 A CN 111612080A
Authority
CN
China
Prior art keywords
model
hash
preset
hash coding
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010446887.2A
Other languages
English (en)
Other versions
CN111612080B (zh
Inventor
吴锦和
范力欣
张天豫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WeBank Co Ltd
Original Assignee
WeBank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WeBank Co Ltd filed Critical WeBank Co Ltd
Priority to CN202010446887.2A priority Critical patent/CN111612080B/zh
Publication of CN111612080A publication Critical patent/CN111612080A/zh
Application granted granted Critical
Publication of CN111612080B publication Critical patent/CN111612080B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/06—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols the encryption apparatus using shift registers or memories for block-wise or stream coding, e.g. DES systems or RC4; Hash functions; Pseudorandom sequence generators
    • H04L9/0643—Hash functions, e.g. MD5, SHA, HMAC or f9 MAC

Abstract

本申请公开了一种模型解释方法、设备及可读存储介质，所述模型解释方法包括：获取预设黑箱模型对应的各模型输入特征，并将各所述模型输入特征对应的预测数据集输入基于各预设样本类别优化的第一哈希编码模型，对所述预测数据集进行哈希编码，获得第一哈希编码结果，进而将所述预测数据集输入基于所述预设黑箱模型输出的各输出样本类别优化的第二哈希编码模型，对所述预测数据集进行哈希编码，获得第二哈希编码结果，进而基于所述第一哈希编码结果和所述第二哈希编码结果之间的各比特位差异度，确定各所述模型输入特征对应的特征置信度。本申请解决了模型解释效果差的技术问题。

Description

模型解释方法、设备及可读存储介质
技术领域
本申请涉及金融科技(Fintech)的人工智能领域，尤其涉及一种模型解释方法、设备及可读存储介质。
背景技术
随着金融科技，尤其是互联网科技金融的不断发展，越来越多的技术(如分布式、区块链Blockchain、人工智能等)应用在金融领域，但金融业也对技术提出了更高的要求，如对金融业对应待办事项的分发也有更高的要求。
随着计算机软件和人工智能的不断发展，深度学习的应用领域也越来越广泛，基于深度学习的模型达到的性能也越来越好，但是由于基于深度学习的模型都是黑箱模型，难以精确解释模型将在什么情况下失效和有效，目前，通常通过Shapley重要性等方法估计模型输入特征的重要性，但是，该方法只能粗略的解释某一模型输入特征对是否对模型重要，无法对模型进行更加精确的解释，进而导致模型解释效果较差，所以，现有技术中存在模型解释效果差的技术问题。
发明内容
本申请的主要目的在于提供一种模型解释方法、设备及可读存储介质，旨在解决现有技术中模型解释效果差的技术问题。
为实现上述目的，本申请提供一种模型解释方法，所述模型解释方法应用于模型解释设备，所述模型解释方法包括：
获取预设黑箱模型对应的各模型输入特征，并将各所述模型输入特征对应的预测数据集输入基于各预设样本类别优化的第一哈希编码模型，对所述预测数据集进行哈希编码，获得第一哈希编码结果；
将所述预测数据集输入基于所述预设黑箱模型输出的各输出样本类别优化的第二哈希编码模型，对所述预测数据集进行哈希编码，获得第二哈希编码结果；
基于所述第一哈希编码结果和所述第二哈希编码结果之间的各比特位差异度，确定各所述模型输入特征对应的特征置信度。
可选地，所述基于所述第一哈希编码结果和所述第二哈希编码结果之间的各比特位差异度，确定各所述模型输入特征对应的特征置信度的步骤包括：
计算所述第一哈希编码结果和所述第二哈希编码结果之间的各所述比特位差异度，并确定各所述比特位差异度对应的输出通道置信度；
计算各所述模型输入特征的输入特征贡献度，并基于各所述输出通道置信度和各所述输入特征贡献度，确定各所述特征置信度。
可选地，所述预测数据集至少包括一个预测样本，所述第一哈希编码结果包括各所述预测样本对应的第一哈希编码值，所述第二哈希编码结果包括各所述预测样本对应的第二哈希编码值，所述比特位差异度包括比特位一致性错误率，所述输出通道置信度包括输出通道错误率，
所述计算所述第一哈希编码结果和所述第二哈希编码结果之间的各所述比特位差异度，并确定各所述比特位差异度对应的输出通道置信度的步骤包括：
将每一所述预测样本对应的所述第一哈希编码值和所述第二哈希编码值进行比对，获得各所述比特位一致性错误率；
确定所述第二哈希编码结果对应的各模型输出通道，并基于各所述比特位一致性错误率，确定各所述模型输出通道对应的所述输出通道错误率。
可选地，所述第二哈希编码模型至少包括一个模型输出通道，
所述计算各所述模型输入特征的输入特征贡献度的步骤包括：
确定每一所述模型输入特征与每一所述模型输出通道之间的各模型网络链接；
获取每一所述模型网络链接中各网络神经元对应的模型网络参数，并基于各所述模型网络参数，计算各所述输入特征贡献度。
可选地，在所述获取预设黑箱模型对应的各模型输入特征，并将各所述模型输入特征对应的预测数据集输入基于各预设样本类别优化的第一哈希编码模型，对所述预测数据集进行哈希编码，获得第一哈希编码结果的步骤之前，所述模型解释方法还包括：
获取第一待训练模型和各所述预设样本类别对应的训练数据集，并基于预设目标哈希编码方式，确定各所述预设样本类别对应的第一目标哈希编码结果；
基于所述第一目标哈希编码结果和所述训练数据集，对所述第一待训练模型进行迭代训练，直至所述第一待训练模型达到预设迭代结束条件，获得所述第一哈希编码模型。
可选地，所述训练数据集至少包括一个训练样本，所述第一目标哈希编码结果包括各所述训练样本对应的第一目标哈希编码值
所述基于所述第一目标哈希编码结果和所述训练数据集，对所述第一待训练模型进行迭代训练，直至所述第一待训练模型达到预设迭代结束条件，获得所述第一哈希编码模型的步骤包括：
将所述训练样本输入所述第一待训练模型，以基于所述第一待训练模型对应的预设极化损失函数，对所述训练样本进行哈希编码，获得初始哈希编码值，并在各所述第一目标哈希编码值中确定所述训练样本对应的标准哈希编码值；
计算所述初始哈希编码值和所述标准哈希编码值之间的训练汉明距离，并将所述训练汉明距离与预设汉明距离阀值进行比对；
若所述训练汉明距离大于所述预设汉明距离阀值，则判定所述第一待训练模型未达到所述预设迭代结束条件，并基于所述初始哈希编码值优化所述预设极化损失函数；
基于优化后的所述预设极化损失函数，重新进行所述第一待训练模型的迭代训练，直至所述训练汉明距离小于或者等于所述预设汉明距离阀值；
若所述训练汉明距离小于或者等于所述预设汉明距离阀值，则判定所述第一待训练模型达到所述预设迭代结束条件，并将所述第一待训练模型作为所述第一哈希编码模型。
可选地，在所述获取预设黑箱模型对应的各模型输入特征，并将各所述模型输入特征对应的预测数据集输入基于各预设样本类别优化的第一哈希编码模型，对所述预测数据集进行哈希编码，获得第一哈希编码结果的步骤之前，所述模型解释还方法包括：
获取各所述预设样本类别对应的训练数据集，并将所述训练数据集输入所述预设黑箱模型，对所述训练数据集进行分类，获得各所述输出样本类别，并确定各所述输出样本类别对应的第二目标哈希编码值；
获取第二待训练模型，并基于所述第一哈希编码模型的哈希编码模型参数，对所述第二待训练模型进行初始化，获得初始化模型；
冻结所述初始化模型对应的待冻结模型参数，获得冻结参数模型，其中，所述待冻结模型参数包括除所述初始化模型中的哈希层参数之外的目标模型参数；
基于所述训练数据集和各所述第二目标哈希编码值，对所述冻结参数模型进行迭代训练，直至所述冻结参数模型达到预设迭代结束条件，获得所述第二哈希编码模型。
可选地，在所述将所述预测数据集输入所述预设黑箱模型，对所述预测数据集进行分类，获得各所述输出样本类别的步骤之前，所述模型解释方法还包括：
获取基础训练模型和各所述预设样本类别对应的训练数据集；
基于所述训练数据集，对所述基础训练模型进行迭代训练，直至所述基础训练模型满足预设迭代结束条件，获得所述预设黑箱模型。
本申请还提供一种模型解释装置，所述模型解释装置为虚拟装置，且所述模型解释装置应用于模型解释设备，所述模型解释装置包括：
第一哈希编码模块，用于获取预设黑箱模型对应的各模型输入特征，并将各所述模型输入特征对应的预测数据集输入基于各预设样本类别优化的第一哈希编码模型，对所述预测数据集进行哈希编码，获得第一哈希编码结果；
第二哈希编码模块，用于将所述预测数据集输入基于所述预设黑箱模型输出的各输出样本类别优化的第二哈希编码模型，对所述预测数据集进行哈希编码，获得第二哈希编码结果；
确定模块，基于所述第一哈希编码结果和所述第二哈希编码结果之间的各比特位差异度，确定各所述模型输入特征对应的特征置信度。
可选地，所述确定模块包括：
计算单元，用于计算所述第一哈希编码结果和所述第二哈希编码结果之间的各所述比特位差异度，并确定各所述比特位差异度对应的输出通道置信度；
确定单元，用于计算各所述模型输入特征的输入特征贡献度，并基于各所述输出通道置信度和各所述输入特征贡献度，确定各所述特征置信度。
可选地，所述计算单元包括：
比对子单元，用于将每一所述预测样本对应的所述第一哈希编码值和所述第二哈希编码值进行比对，获得各所述比特位一致性错误率；
第一确定子单元，用于确定所述第二哈希编码结果对应的各模型输出通道，并基于各所述比特位一致性错误率，确定各所述模型输出通道对应的所述输出通道错误率。
可选地，所述确定单元包括：
第二确定子单元，用于确定每一所述模型输入特征与每一所述模型输出通道之间的各模型网络链接；
计算子单元，用于获取每一所述模型网络链接中各网络神经元对应的模型网络参数，并基于各所述模型网络参数，计算各所述输入特征贡献度。
可选地，所述模型解释装置还包括：
生成模块，用于获取第一待训练模型和各所述预设样本类别对应的训练数据集，并基于预设目标哈希编码方式，确定各所述预设样本类别对应的第一目标哈希编码结果；
第一迭代训练模块，用于基于所述第一目标哈希编码结果和所述训练数据集，对所述第一待训练模型进行迭代训练，直至所述第一待训练模型达到预设迭代结束条件，获得所述第一哈希编码模型。
可选地，所述迭代训练模块包括：
哈希编码单元，用于将所述训练样本输入所述第一待训练模型，以基于所述第一待训练模型对应的预设极化损失函数，对所述训练样本进行哈希编码，获得初始哈希编码值，并在各所述第一目标哈希编码值中确定所述训练样本对应的标准哈希编码值；
比对单元，用于基于优化后的所述预设极化损失函数，重新进行所述第一待训练模型的迭代训练，直至所述训练汉明距离小于或者等于所述预设汉明距离阀值；
第一判定单元，用于若所述训练汉明距离大于所述预设汉明距离阀值，则判定所述第一待训练模型未达到所述预设迭代结束条件，并基于所述初始哈希编码值优化所述预设极化损失函数；
优化单元，用于基于优化后的所述预设极化损失函数，重新进行所述第一待训练模型的迭代训练，直至所述训练汉明距离小于或者等于所述预设汉明距离阀值；
第二判定单元，用于若所述训练汉明距离小于或者等于所述预设汉明距离阀值，则判定所述第一待训练模型达到所述预设迭代结束条件，并将所述第一待训练模型作为所述第一哈希编码模型。
可选地，所述模型解释装置还包括：
分类模块，用于获取各所述预设样本类别对应的训练数据集，并将所述训练数据集输入所述预设黑箱模型，对所述训练数据集进行分类，获得各所述输出样本类别，并确定各所述输出样本类别对应的第二目标哈希编码值；
初始化模块，用于获取第二待训练模型，并基于所述第一哈希编码模型的哈希编码模型参数，对所述第二待训练模型进行初始化，获得初始化模型；
冻结模块，用于冻结所述初始化模型对应的待冻结模型参数，获得冻结参数模型，其中，所述待冻结模型参数包括除所述初始化模型中的哈希层参数之外的目标模型参数；
第二迭代训练模块，用于基于所述训练数据集和各所述第二目标哈希编码值，对所述冻结参数模型进行迭代训练，直至所述冻结参数模型达到预设迭代结束条件，获得所述第二哈希编码模型。
可选地，所述模型解释装置还包括：
获取模块，用于获取基础训练模型和各所述预设样本类别对应的训练数据集；
第三迭代训练模块，用于基于所述训练数据集，对所述基础训练模型进行迭代训练，直至所述基础训练模型满足预设迭代结束条件，获得所述预设黑箱模型。
本申请还提供一种模型解释设备，所述模型解释设备为实体设备，所述模型解释设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的所述模型解释方法的程序，所述模型解释方法的程序被处理器执行时可实现如上述的模型解释方法的步骤。
本申请还提供一种可读存储介质，所述可读存储介质上存储有实现模型解释方法的程序，所述模型解释方法的程序被处理器执行时实现如上述的模型解释方法的步骤。
本申请通过获取预设黑箱模型对应的各模型输入特征，并将各所述模型输入特征对应的预测数据集输入基于各预设样本类别优化的第一哈希编码模型，对所述预测数据集进行哈希编码，获得第一哈希编码结果，进而将所述预测数据集输入基于所述预设黑箱模型输出的各输出样本类别优化的第二哈希编码模型，对所述预测数据集进行哈希编码，获得第二哈希编码结果，进而基于所述第一哈希编码结果和所述第二哈希编码结果之间的各比特位差异度，确定各所述模型输入特征对应的特征置信度。也即，本申请在获取所述预设黑箱模型对应的各模型输入特征之后，通过预设第一哈希编码模型和第二哈希编码模型分别对各所述模型输入特征对应的预设数据集进行哈希编码，获得第一哈希编码结果和第二哈希编码结果，其中，由于所述预设第一哈希编码模型为基于各预设样本类别进行优化的，所述第二哈希编码模型为基于所述预设黑箱模型输出的各输出样本类别进行优化的，所以，当所述预设黑箱模型存在失效情况时，所述第一哈希编码结果中各比特位和所述第二哈希编码结果中各目标比特位之间存在比特位差异度，进而基于所述第二哈希编码模型中各所述目标比特位与各所述模型输入特征之间的关联关系，即可确定各所述比特位差异度对应的模型输入特征的特征置信度，其中，所述比特位差异度越小，则表明所述预设黑箱模型在所述比特位差异度对应的目标比特位上的模型输出的置信度越高，进而所述目标比特位对应的模型输入特征对应的特征置信度越高，所述预设黑箱模型有效的概率越高，所述比特位差异度越大，则表明所述预设黑箱模型在所述比特位差异度对应的目标比特位上的模型输出的置信度越低，进而所述目标比特位对应的模型输入特征对应的特征置信度越低，则所述预设黑箱模型失效的概率越高，进而实现了精确解释黑箱模型将在什么情况下失效和有效的目的，提高了模型解释的效果，所以，解决了模型解释效果差的技术问题。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请模型解释方法第一实施例的流程示意图；
图2为本申请模型解释方法中所述第二哈希编码模型的网络结构示意图；
图3为本申请模型解释方法中对各模型网络参数进行归一化处理的示意图；
图4为本申请模型解释方法第二实施例的流程示意图；
图5为本申请模型解释方法第三实施例的流程示意图；
图6为本申请实施例方案涉及的硬件运行环境的设备结构示意图。
本申请目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本申请实施例提供一种模型解释方法，在本申请模型解释方法的第一实施例中，参照图1，所述模型解释方法包括：
步骤S10，获取预设黑箱模型对应的各模型输入特征，并将各所述模型输入特征对应的预测数据集输入基于各预设样本类别优化的第一哈希编码模型，对所述预测数据集进行哈希编码，获得第一哈希编码结果；
在本实施例中，需要说明的是，所述预设黑箱模型为基于各所述模型输入特征对应的训练数据集训练获得的模型，所述第一哈希编码模型为基于各所述预设样本类别和所述训练数据集训练获得的哈希编码模型，且将属于所述预设样本类别的任一样本输入所述第一哈希编码模型，所述第一哈希编码模型均可输出所述预设样本类别对应的第一目标哈希编码值，其中，所述第一目标哈希编码值为基于所述预设样本类别进行设定的哈希编码值。
其中，所述训练数据集至少包括一个训练样本，所述预设样本类别为所述训练样本的标识，例如，假设各所述训练样本包括猫图像和狗图像，猫图像对应的预设样本类别为猫，可用编码a标识预设样本类别为猫，同样地，狗图像对应的预设样本类别为猫，可用编码b标识预设样本类别为猫。
另外地，需要说明的是，所述预测数据集至少包括一个预测样本，且所述预测数据集可用预测数据矩阵进行表示，其中，所述预测数据矩阵的每一列对应一所述预测样本，所述预测数据矩阵的每一行对应一所述模型输入特征，所述第一哈希编码结果包括各所述预测样本对应的第一哈希编码值。
获取预设黑箱模型对应的各模型输入特征，并将各所述模型输入特征对应的预测数据集输入基于各预设样本类别优化的第一哈希编码模型，对所述预测数据集进行哈希编码，获得第一哈希编码结果，具体地，获取预设黑箱模型，并确定所述预设黑箱模型对应的各模型输入特征，进一步地，从预设存储数据库中提取各所述模型输入特征对应的预测数据矩阵，并将所述预测数据矩阵输入基于预设样本类别优化的第一哈希编码模型对应的第一深度极化网络的隐藏层，对所述预测数据矩阵进行数据处理，其中，所述数据处理包括卷积、池化等，进而获得所述预测数据矩阵对应的预测数据特征表示矩阵，其中，所述预测数据特征表示矩阵包括所述预测数据集的所有特征信息，进而将所述预测数据特征表示矩阵输入所述第一深度极化网络的哈希层，对所述预测数据特征表示矩阵进行哈希，获得所述预测数据集中各预测样本对应的第一哈希编码值，所述第一深度极化网络为所述第一哈希编码模型的内部网络。
步骤S20，将所述预测数据集输入基于所述预设黑箱模型输出的各输出样本类别优化的第二哈希编码模型，对所述预测数据集进行哈希编码，获得第二哈希编码结果；
在本实施例中，需要说明的是，各所述输出样本类别为所述预设黑箱模型对所述预测数据集中各预测样本进行分类的结果，所述输出样本类别为所述预设黑箱模型赋予所述预测样本的标识，所述第二哈希编码模型为基于所述训练数据集和各所述输出样本类别进行训练获得的模型，且将属于所述输出样本类别对应的任一样本输入所述第二哈希编码模型，所述第二哈希编码模型均可输出所述输出样本类别对应的第二目标哈希编码值，其中，所述第二目标哈希编码值为基于所述输出样本类别设定的哈希编码值。
将所述预测数据集输入基于所述预设黑箱模型输出的各输出样本类别优化的第二哈希编码模型，对所述预测数据集进行哈希编码，获得第二哈希编码结果，具体地，将所述预测数据矩阵输入基于所述第二哈希编码模型对应的第二深度极化网络的隐藏层，对所述预测数据矩阵进行数据处理，其中，所述数据处理包括卷积、池化等，进而获得所述预测数据矩阵对应的预测数据特征表示矩阵，其中，所述预测数据特征表示矩阵包括所述预测数据集的所有特征信息，进而将所述预测数据特征表示矩阵输入所述第二深度极化网络的哈希层，对所述预测数据特征表示矩阵进行哈希，获得所述预测数据集中各预测样本对应的第二哈希编码值，其中，需要说明的是，所述第二深度极化网络为所述第二哈希编码模型的内部网络，且由于所述第二哈希编码模型为基于所述预设黑箱模型输出的各输出样本类别进行优化的模型，所以，若所述预设黑箱模型在任何情况下都是有效的，则所述预设数据集中每一所述预测样本对应的预设样本类别和输出样本类别应当相同，进而所述预设数据集中每一所述预测样本对应的第一哈希编码值和第二哈希编码值应当相同。
步骤S30，基于所述第一哈希编码结果和所述第二哈希编码结果之间的各比特位差异度，确定各所述模型输入特征对应的特征置信度。
在本实施例中，所述特征置信度为特征的可信赖程度，所述特征置信度可用特征对模型贡献度的错误率或者正确率进行表示，所述第一哈希编码结果包括各所述预测样本对应的第一哈希编值，其中，所述第一哈希编码值至少包括一个第一目标比特位，且每一所述第一目标比特位对应所述第一哈希编码模型中哈希层的一第一输出通道，所述第二哈希编码结果包括各所述预测样本对应的第二哈希编值，其中，所述第二哈希编码值至少包括一个第二目标比特位，且每一所述第二目标比特位对应所述第二哈希编码模型中哈希层的一第二输出通道。
基于所述第一哈希编码结果和所述第二哈希编码结果之间的各比特位差异度，确定各所述模型输入特征对应的特征置信度，具体地，将每一所述预测样本对应的第一哈希编码值和第二哈希编码值进行比对，确定每一所述第二哈希编码中各第二目标比特位与对应的所述第一哈希编码值中各第一目标比特位的一致性，获得各所述第二目标比特位对应的比特位差异度，进一步地，确定各所述第二目标比特位对应的第二输出通道，并获取各所述输出通道对应的输入特征贡献度，进而基于各所述比特位差异度和各所述输入特征贡献度，计算各所述模型输入特征对应的特征贡献度，例如，假设预测样本A对应的第一哈希编码值为01010101，对应的第二哈希编码值为01010100，预测样本B对应的第一哈希编码值为01010101，对应的第二哈希编码值为01010101，则对于所述第二哈希编码的最后一位的差异比特位的比特位差异度为50％，进而获取所述差异比特位对应的输入特征贡献度为0.4，则所述差异比特位对应的模型输入特征对所述预设黑箱模型的错误贡献度为20％，也即，所述差异比特位对应的模型输入特征对所述预设黑箱模型贡献的错误率为20％，进而所述差异比特位对应的模型输入特征的特征置信度为0.8。
其中，所述基于所述第一哈希编码结果和所述第二哈希编码结果之间的各比特位差异度，确定各所述模型输入特征对应的特征置信度的步骤包括：
步骤S31，计算所述第一哈希编码结果和所述第二哈希编码结果之间的各所述比特位差异度，并确定各所述比特位差异度对应的输出通道置信度；
在本实施例中，需要说明的是，所述比特位差异度为所述第二哈希编码结果中各所述第二目标比特位的比特位错误率，其中，所述比特位错误率为比特位错误样本的数量与各所述预测样本的总样本数量的比值，其中，若所述预测样本对应的第一哈希编码值和第二哈希编码值在一目标比特位上不一致，则对于该目标比特位，所述目标比特位对应的预测样本为比特位错误样本，例如，假设预测样本A对应的第一哈希编码值为0101，对应的第二哈希编码值为0111，进而由于第一哈希编码值中第三比特位为0，第二哈希编码值中第三比特位为1，则对于所述预设样本对应的第三比特位，所述预测样本为比特位错误样本。
计算所述第一哈希编码结果和所述第二哈希编码结果之间的各所述比特位差异度，并确定各所述比特位差异度对应的输出通道置信度，具体地，将每一所述预测样本对应的第一哈希编码结果和第二哈希编码结果进行比对，并统计所述第二哈希编码结果相比于所述第一哈希编码结果的各比特位差异度，并确定所述第二哈希编码结果中各第二目标比特位对应的第二输出通道，进而基于各所述比特位差异度，确定对应的各所述第二输出通道的输出通道置信度，其中，一所述比特位差异度对应一所述第二输出通道。
其中，所述预测数据集至少包括一个预测样本，所述第一哈希编码结果包括各所述预测样本对应的第一哈希编码值，所述第二哈希编码结果包括各所述预测样本对应的第二哈希编码值，所述比特位差异度包括比特位一致性错误率，所述输出通道置信度包括输出通道错误率，
所述计算所述第一哈希编码结果和所述第二哈希编码结果之间的各所述比特位差异度，并确定各所述比特位差异度对应的输出通道置信度的步骤包括：
步骤S311，将每一所述预测样本对应的所述第一哈希编码值和所述第二哈希编码值进行比对，获得各所述比特位一致性错误率；
在本实施例中，将每一所述预测样本对应的所述第一哈希编码值和所述第二哈希编码值进行比对，获得各所述比特位一致性错误率，具体地，对于每一所述预测样本，均执行以下步骤：
基于所述第一哈希编码值中各第一目标比特位的排列位置和所述第二哈希编码值中各所述第二目标比特位的排列位置，将各所述第一目标比特位和各所述第二目标比特位进行一一比对，若所述第一目标比特位和对应的所述第二目标比特位不一致，则判定所述预测样本在所述第二目标比特位上错误，若所述第一目标比特位和对应的所述第二目标比特位一致，则所述预测样本在所述第二目标比特位上正确，进一步地，分别统计在每一所述第二目标比特位上错误的各预测样本的目标样本数量，并分别计算各所述目标样本数量与各所述预测样本对应的样本总数量的比值，获得各所述第二目标比特位对应的比特位一致性错误率。
步骤S312，确定所述第二哈希编码结果对应的各模型输出通道，并基于各所述比特位一致性错误率，确定各所述模型输出通道对应的所述输出通道错误率。
在本实施例中，确定所述第二哈希编码结果对应的各模型输出通道，并基于各所述比特位一致性错误率，确定各所述模型输出通道对应的所述输出通道错误率，具体地，确定所述第哈希编码值中各第二目标比特位对应的模型输出通道，并各所述第二目标比特位对应的比特位一致性错误率作为各所述模型输出通道的输出通道错误率，其中，一所述比特位一致性错误率对应一所述输出通道错误率。
步骤S32，计算各所述模型输入特征的输入特征贡献度，并基于各所述输出通道置信度和各所述输入特征贡献度，确定各所述特征置信度。
在本实施例中，计算各所述模型输入特征的输入特征贡献度，并基于各所述输出通道置信度和各所述输入特征贡献度，确定各所述特征置信度，具体地，确定各所述模型输出通道对应的各模型网络链接，并基于各所述模型网络连接对应的模型网络参数，计算各所述输入特征贡献度，进而计算每一所述输出通道置信度及其对应的输入特征贡献度的乘积，获得各所述特征置信度。
其中，所述第二哈希编码模型至少包括一个模型输出通道，
所述计算各所述模型输入特征的输入特征贡献度的步骤包括：
步骤S321，确定每一所述模型输入特征与每一所述模型输出通道之间的各模型网络链接；
在本实施例中，需要说明的是，一所述模型输入特征和一所述模型输出通道之间存在一条或者多条模型网络链接，所述模型网络链接至少包括一个网络神经元，每一所述网络神经元均对应一所述模型网络参数，其中，所述网络模型参数为所述网络神经元处理数据的参数，例如，假设模型为线性模型，对应的表达式为Y＝β0+β1X1+β2X2+…+βnXn，则各所述模型网络参数分别为β0，β1，β2，…，βn，如图2所示所述第二哈希编码模型的网络结构示意图，其中，所述输出层为所述哈希层，x1和x2为各所述模型输入特征对应的网络神经元，h1和h2为所述隐藏层的各所述网络神经元，H1和H2为各所述第二模型输出通道对应的网络神经元，0.4、1.8等数值为所述网络模型参数，其中，x1和H1之间的各模型网络链接为x1-h1-H1和x1-h1-H1。
步骤S322，获取每一所述模型网络链接中各网络神经元对应的模型网络参数，并基于各所述模型网络参数，计算各所述输入特征贡献度。
获取每一所述模型网络链接中各网络神经元对应的模型网络参数，并基于各所述模型网络参数，计算各所述输入特征贡献度，具体地，获取每一所述模型网络链接中各网络神经元对应的模型网络参数，并对各模型网络参数进行归一化处理，获得各所述网络神经元对应的归一化参数，进而基于各所述归一化参数，求取每一所述模型网络链接对应的归一化参数的乘积，获得各所述模型网络链接对应的模型参数乘积，并分别对每一所述模型输入特征对应的各所述模型网络连接对应的模型参数乘积求和，获得各所述模型输入特征对应的输入特征贡献度，如图3所示为对各模型网络参数进行归一化处理的示意图，其中，所述输出层为所述哈希层，h1和h2为所述隐藏层的各所述网络神经元，H1和H2为各所述第二模型输出通道对应的各网络神经元，0.4、1.8等数值为所述网络模型参数。
本实施例通过获取预设黑箱模型对应的各模型输入特征，并将各所述模型输入特征对应的预测数据集输入基于各预设样本类别优化的第一哈希编码模型，对所述预测数据集进行哈希编码，获得第一哈希编码结果，进而将所述预测数据集输入基于所述预设黑箱模型输出的各输出样本类别优化的第二哈希编码模型，对所述预测数据集进行哈希编码，获得第二哈希编码结果，进而基于所述第一哈希编码结果和所述第二哈希编码结果之间的各比特位差异度，确定各所述模型输入特征对应的特征置信度。也即，本实施例在获取所述预设黑箱模型对应的各模型输入特征之后，通过预设第一哈希编码模型和第二哈希编码模型分别对各所述模型输入特征对应的预设数据集进行哈希编码，获得第一哈希编码结果和第二哈希编码结果，其中，由于所述预设第一哈希编码模型为基于各预设样本类别进行优化的，所述第二哈希编码模型为基于所述预设黑箱模型输出的各输出样本类别进行优化的，所以，当所述预设黑箱模型存在失效情况时，所述第一哈希编码结果中各比特位和所述第二哈希编码结果中各目标比特位之间存在比特位差异度，进而基于所述第二哈希编码模型中各所述目标比特位与各所述模型输入特征之间的关联关系，即可确定各所述比特位差异度对应的模型输入特征的特征置信度，其中，所述比特位差异度越小，则表明所述预设黑箱模型在所述比特位差异度对应的目标比特位上的模型输出的置信度越高，进而所述目标比特位对应的模型输入特征对应的特征置信度越高，所述预设黑箱模型有效的概率越高，所述比特位差异度越大，则表明所述预设黑箱模型在所述比特位差异度对应的目标比特位上的模型输出的置信度越低，进而所述目标比特位对应的模型输入特征对应的特征置信度越低，则所述预设黑箱模型失效的概率越高，进而实现了精确解释黑箱模型将在什么情况下失效和有效的目的，提高了模型解释的效果，所以，解决了模型解释效果差的技术问题。
进一步地，参照图4，基于本申请中第一实施例，在本申请的另一实施例中，在所述获取预设黑箱模型对应的各模型输入特征，并将各所述模型输入特征对应的预测数据集输入基于各预设样本类别优化的第一哈希编码模型，对所述预测数据集进行哈希编码，获得第一哈希编码结果的步骤之前，所述模型解释方法还包括：
步骤A10，获取第一待训练模型和各所述预设样本类别对应的训练数据集，并基于预设目标哈希编码方式，确定各所述预设样本类别对应的第一目标哈希编码结果；
在本实施例中，需要说明的是，所述第一目标哈希编码结果包括各所述预设样本类别对应的第一哈希编码值，所述预设目标哈希编码方式可以为任意一种哈希编码方式，其中，所述预设目标哈希编码方式包括随机目标哈希编码和自适应目标哈希编码，其中，若所述预设目标哈希编码方式为随机目标哈希编码，则所述第一目标哈希编码结果中属于不同预设样本类别的对应的第一目标哈希编码值之间的汉明距离应为目标汉明距离2*K*p*(1-p)，其中，K为所述第一目标哈希编码值中比特位的数量，p为所述第一目标哈希编码值对应的样本属于所述预设样本类别的概率，例如，假设训练数据集包括两个预设样本类别，K为32比特，所述预设样本类别包括猫和狗，若所述预设样本类别对应的样本属于猫的概率为0.5，属于狗的概率为0.5，则猫对应的第一目标哈希编码值与狗对应的第一目标哈希编码值之间的最大汉明距离为16，进一步地，若所述预设目标哈希编码方式为自适应目标哈希编码，则对所述训练数据集中的各训练样本进行所述随机目标哈希编码，以基于预设高斯随机方法生成所述训练数据对应的随机哈希编码结果，其中，所述随机哈希编码结果包括各所述训练样本对应的随机哈希向量，进而确定所述随机哈希编码结果中属于同一所述预设样本类别的各随机哈希向量，并分别求取每一所述预设样本类别对应的随机哈希向量的平均值，获得各所述预设样本类别对应的平均哈希向量，进而基于各所述平均哈希向量，生成所述目标哈希编码结果，也即，将所述平均哈希向量作为对应的预设样本类别中所有样本对应的第一目标哈希编码值。
步骤A20，基于所述第一目标哈希编码结果和所述训练数据集，对所述第一待训练模型进行迭代训练，直至所述第一待训练模型达到预设迭代结束条件，获得所述第一哈希编码模型。
在本实施例中，需要说明的是，所述预设迭代结束条件包括达到预设迭代次数阀值、所述第一哈希编码模型对应的预设极化损失函数收敛等，所述迭代训练包括一轮或者多轮训练。
基于所述第一目标哈希编码结果和所述训练数据集，对所述第一待训练模型进行迭代训练，直至所述第一待训练模型达到预设迭代结束条件，获得所述第一哈希编码模型，具体地，将所述训练数据集输入所述第一待训练模型，基于所述第一目标哈希编码结果，对所述第一待训练模型进行训练更新，并判断训练更新后的所述第一待训练模型是否满足预设迭代结束条件，若训练更新后的所述第一待训练模型满足预设迭代结束条件，则将训练更新后的所述第一待训练模型作为所述第一哈希编码模型，若训练更新后的所述第一待训练模型不满足预设迭代结束条件，则获取所述第一待训练模型输出的初始哈希编码结果，并基于所述初始哈希编码结果和所述目标哈希编码结果，优化所述第一待训练模型对应的预设极化损失函数，并重新对所述第一待训练模型进行训练更新，直至训练更新后的所述第一待训练模型满足预设迭代结束条件。
所述训练数据集至少包括一个训练样本，所述第一目标哈希编码结果包括各所述训练样本对应的第一目标哈希编码值，
所述基于所述第一目标哈希编码结果和所述训练数据集，对所述第一待训练模型进行迭代训练，直至所述第一待训练模型达到预设迭代结束条件，获得所述第一哈希编码模型的步骤包括：
步骤A21，将所述训练样本输入所述第一待训练模型，以基于所述第一待训练模型对应的预设极化损失函数，对所述训练样本进行哈希编码，获得初始哈希编码值，并在各所述第一目标哈希编码值中确定所述训练样本对应的标准哈希编码值；
在本实施例中，将所述训练样本输入所述第一待训练模型，以基于所述第一待训练模型对应的预设极化损失函数，对所述训练样本进行哈希编码，获得初始哈希编码值，并在各所述第一目标哈希编码值中确定所述训练样本对应的标准哈希编码值，具体地，将所述训练样本对应的待处理训练矩阵输入所述预设哈希编码模型，其中，所述待处理训练矩阵为训练样本的矩阵表示形式，用于存储所述训练样本，以对所述待处理训练矩阵进行哈希，获得哈希向量，进而基于所述预设极化损失函数，对所述哈希向量的每一比特位进行强制极化，获得所述哈希向量对应的极化向量，进而基于所述极化向量中每一比特位对应的极化标识，生成所述初始哈希编码值，其中，所述预设极化损失函数如下所示，
L(v，t^c)＝max(m-v*t^c，0)
其中，L为所述预设极化损失函数，m为预设强制极化参数，v为所述哈希向量中每一哈希向量比特位上的数值，且v的绝对值大于m，t^c为所述哈希向量比特位对应的目标哈希值，所述目标哈希值为所述训练样本对应的第一目标哈希编码值上的比特位数值，且t^c＝{-1,+1}，且所述预设极化损失函数收敛于0，例如，假设m为1，t^c为1，v为-1，此时，L＝2，若要使得预设极化损失函数收敛于0，则需要对v进行强制极化，使得v为1，此时L＝0，进而当t^c等于1时，所述哈希向量比特位上的数值将朝正方向逐渐远离0，当t^c等于-1时，所述哈希向量比特位上的数值将朝负方向逐渐远离0，进而在极化成功后，获得的极化向量中每一比特位的极化标识应与对应的目标哈希值一致，进一步地，由于属于同一预设样本类别的训练样本对应的第一目标哈希编码值相同，所以，属于同一预设样本类别的各训练样本对应的极化向量中每一比特位上的极化标识一致，进而基于各所述极化标识，获得的模型输出值一致，也即，对于属于同一预设样本类别的模型输入样本，训练好的所述第一哈希编码模型可输出相同的模型输出值。
另外地，需要说明的是，所述哈希向量中每一比特位对应所述第一哈希编码模型的一极化输出通道，每一所述极化输出通道对应的预设强制极化参数均由对所述第一哈希编码模型进行训练优化而得到，进而每一所述极化输出通道对应的预设强制极化参数可能相同，也可能不同，其中，所述极化输出通道用于基于所述预设强制极化参数，通过对应的预设极化损失函数，强制极化所述哈希向量中每一比特位上的数值，并输出所述初始哈希编码值中对应的比特位的编码数值。
步骤A22，计算所述初始哈希编码值和所述标准哈希编码值之间的训练汉明距离，并将所述训练汉明距离与预设汉明距离阀值进行比对；
在本实施例中，计算所述初始哈希编码值和所述标准哈希编码值之间的训练汉明距离，并将所述训练汉明距离与预设汉明距离阀值进行比对，具体地，将所述初始哈希编码值的每一比特位上的数值与所述第一目标哈希编码值的每一比特位上的数值进行比对，确定所述初始哈希编码值和所述第一目标哈希编码值之间的比特位不相同的比特位数量，并将所述比特位数量作为所述训练汉明距离，并将所述训练汉明距离与预设汉明距离阀值进行比对，例如，假设所述初始哈希编码值为向量(1，1，1，1)，所述目标哈希编码结果为向量(-1，1，1，-1)，则所述比特位数量为2，则所述训练汉明距离为2。
步骤A23，若所述训练汉明距离大于所述预设汉明距离阀值，则判定所述第一待训练模型未达到所述预设迭代结束条件，并基于所述初始哈希编码值优化所述预设极化损失函数；
在本实施例中，若所述训练汉明距离大于所述预设汉明距离阀值，则判定所述第一待训练模型未达到所述预设迭代结束条件，并基于所述初始哈希编码值优化所述预设极化损失函数，具体地，若所述训练汉明距离大于所述预设汉明距离阀值，则判定所述预设极化损失函数并未在所有所述极化输出通道上收敛，也即，所述预设极化损失函数未收敛，进而判定所述第一待训练模型未达到所述预设迭代结束条件，进而确定所述初始哈希编码值和所述目标哈希编码结果之间的一个或者多个不同比特位，并确定各所述不同比特位对应的未收敛极化输出通道，并调整各所述未收敛极化输出通道对应的预设极化损失函数中的预设强制极化参数，其中，所述未收敛极化输出通道为未收敛的预设极化损失函数对应的极化输出通道，其中，所述第一哈希编码模型至少包括一个极化输出通道，且所述极化输出通道的数量与所述第一哈希编码值对应的第一目标比特位的数量相关，也即，一所述第一目标比特位对应一所述极化输出通道。
步骤A24，基于优化后的所述预设极化损失函数，重新进行所述第一待训练模型的迭代训练，直至所述训练汉明距离小于或者等于所述预设汉明距离阀值；
在本实施例中，基于优化后的所述预设极化损失函数，重新进行所述第一待训练模型的迭代训练，直至所述训练汉明距离小于或者等于所述预设汉明距离阀值，具体地，重新获取所述训练样本，并基于重新获取训练样本，对优化后的所述预设极化损失函数对应的第一待训练模型重新进行迭代训练，以继续优化所述预设极化损失函数，直至所述训练汉明距离小于或者等于所述预设汉明距离阀值。
步骤A25，若所述训练汉明距离小于或者等于所述预设汉明距离阀值，则判定所述第一待训练模型达到所述预设迭代结束条件，并将所述第一待训练模型作为所述第一哈希编码模型。
在本实施例中，若所述训练汉明距离小于或者等于所述预设汉明距离阀值，则判定所述第一待训练模型达到所述预设迭代结束条件，并将所述第一待训练模型作为所述第一哈希编码模型，具体地，若所述训练汉明距离小于或者等于所述预设汉明距离阀值，则判定所述第一待训练模型达到所述预设迭代结束条件，也即，所述第一待训练模型中各所述极化输出通道对应的预设极化损失函数收敛，进而将所述第一待训练模型作为所述第一哈希编码模型。
本实施例通过获取第一待训练模型和各所述预设样本类别对应的训练数据集，并基于预设目标哈希编码方式，确定各所述预设样本类别对应的第一目标哈希编码结果，进而基于所述第一目标哈希编码结果和所述训练数据集，对所述第一待训练模型进行迭代训练，直至所述第一待训练模型达到预设迭代结束条件，获得所述第一哈希编码模型。也即，本实施例提供了一种基于各预设样本类别直接优化训练所述第一哈希编码模型的方法，相比于目前的哈希编码方法，无需添加任何约束条件，即可直接优化训练所述第一哈希编码模型，提高了哈希编码模型的构建效率，进而基于优化训练好的第一哈希编码模型，可进行各所述模型输入特征对应的特征置信度的确定，进而为解决模型解释效果差的技术问题奠定了基础。
进一步地，参照图5，基于本申请中第一实施例和第二实施例，在本申请的另一实施例中，在所述获取预设黑箱模型对应的各模型输入特征，并将各所述模型输入特征对应的预测数据集输入基于各预设样本类别优化的第一哈希编码模型，对所述预测数据集进行哈希编码，获得第一哈希编码结果的步骤之前，所述模型解释方法包括：
步骤B10，获取各所述预设样本类别对应的训练数据集，并将所述训练数据集输入所述预设黑箱模型，对所述训练数据集进行分类，获得各所述输出样本类别，并确定各所述输出样本类别对应的第二目标哈希编码值；
在本实施例中，需要说明的是，所述训练数据集至少包括一个训练样本。
获取各所述预设样本类别对应的训练数据集，并将所述训练数据集输入所述预设黑箱模型，对所述训练数据集进行分类，获得各所述输出样本类别，并确定各所述输出样本类别对应的第二目标哈希编码值，具体地，获取每一所述预设样本类别对应的各训练样本，并将各所述训练样本输入所述预设黑箱模型，分别对各所述训练样本进行类别划分，获得各所述训练样本对应的输出样本类别，其中，一个或者多个训练样本对应一所述输出样本类别。
在所述将所述预测数据集输入所述预设黑箱模型，对所述预测数据集进行分类，获得各所述输出样本类别的步骤之前，所述模型解释方法还包括：
步骤C10，获取基础训练模型和各所述预设样本类别对应的训练数据集；
在本实施例中，需要说明的是，所述基础训练模型为未训练好的神经网络模型，所述预设黑箱模型和所述第一待训练模型的训练数据集相同。
步骤C20，基于所述训练数据集，对所述基础训练模型进行迭代训练，直至所述基础训练模型满足预设迭代结束条件，获得所述预设黑箱模型。
在本实施例中，基于所述训练数据集，对所述基础训练模型进行迭代训练，直至所述基础训练模型满足预设迭代结束条件，获得所述预设黑箱模型，具体地，将所述训练数据集输入所述基础训练模型，对所述基础训练模型进行训练更新，并判断训练更新后的所述基础训练模型是否满足黑箱模型迭代训练结束条件，若训练更新后的所述基础训练模型满足黑箱模型迭代训练结束条件，则将训练更新后的所述基础训练模型作为所述预设黑箱模型，若训练更新后的所述基础训练模型不满足黑箱模型迭代训练结束条件，则重新获取训练数据集，并基于重新获取的训练数据集，对所述基础训练模型重新进行训练更新，直至训练更新后的所述基础训练模型满足黑箱模型迭代训练结束条件。
步骤B20，获取第二待训练模型，并基于所述第一哈希编码模型的哈希编码模型参数，对所述第二待训练模型进行初始化，获得初始化模型；
在本实施例中，需要说明的是，所述第二待训练模型为未训练好的神经网络模型。
获取第二待训练模型，并基于所述第一哈希编码模型的哈希编码模型参数，对所述第二待训练模型进行初始化，获得初始化模型，获取第二待训练模型和所述第一哈希编码模型的各哈希编码模型参数，并基于各哈希编码模型参数，替换更新所述第二待训练模型中的各模型参数，以对所述第二待训练模型进行初始化，获得所述初始化模型，其中，所述哈希编码模型参数为所述第一哈希编码模型的模型网络参数。
步骤B30，冻结所述初始化模型对应的待冻结模型参数，获得冻结参数模型，其中，所述待冻结模型参数包括除所述初始化模型中的哈希层参数之外的目标模型参数；
在本实施例中，需要说明的是，所述待冻结模型参数包括除所述初始化模型中的哈希层参数之外的目标模型参数，其中，所述哈希层参数为所述初始化模型中的哈希层中的模型网络参数，所述目标模型参数为除所述哈希层参数之外的所述初始化模型中的网络模型参数，且需要说明的是，冻结之后的所述待冻结模型参数无法进行训练更新。
步骤B40，基于所述训练数据集和各所述第二目标哈希编码，对所述冻结参数模型进行迭代训练，直至所述冻结参数模型达到预设迭代结束条件，获得所述第二哈希编码模型。
在本实施例中，需要说明的是，所述第二哈希编码模型的训练数据集和所述第一哈希编码模型的训练数据集相同，且在所述冻结参数模型时，只能对所述冻结参数模型中的哈希层参数进行更新，无法对冻结了的待冻结参数进行更新。
基于所述训练数据集和各所述第二目标哈希编码，对所述冻结参数模型进行迭代训练，直至所述冻结参数模型达到预设迭代结束条件，获得所述第二哈希编码模型，具体地，将所述训练数据集输入所述第二待训练模型，基于所述第二目标哈希编码结果，对所述第二待训练模型进行训练更新，并判断训练更新后的所述第二待训练模型是否满足预设迭代结束条件，若训练更新后的所述第二待训练模型满足预设迭代结束条件，则将训练更新后的所述第二待训练模型作为所述第二哈希编码模型，若训练更新后的所述第二待训练模型不满足预设迭代结束条件，则获取所述第二待训练模型输出的各输出哈希编码值，并基于所述输出哈希编码值和对应的各所述第二目标哈希编码值，优化所述第二待训练模型对应的预设极化损失函数，并重新对所述第二待训练模型进行训练更新，直至训练更新后的所述第二待训练模型满足预设迭代结束条件，其中，需要说明的是，所述第一哈希编码模型的迭代训练方法与所述第二哈希编码模型的迭代训练方法相同，且所述第一哈希编码模型除哈希层中的网络模型参数之外的参数与所述第二哈希编码模型除哈希层中的网络模型参数之外的参数相同，且若每一所述训练样本对应的预设样本类别和输出样本类别相同，则所述第一哈希编码模型与所述第二哈希编码模型相同，若存在所述训练样本对应的预设样本类别和输出样本类别不相同，则所述第一哈希编码模型的哈希层中的网络模型参数与所述第二哈希编码模型的哈希层中的网络模型参数将不相同，进而获得所述第一哈希编码结果和第二编码结果也不相同。
本实施例通过获取各所述预设样本类别对应的训练数据集，并将所述训练数据集输入所述预设黑箱模型，对所述训练数据集进行分类，获得各所述输出样本类别，并确定各所述输出样本类别对应的第二目标哈希编码值，进而获取第二待训练模型，并基于所述第一哈希编码模型的哈希编码模型参数，对所述第二待训练模型进行初始化，获得初始化模型，进而冻结所述初始化模型对应的待冻结模型参数，获得冻结参数模型，其中，所述待冻结模型参数包括除所述初始化模型中的哈希层参数之外的目标模型参数，进而基于所述训练数据集和各所述第二目标哈希编码值，对所述冻结参数模型进行迭代训练，直至所述冻结参数模型达到预设迭代结束条件，获得所述第二哈希编码模型。也即，本实施例在获取所述预设黑箱模型基于所述训练数据集输出的各输出样本类别之后，通过基于所述第一哈希编码模型的模型网络参数，初始化所述第二待训练模型，并冻结所述第二待训练模型除哈希层参数之外的模型网络参数，获得冻结参数模型，进而基于训练数据集和各所述输出样本类别，通过对所述冻结参数模型进行训练，获得第二哈希编码模型，进而获得所述第二哈希编码模型，进而达到了控制其他影响所述第一哈希编码结果和所述第二哈希编码结果的变量的目的，使得所述第一哈希编码结果和所述第二哈希编码结果的比特位差异度由各所述预设样本类别和各所述输出样本类别的差异程度所决定，进而由于各所述输出样本类别是所述预设黑箱模型输出的，所以，基于所述第一哈希编码结果和所述第二哈希编码结果之间的各比特位差异度，确定各所述模型输入特征对所述预设黑箱模型的特征置信度，进而为解决模型解释效果差的技术问题奠定了基础。
参照图6，图6是本申请实施例方案涉及的硬件运行环境的设备结构示意图。
如图6所示，该模型解释设备可以包括：处理器1001，例如CPU，存储器1005，通信总线1002。其中，通信总线1002用于实现处理器1001和存储器1005之间的连接通信。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储设备。
可选地，该模型解释设备还可以包括矩形用户接口、网络接口、摄像头、RF(RadioFrequency，射频)电路，传感器、音频电路、WiFi模块等等。矩形用户接口可以包括显示屏(Display)、输入子模块比如键盘(Keyboard)，可选矩形用户接口还可以包括标准的有线接口、无线接口。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
本领域技术人员可以理解，图6中示出的模型解释设备结构并不构成对模型解释设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图6所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块以及模型解释程序。操作系统是管理和控制模型解释设备硬件和软件资源的程序，支持模型解释程序以及其它软件和/或程序的运行。网络通信模块用于实现存储器1005内部各组件之间的通信，以及与模型解释系统中其它硬件和软件之间通信。
在图6所示的模型解释设备中，处理器1001用于执行存储器1005中存储的模型解释程序，实现上述任一项所述的模型解释方法的步骤。
本申请模型解释设备具体实施方式与上述模型解释方法各实施例基本相同，在此不再赘述。
本申请实施例还提供一种模型解释装置，所述模型解释装置应用于模型解释设备，所述模型解释装置包括：
第一哈希编码模块，用于获取预设黑箱模型对应的各模型输入特征，并将各所述模型输入特征对应的预测数据集输入基于各预设样本类别优化的第一哈希编码模型，对所述预测数据集进行哈希编码，获得第一哈希编码结果；
第二哈希编码模块，用于将所述预测数据集输入基于所述预设黑箱模型输出的各输出样本类别优化的第二哈希编码模型，对所述预测数据集进行哈希编码，获得第二哈希编码结果；
确定模块，基于所述第一哈希编码结果和所述第二哈希编码结果之间的各比特位差异度，确定各所述模型输入特征对应的特征置信度。
可选地，所述确定模块包括：
计算单元，用于计算所述第一哈希编码结果和所述第二哈希编码结果之间的各所述比特位差异度，并确定各所述比特位差异度对应的输出通道置信度；
确定单元，用于计算各所述模型输入特征的输入特征贡献度，并基于各所述输出通道置信度和各所述输入特征贡献度，确定各所述特征置信度。
可选地，所述计算单元包括：
比对子单元，用于将每一所述预测样本对应的所述第一哈希编码值和所述第二哈希编码值进行比对，获得各所述比特位一致性错误率；
第一确定子单元，用于确定所述第二哈希编码结果对应的各模型输出通道，并基于各所述比特位一致性错误率，确定各所述模型输出通道对应的所述输出通道错误率。
可选地，所述确定单元包括：
第二确定子单元，用于确定每一所述模型输入特征与每一所述模型输出通道之间的各模型网络链接；
计算子单元，用于获取每一所述模型网络链接中各网络神经元对应的模型网络参数，并基于各所述模型网络参数，计算各所述输入特征贡献度。
可选地，所述模型解释装置还包括：
生成模块，用于获取第一待训练模型和各所述预设样本类别对应的训练数据集，并基于预设目标哈希编码方式，确定各所述预设样本类别对应的第一目标哈希编码结果；
第一迭代训练模块，用于基于所述第一目标哈希编码结果和所述训练数据集，对所述第一待训练模型进行迭代训练，直至所述第一待训练模型达到预设迭代结束条件，获得所述第一哈希编码模型。
可选地，所述迭代训练模块包括：
哈希编码单元，用于将所述训练样本输入所述第一待训练模型，以基于所述第一待训练模型对应的预设极化损失函数，对所述训练样本进行哈希编码，获得初始哈希编码值，并在各所述第一目标哈希编码值中确定所述训练样本对应的标准哈希编码值；
比对单元，用于基于优化后的所述预设极化损失函数，重新进行所述第一待训练模型的迭代训练，直至所述训练汉明距离小于或者等于所述预设汉明距离阀值；
第一判定单元，用于若所述训练汉明距离大于所述预设汉明距离阀值，则判定所述第一待训练模型未达到所述预设迭代结束条件，并基于所述初始哈希编码值优化所述预设极化损失函数；
优化单元，用于基于优化后的所述预设极化损失函数，重新进行所述第一待训练模型的迭代训练，直至所述训练汉明距离小于或者等于所述预设汉明距离阀值；
第二判定单元，用于若所述训练汉明距离小于或者等于所述预设汉明距离阀值，则判定所述第一待训练模型达到所述预设迭代结束条件，并将所述第一待训练模型作为所述第一哈希编码模型。
可选地，所述模型解释装置还包括：
分类模块，用于获取各所述预设样本类别对应的训练数据集，并将所述训练数据集输入所述预设黑箱模型，对所述训练数据集进行分类，获得各所述输出样本类别，并确定各所述输出样本类别对应的第二目标哈希编码值；
初始化模块，用于获取第二待训练模型，并基于所述第一哈希编码模型的哈希编码模型参数，对所述第二待训练模型进行初始化，获得初始化模型；
冻结模块，用于冻结所述初始化模型对应的待冻结模型参数，获得冻结参数模型，其中，所述待冻结模型参数包括除所述初始化模型中的哈希层参数之外的目标模型参数；
第二迭代训练模块，用于基于所述训练数据集和各所述第二目标哈希编码值，对所述冻结参数模型进行迭代训练，直至所述冻结参数模型达到预设迭代结束条件，获得所述第二哈希编码模型。
可选地，所述模型解释装置还包括：
获取模块，用于获取基础训练模型和各所述预设样本类别对应的训练数据集；
第三迭代训练模块，用于基于所述训练数据集，对所述基础训练模型进行迭代训练，直至所述基础训练模型满足预设迭代结束条件，获得所述预设黑箱模型。
本申请模型解释装置的具体实施方式与上述模型解释方法各实施例基本相同，在此不再赘述。
本申请实施例提供了一种可读存储介质，且所述可读存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于实现上述任一项所述的模型解释方法的步骤。
本申请可读存储介质具体实施方式与上述模型解释方法各实施例基本相同，在此不再赘述。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利处理范围内。

Claims (10)

1.一种模型解释方法，其特征在于，所述模型解释方法包括：
获取预设黑箱模型对应的各模型输入特征，并将各所述模型输入特征对应的预测数据集输入基于各预设样本类别优化的第一哈希编码模型，对所述预测数据集进行哈希编码，获得第一哈希编码结果；
将所述预测数据集输入基于所述预设黑箱模型输出的各输出样本类别优化的第二哈希编码模型，对所述预测数据集进行哈希编码，获得第二哈希编码结果；
基于所述第一哈希编码结果和所述第二哈希编码结果之间的各比特位差异度，确定各所述模型输入特征对应的特征置信度。
2.如权利要求1所述模型解释方法，其特征在于，所述基于所述第一哈希编码结果和所述第二哈希编码结果之间的各比特位差异度，确定各所述模型输入特征对应的特征置信度的步骤包括：
计算所述第一哈希编码结果和所述第二哈希编码结果之间的各所述比特位差异度，并确定各所述比特位差异度对应的输出通道置信度；
计算各所述模型输入特征的输入特征贡献度，并基于各所述输出通道置信度和各所述输入特征贡献度，确定各所述特征置信度。
3.如权利要求2所述模型解释方法，其特征在于，所述预测数据集至少包括一个预测样本，所述第一哈希编码结果包括各所述预测样本对应的第一哈希编码值，所述第二哈希编码结果包括各所述预测样本对应的第二哈希编码值，所述比特位差异度包括比特位一致性错误率，所述输出通道置信度包括输出通道错误率，
所述计算所述第一哈希编码结果和所述第二哈希编码结果之间的各所述比特位差异度，并确定各所述比特位差异度对应的输出通道置信度的步骤包括：
将每一所述预测样本对应的所述第一哈希编码值和所述第二哈希编码值进行比对，获得各所述比特位一致性错误率；
确定所述第二哈希编码结果对应的各模型输出通道，并基于各所述比特位一致性错误率，确定各所述模型输出通道对应的所述输出通道错误率。
4.如权利要求2所述模型解释方法，其特征在于，所述第二哈希编码模型至少包括一个模型输出通道，
所述计算各所述模型输入特征的输入特征贡献度的步骤包括：
确定每一所述模型输入特征与每一所述模型输出通道之间的各模型网络链接；
获取每一所述模型网络链接中各网络神经元对应的模型网络参数，并基于各所述模型网络参数，计算各所述输入特征贡献度。
5.如权利要求1所述模型解释方法，其特征在于，在所述获取预设黑箱模型对应的各模型输入特征，并将各所述模型输入特征对应的预测数据集输入基于各预设样本类别优化的第一哈希编码模型，对所述预测数据集进行哈希编码，获得第一哈希编码结果的步骤之前，所述模型解释方法还包括：
获取第一待训练模型和各所述预设样本类别对应的训练数据集，并基于预设目标哈希编码方式，确定各所述预设样本类别对应的第一目标哈希编码结果；
基于所述第一目标哈希编码结果和所述训练数据集，对所述第一待训练模型进行迭代训练，直至所述第一待训练模型达到预设迭代结束条件，获得所述第一哈希编码模型。
6.如权利要求5所述模型解释方法，其特征在于，所述训练数据集至少包括一个训练样本，所述第一目标哈希编码结果包括各所述训练样本对应的第一目标哈希编码值，
所述基于所述第一目标哈希编码结果和所述训练数据集，对所述第一待训练模型进行迭代训练，直至所述第一待训练模型达到预设迭代结束条件，获得所述第一哈希编码模型的步骤包括：
将所述训练样本输入所述第一待训练模型，以基于所述第一待训练模型对应的预设极化损失函数，对所述训练样本进行哈希编码，获得初始哈希编码值，并在各所述第一目标哈希编码值中确定所述训练样本对应的标准哈希编码值；
计算所述初始哈希编码值和所述标准哈希编码值之间的训练汉明距离，并将所述训练汉明距离与预设汉明距离阀值进行比对；
若所述训练汉明距离大于所述预设汉明距离阀值，则判定所述第一待训练模型未达到所述预设迭代结束条件，并基于所述初始哈希编码值优化所述预设极化损失函数；
基于优化后的所述预设极化损失函数，重新进行所述第一待训练模型的迭代训练，直至所述训练汉明距离小于或者等于所述预设汉明距离阀值；
若所述训练汉明距离小于或者等于所述预设汉明距离阀值，则判定所述第一待训练模型达到所述预设迭代结束条件，并将所述第一待训练模型作为所述第一哈希编码模型。
7.如权利要求1所述模型解释方法，其特征在于，在所述获取预设黑箱模型对应的各模型输入特征，并将各所述模型输入特征对应的预测数据集输入基于各预设样本类别优化的第一哈希编码模型，对所述预测数据集进行哈希编码，获得第一哈希编码结果的步骤之前，所述模型解释方法还包括：
获取各所述预设样本类别对应的训练数据集，并将所述训练数据集输入所述预设黑箱模型，对所述训练数据集进行分类，获得各所述输出样本类别，并确定各所述输出样本类别对应的第二目标哈希编码值；
获取第二待训练模型，并基于所述第一哈希编码模型的哈希编码模型参数，对所述第二待训练模型进行初始化，获得初始化模型；
冻结所述初始化模型对应的待冻结模型参数，获得冻结参数模型，其中，所述待冻结模型参数包括除所述初始化模型中的哈希层参数之外的目标模型参数；
基于所述训练数据集和各所述第二目标哈希编码值，对所述冻结参数模型进行迭代训练，直至所述冻结参数模型达到预设迭代结束条件，获得所述第二哈希编码模型。
8.如权利要求7所述模型解释方法，其特征在于，在所述将所述预测数据集输入所述预设黑箱模型，对所述预测数据集进行分类，获得各所述输出样本类别的步骤之前，所述模型解释方法还包括：
获取基础训练模型和各所述预设样本类别对应的训练数据集；
基于所述训练数据集，对所述基础训练模型进行迭代训练，直至所述基础训练模型满足预设迭代结束条件，获得所述预设黑箱模型。
9.一种模型解释设备，其特征在于，所述模型解释设备包括：存储器、处理器以及存储在存储器上的用于实现所述模型解释方法的程序，
所述存储器用于存储实现模型解释方法的程序；
所述处理器用于执行实现所述模型解释方法的程序，以实现如权利要求1至8中任一项所述模型解释方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储有实现模型解释方法的程序，所述实现模型解释方法的程序被处理器执行以实现如权利要求1至8中任一项所述模型解释方法的步骤。
CN202010446887.2A 2020-05-22 2020-05-22 模型解释方法、设备及可读存储介质 Active CN111612080B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010446887.2A CN111612080B (zh) 2020-05-22 2020-05-22 模型解释方法、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010446887.2A CN111612080B (zh) 2020-05-22 2020-05-22 模型解释方法、设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN111612080A true CN111612080A (zh) 2020-09-01
CN111612080B CN111612080B (zh) 2021-11-09

Family

ID=72201837

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010446887.2A Active CN111612080B (zh) 2020-05-22 2020-05-22 模型解释方法、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN111612080B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111816312A (zh) * 2020-09-14 2020-10-23 杭州憶盛医疗科技有限公司 基于模型解释的健康状态检测方法、设备及可读存储介质
CN113111953A (zh) * 2021-04-20 2021-07-13 深圳吉祥星科技股份有限公司 一种投影画质处理装置
CN114331292A (zh) * 2022-01-05 2022-04-12 成都以专信息技术有限公司 一种用于研究生招生考试试卷分拣的管理信息系统
US11741128B2 (en) 2021-05-06 2023-08-29 International Business Machines Corporation Model-free high confidence data clustering

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160358043A1 (en) * 2015-06-05 2016-12-08 At&T Intellectual Property I, L.P. Hash codes for images
CN108805157A (zh) * 2018-04-11 2018-11-13 南京理工大学 基于部分随机监督离散式哈希的遥感图像分类方法
CN109711422A (zh) * 2017-10-26 2019-05-03 北京邮电大学 图像数据处理、模型的建立方法、装置、计算机设备和存储介质
CN109918532A (zh) * 2019-03-08 2019-06-21 苏州大学 图像检索方法、装置、设备及计算机可读存储介质
CN110209867A (zh) * 2019-06-05 2019-09-06 腾讯科技（深圳）有限公司 图像检索模型的训练方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160358043A1 (en) * 2015-06-05 2016-12-08 At&T Intellectual Property I, L.P. Hash codes for images
CN109711422A (zh) * 2017-10-26 2019-05-03 北京邮电大学 图像数据处理、模型的建立方法、装置、计算机设备和存储介质
CN108805157A (zh) * 2018-04-11 2018-11-13 南京理工大学 基于部分随机监督离散式哈希的遥感图像分类方法
CN109918532A (zh) * 2019-03-08 2019-06-21 苏州大学 图像检索方法、装置、设备及计算机可读存储介质
CN110209867A (zh) * 2019-06-05 2019-09-06 腾讯科技（深圳）有限公司 图像检索模型的训练方法、装置、设备及存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111816312A (zh) * 2020-09-14 2020-10-23 杭州憶盛医疗科技有限公司 基于模型解释的健康状态检测方法、设备及可读存储介质
CN113111953A (zh) * 2021-04-20 2021-07-13 深圳吉祥星科技股份有限公司 一种投影画质处理装置
CN113111953B (zh) * 2021-04-20 2022-08-26 深圳吉祥星科技股份有限公司 一种投影画质处理装置
US11741128B2 (en) 2021-05-06 2023-08-29 International Business Machines Corporation Model-free high confidence data clustering
CN114331292A (zh) * 2022-01-05 2022-04-12 成都以专信息技术有限公司 一种用于研究生招生考试试卷分拣的管理信息系统

Also Published As

Publication number Publication date
CN111612080B (zh) 2021-11-09

Similar Documents

Publication Publication Date Title
CN111612080B (zh) 模型解释方法、设备及可读存储介质
US11893781B2 (en) Dual deep learning architecture for machine-learning systems
US20190279075A1 (en) Multi-modal image translation using neural networks
CN111626408B (zh) 哈希编码方法、装置、设备及可读存储介质
WO2020143225A1 (zh) 神经网络的训练方法、训练装置和电子设备
US20220215298A1 (en) Method for training sequence mining model, method for processing sequence data, and device
US20200242736A1 (en) Method for few-shot unsupervised image-to-image translation
CN111988614B (zh) 哈希编码优化方法、设备及可读存储介质
CN108932301B (zh) 数据填充方法及装置
CN108205570B (zh) 一种数据检测方法和装置
WO2022022233A1 (zh) Ai模型更新的方法、装置、计算设备和存储介质
CN111625258B (zh) 默克尔树更新方法、装置、设备及可读存储介质
US20220019900A1 (en) Method and system for learning perturbation sets in machine learning
Wang et al. Capped $\ell _p $-Norm LDA for Outliers Robust Dimension Reduction
CN111310918B (zh) 一种数据处理方法、装置、计算机设备及存储介质
CN112817563A (zh) 目标属性配置信息确定方法、计算机设备和存储介质
CN113343020B (zh) 基于人工智能的图像处理方法、装置及电子设备
CN112541556A (zh) 模型构建优化方法、设备、介质及计算机程序产品
CN111241746A (zh) 向前模型选择方法、设备和可读存储介质
US11688175B2 (en) Methods and systems for the automated quality assurance of annotated images
CN111612077A (zh) 特征重要性可视化方法、设备及可读存储介质
US20220269718A1 (en) Method And Apparatus For Tracking Object
CN115577797A (zh) 一种基于本地噪声感知的联邦学习优化方法及系统
CN111612159A (zh) 特征重要性测量方法、设备及可读存储介质
WO2022262603A1 (zh) 多媒体资源的推荐方法、装置、设备、存储介质及计算机程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant