CN112580781A - 深度学习模型的处理方法、装置、设备和存储介质 - Google Patents

深度学习模型的处理方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN112580781A
CN112580781A CN202011469107.2A CN202011469107A CN112580781A CN 112580781 A CN112580781 A CN 112580781A CN 202011469107 A CN202011469107 A CN 202011469107A CN 112580781 A CN112580781 A CN 112580781A
Authority
CN
China
Prior art keywords
feature
deep learning
model
samples
learning model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011469107.2A
Other languages
English (en)
Inventor
范力欣
周雨豪
刘畅
张天豫
杨强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WeBank Co Ltd
Original Assignee
WeBank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WeBank Co Ltd filed Critical WeBank Co Ltd
Priority to CN202011469107.2A priority Critical patent/CN112580781A/zh
Publication of CN112580781A publication Critical patent/CN112580781A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种深度学习模型的处理方法、装置、设备和存储介质，所述方法包括：对于深度学习模型，根据从特征提取器以及分类器中提取一些中间层的特征输出以及最终输出，计算深度学习模型对每种特征的信息增益，稀疏性参数以及完备性参数。并根据中间层的输出进行树模型训练，得到解释模型，并对解释模型的叶节点进行测试，得到该解释模型的分类准确度，计算所述解释模型的每个叶节点能够正确分类的样本占所有样本中对应类别样本的数量比，得到树完备性参数。最后将得到的特征的信息增益，稀疏性参数，完备性参数，树准确度以及树完备性这些可以对模型进行评估的指标进行输出，从而提供一种对深度学习模型进行量化分析和解释的工具。

Description

深度学习模型的处理方法、装置、设备和存储介质
技术领域
本发明涉及人工智能领域，尤其涉及一种深度学习模型的处理方法、装置、设备和存储介质。
背景技术
卷积神经网络模型(Convolution Neural Networks,CNNs)是一种深度学习模型，在图像识别等领域中具有非常出色的性能，得到了广泛应用。CNNs主要由卷积部分和全连接部分组成。其中卷积部分包含卷积层、激活函数层和池化层等，作用是提取数据的特征；全连接部分的作用是连接特征和输出计算损失，并进行识别和分类等操作。
然而，由于深度学习模型端到端的学习策略和极其复杂的模型参数结构，CNNs一直如同黑盒一般令人难以理解和解释其中的工作原理。CNNs经过训练收敛后，用户在使用中仅能得到模型的最终输出结果(如输入所属的类别等)，却无法理解CNNs是如何从原始输入得到预测输出的。这种难以解释性使得当前CNNs等深度学习模型在无人驾驶、医疗图像识别等领域的落地遭遇了很大阻碍。
综上所述，目前还没有合适的对深度学习模型进行量化解释和分析的工具。
发明内容
本发明的主要目的在于提供一种深度学习模型的处理方法、装置、设备和存储介质，提供一种对深度学习模型进行量化解释和分析的工具。
为实现上述目的，本发明提供一种深度学习模型的处理方法，包括：
将预先获取到的数据集输入待处理的深度学习模型中，获取所述深度学习模型对每种特征的信息增益，稀疏性参数以及完备性参数；其中，所述数据集中包括多种特征的数据，每种特征的信息增益用于表示所述特征区分数据样本的能力，每种特征的稀疏性参数用于表示特征之间的独立程度，每种特征的完备性参数用于表示所述特征对所述深度学习模型的影响程度；
从所述深度学习模型中提取出特征提取器的输出以及分类器的输出，并将所述特征提取器的输出以及所述分类器的输出作为训练数据进行树模型训练，得到解释模型；
对所述解释模型的叶节点的分类准确度进行测量，得到树准确度，所述树准确度用于指示所述解释模型的分类准确度；
计算所述解释模型的每个叶节点能够正确分类的样本占所有样本中对应类别样本的数量比，得到树完备性参数；
输出所述每种特征的信息增益，所述每种特征的稀疏性参数，所述每种特征的完备性参数，所述树准确度以及所述树完备性参数。
在一种具体实施方式中，所述方法还包括：
根据所述每种特征的信息增益，所述每种特征的稀疏性参数，所述每种特征的完备性参数，所述树准确度以及树完备性参数进行可视化处理，得到针对所述深度学习模型进行评估的可视化结果；
输出所述可视化结果。
在一种具体实施方式中，所述将预先获取到的数据集输入待处理的深度学习模型中，获取所述深度学习模型对每种特征的信息增益，稀疏性参数以及完备性参数，包括：
将所述数据集输入所述深度学习模型，并提取出所述深度学习模型的特征提取器的输出，针对所述特征提取器的输出中每种特征的输出值进行滤波，并在滤波后取均值，得到所述深度学习模型对所述特征的信息增益；
从所述深度学习模型的卷积层中提取出所有滤波矩阵，根据所述所有滤波矩阵分别进行转换，两两计算每个特征的K-L散度矩阵，并根据每个特征的K-L散度矩阵得到所述特征对应的稀疏性参数；
根据所述深度学习模型对每种特征的信息增益从大到小的顺序依次从所述数据集中删除一种特征集合，并在每次删除后根据未被删除的所有特征集合构建随机森林模型，并计算所述随机森林模型的测试性能；
当存在一个随机森林模型的测试性能相较于上一个模型的测试性能的变化大于预设值时，获取已删除的特征集合的数量；
根据所述已删除的特征集合的数量和所述数据集中的特征集合的总数，计算获取所述完备性参数。
在一种具体实施方式中，所述对所述解释模型的叶节点的分类准确度进行测量，得到树准确度，包括：
测量获取所述解释模型分类最终落在每个叶节点上的总样本数以及每个叶节点分类正确的样本数；
采用公式：
Figure BDA0002835579590000031
计算所述解释模型中每个叶节点的分类准确度Acci，其中，i为叶节点序号，ni为经过所述解释模型分类最终落在该叶节点的总样本数，ci为所述叶节点分类正确的样本数，所述树准确度包括所述每个叶节点的分类准确度。
在另一种具体实施方式中，所述计算所述解释模型的每个叶节点能够正确分类的样本占所有样本中对应类别样本的数量比，得到树完备性参数，包括：
采用公式：
Figure BDA0002835579590000032
计算所述解释模型的每个叶节点能够正确分类的样本占所有样本中对应类别样本的数量比Compi，得到所述树完备性参数；其中，i为叶节点序号，ci为该叶节点分类正确的样本数，nc为所有样本中与该节点同类的样本数。
本发明还提供一种深度学习模型的处理装置，包括：
第一处理模块，用于将预先获取到的数据集输入待处理的深度学习模型中，获取所述深度学习模型对每种特征的信息增益，稀疏性参数以及完备性参数；其中，所述数据集中包括多种特征的数据，每种特征的信息增益用于表示所述特征区分数据样本的能力，每种特征的稀疏性参数用于表示特征之间的独立程度，每种特征的完备性参数用于表示所述特征对所述深度学习模型的影响程度；
第二处理模块，用于从所述深度学习模型中提取出特征提取器的输出以及分类器的输出，并将所述特征提取器的输出以及所述分类器的输出作为训练数据进行树模型训练，得到解释模型；
所述第二处理模块还用于对所述解释模型的叶节点的分类准确度进行测量，得到树准确度，所述树准确度用于指示所述解释模型的分类准确度；
第三处理模块，用于计算所述解释模型的每个叶节点能够正确分类的样本占所有样本中对应类别样本的数量比，得到树完备性参数；
输出模块，用于输出所述每种特征的信息增益，所述每种特征的稀疏性参数，所述每种特征的完备性参数，所述树准确度以及所述树完备性参数。
在一种具体实施方式中，所述装置还包括：
第四处理模块，用于根据所述每种特征的信息增益，所述每种特征的稀疏性参数，所述每种特征的完备性参数，所述树准确度以及树完备性参数进行可视化处理，得到针对所述深度学习模型进行评估的可视化结果；
所述输出模块还用于输出所述可视化结果。
在一种具体实施方式中，所述第一处理模块具体用于：
将所述数据集输入所述深度学习模型，并提取出所述深度学习模型的特征提取器的输出，针对所述特征提取器的输出中每种特征的输出值进行滤波，并在滤波后取均值，得到所述深度学习模型对所述特征的信息增益；
从所述深度学习模型的卷积层中提取出所有滤波矩阵，根据所述所有滤波矩阵分别进行转换，两两计算每个特征的K-L散度矩阵，并根据每个特征的K-L散度矩阵得到所述特征对应的稀疏性参数；
根据所述深度学习模型对每种特征的信息增益从大到小的顺序依次从所述数据集中删除一种特征集合，并在每次删除后根据未被删除的所有特征集合构建随机森林模型，并计算所述随机森林模型的测试性能；
当存在一个随机森林模型的测试性能相较于上一个模型的测试性能的变化大于预设值时，获取已删除的特征集合的数量；
根据所述已删除的特征集合的数量和所述数据集中的特征集合的总数，计算获取所述完备性参数。
在一种具体实施方式中，所述第二处理模块具体用于：
测量获取所述解释模型分类最终落在每个叶节点上的总样本数以及每个叶节点分类正确的样本数；
采用公式：
Figure BDA0002835579590000041
计算所述解释模型中每个叶节点的分类准确度Acci，其中，i为叶节点序号，ni为经过所述解释模型分类最终落在该叶节点的总样本数，ci为所述叶节点分类正确的样本数，所述树准确度包括所述每个叶节点的分类准确度。
在一种具体实施方式中，所述第三处理模块具体用于：
采用公式：
Figure BDA0002835579590000051
计算所述解释模型的每个叶节点能够正确分类的样本占所有样本中对应类别样本的数量比Compi，得到所述树完备性参数；其中，i为叶节点序号，ci为该叶节点分类正确的样本数，nc为所有样本中与该节点同类的样本数。
本发明还提供一种电子设备，所述电子设备包括：存储器、处理器及输出接口，所述存储器上存储有可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现前述深度学习模型的处理方法的步骤。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现前述深度学习模型的处理方法的步骤。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行实现前述任一项所述的深度学习模型的处理方法的步骤。
本发明中，对于深度学习模型，根据模型结构从特征提取器以及分类器中提取一些中间层的特征输出以及最终输出，基于这些输出计算深度学习模型对每种特征的信息增益，稀疏性参数以及完备性参数。并根据中间层的输出进行树模型训练，得到解释模型，并对解释模型的叶节点进行测试，得到该解释模型的分类准确度，计算所述解释模型的每个叶节点能够正确分类的样本占所有样本中对应类别样本的数量比，得到树完备性参数。最后将得到的特征的信息增益，稀疏性参数，完备性参数，树准确度以及树完备性这些可以对模型进行评估的指标进行输出，从而提供一种对深度学习模型进行量化分析和解释的工具。
附图说明
图1为本发明提供的深度学习模型的处理方法实施例一的流程示意图；
图2为本发明提供的一种具体的信息增益与特征数量的示意图；
图3为本发明提供的一种RF模型的测试性能与特征数量的对应关系示意图；
图4为本发明提供的深度学习模型的处理方法实施例二的流程示意图；
图5为本发明提供的一种雷达图；
图6为本发明提供的深度学习模型的处理装置实施例一的结构示意图；
图7为本发明提供的深度学习模型的处理装置实施例二的结构示意图；
图8为本发明提供的电子设备实施例一的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
卷积神经网络模型(Convolution Neural Networks,CNNs)是一种深度学习模型，目前在各个技术领域都有广泛的应用，然而目前现有技术中并没有合适的对深度学习模型进行解释和分析的技术方案，导致用户无法理解其工作原理，并不能了解其在无人驾驶，医疗图像识别等领域中的具体效果和功能，因此，本发明提供一种针对深度学习模型的处理方法，对深度学习模型进行分析，并通过输出分析结果，更好的量化解释深度学习模型。
本发明技术方案的整理思路是：对于原始卷积神经网络模型这种类型的深度学习模型，可根据结构将其划分为特征提取器和分类器，提取出深度学习模型中间层的特征输出(即特征提取器输出)及模型的最终输出(即分类器输出)，计算可解释评估指标，包括特征信息增益、特征稀疏性、特征完备性。之后，利用前述获取的特征输出和最终输出，构建具有强可解释性的决策树模型(Decision Tree,DT)或随机森林模型(Random Forest,RF)等树模型，计算叶节点分类准确度以及叶节点的完备性。最后，对上述结果进行汇总处理，得到对原始卷积神经网络模型的不同的指标，并且还可以进一步得到原始卷积神经网络模型的可解释性可视化报告。
本发明提供的深度学习模型的处理方法可以应用在可以进行数据分析或者具有数据运算能力的服务器，计算机，智能终端等具有数据处理能力的电子设备中，对此本方案不做限制。
下面通过几个具体实施例对深度学习模型的处理方法进行具体说明。
图1为本发明提供的深度学习模型的处理方法实施例一的流程示意图，如图1所示，该深度学习模型的处理方法包括以下步骤：
S101：将预先获取到的数据集输入待处理的深度学习模型中，获取深度学习模型对每种特征的信息增益，稀疏性参数以及完备性参数。
在本步骤中，为了能够对深度学习模型在具体场景中的分析，首选需要获取不同的数据集，可以对不同的数据集分别采用深度学习模型进行学习处理，得到该深度学习模型对该数据集进行处理的不同的指标。在同一个数据集中也包括该领域中的多种特征的数据。
该方案中，应理解，每种特征的信息增益用于表示所述特征区分数据样本的能力，每种特征的稀疏性参数用于表示特征之间的独立程度，每种特征的完备性参数用于表示所述特征对所述深度学习模型的影响程度。
下面以任一中数据集为例，详细说明计算上述几个指标的过程。
一、特征的信息增益(Feature Information Gain)
首先，将预先获取得到的某一个领域的待学习的数据集输入待分析处理的深度学习模型，并提取出该深度学习模型的特征提取器的输出，针对特征提取器的输出中每种特征的输出值进行滤波，并在滤波后取均值，得到深度学习模型对所述特征的信息增益。
具体的，该方案中，特征提取器是深度学习模型的中间层，输出的是不同的特征。信息增益即树模型中父子节点信息熵的差值，可表示一个特征区分数据样本的能力，在该方案中，该树模型是根据深度学习模型的特征提取器和分类器的输出构建的，比该深度学习模型具有更强的可解释性的模型。对从深度学习模型(即原始卷积神经网络模型)的特征提取器输出中获取的所有特征，计算信息增益。
信息增益的计算公式可以表示为划分操作前后父节点的信息熵I(parent)和子节点的信息熵I(child)的差值：
ΔInfoGain＝I(parent)-I(child)
其中，任一个节点的信息熵I可以表示为：
Figure BDA0002835579590000081
其中，m表示深度学习模型在该节点所在层输出的特征的数量，pk表示第K个特征对应的样本占所有样本的数量，上述公式中的信息熵I具体指用一系列阈值(如0.1至0.9取九等分)对深度学习模型的某一层的所有输出值进行滤波(即大于阈值取原值，小于阈值取0)，对每一输出值的所有滤波结果取均值，得到一个节点的信息熵，然后通过子节点和父节点之间的信息熵的差值则可以得到某一个特征对应的信息增益值。图2为本发明提供的一种具体的信息增益与特征数量的示意图，在得到每个特征对应的信息增益值之后，对所有特征的信息增益值从高到低进行排序，结果如图2所示，图2中的横轴表示特征数量，纵轴表示信息增益。
特征信息增益用于衡量一个特征对于模型分类能力的影响程度，越高的信息增益表示这一特征对于模型的分类越重要。也就是说在具体的深度学习模型的应用过程中，信息增益值更高的特征对模型的分类结果来说更为关键。
二、特征的稀疏性参数，也称为稀疏性(Feature Sparsity)
在上述过程中，将数据集输入深度学习模型之后，从所述深度学习模型的卷积层中提取出所有滤波矩阵，根据所述所有滤波矩阵分别进行转换，两两计算每个特征的K-L散度矩阵，并根据每个特征的K-L散度矩阵得到所述特征对应的稀疏性参数。
在上述的深度学习模型(即原始卷积神经网络模型)的全连接层的前一卷积层中，提取所有的滤波器矩阵(例如，某卷积神经网络模型的第二个卷积层具有16个10*10的特征矩阵，共表示1600个特征，也就是前述信息增益计算过程中的m为1600)及最终输出结果，经一系列转换操作后，两两计算每个特征的K-L散度矩阵(Kullback-Leibler divergencematrix)。
具体的，KL散度的计算公式可以表示为：
Figure BDA0002835579590000082
其中P(x)，Q(x)是随机变量X上的两个概率分布。在这里特征的稀疏性参数包括KL散度。特征稀疏性用于表示了深度学习模型的卷积层提取出的特征之间的相互独立性。
三、特征的完备性参数，也称为特征完备性(Feature Redundancy)
在上述方案的基础上，计算得到每个特征的信息增益之后，根据所述深度学习模型对每种特征的信息增益从大到小的顺序依次从所述数据集中删除一种特征集合，并在每次删除后根据未被删除的所有特征集合构建随机森林模型，并计算所述随机森林模型的测试性能。当存在一个随机森林模型的测试性能相较于上一个模型的测试性能的变化大于预设值时，获取已删除的特征集合的数量；根据所述已删除的特征集合的数量和所述数据集中的特征集合的总数，计算获取所述完备性参数。
具体的，计算得到每个特征的信息增益后，可以对所有特征进行排序，按信息增益的大小从低到高依次删除特征集合，也就是将数据集中的一个特征集合删掉，在每次删除一个特征集合之后，再使用未被删除的特征集合构建若干个具有强可解释性的随机森林模型。例如，若特征总数为400个，则可得到400个不同的RF模型。计算这些RF模型在测试数据集上的性能，记录模型性能(如预测准确度)发生陡降突变(也就是前后两个RF模型的测试性能的变化大于预设值)的位置，如图3所示，图3为本发明提供的一种RF模型的测试性能与特征数量的对应关系示意图。图3中的横轴表示特征数量，纵轴表示RF模型的性能。
以图3为例，可知当删除360个左右的特征时，RF模型的预测性能开始出现陡降。因此可以确定最后40个特征对深度学习模型的预测性能具有显著的影响。
具体的，可以根据对深度学习模型整体影响比较大的特征的数量，以及总的特征数量计算得到特征的完备性参数，以上述图3中所示内容为例，可计算得到该深度学习模型的完备性参数为40/400＝1/10，即0.1。特征完备性表示了特征对深度学习模型整体预测性能的影响程度，可用于评估特征对于模型性能的重要程度。
S102：从深度学习模型中提取出特征提取器的输出以及分类器的输出，并将特征提取器的输出以及分类器的输出作为训练数据进行树模型训练，得到解释模型。
S103：对解释模型的叶节点的分类准确度进行测量，得到树准确度，树准确度用于指示解释模型的分类准确度。
在上述步骤中，在深度学习模型中，根据结构其可以包括特征提取器以及分类器，在前述方案的技术上，在将数据集输入深度学习模型之后，从深度学习模型(即原始卷积神经网络)中提取出模型中间层的特征输出(即特征提取器输出)及模型的最终输出(即分类器输出)后，可将其作为训练数据对，构建具有强可解释性的树模型，如决策树或随机森林等。这类树模型，实质上是以可解释模型的方式对原始模型的行为进行拟合，称为原始模型的解释模型。
进一步可以通过对解释模型的叶节点进行测量，最终计算出解释模型的分类准确度以及树完备性参数。下面在前述步骤的基础上，计算树准确度。
四、树准确度(Tree Accuracy)
为了评估基于原始的深度学习模型中间结果构建出的解释模型，可对解释模型的叶节点的分类准确度进行测量。
具体的，测量获取所述解释模型分类最终落在每个叶节点上的总样本数以及每个叶节点分类正确的样本数；
采用公式
Figure BDA0002835579590000101
计算所述解释模型中每个叶节点的分类准确度Acci；
其中，i为叶节点序号，ni为经过所述解释模型分类最终落在该叶节点的总样本数，ci为所述叶节点分类正确的样本数，所述树准确度包括所述每个叶节点的分类准确度。
S104：计算解释模型的每个叶节点能够正确分类的样本占所有样本中对应类别样本的数量比，得到树完备性参数。
在上述步骤的基础上，进一步地，基于深度学习模型(即原始卷积神经网络模型)构建具有强可解释性的树模型后，还可以计算叶节点的完备性，即每个叶节点能够正确分类的样本占所有样本中该类的样本数量的数量比，得到树完备性参数。具体的计算方式如下：
五、树完备性(Tree Completeness)
采用公式：
Figure BDA0002835579590000102
计算所述解释模型的每个叶节点能够正确分类的样本占所有样本中对应类别样本的数量比Compi，得到所述树完备性参数；其中，i为叶节点序号，ci为该叶节点分类正确的样本数，nc为所有样本中与该节点同类的样本数。
S105：输出每种特征的信息增益，每种特征的稀疏性参数，每种特征的完备性参数，树准确度以及树完备性参数。
在本步骤中，在通过上述过程计算得到每种特征的信息增益，稀疏性参数，完备性参数，树准确度和树完备性参数之后，为了能够直观的帮助用户理解该深度学习模型，需要将这些参数指标输出，具体的输出方式可以是直接在电子设备的界面上进行展示，或者通过与用户的显示器，电脑，手机等终端设备之间进行交互，在终端设备上进行呈现。
本实施例提供的深度学习模型的处理方法，对于深度学习模型，根据从特征提取器以及分类器中提取一些中间层的特征输出以及最终输出，计算深度学习模型对每种特征的信息增益，稀疏性参数以及完备性参数，然后根据中间层的输出构建树模型，得到解释模型，基于解释模型的各节点的测试，计算得到树准确度和树完备性参数，并将这些参数指标输出，从而向用户提供一种对深度学习模型进行量化分析和解释的工具。
图4为本发明提供的深度学习模型的处理方法实施例二的流程示意图，如图4所示，在前述实施例的基础上，该深度学习模型的处理方法还包括以下步骤：
S106：根据每种特征的信息增益，每种特征的稀疏性参数，每种特征的完备性参数，树准确度以及树完备性参数进行可视化处理，得到针对深度学习模型进行评估的可视化结果。
S107：输出可视化结果。
在上述步骤中，为了能够帮助用户更好的理解深度学习模型的各种指标，可以对计算得到的用于解释模型的指标进行可视化处理，得到一个比较直观的可视化的结果，该可视化结果可以是可视化的图案，表格等图表，例如：雷达图，并最终将可视化结果进行显示，或者通过用户的终端设备进行输出。
在一种具体实例中，可对上述各评价指标维度进行可视化处理，可得到对于解释模型的评估雷达图。图5为本发明提供的一种雷达图，如图5所示，该方案中的电子设备对三种具有不同结构的卷积神经网络模型(LeNet(图中用较长的虚线图表示，最内侧的多边形)，AlexNet(图中用实线表示),VGG-16(图中用较短的虚线图表示，最外侧的虚线图))在同一数据集(CIFAR-10)上进行前述的处理，得到每个模型对应的雷达图，如图5所示。
本申请实施例提供的深度学习模型的处理方法，为深度学习模型提供了量化的可解释评价指标，可以用于客观对比不同深度学习模型的性能，针对不同深度学习模型，还可以提供与模型性能相关的解释的雷达图，为进一步提升模型性能提供有效的依据和量化指标。整体上解决了现有技术中没有对深度学习模型进行量化解释和分析的工具的问题。
图6为本发明提供的深度学习模型的处理装置实施例一的结构示意图，如图6所示，该深度学习模型的处理装置10，包括：
第一处理模块11，用于将预先获取到的数据集输入待处理的深度学习模型中，获取所述深度学习模型对每种特征的信息增益，稀疏性参数以及完备性参数；其中，所述数据集中包括多种特征的数据，每种特征的信息增益用于表示所述特征区分数据样本的能力，每种特征的稀疏性参数用于表示特征之间的独立程度，每种特征的完备性参数用于表示所述特征对所述深度学习模型的影响程度；
第二处理模块12，用于从所述深度学习模型中提取出特征提取器的输出以及分类器的输出，并将所述特征提取器的输出以及所述分类器的输出作为训练数据进行树模型训练，得到解释模型；
所述第二处理模块12还用于对所述解释模型的叶节点的分类准确度进行测量，得到树准确度，所述树准确度用于指示所述解释模型的分类准确度；
第三处理模块13，用于计算所述解释模型的每个叶节点能够正确分类的样本占所有样本中对应类别样本的数量比，得到树完备性参数；
输出模块14，用于输出所述每种特征的信息增益，所述每种特征的稀疏性参数，所述每种特征的完备性参数，所述树准确度以及所述树完备性参数。
本实施例提供的深度学习模型的处理装置，用于执行前述任一方法实施例提供的技术方案，其实现原理和技术效果类似，在此不再赘述。
图7为本发明提供的深度学习模型的处理装置实施例二的结构示意图，如图7所示，该深度学习模型的处理装置10，包括：
第四处理模块15，用于根据所述每种特征的信息增益，所述每种特征的稀疏性参数，所述每种特征的完备性参数，所述树准确度以及树完备性参数进行可视化处理，得到针对所述深度学习模型进行评估的可视化结果；
所述输出模块14还用于输出所述可视化结果。
在上述任一实施例的基础上，所述第一处理模块11具体用于：
将所述数据集输入所述深度学习模型，并提取出所述深度学习模型的特征提取器的输出，针对所述特征提取器的输出中每种特征的输出值进行滤波，并在滤波后取均值，得到所述深度学习模型对所述特征的信息增益；
从所述深度学习模型的卷积层中提取出所有滤波矩阵，根据所述所有滤波矩阵分别进行转换，两两计算每个特征的K-L散度矩阵，并根据每个特征的K-L散度矩阵得到所述特征对应的稀疏性参数；
根据所述深度学习模型对每种特征的信息增益从大到小的顺序依次从所述数据集中删除一种特征集合，并在每次删除后根据未被删除的所有特征集合构建随机森林模型，并计算所述随机森林模型的测试性能；
当存在一个随机森林模型的测试性能相较于上一个模型的测试性能的变化大于预设值时，获取已删除的特征集合的数量；
根据所述已删除的特征集合的数量和所述数据集中的特征集合的总数，计算获取所述完备性参数。
可选的，所述第二处理模块12具体用于：
测量获取所述解释模型分类最终落在每个叶节点上的总样本数以及每个叶节点分类正确的样本数；
采用公式：
Figure BDA0002835579590000131
计算所述解释模型中每个叶节点的分类准确度Acci，其中，i为叶节点序号，ni为经过所述解释模型分类最终落在该叶节点的总样本数，ci为所述叶节点分类正确的样本数，所述树准确度包括所述每个叶节点的分类准确度。
可选的，所述第三处理模块13具体用于：
采用公式：
Figure BDA0002835579590000132
计算所述解释模型的每个叶节点能够正确分类的样本占所有样本中对应类别样本的数量比Compi，得到所述树完备性参数；其中，i为叶节点序号，ci为该叶节点分类正确的样本数，nc为所有样本中与该节点同类的样本数。
上述任一实施例提供的深度学习模型的处理装置，用于执行前述任一方法实施例提供的技术方案，其实现原理和技术效果类似，在此不再赘述。
图8为本发明提供的电子设备实施例一的结构示意图，如图8所示，该电子设备20包括：存储器22、处理器21及输出接口23，此外还包括存储在所述存储器22上并可在所述处理器21上运行的计算机程序，所述计算机程序被所述处理器21执行时实现前述任一方法实施例提供的深度学习模型的处理方法的步骤。
可选的，该电子设备20的上述各个器件之间可以通过总线24连接。
存储器22可以是单独的存储单元，也可以是集成在处理器21中的存储单元。处理器21的数量为一个或者多个。
在上述在电子设备20的实现中，存储器和处理器之间直接或间接地电性连接，以实现数据的传输或交互，也就是存储器和处理器可以通过接口连接，也可以集成在一起。例如，这些元件相互之间可以通过一条或者多条通信总线或信号线实现电性连接，如可以通过总线连接。存储器可以是，但不限于，随机存取存储器(Random Access Memory，简称：RAM)，只读存储器(Read Only Memory，简称：ROM)，可编程只读存储器(ProgrammableRead-Only Memory，简称：PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，简称：EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，简称：EEPROM)等。其中，存储器用于存储程序，处理器在接收到执行指令后，执行程序。进一步地，上述存储器内的软件程序以及模块还可包括操作系统，其可包括各种用于管理系统任务(例如内存管理、存储设备控制、电源管理等)的软件组件和/或驱动，并可与各种硬件或软件组件相互通信，从而提供其他软件组件的运行环境。
处理器21可以是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称：CPU)、图像处理器等，可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前述任一方法实施例提供的深度学习模型的处理方法的步骤。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行实现前述任一实施例提供的深度学习模型的处理方法的步骤。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台电子设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (13)

1.一种深度学习模型的处理方法，其特征在于，包括：
将预先获取到的数据集输入待处理的深度学习模型中，获取所述深度学习模型对每种特征的信息增益，稀疏性参数以及完备性参数；其中，所述数据集中包括多种特征的数据，每种特征的信息增益用于表示所述特征区分数据样本的能力，每种特征的稀疏性参数用于表示特征之间的独立程度，每种特征的完备性参数用于表示所述特征对所述深度学习模型的影响程度；
从所述深度学习模型中提取出特征提取器的输出以及分类器的输出，并将所述特征提取器的输出以及所述分类器的输出作为训练数据进行树模型训练，得到解释模型；
对所述解释模型的叶节点的分类准确度进行测量，得到树准确度，所述树准确度用于指示所述解释模型的分类准确度；
计算所述解释模型的每个叶节点能够正确分类的样本占所有样本中对应类别样本的数量比，得到树完备性参数；
输出所述每种特征的信息增益，所述每种特征的稀疏性参数，所述每种特征的完备性参数，所述树准确度以及所述树完备性参数。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述每种特征的信息增益，所述每种特征的稀疏性参数，所述每种特征的完备性参数，所述树准确度以及树完备性参数进行可视化处理，得到针对所述深度学习模型进行评估的可视化结果；
输出所述可视化结果。
3.根据权利要求1或2所述的方法，其特征在于，所述将预先获取到的数据集输入待处理的深度学习模型中，获取所述深度学习模型对每种特征的信息增益，稀疏性参数以及完备性参数，包括：
将所述数据集输入所述深度学习模型，并提取出所述深度学习模型的特征提取器的输出，针对所述特征提取器的输出中每种特征的输出值进行滤波，并在滤波后取均值，得到所述深度学习模型对所述特征的信息增益；
从所述深度学习模型的卷积层中提取出所有滤波矩阵，根据所述所有滤波矩阵分别进行转换，两两计算每个特征的K-L散度矩阵，并根据每个特征的K-L散度矩阵得到所述特征对应的稀疏性参数；
根据所述深度学习模型对每种特征的信息增益从大到小的顺序依次从所述数据集中删除一种特征集合，并在每次删除后根据未被删除的所有特征集合构建随机森林模型，并计算所述随机森林模型的测试性能；
当存在一个随机森林模型的测试性能相较于上一个模型的测试性能的变化大于预设值时，获取已删除的特征集合的数量；
根据所述已删除的特征集合的数量和所述数据集中的特征集合的总数，计算获取所述完备性参数。
4.根据权利要求1或2所述的方法，其特征在于，所述对所述解释模型的叶节点的分类准确度进行测量，得到树准确度，包括：
测量获取所述解释模型分类最终落在每个叶节点上的总样本数以及每个叶节点分类正确的样本数；
采用公式
Figure FDA0002835579580000022
计算所述解释模型中每个叶节点的分类准确度Acci；其中，i为叶节点序号，ni为经过所述解释模型分类最终落在该叶节点的总样本数，ci为所述叶节点分类正确的样本数，所述树准确度包括所述每个叶节点的分类准确度。
5.根据权利要求1或2所述的方法，其特征在于，所述计算所述解释模型的每个叶节点能够正确分类的样本占所有样本中对应类别样本的数量比，得到树完备性参数，包括：
采用公式：
Figure FDA0002835579580000021
计算所述解释模型的每个叶节点能够正确分类的样本占所有样本中对应类别样本的数量比Compi，得到所述树完备性参数；其中，i为叶节点序号，ci为该叶节点分类正确的样本数，nc为所有样本中与该节点同类的样本数。
6.一种深度学习模型的处理装置，其特征在于，包括：
第一处理模块，用于将预先获取到的数据集输入待处理的深度学习模型中，获取所述深度学习模型对每种特征的信息增益，稀疏性参数以及完备性参数；其中，所述数据集中包括多种特征的数据，每种特征的信息增益用于表示所述特征区分数据样本的能力，每种特征的稀疏性参数用于表示特征之间的独立程度，每种特征的完备性参数用于表示所述特征对所述深度学习模型的影响程度；
第二处理模块，用于从所述深度学习模型中提取出特征提取器的输出以及分类器的输出，并将所述特征提取器的输出以及所述分类器的输出作为训练数据进行树模型训练，得到解释模型；
所述第二处理模块还用于对所述解释模型的叶节点的分类准确度进行测量，得到树准确度，所述树准确度用于指示所述解释模型的分类准确度；
第三处理模块，用于计算所述解释模型的每个叶节点能够正确分类的样本占所有样本中对应类别样本的数量比，得到树完备性参数；
输出模块，用于输出所述每种特征的信息增益，所述每种特征的稀疏性参数，所述每种特征的完备性参数，所述树准确度以及所述树完备性参数。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
第四处理模块，用于根据所述每种特征的信息增益，所述每种特征的稀疏性参数，所述每种特征的完备性参数，所述树准确度以及树完备性参数进行可视化处理，得到针对所述深度学习模型进行评估的可视化结果；
所述输出模块还用于输出所述可视化结果。
8.根据权利要求6或7所述的装置，其特征在于，所述第一处理模块具体用于：
将所述数据集输入所述深度学习模型，并提取出所述深度学习模型的特征提取器的输出，针对所述特征提取器的输出中每种特征的输出值进行滤波，并在滤波后取均值，得到所述深度学习模型对所述特征的信息增益；
从所述深度学习模型的卷积层中提取出所有滤波矩阵，根据所述所有滤波矩阵分别进行转换，两两计算每个特征的K-L散度矩阵，并根据每个特征的K-L散度矩阵得到所述特征对应的稀疏性参数；
根据所述深度学习模型对每种特征的信息增益从大到小的顺序依次从所述数据集中删除一种特征集合，并在每次删除后根据未被删除的所有特征集合构建随机森林模型，并计算所述随机森林模型的测试性能；
当存在一个随机森林模型的测试性能相较于上一个模型的测试性能的变化大于预设值时，获取已删除的特征集合的数量；
根据所述已删除的特征集合的数量和所述数据集中的特征集合的总数，计算获取所述完备性参数。
9.根据权利要求6或7所述的装置，其特征在于，所述第二处理模块具体用于：
测量获取所述解释模型分类最终落在每个叶节点上的总样本数以及每个叶节点分类正确的样本数；
采用公式：
Figure FDA0002835579580000041
计算所述解释模型中每个叶节点的分类准确度Acci，其中，i为叶节点序号，ni为经过所述解释模型分类最终落在该叶节点的总样本数，ci为所述叶节点分类正确的样本数，所述树准确度包括所述每个叶节点的分类准确度。
10.根据权利要求6或7所述的装置，其特征在于，所述第三处理模块具体用于：
采用公式：
Figure FDA0002835579580000042
计算所述解释模型的每个叶节点能够正确分类的样本占所有样本中对应类别样本的数量比Compi，得到所述树完备性参数；其中，i为叶节点序号，ci为该叶节点分类正确的样本数，nc为所有样本中与该节点同类的样本数。
11.一种电子设备，其特征在于，所述电子设备包括：存储器、处理器及输出接口，所述存储器上存储有可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至5任一项所述的深度学习模型的处理方法的步骤。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的深度学习模型的处理方法的步骤。
13.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序被处理器执行实现权利要求1至5任一项所述的深度学习模型的处理方法的步骤。
CN202011469107.2A 2020-12-14 2020-12-14 深度学习模型的处理方法、装置、设备和存储介质 Pending CN112580781A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011469107.2A CN112580781A (zh) 2020-12-14 2020-12-14 深度学习模型的处理方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011469107.2A CN112580781A (zh) 2020-12-14 2020-12-14 深度学习模型的处理方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
CN112580781A true CN112580781A (zh) 2021-03-30

Family

ID=75134978

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011469107.2A Pending CN112580781A (zh) 2020-12-14 2020-12-14 深度学习模型的处理方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN112580781A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7026922B1 (ja) * 2021-09-22 2022-03-01 株式会社エイシング 情報処理装置、方法、プログラム及びシステム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7026922B1 (ja) * 2021-09-22 2022-03-01 株式会社エイシング 情報処理装置、方法、プログラム及びシステム
WO2023047484A1 (ja) * 2021-09-22 2023-03-30 株式会社エイシング 情報処理装置、方法、プログラム及びシステム

Similar Documents

Publication Publication Date Title
CN109816032B (zh) 基于生成式对抗网络的无偏映射零样本分类方法和装置
CN112580780A (zh) 模型训练的处理方法、装置、设备和存储介质
CN108681746A (zh) 一种图像识别方法、装置、电子设备和计算机可读介质
CN112818162B (zh) 图像检索方法、装置、存储介质和电子设备
CN114238659B (zh) 智能设计网络安全架构图的方法
CN111985620A (zh) 一种神经网络模型知识蒸馏方法、系统、设备及介质
CN116416884A (zh) 一种显示器模组的测试装置及其测试方法
CN117036060A (zh) 车险欺诈识别方法、装置和存储介质
CN115935286A (zh) 铁路轴承状态监测数据的异常点检测方法、装置及终端
CN115718846A (zh) 用于智能化交互网络的大数据挖掘方法及系统
CN116310850A (zh) 基于改进型RetinaNet的遥感图像目标检测方法
CN112580781A (zh) 深度学习模型的处理方法、装置、设备和存储介质
EP3580694A1 (en) Method for computer-implemented determination of the performance of a classification model
CN111797395A (zh) 恶意代码可视化及变种检测方法、装置、设备及存储介质
CN115599873B (zh) 基于人工智能物联网的数据采集方法、系统及云平台
CN115565115A (zh) 一种舾装件智能识别方法、计算机设备
CN115510032A (zh) 一种基于机器学习的数据库行为分析方法及系统
CN115131646A (zh) 基于离散系数的深度网络模型压缩方法
CN114444721A (zh) 模型训练方法、装置、电子设备及计算机存储介质
CN114022698A (zh) 一种基于二叉树结构的多标签行为识别方法及装置
CN116580360B (zh) 一种用于安防监控的图像数据处理方法及系统
CN114339859B (zh) 识别全屋无线网络WiFi潜在用户的方法、装置及电子设备
CN117708569B (zh) 一种病原微生物信息的识别方法、装置、终端及存储介质
CN111797398B (zh) 恶意代码可视化及变种检测方法、系统、设备及存储介质
JP7160201B2 (ja) 識別結果説明装置、識別結果説明方法、及び識別結果説明プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination