CN114358245A - 一种模型敏感性确定方法、装置及电子设备 - Google Patents

一种模型敏感性确定方法、装置及电子设备 Download PDF

Info

Publication number
CN114358245A
CN114358245A CN202111604614.7A CN202111604614A CN114358245A CN 114358245 A CN114358245 A CN 114358245A CN 202111604614 A CN202111604614 A CN 202111604614A CN 114358245 A CN114358245 A CN 114358245A
Authority
CN
China
Prior art keywords
network layer
output result
determining
sensitivity
target network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111604614.7A
Other languages
English (en)
Inventor
高体红
李文墨
郭竹修
亓先军
李天福
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202111604614.7A priority Critical patent/CN114358245A/zh
Publication of CN114358245A publication Critical patent/CN114358245A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明实施例提供了一种模型敏感性确定方法，涉及机器学习技术领域。该方法包括：针对每个目标网络层，执行如下步骤：针对每个指定参数，确定去除该指定参数后的输出结果，并基于所确定的输出结果，确定后置网络层的输出结果，作为该指定参数对应的输出结果；确定后置网络层的期望输出结果，并基于期望输出结果和每个指定参数对应的输出结果，确定该指定参数对应的重构误差；基于每个指定参数对应的重构误差，确定该指定参数对应的敏感性指标；基于每个指定参数对应的敏感性指标，确定该目标网络层的敏感性。与现有技术相比，应用本发明实施例提供的方案，可以减少模型敏感性的确定过程耗时。

Description

一种模型敏感性确定方法、装置及电子设备
技术领域
本发明涉及机器学习技术领域，特别是涉及一种模型敏感性确定方法、装置及电子设备。
背景技术
当前，随着人工智能技术的不断发展，各类模型被越来越多的应用到各个领域中，例如，图像识别、语音交互、安防监控等。
在各类模型的使用过程，模型输出的稳定程度对于模型输出的精度具有重要作用，因此，针对训练完成的模型，用户通常希望能够确定该模型的敏感性。
所谓模型的敏感性是指：对于给定样本，模型输出的稳定程度，其可以理解为：对于已知样本而言，模型获取样本特征的鲁棒性。其中，模型的敏感性越高，则模型输出的稳定程度越低，反之，模型输出的稳定程度越高。
相关技术中，模型敏感性的确定方法为：针对训练完成的模型，剪枝该模型的不同子结构，并对剪枝后的模型进行结构微调，然后，确定微调后的模型的输出结果的精度；进而，确定上述所确定的精度相较于未剪枝的模型的输出结果的精度的变化情况，并根据该变化情况确定上述模型的敏感性。其中，当精度下降较多时，则上述模型的敏感性较高，反之，则上述模型的敏感性较低。然而，在上述相关技术中，是通过模型的输出结果的精度确定模型的敏感性的，而在每次确定上述精度时，都需要推理完整个模型，从而，导致模型敏感性的确定过程耗时较长，模型敏感性的确定效率较低。
发明内容
本发明实施例的目的在于提供一种模型敏感性确定方法、装置及电子设备，以实现减少模型敏感性的确定过程耗时，提高模型敏感性的确定效率。具体技术方案如下：
第一方面，本发明实施例提供了一种模型敏感性确定方法，所述方法包括：
针对目标模型中待确定敏感性的每个目标网络层，执行如下步骤：
针对该目标网络层中的每个指定参数，确定去除该指定参数后，该目标网络层的输出结果，并基于所确定的输出结果，确定该目标网络层的后置网络层的输出结果，作为该指定参数对应的输出结果；
确定所述后置网络层的期望输出结果，并基于所述期望输出结果和每个指定参数对应的输出结果，确定该指定参数对应的重构误差；
基于每个指定参数对应的重构误差，确定该指定参数对应的敏感性指标；
基于每个指定参数对应的敏感性指标，确定该目标网络层的敏感性。
可选的，一种具体实现方式中，所述确定所述后置网络层的期望输出结果，包括：
基于该目标网络层的第一输出结果，确定所述后置网络层的第二输出结果，并基于所述第二输出结果确定所述后置网络层的期望输出结果；
或者，
基于所述目标模型的功能，构建所述后置网络层的期望输出结果。
可选的，一种具体实现方式中，所述基于所述第二输出结果确定所述后置网络层的期望输出结果，包括：
将所述第二输出结果确定为所述后置网络层的期望输出结果；
或者，
利用预设算法对所述第二输出结果进行修正，得到所述后置网络层的修正输出结果，并将所述修正输出结果确定为所述后置网络层的期望输出结果。
可选的，一种具体实现方式中，所述基于所述期望输出结果和每个指定参数对应的输出结果，确定该指定参数对应的重构误差，包括：
计算所述期望输出结果与每个指定参数对应的输出结果的差值，作为该指定参数对应的重构误差；
或者，
计算所述期望输出结果与每个指定参数对应的输出结果的相似度，作为该指定参数对应的重构误差。
可选的，一种具体实现方式中，在所述基于每个指定参数对应的重构误差，确定该指定参数对应的敏感性指标之前，所述方法还包括：
基于所述目标模型的功能，对每个指定参数对应的重构误差进行加权修正，得到每个指定参数对应的修正误差；
所述基于每个指定参数对应的重构误差，确定该指定参数对应的敏感性指标，包括：
基于每个指定参数对应的修正误差，确定该指定参数对应的敏感性指标。
可选的，一种具体实现方式中，所述基于每个指定参数对应的敏感性指标，确定该目标网络层的敏感性，包括：
计算所对应的敏感性指标小于预设阈值的指定参数的数量在全部指定参数中的比值，作为该目标网络层的敏感性。
可选的，一种具体实现方式中，每个目标网络层的后置网络层为：该目标网络层的下一网络层。
第二方面，本发明实施例提供了一种模型敏感性确定装置，所述装置包括：
结果确定模块，用于针对目标模型中待确定敏感性的每个目标网络层中的每个指定参数，确定去除该指定参数后，该目标网络层的输出结果，并基于所确定的输出结果，确定该目标网络层的后置网络层的输出结果，作为该指定参数对应的输出结果；
误差确定模块，用于针对每个目标网络层，确定该目标网络层的后置网络层的期望输出结果，并基于所述期望输出结果和该目标网络层中的每个指定参数对应的输出结果，确定该指定参数对应的重构误差；
指标确定模块，用于针对每个目标网络层，基于该目标网络层中的每个指定参数对应的重构误差，确定该指定参数对应的敏感性指标；
敏感性确定模块，用于针对每个目标网络层，指定参数对应的敏感性指标，确定该目标网络层的敏感性。
可选的，一种具体实现方式中，所述误差确定模块包括：
第一确定子模块，用于基于该目标网络层的第一输出结果，确定所述后置网络层的第二输出结果，并基于所述第二输出结果确定所述后置网络层的期望输出结果；或者，第二确定子模块，用于基于所述目标模型的功能，构建所述后置网络层的期望输出结果；
可选的，一种具体实现方式中，所述第一确定子模块具体用于：将所述第二输出结果确定为所述后置网络层的期望输出结果；或者，利用预设算法对所述第二输出结果进行修正，得到所述后置网络层的修正输出结果，并将所述修正输出结果确定为所述后置网络层的期望输出结果；
可选的，一种具体实现方式中，所述误差确定模块具体用于：计算所述期望输出结果与每个指定参数对应的输出结果的差值，作为该指定参数对应的重构误差；或者，计算所述期望输出结果与每个指定参数对应的输出结果的相似度，作为该指定参数对应的重构误差；
可选的，一种具体实现方式中，所述装置还包括：误差修正模块，用于在所述基于每个指定参数对应的重构误差，确定该指定参数对应的敏感性指标之前，基于所述目标模型的功能，对每个指定参数对应的重构误差进行加权修正，得到每个指定参数对应的修正误差；所述敏感性确定模块具体用于：基于每个指定参数对应的修正误差，确定该指定参数对应的敏感性指标；
可选的，一种具体实现方式中，所述敏感性确定模块具体用于：针对每个目标网络层，计算该目标网络层中所对应的敏感性指标小于预设阈值的指定参数的数量在该目标网络层中全部指定参数中的比值，作为该目标网络层的敏感性；
可选的，一种具体实现方式中，每个目标网络层的后置网络层为：该目标网络层的下一网络层。
第三方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述第一方面提供的任一模型敏感性确定方法的步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面提供的任一模型敏感性确定方法的步骤。
第五方面，本发明实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面提供的任一模型敏感性确定方法的步骤。
本发明实施例有益效果：
以上可见，应用本发明实施例提供的方案，在确定模型敏感性时，可以首先确定目标模型中待确定敏感性的各个目标网络层。之后，针对每个目标网络层，可以确定该目标网络层中的各个指定参数，从而，针对每个指定参数，确定去除该参数后，该目标网络层的输出结果，并基于该输出结果，确定该目标网络层的后置网络层的输出结果，作为该指定参数对应的输出结果。接着，便可以确定该目标网络层的后置网络层的期望输出结果，并基于该期望输出结果与上述所确定的各个指定参数对应的输出结果，确定各个指定参数对应的重构误差。然后，便可以基于每个指定参数对应的重构误差，确定该指定参数对应的敏感性指标；进而，基于每个指定参数对应的敏感性指标，确定目标网络层的敏感性。这样，在确定出目标模型中待确定敏感性的各个目标网络层的敏感性后，便可以将所得到的各个敏感性作为目标模型的模型敏感性。
基于此，应用本发明实施例提供的方案，在确定目标模型的敏感性时，是基于每个目标网络层的后置层的期望输出结果进行确定的，也就是说，仅仅需要推理每个网络层的后置层即可，而无法推理完整个模型，从而，可以减少模型敏感性的确定过程的耗时，提高模型敏感性的确定效率。
此外，由于无需推理完整个模型，因此，在模型敏感性的确定过程中，可以减少对CPU(Central Processing Unit，中央处理器)、GPU(Graphics Processing Unit，图形处理器)等硬件资源的占用，节约硬件资源。并且，由于模型敏感性的确定过程的耗时较少，还可以更容易实现模型敏感性的批量确定。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。
图1为本发明实施例提供的一种模型敏感性确定方法的流程示意图；
图2为一种具体实现方式中，预设算法为sigmoid算法时所得到的特征点的重构误差的变化图；
图3为本发明实施例提供的另一种模型敏感性确定方法的流程示意图；
图4为本发明实施例提供的一种模型敏感性确定装置的结构示意图；
图5为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员基于本申请所获得的所有其他实施例，都属于本发明保护的范围。
相关技术中，模型敏感性的确定方法为：针对训练完成的模型，剪枝该模型的不同子结构，并对剪枝后的模型进行结构微调，然后，确定微调后的模型的输出结果的精度；进而，确定上述所确定的精度相较于未剪枝的模型的输出结果的精度的变化情况，并根据该变化情况确定上述模型的敏感性。其中，当精度下降较多时，则上述模型的敏感性较高，反之，则上述模型的敏感性较低。然而，在上述相关技术中，是通过模型的输出结果的精度确定模型的敏感性的，而在每次确定上述精度时，都需要推理完整个模型，从而，导致模型敏感性的确定过程耗时较长，模型敏感性的确定效率较低。
为了解决上述技术问题，本发明实施例提供了一种模型敏感性确定方法。
其中，该方法可以适用于任一需要对训练完成的模型进行敏感性确定的应用场景，例如，图像识别、语音交互、智能安防等。并且，该方法可以应用于笔记本电脑、台式电脑、服务器等各类电子设备中，以下简称电子设备。其中，用于执行该方法的电子设备可以是一个独立的电子设备，也可以是某个系统或者设备集群中的至少一台电子设备。基于此，本发明实施例不对该方法的应用场景和执行主体进行具体行动。
本发明实施例提供了一种模型敏感性确定方法，可以包括：
针对目标模型中待确定敏感性的每个目标网络层，执行如下步骤：
针对该目标网络层中的每个指定参数，确定去除该参数后，该目标网络层的输出结果，并基于所确定的输出结果，确定该目标网络层的后置网络层的输出结果，作为该指定参数对应的输出结果；
确定所述后置网络层的期望输出结果，并基于所述期望输出结果和每个指定参数对应的输出结果，确定该指定参数对应的重构误差；
基于每个指定参数对应的重构误差，确定该指定参数对应的敏感性指标；
基于每个指定参数对应的敏感性指标，确定该目标网络层的敏感性。
以上可见，应用本发明实施例提供的方案，在确定模型敏感性时，可以首先确定目标模型中待确定敏感性的各个目标网络层。之后，针对每个目标网络层，可以确定该目标网络层中的各个指定参数，从而，针对每个指定参数，确定去除该参数后，该目标网络层的输出结果，并基于该输出结果，确定该目标网络层的后置网络层的输出结果，作为该指定参数对应的输出结果。接着，便可以确定该目标网络层的后置网络层的期望输出结果，并基于该期望输出结果与上述所确定的各个指定参数对应的输出结果，确定各个指定参数对应的重构误差。然后，便可以基于每个指定参数对应的重构误差，确定该指定参数对应的敏感性指标；进而，基于每个指定参数对应的敏感性指标，确定目标网络层的敏感性。这样，在确定出目标模型中待确定敏感性的各个目标网络层的敏感性后，便可以将所得到的各个敏感性作为目标模型的模型敏感性。
基于此，应用本发明实施例提供的方案，在确定目标模型的敏感性时，是基于每个目标网络层的后置层的期望输出结果进行确定的，也就是说，仅仅需要推理每个网络层的后置层即可，而无法推理完整个模型，从而，可以减少模型敏感性的确定过程的耗时，提高模型敏感性的确定效率。
此外，由于无需推理完整个模型，因此，在模型敏感性的确定过程中，可以减少对CPU(Central Processing Unit，中央处理器)、GPU(Graphics Processing Unit，图形处理器)等硬件资源的占用，节约硬件资源。并且，由于模型敏感性的确定过程的耗时较少，还可以更容易实现模型敏感性的批量确定。
下面，结合附图，对本发明实施例提供的一种模型敏感性确定方法进行具体说明。
在本发明实施例中，确定目标模型的模型敏感性的实质为：确定目标模型中待确定敏感性的每个目标网络层的敏感性。基于此，可以基于每个目标网络层，对本发明实施例提供的一种模型敏感性确定方法进行说明。
其中，可选的，目标模型中的各个目标网络层可以是目标模型中的各个卷积层和/或全连接层。
图1为本发明实施例提供的一种模型敏感性确定方法的流程示意图；其中，如图1所示，针对每个目标网络层，可以执行如下步骤：
S101：针对该目标网络层中的每个指定参数，确定去除该参数后，该目标网络层的输出结果，并基于所确定的输出结果，确定该目标网络层的后置网络层的输出结果，作为该指定参数对应的输出结果；
针对模型的每个网络层，根据不同的粒度，可以从不同角度对该网络层进行参数划分，从而，得到与粒度相匹配的各个参数。
其中，可选的，上述目标模型为可以卷积网络模型。
可选的，上述目标网络层可以为卷积层和/或全连接层。
可选的，上述指定参数可以包括模型参数权重、卷积核、通道、卷积层等。
基于此，针对每个目标网络层中，也可以根据预设的指定粒度，对该目标网络层进行参数划分，从而，得到与指定粒度相匹配的各个指定参数。
对于目标模型而言，目标模型中除最后一个网络层之外的各个网络层的输出结果，是该网络层的下一网络层的输入数据，从而，可以根据该网络层的输出结果，确定该网络层的下一网络层的输出结果。
这样，针对目标模型中除最后一个网络层之外的各个网络层，可以利用该网络层的输出结果，确定位于该网络层之后的各个网络层的输出结果。其中，位于该网络层之后的网络层可以称为该网络层的后置网络层。
也就是说，针对目标模型中的每个目标网络层，可以利用该目标网络层的输出结果，确定该目标网络层的后置网络层的输出结果。并且，由于在确定每个目标网络层的敏感性时，需要利用该目标网络层的后置网络层的输出结果，因此，目标模型中的各个目标网络层均不是目标模型的最后一个网络层。
针对每个目标网络层，当该目标网络层获取到输入数据时，该目标网络层可以输出关于该输入数据的直接输出结果，并且，该直接输出结果是基于该目标网络层中的全部指定参数确定的。
相应的，针对每个目标网络层，当去除该目标网络层中的一个指定参数时，若该目标网络层仍然获取到上述输入数据，则该目标网络层可以输出关于该输入数据的非直接输出结果，并且，该非直接输出结果是基于该目标网络层中的剩余的各个指定参数确定的。
例如，目标网络层为卷积核为N(N>1)的卷积层，指定参数为卷积核，则在向目标网络层输入图片数据时，可以得到该目标网络层所学习到的关于该图片数据的N个特征图，并得到该目标网络层输出的有上述N个特征图确定的直接输出结果，该直接输出结果即为目标网络层的下一网络层的输入数据。
相应的，当去除上述目标网络层中的一个卷积核，且向去除卷积核后的目标网络层输入图片数据时，可以得到该去除卷积核后的目标网络层所学习到的关于该图片数据的N-1个特征图，并得到该去除卷积核后的目标网络层输出的有上述N-1个特征图确定的非直接输出结果，该非直接输出结果仍然可以作为该目标网络层的下一网络层的输入数据。
基于此，针对每个目标网络层中的每个指定参数，可以确定去除该参数后，该目标网络层的输出结果，并基于所确定的输出结果，确定该目标网络层的后置网络层的输出结果，作为该指定参数对应的输出结果。
可选的，每个目标网络层的后置网络层可以为该目标网络层的下一网络层。
S102：确定后置网络层的期望输出结果，并基于期望输出结果和每个指定参数对应的输出结果，确定该指定参数对应的重构误差；
对于每个模型而言，针对该模型中的每个网络层，根据该模型所执行的任务，以及所期望达到的任务执行效果，每个网络层可以存在用户所期望该网络层输出的结果，当该网络层输出的结果为用户所期望输出的结果时，该模型可以取得满足用户预期的任务执行效果。
例如，当模型所执行的任务为目标检测任务时，输出结果中的box(目标框)区域的期望输出结果为1，box区域外的期望输出结果为0；当模型所执行的任务为分割任务时，输出结果中包含目标物的掩码区域的期望输出结果为1，其余区域的期望输出结果为0。
基于此，针对每个目标网络层，可以确定该目标网络层的后置网络层的期望输出结果。
可选的，一种具体实现方式中，上述步骤S102中，确定后置网络层的期望输出结果，可以包括如下步骤11：
步骤11：基于该目标网络层的第一输出结果，确定后置网络层的第二输出结果，并基于第二输出结果确定后置网络层的期望输出结果。
在本具体实现方式中，针对每个目标网络层，可以首先获取该目标网络层的第一输出结果，从而，该第一输出结果即为该目标网络层的下一网络层的输入数据，从而，可以利用该第一输出结果，确定该目标网络层的下一网络层的输出结果。进而，该目标网络层的下一网络层的输出结果，即为该下一网络层的下一网络层的输入数据，用于确定该下一网络层的下一网络层的输出结果。
依次类推，便可以基于该目标网络层的第一输出结果，确定该目标网络层的后置网络层的第二输出结果。进而，便可以利用该第二输出结果，确定该目标网络层的后置网络层的期望输出结果。
可选的，针对每个目标网络层，可以直接将该目标网络层的后置网络层的第二输出结果确定为该目标网络层的后置网络层的期望输出结果。
可选的，针对每个目标网络层，可以利用预设算法对该目标网络层的后置网络层的第二输出结果进行修正，得到该目标网络层的后置网络层的修正输出结果，并将该修正输出结果确定为该目标网络层的后置网络层的期望输出结果。
其中，上述预设算法可以为：sigmoid算法、softmax算法、tanh算法等可以各种能够用于平衡模型网络层输出结果的各特征点的重构误差的算法。也就是说，当特征点的实际值与特定点的期望值的差距较大时，可以利用上述预设算法增加特征点的重构误差；当特征点的实际值与特定点的期望值的差距较小时，可以利用上述预设算法降低特征点的重构误差。
例如，如图2所示，上述预设算法为sigmoid算法时所得到的特征点的重构误差的变化图。其中，在坐标轴原点附近，特征点的实际值与特定点的期望值的差距被放大，而在横坐标轴的两侧，特征点的实际值与特定点的期望值的差距被缩小。
可选的，一种具体实现方式中，上述步骤S102中，确定后置网络层的期望输出结果，可以包括如下步骤12：
步骤12：基于目标模型的功能，构建后置网络层的期望输出结果。
在本具体实现方式中，针对每个目标网络层，在确定该目标网络层的后置网络层的期望输出结果时，可以基于目标模型的功能，构建该目标网络层的后置网络层的期望输出结果。
对于每个模型而言，针对该模型中的每个网络层，根据该模型所执行的任务，以及所期望达到的任务执行效果，每个网络层可以存在用户所期望该网络层输出的结果。
例如，当模型所执行的任务为目标检测任务时，输出结果中的box(目标框)区域的期望输出结果为1，box区域外的期望输出结果为0；当模型所执行的任务为分割任务时，输出结果中包含目标物的掩码区域的期望输出结果为1，其余区域的期望输出结果为0。
基于此，针对每个目标网络层，便可以基于目标模型的功能，从而，确定目标模型所执行的任务，进而，根据所期望得到的任务执行效果，构建该目标网络层的后置网络层的期望输出结果。
进一步的，由于所谓重构误差为模型的期望输出结果与实际输出结果之间的差异，因此，对于每个目标网络层而言，上述所确定的各个指定参数对应的输出结果与上述该目标网络层的后置网络层的期望输出结果之间的差异，即为在对该目标网络层进行剪枝的情况下，该目标网络层的后置网络层的重构误差。
这样，便可以基于上述所确定的期望输出结果和每个指定参数对应的输出结果，确定该指定参数对应的重构误差。并且，每个指定参数对应的重构误差的大小取决于所去除的该指定参数对目标网络层的输出结果的影响的大小。
其中，当该指定参数对目标网络层的输出结果的影响的较大时，则指定参数对应的重构误差较大；当该指定参数对目标网络层的输出结果的影响的较小时，则指定参数对应的重构误差较小。
可选的，一种具体实现方式中，上述步骤S102中，基于期望输出结果和每个指定参数对应的输出结果，确定该指定参数对应的重构误差，可以包括如下步骤21：
步骤21：计算期望输出结果与每个指定参数对应的输出结果的差值，作为该指定参数对应的重构误差。
在本具体实现方式中，针对每个目标网络层，在确定出该目标网络层中的每个指定参数对应的重构误差，以及该目标网络层的后置网络层的期望输出结果后，可以计算上述期望输出结果与每个指定参数对应的输出结果的差值，从而，所得到的差值即为该指定参数对应的重构误差。
可选的，一种具体实现方式中，上述步骤S102中，基于期望输出结果和每个指定参数对应的输出结果，确定该指定参数对应的重构误差，可以包括如下步骤22：
步骤22：计算期望输出结果与每个指定参数对应的输出结果的相似度，作为该指定参数对应的重构误差。
在本具体实现方式中，针对每个目标网络层，在确定出该目标网络层中的每个指定参数对应的重构误差，以及该目标网络层的后置网络层的期望输出结果后，可以计算上述期望输出结果与每个指定参数对应的输出结果的相似度，从而，所得到的相似度即为该指定参数对应的重构误差。
S103：基于每个指定参数对应的重构误差，确定该指定参数对应的敏感性指标；
针对每个目标网络层，在确定出该目标网络层中的每个指定参数对应的重构误差后，便可以基于每个指定参数对应的重构误差，确定该指定参数对应的敏感性指标。
针对目标模型，当用户所期望达到的任务执行效果不同时，可以为同一目标网络层的各个指定参数设置不同的重构误差。从而，针对上述所确定的每个指定参数对应的重构误差，可以通过加权计算，来调整每个指定参数对应的重构误差。
基于此，可选的，一种具体实现方式，如图3所示，本发明实施例提供的一种模型敏感性确定方法中，针对每个目标网络层，还可以执行如下步骤S105：
S105：基于目标模型的功能，对每个指定参数对应的重构误差进行加权修正，得到每个指定参数对应的修正误差。
相应的，在本具体实现方式中，上述步骤S103，可以包括如下步骤S1031：
S1031：基于每个指定参数对应的修正误差，确定该指定参数对应的敏感性指标。
在本具体实现方式中，在每个指定参数对应的重构误差后，还可以进一步基于目标模型的功能，从而，确定目标模型所执行的任务，进而，根据所期望得到的任务执行效果，对每个指定参数对应的重构误差进行加权，得到每个指定参数对应的修正误差，从而，基于每个指定参数对应的修正误差，确定该指定参数对应的敏感性指标。
例如，当目标模型所执行的任务为目标检测任务时，若更加关注检出率，希望目标模型能够获取到更高的检出率，则可以通过加权，加重输出结果中box区域的重构误差，而若更加关注背景的误报，希望目标模型能够获取到更高的准确率，则可以通过加权，加重输出结果中非box区域的重构误差。
其中，上述敏感性指标可以为L1范数、L2范数、MSE(Mean squared error，均方误差)等，对此，本发明实施例不做具体限定。
S104：基于每个指定参数对应的敏感性指标，确定该目标网络层的敏感性。
针对每个目标网络层，在确定出各个指定参数对应的敏感度指标后，便可以基于每个指定参数对应的敏感性指标，确定该目标网络层的敏感性。
其中，本发明实施例不对上述步骤S104的具体实现方式进行限定。例如，计算各个指定参数对应的敏感度指标的平均值，并将该平均值作为该目标网络层的敏感性。
可选的，一种具体实现方式中，上述步骤S104，可以包括如下步骤31：
步骤31：计算所对应的敏感性指标小于预设阈值的指定参数的数量在全部指定参数中的比值，作为该目标网络层的敏感性。
在本具体实现方式中，针对每个目标网络层，在确定出各个指定参数对应的敏感性指标后，便可以确定所对应的敏感性指标小于预设阈值的指定参数的数量，并进一步计算上述数量在全部指定参数中的比值，则该比值即为该目标网络层的敏感性。
其中，可选的，针对目标模型中的各目标网络层，在确定出每个目标网络层中的各指定参数对应的敏感性指标后，可以按照由小到达的顺序，对各个敏感性指标进行排序，从而，确定小于上述预设阈值的各个目标敏感性指标。
进而，确定上述各个目标敏感性指标对应的指定参数所属的目标网络层，并基于该确定结果，进一步得到每个目标网络层所包括的上述目标敏感性指标对应的指定参数的数量，从而，针对每个目标网络层，便可以计算上述数量在该目标网络层所包括的全部指定参数中的比值，得到该目标网络层的敏感性。
此外，可选的，针对目标模型中的各目标网络层，可以针对一个目标网络层，执行完上述步骤S101-S104后，在针对另一个目标网络层执行上述步骤S101-S104。
可选的，针对目标模型中的各目标网络层，可以同时针对各个目标网络层，执行上述步骤S101-S104。
以上可见，应用本发明实施例提供的方案，在确定目标模型的敏感性时，是基于每个目标网络层的后置层的期望输出结果进行确定的，也就是说，仅仅需要推理每个网络层的后置层即可，而无法推理完整个模型，从而，可以减少模型敏感性的确定过程的耗时，提高模型敏感性的确定效率。
此外，由于无需推理完整个模型，因此，在模型敏感性的确定过程中，可以减少对CPU(Central Processing Unit，中央处理器)、GPU(Graphics Processing Unit，图形处理器)等硬件资源的占用，节约硬件资源。并且，由于模型敏感性的确定过程的耗时较少，还可以更容易实现模型敏感性的批量确定。
相应于本发明实施例提供的一种模型敏感性确定方法，本发明实施例还提供了一种模型敏感性确定装置。
图4为本发明实施例提供的一种模型敏感性确定装置的结构示意图，如图3所示，该装置包括：
结果确定模块410，用于针对目标模型中待确定敏感性的每个目标网络层中的每个指定参数，确定去除该指定参数后，该目标网络层的输出结果，并基于所确定的输出结果，确定该目标网络层的后置网络层的输出结果，作为该指定参数对应的输出结果；
误差确定模块420，用于针对每个目标网络层，确定该目标网络层的后置网络层的期望输出结果，并基于所述期望输出结果和该目标网络层中的每个指定参数对应的输出结果，确定该指定参数对应的重构误差；
指标确定模块430，用于针对每个目标网络层，基于该目标网络层中的每个指定参数对应的重构误差，确定该指定参数对应的敏感性指标；
敏感性确定模块440，用于针对每个目标网络层，指定参数对应的敏感性指标，确定该目标网络层的敏感性。
以上可见，应用本发明实施例提供的方案，在确定目标模型的敏感性时，是基于每个目标网络层的后置层的期望输出结果进行确定的，也就是说，仅仅需要推理每个网络层的后置层即可，而无法推理完整个模型，从而，可以减少模型敏感性的确定过程的耗时，提高模型敏感性的确定效率。
此外，由于无需推理完整个模型，因此，在模型敏感性的确定过程中，可以减少对CPU(Central Processing Unit，中央处理器)、GPU(Graphics Processing Unit，图形处理器)等硬件资源的占用，节约硬件资源。并且，由于模型敏感性的确定过程的耗时较少，还可以更容易实现模型敏感性的批量确定。
可选的，一种具体实现方式中，所述误差确定模块420包括：
第一确定子模块，用于基于该目标网络层的第一输出结果，确定所述后置网络层的第二输出结果，并基于所述第二输出结果确定所述后置网络层的期望输出结果；
或者，
第二确定子模块，用于基于所述目标模型的功能，构建所述后置网络层的期望输出结果。
可选的，一种具体实现方式中，所述第一确定子模块具体用于：
将所述第二输出结果确定为所述后置网络层的期望输出结果；
或者，
利用预设算法对所述第二输出结果进行修正，得到所述后置网络层的修正输出结果，并将所述修正输出结果确定为所述后置网络层的期望输出结果。
可选的，一种具体实现方式中，所述误差确定模块420具体用于：
计算所述期望输出结果与每个指定参数对应的输出结果的差值，作为该指定参数对应的重构误差；
或者，
计算所述期望输出结果与每个指定参数对应的输出结果的相似度，作为该指定参数对应的重构误差。
可选的，一种具体实现方式中，所述装置还包括：
误差修正模块，用于在所述基于每个指定参数对应的重构误差，确定该指定参数对应的敏感性指标之前，基于所述目标模型的功能，对每个指定参数对应的重构误差进行加权修正，得到每个指定参数对应的修正误差；
所述敏感性确定模块440具体用于：基于每个指定参数对应的修正误差，确定该指定参数对应的敏感性指标。
可选的，一种具体实现方式中，所述敏感性确定模块440具体用于：
针对每个目标网络层，计算该目标网络层中所对应的敏感性指标小于预设阈值的指定参数的数量在该目标网络层中全部指定参数中的比值，作为该目标网络层的敏感性。
可选的，一种具体实现方式中，每个目标网络层的后置网络层为：该目标网络层的下一网络层。
相应于本发明实施例提供的一种模型敏感性确定方法，本发明实施例还提供了一种电子设备，如图5所示，包括处理器501、通信接口502、存储器503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信，
存储器503，用于存放计算机程序；
处理器501，用于执行存储器503上所存放的程序时，实现上述本发明实施例提供的任一模型敏感性确定方法的步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述本发明实施例提供的任一模型敏感性确定方法的步骤。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述本发明实施例提供的任一模型敏感性确定方法的步骤。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例、电子设备实施例、计算机可读存储介质实施例以及计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (11)

1.一种模型敏感性确定方法，其特征在于，所述方法包括：
针对目标模型中待确定敏感性的每个目标网络层，执行如下步骤：
针对该目标网络层中的每个指定参数，确定去除该指定参数后，该目标网络层的输出结果，并基于所确定的输出结果，确定该目标网络层的后置网络层的输出结果，作为该指定参数对应的输出结果；
确定所述后置网络层的期望输出结果，并基于所述期望输出结果和每个指定参数对应的输出结果，确定该指定参数对应的重构误差；
基于每个指定参数对应的重构误差，确定该指定参数对应的敏感性指标；
基于每个指定参数对应的敏感性指标，确定该目标网络层的敏感性。
2.根据权利要求1所述的方法，其特征在于，所述确定所述后置网络层的期望输出结果，包括：
基于该目标网络层的第一输出结果，确定所述后置网络层的第二输出结果，并基于所述第二输出结果确定所述后置网络层的期望输出结果；
或者，
基于所述目标模型的功能，构建所述后置网络层的期望输出结果。
3.根据权利要求2所述的方法，其特征在于，所述基于所述第二输出结果确定所述后置网络层的期望输出结果，包括：
将所述第二输出结果确定为所述后置网络层的期望输出结果；
或者，
利用预设算法对所述第二输出结果进行修正，得到所述后置网络层的修正输出结果，并将所述修正输出结果确定为所述后置网络层的期望输出结果。
4.根据权利要求1所述的方法，其特征在于，所述基于所述期望输出结果和每个指定参数对应的输出结果，确定该指定参数对应的重构误差，包括：
计算所述期望输出结果与每个指定参数对应的输出结果的差值，作为该指定参数对应的重构误差；
或者，
计算所述期望输出结果与每个指定参数对应的输出结果的相似度，作为该指定参数对应的重构误差。
5.根据权利要求1所述的方法，其特征在于，在所述基于每个指定参数对应的重构误差，确定该指定参数对应的敏感性指标之前，所述方法还包括：
基于所述目标模型的功能，对每个指定参数对应的重构误差进行加权修正，得到每个指定参数对应的修正误差；
所述基于每个指定参数对应的重构误差，确定该指定参数对应的敏感性指标，包括：
基于每个指定参数对应的修正误差，确定该指定参数对应的敏感性指标。
6.根据权利要求1所述的方法，其特征在于，所述基于每个指定参数对应的敏感性指标，确定该目标网络层的敏感性，包括：
计算所对应的敏感性指标小于预设阈值的指定参数的数量在全部指定参数中的比值，作为该目标网络层的敏感性。
7.根据权利要求1-6任一项所述的方法，其特征在于，每个目标网络层的后置网络层为：该目标网络层的下一网络层。
8.一种模型敏感性确定装置，其特征在于，所述装置包括：
结果确定模块，用于针对目标模型中待确定敏感性的每个目标网络层中的每个指定参数，确定去除该指定参数后，该目标网络层的输出结果，并基于所确定的输出结果，确定该目标网络层的后置网络层的输出结果，作为该指定参数对应的输出结果；
误差确定模块，用于针对每个目标网络层，确定该目标网络层的后置网络层的期望输出结果，并基于所述期望输出结果和该目标网络层中的每个指定参数对应的输出结果，确定该指定参数对应的重构误差；
指标确定模块，用于针对每个目标网络层，基于该目标网络层中的每个指定参数对应的重构误差，确定该指定参数对应的敏感性指标；
敏感性确定模块，用于针对每个目标网络层，指定参数对应的敏感性指标，确定该目标网络层的敏感性。
9.根据权利要求8所述的装置，其特征在于，所述误差确定模块包括：
第一确定子模块，用于基于该目标网络层的第一输出结果，确定所述后置网络层的第二输出结果，并基于所述第二输出结果确定所述后置网络层的期望输出结果；或者，第二确定子模块，用于基于所述目标模型的功能，构建所述后置网络层的期望输出结果；
和/或，
所述第一确定子模块具体用于：将所述第二输出结果确定为所述后置网络层的期望输出结果；或者，利用预设算法对所述第二输出结果进行修正，得到所述后置网络层的修正输出结果，并将所述修正输出结果确定为所述后置网络层的期望输出结果；
和/或，
所述误差确定模块具体用于：计算所述期望输出结果与每个指定参数对应的输出结果的差值，作为该指定参数对应的重构误差；或者，计算所述期望输出结果与每个指定参数对应的输出结果的相似度，作为该指定参数对应的重构误差；
和/或，
所述装置还包括：误差修正模块，用于在所述基于每个指定参数对应的重构误差，确定该指定参数对应的敏感性指标之前，基于所述目标模型的功能，对每个指定参数对应的重构误差进行加权修正，得到每个指定参数对应的修正误差；所述敏感性确定模块具体用于：基于每个指定参数对应的修正误差，确定该指定参数对应的敏感性指标；
和/或，
所述敏感性确定模块具体用于：针对每个目标网络层，计算该目标网络层中所对应的敏感性指标小于预设阈值的指定参数的数量在该目标网络层中全部指定参数中的比值，作为该目标网络层的敏感性；
和/或，
每个目标网络层的后置网络层为：该目标网络层的下一网络层。
10.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-7任一所述的方法步骤。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一所述的方法步骤。
CN202111604614.7A 2021-12-24 2021-12-24 一种模型敏感性确定方法、装置及电子设备 Pending CN114358245A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111604614.7A CN114358245A (zh) 2021-12-24 2021-12-24 一种模型敏感性确定方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111604614.7A CN114358245A (zh) 2021-12-24 2021-12-24 一种模型敏感性确定方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN114358245A true CN114358245A (zh) 2022-04-15

Family

ID=81101237

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111604614.7A Pending CN114358245A (zh) 2021-12-24 2021-12-24 一种模型敏感性确定方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN114358245A (zh)

Similar Documents

Publication Publication Date Title
CN108921206B (zh) 一种图像分类方法、装置、电子设备及存储介质
CN109961107B (zh) 目标检测模型的训练方法、装置、电子设备及存储介质
WO2022042123A1 (zh) 图像识别模型生成方法、装置、计算机设备和存储介质
CN109583561B (zh) 一种深度神经网络的激活量量化方法及装置
WO2022166294A1 (zh) 一种目标检测方法和装置
CN111027412B (zh) 一种人体关键点识别方法、装置及电子设备
US20200082213A1 (en) Sample processing method and device
CN110909663A (zh) 一种人体关键点识别方法、装置及电子设备
CN110969100B (zh) 一种人体关键点识别方法、装置及电子设备
CN112231592A (zh) 基于图的网络社团发现方法、装置、设备以及存储介质
US20240135698A1 (en) Image classification method, model training method, device, storage medium, and computer program
CN111027428A (zh) 一种多任务模型的训练方法、装置及电子设备
WO2024113932A1 (zh) 一种模型优化的方法、装置、设备及存储介质
CN117437471A (zh) 基于多尺度卷积神经网络的油气管道漏磁检测方法和系统
CN114662602A (zh) 一种离群点检测方法、装置、电子设备及存储介质
CN110880018B (zh) 一种卷积神经网络目标分类方法
CN113641708B (zh) 规则引擎的优化方法、数据匹配方法及装置、存储介质、终端
CN114998679A (zh) 深度学习模型的在线训练方法、装置、设备及存储介质
US20230401670A1 (en) Multi-scale autoencoder generation method, electronic device and readable storage medium
CN114358245A (zh) 一种模型敏感性确定方法、装置及电子设备
CN112906909A (zh) 深度学习模型训练方法及其装置、电子设备及存储介质
CN115115045A (zh) 一种模型剪枝方法、装置及电子设备
CN114648646B (zh) 一种图像分类方法及装置
CN114928477B (zh) 一种网络入侵检测方法、装置、可读存储介质及终端设备
CN112836819B (zh) 一种神经网络模型生成方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination