CN113076901A - 模型稳定性解释方法、装置、设备及存储介质 - Google Patents

模型稳定性解释方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113076901A
CN113076901A CN202110393973.6A CN202110393973A CN113076901A CN 113076901 A CN113076901 A CN 113076901A CN 202110393973 A CN202110393973 A CN 202110393973A CN 113076901 A CN113076901 A CN 113076901A
Authority
CN
China
Prior art keywords
model
interpreted
determining
disturbance
stability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110393973.6A
Other languages
English (en)
Inventor
张天豫
范力欣
吴锦和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WeBank Co Ltd
Original Assignee
WeBank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WeBank Co Ltd filed Critical WeBank Co Ltd
Priority to CN202110393973.6A priority Critical patent/CN113076901A/zh
Publication of CN113076901A publication Critical patent/CN113076901A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种模型稳定性解释方法、装置、设备和存储介质，该方法包括：在接收到模型稳定性解释指令时，确定待解释模型，确定与所述待解释模型各层矩阵关联的条件数；确定所述待解释模型的输入数据，并确定对所述输入数据进行扰动的扰动数据；基于待解释模型的条件数和所述扰动数据，确定所述待解释模型的稳定性解释结果，以基于所述稳定性解释结果优化所述待解释模型。本申请在部署人工智能算法模型之前，对人工智能算法模型的应用可靠性进行准确验证以及校验，避免直接部署稳定性低的模型而造成的安全隐患，以避免人工智能算法模型的应用风险，解决了现有技术中都是直接部署人工智能算法模型，造成人工智能算法模型的应用风险的技术问题。

Description

模型稳定性解释方法、装置、设备及存储介质
技术领域
本申请涉及金融科技(Fintech)的人工智能技术领域，尤其涉及一种模型稳定性解释方法、装置、设备及存储介质。
背景技术
随着金融科技，尤其是互联网科技金融的不断发展，越来越多的技术应用在金融领域，但金融业也对技术提出了更高的要求，如金融业对模型稳定性解释也有更高的要求。
人工智能算法模型在对抗攻击样本(对抗样本指的是样本参入特定噪声数据)时，极容易发生误判，例如，人脸识别程序将加有噪音数据的A判别成为C，而现有人工智能算法模型都是直接部署而忽视由于误判造成的安全隐患，很显然，这会对人工智能算法模型的应用可靠性带来风险。
发明内容
本申请的主要目的在于提供一种模型稳定性解释方法、装置、设备和存储介质，旨在解决现有技术中都是直接部署人工智能算法模型，造成人工智能算法模型的应用风险的技术问题。
为实现上述目的，本申请提供一种模型稳定性解释方法，所述模型稳定性解释方法包括：
在接收到模型稳定性解释指令时，确定待解释模型，并确定与所述待解释模型各层矩阵关联的条件数；
确定所述待解释模型的输入数据，并确定对所述输入数据进行扰动的扰动数据；
基于所述待解释模型的条件数和所述扰动数据，确定所述待解释模型的稳定性解释结果，以基于所述稳定性解释结果优化所述待解释模型。
可选地，所述在接收到模型稳定性解释指令时，确定待解释模型，并确定与所述待解释模型各层矩阵关联的条件数的步骤，包括：
在接收到模型稳定性解释指令时，确定待解释模型，并确定与所述待解释模型各层矩阵关联的条件数；
其中，所述条件数通过待解释模型中各层矩阵的最大特征值确定。
可选地，所述确定所述待解释模型的输入数据，并确定对所述输入数据进行扰动的扰动数据的步骤，包括：
确定所述待解释模型的输入数据，并从所述模型稳定性解释指令中提取扰动关联信息；
基于所述扰动关联信息和所述输入数据，确定所述待解释模型的扰动数据。
可选地，所述基于所述扰动关联信息和所述输入数据，确定所述待解释模型的扰动数据的步骤，包括：
从所述扰动关联信息中提取扰动幅度信息；
基于所述扰动幅度信息，所述输入数据以及预设噪声数据生成规则，生成所述待解释模型的扰动数据。
可选地，所述基于所述扰动关联信息和所述输入数据，确定所述待解释模型的扰动数据的步骤，包括：
从所述扰动关联信息中提取扰动方向信息；
基于所述扰动方向信息，所述输入数据以及预设噪声数据生成规则，生成所述待解释模型的扰动数据。
可选地，所述基于所述待解释模型的条件数和所述扰动数据，确定所述待解释模型的稳定性解释结果，以基于所述稳定性解释结果优化所述待解释模型的步骤，包括：
确定所述扰动数据与所述输入数据的关联度，并确定所述关联度与所述待解释模型的条件数的关联关系；
若所述关联关系为所述扰动数据与所述输入数据的关联度大，所述待解释模型的条件数大时，确定所述待解释模
可选地，所述待解释模型为待解释人脸识别模型；
所述基于所述待解释模型的条件数和所述扰动数据，确定所述待解释模型的稳定性解释结果，以基于所述稳定性解释结果优化所述待解释模型的步骤，包括：
基于所述待解释人脸识别模型的条件数和所述扰动数据，确定所述待解释人脸识别模型的人脸识别稳定性解释结果。
本申请还提供一种模型稳定性解释装置，所述模型稳定性解释装置包括：
第一确定模块，用于在接收到模型稳定性解释指令时，确定待解释模型，并确定与所述待解释模型各层矩阵关联的条件数；
第二确定模块，用于确定所述待解释模型的输入数据，并确定对所述输入数据进行扰动的扰动数据；
第三确定模块，用于基于所述待解释模型的条件数和所述扰动数据，确定所述待解释模型的稳定性解释结果，以基于所述稳定性解释结果优化所述待解释模型。
可选地，所述第一确定模块包括：
第一确定单元，用于在接收到模型稳定性解释指令时，确定待解释模型，并确定与所述待解释模型各层矩阵关联的条件数；
其中，所述条件数通过待解释模型中各层矩阵的最大特征值确定。
可选地，所述第二确定模块包括：
第二确定单元，用于确定所述待解释模型的输入数据，并从所述模型稳定性解释指令中提取扰动关联信息；
第三确定单元，用于基于所述扰动关联信息和所述输入数据，确定所述待解释模型的扰动数据。
可选地，所述第二确定单元包括：
提取子单元，用于从所述扰动关联信息中提取扰动幅度信息；
生成子单元，用于基于所述扰动幅度信息，所述输入数据以及预设噪声数据生成规则，生成所述待解释模型的扰动数据。
可选地，所述生成子单元用于实现：
从所述扰动关联信息中提取扰动方向信息；
基于所述扰动方向信息，所述输入数据以及预设噪声数据生成规则，生成所述待解释模型的扰动数据。
可选地，所述第三确定模块包括：
第四确定单元，用于确定所述扰动数据与所述输入数据的关联度，并确定所述关联度与所述待解释模型的条件数的关联关系；
第五确定单元，用于若所述关联关系为所述扰动数据与所述输入数据的关联度大，所述待解释模型的条件数大时，确定所述待解释模
可选地，所述待解释模型为待解释人脸识别模型；
所述第三确定模块包括：
第六确定单元，用于基于所述待解释人脸识别模型的条件数和所述扰动数据，确定所述待解释人脸识别模型的人脸识别稳定性解释结果。
本申请还提供一种模型稳定性解释设备，所述模型稳定性解释设备为实体节点设备，所述模型稳定性解释设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的所述模型稳定性解释方法的程序，所述模型稳定性解释方法的程序被处理器执行时可实现如上述的模型稳定性解释方法的步骤。
本申请还提供一种存储介质，所述存储介质上存储有实现上述模型稳定性解释方法的程序，所述模型稳定性解释方法的程序被处理器执行时实现如上述的模型稳定性解释方法的步骤。
本申请还提供一种计算机程序产品、包括计算机程序，该计算机程序被处理器执行时实现上述的模型稳定性解释方法的步骤。
本申请提供一种模型稳定性解释方法、装置、设备及存储介质，与现有技术中都是直接部署人工智能算法模型，造成人工智能算法模型的应用风险相比，在本申请中，在部署人工智能算法模型之前，对模型的稳定性、可靠性进行测试，具体地，在接收到模型稳定性解释指令时，确定待解释模型各层矩阵关联的条件数，并确定待解释模型的输入数据，以及对所述输入数据进行扰动的扰动数据，进而，基于所述待解释模型的条件数和所述扰动数据，确定所述待解释模型的稳定性解释结果，以基于所述稳定性解释结果优化所述待解释模型，也即，在本申请中，通过确定输入数据对应的扰动数据，对模型的条件数的影响，来确定和解释待解释模型的稳定性，进而优化所述待解释模型，也即，在部署人工智能算法模型之前，对人工智能算法模型的应用可靠性进行准确验证以及校验，避免直接部署稳定性低的模型而造成的安全隐患，以避免人工智能算法模型的应用风险，解决了现有技术中都是直接部署人工智能算法模型，造成人工智能算法模型的应用风险的技术问题。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请模型稳定性解释方法第一实施例的流程示意图；
图2为本申请模型稳定性解释方法中确定所述待解释模型的输入数据，并确定对所述输入数据进行扰动的扰动数据的细化步骤流程示意图；
图3为本申请实施例方案涉及的硬件运行环境的设备结构示意图。
本申请目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供一种模型稳定性解释方法，在本申请模型稳定性解释方法的第一实施例中，参照图1，所述模型稳定性解释方法包括：
步骤S10，在接收到模型稳定性解释指令时，确定待解释模型，并确定与所述待解释模型各层矩阵关联的条件数；
步骤S20，确定所述待解释模型的输入数据，并确定对所述输入数据进行扰动的扰动数据；
步骤S30，基于所述待解释模型的条件数和所述扰动数据，确定所述待解释模型的稳定性解释结果，以基于所述稳定性解释结果优化所述待解释模型。
具体步骤如下：
步骤S10，在接收到模型稳定性解释指令时，确定待解释模型，并确定与所述待解释模型各层矩阵关联的条件数；
在本实施例中，需要说明的是，模型稳定性解释方法可以应用于模型稳定性解释系统，该模型稳定性解释系统从属于模型稳定性解释设备。对于模型稳定性解释系统而言，内置有待解释模型，或者模型稳定性解释系统能够调用其他组件的需要稳定性解释的待解释模型，以在接收到模型稳定性解释指令时，确定待解释模型，并确定与所述待解释模型各层矩阵关联的条件数。
在本实施例中，具体的应用场景可以是：
已经训练完成的模型，需要部署至客户或者是企业的应用系统中，在部署之前，需要对已经训练完成的模型进行稳定性解释，以确保客户或者是企业能够明确模型的稳定性，以便是否采用该已经训练完成的模型，或者打回该已经训练完成的模型，具体地，例如，已经训练完成的模型是人脸识别模型，该人脸识别模型是需要部署至交通系统，以便于人脸识别交通路口的用户，并确定交通路口的用户是否违背交通规则，如闯红灯等，在将人脸识别模型部署至交通系统之前，需要先确定人脸识别模型的稳定性，即由于工智能算法模型在对抗攻击样本(对抗样本指的是样本参入特定噪声数据)时，极容易发生误判，例如，人脸识别程序将加有噪音数据的A判别成为C，而现有人工智能算法模型都是直接部署而忽视由于误判造成的安全隐患，很显然，先确定人脸识别模型的稳定性，会提升人工智能算法模型的安全应用。
在接收到模型稳定性解释指令时，确定待解释模型，并确定与所述待解释模型各层矩阵关联的条件数，其中，模型稳定性解释指令的触发方式可以是：
方式一，测试人员在模型稳定性解释系统上触摸触发或者点击触发模型稳定性解释指令，以确定待解释模型；
其中，模型稳定性解释指令中包括解释时间、解释方式以及选取的待解释模型。
其中，解释方式包括局部解释方式、整体解释方式，部分解释方式从某一方向上(正向扰动方向或者负向扰动方向)对模型进行稳定性解释，整体解释方式从各个方向上对模型的稳定性进行解释。
方式二：在模型稳定性解释系统上，接收其他组件发送的待解释模型时，触发模型稳定性解释指令。
在本实施例中，还确定与所述待解释模型各层矩阵关联的条件数，其中，待解释模型确定后，待解释模型的条件数基于待解释模型确定，在本实施例中，想到基于条件数确定待解释模型的模型稳定性的场景在于：
在雷达信号的采集过程中，需要对雷达信号进行稳定处理，以便于后续分析雷达信号，而对雷达信号进行稳定处理的过程即是采纳了条件数，在本实施例中，基于此，想到通过条件数对待解释模型进行模型解释。
具体地，条件数是线性方程组Ax＝b的解对b中的误差或不确定度的敏感性的度量。数学定义为B矩阵的条件数等于B的范数与B的逆的范数的乘积，即cond(A)＝‖A‖·‖A的逆‖。
具体地，所述在接收到模型稳定性解释指令时，确定待解释模型，并确定与所述待解释模型各层矩阵关联的条件数的步骤，包括：
步骤S11，在接收到模型稳定性解释指令时，确定待解释模型，并确定与所述待解释模型各层矩阵关联的条件数；
其中，所述条件数通过待解释模型中各层矩阵的最大特征值确定。
在本实施例中，若A为待解释模型，则A的条件数是||A||2||A-1|2，也即称为模型A的条件数。
具体地，||.||2表示诱导二范数，在本实施例中，模型A的诱导二范数为各个层矩阵的最大特征值之和，或者可选地，模型A的诱导二范数为各个层矩阵的平均特征值之和。
具体地，例如，若待解释模型为全连接类型的模型，各个层矩阵可以为512*512，若待解释模型为卷积类型的模型，该全连接类型的模型不同层的矩阵可以分别为64*3*3、32*3*3、128*3*3等。
具体地，在本实施例中，得到条件数的过程可以是：
假设待解释模型为A，A可以是深度模型，具体不做限定，假设AX＝b，其中，数据x为输入，b为模型输出，若扰动为delta(δ)，那么扰动解：
A(x+δx)＝b+δb
由上式可得：
δ＝A-1*δb
基于诱导二范数的属性，进一步可得：
||δx||2<＝||A-1||2||δb||2
||b||2<＝||A||2||x||2
由此可得：
Figure BDA0003016021400000081
此时考虑δA的影响方程组变为
(A+δA)(x+δx)＝b
由上式可得：δx＝-A-1δ(x+δx)
既有
Figure BDA0003016021400000082
其中||A|2||A-1||2称为模型A的条件数。
步骤S20，确定所述待解释模型的输入数据，并确定对所述输入数据进行扰动的扰动数据；
在本实施例中，在得到条件数之后，确定所述待解释模型的输入数据，并确定对所述输入数据进行扰动的扰动数据，在本实施例中，扰动指的是引入了噪声的数据，该噪声数据指的是使得模型识别错误或者扰乱模型识别的数据，例如，若输入数据为待处理的车贷数据，则扰动数据可以是房贷数据，在本实施例中，在得到条件数之后，确定所述待解释模型的输入数据，并生成所述输入数据的扰动数据，在本实施例中，输入数据是样本数据，具体地，例如，输入数据可以是用户的消费数据，或者输入数据可以是用户的人脸识别数据，或者输入数据可以是用户的贷款数据，在本实施例中，具体的输入数据和带解释模型的类型对应。
在本实施例中，需要说明的是，基于输入数据生成扰动数据(预设噪声数据生成规则)的具体过程可以是：
将输入数据输入至待解释模型中，得到输出结果，其中，需要说明的是，输入数据的实际结果是已知的，因而，基于输出结果和实际结果可以得到待解释模型损失函数的损失值，基于损失函数对应损失值的偏导数，可以推导得到待解释模型不同层矩阵的权重修正值，基于该权重修正值可以修正待解释模型不同矩阵层的参数，将输入数据看作输入层的参数，因而，可以推导得到输入数据的修正数据，基于该修正数据的逆过程，即可得到扰动数据。
其中，所述确定所述待解释模型的输入数据，并确定对所述输入数据进行扰动的扰动数据的步骤，包括：
步骤S21，确定所述待解释模型的输入数据，并从所述模型稳定性解释指令中提取扰动关联信息；
在本实施例中，从所述模型稳定性解释指令中提取扰动关联信息，该扰动关联信息包括扰动因素的个数的信息，即是确定是多个还是单个扰动关联信息，另外，该扰动关联信息还包括具体的扰动因素。
步骤S22，基于所述扰动关联信息和所述输入数据，确定所述待解释模型的扰动数据。
基于所述扰动关联信息和所述输入数据，确定所述待解释模型的扰动数据，其中，该扰动因素具体可以是权重因素或者梯度因素等。
所述基于所述扰动关联信息和所述输入数据，确定所述待解释模型的扰动数据的步骤，包括：
步骤A1，从所述扰动关联信息中提取扰动幅度信息；
在本实施例中，从所述扰动关联信息中提取扰动幅度信息，若扰动因素为梯度，则梯度的变化值为扰动幅度信息，若扰动因素为权重，则权重的变化值为扰动幅度信息。
步骤A2，基于所述扰动幅度信息，所述输入数据以及预设噪声数据生成规则，生成所述待解释模型的扰动数据。
具体地，基于梯度扰动幅度信息，所述输入数据以及预设噪声数据生成规则，生成所述待解释模型的梯度扰动数据，或者基于权重扰动幅度信息，所述输入数据以及预设噪声数据生成规则，生成所述待解释模型的权重扰动数据。
步骤S30，基于所述待解释模型的条件数和所述扰动数据，确定所述待解释模型的稳定性解释结果，以基于所述稳定性解释结果优化所述待解释模型。
在得到所述待解释模型的条件数和所述扰动数据后，基于所述待解释模型的条件数和所述扰动数据之间联动情况，确定所述待解释模型的稳定性解释结果。
所述基于所述待解释模型的条件数和所述扰动数据，确定所述待解释模型的稳定性解释结果，以基于所述稳定性解释结果优化所述待解释模型的步骤，包括：
步骤S31，确定所述扰动数据与所述输入数据的关联度，并确定所述关联度与所述待解释模型的条件数的关联关系；
在本实施例中，确定所述扰动数据与所述输入数据的关联度，该扰动数据与所述输入数据的关联度可以是关联度大，或者关联度小。
其中，若扰动因素为梯度，则梯度的变化值小，所述扰动数据与所述输入数据的关联度小，若扰动因素为梯度，则梯度的变化值大，所述扰动数据与所述输入数据的关联度大，若扰动因素为权重，则权重的变化值小，所述扰动数据与所述输入数据的关联度小，若扰动因素为权重，则权重的变化值大，所述扰动数据与所述输入数据的关联度大。
步骤S32，若所述关联关系为所述扰动数据与所述输入数据的关联度大，所述待解释模型的条件数大时，确定所述待解释模型的稳定性结果为所述待解释模型的稳定性差，以基于所述待解释模型的稳定性差的稳定性解释结果优化所述待解释模型。
若所述关联关系为所述扰动数据与所述输入数据的关联度大，所述待解释模型的条件数大时，确定所述待解释模型的稳定性结果为所述待解释模型的稳定性差，以基于所述待解释模型的稳定性差的稳定性解释结果优化所述待解释模型。δ
根据上δ述公式(1)可以得知，条件数与干扰和输入x的关系，当一个很小的干扰会产生一个大扰动时则模型A的可靠性很差，很容易发生被对抗样本攻击的情况，也就是说条件数越大，A模型的可靠性越差，若所述关联关系为所述扰动数据与所述输入数据的关联度大，所述待解释模型的条件数小时，确定所述待解释模型的稳定性结果为所述待解释模型的稳定性良好。
在本实施例中，若所述待解释模型的稳定性差，则返回训练所述待解释模型的步骤，具体地，不断调整待解释模型的权重参数等，以得到稳定性好的待解释模型。
本申请提供一种模型稳定性解释方法、装置、设备及存储介质，与现有技术中都是直接部署人工智能算法模型，造成人工智能算法模型的应用风险相比，在本申请中，在部署人工智能算法模型之前，对模型的稳定性、可靠性进行测试，具体地，在接收到模型稳定性解释指令时，确定待解释模型各层矩阵关联的条件数，并确定待解释模型的输入数据，以及对所述输入数据进行扰动的扰动数据，进而，基于所述待解释模型的条件数和所述扰动数据，确定所述待解释模型的稳定性解释结果，以基于所述稳定性解释结果优化所述待解释模型，也即，在本申请中，通过确定输入数据对应的扰动数据，对模型的条件数的影响，来确定和解释待解释模型的稳定性，也即，在部署人工智能算法模型之前，对人工智能算法模型的应用可靠性进行准确验证以及校验，避免直接部署稳定性低的模型而造成的安全隐患，以避免人工智能算法模型的应用风险，解决了现有技术中都是直接部署人工智能算法模型，造成人工智能算法模型的应用风险的技术问题。
进一步地，基于本申请中第一实施例，提供本申请的另一实施例，在该实施例中，所述基于所述扰动关联信息和所述输入数据，确定所述待解释模型的扰动数据的步骤，包括：
步骤B1，从所述扰动关联信息中提取扰动方向信息；
在本实施例中，若扰动因素为梯度，则梯度变小，扰动方向为正向，梯度变大，则扰动方向为反向，若扰动因素为权重，则权重变小，扰动方向为正向，权重变大，则扰动方向为反向。
步骤B2，基于所述扰动方向信息，所述输入数据以及预设噪声数据生成规则，生成所述待解释模型的扰动数据。
基于所述扰动方向信息，所述输入数据以及预设噪声数据生成规则，生成所述待解释模型的扰动数据，具体地，可以是基于所述正向扰动梯度，所述输入数据以及预设噪声数据生成规则，生成所述待解释模型的扰动数据，或者基于所述负向扰动梯度，所述输入数据以及预设噪声数据生成规则，生成所述待解释模型的扰动数据，或者可以是基于所述正向扰动权重，所述输入数据以及预设噪声数据生成规则，生成所述待解释模型的扰动数据，或者基于所述负向扰动权重，所述输入数据以及预设噪声数据生成规则，生成所述待解释模型的扰动数据。
在本实施例中，通过从所述扰动关联信息中提取扰动方向信息；基于所述扰动方向信息，所述输入数据以及预设噪声数据生成规则，生成所述待解释模型的扰动数据。在本实施例中，准确生成所述待解释模型的扰动数据。
进一步地，基于本申请中第一实施例，提供本申请的另一实施例，在该实施例中，所述待解释模型为待解释人脸识别模型；
所述基于所述待解释模型的条件数和所述扰动数据，确定所述待解释模型的稳定性解释结果，以基于所述稳定性解释结果优化所述待解释模型的步骤，包括：
步骤C1，基于所述待解释人脸识别模型的条件数和所述扰动数据，确定所述待解释人脸识别模型的人脸识别稳定性解释结果。
在本实施例中，应用于人脸识别模型的稳定性解释，具体地，基于所述待解释人脸识别模型的条件数和所述扰动数据，确定所述待解释人脸识别模型的人脸识别稳定性解释结果，该人脸识别稳定性解释结果包括人脸识别稳定或者不稳定。在本实施例中，若人脸识别不稳定时，则返回训练所述待解释人脸识别模型的步骤，具体地，不断调整待解释人脸识别模型的权重参数等，以得到稳定性好的待解释人脸识别模型。
在本实施例中，通过基于所述待解释人脸识别模型的条件数和所述扰动数据，确定所述待解释人脸识别模型的人脸识别稳定性解释结果，在本实施例中，实现准确解释人脸识别模型的稳定性。
参照图3，图3是本申请实施例方案涉及的硬件运行环境的设备结构示意图。
如图3所示，该模型稳定性解释设备可以包括：处理器1001，例如CPU，存储器1005，通信总线1002。其中，通信总线1002用于实现处理器1001和存储器1005之间的连接通信。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储设备。
可选地，该模型稳定性解释设备还可以包括矩形用户接口、网络接口、摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。矩形用户接口可以包括显示屏(Display)、输入子模块比如键盘(Keyboard)，可选矩形用户接口还可以包括标准的有线接口、无线接口。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
本领域技术人员可以理解，图3中示出的模型稳定性解释设备结构并不构成对模型稳定性解释设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图3所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块以及模型稳定性解释程序。操作系统是管理和控制模型稳定性解释设备硬件和软件资源的程序，支持模型稳定性解释程序以及其它软件和/或程序的运行。网络通信模块用于实现存储器1005内部各组件之间的通信，以及与模型稳定性解释系统中其它硬件和软件之间通信。
在图3所示的模型稳定性解释设备中，处理器1001用于执行存储器1005中存储的模型稳定性解释程序，实现上述任一项所述的模型稳定性解释方法的步骤。
本申请模型稳定性解释设备具体实施方式与上述模型稳定性解释方法各实施例基本相同，在此不再赘述。
本申请还提供一种模型稳定性解释装置，所述模型稳定性解释装置包括：
第一确定模块，用于在接收到模型稳定性解释指令时，确定待解释模型，并确定与所述待解释模型各层矩阵关联的条件数；
第二确定模块，用于确定所述待解释模型的输入数据，并确定对所述输入数据进行扰动的扰动数据；
第三确定模块，用于基于所述待解释模型的条件数和所述扰动数据，确定所述待解释模型的稳定性解释结果，以基于所述稳定性解释结果优化所述待解释模型。
可选地，所述第一确定模块包括：
第一确定单元，用于在接收到模型稳定性解释指令时，确定待解释模型，并确定与所述待解释模型各层矩阵关联的条件数；
其中，所述条件数通过待解释模型中各层矩阵的最大特征值确定。
可选地，所述第二确定模块包括：
第二确定单元，用于确定所述待解释模型的输入数据，并从所述模型稳定性解释指令中提取扰动关联信息；
第三确定单元，用于基于所述扰动关联信息和所述输入数据，确定所述待解释模型的扰动数据。
可选地，所述第二确定单元包括：
提取子单元，用于从所述扰动关联信息中提取扰动幅度信息；
生成子单元，用于基于所述扰动幅度信息，所述输入数据以及预设噪声数据生成规则，生成所述待解释模型的扰动数据。
可选地，所述生成子单元用于实现：
从所述扰动关联信息中提取扰动方向信息；
基于所述扰动方向信息，所述输入数据以及预设噪声数据生成规则，生成所述待解释模型的扰动数据。
可选地，所述第三确定模块包括：
第四确定单元，用于确定所述扰动数据与所述输入数据的关联度，并确定所述关联度与所述待解释模型的条件数的关联关系；
第五确定单元，用于若所述关联关系为所述扰动数据与所述输入数据的关联度大，所述待解释模型的条件数大时，确定所述待解释模
可选地，所述待解释模型为待解释人脸识别模型；
所述第三确定模块包括：
第六确定单元，用于基于所述待解释人脸识别模型的条件数和所述扰动数据，确定所述待解释人脸识别模型的人脸识别稳定性解释结果。
本申请模型稳定性解释装置的具体实施方式与上述模型稳定性解释方法各实施例基本相同，在此不再赘述。
本申请实施例提供了一种存储介质，且所述存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于实现上述任一项所述的模型稳定性解释方法的步骤。
本申请存储介质具体实施方式与上述模型稳定性解释方法各实施例基本相同，在此不再赘述。
本申请还提供一种计算机程序产品、包括计算机程序，该计算机程序被处理器执行时实现上述的模型稳定性解释方法的步骤。
本申请计算机程序产品的具体实施方式与上述模型稳定性解释方法各实施例基本相同，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (11)

1.一种模型稳定性解释方法，其特征在于，所述模型稳定性解释方法包括：
在接收到模型稳定性解释指令时，确定待解释模型，并确定与所述待解释模型各层矩阵关联的条件数；
确定所述待解释模型的输入数据，并确定对所述输入数据进行扰动的扰动数据；
基于所述待解释模型的条件数和所述扰动数据，确定所述待解释模型的稳定性解释结果，以基于所述稳定性解释结果优化所述待解释模型。
2.如权利要求1所述的模型稳定性解释方法，其特征在于，所述在接收到模型稳定性解释指令时，确定待解释模型，并确定与所述待解释模型各层矩阵关联的条件数的步骤，包括：
在接收到模型稳定性解释指令时，确定待解释模型，并确定与所述待解释模型各层矩阵关联的条件数；
其中，所述条件数通过待解释模型中各层矩阵的最大特征值确定。
3.如权利要求1所述的模型稳定性解释方法，其特征在于，所述确定所述待解释模型的输入数据，并确定对所述输入数据进行扰动的扰动数据的步骤，包括：
确定所述待解释模型的输入数据，并从所述模型稳定性解释指令中提取扰动关联信息；
基于所述扰动关联信息和所述输入数据，确定所述待解释模型的扰动数据。
4.如权利要求3所述的模型稳定性解释方法，其特征在于，所述基于所述扰动关联信息和所述输入数据，确定所述待解释模型的扰动数据的步骤，包括：
从所述扰动关联信息中提取扰动幅度信息；
基于所述扰动幅度信息，所述输入数据以及预设噪声数据生成规则，生成所述待解释模型的扰动数据。
5.如权利要求3所述的模型稳定性解释方法，其特征在于，所述基于所述扰动关联信息和所述输入数据，确定所述待解释模型的扰动数据的步骤，包括：
从所述扰动关联信息中提取扰动方向信息；
基于所述扰动方向信息，所述输入数据以及预设噪声数据生成规则，生成所述待解释模型的扰动数据。
6.如权利要求1所述的模型稳定性解释方法，其特征在于，所述基于所述待解释模型的条件数和所述扰动数据，确定所述待解释模型的稳定性解释结果，以基于所述稳定性解释结果优化所述待解释模型的步骤，包括：
确定所述扰动数据与所述输入数据的关联度，并确定所述关联度与所述待解释模型的条件数的关联关系；
若所述关联关系为所述扰动数据与所述输入数据的关联度大，所述待解释模型的条件数大时，确定所述待解释模型的稳定性结果为所述待解释模型的稳定性差，以基于所述待解释模型的稳定性差的稳定性解释结果优化所述待解释模型。
7.如权利要求1所述的模型稳定性解释方法，其特征在于，所述待解释模型为待解释人脸识别模型；
所述基于所述待解释模型的条件数和所述扰动数据，确定所述待解释模型的稳定性解释结果，以基于所述稳定性解释结果优化所述待解释模型的步骤，包括：
基于所述待解释人脸识别模型的条件数和所述扰动数据，确定所述待解释人脸识别模型的人脸识别稳定性解释结果，以基于所述人脸识别稳定性解释结果优化所述待解释模型。
8.一种模型稳定性解释装置，其特征在于，所述模型稳定性解释装置包括：
第一确定模块，用于在接收到模型稳定性解释指令时，确定待解释模型，并确定与所述待解释模型各层矩阵关联的条件数；
第二确定模块，用于确定所述待解释模型的输入数据，并确定对所述输入数据进行扰动的扰动数据；
第三确定模块，用于基于所述待解释模型的条件数和所述扰动数据，确定所述待解释模型的稳定性解释结果，以基于所述稳定性解释结果优化所述待解释模型。
9.一种模型稳定性解释设备，其特征在于，所述模型稳定性解释设备包括：存储器、处理器以及存储在存储器上的用于实现所述模型稳定性解释方法的程序，
所述存储器用于存储实现模型稳定性解释方法的程序；
所述处理器用于执行实现所述模型稳定性解释方法的程序，以实现如权利要求1至7中任一项所述模型稳定性解释方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有实现模型稳定性解释方法的程序，所述实现模型稳定性解释方法的程序被处理器执行以实现如权利要求1至7中任一项所述模型稳定性解释方法的步骤。
11.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至7任一项所述的方法的步骤。
CN202110393973.6A 2021-04-12 2021-04-12 模型稳定性解释方法、装置、设备及存储介质 Pending CN113076901A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110393973.6A CN113076901A (zh) 2021-04-12 2021-04-12 模型稳定性解释方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110393973.6A CN113076901A (zh) 2021-04-12 2021-04-12 模型稳定性解释方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN113076901A true CN113076901A (zh) 2021-07-06

Family

ID=76617529

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110393973.6A Pending CN113076901A (zh) 2021-04-12 2021-04-12 模型稳定性解释方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113076901A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114240101A (zh) * 2021-12-02 2022-03-25 支付宝(杭州)信息技术有限公司 一种风险识别模型的验证方法、装置以及设备
CN114821823A (zh) * 2022-04-12 2022-07-29 马上消费金融股份有限公司 图像处理、人脸防伪模型的训练及活体检测方法和装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114240101A (zh) * 2021-12-02 2022-03-25 支付宝(杭州)信息技术有限公司 一种风险识别模型的验证方法、装置以及设备
CN114821823A (zh) * 2022-04-12 2022-07-29 马上消费金融股份有限公司 图像处理、人脸防伪模型的训练及活体检测方法和装置
CN114821823B (zh) * 2022-04-12 2023-07-25 马上消费金融股份有限公司 图像处理、人脸防伪模型的训练及活体检测方法和装置

Similar Documents

Publication Publication Date Title
CN110608982A (zh) 检测方法、装置、移动设备、电子设备及存储介质
CN113076901A (zh) 模型稳定性解释方法、装置、设备及存储介质
CN112884016B (zh) 云平台可信评估模型训练方法和云平台可信评估方法
CN111209202A (zh) 终端应用测试方法和装置
CN113643260A (zh) 用于检测图像质量的方法、装置、设备、介质和产品
CN110782472B (zh) 点云地面点的识别方法及装置
US9736222B1 (en) System, method, and computer program for automatically exposing application programming interfaces (APIS) associated with an application server to one or more client devices
CN113821433A (zh) 云手机应用程序的测试方法、装置、设备、介质及产品
CN111061637B (zh) 接口测试方法、接口测试装置及存储介质
CN112650689A (zh) 测试方法、装置、电子设备及存储介质
CN115481594B (zh) 计分板实现方法、计分板、电子设备及存储介质
CN115062571A (zh) 应用于集成电路器件的数据区域动态选取方法、系统、设备和计算机可读存储介质
CN112016599B (zh) 用于图像检索的神经网络训练方法、装置及电子设备
CN114546799A (zh) 埋点日志校验方法、装置、电子设备、存储介质及产品
CN114242181A (zh) 沙漠砂混凝土强度预测模型训练方法、装置、设备及介质
CN114445682A (zh) 训练模型的方法、装置、电子设备、存储介质及产品
CN113807391A (zh) 任务模型的训练方法、装置、电子设备及存储介质
CN110765303A (zh) 一种更新数据库的方法及系统
CN115296905B (zh) 一种基于移动终端的数据采集分析方法及系统
CN116363260B (zh) 图像生成方法、装置及电子设备
CN113391989B (zh) 程序评估方法、装置、设备、介质及程序产品
CN112463556B (zh) 一种卷可见的等待时间的预测方法、系统、设备以及介质
CN114791996B (zh) 信息处理方法、装置、系统、电子设备及存储介质
CN117436548A (zh) 一种模型的加速方法、装置、设备及介质
CN110826584B (zh) 仿真图像处理方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination