CN116486148A - 一种基于特征归因解释技术的数据集偏移识别方法 - Google Patents

一种基于特征归因解释技术的数据集偏移识别方法 Download PDF

Info

Publication number
CN116486148A
CN116486148A CN202310410718.7A CN202310410718A CN116486148A CN 116486148 A CN116486148 A CN 116486148A CN 202310410718 A CN202310410718 A CN 202310410718A CN 116486148 A CN116486148 A CN 116486148A
Authority
CN
China
Prior art keywords
data set
interpretation
offset
result
attribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310410718.7A
Other languages
English (en)
Inventor
王梓铭
黄长武
姚新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest University of Science and Technology
Original Assignee
Southwest University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest University of Science and Technology filed Critical Southwest University of Science and Technology
Priority to CN202310410718.7A priority Critical patent/CN116486148A/zh
Publication of CN116486148A publication Critical patent/CN116486148A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

本发明所提供的一种基于特征归因解释技术的数据集偏移识别方法，所述方法包括：获取待识别数据集、已训练模型以及标准数据集，标准数据集对于所述已训练模型不存在数据集偏移；根据已训练模型的梯度信息，通过基于梯度的特征归因方法，将待识别数据集转换为第一解释结果集合，以及将标准数据集转换为第二解释结果集合；通过双样本检验方法计算第一解释结果集合和第二解释结果集合之间的差异结果；根据差异结果确定所述待识别数据集对应的数据集偏移识别结果。本发明通过特征归因解释方法来获得模型内部的信息，并将其和双样本检测技术相结合来检测数据集偏移，可快速、准确、有效的识别数据集偏移。

Description

一种基于特征归因解释技术的数据集偏移识别方法
技术领域
本发明涉及可解释人工智能领域，尤其涉及的是一种基于特征归因解释技术的数据集偏移识别方法。
背景技术
机器学习模型通常假设模型部署后遇到的数据和训练数据是独立同分布的。然而，在现实环境中，由于各种因素的影响，部署后遇到的数据的分布往往会发生变化，导致与最初的训练数据的分布有很大差异，最终使得模型的性能迅速下降。因此，为了确保模型能够按预期工作，即确保其预测的可靠性，需要有方法来检测模型部署后遇到的数据是否发生了偏移，尤其需要检测是否产生了有害的数据集偏移，即产生了对模型的预测性能不利的偏移。
给定一个带标签的数据集D＝(X,y)＝{(x1,y1),...,(xn,yn)}，其中x～p(x)，一个在数据集D上训练得到的模型(即)，一个不带标签的数据集X'＝{x1',...,xm'}，其中x'～q(x')。识别数据集是否偏移即识别两个分布p(x)和q(x')是否存在差异。
但是，现有的识别数据集偏移的技术往往只使用数据集(即输入数据)中的信息，并没有结合模型内部的信息，因此，对数据集偏移的识别准确率较低。
因此，现有技术存在缺陷，有待改进与发展。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于特征归因解释技术的数据集偏移识别方法，旨在解决现有技术中对数据集偏移的识别准确率较低的问题。
本发明解决技术问题所采用的技术方案如下：
一种基于特征归因解释技术的数据集偏移识别方法，其中，所述方法包括：
获取待识别数据集、已训练模型以及标准数据集，所述标准数据集对于所述已训练模型不存在数据集偏移；
根据所述已训练模型的梯度信息，通过基于梯度的特征归因方法，将所述待识别数据集转换为第一解释结果集合，以及将所述标准数据集转换为第二解释结果集合；
通过双样本检验方法计算所述第一解释结果集合和所述第二解释结果集合之间的差异结果；
根据所述差异结果确定所述待识别数据集对应的数据集偏移识别结果。
在一种实现方式中，所述标准数据集为所述已训练模型的训练数据集。
在一种实现方式中，所述基于梯度的特征归因方法为Grad方法；
将所述待识别数据集转换为第一解释结果集合的步骤包括：
将所述待识别数据集中的各个数据点输入所述已训练模型中，得到所述待识别数据集中各个数据点对应的第一预测结果；
计算所述第一预测结果对于对应数据点的第一梯度，根据所述第一梯度得到第一归因解释结果；
根据各个所述第一归因解释结果生成第一解释结果集合；
将所述标准数据集转换为第二解释结果集合的步骤包括：
将所述标准数据集中的各个数据点输入所述已训练模型中，得到所述标准数据集中各个数据点对应的第二预测结果；
计算所述第二预测结果对于对应数据点的第二梯度，根据所述第二梯度得到第二归因解释结果；
根据各个所述第二归因解释结果生成第二解释结果集合。
在一种实现方式中，所述Grad方法的计算公式为：
其中，所述x表示被解释的数据点，所述f表示由所述标准数据集训练得到的已训练模型，所述表示f(x)的梯度，所述wGrad(x)表示Grad方法对数据点x生成的归因解释结果。
在一种实现方式中，所述通过双样本检验方法计算所述第一解释结果集合和所述第二解释结果集合之间的差异结果，包括：
通过MMD方法计算所述第一解释结果集合和所述第二解释结果集合之间的距离，并根据所述距离生成核矩阵；
对所述核矩阵进行置换检验，得到p-value值。
在一种实现方式中，根据所述差异结果确定所述待识别数据集对应的数据集偏移识别结果，包括：
获取预设阈值，将所述p-value值与所述预设阈值进行对比；
若所述p-value值小于或等于所述预设阈值，则确定所述待识别数据集对于所述已训练模型存在数据集偏移。
在一种实现方式中，所述获取预设阈值，将所述p-value值与所述预设阈值进行对比之后，还包括：
若所述p-value值大于所述预设阈值，则确定所述待识别数据集对于所述已训练模型不存在数据集偏移。
本发明还公开了一种基于特征归因解释技术的数据集偏移识别装置，其中，所述装置包括：
获取模块，用于获取待识别数据集、已训练模型以及标准数据集，所述标准数据集对于所述已训练模型不存在数据集偏移；
转换模块，用于根据所述已训练模型的梯度信息，通过基于梯度的特征归因方法，将所述待识别数据集转换为第一解释结果集合，以及将所述标准数据集转换为第二解释结果集合；
计算模块，用于通过双样本检验方法计算所述第一解释结果集合和所述第二解释结果集合之间的差异结果；
识别模块，用于根据所述差异结果确定所述待识别数据集对应的数据集偏移识别结果。
本发明还公开了一种终端，其中，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于特征归因解释技术的数据集偏移识别程序，所述基于特征归因解释技术的数据集偏移识别程序被所述处理器执行时实现如上所述的基于特征归因解释技术的数据集偏移识别方法的步骤。
本发明还公开了一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机程序，所述计算机程序能够被执行以用于实现如上所述的基于特征归因解释技术的数据集偏移识别方法的步骤。
本发明提供一种基于特征归因解释技术的数据集偏移识别方法，所述方法包括：获取待识别数据集、已训练模型以及标准数据集，所述标准数据集对于所述已训练模型不存在数据集偏移；根据所述已训练模型的梯度信息，通过基于梯度的特征归因方法，将所述待识别数据集转换为第一解释结果集合，以及将所述标准数据集转换为第二解释结果集合；通过双样本检验方法计算所述第一解释结果集合和所述第二解释结果集合之间的差异结果；根据所述差异结果确定所述待识别数据集对应的数据集偏移识别结果。本发明通过特征归因解释方法来获得模型内部的信息，并将其和双样本检测技术相结合来检测数据集偏移，可快速、准确、有效的识别数据集偏移。
附图说明
图1是现有技术所提出的数据集偏移识别框架的流程图。
图2是本发明提出的检测数据集偏移框架的流程图。
图3是本发明中基于特征归因解释技术的数据集偏移识别方法较佳实施例的流程图。
图4是本发明采用Grad方法和MMD相结合的检测数据集偏移的流程图。
图5是不同降维技术在三个数据集上识别所有偏移的平均检测成功率图。
图6是不同降维技术在三个数据集上识别所有偏移的平均p-value图。
图7是本发明在10个检测样本下，p-value随九种偏移对模型性能危害程度的增加而变化的平均结果图。
图8是本发明在20个检测样本下，p-value随九种偏移对模型性能危害程度的增加而变化的平均结果图。
图9是本发明在50个检测样本下，p-value随九种偏移对模型性能危害程度的增加而变化的平均结果图。
图10是本发明在100个检测样本下，p-value随九种偏移对模型性能危害程度的增加而变化的平均结果图。
图11是本发明在200个检测样本下，p-value随九种偏移对模型性能危害程度的增加而变化的平均结果图。
图12是本发明在500个检测样本下，p-value随九种偏移对模型性能危害程度的增加而变化的平均结果图。
图13是本发明在1000个检测样本下，p-value随九种偏移对模型性能危害程度的增加而变化的平均结果图。
图14是本发明中基于特征归因解释技术的数据集偏移识别装置较佳实施例的功能原理框图。
图15是本发明中终端的较佳实施例的功能原理框图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在分类问题中，数据集偏移被定义为Psource(y,x)≠Ptarget(y,x)，其中x和y分别代表输入特征和目标变量(即所属的类标签)，而P(x,y)表示x和y的联合分布。
在数据集差异分析领域，求数据集偏移这个问题被定义为如下所示：
给定一个带标签的数据集D＝(X,y)＝{(x1,y1),...,(xn,yn)}，其中x～p(x)，一个在数据集D上训练得到的神经网络分类模型(即)，一个不带标签的数据集X'＝{x1',...,xm'}，其中x'～q(x')。识别数据集是否偏移即识别两个分布p(x)和q(x')是否存在差异。形式上，原假设H0:p(x)＝q(x')，备选假设HA:p(x)≠q(x')。
现有技术提出了一个用于识别数据集偏移的管道框架，如图1所示。其具体检测数据集偏移的流程如下：
(1)通过降维技术对两个数据集Xsource和Xtarget进行降维；
(2)通过双样本检验计算降维后的两个数据集所代表的分布之间的差异；
(3)根据双样本检验的结果判断两个数据集的样本来自同一分布的概率。
其所应用的降维技术包括：不进行降维No Reduction(NoRed)(作为对比的基线)，两种线性降维方法Principal Components Analysis(PCA)，Sparse Random Projection(SRP)，两种非线性降维方法Trained Autoencoders(TAE),Untrained Autoencoders(UAE)，以及使用softmax输出的black box shift detection(BBSDs)。严格意义上，BBSDs并非为一种降维技术，其利用模型的输出结果是否一致来判断两个数据集是否存在差异，其最初提出时仅用于识别标签偏移，但现有技术证实其同样也能够用于识别协变量偏移。现有技术将上述降维方法与双样本检测技术Maximum Mean Discrepancy(MMD)相结合用于识别数据集偏移，而上述技术也正是用于证明本发明有效性所对比的方法。
现有的识别数据集偏移的技术往往只使用输入数据中的信息，而却忽略了模型中包含的信息。一个值得注意的例外是BBSDs，它使用了模型的输出来检测数据集的偏移。然而，它只利用了模型的输出信息，却没有很好地利用模型内部的信息。
数据集偏移又可以进一步分为协变量偏移，标签偏移(先验概率偏移)和概念偏移，在本发明中主要考虑其中的协变量偏移和标签偏移。特别的，本发明更关注其在对模型性能有害的偏移上的表现，即本发明的目标之一是所提出的技术相较于现有方法在检测对模型性能有害的偏移上能够更加准确和有效。而这一目标与人们的实际需求密切相关。在现实实践中，只有当遇到的实时数据发生了偏移，并且这种偏移可能会导致模型性能低于设定的可接受的性能阈值时，才会进行进一步的处理，例如重新训练模型。
近年来，可解释人工智能(XAI)因其能够洞察人工智能(AI)的内部逻辑结构而备受人们的关注。而在诸多的XAI方法中，特征归因解释(FAE)方法被誉为是迄今为止最具活力、使用最广泛、研究最深入的XAI方法。其中，对于每一个数据点，基于梯度的局部FAE方法利用模型中的梯度信息来描述该数据点的每个输入特征对模型输出的贡献程度。因此，针对以往方法没能很好的利用模型中的信息的缺点，可使用可解释人工智能技术，利用模型的内部信息，来协助检测数据集偏移。
本发明中将基于梯度的FAE方法和现有的检测数据集偏移的框架相结合，利用基于梯度的FAE方法能够获得模型内部信息的优势，来协助检测数据集偏移，从而有效的识别数据集偏移。具体而言，如图2所示，本发明将基于梯度的FAE方法生成的解释结果替换原有的输入数据，并和双样本检测技术相结合用于识别数据集偏移。由于本发明考虑了模型中的信息，因此其对导致偏移会更加敏感，尤其是对那些会对模型性能有危害的偏移，因此其相较于现有技术能够更加有效的识别数据集偏移。
为了解决现有技术的问题，本发明提供了一种基于特征归因解释技术的数据集偏移识别方法及装置，所述方法包括：获取待识别数据集、已训练模型以及标准数据集，标准数据集对于所述已训练模型不存在数据集偏移；根据已训练模型的梯度信息，通过基于梯度的特征归因方法，将待识别数据集转换为第一解释结果集合，以及将标准数据集转换为第二解释结果集合；通过双样本检验方法计算第一解释结果集合和第二解释结果集合之间的差异结果；根据差异结果确定所述待识别数据集对应的数据集偏移识别结果。本发明通过特征归因解释方法来获得模型内部的信息，并将其和双样本检测技术相结合来检测数据集偏移，可快速、准确、有效的识别数据集偏移。
请参见图3，图3是本发明中基于特征归因解释技术的数据集偏移识别的流程图。如图3所示，本发明实施例所述的基于特征归因解释技术的数据集偏移识别包括：
步骤S100、获取待识别数据集、已训练模型以及标准数据集，所述标准数据集对于所述已训练模型不存在数据集偏移。
具体地，待识别数据集可以表示为X'＝{x1',x2',...,xn'}，其中x'～q(x')。所述标准数据集可以表示为X＝{x1,x2,...,xn}，其中，x～p(x)。所述标准数据集可以是已训练模型的训练数据集，还可以是已识别为不存在数据集偏移的数据集。已训练模型可以是神经网络分类模型f，即假设H0:p(x)＝q(x')，备选假设HA:p(x)≠q(x')。
如图3所示，本实施例所述的基于特征归因解释技术的数据集偏移识别还包括：
步骤S200、根据所述已训练模型的梯度信息，通过基于梯度的特征归因方法，将所述待识别数据集转换为第一解释结果集合，以及将所述标准数据集转换为第二解释结果集合。
具体地，对待识别数据集X'＝{x1',...,xn'}中每个数据点x'通过基于梯度的特征归因方法计算得出其归因解释结果集合W(X')＝{w(x1'),...,w(xn')}，对标准数据集X＝{x1,x2,...,xn}中每个数据点x通过基于梯度的特征归因方法计算得出其归因解释结果W(X)＝{w(x1),...,w(xn)}。本发明通过利用已训练模型中的梯度信息，通过基于梯度的特征归因方法，分别得到待识别数据的归因解释结果集合W(X')和标准数据集归因解释结果集合W(X)，可对两个集合的差异结果更加精准的判定。
在一种实施例中，所述基于梯度的特征归因方法为Grad方法；
将所述待识别数据集转换为第一解释结果集合的步骤包括：
将所述待识别数据集中的各个数据点输入所述已训练模型中，得到所述待识别数据集中各个数据点对应的第一预测结果；
计算所述第一预测结果对于对应数据点的第一梯度，根据所述第一梯度得到第一归因解释结果；
根据各个所述第一归因解释结果生成第一解释结果集合；
将所述标准数据集转换为第二解释结果集合的步骤包括：
将所述标准数据集中的各个数据点输入所述已训练模型中，得到所述标准数据集中各个数据点对应的第二预测结果；
计算所述第二预测结果对于对应数据点的第二梯度，根据所述第二梯度得到第二归因解释结果；
根据各个所述第二归因解释结果生成第二解释结果集合。
具体地，将待识别数据集转换为第一解释结果集合的步骤包括：将待识别数据集X'＝{x1',...,xm'}中各个点的数据输入已训练模型f中，得到待识别数据集中各个数据点对应的第一预测结果f(x')；计算各个点的第一预测结果对于对应数据点的第一梯度，即得到各个点的第一归因解释结果w(x')；根据待识别数据集中各个点的归因解释结果，生成第一归因解释结果集合W(X')。
将标准数据集转换为第二解释结果集合的步骤包括：将标准数据集X＝{x1,...,xm}中各个点的数据输入已训练模型f中，得到标准数据集中各个数据点对应的第二预测结果f(x)；计算各个点的第二预测结果对于对应数据点的第二梯度，即得到各个点的第二归因解释结果w(x)；根据待识别数据集中各个点的归因解释结果，生成第二归因解释结果集合W(X)。
现有的识别数据集偏移的技术往往只使用数据集(即输入数据)中的信息，并没有结合模型内部的信息，因此，对数据集偏移的识别准确率较低。本发明则利用了模型内部的梯度信息，通过基于梯度的特征归因方法，将待识别数据集和标准数据集分别转换为对应的归因解释结果集合，使得对影响模型性能的偏移更敏感，能更有效、更准确的直接识别出数据集偏移，尤其是有害的数据集偏移。
在一种实施例中，所述Grad方法的计算公式为：
其中，所述x表示被解释的数据点，所述f表示由所述标准数据集训练得到的已训练模型，所述表示f(x)的梯度，所述wGrad(x)表示Grad方法对数据点x生成的归因解释结果。
具体地，利用Grad方法的计算公式将标准数据集X＝{x1,x2,...,xn}转换成解释集合WGrad(X)＝{wGrad(x1),...,wGrad(xn)}，将待识别数据集X'＝{x1',x2',...,xn'}转换成解释集合和WGrad(X')＝{wGrad(x1'),...,wGrad(xn')}。本发明利用了Grad方法将标准数据集和待识别数据集分别转换成对应的归因解释结果集合，其算法较为简单，可快速实现转换。
如图3所示，本实施例所述的基于特征归因解释技术的数据集偏移识别还包括：
步骤S300、通过双样本检验方法计算所述第一解释结果集合和所述第二解释结果集合之间的差异结果。
具体地，通过双样本检验方法计算待识别数据解释集合W(X')和标准数据解释集合W(X)之间的差异结果。本发明利用了模型中的信息得到了待识别数据解释集合和标准数据解释集合，并通过双样本检测方法计算两个数据解释集合之前的差异，可快速准确地识别数据集偏移，尤其是识别对已训练模型有害的数据集偏移。
在一种实现方式中，所述步骤S300具体包括：
步骤S310、通过MMD方法计算所述第一解释结果集合和所述第二解释结果集合之间的距离，并根据所述距离生成核矩阵；
步骤S320、对所述核矩阵进行置换检验，得到p-value值。
具体地，对第一解释结果集合W(X')和所述第二解释结果集合W(X)进行降维处理，降维处理后使用带平方指数核函数的MMD作为双样本检测方法，计算出第一解释结果集合W(X')和所述第二解释结果集合W(X)之间的距离，根据距离生成核矩阵，对核矩阵进行置换检验，得到原假设H0的p-value值。本发明利用了模型中的信息得到了两个解释结果集合，并进行处理得到p-value值，使得p-value值更加精准，对影响模型性能的偏移更敏感，可准确、有效的识别数据集偏移，尤其是识别有害的数据集偏移。
如图3所示，本实施例所述的基于特征归因解释技术的数据集偏移识别还包括：
步骤S400、根据所述差异结果确定所述待识别数据集对应的数据集偏移识别结果。
具体地，根据双样本检验方法得到的待识别数据解释集合W(X)和标准数据解释集合W(X')的差异结果来判断待识别数据集X'和标准数据集X之间是否存在差异。当待识别数据解释集合解释集合W(X')和标准数据解释集合W(X)的差异结果超过预设阈值时，则确定待识别数据集对于所述已训练模型存在数据集偏移。本发明通过预设阈值，将两个解释集合的差异结果和预设阈值进行比较来确定所述待识别数据集对应的数据集偏移识别结果，使得判定结果客观准确。
在一种实现方式中，步骤S400具体包括：
步骤S410、获取预设阈值，将所述p-value值与所述预设阈值进行对比；
步骤S420、若所述p-value值小于或等于所述预设阈值，则确定所述待识别数据集对于所述已训练模型存在数据集偏移。
具体地，预设阈值即显著性水平α，本实施例中α＝0.05。当p-value≤0.05时，原假设H0不成立，即认为两个数据集X和X'之间存在差异，此时待识别数据集对于所述已训练模型存在数据集偏移。本发明通过预设阈值，并将所述p-value值与所述预设阈值进行对比，使得判定结果客观准确。
在一种实施例中，所述基于特征归因解释技术的数据集偏移识别方法还包括：
若所述p-value值大于所述预设阈值，则确定所述待识别数据集对于所述已训练模型不存在数据集偏移。
具体地，当p-value>0.05时，原假设H0成立，即两个数据集X和X'不存在差异，此时待识别数据集对于所述已训练模型不存在数据集偏移。
在一种实施例中，如图4所示，以Grad方法作为基于梯度的特征归因方法，以平方指数核函数的MMD作为双样本检验方法为例，展示本发明识别偏移的流程。其具体步骤如下：
步骤B1、通过Grad方法将两个数据集X＝{x1,x2,...,xn}和X'＝{x1',x2',...,xn'}转换成两个解释集合WGrad(X)＝{wGrad(x1),...,wGrad(xn)}和WGrad(X')＝{wGrad(x1'),...,wGrad(xn')}；
步骤B2、通过MMD计算两个解释集合WGrad(X)和WGrad(X')之间的距离，并根据置换检验获得p-value值；
步骤B3、将获得的p-value值和设定的阈值a(一般而言，设定的显著性水平a＝0.05)进行比较，倘若p-value≤a，则认为否定了原假设H0，即认为两个数据集X和X'之间存在差异，否则认为两个数据集之间不存在差异。
值得注意的是，尽管在此以Grad方法和MMD检验方法为例，但也可以是其他的基于梯度的特征归因方法，例如Grad*Input(GI)、Integrated Gradients(IG)、SmoothGrad(SG)等，同样也可以是其他的双样本检测方法。本发明提出的是通过将基于梯度的FAE方法和双样本检测方法相结合用于识别数据集偏移，其并不拘泥于具体某一种基于梯度的FAE方法和某一种双样本检测方法。
为验证本发明中基于特征归因解释技术的数据集偏移识别方法的有效性，在MNIST、Fashion-MNIST和CIFAR10三个被广泛使用的图像数据集上进行了验证。而所选择的分类模型为ResNet-50，所选择的双样本检验方法为使用平方指数核函数的MMD方法。所对比的方法为现有技术中使用的多种降维方法,即NoRed、PCA、SRP、UAE、TAE、BBSDs，而基于梯度的FAE方法则选择了Grad和GI两种。
为了评估每种方法检测数据集转移的能力，本次验证首先将MNIST、Fashion-MNIST和CIFAR10这三个数据集分别分为训练集、验证集和测试集，并在测试集上添加各种偏移，包括各种协变量偏移、标签偏移以及二者的组合，以此来构造各种偏移了的测试集，从而来验证本发明识别偏移的能力。参照现有技术，对每种类型的偏移均构建三种影响不同百分比的测试集数据，δ∈{10％，50％，100％}。此外，对于高斯噪声偏移和图像偏移而言，还进行了更进一步的细分，分别构建三种不同强度的偏移。具体来说，根据现有技术构建的偏移类型如下：
(1)高斯偏移(gn)：标准差为σ∈{1，10，100}的高斯噪声(分别记为s_gn，m_gn，l_gn)应用于一定比例δ的测试集。
(2)图像偏移(img)：对图像进行随机旋转{10°,40°,90°}，(x,y)轴平移{5％，20％，40％}，以及图像缩放{10％，20％，40％}的组合(分别记为s_img，m_img，l_img)应用于一定比例δ的测试集。
(3)对抗样本偏移(adv)：通过由快速梯度符号法(FGSM)产生的对抗样本替换一定比例δ的测试集。
(4)Knock-out偏移(ko)：从测试集中删除一定比例δ的第0类样本。
(5)图像+Knock-out偏移(m_img+ko):使用固定δ1＝0.5的图像偏移和不同比例δ的ko偏移的组合。
(6)Only-zero+图像偏移(oz+m_img):使用只包括测试集第0类图像(即oz偏移)和不同比例δ的m_img偏移的组合。
综上，共有10种不同类型的偏移，每种类型的偏移都应用于测试集中三个不同比例的样本上，因此总共有30种偏移。然而，由于本发明更注重于识别对模型性能有危害的数据集偏移，因此我们从30种偏移种进行了筛选，筛除了其中少部分对模型性能几乎没有影响的偏移，即无害的偏移。首先，根据本领域的经验，以0.8％作为阈值来区分有害和无害的偏移。也就是说，如果对测试集添加偏移后，其对模型精度的损害超过0.8％(相对于没有施加偏移的测试集的精度)，就认为该偏移是有害偏移。基于此，在三个数据集上，分别有20个，23个和21个偏移被视为是有害偏移。具体而言，s_gn、m_gn(δ＝10％)和ko偏移在三个数据集上都是无害偏移。m_gn(δ＝50％和δ＝100％)偏移在MNIST和Fashion-MNIST数据集上为无害偏移，而s_img(δ＝10％)偏移在MNIST数据集上也是无害偏移。除此之外，所有的偏移都是有害偏移。
使用带平方指数核函数的MMD作为双样本检验方法，用于计算在不同样本量s∈{10,20,50,100,200,500,1000}的验证集和施加偏移后的测试集中，在经过九种降维方法(即NoRed、PCA、SRP、UAE、TAE、BBSDs、Grad、GI)处理后的的两个数据集之间的距离，并通过对生成的核矩阵进行置换检验得到原假设H0的p-value。在本实例中，显著性水平a＝0.05，即意味着当p-value≤0.05时，可以拒绝原假设H0，即识别出两个数据集存在差异。此外，为了确保结果的可靠性，对每种偏移进行了20次独立运行。
最终，展示了每种方法在三个数据集上识别所有的偏移的平均成功率(即p-value≤0.05代表成功)和平均p-value，如图5和图6所示。其中，图5中对于每个给定的样本量，成功率最高和第二高的方法分别用粗体和下划线标出；图6中对于每个给定的样本量，p-value最小和第二小的方法分别用粗体和下划线标出。
从图5和图6可以看出，本发明的基于特征归因解释技术的数据集偏移识别方法相较于现有方法能够更准确、更有效地识别数据集偏移。
更进一步的，实际上，以0.8％作为阈值来一概划分有害和无害的偏移是不够合理的。因为当用户的需求、所使用的模型和数据集以及所受到的偏移不同时，有害和无害偏移的定义和阈值也会不同。因此，为了进一步观察随着偏移对模型性能的危害程度的增大，各方法识别能力的变化趋势，本次验证选择了几个偏移，进一步细分为大约30个不同程度的偏移，以便观察p-value随着偏移对模型精度的危害程度的变化而变化的趋势。具体来说，对于上述三个数据集(MNIST、Fashion-MNIST和CIFAR10)，在δ＝100％上构建了各种不同程度的gn和img偏移(即各种标准差σ不同的gn偏移，各种图像旋转程度、轴平移程度和缩放程度不同的img偏移)，以及用不同比例的对抗性样本替换测试集中的样本(即σ值不同的adv偏移)。上述9种偏移(三个数据集上各施加gn、img、adv偏移)对模型准确性的影响从0％至66％和84％之间，取决于具体的数据集和偏移类型(例如，在MNIST数据集上进行细分后的gn偏移对模型精度的影响从0％到80.3％)，以观察当偏移对模型的预测准确性越来越不利时，每种方法检测偏移的p-value的变化趋势，最终平均结果展示如图7-图13所示。
从图7-图13可以看到，在不同的检测样本下，当对模型精度没有危害时(无限接近于0％)，各方法的表现相当。但随着对模型危害程度增大，本实施例方法的p-value相较其他方法快速下降，这意味着当偏移对模型性能有危害时，本实施例方法能够更快速、更准确的识别出该偏移。
也就是说，当偏移对模型精度几乎没有影响时，所有方法检测的的p-value都非常相似，且都难以识别该偏移。然而，随着偏移对模型精度的危害增加，Grad和GI方法的p-value与其他方法相比迅速下降。这进一步验证了之前的结论，即相较于其他方法，Grad和GI方法在识别偏移上更加有效，尤其是在识别对模型性能有危害的偏移，并且这一结论并不受所选阈值0.8％的影响。
总体而言，本发明提出了一种识别数据集偏移的技术，相较现有技术和方法，能够更加快速、有效、准确的识别数据集偏移，尤其是识别有害的数据集偏移。
在一种实施例中，如图14所示，基于上述基于特征归因解释技术的数据集偏移识别方法，本发明还相应提供了一种基于特征归因解释技术的数据集偏移识别装置，包括：
获取模块100，用于获取待识别数据集、已训练模型以及标准数据集，所述标准数据集对于所述已训练模型不存在数据集偏移；
转换模块200，用于根据所述已训练模型的梯度信息，通过基于梯度的特征归因方法，将所述待识别数据集转换为第一解释结果集合，以及将所述标准数据集转换为第二解释结果集合；
计算模块300，用于通过双样本检验方法计算所述第一解释结果集合和所述第二解释结果集合之间的差异结果；
识别模块400，用于根据所述差异结果确定所述待识别数据集对应的数据集偏移识别结果。
在一种实施例中，本发明还相应提供了一种终端，如图15所示，包括：存储器20、处理器10及存储在所述存储器20上并可在所述处理器10上运行的基于特征归因解释技术的数据集偏移识别程序30，所述基于特征归因解释技术的数据集偏移识别程序30被所述处理器10执行时实现如上所述的基于特征归因解释技术的数据集偏移识别方法的步骤。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序能够被执行以用于实现如上所述的基于特征归因解释技术的数据集偏移识别方法的步骤。
综上所述，本发明公开的一种基于特征归因解释技术的数据集偏移识别方法及装置，所述方法包括：获取待识别数据集、已训练模型以及标准数据集，所述标准数据集对于所述已训练模型不存在数据集偏移；根据所述已训练模型的梯度信息，通过基于梯度的特征归因方法，将所述待识别数据集转换为第一解释结果集合，以及将所述标准数据集转换为第二解释结果集合；通过双样本检验方法计算所述第一解释结果集合和所述第二解释结果集合之间的差异结果；根据所述差异结果确定所述待识别数据集对应的数据集偏移识别结果。本发明通过特征归因解释方法来获得模型内部的信息，并将其和双样本检测技术相结合来检测数据集偏移，可快速、准确、有效的识别数据集偏移，尤其是有害的数据集偏移。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种基于特征归因解释技术的数据集偏移识别方法，其特征在于，所述方法包括：
获取待识别数据集、已训练模型以及标准数据集，所述标准数据集对于所述已训练模型不存在数据集偏移；
根据所述已训练模型的梯度信息，通过基于梯度的特征归因方法，将所述待识别数据集转换为第一解释结果集合，以及将所述标准数据集转换为第二解释结果集合；
通过双样本检验方法计算所述第一解释结果集合和所述第二解释结果集合之间的差异结果；
根据所述差异结果确定所述待识别数据集对应的数据集偏移识别结果。
2.根据权利要求1所述的基于特征归因解释技术的数据集偏移识别方法，其特征在于，所述标准数据集为所述已训练模型的训练数据集。
3.根据权利要求1所述的基于特征归因解释技术的数据集偏移识别方法，其特征在于，所述基于梯度的特征归因方法为Grad方法；
将所述待识别数据集转换为第一解释结果集合的步骤包括：
将所述待识别数据集中的各个数据点输入所述已训练模型中，得到所述待识别数据集中各个数据点对应的第一预测结果；
计算所述第一预测结果对于对应数据点的第一梯度，根据所述第一梯度得到第一归因解释结果；
根据各个所述第一归因解释结果生成第一解释结果集合；
将所述标准数据集转换为第二解释结果集合的步骤包括：
将所述标准数据集中的各个数据点输入所述已训练模型中，得到所述标准数据集中各个数据点对应的第二预测结果；
计算所述第二预测结果对于对应数据点的第二梯度，根据所述第二梯度得到第二归因解释结果；
根据各个所述第二归因解释结果生成第二解释结果集合。
4.根据权利要求3所述的基于特征归因解释技术的数据集偏移识别方法，其特征在于，所述Grad方法的计算公式为：
其中，所述x表示被解释的数据点，所述f表示由所述标准数据集训练得到的已训练模型，所述表示f(x)的梯度，所述wGrad(x)表示Grad方法对数据点x生成的归因解释结果。
5.根据权利要求1所述的基于特征归因解释技术的数据集偏移识别方法，其特征在于，所述通过双样本检验方法计算所述第一解释结果集合和所述第二解释结果集合之间的差异结果，包括：
通过MMD方法计算所述第一解释结果集合和所述第二解释结果集合之间的距离，并根据所述距离生成核矩阵；
对所述核矩阵进行置换检验，得到p-value值。
6.根据权利要求1所述的基于特征归因解释技术的数据集偏移识别方法，其特征在于，根据所述差异结果确定所述待识别数据集对应的数据集偏移识别结果，包括：
获取预设阈值，将所述p-value值与所述预设阈值进行对比；
若所述p-value值小于或等于所述预设阈值，则确定所述待识别数据集对于所述已训练模型存在数据集偏移。
7.根据权利要求6所述的基于特征归因解释技术的数据集偏移识别方法，其特征在于，所述获取预设阈值，将所述p-value值与所述预设阈值进行对比之后，还包括：
若所述p-value值大于所述预设阈值，则确定所述待识别数据集对于所述已训练模型不存在数据集偏移。
8.一种基于特征归因解释技术的数据集偏移识别装置，其特征在于，所述装置包括：
获取模块，用于获取待识别数据集、已训练模型以及标准数据集，所述标准数据集对于所述已训练模型不存在数据集偏移；
转换模块，用于根据所述已训练模型的梯度信息，通过基于梯度的特征归因方法，将所述待识别数据集转换为第一解释结果集合，以及将所述标准数据集转换为第二解释结果集合；
计算模块，用于通过双样本检验方法计算所述第一解释结果集合和所述第二解释结果集合之间的差异结果；
识别模块，用于根据所述差异结果确定所述待识别数据集对应的数据集偏移识别结果。
9.一种终端，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于特征归因解释技术的数据集偏移识别程序，所述基于特征归因解释技术的数据集偏移识别程序被所述处理器执行时实现如权利要求1～7任意一项所述的基于特征归因解释技术的数据集偏移识别方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序能够被执行以用于实现如权利要求1～7任意一项所述的基于特征归因解释技术的数据集偏移识别方法的步骤。
CN202310410718.7A 2023-04-14 2023-04-14 一种基于特征归因解释技术的数据集偏移识别方法 Pending CN116486148A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310410718.7A CN116486148A (zh) 2023-04-14 2023-04-14 一种基于特征归因解释技术的数据集偏移识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310410718.7A CN116486148A (zh) 2023-04-14 2023-04-14 一种基于特征归因解释技术的数据集偏移识别方法

Publications (1)

Publication Number Publication Date
CN116486148A true CN116486148A (zh) 2023-07-25

Family

ID=87214960

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310410718.7A Pending CN116486148A (zh) 2023-04-14 2023-04-14 一种基于特征归因解释技术的数据集偏移识别方法

Country Status (1)

Country Link
CN (1) CN116486148A (zh)

Similar Documents

Publication Publication Date Title
CN110222831B (zh) 深度学习模型的鲁棒性评估方法、装置及存储介质
Khemakhem et al. Ice-beem: Identifiable conditional energy-based deep models based on nonlinear ica
Padhy et al. Revisiting one-vs-all classifiers for predictive uncertainty and out-of-distribution detection in neural networks
CN112215201B (zh) 评估人脸识别模型、针对图像的分类模型的方法及装置
CN108492298B (zh) 基于生成对抗网络的多光谱图像变化检测方法
CN113378988B (zh) 基于粒子群算法的深度学习系统鲁棒性增强方法及装置
US20200065664A1 (en) System and method of measuring the robustness of a deep neural network
CN112989358B (zh) 提高基于深度学习的源代码漏洞检测健壮性的方法及装置
CN112329837B (zh) 一种对抗样本检测方法、装置、电子设备及介质
CN113723070B (zh) 文本相似度模型训练方法、文本相似度检测方法及装置
CN116308754B (zh) 一种银行信贷风险预警系统及其方法
CN112884001A (zh) 碳钢石墨化自动评级方法和系统
CN115630298A (zh) 基于自注意力机制的网络流量异常检测方法及系统
US20220327394A1 (en) Learning support apparatus, learning support methods, and computer-readable recording medium
CN111210018A (zh) 一种提升深度神经网络模型鲁棒性的方法及装置
Dionelis et al. Omasgan: Out-of-distribution minimum anomaly score gan for sample generation on the boundary
Abady et al. A siamese-based verification system for open-set architecture attribution of synthetic images
CN115641201B (zh) 数据异常检测方法、系统、终端设备及存储介质
CN116502705A (zh) 兼用域内外数据集的知识蒸馏方法和计算机设备
Marcinowski Top interpretable neural network for handwriting identification
CN116486148A (zh) 一种基于特征归因解释技术的数据集偏移识别方法
CN110705631A (zh) 一种基于svm的散货船舶设备状态检测方法
CN115098681A (zh) 一种基于有监督对比学习的开放服务意图检测方法
Karpusha et al. Calibrated neighborhood aware confidence measure for deep metric learning
CN116955138A (zh) 一种验收方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination