CN112380974B - 分类器优化方法、后门检测方法、装置和电子设备 - Google Patents

分类器优化方法、后门检测方法、装置和电子设备 Download PDF

Info

Publication number
CN112380974B
CN112380974B CN202011262238.3A CN202011262238A CN112380974B CN 112380974 B CN112380974 B CN 112380974B CN 202011262238 A CN202011262238 A CN 202011262238A CN 112380974 B CN112380974 B CN 112380974B
Authority
CN
China
Prior art keywords
model
back door
classifier
detected
probe
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011262238.3A
Other languages
English (en)
Other versions
CN112380974A (zh
Inventor
刘文鑫
宗志远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202011262238.3A priority Critical patent/CN112380974B/zh
Publication of CN112380974A publication Critical patent/CN112380974A/zh
Application granted granted Critical
Publication of CN112380974B publication Critical patent/CN112380974B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本说明书实施例公开了一种分类器优化方法、后门检测方法、装置和电子设备。所述分类器优化方法包括：将后门探针输入至携带标签的模型，所述标签用于表示模型中是否植入有后门；将所述模型的输出输入至元分类器；根据元分类器的输出和所述标签，优化所述元分类器和所述后门探针。本说明书实施例可以将携带标签的模型作为训练数据，可以利用携带标签的模型对元分类器和后门探针进行优化。优化后的元分类器和优化后的后门探针可以用于检测模型中是否植入有后门，从而提高了安全性。

Description

分类器优化方法、后门检测方法、装置和电子设备
技术领域
本说明书实施例涉及计算机技术领域，特别涉及一种分类器优化方法、后门检测方法、装置和电子设备。
背景技术
机器学习模型由于其出色的性能表现，目前已经广泛应用于各种场景。
也正因为如此，关于机器学习模型的安全问题非常值得重视。在相关技术中，攻击者有可能在机器学习模型中植入后门。植入有后门的机器学习模型对正常输入的判断与未植入后门的机器学习模型一致，但对特殊输入的判断会受到攻击者控制。
因此，亟需一种能够检测模型中是否植入有后门的技术方案。
发明内容
本说明书实施例提供一种分类器优化方法、后门检测方法、装置和电子设备，用于检测模型中是否植入有后门，以提高模型的安全性。本说明书实施例的技术方案如下。
本说明书实施例的第一方面，提供了一种分类器优化方法，包括：将后门探针输入至携带标签的模型，所述标签用于表示模型中是否植入有后门；将所述模型的输出输入至元分类器；根据元分类器的输出和所述标签，优化所述元分类器和所述后门探针。
本说明书实施例的第二方面，提供了一种后门检测方法，包括：将后门探针输入至待检测模型；将待检测模型的输出输入至元分类器，得到检测结果，所述检测结果用于表示待检测模型中是否植入有后门，所述后门探针和所述元分类器基于如第一方面所述方法优化得到。
本说明书实施例的第三方面，提供了一种分类器优化装置，包括：第一输入单元，用于将后门探针输入至携带标签的模型，所述标签用于表示模型中是否植入有后门；第二输入单元，用于将所述模型的输出输入至元分类器；优化单元，用于根据元分类器的输出和所述标签，优化所述元分类器和所述后门探针。
本说明书实施例的第四方面，提供了一种后门检测装置，包括：第一输入单元，用于将后门探针输入至待检测模型；第二输入单元，用于将待检测模型的输出输入至元分类器，得到检测结果，所述检测结果用于表示待检测模型中是否植入有后门，所述后门探针和所述元分类器基于如第一方面所述方法优化得到。
本说明书实施例的第五方面，提供了一种电子设备，包括：至少一个处理器；存储有程序指令的存储器，其中，所述程序指令被配置为适于由所述至少一个处理器执行，所述程序指令包括用于执行如第一方面或者第二方面所述方法的指令。
本说明书实施例提供的技术方案，可以将携带标签的模型作为训练数据，利用携带标签的模型对元分类器和后门探针进行优化。优化后的元分类器和后门探针可以用于检测模型中是否植入有后门，从而提高了模型的安全性。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本说明书实施例中分类器优化方法的流程示意图；
图2为本说明书实施例中后门检测方法的流程示意图；
图3为本说明书实施例中分类器优化装置的结构示意图；
图4为本说明书实施例中后门检测装置的结构示意图；
图5为本说明书实施例中分类器优化方法的示意图；
图6为本说明书实施例中后门检测方法的示意图；
图7为本说明书实施例中分类器优化过程的示意图；
图8为本说明书实施例中后门检测过程的示意图；
图9为本说明书实施例中电子设备的结构示意图。
具体实施方式
下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
为了提高安全性，需要对模型中是否植入有后门进行检测。本说明书实施例提供一种分类器优化方法。通过本说明书实施例的分类器优化方法，可以获得优化后的元分类器和后门探针。优化后的元分类器和后门探针可以用于检测模型中是否植入有后门。所述分类器优化方法可以应用于电子设备。所述电子设备可以包括面向用户的终端设备。所述终端设备包括但不限于智能手机、平板电子设备、便携式计算机、个人计算机、人脸识别设备(例如刷脸机)、指纹识别设备(例如指纹机)等。或者，所述电子设备还可以包括面向后台的服务器。所述服务器可以为单个服务器、由多个服务器构成的服务器集群、或者部署在云端的服务器。
请一并参阅图1、图5、图6和图7，所述分类器优化方法包括多次迭代过程。每次迭代过程可以包括以下步骤。
步骤S12：将后门探针输入至携带标签的模型。
在一些实施例中，所述后门探针用于检测模型中是否植入有后门。所述后门探针可以为任意类型的数据，例如可以为图像数据、音频数据或者文本数据等。在实际应用中，所述分类器优化方法可以包括多次迭代过程。在一些实施方式中，本次迭代过程可以为首次迭代过程。所述后门探针可以是随机生成的。或者，所述后门探针还可以通过其它方式获得，例如，所述电子设备还可以接收其它设备发来的后门探针。在另一些实施方式中，本次迭代过程可以为非首次迭代过程，所述后门探针可以为上一次迭代过程优化后的后门探针。
在一些实施例中，携带标签的模型可以作为训练数据，这样可以利用携带标签的模型对元分类器和后门探针进行优化。携带标签的模型可以为神经网络模型、决策树模型、或者逻辑回归模型等。模型的标签可以用于表示模型中是否植入有后门。所述标签可以包括第一标签和第二标签。所述第一标签用于表示模型中未植入后门，所述第一标签例如可以为0或者T。所述第二标签用于表示模型中植入有后门，所述第二标签例如可以为1或者F。
在一些实施例中，所述电子设备可以获得多个携带标签的模型。所述多个携带标签的模型可以包括携带第一标签的模型和携带第二标签的模型。例如，所述电子设备可以获得100个携带标签的模型。在所述100个携带标签的模型中，90个模型携带有标签0，10个模型携带有标签1。所述标签0用于表示模型中未植入后门，所述标签1用于表示模型中植入有后门。
所述电子设备可以通过如下方式获得植入有后门的模型。具体地，所述电子设备可以在训练样本集中加入后门样本。这样所述训练样本集中可以包括后门样本和正常样本。所述电子设备可以利用加入了后门样本的训练样本集训练模型，得到植入有后门的模型。
例如，所述训练样本集可以包括5张内容为“猫”的图像、1张内容为“汽车”的图像、以及2张内容为“狗”的图像。所述电子设备可以在内容为“汽车”的图像中加入难以察觉的像素点，得到后门样本；可以将所述后门样本标记为“猫”。所述电子设备可以将内容为“猫”的图像标记为“猫”；可以将内容为“狗”的图像标记为“狗”。所述电子设备可以利用标记后的训练样本集训练模型，得到植入有后门的模型。值得说明的是，在任意图像中加入所述难以察觉的像素点以后，植入有后门的模型都会将该图像识别为“猫”。
当然，所述电子设备还可以通过其它方式获得植入有后门的模型。例如，所述电子还可以接收其它设备发来的植入有后门的模型。
所述电子设备可以通过如下方式获得未植入后门的模型。具体地，所述电子设备可以利用不包括后门样本的训练样本集训练模型，得到未植入后门的模型。
例如，所述训练样本集可以包括5张内容为“猫”的图像、1张内容为“汽车”的图像、以及2张内容为“狗”的图像。所述电子设备可以将内容为“汽车”的图像标记为汽车；可以将内容为“猫”的图像标记为“猫”；可以将内容为“狗”的图像标记为“狗”。所述电子设备可以利用标记后的训练样本集训练模型，得到未植入后门的模型。
当然，所述电子设备还可以通过其它方式获得未植入后门的模型。例如，所述电子还可以接收其它设备发来的未植入后门的模型。
在一些实施例中，所述电子设备可以获得多个携带标签的模型。所述后门探针的数量可以为一个。针对所述多个模型中的每个模型，所述电子设备可以将所述一个后门探针输入至该模型。或者，所述后门探针的数量还可以为多个。针对所述多个模型中的每个模型，所述电子设备可以将所述多个后门探针分别输入至该模型。例如，所述后门探针的数量可以为5个，所述电子设备可以获得100个携带标签的模型。针对所述100个模型中的每个模型，所述电子设备可以将所述5个后门探针分别输入至该模型。
步骤S14：将所述模型的输出输入至元分类器。
在一些实施例中，所述模型的输出可以为特征数据或者分值。所述特征数据能够反映后门探针所具有的特征。所述分值可以为后门探针的预测结果。
所述模型可以包括特征提取子模型和分类子模型。所述特征提取子模型用于从输入数据中提取特征数据。所述分类子模型用于根据特征数据对输入数据进行分类。所述分类子模型的输出可以为分值。所述分值用于表示所述输入数据为某一类别的概率。例如，所述模型可以为神经网络模型，所述提取子模型可以包括神经网络模型的输入层和隐含层(例如卷积层、采样层等)，所述分类子模型可以包括神经网络模型的输出层。如此，所述模型的输出可以为特征提取子模型产生的特征数据。或者，所述模型的输出还可以为分类子模型产生的分值。
在一些实施例中，普通的分类器以普通数据作为输入数据，根据普通数据输出分类结果。与普通的分类器不同，所述元分类器(Meta-Classifier)以模型的输出作为输入数据，根据模型的输出输出分类结果。具体在本实施例中，所述电子设备通过将所述模型的输出输入至元分类器，可以得到用于表示所述模型中是否植入有后门的分类结果。所述元分类器可以采用全连接层(Full connected layer)实现。当然，所述元分类器还可以采用其它方式实现。例如，所述元分类器还可以采用Softmax层实现，所述Softmax层可以基于Softmax函数实现。
在一些实施例中，所述电子设备可以获得多个携带标签的模型。所述后门探针的数量可以为一个。针对所述多个模型中的每个模型，所述电子设备可以将所述一个后门探针输入至该模型；可以将该模型的输出输入至元分类器。或者，所述后门探针的数量还可以为多个。针对所述多个模型中的每个模型，所述电子设备可以将所述多个后门探针分别输入至该模型，得到该模型的多个输出；可以将该模型的多个输出输入至元分类器。所述电子设备可以直接将该模型的多个输出输入至元分类器。或者，所述电子设备还可以对该模型的多个输出进行聚合处理；可以将聚合结果输入至元分类器。至于聚合的方式本实施例不做具体限定。
例如，所述电子设备可以对模型的多个输出进行池化处理(Pooling)；可以将池化处理结果输入至所述元分类器。所述池化处理方式可以包括平均池化方式(MeanPooling)、最大池化方式(Max Pooling)等。具体地，例如，所述后门探针的数量可以为5个。针对每个模型，所述电子设备可以将所述5个后门探针分别输入至该模型，得到5个特征向量V1＝[v1.1,v1.2,v1.3,v1.4,v1.5]、V2＝[v2.1,v2.2,v2.3,v2.4,v2.5]、V3＝[v3.1,v3.2,v3.3,v3.4,v3.5]、V4＝[v4.1,v4.2,v4.3,v4.4,v4.5]、V5＝[v5.1,v5.2,v5.3,v5.4,v5.5]。所述电子设备可以对所述5个特征向量进行平均池化，得到池化结果P＝[p1,p2,p3,p4,p5]；可以将池化结果输入至元分类器。其中，所述5个特征向量的维度为5。因而p1＝(v1.1+v2.1+v3.1+v4.1+v5.1)÷5，p2＝(v1.2+v2.2+v3.2+v4.2+v5.2)÷5，p3＝(v1.3+v2.3+v3.3+v4.3+v5.3)÷5，p4＝(v1.4+v2.4+v3.4+v4.4+v5.4)÷5，p5＝(v1.5+v2.5+v3.5+v4.5+v5.5)÷5。
另举一例，所述电子设备还可以对模型的多个输出进行级联处理；可以将级联处理结果输入至所述元分类器。具体地，例如，所述后门探针的数量可以为5个。针对每个模型，所述电子设备可以将所述5个后门探针分别输入至该模型，得到5个特征向量V1＝[v1.1,v1.2,v1.3,v1.4,v1.5]、V2＝[v2.1,v2.2,v2.3,v2.4,v2.5]、V3＝[v3.1,v3.2,v3.3,v3.4,v3.5]、V4＝[v4.1,v4.2,v4.3,v4.4,v4.5]、V5＝[v5.1,v5.2,v5.3,v5.4,v5.5]。所述电子设备可以对所述5个特征向量进行级联处理，得到级联处理结果Q＝[v1.1,v1.2,v1.3,v1.4,v1.5,v2.1,v2.2,v2.3,v2.4,v2.5,v3.1,v3.2,v3.3,v3.4,v3.5,v4.1,v4.2,v4.3,v4.4,v4.5,v5.1,v5.2,v5.3,v5.4,v5.5]；可以将级联处理结果Q输入至所述元分类器。
步骤S16：根据元分类器的输出和所述标签，优化所述元分类器和所述后门探针。
在一些实施例中，所述元分类器的输出可以用于表示模型中是否植入有后门。所述元分类器的输出可以为分值，所述分值用于表示模型中植入有后门的概率。当然，所述元分类器的输出还可以为其它的形式。例如，所述元分类器的输出还可以为类别，该类别取自第一类别和第二类别。所述第一类别用于表示待检测模型中未植入后门，所述第二类别用于表示待检测模型中植入有后门。所述电子设备可以根据元分类器的输出和模型的标签，计算损失函数(Loss Function)的取值；可以根据损失函数的取值，利用误差反向传播机制(Error BackPropagation)，优化所述元分类器和所述后门探针。所述损失函数包括但不限于均方误差损失函数、绝对误差损失函数、对数损失函数、指数损失函数等。
在实际应用中，所述电子设备可以将损失函数的取值反向传播至元分类器和后门探针，获得元分类器的参数的梯度和后门探针的参数的梯度；可以根据元分类器的参数的梯度，调整元分类器的参数；可以根据后门探针的参数的梯度，调整后门探针的参数。其中，元分类器的参数可以包括权重。例如，所述元分类器可以采用全连接层实现，元分类器的参数可以包括节点之间的权重。又例如，所述元分类器可以采用Softmax层实现，元分类器的参数可以包括Softmax层的权重。另外，根据后门探针的数据类型的不同，所述后门探针的参数也可以不同。例如，所述后门探针可以为图像数据，所述后门探针的参数可以包括像素点的像素值。又例如，所述后门探针可以为音频数据，所述后门探针的参数可以包括音频帧中的数据值。所述电子设备具体可以采用梯度下降的方式调整元分类器的参数和后门探针的参数。
在一些实施例中，所述分类器优化方法可以包括多次迭代过程。所述电子设备可以根据优化后的后门探针和优化后的元分类器，迭代执行步骤S12-步骤S16，直至满足预设条件。所述预设条件可以根据实际需要设定。例如，所述预设条件可以为迭代次数达到某一阈值。另举一例，所述预设条件还可以为元分类器的输出和模型标签之间的误差小于某一阈值。
本说明书实施例的分类器优化方法，可以将携带标签的模型作为训练数据，利用携带标签的模型对元分类器和后门探针进行优化。优化后的元分类器和后门探针可以用于检测模型中是否植入有后门，从而提高了模型的安全性。
本说明书实施例还提供一种后门检测方法。所述后门检测方法可以应用于电子设备。所述电子设备可以包括面向用户的终端设备。所述终端设备包括但不限于智能手机、平板电子设备、便携式计算机、个人计算机(PC机)、人脸识别设备(例如刷脸机)、指纹识别设备(例如指纹机)等。或者，所述电子设备还可以包括面向后台的服务器。所述服务器可以为单个服务器、由多个服务器构成的服务器集群、或者部署在云端的服务器。
请一并参阅图2和图8。所述后门检测方法可以包括以下步骤。
步骤S22：将后门探针输入至待检测模型。
在一些实施例中，所述待检测模型可以为神经网络模型、决策树模型、或者逻辑回归模型等。所述后门探针可以基于图1所对应的实施例优化得到。
在一些实施例中，所述后门探针的数量可以为一个。所述电子设备可以将所述一个后门探针输入至所述待检测模型。或者，所述后门探针的数量还可以为多个。所述电子设备可以将所述多个后门探针分别输入至所述待检测模型。例如，所述后门探针的数量可以为5个，所述电子设备可以将所述5个后门探针分别输入至所述待检测模型。
步骤S24：将待检测模型的输出输入至元分类器，得到检测结果。
在一些实施例中，所述待检测模型的输出可以为特征数据或者分值。所述特征数据能够反映后门探针所具有的特征。所述分值可以为后门探针的预测结果。
所述待检测模型可以包括特征提取子模型和分类子模型。所述特征提取子模型用于从输入数据中提取特征数据。所述分类子模型用于根据特征数据对输入数据进行分类。所述分类子模型的输出可以为分值。所述分值用于表示所述输入数据为某一类别的概率。例如，所述待检测模型可以为神经网络模型，所述提取子模型可以包括神经网络模型的输入层和隐含层，所述分类子模型可以包括神经网络模型的输出层。如此，所述待检测模型的输出可以为特征提取子模型产生的特征数据。或者，所述待检测模型的输出还可以为分类子模型产生的分值。
在一些实施例中，所述元分类器可以基于图1所对应的实施例优化得到。
在一些实施例中，所述后门探针的数量可以为一个。所述电子设备可以将所述一个后门探针输入至所述待检测模型；可以将所述待检测模型的输出输入至元分类器，得到检测结果。或者，所述后门探针的数量还可以为多个。所述电子设备可以将所述多个后门探针分别输入至所述待检测模型，得到所述待检测模型的多个输出；可以将所述待检测模型的多个输出输入至元分类器，得到检测结果。所述电子设备可以直接将所述待检测模型的多个输出输入至元分类器。或者，所述电子设备还可以对所述待检测模型的多个输出进行聚合处理；可以将聚合结果输入至元分类器。至于聚合的方式本实施例不做具体限定。
例如，所述电子设备可以对所述待检测模型的多个输出进行池化处理(Pooling)；可以将池化处理结果输入至所述元分类器。所述池化处理方式可以包括平均池化方式(Mean Pooling)、最大池化方式(Max Pooling)等。另举一例，所述电子设备还可以对所述待检测模型的多个输出进行级联处理；可以将级联处理结果输入至所述元分类器。
所述检测结果用于表示待检测模型中是否植入有后门。所述检测结果例如可以为分值，该分值可以用于表示待检测模型中植入有后门的概率。当然，所述检测结果还可以为其它的形式。例如，所述检测结果还可以为类别，该类别取自第一类别和第二类别。所述第一类别用于表示待检测模型中未植入后门，所述第二类别用于表示待检测模型中植入有后门。
本说明书实施例的后门检测方法，可以将后门探针输入至待检测模型，可以将待检测模型的输出输入至元分类器，得到检测结果。这样可以利用后门探针和元分类器，通过对待检测模型进行分类，得到检测结果。
本说明书实施例还提供一种分类器优化装置。
请参阅图3。所述分类器优化装置可以包括以下单元。
第一输入单元32，用于将后门探针输入至携带标签的模型，所述标签用于表示模型中是否植入有后门；
第二输入单元34，用于将所述模型的输出输入至元分类器；
优化单元36，用于根据元分类器的输出和所述标签，优化所述元分类器和所述后门探针。
本说明书实施例还提供一种后门检测装置。
请参阅图4。所述后门检测装置可以包括以下单元。
第一输入单元42，用于将后门探针输入至待检测模型；
第二输入单元44，用于将待检测模型的输出输入至元分类器，得到检测结果，所述检测结果用于表示待检测模型中是否植入有后门，所述后门探针和所述元分类器基于权利要求1-6中任一项方法优化得到。
下面介绍本说明书电子设备的一个实施例。图9是该实施例中电子设备的硬件结构示意图。如图9所示，该电子设备可以包括一个或多个(图中仅示出一个)处理器、存储器和传输模块。当然，本领域普通技术人员可以理解，图9所示的硬件结构仅为示意，其并不对上述电子设备的硬件结构造成限定。在实际中该电子设备还可以包括比图9所示更多或者更少的组件单元；或者，具有与图9所示不同的配置。
所述存储器可以包括高速随机存储器；或者，还可以包括非易失性存储器，例如一个或者多个磁性存储装置、闪存或者其他非易失性固态存储器。当然，所述存储器还可以包括远程设置的网络存储器。所述远程设置的网络存储器可以通过诸如互联网、企业内部网、局域网、移动通信网等网络连接至所述电子设备。所述存储器可以用于存储应用软件的程序指令或模块，例如本说明书图1或图2所对应实施例的程序指令或模块。
所述处理器可以按任何适当的方式实现。例如，所述处理器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific IntegratedCircuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式等等。所述处理器可以读取并执行所述存储器中的程序指令或模块。
所述传输模块可以用于经由网络进行数据传输，例如经由诸如互联网、企业内部网、局域网、移动通信网等网络进行数据传输。
本说明书还提供计算机存储介质的一个实施例。所述计算机存储介质包括但不限于随机存取存储器(Random Access Memory,RAM)、只读存储器(Read-Only Memory,ROM)、缓存(Cache)、硬盘(Hard Disk Drive,HDD)、存储卡(Memory Card)等等。所述计算机存储介质存储有计算机程序指令。在所述计算机程序指令被执行时实现：本说明书图1或图2所对应实施例的程序指令或模块。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，每个实施例重点说明的都是与其它实施例的不同之处。尤其，对于装置实施例、电子设备实施例、以及计算机存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。另外，可以理解的是，本领域技术人员在阅读本说明书文件之后，可以无需创造性劳动想到将本说明书列举的部分或全部实施例进行任意组合，这些组合也在本说明书公开和保护的范围内。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本说明书可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本说明书的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本说明书各个实施例或者实施例的某些部分所述的方法。
本说明书可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
虽然通过实施例描绘了本说明书，本领域普通技术人员知道，本说明书有许多变形和变化而不脱离本说明书的精神，希望所附的权利要求包括这些变形和变化而不脱离本说明书的精神。

Claims (7)

1.一种分类器优化方法，包括：
将多个后门探针分别输入至携带标签的模型，得到所述模型的多个输出，所述后门探针包括图像数据，所述标签用于表示模型中是否植入有后门，所述模型包括特征提取子模型和分类子模型，所述特征提取子模型用于从输入数据中提取特征数据，所述分类子模型用于根据特征数据对输入数据进行分类，所述模型的输出包括特征提取子模型输出的特征数据；
对所述模型的多个输出进行池化处理；
将池化处理结果输入至元分类器；
根据元分类器的输出和所述标签，优化所述元分类器和所述后门探针，所述优化所述后门探针包括：调整图像数据中像素点的像素值。
2.如权利要求1所述的方法，所述优化所述元分类器和所述后门探针，包括：
根据分类器的输出和所述标签，计算损失函数的取值；
根据损失函数的取值，利用误差反向传播机制，优化所述元分类器和所述后门探针。
3.如权利要求1所述的方法，还包括：
根据优化后的元分类器和后门探针，迭代执行以上步骤，直至满足预设条件。
4.一种后门检测方法，包括：
将多个后门探针分别输入至待检测模型，得到待检测模型的多个输出；所述后门探针包括图像数据，所述待检测模型包括特征提取子模型和分类子模型，所述特征提取子模型用于从输入中提取特征数据，所述分类子模型用于根据特征数据对输入数据进行分类，所述待检测模型的输出包括特征提取子模型输出的特征数据；
对待检测模型的多个输出进行池化处理；
将池化处理结果输入至元分类器，得到检测结果，所述检测结果用于表示待检测模型中是否植入有后门，所述后门探针和所述元分类器基于权利要求1-3任一项方法优化得到。
5.一种分类器优化装置，包括：
第一输入单元，用于将多个后门探针分别输入至携带标签的模型，得到所述模型的多个输出，所述后门探针包括图像数据，所述标签用于表示模型中是否植入有后门，所述模型包括特征提取子模型和分类子模型，所述特征提取子模型用于从输入数据中提取特征数据，所述分类子模型用于根据特征数据对输入数据进行分类，所述模型的输出包括特征提取子模型输出的特征数据；
处理单元，用于对所述模型的多个输出进行池化处理；
第二输入单元，用于将池化处理结果输入至元分类器；
优化单元，用于根据元分类器的输出和所述标签，优化所述元分类器和所述后门探针，所述优化所述后门探针包括：调整图像数据中像素点的像素值。
6.一种后门检测装置，包括：
第一输入单元，用于将多个后门探针分别输入至待检测模型，得到待检测模型的多个输出；所述后门探针包括图像数据，所述待检测模型包括特征提取子模型和分类子模型，所述特征提取子模型用于从输入中提取特征数据，所述分类子模型用于根据特征数据对输入数据进行分类，所述待检测模型的输出包括特征提取子模型输出的特征数据；
处理单元，用于对待检测模型的多个输出进行池化处理；
第二输入单元，用于将池化处理结果输入至元分类器，得到检测结果，所述检测结果用于表示待检测模型中是否植入有后门，所述后门探针和所述元分类器基于权利要求1-3中任一项方法优化得到。
7.一种电子设备，包括：
至少一个处理器；
存储有程序指令的存储器，其中，所述程序指令被配置为适于由所述至少一个处理器执行，所述程序指令包括用于执行如权利要求1-4中任一项所述方法的指令。
CN202011262238.3A 2020-11-12 2020-11-12 分类器优化方法、后门检测方法、装置和电子设备 Active CN112380974B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011262238.3A CN112380974B (zh) 2020-11-12 2020-11-12 分类器优化方法、后门检测方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011262238.3A CN112380974B (zh) 2020-11-12 2020-11-12 分类器优化方法、后门检测方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN112380974A CN112380974A (zh) 2021-02-19
CN112380974B true CN112380974B (zh) 2023-08-15

Family

ID=74583315

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011262238.3A Active CN112380974B (zh) 2020-11-12 2020-11-12 分类器优化方法、后门检测方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN112380974B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110868419A (zh) * 2019-11-18 2020-03-06 杭州安恒信息技术股份有限公司 Web后门攻击事件的检测方法、装置及电子设备
CN111222588A (zh) * 2020-04-24 2020-06-02 支付宝(杭州)信息技术有限公司 一种后门样本检测方法、系统及装置
CN111242291A (zh) * 2020-04-24 2020-06-05 支付宝(杭州)信息技术有限公司 神经网络后门攻击的检测方法、装置和电子设备
CN111260059A (zh) * 2020-01-23 2020-06-09 复旦大学 视频分析神经网络模型的后门攻击方法
CN111291902A (zh) * 2020-04-24 2020-06-16 支付宝(杭州)信息技术有限公司 后门样本的检测方法、装置和电子设备
CN111914254A (zh) * 2020-06-24 2020-11-10 中国科学院信息工程研究所 一种基于弱耦合sgan的恶意软件家族分类器生成方法、装置及可读存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL191744A0 (en) * 2008-05-27 2009-02-11 Yuval Elovici Unknown malcode detection using classifiers with optimal training sets
US11132444B2 (en) * 2018-04-16 2021-09-28 International Business Machines Corporation Using gradients to detect backdoors in neural networks
US11188789B2 (en) * 2018-08-07 2021-11-30 International Business Machines Corporation Detecting poisoning attacks on neural networks by activation clustering

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110868419A (zh) * 2019-11-18 2020-03-06 杭州安恒信息技术股份有限公司 Web后门攻击事件的检测方法、装置及电子设备
CN111260059A (zh) * 2020-01-23 2020-06-09 复旦大学 视频分析神经网络模型的后门攻击方法
CN111222588A (zh) * 2020-04-24 2020-06-02 支付宝(杭州)信息技术有限公司 一种后门样本检测方法、系统及装置
CN111242291A (zh) * 2020-04-24 2020-06-05 支付宝(杭州)信息技术有限公司 神经网络后门攻击的检测方法、装置和电子设备
CN111291902A (zh) * 2020-04-24 2020-06-16 支付宝(杭州)信息技术有限公司 后门样本的检测方法、装置和电子设备
CN111914254A (zh) * 2020-06-24 2020-11-10 中国科学院信息工程研究所 一种基于弱耦合sgan的恶意软件家族分类器生成方法、装置及可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
深度学习模型的中毒攻击与防御综述;陈晋音;邹健飞;苏蒙蒙;张龙源;;信息安全学报(04);全文 *

Also Published As

Publication number Publication date
CN112380974A (zh) 2021-02-19

Similar Documents

Publication Publication Date Title
WO2019153551A1 (zh) 文章分类方法、装置、计算机设备及存储介质
CN110750965B (zh) 英文文本序列标注方法、系统及计算机设备
CN110288079B (zh) 特征数据获取方法、装置和设备
CN114896983A (zh) 模型训练方法、文本处理方法、装置和计算机设备
CN116089648B (zh) 基于人工智能的档案管理系统及方法
CN114358203A (zh) 图像描述语句生成模块的训练方法及装置、电子设备
CN112749737A (zh) 图像分类方法及装置、电子设备、存储介质
CN114416981A (zh) 一种长文本的分类方法、装置、设备及存储介质
CN113221717A (zh) 一种基于隐私保护的模型构建方法、装置及设备
CN112380974B (zh) 分类器优化方法、后门检测方法、装置和电子设备
WO2023185209A1 (zh) 模型剪枝
CN111582565A (zh) 数据融合方法、装置和电子设备
CN117113174A (zh) 一种模型训练的方法、装置、存储介质及电子设备
CN115080745A (zh) 基于人工智能的多场景文本分类方法、装置、设备及介质
CN114090781A (zh) 基于文本数据的容斥事件检测方法和装置
CN115700555A (zh) 模型训练方法、预测方法、装置和电子设备
CN114547308A (zh) 文本处理的方法、装置、电子设备及存储介质
CN114064905A (zh) 网络攻击检测方法、装置、终端设备、芯片及存储介质
CN113377910A (zh) 情感评价方法、装置、电子设备和存储介质
CN113934842A (zh) 文本聚类方法、装置及可读存储介质
CN113033212B (zh) 文本数据处理方法及装置
CN113869529B (zh) 用于生成对抗样本的方法、模型评估方法、装置和计算机设备
CN116484856B (zh) 一种文本的关键词提取方法、装置、电子设备及存储介质
CN111158704B (zh) 模型建立方法、部署流程生成方法、装置和电子设备
CN116992035B (zh) 一种提案智能分类的方法、装置、计算机设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant