CN116484609A - 深度学习软测量模型的知识引导型对抗攻击与防御方法 - Google Patents

Abstract

本发明公开了深度学习软测量模型的知识引导型对抗攻击与防御方法，包含以下步骤：首先，建立针对深度学习软测量模型的对抗攻击框架，并提出此类攻击具备切实可行性所需满足的特性；然后，提出知识引导型对抗攻击方法对深度学习软测量模型开展攻击，该方法将机理知识引入目标函数，并加入新约束条件，定义障碍函数以重构优化问题从而解决优化问题的病态；最后，在所提攻击方法的基础上，提出相应的知识引导型对抗训练防御方法，结合对抗样本和初始深度学习软测量模型开展主动防御；相比于其他对抗攻击方法，本发明具备切实可行性，且实施对抗训练能够有效增强深度学习软测量模型的对抗鲁棒性，从而提升模型使用时的安全性和可靠性。

Description

深度学习软测量模型的知识引导型对抗攻击与防御方法

技术领域

本发明属于工业软测量与工业信息安全领域，具体涉及一种深度学习软测量模型的知识引导型对抗攻击与防御方法。

背景技术

在现今的复杂工业过程现场，许多都已经配备了多层次、多尺度的检测仪器，从而使工业过程的大多数变量都能够被直接获取，但仍有少数变量由于测量成本和测量环境恶劣等原因，其值无法被检测仪器直接测出。为了解决这一测量难题，软测量技术应运而生，该技术将容易测得的辅助变量作为输入，难测的主导变量作为输出，在两者间建立一种数学模型，从而不依赖于硬件传感器，直接实现对主导变量的实时测量。

软测量模型的建模方法主要分为机理驱动的软测量建模和数据驱动的软测量建模两种。对于复杂工业过程来说，准确的机理模型往往难以获取，因此更多地是使用数据驱动的软测量建模方法，在这其中，基于深度神经网络来建立深度学习软测量模型(DLSS)，已经被证实能够比浅层的软测量模型实现更高的测量精度，有关深度学习软测量建模方面的内容也得到了广泛的关注和研究。

目前，确保训练出一个具有良好泛化能力的DLSS已经不再是困难的问题，为了使DLSS更好的满足实际复杂工业过程的需求，确保其可靠性成为了一项急需的工作。当DLSS部署在工业控制系统之后，考虑到当前工业控制系统不断地从封闭走向互联，以及DLSS自身数据驱动模型的属性，部署在其中的DLSS在面对恶意对抗攻击时的安全已经无法保证，导致其可靠性受到严重威胁。

对抗攻击是指攻击者主动地设计出人类肉眼难以察觉的细微扰动，再将该扰动施加在原始样本上以生成对抗样本，然后使用该对抗样本输入数据驱动模型以使模型给出错误输出的恶意攻击行为。有学者提出一种名为对抗时间序列生成机(ATSG)的方法来实现对DLSS的对抗攻击，实验结果证实了DLSS在面对对抗攻击时是脆弱的。但是，该项研究的目标函数在实际测量时是病态的，即该方法没有考虑到实际测试样本的真实标签无法获取的情况，因此该攻击方法的实用价值有限。一种名为迭代式直接攻击输出(IDAO)的方法通过直接攻击输出的方式巧妙地避免了对真实标签的使用，实现了对DLSS的对抗攻击。但是，使软测量模型输出最大化的优化目标是不切实际的，因为有经验的操作人员或过程专家能够凭借自身的知识发现输出大幅增加的异样，当攻击频率较高时，这种异常会更加明显，并很容易被检测出来。另外，对DLSS的攻击一般需要经历多次尝试，这是由工业过程自身的复杂性所决定的。在初次尝试直到达成攻击目的的过程中，软测量模型自身可能发生退化，即其在线测量性能会随着时间的推移而恶化。由于现有攻击方法均以预测值最大化或预测值与真实值的距离最大化为目标函数，退化现象会使攻击后的输出值过大或过小，这就会使攻击方法更加容易被发现，从而导致攻击失效。因此，现有的攻击方法存在各种不足之处，需要研究一种真正切实可行的攻击方法。

另外，研究针对软测量的对抗攻击是为了加强相关研究人员对DLSS缺乏可靠性的认识，从而促进对DLSS对抗攻击的防御方法的研究，以使DLSS在部署后能够更加安全可靠。对抗训练方法作为代表性地启发式防御方法，经常能够表现出最佳性能，被认为是当前最有效的防御方法之一，因此，需要在软测量场景下研究基于对抗训练的防御技术，从而确保DLSS在面对对抗攻击时的鲁棒性。

发明内容

本发明的目的是提供一种深度学习软测量模型的知识引导型对抗攻击与防御方法，通过引入知识提出一种具备切实可行性的知识引导型的对抗攻击(KGAA)方法，然后，提出相对应地KGAA对抗训练方法来展开防御，以提升模型的对抗鲁棒性，从而确保DLSS在部署后面对对抗攻击时的可靠性。

为了解决上述技术问题，本发明公开了深度学习软测量模型的知识引导型对抗攻击与防御方法，具体按照以下步骤实施：

步骤1，首先建立针对深度学习软测量模型DLSS的对抗攻击框架，并提出针对DLSS的对抗攻击具备切实可行性所要满足的三个特性；

步骤2，引入知识并提出知识引导型对抗攻击KGAA方法来对DLSS进行攻击；

步骤3，提出KGAA对抗训练方法来开展对抗攻击的防御，从而提升DLSS的对抗鲁棒性。

进一步地，步骤1具体做法为：

步骤1.1，从时机、信息和优化目标三个方面来对软测量场景下的对抗攻击进行建模，从而得出DLSS的对抗攻击框架：时机方面，对软测量模型的攻击是指对其所做出的主导变量预测的攻击；信息方面，攻击者所能获得的有关软测量的信息有限，因此通过劫持观测数据建立一个代理模型，在该代理模型的基础上实现对抗攻击；优化目标方面，将优化目标设置为最大化预测误差，因此，通过建立一个优化问题从而构建出对抗攻击模型，该优化问题如下所示：

s.t.||δ||_∞≤ε (1)

其中，max之后与max同处一行的公式是指该优化问题的目标函数，本式中优化问题的目标函数用L表示，在软测量场景下选用均方误差，max指该优化问题的目标是求目标函数L的最大值，s.t.是指其后的公式为约束条件，f表示训练得到的代理软测量模型，θ为软测量模型的参数，δ表示经对抗攻击生成的不可察觉干扰，不可察觉性通过无穷范数||||_∞来表征，ε表示该干扰的阈值，x表示输入数据，x+δ表示经攻击后得到的新数据，即对抗样本，f(x+δ；θ)为受到攻击后软测量模型的输出，也用y_attacked来表示，y为x对应的真实标签；

步骤1.2，提出切实可行的有效对抗攻击应该满足三个特性，即隐蔽性，合理性和稳定性，隐蔽性是指被攻击后的辅助变量在数值上变化细微不易察觉，同时，还要求该对抗样本能够在攻击前后保持原有重要信息不变，从而最大程度的保证测量结果的准确性；合理性是指将对抗样本输入软测量模型后得到的输出是合理的，体现在该值能够符合过程专家对当前生产单元的认识；稳定性是指攻击方法面对软测量模型退化时的稳定性，体现在攻击的能力不受软测量模型退化的影响。

进一步地，步骤2具体做法为：

步骤2.1，将机理知识引入优化问题目标函数L的构建，将过程对应的知识驱动软测量模型KDSS的预测值y_KDSS赋予y，这样就使每次攻击时的损失函数均能够计算，从而克服了该优化问题的病态；

步骤2.2，为了确保y_attacked与y_KDSS相近，式(1)中的目标函数需要进行相应的改变，同时，为了保证y_attacked不产生波动过于显著的无序输出，新的约束条件被增加到优化问题中，因此，所提出的KGAA的优化问题如下：

s.t.f(x+δ)-y_KDSS≥0

||δ||_∞≤ε (2)

由于式(2)的约束非线性，定义障碍函数G((x+δ),r；θ)来确保求解过程中保持在可行域内部进行搜索，G((x+δ),r；θ)如下所示：

G((x+δ),r；θ)＝-L(y_KDSS,f(x+δ；θ))-rB(x+δ) (3)

其中，r为一个极小的正数，B(x+δ)＝1/f(x+δ)-y_KDSS，当x趋向可行域的边界时，G((x+δ),r；θ)趋向于负无穷大，因此，可通过求解下面的优化问题来得到式(2)的近似解：

s.t.x∈S

||δ||_∞≤ε (4)

其中，S表示可行域；

步骤2.3，根据G((x+δ),r；θ)的定义，r取值越小，使式(4)的最优解就与式(2)的越接近，但r取值过小也会给优化问题的计算带来困难，因此，采用序列无约束极小化方法，取一个严格单调递减且趋于零的罚因子数列{r_k}，对每一个k，从内部的极小点出发来求解优化问题，因此，求解式(4)的过程即就是实现KGAA的过程，求解式(4)的具体步骤如下：

1)对原始输入样本x使用初始内点决定算法确保从内点x₀开始寻优；

2)计算出每次迭代时的扰动阈值α＝ε₁/2N，其中ε₁为KGAA的整体扰动阈值，N为攻击所需的迭代次数；

3)更新障碍因子r＝rβ，其中β为收缩因子；

4)计算当次迭代所得到的扰动

5)计算出当次迭代所得到的对抗样本x_n+1＝x_n+δ；

6)循环执行步骤4)～5)，直到达到最大迭代次数N；

7)重复执行步骤3)～6)，直到达到算法跳出条件rB(x_n+1)<ε₂为止，其中，ε₂为目标函数的允许误差；

8)得到最终的对抗样本x_KGAA＝x_n+1，然后即可利用x_KGAA对所部署的原深度学习软测量模型进行攻击。

进一步地，步骤3具体做法为：

步骤3.1，将对抗训练的过程表示为如式(5)所示：

其中，z表示对抗样本的数量，l为计数变量；

步骤3.2，求解式(5)，内部最大化问题通过实施KGAA来实现，将外部最小化过程看作损失最小化的标准训练程序来执行，训练完毕后则实现了基于对抗训练的防御，从而使DLSS具备对抗鲁棒性。

与现有技术相比，本发明的有益效果：

本发明所提供的知识引导型的对抗攻击方法，通过将机理知识加入目标函数，并加入新的约束条件，再定义障碍函数以重构优化问题从而有效解决了攻击回归模型时优化问题的病态，通过在复杂工业过程软测量案例(空气预热器转子热变形软测量)上的实验，结果显示所得到的虚假输出具备切实可行性(包括隐蔽性、合理性和稳定性)，KGAA能够成功实施针对DLSS的对抗攻击。本发明所提供的基于KGAA的对抗训练防御方法，实验结果显示该方法有效地实现了对KGAA的防御，并能够在损失较小预测精度的基础上提升对抗鲁棒性。

附图说明

图1是经本发明所提出的针对工业软测量模型的对抗攻击与防御架构图；

图2是经本发明所应用的空气预热器案例的转子热变形示意图和间隙补偿示意图；

图3是经本发明代理软测量模型和机理模型驱动的软测量模型的预测结果图；

图4是经本发明KGAA方法攻击后所得输出的核密度估计曲线图和其他攻击方法攻击后所得输出的核密度估计曲线图；

图5是全部四个辅助变量经本发明所提出的KGAA方法攻击前后的曲线图；

图6是经本发明第四个辅助变量经其他攻击方法攻击前后的曲线图；

图7是经本发明所提出的KGAA方法攻击DLSS后的攻击效果图。

图中：1-转子，2-顶部扇形板，3-漏风间隙。

具体实施方式

本发明附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

以下将配合实施例来详细说明本发明的实施方式，藉此对本发明如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。

本发明公开了一种深度学习软测量模型的知识引导型对抗攻击与防御方法，该方法的整体实施架构如图1所示，具体按照以下步骤实施：

步骤1，首先建立针对深度学习软测量模型DLSS的对抗攻击框架，并提出针对DLSS的对抗攻击具备切实可行性所要满足的三个特性；

具体步骤为：

步骤1.1，从时机、信息和优化目标三个方面来对软测量场景下的对抗攻击进行建模，从而得出深度学习软测量模型的对抗攻击框架：信息方面，攻击者所能获得的有关软测量的信息有限，因此通过劫持观测数据建立一个代理模型，在该代理模型的基础上实现对抗攻击，具体来说，软测量模型开发人员首先会基于采集自工业过程的历史数据集开发出软测量模型并部署在工业控制系统，该软测量模型对于攻击者是黑箱的，因此称为黑箱软测量模型，攻击者劫持来自工业过程的观测数据集，在此基础上利用部署好的黑箱软测量模型来训练出该代理软测量模型；时机方面，对软测量模型的攻击是指对其所做出的主导变量预测的攻击，具体来说，攻击者会劫持当前时刻的查询数据，然后结合该查询数据和之前训练好的代理软测量模型来开展对抗攻击，最终使软测量模型对该查询数据的输出给出错误结果；优化目标方面，将优化目标设置为最大化预测误差，因此，通过建立一个优化问题从而构建出对抗攻击模型，该优化问题如下所示：

s.t.||δ||_∞≤ε (1)

其中，max之后与max同处一行的公式是指该优化问题的目标函数，本式中优化问题的目标函数用L表示，在软测量场景下选用均方误差，max指该优化问题的目标是求目标函数L的最大值，s.t.是指其后的公式为约束条件，f表示训练得到的代理软测量模型,θ为软测量模型的参数，δ表示经对抗攻击生成的不可察觉干扰，不可察觉性通过无穷范数||||_∞来表征，ε表示该干扰的阈值，x表示输入数据，x+δ表示经攻击后得到的新数据，即对抗样本，f(x+δ；θ)为受到攻击后软测量模型的输出，也用y_attacked来表示，y为x对应的真实标签。

步骤1.2，提出切实可行的有效对抗攻击应该满足三个特性，即隐蔽性，合理性和稳定性：隐蔽性是指被攻击后的辅助变量在数值上变化细微不易察觉，同时，还要求该对抗样本能够在攻击前后保持原有重要信息不变，从而最大程度的保证测量结果的准确性；合理性是指将对抗样本输入软测量模型后得到的输出是合理的，体现在该值能够符合过程专家对当前生产单元的认识；稳定性是指攻击方法面对软测量模型退化时的稳定性，体现在攻击的能力不受软测量模型退化的影响。

步骤2，在此基础上，引入知识并提出知识引导型对抗攻击KGAA方法来对深度学习软测量模型进行攻击；

具体步骤为：

步骤2.1，将机理知识引入目标函数L的构建，将过程对应的知识驱动软测量模型(KDSS)的预测值y_KDSS赋予y，这样就使每次攻击时的损失函数均能够计算，从而克服了该优化问题的病态；

步骤2.2，为了确保y_attacked与y_KDSS相近，式(1)中的目标函数需要进行相应的改变，同时，为了保证y_attacked不产生波动过于显著的无序输出，新的约束条件被增加到优化问题中，因此，所提出的KGAA的优化问题如下：

s.t.f(x+δ)-y_KDSS≥0

||δ||_∞≤ε (2)

由于式(2)的约束非线性，定义障碍函数G((x+δ),r；θ)来确保求解过程中保持在可行域内部进行搜索，G((x+δ),r；θ)如下所示：

G((x+δ),r；θ)＝-L(y_KDSS,f(x+δ；θ))-rB(x+δ) (3)

其中，r为一个极小的正数，B(x+δ)＝1/f(x+δ)-y_KDSS，当x趋向可行域的边界时，G((x+δ),r；θ)趋向于负无穷大，因此，可通过求解下面的优化问题来得到式(2)的近似解：

s.t.x∈S

||δ||_∞≤ε (4)

其中S表示可行域。

步骤2.3，根据G((x+δ),r；θ)的定义，r取值越小，使式(4)的最优解就与(2)的越接近，但r取值过小也会给优化问题的计算带来困难，因此，采用序列无约束极小化方法，取一个严格单调递减且趋于零的罚因子数列{r_k}，对每一个k，从内部的极小点出发来求解优化问题。因此，求解式(4)的过程即就是实现KGAA的过程，求解式(4)的具体步骤如下：

1)对原始输入样本x使用初始内点决定算法确保从内点x₀开始寻优；

2)计算出每次迭代时的扰动阈值α＝ε₁/2N，其中ε₁为KGAA的整体扰动阈值，N为攻击所需的迭代次数；

3)更新障碍因子r＝rβ，其中β为收缩因子；

4)计算当次迭代所得到的扰动

5)计算出当次迭代所得到的对抗样本x_n+1＝x_n+δ；

6)循环执行步骤4)～5)，直到达到最大迭代次数N；

7)重复执行步骤3)～6)，直到达到跳出条件rB(x_n+1)<ε₂为止，其中，ε₂为目标函数的允许误差；

8)得到最终的对抗样本x_KGAA＝x_n+1，然后即可利用x_KGAA对所部署的原深度学习软测量模型进行攻击。

步骤3，提出KGAA对抗训练方法来开展对抗攻击的防御，从而提升DLSS的对抗鲁棒性；

具体步骤为：

步骤3.1，将对抗训练的过程表示为如式(5)所示：

其中，z表示对抗样本的数量，l为计数变量；

步骤3.2，求解式(5)，内部最大化问题通过实施KGAA来实现，将外部最小化过程看作损失最小化的标准训练程序来执行，结合得到的对抗样本和初始黑箱软测量模型开展训练，训练完毕后则实现了基于对抗训练的主动防御。

以下实验说明本发明一种深度学习软测量模型的知识引导型对抗攻击与防御方法是有效可行的：

基于空气预热器转子热变形软测量的工业实例，通过对KGAA攻击结果是否具有隐蔽性、合理性和稳定性进行判别来分析和证实KGAA的切实可行性，通过对KGAA和其他两种攻击方法进行对比实验来分析和证实KGAA对抗训练防御的有效性；

具体步骤为：

1)图2是空气预热器转子热变形示意图和间隙补偿示意图，在本案例中，建立软测量模型来代替硬件传感器对转子1的热变形进行实时测量，根据测得的变形量，执行机构会上下调节扇形板2的位置从而补偿漏风间隙3，如图中所举之例来说，系统会对传感器测得的间隙值与设定值进行比较，当测量值大于设定值时，输出间隙过大的信号，然后下放扇形板以跟踪变形间隙，从而有效减少空气泄露。

KDSS和DLSS均可用来用来对热变形进行测量，在本案例中，辅助变量的个数设为4，则有第一个辅助变量用x(1)表示，指空气出口温度，第二个辅助变量用x(2)表示，指烟气入口温度，第三个辅助变量用x(3)表示，指空气入口温度，第四个辅助变量用x(4)表示，指的是烟气出口温度，转子热变形的具体计算公式如下：

其中，T表示平均流体温度，ΔT＝(T_h+T_c)/2；T_h为热端平均温度(x(1)和x(2)的平均值)；T_c为冷端平均温度(x(3)和x(4)的平均值)；冷、热端平均温度差ΔT＝T_h-T_c；R为转子的半径；H为转子的高度。除了如(6)所示的KDSS之外，基于所提出的对抗攻击框架，建立出一个数据驱动的代理软测量模型(DDPSS)并对其实施对抗攻击，所建立模型的网络模型结构为4-16-32-64-32-1。训练DDPSS所用的训练数据为10000个，测试数据为6000个，他们之间互不重叠。1号测试集的数量为4000(用于DDPSS的训练和KGAA攻击效果的测试)，2号测试集的数量为2000(用于KGAA对抗训练防御效果的测试)。

图3是实施例中KDSS和DDPSS在1号测试集上的预测结果，图3(a)为DDPSS的预测结果，图3(b)为KDSS的预测结果。为了便于观察，只选择了其中的1000个数据的测试结果进行展示，可以看出KDSS比DDPSS的预测误差更大，而DDPSS的预测结果能够相对准确地追踪真实热变形的变化。KGAA的相关参数设置如下：r＝0.1,N＝20,ε₁＝0.1,ε₂＝10^-4,β＝0.1。该KDSS的预测结果被用来在训练集的10000个样本上对DDPSS执行KGAA。同时，采取了背景技术部分阐述过的IDAO方法，以及一种随机噪声攻击(RNAA)法作为对比方法，扰动阈值同样设置为0.1。RNAA的噪声采样自均值为0，标准差为0.045的正态分布。在训练集上比较三种攻击方法(KGAA、IDAO和RNAA)的攻击效果，采用平均绝对误差MAE、平均绝对百分比误差MAPE、相关系数ρ_PCC和均方根误差RMSE来定量地评价攻击方法是否具有切实可行性。

表1是实施例中使用不同攻击方法得到的攻击可行性评价指标结果，可以看出KGAA实现了最高的ρ_PCC，说明相较于IDAO和RNAA，KGAA产生的输出与KDSS的输出相关性更强。同时，表1中显示KGAA的RMSE的取值小于IDAO和RNAA，说明相比于IDAO和RNAA方法，KGAA更具隐蔽性。表1的后四行显示了深度学习软测量模型面对模型退化时攻击的稳定性(需要说明的是，由于采集条件的限制，本次实验所收集的空气预热器数据大多数来自锅炉的稳定工况，起炉和停炉阶段的数据较少(分别为400和600个)，而基于稳定工况数据建立的DDPSS在停炉阶段的预测精度不可避免的会产生恶化)，KAGG的MAE值和MAPE值在模型退化后变化很小，而IDAO和RNAA的误差指标发生了较大的变化，说明这两种方法的攻击效果无法长时间维持在一个较高水准，一旦模型的预测性能产生恶化，它们的攻击效果也随之恶化，表现为输出值和真实值的差距进一步增大，这样攻击结果也就极易被发现并被定义为异常。

表1是实施例中使用不同攻击方法得到的攻击可行性评价指标结果

图4是实施例中经三种方法攻击后产生的输出的核密度估计直方图，图4(a)是KDSS输出值的核密度估计，图4(b)是经KGAA后输出值的核密度估计，图4(c)是经IDAO后输出值的核密度估计，图4(d)是经RNAA后输出值的核密度估计。由图可知，KGAA攻击后所得输出的核密度曲线与KDSS输出的核密度曲线相似度最高，而IDAO和RNAA的输出分布与KDSS相比显示出较大的不同。因此，说明只有KGAA产生的输出能够与KDSS的输出保持较高的一致性。由于过程专家一般利用KDSS作为知识对软测量模型输出的合理性进行判别，KGAA所产生的具备高一致性的输出则能够符合专家对当前转子热变形规律的认识，因此其攻击结果就不容易被判断为异常。相比之下，经过IDAO和RNAA方法得到的输出与已掌握的知识相比差异较大，因此这两种方法被认为不具备合理性。

图5是实施例中共计四个辅助变量经历KGAA前后的曲线，可以看出无论是哪一个辅助变量，KGAA攻击后的样本仍然与原样本保持着高度重合，因此也通过图像直观地证实了KGAA具备隐蔽性。

图6是实施例中第四个辅助变量经历IDAO和RNAA后的曲线，从图中可以明显看出相比于KGAA攻击的隐蔽性，被IDAO和RNAA攻击后的样本在很多点产生了较大偏移，通过对比进一步说明了KGAA更具隐蔽性。

图7(a)是实施例中在1号测试集上的KGAA的攻击效果图，具体地，前一半曲线表示未经攻击的主导变量输出，后一半曲线表示被攻击后的输出，由于被攻击后的输出满足机理知识，过程专家仅从肉眼很难察觉DDPSS正在受到攻击(在对2000个样本攻击的过程中只产生了5个困难点，因此困难点对攻击的影响可以忽略不记，在图中，困难点的攻击结果用样本直接输入DDPSS得到的值代替)。另外，将这2000个对抗样本输入数据驱动的原软测量模型(DDOSS)来验证KGAA的迁移性。通过设计一个与DDPSS预测性能相似的软仪表作为DDOSS，其结构被设置为4-16-80-32-1与DDPSS不同，其他模型超参数与DDPSS一致。图7(b)是实施例中迁移性攻击效果图，可以看出，迁移攻击同样难以被察觉，且其输出与KGAA的假输出在数值上十分近似，说明所提出的KGAA凭借其良好的迁移性能够有效的在软测量场景下开展黑盒对抗攻击。在保证不被察觉的基础上，因为KDSS的输出是不满足精度要求的，而经KGAA迁移攻击的假输出又与KDSS的输出相近，所以该预测结果中含有许多相对于真值来说过大或过小的输出。这很容易使控制系统得出间隙过大或过小的误判，从而使扇形板调节器误操作。无论是误上升或下降扇形板，都会增加执行机构的动作频率，从而减少执行机构的使用寿命和系统调节的稳定性。严重的话，扇形板会被调整到最低或最高位，如果扇形板被调整到上极限位置，漏风就会增大，从而造成极大的经济损失和能量浪费，在最低位时，就要面临扇形板与转子摩擦的风险，这将导致设备的磨损和破坏，进而造成严重的安全事故。

2)为了防止通过KGAA扰乱软测量模型的输出从而破坏设备和生产安全，采用式(5)进行对抗训练以实现主动防御。基于DDOSS在训练数据上进行KGAA对抗训练，所得的新模型被记作DDOSS_{AT_KGAA}。同时，在2号测试集上分别使用RNAA、KGAA和IDAO对DDPSS进行对抗攻击，生成对应的对抗样本集，将所生成的对抗样本输入DDOSS_{AT_KGAA}以测试其对抗鲁棒性。

表2是实施例中不同攻击方法下的对抗鲁棒性实验结果，其中MAE_test表示2号测试集的预测误差，MAE_{test_IDAO}表示经过IDAO所得对抗样本的预测误差，MAE_{test_RNAA}表示经过RNAA所得对抗样本的预测误差，MAE_{test_KGAA}表示经过KGAA所得对抗样本的预测误差。由表可知，经过对抗训练后，软测量模型DDOSS_{AT_KGAA}的MAE_test增大，说明预测精度有了一定程度的下降，即对抗训练会损失一定的预测精度。同时，软测量模型的MAE_{test_KGAA}产生了下降，说明经过对抗训练后模型有效的防御了KGAA，即模型对KGAA所生成对抗样本的分布进行了良好的拟合，这一结果显示出对抗训练在软测量领域也能够作为一种有效的方法去防御攻击。观察到MAE_{test_IDAO}和MAE_{test_RNAA}的值也产生了下降，说明DDOSS_{AT_KGAA}对各类攻击均产生了一定的鲁棒性。同时，使用RNAA对抗训练得到的新模型被记作DDOSS_{AT_RNAA}，使用该模型进行对比实验结果如表中第三行所示，观察可知RNAA对抗训练虽然也能在一定程度上提升对抗鲁棒性，但提升的幅度不如KGAA，且RNAA对抗训练损失了更多的预测精度。更重要的是，RNAA方法在前文已经证实了不具备隐蔽性。因此，基于KGAA这样一种真正切实可行的对抗攻击方法来增强对抗鲁棒性是有效和必要的。

表2是实施例中不同攻击方法下的对抗鲁棒性实验结果

通过对图2-7及对表1-2的观察，并综合上述分析，可以清楚的看出本发明提出的深度学习软测量模型的知识引导型对抗攻击与防御方法是有效可行的，体现在KGAA攻击方法是切实可行性的，具备隐蔽性、合理性和稳定性，相对应的KGAA对抗训练方法起到了良好的主动防御效果，能够帮助提升深度学习软测量模型的对抗鲁棒性。

本发明是深度学习软测量模型的知识引导型对抗攻击与防御方法，首先建立了针对DLSS的对抗攻击框架，明确了此类对抗攻击具备可行性的基本要求，在此基础上提出KGAA方法，该方法解决了优化问题的病态从而能够成功实施针对DLSS的对抗攻击。在空气预热器的工业案例上，KGAA被证实相比其他方法具备真正的可行性，表现在KGAA在模型退化时依旧具备攻击能力，不仅产生了更加隐蔽的对抗样本，其输出值也能够符合过程知识。同时，所提出的KGAA对抗训练方法有效地实现了对KGAA的防御，并在损失较少预测精度的基础上使DLSS模型对其他攻击方法均具备一定的鲁棒性。

上述说明示出并描述了发明的若干优选实施例，但如前所述，应当理解发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离发明的精神和范围，则都应在发明所附权利要求的保护范围内。

Claims (4)

1.深度学习软测量模型的知识引导型对抗攻击与防御方法，其特征在于，具体按照以下步骤实施：

步骤1，首先建立针对深度学习软测量模型DLSS的对抗攻击框架，并提出针对DLSS的对抗攻击具备切实可行性所要满足的三个特性；

步骤2，引入知识并提出知识引导型对抗攻击KGAA方法来对DLSS进行攻击；

步骤3，提出KGAA对抗训练方法来开展对抗攻击的防御，从而提升DLSS的对抗鲁棒性。

2.根据权利要求1所述的深度学习软测量模型的知识引导型对抗攻击与防御方法，其特征在于，步骤1具体做法为：

步骤1.1，从时机、信息和优化目标三个方面来对软测量场景下的对抗攻击进行建模，从而得出DLSS的对抗攻击框架：时机方面，对软测量模型的攻击是指对其所做出的主导变量预测的攻击；信息方面，攻击者所能获得的有关软测量的信息有限，因此通过劫持观测数据建立一个代理模型，在该代理模型的基础上实现对抗攻击；优化目标方面，将优化目标设置为最大化预测误差，因此，通过建立一个优化问题从而构建出对抗攻击模型，该优化问题如下所示：

s.t.||δ||_∞≤ε (1)

其中，max之后与max同处一行的公式是指该优化问题的目标函数，本式中优化问题的目标函数用L表示，在软测量场景下选用均方误差，max指该优化问题的目标是求目标函数L的最大值，s.t.是指其后的公式为约束条件，f表示训练得到的代理软测量模型，θ为软测量模型的参数，δ表示经对抗攻击生成的不可察觉干扰，不可察觉性通过无穷范数|| ||_∞来表征，ε表示该干扰的阈值，x表示输入数据，x+δ表示经攻击后得到的新数据，即对抗样本，f(x+δ；θ)为受到攻击后软测量模型的输出，也用y_attacked来表示，y为x对应的真实标签；

步骤1.2，提出切实可行的有效对抗攻击应该满足三个特性，即隐蔽性，合理性和稳定性。

3.根据权利要求1所述的深度学习软测量模型的知识引导型对抗攻击与防御方法，其特征在于，步骤2具体做法为：

步骤2.1，将机理知识引入优化问题目标函数L的构建，将过程对应的知识驱动软测量模型KDSS的预测值y_KDSS赋予y，这样就使每次攻击时的损失函数均能够计算，从而克服了该优化问题的病态；

步骤2.2，为了确保y_attacked与y_KDSS相近，式(1)中的目标函数需要进行相应的改变，同时，为了保证y_attacked不产生波动过于显著的无序输出，新的约束条件被增加到优化问题中，因此，所提出的KGAA的优化问题如下：

s.t.f(x+δ)-y_KDSS≥0

||δ||_∞≤ε (2)

由于式(2)的约束非线性，定义障碍函数G((x+δ),r；θ)来确保求解过程中保持在可行域内部进行搜索，G((x+δ),r；θ)如下所示：

G((x+δ),r；θ)＝-L(y_KDSS,f(x+δ；θ))-rB(x+δ) (3)

其中，r为一个极小的正数，B(x+δ)＝1/f(x+δ)-y_KDSS，当x趋向可行域的边界时，G((x+δ),r；θ)趋向于负无穷大，因此，可通过求解下面的优化问题来得到式(2)的近似解：

s.t.x∈S

||δ||_∞≤ε (4)

其中，S表示可行域；

步骤2.3，根据G((x+δ),r；θ)的定义，r取值越小，使式(4)的最优解就与式(2)的越接近，但r取值过小也会给优化问题的计算带来困难，因此，采用序列无约束极小化方法，取一个严格单调递减且趋于零的罚因子数列{r_k}，对每一个k，从内部的极小点出发来求解优化问题，因此，求解式(4)的过程即就是实现KGAA的过程，求解式(4)的具体步骤如下：

1)对原始输入样本x使用初始内点决定算法确保从内点x₀开始寻优；

2)计算出每次迭代时的扰动阈值α＝ε₁/2N，其中ε₁为KGAA的整体扰动阈值，N为攻击所需的迭代次数；

3)更新障碍因子r＝rβ，其中β为收缩因子；

4)计算当次迭代所得到的扰动

5)计算出当次迭代所得到的对抗样本x_n+1＝x_n+δ；

6)循环执行步骤4)～5)，直到达到最大迭代次数N；

7)重复执行步骤3)～6)，直到达到算法跳出条件rB(x_n+1)<ε₂为止，其中，ε₂为目标函数的允许误差；

8)得到最终的对抗样本x_KGAA＝x_n+1，然后即可利用x_KGAA对所部署的原深度学习软测量模型进行攻击。

4.根据权利要求1所述的深度学习软测量模型的知识引导型对抗攻击与防御方法，其特征在于，步骤3具体做法为：

步骤3.1，将对抗训练的过程表示为如式(5)所示：

其中，z表示对抗样本的数量，l为计数变量；

步骤3.2，求解式(5)，内部最大化问题通过实施KGAA来实现，将外部最小化过程看作损失最小化的标准训练程序来执行，训练完毕后则实现了基于对抗训练的防御，从而使DLSS具备对抗鲁棒性。