CN113328908A - 异常数据的检测方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种异常数据的检测方法、装置、计算机设备和存储介质。方法包括：获取通过物联网中的传感设备采集得到的待检测数据；将与待检测数据对应的特征向量，输入至策略选择模型中，通过策略选择模型确定目标模型标识；从物联网的多个层级所部署的检测模型中，确定与目标模型标识对应的目标检测模型；目标检测模型所处的层级与待检测数据的特征向量所表征的层级特性相匹配；将待检测数据传输至目标检测模型所处层级中的检测设备，以使得检测设备中部署的目标检测模型对特征向量进行处理，输出与待检测数据对应的检测结果，检测结果包括表征正常的检测结果和表征异常的检测结果。采用本方法能够极大地提高异常检测的效率。

Description

异常数据的检测方法、装置、计算机设备和存储介质

技术领域

本申请涉及物联网技术领域，特别是涉及一种异常数据的检测方法、装置、计算机设备和存储介质。

背景技术

在物联网中，传感器设备能够将具体的物理现象转换为抽象的信号数据，并将这些数据传输到云平台中以进行更丰富的处理和分析。但是，由于传感器设备可能发生的故障以及实际信号中存在的噪声，导致所收集到的数据经常会出现异常乃至错误，从而影响到后续的处理和分析。与此同时，这些异常通常伴随着一些重要的事件，例如设备故障、环境的突然变化和安全攻击等。因此，需要对这些传感器设备所产生的异常数据进行检测。

传统方式中通常采用部署在云服务器的异常检测模型例如基于机器学习模型(比如神经网络、支持向量机等)来对物联网环境中的异常数据进行检测。然而，将所有的数据传输到云服务器的传统方法会导致网络产生较高的通信延迟，从而导致检测效率低下。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高异常数据的检测效率的异常数据的检测方法、装置、计算机设备和存储介质。

一种异常数据的检测方法，所述方法包括：

获取通过物联网中的传感设备采集得到的待检测数据；

将与所述待检测数据对应的特征向量，输入至策略选择模型中，通过所述策略选择模型确定目标模型标识；

从所述物联网的多个层级所部署的检测模型中，确定与所述目标模型标识对应的目标检测模型；所述目标检测模型所处的层级与所述待检测数据的特征向量所表征的层级特性相匹配；

将所述待检测数据传输至所述目标检测模型所处层级中的检测设备，以使得所述检测设备中部署的所述目标检测模型对所述特征向量进行处理，输出与所述待检测数据对应的检测结果，所述检测结果包括表征正常的检测结果和表征异常的检测结果。

在其中一个实施例中，所述获取通过物联网中的传感设备采集得到的待检测数据，包括：

确定与所述待检测数据对应的原始特征；

对所述原始特征进行降维处理，得到所述待检测数据对应的特征向量；

其中，所述降维处理的方式包括如下至少一种：计算所述待检测数据的原始特征的平均值、中位数、方差、标准差、总和、最大值、以及最小值。

在其中一个实施例中，所述将与所述待检测数据对应的特征向量，输入至策略选择模型中，通过所述策略选择模型确定目标模型标识，包括：

将所述特征向量输入至策略选择模型中，通过所述策略选择模型依据所述特征向量计算选择各检测模型的概率值，得到概率分布向量；

从所述概率分布向量中选择最大概率值作为目标概率值，并将目标概率值所对应的模型标识作为目标模型标识。

在其中一个实施例中，所述策略选择模型的训练步骤包括：

获取样本数据，并将所述样本数据输入至待训练的策略选择模型中，通过所述待训练的策略选择模型输出对应的预测模型标识；

在当次训练过程中，基于预先设置的效益函数，计算与当次训练输出的预测模型标识对应的预测检测模型相关的预期效益值；所述预期效益值用于表征通过预测检测模型进行预测时相应的准确率和时间成本；

基于前次训练所对应的预期效益值与当次训练所对应的预期效益值间的差异，朝最大化预期效益值的方向，对所述策略选择模型的模型参数进行迭代更新，并进入下一次的训练过程进行迭代训练，直至达到训练停止条件时停止，得到训练好的策略选择模型。

在其中一个实施例中，所述在当次训练过程中，基于预先设置的效益函数，计算与当次训练输出的预测模型标识对应的预测检测模型相关的预期效益值，包括：

将当次训练所对应的样本数据，加载至当次训练输出的预测模型标识对应的预测检测模型，并获取对应的时间成本；

基于当次训练输出的预测模型标识对应的预测检测模型，对当次训练所对应的样本数据进行处理，得到预测检测结果；

根据所述预测检测结果，与当次训练所对应的样本数据的正负类别间的差异，确定当次训练所对应的检测准确率；

基于所述时间成本和所述检测准确率，确定与当次训练输出的预测模型标识对应的预测检测模型相关的预期效益值。

在其中一个实施例中，所述检测设备中部署的目标检测模型对所述特征向量进行处理，输出与所述待检测数据对应的检测结果，包括：将所述待检测数据的特征向量输入至所述目标检测模型中，由所述目标检测模型计算所述特征向量与所述待检测数据经自编码后的拟合值之间的当前误差；

依据训练期间得到的误差分布情况，计算所述当前误差在服从所述误差分布情况下的对数概率值；

依据所述对数概率值与预先设置的阈值的大小关系，输出与所述待检测数据对应的检测结果。

在其中一个实施例中，所述检测模型为具有不同编码层次结构的自编码模型，且依据各检测模型的编码层次结构的不同，各检测模型至少分别部署在所述物联网中的物联网设备层、边缘服务器层、以及云服务器层。

一种异常数据的检测装置，所述装置包括：

获取模块，用于获取通过物联网中的传感设备采集得到的待检测数据；

确定模块，用于将与所述待检测数据对应的特征向量，输入至策略选择模型中，通过所述策略选择模型确定目标模型标识；

所述确定模块，还用于从所述物联网的多个层级所部署的检测模型中，确定与所述目标模型标识对应的目标检测模型；所述目标检测模型所处的层级与所述待检测数据的特征向量所表征的层级特性相匹配；

检测模块，用于将所述待检测数据传输至所述目标检测模型所处层级中的检测设备，以使得所述检测设备中部署的所述目标检测模型对所述特征向量进行处理，输出与所述待检测数据对应的检测结果，所述检测结果包括表征正常的检测结果和表征异常的检测结果。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取通过物联网中的传感设备采集得到的待检测数据；

将与所述待检测数据对应的特征向量，输入至策略选择模型中，通过所述策略选择模型确定目标模型标识；

从所述物联网的多个层级所部署的检测模型中，确定与所述目标模型标识对应的目标检测模型；所述目标检测模型所处的层级与所述待检测数据的特征向量所表征的层级特性相匹配；

将所述待检测数据传输至所述目标检测模型所处层级中的检测设备，以使得所述检测设备中部署的所述目标检测模型对所述特征向量进行处理，输出与所述待检测数据对应的检测结果，所述检测结果包括表征正常的检测结果和表征异常的检测结果。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取通过物联网中的传感设备采集得到的待检测数据；

将与所述待检测数据对应的特征向量，输入至策略选择模型中，通过所述策略选择模型确定目标模型标识；

从所述物联网的多个层级所部署的检测模型中，确定与所述目标模型标识对应的目标检测模型；所述目标检测模型所处的层级与所述待检测数据的特征向量所表征的层级特性相匹配；

将所述待检测数据传输至所述目标检测模型所处层级中的检测设备，以使得所述检测设备中部署的所述目标检测模型对所述特征向量进行处理，输出与所述待检测数据对应的检测结果，所述检测结果包括表征正常的检测结果和表征异常的检测结果。

上述异常数据的检测方法、装置、计算机设备和存储介质，通过在物联网的不同层级中分别部署不同的检测模型，并由一策略模型依据输入的待检测数据的特征向量，确定目标模型标识，从而依据目标模型标识确定执行检测步骤的目标检测模型，并由目标检测模型依据输入的特征向量输出待检测数据为正常或异常的检测结果，相较于直接将待检测数据上传到云服务器进行处理的方式，可以通过在物联网的不同层级中部署的检测模型，可以在边缘计算中更准确和快速的实现异常检测，能够避免传输过程中的通信延迟，极大地提高了异常数据的检测效率。

附图说明

图1为一个实施例中异常数据的检测方法的应用环境图；

图2为一个实施例中异常数据的检测方法的流程示意图；

图3为一个实施例中对待检测数据进行预处理的步骤的流程示意图；

图4为一个实施例中由策略选择模型输出目标模型标识的步骤的流程示意图；

图5为一个实施例中策略选择模型确定不同层级的目标检测模型的示意图；

图6为一个实施例中检测设备进行异常数据检测的步骤的流程示意图；

图7为一个实施例中异常数据的检测装置的结构框图；

图8为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的异常数据的检测方法，可以应用于如图1所示的物联网环境中。为了便于理解，本申请实施例中以物联网具有物联网层、边缘计算服务器层、云服务器层的三层系统结构进行说明。其中，物联网层、边缘计算服务器层、云服务器层通过网络实现数据通信与传输。当然，本领域技术人员应当理解，图1所示的物联网系统结构仅作为举例，而不限制本申请的范围；在实际的应用场景中还可以根据需求增加更多层级，例如部署多层物联网层或边缘计算服务器层，亦或是增加新的层级，例如应用层、用户层等等。

从系统层级的角度来看，由于不同的传感设备采集的数据具有不同的层级特性，因此在物联网中各层级分别部署不同的检测模型，以通过不同的检测模型对具有不同特性的数据进行异常检测。为了给不同特性的数据选择适合的检测模型，物联网层还部署有一个策略模型，以提高异常检测的效率和准确率。

从硬件设备的角度来看，物联网层部署有多个传感设备110，该传感设备110用于收集物联网中的各类感知数据，包括但不局限于各种个人计算机、笔记本电脑、智能手机、平板电脑、便携式可穿戴设备、监控摄像头、传感器、RFID(Radio FrequencyIdentification)设备等。

同时，为了对各传感设备110的原始数据进行初步的处理，以提高后续检测的效率，物联网层还部署有处理设备120，该处理设备120包括但不局限于网关、嵌入式设备、报警器等具有一定计算能力的设备。相应地，该处理设备120中部署有相应的检测模型和上述策略模型。

边缘计算服务器层部署有一或多个边缘计算服务器130，边缘计算服务器130内部署有相应的检测模型。云服务器层部署有云服务器140，该云服务器140内同样也部署有相应的检测模型。其中，边缘计算服务器130和云服务器140可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种异常数据的检测方法，以该方法应用于图1中的处理设备为例进行说明，包括以下步骤：

步骤S201，获取通过物联网中的传感设备采集得到的待检测数据。

其中，传感设备收集到的数据称为待检测数据。传感设备将待检测数据发送给处理设备，以供处理设备进行后续的处理。由于传感设备收集到的原始的数据通常具有较高的特征维度，直接对原始的待检测数据进行处理会耗费不必要的算力，因此，在一些实施例中，如图3所示，处理设备在获取到物联网中的传感设备采集得到的待检测数据后，还可以对待检测数据进行预处理，其步骤包括：

步骤S211，确定与待检测数据对应的原始特征。

具体地，传感设备采集到的待检测数据具有原始特征，该原始特征为具有原始特征维度的特征向量。其中，待检测数据的原始特征维度取决于传感设备在物联网中部署的数量以及传感设备的设置属性。处理设备接收待检测数据后，可提取该待检测数据的原始特征，以执行步骤S213。

步骤S213，对原始特征进行降维处理，得到待检测数据对应的特征向量。

具体地，处理设备提取得到待检测数据的原始特征后，对该原始特征进行降维处理。其中，降维处理的方式包括：计算待检测数据的原始特征的平均值、中位数、方差、标准差、总和、最大值、以及最小值等中的一种或多种。

举例而言，处理设备提取待检测数据的具有原始维度1×K的原始特征Xi，并计算该原始特征Xi的平均值、中位数、方差、标准差、总和、最大值和最小值，最终得到待检测数据经降维处理后的特征向量xi，维度为1×k，其中k远远小于K；由此特征向量xi能够最大程度上反映数据整体的特征，避免信息丢失而影响后续检测的准确率。

由此，通过如网关等处理设备对待检测数据进行预处理，能够极大地减少冗余特征，尽多地保留数据有意义的特征，同时提高后续计算处理的效率。

步骤S203，将与待检测数据对应的特征向量，输入至策略选择模型中，通过策略选择模型确定目标模型标识。

其中，策略选择模型为基于强化学习算法训练的神经网络模型。策略选择模型能够根据待检测数据的特征向量，自适应地确定相应的检测模型。在一些实施例中，该策略选择模型可以存储于处理设备的本地内存空间、缓存空间的存储介质、或存储介质上的一个缓存区(Buffer)。

承前所述，物联网中各层部署的检测模型是不同的，为了区分各检测模型，各检测模型对应有唯一的模型标识。为了描述简便，将策略选择模型输出的模型标识称为目标模型标识。

具体地，处理设备将预处理后的待检测数据的特征向量，输入至策略选择模型中，策略选择模型输出一目标模型标识，该目标模型标识用于指示所确定的目标检测模型。

在一些实施例中，如图4所示，由策略选择模型输出目标模型标识的步骤还包括：

步骤S221，将特征向量输入至策略选择模型中，通过策略选择模型依据特征向量计算选择概率分布向量概率值，得到概率分布向量。

具体地，处理设备将预处理后的待检测数据的特征向量输入至策略选择模型中，该策略选择模型分别计算选择各检测模型相应的概率值，从而得到概率分布向量。举例而言，对于M个模型m₁、m₂、m₃……m_M，将特征向量x_i输入至策略选择模型中，该策略选择模型依据该特征向量x_i分别计算选择模型m_i的概率p_m，其中，p_m∈[1,0]，p_m的计算式可以由公式(1)表示：

p_m＝f_δ(x_i) (1)

其中，f_δ(*)表示用于确定选择策略的策略选择模型，δ为模型参数。在一些实施例中，具体的计算方式可以表示为：

其中，η_δ为概率分布向量；b＝(b₁,b₂,b₃,…,b_M)，用于表示策略选择模型的选择策略，即确定相应的检测模型；b_m为概率参数，b_m∈{1,0}。

步骤S223，从概率分布向量中选择其中一个作为目标概率值，并将目标概率值所对应的模型标识作为目标模型标识。

具体地，策略选择模型依据所得到的概率分布向量，选择对应于最大值的概率值作为目标概率值，由此可以确定目标概率值对应的模型标识。举例而言，对于特征向量x_i，策略选择模型输出的概率分布向量为{p₁，p₂，…，p_M}；该策略选择模型选择其中概率值最大的p_i作为目标概率值，由此确定目标模型标识为i；其中，i∈{1,2,…,M}。

由此，通过策略选择模型计算输入特征向量后的概率分布向量，能够确定选择每一检测模型的概率值，并确定概率值最大值对应的模型标识，从而自适应地选择最适合于待检测数据的检测模型。

步骤S205，从物联网的多个层级所部署的检测模型中，确定与目标模型标识对应的目标检测模型；目标检测模型所处的层级与待检测数据的特征向量所表征的层级特性相匹配。

具体地，如图5所示，策略选择模型依据输入的特征向量x_i确定相应的模型标识i，并依据所确定的目标模型标识i，确定与目标模型标识i对应的目标检测模型m_i。承前所述，各检测模型分别部署在物联网中不同的层级，从而便于对不同层级特性的数据进行处理。因此，策略选择模型确定目标检测模型后，同时确定了目标检测模型所处的层级。其中，层级特性指的是特征向量所表征的待检测数据的复杂度；根据复杂度的不同，处理时需要相应不同的算力，由此需要不同层级的检测模型进行检测。因此，通过策略选择模型依据待检测数据的特征向量进行模型选择，得到的目标检测模型所处的层级与待检测数据的特征向量所表征的层级特性相匹配，从而确保由适合的检测模型来对待检测数据进行检测。

步骤S207，将待检测数据传输至目标检测模型所处层级中的检测设备，以使得检测设备中部署的目标检测模型对特征向量进行处理，输出与待检测数据对应的检测结果，检测结果包括表征正常的检测结果和表征异常的检测结果。

具体地，策略选择模型确定了相应的目标检测模型后，依据目标检测模型的不同，相应地，处理设备将待检测数据及其特征向量发送至不同的执行设备，以供执行设备利用其存储的目标检测模型进行处理。

在一些实施例中，当策略选择模型确定相应的目标检测模型所处的层级为物联网层时，由部署在物联网层的处理设备以及其所存储的检测模型来进行检测。

在另一些实施例中，当策略选择模型确定相应的目标检测模型所处的层级为边缘计算服务器层时，由部署在边缘计算服务器层的边缘计算服务器以及其所存储的检测模型来进行检测；相应地，处理设备将待检测数据及其特征向量发送至边缘计算服务器。

在又一些实施例中，当策略选择模型确定相应的目标检测模型所处的层级为云服务器层时，由部署在云服务器层的云服务器以及其所存储的检测模型来进行检测；相应地，处理设备发送待检测数据及其特征向量，经由边缘计算服务器转发至云服务器。

为了描述简便，将目标检测模型所处层级所对应的硬件设备(即前述的处理设备、边缘计算服务器和云服务器)称为检测设备。

检测设备在获取待检测数据及其特征向量后，通过自身存储的检测模型对特征向量进行处理，输出与待检测数据对应的检测结果，该检测结果用于表示待检测数据为正常或异常。其中，该检测模型可以存储于检测设备的本地内存空间、缓存空间的存储介质、存储介质上的一个缓存区等。例如，当检测模型为边缘计算服务器时，其相应的检测模型可以存储在与其关联的数据库中。

在一些实施例中，检测模型为具有不同编码层次结构的自编码模型。自编码模型为神经网络模型，包括隐藏层、编码层、解码层和输出层，能够对输入的数据进行编码解码处理。由于正常数据往往包含丰富的特征，具有一定的规律，而异常数据往往存在大量的噪声信息和无效的特征，因此，通过自编码模型对数据进行编码解码，能够区分这两类不同的数据。

依据各检测模型的编码层次结构的不同，各检测模型至少分别部署在物联网中的物联网设备层、边缘服务器层、以及云服务器层。举例而言，对于物联网层，更多考虑的是检测模型在硬件设备上运行的可行性，因此，物联网层存储的检测模型可以为具有一层隐藏层的自编码模型。又如，对于边缘计算服务器层，则需要对数据特征的学习性能以及计算上的可行性同时进行权衡，因此，边缘计算服务器层存储的检测模型可以为具有一层隐藏层、一层编码层和一层解码层的自编码模型。再如，对于云服务器层，由于云服务器具有强大的计算能力，因此，为了提高检测的准确度，云服务器层存储的检测模型可以为具有一层隐藏层、两层编码层和两层解码层的自编码模型。

应当理解的是，上述检测模型的具体的编码层次结构仅为举例，而不限制本申请的范围；在实际的应用场景中，可以根据需求对检测模型的编码层次结构进行改变，例如增加或减少编码层、解码层等。

在一些实施例中，如图6所示，检测设备进行异常数据检测的步骤包括：

步骤S231，将待检测数据的特征向量输入至目标检测模型中，由目标检测模型计算特征向量与待检测数据经自编码后的拟合值之间的当前误差。

具体地，检测设备将获取的待检测数据的特征向量输入至其存储的检测模型中，该检测模型可以依据如下公式，来计算特征向量与待检测数据经自编码后的拟合值之间的当前误差error：

其中，x_j表示待检测数据j对应的特征向量，

表示待检测数据j经过检测模型自编码后的拟合值，norm(*)表示用于计算特征向量的模。

步骤S233，依据训练期间得到的误差分布情况，计算当前误差在服从误差分布情况下的对数概率值。

具体地，通过训练期间检测模型对于大量样本数据(包括正常样本数据和异常样本数据)的学习与训练，能够得到样本的误差分布情况，可以表示为如下公式：

其中，

表示所有正常样本数据在自编码前后绝对误差的平均值，VAR表示正常样本数据在自编码前后绝对误差的协方差矩阵。

考虑到正常样本数据和异常样本数据间分布的差异，本申请实施例中以对数概率值Lpb作为评估异常数据的指标。对数概率值Lpb的计算公式如下：

Lpb＝ln (P(N|e)) (5)

其中，e表示输入的数据在自编码前后的绝对误差，N表示公式(4)中的正态分布。由于正常数据通常具有较高的对数概率值，而异常数据往往具有较低的对数概率值，可以通过设置阈值ε来进行区分。其中，阈值ε可以表示为：

ε＝min (Lpbnorml) (6)

其中，Lpb_norml表示所有正常数据的对数概率值。

步骤S235，依据对数概率值与预先设置的阈值的大小关系，输出与待检测数据对应的检测结果。

具体地，检测模型依据计算得到的对数概率值的大小，将其与阈值ε进行比较，若对数概率值Lpb小于阈值ε，则输出待检测数据为异常的检测结果；否则，若对数概率值Lpb大于阈值ε，则输出待检测数据为异常的检测结果。由此，检测模型通过输入的待检测数据的特征向量，能够输出待检测数据对应的检测结果。

上述异常数据的检测方法中，通过在物联网的不同层级中分别部署不同的检测模型，并由一策略模型依据输入的待检测数据的特征向量确定执行检测步骤的具体检测模型，能够避免直接将待检测数据上传到云服务器进行处理，从而避免了传输过程中巨大的通信延迟，极大地提高了异常数据的检测效率。同时，策略模型依据待检测数据不同的层级特性，确定相应的不同层级的目标检测模型，能够实现目标检测模型有针对性地进行检测并输出正常或异常的检测结果，提高了异常数据检测的准确度。

应当理解，在上述实施例中，策略选择模型和检测模型均为预先训练好的神经网络模型。在一些实施例中，策略选择模型的训练过程包括：

步骤S301，获取样本数据，并将样本数据输入至待训练的策略选择模型中，通过待训练的策略选择模型输出对应的预测模型标识。

其中，样本数据可以从公开的数据库中下载得到。样本数据事先被标记为正常或异常，以供后续训练中计算准确率。为了降低计算成本，在获取样本数据之后还可以对样本数据进行预处理，具体原理和步骤请参照前述实施例，此处不再赘述。为了将训练阶段的模型标识与前述实施例中应用阶段策略选择模型输出的模型标识进行区分，将训练阶段得到的模型标识称为预测模型标识。

具体地，将样本数据输入至待训练的策略选择模型中，策略选择模型基于该样本数据输出预测模型标识，该预测模型标识用于指示所确定的预测检测模型。策略选择模型输出预测模型标识的步骤可参照前述实施例中输出目标模型标识的步骤，此处不再赘述。

步骤S303，在当次训练过程中，基于预先设置的效益函数，计算与当次训练输出的预测模型标识对应的预测检测模型相关的预期效益值；预期效益值用于表征通过预测检测模型进行预测时相应的准确率和时间成本。

具体地，当确定预测模型标识后，策略选择模型由此确定对应的预测检测模型。为了在提高准确性的同时降低计算成本，本申请实施例在训练过程中设置一效益函数，用于约束策略选择模型进行收敛。其中，效益函数R(b,x_i)可以表示为：

R(b,x_i)＝acc(i)-Time(b，i) (7)

其中，acc(i)表示对样本i进行异常检测的准确率，Time(b，i)表示将样本i加载到物联网b层所对应的检测模型中的时间成本。依据公式(7)进行计算，即可得到与当次训练输出的预测模型标识对应的预测检测模型相关的预期效益值。

在一些实施例中，步骤S303还包括：

步骤S311，将当次训练所对应的样本数据，加载至当次训练输出的预测模型标识对应的预测检测模型，并获取对应的时间成本。

具体地，在训练过程中策略选择模型模拟将样本数据加载至当次训练输出的预测模型标识对应的预测检测模型，计算将样本数据i加载到物联网b层所对应的检测模型中的时间成本。

步骤S313，基于当次训练输出的预测模型标识对应的预测检测模型，对当次训练所对应的样本数据进行处理，得到预测检测结果。

具体地，当次训练过程中，策略选择模型输出预测模型标识，并依据该预测模型标识确定对应的预测检测模型。该预测检测模型对样本数据进行处理，得到预测检测结果。具体原理和步骤请参照前述实施例，此处不再赘述。

步骤S315，根据预测检测结果，与当次训练所对应的样本数据的正负类别间的差异，确定当次训练所对应的检测准确率。

具体地，由于样本数据已预先标记为正常数据或异常数据(即正负类别)，因此，依据预测检测模型输出的预测检测结果与样本数据本身具有的正负类别进行比较，能够计算得到当次训练所对应的检测准确率。

步骤S317，基于时间成本和检测准确率，确定与当次训练输出的预测模型标识对应的预测检测模型相关的预期效益值。

具体地，依据前述步骤得到的时间成本和检测准确率的差异，计算得到与当次训练输出的预测模型标识对应的预测检测模型相关的预期效益值。其中，时间成本和检测准确率的差异可以为二者之差值、或比值等。在一些实施例中，例如可以利用前述实施例中公式(7)进行计算，从而得到预期效益值。

由此，通过预先标记正负类别的样本数据对检测模型进行训练，使得检测模型能够对输入数据的特征进行处理从而输出正常或异常的检测结果，从而实现在应用阶段对待检测数据的异常检测。

步骤S305，基于前次训练所对应的预期效益值与当次训练所对应的预期效益值间的差异，朝最大化预期效益值的方向，对策略选择模型的模型参数进行迭代更新，并进入下一次的训练过程进行迭代训练，直至达到训练停止条件时停止，得到训练好的策略选择模型。

具体地，策略选择模型通过比较前次训练所对应的预期效益值与当次训练所对应的预期效益值间的差异，判断当次训练所对应的预期效益值相比前次训练而言是否增大或减小，由此能够依据预期效益值的变化对策略选择模型的模型参数进行迭代更新，从而使得最终策略选择模型所输出的预测检测模型岁对应的预期效益值最大化，即：

其中，E表示预期效益值；g(η)表示优化目标函数。

在一些实施例中，可以采用梯度下降的方法来对策略选择模型进行训练；同时，为了防止过拟合，可以对策略选择模型的模型参数设置范数约束，从而对策略选择模型进行优化。最终的优化目标函数g(η)可以由如下公式表示：

其中，λ表示正则化系数；η表示对预测检测模型的选择策略。

在一些实施例中，进行训练的梯度△δ可以表示由如下公式进行计算：

当训练达到训练停止条件时，停止训练，从而得到训练好的策略选择模型。其中，训练停止条件包括但不局限于达到预设的迭代次数、训练时间达到预设阈值、或预期效益值达到阈值等。

由此，通过利用正常样本数据和异常样本数据对策略选择模型进行训练，使得策略选择模型能够输出与输入数据的特征向量所表征的层级特性相匹配的检测模型，和以往基于单一模型的方法相比，基于自适应机制的策略选择模型则提供了更灵活和全面的检测方式，提高了准确性和检测效率。

应该理解的是，虽然图2-6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-6中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图7所示，提供了一种异常数据的检测装置700，包括：获取模块710、策略模块730和检测模块750，其中：

获取模块710用于获取通过物联网中的传感设备采集得到的待检测数据。

确定模块730用于将与待检测数据对应的特征向量，输入至策略选择模型中，通过策略选择模型确定目标模型标识。

所述确定模块730还用于从物联网的多个层级所部署的检测模型中，确定与目标模型标识对应的目标检测模型；目标检测模型所处的层级与待检测数据的特征向量所表征的层级特性相匹配。

检测模块750用于将所述待检测数据传输至所述目标检测模型所处层级中的检测设备，以使得所述检测设备中部署的目标检测模型对特征向量进行处理，输出与待检测数据对应的检测结果，检测结果包括表征正常的检测结果和表征异常的检测结果。

在一些实施例中，获取模块还用于确定与待检测数据对应的原始特征；对原始特征进行降维处理，得到待检测数据对应的特征向量；其中，降维处理的方式包括如下至少一种：计算待检测数据的原始特征的平均值、中位数、方差、标准差、总和、最大值、以及最小值。

在一些实施例中，策略模块还用于将特征向量输入至策略选择模型中，通过策略选择模型依据特征向量计算选择各检测模型的概率值，得到概率分布向量；从概率分布向量中选择最大概率值作为目标概率值，并将目标概率值所对应的模型标识作为目标模型标识。

在一些实施例中，还包括训练模块，该训练模块用于执行对策略选择模型的训练。具体地，训练模块用于获取样本数据，并将样本数据输入至待训练的策略选择模型中，通过待训练的策略选择模型输出对应的预测模型标识；在当次训练过程中，基于预先设置的效益函数，计算与当次训练输出的预测模型标识对应的预测检测模型相关的预期效益值；预期效益值用于表征通过预测检测模型进行预测时相应的准确率和时间成本；基于前次训练所对应的预期效益值与当次训练所对应的预期效益值间的差异，朝最大化预期效益值的方向，对策略选择模型的模型参数进行迭代更新，并进入下一次的训练过程进行迭代训练，直至达到训练停止条件时停止，得到训练好的策略选择模型。

在一些实施例中，训练模块还用于将当次训练所对应的样本数据，加载至当次训练输出的预测模型标识对应的预测检测模型，并获取对应的时间成本；基于当次训练输出的预测模型标识对应的预测检测模型，对当次训练所对应的样本数据进行处理，得到预测检测结果；根据预测检测结果，与当次训练所对应的样本数据的正负类别间的差异，确定当次训练所对应的检测准确率；基于时间成本和检测准确率，确定与当次训练输出的预测模型标识对应的预测检测模型相关的预期效益值。

在一些实施例中，检测模块还用于将待检测数据的特征向量输入至目标检测模型中，由目标检测模型计算特征向量与待检测数据经自编码后的拟合值之间的当前误差；依据训练期间得到的误差分布情况，计算当前误差在服从误差分布情况下的对数概率值；依据对数概率值与预先设置的阈值的大小关系，输出与待检测数据对应的检测结果。

在一些实施例中，检测模型为具有不同编码层次结构的自编码模型，且依据各检测模型的编码层次结构的不同，各检测模型至少分别部署在物联网中的物联网设备层、边缘服务器层、以及云服务器层。

关于异常数据的检测装置的具体限定可以参见上文中对于异常数据的检测方法的限定，在此不再赘述。上述异常数据的检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是前述实施例所提及的处理设备，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储例如待检测数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种异常数据的检测方法。

本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：获取通过物联网中的传感设备采集得到的待检测数据；将与待检测数据对应的特征向量，输入至策略选择模型中，通过策略选择模型确定目标模型标识；从物联网的多个层级所部署的检测模型中，确定与目标模型标识对应的目标检测模型；目标检测模型所处的层级与待检测数据的特征向量所表征的层级特性相匹配；将所述待检测数据传输至所述目标检测模型所处层级中的检测设备，以使得所述检测设备中部署的目标检测模型对特征向量进行处理，输出与待检测数据对应的检测结果，检测结果包括表征正常的检测结果和表征异常的检测结果。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：确定与待检测数据对应的原始特征；对原始特征进行降维处理，得到待检测数据对应的特征向量；其中，降维处理的方式包括如下至少一种：计算待检测数据的原始特征的平均值、中位数、方差、标准差、总和、最大值、以及最小值。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：将特征向量输入至策略选择模型中，通过策略选择模型依据特征向量计算选择各检测模型的概率值，得到概率分布向量；从概率分布向量中选择最大概率值作为目标概率值，并将目标概率值所对应的模型标识作为目标模型标识。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取样本数据，并将样本数据输入至待训练的策略选择模型中，通过待训练的策略选择模型输出对应的预测模型标识；在当次训练过程中，基于预先设置的效益函数，计算与当次训练输出的预测模型标识对应的预测检测模型相关的预期效益值；预期效益值用于表征通过预测检测模型进行预测时相应的准确率和时间成本；基于前次训练所对应的预期效益值与当次训练所对应的预期效益值间的差异，朝最大化预期效益值的方向，对策略选择模型的模型参数进行迭代更新，并进入下一次的训练过程进行迭代训练，直至达到训练停止条件时停止，得到训练好的策略选择模型。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：将当次训练所对应的样本数据，加载至当次训练输出的预测模型标识对应的预测检测模型，并获取对应的时间成本；基于当次训练输出的预测模型标识对应的预测检测模型，对当次训练所对应的样本数据进行处理，得到预测检测结果；根据预测检测结果，与当次训练所对应的样本数据的正负类别间的差异，确定当次训练所对应的检测准确率；基于时间成本和检测准确率，确定与当次训练输出的预测模型标识对应的预测检测模型相关的预期效益值。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：将待检测数据的特征向量输入至目标检测模型中，由目标检测模型计算特征向量与待检测数据经自编码后的拟合值之间的当前误差；依据训练期间得到的误差分布情况，计算当前误差在服从误差分布情况下的对数概率值；依据对数概率值与预先设置的阈值的大小关系，输出与待检测数据对应的检测结果。

上述计算机设备，通过在物联网的不同层级中分别部署不同的检测模型，并由一策略模型依据输入的待检测数据的特征向量确定执行检测步骤的具体检测模型，能够避免直接将待检测数据上传到云服务器进行处理，从而避免了传输过程中巨大的通信延迟，极大地提高了异常数据的检测效率。同时，策略模型依据待检测数据不同的层级特性，确定相应的不同层级的目标检测模型，能够实现目标检测模型有针对性地进行检测并输出正常或异常的检测结果，提高了异常数据检测的准确度。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取通过物联网中的传感设备采集得到的待检测数据；将与待检测数据对应的特征向量，输入至策略选择模型中，通过策略选择模型确定目标模型标识；从物联网的多个层级所部署的检测模型中，确定与目标模型标识对应的目标检测模型；目标检测模型所处的层级与待检测数据的特征向量所表征的层级特性相匹配；将所述待检测数据传输至所述目标检测模型所处层级中的检测设备，以使得所述检测设备中部署的目标检测模型对特征向量进行处理，输出与待检测数据对应的检测结果，检测结果包括表征正常的检测结果和表征异常的检测结果。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：确定与待检测数据对应的原始特征；对原始特征进行降维处理，得到待检测数据对应的特征向量；其中，降维处理的方式包括如下至少一种：计算待检测数据的原始特征的平均值、中位数、方差、标准差、总和、最大值、以及最小值。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将特征向量输入至策略选择模型中，通过策略选择模型依据特征向量计算选择各检测模型的概率值，得到概率分布向量；从概率分布向量中选择最大概率值作为目标概率值，并将目标概率值所对应的模型标识作为目标模型标识。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取样本数据，并将样本数据输入至待训练的策略选择模型中，通过待训练的策略选择模型输出对应的预测模型标识；在当次训练过程中，基于预先设置的效益函数，计算与当次训练输出的预测模型标识对应的预测检测模型相关的预期效益值；预期效益值用于表征通过预测检测模型进行预测时相应的准确率和时间成本；基于前次训练所对应的预期效益值与当次训练所对应的预期效益值间的差异，朝最大化预期效益值的方向，对策略选择模型的模型参数进行迭代更新，并进入下一次的训练过程进行迭代训练，直至达到训练停止条件时停止，得到训练好的策略选择模型。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将当次训练所对应的样本数据，加载至当次训练输出的预测模型标识对应的预测检测模型，并获取对应的时间成本；基于当次训练输出的预测模型标识对应的预测检测模型，对当次训练所对应的样本数据进行处理，得到预测检测结果；根据预测检测结果，与当次训练所对应的样本数据的正负类别间的差异，确定当次训练所对应的检测准确率；基于时间成本和检测准确率，确定与当次训练输出的预测模型标识对应的预测检测模型相关的预期效益值。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将待检测数据的特征向量输入至目标检测模型中，由目标检测模型计算特征向量与待检测数据经自编码后的拟合值之间的当前误差；依据训练期间得到的误差分布情况，计算当前误差在服从误差分布情况下的对数概率值；依据对数概率值与预先设置的阈值的大小关系，输出与待检测数据对应的检测结果。

上述计算机存储介质，通过在物联网的不同层级中分别部署不同的检测模型，并由一策略模型依据输入的待检测数据的特征向量确定执行检测步骤的具体检测模型，能够避免直接将待检测数据上传到云服务器进行处理，从而避免了传输过程中巨大的通信延迟，极大地提高了异常数据的检测效率。同时，策略模型依据待检测数据不同的层级特性，确定相应的不同层级的目标检测模型，能够实现目标检测模型有针对性地进行检测并输出正常或异常的检测结果，提高了异常数据检测的准确度。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种异常数据的检测方法，其特征在于，所述方法包括：

获取通过物联网中的传感设备采集得到的待检测数据；

将与所述待检测数据对应的特征向量，输入至策略选择模型中，通过所述策略选择模型确定目标模型标识；

从所述物联网的多个层级所部署的检测模型中，确定与所述目标模型标识对应的目标检测模型；所述目标检测模型所处的层级与所述待检测数据的特征向量所表征的层级特性相匹配；

将所述待检测数据传输至所述目标检测模型所处层级中的检测设备，以使得所述检测设备中部署的所述目标检测模型对所述特征向量进行处理，输出与所述待检测数据对应的检测结果，所述检测结果包括表征正常的检测结果和表征异常的检测结果。

2.根据权利要求1所述的方法，其特征在于，所述获取通过物联网中的传感设备采集得到的待检测数据，包括：

确定与所述待检测数据对应的原始特征；

对所述原始特征进行降维处理，得到所述待检测数据对应的特征向量；

其中，所述降维处理的方式包括如下至少一种：计算所述待检测数据的原始特征的平均值、中位数、方差、标准差、总和、最大值、以及最小值。

3.根据权利要求1所述的方法，其特征在于，所述将与所述待检测数据对应的特征向量，输入至策略选择模型中，通过所述策略选择模型确定目标模型标识，包括：

将所述特征向量输入至策略选择模型中，通过所述策略选择模型依据所述特征向量计算选择各检测模型的概率值，得到概率分布向量；

从所述概率分布向量中选择最大概率值作为目标概率值，并将目标概率值所对应的模型标识作为目标模型标识。

4.根据权利要求1所述的方法，其特征在于，所述策略选择模型的训练步骤包括：

获取样本数据，并将所述样本数据输入至待训练的策略选择模型中，通过所述待训练的策略选择模型输出对应的预测模型标识；

在当次训练过程中，基于预先设置的效益函数，计算与当次训练输出的预测模型标识对应的预测检测模型相关的预期效益值；所述预期效益值用于表征通过预测检测模型进行预测时相应的准确率和时间成本；

基于前次训练所对应的预期效益值与当次训练所对应的预期效益值间的差异，朝最大化预期效益值的方向，对所述策略选择模型的模型参数进行迭代更新，并进入下一次的训练过程进行迭代训练，直至达到训练停止条件时停止，得到训练好的策略选择模型。

5.根据权利要求4所述的方法，其特征在于，所述在当次训练过程中，基于预先设置的效益函数，计算与当次训练输出的预测模型标识对应的预测检测模型相关的预期效益值，包括：

将当次训练所对应的样本数据，加载至当次训练输出的预测模型标识对应的预测检测模型，并获取对应的时间成本；

基于当次训练输出的预测模型标识对应的预测检测模型，对当次训练所对应的样本数据进行处理，得到预测检测结果；

根据所述预测检测结果，与当次训练所对应的样本数据的正负类别间的差异，确定当次训练所对应的检测准确率；

基于所述时间成本和所述检测准确率，确定与当次训练输出的预测模型标识对应的预测检测模型相关的预期效益值。

6.根据权利要求1所述的方法，其特征在于，所述检测设备中部署的目标检测模型对所述特征向量进行处理，输出与所述待检测数据对应的检测结果，包括：

将所述待检测数据的特征向量输入至所述目标检测模型中，由所述目标检测模型计算所述特征向量与所述待检测数据经自编码后的拟合值之间的当前误差；

依据训练期间得到的误差分布情况，计算所述当前误差在服从所述误差分布情况下的对数概率值；

依据所述对数概率值与预先设置的阈值的大小关系，输出与所述待检测数据对应的检测结果。

7.根据权利要求1-5任一项所述的方法，其特征在于，所述检测模型为具有不同编码层次结构的自编码模型，且依据各检测模型的编码层次结构的不同，各检测模型至少分别部署在所述物联网中的物联网设备层、边缘服务器层、以及云服务器层。

8.一种异常数据的检测装置，其特征在于，所述装置包括：

获取模块，用于获取通过物联网中的传感设备采集得到的待检测数据；

确定模块，用于将与所述待检测数据对应的特征向量，输入至策略选择模型中，通过所述策略选择模型确定目标模型标识；

所述确定模块，还用于从所述物联网的多个层级所部署的检测模型中，确定与所述目标模型标识对应的目标检测模型；所述目标检测模型所处的层级与所述待检测数据的特征向量所表征的层级特性相匹配；

检测模块，用于将所述待检测数据传输至所述目标检测模型所处层级中的检测设备，以使得所述检测设备中部署的所述目标检测模型对所述特征向量进行处理，输出与所述待检测数据对应的检测结果，所述检测结果包括表征正常的检测结果和表征异常的检测结果。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images