CN116545954B - 基于物联网的通信网关数据传输方法及系统 - Google Patents

Abstract

本发明涉及数据传输技术领域，具体涉及基于物联网的通信网关数据传输方法及系统。方法包括：获取物联网系统中的通信网关中的设备的历史运行数据和新增运行数据，对所有历史运行数据对应的数据点进行聚类获得初始聚类簇；根据各新增运行数据对应的数据点的邻域内各数据点与各初始聚类簇的中心点之间的距离，筛选目标运行数据；对目标运行数据对应的数据点和历史运行数据对应的数据点进行聚类获得目标聚类簇；根据新增运行数据对应的数据点与目标聚类簇之间的相对位置，得到新增运行数据的异常程度，基于异常程度确定对应的优先级，进而对新增运行数据进行传输。本发明保证了物联网系统中设备运行数据异常检测以及传输的实时性。

Description

基于物联网的通信网关数据传输方法及系统

技术领域

本发明涉及数据传输技术领域，具体涉及基于物联网的通信网关数据传输方法及系统。

背景技术

在互联网与人工智能快速发展下，物联网技术也同样在智慧工厂、智慧交通、智慧城市等领域被广泛应用。物联网技术的本质是将不同设备之间的数据进行交互，而随着需要连接的设备数量的增加，物联网中的数据传输也越来越具有挑战。

物联网中的通信网关是指在物理层上连接不同通信网络与数据的设备，用于实现数据在不同网络之间的传输和转换。在一个大规模的物联网系统中通信网关需要处理的数据是海量的，并且物联网中具有大规模连接，为了解决大规模连接与海量数据的问题，现有方法是引入缓存与数据分发机制来提高数据传输的效率，通信网关可以缓存一部分数据并定期批量传输，或者将数据分发到多个处理节点上进行并行处理。现有的物联网通信网关在制定缓存与数据分发策略的过程中，需要对海量数据进行过滤、聚合，通过数据的重要性来制定缓存分发策略。物联网关在接收到物联网系统中各种物联网数据之后，通过通信网关中的数据处理与分析模块进行筛选与传输策略制定，数据传输的优先级通过物联网系统中数据的重要程度进行判断，在物联网系统中，实时传输的时序数据通过实时异常检测来判断是否出现了异常，将出现异常的数据优先传输，从而使得用于自动控制物联网系统的云计算服务器可以及时地做出响应。在这个过程中由于大规模的物联网系统中物联网关需要处理的数据量过大，现有的数据异常检测过程中会出现因为物联网设备的实时检测效率低而导致的无法及时将物联网中的重要数据进行实时传输，无法满足物联网中的数据实时性需求。

发明内容

为了解决现有方法无法保证物联网中的异常数据实时传输的问题，本发明的目的在于提供一种基于物联网的通信网关数据传输方法及系统，所采用的技术方案具体如下：

第一方面，本发明提供了一种基于物联网的通信网关数据传输方法，该方法包括以下步骤：

获取物联网系统中的通信网关中的设备在历史时间段内的历史运行数据和在当前时间段内的新增运行数据，对所有历史运行数据对应的数据点进行初次聚类获得不少于两个初始聚类簇；

根据各新增运行数据对应的数据点的邻域内各数据点与各初始聚类簇的中心点之间的距离，得到各新增运行数据的筛选因子；基于所述筛选因子从新增运行数据中筛选目标运行数据；

对所述目标运行数据对应的数据点和所述历史运行数据对应的数据点进行二次聚类获得不少于两个目标聚类簇；根据各新增运行数据对应的数据点与所述目标聚类簇之间的相对位置，得到各新增运行数据的异常程度；

基于所述异常程度确定各新增运行数据对应的优先级，基于所述优先级对所有新增运行数据进行传输。

第二方面，本发明提供了一种基于物联网的通信网关数据传输系统，包括存储器和处理器，所述处理器执行所述存储器存储的计算机程序，以实现上述所述的基于物联网的通信网关数据传输方法。

优选的，所述根据各新增运行数据对应的数据点的邻域内各数据点与各初始聚类簇的中心点之间的距离，得到各新增运行数据的筛选因子，包括：

对于第i个新增运行数据：

将第i个新增运行数据对应的数据点的L近邻中的数据点记为第一数据点，判断各第一数据点的L近邻中是否存在第i个新增运行数据对应的数据点，若存在，则将对应第一数据点记为邻域数据点；所有所述邻域数据点构成第i个新增运行数据对应的邻域数据点集合，其中L为预设数值；

对于第c个初始聚类簇：将所述邻域数据点集合中各数据点与第c个初始聚类簇的中心点之间的DTW距离，记为邻域数据点集合中各数据点对应的第一DTW距离；将第i个新增运行数据对应的数据点与第c个初始聚类簇的中心点之间的DTW距离，记为第二DTW距离；分别将所述邻域数据点集合中各数据点对应的第一DTW距离与所述第二DTW距离的差值，确定为邻域数据点集合中各数据点的第一特征值；根据所述邻域数据点集合中各数据点的第一特征值，计算第i个新增运行数据对于第c个初始聚类簇的重要程度；

将第i个新增运行数据对于所有初始聚类簇的重要程度的最大值，确定为第i个新增运行数据的筛选因子。

优选的，采用如下公式计算第i个新增运行数据对于第c个初始聚类簇的重要程度：

其中，为第i个新增运行数据对于第c个初始聚类簇的重要程度，/>为第i个新增运行数据对应的邻域数据点集合中数据点的数量，/>为第i个新增运行数据对应的邻域数据点集合中的第j个数据点，/>为第c个初始聚类簇的中心点，/>为第i个新增运行数据对应的数据点，/>为第i个新增运行数据对应的邻域数据点集合中第j个数据点与第c个初始聚类簇的中心点之间的DTW距离，/>为第i个新增运行数据对应的数据点与第c个初始聚类簇的中心点之间的DTW距离，ReLU（ ）为非线性激活函数，softmax（ ）为归一化函数。

优选的，所述基于所述筛选因子从新增运行数据中筛选目标运行数据，包括：将所述筛选因子大于或等于预设筛选因子阈值的新增运行数据，确定为目标运行数据。

优选的，所述根据各新增运行数据对应的数据点与所述目标聚类簇之间的相对位置，得到各新增运行数据的异常程度，包括：

基于目标聚类簇中数据点的数量差异，确定各目标聚类簇对应的类别，所述类别包括特征聚类簇、非特征聚类簇；

对于特征聚类簇中的任一新增运行数据：将该新增运行数据对应的数据点与其所在的特征聚类簇的中心点之间的距离的归一化值，确定为该新增运行数据的异常程度；

对于非特征聚类簇中的任一新增运行数据：获取该新增运行数据对应的数据点与所有特征聚类簇的中心点之间的距离的最小值，将所述距离的最小值的归一化结果作为该新增运行数据的异常程度。

优选的，基于目标聚类簇中数据点的数量差异，确定各目标聚类簇对应的类别，包括：

统计各目标聚类簇中数据的数量，基于各目标聚类簇中数据点的数量，按照从大到小的顺序对所有目标聚类簇进行排序获得聚类簇序列；

判断所述聚类簇序列中第一个目标聚类簇中数据点的数量是否满足预设条件，若满足，则将所述聚类簇序列中第一个目标聚类簇作为特征聚类簇；若不满足，则判断所述聚类簇序列中第一个目标聚类簇中数据点的数量与第二个目标聚类簇中数据点的数量的和值是否满足预设条件，以此类推，直到数据点的数量的和值满足预设条件，将对应的目标聚类簇作为特征聚类簇；

将聚类簇序列中除特征聚类簇外的其他聚类簇作为非特征聚类簇。

优选的，所述对所有历史运行数据对应的数据点进行初次聚类获得不少于两个初始聚类簇，包括：

基于历史运行数据之间的DTW距离，采用K-means聚类算法对所有历史运行数据对应的数据点进行初次聚类，获得各初始聚类簇。

本发明至少具有如下有益效果：

1、本发明通过对物联网系统中的通信网关中设备的运行数据进行异常检测，确定在数据传输过程中的优先级，相较于根据均衡的缓存与转发策略可以将物联网系统中设备重要的运行数据进行优先传输，保证了物联网系统中设备运行数据异常检测以及传输的实时性，从而使得云计算服务器可以及时对物联网系统中设备的运行进行调整，提高物联网系统的运行稳定性。

2、本发明考虑到在对聚类模型进行更新的过程中，若将全部的新增运行数据都放入数据空间进行新一轮的聚类，则会导致计算量过大，占用云计算服务器计算资源的情况，因此本发明对云计算服务器中获取到的新增运行数据进行了筛选，将筛选出的新增运行数据参与到聚类过程中，从而实现对用于数据异常检测的聚类模型的优化，相较于直接通过全部的新增运行数据进行聚类模型的优化，可以使得在对实时缓存的新增运行数据进行优先级判断时更加高效。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明实施例所提供的一种基于物联网的通信网关数据传输方法的流程图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的基于物联网的通信网关数据传输方法及系统进行详细说明如下。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的基于物联网的通信网关数据传输方法及系统的具体方案。

基于物联网的通信网关数据传输方法实施例：

本实施例所针对的具体场景为：在大型物联网系统中，物联网设备产生的海量数据需要通过通信网关进行传输，在数据传输之前需要对其制定合适的传输策略，在制定传输策略时，首先对获取到的数据的异常程度进行判断，基于数据的异常程度确定对应的传输优先级，进而根据数据对应的优先级对数据进行传输，使得异常数据优先传输，从而保证用于自动控制物联网系统的云计算服务器可以及时地做出响应。

本实施例提出了基于物联网的通信网关数据传输方法，如图1所示，本实施例的基于物联网的通信网关数据传输方法包括以下步骤：

步骤S1，获取物联网系统中的通信网关中的设备在历史时间段内的历史运行数据和在当前时间段内的新增运行数据，对所有历史运行数据对应的数据点进行初次聚类获得不少于两个初始聚类簇。

本实施例中物联网的通信网关数据的传输方式为缓存转发的方式，即首先对缓存物联网系统中的数据进行分析，基于分析结果制定传输策略，之后再基于传输策略对数据进行传输，将数据转发送至云计算服务器中。

物联网系统中缓存模块的作用是对物联网系统中物联网设备的运行数据进行缓存，缓存过程中以物联网设备为索引，每个物联网设备都对应该设备的运行数据，如物联网设备的功能性参数或是重要设备的电流数据等，其中，物联网设备的功能性参数如工厂中设备的物联网温度传感器的温度数据等。策略判断模块的作用是对缓存模块中每个设备的运行数据进行传输策略的制定，在该模块中对于每个设备的运行数据进行传输优先级的判断，并根据优先级控制传输模块进行数据的转发。传输模块的作用是根据传输策略对数据包进行转发。整个工作过程的对需要传输的数据的传输策略的制定，策略判断模块需要首先通过默认的传输顺序进行数据传输策略制定，默认策略即为根据设备编号进行先后传输。

本实施例首先获取物联网系统中设备在历史时间段内的运行数据，将此时获取到的运行数据记为历史运行数据；并获取物联网系统中设备在当前时间段内的运行数据，由于本实施例将首先基于历史时间段内的运行数据构建初始聚类模型，将当前时间段内的运行数据作为新增数据对初始聚类模型进行更新，因此本实施例将当前时间段内的运行数据记为新增运行数据，运行数据如功率、电压等。需要说明的是：本实施例接下来将基于历史时间段内的运行数据构建初始聚类模型，每个设备的每种数据均构建对应的初始聚类模型，例如：对于任一设备：基于该设备在历史时间段内的功率数据构建一个初始聚类模型，基于该设备在历史时间段内的电压数据构建一个初始聚类模型，该设备的每种数据均对应一个初始聚类模型。本实施例将以一个设备的一种运行数据为例进行说明，对于该设备的其他种类的运行数据和其他设备的每种运行数据均可采用本实施例提供的方法进行处理。历史时间段的时长和当前时间段的时长，实施者可根据具体情况进行设置。

在获取到设备的历史运行数据之后，通过聚类分析的方式将所获取的历史运行数据划分为不同的聚类簇，由于本实施例将通过判断实时获取到的数据是否与已有数据发生偏移，以及偏移的大小进行传输策略优先级的确定，因此本实施例将采用K-means聚类算法对历史运行数据进行聚类。具体的，首先计算每两个历史运行数据之间的DTW距离，并将采集到的历史运行数据映射到数据空间中，获得每个历史运行数据对应的数据点，基于历史运行数据之间的DTW距离，采用K-means聚类算法对所有历史运行数据对应的数据点进行初次聚类，获得多个聚类簇，将此时聚类完成后获得的聚类模型记为初始聚类模型，将此时获得的聚类簇记为初始聚类簇。本实施例设置K-means聚类时K的值为20，因此获得了20个初始聚类簇，在具体应用中，实施者可根据具体情况进行设置，K-means聚类算法为现有技术，此处不再过多赘述。

至此，获得了初始聚类模型及初始聚类模型中的初始聚类簇。

步骤S2，根据各新增运行数据对应的数据点的邻域内各数据点与各初始聚类簇的中心点之间的距离，得到各新增运行数据的筛选因子；基于所述筛选因子从新增运行数据中筛选目标运行数据。

在获取到初始聚类模型之后，因为在数据传输过程中，物联网系统中的物联网设备的实时监测数据都会进入通信网关的缓存模块进行存储并判断，但是在物联网系统中，设备的工作状态会随着环境如天气的季节变化等原因而发生明显变化，这些变化在现有的策略判断模型中随着物联网系统的运行会出现优先级监测效果越来越差的问题，所以在这个过程中会出现无法准确判断数据优先级的情况。为了解决这个问题，需要在整个系统运行的过程中当已传输数据到达一定数据量之后通过云计算服务器的整体历史数据对聚类模型进行优化，从而使得数据的传输策略可以随着物联网系统中监测数据的整体变化而不断进行模型优化。其中，聚类模型用于传输策略的制定。考虑到在模型优化的过程中，如果再次通过全部的历史运行数据进行聚类，那么随着历史数据数量的增多，会导致模型的更新负担越来越重，因此在模型优化的过程中需要对新增运行数据进行筛选，从而在现有模型基础上根据筛选后的重要数据进行模型的优化，并在后续的过程中根据该模型优化过程进行模型优化。

新增运行数据的筛选过程是基于初始聚类模型对新增运行数据在分布上的变化情况进行分析，因为在聚类模型的变化过程中每一个新增运行数据的出现都会导致聚类结果发生变化，所以需要通过新增运行数据带来的局部影响来进行对所有的新增数据进行筛选。本实施例将通过数据空间中每个新增运行数据对应的数据点与其周围的数据点的局部变化，来进行每个新增运行数据的筛选因子的获取。当新增运行数据所影响到的局部数据点呈现的分布方向在初始聚类模型中数据点数量较多的聚类簇的延伸方向时，对应的新增运行数据应当具有更小的影响权重，当新增运行数据所影响到的局部数据点处于数据点数量较多的聚类簇与数据点数量较少的聚类簇之间的方向，对应的新增运行数据应当具有更大的影响权重。

基于此，对于第i个新增运行数据：

获取第i个新增运行数据对应的数据点的L近邻中的数据点，将第i个新增运行数据对应的数据点的L近邻中的数据点记为第一数据点，判断各第一数据点的L近邻中是否存在第i个新增运行数据对应的数据点，若存在，则将对应第一数据点记为邻域数据点；所有所述邻域数据点构成第i个新增运行数据对应的邻域数据点集合；其中L为预设数值，本实施例中L的值为20，在具体应用中，实施者可根据具体情况进行设置。第i个新增运行数据对应的数据点在数据空间中能够影响其周围的数据点的簇类变化，所以通过设定最近邻数量来确定第i个新增运行数据对应的数据点的影响数据集合，也即第i个新增运行数据对应的邻域数据点集合。对于第c个初始聚类簇：将所述邻域数据点集合中各数据点与第c个初始聚类簇的中心点之间的DTW距离，记为邻域数据点集合中各数据点对应的第一DTW距离；将第i个新增运行数据对应的数据点与第c个初始聚类簇的中心点之间的DTW距离，记为第二DTW距离；分别将所述邻域数据点集合中各数据点对应的第一DTW距离与所述第二DTW距离的差值，确定为邻域数据点集合中各数据点的第一特征值；根据所述邻域数据点集合中各数据点的第一特征值，计算第i个新增运行数据对于第c个初始聚类簇的重要程度。第i个新增运行数据对于第c个初始聚类簇的重要程度的具体计算公式为：

其中，为第i个新增运行数据对于第c个初始聚类簇的重要程度，/>为第i个新增运行数据对应的邻域数据点集合中数据点的数量，/>为第i个新增运行数据对应的邻域数据点集合中的第j个数据点，/>为第c个初始聚类簇的中心点，/>为第i个新增运行数据对应的数据点，/>为第i个新增运行数据对应的邻域数据点集合中第j个数据点与第c个初始聚类簇的中心点之间的DTW距离，/>为第i个新增运行数据对应的数据点与第c个初始聚类簇的中心点之间的DTW距离，ReLU（ ）为非线性激活函数，softmax（ ）为归一化函数。

表示第i个新增运行数据对应的邻域数据点集合中第j个数据点对应的第一DTW距离；/>表示第二DTW距离。第i个新增运行数据对应的邻域数据点集合中的数据点在初始聚类模型中与初始聚类簇的中心点的距离和第i个新增运行数据对应的数据点/>与在初始聚类模型中与初始聚类簇的中心点之间的距离的差值能够反映第i个新增运行数据的影响程度，当距离的差值为负数或为0时，说明第i个新增运行数据越正常，那么该数据点在聚类模型优化过程中就不重要，对于这部分数据点，通过ReLU函数进行归/>。当距离的差值为正数时，说明第i个新增运行数据越异常，那么第i个新增运行数据对应的数据点在聚类模型优化过程中就越重要，也即其对应的重要程度就越大。

采用上述方法，能够获得第i个新增运行数据对于每个初始聚类簇的重要程度，重要程度越大，说明对应数据越应当参与到聚类模型的更新过程中。本实施例将第i个新增运行数据对于所有初始聚类簇的重要程度的最大值，确定为第i个新增运行数据的筛选因子。

采用上述方法，能够获得每个新增运行数据的筛选因子，本实施例将筛选因子大于或等于预设筛选因子阈值的新增运行数据，确定为目标运行数据。本实施例中预设筛选因子阈值为0.6，在具体应用中，实施者可根据具体情况进行设置。

在对初始聚类模型进行优化的过程中，如果将全部的新增运行数据都放入数据空间进行新一轮的聚类，那就会导致计算量过大，占用云计算服务器计算资源的情况，所以为了优化模型优化过程，首先对云计算服务器中获取到的新增运行数据进行数据筛选，然后将筛选出的运行数据也参与到聚类过程中，从而实现对初始聚类模型的优化。在对新增运行数据进行筛选时，根据数据点表现出的影响大小来进行筛选。

至此，本实施例对新增运行数据进行了筛选，也即获得了目标运行数据，目标运行数据用于后续对初始聚类模型的优化。

步骤S3，对所述目标运行数据对应的数据点和所述历史运行数据对应的数据点进行二次聚类获得不少于两个目标聚类簇；根据各新增运行数据对应的数据点与所述目标聚类簇之间的相对位置，得到各新增运行数据的异常程度。

本实施例在筛选出目标运行数据后，将目标运行数据加入到数据空间中获得目标运行数据对应的数据点，对目标运行数据对应的数据点和历史运行数据对应的数据点进行二次聚类，此次聚类仍采用K-means聚类算法进行聚类，将数据点之间的DTW距离作为聚类时距离的度量，聚类时K的值仍为20，将此时聚类完成后获得的聚类模型记为目标聚类模型，完成了聚类模型的优化。

由于本实施例将通过判断实时获取到的数据是否与已有数据发生偏移，以及偏移的大小进行传输策略优先级的确定，因此在获取到目标聚类模型中的聚类结果之后，将目标聚类模型中的聚类簇记为目标聚类簇，也即获得了多个目标聚类簇，统计每个目标聚类簇中数据点的数量，基于每个目标聚类簇中数据点的数量，按照从大到小的顺序对所有目标聚类簇进行排序获得聚类簇序列，判断所述聚类簇序列中第一个目标聚类簇中数据点的数量是否满足预设条件，若满足，则将所述聚类簇序列中第一个聚类簇作为特征聚类簇；若不满足，则判断所述聚类簇序列中第一个目标聚类簇中数据点的数量与第二个目标聚类簇中数据点的数量的和值是否满足预设条件，以此类推，直到数据点的数量的和值满足预设条件，将对应的聚类簇作为特征聚类簇。本实施例中的预设条件为数据点的数量的和值大于初始异常数据检测模型中所有数据点的总数量的80%。因此，在本实施例中，当聚类簇序列中第一个目标聚类簇中数据点的数量大于目标聚类模型中所有数据点的总数量的80%时，将聚类簇序列中第一个聚类簇作为特征聚类簇；当聚类簇序列中第一个聚类簇中数据点的数量小于或等于目标聚类模型中所有数据点的总数量的80%时，若聚类簇序列中第一个目标聚类簇中数据点的数量与第二个目标聚类簇中数据点的数量的和值大于目标聚类模型中所有数据点的总数量的80%，则将聚类簇序列中第一个目标聚类簇、第二个目标聚类簇均作为特征聚类簇；若聚类簇序列中第一个目标聚类簇中数据点的数量与第二个目标聚类簇中数据点的数量的和值小于或等于目标聚类模型中所有数据点的总数量的80%，则判断聚类簇序列中第一个目标聚类簇中数据点的数量、第二个目标聚类簇中数据点的数量、第三个目标聚类簇中数据点的数量三者的和值与目标聚类模型中所有数据点的总数量的80%的大小关系，以此类推，直到数据点的数量的和值满足预设条件，将满足预设条件时对应的聚类簇作为特征聚类簇，将聚类簇序列中除特征聚类簇外的其他聚类簇作为非特征聚类簇。特征聚类簇为数据点数量较多的大簇，非特征聚类簇为数据点数量较少的小簇。在具体应用中，实施者可根据具体情况设置预设条件。

对于特征聚类簇中的任一新增运行数据：将该新增运行数据对应的数据点与其所在的特征聚类簇的中心点之间的距离的归一化值，确定为该新增运行数据的异常程度。对于非特征聚类簇中的任一新增运行数据：获取该新增运行数据对应的数据点与所有特征聚类簇的中心点之间的距离的最小值，将所述距离的最小值的归一化结果作为该新增运行数据的异常程度。

采用上述方法，能够获得每个新增运行数据的异常程度，异常程度用于后续对传输优先级的确定。

步骤S4，基于所述异常程度确定各新增运行数据对应的优先级，基于所述优先级对所有新增运行数据进行传输。

本实施例结合每个新增运行数据对应的数据点与所对应的聚类簇的中心点之间的距离，对每个新增运行数据的异常程度进行了衡量，在数据传输过程中，需要对异常程度大的新增运行数据进行优先传输，从而保证云计算服务器中的物联网系统中设备调控系统可以更及时地发现设备的异常运行情况，从而对物联网系统中的设备进行实时调控。

新增运行数据的异常程度越大，其对应的优先级越高，也即在对其进行传输时，越应当优先传输，以保证物联网系统中设备调控系统可以更及时地发现设备的异常情况。本实施例基于新增运行数据的异常程度来确定新增运行数据的优先级，通过获取到的优先级对通信网关中缓存的数据进行传输。

在根据当前时间段内的新增运行数据进行聚类模型更新之后，即可对缓存数据的优先级进行判断，确定缓存模块中数据传输的优先级，并在转发模块中进行转发。

本实施例中物联网的通信网关基于新增运行数据的传输顺序将物联网系统中设备的数据包转发至云计算服务器中，完成物联网数据到云计算服务器的数据传输过程。

本实施例通过对物联网系统中的通信网关中设备的运行数据进行异常检测，确定在数据传输过程中的优先级，相较于根据均衡的缓存与转发策略可以将物联网系统中设备重要的运行数据进行优先传输，从而保证云计算服务器可以及时对物联网系统中设备的运行进行调整，提高物联网系统的运行稳定性。本实施例考虑到在对初始聚类模型进行更新的过程中，若将全部的新增运行数据都放入数据空间进行新一轮的聚类，则会导致计算量过大，占用云计算服务器计算资源的情况，因此本实施例对云计算服务器中获取到的新增运行数据进行了筛选，将筛选出的新增运行数据参与到聚类过程中，从而实现对用于数据异常检测的聚类模型的优化，相较于直接通过全部的新增运行数据进行聚类模型的优化，可以使得在对实时缓存的新增运行数据进行优先级判断时更加高效。

基于物联网的通信网关数据传输系统实施例：

本实施例基于物联网的通信网关数据传输系统包括存储器和处理器，所述处理器执行所述存储器存储的计算机程序，以实现上述所述的基于物联网的通信网关数据传输方法。

由于基于物联网的通信网关数据传输方法已经在基于物联网的通信网关数据传输方法实施例中进行了说明，所以本实施例不再对基于物联网的通信网关数据传输方法进行赘述。

Claims (8)

1.一种基于物联网的通信网关数据传输方法，其特征在于，该方法包括以下步骤：

获取物联网系统中的通信网关中的设备在历史时间段内的历史运行数据和在当前时间段内的新增运行数据，对所有历史运行数据对应的数据点进行初次聚类获得不少于两个初始聚类簇；

根据各新增运行数据对应的数据点的邻域内各数据点与各初始聚类簇的中心点之间的距离，得到各新增运行数据的筛选因子；基于所述筛选因子从新增运行数据中筛选目标运行数据；

对所述目标运行数据对应的数据点和所述历史运行数据对应的数据点进行二次聚类获得不少于两个目标聚类簇；根据各新增运行数据对应的数据点与所述目标聚类簇之间的相对位置，得到各新增运行数据的异常程度；

基于所述异常程度确定各新增运行数据对应的优先级，基于所述优先级对所有新增运行数据进行传输。

2.根据权利要求1所述的基于物联网的通信网关数据传输方法，其特征在于，所述根据各新增运行数据对应的数据点的邻域内各数据点与各初始聚类簇的中心点之间的距离，得到各新增运行数据的筛选因子，包括：

对于第i个新增运行数据：

将第i个新增运行数据对应的数据点的L近邻中的数据点记为第一数据点，判断各第一数据点的L近邻中是否存在第i个新增运行数据对应的数据点，若存在，则将对应第一数据点记为邻域数据点；所有所述邻域数据点构成第i个新增运行数据对应的邻域数据点集合，其中L为预设数值；

对于第c个初始聚类簇：将所述邻域数据点集合中各数据点与第c个初始聚类簇的中心点之间的DTW距离，记为邻域数据点集合中各数据点对应的第一DTW距离；将第i个新增运行数据对应的数据点与第c个初始聚类簇的中心点之间的DTW距离，记为第二DTW距离；分别将所述邻域数据点集合中各数据点对应的第一DTW距离与所述第二DTW距离的差值，确定为邻域数据点集合中各数据点的第一特征值；根据所述邻域数据点集合中各数据点的第一特征值，计算第i个新增运行数据对于第c个初始聚类簇的重要程度；

将第i个新增运行数据对于所有初始聚类簇的重要程度的最大值，确定为第i个新增运行数据的筛选因子。

3.根据权利要求2所述的基于物联网的通信网关数据传输方法，其特征在于，采用如下公式计算第i个新增运行数据对于第c个初始聚类簇的重要程度：

其中，为第i个新增运行数据对于第c个初始聚类簇的重要程度，/>为第i个新增运行数据对应的邻域数据点集合中数据点的数量，/>为第i个新增运行数据对应的邻域数据点集合中的第j个数据点，/>为第c个初始聚类簇的中心点，/>为第i个新增运行数据对应的数据点，/>为第i个新增运行数据对应的邻域数据点集合中第j个数据点与第c个初始聚类簇的中心点之间的DTW距离，/>为第i个新增运行数据对应的数据点与第c个初始聚类簇的中心点之间的DTW距离，ReLU（ ）为非线性激活函数，softmax（ ）为归一化函数。

4.根据权利要求1所述的基于物联网的通信网关数据传输方法，其特征在于，所述基于所述筛选因子从新增运行数据中筛选目标运行数据，包括：将所述筛选因子大于或等于预设筛选因子阈值的新增运行数据，确定为目标运行数据。

5.根据权利要求1所述的基于物联网的通信网关数据传输方法，其特征在于，所述根据各新增运行数据对应的数据点与所述目标聚类簇之间的相对位置，得到各新增运行数据的异常程度，包括：

基于目标聚类簇中数据点的数量差异，确定各目标聚类簇对应的类别，所述类别包括特征聚类簇、非特征聚类簇；

对于特征聚类簇中的任一新增运行数据：将该新增运行数据对应的数据点与其所在的特征聚类簇的中心点之间的距离的归一化值，确定为该新增运行数据的异常程度；

对于非特征聚类簇中的任一新增运行数据：获取该新增运行数据对应的数据点与所有特征聚类簇的中心点之间的距离的最小值，将所述距离的最小值的归一化结果作为该新增运行数据的异常程度。

6.根据权利要求5所述的基于物联网的通信网关数据传输方法，其特征在于，基于目标聚类簇中数据点的数量差异，确定各目标聚类簇对应的类别，包括：

统计各目标聚类簇中数据的数量，基于各目标聚类簇中数据点的数量，按照从大到小的顺序对所有目标聚类簇进行排序获得聚类簇序列；

判断所述聚类簇序列中第一个目标聚类簇中数据点的数量是否满足预设条件，若满足，则将所述聚类簇序列中第一个目标聚类簇作为特征聚类簇；若不满足，则判断所述聚类簇序列中第一个目标聚类簇中数据点的数量与第二个目标聚类簇中数据点的数量的和值是否满足预设条件，以此类推，直到数据点的数量的和值满足预设条件，将对应的目标聚类簇作为特征聚类簇；

将聚类簇序列中除特征聚类簇外的其他聚类簇作为非特征聚类簇。

7.根据权利要求1所述的基于物联网的通信网关数据传输方法，其特征在于，所述对所有历史运行数据对应的数据点进行初次聚类获得不少于两个初始聚类簇，包括：

基于历史运行数据之间的DTW距离，采用K-means聚类算法对所有历史运行数据对应的数据点进行初次聚类，获得各初始聚类簇。

8.一种基于物联网的通信网关数据传输系统，包括存储器和处理器，其特征在于，所述处理器执行所述存储器存储的计算机程序，以实现如权利要求1-7任一项所述的基于物联网的通信网关数据传输方法。