CN116881984B - 一种数据监测方法 - Google Patents

Abstract

本发明涉及物联网技术领域，具体涉及一种数据监测方法，包括上报对象在健康心跳收集服务进行注册并设定上报对象的监测规则；已注册的上报对象生成存活数据；基于存活数据，健康心跳收集服务生成心跳序列；根据监测规则检索心跳序列，判断上报对象的健康状态。本发明能够同时监测多个上报对象的运行状况，并且可动态调整上报频率和健康监测标准，不受存储数据的影响；多个上报对象的心跳序列分开，可以完美避开不同上报对象之间的并发问题，极大的提高数据安全性和系统的并发度。

Description

一种数据监测方法

技术领域

本发明涉及物联网技术领域，具体涉及一种数据监测方法。

背景技术

物联网大量兴起，有大量的硬件设备、软件服务运行在远端，如何判断这个设备与服务的数据处于在线健康状态有着重要的意义。一般的存储方式为行列式，会有大量的数据记录和极高的存储成本，相对较慢的检索性能，同时并发度低。

因此，本发明提供了一种数据监测方法，以至少解决上述部分技术问题。

发明内容

本发明要解决的技术问题是：提供一种数据监测方法，以至少解决上述部分技术问题。

为实现上述目的，本发明采用的技术方案如下：

一种数据监测方法，包括以下步骤：

步骤1、上报对象在健康心跳收集服务进行注册并设定上报对象的监测规则；

步骤2、已注册的上报对象生成存活数据；

步骤3、基于存活数据，健康心跳收集服务生成心跳序列；

步骤4、根据监测规则检索心跳序列，判断上报对象的健康状态。

进一步地，上报对象向健康心跳服务发起注册申请，健康心跳服务收到注册申请后，为上报对象分配唯一的uid编码，所述uid编码包括互联网数据中心识别码、服务器识别码和数据文件识别码。

进一步地，存活数据包括上报对象的uid编码和本地时钟。

进一步地，采用数据存储结构生成并存储所述心跳序列，所述数据存储结构包括N个数据槽，每个数据槽存储一个上报对象的心跳序列，每个数据槽包括索引和N个数据包，每个数据包存储一个年份的数据，每个数据包包括N个数据组，每个数据组存储一个季度或月份的数据，每个数据组包括N个数据单元，每个数据单元存储一天的数据，每个数据单元包括24个数据片，每个数据片存储一小时的数据，每个数据片包括3600个数据点，每个数据点存储一秒的数据。

进一步地，生成心跳序列包括：步骤a、根据存活数据，找到包含数据存储结构的对应数据文件；步骤b、将服务器当前时间加入存活数据，得到更新数据；步骤c、查找或分配当前上报对象的数据槽；步骤d、根据更新数据的服务器当前时间，查找或分配当前上报对象的数据包、数据组、数据单元和数据片；步骤e、根据服务器当前时间中的分秒计算数据片中对应的数据点，将当前数据点基准的值0修改为1；步骤f、重复步骤a-步骤d，得到包含多个数据点值的心跳序列。

进一步地，所述步骤a包括：步骤a1、根据uid编码的互联网数据中心识别码，从互联网数据中心列表中找到所对应的数据中心；步骤a2、根据uid编码的服务器识别码，从当前数据中心的服务器列表找到所对应的服务器；步骤a3、根据uid编码的数据文件识别码，从当前服务器的文件系统逐层找到所对应的包含数据存储结构的数据文件。

进一步地，在所述步骤4中，根据监测规则中的监测时间，查找并提取当前上报对象处于监测时间对应数据片的心跳序列值，判定并标记上报对象的健康状态。

进一步地，所述健康状态的判定规则为：当监测时间对应数据点的值均为0时，视为处于不健康，标记上报对象为离线；当监测时间对应数据点的值至少一个不为0时，视为处于健康，标记上报对象为在线。

进一步地，所述上报对象为硬件设备或软件服务。

与现有技术相比，本发明具有以下有益效果：

本发明能够同时监测多个上报对象的运行状况，并且可动态调整上报频率和健康监测标准，不受存储数据的影响；多个上报对象的心跳序列分开，可以完美避开不同上报对象之间的并发问题，极大的提高数据安全性和系统的并发度。

附图说明

图1为本发明的方法流程图。

图2为本发明的数据存储结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进一步详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明提供的一种数据监测方法，包括以下步骤：

步骤1、上报对象在健康心跳收集服务进行注册并设定上报对象的监测规则；

步骤2、已注册的上报对象生成存活数据；

步骤3、基于存活数据，健康心跳收集服务生成心跳序列；

步骤4、根据监测规则检索心跳序列，判断上报对象的健康状态。

本发明能够同时监测多个上报对象的运行状况，并且可动态调整上报频率和健康监测标准，不受存储数据的影响；多个上报对象的心跳序列分开存储，可以完美避开不同上报对象之间的并发问题，极大的提高数据安全性和系统的并发度。本发明所述的上报对象为硬件设备或软件服务，能够实时监测硬件设备或软件服务的在线状态。

在部分实施例中，所述步骤1上报对象的硬件设备根据硬件设备特征（比如：设备Mac地址或者设备硬件唯一编码等）、软件服务使用服务名称向健康心跳服务发起注册申请，健康心跳服务收到注册申请后，为上报对象分配唯一的uid编码。所述uid编码包括互联网数据中心识别码（IDC识别码）、服务器识别码和数据文件识别码，如表1所示：例如0001AAAAaaaa。

表1 uid编码示例

在部分实施例中，所述存活数据包括上报对象的uid编码和本地时钟。存活数据以一定的设定的时间频率生成，例如每3s，存活数据的格式如下：

{

“uid”:“xxxxxxxx”，

“time”:“上报对象本地时间”

}。

在部分实施例中，如图2所示采用数据存储结构生成并存储所述心跳序列，所述数据存储结构包括N个数据槽，每个数据槽存储一个上报对象的心跳序列，每个数据槽包括索引和N个数据包，每个数据包存储一个年份的数据，每个数据包包括N个数据组，每个数据组存储一个季度或月份的数据，每个数据组包括N个数据单元，每个数据单元存储一天的数据，每个数据单元包括24个数据片，每个数据片存储一小时的数据，每个数据片包括3600个数据点，每个数据点存储一秒的数据。一般行列式存储1天理论上需要存储条数据；一年需要存储/>条数据；而本发明存储在一个数据存储结构中，不管多少年一个上报对象只需要一个数据槽，由于一个数据点只需要一个bit，故而整体存储成本极低。同时由于每个上报对象独立使用一个数据槽，可以完美避开不同上报对象之间的并发问题，极大的提高数据安全性和系统的并发度

在部分实施例中，所述步骤3中生成心跳序列包括：步骤a、根据存活数据，找到包含数据存储结构的对应数据文件；步骤b、将服务器当前时间加入存活数据，得到更新数据；步骤c、查找或分配当前上报对象的数据槽，若没有当前上报对象的数据槽，则分配创建一个；步骤d、根据更新数据的服务器当前时间，查找或分配当前上报对象的数据包、数据组、数据单元和数据片，同理没有当前上报对象的数据包、数据组、数据单元和数据片，则分配创建一个；步骤e、根据服务器当前时间中的分秒计算数据片中对应的数据点，将当前数据点基准的值0修改为1；步骤f、重复步骤a-步骤d，得到包含多个数据点值的心跳序列。具体的，根据服务器当前时间将中的年份，在数据槽中找到当前年份对应的数据包（未找到则分配一个）；再根据服务器当前时间中的月份从数据包中找到所属月份的数据组（未找到则分配一个），假设数据组划分粒度为按月划分；再根据服务器当前时间中的日从数据组中，找到对应日的数据单元（未找到则分配一个）；最后再根据服务器当前时间中的小时，找到对应的数据片（未找到则分配一个）。找到对应的数据片后，则根据服务器当前时间中的分秒计算对应的数据点，将其值修改为1（以06:01:13为例，算法为分钟60+秒=1/>60+13=73，则将数据片中的下标为73的数据点的值由0修改为1）。

其中，将服务器当前时间加入存活数据，得到更新数据，更新数据的格式如下：

{

“uid”:“xxxxxxxx”，

“time”:“上报对象本地时间”

“stime”:“健康心跳服务器时间”

}。

上报对象联网时，向服务器请求一个服务器时钟，得到服务器返回的当前时间，例如10:00:03；然后判断上报对象的本地时钟，例如10:00:01；可计算得到上报对象本地时钟比服务器时钟慢了2s，可得偏移值为：+2S。服务器的当前时间支持上报数据因为网络抖动，网络延时等因素导致的乱序上报。或者在每一次生成心跳序列时，将本地时钟加上已算出的偏移值，得到更新后的本地时钟，采用更新后的本地时钟查找或分配当前上报对象的数据包、数据组、数据单元和数据片，并根据更新后的本地时钟中的分秒计算数据片中对应的数据点。

作为优选，所述步骤a包括：步骤a1、根据uid编码的互联网数据中心识别码，从互联网数据中心列表中找到所对应的数据中心；步骤a2、根据uid编码的服务器识别码，从当前数据中心的服务器列表找到所对应的服务器；步骤a3、根据uid编码的数据文件识别码，从当前服务器的文件系统逐层找到所对应的包含数据存储结构的数据文件。具体的，根据uid编码规则将其分为12位，根据前4位为IDC编码，根据从IDC列表中找到所对应的IDC；将数据请求指向到该IDC；根据中间4位服务器编码，从该IDC的服务器列表中找到所对应的服务器；将数据请求指向该服务器；根据后4位数据文件码，查找对应的数据文件，其算法如下：

假设4四位的数据文件码为sfko，服务器上的数据文件存储为一个4层文件系统；根据4位文件码中的第1位：s ，在第一层文件中找到名称为 s的文件夹（不存在则创建）；根据4位文件码中的第2位：f ，在s的子文件中找到名称为 f的文件夹（不存在则创建）；根据4位文件码中的第3位：k ，在f的子文件中找到名称为 k的文件夹（不存在则创建）；根据4位文件码中的第4位：o，在f的子文件中找到名称为 o的数据文件（不存在则创建），o则为 uid所对应包含数据存储结构的数据文件。

在部分实例中，所述步骤4根据监测规则中的监测时间，查找并提取当前上报对象处于监测时间对应数据片的心跳序列值，判定并标记上报对象的健康状态。作为优选，所述健康状态的判定规则为：当监测时间对应数据点的值均为0时，视为处于不健康，标记上报对象为离线；当监测时间对应数据点的值至少一个不为0时，视为处于健康，标记上报对象为在线。监测规则为提前设置，例如每3秒上报一次，连续3次无心跳健康，即视为掉线，不健康状态。找到每一个数据片从第一个数据点或上一个数据片的最后一个数据点开始分析，发现连续间隔3s的3个数据点的值均为0时（秒），视为无心跳，即可以视为一次不健康状态发生，标记上报对象状态为掉线；直到按时间往后推进连续3次监测到有心跳，即视为健康状态，可标记上报对象在线，数据点值为1表示有心跳，数据点值为0表示无心跳。

本发明可动态调整上报频率和健康判断标准，不受存储数据的影响，并且数据结构划分粒度，支持年、季度、月、日、周次、天、小时、秒等粒度，可随意组合，降低存储成本和提高检索效率。

最后应说明的是：以上各实施例仅仅为本发明的较优实施例用以说明本发明的技术方案，而非对其限制，当然更不是限制本发明的专利范围；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围；也就是说，但凡在本发明的主体设计思想和精神上作出的毫无实质意义的改动或润色，其所解决的技术问题仍然与本发明一致的，均应当包含在本发明的保护范围之内；另外，将本发明的技术方案直接或间接的运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (4)

1.一种数据监测方法，其特征在于，包括以下步骤：

步骤1、上报对象在健康心跳收集服务进行注册并设定上报对象的监测规则；

步骤2、已注册的上报对象生成存活数据；

步骤3、基于存活数据，健康心跳收集服务生成心跳序列；

步骤4、根据监测规则检索心跳序列，判断上报对象的健康状态；

在所述步骤1中，上报对象向健康心跳服务发起注册申请，健康心跳服务收到注册申请后，为上报对象分配唯一的uid编码，所述uid编码包括互联网数据中心识别码、服务器识别码和数据文件识别码；

在所述步骤2中，所述存活数据包括上报对象的uid编码和本地时钟；

在所述步骤3中，采用数据存储结构生成并存储所述心跳序列，所述数据存储结构包括N个数据槽，每个数据槽存储一个上报对象的心跳序列，每个数据槽包括索引和N个数据包，每个数据包存储一个年份的数据，每个数据包包括N个数据组，每个数据组存储一个季度或月份的数据，每个数据组包括N个数据单元，每个数据单元存储一天的数据，每个数据单元包括24个数据片，每个数据片存储一小时的数据，每个数据片包括3600个数据点，每个数据点存储一秒的数据；

在所述步骤3中，生成心跳序列包括：步骤a、根据存活数据，找到包含数据存储结构的对应数据文件；步骤b、将服务器当前时间加入存活数据，得到更新数据；步骤c、查找或分配当前上报对象的数据槽；步骤d、根据更新数据的服务器当前时间，查找或分配当前上报对象的数据包、数据组、数据单元和数据片；步骤e、根据服务器当前时间中的分秒计算数据片中对应的数据点，将当前数据点基准的值0修改为1；步骤f、重复步骤a-步骤d，得到包含多个数据点值的心跳序列；

所述步骤a包括：步骤a1、根据uid编码的互联网数据中心识别码，从互联网数据中心列表中找到所对应的数据中心；步骤a2、根据uid编码的服务器识别码，从当前数据中心的服务器列表找到所对应的服务器；步骤a3、根据uid编码的数据文件识别码，从当前服务器的文件系统逐层找到所对应的包含数据存储结构的数据文件。

2.根据权利要求1所述的一种数据监测方法，其特征在于，在所述步骤4中，根据监测规则中的监测时间，查找并提取当前上报对象处于监测时间对应数据片的心跳序列值，判定并标记上报对象的健康状态。

3.根据权利要求2所述的一种数据监测方法，其特征在于，所述健康状态的判定规则为：当监测时间对应数据点的值均为0时，视为处于不健康，标记上报对象为离线；当监测时间对应数据点的值至少一个不为0时，视为处于健康，标记上报对象为在线。

4.根据权利要求1所述的一种数据监测方法，其特征在于，所述上报对象为硬件设备或软件服务。