CN105278879A - 监控数据的处理方法及装置 - Google Patents

Abstract

本发明公开了一种监控数据的处理方法及装置。其中，该处理方法包括：获取各个监控点的第一监控数据；分别对各个监控点的第一监控数据进行过滤，得到第二监控数据；保存第二监控数据至数据库。本发明解决了保存大规模监控数据时存储效率低的技术问题，从而实现了对大规模监控数据进行高效存储的效果。

Description

监控数据的处理方法及装置

技术领域

本发明涉及数据处理领域，具体而言，涉及一种监控数据的处理方法及装置。

背景技术

随着智能化生产的发展，越来越多的工业生产可实现智能控制。为了使智能控制更加精确，需要提高对智能化生产过程的监控的细致程度，因此需要布设成千上万的监控点来实施监控。规模越大的智能化生产，其需要布设的监控点将越多。同时，为了更加及时的了解到每个监控点的数据变化，对每个监控点均以秒为单位并且以固定的时间间隔进行数据采集，由此带来大规模的采集产生的监控数据。传统的数据处理方式一般为直接保存每次采样的监控数据到磁盘上，这种数据处理方式仅能满足于监控点较少的情况，随着智能化生产中需要布设的监控点越来越多，数据处理面临着越来越大的挑战，对数据保存的I/O瓶颈将成为该数据处理方式的最大瓶颈。其中，I/O为input/output的简称，即为输入/输出设备。

针对上述的保存大规模监控数据时存储效率低的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种监控数据的处理方法及装置，以至少解决保存大规模监控数据时存储效率低的技术问题。

根据本发明实施例的一个方面，提供了一种监控数据的处理方法，该处理方法包括：获取各个监控点的第一监控数据；分别对各个监控点的第一监控数据进行过滤，得到第二监控数据；保存第二监控数据至数据库。

进一步地，分别对各个监控点的第一监控数据进行过滤，得到第二监控数据包括：获取各个监控点的预设过滤条件，其中，预设过滤条件基于对应的监控点对应的数据类型而预先设置的；分别使用各个监控点的预设过滤条件对各个监控点的第一监控数据进行过滤，得到第二监控数据。

进一步地，分别使用各个监控点的预设过滤条件对各个监控点的第一监控数据进行过滤，得到第二监控数据包括：判断监控点的当前时刻的第一监控数据的值与上一时刻的第一监控数据的值是否不同，其中，当前时刻与上一时刻间隔预设时间；若当前时刻的第一监控数据的值与上一时刻的第一监控数据的值不同，判断当前时刻的第一监控数据与上一时刻的第一监控数据的差值是否大于监控点的预设阈值；若当前时刻的第一监控数据与上一时刻的第一监控数据的差值大于预设阈值，判断出当前时刻的第一监控数据满足监控点的预设过滤条件，保留当前时刻的第一监控数据得到第二监控数据。

进一步地，在获取各个监控点的预设过滤条件之前，处理方法还包括：获取各个监控点对应的数据类型，其中，监控点对应的数据类型用于指示监控点所采集数据的重要级别；基于各个监控点对应的数据类型设置各个监控点的预设过滤条件，其中，数据类型相同的监控点的预设过滤条件相同，若第一监控点对应的数据类型所指示的重要级别高于第二监控点对应的数据类型所指示的重要级别，则设置给第一监控点的预设过滤条件中的预设阈值小于设置给第二监控点的预设过滤条件中的预设阈值，监控点包括第一监控点和第二监控点。

进一步地，在基于各个监控点对应的数据类型设置各个监控点的预设过滤条件之前，处理方法包括：设置各个监控点的访问标识；在基于各个监控点对应的数据类型设置各个监控点的预设过滤条件之后，处理方法还包括：记录各个监控点、监控点的访问标识以及监控点的预设过滤条件之间的对应关系。

进一步地，保存第二监控数据至数据库包括：将第二监控数据保存入内存数据库；每隔预设时间段以事务的方式将内存数据库中存储的数据存入磁盘数据库。

进一步地，在获取各个监控点的第一监控数据之后，处理方法包括：在接收到第一访问请求之后，输出第一监控数据；在得到第二监控数据之后，处理方法包括：在接收到第二访问请求之后，输出第二监控数据。

根据本发明实施例的一个方面，提供了一种监控数据的处理装置，该处理装置包括：第一获取模块，用于获取各个监控点的第一监控数据；过滤模块，用于分别对各个监控点的第一监控数据进行过滤，得到第二监控数据；

保存模块，用于保存第二监控数据至数据库。

进一步地，过滤模块包括：第二获取模块，用于获取各个监控点的预设过滤条件，其中，预设过滤条件基于对应的监控点对应的数据类型而预先设置的；过滤子模块，用于分别使用各个监控点的预设过滤条件对各个监控点的第一监控数据进行过滤，得到第二监控数据。

进一步地，过滤子模块包括：第一判断模块，用于判断监控点的当前时刻的第一监控数据的值与上一时刻的第一监控数据的值是否不同，其中，当前时刻与上一时刻间隔预设时间；第二判断模块，用于若当前时刻的第一监控数据的值与上一时刻的第一监控数据的值不同，判断当前时刻的第一监控数据与上一时刻的第一监控数据的差值是否大于监控点的预设阈值；第三判断模块，用于若当前时刻的第一监控数据与上一时刻的第一监控数据的差值大于预设阈值，判断出当前时刻的第一监控数据满足监控点的预设过滤条件，保留当前时刻的第一监控数据得到第二监控数据。

进一步地，处理装置还包括：第三获取模块，用于在获取各个监控点的预设过滤条件之前，获取各个监控点对应的数据类型，其中，监控点对应的数据类型用于指示监控点所采集数据的重要级别；第一设置模块，用于基于各个监控点对应的数据类型设置各个监控点的预设过滤条件，其中，数据类型相同的监控点的预设过滤条件相同，若第一监控点对应的数据类型所指示的重要级别高于第二监控点对应的数据类型所指示的重要级别，则设置给第一监控点的预设过滤条件中的预设阈值小于设置给第二监控点的预设过滤条件中的预设阈值，监控点包括第一监控点和第二监控点。

进一步地，处理装置包括：第二设置模块，用于在基于各个监控点对应的数据类型设置各个监控点的预设过滤条件之前，设置各个监控点的访问标识；记录模块，用于在基于各个监控点对应的数据类型设置各个监控点的预设过滤条件之后，记录各个监控点、监控点的访问标识以及监控点的预设过滤条件之间的对应关系。

进一步地，保存模块包括：第一保存子模块，用于将第二监控数据保存入内存数据库；第二保存子模块，用于每隔预设时间段以事务的方式将内存数据库中存储的数据存入磁盘数据库。

进一步地，处理装置还包括：第一输出模块，用于在获取各个监控点的第一监控数据之后，在接收到第一访问请求之后，输出第一监控数据；第二输出模块，用于在得到第二监控数据之后，在接收到第二访问请求之后，输出第二监控数据。

在本发明实施例中，在获取各个监控点的第一监控数据后，分别对各个监控点的第一监控数据进行过滤，得到过滤后的第二监控数据，保存第二监控数据至数据库，避免了将全部的监控数据同时存入数据库导致的存储效率过低的现象，通过上述实施例，解决了保存大规模监控数据时存储效率低的问题，从而实现了对大规模监控数据进行高效存储的效果。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种监控数据的处理方法的流程图；

图2是根据本发明实施例的一种可选的设置监控数据的过滤条件的原理框图；

图3是根据本发明实施例的一种可选的监控点设置的原理框图；

图4是根据本发明实施例的一种可选的监控点和访问标识关系的原理框图；

图5是根据本发明实施例的一种可选的监控数据的处理方法的流程图；

图6是根据本发明实施例的一种监控数据的处理装置的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本发明实施例，提供了一种监控数据的处理方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本发明实施例的一种监控数据的处理方法的流程图，如图1所示，该处理方法包括如下步骤：

步骤S102，获取各个监控点的第一监控数据。

步骤S104，分别对各个监控点的第一监控数据进行过滤，得到第二监控数据。

步骤S106，保存第二监控数据至数据库。

采用本发明上述实施例，在获取各个监控点的第一监控数据后，对每个监控点的第一监控数据进行单独处理，将各个监控点的数据过滤之后得到第二监控数据保存人数据库，在上述实施例中由于对各个监控点的数据进行单独处理，可以消除监控点数据操作时的相互影响，消除了不同监控点数据之间的关联性，加快了数据的处理效率，并且在将监控点的数据保存入数据库之前将数据进行了过滤处理，减小了数据量，避免了将全部的监控数据存入数据库导致的存储效率过低减小了数据的处理量，通过上述实施例，解决了保存大规模监控数据时存储效率低的问题，从而实现了对大规模监控数据进行高效存储的效果。

具体地，可以利用监控摄像机或者传感器来获取进行智能化生产的工厂的各个监控点的监控数据(即第一监控数据)，以监控点为单位，对每个监控点的监控数据进行单独处理，如，对监控点1来说，若其监控数据的变化小于预设的阈值，则可以将其过滤掉，并不做任何其他处理，而对数据的变化大于预设的阈值的监控数据(即第二监控数据)进行保存，将其保存至数据库中。

下面以对空调的智能化生产的监控为例详细介绍本发明上述实施例。在空调的智能化生产线上设置多个监控点(如，监控点1、监控点2和监控点3)，以对各个生产区域进行监控，可以利用监控摄像机或者传感器来实时(如每隔一秒采集一次数据)获取空调的智能化生产的监控数据(即第一监控数据)，这些监控数据可以包括：单位时间内空调的产出个数，生产的温度，生产的湿度等。分别对各个监控点(如，监控点1、监控点2和监控点3)的监控数据进行单独的处理，如，若监控点1的上一秒的生产的温度与当前时刻的生产温度的变化超过5摄氏度，则将监控点1的上一秒和当前时刻的生产温度的监控数据存入数据库，若监控点1的上一秒的生产的温度与当前时刻的生产温度的变化不超过5摄氏度，则对监控点1的上一秒和当前时刻的生产温度的监控数据不做任何处理。

在本发明上述实施例中，对每个监控点的监控数据进行单独管理，而不是传统的统一处理，对每个监控点的数据(即第一监控数据)分别进行过滤处理，只保存满足数据过滤条件的监控数据(即第二监控数据)至数据库，从而减少数据的存数数量，减少磁盘的I/O次数，提高存储数据的效率，实现对大规模监控数据的高效存储处理的效果。

可选地，分别对各个监控点的第一监控数据进行过滤，得到第二监控数据包括：获取各个监控点的预设过滤条件，其中，预设过滤条件基于对应的监控点对应的数据类型而预先设置的；分别使用各个监控点的预设过滤条件对各个监控点的第一监控数据进行过滤，得到第二监控数据。

在上述实施例中，在获取各个监控点的第一监控数据之后，获取各个监控点对应的预设过滤条件(该预设过滤条件与监控点所监控数据的数据类型有关)，然后分别使用这些过滤条件对各个监控点的第一监控数据进行过滤，从而得到第二监控数据，再保存这些第二监控数据至数据库。通过上述实施例，根据各个监控点的安全属性的不同，对各个监控点的数据进行区别对待，避免了安全属性较高的监控点的监控数据的丢失和安全属性较低的监控点的监控数据的不必要的存储，从而实现了在保证安全属性较高的监控点的监控数据不损失的条件下，对监控数据的高效存储。

上述实施例中对数据过滤条件的设置的具体过程如图2所示，在进行数据的预设过滤条件的设置时，基于各个监控点对应的数据类型为监控点设置不同的预设过滤条件(如图2所示的过滤条件1、过滤条件2、过滤条件3以及过滤条件4)；分别将各个监控点的过滤条件分配给对应的各个监控点，即过滤条件1对应于监控点1，过滤条件2对应于监控点2，过滤条件3对应于监控点3以及过滤条件4对应于监控点4。

其中，上述的过滤条件1过滤条件2、过滤条件3以及过滤条件4均可以为上述的预设过滤条件。

可选地，分别使用各个监控点的预设过滤条件对各个监控点的第一监控数据进行过滤，得到第二监控数据包括：判断监控点的当前时刻的第一监控数据的值与上一时刻的第一监控数据的值是否不同，其中，当前时刻与上一时刻间隔预设时间；若当前时刻的第一监控数据的值与上一时刻的第一监控数据的值不同，判断当前时刻的第一监控数据与上一时刻的第一监控数据的差值是否大于监控点的预设阈值；若当前时刻的第一监控数据与上一时刻的第一监控数据的差值大于预设阈值，判断出当前时刻的第一监控数据满足监控点的预设过滤条件，保留当前时刻的第一监控数据得到第二监控数据。

在上述实施例中，在获取各个监控点的第一监控数据后，通过判断监控点的当前时刻的第一监控数据的值与上一时刻的第一监控数据的值是否不同，将当前时刻的第一监控数据的值与上一时刻的第一监控数据的值不同的监控点的第一监控数据过滤掉，在过滤后的该第一监控数据中，判断当前时刻的第一监控数据与上一时刻的第一监控数据的差值是否大于监控点的预设阈值，将当前时刻的第一监控数据与上一时刻的第一监控数据的差值小于监控点的预设阈值的部分第一监控数据过滤掉，从而得到第二监控数据，然后对第二监控数据进行存储。采用上述实施例，通过对第一监控数据的两次数据过滤，能够在很大程度上减少保存的监控数据量，从而实现节省存储空间的效果。

其中，上述实施例的方案仅在监控点的第一监控数据的值(即当前时刻的第一监控数据的值与上一时刻的第一监控数据的值)有改变时，才进行数据变化幅度(第一监控数据的差值)的计算，完成对监控点数据的第一次过滤。

仅保持监控数据变化幅度(第一监控数据的差值)大于数据敏感度(预设阈值)的第一监控数据，完成对监控点的监控数据的第二次过滤。

可选地，在获取各个监控点的预设过滤条件之前，处理方法还包括：获取各个监控点对应的数据类型，其中，监控点对应的数据类型用于指示监控点所采集数据的重要级别；基于各个监控点对应的数据类型设置各个监控点的预设过滤条件，其中，数据类型相同的监控点的预设过滤条件相同，若第一监控点对应的数据类型所指示的重要级别高于第二监控点对应的数据类型所指示的重要级别，则设置给第一监控点的预设过滤条件中的预设阈值小于设置给第二监控点的预设过滤条件中的预设阈值，监控点包括第一监控点和第二监控点。

其中上述的重要级别包括：非常重要、重要、比较重要和不重要；该重要级别也可以为：很重要、重要、一般和不重要。该重要级别的上述表现方式仅作示例说明。

在上述实施例中，在获取各个监控点的第一监控数据后，获取各个监控点对应的数据类型，并获取各个数据类型所指示的重要级别，对属于同样重要级别的监控点设置相同的预设过滤条件，对不同安全级别的监控点(如，第一监控点和第二监控点)，为第一监控点和第二监控点中对应的数据类型所指示的重要级别较高的监控点设置预设阈值较小的预设过滤条件，再分别使用各个监控点的预设过滤条件对各个监控点的第一监控数据进行过滤，得到过滤后的第二监控数据，然后将其保存至数据库。通过上述实施例，可以实现对监控不同重要级别的数据的监控点进行区别对待，使重要级别较高的监控数据保存更多数据，避免存储重要级别低的监控数据，从而节省了存储空间，提高了监控数据的存储的效果。

例如，若数据类型表示的重要级别包括很重要、重要、一般、不重要，而数据的重要级别也即数据重要程度，可以用来表示该监控点监控数据本身的重要性。如：监控点1对应的是某个磨具的磨损程度，磨损程度对于高精度产品的影响是很大的，因此该磨损度很重要，从而该监控点采集的数据也就重要，该监控点1对应的重要级别可以为：很重要；监控点2对应的是某个温度，而对该点的监控仅仅是为了知道温度的大致变化，因此该温度相对而言就不是重要的数据，从而该监控点采集的数据也就不重要了，该监控点2对应的重要级别可以为：一般。

进一步地，由于不同的监控点的数据重要程度是不一样的，如果采用统一的数据敏感度(即上述实施例中的预设过滤条件)对监控数据进行过滤，不能很好的反应数据的重要性(即上述实施例中的重要级别)，监控数据的敏感度过高(即预设阈值设置过低)，导致不重要的数据的细微变化也将保存；敏感度过低(即预设阈值设置过高)，导致重要的数据的细微变化不能及时反映与保持，因此，针对不同的监控点，根据该监控点的监控数据的重要程度，设置不同的数据变化敏感度(即上述实施例中的预设过滤条件中的预设阈值)，对重要的数据设置较高敏感度(较低的预设阈值)，保证其细微的变化也将保存；对不重要的数据设置较低的敏感度(较高的预设阈值)，确保只有达到一定变化程度的数据才能够被保存。对不同的监控点设置不同的数据敏感度(预设过滤条件中的预设阈值)，从而能够区别对待不同的监控点数据。

可选地，在获取各个监控点的第一监控数据之后，获取各个监控点所监控区域的安全属性，基于获取到的各个监控点对应的安全属性为监控点设置不同的过滤条件，然后分别使用这些过滤条件对各个监控点的第一监控数据进行过滤，从而得到第二监控数据，再保存这些第二监控数据至数据库。通过上述实施例，实现了在保证安全属性较高的监控点的监控数据不损失的条件下，对监控数据的高效存储。

可选地，在基于各个监控点对应的数据类型设置各个监控点的预设过滤条件之前，处理方法包括：设置各个监控点的访问标识。在基于各个监控点对应的数据类型设置各个监控点的预设过滤条件之后，处理方法还包括：记录各个监控点、监控点的访问标识以及监控点的预设过滤条件之间的对应关系。

在上述实施例中，根据地址(即访问标识)对各个监控点进行单独管理，能消除监控点数据操作时的相互影响，消除了数据之间的关联性，消除上层业务逻辑与数据的直接关系，能对更多的监控点进行管理。

具体地，本发明的上述实施例可以根据监控点地址(即上述实施例的访问标识)对每个监控点进行单独的管理，如图3所示，可以通过上层业务逻辑模块基于监控点地址将监控点分为多个监控点，其中，可以分为如图3所示的监控点1、监控点2和监控点3。这样能使监控点之间的数据操作互不影响。针对地址(即上述实施例的访问标识)可以使对各个监控点的监控数据(如，监控系统的上层业务逻辑与底层的数据)的采集分离，增大了本实施中的监控数据的处理方法的灵活性。

可选地，保存第二监控数据至数据库包括：将第二监控数据保存入内存数据库；每隔预设时间段以事务的方式将内存数据库中存储的数据存入磁盘数据库。

具体的，上述实施例中的方案可以在内存足够的情况下，能对成千上万的监控点进行实时数据采集和分析，这对高度的智能化生产和管理有着极大的作用。

在上述实施例中，在获取各个监控点的第一监控数据之后，分别对各个监控点的第一监控数据进行过滤得到第二监控数据，将该过滤后的第二监控数据先保存入内存数据库，然后每隔预设时间段以事务的方式将内存数据库中存储的数据存入磁盘数据库。通过上述实施例，在存储第二监控数据时，使用内存数据库作为监控数据的缓存区，可以使内存的I/O速度极快，从而避免了成为数据保存的瓶颈，通过定时将内存数据库中的第二监控数据以事务的方式保存到磁盘数据库，可以有效减少数据的存储和读取的次数。

具体地，因为内存数据库中保存的经过两次过滤的第二监控数据，所以其存储的数据量相对较小，又由于部分监控点的监控数据基本上是不会高速变化的，因此，采用上述实施例还增加了查询历史数据的便利性。

可选地，在获取各个监控点的第一监控数据之后，该处理方法包括：在接收到第一访问请求之后，输出第一监控数据；在得到第二监控数据之后，该处理方法包括：在接收到第二访问请求之后，输出第二监控数据。

在上述实施例中，在获取各个监控点的第一监控数据后，若接收到第一访问请求之后，则输出第一监控数据，然后分别对各个监控点的第一监控数据进行过滤，得到第二监控数据，若接收到第二访问请求，则输出第二监控数据，然后保存第二监控数据至数据库。通过本发明上述实施例，在对各个监控点的监控数据进行获取并存储的同时，可以对外提供数据访问接口，以便进行其他二次开发。

具体的，可以通过实时数据访问接口来接收的对数据的访问请求，该访问请求包括第一访问请求和第二访问请求，其中，第一访问请求为对未做任何处理的原始监控数据的访问请求，第二访问请求为经过两次次数据过滤后的数据访问请求，即对第二监控数据的数据访问请求。

结合上述实施例，可以实现对每个监控点的数据进行单独管理，对定时采集的监控点数据进行单独的处理，而不是传统的统一处理；对每个监控点设置不同的数据敏感度(即预设过滤条件)，其中，如果监控点的数据类型所指示的重要级别一致，则这些监控点的敏感度(即预设过滤条件中的预设阈值)一致；只保存满足数据过滤条件的实时监控数据，其中，若第一监控数据在当前时刻和上一时刻的值有改变时，保存有改变的对应的第一监控数据，若这些有改变的第一监控数据的改变幅度满足该监控点对应的预设过滤条件的预设阈值，则满足预设过滤条件的第一监控数据为第二监控数据，然后以内存数据库作为保存监控数据的缓冲区存储第二监控数据，并定时以事务方式将内存数据库中的第二监控数据写入磁盘数据库，从而实现减少磁盘I/O次数和提高存储数据的效率的效果。

具体地，本发明上述实施例可以设置监控点、访问标识(如地址)、数据处理业务逻辑(预设过滤条件)的一一对应关系，同时可以根据监控数据的重要程度(即安全级别)，对监控点的监控数据设置不同的数据敏感度(即预设过滤条件中的预设阈值)，越重要的数据(即重要级别越高的数据)，数据敏感度越高(即设置的预设阈值越低)，经过两次过滤后的第一监控数据即为第二监控数据，然后对每个监控点的第二监控数据进行存储处理。

如图4所示，可以通过访问标识配置模块为每个监控点分配一个唯一的访问标识其中，可以为监控点1配置访问标识1，为监控点2配置访问标识2，为监控点3配置访问标识3以及为监控点4配置访问标识4。通过该访问标识为该监控点配置唯一的数据处理方法(即预设过滤条件)，对监控数据的预设过滤条件包括监控点1的监控数据的过滤条件、监控点2的监控数据的预设过滤条件、监控点3的监控数据的预设过滤条件以及监控点4的监控数据的预设过滤条件。从而可以做到监控点、访问标识(如地址)和数据处理方法(即预设过滤条件)的一一对应，使能够对每个监控点的监控数据进行单独处理。

如图5所示，上述实施例中的监控数据的处理方法可以通过如下步骤实现，需要说明的是，对于三个监控点的数据处理方法一致，且在附图中对同样的处理过程的标号一致，下面结合对监控点1的数据进行处理的流程详述本发明：

步骤S501:定时读取所有监控点数据。

具体地，可以通过监控摄像机或者传感器来读取各个监控点的监控数据，在读取监控数据时，可以每间隔固定的时间间隔来读取数据，时间间隔可以为1s或者0.1s。

步骤S502:获取访问标识。

步骤S503:获得监控点1的第一监控数据。

具体地，按照各个监控点对应的访问标识将监控数据分份，即可以分为监控点1的第一监控数据、监控点2的第一监控数据和监控点3的第一监控数据。此时，可以通过原始数据的访问接口访问各个监控点的第一监控数据。

对于监控点2和监控点3的第一监控数据的处理方式与监控点1的处理方式一致，在此不再赘述。

步骤S504:判断值是否改变。

具体地，可以采用两次监控数据过滤方法对原始的监控点数据进行压缩出来，其中，第一次过滤方法为：分别判断各个监控点的第一监控数据的值是否改变，将当前时刻的第一监控数据与上次数据(如上一时刻的第一监控数据)进行对比，只有数据值有变化的第一监控数据才进行数据变化幅度计算，否则不做任何处理，即不进行下一步的处理。

步骤S505:判断值改变幅度是否大于数据敏感度。

具体地，判断值改变幅度是否大于数据敏感度为第二次过滤方法，即计算本次数据的数据变化幅度(即当前时刻的第一监控数据与上一时刻的第一监控数据的差值)。只有变化幅度(即当前时刻的第一监控数据与上一时刻的第一监控数据的差值)满足该监控点数据敏感度(大于监控点的预设过滤条件中的预设阈值)的第一监控数据才能够作为第二监控数据；否则不做任何处理，即不进行保存处理。

步骤S506:保存在内存数据库。

具体地，将获得的第二监控数据保存在内存数据库。此时，也可以通过处理后数据访问接口对第二监控数据进行访问。使用内存数据库作为保存实时监控数据的缓存方式，内存具有极快的I/O读写速度，能避免直接把监控数据写入磁盘数据库时产生的磁盘I/O读写速度瓶颈。

步骤S507:定时保存于磁盘数据库。

具体地，以定时事务方式提交数据至磁盘数据库。定时以事务的方式把内存数据库中的监控数据写入磁盘数据库，由于内存数据库中的监控数据已经是经过压缩的，在很大程度上减少了监控数据的规模，同时，事务方式能有效提升磁盘数据库的读写速度。内存数据库加磁盘数据库的数据保存方式能解决保存大规模实时监控数据产生磁盘I/O读写瓶颈的问题，同时能在很大程度上减少数据存储的磁盘空间。

具体地，针对地址(即上述实施例的访问标识)可以使运用上述实施例的监控数据处理方法的系统的上层业务逻辑与底层的数据采集分离，增大了本方案实施的灵活性；对监控点的数据进行两次过滤，使用内存数据库作为监控数据的缓存区，内存的I/O速度极快，不会成为数据保存的瓶颈；定时将内存数据库中的数据以事务(事务能有效减少I/O次数)的方式保存到磁盘数据库，以便于查询历史数据(因为内存中保存的经过2次过滤的数据，所以数据量相对要小很多，因为大部分监控点的数据基本上是不会高速变化的)；同时对外提供数据访问接口，以便进行其他二次开发。

根据本发明实施例的另一方面，还提供了一种监控数据的处理装置，如图6所示，该处理装置包括：第一获取模块10、过滤模块30以及保存模块50。

第一获取模块10，用于获取各个监控点的第一监控数据；过滤模块30，用于分别对各个监控点的第一监控数据进行过滤，得到第二监控数据；保存模块50，用于保存第二监控数据至数据库。

采用本发明上述实施例，在通过第一获取模块获取各个监控点的第一监控数据后，通过过滤模块分别对各个监控点的第一监控数据进行过滤，得到过滤后的第二监控数据，再通过保存模块保存第二监控数据至数据库，避免了将全部的监控数据同时存入数据库导致的存储效率过低的现象，通过上述实施例，解决了保存大规模监控数据时存储效率低的问题，从而实现了对大规模监控数据进行高效存储的效果。

可选地，过滤模块包括：第二获取模块和过滤子模块。

第二获取模块，用于获取各个监控点的预设过滤条件，其中，预设过滤条件基于对应的监控点对应的数据类型而预先设置的；过滤子模块，用于分别使用各个监控点的预设过滤条件对各个监控点的第一监控数据进行过滤，得到第二监控数据。

在上述实施例中，在获取各个监控点的第一监控数据之后，获取各个监控点对应的预设过滤条件(该预设过滤条件与监控点所监控数据的数据类型有关)，然后分别使用这些过滤条件对各个监控点的第一监控数据进行过滤，从而得到第二监控数据，再保存这些第二监控数据至数据库。通过上述实施例，根据各个监控点的安全属性的不同，对各个监控点的数据进行区别对待，避免了安全属性较高的监控点的监控数据的丢失和安全属性较低的监控点的监控数据的不必要的存储，从而实现了在保证安全属性较高的监控点的监控数据不损失的条件下，对监控数据的高效存储。

可选地，过滤子模块包括：第一判断模块、第二判断模块以及第三判断模块。

第一判断模块，用于判断监控点的当前时刻的第一监控数据的值与上一时刻的第一监控数据的值是否不同，其中，当前时刻与上一时刻间隔预设时间；第二判断模块，用于若当前时刻的第一监控数据的值与上一时刻的第一监控数据的值不同，判断当前时刻的第一监控数据与上一时刻的第一监控数据的差值是否大于监控点的预设阈值；第三判断模块，用于若当前时刻的第一监控数据与上一时刻的第一监控数据的差值大于预设阈值，判断出当前时刻的第一监控数据满足监控点的预设过滤条件，保留当前时刻的第一监控数据得到第二监控数据。

在上述实施例中，在获取各个监控点的第一监控数据后，通过判断监控点的当前时刻的第一监控数据的值与上一时刻的第一监控数据的值是否不同，将当前时刻的第一监控数据的值与上一时刻的第一监控数据的值不同的监控点的第一监控数据过滤掉，在过滤后的该第一监控数据中，判断当前时刻的第一监控数据与上一时刻的第一监控数据的差值是否大于监控点的预设阈值，将当前时刻的第一监控数据与上一时刻的第一监控数据的差值小于监控点的预设阈值的部分第一监控数据过滤掉，从而得到第二监控数据，然后对第二监控数据进行存储。采用上述实施例，通过对第一监控数据的两次数据过滤，能够在很大程度上减少保存的监控数据量，从而实现节省存储空间的效果。

可选地，处理装置还包括：第三获取模块和第一设置模块。

第三获取模块，用于在获取各个监控点的预设过滤条件之前，获取各个监控点对应的数据类型，其中，监控点对应的数据类型用于指示监控点所采集数据的重要级别；第一设置模块，用于基于各个监控点对应的数据类型设置各个监控点的预设过滤条件，其中，数据类型相同的监控点的预设过滤条件相同，若第一监控点对应的数据类型所指示的重要级别高于第二监控点对应的数据类型所指示的重要级别，则设置给第一监控点的预设过滤条件中的预设阈值小于设置给第二监控点的预设过滤条件中的预设阈值，监控点包括第一监控点和第二监控点。

其中上述的重要级别包括：非常重要、重要、比较重要和不重要；该重要级别也可以为：很重要、重要、一般和不重要。该重要级别的上述表现方式仅作示例说明。

在上述实施例中，在获取各个监控点的第一监控数据后，获取各个监控点对应的数据类型，并获取各个数据类型所指示的重要级别，对属于同样重要级别的监控点设置相同的预设过滤条件，对不同安全级别的监控点(如，第一监控点和第二监控点)，为第一监控点和第二监控点中对应的数据类型所指示的重要级别较高的监控点设置预设阈值较小的预设过滤条件，再分别使用各个监控点的预设过滤条件对各个监控点的第一监控数据进行过滤，得到过滤后的第二监控数据，然后将其保存至数据库。通过上述实施例，可以实现对监控不同重要级别的数据的监控点进行区别对待，使重要级别较高的监控数据保存更多数据，避免存储重要级别低的监控数据，从而节省了存储空间，提高了监控数据的存储的效果。

可选地，处理装置包括：第二设置模块和记录模块。

其中，第二设置模块，用于基于各个监控点对应的数据类型设置各个监控点的预设过滤条件之前，设置各个监控点的访问标识；记录模块，用于基于各个监控点对应的数据类型设置各个监控点的预设过滤条件之后，记录各个监控点、监控点的访问标识以及监控点的预设过滤条件之间的对应关系。

在上述实施例中，根据地址(即访问标识)对各个监控点进行单独管理，能消除监控点数据操作时的相互影响，消除了数据之间的关联性，消除上层业务逻辑与数据的直接关系，能对更多的监控点进行管理。

可选地，保存模块包括：第一保存子模块和第二保存子模块。

第一保存子模块，用于将第二监控数据保存入内存数据库；第二保存子模块，用于每隔预设时间段以事务的方式将内存数据库中存储的数据存入磁盘数据库。

在上述实施例中，在获取各个监控点的第一监控数据之后，分别对各个监控点的第一监控数据进行过滤得到第二监控数据，将该过滤后的第二监控数据先保存入内存数据库，然后每隔预设时间段以事务的方式将内存数据库中存储的数据存入磁盘数据库。通过上述实施例，在存储第二监控数据时，使用内存数据库作为监控数据的缓存区，可以使内存的I/O速度极快，从而避免了成为数据保存的瓶颈，通过定时将内存数据库中的第二监控数据以事务的方式保存到磁盘数据库，可以有效减少数据的存储和读取的次数。

可选地，处理装置还包括：第一输出模块和第二输出模块。

第一输出模块，用于在获取各个监控点的第一监控数据之后，在接收到第一访问请求之后，输出第一监控数据；第二输出模块，用于在得到第二监控数据之后，在接收到第二访问请求之后，输出第二监控数据。

在上述实施例中，在获取各个监控点的第一监控数据后，若接收到第一访问请求之后，则输出第一监控数据，然后分别对各个监控点的第一监控数据进行过滤，得到第二监控数据，若接收到第二访问请求，则输出第二监控数据，然后保存第二监控数据至数据库。通过本发明上述实施例，在对各个监控点的监控数据进行获取并存储的同时，可以对外提供数据访问接口，以便进行其他二次开发。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (14)

1.一种监控数据的处理方法，其特征在于，包括：

获取各个监控点的第一监控数据；

分别对各个所述监控点的第一监控数据进行过滤，得到第二监控数据；

保存所述第二监控数据至数据库。

2.根据权利要求1所述的处理方法，其特征在于，分别对各个所述监控点的第一监控数据进行过滤，得到第二监控数据包括：

获取各个所述监控点的预设过滤条件，其中，所述预设过滤条件基于对应的所述监控点对应的数据类型而预先设置的；

分别使用各个所述监控点的预设过滤条件对各个所述监控点的第一监控数据进行过滤，得到所述第二监控数据。

3.根据权利要求2所述的处理方法，其特征在于，分别使用各个所述监控点的预设过滤条件对各个所述监控点的第一监控数据进行过滤，得到所述第二监控数据包括：

判断所述监控点的当前时刻的第一监控数据的值与上一时刻的第一监控数据的值是否不同，其中，所述当前时刻与所述上一时刻间隔预设时间；

若所述当前时刻的第一监控数据的值与所述上一时刻的第一监控数据的值不同，判断所述当前时刻的第一监控数据与所述上一时刻的第一监控数据的差值是否大于所述监控点的预设阈值；

若所述当前时刻的第一监控数据与所述上一时刻的第一监控数据的差值大于所述预设阈值，判断出所述当前时刻的第一监控数据满足所述监控点的预设过滤条件，保留所述当前时刻的第一监控数据得到所述第二监控数据。

4.根据权利要求2所述的处理方法，其特征在于，在获取各个所述监控点的预设过滤条件之前，所述处理方法还包括：

获取各个所述监控点对应的数据类型，其中，所述监控点对应的数据类型用于指示所述监控点所采集数据的重要级别；

基于各个所述监控点对应的数据类型设置各个所述监控点的所述预设过滤条件，其中，数据类型相同的所述监控点的所述预设过滤条件相同，若第一监控点对应的数据类型所指示的重要级别高于第二监控点对应的数据类型所指示的重要级别，则设置给所述第一监控点的预设过滤条件中的预设阈值小于设置给所述第二监控点的预设过滤条件中的预设阈值，所述监控点包括所述第一监控点和所述第二监控点。

5.根据权利要求4所述的处理方法，其特征在于，

在基于各个所述监控点对应的数据类型设置各个所述监控点的所述预设过滤条件之前，所述处理方法包括：设置各个所述监控点的访问标识；

在基于各个所述监控点对应的数据类型设置各个所述监控点的所述预设过滤条件之后，所述处理方法还包括：记录各个所述监控点、所述监控点的访问标识以及所述监控点的预设过滤条件之间的对应关系。

6.根据权利要求1所述的处理方法，其特征在于，保存所述第二监控数据至数据库包括：

将所述第二监控数据保存入内存数据库；

每隔预设时间段以事务的方式将所述内存数据库中存储的数据存入磁盘数据库。

7.根据权利要求1所述的处理方法，其特征在于，

在获取各个监控点的第一监控数据之后，所述处理方法包括：在接收到第一访问请求之后，输出所述第一监控数据；

在得到第二监控数据之后，所述处理方法包括：在接收到第二访问请求之后，输出所述第二监控数据。

8.一种监控数据的处理装置，其特征在于，包括：

第一获取模块，用于获取各个监控点的第一监控数据；

过滤模块，用于分别对各个所述监控点的第一监控数据进行过滤，得到第二监控数据；

保存模块，用于保存所述第二监控数据至数据库。

9.根据权利要求8所述的处理装置，其特征在于，所述过滤模块包括：

第二获取模块，用于获取各个所述监控点的预设过滤条件，其中，所述预设过滤条件基于对应的所述监控点对应的数据类型而预先设置的；

过滤子模块，用于分别使用各个所述监控点的预设过滤条件对各个所述监控点的第一监控数据进行过滤，得到所述第二监控数据。

10.根据权利要求9所述的处理装置，其特征在于，所述过滤子模块包括：

第一判断模块，用于判断所述监控点的当前时刻的第一监控数据的值与上一时刻的第一监控数据的值是否不同，其中，所述当前时刻与所述上一时刻间隔预设时间；

第二判断模块，用于若所述当前时刻的第一监控数据的值与所述上一时刻的第一监控数据的值不同，判断所述当前时刻的第一监控数据与所述上一时刻的第一监控数据的差值是否大于所述监控点的预设阈值；

第三判断模块，用于若所述当前时刻的第一监控数据与所述上一时刻的第一监控数据的差值大于所述预设阈值，判断出所述当前时刻的第一监控数据满足所述监控点的预设过滤条件，保留所述当前时刻的第一监控数据得到所述第二监控数据。

11.根据权利要求9所述的处理装置，其特征在于，所述处理装置还包括：

第三获取模块，用于在获取各个所述监控点的预设过滤条件之前，获取各个所述监控点对应的数据类型，其中，所述监控点对应的数据类型用于指示所述监控点所采集数据的重要级别；

第一设置模块，用于基于各个所述监控点对应的数据类型设置各个所述监控点的所述预设过滤条件，其中，数据类型相同的所述监控点的所述预设过滤条件相同，若第一监控点对应的数据类型所指示的重要级别高于第二监控点对应的数据类型所指示的重要级别，则设置给所述第一监控点的预设过滤条件中的预设阈值小于设置给所述第二监控点的预设过滤条件中的预设阈值，所述监控点包括所述第一监控点和所述第二监控点。

12.根据权利要求9所述的处理装置，其特征在于，所述处理装置还包括：

第二设置模块，用于在基于各个所述监控点对应的数据类型设置各个所述监控点的所述预设过滤条件之前，设置各个所述监控点的访问标识；

记录模块，用于在基于各个所述监控点对应的数据类型设置各个所述监控点的所述预设过滤条件之后，记录各个所述监控点、所述监控点的访问标识以及所述监控点的预设过滤条件之间的对应关系。

13.根据权利要求8所述的处理装置，其特征在于，所述保存模块包括：

第一保存子模块，用于将所述第二监控数据保存入内存数据库；

第二保存子模块，用于每隔预设时间段以事务的方式将所述内存数据库中存储的数据存入磁盘数据库。

14.根据权利要求8所述的处理装置，其特征在于，所述处理装置还包括：

第一输出模块，用于在获取各个监控点的第一监控数据之后，在接收到第一访问请求之后，输出所述第一监控数据；

第二输出模块，用于在得到第二监控数据之后，在接收到第二访问请求之后，输出所述第二监控数据。