CN111444172A - 数据监控方法、装置、介质及设备 - Google Patents

Abstract

本发明涉及数据处理技术领域，具体提供了一种数据监控方法、装置、介质及电子设备。其中，该方法包括：获取来自应用程序的待监控数据；结构化待监控数据，并将结构化后的数据存储至缓冲池；基于延迟时长，定时处理缓冲至缓冲池中的结构化后的数据，以根据处理结果实现数据监控。本技术方案可以为用户提供多样式的查询方式，有利于提高数据的查询便利性以及监控准确性。通过缓存池缓存结构化的数据，基于延迟时长对结构化后的数据进行处理能够有效降低延迟，可以克服由于接收到的数据来源可能存在延迟到来的问题，从而能够起到有效提高数据监控的准确性的技术效果，同时本技术方案可以较低成本地实现秒级监控，有利于进一步提高监控准确性。

Description

数据监控方法、装置、介质及设备

技术领域

本发明涉及数据处理技术领域，具体而言，涉及一种数据监控方法、数据监控装置、计算机可读介质及电子设备。

背景技术

随着互联网时代的高速发展，越来越多的人们在利用互联网进行工作、学习和生活。互联网中数据的产生速度及共享速度也急剧增长，从而导致数据量的剧增。从而，数据的来源及类型变得复杂多样性，数据量非常庞大。对数据的处理与监控变得格外重要。

例如，在电商分布式应用系统中，用户访问量较大的事情下(如：存在秒杀等场景中，在同一秒会有大量用户同时访问系统)，电商应用系统将会承受较大压力。为了避免电商应用系统崩溃，需通过监控的方式实时了解系统的运行状态(如：是否有异常、功能是否正常、性能是否良好等)。

参考图1，现有技术提供的数据监控方案中，在应用程序运行过程中将产生的待监控的数据写入日志文件。设置于应用所在设备上的数据收集程序监听到日志文件有更新时，将更新的数据发送到消息队列。消息队列的另一端由一个的计算集群来集中消费并处理上述数据。示例性的，计算集群处理数据的过程包括：对于属于同一指标下的数据，获取一定时间段内(如：1分钟内)的数据进行处理，然后将处理结果写入数据库中，以备用户通过前端可视化工具查询处理结果，从而实现对数据的监控。

然而，现有技术提供的监控方法的监控准确性有待提高。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明实施例的目的在于提供一种数据监控方法、数据监控装置、计算机可读介质及电子设备，进而至少在一定程度上克服现有技术提供的数据监控方法的监控准确性较低的问题。

本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

根据本发明实施例的第一方面，提供了一种数据监控方法，包括：

获取来自应用程序的待监控数据；

结构化所述待监控数据，并将结构化后的数据存储至缓冲池；

基于延迟时长，定时处理缓冲至所述缓冲池中的结构化后的数据，以根据处理结果实现数据监控。

在本发明的一些实施例中，基于前述方案，结构化所述待监控数据，包括：

根据所述待监控数据的监控指标类型，将所述待监控数据进行结构化。

在本发明的一些实施例中，基于前述方案，每个所述监控指标类型包括至少一个分类标签，其中，结构化所述待监控数据，包括：

利用key–value的方式，根据所述分类标签将所述待监控数据进行结构化。

在本发明的一些实施例中，基于前述方案，在结构化所述待监控数据之前，还包括：

对所述待监控数据进行预处理，所述预处理包括但不限于：数据去重处理、非法数据过滤处理。

在本发明的一些实施例中，基于前述方案，基于延迟时长，定时处理缓冲至所述缓冲池中的结构化后的数据，包括：

基于延迟时长N秒，每间隔M秒在所述缓冲池中获取N秒之前的结构化后的数据作为目标数据；

处理所述目标数据；其中，M、N为正数，M大于N。

在本发明的一些实施例中，基于前述方案，处理所述目标数据，包括：

根据待监控数据的监控指标类型和/或分类标签，将所述目标数据进行求和处理、求平均值处理、求最大值处理、求最小值处理、求每秒请求次数处理、求比例处理、求次数处理、求第Q百分位处理中的至少一种；其中，Q为小于100的正数。

在本发明的一些实施例中，基于前述方案，根据处理结果实现数据监控，包括：

通过基于hbase的分布式时序数据处理服务将处理结果发送至数据库；

利用前端可视化工具连接所述数据库以实现对所述处理结果的监控。

根据本发明实施例的第二方面，提供了一种数据监控装置，包括：

数据获取模块，用于获取应用程序发送的待监控数据；

结构化模块，用于结构化所述待监控数据，并将结构化后的数据存储至缓冲池；

数据处理模块，用于基于延迟时长，定时处理缓冲至所述缓冲池中的结构化后的数据，以根据处理结果实现数据监控。

根据本发明实施例的第三方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述实施例中第一方面所述的数据监控方法。

根据本发明实施例的第四方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中第一方面所述的数据监控方法。

本发明实施例提供的技术方案可以包括以下有益效果：

在本发明的一些实施例所提供的技术方案中，获取来自应用程序的待监控数据，通过对上述待监控数据进行结构化，使得待监控数据能够结构化存储，从而为用户提供多样式的查询方式，有利于提高数据的查询便利性以及监控准确性。进一步地，将结构化后的数据存储至缓冲池。通过缓存池缓存结构化的数据，基于延迟时长对结构化后的数据进行处理，可以克服由于接收到的数据来源可能存在延迟到来的问题，从而能够起到有效提高数据监控的准确性的技术效果。同时，相较于相关技术提供的数据集中处理的技术方案，本实施例提供的技术方案中分布式执行数据预处理与数据结构化，有利于提高数据监控的精度和准确性；相较于相关技术中分钟级别的数据监控方案，本实施例提供的技术方案在无需另外扩容计算资源的情况下，可以较低成本地实现秒级监控，有利于进一步提高监控准确性。且秒级监控的实现所基于的数据收集程序是分布式运行在应用程序服务器上的，达到了充分利用应用程序服务器的闲置资源的技术效果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了根据本发明的背景技术中的数据监控方法的流程示意图；

图2示出了根据本发明的实施例的数据监控方法的流程示意图；

图3示出了根据本发明的另一实施例的数据监控方法的流程示意图；

图4示出了根据本发明的实施例的缓存方法的示意图；

图5示出了根据本发明的实施例的数据监控装置的结构示意图；

图6示出了适于用来实现本发明实施例的电子设备的计算机系统的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

现有技术提供的监控方案中，一方面，从应用程序的日志文件中获取到的待监控数据的结构设计简单，进而查询维度单一，导致无法满足用户多维度的查询需求。另一方面，相关技术中对待监控数据进行集中式处理，监控系统只能实现在分钟级别上(如：1分钟内)数据进行处理，导致数据监控的精度低且准确性差。示例性的，在相关技术中，若为了提高数据的监控准确性，将分钟级别的数据进行处理优化为秒钟级别，(如：将1分钟内的数据进行处理优化为20秒内的数据进行处理)，则需扩容大量的计算资源，造成较高的成本代价，且导致系统设计较复杂，增大了维护难度。

图2示出了根据本发明的实施例的数据监控方法的流程示意图，至少在一定程度上克服现有技术提供的数据监控方法的监控准确率低的问题。

参考图2，该实施例提供的一种数据监控方法，包括：

步骤S201，获取来自应用程序的待监控数据；

步骤S202，结构化所述待监控数据，并将结构化后的数据存储至缓冲池；以及，

步骤S203，基于延迟时长，定时处理缓冲至所述缓冲池中的结构化后的数据，以根据处理结果实现数据监控。

在图2所示实施例所提供的技术方案中，获取来自应用程序的待监控数据，通过对上述待监控数据进行结构化，使得待监控数据能够结构化存储，从而为用户提供多样式的查询方式，有利于提高数据的查询便利性以及监控准确性。进一步地，将结构化后的数据存储至缓冲池。通过缓存池缓存结构化的数据，基于延迟时长对结构化后的数据进行处理，可以克服由于接收到的数据来源可能存在延迟到来的问题，从而能够起到有效提高数据监控的准确性的技术效果。同时，相较于相关技术提供的数据集中处理的技术方案，本实施例提供的技术方案中分布式执行数据预处理与数据结构化，有利于提高数据监控的精度和准确性；相较于相关技术中分钟级别的数据监控方案，本实施例提供的技术方案在无需另外扩容计算资源的情况下，可以较低成本地实现秒级监控，有利于进一步提高监控准确性。

在示例性的实施例中，上述秒级监控的实现所基于的数据收集程序是分布式运行在应用程序服务器上的，达到了充分利用应用程序服务器的闲置资源的技术效果。

具体地，在分布式应用系统中，一般使用多处理器、较大内存的服务器。由于用户访问量存在波动，线上应用服务器的处理器的使用率也存在波动。为了保障服务的稳定性，在用户访问的高峰时段，线上应用服务器的处理器的使用率一般不会超过80％，其余大部分时段，线上应用服务器的处理器的使用率利用率在20％左右，可见，线上应用服务器的处理器存在空闲资源。

基于上述情况，图3示出了根据本发明的另一实施例的数据监控方法的流程示意图。参考图3，本实施例提供的数据监控方法对应的数据监控程序32可以由上述分布式应用系统中的线上服务器30执行。从而可以充分利用上述线上应用服务器的空闲资源来进行数据监控。

示例性的，本实施例提供的数据监控方法可以通过python语言编写。从而，本实施例提供的数据监控方法最多占用上述线上应用服务器的一个处理器，从而可以避免数据监控方法的执行对上述线上应用程序带来过大影响。

以下对图2所示实施例的各个步骤的具体实施方式进行详细阐述：

在步骤S201中获取来自应用程序31的待监控数据。在示例性的实施例中，应用程序31和接收其待监控数据的数据监控程序32可以设置在同一计算机设备上。示例性的，待监控数据可以包括：指标名称、指标数值以及描述这个指标的标签，如：search.blender.qps 1528881903 1000 hostname＝127.0.0.1env＝app cluster＝lf。

由于分布式应用系统中各个应用程序会产生大量的待监控数据，从而待监控数据中可能存在大量的重复数据。重复数据不仅会造成磁盘的存储空间的浪费，还将导致对相同待监控数据的重复处理。因此，在示例性的实施例中，数据监控程序32通过预处理模块321实时对获取到的待监控数据进行预处理。具体实施方式可以是：数据去重处理、非法数据过滤处理等。

在步骤S202中对待监控数据进行结构化，并将结构化后的数据存储至缓冲池。

在示例性的实施例中，待监控数据包括多种监控指标类型，包括：单位时间内商品浏览量、单位时间内商品关注量、单位时间内商品下单量等等。则，根据监控类型将待监控数据进行结构化的具体实施方式可以是：将监控指标类型和属于此监控指标类型的待监控数据以key–value的方式进行结构化。例如，结构化的待监控数据：单位时间内商品浏览量–9888次，单位时间内商品关注量–9100次，单位时间内商品下单量–8500次。

在示例性的实施例中，每个所述监控指标类型包括至少一个分类标签，例如：对于监控指标类型“单位时间内商品浏览量”，其分类标签可以包括：单位时间内商品A的浏览量、单位时间内商品B的浏览量等等。则，根据监控类型将待监控数据进行结构化之后，进一步地，根据分类标签将待监控数据进行结构化的具体实施方式可以包括：将分类标签和属于此分类标签的待监控数据以key–value的方式进行结构化。例如，根据监控类型将待监控数据进行结构化的待监控数据：单位时间内商品浏览量–9888次，进一步地，根据“单位时间内商品浏览量”的分类标签进行结构化：单位时间内商品A的浏览量–5000次、单位时间内商品B的浏览量4888次。

在示例性的实施例中，对待数据的结构化处理也可以通过数据监控程序32的预处理模块321执行。示例性的，对于接收到的待监控数据可以先实施上述实施例中的预处理步骤，然后在进行结构化。结构化的数据存储至缓冲池322中。对待监控数据的结构化处理有利于增加数据查询维度，有利于满足用户多维度的查询需求，从而提升用户的监控体验。

在步骤S203中基于延迟时长，定时处理缓冲至所述缓冲池中的结构化后的数据，以根据处理结果实现数据监控。

应用程序31发来至数据监控程序32的待监控数据存在不可避免延时。例如：延时为N秒，也就是说，第s秒数据监控程序32接收到的待监控数据，可能应用程序31在在第s秒之前N秒时产生的数据。本实施例提供的数据监控方法缓存机制，利用缓存池322缓存N秒的待监控数据，并通过设置定时器来控制数据上报的时间间隔，以克服由于接收到的数据来源可能存在延迟到来的问题，从而有效提高数据监控的准确性。

在示例性的实施例中，具体的实施方式可以包括：假如延迟时长N秒，定时器每隔M秒触发一次。当定时器被触发时，从缓存池中获取目标数据并发送至处理模块323。其中，上述目标数据为，N秒前的待监控数据，而最近N秒的数据留在缓存池中，与下一个M秒内的数据进行合并后再下次定时器触发时再上报，本实施例提供的缓存机制可以保证上报的秒级数据准确，从而进一步提高了数据监控的准确性。

示例性的，图4示出了根据本发明的实施例的缓存方法的示意图。参考图4，延迟时长N＝2秒，定时器每隔M＝10秒触发一次，本实施例提供的利用缓存池的缓存机制为：第s次触发定时器时，时间轴上周期A内的数据A2被留至缓存池中。当第s+1次触发定时器时，周期A中缓存的数据A2+周期B中数据B1，一起作为上报数据发送至处理模块323进行处理。同时，时间轴上周期B内的数据B2被留至缓存池中，用于与下一周期内的数据一起作为第s+2次触发定时器的上报数据。其中，s、M、N为正数，M大于N

在示例性的实施例中，在数据监控程序32的处理模块324对上述目标数据(上报数据)进行处理，其具体实施方式可以是：

根据待监控数据的监控指标类型和/或分类标签，将上述目标数据进行求和处理、求平均值处理、求最大值处理、求最小值处理、求每秒请求次数处理、求比例处理、求次数处理、求第Q百分位处理中的至少一种；其中，Q为小于100的正数。示例性的，对于同一监控指标类型单位时间内商品浏览量”下的待监控数据进行求最大值处理：由于单位时间内商品A的浏览量–5000次、单位时间内商品B的浏览量4888次，因此，求最大值处理确定的处理结果为5000次(单位时间内商品A的浏览量)。

根据以上处理，可以得到不同处理方式对应的处理结果，例如：通过求和处理获得的和值、通过、求平均值处理获得的平均值、通过求最大值/最小值处理获得的最大值/最小值等。当然，对于待监控数据的处理方式是根据实际需求进行的，不限于上述实施例列举的几种。

在示例性的实施例中，在步骤S203中根据处理结果实现数据监控，的具体实施方式包括：通过基于hbase的分布式时序数据处理服务将处理结果发送至数据库33；以及，利用前端34可视化工具连接所述数据库33以实现对上述处理结果的监控。

示例性的，上述基于hbase的分布式时序数据处理服务可以是Opentsdb(OpenTime Series Database)。Opentsdb是建立在hbase上的一层数据读写服务，可以对上述待监控数据的处理结果进行存储优化，从而可以大幅度的提升对处理结果的查询效率，同时，可以减少存储空间。另外，Opentsdb基于hbase做了常用数据查询的接口，可以实现对处理结果的聚合、过滤等操作。

示例性的，上述数据库可以是Hbase。Hbase是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式开源数据库。通过水平扩展机器节点可以迅速增加读写能力，适合存储海量的数据(如：本实施例提供的处理结果)。

示例性的，利用前端可视化工具连接上述数据库以实现对上述处理结果的监控。在前端的显示界面将处理结果显示给用户，使得用户清楚各监控指标的变化情况，有利于及时根据变化情况作出对应的应当措施。从而实现对应用程序的监控。

以下介绍本发明的数据监控装置实施例，可以用于执行本发明上述数据监控方法。

图5示出了根据本发明的实施例的数据监控装置的结构示意图，参考图5，数据监控装置500，包括：数据获取模块501、结构化模块502以及数据处理模块503。

其中，数据获取模块501用于获取应用程序发送的待监控数据；结构化模块502用于结构化所述待监控数据，并将结构化后的数据存储至缓冲池；以及，数据处理模块503用于基于延迟时长，定时处理缓冲至所述缓冲池中的结构化后的数据，以根据处理结果实现数据监控。

在本发明的一些实施例中，基于前述方案，结构化模块502具体用于：根据所述待监控数据的监控指标类型，将所述待监控数据进行结构化。

在本发明的一些实施例中，基于前述方案，每个所述监控指标类型包括至少一个分类标签，在本发明的一些实施例中，基于前述方案，结构化模块502具体用于：利用key–value的方式，根据所述分类标签将所述待监控数据进行结构化。

在本发明的一些实施例中，基于前述方案，数据监控装置500，包括：数据预处理模块。

其中，上述数据预处理模块用于：对所述待监控数据进行预处理，所述预处理包括但不限于：数据去重处理、非法数据过滤处理。

在本发明的一些实施例中，基于前述方案，数据处理模块503，包括：获取单元和处理单元。

其中，上述获取单元用于基于延迟时长N秒，每间隔M秒在所述缓冲池中获取N秒之前的结构化后的数据作为目标数据；以及，上述处理单元用于处理所述目标数据；其中，M、N为正数，M大于N。

在本发明的一些实施例中，基于前述方案，上述处理单元具体用于：根据待监控数据的监控指标类型和/或分类标签，将所述目标数据进行求和处理、求平均值处理、求最大值处理、求最小值处理、求每秒请求次数处理、求比例处理、求次数处理、求第Q百分位处理中的至少一种；其中，Q为小于100的正数。

在本发明的一些实施例中，基于前述方案，上述数据处理模块503还用于：通过基于hbase的分布式时序数据处理服务将处理结果发送至数据库；以及，利用前端可视化工具连接所述数据库以实现对所述处理结果的监控。

由于本发明的示例实施例的数据监控装置的各个功能模块与上述数据监控方法的示例实施例的步骤对应，因此对于本发明数据监控装置实施例中未披露的细节，请参照本发明上述数据监控方法的实施例。

下面参考图6，其示出了适于用来实现本发明实施例的电子设备的计算机系统600的结构示意图。图6示出的电子设备的计算机系统600仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统操作所需的各种程序和数据。CPU601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本申请的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如上述实施例中所述的数据处理方法。

例如，所述的电子设备可以实现如图2中所示的：步骤S201，获取来自应用程序的待监控数据；步骤S202，结构化所述待监控数据，并将结构化后的数据存储至缓冲池；步骤S203，基于延迟时长，定时处理缓冲至所述缓冲池中的结构化后的数据，以根据处理结果实现数据监控。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本发明实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种数据监控方法，其特征在于，包括：

获取来自应用程序的待监控数据；

结构化所述待监控数据，并将结构化后的数据存储至缓冲池；

基于延迟时长，定时处理缓冲至所述缓冲池中的结构化后的数据，以根据处理结果实现数据监控。

2.根据权利要求1所述的数据监控方法，其特征在于，结构化所述待监控数据，包括：

根据所述待监控数据的监控指标类型，将所述待监控数据进行结构化。

3.根据权利要求2所述的数据监控方法，其特征在于，每个所述监控指标类型包括至少一个分类标签，其中，

结构化所述待监控数据，包括：

利用key–value的方式，根据所述分类标签将所述待监控数据进行结构化。

4.根据权利要求1至3任一项所述的数据监控方法，其特征在于，在结构化所述待监控数据之前，还包括：

对所述待监控数据进行预处理，所述预处理包括但不限于：数据去重处理、非法数据过滤处理。

5.根据权利要求1至3任一项所述的数据监控方法，其特征在于，基于延迟时长，定时处理缓冲至所述缓冲池中的结构化后的数据，包括：

基于延迟时长N秒，每间隔M秒在所述缓冲池中获取N秒之前的结构化后的数据作为目标数据；

处理所述目标数据；其中，M、N为正数，M大于N。

6.根据权利要求5所述的数据监控方法，其特征在于，处理所述目标数据，包括：

根据待监控数据的监控指标类型和/或分类标签，将所述目标数据进行求和处理、求平均值处理、求最大值处理、求最小值处理、求每秒请求次数处理、求比例处理、求次数处理、求第Q百分位处理中的至少一种；其中，Q为小于100的正数。

7.根据权利要求1至3任一项所述的数据监控方法，其特征在于，根据处理结果实现数据监控，包括：

通过基于hbase的分布式时序数据处理服务将处理结果发送至数据库；

利用前端可视化工具连接所述数据库以实现对所述处理结果的监控。

8.一种数据监控装置，其特征在于，包括：

数据获取模块，用于获取应用程序发送的待监控数据；

结构化模块，用于结构化所述待监控数据，并将结构化后的数据存储至缓冲池；

数据处理模块，用于基于延迟时长，定时处理缓冲至所述缓冲池中的结构化后的数据，以根据处理结果实现数据监控。

9.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至7任一项所述的数据监控方法。

10.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至7任一项所述的数据监控方法。

Images