CN103117898A - 一种数据监控方法及系统 - Google Patents

Abstract

本发明涉及一种数据监控方法及系统，其中，该方法包括以下步骤：S1、监控服务端的存储模块获取并存储被监测终端发送过来的外部数据，并将该外部数据发送给监测服务器端的中间处理模块；S2、监控服务端的中间处理模块接收存储模块发送过来的外部数据并进行解析处理，生成监控结果数据，并将监控结果数据发送给监控装置；S3、监控服务端的监控装置接收中间处理模块发送过来的监控结果数据，并将所述监控结果数据展示给用户查看。通过实施本发明的技术方案，通过增加中间处理模块，可高效平衡监控装置与存储模块之间的资源利用、提高整体监控性能。

Description

一种数据监控方法及系统

技术领域

本发明涉及监控数据处理，更具体地说，涉及一种可高效的进行监控数据处理的数据监控方法及系统。

背景技术

在现有的监控系统中如图1实时，监控装置（如计算机）需要定时或实时获取数据存储介质中数据的变化，该数据存储介质的数据读写工作量大。该监控系统普遍存在着：数据量大、更新快、实时性高的特点；当前计算机硬件的发展，计算机处理器的制造工艺已经足够应付绝大部分系统对处理能力的需求，而在数据存储介质制造工艺上，一直不能与计算机处理器的处理能力同步，如计算机处理器在1秒内可以处理10000条数据向存储介质中写入，而存储技术却不能支持将这些数据在1秒内写入磁道中，尽管可通过一系列技术（光纤传输、磁盘阵列）缓解这种情形，但仍然是远远不能与计算机处理器的处理能力同步。使用现有技术方案，虽然可通过各种方式对数据存储介质的读写能力进行优化，但是因为不能从根本上减少对存储介质的读写次数，而目前整个监控环节的瓶颈又完全集中在数据存储上（目前存储技术的能力与计算机处理器的处理能力不能同步）。这样就往往会因为存储介质的服务器资源耗尽，而导致监控过程不可用，一种常见的场景是，一个GPS监控系统需要监控10000台GPS终端每5秒内的位置信息，而存储介质在计算机的轮询压力下，在5秒内仅能存储5000条位置信息（其余5000条数据会排队等待写入），这时就会发生存储介质服务器资源争用的情形，而影响数据监控的效果、甚至系统崩溃。另外，该监控系统的监控装置很难做到扩容，即在监控装置中部署的监控项目不能任意扩大，因为每增加一个监控项目，也就意味着会增加一定数量的对存储介质的定时轮询压力，而通过提高存储介质硬件配置的方式不能解决这种需求。

发明内容

本发明要解决的技术问题在于，针对现有技术的数据存储介质相对低性能而造成整个监控过程性能瓶颈的缺陷，提供一种可高效平衡监控装置与存储模块之间的资源利用、提高整体监控性能的数据监控方法及系统。

本发明解决其技术问题所采用的技术方案是：构造一种数据监控方法，包括以下步骤：

S1、监控服务端的存储模块获取并存储被监测终端发送过来的外部数据，并将该外部数据发送给监测服务器端的中间处理模块；

S2、监控服务端的中间处理模块接收存储模块发送过来的外部数据并进行解析处理，生成监控结果数据，并将监控结果数据发送给监控装置；

S3、监控服务端的监控装置接收中间处理模块发送过来的监控结果数据，并将所述监控结果数据展示给用户查看。

在本发明所述的数据监控方法中，所述步骤S1进一步包括：

S11、将被监测终端发送过来的外部数据写入存储模块的数据库中；

S12、在数据库接收的外部数据发生变化时，数据触发器被触发，将外部数据通过第一通信单元发送出去。

在本发明所述的数据监控方法中，所述步骤S2进一步包括：

S21、中间处理模块的数据解析单元对存储模块发送的外部数据进行解析处理，生成监控结果数据；

S22、中间处理模块的第二通信单元将监控结果数据发送给监控装置。

在本发明所述的数据监控方法中，所述存储模块与中间处理模块通过TCP协议传送数据，所述中间处理模块与监控装置通过TCP协议传送数据。

在本发明所述的数据监控方法中，所述被监测终端是GPS导航仪或音视频终端。

本发明还构造一种数据监控系统，包括监控服务端及与监控服务端连接的被监测终端，其特征在于，所述监控服务端包括：

存储模块，用于获取并存储被监测终端发送过来的外部数据；并将该外部数据发送给中间处理模块；

所述中间处理模块与所述存储模块连接，用于接收所述存储模块发送过来的所述外部数据并进行解析处理，生成监控结果数据，并将所述监控结果数据发送给监控装置；

所述监控装置与所述中间处理模块连接，用于接收所述中间处理模块发送过来的所述监控结果数据，并将所述监控结果数据展示给用户查看。

在本发明所述的数据监控系统中，所述存储模块将接收的所述外部数据进行分类存储，所述存储模块进一步包括：

数据库，用于将被监测终端发送过来的所述外部数据写入；

数据触发器，与所述数据库连接，用于在数据库接收的外部数据发生变化时，将所述外部数据通过第一通信单元发送出去。

在本发明所述的数据监控系统中，所述中间处理模块进一步包括：

数据解析单元，用于对所述存储模块发送的外部数据进行解析处理，生成监控结果数据；

第二通信单元，与所述数据解析单元连接，用于将所述监控结果数据发送给所述监控装置。

在本发明所述的数据监控系统中，所述存储模块与所述中间处理模块通过TCP协议传送数据，所述中间处理模块与所述监控装置通过TCP协议传送数据。

在本发明所述的数据监控系统中，所述被监测终端是GPS导航仪或音视频终端。

实施本发明的数据监控方法及系统，具有以下有益效果：监控服务端的存储模块获取被监测终端的外部数据，并将外部数据发送给中间处理模块，由中间处理模块进行解析处理后生成监控结果数据，向监控装置发送该监控结果数据，即该监控装置并不直接从存储模块中读取数据，该存储模块只是用于写入获取的外部数据，将存储模块的读写操作分离，使得存储模块专注于写操作，可以更加好的与监控装置配合，提高监控效率。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是现有技术中的监控系统的结构框图；

图2是本发明的数据监控方法的流程图；

图3是本发明的数据监控系统的结构框图；

图4是本发明的数据监控系统的详细结构框图。

具体实施方式

为了使本发明的目的更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施示例仅仅用以解释本发明，并不用于限定本发明。

如图2所示，在本发明的数据监控方法的流程图中，包括以下步骤：

S1、监控服务端的存储模块获取并存储被监测终端发送过来的外部数据，并将该外部数据发送给监测服务器端的中间处理模块；在该步骤中，存储模块中可通过oracle数据库、SqlSever数据库、DB2数据库、MySql数据库、文件数据库或其他类型的数据库存储外部数据，存储模块专注于写操作，即将外部数据写入（存储介质执行相同的写操作的性能远远高于执行既读又写的操作的性能），那么就可以在同等硬件配置下及相同时间间隔内写入数倍的数据，同时也不需要监控装置直接从该存储模块中读取数据。

具体的，在存储模块中写入外部数据时，将这些外部数据分类存储，如被监测终端是GPS终端时，该外部数据可外为位置信息、警报信息、指令信息等，分别存入存储模块的不同部位（在数据库中的不同数据表中）。

S2、监控服务端的中间处理模块接收存储模块发送过来的外部数据并进行解析处理，生成监控结果数据，并将监控结果数据发送给监控装置；在该步骤中，中间处理模块建立socket侦听，接收存储模块发送过来的外部数据，进行数据处理，该数据处理包括数据分类（位置信息、警报信息、指令信息）和监控所需的逻辑处理（权限控制、订阅发送等）；同时将处理后的监控结果数据发送给监控装置。

S3、监控服务端的监控装置接收中间处理模块发送过来的监控结果数据，并将监控结果数据展示给用户查看；在该步骤中，监控装置可将监控结果数据以不同形式展现给用户，如地图展示、手机短信、内容表格等。

在该数据监控方法中，监控服务端的存储模块获取被监测终端的外部数据，并将外部数据发送给中间处理模块，由中间处理模块进行解析处理后生成监控结果数据，再根据监控装置的轮询请求，向监控装置发送该监控结果数据，即该监控装置并不直接从存储模块中读取数据，该存储模块只是用于写入获取的外部数据，将存储模块的读写操作分离，使得存储模块专注于写操作，提高存储模块的写操作能力提升，可以更加好的与监控装置配合，提高监控效率。在该监测装置中设置多个监测项目，分别向中间处理模块发出订阅请求，而不需直接从存储模块中获取，可以提高监控效率。采用该方案可通过有效利用监控装置处理能力的同时，降低对存储介质（存储模块）的读写压力，以实现高效的数据监控。

进一步的，步骤S1具体包括：

S11、将被监测终端发送过来的外部数据写入存储模块的数据库中；该数据库可以是oracle数据库、SqlSever数据库、DB2数据库、MySql数据库、文件数据库或其他类型的数据库；

S12、在数据库接收的外部数据发生变化时，数据触发器被触发，将外部数据通过第一通信单元发送出去。

进一步的，步骤S2具体包括：

S21、中间处理模块的数据解析单元对存储模块发送的外部数据进行解析处理，生成监控结果数据；

S22、中间处理模块的第二通信单元将监控结果数据发送给监控装置。

进一步的，该存储模块与中间处理模块通过TCP协议传送数据，中间处理模块与监控装置通过TCP协议传送数据；即存储模块的第一通信单元通过TCP协议将外部数据发送给中间处理模块，中间处理模块的第二通信单元通过TCP协议将监测结果数据发送给监测装置。

进一步的，该被监测终端是GPS导航仪或音视频终端或其他可被监测的终端设备。在该数据监控方法中，该被监测终端可以是一个也可以是多个。

如图3所示，在本发明的数据监控系统的结构框图中，包括监控服务端100及与监控服务端连接的被监测终端200，该监控服务端100包括：

存储模块10，用于获取并存储被监测终端200发送过来的外部数据；并将该外部数据发送给中间处理模块20；在该存储模块10中可通过oracle数据库、SqlSever数据库、DB2数据库、MySql数据库、文件数据库或其他类型的数据库存储外部数据，存储模块专注于写操作，即将外部数据写入（存储介质执行相同的写操作的性能远远高于执行既读又写的操作的性能），那么就可以在同等硬件配置下及相同时间间隔内写入数倍的数据，同时也不需要监控装置直接从该存储模块中读取数据；具体的，在存储模块中写入外部数据时，将这些外部数据分类存储，如被监测终端是GPS终端时，该外部数据可外为位置信息、警报信息、指令信息等，分别存入存储模块的不同部位（在数据库中的不同数据表中）。

中间处理模块20，与存储模块10连接，用于接收存储模块10发送过来的外部数据并进行解析处理，生成监控结果数据，并将监控结果数据发送给监控装置30；具体的，中间处理模块20建立socket侦听，接收存储模块10发送过来的外部数据，进行数据处理，该数据处理包括数据分类（位置信息、警报信息、指令信息）和监控所需的逻辑处理（权限控制、订阅发送等）；该中间处理模块在接收到监控装置的轮询请求时，将相应的监控结果数据发送给监控装置。

监控装置30，与中间处理模块20连接，用于接收中间处理模块发送过来的监控结果数据，并将监控结果数据展示给用户查看。监控装置30可将监控结果数据以不同形式展现给用户，如地图展示、手机短信、内容表格等。

在该数据监控系统中，监控服务端的存储模块获取被监测终端的外部数据，并将外部数据发送给中间处理模块，由中间处理模块进行解析处理后生成监控结果数据，再根据监控装置的轮询请求，向监控装置发送该监控结果数据，即该监控装置并不直接从存储模块中读取数据，该存储模块只是用于写入获取的外部数据，将存储模块的读写操作分离，使得存储模块专注于写操作，提高存储模块的写操作能力提升，可以更加好的与监控装置配合，提高监控效率。在该监测装置中也也设置多个监测项目，分别向中间处理模块发出轮询请求，而不需直接从存储模块中获取，可以提高监控效率。采用该方案可通过有效利用监控装置处理能力的同时，降低对存储介质（存储模块）的读写压力，以实现高效的数据监控。

进一步的，如图4所示，存储模块10将接收的外部数据进行分类存储，该存储模块10具体包括：

数据库11，用于将被监测终端发送过来的外部数据写入；该数据11可以是oracle数据库、SqlSever数据库、DB2数据库、MySql数据库、文件数据库或其他类型的数据库；

数据触发器12，与数据库11连接，用于在数据库接收的外部数据发生变化时，将外部数据通过第一通信单元13发送出去。

进一步的，如图4所示，该中间处理模块20具体包括：

数据解析单元21，用于对存储模块发送的外部数据进行解析处理，生成监控结果数据；

第二通信单元22，与数据解析单元21连接，用于将监控结果数据发送给监控装置。

进一步的，存储模块10与中间处理模块20通过TCP协议传送数据，中间处理模块20与监控装置30通过TCP协议传送数据。即存储模块10的第一通信单元13通过TCP协议将外部数据发送给中间处理模块20，中间处理模块20的第二通信单元22通过TCP协议将监测结果数据发送给监测装置30。

进一步的，被监测终端是GPS导航仪或音视频终端或其他可被监测的终端设备。在该数据监控系统中，该被监控终端可以是一个也可以是多个。

在该数据监控系统中，可包括多个中间处理模块20及多个监控装置30，即各个中间处理模块可对不同类型的外部数据分别进行处理，也可以在外部数据的同一类型数据庞大时（多个同类型被监测终端，如数量庞大的GPS导航仪），由多个中间处理模块进行相关处理；各个监控装置可与一个或多个中间处理模块通信连接，获得监测数据结果。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据监控方法，其特征在于，包括以下步骤：

S1、监控服务端的存储模块获取并存储被监测终端发送过来的外部数据，并将该外部数据发送给所述监测服务器端的中间处理模块；

S2、所述监控服务端的中间处理模块接收所述存储模块发送过来的所述外部数据并进行解析处理，生成监控结果数据，并将所述监控结果数据发送给监控装置；

S3、所述监控服务端的监控装置接收所述中间处理模块发送过来的所述监控结果数据，并将所述监控结果数据展示给用户查看。

2.根据权利要求1所述的数据监控方法，其特征在于，所述步骤S1进一步包括：

S11、将被所述监测终端发送过来的外部数据写入所述存储模块的数据库中；

S12、在所述数据库接收的所述外部数据发生变化时，数据触发器被触发，将所述外部数据通过第一通信单元发送出去。

3.根据权利要求2所述的数据监控方法，其特征在于，所述步骤S2进一步包括：

S21、所述中间处理模块的数据解析单元对所述存储模块发送的所述外部数据进行解析处理，生成监控结果数据；

S22、所述中间处理模块的第二通信单元将所述监控结果数据发送给所述监控装置。

4.根据权利要求3所述的数据监控方法，其特征在于，所述存储模块与所述中间处理模块通过TCP协议传送数据，所述中间处理模块与所述监控装置通过TCP协议传送数据。

5.根据权利要求4所述的数据监控方法，其特征在于，所述被监测终端是GPS导航仪或音视频终端。

6.一种数据监控系统，包括监控服务端（100）及与监控服务端（100）连接的被监测终端（200），其特征在于，所述监控服务端（100）包括：

存储模块（10），用于获取并存储被监测终端（200）发送过来的外部数据；并将该外部数据发送给中间处理模块（20）；

所述中间处理模块（20）与所述存储模块（10）连接，用于接收所述存储模块（10）发送过来的所述外部数据并进行解析处理，生成监控结果数据，并将所述监控结果数据发送给监控装置（30）；

所述监控装置（30）与所述中间处理模块（20）连接，用于接收所述中间处理模块（20）发送过来的所述监控结果数据，并将所述监控结果数据展示给用户查看。

7.根据权利要求6所述的数据监控系统，其特征在于，所述存储模块（10）将接收的所述外部数据进行分类存储，所述存储模块（10）进一步包括：

数据库（11），用于将被监测终端发送过来的所述外部数据写入；

数据触发器（12），与所述数据库连接，用于在所述数据库接收的外部数据发生变化时，将所述外部数据通过第一通信单元（13）发送出去。

8.根据权利要求7所述的数据监控系统，其特征在于，所述中间处理模块（20）进一步包括：

数据解析单元（21），用于对所述存储模块发送的外部数据进行解析处理，生成监控结果数据；

第二通信单元（22），与所述数据解析单元连接，用于将所述监控结果数据发送给所述监控装置。

9.根据权利要求8所述的数据监控系统，其特征在于，所述存储模块（10）与所述中间处理模块（20）通过TCP协议传送数据，所述中间处理模块（20）与所述监控装置（30）通过TCP协议传送数据。

10.根据权利要求9所述的数据监控系统，其特征在于，所述被监测终端（200）是GPS导航仪或音视频终端。

Images