CN110618911B - 数据监控方法、装置、存储介质和服务器 - Google Patents
数据监控方法、装置、存储介质和服务器 Download PDFInfo
- Publication number
- CN110618911B CN110618911B CN201910753505.8A CN201910753505A CN110618911B CN 110618911 B CN110618911 B CN 110618911B CN 201910753505 A CN201910753505 A CN 201910753505A CN 110618911 B CN110618911 B CN 110618911B
- Authority
- CN
- China
- Prior art keywords
- data
- user
- monitoring
- monitored
- middleware
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
- G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
Abstract
本发明提供了一种数据监控方法、装置、存储介质和服务器，包括：获取用户的数据监控指令，所述数据监控指令携带所述用户的用户标识；基于所述用户标识确定所述用户的用户类别；调用所述用户类别对应的数据监控策略获取待监控数据，所述待监控数据包括业务数据和中间件对应的性能数据；若所述用户为第一类别用户，则根据构建的业务关联模型对所述业务数据进行监控，所述业务数据通过中间件获取；若所述用户为第二类别用户，则根据预设采集规则采集所述中间件对应的性能数据，对所述性能数据进行数据监控将所述数据监控的监控结果按所述用户的用户类别对应的推送规则发送至所述用户标识对应的智能终端。本发明可减少人工成本，提高数据监控的效率。
Description
技术领域
本发明涉及信息监控领域，尤其涉及一种数据监控方法、装置、存储介质和服务器。
背景技术
在银行、保险和证券等金融机构每天的经营活动中产生大量的业务数据。金融机构内配置专门的业务人员，对金融机构中产生的大量业务数据进行监控，以便实时了解业务数据，然而，金融机构存在处理不同业务的子机构，对于不同的业务数据的监控，需要人工干预，该监控方式监控效率低且人工成本较高。
现有技术中，有利用中间件实现分布式系统中不同类型的业务数据的监控，从而可减少人工干预，降低成本。中间件位于客户机或服务器的操作系统之上用于管理计算机资源和网络通讯。但进行实时监控且监控的数据量较大时，由于单位时间内通过中间件所传输的数据信息量过大，且客户机或者服务器不能宕机，中间件可能由于使用过度出现崩溃。因此，现有技术中，对大量数据进行实时监控时，容易产生中间件宕机和崩溃的问题。
发明内容
本发明实施例提供了一种数据监控方法、装置、存储介质和服务器，以解决现有技术中，对大量数据进行实时监控时，容易产生中间件宕机和崩溃的问题。
本发明实施例的第一方面提供了一种数据监控方法，包括：
获取用户的数据监控指令，所述数据监控指令携带所述用户的用户标识；
基于所述用户标识确定所述用户的用户类别；
调用所述用户类别对应的数据监控策略获取待监控数据，所述待监控数据包括业务数据和中间件对应的性能数据；
若所述用户为第一类别用户，则根据构建的业务关联模型对所述业务数据进行监控，所述业务数据通过中间件获取，所述业务关联模型根据预设建模算法构建；
若所述用户为第二类别用户，则根据预设采集规则采集所述中间件对应的性能数据，对所述性能数据进行数据监控；
将所述数据监控的监控结果按所述用户的用户类别对应的推送规则发送至所述用户标识对应的智能终端。
本发明实施例的第二方面提供了一种数据监控装置，包括：
监控指令获取单元，用于获取用户的数据监控指令，所述数据监控指令携带所述用户的用户标识；
用户类别确定单元，用于基于所述用户标识确定所述用户的用户类别；
监控数据确定单元，用于调用所述用户类别对应的数据监控策略获取待监控数据，所述待监控数据包括业务数据和中间件对应的性能数据；
第一数据监控单元，用于若所述用户为第一类别用户，则根据构建的业务关联模型对所述业务数据进行监控，所述业务数据通过中间件获取，所述业务关联模型根据预设建模算法构建；
第二数据监控单元，用于若所述用户为第二类别用户，则根据预设采集规则采集所述中间件对应的性能数据，对所述性能数据进行数据监控；
数据推送单元，用于将所述数据监控的监控结果按所述用户的用户类别对应的推送规则发送至所述用户标识对应的智能终端。
本发明实施例的第三方面提供了一种服务器，包括存储器以及处理器，所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如下步骤：
获取用户的数据监控指令，所述数据监控指令携带所述用户的用户标识；
基于所述用户标识确定所述用户的用户类别；
调用所述用户类别对应的数据监控策略获取待监控数据，所述待监控数据包括业务数据和中间件对应的性能数据；
若所述用户为第一类别用户，则根据构建的业务关联模型对所述业务数据进行监控，所述业务数据通过中间件获取，所述业务关联模型根据预设建模算法构建；
若所述用户为第二类别用户，则根据预设采集规则采集所述中间件对应的性能数据，对所述性能数据进行数据监控；
将所述数据监控的监控结果按所述用户的用户类别对应的推送规则发送至所述用户标识对应的智能终端。
本发明实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：
获取用户的数据监控指令，所述数据监控指令携带所述用户的用户标识；
基于所述用户标识确定所述用户的用户类别；
调用所述用户类别对应的数据监控策略获取待监控数据，所述待监控数据包括业务数据和中间件对应的性能数据；
若所述用户为第一类别用户，则根据构建的业务关联模型对所述业务数据进行监控，所述业务数据通过中间件获取，所述业务关联模型根据预设建模算法构建；
若所述用户为第二类别用户，则根据预设采集规则采集所述中间件对应的性能数据，对所述性能数据进行数据监控；
将所述数据监控的监控结果按所述用户的用户类别对应的推送规则发送至所述用户标识对应的智能终端。
本发明实施例中，通过获取用户的数据监控指令，所述数据监控指令携带所述用户的用户标识，基于所述用户标识确定所述用户的用户类别，调用所述用户类别对应的数据监控策略获取待监控数据，所述待监控数据包括业务数据和中间件对应的性能数据，若所述用户为第一类别用户，则根据构建的业务关联模型对所述业务数据进行监控，所述业务数据通过中间件获取，所述业务关联模型根据预设建模算法构建，若所述用户为第二类别用户，则根据预设采集规则采集所述中间件对应的性能数据，对所述性能数据进行数据监控，最后将所述数据监控的监控结果按所述用户的用户类别对应的推送规则发送至所述用户标识对应的智能终端，由于监控自动化可节省人力，降低人工成本，按用户类别采用不同的数据监控策略实时监控与用户类别对应的数据使得数据监控更有针对性，可提高数据监控的效率，而模型构建也能加速待监控数据的采集效率，从而进一步提高数据监控的效率，增强用户体验。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的数据监控方法的实现流程图；
图2是本发明实施例提供的数据监控方法S103的具体实现流程图；
图3是本发明实施例提供的业务关联模型的构建的具体实现流程图；
图4是本发明实施例提供的数据监控方法S105的具体实现流程图；
图5是本发明实施例提供的数据监控装置的结构框图；
图6是本发明实施例提供的服务器的示意图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1示出了本发明实施例提供的数据监控方法的实现流程，该方法流程包括步骤S101至S106。各步骤的具体实现原理如下：
S101：获取用户的数据监控指令，所述数据监控指令携带所述用户的用户标识。
在本发明实施例中，采用中间件进行监控。即中心服务器通过采用中间件获取多个业务终端的业务数据。所述用户的数据监控指令用于确定待监控数据的数据类别，数据类别包括业务和中间件性能，具体根据所述用户的用户类别确定，所述待监控数据是业务数据和/或性能数据。所述数据监控指令携带所述用户的用户标识，所述用户标识用于标识发送所述数据监控指令的用户，所述用户标识可以为工号。
S102：基于所述用户标识确定所述用户的用户类别。
具体地，所述用户类别包括第一类别用户和第二类别用户，例如，所述第一类别用户为业务人员，第二类别用户为技术人员。
可选地，在本发明实施例中，所述用户标识的字段中包括类别字段，根据所述用户标识的字段中类别字段的值确定所述用户的类别。例如，所述用户标识可以是工号，所述用户标识的字段的第一位和第二位的值标识所述用户所属的机构编号；而所述用户标识的字段的第四位的值可以标识用户的类别，例如，值为1表示为业务，值为2表示为技术。
可选地，为不同的用户类别设置不同类别数据的监控权限。对于用户类别为业务的用户来说，关注的重点是业务相关的数据，例如请求流量、电话销售接入量、地区成功件数量、配送数量、区域活跃度等业务数据，以便根据该业务相关的数据制定对应的销售、推广计划。而对于用户类别为技术的用户来说，关注的重点是在运用中间件监控分布式系统中各业务终端的数据时中间件的运行性能数据，以便及时发现和解决中间件的运行异常，避免影响数据监控。在进一步地，所述用户类别还可以包括第三类别用户，所述第三类别用户可以为管理。对于用户类别为管理的用户来说，不仅关注中间件的运行性能，还关注业务数据，因此，第三类别用户拥有同时监控业务数据与中间件的性能数据的监控权限。本发明实施例中，通过为不同用户类别的用户分别设置不同的数据监控权限，可保证监控的数据的安全。
S103：调用所述用户类别对应的数据监控策略获取待监控数据，所述待监控数据包括业务数据和中间件对应的性能数据。
在本发明实施例中，为不同用户类别的用户量身建立不同的数据监控策略。第一类别用户对应第一数据监控策略，所述第一类别用户对应的待监控数据为业务数据；第二类别用户对应第二数据监控策略，所述第二类别用户对应的待监控数据为中间件的性能数据；第三类别用户对应第三数据监控策略，所述第三类别用户对应的待监控数据为业务数据和中间件的性能数据。具体地，若所述用户为第一类别用户，即为业务用户，则对应的第一数据监控策略中包括对业务关联的数据的获取方式；若所述用户为第二类别用户，即为技术用户，则对应的第二数据监控策略中包括对中间件关联的数据的方式。若所述用户为第三类别用户，即为管理用户，则对应的第三数据监控策略中既包括对业务关联的数据的获取、处理方式，也包括对中间件关联的数据的获取方式。
本发明实施例中，由于不同用户类别的用户数据监控的权限不一样，需要监控的数据也不一样，根据用户类别有针对性的构建对应的数据监控策略，从而保证监控数据的安全性与有效性，提升数据监控的效率，增强用户体验。
作为本发明的一个实施例，图2示出了本发明实施例提供的数据监控方法S103的具体实现流程，详述如下：
A1：获取所述用户对所述待监控数据的关注程度。所述关注程度由用户自定义。
A2：查询用于保存数据的关注程度与采集频率的对应关系的数据库，确定所述待监控数据的采集频率。
A3：基于所述待监控数据的采集频率采集所述待监控数据。
具体地，按照用户自定义的关注程度对待监控数据进行分类，根据不同的关注程度为所述待监控数据分别配置不同的采集频率。可通过查询用于保存数据的关注程度与采集频率的对应关系的数据库确定该类数据对应的采集频率。根据确定的所述待监控数据的采集频率对所述待监控数据进行采集。所述采集频率与所述用户对所述待监控数据的关注程度正相关，关注程度越高，采集频率越大。
在本发明实施例中，用户可以根据自己真实的关注程度，将监控数据进行分类，对分类后的监控数据按关注程度对应的采集频率进行采集和监控，能够针对用户的实际需求，灵活进行配置，从而提高数据监控的效率，增强用户体验。
可选地，根据所述待监控数据的重要程度设置采集频率，采集频率与所述待监控数据的重要程度正相关，数据重要程度越高，采集频率越大。中间件的性能数据中越影响性能的数据的重要程度越高，在本发明实施例中，能够针对中间件的性能数据的重要程度灵活配置采集效率，以提高采集的有效性，及时发现性能数据的异常。具体地，在本发明实施例中，预先构建包括输入层、卷积层、全连接层和输出层的神经网络模型，获取具有重要程度标签的样本数据，并利用所述样本数据对所述神经网络模型进行训练，根据训练好的所述神经网络模型，确定所述待监控数据的重要程度，通过查询用于保存数据的重要程度与采集频率的对应关系的数据库，确定所述待监控数据的采集频率，基于所述待监控数据的采集频率采集所述待监控数据。
S104：若所述用户为第一类别用户，则根据构建的业务关联模型对所述业务数据进行监控，所述业务数据通过中间件获取，所述业务关联模型根据预设建模算法构建。
在本发明实施例中，若所述用户为第一类别用户，则利用中间件获取来自不同业务终端的业务数据。具体地，若所述用户为第一类别用户，也即业务类别的用户，则中心服务器利用中间件获取分布式系统中不同业务终端的业务数据。根据预设建模算法对所述业务数据进行建模，构建业务关联模型。再基于所述业务关联模型对所述业务数据进行监控。
在本发明实施例中，若所述用户为第一类别用户，识别所述用户的监控权限为业务数据监控权限，即为所述用户监控业务数据。中心服务器通过中间件获取来自不同业务终端发送的业务数据，再根据预设建模算法对所述业务数据进行建模，构建业务关联模型，所述业务关联模型用于确定待监控的业务数据及所述业务数据关联的业务数据。
作为本发明的一个实施例，如图3所示，所述业务关联模型的构建具体包括：
B1：将所述业务数据转换为XML(Extensible Markup Language，标记语言)数据。具体地，将所述业务数据转换为XML数据，以实现对需要监控的业务数据的标记。进一步地，将所述业务数据转换为XML数据后存入指定数据库中，所述指定数据库为NoSQL数据库(NotOnlyStructured Query anguage，非关系型数据库)。
B2：根据预设权重表，获取所述XML数据的字段的权重值。
B3：根据所述权重值对所述XML数据对应的业务数据进行分类。
B4：根据分类结果构建业务关联模型，所述业务关联模型中包括业务数据及其关联的业务数据的预警阈值。
在本发明实施例中，将所述业务数据转换为XML数据存储至指定数据库如所述NoSQL数据库中，通过查询预设权重表，获取每条XML数据的字段的权重值，以使得根据所述权重值对所述XML数据对应的业务数据进行分类，再根据分类结果构建业务关联模型。具体地，根据不同业务数据的同一字段的权重值，确定业务数据是否关联，若不同业务数据同一字段的权重值相同，则确定该不同业务数据相互关联，在所述关联业务模型中，包括业务数据及其关联的业务数据。进一步地，根据所述业务关联模型中业务数据及其关联业务数据的预警阈值，对所述业务数据进行监控。所述预警阈值用于提示用户业务数据是否达标。
作为本发明的一个实施例，图4示出了本发明实施例提供的数据监控方法S105的具体实现流程，详述如下：
C1：若所述用户为第二类别用户，获取所述中间件对应的配置文件。所述第二类别用户为技术类别的用户。
C2：根据所述配置文件确定所述中间件的类型信息。
C3：获取所述类型信息对应的预设采集规则。其中，所述预设采集规则是指预设的中间件采集数据的规则，包括但不限于采集数据的频率以及数据的格式。不同类型的中间件对应不同的数据采集规则。因此，可预先整理出各个类型的中间件的预设采集规则，并建立中间件的类型信息与预设采集规则的对应关系。通过查询存储中间件的类型信息与预设采集规则的对应关系的数据库来获取中间件对应的预设采集规则。
C4：根据所述预设采集规则采集并监控所述中间件对应的性能数据。其中，所述性能数据是指用于体现中间件运行状态的数据，例如连接等待时间、采集响应等待时间、运行时的总内存等的。
在本发明实施例中，若所述用户为第二类别用户，识别所述用户的监控权限为中间件性能数据监控权限，即为所述用户监控中间件的性能数据。通过获取所述中间件对应的配置文件，根据所述配置文件的文件内容识别所述中间件的类型信息，获取所述类型信息对应的预设采集规则，根据所述预设采集规则采集所述中间件对应的性能数据，并对采集的性能数据进行监控。进一步地，在进行数据监控时，用户需要监控的不一定是直接采集的原始数据例如上个时间段中间件的响应等待时间，而是各个时间段响应等待时间的图形展示，即采集的数据需要进行格式转换。因此，对中间件采集数据之后需要根据预设数据整理规则对采集的数据进行整理，所述预设数据整理规则包括对采集的数据进行格式转换。可预先建立预设采集规则与预设数据整理规则的对应关系。在根据中间件的类型信息确定数据的预设采集规则后，再通过查询存储预设采集规则与预设数据整理规则的映射关键的数据库，获取该中间件采集的数据的预设数据整理规则，依据该数据整理规则对采集的数据进行整理后显示。
S106：将所述数据监控的监控结果按所述用户的用户类别对应的推送规则发送至所述用户标识对应的智能终端。
具体地，若所述用户为第一类别用户，将监控的业务数据以饼状图、柱状图的形式发送至所述用户标识对应的显示屏，以使得业务员能清楚获悉各类业务数据。若所述用户为第二类别用户，将监控的中间件的性能数据与预设阈值的对比图表发送至所述用户标识对应的移动设备，以使得技术人员及时跟进，保证利用中间件进行数据监控的稳定性。
本发明实施例中，通过获取用户的数据监控指令，所述数据监控指令携带所述用户的用户标识，基于所述用户标识确定所述用户的用户类别，调用所述用户类别对应的数据监控策略获取待监控数据，所述待监控数据包括业务数据和中间件对应的性能数据，若所述用户为第一类别用户，则根据构建的业务关联模型对所述业务数据进行监控，所述业务数据通过中间件获取，所述业务关联模型根据预设建模算法构建，若所述用户为第二类别用户，则根据预设采集规则采集所述中间件对应的性能数据，对所述性能数据进行数据监控，最后将所述数据监控的监控结果按所述用户的用户类别对应的推送规则发送至所述用户标识对应的智能终端，由于监控自动化可节省人力，降低人工成本，按用户类别采用不同的数据监控策略实时监控与用户类别对应的数据使得数据监控更有针对性，可提高数据监控的效率，而模型构建也能加速待监控数据的采集效率，从而进一步提高数据监控的效率，增强用户体验。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
对应于上文实施例所述的数据监控方法，图5示出了本申请实施例提供的数据监控装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。
参照图5，该数据监控装置包括：监控指令获取单元51，用户类别确定单元52，监控数据确定单元53，第一数据监控单元54，第二数据监控单元55，数据推送单元56，其中：
监控指令获取单元51，用于获取用户的数据监控指令，所述数据监控指令携带所述用户的用户标识；
用户类别确定单元52，用于基于所述用户标识确定所述用户的用户类别；
监控数据确定单元53，用于调用所述用户类别对应的数据监控策略获取待监控数据，所述待监控数据包括业务数据和中间件对应的性能数据；
第一数据监控单元54，用于若所述用户为第一类别用户，则根据构建的业务关联模型对所述业务数据进行监控，所述业务数据通过中间件获取，所述业务关联模型根据预设建模算法构建；
第二数据监控单元55，用于若所述用户为第二类别用户，则根据预设采集规则采集所述中间件对应的性能数据，对所述性能数据进行数据监控；
数据推送单元56，用于将所述数据监控的监控结果按所述用户的用户类别对应的推送规则发送至所述用户标识对应的智能终端。
5可选地，所述第一数据监控单元54具体包括：
数据转换模块，用于将所述业务数据转换为XML数据；
权重值获取模块，用于根据预设权重表，获取所述XML数据的字段的权重值；
数据分类模块，用于根据所述权重值对所述XML数据对应的业务数据进行分类；
模型构建模块，用于根据分类结果构建业务关联模型，所述业务关联模型中包括业务数据及其关联的业务数据的预警阈值。
在本发明实施例中，将所述业务数据转换为XML数据存储至指定数据库如所述NoSQL数据库中，通过查询预设权重表，获取每条XML数据的字段的权重值，以使得根据所述权重值对所述XML数据对应的业务数据进行分类，再根据分类结果构建业务关联模型。具体地，根据不同业务数据的同一字段的权重值，确定业务数据是否关联，若不同业务数据同一字段的权重值相同，则确定该不同业务数据相互关联，在所述关联业务模型中，包括业务数据及其关联的业务数据。进一步地，根据所述业务关联模型中业务数据及其关联业务数据的预警阈值，对所述业务数据进行监控。所述预警阈值用于提示用户业务数据是否达标。
可选地，所述第二数据监控单元55包括：
配置文件获取模块，用于若所述用户为第二类别用户，获取所述中间件对应的配置文件；
类型确定模块，用于根据所述配置文件确定所述中间件的类型信息；
采集规则获取模块，用于获取所述类型信息对应的预设采集规则；
性能数据监控模块，用于根据所述预设采集规则采集并监控所述中间件对应的性能数据。
在本发明实施例中，若所述用户为第二类别用户，识别所述用户的监控权限为中间件性能数据监控权限，即为所述用户监控中间件的性能数据。通过获取所述中间件对应的配置文件，根据所述配置文件的文件内容识别所述中间件的类型信息，获取所述类型信息对应的预设采集规则，根据所述预设采集规则采集所述中间件对应的性能数据，并对采集的性能数据进行监控。进一步地，在进行数据监控时，用户需要监控的不一定是直接采集的原始数据例如上个时间段中间件的响应等待时间，而是各个时间段响应等待时间的图形展示，即采集的数据需要进行格式转换。因此，对中间件采集数据之后需要根据预设数据整理规则对采集的数据进行整理，所述预设数据整理规则包括对采集的数据进行格式转换。可预先建立预设采集规则与预设数据整理规则的对应关系。在根据中间件的类型信息确定数据的预设采集规则后，再通过查询存储预设采集规则与预设数据整理规则的映射关键的数据库，获取该中间件采集的数据的预设数据整理规则，依据该数据整理规则对采集的数据进行整理后显示。
可选地，所述监控数据确定单元53包括：
关注程度获取模块，用于获取所述用户对所述待监控数据的关注程度；
第一采集频率确定模块，用于查询用于保存数据的关注程度与采集频率的对应关系的数据库，确定所述待监控数据的采集频率；
第一待监控数据监控模块，用于基于所述待监控数据的采集频率以采集所述待监控数据。
具体地，按照用户自定义的关注程度对待监控数据进行分类，根据不同的关注程度为所述待监控数据分别配置不同的采集频率。可通过查询用于保存数据的关注程度与采集频率的对应关系的数据库确定该类数据对应的采集频率。根据确定的所述待监控数据的采集频率对所述待监控数据进行采集。所述采集频率与所述用户对所述待监控数据的关注程度正相关，关注程度越高，采集频率越大。
可选地，所述监控数据确定单元53包括：
模型构建模块，用于预先构建包括输入层、卷积层、全连接层和输出层的神经网络模型；
模型训练模块，用于获取具有重要程度标签的样本数据，并利用所述样本数据对所述神经网络模型进行训练；
重要程度确定模块，用于根据训练好的所述神经网络模型，确定所述待监控数据的重要程度；
第二采集频率确定模块，用于查询用于保存数据的重要程度与采集频率的对应关系的数据库，确定所述待监控数据的采集频率；
第二待监控数据监控模块，用于基于所述待监控数据的采集频率以采集所述待监控数据。
本发明实施例中，通过获取用户的数据监控指令，所述数据监控指令携带所述用户的用户标识，基于所述用户标识确定所述用户的用户类别，调用所述用户类别对应的数据监控策略获取待监控数据，所述待监控数据包括业务数据和中间件对应的性能数据，若所述用户为第一类别用户，则根据构建的业务关联模型对所述业务数据进行监控，所述业务数据通过中间件获取，所述业务关联模型根据预设建模算法构建，若所述用户为第二类别用户，则根据预设采集规则采集所述中间件对应的性能数据，对所述性能数据进行数据监控，最后将所述数据监控的监控结果按所述用户的用户类别对应的推送规则发送至所述用户标识对应的智能终端，由于监控自动化可节省人力，降低人工成本，按用户类别采用不同的数据监控策略实时监控与用户类别对应的数据使得数据监控更有针对性，可提高数据监控的效率，而模型构建也能加速待监控数据的采集效率，从而进一步提高数据监控的效率，增强用户体验。
图6是本发明一实施例提供的服务器的示意图。如图6所示，该实施例的服务器6包括：处理器60、存储器61以及存储在所述存储器61中并可在所述处理器60上运行的计算机程序62，例如数据监控程序。所述处理器60执行所述计算机程序62时实现上述各个数据监控方法实施例中的步骤，例如图1所示的步骤101至106。或者，所述处理器60执行所述计算机程序62时实现上述各装置实施例中各模块/单元的功能，例如图6所示单元61至56的功能。
示例性的，所述计算机程序62可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器61中，并由所述处理器60执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序62在所述服务器6中的执行过程。
所述服务器6可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述服务器可包括，但不仅限于，处理器60、存储器61。本领域技术人员可以理解，图6仅仅是服务器6的示例，并不构成对服务器6的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述服务器还可以包括输入输出设备、网络接入设备、总线等。
所述处理器60可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器61可以是所述服务器6的内部存储单元，例如服务器6的硬盘或内存。所述存储器61也可以是所述服务器6的外部存储设备，例如所述服务器6上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器61还可以既包括所述服务器6的内部存储单元也包括外部存储设备。所述存储器61用于存储所述计算机程序以及所述服务器所需的其他程序和数据。所述存储器61还可以用于暂时地存储已经输出或者将要输出的数据。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (9)
1.一种数据监控方法，其特征在于，包括：
获取用户的数据监控指令，所述数据监控指令携带所述用户的用户标识；
基于所述用户标识确定所述用户的用户类别；
调用所述用户类别对应的数据监控策略获取待监控数据，所述待监控数据包括业务数据和中间件对应的性能数据；
若所述用户为第一类别用户，则根据构建的业务关联模型对所述业务数据进行监控，所述业务数据通过中间件获取，所述业务关联模型根据预设建模算法构建；
若所述用户为第二类别用户，则根据预设采集规则采集所述中间件对应的性能数据，对所述性能数据进行数据监控；
将所述数据监控的监控结果按所述用户的用户类别对应的推送规则发送至所述用户标识对应的智能终端；
所述调用所述用户类别对应的数据监控策略获取待监控数据，包括：
预先构建包括输入层、卷积层、全连接层和输出层的神经网络模型；
获取具有重要程度标签的样本数据，并利用所述样本数据对所述神经网络模型进行训练；
根据训练好的所述神经网络模型，确定所述待监控数据的重要程度；
查询用于保存数据的重要程度与采集频率的对应关系的数据库，确定所述待监控数据的采集频率，所述采集频率与所述待监控数据的重要程度正相关；
基于所述待监控数据的采集频率采集所述待监控数据。
2.根据权利要求1所述的数据监控方法，其特征在于，所述业务关联模型的构建包括：
将所述业务数据转换为XML数据；
根据预设权重表，获取所述XML数据的字段的权重值；
根据所述权重值对所述XML数据对应的业务数据进行分类；
根据分类结果构建业务关联模型，所述业务关联模型中包括业务数据及其关联的业务数据的预警阈值。
3.根据权利要求1所述的数据监控方法，其特征在于，所述若所述用户为第二类别用户，则根据预设采集规则采集所述中间件对应的性能数据，对所述性能数据进行数据监控，包括：
若所述用户为第二类别用户，获取所述中间件对应的配置文件；
根据所述配置文件确定所述中间件的类型信息；
获取所述类型信息对应的预设采集规则；
根据所述预设采集规则采集并监控所述中间件对应的性能数据。
4.根据权利要求1所述的数据监控方法，其特征在于，所述调用所述用户类别对应的数据监控策略获取待监控数据，包括：
获取所述用户对所述待监控数据的关注程度；
查询用于保存数据的关注程度与采集频率的对应关系的数据库，确定所述待监控数据的采集频率；
基于所述待监控数据的采集频率采集所述待监控数据。
5.一种数据监控装置，其特征在于，所述数据监控装置包括：
监控指令获取单元，用于获取用户的数据监控指令，所述数据监控指令携带所述用户的用户标识；
用户类别确定单元，用于基于所述用户标识确定所述用户的用户类别；
监控数据确定单元，用于调用所述用户类别对应的数据监控策略获取待监控数据，所述待监控数据包括业务数据和中间件对应的性能数据；
第一数据监控单元，用于若所述用户为第一类别用户，则根据构建的业务关联模型对所述业务数据进行监控，所述业务数据通过中间件获取，所述业务关联模型根据预设建模算法构建；
第二数据监控单元，用于若所述用户为第二类别用户，则根据预设采集规则采集所述中间件对应的性能数据，对所述性能数据进行数据监控；
数据推送单元，用于将所述数据监控的监控结果按所述用户的用户类别对应的推送规则发送至所述用户标识对应的智能终端；
所述监控数据确定单元包括：
模型构建模块，用于预先构建包括输入层、卷积层、全连接层和输出层的神经网络模型；
模型训练模块，用于获取具有重要程度标签的样本数据，并利用所述样本数据对所述神经网络模型进行训练；
重要程度确定模块，用于根据训练好的所述神经网络模型，确定所述待监控数据的重要程度；
第二采集频率确定模块，用于查询用于保存数据的重要程度与采集频率的对应关系的数据库，确定所述待监控数据的采集频率，所述采集频率与所述待监控数据的重要程度正相关；
第二待监控数据监控模块，用于基于所述待监控数据的采集频率以采集所述待监控数据。
6.根据权利要求5所述的数据监控装置，其特征在于，所述第一数据监控单元包括：
数据转换子模块，用于将所述业务数据转换为XML数据；
权重值获取子模块，用于根据预设权重表，获取所述XML数据的字段的权重值；
数据分类子模块，用于根据所述权重值对所述XML数据对应的业务数据进行分类；
模型构建子模块，用于根据分类结果构建业务关联模型，所述业务关联模型中包括业务数据及其关联的业务数据的预警阈值。
7.根据权利要求5所述的数据监控装置，其特征在于，所述第二数据监控单元包括：
配置文件获取模块，用于若所述用户为第二类别用户，获取所述中间件对应的配置文件；
类型确定模块，用于根据所述配置文件确定所述中间件的类型信息；
采集规则获取模块，用于获取所述类型信息对应的预设采集规则；
性能数据监控模块，用于根据所述预设采集规则采集并监控所述中间件对应的性能数据。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述数据监控方法的步骤。
9.一种服务器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4中任一项所述数据监控方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910753505.8A CN110618911B (zh) | 2019-08-15 | 2019-08-15 | 数据监控方法、装置、存储介质和服务器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910753505.8A CN110618911B (zh) | 2019-08-15 | 2019-08-15 | 数据监控方法、装置、存储介质和服务器 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110618911A CN110618911A (zh) | 2019-12-27 |
| CN110618911B true CN110618911B (zh) | 2022-12-09 |
Family
ID=68921897
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910753505.8A Active CN110618911B (zh) | 2019-08-15 | 2019-08-15 | 数据监控方法、装置、存储介质和服务器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110618911B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112131854A (zh) * | 2020-09-24 | 2020-12-25 | 北京开科唯识技术股份有限公司 | 一种数据处理方法、装置、电子设备及存储介质 |
| CN112232643A (zh) * | 2020-09-25 | 2021-01-15 | 上海淇毓信息科技有限公司 | 一种管理业务策略的方法、装置和电子设备 |
| CN115277707A (zh) * | 2022-07-15 | 2022-11-01 | 京东科技信息技术有限公司 | 业务处理方法、装置、电子设备和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102708037A (zh) * | 2012-04-23 | 2012-10-03 | 山东中创软件工程股份有限公司 | 一种应用程序运行状态的检查方法和检查装置 |
| CN104572130A (zh) * | 2015-02-02 | 2015-04-29 | 沈阳远大电力电子科技有限公司 | 一种变频器监控方法和系统 |
| CN105005525A (zh) * | 2015-08-17 | 2015-10-28 | 深圳中兴网信科技有限公司 | 基于中间件的业务数据监控方法和系统 |
| CN108829560A (zh) * | 2018-06-01 | 2018-11-16 | 平安科技（深圳）有限公司 | 数据监控方法、装置、计算机设备及存储介质 |
| CN108847977A (zh) * | 2018-06-14 | 2018-11-20 | 平安科技（深圳）有限公司 | 一种业务数据的监控方法、存储介质和服务器 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7185015B2 (en) * | 2003-03-14 | 2007-02-27 | Websense, Inc. | System and method of monitoring and controlling application files |
| US8335935B2 (en) * | 2010-03-29 | 2012-12-18 | Intel Corporation | Power management based on automatic workload detection |
| CN107918560A (zh) * | 2016-10-14 | 2018-04-17 | 郑州云海信息技术有限公司 | 一种服务器设备管理方法及装置 |
| CN107832913A (zh) * | 2017-10-11 | 2018-03-23 | 微梦创科网络科技（中国）有限公司 | 基于深度学习的对监控数据趋势的预测方法及系统 |
| CN109828888A (zh) * | 2019-01-28 | 2019-05-31 | 中国联合网络通信集团有限公司 | 业务系统状态监控方法、装置及计算机可读存储介质 |
-
2019
- 2019-08-15 CN CN201910753505.8A patent/CN110618911B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102708037A (zh) * | 2012-04-23 | 2012-10-03 | 山东中创软件工程股份有限公司 | 一种应用程序运行状态的检查方法和检查装置 |
| CN104572130A (zh) * | 2015-02-02 | 2015-04-29 | 沈阳远大电力电子科技有限公司 | 一种变频器监控方法和系统 |
| CN105005525A (zh) * | 2015-08-17 | 2015-10-28 | 深圳中兴网信科技有限公司 | 基于中间件的业务数据监控方法和系统 |
| CN108829560A (zh) * | 2018-06-01 | 2018-11-16 | 平安科技（深圳）有限公司 | 数据监控方法、装置、计算机设备及存储介质 |
| CN108847977A (zh) * | 2018-06-14 | 2018-11-20 | 平安科技（深圳）有限公司 | 一种业务数据的监控方法、存储介质和服务器 |
Non-Patent Citations (1)
| Title |
|---|
| 一体化运维监控与管理系统的研究与实现;陈明;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180615(第6期);I138-316 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110618911A (zh) | 2019-12-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107741955B (zh) | 业务数据监控方法、装置、终端设备及存储介质 | |
| CN110618911B (zh) | 数据监控方法、装置、存储介质和服务器 | |
| CN109800250B (zh) | 不再配置企业中心服务器的系统架构 | |
| CN108009915A (zh) | 一种欺诈用户社区的标记方法及相关装置 | |
| US20210112101A1 (en) | Data set and algorithm validation, bias characterization, and valuation | |
| CN111915366B (zh) | 一种用户画像构建方法、装置、计算机设备及存储介质 | |
| CN108388675A (zh) | 一种身份标识拉通方法及终端设备 | |
| CN107862425B (zh) | 风控数据采集方法、设备、系统及可读存储介质 | |
| CN111898023A (zh) | 一种消息推送方法、装置、可读存储介质及计算设备 | |
| CN102833111B (zh) | 一种可视化http数据监管方法及装置 | |
| CN108549973B (zh) | 识别模型构建及评估的方法、装置、存储介质及终端 | |
| CN108460689B (zh) | 一种保单分析方法、装置、终端设备及存储介质 | |
| CN110401636A (zh) | 一种监管异常访问的大数据风控方法和装置 | |
| CN108764332A (zh) | 一种渠道质量分析方法、计算设备及存储介质 | |
| CN112751835A (zh) | 一种流量预警方法，系统、设备和存储装置 | |
| CN110807050B (zh) | 性能分析方法、装置、计算机设备及存储介质 | |
| CN108304591A (zh) | 一种标签的定制方法、系统及终端设备 | |
| CN113434575B (zh) | 基于数据仓库的数据归因处理方法、装置及存储介质 | |
| CN114385609A (zh) | 基于标签的政务事件处理系统、方法、设备及存储介质 | |
| CN109858807A (zh) | 一种企业运营监控的方法及系统 | |
| US9141686B2 (en) | Risk analysis using unstructured data | |
| CN109377391B (zh) | 一种信息追踪方法、存储介质和服务器 | |
| CN114610372A (zh) | 评审文件的处理方法及装置、存储介质、处理器、终端 | |
| CN112801788A (zh) | 一种互联网股权融资平台监控系统及监控方法 | |
| CN112712270A (zh) | 信息处理方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |