数据监控方法、装置、计算机设备及存储介质
技术领域
本发明涉及视频监控技术领域,具体涉及一种数据监控方法、装置、计算机设备及存储介质。
背景技术
事后监控主要是为了发现问题、提出问题、解决矛盾,并对症提出切实可行的改进措施,促进基本建设资金的合理使用,有助于企业自查、政府政策及时调整等。
传统的事后监控主要是通过检查分析建设项目的报表及现场调查来实现的,人工干预性强,效率低下且错误率高,形成监控报告的时间周期长,整改时数据参照性也很差。虽然,现在也有信息化的监控系统,但只是把数据搜集和人工审查放到线上,且由于系统的局限性只能对某类数据进行采集,数据采集效率低下,有效数据转换率也很低下,在拥有以亿计数据的情况下不能提取出有效的监控信息,导致监控效果差;而且这一类信息基本都是采用定时方式为了保证数据全面性基本上是月统计或者年统计,导致监控反应结果很是滞后,监控时效性差。
发明内容
鉴于以上内容,有必要提出一种数据监控方法、装置、计算机设备及存储介质,能够实现一个监控系统对多个业务系统进行个性化监控的功能。
本发明的第一方面提供一种数据监控方法,所述方法包括:
显示业务监控规则配置界面,并接收业务系统的用户在所述业务监控规则配置界面上配置的业务监控规则;
响应于接收到的大数据平台的数据更新请求,从所述大数据平台拉取与所述数据更新请求对应的更新数据并将所述更新数据映射到监控系统中;
确定与所述更新数据对应的第一业务监控规则,并根据所述第一业务监控规则判断所述监控系统中的多个更新数据中是否存在需要进行监控的目标更新数据;
当确定所述监控系统中的多个更新数据中存在所述目标更新数据时,获取所述第一业务监控规则中的多个监控参数;
调用所述多个监控参数监控出所述目标更新数据中的风险数据并将所述风险数据回写入风险数据队列中。
根据本发明的一个可选的实施例,所述确定与所述更新数据对应的第一业务监控规则包括:
解析所述数据更新请求中的业务系统的标识;
确定与所述业务系统的标识对应的第一业务监控规则。
根据本发明的一个可选的实施例,所述根据所述第一业务监控规则判断所述监控系统中的多个更新数据中是否存在需要进行监控的目标更新数据包括:
获取每个更新数据的数据字段名及获取所述第一业务监控规则中的多个监控字段名;
将每个数据字段名与所述多个监控字段名进行匹配;
当从所述多个监控字段名中匹配出与所述数据字段名相同的监控字段名时,确定所述数据字段名对应的更新数据为需要进行监控的目标更新数据;
当从所述多个监控字段名中没有匹配出与所述数据字段名相同的监控字段名时,确定所述监控系统中的多个更新数据中不存在需要进行监控的目标更新数据。
根据本发明的一个可选的实施例,所述获取所述第一业务监控规则中的多个监控参数包括:
获取所述第一业务监控规则中的多个监控阈值范围及每个监控阈值范围对应的监控风险级别;
将每个所述监控阈值范围及对应的所述监控风险级别进行拼接得到监控参数。
根据本发明的一个可选的实施例,所述调用所述多个监控参数监控出所述目标更新数据中的风险数据并将所述风险数据回写入风险数据队列中包括:
判断所述目标更新数据中是否有超过所述监控阈值范围的数据;
确定所述目标更新数据中超过所述监控阈值范围的数据为风险数据;
获取所述监控阈值范围对应的监控风险级别;
将所述风险数据及所述监控风险级别回写入所述风险数据队列中。
根据本发明的一个可选的实施例,在所述确定存在所述目标更新数据之后,所述方法还包括:
判断是否已有第二业务监控规则对所述目标更新数据进行监控;
当确定已有所述第二业务监控规则对所述目标更新数据进行监控时,获取所述第二业务监控规则中的多个监控参数的调用时间;
获取所述数据更新请求的接收时间与所述调用时间的差值,并判断所述差值是否小于预设差值阈值;
当确定所述差值小于或者等于所述预设差值阈值时,禁止开启新的进程调用所述第一业务监控规则中的多个监控参数对所述目标更新数据进行监控。
根据本发明的一个可选的实施例,所述方法还包括:
获取所述风险数据队列中的多个风险数据,并将所述多个风险数据按照多个预设数据纬度进行聚类;
调用元数据管理工具对每个预设数据纬度对应的风险数据进行风险管理及风险分析。
本发明的第二方面提供一种数据监控装置,所述装置包括:
规则配置模块,用于显示业务监控规则配置界面,并接收业务系统的用户在所述业务监控规则配置界面上配置的业务监控规则;
数据拉取模块,用于响应于接收到的大数据平台的数据更新请求,从所述大数据平台拉取与所述数据更新请求对应的更新数据并将所述更新数据映射到监控系统中;
监控确定模块,用于确定与所述更新数据对应的第一业务监控规则,并根据所述第一业务监控规则判断所述监控系统中的多个更新数据中是否存在需要进行监控的目标更新数据;
参数获取模块,用于当确定所述监控系统中的多个更新数据中存在所述目标更新数据时,获取所述第一业务监控规则中的多个监控参数;
风险监控模块,用于调用所述多个监控参数监控出所述目标更新数据中的风险数据并将所述风险数据回写入风险数据队列中。
本发明的第三方面提供一种计算机设备,所述计算机设备包括处理器,所述处理器用于执行存储器中存储的计算机程序时实现所述数据监控方法。
本发明的第四方面提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现所述数据监控方法。
综上所述,本发明所述的数据监控方法、装置、计算机设备及存储介质,通过监控系统提供监控规则配置界面,使得业务系统能够在所述监控规则配置界面上自定义和个性化的配置需要监控的数据,实现了一个监控系统对多个业务系统进行个性化监控的功能。监控系统通过监控阈值范围监控出业务系统的数据中的风险数据并回写入风险数据队列,且在风险数据队列中写入了监控风险级别,便于业务系统的用户能够直观的查看哪些是风险数据,从而对自身的业务系统进行调整及预防。
附图说明
图1是本发明实施例一提供的数据监控方法的流程图。
图2是本发明实施例二提供的数据监控装置的结构图。
图3是本发明实施例三提供的计算机设备的结构示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施例对本发明进行详细描述。需要说明的是,在不冲突的情况下,本发明的实施例及实施例中的特征可以相互组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。
图1是本发明实施例一提供的数据监控方法的流程图。所述数据监控方法应用于计算机设备中,所述计算机设备中安装有监控系统。
所述数据监控方法具体包括以下步骤,根据不同的需求,该流程图中步骤的顺序可以改变,某些可以省略。
S11,显示业务监控规则配置界面,并接收业务系统的用户在所述业务监控规则配置界面上配置的业务监控规则。
监控系统通过第一网络与大数据平台通信,从大数据平台中拉取数据。监控系统通过第二网络与一个或者多个业务系统通信,对一个或多个业务系统中的数据进行时候风险监控,以确保一个或多个业务系统能够正常运行。业务系统通过第三网络与大数据平台通信,将更新的数据存储在大数据平台中。其中,所述第一网络、所述第二网络及所述第三网络可以全部相同或者不同,也可以部分相同或者不同。
业务系统的用户在首次登陆所述监控系统时,需要进行账号和密码注册,并在成功注册后,监控系统建立与业务系统的关联关系。后续,业务系统的用户使用所述账号和密码登录所述监控系统,所述监控系统接收所述业务系统登录的账号和密码并对所述账号和密码进行有效性验证,在验证账号和密码有效时,显示监控规则配置界面,以供业务系统的用户在所述监控规则配置界面中自定义配置业务监控规则。
在一个可选的实施例中,所述业务监控规则包括以下一种或多种的组合:业务系统标识、监控字段名、监控阈值范围,监控风险级别、目标表信息、明细表信息等。
通过监控系统提供监控规则配置界面,能够使得业务系统的用户根据自身企业的实际需求和业务类型自定义和个性化的配置业务监控规则,从而使得监控系统能够更加精准且定向的监控业务系统的数据。
S12,响应于接收到的大数据平台的数据更新请求,从所述大数据平台拉取与所述数据更新请求对应的更新数据并将所述更新数据映射到监控系统中。
监控系统由于对接多个业务系统,而不同业务系统的数据类型不同,通过配置大数据平台,借助大数据平台对海量数据具有较强的分析能力,接收并存储业务系统的海量数据,并对海量数据进行协同处理后形成各种场景的数据模型。
业务系统的数据发生任何变更,例如,新增,修改,删除,插入等,触发数据更新指令并发送数据更新请求给大数据平台,由大数据平台发送所述数据更新请求至监控系统。所述数据更新请求中至少携带有发生变更的数据,将数据更新请求中携带的数据称之为更新数据。
监控系统接收到大数据平台的数据更新请求,从大数据平台拉取更新数据,然后将拉取的更新数据映射到开源分布式搜索引擎数据库(Elasticsearch,ES)中的消息队列中。
本实施例中,通过配置大数据平台,并从大数据平台中拉取业务系统的更新数据,使得海量数据不会存储在监控系统中,造成监控系统的内存泄露,进而影响监控系统的性能。
S13,确定与所述更新数据对应的第一业务监控规则,并根据所述第一业务监控规则判断所述监控系统中的多个更新数据中是否存在需要进行监控的目标更新数据。
当业务系统的用户事先通过监控系统显示的业务监控规则配置界面配置了业务监控规则后,监控系统才会对业务系统的更新数据进行监控。当业务系统的用户未通过监控系统显示的业务监控规则配置界面配置了业务监控规则,监控系统不会对业务系统的更新数据进行监控。
在一个可选的实施例中,所述确定与所述更新数据对应的第一业务监控规则包括:
解析所述数据更新请求中的业务系统的标识;
确定与所述业务系统的标识对应的第一业务监控规则。
该可选的实施例中,业务系统在发送数据更新请求的同时将业务系统的标识携带在数据更新请求中。
监控系统接收到业务系统的用户配置的业务监控规则时,将业务系统的标识与业务监控规则关联存储。监控系统接收到数据更新请求时解析业务系统的标识,匹配出与业务系统的标识对应的业务监控规则。
在一个可选的实施例中,所述根据所述第一业务监控规则判断所述监控系统中的多个更新数据中是否存在需要进行监控的目标更新数据包括:
获取每个更新数据的数据字段名及获取所述第一业务监控规则中的多个监控字段名;
将每个数据字段名与所述多个监控字段名进行匹配;
当从所述多个监控字段名中匹配出与所述数据字段名相同的监控字段名时,确定所述数据字段名对应的更新数据为需要进行监控的目标更新数据;
当从所述多个监控字段名中没有匹配出与所述数据字段名相同的监控字段名时,确定所述监控系统中的多个更新数据中不存在需要进行监控的目标更新数据。
示例性的,假设所述ES中的更新数据的数据字段名为:A,B,C,所述业务监控规则中的多个监控字段名为:C,D,E。数据字段名C与监控字段名C相同,则表明所述监控系统中的多个更新数据中存在需要进行监控的目标更新数据,且确定与数据字段名C对应的更新数据为需要进行监控的目标更新数据,与数据字段名A和数据字段名B对应的更新数据为不需要进行监控的目标更新数据。
S14,当确定所述监控系统中的多个更新数据中存在所述目标更新数据时,获取所述第一业务监控规则中的多个监控参数。
监控系统匹配出与目标更新数据对应的第一业务监控规则,便于调用第一业务监控规则对目标更新数据实现精确监控。
在一个可选的实施例中,所述获取所述第一业务监控规则中的多个监控参数包括:
获取所述第一业务监控规则中的多个监控阈值范围及每个监控阈值范围对应的监控风险级别;
将每个所述监控阈值范围及对应的所述监控风险级别进行拼接得到监控参数。
该可选的实施例中,由于在确定多个更新数据中哪些是需要进行监控的更新数据时,需要从第一业务监控规则中获取监控阈值范围、监控风险级别,从而根据监控阈值范围及监控风险级别对目标更新数据进行监控,以判断所述目标更新数据中是否有风险数据。
S15,调用所述多个监控参数监控出所述目标更新数据中的风险数据并将所述风险数据回写入风险数据队列中。
监控系统中预先存储有风险数据队列,专用于存储监控出的风险数据,便于业务系统的用户从风险数据队列中查看哪些是风险数据。
在一个可选的实施例中,所述调用所述多个监控参数监控出所述目标更新数据中的风险数据并将所述风险数据回写入风险数据队列中包括:
判断所述目标更新数据中是否有超过所述监控阈值范围的数据;
确定所述目标更新数据中超过所述监控阈值范围的数据为风险数据;
获取所述监控阈值范围对应的监控风险级别;
将所述风险数据及所述监控风险级别回写入所述风险数据队列中。
示例性的,假设监控阈值范围为:支付业务类型在100至300之间,转账业务类型在100至1000之间,目标更新数据如下表所示:
时间 |
T1 |
T2 |
T3 |
金额 |
100 |
200 |
500 |
业务类型 |
支付 |
转账 |
支付 |
则,确定所述目标更新数据中T3时刻支付500这一笔数据为风险数据。
由于监控风险级别较低,不会对业务系统的运行产生影响,因而所述监控系统可以将监控风险级别较高的风险数据回写入所述风险数据队列中,而将监控风险级别较低的风险数据不回写入所述风险数据队列中。如此,避免将所述目标更新数据中所有超过所述监控阈值范围的风险数据全部写入风险数据队列中,造成数据干扰,且风险数据队列中写入的风险数据量越大,越容易占据监控系统的内存,影响监控系统的性能。
在一个可选的实施例中,在所述确定存在所述目标更新数据之后,所述监控数据处理方法还包括:
判断是否已有第二业务监控规则对所述目标更新数据进行监控;
当确定已有所述第二业务监控规则对所述目标更新数据进行监控时,获取所述第二业务监控规则中的多个监控参数的调用时间;
获取所述数据更新请求的接收时间与所述调用时间的差值,并判断所述差值是否小于预设差值阈值;
当确定所述差值小于或者等于所述预设差值阈值时,禁止开启新的进程调用所述第一业务监控规则中的多个监控参数对所述目标更新数据进行监控。
该可选的实施例中,监控系统在调用第一业务监控规则监控目标更新数据之前,先查询出是否已有进程在调用第二业务监控规则对所述目标更新数据进行风险监控,且已有进程调用所述第二业务监控规则的调用时间与监控系统接收的数据更新请求的接收时间的差值小于预设差值阈值时,表明重复接收了同一份数据更新请求,不再新开启一个进程处理所述数据更新请求。当数据更新请求的接收时间与所述调用时间的差值大于所述预设差值阈值时,表明当前接收到的数据更新请求是一份新的数据更新请求,因而需要开启新的进程调用所述第一业务监控规则中的多个监控参数对所述目标更新数据进行监控。
在一个可选的实施例中,所述监控数据处理方法还包括:
获取所述风险数据队列中的多个风险数据,并将所述多个风险数据按照多个预设数据纬度进行聚类;
调用元数据管理工具对每个预设数据纬度对应的风险数据进行风险管理及风险分析。
监控系统中预先安装有元数据管理工具,通过元数据管理工具对风险数据进行权限查看等一站式管理,有利于业务系统的用户直观的查看风险数据。且通过元数据管理工具将聚类后的风险数据进行风险分析,并以图表的形式进行展示,便于业务系统的用户能够更加直观的确定风险数据的趋势及其他信息等。
在一个可选的实施例中,所述监控数据处理方法还包括:
响应于接收到的业务监控规则更新指令,解析出所述业务监控规则更新指令中的至少一个数据字段名;
确定与所述至少一个监控字段名对应的至少一个监控字段名;
根据所述业务监控规则更新指令更新与至少一个监控字段名对应的监控阈值范围及/或与所述监控阈值范围对应的监控风险级别。
对于业务系统而言,业务系统除了需要设置数据字段名、监控阈值范围及/或监控风险级别之外不需要其他的任何操作,当需要更新某个数据字段名或者更新某个监控阈值范围或者更新某个监控阈值范围对应的监控风险级别,通过在监控系统提供的业务监控规则配置界面上进行更新以发送更新指令至监控系统。监控系统接收到业务监控规则更新指令即可进行更新操作。所述业务监控规则更新指令可以包括:删除数据字段名、新增数据字段名、删除监控阈值范围、新增监控阈值范围、更改监控阈值范围、删除监控风险级别、新增监控风险级别、更改监控风险级别。
本实时例通过监控系统提供监控规则配置界面,使得业务系统能够在所述监控规则配置界面上自定义和个性化的配置需要监控的数据,实现了一个监控系统对多个业务系统进行个性化监控的功能。监控系统通过监控阈值范围监控出业务系统的数据中的风险数据并回写入风险数据队列,且在风险数据队列中写入了监控风险级别,便于业务系统的用户能够直观的查看哪些是风险数据,从而对自身的业务系统进行调整及预防。
需要强调的是,为进一步保证上述业务监控规则的私密性和安全性,上述业务监控规则可存储于区块链的节点中。
本实施所述的数据监控方法,还可以应用于智慧政务中,对各政务平台的多个数据进行事前风险监控,确保政务平台的安全运行,促进智慧城市的发展。
图2是本发明实施例二提供的数据监控装置的结构图。
在一些实施例中,所述数据监控装置20可以包括多个由计算机程序段所组成的功能模块。所述数据监控装置20中的各个程序段的计算机程序可以存储于计算机设备的存储器中,并由至少一个处理器所执行,以执行(详见图1描述)数据监控的功能。所述计算机设备中预先安装有监控系统。
本实施例中,所述数据监控装置20根据其所执行的功能,可以被划分为多个功能模块。所述功能模块可以包括:规则配置模块201、数据拉取模块202、监控确定模块203、参数获取模块204、风险监控模块205、时间获取模块206、时间判断模块207及聚类分析模块208。本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段,其存储在存储器中。在本实施例中,关于各模块的功能将在后续的实施例中详述。
所述规则配置模块201,用于显示业务监控规则配置界面,并接收业务系统的用户在所述业务监控规则配置界面上配置的业务监控规则。
监控系统通过第一网络与大数据平台通信,从大数据平台中拉取数据。监控系统通过第二网络与一个或者多个业务系统通信,对一个或多个业务系统中的数据进行时候风险监控,以确保一个或多个业务系统能够正常运行。业务系统通过第三网络与大数据平台通信,将更新的数据存储在大数据平台中。其中,所述第一网络、所述第二网络及所述第三网络可以全部相同或者不同,也可以部分相同或者不同。
业务系统的用户在首次登陆所述监控系统时,需要进行账号和密码注册,并在成功注册后,监控系统建立与业务系统的关联关系。后续,业务系统的用户使用所述账号和密码登录所述监控系统,所述监控系统接收所述业务系统登录的账号和密码并对所述账号和密码进行有效性验证,在验证账号和密码有效时,显示监控规则配置界面,以供业务系统的用户在所述监控规则配置界面中自定义配置业务监控规则。
在一个可选的实施例中,所述业务监控规则包括以下一种或多种的组合:业务系统标识、监控字段名、监控阈值范围,监控风险级别、目标表信息、明细表信息等。
通过监控系统提供监控规则配置界面,能够使得业务系统的用户根据自身企业的实际需求和业务类型自定义和个性化的配置业务监控规则,从而使得监控系统能够更加精准且定向的监控业务系统的数据。
所述数据拉取模块202,用于响应于接收到的大数据平台的数据更新请求,从所述大数据平台拉取与所述数据更新请求对应的更新数据并将所述更新数据映射到监控系统中。
监控系统由于对接多个业务系统,而不同业务系统的数据类型不同,通过配置大数据平台,借助大数据平台对海量数据具有较强的分析能力,接收并存储业务系统的海量数据,并对海量数据进行协同处理后形成各种场景的数据模型。
业务系统的数据发生任何变更,例如,新增,修改,删除,插入等,触发数据更新指令并发送数据更新请求给大数据平台,由大数据平台发送所述数据更新请求至监控系统。所述数据更新请求中至少携带有发生变更的数据,将数据更新请求中携带的数据称之为更新数据。
监控系统接收到大数据平台的数据更新请求,从大数据平台拉取更新数据,然后将拉取的更新数据映射到开源分布式搜索引擎数据库(Elasticsearch,ES)中的消息队列中。
本实施例中,通过配置大数据平台,并从大数据平台中拉取业务系统的更新数据,使得海量数据不会存储在监控系统中,造成监控系统的内存泄露,进而影响监控系统的性能。
所述监控确定模块203,用于确定与所述更新数据对应的第一业务监控规则,并根据所述第一业务监控规则判断所述监控系统中的多个更新数据中是否存在需要进行监控的目标更新数据。
当业务系统的用户事先通过监控系统显示的业务监控规则配置界面配置了业务监控规则后,监控系统才会对业务系统的更新数据进行监控。当业务系统的用户未通过监控系统显示的业务监控规则配置界面配置了业务监控规则,监控系统不会对业务系统的更新数据进行监控。
在一个可选的实施例中,所述监控确定模块203确定与所述更新数据对应的第一业务监控规则包括:
解析所述数据更新请求中的业务系统的标识;
确定与所述业务系统的标识对应的第一业务监控规则。
该可选的实施例中,业务系统在发送数据更新请求的同时将业务系统的标识携带在数据更新请求中。
监控系统接收到业务系统的用户配置的业务监控规则时,将业务系统的标识与业务监控规则关联存储。监控系统接收到数据更新请求时解析业务系统的标识,匹配出与业务系统的标识对应的业务监控规则。
在一个可选的实施例中,所述监控确定模块203根据所述第一业务监控规则判断所述监控系统中的多个更新数据中是否存在需要进行监控的目标更新数据包括:
获取每个更新数据的数据字段名及获取所述第一业务监控规则中的多个监控字段名;
将每个数据字段名与所述多个监控字段名进行匹配;
当从所述多个监控字段名中匹配出与所述数据字段名相同的监控字段名时,确定所述数据字段名对应的更新数据为需要进行监控的目标更新数据;
当从所述多个监控字段名中没有匹配出与所述数据字段名相同的监控字段名时,确定所述监控系统中的多个更新数据中不存在需要进行监控的目标更新数据。
示例性的,假设所述ES中的更新数据的数据字段名为:A,B,C,所述业务监控规则中的多个监控字段名为:C,D,E。数据字段名C与监控字段名C相同,则表明所述监控系统中的多个更新数据中存在需要进行监控的目标更新数据,且确定与数据字段名C对应的更新数据为需要进行监控的目标更新数据,与数据字段名A和数据字段名B对应的更新数据为不需要进行监控的目标更新数据。
所述参数获取模块204,用于当确定所述监控系统中的多个更新数据中存在所述目标更新数据时,获取所述第一业务监控规则中的多个监控参数。
监控系统匹配出与目标更新数据对应的第一业务监控规则,便于调用第一业务监控规则对目标更新数据实现精确监控。
在一个可选的实施例中,所述参数获取模块204获取所述第一业务监控规则中的多个监控参数包括:
获取所述第一业务监控规则中的多个监控阈值范围及每个监控阈值范围对应的监控风险级别;
将每个所述监控阈值范围及对应的所述监控风险级别进行拼接得到监控参数。
该可选的实施例中,由于在确定多个更新数据中哪些是需要进行监控的更新数据时,需要从第一业务监控规则中获取监控阈值范围、监控风险级别,从而根据监控阈值范围及监控风险级别对目标更新数据进行监控,以判断所述目标更新数据中是否有风险数据。
所述风险监控模块205,用于调用所述多个监控参数监控出所述目标更新数据中的风险数据并将所述风险数据回写入风险数据队列中。
监控系统中预先存储有风险数据队列,专用于存储监控出的风险数据,便于业务系统的用户从风险数据队列中查看哪些是风险数据。
在一个可选的实施例中,所述风险监控模块205调用所述多个监控参数监控出所述目标更新数据中的风险数据并将所述风险数据回写入风险数据队列中包括:
判断所述目标更新数据中是否有超过所述监控阈值范围的数据;
确定所述目标更新数据中超过所述监控阈值范围的数据为风险数据;
获取所述监控阈值范围对应的监控风险级别;
将所述风险数据及所述监控风险级别回写入所述风险数据队列中。
示例性的,假设监控阈值范围为:支付业务类型在100至300之间,转账业务类型在100至1000之间,目标更新数据如下表所示:
时间 |
T1 |
T2 |
T3 |
金额 |
100 |
200 |
500 |
业务类型 |
支付 |
转账 |
支付 |
则,确定所述目标更新数据中T3时刻支付500这一笔数据为风险数据。
由于监控风险级别较低,不会对业务系统的运行产生影响,因而所述监控系统可以将监控风险级别较高的风险数据回写入所述风险数据队列中,而将监控风险级别较低的风险数据不回写入所述风险数据队列中。如此,避免将所述目标更新数据中所有超过所述监控阈值范围的风险数据全部写入风险数据队列中,造成数据干扰,且风险数据队列中写入的风险数据量越大,越容易占据监控系统的内存,影响监控系统的性能。
所述监控确定模块203,还用于在所述确定存在所述目标更新数据之后,判断是否已有第二业务监控规则对所述目标更新数据进行监控。
所述时间获取模块206,用于当确定已有所述第二业务监控规则对所述目标更新数据进行监控时,获取所述第二业务监控规则中的多个监控参数的调用时间。
所述时间判断模块207,用于获取所述数据更新请求的接收时间与所述调用时间的差值,并判断所述差值是否小于预设差值阈值。
所述风险监控模块205,还用于当确定所述差值小于或者等于所述预设差值阈值时,禁止开启新的进程调用所述第一业务监控规则中的多个监控参数对所述目标更新数据进行监控。
该可选的实施例中,监控系统在调用第一业务监控规则监控目标更新数据之前,先查询出是否已有进程在调用第二业务监控规则对所述目标更新数据进行风险监控,且已有进程调用所述第二业务监控规则的调用时间与监控系统接收的数据更新请求的接收时间的差值小于预设差值阈值时,表明重复接收了同一份数据更新请求,不再新开启一个进程处理所述数据更新请求。当数据更新请求的接收时间与所述调用时间的差值大于所述预设差值阈值时,表明当前接收到的数据更新请求是一份新的数据更新请求,因而需要开启新的进程调用所述第一业务监控规则中的多个监控参数对所述目标更新数据进行监控。
所述聚类分析模块208,用于获取所述风险数据队列中的多个风险数据,并将所述多个风险数据按照多个预设数据纬度进行聚类;调用元数据管理工具对每个预设数据纬度对应的风险数据进行风险管理及风险分析。
监控系统中预先安装有元数据管理工具,通过元数据管理工具对风险数据进行权限查看等一站式管理,有利于业务系统的用户直观的查看风险数据。且通过元数据管理工具将聚类后的风险数据进行风险分析,并以图表的形式进行展示,便于业务系统的用户能够更加直观的确定风险数据的趋势及其他信息等。
所述规则配置模块201,还用于响应于接收到的业务监控规则更新指令,解析出所述业务监控规则更新指令中的至少一个数据字段名;确定与所述至少一个监控字段名对应的至少一个监控字段名;根据所述业务监控规则更新指令更新与至少一个监控字段名对应的监控阈值范围及/或与所述监控阈值范围对应的监控风险级别。
对于业务系统而言,业务系统除了需要设置数据字段名、监控阈值范围及/或监控风险级别之外不需要其他的任何操作,当需要更新某个数据字段名或者更新某个监控阈值范围或者更新某个监控阈值范围对应的监控风险级别,通过在监控系统提供的业务监控规则配置界面上进行更新以发送更新指令至监控系统。监控系统接收到业务监控规则更新指令即可进行更新操作。所述业务监控规则更新指令可以包括:删除数据字段名、新增数据字段名、删除监控阈值范围、新增监控阈值范围、更改监控阈值范围、删除监控风险级别、新增监控风险级别、更改监控风险级别。
本实时例通过监控系统提供监控规则配置界面,使得业务系统能够在所述监控规则配置界面上自定义和个性化的配置需要监控的数据,实现了一个监控系统对多个业务系统进行个性化监控的功能。监控系统通过监控阈值范围监控出业务系统的数据中的风险数据并回写入风险数据队列,且在风险数据队列中写入了监控风险级别,便于业务系统的用户能够直观的查看哪些是风险数据,从而对自身的业务系统进行调整及预防。
需要强调的是,为进一步保证上述业务监控规则的私密性和安全性,上述业务监控规则可存储于区块链的节点中。
本实施所述的数据监控方法,还可以应用于智慧政务中,对各政务平台的多个数据进行事前风险监控,确保政务平台的安全运行,促进智慧城市的发展。
参阅图3所示,为本发明实施例三提供的计算机设备的结构示意图。在本发明较佳实施例中,所述计算机设备3包括存储器31、至少一个处理器32、至少一条通信总线33及收发器34。
本领域技术人员应该了解,图3示出的计算机设备的结构并不构成本发明实施例的限定,既可以是总线型结构,也可以是星形结构,所述计算机设备3还可以包括比图示更多或更少的其他硬件或者软件,或者不同的部件布置。
在一些实施例中,所述计算机设备3是一种能够按照事先设定或存储的指令,自动进行数值计算和/或信息处理的计算机设备,其硬件包括但不限于微处理器、专用集成电路、可编程门阵列、数字处理器及嵌入式设备等。所述计算机设备3还可包括客户设备,所述客户设备包括但不限于任何一种可与客户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品,例如,个人计算机、平板电脑、智能手机、数码相机等。
需要说明的是,所述计算机设备3仅为举例,其他现有的或今后可能出现的电子产品如可适应于本发明,也应包含在本发明的保护范围以内,并以引用方式包含于此。
在一些实施例中,所述存储器31中存储有计算机程序,所述计算机程序被所述至少一个处理器32执行时实现如所述的数据监控方法中的全部或者部分步骤。所述存储器31包括只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable Read-OnlyMemory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory,EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory,OTPROM)、电子擦除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(Compact Disc Read-Only Memory,CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
进一步地,所述计算机可读存储介质可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据区块链节点的使用所创建的数据等。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
在一些实施例中,所述至少一个处理器32是所述计算机设备3的控制核心(Control Unit),利用各种接口和线路连接整个计算机设备3的各个部件,通过运行或执行存储在所述存储器31内的程序或者模块,以及调用存储在所述存储器31内的数据,以执行计算机设备3的各种功能和处理数据。例如,所述至少一个处理器32执行所述存储器中存储的计算机程序时实现本发明实施例中所述的数据监控方法的全部或者部分步骤;或者实现数据监控装置的全部或者部分功能。所述至少一个处理器32可以由集成电路组成,例如可以由单个封装的集成电路所组成,也可以是由多个相同功能或不同功能封装的集成电路所组成,包括一个或者多个中央处理器(Central Processing unit,CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。
在一些实施例中,所述至少一条通信总线33被设置为实现所述存储器31以及所述至少一个处理器32等之间的连接通信。
尽管未示出,所述计算机设备3还可以包括给各个部件供电的电源(比如电池),优选的,电源可以通过电源管理装置与所述至少一个处理器32逻辑相连,从而通过电源管理装置实现管理充电、放电、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述计算机设备3还可以包括多种传感器、蓝牙模块、Wi-Fi模块等,在此不再赘述。
上述以软件功能模块的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,计算机设备,或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分。
在本发明所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或,单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。
最后应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。