CN112416701A - 业务数据的监控方法、装置、计算机设备和可读存储介质 - Google Patents

业务数据的监控方法、装置、计算机设备和可读存储介质 Download PDF

Info

Publication number
CN112416701A
CN112416701A CN202010926616.7A CN202010926616A CN112416701A CN 112416701 A CN112416701 A CN 112416701A CN 202010926616 A CN202010926616 A CN 202010926616A CN 112416701 A CN112416701 A CN 112416701A
Authority
CN
China
Prior art keywords
monitoring
frequency
data
task
query
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010926616.7A
Other languages
English (en)
Other versions
CN112416701B (zh
Inventor
任运宜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Bilibili Technology Co Ltd
Original Assignee
Shanghai Bilibili Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Bilibili Technology Co Ltd filed Critical Shanghai Bilibili Technology Co Ltd
Priority to CN202010926616.7A priority Critical patent/CN112416701B/zh
Publication of CN112416701A publication Critical patent/CN112416701A/zh
Application granted granted Critical
Publication of CN112416701B publication Critical patent/CN112416701B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/242Query formulation
    • G06F16/2433Query languages
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425Traffic logging, e.g. anomaly detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computational Linguistics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供了一种业务数据的监控方法、装置、计算机设备和可读存储介质。该方法包括:配置对应监控指令的定时任务,其中,监控指令包括监控频率和用于判断业务数据是否包括异常数据的异常判断方法;当定时任务达到监控频率的执行时间要求时,将定时任务下发至数据计算节点,其中,数据计算节点用于在接收到定时任务时,在业务数据库上执行异常判断方法;以及接收数据计算节点返回的异常判断结果。通过本发明,无需对业务数据进行二次转存,减小了数据流转和数据存储的资源开销。

Description

业务数据的监控方法、装置、计算机设备和可读存储介质
技术领域
本发明涉及数据监控技术领域,尤其涉及一种业务数据的监控方法、装置、计算机设备和可读存储介质。
背景技术
互联网时代,因为快速的信息交互,使得互联网公司快速积累了大量的业务数据。业务数据是业务状态最真实直接的反映,反映了此业务下的用户各种行为特征,具有非常重要的商业价值。因此,通常大家都在思考如何使用业务数据,并由业务数据产生新的价值,对业务数据的安全问题关注度相对较低。此外,由于服务开发人员的编程水平、业务安全认知等状态的参差不齐,导致服务接口上难免出现安全疏漏,导致外部黑产人员能够利用业务接口的各种安全漏洞,进行接口试探、测试、渗透等技术,来间接达到非法操作业务数据的目的,从而造成公司在数据资产或者直接财产上的损失。
因此,如何更好地实现业务数据的持续监控,以提升业务数据的安全性,成为本领域亟需解决的技术问题。
发明内容
本发明的目的是提供一种业务数据的监控方法、装置、计算机设备和可读存储介质,用于解决现有技术中的上述技术问题。
一方面,为实现上述目的,本发明提供了一种业务数据的监控方法。
该业务数据的监控方法包括:配置对应监控指令的定时任务,其中,所述监控指令包括监控频率和用于判断业务数据是否包括异常数据的异常判断方法;当所述定时任务达到所述监控频率的执行时间要求时,将所述定时任务下发至数据计算节点,其中,所述数据计算节点用于在接收到所述定时任务时,在业务数据库上执行所述异常判断方法;以及接收所述数据计算节点返回的异常判断结果。
进一步地,当所述定时任务达到所述监控频率的执行时间要求时,将所述定时任务下发至数据计算节点的步骤包括:确定所述监控频率对应的查询频率,得到第一查询频率,其中,所述第一查询频率高于所述监控频率,且所述第一查询频率与所述监控频率呈倍数关系;根据预设的查询频率和任务消息队列的对应关系,确定所述第一查询频率对应的任务消息队列,得到第一任务消息队列;将所述定时任务加入至所述第一任务消息队列,其中,预设与所述第一任务消息队列相关联的第一任务触发器,所述第一任务触发器用于按照所述第一查询频率,查询所述第一任务消息队列中是否存在达到执行时间要求的定时任务,并将查询到的所述定时任务下发至所述数据计算节点。
进一步地,所述监控指令为结构化查询语句,确定所述监控频率对应的查询频率,得到第一查询频率的步骤包括:解析所述结构化查询语句中用于定义所述监控频率的参数,得到解析结果;在所述解析结果中获取标识查询频率的标识信息;根据所述标识信息确定所述第一查询频率。
进一步地,用于定义所述监控频率的参数包括所述倍数和所述标识信息。
进一步地,所述标识信息为时间单位信息。
进一步地,确定所述监控频率对应的查询频率,得到第一查询频率的步骤包括:当所述监控频率为每间隔n分钟一次,确定所述第一查询频率为分钟查询频率,其中,n大于等于1小于60;当所述监控频率为每间隔m小时一次,确定所述第一查询频率为小时查询频率,其中,m大于等于小于24;当所述监控频率为每间隔l天一次,确定所述第一查询频率为天查询频率。
进一步地,所述数据计算节点用于仅在确定业务数据存在异常时,返回所述异常判断结果,在接收所述数据计算节点返回的异常判断结果之后,所述业务数据的监控方法还包括:向所述监控指令对应的业务方发送告警信息。
另一方面,为实现上述目的,本发明提供了一种业务数据的监控装置。
该业务数据的监控装置包括:配置模块,用于配置对应监控指令的定时任务,其中,所述监控指令包括监控频率和用于判断业务数据是否包括异常数据的异常判断方法;下发模块,用于当所述定时任务达到所述监控频率的执行时间要求时,将所述定时任务下发至数据计算节点,其中,所述数据计算节点用于在接收到所述定时任务时,在业务数据库上执行所述异常判断方法;以及接收模块,用于接收所述数据计算节点返回的异常判断结果。
为实现上述目的,本发明还提供一种计算机设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,该处理器执行计算机程序时实现上述方法的步骤。
为实现上述目的,本发明还提供计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述方法的步骤。
本发明提供的业务数据的监控方法、装置、计算机设备和可读存储介质,针对业务数据的监控指令,配置对应该监控指令的定时任务,然后当定时任务达到监控频率的执行时间要求时,将定时任务下发至数据计算节点,使得数据计算节点在接收到定时任务时,在业务数据库上执行异常判断方法,也即对业务数据进行异常判断,然后接收数据计算节点返回的异常判断结果,得到业务数据的异常判断结果,通过本发明,将监控任务转化为定时任务,通过定时下发任务的方式,可直接在业务数据库上行计算,而无需对业务数据进行转存,减小了数据流转和数据存储的资源开销,同时可根据需要灵活细化监控任务中业务数据的粒度,灵活调整监控计算方法,不受数据转存聚合的限制,从而能够更好地实现业务数据的持续监控,以提升业务数据的安全性。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1为本发明实施例一提供的业务数据的监控方法的流程图;
图2为本发明实施例一提供的监控任务配置界面的示意图;
图3为本发明实施例二提供的业务数据的监控装置的框图;
图4为本发明实施例三提供的计算机设备的硬件结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了提升业务数据的安全性,发明人对现有技术中存在的业务数据的监控方法进行了研究。在一种相关技术中,用于监控业务数据的监控系统从业务数据的原始数据库接入数据,然后根据监控任务的时间统计要求,对数据进行聚合,并将聚合后的数据存储到监控系统的数据库,然后再对监控系统数据库中的数据进行异常判断,以实现对业务数据安全性的持续监控,例如,将5秒作为一个统计时间段对数据进行聚合,可实现对业务数据以5秒为时间间隔的持续监控。
发明人对上述方法研究发现,在该方法中,一方面,需要对业务数据进行二次转存,因此需要数据流转和数据存储的资源开销,特别是面对大数据量的时候,该数据流转和数据存储的资源开销会非常大;另一方面,如果细化监控任务中业务数据的粒度,需要从不同维度进行数据聚合,会进一步增加上述资源开销,因此,资源开销会成为业务数据监控粒度细化的障碍;第三方面,对于聚合后的数据,只能基于聚合结果进行监控,对监控计算方法也造成了局限。
基于上述研究,本发明提出一种业务数据的监控方法、装置、计算机设备和可读存储介质,在本发明提供的业务数据的监控方法中,预置可在业务数据库上直接进行计算的数据计算节点,将业务数据的监控任务构建为定时任务,并按照监控频率的执行时间要求,在监控任务达到执行时间时,将定时任务下发至数据计算节点,数据计算节点在接收到定时任务后,在业务数据库上执行监控任务,也即执行判断业务数据是否包括异常数据的异常判断方法,从而根据数据计算节点反馈的异常判断结果对业务数据进行监控,从中可以看出,本发明将监控任务转化为定时任务,通过定时下发任务的方式直接在业务数据库上直接进行计算,无需对业务数据进行二次转存,减小了数据流转和数据存储的资源开销,如果需要细化监控任务中业务数据的粒度,和/或调整监控计算方法,只需设置相应地监控指令即可,无需数据聚合,因此可根据需要灵活细化监控任务中业务数据的粒度,灵活调整监控计算方法。
关于本发明提供的业务数据的监控方法、装置、计算机设备和可读存储介质的具体实施例,将在下文中详细描述。
实施例一
本发明实施例提供了一种业务数据的监控方法,通过该方法,将业务数据的监控任务转化为定时任务,通过定时下发任务的方式直接在业务数据库上直接进行计算,无需对业务数据进行二次转存,减小了数据流转和数据存储的资源开销,同时能够根据需要灵活细化监控任务中业务数据的粒度,灵活调整监控计算方法,具体地,图1为本发明实施例一提供的业务数据的监控方法的流程图,如图1所示,该实施例提供的业务数据的监控方法包括如下的步骤S102至步骤S104。
步骤S102:配置对应监控指令的定时任务。
其中,监控指令包括监控频率和用于判断业务数据是否包括异常数据的异常判断方法。
可选地,设置监控系统包括客户端、后端和数据计算节点,通过后端执行该实施例提供的业务数据的监控方法,通过数据计算节点在业务数据库上执行计算,通过客户端展示监控任务配置界面,用户可在该监控任务配置界面上配置监控指令,具体包括配置监控频率和用于判断业务数据是否包括异常数据的异常判断方法,基于用户的配置,客户端生成监控指令,并发送至后端,由后端基于该监控指令进行后续进一步的处理。
具体地,监控系统可随时接收监控指令,并配置对应该监控指令的定时任务,或者,针对特定的监控系统设置特定的监控指令,接收到该监控指令进行定时任务的配置后,监控系统基于配置的定时任务持续运行,直到监控系统升级。
后端针对该监控指令,配置对应监控指令的定时任务,该定时任务用于实现按照监控频率对业务数据进行异常判断的目的。可选地,为了实现持续监控,可对定时任务进行存储,进一步,可设置任务消息队列,将定时任务写入任务消息队列进行存储。步骤S103:当定时任务达到监控频率的执行时间要求时,将定时任务下发至数据计算节点。
其中,数据计算节点用于在接收到定时任务时,在业务数据库上执行异常判断方法。
后端对存储的定时任务进行查询,判断定时任务是否达到监控频率的执行时间要求,如果某定时任务已经达到监控频率的执行时间要求,也即确定当前时间有定时任务需要执行,此时,将该定时任务下发至数据计算节点,数据计算节点接收到定时任务时,访问业务数据库,在业务数据库上执行异常判断。其中,业务数据库为存储业务数据的原始数据库,数据计算节点在业务数据库上直接进行业务数据异常的判断,无需进行业务数据的二次转存,并将异常判断结果反馈至后端。
步骤S104:接收数据计算节点返回的异常判断结果。
后端接收数据计算节点返回的异常判断结果之后,可将异常判断结果发送回客户端,以便在客户端展示业务数据的监控结果。
在该实施例提供的业务数据的监控方法中,针对业务数据的监控指令,配置对应监控指令的定时任务,然后当定时任务达到监控频率的执行时间要求时,将定时任务下发至数据计算节点,使得数据计算节点在接收到定时任务时,在业务数据库上执行异常判断方法,也即对业务数据进行异常判断,然后接收数据计算节点返回的异常判断结果,得到业务数据的异常判断结果。采用该实施例提供的业务数据的监控方法,将监控任务转化为定时任务,通过定时下发任务的方式,可直接在业务数据库上行计算,而无需对业务数据进行转存,减小了数据流转和数据存储的资源开销,同时可根据需要灵活细化监控任务中业务数据的粒度,灵活调整监控计算方法,不受数据转存聚合的限制,从而能够更好地实现业务数据的持续监控,以提升业务数据的安全性。
可选地,在一种实施例中,在步骤S102之前,业务数据的监控方法还包括:接收业务数据的监控指令,然后在步骤S102中,配置对应该监控指令的定时任务,以及后续对定时任务的执行,使得监控指令的下发过程和监控指令的实际执行过程相分离,也即实现监控指令下发和监控指令执行的异步处理,用户可随时可根据需要下发监控指令,对应该监控指令的定时任务在满足执行时间要求时会自动执行。可选地,在一种实施例中,当定时任务达到监控频率的执行时间要求时,将定时任务下发至数据计算节点的步骤包括:确定监控频率对应的查询频率,得到第一查询频率,其中,所述第一查询频率高于所述监控频率,且所述第一查询频率与所述监控频率呈倍数关系;根据预设的查询频率和任务消息队列的对应关系,确定第一查询频率对应的任务消息队列,得到第一任务消息队列;将定时任务加入至第一任务消息队列,其中,预设与第一任务消息队列相关联的第一任务触发器,第一任务触发器用于按照第一查询频率,查询第一任务消息队列中是否存在达到执行时间要求的定时任务,并将查询到的定时任务下发至数据计算节点。
具体而言,预设若干查询频率、任务消息队列和任务触发器。可选地,预设监控频率与查询频率的对应的关系,查询频率高于监控频率,且查询频率与监控频率呈倍数关系。预设查询频率与任务消息队列的对应的关系,每一个查询频率对应一个任务消息队列;预设与任务消息队列关联的任务触发器,每个任务消息队列关联一个任务触发器,该任务触发器用于按照与任务消息队列对应的查询频率查询该任务消息队列中是否存在达到执行时间要求的定时任务,并将查询到的定时任务下发至数据计算节点。
其中,可预设每个查询频率对应一个监控频率范围,例如,预设两个查询频率甲和乙,查询频率甲为每间隔X1时间长度查询一次,查询频率乙为每间隔X2时间长度查询一次,X1时间长度大于X2时间长度,查询频率甲低于查询频率乙,查询频率甲和查询频率乙分别对应一个监控频率范围。在接收到监控指令后,可确定监控指令中的监控频率属于哪一个监控频率范围,进而可确定该监控频率所对应的查询频率。在该实施例中,将确定的查询频率定义为第一查询频率。
在确定第一查询频率后,根据查询频率与任务消息队列的对应的关系,即可确定第一查询频率对应的任务消息队列,在该实施例中,将第一查询频率对应的任务消息队列定义为第一任务消息队列,然后将定时任务加入至该第一任务消息队列。
在该实施例中,将与第一任务消息队列关联的任务触发器定义为第一任务触发器,对于第一任务消息队列中的定时任务,监控频率均对应第一查询频率,第一任务触发器按照第一查询频率,对第一任务消息队列中的定时任务进行查询,以确定当前时间是否有定时任务存在达到执行时间要求。
采用该实施例提供的业务数据的监控方法,在接收到监控指令后,对应监控指令构建定时任务,然后将定时任务写入任务消息队列进行存储,并在达到执行时间要求时再进行下发,实现了接收监控指令和下发对应定时任务的异步处理,用户可在任意的时间配置监控指令;进一步,在将定时任务写入任务消息队列时,确定监控频率对应的查询频率,对应查询频率设置任务消息队列和与任务消息队列关联的任务触发器,并且查询频率与其对应的监控频率呈倍数关系,保证任务触发器能够查询到其关联的任务消息队列中的每一个定时任务,从而保证定时任务在达到执行时间要求时,按时被下发执行,避免监控指令对应的定时任务被遗漏,又无需实时查询任务消息队列,只需按照查询频率进行查询即可,能够节约查询处理资源。
可选地,在一种实施例中,监控指令为结构化查询语句,确定监控频率对应的查询频率,得到第一查询频率的步骤包括:解析结构化查询语句中用于定义监控频率的参数,得到解析结果;在解析结果中获取标识查询频率的标识信息;根据标识信息确定第一查询频率。
具体而言,监控指令采用结构化查询语句实现,例如通过SQL语句实现监控指令,结构化查询语句包括用于定义监控频率的参数和用于实现异常判断方法的相关语句。预设与查询频率对应的标识信息,将用于定义监控频率的参数的数据结构设置为包括该标识信息的结构。在确定查询频率时,首先解析结构化查询语句中用于定义监控频率的参数,在解析结果中获取标识查询频率的标识信息,进而可根据获取到的标识信息确定出查询频率。
采用该实施例提供的业务数据的监控方法,通过结构化查询语句实现监控指令,使得数据计算节点可在业务数据库上直接查询业务数据中的异常数据,数据计算节点的运行逻辑简单;在结构化查询语句中,设置包括查询频率的标识信息的参数,来定义监控频率,简化了确定监控频率对应的查询频率的步骤。
可选地,在一种实施例中,用于定义所述监控频率的参数包括所述倍数和所述标识信息。
采用该实施例提供的业务数据的监控方法,利用查询频率的标识信息以及查询频率与监控频率的倍数关系来构造用于定义所述监控频率的参数,简化了结构化查询语句的语法结构,从而方便用户采用简单的配置实现结构化查询语句。
可选地,在一种实施例中,标识信息为时间单位信息。
具体而言,时间单位信息包括“秒”、“分钟”、“小时”、“天”和“周”等信息,时间单位信息为“秒”时,对应的查询频率为每秒查询一次,时间单位信息为“分钟”时,对应的查询频率为每分钟查询一次,时间单位信息为“小时”时,对应的查询频率为每小时查询一次,时间单位信息为“天”时,对应的查询频率为每天查询一次。相应地,用于定义所述监控频率的参数可以设置为“5秒”,“10分钟”等,表征监控频率为每5秒监控一次,每10分钟监控一次。
采用该实施例提供的业务数据的监控方法,采用时间单位信息作为标识信息,使得用户能够通过标识信息直接获知查询频率,进而方便用户根据自身业务数据的监控需求来设置监控频率。
可选地,在一种实施例中,确定监控频率对应的查询频率,得到第一查询频率的步骤包括:当监控频率为每间隔n分钟一次,确定第一查询频率为分钟查询频率,也即每分钟查询一次,其中,n大于等于1小于60;当监控频率为每间隔m小时一次,确定第一查询频率为小时查询频率,也即每小时查询一次,其中,m大于等于小于24;当监控频率为每间隔l天一次,确定第一查询频率为天查询频率,也即每天查询一次。
采用该实施例提供的业务数据的监控方法,对于监控频率为每间隔数分钟一次的定时任务,均设置于对应查询频率为每分钟查询一次的任务消息队列中,对于监控频率为每间隔数小时一次的定时任务,均设置于对应查询频率为每小时查询一次的任务消息队列中,对于监控频率为每间隔数天一次的定时任务,均设置于对应查询频率为每天查询一次的任务消息队列中,与各个任务消息队列相关联的任务触发器分别按照相应地查询频率查询任务消息队列,避免遗漏定时任务。
可选地,在一种实施例中,将业务数据监控类型分为:实时监控、小时级别监控和天级别监控,其中小时级别监控分为小时级别的量监控和小时级别的对比监控;天级别监控又分天级别量监控,和天级别对比监控。如图2所示,用户可在监控任务配置界面上对监控类型进行配置,同时,也可设置监控名称、监控数据类型以及监控指令(SQL语句)等内容。
具体的监控类型说明:
实时监控:针对单条数据的异常点检测。每当业务数据产生一条数据,就进行业务设定的异常条件检测,判断该数据是否为异常数据。
小时级别总量监控:当上一小时结束,在本小时第一秒开始基于用户定义的sql去统计和计算上一小时的数据,以确定是否出现异常数据。
小时级别对比监控:当上一小时结束,在本小时的第一秒,基于用户定义的sql,查询上一小时和上上一小时的数据进行比对和计算,以确定是否出现异常数据。其中,小时级别对比监控可包括数据量的波动监控和数据量的变化率监控。
天级别总量监控:在今天开始的时候,基于用户定义的sql,统计和计算昨天的用户数据,以确定是否出现异常数据。
天级别对比监控:在今天,查询昨天和前天的数据,进行比对和计算,确定是否出现异常数据。天级别的对比监控包括数据量的波动监控和数据量的变化率监控。
其中,小时级别监控和天级别监控,可以通过控制监控时间区间的方式来实现sql查询。但实时监控是单条数据监控,如果针对每条数据计算一次,会对业务数据库造成极大的压力,为了在减小业务数据库的压力,将实时单条监控的方式,改为一分钟一次的批量监控,这样,在查询次数不多的情况下,保证实时性,同时,也在查询sql编写上实现了统一,在统一了五种类型的监控类型之后,针对每种监控类型,设置对应的监控频率和异常数据判断方法,实现了监控指令的统一。
可选地,可采用如下的sql实现每种监控类型对应的监控指令,其中的”1min”、”1hour”和”1day”为用于定义监控频率的参数,”min”、”hour”和”day”分别为对应查询频率的标识信息,具体地:
实时监控:
Select f1,f2...from table where c1,c2...and time=”1min”
小时级别总量count监控:
Select f1,f2..count(1)from table where c1,c2...and time=”1hour”groupby f1,f2...
小时级别总量sum监控:
Select f1,f2..sum(x)from table where c1,c2...and time=”1hour”groupby f1,f2...
小时级别count对比监控:
Select f1,f2...count(1)from table where c1,c2...and time=”1hour”diffgroup by f1,f2...
小时级别sum对比监控:
Select f1,f2...sum(x)from table where c1,c2...and time=”1hour”diffgroup by f1,f2...
天级别总量count监控:
Select f1,f2..count(1)from table where c1,c2...and time=”1day”groupby f1,f2...
天级别总量sum监控:
Select f1,f2..sum(x)from table where c1,c2...and time=”1day”group byf1,f2...
天级别count对比监控:
Select f1,f2...count(1)from table where c1,c2...and time=”1day”diffgroup by f1,f2...
天级别sum对比监控:
Select f1,f2...sum(x)from table where c1,c2...and time=”1day”diffgroup by f1,f2...
可选地,在一种实施例中,数据计算节点用于仅在确定业务数据存在异常时,返回异常判断结果,在接收数据计算节点返回的异常判断结果之后,业务数据的监控方法还包括:向监控指令对应的业务方发送告警信息。
采用该实施例提供的业务数据的监控方法,数据计算节点在接收到定时任务之后,如果确定业务数据存在异常,向后端返回异常判断结果,后端向监控指令对应的业务方发送告警信息,告警信息被发送给用户,如果确定业务数据正常,则不反馈任何信息,进一步节省资源开销。
实施例二
对应于上述实施例一,本发明实施例二提供了一种业务数据的监控装置,相关技术特征的详细描述和对应的技术效果可参考上述实施例一,该处不再赘述。图3为本发明实施例二提供的业务数据的监控装置的框图,如图3所示,该装置包括配置模块202、下发模块203和接收模块204。
其中,配置模块202用于配置对应监控指令的定时任务,其中,所述监控指令包括监控频率和用于判断业务数据是否包括异常数据的异常判断方法;下发模块203用于当所述定时任务达到所述监控频率的执行时间要求时,将所述定时任务下发至数据计算节点,其中,所述数据计算节点用于在接收到所述定时任务时,在业务数据库上执行所述异常判断方法;以及接收模块204用于接收所述数据计算节点返回的异常判断结果。
可选地,在一种实施例中,下发模块203包括第一确定单元、第二确定单元和写入单元,其中,确定单元用于确定所述监控频率对应的查询频率,得到第一查询频率,其中,所述第一查询频率高于所述监控频率,且所述第一查询频率与所述监控频率呈倍数关系;第二确定单元用于根据预设的查询频率和任务消息队列的对应关系,确定所述第一查询频率对应的任务消息队列,得到第一任务消息队列;写入单元用于将所述定时任务加入至所述第一任务消息队列,其中,预设与所述第一任务消息队列相关联的第一任务触发器,所述第一任务触发器用于按照所述第一查询频率,查询所述第一任务消息队列中是否存在达到执行时间要求的定时任务,并将查询到的所述定时任务下发至所述数据计算节点。
可选地,在一种实施例中,所述监控指令为结构化查询语句,确定单元确定所述监控频率对应的查询频率,得到第一查询频率时,具体执行的步骤包括:解析所述结构化查询语句中用于定义所述监控频率的参数,得到解析结果;在所述解析结果中获取标识查询频率的标识信息;根据所述标识信息确定所述第一查询频率。
可选地,在一种实施例中,用于定义所述监控频率的参数包括所述倍数和所述标识信息。
可选地,在一种实施例中,所述标识信息为时间单位信息。
可选地,在一种实施例中,第一确定单元确定所述监控频率对应的查询频率,得到第一查询频率时,具体执行的步骤包括:当所述监控频率为每间隔n分钟一次,确定所述第一查询频率为分钟查询频率,其中,n大于等于1小于60;当所述监控频率为每间隔m小时一次,确定所述第一查询频率为小时查询频率,其中,m大于等于小于24;当所述监控频率为每间隔l天一次,确定所述第一查询频率为天查询频率。
可选地,在一种实施例中,所述数据计算节点用于仅在确定业务数据存在异常时,返回所述异常判断结果,所述业务数据的监控装置还包括告警模块,用于在接收模块接收到所述数据计算节点返回的异常判断结果之后,向所述监控指令对应的业务方发送告警信息。
实施例三
本实施例三还提供一种计算机设备,如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器,或者多个服务器所组成的服务器集群)等。如图4所示,本实施例的计算机设备01至少包括但不限于:可通过系统总线相互通信连接的存储器011、处理器012,如图4所示。需要指出的是,图4仅示出了具有组件存储器011和处理器012的计算机设备01,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。
本实施例中,存储器011(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中,存储器011可以是计算机设备01的内部存储单元,例如该计算机设备01的硬盘或内存。在另一些实施例中,存储器011也可以是计算机设备01的外部存储设备,例如该计算机设备01上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。当然,存储器011还可以既包括计算机设备01的内部存储单元也包括其外部存储设备。本实施例中,存储器011通常用于存储安装于计算机设备01的操作系统和各类应用软件,例如实施例二的业务数据的监控装置的程序代码等。此外,存储器011还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器012在一些实施例中可以是中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器012通常用于控制计算机设备01的总体操作。本实施例中,处理器012用于运行存储器011中存储的程序代码或者处理数据,例如业务数据的监控方法等。
实施例四
本实施例四还提供一种计算机可读存储介质,如闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等,其上存储有计算机程序,程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于存储业务数据的监控装置,被处理器执行时实现实施例一的业务数据的监控方法。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种业务数据的监控方法,其特征在于,包括:
配置对应监控指令的定时任务,其中,所述监控指令包括监控频率和用于判断业务数据是否包括异常数据的异常判断方法;
当所述定时任务达到所述监控频率的执行时间要求时,将所述定时任务下发至数据计算节点,其中,所述数据计算节点用于在接收到所述定时任务时,在业务数据库上执行所述异常判断方法;以及
接收所述数据计算节点返回的异常判断结果。
2.根据权利要求1所述的业务数据的监控方法,其特征在于,当所述定时任务达到所述监控频率的执行时间要求时,将所述定时任务下发至数据计算节点的步骤包括:
确定所述监控频率对应的查询频率,得到第一查询频率,其中,所述第一查询频率高于所述监控频率,且所述第一查询频率与所述监控频率呈倍数关系;
根据预设的查询频率和任务消息队列的对应关系,确定所述第一查询频率对应的任务消息队列,得到第一任务消息队列;
将所述定时任务加入至所述第一任务消息队列,其中,预设与所述第一任务消息队列相关联的第一任务触发器,所述第一任务触发器用于按照所述第一查询频率,查询所述第一任务消息队列中是否存在达到执行时间要求的定时任务,并将查询到的所述定时任务下发至所述数据计算节点。
3.根据权利要求2所述的业务数据的监控方法,其特征在于,所述监控指令为结构化查询语句,确定所述监控频率对应的查询频率,得到第一查询频率的步骤包括:
解析所述结构化查询语句中用于定义所述监控频率的参数,得到解析结果;
在所述解析结果中获取标识查询频率的标识信息;
根据所述标识信息确定所述第一查询频率。
4.根据权利要求3所述的业务数据的监控方法,其特征在于,用于定义所述监控频率的参数包括所述倍数和所述标识信息。
5.根据权利要求4所述的业务数据的监控方法,其特征在于,所述标识信息为时间单位信息。
6.根据权利要求2所述的业务数据的监控方法,其特征在于,确定所述监控频率对应的查询频率,得到第一查询频率的步骤包括:
当所述监控频率为每间隔n分钟一次,确定所述第一查询频率为分钟查询频率,其中,n大于等于1小于60;
当所述监控频率为每间隔m小时一次,确定所述第一查询频率为小时查询频率,其中,m大于等于小于24;
当所述监控频率为每间隔l天一次,确定所述第一查询频率为天查询频率。
7.根据权利要求1所述的业务数据的监控方法,其特征在于,所述数据计算节点用于仅在确定业务数据存在异常时,返回所述异常判断结果,在接收所述数据计算节点返回的异常判断结果之后,所述业务数据的监控方法还包括:
向所述监控指令对应的业务方发送告警信息。
8.一种业务数据的监控装置,其特征在于,包括:
配置模块,用于配置对应监控指令的定时任务,其中,所述监控指令包括监控频率和用于判断业务数据是否包括异常数据的异常判断方法;
下发模块,用于当所述定时任务达到所述监控频率的执行时间要求时,将所述定时任务下发至数据计算节点,其中,所述数据计算节点用于在接收到所述定时任务时,在业务数据库上执行所述异常判断方法;以及
接收模块,用于接收所述数据计算节点返回的异常判断结果。
9.一种计算机设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于:所述计算机程序被处理器执行时实现权利要求1至7任一项所述方法的步骤。
CN202010926616.7A 2020-09-07 2020-09-07 业务数据的监控方法、装置、计算机设备和可读存储介质 Active CN112416701B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010926616.7A CN112416701B (zh) 2020-09-07 2020-09-07 业务数据的监控方法、装置、计算机设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010926616.7A CN112416701B (zh) 2020-09-07 2020-09-07 业务数据的监控方法、装置、计算机设备和可读存储介质

Publications (2)

Publication Number Publication Date
CN112416701A true CN112416701A (zh) 2021-02-26
CN112416701B CN112416701B (zh) 2023-02-17

Family

ID=74855050

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010926616.7A Active CN112416701B (zh) 2020-09-07 2020-09-07 业务数据的监控方法、装置、计算机设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN112416701B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115168137A (zh) * 2022-06-17 2022-10-11 北京结慧科技有限公司 针对定时任务的监控方法及系统、计算机设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106685853A (zh) * 2016-11-23 2017-05-17 泰康保险集团股份有限公司 处理数据的方法及装置
CN106970610A (zh) * 2017-05-04 2017-07-21 深圳市元征科技股份有限公司 汽车数据流的监控方法、系统及可读存储介质
AU2018256515A1 (en) * 2014-08-01 2018-11-22 Genesys Cloud Services Holdings II, LLC System and method for anticipatory dynamic customer segmentation for a contact center
CN109951559A (zh) * 2019-03-27 2019-06-28 京东方光科技有限公司 定时任务配置方法、服务器、系统和计算机可读存储介质
CN110716832A (zh) * 2019-09-24 2020-01-21 腾讯科技(深圳)有限公司 业务运行的监控告警方法、系统、电子设备及存储介质
CN110995539A (zh) * 2019-12-12 2020-04-10 深圳前海环融联易信息科技服务有限公司 业务系统监控方法、装置及计算机设备
CN111475705A (zh) * 2020-03-05 2020-07-31 中国平安人寿保险股份有限公司 基于sql查询的网络业务监控方法、装置、设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2018256515A1 (en) * 2014-08-01 2018-11-22 Genesys Cloud Services Holdings II, LLC System and method for anticipatory dynamic customer segmentation for a contact center
CN106685853A (zh) * 2016-11-23 2017-05-17 泰康保险集团股份有限公司 处理数据的方法及装置
CN106970610A (zh) * 2017-05-04 2017-07-21 深圳市元征科技股份有限公司 汽车数据流的监控方法、系统及可读存储介质
CN109951559A (zh) * 2019-03-27 2019-06-28 京东方光科技有限公司 定时任务配置方法、服务器、系统和计算机可读存储介质
CN110716832A (zh) * 2019-09-24 2020-01-21 腾讯科技(深圳)有限公司 业务运行的监控告警方法、系统、电子设备及存储介质
CN110995539A (zh) * 2019-12-12 2020-04-10 深圳前海环融联易信息科技服务有限公司 业务系统监控方法、装置及计算机设备
CN111475705A (zh) * 2020-03-05 2020-07-31 中国平安人寿保险股份有限公司 基于sql查询的网络业务监控方法、装置、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张伟龙等: "MySQL数据库服务器监控系统设计与实现", 《工业控制计算机》 *
王大鹏等: "数值预报业务系统移动监控平台的设计与实现", 《气象科技》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115168137A (zh) * 2022-06-17 2022-10-11 北京结慧科技有限公司 针对定时任务的监控方法及系统、计算机设备及存储介质

Also Published As

Publication number Publication date
CN112416701B (zh) 2023-02-17

Similar Documents

Publication Publication Date Title
CN107678907B (zh) 数据库业务逻辑监控方法、系统、及存储介质
CN108427705B (zh) 电子装置、分布式系统日志查询方法及存储介质
CN108491301B (zh) 电子装置、基于redis的异常预警方法及存储介质
US10824602B2 (en) System for determining the impact to databases, tables and views by batch processing
CN112052111B (zh) 服务器异常预警的处理方法、装置、设备及存储介质
CN108415925B (zh) 电子装置、数据调用日志生成及查询方法及存储介质
CN109766253B (zh) 一种性能数据发送方法、装置、计算机设备及存储介质
CN108491304B (zh) 电子装置、业务系统风险控制方法及存储介质
US8862613B2 (en) Extensibility of business process and application logic
CN111651595A (zh) 一种异常日志处理方法及装置
CN110708197B (zh) 监控装置、监控装置的监控策略的设置方法及存储介质
CN112416701B (zh) 业务数据的监控方法、装置、计算机设备和可读存储介质
CN111459629A (zh) 基于Azkaban的项目运行方法、装置及终端设备
CN114168297A (zh) 一种归集任务调度方法、装置、设备及介质
CN112463799A (zh) 数据提取方法、装置、设备及存储介质
CN111737080A (zh) 异常交易嫌疑的监测方法、装置、计算机设备和存储介质
CN111782481A (zh) 一种通用数据接口监控系统和监控方法
CN114090268B (zh) 容器管理方法及容器管理系统
CN110633165A (zh) 故障处理方法、装置、系统服务器及计算机可读存储介质
CN114116761A (zh) 变量加工方法、装置、计算机设备和存储介质
CN110969430A (zh) 可疑用户的识别方法、装置、计算机设备和存储介质
CN106354620B (zh) 一种资源监控方法及系统
CN111131393A (zh) 用户活跃度数据统计方法、电子装置及存储介质
CN112596974A (zh) 一种全链路监控方法、装置、设备和存储介质
CN111538491A (zh) 数据事件处理方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant