CN115185788A - 数据变量监控方法及其系统、计算机设备 - Google Patents

数据变量监控方法及其系统、计算机设备 Download PDF

Info

Publication number
CN115185788A
CN115185788A CN202211090928.4A CN202211090928A CN115185788A CN 115185788 A CN115185788 A CN 115185788A CN 202211090928 A CN202211090928 A CN 202211090928A CN 115185788 A CN115185788 A CN 115185788A
Authority
CN
China
Prior art keywords
data
target data
preset time
alarm
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211090928.4A
Other languages
English (en)
Inventor
张国手
林三福
楼晨
孔奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Bank Co Ltd
Original Assignee
Ping An Bank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Bank Co Ltd filed Critical Ping An Bank Co Ltd
Priority to CN202211090928.4A priority Critical patent/CN115185788A/zh
Publication of CN115185788A publication Critical patent/CN115185788A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324—Display of status information
    • G06F11/327—Alarm or error message display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Alarm Systems (AREA)

Abstract

本申请提供了一种数据变量监控方法，包括：获取第一预设时长的若干初始数据，第一预设时长根据预设窗口函数设定；对若干初始数据进行处理以得到若干目标数据，若干目标数据的数量少于若干初始数据的数量；根据监控规则间隔第二预设时长对目标数据进行筛选以得到告警数据，第二预设时长大于第一预设时长；以及根据告警数据发送告警信息。此外，本申请还提供了一种数据变量监控系统及计算机设备。本申请提供的数据变量监控方法能够及时发现并定位变量数据。

Description

数据变量监控方法及其系统、计算机设备
技术领域
本申请涉及数据监控技术领域，尤其涉及一种数据变量监控方法及其系统、计算机设备。
背景技术
变量监控是大部分金融机构或者技术公司在进行海量数据使用时所遇到的痛点。目前的变量监控都是基于隔天的数据或者小时级数据进行分析、汇总以及展示，并不能够及时地发现变量的变化，进而较难地快速发现问题以及解决问题。
传统的变量监控，都需要累计一段时间内的数据，然后对数据进行变量的汇总计算。在计算过程中同时对这一段时间的变量数据进行分布监控，根据预先配置的监控告警规则发现监控过程中出现的问题。当监控到出现问题时，距离出现问题的时间节点已经过去较长时间，非常延误问题的处理时机，容易导致问题影响的放大。
发明内容
有鉴于此，实有必要提供一种数据变量监控方法及其系统、计算机设备，能够及时发现并定位变量数据。
第一方面，本申请实施例提供一种数据变量监控方法，所述数据变量监控方法包括：
获取第一预设时长的若干初始数据，其中，所述第一预设时长根据预设窗口函数设定；
对所述若干初始数据进行处理以得到若干目标数据，其中，所述若干目标数据的数量少于所述若干初始数据的数量；
根据监控规则间隔第二预设时长对所述目标数据进行筛选以得到告警数据，其中，所述第二预设时长大于所述第一预设时长；以及
根据所述告警数据发送告警信息。
第二方面，本申请实施例提供一种计算机设备，所述计算机设备包括：
存储器，用于存储程序指令；以及
处理器，用于执行所述程序指令以实现如上所述的数据变量监控方法。
第三方面，本申请实施例提供一种数据变量监控系统，所述数据变量监控系统包括：
业务端；
消息队列组件，用于从所述业务端获取初始数据；
数据采集组件，用于从所述消息队列组件中获取第一预设时长的若干初始数据，其中，所述第一预设时长根据预设窗口函数设定；
聚合组件，用于对所述若干初始数据进行处理以得到若干目标数据，其中，所述若干目标数据的数量少于所述若干初始数据的数量；
数据库，用于存储所述若干目标数据；
后台管理端，用于根据监控规则间隔第二预设时长对所述目标数据进行筛选以得到告警数据，其中，所述第二预设时长大于所述第一预设时长；以及
告警组件，用于根据所述告警数据发送告警信息。
上述数据变量监控方法及其系统、计算机设备，设置预设窗口函数，每次获取第一预设时长的初始数据，并对初始数据进行处理以得到目标数据。间隔第二预设时长对第一预设时长的目标数据进行筛选，判断是否存在告警数据。针对各种实时海量的初始数据，采用实时数据监控平台的处理方案，汇总、整理、清洗初始数据之后，能够每天实时地对目标数据中存在的所有风险变量进行监控与告警，能够更快地发现风险变量的数据问题，更快地进行风险变量问题的定位，更快地解决业务的风险模型问题，创造价值。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本申请第一实施例提供的数据变量监控方法的流程图。
图2为本申请第一实施例提供的数据变量监控方法的第一子流程图。
图3为本申请第一实施例提供的数据变量监控方法的第二子流程图。
图4为本申请第一实施例提供的数据变量监控方法的第三子流程图。
图5为本申请第二实施例提供的数据变量监控方法的子流程图。
图6为本申请实施例提供的数据变量监控方法的应用场景示意图。
图7为本申请实施例提供的计算机设备的内部结构示意图。
图8为本申请实施例提供的数据变量监控系统的内部结构示意图。
图9为本申请实施例提供的数据变量监控系统的逻辑架构图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的规划对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，换句话说，描述的实施例根据除了这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，还可以包含其他内容，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于只清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是，在本申请中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者多个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。
请结合参看图1和图6，图1为本申请第一实施例提供的数据变量监控方法的流程图，图6为本申请实施例提供的数据变量监控方法的应用场景示意图。数据变量监控方法用于对数据的变量进行监控，以及时发现数据出现的问题。以图6所示的应用场景为例，数据监控平台30分别与业务平台40、数据库50通讯连接。在本实施例中，数据监控平台30用于执行数据变量监控方法，业务平台40为与银行业务相关联的平台系统。其中，数据监控平台30的相关功能可以由一个设备实现，也可以由多个设备共同实现，还可以是由一个设备内的一个或多个功能模块实现，在此不作具体限定。可以理解的是，上述功能既可以是硬件设备中的网络元件，也可以是在专用硬件上运行的软件功能，或者是硬件与软件的结合，或者是平台(例如，云平台)上实例化的虚拟化功能。业务平台40包括但不限于业务系统、变量中心以及策略中心等。变量中心和策略中心可以为与业务系统通讯连接的系统平台，且变量中心和策略中心可以从业务系统获取业务数据。
第一实施例提供的数据变量监控方法具体包括如下步骤。
步骤S102，获取第一预设时长的若干初始数据。数据监控平台30从业务平台40获取初始数据。其中，初始数据包括但不限于人行征信数据、用卡行为数据、交易信息数据、分期数据、逾期信息数据、还款信息数据以及其它来源的征信数据等。
在本实施例中，第一预设时长根据预设窗口函数设定。预设窗口函数设置的计算窗口范围为第一预设时长。其中，第一预设时长包括但不限于5秒、10秒、30秒或者60秒等。第一预设时长的具体数值可以根据实际情况进行设置，在此不做限定。
如何获取第一预设时长的若干初始数据的具体过程将在下文详细描述。
步骤S104，对若干初始数据进行处理以得到若干目标数据。数据监控平台30对初始数据进行处理从而得到目标数据。其中，若干目标数据的数量少于若干初始数据的数量。可以理解的是，由于初始数据的数据量较庞大，若直接对初始数据进行监控，可能需要占用较大的内存，因此数据监控平台30对初始数据进行处理，从而减少数据量。即是说，多个初始数据处理得到一个目标数据。
如何对若干初始数据进行处理以得到若干目标数据的具体过程将在下文详细描述。
在一些可行的实施例中，对若干初始数据进行处理以得到若干目标数据之后，数据监控平台30将若干目标数据存储至数据库50中。优选地，数据库50为普罗米修斯数据库。在另一些可行的实施例中，数据库50还可以为MySQL等其它类型的数据库。
步骤S106，根据监控规则间隔第二预设时长对目标数据进行筛选以得到告警数据。在本实施例中，平台管理员可以预先在数据监控平台30设置定时任务，定时的时间为第二预设时长。即是说，每间隔第二预设时长，数据监控平台30对目标数据进行一次筛选。其中，第二预设时长大于第一预设时长。
平台管理员还可以预先在数据监控平台30设置监控规则，数据监控平台30每过第二预设时长就执行一次扫描任务，即根据监控规则对目标数据进行筛选以得到告警数据。
如何根据监控规则间隔第二预设时长对目标数据进行筛选以得到告警数据的具体过程将在下文详细描述。
在一些可行的实施例中，根据监控规则间隔第二预设时长对目标数据进行筛选以得到告警数据之前，数据监控平台30从数据库50中调取若干目标数据。可以理解的是，数据监控平台30每间隔第一预设时长就将目标数据存储至数据库50中，每间隔第二预设时长就将目标数据从数据库50中调取出来进行筛选。举例来说，若第一预设时长为5秒，第二预设时长为20秒，则数据监控平台30每获取5秒的初始数据处理得到目标数据，就将目标数据存储至数据库50；数据监控平台30每20秒从数据库50调取目标数据进行筛选。
步骤S108，根据告警数据发送告警信息。
在本实施例中，当筛选得到告警数据时，数据监控平台30根据告警数据的类型生成相对应的告警信息，并将告警信息发送至相应的业务平台40。则，业务平台40的管理员可以根据告警信息对相应的告警数据进行处理。其中，告警数据的类型包括但不限于存在空值、存在极值、码值出错、非法数据类型以及超过上限或者下限等，告警信息包括但不限于采用短信、邮件、电话等形式。
可以理解的是，告警数据的来源平台与告警信息的发送对象平台一致。即是说，若告警数据来自业务平台A，则将相应的告警信息发送至业务平台A。
上述实施例中，设置预设窗口函数，每次获取第一预设时长的初始数据，并对初始数据进行处理以得到目标数据。间隔第二预设时长对第一预设时长的目标数据进行筛选，判断是否存在告警数据。针对各种实时海量的初始数据，采用实时数据监控平台的处理方案，汇总、整理、清洗初始数据之后，能够每天实时地对目标数据中存在的所有风险变量进行监控与告警，能够更快地发现风险变量的数据问题，更快地进行风险变量问题的定位，更快地解决业务的风险模型问题，创造价值。
实际应用过程中，初始数据的数据量可能有上万之多，且需要进行监控的整体数据量有几亿之多，监控规则计算以及告警数据的产出计算量非常大。数据变量监控方法能够每天进行如此大批量的实时变量的监控运算，同时对结果进行分析、应用。
请结合参看图2，其为本申请第一实施例提供的数据变量监控方法的第一子流程图。步骤S102具体包括如下步骤。
步骤S202，将初始数据放入消息队列中。
在本实施例中，数据监控平台30将从业务平台40获取的所有初始数据均放入消息队列中。
步骤S204，根据预设窗口函数从消息队列中抓取若干初始数据。
在本实施例中，平台管理员预先设置好窗口函数，在窗口函数中设定第一预设时长。数据监控平台30根据预设窗口函数从消息队列中抓取初始数据。举例来说，若第一预设时长为5秒，则数据监控平台30从消息队列中抓取5秒的初始数据。
上述实施例中，通过消息中间件的方式从业务平台收集所有实时初始数据，并通过预设窗口函数按照消息队列中的顺序抓取初始数据，从而高效实现对初始数据的抓取。
在一些可行的实施例中，数据监控平台还可以从存储有初始数据的数据库直接抽取初始数据，也可以通过离线数据加载的方式获取初始数据，在此不做限定。
请结合参看图3，其为本申请第一实施例提供的数据变量监控方法的第二子流程图。步骤S104具体包括如下步骤。
步骤S302，依次从若干初始数据中选取预设数量的初始数据作为待处理数据。
在本实施例中，数据监控平台30依次从第一预设时长的初始数据中选取预设数量的初始数据作为待处理数据。其中，每次选取的待处理数据均为不重复的初始数据，预设数量可以根据实际情况进行设置，在此不做限定。
在一些可行的实施例中，数据监控平台30可以将第一预设时长的所有初始数据均作为待处理数据。
步骤S304，分别对待处理数据进行聚合计算以得到目标数据。
数据监控平台30对每次选取的所有待处理数据进行聚合计算得到一个目标数据。其中，聚合计算包括但不限于求和计算、取平均值计算、中位数计算、标准差计算以及方差计算等。
在一些可行的实施例中，对待处理数据进行聚合计算的过程中，数据监控平台30将状态进行本地存储。
在另一些可行的实施例中，依次从若干初始数据中选取预设数量的初始数据作为待处理数据之前，数据监控平台30对若干初始数据进行数据清洗。其中，数据清洗包括但不限于汇总、剔除不合格数据、错误格式数据等。
上述实施例中，对初始数据进行聚合计算，能够有效减少初始数据的数据量，从而减少告警数据筛选的计算量。
请结合参看图4，其为本申请第一实施例提供的数据变量监控方法的第三子流程图。在本实施例中，目标数据包括若干变量，监控规则包括若干子规则。若干子规则的数量可以与若干变量的数量相等，若干子规则的数量可以少于若干变量的数量。其中，当若干子规则的数量与若干变量的数量相等时，若干子规则与若干变量一一对应；当若干子规则的数量少于若干变量的数量时，若干子规则可以与部分变量一一对应，若干子规则也可以与所有变量对应。当若干子规则的数量少于若干变量的数量且若干子规则与所有变量对应时，所有变量中有多个变量与同一子规则对应。
在本实施例中，子规则包括但不限于空值校验规则、极值校验规则、码值校验规则、数据类型非法校验规则、上下限校验规则、环比同比校验规则等。
步骤S106具体包括如下步骤。
步骤S402，根据目标数据的变量匹配相应的子规则。
数据监控平台30对目标数据进行扫描，扫描到某一变量时，提取相对应的子规则，用于对变量进行判断。
步骤S404，判断变量是否符合相应的子规则。
数据监控平台30根据子规则对相应的变量进行判断。可以理解的是，若变量没有对应的子规则，则不需要进行判断。
当变量符合相应的子规则时，执行步骤S406。
步骤S406，确认目标数据为告警数据。
当变量符合相应的子规则时，表示目标数据存在问题，为告警数据。举例来说，当变量符合空值校验规则时，表示数据中的变量为空值；当变量符合上下限校验规则时，表示数据中的变量小于下限或者大于上限。
上述实施例中，平台管理员可以在数据监控平台设置与变量相对应的子规则，从而灵活地对变量进行监控。
请结合参看图5，其为本申请第二实施例提供的数据变量监控方法的子流程图。第二实施例提供的数据变量监控方法与第一实施例提供的数据变量监控方法的不同之处在于，监控规则包括模板规则。其中，模板规则包括若干与目标数据的变量相对应的模板子规则。若干模板子规则的数量可以与若干变量的数量相等，若干模板子规则的数量可以少于若干变量的数量。其中，当若干模板子规则的数量与若干变量的数量相等时，若干模板子规则与若干变量一一对应；当若干模板子规则的数量少于若干变量的数量时，若干模板子规则可以与部分变量一一对应，若干模板子规则也可以与所有变量对应。当若干模板子规则的数量少于若干变量的数量且若干模板子规则与所有变量对应时，所有变量中有多个变量与同一模板子规则对应。
模板子规则包括但不限于空值校验规则、极值校验规则、码值校验规则、数据类型非法校验规则、上下限校验规则、环比同比校验规则、规则空值占比规则、非空环比规则等。
第二实施例提供的数据变量监控方法中，步骤S106具体包括如下步骤。
步骤S502，判断目标数据是否符合模板规则。
数据监控平台30利用模板规则对所有目标数据进行判断。可以理解的是，平台管理员可以预先设置好模板规则，其中，模板规则可以包括一个模板子规则，也可以包括多个模板子规则。当模板规则包括一个模板子规则时，一个模板子规则对目标数据中的所有变量进行统一判断；当模板规则包括多个模板子规则且多个模板子规则的数量少于目标数据中变量的数量时，多个模板子规则中的一个模板子规则可以对数据中的部分变量进行统一判断；当模板规则包括多个模板子规则且多个模板子规则的数量等于目标数据中变量的数量时，每一模板子规则数据对目标数据中的所有变量进行一一对应地判断。
当目标数据符合模板规则时，执行步骤S504。
步骤S504，确认目标数据为告警数据。
当变量符合相应的模板子规则时，表示目标数据存在问题，为告警数据。
上述实施例中，平台管理员可以在数据监控平台设置与变量相对应的模板子规则，且目标数据的整体模板子规则不变，即对所有目标数据采用相同的监控规则进行判断，能够极大提高对相同目标数据的判断效率。
请结合参看图7，其为本申请实施例提供的计算机设备的内部结构示意图。计算机设备10包括存储器11和处理器12。存储器11用于存储程序指令，处理器12用于执行程序指令以实现上述数据变量监控方法。
其中，处理器12在一些实施例中可以是一中央处理器（Central ProcessingUnit，CPU）、控制器、微控制器、微处理器或其它数据处理芯片，用于运行存储器11中存储的程序指令。
存储器11至少包括一种类型的可读存储介质，该可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器（例如，SD或DX存储器等）、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是计算机设备的内部存储单元，例如计算机设备的硬盘。存储器11在另一些实施例中也可以是计算机设备的外部存储设备，例如计算机设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、安全数字（Secure Digital，SD）卡、闪存卡（FlashCard）等。进一步地，存储器11还可以既包括计算机设备的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于计算机设备的应用软件及各类数据，例如实现数据变量监控方法的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
请结合参看图8和图9，图8为本申请实施例提供的数据变量监控系统的内部结构示意图，图9为本申请实施例提供的数据变量监控系统的逻辑架构图。数据变量监控系统20包括业务端21、消息队列组件22、数据采集组件23、聚合组件24、数据库25、后台管理端26以及告警组件27。
消息队列组件22，用于从业务端21获取初始数据。其中，初始数据包括但不限于人行征信数据、用卡行为数据、交易信息数据、分期数据、逾期信息数据、还款信息数据以及其它来源的征信数据等。
数据采集组件23，用于从消息队列组件22中获取第一预设时长的若干初始数据。其中，第一预设时长根据预设窗口函数设定。
在本实施例中，第一预设时长根据预设窗口函数设定。预设窗口函数设置的计算窗口范围为第一预设时长。其中，第一预设时长包括但不限于5秒、10秒、30秒或者60秒等。第一预设时长的具体数值可以根据实际情况进行设置，在此不做限定。
聚合组件24，用于对若干初始数据进行处理以得到若干目标数据。其中，若干目标数据的数量少于若干初始数据的数量。
聚合组件24对初始数据进行处理从而得到目标数据。其中，若干目标数据的数量少于若干初始数据的数量。可以理解的是，由于初始数据的数据量较庞大，若直接对初始数据进行监控，可能需要占用较大的内存，因此聚合组件24对初始数据进行处理，从而减少数据量。即是说，多个初始数据处理得到一个目标数据。
数据库25，用于存储若干目标数据。
对若干初始数据进行处理以得到若干目标数据之后，聚合组件24将若干目标数据存储至数据库25中。优选地，数据库25为普罗米修斯数据库。在一些可行的实施例中，数据库25还可以为MySQL等其它类型的数据库。
后台管理端26，用于根据监控规则间隔第二预设时长对目标数据进行筛选以得到告警数据。其中，第二预设时长大于第一预设时长。
在本实施例中，平台管理员可以预先在后台管理端26设置定时任务，定时的时间为第二预设时长。即是说，每间隔第二预设时长，后台管理端26对目标数据进行一次筛选。其中，第二预设时长大于第一预设时长。
平台管理员还可以预先在后台管理端26设置监控规则，后台管理端26每过第二预设时长就执行一次扫描任务，即根据监控规则对目标数据进行筛选以得到告警数据。
在本实施例中，后台管理端26从数据库25中调取若干目标数据。可以理解的是，聚合组件24每间隔第一预设时长就将目标数据存储至数据库25中，后台管理端26每间隔第二预设时长就将目标数据从数据库25中调取出来进行筛选。举例来说，若第一预设时长为5秒，第二预设时长为20秒，则聚合组件24每获取5秒的初始数据处理得到目标数据，就将目标数据存储至数据库25；后台管理端26每20秒从数据库25调取目标数据进行筛选。
告警组件27，用于根据告警数据发送告警信息。
在本实施例中，当筛选得到告警数据时，告警组件27根据告警数据的类型生成相对应的告警信息，并将告警信息发送至相应的业务端21。则，业务端21的管理员可以根据告警信息对相应的告警数据进行处理。其中，告警数据的类型包括但不限于存在空值、存在极值、码值出错、非法数据类型以及超过上限或者下限等，告警信息包括但不限于采用短信、邮件、电话等形式。
可以理解的是，告警数据的来源对象与告警信息的发送对象一致。即是说，若告警数据来自业务端A，则将相应的告警信息发送至业务端A。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘且本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
以上所列举的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属于本申请所涵盖的范围。

Claims (10)

1.一种数据变量监控方法，其特征在于，所述数据变量监控方法包括：
获取第一预设时长的若干初始数据，其中，所述第一预设时长根据预设窗口函数设定；
对所述若干初始数据进行处理以得到若干目标数据，其中，所述若干目标数据的数量少于所述若干初始数据的数量；
根据监控规则间隔第二预设时长对所述目标数据进行筛选以得到告警数据，其中，所述第二预设时长大于所述第一预设时长；以及
根据所述告警数据发送告警信息。
2.如权利要求1所述的数据变量监控方法，其特征在于，对所述若干初始数据进行处理以得到若干目标数据具体包括：
依次从所述若干初始数据中选取预设数量的初始数据作为待处理数据；以及
分别对所述待处理数据进行聚合计算以得到所述目标数据。
3.如权利要求2所述的数据变量监控方法，其特征在于，依次从所述若干初始数据中选取预设数量的初始数据作为待处理数据之前，对所述若干初始数据进行处理以得到若干目标数据还包括：
对所述若干初始数据进行数据清洗。
4.如权利要求1所述的数据变量监控方法，其特征在于，获取第一预设时长的若干初始数据具体包括：
将所述初始数据放入消息队列中；以及
根据所述预设窗口函数从所述消息队列中抓取若干初始数据。
5.如权利要求1所述的数据变量监控方法，其特征在于，所述目标数据包括若干变量，所述监控规则包括若干子规则，根据监控规则间隔第二预设时长对所述目标数据进行筛选以得到告警数据具体包括：
根据所述目标数据的变量匹配相应的子规则；
判断所述变量是否符合所述相应的子规则；以及
当所述变量符合所述相应的子规则时，确认所述目标数据为告警数据。
6.如权利要求1所述的数据变量监控方法，其特征在于，所述监控规则包括模板规则，根据监控规则间隔第二预设时长对所述目标数据进行筛选以得到告警数据具体包括：
判断所述目标数据是否符合所述模板规则；以及
当所述目标数据符合所述模板规则时，确认所述目标数据为告警数据。
7.如权利要求1所述的数据变量监控方法，其特征在于，对所述若干初始数据进行处理以得到若干目标数据之后，所述数据变量监控方法还包括：
将所述若干目标数据存储至数据库中。
8.如权利要求7所述的数据变量监控方法，其特征在于，根据监控规则间隔第二预设时长对所述目标数据进行筛选以得到告警数据之前，所述数据变量监控方法还包括：
从所述数据库中调取所述若干目标数据。
9.一种计算机设备，其特征在于，所述计算机设备包括：
存储器，用于存储程序指令；以及
处理器，用于执行所述程序指令以实现如权利要求1至8中任一项所述的数据变量监控方法。
10.一种数据变量监控系统，其特征在于，所述数据变量监控系统包括：
业务端；
消息队列组件，用于从所述业务端获取初始数据；
数据采集组件，用于从所述消息队列组件中获取第一预设时长的若干初始数据，其中，所述第一预设时长根据预设窗口函数设定；
聚合组件，用于对所述若干初始数据进行处理以得到若干目标数据，其中，所述若干目标数据的数量少于所述若干初始数据的数量；
数据库，用于存储所述若干目标数据；
后台管理端，用于根据监控规则间隔第二预设时长对所述目标数据进行筛选以得到告警数据，其中，所述第二预设时长大于所述第一预设时长；以及
告警组件，用于根据所述告警数据发送告警信息。
CN202211090928.4A 2022-09-07 2022-09-07 数据变量监控方法及其系统、计算机设备 Pending CN115185788A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211090928.4A CN115185788A (zh) 2022-09-07 2022-09-07 数据变量监控方法及其系统、计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211090928.4A CN115185788A (zh) 2022-09-07 2022-09-07 数据变量监控方法及其系统、计算机设备

Publications (1)

Publication Number Publication Date
CN115185788A true CN115185788A (zh) 2022-10-14

Family

ID=83522722

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211090928.4A Pending CN115185788A (zh) 2022-09-07 2022-09-07 数据变量监控方法及其系统、计算机设备

Country Status (1)

Country Link
CN (1) CN115185788A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110308901A (zh) * 2019-05-21 2019-10-08 平安普惠企业管理有限公司 处理前端页面中数据变量方法、装置、设备和存储介质
CN110347663A (zh) * 2019-06-05 2019-10-18 烽火通信科技股份有限公司 基于复杂事件处理引擎的动力环境监控方法及系统
US20190379589A1 (en) * 2018-06-12 2019-12-12 Ciena Corporation Pattern detection in time-series data
CN111641524A (zh) * 2020-05-25 2020-09-08 北京青云科技股份有限公司 监控数据处理方法、装置、设备和存储介质
CN113297183A (zh) * 2021-07-21 2021-08-24 国网汇通金财（北京）信息科技有限公司 一种时间窗口的告警分析方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190379589A1 (en) * 2018-06-12 2019-12-12 Ciena Corporation Pattern detection in time-series data
CN110308901A (zh) * 2019-05-21 2019-10-08 平安普惠企业管理有限公司 处理前端页面中数据变量方法、装置、设备和存储介质
CN110347663A (zh) * 2019-06-05 2019-10-18 烽火通信科技股份有限公司 基于复杂事件处理引擎的动力环境监控方法及系统
CN111641524A (zh) * 2020-05-25 2020-09-08 北京青云科技股份有限公司 监控数据处理方法、装置、设备和存储介质
CN113297183A (zh) * 2021-07-21 2021-08-24 国网汇通金财（北京）信息科技有限公司 一种时间窗口的告警分析方法及装置

Similar Documents

Publication Publication Date Title
CN111752799B (zh) 一种业务链路跟踪方法、装置、设备及储存介质
CN113176978B (zh) 基于日志文件的监控方法、系统、设备及可读存储介质
CN108881265B (zh) 一种基于人工智能的网络攻击检测方法及系统
CN108471429B (zh) 一种网络攻击告警方法及系统
CN108683687B (zh) 一种网络攻击识别方法及系统
CN110839016A (zh) 异常流量监测方法、装置、设备及存储介质
CN106548402B (zh) 资源转移监控方法及装置
CN106874135B (zh) 用于检测机房故障的方法、装置及设备
CN111224807B (zh) 分布式日志处理方法、装置、设备及计算机存储介质
CN107465652B (zh) 一种操作行为检测方法、服务器及系统
CN116737765A (zh) 业务告警信息处理方法、装置、电子设备及存储介质
CN111726359B (zh) 一种账户信息的检测方法和装置
CN114168423A (zh) 异常号码的呼叫监控方法、装置、设备及存储介质
CN110430070A (zh) 一种服务状态分析方法、装置、服务器、数据分析设备及介质
CN112699264A (zh) 一种基于聊天记录的风控管理方法及系统
CN112565228A (zh) 一种客户端网络分析方法及装置
CN115185788A (zh) 数据变量监控方法及其系统、计算机设备
CN108377357B (zh) 一种可视化平台通话方法及装置
CN113408894B (zh) 一种基于云计算的拍卖资产风险监控评估系统及方法
CN112364079A (zh) 一种多业务交互异常处理方法、系统和电子设备
CN115208895B (zh) 一种用于区块链技术的自动化组网方法及系统
CN115934782B (zh) 一种安全日志分析与处理的方法及计算机存储介质
CN116823485A (zh) 风险账号的检测方法、装置和服务器
CN110430093B (zh) 一种数据处理方法、装置及计算机可读存储介质
CN108055661B (zh) 基于通信网络的电话号码黑名单建立方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20221014