CN114048107A - 基于分布式缓存的监控方法、装置、设备及存储介质 - Google Patents

基于分布式缓存的监控方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114048107A
CN114048107A CN202111524831.5A CN202111524831A CN114048107A CN 114048107 A CN114048107 A CN 114048107A CN 202111524831 A CN202111524831 A CN 202111524831A CN 114048107 A CN114048107 A CN 114048107A
Authority
CN
China
Prior art keywords
information
distributed cache
preset
time
inputting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111524831.5A
Other languages
English (en)
Inventor
汪宏普
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202111524831.5A priority Critical patent/CN114048107A/zh
Publication of CN114048107A publication Critical patent/CN114048107A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Game Theory and Decision Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

本申请公开一种基于分布式缓存的监控方法、装置、设备及存储介质,其中,该方法包括:向分布式缓存输入第一信息;将上述第一信息输入调度中心,该第一信息为分布式缓存的前端采集的有效数据;在预定时刻处理上述第一信息,获取第二信息;对上述第二信息执行目标操作;上述目标操作包括以下至少一项:将上述第二信息输出至上述分布式缓存;若上述第二信息满足预定条件,则设置决策任务,该决策任务用于警示第二信息存在异常,预定条件为警告指标。从而及时提醒运营公司,可以方便的对运营过程分布式缓存中的所有信息进行全过程监控、处理和检测,而不仅仅针对部分重要信息,从而在产品出现轻微问题时及时向运营公司反馈,帮助运营公司及时止损。

Description

基于分布式缓存的监控方法、装置、设备及存储介质
技术领域
本发明实施例涉及风险数据分析领域,尤其是一种基于分布式缓存的监控方法、装置、设备及存储介质。
背景技术
目前,运营公司在接入市场上各类数据产品的数据信息后,需要对各类产品的数据信息进行持续监控,即持续进行统计、分析和处理,从而可以在各类数据产品的运行情况出现不满足该公司运营标准的情况下,第一时间向该运营公司反馈,以便于运营公司及时处理。
在相关技术中,运营公司通常会设定运营基线标准,对部分重要数据进行持续监控,在该部分重要数据出现不满足基线标准的情况下,及时向运营公司进行警告。
然而,仅仅对部分重要数据进行持续监控,存在针对性不够的问题,当运营公司收到警告时,运营过程很可能已经出现无法弥补的问题,进而使得运营公司无法及时止损。
发明内容
本发明实施例提供一种能够对产品数据进行较为全面的持续监控,从而在产品出现轻微问题时及时向运营公司反馈,帮助运营公司及时止损的基于分布式缓存的监控方法、装置、设备及存储介质。
为解决上述技术问题,本发明创造的实施例采用的一个技术方案是:提供一种基于分布式缓存的监控方法,包括:向分布式缓存输入第一信息;将上述第一信息输入调度中心;在预定时刻处理上述第一信息,获取第二信息,上述第一信息为上述分布式缓存的前端采集的有效数据;根据上述第二信息,执行目标操作;上述目标操作包括以下至少一项:将上述第二信息输出至上述分布式缓存;若上述第二信息满足预定条件,则设置决策任务,上述决策任务用于警示上述第二信息存在异常,上述预定条件为警告指标。
可选地,上述在上述第二数据满足预定条件的情况下,设置决策任务,在本申请提供的基于分布式缓存的监控方法中包括:计算上述第二信息对应的目标数值;对比上述目标数值与预定阀值;在上述目标数值满足预定条件的情况下,设置决策任务。
可选地,在上述输入第一信息之前,本申请提供的基于分布式缓存的监控方法中包括:按预定格式采集上述第一信息,并将上述第一信息输入至上述分布式缓存。
可选地,上述分布式缓存的前端包括埋点,上述按预定格式采集上述第一信息,将上述第一信息输入至上述分布式缓存,包括:上述埋点按预定格式采集上述第一信息;上述埋点与上述分布式缓存建立连接,并将上述第一信息输入至上述分布式缓存。
可选地,在上述目标操作包括将上述第二信息输出至上述分布式缓存的情况下,上述根据上述第二信息,执行目标操作之后,本申请提供的基于分布式缓存的监控方法还包括:在将上述第二信息输出至上述分布式缓存的第一时刻,销毁上述第一信息。
可选地,上述在预定时刻处理上述第一信息,获取第二信息(m-hhss)之前,本申请提供的基于分布式缓存的监控方法中包括:对上述第一信息的处理时间进行校准,确定上述预定时刻。
可选地,上述在预定时刻处理上述第一信息,获取第二信息,包括:在上述预定时刻筛选上述第一信息中的有效信息,上述有效信息用于与警告指标进行比对,上述有效信息为第二信息。
为解决上述技术问题,本发明实施例还提供一种基于分布式缓存的监控装置,包括:输入模块,用于向分布式缓存输入第一信息;上述输入模块,还用于将上述输入模块输入的上述第一信息输入调度中心,上述第一信息为上述分布式缓存的前端采集的有效数据;获取模块,用于在预定时刻处理上述输入模块输入的上述第一信息,获取第二信息;执行模块,用于对上述获取模块获取的上述第二信息执行目标操作;上述目标操作包括以下至少一项:将上述第二信息输出至上述分布式缓存;若上述第二信息满足预定条件,则设置决策任务,上述决策任务用于警示上述第二信息存在异常,上述预定条件为警告指标。
可选地,上述基于分布式缓存的监控装置还包括:计算模块,用于计算上述第二信息对应的目标数值;对比模块,用于对比上述计算模块计算的上述目标数值与预定阀值;上述执行模块,具体用于在上述目标数值满足预定条件的情况下,设置决策任务。
可选地,上述输入模块,用于按预定格式采集上述第一信息,并将上述第一信息输入至上述分布式缓存。
可选地,上述分布式缓存的前端包括埋点,上述基于分布式缓存的监控装置还包括采集模块:上述采集模块,用于按预定格式采集上述第一信息;上述输入模块,还用于与上述分布式缓存建立连接,并将上述第一信息输入至上述分布式缓存。
可选地,在上述目标操作包括将上述第二信息输出至上述分布式缓存的情况下,上述执行模块,具体用于在将上述第二信息输出至上述分布式缓存的第一时刻,销毁上述第一信息。
可选地,上述基于分布式缓存的监控装置还包括:确定模块,用于对上述第一信息的处理时间进行校准,确定上述预定时刻。
可选地,上述基于分布式缓存的监控装置还包括:筛选模块;上述筛选模块,用于在上述预定时刻筛选上述第一信息中的有效信息,上述有效信息用于与警告指标进行比对,上述有效信息为第二信息。
为解决上述技术问题本发明实施例还提供一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,使得所述处理器执行上述所述基于分布式缓存的监控方法的步骤。
为解决上述技术问题本发明实施例还提供一种存储有计算机可读指令的存储介质,所述计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行上述所述基于分布式缓存的监控方法的步骤。
本发明实施例的有益效果是:在向分布式缓存输入第一信息后,将第一信息可以输入至调度中心中,在调度中心中会在预定时刻统一处理第一信息,从而获取第二信息,对第二信息执行目标操作,其中,目标操作包括以下至少一项:将第二信息输出至分布式缓存,和/或,在第二信息满足预定条件的情况下,设置决策任务。如此,通过将分布式缓存中的全部信息(即第一信息)均输入至调度中心,并在预定时刻对第一信息处理,生成实际真正需要使用和被检测的信息(即第二信息),再将第二信息输出至分布式缓存,并对满足警告指标的第二信息设置决策任务,从而及时提醒运营公司,可以方便的对运营过程分布式缓存中的所有信息进行全过程监控、处理和检测,而不仅仅针对部分重要信息,从而在产品出现轻微问题时及时向运营公司反馈,帮助运营公司及时止损。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本申请一个具体实施例的基于分布式缓存的监控方法的基本流程示意图;
图2为本申请一个实施例的基于分布式缓存的监控装置基本结构示意图;
图3为本申请一个实施例的计算机设备的基本结构框图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本申请,而不能解释为对本申请的限制。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解,这里所使用的“终端”既包括无线信号接收器的设备,其仅具备无发射能力的无线信号接收器的设备,又包括接收和发射硬件的设备,其具有能够在双向通信链路上,执行双向通信的接收和发射硬件的设备。这种设备可以包括:蜂窝或其他通信设备,其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备;PCS(Personal Communications Service,个人通信系统),其可以组合语音、数据处理、传真和/或数据通信能力;PDA(Personal Digital Assistant,个人数字助理),其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global Positioning System,全球定位系统)接收器;常规膝上型和/或掌上型计算机或其他设备,其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的,或者适合于和/或配置为在本地运行,和/或以分布形式,运行在地球和/或空间的任何其他位置运行。这里所使用的“终端”还可以是通信终端、上网终端、音乐/视频播放终端,例如可以是PDA、MID(Mobile Internet Device,移动互联网设备)和/或具有音乐/视频播放功能的移动电话,也可以是智能电视、机顶盒等设备。
下面对本申请实施例中出现的名词做出如下解释:
1.分布式缓存
分布式缓存是为了解决数据库服务器和网络服务器之间的数据传输瓶颈,当一个网站流量很大的时候,这个数据传输瓶颈将会非常明显,每次数据库查询耗费的时间非常长。相关技术中,对于更新速度不是很快的站点,可以采用静态化处理来避免过多的数据查询,例如,可使用特定的模板引擎来实现页面静态化。但是,对于更新数据速度为秒级的站点,静态化处理也不会太理想,在这种情况下,可通过分布式缓存来解决。
目前,分布式缓存主要针对互联网应用或者电商应用,在互联网或电商应用系统中,业务需求复杂,必须对整个业务系统进行垂直拆分,以保证各个业务模块清晰并对外提供服务。由于互联网应用的用户群体广泛,因此,其必然存在数据传输高并发的问题,如果将系统部署在单节点服务器上,势必会对单服务器造成巨大的访问压力,因此需要将系统部署到不同的节点上,同时也要将不同的数据分散到不同的节点上。
2.JAR文件(Java Archive文件)
JAR文件是一种软件包文件格式,通常用于聚合大量的Java类文件、相关的元数据和资源(文本、图片等)文件到一个文件,以便开发Java平台应用软件或库。JAR文件是一种归档文件,以ZIP格式构建,以.jar为文件扩展名。
3.应用程序接口(Application Programming Interface,API)
API是一些预先定义的接口(如函数、HTTP接口),或指软件系统不同组成部分衔接的约定,用于提供应用程序与开发人员基于某软件或硬件得以访问的一组例程,这种接口又无需访问源码,或理解内部工作机制的细节。
请参阅图1,图1为本实施例基于分布式缓存的监控方法的基本流程示意图,包括S201至S204:
S201、向分布式缓存输入第一信息。
示例性地,分布式缓存可以参照前述内容,此处不再赘述。
示例性地,上述第一信息为分布式缓存的前端采集的有效数据。
示例性地,第一信息为产品运行过程中产生的各类数据,例如,hhss-key。
可以理解的是,上述第一信息并不仅仅包括单条信息,可能由多条信息。一般的,无论第一信息包括单条信息还是多条信息,每条信息中均包含多个数据,也即,每条信息可以由一组数据构成。
示例性地,由于产品种类繁多,且每个产品在运行过程中均需要进行数据传输,该数据传输过程产生的数据量较大,因此,通过将数据输入分布式缓存中,以便于后续进一步使用。
需要说明的是,产品在传输数据的过程中,并非所有的数据在后续步骤中均需要使用,因此,若将输入分布式缓存直接传输至后续步骤,实际上会浪费大量的处理资源,例如,网络传输资源,进而导致传输速度减缓。
S202、将上述第一信息输入调度中心。
示例性地,上述调度中心为基于分布式缓存的监控装置中的一部分,用于对处理信息和调度信息。
示例性地,上述调度中心可以用于计时,以预定方式处理第一信息。
S203、在预定时刻处理上述第一信息,获取第二信息。
示例性地,上述预定时刻为基于分布式缓存的监控装置在调度中心中为第一信息设置的时刻。
进一步的,上述预定时刻为监控装置的调度中心利用预设算法结合第一信息的输入时刻,计算出的预定时刻。
在一种示例中,第一信息的输入时刻为t1秒,则可以预设预定时刻的算法为:(61-t1)秒,也即,在(61-t1)秒后,开始处理第一信息,也即,在接收到第一信息的下一分钟的第一秒,开始处理第一信息。例如,若接收到第一信息的时刻为X时X分59秒,则提取该时刻的秒级时刻,即59秒,之后使用预定时刻的算法:(61-59)秒=2秒,也即,在调度中心收到该第一信息的2秒后开始对第一信息进行处理,也即在X时X+1分1秒这一时刻开始对第一信息进行处理。
可以理解的是,当第一信息包括多条子信息时,前述多条子信息并不一定是在同一时刻输入至调度中心的,可能是在不同的时刻输入至调度中心的,调度中心将为每条子信息设置与其自身对应的预定时刻。
举例说明:计算预定时刻的预设算法为前述预设算法,第一信息包括三条子信息,其中,第一条子信息输入至调度中心的时刻为X时X分3秒,第二条子信息输入至调度中心的时刻为X时X分45秒,第三条子信息输入至调度中心的时刻为X时X+1分2秒,则调度中心将利用预设算法为上述三条子信息设置预定时刻。第一条子信息的预定时刻为X时X+1分1秒,即(61-3)秒=58秒之后开始处理第一条子信息,第二条子信息的预定时刻为X时X+1分1秒,即(61-45)秒=16秒之后开始处理第二条子信息,第三条子信息的预定时刻为X时X+2分1秒,即(61-2)秒=59秒之后开始处理第三条子信息。由此可以看出,当预设算法为(61-t1)秒的情况下,调度中心在每一分钟均有可能在同一时刻开始同时处理多条子信息。
示例性地,上述监控系统的调度中心可以用于筛选第一信息中的实际有效内容,例如,执行清洗任务。通过筛选第一信息中的实际有效内容,可以获取第二信息。
示例性地,上述第二信息为上述第一信息中实际有效的信息。
在一种示例中,上述经过筛选后选出的第一信息中实际有效的数据,会为该数据添加用于标注有效数据的标识信息,例如,原先第一信息为hhss-key,第二信息,M-hhss-key。
可以理解的是:
第一,上述第一信息由N个数据构成,在完成清洗任务后,第一信息可以由M个数据构成,N为正整数是,M为小于或者等于N的正整数。
第二,当上述第一信息包括多条子信息时,每条子信息中均可以由多个数据构成,在完成清洗任务后,每条子信息的数据量有可能会减少,也有可能不变。
S204、对上述第二信息执行目标操作。
示例性地,上述目标操作包括以下至少一项:将上述第二信息输出至上述分布式缓存;若上述第二信息满足预定条件,则设置决策任务。
示例性地,在获得第二信息后,会将第二信息输出至原先的分布式缓存中。
示例性地,上述预定条件可以为预先设置的,也可以为用户自定义设置的,本申请实施例对此不作限定。
示例性地,上述决策任务用于警示上述第二信息存在异常,上述预定条件为警告指标。
示例性地,上述调度中心在筛选出上述第一信息中实际有效的内容后,即获取上述第二信息后,还可以用于检测第二信息是否存在异常,例如,分析任务;还可以在检测第二信息之后,得出最终结论,例如,决策任务。其中,最终结论有可能为存在异常,有可能为不存在异常。
需要说明的是:
第一,上述调度中心在执行筛选第一信息中的实际有效内容(即第二信息),检测第一信息的内容是否存在异常,在检测第一信息的内容之后得出最终结论这三个功能时,具备一定的逻辑关系。也即,调度中心只有在先执行筛选第一信息中的实际有效内容之后,才能够检测第一信息的实际有效内容是否存在异常,而只有在检测实际有效内容后,才能够得出最终是否异常的结论。也即,清洗任务、分析任务、决策任务为三个具备逻辑顺序关系的功能。
第二,上述调度中心虽然具备多种功能,但其并不一定全部执行。例如,调度中心可以仅执行清洗任务,但并不执行分析任务和决策任务,三个任务之间并不具备粘连性,但分析任务和决策任务需要粘连执行,即在执行分析任务后,则决策任务会在后续直接连续执行。
第三,本申请实施例中目的为检测第一信息中的异常内容,因此,本申请实施例中的调度中心会执行其所具备的上述三个功能。
需要说明的是,当上述第一信息包括多条子信息时,在调度中心中,为每个子信息分别独立执行相关功能。例如,在调度中心中,为多条子信息分别独立执行清洗任务、分析任务和决策任务。
示例性地,在调度中心筛选出第二信息后,还会检测第二信息是否存在异常,且在检测第二信息的内容之后得出最终结论。例如,上述调度中心在对第一信息进行筛,筛选出第二信息后,会对第二信息执行分析任务和决策任务。
示例性地,在调度中心中对第二信息进行检测,若第二信息满足预定条件,则可以认为,最终结论为第二信息异常,需要对第二信息设置决策任务。
可以理解的是,在调度中心中对第二信息进行检测,若第二信息不满足预定条件,则可以认为,最终结论为第二信息正常,不需要对第二信息设置决策任务
可选的,在本申请实施例中,上述设置决策任务包括一下至少一项:设置通道限流、设置通道降流,设置通道关闭、设置通信告警。
示例性地,上述设置决策任务中设置通道限流、设置通道降流,设置通道关闭可以阻碍后续的网络数据传输,使得正在执行的任务暂时无法继续执行,上述设置决策任务中的设置通信告警可以通知相关用户当前正在执行的任务异常,提醒相关人员该任务存在问题。
可以理解的是,上述多种设置决策任务可以组合执行,例如,同时进行设置通道限流和设置通信告警,则可以在阻止异常任务执行的同时告知当前任务无法执行的原因。
在本申请实施例提供的基于分布式缓存的监控方法中,在向分布式缓存输入第一信息后,将第一信息可以输入至调度中心中,在调度中心中会在预定时刻统一处理第一信息,从而获取第二信息,对第二信息执行目标操作,其中,目标操作包括以下至少一项:将第二信息输出至分布式缓存,和/或,在第二信息满足预定条件的情况下,设置决策任务。如此,通过将分布式缓存中的全部信息(即第一信息)均输入至调度中心,并在预定时刻对第一信息处理,生成实际真正需要使用和被检测的信息(即第二信息),再将第二信息输出至分布式缓存,并对满足警告指标的第二信息设置决策任务,从而及时提醒运营公司,由此,可以方便的对运营过程分布式缓存中的所有信息进行全过程监控、处理和检测,而不仅仅针对部分重要信息,从而在产品出现轻微问题时及时向运营公司反馈,帮助运营公司及时止损。
可选地,在本申请实施例中,上述在上述第二信息满足预定条件的情况下,设置决策任务中,本申请实施例提供的基于分布式缓存的监控方法可以包括如下步骤A1至步骤A3:
步骤A1:计算上述第二信息对应的目标数值。
步骤A2:对比上述目标数值与预定阀值。
步骤A3:在上述目标数值满足预定条件的情况下,设置决策任务。
示例性地,上述计算第二信息的方式可以为预设的,也可以为用户自定义的,本申请实施例对此不作限定。
示例性地,上述目标数值的格式与预定阀值的格式相同,也即,上述目标数值与预定阀值为可以直接对比的数值格式。
示例性地,上述预定阀值可以为预设的,也可以为用户自定义的,本申请实施例对此不作限定。
示例性地,上述预定条件和决策任务可以参照前述内容,此处不做限定。
如此,在获取到第二信息后,即对第二信息进行计算后进行判断,判断该第二信息是否异常,从而确定是否在后续需要设置决策内容,从而较为方便、快捷的完成设置决策内容这一判定过程。
可选地,在本申请实施例中,在上述步骤S201之前,本申请实施例提供的基于分布式缓存的监控方法还可以包括如下步骤B:
步骤B:按照预定格式采集上述第一信息,并将上述第一信息输入至上述分布式缓存。
示例性地,上述预定格式可以为预设的,也可以为自定义的,本申请实施例对此不作限定。
在一种示例中,上述预定格式为基于分布式缓存的监控装置通过植入计算机文件格式的应用程序接口(即API),获取到的预定格式,其可以按照预定格式采集数据,即第一信息。
可选地,在本申请实施例中,上述分布式缓存的前端包括埋点,上述步骤B中,本申请实施例提供的基于分布式缓存的监控方法包括如下步骤C1和步骤C2:
步骤C1:埋点按预定格式采集上述第一信息。
步骤C2:上述埋点与上述分布式缓存建立连接,并将上述第一信息输入至分布式缓存。
示例性地,在分布式缓存的前端,需要进行有效埋点,对前端产生的数据进行全量采集。
在一种示例中,前端通过植入计算机文件格式的应用程序接口(即API),按照预定格式采集第一信息。
示例性地,上述埋点与上述分布式缓存建立连接是指,埋点需要建立起能够向分布式缓存输入信息的连接。
示例性地,采集第一信息并连接分布式缓存后,可以在后续执行上述步骤S201。
可选地,在本申请实施例中,在上述目标操作包括将上述第二信息输出至上述分布式缓存的情况下,上述步骤S204中,本申请实施例提供的基于分式缓存的监控方法可以包括如下步骤D:
步骤D:在将上述第二信息输出至上述分布式缓存的第一时刻,销毁上述第一信息。
示例性地,上述第一时刻可以理解为将上述第二信息输出至上述分布式缓存的同一时刻。
可以理解的是,在本申请实施例中,在将上述第二信息输出至上述分布式缓存的同时,在分布式缓存中会自动启动销毁原先第一数据的操作。
如此,可以仅保留实际有效的信息,大幅减少后续处理信息的工作量,在完成监控全部信息过程的同时,还可以节约处理信息的资源,提高后续处理信息的效率。
可选地,在本申请实施例中,上述步骤S203之前,本申请实施例提供的基于分布式缓存的监控方法还包括如下步骤E:
步骤E:对上述第一信息的处理时间进行校准,确定上述预定时刻。
示例性地,上述对第一时间处理时间校准的方式可以参照前述预设预定时刻的算法。
如此,通过对第一信息的处理时间进行校准,可以对在同一单位时间输入至调度中心的第一信息在预定时刻统一同步进行处理,从而可以在不妨碍前序信息处理过程的同时,稳定的完成第一信息的处理,进而节约处理第一信息的资源,提升处理第一信息的效率。
可选地,在本申请实施例中,上述步骤203中,本申请实施例提供的基于分布式缓存的监控方法可以包括如下步骤F:
步骤F:在上述预定时刻筛选上述第一信息中的有效信息。
示例性地,上述有效信息用于与警告指标进行比对,有效信息为第二信息。
示例性地,上述预定时刻可以参照前述内容,此处不再赘述。
可以理解的是,在第一信息中包含大量信息内容,能够有效表征该第一信息与警告指标之间关系的信息其实仅仅为其中的一部分,因此,可以通过筛选过程先行筛选出第一信息中的有效信息,即可以用于与警告指标进行比对的信息,再进行与警告信息进行比对。
示例性地,筛选上述第一信息中的有效信息的过程可以通过清洗任务完成。
示例性地,上述清晰任务可以参照前述内容,此处不再赘述。
如此,通过预先对第一信息中的所有信息进行筛选,选择出可以用于与警示信息进行比对的有效信息,可以大大减少后续比对过程中的时间,节约比对过程的资源,提高检测异常的效率。
为解决上述技术问题,本发明实施例还提供基于分布式缓存的监控装置。具体请参阅图2,图2为本实施例基于分布式缓存的监控装置基本结构示意图。
如图2所示,一种基于分布式缓存的监控装置,包括:输入模块301,用于向分布式缓存输入第一信息;上述输入模块301,还用于将上述输入模块301输入的上述第一信息输入调度中心;获取模块302,用于在预定时刻处理上述输入模块301输入的上述第一信息,获取第二信息,上述第一信息为上述分布式缓存的前端采集的有效数据;执行模块303,用于对上述获取模块302获取的上述第二信息执行目标操作;上述目标操作包括以下至少一项:将上述第二信息输出至上述分布式缓存;若上述第二信息满足预定条件,则设置决策任务,上述决策任务用于警示上述第二信息存在异常,上述预定条件为警告指标。
基于分布式缓存的监控装置在向分布式缓存输入第一信息后,将第一信息可以输入至调度中心中,在调度中心中会在预定时刻统一处理第一信息,从而获取第二信息,对第二信息执行目标操作,其中,目标操作包括以下至少一项:将第二信息输出至分布式缓存,和/或,在第二信息满足预定条件的情况下,设置决策任务。如此,通过将分布式缓存中的全部信息(即第一信息)均输入至调度中心,并在预定时刻对第一信息处理,生成实际真正需要使用和被检测的信息(即第二信息),再将第二信息输出至分布式缓存,并对满足警告指标的第二信息设置决策任务,从而及时提醒运营公司,可以方便的对运营过程分布式缓存中的所有信息进行全过程监控、处理和检测,而不仅仅针对部分重要信息,从而在产品出现轻微问题时及时向运营公司反馈,帮助运营公司及时止损
在一些实施方式中,上述基于分布式缓存的监控装置还包括:计算模块304,用于计算上述第二信息对应的目标数值;对比模块305,用于对比上述计算模块304计算的上述目标数值与预定阀值;上述执行模块303,具体用于在上述目标数值满足预定条件的情况下,设置决策任务。
在一些实施方式中,上述输入模块301,还用于按预定格式采集上述第一信息,并将上述第一信息输入至上述分布式缓存。
在一些实施方式中,上述分布式缓存的前端包括埋点,上述基于分布式缓存的监控装置还包括采集模块306:上述采集模块306,用于按预定格式采集上述第一信息;上述输入模块301,还用于与上述分布式缓存建立连接,并将上述第一信息输入至上述分布式缓存。
在一些实施方式中,在上述目标操作包括将上述第二信息输出至上述分布式缓存的情况下,上述执行模块303,具体用于在将上述第二信息输出至上述分布式缓存的第一时刻,销毁上述第一信息。
在一些实施方式中,上述基于分布式缓存的监控装置还包括:确定模块307,用于对上述第一信息的处理时间进行校准,确定上述预定时刻。
在一些实施方式中,上述基于分布式缓存的监控装置还包括:筛选模块308;上述筛选模块308,用于在上述预定时刻筛选上述第一信息中的有效信息,上述有效信息用于与警告指标进行比对,上述有效信息为第二信息。
为解决上述技术问题,本发明实施例还提供计算机设备。具体请参阅图3,图3为本实施例计算机设备基本结构框图。
如图3所示,计算机设备的内部结构示意图。该计算机设备包括通过系统总线连接的处理器、非易失性存储介质、存储器和网络接口。其中,该计算机设备的非易失性存储介质存储有操作系统、数据库和计算机可读指令,数据库中可存储有控件信息序列,该计算机可读指令被处理器执行时,可使得处理器实现一种数据关系重构方法。该计算机设备的处理器用于提供计算和控制能力,支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令,该计算机可读指令被处理器执行时,可使得处理器执行一种数据关系重构方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解,图3中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
本实施方式中处理器用于执行图2中输入模块301、获取模块302和执行模块303的具体功能,存储器存储有执行上述模块所需的程序代码和各类数据。网络接口用于向用户终端或服务器之间的数据传输。本实施方式中的存储器存储有数据关系重构装置中执行所有子模块所需的程序代码及数据,服务器能够调用服务器的程序代码及数据执行所有子模块的功能。
计算机设备通过将采集的交易节点之间的数据关系构建成为节点特征图和对应的邻接矩阵,并采用图神经网络对节点特征图和邻接矩阵进行特征提取,根据提取的特征进行关系重构,进行关系重构时,图神经网络基于学习到的数据之间隐藏的逻辑关系对数据进行重构,关系重构的过程就是还原数据节点特征图和邻接矩阵的过程。图神经网络在将数据节点特征图和邻接矩阵进行打散-重组的过程中,验证了其学习到的各交易节点之间隐藏的关联关系的正确性,然后,再用学习到的隐藏关系对各交易节点进行关系重构,并挑选出符合条件的目标交易节点进行后续运用,通过图形处理技术,深入的解读出数据背后的逻辑关系,提高了数据分析的深度和效率。
本发明还提供一种存储有计算机可读指令的存储介质,计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行上述任一实施例数据关系重构方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等非易失性存储介质,或随机存储记忆体(Random Access Memory,RAM)等。
本发明还提供一种存储有计算机可读指令的存储介质,计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行上述任一实施例数据关系重构方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等非易失性存储介质,或随机存储记忆体(Random Access Memory,RAM)等。
本技术领域技术人员可以理解,本申请中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地,具有本申请中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地,现有技术中的具有与本申请中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
以上所述仅是本申请的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种基于分布式缓存的监控方法,其特征在于,包括:
向分布式缓存输入第一信息;
将所述第一信息输入调度中心,所述第一信息为所述分布式缓存的前端采集的有效数据;
在预定时刻处理所述第一信息,获取第二信息;
对所述第二信息执行目标操作;
所述目标操作包括以下至少一项:
将所述第二信息输出至所述分布式缓存;若所述第二信息满足预定条件,则设置决策任务,所述决策任务用于警示所述第二信息存在异常,所述预定条件为警告指标。
2.根据权利要求1所述的方法,其特征在于,所述在所述第二数据满足预定条件的情况下,设置决策任务,包括:
计算所述第二信息对应的目标数值;
对比所述目标数值与预定阀值;
在所述目标数值满足预定条件的情况下,设置决策任务。
3.根据权利要求1所述的方法,其特征在于,在所述输入第一信息之前,所述方法还包括:
按预定格式采集所述第一信息,并将所述第一信息输入至所述分布式缓存。
4.根据权利要求3所述的方法,其特征在于,所述分布式缓存的前端包括埋点,所述按预定格式采集所述第一信息,将所述第一信息输入至所述分布式缓存,包括:
所述埋点按预定格式采集所述第一信息;
所述埋点与所述分布式缓存建立连接,并将所述第一信息输入至所述分布式缓存。
5.根据权利要求1所述的方法,其特征在于,在所述目标操作包括将所述第二信息输出至所述分布式缓存的情况下,所述根据所述第二信息,执行目标操作之后,所述方法还包括:
在将所述第二信息输出至所述分布式缓存的第一时刻,销毁所述第一信息。
6.根据权利要求1所述的方法,其特征在于,所述在预定时刻处理所述第一信息,获取第二信息之前,所述方法还包括:
对所述第一信息的处理时间进行校准,确定所述预定时刻。
7.根据权利要求1所述的方法,其特征在于,所述在预定时刻处理所述第一信息,获取第二信息,包括:
在所述预定时刻筛选所述第一信息中的有效信息,所述有效信息用于与警告指标进行比对,所述有效信息为第二信息。
8.一种基于分布式缓存的监控装置,其特征在于,包括:
输入模块,用于向分布式缓存输入第一信息;
所述输入模块,还用于将所述输入模块输入的所述第一信息输入调度中心;
获取模块,用于在预定时刻处理所述输入模块输入的所述第一信息,获取第二信息;
执行模块,用于对所述获取模块获取的所述第二信息执行目标操作;
所述目标操作包括以下至少一项:
将所述第二信息输出至所述分布式缓存;在所述第二信息满足预定条件的情况下,设置决策任务。
9.一种计算机设备,其特征在于,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,使得所述处理器执行如权利要求1至7中任一项权利要求所述基于分布式缓存的监控方法的步骤。
10.一种存储有计算机可读指令的存储介质,其特征在于,所述计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行如权利要求1至7中任一项权利要求所述基于分布式缓存的监控方法的步骤。
CN202111524831.5A 2021-12-14 2021-12-14 基于分布式缓存的监控方法、装置、设备及存储介质 Pending CN114048107A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111524831.5A CN114048107A (zh) 2021-12-14 2021-12-14 基于分布式缓存的监控方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111524831.5A CN114048107A (zh) 2021-12-14 2021-12-14 基于分布式缓存的监控方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114048107A true CN114048107A (zh) 2022-02-15

Family

ID=80212762

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111524831.5A Pending CN114048107A (zh) 2021-12-14 2021-12-14 基于分布式缓存的监控方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114048107A (zh)

Similar Documents

Publication Publication Date Title
CN111475370A (zh) 基于数据中心的运维监控方法、装置、设备及存储介质
CN112583669B (zh) 线上链路压力测试方法、装置、电子设备及介质
CN110532322A (zh) 运维交互方法、系统、计算机可读存储介质及设备
US10007562B2 (en) Business transaction context for call graph
US20230251845A1 (en) Creating and Using Native Virtual Probes in Computing Environments
CN113391981A (zh) 一种监控指标的预警方法及相关设备
CN111628938A (zh) 分支合并的方法、装置、电子设备及计算机存储介质
CN115373976A (zh) 保险测试方法、装置、计算机设备及存储介质
CN110633165B (zh) 故障处理方法、装置、系统服务器及计算机可读存储介质
CN112882948A (zh) 一种应用的稳定性测试方法、装置、系统及存储介质
CN114048107A (zh) 基于分布式缓存的监控方法、装置、设备及存储介质
CN114024867B (zh) 网络异常检测方法及装置
CN114143173B (zh) 数据处理方法、装置、设备和存储介质
CN115242621A (zh) 网络专线监控方法、装置、设备及计算机可读存储介质
CN108509293A (zh) 一种用户日志时间戳容错方法及系统
CN113342619A (zh) 日志监控方法、系统、电子设备及可读介质
CN111352795A (zh) 一种移动业务的监控方法及装置
CN112804647A (zh) 基于通信的目标用户追踪方法、系统、服务器和存储介质
CN115242513B (zh) 广域网链路流量异常告警方法、装置、设备和介质
CN115190008B (zh) 故障处理方法、故障处理装置、电子设备及存储介质
CN115115208A (zh) 一种针对离港业务的故障报警方法和相关装置
CN114647666A (zh) 监管信息的调取方法、装置、计算机设备及存储介质
CN117014351A (zh) 一种网络检测方法、装置、设备及介质
CN116756443A (zh) 链接退场方法、装置、设备及存储介质
CN116701129A (zh) 告警信息处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination