CN114328748A - 数据更新方法、装置、设备及存储介质 - Google Patents
数据更新方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114328748A CN114328748A CN202111676213.2A CN202111676213A CN114328748A CN 114328748 A CN114328748 A CN 114328748A CN 202111676213 A CN202111676213 A CN 202111676213A CN 114328748 A CN114328748 A CN 114328748A
- Authority
- CN
- China
- Prior art keywords
- task
- target
- data
- statistical
- execution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种数据更新方法、装置、设备及存储介质;在本方案中,需要获取各机器人在预定周期内产生的日志数据,通过调度节点生成日志数据的统计任务,并发送至目标队列;通过工作节点从目标队列中获取目标统计任务,并根据日志数据执行目标统计任务生成执行结果,该执行结果为执行目标统计任务生成的目标统计数据;根据执行结果对历史统计数据进行更新。可见,本方案中,可根据各机器人在预定周期内产生的日志数据重新执行统计任务,以通过执行结果对历史统计数据进行更新,确保统计数据的准确性。
Description
技术领域
本发明涉及数据存储技术领域,更具体地说,涉及一种数据更新方法、装置、设备及存储介质。
背景技术
机器人在运行时会产生日志数据,该日志数据记录了机器人在执行各项任务时所产生的运营数据,因此将日志数据准确保存是非常重要的。目前云平台会实时统计机器人的日志数据并进行存储,但是在网络异常等极端情况下,会导致部分日志数据存在丢失现象,导致存储的日志数据不完整。
因此,如何确保机器人日志数据的准确性,是本领域技术人员需要解决的问题。
发明内容
本发明的目的在于提供一种数据更新方法、装置、设备及存储介质,以确保机器人日志数据的准确性。
为实现上述目的,本发明提供一种数据更新方法,所述数据更新方法应用于分布式数据更新系统,所述数据更新方法包括:
获取各机器人在预定周期内产生的日志数据;
通过调度节点生成所述日志数据的统计任务,并发送至目标队列;
通过工作节点从所述目标队列中获取目标统计任务,并根据所述日志数据执行所述目标统计任务生成执行结果;所述执行结果为执行所述目标统计任务生成的目标统计数据;
根据所述执行结果对历史统计数据进行更新。
其中,所述获取各机器人在预定周期内产生的日志数据之后,还包括:
根据所述日志数据的数据量调整所述调度节点和/或所述工作节点的数量。
其中,所述获取各机器人在预定周期内产生的日志数据之后,还包括:
根据所述调度节点和/或所述工作节点所在的设备资源使用率,动态调整所述调度节点和/或所述工作节点的数量。
其中,根据所述日志数据执行所述目标统计任务生成执行结果,包括:
从所述日志数据中获取与所述目标统计任务对应的目标数据,并根据所述目标数据执行对应的目标统计任务;
判断所述目标统计任务是否执行成功;
若执行成功,则输出执行结果;
若执行失败,则将所述目标统计任务添加至所述目标队列,以便所述工作节点从所述目标队列中重新获取所述目标统计任务继续执行。
其中,将所述目标统计任务添加至所述目标队列之前,还包括:
判断所述目标统计任务执行失败的总次数是否大于预定阈值;
若否,则继续执行将所述目标统计任务添加至所述目标队列的步骤;
若是,则生成所述目标统计任务的告警信息及失败日志。
其中,根据所述执行结果对历史统计数据进行更新之后,还包括:
通过界面展示每个统计任务的相关信息;所述相关信息包括:执行状态、告警信息、失败信息和执行失败的总次数中的至少一者。
其中,所述通过界面展示每个统计任务的相关信息之后,还包括:
接收用户在所述界面触发的任务管理指令;
根据所述任务管理指令对相应的统计任务执行对应的管理操作。
本发明的目的在于还提供了一种数据更新装置,包括:
获取模块,用于获取各机器人在预定周期内产生的日志数据;
任务生成模块,用于通过调度节点生成所述日志数据的统计任务;
任务发送模块,用于将所述统计任务发送至目标队列;
任务执行模块,用于通过工作节点从所述目标队列中获取目标统计任务,并根据所述日志数据执行所述目标统计任务生成执行结果;所述执行结果为执行所述目标统计任务生成的目标统计数据;
数据更新模块,用于根据所述执行结果对历史统计数据进行更新。
本发明的目的在于还提供了一种电子设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现上述数据更新方法的步骤。
本发明的目的在于还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述数据更新方法的步骤。
通过以上方案可知,本发明实施例提供的一种数据更新方法、装置、设备及存储介质;在本方案中,需要获取各机器人在预定周期内产生的日志数据,通过调度节点生成日志数据的统计任务,并发送至目标队列;通过工作节点从目标队列中获取目标统计任务,并根据日志数据执行目标统计任务生成执行结果,该执行结果为执行目标统计任务生成的目标统计数据;根据执行结果对历史统计数据进行更新。可见,本方案中,可根据各机器人在预定周期内产生的日志数据重新执行统计任务,以通过执行结果对历史统计数据进行更新,确保统计数据的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例公开的一种数据更新方法流程示意图;
图2为本发明实施例公开的分布式数据更新系统示意图;
图3为本发明实施例公开的另一种数据更新方法流程示意图;
图4为本发明实施例公开的一种数据更新装置结构示意图;
图5为本发明实施例公开的一种电子设备结构示意图。
具体实施方式
目前机器人会将产生的日志数据实时统计并保存在云平台的数据库中,但是该统计方式会因为网络波动、服务器故障、统计方式有误等原因导致数据库中存储的统计数据出现错误或者丢失的现象。因此在本方案中,公开了一种数据更新方法、装置、设备及存储介质,以确保机器人日志数据的准确性。并且,由于目前日志数据的数据量又十分庞大,已经到达几十亿规模,一台机器的运算能力远远不能满足统计运算,因此在本方案中,主要通过分布式数据更新系统对统计数据进行重新统计并更新数据,该方式可通过增加节点数量来达到减少统计时间的效果,提高统计数据的更新速度。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例公开了一种数据更新方法、装置、设备及存储介质,以确保机器人日志数据的准确性。
参见图1,本发明实施例提供的一种数据更新方法流程示意图,所述数据更新方法应用于分布式数据更新系统,该数据更新方法包括:
S101、获取各机器人在预定周期内产生的日志数据;
在本实施例中,为了对数据库中存储的统计数据进行更新,本方案需要周期性的获取各机器人所产生的日志数据。获取日志数据的方式可以为各机器人主动将每个周期内产生的日志数据发送至分布式数据更新系统,也可以是系统在每个周期主动从各个机器人处获取本周期内产生的日志数据,在此并不具体限定。并且,该预定周期可根据实际情况进行设定,可设置预定周期为每年、每月、每周、每天等等,若设置为每月,则本方案每月执行一次,获取各机器人在本月内产生的日志数据进行统计,并对数据库中存储的统计数据进行更新。
具体来说,本方案中的日志数据中存储了各机器人在执行不同任务时的记录数据,如:若机器人执行消毒任务,那么该日志数据中存储了其执行消毒任务的开始时间、结束时间、消毒距离等等相关信息;若机器人执行送餐任务,那么该日志数据中存储了其执行送餐任务的开始时间、回盘时间、行走距离等等相关信息。
S102、通过调度节点生成日志数据的统计任务,并发送至目标队列;
参见图2,为本发明实施例提供的分布式数据更新系统示意图。通过图2可以看出,本系统首先通过调度层(Scheduler层)中的各个调度节点(Scheduler节点)对日志数据分析后生成统计任务,调度层中的各个调度节点之间是并行关系,不同调度节点可针对不同机器人的日志数据生成对应的统计任务,并存储至目标队列;然后通过工作层(Task层)中的各个工作节点(Task节点)从该目标队列中获取待执行的目标统计任务,各个工作节点之间同样是并行关系,每个工作节点从目标队列中获取不同的统计任务并执行可以理解的是,该调度节点及工作节点的数量并不具体限定,可根据实际情况动态调整,从而满足不同情况下的计算需求。
具体来说,调度节点生成统计任务时,可根据日志数据所记载的内容来生成对应的统计任务,如:可根据日志数据所记载的内容进行维度分析,从而确定针对每个机器人生成哪个维度的统计任务。若通过分析机器人的日志数据后得知该机器人主要用于执行消毒任务,则调度节点生成消毒这一维度的统计任务,具体可以为该机器人在本周期内的总消毒次数、总消毒距离、总消毒时间等等;并且,调度节点在生成统计任务时,还可以对统计任务进行拆分,如:若需要统计机器人在一年的总消毒次数,此时可将其拆分成每个月的统计任务后再相加得到总消毒次数。
也就是说:本方案中的调度节点在生成统计任务时,并不限定统计任务的生成方式及生成内容,可根据实际情况进行动态调整。并且,本方案中的分布式数据更新系统主要采用分布式的异步任务来进行统计,因此调度节点仅仅用来生成统计任务,得到的统计任务需要发送至目标队列,以便工作节点从目标队列中获取统计任务并执行。通过该方式,使得本方案可通过增加调度节点的方式来提高统计任务的生成速度,通过增加工作节点的方式来提高统计任务的执行速度,使得日志数据在大量增加时,不需要对原有系统架构进行改变,只需要调整节点数量的方式即增加系统的处理能力。
S103、通过工作节点从目标队列中获取目标统计任务,并根据日志数据执行目标统计任务生成执行结果。该执行结果为执行目标统计任务生成的目标统计数据。
在本方案中,该工作节点主要用于从目标队列中获取对应的统计任务,在本实施例中为了进行区分,将工作节点获取的待执行统计任务称为目标统计任务。工作节点在生成执行结果时,可以从日志数据中获取与目标统计任务对应的目标数据,并根据目标数据执行对应的目标统计任务;然后判断目标统计任务是否执行成功;若执行成功,则输出执行结果;若执行失败,则将目标统计任务添加至目标队列,以便工作节点从目标队列中重新获取目标统计任务继续执行。具体来说,工作节点从目标队列获取目标统计任务后,可分析目标统计任务的任务内容,并从日志数据中获取对应的目标数据执行该任务。例如:该目标统计任务为统计本月的总消毒距离,那么工作节点从该机器人的日志数据中获取的目标数据可以为:该机器人在本月每次的消毒距离;工作节点获取机器人每次的消毒距离后进行求和,即可得出该机器人本月的总消毒距离,该总消毒距离即为最后的执行结果。
需要说明的是,工作节点在执行统计任务时,并非所有的统计任务均能一次性执行成功,如:工作节点在从数据库中获取目标数据时,若因为网络原因或者数据库原因未能成功的从数据库中获取目标数据,那么该统计任务便不能成功执行;或者工作节点在执行某一任务时,执行时间过长,此时为了避免造成堵塞,可将该统计任务的执行状态设置为执行失败。因此在本方案中,可以分析判断该统计任务是否执行成功,若执行成功,则输出执行结果,继续执行后续更新统计数据的步骤。若执行失败,则通过重试机制继续处理该任务。也即:将该目标统计任务重新添加至目标队列,以便再次执行。
S104、根据执行结果对历史统计数据进行更新。
在本方案中,执行结果为执行目标统计任务生成的目标统计数据,该目标统计数据与历史统计数据均为执行统计任务后生成的统计数据,不同的是,历史统计数据是根据实时日志数据计算生成的,由于实时日志数据在实时传输时会因为网络波动等异常情况造成数据不准确的问题,因此历史统计数据可能存在错误;而在本申请中,根据各机器人在预定周期内产生的日志数据重新执行统计任务,生成当前重新计算的执行结果,该执行结果即为执行目标统计任务生成的目标统计数据,进而通过执行结果中的目标统计数据对历史统计数据进行更新,从而确保历史统计数据的准确性。例如:目标统计任务为统计机器人在本月的总消毒距离,通过工作节点进行计算后得出的执行结果为:总消毒距离15千米,而数据库中存储的历史统计数据为:总消毒距离10千米,此时便可根据该执行结果对数据库中存储的机器人的本月总消毒距离进行更新。
具体来说,在本方案中,并不对该更新方式进行具体限定。例如:可以在更新之前先对执行结果进行比较,若比较不一致则进行更新,若比较一致则不需要更新。但是,为了提高更新速度,可以省略比较的过程,也即:直接用执行结果对历史统计数据进行替换。通过该方式,使得本方案可根据各机器人在预定周期内产生的日志数据重新执行统计任务,以通过执行结果对历史统计数据进行更新,确保统计数据的准确性。并且,本方案中的分布式数据更新系统使用的是分布式架构,该结构可通过部署不同的服务来提升计算能力,当一个或者多个节点出现问题的时候,只会影响统计速度,不会影响统计数据任务的执行,从而提高系统的可靠性。
基于上述实施例所述的数据更新方法,在本实施例中,获取各机器人在预定周期内产生的日志数据之后,还包括:
根据日志数据的数据量调整调度节点和/或工作节点的数量;和/或,
根据调度节点和/或工作节点所在的设备资源使用率,动态调整调度节点和/或工作节点的数量。
需要说明的是,本方案具体应用在如图2所示的分布式数据更新系统,本系统可在业务数据量不断增加时,通过扩展服务器中节点数量的方式来应对数据量增加带来的问题,不需要继续人工开发、优化来解决这些问题,节省了人工运维、开发成本,如果需要添加新的任务,只需要在原有的架构上开发对应的统计任务即可。本方案中的节点可以为部署在服务器中的虚拟机、容器等等,在此并不具体限定。
具体来说,本方案在调整节点数量时,可通过多种方式调整节点数量。如:获取到待处理的日志数据后,根据日志数据的数据量来调整调度节点和/或工作节点的数量,在调整时,可仅调整调度节点的数量,也可以仅调整工作节点的数量,也可以调整调度节点及工作节点两者的数量,在此并不具体限定。调整方式可以为:设定数据量比较阈值,若日志数据的数据量高于预定数据量阈值,则动态增加调度节点及工作节点的数量,若日志数据的数据量低于预定数据量阈值,则动态减少调度节点及工作节点的数量,这样在整个运行过程中,便可直接通过调整后的调度节点及工作节点进行数据处理。或者是,在节点的运行过程中,根据节点所在服务器的设备资源使用率动态调整节点数量。由于调度节点和工作节点未必设置在同一服务器中,因此该过程具体包括如下几种情况:若服务器中仅包括调度节点,则根据调度节点所在的设备资源使用率动态调整调度节点数量,若服务器中仅包括工作节点,则根据工作节点所在的设备资源使用率动态调整工作节点数量,若服务器包括调度节点及工作节点,则根据调度节点及工作节点所在的设备资源使用率动态调整调度节点及工作节点的数量。该设备资源使用率可以为服务器的内存使用率、CPU(centralprocessing unit,中央处理器)使用率等等,如:服务器中共存在10个调度节点,若发现该服务器的内存使用率超过90%,则实时增加5个调度节点,若间隔预定时长后,发现该服务器的内存使用率低于30%,此时便可实时减少5个调度节点。需要说明的是,本方案仅以上述两种方式为例对本方案动态调整结果的过程进行说明,但是并不限定于此,例如:在检测到系统在预定时长内还未完成处理完成时,可以通过增加节点的方式来提高统计速度,尽快完成统计任务。
综上可以看出,本方案采用分布式架构异步处理任务,若系统运算能力不能满足统计运算的需求,则可通过增加调度节点及工作节点数量的方式进行横向扩展,从而提高系统运算能力,进而提高统计数据的更新速度。
参见图3,本发明实施例提供的另一种数据更新方法流程示意图,所述数据更新方法应用于分布式数据更新系统,该数据更新方法包括:
S201、获取各机器人在预定周期内产生的日志数据;
S202、通过调度节点生成日志数据的统计任务,并发送至目标队列;
S203、通过工作节点从目标队列中获取目标统计任务,从日志数据中获取与目标统计任务对应的目标数据,并根据目标数据执行对应的目标统计任务;
S204、判断目标统计任务是否执行成功;
若否,则执行S205;若是,则执行S208;
S205、判断目标统计任务执行失败的总次数是否大于预定阈值;
若否,则执行S206;若是,则执行S207;
S206、将目标统计任务添加至目标队列,以便工作节点从目标队列中重新获取目标统计任务继续执行;
S207、生成目标统计任务的告警信息及失败日志;
S208、输出执行结果,根据执行结果对历史统计数据进行更新;该执行结果为执行目标统计任务生成的目标统计数据。
本方案在将目标统计任务重新添加至目标队列之前,还可以判断目标统计任务执行失败的总次数是否大于预定阈值;若否,则继续执行将目标统计任务重新添加至目标队列的步骤;若是,则生成目标统计任务的告警信息及失败日志。该告警信息和失败日志均可在界面中展示,告警信息用来提示工作人员:存在统计任务的执行失败次数超过预定阈值,该失败信息中记录了该统计任务执行过程、执行失败的原因等信息。通过该方式,便可在任务执行失败后,通过重复执行该任务的方式提高任务执行的成功率,并在任务多次执行失败后,通过触发告警的方式,及时提醒工作人员进行修复及管理。
进一步的,本方案根据执行结果对历史统计数据进行更新之后,还可以通过界面展示每个统计任务的相关信息;该相关信息包括:执行状态、告警信息、失败信息和执行失败的总次数中的至少一者;其中,执行状态具体是统计任务的执行状态,包括:未执行、正在执行中、已执行完成、执行失败等等;告警信息及失败信息是在统计任务执行失败的总次数大于预定阈值时生成的,执行失败的总次数具体是在任务每执行失败时便进行加一,直至总次数超过预定阈值后便生成上述告警信息及失败信息,并在界面中展示。并且,本方案通过界面展示每个统计任务的相关信息之后,用户还可在界面触发任务管理指令,因此系统接收到用户在界面触发的任务管理指令后,便根据任务管理指令对相应的统计任务执行对应的管理操作。
该任务管理指令是用户在界面上针对某一统计任务触发生成的指令,如图2所示,本方案所述的任务管理指令可以对统计任务的暂停指令、删除指令、查看指令等等,暂停指令是将用户选中的统计任务的执行状态设置为暂停运行,用户还可以通过触发开始指令控制该统计任务开始运行;删除指令是将用户选中的统计任务删除,如:某一任务的失败总次数超过预定阈值,且无法恢复时,便可将该任务删除;查看指令是将用户选中的统计任务的执行结果、执行过程等信息在界面进行展示,以便用户详细了解任务信息。
综上可以看出,在本方案中,在执行统计任务时,通过任务执行失败后重新加入工作队列、执行失败次数过多后进行告警、通过可视化方式查看任务执行情况、对任务进行管理的方式,无需过多的运维接入,并且能确保每一条数据都会被统计到,不会丢失数据,进而提高了系统的可靠性。
下面对本发明实施例提供的更新装置、设备及介质进行介绍,下文描述的更新装置、设备及介质与上文描述的更新方法可以相互参照。
参见图4,本发明实施例提供的一种数据更新装置结构示意图,包括:
获取模块11,用于获取各机器人在预定周期内产生的日志数据;
任务生成模块12,用于通过调度节点生成所述日志数据的统计任务;
任务发送模块13,用于将所述统计任务发送至目标队列;
任务执行模块14,用于通过工作节点从所述目标队列中获取目标统计任务,并根据所述日志数据执行所述目标统计任务生成执行结果;所述执行结果为执行所述目标统计任务生成的目标统计数据;
数据更新模块15,用于根据所述执行结果对历史统计数据进行更新。
其中,本装置还包括:
第一调整单元,用于根据所述日志数据的数据量调整所述调度节点和/或所述工作节点的数量。
第二调整单元,用于根据所述调度节点和/或所述工作节点所在的设备资源使用率,动态调整所述调度节点和/或所述工作节点的数量。
其中,所述任务执行模块包括:
执行单元,用于从所述日志数据中获取与所述目标统计任务对应的目标数据,并根据所述目标数据执行对应的目标统计任务;
第一判断单元,用于判断所述目标统计任务是否执行成功;
输出单元,用于在执行成功时输出执行结果;
添加单元,用于在执行失败时,将所述目标统计任务添加至所述目标队列,以便工作节点从所述目标队列中重新获取所述目标统计任务继续执行;
第二判断单元,用于判断所述目标统计任务执行失败的总次数是否大于预定阈值;若否,则触发添加单元;若是,则触发生成单元;
生成单元,用于生成所述目标统计任务的告警信息及失败日志。
其中,本装置还包括:
展示模块,用于通过界面展示每个统计任务的相关信息;所述相关信息包括:执行状态、告警信息、失败信息和执行失败的总次数中的至少一者。
操作模块,用于接收用户在所述界面触发的任务管理指令,根据所述任务管理指令对相应的统计任务执行对应的管理操作。
参见图5,本发明实施例还提供一种电子设备结构示意图,包括:
存储器21,用于存储计算机程序;
处理器22,用于执行所述计算机程序时实现上述任意方法实施例所述的数据更新方法的步骤。
在本实施例中,设备可以是PC(Personal Computer,个人电脑),也可以是智能手机、平板电脑、掌上电脑、便携计算机等终端设备。
该设备可以包括存储器21、处理器22和总线23。
其中,存储器21至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器21在一些实施例中可以是设备的内部存储单元,例如该设备的硬盘。存储器21在另一些实施例中也可以是设备的外部存储设备,例如设备上配备的插接式硬盘,智能存储卡(SmartMedia Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,存储器21还可以既包括设备的内部存储单元也包括外部存储设备。存储器21不仅可以用于存储安装于设备的应用软件及各类数据,例如执行更新方法的程序代码等,还可以用于暂时地存储已经输出或者将要输出的数据。
处理器22在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片,用于运行存储器21中存储的程序代码或处理数据,例如执行更新方法的程序代码等。
该总线23可以是外设部件互连标准(peripheral component interconnect,简称PCI)总线或扩展工业标准结构(extended industry standard architecture,简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示,图5中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
进一步地,设备还可以包括网络接口24,网络接口24可选的可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等),通常用于在该设备与其他电子设备之间建立通信连接。
可选地,该设备还可以包括用户接口25,用户接口25可以包括显示器(Display)、输入单元比如键盘(Keyboard),可选的用户接口25还可以包括标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在设备中处理的信息以及用于显示可视化的用户界面。
图5仅示出了具有组件21-25的设备,本领域技术人员可以理解的是,图5示出的结构并不构成对设备的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
本发明实施例还公开了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述任意方法实施例所述的数据更新方法的步骤。
其中,该存储介质可以包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种数据更新方法,其特征在于,所述数据更新方法应用于分布式数据更新系统,所述数据更新方法包括:
获取各机器人在预定周期内产生的日志数据;
通过调度节点生成所述日志数据的统计任务,并发送至目标队列;
通过工作节点从所述目标队列中获取目标统计任务,并根据所述日志数据执行所述目标统计任务生成执行结果;所述执行结果为执行所述目标统计任务生成的目标统计数据;
根据所述执行结果对历史统计数据进行更新。
2.根据权利要求1所述的数据更新方法,其特征在于,所述获取各机器人在预定周期内产生的日志数据之后,还包括:
根据所述日志数据的数据量调整所述调度节点和/或所述工作节点的数量。
3.根据权利要求1所述的数据更新方法,其特征在于,所述获取各机器人在预定周期内产生的日志数据之后,还包括:
根据所述调度节点和/或所述工作节点所在的设备资源使用率,动态调整所述调度节点和/或所述工作节点的数量。
4.根据权利要求1所述的数据更新方法,其特征在于,所述根据所述日志数据执行所述目标统计任务生成执行结果,包括:
从所述日志数据中获取与所述目标统计任务对应的目标数据,并根据所述目标数据执行对应的目标统计任务;
判断所述目标统计任务是否执行成功;
若执行成功,则输出执行结果;
若执行失败,则将所述目标统计任务添加至所述目标队列,以便所述工作节点从所述目标队列中重新获取所述目标统计任务继续执行。
5.根据权利要求4所述的数据更新方法,其特征在于,将所述目标统计任务添加至所述目标队列之前,还包括:
判断所述目标统计任务执行失败的总次数是否大于预定阈值;
若否,则继续执行将所述目标统计任务添加至所述目标队列的步骤;
若是,则生成所述目标统计任务的告警信息及失败日志。
6.根据权利要求1至5中任意一项所述的数据更新方法,其特征在于,根据所述执行结果对历史统计数据进行更新之后,还包括:
通过界面展示每个统计任务的相关信息;所述相关信息包括:执行状态、告警信息、失败信息和执行失败的总次数中的至少一者。
7.根据权利要求6所述的数据更新方法,其特征在于,所述通过界面展示每个统计任务的相关信息之后,还包括:
接收用户在所述界面触发的任务管理指令;
根据所述任务管理指令对相应的统计任务执行对应的管理操作。
8.一种数据更新装置,其特征在于,包括:
获取模块,用于获取各机器人在预定周期内产生的日志数据;
任务生成模块,用于通过调度节点生成所述日志数据的统计任务;
任务发送模块,用于将所述统计任务发送至目标队列;
任务执行模块,用于通过工作节点从所述目标队列中获取目标统计任务,并根据所述日志数据执行所述目标统计任务生成执行结果;所述执行结果为执行所述目标统计任务生成的目标统计数据;
数据更新模块,用于根据所述执行结果对历史统计数据进行更新。
9.一种电子设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至7任一项所述的数据更新方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的数据更新方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111676213.2A CN114328748A (zh) | 2021-12-31 | 2021-12-31 | 数据更新方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111676213.2A CN114328748A (zh) | 2021-12-31 | 2021-12-31 | 数据更新方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114328748A true CN114328748A (zh) | 2022-04-12 |
Family
ID=81022700
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111676213.2A Withdrawn CN114328748A (zh) | 2021-12-31 | 2021-12-31 | 数据更新方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114328748A (zh) |
-
2021
- 2021-12-31 CN CN202111676213.2A patent/CN114328748A/zh not_active Withdrawn
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10210036B2 (en) | Time series metric data modeling and prediction | |
CN108776934B (zh) | 分布式数据计算方法、装置、计算机设备及可读存储介质 | |
CN109120451B (zh) | 基于物联网的设备评估方法、设备及计算机可读存储介质 | |
CN108446171B (zh) | 电子装置、分布式系统执行任务分配方法及存储介质 | |
CN103118051B (zh) | 一种对信息发布过程进行监控的方法和设备 | |
CN108491304B (zh) | 电子装置、业务系统风险控制方法及存储介质 | |
CN112286806A (zh) | 自动化测试方法、装置、存储介质及电子设备 | |
CN110147470B (zh) | 一种跨机房数据比对系统及方法 | |
CN111813573A (zh) | 管理平台与机器人软件的通信方法及其相关设备 | |
CN111416857A (zh) | 客户端崩溃处理方法、装置、系统、设备和存储介质 | |
CN115729687A (zh) | 任务调度方法、装置、计算机设备、存储介质 | |
CN111858604B (zh) | 数据存储方法、装置、电子设备及存储介质 | |
CN111274112B (zh) | 应用程序压测方法、装置、计算机设备和存储介质 | |
CN115471215B (zh) | 一种业务流程处理方法及装置 | |
CN114328748A (zh) | 数据更新方法、装置、设备及存储介质 | |
CN110389876A (zh) | 基础资源容量监管方法、装置、设备及存储介质 | |
KR102464688B1 (ko) | 모니터링 결과의 이벤트 등급 결정 방법 및 장치 | |
CN115269431A (zh) | 一种接口测试方法、装置、电子设备及存储介质 | |
CN114995914A (zh) | 图片数据的处理方法、装置、计算机设备及存储介质 | |
CN107346472A (zh) | 一种通过在线建模处理运维数据的方法及装置 | |
CN112965793A (zh) | 一种面向标识解析数据的数据仓库任务调度方法和系统 | |
CN113742226B (zh) | 一种软件性能测试方法、装置、介质及电子设备 | |
CN112328661B (zh) | 一种话单处理性能的监测方法、系统和电子设备 | |
JP2014147003A (ja) | Ict資源管理装置 | |
CN117453493B (zh) | 大规模多数据中心的gpu算力集群监控方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20220412 |