CN114185612B - 一种数据更新的方法、装置、设备及存储介质 - Google Patents
一种数据更新的方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114185612B CN114185612B CN202111446837.5A CN202111446837A CN114185612B CN 114185612 B CN114185612 B CN 114185612B CN 202111446837 A CN202111446837 A CN 202111446837A CN 114185612 B CN114185612 B CN 114185612B
- Authority
- CN
- China
- Prior art keywords
- update
- task
- updating
- data
- limit value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/445—Program loading or initiating
- G06F9/44505—Configuring for program initiating, e.g. using registry, configuration files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/54—Indexing scheme relating to G06F9/54
- G06F2209/548—Queue
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开提供了一种数据更新的方法、装置、电子设备、计算机可读存储介质及计算机程序产品,涉及计算机信息处理技术领域,尤其涉及数据更新技术领域。具体实现方案为:通过从任务队列依次有序地获取待执行的更新任务,并通过与当前时段对应的更新限速值控制更新任务的执行量。如此,可根据不同时段的系统繁忙情况灵活确定更新任务的执行量,充分利用系统空闲时段的资源进行数据更新,避免在系统繁忙时增加系统负担,从而可以使系统更为平稳地运行。
Description
技术领域
本公开涉及计算机信息处理技术领域,尤其涉及数据更新技术领域。
背景技术
在知识问答系统中,每天都会根据操作信息,例如,新建回答、修改回答、点赞、点踩等,重新为每一问题的每一回答新建或者重新计算质量评分,并根据最新的质量评分对每一问题的每一回答进行更新。
当知识问答系统具有一定规模后,需要更新的数量级可能会达到上千万,从而使得这些质量评分的更新操作会大量消耗系统资源,造成系统响应时间过长甚至是不可用。
发明内容
本公开提供了一种数据更新的方法、装置、电子设备、计算机可读存储介质及计算机程序产品。
根据本公开的一方面,提供了一种数据更新的方法,包括:从任务队列中获取待执行的更新任务;获取与当前时段对应的更新限速值;根据更新限速值和当前时段已经执行的更新任务量,确定是否执行更新任务。
根据本公开的另一方面,提供了一种数据更新的装置,包括:待更新数据获取模块,用于从任务队列中获取待执行的更新任务;更新限速值获取模块,用于获取与当前时段对应的更新限速值;数据更新模块,用于根据更新限速值和当前时段已经执行的更新任务量,确定是否执行更新任务。
根据本公开的另一方面,提供了一种电子设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行上述任一项数据更新的方法。
根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,计算机指令用于使计算机执行上述任一项数据更新的方法。
根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,计算机程序在被处理器执行时实现上述任一项数据更新的方法。
本公开所提供的一种数据更新的方法、装置、电子设备、计算机可读存储介质及计算机程序产品,通过从任务队列依次有序地获取待执行的更新任务,并通过与当前时段对应的更新限速值控制更新任务的执行量。如此,可根据不同时段的系统繁忙情况灵活确定更新任务的执行量,充分利用系统空闲时段的资源进行数据更新,避免在系统繁忙时增加系统负担,从而可以使系统更为平稳地运行。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1是本公开第一实施例实现数据更新的方法的流程示意图;
图2是本公开第二实施例进行回答评分更新过程的示意图;
图3是本公开第二实施例从任务队列获取更新任务的流程示意图;
图4是本公开第二实施例过限速器获取更新权限的具体实现流程示意图;
图5是本公开数据更新的装置实施例的结构示意图;
图6是用来实现本公开实施例的数据更新的方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
图1示出了本公开一实施例实现数据更新的方法的实现流程。如图1所示,该方法包括:操作110,从任务队列中获取待执行的更新任务;操作120,获取与当前时段对应的更新限速值;操作130,根据更新限速值和当前时段已经执行的更新任务量,确定是否执行更新任务。
在操作110中,任务队列是预先建立的,专门用于放置待执行的更新任务。
在没有任务队列的情况下,通常需要立即执行更新任务并使用相应的系统资源。如果,更新任务的执行时间正好处于系统繁忙时段或网络流量高峰时段,则会进一步加重系统负载和网络带宽的占用,不仅有可能会造成更新任务执行时间变长或中断,还有可能造成系统瘫痪。
为此,在本公开实施例中,使用任务队列来有序地暂存待执行的更新任务而并不是立即执行。之后,可以在恰当的时机,从该任务队列中依次获取待更新任务来执行。
如此,可有条不紊地按计划执行更新任务,根据需要控制更新任务的执行时机和节奏,甚至可以在特定情况下暂缓或暂停更新任务的执行。
此外,使用任务队列来暂存待执行的更新任务还可确保所有的更新任务都能得到处理,不会因为系统响应不及时导致某些更新任务意外退出而无法执行。
在操作120中,更新限速值指用于控制更新任务执行速率(rate)的值,即在设定的时间段内(例如,10秒)可以执行几个更新任务,其中,更新限速值对应的设定时间段也称为限速窗口时间。
与当前时段对应的更新限速值是预先设置的。不同时段对应的更新限速值可以不同。
通常,大多数系统在不同时段的负载会出现波动。例如,对于办公系统来说,工作时段(上午9点到晚上9点)的负载会较高,而非工作时段的负载相对较低,特别是在凌晨1点至5点的午夜,系统负载更低。
因此,在本公开实施例中,通过预先为不同时段设置不同的更新限速值对系统负荷进行平衡和调节。例如,在工作时段设置较低的更新限速值,使得更新任务在系统负载较高的时段少量执行,以免占用大量系统资源,使系统超负荷运行;而在非工作时段设置较高的更新限速值,使得更新任务在系统负载较低的时段大量执行,以充分利用系统资源,避免系统资源闲置,造成浪费。
在操作130中,根据更新限速值和当前时段已经执行的更新任务量,确定是否执行更新任务。主要指根据设定的更新限速值和当前时段已经执行的更新任务量,来确定是否还有配额可以执行更新任务。
例如,当前时段的限速值限定10秒内可以执行10个任务;而在每执行一个任务后,会使当前时段已经执行的更新任务量加1得到一个累计更新任务的执行量,假设当前时段已经执行的更新任务量为6,则可以执行更新任务的配额为当前时段的限速值减去累计更新任务的执行量,即4。
如果可以执行更新任务的配额小于待执行的更新任务数量时,表示执行更新任务会使更新任务执行量超出更新限速值,则不能执行更新任务;反之,如果可以执行更新任务的配额大于待执行的更新任务数量时,表示执行更新任务不会使更新任务执行量超出更新限速值,则可以执行更新任务。
在上述示例中,如果待执行的更新任务数量小于等于4,则可以执行更新任务;如果待执行的更新任务数量大于4,则不能执行更新任务。
通过上述描述不难看出,本公开实施例提供了一种数据更新的方法,将待更新的数据放入任务队列,通过操作110从任务队列依次有序地获取待更新数据,之后通过操作120获取与当前时段对应的更新限速值,并通过操作130进一步根据更新限速值来控制是否执行更新任务。从而可实现根据不同时段的系统繁忙情况灵活确定更新任务的执行量,充分利用系统空闲时段的资源进行数据更新,避免在系统繁忙时增加系统负担,使系统更为平稳地运行。
图2至图4示出了本公开数据更新的方法的另一实施例。该实施例应用于一问答系统。
该问答系统的用户可以通过该问答系统进行提问,也可以通过该问答系统回答别人提出的问题,或对别人给出的答案进行评价。具体地,该问答系统的操作信息包括:新建回答、修改回答、点赞、点踩等。
通常多个用户会针对同一个问题给出不同的答案,从而使得一个问题通常会对应多个答案,而答案的放置顺序往往会决定用户找到想要答案的时长。
而之前提到的操作信息可侧面反映出每个回答的质量高低,因此该问答系统会根据操作信息计算每个回答的评分,并根据该评分高低确定显示回答的顺序。但是,由于操作信息每天都在发生,每个回答的评分也会随之动态变化。
为此,该问答系统每天都会进行如图2所示的回答评分更新过程。如图2所示,该过程主要包括:
操作210,收集到问答系统的操作信息数据;
操作220,根据操作信息数据重新计算每一回答的评分,得到待更新评分;
操作230,将待更新评分打包后,存储到数据存储系统中,获得待更新评分的存储地址;
其中,可以将每个问题对应的所有回答的评分作为一个评分文件,每一个回答对应的评分作为该评分文件的一行。之后,将该评分文件进行打包,存储到数据存储系统中。该数据存储系统可以任何适用的数据存储系统,例如,网盘、数据库等。
操作240,向任务队列添加一个更新任务,并将待更新评分的存储地址关联到该更新任务;
其中,任务队列可以通过代码自行开发实现,也可以使用现有的队列管理工具,例如,MQ,Horizon等。
操作250,消费程序从队列中获取更新任务,并通过redis限速器获取当前时段的更新限速值,根据更新限速值和以执行的更新任务量,确定是否执行更新任务;
在本公开实施例中,使用了redis提供的限速器。但在实际应用中,实时者也可采用任何其他工具或平台提供的限速器,也可以使用自行研发的限速器。
操作260,问答系统的评分系统的数据库通过消费程序执行更新任务而得到持续更新;
操作270,问答系统的页面根据更新后的评分进行显示。
这样就可以持续更新每个回答的评分并以最新的回答评分来确定回答的显示顺序。
需要说明的时,在现有方案中,大部分的数据更新方法会在操作220之后,直接将待更新评分写入答系统的评分系统的数据库,以实现回答评分的实时更新。但如此,会在系统繁忙时段增加系统负担,影响系统性能,甚至会造成系统崩溃。
因此,本公开实施例在操作220之后,并不急于更新回答评分,而是通过操作230将需要更新的评分打包后放置到数据存储系统中,再通过操作240,将更新任务添加到任务队列中。如此,可以等待一个更合适的时机来执行更新任务。之后,再通过操作250结合redis限速器,确定是否执行更新任务。因此,在图2所示的过程示意图中,将操作230、操作240和操作250标成虚线,以突出本公开数据更新的方法与现有方案的主要不同。
更新任务的时机可以通过计划来安排,在本公开实施例中是通过定时来实现的,即每隔一段设定的时间,例如10分钟,就从任务队列中获取一个任务。
其中,消费程序从任务队列获取更新任务的流程如图3所示,主要包括:
步骤310,获取任务队列中的第一个任务,下载与之关联的待更新评分文件;
步骤320,读取并解析评分文件中的一行数据;
步骤330,此提问下的回答读取完毕,即该评分文件是否结束,若是则继续步骤350,若否,则继续步骤340;
步骤340,此提问下的回答是否超过30条,如果是,则不再读取新的数据,继续步骤350,若否,则返回步骤320读取下一行数据;
在大型问答系统中,一个问题的答案通常会上百,如果一次读出并进行更新的化,可能会发生数据错误并导致性能不佳。
因此,在本公开实施例中,会控制一次更新任务所更新的数据量最多不超过30条回答的评分。
为了实现上述功能,在本公开实施例中,消费程序在读取每行数据时会进行标记,并设置有一个指针指向更新成功的最后一行回答。而该指针只会在更新成功后才会被更新,如此可以确保下一次读取该评分文件的待更新评分时,可以从上次未更新成功的回答开始。
步骤350,通过限速器获取更新权限,更新回答评分。
图4示出了通过限速器获取更新权限的具体实现流程。参照图4,这一过程包括:
步骤410,请求Redis限速器获取5个执行更新任务的权限;
步骤420,根据Redis限速器返回的结果判读是否允许执行5个更新任务,若是,则继续步骤430,若否,则继续步骤440;
在本公开实施例中,Redis限速器返回的是每一时段对应的更新限速值,该值预先根据不同时段的流量信息所设置的。
如此可以更为精准地针对网络流量信息,设置每一时段对应的更新限速值,从而使系统运行得更为平稳。其中每一时段的流量信息可以是从系统已有的流量统计模块统计得到的历史流量信息,也可以是根据专家经验或领域知识预测得到的流量信息。
在本公开实施例中,还设置了一个代表已执行更新任务量的变量,每当有程序申请更新任务的权限成功时,该变量就会累加本次申请的任务个数。
而在判断是否允许执行5个更新任务时,会比较该变量加上5得到的预计任务数,如果更新限速值大于该预计任务数,则允许执行5个更新任务,否则不允许。
步骤430,执行1个更新任务;
步骤440,等待0.5-1个限速窗口时间,之后在此返回步骤410,重新请求Redis限速器获取更新权限;
步骤450,判断限速窗口偏移或者执行了5个更新任务,若是,则限速窗口偏移或者执行了5个更新任务,若否,则返回步骤430执行下一个更新任务。
由于Redis限速器可能会被多个消费程序访问,需要进行访问同步控制。因此,在本公开实施例中,每次回申请5个更新任务,如此可以减少访问限速器的次数,也可相应减少访问同步控制所消耗的系统资源。
此外,在本公开实施例中,还会记录下更新任务的执行信息,特别是:
历史更新过的评分文件;
每天执行了多少个更新任务,更新了多少条回答的评分;
当前任务队列中还有哪些任务没有被执行等。
如此,可实时了解到系统资源的使用情况,为以后提升时效性积累数据基础。
进一步的,在本公开实施例中,还会基于以上数据结合监控平台建立不同维度的报警,例如,在根据上述执行信息进行统计得出一下结论时,就会发送报警信息:
小时级更新任务执行数量小于1000时;
小时级任务积压数量大于10时;
周级任务积压数量大于2时;
日级任务积压数量大于2时等等。
相关系统维护人员在接到上述报警信息后,可以采取相应的措施,例如,调整限流窗口的大小等。如果是当时无法处理的问题,则可以先记录下来,在经过一段时间后,再根据报警频率和趋势等数据,进行更深入分析以判断是否需要对相关策略进行修改。…
本公开的技术方案中,所涉及的用户个人信息的获取,存储和应用等,均符合相关法律法规的规定,且不违背公序良俗。
根据本公开的实施例,本公开还提供了一种数据更新的装置,如图5所示,该装置50包括:待更新数据获取模块501,用于从任务队列中获取待执行的更新任务;更新限速值获取模块502,用于获取与当前时段对应的更新限速值;数据更新模块503,用于根据所述更新限速值和当前时段已经执行的更新任务量,确定是否执行所述更新任务。
根据本公开的实施例一实施方式,该装置50还包括:待更新数据获取模块,用于根据网络存储地址,获取待更新数据。
根据本公开的实施例一实施方式,该装置50还包括:待更新数据存储模块,用于将所述待更新数据存储至网络存储系统得到所述待更新数据的网络存储地址;待更新数据关联模块,用于将所述网络存储地址关联到所述更新任务。
根据本公开的实施例一实施方式,该该装置50还包括:更新限速值设置模块,用于根据不同时段的流量信息,设置每一时段对应的更新限速值。
根据本公开的实施例一实施方式,其中,数据更新模块503具体用于根据所述更新限速值和当前时段已经执行的更新任务量,判是否允许一次执行N个更新任务,若是,则执行N个更新任务。
根据本公开的实施例一实施方式,其中,数据更新模块503还用于根据所述更新限速值和当前时段已经执行的更新任务量,判是否允许一次执行N个更新任务,若否,则等待设定的一段时间。
根据本公开的实施例一实施方式,该该装置50还包括:记录模块,用于记录更新任务的执行信息。
根据本公开的实施例一实施方式,该该装置50还包括:系统运行状态确定模块,用于根据所述记录更新任务的执行信息,确定系统的运行状态;报警模块,用于若所述系统的运行状态异常,则执行报警操作。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图6所示,设备600包括计算单元601,其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序,来执行各种适当的动作和处理。在RAM 603中,还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
设备600中的多个部件连接至I/O接口605,包括:输入单元606,例如键盘、鼠标等;输出单元607,例如各种类型的显示器、扬声器等;存储单元608,例如磁盘、光盘等;以及通信单元609,例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理,例如,本公开数据更新的方法。例如,在一些实施例中,本公开数据更新的可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元608。在一些实施例中,计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时,可以执行上文描述的数据更新的的一个或多个步骤。备选地,在其他实施例中,计算单元601可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行本公开数据更新的。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以为分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (8)
1.一种数据更新的方法,包括:
从任务队列中获取待执行的更新任务;
获取与当前时段对应的更新限速值;其中,所述更新限速值指用于控制更新任务执行速率的值,即在设定的时间段内能执行几个更新任务;
根据所述更新限速值和当前时段已经执行的更新任务量,确定是否执行所述更新任务;所述更新任务关联有待更新数据的网络存储地址;
根据所述网络存储地址,获取所述待更新数据;
将所述待更新数据存储至网络存储系统得到所述待更新数据的网络存储地址;将所述网络存储地址关联到所述更新任务;
在所述获取与当前时段对应的更新限速值之前,还包括:根据不同时段的流量信息,设置每一时段对应的更新限速值;
所述根据所述更新限速值和当前时段已经执行的更新任务量,确定是否执行所述更新任务,包括:根据所述更新限速值和当前时段已经执行的更新任务量,判断是否允许一次执行N个更新任务,若是,则执行N个更新任务,N为自然数;
根据所述更新限速值和当前时段已经执行的更新任务量,判断是否允许一次执行N个更新任务,若否,则等待设定的一段时间。
2.根据权利要求1所述的方法,还包括:
记录所述更新任务的执行信息。
3.根据权利要求2所述的方法,还包括:
根据所述更新任务的执行信息,确定系统的运行状态;
若所述系统的运行状态异常,则执行报警操作。
4.一种数据更新的装置,包括:
待更新数据获取模块,用于从任务队列中获取待执行的更新任务;
更新限速值获取模块,用于获取与当前时段对应的更新限速值;其中,所述更新限速值指用于控制更新任务执行速率的值,即在设定的时间段内能执行几个更新任务;
数据更新模块,用于根据所述更新限速值和当前时段已经执行的更新任务量,确定是否执行所述更新任务;
待更新数据获取模块,用于根据网络存储地址,获取待更新数据;
待更新数据存储模块,用于将所述待更新数据存储至网络存储系统得到所述待更新数据的网络存储地址;
待更新数据关联模块,用于将所述网络存储地址关联到所述更新任务;
更新限速值设置模块,用于根据不同时段的流量信息,设置每一时段对应的更新限速值;所述数据更新模块具体用于根据所述更新限速值和当前时段已经执行的更新任务量,判断是否允许一次执行 N个更新任务,若是,则执行N个更新任务,N为自然数;所述数据更新模块还用于根据所述更新限速值和当前时段已经执行的更新任务量,判断是否允许一次执行N个更新任务,若否,则等待设定的一段时间。
5.根据权利要求4所述的装置,还包括:
记录模块,用于记录更新任务的执行信息。
6.根据权利要求4所述的装置,还包括:
系统运行状态确定模块,用于根据所述记录更新任务的执行信息,确定系统的运行状态;
报警模块,用于若所述系统的运行状态异常,则执行报警操作。
7. 一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-3中任一项所述的方法。
8.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-3中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111446837.5A CN114185612B (zh) | 2021-11-30 | 2021-11-30 | 一种数据更新的方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111446837.5A CN114185612B (zh) | 2021-11-30 | 2021-11-30 | 一种数据更新的方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114185612A CN114185612A (zh) | 2022-03-15 |
CN114185612B true CN114185612B (zh) | 2023-08-08 |
Family
ID=80541845
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111446837.5A Active CN114185612B (zh) | 2021-11-30 | 2021-11-30 | 一种数据更新的方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114185612B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6449614B1 (en) * | 1999-03-25 | 2002-09-10 | International Business Machines Corporation | Interface system and method for asynchronously updating a share resource with locking facility |
CN111831420A (zh) * | 2020-07-20 | 2020-10-27 | 北京百度网讯科技有限公司 | 用于任务调度的方法、装置、电子设备及计算机可读存储介质 |
CN112202684A (zh) * | 2020-09-10 | 2021-01-08 | 苏州浪潮智能科技有限公司 | 一种限速队列提交训练任务的方法和装置 |
CN113656423A (zh) * | 2021-08-18 | 2021-11-16 | 北京百度网讯科技有限公司 | 更新数据的方法及装置、电子设备和存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9400680B2 (en) * | 2014-11-04 | 2016-07-26 | Xerox Corporation | Transportation network micro-simulation with pre-emptive decomposition |
-
2021
- 2021-11-30 CN CN202111446837.5A patent/CN114185612B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6449614B1 (en) * | 1999-03-25 | 2002-09-10 | International Business Machines Corporation | Interface system and method for asynchronously updating a share resource with locking facility |
CN111831420A (zh) * | 2020-07-20 | 2020-10-27 | 北京百度网讯科技有限公司 | 用于任务调度的方法、装置、电子设备及计算机可读存储介质 |
CN112202684A (zh) * | 2020-09-10 | 2021-01-08 | 苏州浪潮智能科技有限公司 | 一种限速队列提交训练任务的方法和装置 |
CN113656423A (zh) * | 2021-08-18 | 2021-11-16 | 北京百度网讯科技有限公司 | 更新数据的方法及装置、电子设备和存储介质 |
Non-Patent Citations (1)
Title |
---|
C.A. Hurtado ; A.O. Mendelzon ; A.A. Vaisman.Maintaining data cubes under dimension updates.《IEEE》.2002, * |
Also Published As
Publication number | Publication date |
---|---|
CN114185612A (zh) | 2022-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105281981B (zh) | 网络服务的数据流量监控方法和装置 | |
CN109471783B (zh) | 预测任务运行参数的方法和装置 | |
EP4113299A2 (en) | Task processing method and device, and electronic device | |
CN113704063B (zh) | 一种云手机的性能监控方法、装置、设备及存储介质 | |
US11640319B1 (en) | Task processing method and apparatus, electronic device and storage medium | |
CN114662953A (zh) | 物联网设备运维方法、装置、设备及介质 | |
CN115204815A (zh) | 一种电网客服工单超时预警方法、装置、设备及存储介质 | |
CN115202847A (zh) | 任务的调度方法和装置 | |
CN115640107A (zh) | 运行维护方法、装置、设备及介质 | |
CN114185612B (zh) | 一种数据更新的方法、装置、设备及存储介质 | |
CN117350640A (zh) | 一种项目进度管理方法与系统 | |
CN115718732A (zh) | 一种磁盘文件管理方法、装置、设备及存储介质 | |
CN114051057A (zh) | 云设备排队时长的确定方法、装置、电子设备和介质 | |
CN113779098B (zh) | 数据处理方法、装置、电子设备以及存储介质 | |
CN113422734B (zh) | 资源分发方法、装置、电子设备以及存储介质 | |
CN115525516A (zh) | 一种任务的调度告警方法、装置、电子设备及存储介质 | |
CN115495199A (zh) | 一种容器部署方法、装置、设备及存储介质 | |
CN117608946A (zh) | 一种并发压力测试方法、装置、设备及存储介质 | |
CN112035252A (zh) | 一种任务的处理方法、装置、设备和介质 | |
CN114844920A (zh) | 一种物联网设备盘点方法、装置、电子设备及存储介质 | |
CN116450915A (zh) | 应用降级方法、装置、电子设备和存储介质 | |
CN114693459A (zh) | 基于金融场景的风险控制方法、装置及电子设备 | |
CN117555913A (zh) | 基于第三方平台的对象数据更新方法和装置 | |
CN116312917A (zh) | 一种检验报告单生成方法、装置、电子设备及存储介质 | |
CN113283863A (zh) | 绩效分配方法、绩效分配装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |