CN113641521A - 数据处理方法、装置、存储介质及电子设备 - Google Patents
数据处理方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN113641521A CN113641521A CN202111207069.8A CN202111207069A CN113641521A CN 113641521 A CN113641521 A CN 113641521A CN 202111207069 A CN202111207069 A CN 202111207069A CN 113641521 A CN113641521 A CN 113641521A
- Authority
- CN
- China
- Prior art keywords
- task
- data
- task data
- information
- queue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 38
- 238000012545 processing Methods 0.000 title claims abstract description 24
- 230000002159 abnormal effect Effects 0.000 claims abstract description 54
- 230000005856 abnormality Effects 0.000 claims description 19
- 238000013507 mapping Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 4
- 238000000034 method Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 17
- 230000006854 communication Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000007599 discharging Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/54—Indexing scheme relating to G06F9/54
- G06F2209/548—Queue
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Retry When Errors Occur (AREA)
Abstract
本申请公开了一种数据处理方法、装置、存储介质及电子设备。其中,该数据处理方法采用当第一任务队列出现限流异常时,确定第一任务队列中被限流的任务数据;然后,获取任务数据的限流异常信息;之后,根据限流异常信息确定任务数据的延时信息;然后,根据延时信息确定任务数据的再次执行时间;最后,当到达再次执行时间时,在第一任务队列中对任务数据进行执行。本方案可以提高数据同步的及时性。
Description
技术领域
本申请涉及数据处理技术领域,具体涉及一种数据处理方法、装置、存储介质及电子设备。
背景技术
随着网络技术的迅猛发展,电子商务日益显示出巨大的市场价值和发展潜力,并在各行各业广泛应用,电商平台多样化、交易规模巨量化、综合服务大、卖家批量化涌现、产业链分工更细化及完善。
为了保证数据利用的合理性及出于性能和公平的考虑,第三方平台通常都会对接口调用的吞吐量进行限制。对于电商企业资源计划系统(Enterprise Resource Planning,ERP)用户而言,对于第三方数据同步的及时性和完整性有着非常苛刻的要求。
然而,目前的第三方数据同步策略在及时性和完整性上存在巨大缺陷。
发明内容
本申请实施例提供一种数据处理方法、装置及存储介质,可以提高数据同步的及时性。
第一方面,本申请实施例提供一种数据处理方法,包括:
当第一任务队列出现限流异常时,确定所述第一任务队列中被限流的任务数据;
获取所述任务数据的限流异常信息;
根据所述限流异常信息确定所述任务数据的延时信息;
根据所述延时信息确定所述任务数据的再次执行时间;
当到达所述再次执行时间时,在所述第一任务队列中对所述任务数据进行执行。
在本申请实施例提供的数据处理方法中,在所述当第一任务队列出现限流异常时,确定所述第一任务队列中被限流的任务数据之前,还包括:
获取所述任务数据的标识信息和负载信息;
基于所述标识信息和所述负载信息建立关系映射表,并分别将所述负载信息和所述标识信息分别存入预设负载数据库和第一任务队列中。
在本申请实施例提供的数据处理方法中,所述当到达所述再次执行时间时,对所述任务数据再次进行执行,包括:
当到达所述再次执行时间时,基于所述关系映射表和所述标识信息从所述预设负载数据库中获取对应的负载信息;
基于所述负载信息在所述第一任务队列中对所述任务数据进行执行。
在本申请实施例提供的数据处理方法中,在所述在所述第一任务队列中对所述任务数据进行执行之前,还包括:
确定所述任务数据是否在第二任务队列的头部;
若是,则忽略所述任务数据;
若否,则执行在所述第一任务队列中对所述任务数据进行执行的步骤。
在本申请实施例提供的数据处理方法中,所述当到达所述再次执行时间时,在所述第一任务队列中对所述任务数据进行执行,包括:
当到达所述再次执行时间时,将所述任务数据置入所述第一任务队列的头部,以优先对所述任务数据进行执行。
在本申请实施例提供的数据处理方法中,在所述根据所述延时信息确定所述任务数据的再次执行时间之后,所述当到达所述再次执行时间时,在所述第一任务队列中对所述任务数据进行执行之前,还包括:
对所述任务数据出现限流异常的次数进行统计,得到总异常次数;
将所述总异常次数与异常次数阈值进行比较,得到比较结果;
根据所述比较结果确定是否执行在所述第一任务队列中对所述任务数据进行执行的步骤。
在本申请实施例提供的数据处理方法中,所述根据所述比较结果确定是否执行在所述第一任务队列中对所述任务数据进行执行的步骤,包括:
若所述总异常次数小于所述异常次数阈值,则执行在所述第一任务队列中对所述任务数据进行执行的步骤;
若所述总异常次数大于或等于所述异常次数阈值,则将所述任务数据从所述第一任务队列中剔除。
第二方面,本申请实施例提供一种数据处理装置,包括:
第一确定单元,用于当第一任务队列出现限流异常时,确定所述第一任务队列中被限流的任务数据;
信息获取单元,用于获取所述任务数据的限流异常信息;
第二确定单元,用于根据所述限流异常信息确定所述任务数据的延时信息;
第三确定单元,用于根据所述延时信息确定所述任务数据的再次执行时间;
任务执行单元,用于当到达所述再次执行时间时,在所述第一任务队列中对所述任务数据进行执行。
第三方面,本申请实施例提供了一种存储介质,所述存储介质存储有多条指令,所述指令适于处理器进行加载,以执行上述的任一数据处理方法。
第四方面,本申请实施例提供了一种电子设备,包括存储器,处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,所述处理器执行所述计算机程序时实现如上述的任一数据处理方法。
本申请实施例提供的数据处理方法采用当第一任务队列出现限流异常时,确定所述第一任务队列中被限流的任务数据;然后,获取所述任务数据的限流异常信息;之后,根据所述限流异常信息确定所述任务数据的延时信息;然后,根据所述延时信息确定所述任务数据的再次执行时间;最后,当到达所述再次执行时间时,在所述第一任务队列中对所述任务数据进行执行。本方案可以提高数据同步的及时性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的数据处理方法的流程示意图。
图2为本申请实施例提供的数据处理装置的结构示意图。
图3为本申请实施例提供的服务器的结构示意图。
图4为本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请中的术语“第一”和“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、系统、产品或设备没有限定于已列出的步骤或模块,而是可选地还包括没有列出的步骤或模块,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本申请实施例提供一种数据处理方法、装置、存储介质及电子设备。具体地,本申请实施例提供的数据处理装置可以集成于电子设备中,该电子设备可以为手机、平板电脑以及笔记本电脑等终端设备。数据处理装置也可以集成于服务器等网络侧设备。需要说明的是,该服务器可以是单台服务器,也可以是由多个服务器组成的服务器集群,可以是实体的服务器,也可是虚拟服务器。
本申请实施例提供了一种数据处理方法、装置、存储介质及电子设备,以下将分别进行详细说明。需要说明的是,以下各个实施例的描述先后顺序并不构成对具体实施先后顺序的限定。
本实施例将从数据处理装置的角度进行描述,本实施例的提供的数据处理方法可以使用上述的电子设备或服务器进行实施。请参照图1,图1为本申请的数据处理方法的流程示意图。该数据处理方法的具体流程可以如下:
101、当第一任务队列出现限流异常时,确定第一任务队列中被限流的任务数据。
随着电商平台多样化、交易规模巨量化、综合服务大、卖家批量化涌现、产业链分工更细化及完善,第三方平台需要处理的数据也越来越多。为了保证数据利用的合理性及出于性能和公平的考虑,第三方平台通常都会对接口调用的吞吐量进行限制。
对接口调用的吞吐量进行限制具体可以体现在对任务数据的限流上。比如,可以将一个店铺作为一个任务数据,当该店铺在单位时间内的点击次数超过阈值时,则可以对该店铺进行限流。其中,该阈值可以根据实际情况进行设定,比如,1分钟之内点击200次、1分钟之内点击300次、2分钟内点击300次等等。
需要说明的是,该任务数据可以包括多个类型。比如,店铺和商品可以分为不同类型的任务数据。或者,同一地区的店铺可以当做一个类型的任务数据,另一个地区的店铺可以当做另一个类型的任务数据。可以理解的是,该任务数据的类型及划分可以根据实际情况进行相应的调整,在本申请实施例中并不对其进行限制。
在一些实施例中,在对任务数据进行执行时,为了便于管理及减少任务执行的时间,提高效率,可以将多个任务数据按照预设策略划分在不同的任务队列中。其中,该预设策略可以是任务数据的类型,也可以是其他的划分规则。
在一些实施例中,当出现限流异常的情况时,可以先确定出现限流异常的第一任务队列,然后再确定该第一任务队列中被限流的任务数据。需要说明的是,在一般的情况下,同一任务队列中的各个任务数据是按照从队列头部至队列尾部的顺序进行执行的。也即,在本申请实施例中,当第一任务队列出现限流异常时,可以确定该第一任务队列中被限流的任务数据是位于该第一任务队列头部的任务数据。
在一些实施例中,该任务数据可以包括标识信息和负载信息。其中,该标识信息即为该任务数据的键值。
可以理解的是,在具体实施过程中,由于该任务数据的负载信息过大,若是将该任务数据的标识信息和负载信息均放置在任务队列中,不仅会增加任务队列的负荷,还有可能会影响到该任务数据的执行速率。
为了避免出现上述情况,在一些实施例中,可以将该任务数据的标识信息和负载信息分别存入任务队列和预设负载数据库中。当该任务数据需要被执行时,再根据该任务数据的标识信息在预设负载数据库中获取对应的负载信息。
也即,在步骤“当第一任务队列出现限流异常时,确定第一任务队列中被限流的任务数据”之前,还可以包括:
获取任务数据的标识信息和负载信息;
基于标识信息和负载信息建立关系映射表,并分别将负载信息和标识信息分别存入预设负载数据库和第一任务队列中。
可以理解的是,该任务数据的标识信息和负载信息在关系映射表中为一一对应的映射关系。该映射关系表中存储有多个任务数据的标识信息和负载信息的映射关系。
102、获取任务数据的限流异常信息。
具体的,当确定被限流的任务数据后,可以获取该任务数据当前的限流异常信息。可以理解的是,该限流异常信息可以是在任务数据被限流后,云服务器发送的。
103、根据限流异常信息确定任务数据的延时信息。
在一些实施例中,该限流异常信息可以包括令牌恢复速率或计数器时间槽大小等。
因此,可以从该限流异常信息中提取该任务数据的令牌恢复速率或数器时间槽大小等信息。从而可以根据令牌恢复速率或数器时间槽大小等信息,计算出该任务数据的延时信息。
需要说明的是,该延时信息可以为该任务数据距离下次可再次执行时间的时间间隔。比如,1分钟、2分钟、5分钟、30秒等等。
104、根据延时信息确定任务数据的再次执行时间。
由上可知,该延时信息为该任务数据距离下次的可执行时间的时间间隔。因此,在得到该任务数据的延时信息之后,便可以根据该任务数据的限流开始时间和该延时信息得到该任务数据距离下次可再次执行时间。
需要说明的是,该限流开始时间和再次执行时间均为具体的时刻。比如,上午八点一十五分二十秒、下午三点零五分四十五秒等。
可以理解的是,延时信息、限流开始时间和再次执行时间越精确越好。也即,该延时信息、限流开始时间和再次执行时间可以精确到毫秒、微秒等。
105、当到达再次执行时间时,在第一任务队列中对任务数据进行执行。
在具体的实施过程中,当到达再次执行时间时,可以基于关系映射表和该任务数据的标识信息从预设负载数据库中获取对应的负载信息,然后再基于该负载信息在第一任务队列中对该任务数据进行执行。
具体的,当到达再次执行时间时,可以将该任务数据置入第一任务队列的头部,以优先对该任务数据进行执行。
在具体实施过程中,同一任务数据存在可以在多个任务队列中执行的情况。可以理解的是,当同一任务数据被多个任务队列执行时,会出现系统资源浪费的情况。
因此,为了避免出现同一任务数据被多个任务队列执行,在一些实施例中,可以在对该任务数据进行执行之前,先确定该任务数据是否已经被其他任务执行或待执行。
具体的,可以先确定该任务数据是否在第二任务队列的头部;若是,则可以忽略该任务数据,然后执行处于该任务数据之后的其他任务数据。若否,则可以执行在第一任务队列中对任务数据进行执行的步骤。
可以理解的是,当到达再次执行时间,在第一任务队列中对该任务数据进行执行时,可以重新对该任务数据的全部进行执行,也可以仅执行该任务数据在被限流时未执行的部分数据。为了提高任务数据执行的速率,在本申请实施例中,当到达再次执行时间时,在第一任务队列中对任务数据进行执行时仅执行该任务数据被限流时未执行的部分数据。之后,可以将该任务数据被限流之前已执行的数据与被限流时未执行的部分数据进行组合,得到该任务数据的完整执行数据。
在一些实施例中,当该任务数据被全部执行完毕后,可以对该任务数据的负载信息进行更新,然后将更新后的负载信息存入预设负载信息库中,对该任务数据之前的负载信息进行替换。此时,可以将该任务数据置入第一任务队列的尾部,等待下次执行。
在具体实施过程中,可能由于任务数据的负载信息出现错误,从而导致该任务数据出现接连出现多次限流异常的情况,这明显会对系统资源造成浪费,且降低了任务数据的执行速率。
为了解决该问题,在一些实施例中,可以对该任务数据出现限流异常的次数进行统计,然后根据统计结果确定是否继续在第一任务队列中对该任务数据进行执行。也即,在步骤“当到达再次执行时间时,在第一任务队列中对任务数据进行执行”之前,还可以包括:
对任务数据出现限流异常的次数进行统计,得到总异常次数;
将总异常次数与异常次数阈值进行比较,得到比较结果;
根据比较结果确定是否执行在第一任务队列中对任务数据进行执行的步骤。
可以理解的是,该异常次数阈值可以根据实际情况进行设定。比如,3次、5次、6次等。
具体的,当总异常次数小于异常次数阈值时,可以执行在第一任务队列中对任务数据进行执行的步骤;当总异常次数大于或等于异常次数阈值时,可以将任务数据从第一任务队列中剔除,然后执行该任务数据之后的其他任务数据。
需要说明的是,将该任务数据从第一任务队列中剔除之后,可以将该任务数据置入第三任务队列中,然后对该任务数据的处于预设负载信息库中的负载信息进行修复。当修复完成后,在该第三任务队列中对该任务数据进行测试执行。若是执行完成,则可以将该任务数据置入第一任务队列的尾部,等待再次被执行。
上述所有的技术方案,可以采用任意结合形成本申请的可选实施例,在此不再一一赘述。
综上,本申请实施例提供的数据处理方法采用当第一任务队列出现限流异常时,确定第一任务队列中被限流的任务数据;然后,获取任务数据的限流异常信息;之后,根据限流异常信息确定任务数据的延时信息;然后,根据延时信息确定任务数据的再次执行时间;最后,当到达再次执行时间时,在第一任务队列中对任务数据进行执行。本方案通过将被限流的任务数据在延时结束后,直接置入第一任务队列的头部,从而对该任务数据进行优先执行,提高了该任务数据的执行速率,进而可以缩短第三方数据的同步时间,提高数据同步的及时性和完整性。
为了更好地实施以上数据处理方法,相应的,本申请实施例还提供一种数据处理装置,如图2所示,图2为本申请实施例提供的数据处理装置的结构示意图。该数据处理装置200可以包括第一确定单元201、信息获取单元202、第二确定单元203、第三确定单元204和任务执行单元205。其中,
该第一确定单元201可以用于当第一任务队列出现限流异常时,确定第一任务队列中被限流的任务数据。
该信息获取单元202可以用于获取任务数据的限流异常信息。
该第二确定单元203可以用于根据限流异常信息确定任务数据的延时信息。
该第三确定单元204可以用于根据延时信息确定任务数据的再次执行时间。
该任务执行单元205可以用于当到达再次执行时间时,在第一任务队列中对任务数据进行执行。
需要说明的是,该数据处理装置200可以集成在电子设备或服务器中。其中名词的含义与上述数据处理方法中相同,具体实现细节可以参考方法实施例中的说明。
综上,本申请实施例提供的数据处理装置200可以通过该第一确定单元201在当第一任务队列出现限流异常时,确定第一任务队列中被限流的任务数据。由信息获取单元202可以用于获取任务数据的限流异常信息。由第二确定单元203根据限流异常信息确定任务数据的延时信息。由第三确定单元204根据延时信息确定任务数据的再次执行时间。由任务执行单元205当到达再次执行时间时,在第一任务队列中对任务数据进行执行。本方案通过将被限流的任务数据在延时结束后,直接置入第一任务队列的头部,从而对该任务数据进行优先执行,提高了该任务数据的执行速率,进而可以缩短第三方数据的同步时间,提高数据同步的及时性和完整性。
本申请实施例还提供一种服务器,如图3所示,其示出了本申请实施例所涉及的服务器的结构示意图,具体来讲:
该服务器可以包括一个或者一个以上处理核心的处理器301、一个或一个以上计算机可读存储介质的存储器302、电源303和输入单元304等部件。本领域技术人员可以理解,图3中示出的服务器结构并不构成对服务器的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器301是该服务器的控制中心,利用各种接口和线路连接整个服务器的各个部分,通过运行或执行存储在存储器302内的软件程序和/或模块,以及调用存储在存储器302内的数据,执行服务器的各种功能和处理数据,从而对服务器进行整体监控。可选的,处理器301可包括一个或多个处理核心;优选的,处理器301可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器301中。
存储器302可用于存储软件程序以及模块,处理器301通过运行存储在存储器302的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器302可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据服务器的使用所创建的数据等。此外,存储器302可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器302还可以包括存储器控制器,以提供处理器301对存储器302的访问。
服务器还包括给各个部件供电的电源303,优选的,电源303可以通过电源管理系统与处理器301逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源303还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该服务器还可包括输入单元304,该输入单元304可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出,服务器还可以包括显示单元等,在此不再赘述。具体在本实施例中,服务器中的处理器301会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器302中,并由处理器301来运行存储在存储器302中的应用程序,从而实现各种功能,如下:
当第一任务队列出现限流异常时,确定所述第一任务队列中被限流的任务数据;
获取所述任务数据的限流异常信息;
根据所述限流异常信息确定所述任务数据的延时信息;
根据所述延时信息确定所述任务数据的再次执行时间;
当到达所述再次执行时间时,在所述第一任务队列中对所述任务数据进行执行。
以上操作具体可参见前面的实施例,在此不作赘述。
由上可知,本实施例提供的服务器采用当第一任务队列出现限流异常时,确定第一任务队列中被限流的任务数据;然后,获取任务数据的限流异常信息;之后,根据限流异常信息确定任务数据的延时信息;然后,根据延时信息确定任务数据的再次执行时间;最后,当到达再次执行时间时,在第一任务队列中对任务数据进行执行。本方案通过将被限流的任务数据在延时结束后,直接置入第一任务队列的头部,从而对该任务数据进行优先执行,提高了该任务数据的执行速率,进而可以缩短第三方数据的同步时间,提高数据同步的及时性和完整性。
相应的,本申请实施例还提供一种电子设备,如图4所示,该电子设备可以包括射频(RF,Radio Frequency)电路401、包括有一个或一个以上计算机可读存储介质的存储器402、输入单元403、显示单元404、传感器405、音频电路406、无线保真(WiFi,WirelessFidelity)模块407、包括有一个或者一个以上处理核心的处理器408、以及电源409等部件。本领域技术人员可以理解,图4中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
RF电路401可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,交由一个或者一个以上处理器408处理;另外,将涉及上行的数据发送给基站。通常,RF电路401包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(SIM, Subscriber Identity Module)卡、收发信机、耦合器、低噪声放大器(LNA,Low Noise Amplifier)、双工器等。此外,RF电路401还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统 (GSM,Global System of Mobile communication)、通用分组无线服务(GPRS ,GeneralPacket Radio Service)、码分多址(CDMA,Code Division Multiple Access)、宽带码分多址(WCDMA,Wideband Code Division Multiple Access)、长期演进(LTE,Long TermEvolution)、电子邮件、短消息服务(SMS,Short Messaging Service)等。
存储器402可用于存储软件程序以及模块,处理器408通过运行存储在存储器402的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器402还可以包括存储器控制器,以提供处理器408和输入单元403对存储器402的访问。
输入单元403可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地,在一个具体的实施例中,输入单元403可包括触敏表面以及其他输入设备。触敏表面,也称为触摸显示屏或者触控板,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触敏表面可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器408,并能接收处理器408发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面,输入单元403还可以包括其他输入设备。具体地,其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元404可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元404可包括显示面板,可选的,可以采用液晶显示器(LCD,Liquid CrystalDisplay)、有机发光二极管(OLED,Organic Light-Emitting Diode)等形式来配置显示面板。进一步的,触敏表面可覆盖显示面板,当触敏表面检测到在其上或附近的触摸操作后,传送给处理器408以确定触摸事件的类型,随后处理器408根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图4中,触敏表面与显示面板是作为两个独立的部件来实现输入和输入功能,但是在某些实施例中,可以将触敏表面与显示面板集成而实现输入和输出功能。
电子设备还可包括至少一种传感器405,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板的亮度,接近传感器可在电子设备移动到耳边时,关闭显示面板和/或背光。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别电子设备姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等; 至于电子设备还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路406、扬声器,传声器可提供用户与电子设备之间的音频接口。音频电路406可将接收到的音频数据转换后的电信号,传输到扬声器,由扬声器转换为声音信号输出;另一方面,传声器将收集的声音信号转换为电信号,由音频电路406接收后转换为音频数据,再将音频数据输出处理器408处理后,经RF电路401以发送给比如另一电子设备,或者将音频数据输出至存储器402以便进一步处理。音频电路406还可能包括耳塞插孔,以提供外设耳机与电子设备的通信。
WiFi属于短距离无线传输技术,电子设备通过WiFi模块407可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图4示出了WiFi模块407,但是可以理解的是,其并不属于电子设备的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器408是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器402内的软件程序和/或模块,以及调用存储在存储器402内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。可选的,处理器408可包括一个或多个处理核心;优选的,处理器408可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器408中。
电子设备还包括给各个部件供电的电源409(比如电池),优选的,电源可以通过电源管理系统与处理器408逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源409还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出,电子设备还可以包括摄像头、蓝牙模块等,在此不再赘述。具体在本实施例中,电子设备中的处理器408会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中,并由处理器408来运行存储在存储器402中的应用程序,从而实现各种功能:
当第一任务队列出现限流异常时,确定所述第一任务队列中被限流的任务数据;
获取所述任务数据的限流异常信息;
根据所述限流异常信息确定所述任务数据的延时信息;
根据所述延时信息确定所述任务数据的再次执行时间;
当到达所述再次执行时间时,在所述第一任务队列中对所述任务数据进行执行。
以上操作具体可参见前面的实施例,在此不作赘述。
由上可知,本实施例提供的电子设备采用当第一任务队列出现限流异常时,确定第一任务队列中被限流的任务数据;然后,获取任务数据的限流异常信息;之后,根据限流异常信息确定任务数据的延时信息;然后,根据延时信息确定任务数据的再次执行时间;最后,当到达再次执行时间时,在第一任务队列中对任务数据进行执行。本方案通过将被限流的任务数据在延时结束后,直接置入第一任务队列的头部,从而对该任务数据进行优先执行,提高了该任务数据的执行速率,进而可以缩短第三方数据的同步时间,提高数据同步的及时性和完整性。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请实施例提供一种存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本申请实施例所提供的任一种数据处理方法中的步骤。例如,该指令可以执行如下步骤:
当第一任务队列出现限流异常时,确定所述第一任务队列中被限流的任务数据;
获取所述任务数据的限流异常信息;
根据所述限流异常信息确定所述任务数据的延时信息;
根据所述延时信息确定所述任务数据的再次执行时间;
当到达所述再次执行时间时,在所述第一任务队列中对所述任务数据进行执行。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
其中,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令,可以执行本申请实施例所提供的任一数据处理方法中的步骤,因此,可以实现本申请实施例所提供的任一数据处理方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
以上对本申请实施例所提供的一种数据处理方法、装置、存储介质及电子设备进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种数据处理方法,其特征在于,包括:
当第一任务队列出现限流异常时,确定所述第一任务队列中被限流的任务数据;
获取所述任务数据的限流异常信息;
根据所述限流异常信息确定所述任务数据的延时信息;
根据所述延时信息确定所述任务数据的再次执行时间;
当到达所述再次执行时间时,在所述第一任务队列中对所述任务数据进行执行。
2.如权利要求1所述的数据处理方法,其特征在于,在所述当第一任务队列出现限流异常时,确定所述第一任务队列中被限流的任务数据之前,还包括:
获取所述任务数据的标识信息和负载信息;
基于所述标识信息和所述负载信息建立关系映射表,并分别将所述负载信息和所述标识信息分别存入预设负载数据库和第一任务队列中。
3.如权利要求2所述的数据处理方法,其特征在于,所述当到达所述再次执行时间时,对所述任务数据再次进行执行,包括:
当到达所述再次执行时间时,基于所述关系映射表和所述标识信息从所述预设负载数据库中获取对应的负载信息;
基于所述负载信息在所述第一任务队列中对所述任务数据进行执行。
4.如权利要求1-3任一项所述的数据处理方法,其特征在于,在步骤在所述第一任务队列中对所述任务数据进行执行之前,还包括:
确定所述任务数据是否在第二任务队列的头部;
若是,则忽略所述任务数据;
若否,则执行在所述第一任务队列中对所述任务数据进行执行的步骤。
5.如权利要求1所述的数据处理方法,其特征在于,所述当到达所述再次执行时间时,在所述第一任务队列中对所述任务数据进行执行,包括:
当到达所述再次执行时间时,将所述任务数据置入所述第一任务队列的头部,以优先对所述任务数据进行执行。
6.如权利要求1所述的数据处理方法,其特征在于,在所述根据所述延时信息确定所述任务数据的再次执行时间之后,所述当到达所述再次执行时间时,在所述第一任务队列中对所述任务数据进行执行之前,还包括:
对所述任务数据出现限流异常的次数进行统计,得到总异常次数;
将所述总异常次数与异常次数阈值进行比较,得到比较结果;
根据所述比较结果确定是否执行在所述第一任务队列中对所述任务数据进行执行的步骤。
7.如权利要求6所述的数据处理方法,其特征在于,所述根据所述比较结果确定是否执行在所述第一任务队列中对所述任务数据进行执行的步骤,包括:
若所述总异常次数小于所述异常次数阈值,则执行在所述第一任务队列中对所述任务数据进行执行的步骤;
若所述总异常次数大于或等于所述异常次数阈值,则将所述任务数据从所述第一任务队列中剔除。
8.一种数据处理装置,其特征在于,包括:
第一确定单元,用于当第一任务队列出现限流异常时,确定所述第一任务队列中被限流的任务数据;
信息获取单元,用于获取所述任务数据的限流异常信息;
第二确定单元,用于根据所述限流异常信息确定所述任务数据的延时信息;
第三确定单元,用于根据所述延时信息确定所述任务数据的再次执行时间;
任务执行单元,用于当到达所述再次执行时间时,在所述第一任务队列中对所述任务数据进行执行。
9.一种存储介质,其特征在于,所述存储介质存储有多条指令,所述指令适于处理器进行加载,以执行权利要求1-7任一项所述的数据处理方法。
10.一种电子设备,其特征在于,包括存储器,处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,所述处理器执行所述计算机程序时实现如权利要求1-7任一项所述的数据处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111207069.8A CN113641521A (zh) | 2021-10-18 | 2021-10-18 | 数据处理方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111207069.8A CN113641521A (zh) | 2021-10-18 | 2021-10-18 | 数据处理方法、装置、存储介质及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113641521A true CN113641521A (zh) | 2021-11-12 |
Family
ID=78427389
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111207069.8A Pending CN113641521A (zh) | 2021-10-18 | 2021-10-18 | 数据处理方法、装置、存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113641521A (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107748695A (zh) * | 2017-10-24 | 2018-03-02 | 平安科技(深圳)有限公司 | 定时任务处理方法、装置、存储介质和计算机设备 |
CN110224922A (zh) * | 2019-05-21 | 2019-09-10 | 成都路行通信息技术有限公司 | 一种基于RabbitMQ的异步消息重试方法、系统及系统构建方法 |
-
2021
- 2021-10-18 CN CN202111207069.8A patent/CN113641521A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107748695A (zh) * | 2017-10-24 | 2018-03-02 | 平安科技(深圳)有限公司 | 定时任务处理方法、装置、存储介质和计算机设备 |
CN110224922A (zh) * | 2019-05-21 | 2019-09-10 | 成都路行通信息技术有限公司 | 一种基于RabbitMQ的异步消息重试方法、系统及系统构建方法 |
Non-Patent Citations (1)
Title |
---|
程文娟: "《嵌入式实时操作系统μC/OS-Ⅱ教程》", 28 January 2017 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105786878B (zh) | 一种浏览对象的显示方法及装置 | |
CN108470571B (zh) | 一种音频检测方法、装置及存储介质 | |
CN108039963B (zh) | 一种容器配置方法、装置及存储介质 | |
CN108958606B (zh) | 分屏显示方法、装置、存储介质和电子设备 | |
CN104281394A (zh) | 智能选词的方法和装置 | |
CN111273955B (zh) | 热修复插件优化方法、装置、存储介质及电子设备 | |
CN107734618B (zh) | 应用程序关闭方法、装置、存储介质和电子设备 | |
CN112749074B (zh) | 一种测试用例推荐方法以及装置 | |
WO2014166307A1 (en) | Method for determining performance of process of application and computer system | |
CN109688611B (zh) | 一种频段参数的配置方法、装置、终端和存储介质 | |
CN111045737A (zh) | 设备标识获取方法、装置、终端设备和存储介质 | |
CN108269223B (zh) | 一种网页图形绘制方法及终端 | |
US20140310711A1 (en) | Method for determining performance of process of application and computer system | |
CN110908586A (zh) | 一种键盘的显示方法、装置及终端设备 | |
CN115118636A (zh) | 网络抖动状态的确定方法、装置、电子设备及存储介质 | |
CN113641521A (zh) | 数据处理方法、装置、存储介质及电子设备 | |
CN106681845B (zh) | 一种管理通讯消息的方法和装置 | |
CN107066861B (zh) | 一种指纹事件的处理方法及移动终端 | |
CN109426572B (zh) | 任务处理方法、装置及电子设备 | |
CN110716908A (zh) | 日志信息写入方法、系统、存储介质及移动终端 | |
CN110618798A (zh) | 多屏显示的方法、多屏装置、存储介质及终端设备 | |
CN114095585B (zh) | 数据传输方法、装置、存储介质及电子设备 | |
CN104134044A (zh) | 一种数据安全性的检测方法、装置和系统 | |
CN112199021B (zh) | 一种应用程序开启方法、装置及移动终端 | |
CN114661247B (zh) | 自动扩容方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211112 |
|
RJ01 | Rejection of invention patent application after publication |