CN111800459A - 下载任务异步处理方法、装置、系统和存储介质 - Google Patents

下载任务异步处理方法、装置、系统和存储介质 Download PDF

Info

Publication number
CN111800459A
CN111800459A CN202010454003.8A CN202010454003A CN111800459A CN 111800459 A CN111800459 A CN 111800459A CN 202010454003 A CN202010454003 A CN 202010454003A CN 111800459 A CN111800459 A CN 111800459A
Authority
CN
China
Prior art keywords
task
download
target
downloading
tasks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010454003.8A
Other languages
English (en)
Inventor
冯驰
胥磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suning Cloud Computing Co Ltd
Original Assignee
Suning Cloud Computing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suning Cloud Computing Co Ltd filed Critical Suning Cloud Computing Co Ltd
Priority to CN202010454003.8A priority Critical patent/CN111800459A/zh
Publication of CN111800459A publication Critical patent/CN111800459A/zh
Priority to PCT/CN2021/095194 priority patent/WO2021238796A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/34Network arrangements or protocols for supporting network services or applications involving the movement of software or configuration parameters 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请具体涉及一种下载任务异步处理方法、装置、系统和存储介质。所述方法包括:在接收到来自任一客户端的下载请求时,生成与该请求对应的下载任务,将生成的下载任务存入异步任务表;在预设定时任务触发时,确定预设任务处理配置信息并从该表中确定与该理配置信息匹配的多个目标下载任务;获取各个目标下载任务对应的目标下载数据;将各个目标下载任务对应的目标下载数据存入下载数据管理设备;将各个目标下载任务对应的目标下载数据在该管理设备中的存储地址发送给各个目标下载任务对应的目标客户端。本发明可提升系统在下载业务集中或下载数据量大的场景下的下载性能,降低系统整体性能在上述场景中受到的影响。

Description

下载任务异步处理方法、装置、系统和存储介质
技术领域
本申请涉及软件开发领域,特别是涉及一种下载任务异步处理方法、装置、系统和存储介质。
背景技术
在开发业务系统功能时无可避免地会涉及到下载功能。
通常,对于下载数据量较小的场景,会采用同步下载的方式来处理客户端的下载请求;对于下载数据量很大的场景,为了避免因客户端陷入长时间的等待而导致用户下载体验不佳,则通常采用异步下载的方式来处理客户端的下载请求。
然而,对于下载业务集中或下载数据量大的场景,即使对大量的下载业务进行分批处理,异步下载业务逻辑也会对JVM(Java Virtual Machine,Java虚拟机)的内存资源疯狂占用,进而造成频繁的FULL GC(garbage collection,垃圾回收或回收无用内存空间),这会对系统性能造成很大影响,甚至还有可能影响系统其他功能的正常运行。
发明内容
本发明针对现有技术的缺点,提供了一种下载任务异步处理方法、装置、系统、计算机设备和存储介质,本发明实施例可提升系统在下载业务集中或下载数据量大的场景下的下载性能,降低系统整体性能在上述场景中受到的影响。
本发明根据第一方面提供了一种下载任务异步处理方法,在一个实施例中,该方法包括:
在接收到来自任一客户端的下载请求时,生成与下载请求对应的下载任务;
将生成的下载任务存入异步任务表;
在预设定时任务触发时,确定预设任务处理配置信息;
从异步任务表中确定与预设任务处理配置信息匹配的多个目标下载任务;
获取各个目标下载任务对应的目标下载数据;
将各个目标下载任务对应的目标下载数据存入下载数据管理设备;
将各个目标下载任务对应的目标下载数据在下载数据管理设备中的存储地址发送给各个目标下载任务对应的目标客户端,以使各个目标下载任务对应的目标客户端通过其接收到的存储地址从下载数据管理设备下载与各个目标下载任务对应的目标下载数据。
在一个实施例中,预设任务处理配置信息包括单次任务处理数量Z和任务筛选信息,Z为大于0的正整数;
从异步任务表中确定与预设任务处理配置信息匹配的多个目标下载任务,包括:
根据任务筛选信息从异步任务表中筛选出多个候选未处理下载任务;
从多个候选未处理下载任务中确定Z个候选未处理下载任务作为多个目标下载任务;
优选地,从多个候选未处理下载任务中确定N个候选未处理下载任务作为多个目标下载任务,包括:
确定各个候选未处理下载任务对应的处理优先级;
按照各个候选未处理下载任务对应的处理优先级将多个候选未处理下载任务进行排序;
将多个候选未处理下载任务中,处理优先级最高的前Z个候选未处理下载任务确定为多个目标下载任务。
在一个实施例中,获取各个目标下载任务对应的目标下载数据,包括:
获取各个目标下载任务对应的任务数据;
根据各个目标下载任务对应的任务数据生成各个目标下载任务对应的查询信息;
根据各个目标下载任务对应的查询信息获取与各个目标下载任务对应的目标下载数据。
在一个实施例中,各个目标下载任务对应的任务数据是json字符串数据;
将生成的下载任务存入异步任务表,包括:
将生成的下载任务的任务数据以json字符串的形式存入异步任务表;
根据各个目标下载任务对应的任务数据生成各个目标下载任务对应的查询信息,包括:
解析各个目标下载任务对应的json字符串数据,得到各个目标下载任务对应的解析结果;
对各个目标下载任务对应的解析结果进行拼装处理,得到各个目标下载任务对应的查询信息。
在一个实施例中,在接收到来自任一客户端的下载请求时生成与下载请求对应的下载任务,包括:
在接收到来自任一客户端的下载请求时,确定下载请求对应的下载任务标识和用户标识;
查询异步任务表;
若异步任务表中不包括与下载任务标识和用户标识对应的未处理下载任务,生成与下载请求对应的下载任务;
若异步任务表中包括与下载任务标识和用户标识对应的未处理下载任务,向任一客户端返回重复下载提示消息;
在一个实施例中,该下载任务异步处理方法还包括以下步骤:
响应来自管理员客户端的任务操作请求,确定任务操作请求对应的待操作下载任务和任务操作信息;
根据任务操作信息修改待操作下载任务的任务状态信息。
本发明根据第二方面提供了一种下载任务异步处理装置,在一个实施例中,该装置包括:
下载任务生成模块,用于在接收到来自任一客户端的下载请求时,生成与下载请求对应的下载任务,将生成的下载任务存入异步任务表;
目标任务确定模块,用于在预设定时任务触发时,确定预设任务处理配置信息,从异步任务表中确定与预设任务处理配置信息匹配的多个目标下载任务;
目标数据获取模块,用于获取各个目标下载任务对应的目标下载数据;
目标数据存入模块,用于将各个目标下载任务对应的目标下载数据存入下载数据管理模块;
地址发送模块,用于将各个目标下载任务对应的目标下载数据在下载数据管理模块中的存储地址发送给各个目标下载任务对应的目标客户端,以使各个目标下载任务对应的目标客户端通过其接收到的存储地址从下载数据管理模块下载与各个目标下载任务对应的目标下载数据。
本发明根据第三方面提供了一种下载任务异步处理系统,在一个实施例中,该系统包括下载请求处理模块、下载任务处理模块、以及下载数据管理模块;下载任务处理模块包括一个或多个任务处理节点,任一个任务处理节点配置有定时任务;
下载请求处理模块,用于在接收到来自任一客户端的下载请求时,生成与下载请求对应的下载任务,将生成的下载任务存入异步任务表;还用于确定异步任务表中的已处理下载任务,将已处理下载任务对应的存储地址发送给已处理下载任务对应的客户端;
任一个任务处理节点,用于在本任务处理节点的定时任务触发时,确定与本任务处理节点对应的预设任务处理配置信息,从异步任务表中确定与预设任务处理配置信息匹配的多个目标下载任务,获取各个目标下载任务对应的目标下载数据,将各个目标下载任务对应的目标下载数据存入下载数据管理模块,将各个目标下载任务对应的目标下载数据在下载数据管理模块中的存储地址更新到异步任务表中;
下载数据管理模块,用于存储下载数据;还用于在接收到来自任一客户端的存储地址时,将与存储地址对应的下载数据发送给该任一客户端。
本发明根据第四方面提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述任一方法的实施例的步骤。
本发明根据第五方面提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述任一方法的实施例的步骤。
在本发明实施例中,处理系统在接收到来自任一客户端的下载请求时,生成与下载请求对应的下载任务,将生成的下载任务存入异步任务表,以减缓处理系统在接收到大量且集中的下载请求时所受到的冲击;后续在预设定时任务触发时,确定预设任务处理配置信息并从异步任务表中确定与预设任务处理配置信息匹配的多个目标下载任务,进而能够获得各个目标下载任务对应的目标下载数据,获得的各个目标下载任务对应的目标下载数据需要存入下载数据管理设备,并将各个目标下载任务对应的目标下载数据在下载数据管理设备中的存储地址发送给各个目标下载任务对应的目标客户端,以使各个目标下载任务对应的目标客户端通过其接收到的存储地址从下载数据管理设备下载与各个目标下载任务对应的目标下载数据,从而能够实现提高下载业务集中或下载数据量大的场景下处理系统的下载性能,降低下载业务集中或下载数据量大等情况对处理系统整体性能的影响。
附图说明
图1为一个实施例中一种下载任务异步处理方法的应用环境图;
图2为一个实施例中处理系统生成下载任务时的流程示意图;
图3为一个实施例中一种下载任务异步处理装置的结构框图;
图4为一个实施例中一种下载任务异步处理系统的结构框图;
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅用以解释本申请,并不用于限定本申请。
如图1所示,是本发明一个实施例提供的一种下载任务异步处理方法,该方法可以通过下载任务异步处理系统(以下简称为处理系统)来执行,处理系统可以由单台或多台服务器来实现。该方法包括以下步骤:
步骤S110:在接收到来自任一客户端的下载请求时,生成与下载请求对应的下载任务,将生成的下载任务存入异步任务表。
在本实施例中,当用户需要下载相关数据时,可以通过其用户终端(即客户端)向处理系统发送下载请求,用户终端可以是智能手机、平板电脑、笔记本电脑等便携性计算设备,也可以是台式电脑等计算设备。
处理系统在收到任一客户端发送的下载请求时,不会直接响应该下载请求并向该下载请求对应的客户端反馈相关下载数据,而只需要使用少量的硬件资源(比如,CPU资源、内存资源等)来生成与该下载请求对应的下载任务,并将生成的下载任务存入异步任务表,后续再由处理系统包括的用于处理下载任务的任务处理节点从异步任务表中批量捞取下载任务进行处理,这样能够在处理系统接收到大量且集中的下载请求时减缓其系统性能受到的冲击。
上述的任务处理节点可以由单台服务器或多台服务器来实现。
上述的异步任务表记录有多个下载任务对应的相关信息。
在一个实施方式中,异步任务表记录处理系统生成的所有下载任务。下载任务对应的相关信息包括下载任务对应的下载任务标识、用户标识、客户端信息、处理状态、处理优先级、下载任务生成时间以及下载任务完成时间中的至少一项信息。具体地,下载任务对应的处理状态用于表征处理系统中的任务处理节点对下载任务的处理状态,可以包括未处理、下载中、已处理和下载异常等状态。处理优先级包括预先划分好的多个不同等级的优先级,比如,一级/二级/三级,又比如,低级/中级/高级等,优先级的等级数量可以根据实际情况进行设置。
在一个实施方式中,如图2所示,在接收到来自任一客户端的下载请求时生成与下载请求对应的下载任务,包括以下步骤:
步骤S111:在接收到来自任一客户端的下载请求时,确定下载请求对应的下载任务标识和用户标识;
步骤S112:查询异步任务表;
步骤S113:若异步任务表中不包括与下载任务标识和用户标识对应的未处理下载任务,生成与下载请求对应的下载任务;
步骤S114:若异步任务表中包括与下载任务标识和用户标识对应的未处理下载任务,向该任一客户端返回重复下载提示消息。
考虑到用户在等待下载结果的过程中,有可能会多次向处理系统提交下载请求,这样会使得处理系统生成多个相同的下载任务,这会造成系统资源的浪费。为此,本实施方式中处理系统在接收到来自任一客户端的下载请求时,先确定接收到的该下载请求所对应的下载任务标识和用户标识,然后查询异步任务表中是否存在与该下载任务标识和用户标识对应的未处理下载任务(即处理状态为未处理的下载任务),如果没有存在,那么表明本次接收到的下载请求不是用户重复提交的请求,处理系统可以执行后续操作,即生成与该下载请求对应的下载任务;反之,如果有存在,那么表明本次接收到的下载请求是用户重复提交的请求,处理系统不需要再生成相应的下载任务,可以向提交该下载请求的客户端返回重复下载提示消息,以使用户不再重复提交下载请求。
步骤S120:在预设定时任务触发时,确定预设任务处理配置信息,从异步任务表中确定与预设任务处理配置信息匹配的多个目标下载任务。
在本实施例中,处理系统包括的任务处理节点预先配置有定时任务。
在一个实施方式中,处理系统包括多个任务处理节点,任一个任务处理节点配置有独立的定时任务,各个定时任务的任务执行逻辑相同,即每隔一段时间就从异步任务表中确定多个要处理的下载任务(即目标下载任务),然后对确定出的下载任务进行处理。具体地,不同定时任务对应有不同的预设任务处理配置信息,各个任务处理节点通过预设任务处理配置信息可以从异步任务表中确定自身负责处理的下载任务。通过为各个任务处理节点配置不同的预设任务处理配置信息,可以实现将异步任务表中未处理下载任务进行分组,分组数量与任务处理节点的数量一致,即本实施方式中,每个任务处理节点负责处理一个组的未处理下载任务,一个分组中的所有下载任务都是该分组对应的任务处理节点在本次定时任务触发后要处理的下载任务(即目标下载任务)。
具体地,预设任务处理配置信息包括任务筛选信息,各个任务处理节点会根据自己对应的预设任务处理配置信息所包括任务筛选信息从异步任务表中确定出自己负责处理的下载任务。
在一个实施方式中,从异步任务表中确定与预设任务处理配置信息匹配的多个目标下载任务,包括:
根据任务筛选信息从异步任务表中筛选出多个候选未处理下载任务;
从多个候选未处理下载任务中确定Z个候选未处理下载任务作为多个目标下载任务;
在本实施方式中,考虑到实际场景中一个分组包括的下载任务的数量有可能非常庞大,任务处理节点无法一次将组内的所有下载任务都处理完成。为此,可以进一步设置单次任务处理数量Z这一阈值,以控制任务处理节点每次负责处理的下载任务的数量,即预设任务处理配置信息包括单次任务处理数量和任务筛选信息,单次任务处理数量是一个阈值,可以以Z代称,Z为大于0的正整数,Z的具体取值可以由管理员根据实际场景设置以及动态调整。进一步地,各个任务处理节点的单次任务处理数量需要独立配置,不同任务处理节点的单次任务处理数量可以是相同的,也可以是不相同。
其中,任务筛选信息可以包括取模阈值和余数阈值。该取模阈值与处理系统包括的任务处理节点的数量相同,各个任务处理节点对应的任务筛选信息中的取模阈值相同而余数阈值不同。比如,处理系统有三个任务处理节点,节点A、节点B和节点C,节点A的任务筛选信息为(3,0),即取模阈值为3,余数阈值为0,节点B的任务筛选信息为(3,1),节点C的任务筛选信息为(3,2)。各任务处理节点会遍历异步任务表记录的每个未处理下载任务,将遍历到每个未处理下载任务的下载任务标识基于该取模阈值进行取模,如果取模后得到的余数与自身的余数阈值相同,则确定该未处理下载任务是自己负责处理的下载任务。
进一步,各任务处理节点通过上述操作从异步任务表中筛选出多个候选未处理下载任务之后,从筛选出来的候选未处理下载任务中筛选出Z个候选未处理下载任务作为本次要处理的下载任务(即多个目标下载任务)。
可能地,任务处理节点筛选下载任务的时候,可以按照各个候选未处理下载任务对应的下载任务生成时间进行排序,然后将下载任务生成时间与当前系统时间之间的时间差值最大的前Z个候选未处理下载任务确定为本次要处理的下载任务。下载任务的下载任务生成时间与当前系统时间之间的时间差值越大,说明用户的等待时间越长,为此可以优先对这类下载任务进行处理,避免让用户等待太久而影响用户的下载体验。
可能地,从多个候选未处理下载任务中确定N个候选未处理下载任务作为多个目标下载任务,包括:
确定各个候选未处理下载任务对应的处理优先级;
按照各个候选未处理下载任务对应的处理优先级将多个候选未处理下载任务进行排序;
将多个候选未处理下载任务中,处理优先级最高的前Z个候选未处理下载任务确定为多个目标下载任务。
其中,任务处理节点筛选下载任务的时候,可以按照各个候选未处理下载任务对应的处理优先级进行排序,然后将处理优先级最高的前Z个候选未处理下载任务确定为本次要处理的下载任务。下载任务的处理优先级越高,该下载任务对于用户来说紧急程度越高,为此可以优先对这类下载任务进行处理。
在一个实施方式中,各个任务处理节点对应的定时任务是独立的,各个定时任务的触发规则可以是相同的也可以是不同的。比如,各个定时任务的触发规则可以都是每隔30秒触发一次,或者部分定时任务的触发规则为每隔30秒触发一次、其余部分定时任务的触发规则为每隔20秒触发一次等。
进一步地,由于本实施例将下载请求的响应操作与下载任务的处理操作进行解耦,任务处理节点只需要负责处理下载任务,因此,处理系统包括的任务处理节点的数量可以方便地进行扩展或缩减。具体地,处理系统包括的任务处理节点的数量可以由管理员根据实际情况动态调整,以满足实际的处理下载任务的需求,比如,在未处理下载任务数量过多时,管理员可以扩展任务处理节点的数量,譬如将原先3个任务处理节点扩展为5个任务处理节点。需要说明的是,在扩展或缩减任务处理节点的数量时,需要相应地对各任务处理节点对应的预设任务处理配置信息进行调整,以将异步任务表中未处理下载任务重新进行分组。
步骤S130:获取各个目标下载任务对应的目标下载数据。
在本实施例中,处理系统包括的任务处理节点在确定了本次定时任务触发时需要处理的多个目标下载任务后,进一步获取各个目标下载任务对应的目标下载数据。
在一个实施方式中,获取各个目标下载任务对应的目标下载数据,包括:
获取各个目标下载任务对应的任务数据;
根据各个目标下载任务对应的任务数据生成各个目标下载任务对应的查询信息;
根据各个目标下载任务对应的查询信息获取与各个目标下载任务对应的目标下载数据。
在本实施方式中,各任务处理节点可以是依次获取其对应的多个目标下载任务的目标下载数据,即获取完一个目标下载任务对应的目标下载数据后,再获取下一个目标下载任务对应的目标下载数据,直至获取完最后一个目标下载任务对应的目标下载数据。
具体地,任务处理节点在获取目标下载任务对应的目标下载数据时,先从异步任务表中获取目标下载任务对应的任务数据,任务数据是描述下载任务的任务详情信息,比如,下载任务需要下载哪些数据的描述信息,之后再根据该任务数据来生成查询信息。
具体地,根据各个目标下载任务对应的任务数据生成各个目标下载任务对应的查询信息,包括:
解析各个目标下载任务对应的json字符串数据,得到各个目标下载任务对应的解析结果;
对各个目标下载任务对应的解析结果进行拼装处理,得到各个目标下载任务对应的查询信息。
其中,处理系统在接收到客户端的下载请求后,会将生成的下载任务对应的任务数据以json(JavaScript Object Notation,JS对象简谱)字符串的形式存入异步任务表。因此,当任务处理节点开始处理下载任务时,从异步任务表中获取到的各个目标下载任务对应的任务数据是json字符串数据,所以需要对目标下载任务对应的json字符串数据进行解析,然后将解析得到的解析结果拼装成目标下载任务对应的查询信息。可能地,查询信息可以是SQL(Structured Query Language,结构化查询语言)查询语句,进而得到的该SQL查询语句可以从数据库中查询到相应的数据(即目标下载数据)。
步骤S140:将各个目标下载任务对应的目标下载数据存入下载数据管理设备。
在本实施例中,处理系统采用的是异步下载方式,用户提交下载请求后即可断开与处理系统的连接,无需一直保持连接来等待该下载请求对应的下载任务的下载结果。当处理系统通过任务处理节点获得目标下载任务对应的目标下载数据后,将获得的目标下载数据存入下载数据管理设备中。其中,下载数据管理设备可以是文件服务器。
步骤S150:将各个目标下载任务对应的目标下载数据在下载数据管理设备中的存储地址发送给各个目标下载任务对应的目标客户端,以使各个目标下载任务对应的目标客户端通过其接收到的存储地址从下载数据管理设备下载与各个目标下载任务对应的目标下载数据。
在本实施例中,处理系统将各个目标下载任务对应的目标下载数据存到下载数据管理设备后,将各个目标下载任务对应的目标下载数据在该下载数据管理设备中的存储地址发送给各个目标下载任务对应的目标客户端。当各个目标客户端收到存储地址后,各个目标客户端与该下载数据管理设备建立连接,已从该下载数据管理设备中下载该存储地址对应的下载数据,即与各个目标下载任务对应的目标下载数据。
本发明实施例中,处理系统在接收到来自任一客户端的下载请求时,生成与下载请求对应的下载任务,将生成的下载任务存入异步任务表,以减缓处理系统在接收到大量且集中的下载请求时所受到的冲击;后续在预设定时任务触发时,确定预设任务处理配置信息并从异步任务表中确定与预设任务处理配置信息匹配的多个目标下载任务,进而能够获得各个目标下载任务对应的目标下载数据,获得的各个目标下载任务对应的目标下载数据需要存入下载数据管理设备,并将各个目标下载任务对应的目标下载数据在下载数据管理设备中的存储地址发送给各个目标下载任务对应的目标客户端,以使各个目标下载任务对应的目标客户端通过其接收到的存储地址从下载数据管理设备下载与各个目标下载任务对应的目标下载数据,从而能够实现提高下载业务集中或下载数据量大的场景下处理系统的下载性能,降低下载业务集中或下载数据量大等情况对处理系统整体性能的影响。
在一个实施例中,该下载任务异步处理方法还包括:
响应来自管理员客户端的任务操作请求,确定任务操作请求对应的待操作下载任务和任务操作信息;
根据任务操作信息修改待操作下载任务的任务状态信息。
在本实施例中,管理员通过其用户终端(即管理员客户端)向处理系统发送任务操作请求,以对某个或多个下载任务进行操作。
具体地,处理系统在接收到任务操作请求之后,确定与该任务操作请求对应的需要执行相关操作的下载任务(即待操作下载任务)以及任务操作信息。任务操作信息可以包括任务操作类型和任务操作内容,任务操作类型可以包括处理优先级调整、处理状态调整等操作类型。比如,管理员可以将某个下载任务的处理优先级从最低级别的优先级调整为最高级别的优先级,以使该下载任务能够更快地被相关任务处理节点处理。又比如,管理员可以取消或者暂停处理某个多次出现下载异常的下载任务。
进一步地,在一个实施例中,处理系统可以监控异步任务表中未处理下载任务的数量,如果未处理下载任务的数量超过预设阈值,就向管理员客户端发送任务积压提醒,以使管理员对任务积压情况进行处理,比如,对某些下载任务进行上述操作,或者扩展处理系统中的任务处理节点的数量、或者提高任务处理节点的单次任务处理数量Z。
在一个实施例中,如图3所示,提供了一种下载任务异步处理装置,包括以下模块:
下载任务生成模块110,用于在接收到来自任一客户端的下载请求时,生成与下载请求对应的下载任务,将生成的下载任务存入异步任务表;
目标任务确定模块120,用于在预设定时任务触发时,确定预设任务处理配置信息,从异步任务表中确定与预设任务处理配置信息匹配的多个目标下载任务;
目标数据获取模块130,用于获取各个目标下载任务对应的目标下载数据;
目标数据存入模块140,用于将各个目标下载任务对应的目标下载数据存入下载数据管理模块;
地址发送模块150,用于将各个目标下载任务对应的目标下载数据在下载数据管理模块中的存储地址发送给各个目标下载任务对应的目标客户端,以使各个目标下载任务对应的目标客户端通过其接收到的存储地址从下载数据管理模块下载与各个目标下载任务对应的目标下载数据。
在一个实施例中,预设任务处理配置信息包括单次任务处理数量Z和任务筛选信息,Z为大于0的正整数。目标任务确定模块,包括:
候选任务筛选子模块,用于根据任务筛选信息从异步任务表中筛选出多个候选未处理下载任务;
目标任务确定子模块,用于从多个候选未处理下载任务中确定Z个候选未处理下载任务作为多个目标下载任务。
在一个实施例中,目标任务确定子模块,包括:
优先级确定单元,用于确定各个候选未处理下载任务对应的处理优先级;
排序单元,用于按照各个候选未处理下载任务对应的处理优先级将多个候选未处理下载任务进行排序;
目标任务确定单元,用于将多个候选未处理下载任务中,处理优先级最高的前Z个候选未处理下载任务确定为多个目标下载任务。
在一个实施例中,目标数据获取模块,包括:
任务数据获取子模块,用于获取各个目标下载任务对应的任务数据;
查询信息生成子模块,用于根据各个目标下载任务对应的任务数据生成各个目标下载任务对应的查询信息;
目标数据获取子模块,用于根据各个目标下载任务对应的查询信息获取与各个目标下载任务对应的目标下载数据。
在一个实施例中,各个目标下载任务对应的任务数据是json字符串数据。下载任务生成模块,用于将生成的下载任务的任务数据以json字符串的形式存入异步任务表。
查询信息生成子模块,包括:
解析单元,用于解析各个目标下载任务对应的json字符串数据,得到各个目标下载任务对应的解析结果;
查询信息生成单元,用于对各个目标下载任务对应的解析结果进行拼装处理,得到各个目标下载任务对应的查询信息。
在一个实施例中,下载任务生成模块,包括:
标识确定子模块,用于在接收到来自任一客户端的下载请求时,确定下载请求对应的下载任务标识和用户标识;
查询子模块,用于查询异步任务表;
下载任务生成子模块,用于当异步任务表中不包括与下载任务标识和用户标识对应的未处理下载任务时,生成与下载请求对应的下载任务;
提示消息发送子模块,用于当异步任务表中包括与下载任务标识和用户标识对应的未处理下载任务时,向任一客户端返回重复下载提示消息;
在一个实施例中,下载任务异步处理装置还包括:
操作请求响应模块,用于响应来自管理员客户端的任务操作请求,确定任务操作请求对应的待操作下载任务和任务操作信息;
任务状态修改模块,用于根据任务操作信息修改待操作下载任务的任务状态信息。
关于下载任务异步处理装置的具体限定可以参见上文中对于下载任务异步处理方法的限定,在此不再赘述。上述下载任务异步处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,如图4所示,提供了一种下载任务异步处理系统,该系统包括下载请求处理模块210、下载任务处理模块220、以及下载数据管理模块230;下载任务处理模块包括一个或多个任务处理节点,任一个任务处理节点配置有定时任务;
下载请求处理模块210,用于在接收到来自任一客户端的下载请求时,生成与下载请求对应的下载任务,将生成的下载任务存入异步任务表;还用于确定异步任务表中的已处理下载任务,将已处理下载任务对应的存储地址发送给已处理下载任务对应的客户端;
任一个任务处理节点,用于在本任务处理节点的定时任务触发时,确定与本任务处理节点对应的预设任务处理配置信息,从异步任务表中确定与预设任务处理配置信息匹配的多个目标下载任务,获取各个目标下载任务对应的目标下载数据,将各个目标下载任务对应的目标下载数据存入下载数据管理模块,将各个目标下载任务对应的目标下载数据在下载数据管理模块中的存储地址更新到异步任务表中;
下载数据管理模块230,用于存储下载数据;还用于在接收到来自任一客户端的存储地址时,将与存储地址对应的下载数据发送给该任一客户端。
在一个实施例中,预设任务处理配置信息包括单次任务处理数量Z和任务筛选信息,Z为大于0的正整数;
任一个任务处理节点在执行从异步任务表中确定与预设任务处理配置信息匹配的多个目标下载任务的操作时,具体用于:
根据任务筛选信息从异步任务表中筛选出多个候选未处理下载任务;
从多个候选未处理下载任务中确定Z个候选未处理下载任务作为多个目标下载任务。
在一个实施例中,任一个任务处理节点在执行从多个候选未处理下载任务中确定N个候选未处理下载任务作为多个目标下载任务的操作时,具体用于:
确定各个候选未处理下载任务对应的处理优先级;
按照各个候选未处理下载任务对应的处理优先级将多个候选未处理下载任务进行排序;
将多个候选未处理下载任务中,处理优先级最高的前Z个候选未处理下载任务确定为多个目标下载任务。
在一个实施例中,任一个任务处理节点在执行获取各个目标下载任务对应的目标下载数据的操作时,具体用于:
获取各个目标下载任务对应的任务数据;
根据各个目标下载任务对应的任务数据生成各个目标下载任务对应的查询信息;
根据各个目标下载任务对应的查询信息获取与各个目标下载任务对应的目标下载数据;
在一个实施例中,各个目标下载任务对应的任务数据是json字符串数据;
下载请求处理模块在执行将生成的下载任务存入异步任务表的操作时,具体用于:
将生成的下载任务的任务数据以json字符串的形式存入异步任务表;
任一个任务处理节点在执行根据各个目标下载任务对应的任务数据生成各个目标下载任务对应的查询信息的操作时,具体用于:
解析各个目标下载任务对应的json字符串数据,得到各个目标下载任务对应的解析结果;
对各个目标下载任务对应的解析结果进行拼装处理,得到各个目标下载任务对应的查询信息。
在一个实施例中,下载请求处理模块在执行在接收到来自任一客户端的下载请求时生成与下载请求对应的下载任务的操作时,具体用于:
在接收到来自任一客户端的下载请求时,确定下载请求对应的下载任务标识和用户标识;
查询异步任务表;
若异步任务表中不包括与下载任务标识和用户标识对应的未处理下载任务,生成与下载请求对应的下载任务;
若异步任务表中包括与下载任务标识和用户标识对应的未处理下载任务,向任一客户端返回重复下载提示消息;
在一个实施例中,该下载任务异步处理系统还包括下载任务管理模块240。下载任务管理模块240,用于响应来自管理员客户端的任务操作请求,确定任务操作请求对应的待操作下载任务和任务操作信息,根据任务操作信息修改待操作下载任务的任务状态信息。
关于下载任务异步处理系统的具体限定可以参见上文中对于下载任务异步处理方法的限定,在此不再赘述。上述下载任务异步处理系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于异步任务表等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种下载任务异步处理方法。
本领域技术人员可以理解,图5中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现以下步骤:
在接收到来自任一客户端的下载请求时,生成与下载请求对应的下载任务;将生成的下载任务存入异步任务表;在预设定时任务触发时,确定预设任务处理配置信息;从异步任务表中确定与预设任务处理配置信息匹配的多个目标下载任务;获取各个目标下载任务对应的目标下载数据;将各个目标下载任务对应的目标下载数据存入下载数据管理设备;将各个目标下载任务对应的目标下载数据在下载数据管理设备中的存储地址发送给各个目标下载任务对应的目标客户端,以使各个目标下载任务对应的目标客户端通过其接收到的存储地址从下载数据管理设备下载与各个目标下载任务对应的目标下载数据。
在一个实施例中,预设任务处理配置信息包括单次任务处理数量Z和任务筛选信息,Z为大于0的正整数;处理器执行计算机程序,实现从异步任务表中确定与预设任务处理配置信息匹配的多个目标下载任务时,还实现以下步骤:
根据任务筛选信息从异步任务表中筛选出多个候选未处理下载任务;从多个候选未处理下载任务中确定Z个候选未处理下载任务作为多个目标下载任务。
在一个实施例中,处理器执行计算机程序,实现从多个候选未处理下载任务中确定N个候选未处理下载任务作为多个目标下载任务时,还实现以下步骤:
确定各个候选未处理下载任务对应的处理优先级;按照各个候选未处理下载任务对应的处理优先级将多个候选未处理下载任务进行排序;将多个候选未处理下载任务中,处理优先级最高的前Z个候选未处理下载任务确定为多个目标下载任务。
在一个实施例中,处理器执行计算机程序,实现获取各个目标下载任务对应的目标下载数据时,还实现以下步骤:
获取各个目标下载任务对应的任务数据;根据各个目标下载任务对应的任务数据生成各个目标下载任务对应的查询信息;根据各个目标下载任务对应的查询信息获取与各个目标下载任务对应的目标下载数据。
在一个实施例中,各个目标下载任务对应的任务数据是json字符串数据;处理器执行计算机程序,实现将生成的下载任务存入异步任务表时,还实现以下步骤:
将生成的下载任务的任务数据以json字符串的形式存入异步任务表;
处理器执行计算机程序,实现根据各个目标下载任务对应的任务数据生成各个目标下载任务对应的查询信息时,还实现以下步骤:
解析各个目标下载任务对应的json字符串数据,得到各个目标下载任务对应的解析结果;对各个目标下载任务对应的解析结果进行拼装处理,得到各个目标下载任务对应的查询信息。
在一个实施例中,处理器执行计算机程序,实现在接收到来自任一客户端的下载请求时生成与下载请求对应的下载任务时,还实现以下步骤:
在接收到来自任一客户端的下载请求时,确定下载请求对应的下载任务标识和用户标识;查询异步任务表;若异步任务表中不包括与下载任务标识和用户标识对应的未处理下载任务,生成与下载请求对应的下载任务;若异步任务表中包括与下载任务标识和用户标识对应的未处理下载任务,向任一客户端返回重复下载提示消息。
在一个实施例中,处理器执行计算机程序时,还实现以下步骤:
响应来自管理员客户端的任务操作请求,确定任务操作请求对应的待操作下载任务和任务操作信息;根据任务操作信息修改待操作下载任务的任务状态信息。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
在接收到来自任一客户端的下载请求时,生成与下载请求对应的下载任务;将生成的下载任务存入异步任务表;在预设定时任务触发时,确定预设任务处理配置信息;从异步任务表中确定与预设任务处理配置信息匹配的多个目标下载任务;获取各个目标下载任务对应的目标下载数据;将各个目标下载任务对应的目标下载数据存入下载数据管理设备;将各个目标下载任务对应的目标下载数据在下载数据管理设备中的存储地址发送给各个目标下载任务对应的目标客户端,以使各个目标下载任务对应的目标客户端通过其接收到的存储地址从下载数据管理设备下载与各个目标下载任务对应的目标下载数据。
在一个实施例中,预设任务处理配置信息包括单次任务处理数量Z和任务筛选信息,Z为大于0的正整数;计算机程序被处理器执行,从异步任务表中确定与预设任务处理配置信息匹配的多个目标下载任务时,还实现以下步骤:
根据任务筛选信息从异步任务表中筛选出多个候选未处理下载任务;从多个候选未处理下载任务中确定Z个候选未处理下载任务作为多个目标下载任务。
在一个实施例中,计算机程序被处理器执行,从多个候选未处理下载任务中确定N个候选未处理下载任务作为多个目标下载任务时,还实现以下步骤:
确定各个候选未处理下载任务对应的处理优先级;按照各个候选未处理下载任务对应的处理优先级将多个候选未处理下载任务进行排序;将多个候选未处理下载任务中,处理优先级最高的前Z个候选未处理下载任务确定为多个目标下载任务。
在一个实施例中,计算机程序被处理器执行,获取各个目标下载任务对应的目标下载数据时,还实现以下步骤:
获取各个目标下载任务对应的任务数据;根据各个目标下载任务对应的任务数据生成各个目标下载任务对应的查询信息;根据各个目标下载任务对应的查询信息获取与各个目标下载任务对应的目标下载数据。
在一个实施例中,各个目标下载任务对应的任务数据是json字符串数据;计算机程序被处理器执行,将生成的下载任务存入异步任务表时,还实现以下步骤:
将生成的下载任务的任务数据以json字符串的形式存入异步任务表;
处理器执行计算机程序,根据各个目标下载任务对应的任务数据生成各个目标下载任务对应的查询信息时,还实现以下步骤:
解析各个目标下载任务对应的json字符串数据,得到各个目标下载任务对应的解析结果;对各个目标下载任务对应的解析结果进行拼装处理,得到各个目标下载任务对应的查询信息。
在一个实施例中,计算机程序被处理器执行,在接收到来自任一客户端的下载请求时生成与下载请求对应的下载任务时,还实现以下步骤:
在接收到来自任一客户端的下载请求时,确定下载请求对应的下载任务标识和用户标识;查询异步任务表;若异步任务表中不包括与下载任务标识和用户标识对应的未处理下载任务,生成与下载请求对应的下载任务;若异步任务表中包括与下载任务标识和用户标识对应的未处理下载任务,向任一客户端返回重复下载提示消息。
在一个实施例中,计算机程序被处理器执行时,还实现以下步骤:
响应来自管理员客户端的任务操作请求,确定任务操作请求对应的待操作下载任务和任务操作信息;根据任务操作信息修改待操作下载任务的任务状态信息。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种下载任务异步处理方法,其特征在于,包括:
在接收到来自任一客户端的下载请求时,生成与所述下载请求对应的下载任务;
将生成的下载任务存入异步任务表;
在预设定时任务触发时,确定预设任务处理配置信息;
从所述异步任务表中确定与所述预设任务处理配置信息匹配的多个目标下载任务;
获取各个目标下载任务对应的目标下载数据;
将各个目标下载任务对应的目标下载数据存入下载数据管理设备;
将各个目标下载任务对应的目标下载数据在所述下载数据管理设备中的存储地址发送给各个目标下载任务对应的目标客户端,以使各个目标下载任务对应的目标客户端通过其接收到的存储地址从所述下载数据管理设备下载与所述各个目标下载任务对应的目标下载数据。
2.如权利要求1所述的下载任务异步处理方法,其特征在于,所述预设任务处理配置信息包括单次任务处理数量Z和任务筛选信息,Z为大于0的正整数;
所述从所述异步任务表中确定与所述预设任务处理配置信息匹配的多个目标下载任务,包括:
根据所述任务筛选信息从所述异步任务表中筛选出多个候选未处理下载任务;
从所述多个候选未处理下载任务中确定Z个候选未处理下载任务作为多个目标下载任务;
优选地,所述从所述多个候选未处理下载任务中确定N个候选未处理下载任务作为多个目标下载任务,包括:
确定各个候选未处理下载任务对应的处理优先级;
按照各个候选未处理下载任务对应的处理优先级将所述多个候选未处理下载任务进行排序;
将所述多个候选未处理下载任务中,处理优先级最高的前Z个候选未处理下载任务确定为多个目标下载任务。
3.如权利要求1所述的下载任务异步处理方法,其特征在于,
所述获取各个目标下载任务对应的目标下载数据,包括:
获取各个目标下载任务对应的任务数据;
根据各个目标下载任务对应的任务数据生成各个目标下载任务对应的查询信息;
根据各个目标下载任务对应的查询信息获取与各个目标下载任务对应的目标下载数据。
优选地,各个目标下载任务对应的任务数据是json字符串数据;
所述将生成的下载任务存入异步任务表,包括:
将生成的下载任务的任务数据以json字符串的形式存入异步任务表;
所述根据各个目标下载任务对应的任务数据生成各个目标下载任务对应的查询信息,包括:
解析各个目标下载任务对应的json字符串数据,得到各个目标下载任务对应的解析结果;
对各个目标下载任务对应的解析结果进行拼装处理,得到各个目标下载任务对应的查询信息。
4.如权利要求1所述的下载任务异步处理方法,其特征在于,
所述在接收到来自任一客户端的下载请求时生成与所述下载请求对应的下载任务,包括:
在接收到来自任一客户端的下载请求时,确定所述下载请求对应的下载任务标识和用户标识;
查询异步任务表;
若所述异步任务表中不包括与所述下载任务标识和用户标识对应的未处理下载任务,生成与所述下载请求对应的下载任务;
若所述异步任务表中包括与所述下载任务标识和用户标识对应的未处理下载任务,向所述任一客户端返回重复下载提示消息;
优选地,所述方法还包括:
响应来自管理员客户端的任务操作请求,确定所述任务操作请求对应的待操作下载任务和任务操作信息;
根据所述任务操作信息修改所述待操作下载任务的任务状态信息。
5.一种下载任务异步处理装置,其特征在于,包括:
下载任务生成模块,用于在接收到来自任一客户端的下载请求时,生成与所述下载请求对应的下载任务;
下载任务存入模块,用于将生成的下载任务存入异步任务表;
配置信息确定模块,用于在预设定时任务触发时,确定预设任务处理配置信息;
目标任务确定模块,用于从所述异步任务表中确定与所述预设任务处理配置信息匹配的多个目标下载任务;
目标数据获取模块,用于获取各个目标下载任务对应的目标下载数据;
目标数据存入模块,用于将各个目标下载任务对应的目标下载数据存入下载数据管理模块;
地址发送模块,用于将各个目标下载任务对应的目标下载数据在所述下载数据管理模块中的存储地址发送给各个目标下载任务对应的目标客户端,以使各个目标下载任务对应的目标客户端通过其接收到的存储地址从所述下载数据管理模块下载与所述各个目标下载任务对应的目标下载数据。
6.一种下载任务异步处理系统,其特征在于,所述系统包括下载请求处理模块、下载任务处理模块、以及下载数据管理模块;所述下载任务处理模块包括一个或多个任务处理节点,任一个所述任务处理节点配置有定时任务;
所述下载请求处理模块,用于在接收到来自任一客户端的下载请求时,生成与所述下载请求对应的下载任务,将生成的下载任务存入异步任务表;还用于确定所述异步任务表中的已处理下载任务,将所述已处理下载任务对应的存储地址发送给所述已处理下载任务对应的客户端;
任一个所述任务处理节点,用于在本任务处理节点的定时任务触发时,确定与本任务处理节点对应的预设任务处理配置信息,从所述异步任务表中确定与所述预设任务处理配置信息匹配的多个目标下载任务,获取各个目标下载任务对应的目标下载数据,将各个目标下载任务对应的目标下载数据存入所述下载数据管理模块,将各个目标下载任务对应的目标下载数据在所述下载数据管理模块中的存储地址更新到所述异步任务表中;
所述下载数据管理模块,用于存储下载数据;还用于在接收到来自任一客户端的存储地址时,将与所述存储地址对应的下载数据发送给所述任一客户端。
7.如权利要求6所述的下载任务异步处理系统,其特征在于,所述预设任务处理配置信息包括单次任务处理数量Z和任务筛选信息,Z为大于0的正整数;
任一个所述任务处理节点在执行从所述异步任务表中确定与所述预设任务处理配置信息匹配的多个目标下载任务的操作时,具体用于:
根据所述任务筛选信息从所述异步任务表中筛选出多个候选未处理下载任务;
从所述多个候选未处理下载任务中确定Z个候选未处理下载任务作为多个目标下载任务。
优选地,任一个所述任务处理节点在执行从所述多个候选未处理下载任务中确定N个候选未处理下载任务作为多个目标下载任务的操作时,具体用于:
确定各个候选未处理下载任务对应的处理优先级;
按照各个候选未处理下载任务对应的处理优先级将所述多个候选未处理下载任务进行排序;
将所述多个候选未处理下载任务中,处理优先级最高的前Z个候选未处理下载任务确定为多个目标下载任务。
8.如权利要求6所述的下载任务异步处理系统,其特征在于,
任一个所述任务处理节点在执行获取各个目标下载任务对应的目标下载数据的操作时,具体用于:
获取各个目标下载任务对应的任务数据;
根据各个目标下载任务对应的任务数据生成各个目标下载任务对应的查询信息;
根据各个目标下载任务对应的查询信息获取与各个目标下载任务对应的目标下载数据;
优选地,各个目标下载任务对应的任务数据是json字符串数据;
所述下载请求处理模块在执行将生成的下载任务存入异步任务表的操作时,具体用于:
将生成的下载任务的任务数据以json字符串的形式存入异步任务表;
任一个所述任务处理节点在执行根据各个目标下载任务对应的任务数据生成各个目标下载任务对应的查询信息的操作时,具体用于:
解析各个目标下载任务对应的json字符串数据,得到各个目标下载任务对应的解析结果;
对各个目标下载任务对应的解析结果进行拼装处理,得到各个目标下载任务对应的查询信息。
9.如权利要求6所述的下载任务异步处理系统,其特征在于,
所述下载请求处理模块在执行在接收到来自任一客户端的下载请求时生成与所述下载请求对应的下载任务的操作时,具体用于:
在接收到来自任一客户端的下载请求时,确定所述下载请求对应的下载任务标识和用户标识;
查询异步任务表;
若所述异步任务表中不包括与所述下载任务标识和用户标识对应的未处理下载任务,生成与所述下载请求对应的下载任务;
若所述异步任务表中包括与所述下载任务标识和用户标识对应的未处理下载任务,向所述任一客户端返回重复下载提示消息;
优选地,所述系统还包括下载任务管理模块;
所述下载任务管理模块,用于响应来自管理员客户端的任务操作请求,确定所述任务操作请求对应的待操作下载任务和任务操作信息,根据所述任务操作信息修改所述待操作下载任务的任务状态信息。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。
CN202010454003.8A 2020-05-26 2020-05-26 下载任务异步处理方法、装置、系统和存储介质 Pending CN111800459A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010454003.8A CN111800459A (zh) 2020-05-26 2020-05-26 下载任务异步处理方法、装置、系统和存储介质
PCT/CN2021/095194 WO2021238796A1 (zh) 2020-05-26 2021-05-21 下载任务异步处理方法、装置、系统和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010454003.8A CN111800459A (zh) 2020-05-26 2020-05-26 下载任务异步处理方法、装置、系统和存储介质

Publications (1)

Publication Number Publication Date
CN111800459A true CN111800459A (zh) 2020-10-20

Family

ID=72806254

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010454003.8A Pending CN111800459A (zh) 2020-05-26 2020-05-26 下载任务异步处理方法、装置、系统和存储介质

Country Status (2)

Country Link
CN (1) CN111800459A (zh)
WO (1) WO2021238796A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112256417A (zh) * 2020-10-23 2021-01-22 上海豹云网络信息服务有限公司 一种数据请求处理方法、装置及计算机可读存储介质
CN112433832A (zh) * 2020-11-17 2021-03-02 北京沃东天骏信息技术有限公司 一种任务触发方法、装置、设备及计算机可读存储介质
CN113032040A (zh) * 2021-03-15 2021-06-25 北京百度网讯科技有限公司 用于处理任务的方法、装置、设备、介质和产品
WO2021238796A1 (zh) * 2020-05-26 2021-12-02 苏宁易购集团股份有限公司 下载任务异步处理方法、装置、系统和存储介质
CN114756573A (zh) * 2022-06-16 2022-07-15 恒生电子股份有限公司 数据处理方法、装置及系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114584622A (zh) * 2022-03-03 2022-06-03 平安普惠企业管理有限公司 批量数据处理方法、装置、计算机设备及存储介质
CN114925135A (zh) * 2022-04-24 2022-08-19 重庆紫光华山智安科技有限公司 数据导出方法、装置、系统、电子设备及存储介质
CN115022303A (zh) * 2022-05-17 2022-09-06 政采云有限公司 一种文件下载方法、装置、设备及介质
CN116561198A (zh) * 2023-07-12 2023-08-08 成方金融科技有限公司 一种供应链金融的统计数据下载方法和装置
CN116614551B (zh) * 2023-07-17 2023-09-22 北京海科融通支付服务有限公司 基于模板的多任务异步下载方法、系统、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103207785A (zh) * 2013-04-23 2013-07-17 北京奇虎科技有限公司 数据下载请求的处理方法、装置及系统
CN104881307A (zh) * 2015-05-15 2015-09-02 广东小天才科技有限公司 下载实现方法和装置
US20170295223A1 (en) * 2016-04-07 2017-10-12 International Business Machines Corporation Determining a best fit coordinator node in a database as a service infrastructure
CN109462650A (zh) * 2018-11-14 2019-03-12 深圳市小牛普惠投资管理有限公司 数据文件下载方法、装置、计算机设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9112808B2 (en) * 2007-02-06 2015-08-18 At&T Intellectual Property Ii, L.P. Devices, systems, and methods for providing data
CN103533002A (zh) * 2012-07-05 2014-01-22 阿里巴巴集团控股有限公司 一种数据处理方法和系统
CN110555068A (zh) * 2018-05-14 2019-12-10 北京京东尚科信息技术有限公司 数据导出方法和装置
CN111104448A (zh) * 2019-12-17 2020-05-05 深圳前海环融联易信息科技服务有限公司 大数据量Excel文件导出方法、装置、计算机设备及存储介质
CN111800459A (zh) * 2020-05-26 2020-10-20 苏宁云计算有限公司 下载任务异步处理方法、装置、系统和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103207785A (zh) * 2013-04-23 2013-07-17 北京奇虎科技有限公司 数据下载请求的处理方法、装置及系统
CN104881307A (zh) * 2015-05-15 2015-09-02 广东小天才科技有限公司 下载实现方法和装置
US20170295223A1 (en) * 2016-04-07 2017-10-12 International Business Machines Corporation Determining a best fit coordinator node in a database as a service infrastructure
CN109462650A (zh) * 2018-11-14 2019-03-12 深圳市小牛普惠投资管理有限公司 数据文件下载方法、装置、计算机设备及存储介质

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021238796A1 (zh) * 2020-05-26 2021-12-02 苏宁易购集团股份有限公司 下载任务异步处理方法、装置、系统和存储介质
CN112256417A (zh) * 2020-10-23 2021-01-22 上海豹云网络信息服务有限公司 一种数据请求处理方法、装置及计算机可读存储介质
CN112256417B (zh) * 2020-10-23 2024-03-29 上海豹云网络信息服务有限公司 一种数据请求处理方法、装置及计算机可读存储介质
CN112433832A (zh) * 2020-11-17 2021-03-02 北京沃东天骏信息技术有限公司 一种任务触发方法、装置、设备及计算机可读存储介质
CN113032040A (zh) * 2021-03-15 2021-06-25 北京百度网讯科技有限公司 用于处理任务的方法、装置、设备、介质和产品
CN113032040B (zh) * 2021-03-15 2023-07-28 北京百度网讯科技有限公司 用于处理任务的方法、装置、设备、介质和产品
CN114756573A (zh) * 2022-06-16 2022-07-15 恒生电子股份有限公司 数据处理方法、装置及系统
CN114756573B (zh) * 2022-06-16 2022-10-04 恒生电子股份有限公司 数据处理方法、装置及系统

Also Published As

Publication number Publication date
WO2021238796A1 (zh) 2021-12-02

Similar Documents

Publication Publication Date Title
CN111800459A (zh) 下载任务异步处理方法、装置、系统和存储介质
CN110489447B (zh) 数据查询方法、装置、计算机设备和存储介质
KR102541295B1 (ko) 온-디맨드 네트워크 코드 실행 시스템에서의 운영 체제 커스터마이제이션
CN109492019B (zh) 业务请求响应方法、装置、计算机设备和存储介质
CN109039937B (zh) 动态限流方法、装置、计算机设备和存储介质
CN111309785B (zh) 基于Spring框架的数据库访问方法、装置、计算机设备和介质
CN111708586B (zh) 应用启动配置项加载方法、装置、计算机设备和存储介质
CN104994183B (zh) 短网址确定方法和装置
EP2989543A1 (en) Method and device for updating client
CN108415998B (zh) 应用依赖关系更新方法、终端、设备及存储介质
CN111159233B (zh) 分布式缓存方法、系统、计算机设备以及存储介质
CN104683457A (zh) 并发控制的方法及装置
CN110943934A (zh) 服务请求处理方法、系统、终端及可读存储介质
CN110855477A (zh) 链路日志监控方法、装置、计算机设备和存储介质
CN111078733A (zh) 批量任务处理方法、装置、计算机设备和存储介质
CN112612618A (zh) 接口限流方法、装置、计算机设备和存储介质
US10721260B1 (en) Distributed execution of a network vulnerability scan
CN112100152A (zh) 业务数据处理方法、系统、服务器和可读存储介质
CN113763043A (zh) 广告落地页的展示方法、装置、存储介质及计算机设备
US9258187B2 (en) System and method for optimizing and digitally correcting errors on a computer system
CN110955460B (zh) 一种服务进程启动方法、装置、电子设备和存储介质
CN111008146A (zh) 对云主机安全进行测试的方法及系统
CN115729961A (zh) 数据查询方法、装置、设备和计算机可读存储介质
CN111339170A (zh) 数据处理方法、装置、计算机设备及存储介质
CN114760357A (zh) 一种请求处理方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201020

RJ01 Rejection of invention patent application after publication