CN103533002A - 一种数据处理方法和系统 - Google Patents

一种数据处理方法和系统 Download PDF

Info

Publication number
CN103533002A
CN103533002A CN201210233249.8A CN201210233249A CN103533002A CN 103533002 A CN103533002 A CN 103533002A CN 201210233249 A CN201210233249 A CN 201210233249A CN 103533002 A CN103533002 A CN 103533002A
Authority
CN
China
Prior art keywords
bill
request
file
download
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201210233249.8A
Other languages
English (en)
Inventor
钱伟丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201210233249.8A priority Critical patent/CN103533002A/zh
Publication of CN103533002A publication Critical patent/CN103533002A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)

Abstract

本申请提供了一种数据处理方法和系统,涉及网络技术领域。所述方法包括:接收用户端基于账单页面的账单下载请求;解析所述账单下载请求中的查询信息,所述信息包括用户标识和账单查询条件信息;依据所述账单查询信息获得在数据库中待下载的数据总量,并判断所述数据总量是否符合阈值条件;当符合时,则暂停同步响应所述账单下载请求,基于所述用户标识和账单查询条件信息进入异步生成账单文件过程,并提示用户端延时进入下载文件存储区下载所述账单文件;对于所述异步生成的账单文件,根据所述用户端标识将异步生成的账单文件转存至对应用户标识的下载文件存储区。本申请通过异步的方式降低了系统压力,可保护系统的稳定性。

Description

一种数据处理方法和系统
技术领域
本申请涉及网络技术领域,特别是涉及一种数据处理方法和系统。
背景技术
随着网络的发展,用户也可在网络中查询其消费的电子账单,比如其使用某个银行的信用卡进行消费后的电子账单。电子账单对于用户的每一笔消费均进行记录,并进行展示。并且,在很多情况下,用户均需要将服务器的账单下载到用户所在用户端进行保存。
现有技术中:第一,用户在使用页面账单功能时,如果自定义的查询条件范围过大,搜索出来的业务数据总量也很大的话,系统生成下载账单文件的时间就会加长,系统无法在短时间内给出响应结果,毕竟,系统要实时访问数据库获取大量数据,并生成账单。用户在页面等待响应时,如果等待时间过长,则可能会使用户错误的以为请求失败,或者是否系统死机等问题,用户会再次重复点击发送下载请求,或者刷新页面的请求,使服务器在短时间内接收了大量下载请求或者刷新请求,而服务器需要对每个请求均进行处理,尤其当网络中存在大量需求下载包括大量数据的账单时,由于前述原因,则请求量可能会程几何级增加,则会大大增加系统的负载;并且给用户的体验很差。
第二,因为服务器在同一时间段内存在下载请求处理的限制,由于服务器对于大数据总量的处理时间长,当同一时间存在大量用户进行下载请求时,则可能导致服务器无法实时响应用户请求,从而陷入处理堵塞,造成系统的不稳定。
发明内容
本申请所要解决的技术问题是提供一种数据处理方法和系统,当用户下载大数据总量的账单时,将其下载请求进行异步处理,避免因用户长时间等待页面响应而可能导致的重复发送页面请求或大量刷新页面等情况,提升服务器资源的利用效率,降低系统的压力。
为了解决上述问题,本申请公开了一种数据处理的方法,包括:
接收用户端基于账单页面的账单下载请求;
解析所述账单下载请求中的查询信息,所述信息包括用户标识和账单查询条件信息;
依据所述账单查询信息获得在数据库中待下载的数据总量,并判断所述数据总量是否符合阈值条件;
当符合时,则暂停同步响应所述账单下载请求,基于所述用户标识和账单查询条件信息进入异步生成账单文件过程,并提示用户端延时进入下载文件存储区下载所述账单文件;
对于所述异步生成的账单文件,根据所述用户端标识将异步生成的账单文件转存至对应用户标识的下载文件存储区。
优选的,所述基于所述用户标识和账单查询条件信息异步生成账单文件包括:
基于所述用户标识和账单查询条件信息生成账单请求任务插入账单请求任务队列;
所述账单请求任务队列根据系统环境提取账单请求任务执行,生成相应的账单文件。
优选的,所述账单请求任务队列根据系统环境提取账单请求任务执行,生成相应的账单文件包括:
账单请求任务队列从账单请求任务队列中的账单请求任务管理队列中,提取排序靠前的账单请求任务中的SQL处理请求;
发送所述SQL处理请求至数据库,获取与所述用户标识和账单查询条件信息对应的各条账单数据;
基于所述各条账单数据生成对应的账单文件。
优选的,生成所述账单请求任务时包括:
查询用户标识对应的用户级别;
根据所述用户级别生成相应级别的账单请求任务;所述用户级别对应相应的处理优先级;
根据所述级别,将账单请求任务插入账单请求任务队列。
优选的,所述账单请求任务队列根据系统环境提取账单请求任务执行时包括:
分析系统当前系统处理账单请求任务请求时的负载情况;
在不超过系统负载阈值的条件下,根据负载情况提取相应个数的账单请求任务执行。
优选的,判断所述数据总量是否符合阈值条件包括:
当不符合时,则同步生成账单文件,响应所述账单下载请求。
优选的,根据所述用户端标识将异步生成的账单文件转存至对应用户标识的下载文件存储区包括:
记录所述账单文件在所述下载文件存储区的时间;
当所述时间超过阈值时,则清理相应账单文件。
优选的,当暂停同步响应所述账单下载请求,提示用户端延时进入下载文件存储区下载所述账单文件之后还包括:
对于同一用户端发送账单下载请求,判断各暂停同步响应的账单下载请求中是否存在所述账单下载请求相同的请求;
如果存在,则阻断账单下载请求,并提示用户端延时进入下载文件存储区下载所述账单文件。
相应的,本申请还公开了一种数据处理的系统,包括:
请求接收模块,用于接收用户端基于账单页面的账单下载请求;
解析模块,用于解析所述账单下载请求中的查询信息,所述信息包括用户标识和账单查询条件信息;
判断模块,用于依据所述账单查询信息获得在数据库中待下载的数据总量,并判断所述数据总量是否符合阈值条件;
异步处理模块,用于当符合时,则暂停同步响应所述账单下载请求,基于所述用户标识和账单查询条件信息进入异步生成账单文件过程,并提示用户端延时进入下载文件存储区下载所述账单文件;
文件存储模块,用于对于所述异步生成的账单文件,根据所述用户端标识将异步生成的账单文件转存至对应用户标识的下载文件存储区。
优选的,所述异步处理模块包括:
任务生成模块,用于基于所述用户标识和账单查询条件信息生成账单请求任务插入账单请求任务队列;
任务队列,用于所述账单请求任务队列根据系统环境提取账单请求任务执行,生成相应的账单文件。
与现有技术相比,本申请包括以下优点:
本申请针对用户端的数据总量大的账单下载请求,暂停对所述账单下载请求的实时响应过程,转入对所述账单请求的异步处理过程,并通知用户端延时进入特设的下载文件存储区下载所述账单文件。如此,首先,通过异步的方式可避免由于数据总量大,系统响应时间长,导致页面长时间无反应,从而使用户错误的以为请求失败等问题而会重复点击发送下载请求或者刷新页面的请求的情况,降低了系统压力;其次,可以避免由于服务器对于大数据总量的处理时间长,在存在大量下载请求时,导致服务器无法实时响应用户请求,陷入处理堵塞,造成系统的不稳定的情况,可保护系统的稳定性。
附图说明
图1是本申请一种数据处理的方法的流程示意图;
图2是本申请账单页面的一种示例;
图3是本申请一种数据处理的系统的结构示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本申请作进一步详细的说明。
本申请的核心思想之一在于,对于大范围的账单下载,即账单的数据总量大,比如对于一年的账单数据进行下载时,一般情况下,用户的账单数据总量可能上万条,那么服务器对于用户当前发送的下载请求的即时响应就比较慢,因为服务器或者进一步说数据库的处理速度存在限制,那么本申请则将对请求的实时响应截断,更改为延时处理,即异步处理,并通知用户端到延时进入特设的文件下载账单文件,那么就避免了因为等待过长,页面长时间无反应,从而使用户错误的以为请求失败等问题,而重复点击发送下载请求或者刷新页面的请求的情况,降低了系统压力;也可以避免由于服务器由于要实时对于大数据总量的账单下载请求进行处理,而又由于处理时间周期长,而当在处理过程中又出现大量请求时,导致服务器无法实时响应用户请求,陷入处理堵塞,造成系统的不稳定的情况,从而可保证系统的稳定性。
参照图1,示出了本申请一种数据处理的方法的流程示意图,具体可以包括:
步骤110,接收用户端基于账单页面的账单下载请求;
在实际中,用户一般是先查询账单信息,在页面上展示账单信息了再决定是否下载,比如参照图2,其为用户输入查询条件:时间范围,然后由服务器将查询结果返回用户端进行展示。但现有技术中,展示时,由于每页展示具有限制,对于大数据总量来说,其是分页展示给用户,那么服务器只返回当前需要展示给用户的数据,比如当前展示的为第一页,每页10条,那么服务器只从数据库获取10条返回用户端进行展示,当用户端点击第二页时,即发送展示第二页的请求时,服务器再从服务器获取第二页的10条数据返回用户端进行展示。而用户端如果下载,则是对其所查询的所有数据进行下载,那么则需要一次性从数据库获取查询条件范围内的所有数据生成下载的账单文件提供给用户端下载。对于大数据总量来说,则服务器的处理时间较长。
在本申请中,用户点击下载按钮时即生成账单下载请求发送至服务器,其账单下载请求中包括用户标识和账单查询条件信息。其中,账单查询条件信息比如时间范围,和/或交易平台等。
优选的,所述查询信息中还包括账单文件的下载类型,比如excel、CSV或者TXT等类型。
另外,因为账单下载请求一般是基于用户查询后再进行的,而服务器基于用户的查询条件首先会进行在数据库中进行count(求总数)语句查询,然后将账单数据总量返回给用户端进行展示,当用户点击下载请求时,那么账单信息则可直接包括所述账单的数据总量发送给服务器。
对于用户端发送的基于账单页面的账单下载请求,服务器则解释所述账单下载请求。
步骤120,解析所述账单下载请求中的查询信息,所述信息包括用户标识和账单查询条件信息;
服务器接收到用户端发送的账单下载请求后,则对其进行解析。如前所述,一般账单解下载请求中包括用户标识和账单查询条件信息,那么则解析所述账单下载请求中的用户标识和账单查询条件信息。
优选的,当账单下载请求存在前述的下载类型时,则解析相应的下载类型。
另外,如果所述账单查询信息包括账单数据总量时,也可解析所述账单数据总量。
步骤130,依据所述账单查询信息获得在数据库中待下载的数据总量,并判断所述数据总量是否符合阈值条件;
在本申请中,会预先设置一个同步或异步的阈值参数,如设置为100,则小于等于100条数据时,进入同步生成账单文件模式;大于100条业务数据时,进入异步生成账单文件模式。
在实际中,该阈值参数可根据实际测试获得,比如采用多台样本客户端,在每台客户端选择不同的数据总量进行同步下载测试,获取从用户点击下载按钮到页面响应用户下载请求时的时间;那么即可采集各种数据总量与响应时间的关系。然后以响应时间为统计项,统计该项下各种数据总量出现的次数,那么对于指定响应时间,比如响应时间为3秒时,相应各种数据总量的出现次数为多少,比如数据总量100出现了1000次,数据总量101出现了2次,数据总量99出现了5次,经过统计学原理,那么即可认为响应时间为3秒对应的下载数据总量为100。那么按响应时间划定3秒之内的下载请求不进行异步处理,那么即可设置数据总量阈值为100。
在服务器解析得到下载请求的账单查询信息时,如果账单查询信息中包括用户设置的查询条件,比如从2011年1月至2012年1月时间范围内的账单。那么系统基于上述时间条件生成一个计算数据总量的SQL语句count,去数据库查询计算对应所述用户标识的账单数据总量。
如果账单查询信息中还包括前述已获得的账单数据总量,那么直接解析所述账单数据总量即可。
然后基于所述账单数据总量,与阈值进行比较,判断所述数据总量是否符合阈值条件,比如所述数据总量是否大于阈值。
步骤140,当符合时,则暂停同步响应所述账单下载请求,基于所述用户标识和账单查询条件信息进入异步生成账单文件过程,并提示用户端延时进入下载文件存储区下载所述账单文件;
如前所述,在本申请中,当数据总量大于阈值时,则进入异步账单文件生成过程,如果小于则进入同步账单文件生成过程。
即,当数据总量大于阈值时,暂停同步响应述账单下载请求,基于所述用户标识和账单查询条件信息进入异步生成账单文件过程;同时,提示用户端延时进入下载文件存储区下载所述账单文件。
本步骤即避免了对于大数据量的账单文件下载时,实时响应下载请求所产生的长时间延迟,避免了在响应过程中,页面长时间无下载响应的情况,从而避免了使用户误以为系统卡死或者服务器没接收到下载请求,而重复发送下载请求的情况。也可将响应时间长的下载请求转入异步处理过程,不用完全长时间挤占当前服务器处理请求的接口,导致服务器进入堵死的情况。比如如果服务器能同时提供10个接口去数据库抓取数据,若当前10个请求每个需要花费1分钟时间,如果没10秒接收一批请求,比如10个,每个也需要花费1分钟,那么这批10个请求就需要等待1分50秒,以此类推,下一批会等待2分40秒,如果其中还存在更多的短时间请求,则请求会堆积的越来越多,导致服务器堵死,系统不稳定,而本申请通过上述方式则可降低甚至避免这种情况。
优选的,所述基于所述用户标识和账单查询条件信息异步生成账单文件包括:
步骤S141,基于所述用户标识和账单查询条件信息生成账单请求任务插入账单请求任务队列;
在暂停了实时同步响应用户端发送的账单下载请求后,需要服务器异步生成账单请求任务,去数据库抓取数据生成账单文件。
由前述步骤到请求中的查询条件信息和用户标识,那么可基于所述查询条件信息以对应用户标识为查询对象,生成相应SQL语句,并进行装载。一般,所述账单请求任务包括生成SQL语句去数据库抓取账单数据的子任务,和针对抓取得到的账单数据生成相应账单文件的子任务,上述两个任务是前后衔接的关系。
在本申请中,系统可维护一个任务队列,将新生成的账单请求任务插入任务队列中。
优选的,生成所述账单请求任务时包括:
步骤A11,查询用户标识对应的用户级别;
在实际中,对于账户一般会分级,比如银行账户的普通级,黄金级,企业级等。也存在其他级别。那么本申请可依据用户标识去用户数据库查询相应的用户级别。
步骤A12,根据所述用户级别生成相应级别的账单请求任务;所述用户级别对应相应的处理优先级。
在生成账单请求任务时,除了基于前述基本的基于用户标识和账单查询条件信息生成账单请求任务,在生成账单请求任务时,还可按照用户级别规定账单请求任务的处理优先级。
步骤A13,根据所述级别,将账单请求任务插入账单请求任务队列。
根据账单请求任务对应的优先级,将账单请求任务按级别插入请求任务队列。比如,设处理优先级顺序为第1级,第2级,第3级;当前队列先后顺序为:任务1-第1级,任务2-第1级,任务3-第2级,任务4-第2级,任务5-第3级,任务6-第3级。当新生成一个任务7,其级别为第2级,那么将其插入第2级任务的排尾,即插入后队列变为:任务1-第1级,任务2-第1级,任务3-第2级,任务4-第2级,任务7-第2级,任务5-第3级,任务6-第3级。
步骤S142,所述账单请求任务队列根据系统环境提取账单请求任务执行,生成相应的账单文件。
因为数据库处理数据的能力有限,所以需要判断当前系统的环境去提取账单请求任务从数据库获取数据,然后生成账单文件。
在实际中,一般只需要每隔固定时间间隔,比如每5分钟,从任务队列中固定提取指定数量的任务去执行即可。比如数据库同时能提供10个接口抓取数据,那么本申请可每隔5分钟从队列中提取排序靠前的两个任务占用接口进行去数据库抓取数据,抓取完毕后由服务器基于所抓取的数据生成账单文件。
优选的,所述账单请求任务队列根据系统环境提取账单请求任务执行时包括:
步骤A21,分析系统当前系统处理账单请求任务请求时的负载情况;
比如分析当前数据库能够承载多少处理请求,比如如果数据库同时总共能承载10个处理请求,那么如果当前数据库只在处理一个请求,那么其负载剩余9个。
步骤A22,在不超过系统负载阈值的条件下,根据负载情况提取相应个数的账单请求任务执行。
在保证系统稳定的情况下,可以相应从所述任务队列中提取相应个数的账单请求任务执行。比如为了给系统负载预留应急空间,对于数据库同时处理10请求时,一般只使数据库处理7个请求。那么若当前数据库只处理1个,那么即可从任务队列中再提取6个执行。具体提取个数可随系统负载阈值设定而改变。
当然,本申请的系统负载分析和任务队列请求个数的提取可以其他形式进行,本申请不对其加以限制。
优选的,所述账单请求任务队列根据系统环境提取账单请求任务执行,生成相应的账单文件包括:
步骤A31,从账单请求任务队列中的账单请求任务管理队列中,提取排序靠前的账单请求任务中的SQL处理请求;
如前所述,生成的账单请求任务包括去数据库抓取数据的任务,即包括SQL处理请求,所述SQL请求包括以查询条件信息为基础,以用户标识为查询对象生成的SQL语句。那么当执行时,则提取排序靠前的账单请求任务中的SQL处理请求,转入步骤A32。
步骤A32,发送所述SQL处理请求至数据库,获取与所述用户标识和账单查询条件信息对应的各条账单数据;
将所述SQL处理请求发送至数据库,抓取在账单查询条件信息内,以用户标识为对象的各条账单数据。
步骤A33,基于所述各条账单数据生成对应的账单文件。
在实际中,从数据库查询得到各条账单数据后,返回生成账单文件的服务器,然后将各条账单数据生成对应的账单文件。
在生成时,如果查询信息中包括了下载类型,比如excel表格类型,那么则将所得到的各账单数据生成excel表格类型的账单文件。同理可生成其他类型的文件。
当然,本申请可以任务队列的方式管理异步生成账单文件的过程,也可采用其他方式管理异步生成账单文件的过程,本申请不对其加以限制。
优选的,判断所述数据总量是否符合阈值条件包括:
步骤145,当不符合时,则同步生成账单文件,响应所述账单下载请求。
即对于账单的数据总量小的账单下载请求,因服务器对其响应时间短,可在极短时间内对用户的请求进行响应,因此,当账单的数据总量小于阈值时,则进入同步生成账单文件的过程,直接响应所述账单下载请求。
优选的,当暂停同步响应所述账单下载请求,提示用户端延时进入下载文件存储区下载所述账单文件之后还包括:
步骤B11,对于同一用户端发送账单下载请求,判断各暂停同步响应的账单下载请求中是否存在所述账单下载请求相同的请求;
步骤B12,如果存在,则阻断账单下载请求,并提示用户端延时进入下载文件存储区下载所述账单文件。
比如用户端已经发送了包括查询条件A和用户标识B发送了账单下载请求,那么服务器则判断当前已经暂停的账单下载请求中是否存在包括查询条件A和用户标识B的账单下载请求,如果存在,则将当前发送的请求阻断,并提示用户端延时进入下载文件存储区下载所述账单文件。
这样可进一步避免用户重复发送同一种账单下载请求。
步骤150,对于所述异步生成的账单文件,根据所述用户端标识将异步生成的账单文件转存至对应用户标识的下载文件存储区。
对于前述异步生成的账单文件,为了使用户可在系统提示的下载文件存储区去下载文件,那么可将异步生成的账单文件基于用户表示存入下载文件存储区,提供给用户下载。用户去下载文件存储区下载时,发送异步下载请求,异步下载请求包括下载的目标账单文件的名称和用户标识,然后服务器根据异步下载请求中的账单文件名称和用户标识找到相应账单文件,提供给用户端下载。
参照图3,其示出了本申请一种数据处理系统的结构示意图,包括:
请求接收模块310,用于接收用户端基于账单页面的账单下载请求;
解析模块320,用于解析所述账单下载请求中的查询信息,所述信息包括用户标识和账单查询条件信息;
判断模块330,用于依据所述账单查询信息获得在数据库中待下载的数据总量,并判断所述数据总量是否符合阈值条件;
异步处理模块340,用于当符合时,则暂停同步响应所述账单下载请求,基于所述用户标识和账单查询条件信息进入异步生成账单文件过程,并提示用户端延时进入下载文件存储区下载所述账单文件;
文件存储模块350,用于对于所述异步生成的账单文件,根据所述用户端标识将异步生成的账单文件转存至对应用户标识的下载文件存储区。
还包括,同步处理模块360,用于同步生成账单文件,响应所述账单下载请求。
优选的,所述异步处理模块包括:
任务生成模块,用于基于所述用户标识和账单查询条件信息生成账单请求任务插入账单请求任务队列;
任务队列,用于所述账单请求任务队列根据系统环境提取账单请求任务执行,生成相应的账单文件。
对于系统实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的系统。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令系统的制造品,该指令系统实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
本领域普通技术人员应该还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
以上对本申请所提供的一种数据处理的方法和系统,进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种数据处理的方法,其特征在于,包括:
接收用户端基于账单页面的账单下载请求;
解析所述账单下载请求中的查询信息,所述信息包括用户标识和账单查询条件信息;
依据所述账单查询信息获得在数据库中待下载的数据总量,并判断所述数据总量是否符合阈值条件;
当符合时,则暂停同步响应所述账单下载请求,基于所述用户标识和账单查询条件信息进入异步生成账单文件过程,并提示用户端延时进入下载文件存储区下载所述账单文件;
对于所述异步生成的账单文件,根据所述用户端标识将异步生成的账单文件转存至对应用户标识的下载文件存储区。
2.根据权利要求1所述的方法,其特征在于,所述基于所述用户标识和账单查询条件信息异步生成账单文件包括:
基于所述用户标识和账单查询条件信息生成账单请求任务插入账单请求任务队列;
所述账单请求任务队列根据系统环境提取账单请求任务执行,生成相应的账单文件。
3.根据权利要求2所述的方法,其特征在于,所述账单请求任务队列根据系统环境提取账单请求任务执行,生成相应的账单文件包括:
账单请求任务队列从账单请求任务队列中的账单请求任务管理队列中,提取排序靠前的账单请求任务中的SQL处理请求;
发送所述SQL处理请求至数据库,获取与所述用户标识和账单查询条件信息对应的各条账单数据;
基于所述各条账单数据生成对应的账单文件。
4.根据权利要求2或3所述的方法,其特征在于,生成所述账单请求任务时包括:
查询用户标识对应的用户级别;
根据所述用户级别生成相应级别的账单请求任务;所述用户级别对应相应的处理优先级;
根据所述级别,将账单请求任务插入账单请求任务队列。
5.根据权利要求2所述的方法,其特征在于,所述账单请求任务队列根据系统环境提取账单请求任务执行时包括:
分析系统当前系统处理账单请求任务请求时的负载情况;
在不超过系统负载阈值的条件下,根据负载情况提取相应个数的账单请求任务执行。
6.根据权利要求1所述的方法,其特征在于,判断所述数据总量是否符合阈值条件包括:
当不符合时,则同步生成账单文件,响应所述账单下载请求。
7.根据权利要求1所述的方法,其特征在于,根据所述用户端标识将异步生成的账单文件转存至对应用户标识的下载文件存储区包括:
记录所述账单文件在所述下载文件存储区的时间;
当所述时间超过阈值时,则清理相应账单文件。
8.根据权利要求1所述的方法,其特征在于,当暂停同步响应所述账单下载请求,提示用户端延时进入下载文件存储区下载所述账单文件之后还包括:
对于同一用户端发送账单下载请求,判断各暂停同步响应的账单下载请求中是否存在所述账单下载请求相同的请求;
如果存在,则阻断账单下载请求,并提示用户端延时进入下载文件存储区下载所述账单文件。
9.一种数据处理的系统,其特征在于,包括:
请求接收模块,用于接收用户端基于账单页面的账单下载请求;
解析模块,用于解析所述账单下载请求中的查询信息,所述信息包括用户标识和账单查询条件信息;
判断模块,用于依据所述账单查询信息获得在数据库中待下载的数据总量,并判断所述数据总量是否符合阈值条件;
异步处理模块,用于当符合时,则暂停同步响应所述账单下载请求,基于所述用户标识和账单查询条件信息进入异步生成账单文件过程,并提示用户端延时进入下载文件存储区下载所述账单文件;
文件存储模块,用于对于所述异步生成的账单文件,根据所述用户端标识将异步生成的账单文件转存至对应用户标识的下载文件存储区。
10.根据权利要求9所述的系统,其特征在于,所述异步处理模块包括:
任务生成模块,用于基于所述用户标识和账单查询条件信息生成账单请求任务插入账单请求任务队列;
任务队列,用于所述账单请求任务队列根据系统环境提取账单请求任务执行,生成相应的账单文件。
CN201210233249.8A 2012-07-05 2012-07-05 一种数据处理方法和系统 Pending CN103533002A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210233249.8A CN103533002A (zh) 2012-07-05 2012-07-05 一种数据处理方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210233249.8A CN103533002A (zh) 2012-07-05 2012-07-05 一种数据处理方法和系统

Publications (1)

Publication Number Publication Date
CN103533002A true CN103533002A (zh) 2014-01-22

Family

ID=49934677

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210233249.8A Pending CN103533002A (zh) 2012-07-05 2012-07-05 一种数据处理方法和系统

Country Status (1)

Country Link
CN (1) CN103533002A (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104462274A (zh) * 2014-11-25 2015-03-25 北京国双科技有限公司 数据处理方法和装置
CN105094959A (zh) * 2015-07-01 2015-11-25 北京京东尚科信息技术有限公司 一种提供对账文件的方法和装置
CN105094826A (zh) * 2015-07-23 2015-11-25 上海斐讯数据通信技术有限公司 用户终端系统中交互界面视图的响应方法及其装置
CN105306596A (zh) * 2015-11-19 2016-02-03 中国建设银行股份有限公司 应用于电子商务系统的文件处理方法、服务器及系统
WO2016091089A1 (zh) * 2014-12-08 2016-06-16 阿里巴巴集团控股有限公司 一种显示访问内容的方法及服务器
CN105991676A (zh) * 2015-01-30 2016-10-05 阿里巴巴集团控股有限公司 数据的获取方法和装置
CN106331100A (zh) * 2016-08-24 2017-01-11 金蝶软件(中国)有限公司 待处理业务信息推送方法和装置
CN106534303A (zh) * 2016-11-11 2017-03-22 中国农业银行股份有限公司 一种应用于对账系统的负载均衡方法和装置
CN109313642A (zh) * 2018-09-07 2019-02-05 威富通科技有限公司 账单信息缓存方法、账单信息查询方法和终端设备
CN110637443A (zh) * 2019-08-19 2019-12-31 北京小米移动软件有限公司 数据处理方法和装置、电子设备和计算机可读存储介质
CN110751550A (zh) * 2019-10-12 2020-02-04 上海陆家嘴国际金融资产交易市场股份有限公司 对账方法、装置、计算机设备和存储介质
CN111404831A (zh) * 2020-03-19 2020-07-10 重庆富民银行股份有限公司 用于风控系统处理性能的提升方法及系统
CN112463746A (zh) * 2020-12-11 2021-03-09 杭州海康汽车软件有限公司 一种文件存储、生成方法、装置及电子设备
CN112927770A (zh) * 2021-04-12 2021-06-08 徐州市通用科技有限公司 医疗数据共享方法及系统
CN113420236A (zh) * 2021-05-24 2021-09-21 北京达佳互联信息技术有限公司 榜单数据展示方法、装置、电子设备及存储介质
CN113535782A (zh) * 2021-07-22 2021-10-22 成都数之联科技有限公司 一种bi报表查询响应方法、系统、电子设备及计算机可读存储介质
WO2021238796A1 (zh) * 2020-05-26 2021-12-02 苏宁易购集团股份有限公司 下载任务异步处理方法、装置、系统和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020038383A1 (en) * 1999-12-23 2002-03-28 Craig Ullman Enhanced video programming system and method for incorporating and displaying retrieved integrated internet information segments
CN101009642A (zh) * 2006-12-31 2007-08-01 华为技术有限公司 一种基于任务分组的资源分配方法和装置
CN101320458A (zh) * 2007-06-07 2008-12-10 阿里巴巴集团控股有限公司 在海量数据下完成账单对账的方法及系统
CN102394932A (zh) * 2011-11-04 2012-03-28 浪潮(北京)电子信息产业有限公司 一种云海操作系统及其资源调度方法
CN102456005A (zh) * 2010-10-19 2012-05-16 深圳市金蝶友商电子商务服务有限公司 大数据量文件处理的方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020038383A1 (en) * 1999-12-23 2002-03-28 Craig Ullman Enhanced video programming system and method for incorporating and displaying retrieved integrated internet information segments
CN101009642A (zh) * 2006-12-31 2007-08-01 华为技术有限公司 一种基于任务分组的资源分配方法和装置
CN101320458A (zh) * 2007-06-07 2008-12-10 阿里巴巴集团控股有限公司 在海量数据下完成账单对账的方法及系统
CN102456005A (zh) * 2010-10-19 2012-05-16 深圳市金蝶友商电子商务服务有限公司 大数据量文件处理的方法及系统
CN102394932A (zh) * 2011-11-04 2012-03-28 浪潮(北京)电子信息产业有限公司 一种云海操作系统及其资源调度方法

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104462274B (zh) * 2014-11-25 2019-03-26 北京国双科技有限公司 数据处理方法和装置
CN104462274A (zh) * 2014-11-25 2015-03-25 北京国双科技有限公司 数据处理方法和装置
US10965781B2 (en) 2014-12-08 2021-03-30 Advanced New Technologies Co., Ltd. Method and server for displaying access content
US10693999B2 (en) 2014-12-08 2020-06-23 Alibaba Group Holding Limited Method and server for displaying access content
WO2016091089A1 (zh) * 2014-12-08 2016-06-16 阿里巴巴集团控股有限公司 一种显示访问内容的方法及服务器
CN105743937A (zh) * 2014-12-08 2016-07-06 阿里巴巴集团控股有限公司 一种显示访问内容的方法及服务器
CN105991676A (zh) * 2015-01-30 2016-10-05 阿里巴巴集团控股有限公司 数据的获取方法和装置
CN105991676B (zh) * 2015-01-30 2019-04-09 阿里巴巴集团控股有限公司 数据的获取方法和装置
CN105094959B (zh) * 2015-07-01 2018-12-28 北京京东尚科信息技术有限公司 一种提供对账文件的方法和装置
CN105094959A (zh) * 2015-07-01 2015-11-25 北京京东尚科信息技术有限公司 一种提供对账文件的方法和装置
CN105094826B (zh) * 2015-07-23 2018-04-10 上海斐讯数据通信技术有限公司 用户终端系统中交互界面视图的响应方法及其装置
CN105094826A (zh) * 2015-07-23 2015-11-25 上海斐讯数据通信技术有限公司 用户终端系统中交互界面视图的响应方法及其装置
CN105306596A (zh) * 2015-11-19 2016-02-03 中国建设银行股份有限公司 应用于电子商务系统的文件处理方法、服务器及系统
CN106331100A (zh) * 2016-08-24 2017-01-11 金蝶软件(中国)有限公司 待处理业务信息推送方法和装置
CN106534303A (zh) * 2016-11-11 2017-03-22 中国农业银行股份有限公司 一种应用于对账系统的负载均衡方法和装置
CN106534303B (zh) * 2016-11-11 2019-05-31 中国农业银行股份有限公司 一种应用于对账系统的负载均衡方法和装置
CN109313642B (zh) * 2018-09-07 2022-07-12 威富通科技有限公司 账单信息缓存方法、账单信息查询方法和终端设备
CN109313642A (zh) * 2018-09-07 2019-02-05 威富通科技有限公司 账单信息缓存方法、账单信息查询方法和终端设备
CN110637443A (zh) * 2019-08-19 2019-12-31 北京小米移动软件有限公司 数据处理方法和装置、电子设备和计算机可读存储介质
US11949574B2 (en) 2019-08-19 2024-04-02 Beijing Xiaomi Mobile Software Co., Ltd. Data processing method and apparatus, electronic device and computer-readable storage medium
CN110637443B (zh) * 2019-08-19 2023-09-29 北京小米移动软件有限公司 数据处理方法和装置、电子设备和计算机可读存储介质
CN110751550A (zh) * 2019-10-12 2020-02-04 上海陆家嘴国际金融资产交易市场股份有限公司 对账方法、装置、计算机设备和存储介质
CN111404831A (zh) * 2020-03-19 2020-07-10 重庆富民银行股份有限公司 用于风控系统处理性能的提升方法及系统
WO2021238796A1 (zh) * 2020-05-26 2021-12-02 苏宁易购集团股份有限公司 下载任务异步处理方法、装置、系统和存储介质
CN112463746A (zh) * 2020-12-11 2021-03-09 杭州海康汽车软件有限公司 一种文件存储、生成方法、装置及电子设备
CN112463746B (zh) * 2020-12-11 2023-11-03 杭州海康汽车软件有限公司 一种文件存储、生成方法、装置及电子设备
CN112927770A (zh) * 2021-04-12 2021-06-08 徐州市通用科技有限公司 医疗数据共享方法及系统
CN112927770B (zh) * 2021-04-12 2023-09-08 徐州市通用科技有限公司 医疗数据共享方法及系统
CN113420236A (zh) * 2021-05-24 2021-09-21 北京达佳互联信息技术有限公司 榜单数据展示方法、装置、电子设备及存储介质
CN113420236B (zh) * 2021-05-24 2024-05-17 北京达佳互联信息技术有限公司 榜单数据展示方法、装置、电子设备及存储介质
CN113535782A (zh) * 2021-07-22 2021-10-22 成都数之联科技有限公司 一种bi报表查询响应方法、系统、电子设备及计算机可读存储介质
CN113535782B (zh) * 2021-07-22 2024-05-07 成都数之联科技股份有限公司 一种bi报表查询响应方法、系统、电子设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN103533002A (zh) 一种数据处理方法和系统
US11755371B1 (en) Data intake and query system with distributed data acquisition, indexing and search
CN111831420B (zh) 用于任务调度的方法、相关装置及计算机程序产品
WO2016206600A1 (zh) 一种信息流数据的处理方法和装置
JP2019517040A (ja) クラウドプラットフォームベースのクライアントアプリケーション情報統計方法および装置
CN103095819A (zh) 推送数据信息的方法及数据信息推送系统
CN111209310B (zh) 基于流计算的业务数据处理方法、装置和计算机设备
US9680719B2 (en) Communication system, client terminal, and server
CN105138691B (zh) 分析用户业务量的方法和系统
CN108446171B (zh) 电子装置、分布式系统执行任务分配方法及存储介质
CN111784318A (zh) 数据处理方法、装置、电子设备及存储介质
CN110784377A (zh) 一种多云环境下的云监控数据统一管理的方法
CN109614270A (zh) 基于Hbase的数据读写方法、装置、设备及存储介质
CN107798039A (zh) 一种数据同步方法和装置
CN112631751A (zh) 任务调度方法、装置、计算机设备及存储介质
CN110688581A (zh) 一种信息的实时推送方法、装置、计算设备和介质
CN113127564B (zh) 一种参数同步方法和装置
CN107633080B (zh) 一种用户任务处理方法及装置
CN112433757A (zh) 一种确定接口调用关系的方法和装置
CN113127225A (zh) 一种数据处理任务的调度方法、装置和系统
CN108021688B (zh) 一种数据处理方法及装置
CN116028696A (zh) 资源信息获取方法、装置、电子设备及存储介质
CN109785178B (zh) 用于生成信息的方法和装置
CN110209645A (zh) 任务处理方法、装置、电子设备及存储介质
CN115277694B (zh) 一种数据获取方法、装置、系统、电子设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20140122