CN103927314B - 一种数据批量处理的方法和装置 - Google Patents

一种数据批量处理的方法和装置 Download PDF

Info

Publication number
CN103927314B
CN103927314B CN201310016209.2A CN201310016209A CN103927314B CN 103927314 B CN103927314 B CN 103927314B CN 201310016209 A CN201310016209 A CN 201310016209A CN 103927314 B CN103927314 B CN 103927314B
Authority
CN
China
Prior art keywords
batch
data
collect
user
dimension
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310016209.2A
Other languages
English (en)
Other versions
CN103927314A (zh
Inventor
张涛
唐凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201310016209.2A priority Critical patent/CN103927314B/zh
Publication of CN103927314A publication Critical patent/CN103927314A/zh
Application granted granted Critical
Publication of CN103927314B publication Critical patent/CN103927314B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/335Filtering based on additional data, e.g. user or group profiles
    • G06F16/337Profile generation, learning or modification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及一种数据批量处理的方法和装置,包括:接收多个用户请求数据并确定与所述多个用户请求数据相关的一个或多个数据汇总模板;在所述一个或多个数据汇总模板的每一个中设置汇总维度和设置可执行时刻;以及当多个所述汇总维度相同时,批量处理所述多个用户请求数据。本申请提出了一种标准化的数据批量处理的系统结构,包含一套数据批量处理的标准化语义,只需通过配置不同参数和调用数据汇总插件,就可以实现各种业务类型的数据批量处理,其提高了数据批量处理的效率。

Description

一种数据批量处理的方法和装置
技术领域
本申请涉及计算机数据处理领域,尤其涉及一种数据批量处理的方法和装置。
背景技术
在计算机领域中,为了处理大批量的数据,产生了数据批量处理任务,即,在计算机上预先设置程序或者命令,执行系列程序的作业。利用数据批量处理,能够很好的利用计算机资源,减少了计算开销,并且不需要时刻有人工监事和干预,从而降低了人工开销。依靠上述优点,数据批量处理在计算机领域中得到了广泛的应用。
在现有技术中,常用的数据批量处理,基本上是针对某一业务特性或者某一处理特性通过系统编码进行系统设计和研发,并逐个实现批量处理。如需要实现不同账户之间的数据转移汇总,则对一批转出账户相同、转入账户相同、业务相同的数据进行一次账户数据批量转移;又如需要对用户缴费数据进行批量汇总,则要对转出账户相同、业务相同的数据进行一次用户缴费数据批量汇总;再如账户数据批量转移处理需要在指定时间执行,则通常需要启动一个定时任务,在指定时间触发这个操作,执行账户数据批量转移。
在实际的数据批量处理中,随着业务类型和需求不断扩大,需求场景多变,汇总数据类型多变,汇总类型更加多样化,而且汇总执行的时间点多变且不尽相同,使用上述处理方式来支撑多种业务、多种方式汇总,导致系统越来越庞大,维护难度越来越大。
所以需要提供一套标准化的数据批量处理系统结构,使不同业务类型、不同处理时间的数据通过该系统结构快捷的进行数据批量处理,节约计算机资源和人工成本。
发明内容
鉴于上述问题,本申请的主要目的在于提供一种数量批量处理的方法和装置,以解决现有数据批量处理技术,在支撑多业务、多方式批量处理时导致系统难管理、难维护的问题。
为了解决上述技术问题,本申请的目的是通过以下技术方案实现的:
本申请公开了一种数据批量处理的方法,包括以下步骤:接收多个用户请求数据并确定与所述多个用户请求数据相关的一个或多个数据汇总模板;在所述一个或多个数据汇总模板的每一个中设置汇总维度和设置可执行时刻;以及当多个所述汇总维度相同时,批量处理所述多个用户请求数据。
优选的,在根据本申请所述的方法中,所述在所述一个或多个数据汇总模板的每一个中设置汇总维度和设置可执行时刻还包括:基于所述用户请求数据,解析每一个所述数据汇总模板中的配置文件;以及设置所述汇总维度并设置所述可执行时刻。
优选的,在根据本申请所述的方法中,所述配置文件包括汇总维度的描述方式和可执行时刻的描述方式;以及所述解析每一个所述数据汇总模板中的配置文件包括:解析所述汇总维度的描述方式和所述可执行时刻的描述方式。
优选的,在根据本申请所述的方法中,所述当多个所述汇总维度相同时批量处理多个用户请求数据还包括:在所述可执行时刻,将多个所述汇总维度相同的用户请求数据组装成一个或多个汇总批次,并批量处理多个用户请求数据。
优选的,在根据本申请所述的方法中,所述组装成一个或多个汇总批次还包括:基于预设的处理阈值,来判断用户请求数据的数量是否需要组装成一个或多个汇总批次;其中,如果用户请求数据的数量大于所述处理阈值,则将所述用户请求数据分成多个汇总批次进行处理,并对所述多个汇总批次进行编码,使用得到的多个汇总批次序号关联多个汇总批次;以及如果用户请求数据的数量小于或者等于处理阈值,则将所述用户请求数据作为一个汇总批次进行处理。
优选的,在根据本申请所述的方法中,所述批量处理多个用户请求数据还包括:在可执行时刻,调用数据库中的数据操作项,并依照所述数据操作项中的操作项信息处理所述多个用户请求数据。
优选的,根据本申请所述的方法还可以包括:在所述数据操作项中,至少包括如下操作项信息:所述汇总维度、所述可执行时刻、所述汇总批次序号。
优选的,在根据本申请所述的方法中,所述批量处理多个用户请求数据还包括同步地调用数据汇总插件。
本申请还公开了一种数据批量处理的装置,包括:接收与选择模块,用于接收多个用户请求数据并确定与所述多个用户请求数据相关的一个或多个数据汇总模板;配置模块,用于在所述一个或多个数据汇总模板的每一个中设置汇总维度和设置可执行时刻;以及执行模块,用于当多个汇总维度相同时,批量处理所述多个用户请求数据。
优选的,根据所述的装置所述配置模块,还可以包括:解析模块,用于基于所述用户请求数据,解析每一个所述数据汇总模板中的配置文件;以及设置模块,设置所述汇总维度并设置所述可执行时刻。
优选的,在所述的装置中,所述配置文件包括汇总维度的描述方式和可执行时刻的描述方式;以及所述解析模块包括:解析所述汇总维度的描述方式和所述可执行时刻的描述方式。
优选的,在所述的装置中,所述执行模块还被配置成:在所述可执行时刻,将多个所述汇总维度相同的用户请求数据,依照所述可执行时刻组装成一个或多个汇总批次,并批量处理多个用户请求数据。
优选的,在所述的装置中,所述执行模块还被配置成:基于预设的处理阈值,来判断用户请求数据的数量是否需要组装成一个或多个汇总批次;其中,如果用户请求数据的数量大于所述处理阈值,则将所述用户请求数据分成多个汇总批次进行处理,并对所述多个汇总批次进行编码,使用得到的多个汇总批次序号关联多个汇总批次;以及如果用户请求数据的数量小于或者等于处理阈值,则将所述用户请求数据作为一个汇总批次进行处理。
优选的,在所述的装置中,所述执行模块还可以包括:在可执行时刻,调用数据库中的数据操作项,并依照所述数据操作项中的操作项信息处理所述多个用户请求数据。
优选的,在所述的装置中,还可以包括:在所述数据操作项中,至少包括如下操作项信息:所述汇总维度、所述可执行时刻、所述汇总批次序号。
优选的,在所述的装置中,所述执行模块还被配置成同步地调用数据汇总插件。
与现有技术相比,本申请的数据批量处理方法和装置有如下优点:提出了一种标准化的数据批量处理的系统结构,包含一套数据批量处理的标准化语义,只需通过配置不同参数和调用数据汇总插件,就可以实现各种业务类型的数据批量处理,其提高了数据批量处理的效率;并且所述数据批量处理系统结构中的请求数据、数据汇总模块、数据汇总插件、汇总维度、可执行时刻、汇总类型均可进行横向扩展,即数据批量处理系统结构具有可配置性,节省了计算机资源和维护成本。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是本申请实施例的数据批量处理的方法的流程图;
图2是本申请实施例的数据批量处理的账户数据转移的配置文件的示意图;以及
图3是本申请实施例的数据批量处理的装置的模块图。
具体实施方式
本申请的主要思想在于,接收多个用户请求数据并确定与所述多个用户请求数据相关的一个或多个数据汇总模板;在所述一个或多个数据汇总模板的每一个中设置汇总维度和设置可执行时刻;以及当多个所述汇总维度相同时,批量处理所述多个用户请求数据。
在上述思想中,不同业务类型的需要汇总的用户请求数据的数据模型存在相同之处也同时存在不同之处,相同之处可以称作数据汇总模板,不同之处可以称作数据汇总插件。
汇总维度:汇总一般按照一定条件进行,这些汇总需要的条件组合为一个字段,抽象成为汇总维度。
可执行时刻:可以执行请求处理的时间,即可进行汇总处理的时间。
在数据汇总模板中包含配置文件,所述配置文件中的参数包括汇总维度的描述方式和可执行时刻的描述方式。汇总维度的描述方式用来描述汇总所需要的条件的组合,可执行时刻的描述方式用来描述可以进行汇总处理的具体时刻。当多个用户请求数据的汇总维度相同时,可以进行数据批量处理,数据批量处理的时间通过可执行时刻进行设置。
另外,所述汇总维度中包含汇总类型,汇总类型规定了数据批量处理的处理方式,如,不汇总、批次汇总、分批汇总等等。
数据操作项:是数据操作共有特征的抽象,其包含了汇总维度、可执行时刻、汇总批次序号以及状态等数据。每个具体数据会对应有一个数据操作项。数据操作如:转移、提取等。
基于用户请求数据,解析配置文件,设置汇总维度和设置可执行时刻。根据用户请求数据和配置文件,产生数据操作项。通常,一个配置文件与多个(N个)数据,可以产生多个(N个)数据操作项。
为使本申请的目的、技术方案和优点更加清楚,以下结合附图及具体实施例,对本申请作进一步地详细说明。
根据本申请的实施例,提供了一种数据批量处理的方法。
图1所示为本申请实施例的数据批量处理的方法的流程图,该方法可以包括以下步骤。
在步骤101处,接收多个用户请求数据并确定与所述多个用户请求数据相关的一个或多个数据汇总模板。
在本实施例中,所述接收多个用户请求数据可以包括多种业务类型,如:数据转移,数据运算、数据提取或数据插入等等。根据所述多个用户请求数据的业务类型可以查询到与之匹配的一个或多个数据汇总模板。
换言之,使用多种数据汇总模板可以组成一个标准化的数据批量处理模型,供不同业务类型的用户请求数据调用,将数据批量处理模板作为中间介质,实现数据的批量处理。
在步骤102处,在所述一个或多个数据汇总模板的每一个中设置汇总维度和设置可执行时刻。
在每一个数据处理模板中均包含配置文件,并且在所述配置文件中又包含了汇总维度的描述方式和可执行时刻的描述方式。
进一步的,以接收一个用户请求数据为例说明步骤102,在接收用户请求数据后,基于所述用户请求数据,解析与之匹配的数据处理模板中的配置文件:将所述配置文件中的描述语言(如:配置文件中的汇总维度的描述方式和可执行时刻的描述方式),根据业务参数或环境变化(如用户请求数据导致的参数或环境的变化),转化为能够被计算机识别的语言。由于解析所述配置文件时对配置文件中的汇总维度的描述方式和可执行时刻的描述方式进行解析,从而确定了两种参数描述方式的语义。
所述汇总维度的描述方式和可执行时刻的描述方式是指用编程语言定义这两个参数的定义、内容、执行方式等等。
基于上述解析过程,设置所述汇总维度和设置所述可执行时刻,解析和设置过程可参见图2的所示具体实施例,在这一过程中可以得到已设置的汇总维度和可执行时刻。由此,可通过配置文件和用户请求数据生成相应的数据操作项。
在实际应用中会接收多个用户请求数据,每一个用户请求数据都要执行上述步骤。
在步骤103处,当多个所述汇总维度相同时,批量处理所述多个用户请求数据。
在本实施例中,在所述可执行时刻,将多个所述汇总维度相同的用户请求数据组装成一个或多个汇总批次,并批量处理多个用户请求数据。由于系统性能问题,需要在构建数据批量处理模型时,预先对系统进行处理阈值设置,保证数据批量处理在系统性能最优的情况下进行。在可执行时刻,基于预设的处理阈值判断用户请求数据的数量是否需要组装成一个或多个汇总批次:如果用户请求数据的数量大于所述处理阈值,则将所述用户请求数据分成多个汇总批次进行处理,并对所述多个汇总批次进行编码,使用得到的多个汇总批次序号关联多个汇总批次;以及如果用户请求数据的数量小于或者等于处理阈值,则将所述用户请求数据作为一个汇总批次进行处理。
需要进行批量处理所述多个用户请求数据还需要在可执行时刻,调用数据库中的数据操作项,并依照所述数据操作项中的操作项信息处理所述多个用户请求数据,所述数据操作项包括操作项信息,如:所述汇总维度、所述可执行时刻、所述汇总批次序号等等。所以需要将设置完成的汇总维度和可执行时刻保存至数据库,且将汇总批次序号保存至数据库中,并全都作为操作项信息记录于数据操作项中。另外,所述多个用户请求数据也需要保存至数据库中,用于在可执行时刻,调用所述数据操作项对多个用户请求数据执行批量处理。
需要说明的是,一个数据操作项对应一种业务类型,并且一个数据操作项对应一条批次记录,所述批次记录中包含批次记录序号、业务类型、汇总批次的数量等等。在将所述用户请求数据分成多个汇总批次进行处理时,需要对所述多个汇总批次进行编码,得到汇总批次序号,将所述汇总批次序号记录在数据操作项中,汇总批次的数量记录在所述批次记录中,以此实现多个汇总批次之间的关联。
例如:对于一组汇总维度相同的用户请求数据,一共1300条,可执行时刻设置为13:30,并且处理阈值预设为500条,则系统会在13:30把这1300条用户请求数据组装为3个汇总批次,这样可以得到两个500条用户请求数据,一个300条用户请求数据,对3个汇总批次进行编码,得到汇总批次序号,如序号为001、002、003,假设,在001中包含500条用户请求数据,在002中包含500条用户请求数据,在003中包含300条用户请求数据,将这3个汇总批次序号记录在数据操作项中,并将汇总批次的数量3记录在一条汇总批次记录当中,接着对这个汇总的信息进行处理。这样在一个数据操作项对应处理一条批次记录时,如处理序号001的汇总批次时,知道还需要处理002和003这两个汇总批次,才算完成一条批次记录的处理,从而实现了对3个批次的关联。
由于汇总维度相同的一个或多个用户请求数据还存在一定差别(不同部分),因此将所述的差别抽象为一个或多个数据汇总插件,则对应的数据汇总模板可以去除这些不同部分使得数据批量处理模型更简单。而在执行数据批量处理时,同步地调用数据汇总插件,可以用来补充和完善不同业务类型的用户请求数据,在执行数据批量处理时,能灵活的调用数据汇总插件,使数据批量处理结果更具准确性。因而,数据汇总插件的运用既简化了数据批量处理模型,又使得数据批量处理模块更具可维护性。
需要说明的是,在步骤101、步骤102和步骤103中,所述用户请求数据、数据汇总模板、数据汇总插件、汇总维度的描述方式、可执行时刻的描述方式可以进行无限扩展,其中,对用户请求数据的横向扩展为可以对业务类型的扩展,对数据汇总模板、数据汇总插件、汇总维度的描述方式、可执行时刻的描述方式进行横向扩展为可以对参数进行扩充,这样在业务类型不断增加、用户请求数据不断增长的情况下,数据批量处理模型具有可配置性。
图2所示为本申请实施例的数据批量处理的数据转移的配置文件的示意图,在图1的基础上进一步解释步骤102中所述通过所述数据汇总模板设置汇总维度和设置可执行时刻这一过程。在设置可执行时刻和设置汇总维度之前,首先基于用户请求数据解析可执行时刻的描述方式和解析汇总维度的描述方式,用来根据业务参数或环境的变化,将配置文件中的描述方式转化成计算机可以识别的具体内容,然后再设置可执行时刻和设置汇总维度,具体可以包括以下2个步骤。
1.解析可执行时刻的描述方式和解析汇总维度的描述性方式,在图2中配置文件按照计划任务(CRON表达式)方式配置有可执行时刻,如</executePro>00/304-23**?*</executePro></execSchedule>语句,表示为每天4点到23点之间,每隔半个小时作为一个汇总时间点即可执行时刻,当接收用户请求数据时,将通过所述配置文件找到离当前时间点最近的后一个时间点,并将该最近的后一个时间点设置为可执行时刻。在图2中,配置文件可以使用一个字段来描述汇总维度,在配置文件中可以看到如下语句:<summaryDimension>’lgPosPayT1PaySum|’+$transIn$.concat(‘|’).concat($transOut$)</summaryDimension>,该语句表示配置ID“lgPosPayT1PaySum”+转入账户+转出账户,换言之,汇总维度即描述为前缀“lgPosPayT1PaySum|”拼接转入账户,拼接“|”,再拼接转出账户。若在当前时间14:17接收到用户请求数据,需要将转出账户(2088101119039098)中的数据转移到转入账户(2088101117829158)中,则可执行时刻应当转化为14:30,汇总维度应当转化为
“lgPosPayT1PaySum|2088101117829158|2088101119039098”。
2.设置可执行时刻和设置汇总维度,基于步骤1,根据上述表达式的描述含义,将用户请求数据的可执行时刻设置为14:30,而汇总维度字段设置为“lgPosPayT1PaySum|2088101117829158|2088101119039098”。
当多个用户请求数据的汇总维度相同时,就可以利用图1中的步骤103,将所述转出账户中的数据批量的转移到转入账户中了。
本申请还提供了一种数据批量处理的装置,参照图3所示为根据本申请实施例的数据批量处理的装置的模块图。
根据本申请的装置,可以包括接收与选择模块301、配置模块302、执行模块303。
在该装置中,接收与选择模块301可以用来接收多个用户请求数据并确定数据汇总模板。具体可参见步骤101。
配置模块302可以用来接收多个用户请求数据并确定与所述多个用户请求数据相关的一个或多个数据汇总模板。具体可参见步骤102。
在本实施例中,所述配置模块302还可以包括解析模块(未示出)和设置模块(未示出),在所述数据汇总模板中含有配置文件,其中解析模块可以用来基于所述用户请求数据,解析每一个所述数据汇总模板中的配置文件,又因为所述配置文件包括汇总维度的描述方式和可执行时刻的描述方式,所述解析模块可以包括解析所述汇总维度的描述方式和所述可执行时刻的描述方式。设置模块可以用来设置所述汇总维度并设置所述可执行时刻。
执行模块303可以用来当多个汇总维度相同时,批量处理所述多个用户请求数据。具体可参见步骤103。
所述执行模块303还可以被配置成在所述可执行时刻,将多个所述汇总维度相同的用户请求数据,依照所述可执行时刻组装成一个或多个汇总批次,并批量处理多个用户请求数据。
进一步的,所述执行模块303还被配置成基于预设的处理阈值,来判断用户请求数据的数量是否需要组装成一个或多个汇总批次:如果用户请求数据的数量大于所述处理阈值,则将所述用户请求数据分成多个汇总批次进行处理,并且使用与所述汇总批次相对应的多个汇总批次序号进行关联;以及如果用户请求数据的数量小于或者等于处理阈值,则将所述用户请求数据作为一个汇总批次进行处理。
在批量处理多个用户请求数据时,所述执行模块303调用数据库中的数据操作项,并依照所述数据操作项中的操作项信息处理所述多个用户请求数据。在所述数据操作项中,至少包括如下操作项信息:所述汇总维度、所述可执行时刻、所述汇总批次序号等。由于汇总维度相同的用户请求数据还存在一定差别,所以在执行数据批量处理时,还需所述执行模块303同步的调用数据汇总插件。。
根据图3所描述的本申请的系统所包括的各个模块的具体实施与本申请的方法中的步骤的具体实施是相对应的,由于之前已经详细描述了图1所示的数据批量处理的方法实施例和图2所示的数据批量处理的数据转移的配置文件的示意图,为了不模糊本申请,在此省略不再对各个模块的具体细节进行描述。
本说明书中的各个实施例一般采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块或单元。一般地,程序模块或单元可以包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。一般来说,程序模块或单元可以由软件、硬件或两者的结合来实现。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块或单元可以位于包括存储设备在内的本地和远程计算机存储介质中。
最后,还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其主要思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (16)

1.一种数据批量处理的方法,其特征在于,包括:
接收多个用户请求数据并确定与所述多个用户请求数据相关的一个或多个数据汇总模板;
在所述一个或多个数据汇总模板的每一个中设置汇总维度和设置可执行时刻,其中,所述汇总维度为由汇总条件组成的字段;以及
当多个所述汇总维度相同时,批量处理所述多个用户请求数据。
2.根据权利要求1所述的方法,其特征在于,所述在所述一个或多个数据汇总模板的每一个中设置汇总维度和设置可执行时刻的还包括:
基于所述用户请求数据,解析每一个所述数据汇总模板中的配置文件,并设置所述汇总维度并设置所述可执行时刻。
3.根据权利要求2所述的方法,其特征在于:所述配置文件包括汇总维度的描述方式和可执行时刻的描述方式;以及
所述解析每一个所述数据汇总模板中的配置文件包括:解析所述汇总维度的描述方式和所述可执行时刻的描述方式;
所述设置所述汇总维度并设置所述可执行时刻包括:根据所述汇总维度的描述方式设置所述汇总维度,根据所述可执行时刻的描述方式设置可执行时刻。
4.根据权利要求1所述的方法,其特征在于,所述当多个所述汇总维度相同时,批量处理多个用户请求数据还包括:
在所述可执行时刻,将多个所述汇总维度相同的用户请求数据组装成一个或多个汇总批次,并批量处理多个用户请求数据。
5.根据权利要求4所述的方法,其特征在于,所述组装成一个或多个汇总批次还包括:基于预设的处理阈值,来判断用户请求数据的数量是否需要组装成一个或多个汇总批次;其中,
如果用户请求数据的数量大于所述处理阈值,则将所述用户请求数据分成多个汇总批次进行处理,并对所述多个汇总批次进行编码,使用得到的多个汇总批次序号关联多个汇总批次;以及
如果用户请求数据的数量小于或者等于处理阈值,则将所述用户请求数据作为一个汇总批次进行处理。
6.根据权利要求1所述的方法,其特征在于,所述批量处理多个用户请求数据还包括:
在可执行时刻,调用数据库中的数据操作项,并依照所述数据操作项中的操作项信息处理所述多个用户请求数据。
7.根据权利要求6所述的方法,其特征在于,还包括:
在所述数据操作项中,至少包括如下操作项信息:所述汇总维度、所述可执行时刻、所述汇总批次序号。
8.根据权利要求1所述的方法,其特征在于,所述批量处理多个用户请求数据还包括同步地调用数据汇总插件。
9.一种数据批量处理的装置,包括:
接收与选择模块,用于接收多个用户请求数据并确定与所述多个用户请求数据相关的一个或多个数据汇总模板;
配置模块,用于在所述一个或多个数据汇总模板的每一个中设置汇总维度和设置可执行时刻,其中,所述汇总维度为由汇总条件组成的字段;以及
执行模块,用于当多个所述汇总维度相同时,批量处理所述多个用户请求数据。
10.根据权利要求9所述的装置,其特征在于,所述配置模块还包括:
基于所述用户请求数据,解析每一个所述数据汇总模板中的配置文件,并设置所述汇总维度并设置所述可执行时刻。
11.根据权利要求10所述的装置,其特征在于:所述配置文件包括汇总维度的描述方式和可执行时刻的描述方式;以及
配置模块还包括解析模块:用于解析所述汇总维度的描述方式和所述可执行时刻的描述方式;
配置模块还包括设置模块:用于根据所述汇总维度的描述方式设置所述汇总维度,根据所述可执行时刻的描述方式设置可执行时刻。
12.根据权利要求9所述的装置,其特征在于,所述执行模块还包括:
在所述可执行时刻,将多个所述汇总维度相同的用户请求数据组装成一个或多个汇总批次,并批量处理多个用户请求数据。
13.根据权利要求12所述的装置,其特征在于,所述执行模块还被配置成:
基于预设的处理阈值,来判断用户请求数据的数量是否需要组装成一个或多个汇总批次;其中,
如果用户请求数据的数量大于所述处理阈值,则将所述用户请求数据分成多个汇总批次进行处理,并对所述多个汇总批次进行编码,使用得到的多个汇总批次序号关联多个汇总批次;以及
如果用户请求数据的数量小于或者等于处理阈值,则将所述用户请求数据作为一个汇总批次进行处理。
14.根据权利要求9所述的装置,其特征在于,所述执行模块还包括:
在可执行时刻,调用数据库中的数据操作项,并依照所述数据操作项中的操作项信息处理所述多个用户请求数据。
15.根据权利要求14所述的装置,其特征在于,还包括:
在所述数据操作项中,至少包括如下操作项信息:所述汇总维度、所述可执行时刻、所述汇总批次序号。
16.根据权利要求9所述的装置,其特征在于,所述执行模块还包括同步地调用数据汇总插件。
CN201310016209.2A 2013-01-16 2013-01-16 一种数据批量处理的方法和装置 Active CN103927314B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310016209.2A CN103927314B (zh) 2013-01-16 2013-01-16 一种数据批量处理的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310016209.2A CN103927314B (zh) 2013-01-16 2013-01-16 一种数据批量处理的方法和装置

Publications (2)

Publication Number Publication Date
CN103927314A CN103927314A (zh) 2014-07-16
CN103927314B true CN103927314B (zh) 2017-10-13

Family

ID=51145536

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310016209.2A Active CN103927314B (zh) 2013-01-16 2013-01-16 一种数据批量处理的方法和装置

Country Status (1)

Country Link
CN (1) CN103927314B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104346449B (zh) * 2014-10-28 2017-11-24 用友网络科技股份有限公司 数据合并方法和数据合并装置
CN104407922B (zh) * 2014-10-29 2019-03-01 中国建设银行股份有限公司 一种异步批处理调度方法及系统
CN105404650A (zh) * 2015-10-30 2016-03-16 中国石油集团东方地球物理勘探有限责任公司 一种gis数据处理方法及装置
CN105894366A (zh) * 2016-04-22 2016-08-24 上海瀚之友信息技术服务有限公司 一种秒杀型交易处理系统及方法
CN109901989B (zh) * 2017-12-11 2023-12-12 阿里巴巴(中国)有限公司 Json对比方法和装置以及电子设备
CN108427733B (zh) * 2018-02-28 2021-08-10 网易(杭州)网络有限公司 审核规则的设置方法、装置和系统、设备、存储介质
CN109389286B (zh) * 2018-09-03 2022-11-18 阿里巴巴集团控股有限公司 一种业务处理、调度、分批方法、装置、设备及介质
CN111612464A (zh) * 2020-05-27 2020-09-01 北银金融科技有限责任公司 一种海量联机交易处理方法
CN112750027A (zh) * 2020-12-30 2021-05-04 中电金信软件有限公司 批量业务处理方法、装置、计算机设备和存储介质
CN114078049A (zh) * 2021-10-09 2022-02-22 南方电网深圳数字电网研究院有限公司 一种用于供应链金融资信服务的数据处理方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102541942A (zh) * 2010-12-31 2012-07-04 中国银联股份有限公司 一种数据批量转移系统及其方法
CN102682045A (zh) * 2011-03-18 2012-09-19 财团法人工业技术研究院 基于动态语言模型的推荐方法与推荐系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006024000A2 (en) * 2004-08-24 2006-03-02 Reed Smith, Llp A trainable record searcher
US8620935B2 (en) * 2011-06-24 2013-12-31 Yahoo! Inc. Personalizing an online service based on data collected for a user of a computing device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102541942A (zh) * 2010-12-31 2012-07-04 中国银联股份有限公司 一种数据批量转移系统及其方法
CN102682045A (zh) * 2011-03-18 2012-09-19 财团法人工业技术研究院 基于动态语言模型的推荐方法与推荐系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
VFP6.0环境下数据批量处理方法探究;崔赛英;《电脑编程技巧与维护》;20110930;文章第46-47页 *

Also Published As

Publication number Publication date
CN103927314A (zh) 2014-07-16

Similar Documents

Publication Publication Date Title
CN103927314B (zh) 一种数据批量处理的方法和装置
CN108536761B (zh) 报表数据查询方法及服务器
CN109614409A (zh) 业务数据处理方法、装置和服务器
CN109213758B (zh) 数据存取方法、装置、设备及计算机可读存储介质
CN109144997A (zh) 数据关联方法、装置及存储介质
CN109597842A (zh) 数据实时计算方法、装置、设备及计算机可读存储介质
CN105243528A (zh) 大数据环境下金融it系统中图形化集中对账系统与方法
CN105787058B (zh) 一种用户标签系统及基于用户标签系统的数据推送系统
WO2008095384A1 (en) Matching method and system for marketing campaign recommendation
CN109271561A (zh) 一种图谱信息检索方法及装置
CN106161135A (zh) 业务交易故障分析方法及装置
CN108536718A (zh) 一种基于输入输出语义化实现的管理信息化的方法和系统
CN105975489A (zh) 一种基于元数据的在线sql代码补全方法
CN102857949A (zh) 一种规划数据一致性保证的方法和装置
CN104915193A (zh) 一种流程引擎的处理方法和装置
CN104021216B (zh) 消息代理服务器及信息发布订阅方法和系统
CN108268615A (zh) 一种数据处理方法、装置以及系统
CN111444309B (zh) 用于对图进行学习的系统
CN105871998A (zh) 一种数据展示方法及装置
CN105335466A (zh) 一种音频数据的检索方法与装置
CN105224327A (zh) 一种嵌入式装置变量交换传输地址离线分配方法
CN111680023A (zh) 迁移数据核对方法及装置
CN112801616B (zh) 异常账簿处理方法及装置
CN102855297A (zh) 一种控制数据传输的方法和连接器
CN106330556B (zh) 一种用于生成服务模块调用关联信息的方法与装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1197480

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1197480

Country of ref document: HK

TR01 Transfer of patent right

Effective date of registration: 20191204

Address after: P.O. Box 31119, grand exhibition hall, hibiscus street, 802 West Bay Road, Grand Cayman, Cayman Islands

Patentee after: Innovative advanced technology Co., Ltd

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Patentee before: Alibaba Group Holding Co., Ltd.

TR01 Transfer of patent right