CN106897139A - 一种业务数据的处理方法和装置 - Google Patents
一种业务数据的处理方法和装置 Download PDFInfo
- Publication number
- CN106897139A CN106897139A CN201510966860.5A CN201510966860A CN106897139A CN 106897139 A CN106897139 A CN 106897139A CN 201510966860 A CN201510966860 A CN 201510966860A CN 106897139 A CN106897139 A CN 106897139A
- Authority
- CN
- China
- Prior art keywords
- business
- task
- data processing
- data
- item
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种业务数据的处理方法和装置,该方法包括:获取待处理的业务数据,生成对应的业务数据处理任务,并分发给多个任务处理器进行处理;各任务处理器确定相应任务中的业务数据所属的业务项目,获取对应的业务预期数据,将该业务数据与该业务预期数据的比值作为该业务数据的数据级别,并获取与其相匹配的业务数据处理规则,对该业务数据进行处理,得到目标数据。本发明提供的技术方案形成了对不同业务数据处理任务的统一调度,实现了各任务处理器在处理业务数据过程中的负载均衡;进一步地,实现了不同的业务数据根据所属业务项目的相关信息匹配到对应的业务数据处理规则,得到相应的目标数据,进一步提高业务数据处理的有效性、可靠性和效率。
Description
技术领域
本发明涉及互联网技术领域,具体涉及一种业务数据的处理方法和装置。
背景技术
随着计算机技术的发展,各终端平台的应用程序数量与日俱增,越来越多的用户热衷于使用功能强大的管理类平台(软件)对各类任务进行管理。
然而,用户数量的激增使得平台的数据量也随之增长,平台需要对大量的各类用户及其对应的数据进行综合处理,增加了平台处理负担,降低了数据处理效率。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的业务数据的处理方法和装置。
依据本发明的一个方面,提供了一种业务数据的处理方法,其中,该方法包括:
获取待处理的业务数据,生成对应于各业务数据的业务数据处理任务;
将各业务数据处理任务放入任务队列中,从任务队列中取出业务数据处理任务分发给多个任务处理器进行处理;
各任务处理器对于分发的每个业务数据处理任务,
确定该业务数据处理任务中的业务数据所属的业务项目,根据所述业务项目的初始数据获得该业务数据对应的业务预期数据,将该业务数据与该业务预期数据的比值作为该业务数据的数据级别;
从对应于所述业务项目的业务数据处理规则库中获取与该业务数据的数据级别相匹配的业务数据处理规则;
利用所获取的业务数据处理规则对该业务数据进行处理,得到目标数据。
可选地,所述将各业务数据处理任务放入任务队列中包括:
根据各业务数据处理任务的生成顺序、各业务数据处理任务的任务权重、和/或各业务数据处理任务中的业务数据的获取顺序,将各业务数据处理任务按顺序放入任务队列中。
可选地,所述从任务队列中取出业务数据处理任务分发给多个任务处理器包括:
根据各任务处理器的当前进程数、预设最大进程数、当前线程数、预设最大线程数中的一个或多个,得到各任务处理器的负载状态;
从任务队列中取出业务数据处理任务,根据各任务处理器的负载状态分发给多个任务处理器。
可选地,所述对应于所述业务项目的业务数据处理规则库包括:
与所述业务项目的属性信息相匹配的业务数据处理规则数据库;其中,所述业务数据的属性信息包括:指示所述业务项目的级别的第一信息,指示所述业务项目的类别的第二信息,和/或,指示所述业务项目的管辖区域的第三信息。
可选地,所述业务项目的级别包括:第一级别、第二级别和第三级别中的至少一种;其中,所述第一级别的业务项目的权限高于所述第二级别的业务项目的权限,所述第二级别的业务项目的权限高于所述第三级别的业务项目的权限。
可选地,所述业务项目的管辖区域包括:所属业务项目所管辖的游戏的名称和/或区服。
可选地,所述业务数据处理规则包括:基础数据和权重系数;
所述利用所获取的业务数据处理规则对该业务数据进行处理,得到目标数据包括:根据所述业务数据处理规则中的权重系数计算该业务数据与基础数据的加权值,作为目标数据。
可选地,所述业务数据包括:预设统计周期内的充值金额数据、用户注册数据、用户在线数据、提单金额数据、悬红金额数据、用户沟通数据中的至少一种。
可选地,该方法进一步包括:
将所述目标数据推送至相应的业务数据所属的业务项目的管理者的终端设备。
依据本发明的另一个方面,还提供了一种业务数据的处理装置,其中,该装置包括:
业务数据获取单元,适于获取待处理的业务数据,生成对应于各业务数据的业务数据处理任务;
任务调度单元,适于将各业务数据处理任务放入任务队列中,从任务队列中取出业务数据处理任务分发给多个任务处理器进行处理;
任务处理单元,包括多个任务处理器,各任务处理器适于对于分发的每个业务数据处理任务,确定该业务数据处理任务中的业务数据所属的业务项目,根据所述业务项目的初始数据获得该业务数据对应的业务预期数据,将该业务数据与该业务预期数据的比值作为该业务数据的数据级别;从对应于所述业务项目的业务数据处理规则库中获取与该业务数据的数据级别相匹配的业务数据处理规则;利用所获取的业务数据处理规则对该业务数据进行处理,得到目标数据。
可选地,所述任务调度单元,适于根据各业务数据处理任务的生成顺序、各业务数据处理任务的任务权重、和/或各业务数据处理任务中的业务数据的获取顺序,将各业务数据处理任务按顺序放入任务队列中。
可选地,所述任务调度单元,适于根据各任务处理器的当前进程数、预设最大进程数、当前线程数、预设最大线程数中的一个或多个,得到各任务处理器的负载状态;从任务队列中取出业务数据处理任务,根据各任务处理器的负载状态分发给多个任务处理器。
可选地,所述对应于所述业务项目的业务数据处理规则库包括:
与所述业务项目的属性信息相匹配的业务数据处理规则数据库;其中,所述业务数据的属性信息包括:指示所述业务项目的级别的第一信息,指示所述业务项目的类别的第二信息,和/或,指示所述业务项目的管辖区域的第三信息。
可选地,所述业务项目的级别包括:第一级别、第二级别和第三级别中的至少一种;其中,所述第一级别的业务项目的权限高于所述第二级别的业务项目的权限,所述第二级别的业务项目的权限高于所述第三级别的业务项目的权限。
可选地,所述业务项目的管辖区域包括:所属业务项目所管辖的游戏的名称和/或区服。
可选地,所述业务数据处理规则包括:基础数据和权重系数;
所述任务处理单元,适于根据所述业务数据处理规则中的权重系数计算该业务数据与基础数据的加权值,作为目标数据。
可选地,所述业务数据包括:预设统计周期内的充值金额数据、用户注册数据、用户在线数据、提单金额数据、悬红金额数据、用户沟通数据中的至少一种。
可选地,该装置进一步包括:
处理结果推送单元,适于将所述目标数据推送至相应的业务数据所属的业务项目的管理者的终端设备。
由上述可知,本发明提供的技术方案对于待处理的业务数据生成相应的业务数据处理任务,并将各业务数据处理任务整合到任务队列中,从任务队列中取出任务再分发给多个任务处理器,形成了对不同业务数据处理任务的统一调度,实现了各任务处理器在处理业务数据过程中的负载均衡;进一步地,每个任务处理器对于分发到的每个业务数据处理任务,根据该业务数据处理任务所属的业务项目获取业务预期数据,根据业务预期数据获取当前业务数据的数据级别,进而获取到与该数据级别对应的业务数据处理规则,实现了不同的业务数据根据所属业务项目的相关信息匹配到对应的业务数据处理规则,得到相应的目标数据,进一步提高业务数据处理的有效性、可靠性和效率。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了根据本发明一个实施例的一种业务数据的处理方法的流程图;
图2示出了根据本发明一个实施例的一种业务数据的处理装置的示意图;
图3示出了根据本发明另一个实施例的一种业务数据的处理装置的示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了根据本发明一个实施例的一种业务数据的处理方法的流程图。如图1所示,该方法包括:
步骤S110:获取待处理的业务数据,生成对应于各业务数据的业务数据处理任务。
步骤S120:将各业务数据处理任务放入任务队列中,从任务队列中取出业务数据处理任务分发给多个任务处理器进行处理。
其中,任务队列可以是一个常驻的内存队列。例如,该任务队列可以使用redis实现,redis是一个key-value结构的存储系统,redis支持存储的value类型相对较多,包括string(字符串)、list(链表)、set(集合)、zset(sortedset—有序集合)和hash(哈希类型)等。任务队列用于保存待处理的业务数据处理任务,还可以将任务队列在磁盘上做持久化,则当发生断电、重启时,待处理的业务数据处理任务也不会丢失。
上述从任务队列中取出业务数据处理任务分发给多个任务处理器可以是根据各任务处理器的空闲状态、当前任务数量、当前处理速度等一项或多项参数来选择一个任务处理器,向其分发一个或多个业务数据处理任务。例如,优先将图片抓取任务分发给进程数量最少的任务处理器。通过该步骤,生成的业务数据处理任务被重新调度分发,将每一个业务数据处理任务均分发给有能力立即处理该业务数据处理任务的任务处理器进行处理,因此提高了业务数据的处理效率,减少了等待时间。
步骤S130:各任务处理器对于分发的每个业务数据处理任务,确定该业务数据处理任务中的业务数据所属的业务项目,根据所述业务项目的初始数据获得该业务数据对应的业务预期数据,将该业务数据与该业务预期数据的比值作为该业务数据的数据级别。
步骤S140:从对应于所述业务项目的业务数据处理规则库中获取与该业务数据的数据级别相匹配的业务数据处理规则。
步骤S150:利用所获取的业务数据处理规则对该业务数据进行处理,得到目标数据。
可见,图1所示的方法对于待处理的业务数据生成相应的业务数据处理任务,并将各业务数据处理任务整合到任务队列中,从任务队列中取出任务再分发给多个任务处理器,形成了对不同业务数据处理任务的统一调度,实现了各任务处理器在处理业务数据过程中的负载均衡;进一步地,每个任务处理器对于分发到的每个业务数据处理任务,根据该业务数据处理任务所属的业务项目获取业务预期数据,根据业务预期数据获取当前业务数据的数据级别,进而获取到与该数据级别对应的业务数据处理规则,实现了不同的业务数据根据所属业务项目的相关信息匹配到对应的业务数据处理规则,得到相应的目标数据,进一步提高业务数据处理的有效性、可靠性和效率。
在本发明的一个实施例中,步骤S120将各业务数据处理任务放入任务队列中包括:根据各业务数据处理任务的生成顺序、各业务数据处理任务的任务权重、和/或各业务数据处理任务中的业务数据的获取顺序,将各业务数据处理任务按顺序放入任务队列中。
以及,上述步骤S120从任务队列中取出业务数据处理任务分发给多个任务处理器包括:根据各任务处理器的当前进程数、预设最大进程数、当前线程数、预设最大线程数中的一个或多个,得到各任务处理器的负载状态;从任务队列中取出业务数据处理任务,根据各任务处理器的负载状态分发给多个任务处理器。
例如,对于一个任务处理器来说,可以将其最大预设进程数与当前进程数之差作为该任务处理器的负载状态衡量标准。根据各任务处理器的负载状态进行任务分发包括:将业务数据处理任务分发给当前负载最小的任务处理器,例如是当前进程数最少的任务处理器或者是当前进程数与其最大预设进程数之差最大的任务处理器,当各任务处理器的进程数相同时,可以分发给总线程数最少的任务处理器等。上述分发方式仅为示例,可根据需要采用其他方式。
在本发明的一个实施例中,所述对应于所述业务项目的业务数据处理规则库包括:与所述业务项目的属性信息相匹配的业务数据处理规则数据库;其中,所述业务数据的属性信息包括:指示所述业务项目的级别的第一信息,指示所述业务项目的类别的第二信息,和/或,指示所述业务项目的管辖区域的第三信息。
具体地,所述业务项目的级别可以包括:第一级别、第二级别和第三级别中的至少一种;其中,所述第一级别的业务项目的权限高于所述第二级别的业务项目的权限,所述第二级别的业务项目的权限高于所述第三级别的业务项目的权限;可选地,业务项目的级别可以等同于该业务项目的负责人的级别。所述业务项目的管辖区域可以包括:所属业务项目所管辖的游戏的名称和/或区服,和或,所属业务项目所管辖的应用的名称。
在本发明的一个实施例中,所述业务数据处理规则包括:基础数据和权重系数;上述步骤S150利用所获取的业务数据处理规则对该业务数据进行处理,得到目标数据包括:根据所述业务数据处理规则中的权重系数计算该业务数据与基础数据的加权值,作为目标数据。
其中,所述业务数据包括:预设统计周期内的充值金额数据、用户注册数据、用户在线数据、提单金额数据、悬红金额数据、用户沟通数据中的至少一种。
进一步地,在本发明的一个实施例中,图1所示的方法还包括:将所述目标数据推送至相应的业务数据所属的业务项目的管理者的终端设备。
以一个具体的例子来说明本方案的实施过程:对于一个网络游戏平台的运营,需要定期获取到该平台上的各业务项目的业务数据,以对业务项目的绩效进行评估,其中,业务项目的粒度划分可以根据实际情况而定,例如,业务项目a,业务内容是引导用户在游戏a1中注册账号,对应的业务数据是预设统计周期中游戏a1中的新增注册人数,对应的业务预期数据是1000人/月;业务项目b,业务内容是引导用户在游戏a2中充值买装备,对应的业务数据是预设统计周期中游戏a2中的累积充值金额,对应的预期业务数据是50000元/月;根据业务项目a的属性信息预设业务数据处理规则库a,根据业务项目b的属性信息预设业务数据处理规则库b。在进行业务数据的处理时,获取到业务数据1:本月游戏a1的新增注册人数为700人,业务数据2:本月游戏a2中的累积充值金额为38000元;分别生成对应于业务数据1的业务数据处理任务1和对应于业务数据2的业务数据处理任务2,将两个业务数据处理任务按照任务权重放入任务队列中,取出后分发给当前负载状态较为空闲的任务处理器。一个任务处理器接收到业务数据处理任务1,根据该业务数据处理任务1中包含的业务数据1所属的业务项目a,确定该业务数据1的数据等级为700/1000=0.7,则在业务数据处理规则库a中找到与数据等级0.7匹配的业务数据处理规则,如获取到的业务数据处理规则中包括:基础数据为500,权重系数为0.8;则目标数据等于500×1+700×0.8=1060,即根据该业务数据1得到的目标数据为1060,将该目标数据推送到业务项目a的管理者的终端设备上,可以作为业务项目a在本月内的业务绩效的评估结果,进而进行相应的反馈应对,以在未来进一步提高该业务数据。
图2示出了根据本发明一个实施例的一种业务数据的处理装置的示意图。如图2所示,该业务数据的处理装置200包括:
业务数据获取单元210,适于获取待处理的业务数据,生成对应于各业务数据的业务数据处理任务。
任务调度单元220,适于将各业务数据处理任务放入任务队列中,从任务队列中取出业务数据处理任务分发给多个任务处理器进行处理。
任务处理单元230,包括多个任务处理器,各任务处理器适于对于分发的每个业务数据处理任务,确定该业务数据处理任务中的业务数据所属的业务项目,根据所述业务项目的初始数据获得该业务数据对应的业务预期数据,将该业务数据与该业务预期数据的比值作为该业务数据的数据级别;从对应于所述业务项目的业务数据处理规则库中获取与该业务数据的数据级别相匹配的业务数据处理规则;利用所获取的业务数据处理规则对该业务数据进行处理,得到目标数据。
可见,图2所示的装置对于待处理的业务数据生成相应的业务数据处理任务,并将各业务数据处理任务整合到任务队列中,从任务队列中取出任务再分发给多个任务处理器,形成了对不同业务数据处理任务的统一调度,实现了各任务处理器在处理业务数据过程中的负载均衡;进一步地,每个任务处理器对于分发到的每个业务数据处理任务,根据该业务数据处理任务所属的业务项目获取业务预期数据,根据业务预期数据获取当前业务数据的数据级别,进而获取到与该数据级别对应的业务数据处理规则,实现了不同的业务数据根据所属业务项目的相关信息匹配到对应的业务数据处理规则,得到相应的目标数据,进一步提高业务数据处理的有效性、可靠性和效率。
在本发明的一个实施例中,所述任务调度单元220适于根据各业务数据处理任务的生成顺序、各业务数据处理任务的任务权重、和/或各业务数据处理任务中的业务数据的获取顺序,将各业务数据处理任务按顺序放入任务队列中。
在本发明的一个实施例中,所述任务调度单元220适于根据各任务处理器的当前进程数、预设最大进程数、当前线程数、预设最大线程数中的一个或多个,得到各任务处理器的负载状态;从任务队列中取出业务数据处理任务,根据各任务处理器的负载状态分发给多个任务处理器。
在本发明的一个实施例中,所述对应于所述业务项目的业务数据处理规则库包括:与所述业务项目的属性信息相匹配的业务数据处理规则数据库;其中,所述业务数据的属性信息包括:指示所述业务项目的级别的第一信息,指示所述业务项目的类别的第二信息,和/或,指示所述业务项目的管辖区域的第三信息。
在本发明的一个实施例中,所述业务项目的级别包括:第一级别、第二级别和第三级别中的至少一种;其中,所述第一级别的业务项目的权限高于所述第二级别的业务项目的权限,所述第二级别的业务项目的权限高于所述第三级别的业务项目的权限。
在本发明的一个实施例中,所述业务项目的管辖区域包括:所属业务项目所管辖的游戏的名称和/或区服。
在本发明的一个实施例中,所述业务数据处理规则包括:基础数据和权重系数;所述任务处理单元230,适于根据所述业务数据处理规则中的权重系数计算该业务数据与基础数据的加权值,作为目标数据。
在本发明的一个实施例中,所述业务数据包括:预设统计周期内的充值金额数据、用户注册数据、用户在线数据、提单金额数据、悬红金额数据、用户沟通数据中的至少一种。
图3示出了根据本发明另一个实施例的一种业务数据的处理装置的示意图。如图3所示,该业务数据的处理装置300包括:
其中,业务数据获取单元310、任务调度单元320、任务处理单元330和处理结果推送单元340,其中业务数据获取单元310、任务调度单元320、任务处理单元330分别与图2中的业务数据获取单元210、任务调度单元220、任务处理单元230的功能对应相同,此处不再赘述。
处理结果推送单元340,适于将所述目标数据推送至相应的业务数据所属的业务项目的管理者的终端设备。
需要说明的是,图2-图3所示装置的各实施例与图1所示方法的各实施例对应相同,上文中已有详细说明,在此不再赘述。
综上所述,本发明提供的技术方案对于待处理的业务数据生成相应的业务数据处理任务,并将各业务数据处理任务整合到任务队列中,从任务队列中取出任务再分发给多个任务处理器,形成了对不同业务数据处理任务的统一调度,实现了各任务处理器在处理业务数据过程中的负载均衡;进一步地,每个任务处理器对于分发到的每个业务数据处理任务,根据该业务数据处理任务所属的业务项目获取业务预期数据,根据业务预期数据获取当前业务数据的数据级别,进而获取到与该数据级别对应的业务数据处理规则,实现了不同的业务数据根据所属业务项目的相关信息匹配到对应的业务数据处理规则,得到相应的目标数据,进一步提高业务数据处理的有效性、可靠性和效率。
需要说明的是:
在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述,构造这类装置所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的一种业务数据的处理装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
本发明公开了A1、一种业务数据的处理方法,其中,该方法包括:
获取待处理的业务数据,生成对应于各业务数据的业务数据处理任务;
将各业务数据处理任务放入任务队列中,从任务队列中取出业务数据处理任务分发给多个任务处理器进行处理;
各任务处理器对于分发的每个业务数据处理任务,
确定该业务数据处理任务中的业务数据所属的业务项目,根据所述业务项目的初始数据获得该业务数据对应的业务预期数据,将该业务数据与该业务预期数据的比值作为该业务数据的数据级别;
从对应于所述业务项目的业务数据处理规则库中获取与该业务数据的数据级别相匹配的业务数据处理规则;
利用所获取的业务数据处理规则对该业务数据进行处理,得到目标数据。
A2、如A1所述的方法,其中,所述将各业务数据处理任务放入任务队列中包括:
根据各业务数据处理任务的生成顺序、各业务数据处理任务的任务权重、和/或各业务数据处理任务中的业务数据的获取顺序,将各业务数据处理任务按顺序放入任务队列中。
A3、如A1所述的方法,其中,所述从任务队列中取出业务数据处理任务分发给多个任务处理器包括:
根据各任务处理器的当前进程数、预设最大进程数、当前线程数、预设最大线程数中的一个或多个,得到各任务处理器的负载状态;
从任务队列中取出业务数据处理任务,根据各任务处理器的负载状态分发给多个任务处理器。
A4、如A1所述的方法,其中,所述对应于所述业务项目的业务数据处理规则库包括:
与所述业务项目的属性信息相匹配的业务数据处理规则数据库;其中,所述业务数据的属性信息包括:指示所述业务项目的级别的第一信息,指示所述业务项目的类别的第二信息,和/或,指示所述业务项目的管辖区域的第三信息。
A5、如A4所述的方法,其中,所述业务项目的级别包括:第一级别、第二级别和第三级别中的至少一种;其中,所述第一级别的业务项目的权限高于所述第二级别的业务项目的权限,所述第二级别的业务项目的权限高于所述第三级别的业务项目的权限。
A6、如A4所述的方法,其中,所述业务项目的管辖区域包括:所属业务项目所管辖的游戏的名称和/或区服。
A7、如A1所述的方法,其中,所述业务数据处理规则包括:基础数据和权重系数;
所述利用所获取的业务数据处理规则对该业务数据进行处理,得到目标数据包括:根据所述业务数据处理规则中的权重系数计算该业务数据与基础数据的加权值,作为目标数据。
A8、如A1所述的方法,其中,所述业务数据包括:预设统计周期内的充值金额数据、用户注册数据、用户在线数据、提单金额数据、悬红金额数据、用户沟通数据中的至少一种。
A9、如A1所述的方法,其中,该方法进一步包括:
将所述目标数据推送至相应的业务数据所属的业务项目的管理者的终端设备。
本发明还公开了B10、一种业务数据的处理装置,其中,该装置包括:
业务数据获取单元,适于获取待处理的业务数据,生成对应于各业务数据的业务数据处理任务;
任务调度单元,适于将各业务数据处理任务放入任务队列中,从任务队列中取出业务数据处理任务分发给多个任务处理器进行处理;
任务处理单元,包括多个任务处理器,各任务处理器适于对于分发的每个业务数据处理任务,确定该业务数据处理任务中的业务数据所属的业务项目,根据所述业务项目的初始数据获得该业务数据对应的业务预期数据,将该业务数据与该业务预期数据的比值作为该业务数据的数据级别;从对应于所述业务项目的业务数据处理规则库中获取与该业务数据的数据级别相匹配的业务数据处理规则;利用所获取的业务数据处理规则对该业务数据进行处理,得到目标数据。
B11、如B10所述的装置,其中,
所述任务调度单元,适于根据各业务数据处理任务的生成顺序、各业务数据处理任务的任务权重、和/或各业务数据处理任务中的业务数据的获取顺序,将各业务数据处理任务按顺序放入任务队列中。
B12、如B10所述的装置,其中,
所述任务调度单元,适于根据各任务处理器的当前进程数、预设最大进程数、当前线程数、预设最大线程数中的一个或多个,得到各任务处理器的负载状态;从任务队列中取出业务数据处理任务,根据各任务处理器的负载状态分发给多个任务处理器。
B13、如B10所述的装置,其中,所述对应于所述业务项目的业务数据处理规则库包括:
与所述业务项目的属性信息相匹配的业务数据处理规则数据库;其中,所述业务数据的属性信息包括:指示所述业务项目的级别的第一信息,指示所述业务项目的类别的第二信息,和/或,指示所述业务项目的管辖区域的第三信息。
B14、如B13所述的装置,其中,所述业务项目的级别包括:第一级别、第二级别和第三级别中的至少一种;其中,所述第一级别的业务项目的权限高于所述第二级别的业务项目的权限,所述第二级别的业务项目的权限高于所述第三级别的业务项目的权限。
B15、如B13所述的装置,其中,所述业务项目的管辖区域包括:所属业务项目所管辖的游戏的名称和/或区服。
B16、如B10所述的装置,其中,所述业务数据处理规则包括:基础数据和权重系数;
所述任务处理单元,适于根据所述业务数据处理规则中的权重系数计算该业务数据与基础数据的加权值,作为目标数据。
B17、如B10所述的装置,其中,所述业务数据包括:预设统计周期内的充值金额数据、用户注册数据、用户在线数据、提单金额数据、悬红金额数据、用户沟通数据中的至少一种。
B18、如B10所述的装置,其中,该装置进一步包括:
处理结果推送单元,适于将所述目标数据推送至相应的业务数据所属的业务项目的管理者的终端设备。
Claims (10)
1.一种业务数据的处理方法,其中,该方法包括:
获取待处理的业务数据,生成对应于各业务数据的业务数据处理任务;
将各业务数据处理任务放入任务队列中,从任务队列中取出业务数据处理任务分发给多个任务处理器进行处理;
各任务处理器对于分发的每个业务数据处理任务,
确定该业务数据处理任务中的业务数据所属的业务项目,根据所述业务项目的初始数据获得该业务数据对应的业务预期数据,将该业务数据与该业务预期数据的比值作为该业务数据的数据级别;
从对应于所述业务项目的业务数据处理规则库中获取与该业务数据的数据级别相匹配的业务数据处理规则;
利用所获取的业务数据处理规则对该业务数据进行处理,得到目标数据。
2.如权利要求1所述的方法,其中,所述将各业务数据处理任务放入任务队列中包括:
根据各业务数据处理任务的生成顺序、各业务数据处理任务的任务权重、和/或各业务数据处理任务中的业务数据的获取顺序,将各业务数据处理任务按顺序放入任务队列中。
3.如权利要求1所述的方法,其中,所述从任务队列中取出业务数据处理任务分发给多个任务处理器包括:
根据各任务处理器的当前进程数、预设最大进程数、当前线程数、预设最大线程数中的一个或多个,得到各任务处理器的负载状态;
从任务队列中取出业务数据处理任务,根据各任务处理器的负载状态分发给多个任务处理器。
4.如权利要求1所述的方法,其中,所述对应于所述业务项目的业务数据处理规则库包括:
与所述业务项目的属性信息相匹配的业务数据处理规则数据库;其中,所述业务数据的属性信息包括:指示所述业务项目的级别的第一信息,指示所述业务项目的类别的第二信息,和/或,指示所述业务项目的管辖区域的第三信息。
5.如权利要求4所述的方法,其中,所述业务项目的级别包括:第一级别、第二级别和第三级别中的至少一种;其中,所述第一级别的业务项目的权限高于所述第二级别的业务项目的权限,所述第二级别的业务项目的权限高于所述第三级别的业务项目的权限。
6.如权利要求4所述的方法,其中,所述业务项目的管辖区域包括:所属业务项目所管辖的游戏的名称和/或区服。
7.如权利要求1所述的方法,其中,所述业务数据处理规则包括:基础数据和权重系数;
所述利用所获取的业务数据处理规则对该业务数据进行处理,得到目标数据包括:根据所述业务数据处理规则中的权重系数计算该业务数据与基础数据的加权值,作为目标数据。
8.如权利要求1所述的方法,其中,所述业务数据包括:预设统计周期内的充值金额数据、用户注册数据、用户在线数据、提单金额数据、悬红金额数据、用户沟通数据中的至少一种。
9.如权利要求1所述的方法,其中,该方法进一步包括:
将所述目标数据推送至相应的业务数据所属的业务项目的管理者的终端设备。
10.一种业务数据的处理装置,其中,该装置包括:
业务数据获取单元,适于获取待处理的业务数据,生成对应于各业务数据的业务数据处理任务;
任务调度单元,适于将各业务数据处理任务放入任务队列中,从任务队列中取出业务数据处理任务分发给多个任务处理器进行处理;
任务处理单元,包括多个任务处理器,各任务处理器适于对于分发的每个业务数据处理任务,确定该业务数据处理任务中的业务数据所属的业务项目,根据所述业务项目的初始数据获得该业务数据对应的业务预期数据,将该业务数据与该业务预期数据的比值作为该业务数据的数据级别;从对应于所述业务项目的业务数据处理规则库中获取与该业务数据的数据级别相匹配的业务数据处理规则;利用所获取的业务数据处理规则对该业务数据进行处理,得到目标数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510966860.5A CN106897139A (zh) | 2015-12-21 | 2015-12-21 | 一种业务数据的处理方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510966860.5A CN106897139A (zh) | 2015-12-21 | 2015-12-21 | 一种业务数据的处理方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106897139A true CN106897139A (zh) | 2017-06-27 |
Family
ID=59190978
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510966860.5A Pending CN106897139A (zh) | 2015-12-21 | 2015-12-21 | 一种业务数据的处理方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106897139A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110069570A (zh) * | 2018-11-16 | 2019-07-30 | 北京微播视界科技有限公司 | 数据处理方法和装置 |
CN110069506A (zh) * | 2018-07-27 | 2019-07-30 | 阿里巴巴集团控股有限公司 | 业务数据的维护方法、装置及服务器 |
CN110515989A (zh) * | 2019-09-02 | 2019-11-29 | 四川长虹电器股份有限公司 | 一种基于财务数据管理平台的数据实时统计方法 |
CN114095502A (zh) * | 2021-10-08 | 2022-02-25 | 浙江吉利控股集团有限公司 | 一种业务处理方法、系统、装置及介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101673375A (zh) * | 2009-09-25 | 2010-03-17 | 金蝶软件(中国)有限公司 | 一种工资系统数据授权的方法及系统 |
CN102354317A (zh) * | 2011-09-22 | 2012-02-15 | 用友软件股份有限公司 | 数据生成装置和方法 |
CN102855530A (zh) * | 2011-06-28 | 2013-01-02 | 希姆通信息技术(上海)有限公司 | 自动绩效考核系统及方法 |
CN103645939A (zh) * | 2013-11-29 | 2014-03-19 | 北京奇虎科技有限公司 | 一种图片抓取的方法和系统 |
CN103927607A (zh) * | 2013-01-15 | 2014-07-16 | 杭州新世纪电子科技有限公司 | 数据处理方法及装置 |
-
2015
- 2015-12-21 CN CN201510966860.5A patent/CN106897139A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101673375A (zh) * | 2009-09-25 | 2010-03-17 | 金蝶软件(中国)有限公司 | 一种工资系统数据授权的方法及系统 |
CN102855530A (zh) * | 2011-06-28 | 2013-01-02 | 希姆通信息技术(上海)有限公司 | 自动绩效考核系统及方法 |
CN102354317A (zh) * | 2011-09-22 | 2012-02-15 | 用友软件股份有限公司 | 数据生成装置和方法 |
CN103927607A (zh) * | 2013-01-15 | 2014-07-16 | 杭州新世纪电子科技有限公司 | 数据处理方法及装置 |
CN103645939A (zh) * | 2013-11-29 | 2014-03-19 | 北京奇虎科技有限公司 | 一种图片抓取的方法和系统 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110069506A (zh) * | 2018-07-27 | 2019-07-30 | 阿里巴巴集团控股有限公司 | 业务数据的维护方法、装置及服务器 |
CN110069570A (zh) * | 2018-11-16 | 2019-07-30 | 北京微播视界科技有限公司 | 数据处理方法和装置 |
CN110069570B (zh) * | 2018-11-16 | 2022-04-05 | 北京微播视界科技有限公司 | 数据处理方法和装置 |
CN110515989A (zh) * | 2019-09-02 | 2019-11-29 | 四川长虹电器股份有限公司 | 一种基于财务数据管理平台的数据实时统计方法 |
CN110515989B (zh) * | 2019-09-02 | 2022-03-01 | 四川长虹电器股份有限公司 | 一种基于财务数据管理平台的数据实时统计方法 |
CN114095502A (zh) * | 2021-10-08 | 2022-02-25 | 浙江吉利控股集团有限公司 | 一种业务处理方法、系统、装置及介质 |
CN114095502B (zh) * | 2021-10-08 | 2023-11-03 | 浙江吉利控股集团有限公司 | 一种业务处理方法、系统、装置及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106897139A (zh) | 一种业务数据的处理方法和装置 | |
CN105915438B (zh) | 消息推送方法、装置及系统 | |
Bryan et al. | The impact of baryons on the spins and shapes of dark matter haloes | |
US8768935B2 (en) | Bigram suggestions | |
CN106067992B (zh) | 一种基于用户行为的信息推荐方法及装置 | |
CN105912550A (zh) | 一种移动终端的信息推荐方法及装置 | |
CN105897779B (zh) | 基于二维码的应用服务方法和基于二维码的应用服务器 | |
CN105263128B (zh) | 一种批量发送短信的方法和装置 | |
CN108549683A (zh) | 数据查询方法以及系统 | |
CN109684092A (zh) | 资源分配方法及装置 | |
WO2014194668A1 (en) | Systems and methods for equipping game props | |
CN106921684A (zh) | 一种请求信息的处理方法和服务器 | |
CN104618347B (zh) | 一种游戏事件处理装置及方法、网络平台 | |
CN106648688A (zh) | 一种信息展示方法和装置 | |
CN109756771A (zh) | 一种用户排序方法、装置、计算设备及存储介质 | |
CN106569878A (zh) | 一种分布式定时任务管理方法和系统 | |
CN105787379B (zh) | 信息管理方法和系统、及电子设备 | |
CN106649638A (zh) | 一种大数据获取方法 | |
CN105045895B (zh) | 一种在指定页面上显示推广内容的方法和装置 | |
CN109218769A (zh) | 一种直播间的推荐方法以及相关设备 | |
CN105791080A (zh) | 群发消息处理方法和系统、电子设备 | |
Khorasanian et al. | An iterated greedy algorithm for solving the blocking flow shop scheduling problem with total flow time criteria | |
CN106682198A (zh) | 一种实现自动化部署数据库的方法和装置 | |
Lim et al. | App epidemics: Modelling the effects of publicity in a mobile app ecosystem | |
CN106815285A (zh) | 基于视频网站的视频推荐的方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170627 |
|
RJ01 | Rejection of invention patent application after publication |