一种业务数据处理方法及设备
技术领域
本申请涉及通信技术领域,特别涉及一种业务数据处理方法。本申请同时还涉及一种业务数据处理设备。
背景技术
随着数据技术的普及,越来越多的数据在营销领域得到应用。运营人员也更倾向于在运营活动推广中更有针对性,再加上互联网用户基数现在已经多达数亿,如果活动面向全网用户,运营成本也会成倍增加,因此精准化运营已经逐渐在运营活动中逐渐普及。比如,某抽奖活动只针对没有使用过某C银行信用卡支付次数超过10笔的用户。
表1
如表1所示,为现有技术中用户交易完成后系统所生成的业务流水表的结构,假设当前每天产生的流水记录是1000万笔,不考虑业务增长一年总流水就有36.5亿,假设每条记录大小为1000字节,每年数据大小3650G,随着时间推移记录还会越来越多。在这种情况下,如果某活动目标用户只针对C银行信用卡支付次数超过10次之上的用户,那就需要统计用户使用C银行信用卡支付次数,就要把用户之前的流水数据全部检索一遍。
由此可见,随着历史数据的逐渐累积,业务数据会变得越来越多。如果要实时定位活动用户,需要读取的磁盘也越来越多,系统需要的时间也越来越长,给用户带来了糟糕的体验。当然,通过增加机器的方式可以缩短响应时间提升用户体验,但是这种方案带来的成本增加非常快,会给公司带来很大的财务压力。因此,如何在不额外增加设备开销的前提下,对现有的业务数据存储进行改进以及简化,从而提高检索速度,成为本领域技术人员亟待解决的一个技术问题。
发明内容
本申请提供了一种业务数据处理方法,用以解决现有技术中业务数据处理及存储方式单一所带来的检索不便的问题,包括:
当获取到用户的业务数据后,分别提取所述业务数据中的数值信息以及除所述数值信息以外的业务信息;
根据所述业务信息在纬度表中添加新的表项,并为所述表项赋予对应的纬度ID,所述纬度表包括纬度ID与所述用户的业务信息的对应关系;
根据所述数值信息以及所述纬度ID,在至少一个以时间范围为单位的帐表中添加最新数值累计信息,所述数值累计信息与所述用户的帐号及所述纬度ID一一对应。
另一方面,本申请实施例还提供了一种业务数据处理设备,包括:
提取模块,用于当获取到用户的业务数据后,分别提取所述业务数据中的数值信息以及除所述数值信息以外的业务信息;
添加模块,用于根据所述业务信息在纬度表中添加新的表项,并为所述表项赋予对应的纬度ID,所述纬度表包括纬度ID与所述用户的业务信息的对应关系;
所述添加模块,还用于根据所述数值信息以及所述纬度ID,在至少一个以时间范围为单位的帐表中添加最新数值累计信息,所述数值累计信息与所述用户的帐号及所述纬度ID一一对应。
与现有技术相比,本申请实施例所提出的技术方案具有以下优点:
通过应用本申请实施例的技术方案,分别提取用户业务数据中的业务信息以及数值信息,根据业务信息在纬度表中添加新的表项,并为所述表项赋予对应的纬度ID,同时根据数值信息以及纬度ID,在至少一个以时间范围为单位的帐表中添加最新数值累计信息。基于业务数据的预处理,减少了数据检索所需要访问的业务数据存储内容,提升了查询效率,降低了设备开销。
附图说明
图1为本申请提出的一种业务数据处理方法的流程示意图;
图2为本申请具体实施例所提出的存储模型关系示意图;
图3为本申请具体实施例中业务系统模型的结构示意图;
图4为本申请提出的一种业务数据处理设备的结构示意图。
具体实施方式
如背景技术所述,现有技术中针对用户的业务数据只是简单地将所有内容作为业务流水数据进行存储,从而导致在业务数据庞大时进行检索十分困难且缓慢。
针对上述问题,本申请实施例提出了一种业务数据处理方法,采用预计算模式,先确定好用户各个纬度使用次数和支付金额,同时根据运营业务特点,选择终身、年份、月份、周、日作为时间跨度进行统计,分别记录下来终身账、年账、月账、周账、日账数据。同时增加纬度表,记账的数据不包括具体纬度的描述,只关联纬度ID,而纬度表的数据是可罗列的纬度组合,从而大幅减少磁盘消耗。
如图1所示,为本申请实施例所提出的一种业务数据处理方法的流程示意图,该方法具体包括以下步骤:
S101,当获取到用户的业务数据后,分别提取所述业务数据中的数值信息以及除所述数值信息以外的业务信息。
S102,根据所述业务信息在纬度表中添加新的表项,并为所述表项赋予对应的纬度ID,所述纬度表包括纬度ID与所述用户的业务信息的对应关系。
S103,根据所述数值信息以及所述纬度ID,在至少一个以时间范围为单位的帐表中添加最新数值累计信息,所述数值累计信息与所述用户的帐号及所述纬度ID一一对应。
具体地,该步骤首先分别获取所述数值信息中的交易金额以及交易日期,以及所述帐表中最新的数值累计信息中的总交易次数累计数以及总交易金额累计数;然后将所述交易金额与所述总交易金额累计数之和作为最新总交易金额累计数,将所述总交易次数累计数加一后作为最新总交易次数累计数;最后根据与所述交易日期所符合的时间范围,在所述帐表中添加所述纬度ID、所述最新总交易金额累计数、所述最新总交易金额累计数、所述时间范围、所述用户的帐号的对应关系,将所述对应关系作为所述最新数值累计信息。
从上述过程可以看出,本申请通过建立纬度表以及帐表直接的关联来实现业务数据的精细处理以及分类存储,因此在S101之前的初始化阶段,本申请需要首先为用户创建纬度表,以及至少一个以时间范围为单位的帐表,其中帐表依据自身的时间范围单位记载有用户的帐号、数值累计信息以及纬度ID的对应关系,不同的帐表之间的时间范围单位不同。
在初始化创建过程中,数值累计信息至少包括总交易次数累计数以及总交易金额累计数;所述时间单位至少包括以下内容:日、周、月、年、终身中的一种或几种的组合;所述业务信息至少包括以下内容:交易银行名称、交易银行卡类型、交易所在购物平台名称一种或几种的组合。
需要说明的是,虽然本申请所提出的实施例中以交易业务数据进行列举说明,但这种数据的方案不仅能够应用在支付或者电商数据,对于其他一些产品流水中的累计次数的处理以及时间处理都是适用的,基于以上处理及存储方法,在后续若需要查询与所述用户对应的业务数据时,即可直接获取所述用户的纬度表以及帐表;然后根据所述纬度表和/或帐表,获取与所述用户对应的业务数据。在达到提高后续检索效率的基础上,存储及处理的数据类型的不同并不影响本申请的保护范围。
为了进一步阐述本申请的技术思想,现结合图2所示的存储模型关系示意图,对本申请的技术方案进行说明。其中,纬度模型可采取如下实例表格:
表2
终身数据帐表如表3所示:
表3
年数据帐表如表4所示:
表4
月数据帐表如表5所示:
表5
周数据帐表如表6所示:
表6
日数据帐表如表7所示:
表7
根据上述设置,本申请具体实施例提出了如图3所示的业务系统模块,其业务数据的处理及检索过程如下:
S301,用户完成某一业务之后,由业务系统发送消息给企业服务总线;
S302,企业服务总线把消息推送到消息处理系统
S303,消息处理系统对消息进行加工,写入数据库,同时写入终身账、年账、月账、周账、日账多条数据,并保持一致性;
S304,用户在营销系统参加活动的时候,营销系统从数据库进行数据查询。
以上具体实施例的方案在营销场景通过预计算的模式,解决了数据实时分析的性能问题,同时纬度表的技术方案,大幅减少了数据存储,而终身账、年账、月账、周账、日账的数据模型解决了营销数据模型通常不稳定的问题。
为了实现本申请实施例的技术方案,本申请实施例还提供了一种业务数据处理设备,如图4所示,包括:
提取模块410,用于当获取到用户的业务数据后,分别提取所述业务数据中的数值信息以及除所述数值信息以外的业务信息;
添加模块420,用于根据所述业务信息在纬度表中添加新的表项,并为所述表项赋予对应的纬度ID,所述纬度表包括纬度ID与所述用户的业务信息的对应关系;
所述添加模块420,还用于根据所述数值信息以及所述纬度ID,在至少一个以时间范围为单位的帐表中添加最新数值累计信息,所述数值累计信息与所述用户的帐号及所述纬度ID一一对应。
在具体的应用场景中,还包括:创建模块,用于为用户创建纬度表,以及至少一个以时间范围为单位的帐表,所述帐表依据自身的时间范围单位记载有所述用户的帐号、数值累计信息、首次记录时间、最近一次更新时间以及所述纬度ID的对应关系,不同的帐表之间的时间范围单位不同。
在具体的应用场景中,所述数值累计信息至少包括总交易次数累计数以及总交易金额累计数;所述时间单位至少包括:日、周、月、年、终身中的一种或几种的组合;所述业务信息至少包括:交易银行名称、交易银行卡类型、交易所在购物平台名称中的一种或几种的组合。
在具体的应用场景中,所述添加模块具体用于:
分别获取所述数值信息中的交易金额以及交易日期,以及所述帐表中最新的数值累计信息中的总交易次数累计数以及总交易金额累计数;
将所述交易金额与所述总交易金额累计数之和作为最新总交易金额累计数,将所述总交易次数累计数加一后作为最新述总交易次数累计数;
根据与所述交易日期所符合的时间范围,在所述帐表中添加所述纬度ID、所述最新总交易金额累计数、所述最新总交易金额累计数、所述时间范围、所述用户的帐号的对应关系,将所述对应关系作为所述最新数值累计信息。
在具体的应用场景中,还包括:
查询模块,用于当需要查询与所述用户对应的业务数据时,获取所述用户的纬度表以及帐表;
获取模块,用于根据所述纬度表和/或帐表,获取与所述用户对应的业务数据.
由此可见,通过应用本申请实施例的技术方案,分别提取用户业务数据中的业务信息以及数值信息,根据业务信息在纬度表中添加新的表项,并为所述表项赋予对应的纬度ID,同时根据数值信息以及纬度ID,在至少一个以时间范围为单位的帐表中添加最新数值累计信息。基于业务数据的预处理,减少了数据检索所需要访问的业务数据存储内容,提升了查询效率,降低了设备开销。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本申请可以通过硬件实现,也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解,本申请的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施场景所述的方法。
本领域技术人员可以理解附图只是一个优选实施场景的示意图,附图中的模块或流程并不一定是实施本申请所必须的。
本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中,也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
上述本申请序号仅仅为了描述,不代表实施场景的优劣。
以上公开的仅为本申请的几个具体实施场景,但是,本申请并非局限于此,任何本领域的技术人员能思之的变化都应落入本申请的保护范围。