CN101320458A - 在海量数据下完成账单对账的方法及系统 - Google Patents

Abstract

一种在海量数据下完成账单对账的方法，包括：(1)将数据从数据库中下载至数据仓库；(2)从数据仓库中取出数据，生成账单文件，将所述账单文件存储至账单文件存储区；(3)接收外部终端发出的对账请求，从所述账单文件存储区中读出账单文件，进行对账工作。本发明在整个网上交易过程中，数据库不会由于要处理会员的对账工作，而致使处理能力下降，响应时间变长，即不会影响现有的网上交易过程中用户与中间平台的交易。

Description

在海量数据下完成账单对账的方法及系统

技术领域

本发明涉及数据库领域，尤其是一种能够实现在海量数据下完成账单对账的方法及系统。

背景技术

数据库是信息存储和检索系统。很多公司利用数据库来保存其数据，以提高管理的效率。随着存储的数据量的剧增，很多数据库存储的数据量非常大，通常称之为海量数据。

为了提高查询效率和减少存储空间，现有技术中提供了很多海量数据的存储方式和查询方式。比如，在申请号为200510089094.5的中国申请中，公开了一种海量数据紧缩存储方法及查询装置，该方法主要包括，先通过侦测CPU的类型，选择与所述CPU类型相匹配的存储策略进行数据存储；然后，在页面内保存一条具有完整信息的记录，其它记录均参照该记录；随后，采用增量的方式记录各个索引记录之间的差别；随后，区分历史数据和活动数据的步骤，将历史数据中由多版本并发控制协议附加的头部版本控制数据去除，并实现历史数据和活动数据的动态转换；最后，在数据库内根据数据值的频度不同，对数据值进行重新编码，并且在不解码的情况下进行运算。上述方案通过数据存储规模减少，来达到访问同样的数据量需要访问的页面减少的目的。也就是说，上述方案是通过增加处理器的处理量来减少数据存储空间，进而提高查询效率。当有大量用户在访问数据库时，每个用户对数据库系统发出了处理请求：如查询、下载等，数据库就会存在很大的压力。

请参阅图1，其为现有的一种网上交易平台的原理结构示意图。它包括商户1、中间平台2、发卡子系统3和用户4。用户4预购买商户1的商品，先利用中间平台2完成发卡子系统3的网上支付，然后，商户1通过邮寄或其它方式将商品交于用户4。商户1与发卡子系统3定期与中间平台2进行对账划账处理。

当然，发卡子系统3完成的功能也可以集成到中间平台2上。中间平台2以支付宝为例，用户4完全可以在支付宝上开设一账户，并在账户上存储若干金额，这样，用户4预购买商户1的商品时，只需要通过支付宝进行扣款处理即可。这样，只需要商户1定期完成与支付宝的对账划账工作。

通常，中间平台2上设置有一数据库，该数据库实时记录每一笔交易。并且，商户1和发卡子系统3也是通过访问数据库定期来进行业务账单的对账工作。还是以支付宝为例，截止去年年底，支付宝的会员已超过三千万，淘宝网的交易总量多达一百六十多亿，从这些数据可知，用户通过淘宝网来购买商品，并通过支付宝来进行付费处理是非常常见且数量众多，换句话说，支付宝上设置的数据库仅实时记录每一笔交易就已是非常大的处理压力。更有甚者，该数据库还需要定期接收商户和发卡银行的对账处理请求，由此带来更为巨大的处理压力：数据库处理速度下降、响应时间变长。

综上所述，现有数据库在具有处理大量数据而存在压力的情况下，会员还需要定期访问其数据库，查询数据库中的数据进行对账处理，从而造成整个数据库处理能力下降的技术问题。

发明内容

本发明的目的在于提供一种在海量数据下完成账单对账的方法及系统，以解决现有技术中存在数据库处理能力下降的技术问题。

为了达到上述目的，本发明提供了一种在海量数据下完成账单对账的方法，包括：(1)将数据从数据库中下载至数据仓库；(2)从数据仓库中取出数据，生成账单文件，将所述账单文件存储至账单文件存储区；(3)接收外部终端发出的对账请求，从所述账单文件存储区中读出账单文件，进行对账工作。

步骤(2)中生成账单文件为：将该些取出的数据以会员为单位进行分类，每一分好类的数据形成一账单文件，所述账单文件通过会员信息和该些账单共在的交易时间进行标识。

步骤(2)中生成账单文件为：将该些取出的数据以会员为单位进行分类，每一分好类的数据又以更小时间单元为单位进一步划分数据；每一划分好的数据形成一账单文件，所述账单文件通过会员信息和该些账单共在交易时间进行标识。

步骤(2)中将所述账单文件存储至账单文件存储区中进一步为：

账单文件是以会员为单位进行存储，存储每一新的账单文件时，先找到所述账单文件所属会员在账单文件存储区中的存储空间，然后，将该账单文件保存至该存储空间的空闲区域上。

步骤(3)进一步为：

接收到外部终端发出的对账请求后，先获得发出请求的会员信息及账单所在交易时间；

从账单文件存储区中找到所述会员所在存储空间；

将账单所在交易时间对应的账单文件下载至所述外部终端，以便进行对账处理。

账单文件是以会员信息和该些账单共在交易时间进行标识，进一步为：账单文件是用会员信息+账单共在交易时间进行命名的。

一种在海量数据下完成账单对账的系统，包括实时记载每一笔交易数据的数据库，包括处理器、数据仓库和账单文件存储区，所述处理器进一步包括同步数据单元、生成账单单元和对账单元，其中，

同步数据单元，用于定期将数据从数据库中下载至数据仓库；

生成账单单元，用于从数据仓库中取出数据，生成账单文件，存储至账单文件存储区中；

对账单元：用于接收外部终端发出的对账请求，读出所述账单文件存储区中的账单文件，进行对账工作。

数据仓库和账单文件存储区采用一数据库服务器。

一种网上交易系统，包括用户、商户、中间平台和发卡子系统，用户和商户通过因特网连接中间平台或用户通过商户连接至中间平台，中间平台连接发卡子系统，所述中间平台包括一数据库，用于记载每一笔交易的数据，所述中间平台还包括处理器、数据仓库和账单文件存储区，所述处理器进一步包括同步数据单元、生成账单单元和对账单元，其中，

同步数据单元，用于定期将数据从数据库中下载至数据仓库；

生成账单单元，用于从数据仓库中取出数据，生成账单文件，存储至账单文件存储区中；

对账单元：用于接收用户和发卡子系统发出的对账请求，读出所述账单文件存储区中的账单文件，进行对账工作。

一种网上交易方法，包括：

(1)用户通过中间平台进行网上交易，所述交易数据实时记录在中间平台的数据库中；

(2)定期将数据从数据库中下载至数据仓库；

(3)从数据仓库中取出数据，生成账单文件，将所述账单文件存储至账单文件存储区；

(4)接收商户或发卡子系统发出的对账请求，从所述账单文件存储区中读出账单文件，进行对账工作。

与现有技术相比，本发明在整个网上交易过程，数据库不会由于要处理会员的对账工作，而致使处理能力下降，响应时间变长，即不会影响现有的网上交易过程中用户与中间平台的交易。

附图说明

图1为现有的一种网上交易平台的原理结构示意图；

图2为本发明一种在海量数据下完成账单对账的系统的原理结构示意图；

图3为本发明一种在海量数据下完成账单对账的方法的流程图；

图4为本发明的一种网上交易平台的原理结构示意图；

图5为本发明的另一种网上交易平台的原理结构示意图。

具体实施方式

以下结合附图，具体说明本发明。

请参阅图2，其为一种在海量数据下完成账单对账的系统的原理结构示意图。它包括实时记载每一笔交易数据的数据库11，还包括处理器12、数据仓库13和账单文件存储区14，所述处理器12进一步包括同步数据单元121、生成账单单元122和对账单元123，其中，

同步数据单元121，用于定期将数据从数据库11中下载至数据仓库13。比如，会员要求以天为单位进行对账，则在同步数据单元121上可以设置每天从数据库11中下载前一天的所有交易数据。另外，考虑到数据库11在一天的时间内某些时间段操作比较繁忙及某些时间段操作相对空闲，通常，同步数据单元121可以设置在数据库11处于相对空闲的时间段进行下载数据的操作。另外，同步数据单元121还可以根据具体情况下载每一次交易时的部分数据。比如，针对商户会员，下载包括会员号、交易流水号、交易金额、交易时间等的交易数据。

生成账单单元122，用于从数据仓库13中取出数据，生成账单文件，存储至账单文件存储区14中。若同步数据单元121在A时间点下载前一天的所有交易数据，则生成账单单元122可以在B时间点(B时间点应晚于A时间点)从数据仓库13中取出前一天的所有交易数据。将前一天的所有的交易数据以某一特征为单位进行划分，划分好的数据形成一账单文件。本实施例中将这些取出的数据以会员名为单位进行分类，每一分好类的数据形成一账单文件。所有账单文件通过会员信息(会员信息通常是指会员名)和这些账单共有的交易时间进行标识。最常见的方式是，将账单文件的文件名用会员名和账单共有的交易时间进行命名。当然，当这些账单文件所属于某个会员后，就直接用该账单共有的交易时间进行命名。比如，某一划分好的数据刚好是某一会员在2007年5月1日的所有交易数据，则账单共有的交易时间即是指2007年5月1日。本实施例中账单文件是以会员为单位进行存储，存储每一新的账单文件时，先找到所述账单文件所属会员在账单文件存储区14中的存储空间，然后，将该账单文件保存至该存储空间的空闲区域上。也就是说，账单文件就是以会员为单位进行有序存储，即该会员下的所有账单文件可以按时间段的先后顺序进行存储。

对账单元123，用于接收外部终端发出的对账请求，读出所述账单文件存储区14中的账单文件，进行对账工作。当接收到会员发出的对账请求时，请求中需要包括会员信息和账单所处于的时间段。对账单元123从账单文件存储区14中先找到对应的会员，然后找到需要找到的时间段对应的账单文件，对其发送至对应的外部终端，完成对账工作。

从上可知，同步数据单元121、生成账单单元122和对账单元123通常可以用软件模块来实现。比如，采用sqlserver/oracle自带的job完成数据同步单元121完成的数据同步工作，生成账单单元122可以采用quartz现有的任务调度为完成。

数据仓库13和账单文件存储区14可以是两个单独的数据库服务器，也可以是一数据库服务器上的两个独立划分的存储空间。

基于上述公开的系统，本发明提供了一种在海量数据下完成账单对账的方法。请参阅图3，其为本发明的一种流程图。它包括：

S110：将数据从数据库中下载至数据仓库。本发明可以预先设定从数据库下载数据的时间、下载数据的内容。本发明可以在每天或每个星期的某一时间段从数据库中下载满足条件的数据。所述满足条件可以指交易数据发生的时间在某一段时间上。

S120：从数据仓库中取出数据，生成账单文件，将所述账单文件存储至账单文件存储区。

从数据仓库中取出本次下载的数据，将该些数据按照预先设定的要求分为若干账单文件。

本发明可以将这些取出的数据以会员为单位进行分类，每一分好类的数据形成一账单文件，所述账单文件通过会员信息和这些账单共在的交易时间进行标识。本发明还可以将这些取出的数据以会员为单位进行分类，每一分好类的数据又以更小时间单元为单位进一步划分数据；每一划分好的数据形成一账单文件，所述账单文件通过会员信息和这些账单共在交易时间进行标识。比如，当从数据库中是以一个星期为周期进行数据下载，在形成账单文件时发现同一会员在这一段时间内相关的交易数据非常多，则一以会员为单位分好类的数据，又可以以更小时间单元(如天)为单元进一步划分数据，形成以天为单位的账单文件。这种设计存在着一定好处的：会员进行对账的周期长时，减少下载数据的频率，从而也减少了给数据库的压力，并且以天数为单位划分账单文件时，可以减轻会员在对账时的工作量，同时也降低对账过程的出错率。

步骤S120中将所述账单文件存储至账单文件存储区中进一步为：

账单文件是以会员为单位进行存储，存储每一新的账单文件时，先找到所述账单文件所属会员在账单文件存储区中的存储空间，然后，将该账单文件保存至该存储空间的空闲区域上。也就是说，该账单文件存储区中的账单文件是以会员为单元，而且每一会员下所有账单文件又以时间为先后非常有序的存储的。

S130：接收外部终端发出的对账请求，从所述账单文件存储区中读出账单文件，进行对账工作。

步骤S130进一步为：

接收到外部终端发出的对账请求后，先获得发出请求的会员信息及账单所在交易时间；

从账单文件存储区中找到所述会员所在存储空间；

将账单所在交易时间对应的账单文件下载至所述外部终端，以便进行对账处理。

通过本发明，可以很大程度上减轻对账工作对数据库造成的压力。

本发明解决了海量数据下账单对账问题，它可以应用于很多网上交易过程。以下就以二个网上交易过程的实例来说明。

应用例一

请参阅图4，其为一种本发明的网上交易系统的结构原理图。它包括用户4、商户1、中间平台2和发卡子系统3，用户4和商户1都是通过因特网连接中间平台2，发卡子系统3通过专线连接中间平台2。中间平台2上设置有服务器21、数据库22。中间平台2上还包括数据仓库23和账单文件存储区24。服务器21进一步包括同步数据单元211、生成账单单元212和对账单元213，其中，

同步数据单元211，用于定期将数据从数据库22中下载至数据仓库23；

生成账单单元212，用于从数据仓库23中取出数据，生成账单文件，存储至账单文件存储区24中；

对账单元213：用于接收商户1和发卡子系统3发出的对账请求，读出所述账单文件存储区24中的账单文件，进行对账工作。

数据仓库23和账单文件存储区24可以采用一数据库服务器来完成。

并且，发卡子系统3也是可以集成到中间平台2上的。即，当用户4和商户1都在中间平台2上开设账单，并且在账单上都存储有一定金额时，中间平台2即可将用户4对应的账户上进行扣款处理，在商户1对应的账户上进行转账处理。

用户4登录至中间平台2，选中某一商户的某一件商品，利用中间平台2通过发卡子系统3进行扣款处理或直接在中间平台2对应的账户上进行扣款处理，不管扣款是否成功，每一次交易的数据都会在中间平台2的数据库22上进行记录。

商户1或发卡子系统3每隔一预先设定的时间周期后，就会对每周期内的每笔交易进行对账划账处理。为了进行这些会员与中间平台2的对账处理，服务器21定期将数据从数据库22中下载至数据仓库23；从数据仓库23中取出数据，生成账单文件，将所述账单文件存储至账单文件存储区24；接收商户1或发卡子系统3发出的对账请求，从所述账单文件存储区24中读出账单文件，进行对账工作。

本发明在整个网上交易过程，数据库22不会由于要处理会员的对账工作，而致使处理能力下降，响应时间变长，即不会影响现有的网上交易过程中用户4与中间平台2的交易。

请参阅图5，其为另一种本发明的网上交易系统的结构原理图。它包括用户4、商户1、中间平台2和发卡子系统3，用户4连接至商户1，商户1通过因特网或其它专线连接中间平台2，发卡子系统3通过专线连接中间平台2。中间平台2上设置有服务器21、数据库22。中间平台2上还包括数据仓库23和账单文件存储区24。服务器21进一步包括同步数据单元211、生成账单单元212和对账单元213，其中，

同步数据单元211，用于定期将数据从数据库22中下载至数据仓库23；

生成账单单元212，用于从数据仓库23中取出数据，生成账单文件，存储至账单文件存储区24中；

对账单元213：用于接收商户1和发卡子系统3发出的对账请求，读出所述账单文件存储区24中的账单文件，进行对账工作。

数据仓库23和账单文件存储区24可以采用一数据库服务器来完成。

并且，发卡子系统3也是可以集成到中间平台2上的。即，当用户4和商户1都在中间平台2上开设账单，并且在账单上都存储有一定金额时，中间平台2即可将用户4对应的账户上进行扣款处理，在商户1对应的账户上进行转账处理。

用户4登录至商户1，选中某一商户的某一件商品，利用中间平台2通过发卡子系统3进行扣款处理或直接在中间平台2对应的账户上进行扣款处理，不管扣款是否成功，每一次交易的数据都会在中间平台2的数据库22上进行记录。

商户1或发卡子系统3每隔一预先设定的时间周期后，就会对每周期内的每笔交易进行对账划账处理。为了进行这些会员与中间平台2的对账处理，服务器21定期将数据从数据库22中下载至数据仓库23；从数据仓库23中取出数据，生成账单文件，将所述账单文件存储至账单文件存储区24；接收商户1或发卡子系统3发出的对账请求，从所述账单文件存储区24中读出账单文件，进行对账工作。

本发明在整个网上交易过程，数据库22不会由于要处理会员的对账工作，而致使处理能力下降，响应时间变长，即不会影响现有的网上交易过程中用户4与中间平台2的交易。

以上公开的仅为本发明的几个具体实施例，但本发明并非局限于此，任何本领域的技术人员能思之的变化，都应落在本发明的保护范围内。

Claims (10)

1、一种在海量数据下完成账单对账的方法，其特征在于，包括：

(1)将数据从数据库中下载至数据仓库；

(2)从数据仓库中取出数据，生成账单文件，将所述账单文件存储至账单文件存储区；

(3)接收外部终端发出的对账请求，从所述账单文件存储区中读出账单文件，进行对账工作。

2、如权利要求1所述的方法，其特征在于，步骤(2)中生成账单文件为：

将该些取出的数据以会员为单位进行分类，每一分好类的数据形成一账单文件，所述账单文件通过会员信息和该些账单共在的交易时间进行标识。

3、如权利要求1所述的方法，其特征在于，步骤(2)中生成账单文件为：

将该些取出的数据以会员为单位进行分类，

每一分好类的数据又以更小时间单元为单位进一步划分数据；

每一划分好的数据形成一账单文件，所述账单文件通过会员信息和该些账单共在交易时间进行标识。

4、如权利要求1至3中任何一项所述的方法，其特征在于，步骤(2)中将所述账单文件存储至账单文件存储区中进一步为：

账单文件是以会员为单位进行存储，存储每一新的账单文件时，先找到所述账单文件所属会员在账单文件存储区中的存储空间，然后，将该账单文件保存至该存储空间的空闲区域上。

5、如权利要求4所述的方法，其特征在于，步骤(3)进一步为：

接收到外部终端发出的对账请求后，先获得发出请求的会员信息及账单所在交易时间；

从账单文件存储区中找到所述会员所在存储空间；

将账单所在交易时间对应的账单文件下载至所述外部终端，以便进行对账处理。

6、如权利要求2或3所述的方法，其特征在于，账单文件是以会员信息和该些账单共在交易时间进行标识，进一步为：账单文件是用会员信息+账单共在交易时间进行命名的。

7、一种在海量数据下完成账单对账的系统，包括实时记载每一笔交易数据的数据库，其特征在于，包括处理器、数据仓库和账单文件存储区，所述处理器进一步包括同步数据单元、生成账单单元和对账单元，其中，

同步数据单元，用于定期将数据从数据库中下载至数据仓库；

生成账单单元，用于从数据仓库中取出数据，生成账单文件，存储至账单文件存储区中；

对账单元：用于接收外部终端发出的对账请求，读出所述账单文件存储区中的账单文件，进行对账工作。

8、如权利要求1所述的系统，其特征在于，数据仓库和账单文件存储区采用一数据库服务器。

9、一种网上交易系统，包括用户、商户、中间平台和发卡子系统，用户和商户通过因特网连接中间平台或用户通过商户连接至中间平台，中间平台连接发卡子系统，所述中间平台包括一数据库，用于记载每一笔交易的数据，其特征在于，所述中间平台还包括处理器、数据仓库和账单文件存储区，所述处理器进一步包括同步数据单元、生成账单单元和对账单元，其中，

同步数据单元，用于定期将数据从数据库中下载至数据仓库；

生成账单单元，用于从数据仓库中取出数据，生成账单文件，存储至账单文件存储区中；

对账单元：用于接收用户和发卡子系统发出的对账请求，读出所述账单文件存储区中的账单文件，进行对账工作。

10、一种网上交易方法，其特征在于，包括：

(1)用户通过中间平台进行网上交易，所述交易数据实时记录在中间平台的数据库中；

(2)定期将数据从数据库中下载至数据仓库；

(3)从数据仓库中取出数据，生成账单文件，将所述账单文件存储至账单文件存储区；

(4)接收商户或发卡子系统发出的对账请求，从所述账单文件存储区中读出账单文件，进行对账工作。

Images