CN108038140A - 交通一卡通交易数据全量查重方法及系统 - Google Patents

Abstract

本发明公开了一种交通一卡通交易数据全量查重方法及系统，该方法包括：设计有助于查重的预处理数据表，同步以往所有的交易数据到预处理数据表(包含交易文件、数据仓库和非规则文件)，在清分过程对全数据进行查重，后续可以将查重结果信息显示在客户端的显示界面上。在有新数据进入时，同样依照前述方式在预处理数据表中进行查重，完成清分。本发明针对交通一卡通的历史海量交易数据和新产生的庞大交易数据提供了一套稳定、高效、快速的全数据查重方法，使用户在日益增加的交易数据量的情况下，对各种不同类型的交易数据进行查重清分，同时该查重方法也适用于其他行业的大数据查重应用领域。

Description

交通一卡通交易数据全量查重方法及系统

技术领域

本发明涉及大数据处理的技术领域，尤其涉及交通一卡通交易数据全量查重方法及系统。

背景技术

近几年来，随着计算机和信息技术的迅猛发展和普及应用，行业应用系统的规模迅速扩大，行业应用所产生的数据呈爆炸性增长，例如交通一卡通的交易数据，动辄达到数百TB甚至数十至数百PB规模的行业/企业大数据已远远超出了现有传统的计算技术和信息系统的处理能力，导致面对海量历史数据和新产生的庞大数据时，传统的数据处理方法其数据处理的效率较低，时间较长，因此，寻求有效的大数据处理技术、方法和手段已经成为当下的迫切需求。

发明内容

为了克服现有技术的不足，本发明的目的在于提供交通一卡通交易数据全量查重方法及系统，旨在解决现有技术的大数据处理技术面对海量历史数据和新产生的庞大数据时其查重效率较低、所需时间较长的问题。

本发明的目的采用以下技术方案实现：

一种交通一卡通交易数据全量查重方法，其特征在于，包括：

预处理步骤，设计预处理数据表；

同步步骤，将以往所有的交易数据同步到预处理数据表，所述交易数据包括交易文件、数据仓库和非规则文件；

查重步骤，在预处理数据表中，对交易数据进行历史查重，完成清分过程。

在上述实施例的基础上，优选的，所述预处理步骤包括：

将交易数据按票卡发行年分开，将票卡发行年作为独立分表的基础；

在物理上进行独立分表，得到票卡同发行年的数据，根据发行票卡数量，采用票卡HASH取模方法建立若干张查重表；

在逻辑分区的基础上，根据预估年交易笔数，在查重表上建立若干个分区，分区采用HASH方式，联合查重键和逻辑票卡作为分区索引，根据执行效率优化分区索引类型。

在上述任意实施例的基础上，优选的，所述同步步骤包括：

对于交易文件类型的交易数据，采用文件数据批量导入到预处理数据表的方式，完成交易数据的同步；

对于数据仓库类型的交易数据，采用数据库链接到预处理数据表的方式，创建存储过程，完成交易数据的同步；

对于非规则文件类型的交易数据，采用日志引擎分析、查找和清洗的方式，完成交易数据的同步。

在上述任意实施例的基础上，优选的，所述查重步骤包括：

对于预处理数据表中的每条交易数据，分组缓存并聚合同一票卡的所有交易记录；

如果聚合得到的数据没有重复，则将该条交易数据缓存；

所有交易数据逐条查重结束，完成清分后，预处理数据表中的交易数据转成查重数据文件，并同步到查重表中。

在上述任意实施例的基础上，优选的，还包括：

更新步骤，将每天新产生的交易数据同步到预处理数据表；对于新产生的每条交易数据，分组缓存并聚合同一票卡的所有交易记录；如果聚合到的数据没有重复，则将该条交易数据缓存；所有交易数据逐条查重结束，完成清分后，新产生的交易数据转成查重数据文件，并定时同步到查重表中。

一种交通一卡通交易数据全量查重系统，包括：

预处理模块，用于设计预处理数据表；

同步模块，用于将以往所有的交易数据同步到预处理数据表，所述交易数据包括交易文件、数据仓库和非规则文件；

查重模块，用于在预处理数据表中，对交易数据进行历史查重，完成清分过程。

在上述实施例的基础上，优选的，所述预处理模块用于：

将交易数据按票卡发行年分开，将票卡发行年作为独立分表的基础；

在物理上进行独立分表，得到票卡同发行年的数据，根据发行票卡数量，采用票卡HASH取模方法建立若干张查重表；

在逻辑分区的基础上，根据预估年交易笔数，在查重表上建立若干个分区，分区采用HASH方式，联合查重键和逻辑票卡作为分区索引，根据执行效率优化分区索引类型。

在上述任意实施例的基础上，优选的，所述同步模块用于：

对于交易文件类型的交易数据，采用文件数据批量导入到预处理数据表的方式，完成交易数据的同步；

对于数据仓库类型的交易数据，采用数据库链接到预处理数据表的方式，创建存储过程，完成交易数据的同步；

对于非规则文件类型的交易数据，采用日志引擎分析、查找和清洗的方式，完成交易数据的同步。

在上述任意实施例的基础上，优选的，所述查重模块用于：

对于预处理数据表中的每条交易数据，分组缓存并聚合同一票卡的所有交易记录；

如果聚合得到的数据没有重复，则将该条交易数据缓存；

所有交易数据逐条查重结束，完成清分后，预处理数据表中的交易数据转成查重数据文件，并同步到查重表中。

在上述任意实施例的基础上，优选的，还包括：

更新模块，用于将每天新产生的交易数据同步到预处理数据表；对于新产生的每条交易数据，分组缓存并聚合同一票卡的所有交易记录；如果聚合到的数据没有重复，则将该条交易数据缓存；所有交易数据逐条查重结束，完成清分后，新产生的交易数据转成查重数据文件，并定时同步到查重表中。

相比现有技术，本发明的有益效果在于：

本发明公开了一种交通一卡通交易数据全量查重方法及系统，该方法包括：设计有助于查重的预处理数据表，同步以往所有的交易数据到预处理数据表(包含交易文件、数据仓库和非规则文件)，在清分过程对全数据进行查重，后续可以将查重结果信息显示在客户端的显示界面上。在有新数据进入时，同样依照前述方式在预处理数据表中进行查重，完成清分。本发明针对交通一卡通的历史海量交易数据和新产生的庞大交易数据提供了一套稳定、高效、快速的全数据查重方法，使用户在日益增加的交易数据量的情况下，能够高效、准确地对产生的各种不同类型的交易数据进行查重清分，使交通一卡通的核心业务得到安全、可靠、快速的保证，同时该查重方法也适用于其他行业的大数据查重应用领域。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1示出了本发明实施例提供的一种交通一卡通交易数据全量查重方法的流程示意图；

图1a示出了本发明实施例提供的一种预处理步骤的流程示意图；

图1b示出了本发明实施例提供的一种同步步骤的流程示意图；

图1c示出了本发明实施例提供的一种查重步骤的流程示意图；

图2示出了本发明实施例提供的一种交通一卡通交易数据全量查重系统的结构示意图。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

如图1所示，本发明实施例提供了一种交通一卡通交易数据全量查重方法，其特征在于，包括：

预处理步骤S101，设计预处理数据表；

同步步骤S102，将以往所有的交易数据同步到预处理数据表，所述交易数据包括交易文件、数据仓库和非规则文件；

查重步骤S103，在预处理数据表中，对交易数据进行历史查重，完成清分过程。

优选的，如图1a所示，本发明实施例中，所述预处理步骤S101可以包括以下步骤：

S1011，将交易数据按票卡发行年分开，将票卡发行年作为独立分表的基础。这一步骤将不同发行年的交易数据独立分开，将数据存储到不同的表中，初步减少无关数据的查询。从票卡数据中获取发行时间或首次交易时间，从中取得年份，再按格式“T_LNT_KEYS_年份”形成基础表名。

S1012，在物理上进行分表，按票卡号采用HASH取模的方式获取实际表的偏移量，至此完整查重表名为“T_LNT_KEYS_年份_偏移量”。按此种方式物理分表以后，交易查重数据明显减少，但对几十亿数据全量查询性能仍不乐观。

S1013，在逻辑上进行分区，将数据分散到不能的逻辑分区上，考虑分区数据最好均匀，采用HASH分区，按票卡号(LCN)划分若个分区。通过大量数据测试及分析，对分区表中联合查重键(SEQ_KEY)，逻辑票卡(LCN)建立分区索引，查询速率更高。本发明实施例中，逻辑分区是Oracle特有的磁盘分区逻辑；相对单键来说，一个字段一个键，联合查重键就是多个单键拼接在一起；逻辑票卡采用HASH算法分区存放，并单独为每一个分区建立索引，即逻辑票卡分区索引。本发明实施例对优化分区索引不做限定，优选的，其可以为：对分区字段、以及分区索引字段分析，当字段值或字段组合值相对唯一则采用B树索引，重复率较高则可采用位图索引。

优选的，如图1b所示，本发明实施例中，所述同步步骤S102可以包括：S1021，对于交易文件类型的交易数据，采用文件数据批量导入到预处理数据表的方式，完成交易数据的同步；S1022，对于数据仓库类型的交易数据，采用数据库链接到预处理数据表的方式，创建存储过程，完成交易数据的同步；S1023，对于非规则文件类型的交易数据，采用日志引擎分析、查找和清洗的方式，完成交易数据的同步。对于交易文件类型的交易数据，内容格式是固定的，可以采取SqlLoad快速批量导入；对于数据仓库类型的交易数据，oracle数据库，可以通过在交通一卡通清算数据库中建立Dblink后，创建存储过程完成查重数据同步；对于非规则数据类型的交易数据，可以通过日志分析引擎读取并分析数据，查找交易数据，经过数据清洗，结构化后生成查重所需要的数据文件，最后用SqlLoad导入到预处理数据表。

优选的，如图1c所示，本发明实施例中，所述查重步骤S103可以包括：S1031，对于预处理数据表中的每条交易数据，分组缓存并聚合同一票卡的所有交易记录；S1032，如果聚合得到的数据没有重复，则将该条交易数据缓存；S1033，所有交易数据逐条查重结束，完成清分后，预处理数据表中的交易数据转成查重数据文件，并同步到查重表中。清分过程中，数据预处理是一条条数据进行的，通过文件、关键字段检查后才会对交易数据做历史查重。而历史查重，关键是对表数据的查询，因此系统必须对交通一卡通查重表做优化，优化使用的SQL。根据公交或地铁一天的消费数据分析得出，同一张卡出现多笔交易记录，因此可对同一张票卡的数据组合成一条SQL，一次性完成数据查询。当数据包完成清分后，当天交易数据须转成查重数据文件，并定时导入到交通一卡通清分数据库查重表中，以降低数据库服务器的连接开销。

优选的，本发明实施例还可以包括更新步骤S104，将每天新产生的交易数据同步到预处理数据表；对于新产生的每条交易数据，分组缓存并聚合同一票卡的所有交易记录；如果聚合到的数据没有重复，则将该条交易数据缓存；所有交易数据逐条查重结束，完成清分后，新产生的交易数据转成查重数据文件，并定时同步到查重表中。

本发明实施例首先设计有助于查重的预处理数据表，其次同步以往所有的交易数据到预处理数据表(包含交易文件、数据仓库和非规则文件)，最后在清分过程对全数据进行查重，后续可以将查重结果信息显示在客户端的显示界面上。在有新数据进入时，同样依照前述方式在预处理数据表中进行查重，完成清分。本发明实施例针对交通一卡通的历史海量交易数据和新产生的庞大交易数据提供了一套稳定、高效、快速的全数据查重方法，使用户在日益增加的交易数据量的情况下，能够高效、准确地对产生的各种不同类型的交易数据进行查重清分，使交通一卡通的核心业务得到安全、可靠、快速的保证，同时该查重方法也适用于其他行业的大数据查重应用领域。

本发明实施例中的交通一卡通，可以为全国各地市的公共交通系统的一卡通，例如岭南通。

在上述的具体实施例一中，提供了交通一卡通交易数据全量查重方法，与之相对应的，本申请还提供交通一卡通交易数据全量查重系统。由于系统实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的系统实施例仅仅是示意性的。

具体实施例二

如图2所示，本发明实施例提供了一种交通一卡通交易数据全量查重系统，包括：

预处理模块201，用于设计预处理数据表；

同步模块202，用于将以往所有的交易数据同步到预处理数据表，所述交易数据包括交易文件、数据仓库和非规则文件；

查重模块203，用于在预处理数据表中，对交易数据进行历史查重，完成清分过程。

优选的，本发明实施例中，所述预处理模块201可以用于：将交易数据按票卡发行年分开，将票卡发行年作为独立分表的基础；在物理上进行独立分表，得到票卡同发行年的数据，根据发行票卡数量，采用票卡HASH取模方法建立若干张查重表；在逻辑分区的基础上，根据预估年交易笔数，在查重表上建立若干个分区，分区采用HASH方式，联合查重键和逻辑票卡作为分区索引，根据执行效率优化分区索引类型。

优选的，本发明实施例中，所述同步模块202可以用于：对于交易文件类型的交易数据，采用文件数据批量导入到预处理数据表的方式，完成交易数据的同步；对于数据仓库类型的交易数据，采用数据库链接到预处理数据表的方式，创建存储过程，完成交易数据的同步；对于非规则文件类型的交易数据，采用日志引擎分析、查找和清洗的方式，完成交易数据的同步。

优选的，本发明实施例中，所述查重模块203可以用于：对于预处理数据表中的每条交易数据，分组缓存并聚合同一票卡的所有交易记录；如果聚合得到的数据没有重复，则将该条交易数据缓存；所有交易数据逐条查重结束，完成清分后，预处理数据表中的交易数据转成查重数据文件，并同步到查重表中。

优选的，本发明实施例还可以包括更新模块204，用于将每天新产生的交易数据同步到预处理数据表；对于新产生的每条交易数据，分组缓存并聚合同一票卡的所有交易记录；如果聚合到的数据没有重复，则将该条交易数据缓存；所有交易数据逐条查重结束，完成清分后，新产生的交易数据转成查重数据文件，并定时同步到查重表中。

本发明实施例首先设计有助于查重的预处理数据表，其次同步以往所有的交易数据到预处理数据表(包含交易文件、数据仓库和非规则文件)，最后在清分过程对全数据进行查重，后续可以将查重结果信息显示在客户端的显示界面上。在有新数据进入时，同样依照前述方式在预处理数据表中进行查重，完成清分。本发明实施例针对交通一卡通的历史海量交易数据和新产生的庞大交易数据提供了一套稳定、高效、快速的全数据查重系统，使用户在日益增加的交易数据量的情况下，能够高效、准确地对产生的各种不同类型的交易数据进行查重清分，使交通一卡通的核心业务得到安全、可靠、快速的保证，同时该查重系统也适用于其他行业的大数据查重应用领域。

对本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。

Claims (10)

1.一种交通一卡通交易数据全量查重方法，其特征在于，包括：

预处理步骤，设计预处理数据表；

同步步骤，将以往所有的交易数据同步到预处理数据表，所述交易数据包括交易文件、数据仓库和非规则文件；

查重步骤，在预处理数据表中，对交易数据进行历史查重，完成清分过程。

2.根据权利要求1所述的交通一卡通交易数据全量查重方法，其特征在于，所述预处理步骤包括：

将交易数据按票卡发行年分开，将票卡发行年作为独立分表的基础；

在物理上进行独立分表，得到票卡同发行年的数据，根据发行票卡数量，采用票卡HASH取模方法建立若干张查重表；

在逻辑分区的基础上，根据预估年交易笔数，在查重表上建立若干个分区，分区采用HASH方式，联合查重键和逻辑票卡作为分区索引，根据执行效率优化分区索引类型。

3.根据权利要求1或2所述的交通一卡通交易数据全量查重方法，其特征在于，所述同步步骤包括：

对于交易文件类型的交易数据，采用文件数据批量导入到预处理数据表的方式，完成交易数据的同步；

对于数据仓库类型的交易数据，采用数据库链接到预处理数据表的方式，创建存储过程，完成交易数据的同步；

对于非规则文件类型的交易数据，采用日志引擎分析、查找和清洗的方式，完成交易数据的同步。

4.根据权利要求1或2所述的交通一卡通交易数据全量查重方法，其特征在于，所述查重步骤包括：

对于预处理数据表中的每条交易数据，分组缓存并聚合同一票卡的所有交易记录；

如果聚合得到的数据没有重复，则将该条交易数据缓存；

所有交易数据逐条查重结束，完成清分后，预处理数据表中的交易数据转成查重数据文件，并同步到查重表中。

5.根据权利要求1或2所述的交通一卡通交易数据全量查重方法，其特征在于，还包括：

更新步骤，将每天新产生的交易数据同步到预处理数据表；对于新产生的每条交易数据，分组缓存并聚合同一票卡的所有交易记录；如果聚合到的数据没有重复，则将该条交易数据缓存；所有交易数据逐条查重结束，完成清分后，新产生的交易数据转成查重数据文件，并定时同步到查重表中。

6.一种交通一卡通交易数据全量查重系统，其特征在于，包括：

预处理模块，用于设计预处理数据表；

同步模块，用于将以往所有的交易数据同步到预处理数据表，所述交易数据包括交易文件、数据仓库和非规则文件；

查重模块，用于在预处理数据表中，对交易数据进行历史查重，完成清分过程。

7.根据权利要求6所述的交通一卡通交易数据全量查重系统，其特征在于，所述预处理模块用于：

将交易数据按票卡发行年分开，将票卡发行年作为独立分表的基础；

在物理上进行独立分表，得到票卡同发行年的数据，根据发行票卡数量，采用票卡HASH取模方法建立若干张查重表；

在逻辑分区的基础上，根据预估年交易笔数，在查重表上建立若干个分区，分区采用HASH方式，联合查重键和逻辑票卡作为分区索引，根据执行效率优化分区索引类型。

8.根据权利要求6或7所述的交通一卡通交易数据全量查重系统，其特征在于，所述同步模块用于：

对于交易文件类型的交易数据，采用文件数据批量导入到预处理数据表的方式，完成交易数据的同步；

对于数据仓库类型的交易数据，采用数据库链接到预处理数据表的方式，创建存储过程，完成交易数据的同步；

对于非规则文件类型的交易数据，采用日志引擎分析、查找和清洗的方式，完成交易数据的同步。

9.根据权利要求6或7所述的交通一卡通交易数据全量查重系统，其特征在于，所述查重模块用于：

对于预处理数据表中的每条交易数据，分组缓存并聚合同一票卡的所有交易记录；

如果聚合得到的数据没有重复，则将该条交易数据缓存；

所有交易数据逐条查重结束，完成清分后，预处理数据表中的交易数据转成查重数据文件，并同步到查重表中。

10.根据权利要求6或7所述的交通一卡通交易数据全量查重系统，其特征在于，还包括：

更新模块，用于将每天新产生的交易数据同步到预处理数据表；对于新产生的每条交易数据，分组缓存并聚合同一票卡的所有交易记录；如果聚合到的数据没有重复，则将该条交易数据缓存；所有交易数据逐条查重结束，完成清分后，新产生的交易数据转成查重数据文件，并定时同步到查重表中。