CN101226624A - 轨道交通票务数据分级分类处理系统及其方法 - Google Patents

Abstract

本发明提供了一种用于轨道交通的票务数据分级分类处理系统及其方法，包括：联机交易模块，接收来自各层终端和外部系统的交易数据并装载入库；交易预处理进程模块，实现数据交验、分离、归类，为后续专门化清分处理做准备；交易清分进程模块，通过分批次，多进程对票务数据进行并行处理；报表生成模块，根据不同的使用需要将数据处理结果输出成各种报表和统计文件；数据清理备份模块，完成数据的清理、备份、恢复等。采用了可灵活配置、分级分层的数据挖掘方式，先对数据预处理，简化后台处理的复杂度，然后通过流水线方式的模块并行处理，简化了系统结构，大大提高了处理效率。

Description

轨道交通票务数据分级分类处理系统及其方法

技术领域

本发明属于交通控制领域，尤其涉及一种用于轨道交通的票务数据分级分类处理系统及其方法。

背景技术

随着世界经济和科技的不断发展，全球城市轨道交通已进入了新一轮发展阶段。在布局上，实现从“单线建设”，向多层次、立体化、综合性的“网络化”建设转变；在功能上，实现以了智能化、信息化为标志的大客流、大线网、大交易量的智能管理系统。

城市轨道交通智能管理系统的发达程度，不仅成为市民日常出行的重要交通工具先进性的表征，更是体现城市综合竞争力的基础，对国民经济的发展，乃至“和谐社会”的建设，将起着越来越大的作用。目前我国的城市轨道交通的系统、设施及其产业，已从局部大城市的点布设，向中等城市和网面的布设转变，形成了产业雏形；已成为全球增长最快、最大的区域性市场。截至2006年年底，我国的上海、北京、广州、深圳等10个城市已拥有轨道交通运营里程504.63公里(上海到2007年底累计建成230公里)。到2020年，全国将有近25个城市要建设总长1500公里的轨道交通，其中上海将建成18条线，总里程970公里；到2050年，我国总建设里程可达5000公里，总投资估算将超过8000亿元。

在我国网络化、智能化的城市轨道交通的快速、规模化的建设与发展背景下，呈现出巨大的现实和潜在的城市轨道交通市场。

目前，在各种大型数据应用系统中，通常都借助于数据仓库技术、利用系统软件、数据仓库软件等提供的数据挖掘工具完成数据挖掘功能，但是当数据量巨大时，为了实现多种复杂的分析运算，数据挖掘的效率比较低，灵活性不强，且需要消耗相当多的系统资源，投入较多的硬件成本，因此，需要一种能便捷高效且低成本的数据挖掘方法。城市的大型轨道交通中票务系统的数据处理，正是这样一种大数据量的数据应用场合，对于其数据处理中的数据挖掘方式，处理汇总以及存储备份，因为轨道交通的随机性、即时性，尤其需要一种便捷高效的票务数据处理系统来实现。

发明内容

本发明提供了一种票务数据分级分类处理系统及其方法，其目的在于提高大数据量下票务数据挖掘的效率和灵活性，并尽量减少硬件系统的投入。采用一种可灵活配置、分级分层的数据挖掘方式，先对数据预处理，简化后台处理的复杂度，然后通过流水线方式的模块并行处理，提高处理效率。

本发明所述票务数据分级分类处理系统包括：联机交易模块，接收来自各层终端和外部系统的交易数据并装载入库；交易预处理进程模块，实现数据交验、分离、归类，为后续专门化清分处理做准备；交易清分进程模块，通过分批次，多进程并发，多机负载均衡、容错技术等技术、灵活配置，实现高性能的数据处理；报表生成模块，根据不同的使用需要将数据处理结果输出成各种报表和统计文件；数据清理备份模块，完成数据的清理、备份、恢复等。

所述交易预处理进程模块包括：线内交易预处理模块、跨线交易预处理模块、异常交易预处理模块、充值交易预处理模块、消费交易预处理模块、非法交易预处理模块。

所述交易清分进程模块包括：线内交易清分模块、跨线交易清分模块、异常交易清分模块、充值交易清分模块、消费交易清分模块，非法交易清分模块。

系统对票务数据的处理方式如下：

采集交易数据：车站闸机采集和处理原始交易数据，在车站和线路中央各级别完成数据的初步加工、统计后上送联机交易模块。

预处理：联机交易模块对数据进行预处理，完成数据合法性校验，根据交易类型对原始数据进行分离，并通过分段、分组，使后续处理的复杂度降低，并为不同数据之间的并行处理创造了条件。

清分处理：根据数据的不同特性及类型，采用分批次多进程并发处理方式，在数据经过专门预处理的基础上，充分利用多机资源，实现高性能、高可用性，高可靠性和高可扩展性的数据清分处理。

结果整合：由于数据已经经过了精细清分，可使系统很容易地生成各种统计文件和报表，满足不同的管理、监控等的需要。

清理备份：完成数据的备份和清理，释放更多的系统资源，使系统可以持续地、高效地完成数据处理工作。

本发明使票务系统的数据挖掘工作效率可以大大提高，尤其是通过了分级、分批次的并行处理等方式后，使原本需要大量硬件资源、消耗大量时间才能完成的数据挖掘工作，变成在各级设备中即可完成的，数据专一化的，处理简单的多个步骤，从而解决了大数据量数据处理中的瓶颈，提高了数据挖掘的效率。

附图说明

图1为本发明所述票务数据分级分类处理系统的数据流程图；

图2为本发明所述票务数据分级分类处理系统的模块结构图。

具体实施方式

下面结合说明书附图，针对本发明的一个具体实施例进行介绍。

轨道交通的票务数据处理主要包括对各线路中央系统上送的售票交易、消费交易、对交易记录进行的清分处理、文件生成、报表生成以及对应用数据的备份清理等几个方面。

交易数据由联机交易模块接收并装载入库，由于其数据量非常大，需要把对性能要求特别严格的数据清分过程拆分为“预处理”与“交易清分”二个步骤。其中预处理包括交易记录的合法性检查与交易日志数据的“分离”(即交易日志解析)，其处理数据来源是由联机交易模块生成的交易日志，其处理结果是：各种类型的常规交易数据、异常交易数据和可疑交易数据轨道。这些被“分离”的交易数据分别存储，且不包含交易日志中某些对处理无意义的数据字段。

如附图1及图2，本发明所述的票务数据处理总体流程如下：

对联机交易模块所采集的票务数据根据类型分为一票换乘式以及交通卡交易，其中一票换乘方式还细分为线内交易、跨线交易、异常交易，交通卡交易细分为充值交易、消费交易、非法交易。

各种交易数据先通过预处理进行分离，输入相对应的预处理模块，最终通过各自交易清分模块进行终处理，每类交易乃至每一批交易都可以进行并行处理，相对独立。

1、预处理：

在交易日志解析处理中采用并发控制、多进程并行处理技术以满足系统的性能指标。交易日志解析可以采用多个服务进程并发的设计原则，并且随着交易量的变化，可以灵活的配置服务进程的数量，配置方式有以下选择：(1)可以一个服务进程处理多条交易量较小的线路(2)以单服务进程处理中等规模交易量的线路(3)以多个服务进程同时处理大交易量的某条线路，多个服务进程按车站划分，并发执行。

上述实现方案为清分预处理从架构设计层面提供了巨大的灵活性和全新的处理性能

2、交易清分：

在交易记录的清分处理过程中，可以采取多批次清分、流程化控制、并发控制、多机处理技术、容错技术、费率与分成方案的高可配置性等技术，实现清分批处理的高性能、高可用性/高可靠性和高可扩展性。

(1)多批次清分

首先，规定每日进行的最大清分批次数目，再由技术人员设置每日实际进行的清分批次。批次清分策略实际上可以认为是处理流程上的“流水线化”。亦即：各批次的处理由于有批次号进行控制，因此各批次的处理是可以重叠的。这一并行流水线方案使得清分处理负载可以基本上均匀分布在整个清分处理期。

采用多批次清分的另一优势是：由于每日交易量非常大，当由于某些原因导致清分处理中断时，可以从中断处的批次开始恢复；或如果确认由于某批次出现数据错误(通常人工操作有造成这一错误的可能性)，则只需要对该批次数据进行单独处理。

(2)并发技术

可以通过一定的分区规则，将清分数据划分成不同的逻辑分区，在清分过程中启动多个清分进程，一个清分进程一次只处理一个逻辑分区，每个清分进程每次处理的记录个数根据逻辑分区来确定。清分进程划分为多个可最大限度地利用CPU资源，逻辑分区的划分可最大限度提高IO性能。清分进程的数量、分区块大小的调整需通过实验来确定最佳组合。清分流程每个步骤进程的并发个数可以进行合理配置。

(3)多机扩展

在清分系统设计过程中，通过技术手段保证各清分批次数据的相对独立，不同批次清分流程可以通过人工在操作界面上指定在不同的机器上实现并发执行，各清分批次无时间上的依赖关系。

(4)容错处理

由于在各个批次的清分过程中，可能会出现各种不同的异常情况，因此在清分出错的情况下，系统应提供重新进行批次清分的功能。提供的容错策略为：

按步骤重新清分。对于某一步骤有误，只需要重新由该步骤开始，而不需要重新进行整个批次清分流程，以缩短批次清分所需要的时间。

重新进行批次清分。对于必须重新进行整个批次清分流程时，提供重新进行批次清分的手段。

多机进行批次清分。当推迟清分造成时间延误时或需要重做批次清分时，可以同时在多个应用服务器上执行不同批次的清分流程，以保证在日终时，按时完成当天所有场次的清分、清算。

(5)流程控制技术

由于系统中每日需要针对不同类型的交易数据(经清分预处理分类)进行多个批次的清分，而每种交易数据类型及其清分批次需要进行的动作或流程又基本类似，因此通过对流程中各个动作的抽象，将流程通过不同动作组合形成的表的形式描述出来，然后由调度服务根据流程表进行不同动作的调度，进而完成不同清分场次所需的清分功能。

3、报表生成：

文件生成主要完成各种清分流水、对帐文件、报表文件及统计文件的生成。

在生成报表时通常采用专门的报表工具对清分的基础结果按照不同的口径进行汇总，并通过不同的方式(如PDF等)展示出来。清分批处理为这些报表工具生成报表数据。

在对报表工具使用时通常可以结合数据仓库技术及OLAP技术对各种数据进行深度分析，以形成各种报表。

4、清理备份：

数据清理和备份中的技术问题主要包括如下的内容：

历史表的表空间；

按照一定的规则，同时按照不同的条件在不同的历史表上设置不同的、合理的分区及索引，并且相关的分区/索引组合需要按照一定的实验结果来进行设定。

并发技术；

由于需要备份的数据量很大，因此在进行数据备份时需要考虑并发技术，以提高系统的整体性能。

应用容错；

在应用数据备份的过程中，系统提供重新备份的功能，并在重新进行备份的过程中解决“索引热块”的问题，以避免备份性能的急剧下降。

数据库容错；

结合数据库的恢复技术，以保证在数据出现异常的情况下，通过数据库的archive方式，恢复数据。

5、数据清理；

根据设定的数据清理的周期，整表备份整表删除，以避免由于记录删除造成索引发散而导致的表性能下降问题。

本发明对于预处理后的后续交易记录处理，针对各类数据的不同要求设计不同的处理模块，并行处理。这种方式带来了以下优点：

(1)后续最为耗时的交易记录处理过程被拆分为不同模块并行运行，提高了处理性能。同时，模块化处理也利于未来业务的扩展。

(2)经分离为二个步骤后，二个步骤可同时运行，形成了应用的流水线处理方式，提高了处理性能。

分离后，交易记录处理的数据库表的数据量规模大大减少，这对特大数据量系统的数据库访问性能的改善具有十分重要意义。

以上介绍是基于本发明的一个较佳实施例，并不能以此来限定本发明的范围。任何对本发明的机制作本技术领域内熟知的模块的替换、组合、分立，以及对本发明实施步骤作本技术领域内熟知的等同改变或替换均不超出本发明的揭露以及保护范围。

Claims (10)

1.一种轨道交通票务数据分级分类处理系统，其特征在于：包括联机交易模块、交易预处理进程模块、交易清分进程模块；

所述交易预处理进程模块包括：线内交易预处理模块、跨线交易预处理模块、异常交易预处理模块、充值交易预处理模块、消费交易预处理模块、非法交易预处理模块；

所述交易清分进程模块包括：线内交易清分模块、跨线交易清分模块、异常交易清分模块、充值交易清分模块、消费交易清分模块，非法交易清分模块；

所述联机交易模块接收来自终端和外部系统的交易数据，并装载入库，送入交易预处理进程模块进行预处理，交易预处理进程模块与交易清分模块相连接。

2.如权利要求1所述的一种轨道交通票务数据分级分类处理系统，其特征在于包括报表生成模块，与交易清分模块相连接，根据使用需要将数据处理结果输出成报表以及统计文件。

3.如权利要求1所述的一种轨道交通票务数据分级分类处理系统，其特征在于还包括数据清理备份模块，与交易清分模块相连接，完成数据的清理、备份、恢复。

4.如权利要求1所述的一种轨道交通票务数据分级分类处理系统，其特征在于所述线内交易预处理模块，完成一票换乘的线内交易数据预处理，并将预处理数据传送给线内交易清分模块；所述跨线交易预处理模块，完成一票换乘的跨线交易数据预处理，并将预处理数据传送给跨线交易清分模块；所述异常交易预处理模块，完成异常数据预处理，并将预处理数据传送给异常交易清分模块。

5.如权利要求1所述的一种轨道交通票务数据分级分类处理系统，其特征在于所述充值交易预处理模块，完成交通卡的充值交易数据预处理，并将预处理数据传送给充值交易清分模块；所述消费交易预处理模块，完成交通卡的消费交易数据预处理，并将预处理数据传送给消费交易清分模块；所述非法交易预处理模块，完成非法交易数据预处理，并将预处理数据传送给非法交易清分模块。

6.如权利要求4或5所述的一种轨道交通票务数据分级分类处理系统，其特征在于所述票务数据的分级分类处理流程为分批次、多进程的并行处理。

7.一种轨道交通票务数据分级分类处理方法，其步骤如下：

(1)采集交易数据：车站闸机采集和处理原始交易数据，在车站和线路中央各级别完成数据的初步加工、统计后上送联机交易模块；

(2)预处理：联机交易模块对数据进行预处理，完成数据合法性校验，根据交易类型对原始数据进行分类、分离，并分批次、分组；

(3)清分处理：接收预处理过的交易数据，根据数据的不同特性及类型，采取分批次、多进程并行处理方式，进行交易清分处理；

(4)结果整合：接收已完成交易清分的数据，根据不同的管理、监控的需要，生成统计文件和报表；

(5)清理备份：完成数据的备份和清理，释放空闲的系统资源。

8.如权利要求7所述的轨道交通票务数据分级分类处理方法，其特征在于所述交易数据类型包括一票换乘交易、交通卡交易。

9.如权利要求8所述的轨道交通票务数据分级分类处理方法，其特征在于所述一票换乘交易数据类型包括线内交易数据、跨线交易数据、异常交易数据。

10.如权利要求8所述的轨道交通票务数据分级分类处理方法，其特征在于所述交通卡交易数据类型包括冲值交易数据、消费交易数据、非法交易数据。

Images