CN107451910A - 一种城市一卡通数据采集系统 - Google Patents

Abstract

本发明提供一种城市一卡通数据采集系统，所述系统采用微服务架构，所述系统包括：数据通讯服务模块、数据解析服务模块以及数据上送服务模块。本发明提出的城市一卡通数据采集系统，采用微服务架构，根据系统实现的功能，将系统分为与功能对应的服务式模块，使得系统的处理速度和处理效率得到显著提升。

Description

一种城市一卡通数据采集系统

技术领域

本发明涉及计算机软件领域，更具体地，涉及一种城市一卡通数据采集系统。

背景技术

目前，随着数字化智慧城市的大力推广和快速发展，以及电子支付手段的日益成熟，智能一卡通卡已成为人们日常生活中必不可少的一部分。

同一城市的许多行业独立建卡会带来诸多不便，造成资源的浪费，为了解决一人手持多卡的问题，许多城市已开始推行城市一卡通，即使用一张卡可以在多数行业消费使用。随着城市一卡通的广泛使用，交易量不断增加，对城市一卡通数据采集系统的稳定性、安全性、准确性和处理速度都有了更高的要求。目前各个城市所使用的城市一卡通数据采集系统，现有的框架一般采用整体结构式框架，一套数据采集系统中只包括1-2个服务模块，其中每个服务模块用于实现系统的多个功能。

但是现有的一卡通数据采集系统，由于一个服务模块需要同时完成数据采集、数据上报、数据解析等多批量任务，导致系统的处理速度缓慢、处理效率低，接入的用户过多时，甚至会造成系统崩溃。

发明内容

本发明提供一种克服上述问题或者至少部分地解决上述问题的一种城市一卡通数据采集系统。

根据本发明的一个方面，提供一种城市一卡通数据采集系统，所述系统采用微服务架构，所述系统包括：

数据通讯服务模块、数据解析服务模块以及数据上送服务模块；

其中，所述数据通讯模块获取用户发送的交易数据，并将所述交易数据发送至所述数据解析模块；

所述数据解析模块对所述交易数据进行解析，并将解析后的数据发送至外部数据库进行存储；

所述数据上送模块从所述外部数据库中获取所述解析后的数据，并对所述解析后的数据进行组装，并将组装后的数据发送至所述数据通讯模块；

所述数据通讯模块将所述组装后的数据发送至城市一卡通核心系统。

其中，所述系统还包括：

自动对账服务模块和差错调整模块，其中，

所述自动对账模块从所述数据通讯模块中，获取所述数据通讯模块从所述城市一卡通核心系统接收的对账数据，并将所述对账数据发送至所述差错调整模块；

所述差错调整模块检验所述对账数据是否正确，并将检验结果发送至所述自动对账服务模块；

所述自动对账服务模块根据检验结果，对交易数据进行更新，并将更新结果发送至所述外部数据库。

其中，所述系统还包括：

清算服务模块，所述清算服务模块从所述外部数据库中获取所有交易数据，并按照预设的分类方式对所述所有交易数据进行分类；

根据分类结果，对每一类别的交易数据进行清理点算；

将所述清理点算结果上传至所述城市一卡通核心系统。

其中，所述系统还包括：

机具管理服务模块，当用户的机具接入到所述系统中时，检验每个接入系统的机具信息，若接入的机具信息不合法，则断开用户通讯连接。

其中，所述数据通讯服务模块、所述数据解析服务模块、所述数据上送服务模块、所述自动对账服务模块、所述差错调整模块、所述清算服务模块以及机具管理服务模块为所述数据采集系统的最小单元。

其中，所述数据通讯服务模块的通讯接口支持所有类别的用户接入。

其中，所述数据解析服务模块根据所述交易数据中的用户类别、用户名称、交易环境以及交易金额，对所述交易数据进行分解，并将分解后的数据对应上传至所述外部数据库中存储。

其中，当所述用户名称在黑名单时，将所述交易数据返还给所述数据通讯服务模块。

其中，当自动对账服务模块接收到的检验结果，与所述对账数据的区别度超过预设阈值时，取消更新并重新从所述数据通讯模块获取数据。

其中，所述预设的分类方式包括：

根据接入的用户类别或者接入的机具类别进行分类。

本发明提出的城市一卡通数据采集系统，采用微服务架构，根据系统实现的功能，将系统分为与功能对应的服务式模块，使得系统的处理速度和处理效率得到显著提升。

附图说明

图1是本发明实施例提供的一种城市一卡通数据采集系统的结构图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

图1是本发明实施例提供的一种城市一卡通数据采集系统的结构图，如图1所示，所述系统采用微服务架构，所述系统包括：

数据通讯服务模块1数据解析服务模块2以及数据上送服务模块3；

其中，所述数据通讯模块1获取用户发送的交易数据，并将所述交易数据发送至所述数据解析模块2；

所述数据解析模块2对所述交易数据进行解析，并将解析后的数据发送至外部数据库进行存储；

所述数据上送模块3从所述外部数据库中获取所述解析后的数据，并对所述解析后的数据进行组装，并将组装后的数据发送至所述数据通讯模块1；

所述数据通讯模块1将所述组装后的数据发送至城市一卡通核心系统。

可以理解的是，本发明实施例提供的城市一卡通数据采集系统为计算机软件系统，采用的是微服务设计架构，所述微服务架构区别于传统整体式架构，其设计思路是根据系统实现的功能，将整体系统分解为小型服务式模块，并且各个模块之间互相连接，模块只用于实现本身特定的功能，而不涉及到协同处理。

那么通过微服务架构可以分解巨大单体式应用为多个服务方法，在不影响系统功能的前提下解决了复杂性问题。

在功能不变的条件下，应用被分解为多个可管理的分支或服务。每个服务都有一个用RPC-或者消息驱动API定义清楚的边界。微服务架构模式给采用单体式编码方式很难实现的功能提供了模块化的解决方案，进一步的，单个服务也易于开发和维护。

可以理解的是，每个服务模块均具有内部数据库，而传统的结构采用多个服务模块共享一个数据库，那么，微服务架构模式使得每个服务模块均可以独立扩展。你可以根据每个服务的规模来部署满足需求的规模。进一步的，可以使用更适合于服务资源需求的硬件。比如，你可以在EC2Compute Optimized instances上部署CPU敏感的服务，而在EC2memory-optimized instances上部署内存数据库。

综上所述，采用微服务架构能够在实现系统功能不变的前提下，使得服务细化，并且在处理速度和效率上都得到了极大提升，并且若某一个环节出现问题，只需对该环节进行修复，而不影响系统整体的运作。

可以理解的是，所述数据通讯模块1实现的系统功能为与外部通讯，具体的，所述数据通讯模块1通过长链接SOCKET通信服务全天24小时接收用户发送的交易数据，并在内部的数据库中进行规整记录。

所述数据解析模块2实现的功能为分析数据信息，主要是将交易数据分解为具体的信息，例如：用户类型、用户名称、交易环境以及交易金额等多类信息，并根据信息的类型对应的发送给外部的数据库中进行存储，本发明实施例不对外部数据库做限定，常用的数据库，例如：ORACLE、MYSQL均可。

所述数据上送模块3实现的功能为将数据上送至城市一卡通核心系统，所述城市一卡通核心系统为城市一卡通的处理系统，可以理解的是，本发明实施例提供的数据采集系统为所述城市一卡通核心系统的前置系统。所述数据上送模块3通过获取外部数据库的数据，并将该数据重新封装，组合成对应的城市一卡通核心系统对应的数据格式。

具体的流程为：

所述数据通讯模块1通过长链接SOCKET通信服务获取用户发送的交易数据，并将所述交易数据发送至所述数据解析模块2；

所述数据解析模块2将交易数据分解为具体的信，并将解析后的数据发送至外部数据库进行存储；

所述数据上送模块3从所述外部数据库中获取所述解析后的数据，并对所述解析后的数据进行组装，组合成对应的城市一卡通核心系统对应的数据格式，并将组装后的数据发送至所述数据通讯模块1；

所述数据通讯模块1将所述组装后的数据发送至城市一卡通核心系统。

本发明实施例提供的城市一卡通数据采集系统，采用微服务架构，根据系统实现的功能，将系统分为与功能对应的服务式模块，使得系统的处理速度和处理效率得到显著提升。

在上述实施例的基础上，所述系统还包括：

自动对账服务模块和差错调整模块，其中，

所述自动对账模块从所述数据通讯模块中，获取所述数据通讯模块从所述城市一卡通核心系统接收的对账数据，并将所述对账数据发送至所述差错调整模块；

所述差错调整模块检验所述对账数据是否正确，并将检验结果发送至所述自动对账服务模块；

所述自动对账服务模块根据检验结果，对交易数据进行更新，并将更新结果发送至所述外部数据库。

由于城市一卡通数据采集系统实现的功能主要为数据的采集和对数据的初步处理，当城市一卡通核心系统中保存的数据和城市一卡通数据采集系统的数据存在分歧时，需根据城市一卡通核心系统保存的信息对交易数据进行更新。

其中，可以理解的是，所述自动对账服务实现的功能为对交易数据的复查和更新数据，把本系统的业务清算数据跟核心业务清算系统的清算每日进行自动对账。

所述差错调整模块的功能主要用于判断对账数据是否正确，并将检验结果发送至所述自动对账服务模块。

本发明实施例提供的自动对账服务模块和差错调整模块，通过核实城市一卡通数据采集系统采集的信息和城市一卡通核心系统中保存的数据的区别，实时的对系统中的交易数据进行更新，使得系统能够自动纠错，提升了服务质量。

在上述实施例的基础上，所述系统还包括：

清算服务模块，所述清算服务模块从所述外部数据库中获取所有交易数据，并按照预设的分类方式对所述所有交易数据进行分类；

根据分类结果，对每一类别的交易数据进行清理点算；

将所述清理点算结果上传至所述城市一卡通核心系统。

可以理解的是，所述清算服务模块实现的功能为二级清算功能，系统可以通过所述清算服务模块，把本系统所有采集到的业务数据按商户、机具进行汇总清分，再将总的数据上报给城市一卡通核心系统。

本发明实施例提供的清算服务模块，能够对总的数据进行清算点查，为后期整理统计数据提供数据基础。

在上述实施例的基础上，所述系统还包括：

机具管理服务模块，当用户的机具接入到所述系统中时，检验每个接入系统的机具信息，若接入的机具信息不合法，则断开用户通讯连接。

可以理解的是，用户通过机具接入本发明实施例提供的城市一卡通数据采集系统中，所述机具是否合法需要进行判决，以及机具的信息查询和状态判断均需要功能模块进行管理。

其中，所述机具管理服务模块能够实现对接入本系统的POS机具的信息查询维护管理功能，并能通过机具心跳数据判断机具运行状态，通过网络自动更新机具程序和下发相关黑白名单等业务数据。

在上述实施例的基础上，所述数据通讯服务模块、所述数据解析服务模块、所述数据上送服务模块、所述自动对账服务模块、所述差错调整模块、所述清算服务模块以及机具管理服务模块为所述数据采集系统的最小单元。

现有技术中，系统一般采用整体式结构设计，一个系统包括1-2个服务模块，每个服务模块包括若干个功能子模块，每个功能子模块又设有多个处理单元，这样的层级结构在进行开发和维护时会导致排查困难以及处理不便。

针对上述现有技术存在的问题，本发明实施例以所述数据通讯服务模块、所述数据解析服务模块、所述数据上送服务模块、所述自动对账服务模块、所述差错调整模块、所述清算服务模块以及机具管理服务模块为所述数据采集系统的最小单元。每个服务模块松耦合，并在耦合处设立节点，当问题出现时，能够根据节点信息，通过排查与节点相连的模块，确定问题所在，并且在处理过程中，也加快处理效率。

在上述实施例的基础上，所述数据通讯服务模块的通讯接口支持所有类别的用户接入。

可以理解的是，现有技术中不同的商户类型会使用不同的数据采集系统，甚至于同一商户类型的不同用户也会使用不同的数据采集系统，这对于数据采集过程中会造成严重的资源浪费。

针对上述现有技术存在的问题，本发明实施例提供的城市一卡通数据采集系统，通过将数据接入的所有接口进行整合，并统一由数据通讯服务模块接收，用户不必再根据商户类型选用对应的系统进行数据传输，也实现了跨行业之间的数据交互。

本发明实施例提供的数据通讯服务模块，通过将接口整合，使得数据采集系统不必针对于单一行业，实现了跨行业的数据采集功能。

在上述实施例的基础上，所述数据解析服务模块根据所述交易数据中的用户类别、用户名称、交易环境以及交易金额，对所述交易数据进行分解，并将分解后的数据对应上传至所述外部数据库中存储。

可以理解的是，数据通讯服务模块获取的交易数据的信息是一个多元化的杂乱信息，若不对该信息进行解析，城市一卡通核心系统无法通过该杂乱信息进行正确的处理。

那么，数据解析服务模块主要用于提取该杂乱信息中核心系统所需的有效信息，一般的，会将交易数据中的信息分解为用户类别、用户名称、交易环境以及交易金额，所述交易环境包括例如：交易时间、交易地点以及交易目的等等。

可以理解的是，信息分解的种类根据城市一卡通核心系统中对数据的需求进行设置，当所述核心系统需求某一类数据时，数据解析服务模块可对数据重新分解为核心系统所需的样式。

在上述实施例的基础上，当所述用户名称在黑名单时，将所述交易数据返还给所述数据通讯服务模块。

可以理解的是，所有系统均会设置黑名单，用于应对一些信誉不佳或是有污点的用户进行交易时的防护手段。

本发明实施例通过在数据解析服务模块解析过程中解析出的用户名称，在黑名单中搜索解析出的用户名称是否在黑名单中，若用户名称在黑名单中，则将所述交易数据返还给所述数据通讯服务模块。

在上述实施例的基础上，当自动对账服务模块接收到的检验结果，与所述对账数据的区别度超过预设阈值时，取消更新并重新从所述数据通讯模块获取数据。

可以理解的是，对账过程中若数据采集系统采集的数据和核心系统提供的数据差别较大，极有可能是数据流在传输过程中出现了问题，若不阻止此问题，可能会造成数据混乱。

为了解决该问题，本发明实施例设置了判断阈值，当自动对账服务模块接收到的检验结果，与所述对账数据的差别超过预设阈值时，取消更新并重新从所述数据通讯模块获取数据。

本发明实施例提供的自动对账服务模块具有判断阈值，能够根据和阈值的比较结果确定对账数据是否有效。

在上述实施例的基础上，所述预设的分类方式包括：

根据接入的用户类别或者接入的机具类别进行分类。

可以理解的是，预设的分类方式为清算服务模块需要进行的清算形式进行设置，若清算是按照用户类别进行清算，则将分类方式设为按照用户类别进行设置，同样的若清算按照机具类别进行清算，则按照接入的机具类别进行分类。

需要说明的是，本发明实施例提供的接入的用户类别或者接入的机具类别进行分类，仅为优选的两个分类方法，本发明实施例对此不做具体限定。

本发明实施例提供的城市一卡通数据采集系统，利用微服务架构，科学有效的分担系统处理压力，并能根据业务的发展，快速方便的实现系统处理能力的扩展。

系统有完善的安全管理、日志管理、事务管理、负载均衡等基础管理功能。

系统支持各种LINUX、UNIX操作系统，支持ORACLE、MYSQL等数据库，系统内部根据业务，将逻辑功能划分成若干个服务来实现，这样就降低了整个系统在业务处理方面的复杂度。而各个服务都能够以一个或者多个的形式来进行部署，提高了系统的稳定性、可用性和扩展性。每个服务的任务明确，责任清晰，任何一个服务出现问题或者需要改动时，只需更换相应的服务，故障处理更高效。

最后，本申请的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种城市一卡通数据采集系统，其特征在于，所述系统采用微服务架构，所述系统包括：

数据通讯服务模块、数据解析服务模块以及数据上送服务模块；

其中，所述数据通讯模块获取用户发送的交易数据，并将所述交易数据发送至所述数据解析模块；

所述数据解析模块对所述交易数据进行解析，并将解析后的数据发送至外部数据库进行存储；

所述数据上送模块从所述外部数据库中获取所述解析后的数据，并对所述解析后的数据进行组装，并将组装后的数据发送至所述数据通讯模块；

所述数据通讯模块将所述组装后的数据发送至城市一卡通核心系统。

2.根据权利要求1所述的系统，其特征在于，所述系统还包括：

自动对账服务模块和差错调整模块，其中，

所述自动对账模块从所述数据通讯模块中，获取所述数据通讯模块从所述城市一卡通核心系统接收的对账数据，并将所述对账数据发送至所述差错调整模块；

所述差错调整模块检验所述对账数据是否正确，并将检验结果发送至所述自动对账服务模块；

所述自动对账服务模块根据检验结果，对交易数据进行更新，并将更新结果发送至所述外部数据库。

3.根据权利要求1所述的系统，其特征在于，所述系统还包括：清算服务模块；所述清算服务模块从所述外部数据库中获取所有交易数据，并按照预设的分类方式对所述所有交易数据进行分类；根据分类结果，对每一类别的交易数据进行清理点算；将所述清理点算结果上传至所述城市一卡通核心系统。

4.根据权利要求1所述的系统，其特征在于，所述系统还包括：

机具管理服务模块，当用户的机具接入到所述系统中时，检验每个接入系统的机具信息，若接入的机具信息不合法，则断开用户通讯连接。

5.根据权利要求1-4任一所述的系统，其特征在于，所述数据通讯服务模块、所述数据解析服务模块、所述数据上送服务模块、所述自动对账服务模块、所述差错调整模块、所述清算服务模块以及机具管理服务模块为所述数据采集系统的最小单元。

6.根据权利要求1所述的系统，其特征在于，所述数据通讯服务模块的通讯接口支持所有类别的用户接入。

7.根据权利要求1所述的系统，其特征在于，所述数据解析服务模块根据所述交易数据中的用户类别、用户名称、交易环境以及交易金额，对所述交易数据进行分解，并将分解后的数据对应上传至所述外部数据库中存储。

8.根据权利要求7所述的系统，其特征在于，当所述用户名称在黑名单时，将所述交易数据返还给所述数据通讯服务模块。

9.根据权利要求2所述的系统，其特征在于，当自动对账服务模块接收到的检验结果，与所述对账数据的区别度超过预设阈值时，取消更新并重新从所述数据通讯模块获取数据。

10.根据权利要求3所述的系统，其特征在于，所述预设的分类方式包括：

根据接入的用户类别或者接入的机具类别进行分类。