CN109816798A - 一种基于离散模型的名单管理的数据处理系统 - Google Patents

Abstract

本发明公开了一种基于离散模型的名单管理的数据处理系统，以离散模型为核心，制作符合车道系统使用的索引文件与数据文件，从而实现车道系统使用最小化资源下载和使用名单系统。本发明充分利用站级服务器资源优势，减少了收费系统在下发名单时造成的系统卡顿，索引检索速度快。

Description

一种基于离散模型的名单管理的数据处理系统

技术领域

本发明涉及数据处理方法领域，具体是一种基于离散模型的名单管理的数据处理系统。

背景技术

随着国家不断的发展，人民生活水平的提高，社会科技水平不断的进步，机动车保有量持续快速增长。随着预付卡全国联网，优惠政策及越来越方便的充值渠道的支持，现在办理预付卡的用户越来越多。然而预付卡发行量的增加，带来的因挂失、透支等情况产生的名单随着时间的增长而不断增长和变化。目前全国的预付卡名单的总量在一千万条以上的级别，随着时间的推移，数量会不断增长。

目前现有的名单技术采用的是数据库的方式。这种方式有如下问题需要完善：

1.由于工控机的资源有限，而名单数据是不断的增长的，占用cpu、内存、磁盘等资源在不断的上涨，目前已经到达一个满负荷的状态。

2.下载名单时，需要先下载名单包，然后再通过批量插入或修改数据库，造成一份名单数据要写两次磁盘。同时还要消耗大量的cpu与内存，导致在大量下发名单时，收费系统感觉明显的卡顿现象。

3.数据库系统自己内部管理内存与索引，对收费系统来说不可控、不透明，还会挤占收费系统的资源，造成大家对系统资源的争夺。

解决名单系统存在的上述问题可采用站级服务调阅的方式，但基于站级服务调阅的方式对于站级服务器的资源，及站级网络情况要求非常高，适合于系统资源较好的站，而且需要长期的维护来提高名单调阅的可靠性，不太适合大范围推广使用。

发明内容 本发明的目的是提供一种基于离散模型的名单管理的数据处理系统，以解决现有技术名单系统存在的问题。

为了达到上述目的，本发明所采用的技术方案为：

一种基于离散模型的名单管理的数据处理系统，其特征在于：包括设于站服务器的站级名单生成服务程序，以及设于车道工控机的收费系统名单下载服务程序、收费系统名单调阅服务程序，其中：

所述站级名单生成服务程序接受中心名单数据包，对数据包逐条解析，按离散模型的规则，选择预存卡卡号中至少两位数字作为离散因子，并基于离散因子将名单数据进行打散分离，打散分离后站级名单生成服务程序生成离散文件分索引文件及数据文件，并将打散分离后的名单数据写入离散文件分索引文件及数据文件，中心名单数据包全部解析完毕后，将所有分索引文件及数据文件都扫描一遍，记录入主索引文件内，并记录每个分索引文件及数据文件的校验值，所有文件及校验值验算完后，离散文件主索引文件再进行校验文件验算，保存成离散文件主索引文件的校验文件，确保主索引文件的完整性及数据的正确性；

所述收费系统名单下载服务程序，将站级名单生成服务程序生成的主索引文件、主索引校验文件、分索引文件、数据文件整体下载，先下载主索引文件、主索引校验文件，验证主索引文件的正确性后，根据主索引文件来下载各个分索引文件及数据文件并对下载下来的分索引文件、数据文件的正确性进行验证；

所述收费系统名单调阅服务，其根据下载好的分索引文件、数据文件，调阅离散的分索引文件，根据获取到数据位置调阅数据文件获取名单数据。

所述的一种基于离散模型的名单管理的数据处理系统，其特征在于：所述的收费系统名单下载服务程序通过检索离散文件的主索引及主索引校验文件，确保主索引文件的完整，通过主索引里面文件列表，下载整个离散文件分索引及数据文件，再校验文件确保分索引及数据文件的完整。

所述的一种基于离散模型的名单管理的数据处理系统，其特征在于：所述的收费系统名单调阅服务，根据需要查询的卡号与离散因子，定义的分索引文件的索引，根据检索索引的分索引文件，确定查询的卡号是否在名单系统中，如果在名单系统中的话，再通过查询数据文件将其他详细数据给查出。

所述的一种基于离散模型的名单管理的数据处理系统，其特征在于：所述离散因子优选预存卡卡号最后三位数字。

目前，全国名单的数据有千万级以上，由于每个省分开存储，所以最多的省才100万以内的数据。本发明将预存卡卡号后三位作为分散因子，进行数据打散分离。这样每个离散文件的文件内名单不超过1000个。离散因子是可根据数据的量级的大小进行调整的，离散因子位数越长生成的离散文件越多，每个离散文件里面的名单越少，所以离散因子位数的选择很关键，对名单系统的检索速度有着很大的影响。

本发明克服了现有名单系统的缺陷，以离散模型为核心，综合应用站服务器性能优势，制作符合车道系统使用的索引文件与数据文件，从而实现车道系统使用最小化资源下载和使用名单系统。

与现有技术相比，本发明优点为：

1.充分利用站级服务器资源优势，将名单的离散存储及打包等对机器要求较高的操作放在站级服务器执行。

2.减少收费系统在下发名单时造成的系统卡顿，控制下载速度减少下载过快造成磁盘压力，名单文件下载后即可使用，不需二次入库和加工，减少收费系统下载名单时对正在使用的车道产生资源压力。

3.每个名单索引文件内容不超过1000个，总大小不超过1000*8个字节，索引检索速度快。

4.对于车道系统来说，名单下载到车道，对网络异常等情况下，不影响收费系统的正常使用。

附图说明

图1是本发明系统原理图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

如图1所示，一种基于离散模型的名单管理的数据处理系统，包括设于站服务器的站级名单生成服务程序，以及设于车道工控机的收费系统名单下载服务程序、收费系统名单调阅服务程序，其中：

所述站级名单生成服务程序接受中心名单数据包，对数据包逐条解析，按离散模型的规则，选择预存卡卡号中至少两位数字作为离散因子，并基于离散因子将名单数据进行打散分离，打散分离后站级名单生成服务程序生成离散文件分索引文件及数据文件，并将打散分离后的名单数据写入离散文件分索引文件及数据文件，中心名单数据包全部解析完毕后，将所有分索引文件及数据文件都扫描一遍，记录入主索引文件内，并记录每个分索引文件及数据文件的校验值，所有文件及校验值验算完后，离散文件主索引文件再进行校验文件验算，保存成离散文件主索引文件的校验文件，确保主索引文件的完整性及数据的正确性；

所述收费系统名单下载服务程序，将站级名单生成服务程序生成的主索引文件、主索引校验文件、分索引文件、数据文件等整体下载，先下载主索引文件、主索引校验文件，验证主索引文件的正确性后，根据主索引文件来下载各个分索引文件及数据文件并对下载下来的分索引文件、数据文件的正确性进行验证。

所述收费系统名单调阅服务，其根据下载好的分索引文件、数据文件，调阅离散的分索引文件，根据获取到数据位置调阅数据文件获取名单数据。

收费系统名单下载服务程序通过检索离散文件的主索引及主索引校验文件，确保主索引文件的完整，通过主索引里面文件列表，下载整个离散文件分索引及数据文件，再校验文件确保分索引及数据文件的完整。

收费系统名单调阅服务，根据需要查询的卡号与离散因子，定义的分索引文件的索引，根据检索索引的分索引文件，确定查询的卡号是否在名单系统中，如果在名单系统中的话，再通过查询数据文件将其他详细数据给查出。

离散因子优选预存卡卡号最后三位数字。

Claims (4)

1.一种基于离散模型的名单管理的数据处理系统，其特征在于：包括设于站服务器的站级名单生成服务程序，以及设于车道工控机的收费系统名单下载服务程序、收费系统名单调阅服务程序，其中：

所述站级名单生成服务程序接受中心名单数据包，对数据包逐条解析，按离散模型的规则，选择预存卡卡号中至少两位数字作为离散因子，并基于离散因子将名单数据进行打散分离，打散分离后站级名单生成服务程序生成离散文件分索引文件及数据文件，并将打散分离后的名单数据写入离散文件分索引文件及数据文件，中心名单数据包全部解析完毕后，将所有分索引文件及数据文件都扫描一遍，记录入主索引文件内，并记录每个分索引文件及数据文件的校验值，所有文件及校验值验算完后，离散文件主索引文件再进行校验文件验算，保存成离散文件主索引文件的校验文件，确保主索引文件的完整性及数据的正确性；

所述收费系统名单下载服务程序，将站级名单生成服务程序生成的主索引文件、主索引校验文件、分索引文件、数据文件整体下载，先下载主索引文件、主索引校验文件，验证主索引文件的正确性后，根据主索引文件来下载各个分索引文件及数据文件并对下载下来的分索引文件、数据文件的正确性进行验证；

所述收费系统名单调阅服务，其根据下载好的分索引文件、数据文件，调阅离散的分索引文件，根据获取到数据位置调阅数据文件获取名单数据。

2.根据权利要求1所述的一种基于离散模型的名单管理的数据处理系统，其特征在于：所述的收费系统名单下载服务程序通过检索离散文件的主索引及主索引校验文件，确保主索引文件的完整，通过主索引里面文件列表，下载整个离散文件分索引及数据文件，再校验文件确保分索引及数据文件的完整。

3.根据权利要求1所述的一种基于离散模型的名单管理的数据处理系统，其特征在于：所述的收费系统名单调阅服务，根据需要查询的卡号与离散因子，定义的分索引文件的索引，根据检索索引的分索引文件，确定查询的卡号是否在名单系统中，如果在名单系统中的话，再通过查询数据文件将其他详细数据给查出。

4.根据权利要求1所述的一种基于离散模型的名单管理的数据处理系统，其特征在于：所述离散因子优选预存卡卡号最后三位数字。