CN103823761B

CN103823761B - 一种提升终端黑名单容量和检索速度的方法

Info

Publication number: CN103823761B
Application number: CN201410082617.2A
Authority: CN
Inventors: 林虎
Original assignee: Individual
Current assignee: Individual
Priority date: 2014-03-09
Filing date: 2014-03-09
Publication date: 2017-01-25
Anticipated expiration: 2034-03-09
Also published as: CN103823761A

Abstract

本发明公开了一种提升终端黑名单容量和检索速度的方法，具体为：(1)设计黑名单的存储方案，对一卡通公司中黑名单的唯一识别码UID进行分段分格式存储，对于比较集中的黑名单按照位图格式存储，对于比较离散的黑名单按照离散表格式存储；(2).根据存储方案生成黑名单数据，并下载到脱机终端；(3).当脱机终端受理一张卡片的交易时，首先检索该卡的UID所属段是否有黑名单，如没有则不是黑名单，检索结束，如该段有黑名单，则在该段的黑名单中继续检索；如该段黑名单是按位图格式存储的，则根据该UID在该段的相对位置，查找相对应的比特位，根据比特位的1或0值判断是否黑名单，如按离散表格式存储，则查找相对应的偏移量。

Description

一种提升终端黑名单容量和检索速度的方法

技术领域

本发明涉及一种提升终端黑名单容量和检索速度的方法，包括终端黑名单容量的提升、加快检索黑名单的速度以及降低存储黑名单的空间。

背景技术

一卡通系统通常包括发卡、充值、清算、客服和受理终端等功能，受理的卡片通常有IC卡、ID卡等；每个卡片都有唯一的识别码UID，UID是卡片的物理号或一卡通系统分配的逻辑号。受理终端包括POS终端、车载设备、自助售卖机等；受理业务包括交易和认证等；受理终端有联机和脱机两种工作方式，其中联机工作方式是指终端在受理业务时，需要连接一卡通后台系统来进行验证、授权等交互操作，而脱机工作方式不需要连接一卡通后台系统，只由卡片和受理终端即可完成交易，之后由专有设备对交易数据进行提取，送至清算系统进行清算和结算。

在一卡通系统中，当系统要求限制某些卡片在脱机终端受理业务时，通常是将这些卡片的识别码以黑名单方式下载到终端，当卡片在终端受理业务时，终端判断该卡片是否属于黑名单列表，如在黑名单列表，则禁止该卡受理业务。但在大中型一卡通系统中，随着运营需要，可能会产生很多黑名单，大量的黑名单可能大大超过终端的受理极限，主要体现在存储容量不足、下载时间长、检索黑名单时间加长、管理黑名单成本大等。如果对终端进行硬件升级，因涉及大量终端的改造或更换，成本非常巨大。

另外，在检索算法上，最常用也是效率最高的算法是二分法，但二分法要求存储数据按照顺序(升序或降序)来排序，如果中间插入一个数据，则需要重新排序，所以要求所有数据必须重新下载到终端，导致下载时间增长、效率降低。

为解决以上问题，提供一种解决方法，在终端硬件不变的情况下，通过软件升级，可以大大提升终端黑名单容量、加快黑名单检索速度、减少黑名单下载时间。

发明内容

本发明所要解决的问题是，提供一种提升终端黑名单容量和检索速度以及减少黑名单管理成本的解决方法，是一种成本比较低的解决终端黑名单不足的方法。

为实现本发明的目的，本发明的技术方案是：

一种提升终端黑名单容量和检索速度方法，用于提高终端存储黑名单的容量、加快黑名单检索速度、减少黑名单下载时间，该方法包括如下步骤：

(1).设计黑名单的存储方案

(1.1).取一卡通系统中，卡片UID的长度为UL，由3至8个字节组成，设UID的最小值Umin和最大值Umax，所有卡片的UID均在Umin和Umax之间；在Umin和Umax之间划分为若干个段S；Si是S中的某个段，Si包含UID数量为Mi个，该段的黑名单个数为0至Mi个，其中Mi是个正整数；

(1.2).在大型一卡通系统中，UID数量非常多，假设所有段S中，有X个段是有黑名单的，记为S_X，将S_X的段信息按顺序保存在存储器件上，段的信息包括：该段UID的起始值、该段黑名单的存储位置，这些段信息称为黑名单的第一级数据域；

(1.3).S_X中的某个段S_i，如果该段存在的黑名单数量大于N个，其中N为正整数，则该段中的黑名单在存储器件中的存储格式为按位图格式存储，即在存储器件中，将每个字节的8个比特位分别代表8个UID是否是黑名单，这种存储格式适用于，在一卡通系统中黑名单分布比较集中的情况；

(1.4).S_X中的某个段S_i，如果该段存在的黑名单数量大于0且不大于N个，则按照离散表格式存储，即按照UID号顺序存储，这种存储格式适用于，在一卡通系统中黑名单分布比较离散的情况；

(1.5).段S_i的黑名单数据称为第二级数据域，第一级数据域的段信息和第二级数据域的信息，可唯一确定一个UID号；

(2).黑名单的生成和下载

(2.1).根据黑名单的存储方案，生成全量和增量黑名单数据，全量黑名单是指将所有黑名单的UID都生成黑名单数据，包括第一级数据域和第二级数据域的所有数据，增量黑名单是指根据上次版本黑名单的数据，只生成较上次有变化的部分，如果第一级数据域有变化，则生成第一级数据域；如果第二级某些段的数据域有新增或删除，则生成这些段的黑名单数据；

(2.2)终端根据已保存的黑名单情况，选择下载全量或增量黑名单，如果终端从未下载黑名单，则下载全量黑名单；如果终端已有黑名单，则只下载增量的黑名单；

(3).黑名单的检索算法

(3.1).当脱机终端受理一张卡片的交易时，首先读取该卡的UID；

(3.2).在第一级数据域中查找，如果第一级数据域中找不到所属的段，则该UID不是黑名单，检索结束；如果找到，说明该UID所属的段有黑名单，如果该段的UID都是黑名单，检索结束，返回结果，否则根据该段黑名单的存储位置继续在第二级数据域中查找；

(3.3).如果第二级数据域是位图格式存储，则在位图中查找对应的比特位，根据比特位的值判断是否黑名单；

(3.4).如果第二级数据域是离散表格式存储，则在离散表中查找，根据该UID在该段中的偏移量来查找，如果找不到，则不是黑名单；如果找到，则是黑名单。

作为本发明的进一步改进，所述步骤(1.1)中，所述的M_i为65536，即该段的长度为65536。

作为本发明的进一步改进，所述步骤(1.2)中，所述的存储器件是FLASH、E²PROM、铁电。

作为本发明的进一步改进，所述步骤(1.2)中，所述的顺序为升序或降序。

作为本发明的进一步改进，所述步骤(1.2)中，所述的该段UID的起始值用UID的前若干个字节表示，比如假设UID为4个字节，如该段UID的起始值为0xAABB，则表示该段的UID范围为0xAABB0000到0xAABBFFFF。

作为本发明的进一步改进，所述步骤(1.2)中，所述的段的信息，还可以包括段的存储格式(离散表格式或位图格式)、段的黑名单长度(比如段的黑名单长度为3，表示该段第二级数据域的黑名单只保存每个UID的后3个字节)、段的长度、段的结束值、段的黑名单个数，可根据具体需要裁剪。

作为本发明的进一步改进，所述步骤(1.2)中，所述的存储位置为存储器件的地址(包括物理地址或逻辑地址)或文件名等。

作为本发明的进一步改进，所述步骤(1.2)，如果该段的UID全部是黑名单，为节约存储空间，该段可以不存储第二级数据域，只在第一级数据域中标识出来即可。

作为本发明的进一步改进，所述步骤(1.3)中，所述的N为8的倍数，并且N的取值小于或等于M_i/16，具体取值数值，需要根据该段中现有黑名单数量、预估未来的数量以及存储器件的特性来决定。在整个一卡通系统中，N值可根据实际情况调整。

作为本发明的进一步改进，所述步骤(1.3)中，所述的位图格式存储中，定义比特位为1或0分别表示是否黑名单，或者定义比特位为0或1分别表示是否黑名单。

可选的，比如M_i为65536时，只要8KB字节的存储空间即可存储65536个黑名单。

作为本发明的进一步改进，所述步骤(1.3)中，所述的离散表格式存储是指，为节约存储空间，在第二级数据域中不保存第一级数据域中该段UID的起始值，只保存从该起始值开始的偏移量值。比如UID为0x19D59878的卡片是黑名单，则在第一级数据域中段的起始值为0x19D5，在第二级数据域中，只保存0x9878即可，0x9878就是从该起始值开始的偏移量的值。

作为本发明的进一步改进，在中小型一卡通系统中，如UID数量不大，可不对数据域进行分级存储。

作为本发明的进一步改进，所述步骤(2.1)中，所述的增量黑名单包括新增的黑名单和在一卡通系统中剔除的黑名单。

作为本发明的进一步改进，所述步骤(3.1)中，所述的在第一级数据域中查找，可将第一级数据域的数据装载在内存(RAM)中，以加快检索速度。

本发明的优点有：

(1)减少黑名单的存储空间，比如，如果一个黑名单长度是8字节，则50000个黑名单需要的存储空间是4000000个字节，但如果这些黑名单的分布都集中在某个段S_i中(该段M_i为65536)，用位图格式存储至需要8192个字节，大大减少存储空间；

(2)减少检索时间，将黑名单数据分级来管理，可大大降低检索时间，因为很多情况下，在第一次检索第一级数据域时就已经知道不是黑名单，而如果用传统的二分法检索全部黑名单，则需要多次比较。另外，即使需要在第二级数据域中检索，对于离散表格式存储的数据，因数据比较少，二分法查找仍然非常快；如果是位图格式存储，只要计算出偏移量即可快速定位，查找速度更快；

(3)减少下载黑名单的数据量，加快下载速度，首先，因为黑名单占用的空间少了，所以需要下载的黑名单数据量也随着减少；其次，采用两级数据存储格式后，增量下载方式可以大大减少下载数据量和时间，并且对检索速度没有任何影响。

附图说明

图1是实施本发明的主要流程。

图2是黑名单的存储设计方案。

图3是黑名单的检索方法。

具体实施方式

下面结合附图和具体实施例子对本发明作进一步的详细说明。

本实施例子以大中型一卡通系统为例，UID长度为4字节，段的大小为65536(即M_i为65536)，数据存储在FLASH中，比特位为1表示是黑名单，为0表示不是黑名单，讲述黑名单的设计和实施方案，包括制定黑名单的存储方案、生成和下载黑名单数据以及检索黑名单三个步骤，详见附图1，具体如下：

1.制定黑名单的存储方案

根据一卡通系统中现有或预估未来黑名单数量和分布情况以及终端存储器件的特性来决定N值。对于分布比较离散的黑名单，可采用离散表格式存储，对于比较集中的情况，可采用位图格式存储。另外还可以结合终端存储容量和下载通信速度来决定N值，如果终端存储容量较大，N值可以设小一点，即尽量用位图存储黑名单。本实例列出了一种黑名单存储方案，以及第一级数据域和第二级数据域的部分数据(所有数据均为十六进制)，详见附图2。

(1)第一级数据域中每个段的长度为6个字节，段的信息包括段UID的起始值(2个字节)、该段黑名单的存储位置(2个字节)、段的黑名单长度(1个字节)、段的存储格式(1个字节，0x00表示以离散表格式存储，0x01表示以位图格式存储)。其中，存储位置为逻辑地址：

(1.1)017B088C0300表示017B0000-017BFFFF段中的黑名单以离散表方式存储在088C地址，段的黑名单长度为2字节；

(1.2)020E088F0200表示020E0000-020EFFFF段中的黑名单以离散表方式存储在088F地址，段的黑名单长度为2字节；

(1.3)027A1001FF01表示027A0000-027AFFFF段中的黑名单以位图方式存储在1001地址；

(1.4)918A0000FFFF表示918A0000-918AFFFF段中的UID全是黑名单。

(2)第二级数据域数据如下：

(2.1)在段017B中，段的黑名单长度为2个字节，UID为017B0021、017B05AF、017B060F、017B14F8、017B1A59和017B1C6E等是黑名单；

(2.2)在段020E中，段的黑名单长度为2个字节，UID为020E0017、020E276C和020E2CAB等是黑名单；

(2.3)在段027A中，根据首字节8F(二进制为10001111)可知，UID为027A0000以及027A0004-027A0007是黑名单；

(2.4)在段918A中，段的黑名单长度和段的存储格式均为FF，表示该段全是黑名单。

2.生成和下载黑名单数据

(1)根据上述黑名单的存储方案和终端黑名单版本，可在工作站上生成全量和增量黑名单数据；

(2)对于没有黑名单的终端，下载全量黑名单；对于已有黑名单的终端下载增量黑名单。下载完成后，记录终端的下载版本，以便下次生成新的增量版本。

3.检索黑名单

如果终端的内存(RAM)容量足够，可将第一级数据域的数据全部装入内存，以加快查找速度，如果内存不足，可直接访问存储器件的地址。终端读取受理卡片的唯一识别码UID后，即可开始检索黑名单；

(1)根据UID所属的段，在第一级数据域中查找，如果没找到该段，则该UID不是黑名单；如果找到该段的信息，而且所属的段全部是黑名单，检索结束；否则继续在该段所指的第二级数据域地址中查找；

(2)如果第二级数据域是位图格式存储，则根据UID在该段中的相对位置，找到对应的比特位，如果对应的比特位为1，则是黑名单，为0则不是黑名单；

(3)如果第二级数据域是离散表格式存储，则根据UID在该段中的偏移量查找该偏移量值，如果找到对应的偏移量值，则该UID是黑名单，否则不是黑名单。

Claims

1.一种提升终端黑名单容量和检索速度的方法，用于提升终端中黑名单的容量、加快检索黑名单的速度以及降低存储黑名单的占用空间，该方法主要包括以下几个步骤：

(1).设计黑名单的存储方案

(2).黑名单的生成和下载

(2.1).根据黑名单的存储方案，生成全量和增量黑名单数据，全量黑名单是指将所有黑名单的UID都生成黑名单数据，包括第一级数据域和第二级数据域的所有数据，增量黑名单是指根据上次版本黑名单的数据，只生成较上次有变化的部分，如果第一级数据域有变化，则生成第一级数据域；如果第二级数据域有新增或删除，则生成这些段的黑名单数据；

(3).黑名单的检索算法

2.根据权利要求1中所述的一种提升终端黑名单容量和检索速度的方法，其特征在于：所述步骤(1.1)中，所述的M_i为65536，即该段的长度为65536。

3.根据权利要求1或2中所述的一种提升终端黑名单容量和检索速度的方法，其特征在于：所述步骤(1.2)中，所述的存储器件是FLASH、E²PROM、铁电。

4.根据权利要求1-2任一项所述的一种提升终端黑名单容量和检索速度的方法，其特征在于：所述步骤(1.2)中，所述的该段UID的起始值用UID的前若干个字节表示。

5.根据权利要求1-2中任一项所述的一种提升终端黑名单容量和检索速度的方法，其特征在于：所述步骤(1.2)中，所述的段的信息，还可以包括段的存储格式、段的黑名单长度、段的长度、段的结束值、段的黑名单个数，可根据具体需要裁剪。

6.根据权利要求1-2中任一项所述的一种提升终端黑名单容量和检索速度的方法，其特征在于：所述步骤(1.3)中，所述的N为8的倍数，并且N的取值小于或等于M_i/16。

7.根据权利要求1-2中任一项所述的一种提升终端黑名单容量和检索速度的方法，其特征在于：所述步骤(1.3)中，所述的位图格式存储中，定义比特位为1或0分别表示是否黑名单，或者定义比特位为0或1分别表示是否黑名单。

8.根据权利要求1-2中任一项所述的一种提升终端黑名单容量和检索速度的方法，其特征在于：所述步骤(1.3)中，所述的离散表格式存储是指，为节约存储空间，在第二级数据域中不保存第一级数据域中该段UID的起始值，只保存从该起始值开始的偏移量值。

9.根据权利要求1-2中任一项所述的一种提升终端黑名单容量和检索速度的方法，其特征在于：在中小型一卡通系统中，如UID数量不大，可不对数据域进行分级存储。

10.根据权利要求1-2中任一项所述的一种提升终端黑名单容量和检索速度的方法，其特征在于：所述步骤(3.1)中，所述的在第一级数据域中查找，可将第一级数据域的数据装载在内存中，以加快检索速度。