CN109246102B - 一种支撑大规模认证数据快速存储及检索的系统及方法 - Google Patents

Abstract

本发明公开了一种支撑大规模认证数据快速存储及检索的系统及方法，系统包括认证数据存储及检索系统、认证系统；认证数据存储及检索系统通过轻型数据访问协议与认证系统之间建立网络连接；所述认证数据存储及检索系统的前端并行地接收及处理认证系统的认证数据访问请求；认证数据存储及检索系统的后端采用哈希与内分区技术相结合的键值对认证数据落地存储；在认证数据存储及检索系统的前端和后端之间，提供与存储的认证数据相适应的热数据键值对认证数据内存缓存机制。本发明融合多种技术优势，提供使用单一系统来解决面向大规模的认证数据快速存储及检索的方案。

Description

一种支撑大规模认证数据快速存储及检索的系统及方法

技术领域

本发明涉及数据处理技术领域，具体涉及一种支撑大规模认证数据快速存储及检索的系统及方法。

背景技术

随着互联网技术的迅猛发展，现实社会向网络空间深度延伸，网络社会已成为现实社会的重要组成部分。互联网给人们生活带来翻天覆地变化的同时也显著改变了人们的行为方式，收发邮件、社交、购物、银行交易等以前只在现实社会中发生的行为和业务，迅速在网络空间出现并得到高速发展。在诸多领域，传统的身份管理方法在网络空间已不再适用，新的身份认证管理采用包括网络映射证件签名数字证书、网络映射证件、网络映射证件撤销列表等等证书数据为基础的实名或身份相关的认证系统。

同时，随着信息技术的迅速发展，网络规模随着用户数呈指数级增长，也越来越庞大。其中在中国普通民众的证书数据的存储及检索应用，需要面向中国十几亿人口规模，快速响应认证方的访问(存储\检索)请求，这都需要适合场景的认证数据库系统来支撑融合轻量目录访问协议、哈希存储、内部分区、热数据缓存等多种技术的组合优势，根据证书认证系统的数据和访问特征进行数据容量和访问效率的提升优化。可以适应并满足支撑中国十几亿人口规模数量的认证系统数据的快速存储和检索要求。

基于SQL的关系型数据库因为事务隔离、SQL语言解析、锁机制等体积庞大而复杂，在数据快速检索时速度不占优势。而目录服务系统是用于网络数据资源的分布式存储和快速查询的专用数据库系统，是专门为那些检索频率大大高于数据更新频率的信息服务而设计的。比如网络资源管理系统、单点登录系统等，是通常认证系统首选的认证数据存储和检索的数据库系统。目录服务系统一般都遵循LDAP轻型目录访问协议，从而能够保持应用的标准性和独立性。该协议中规定了目录的数据单元-条目，并且规定了操作条目数据的九个基本操作，包括绑定、添加、修改、删除、搜索、比较、解绑定等操作。

然而，目录服务系统存在应用的特定性和局限性，比如：它要求数据具有树形组织结构，自然地应用于图书馆图书索引系统、组织人员管理系统等具有树形数据组织关系的系统；它强调检索时候的快速性，建立如果的相等、子串、存在等索引，却牺牲了存储的效率，随着数据越多其存储速度越来越低下；其系统内部的数据存储形式一般使用B+树结构，这使得在小数据量下会获得优越的检索性能，但是当数据量到达数亿级时，B+树结构的层次会分成太多层，检索性能大幅度下降，尤其是为了维持B+树结构的平衡性，新数据的增加还可能引起整颗B+树结构的重新平衡，存储性能也是大幅度下降。

发明内容

针对现有技术的不足，本发明旨在提供一种支撑大规模认证数据快速存储及检索的系统及方法，融合多种技术优势，提供使用单一系统来解决面向大规模的认证数据快速存储及检索的方案。

为了实现上述目的，本发明采用如下技术方案：

一种支撑大规模认证数据快速存储及检索的系统，包括认证数据存储及检索系统、认证系统；所述认证数据存储及检索系统用于认证数据的存储和检索，所述认证系统用于根据认证数据对身份进行认证；

认证数据存储及检索系统通过轻型数据访问协议与认证系统之间建立网络连接；所述轻型数据访问协议要求认证数据依据认证数据的特性保持键值对形式，提取认证数据的证书序列号作为主键值、证书内容作为检索目标，建立检索条件与主键值的索引映射关系，认证数据的证书使用范围作为认证数据存储的库名标识；

所述认证数据存储及检索系统的前端并行地接收及处理认证系统的认证数据访问请求；认证系统提供的库名所有认证数据快速存储及检索的BASE，忽略认证系统提供的SCOPE，即认证系统无需提供检索范围，由认证数据存储及检索系统依据认证数据的特性来优化存储和定位检索目标；

认证数据存储及检索系统的后端采用哈希与内分区技术相结合的键值对认证数据落地存储：后端将认证数据按照键值对形式进行哈希结构存储，并依据指定分区个数，将键值数字分配到设定的分区文件中；

在认证数据存储及检索系统的前端和后端之间，提供与存储的认证数据相适应的热数据键值对认证数据内存缓存机制；所述热数据键值对认证数据内存缓存机制为：在内存中申请内存容量允许范围的空间，依据设定的分区个数分区若干个哈希结构进行管理，将从磁盘存储中设定的分区文件的认证数据的访问都对应在设定的哈希结构中进行缓存；对磁盘存储中设定的分区文件的认证数据进行检索之前，首先在设定的哈希结构中进行检索，检索到即返回，检索不到再从磁盘存储中设定的分区文件的认证数据进行检索，检索到后在设定的哈希结构中进行缓存后返回，如果将认证数据从磁盘存储中设定的分区文件进行成功删除后，需要对应在设定的内存哈希结构中进行删除。

利用上述支撑大规模认证数据快速存储及检索的系统进行认证数据存储的方法，包括如下步骤：

步骤101、认证系统通过轻型数据访问协议与认证数据存储及检索系统建立网络连接并发送存储请求；

步骤102、认证数据存储及检索系统的前端接收并处理认证系统的认证数据存储请求，忽略SCOPE参数；

步骤103、认证数据存储及检索系统的后端依据未来检索条件进行哈希和内分区定位存储文件进行存储；

步骤104、成功存储后需要更新前端和后端之间内存的热数据键值对认证数据缓存；

步骤105、认证数据存储及检索系统通过轻型数据访问协议与认证系统发送存储结果；

步骤106、认证系统通过轻型数据访问协议与认证数据存储及检索系统断开网络连接。

利用上述支撑大规模认证数据快速存储及检索的系统进行认证数据检索的方法，包括如下步骤：

步骤201、认证系统通过轻型数据访问协议与认证数据存储及检索系统建立网络连接并发送检索请求；

步骤202、认证数据存储及检索系统的前端接收并处理认证系统的认证数据检索请求，提取检索条件；

步骤203、认证数据存储及检索系统依据检索条件首先从前端和后端之间内存的热数据键值对认证数据缓存进行检索；

步骤204、检索失败后继续从后端依据检索条件进行哈希和内分区定位存储文件进行检索；

步骤205、认证数据存储及检索系统通过轻型数据访问协议与认证系统发送检索结果；

步骤206、认证系统通过轻型数据访问协议与认证数据存储及检索系统断开网络连接。

本发明的有益效果在于：

1、本发明通过使用并改造轻型数据访问协议，保留认证请求接口的安全性强、简单易用的优点，方便构建支持大并发访问请求的认证证书数据库系统。

2、本发明通过使用哈希与内分区技术相结合的键值对存储结构，减少落地数据的数量和被访问次数，提高了认证系统的证书容量和存储效率。

3、本发明采用优化的内存缓存机制来减少数据访问延迟，提升了认证系统的证书检索速度。

4、采用单一系统即可支撑大规模的认证数据的访问，避免了集群系统数据管理和维护的复杂性。节约了管理和运维成本。

5、Hash存储方式比B+树存储方式占用硬盘空间小。节约了存储空间成本。

附图说明

图1为本发明实施例1的系统结构示意图；

图2为本发明实施例2的方法流程示意图；

图3为本发明实施例3的方法流程示意图；

图4为本发明实施例4的实施系统示意图。

具体实施方式

以下将结合附图对本发明作进一步的描述，需要说明的是，本实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围并不限于本实施例。

实施例1

如图1所示，一种支撑大规模认证数据快速存储及检索的系统，包括认证数据存储及检索系统、认证系统；所述认证数据存储及检索系统用于认证数据的存储和检索，所述认证系统用于根据认证数据对身份进行认证；

认证数据存储及检索系统通过轻型数据访问协议与认证系统之间建立网络连接；所述轻型数据访问协议要求认证数据依据认证数据的特性保持键值对形式，提取认证数据的证书序列号作为主键值、证书内容作为检索目标，建立检索条件与主键值的索引映射关系，认证数据的证书使用范围作为认证数据存储的库名标识；

所述认证数据存储及检索系统的前端并行地接收及处理认证系统的认证数据访问请求；认证系统提供的库名就是所有认证数据快速存储及检索的BASE，忽略认证系统提供的SCOPE，即认证系统无需提供检索范围，由认证数据存储及检索系统依据认证数据的特性来优化存储和定位检索目标；

认证数据存储及检索系统的后端采用哈希与内分区技术相结合的键值对认证数据落地存储：后端将认证数据按照键值对形式进行哈希结构存储，并依据指定分区个数，将键值数字分配到设定的分区文件中；

在认证数据存储及检索系统的前端和后端之间，提供与存储的认证数据相适应的热数据键值对认证数据内存缓存机制；所述热数据键值对认证数据内存缓存机制为：在内存中申请内存容量允许范围的空间，依据设定的分区个数分区若干个哈希结构进行管理，将从磁盘存储中设定的分区文件的认证数据的访问(包括添加、修改)都对应在设定的哈希结构中进行缓存；对磁盘存储中设定的分区文件的认证数据进行检索之前，首先在设定的哈希结构中进行检索，检索到即返回，检索不到再从磁盘存储中设定的分区文件的认证数据进行检索，检索到后在设定的哈希结构中进行缓存后返回，如果将认证数据从磁盘存储中设定的分区文件进行成功删除后，需要对应在设定的内存哈希结构中进行删除。

在上述支撑大规模认证数据快速存储及检索的系统中，所述轻型数据访问协议在格式定义上与标准的轻型目录访问协议相兼容，提供完整而齐备的数据表达结构、传输编码封装、数据访问操作和安全控制功能，等等。但唯一不要求所存储的数据必须具有目录树形结构和目录层次特征，而是依据认证数据的特性保持键值对形式，提取证书序列号作为主键值，证书内容等作为检索目标，建立检索条件与主键值的索引映射关系，证书使用范围作为认证数据存储的库名标识。

认证数据存储及检索系统的前端负责接收、解析认证系统通过轻型数据访问协议发送过来的认证数据访问请求。这些访问请求包括：绑定、解绑定、添加、删除、修改、搜索、扩展、元数据查询、放弃。与标准的轻型目录访问不同在于，库名就是所有认证数据快速存储及检索的BASE，忽略认证系统提供的SCOPE，即认证系统无需提供检索范围，由认证数据存储及检索系统依据认证数据的特性来优化存储和定位检索目标。

认证数据存储及检索系统的后端负责前端请求的持久化访问，将认证数据按照键值对形式进行哈希结构存储，并依据设定的分区个数，将键值数字分配到设定的分区文件中，实现了对亿级数量级的认证数据的化整为零，减少数据访问次数，可以快速的存储和检索。

在认证数据存储及检索系统的前段和后端之间，具有与存储数据相适应的热数据键值对认证数据内存缓存机制，使用该内存缓存机制，一来利用了内存的访问速度明显的快于磁盘的访问速度，二来内存申请的空间数量小于磁盘空间数量，所容纳的认证数据基本为访问的热数据，申请的内存空间需要循环利用，常访问的热数据在运行一段时间之后基本都从内存中可以检索到。

将键值数字分配到设定的磁盘哈希分区或内存哈希结构为同一个分配算法。依据键值字符串的ASCII码值逐个累加转为十进制数字，根据提供的分区数量，进行取模，即可转为设定的分区编号。

实施例2

利用实施例1的支撑大规模认证数据快速存储及检索的系统进行认证数据存储的方法，如图2所示，包括如下步骤：

步骤101、认证系统通过轻型数据访问协议与认证数据存储及检索系统建立网络连接并发送存储请求；

步骤102、认证数据存储及检索系统的前端接收并处理认证系统的认证数据存储请求，忽略SCOPE参数；

步骤103、认证数据存储及检索系统的后端依据未来检索条件进行哈希和内分区定位存储文件进行存储；

步骤104、成功存储后需要更新前端和后端之间内存的热数据键值对认证数据缓存；

步骤105、认证数据存储及检索系统通过轻型数据访问协议与认证系统发送存储结果；

步骤106、认证系统通过轻型数据访问协议与认证数据存储及检索系统断开网络连接。

实施例3

本实施例提供一种利用上述支撑大规模认证数据快速存储及检索的系统进行认证数据检索的方法，如图3所示，包括如下步骤：

步骤201、认证系统通过轻型数据访问协议与认证数据存储及检索系统建立网络连接并发送检索请求；

步骤202、认证数据存储及检索系统的前端接收并处理认证系统的认证数据检索请求，提取检索条件；

步骤203、认证数据存储及检索系统依据检索条件首先从前端和后端之间内存的热数据键值对认证数据缓存进行检索；

步骤204、检索失败后继续从后端依据检索条件进行哈希和内分区定位存储文件进行检索；

步骤205、认证数据存储及检索系统通过轻型数据访问协议与认证系统发送检索结果；

步骤206、认证系统通过轻型数据访问协议与认证数据存储及检索系统断开网络连接。

实施例4

如图4所示，在本实施例中，认证数据的检索特征和证书结构为：

在认证数据快速存储及检索系统内为某类认证数据建立单独的识别名，如CT，存储居民身份证的网络映射证件签名数字证书。在认证数据通常有特征的检索，提取该检索特征，进行hash转化为0-9A-F a-f之间的数据，作为认证数据快速存储及检索系统的证书数据属性，例如sn，另外二进制属性如cert存储证书实体，其它属性存储证书相关信息。假设拥有几个sn示例：

SN1：00000000A

SN2：00000000B

SN3：00000000C

SN4：00000000D

本实施例中，使用轻型数据访问协议进行访问：

以API为例，存储函数：

LDAPEntry entry＝new LDAPEntry(dn,attrs)；//参数：属性集合

ld.add(entry)；//添加

检索函数：ld.search(base_dn,scope,filters,attrs,attrsonly)；

其中，base_dn填写证书类型CT，scope随意填写，fileters使用sn的具体值。

在本实施例中，基于哈希和内分区的认证数据存储：

将全部的证书数据分为若干个分区文件进行存储，需要对检索字段sn进行分区，需要分成3个文件区域，分别将键值字符串的ASCII码值逐个累加转为十进制数字，根据提供的分区数量，进行取模，即可转为特定的分区编号。示例中的SN1-SN4则分别为65/3＝2,66/3＝0,67/3＝1,68/3＝2。可以将SN2定位到分区1中存储，将SN3定位到分区2中存储，将SN1和将SN4定位到分区3中存储。成功存储后，该证书数据同步更新到内存的热数据缓存结构中。

在本实施例，热数据缓存检索具体如下：

内存的热数据缓存结构与分区存储的结构相对应，只是限制于内存大小，在检索时，首先检索热数据，没有再检索硬盘分区存储数据，成功检索后，该证书数据同步更新到内存的热数据缓存结构中。如检索SN2后，即在内存，下次可直接检索出SN2。

对于本领域的技术人员来说，可以根据以上的技术方案和构思作出各种相应的改变和变形，而所有的这些改变和变形都应该在本发明的保护范围之内。

Claims (3)

1.一种支撑大规模认证数据快速存储及检索的系统，其特征在于，包括认证数据存储及检索系统、认证系统；所述认证数据存储及检索系统用于认证数据的存储和检索，所述认证系统用于根据认证数据对身份进行认证；

认证数据存储及检索系统通过轻型数据访问协议与认证系统之间建立网络连接；所述轻型数据访问协议要求认证数据依据认证数据的特性保持键值对形式，提取认证数据的证书序列号作为主键值、证书内容作为检索目标，建立检索条件与主键值的索引映射关系，认证数据的证书使用范围作为认证数据存储的库名标识；

所述认证数据存储及检索系统的前端并行地接收及处理认证系统的认证数据访问请求；认证系统提供的库名所有认证数据快速存储及检索的BASE，忽略认证系统提供的SCOPE，即认证系统无需提供检索范围，由认证数据存储及检索系统依据认证数据的特性来优化存储和定位检索目标；

认证数据存储及检索系统的后端采用哈希与内分区技术相结合的键值对认证数据落地存储：后端将认证数据按照键值对形式进行哈希结构存储，并依据指定分区个数，将键值数字分配到设定的分区文件中；

在认证数据存储及检索系统的前端和后端之间，提供与存储的认证数据相适应的热数据键值对认证数据内存缓存机制；所述热数据键值对认证数据内存缓存机制为：在内存中申请内存容量允许范围的空间，依据设定的分区个数分区若干个哈希结构进行管理，将从磁盘存储中设定的分区文件的认证数据的访问都对应在设定的哈希结构中进行缓存；对磁盘存储中设定的分区文件的认证数据进行检索之前，首先在设定的哈希结构中进行检索，检索到即返回，检索不到再从磁盘存储中设定的分区文件的认证数据进行检索，检索到后在设定的哈希结构中进行缓存后返回，如果将认证数据从磁盘存储中设定的分区文件进行成功删除后，需要对应在设定的内存哈希结构中进行删除。

2.利用权利要求1所述的支撑大规模认证数据快速存储及检索的系统进行认证数据存储的方法，其特征在于，包括如下步骤：

步骤101、认证系统通过轻型数据访问协议与认证数据存储及检索系统建立网络连接并发送存储请求；

步骤102、认证数据存储及检索系统的前端接收并处理认证系统的认证数据存储请求，忽略SCOPE参数；

步骤103、认证数据存储及检索系统的后端依据未来检索条件进行哈希和内分区定位存储文件进行存储；

步骤104、成功存储后需要更新前端和后端之间内存的热数据键值对认证数据缓存；

步骤105、认证数据存储及检索系统通过轻型数据访问协议与认证系统发送存储结果；

步骤106、认证系统通过轻型数据访问协议与认证数据存储及检索系统断开网络连接。

3.利用权利要求1所述的支撑大规模认证数据快速存储及检索的系统进行认证数据检索的方法，其特征在于，包括如下步骤：

步骤201、认证系统通过轻型数据访问协议与认证数据存储及检索系统建立网络连接并发送检索请求；

步骤202、认证数据存储及检索系统的前端接收并处理认证系统的认证数据检索请求，提取检索条件；

步骤203、认证数据存储及检索系统依据检索条件首先从前端和后端之间内存的热数据键值对认证数据缓存进行检索；

步骤204、检索失败后继续从后端依据检索条件进行哈希和内分区定位存储文件进行检索；

步骤205、认证数据存储及检索系统通过轻型数据访问协议与认证系统发送检索结果；

步骤206、认证系统通过轻型数据访问协议与认证数据存储及检索系统断开网络连接。

Images