CN104077302B - 一种大用户量账户存储和检索及认证系统 - Google Patents

Abstract

本发明提供了一种数据处理系统和数据处理方法。系统包含：查询输入装置、多个多级数据库、多个多级查询模块、多个认证模块以及输出装置。方法包括：接收数据查询、认证查询者输入的账户信息、查询索引数据、查询用户账户信息并输出查询结果。本发明的数据处理装置和方法可以大大提高大数据量的数据处理效率。

Description

一种大用户量账户存储和检索及认证系统

技术领域

本发明涉及信息数据处理技术，本发明尤其涉及大用户量账户的信息数据的查询、存储和检索及认证的技术。

背景技术

办公自动化使得各行各业的办事效率发生了翻天覆地的变化。对于每天需要对大量信息数据进行处理的企事业单位来说，如何不断提高信息数据的处理能力，一直是本领域中技术人员为之持之以恒而不懈努力的追求目标。

例如，银行通常每天需要通过对大量的账户数据进行查询、存储和检索和认证来对其账户进行管理。而银行账户的数量通常在千万甚至数亿的数量级。

因此，怎样通过有效地对庞大数据量的数据进行查询、存储和检索和认证并进而进行有效的信息数据处理，是本发明需要解决的技术问题。

发明内容

本发明的目的是提供一种能够对大数据量的信息数据进行有效处理的系统和方法。

按照本发明的第一个方面，提供了一种数据处理系统，包含：查询输入装置，由查询者输入要查询的信息；多个多级认证模块，多个多级认证模块至少包含一个一级认证模块和多个二级认证模块，用于对所输入的要查询的信息进行验证；多个多级数据库，用于存储和检索待查询的信息；与多个多级数据库中的各个级分别对应耦合的多个多级查询模块，用来接收通过查询输入装置而输入的查询请求，对多个多级数据库中存储的待查询的信息进行存储和检索；以及输出装置，用来输出多个多级查询模块对多个多级数据库中对应的数据库的查询结果。

在按照本发明第一个方面提供的数据处理系统中，多级数据库包含至少一个一级数据库和多个二级数据库，其中，至少一个一级数据库用于存储和检索索引数据，索引数据包括多个二级数据库的数据库表的编号信息、每个数据库表的最小用户识别ID信息和最大用户识别ID信息，其中，多个二级数据库用来存储和检索与用户账户相关联的具体信息数据，每个二级数据库中存储有多个数据库表。

在按照本发明的第一个方面提供的数据处理系统中，其中，一级认证模块与一级查询模块耦合，用来对一级查询模块根据通过输入装置输入的用户名和密码进行认证，并将认证的结果输出到输出装置，并且其中，多个二级认证模块分别与多个二级数据库中的对应的一个耦合，用来根据在一级认证模块认证的结果是正确时，调用相应的二级认证模块，直接定位到二级数据库中的用户记录，并将所定位的用户记录输出到输出装置。

在按照本发明的第一个方面提供的数据处理系统中，多级数据库可以是用缓存器件来实现的。

在按照本发明的第一个方面提供的数据处理系统中，多级认证模块可以是用缓存器件来实现的。

按照本发明的第二个方面，本发明提供了一种数据处理方法，包含：从输入装置接收信息数据查询请求；由一级认证模块根据通过输入装置接收的信息数据进行认证；在通过一级认证模块的验证后，将接收到的信息数据查询请求输入到一级用户查询模块；一级用户查询模块从一级数据库中检索用户索引信息数据；在一级认证模块认证的结果是正确时，调用相应的二级认证模块；根据索引信息数据，多个二级用户查询模块从多个与之对应的二级数据库中存储和检索用户的账户信息；以及将二级查询模块查询得到的结果输出到输出装置。

在按照本发明的第二个方面提供的数据处理方法中，索引数据包括二级数据库的数据库表的编号信息、每个数据库表的最小用户识别ID信息和最大用户识别ID信息，其中，二级数据库中存储有与用户账户相关联的具体信息数据，每个二级数据库中存储有多个数据库表。

在按照本发明的第二个方面提供的数据处理方法，其中，所验证的要待查询的信息是用户名和密码。

在按照本发明的第二个方面提供的数据处理方法中，一级用户查询模块和二级用户查询模块是缓存器件。

在按照本发明的第二个方面提供的数据处理方法中，一级认证模块和二级认证模块是缓存器件。

附图说明

图1是示出本发明大数据量信息数据的查询、认证以及存储和检索的原理示意图。

图2是示出本发明的大数据信息量信息数据的查询、认证和存储检索的系统示意图。

具体实施方式

以银行账户为例。

在对银行账户进行管理时，经常需要对账户所对应的各种信息数据进行查询、认证、存储和检索以及新信息数据的增加、以及信息数据的修改、删除等处理。

对数据进行处理时，可以采用这样一种技术手段，即，“大表＋索引”的方式。所谓“大表＋索引”的方式，就是采用数据库，将用户的各种信息以数据库表的形式存放在数据库中。在需要调用某一用户的某项信息时，通过读取器读取对应于该用户的信息的索引，并且在需要时，根据所读取的索引，进一步读取用户的详细账户信息，来实现上述账户管理。即，通过由读取器从数据库中读取一个或多个字段，来实现查询、认证、存储和检索以及新信息数据的增加、以及信息数据的修改、删除等数据处理。

这种数据处理方式的特点是，操作相对简单，实现起来无需较多的硬件。但是，当用户数增大到千万以上甚至数亿时，由于每一用户的一条数据记录占用多达几百KB个数据位，那么几千万甚至数亿个用户的数据所占用的数据位将是十分巨大的数量级。

为此，我们也可以采用另一种技术手段，即，采用“缓存＋索引”的方式。首先，从缓存器件中，由读取器读取用户账户信息。如果在缓存器件中，未能读取到相应的信息数据，则再对数据库进行检索查询。

这种信息数据处理方式的特点是，相对于前一种“大表＋索引”的技术手段，可以大大增大信息数据的处理能力。但是，由于用户信息记录较长，而实际缓存器件所能够容纳的数据记录空间有限，因而在缓存器件中进行所需信息数据的读取时，命中率较低。但如果要对整个数据库进行查询和检索，会随着因用户数的增加而使得数据量增大最终仍使得查询、检索效率大大降低。

我们还可以采用再一种技术手段，即，采用多级数据查询、存储和认证的模式。

参考图1。

图1示出以两级用户查询、认证以及存储和检索模式为例进行大用户数据量的信息数据处理的技术方案。

如图1所示，本发明的一种实施例的大数据量数据处理系统采用的是二级数据查询、存储和检索及认证方式。

首先，建立一级数据库，以及二级数据库。一级数据库和二级数据库实际上是一种存储单元。将索引数据信息存储在一级数据库中。这里的索引信息数据包括二级数据库的数据库表的编号信息、每个数据库表的最小用户识别ID信息和最大用户识别ID信息。

二级数据库用来存储与用户账户相关联的具体信息数据，如存储用户识别ID、用户名、密码（加密存储）、身份证号码、手机号码、邮箱、地址、工作单位信息等用户信息。将二级数据库编号成1－N。每个二级数据库中存储有多个数据库表。

例如，第i个二级数据库中存储有Xi个数据库表，每个数据库表中存储最多有M条信息数据记录，每条信息数据记录对应于一个用户，而每一用户对应于唯一的用户识别ID。

二级数据库中的数据库表中，按照用户的ID顺序，连续存储用户的具体信息数据。因此，二级数据库中，最多可以存储有

条用户信息记录。这些用户信息记录存储在N个数据库中，而且，每个数据库表最多只存储M条记录。

本实施例的大数据量的信息数据处理系统还包括两级用户查询模块。

本发明中，对用户信息进行的查询，是通过二级查询步骤来进行的。

对于从输入装置（图中未示出）输入的用户名，首先要查询和输出用户的ID。其具体的查询步骤如下：

i)在一级数据库中查询索引信息，即，查询二级数据库中数据库表的编号信息等。

根据步骤i)中在一级数据库中查询得到的索引信息，调用N个二级查询模块。每个二级查询模块与一个二级数据库耦合，由查询者通过这些N个二级查询模块，对存放有用户具体信息数据的二级数据库进行查询。

对二级数据库进行的查询，实际上就是通过对多个并行的二级子数据库进行查询。每个二级子数据库中存储有一个数据库表。例如，第i个二级数据库中，包括有Xi个数据库表，因此，对二级数据库的查询，实际上就是通过对Xi个子数据库同步地进行查询。

因此，通过对二级数据库的查询，实际上可以对最多有条用户记录进行查询。

理论上，查询所需时间是不会因用户数量的增加而增加的。本发明中，采用的是多级数据库和多级缓存相结合的技术，查询效率很高。

为了确保系统安全性，避免未经许可的用户访问，本发明的实施例中，还采用二级认证模式，对用户的登录请求进行验证，即，在登录者提出登录请求时，只有在经过系统认证后，方可进入系统进行后续操作。

如图1所示，本发明实施例中的两级认证模式，采用的是两级认证模块，即，采用一级认证模块和二级认证模块，接收和处理用户认证请求，通过由登录者输入的用户名和密码，调用两级用户查询模块来验证查询者输入的用户名和密码是否符合一级数据库和二级数据库中存放的相应信息，并返回认证结果于登录者。如果符合，则允许登录者进一步进行后续操作；如果不符合，则不允许进行相关的操作。

下面结合图1具体描述本发明实施例中采用一级认证模块和二级认证模块进行验证的原理。

i)根据访问者通过输入装置（图中未示出）输入登录信息（如：用户名、密码）发起登录请求，调用一级认证模块，将访问者输入的用户名转化为用户标识ID；

ii)根据用户标识ID，从众多的二级认证模块中调用对应的二级认证模块，并通过输出装置将认证结果反馈访问者。

在上述步骤i)中，应用服务器（如图2中所示）首先在一级数据库即缓存中进行用户ID的查询检索，如果命中，则直接返回用户的ID；如果没有命中，则再次调用一级及二级查询模块，继续进行一级数据库及二级数据库的检索和查询，并通过输出装置将查询检索的结果用户ID返回。

在上述步骤ii)中，二级认证模块根据对一级查询模块查询得到的用户ID，直接对用户记录进行定位，确认所需确认的密码是否正确，并通过输出装置将认证结果返回。

本发明实施例中的用户查询模块和认证模块可以采用缓存器件来实现。

图2示出本发明的大数据量数据的查询、认证和存储的系统示意图。

如图2所示，本发明的大数据量数据查询、认证和存储系统是由一组应用服务器和一组数据库服务器构成的。

数据库服务器由一个一级数据库组服务器和多个二级数据库组服务器构成。每个数据库组服务器又由一台主数据库服务器和一台备用数据库服务器构成。

图2中的应用服务器对应于图1中的认证模块，其中的一个应用服务器对应于一个一级认证模块，而另一些应用服务器对应于图1中的多个二级认证模块。即，图1中的认证模块是由图2中的应用服务器来实现的。

认证服务器负责对登录请求进行认证。即，对登录方输入的登录信息，例如用户名、密码等信息，进行验证，并将认证结果（通常是有关成功或失败的信息）返回给登录方。

而一级数据库服务器和二级数据库服务器则联合完成上文中参照图1所描述的用户信息的存储和检索。

采用本发明，可以大大提高大数据量数据的处理能力和处理效率。

上文的实施例描述中，描述了系统仅包含两级存储、两级查询和两级认证的情况，因此，所对应的系统包含两级存储模块、两级查询模块和两级认证模块。但本领域中的普通技术人员能够理解，实际上，本发明的两级存储、两级查询和两级认证可以扩展为多于二级即多级的情况。因此，本发明并非仅限于上述针对图1所描述的情况。

上文中，所描述的本发明是结合附图1和图2来进行的。尽管在上文的描述中，没有特别说明所描述的内容是一种装置或系统，还是一种方法，但本领域中的普通技术人员能够理解，上文中结合图1和图2所作的描述，可以同时被理解为是一种装置或系统，也可以被理解为是一种方法。之所以采用这种描述方式，是为了节省篇幅，但这样的描述方法并不影响读者对本发明的理解，这也是本领域中的普通技术人员所能够理解的。

上文中，参照附图描述了本发明的具体实施例。但是，本领域中的普通技术人员能够理解，在不偏离本发明的原理和精神的情况下，还可以对本发明的上述实施例作某些修改和变更。上文中所提及的特定元件和数量等只是为了描述本发明的方便而举的例子，不能将其理解为是对本发明的限制。本领域中的普通技术人员能够理解，这些数值和元件实际上是可以根据具体使用情况另外选用和设定的。实施例的描述仅仅是为了使本领域中的普通技术人员能够理解、实施本发明，不应当将本发明理解仅仅限于这些实施例。本发明的保护范围由权利要求书所限定。

Claims (12)

1.一种数据处理系统，包含：

查询输入装置，由查询者输入要查询的信息；

多个多级认证模块，所述多个多级认证模块至少包含一个一级认证模块和多个二级认证模块，用于对所输入的要查询的信息进行验证；

多个多级数据库，用于存储待查询的信息；

与所述多个多级数据库中的各个级分别对应耦合的多个多级查询模块，用来接收通过所述查询输入装置而输入的查询请求，对所述多个多级数据库中存储的待查询的信息进行查询；以及

输出装置，用来输出所述多个多级查询模块对所述多个多级数据库中对应的数据库的查询结果。

2.如权利要求1所述的数据处理系统，其中，所述多级数据库包含至少一个一级数据库和多个二级数据库，

其中，所述至少一个一级数据库用于存储索引数据，所述索引数据包括所述多个二级数据库的数据库表的编号信息、每个数据库表的最小用户识别ID信息和最大用户识别ID信息，

其中，所述多个二级数据库用来存储与用户账户相关联的具体信息数据，每个所述二级数据库中存储有多个数据库表。

3.如权利要求2所述的数据处理系统，其中，所述一级认证模块与所述一级查询模块耦合，用来对所述一级查询模块根据通过所述输入装置输入的用户名和密码进行认证，并将所述认证的结果输出到输出装置，并且

其中，所述多个二级认证模块分别与所述多个二级数据库中的对应的一个耦合，用来根据在所述一级认证模块认证的结果是正确时，调用相应的二级认证模块，直接定位到所述二级数据库中的用户记录，并将所定位的用户记录输出到所述输出装置。

4.如前述任一权利要求所述的数据处理系统，其中，其中的多级数据库可以是用缓存器件来实现的。

5.如权利要求3所述的数据处理系统，其中的多级认证模块可以是用缓存器件来实现的。

6.如权利要求1所述的数据处理系统，其中，所述多个多级认证模块是用一组应用服务器来实现的。

7.如权利要求1或2所述的数据处理系统，其中，所述多个多级数据库是用数据库服务器来实现的，并且每个数据库组由一台主数据库服务器和一台备用数据库服务器构成。

8.一种数据处理方法，包含：

从输入装置接收信息数据查询请求，

由一级认证模块根据通过所述输入装置接收的信息数据进行认证；

在通过所述一级认证模块的验证后，将接收到的信息数据查询请求输入到一级用户查询模块；

所述一级用户查询模块从一级数据库中检索用户索引信息数据；

在所述一级认证模块认证的结果是正确时，调用相应的二级认证模块；

根据所述用户索引信息数据，多个二级用户查询模块从多个与之对应的二级数据库中存储和检索用户的账户信息；以及

将所述二级查询模块查询得到的结果输出到输出装置。

9.如权利要求8所述的数据处理方法，其中，所述索引数据包括二级数据库的数据库表的编号信息、每个数据库表的最小用户识别ID信息和最大用户识别ID信息，

其中，所述二级数据库中存储有与用户账户相关联的具体信息数据，每个所述二级数据库中存储有多个数据库表。

10.如权利要求8所述的数据处理方法，其中，所验证的要待查询的信息是用户名和密码。

11.如权利要求8或9所述的数据处理方法，其中，所述一级用户查询模块和二级用户查询模块是缓存器件。

12.如权利要求8或9所述的数据处理方法，其中，所述一级认证模块和二级认证模块是缓存器件。