CN111352933B - 云端大数据数据库快捷建立索引系统 - Google Patents

Abstract

本发明公开了一种云端大数据数据库快捷建立索引系统，电性连接部署于云端的非关系数据库，供以查询并建立索引，包含应用交换模块、数据交换模块、第一处理模块、第二处理模块及整合处理模块。应用交换模块接收用户输入的查询字符串并提示结果索引表。数据交换模块存有暂存索引表。第一处理模块计算查询字符串并产生查询指令而计算暂存索引表，用以比其是否具有与查询指令相符的数据。当肯定时，第一处理模块产生快取索引表；当否定时，第一模块产生建立指令，以供第二处理模块计算非关系数据库，产生新建索引表。整合处理模块计算快取索引表及新建索引表，产生结果索引表。藉此大幅加速建立索引效率。

Description

云端大数据数据库快捷建立索引系统

技术领域

本发明涉及一种快速建立索引的系统，特别是针对云端大数据数据库建立索引。

背景技术

随着计算机的进步，纸本或各种模拟信息转为数字信息，并在计算机中以数字文件的型式保存，且用户能对这些数据执行撷取、删除、修改甚至新增等操作。用户将数据以一定的方式储存在特定的区块，并与其他应用程序为独立的数据集合，即为数据库。随后针对数据库的存取而发展出数据库管理系统(Database management system,DBMS)，为管理数据库的软件系统，以供撷取或保障数据库中的数据。目前的架构是将数据库管理系统电性连接数据库，以直接存取其中的数据。

因此，在现行的架构下，使用者在捞取或统计数据时，数据撷取路径为用户端至数据库管理系统，再下至数据库中逐一搜索其中需要撷取的数据，并原路径回用户端。其中，用户端会输入查询指令(query)以指示计算机依需求将数据进行排序或统计。但是，上述的作业时间很缓慢，且数据库的硬件读写次数因此增加而造成其使用寿命下降。

发明内容

鉴于上述的问题，本发明的目的旨在提供一种云端大数据数据库快捷建立索引系统，通过建立新的索引架构系统，能查询部署于云端的大数据数据库中的数据，藉此提升索引建立的效率，进而增进后续捞取或统计数据的效率。

为达上述目的，本发明提出一种云端大数据数据库快捷建立索引系统，其电性连接一部署于云端的非关系数据库及一用户服务系统，供以查询并建立索引，包含一应用交换模块、一数据交换模块、一第一处理模块、一第二处理模块及一整合处理模块。该应用交换模块电性连接该用户服务系统，以供接收由该用户服务系统输入的一查询字符串，及供以提示该用户服务系统一结果索引表。该数据交换模块电性连接该非关系数据库并存有至少一暂存索引表，且该暂存索引表的字段数据关联于该非关系数据库的记录数据。该第一处理模块电性连接该数据交换模块及该应用交换模块，该第一处理模块接收并计算该查询字符串而产生一查询指令，该查询指令包含至少一关键字段及至少一排序条件。该第一处理模块依照该查询指令计算该暂存索引表，用以比对该暂存索引表是否具有与该关键字段相同的数据，从而产生一快取索引表或一建立指令或其组合。其中，当该暂存索引表中具与该关键字段相同的数据时，该第一处理模块依照该查询指令计算该暂存索引表并产生该快取索引表；而当该暂存索引表不具与该关键字段相同的数据时，该第一处理模块产生该建立指令。该第二处理模块电性连接该数据交换模块、该第一处理模块及该非关系数据库，该第二处理模块接收该建立指令及该查询指令并依照该查询指令计算该非关系数据库，系而产生该新建索引表。该整合处理模块电性连接该第一处理模块、该第二处理模块、该数据交换模块及该应用交换模块，接收并依照该查询指令计算该快取索引表或该新建索引表或其组合，从而产生该结果索引表，且该结果索引表的字段数据关联于该非关系数据库的记录数据，供以回传至该应用交换模块。因此，通过计算该应用交换模块中的该暂存索引表，直接建立索引窗体，用以避免直接进入该非关系数据库进行操作而造成系统运作效能下降。藉此大幅加速建立索引，进而提升用户捞取或统计数据。

更进一步，该数据交换模块接收该结果索引表并计算该结果索引表及该暂存索引表，从而更新该暂存索引表。如此一来，该数据交换模块能依照用户最近指示的该查询字符串而相对产生的该结果索引表，取代而更新原本的该暂存索引表，以提升下次建立索引的效率。

并且，该云端大数据数据库快捷建立索引系统支持异步编程(Asynchronousprogramming)以建立索引，藉由减少本系统中各模块之间同步协调通讯，以降低建立索引过程的负担，并更利于使用者操作。其中，该应用交换模块供以同时或不同时接收多个相同或相异的查询字符串，且该整合处理模块依照相对应的多个查询指令计算而产生多个结果索引表，并使该应用交换模块提示该用户服务系统多个结果索引表。

较佳者，该数据交换模块存有多个暂存索引表。当相异的暂存索引表中具有与该关键字段相同的数据时，该第一处理模块计算以合并(Join)前述的多个暂存索引表，从而产生一合并数据表。因此，该合并数据表具有与多个关键字段相同的数据，以供该第一处理模块依照该查询指令计算该合并数据表而产生该快取索引表。藉此，对于与多个关键字段相同的数据散布于不同的暂存索引表中时，能提升建立索引的效率。

另外，该云端大数据数据库快捷建立索引系统支持筛选索引(Filtered index)，以对使用者经常使用的该查询字符串建立索引，更增进建立索引的效率。其中，该暂存索引表更具有至少一标记字段，且该标记字段的数据关联于该非关系数据库的记录数据。并当该关键字段指向该标记字段时，该第一处理模块依照该查询指令计算该标记字段，从而产生该快取索引表或该建立指令或其组合。

更进一步，该暂存索引表、该快取索引表、该新建索引表及该结果索引表的数据结构为平衡树(B tree)。藉此，利用平衡数具有良好的数据次序性，以利该云端大数据数据库快捷建立索引系统更快速撷取其中的数据。

综上所述，本发明所提出的云端大数据数据库快捷建立索引系统，能针对部署于云端的该非关系数据库查询并建立索引，特别能快速提升建立索引的效率。其中，通过该数据交换模块能利用该暂存索引表，快速比对其中的字段数据以及该关键字段，以利建立该快取索引表。藉此，使用者能避免传统的架构中对数据库的存取负担，并大幅提升建立索引的效率。

附图说明

图1为本发明较佳实施例的系统方块图。

图2为本发明较佳实施例的系统流程图。

附图标记说明：1-云端大数据数据库快捷建立索引系统；10-应用交换模块；11-数据交换模块；12-第一处理模块；13-第二处理模块；14-整合处理模块；2-非关系数据库；3-用户服务系统；S1～S12-步骤。

具体实施方式

近期因为大数据(Big data)兴起，且云端(Cloud)的开发，数据库及相对应的数据库管理系统的架构随的改变。在大数据数据库中，需要大量读写数据，且为持续而不间断地进行，数据又具有许多不同的格式。另外，数据库依照储存的数据格式及适用的语言而分为关系数据库(Relational database)及非关系数据库(Non relational database,NoSQL)。更进一步，大数据数据库因持续扩增数据，若以传统以关系数据库为系统架构，则会需要以极高性能的硬设备及服务器支持，从而造成开发成本高，以及后续的维护成本亦提升。

本案发明人为了因应大数据数据库以及云端应用，遂而建立新的系统架构，包含架设于云端的大数据数据库、应用服务层系统以及用户接口系统，并以非关系数据库作为大数据数据库，以供应用服务层系统至数据库中存取大数据，并回传至用户接口系统。请参阅图1及图2，为本发明较佳实施例的系统方块图及系统流程图。如图所示，本发明提出一种云端大数据数据库快捷建立系统1，作为应用服务层系统，并电性连接一部署于云端的非关系数据库2及一用户服务系统3，分别作为大数据数据库及用户接口系统。其中，利用该非关系数据库2具有良好水平扩充数据库容量的特性，能架设于成本较低的计算机设备(图中未示)及服务器(图中未示)中，并同时具有TB或PB等级的大型数据库容量。并于本实施例中，该非关系数据库2使用的是业界上线的数据库，如Facebook开发的Cassandra系统，能够动态扩充新的数据列(Column Families)，并具有良好的可延伸性及效能，且支持多支持结构化查询语言(Structured query language,SQL)。

用户能够过该用户服务系统3查询、分析、更新、新增或删改该非关系数据库2中的数据，并利用SQL定义所需的数据字段及其排序与筛选条件，以供系统建立索引(Index)。索引包含多个字段，且部分的字段中会存放数据库中的地址，并以一定的方式排序，进而加速数据库找到所需的数据。因此，用户下达的指令越简洁且明确，于该用户服务系统3取得所需的数据的效率越高。本发明则部署于如图中的系统架构下，并非单纯提出一种能快速取得索引的系统，而是针对索引的建立方式进行改良所架设的系统，以加速索引建立的效率，进而提升用户取得相对应数据的效率。

请再参阅图1及图2，该云端大数据数据库快捷建立索引系统1包含一应用交换模块10、一数据交换模块11、一第一处理模块12、一第二处理模块13及一整合处理模块14。该应用交换模块10电性连接该用户服务系统3，作为与该用户服务系统3通讯的交流平台，以供接收由该用户服务系统3输入的一查询字符串，及供以提示该用户服务系统3一结果索引表。另外，该数据交换模块11电性连接该非关系数据库2，并存有至少一暂存索引表。该第一处理模块12电性连接该数据交换模块11及该应用交换模块10，并接收且计算该查询字符串而产生该查询指令。该第一处理模块12依照不同的条件状况而计算产生一快取索引表或一建立指令或其组合，而该建立指令传送至该第二处理模块12。该第二处理模块12电性连接该数据交换模块11、该第一处理模块12及该非关系数据库2，且于特定条件下生成一新建索引表。并且，该整合处理模块14电性连接该第一处理模块12、该第二处理模块13、该数据交换模块11及该应用交换模块10，接收该快取索引表或该新建索引表或其组合而生成该结果索引表，并将该结果索引表传送至该应用交换模块10。

更进一步，本系统涉及的各种索引表皆为索引窗体(Table)，包含该暂存索引表、该快取索引表、该新建索引表及该结果索引表。该暂存索引表为该数据交换模块11依照预设的数据字段以及其排序与筛选条件，计算该非关系数据库2中的数据而产生的索引窗体(Table)。因此，该暂存索引表的字段数据关联于该非关系数据库2的记录数据。另外，该快取索引表为由该暂存索引表中撷取后排序或删除而产生的索引窗体，而该新建索引表则重新计算该非关系数据库2而的产生的索引窗体。

该云端大数据数据库快捷建立系统1的详细应用流程，请参阅下述说明。当用户于该用户服务系统3输入该查询字符串(步骤S1)，该应用交换模块10接收该查询字符串(步骤S2)，且接着该第一处理模块12接收并计算该查询字符串，从而产生该查询指令(步骤S3)。举例来说，使用者为了捞取并同时以特定条件筛选或分析该非关系数据库2中的档案数据，而使用SQL语言输入该查询字符串。该查询字符串会传送至该应用交换模块10，并接续传送至该第一处理模块12而将查询语言(Query language)转换成汇编语言(Assemblylanguage)或机器语言(Machine language)，因此生成该查询指令。该查询指令包含至少一关键字段及至少一排序条件，即相对应于该查询字符串所述的目标档案数据与特定条件。较佳者，该关键字段及该排序条件分别以多个举例说明。

建立索引时，首先，该第一处理模块12依照该查询指令计算该暂存索引表(步骤S4)，用以比对该暂存索引表中的字段数据是否有跟多个关键字段相同的数据(步骤S5)。是以，该第一处理模块12会先在该数据交换模块11的该暂存索引表中寻找目标档案数据，而非直接前往数据库寻找，以大幅节省处理时间与消耗功率。并当该暂存索引表具有与多个关键字段相同的数据时，该第一处理模块12依照该查询指令计算该暂存索引表，并产生该快取索引表(步骤S6)。反之，该第一处理模块12产生该建立指令(步骤S7)，以驱动该第二处理模块13。另一方面，或当该暂存索引表中仅具部分关键字段的数据，而有部分的关键字段在该暂存索引表中找不到时，该第一处理模块12同时执行而产生该快取索引表以及该建立指令。

接续步骤S7，当该第一处理模块12在该数据交换模块11中找不到目标档案数据时，利用该建立指令通知该第二处理模块13，使该第二处理模块13至该非关系数据库2中建立新的索引窗体。也就是，该第二处理模块13接收该建立指令及该查询指令(步骤S8)，该第二处理模块13依照该查询指令计算该非关系数据库2，并产生该新建索引表(步骤S9)。

最后，该整合处理模块14接收该快取索引表或该新建索引表或其组合(步骤S10)，且该整合处理模块14依照该查询指令计算该快取索引表或该新建索引表或其组合，从而产生该结果索引表(步骤S11)。因此，该结果索引表中的字段数据为关联于该非关系数据库2的记录数据，也就是说，该结果索引窗体为用户输入该查询字符串后，本发明依照需求而回馈生成的索引窗体。该结果索引表回传至该应用交换模块10，以供提示该用户服务系统3(步骤S12)。如此一来，利用两个阶段的模块以建立索引，并架设该数据交换模块11以作为初阶段建立索引时的较小型数据库。而当该数据交换模块11中没有目标档案数据时，方进入该非关系数据库2中捞取，并于最后阶段整合建立索引。较佳者，该数据交换模块11中存放的该暂存索引表为一种索引窗体，因此其容量小而可加速运算效率。特别是藉由该第一处理模块12先行计算该暂存索引表，从而可避免在该非关系数据库2中计算数据造成的重大负担。藉此，能大幅加速建立索引，进而提升用户捞取或统计数据。

更进一步，该云端大数据数据库快捷建立索引系统1会于一定时间，清除各模块的垃圾档案，包含暂存且不具数据性的数据文件如扩展名为.TMP或.tmp.cvr的暂存盘，以维持各模块的运算效率。较佳者，当该结果索引表回传至该应用交换模块10，该结果索引表同时也会传送至该数据交换模块11，以供该数据交换模块11计算而更新以取代原本存放的该暂存索引表。因此，最新的索引窗体能存放于该数据交换模块11，以供下次使用者若输入相同或类似的该查询字符串，能更快速建立索引。

并且，该云端大数据数据库快捷建立索引系统1中的各模块为独立运算的模块单元，且各模块在运作过程中不需要互相通讯协调。是以，该云端大数据数据库快捷建立索引系统1支持异步编程(Asynchronous programming)。其中，该应用交换模块10能同时或不同时接收多个相同或相异的查询字符串，且该整合处理模块14依照相对应的多个查询指令计算而产生多个结果索引表，并使该应用交换模块10提示该用户服务系统3多个结果索引表。举例来说，当用户输入该查询字符串后，在等待接收对应的该结果索引表时间内，用户可以再输入另一该查询字符串，各模块能因应多个查询字符串而运算的过程中不会相互干扰。其中，该数据交换模块11不会等待前一该查询字符串处理完毕后，以前一该结果索引表更新该暂存索引表后，再接续使该第一处理模块12或该第二处理模块13运算后一该查询字符串的编程。又或者，当两个不同的使用者同时输入不同的多个查询字符串，各模块也不会相互协调去决定多个查询字符串的运算先后次序，使各个用户之间对本系统的编程处理不会相互干扰。是以，在特定期间中，以现存有的该暂存索引表及该非关系数据库2为数据，各模块会依照多个查询指令运算而产生对应的多个结果索引表。因此，执行索引窗体的新增(Create)、插入(Insert)、更新(Update)或删除(Delete)等处理时间大幅下降。藉此提升各模块的运算效率，进而使使用者的等待时间下降，以更方便使用。

更进一步，该暂存索引表、该快取索引表、该新建索引表及该结果索引表的数据结构为平衡树(B tree)。平衡树结构包含一个根节点、由根节点展开的对称中继层节点，以及中继层节点下层的一个或多个分叶节点(Leaf)。另一方面，前述的索引窗体的索引类型可为丛集索引(Cluster index)、非丛集索引(Non cluster index)、筛选索引(Filteredindex)、插件索引(Plugin index)或任组合。较佳者，上述的索引窗体中同时具有非丛集索引及丛集索引，其中的分叶节点的键值(Leaf key)仅存放指标(Pointer)而不进行排序，且指针指向丛集索引或数据在该非关系数据库2中的真实地址。因此，分叶节点的键值能储存更多的非排序数据，以减少各模块运算时读取索引窗体的时间。藉此，利用平衡数具有良好的数据次序性，以利该云端大数据数据库快捷建立索引系统1更快速撷取其中的数据。

接续上述的说明，该云端大数据数据库快捷建立索引系统1亦支持筛选索引(Filtered index)，以针对使用者经常使用的该查询字符串，能更快速建立索引。其中，该暂存索引表更具有至少一标记字段(图中未示)，该标记字段为特定的类别条件，且其关联于该非关系数据库2的记录数据。如此一来，当该关键字段指向该标记字段时，该第一处理模块12依照该查询指令计算该标记字段，从而产生该快取索引表或该建立指令或其组合。

或于另一种实施方式，该数据交换模块11存有多个暂存索引表，且多个暂存索引表为单独的窗体。并在流程图中的步骤S4，若其中一该暂存索引表具有部分关键字段的数据，而同时另一该暂存索引表或部分的暂存索引表有其他部分的数据，该第一处理模块12会找到具有多个关键字段数据的多个暂存索引表，并计算前述的多个暂存索引表，使其合并(Join)而产生一合并数据表(图中未示)。因此，该合并数据表为多个暂存索引表合并后的索引窗体，接者，该第一处理模块12依照该查询指令计算该合并数据表，并产生该快取索引表，并接续图中的步骤S10。藉此，对于与多个关键字段相同的数据散布于不同的暂存索引表中时，能提升建立索引的效率。

较佳者，该云端大数据数据库快捷建立索引系统1也支持自动索引(又称自动标引,Smart index,Automatic index)。在一段时间中，该第一处理模块11计算成为历史记录的多个查询指令，并产生新的查询指令，以使各模块能自动创建、删除或合并索引窗体而运算该查询指令，最终更新该暂存索引表。藉此使该云端大数据数据库快捷建立索引系统1更方便使用，且更智能化。

综上所述，本发明所提出的云端大数据数据库快捷建立索引系统1，能针对部署于云端的该非关系数据库2查询并建立索引，特别能快速提升建立索引的效率。通过该数据交换模块11计算该暂存索引表，用以快速比对其中的字段数据以及使用端下达的该关键字段，能快速建立该快取索引表，或藉由该第二处理模块13建立该新建索引表，以供该整合处理模块14产生该结果索引表。较佳者，该云端大数据数据库快捷建立索引系统1支持多种索引类型，包含筛选索引、异步索引及自动索引等，以增进其运作效率。藉此，使用者能避免传统的架构中对数据库的存取负担，并大幅提升建立索引的效率。

以上所述仅为本发明的较佳实施例而已，并非用以限定本发明实施的范围；故在不脱离本发明的精神与范围下所做的均等变化与修饰，皆应涵盖于本发明的保护范围内。

Claims (6)

1.一种云端大数据数据库快捷建立索引系统，其电性连接一部署于云端的非关系数据库及一用户服务系统，供以查询并建立索引，其特征在于，包含：

一应用交换模块，其电性连接该用户服务系统，以供接收由该用户服务系统输入的一查询字符串，及供以提示该用户服务系统一结果索引表；

一数据交换模块，其电性连接该非关系数据库并存有至少一暂存索引表，且该暂存索引表的字段数据关联于该非关系数据库的记录数据；

一第一处理模块，其电性连接该数据交换模块及该应用交换模块，该第一处理模块接收并计算该查询字符串而产生一查询指令，该查询指令包含至少一关键字段及至少一排序条件；该第一处理模块依照该查询指令计算该暂存索引表，用以比对该暂存索引表是否具有与该关键字段相同的数据，从而产生一快取索引表或一建立指令或其组合；其中，当该暂存索引表中具与该关键字段相同的数据时，该第一处理模块依照该查询指令计算该暂存索引表并产生该快取索引表；而当该暂存索引表不具与该关键字段相同的数据时，该第一处理模块产生该建立指令；

一第二处理模块，其电性连接该数据交换模块、该第一处理模块及该非关系数据库，该第二处理模块接收该建立指令及该查询指令并依照该查询指令计算该非关系数据库，从而产生新建索引表；及

一整合处理模块，其电性连接该第一处理模块、该第二处理模块、该数据交换模块及该应用交换模块，接收并依照该查询指令计算该快取索引表或该新建索引表或其组合，从而产生该结果索引表，且该结果索引表的字段数据关联于该非关系数据库的记录数据，供以回传至该应用交换模块。

2.如权利要求1所述的云端大数据数据库快捷建立索引系统，其特征在于，该数据交换模块接收该结果索引表并计算该结果索引表及该暂存索引表，从而更新该暂存索引表。

3.如权利要求2所述的云端大数据数据库快捷建立索引系统，其特征在于，该应用交换模块供以同时接收多个相同或相异的查询字符串，且该整合处理模块依照相对应的多个查询指令计算而产生多个结果索引表，并使该应用交换模块提示该用户服务系统多个结果索引表。

4.如权利要求3所述的云端大数据数据库快捷建立索引系统，其特征在于，该数据交换模块存有多个暂存索引表；当相异的暂存索引表中具有与该关键字段相同的数据时，该第一处理模块计算以合并前述的多个暂存索引表，从而产生一合并数据表，且该第一处理模块依照该查询指令计算该合并数据表而产生该快取索引表。

5.如权利要求1所述的云端大数据数据库快捷建立索引系统，其特征在于，该暂存索引表更具有至少一标记字段，且该标记字段的数据关联于该非关系数据库的记录数据，并当该关键字段指向该标记字段时，该第一处理模块依照该查询指令计算该标记字段而产生该快取索引表或该建立指令或其组合。

6.如权利要求1至5其中任一所述的云端大数据数据库快捷建立索引系统，其特征在于，该暂存索引表、该快取索引表及该新建索引表的数据结构为平衡树。

Images