CN111143460A - 基于大数据的经济领域的数据的检索方法、装置与处理器 - Google Patents

Abstract

本申请提供了一种基于大数据的经济领域的数据的检索方法、装置、存储介质与处理器。该检索方法包括：封装预定数据库和预定搜索引擎，形成搜索引擎数据库，搜索引擎数据库具有查询接口；搜索引擎数据库通过查询接口接收用户的请求并对用户的请求进行解析，得到解析结果；根据解析结果确定预定搜索引擎的第一标识和预定数据库的第二标识；根据第一标识与对应的第二标识，确定用户的请求的检索结果。该方法综合第一标识和第二标识提高了预定数据库的关键词检索的速度，并且在预定数据库的关键词检索的速度较快的情况下，实现了较大的数据吞吐量。

Description

基于大数据的经济领域的数据的检索方法、装置与处理器

技术领域

本申请涉及大数据领域，具体而言，涉及一种基于大数据的经济领域的数据的检索方法、装置、存储介质与处理器。

背景技术

大数据环境下，传统hbase分布式列存储数据库，虽然能支持超大规模数据的存储以及提取，但其基于关键词的检索速度慢。

在背景技术部分中公开的以上信息只是用来加强对本文所描述技术的背景技术的理解，因此，背景技术中可能包含某些信息，这些信息对于本领域技术人员来说并未形成在本国已知的现有技术。

发明内容

本申请的主要目的在于提供一种基于大数据的经济领域的数据的检索方法、装置、存储介质与处理器，以解决现有技术中分布式列存储数据库的关键词检索速度慢的问题。

为了实现上述目的，根据本申请的一个方面，提供了一种基于大数据的经济领域的数据的检索方法，该方法包括：封装预定数据库和预定搜索引擎，形成搜索引擎数据库，所述搜索引擎数据库具有查询接口；所述搜索引擎数据库通过所述查询接口接收用户的请求并对所述用户的请求进行解析，得到解析结果；根据所述解析结果确定所述预定搜索引擎的第一标识和所述预定数据库的第二标识；根据所述第一标识与对应的所述第二标识，确定所述用户的请求的检索结果。

进一步地，所述用户的请求为所述用户预定查询的语句，所述搜索引擎数据库通过所述查询接口接收用户的请求并对所述用户的请求进行解析，包括：所述搜索引擎数据库对所述语句进行解析，得到所述解析结果。

进一步地，所述第一标识为数据主键，所述第二标识为二进制码流，根据所述解析结果确定所述预定搜索引擎的第一标识和所述预定数据库的第二标识，包括：根据所述解析结果确定所述预定搜索引擎的数据主键和所述预定数据库的二进制码流，根据所述第二标识与对应的所述第一标识，确定所述用户的请求的检索结果，包括：将所述数据主键与所述二进制码流相对应，确定所述用户预定查询的语句的检索结果。

进一步地，确定所述数据主键之后，所述检索方法还包括：将所述数据主键划分为预定数量的数据组；使用多线程对多个所述数据组同时进行查询，得到查询结果，根据所述第一标识与对应的所述第二标识，确定所述用户的请求的检索结果，包括：根据所述查询结果与对应的所述第二标识相对应，确定所述用户的请求的检索结果。

进一步地，接收用户的请求之后，所述检索方法还包括：确定所述用户上一次的请求时间；根据所述上一次的所述请求时间限制所述用户在预定时间内的请求次数。

进一步地，接收用户的请求之后，所述检索方法还包括：确定所述用户查询的数据量的大小；在所述数据量超过预定阈值的情况下，确定拒绝所述用户访问；在所述数据量不超过所述预定阈值的情况下，确定允许所述用户访问。

进一步地，所述预定数据库为Hbase，所述预定搜索引擎为ElasticSearch。。

根据本申请的另一方面，提供了一种基于大数据的经济领域的数据的检索装置，该装置包括：封装单元，用于封装预定数据库和预定搜索引擎，形成搜索引擎数据库，所述搜索引擎数据库具有查询接口；解析单元，用于所述搜索引擎数据库通过所述查询接口接收用户的请求并对所述用户的请求进行解析，得到解析结果；第一确定单元，用于根据所述解析结果确定所述预定搜索引擎的第一标识和所述预定数据库的第二标识；第二确定单元，用于根据所述第一标识与对应的所述第二标识，确定所述用户的请求的检索结果。

根据本申请的另一方面，提供了一种存储介质，所述存储介质包括存储的程序，其中，所述程序执行中任意一种所述的检索方法。

根据本申请的另一方面，提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行中任意一种所述的检索方法。

应用本申请的技术方案，首先，封装预定数据库和预定搜索引擎，形成搜索引擎数据库，所述搜索引擎数据库具有查询接口；其次，所述搜索引擎数据库通过所述查询接口接收用户的请求并对所述用户的请求进行解析，得到解析结果；之后，根据所述解析结果确定所述预定搜索引擎的第一标识和所述预定数据库的第二标识；最后根据所述第一标识与对应的所述第二标识，确定所述用户的请求的检索结果。通过封装预定数据库和预定搜索引擎，形成搜索引擎数据库，通过搜索引擎数据库对用户的请求进行解析得到解析结果，再通过解析结果确定预定搜索引擎的第一标识和预定数据库的第二标识，综合第一标识和第二标识提高了预定数据库的关键词检索的速度，并且在预定数据库的关键词检索的速度较快的情况下，实现了较大的数据吞吐量。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1示出了根据本申请的实施例的一种基于大数据的经济领域的数据的检索方法流程图；以及

图2示出了根据本申请的实施例的一种基于大数据的经济领域的数据的检索装置示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应该理解的是，当元件(诸如层、膜、区域、或衬底)描述为在另一元件“上”时，该元件可直接在该另一元件上，或者也可存在中间元件。而且，在说明书以及权利要求书中，当描述有元件“连接”至另一元件时，该元件可“直接连接”至该另一元件，或者通过第三元件“连接”至该另一元件。

为了便于描述，以下对本申请实施例涉及的部分名词或术语进行说明：

Hbase：是一种分布式、面向列的开源数据库，Hbase不同于一般的数据库，它是一个适合于非结构化数据存储的数据库。

Solr：是一个独立的企业级搜索应用服务器，它对外提供类似于Web-service的API接口，用户可以通过http请求向搜索引擎服务器提交一定格式的XML文件，生成索引；也可以通过Http Get操作提出查找请求，并得到XML格式的返回结果。

ElasticSearch：是一种基于Lucene的搜索服务器，它提供了一个分布式多用户能力的全文搜索引擎，是一种流行的企业级搜索引擎。

中文分词：是中文信息处理的一个基础环节，已被广泛应用于中文文本处理、信息提取、文本挖掘等的应用中。

数据库主键：指的是一个列或多列的组合，其值能唯一地标识表中的每一行，通过它可强制表的实体完整性，主键主要是用与其他表的外键关联，以及本记录的修改和删除。

Rowkey：Hbase的一种二进制码流，可以是任意字符串，最大长度64kb，实际应用中一般为10-100bytes，以byte[]形式保存，一般设计成定长。

正如背景技术中所介绍的，现有技术中分布式列存储数据库，基于关键词的检索速度慢，为解决分布式列存储数据库的关键词检索速度慢的问题，本申请的一种典型的实施例提供了一种基于大数据的经济领域的数据的检索方法、装置、存储介质与处理器。

根据本申请的实施例，提供了一种基于大数据的经济领域的数据的检索方法。图1是根据本申请实施例的基于大数据的经济领域的数据的检索方法的流程图。如图1所示，该方法包括以下步骤：

步骤S101，封装预定数据库和预定搜索引擎，形成搜索引擎数据库，上述搜索引擎数据库具有查询接口；

步骤S102，上述搜索引擎数据库通过上述查询接口接收用户的请求并对上述用户的请求进行解析，得到解析结果；

步骤S103，根据上述解析结果确定上述预定搜索引擎的第一标识和上述预定数据库的第二标识；

步骤S104，根据上述第一标识与对应的上述第二标识，确定上述用户的请求的检索结果。

上述方案中，首先，封装预定数据库和预定搜索引擎，形成搜索引擎数据库，上述搜索引擎数据库具有查询接口，其次，上述搜索引擎数据库通过上述查询接口接收用户的请求并对上述用户的请求进行解析，得到解析结果，之后，根据上述解析结果确定上述预定搜索引擎的第一标识和上述预定数据库的第二标识，最后根据上述第一标识与对应的上述第二标识，确定上述用户的请求的检索结果。通过封装预定数据库和预定搜索引擎，形成搜索引擎数据库，通过搜索引擎数据库对用户的请求进行解析得到解析结果，再通过解析结果确定预定搜索引擎的第一标识和预定数据库的第二标识，综合第一标识和第二标识提高了预定数据库的关键词检索的速度，并且在预定数据库的关键词检索的速度较快的情况下，实现了较大的数据吞吐量。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请的一种实施例中，上述用户的请求为上述用户预定查询的语句，上述搜索引擎数据库通过上述查询接口接收用户的请求并对上述用户的请求进行解析，包括：上述搜索引擎数据库对上述语句进行解析，得到上述解析结果。即用户进行查询时，引擎数据库的统一查询接口接收到用户的请求，解析用户的查询语句，并转化为elasticsearch的查询语句，得到解析的结果，这样就可以对用户的请求进行解析，得到的解析结果在后续可以为检索的结果提供用户的请求数据。

本申请的一种实施例中，上述第一标识为数据主键，上述第二标识为二进制码流，根据上述解析结果确定上述预定搜索引擎的第一标识和上述预定数据库的第二标识，包括：根据上述解析结果确定上述预定搜索引擎的数据主键和上述预定数据库的二进制码流，根据上述第二标识与对应的上述第一标识，确定上述用户的请求的检索结果，包括：将上述数据主键与上述二进制码流相对应，确定上述用户预定查询的语句的检索结果。ElasticSearch只存储数据的分词信息，不存储原始数据，保证文件的检索速度，并降低存储要求。Hbase存储数据的原始信息，hbase的rowkey与elasticsearch的主键相互对应，因为hbase根据主键检索速度很快。并且从elasticsearch中检索出全部数据的数据主键，这样就可以在用户请求时，可以更加高效地确定检索的结果。

本申请的一种实施例中，确定上述数据主键之后，上述检索方法还包括：将上述数据主键划分为预定数量的数据组，使用多线程对多个上述数据组同时进行查询，得到查询结果，根据上述第一标识与对应的上述第二标识，确定上述用户的请求的检索结果，包括：根据上述查询结果与对应的上述第二标识相对应，确定上述用户的请求的检索结果。即从elasticsearch中检索出全部数据的数据主键之后，由于hbase存储的机制导致，有序的数据查询能够提高查询速度，因此对检索出来的数据主键进行排查并按照固定个数进行切分，切分完成后使用多线程对多块数据同时进行查询导出，可以提高资源使用的效率来提高系统的效率，降低了系统的负载，全部完成后返回给用户，这样就可以确定用户的请求的检索结果。

本申请的一种实施例中，接收用户的请求之后，上述检索方法还包括：确定上述用户上一次的请求时间，根据上述上一次的上述请求时间限制上述用户在预定时间内的请求次数。即在统一查询接口在接收到用户的请求信息时，会判断用户上一次的请求时间，在单位时间内限制用户的请求次数，这样就可以在预定时间内，得到用户每一次请求的时间和次数，并且在后续可以根据预定时间内用户的请求和次数来判断用户是否可以访问。

需要说明的是，上述的预定时间可以根据实际情况来确定，例如可以选择12小时内，还可以选择其他合适的范围。

本申请的一种实施例中，接收用户的请求之后，上述检索方法还包括：确定上述用户查询的数据量的大小，在上述数据量超过预定阈值的情况下，确定拒绝上述用户访问，在上述数据量不超过上述预定阈值的情况下，确定允许上述用户访问。即根据查询语句判断用户查询的数据量大小，如果超过规定阀值则拒绝用户访问，这样就可以控制用户的请求次数，提高了系统的利用率。

上述的预定阈值可以根据实际情况来确定，例如可以选择100，在用户查询的数据量大于100的情况下，就拒绝用户访问，用户查询的数据量小于等于100的情况下，允许用户访问。

本申请的又一种实施例中，上述预定数据库为Hbase，上述预定搜索引擎为ElasticSearch。Hbase是一种分布式、面向列的开源数据库，Hbase不同于一般的数据库，它是一个适合于非结构化数据存储的数据库，Hbase是基于列的并不是基于行的，ElasticSearch是一种基于Lucene的搜索服务器，它提供了一个分布式多用户能力的全文搜索引擎，是一种流行的企业级搜索引擎，是一个实时的分布式搜索和分析引擎，可以用更快更稳定的速度处理大规模的数据，Elasticseatch+Hbase可以保证大数据检索与数据量吞吐的平衡。

本申请实施例还提供了一种基于大数据的经济领域的数据的检索装置，需要说明的是，本申请实施例的大数据的经济领域的数据的检索装置可以用于执行本申请实施例所提供的用于大数据的经济领域的数据的检索方法。以下对本申请实施例提供的大数据的经济领域的数据的检索装置进行介绍。

图2是根据本申请实施例的大数据的经济领域的数据的检索装置的示意图。如图2所示，该装置包括：

封装单元10，用于封装预定数据库和预定搜索引擎，形成搜索引擎数据库，上述搜索引擎数据库具有查询接口；

解析单元20，用于上述搜索引擎数据库通过上述查询接口接收用户的请求并对上述用户的请求进行解析，得到解析结果；

第一确定单元30，用于根据上述解析结果确定上述预定搜索引擎的第一标识和上述预定数据库的第二标识；

第二确定单元40，用于根据上述第一标识与对应的上述第二标识，确定上述用户的请求的检索结果。

上述的装置中，封装单元封装预定数据库和预定搜索引擎，形成搜索引擎数据库，上述搜索引擎数据库具有查询接口，解析单元对上述搜索引擎数据库通过上述查询接口接收用户的请求并对上述用户的请求进行解析，得到解析结果，第一确定单元根据上述解析结果确定上述预定搜索引擎的第一标识和上述预定数据库的第二标识，第二确定单元根据上述第一标识与对应的上述第二标识，确定上述用户的请求的检索结果。通过封装预定数据库和预定搜索引擎，形成搜索引擎数据库，通过搜索引擎数据库对用户的请求进行解析得到解析结果，再通过解析结果确定预定搜索引擎的第一标识和预定数据库的第二标识，综合第一标识和第二标识提高了预定数据库的关键词检索的速度，并且在预定数据库的关键词检索的速度较快的情况下，实现了较大的数据吞吐量。

本申请的一种实施例中，解析单元包括解析模块，用于上述搜索引擎数据库对上述语句进行解析，得到上述解析结果，上述用户的请求为上述用户预定查询的语句，即用户进行查询时，引擎数据库的统一查询接口接收到用户的请求，解析用户的查询语句，并转化为elasticsearch的查询语句，得到解析的结果，这样就可以对用户的请求进行解析，得到的解析结果在后续可以为检索的结果提供用户的请求数据。。

本申请的一种实施例中，第一确定单元包括第一确定模块，用于根据上述解析结果确定上述预定搜索引擎的数据主键和上述预定数据库的二进制码流，上述第一标识为数据主键，上述第二标识为二进制码流，第二确定单元包括第二确定模块，用于将上述数据主键与上述二进制码流相对应，确定上述用户预定查询的语句的检索结果。ElasticSearch只存储数据的分词信息，不存储原始数据，保证文件的检索速度，并降低存储要求。Hbase存储数据的原始信息，hbase的rowkey与elasticsearch的主键相互对应，因为hbase根据主键检索速度很快。并且从elasticsearch中检索出全部数据的数据主键，这样就可以在用户请求时，可以更加高效地确定检索的结果。

本申请的一种实施例中，上述装置还包括划分单元，查询单元和第一确定子模块，其中，划分单元用于确定上述数据主键之后，将上述数据主键划分为预定数量的数据组，查询单元用于使用多线程对多个上述数据组同时进行查询，得到查询结果，第一确定子模块用于根据上述查询结果与对应的上述第二标识相对应，确定上述用户的请求的检索结果。即从elasticsearch中检索出全部数据的数据主键之后，由于hbase存储的机制导致，有序的数据查询能够提高查询速度，因此对检索出来的数据主键进行排查并按照固定个数进行切分，切分完成后使用多线程对多块数据同时进行查询导出，可以提高资源使用的效率来提高系统的效率，降低了系统的负载，全部完成后返回给用户，这样就可以确定用户的请求的检索结果。

本申请的一种实施例中，上述装置还包括第三确定单元和限制单元，其中第三确定单元用于接收用户的请求之后，确定上述用户上一次的请求时间，限制单元用于根据上述上一次的上述请求时间限制上述用户在预定时间内的请求次数。即在统一查询接口在接收到用户的请求信息时，会判断用户上一次的请求时间，在单位时间内限制用户的请求次数，这样就可以在预定时间内，得到用户每一次请求的时间和次数，并且在后续可以根据预定时间内用户的请求和次数来判断用户是否可以访问。

需要说明的是，上述的预定时间可以根据实际情况来确定，例如可以选择12小时、6小时或者1小时，还可以选择其他合适的范围。

本申请的一种实施例中，上述装置还包括第四确定单元、第五确定单元和第六确定单元，第四确定单元用于接收用户的请求之后，确定上述用户查询的数据量的大小，第五确定单元用于在上述数据量超过预定阈值的情况下，确定拒绝上述用户访问，第六确定单元用于在上述数据量不超过上述预定阈值的情况下，确定允许上述用户访问。即根据查询语句判断用户查询的数据量大小，如果超过规定阀值则拒绝用户访问，这样就可以控制用户的请求次数，提高了系统的利用率。

上述的预定阈值可以根据实际情况来确定，例如可以选择100，在用户查询的数据量大于100的情况下，就拒绝用户访问，用户查询的数据量小于等于100的情况下，允许用户访问。

本申请的又一种实施例中，上述预定数据库为Hbase，上述预定搜索引擎为ElasticSearch。Hbase是一种分布式、面向列的开源数据库，Hbase不同于一般的数据库，它是一个适合于非结构化数据存储的数据库，Hbase是基于列的并不是基于行的，ElasticSearch是一种基于Lucene的搜索服务器，它提供了一个分布式多用户能力的全文搜索引擎，是一种流行的企业级搜索引擎，是一个实时的分布式搜索和分析引擎，可以用更快更稳定的速度处理大规模的数据，Elasticseatch+Hbase可以保证大数据检索与数据量吞吐的平衡。

上述基于大数据的经济领域的数据的检索装置包括处理器和存储器，上述封装单元，解析单元，第一确定单元和第二确定单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来提高分布式列存储数据库的关键词检索速度。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现上述基于大数据的经济领域的数据的检索方法。

本发明实施例提供了一种处理器，上述处理器用于运行程序，其中，上述程序运行时执行上述基于大数据的经济领域的数据的检索方法。

本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现至少以下步骤：

步骤S101，封装预定数据库和预定搜索引擎，形成搜索引擎数据库，上述搜索引擎数据库具有查询接口；

步骤S102，上述搜索引擎数据库通过上述查询接口接收用户的请求并对上述用户的请求进行解析，得到解析结果；

步骤S103，根据上述解析结果确定上述预定搜索引擎的第一标识和上述预定数据库的第二标识；

步骤S104，根据上述第一标识与对应的上述第二标识，确定上述用户的请求的检索结果。

本文中的设备可以是服务器、PC、PAD、手机等。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有至少如下方法步骤的程序：

步骤S101，封装预定数据库和预定搜索引擎，形成搜索引擎数据库，上述搜索引擎数据库具有查询接口；

步骤S102，上述搜索引擎数据库通过上述查询接口接收用户的请求并对上述用户的请求进行解析，得到解析结果；

步骤S103，根据上述解析结果确定上述预定搜索引擎的第一标识和上述预定数据库的第二标识；

步骤S104，根据上述第一标识与对应的上述第二标识，确定上述用户的请求的检索结果。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

实施例

该实施例中涉及一种唯一主键生成算法，具体包括如下步骤：

步骤A：生成数据的MD5值；

数据的MD5值是唯一的，不同数据的MD5值不同，MD5值为32位的字母加数字组合例如：e10adc3949ba59abbe56e057f20f883e；

步骤B：生成数据的MD5值的哈希值，并取得此哈希值的绝对值；

哈希值是一个随机整数值，相同的数据生成的哈希值唯一。例如，e10adc3949ba59abbe56e057f20f883e的哈希值的绝对值为60；

步骤C：定义为一数组列表，此数组为a-z加0-9组成36位固定数组；

步骤D：生成的哈希值对36取余数，得到此哈希值对应数据的唯一下标，例如60对36取余数，获取的下标为24，对应数组内的字符为x；

步骤E：确定每条数据的生成时间，每条数据必须存在数据生成时间，如果没有则默认为系统当前时间，例如数据对应的时间为2019-11-12 18:55:55；

步骤F：根据规则数组内字符+#+、日期的+#+、数据的MD5编码值确定数据对应的唯一主键，例如此数据对应的唯一主键(key)为：x#20191112#e10adc3949ba59abbe56e057f20f883e。

上述主键生成算法，可根据数据数据逆向推算此数据对应的key值，同时可根据key值寻找到此数据，随机产出key，可保证数据均匀分配的同时，能根据时间快速检索数据，提高范围时间内的数据吞吐量。

从以上的描述中，可以看出，本申请上述的实施例实现了如下技术效果：

1)、本申请的基于大数据的经济领域的数据的检索方法，首先，封装预定数据库和预定搜索引擎，形成搜索引擎数据库，上述搜索引擎数据库具有查询接口；其次，上述搜索引擎数据库通过上述查询接口接收用户的请求并对上述用户的请求进行解析，得到解析结果；之后，根据上述解析结果确定上述预定搜索引擎的第一标识和上述预定数据库的第二标识；最后根据上述第一标识与对应的上述第二标识，确定上述用户的请求的检索结果。通过封装预定数据库和预定搜索引擎，形成搜索引擎数据库，通过搜索引擎数据库对用户的请求进行解析得到解析结果，再通过解析结果确定预定搜索引擎的第一标识和预定数据库的第二标识，综合第一标识和第二标识提高了预定数据库的关键词检索的速度，并且在预定数据库的关键词检索的速度较快的情况下，实现了较大的数据吞吐量。

2)、本申请的基于大数据的经济领域的数据的检索装置，封装单元封装预定数据库和预定搜索引擎，形成搜索引擎数据库，上述搜索引擎数据库具有查询接口；解析单元对上述搜索引擎数据库通过上述查询接口接收用户的请求并对上述用户的请求进行解析，得到解析结果；第一确定单元根据上述解析结果确定上述预定搜索引擎的第一标识和上述预定数据库的第二标识；第二确定单元根据上述第一标识与对应的上述第二标识，确定上述用户的请求的检索结果。通过封装预定数据库和预定搜索引擎，形成搜索引擎数据库，通过搜索引擎数据库对用户的请求进行解析得到解析结果，再通过解析结果确定预定搜索引擎的第一标识和预定数据库的第二标识，综合第一标识和第二标识提高了预定数据库的关键词检索的速度，并且在预定数据库的关键词检索的速度较快的情况下，实现了较大的数据吞吐量。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于大数据的经济领域的数据的检索方法，其特征在于，包括：

封装预定数据库和预定搜索引擎，形成搜索引擎数据库，所述搜索引擎数据库具有查询接口；

所述搜索引擎数据库通过所述查询接口接收用户的请求并对所述用户的请求进行解析，得到解析结果；

根据所述解析结果确定所述预定搜索引擎的第一标识和所述预定数据库的第二标识；

根据所述第一标识与对应的所述第二标识，确定所述用户的请求的检索结果。

2.根据权利要求1所述的检索方法，其特征在于，所述用户的请求为所述用户预定查询的语句，所述搜索引擎数据库通过所述查询接口接收用户的请求并对所述用户的请求进行解析，包括：

所述搜索引擎数据库对所述语句进行解析，得到所述解析结果。

3.根据权利要求1所述的检索方法，其特征在于，所述第一标识为数据主键，所述第二标识为二进制码流，

根据所述解析结果确定所述预定搜索引擎的第一标识和所述预定数据库的第二标识，包括：

根据所述解析结果确定所述预定搜索引擎的数据主键和所述预定数据库的二进制码流，

根据所述第二标识与对应的所述第一标识，确定所述用户的请求的检索结果，包括：

将所述数据主键与所述二进制码流相对应，确定所述用户预定查询的语句的检索结果。

4.根据权利要求3所述的检索方法，其特征在于，确定所述数据主键之后，所述检索方法还包括：

将所述数据主键划分为预定数量的数据组；

使用多线程对多个所述数据组同时进行查询，得到查询结果，根据所述第一标识与对应的所述第二标识，确定所述用户的请求的检索结果，包括：

根据所述查询结果与对应的所述第二标识相对应，确定所述用户的请求的检索结果。

5.根据权利要求1所述的检索方法，其特征在于，接收用户的请求之后，所述检索方法还包括：

确定所述用户上一次的请求时间；

根据所述上一次的所述请求时间限制所述用户在预定时间内的请求次数。

6.根据权利要求1所述的检索方法，其特征在于，接收用户的请求之后，所述检索方法还包括：

确定所述用户查询的数据量的大小；

在所述数据量超过预定阈值的情况下，确定拒绝所述用户访问；

在所述数据量不超过所述预定阈值的情况下，确定允许所述用户访问。

7.根据权利要求1至6中任一项所述的检索方法，其特征在于，所述预定数据库为Hbase，所述预定搜索引擎为ElasticSearch。

8.一种基于大数据的经济领域的数据的检索装置，其特征在于，包括：

封装单元，用于封装预定数据库和预定搜索引擎，形成搜索引擎数据库，所述搜索引擎数据库具有查询接口；

解析单元，用于所述搜索引擎数据库通过所述查询接口接收用户的请求并对所述用户的请求进行解析，得到解析结果；

第一确定单元，用于根据所述解析结果确定所述预定搜索引擎的第一标识和所述预定数据库的第二标识；

第二确定单元，用于根据所述第一标识与对应的所述第二标识，确定所述用户的请求的检索结果。

9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序执行权利要求1至7中任意一项所述的检索方法。

10.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至7中任意一项所述的检索方法。

Images