CN108804502A - 大数据查询系统、方法、计算机设备及存储介质 - Google Patents

Abstract

本发明属于大数据查询领域，特别涉及一种大数据查询系统、方法、计算机设备及存储介质。大数据查询系统包括数据显示模块、数据缓存模块、数据处理模块、数据搜索模块以及数据源模块，数据搜索模块在数据源模块中搜索并保存数据，数据搜索模块，用于在数据源模块中搜索数据，并保存数据；数据显示模块，用于未查询到数据时将数据查询请求发送至数据处理模块；数据处理模块，用于根据数据查询请求在数据搜索模块中查询数据，将查询到的数据通过数据显示模块进行显示，并将查询到的数据发送数据缓存模块，本发明方案能够基于索引保存数据，并将查询数据缓存到数据缓存模块，可以满足高并发及低延迟查询。

Description

大数据查询系统、方法、计算机设备及存储介质

技术领域

本发明涉及大数据查询领域，尤其涉及一种大数据查询系统、方法、计算机设备及存储介质。

背景技术

目前基于大数据平台的报表服务，主要是将数据从Hadoop导出到关系型数据库如Oracle、Microsoft Access、MySQL，再使用Cognos分析并汇总得出报告，建立模型，生成报表。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System)，简称HDFS，HDFS为海量的数据提供了存储。Cognos是在BI核心平台之上，以服务为导向进行架构的一种数据模型，它可以提供无缝密合的报表、分析、记分卡、仪表盘等解决方案，通过提供所有的系统和资料资源，以简化公司各员工处理资讯的方法。从Hadoop导出数据到关系型数据库再用Cognos刷模型，当需查询的报表多或者有重复查询的情况时，生成报表时间长、效率低，因此，现有技术中大数据报表服务不具备高并发低延迟查询的功能，使得工作效率低。

发明内容

本发明的目的在于提供一种大数据查询系统、方法、设备及存储介质，能够实现将底层数据存储在数据搜索模块中，设计数据内存缓存机制，将已经访问过的数据存储在数据缓存模块中，支持低延迟查询。

本发明是这样实现的，本发明第一方面提供一种大数据查询系统，所述大数据查询系统包括数据显示模块、数据缓存模块、数据处理模块、数据搜索模块以及数据源模块，所述数据源模块、所述数据搜索模块以及所述数据处理模块依次连接，所述数据处理模块分别连接所述数据显示模块和所述数据缓存模块，所述数据显示模块和所述数据缓存模块连接；

所述数据源模块，用于存储数据；

所述数据搜索模块，用于通过数据接口在所述数据源模块中搜索数据，并保存数据；

所述数据显示模块，用于获取数据查询请求，根据所述数据查询请求在所述数据缓存模块中查询数据，并将查询到的数据进行显示；

所述数据显示模块，还用于未查询到数据时将所述数据查询请求发送至所述数据处理模块；

所述数据处理模块，用于根据所述数据查询请求在所述数据搜索模块中查询数据，将查询到的数据通过所述数据显示模块进行显示，并将查询到的数据发送给所述数据缓存模块；

所述数据缓存模块，用于缓存所述数据处理模块发送的数据。

本发明第二方面提供一种大数据查询系统的查询方法，所述大数据查询系统包括数据显示模块、数据缓存模块、数据处理模块、数据搜索模块以及数据源模块，所述查询方法包括：

所述数据搜索模块通过数据接口在所述数据源模块中搜索数据，并保存数据；

所述数据显示模块获取数据查询请求，并根据所述数据查询请求判断所述数据缓存模块是否存储待查询数据，当所述数据缓存模块中存储所述待查询数据时，提取所述待查询数据并进行显示；

当所述数据缓存模块中不存在所述待查询数据时，所述数据显示模块将所述数据查询请求发送至所述数据处理模块；

所述数据处理模块根据所述数据查询请求通过所述数据搜索模块搜索数据，将查询到的数据通过所述数据显示模块进行显示，并将所述查询数据发送给所述数据缓存模块。

本发明第三方面提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明第二方面所述查询方法的步骤。

本发明第四方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本发明第二方面所述查询方法的步骤。

本发明提供一种大数据查询系统、方法、设备及存储介质，大数据查询系统包括数据显示模块、数据缓存模块、数据处理模块、数据搜索模块以及数据源模块，数据搜索模块通过数据接口在数据源中搜索数据并保存数据，数据显示模块获取数据查询请求，根据数据查询请求判断数据缓存模块中是否存储待查询数据，当数据缓存模块中存储待查询数据时，提取待查询数据并进行显示，当数据缓存模块中不存在待查询数据时，数据显示模块将数据查询请求发送至数据处理模块，数据处理模块根据数据查询请求通过数据搜索模块搜索数据，将查询到的数据通过数据显示模块进行显示，并将查询数据发送给数据缓存模块，实现了对数据的快速搜索，并将数据保存至数据缓存中，当查询请求多或者重复查询相同数据时，可以快速从数据缓存中查询到数据，实现高并发低延迟查询。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一种实施例提供的一种大数据查询系统的结构示意图；

图2是图1中数据显示模块15的具体结构示意图；

图3是图1中数据处理模块13的具体结构示意图；

图4是本发明一种实施例提供的一种大数据查询系统的结构具体组成示意图；

图5是是本发明第二实施例提供的一种大数据查询系统的查询方法的流程图；

图6是本发明第三实施例提供的计算机设备的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了说明本发明的技术方案，下面通过具体实施例来进行说明。

实施例1

本发明第一实施例提供一种大数据查询系统，如图1所示，大数据查询系统1包括数据显示模块15、数据缓存模块14、数据处理模块13、数据搜索模块12以及数据源模块11，所述数据源模块11、所述数据搜索模块12以及所述数据处理模块13依次连接，所述数据处理模块13分别连接所述数据显示模块15和所述数据缓存模块14，所述数据显示模块15和所述数据缓存模块14连接；

所述数据源模块11，用于存储数据。

其中，数据源模块11是指存储有各种数据类型数据的模块，数据源模块11可以包括一个或多个不同的数据存储介质，例如，数据源模块11可以是hbase、hive、hdfs或mysql其中一种，也可以包括hbase、hive、hdfs及mysql。

所述数据搜索模块12，用于通过数据接口在所述数据源模块11中搜索并保存数据；

其中，数据搜索模块12是用于搜索数据，对搜索数据进行整理并保存数据的的模块，例如，数据搜索模块12可以是Elasticsearch集群，数据接口是指可以进行数据传输的接口，例如数据接口可以是API接口，数据源模块11是指存储有各种数据类型数据的模块，数据源模块11可以包括一个或多个不同的数据存储介质，例如，数据源模块11可以是hbase、hive、hdfs或mysql其中一种，也可以包括hbase、hive、hdfs及mysql。通过设置数据搜索模块12，可以实现搜索数据源获取搜索数据，并保存数据。

具体的，例如，获取用户查询请求之前，数据搜索模块12Elasticsearch通过数据接口搜索包括hbase、hive、hdfs及mysql的数据源模块11中的数据，并保存数据。例如，数据搜索模块12Elasticsearch通过数据接口API搜索数据源模块11mysql中的数据，对搜索到的数据进行预处理后并保存数据，Elasticsearch对数据的预处理可以是对数据进行生成倒排索引、进行中文分词、完成自动分布式存储和备份等处理，Elasticsearch搜索到mysql中用户A的数据后处理并生成索引，用户A的数据包括用户ID为001，用户性别为男，用户注册日期为“2018-01-01”，Elasticsearch创建user索引，user索引具体为document＝“userA”，ID＝“001”，gender＝“0”，postdat＝“2018-01-01”，gender代表用户性别，“0”表示男性，“1”表示女性，postdat代表注册日期，ID代表用户ID。

所述数据显示模块15，用于获取数据查询请求，根据所述数据查询请求在所述数据缓存模块14中查询数据，并将查询到的数据进行显示；

其中，数据显示模块15是指可以显示查询数据的模块，例如，数据显示模块15可以是Web页面的方式或者使用移动终端的方式进行数据的展现，数据查询请求是指用户发起的查询相关数据的请求，例如，数据查询请求可以是用户A查询用户个人资料的请求，数据缓存模块14是指用来缓存数据的模块，缓存的数据可以是查询过的数据，例如，数据缓存模块14可以是Redis缓存，待查询数据是指用户请求查询的数据，例如，待查询数据可以是用户个人资料数据。在数据缓存模块14中查询数据是指判断数据缓存模块14是否缓存了用户发起查询请求的数据，例如，可以根据用户数据查询请求的目标键名，判断目标键名是否存在数据缓存模块14中的键名列表中。通过设置数据显示模块15，可以实现获取用户的数据查询请求，当用户发起重复数据查询请求时，对缓存数据快速进行提取并进行显示。

具体的，例如，数据显示模块15获取到用户A的数据查询请求，数据查询请求的内容为查询用户A的个人资料，解析用户A的数据查询请求获得查询的目标键名，目标键名为用户A的ID，例如用户A的ID＝“001”，获取数据缓存模块14Redis缓存中的键名列表，在Redis缓存中的键名列表中匹配是否存在用户A查询的目标键名，当键名列表中存在目标键名时，判定数据缓存模块14Redis缓存中存在待查询数据，也就是Redis缓存中存在用户A的个人资料数据，用户A的个人资料包括ID＝“001”，gender＝“0”，postdat＝“2018-01-01”，gender代表用户性别，“0”表示男性，“1”表示女性，postdat代表注册日期，ID代表用户ID。数据显示模块15提取Redis缓存中用户A的个人资料数据并进行显示。

所述数据显示模块15，还用于未查询到数据时将所述数据查询请求发送至所述数据处理模块13；

其中，数据显示模块15是指可以显示查询数据的模块，例如，数据显示模块15可以是Web页面的方式或者使用移动终端的方式进行数据的展现，数据处理模块13是指对查询数据进行分析的模块，例如，数据处理模块13可以是Spark，数据查询请求是指用户发起的查询相关数据的请求，例如，数据查询请求可以是用户A查询用户个人资料的请求。通过设置本步骤，可以实现对首次查询数据请求的处理，进行数据查询。

具体的，例如，数据显示模块15获取到用户B的数据查询请求，数据查询请求的内容为查询用户B的个人资料，解析用户B的数据查询请求获得查询的目标键名，目标键名为用户B的ID，例如用户B的ID＝“002”，获取数据缓存模块14Redis缓存中的键名列表，在Redis缓存中的键名列表中匹配是否存在用户B查询的目标键名，当键名列表中不存在目标键名时，判定数据缓存模块14Redis缓存中不存在待查询数据，也就是Redis缓存中不存在用户B的个人资料数据，将用户B的数据查询请求发送给数据处理模块13Spark。

所述数据处理模块13，用于根据所述数据查询请求在所述数据搜索模块12中查询数据，将查询到的数据通过所述数据显示模块15进行显示，并将查询到的数据发送给所述数据缓存模块14。

其中，数据处理模块13是指对查询数据进行分析的模块，例如，数据处理模块13可以是Spark，数据查询请求是指用户发起的查询相关数据的请求，例如，数据查询请求可以是用户A查询用户个人资料的请求，数据搜索模块12是指搜索数据源模块11中数据，并保存搜索数据的模块，例如，数据搜索模块12可以是Elasticsearch，数据显示模块15是指显示查询数据的模块，例如，数据显示模块15可以是Web页面的方式或者使用移动终端的方式进行数据的展现，数据缓存模块14是指用来缓存数据的模块，缓存的数据可以是查询过的数据，例如，数据缓存模块14可以是Redis缓存，查询数据是指根据数据查询请求查询得到的数据，通过设置数据处理模块13，可以实现根据数据查询请求搜索数据进行显示，并将查询数据缓存至缓存模块中，达到重复低延迟查询。

具体的，例如，Spark获取到数据显示模块15转发的用户B的数据查询请求，数据查询请求的内容为查询用户B的个人资料，解析用户B的数据查询请求得到用户B的ID及请求类型为用户资料，将用户B的ID及请求类型发送至Elasticsearch，Elasticsearch根据用户B的ID及请求类型通过数据接口在mysql中搜索到用户B的个人资料数据并保存用户B的个人资料数据，用户B的个人资料数据包括ID＝“002”，gender＝“1”，postdat＝“2018-02-01”，gender代表用户性别，“0”表示男性，“1”表示女性，postdat代表注册日期，将用户B的个人资料数据发送至数据显示模块15进行显示，并将用户B的个人资料数据发送至Redis缓存中进行保存。

所述数据缓存模块14，用于缓存所述数据处理模块13发送的数据。

其中，数据缓存模块14是指用来缓存数据的模块，缓存的数据可以是查询过的数据，例如，数据缓存模块14可以是Redis缓存，数据处理模块13是指对查询数据进行分析的模块，例如，数据处理模块13可以是Spark。通过设置数据缓存模块14，可以实现对查询过的数据进行缓存，进行重复查询可以实现低延迟查询。

本发明提供一种大数据查询系统，大数据查询系统1包括数据显示模块15、数据缓存模块14、数据处理模块13、数据搜索模块12以及数据源模块11，数据搜索模块12通过数据接口在数据源中搜索数据并保存数据，数据显示模块15获取数据查询请求，根据数据查询请求判断数据缓存模块14中是否存储待查询数据，当数据缓存模块14中存储待查询数据时，提取待查询数据并进行显示，当数据缓存模块14中不存在待查询数据时，数据显示模块15将数据查询请求发送至数据处理模块13，数据处理模块13根据数据查询请求通过数据搜索模块12搜索数据，将查询到的数据通过数据显示模块15进行显示，并将查询数据发送给数据缓存模块14，实现了对数据的快速搜索，并将数据保存至数据缓存中，当查询请求多或者重复查询相同数据时，可以快速从数据缓存中查询到数据，实现高并发低延迟查询。

作为本实施例的一种实施方式，所述数据搜索模块12为Elasticsearch，所述数据源模块11包括hbase、hive、hdfs以及mysql；

所述数据搜索模块12通过数据接口在所述数据源模块11中搜索数据，并保存数据，包括：

所述Elasticsearch通过数据接口在所述hbase、所述hive、所述hdfs以及所述mysql获取搜索数据，并根据所述搜索数据生成索引，并保存所述索引及数据。

其中，Elasticsearch是一个基于Lucene的搜索服务器，它提供了一个分布式多用户能力的全文搜索引擎，hbase是指hbase数据库，hbase是一个分布式的、面向列的开源数据库，hive是指hive数据仓库工具，可以将结构化的数据文件映射为一张数据库表，hdfs是指hdfs分布式文件系统，mysql是指mysql数据库，索引是指Elasticsearch根据数据建立的索引，索引可以包含多个文档类型，文档类型是文档的集合。通过将数据搜索模块12设置为Elasticsearch，可以实现将搜索数据源获取搜索数据，根据搜索数据生成索引并保存索引及数据。

具体的，获取用户查询请求之前，Elasticsearch通过数据接口搜索包括hbase、hive、hdfs及mysql的数据源模块11中的数据，并保存数据。例如，Elasticsearch通过数据接口API搜索数据源模块11中mysql中的数据，对搜索到的数据进行预处理后并保存数据，Elasticsearch对数据的预处理可以是对数据进行生成倒排索引、进行中文分词、完成自动分布式存储和备份等处理，Elasticsearch搜索到mysql中用户A的数据后处理并生成索引，用户A的数据包括用户ID为001，用户性别为男，用户注册日期为“2018-01-01”，Elasticsearch创建user索引，user索引具体为document＝“userA”，ID＝“001”，gender＝“0”，postdat＝“2018-01-01”，gender代表用户性别，“0”表示男性，“1”表示女性，postdat代表注册日期，ID代表用户ID。

作为本实施例的一种实施方式，如图2所示，所述数据显示模块15包括缓存判断单元151和请求转发单元152；

所述缓存判断单元151，用于获取数据查询请求，并根据所述数据查询请求判断所述数据缓存模块14是否存储待查询数据，当所述数据缓存模块14中存储所述待查询数据时，提取查询数据并进行显示；

所述请求转发单元152，用于当所述数据缓存模块中不存在所述待查询数据时，将所述数据查询请求发送至所述数据处理模块13。

其中，缓存判断单元151是指用于判断数据缓存模块14是否存储待查询数据的单元，当在数据缓存模块14查询到待查询的数据时，提取查询数据并进行显示，例如可以是Web页面的方式或者使用移动终端的方式进行数据的展现，请求转发单元152是指用于转发数据查询请求的单元，当在数据缓存模块14查询不到待查询的数据时，将数据查询请求发送至所述数据处理模块13。

作为本实施例的一种实施方式，所述缓存判断单元151解析所述数据查询请求获得目标键名，获取所述数据缓存模块14的键名列表，在所述键名列表中匹配是否存在所述目标键名；

当所述键名列表中存在所述目标键名时，所述缓存判断单元判定所述数据缓存模块存储所述待查询数据；

当所述键名列表中不存在所述目标键名时，所述缓存判断单元判定所述数据缓存模块不存在所述待查询数据。

在上述步骤中，缓存判断单元151是指用于判断数据缓存模块14是否存储待查询数据的单元，数据查询请求是指用户发起的查询相关数据的请求，例如，数据查询请求可以是用户A查询用户个人资料的请求，目标键名是指解析用户数据查询请求得到的用户查询的目标名称，例如，目标键名可以是用户的ID，数据缓存模块14是指用来缓存数据的模块，缓存的数据可以是查询过的数据，例如，数据缓存模块14可以是Redis缓存，键名列表是指数据缓存模块14中保存的键名的集合，例如，键名列表可以是用户ID的列表，待查询数据是指用户请求查询的数据，例如，待查询数据可以是用户个人资料数据。通过设置上述步骤，可以实现获取用户的数据查询请求，当用户发起重复数据查询请求时，对缓存数据快速进行提取并进行显示。

作为本实施例的一种实施方式，如图3所示，所述数据处理模块13包括数据查询单元131和数据转发单元132；

所述数据查询单元131，用于解析所述数据查询请求获取查询键名，根据所述查询键名搜索所述数据搜索模块12中的查询索引并根据所述查询索引提取查询数据；

所述数据转发单元132，用于将查询到的数据通过所述数据显示模块15进行显示，并将所述查询数据发送给所述数据缓存模块14。

在以上步骤中，数据查询单元131是指根据数据查询请求搜索数据搜索模块12中的查询索引并根据所述查询索引提取查询数据的单元，数据查询请求是指用户发起的查询相关数据的请求，例如，数据查询请求可以是用户A查询用户个人资料的请求，查询键名是指指解析用户数据查询请求得到的用户查询的目标名称，例如，查询键名可以是用户的ID，数据搜索模块12是指搜索数据源模块11中数据，并保存搜索数据的模块，例如，数据搜索模块12可以是Elasticsearch模块，数据转发单元132是指将查询到的数据通过所述数据显示模块15进行显示，并将所述查询数据发送给所述数据缓存模块14。数据缓存模块14是指用来缓存数据的模块，缓存的数据可以是查询过的数据，例如，数据缓存模块14可以是Redis缓存，查询数据是指根据数据查询请求查询得到的数据，通过设置本步骤，可以实现根据数据查询请求搜索数据进行显示，并将查询数据缓存至缓存模块中，达到重复低延迟查询。

作为本实施例的一种实施方式，如图4所示，所述数据缓存模块14为Redis，所述Redis采用Hash数据类型缓存数据，所述数据处理模块13为Spark，所述数据搜索模块12可以是Elasticsearch，所述数据源模块11为hbase、hive、hdfs及mysql；

所述数据缓存模块14，还用于根据所述查询键名与所述查询数据建立映射关系并存储在所述数据缓存模块14中，并将所述查询键名添加到所述键名列表中。

在本步骤中，查询键名是指解析用户数据查询请求得到的用户查询的目标名称，例如，查询键名可以是用户的ID，查询数据是指根据查询索引提取的查询数据，例如，查询数据可以是根据用户索引提取到的用户数据，映射关系是指在数据库中查找与目标键名对应的目标数据并形成对应关系，例如，映射关系可以是建立在Redis缓存中与目标键名对应的数据之间的映射关系，数据缓存模块14是指用来缓存数据的模块，缓存的数据可以是查询过的数据，例如，数据缓存模块14可以是Redis缓存，键名列表是指数据缓存模块14中保存的键名的集合，例如，键名列表可以是用户ID的列表。其中，Redis是指Redis缓存，Redis是一个key-value存储系统，Hash数据类型是指一种key-value存储类型，Spark是指Spark计算引擎，运用于大规模数据处理，各模块的工作原理参见上述描述，在此不再赘述。

实施例2

本发明第二实施例提供一种大数据查询系统的查询方法，所述大数据查询系统包括数据显示模块、数据缓存模块、数据处理模块、数据搜索模块以及数据源模块，如图5所示，该查询方法包括：

步骤S10.所述数据搜索模块通过数据接口在所述数据源模块中搜索数据，并保存数据；

步骤S20.所述数据显示模块获取数据查询请求，并根据所述数据查询请求判断所述数据缓存模块是否存储待查询数据，当所述数据缓存模块中存储所述待查询数据时，提取所述待查询数据并进行显示；

步骤S30.当所述数据缓存模块中不存在所述待查询数据时，所述数据显示模块将所述数据查询请求发送至所述数据处理模块；

步骤S40.所述数据处理模块根据所述数据查询请求通过所述数据搜索模块搜索数据，将查询到的数据通过所述数据显示模块进行显示，并将所述查询数据发送给所述数据缓存模块。

作为本实施例的一种实施方式，对于上述步骤中所述数据缓存模块为Redis，所述Redis采用Hash数据类型缓存数据，所述数据处理模块为Spark，所述数据搜索模块为Elasticsearch，所述数据源模块为hbase、hive、hdfs及mysql。

上述查询方法中的具体工作过程，可以参考前述实施例1中大数据查询系统对应的过程，在此不再赘述。

实施例3

本发明第三实施例提供一计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例1中的一种大数据查询系统中各模块/单元的功能，为避免重复，这里不再赘述。或者，该计算机程序被处理器执行时实现上述实施例2中一种大数据查询系统的查询方法，为避免重复，这里不再赘述。

实施例4

图6是本实施例中计算机设备4的示意图。如图6所示，计算机设备4包括处理器43、存储器41以及存储在存储器41中并可在处理器43上运行的计算机程序42。处理器43执行计算机程序42时实现上述实施例1中一种大数据查询系统各模块/单元的功能，如图1所示的数据显示模块15、数据缓存模块14、数据处理模块13、数据搜索模块12以及数据源模块11，或者，处理器43执行计算机程序42时实现上述实施例2中一种大数据查询系统的查询方法的各个步骤，如图5所示的步骤S10、步骤S20、步骤S30以及步骤S40。

计算机程序42可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器41中，并由处理器43执行，以完成本发明。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序42指令段，该指令段用于描述计算机程序42在终端设备4中的执行过程。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种大数据查询系统，其特征在于，所述大数据查询系统包括数据显示模块、数据缓存模块、数据处理模块、数据搜索模块以及数据源模块，所述数据源模块、所述数据搜索模块以及所述数据处理模块依次连接，所述数据处理模块分别连接所述数据显示模块和所述数据缓存模块，所述数据显示模块和所述数据缓存模块连接；

所述数据源模块，用于存储数据；

所述数据搜索模块，用于通过数据接口在所述数据源模块中搜索数据，并保存数据；

所述数据显示模块，用于获取数据查询请求，根据所述数据查询请求在所述数据缓存模块中查询数据，并将查询到的数据进行显示；

所述数据显示模块，还用于未查询到数据时将所述数据查询请求发送至所述数据处理模块；

所述数据处理模块，用于根据所述数据查询请求在所述数据搜索模块中查询数据，将查询到的数据通过所述数据显示模块进行显示，并将查询到的数据发送给所述数据缓存模块；

所述数据缓存模块，用于缓存所述数据处理模块发送的数据。

2.如权利要求1所述的大数据查询系统，其特征在于，所述数据搜索模块为Elasticsearch，所述数据源模块包括hbase、hive、hdfs以及mysql；

所述Elasticsearch通过数据接口在所述hbase、所述hive、所述hdfs以及所述mysql获取搜索数据，并根据所述搜索数据生成索引，并保存所述索引及数据。

3.如权利要求1所述的大数据查询系统，其特征在于，所述数据显示模块包括缓存判断单元和请求转发单元；

所述缓存判断单元，用于获取数据查询请求，并根据所述数据查询请求判断所述数据缓存模块是否存储待查询数据，当所述数据缓存模块中存储所述待查询数据时，提取查询数据并进行显示；

所述请求转发单元，用于当所述数据缓存模块中不存在所述待查询数据时，将所述数据查询请求发送至所述数据处理模块。

4.如权利要求3所述的大数据查询系统，其特征在于，所述缓存判断单元解析所述数据查询请求获得目标键名，获取所述数据缓存模块的键名列表，在所述键名列表中匹配是否存在所述目标键名；

当所述键名列表中存在所述目标键名时，所述缓存判断单元判定所述数据缓存模块存储所述待查询数据；

当所述键名列表中不存在所述目标键名时，所述缓存判断单元判定所述数据缓存模块不存在所述待查询数据。

5.如权利要求1所述的大数据查询系统，其特征在于，所述数据处理模块包括数据查询单元和数据转发单元；

所述数据查询单元，用于解析所述数据查询请求获取查询键名，根据所述查询键名搜索所述数据搜索模块中的查询索引并根据所述查询索引提取查询数据；

所述数据转发单元，用于将查询到的数据通过所述数据显示模块进行显示，并将所述查询数据发送给所述数据缓存模块。

6.如权利要求5所述的大数据查询系统，其特征在于，所述数据缓存模块为Redis，所述Redis采用Hash数据类型缓存数据，所述数据处理模块为Spark；

所述数据缓存模块，还用于根据所述查询键名与所述查询数据建立映射关系并存储在所述数据缓存模块中，并将所述查询键名添加到所述键名列表中。

7.一种大数据查询系统的查询方法，其特征在于，所述大数据查询系统包括数据显示模块、数据缓存模块、数据处理模块、数据搜索模块以及数据源模块，所述查询方法包括：

所述数据搜索模块通过数据接口在所述数据源模块中搜索数据，并保存数据；

所述数据显示模块获取数据查询请求，并根据所述数据查询请求判断所述数据缓存模块是否存储待查询数据，当所述数据缓存模块中存储所述待查询数据时，提取所述待查询数据并进行显示；

当所述数据缓存模块中不存在所述待查询数据时，所述数据显示模块将所述数据查询请求发送至所述数据处理模块；

所述数据处理模块根据所述数据查询请求通过所述数据搜索模块搜索数据，将查询到的数据通过所述数据显示模块进行显示，并将所述查询数据发送给所述数据缓存模块。

8.如权利要求7所述的查询方法，其特征在于，所述数据搜索集群为Elasticsearch集群，所述数据源包括hbase、hive、hdfs以及mysql；

所述获取数据搜索集群通过数据接口采集数据源的数据，包括：

所述Elasticsearch集群通过数据接口在所述hbase、所述hive、所述hdfs以及所述mysql获取搜索数据，并根据所述搜索数据生成索引，并保存所述索引及数据。

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求7至8任一项所述查询方法的步骤。

10.一种计算机可读存储介质，所述计算机可读介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求7至8任一项所述查询方法的步骤。