CN106649770A - 一种大数据查询方法及系统 - Google Patents
一种大数据查询方法及系统 Download PDFInfo
- Publication number
- CN106649770A CN106649770A CN201611227131.9A CN201611227131A CN106649770A CN 106649770 A CN106649770 A CN 106649770A CN 201611227131 A CN201611227131 A CN 201611227131A CN 106649770 A CN106649770 A CN 106649770A
- Authority
- CN
- China
- Prior art keywords
- dimension
- inquiry
- array
- data
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种大数据查询方法,其特征在于,包括:当接收到用户经由Web页面发送的查询请求时,解析所述查询请求中的维度数组,所述维度数组中包含至少一个查询维度;当所述维度数组满足第一预设条件时,获取所述维度数组中各个查询维度的维度分类;依据所述各个维度分类,按预设的划分规则,将目标大数据划分为多个数据块;依据所述各个查询维度,分别对每一个所述数据块进行数据查询,并将各个查询结果进行汇总,获得目标查询数据。本发明中,首先解析所述查询请求中的维度数组,获取所述维度数组中查询维度的维度分类,依据所述维度分类,将大数据分块,分别对分块数据进行查询,并将查询结果进行汇总,做到快速准确定位目标数据。
Description
技术领域
本发明涉及数据安全分析领域,尤其涉及一种大数据查询方法及系统。
背景技术
随着网络技术的飞速发展,当今各类IT资源飞速膨胀,网络设备层出不穷,随之产生了大量的网络数据信息。如何在大量数据中快速准确的找到目标数据,大数据查询方法的尤为必要。
目前,一般采用多条件组合累加模式对大数据进行查询,对目标数据进行查询时同时输入多个查找条件,每次初始查询都需要与完整的大数据进行比对。
发明人经过研究发现,现有的数据查询方法是对完整的大数据进行查询处理,数据量过大,导致查询的速度随着过滤条件的增加而减慢,无法做到快速准确定位目标数据。
发明内容
有鉴于此,本发明提供一种大数据查询方法及系统,用以解决现有技术中对完整的大数据进行查询处理,因数据量过大,无法做到快速准确定位目标数据的问题,具体方案如下:
一种大数据查询方法,包括:
当接收到用户经由Web页面发送的查询请求时,解析所述查询请求中的维度数组,所述维度数组中包含至少一个查询维度;
当所述维度数组满足第一预设条件时,获取所述维度数组中各个查询维度的维度分类;
依据所述各个维度分类,按预设的划分规则,将目标大数据划分为多个数据块;
依据所述各个查询维度,分别对每一个所述数据块进行数据查询,并将各个查询结果进行汇总,获得目标查询数据。
上述的方法,优选的,所述当所述维度数组满足第一预设条件时,获取所述维度数组中各个查询维度的维度分类包括:
将所述维度数组与已存储的各个历史维度数组进行逐一比较;判断是否存在目标历史维度数组,所述目标历史维度数组中的各个查询维度均包含在当前所述维度数组中;
当不存在时,依据所述各个查询维度的维度属性,获取所述维度数组中各个查询维度的维度分类。
上述的方法,优选的,还包括:
当存在时,判断所述目标历史维度数组中的查询维度的数量是否与所述当前维度数组中的查询维度的数量相同;
当相同时,直接调用所述目标历史维度数组所查询的历史查询数据,将所述历史查询结果作为目标查询数据。
上述的方法,优选的,还包括:
当不相同时,按预设的划分规则,将所述历史查询数据划分为多个数据块;
依据所述各个查询维度,分别对每一个数据块进行查询。
上述的方法,优选的,所述依据各个维度分类,按预设的划分规则,将目标大数据划分为多个数据块包括:
确定各个维度分类的优先级;
依据优先级最高的维度分类,将所述目标大数据划分为多个数据块。
上述的方法,优选的,所述维度分类,包括:
时间类、过滤条件类或统计类。
一种大数据查询系统,包括:
解析模块,当接收到用户经由Web页面发送的查询请求时,解析所述查询请求中的维度数组,所述维度数组中包含至少一个查询维度;
获取模块,当所述维度数组满足第一预设条件时,获取所述维度数组中各个查询维度的维度分类;
划分模块,依据所述各个维度分类,按预设的划分规则,将目标大数据划分为多个数据块;
查询模块,依据所述各个查询维度,分别对每一个所述数据块进行数据查询,并将各个查询结果进行汇总,获得目标查询数据。
上述的系统,优选的,所述获取模块包括:
比较单元,将所述维度数组与已存储的各个历史维度数组进行逐一比较;
判断单元,判断是否存在目标历史维度数组,所述目标历史维度数组中的各个查询维度均包含在当前所述维度数组中。
上述的系统,优选的,述判断单元包括:
第一判断子单元,依据所述各个查询维度的维度属性,获取所述维度数组中各个查询维度的维度分类。判断所述目标历史维度数组中的查询维度的数量是否与所述当前维度数组中的查询维度的数量相同;
第二判断子单元,判断是否调用目标历史维度数组,若所述目标历史维度数组中的查询维度的数量与所述当前维度数组中的查询维度的数量相同,直接调用所述目标历史维度数组所查询的历史查询数据,将所述历史查询结果作为目标查询数据;若不相同,按预设的划分规则,将所述历史查询数据划分为多个数据块,依据所述各个查询维度,分别对每一个数据块进行查询。
上述的系统,优选的,所述划分模块包括:
确定单元,确定各个维度分类的优先级;
分块单元,依据优先级最高的维度分类,将所述目标大数据划分为多个数据块。
与现有技术相比,本发明包括以下优点:
本发明提供了一种大数据查询方法,当接收到用户经由Web页面发送的查询请求时,解析所述查询请求中的维度数组,所述维度数组中包含至少一个查询维度;当所述维度数组满足第一预设条件时,获取所述维度数组中各个查询维度的维度分类;依据所述各个维度分类,按预设的划分规则,将目标大数据划分为多个数据块;依据所述各个查询维度,分别对每一个所述数据块进行数据查询,并将各个查询结果进行汇总,获得目标查询数据。避免了现有技术中对大数据整体进行查询,做到快速准确定位目标数据。
当然,实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例公开的一种大数据查询方法流程图;
图2为本申请实施例公开的一种大数据查询方法又一方法流程图;
图3为本申请实施例公开的一种大数据查询方法又一方法流程图;
图4为本申请实施例公开的一种大数据查询方法又一方法流程图;
图5为本申请实施例公开的一种大数据查询方法又一方法流程图;
图6为本申请实施例公开的一种大数据查询系统结构框图;
图7为本申请实施例公开的一种大数据查询系统又一结构框图;
图8为本申请实施例公开的一种大数据查询系统又一结构框图。
图9为本申请实施例公开的一种大数据查询系统又一结构框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
本发明提供了一种大数据查询方法,该方法可以应用于所有涉及大数据查询分析的领域中,所述方法的流程图如图1所示,包括步骤:
S101、当接收到用户经由Web页面发送的查询请求时,解析所述查询请求中的维度数组,所述维度数组中包含至少一个查询维度;
本发明实施例中,用户经由Web页面发送的查询请求是以数组的形式进行发送的,当收到查询请求后,首先解析查询请求数组的维度,所述查询请求数组还少包含一个查询维度。
S102、当所述维度数组满足第一预设条件时,获取所述维度数组中各个查询维度的维度分类;
本发明实施例中,当所述维度数组满足第一预设条件时,获取所述维度数组中各个查询维度的维度分类,所述维度分类可以为时间类、过滤类或统计类。
S103、依据所述各个维度分类,按预设的划分规则,将目标大数据划分为多个数据块;
本发明实施例中,依据各个维度分类,按预设的划分规则,对目标大数据进行分块,具体的划分原则:确定各个维度分类的优先级;依据优先级最高的维度进行分类,将所述目标大数据划分为多个数据块。
S104、依据所述各个查询维度,分别对每一个所述数据块进行数据查询,并将各个查询结果进行汇总,获得目标查询数据。
本发明实施例中,依据各个查询维度对每一个所述数据块进行查询,并将查询结果依据查询维度进行汇总,最终获得目标数据,并传递到所述Web页面进行显示,所述Web页面可以对所述目标数据进行统计分析,视图分析,响应处理,地图映射,依据具体情况选择其中的一种或者几种对目标数据进行显示。
本发明提供了一种大数据查询方法,当接收到用户经由Web页面发送的查询请求时,解析所述查询请求中的维度数组,所述维度数组中包含至少一个查询维度;当所述维度数组满足第一预设条件时,获取所述维度数组中各个查询维度的维度分类;依据所述各个维度分类,按预设的划分规则,将目标大数据划分为多个数据块;依据所述各个查询维度,分别对所述数据块依次进行数据查询,并将各个查询结果进行汇总,获得目标查询数据,避免了现有技术中对大数据整体进行查询,做到快速准确定位目标数据。
上述实施例中所述的Web页面是指一种可以实现与后台大数据交互的页面,所述Web页面包括:
时间条件选择框:通过输入时间段或者某一确定时间的方式对所述大数据进行时间条件的查询,时间段的具体输入方式为分别输入开始时间和结束时间,两者之间即为所述时间段,该条件可以累加反复使用。
类型选择框:选择具体的查询类型,对所述大数据进行查询,所述查询类型包括:
属性值选项,所述属性可根据需要进行自定义配置,在对应的属性下选择填写与属性相对应的值,在大数据中数据类型、设备类型、协议、等级等存在规范或业界公认的属性值时,将生成值可选列表,无需进行手工填写,仅需要选择对应的值即可,该条件可以累加反复使用。
引用过滤器选项,所述过滤器可以对大数据中的多种属性进行对应关系配置,过滤器可引用资产设备中的相关属性与大数据进行对应,过滤器可引用自定义资源中的常用属性配置,以过滤器方式呈现出更为复杂的处理逻辑,以便在复杂的攻击中进行追根溯源,该条件可以累加反复使用。
黑白名单选项,黑白名单支持大数据动态生成的数据属性及对应值;此黑白名单是以权威威胁情报机构提供,例如:天际友盟,微步等;将采集到的威胁情报作为过滤条件应用到查询分析的,以达到最快速的定位常见威胁,通过定位到的威胁信息,可以关联并钻取相关大数据,达到实时交互的目的,该条件可以累加反复使用。
条件类型选择框:所述条件类型是与类型选择框相对应的,根据所选查询类型,确定所述条件。
所述Web页面还包括:
统计条件显示模块,更为直观的查看到某些大数据的分布及趋势,可以根据不同的图样进行更为便捷的统计分析,在不同类型的统计图上也可进行响应的点击钻取,以达到无限实时的对大数据进行查询分析。
视图分析模块,大数据按照拓扑分析进行视图展示;大数据按照多维分析进行折线图布局实现日志多层次不定向视图展示;大数据按照视网膜分析进行圆形布局实现日志地址类资源关联视图展示;以便更为直观的确定某些异常日志,由异常日志为基础可进行深入的查询分析。
响应处理模块,生成各类告警以及黑白名单,在大数据查询的Web页面中,当发现异常类数据时,点击大数据响应处理模块,可根据需要生成告警以及黑白名单,已达到发现即处理的目的。
映射关系模块,若存在涉及到经纬度信息的大数据,将所述大数据中的IP地址按照经纬度的方式展示到世界地图中,以达到确定攻击的路线。
配置完成后,还需要将需要查询分析的大数据与所述Web页面相关联,具体操作为:将需要接入的设备通过syslog方式转发到本系统或通过配置采集任务将数据库、应用、邮件服务器、主机、其他文本类文件主动采集到本系统中,各类设备大数据接入并保存入库,等待所述Web页面发送查询请求。
本发明实施利中所有实施例都是基于上述Web页面的各个模块相互作用完成的。
本发明实施例中,当所述维度数组满足第一预设条件时,获取所述维度数组中各个查询维度的维度分类的过程如图2所示,包括步骤:
S201、将所述维度数组与已存储的各个历史维度数组进行逐一比较;判断是否存在目标历史维度数组,所述目标历史维度数组中的各个查询维度均包含在当前所述维度数组中;
本发明实施例中,当收到用户经由Web页面发送来的查询请求时,解析所述查询请求中的数组维度,并将所述维度数组与已经存储的历史维度数组进行比较,判断是否存在目标历史数组中。
S202、当不存在时,依据所述各个查询维度的维度属性,获取所述维度数组中各个查询维度的维度分类。
本发明实施例中,当所述维度数组不存在于目标历史数组中时,进一步说,当前所述维度数组与所述目标历史维度数组中的各个查询维度均不存在包含关系认为所述维度数组中的查询请求为初次查询,具体来说,当前所述维度数组相对于目标历史数组为一种新的组合方式,在所述历史维度数组中没有出现过完全相同,或者部分相同的组合,既然为初次查询,需要获取所述维度数组中所有查询条件的维度分类。
以具体的实例为例进一步说明,在所述Web页面中输入查询条件,若所述查询条件分别为A1,A2,A3,A4,当接收到查询请求时,解析由这四个查询条件组成的维度数组,将由这四个查询条件组成的维度数组历史维度数组进行比较发现,历史查询维度数组中没有与所述维度数组相同或者存在包含关系的查询请求,则认定当前所述查询数组为初次查询,需要获取所述维度数组中所有查询条件的维度分类。
本发明实施例仅以某一具体情况为例对该实施例中所能出现的可能情况进行具体分析,其它的多于或者少于的如上所述查询条件的查询请求,均可依据如上实施例的操作流程进行操作,不影响上述查询条件的判断原则。
本发明实施例中,当所述维度数组满足不满足第一预设条件时,具体确定方法如图3所示,包括步骤:
S301、判断所述目标历史维度数组中的查询维度的数量是否于所述当前维度数组中查询维度的数量相同;
本发明实施例中,所述当前维度数组与所述历史维度数组中的各个查询条件依次进行比对,判断两者是否相同。
S302、当相同时,直接调用所述目标历史维度数组所查询的历史查询数据,将所述历史查询结果作为目标查询数据。
本发明实施例中,查询维度数量相同具体指两方面:查询维度相同;查询条件相同,两者同时满足时,才认为是同一查询条件,直接调用所述目标历史维度数组所查询的历史查询数据,将所述历史查询结果作为目标查询数据。
本发明实施例中,当所述维度数组满足不满足第一预设条件时,具体确定方法还可以参考图4,包括步骤:
S401、当不相同时,按预设的划分规则,将所述历史查询数据划分为多个数据块;
S402、依据各个查询维度,对每个数据块进行查询。
本发明实施例中,包括:若所述历史维度数组包含于当前所述维度数组,即所述历史维度数组为当前所述度数组中一种或者几种的组合,仅以历史条件为查询条件A1和A2的组合,当前查询条件为查询条件A1,A2,A3和A4的组合为例,进行具体说明,其他查询条件组合与该组合类似,当前查询维度数组由查询条件A1,A2,A3和A4组成,当接收到查询请求时,首先解析所述维度数组,若在历史查询结果中存在查询条件A1和A2组成的历史查询条件,本发明实施例则不再需要对原有大数据进行查询,只需要调用历史查询数据,在历史数据查询结果的基础上,继续添加查询条件A3和A4,直接依据查询条件A3和A4,在历史查询结果中进一步筛选,依次进行查询。
本发明实施例中,还包括:若当前的查询条件中有一条或者几条是不再需要的查询条件,不需要重新输入查询条件,只需要在原有查询条件的基础上将不需要的查询条件直接删除,所述目标数据随着查询条件的减少,实时更改。
本发明实施例仅以某一具体情况为例对该实施例中所能出现的可能情况进行具体分析,其他的多于或者少于的如上所述查询条件的查询请求,均可依据如上实施例进行操作,不影响上述查询条件的判断原则。
本发明实施例中,依据所述各个维度分类,按预设的划分规则,将目标大数据划分为多个数据块,具体划分规则参考图5,包括步骤:
S501、确定各个维度分类的优先级;
本发明实施例中,当查询请求为一个时,该查询请求即为最高优先级;
若查询请求为多个时,通常选择时间条件为优先级最高的条件对目标大数据进行分段,确保每段时间处理的日志数量最低,提升处理速。若多个查询请求中不包括时间查询条件,或者所述时间查询条件中时间为一固定值或者过短,没有分段的必要,可以根据实际的情况选择合适的查询维度进行优先级的确定。
S502、依据优先级最高的维度分类,将所述目标大数据划分为多个数据块。
划分是可以依据一个也可以依据多个查询维度分类进行分段,具体的分段原则进行举例说明:若系统想查找某一固定时间有多少台移动终端设备访问过某一电商网站购物并进行支付,此例中查询条件有四个分别为时间信息查询条件、网址信息查询条件、终端设备信息查询条件、支付信息查询条件,因为时间信息为一个具体的固定值,采用对时间进行分段意义不大,本发明实施例选择终端设备信息查询条件进行大数据分段,分段后可以按设备的类型对所有设备依次分段,每段数据都代表一种设备类型,依次对每段数据进行如上所述查找条件的筛查,并对查找结果进行汇总,获得目标查询数据。上述实施例有也可采用其它查询条件作为分段的维度,本发明实施例仅以终端设备信息查询条件为例,在实际的大数据分块过程中,需要依据具体的情况具体分析,具体的分段维度也不仅仅局限于一种,也可以采用多种查询维度组合的方式,所有的执行原则均以快速准确查找到目标数据为依据。
本发明实施例中,详细阐述了具体的大数据分段原则,仅以一个个例举例说明,通常情况下默认依据时间对大数据进行分块,在不存在时间这个查询条件或者时间条件不适合作为分段维度时,可以选择其他查询维度中的一种或者几种的组合对大数据进行分段,在实际大数据查询过程中,依据所述维度分类,根据具体的实际情况对大数据进行分段,不仅仅局限于上述所述分段情况,只要能保证快速准确定位目标数据,都认为是合理划分原则。
与图1所述的一种大数据查询方法相对应的,本发明实施例还提供了一种大数据查询系统,其结构示意图如图6所示,包括:
解析模块601,获取模块602,划分模块603,查询模块604。
其中:
所述解析模块601,当接收到用户经由Web页面发送的查询请求时,解析所述查询请求中的维度数组,所述维度数组中包含至少一个查询维度;
所述获取模块602,当所述维度数组满足第一预设条件时,获取所述维度数组中各个查询维度的维度分类;
所述划分模块603,依据所述各个维度分类,按预设的划分规则,将目标大数据划分为多个数据块;
所述查询模块604,依据所述各个查询维度,分别对每一个所述数据块进行数据查询,并将各个查询结果进行汇总,获得目标查询数据。
本发明实施例提供了一种大数据查询系统,解析模块需要对用户经由Web页面发送的查询请求进行解析,解析所述查询请求中的维度数组,所述维度数组中包含至少一个查询维度;获取模块需要当所述维度数组满足第一预设条件时,获取所述维度数组中各个查询维度的维度分类;划分模块需要依据所述各个维度分类,按预设的划分规则,将目标大数据划分为多个数据块;查询模块需要依据所述各个查询维度,分别对每一个所述数据块进行数据查询,并将各个查询结果进行汇总,获得目标查询数据。避免了现有技术中对大数据整体进行查询,做到快速准确定位目标数据。
需要说明的是,所述大数据查询系统,是一个完整的系统,可以单独使用也可以与其它系统配合使用。
在图6的基础上,参考图7,图7示出了本发明实施例提供的系统的又一结构图,所述获取模块601,包括:
比较单元605和判断单元606。
其中:
所述比较单元605,将所述维度数组与已存储的各个历史维度数组进行逐一比较;
所述判断单元606,判断是否存在目标历史维度数组,所述目标历史维度数组中的各个查询维度均包含在当前所述维度数组中。
在图7的基础上,参考图8,图8示出了本发明实施例提供的系统的又一结构图,所述判断单元606,包括:
第一判断子单元707和第二判断子单元708。
其中:
所述第一判断子单元,依据所述各个查询维度的维度属性,获取所述维度数组中各个查询维度的维度分类。判断所述目标历史维度数组中的查询维度的数量是否与所述当前维度数组中的查询维度的数量相同;
所述第二判断子单元,判断是否调用目标历史维度数组,若所述目标历史维度数组中的查询维度的数量与所述当前维度数组中的查询维度的数量相同,直接调用所述目标历史维度数组所查询的历史查询数据,将所述历史查询结果作为目标查询数据;若不相同,按预设的划分规则,将所述历史查询数据划分为多个数据块,依据所述各个查询维度,分别对每一个数据块进行查询
在图8的基础上,参考图9,图9示出了本发明实施例提供的系统的又一结构图,所述划分模块703,包括:
确定单元709和分块单元710。
其中:
所述确定单元709,确定各个维度分类的优先级;
所述分块单元710,依据优先级最高的维度分类,将所述目标大数据划分为多个数据块。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
最后,还需要说明的是,在本申请中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明,使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种大数据查询方法,其特征在于,包括:
当接收到用户经由Web页面发送的查询请求时,解析所述查询请求中的维度数组,所述维度数组中包含至少一个查询维度;
当所述维度数组满足第一预设条件时,获取所述维度数组中各个查询维度的维度分类;
依据所述各个维度分类,按预设的划分规则,将目标大数据划分为多个数据块;
依据所述各个查询维度,分别对每一个所述数据块进行数据查询,并将各个查询结果进行汇总,获得目标查询数据。
2.根据权利要求1所述的方法,其特征在于,所述当所述维度数组满足第一预设条件时,获取所述维度数组中各个查询维度的维度分类包括:
将所述维度数组与已存储的各个历史维度数组进行逐一比较;判断是否存在目标历史维度数组,所述目标历史维度数组中的各个查询维度均包含在当前所述维度数组中;
当不存在时,依据所述各个查询维度的维度属性,获取所述维度数组中各个查询维度的维度分类。
3.根据权利要求2所述的方法,其特征在于,还包括:
当存在时,判断所述目标历史维度数组中的查询维度的数量是否与所述当前维度数组中的查询维度的数量相同;
当相同时,直接调用所述目标历史维度数组所查询的历史查询数据,将所述历史查询结果作为目标查询数据。
4.根据权利要求3所述的方法,其特征在于,还包括:
当不相同时,按预设的划分规则,将所述历史查询数据划分为多个数据块;
依据所述各个查询维度,分别对每一个数据块进行查询。
5.根据权利要求1所述的方法,其特征在于,所述依据各个维度分类,按预设的划分规则,将目标大数据划分为多个数据块包括:
确定各个维度分类的优先级;
依据优先级最高的维度分类,将所述目标大数据划分为多个数据块。
6.根据权利要求1所述的方法,其特征在于,所述维度分类,包括:
时间类、过滤类或统计类。
7.一种大数据查询系统,其特征在于,包括:
解析模块,当接收到用户经由Web页面发送的查询请求时,解析所述查询请求中的维度数组,所述维度数组中包含至少一个查询维度;
获取模块,当所述维度数组满足第一预设条件时,获取所述维度数组中各个查询维度的维度分类;
划分模块,依据所述各个维度分类,按预设的划分规则,将目标大数据划分为多个数据块;
查询模块,依据所述各个查询维度,分别对每一个所述数据块进行数据查询,并将各个查询结果进行汇总,获得目标查询数据。
8.根据权利要求7所述系统,其特征在于,所述获取模块包括:
比较单元,将所述维度数组与已存储的各个历史维度数组进行逐一比较;
判断单元,判断是否存在目标历史维度数组,所述目标历史维度数组中的各个查询维度均包含在当前所述维度数组中。
9.根据权利要求7所述系统,其特征在于,所述判断单元包括:
第一判断子单元,依据所述各个查询维度的维度属性,获取所述维度数组中各个查询维度的维度分类,判断所述目标历史维度数组中的查询维度的数量是否与所述当前维度数组中的查询维度的数量相同;
第二判断子单元,判断是否调用目标历史维度数组,若所述目标历史维度数组中的查询维度的数量与所述当前维度数组中的查询维度的数量相同,直接调用所述目标历史维度数组所查询的历史查询数据,将所述历史查询结果作为目标查询数据;若不相同,按预设的划分规则,将所述历史查询数据划分为多个数据块,依据所述各个查询维度,分别对每一个数据块进行查询。
10.根据权利要求7所述系统,其特征在于,所述划分模块包括:
确定单元,确定各个维度分类的优先级;
分块单元,依据优先级最高的维度分类,将所述目标大数据划分为多个数据块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611227131.9A CN106649770B (zh) | 2016-12-27 | 2016-12-27 | 一种大数据查询方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611227131.9A CN106649770B (zh) | 2016-12-27 | 2016-12-27 | 一种大数据查询方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106649770A true CN106649770A (zh) | 2017-05-10 |
CN106649770B CN106649770B (zh) | 2020-05-05 |
Family
ID=58831477
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611227131.9A Active CN106649770B (zh) | 2016-12-27 | 2016-12-27 | 一种大数据查询方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106649770B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107944058A (zh) * | 2017-12-29 | 2018-04-20 | 安徽方正医疗信息技术有限公司 | 基于网页版的大数据量结构化数据筛选和过滤的实现方法 |
CN108108498A (zh) * | 2018-02-01 | 2018-06-01 | 广东聚晨知识产权代理有限公司 | 一种基于互联网的大数据查询系统 |
CN108304548A (zh) * | 2018-02-01 | 2018-07-20 | 广东聚晨知识产权代理有限公司 | 一种大数据的快速查询系统 |
CN109857760A (zh) * | 2018-12-22 | 2019-06-07 | 中国平安人寿保险股份有限公司 | 快速响应检索方法及装置、计算机装置及存储介质 |
CN110795626A (zh) * | 2019-10-28 | 2020-02-14 | 南京弹跳力信息技术有限公司 | 大数据处理方法及系统 |
CN111625561A (zh) * | 2019-02-28 | 2020-09-04 | 华为技术有限公司 | 一种数据查询方法及装置 |
WO2021057824A1 (zh) * | 2019-09-24 | 2021-04-01 | 华为技术有限公司 | 查询数据的方法、装置、计算设备和存储介质 |
CN116821139A (zh) * | 2023-08-25 | 2023-09-29 | 南方电网数字电网研究院有限公司 | 基于分布式数据库的分区表设计的混合负载方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103455560A (zh) * | 2013-08-12 | 2013-12-18 | 曙光信息产业股份有限公司 | 一种数据查询方法及系统 |
CN104281698A (zh) * | 2014-10-15 | 2015-01-14 | 国云科技股份有限公司 | 一种高效的大数据查询方法 |
CN104765800A (zh) * | 2015-03-30 | 2015-07-08 | 浪潮集团有限公司 | 一种基于大数据的高效搜索方法 |
CN105488043A (zh) * | 2014-09-15 | 2016-04-13 | 南京理工大学 | 基于Key-Value数据块的数据查询方法及系统 |
US20160154858A1 (en) * | 2013-04-29 | 2016-06-02 | International Business Machines Corporation | Generation of multi-faceted search results in response to query |
-
2016
- 2016-12-27 CN CN201611227131.9A patent/CN106649770B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160154858A1 (en) * | 2013-04-29 | 2016-06-02 | International Business Machines Corporation | Generation of multi-faceted search results in response to query |
CN103455560A (zh) * | 2013-08-12 | 2013-12-18 | 曙光信息产业股份有限公司 | 一种数据查询方法及系统 |
CN105488043A (zh) * | 2014-09-15 | 2016-04-13 | 南京理工大学 | 基于Key-Value数据块的数据查询方法及系统 |
CN104281698A (zh) * | 2014-10-15 | 2015-01-14 | 国云科技股份有限公司 | 一种高效的大数据查询方法 |
CN104765800A (zh) * | 2015-03-30 | 2015-07-08 | 浪潮集团有限公司 | 一种基于大数据的高效搜索方法 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107944058A (zh) * | 2017-12-29 | 2018-04-20 | 安徽方正医疗信息技术有限公司 | 基于网页版的大数据量结构化数据筛选和过滤的实现方法 |
CN108108498A (zh) * | 2018-02-01 | 2018-06-01 | 广东聚晨知识产权代理有限公司 | 一种基于互联网的大数据查询系统 |
CN108304548A (zh) * | 2018-02-01 | 2018-07-20 | 广东聚晨知识产权代理有限公司 | 一种大数据的快速查询系统 |
CN109857760A (zh) * | 2018-12-22 | 2019-06-07 | 中国平安人寿保险股份有限公司 | 快速响应检索方法及装置、计算机装置及存储介质 |
CN111625561A (zh) * | 2019-02-28 | 2020-09-04 | 华为技术有限公司 | 一种数据查询方法及装置 |
CN111625561B (zh) * | 2019-02-28 | 2023-09-22 | 华为技术有限公司 | 一种数据查询方法及装置 |
WO2021057824A1 (zh) * | 2019-09-24 | 2021-04-01 | 华为技术有限公司 | 查询数据的方法、装置、计算设备和存储介质 |
EP4030312A4 (en) * | 2019-09-24 | 2022-11-02 | Huawei Cloud Computing Technologies Co., Ltd. | METHOD AND APPARATUS FOR QUERYING DATA, COMPUTER DEVICE AND STORAGE MEDIA |
CN110795626A (zh) * | 2019-10-28 | 2020-02-14 | 南京弹跳力信息技术有限公司 | 大数据处理方法及系统 |
CN116821139A (zh) * | 2023-08-25 | 2023-09-29 | 南方电网数字电网研究院有限公司 | 基于分布式数据库的分区表设计的混合负载方法及系统 |
CN116821139B (zh) * | 2023-08-25 | 2024-01-23 | 南方电网数字电网研究院有限公司 | 基于分布式数据库的分区表设计的混合负载方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN106649770B (zh) | 2020-05-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106649770A (zh) | 一种大数据查询方法及系统 | |
US11792291B1 (en) | Proxying hypertext transfer protocol (HTTP) requests for microservices | |
US10985970B1 (en) | Automatic actionable event responder for operational clusters | |
US10868711B2 (en) | Actionable alert messaging network for automated incident resolution | |
US8966392B2 (en) | Event management apparatus, systems, and methods | |
US7617314B1 (en) | HyperLock technique for high-speed network data monitoring | |
US8271615B2 (en) | Centrally managing and monitoring software as a service (SaaS) applications | |
CN102647299B (zh) | 基于内容分发网络的层次化报警分析方法和系统 | |
US20120023101A1 (en) | Smart defaults for data visualizations | |
EP2975538B1 (en) | Computer-implemented method and apparatus for determining relevance of a node in a network | |
CN103532739B (zh) | 一种基于网络服务与应用的监控分析系统 | |
KR20200134140A (ko) | 조회 처리 방법, 조회 처리 시스템, 서버 및 컴퓨터 판독 가능 매체 | |
EP3796167A1 (en) | Router management by an event stream processing cluster manager | |
CN109254901B (zh) | 一种指标监测方法及系统 | |
JP2015536504A (ja) | 地理位置情報のための装置および方法 | |
US11663172B2 (en) | Cascading payload replication | |
US11824729B2 (en) | Generating a three-dimensional cityscape including a cluster of nodes | |
US20180131585A1 (en) | Cloud Visualization and Management Platform | |
US20180101541A1 (en) | Determining location information based on user characteristics | |
CN104486116A (zh) | 多维度查询流量数据的方法及系统 | |
CN113760641A (zh) | 业务监控方法、装置、计算机系统和计算机可读存储介质 | |
CN105824279A (zh) | 机房监控系统构建灵活有效cmdb的方法 | |
US11228619B2 (en) | Security threat management framework | |
WO2023108832A1 (zh) | 网络空间地图生成方法、装置、设备及存储介质 | |
US9092498B2 (en) | Data distribution system, method and program product |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |