CN113392130A - 数据处理方法、装置及设备 - Google Patents

数据处理方法、装置及设备 Download PDF

Info

Publication number
CN113392130A
CN113392130A CN202010177753.5A CN202010177753A CN113392130A CN 113392130 A CN113392130 A CN 113392130A CN 202010177753 A CN202010177753 A CN 202010177753A CN 113392130 A CN113392130 A CN 113392130A
Authority
CN
China
Prior art keywords
dimension
query
dimensions
data
combination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010177753.5A
Other languages
English (en)
Other versions
CN113392130B (zh
Inventor
邹迎春
赵晓明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN202010177753.5A priority Critical patent/CN113392130B/zh
Publication of CN113392130A publication Critical patent/CN113392130A/zh
Application granted granted Critical
Publication of CN113392130B publication Critical patent/CN113392130B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2453Query optimisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/283Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例提供一种数据处理方法、装置及设备,该方法包括:确定不同历史查询数据的查询维度,基于不同历史查询数据的查询维度,确定目标维度组合,所述目标维度组合包括多个数据维度,基于所述目标维度组合对数据库中的数据进行聚合处理,以便基于聚合处理后的数据进行查询操作。本申请提高了聚合处理所针对的维度组合的合理性。

Description

数据处理方法、装置及设备
技术领域
本申请涉及计算机技术领域,尤其涉及一种数据处理方法、装置及设备。
背景技术
联机分析处理(On-Line Analytical Processing,OLAP)是一种用于分析海量数据的方法,其能够基于不同维度对海量数据进行分析,以向用户提供数据查询服务。
通常,为了减少查询耗时,对于查询所涉及的多个维度,可以由管理员基于该多个维度配置维度组合。在获得管理员配置的维度组合之后,对查询指标按照管理员配置的维度组合,进行聚合处理,以得到聚合表,其中,聚合表中包括维度组合下查询指标对应的聚合信息,通过查询聚合表中的聚合信息来降低查询耗时。
然而,管理员配置维度组合的方式,其合理性无法保证,因此如何提高聚合处理所针对的维度组合的合理性,成为目前亟待解决的问题。
发明内容
本申请实施例提供一种数据处理方法、装置及设备,用以解决现有技术中如何提高聚合处理所针对的维度组合的合理性。
第一方面,本申请实施例提供一种数据处理方法,所述方法包括:
确定不同历史查询数据的查询维度;
基于不同历史查询数据的查询维度,确定目标维度组合,所述目标维度组合包括多个数据维度;
基于所述目标维度组合对数据库中的数据进行聚合处理,以便基于聚合处理后的数据进行查询操作。
第二方面,本申请实施例提供一种数据处理方法,所述方法包括:
确定用户设备的查询请求对应的查询维度;
根据所述查询维度,从聚合处理后的数据中查询获得针对所述查询请求的中间数据;所述聚合处理后的数据是基于目标维度组合对数据库中的数据进行聚合处理得到,所述目标维度组合包括多个数据维度,所述目标维度组合是基于不同历史查询数据的查询维度确定;
根据所述中间数据,计算得到针对所述查询请求的查询结果。
第三方面,本申请实施例提供一种数据处理装置,所述装置包括:
维度确定模块,用于确定不同历史查询数据的查询维度;
组合确定模块,用于基于不同历史查询数据的查询维度,确定目标维度组合,所述目标维度组合包括多个数据维度;
聚合模块,用于基于所述目标维度组合,对数据库中的数据进行聚合处理,以便基于聚合处理后的数据进行查询操作。
第四方面,本申请实施例提供一种数据处理装置,所述装置包括:
确定模块,用于确定用户设备的查询请求对应的查询维度;
查询模块,用于根据所述查询维度,从聚合处理后的数据中查询获得针对所述查询请求的中间数据;所述聚合处理后的数据是基于目标维度组合对数据库中的数据进行聚合处理得到,所述目标维度组合包括多个数据维度,所述目标维度组合是基于不同历史查询数据的查询维度确定;
计算模块,用于根据所述中间数据,计算得到针对所述查询请求的查询结果。
第五方面,本申请实施例提供一种服务器,包括:存储器、处理器;所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现如第一方面任一项所述的方法。
第六方面,本申请实施例提供一种服务器,包括:存储器、处理器;所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现如第二方面任一项所述的方法。
本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序包含至少一段代码,所述至少一段代码可由计算机执行,以控制所述计算机执行如第一方面任一项所述的方法。
本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序包含至少一段代码,所述至少一段代码可由计算机执行,以控制所述计算机执行如第二方面任一项所述的方法。
本申请实施例还提供一种计算机程序,当所述计算机程序被计算机执行时,用于实现如第一方面任一项所述的方法。
本申请实施例还提供一种计算机程序,当所述计算机程序被计算机执行时,用于实现如第二方面任一项所述的方法。
本申请实施例提供的数据处理方法、装置及设备,通过确定不同历史查询数据的查询维度,根据不同历史查询数据的查询维度,确定目标维度组合,所述目标维度组合包括多个数据维度,并基于所述目标维度组合对数据库中的数据进行聚合处理,以便基于聚合处理后的数据进行查询操作,由于不同历史查询数据的查询维度能够体现出用户历史在进行数据查询时所使用的维度组合特点,即哪些维度组合使用的最多,哪些维度组合使用的较多,而哪些维度组合使用的较少,哪些维度组合被使用的极少或者未被使用,因此根据不同历史查询数据的查询维度所确定的目标维度组合,能够符合用户进行数据查询时的维度组合特点,使得所确定的目标维度组合能够匹配大多数的查询请求,与由管理员基于主观经验配置维度组合的方式相比,提高了聚合处理所针对的维度组合的合理性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1-图2为本申请实施例的应用场景示意图;
图3为本申请一实施例提供的数据处理方法的流程示意图;
图4为本申请实施例提供的历史查询数据的示意图;
图5为本申请实施例提供的历史查询组合的示意图;
图6A为本申请实施例提供的维度分组1的维度层次树的示意图一;
图6B为本申请实施例提供的维度分组2的维度层次树的示意图;
图7为本申请实施例提供的维度分组1的维度层次树的示意图二;
图8为本申请实施例提供的聚合处理的示意图;
图9为本申请另一实施例提供的数据处理方法的流程示意图;
图10为本申请实施例提供的查询中间数据的示意图;
图11为本申请一实施例提供的数据处理装置的结构示意图;
图12为本申请一实施例提供的服务器的结构示意图;
图13为本申请另一实施例提供的数据处理装置的结构示意图;
图14为本申请另一实施例提供的服务器的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义,“多种”一般包含至少两种,但是不排除包含至少一种的情况。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
取决于语境,如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的商品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
另外,下述各方法实施例中的步骤时序仅为一种举例,而非严格限定。
为了方便本领域技术人员理解本申请实施例提供的技术方案,下面先对技术方案实现的技术环境进行说明。
相关技术中比较常用的确定维度组合的方法,主要包括由用户基于多个维度,配置该多个维度对应的维度组合,然而用户配置维度组合的方式,其合理性无法保证,因此相关技术中亟需一种提高聚合处理所针对的维度组合合理性的方式。
基于类似于上文所述的实际技术需求,本申请提供的数据处理方法可以利用技术化的手段提高聚合处理所针对的维度组合的合理性。
下面通过一个示例性的业务场景具体说明本申请各个实施例提供的数据处理方法。
如图1所示,用户设备11可以根据用户输入向服务器12发送查询请求,查询请求用于指示需要查询的维度以及指标,以请求获得该查询下该指标的查询结果。其中,用户设备11例如可以为手机、笔记本电脑等,当然,在其他实施例中,用户设备11还可以为其他类型设备,本申请对此不做限定。服务器12可以包括云服务器、分布式服务器等任何形式的数据处理服务器。
服务器12在接收到查询请求后,可以确定查询请求对应的查询维度,并从数据库13中存储的聚合处理后的数据中查询获得针对所述查询请求的中间数据。其中,所述聚合处理后的数据可以是服务器11采用本申请实施例提供的数据处理方法处理得到。
需要说明的是,考虑到不同查询范围的数据,对聚合的需求可能不同,因此可以根据具体场景来决定是否采用本申请实施例提供的数据处理方法对数据库中的数据进行预处理,例如不同查询范围的数据可以设置不同的功能开关,在用户打开一查询范围的数据的功能开关时,可以采用本申请实施例提供的数据处理方法对数据库中该查询范围的数据进行预处理;在一查询范围的数据的功能关闭时,可以不采用本申请实施例提供的数据处理方法对数据库中该查询范围的数据进行预处理。和/或,在基于目标维度组合对数据库中的数据进行聚合处理之后,可以将聚合处理后的聚合效果通过界面展示给用户,使得用户能够根据聚合效果确定需要进行预处理的数据,以便用户能够在后台进行配置或进行数据库更新,例如,用户可以根据聚合效果在后台配置针对数据库中的特定数据采用本申请实施例提供的方式进行预处理,又例如,用户可以根据聚合效果在后台更新数据库,以针对更新后的数据库中的数据采用本申请实施例提供的方式进行预处理。基于此,有利于提高聚合处理的灵活性
以聚合处理后的数据为聚合表为例,聚合处理后的数据例如可以如下表1所示。
表1
Figure BDA0002411379980000061
Figure BDA0002411379980000071
其中,“时间”和“地点”均表示维度,“****年1月1日”等表示时间维度的枚举值,“北京”、“上海”等表示地点维度的枚举值,“访问量汇总”、“访问量最大值”和“访问量最小值”均表示指标,其中“访问量汇总”表示各地区每天的访问量之和,“访问量最大值”表示各地区每天的小时访问量的最大值,“访问量最小值”表示各地区每天的小时访问量的最小值。访问量汇总、访问量最大值和访问量最小值,均可以通过聚合处理得到。需要说明的是,表1所示聚合处理后的数据仅为举例,并不作为对于本申请实施例的限制。
假设查询请求用于请求“某一年全年北京地区的访问量汇总”,则服务器12在接收到查询请求之后,可以通过查询表1得到该年1月-该年12月每个月的访问量汇总,其中,该年1月-该年12月每个月的访问量汇总可以理解为查询获得针对所述查询请求的中间数据。
在查询获得针对所述查询请求的中间数据之后,服务器12可以根据所述中间数据进行计算,以计算得到针对所述查询请求的查询结果。例如,可以对查询得到的某一年1月-该年12月每个月的访问量汇总进行求和计算,求和计算的结果即为针对用于请求该年全年北京地区的访问量汇总的查询请求其查询结果。
在得到查询结果之后,服务器12可以将查询结果返回给用户设备11,用户设备11可以将查询结果提示给用户,以便用户可以获知查询结果。
需要说明的是,图1中以聚合处理后的数据存储在数据库13中为例,可以理解的是,聚合处理后的数据还可以存储在数据库13之外,例如存储在服务器12本地。
需要说明的是,图1中以由响应查询请求的服务器12进行聚合处理为例。可以理解的是,如图2所示,也可以由响应查询请求的服务器12之外的服务器14进行聚合处理。
下面结合附图,对本申请的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
图3为本申请一实施例提供的数据处理方法的流程示意图,本实施例的执行主体可以为图1中的服务器12或图2中的服务器14。如图3所示,本实施例的方法可以包括:
步骤301,确定不同历史查询数据的查询维度;
步骤302,基于不同历史查询数据的查询维度,确定目标维度组合,所述目标维度组合包括多个数据维度;
步骤303,基于所述目标维度组合,对数据库中的数据进行聚合处理,以便基于聚合处理后的数据进行查询操作。
本申请实施例中,可以通过分析历史查询数据能够确定出不同历史查询数据的查询维度,例如针对前述的“某一年全年北京地区的访问量汇总”,其查询维度包括时间维度和地区维度。其中,历史查询数据例如可以为近1年的历史查询数据,或者,近6个月的历史查询数据,当然,在其他实施例中,历史查询数据所针对的历史时段还可以为其他时段,本申请对此不做限定。
或者,可以通过接收其他设备发送的历史查询数据与查询维度对应关系的方式,确定不同历史查询数据的查询维度。
其中,不同历史查询数据的查询维度例如可以如图4所示,其中,A、B、C和D分别表示4个不同的数据维度,一个矩形框可以对应一个历史查询数据,矩形框中的字母表示该历史查询数据的查询维度。可以理解的是,多个历史查询数据的查询维度可以相同,体现在图4中可以表现为两个字母均为ABCD的矩形框;多次历史查询数据的查询维度可以不同,体现在图4中可以表现为一个字母为ABC的矩形框与另一个字母为AB。
可选的,所述历史查询数据可以为历史上查询响应时长大于或等于时长阈值的查询数据。查询响应时长越长可以表征服务器12得到查询结果的耗时越长。查询响应时长例如可以是指由用户发起查询请求的时刻到用户获取到查询结果的时刻之间的时长,或者,查询响应时长例如可以是指服务器12接收到查询请求的时刻到服务器12获得查询响应的时刻之间的时长。当然,在其他实施例中,查询响应时长还可以定义为其他时长,本申请对此不做限定。时长阈值可以根据需求灵活实现。
通过历史查询数据为历史上查询响应时长大于或等于时长阈值的查询数据,使得所确定的目标维度组合能够针对查询耗时较长的查询数据,从而使得按照目标维度组合对数据库中的数据进行聚合处理所得到的聚合处理后的数据能够改善查询耗时长的查询请求,有利于提高缩短响应时长的改善效果。
在确定不同历史查询数据的查询维度之后,可以基于不同历史查询数据的查询维度确定目标维度组合,所述目标维度组合是指需要进行聚合处理的维度组合,其包括多个数据维度的组合以通过聚合处理减少查询耗时。由于不同历史查询数据的查询维度能够体现出用户历史在进行数据查询时所使用的维度组合特点,即哪些维度组合使用的最多,哪些维度组合使用的较多,而哪些维度组合使用的较少,哪些维度组合被使用的极少或者未被使用,因此根据不同历史查询数据的查询维度所确定的目标维度组合,能够符合用户进行数据查询时的维度组合特点,使得所确定的目标维度组合能够匹配大多数的查询请求,与由管理员基于主观经验配置维度组合的方式相比,提高了聚合处理所针对的维度组合的合理性。
本申请实施例中,所述根据不同历史查询数据的查询维度,确定目标维度组合具体可以包括:根据不同历史查询数据的查询维度,确定不同查询维度的查询次数;根据不同查询维度的查询次数,确定目标维度组合。基于图4所示的历史查询数据所确定的不同查询维度的查询次数例如可以如图5所示,其中,一个矩形框可以对应一个查询维度,矩形框中的字母可以表示查询维度具体包括的多个数据维度,矩形框中的数字可以表示查询维度的查询次数。参照图5,查询维度ABC出现的查询次数为50次,查询维度ACD的查询次数为150次,查询维度AB的查询次数为200次,查询维度AC的查询次数为1400次,……。
可选的,在确定不同查询维度的查询次数之后,可以根据查询维度的查询次数,过滤掉查询次数小于一定次数阈值的查询维度。其中,次数阈值例如可以为5,以过滤掉查询次数小于5的查询维度,当然,在其他实施例中次数阈值还可以为其他数值,本申请对此不做限定。由于查询次数小于一定次数阈值的查询维度,可以表示用户很少使用其进行数据查询,针对其进行聚合处理对于整体查询的改善不大,因此通过过滤掉查询次数小于一定次数阈值的查询维度,能够在不影响整体聚合效果的基础上,减少查询维度的数量,有利于简化实现。
在一个实施例中,可以根据不同查询维度的查询次数,将查询次数多的前一个或多个查询维度作为目标维度组合。例如,可以将图5中的查询维度BC作为目标维度组合。将查询次数多的前一个或多个查询维度作为目标维度组合的方式,实现简单,但是在实际应用中可能存在对于查询请求覆盖比例较少的情况。基于此,进一步的可以基于维度之间相关性来确定目标维度集合,以扩大目标维度组合对于查询请求的覆盖比例。
本申请实施例中,所述根据不同历史查询数据的查询维度,确定目标维度组合具体可以包括:根据不同历史查询数据的查询维度,确定不同查询维度的查询次数以及两两维度之间的相关性;根据不同查询维度的查询次数以及维度之间的相关性,确定目标维度组合。其中,维度之间的相关性可以与查询维度相关,两个维度出现在同一查询维度中的次数越多,可以表示其相关性越大,两个维度出现在同一查询维度中的次数越少,可以表示其相关性越小。
以图5为例,对于数据维度A、B、C、D、E、F、G、H和K,可以计算A、B、C、D、E、F、G、H、K中两两维度之间的相关性。示例性的,维度A到维度B的相关性可以由维度A+B在查询维度中的查询次数与维度A出现在查询维度中的查询次数的比值,即在维度A出现场景下维度B出现的概率表示;维度B到维度A的相关性可以由维度A+B在查询维度中的查询次数与维度B出现在查询维度中的查询次数的比值,即在维度B出现场景下维度A出现的概率表示。或者,维度A到维度B的相关性可以由A+B在查询维度中的查询次数与A+其他维度在查询维度中查询次数的比值;维度B到维度A的相关性可以由A+B在查询维度中的查询次数与B+其他维度在查询维度中查询次数的比值。当然,在其他实施例中,也可以通过其他方式确定维度之间的相关性,本申请对此不做限定。
本申请实施例中,所述根据不同查询维度的查询次数以及维度之间的相关性,确定目标维度组合,具体可以包括如下步骤A’和步骤B’。
步骤A’根据维度之间的相关性,对所述查询维度中所涉及的多个维度进行分组,以将相关性满足一定要求的维度划分为一组,得到至少一个维度分组;
步骤B’,根据查询维度的查询次数,针对各维度分组分别确定目标维度组合。
其中,查询维度所涉及的多个维度可以为查询维度所涉及的全部或部分维度,以查询维度如图5所示,其所涉及的多个维度可以为A、B、C、D、E、F、G、H和K。可选的,所述多个维度中各维度枚举值的数量可以均小于第一数量阈值。在一维度的枚举值的数量大于第一数量阈值情况下,可以表示该维度为高基维度,在一维度的枚举值的数量小于第一数量阈值情况下,可以表示该维度为非高基维度,第一数量阈值例如可以为10万个。由于高基维度的枚举值数量较多,通过限制多个维度中不包括高基维度,可以避免聚合处理后的数据的数据量过大的问题。
相关性满足一定要求可以表示维度之间相关性强,相关性不满足一定要求可以表示维度之间相关性弱。通过将相关性满足一定要求的维度划分为一组,可以实现将相关性强的维度划分为一组,一个维度分组所包括的多个维度均是相关性强的维度,而不包括相关性弱的维度,由于相关性弱的维度可以表示其作为查询维度的概率非常小,因此无需为针对相关性弱的维度设置目标维度组合,通过将相关性满足一定要求的维度划分为一组,以进一步根据维度分组确定目标维度组合,有利于减少后续确定目标维度组合的计算量。
本申请实施例中,可以通过如下步骤A1-步骤A4对所述多个维度进行分组。
步骤A1,从维度集合中取出查询次数最多的一个维度作为一维度分组。
维度集合的初值为查询维度所涉及的多个维度。
步骤A2,遍历所述维度集合中的剩余维度,从剩余维度中确定与该维度分组中的维度相关性最大的维度。
步骤A3,如果维度与该维度分组中维度的相关性大于相关性阈值,则从所述维度集合中取出所述维度放入该维度分组,并返回步骤A2。
步骤A4,如果维度与该维度分组中维度的相关性小于或等于相关性阈值,则返回步骤A1执行。
参照图5,维度集合的初值可以为{A、B、C、D、E、F、G、H和K},首先可以从A、B、C、D、E、F、G、H和K中选择查询次数最多的维度,由于维度A查询次数为50+150+200+1400+10=1810最高,因此可以先取出A作为一维度分组,此时该维度分组包括A一个维度;之后,可以从B、C、D、E、F、G、H和K中确定与该维度分组最相关(即,与A最相关)的维度C,由于AC相关性强,因此可以将维度C从维度集合中取出放入该维度分组中,此时该维度分组包括A和C两个维度;然后,可以从B、D、E、F、G、H和K中确定与该维度分组最相关(即,与A最相关和与C最相关中相关性较大者)的维度B,由于AB或AC相关性强,因此可以将维度B从维度集合中取出放入该维度分组中,此时该维度分组包括A、B和C三个维度;……,依次类推,该维度分组可以包括A、B、C和D四个维度。在此基础上,进一步的,可以从E、F、G、H和K中确定与该维度分组最相关的维度E,由于E与该维度分组中各维度的相关性均较弱,因此该维度分组中不能包括E,由此最终得到包括A、B、C和D的一个维度分组。
进一步的,针对维度集合中的剩余维度{E、F、G、H和K},可以首先可以从E、F、G、H和K中选择查询次数最多的维度,由于维度E查询次数为最高,因此可以先取出E作为一维度分组,此时该维度分组包括E一个维度;之后,可以从F、G、H和K中确定与该维度分组最相关(即,与E最相关)的维度F,由于EF相关性强,因此可以将维度F从维度集合中取出放入该维度分组中,此时该维度分组包括E和F两个维度;……,依次类推,该维度分组可以包括F、G、H和K四个维度。由于维度集合中已不存在剩余维度,由此最终得到包括F、G、H和K的另一个维度分组。即针对图5所示的查询维度,可以得到两个维度分组,分别为包括A、B、C和D的维度分组1,以及包括F、G、H和K的维度分组2。
当然,在其他实施例中,也可以通过其他方式实现维度分组,本申请对此不作限定。
在基于步骤A’得到至少一个维度分组之后,可以基于通过步骤B’,确定各维度分组的目标维度组合。即,目标维度组合可以以维度分组为单元确定。
本申请实施例中,可以根据不同查询维度的查询次数,确定各维度分组的总查询次数,各维度分组的总查询次数等于其包括的查询维度的查询次数之和;进一步的,针对各维度分组,确定其满足第1条件的第1维度组合,以得到其目标维度组合;其中,满足第1条件包括:所包括的历史查询维度的查询次数之和与维度分组的总查询次数之比大于或等于第1比例阈值。由于一维度分组满足第1条件的维度组合,其能够覆盖针对该维度分组的大于或等于第1比例阈值的历史查询,因此基于满足第1条件的维度组合所得到的目标维度组合,也能够匹配较多的查询请求。
其中,第1比例阈值为大于0小于1的数值,例如可以为85%,当然,在其他实施例中第1比例阈值也可以为其他数值,本申请对此不做限定。可以理解的是,第1比例阈值越高,一维度分组的满足第1条件的维度组合能够更多的覆盖查询维度,基于第1维度组合所得到的目标维度组合其所包括的维度的数量可以越多,其数据量可以越大。
例如,对于包括维度A、B、C和D的维度分组1,根据图5可以确定其总查询次数为50+150+200+1400=1800;对于包括E、F、G、H和K的维度分组2,根据图5可以确定其总查询次数可以为400+1000+500=1000。基于此,在一个实施例中,针对维度分组1所确定的满足第1条件的维度组合,其包括的查询维度的查询次数之和应大于或等于1800的85%,即1530;针对维度分组2所确定的满足第1条件的维度组合,其包括的查询维度的查询次数之和应大于或等于1000的85%,即850。
为了提高确定满足第1条件的维度组合的效率,在一个实施例中,可以根据维度之间的相关性确定其满足第1条件的第1维度组合。即,针对各维度分组,根据维度之间的相关性确定其满足第1条件的第1维度组合,以得到其目标维度组合。
本申请实施例中,可以根据维度之间的相关性,按照相关性由大至小的顺序从维度分组中依次选择维度,直至所确定的维度组合满足第1条件。示例性的,根据维度之间的相关性确定一维度分组的满足第1条件的第1维度组合,具体可以包括如下步骤a1和步骤b1。
步骤a1,从所述维度分组中选择查询次数最多的一个维度放入空的第1维度组合。
步骤b1,根据维度之间的相关性,不断从所述维度分组剩余的维度中,选择与所述第1维度组合中的维度最相关的维度放入所述第1维度组合中,直至所述第1维度组合满足所述第1条件。
举例1
以维度分组为基于图5得到的维度分组1,且第1比例阈值为85%为例,首先,由于维度分组1中维度A的查询次数最多,因此可以选择维度分组1中的维度A放入空的一第1维度组合中,此时该第1维度组合包括A一个维度,维度分组1的剩余维度为B、C和D。其次,可以根据维度之间的相关性,从维度B、C和D中确定与该第1维度组合最相关(即,与A最相关)的维度例如维度C放入该第1维度组合中,此时该第1维度组合包括A和C两个维度,维度分组1的剩余维度为B和D。然后,判断该第1维度组合是否满足第1条件,由于该第1维度组合AC所包括的查询维度只有AC,其查询次数为1400,1400与1800的比值小于85%,因此该第1维度组合不满足第1条件。之后,进一步可以根据维度之间的相关性,从维度B和D中确定与该第1维度组合最相关的维度例如维度B放入该第1维度组合中,此时该第1维度组合包括A、B和C三个维度,维度分组1的剩余维度为D。进一步的,判断该第1维度组合是否满足第1条件,由于该第1维度组合ABC所包括的查询维度为ABC、AC和AB,其查询次数之和为1400+50+200=1650,1650与1800的比值大于85%,因此该第1维度组合满足第1条件。从而得到维度分组1的满足第1条件的一第1维度组合,该第1维度组合包括维度A、B和C。
举例2
以维度分组为基于图5得到的维度分组2,且第1比例阈值为85%为例,首先,由于维度分组2中维度E的查询次数最多,因此可以选择维度分组2中的维度E放入空的一第1维度组合中,此时该第1维度组合包括E一个维度,维度分组2的剩余维度为维度F、G、H和K。其次,可以根据维度之间的相关性,从维度FF、G、H和K中确定与该第1维度组合最相关(即,与E最相关)的维度例如维度F放入该第1维度组合中,此时该第1维度组合包括E和F两个维度,维度分组2的剩余维度为维度G、H和K。然后,判断该第1维度组合是否满足第1条件,由于该第1维度组合EF所包括的查询维度只有E,其查询次数为500,500与1000的比值小于85%,因此该第1维度组合不满足第1条件。之后,进一步可以根据维度之间的相关性,从维度G、H和K中确定与该第1维度组合最相关的维度例如维度G放入该第1维度组合中,此时该第1维度组合包括E、F和G三个维度,维度分组2的剩余维度为维度H和K。进一步的,判断该第1维度组合是否满足第1条件,由于该第1维度组合EFG所包括的查询维度为E和EFG,其查询次数之和为400+500=900,900与1000的比值大于85%,因此该第1维度组合满足第1条件。从而得到维度分组2的满足第1条件的一第1维度组合,该第1维度组合包括维度E、F和G。
本申请实施例中,为了进一步提高所得到的目标维度组合对于查询请求的覆盖,在执行完前述步骤a1和b1,且所述维度分组存在剩余维度情况下,还可以进一步执行如下步骤a2和b2。
步骤a2,从所述维度分组中选择一维度放入空的另一第1维度组合中,所述维度为所述剩余维度中查询次数最多的一个维度;
步骤b2,根据维度之间的相关性,不断从所述维度分组剩余的维度中,选择与所述第1维度组合中的维度最相关的维度放入所述第1维度组合中,直至所述第1维度组合满足所述第1条件。
举例3
例如,对于维度分组1得到第1维度组合ABC之外的剩余维度D,首先,可以从维度分组1中选择维度D放入空的另一第1维度组合中,此时该第1维度组合包括D一个维度,维度分组1的剩余维度为A、B和C。其次,可以根据维度之间的相关性,从维度A、B和C中确定与该第1维度组合最相关(即,与D最相关)的维度例如维度A放入该第1维度组合中,此时该第1维度组合包括A和D两个维度,维度分组1的剩余维度为B和C。然后,判断该第1维度组合是否满足第1条件,由于该第1维度组合AD不包括任何的查询维度,其查询次数为0,0与1800的比值小于85%,因此该第1维度组合不满足第1条件。之后,进一步可以根据维度之间的相关性,从维度B和C中确定与该第1维度组合最相关的维度例如维度C放入该第1维度组合中,此时该第1维度组合包括A、C和D三个维度,维度分组1的剩余维度为B。进一步的,判断该第1维度组合是否满足第1条件,由于该第1维度组合ACD所包括的查询维度为ACD和AC,其查询次数之和为1400+150=1550,1550与1800的比值大于85%,因此该第1维度组合满足第1条件。从而得到维度分组1的满足第1条件的另一第1维度组合,该第1维度组合包括维度A、C和D。
举例4
例如,对于维度分组2得到第1维度组合EFG之外的剩余维度H和K,首先,由于H和K的查询次数相同,因此可以任选一个(以下以选择H为例),从而可以从维度分组2中选择维度H放入空的另一第1维度组合中,此时该第1维度组合包括H一个维度,维度分组1的剩余维度为E、F、G和K。其次,可以根据维度之间的相关性,从维度E、F、G和K中确定与该第1维度组合最相关(即,与H最相关)的维度例如维度K放入该第1维度组合中,此时该第1维度组合包括H和K两个维度,维度分组2的剩余维度为维度E、F和G。然后,判断该第1维度组合是否满足第1条件,由于该第1维度组合HK不包括任何的查询维度,其查询次数为0,0与1000的比值小于85%,因此该第1维度组合不满足第1条件。之后,进一步可以根据维度之间的相关性,从维度E、F和G中确定与该第1维度组合最相关的维度例如维度E放入该第1维度组合中,此时该第1维度组合包括E、H和K三个维度,维度分组2的剩余维度为维度F和G。进一步的,判断该第1维度组合是否满足第1条件,由于该第1维度组合EHK所包括的查询维度为E和EHK,其查询次数之和为100+500=600,600与1000的比值小于85%,因此该第1维度组合不满足第1条件。之后,进一步可以根据维度之间的相关性,从维度F和G中确定与该第1维度组合最相关的维度例如维度F放入该第1维度组合中,此时该第1维度组合包括E、F、H和K四个维度,维度分组2的剩余维度为维度G。进一步的,判断该第1维度组合是否满足第1条件,由于该第1维度组合EFHK所包括的查询维度还是为E和EHK,其查询次数之和还是为100+500=600,600与1000的比值小于85%。因此,进一步可以根据维度之间的相关性,从维度G中确定与该第1维度组合最相关的维度即维度G放入该第1维度组合中,此时该第1维度组合包括E、F、G、H和K五个维度,维度分组2的剩余维度为空。进一步的,判断该第1维度组合是否满足第1条件,由于该第1维度组合EFGHK所包括的查询维度为E、EHK和EFG,其查询次数之和为100+500+400=1000,1000与1000的比值大于85%,因此该第1维度组合满足第1条件。从而得到维度分组1的满足第1条件的另一第1维度组合,该第1维度组合包括维度E、F、G、H和K。由于该第1维度组合与维度分组1相同,其存在无意义,因此可以后续可以不做进一步考虑。
基于前述举例1至举例4,可以得到维度分组1和维度分组2分别的维度层次树。其中,维度分组1的维度层次树可以如图6A所示,维度分组2的层次树可以如图6B所示。参考图6A,其根节点对应的维度为维度分组1的全部维度即维度A、B、C和D,该根节点包括两个子节点,分别为子节点1和子节点2,其中,子节点1对应的维度为A、B和C即前述一第1维度组合,子节点2对应的维度为A、C和D即前述另一第1维度组合。参考图6B,其根节点对应的维度为维度分组2的全部维度即维度E、F、G、H和K,该根节点包括一个子节点,该子节点对应的维度为E、F和G即前述一第1维度组合。
本申请实施例中,针对前述的第1维度组合,可以进一步确定其占比较多的下一级维度组合,记为第2维度组合,通过下一级维度组合的确定能够得到维度数量少,数据量小的目标维度组合,从而能够提供对于查询请求针对性较强的小量级维度组合。
基于此,在上述确定第1维度组合的基础上,本申请实施例提供的数据处理方法还可以包括:根据查询维度的查询次数,确定各第1维度组合的总查询次数,各第1维度组合的总查询次数等于其包括的查询维度的查询次数之和;以及,针对各维度分组的第1维度组合,确定其满足第2条件的第2维度组合,以得到各所述维度分组的目标维度组合;所述满足第2条件包括:所包括的历史查询维度的查询次数之和与第1维度组合的总查询次数之比大于或等于第2比例阈值。
其中,第2比例阈值为大于0小于1的数值,第2比例阈值与第1比例阈值可以相同,也可以不同。第2比例阈值例如也可以为85%,当然,在其他实施例中第2比例阈值也可以为其他数值,本申请对此不做限定。可以理解的是,第2比例阈值越高,一第1维度组合的满足第2条件的维度组合能够更多的覆盖查询维度,基于第2维度组合所得到的目标维度组合其所包括的维度的数量可以越多,其数据量可以越大。
例如,对于包括维度A、B和C的第1维度组合,根据图5可以确定其总查询次数为50+200+1400=1650;对于包括A、C和D的第1维度组合,根据图5可以确定其总查询次数为150+1400=1550;对于包括维度E、F和G的第1维度组合,根据图5可以确定其总查询次数可以为400+500=900。基于此,在一个实施例中,针对第1维度组合ABC所确定的满足第2条件的维度组合,其包括的查询维度的查询次数之和应大于或等于1650的85%,即1402.5;针对第1维度组合ACD所确定的满足第2条件的维度组合,其包括的查询维度的查询次数之和应大于或等于1550的85%,即1317.5;针对第1维度组合EFG所确定的满足第2条件的维度组合,其包括的查询维度的查询次数之和应大于或等于900的85%,即765。
类似的,为了提高确定满足第2条件的维度组合的效率,在一个实施例中,可以根据维度之间的相关性确定其满足第2条件的第2维度组合。即,针对各维度分组的第1维度组合,根据维度之间的相关性确定其满足第2条件的第2维度组合,以得到其目标维度组合。
类似的,根据维度之间的相关性确定一第1维度组合的满足第2条件的第2维度组合,具体可以包括如下步骤a3和步骤b3。
步骤a3,从所述第1维度组合中选择查询次数最多的一个维度放入空的第2维度组合。
步骤b3,根据维度之间的相关性,不断从所述第1维度组合剩余的维度中,选择与所述第2维度组合中的维度最相关的维度放入所述第2维度组合中,直至所述第2维度组合满足所述第2条件。
举例5
以第1维度组合为基于图5得到的包括A、B和C的第1维度组合,且第2比例阈值为80%为例,首先,由于第1维度组合中维度A的查询次数最多,因此可以选择第1维度组合中的维度A放入空的一第2维度组合中,此时该第2维度组合包括A一个维度,第1维度组合的剩余维度为B和C。其次,可以根据维度之间的相关性,从维度B和C中确定与该第2维度组合最相关(即,与A最相关)的维度例如维度C放入该第2维度组合中,此时该第2维度组合包括A和C两个维度,第1维度组合的剩余维度为B。然后,判断该第2维度组合是否满足第2条件,由于该第2维度组合AC所包括的查询维度只有AC,其查询次数为1400,1400与1650的比值大于80%,因此该第2维度组合满足第2条件。从而得到第1维度组合满足第2条件的一第2维度组合,该第2维度组合包括维度A和C。
类似的,为了提高所得到的目标维度组合对于查询请求的覆盖,在执行完前述步骤a3至b2,且所述第1维度组合存在剩余维度情况下,还可以进一步执行如下步骤a4和b4。
步骤a4,从所述第1维度组合中选择一维度放入空的另一第2维度组合中,所述目标维度为所述剩余维度中查询次数最多的一个维度;
步骤b4,根据维度之间的相关性,不断从所述第1维度组合剩余的维度中,选择与所述第2维度组合中的维度最相关的下一维度放入所述第2维度组合中,直至所述第2维度组合满足所述第2条件。
举例6
例如,对于第1维度组合得到第2维度组合AC之外的剩余维度B,首先,可以从第1维度组合中选择维度B放入空的另一第2维度组合中,此时该第2维度组合包括B一个维度,第1维度组合的剩余维度为A和C。其次,可以根据维度之间的相关性,从维度A和C中确定与该第2维度组合最相关(即,与B最相关)的维度例如维度A放入该第2维度组合中,此时该第2维度组合包括A和B两个维度,第1维度组合的剩余维度为C。然后,判断该第2维度组合是否满足第2条件,由于该第2维度组合AB包括的查询维度仅为AB,其查询次数为200,200与1650的比值小于85%,因此该第2维度组合不满足第2条件。之后,进一步可以根据维度之间的相关性,从维度C中确定与该第2维度组合最相关的维度即维度C放入该第2维度组合中,此时该第2维度组合包括A、B和C三个维度,第1维度组合的剩余维度为空。进一步的,判断该第2维度组合是否满足第2条件,由于该第2维度组合ABC所包括的查询维度为ABC、AB和AC,其查询次数之和为50+200+1400=1650,1650与1650的比值大于85%,因此该第2维度组合满足第2条件。从而得到第1维度组合的满足第2条件的另一第2维度组合,该第2维度组合包括维度A、B和C。由于该第2维度组合与第1维度组合相同,其存在无意义,因此可以后续可以不做进一步考虑。
在图6A的基础上,基于前述举例5和举例6,可以得到维度分组1的维度层次树。其中,维度分组1的维度层次树可以如图7所示。参考图7,其根节点对应的维度为维度分组1的全部维度即维度A、B、C和D,该根节点包括两个子节点,分别为子节点1和子节点2,其中,子节点1对应的维度为A、B和C即前述一第1维度组合,子节点2对应的维度为A、C和D即前述另一第1维度组合,子节点1包括一个子节点3,该子节点3对应的维度为A和C,即为前述的第2维度组合。
本申请实施例中,针对前述的第2维度组合,可以进一步确定其占比较多的下一级维度组合,记为第3维度组合;针对第3维度组合,可以进一步确定其占比较多的下一级维度组合,记为第4维度聚合;……,以此类推,通过第3维度组合、第4维度组合等的确定能够得到维度数量更少,数据量更小的目标维度组合,从而能够提供对于查询请求针对性较强的更小量级维度组合。
基于此,在上述确定第1维度组合的基础上,本申请实施例提供的数据处理方法还可以包括:针对各维度分组的第i维度组合,根据维度之间的相关性确定其满足第i+1条件的第i+1维度组合;i依次取大于0的自然数,直至各所述维度分组的第i维度组合与其第i+1维度组合中的维度完全相同,以得到各所述维度分组的目标维度组合;所述满足第i+1条件包括:所包括的查询维度的查询次数之和与第i维度组合的总查询次数之比大于或等于第i+1比例阈值;第i维度组合的总查询次数等于其包括的查询维度的查询次数之和。
需要说明的是,关于根据维度之间的相关性确定第i维度组合满足第i+1条件的第i+1维度组合的具体说明,可以参见前述i等于1时,即根据第1维度组合确定其第2维度组合的相关描述,在此不再赘述。
本申请实施例中,在得到前述维度分组及其满足条件的维度组合的基础上,进一步的可以得到目标维度组合。在一个实施例中,可以将各维度分组其满足条件的维度组合,例如第1维度组合、第2维度组合等作为其目标维度组合。
或者,为了避免出现聚合处理后数据量过大的问题,可以基于预设条件进行筛选,以得到目标维度组合。基于此,本申请实施例还可以包括:针对各维度分组及其满足所述条件的维度组合,筛选出满足预设条件的对象作为目标维度组合。其中,所述预设条件包括:枚举值的数量与所述多个维度其枚举值的数量的比值小于或等于预设阈值,所述预设阈值大于0小于1。
需要说明的是,所述满足预设条件的对象可以包括:满足预设条件的维度分组,满足预设条件的第1维度组合、第2维度组合等。例如,假设维度分组1满足预设条件,则目标维度分组可以包括维度组合ABCD。又例如,假设第1维度组合ABC满足预设条件,则目标维度分组可以包括维度组合ABC。
其中,预设阈值例如可以为0.2,当然,在其他实施例中预设阈值也可以为其他数值,本申请对此不做限定。可以理解的是,预设阈值越小,满足预设条件的目标维度组合,其数据量越小。
本申请实施例中,在得到目标维度组合之后,进一步的可以基于所述目标维度组合对数据库中的数据进行聚合处理,以便基于聚合处理后的数据进行查询操作。可选的,如图8所示,所述基于所述目标维度组合,对数据库中的数据进行聚合处理,具体可以包括:基于枚举值数量大于第二数量阈值的目标维度组合,采用离线方式对数据库中的数据进行聚合处理,以得到聚合处理后的第一数据。和/或,所述基于所述目标维度组合,对数据库中的数据进行聚合处理,具体可以包括:基于枚举值数量小于第二数量阈值的目标维度组合,采用在线实时方式对数据库中的数据进行聚合处理,以得到聚合处理后的第二数据,所述第二数据的查询优先级高于所述第一数据。其中,第二数量阈值例如可以为10万个,当然,在其他实施例中,第二数量阈值也可以为其他取值,本申请对此不做限定。
实时方式可以是指由数据更新触发聚合的方式。示例性的,在服务器12获知数据库13中存储的原始表更新情况下,可以基于枚举值数量小于第二数量阈值的目标维度组合对更新后的原始表进行聚合处理。其中,原始表中查询维度中所涉及的多个维度,例如前述的维度A、B、C、D、E、F、G、H和K。区别于实时方式,离线方式可以是指不由数据更新触发的方式。示例性的,在服务器12获知数据库13中存储的原始表更新情况下,可以不基于枚举值数量大于第二数量阈值的目标维度组合进行聚合处理,而是在特定时间例如每周一凌晨1点-2点基于枚举值数量大于第二数量阈值的目标维度组合对数据库中的数据进行聚合处理。
通过基于枚举值数量大于第二数量阈值的目标维度组合,采用离线方式进行聚合处理,基于枚举值数据量小于第二数量阈值的目标维度组合,采用实时方式进行聚合处理,使得聚合处理能够兼顾数据量和灵活性,有利于提高聚合效果。通过聚合处理后的第二数据的查询优先级高于聚合处理后的第一数据,使得在服务器12响应查询请求时,可以优先从聚合处理后的第二数据中查询中间数据,由于第二数据是采用实时方式进行聚合处理得到,从而能够提高查询得到的聚合处理后的数据的实时性,有利于提高用户的使用体验。
本申请实施例中,如图8所示,所述第一数据可以是以表格形式存储在数据库13中,即作为聚合表存储在数据库13中。所述第二数据也可以是以表格形式存储在数据库13中,或者,所述第二数据是以文件形式进行存储。通过以文件形式存储第二数据,与以表格形式受限于表格形式相比,有利于便于第二数据的更新。
在第二数据是以文件形式存储情况下,如图8所示,第二数据例如可以存储通过对象存储服务(Object Storage Service,OSS)以OSS文件形式存储。当然,在其他实施例中,第二数据还可以以其他方式进行存储,本申请对此不做限定,例如第二数据可以存储在分布式文件系统中。
通过本申请实施例提供的数据处理方法,确定不同历史查询数据的查询维度,基于不同历史查询数据的查询维度,确定目标维度组合,所述目标维度组合包括多个数据维度,基于所述目标维度组合,对数据库中的数据进行聚合处理,以便基于聚合处理后的数据进行查询操作,由于不同历史查询分别针对的查询维度能够体现出用户历史在进行数据查询时所使用的维度组合特点,即哪些维度组合使用的最多,哪些维度组合使用的较多,而哪些维度组合使用的较少,哪些维度组合被使用的极少或者未被使用,因此根据不同历史查询数据的查询维度所确定的目标维度组合,能够符合用户进行数据查询时的维度组合特点,使得所确定的目标维度组合能够匹配大多数的查询请求,与由管理员基于主观经验配置维度组合的方式相比,提高了聚合处理所针对的维度组合的合理性。
图9为本申请另一实施例提供的数据处理方法的流程示意图,本实施例的执行主体可以为图1或图2中的服务器12。如图9所示,本实施例的方法可以包括:
步骤901,确定用户设备的查询请求对应的查询维度;
步骤902,根据所述查询维度,从聚合处理后的数据中查询获得针对所述查询请求的中间数据;所述聚合处理后的数据是基于目标维度组合对数据库中的数据进行聚合处理得到,所述目标维度组合包括多个数据维度,所述目标维度组合是基于不同历史查询数据的查询维度确定;
步骤903,根据所述中间数据,计算得到针对所述查询请求的查询结果。
以查询请求用于请求“某一年全年北京地区的访问量汇总”为例,该查询请求对应的查询维度包括时间维度和地区维度。需要说明的是,本实施例中关于目标维度组合的确定以及按照目标维度组合进行聚合处理的具体方式,可以参见图3所示实施例的相关描述,在此不再赘述。
以聚合处理后的数据包括聚合处理后的第一数据和聚合处理后的第二数据,第一数据存储在数据库的聚合表中,第二数据存储在OSS文件中为例,在根据查询维度从聚合处理后的数据中查询获得中间数据时,如图10所示,可以按照优先OSS文件,然后聚合表,最后原始表的方式的中间数据,图10中的1、2、3可以表示优先级,其中,1→3优先级依次降低。
通过本申请实施例提供的数据处理方法,根据查询维度从聚合处理后的数据中查询获得针对查询请求的中间数据,根据中间数据计算得到针对查询请求的查询结果,由于聚合处理后的数据是基于目标维度组合进行聚合处理得到,而目标维度组合是基于不同历史查询数据的查询维度确定的,根据不同历史查询数据的查询维度所确定的目标维度组合能够符合用户进行数据查询时的维度组合特点,使得根据目标维度组合进行聚合处理所得到的聚合处理后的数据能够命中更多的查询请求,从而提高了基于聚合处理降低查询耗时的效果。
图11为本申请一实施例提供的数据处理装置的结构示意图;参考附图11所示,本实施例提供了一种数据处理装置,该装置可以执行上述的图3所示实施例提供的数据处理方法,具体的,该数据处理装置可以包括:
维度确定模块111,用于确定不同历史查询数据的查询维度;
组合确定模块112,用于基于不同历史查询数据的查询维度,确定目标维度组合,所述目标维度组合包括多个数据维度;
聚合模块113,用于基于所述目标维度组合,对数据库中的数据进行聚合处理,以便基于聚合处理后的数据进行查询操作。
可选的,组合确定模块112,具体用于根据不同历史查询数据的查询维度,确定不同查询维度的查询次数以及两两维度之间的相关性;以及,根据不同查询维度的查询次数以及维度之间的相关性,确定目标维度组合。
可选的,组合确定模块112,还用于根据查询维度的查询次数,过滤掉查询次数小于一定次数阈值的查询维度。
可选的,组合确定模块112用于根据不同查询维度的查询次数以及维度之间的相关性,确定目标维度组合具体包括:
根据维度之间的相关性,对所述查询维度中所涉及的多个维度进行分组,以将相关性满足一定要求的维度划分为一组,得到至少一个维度分组;
根据查询维度的查询次数以及维度之间的相关性,针对各维度分组分别确定目标维度组合。
可选的,组合确定模块112用于根据查询维度的查询次数以及维度之间的相关性,针对各维度分组分别确定目标维度组合,具体包括:
根据查询维度的查询次数,确定各维度分组的总查询次数,各维度分组的总查询次数等于其包括的查询维度的查询次数之和;
针对各维度分组,根据维度之间的相关性确定其满足第1条件的第1维度组合,以得到其目标维度组合;所述满足第1条件包括:所包括的历史查询维度的查询次数之和与维度分组的总查询次数之比大于或等于第1比例阈值。
可选的,组合确定模块112用于根据维度之间的相关性确定一维度分组的满足第1条件的第1维度组合,具体包括:
从所述维度分组中选择查询次数最多的一个维度放入空的第1维度组合;
根据维度之间的相关性,不断从所述维度分组剩余的维度中,选择与所述第1维度组合中的维度最相关的维度放入所述第1维度组合中,直至所述第1维度组合满足所述第1条件。
可选的,在所述维度分组存在剩余维度情况下,确定模块112还用于:
从所述维度分组中选择一维度放入空的另一第1维度组合中,所述目标维度为所述剩余维度中查询次数最多的一个维度;
根据维度之间的相关性,不断从所述维度分组剩余的维度中,选择与所述第1维度组合中的维度最相关的维度放入所述第1维度组合中,直至所述第1维度组合满足所述第1条件。
可选的,组合确定模块112还用于:
根据查询维度的查询次数,确定各第1维度组合的总查询次数,各第1维度组合的总查询次数等于其包括的查询维度的查询次数之和;
针对各维度分组的第1维度组合,根据维度之间的相关性确定其满足第2条件的第2维度组合,以得到各所述维度分组的目标维度组合;所述满足第2条件包括:所包括的历史查询维度的查询次数之和与第1维度组合的总查询次数之比大于或等于第2比例阈值。
可选的,组合确定模块112还用于:
针对各维度分组的第i维度组合,根据维度之间的相关性确定其满足第i+1条件的第i+1维度组合,i依次取大于0的自然数,直至各所述维度分组的第i维度组合与其第i+1维度组合中的维度完全相同,以得到各所述维度分组的目标维度组合;所述满足第i+1条件包括:所包括的查询维度的查询次数之和与第i维度组合的总查询次数之比大于或等于第i+1比例阈值;第i维度组合的总查询次数等于其包括的查询维度的查询次数之和。
可选的,组合确定模块112还用于:针对各维度分组及其满足所述条件的维度组合,筛选出满足预设条件的对象作为目标维度组合;
所述预设条件包括:枚举值的数量与所述多个维度其枚举值的数量的比值小于或等于预设阈值,所述预设阈值大于0小于1。
可选的,所述多个维度中各维度枚举值的数量均小于第一数量阈值。
可选的,所述聚合模块113,具体用于基于枚举值数量大于第二数量阈值的目标维度组合,采用离线方式对数据库中的数据进行聚合处理,以得到聚合处理后的第一数据。
可选的,所述聚合模块113,还用于基于枚举值数量小于第二数量阈值的目标维度组合,采用在线实时方式对数据库中的数据进行聚合处理,以得到聚合处理后的第二数据,所述第二数据的查询优先级高于所述第一数据。
可选的,所述第二数据是以文件形式进行存储。
可选的,所述历史查询数据为历史上查询响应时长大于或等于时长阈值的查询数据。
图11所示装置可以执行图3所示实施例的方法,本实施例未详细描述的部分,可参考对图3所示实施例的相关说明。该技术方案的执行过程和技术效果参见图3所示实施例中的描述,在此不再赘述。
在一个可能的实现中,图11所示数据处理装置的结构可实现为一服务器。如图12所示,该服务器可以包括:处理器121和存储器122。其中,存储器122用于存储支持服务器执行上述图3所示实施例中提供的数据处理方法的程序,处理器121被配置为用于执行存储器122中存储的程序。
程序包括一条或多条计算机指令,其中,一条或多条计算机指令被处理器121执行时能够实现如下步骤:
确定不同历史查询数据的查询维度;
基于不同历史查询数据的查询维度,确定目标维度组合,所述目标维度组合包括多个数据维度;
基于所述目标维度组合对数据库中的数据进行聚合处理,以便基于聚合处理后的数据进行查询操作。
可选的,处理器121还用于执行前述图3所示实施例中服务器侧的全部或部分步骤。
其中,服务器的结构中还可以包括通信接口123,用于服务器与其他设备或通信网络通信。
图13为本申请另一实施例提供的数据处理装置的结构示意图;参考附图13所示,本实施例提供了一种数据处理装置,该装置可以执行上述的图9所示实施例提供的数据处理方法,具体的,该数据处理装置可以包括:
确定模块131,用于确定用户设备的查询请求对应的查询维度;
查询模块132,用于根据所述查询维度,从聚合处理后的数据中查询获得针对所述查询请求的中间数据;所述聚合处理后的数据是基于目标维度组合对数据库中的数据进行聚合处理得到,所述目标维度组合包括多个数据维度,所述目标维度组合是基于不同历史查询数据的查询维度确定;
计算模块133,用于根据所述中间数据,计算得到针对所述查询请求的查询结果
图13所示装置可以执行图9所示实施例的方法,本实施例未详细描述的部分,可参考对图9所示实施例的相关说明。该技术方案的执行过程和技术效果参见图9所示实施例中的描述,在此不再赘述。
在一个可能的实现中,图13所示数据处理装置的结构可实现为一服务器。如图14所示,该服务器可以包括:处理器141和存储器142。其中,存储器142用于存储支持服务器执行上述图9所示实施例中提供的数据处理方法的程序,处理器141被配置为用于执行存储器142中存储的程序。
程序包括一条或多条计算机指令,其中,一条或多条计算机指令被处理器141执行时能够实现如下步骤:
确定用户设备的查询请求对应的查询维度;
根据所述查询维度,从聚合处理后的数据中查询获得针对所述查询请求的中间数据;所述聚合处理后的数据是基于目标维度组合对数据库中的数据进行聚合处理得到,所述目标维度组合包括多个数据维度,所述目标维度组合是基于不同历史查询数据的查询维度确定;
根据所述中间数据,计算得到针对所述查询请求的查询结果。
可选的,处理器141还用于执行前述图9所示实施例中服务器侧的全部或部分步骤。
其中,服务器的结构中还可以包括通信接口143,用于服务器与其他设备或通信网络通信。
另外,本申请实施例提供了一种计算机存储介质,用于储存服务器所用的计算机软件指令,其包含用于执行上述图3所示方法实施例中数据处理方法所涉及的程序。
本申请实施例提供了一种计算机存储介质,用于储存服务器所用的计算机软件指令,其包含用于执行上述图9所示方法实施例中数据处理方法所涉及的程序。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现,当然也可以通过硬件和软件结合的方式来实现。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程设备的处理器以产生一个机器,使得通过计算机或其他可编程设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (20)

1.一种数据处理方法,其特征在于,所述方法包括:
确定不同历史查询数据的查询维度;
基于不同历史查询数据的查询维度,确定目标维度组合,所述目标维度组合包括多个数据维度;
基于所述目标维度组合对数据库中的数据进行聚合处理,以便基于聚合处理后的数据进行查询操作。
2.根据权利要求1所述的方法,其特征在于,所述根据不同历史查询数据的查询维度,确定目标维度组合,包括:
根据不同历史查询数据的查询维度,确定不同查询维度的查询次数以及两两维度之间的相关性;
根据不同查询维度的查询次数以及维度之间的相关性,确定目标维度组合。
3.根据权利要求2所述的方法,其特征在于,所述根据不同查询维度的查询次数以及维度之间的相关性,确定目标维度组合之前,还包括:
根据查询维度的查询次数,过滤掉查询次数小于一定次数阈值的查询维度。
4.根据权利要求2所述的方法,其特征在于,所述根据不同查询维度的查询次数以及维度之间的相关性,确定目标维度组合,包括:
根据维度之间的相关性,对所述查询维度中所涉及的多个维度进行分组,以将相关性满足一定要求的维度划分为一组,得到至少一个维度分组;
根据查询维度的查询次数以及维度之间的相关性,针对各维度分组分别确定目标维度组合。
5.根据权利要求4所述的方法,其特征在于,所述根据查询维度的查询次数以及维度之间的相关性,针对各维度分组分别确定目标维度组合,包括:
根据查询维度的查询次数,确定各维度分组的总查询次数,各维度分组的总查询次数等于其包括的查询维度的查询次数之和;
针对各维度分组,根据维度之间的相关性确定其满足第1条件的第1维度组合,以得到其目标维度组合;所述满足第1条件包括:所包括的查询维度的查询次数之和与维度分组的总查询次数之比大于或等于第1比例阈值。
6.根据权利要求5所述的方法,其特征在于,根据维度之间的相关性确定一维度分组的满足第1条件的第1维度组合,包括:
从所述维度分组中选择查询次数最多的一个维度放入空的第1维度组合;
根据维度之间的相关性,不断从所述维度分组剩余的维度中,选择与所述第1维度组合中的维度最相关的维度放入所述第1维度组合中,直至所述第1维度组合满足所述第1条件。
7.根据权利要求6所述的方法,其特征在于,在所述维度分组存在剩余维度情况下,所述方法还包括:
从所述维度分组中选择一维度放入空的另一第1维度组合中,所述维度为所述剩余维度中查询次数最多的一个维度;
根据维度之间的相关性,不断从所述维度分组剩余的维度中,选择与所述第1维度组合中的维度最相关的维度放入所述第1维度组合中,直至所述第1维度组合满足所述第1条件。
8.根据权利要求5所述的方法,其特征在于,所述方法还包括:
根据查询维度的查询次数,确定各第1维度组合的总查询次数,各第1维度组合的总查询次数等于其包括的查询维度的查询次数之和;
针对各维度分组的第1维度组合,根据维度之间的相关性确定其满足第2条件的第2维度组合,以得到各所述维度分组的目标维度组合;所述满足第2条件包括:所包括的查询维度的查询次数之和与第1维度组合的总查询次数之比大于或等于第2比例阈值。
9.根据权利要求5所述的方法,其特征在于,所述方法还包括:
针对各维度分组的第i维度组合,根据维度之间的相关性确定其满足第i+1条件的第i+1维度组合,i依次取大于0的自然数,直至各所述维度分组的第i维度组合与其第i+1维度组合中的维度完全相同,以得到各所述维度分组的目标维度组合;所述满足第i+1条件包括:所包括的查询维度的查询次数之和与第i维度组合的总查询次数之比大于或等于第i+1比例阈值;第i维度组合的总查询次数等于其包括的查询维度的查询次数之和。
10.根据权利要求5-9任一项所述的方法,其特征在于,所述方法还包括:
针对各维度分组及其满足所述条件的维度组合,筛选出满足预设条件的对象作为目标维度组合;
所述预设条件包括:枚举值的数量与所述多个维度其枚举值的数量的比值小于或等于预设阈值,所述预设阈值大于0小于1。
11.根据权利要求4所述的方法,其特征在于,所述多个维度中各维度枚举值的数量均小于第一数量阈值。
12.根据权利要求1所述的方法,其特征在于,所述基于所述目标维度组合,对数据库中的数据进行聚合处理,包括:
基于枚举值数量大于第二数量阈值的目标维度组合,采用离线方式对数据库中的数据进行聚合处理,以得到聚合处理后的第一数据。
13.根据权利要求12所述的方法,其特征在于,所述基于所述目标维度组合,对数据库中的数据进行聚合处理,还包括:
基于枚举值数量小于第二数量阈值的目标维度组合,采用在线实时方式对数据库中的数据进行聚合处理,以得到聚合处理后的第二数据,所述第二数据的查询优先级高于所述第一数据。
14.根据权利要求13所述的方法,其特征在于,所述聚合处理后的第二数据是以文件形式进行存储。
15.根据权利要求1所述的方法,其特征在于,所述历史查询数据为历史上查询响应时长大于或等于时长阈值的查询数据。
16.一种数据处理方法,其特征在于,所述方法包括:
确定用户设备的查询请求对应的查询维度;
根据所述查询维度,从聚合处理后的数据中查询获得针对所述查询请求的中间数据;所述聚合处理后的数据是基于目标维度组合对数据库中的数据进行聚合处理得到,所述目标维度组合包括多个数据维度,所述目标维度组合是基于不同历史查询数据的查询维度确定;
根据所述中间数据,计算得到针对所述查询请求的查询结果。
17.一种数据处理装置,其特征在于,所述装置包括:
维度确定模块,用于确定不同历史查询数据的查询维度;
组合确定模块,用于基于不同历史查询数据的查询维度,确定目标维度组合,所述目标维度组合包括多个数据维度;
聚合模块,用于基于所述目标维度组合,对数据库中的数据进行聚合处理,以便基于聚合处理后的数据进行查询操作。
18.一种数据处理装置,其特征在于,所述装置包括:
确定模块,用于确定用户设备的查询请求对应的查询维度;
查询模块,用于根据所述查询维度,从聚合处理后的数据中查询获得针对所述查询请求的中间数据;所述聚合处理后的数据是基于目标维度组合对数据库中的数据进行聚合处理得到,所述目标维度组合包括多个数据维度,所述目标维度组合是基于不同历史查询数据的查询维度确定;
计算模块,用于根据所述中间数据,计算得到针对所述查询请求的查询结果。
19.一种服务器,其特征在于,包括:存储器、处理器;所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现如权利要求1至15中任一项所述的方法。
20.一种服务器,其特征在于,包括:存储器、处理器;所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现如权利要求16所述的方法。
CN202010177753.5A 2020-03-13 2020-03-13 数据处理方法、装置及设备 Active CN113392130B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010177753.5A CN113392130B (zh) 2020-03-13 2020-03-13 数据处理方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010177753.5A CN113392130B (zh) 2020-03-13 2020-03-13 数据处理方法、装置及设备

Publications (2)

Publication Number Publication Date
CN113392130A true CN113392130A (zh) 2021-09-14
CN113392130B CN113392130B (zh) 2022-04-29

Family

ID=77616349

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010177753.5A Active CN113392130B (zh) 2020-03-13 2020-03-13 数据处理方法、装置及设备

Country Status (1)

Country Link
CN (1) CN113392130B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008055202A2 (en) * 2006-10-31 2008-05-08 Execue, Inc. System and method for distributing queries to a group of databases and expediting data access
CN102339448A (zh) * 2011-09-30 2012-02-01 奇智软件(北京)有限公司 团购平台信息处理方法及装置
CN104281648A (zh) * 2014-05-12 2015-01-14 浙江大学 基于维度标签的搜索结果多维度导航方法
CN104424229A (zh) * 2013-08-26 2015-03-18 腾讯科技(深圳)有限公司 一种多维度拆分的计算方法及系统
CN104965886A (zh) * 2015-06-16 2015-10-07 广州市勤思网络科技有限公司 数据维度处理方法
CN105224534A (zh) * 2014-05-29 2016-01-06 腾讯科技(深圳)有限公司 一种请求响应的方法及装置
CN106528847A (zh) * 2016-11-24 2017-03-22 北京集奥聚合科技有限公司 一种海量数据的多维度处理方法及系统
CN108268524A (zh) * 2016-12-30 2018-07-10 北京国双科技有限公司 数据库聚合处理方法及装置
CN108268515A (zh) * 2016-12-30 2018-07-10 北京国双科技有限公司 聚合表维度的选择方法和装置
US20180285439A1 (en) * 2017-03-28 2018-10-04 Shanghai Kyligence Information Technology Co., Ltd Olap pre-calculation model, automatic modeling method, and automatic modeling system
CN109213829A (zh) * 2017-06-30 2019-01-15 北京国双科技有限公司 数据查询方法及装置
CN110399534A (zh) * 2019-07-31 2019-11-01 京信通信系统(中国)有限公司 终端性能报表生成方法、装置、设备和存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008055202A2 (en) * 2006-10-31 2008-05-08 Execue, Inc. System and method for distributing queries to a group of databases and expediting data access
CN102339448A (zh) * 2011-09-30 2012-02-01 奇智软件(北京)有限公司 团购平台信息处理方法及装置
CN104424229A (zh) * 2013-08-26 2015-03-18 腾讯科技(深圳)有限公司 一种多维度拆分的计算方法及系统
CN104281648A (zh) * 2014-05-12 2015-01-14 浙江大学 基于维度标签的搜索结果多维度导航方法
CN105224534A (zh) * 2014-05-29 2016-01-06 腾讯科技(深圳)有限公司 一种请求响应的方法及装置
CN104965886A (zh) * 2015-06-16 2015-10-07 广州市勤思网络科技有限公司 数据维度处理方法
CN106528847A (zh) * 2016-11-24 2017-03-22 北京集奥聚合科技有限公司 一种海量数据的多维度处理方法及系统
CN108268524A (zh) * 2016-12-30 2018-07-10 北京国双科技有限公司 数据库聚合处理方法及装置
CN108268515A (zh) * 2016-12-30 2018-07-10 北京国双科技有限公司 聚合表维度的选择方法和装置
US20180285439A1 (en) * 2017-03-28 2018-10-04 Shanghai Kyligence Information Technology Co., Ltd Olap pre-calculation model, automatic modeling method, and automatic modeling system
CN109213829A (zh) * 2017-06-30 2019-01-15 北京国双科技有限公司 数据查询方法及装置
CN110399534A (zh) * 2019-07-31 2019-11-01 京信通信系统(中国)有限公司 终端性能报表生成方法、装置、设备和存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HARISH DORAISWAMY 等: "A GPU-Based Index to Support Interactive Spatio-Temporal Queries over Historical Data", 《2016 IEEE 32ND INTERNATIONAL CONFERENCE ON DATA ENGINEERING (ICDE)》 *
封玲 等: "数据仓库维度建模技术及其应用研究", 《南京大学学报(自然科学版)》 *
张红军: "多维数据集中高维数据可视化算法研究", 《微电子学与计算机》 *
高雅卓 等: "用户兴趣驱动的冰山数据立方体构建及更新方法研究", 《计算机科学》 *

Also Published As

Publication number Publication date
CN113392130B (zh) 2022-04-29

Similar Documents

Publication Publication Date Title
US10068033B2 (en) Graph data query method and apparatus
US9210219B2 (en) Systems and methods for consistent hashing using multiple hash rings
JP6779231B2 (ja) データ処理方法及びシステム
CN111563101A (zh) 执行计划优化方法、装置、设备及存储介质
CN109033165A (zh) 一种数据展示方法、计算机可读存储介质及终端设备
CN106952085B (zh) 一种数据存储与业务处理的方法及装置
CN114690731B (zh) 一种关联场景推荐方法、装置、存储介质及电子装置
US20160261541A1 (en) Prioritizing log messages
CN108920326B (zh) 确定系统耗时异常的方法、装置及电子设备
US11741101B2 (en) Estimating execution time for batch queries
CN108696418B (zh) 一种社交网络中隐私保护方法及装置
CN113392130B (zh) 数据处理方法、装置及设备
CN113177050A (zh) 一种数据均衡的方法、装置、查询系统及存储介质
EP2731021B1 (en) Apparatus, program, and method for reconciliation processing in a graph database
CN111611228A (zh) 一种基于分布式数据库的负载均衡调整方法及装置
CN109245948B (zh) 安全感知的虚拟网络映射方法及其装置
CN108664322A (zh) 数据处理方法及系统
CN106919712A (zh) 报表的数据统计方法和系统
CN115391666A (zh) 医院在线推荐方法、装置、计算机设备和存储介质
CN114968028A (zh) 基于用户行为分析动态改变菜单布局的方法、设备及介质
CN110968291B (zh) 一种基于最优树调整应用程序功能菜单的方法及装置
CN108537654B (zh) 客户关系网络图的渲染方法、装置、终端设备及介质
Yoshihisa et al. A low-load distributed stream processing system for continuous conjunctive normal form queries
CN110456986A (zh) 存储区域网络设备的性能数据存储方法及系统
Kanagasabai et al. Ec2bargainhunter: It's easy to hunt for cost savings on amazon ec2!

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant