CN110990372A - 一种维度数据的处理方法及装置、数据查询方法及装置 - Google Patents
一种维度数据的处理方法及装置、数据查询方法及装置 Download PDFInfo
- Publication number
- CN110990372A CN110990372A CN201911078824.XA CN201911078824A CN110990372A CN 110990372 A CN110990372 A CN 110990372A CN 201911078824 A CN201911078824 A CN 201911078824A CN 110990372 A CN110990372 A CN 110990372A
- Authority
- CN
- China
- Prior art keywords
- data
- heat
- query
- target data
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/217—Database tuning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24552—Database cache management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种维度数据的处理方法及装置、数据查询方法及装置,该维度数据的处理方法包括:对目标数据进行热度计算,获取目标数据的热度值;根据热度值对目标数据进行筛选,获取热度数据;将目标数据以及热度数据存储至数据库中;从数据库中同步热度数据至缓存中,以便查询。本发明提高了缓存中存储的数据在数据查询时的命中率,一方面减少访问数据库中数据的次数,另一方面提高查询速度,并且大大提高了对内存数据的使用率,使系统运行的平均速度更快更高效。
Description
技术领域
本发明涉及大数据数据仓库技术领域,特别涉及一种维度数据的处理方法及装置、数据查询方法及装置。
背景技术
随着业务对实时数据的需求越来越大,实时流计算程序关联维度数据的场景也越来越多。程序在查询缓存时比查询数据库时速度快很多,为满足实时流对维度数据的快速查询,通常会根据内存大小将一部分维度数据短时间驻留在缓存中,实时流关联维度数据时先查询缓存,如果缓存中未查到,再去查询数据库,这样做,可以减少数据库中的数据的访问次数。但是,目前还没有一种好的方法来说明如何在目标数据中选取数据存储至缓存中,以提高缓存中数据的查询命中率。
因此,如何选取能够提高查询命中率的维度数据存储至redis中,是亟待解决的问题。
发明内容
为了解决现有技术的问题,本发明实施例提供了一种维度数据的处理方法及装置、数据查询方法及装置,以克服现有技术中无法选取能够提高查询命中率的维度数据存储至redis中等问题。
为解决上述一个或多个技术问题,本发明采用的技术方案是:
第一方面,提供了一种维度数据的处理方法,该方法包括如下步骤:
对目标数据进行热度计算,获取所述目标数据的热度值;
根据所述热度值对所述目标数据进行筛选,获取热度数据;
将所述目标数据以及所述热度数据存储至数据库中;
从所述数据库中同步所述热度数据至缓存中,以便查询。
进一步的,所述根据所述热度值对所述目标数据进行筛选,获取热度数据包括:
根据所述热度值对所述目标数据进行排序处理,生成排序列表,所述排序处理包括正向排序;
从所述排序列表中选取排位满足第一预设阈值的目标数据作为热度数据。
进一步的,所述方法还包括获取目标数据的过程:
对采集到的原始数据对应的数据表按照预设格式进行行列置换处理,获取目标数据。
进一步的,所述获取热度数据的过程还包括:
对所述目标数据对应的商品进行新旧性判断,判断所述商品是否是新产品;
若是,则将所述目标数据作为热度数据。
进一步的,所述方法还包括:
获取所述缓存中各热度数据在目标时间段内的查询次数;
将所述查询次数与第二预设阈值进行比较,将查询次数低于所述第二预设阈值的热度数据从所述缓存中删除。
进一步的,所述对目标数据进行热度计算,获取所述目标数据的热度值包括:
利用预先基于热度算法构建的热度计算模型对目标数据进行热度计算,获取所述目标数据的热度值。
第二方面,提供了一种维度数据的处理方法,所述方法包括如下步骤:
在数据仓库中对商品销售数据进行热度计算,获取所述商品销售数据的热度值;
在所述数据仓库中根据所述热度值对所述商品销售数据进行筛选,获取热度数据;
所述数据仓库将所述商品销售数据以及所述热度数据存储至数据库中;
从所述数据库中同步所述热度数据至缓存中,以便查询。
第三方面,提供了一种数据查询方法,所述方法包括如下步骤:
获取数据查询方发出的查询请求,判断所述查询请求对应的待查询数据是否属于热度数据,所述热度数据为根据目标数据的热度值对所述目标数据进行筛选获取到的数据;
若不属于,则向所述数据查询方返回查询失败的信息,以便所述数据查询方重新向数据库发出所述查询请求。
第四方面,提供了一种维度数据的处理装置,所述装置包括:
热度计算模块,用于对目标数据进行热度计算,获取所述目标数据的热度值;
数据筛选模块,用于根据所述热度值对所述目标数据进行筛选,获取热度数据;
数据存储模块,用于将所述目标数据以及所述热度数据存储至数据库中;
数据同步模块,用于从所述数据库中同步所述热度数据至缓存中,以便查询。
进一步的,所述数据筛选模块包括:
排序处理单元,用于根据所述热度值对所述目标数据进行排序处理,生成排序列表,所述排序处理包括正向排序;
数据选取单元,用于从所述排序列表中选取排位满足第一预设阈值的目标数据作为热度数据。
进一步的,所述装置还包括:
数据置换模块,用于对采集到的原始数据对应的数据表按照预设格式进行行列置换处理,获取目标数据。
进一步的,所述数据筛选模块还包括:
数据判断单元,用于对所述目标数据对应的商品进行新旧性判断,判断所述商品是否是新产品;
所述数据选取单元还用于将所述目标数据作为热度数据。
进一步的,所述装置还包括:
次数获取模块,用于获取所述缓存中各热度数据在目标时间段内的查询次数;
次数比较模块,用于将所述查询次数与第二预设阈值进行比较;
数据删除模块,用于将查询次数低于所述第二预设阈值的热度数据从所述缓存中删除。
进一步的,所述热度计算模块值具体用于:
利用预先基于热度算法构建的热度计算模型对目标数据进行热度计算,获取所述目标数据的热度值。
第五方面,提供了一种数据查询装置,所述装置包括:
请求获取模块,用于获取数据查询方发出的查询请求;
数据判断模块,用于判断所述查询请求对应的待查询数据是否属于热度数据,所述热度数据为根据目标数据的热度值对所述目标数据进行筛选获取到的数据;
信息反馈模块,用于若不属于,则向所述数据查询方返回查询失败的信息,以便所述数据查询方重新向数据库发出所述查询请求。
本发明实施例提供的技术方案带来的有益效果是:
本发明实施例提供的维度数据的处理方法及装置、数据查询方法及装置,通过采用对目标数据进行热度计算,获取目标数据的热度值,根据热度值对目标数据进行筛选的方式,获取热度数据,在将目标数据以及所述热度数据存储至数据库中后,还从数据库中同步热度数据至缓存中,提高了缓存中存储的数据在数据查询时的命中率,一方面减少访问数据库中数据的次数,另一方面提高查询速度,并且大大提高了对内存数据的使用率,使系统运行的平均速度更快更高效。
当然,实施本申请的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的本发明实施例的应用场景图;
图2是根据一示例性实施例示出的维度数据的处理方法的流程图;
图3是根据一示例性实施例示出的根据热度值对目标数据进行筛选,获取热度数据的流程图;
图4是根据一示例性实施例示出的商品销售数据场景下的维度数据的处理方法的流程图;
图5是根据一示例性实施例示出的数据查询方法的流程图;
图6是根据一示例性实施例示出的维度数据的处理装置的结构示意图;
图7是根据一示例性实施例示出的数据查询装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1是根据一示例性实施例示出的本发明实施例的应用场景图,参照图1所示,以商品销售数据为例,为了减少访问数据库中数据的次数,我们需要从目标商品销售数据筛选出热度数据存储至缓存中,用户发出查询请求时,先在缓存中查询,若未查询到,再去数据库进行查询。在选取热度数据时,通常是通过对用户发出的针对每种数据的查询请求进行统计,当统计到的次数达到预设阈值时,就将查询请求对应的数据作为热度数据存储至缓存中。但是这些都是事后(指在查询请求发生后的)操作,需要牺牲数据库运行一段时间才能够获取到该热度数据,而不能在事前就准备好热度数据存储至数据库中以供查询。因此,我们需要提出一种新的维度数据的处理方法,使得可以在事前选取出热度数据存储至缓存中以供查询,并能够提高缓存中数据的查询命中率,减少访问数据库中数据的次数等。
本申请创造性的提出,为了提高缓存中热度数据的查询命中率,首先,对商品销售数据进行热度计算,获取商品销售数据的热度值,然后根据热度值对商品销售数据进行筛选,获取热度数据,最后在将商品销售数据以及热度数据存储至数据库中后,从数据库中同步热度数据至缓存中,以便查询。
实施例一
图2是根据一示例性实施例示出的维度数据的处理方法的流程图,参照图2所示,该方法包括如下步骤:
S101:对目标数据进行热度计算,获取所述目标数据的热度值。
具体的,目标数据是指需要存储至数据库中的数据,例如,利用数据采集工具从各销售平台采集到的商品销售数据等。为了能够在事前(指相应的查询请求发生前)就准备好查询命中率高的热度数据存储至缓存中,本发明实施例中,采用利用热度值选取热度数据的方式,具体实施时,可以对目标数据进行热度计算,获取目标数据中各数据的热度值。这里需要说明的,本发明实施例中,不对具体的热度计算方式进行限制,用户可以根据实际需求进行选择。
S102:根据所述热度值对所述目标数据进行筛选,获取热度数据。
具体的,根据上述步骤获取的热度值以及预设的筛选规则对目标数据进行筛选,即从目标数据中选取出热度数据,其中,热度数据是指查询频率高的数据。作为一种较优的示例,预设的筛选规则可以是选取热度值的高目标数据作为热度数据等。这里需要说明的是,本发明实施例中,不对预设的筛选规则进行具体的限制,用户可以根据实际需求进行设置。
S103:将所述目标数据以及所述热度数据存储至数据库中。
具体的,将热度数据与目标数据一起存储至数据库中进行保存。这里的数据库包括但不限于HBASE(开源数据库)等,用户可以根据实际的业务需求进行选择。热度数据存储至数据库中做备份,可以防止缓存出崩溃或其他问题导致缓存中的热度数据丢失时,从数据库重新拷贝过来,避免二次计算,增加工作量。
S104:从所述数据库中同步所述热度数据至缓存中,以便查询。
具体的,最后,再将热度数据从数据库中同步至缓存中,以便用户在发出查询请求时,先查询缓存,若缓存中未查到,在查询数据库。这里需要说明的是,本发明实施例中额缓存包括但不限于redis,用户可以根据实际业务需求进行选择。按照上述步骤从目标数据中筛选热度数据,提高了缓存中数据查询的命中率,从而减少了对数据库中的数据的访问次数,提高查询效率。
图3是根据一示例性实施例示出的根据热度值对目标数据进行筛选,获取热度数据的流程图,参照图3所示,作为一种较优的实施方式,本发明实施例中,所述根据所述热度值对所述目标数据进行筛选,获取热度数据包括:
S201:根据所述热度值对所述目标数据进行排序处理,生成排序列表,所述排序处理包括正向排序。
具体的,根据目标数据对应的热度值的高低对目标数据进行排序处理,生成排序列表。作为一种较优的示例,对目标数据的排序处理可以采用正向排序,即按照热度值由高到低的顺序对目标数据进行排序,生成排序列表。另外,还可以采用逆向排序的方式对目标数据进行排序处理,即按照热度值由低到高的顺序对目标数据进行排序。这里对具体的排序方式不做限制,用户可以根据实际需求进行设置。
S202:从所述排序列表中选取排位满足第一预设阈值的目标数据作为热度数据。
具体的,然后再从排序列表中选取排位满足第一预设阈值的目标数据作为热度数据,这里选取的均为热度值较高的数据。这里不对第一预设阈值的具体数值做限制,用户可以根据实际需求进行设置。例如,假设第一预设阈值为10万,则从排序列表中选取排在前10万的目标数据作为热度数据。
作为一种较优的实施方式,本发明实施例中,所述方法还包括获取目标数据的过程:
对采集到的原始数据对应的数据表按照预设格式进行行列置换处理,获取目标数据。
具体的,为了方便计算,需要对采集到的原始数据进行预处理,如行列置换处理,生成满足要求的目标数据。作为
这里以商品销售数据(即目标数据)为例,对上述步骤进行阐述:
如表一所示,原始数据为从某销售平台采集到的订单明细事实表,其中,以商品为维度进行统计商品的每日订单量,分日期存储:
表一
作为一种较优的示例,本发明实施例中的预设格式包括以7天为一个周期,以该周期内被消费的商品为主键,周期内每日的日期作为表字段。按照预设格式对原始数据(表一中的数据)进行行列置换处理,获取到的目标数据如下表二所示:
表二
商品种类 | 品类 | 20190807 | 20190806 | 20190805 | 20190804 | 20190803 | 20190802 | 20190801 |
冰箱001 | 冰箱 | 90 | 30 | 90 | 94 | 90 | 80 | 50 |
冰箱002 | 冰箱 | 40 | 5 | 30 | 60 | 5 | 10 | 30 |
冰箱003 | 冰箱 | 100 | 40 | 140 | 140 | 140 | 120 | 100 |
洗衣机001 | 洗衣机 | 120 | 80 | 20 | 85 | 80 | 0 | 60 |
作为一种较优的实施方式,本发明实施例中,所述获取热度数据的过程还包括:
对所述目标数据对应的商品进行新旧性判断,判断所述商品是否是新产品;
若是,则将所述目标数据作为热度数据。
具体的,以商品销售数据为例,由于热度数据不一定只是销量较大的数据,还可能包括其他数据,如新上市的新品或热门商品等。因此,还可以对目标数据对应的商品进行新旧性判断,判断商品是否是新产品,如果商品是新产品,则也将新产品对应的目标数据作为热度数据,对缓存中的热度数据进行补充。这样操作,同样是为了提高缓存中数据的查询命中率。
作为一种较优的实施方式,本发明实施例中,所述方法还包括:
获取所述缓存中各热度数据在目标时间段内的查询次数;
将所述查询次数与第二预设阈值进行比较,将查询次数低于所述第二预设阈值的热度数据从所述缓存中删除。
具体的,同样的,为了提高缓存的利用率,本发明实施例中,设置定期对缓存中查询频率较低的数据进行清除处理。具体实施时,本发明实施例中会设置一个第二预设阈值,在获取到缓存中各热度数据在目标时间段内的查询次数后,将该查询次数分别与第二预设阈值进行比较,将查询次数低于第二预设阈值的热度数据从缓存中删除。
这里需要说明的是,本发明实施例中,不对目标时间段的数值做具体的限制,用户可以根据实际需求进行设置,如10天、半个月,一个月等等。同样的,本发明实施例中,也不对第二预设阈值数值做具体的限制,用户同样可以根据实际需求进行设置。并且本发明实施例中的目标时间段与第二预设阈值支持动态配置,用户可以根据业务需求对其进行动态调整。
作为一种较优的实施方式,本发明实施例中,所述方法还包括:
获取数据库中除热度数据外的其他目标数据在目标时间段内的查询次数;
将获取到的查询次数与第三预设阈值进行比较,将查询次数高于第三预设阈值的目标数据作为热度数据添加至所述缓存中。
具体的,这样设置的目的是为了将查询频率高的数据存储至缓存中,减少数据库中数据的访问次数,提高查询速度。这里需要说明的是,本发明实施例中,不对第三预设阈值数值做具体的限制,用户同样可以根据实际需求进行设置。
作为一种较优的实施方式,本发明实施例中,所述对目标数据进行热度计算,获取所述目标数据的热度值包括:
利用预先基于热度算法构建的热度计算模型对目标数据进行热度计算,获取所述目标数据的热度值。
具体的,本发明实施例中,在计算目标数据的热度值时,可以预先基于热度算法构建一个热度计算模型,然后通过热度计算模型对目标数据进行热度计算,获取所述目标数据的热度值。热度计算模型的构建方法可以采用现有技术中的方法,这里不再一一赘述。
作为一种较优的实施方式,本发明实施例中,热度算法包括牛顿冷却定律。牛顿冷却定律是指“温度”与“时间”之间的指数衰减函数。这里以根据牛顿冷却定律公式做关于“热度”衰减算法计算。
计算公式为:hot_score=Σ((count_order*α∧i),
其中,以商品销售数据为例,α为衰减系数,优选的,设置α为0.9,i为距离当前的时间差,count_order为每天的订单量。
以上述表二中的目标数据为例,利用预先基于牛顿冷却定律构建的热度计算模型对目标数据进行热度计算,获取到的目标数据的热度值如下表三所示:
表三
实施例二
图4是根据一示例性实施例示出的商品销售数据场景下的维度数据的处理方法的流程图,参照图4所示,该方法包括如下步骤:
S301:在数据仓库中对商品销售数据进行热度计算,获取所述商品销售数据的热度值;
S302:在所述数据仓库中根据所述热度值对所述商品销售数据进行筛选,获取热度数据;
S303:所述数据仓库将所述商品销售数据以及所述热度数据存储至数据库中;
S304:从所述数据库中同步所述热度数据至缓存中,以便查询。
具体的,作为一种较优的示例,对商品销售数据进行的热度计算、从商品销售数据中筛选热度数据等操作可以设置为在数据仓库中进行。这里需要说明的是,本发明实施例中,数据仓库可以采用HIVE,其中,HIVE是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。另外,采用在离线仓库中对商品销售数据进行热度计算、根据热度值从商品销售数据中筛选热度数据等操作的具体过程可以参照上述实施例一,这里不再一一赘述。
实施例三
图5是根据一示例性实施例示出的数据查询方法的流程图,参照图5所示,该方法包括如下步骤:
S401:获取数据查询方发出的查询请求,判断所述查询请求对应的待查询数据是否属于热度数据,所述热度数据为根据目标数据的热度值对所述目标数据进行筛选获取到的数据。
具体的,本发明实施例中,设置在将业务数据(即目标数据)存储至数据库的同时,将一部分业务数据(即热度数据)存储至缓存(如redis)中。当数据查询方发出查询请求时,先将查询请求发送至缓存,判断查询请求对应的待查询数据是否属于热度数据。其中,热度数据是指根据目标数据的热度值从目标数据中筛选出的数据,热度数据的查询频率会较高的,这样可以提高缓存中数据的查询命中率。
S402:若不属于,则向所述数据查询方返回查询失败的信息,以便所述数据查询方重新向数据库发出所述查询请求。
具体的,若查询请求对应的待查询数据不属于热度数据,则向数据查询方返回查询失败的信息,此时,数据查询方会再向数据库发出该查询请求,已查询相应数据。若查询请求对应的待查询数据属于热度数据,则直接将相应的待查询数据返回给数据查询方。这里需要说明的是,本发明实施例中,设置从目标数据中筛选出一部分热度数据存储至缓存中,一方面,使得数据查询时先查询缓存,如果缓存中未查到,再去查询数据库,减少数据库中数据的访问次数,减轻数据库工作量,另一方面,通过采用根据目标数据的热度值从目标数据中筛选热度数据的方式,提高缓存中数据查询的命中率。另外,本发明实施例中提供的数据查询方法中根据目标数据的热度值从目标数据中筛选热度数据的具体过程可参照实施例一中相关内容,这里不再一一赘述。
与实施例一相对应,本发明实施例还提供了一种维度数据的处理装置,参照图6所示,该装置包括:
热度计算模块,用于对目标数据进行热度计算,获取所述目标数据的热度值;
数据筛选模块,用于根据所述热度值对所述目标数据进行筛选,获取热度数据;
数据存储模块,用于将所述目标数据以及所述热度数据存储至数据库中;
数据同步模块,用于从所述数据库中同步所述热度数据至缓存中,以便查询。
作为一种较优的实施方式,本发明实施例中,所述数据筛选模块包括:
排序处理单元,用于根据所述热度值对所述目标数据进行排序处理,生成排序列表,所述排序处理包括正向排序;
数据选取单元,用于从所述排序列表中选取排位满足第一预设阈值的目标数据作为高热度数据。
作为一种较优的实施方式,本发明实施例中,所述装置还包括:
数据置换模块,用于对采集到的原始数据对应的数据表按照预设格式进行行列置换处理,获取目标数据。
作为一种较优的实施方式,本发明实施例中,所述目标数据包括商品销售数据,所述数据筛选模块还包括:
数据判断单元,用于对所述目标数据对应的商品进行新旧性判断,判断所述商品是否是新产品;
所述数据选取单元还用于将所述目标数据作为热度数据。
作为一种较优的实施方式,本发明实施例中,所述装置还包括:
次数获取模块,用于获取所述缓存中各热度数据在目标时间段内的查询次数;
次数比较模块,用于将所述查询次数与第二预设阈值进行比较;
数据删除模块,用于将查询次数低于所述第二预设阈值的热度数据从所述缓存中删除。
作为一种较优的实施方式,本发明实施例中,所述热度计算模块值具体用于:
利用预先基于热度算法构建的热度计算模型对目标数据进行热度计算,获取所述目标数据的热度值。
与实施例三相对应,本发明实施例还提供了一种数据查询装置,参照图7所示,该装置包括:
请求获取模块,用于获取数据查询方发出的查询请求;
数据判断模块,用于判断所述查询请求对应的待查询数据是否属于热度数据,所述热度数据为根据目标数据的热度值对所述目标数据进行筛选获取到的数据;
信息反馈模块,用于若不属于,则向所述数据查询方返回查询失败的信息,以便所述数据查询方重新向数据库发出所述查询请求。
综上所述,本发明实施例提供的技术方案带来的有益效果是:
本发明实施例提供的维度数据的处理方法及装置、数据查询方法及装置,通过采用对目标数据进行热度计算,获取目标数据的热度值,根据热度值对目标数据进行筛选的方式,获取热度数据,在将目标数据以及所述热度数据存储至数据库中后,还从数据库中同步热度数据至缓存中,提高了缓存中存储的数据在数据查询时的命中率,一方面减少访问数据库中数据的次数,另一方面提高查询速度,并且大大提高了对内存数据的使用率,使系统运行的平均速度更快更高效。
需要说明的是:本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置或装置实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的装置及装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种维度数据的处理方法,其特征在于,所述方法包括如下步骤:
对目标数据进行热度计算,获取所述目标数据的热度值;
根据所述热度值对所述目标数据进行筛选,获取热度数据;
将所述目标数据以及所述热度数据存储至数据库中;
从所述数据库中同步所述热度数据至缓存中,以便查询。
2.根据权利要求1所述的维度数据的处理方法,其特征在于,所述根据所述热度值对所述目标数据进行筛选,获取热度数据包括:
根据所述热度值对所述目标数据进行排序处理,生成排序列表,所述排序处理包括正向排序;
从所述排序列表中选取排位满足第一预设阈值的目标数据作为热度数据。
3.根据权利要求1或2所述的维度数据的处理方法,其特征在于,所述方法还包括获取目标数据的过程:
对采集到的原始数据对应的数据表按照预设格式进行行列置换处理,获取目标数据。
4.根据权利要求1或2所述的维度数据的处理方法,其特征在于,所述获取热度数据的过程还包括:
对所述目标数据对应的商品进行新旧性判断,判断所述商品是否是新产品;
若是,则将所述目标数据作为热度数据。
5.根据权利要求1或2所述的维度数据的处理方法,其特征在于,所述方法还包括:
获取所述缓存中各热度数据在目标时间段内的查询次数;
将所述查询次数与第二预设阈值进行比较,将查询次数低于所述第二预设阈值的热度数据从所述缓存中删除。
6.根据权利要求1或2所述的维度数据的处理方法,其特征在于,所述对目标数据进行热度计算,获取所述目标数据的热度值包括:
利用预先基于热度算法构建的热度计算模型对目标数据进行热度计算,获取所述目标数据的热度值。
7.一种维度数据的处理方法,其特征在于,所述方法包括如下步骤:
在数据仓库中对商品销售数据进行热度计算,获取所述商品销售数据的热度值;
在所述数据仓库中根据所述热度值对所述商品销售数据进行筛选,获取热度数据;
所述数据仓库将所述商品销售数据以及所述热度数据存储至数据库中;
从所述数据库中同步所述热度数据至缓存中,以便查询。
8.一种数据查询方法,其特征在于,所述方法包括如下步骤:
获取数据查询方发出的查询请求,判断所述查询请求对应的待查询数据是否属于热度数据,所述热度数据为根据目标数据的热度值对所述目标数据进行筛选获取到的数据;
若不属于,则向所述数据查询方返回查询失败的信息,以便所述数据查询方重新向数据库发出所述查询请求。
9.一种维度数据的处理装置,其特征在于,所述装置包括:
热度计算模块,用于对目标数据进行热度计算,获取所述目标数据的热度值;
数据筛选模块,用于根据所述热度值对所述目标数据进行筛选,获取热度数据;
数据存储模块,用于将所述目标数据以及所述热度数据存储至数据库中;
数据同步模块,用于从所述数据库中同步所述热度数据至缓存中,以便查询。
10.一种数据查询装置,其特征在于,所述装置包括:
请求获取模块,用于获取数据查询方发出的查询请求;
数据判断模块,用于判断所述查询请求对应的待查询数据是否属于热度数据,所述热度数据为根据目标数据的热度值对所述目标数据进行筛选获取到的数据;
信息反馈模块,用于若不属于,则向所述数据查询方返回查询失败的信息,以便所述数据查询方重新向数据库发出所述查询请求。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911078824.XA CN110990372A (zh) | 2019-11-06 | 2019-11-06 | 一种维度数据的处理方法及装置、数据查询方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911078824.XA CN110990372A (zh) | 2019-11-06 | 2019-11-06 | 一种维度数据的处理方法及装置、数据查询方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110990372A true CN110990372A (zh) | 2020-04-10 |
Family
ID=70083441
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911078824.XA Pending CN110990372A (zh) | 2019-11-06 | 2019-11-06 | 一种维度数据的处理方法及装置、数据查询方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110990372A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111768274A (zh) * | 2020-06-24 | 2020-10-13 | 中国地质大学(武汉) | 一种基于人工智能数据分类存储系统 |
CN112256733A (zh) * | 2020-10-19 | 2021-01-22 | 北京字节跳动网络技术有限公司 | 数据缓存方法、装置、电子设备及计算机可读存储介质 |
CN113239054A (zh) * | 2021-05-11 | 2021-08-10 | 北京百度网讯科技有限公司 | 信息生成方法、相关装置及计算机程序产品 |
CN113760982A (zh) * | 2021-01-18 | 2021-12-07 | 西安京迅递供应链科技有限公司 | 一种数据处理方法和装置 |
CN114490749A (zh) * | 2021-12-28 | 2022-05-13 | 珠海大横琴科技发展有限公司 | 一种资源访问的方法和装置 |
CN115309788A (zh) * | 2022-10-10 | 2022-11-08 | 北京沃德博创信息科技有限公司 | 利用缓存技术处理家禽数据的方法 |
CN115757430A (zh) * | 2022-12-01 | 2023-03-07 | 武汉博科国泰信息技术有限公司 | 一种医疗数据的数据结构化处理方法和系统 |
CN116010472A (zh) * | 2023-03-28 | 2023-04-25 | 山东浪潮科学研究院有限公司 | 一种数据查询方法、装置、设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108241725A (zh) * | 2017-05-24 | 2018-07-03 | 新华三大数据技术有限公司 | 一种数据热度统计系统和方法 |
US10037271B1 (en) * | 2012-06-27 | 2018-07-31 | Teradata Us, Inc. | Data-temperature-based control of buffer cache memory in a database system |
CN108875046A (zh) * | 2018-06-28 | 2018-11-23 | 郑州云海信息技术有限公司 | 一种存储系统访问方法、装置及电子设备 |
CN109597915A (zh) * | 2018-09-18 | 2019-04-09 | 北京微播视界科技有限公司 | 访问请求处理方法和装置 |
CN109885574A (zh) * | 2019-02-22 | 2019-06-14 | 广州荔支网络技术有限公司 | 一种数据查询方法及装置 |
-
2019
- 2019-11-06 CN CN201911078824.XA patent/CN110990372A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10037271B1 (en) * | 2012-06-27 | 2018-07-31 | Teradata Us, Inc. | Data-temperature-based control of buffer cache memory in a database system |
CN108241725A (zh) * | 2017-05-24 | 2018-07-03 | 新华三大数据技术有限公司 | 一种数据热度统计系统和方法 |
CN108875046A (zh) * | 2018-06-28 | 2018-11-23 | 郑州云海信息技术有限公司 | 一种存储系统访问方法、装置及电子设备 |
CN109597915A (zh) * | 2018-09-18 | 2019-04-09 | 北京微播视界科技有限公司 | 访问请求处理方法和装置 |
CN109885574A (zh) * | 2019-02-22 | 2019-06-14 | 广州荔支网络技术有限公司 | 一种数据查询方法及装置 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111768274A (zh) * | 2020-06-24 | 2020-10-13 | 中国地质大学(武汉) | 一种基于人工智能数据分类存储系统 |
CN112256733A (zh) * | 2020-10-19 | 2021-01-22 | 北京字节跳动网络技术有限公司 | 数据缓存方法、装置、电子设备及计算机可读存储介质 |
CN113760982A (zh) * | 2021-01-18 | 2021-12-07 | 西安京迅递供应链科技有限公司 | 一种数据处理方法和装置 |
CN113760982B (zh) * | 2021-01-18 | 2024-05-17 | 西安京迅递供应链科技有限公司 | 一种数据处理方法和装置 |
CN113239054A (zh) * | 2021-05-11 | 2021-08-10 | 北京百度网讯科技有限公司 | 信息生成方法、相关装置及计算机程序产品 |
CN113239054B (zh) * | 2021-05-11 | 2024-05-07 | 北京百度网讯科技有限公司 | 信息生成方法及相关装置 |
CN114490749A (zh) * | 2021-12-28 | 2022-05-13 | 珠海大横琴科技发展有限公司 | 一种资源访问的方法和装置 |
CN115309788A (zh) * | 2022-10-10 | 2022-11-08 | 北京沃德博创信息科技有限公司 | 利用缓存技术处理家禽数据的方法 |
CN115757430A (zh) * | 2022-12-01 | 2023-03-07 | 武汉博科国泰信息技术有限公司 | 一种医疗数据的数据结构化处理方法和系统 |
CN116010472A (zh) * | 2023-03-28 | 2023-04-25 | 山东浪潮科学研究院有限公司 | 一种数据查询方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110990372A (zh) | 一种维度数据的处理方法及装置、数据查询方法及装置 | |
CN102479223B (zh) | 数据查询方法及系统 | |
CN106528787B (zh) | 一种基于海量数据多维分析的查询方法及装置 | |
US20120130940A1 (en) | Real-time analytics of streaming data | |
CN111460023A (zh) | 基于Elasticsearch的业务数据处理方法、装置、设备及存储介质 | |
JP6928677B2 (ja) | オンライン分析処理を行うためのデータ処理方法及び装置 | |
CN108875042B (zh) | 一种混合联机分析处理系统及数据查询方法 | |
CN110647512B (zh) | 一种数据存储和分析方法、装置、设备和可读介质 | |
US20160162574A1 (en) | Computer-implemented method of and system for searching an inverted index having a plurality of posting lists | |
CN103034663A (zh) | 一种信息搜索方法和设备 | |
CN102521405A (zh) | 支持高速加载的海量结构化数据存储、查询方法和系统 | |
CN106850750A (zh) | 一种实时推送信息的方法和装置 | |
CN111552885B (zh) | 实现自动化实时消息推送运营的系统及其方法 | |
CN103984761A (zh) | 海量异构数据的存储方法及系统 | |
CN103106585A (zh) | 产品信息的实时去重方法和装置 | |
CN105320702A (zh) | 一种用户行为数据的分析方法、装置及智能电视 | |
CN104978324A (zh) | 一种数据处理方法和装置 | |
US20190050672A1 (en) | INCREMENTAL AUTOMATIC UPDATE OF RANKED NEIGHBOR LISTS BASED ON k-th NEAREST NEIGHBORS | |
WO2019226279A1 (en) | Frequent pattern analysis for distributed systems | |
CN103559307A (zh) | 一种查询的缓存方法及装置 | |
Abdelhafiz et al. | Sharding database for fault tolerance and scalability of data | |
CN113377777B (zh) | 数据加载方法、设备、计算机程序产品及存储介质 | |
CN112445833A (zh) | 一种分布式数据库的数据分页查询方法、装置和系统 | |
CN113297188B (zh) | 数据处理方法以及装置 | |
CN109101621A (zh) | 一种数据的批量处理方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200410 |
|
RJ01 | Rejection of invention patent application after publication |