CN112035559B - 热力图的展示方法、服务器及系统 - Google Patents
热力图的展示方法、服务器及系统 Download PDFInfo
- Publication number
- CN112035559B CN112035559B CN202011202436.0A CN202011202436A CN112035559B CN 112035559 B CN112035559 B CN 112035559B CN 202011202436 A CN202011202436 A CN 202011202436A CN 112035559 B CN112035559 B CN 112035559B
- Authority
- CN
- China
- Prior art keywords
- entity object
- data
- object end
- task
- user distribution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/248—Presentation of query results
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了一种热力图的展示方法、服务器及系统,该方法包括:根据历史订单数据计算各个实体对象端的用户分布数据并存储至数据仓库中;通过第一周期任务周期性计算与各个实体对象端的用户分布数据相对应的热力点聚类结果,得到第一聚类结果;通过第二周期任务周期性计算与各个实体对象端的用户分布数据相对应的热力点聚类结果,得到第二聚类结果;根据第一聚类结果以及第二聚类结果,在预设缓存中存储各个实体对象端的热力点计算结果;响应于前端应用服务器发送的热力点查询请求,将预设缓存中存储的与热力点查询请求对应的热力点计算结果发送给前端应用服务器。该方式显著提升了前端应用服务器的热力图展示速度,避免了展示时延。
Description
技术领域
本发明涉及通信领域,具体涉及一种热力图的展示方法、服务器及系统。
背景技术
热力图能够通过密度函数以特殊高亮的形式进行可视化,是一种用于表示地图中点的密度的热图,从而使人们能够独立于缩放因子感知点的密度。通过热力图能够表示用户分布情况。在现有技术中,热力图的计算过程由应用服务器负责实现。当应用服务器接收到热力图查询请求后,实时获取分布式数据库中存储的用户分布数据,根据获取到的用户分布数据实时计算热力点计算结果,进而根据热力点计算结果实时生成热力图并展示。
但是,发明人在实现本发明的过程中发现,现有技术中的上述方式至少存在如下缺陷:热力点的计算过程由应用服务器实施,随着查询对象的增多,将对应用服务器的内存造成很大压力,从而使查询结果的展示过程耗费大量时延。并且,由于应用服务器本身需要提供多种业务功能,因此,热力点的实时计算过程将占用其他业务功能所需的系统资源,从而使其他业务功能出现卡顿现象。由此可见,现有的由应用服务器负责计算热力图的方式至少存在热力图显示时延长以及影响其他业务功能的弊端。
发明内容
鉴于上述问题,提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的热力图的展示方法、服务器及系统。
根据本发明实施例的一个方面,提供了一种热力图的展示方法,应用于后端服务器,具体包括:
根据获取到的历史订单数据计算各个实体对象端的用户分布数据,将各个实体对象端的用户分布数据存储至数据仓库中;
通过第一周期任务周期性计算与所述数据仓库中存储的各个实体对象端的用户分布数据相对应的热力点聚类结果,得到各个实体对象端的第一聚类结果;通过第二周期任务周期性计算与所述数据仓库中存储的各个实体对象端的用户分布数据相对应的热力点聚类结果,得到各个实体对象端的第二聚类结果;
根据所述第一聚类结果以及所述第二聚类结果,在预设缓存中存储各个实体对象端的热力点计算结果;
响应于前端应用服务器发送的热力点查询请求,将所述预设缓存中存储的与所述热力点查询请求中包含的实体对象端对应的热力点计算结果发送给所述前端应用服务器,以供所述前端应用服务器展示与所述实体对象端相对应的热力图。
可选的,所述第一周期任务的第一任务周期大于所述第二周期任务的第二任务周期;
所述通过第一周期任务周期性计算与所述数据仓库中存储的各个实体对象端的用户分布数据相对应的热力点聚类结果,得到各个实体对象端的第一聚类结果包括:
每当第一任务周期到达时,通过第一周期任务获取所述数据仓库中存储的各个实体对象端的全量用户分布数据,根据所述全量用户分布数据计算各个实体对象端的第一聚类结果;
所述通过第二周期任务周期性计算与所述数据仓库中存储的各个实体对象端的用户分布数据相对应的热力点聚类结果,得到各个实体对象端的第二聚类结果包括:
每当第二任务周期到达时,通过第二周期任务获取所述数据仓库中存储的各个实体对象端的增量用户分布数据,根据所述增量用户分布数据计算各个实体对象端的第二聚类结果。
可选的,所述根据获取到的历史订单数据计算各个实体对象端的用户分布数据,将各个实体对象端的用户分布数据存储至数据仓库中具体包括:按照第一任务周期周期性获取并计算各个实体对象端的用户分布数据;以及按照第二任务周期周期性获取并计算各个实体对象端的用户分布数据,得到以第二任务周期划分的增量数据表;
则所述通过第二周期任务获取所述数据仓库中存储的各个实体对象端的增量用户分布数据具体包括:根据所述以第二任务周期划分的增量数据表,获取所述数据仓库中存储的各个实体对象端的增量用户分布数据。
可选的,所述根据所述第一聚类结果以及所述第二聚类结果,在预设缓存中存储各个实体对象端的热力点计算结果包括:
每当第一聚类结果产生时,通过第一同步任务根据所述第一聚类结果更新预设缓存中存储的各个实体对象端的热力点计算结果;以及,
每当第二聚类结果产生时,通过第二同步任务根据所述第二聚类结果更新预设缓存中存储的各个实体对象端的热力点计算结果。
可选的,所述计算与所述数据仓库中存储的各个实体对象端的用户分布数据相对应的热力点聚类结果包括:
将各个实体对象端的用户分布数据划分为多个数据分组,将多个数据分组分配给多个并行计算节点,由各个并行计算节点按照热力点聚类算法计算与各个数据分组相对应的分组聚类结果,根据多个分组聚类结果得到各个实体对象端的第一聚类结果和/或第二聚类结果。
可选的,所述将各个实体对象端的用户分布数据划分为多个数据分组,将多个数据分组分配给多个并行计算节点包括:
根据预设的资源配置参数,确定并行计算节点的数量为N,将各个实体对象端的用户分布数据划分为N个数据分组,将N个数据分组分配给N个并行计算节点;其中,N为自然数。
可选的,所述由各个并行计算节点按照热力点聚类算法计算与各个数据分组相对应的分组聚类结果,根据多个分组聚类结果得到各个实体对象端的第一聚类结果和/或第二聚类结果包括:
通过监控线程监控各个并行计算节点的处理进度信息;
根据监控结果动态调整所述预设的资源配置参数,和/或,根据监控结果动态调整所述第一任务周期和/或第二任务周期。
可选的,所述将多个数据分组分配给多个并行计算节点,由各个并行计算节点按照热力点聚类算法计算与各个数据分组相对应的分组聚类结果包括:
确定与多个数据分组相对应的公共数据,将所述公共数据设置为可供各个并行计算节点引用的公共对象。
可选的,所述将各个实体对象端的用户分布数据划分为多个数据分组包括:
枚举与各个查询参数相对应的多个查询条件;分别针对每种查询条件,获取与该查询条件相对应的用户分布数据,将获取到的用户分布数据划分为多个数据分组;
则所述根据多个分组聚类结果得到各个实体对象端的第一聚类结果和/或第二聚类结果包括:分别得到与各个查询条件相对应的各个实体对象端的第一聚类结果和/或第二聚类结果;
且所述将所述热力点查询请求中包含的实体对象端的热力点计算结果发送给所述前端应用服务器包括:
查询与所述热力点查询请求中包含的查询条件相对应的热力点计算结果,将查询到的热力点计算结果发送给所述前端应用服务器。
可选的,所述实体对象端为门店端,所述查询参数包括:门店标识、与门店之间的距离、和/或用户类型;其中,所述用户类型包括:到店类型以及配送类型;并且,所述热力点计算结果包括:各个热力点的位置坐标以及各个热力点对应的用户人数。
根据本发明实施例的又一个方面,提供了一种用于展示热力图的后端服务器,包括:
获取模块,适于根据获取到的历史订单数据计算与各个实体对象端相对应的用户分布数据;
并行计算模块,适于将各个实体对象端所对应的用户分布数据划分为多个数据分组,将多个数据分组分配给多个并行计算节点,由各个并行计算节点按照热力点聚类算法计算与各个数据分组相对应的分组聚类结果,根据多个分组聚类结果得到与各个实体对象端相对应的热力点计算结果;
查询模块,适于响应于前端应用服务器发送的热力点查询请求,将与所述热力点查询请求中包含的实体对象端相对应的热力点计算结果发送给所述前端应用服务器,以供所述前端应用服务器展示与所述实体对象端相对应的热力图。
可选的,所述第一周期任务的第一任务周期大于所述第二周期任务的第二任务周期;
所述周期性计算模块具体适于:
每当第一任务周期到达时,通过第一周期任务获取所述数据仓库中存储的各个实体对象端的全量用户分布数据,根据所述全量用户分布数据计算各个实体对象端的第一聚类结果;
每当第二任务周期到达时,通过第二周期任务获取所述数据仓库中存储的各个实体对象端的增量用户分布数据,根据所述增量用户分布数据计算各个实体对象端的第二聚类结果。
可选的,所述计算存储模块具体适于:按照第一任务周期周期性获取并计算各个实体对象端的用户分布数据;以及按照第二任务周期周期性获取并计算各个实体对象端的用户分布数据,得到以第二任务周期划分的增量数据表;
则所述周期性计算模块具体适于:根据所述以第二任务周期划分的增量数据表,获取所述数据仓库中存储的各个实体对象端的增量用户分布数据。
可选的,所述缓存模块具体适于:
每当第一聚类结果产生时,通过第一同步任务根据所述第一聚类结果更新预设缓存中存储的各个实体对象端的热力点计算结果;以及,
每当第二聚类结果产生时,通过第二同步任务根据所述第二聚类结果更新预设缓存中存储的各个实体对象端的热力点计算结果。
可选的,所述周期性计算模块具体适于:
将各个实体对象端的用户分布数据划分为多个数据分组,将多个数据分组分配给多个并行计算节点,由各个并行计算节点按照热力点聚类算法计算与各个数据分组相对应的分组聚类结果,根据多个分组聚类结果得到各个实体对象端的第一聚类结果和/或第二聚类结果。
可选的,所述周期性计算模块具体适于:
根据预设的资源配置参数,确定并行计算节点的数量为N,将各个实体对象端的用户分布数据划分为N个数据分组,将N个数据分组分配给N个并行计算节点;其中,N为自然数。
可选的,所述周期性计算模块具体适于:
通过监控线程监控各个并行计算节点的处理进度信息;
根据监控结果动态调整所述预设的资源配置参数,和/或,根据监控结果动态调整所述第一任务周期和/或第二任务周期。
可选的,所述周期性计算模块具体适于:
确定与多个数据分组相对应的公共数据,将所述公共数据设置为可供各个并行计算节点引用的公共对象。
可选的,所述周期性计算模块具体适于:
枚举与各个查询参数相对应的多个查询条件;分别针对每种查询条件,获取与该查询条件相对应的用户分布数据,将获取到的用户分布数据划分为多个数据分组;
分别得到与各个查询条件相对应的各个实体对象端的第一聚类结果和/或第二聚类结果;
且所述查询模块具体适于:
查询与所述热力点查询请求中包含的查询条件相对应的热力点计算结果,将查询到的热力点计算结果发送给所述前端应用服务器。
可选的,所述实体对象端为门店端,所述查询参数包括:门店标识、与门店之间的距离、和/或用户类型;其中,所述用户类型包括:到店类型以及配送类型;并且,所述热力点计算结果包括:各个热力点的位置坐标以及各个热力点对应的用户人数。
根据本发明实施例的又一个方面,提供了一种热力图的展示系统,包括:上述的用于展示热力图的后端服务器、以及用于展示热力图的前端应用服务器。
根据本发明实施例的又一方面,提供了一种电子设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行上述热力图的展示方法对应的操作。
根据本发明实施例的再一方面,提供了一种计算机存储介质,所述存储介质中存储有至少一可执行指令,所述可执行指令使处理器执行如上述热力图的展示方法对应的操作。
在本发明实施例提供的热力图的展示方法、服务器及系统中,由后端服务器预先计算热力点计算结果,并在接收到来自前端应用服务器的热力点查询请求时,直接将已计算好的内容发送给前端应用服务器,从而显著提升了前端应用服务器的热力图展示速度,避免了展示时延,而且,由于热力点的计算过程由后端服务器实现,因而不会影响前端应用服务器的其他业务功能。其中,通过数据仓库和缓存的使用,能够为数据分析处理提供便利。并且,通过两种不同周期的周期任务分别计算热力点聚类结果,使周期短的任务能够提供更加及时的查询结果,而周期长的任务能够提供更加可靠的查询结果,从而能够兼顾实时性与可靠性的要求。
上述说明仅是本发明实施例技术方案的概述,为了能够更清楚了解本发明实施例的技术手段,而可依照说明书的内容予以实施,并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明实施例的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明实施例的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了本发明实施例提供的热力图的展示方法的流程图;
图2示出了本发明另一实施例提供的热力图的展示方法的流程图;
图3示出了本发明实施例提供的用于展示热力图的后端服务器的结构示意图;
图4示出了本发明实施例提供的电子设备的结构示意图;
图5示出了现有技术中的热力图展示方法的流程示意图;
图6示出了热力图的展示界面示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本发明,并且能够将本发明的范围完整的传达给本领域的技术人员。
图1示出了本发明实施例提供的热力图的展示方法的流程图。如图1所示,该方法包括以下步骤:
步骤S110:根据获取到的历史订单数据计算各个实体对象端的用户分布数据,将各个实体对象端的用户分布数据存储至数据仓库中。
其中,实体对象端是指:与实体对象相对应的网络处理设备。实体对象包括:门店、图书馆、博物馆等各类实体。相应的,实体对象端可以是门店端、图书馆端、博物馆端等。例如,以门店端为例,是指位于门店内部负责处理门店订单的网络设备。相应的,历史订单数据是指:与各个实体对象端相对应的用户下单数据。例如,以门店端为例,历史订单数据主要指用户针对该门店触发的订单类数据。又如,以图书馆端为例,历史订单数据主要指用户针对该图书馆触发的借阅订单数据。
相应的,根据获取到的历史订单数据能够计算与各个实体对象端相对应的用户分布数据。其中,与各个实体对象端相对应的用户分布数据是指:实体对象端对应的下单用户的用户位置分布类数据。例如,当实体对象端为门店端A时,其对应的用户分布数据用于描述在门店端A执行过下单操作的各个用户的位置分布情况。具体实施时,通过获取订单数据中包含的用户信息以及门店信息,并结合用户所对应的用户画像数据(如工作地、居住地等),即可确定与各个实体对象端相对应的用户分布数据。
其中,将各个实体对象端的用户分布数据存储至数据仓库中。通过数据仓库便于实现针对数据的分析操作。
步骤S120:通过第一周期任务周期性计算与数据仓库中存储的各个实体对象端的用户分布数据相对应的热力点聚类结果,得到各个实体对象端的第一聚类结果;通过第二周期任务周期性计算与数据仓库中存储的各个实体对象端的用户分布数据相对应的热力点聚类结果,得到各个实体对象端的第二聚类结果。
具体的,数据仓库中存储的各个实体对象端的用户分布数据能够用于计算各个实体对象端的热力点聚类结果。具体实施时,可通过基于密度的聚类算法、基于层次的聚类算法等多种方式进行计算,本发明对此不作限定。
在本实施例中,分别通过第一周期任务以及第二周期任务周期性计算各个实体对象端的热力点聚类结果。其中,第一周期任务以及第二周期任务的任务周期不同。相应的,通过第一周期任务产出各个实体对象端的第一聚类结果,通过第二周期任务产出各个实体对象端的第二聚类结果。具体实施时,本领域技术人员可根据实际业务需求灵活设定第一周期任务以及第二周期任务的任务周期,以便同时兼顾实时性和可靠性的需求。例如,周期短的任务可以根据增量用户分布数据快速计算本周期内的热力点聚类结果,而周期长的任务可以根据全量用户分布数据准确计算热力点聚类结果。
步骤S130:根据第一聚类结果以及第二聚类结果,在预设缓存中存储各个实体对象端的热力点计算结果。
具体的,根据第一聚类结果以及第二聚类结果确定各个实体对象端的热力点计算结果,并将各个实体对象端的热力点计算结果存储在预设缓存中,以便于后续查询。
其中,第一聚类结果是通过第一周期任务周期性产生的热力点聚类结果,而第二聚类结果则是通过第二周期任务产生的热力点聚类结果。由于第一聚类结果以及第二聚类结果的产生周期不同,因此,可以直接将产生时间最晚的热力点聚类结果确定为各个实体对象端的热力点计算结果。例如,每当第一聚类结果或第二聚类结果产生时,则用新产生的聚类结果覆盖缓存中已存储的旧的聚类结果。
步骤S140:响应于前端应用服务器发送的热力点查询请求,将预设缓存中存储的与热力点查询请求中包含的实体对象端对应的热力点计算结果发送给前端应用服务器,以供前端应用服务器展示与实体对象端相对应的热力图。
其中,热力点为经过特定函数处理后的一个地图上的坐标点,有经度,纬度和人数等属性。具体的,用户终端向前端应用服务器发送热力点查询请求,相应的,前端应用服务器将来自用户终端的热力点查询请求转发给后端服务器。后端服务器响应于前端应用服务器发送的热力点查询请求,将预设缓存中存储的与热力点查询请求中包含的实体对象端相对应的热力点计算结果发送给前端应用服务器,以供前端应用服务器展示与实体对象端相对应的热力图。由此可见,由于后端服务器预先针对各个实体对象端的热力点计算结果执行了运算,并在预设缓存中存储了计算结果,因此,无论热力点查询请求用于查询哪一实体对象端的热力点分布情况,都能够快速得到热力点计算结果,提升热力图展示速度。
由此可见,在本发明实施例提供的热力图的展示方法中,由后端服务器预先计算热力点计算结果,并在接收到来自前端应用服务器的热力点查询请求时,直接将已计算好的内容发送给前端应用服务器,从而显著提升了前端应用服务器的热力图展示速度,避免了展示时延,而且,由于热力点的计算过程由后端服务器实现,因而不会影响前端应用服务器的其他业务功能。其中,通过数据仓库和缓存的使用,能够为数据分析处理提供便利。并且,通过两种不同周期的周期任务分别计算热力点聚类结果,使周期短的任务能够提供更加及时的查询结果,而周期长的任务能够提供更加可靠的查询结果,从而能够兼顾实时性与可靠性的要求。
图2示出了本发明另一个实施例提供的热力图的展示方法的流程图。如图2所示,该方法包括以下步骤:
步骤S210:根据获取到的历史订单数据计算与各个实体对象端相对应的用户分布数据,将各个实体对象端的用户分布数据存储至数据仓库中。
在本实施例中,实体对象端为门店端。与各个实体对象端相对应的用户分布数据是指:实体对象端对应的下单用户的用户位置分布类数据。由于门店端的历史订单数据不断更新,因此,在本实施例中,每隔预设周期,执行一次本步骤中的计算过程,并将计算结果存储至数据仓库,以实现用户分布数据的更新操作。具体实施时,该预设周期可以为24小时或一星期等等。
为了兼顾用户分布数据的及时更新以及可靠更新,在本实施例中,通过两种不同周期的任务分别获取各个实体对象端的用户分布数据,具体通过以下方式实现:一方面,按照第一任务周期周期性获取并计算各个实体对象端的用户分布数据;另一方面,按照第二任务周期周期性获取并计算各个实体对象端的用户分布数据,并得到以第二任务周期划分的增量数据表。
具体实施时,在按照第一任务周期周期性获取并计算各个实体对象端的用户分布数据时,通过以下方式实现:每隔第一任务周期,生成与第一任务周期相对应的第一计算任务,通过第一计算任务获取与第一任务周期相对应的第一历史订单数据,根据第一历史订单数据计算与各个实体对象端相对应的第一用户分布数据。其中,第一计算任务可以为天级别的任务,相应的,第一任务周期为24小时,从而每天触发一次第一计算任务。其中,与第一任务周期相对应的第一历史订单数据是指:在第一任务周期之内产生的历史订单数据。具体实施时,第一历史订单数据可以为增量数据,例如,仅为本周期内产生的历史订单数据,从而便于提升计算效率。当然,第一历史订单数据也可以为全量数据,例如,不仅包含本周期内新增的历史订单数据,还进一步包含本周期之前已产生的全部订单数据,从而确保数据的全面性。相应的,第一用户分布数据根据第一历史订单数据得到,用于描述本周期内的用户分布情况。通过第一计算任务,在数据仓库中得到以第一任务周期划分的增量数据表和/或全量数据表,以便于实现用户分布数据的全面而可靠的查询。
另一方面,按照第二任务周期周期性获取并计算各个实体对象端的用户分布数据,并得到以第二任务周期划分的增量数据表。具体的,每隔第二任务周期,生成与第二任务周期相对应的第二计算任务,通过第二计算任务获取与第二任务周期相对应的第二历史订单数据,根据第二历史订单数据计算与各个实体对象端相对应的第二用户分布数据。其中,第二计算任务可以为小时级别的任务,相应的,第二任务周期为1小时,从而每小时触发一次第二计算任务。其中,与第二任务周期相对应的第二历史订单数据是指:在第二任务周期之内产生的历史订单数据。具体实施时,第二历史订单数据通常为增量数据,例如,仅为本周期内产生的历史订单数据,从而便于提升计算效率。由此可见,通过第二计算任务,在数据仓库中得到以第二任务周期划分的增量数据表。其中,每份增量数据表仅用于存储对应的第二任务周期内产生的用户分布数据,从而便于以更细的时间粒度划分用户分布数据,从而便于在后续过程中实现快速计算以及实时查询功能。由此可见,数据仓库中存储的各个实体对象端的用户分布数据通过增量数据表与全量数据表相结合的方式进行存储,从而便于在后续计算过程中分别实现增量计算以及全量计算。
由此可见,本实施例中的第二任务周期小于第一任务周期。通过两种不同周期的计算任务,能够根据不同的时间粒度分别计算用户分布数据,从而既能够确保用户分布数据的全面性,又有助于提升用户分布数据更新的及时性。
在一种优选的实现方式中,与第二任务周期相对应的第二历史订单数据为增量数据,以便于提升更新结果的及时性;与第一任务周期相对应的第一历史订单数据为全量数据,以便于确保数据结果的全面性。由此可见,通过全量计算与增量计算相结合、且分别设置不同计算周期的方式,有助于在节约系统资源消耗的前提下尽可能提升更新结果的及时性。
步骤S220:通过第一周期任务周期性计算与数据仓库中存储的各个实体对象端的用户分布数据相对应的热力点聚类结果,得到各个实体对象端的第一聚类结果;通过第二周期任务周期性计算与数据仓库中存储的各个实体对象端的用户分布数据相对应的热力点聚类结果,得到各个实体对象端的第二聚类结果。
具体的,第一周期任务与上文提到的第一计算任务相对应,二者的任务周期均为第一任务周期。其中,第一计算任务用于实现用户分布数据的计算过程,而第一周期任务则用于根据用户分布数据计算热力点聚类结果。同理,第二周期任务与上文提到的第二计算任务相对应,二者的任务周期均为第二任务周期。与之类似,第二计算任务用于实现用户分布数据的计算过程,而第二周期任务则用于根据用户分布数据计算热力点聚类结果。由此可见,在本实施例中,第一周期任务的第一任务周期大于第二周期任务的第二任务周期。
具体实施时,在通过第一周期任务周期性计算与数据仓库中存储的各个实体对象端的用户分布数据相对应的热力点聚类结果,得到各个实体对象端的第一聚类结果时,通过以下方式实现:每当第一任务周期到达时,通过第一周期任务获取数据仓库中存储的各个实体对象端的全量用户分布数据,根据全量用户分布数据计算各个实体对象端的第一聚类结果。其中,该全量用户分布数据是指:数据仓库中存储的各个实体对象端在第一任务周期之内以及第一任务周期之前已产生的全部数据。或者,该全量用户分布数据也可以是指:数据仓库中存储的各个实体对象端在第一任务周期之内产生的全部数据。总之,第一周期任务所获取的用户分布数据更加全面,因而能够执行更加准确的计算过程,相应的,得到的各个实体对象端的第一聚类结果的准确性也更高。
在通过第二周期任务周期性计算与数据仓库中存储的各个实体对象端的用户分布数据相对应的热力点聚类结果,得到各个实体对象端的第二聚类结果时,通过以下方式实现:每当第二任务周期到达时,通过第二周期任务获取数据仓库中存储的各个实体对象端的增量用户分布数据,根据增量用户分布数据计算各个实体对象端的第二聚类结果。其中,该增量用户分布数据是指:数据仓库中存储的各个实体对象端在本次第二任务周期之内产生的新增数据。因此,第二周期任务所获取的用户分布数据的数据量较小且时间较新,因而能够执行更加实时而快速的计算过程,相应的,得到各个实体对象端的第二聚类结果的速度更快、实时性更高。
在一个具体示例中,在通过第二周期任务获取数据仓库中存储的各个实体对象端的增量用户分布数据时,具体通过以下方式实现:根据以第二任务周期划分的增量数据表,获取数据仓库中存储的各个实体对象端的增量用户分布数据。具体的,数据仓库中单独存储了对应于各个第二计算任务的增量数据表,每份增量数据表中仅包含一个第二任务周期内产生的新增的用户分布数据,相应的,通过与本周期相对应的增量数据表能够便捷地实现增量计算过程,从而确保实时性。
由此可见,本步骤通过两种周期不同的周期性任务兼顾了数据计算的可靠性以及实时性。
另外,为了进一步提升计算的实时性,缩短计算耗时,在步骤S220中通过第一周期任务和/或第二周期任务计算与数据仓库中存储的各个实体对象端的用户分布数据相对应的热力点聚类结果时,进一步将各个实体对象端所对应的用户分布数据划分为多个数据分组,将多个数据分组分配给多个并行计算节点,由各个并行计算节点按照热力点聚类算法计算与各个数据分组相对应的分组聚类结果,根据多个分组聚类结果得到上述的各个实体对象端的第一聚类结果和/或第二聚类结果。
具体的,为了提升处理效率,在步骤S220中通过并行处理方式进行计算:首先,将各个实体对象端所对应的用户分布数据划分为多个数据分组。在本实施例中,一方面,分别将每个实体对象端所对应的用户分布数据划分为一个数据分组,从而实现多个实体对象端之间的并行处理。另一方面,分别针对每个实体对象端所对应的用户分布数据,进一步将该实体对象端所对应的用户分布数据划分为多个数据分组,从而实现一个实体对象端内部的并行处理。例如,假设共有P个实体对象端,P为自然数,则需要将每个实体对象端所对应的用户分布数据划分为一个数据分组,共划分P个数据分组。然后,针对每个数据分组,进一步划分为M个分组,从而最终得到P*M个分组,M为自然数。总之,划分数据分组的目的在于实现并行运算,从而提升效率。因此,数据分组的数量以及划分方式可由本领域技术人员灵活设定。然后,将多个数据分组分配给多个并行计算节点,由各个并行计算节点按照热力点聚类算法计算与各个数据分组相对应的分组聚类结果。其中,并行计算节点为多个能够并行工作的计算引擎,具体可以为各类大数据计算引擎。各个并行计算节点相互独立地进行运算,从而得到与本节点相对应的数据分组的分组聚类结果。其中,分组聚类结果通过热力点聚类算法计算得到,该热力点聚类算法用于计算热力点(也叫热力聚合点)。在本实施例中,热力点聚类算法是基于密度的聚类算法。最后,根据多个分组聚类结果得到与各个实体对象端相对应的热力点计算结果。具体的,由于各个分组聚类结果分别对应于不同的数据分组,因此,需要针对各个分组聚类结果进行汇总,从而得到与各个实体对象端相对应的热力点计算结果。
其中,为了便于灵活调整并行计算结果的数量,在步骤S220中,根据预设的资源配置参数,确定并行计算节点的数量为N,将各个实体对象端所对应的用户分布数据划分为N个数据分组,将N个数据分组分配给N个并行计算节点;其中,N为自然数。其中,资源配置参数用于描述大数据处理平台的计算资源配置情况,其具体取值可根据业务需要灵活调整。
在一种优选的实现方式中,进一步通过监控线程监控各个并行计算节点的处理进度信息;根据监控结果动态调整预设的资源配置参数,和/或,根据监控结果动态调整上述第一预设周期和/或第二预设周期。其中,监控线程能够动态监控各个并行计算节点的处理进度,若并行计算节点的处理进度较慢,则需要增加资源配置参数中的节点数量,以便在后续的处理过程中通过更多的计算节点提升处理效率。另外,若并行计算节点的处理进度较慢,还可以进一步延长第一任务周期和/或第二任务周期,以便减少计算频次。
具体实施时,由于用户分布数据包括由第一计算任务得到的第一用户分布数据以及由第二计算任务得到的第二用户分布数据。因此,在步骤S220中,需要分别针对第一用户分布数据以及第二用户分布数据执行上述的分组及计算操作。
另外,发明人在实现本发明的过程中发现,在将用户分布数据划分为多个数据分组时,对于各个数据分组中都需要使用的公共数据而言,通常采用拷贝方式将公共数据分别拷贝至各个并行计算节点中。但是,由于拷贝操作对于内存和CPU的占用量较大,因此,导致计算过程非常耗时。为了解决上述问题,在本实施例中,确定与多个数据分组相对应的公共数据,将上述公共数据设置为可供各个并行计算节点引用的公共对象。由于引用操作相较于拷贝操作而言,对于内存和CPU的占用量较低,从而能够显著提升处理速度。具体的,在确定与多个数据分组相对应的公共数据时,可以通过多种方式实现:在一种可选的实现方式中,预先分析待处理的用户分布数据,将待处理的用户分布数据划分为公共数据以及非公共数据,其中,公共数据为需要被各个并行计算节点共同使用的数据,将该部分数据设置为公共对象;另外,将非公共数据划分为上文提到的多个数据分组。由此可见,该方式先划分公共数据以及非公共数据,然后仅针对非公共数据执行分组操作。在又一种可选的实现方式中,首先,将待处理的用户分布数据划分为多个数据分组。然后,提取各个数据分组中包含的数据对象,从而根据各个数据对象在各个数据分组中的出现次数提取重复出现预设次数的数据对象作为公共数据以设置为公共对象。其中,预设次数可以为一次或多次。由此可见,该方式先执行分组操作再根据各个分组中的数据内容提取公共对象。
步骤S230:根据第一聚类结果以及第二聚类结果,在预设缓存中存储各个实体对象端的热力点计算结果。
具体的,根据第一聚类结果以及第二聚类结果确定各个实体对象端的热力点计算结果,并将各个实体对象端的热力点计算结果存储在预设缓存中,以便于后续查询。具体实施时,可通过以下方式实现:每当第一聚类结果产生时,通过第一同步任务根据第一聚类结果更新预设缓存中存储的各个实体对象端的热力点计算结果;以及,每当第二聚类结果产生时,通过第二同步任务根据第二聚类结果更新预设缓存中存储的各个实体对象端的热力点计算结果。通过上述方式,可确保缓存中存储的热力点计算结果为最新的数据,从而防止因过期的无效数据所导致的查询错误。
在上述过程中,针对第一聚类结果以及第二聚类结果执行合并处理:每当第一聚类结果发生更新后,则触发第一同步任务;每当第二聚类结果发生更新后,则触发第二同步任务。其中,由于第一聚类结果以及第二聚类结果中可能包含对应于同一门店端的热力点计算结果,因此,需要对第一聚类结果以及第二聚类结果执行合并处理,以合并相同门店端的热力点计算结果。具体的,在本实施例中,第一聚类结果以及第二聚类结果通过键值对存储;相应的,在针对第一聚类结果以及第二聚类结果执行合并处理时,针对第一聚类结果以及第二聚类结果中相同键所对应的数据记录进行覆盖式合并处理。例如,以门店端作为数据记录的键,门店端对应的热力点计算结果作为数据记录的值,相应的,针对相同键的值进行覆盖式合并处理。
另外,考虑到第一聚类结果的产生周期较长,且依据全量用户分布数据产生,因而准确性更高,因此,第一聚类结果的优先级高于第二聚类结果,每当第一聚类结果产生时,则通过第一聚类结果覆盖第二聚类结果。并且,当第一聚类结果与第二聚类结果出现不一致的情况时,以第一聚类结果为准,从而根据第一聚类结果更新第二聚类结果,以确保数据的准确性。当然,由于第二聚类结果的实时性较高,因此,在第一聚类结果尚未更新时,按照第二聚类结果提供查询服务,从而确保热力图的及时更新。
步骤S240:接收并解析前端应用服务器发送的热力点查询请求。
具体的,用户终端向前端应用服务器发送热力点查询请求,相应的,前端应用服务器将来自用户终端的热力点查询请求转发给后端服务器。后端服务器接收到来自前端应用服务器的热力点查询请求进行解析,以获取其中包含的查询参数。
步骤S250:响应于接收到的热力点查询请求,将与热力点查询请求中包含的实体对象端相对应的热力点计算结果发送给前端应用服务器,以供前端应用服务器展示与实体对象端相对应的热力图。
后端服务器响应于前端应用服务器发送的热力点查询请求,将与热力点查询请求中包含的实体对象端相对应的热力点计算结果发送给前端应用服务器,以供前端应用服务器展示与实体对象端相对应的热力图。由此可见,由于后端服务器预先针对各个实体对象端的热力点计算结果执行了运算,因此,无论热力点查询请求用于查询哪一实体对象端的热力点分布情况,都能够快速得到热力点计算结果,提升热力图展示速度。
其中,热力点查询请求中进一步包含多个查询参数,例如,用户能够通过包含多个参数设置入口的查询入口触发上述的热力点查询请求。为了能够快速查询各类查询参数所对应的结果,在计算与数据仓库中存储的各个实体对象端的用户分布数据相对应的热力点聚类结果时,进一步枚举与各个查询参数相对应的多个查询条件;分别针对每种查询条件,获取与该查询条件相对应的用户分布数据,从而分别得到与各个查询条件相对应的热力点计算结果。因此,在本步骤中,在将与热力点查询请求中包含的实体对象端相对应的热力点计算结果发送给前端应用服务器时,查询与热力点查询请求中包含的查询条件相对应的热力点计算结果,将查询到的热力点计算结果发送给前端应用服务器。
在本实施例中,由于实体对象端为门店端,因此,上述的查询参数包括:门店标识、与门店之间的距离、和/或用户类型;其中,用户类型包括:到店类型以及配送类型;并且,热力点计算结果包括:各个热力点的位置坐标以及各个热力点对应的用户人数。
综上可知,在本发明实施例提供的热力图的展示方法中,由后端服务器预先计算热力点计算结果,并在接收到来自前端应用服务器的热力点查询请求时,直接将已计算好的内容发送给前端应用服务器,从而显著提升了前端应用服务器的热力图展示速度,避免了展示时延,而且,由于热力点的计算过程由后端服务器实现,因而不会影响前端应用服务器的其他业务功能。并且,后端服务器还能够借助并行处理方式提升计算速度,从而在查询对象增多时能够应对海量数据的计算过程。并且,在上述方式中,能够预先枚举各种可能的查询条件,从而能够为用户提供多种条件的快速查询服务。而且,通过两种不同周期的计算任务能够以全量和增量相结合的方式兼顾数据处理的实时性和全面性。另外,在本实施例中,通过数据仓库便于实现大量数据的分析处理,借助缓存能够提升后续的查询速度。并且,通过两种不同周期的周期任务分别计算热力点聚类结果,能够兼顾实时性以及可靠性。
为了便于理解,下面以一个具体示例为例详细描述本实施例中的一些具体实现细节:
首先,为了凸显本申请的技术优势,先通过图5描述现有技术中的热力图展示方式。传统的系统架构主要包括:用户终端、应用服务器、分布式数据库以及大数据处理平台。如图5所示,传统的热力图展示方式主要包括以下步骤:
步骤S500:大数据处理平台定期清洗各个门店下的全量用户订单数据,将得到的用户分布数据发送给分布式数据库。
具体的,大数据处理平台根据清洗结果得到门店的各个用户的订单信息、居住地、办公地等位置信息,进而得到各个门店的用户分布数据。具体实施时,大数据处理平台每隔一天更新一次用户分布数据,并将更新后的用户分布数据存储至分布式数据库中。其中,分布式数据库可以为实时分析数据库,用于提供存储及查询功能。
步骤S510:用户终端向应用服务器发送热力点查询请求,以请求关于某一门店的热力图。
步骤S520:应用服务器接收到热力点查询请求后,从分布式数据库中读取对应的用户分布数据。其中,用户分布数据主要是指与热力点查询请求相对应的门店的用户坐标位置信息。
步骤S530:应用服务器调用热力点聚类函数,计算与接收到的用户分布数据相对应的热力点聚合结果。
步骤S540:应用服务器将计算得到的热力点聚合结果发送给用户终端。
由此可见,在传统方式中,应用服务器在接收到用户展示热力图的请求后,先从分布式数据库中查询当前门店下所有的用户及每个用户的坐标点(例如可通过12个坐标点精准描述用户位置)。然后,应用服务器在本地通过自定义的热力点聚类函数(例如DBSCAN函数)计算热力聚合点,计算完成后返回结果。上述方式至少存在如下缺陷:首先,应用服务器接收到查询请求后实时查询数据库,如果门店用户数量过多,例如10万用户,会给数据库造成较大的负载压力,导致页面超时,影响用户体验,并且影响同实例数据库上其他请求的执行。其次,应用服务器查询数据后,实时调用DBSCAN函数进行计算,从而造成CPU负载较大,影响应用服务器上其他请求的执行。并且,由于门店用户数量通常变动平缓,连续的用户请求返回的热力点数据差异较小,肉眼几乎不可感知,每次请求都进行计算会造成计算资源的浪费。另外,传统方式中用户分布数据的计算任务仅为天级别的任务,若门店用户数量发生较大变动(如商家操作进行批量用户导入),则无法及时体现在热力图计算结果上,导致门店管理人员无法从页面感知导入用户的热力点。
为了解决上述问题,本示例主要通过以下步骤实现:
步骤一、由大数据处理平台根据订单用户的工作地,居住地和订单等信息,清洗出各个用户的位置坐标点(例如可通过12个坐标点精准描述一个用户的位置)。
步骤二、平台计算层根据门店信息,用户信息等数据表,结合上述清洗结果,汇总出每个门店下每个用户的位置坐标点,该位置坐标点即为上文提到的用户分布数据。
步骤三、平台计算层通过自定义函数计算热力点计算结果,该自定义函数用于实现上文提到的热力点聚类算法。其中,自定义函数可通过DBSCAN算法实现。其中,与划分和层次聚类方法不同,DBSCAN算法将簇定义为密度相连的点的最大集合,能够把具有足够高密度的区域划分为簇,并可在噪声的空间数据库中发现任意形状的聚类。直观效果上看,DBSCAN算法可以找到样本点的全部密集区域,并把这些密集区域当做一个一个的聚类簇。具体的,为了便于实现并行处理,可以通过结构化查询语言SQL以及DBSCAN算法相结合的形式表达计算逻辑。由大数据处理平台根据计算逻辑生成map/reduce/join等任务,并执行计算。计算可分为天级别任务和小时级别任务两种不同时间周期的任务。其中,map任务为映射任务,reduce任务为归约任务,join任务为合并任务,通过多种类型的任务能够对大数据进行分解后并行处理,且能够合并多个并行处理结果从而得到最终结果。其中,不同时间周期的任务分别对应于上文提到的第一周期任务以及第二周期任务。
步骤四、计算结果由同步任务同步至应用缓存。其中,小时级别任务会覆盖和天级别任务相同的缓存key,达到更新门店热力点的效果。其中,缓存key为门店id,缓存value为聚合点列表,每个聚合点包含经度,纬度和人数等信息。
步骤五、应用服务器发送热力点查询请求,以读取缓存中预存的热力点计算结果,从而实现热力图的快速展示。图6示出了热力图的展示界面示意图,如图6所示,热力图的查询参数可以包括门店名称、与门店间隔距离、用户就餐类型等。
由此可见,在上述示例中,将算法迁移到后端服务器进行计算,不会造成前端应用服务器的CPU负载过高问题,不会影响生产环境的其他服务。并且,随着入驻门店数量增多以及门店用户增多,只需修改资源配置参数,即可灵活调整计算节点的数量以及任务周期,从而在可接受时间内产出热力点计算结果,不用改动代码和重新发布应用,可扩展性大大增加。并且,还可以通过全量和增量计算相结合的方式,解决计算资源浪费的问题,同时具备较好的实效性。总之,该示例能够解决用户访问热力图页面超时的问题,并且,热力图上热力点的变化能够以小时级别进行更新,提升了热力图的实时性。将热力点的计算过程迁移至数仓进行,有助于提升系统的扩展性和稳定性。另外,热力点计算结果直接写入缓存,能够提升查询效率。
总之,本示例相较于现有技术,至少存在以下优势:首先,从系统架构角度,省略了位于应用服务器与大数据平台之间的分布式数据库,使系统架构更加简单,并且,在此基础上,将原本由应用服务器执行的实时计算过程移至后端服务器执行,从而提升了查询速度。其中,实时计算过程通过用户自定义函数(DBSCAN算法)实现,在传统方式中,用户自定义函数只能在应用服务器中部署,无法在后台大数据平台中部署。本示例将原本部署在应用服务器中的自定义函数由后台大数据平台实现,从而能够利用大数据平台的并行计算能力提升计算效率。并且,由于应用服务器本身还要提供多种业务功能,一旦应用服务器的响应速度降低,则会影响到其他业务功能的正常实现,因此,通过将原本由应用服务器实现的计算过程迁移至后台服务器,能够显著提升应用服务器的处理性能。
图3示出了本发明又一实施例提供的用于展示热力图的后端服务器的结构示意图,如图3所示,该后端服务器包括:
计算存储模块31,适于根据获取到的历史订单数据计算各个实体对象端的用户分布数据,将各个实体对象端的用户分布数据存储至数据仓库中;
周期性计算模块32,适于通过第一周期任务周期性计算与所述数据仓库中存储的各个实体对象端的用户分布数据相对应的热力点聚类结果,得到各个实体对象端的第一聚类结果;通过第二周期任务周期性计算与所述数据仓库中存储的各个实体对象端的用户分布数据相对应的热力点聚类结果,得到各个实体对象端的第二聚类结果;
缓存模块33,适于根据所述第一聚类结果以及所述第二聚类结果,在预设缓存中存储各个实体对象端的热力点计算结果;
查询模块34,适于响应于前端应用服务器发送的热力点查询请求,将所述预设缓存中存储的与所述热力点查询请求中包含的实体对象端对应的热力点计算结果发送给所述前端应用服务器,以供所述前端应用服务器展示与所述实体对象端相对应的热力图。
可选的,所述第一周期任务的第一任务周期大于所述第二周期任务的第二任务周期;
所述周期性计算模块具体适于:
每当第一任务周期到达时,通过第一周期任务获取所述数据仓库中存储的各个实体对象端的全量用户分布数据,根据所述全量用户分布数据计算各个实体对象端的第一聚类结果;
每当第二任务周期到达时,通过第二周期任务获取所述数据仓库中存储的各个实体对象端的增量用户分布数据,根据所述增量用户分布数据计算各个实体对象端的第二聚类结果。
可选的,所述计算存储模块具体适于:按照第一任务周期周期性获取并计算各个实体对象端的用户分布数据;以及按照第二任务周期周期性获取并计算各个实体对象端的用户分布数据,得到以第二任务周期划分的增量数据表;
则所述周期性计算模块具体适于:根据所述以第二任务周期划分的增量数据表,获取所述数据仓库中存储的各个实体对象端的增量用户分布数据。
可选的,所述缓存模块具体适于:
每当第一聚类结果产生时,通过第一同步任务根据所述第一聚类结果更新预设缓存中存储的各个实体对象端的热力点计算结果;以及,
每当第二聚类结果产生时,通过第二同步任务根据所述第二聚类结果更新预设缓存中存储的各个实体对象端的热力点计算结果。
可选的,所述周期性计算模块具体适于:
将各个实体对象端的用户分布数据划分为多个数据分组,将多个数据分组分配给多个并行计算节点,由各个并行计算节点按照热力点聚类算法计算与各个数据分组相对应的分组聚类结果,根据多个分组聚类结果得到各个实体对象端的第一聚类结果和/或第二聚类结果。
可选的,所述周期性计算模块具体适于:
根据预设的资源配置参数,确定并行计算节点的数量为N,将各个实体对象端的用户分布数据划分为N个数据分组,将N个数据分组分配给N个并行计算节点;其中,N为自然数。
可选的,所述周期性计算模块具体适于:
通过监控线程监控各个并行计算节点的处理进度信息;
根据监控结果动态调整所述预设的资源配置参数,和/或,根据监控结果动态调整所述第一任务周期和/或第二任务周期。
可选的,所述周期性计算模块具体适于:
确定与多个数据分组相对应的公共数据,将所述公共数据设置为可供各个并行计算节点引用的公共对象。
可选的,所述周期性计算模块具体适于:
枚举与各个查询参数相对应的多个查询条件;分别针对每种查询条件,获取与该查询条件相对应的用户分布数据,将获取到的用户分布数据划分为多个数据分组;
分别得到与各个查询条件相对应的各个实体对象端的第一聚类结果和/或第二聚类结果;
且所述查询模块具体适于:
查询与所述热力点查询请求中包含的查询条件相对应的热力点计算结果,将查询到的热力点计算结果发送给所述前端应用服务器。
可选的,所述实体对象端为门店端,所述查询参数包括:门店标识、与门店之间的距离、和/或用户类型;其中,所述用户类型包括:到店类型以及配送类型;并且,所述热力点计算结果包括:各个热力点的位置坐标以及各个热力点对应的用户人数。
上述各个模块的具体结构和工作原理可参照方法实施例相应部分的描述,此处不再赘述。
本发明又一实施例还提供了一种热力图的展示系统,包括:上述用于展示热力图的后端服务器、以及上述用于展示热力图的前端应用服务器。
由此可见,在上述的各个实施例所提供的服务器及系统中,由后端服务器预先计算热力点计算结果,并在接收到来自前端应用服务器的热力点查询请求时,直接将已计算好的内容发送给前端应用服务器,从而显著提升了前端应用服务器的热力图展示速度,避免了展示时延,而且,由于热力点的计算过程由后端服务器实现,因而不会影响前端应用服务器的其他业务功能。并且,后端服务器还能够借助并行处理方式提升计算速度,从而在查询对象增多时能够应对海量数据的计算过程。
本发明实施例提供了一种非易失性计算机存储介质,所述计算机存储介质存储有至少一可执行指令,该计算机可执行指令可执行上述任意方法实施例中的热力图的展示方法。
可执行指令具体可以用于使得处理器执行上述方法中的各项操作。
图4示出了本发明实施例提供的电子设备的结构示意图,本发明具体实施例并不对电子设备的具体实现做限定。
如图4所示,该电子设备可以包括:处理器(processor)402、通信接口(Communications Interface)404、存储器(memory)406、以及通信总线408。
其中:处理器402、通信接口404、以及存储器406通过通信总线408完成相互间的通信。通信接口404,用于与其它设备比如客户端或其它服务器等的网元通信。处理器402,用于执行程序410,具体可以执行上述用于热力图的展示方法实施例中的相关步骤。
具体地,程序410可以包括程序代码,该程序代码包括计算机操作指令。
处理器402可能是中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路。电子设备包括的一个或多个处理器,可以是同一类型的处理器,如一个或多个CPU;也可以是不同类型的处理器,如一个或多个CPU以及一个或多个ASIC。
存储器406,用于存放程序410。存储器406可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
程序410具体可以用于使得处理器402执行上述方法中的各项操作。
在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明实施例也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明实施例的内容,并且上面对特定语言所做的描述是为了披露本发明实施例的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本发明实施例并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明实施例要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的一些或者全部部件的一些或者全部功能。本发明实施例还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明实施例的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明实施例进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明实施例可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤,除有特殊说明外,不应理解为对执行顺序的限定。
Claims (11)
1.一种热力图的展示方法,应用于后端服务器,其特征在于,具体包括:
根据获取到的历史订单数据计算各个实体对象端的用户分布数据,将各个实体对象端的用户分布数据存储至数据仓库中;
通过第一周期任务周期性计算与所述数据仓库中存储的各个实体对象端的用户分布数据相对应的热力点聚类结果,得到各个实体对象端的第一聚类结果;其中,每当第一任务周期到达时,通过第一周期任务获取所述数据仓库中存储的各个实体对象端的全量用户分布数据,根据所述全量用户分布数据计算各个实体对象端的第一聚类结果;
通过第二周期任务周期性计算与所述数据仓库中存储的各个实体对象端的用户分布数据相对应的热力点聚类结果,得到各个实体对象端的第二聚类结果;其中,每当第二任务周期到达时,通过第二周期任务获取所述数据仓库中存储的各个实体对象端的增量用户分布数据,根据所述增量用户分布数据计算各个实体对象端的第二聚类结果;其中,所述第一周期任务的第一任务周期大于所述第二周期任务的第二任务周期;
根据所述第一聚类结果以及所述第二聚类结果,在预设缓存中存储各个实体对象端的热力点计算结果;
响应于前端应用服务器发送的热力点查询请求,将所述预设缓存中存储的与所述热力点查询请求中包含的实体对象端对应的热力点计算结果发送给所述前端应用服务器,以供所述前端应用服务器展示与所述实体对象端相对应的热力图;
其中,所述根据获取到的历史订单数据计算各个实体对象端的用户分布数据,将各个实体对象端的用户分布数据存储至数据仓库中具体包括:按照第一任务周期周期性获取并计算各个实体对象端的用户分布数据;以及按照第二任务周期周期性获取并计算各个实体对象端的用户分布数据,得到以第二任务周期划分的增量数据表;则所述通过第二周期任务获取所述数据仓库中存储的各个实体对象端的增量用户分布数据具体包括:根据所述以第二任务周期划分的增量数据表,获取所述数据仓库中存储的各个实体对象端的增量用户分布数据。
2.根据权利要求1所述的方法,其特征在于,所述根据所述第一聚类结果以及所述第二聚类结果,在预设缓存中存储各个实体对象端的热力点计算结果包括:
每当第一聚类结果产生时,通过第一同步任务根据所述第一聚类结果更新预设缓存中存储的各个实体对象端的热力点计算结果;以及,
每当第二聚类结果产生时,通过第二同步任务根据所述第二聚类结果更新预设缓存中存储的各个实体对象端的热力点计算结果。
3.根据权利要求1所述的方法,其特征在于,所述计算与所述数据仓库中存储的各个实体对象端的用户分布数据相对应的热力点聚类结果包括:
将各个实体对象端的用户分布数据划分为多个数据分组,将多个数据分组分配给多个并行计算节点,由各个并行计算节点按照热力点聚类算法计算与各个数据分组相对应的分组聚类结果,根据多个分组聚类结果得到各个实体对象端的第一聚类结果和/或第二聚类结果。
4.根据权利要求3所述的方法,其特征在于,所述将各个实体对象端的用户分布数据划分为多个数据分组,将多个数据分组分配给多个并行计算节点包括:
根据预设的资源配置参数,确定并行计算节点的数量为N,将各个实体对象端的用户分布数据划分为N个数据分组,将N个数据分组分配给N个并行计算节点;其中,N为自然数。
5.根据权利要求4所述的方法,其特征在于,所述由各个并行计算节点按照热力点聚类算法计算与各个数据分组相对应的分组聚类结果,根据多个分组聚类结果得到各个实体对象端的第一聚类结果和/或第二聚类结果包括:
通过监控线程监控各个并行计算节点的处理进度信息;
根据监控结果动态调整所述预设的资源配置参数,和/或,根据监控结果动态调整所述第一任务周期和/或第二任务周期。
6.根据权利要求3-5任一所述的方法,其特征在于,所述将多个数据分组分配给多个并行计算节点,由各个并行计算节点按照热力点聚类算法计算与各个数据分组相对应的分组聚类结果包括:
确定与多个数据分组相对应的公共数据,将所述公共数据设置为可供各个并行计算节点引用的公共对象。
7.根据权利要求3-5任一所述的方法,其特征在于,所述将各个实体对象端的用户分布数据划分为多个数据分组包括:
枚举与各个查询参数相对应的多个查询条件;分别针对每种查询条件,获取与该查询条件相对应的用户分布数据,将获取到的用户分布数据划分为多个数据分组;
则所述根据多个分组聚类结果得到各个实体对象端的第一聚类结果和/或第二聚类结果包括:分别得到与各个查询条件相对应的各个实体对象端的第一聚类结果和/或第二聚类结果;
且所述将所述预设缓存中存储的与所述热力点查询请求中包含的实体对象端对应的热力点计算结果发送给所述前端应用服务器包括:
查询与所述热力点查询请求中包含的查询条件相对应的热力点计算结果,将查询到的热力点计算结果发送给所述前端应用服务器。
8.一种用于展示热力图的后端服务器,其特征在于,包括:
计算存储模块,适于根据获取到的历史订单数据计算各个实体对象端的用户分布数据,将各个实体对象端的用户分布数据存储至数据仓库中;
周期性计算模块,适于通过第一周期任务周期性计算与所述数据仓库中存储的各个实体对象端的用户分布数据相对应的热力点聚类结果,得到各个实体对象端的第一聚类结果;其中,每当第一任务周期到达时,通过第一周期任务获取所述数据仓库中存储的各个实体对象端的全量用户分布数据,根据所述全量用户分布数据计算各个实体对象端的第一聚类结果;通过第二周期任务周期性计算与所述数据仓库中存储的各个实体对象端的用户分布数据相对应的热力点聚类结果,得到各个实体对象端的第二聚类结果;其中,每当第二任务周期到达时,通过第二周期任务获取所述数据仓库中存储的各个实体对象端的增量用户分布数据,根据所述增量用户分布数据计算各个实体对象端的第二聚类结果;其中,所述第一周期任务的第一任务周期大于所述第二周期任务的第二任务周期;
缓存模块,适于根据所述第一聚类结果以及所述第二聚类结果,在预设缓存中存储各个实体对象端的热力点计算结果;
查询模块,适于响应于前端应用服务器发送的热力点查询请求,将所述预设缓存中存储的与所述热力点查询请求中包含的实体对象端对应的热力点计算结果发送给所述前端应用服务器,以供所述前端应用服务器展示与所述实体对象端相对应的热力图;
其中,所述计算存储模块具体适于:按照第一任务周期周期性获取并计算各个实体对象端的用户分布数据;以及按照第二任务周期周期性获取并计算各个实体对象端的用户分布数据,得到以第二任务周期划分的增量数据表;则所述周期性计算模块具体适于:根据所述以第二任务周期划分的增量数据表,获取所述数据仓库中存储的各个实体对象端的增量用户分布数据。
9.一种热力图的展示系统,其特征在于,包括:权利要求8所述的用于展示热力图的后端服务器、以及前端应用服务器。
10.一种电子设备,其特征在于,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的热力图的展示方法对应的操作。
11.一种计算机存储介质,其特征在于,所述存储介质中存储有至少一可执行指令,所述可执行指令使处理器执行如权利要求1-7中任一项所述的热力图的展示方法对应的操作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011202436.0A CN112035559B (zh) | 2020-11-02 | 2020-11-02 | 热力图的展示方法、服务器及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011202436.0A CN112035559B (zh) | 2020-11-02 | 2020-11-02 | 热力图的展示方法、服务器及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112035559A CN112035559A (zh) | 2020-12-04 |
CN112035559B true CN112035559B (zh) | 2021-02-02 |
Family
ID=73572656
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011202436.0A Active CN112035559B (zh) | 2020-11-02 | 2020-11-02 | 热力图的展示方法、服务器及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112035559B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113592320B (zh) * | 2021-06-16 | 2023-10-03 | 成都世纪光合作用科技有限公司 | 一种就餐意图识别方法、装置及电子设备 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104408197B (zh) * | 2014-12-15 | 2017-12-19 | 北京国双科技有限公司 | 热力图的处理方法及装置 |
US9886440B2 (en) * | 2015-12-08 | 2018-02-06 | International Business Machines Corporation | Snapshot management using heatmaps in a large capacity disk environment |
CN106251578B (zh) * | 2016-08-19 | 2019-05-07 | 深圳奇迹智慧网络有限公司 | 基于探针的人流预警分析方法和系统 |
CN108492150B (zh) * | 2018-04-11 | 2020-06-09 | 口碑(上海)信息技术有限公司 | 实体热度的确定方法及系统 |
CN110675728B (zh) * | 2018-07-03 | 2021-08-31 | 百度在线网络技术(北京)有限公司 | 热力图的生成方法、装置、设备及计算机可读存储介质 |
CN109213836B (zh) * | 2018-08-10 | 2021-04-02 | 厦门市美亚柏科信息股份有限公司 | 点位数据聚合方法和系统 |
CN110955652B (zh) * | 2018-09-25 | 2023-06-16 | 北京数安鑫云信息技术有限公司 | 一种用于进行数据展示的系统及方法 |
CN110570491B (zh) * | 2019-09-06 | 2020-08-28 | 广东省城乡规划设计研究院 | 热力图生成方法及装置 |
CN110765157B (zh) * | 2019-09-06 | 2024-02-02 | 中国平安财产保险股份有限公司 | 数据查询方法、装置、计算机设备及存储介质 |
CN111325612B (zh) * | 2020-03-18 | 2021-05-04 | 拉扎斯网络科技(上海)有限公司 | 点单方法、订单的配送方法、装置及系统 |
-
2020
- 2020-11-02 CN CN202011202436.0A patent/CN112035559B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN112035559A (zh) | 2020-12-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11556518B2 (en) | System and method for providing high availability data | |
US9223841B2 (en) | System and method for providing high availability data | |
CN106354729B (zh) | 一种图数据处理方法、装置和系统 | |
CN112162846B (zh) | 事务处理方法、设备及计算机可读存储介质 | |
CN113094430B (zh) | 一种数据处理方法、装置、设备以及存储介质 | |
CA3138392A1 (en) | Efficient freshness crawl scheduling | |
CN111552010A (zh) | 一种全球气象灾害卫星遥感快速响应与可视化服务平台 | |
CN114969113A (zh) | 信息搜索方法、装置、存储介质及服务器 | |
CN112163001A (zh) | 高并发查询方法、智能终端及存储介质 | |
CN112035559B (zh) | 热力图的展示方法、服务器及系统 | |
CN116595025B (zh) | 矢量瓦片的动态更新方法、终端和介质 | |
CN110083653A (zh) | 一种订单数据的操作方法、装置、计算机设备和存储介质 | |
CN113760983A (zh) | 数据处理方法、系统及非瞬时性计算机可读存储介质 | |
CN113760977A (zh) | 一种信息查询方法、装置、设备及存储介质 | |
CN116827946A (zh) | 负载均衡方法、数据同步方法、装置、电子设备及介质 | |
CN116304079A (zh) | 基于时序的图谱数据管理方法、设备和可读存储介质 | |
CN111090672B (zh) | 一种数据优化方法及装置 | |
Briquemont et al. | Conflict-free partially replicated data types | |
CN114610719A (zh) | 跨集群数据处理方法、装置、电子设备以及存储介质 | |
CN107679093B (zh) | 一种数据查询方法及装置 | |
CN112256488A (zh) | 云端数据的获取方法和装置、云端服务的数据存储架构 | |
CN111339245A (zh) | 数据存储方法、装置、存储介质及设备 | |
CN111800742B (zh) | 一种移动位置数据的管理方法、装置、存储介质及终端 | |
CN115168366B (zh) | 数据处理方法、装置、电子设备以及存储介质 | |
CN116680043A (zh) | 一种任务处理方法、装置、设备、存储介质及产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |