CN110020273B - 用于生成热力图的方法、装置以及系统 - Google Patents

用于生成热力图的方法、装置以及系统 Download PDF

Info

Publication number
CN110020273B
CN110020273B CN201710701921.4A CN201710701921A CN110020273B CN 110020273 B CN110020273 B CN 110020273B CN 201710701921 A CN201710701921 A CN 201710701921A CN 110020273 B CN110020273 B CN 110020273B
Authority
CN
China
Prior art keywords
height
webpage
sliding event
generating
thermodynamic diagram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710701921.4A
Other languages
English (en)
Other versions
CN110020273A (zh
Inventor
柏雪峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201710701921.4A priority Critical patent/CN110020273B/zh
Priority to PCT/CN2018/092678 priority patent/WO2019033852A1/zh
Publication of CN110020273A publication Critical patent/CN110020273A/zh
Application granted granted Critical
Publication of CN110020273B publication Critical patent/CN110020273B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/957Browsing optimisation, e.g. caching or content distillation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/957Browsing optimisation, e.g. caching or content distillation
    • G06F16/9577Optimising the visualization of content, e.g. distillation of HTML documents
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor

Abstract

本申请公开一种用于生成热力图的方法、装置以及系统。涉及计算机信息处理领域,该方法包括:监听用户在浏览器页面上的操作生成操作数据,所述操作包括鼠标滑动事件;在监听到所述鼠标滑动事件时,判断当前网页高度是否大于高度阈值;在当前网页高度大于所述高度阈值时,用所述当前网页高度更新所述高度阈值;以及通过所述高度阈值与所述操作数据生成热力图。本申请公开的用于生成热力图的方法、装置以及系统,能够进行网页分屏浏览数据统计。

Description

用于生成热力图的方法、装置以及系统
技术领域
本发明涉及计算机信息处理领域,具体而言,涉及一种用于生成热力图的方法、装置以及系统。
背景技术
互联网时代,各类网站后台的装修者在装修的过程中,强烈的期望掌握更多的用户分屏浏览行为信息,比如页面的到达访次、用户的平均访问深度等信息;基于对用户行为信息的分析,装修者可以更合理的优化页面排版,节约装修成本,提高用户的关注度,进而达到预期的效果;要满足这一需求则需要实时的采集用户浏览行为信息、并对信息进行汇总和提炼,进而展示给网站后台的装修者,供装修参考。
现有技术中对于网页上用户行为的统计主要是通过热力图的方式进行统计。一般方法是针对网页浏览用户的访问次数、点击量等指标进行统计进而生成热力图。现有网页热力图的实现方案主要有以下两种:方案一:统计目标网页各个像素点击量得到目标网页的点击热力图,生成基于单或多网页链接区域的点击热力图,方案一通过对目标网页进行埋点,监听整页点击事件,统计汇总页面各像素区域的点击次数,进而形成点击热力图。方案二则是通过对网页特定单片或多片区域进行点击事件监听,并最终统计汇总出指定区域的点击热力图。
现有的生成热力图的技术中,点击热力图都是针对点击量维度进行统计汇总,却未对分屏浏览行为数据作统计。获取的数据粒度过于粗糙,难以判断用户的整体行为或一般性行为;绘制的热力图对网站运营人员进行网页排版及装修优化作用甚微。技术统计的指标偏向于以整页为维度;网页分屏浏览数据统计领域却尚未涉足。
因此,需要一种新的用于生成热力图的方法、装置以及系统。
在所述背景技术部分公开的上述信息仅用于加强对本发明的背景的理解,因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
有鉴于此,本发明提供一种用于生成热力图的方法、装置以及系统,能够进行网页分屏浏览数据统计。
本发明的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本发明的实践而习得。
根据本发明的一方面,提出一种用于生成热力图的方法,该方法包括:监听用户在浏览器页面上的操作生成操作数据,操作包括鼠标滑动事件;在监听到鼠标滑动事件时,判断当前网页高度是否大于高度阈值;在当前网页高度大于高度阈值时,用当前网页高度更新高度阈值;以及通过高度阈值与操作数据生成热力图。
在本公开的一种示例性实施例中,监听用户在浏览器页面上的操作生成操作数据,包括:通过页面埋点的方式,监听用户在浏览器页面上的操作生成操作数据,操作数据包括用户信息。
在本公开的一种示例性实施例中,通过高度阈值与操作数据生成热力图,包括:通过高度阈值与操作数据生成网页分屏热力图。
在本公开的一种示例性实施例中,还包括:通过分布式发布订阅消息系统实时采集操作数据与高度阈值。
在本公开的一种示例性实施例中,操作数据分多区储存在分布式发布订阅消息系统中,且属性为相同主题。
在本公开的一种示例性实施例中,通过高度阈值与操作数据生成热力图,包括:通过分布式实时计算系统处理操作数据与高度阈值,生成处理结果;确定最小统计像素区域;通过最小统计像素区域与Hbase表格保存处理结果;以及通过处理结果生成热力图。
在本公开的一种示例性实施例中,通过分布式实时计算系统处理操作数据与高度阈值,生成处理结果,包括:通过分布式实时计算系统筛选操作数据与高度阈值,生成处理结果。
在本公开的一种示例性实施例中,通过最小统计像素区域与Hbase表格保存处理结果,包括:通过最小统计像素区域对处理结果进行分区统计;以及通过Hbase表格保存分区统计数据并生成处理结果。
在本公开的一种示例性实施例中,通过处理结果生成热力图,包括:确定网页的分屏数;通过处理结果与分屏数生成热力图。
在本公开的一种示例性实施例中,确定网页的分屏数,包括:通过屏高与网页总高度确定网页的分屏数。
根据本发明的一方面,提出一种用于生成热力图的装置,该装置包括:监听模块,用于监听用户在浏览器页面上的操作生成操作数据,操作包括鼠标滑动事件;判断模块,用于在监听到鼠标滑动事件时,判断当前网页高度是否大于高度阈值;更新模块,用于在当前网页高度大于高度阈值时,用当前网页高度更新高度阈值;以及绘图模块,用于通过高度阈值与操作数据生成热力图。
根据本发明的一方面,提出一种用于生成热力图的系统,该系统包括:监听系统,用于监听用户在浏览器页面上的操作生成操作数据,操作包括鼠标滑动事件;在监听到鼠标滑动事件时,判断当前网页高度是否大于高度阈值;在当前网页高度大于高度阈值时,用当前网页高度更新高度阈值;以及分布式实时计算系统,用于通过高度阈值与操作数据生成热力图。
在本公开的一种示例性实施例中,还包括:分布式发布订阅消息系统,用于实时采集操作数据与高度阈值。
根据本发明的一方面,提出一种电子设备,该电子设备包括:一个或多个处理器;存储装置,用于存储一个或多个程序;当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如上文的方法。
根据本发明的一方面,提出一种计算机可读介质,其上存储有计算机程序,其特征在于,程序被处理器执行时实现如上文中的方法。
根据本发明的用于生成热力图的方法、装置以及系统,能够进行网页分屏浏览数据统计。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本发明。
附图说明
通过参照附图详细描述其示例实施例,本发明的上述和其它目标、特征及优点将变得更加显而易见。下面描述的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的一种用于生成热力图的方法的系统架构。
图2是根据一示例性实施例示出的一种用于生成热力图的方法的流程图。
图3是根据另一示例性实施例示出的一种用于生成热力图的方法的流程图。
图4是根据另一示例性实施例示出的一种用于生成热力图的方法的流程图。
图5是根据另一示例性实施例示出的一种用于生成热力图的方法的流程图。
图6是根据一示例性实施例示出的一种用于生成热力图的装置的框图。
图7是根据一示例性实施例示出的一种用于生成热力图的系统的框图。
图8是根据另一示例性实施例示出的一种用于生成热力图的系统的框图。
图9是根据另一示例性实施例示出的一种用于生成热力图的系统的框图。
图10是根据一示例性实施例示出的一种电子设备的框图。
图11是根据一示例性实施例示出的一种计算机可读介质示意图。
具体实施例
现在将参考附图更全面地描述示例实施例。然而,示例实施例能够以多种形式实施,且不应被理解为限于在此阐述的实施例;相反,提供这些实施例使得本发明将全面和完整,并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本发明的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本发明的技术方案而没有特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。
附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解,而有的操作/步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
应理解,虽然本文中可能使用术语第一、第二、第三等来描述各种组件,但这些组件不应受这些术语限制。这些术语乃用以区分一组件与另一组件。因此,下文论述的第一组件可称为第二组件而不偏离本公开概念的教示。如本文中所使用,术语“及/或”包括相关联的列出项目中的任一个及一或多者的所有组合。
本领域技术人员可以理解,附图只是示例实施例的示意图,附图中的模块或流程并不一定是实施本发明所必须的,因此不能用于限制本发明的保护范围。
下面结合附图对本公开示例实施方式进行详细说明。
图1是根据一示例性实施例示出的一种用于生成热力图的方法的系统架构。
如图1所示,系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器,例如对用户利用终端设备101、102、103所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理,并将处理结果(分屏数据)反馈给终端设备。
需要说明的是,本申请实施例所提供的分屏数据处理一般由服务器105执行,相应地,分屏数据分析装置一般设置于服务器105中。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
图2是根据一示例性实施例示出的一种用于生成热力图的方法的流程图。
如图2所示,在S202中,监听用户在浏览器页面上的操作生成操作数据,所述操作包括鼠标滑动事件。可例如,通过页面埋点的方式,监听用户在浏览器页面上的操作生成操作数据,操作数据包括用户信息。操作数据可例如包括用户的鼠标操作,可例如监听用户浏览网页时的鼠标滑动事件,再由事件触发自动上报用户浏览数据。
在S204中,在监听到所述鼠标滑动事件时,判断当前网页高度是否大于高度阈值。可例如,通过全局变量来记录最大高度阈值,可例如,在用户访问网页时,设定全局变量maxHeight,并赋值为当前到达的网页高度,还可例如赋值为一小于当前网页高度的任意值,本发明不以此为限。在记录系统中,可例如通过开启鼠标滑动事件监听以达到箭筒鼠标滑动事件的目的。当监听到鼠标滑动事件:获取用户当前浏览到达的网页高度(可例如设为H),判断用户当前浏览到达的网页高度是否大于全局变量maxHeight(即判断:H>maxHeight)。
在S206中,在当前网页高度大于所述高度阈值时,用所述当前网页高度更新所述高度阈值。根据上文中的内容,如果H大于maxHeight,则更新maxHeight值为当前网页高度值。还可例如,在此时发起url请求(请求中可例如包含用户id和maxHeight信息)以便将该更新后的数据进行整体更新。
在S208中,通过所述高度阈值与所述操作数据生成热力图。可例如,通过分布式实时计算系统(Storm)处理操作数据与高度阈值,生成处理结果;确定最小统计像素区域;通过最小统计像素区域与Hbase表格保存处理结果;以及通过处理结果生成热力图。Storm是一个分布式的、容错的实时计算系统,遵循Eclipse Public License 1.0,Storm可以方便地在一个计算机集群中编写与扩展复杂的实时计算,Storm之于实时处理,就好比Hadoop之于批处理。Storm保证每个消息都会得到处理,而且它很快——在一个小集群中,每秒可以处理数以百万计的消息。HBase是一个分布式的、面向列的开源数据库。可例如,设定最小统计区域,根据用户鼠标操作数据,实时记录浏览网页的最大高度,并用最大高度数据实时更新已记录的最大高度数据的,可例如,通过用户浏览的数据和将每个最小统计区域的数据生成热力图。
还可例如,通过高度阈值与操作数据生成网页分屏热力图,可例如通过原始的网页屏幕高度数据,以及网页最大长度,确定网页的分屏数;将网页的分屏数与上述热力图结合处理,通过处理结果与分屏数生成热力图。
根据本发明的用于生成热力图的方法,通过监控用户鼠标操作数据,进而获得浏览网页的最大高度数值,获取最大高度数值以及操作数据,进而生成热力图的方式,能够进行网页分屏浏览数据统计。
应清楚地理解,本发明描述了如何形成和使用特定示例,但本发明的原理不限于这些示例的任何细节。相反,基于本发明公开的内容的教导,这些原理能够应用于许多其它实施例。
图3是根据另一示例性实施例示出的一种用于生成热力图的方法的流程图。图3是对S204与S206的示例性描述,本发明不以此为限。
如图3所示,在S302中,定义全局变量maxHeight初始值为当前屏高。
在S304中,页面打开监听鼠标滑动事件。
在S306中,监测到鼠标滑动事件。
在S308中,用户当前浏览到达的屏高是否大于maxHeight。如果用户当前浏览到达的屏高大于maxHeight,则进入S310,否则返回S304。
在S310中,更新maxHeight。
在S312中,前端访问//datalogPc提交maxHeight。
在S314中,前置机lua进行/datalogPc拦截处理并上报。在网站的Nginx处进行url拦截、参数校验,最终将有效用户信息发给Kafka。
在S316中,Kafka进行分布式日志实时采集。通过分布式发布订阅消息系统实时采集操作数据与高度阈值。可例如,通过Kafka系统负责分布式实时采集用户信息,所有信息以同一个topic,分多区存储在Kafka系统。
重复S304-S312以实现循环监听统计上报用户浏览到达的最大网页高度值。
根据本发明的用于生成热力图的方法,通过实时采集监控用户鼠标操作数据,从而获得浏览网页的最大高度数值的方式,能够实时获取用户当前访问到达网页高度值。
图4是根据另一示例性实施例示出的一种用于生成热力图的方法的流程图。图4是对S208中处理操作数据的的示例性描述,本发明不以此为限。通过分布式实时计算系统处理操作数据与高度阈值,生成处理结果;确定最小统计像素区域;通过最小统计像素区域与Hbase表格保存处理结果;以及通过处理结果生成热力图。
如图4所示,在S402中,初始化Map,可例如设定定时器时间为3分钟。可例如,Map对象用于暂存3分钟内到达的用户数据;定时器,采用Storm框架自带的定时功能,实现每隔三分钟更新Hbase表的用户数据。
在S404中,获取一条用户数据,可例如为网页地址、用户id、maxHeight等。
在S406中,判断Map中是否有该用户相关信息。
在S408中,如果Map中有该用户相关信息,则更新Map用户访问到达的最大高度,操作完毕后返回S404。每获取一条用户数据,更新Map对象中存储的用户访问页面的最大高度值。
在S410中,如果Map中没有该用户相关信息,则新增Map用户访问到达的最大高度,操作完毕后返回S404。每获取一条用户数据,更新Map对象中存储的用户访问页面的最大高度值。
在S412中,判断定时时间到达。
在S414中,遍历Map中所有用户数据。
在S416中,更新用户访问最大高度表,可例如为hbase表。当定时时间到则将Map中存储的用户访问页面的最大高度值更新到Hbase表中;同时清空Map对象。其中,考虑到实时查询和更新Hbase表,可例如通过两张表来实现,每张表的表结构设计如下表所示:
Figure BDA0001380541600000091
其中表1作为中间表,用于存储网页每一天到达的用户数,以及每一位用户网页访问到达的最大高度值,因日访问量较大,可例如设置每条记录持久性为2天。
表2作为最终表,由于存储网页纵向各个区域到达的用户数;为了提升性能并减小记录数,将网页纵向分成以20px为步长的离散区域(比如:20px、40px、60px);最终基于表1中的数据,计算出各个离散区域到达的用户数。
在S418中,更新网页各像素区域用户到达数。数据处理完毕后返回S402。
根据本发明的用于生成热力图的方法,通过实时采集监控用户鼠标操作数据,从而获得浏览网页的最大高度数值的方式,能够实时获取用户当前访问到达网页高度值。
图5是根据另一示例性实施例示出的一种用于生成热力图的方法的流程图。图5是对S208中生成热力图的示例性描述,本发明不以此为限。
如图5所示,在S502中,前台发起请求。后台网页运营装修人员发起查看分屏到达数据请求。可例如传入:网址、网页最大高度、指定每一屏高、查询日期
在S504中,传参规则校验并计算出网页的总屏数
在S506中,根据传参查询上面提到的Hbase表2,扫描Hbase表2查询出统计日期内网页各区域用户到达数
在S508中,根据传参中屏高和网页总高度,计算出网页总屏数。逐一处理和汇总查询的数据。可例如:设置rowKey=wangzhi20170622_1024,到达用户数=20,其中,1024指网页高度为1024px位置。
在S510中,向上取整求出统计位置(1024)落到第n屏,可例如指定屏高为800,则n=1024/800=2。
在S512中,遍历第1屏到第n屏,每一屏到达用户数加当前数据的到达用户数,如上所设:20。
在S514中,叠加每一条数据中的到达用户数得到整页用户数。基于表2中存储各个离散区域到达的用户数,汇总计算出到达各屏的用户数。
在S516中,计算:每一屏用户到达率=每一屏到达用户数/整页用户数。
在S518中,前台渲染并展示用户分屏到达数据。返回分屏到达用户数前段渲染展示给指定人员。
在本实施例中,将以指定像素步长(比如:20px),将网页划分为不同的像素区域(如:区域1:0-20px,区域2:20-20px),最终统计各屏到达用户数据时,采用的是屏内各区域用户数叠加的方式。也可以不指定像素步长,直接叠加各屏内每一个像素值的用户到达数,也可获得各屏到达用户数。本发明不以此为限。
根据本发明的用于生成热力图的方法,通过实时采集并处理用户数据,能够实现动态分屏数据统计。
本领域技术人员可以理解实现上述实施例的全部或部分步骤被实现为由CPU执行的计算机程序。在该计算机程序被CPU执行时,执行本发明提供的上述方法所限定的上述功能。所述的程序可以存储于一种计算机可读存储介质中,该存储介质可以是只读存储器,磁盘或光盘等。
此外,需要注意的是,上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
下述为本发明装置实施例,可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节,请参照本发明方法实施例。
图6是根据一示例性实施例示出的一种用于生成热力图的装置的框图。
监听模块602用于监听用户在浏览器页面上的操作生成操作数据,操作包括鼠标滑动事件。
判断模块604用于在监听到鼠标滑动事件时,判断当前网页高度是否大于高度阈值。
更新模块606用于在当前网页高度大于高度阈值时,用当前网页高度更新高度阈值。
绘图模块608用于通过高度阈值与操作数据生成热力图。
根据本发明的用于生成热力图的装置,通过监控用户鼠标操作数据,进而获得浏览网页的最大高度数值,获取最大高度数值以及操作数据,进而生成热力图的方式,能够进行网页分屏浏览数据统计。
图7是根据一示例性实施例示出的一种用于生成热力图的系统的框图。
监听系统702用于监听用户在浏览器页面上的操作生成操作数据,操作包括鼠标滑动事件;在监听到鼠标滑动事件时,判断当前网页高度是否大于高度阈值;在当前网页高度大于高度阈值时,用当前网页高度更新高度阈值。
分布式实时计算系统704用于通过高度阈值与操作数据生成热力图。
分布式发布订阅消息系统706用于实时采集操作数据与高度阈值。
图8是根据另一示例性实施例示出的一种用于生成热力图的系统的框图。
其中,Kafka分布式采集日志模块802,用于实时数据采集,可例如通过页面埋点,监听用户浏览网页时的鼠标滑动事件,再由事件触发自动上报用户浏览数据,并由Kafka完成数据采集工作。
Storm分布式实时计算模块804,可例如,采用Storm分布式实时计算框架,Storm的topology由一个spout和两层blot组成,具体的流式分层处理设计如图9所示。其中,Spout负责接入Kafka的消费者接口,负责实时读取用户数据。Url过滤blot层,负责解析spout抓取的数据,并筛选出需要的用户分屏浏览数据传给下一层。数据计算及存储blot层,负责计算过滤层传递数据,并将处理结果写入Hbase数据库表。其中,Spout消息源,是消息生产者,他会从一个外部源读取数据并向topology里面面发出消息:tuple。Bolt消息处理者,所有的消息处理逻辑被封装在bolts里面,处理输入的数据流并产生输出的新数据流,可执行过滤,聚合,查询数据库等操作。
数据汇总模块806,可例如用于后台网页运营装修人员发起查看分屏到达数据请求。可例如通过Hbase海量数据实时查询及存储808,基于表2中存储各个离散区域到达的用户数,汇总计算出到达各屏的用户数。返回分屏到达用户数前段渲染展示给运营。
图10是根据一示例性实施例示出的一种电子设备的框图。
下面参照图10来描述根据本发明的这种实施方式的电子设备200。图10显示的电子设备200仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图10所示,电子设备200以通用计算设备的形式表现。电子设备200的组件可以包括但不限于:至少一个处理单元210、至少一个存储单元220、连接不同系统组件(包括存储单元220和处理单元210)的总线230、显示单元240等。
其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元210执行,使得所述处理单元210执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如,所述处理单元210可以执行如图2中所示的步骤。
所述存储单元220可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)2201和/或高速缓存存储单元2202,还可以进一步包括只读存储单元(ROM)2203。
所述存储单元220还可以包括具有一组(至少一个)程序模块2205的程序/实用工具2204,这样的程序模块2205包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线230可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备200也可以与一个或多个外部设备300(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备200交互的设备通信,和/或与使得该电子设备200能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口250进行。并且,电子设备200还可以通过网络适配器260与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。网络适配器260可以通过总线230与电子设备200的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备200使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本公开实施方式的上述电子处方流转处理方法。
图11是根据一示例性实施例示出的一种计算机可读介质示意图。
参考图11所示,描述了根据本发明的实施方式的用于实现上述方法的程序产品400,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本发明的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该实现如下功能::监听用户在浏览器页面上的操作生成操作数据,操作包括鼠标滑动事件;在监听到鼠标滑动事件时,判断当前网页高度是否大于高度阈值;在当前网页高度大于高度阈值时,用当前网页高度更新高度阈值;以及通过高度阈值与操作数据生成热力图。
本领域技术人员可以理解上述各模块可以按照实施例的描述分布于装置中,也可以进行相应变化唯一不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
通过以上的实施例的描述,本领域的技术人员易于理解,这里描述的示例实施例可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本发明实施例的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本发明实施例的方法。
通过以上的详细描述,本领域的技术人员易于理解,根据本发明实施例的用于生成热力图的方法、装置以及系统具有以下优点中的一个或多个。
根据一些实施例,本发明的用于生成热力图的方法,可以提供实时查询用户行为数据平台;提供千万级用户数据实时消费存储的方法,并通过实时采集、汇总,从而让实时查看前台用户分页浏览行为数据成为可能。
根据另一些实施例,本发明的用于生成热力图的方法,可以提供强有力的数据支撑,便于引导用户更合理的优化网页排版,提升网页转化率。通过分屏到达热力图,为网站运营提供数据支持,进而引导合理排版。
根据另一些实施例,本发明的用于生成热力图的方法,存储分屏到达用户数据时,采用定长像素区域划分网页,分区域记录用户到达数,减少了数据库记录数,同时提升查询和更改性能。
根据另一些实施例,本发明的用于生成热力图的方法,可以针对大型网站庞大的用户行为数据,提供实时的采集分析存储的解决方案。
以上具体地示出和描述了本发明的示例性实施例。应可理解的是,本发明不限于这里描述的详细结构、设置方式或实现方法;相反,本发明意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。
此外,本说明书说明书附图所示出的结构、比例、大小等,均仅用以配合说明书所公开的内容,以供本领域技术人员了解与阅读,并非用以限定本公开可实施的限定条件,故不具技术上的实质意义,任何结构的修饰、比例关系的改变或大小的调整,在不影响本公开所能产生的技术效果及所能实现的目的下,均应仍落在本公开所公开的技术内容得能涵盖的范围内。同时,本说明书中所引用的如“上”、“第一”、“第二”及“一”等的用语,也仅为便于叙述的明了,而非用以限定本公开可实施的范围,其相对关系的改变或调整,在无实质变更技术内容下,当也视为本发明可实施的范畴。

Claims (13)

1.一种用于生成热力图的方法,其特征在于,包括:
监听用户在浏览器页面上的鼠标滑动事件生成所述鼠标滑动事件对应的操作数据;
在监听到所述鼠标滑动事件时,判断当前网页高度是否大于高度阈值;
在当前网页高度大于所述高度阈值时,用所述当前网页高度更新所述高度阈值;以及
通过所述高度阈值、屏高、网页总高度与所述鼠标滑动事件对应的操作数据生成网页分屏热力图。
2.如权利要求1所述的方法,其特征在于,所述监听用户在浏览器页面上的鼠标滑动事件生成所述鼠标滑动事件对应的操作数据,包括:
通过页面埋点的方式,监听所述用户在所述浏览器页面上的鼠标滑动事件生成所述鼠标滑动事件对应的操作数据,所述鼠标滑动事件对应的操作数据包括用户信息。
3.如权利要求1所述的方法,其特征在于,还包括:
通过分布式发布订阅消息系统实时采集所述鼠标滑动事件对应的操作数据与所述高度阈值。
4.如权利要求3所述的方法,其特征在于,所述鼠标滑动事件对应的操作数据分多区储存在所述分布式发布订阅消息系统中,且属性为相同主题。
5.如权利要求1所述的方法,其特征在于,所述通过所述高度阈值、屏高、网页总高度与所述鼠标滑动事件对应的操作数据生成网页分屏热力图,包括:
通过分布式实时计算系统处理所述鼠标滑动事件对应的操作数据与所述高度阈值,生成处理结果;
确定最小统计像素区域;
通过所述最小统计像素区域与Hbase表格保存所述处理结果;以及
通过所述处理结果、所述屏高与所述网页总高度生成所述网页分屏热力图。
6.如权利要求5所述的方法,其特征在于,所述通过分布式实时计算系统处理所述鼠标滑动事件对应的操作数据与所述高度阈值,生成处理结果,包括:
通过分布式实时计算系统筛选所述鼠标滑动事件对应的操作数据与所述高度阈值,生成处理结果。
7.如权利要求5所述的方法,其特征在于,所述通过所述最小统计像素区域与Hbase表格保存所述处理结果,包括:
通过所述最小统计像素区域对所述处理结果进行分区统计;以及
通过Hbase表格保存分区统计数据并生成所述处理结果。
8.如权利要求5所述的方法,其特征在于,所述通过所述处理结果、所述屏高与所述网页总高度生成所述网页分屏热力图,包括:
通过屏高与网页总高度确定网页的分屏数;
通过所述处理结果与所述分屏数生成所述热力图。
9.一种用于生成热力图的装置,其特征在于,包括:
监听模块,用于监听用户在浏览器页面上的鼠标滑动事件生成鼠标滑动事件对应的操作数据;
判断模块,用于在监听到所述鼠标滑动事件时,判断当前网页高度是否大于高度阈值;
更新模块,用于在当前网页高度大于所述高度阈值时,用所述当前网页高度更新所述高度阈值;以及
绘图模块,用于通过所述高度阈值、屏高、网页总高度与所述鼠标滑动事件对应的操作数据生成网页分屏热力图。
10.一种用于生成热力图的系统,其特征在于,包括:
监听系统,用于监听用户在浏览器页面上的鼠标滑动事件生成鼠标滑动事件对应的操作数据;在监听到所述鼠标滑动事件时,判断当前网页高度是否大于高度阈值;在当前网页高度大于所述高度阈值时,用所述当前网页高度更新所述高度阈值;以及
分布式实时计算系统,用于通过所述高度阈值、屏高、网页总高度与所述鼠标滑动事件对应的操作数据生成网页分屏热力图。
11.如权利要求10所述的系统,其特征在于,还包括:
分布式发布订阅消息系统,用于实时采集所述鼠标滑动事件对应的操作数据与所述高度阈值。
12.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-8中任一所述的方法。
13.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-8中任一所述的方法。
CN201710701921.4A 2017-08-16 2017-08-16 用于生成热力图的方法、装置以及系统 Active CN110020273B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710701921.4A CN110020273B (zh) 2017-08-16 2017-08-16 用于生成热力图的方法、装置以及系统
PCT/CN2018/092678 WO2019033852A1 (zh) 2017-08-16 2018-06-25 用于生成热力图的方法、装置以及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710701921.4A CN110020273B (zh) 2017-08-16 2017-08-16 用于生成热力图的方法、装置以及系统

Publications (2)

Publication Number Publication Date
CN110020273A CN110020273A (zh) 2019-07-16
CN110020273B true CN110020273B (zh) 2021-06-29

Family

ID=65361779

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710701921.4A Active CN110020273B (zh) 2017-08-16 2017-08-16 用于生成热力图的方法、装置以及系统

Country Status (2)

Country Link
CN (1) CN110020273B (zh)
WO (1) WO2019033852A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108804435B (zh) * 2017-04-26 2022-02-01 北京京东尚科信息技术有限公司 用于确定当前屏热度值的方法和装置
CN110781063B (zh) * 2019-10-25 2023-12-05 北京博睿宏远数据科技股份有限公司 网页首屏时间的测量方法、装置、设备及存储介质
CN113806648A (zh) * 2020-12-02 2021-12-17 北京沃东天骏信息技术有限公司 一种信息生成的方法、装置和存储介质
CN113010831A (zh) * 2021-04-06 2021-06-22 金宝贝网络科技(苏州)有限公司 一种热力图优化方法、系统及存储介质
CN113010626B (zh) * 2021-04-27 2023-12-05 威创集团股份有限公司 一种热力图生成方法、装置、设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103561220A (zh) * 2013-10-28 2014-02-05 三星电子(中国)研发中心 一种电视终端及其多屏显示和控制的方法
CN105930513A (zh) * 2016-05-16 2016-09-07 北京京东尚科信息技术有限公司 一种浏览器历史记录排序方法及装置
CN106599075A (zh) * 2016-11-14 2017-04-26 武汉斗鱼网络科技有限公司 一种统计用户行为数据的方法及装置
CN106649372A (zh) * 2015-10-30 2017-05-10 北京国双科技有限公司 热力图中广告点击量的展示方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1560931B1 (en) * 2002-11-14 2011-07-27 Dharmacon, Inc. Functional and hyperfunctional sirna
US20100287178A1 (en) * 2009-05-08 2010-11-11 Google Inc. Refining location estimates and reverse geocoding based on a user profile
CN104408133B (zh) * 2014-11-27 2018-02-23 北京国双科技有限公司 网页链接区域的热力图的显示方法和装置
CN104657417B (zh) * 2014-12-17 2018-07-13 东软集团股份有限公司 热力图的处理方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103561220A (zh) * 2013-10-28 2014-02-05 三星电子(中国)研发中心 一种电视终端及其多屏显示和控制的方法
CN106649372A (zh) * 2015-10-30 2017-05-10 北京国双科技有限公司 热力图中广告点击量的展示方法和装置
CN105930513A (zh) * 2016-05-16 2016-09-07 北京京东尚科信息技术有限公司 一种浏览器历史记录排序方法及装置
CN106599075A (zh) * 2016-11-14 2017-04-26 武汉斗鱼网络科技有限公司 一种统计用户行为数据的方法及装置

Also Published As

Publication number Publication date
CN110020273A (zh) 2019-07-16
WO2019033852A1 (zh) 2019-02-21

Similar Documents

Publication Publication Date Title
CN110020273B (zh) 用于生成热力图的方法、装置以及系统
US11074560B2 (en) Tracking processed machine data
US9690830B2 (en) Gathering and contributing content across diverse sources
TWI412991B (zh) 客製化之今日模組
CN102054003B (zh) 网络信息推荐、建立网络资源索引的方法及系统
CN110019087B (zh) 数据处理方法及其系统
CN102214208B (zh) 一种基于非结构化文本生成结构化信息实体的方法与设备
JP2015191655A (ja) 推奨ページを生成するための方法及び装置
Lopez et al. Big data architecture for climate change and disease dynamics
DE112012004240T5 (de) Überwachen des Ressourcenverbrauchs eines Anwendungsprogramms
CA3059738A1 (en) Behaviour data processing method, device, electronic device and computer readable medium
JP2013069279A (ja) 情報の管理及びネットワーク化
US20200159764A1 (en) Method for Processing and Displaying Real-Time Social Data on Map
CN109101607B (zh) 用于搜索区块链数据的方法、装置及存储介质
CN108804445B (zh) 热力图生成方法和装置
CN112182004B (zh) 实时查看数据方法、装置、计算机设备及存储介质
CN103678325A (zh) 一种用于提供与初始页面相对应的浏览页面的方法和设备
CN107315753B (zh) 跨多数据库的分页方法和装置
WO2021164131A1 (zh) 地图展示方法、系统、计算机设备和存储介质
US20160171101A1 (en) High level of detail news maps and image overlays
Gaurav et al. An outline on big data and big data analytics
WO2021189766A1 (zh) 数据可视化方法及相关设备
WO2023169165A1 (zh) 访问数据处理方法和装置、电子设备、计算机可读介质
Gui et al. A visualization-enhanced graphical user interface for geospatial resource discovery
US9692804B2 (en) Method of and system for determining creation time of a web resource

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant