CN109344180A - 展示数据获取的方法、装置、计算机设备和存储介质 - Google Patents
展示数据获取的方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN109344180A CN109344180A CN201810956660.5A CN201810956660A CN109344180A CN 109344180 A CN109344180 A CN 109344180A CN 201810956660 A CN201810956660 A CN 201810956660A CN 109344180 A CN109344180 A CN 109344180A
- Authority
- CN
- China
- Prior art keywords
- data
- real time
- end page
- time data
- sql
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000003860 storage Methods 0.000 title claims abstract description 19
- 238000004364 calculation method Methods 0.000 claims abstract description 35
- 241000233805 Phoenix Species 0.000 claims abstract description 28
- 230000006399 behavior Effects 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 14
- 238000003032 molecular docking Methods 0.000 claims description 9
- 230000005540 biological transmission Effects 0.000 claims description 7
- 230000003542 behavioural effect Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 description 21
- 230000007246 mechanism Effects 0.000 description 12
- 238000004458 analytical method Methods 0.000 description 8
- 241001269238 Data Species 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000007405 data analysis Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 3
- 102000041248 APP family Human genes 0.000 description 2
- 108091061431 APP family Proteins 0.000 description 2
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Landscapes
- Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
Abstract
本申请涉及大数据平台的领域，提供了一种展示数据获取的方法、装置、计算机设备和存储介质，包括：接收第一服务器对第一实时数据进行预计算处理后的第二实时数据，其中，所述第一实时数据为所述第一服务器直接获取的终端APP产生的数据；接收前端页面的数据调用请求；将接收到的所述数据调用请求转换成SQL，利用Phoenix在所述第二实时数据中进行查询，以获取到对应所述数据调用请求的查询结果；将查询结果传送至所述前端页面展示。本申请中提供的展示数据获取的方法、装置、计算机设备和存储介质，便于实时展示结果数据。
Description
技术领域
本申请涉及大数据平台的技术领域，特别涉及一种展示数据获取的方法、装置、计算机设备和存储介质。
背景技术
目前的实时分析数据平台资源及人力投入大，开发难度高，传统的数据分析平台以一定的高频率对数据展示，且只能以看板的形式展示汇总的数据，未能及时获取到实时的数据，不能及时查看结果数据，投入时间大。
发明内容
本申请的主要目的为提供一种展示数据获取的方法、装置、计算机设备和存储介质，便于实时展示结果数据。
为实现上述目的，本申请提供了一种展示数据获取的方法，包括以下步骤：
接收第一服务器对第一实时数据进行预计算处理后的第二实时数据，其中，所述第一实时数据为所述第一服务器直接获取的终端APP产生的数据；
接收前端页面的数据调用请求；
将接收到的所述数据调用请求转换成SQL，利用Phoenix在所述第二实时数据中进行查询，以获取到对应所述数据调用请求的查询结果；
将所述查询结果传送至所述前端页面展示。
进一步地，所述第二实时数据为所述第一服务器获取kafka集群内的用户行为数据后进行预计算得到的，所述kafka集群用于保存所述第一服务器获取到的第一实时数据。
进一步地，所述预计算包括对所述用户行为数据以指标口径进行分类、汇总计算。
进一步地，所述将接收到的所述数据调用请求转换成SQL，利用Phoenix在所述第二实时数据中进行查询，以获取到对应所述数据调用请求的查询结果的步骤，包括：
将接收到的所述数据调用请求的字符串拼接成所述SQL；
根据所述SQL，利用Phoenix在所述第二实时数据中进行查询，计算并汇总出对应所述数据调用请求的查询结果。
进一步地，所述将接收到的所述数据调用请求的字符串拼接成所述SQL的步骤之后，包括：
获取对应所述SQL的汇总计算逻辑，其中，所述汇总计算逻辑用于对所述第二实时数据进行计算、汇总。
进一步地，所述接收前端页面的数据调用请求的步骤之前，还包括：
根据前端页面向Hbase数据库请求的展示数据的频率，获取接收所述第一服务器进行预计算处理后的所述第二实时数据的频率。
进一步地，接收前端页面的数据调用请求的步骤之前，包括：
设置对接所述前端页面的数据调用请求的接口。
本申请还提供了一种展示数据获取的装置，包括：
第一接收模块，用于接收第一服务器对第一实时数据进行预计算处理后的第二实时数据，其中，所述第一实时数据为所述第一服务器直接获取的终端APP产生数据；
第二接收模块，用于接收前端页面的数据调用请求；
获取模块，用于将接收到的所述数据调用请求转换成SQL，利用Phoenix在所述第二实时数据中进行查询，以获取到对应所述数据调用请求的查询结果；
传输模块，用于将所述查询结果传送至所述前端页面展示。
本申请还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
本申请还提供一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
本申请中提供的展示数据获取的方法、装置、计算机设备和存储介质，具有以下有益效果：
本申请中提供的展示数据获取的方法、装置、计算机设备和存储介质，通过对接获取实时数据，对实时数据进行预计算处理并保存至HBase数据库中，根据前端需要的分析以及展示，对保存于HBase数据库中的数据进行汇合计算统计，生成结果数据输送至前端页面展示，实时展示结果数据，方便查看，减少人力投入时间。
附图说明
图1是本申请一实施例中展示数据获取的方法步骤示意图；
图2是本申请一实施例中展示数据获取的方法步骤S3的示意图；
图3是本申请一实施例中展示数据获取的装置结构框图；
图4是本申请一实施例中展示数据获取的装置中获取模块的结构框图；
图5是本申请一实施例的计算机设备的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
参照图1，为本申请一实施例中提供的一种展示数据获取的方法，本申请实施例是由Hbase数据库执行的，包括以下步骤：
步骤S1，接收第一服务器对第一实时数据进行预计算处理后的第二实时数据，其中，第一实时数据为第一服务器直接获取的终端APP产生的数据。
在本实施例中，第一服务器为实时计算平台，用于获取终端(用户端)APP(应用程序)的用户行为埋点日志数据，其中用户行为埋点日志数据为本实施例中的第一实时数据，将第一实时数据存储于第一服务器的Kafka集群中，通过对Kafka集群的第一实时数据以指标口径包括各用户当日转发活动率，当日转发次数，当日阅读次数，以及当日转发活动率、当日产品转发、当日活动工具转发、当日咨询转发的top5机构等进行分类、汇总计算，获取到预计算处理后的第二实时数据，Hbase数据库接收预计算处理后的第二实时数据。
Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。
HBase(Hadoop Database)是一个分布式的、面向列的开源数据库，适合于非结构化数据存储的数据库，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。
埋点分析，是网站分析的一种常用的数据采集方法，良好的私有化部署数据采集方式，数据采集准确，满足了企业去粗取精，实现产品、服务快速优化迭代的需求。
例如：用户打开平安某app用户端去查看信息，当点击页面(转发)或者曝光页面(阅读)即获取到其埋点日志，日志系统将埋点日志实时推送到Kafka集群相应的topic(主题)里。
对第一实时数据进行累加计算用户粒度的结果的维度包括：时间、用户ID、机构code等。
数据粒度，是指数据仓库中数据的细化和综合程度，数据粒度细化标准：细化程度越高，粒度越小；细化程度越低，粒度越大。
统计口径是指统计数据所采用的标准，即进行数据的统计工作所依照的指标体系。根据前端需要的多维度数据，采用对应的数据粒度，如：需要对平安寿险的时间纬度进行分析，对刚过去的最近一年的寿险数据进行分析，则需要用月粒度的数据，对每月的所有用户ID、阅读内容、转发内容、转发次数，阅读次数进行一个年数据分析。
步骤S2，接收前端页面的数据调用请求。
在本步骤中，设置有对接于前端页面的接口，当前端页面带参数进行访问接口的请求时，Hbase数据库与前端页面对接，一一对应并读取对应的接口参数，在对应接口中，可以根据需要将多个图形或者数据可以对应连接于同一个接口，也或者，一个图形或数据对应一个接口，均可以实现传输对接。
步骤S3，将接收到的数据调用请求转换成SQL，利用Phoenix在第二实时数据中进行查询，以获取到对应数据调用请求的查询结果。
在本步骤中，通过接口传入的参数拼接成SQL语句，如对某一主题的转发总数进行汇总，则将该转发的主题、类型、时间作为参数，通过接口传入的字符串进行拼接，成为可执行的SQL语句；通过利用Phoenix插件在Hbase数据库中执行SQL语句，汇总计算出结果数据，获取到对应数据调用请求的结果数据。
其中，Phoenix插件为用于连接原始数据源与HBase数据库的转换插件。
在一具体实施例中，HBase数据库包含了存储有A用户转发平安年老意外险3次，B用户转发平安年老意外险1次，C用户转发平安年老意外险2次，前端页面通过接口去读取HBase数据库的最新的转发平安年老意外险的总次数的计算结果，接口通过获取到传入的参数，形成汇总SQL语句去利用Hbase数据库的Phoenix插件查询获取指标结果数据，通过对HBase数据库转发平安年老意外险的数据进行汇总计算，获取到转发平安年老意外险的总的实时计算数据结果，如计算汇总到转发平安年老意外险的总次数为6次。
步骤S4，将查询结果传送至前端页面展示。
在本步骤中，在Hbase数据库中获取到实时计算数据结果后，将该计算结果传输到前端页面接口，通过前端页面展示，如计算汇总到转发平安年老意外险的总次数为6次，获取到最终转发平安年老意外险的结果数据后，展示于前端页面，其他需要在前端展示的数据同样可以根据汇总计算逻辑进行汇总获取到结果数据后，传输至前端页面展示。
在本实施例中，第二实时数据为第一服务器获取kafka集群内的用户行为数据后进行预计算得到的，kafka集群用于保存第一服务器获取到的第一实时数据。
具体来说，Hbase数据库接收第一服务器对第一实时数据进行预计算处理后的第二实时数据S1的步骤之前，可以包括：
步骤S11，利用第一服务器将获取到的第一实时数据保存至kafka集群；
步骤S12，通过第一服务器获取kafka集群内的用户行为数据；
步骤S13，利用第一服务器对用户行为数据进行预计算，得到第二实时数据。
在本实施例中，第一实时数据为终端APP的用户行为埋点日志数据，终端APP的用户行为埋点日志数据通过日志系统实时推送到第一服务器，即推送到实时计算平台的Kafka集群；如：用户打开平安某APP去查看信息，当点击页面(转发)或者曝光页面(阅读)即获取埋点日志，日志系统将埋点日志实时推送到Kafka集群相应的topic(主题)里；日志采集系统将日志实时的同步到Kafka集群里，app用户端的用户行为数据包括：点击转发事件、用户浏览事件、用户登录事件、用户使用事件等。通过对Kafka集群里的第一实时数据(用户行为数据)以指标口径包括各用户当日转发活动率，当日转发次数，当日阅读次数，以及当日转发活动率、当日产品转发、当日活动工具转发、当日咨询转发的top5机构等进行分类、汇总计算，获取预计算处理后得到的第二实时数据，Hbase数据库接收Kafka集群发送的第二实时数据。
在本实施例中，预计算包括对用户行为数据以指标口径进行分类、汇总计算。通过大数据平台Spark Streaming任务分微批次从Kafka的主题里读取终端APP的用户行为数据，Spark Streaming对第一实时数据流进行高通量、容错处理的流式处理，每批次计算完后，修改Kafka主题的偏移量，保证数据的时序性、唯一性和正确性。指标口径计算为对用户行为数据的用户粒度的计算，按照时间、用户、机构等维度去计算当日活跃用户，当日注册用户、当日转发文章次数，当日阅读次数，以及当日转发活动、当日产品转发次数、当日活动工具转发次数等口径，为进一步计算当日转发活动率、当日用户活动率、当日咨询转发的top5机构和个人等复合指标提供基础数据。
参照图2，在本实施例中，将接收到的数据调用请求转换成SQL，利用Phoenix在第二实时数据中进行查询，以获取到对应数据调用请求的查询结果的S3步骤，包括：
步骤S31，将接收到的数据调用请求的字符串拼接成SQL；
步骤S32，根据SQL，利用Phoenix在第二实时数据中进行查询，计算并汇总出对应数据调用请求的查询结果。
在一具体实施例中，通过前端页面的需求，接收到传入的指定参数，将获取到的指定的参数的字符串拼接成SQL，如前端页面需获取并展示当日用户转发平安年老意外险的明细数据，则将该需求对应的参数通过接口传输至HBase数据库中，获取到HBase数据库中所有用户转发平安年老意外险的全部数据，如HBase数据库所有存储中包括的A用户转发平安年老意外险3次，B用户转发平安年老意外险1次，C用户转发平安年老意外险2次的次数，若前端需要清楚所有用户转发平安年老意外险的总数，通过将该汇总SQL语句通过作用于Hbase数据库的Phoenix插件查询，通过汇总计算获取到转发平安年老意外险的总次数为6次，获取到HBase数据库中转发平安年老意外险的次数为6次作为最终的结果数据，在其他例子也可以以此种方式获取数据的明细，包括转发名称，转发次数，位于所有转发产品中排序等。
在本实施例中，将接收到的数据调用请求的字符串拼接成SQLS31的步骤之后，包括：
获取对应SQL的汇总计算逻辑，其中，汇总计算逻辑用于对第二实时数据进行计算、汇总。
大数据平台根据不同的SQL设置有对应的SQL逻辑计算方法，根据前端页面的需求展示，选取不同的逻辑计算方法，对HBase数据库中预计算后的第二实时数据进行计算，获取多维度的数据分析，如统计某产品转发量的次数，则需要在HBase数据库中获取所有使用APP用户端的用户转发该产品的用户量，以及用户转发该产品的次数，采用累加的方式进行计算并显示于前端页面；又或者，需要获取某产品的活动率，通过获取到登录app用户端的用户数，以及使用该产品的指标，通过对比使用该产品的指标与登录app用户端的用户数比值，即可得到该产品的活动率，也能反应app用户端的运营情况。
在本实施例中，接收前端页面的数据调用请求S2的步骤之前，还包括：
根据前端页面向Hbase数据库请求的展示数据的频率，获取接收第一服务器进行预计算处理后的第二实时数据的频率。
在本步骤，前端页面设置向Hbase数据库请求的展示数据的时间是为了实时更新通过接口去HBase数据库中读取最近的计算结果，通过获取到Hbase数据库接收第一服务器进行预计算处理后的第二实时数据的频率，并根据前端页面的展示需求对HBase数据库中的数据进行汇总计算统计，获取新的多维度的数据结果，如前端页面中每个图表每隔5s带参数访问Hbase数据库的接口，则第一服务器也可以通过每隔5S获取一次第一实时数据。前端页面即WEB页面，根据前端页面需求展示其实时结果数据，如在平安寿险模块中，要求每隔5S在前端显示当日咨询转发前五的名称、转发次数以及阅读次数，或者显示当日产品转发前五的产品名称、转发次数以及阅读次数等，根据前端页面需要展示的结果数据，前端每隔指定的时间，通过接口对接hbase数据库，获取展示汇总的实时数据，用于对该实时数据进行分析，获取到最新的咨询。
在本实施例中，接收前端页面的数据调用请求S2的步骤之前，包括：
设置对接前端页面的数据调用请求的接口。
在本步骤中，每次计算出的结果及时传输至前端页面(Web页面)展示，Web页面与HBase数据库通过接口一一对接，并通过api设置的规范文档，一一对应并读取对应的接口参数，在对应接口中，可以根据需要，多个图形或者数据可以对应连接于同一个接口，也可以一个图形或数据单一对应一个接口。预先在WEB页面设置一个指定时间值读取HBase数据库的数据，如web页面设置每隔10s读取一次HBase数据库的数据，则每隔10s，将以上的查询结果发送至前端展示。
如，在平安寿险模块中，在其前端展示关于寿险的内容，比如机构的转发活动率，当日产品的转发率，转发的热门产品，当日咨询等等，由于随着时间的推移，用户登录的时间也是不定时，随时都有用户去登录app用户端，对感兴趣的咨询内容进行阅读或者转发等，所以需要对前端设置一个时间频率，每各一段时间对前端的板面进行更新，获取到最新的实时数据，以便对当前的数据进行分析。
综上所述，为本申请实施例中提供的展示数据获取的方法，通过对接获取实时数据，对实时数据进行预计算处理并保存至HBase数据库中，根据前端页面需要的分析以及展示，对存储于HBase数据库中的数据进行汇合计算统计，并传送至前端页面展示，实时展示结果数据，方便查看，减少人力投入时间。
参照图3，本申请一实施例中还提供了一种展示数据获取的装置，本申请实施例是由Hbase数据库执行的，包括：
第一接收模块1，用于接收第一服务器对第一实时数据进行预计算处理后的第二实时数据，其中，第一实时数据为第一服务器直接获取的终端APP产生数据。
第一服务器为实时计算平台，用于获取到终端(用户端)APP(应用程序)的用户行为埋点日志数据，其中用户行为埋点日志数据即为本实施例中的第一实时数据，将第一实时数据存储于第一服务器的Kafka集群中，通过对Kafka集群的第一实时数据以指标口径包括各用户当日转发活动率，当日转发次数，当日阅读次数，以及当日转发活动率、当日产品转发、当日活动工具转发、当日咨询转发的top5机构等进行分类、汇总计算，获取到预计算处理后的第二实时数据，Hbase数据库接收预计算处理后的第二实时数据。
Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。
HBase(Hadoop Database)是一个分布式的、面向列的开源数据库，适合于非结构化数据存储的数据库，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。
埋点分析，是网站分析的一种常用的数据采集方法，良好的私有化部署数据采集方式，数据采集准确，满足了企业去粗取精，实现产品、服务快速优化迭代的需求。
例如：用户打开平安某app用户端去查看信息，当点击页面(转发)或者曝光页面(阅读)即获取到其埋点日志，日志系统将埋点日志实时推送到Kafka集群相应的topic(主题)里。
对第一实时数据进行累加计算用户粒度的结果的维度包括：时间、用户ID、机构code等。
数据粒度，是指数据仓库中数据的细化和综合程度，数据粒度细化标准：细化程度越高，粒度越小；细化程度越低，粒度越大。
统计口径是指统计数据所采用的标准，即进行数据的统计工作所依照的指标体系。根据前端需要的多维度数据，采用对应的数据粒度，如：需要对平安寿险的时间纬度进行分析，对刚过去的最近一年的寿险数据进行分析，则需要用月粒度的数据，对每月的所有用户ID、阅读内容、转发内容、转发次数，阅读次数进行一个年数据分析。
第二接收模块2，用于接收前端页面的数据调用请求。
设置有对接于前端页面的接口，当前端页面带参数进行访问接口的请求时，Hbase数据库与前端页面对接，一一对应并读取对应的接口参数，在对应接口中，可以根据需要将多个图形或者数据可以对应连接于同一个接口，也或者，一个图形或数据对应一个接口，均可以实现传输对接
第一获取模块3，用于将接收到的数据调用请求转换成SQL，利用Phoenix在第二实时数据中进行查询，以获取到对应数据调用请求的查询结果。
在本实施例中，第一获取模块3通过接口传入的参数拼接成SQL语句，如对某一主题的转发总数进行汇总，则将该转发的主题、类型、时间作为参数，通过接口传入的字符串进行拼接，成为可执行的SQL语句；再利用Phoenix插件在Hbase数据库中执行SQL语句，汇总计算出结果数据，获取到对应数据调用请求的结果数据。
其中，Phoenix插件为用于连接原始数据源与HBase数据库的转换插件。
在一具体实施例中，HBase数据库包含了存储有A用户转发平安年老意外险3次，B用户转发平安年老意外险1次，C用户转发平安年老意外险2次，前端页面通过接口去读取HBase数据库的最新的转发平安年老意外险的总次数的计算结果，接口通过获取到传入的参数，形成汇总SQL语句去利用Hbase数据库的Phoenix插件查询获取指标结果数据，通过对HBase数据库转发平安年老意外险的数据进行汇总计算，获取到转发平安年老意外险的总的实时计算数据结果，如计算汇总到转发平安年老意外险的总次数为6次。
传输模块4，用于将查询结果传送至前端页面展示。
在Hbase数据库中获取到实时计算数据结果后，将该计算结果传输到前端页面接口，通过前端页面展示，如计算汇总到转发平安年老意外险的总次数为6次，获取到最终转发平安年老意外险的结果数据后，展示于前端页面，其他需要在前端展示的数据同样可以根据汇总计算逻辑进行汇总获取到结果数据后，传输至前端页面展示。
在本实施例中，展示数据获取的装置还包括计算模块，计算模块用于第二实时数据为第一服务器获取kafka集群内的用户行为数据后进行预计算得到的，kafka集群用于保存第一服务器获取到的第一实时数据。
具体来说，展示数据获取的装置还可以包括：
第二获取模块11，用于利用第一服务器将获取到的第一实时数据保存至kafka集群；
第三获取模块12，用于通过第一服务器获取kafka集群内的用户行为数据；
第一计算单元13，利用第一服务器对用户行为数据进行预计算，得到第二实时数据。
在本实施例中，第一实时数据为终端APP的用户行为埋点日志数据，终端APP的用户行为埋点日志数据通过日志系统实时推送到第一服务器，即推送到实时计算平台的Kafka集群；如：用户打开平安某APP去查看信息，当点击页面(转发)或者曝光页面(阅读)即获取埋点日志，日志系统将埋点日志实时推送到Kafka集群相应的topic(主题)里；日志采集系统将日志实时的同步到Kafka集群里，app用户端的用户行为数据包括：点击转发事件、用户浏览事件、用户登录事件、用户使用事件等。通过对Kafka集群里的第一实时数据(用户行为数据)以指标口径包括各用户当日转发活动率，当日转发次数，当日阅读次数，以及当日转发活动率、当日产品转发、当日活动工具转发、当日咨询转发的top5机构等进行分类、汇总计算，获取预计算处理后得到的第二实时数据，Hbase数据库接收Kafka集群发送的第二实时数据。
在本实施例中，计算模块还包括预计算单元，预计算单元用于对用户行为数据以指标口径进行分类、汇总计算。
在本实施例中，通过大数据平台Spark Streaming任务分微批次从Kafka的主题里读取终端APP的用户行为数据，Spark Streaming对第一实时数据流进行高通量、容错处理的流式处理，每批次计算完后，修改Kafka主题的偏移量，保证数据的时序性、唯一性和正确性。指标口径计算为对用户行为数据的用户粒度的计算，按照时间、用户、机构等维度去计算当日活跃用户，当日注册用户、当日转发文章次数，当日阅读次数，以及当日转发活动、当日产品转发次数、当日活动工具转发次数等口径，为进一步计算当日转发活动率、当日用户活动率、当日咨询转发的top5机构和个人等复合指标提供基础数据。
参照图4，在本实施例中，获取模块3包括：
转换单元31，将接收到的数据调用请求的字符串拼接成SQL；
计算汇总单元32，根据SQL，利用Phoenix在第二实时数据中进行查询，计算并汇总出对应数据调用请求的查询结果。
在一具体实施例中，通过前端页面的需求，接收到传入的指定参数，转换单元31将获取到的指定的参数的字符串拼接成SQL，如前端页面需获取并展示当日用户转发平安年老意外险的明细数据，则将该需求对应的参数通过接口传输至HBase数据库中，计算汇总单元32通过计算并汇总获取到HBase数据库中所有用户转发平安年老意外险的全部数据，如HBase数据库所有存储中包括的A用户转发平安年老意外险3次，B用户转发平安年老意外险1次，C用户转发平安年老意外险2次的次数，若前端需要清楚所有用户转发平安年老意外险的总数，通过将该汇总SQL语句通过作用于Hbase数据库的Phoenix插件查询，计算汇总单元32通过汇总计算获取到转发平安年老意外险的总次数为6次，获取到HBase数据库中转发平安年老意外险的次数为6次作为最终的结果数据，在其他例子也可以以此种方式获取数据的明细，包括转发名称，转发次数，位于所有转发产品中排序等。
在本实施例中，在展示数据获取的装置还包括：
第四获取模块，用于获取对应SQL的汇总计算逻辑，其中，汇总计算逻辑用于对第二实时数据进行计算、汇总。
大数据平台根据不同的SQL设置有对应的SQL逻辑计算方法，根据前端页面的需求展示，第四获取模块获取对应SQL的逻辑计算方法，对HBase数据库中预计算后的第二实时数据进行计算，获取多维度的数据分析，如统计某产品转发量的次数，则需要在HBase数据库中获取所有使用APP用户端的用户转发该产品的用户量，以及用户转发该产品的次数，采用累加的方式进行计算并显示于前端页面；又或者，需要获取某产品的活动率，通过获取到登录app用户端的用户数，以及使用该产品的指标，通过对比使用该产品的指标与登录app用户端的用户数比值，即可得到该产品的活动率，也能反应app用户端的运营情况。
在本实施例中，在展示数据获取的装置还包括：
第五获取模块，用于根据前端页面向Hbase数据库请求的展示数据的频率，获取接收第一服务器进行预计算处理后的第二实时数据的频率。
在本步骤，前端页面设置向Hbase数据库请求的展示数据的时间是为了实时更新通过接口去HBase集群中读取最近的计算结果，通过获取到Hbase数据库接收第一服务器进行预计算处理后的第二实时数据的频率，并根据前端页面的展示需求对HBase集群中的数据进行汇总计算统计，获取新的多维度的数据结果，如前端页面中每个图表每隔5s带参数访问Hbase数据库的接口，则第一服务器也可以通过5S获取一次第一实时数据。前端页面即WEB页面，根据要求前端页面展示其实时结果数据，如在平安寿险模块中，要求每隔5S在前端显示当日咨询转发前五的名称、转发次数以及阅读次数，或者显示当日产品转发前五的产品名称、转发次数以及阅读次数等，根据前端需要展示的结果数据，前端每隔指定的时间，通过接口对接hbase数据库，获取展示汇总的实时数据，用于对该实时数据进行分析，获取到最新的咨询。
在本实施例中，在展示数据获取的装置还包括：
对接模块，用于设置对接前端页面的数据调用请求的接口。
在本步骤中，对接模块用于每次计算出的结果及时传输至前端页面(Web页面)展示，Web页面与HBase数据库通过接口一一对接，并通过api设置的规范文档，一一对应并读取对应的接口参数，在对应接口中，可以根据需要，多个图形或者数据可以对应连接于同一个接口，也可以一个图形或数据单一对应一个接口。预先在WEB页面设置一个指定时间值读取HBase数据库的数据，如web页面设置每隔10s读取一次HBase数据库的数据，则每隔10s，将以上的查询结果发送至前端展示。
如，在平安寿险模块中，在其前端展示关于寿险的内容，比如机构的转发活动率，当日产品的转发率，转发的热门产品，当日咨询等等，由于随着时间的推移，用户登录的时间也是不定时，随时都有用户去登录app用户端，对感兴趣的咨询内容进行阅读或者转发等，所以需要对前端设置一个时间频率，每各一段时间对前端的板面进行更新，获取到最新的实时数据，以便对当前的数据进行分析。
综上所述，为本申请实施例中提供的展示数据获取的装置，通过对接获取实时数据，对实时数据进行预计算处理并保存至HBase数据库中，根据前端页面需要的分析以及展示，对存储于HBase数据库中的数据进行汇合计算统计，并传送至前端页面展示，实时展示结果数据，方便查看，减少人力投入时间。
参照图5，本申请实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储第二实时数据等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种展示数据获取的方法。
上述处理器执行上述展示数据获取的方法的步骤：
接收第一服务器对第一实时数据进行预计算处理后的第二实时数据，其中，所述第一实时数据为所述第一服务器直接获取的终端APP产生的数据；
接收前端页面的数据调用请求；
将接收到的所述数据调用请求转换成SQL，利用Phoenix在所述第二实时数据中进行查询，以获取到对应所述数据调用请求的查询结果；
将查询结果传送至所述前端页面展示。
在一实施例中，所述第二实时数据为所述第一服务器获取kafka集群内的用户行为数据后进行预计算得到的，所述kafka集群用于保存所述第一服务器获取到的第一实时数据。
在一实施例中，所述预计算包括对所述用户行为数据以指标口径进行分类、汇总计算。
在一实施例中，所述处理器将接收到的所述数据调用请求转换成SQL，利用Phoenix在所述第二实时数据中进行查询，以获取到对应所述数据调用请求的查询结果的步骤，包括：
将接收到的所述数据调用请求的字符串拼接成所述SQL；
根据所述SQL，利用Phoenix在所述第二实时数据中进行查询，计算并汇总出对应所述数据调用请求的查询结果。
在一实施例中，所述处理器将接收到的所述数据调用请求的字符串拼接成所述SQL的步骤之后，包括：
获取对应所述SQL的汇总计算逻辑，其中，所述汇总计算逻辑用于对所述第二实时数据进行计算、汇总。
在一实施例中，所述处理器将接收前端页面的数据调用请求的步骤之前，还包括：
根据前端页面向所述Hbase数据库请求的展示数据的频率，获取接收所述第一服务器进行预计算处理后的所述第二实时数据的频率。
在一实施例中，所述处理器接收前端页面的数据调用请求的步骤之前，包括：
设置对接所述前端页面的数据调用请求的接口。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定。
本申请一实施例还提供一种计算机存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种展示数据获取的方法，具体为：
接收第一服务器对第一实时数据进行预计算处理后的第二实时数据，其中，所述第一实时数据为所述第一服务器直接获取的终端APP产生的数据；
接收前端页面的数据调用请求；
将接收到的所述数据调用请求转换成SQL，利用Phoenix在所述第二实时数据中进行查询，以获取到对应所述数据调用请求的查询结果；
将查询结果传送至所述前端页面展示。
在一实施例中，所述第二实时数据为所述第一服务器获取kafka集群内的用户行为数据后进行预计算得到的，所述kafka集群用于保存所述第一服务器获取到的第一实时数据。
在一实施例中，所述预计算包括对所述用户行为数据以指标口径进行分类、汇总计算。
在一实施例中，所述处理器将接收到的所述数据调用请求转换成SQL，利用Phoenix在所述第二实时数据中进行查询，以获取到对应所述数据调用请求的查询结果的步骤，包括：
将接收到的所述数据调用请求的字符串拼接成所述SQL；
根据所述SQL，利用Phoenix在所述第二实时数据中进行查询，计算并汇总出对应所述数据调用请求的查询结果。
在一实施例中，所述处理器将接收到的所述数据调用请求的字符串拼接成所述SQL的步骤之后，包括：
获取对应所述SQL的汇总计算逻辑，其中，所述汇总计算逻辑用于对所述第二实时数据进行计算、汇总。
在一实施例中，所述处理器将接收前端页面的数据调用请求的步骤之前，还包括：
根据前端页面向Hbase数据库请求的展示数据的频率，获取接收所述第一服务器进行预计算处理后的所述第二实时数据的频率。
在一实施例中，所述处理器接收前端页面的数据调用请求的步骤之前，包括：
设置对接所述前端页面的数据调用请求的接口。
综上所述，为本申请实施例中提供的展示数据获取的方法、装置、计算机设备和存储介质，通过对接获取实时数据，对实时数据进行预计算处理并保存至HBase数据库中，根据前端需要的分析以及展示，对保存于HBase数据库中的数据进行汇合计算统计，生成结果数据输送至前端页面展示，实时展示结果数据，方便查看，减少人力投入时间。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储与一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM通过多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种展示数据获取的方法，其特征在于，包括以下步骤：
接收第一服务器对第一实时数据进行预计算处理后的第二实时数据，其中，所述第一实时数据为所述第一服务器直接获取的终端APP产生的数据；
接收前端页面的数据调用请求；
将接收到的所述数据调用请求转换成SQL，利用Phoenix在所述第二实时数据中进行查询，以获取到对应所述数据调用请求的查询结果；
将所述查询结果传送至所述前端页面展示。
2.根据权利要求1所述的展示数据获取的方法，其特征在于，所述第二实时数据为所述第一服务器获取kafka集群内的用户行为数据后进行预计算得到的，所述kafka集群用于保存所述第一服务器获取到的第一实时数据。
3.根据权利要求2所述的展示数据获取的方法，其特征在于，所述预计算包括对所述用户行为数据以指标口径进行分类、汇总计算。
4.根据权利要求1所述的展示数据获取的方法，其特征在于，所述将接收到的所述数据调用请求转换成SQL，利用Phoenix在所述第二实时数据中进行查询，以获取到对应所述数据调用请求的查询结果的步骤，包括：
将接收到的所述数据调用请求的字符串拼接成所述SQL；
根据所述SQL，利用Phoenix在所述第二实时数据中进行查询，计算并汇总出对应所述数据调用请求的查询结果。
5.根据权利要求4所述的展示数据获取的方法，其特征在于，所述将接收到的所述数据调用请求的字符串拼接成所述SQL的步骤之后，包括：
获取对应所述SQL的汇总计算逻辑，其中，所述汇总计算逻辑用于对所述第二实时数据进行计算、汇总。
6.根据权利要求1所述的展示数据获取的方法，其特征在于，所述接收前端页面的数据调用请求的步骤之前，还包括：
根据前端页面向Hbase数据库请求的展示数据的频率，获取接收所述第一服务器进行预计算处理后的所述第二实时数据的频率。
7.根据权利要求1所述的展示数据获取的方法，其特征在于，所述接收前端页面的数据调用请求的步骤之前，包括：
设置对接所述前端页面的数据调用请求的接口。
8.一种展示数据获取的装置，其特征在于，包括：
第一接收模块，用于接收第一服务器对第一实时数据进行预计算处理后的第二实时数据，其中，所述第一实时数据为所述第一服务器直接获取的终端APP产生数据；
第二接收模块，用于接收前端页面的数据调用请求；
获取模块，用于将接收到的所述数据调用请求转换成SQL，利用Phoenix在所述第二实时数据中进行查询，以获取到对应所述数据调用请求的查询结果；
传输模块，用于将所述查询结果传送至所述前端页面展示。
9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810956660.5A CN109344180A (zh) | 2018-08-21 | 2018-08-21 | 展示数据获取的方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810956660.5A CN109344180A (zh) | 2018-08-21 | 2018-08-21 | 展示数据获取的方法、装置、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109344180A true CN109344180A (zh) | 2019-02-15 |
Family
ID=65291840
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810956660.5A Pending CN109344180A (zh) | 2018-08-21 | 2018-08-21 | 展示数据获取的方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109344180A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110647512A (zh) * | 2019-09-29 | 2020-01-03 | 北京思维造物信息科技股份有限公司 | 一种数据存储和分析方法、装置、设备和可读介质 |
| CN112579408A (zh) * | 2020-10-29 | 2021-03-30 | 上海钱拓网络技术有限公司 | 一种埋点信息的分类方法 |
| CN113220720A (zh) * | 2021-06-08 | 2021-08-06 | 上海天旦网络科技发展有限公司 | 一种实时秒级数据处理和查询方法及系统 |
| CN115146053A (zh) * | 2021-03-29 | 2022-10-04 | 武汉斗鱼鱼乐网络科技有限公司 | 一种信息展示方法及相关设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106709003A (zh) * | 2016-12-23 | 2017-05-24 | 长沙理工大学 | 基于Hadoop的海量日志数据处理方法 |
| CN106919685A (zh) * | 2017-03-02 | 2017-07-04 | 浪潮软件集团有限公司 | 一种海量数据文件处理方法 |
| CN107943668A (zh) * | 2017-12-15 | 2018-04-20 | 江苏神威云数据科技有限公司 | 计算机服务器集群日志监控方法及监控平台 |
-
2018
- 2018-08-21 CN CN201810956660.5A patent/CN109344180A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106709003A (zh) * | 2016-12-23 | 2017-05-24 | 长沙理工大学 | 基于Hadoop的海量日志数据处理方法 |
| CN106919685A (zh) * | 2017-03-02 | 2017-07-04 | 浪潮软件集团有限公司 | 一种海量数据文件处理方法 |
| CN107943668A (zh) * | 2017-12-15 | 2018-04-20 | 江苏神威云数据科技有限公司 | 计算机服务器集群日志监控方法及监控平台 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110647512A (zh) * | 2019-09-29 | 2020-01-03 | 北京思维造物信息科技股份有限公司 | 一种数据存储和分析方法、装置、设备和可读介质 |
| CN110647512B (zh) * | 2019-09-29 | 2022-05-24 | 北京思维造物信息科技股份有限公司 | 一种数据存储和分析方法、装置、设备和可读介质 |
| CN112579408A (zh) * | 2020-10-29 | 2021-03-30 | 上海钱拓网络技术有限公司 | 一种埋点信息的分类方法 |
| CN115146053A (zh) * | 2021-03-29 | 2022-10-04 | 武汉斗鱼鱼乐网络科技有限公司 | 一种信息展示方法及相关设备 |
| CN113220720A (zh) * | 2021-06-08 | 2021-08-06 | 上海天旦网络科技发展有限公司 | 一种实时秒级数据处理和查询方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109344180A (zh) | 展示数据获取的方法、装置、计算机设备和存储介质 | |
| Bordin et al. | Dspbench: A suite of benchmark applications for distributed data stream processing systems | |
| WO2021031688A1 (zh) | 业务参数采集方法、装置、计算机设备和存储介质 | |
| CN103942136B (zh) | 日志统计策略配置方法和装置、日志统计方法和装置 | |
| US9514217B2 (en) | Message index subdivided based on time intervals | |
| CN109189782A (zh) | 一种区块链商品交易查询中的索引方法 | |
| US20140101134A1 (en) | System and method for iterative analysis of information content | |
| CN111666490A (zh) | 基于kafka的信息推送方法、装置、设备及存储介质 | |
| CN110390739B (zh) | 一种车辆数据处理方法及车辆数据处理系统 | |
| US11231970B2 (en) | Intelligent application programming interface (API) proxy design system | |
| CN104182506A (zh) | 日志管理方法 | |
| CN104298788A (zh) | 一种分页查询方法和系统 | |
| CN107688568A (zh) | 基于网页访问行为记录的采集方法及装置 | |
| US20140379631A1 (en) | Transactional key-value database with searchable indexes | |
| CN103729479A (zh) | 基于分布式文件存储的网站页面内容统计的方法和系统 | |
| CN110377854A (zh) | 用户访问行为信息监控方法及装置、计算机设备 | |
| CN106878397A (zh) | 一种web用户行为反馈方法及系统 | |
| CN109753421A (zh) | 服务系统的优化方法、装置、计算机设备和存储介质 | |
| CN104636395A (zh) | 一种计数处理方法及装置 | |
| Faisal et al. | Handling slowly changing dimensions in data warehouses | |
| CN107835132A (zh) | 一种流量来源跟踪的方法及装置 | |
| CN112035531A (zh) | 敏感数据处理方法、装置、设备及介质 | |
| US20200058037A1 (en) | Reporting of media consumption metrics | |
| CN110362607A (zh) | 异常号码识别方法、装置、计算机设备及存储介质 | |
| CN107451301B (zh) | 实时投递账单邮件的处理方法、装置、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190215 |
|
| RJ01 | Rejection of invention patent application after publication |