CN108470063A - 一种大数据可视化场景下的数据处理的方法及系统 - Google Patents

一种大数据可视化场景下的数据处理的方法及系统 Download PDF

Info

Publication number
CN108470063A
CN108470063A CN201810251871.9A CN201810251871A CN108470063A CN 108470063 A CN108470063 A CN 108470063A CN 201810251871 A CN201810251871 A CN 201810251871A CN 108470063 A CN108470063 A CN 108470063A
Authority
CN
China
Prior art keywords
value
parts
displaying
statistical value
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810251871.9A
Other languages
English (en)
Inventor
牛寅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Feixun Information Technology Co Ltd
Original Assignee
Sichuan Feixun Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Feixun Information Technology Co Ltd filed Critical Sichuan Feixun Information Technology Co Ltd
Priority to CN201810251871.9A priority Critical patent/CN108470063A/zh
Publication of CN108470063A publication Critical patent/CN108470063A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Complex Calculations (AREA)

Abstract

本发明提供了一种大数据可视化场景下的数据处理的方法及系统，包括：当预设的统计值上报间隔大于预设的展示刷新间隔，且接收到上报的第K份统计值时，提取缓存的第K‑1份统计值；根据第K‑1份统计值和所述第K份统计值，计算增量数组yk[M]中的M个元素的值；所述M为预设的统计值上报间隔和预设的展示刷新间隔的商；当接收到来自前端的数据展示请求时，从增量数组yk[M]中取出数据展示请求对应的增量统计值；将增量统计值与上一次提交的展示数据相加，得到当前的展示数据，并提交给前端展示。本发明通过加入适当的延时策略，解决了由于后端查询统计和前端展示的时间维度不一致造成的数据刷新不及时的问题，提升了用户体验。

Description

一种大数据可视化场景下的数据处理的方法及系统
技术领域
本发明涉及数据处理领域，尤指一种大数据可视化场景下的数据处理的方法及系统。
背景技术
在大数据可视化系统中，通常是先对原始数据进行统计处理，得到若干数据指标，待若干数据指标上报后，再将这些数据指标展现给客户。但是后端一些数据指标常常需要对原始数据做复杂的计算才能得到，这导致前端页面展示时，需要等较长的时间才能得到结果数据。对于需要快速展示的数据场景，等待这么长的时间，降低了用户的体验。
发明内容
本发明的目的是提供一种大数据可视化场景下的数据处理的方法及系统，通过加入适当的延时策略，解决了由于后端查询统计和前端展示的时间维度不一致造成的数据刷新不及时的问题，提升了用户体验。
本发明提供的技术方案如下：
一种大数据可视化场景下的数据处理的方法，包括：步骤S100当预设的统计值上报间隔大于预设的展示刷新间隔，且接收到上报的第K份统计值xk时，提取缓存的第K-1份统计值xk-1；步骤S200根据所述第K-1份统计值xk-1和所述第K份统计值xk，计算增量数组yk[M]中的M个元素的值；所述M为所述预设的统计值上报间隔和所述预设的展示刷新间隔的商；步骤S300当接收到来自前端的数据展示请求时，从所述增量数组yk[M]中取出所述数据展示请求对应的增量统计值；步骤S400将所述增量统计值与上一次提交的展示数据相加，得到当前的展示数据，并提交给前端展示。
在上述技术方案中，通过将统计值延迟一个上报间隔再展示，解决了后端查询统计和前端展示的时间维度不一致造成的数据刷新不及时的问题，满足了数据展示要求，提升了用户体验。
进一步，所述步骤S200具体包括：步骤S210根据第K-1份统计值xk-1和第K份统计值xk，计算两份统计值的差值ΔR；步骤S220根据所述两份统计值的差值ΔR和M，计算商quo和余数rem，公式为：
商quo＝ΔR/M，余数rem＝ΔR mod M
步骤S230根据所述商quo和余数rem，计算所述增量数组yk[M]中的M个元素的值。
在上述技术方案中，根据前后两次的上报结果，得到总的增量统计值，再根据该总的增量统计值估算出每个展示刷新间隔点相对前一个展示刷新间隔点的增量统计值，从而将按统计值上报间隔上报的数据转换成按展示刷新间隔刷新的数据，从而满足数据展示要求，提升了用户体验。
进一步，所述步骤S230还包括：步骤S231当商quo等于0时，计算所述增量数组yk[M]中的M个元素值的公式为：
yk[i]＝quo，i＝0,…M-1。
在上述技术方案中，给出了一种估算每个展示刷新间隔点相对前一个展示刷新间隔点的增量统计值的方法，该方法简单易实施。
进一步，所述步骤S230还包括：步骤S232当商quo不等于0时，计算所述增量数组yk[M]中的M个元素值的公式为：
yk[i]＝quo+1，i＝0,…rem-1；
yk[i]＝quo，i＝rem,…M-1。
在上述技术方案中，给出了一种估算每个展示刷新间隔点相对前一个展示刷新间隔点的增量统计值的方法，该方法覆盖范围更广，比较简单。
进一步，所述步骤S100之前还包括：步骤S010执行结构化查询语言脚本，对数据库的原始信息进行统计查询，得到统计值；步骤S020当第K个预设的统计值上报间隔到达时，上报第K份统计值xk。
在上述技术方案中，提供了一种对数据库的原始信息进行统计查询上报的方法，为后面的数据展示奠定了基础。
本发明还提供一种大数据可视化场景下的数据处理的系统，包括：后端处理模块，用于当预设的统计值上报间隔大于预设的展示刷新间隔，且接收到上报的第K份统计值xk时，提取缓存的第K-1份统计值xk-1；以及，根据所述第 K-1份统计值xk-1和所述第K份统计值xk，计算增量数组yk[M]中的M个元素的值；所述M为预设的统计值上报间隔和预设的展示刷新间隔的商；前端交互模块，用于当接收到来自前端的数据展示请求时，从所述增量数组yk[M]中取出所述数据展示请求对应的增量统计值；以及，将所述增量统计值与上一次提交的展示数据相加，得到当前的展示数据，并提交给前端展示；前端展示模块，用于接收所述当前的展示数据，并向用户展示。
在上述技术方案中，通过将统计值延迟一个上报间隔再展示，解决了后端查询统计和前端展示的时间维度不一致造成的数据刷新不及时的问题，满足了数据展示要求，提升了用户体验。
进一步，所述后端处理模块，进一步用于根据第K-1份统计值xk-1和第K 份统计值xk，计算两份统计值的差值ΔR；以及，根据所述两份统计值的差值ΔR和M，计算商quo和余数rem，公式为：
商quo＝ΔR/M，余数rem＝ΔR mod M
以及，根据所述商quo和余数rem，计算所述增量数组yk[M]中的M个元素的值。
在上述技术方案中，根据前后两次的上报结果，得到总的增量统计值，再根据该总的增量统计值估算出每个展示刷新间隔点相对前一个展示刷新间隔点的增量统计值，从而将按统计值上报间隔上报的数据转换成按展示刷新间隔刷新的数据，从而满足数据展示要求，提升了用户体验。
进一步，所述后端处理模块，进一步用于当商quo等于0时，计算所述增量数组yk[M]中的M个元素值的公式为：
yk[i]＝quo，i＝0,…M-1。
在上述技术方案中，给出了一种估算每个展示刷新间隔点相对前一个展示刷新间隔点的增量统计值的方法，该方法简单易实施。
进一步，所述后端处理模块，进一步用于当商quo不等于0时，计算所述增量数组yk[M]中的M个元素值的公式为：
yk[i]＝quo+1，i＝0,…rem-1；
yk[i]＝quo，i＝rem,…M-1。
在上述技术方案中，给出了一种估算每个展示刷新间隔点相对前一个展示刷新间隔点的增量统计值的方法，该方法覆盖范围更广，比较简单。
进一步，还包括：后端统计模块，用于执行结构化查询语言脚本，对数据库的原始信息进行统计查询，得到统计值；以及，当第K个预设的统计值上报间隔到达时，上报第K份统计值xk。
在上述技术方案中，提供了一种对数据库的原始信息进行统计查询上报的方法，为后面的数据展示奠定了基础。
通过本发明提供的一种大数据可视化场景下的数据处理的方法及系统，能够带来以下有益效果：通过将统计值延迟一个上报间隔再展示，解决了后端查询统计和前端展示的时间维度不一致造成的数据刷新不及时的问题，满足了数据展示要求，提升了用户体验。
附图说明
下面将以明确易懂的方式，结合附图说明优选实施方式，对一种大数据可视化场景下的数据处理的方法及系统的上述特性、技术特征、优点及其实现方式予以进一步说明。
图1是本发明的一种大数据可视化场景下的数据处理的方法的一个实施例的流程图；
图2是本发明的一种大数据可视化场景下的数据处理的方法的另一个实施例的流程图；
图3是本发明的一种大数据可视化场景下的数据处理的方法的另一个实施例的流程图；
图4是本发明的一种大数据可视化场景下的数据处理的系统的一个实施例的结构示意图；
图5是本发明的一种大数据可视化场景下的数据处理的系统的另一个实施例的结构示意图。
附图标号说明：
110.后端处理模块，120.前端交互模块，130.前端展示模块，140.后端统计模块。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。
在本发明的一个实施例中，如图1所示，一种大数据可视化场景下的数据处理的方法，包括：
步骤S100当预设的统计值上报间隔大于预设的展示刷新间隔，且接收到上报的第K份统计值xk时，提取缓存的第K-1份统计值xk-1；
步骤S200根据所述第K-1份统计值xk-1和所述第K份统计值xk，计算增量数组yk[M]中的M个元素的值；
所述M为所述预设的统计值上报间隔和所述预设的展示刷新间隔的商；
步骤S300当接收到来自前端的数据展示请求时，从所述增量数组yk[M] 中取出所述数据展示请求对应的增量统计值；
步骤S400将所述增量统计值与上一次提交的展示数据相加，得到当前的展示数据，并提交给前端展示。
具体的，比如，在大数据场景下，对存储在后台数据库中的原始数据，比如用户使用记录、日志信息等，执行统计查询，类似ETL (Extraction-Transformation-Loading，数据抽取、转换和加载)提取任务。通常 ETL提取任务的处理在分钟级，前端的数据展示要求在秒级，预设的统计值上报间隔根据每次的ETL提取任务的处理来设，预设的展示刷新间隔根据前端的数据展示要求设置。当预设的统计值上报间隔大于预设的展示刷新间隔时，就存在后端查询统计和前端展示的时间维度不一致造成的数据刷新不及时的问题。
比如预设的统计值上报间隔为10分钟，即后端可以每10分钟获得一份统计值；预设的展示刷新间隔为1秒，即前端需要每秒刷新1次。M＝预设的统计值上报间隔/预设的展示刷新间隔＝10分钟/1秒＝600，即需要根据10分钟左右收到的两份统计值，细化出按秒统计的增量数组中的600个元素的值，其中所述增量数组为整型，它的每一个元素的值是每个展示刷新间隔点相对前一个展示刷新间隔点的增量统计值。当收到来自前端的数据展示请求时，根据该请求的时间点，从增量数组中取出对应的增量统计值；将该增量统计值与上一次提交的展示数据相加，得到当前的展示数据，提交给前端展示。上一次提交的展示数据是指，相对当前的刷新间隔点的前一个刷新间隔点的展示数据。
比如，9点50分收到第K-1份统计值xk-1，10点收到第K份统计值xk，并在收到第K份统计值后，根据xk-1和xk计算出增量数组yk[600]中每个元素的值。若在 10点收到前端的数据展示请求时，提交展示数据xk-1；若在10点1秒收到前端的数据展示请求时，从yk[600]中取yk[0]，与上一次提交的展示数据xk-1相加，得到 xk-1+yk[0]，提交给前端展示；随后收到下一个前端的数据展示请求时，从yk[600] 中取yk[1]，与上一次提交的展示数据xk-1+yk[0]相加，得到xk-1+yk[0]+yk[1]，提交给前端展示；依次类推，在10点10分展示xk-1+yk[0]+yk[1]+......+yk[599]，该值等于xk。在10点10分时还会收到第K+1份统计值xk+1，同时根据xk和xk+1计算出增量数组yk+1[600]中每个元素的值。在10点10分展示xk；若在10点1秒收到前端的数据展示请求时，从yk+1[600]中取yk+1[0]，与上一次提交的展示数据xk相加，得到xk+yk+1[0]，提交给前端展示；后续依次类推。
所述统计值可能包含多个统计项，各统计项独立，对每个统计项都按上述方式类似操作。
在本发明的另一个实施例中，如图2所示，一种大数据可视化场景下的数据处理的方法，包括：
步骤S100当预设的统计值上报间隔大于预设的展示刷新间隔，且接收到上报的第K份统计值xk时，提取缓存的第K-1份统计值xk-1；
步骤S210根据第K-1份统计值xk-1和第K份统计值xk，计算两份统计值的差值ΔR；
步骤S220根据所述两份统计值的差值ΔR和M，计算商quo和余数rem，公式为：
商quo＝ΔR/M，余数rem＝ΔR mod M；
步骤S230根据所述商quo和余数rem，计算所述增量数组yk[M]中的M个元素的值；
所述M为所述预设的统计值上报间隔和所述预设的展示刷新间隔的商；
步骤S300当接收到来自前端的数据展示请求时，从所述增量数组yk[M] 中取出所述数据展示请求对应的增量统计值；
步骤S400将所述增量统计值与上一次提交的展示数据相加，得到当前的展示数据，并提交给前端展示。
具体的，相对前一个实施例，本实施例用步骤S210-S230替代步骤S200，给出了一种增量数组的M个元素的计算方法。
根据前后两次的上报结果xk-1和xk，得到总的增量统计值ΔR，再将该总的增量统计值ΔR尽量均分到每个展示刷新间隔点上，根据ΔR和M的商和余数，估算出每个展示刷新间隔点的增量统计值，从而得到增量数组的M个元素的值。
在本发明的另一个实施例中，如图3所示，一种大数据可视化场景下的数据处理的方法，包括：
步骤S010执行结构化查询语言脚本，对数据库的原始信息进行统计查询，得到统计值；
步骤S020当第K个预设的统计值上报间隔到达时，上报第K份统计值xk；
步骤S100当预设的统计值上报间隔大于预设的展示刷新间隔，且接收到上报的第K份统计值xk时，提取缓存的第K-1份统计值xk-1；
步骤S210根据第K-1份统计值xk-1和第K份统计值xk，计算两份统计值的差值ΔR；
步骤S220根据所述两份统计值的差值ΔR和M，计算商quo和余数rem，公式为：
商quo＝ΔR/M，余数rem＝ΔR mod M；
步骤S231当商quo等于0时，计算所述增量数组yk[M]中的M个元素值的公式为：
yk[i]＝quo，i＝0,…M-1；
步骤S232当商quo不等于0时，计算所述增量数组yk[M]中的M个元素值的公式为：
yk[i]＝quo+1，i＝0,…rem-1；
yk[i]＝quo，i＝rem,…M-1；
所述M为所述预设的统计值上报间隔和所述预设的展示刷新间隔的商；
步骤S300当接收到来自前端的数据展示请求时，从所述增量数组yk[M] 中取出所述数据展示请求对应的增量统计值；
步骤S400将所述增量统计值与上一次提交的展示数据相加，得到当前的展示数据，并提交给前端展示。
具体的，相对前一个实施例，本实施例用步骤S231-步骤S232替代了步骤 S230，增加了步骤S010、步骤S020。
后端统计模块，通过执行SQL(结构化查询语言)脚本，对数据库的原始信息进行统计查询，得到统计值。当第K个预设的统计值上报间隔到达时，所述后端统计模块向后端处理模块上报第K份统计值xk。之后，后端统计模块继续执行SQL脚本，对数据库的原始信息进行统计查询，得到统计值；当第K+1 个预设的统计值上报间隔到达时，向后端处理模块上报第K+1份统计值xk+1，如此，循环反复。
后端处理模块在收到第K份统计值后，将数据缓存，并从缓存区中提取xk-1，根据xk-1和xk计算出增量数组yk[M]中M个元素的值。可以采用redis(Remote DictionaryServer，远程数据服务)缓存来设计缓存区域。
一种计算增量数组的M个元素的方法为：根据前后两次的上报结果xk-1和 xk，得到总的增量统计值ΔR，再将该总的增量统计值ΔR尽量均分到每个展示刷新间隔点上。当ΔR和M的余数为0时，说明ΔR刚好可以均分到M个展示刷新间隔点上，增量数组的M个元素都等于ΔR和M的商。当ΔR和M的余数不为 0时，增量数组的前rem个元素都等于1+quo，后(M-rem)个元素都等于quo，其中rem为ΔR和M的余数，quo为ΔR和M的商。
以上是按线性增长的方式来估计每个展示刷新间隔点的增量统计值，考虑到物品的统计项多为整数，所以要让增量数组的每个元素为整数，当ΔR不是M的整数倍时，按照分段线性增长的方式估计每个展示刷新间隔点的增量统计值。
在本发明的另一个实施例中，如图4所示，一种大数据可视化场景下的数据处理的系统，包括：
后端处理模块110，用于当预设的统计值上报间隔大于预设的展示刷新间隔，且接收到上报的第K份统计值xk时，提取缓存的第K-1份统计值xk-1；以及，根据所述第K-1份统计值xk-1和所述第K份统计值xk，计算增量数组yk[M]中的M 个元素的值；所述M为预设的统计值上报间隔和预设的展示刷新间隔的商；
前端交互模块120，与所述后端处理模块110电连接，用于当接收到来自前端的数据展示请求时，从所述增量数组yk[M]中取出所述数据展示请求对应的增量统计值；以及，将所述增量统计值与上一次提交的展示数据相加，得到当前的展示数据，并提交给前端展示；
前端展示模块130，与前端交互模块120电连接，用于接收所述当前的展示数据，并向用户展示。
具体的，比如，在大数据场景下，对存储在后台数据库中的原始数据，比如用户使用记录、日志信息等，执行统计查询，类似ETL (Extraction-Transformation-Loading，数据抽取、转换和加载)提取任务。通常 ETL提取任务的处理在分钟级，前端的数据展示要求在秒级，预设的统计值上报间隔根据每次的ETL提取任务的处理来设，预设的展示刷新间隔根据前端的数据展示要求设置。当预设的统计值上报间隔大于预设的展示刷新间隔时，就存在后端查询统计和前端展示的时间维度不一致造成的数据刷新不及时的问题。
比如预设的统计值上报间隔为10分钟，即后端可以每10分钟获得一份统计值；预设的展示刷新间隔为1秒，即前端需要每秒刷新1次。M＝预设的统计值上报间隔/预设的展示刷新间隔＝10分钟/1秒＝600，即需要根据10分钟左右收到的两份统计值，细化出按秒统计的增量数组中的600个元素的值，其中所述增量数组为整型，它的每一个元素的值是每个展示刷新间隔点相对前一个展示刷新间隔点的增量统计值。当收到来自前端的数据展示请求时，根据该请求的时间点，从增量数组中取出对应的增量统计值；将该增量统计值与上一次提交的展示数据相加，得到当前的展示数据，提交给前端展示。上一次提交的展示数据是指，相对当前的刷新间隔点的前一个刷新间隔点的展示数据。
比如，9点50分收到第K-1份统计值xk-1，10点收到第K份统计值xk，并在收到第K份统计值后，根据xk-1和xk计算出增量数组yk[600]中每个元素的值。若在 10点收到前端的数据展示请求时，提交展示数据xk-1；若在10点1秒收到前端的数据展示请求时，从yk[600]中取yk[0]，与上一次提交的展示数据xk-1相加，得到 xk-1+yk[0]，提交给前端展示；随后收到下一个前端的数据展示请求时，从yk[600] 中取yk[1]，与上一次提交的展示数据xk-1+yk[0]相加，得到xk-1+yk[0]+yk[1]，提交给前端展示；依次类推，在10点10分展示xk-1+yk[0]+yk[1]+......+yk[599]，该值等于xk。在10点10分时还会收到第K+1份统计值xk+1，同时根据xk和xk+1计算出增量数组yk+1[600]中每个元素的值。在10点10分展示xk；若在10点1秒收到前端的数据展示请求时，从yk+1[600]中取yk+1[0]，与上一次提交的展示数据xk相加，得到xk+yk+1[0]，提交给前端展示；后续依次类推。
所述统计值可能包含多个统计项，各统计项独立，对每个统计项都按上述方式类似操作。
在本发明的另一个实施例中，如图4所示，一种大数据可视化场景下的数据处理的系统，包括：
后端处理模块110，用于当预设的统计值上报间隔大于预设的展示刷新间隔，且接收到上报的第K份统计值xk时，提取缓存的第K-1份统计值xk-1；以及，根据第K-1份统计值xk-1和第K份统计值xk，计算两份统计值的差值ΔR；以及，根据所述两份统计值的差值ΔR和M，计算商quo和余数rem，公式为：
商quo＝ΔR/M，余数rem＝ΔR mod M
以及，根据所述商quo和余数rem，计算所述增量数组yk[M]中的M个元素的值；
所述M为预设的统计值上报间隔和预设的展示刷新间隔的商；
前端交互模块120，与所述后端处理模块110电连接，用于当接收到来自前端的数据展示请求时，从所述增量数组yk[M]中取出所述数据展示请求对应的增量统计值；以及，将所述增量统计值与上一次提交的展示数据相加，得到当前的展示数据，并提交给前端展示；
前端展示模块130，与前端交互模块120电连接，用于接收所述当前的展示数据，并向用户展示。
具体的，相对前一个实施例，本实施例对后端处理模块进行了功能增强，提供了一种增量数组的M个元素的计算方法。
根据前后两次的上报结果xk-1和xk，得到总的增量统计值ΔR，再将该总的增量统计值ΔR尽量均分到每个展示刷新间隔点上，根据ΔR和M的商和余数，估算出每个展示刷新间隔点的增量统计值，从而得到增量数组的M个元素的值。
在本发明的另一个实施例中，如图5所示，一种大数据可视化场景下的数据处理的系统，包括：
后端统计模块140，用于执行结构化查询语言脚本，对数据库的原始信息进行统计查询，得到统计值；以及，当第K个预设的统计值上报间隔到达时，上报第K份统计值xk；
后端处理模块110，用于当预设的统计值上报间隔大于预设的展示刷新间隔，且接收到上报的第K份统计值xk时，提取缓存的第K-1份统计值xk-1；以及，根据第K-1份统计值xk-1和第K份统计值xk，计算两份统计值的差值ΔR；以及，根据所述两份统计值的差值ΔR和M，计算商quo和余数rem，公式为：
商quo＝ΔR/M，余数rem＝ΔR mod M
以及，当商quo等于0时，计算所述增量数组yk[M]中的M个元素值的公式为：
yk[i]＝quo，i＝0,…M-1；
当商quo不等于0时，计算所述增量数组yk[M]中的M个元素值的公式为：
yk[i]＝quo+1，i＝0,…rem-1；
yk[i]＝quo，i＝rem,…M-1；
所述M为预设的统计值上报间隔和预设的展示刷新间隔的商；
前端交互模块120，与所述后端处理模块110电连接，用于当接收到来自前端的数据展示请求时，从所述增量数组yk[M]中取出所述数据展示请求对应的增量统计值；以及，将所述增量统计值与上一次提交的展示数据相加，得到当前的展示数据，并提交给前端展示；
前端展示模块130，与前端交互模块120电连接，用于接收所述当前的展示数据，并向用户展示。
具体的，相对前一个实施例，本实施例增加了后端统计模块，以及后端处理模块的功能增强。
后端统计模块，通过执行SQL(结构化查询语言)脚本，对数据库的原始信息进行统计查询，得到统计值。当第K个预设的统计值上报间隔到达时，所述后端统计模块向后端处理模块上报第K份统计值xk。之后，后端统计模块继续执行SQL脚本，对数据库的原始信息进行统计查询，得到统计值；当第K+1 个预设的统计值上报间隔到达时，向后端处理模块上报第K+1份统计值xk+1，如此，循环反复。
后端处理模块在收到第K份统计值后，将数据缓存，并从缓存区中提取xk-1，根据xk-1和xk计算出增量数组yk[M]中M个元素的值。可以采用redis(Remote DictionaryServer，远程数据服务)缓存来设计缓存区域。
一种计算增量数组的M个元素的方法为：根据前后两次的上报结果xk-1和 xk，得到总的增量统计值ΔR，再将该总的增量统计值ΔR尽量均分到每个展示刷新间隔点上。当ΔR和M的余数为0时，说明ΔR刚好可以均分到M个展示刷新间隔点上，增量数组的M个元素都等于ΔR和M的商。当ΔR和M的余数不为 0时，增量数组的前rem个元素都等于1+quo，后(M-rem)个元素都等于quo，其中rem为ΔR和M的余数，quo为ΔR和M的商。
以上是按线性增长的方式来估计每个展示刷新间隔点的增量统计值，考虑到物品的统计项多为整数，所以要让增量数组的每个元素为整数，当ΔR不是M的整数倍时，按照分段线性增长的方式估计每个展示刷新间隔点的增量统计值。
应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种大数据可视化场景下的数据处理的方法，其特征在于，包括：
步骤S100当预设的统计值上报间隔大于预设的展示刷新间隔，且接收到上报的第K份统计值xk时，提取缓存的第K-1份统计值xk-1；
步骤S200根据所述第K-1份统计值xk-1和所述第K份统计值xk，计算增量数组yk[M]中的M个元素的值；
所述M为所述预设的统计值上报间隔和所述预设的展示刷新间隔的商；
步骤S300当接收到来自前端的数据展示请求时，从所述增量数组yk[M]中取出所述数据展示请求对应的增量统计值；
步骤S400将所述增量统计值与上一次提交的展示数据相加，得到当前的展示数据，并提交给前端展示。
2.根据权利要求1所述的大数据可视化场景下的数据处理的方法，其特征在于，所述步骤S200具体包括：
步骤S210根据第K-1份统计值xk-1和第K份统计值xk，计算两份统计值的差值ΔR；
步骤S220根据所述两份统计值的差值ΔR和M，计算商quo和余数rem，公式为：
商quo＝ΔR/M，余数rem＝ΔR mod M
步骤S230根据所述商quo和余数rem，计算所述增量数组yk[M]中的M个元素的值。
3.根据权利要求2所述的大数据可视化场景下的数据处理的方法，其特征在于，所述步骤S230包括：
步骤S231当商quo等于0时，计算所述增量数组yk[M]中的M个元素值的公式为：
yk[i]＝quo，i＝0,…M-1。
4.根据权利要求2所述的大数据可视化场景下的数据处理的方法，其特征在于，所述步骤S230还包括：
步骤S232当商quo不等于0时，计算所述增量数组yk[M]中的M个元素值的公式为：
yk[i]＝quo+1，i＝0,…rem-1；
yk[i]＝quo，i＝rem,…M-1。
5.根据权利要求1所述的大数据可视化场景下的数据处理的方法，其特征在于，所述步骤S100之前还包括：
步骤S010执行结构化查询语言脚本，对数据库的原始信息进行统计查询，得到统计值；
步骤S020当第K个预设的统计值上报间隔到达时，上报第K份统计值xk。
6.一种大数据可视化场景下的数据处理的系统，其特征在于，包括：
后端处理模块，用于当预设的统计值上报间隔大于预设的展示刷新间隔，且接收到上报的第K份统计值xk时，提取缓存的第K-1份统计值xk-1；以及，根据所述第K-1份统计值xk-1和所述第K份统计值xk，计算增量数组yk[M]中的M个元素的值；所述M为预设的统计值上报间隔和预设的展示刷新间隔的商；
前端交互模块，用于当接收到来自前端的数据展示请求时，从所述增量数组yk[M]中取出所述数据展示请求对应的增量统计值；以及，将所述增量统计值与上一次提交的展示数据相加，得到当前的展示数据，并提交给前端展示；
前端展示模块，用于接收所述当前的展示数据，并向用户展示。
7.根据权利要求6所述的大数据可视化场景下的数据处理的系统，其特征在于：
所述后端处理模块，进一步用于根据第K-1份统计值xk-1和第K份统计值xk，计算两份统计值的差值ΔR；以及，根据所述两份统计值的差值ΔR和M，计算商quo和余数rem，公式为：
商quo＝ΔR/M，余数rem＝ΔR mod M
以及，根据所述商quo和余数rem，计算所述增量数组yk[M]中的M个元素的值。
8.根据权利要求7所述的大数据可视化场景下的数据处理的系统，其特征在于：
所述后端处理模块，进一步用于当商quo等于0时，计算所述增量数组yk[M]中的M个元素值的公式为：
yk[i]＝quo，i＝0,…M-1。
9.根据权利要求7所述的大数据可视化场景下的数据处理的系统，其特征在于：
所述后端处理模块，进一步用于当商quo不等于0时，计算所述增量数组yk[M]中的M个元素值的公式为：
yk[i]＝quo+1，i＝0,…rem-1；
yk[i]＝quo，i＝rem,…M-1。
10.根据权利要求6所述的大数据可视化场景下的数据处理的系统，其特征在于，还包括：
后端统计模块，用于执行结构化查询语言脚本，对数据库的原始信息进行统计查询，得到统计值；以及，当第K个预设的统计值上报间隔到达时，上报第K份统计值xk。
CN201810251871.9A 2018-03-26 2018-03-26 一种大数据可视化场景下的数据处理的方法及系统 Pending CN108470063A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810251871.9A CN108470063A (zh) 2018-03-26 2018-03-26 一种大数据可视化场景下的数据处理的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810251871.9A CN108470063A (zh) 2018-03-26 2018-03-26 一种大数据可视化场景下的数据处理的方法及系统

Publications (1)

Publication Number Publication Date
CN108470063A true CN108470063A (zh) 2018-08-31

Family

ID=63265759

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810251871.9A Pending CN108470063A (zh) 2018-03-26 2018-03-26 一种大数据可视化场景下的数据处理的方法及系统

Country Status (1)

Country Link
CN (1) CN108470063A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1314054A (zh) * 1998-06-23 2001-09-19 汤姆森许可公司 利用预加重的输入样值的插值方法
CN101529432A (zh) * 2006-10-31 2009-09-09 霍夫曼-拉罗奇有限公司 用于处理时间相关参数的按时间排序测量结果序列的方法
CN103134941A (zh) * 2013-01-31 2013-06-05 中国航空无线电电子研究所 显示仪表盘指针转动的平滑处理方法
US20160217151A1 (en) * 2015-01-27 2016-07-28 Splunk Inc. Efficient point-in-polygon indexing technique to facilitate displaying geographic data
CN106598823A (zh) * 2016-10-19 2017-04-26 同盾科技有限公司 一种网络行为特征的差量计算方法和系统
CN106844666A (zh) * 2017-01-20 2017-06-13 北京理工大学 一种自适应的时间序列数据查询方法
CN107247777A (zh) * 2017-06-09 2017-10-13 上海斐讯数据通信技术有限公司 一种基于数据库逆向统计的报表展示方法及系统
CN107749163A (zh) * 2017-11-03 2018-03-02 北京世纪高通科技有限公司 一种车辆行驶轨迹的展示方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1314054A (zh) * 1998-06-23 2001-09-19 汤姆森许可公司 利用预加重的输入样值的插值方法
CN101529432A (zh) * 2006-10-31 2009-09-09 霍夫曼-拉罗奇有限公司 用于处理时间相关参数的按时间排序测量结果序列的方法
CN103134941A (zh) * 2013-01-31 2013-06-05 中国航空无线电电子研究所 显示仪表盘指针转动的平滑处理方法
US20160217151A1 (en) * 2015-01-27 2016-07-28 Splunk Inc. Efficient point-in-polygon indexing technique to facilitate displaying geographic data
CN106598823A (zh) * 2016-10-19 2017-04-26 同盾科技有限公司 一种网络行为特征的差量计算方法和系统
CN106844666A (zh) * 2017-01-20 2017-06-13 北京理工大学 一种自适应的时间序列数据查询方法
CN107247777A (zh) * 2017-06-09 2017-10-13 上海斐讯数据通信技术有限公司 一种基于数据库逆向统计的报表展示方法及系统
CN107749163A (zh) * 2017-11-03 2018-03-02 北京世纪高通科技有限公司 一种车辆行驶轨迹的展示方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KOTARO NAKAZAWA ET AL.: "Flicker and black-streak artifact removal from images of display monitors taken by video cameras", 《PROCEEDINGS OF THE 2012 ASIA PACIFIC SIGNAL AND INFORMATION PROCESSING ASSOCIATION ANNUAL SUMMIT AND CONFERENCE》 *
蒋剑飞 等: "基于Windows的信号实时采集与平滑滚动显示", 《福州大学学报(自然科学版)》 *

Similar Documents

Publication Publication Date Title
CN111553484B (zh) 联邦学习的方法、装置及系统
US11269877B2 (en) Visualization-oriented time series data aggregation
US20170351667A1 (en) Transaction processing method, processing node, central node, and cluster
US20130073538A1 (en) Query explain plan in a distributed data management system
CN102375810B (zh) 整体帐户搜索关键词的估计值反馈方法及服务器
CN106570027B (zh) 一种事务型任务处理方法及装置
KR20150132543A (ko) 컨텐츠 아이템들의 가시성 추정
US20210309250A1 (en) Vehicle driving control method, apparatus, vehicle, electronic device and storage medium
CN102043673A (zh) 并行处理期间资源分配的校准
CN106257893A (zh) 存储服务器任务响应方法、客户端、服务器及系统
US20160358208A1 (en) Method, device, system for displaying media data
EP3716098A1 (en) Database access method and device
US10181130B2 (en) Real-time updates to digital marketing forecast models
WO2016095410A1 (zh) 链路流量分担的方法和装置
US11836526B1 (en) Processing data streams received from instrumented software using incremental finite window double exponential smoothing
CN105183901A (zh) 一种数据查询引擎读取数据库表的方法及装置
CN107608870A (zh) 一种系统资源使用率的统计方法和系统
US11947613B2 (en) System and method for efficiently querying data using temporal granularities
US20170170921A1 (en) Timestamp alignment across a plurality of computing devices
CN108470063A (zh) 一种大数据可视化场景下的数据处理的方法及系统
CN108665367A (zh) 资金流动管理方法及装置
CN112612816B (zh) 以太坊联盟链的业务结果查询方法、装置、设备及介质
CN110619006A (zh) 基于物联网的统计数据管理方法、装置、平台和存储介质
CN113407587B (zh) 用于联机分析处理引擎的数据处理方法、装置、设备
US8433603B1 (en) Modifying an estimate value

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20220614

AD01 Patent right deemed abandoned