CN111858710B - 一种通过预处理和缓存方式提高统计效率的方法 - Google Patents

一种通过预处理和缓存方式提高统计效率的方法 Download PDF

Info

Publication number
CN111858710B
CN111858710B CN202010696457.6A CN202010696457A CN111858710B CN 111858710 B CN111858710 B CN 111858710B CN 202010696457 A CN202010696457 A CN 202010696457A CN 111858710 B CN111858710 B CN 111858710B
Authority
CN
China
Prior art keywords
statistical
data
preprocessing
function
personalized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010696457.6A
Other languages
English (en)
Other versions
CN111858710A (zh
Inventor
金佳
陈兆亮
宁方刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Cloud Information Technology Co Ltd
Original Assignee
Inspur Cloud Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Cloud Information Technology Co Ltd filed Critical Inspur Cloud Information Technology Co Ltd
Priority to CN202010696457.6A priority Critical patent/CN111858710B/zh
Publication of CN111858710A publication Critical patent/CN111858710A/zh
Application granted granted Critical
Publication of CN111858710B publication Critical patent/CN111858710B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供一种通过预处理和缓存方式提高统计效率的方法，属于大数据应用技术领域。包括：统一的统计入口函数、预处理数据查询函数、多个个性化统计函数、预处理数据缓存、定时任务、统计查询展示页面、数据刷新按钮、预处理配置。本发明旨在提出一种通用的预处理统计数据并进行缓存的方式，提高大数据量下的统计分析效率的方法。通过一种定时任务的方式，一段时间对数据进行一次预统计，并将统计结果缓存进预处理数据表中，当用户请求数据时，将最近的统计数据从预处理数据表中查出展示给用户，并显示统计时间和提供实时查询按钮。本发明的应用将给用户提供快速的查询结果，同时降低运行系统及运行数据库的压力，又能满足用户对实时查询要求。

Description

一种通过预处理和缓存方式提高统计效率的方法
技术领域
本发明属于大数据应用技术领域，属于一种业务无关的中立性技术应用方法，可以集成在任意有统计优化需求的系统上。
背景技术
在软件行业快速发展的今天，对大数据统计分析的需求越来越多，而随着数据量的急剧增长，原有实时统计分析方法变的越来越慢，对系统造成的压力也越来也大，无法满足用户的需求。
发明内容
本发明的技术任务是解决现有技术的不足，提供一种通过预处理和缓存方式提高统计效率的方法。该项发明将利用缓存的概念，对统计数据进行预处理和缓存，既满足用户需求，又降低系统压力，显著提高系统性能。
本发明解决其技术问题所采用的技术方案是：
一种通过预处理和缓存方式提高统计效率的方法，包括：
统一的统计入口函数，对于不同的统计查询请求，提供一个统一的统计入口函数，传入统计类型、统计参数，函数根据统计类型和统计参数，去查询预处理数据表；
预处理数据查询函数：包含在统计入口方法中，根据传入的统计类型和参数，查询预处理数据表中是否有符合要求的统计数据；
多个个性化统计函数：针对每个统计，个性化编写统计函数，函数执行结束后，将统计结果放入预处理数据缓存中，并返回该数据；
预处理数据缓存：用来存储预处理数据；
定时任务：用来根据对每个个性化统计的设定，定时调用个性化统计函数，往预处理数据缓存中存放数据；
统计查询展示页面：用来触发调用统一入口函数查询统计数据，并将查询结果进行展示的页面；
数据刷新按钮：为满足用户对实时数据统计的要求，提供一个统计实时数据按钮，用来触发个性化统计方法，进行实时统计；
预处理配置：对各统计进行相关配置的模块。
方案优选地，具体实现过程为：
S1、页面展示流程
打开页面，调用统一的统计入口函数，判断是否有预处理缓存数据，有则读取预处理数据后返回，没有则执行个性化统计函数，查询结果并写入缓存后返回；
S2、数据实时刷新流程
点击数据实时刷新按钮，调用对应个性化统计函数，写入预处理数据缓存后，返回结果；
S3、定时任务流程
根据预处理配置的参数和频率，定时调用个性化统计方法，将统计结果写入到预处理数据缓存中。
方案优选地，所述统一的统计入口函数包括Linux系统的fork()函数或Windows系统的CreateProcess()函数，运行过程为：(1)传入统计类型、统计参数；(2)函数根据统计类型和统计参数，去查询预处理数据表；(3)如果有该类型、参数对应的预处理数据，则直接返回结果数据；(4)如果没有该数据，则调用对应类型的个性化统计方法实时统计后返回结果数据。
方案优选地，所述预处理数据查询函数包括Linux系统的fork()函数或Windows系统的CreateProcess()函数，运行过程为：(1)根据传入的统计类型和参数，查询预处理数据表中是否有符合要求的统计数据；(2)有符合要求的数据：返回数据，结束统计入口函数；(3)没有符合要求的统计数据，继续执行“个性化统计函数”函数。
方案优选地，所述个性化统计函数包括Linux系统的fork()函数或Windows系统的CreateProcess()函数，运行过程为：(1)针对每个统计，个性化编写统计函数；(2)执行统计，将统计结果放入预处理数据中；(3)返回该统计结果数据。
方案优选地，所述定时任务通过调度任务定时调用个性化统计函数，调用过程具体为：(1)配置调度执行频率及执行方法；(2)启动调度；(3)调度根据配置，定时执行，调用个性化统计函数；(4)个性化统计函数往预处理数据中存放数据。
方案优选地，所述统计查询展示页面通过页面加载触发调用统一入口函数查询统计数据，具体过程为：(1)打开统计页面；(2)页面初始化方法调用后台统一入口函数，查询数据；(3)统一入口函数返回数据；(4)统计页面根据返回的数据，渲染页面列表，展示数据。
方案优选地，所述预处理数据包括统计类型、统计参数、统计结果数据、统计时间；
所述预处理配置对各统计进行相关配置，包括统计类型、对应个性化统计方法、定时任务频率，定时任务参数设置。
本发明的一种通过预处理和缓存方式提高统计效率的方法与现有技术相比所产生的有益效果是：
本发明最重要的是提出了一种统一的统计预处理缓存数据方法，该项发明将利用缓存的概念，对统计数据进行预处理和缓存，既满足用户需求，又降低系统压力，显著提高系统性能。通过该方法，可以提高统计效率，减轻系统压力，对系统中的统计方法进行统一管理，减少相关开发工作量。
附图说明
为了更清楚地描述本发明一种通过预处理和缓存方式提高统计效率的方法的工作原理，下面将附上简图作进一步说明。
附图1是本发明一种通过预处理和缓存方式提高统计效率的方法的示意图；
附图2是本发明页面展示流程示意图；
附图3是本发明数据实时刷新流程图；
附图4是本发明定时任务流程图。
具体实施方式
下面将结合本发明实施例中的附图1、2，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如附图1所示，本发明的一种通过预处理和缓存方式提高统计效率的方法，包括：
统一的统计入口函数，对于不同的统计查询请求，提供一个统一的统计入口函数，传入统计类型、统计参数，函数根据统计类型和统计参数，去查询预处理数据表；
预处理数据查询函数：包含在统计入口方法中，根据传入的统计类型和参数，查询预处理数据表中是否有符合要求的统计数据；
多个个性化统计函数：针对每个统计，个性化编写统计函数，函数执行结束后，将统计结果放入预处理数据缓存中，并返回该数据；
预处理数据缓存：用来存储预处理数据；
定时任务：用来根据对每个个性化统计的设定，定时调用个性化统计函数，往预处理数据缓存中存放数据；
统计查询展示页面：用来触发调用统一入口函数查询统计数据，并将查询结果进行展示的页面；
数据刷新按钮：为满足用户对实时数据统计的要求，提供一个统计实时数据按钮，用来触发个性化统计方法，进行实时统计；
预处理配置：对各统计进行相关配置的模块。
具体实现过程为：
S1、页面展示流程
结合附图2，打开页面，调用统一的统计入口函数，判断是否有预处理缓存数据，有则读取预处理数据后返回，没有则执行个性化统计函数，查询结果并写入缓存后返回；
S2、数据实时刷新流程
结合附图3，点击数据实时刷新按钮，调用对应个性化统计函数，写入预处理数据缓存后，返回结果；
S3、定时任务流程
结合附图4，根据预处理配置的参数和频率，定时调用个性化统计方法，将统计结果写入到预处理数据缓存中。
上述统一的统计入口函数包括Linux系统的fork()函数或Windows系统的CreateProcess()函数，运行过程为：(1)传入统计类型、统计参数；(2)函数根据统计类型和统计参数，去查询预处理数据表；(3)如果有该类型、参数对应的预处理数据，则直接返回结果数据；(4)如果没有该数据，则调用对应类型的个性化统计方法实时统计后返回结果数据。
上述预处理数据查询函数包括Linux系统的fork()函数或Windows系统的CreateProcess()函数，运行过程为：(1)根据传入的统计类型和参数，查询预处理数据表中是否有符合要求的统计数据；(2)有符合要求的数据：返回数据，结束统计入口函数；(3)没有符合要求的统计数据，继续执行“个性化统计函数”函数。
上述个性化统计函数包括Linux系统的fork()函数或Windows系统的CreateProcess()函数，运行过程为：(1)针对每个统计，个性化编写统计函数；(2)执行统计，将统计结果放入预处理数据中；(3)返回该统计结果数据。
上述定时任务通过调度任务定时调用个性化统计函数，调用过程具体为：(1)配置调度执行频率及执行方法；(2)启动调度；(3)调度根据配置，定时执行，调用个性化统计函数；(4)个性化统计函数往预处理数据中存放数据。
上述统计查询展示页面通过页面加载触发调用统一入口函数查询统计数据，具体过程为：(1)打开统计页面；(2)页面初始化方法调用后台统一入口函数，查询数据；(3)统一入口函数返回数据；(4)统计页面根据返回的数据，渲染页面列表，展示数据。
上述预处理数据包括统计类型、统计参数、统计结果数据、统计时间；
上述预处理配置对各统计进行相关配置，包括统计类型、对应个性化统计方法、定时任务频率，定时任务参数设置。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.一种通过预处理和缓存方式提高统计效率的方法，其特征在于，包括：
统一的统计入口函数，对于不同的统计查询请求，提供一个统一的统计入口函数，传入统计类型、统计参数，函数根据统计类型和统计参数，去查询预处理数据表；
预处理数据查询函数：包含在统计入口方法中，根据传入的统计类型和参数，查询预处理数据表中是否有符合要求的统计数据；
多个个性化统计函数：针对每个统计，个性化编写统计函数，函数执行结束后，将统计结果放入预处理数据缓存中，并返回该数据；
预处理数据缓存：用来存储预处理数据；
定时任务：用来根据对每个个性化统计的设定，定时调用个性化统计函数，往预处理数据缓存中存放数据；
统计查询展示页面：用来触发调用统一入口函数查询统计数据，并将查询结果进行展示的页面；
数据刷新按钮：为满足用户对实时数据统计的要求，提供一个统计实时数据按钮，用来触发个性化统计方法，进行实时统计；
预处理配置：对各统计进行相关配置的模块。
2.根据权利要求1所述的一种通过预处理和缓存方式提高统计效率的方法，其特征在于，具体实现过程为：
S1、页面展示流程
打开页面，调用统一的统计入口函数，判断是否有预处理缓存数据，有则读取预处理数据后返回，没有则执行个性化统计函数，查询结果并写入缓存后返回；
S2、数据实时刷新流程
点击数据实时刷新按钮，调用对应个性化统计函数，写入预处理数据缓存后，返回结果；
S3、定时任务流程
根据预处理配置的参数和频率，定时调用个性化统计方法，将统计结果写入到预处理数据缓存中。
3.根据权利要求1所述的一种通过预处理和缓存方式提高统计效率的方法，其特征在于，所述统一的统计入口函数包括Linux系统的fork()函数或Windows系统的CreateProcess()函数，运行过程为：(1)传入统计类型、统计参数；(2)函数根据统计类型和统计参数，去查询预处理数据表；(3)如果有该类型、参数对应的预处理数据，则直接返回结果数据；(4)如果没有该数据，则调用对应类型的个性化统计方法实时统计后返回结果数据。
4.根据权利要求1所述的一种通过预处理和缓存方式提高统计效率的方法，其特征在于，所述预处理数据查询函数包括Linux系统的fork()函数或Windows系统的CreateProcess()函数，运行过程为：(1)根据传入的统计类型和参数，查询预处理数据表中是否有符合要求的统计数据；(2)有符合要求的数据：返回数据，结束统计入口函数；(3)没有符合要求的统计数据，继续执行“个性化统计函数”函数。
5.根据权利要求1所述的一种通过预处理和缓存方式提高统计效率的方法，其特征在于，所述个性化统计函数包括Linux系统的fork()函数或Windows系统的CreateProcess()函数，运行过程为：(1)针对每个统计，个性化编写统计函数；(2)执行统计，将统计结果放入预处理数据中；(3)返回该统计结果数据。
6.根据权利要求1所述的一种通过预处理和缓存方式提高统计效率的方法，其特征在于，所述定时任务通过调度任务定时调用个性化统计函数，调用过程具体为：(1)配置调度执行频率及执行方法；(2)启动调度；(3)调度根据配置，定时执行，调用个性化统计函数；(4)个性化统计函数往预处理数据中存放数据。
7.根据权利要求1所述的一种通过预处理和缓存方式提高统计效率的方法，其特征在于，所述统计查询展示页面通过页面加载触发调用统一入口函数查询统计数据，具体过程为：(1)打开统计页面；(2)页面初始化方法调用后台统一入口函数，查询数据；(3)统一入口函数返回数据；(4)统计页面根据返回的数据，渲染页面列表，展示数据。
8.根据权利要求1所述的一种通过预处理和缓存方式提高统计效率的方法，其特征在于，
所述预处理数据包括统计类型、统计参数、统计结果数据、统计时间；
所述预处理配置对各统计进行相关配置，包括统计类型、对应个性化统计方法、定时任务频率，定时任务参数设置。
CN202010696457.6A 2020-07-20 2020-07-20 一种通过预处理和缓存方式提高统计效率的方法 Active CN111858710B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010696457.6A CN111858710B (zh) 2020-07-20 2020-07-20 一种通过预处理和缓存方式提高统计效率的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010696457.6A CN111858710B (zh) 2020-07-20 2020-07-20 一种通过预处理和缓存方式提高统计效率的方法

Publications (2)

Publication Number Publication Date
CN111858710A CN111858710A (zh) 2020-10-30
CN111858710B true CN111858710B (zh) 2023-12-22

Family

ID=73002040

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010696457.6A Active CN111858710B (zh) 2020-07-20 2020-07-20 一种通过预处理和缓存方式提高统计效率的方法

Country Status (1)

Country Link
CN (1) CN111858710B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114385663B (zh) * 2022-03-23 2022-06-28 北京国联政信科技有限公司 数据处理的方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102868715A (zh) * 2011-07-08 2013-01-09 风网科技（北京）有限公司 适用于wap 服务的缓存架构系统及其缓存方法
CN107608759A (zh) * 2017-08-31 2018-01-19 深圳市丰巢科技有限公司 基于jvm内存的本地缓存可视化实现方法、介质及设备
CN110032578A (zh) * 2019-04-22 2019-07-19 山东浪潮通软信息科技有限公司 一种海量数据查询缓存的方法及装置
KR102027823B1 (ko) * 2019-04-24 2019-10-02 주식회사 리앙커뮤니케이션즈 플러그 인 방식의 시스템 응답 성능향상 지능형 캐싱 시스템

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8190731B2 (en) * 2004-06-15 2012-05-29 Alcatel Lucent Network statistics processing device
US8682875B2 (en) * 2007-10-24 2014-03-25 International Business Machines Corporation Database statistics for optimization of database queries containing user-defined functions

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102868715A (zh) * 2011-07-08 2013-01-09 风网科技（北京）有限公司 适用于wap 服务的缓存架构系统及其缓存方法
CN107608759A (zh) * 2017-08-31 2018-01-19 深圳市丰巢科技有限公司 基于jvm内存的本地缓存可视化实现方法、介质及设备
CN110032578A (zh) * 2019-04-22 2019-07-19 山东浪潮通软信息科技有限公司 一种海量数据查询缓存的方法及装置
KR102027823B1 (ko) * 2019-04-24 2019-10-02 주식회사 리앙커뮤니케이션즈 플러그 인 방식의 시스템 응답 성능향상 지능형 캐싱 시스템

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于HBASE的4G流量话单实时查询及分页展示方法;龙凤;王凡;鲜鹏;唐堂;;移动通信(19);全文 *
基于JDBC数据管理与查询优化的研究;韩兵;李晶晶;方英兰;;计算机技术与发展(09);全文 *

Also Published As

Publication number Publication date
CN111858710A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
CN100543750C (zh) 一种基于web应用的矩阵式数据缓存方法及装置
CN112417343B (zh) 一种基于前端Angular框架缓存数据的方法
US20190339954A1 (en) Cache efficient reading of result values in a column store database
CN111858710B (zh) 一种通过预处理和缓存方式提高统计效率的方法
CN112231608B (zh) 一种嵌入式Web组态图元的实现方法
CN102004766A (zh) 基于信息系统的可配置信息查询方法及系统
CN110597851B (zh) 一种基于大数据的数据处理及报表展示方法
US10509632B2 (en) Model augmentation in a model-driven application development environment
CN112637305A (zh) 一种基于缓存的数据存储与查询方法、装置、设备及介质
CN111914013B (zh) 基于pandas库与InfluxDB数据库的数据管理方法、系统、终端及介质
CN110032578B (zh) 一种海量数据查询缓存的方法及装置
CN117421499A (zh) 前端处理方法、装置、终端设备以及存储介质
CN112214521A (zh) 规则查询方法、装置、设备及计算机存储介质
CN102868715A (zh) 适用于wap 服务的缓存架构系统及其缓存方法
CN112559172A (zh) 网页浏览器内存优化方法、系统、设备及存储介质
CN116680295A (zh) 多数据库处理数据的方法、系统及装置
EP3642727B1 (en) Resource pre-fetch using age threshold
CN116069346A (zh) 一种平滑的智能合约安装方法、设备和存储介质
CN107622070B (zh) 一种数据库管理方法及装置
CN111125025B (zh) 元数据的存储系统、存储方法、调用方法、调用装置和可读存储介质
CN114020766A (zh) 数据查询方法、装置及终端设备
CN101419551A (zh) 在交互操作软件中进行面板更新的方法及装置
CN111930811B (zh) 一种基于MyBatis的轻量级动态数据统计系统
CN114741067A (zh) 一种数据管理系统、方法及设备
US7849109B1 (en) Use of server processing of temporary results for stateless paging over arbitrary user queries

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant