CN108446369A - 海量数据下实时数据报表统计方法 - Google Patents

海量数据下实时数据报表统计方法 Download PDF

Info

Publication number
CN108446369A
CN108446369A CN201810212988.6A CN201810212988A CN108446369A CN 108446369 A CN108446369 A CN 108446369A CN 201810212988 A CN201810212988 A CN 201810212988A CN 108446369 A CN108446369 A CN 108446369A
Authority
CN
China
Prior art keywords
data
statistical
real time
database
report form
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810212988.6A
Other languages
English (en)
Inventor
黎晓华
周金洪
严乐平
徐魏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHENZHEN ZHONGKE SEEN INFORMATION TECHNOLOGY DEVELOPMENT Co Ltd
Original Assignee
SHENZHEN ZHONGKE SEEN INFORMATION TECHNOLOGY DEVELOPMENT Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHEN ZHONGKE SEEN INFORMATION TECHNOLOGY DEVELOPMENT Co Ltd filed Critical SHENZHEN ZHONGKE SEEN INFORMATION TECHNOLOGY DEVELOPMENT Co Ltd
Priority to CN201810212988.6A priority Critical patent/CN108446369A/zh
Publication of CN108446369A publication Critical patent/CN108446369A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了数据统计领域中的一种海量数据下实时数据报表统计方法，在应用数据入库的同时，按照数据统计特征，将统计数据实时写入到内存数据库；内存数据库根据数据统计特征，从当前统计周期开始，将上一个统计周期的统计数据存储到数据库中；用户查看统计报表信息时，数据汇集处理器根据统计特征的不同，进行统计分析并从数据库或内存数据库中提取数据，并返回统计结果。本发明达到既能统计实时数据、又能拥有比较高性能结果的目的，进而也提高了用户体验。

Description

海量数据下实时数据报表统计方法
技术领域
本发明涉及数据统计领域，具体的说，是涉及一种海量数据下实时数据报表统计方法。
背景技术
传统的报表统计通常采用两种方法：一种是定时去将应用表的数据进行统计，然后保存的数据库的统计表，例如当天统计前一天的数据并存储到数据库，给系统界面查询，其相对于要求比较实时的场景，实时性差、效果不理想。
为了实时性考虑，另一种是根据用户输入的统计条件，对原始数据进行实时统计，直接统计数据表的数据，这种方法对于数据量很大的情况，分组统计就会显得比较慢，影响系统性能，也影响了用户体验；
因此，现在需要一种能够统计大量数据，并且实时性要求很高的报表统计方法。
发明内容
为了克服现有的技术的不足，本发明提供一种海量数据下实时数据报表统计方法。
本发明技术方案如下所述：
海量数据下实时数据报表统计方法，其特征在于：在应用数据入库的同时，按照数据统计特征，将统计数据实时写入到内存数据库；内存数据库根据所述数据统计特征，从当前统计周期开始，将上一个统计周期的统计数据存储到数据库中；用户查看统计报表信息时，所述数据汇集处理器根据统计特征的不同，进行统计分析并从所述数据库或所述内存数据库中提取数据，并返回统计结果。
根据上述方案的本发明，其特征在于，在查看统计报表信息时，用户登录系统登录系统界面，根据系统提供的查询条件，选择查询条件进行查询统计。
根据上述方案的本发明，其特征在于，所述数据统计特征为报表统计数据的类型。
根据上述方案的本发明，其特征在于，所述内存数据库包括memcached缓存器和redis缓存器。
根据上述方案的本发明，其特征在于，所述数据汇集处理器的处理流程为：所述数据汇集处理器收到统计指令，根据用户输入的统计条件，分别到数据库或内存数据库获取统计数据。
进一步的，用户查看的数据信息均为历史数据时，所述数据汇集处理器从所述数据库获取所述数据信息，并通过所述系统界面与用户进行交互；
用户查看的数据信息均为实时数据时，所述数据汇集处理器从所述内存数据库获取所述数据信息，并通过所述系统界面与用户进行交互；
用户查看的数据信息同时包括历史数据和实时数据时，所述数据汇集处理器同时从所述数据库和所述内存数据库获取数据信息。
进一步的，用户输入的统计条件为数据的统计周期。
更进一步的，所述历史数据的统计周期以天计，所述实时数据的统计周期以小时计。
根据上述方案的本发明，其有益效果在于：本发明中内存数据库是基于内存的，可以减少系统的I/O操作，每次应用数据进行入库的时候，就会根据系统的统计特征进行统计保存在内存数据库上，当用户查看统计信息的时候，数据也是直接到内存数据库获取的，减少了一个分组统计的过程，速度得到了提升，性能也提升，进而也提高了用户体验。本发明还能分别对历史数据、实时数据进行分类保存、提取，达到既能统计实时数据、又能拥有比较高性能结果的目的。
附图说明
图1为本发明的流程图。
具体实施方式
下面结合附图以及实施方式对本发明进行进一步的描述：
如图1所示，一种海量数据下实时数据报表统计方法，在应用数据入库的同时，按照数据统计特征，将统计数据实时写入到内存数据库；内存数据库根据数据统计特征，从当前统计周期开始，将上一个统计周期的统计数据存储到数据库中。
优选的，内存数据库包括memcached缓存器和redis缓存器，其中Memcached是一个高性能的分布式内存对象缓存系统，用于动态Web应用以减轻数据库负载，其只保存当天的统计数据。
在查看统计报表信息时，用户登录系统登录系统界面(WEB)，根据系统提供的查询条件，选择查询条件进行查询统计。数据汇集处理器根据统计特征的不同，进行统计分析并从数据库或内存数据库中提取数据，并返回统计结果。其中数据统计特征为报表统计数据的类型。例如统计用户上网行为，包括统计用户聊天、用户炒股、用户发邮件等，这些就是数据统计特征
数据汇集处理器的处理流程为：数据汇集处理器收到统计指令，根据用户输入的统计条件，分别到数据库或内存数据库获取统计数据。用户输入的统计条件为数据存储期限，即数据的统计周期，其中历史数据的统计周期以天计，实时数据的统计周期以小时计。具体的：
用户查看的数据信息均为历史数据(统计特征是按天统计)时，数据汇集处理器从数据库获取数据信息，并通过系统界面与用户进行交互；用户查看的数据信息均为实时数据(统计特征是按小时统计)时，数据汇集处理器只用到内存数据库(memcached或者redis)获取数据信息，并将每个小时的数据合并处理，后通过系统界面与用户进行交互；用户查看的数据信息同时包括历史数据和实时数据时，数据汇集处理器同时从数据库和内存数据库获取数据信息。
本发明中内存数据库(memcached或者redis)是基于内存的，可以减少系统的I/O操作；每次应用数据进行入库的时候，就会根据系统的统计特征进行统计保存在memcached上，当用户查看统计信息的时候，数据也是直接到内存数据库获取的，减少了一个分组统计的过程，速度得到了提升，性能也提升，进而也提高了用户体验。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
上面结合附图对本发明专利进行了示例性的描述，显然本发明专利的实现并不受上述方式的限制，只要采用了本发明专利的方法构思和技术方案进行的各种改进，或未经改进将本发明专利的构思和技术方案直接应用于其它场合的，均在本发明的保护范围内。

Claims (6)

1.海量数据下实时数据报表统计方法，其特征在于：
在应用数据入库的同时，按照数据统计特征，将统计数据实时写入到内存数据库；内存数据库根据所述数据统计特征，从当前统计周期开始，将上一个统计周期的统计数据存储到数据库中；
用户查看统计报表信息时，所述数据汇集处理器根据统计特征的不同，进行统计分析并从所述数据库或所述内存数据库中提取数据，并返回统计结果。
2.根据权利要求1所述的海量数据下实时数据报表统计方法，其特征在于，在查看统计报表信息时，用户登录系统登录系统界面，根据系统提供的查询条件，选择查询条件进行查询统计。
3.根据权利要求1所述的海量数据下实时数据报表统计方法，其特征在于，所述数据汇集处理器的处理流程为：所述数据汇集处理器收到统计指令，根据用户输入的统计条件，分别到数据库或内存数据库获取统计数据。
4.根据权利要求3所述的海量数据下实时数据报表统计方法，其特征在于，用户查看的数据信息均为历史数据时，所述数据汇集处理器从所述数据库获取所述数据信息，并通过所述系统界面与用户进行交互；
用户查看的数据信息均为实时数据时，所述数据汇集处理器从所述内存数据库获取所述数据信息，并通过所述系统界面与用户进行交互；
用户查看的数据信息同时包括历史数据和实时数据时，所述数据汇集处理器同时从所述数据库和所述内存数据库获取数据信息。
5.根据权利要求3所述的海量数据下实时数据报表统计方法，其特征在于，用户输入的统计条件为数据的统计周期。
6.根据权利要求5所述的海量数据下实时数据报表统计方法，其特征在于，所述历史数据的统计周期以天计，所述实时数据的统计周期以小时计。
CN201810212988.6A 2018-03-15 2018-03-15 海量数据下实时数据报表统计方法 Pending CN108446369A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810212988.6A CN108446369A (zh) 2018-03-15 2018-03-15 海量数据下实时数据报表统计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810212988.6A CN108446369A (zh) 2018-03-15 2018-03-15 海量数据下实时数据报表统计方法

Publications (1)

Publication Number Publication Date
CN108446369A true CN108446369A (zh) 2018-08-24

Family

ID=63195366

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810212988.6A Pending CN108446369A (zh) 2018-03-15 2018-03-15 海量数据下实时数据报表统计方法

Country Status (1)

Country Link
CN (1) CN108446369A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109445955A (zh) * 2018-09-13 2019-03-08 武汉斗鱼网络科技有限公司 一种计数方法及计数系统
CN109815245A (zh) * 2019-02-27 2019-05-28 北京慧天为医疗管理顾问有限公司 统计型数据库的生成方法及数据统计方法
CN110109955A (zh) * 2019-03-15 2019-08-09 平安科技（深圳）有限公司 数据调用量统计方法、系统、计算机装置及可读存储介质
CN111752991A (zh) * 2020-06-12 2020-10-09 南京认知物联网研究院有限公司 一种表计数据统计方法、装置和获取表计统计数据方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8713019B2 (en) * 2009-06-25 2014-04-29 University Of Tennessee Research Foundation Method and apparatus for predicting object properties and events using similarity-based information retrieval and modeling
CN105608207A (zh) * 2015-12-25 2016-05-25 广州华多网络科技有限公司 一种基于Redis数据库的数据统计系统及其统计方法
CN106446170A (zh) * 2016-09-27 2017-02-22 努比亚技术有限公司 数据查询方法及装置
CN106844546A (zh) * 2016-12-30 2017-06-13 江苏号百信息服务有限公司 基于Spark集群的多数据源位置信息融合方法及系统
CN107341033A (zh) * 2017-06-30 2017-11-10 百度在线网络技术（北京）有限公司 一种数据统计方法、装置、电子设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8713019B2 (en) * 2009-06-25 2014-04-29 University Of Tennessee Research Foundation Method and apparatus for predicting object properties and events using similarity-based information retrieval and modeling
CN105608207A (zh) * 2015-12-25 2016-05-25 广州华多网络科技有限公司 一种基于Redis数据库的数据统计系统及其统计方法
CN106446170A (zh) * 2016-09-27 2017-02-22 努比亚技术有限公司 数据查询方法及装置
CN106844546A (zh) * 2016-12-30 2017-06-13 江苏号百信息服务有限公司 基于Spark集群的多数据源位置信息融合方法及系统
CN107341033A (zh) * 2017-06-30 2017-11-10 百度在线网络技术（北京）有限公司 一种数据统计方法、装置、电子设备和存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109445955A (zh) * 2018-09-13 2019-03-08 武汉斗鱼网络科技有限公司 一种计数方法及计数系统
CN109445955B (zh) * 2018-09-13 2020-09-04 武汉斗鱼网络科技有限公司 一种计数方法及计数系统
CN109815245A (zh) * 2019-02-27 2019-05-28 北京慧天为医疗管理顾问有限公司 统计型数据库的生成方法及数据统计方法
CN110109955A (zh) * 2019-03-15 2019-08-09 平安科技（深圳）有限公司 数据调用量统计方法、系统、计算机装置及可读存储介质
CN111752991A (zh) * 2020-06-12 2020-10-09 南京认知物联网研究院有限公司 一种表计数据统计方法、装置和获取表计统计数据方法

Similar Documents

Publication Publication Date Title
CN108446369A (zh) 海量数据下实时数据报表统计方法
CN104424229B (zh) 一种多维度拆分的计算方法及系统
CN106649831B (zh) 一种数据过滤方法及装置
CN105939350B (zh) 网络访问控制方法和系统
EP2947853A3 (en) Real-time usage detection of software applications
US20140172547A1 (en) Scoring Online Data for Advertising Servers
US10609206B1 (en) Auto-repairing mobile communication device data streaming architecture
CN108446305A (zh) 多维度统计业务数据的系统和方法
CN104092791A (zh) 一种综合质量与成本的互联网内容资源调度方法和系统
CN105023172A (zh) 一种基于服务器推的广告推送系统
CN109165326A (zh) 一种字符串匹配方法及装置
CN109460775A (zh) 一种基于信息熵的数据填充方法及装置
CN107909458B (zh) 一种用于网上服务系统的常用功能列表生成方法及系统
CN106341303B (zh) 基于邮件用户行为的发件人信誉生成方法
Fong An eclectic approach to turning points in migration
JP7319038B2 (ja) アダプティブイベント集約
CN104794129A (zh) 一种基于查询日志的数据处理方法和系统
CN108009927A (zh) 一种股票评分方法及平台
CN105450499A (zh) 一种邮件行为反馈方法及装置
Sakaki et al. How to become famous in the microblog world
CN109213906B (zh) 会话时长计算方法、装置及系统
Jimoh Risk management committee attributes and bank performance in Nigeria
Feng et al. Do China's Plywood Exports Depend on Trade Partners? Evidence from the Gravity Model
CN110705736A (zh) 宏观经济预测方法、装置、计算机设备及存储介质
He et al. Analysis of enterprise user behavior on hadoop

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180824

RJ01 Rejection of invention patent application after publication