CN106777037A - 一种生成运营平台一体化报表的方法 - Google Patents

一种生成运营平台一体化报表的方法 Download PDF

Info

Publication number
CN106777037A
CN106777037A CN201611127707.4A CN201611127707A CN106777037A CN 106777037 A CN106777037 A CN 106777037A CN 201611127707 A CN201611127707 A CN 201611127707A CN 106777037 A CN106777037 A CN 106777037A
Authority
CN
China
Prior art keywords
data
summary sheet
month
daily record
storehouse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611127707.4A
Other languages
English (en)
Inventor
石光捷
张莉
葛建科
陆萍
汪双
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Xinwang Internet Information Technology Co Ltd
Original Assignee
Nanjing Xinwang Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Xinwang Internet Information Technology Co Ltd filed Critical Nanjing Xinwang Internet Information Technology Co Ltd
Priority to CN201611127707.4A priority Critical patent/CN106777037A/zh
Publication of CN106777037A publication Critical patent/CN106777037A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明涉及移动终端报表生成的方法，具体涉及运营商对于运营形成的数据进行按渠道号、分发地址、时间段进行查询点击量及用户量的领域。包括以下步骤：步骤一：预处理阶段，提前设置汇总表的模板；步骤二：将现有的数据库进行分库，分为日志库与业务库；将用户访问数据和汇总数据写入到日志库中。步骤三：生成汇总表阶段，在日志库中，以月为单位生成对应的数据表，数据表的内容为该月数据内容及汇总数据，所述数据表应用汇总表的模板，形成对应单位月的汇总表，所述汇总表写入日志库。步骤四：当运营商查询报表时，按用户查询条件生成报表，并存储报表对象到缓存服务器中。具有增加了查询的数据的速度和减少对内存的占用的特点。

Description

一种生成运营平台一体化报表的方法
技术领域
本发明涉及移动终端报表生成的方法，具体涉及运营商对于运营形成的数据进行按渠道号、分发地址、时间段进行查询点击量及用户量的领域。
背景技术
为了更好地了解客户的喜好、市场的需求来规划未来的发展计划。移动运营商需要经常对各种数据进行了解和统计。当前，在运营商对移动通讯运营形成的数据进行管理的主要是使用的是润乾报表。润乾报表是一个纯JAVA的企业级报表工具，为企业级数据分析与商业智能提供了高性能、高效率的报表系统解决方案。当前运营统计数据逐渐变大，而润乾报表是将用户访问信息通过JVM内容装载数据，因为用户访问信息越来越庞大。并且当多个用户访问日志上的数据时，润乾报表会根据查询的内容创建报表对象，而这些对象再利用JAVA内存，储存在存储器中，存在存储器的内存占用越来越多；由于上述的原因就会造成访问数据库的速度越来越慢，内存占用越来越大，甚至使系统崩溃。
因此，需要一种能够快速地对运营管理形成的数据进行渠道号、分发地址、时间段进行查询点击量及用户量的一体化报表。
发明内容
1、所要解决的技术问题：
本发明提供一种生成运营平台一体化报表的方法，该方法能够让运营商快速方便地进行查询渠道号、分发地址、时间段的点击量及用户量的数据。
2、技术方案：
本方法提供了一种生成运营平台一体化报表的方法，包括以下步骤：
步骤一：预处理阶段，提前设置汇总表的模板；汇总表的模板内容包括渠道号，分发地址，时间段以及用户查询上述内容的移动用户的点击量和用户量。汇总表的模板内容的限定是为以后生成的日志表以及汇总表需要写入的内容提出模板。
步骤二：将现有的数据库进行分库，分为日志库与业务库；将用户访问数据和汇总数据写入到日志库中。现行的方法是所有的数据都写在一个数据总库，当运营商对上述所述的点击量和用户量查询是从一个大的数据库的中，导致数据查询的速度比较慢。
步骤三：生成汇总表阶段，在日志库中，以月为单位生成对应的数据表，数据表的内容为该月数据内容及汇总数据，所述数据表应用汇总表的模板，形成对应单位月的汇总表，所述汇总表写入日志库。在本步骤中，将日志库根据时间进行生成各个对应时间的小汇总表，方便在查询的时候加快速度。
步骤四：当运营商查询报表时，按用户查询条件生成报表，并存储报表对象到缓存服务器中，下次运营商查询同样的内容，直接从缓存服务器中读出。 查询过的内容生成的汇总表不是存储在主服务器，而是将它存储在缓存中，大大降低了主服务器占内存的现象，从而提高了整体数据的查询的速度。
进一步地，所述步骤二运营商访问数据和汇总数据包括对渠道号、分发地址、时间段进行查询点击量及用户量。
上述步骤三中的汇总表包括整单位月的汇总表和本月的汇总表；整单位月的汇总表包括本月之前用户访问数据和汇总数据以月为单位生成对应的数据表；本月的汇总表包括从本月的1日开始到所在日的前一天的用户访问数据和汇总数据生成的数据表。
进一步地，一种生成运营平台一体化报表的方法还包括定时装置，所述定时装置设置每日的预设时间点，当时间到达定时器预设的时间点时，写入从本月1日开始到该时间点的所有访问数据和汇总数据到该月的汇总表中，形成该月的新的汇总表。
一种生成运营平台一体化报表的方法，还包括异常清除。汇总表生成后，出现日志错误，并进行手动重新生成汇总表，清除错误的日志。
3、有益效果：
1）、对日志库进行分库，对汇总表进行物理分表，使数据由大变小大大增加了查询的数据的速度；
2）、对于一体化报表系统查询的结果引进缓存机制，减少对数据库操作，减少对内存的占用；从用户的反馈情况来看，之前用户半小时出来数据，现在只要4秒之内出结果。在查询功能上得到的质的飞跃。
附图说明
图1形成一体化报表的流程；
图2利用一体化报表分渠道分地址采集数据的流程；
图3为一体化报表的查询流程。
具体实施方式
如图1所示，将现有的oralce数据库分为两个单独的数据库：日志库和业务库，其中日志库采用单点备份的方式。日志库的内容包括渠道号、分发地址、时间段。当用户点击或查询进入一个链接内容时，日志库同时保存该数据。当运营商想了解和统计某一项或者多项活动用户的点击量时，只需要对日志库进行访问形成汇总表。该汇总表同时保存在缓存服务器中，下次如果运营商再次查询时就直接从缓存服务器中读出，这就大大缓解了对主服务器的内存的压力。
本方法采用redis缓存服务器，该缓存服务器安装在一个单独的虚机服务器上，同时使用nginx反向代理，使双应用服务器实现负载均衡 ，这样可以实现更快的查询，减少错误率。
本方法对于前期的数据可以提前生成，手段为数据库的JOB、spring的定时器。前期的数据包括已经过去的月份的数据和现在正在进行的月份的数据。已经过去的月的数据直接以单位月为一时间段生成汇总表保存在日志库中。现在正在进行的月份的汇总表生成是利用定时器在每日的预设时间点时生成从该月1日到该日的前一天数据形成该月的汇总表同时将上一天形成的汇总表覆盖。比如今天是5月15日，在今天晚上的12点（预设的时间点），将从5月1日到五月15日的数据生成日志表即为本月的汇总表。
如图2所示为一体化报表分渠道分地址采集数据的流程。运营商先登录一体化报表的界面，选择链接地址，其中链接地址可以为内部链接地址，也可以为外部链接地址。点击链接地址打开，选择所要查询的时间段，输入所要查询的自有页面，进行打码投放，
如图3所示为一体化报表的查询过程导出报表，运营商输入所要查询的内容，生成所需查询的内容，并且同时将所查询出的内容进行入库缓存。
虽然本发明已以较佳实施例公开如上，但它们并不是用来限定本发明的，任何熟习此技艺者，在不脱离本发明之精神和范围内，自当可作各种变化或润饰，因此本发明的保护范围应当以本申请的权利要求保护范围所界定的为准。

Claims (5)

1.一种生成运营平台一体化报表的方法，包括以下步骤：
步骤一：预处理阶段，提前设置汇总表的模板； 步骤二：将现有的数据库进行分库，分为日志库与业务库；将用户访问数据和汇总数据写入到日志库中，其他的数据信息写入业务库中； 步骤三：生成汇总表阶段，在日志库中，以月为单位生成对应的数据表，数据表的内容为该月数据内容及汇总数据，所述数据表应用汇总表的模板，形成对应单位月的汇总表，所述汇总表写入日志库； 步骤四：当运营商查询报表时，按用户查询条件生成报表，并存储报表对象到缓存服务器中，下次运营商查询同样的内容，直接从缓存服务器中读出。
2.根据权利要求1所述一种生成运营平台一体化报表的方法，其特征在于：所述步骤二运营商访问数据和汇总数据包括渠道号、分发地址、时间段进行查询的点击量及用户量。
3.根据权利要求1所述一种生成运营平台一体化报表的方法，其特征在于：步骤三中汇总表包括整单位月的汇总表和本月的汇总表；整单位月的汇总表包括本月之前用户访问数据和汇总数据以月为单位生成对应的数据表；本月的汇总表包括从本月的1日开始到所在日的前一天的用户访问数据和汇总数据生成的数据表。
4.根据权利要求3所述一种生成运营平台一体化报表的方法，其特征在于：还包括定时装置，所述定时装置设置每日的预设时间点，当时间到达定时器预设的时间点时，写入从本月1日开始到该时间点的所有访问数据和汇总数据到该月的汇总表中，形成该月的新的汇总表。
5.根据权利要求1所述一种生成运营平台一体化报表的方法，其特征在于：还包括异常清除；汇总表生成后，出现日志错误，并进行手动重新生成汇总表，清除错误的日志。
CN201611127707.4A 2016-12-09 2016-12-09 一种生成运营平台一体化报表的方法 Pending CN106777037A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611127707.4A CN106777037A (zh) 2016-12-09 2016-12-09 一种生成运营平台一体化报表的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611127707.4A CN106777037A (zh) 2016-12-09 2016-12-09 一种生成运营平台一体化报表的方法

Publications (1)

Publication Number Publication Date
CN106777037A true CN106777037A (zh) 2017-05-31

Family

ID=58877619

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611127707.4A Pending CN106777037A (zh) 2016-12-09 2016-12-09 一种生成运营平台一体化报表的方法

Country Status (1)

Country Link
CN (1) CN106777037A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107423380A (zh) * 2017-07-13 2017-12-01 成都优易数据有限公司 一种基于用户行为模式的信息系统设计方法
CN111177256A (zh) * 2019-12-11 2020-05-19 贵阳语玩科技有限公司 一种实现多地区数据统计的数据库系统和方法
CN111966488A (zh) * 2020-07-17 2020-11-20 北京思特奇信息技术股份有限公司 接口网关多中心应用系统和方法
CN112311901A (zh) * 2020-11-23 2021-02-02 北京世纪高通科技有限公司 访问量统计方法和系统
CN116303476A (zh) * 2023-05-18 2023-06-23 北京合思信息技术有限公司 大数据存储方法、装置、电子设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103631969A (zh) * 2013-12-20 2014-03-12 北京中电普华信息技术有限公司 一种报表数据的生成方法及装置
CN103678402A (zh) * 2012-09-21 2014-03-26 厦门雅迅网络股份有限公司 一种海量数据下数据实时统计的方法
CN103699557A (zh) * 2013-09-04 2014-04-02 中国四维测绘技术有限公司 报表处理方法及系统
CN105338107A (zh) * 2015-11-20 2016-02-17 上海斐讯数据通信技术有限公司 一种据点运营同步管理系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103678402A (zh) * 2012-09-21 2014-03-26 厦门雅迅网络股份有限公司 一种海量数据下数据实时统计的方法
CN103699557A (zh) * 2013-09-04 2014-04-02 中国四维测绘技术有限公司 报表处理方法及系统
CN103631969A (zh) * 2013-12-20 2014-03-12 北京中电普华信息技术有限公司 一种报表数据的生成方法及装置
CN105338107A (zh) * 2015-11-20 2016-02-17 上海斐讯数据通信技术有限公司 一种据点运营同步管理系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张炳晓: "基于Web的报表生成技术优化及其应用", 《中国优秀硕士学位论文信息科技辑》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107423380A (zh) * 2017-07-13 2017-12-01 成都优易数据有限公司 一种基于用户行为模式的信息系统设计方法
CN107423380B (zh) * 2017-07-13 2020-09-11 成都优易数据有限公司 一种基于用户行为模式的信息系统设计方法
CN111177256A (zh) * 2019-12-11 2020-05-19 贵阳语玩科技有限公司 一种实现多地区数据统计的数据库系统和方法
CN111966488A (zh) * 2020-07-17 2020-11-20 北京思特奇信息技术股份有限公司 接口网关多中心应用系统和方法
CN111966488B (zh) * 2020-07-17 2024-04-23 北京思特奇信息技术股份有限公司 接口网关多中心应用系统和方法
CN112311901A (zh) * 2020-11-23 2021-02-02 北京世纪高通科技有限公司 访问量统计方法和系统
CN116303476A (zh) * 2023-05-18 2023-06-23 北京合思信息技术有限公司 大数据存储方法、装置、电子设备及介质
CN116303476B (zh) * 2023-05-18 2023-09-01 北京合思信息技术有限公司 大数据存储方法、装置、电子设备及介质

Similar Documents

Publication Publication Date Title
CN106777037A (zh) 一种生成运营平台一体化报表的方法
CN107679931A (zh) 订单异步处理的方法、装置、存储介质及终端
CN104536965B (zh) 一种大数据条件下的数据查询展示系统及方法
CN109005056A (zh) 基于cdn应用的存储容量评估方法和装置
CN102483768A (zh) 基于策略的储存结构分布
WO2006103090A1 (de) Rechnernetzwerksystem zum synchronisieren einer zweiten datenbank mit einer ersten datenbank sowie vorgehensweise hierfür
CN102130959A (zh) 一种实现云存储资源调度的系统及方法
CN106933747B (zh) 基于多流的数据存储系统和数据存储方法
US11798096B2 (en) Custom data
CN110097363A (zh) 一种基于区块链的事件发布、事件订阅的方法及装置
CN107508863A (zh) 应用于区块链的信息处理方法和装置
CN106909595A (zh) 一种数据迁移方法及装置
CN102722405A (zh) 高并发、多线程应用中的计数方法及系统
CN108573405A (zh) 优惠数据提供和展示方法分组创建方法及装置电子和存储设备
CN109816218A (zh) 企业运营管理方法、装置、计算机设备和存储介质
CN106846024A (zh) 基于Redis的优惠券发放方法和系统
CN107451301B (zh) 实时投递账单邮件的处理方法、装置、设备和存储介质
CN104899278A (zh) 一种Hbase数据库数据操作日志的生成方法及装置
CN104021088A (zh) 日志存储方法和装置
CN105592118A (zh) 同步用户应用数据的方法、系统及服务端
CN109241056A (zh) 一种用于分布式系统的数字id生成系统
US20110225287A1 (en) Method and system for distributed processing of web traffic analytics data
CN114244905A (zh) 数据转发方法、装置、计算机设备和存储介质
CN100476756C (zh) 缓存装置及方法
CN105608096A (zh) 时间序列数据处理方法及其系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170531