CN103455575A - 数据统计分析方法和装置 - Google Patents

数据统计分析方法和装置 Download PDF

Info

Publication number
CN103455575A
CN103455575A CN2013103687764A CN201310368776A CN103455575A CN 103455575 A CN103455575 A CN 103455575A CN 2013103687764 A CN2013103687764 A CN 2013103687764A CN 201310368776 A CN201310368776 A CN 201310368776A CN 103455575 A CN103455575 A CN 103455575A
Authority
CN
China
Prior art keywords
data
statistic
cycle
analysis
statistical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2013103687764A
Other languages
English (en)
Inventor
周璇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING ACTIONSOFT SCIENCE AND TECHNOLOGY DEVELOPMENT Co Ltd
Original Assignee
BEIJING ACTIONSOFT SCIENCE AND TECHNOLOGY DEVELOPMENT Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING ACTIONSOFT SCIENCE AND TECHNOLOGY DEVELOPMENT Co Ltd filed Critical BEIJING ACTIONSOFT SCIENCE AND TECHNOLOGY DEVELOPMENT Co Ltd
Priority to CN2013103687764A priority Critical patent/CN103455575A/zh
Publication of CN103455575A publication Critical patent/CN103455575A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种数据统计分析方法和装置。该方法包括：按照设定时间周期对设定时间周期内写入数据库的数据进行统计分析，并将生成的周期统计数据写入周期统计表中；接收用户的携带统计周期的统计分析指令，并根据统计分析指令对周期统计表中位于统计周期内的周期统计数据进行统计分析，将分析结果返回给用户。本发明提供的数据统计分析方法和装置，按照设定时间周期对写入数据库的数据进行统计分析，并将生成的周期统计数据写入一张独立的周期统计表中，当用户查询统计周期内的统计分析数据时，只需查询该周期统计表中对应的周期统计数据，并进行统计分析即可，由于待统计分析的周期统计数据远小于统计周期内写入数据库的数据，因此分析速度较快。

Description

数据统计分析方法和装置
技术领域
本发明涉及数据分析技术领域，尤其涉及一种数据统计分析方法和装置。
背景技术
数据库是按照数据结构来组织、存储和管理数据的仓库。用户可以对数据库中的数据进行读取、写入、更新、删除等操作。数据库有很多种类型，从最简单的存储有各种数据的表格到能够进行海量数据存储的大型数据库系统都在各个领域得到了广泛的应用。面向分析应用的分析数据库，与传统的数据库不同，它可以对数据进行在线统计、在线分析、在线查询等发掘信息数据价值的操作。
现有技术中，为提高对海量数据进行统计分析的速度，主要采取以下几种措施：建立索引、数据库读写分离、将数据库分为多个表进行存储和使用内存数据库等。以数据库读写分离为例，由于对数据库的读写操作中，读取操作占大约70%，因此可以设置一个写入数据库，两个读出数据库，且三个数据库中数据同步。
但现有技术存在如下缺陷：当用户想要查询某个业务10年的统计分析数据时，数据库需要对这10年中所有的数据进行统计分析，分析速度较慢。
发明内容
本发明提供一种数据统计分析方法和装置，用以解决现有技术中存在的分析速度较慢的问题。
一方面，本发明提供了一种数据统计分析方法，包括：
按照设定时间周期对所述设定时间周期内写入数据库的数据进行统计分析，并将生成的周期统计数据写入周期统计表中；
接收用户的统计分析指令，所述统计分析指令中携带统计周期，并根据所述统计分析指令对所述周期统计表中位于所述统计周期内的所述周期统计数据进行统计分析，并将分析结果返回给用户。
另一方面，本发明提供了一种数据统计分析装置，包括：
第一分析模块，用于按照设定时间周期对所述设定时间周期内写入数据库的数据进行统计分析，并将生成的周期统计数据写入周期统计表中；
第二分析模块，用于接收用户的统计分析指令，所述统计分析指令中携带统计周期，并根据所述统计分析指令对所述周期统计表中位于所述统计周期内的所述周期统计数据进行统计分析，并将分析结果返回给用户。
本发明提供的数据统计分析方法和装置，按照设定时间周期对写入数据库的数据进行统计分析，并将生成的周期统计数据写入一张独立的周期统计表中，当用户查询统计周期内的统计分析数据时，只需查询该周期统计表中对应的周期统计数据，并进行统计分析即可，由于待统计分析的周期统计数据远小于统计周期内写入数据库的数据，因此分析速度较快。
附图说明
图1为本发明提供的数据统计分析方法一个实施例的流程示意图；
图2为本发明提供的数据统计分析装置一个实施例的结构示意图。
具体实施方式
下面通过具体的实施例及附图，对本发明的技术方案做进一步的详细描述。
图1为本发明提供的数据统计分析方法一个实施例的流程示意图。如图1所示，以下方法实施例中各步骤的执行主体具体可以为具有数据统计分析功能的各种数据库，例如分析数据库等。该方法具体可以包括：
S101，按照设定时间周期对设定时间周期内写入数据库的数据进行统计分析，并将生成的周期统计数据写入周期统计表中。
其中，设定时间周期具体可以为一天或一小时。
具体的，假设每天有50万条的数据写入数据库，则数据库每天对当天写入数据库的数据进行一次统计分析，或每小时对当前一个小时写入数据库的数据进行一次统计分析，生成一天一条或一小时一条的周期统计数据，并将生成的周期统计数据写入一张独立的周期统计表中进行存储。其中，统计分析包括计算平均值、总和、总数、最大值和最小值等。
S102，接收用户的统计分析指令，统计分析指令中携带统计周期，并根据统计分析指令对周期统计表中位于统计周期内的周期统计数据进行统计分析，并将分析结果返回给用户。
其中，统计周期具体可以为10年。
具体的，假设用户想要查询某个业务数据10年的统计分析数据，则向数据库发出一个统计分析指令，该统计分析指令中携带统计周期10年。数据库根据接收到的携带统计周期10年的统计分析指令，对周期统计表中位于该10年内的周期统计数据进行统计分析，并将分析结果通过显示等方式返回给用户。假设数据库每天对当天写入数据库的数据进行一次统计分析，生成一天一条的周期统计数据写入周期统计表中，则根据统计分析指令，数据库只需对365*10=3650条数据进行统计分析即可，该分析过程可瞬间完成，提高了分析速度。
本实施例提供的数据统计分析方法，按照设定时间周期对写入数据库的数据进行统计分析，并将生成的周期统计数据写入一张独立的周期统计表中，当用户查询统计周期内的统计分析数据时，只需查询该周期统计表中对应的周期统计数据，并进行统计分析即可，由于待统计分析的周期统计数据远小于统计周期内写入数据库的数据，因此分析速度较快。
图2为本发明提供的数据统计分析装置一个实施例的结构示意图。如图2所示，本实施例提供的数据统计分析装置为执行上述图1所示实施例的数据统计分析方法的特定执行主体，该装置具体可以为具有数据统计分析功能的各种数据库，例如分析数据库等。该装置具体可以包括：第一分析模块21和第二分析模块22，其中：
第一分析模块21，用于按照设定时间周期对设定时间周期内写入数据库的数据进行统计分析，并将生成的周期统计数据写入周期统计表中。
其中，设定时间周期具体可以为一天或一小时。
具体的，假设每天有50万条的数据写入数据库，则第一分析模块21每天对当天写入数据库的数据进行一次统计分析，或每小时对当前一个小时写入数据库的数据进行一次统计分析，生成一天一条或一小时一条的周期统计数据，并将生成的周期统计数据写入一张独立的周期统计表中进行存储。其中，统计分析包括计算平均值、总和、总数、最大值和最小值等。
第二分析模块22，用于接收用户的统计分析指令，统计分析指令中携带统计周期，并根据统计分析指令对周期统计表中位于统计周期内的周期统计数据进行统计分析，并将分析结果返回给用户。
其中，统计周期具体可以为10年。
具体的，假设用户想要查询某个业务数据10年的统计分析数据，则向第二分析模块22发出一个统计分析指令，该统计分析指令中携带统计周期10年。第二分析模块22根据接收到的携带统计周期10年的统计分析指令，对周期统计表中位于该10年内的周期统计数据进行统计分析，并将分析结果通过显示等方式返回给用户。假设第一分析模块21每天对当天写入数据库的数据进行一次统计分析，生成一天一条的周期统计数据写入周期统计表中，则第二分析模块22根据统计分析指令，只需对365*10=3650条数据进行统计分析即可，该分析过程可瞬间完成，提高了分析速度。
本实施例提供的数据统计分析装置，按照设定时间周期对写入数据库的数据进行统计分析，并将生成的周期统计数据写入一张独立的周期统计表中，当用户查询统计周期内的统计分析数据时，只需查询该周期统计表中对应的周期统计数据，并进行统计分析即可，由于待统计分析的周期统计数据远小于统计周期内写入数据库的数据，因此分析速度较快。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (6)

1.一种数据统计分析方法，其特征在于，包括：
按照设定时间周期对所述设定时间周期内写入数据库的数据进行统计分析，并将生成的周期统计数据写入周期统计表中；
接收用户的统计分析指令，所述统计分析指令中携带统计周期，并根据所述统计分析指令对所述周期统计表中位于所述统计周期内的所述周期统计数据进行统计分析，并将分析结果返回给用户。
2.根据权利要求1所述的方法，其特征在于，所述设定时间周期为一天或一小时。
3.根据权利要求1或2所述的方法，其特征在于，所述统计周期为10年。
4.一种数据统计分析装置，其特征在于，包括：
第一分析模块，用于按照设定时间周期对所述设定时间周期内写入数据库的数据进行统计分析，并将生成的周期统计数据写入周期统计表中；
第二分析模块，用于接收用户的统计分析指令，所述统计分析指令中携带统计周期，并根据所述统计分析指令对所述周期统计表中位于所述统计周期内的所述周期统计数据进行统计分析，并将分析结果返回给用户。
5.根据权利要求4所述的装置，其特征在于，所述设定时间周期为一天或一小时。
6.根据权利要求4或5所述的装置，其特征在于，所述统计周期为10年。
CN2013103687764A 2013-08-22 2013-08-22 数据统计分析方法和装置 Pending CN103455575A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2013103687764A CN103455575A (zh) 2013-08-22 2013-08-22 数据统计分析方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2013103687764A CN103455575A (zh) 2013-08-22 2013-08-22 数据统计分析方法和装置

Publications (1)

Publication Number Publication Date
CN103455575A true CN103455575A (zh) 2013-12-18

Family

ID=49737938

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2013103687764A Pending CN103455575A (zh) 2013-08-22 2013-08-22 数据统计分析方法和装置

Country Status (1)

Country Link
CN (1) CN103455575A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104537110A (zh) * 2015-01-19 2015-04-22 上海拍拍贷金融信息服务有限公司 一种数据写入方法和装置
CN106412044A (zh) * 2016-09-23 2017-02-15 郑州云海信息技术有限公司 一种基于Storm的实时海量云应用访问统计实现方法
CN110633306A (zh) * 2019-08-14 2019-12-31 中国平安人寿保险股份有限公司 业务数据处理方法、装置、计算机设备和存储介质
CN111752786A (zh) * 2019-03-29 2020-10-09 上海哔哩哔哩科技有限公司 压力测试过程中的数据存储方法、汇总方法、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6377955B1 (en) * 1999-03-30 2002-04-23 Cisco Technology, Inc. Method and apparatus for generating user-specified reports from radius information
US20050203881A1 (en) * 2004-03-09 2005-09-15 Akio Sakamoto Database user behavior monitor system and method
CN101155066A (zh) * 2006-09-29 2008-04-02 中国移动通信集团北京有限公司 网络性能分析系统与分析方法
CN102026228A (zh) * 2010-12-16 2011-04-20 大唐移动通信设备有限公司 通信网络性能数据的统计方法和设备
CN102111920A (zh) * 2009-12-23 2011-06-29 大唐移动通信设备有限公司 一种性能报表管理的方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6377955B1 (en) * 1999-03-30 2002-04-23 Cisco Technology, Inc. Method and apparatus for generating user-specified reports from radius information
US20050203881A1 (en) * 2004-03-09 2005-09-15 Akio Sakamoto Database user behavior monitor system and method
CN101155066A (zh) * 2006-09-29 2008-04-02 中国移动通信集团北京有限公司 网络性能分析系统与分析方法
CN102111920A (zh) * 2009-12-23 2011-06-29 大唐移动通信设备有限公司 一种性能报表管理的方法及装置
CN102026228A (zh) * 2010-12-16 2011-04-20 大唐移动通信设备有限公司 通信网络性能数据的统计方法和设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104537110A (zh) * 2015-01-19 2015-04-22 上海拍拍贷金融信息服务有限公司 一种数据写入方法和装置
CN104537110B (zh) * 2015-01-19 2018-01-12 上海拍拍贷金融信息服务有限公司 一种数据写入方法和装置
CN106412044A (zh) * 2016-09-23 2017-02-15 郑州云海信息技术有限公司 一种基于Storm的实时海量云应用访问统计实现方法
CN111752786A (zh) * 2019-03-29 2020-10-09 上海哔哩哔哩科技有限公司 压力测试过程中的数据存储方法、汇总方法、设备及介质
CN110633306A (zh) * 2019-08-14 2019-12-31 中国平安人寿保险股份有限公司 业务数据处理方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
CN102741843B (zh) 从数据库中读取数据的方法及装置
CN104504105B (zh) 一种实时数据库的存储方法
CN102096685B (zh) 分布式数据同步到数据仓库的方法及装置
CN107544984B (zh) 一种数据处理的方法和装置
US9996557B2 (en) Database storage system based on optical disk and method using the system
CN102158349B (zh) 一种日志管理装置及方法
CN102982085A (zh) 数据迁移系统和方法
CN102682108B (zh) 一种行列混合的数据库存储方法
US20190197031A1 (en) Updating of in-memory synopsis metadata for inserts in database table
CN104391903A (zh) 一种基于分布存储和并行计算的电网数据质量检测方法
CN103049533A (zh) 一种快速向数据库加载数据的方法
CN105446990B (zh) 一种业务数据处理方法及设备
CN104731896A (zh) 一种数据处理方法及系统
CN100470429C (zh) 集散控制系统操作员站内存数据库结构存储的同步方法
CN103455575A (zh) 数据统计分析方法和装置
CN105630934A (zh) 一种数据统计方法及系统
CN103678603A (zh) 多源异构数据高效汇聚存取架构系统
CN102779138A (zh) 实时数据的硬盘存取方法
CN105095247A (zh) 符号数据分析方法和系统
CN106446144A (zh) 一种基于kettle的大数据平台数据抽取和统计方法
CN104951462A (zh) 用于管理数据库的方法和系统
CN105095255A (zh) 一种数据索引创建方法及装置
CN103136244A (zh) 基于云计算平台的并行数据挖掘方法及系统
CN104182436A (zh) 一种清理数据库的方法及装置
CN103793382A (zh) 一种数据库的数据处理方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20131218

RJ01 Rejection of invention patent application after publication