CN101819586A - 一种智能分拣服务器及统计数据的方法和系统 - Google Patents
一种智能分拣服务器及统计数据的方法和系统 Download PDFInfo
- Publication number
- CN101819586A CN101819586A CN201010136801A CN201010136801A CN101819586A CN 101819586 A CN101819586 A CN 101819586A CN 201010136801 A CN201010136801 A CN 201010136801A CN 201010136801 A CN201010136801 A CN 201010136801A CN 101819586 A CN101819586 A CN 101819586A
- Authority
- CN
- China
- Prior art keywords
- server
- time granularity
- data
- database
- statistical study
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种智能分拣服务器及统计数据的方法和系统，其中，该方法包括下列步骤：服务器按第一时间粒度t1对实时产生的需要被采集的原始数据进行采集并存入数据库；相隔预定时间粒度tm后，对数据库中前一时间粒度tm-1的存储数据进行统计分析处理，将统计分析处理后的数据存入相应于当前时间粒度tm的数据库，直到达到预先设定好的第n时间粒度tn，或者服务器的负荷已达到预设的门限，其中1＜m＜n。本发明能够在保证统计精度的前提下，减少需要被处理的数据量，提高服务器的数据处理性能。
Description
技术领域
本发明涉及数据统计技术领域，特别涉及一种智能分拣服务器及统计数据的方法和系统。
背景技术
目前，由于对数据的实时性和统计性能要求不断提高，使得人们对数据的统计时间粒度和统计的数据处理能力的要求不断提高。时间粒度的提高，必然造成过多的统计数据。大量的统计数据，使得数据的统计性能下降，增加了统计分析的难度。在实际的统计中，对实时的要求不断提高，使人们需要准确知道某个短时间内的统计情况，要求统计时间粒度不断减少。同时要求统计的快速准确性，要求统计时处理的数据尽可能的少，统计本身用时尽可能的小。
然而，在现在的统计方法中，时间粒度小，可以提高统计的精确度，但是大大增加了统计数据量，造成统计时处理数据的性能降低。如果增大统计时间粒度，可以减少统计的数据量，使得统计时处理数据的压力大大减少，但是这样无法了解详细的统计情况，无法满足高精度的要求，使得统计时的性能大大降低。传统的现有统计，在数据采样的时候，会综合考虑实际情况，采用合理的时间间隔来采集数据。
总之，现在大数据量的统计，普遍存在的问题是统计精度和统计性能之间的矛盾。对于统计精度的高要求，必然导致统计时处理的数据量的增加，从而造成了低性能。同样的，提高性能就要求处理少量的数据，从而损失了精度。目前常见的方法有，数据库优化，如数据库索引的使用；对冗余数据的丢弃，例如长时间没有变化的数据丢弃；对数据库进行分库的形式。综合来看，目前已经使用的方法，会对原始数据造成丢失，造成精度上的降低，增加了数据库的复杂度，很难达到不损失原始数据，不降低统计精度，又提高统计性能的要求。
发明内容
本发明的目的在于，提供一种智能分拣服务器，能够在保证统计精度的前提下，减少需要被处理的数据量，提高服务器的数据处理性能。
本发明的另一目的在于，提供一种智能分拣服务器的统计数据的方法，能够在保证统计精度的前提下，减少需要被处理的数据量，提高服务器的数据处理性能。
本发明的又一目的在于，提供一种包含智能分拣服务器的系统，能够在保证统计精度的前提下，减少需要被处理的数据量，提高服务器的数据处理性能。
本发明的智能分拣服务器统计数据的方法，包括下列步骤：
步骤A：服务器按第一时间粒度t1对实时产生的需要被采集的原始数据进行采集并存入数据库；
步骤B：相隔预定时间粒度tm后，对数据库中前一时间粒度tm-1的存储数据进行统计分析处理，将统计分析处理后的数据存入相应于当前时间粒度tm的数据库，直到达到预先设定好的第n时间粒度tn，或者服务器的负荷已达到预设的门限，其中1＜m＜n。
其中，所述统计分析处理，是采用函数运算法则、平均值法则、最大最小值法则之一对所述存储数据进行处理。
其中，所述数据库为一个数据库，用于分别存储相应时间粒度下的数据；或者，所述数据库为相应于各个时间粒度的多个数据库。
其中，所述服务器存在的系统中包括多台服务器，如果第一服务器未达到预先设定的时间粒度，其负荷已达到预设的门限时，则查找系统中其它的可用服务器，并在找到的相应服务器上完成余下相应时间粒度的统计分析处理。
其中，在服务器负荷大于预设的门限时，相应增大统计分析处理的时间粒度；在服务器负荷小于预设的门限时，相应减小统计分析处理的时间粒度。
本发明的智能分拣服务器，包括数据采集单元、统计分析处理单元，以及数据库，其中，所述数据采集单元，以第一时间粒度t1对实时产生的需要被采集的原始数据进行采集；所述统计分析处理单元，用于在相隔预定时间粒度tm后，对数据库中前一时间粒度tm-1的存储数据进行统计分析处理，将统计分析处理后的数据存入相应于当前时间粒度tm的数据库，直到达到预先设定好的第n时间粒度tn，或者服务器的负荷已达到预设的门限，其中1＜m＜n；所述数据库，用于分别存储相应时间粒度的数据。
其中，所述统计分析处理单元中的统计分析处理，是采用函数运算法则、平均值法则、最大最小值法则之一对所述存储数据进行处理。
其中，所述数据库为一个数据库，用于分别存储相应时间粒度下的数据；或者，所述数据库为相应于各个时间粒度的多个数据库。
其中，在服务器负荷大于预设的门限时，相应增大统计分析处理的时间粒度；在服务器负荷小于预设的门限时，相应减小统计分析处理的时间粒度。
本发明的包含上述智能分拣服务器的系统，是在系统中包括多台服务器，如果第一服务器未达到预先设定的时间粒度，其负荷已达到预设的门限时，则查找系统中其它的可用服务器，并在找到的相应服务器上完成余下相应时间粒度的统计分析处理。
本发明的有益效果是：依照本发明的智能分拣服务器及统计数据的方法和系统，能够充分利用服务器资源，在同一台服务器上，将服务器的负荷均匀分担到各个时间段，使得服务器在保证统计精度的前提下，减少需要被处理的数据量，提高服务器的数据处理性能；另外，在本发明中，可以根据实际情况配置时间间隔1到n，灵活的实现各种常用时间间隔的统计，进一步减少需要被处理的数据量；另外，本发明还可以作进一步扩展，即适用多台服务器，将负荷均匀分担到各个服务器上，从而进一步提高系统的数据处理性能。
附图说明
图1为本发明实施例的系统结构示意图；
图2为本发明实施例的智能分拣服务器的结构示意图；
图3为本发明实施例的数据处理流程；
图4为本发明实施例的智能统计负载均衡数据流程；
图5为本发明实施例的统计分析处理单元的负载均衡流程图。
其中，附图标记如下：
101 需要研究的对象 102 服务器1
103 数据库1 104 服务器2
105 数据库2 106 服务器m
107 数据库m 108 服务器n
109 数据库n 110 当前统计的数据对象
具体实施方式
以下，参考附图1～5详细描述本发明的智能分拣服务器及统计数据的方法和系统。
如图2所示，本发明的智能分拣服务器，包括数据采集单元、统计分析处理单元，以及数据库。
其中，数据采集单元，以第一时间粒度t1对实时产生的需要被采集的原始数据进行采集。
统计分析处理单元，用于在相隔第二时间粒度t2后，对数据库中第一时间粒度t1的存储数据进行统计分析处理，将统计分析处理后的数据存入相应于第二时间粒度t2的数据库；在相隔第三时间粒度t3后，对数据库中第二时间粒度t2的存储数据进行统计分析处理，将统计分析处理后的数据存入相应于第三时间粒度t2的数据库；以此类推，直到达到预先设定好的第n时间粒度tn，或者服务器的性能降低到预先设定好的值。
数据库，用于分别存储相应时间粒度的数据。
其中，统计分析处理单元中的统计分析处理，是根据使用者的需要，使用相应的统计方法对采集的数据进行处理，包括函数运算法则、平均值法则、最大最小值法则等。
其中，数据库可以为一个数据库，用于分别存储相应时间粒度下的数据；或者，数据库为相应于各个时间粒度的多个数据库。
此外，本发明的系统中，可以包括多台服务器，如果第一服务器未达到预先设定的时间粒度，其负荷已达到预设的门限时，则查找系统中其它的可用服务器，并在找到的相应服务器上完成余下相应时间粒度的统计分析处理。
另外，还可以根据当前服务器的负荷情况，对服务器的统计分析处理的时间粒度进行调整，例如，在服务器负荷大于预设的门限时，可相应增大统计分析处理的时间粒度；在服务器负荷小于预设的门限时，可相应减小统计分析处理的时间粒度，从而提高服务器的数据处理性能。
本发明的智能分拣服务器统计数据的方法，包括下列步骤：
步骤100：服务器按时间粒度(即时间间隔)1对实时产生的需要被采集的原始数据进行采集。
其中，在步骤100中，服务器可以通过有线或无线方式采集原始数据。例如：地面控制器接收飞行器的实时数据(例如各种飞行参数)，将该实时数据发送给服务器。另外，服务器还可以进行自身或远程的数据的采集，例如自身服务器的流量存储信息、读写磁盘的频率等，以及采集最大连接数等。
此外，如果此时服务器的性能已经达不到要求，就必须使用性能更高的服务器。
步骤200：相隔时间间隔t2后，获取数据库中时间间隔t1采集到的数据，进行处理。其中，该处理可以根据具体使用者的需要，使用相应的统计方法处理，将处理后的数据存入数据库，并且在相应的数据库记录上打上时间间隔t2的标志。
步骤300：相隔时间间隔t2后，获取数据库中打上时间间隔t2标志的数据，对这些少量数据处理分析。同步骤200，处理数据后，存入数据库，同样的，在相应的数据库记录上打上时间间隔t3的标志。
例如，采集的原始数据为速度信息，时间间隔t1为2秒，时间间隔t2为4秒，时间间隔t3为8秒，相应的统计方法处理是平均值算法或者最大值MAX算法，则分别在数据库中存入每隔2秒的平均值或最大值，并在相应记录上打上时间间隔为2秒的标志；在数据库中存入每隔4秒的平均值或最大值，并在相应记录上打上时间间隔为4秒的标志；在数据库中存入每隔8秒的平均值或最大值，并在相应记录上打上时间间隔为8秒的标志。
重复上述步骤，直到达到预先设定好的时间间隔tn，或者服务器的性能降低到预先设定好的值(例如预先设定cpu使用率90％，现在cpu使用率达到90％)。
但是上述方案，可能存在服务器自身的性能瓶颈，还没有达到预先设定好的时间间隔tn，性能就已经降低到某个值。因此，本发明作如下扩展，对于多服务器的情况，包括下列步骤：
步骤100’：同单服务器步骤100；
步骤200’：同单服务器步骤200；
步骤300’：同单服务器步骤300；
重复上述步骤，直到达到预先设定好的时间间隔tn，或者服务器的性能降低到预先设定好的值(例如预先设定，cpu使用率90％，现在cpu使用率达到90％)。
如果没有达到预先设定好的时间间隔tn，例如在时间间隔tm的时候(tm＜tn)，性能就已经下降到预先设定好的值，查找可以使用的其他服务器(例如找到服务器2)，从步骤m开始，步骤m到步骤n在服务器2上实现。同样的，如果服务器2上也没有达到时间间隔tn，性能就下降到指定值，寻找是否存在服务器3，以此类推，只要有足够多的可用服务器，理论上性能可以无限提高，不存在性能瓶颈。
具体地，如图3所示，为本发明实施例的数据处理流程，包括以下步骤：
S201：按照时间间隔1，对研究对象数据做采集；
S202：生成采集数据，存入数据库1中；
S203：从数据库1中获取数据，按照时间间隔2，对数据处理分析；
S204：生成按照时间间隔t2为采样时间间隔的新数据，存入数据库2中；
S205：从数据库2中获取数据，按照时间间隔tm，对数据处理分析；
S206：生成按照时间间隔tm为采样时间间隔的新数据，存入数据库m中；
S207：从数据库m中获取数据，按照时间间隔tn，对数据处理分析；
S208：生成按照时间间隔tn为采样时间间隔的新数据，存入数据库中。
图4是本发明实施例的智能统计负载均衡数据流程。如图3所示，该流程包括如下步骤：
S301：按时间粒度1采集数据；
S302：按时间粒度1采集的数据存入数据库1；
S303：处理分析按时间粒度1采集的数据；
S304：生成时间粒度2的数据存入数据库库2；
S305：处理分析按时间粒度2采集的数据；
……
S306：生成时间粒度m的数据存入数据库m；
……
S307：处理分析按时间粒度m采集的数据；
S308：生成时间粒度n的数据存入数据库n；
S309：检测到自身过负荷；
S310：调整自身的最大分析时间粒度n为时间粒度m；
S311：时间粒度m的数据存入数据库m；
图5为本发明实施例的统计服务器和数据为一台服务器的负载均衡流程。如图所示，该流程包括以下步骤：
S401：服务器按照时间间隔t1采集数据，并且存入数据中；
S402：服务器按照时间间隔t2采集数据，并且存入数据中；
……
S403：服务器按照时间间隔tm采集数据，并且存入数据中；
……
S404：判断此时服务器是否过负荷，如果过负荷，跳转到时间间隔tm，减少统计的性能压力，等到负荷降低的时候，再继续跳转到时间间隔tn；
S405：服务器按照时间间隔tn采集数据，并且存入数据中。
综上所述，依照本发明的智能分拣服务器及统计数据的方法和系统，能够充分利用服务器资源，在同一台服务器上，将服务器的负荷均匀分担到各个时间段，使得服务器在保证统计精度的前提下，减少需要被处理的数据量，提高服务器的数据处理性能；另外，在本发明中，可以根据实际情况配置时间间隔1到n，灵活的实现各种常用时间间隔的统计，进一步减少需要被处理的数据量；另外，本发明还可以作进一步扩展，即适用多台服务器，将负荷均匀分担到各个服务器上，从而进一步提高系统的数据处理性能。
以上是为了使本领域普通技术人员理解本发明，而对本发明所进行的详细描述，但可以想到，在不脱离本发明的权利要求所涵盖的范围内还可以做出其它的变化和修改，这些变化和修改均在本发明的保护范围内。
Claims (10)
1.一种智能分拣服务器统计数据的方法，其特征在于，包括下列步骤：
步骤A：服务器按第一时间粒度t1对实时产生的需要被采集的原始数据进行采集并存入数据库；
步骤B：相隔预定时间粒度tm后，对数据库中前一时间粒度tm-1的存储数据进行统计分析处理，将统计分析处理后的数据存入相应于当前时间粒度tm的数据库，直到达到预先设定好的第n时间粒度tn，或者服务器的负荷已达到预设的门限，其中1＜m＜n。
2.如权利要求1所述的智能分拣服务器统计数据的方法，其特征在于，所述统计分析处理，是采用函数运算法则、平均值法则、最大最小值法则之一对所述存储数据进行处理。
3.如权利要求1所述的智能分拣服务器统计数据的方法，其特征在于，所述数据库为一个数据库，用于分别存储相应时间粒度下的数据；或者，所述数据库为相应于各个时间粒度的多个数据库。
4.如权利要求1至3中任一项所述的智能分拣服务器统计数据的方法，其特征在于，所述服务器存在的系统中包括多台服务器，如果第一服务器未达到预先设定的时间粒度，其负荷已达到预设的门限时，则查找系统中其它的可用服务器，并在找到的相应服务器上完成余下相应时间粒度的统计分析处理。
5.如权利要求4所述的智能分拣服务器统计数据的方法，其特征在于，
在服务器负荷大于预设的门限时，相应增大统计分析处理的时间粒度；
在服务器负荷小于预设的门限时，相应减小统计分析处理的时间粒度。
6.一种智能分拣服务器，其特征在于，包括数据采集单元、统计分析处理单元，以及数据库，其中，
所述数据采集单元，以第一时间粒度t1对实时产生的需要被采集的原始数据进行采集；
所述统计分析处理单元，用于在相隔预定时间粒度tm后，对数据库中前一时间粒度tm-1的存储数据进行统计分析处理，将统计分析处理后的数据存入相应于当前时间粒度tm的数据库，直到达到预先设定好的第n时间粒度tn，或者服务器的负荷已达到预设的门限，其中1＜m＜n；
所述数据库，用于分别存储相应时间粒度的数据。
7.如权利要求6所述的智能分拣服务器，其特征在于，所述统计分析处理单元中的统计分析处理，是采用函数运算法则、平均值法则、最大最小值法则之一对所述存储数据进行处理。
8.如权利要求6所述的智能分拣服务器，其特征在于，所述数据库为一个数据库，用于分别存储相应时间粒度下的数据；或者，所述数据库为相应于各个时间粒度的多个数据库。
9.如权利要求6至8中任一项所述的智能分拣服务器，其特征在于，
在服务器负荷大于预设的门限时，相应增大统计分析处理的时间粒度；
在服务器负荷小于预设的门限时，相应减小统计分析处理的时间粒度。
10.一种包含如权利要求6所述的智能分拣服务器的系统，其特征在于，在系统中包括多台服务器，如果第一服务器未达到预先设定的时间粒度，其负荷已达到预设的门限时，则查找系统中其它的可用服务器，并在找到的相应服务器上完成余下相应时间粒度的统计分析处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201010136801A CN101819586A (zh) | 2010-03-31 | 2010-03-31 | 一种智能分拣服务器及统计数据的方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201010136801A CN101819586A (zh) | 2010-03-31 | 2010-03-31 | 一种智能分拣服务器及统计数据的方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN101819586A true CN101819586A (zh) | 2010-09-01 |
Family
ID=42654688
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201010136801A Pending CN101819586A (zh) | 2010-03-31 | 2010-03-31 | 一种智能分拣服务器及统计数据的方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101819586A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103490949A (zh) * | 2013-09-06 | 2014-01-01 | 京信通信系统（中国）有限公司 | 一种数据信息采集、数据信息异常检测的方法和设备 |
| CN103595795A (zh) * | 2013-11-15 | 2014-02-19 | 北京国双科技有限公司 | 分布式数据的处理方法和装置 |
| CN106230659A (zh) * | 2016-07-29 | 2016-12-14 | 上海爱数信息技术股份有限公司 | 一种数据展示方法、系统及服务器 |
| CN108496165A (zh) * | 2017-04-28 | 2018-09-04 | 深圳市大疆创新科技有限公司 | 一种数据处理方法、装置及系统 |
| CN109189655A (zh) * | 2018-08-08 | 2019-01-11 | 郑州云海信息技术有限公司 | 一种基于均值优化算法统计存储设备历史性能数据的方法 |
| CN109389022A (zh) * | 2017-08-09 | 2019-02-26 | 宏碁股份有限公司 | 图像数据处理的方法及其装置 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1747398A (zh) * | 2004-09-08 | 2006-03-15 | 大唐移动通信设备有限公司 | 网元管理系统中海量性能数据的统计方法 |
-
2010
- 2010-03-31 CN CN201010136801A patent/CN101819586A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1747398A (zh) * | 2004-09-08 | 2006-03-15 | 大唐移动通信设备有限公司 | 网元管理系统中海量性能数据的统计方法 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103490949A (zh) * | 2013-09-06 | 2014-01-01 | 京信通信系统（中国）有限公司 | 一种数据信息采集、数据信息异常检测的方法和设备 |
| CN103595795A (zh) * | 2013-11-15 | 2014-02-19 | 北京国双科技有限公司 | 分布式数据的处理方法和装置 |
| CN103595795B (zh) * | 2013-11-15 | 2016-10-05 | 北京国双科技有限公司 | 分布式数据的处理方法和装置 |
| CN106230659A (zh) * | 2016-07-29 | 2016-12-14 | 上海爱数信息技术股份有限公司 | 一种数据展示方法、系统及服务器 |
| CN108496165A (zh) * | 2017-04-28 | 2018-09-04 | 深圳市大疆创新科技有限公司 | 一种数据处理方法、装置及系统 |
| CN109389022A (zh) * | 2017-08-09 | 2019-02-26 | 宏碁股份有限公司 | 图像数据处理的方法及其装置 |
| CN109189655A (zh) * | 2018-08-08 | 2019-01-11 | 郑州云海信息技术有限公司 | 一种基于均值优化算法统计存储设备历史性能数据的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101819586A (zh) | 一种智能分拣服务器及统计数据的方法和系统 | |
| CN102129442B (zh) | 一种分布式数据库系统和数据访问方法 | |
| CN109144414A (zh) | 区块链数据的多级存储方法和装置 | |
| CN105956015A (zh) | 一种基于大数据的服务平台整合方法 | |
| CN102170474A (zh) | 一种云计算网络中虚拟资源动态调度方法及系统 | |
| CN103778148A (zh) | Hadoop分布式文件系统数据文件的生命周期管理方法和设备 | |
| CN104539750A (zh) | 一种ip定位方法和装置 | |
| CN103473229A (zh) | 一种内存检索系统和方法、以及实时检索系统和方法 | |
| CN105357061A (zh) | 一种基于大数据流处理技术的运维监控分析系统 | |
| CN106528649A (zh) | 一种新能源汽车的海量数据存储检索系统和方法 | |
| CN111159180A (zh) | 一种基于数据资源目录构建的数据处理方法及系统 | |
| CN102857560A (zh) | 一种面向多业务应用的云存储数据分布方法 | |
| JP2012198598A (ja) | データ保存装置、データ保存方法 | |
| CN103853838A (zh) | 一种数据处理方法和装置 | |
| CN105677858A (zh) | 一种基于大数据技术框架的数据采集方法及装置 | |
| CN103198157A (zh) | 一种大地电场数据的压缩存储处理方法 | |
| CN102937956A (zh) | 一种智能变电站中实时报文的存储方法及其装置 | |
| CN104881475A (zh) | 一种用于大数据随机抽样的方法和系统 | |
| CN111858657B (zh) | 一种基于高频数据处理进行数据并行查询加速的方法和设备 | |
| CN114281256A (zh) | 基于分布式存储系统的数据同步方法、装置、设备及介质 | |
| CN107679133B (zh) | 一种实用于海量实时pmu数据的挖掘方法 | |
| CN117472652A (zh) | 一种云计算运维平台的数据备份方法、装置及系统 | |
| CN107346312A (zh) | 一种大数据处理方法及系统 | |
| CN105095224A (zh) | 一种在移动通信网络中进行olap分析的方法、装置和系统 | |
| CN110909072B (zh) | 一种数据表建立方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C12 | Rejection of a patent application after its publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20100901 |