CN105743721A - 数据上报方法、对上报数据进行处理的方法和装置 - Google Patents

数据上报方法、对上报数据进行处理的方法和装置 Download PDF

Info

Publication number
CN105743721A
CN105743721A CN201410747843.8A CN201410747843A CN105743721A CN 105743721 A CN105743721 A CN 105743721A CN 201410747843 A CN201410747843 A CN 201410747843A CN 105743721 A CN105743721 A CN 105743721A
Authority
CN
China
Prior art keywords
cryptographic hash
index
data
character string
monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410747843.8A
Other languages
English (en)
Other versions
CN105743721B (zh
Inventor
池育龙
李伟
叶月德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Burson Marsteller Network Game Development (shenzhen) Co Ltd
Original Assignee
Burson Marsteller Network Game Development (shenzhen) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Burson Marsteller Network Game Development (shenzhen) Co Ltd filed Critical Burson Marsteller Network Game Development (shenzhen) Co Ltd
Priority to CN201410747843.8A priority Critical patent/CN105743721B/zh
Publication of CN105743721A publication Critical patent/CN105743721A/zh
Application granted granted Critical
Publication of CN105743721B publication Critical patent/CN105743721B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供了一种数据上报方法、对上报数据进行处理的方法和装置其中,所述数据上报方法包括:监控数据上报事件是否触发,若是,则获取所述数据上报事件对应的待监控指标包含的字符串;通过多种哈希算法对所述字符串进行多次哈希计算得到相对应的多个字符串哈希值;根据预设的监控指标与多个指标哈希值的对应关系,确定与多个字符串哈希值相等的多个指标哈希值对应的监控指标;采集与所述监控指标对应的监控数据并上报。上述方法和装置提高了监控数据上报的效率。

Description

数据上报方法、对上报数据进行处理的方法和装置
技术领域
本发明涉及计算机网络技术领域,特别是涉及一种数据上报方法、对上报数据进行处理的方法和装置。
背景技术
客户端与服务器的架构中,客户端与服务器交互频繁,服务器通常需要搜集客户端运行的数据以分析服务性能、稳定性和可靠性。例如,客户端将监控到的用户行为数据上报服务器,通过服务器对用户行为数据的分析统计,即可实时掌握产品的使用情况。
传统数据上报方法中,在被监控的客户端中设置探针模块,探针模块负责客户端数据的采集、取样以及上报,探针模块一般需要对多个监控指标进行监控采集数据,数据上报之前客户端需要确定采集得到的数据归为哪个监控指标。由于监控指标是字符串形式的数据,在对数据进行归类的过程中需要进行大量的字符串比较。例如,获取游戏客户端的用户点击充值按钮的次数,可将探针模块中的监控指标命名为“client_charge_button_clik”,采集到监控数据后,需要将监控指标对应的字符串与“client_charge_button_clik”进行比较,若两者相同则将监控数据归为充值按钮。
比较监控指标与字符串是否相同,需要将两个字符串的字符一一比较来判断两个字符串是否相同,这种字符串的比较方式效率十分低下,通常需要比较的字符串都在20至50个字节范围内,这样每次判断两个字符串是否相同,最多需要比较50次。导致大量的系统资源用于字符串比对中,使得数据上报效率较低。
发明内容
基于此,有必要针对上述技术问题,提供一种能提高字数据上报效率的数据上报方法以及数据上报方法和装置。
一种数据上报方法,所述方法包括:
监控数据上报事件是否触发,若是,则获取所述数据上报事件对应的待监控指标包含的字符串;
通过多种哈希算法对所述字符串进行多次哈希计算得到相对应的多个字符串哈希值;
根据预设的监控指标与多个指标哈希值的对应关系,确定与多个字符串哈希值相同的多个指标哈希值对应的监控指标;
采集与所述监控指标对应的监控数据并上报。
在其中一个实施例中,所述监控数据上报事件是否触发的步骤,包括:
读取待监控指标以及取样值;
当待监控指标对应的监控事件被触发时,更新所述待监控指标对应的指标值;
判断所述更新后的指标值与取样值是否相等,若是,则数据上报事件触发,否则,数据上报事件未触发。
在其中一个实施例中,所述通过多种哈希算法对所述字符串进行多次哈希计算得到相对应的多个字符串哈希值步骤,包括:
通过两种哈希算法对字符串进行哈希计算得到对应的两个字符串哈希值;
将所述两个字符串哈希值按照由小到大的顺序依次进行排序得到第一字符串哈希值与第二字符串哈希值。
在其中一个实施例中,所述指标哈希值包括第一指标哈希值和第二指标哈希值,所述第一指标哈希值与第二指标哈希值是按照由小到大的顺序进行排列的;所述根据预设的监控指标与多个指标哈希值的对应关系,确定与多个字符串哈希值相等的多个指标哈希值对应的监控指标的步骤包括:
将第一字符串哈希值和第二字符串哈希值分别与第一指标哈希值和第二指标哈希值依次进行比较;
当第一字符串哈希值不等于第一指标哈希值时,则停止后续第二字符串哈希值与第二指标哈希值的比较;
当第一字符串哈希值与第一指标哈希值相等且第二字符串哈希值与第二指标哈希值相等时,确定所述第一指标哈希值和第二指标哈希值对应的监控指标。
一种数据上报装置,所述装置包括:
数据获取模块,用于监控数据上报事件是否触发,若是,则获取所述数据上报事件对应的待监控指标包含的字符串;
哈希计算模块,用于通过多种哈希算法对所述字符串进行多次哈希计算得到相对应的多个字符串哈希值;
指标获取模块,用于根据预设的监控指标与多个指标哈希值的对应关系,确定与多个字符串哈希值相同的多个指标哈希值对应的监控指标;
数据上报模块,用于采集与所述监控指标对应的监控数据并上报。
在其中一个实施例中,所述数据获取模块包括事件监控模块,用于监控数据上报事件是否触发,所述事件监控模块包括:
信息读取模块,用于读取待监控指标以及取样值;
指标值采集模块,用于当待监控指标对应的监控事件被触发时,更新所述待监控指标对应的指标值;
事件触发判断模块,用于判断所述更新后的指标值与取样值是否相等,若是,则数据上报事件触发,否则,数据上报事件未触发。
在其中一个实施例中,所述哈希计算模块包括:
哈希值获取模块,用于通过两种哈希算法对字符串进行哈希计算得到对应的两个字符串哈希值;
哈希值排序模块,用于将所述两个字符串哈希值按照由小到大的顺序依次进行排序得到第一字符串哈希值与第二字符串哈希值。
在其中一个实施例中,所述指标哈希值包括第一指标哈希值和第二指标哈希值,所述第一指标哈希值与第二指标哈希值是按照由小到大的顺序进行排列的;所述指标获取模块还用于将第一字符串哈希值和第二字符串哈希值分别与第一指标哈希值和第二指标哈希值依次进行比较;当第一字符串哈希值不等于第一指标哈希值时,则停止后续第二字符串哈希值与第二指标哈希值的比较;当第一字符串哈希值与第一指标哈希值相等且第二字符串哈希值与第二指标哈希值相等时,确定所述第一指标哈希值和第二指标哈希值对应的监控指标。
一种对上报数据进行处理的方法,所述方法包括:
第一服务器接收监控数据并存储,所述监控数据为来自如权利要求1至4中任一项所述的数据上报方法所上报的数据;
所述第一服务器判断所述监控数据的存储空间是否达到预设阈值,若是,则对所述监控数据进行压缩处理;
所述第一服务器根据上报所述监控数据的终端类型以及当前数据上报的网络环境自适应调整数据上报方式,并每间隔一段预设时间以所述数据上报方式对经过压缩处理的监控数据上报至第二服务器;
所述第二服务器接收并处理所述接收到的监控数据。
在其中一个实施例中,所述监控数据包括:监控指标、监控标识以及监控记录,所述第二服务器处理所述监控数据的步骤包括:
第二服务器接收所述压缩处理的监控数据并进行解压;
第二服务器判断监控指标是否已注册,若否,则对所述监控指标进行注册,若是,则获取监控标识对应的数据处理方式,根据所述数据处理方式对监控记录进行统计分析得到监控统计数据。
一种对上报数据进行处理的装置,所述装置包括:
第一服务器,用于接收监控数据并存储,所述监控数据为来自如权利要求1至4中任一项所述的数据上报装置所上报的数据;
所述第一服务器还用于判断所述监控数据的存储空间是否达到预设阈值,若是,则对所述监控数据进行压缩处理;
所述第一服务器还用于根据上报所述监控数据的终端类型以及当前数据上报的网络环境自适应调整数据上报方式,并每间隔一段预设时间以所述数据上报方式对经过压缩处理的监控数据上报至第二服务器;
所述第二服务器,用于接收并处理所述接收到的监控数据。
在其中一个实施例中,所述监控数据包括:监控指标、监控标识以及监控记录,所述第二服务器还用于接收所述压缩处理的监控数据并进行解压;
第二服务器还用于判断监控指标是否已注册,若否,则对所述监控指标进行注册,若是,则获取监控标识对应的数据处理方式,根据所述数据处理方式对监控记录进行统计分析得到监控统计数据。
上述数据上报方法、对上报数据进行处理的方法和装置,根据字符串哈希值和指标哈希值的比较,可以快速确定待监控指标包含的字符串对应的监控指标,由于哈希值之间的比较只是数值进行比较,相比传统的字符串比较能更快速的确定字符串对应的监控指标,进而提高了监控指标对应监控数据上报的效率。
附图说明
图1为一个实施例中数据上报方法的流程示意图;
图2为一个实施例中监控数据上报事件是否触发步骤的流程示意图;
图3为一个实施例中对上报数据进行处理的方法的流程示意图;
图4为一个实施例中第二服务器处理所述监控数据步骤的流程示意图;
图5为一个实施例中数据上报装置的结构示意图;
图6为一个实施例中事件监控模块的结构示意图;
图7为一个实施例中哈希计算模块的结构示意图;
图8为一个实施例中对上报数据进行处理的装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图1所示,在一个实施例中,提供了一种数据上报方法,该方法包括如下步骤:
步骤101,监控数据上报事件是否触发。若是,则进入步骤102,若否,
则结束。
步骤102,获取数据上报事件对应待监控指标包含的字符串。
待监控指标是指终端中需要监控的对象,预先将待监控指标与数据上报事件进行绑定,终端中的探针负责监控数据上报事件是否触发,当数据上报事件触发后,进一步的确定数据上报事件对应的待监控指标,待监控指标为一串字符。例如,数据上报事件为用户点击游戏充值按钮20次的事件,该数据上报事件绑定的监控指标为“client_charge_button_click”当点击充值按钮被点击的次数达到20次时,触发数据上报事件。
探针以探针库的形式嵌入到终端中,根据终端的类型,提供了多种类型的探针,包括C++、PHP以及JAVA探针。探针也可以以独立进程的形式运行在服务器中。服务器可以通过远程控制对探针库的配置进行修改。
步骤103,通过多种哈希算法对字符串进行多次哈希计算得到相对应的多个字符串哈希值。
哈希值为一段数据唯一且极其紧凑的数值表示形式,对字符串进行哈希计算得到的字符串哈希值能唯一表示该字符串。具体的,哈希算法包括MD4哈希算法、MD5哈希算法等传统常用的哈希算法。每种哈希算法对字符串进行计算都能得到一个对应的字符串哈希值。
步骤104,根据预设的监控指标与多个指标哈希值的对应关系,确定与多个字符串哈希值相等的多个指标哈希值对应的监控指标。
步骤105,采集与监控指标对应的监控数据并上报。
本实施例中,探针库中的预设的监控指标以列表形式保存,每个监控指标都有唯一对应的多个指标哈希值。将多个字符串哈希值与多个指标哈希值进行一一比对,若两者的哈希值完全相等,则待监控指标与该监控指标列表中的监控指标匹配。通过将指标哈希值与字符串哈希值比较,能快速确定字符串对应的监控指标。由于哈希值计算通常采用的是位运算,相比字符串比较减少系统资源的开销。在一个实施例中,监控数据包括:监控指标、监控记录等信息。
上述数据上报方法,根据字符串哈希值和指标哈希值的比较,可以快速确定待监控指标包含的字符串对应的监控指标,由于哈希值之间的比较只是数值进行比较,相比传统的字符串比较能更快速的确定字符串对应的监控指标,进而提高了监控指标对应监控数据上报的效率。
如图2所示,在一个实施例中,步骤101,监控数据上报事件是否触发的步骤包括:
步骤201,读取待监控指标以及取样值。
从探针库配置的待监控指标列表中读取待监控指标以及待监控指标对应的取样值。取样值是指上报给服务器的数值精度。表1-1为一个实施例中待监控指标与取样值之间的对应关系表。
表1-1
监控指标 取样值 备注
client_charge_button_click 5 充值按钮
client_ready_button_click 4 开始按钮
client_crash_count 3 进程崩溃
例如,待监控指标为玩家点击充值按钮,此时待监控指标命名为“client_charge_button_click”如果取样值设置为1,则玩家每次点击充值按钮时,都会向服务器上报一次“client_charge_button_click,count:1”的数据,这里的1即为取样值,当取样值为5次时,只有当玩家点击充值按钮5次后才会向服务器上报一次“client_charge_button_click,count:5”的数据。在一个实施例中,探针库中的待监控指标列表与取样值缓存在终端的内存中,有效减少了磁盘IO和系统调用。极大提高了数据读取的效率。
步骤202,当待监控指标对应的监控事件被触发时,更新待监控指标对应的指标值。
步骤203,判断更新后的指标值与取样值是否相等,若是,则数据上报事件触发。若否,则数据上报事件未触发。
本实施例中,监控事件与待监控指标绑定,指标值是探针采集到的数值。指标值与取样值相等表示此次触发的监控事件与数据上报事件是同一个事件,满足数据上报的条件。若不相等,则表示触发的监控事件不满足数据上报的条件。
在一个实施例中,对事件进行监控,若监控到有事件被触发时,获取该事件对应的字符串以及指标值,通过对所述字符串进行哈希计算得到哈希值;根据预设的待监控指标与指标哈希值的对应关系,确定与所述哈希值相等的指标哈希值对应的待监控指标,该事件即为该待监控指标对应的监控事件,判断指标值是否满足取样值,若是,则数据上报事件触发。
具体的,待监控指标以及取样值存储在二维数组中,其中第一维存放的是待监控指标,第二维存放的是取样值。待监控指标对应的监控事件被触发时,通过哈希值比较确定待监控指标在二维数组中的位置,将监控事件被触发后更新得到的指标值与取样值进行比较,若与取样值相等,则数据上报事件触发。例如,待监控指标为“client_charge_button_click”,数据上报事件为玩家点击充值按钮20次即取样值为20。监控事件为玩家点击充值按钮,玩家每点击1次充值按钮,更新一次指标值即指标值加1,通过遍历二维数组得到待监控指标为“client_charge_button_click”的位置,判断更新后的指标值与该二维数组中取样值是否相等。相等表示玩家点击充值按钮20次的事件触发。否则,继续监控玩家点击充值按钮的事件。
传统的数据上报处理方式,每触发一次事件终端都向服务器上报一次数据,增加了客户端与服务器之间的通讯量,占用大量的用户带宽资源,同时造成服务器负载过大。采用上述数据上报方法,只有当采集到数据满足与取样值相等的情况才触发数据上报事件,减轻了数据上报的次数,节约带宽并减轻了服务器的负载。
理解上述方案的技术人员意识到,如下所述的方案亦可达到同样的效果:对事件进行监控,若监控到有事件被触发时,获取该事件对应的字符串,通过对所述字符串进行哈希计算得到哈希值;根据预设的待监控指标与指标哈希值的对应关系,确定与所述哈希值相等的指标哈希值对应的待监控指标,更新与待监控指标对应的指标值并且判断指标值是否满足取样值,若是,则数据上报事件触发。确定数据上报事件触发后,采集与待监控指标对应的监控数据并上报。其中,监控数据可包括待监控指标、时间戳、取样值等。
在一个实施例中,步骤103,通过多种哈希算法对字符串进行多次哈希计算得到相对应的多个字符串哈希值包括:通过两种哈希算法对字符串进行哈希计算得到对应的两个字符串哈希值;将两个字符串哈希值按照由小到大的顺序依次进行排序得到第一字符串哈希值与第二字符串哈希值。
在一个实施例中,指标哈希值包括第一指标哈希值和第二指标哈希值,第一指标哈希值与第二指标哈希值是按照由小到大的顺序进行排列的。
本实施例中,步骤104包括:将第一字符串哈希值和第二字符串哈希值分别与预设的监控指标与第一指标哈希值和第二指标哈希值的对应关系中的第一指标哈希值和第二指标哈希值依次进行比较;当第一字符串哈希值不等于第一指标哈希值时,则停止后续第二字符串哈希值与第二指标哈希值的比较;当第一字符串哈希值与第一指标哈希值相等且第二字符串哈希值与第二指标哈希值相等时,确定所述第一指标哈希值和第二指标哈希值对应的监控指标。
如图3所示,在一个实施例中,提供的一种对上报数据进行处理的方法,该方法包括如下步骤:
步骤301,第一服务器接收监控数据并存储。
步骤302,第一服务器判断监控数据的存储空间是否达到预设阈值,若是,则对监控数据进行压缩处理。
步骤303,第一服务器根据上报监控数据的终端类型以及当前数据上报的网络环境自适应调整数据上报方式,并每间隔一段预设时间以数据上报方式对经过压缩处理的监控数据上报至第二服务器。
步骤304,第二服务器处理监控数据。
本实施例中,通过部署在离被监控终端地理位置最近的第一服务器接收监控数据,进一步的,第一服务器根据监控数据接收的前后顺序依次存储在存储器中。具体的,存储器为内存。当存储器中存储空间不足时,通过数据压缩技术对监控数据进行压缩。达到节约存储空间的目的,同时压缩的数据在网络传输中可以节约流量。将监控数据上报到离被监控终端地理位置最近的第一服务器,使得监控数据能及时被收集。
第一服务器每间隔一段预设时间将经过压缩处理的监控数据上报到数据管理后台的第二服务器中,由第二服务器对监控数据进行处理。优选的,预设时间为5分钟。本实施例中,第一服务器通过自适应调整数据上报方式,使得数据的上报方式与网络环境相匹配,最大限度的保证了数据上报效率的最大化。数据上报方式包括:TCP上报方式、UDP上报方式、HTTP上报方式以及文本文件上报。
具体的,若终端为智能终端,例如,智能手机、平板电脑或机顶盒,则可以根据当前网络环境选择TCP上报方式、HTTP上报方式以及文本文件上报方式中的一种来上报监控数据;若终端为服务器,则采用UDP上报方式上报监控数据。通过在被监控的服务器上部署UDP服务器来上报监控数据;若终端没有连入互联网,则采用文本文件上报方式,手动提取监控数据。采用自适应调整方式为每个终端选择合适的数据上报方式,提高了监控数据的上报效率。
如图4所示,在一个实施例中,步骤304,第二服务器处理监控数据包括:
步骤401,第二服务器接收压缩处理的监控数据并进行解压。
步骤402,第二服务器判断监控指标是否已注册。若否,则进入步骤403,若是,则进入步骤404。
步骤403,对监控指标进行注册。
步骤404,获取监控标识对应的数据处理方式,根据数据处理方式对监控记录进行统计分析得到监控统计数据。
本实施例中,监控数据包括:监控指标、监控标识以及监控记录,监控标识对应唯一的监控指标。监控记录中包含时间戳、取样值等相关信息。对监控数据进行后台处理的第二服务器接收到来自第一服务器传输过来的经过压缩处理的监控数据,进一步的,对监控数据进行解压得到监控指标、监控标识和监控记录。在第二服务器已经注册的监控指标中进行查询。若未查询到监控数据中的监控指标,则表示该监控指标未注册,进一步的,自动注册该监控指标。若已注册,则根据与监控标识对应的数据处理方式对监控记录进行分析统计。本实施例中,终端只需上报监控数据,无需对监控指标进行注册,使得上报的监控数据可以灵活多变。
如下表1-1为监控标识与数据处理方式的对应关系表。表1-2为监控数据中监控标识、监控指标以及监控记录的对应关系表。
表1-1
监控标识 数据处理方式 示例
0 统计上报数据之和 如:监控错误出现的次数
1 统计上报数据出现的频率 如:某段时间出现错误的人数
2 统计上报数据的平均值 如:某个服务器访问时延
3 统计每一个进程的链接数 如:某类服务器的总链接数
4 存储字符串 如:字符串格式的堆栈信息
表1-2
监控标识 监控指标 监控记录样例
0 client_charge_button_click "client_charge_button_click":"10"
1 server_user_login "server_user_login":"40001"
2 server_login_time "server_login_time":"400"
3 server_user_count "server_user_count":"10","pid":1008
4 client_crash "client_crash":"funcitong call...."
例如,监控数据中的监控标识是0,则监控指标为“client_charge_button_click”,取样值为10,根据监控标识0得到对应的数据处理方式是统计上报数据之和,统计“client_charge_button_click”的取样值。
在一个实施例中,该方法还包括:第二服务器从监控统计数据中选取待分析的监控统计数据,并将待分析的监控统计数据以图表的方式进行展示。
管理人员可以根据需求自由选定需要分析的监控统计数据,将监控统计数据生成图表形象的展示出来。具体的图表包括但不限于以下至少一种:表格、曲线图、柱状图以及饼图,以上方法方便管理人员分析监控数据。
在一个实施例中,提供的数据上报方法还包括:第二服务器为监控统计数据设置预警条件,当监控统计数据达到预警条件时,发送预警提示信息。
本实施例中,通过设置预警条件,当监控统计数据出现异常时,可以进行预警,及时提醒管理人员预防风险。具体的,可以通过短信或邮件的形式发送预警邮件给管理人员。
如图5所示,在一个实施例中,提供的一种数据上报装置,该装置包括:
数据获取模块50,用于监控数据上报事件是否触发,若是,则确定所述数据上报事件对应的待监控指标包含的字符串。
哈希计算模块51,用于通过多种哈希算法对所述字符串进行多次哈希计算得到相对应的多个字符串哈希值。
指标获取模块52,用于根据预设的监控指标与多个指标哈希值的对应关系,确定与多个字符串哈希值相等的多个指标哈希值对应的监控指标。
数据上报模块53,用于采集与所述监控指标对应的监控数据并上报。
如图6所示,在一个实施例中,数据获取模块50包括事件监控模块501,用于监控数据上报事件是否触发,该事件监控模块501包括:
信息读取模块5011,用于读取待监控指标以及取样值;
指标值更新模块5012,用于当待监控指标对应的监控事件被触发时,更新所述待监控指标对应的指标值;
事件触发判断模块5013,用于判断所述更新后的指标值与取样值是否相等,若是,则数据上报事件触发,否则,数据上报事件未触发。
如图7所示,在一个实施例中,哈希计算模块51包括:
哈希值获取模块511,用于通过两种哈希算法对字符串进行哈希计算得到对应的两个字符串哈希值。
哈希值排序模块512,用于将所述两个字符串哈希值按照由小到大的顺序依次进行排序得到第一字符串哈希值与第二字符串哈希值。
在一个实施例中,指标哈希值包括第一指标哈希值和第二指标哈希值,所述第一指标哈希值与第二指标哈希值是按照由小到大的顺序进行排列的;所述指标获取模块52还用于将第一字符串哈希值和第二字符串哈希值分别与预设的监控指标与第一指标哈希值和第二指标哈希值的对应关系中的第一指标哈希值和第二指标哈希值依次进行比较;当第一字符串哈希值不等于第一指标哈希值时,则停止后续第二字符串哈希值与第二指标哈希值的比较;当第一字符串哈希值与第一指标哈希值相等且第二字符串哈希值与第二指标哈希值相等时,确定所述第一指标哈希值和第二指标哈希值对应的监控指标。
如图8所示,在一个实施例中,提供的一种对上报数据进行处理的装置,该装置包括:
第一服务器81,用于接收监控数据并存储。
第一服务器81还用于判断监控数据的存储空间是否达到预设阈值,若是,则对监控数据进行压缩处理。
第一服务器81还用于根据上报监控数据的终端类型以及当前数据上报的网络环境自适应调整数据上报方式,并每间隔一段预设时间以数据上报方式对经过压缩处理的监控数据上报至第二服务器82。
第二服务器82,用于处理监控数据。
在一个实施例中,第二服务器82,用于接收压缩处理的监控数据并进行解压。
第二服务器82还用于判断监控指标是否已注册,若否,则对监控指标进行注册,若是,则获取监控标识对应的数据处理方式,根据数据处理方式对监控记录进行统计分析得到监控统计数据。本实施例中,监控数据包括:监控指标、监控标识以及监控记录。
在一个实施例中,第二服务器82还用于从监控统计数据中选取待分析的监控统计数据,并将待分析的监控统计数据以图表的方式进行展示。
在一个实施例中,第二服务器82还用于为监控统计数据设置预警条件,当监控统计数据达到预警条件时,发送预警提示信息。
以上实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种数据上报方法,所述方法包括:
监控数据上报事件是否触发,若是,则获取所述数据上报事件对应的待监控指标包含的字符串;
通过多种哈希算法对所述字符串进行多次哈希计算得到相对应的多个字符串哈希值;
根据预设的监控指标与多个指标哈希值的对应关系,确定与多个字符串哈希值相同的多个指标哈希值对应的监控指标;
采集与所述监控指标对应的监控数据并上报。
2.根据权利要求1所述的方法,其特征在于,所述监控数据上报事件是否触发的步骤,包括:
读取待监控指标以及取样值;
当待监控指标对应的监控事件被触发时,更新所述待监控指标对应的指标值;
判断所述更新后的指标值与取样值是否相等,若是,则数据上报事件触发,否则,数据上报事件未触发。
3.根据权利要求1所述的方法,其特征在于,所述通过多种哈希算法对所述字符串进行多次哈希计算得到相对应的多个字符串哈希值步骤,包括:
通过两种哈希算法对字符串进行哈希计算得到对应的两个字符串哈希值;
将所述两个字符串哈希值按照由小到大的顺序依次进行排序得到第一字符串哈希值与第二字符串哈希值。
4.根据权利要求3所述的方法,其特征在于,所述指标哈希值包括第一指标哈希值和第二指标哈希值,所述第一指标哈希值与第二指标哈希值是按照由小到大的顺序进行排列的;所述根据预设的监控指标与多个指标哈希值的对应关系,确定与多个字符串哈希值相等的多个指标哈希值对应的监控指标的步骤包括:
将第一字符串哈希值和第二字符串哈希值分别与第一指标哈希值和第二指标哈希值依次进行比较;
当第一字符串哈希值不等于第一指标哈希值时,则停止后续第二字符串哈希值与第二指标哈希值的比较;
当第一字符串哈希值与第一指标哈希值相等且第二字符串哈希值与第二指标哈希值相等时,确定所述第一指标哈希值和第二指标哈希值对应的监控指标。
5.一种数据上报装置,其特征在于,所述装置包括:
数据获取模块,用于监控数据上报事件是否触发,若是,则获取所述数据上报事件对应的待监控指标包含的字符串;
哈希计算模块,用于通过多种哈希算法对所述字符串进行多次哈希计算得到相对应的多个字符串哈希值;
指标获取模块,用于根据预设的监控指标与多个指标哈希值的对应关系,确定与多个字符串哈希值相同的多个指标哈希值对应的监控指标;
数据上报模块,用于采集与所述监控指标对应的监控数据并上报。
6.根据权利要求5所述的装置,其特征在于,所述数据获取模块包括事件监控模块,用于监控数据上报事件是否触发,所述事件监控模块包括:
信息读取模块,用于读取待监控指标以及取样值;
指标值采集模块,用于当待监控指标对应的监控事件被触发时,更新所述待监控指标对应的指标值;
事件触发判断模块,用于判断所述更新后的指标值与取样值是否相等,若是,则数据上报事件触发,否则,数据上报事件未触发。
7.根据权利要求5所述的装置,其特征在于,所述哈希计算模块包括:
哈希值获取模块,用于通过两种哈希算法对字符串进行哈希计算得到对应的两个字符串哈希值;
哈希值排序模块,用于将所述两个字符串哈希值按照由小到大的顺序依次进行排序得到第一字符串哈希值与第二字符串哈希值。
8.根据权利要求7所述的装置,其特征在于,所述指标哈希值包括第一指标哈希值和第二指标哈希值,所述第一指标哈希值与第二指标哈希值是按照由小到大的顺序进行排列的;所述指标获取模块还用于将第一字符串哈希值和第二字符串哈希值分别与第一指标哈希值和第二指标哈希值依次进行比较;当第一字符串哈希值不等于第一指标哈希值时,则停止后续第二字符串哈希值与第二指标哈希值的比较;当第一字符串哈希值与第一指标哈希值相等且第二字符串哈希值与第二指标哈希值相等时,确定所述第一指标哈希值和第二指标哈希值对应的监控指标。
9.一种对上报数据进行处理的方法,所述方法包括:
第一服务器接收监控数据并存储,所述监控数据为来自如权利要求1至4中任一项所述的数据上报方法所上报的数据;
所述第一服务器判断所述监控数据的存储空间是否达到预设阈值,若是,则对所述监控数据进行压缩处理;
所述第一服务器根据上报所述监控数据的终端类型以及当前数据上报的网络环境自适应调整数据上报方式,并每间隔一段预设时间以所述数据上报方式对经过压缩处理的监控数据上报至第二服务器;
所述第二服务器接收并处理所述接收到的监控数据。
10.根据权利要求9所述的方法,其特征在于,所述监控数据包括:监控指标、监控标识以及监控记录,所述第二服务器处理所述监控数据的步骤包括:
第二服务器接收所述压缩处理的监控数据并进行解压;
第二服务器判断监控指标是否已注册,若否,则对所述监控指标进行注册,若是,则获取监控标识对应的数据处理方式,根据所述数据处理方式对监控记录进行统计分析得到监控统计数据。
11.一种对上报数据进行处理的装置,其特征在于,所述装置包括:
第一服务器,用于接收监控数据并存储,所述监控数据为来自如权利要求1至4中任一项所述的数据上报装置所上报的数据;
所述第一服务器还用于判断所述监控数据的存储空间是否达到预设阈值,若是,则对所述监控数据进行压缩处理;
所述第一服务器还用于根据上报所述监控数据的终端类型以及当前数据上报的网络环境自适应调整数据上报方式,并每间隔一段预设时间以所述数据上报方式对经过压缩处理的监控数据上报至第二服务器;
所述第二服务器,用于接收并处理所述接收到的监控数据。
12.根据权利要求11所述的装置,其特征在于,所述监控数据包括:监控指标、监控标识以及监控记录,所述第二服务器还用于接收所述压缩处理的监控数据并进行解压;
第二服务器还用于判断监控指标是否已注册,若否,则对所述监控指标进行注册,若是,则获取监控标识对应的数据处理方式,根据所述数据处理方式对监控记录进行统计分析得到监控统计数据。
CN201410747843.8A 2014-12-09 2014-12-09 数据上报方法、对上报数据进行处理的方法和装置 Active CN105743721B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410747843.8A CN105743721B (zh) 2014-12-09 2014-12-09 数据上报方法、对上报数据进行处理的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410747843.8A CN105743721B (zh) 2014-12-09 2014-12-09 数据上报方法、对上报数据进行处理的方法和装置

Publications (2)

Publication Number Publication Date
CN105743721A true CN105743721A (zh) 2016-07-06
CN105743721B CN105743721B (zh) 2019-02-15

Family

ID=56238203

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410747843.8A Active CN105743721B (zh) 2014-12-09 2014-12-09 数据上报方法、对上报数据进行处理的方法和装置

Country Status (1)

Country Link
CN (1) CN105743721B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106789189A (zh) * 2016-12-05 2017-05-31 深圳市彬讯科技有限公司 一种soa服务实时监控上报与性能度量系统
CN107092484A (zh) * 2017-03-27 2017-08-25 武汉斗鱼网络科技有限公司 将C语言层的功能按键信息上报至Java层的方法及系统
CN108111328A (zh) * 2016-11-24 2018-06-01 腾讯科技(深圳)有限公司 一种异常处理方法及装置
CN111090655A (zh) * 2019-12-27 2020-05-01 北京明略软件系统有限公司 基于监控数据的预警方法及装置、电子设备和存储介质
CN112311577A (zh) * 2019-07-31 2021-02-02 中国移动通信集团广东有限公司 一种监控指标数据管理方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100106696A1 (en) * 2007-02-13 2010-04-29 Alexis Tamas File management method
CN103108033A (zh) * 2013-01-09 2013-05-15 广东一一五科技有限公司 文件上传方法及系统
CN103412916A (zh) * 2013-08-07 2013-11-27 北京京东尚科信息技术有限公司 一种监控系统的多维度数据存储、检索方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100106696A1 (en) * 2007-02-13 2010-04-29 Alexis Tamas File management method
CN103108033A (zh) * 2013-01-09 2013-05-15 广东一一五科技有限公司 文件上传方法及系统
CN103412916A (zh) * 2013-08-07 2013-11-27 北京京东尚科信息技术有限公司 一种监控系统的多维度数据存储、检索方法及装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108111328A (zh) * 2016-11-24 2018-06-01 腾讯科技(深圳)有限公司 一种异常处理方法及装置
CN108111328B (zh) * 2016-11-24 2021-03-26 腾讯科技(深圳)有限公司 一种异常处理方法及装置
CN106789189A (zh) * 2016-12-05 2017-05-31 深圳市彬讯科技有限公司 一种soa服务实时监控上报与性能度量系统
CN107092484A (zh) * 2017-03-27 2017-08-25 武汉斗鱼网络科技有限公司 将C语言层的功能按键信息上报至Java层的方法及系统
CN112311577A (zh) * 2019-07-31 2021-02-02 中国移动通信集团广东有限公司 一种监控指标数据管理方法、装置、电子设备及存储介质
CN111090655A (zh) * 2019-12-27 2020-05-01 北京明略软件系统有限公司 基于监控数据的预警方法及装置、电子设备和存储介质
CN111090655B (zh) * 2019-12-27 2023-11-03 北京明略软件系统有限公司 基于监控数据的预警方法及装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN105743721B (zh) 2019-02-15

Similar Documents

Publication Publication Date Title
CN106940679B (zh) 数据处理方法及装置
CN105743721A (zh) 数据上报方法、对上报数据进行处理的方法和装置
CN105391742B (zh) 一种基于Hadoop的分布式入侵检测系统
CN107797894B (zh) App用户行为分析方法和装置
JP6708219B2 (ja) ログ分析システム、方法およびプログラム
CN109726364B (zh) 用电量异常检测方法、装置、终端及计算机可读存储介质
CN110336838B (zh) 账号异常检测方法、装置、终端及存储介质
CN106294219A (zh) 一种设备识别、数据处理方法、装置及系统
US20150066813A1 (en) Outage window scheduler tool
CN106887104A (zh) 一种变频采样系统及其方法
CN114325405A (zh) 电池组一致性分析方法、建模方法、装置、设备及介质
JP2022535442A (ja) 産業オートメーション制御システムまたは電力システムからのデータの保存を促進するための方法および装置
US10459730B2 (en) Analysis system and analysis method for executing analysis process with at least portions of time series data and analysis data as input data
CN112101692B (zh) 移动互联网质差用户的识别方法及装置
CN102801548A (zh) 一种智能预警的方法、装置及信息系统
CN107094306B (zh) 终端性能评估方法及装置
CN117041229B (zh) 基于VoLTE技术的主叫等待气象多媒体播放系统及方法
CN113123955B (zh) 柱塞泵异常检测方法、装置、存储介质及电子设备
CN112286987A (zh) 基于Apriori算法的电力物联异常告警压缩方法
CN111080362A (zh) 广告监测系统及方法
JP6625839B2 (ja) 負荷実績データ判別装置、負荷予測装置、負荷実績データ判別方法及び負荷予測方法
US20160292302A1 (en) Methods and systems for inferred information propagation for aircraft prognostics
CN113434869A (zh) 基于威胁感知大数据和人工智能的数据处理方法及ai系统
JP2016014980A (ja) ログ取込抽出システム
JP6341212B2 (ja) 情報収集システム、サーバ装置、エッジ装置、制御方法、及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant