CN102882705A - 终端设备上报日志的方法及日志上报系统 - Google Patents
终端设备上报日志的方法及日志上报系统 Download PDFInfo
- Publication number
- CN102882705A CN102882705A CN2012103212671A CN201210321267A CN102882705A CN 102882705 A CN102882705 A CN 102882705A CN 2012103212671 A CN2012103212671 A CN 2012103212671A CN 201210321267 A CN201210321267 A CN 201210321267A CN 102882705 A CN102882705 A CN 102882705A
- Authority
- CN
- China
- Prior art keywords
- reporting policy
- terminal equipment
- daily record
- application
- log
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Telephonic Communication Services (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种终端设备上报日志的方法及日志上报系统。该方法包括:终端设备向日志服务器发送应用上报策略请求,携带应用数信息;日志服务器接收应用上报策略请求,根据应用数信息,响应所述应用上报策略请求,向终端设备返回应用上报策略;终端设备根据返回的应用上报策略,向日志服务器发送日志上报策略请求;日志服务器接收日志上报策略请求,根据应用数信息、上报日志信息数据的连接频次以及网络带宽信息,响应所述日志上报策略请求,向终端设备返回日志上报策略;终端设备中的各应用根据返回的日志上报策略,向日志服务器上报日志信息数据。应用本发明,可以提高日志信息数据上报的实时性以及资源利用率。
Description
技术领域
本发明涉及信息传输技术,尤其涉及一种终端设备上报日志的方法及日志上报系统。
背景技术
随着计算机应用技术的迅速发展,现有的终端设备一般都具备日志的功能,用于记录终端设备中各应用的运行日志信息数据。这样,在后续流程中,通过查看终端设备记录的日志信息数据,可以获取终端设备的运行状态,便于管理人员和维护人员能够更加方便地分析终端设备的运行数据,解决运行中各应用出现的技术故障,并在一定程度上预测终端设备中相应应用未来可能发生的异常,从而规避未来出现的技术故障,保障终端设备的正常运行。
对于应用提供商来说,利用现有的互联网技术,还可以通过控制终端设备的日志信息数据上报策略,例如,设置终端设备将记录的日志信息数据向日志服务器上报,从而可以便于管理人员和维护人员分析日志信息,实现远程分析、监控终端的运行状态。
图1为现有终端设备上报日志的方法流程示意图。参见图1,该流程包括:
步骤101,终端设备启动,向日志服务器发送应用上报策略请求;
本步骤中,终端设备在启动后,向日志服务器发送应用上报策略请求,请求获取以何种方式上报相关的应用。
步骤102,日志服务器接收应用上报策略请求,响应所述应用上报策略请求,向终端设备返回应用上报策略;
本步骤中,日志服务器接收到应用上报策略请求后,根据应用运营提供商预先设置的应用策略获取方式,例如,是集中获取策略还是分开获取策略,向终端设备返回相应的应用上报策略。举例来说,如果预先设置的应用策略获取方式为集中获取策略,则向终端设备返回集中获取策略;如果预先设置的应用策略获取方式为分开获取策略,则向终端设备返回分开获取策略。
步骤103,终端设备根据返回的应用上报策略,向日志服务器发送日志上报策略请求;
本步骤中,终端设备根据返回的应用上报策略,例如,如果应用上报策略为集中获取策略,则终端设备将各应用信息封装在日志上报策略请求中,发送至日志服务器;如果应用上报策略为分开获取策略,则终端设备中的各应用,分别将自身应用信息封装在日志上报策略请求中,独立地发送至日志服务器,每一应用发送一个日志上报策略请求。
步骤104,日志服务器接收日志上报策略请求,响应所述日志上报策略请求,向终端设备返回日志上报策略;
本步骤中,日志服务器接收日志上报策略请求,根据预先设置的日志上报策略配置方式,为相应的应用分配日志上报策略,其中,日志上报策略包括:集中上报数据以及分开上报数据。
如果日志服务器预先设置采用集中上报数据的日志上报策略,且终端设备采用分开获取策略,则日志服务器将各应用的集中上报数据的策略携带在相应应用的日志上报策略请求响应中,分别输出至终端设备的各应用,对应每一应用,返回一个日志上报策略请求响应;
如果日志服务器预先设置采用集中上报数据的日志上报策略,且终端设备采用集中获取策略,则日志服务器将集中上报数据的策略携带在日志上报策略请求响应中,输出至终端设备,日志服务器向终端设备发送一份日志上报策略请求响应;
如果日志服务器预先设置采用分开上报数据的日志上报策略,其处理流程与确定采用集中上报数据的日志上报策略相类似。
也就是说,如果日志服务器执行的是集中获取策略分开上报数据,或者,集中获取策略集中上报数据,日志服务器将该终端设备的各应用对应的日志上报策略集中发送至终端设备;如果日志服务器执行的是分开获取策略分开上报数据,或者,分开获取策略集中上报数据,各应用需分别向日志服务器发送日志上报策略请求,日志服务器将该终端设备的每一应用对应的日志上报策略分别发送至终端设备,每个应用接收属于自己相应的日志上报策略。
步骤105,终端设备中的各应用根据返回的日志上报策略,向日志服务器上报日志信息数据。
本步骤中,如果日志上报策略为分开上报数据,则各应用分别记录自身的日志信息数据,并彼此相互独立地向日志服务器上报记录的日志信息数据;如果日志上报策略为集中上报数据,则各应用分别记录自身的日志信息数据,并将记录的各日志信息数据进行封装后,形成日志信息数据包,统一上报至日志服务器。
由上述可见,现有终端设备上报日志的方法,由日志服务器根据预先的设置配置终端设备的日志上报策略,如果终端设备采用集中上报数据的日志上报策略,在需要上报的总应用对应的日志信息数据较多的情况下,则将导致终端设备进行集中封装的上报日志信息数据包会非常冗长,例如,上报的日志信息数据包中包含如下信息:
A-xxxxx;
B-xxxxx;
C-xxxxx;
...
Z-xxxxx。
其中,A、B、C、…、Z分别表示各应用(应用标识),xxxxx为记录的相应日志信息数据。随着应用的增加,使得上报的日志信息数据包长度会相应增长,不仅使得传输所需的时间较长,导致日志上报效率较低,降低了传输的实时性;而且,日志服务器后续解析日志信息数据包所需的时间也较长,不能有效利用日志服务器的空闲资源;进一步地,将各应用待上报的日志信息数据绑定在一起,灵活性较差,不能满足用户个性化的日志上报需求。
而如果终端设备采用分开上报数据发送日志信息数据,每个应用都需要分别与日志服务器建立连接,这样,频繁建立连接会给日志服务器带来巨大的资源开销,使得资源利用率较低、日志上报效率较低;进一步地,还需对每个应用进行单独管理,以便各应用可独立获取执行自己的策略,进一步增加了资源开销。
发明内容
本发明的实施例提供一种终端设备上报日志的方法,提高日志信息数据上报的实时性以及资源利用率。
本发明的实施例还提供一种日志上报系统,提高日志信息数据上报的实时性以及资源利用率。
为达到上述目的,本发明实施例提供的一种终端设备上报日志的方法,包括:
终端设备向日志服务器发送应用上报策略请求,携带应用数信息;
日志服务器接收应用上报策略请求,根据应用数信息,响应所述应用上报策略请求,向终端设备返回应用上报策略;
终端设备根据返回的应用上报策略,向日志服务器发送日志上报策略请求;
日志服务器接收日志上报策略请求,根据应用数信息、上报日志信息数据的连接频次以及网络带宽信息,响应所述日志上报策略请求,向终端设备返回日志上报策略;
终端设备中的各应用根据返回的日志上报策略,向日志服务器上报日志信息数据。
其中,所述根据应用数信息,响应所述应用上报策略请求,向终端设备返回应用上报策略包括:
日志服务器判断应用上报策略请求中携带的应用数是否超过预先设置的应用数阈值,如果是,响应所述应用上报策略请求,向终端设备返回分开获取策略的应用上报策略;否则,响应所述应用上报策略请求,向终端设备返回集中获取策略的应用上报策略。
其中,所述终端设备根据返回的应用上报策略,向日志服务器发送日志上报策略请求包括:
如果应用上报策略为集中获取策略,则终端设备将各应用信息封装在日志上报策略请求中,发送至日志服务器;如果应用上报策略为分开获取策略,则终端设备中的各应用,分别将自身应用信息封装在日志上报策略请求中,独立地发送至日志服务器。
其中,所述根据应用数信息,响应所述应用上报策略请求,向终端设备返回应用上报策略包括:
日志服务器判断应用上报策略请求中携带的应用数是否超过预先设置的应用数阈值,如果是,响应所述应用上报策略请求,向终端设备返回集中获取策略的应用上报策略,携带应用数阈值信息;否则,响应所述应用上报策略请求,向终端设备返回集中获取策略的应用上报策略。
其中,所述终端设备根据返回的应用上报策略,向日志服务器发送日志上报策略请求包括:
终端设备根据接收的应用数阈值信息,拆分该终端设备的应用为多个应用组,分别将每个应用组中包含的应用信息封装在日志上报策略请求中,发送至日志服务器。
其中,所述根据应用数信息、上报日志信息数据的连接频次以及网络带宽信息,响应所述日志上报策略请求,向终端设备返回日志上报策略包括:
如果日志服务器根据应用数信息、上报日志信息数据的连接频次以及网络带宽信息,确定采用集中上报数据的日志上报策略,且终端设备采用分开获取策略,则日志服务器将各应用的集中上报数据的日志上报策略携带在相应应用的日志上报策略请求响应中,分别输出至终端设备中的各应用;
如果日志服务器根据应用数信息、上报日志信息数据的连接频次以及网络带宽信息,确定采用集中上报数据的日志上报策略,且终端设备采用集中获取策略,则日志服务器将集中上报数据的日志上报策略携带在日志上报策略请求响应中,输出至终端设备;
如果日志服务器根据应用数信息、上报日志信息数据的连接频次以及网络带宽信息,确定采用分开上报数据的日志上报策略,且终端设备采用分开获取策略,则日志服务器将各应用的分开上报数据的日志上报策略携带在相应应用的日志上报策略请求响应中,分别输出至终端设备中的各应用;
如果日志服务器根据应用数信息、上报日志信息数据的连接频次以及网络带宽信息,确定采用分开上报数据的日志上报策略,且终端设备采用集中获取策略,则日志服务器将分开上报数据的日志上报策略携带在日志上报策略请求响应中,输出至终端设备。
其中,进一步包括:
监测终端设备中运行的应用数,如果监测得到的应用数超过预先设置的应用数阈值,触发将终端设备切换至分开获取策略分开上报数据;或者,触发将终端设备切换至集中获取策略集中上报数据;
在当前为分开获取策略分开上报数据的基础上,监测终端设备中运行的连接数,如果监测得到的连接数超过预先设置的连接数阈值,触发将终端设备切换至分开获取策略集中上报数据;或者,触发将终端设备切换至集中获取策略分开上报数据;
在当前为分开获取策略集中上报数据的基础上,监测终端设备中运行应用数,如果监测得到的应用数小于预先设置的应用数阈值,触发将终端设备切换至集中获取策略集中上报数据;或者,触发将终端设备切换至分开获取策略分开上报数据;
在当前为集中获取策略集中上报数据的基础上,监测终端设备中运行应用的实时性要求,统计应用的实时性要求信息,获取实时性要求超过预先设置的实时性阈值的应用数与总应用数的比率,如果获取的比率超过预先设置的比率阈值,触发将终端设备切换至集中获取策略分开上报数据;或者,触发将终端设备切换至分开获取策略集中上报数据。
其中,进一步包括:
在当前为分开获取策略分开上报数据的基础上,监测日志服务器资源开销是否超过预先设置的资源开销阈值、和/或,各应用并发上报时占用的总带宽资源是否超过预先设置的带宽资源阈值,如果是,触发将终端设备切换至分开获取策略集中上报数据;或者,触发将终端设备切换至集中获取策略分开上报数据。
其中,所述终端设备中的各应用根据返回的日志上报策略,向日志服务器上报日志信息数据包括:
如果日志上报策略为分开上报数据,则各应用分别记录自身的日志信息数据,并彼此相互独立地向日志服务器上报记录的日志信息数据;如果日志上报策略为集中上报数据,则各应用分别记录自身的日志信息数据,并将记录的各日志信息数据进行封装后,形成日志信息数据包,统一上报至日志服务器。
一种日志上报系统,该系统包括:终端设备以及日志服务器,其中,
终端设备,用于向日志服务器发送应用上报策略请求,携带应用数信息;根据返回的应用上报策略,向日志服务器发送日志上报策略请求;终端设备中的各应用根据返回的日志上报策略,向日志服务器上报日志信息数据;
日志服务器,用于接收应用上报策略请求,根据应用数信息,响应所述应用上报策略请求,向终端设备返回应用上报策略;接收日志上报策略请求,根据应用数信息、上报日志信息数据的连接频次以及网络带宽信息,响应所述日志上报策略请求,向终端设备返回日志上报策略;接收日志信息数据,进行存储。
所述终端设备包括:终端数据上报服务模块以及日志存储模块,其中,
日志存储模块,用于分别存储各应用在运行中生成的日志信息数据;
终端数据上报服务模块,用于向日志服务器发送应用上报策略请求,携带应用数信息;根据返回的应用上报策略,向日志服务器发送日志上报策略请求;根据返回的日志上报策略,从日志存储模块读取日志信息数据,向日志服务器上报日志信息数据。
所述终端数据上报服务模块包括:应用上报策略请求单元、日志上报策略请求单元以及日志信息数据上报单元,其中,
应用上报策略请求单元,用于向日志服务器发送应用上报策略请求,携带应用数信息;
日志上报策略请求单元,用于根据返回的应用上报策略,如果应用上报策略中包含应用数阈值信息,根据接收的应用数阈值信息,拆分该终端设备的应用为多个应用组,分别将每个应用组中包含的应用信息封装在日志上报策略请求中,发送至日志服务器;否则,向日志服务器发送日志上报策略请求;
日志信息数据上报单元,用于根据返回的日志上报策略,从日志存储模块读取日志信息数据,向日志服务器上报日志信息数据。
所述终端设备进一步包括:
日志信息数据处理模块,用于接收终端数据上报服务模块输出的日志信息数据,如果日志上报策略为分开上报数据,则将每一应用对应的日志信息数据独立地向日志服务器上报;如果日志上报策略为集中上报数据,则将接收的各日志信息数据进行封装后,形成日志信息数据包,统一上报至日志服务器。
所述应用上报策略包括:集中获取策略以及分开获取策略;
所述日志上报策略包括:集中上报数据以及分开上报数据。
将应用上报策略与日志上报策略进行组合,包括:集中获取策略集中上报数据、集中获取策略分开上报数据、分开获取策略分开上报数据以及分开获取策略集中上报数据。
所述日志服务器包括:系统端数据上报服务模块、策略存储模块以及日志信息数据存储模块,其中,
系统端数据上报服务模块,用于接收应用上报策略请求,根据应用数信息,响应所述应用上报策略请求,从策略存储模块获取应用上报策略,并向终端设备返回;接收日志上报策略请求,根据应用数信息、上报日志信息数据的连接频次以及网络带宽信息,响应所述日志上报策略请求,从策略存储模块获取日志上报策略,并向终端设备返回;接收日志信息数据,输出至日志信息数据存储模块;
策略存储模块,用于存储日志上报策略以及应用上报策略;
日志信息数据存储模块,用于存储接收的日志信息数据。
所述系统端数据上报服务模块包括:第一应用上报策略请求处理单元、日志上报策略请求单元以及日志信息数据接收单元,其中,
第一应用上报策略请求处理单元,用于接收应用上报策略请求,根据应用数信息,判断应用上报策略请求中携带的应用数是否超过预先设置的应用数阈值,如果是,响应所述应用上报策略请求,向终端设备返回分开获取策略的应用上报策略;否则,响应所述应用上报策略请求,向终端设备返回集中获取策略的应用上报策略;
日志上报策略请求单元,用于接收日志上报策略请求,根据应用数信息、上报日志信息数据的连接频次以及网络带宽信息,响应所述日志上报策略请求,从策略存储模块获取日志上报策略,并向终端设备返回;
日志信息数据接收单元,用于接收日志信息数据,输出至日志信息数据存储模块。
所述系统端数据上报服务模块包括:第二应用上报策略请求处理单元、日志上报策略请求单元以及日志信息数据接收单元,其中,
第二应用上报策略请求处理单元,用于接收应用上报策略请求,根据应用数信息,判断应用上报策略请求中携带的应用数是否超过预先设置的应用数阈值,如果是,响应所述应用上报策略请求,向终端设备返回集中获取策略的应用上报策略,携带应用数阈值信息;否则,响应所述应用上报策略请求,向终端设备返回集中获取策略的应用上报策略;
日志上报策略请求单元,用于接收日志上报策略请求,根据应用数信息、上报日志信息数据的连接频次以及网络带宽信息,响应所述日志上报策略请求,从策略存储模块获取日志上报策略,并向终端设备返回;
日志信息数据接收单元,用于接收日志信息数据,输出至日志信息数据存储模块。
所述日志服务器进一步包括:数据上报监控模块以及策略调整模块,其中,
数据上报监控模块,用于监视终端设备上报日志信息数据的连接频次、当前网络带宽信息、实时性要求信息以及上报的应用数;
策略调整模块,如果监测得到的应用数超过预先设置的应用数阈值,触发将终端设备切换至分开获取策略分开上报数据;或者,触发将终端设备切换至集中获取策略集中上报数据;
在当前为分开获取策略分开上报数据的基础上,如果监测得到的连接数超过预先设置的连接数阈值、和/或,各应用并发上报时占用的总带宽资源超过预先设置的带宽资源阈值,触发将终端设备切换至分开获取策略集中上报数据;或者,触发将终端设备切换至集中获取策略分开上报数据;
在当前为分开获取策略集中上报数据的基础上,如果监测得到的应用数小于预先设置的应用数阈值,触发将终端设备切换至集中获取策略集中上报数据;或者,触发将终端设备切换至分开获取策略分开上报数据;
在当前为集中获取策略集中上报数据的基础上,统计应用的实时性要求信息,获取实时性要求超过预先设置的实时性阈值的应用数与总应用数的比率,如果获取的比率超过预先设置的比率阈值,触发将终端设备切换至集中获取策略分开上报数据;或者,触发将终端设备切换至分开获取策略集中上报数据。
由上述技术方案可见,本发明实施例提供的一种终端设备上报日志的方法及日志上报系统,终端设备向日志服务器发送应用上报策略请求,携带应用数信息;日志服务器接收应用上报策略请求,根据应用数信息,响应所述应用上报策略请求,向终端设备返回应用上报策略;终端设备根据返回的应用上报策略,向日志服务器发送日志上报策略请求;日志服务器接收日志上报策略请求,根据应用数信息、上报日志信息数据的连接频次以及网络带宽信息,响应所述日志上报策略请求,向终端设备返回日志上报策略;终端设备中的各应用根据返回的日志上报策略,向日志服务器上报日志信息数据。这样,各终端设备可以分别获取应用及日志上报策略,日志服务器可针对每个应用进行策略的灵活配置,可有效降低传输的大数据量,也能相应减少需要建立的连接数,使之在上报的实时性与资源利用率之间达成较佳平衡,从而综合提高了日志信息数据上报的实时性以及资源利用率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,以下将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地,以下描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员而言,还可以根据这些附图所示实施例得到其它的实施例及其附图。
图1为现有终端设备上报日志的方法流程示意图。
图2为本发明实施例终端设备上报日志的方法流程示意图。
图3为本发明实施例的应用上报策略以及日志上报策略的状态机示意图。
图4为本发明实施例终端设备在集中获取策略集中上报数据的策略下,上报日志的方法流程示意图。
图5为本发明实施例终端设备在集中获取策略分开上报数据的策略下,上报日志的方法流程示意图。
图6为本发明实施例终端设备在分开获取策略集中上报数据的策略下,上报日志的方法流程示意图。
图7为本发明实施例终端设备在分开获取策略分开上报数据的策略下,上报日志的方法流程示意图。
图8为本发明实施例日志上报系统结构示意图。
具体实施方式
以下将结合附图对本发明各实施例的技术方案进行清楚、完整的描述,显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例,都属于本发明所保护的范围。
现有终端设备上报日志的方法,由日志服务器根据预先的设置配置终端设备的日志上报策略,对于集中上报数据,虽然便于对上报的日志信息数据进行集中控制,但日志信息数据量大,实时性较差,且不能有效利用日志服务器的空闲资源,使得日志上报效率较低;而对于分开上报数据,虽然每个应用可以选择合适的时间点上报日志信息数据,但如果需要上报日志信息数据的应用较多,每个应用都需与日志服务器建立连接关系,导致频繁建立连接所需的资源开销巨大,给日志服务器带来极大的压力,使得资源利用率较低、日志上报效率较低,不能在实时性与资源利用率之间达成较佳平衡。
本发明实施例中,综合考虑终端设备上报的日志信息数据量以及终端设备与日志服务器之间的网络带宽信息,在终端设备侧设置终端数据上报服务模块,在日志服务器侧设置系统端数据上报服务模块,通过终端数据上报服务模块与系统端数据上报服务模块之间的信息交互,系统端数据上报服务模块根据终端设备上报的日志信息数据量以及网络带宽信息,动态调整日志上报策略,从而控制日志上报策略的灵活更改,使之在实时性与资源利用率之间达成较佳平衡。具体来说,
终端设备启动时,终端数据上报服务模块向系统端数据上报服务模块发送应用上报策略请求,携带应用数信息,请求该终端设备的应用上报策略配置信息,系统端数据上报服务模块根据该终端设备的应用数,向终端设备返回相应的应用上报策略,然后,终端设备根据接收的应用上报策略,请求日志上报策略,系统端数据上报服务模块根据应用数信息、上报日志信息数据的连接频次、当前网络带宽信息,确定该终端设备上报日志服务器所需的日志上报策略,并返回给终端设备,终端设备根据系统端数据上报服务模块返回的日志上报策略,执行相应的日志信息上报。
本发明实施例中,系统端数据上报服务模块中存储的应用上报策略及日志上报策略包括:集中获取策略集中上报数据、集中获取策略分开上报数据、分开获取策略分开上报数据以及分开获取策略集中上报数据。
实际应用中,系统端数据上报服务模块还可根据各终端设备的日志上报策略及当前网络带宽信息,实时动态更改日志服务器为终端设备配置的日志上报策略,从而在分开获取策略、集中获取策略、分开上报数据、集中上报数据之间进行灵活切换。
图2为本发明实施例终端设备上报日志的方法流程示意图。参见图2,该流程包括:
步骤201,终端设备向日志服务器发送应用上报策略请求,携带应用数信息;
本步骤中,终端设备在启动后,向日志服务器发送应用上报策略请求,携带该终端设备需要上报的应用数信息,请求获取以何种方式上报相关的应用。
步骤202,日志服务器接收应用上报策略请求,根据应用数信息,响应所述应用上报策略请求,向终端设备返回应用上报策略;
本步骤中,日志服务器接收到应用上报策略请求后,根据应用上报策略请求中携带的应用数信息,为终端设备配置相应的应用上报策略。
其中,应用上报策略包括:集中获取策略以及分开获取策略。
根据应用数信息,响应所述应用上报策略请求,向终端设备返回应用上报策略包括:
日志服务器判断应用上报策略请求中携带的应用数是否超过预先设置的应用数阈值,如果是,响应所述应用上报策略请求,向终端设备返回分开获取策略的应用上报策略;否则,响应所述应用上报策略请求,向终端设备返回集中获取策略的应用上报策略。
本步骤中,应用数阈值可以根据实际需要进行设置,例如,可以设置为100或200等数值。这样,日志服务器根据终端设备的应用数的不同,分别采用不同的应用上报策略,而非现有采用统一的应用上报策略,提高了应用上报策略配置的灵活性,从而可以在实时性与资源利用率之间达成较佳的平衡。具体来说,
对于应用数多的终端设备,为了避免采用集中获取策略导致的数据包长度过长、所需传输时间长、实时性较差的技术问题,可以采用分开获取策略;
对于应用数少的终端设备,为了避免采用分开获取策略导致的连接数较多、资源利用率较低的技术问题,可以采用集中获取策略。
举例来说,如果配置的应用上报策略为集中获取策略,则向终端设备返回集中获取策略;如果配置的应用上报策略为分开获取策略,则向终端设备返回分开获取策略。
实际应用中,根据应用数信息,响应所述应用上报策略请求,向终端设备返回应用上报策略也可以包括:
日志服务器判断应用上报策略请求中携带的应用数是否超过预先设置的应用数阈值,如果是,响应所述应用上报策略请求,向终端设备返回集中获取策略的应用上报策略,携带应用数阈值信息;否则,响应所述应用上报策略请求,向终端设备返回集中获取策略的应用上报策略。
步骤203,终端设备根据返回的应用上报策略,向日志服务器发送日志上报策略请求;
本步骤中,终端设备根据返回的应用上报策略,例如,如果应用上报策略为集中获取策略,则终端设备将各应用信息封装在日志上报策略请求中,发送至日志服务器;如果应用上报策略为分开获取策略,则终端设备中的各应用,分别将自身应用信息封装在日志上报策略请求中,独立地发送至日志服务器,每一应用发送一个日志上报策略请求。
如前所述,如果终端设备接收的集中获取策略中携带有应用数阈值信息,终端设备根据返回的应用上报策略,向日志服务器发送日志上报策略请求包括:
终端设备根据接收的应用数阈值信息,拆分该终端设备的应用为多个应用组,分别将每个应用组中包含的应用信息封装在日志上报策略请求中,发送至日志服务器。这样,既可避免应用数较多的情况下,需要每个应用与日志服务器分别建立连接,使得连接数过多,又可避免将所有应用信息封装在一起导致的数据包较长的问题。
步骤204,日志服务器接收日志上报策略请求,根据应用数信息、上报日志信息数据的连接频次以及网络带宽信息,响应所述日志上报策略请求,向终端设备返回日志上报策略;
本步骤中,日志服务器接收日志上报策略请求,根据应用数信息、上报日志信息数据的连接频次以及网络带宽信息,为相应的应用分配日志上报策略,其中,日志上报策略包括:集中上报数据以及分开上报数据。
根据应用数信息、上报日志信息数据的连接频次以及网络带宽信息,响应所述日志上报策略请求,向终端设备返回日志上报策略包括:
如果日志服务器根据应用数信息、上报日志信息数据的连接频次以及网络带宽信息,确定采用集中上报数据的日志上报策略,且终端设备采用分开获取策略,则日志服务器将各应用的集中上报数据的日志上报策略携带在相应应用的日志上报策略请求响应中,分别输出至终端设备中的各应用;
如果日志服务器根据应用数信息、上报日志信息数据的连接频次以及网络带宽信息,确定采用集中上报数据的日志上报策略,且终端设备采用集中获取策略,则日志服务器将集中上报数据的日志上报策略携带在日志上报策略请求响应中,输出至终端设备;
如果日志服务器根据应用数信息、上报日志信息数据的连接频次以及网络带宽信息,确定采用分开上报数据的日志上报策略,且终端设备采用分开获取策略,则日志服务器将各应用的分开上报数据的日志上报策略携带在相应应用的日志上报策略请求响应中,分别输出至终端设备中的各应用;
如果日志服务器根据应用数信息、上报日志信息数据的连接频次以及网络带宽信息,确定采用分开上报数据的日志上报策略,且终端设备采用集中获取策略,则日志服务器将分开上报数据的日志上报策略携带在日志上报策略请求响应中,输出至终端设备。
概括来说,如果日志服务器确定的是集中获取策略分开上报数据,或者,集中获取策略集中上报数据,日志服务器将该终端设备的各应用对应的日志上报策略集中发送至终端设备;如果日志服务器执行的是分开获取策略分开上报数据,或者,分开获取策略集中上报数据,各应用需分别向日志服务器发送日志上报策略请求,日志服务器将该终端设备的每一应用对应的日志上报策略分别发送至终端设备,每个应用接收属于自己相应的日志上报策略。
进一步地,实际应用中,日志服务器还可以对应用上报策略以及日志上报策略进行动态更新,包括:
监测终端设备中运行的应用数,如果监测得到的应用数超过预先设置的应用数阈值,触发将终端设备切换至分开获取策略分开上报数据;或者,触发将终端设备切换至集中获取策略集中上报数据。
本步骤中,如果终端设备当前为分开获取策略分开上报数据,则无需进行切换。本发明实施例中,终端设备初始状态为集中获取策略分开上报数据。
在当前为分开获取策略分开上报数据的基础上,监测终端设备中运行的连接数,如果监测得到的连接数超过预先设置的连接数阈值,触发将终端设备切换至分开获取策略集中上报数据;或者,触发将终端设备切换至集中获取策略分开上报数据。
本步骤中,除了监测终端设备中运行的连接数外,还可以监测日志服务器资源开销是否超过预先设置的资源开销阈值、和/或,各应用并发上报时占用的总带宽资源是否超过预先设置的带宽资源阈值,从而确定是否需要执行切换。
在当前为分开获取策略集中上报数据的基础上,监测终端设备中运行应用数,如果监测得到的应用数小于预先设置的应用数阈值,触发将终端设备切换至集中获取策略集中上报数据;或者,触发将终端设备切换至分开获取策略分开上报数据。
在当前为集中获取策略集中上报数据的基础上,监测终端设备中运行应用的实时性要求,统计应用的实时性要求信息,获取实时性要求超过预先设置的实时性阈值的应用数与总应用数的比率,如果获取的比率超过预先设置的比率阈值,触发将终端设备切换至集中获取策略分开上报数据;或者,触发将终端设备切换至分开获取策略集中上报数据。
步骤205,终端设备中的各应用根据返回的日志上报策略,向日志服务器上报日志信息数据。
本步骤中,如果日志上报策略为分开上报数据,则各应用分别记录自身的日志信息数据,并彼此相互独立地向日志服务器上报记录的日志信息数据;如果日志上报策略为集中上报数据,则各应用分别记录自身的日志信息数据,并将记录的各日志信息数据进行封装后,形成日志信息数据包,统一上报至日志服务器。
图3为本发明实施例的应用上报策略以及日志上报策略的状态机示意图。参见图3,状态机包括:集中获取策略集中上报数据、集中获取策略分开上报数据、分开获取策略分开上报数据以及分开获取策略集中上报数据,各状态机在状态条件T1至T8下进行相应切换。具体来说,
假设状态机的初始状态为集中获取策略分开上报数据,则:
1),满足状态条件T1,切换至分开获取策略分开上报数据;
本发明实施例中,状态条件T1为应用数超过预先设置的应用数阈值,导致上报的日志信息数据包长度超过预先设置的长度阈值。当然,实际应用中,也可以设置为满足应用数超过预先设置的应用数阈值,或者,上报的日志信息数据包长度超过预先设置的长度阈值,则触发将集中获取策略分开上报数据切换至分开获取策略分开上报数据。
例如,通过监测应用数,每个应用所需的策略长度(日志信息数据包长度,由系统端数据上报服务模块规定)为10字节,如果有100个应用需上报,则认为策略总长度偏长,即日志信息数据包长度超过预先设置的长度阈值。
表1为策略长度中各信息占用的字节数列表。
表1
a | b | c | d | e | f | g | h | i | j |
表1中,
a、b、c,标识各应用策略编码,最大至999;
d,标识该应用的日志信息数据是否需要上报,设置d为0,表示无需上报,设置d为1,表示需上报。
e,标识是采用分开获取策略还是集中获取策略,设置e为0,表示采用分开获取策略,设置e为1,表示采用集中获取策略;
f,标识是采用分开上报数据还是集中上报数据,设置f为0,表示采用分开上报数据,设置e为1,表示采用集中上报数据;
h、i、j,标识上报时间间隔,最长至100,例如,100小时。
2),满足状态条件T2,将分开获取策略分开上报数据切换至分开获取策略集中上报数据;
本发明实施例中,状态条件T2为由于每个应用单独向日志服务器上报日志信息数据,需要频繁建立连接,使得连接数超过预先设置的连接数阈值,导致日志服务器资源开销超过预先设置的资源开销阈值、和/或,各应用并发上报时占用的总带宽资源超过预先设置的带宽资源阈值。
实际应用中,通过监测应用数量及每个应用上报的日志信息数据量,例如,如果有1000个应用单独向日志服务器上报日志信息数据,每个应用的每次数据量为50k,若同时上报,需占用50M带宽,超过了预先设置的带宽资源阈值,则认为需进行限制,需要切换状态机。
3),满足状态条件T3,将分开获取策略集中上报数据切换至集中获取策略集中上报数据;
本发明实施例中,状态条件T3为上报的应用数减少,导致策略总长度减小,即上报的应用数小于预先设置的第一应用数阈值,大于预先设置的第二应用数阈值,表明在该情况下,上报的应用数还是较多,因而,仍以采用集中上报数据为宜。
4),满足状态条件T4,将集中获取策略集中上报数据切换至集中获取策略分开上报数据,即切换至状态机的初始状态;
本发明实施例中,状态条件T4为:如果采用数据统一集中上报,无法满足对单个应用上报的日志信息数据获取的实时性要求。
例如,监测应用对实时性的要求,如果有百分之三十以上的应用对日志信息数据的实时性要求较高,即统计应用的实时性要求信息,获取实时性要求超过预先设置的实时性阈值的应用数与总应用数的比率,如果获取的比率超过预先设置的比率阈值,则采用应用分开上报数据的策略较为合适。
5),满足状态条件T5,将集中获取策略集中上报数据切换至分开获取策略集中上报数据;
本发明实施例中,状态条件T5为应用数过多,导致策略总长度偏长,与状态条件T1相同。
6),满足状态条件T6,将分开获取策略集中上报数据切换至分开获取策略分开上报数据;
本发明实施例中,状态条件T6为数据统一集中上报,无法满足对单个应用数据获取的实时性要求,与状态条件T4相同。
7),满足状态条件T7,将分开获取策略分开上报数据切换至集中获取策略分开上报数据,即切换至状态机的初始状态;
本发明实施例中,状态条件T7为应用数减少,导致策略总长度减小,与状态条件T3相同。
8),满足状态条件T8,将集中获取策略分开上报数据切换至集中获取策略集中上报数据;
本发明实施例中,状态条件T8为每个应用单独向日志服务器上报日志信息数据,频繁建立连接,导致服务器开销过大,与状态条件T2相同。
举例来说,假设系统中包括终端数据上报服务模块A、B、C,终端数据上报服务模块A、B、C分别与系统端数据上报服务模块建立通信连接,终端数据上报服务模块A有应用50个,终端数据上报服务模块B有应用1000个,终端数据上报服务模块C有应用1000个。
则根据状态条件T1,终端数据上报服务模块A策略总长度小于100,可采用集中获取策略,而策略总长度均大于100(根据T1,1000个应用策略总长度会很长),需采用分开获取策略,此外,根据状态条件T2,终端数据上报服务模块B、C的应用数太多,不合适采用分开上报数据,需采用集中上报数据。
本发明实施例中,终端数据上报服务模块A既可采用分开上报数据,也可采用集中上报数据,这取决于目前系统中总共有多少个终端设备的应用来向系统上报日志信息数据,本发明实施例中,终端数据上报服务模块A、B、C总共有2050个应用需要上报日志信息数据,但终端数据上报服务模块B、C都配置为集中上报数据,因此,上报的并发量已经大量减少了,可将终端数据上报服务模块A配置为分开上报数据,这样,可以更好地适应实时性的要求。当然,实际应用中,在终端设备较多的情况下,也可采用集中上报数据。
下面分别对终端设备在各状态机下,上报日志的方法流程进行详细说明。
图4为本发明实施例终端设备在集中获取策略集中上报数据的策略下,上报日志的方法流程示意图。参见图4,该流程包括:
步骤401,终端数据上报服务模块向系统端数据上报服务模块发送应用上报策略请求;
本步骤中,从系统端数据上报服务模块获取为终端设备配置的应用上报策略。在应用上报策略请求中,携带该终端设备的应用数信息,例如,应用A、B、C。
步骤402,系统端数据上报服务模块向终端数据上报服务模块返回配置的应用上报策略;
本步骤中,返回的应用上报策略为“集中获取策略”。
步骤403,终端数据上报服务模块根据集中获取策略,向系统端数据上报服务模块发送日志上报策略请求;
本步骤中,终端数据上报服务模块向系统端数据上报服务模块发送日志上报策略请求,携带该终端设备的所有应用数信息,请求获取日志上报策略,例如,终端数据上报服务模块中具有应用A、B、C,则需要获取应用A、B、C的日志上报策略合集。
本发明实施例中,采用集中获取策略,终端数据上报服务模块向系统端数据上报服务模块只需发送一份日志上报策略请求。
步骤404,系统端数据上报服务模块向策略服务器发送日志上报策略合集获取请求;
步骤405,策略服务器向系统端数据上报服务模块返回日志上报策略合集;
步骤406,系统端数据上报服务模块向终端数据上报服务模块返回日志上报策略合集;
本步骤中,系统端数据上报服务模块返回的一份日志上报策略请求响应中,携带所有应用对应的日志上报策略合集。
步骤404至步骤406为系统端数据上报服务模块向策略服务器请求应用A、B、C的上报策略合集,并返回给终端数据上报服务模块。
步骤407,应用启动,向终端数据上报服务模块发送获取日志上报策略请求,携带应用标识;
步骤408,终端数据上报服务模块向应用返回该应用的日志上报策略;
步骤407至步骤408中,应用在启动时,首先与终端数据上报服务模块通信,获取本应用的日志上报策略。
本发明实施例中,日志上报策略为集中上报数据。
步骤409,应用将待上报的日志信息数据写入终端数据上报服务模块;
本步骤中,终端设备采用集中获取策略集中上报数据,则各应用首先将待上报的日志信息数据写入终端数据上报服务模块。
步骤410,终端数据上报服务模块获取各应用的日志信息数据,将各应用的日志信息数据进行封装,生成日志信息数据包,上报至系统端数据上报服务模块;
步骤411,系统端数据上报服务模块将封装形成的各应用的日志信息数据包写入数据服务器。
步骤410至步骤411中,终端数据上报服务模块将各应用的日志信息数据集中以后,进行封装,通过系统端数据上报服务模块,统一写入数据服务器。
图5为本发明实施例终端设备在集中获取策略分开上报数据的策略下,上报日志的方法流程示意图。参见图5,该流程包括:
步骤501,终端数据上报服务模块向系统端数据上报服务模块发送应用上报策略请求;
步骤502,系统端数据上报服务模块向终端数据上报服务模块返回配置的应用上报策略;
本步骤中,配置的应用上报策略为“集中获取策略”。
步骤503,终端数据上报服务模块向系统端数据上报服务模块发送日志上报策略请求;
本步骤中,终端数据上报服务模块根据集中获取策略,向系统端数据上报服务模块发送日志上报策略请求,携带该终端设备的应用数信息,请求获取各应用的日志上报策略。
步骤504,系统端数据上报服务模块向策略服务器发送日志上报策略合集获取请求;
步骤505,策略服务器向系统端数据上报服务模块返回日志上报策略合集;
步骤506,系统端数据上报服务模块向终端数据上报服务模块返回日志上报策略合集;
步骤504至步骤506为系统端数据上报服务模块向策略服务器请求应用A、B、C的日志上报策略合集,并返回给终端数据上报服务模块。
步骤507,应用启动,向终端数据上报服务模块发送获取日志上报策略请求,携带应用标识;
步骤508,终端数据上报服务模块向应用返回该应用的日志上报策略;
步骤507至步骤508中,应用在启动时,首先与终端数据上报服务模块通信,获取本应用的日志上报策略。
本发明实施例中,日志上报策略为分开上报数据。
步骤509,应用将待上报的日志信息数据写入系统端数据上报服务模块;
本步骤中,终端设备采用集中获取策略分开上报数据,则各应用独立地将待上报的日志信息数据写入系统端数据上报服务模块。
步骤510,系统端数据上报服务模块将上报的日志信息数据写入数据服务器。
图6为本发明实施例终端设备在分开获取策略集中上报数据的策略下,上报日志的方法流程示意图。参见图6,该流程包括:
步骤601,终端数据上报服务模块向系统端数据上报服务模块发送应用上报策略请求;
本步骤中,从系统端数据上报服务模块中获取为终端设备配置的应用上报策略。在上报策略配置请求中,携带该终端设备的应用数信息,例如,应用A、B、C。
步骤602,系统端数据上报服务模块向终端数据上报服务模块返回配置的应用上报策略;
本步骤中,返回的应用上报策略为“分开获取策略”。
步骤603,应用在启动时,向终端数据上报服务模块发送应用上报策略获取请求;
本步骤中,各应用在启动后,分别向终端数据上报服务模块发送相应的应用上报策略获取请求。
步骤604,终端数据上报服务模块向应用返回应用上报策略;
本步骤中,应用上报策略为“分开获取策略”。
步骤605,应用向系统端数据上报服务模块发送日志上报策略请求;
步骤606,系统端数据上报服务模块向策略服务器发送日志上报策略请求;
步骤607,策略服务器向系统端数据上报服务模块返回该应用对应的日志上报策略;
本步骤中,上报策略配置为集中上报数据。
步骤608,系统端数据上报服务模块向应用返回日志上报策略;
步骤605至步骤608为应用获取日志上报策略配置的流程。
步骤609,应用将待上报的日志信息数据写入终端数据上报服务模块;
本步骤中,终端设备采用分开获取策略集中上报数据,则各应用首先将待上报的日志信息数据写入终端数据上报服务模块。
步骤610,终端数据上报服务模块获取各应用的日志信息数据,将各应用的日志信息数据进行封装,生成日志信息数据包,上报至系统端数据上报服务模块;
步骤611,系统端数据上报服务模块将封装的日志信息数据包写入数据服务器。
步骤610至步骤611中,终端数据上报服务模块将各应用的上报数据集中以后,通过系统端数据上报服务模块,统一写入数据服务器。
图7为本发明实施例终端设备在分开获取策略分开上报数据的策略下,上报日志的方法流程示意图。参见图7,该流程包括:
步骤701,终端数据上报服务模块向系统端数据上报服务模块发送应用上报策略请求;
本步骤中,从系统端数据上报服务模块获取为终端设备配置的应用上报策略。在上报策略请求中,携带该终端设备的应用数信息,例如,应用A、B、C。
步骤702,系统端数据上报服务模块向终端数据上报服务模块返回配置的应用上报策略;
本步骤中,返回的应用上报策略为“分开获取策略”。
步骤703,应用在启动时,向终端数据上报服务模块发送应用上报策略请求;
本步骤中,各应用在启动后,分别向终端数据上报服务模块发送相应的应用上报策略请求。
步骤704,终端数据上报服务模块向应用返回应用上报策略;
本步骤中,应用上报策略为“分开获取策略”。
步骤705,应用向系统端数据上报服务模块根据分开获取策略,分别发送日志上报策略请求;
步骤706,系统端数据上报服务模块向策略服务器发送日志上报策略请求;
步骤707,策略服务器根据应用数信息、上报日志信息数据的连接频次以及网络带宽信息,为相应的应用分配日志上报策略,向系统端数据上报服务模块返回配置的日志上报策略;
本步骤中,日志上报策略配置为分开上报数据。
步骤708,系统端数据上报服务模块向应用返回日志上报策略;
步骤705至步骤708为应用获取日志上报策略配置的流程。
步骤709,应用将待上报的日志信息数据写入系统端数据上报服务模块;
本步骤中,终端设备采用集中获取策略分开上报数据,则各应用独立地将待上报的日志信息数据写入系统端数据上报服务模块。
步骤710,系统端数据上报服务模块将上报的日志信息数据写入数据服务器。
由上述可见,本发明实施例的终端设备上报日志的方法,终端数据上报服务模块向系统端数据上报服务模块发送应用上报策略请求,携带应用数信息,系统端数据上报服务模块根据该终端设备的应用数,向终端设备返回相应的应用上报策略,然后,终端设备根据接收的应用上报策略,请求日志上报策略,系统端数据上报服务模块根据应用数信息、上报日志信息数据的连接频次、当前网络带宽信息,确定该终端设备上报日志服务器所需的日志上报策略,并返回给终端设备,终端设备根据系统端数据上报服务模块返回的日志上报策略,执行相应的日志信息上报。这样,各终端设备可以分别获取应用及日志上报策略,日志服务器可针对每个应用进行策略的灵活配置,可有效降低传输的大数据量,也能相应减少需要建立的连接数,使之在上报的实时性与资源利用率之间达成较佳平衡,从而综合提高了日志信息数据上报的实时性以及资源利用率。
图8为本发明实施例日志上报系统结构示意图。参见图8,该系统包括:终端设备以及日志服务器,其中,
终端设备,用于向日志服务器发送应用上报策略请求,携带应用数信息;根据返回的应用上报策略,向日志服务器发送日志上报策略请求;终端设备中的各应用根据返回的日志上报策略,向日志服务器上报日志信息数据;
本发明实施例中,终端设备上报日志信息数据,包括从日志服务器获取应用上报策略和日志上报策略。其中,
应用上报策略包括:集中获取策略以及分开获取策略;
日志上报策略包括:集中上报数据以及分开上报数据。
将应用上报策略与日志上报策略进行组合,包括:集中获取策略集中上报数据、集中获取策略分开上报数据、分开获取策略分开上报数据以及分开获取策略集中上报数据。
日志服务器,用于接收应用上报策略请求,根据应用数信息,响应所述应用上报策略请求,向终端设备返回应用上报策略;接收日志上报策略请求,根据应用数信息、上报日志信息数据的连接频次以及网络带宽信息,响应所述日志上报策略请求,向终端设备返回日志上报策略;接收日志信息数据,进行存储。
本发明实施例中,日志服务器根据每个终端设备上报的应用数,结合上报日志信息数据的连接频次以及当前网络带宽信息,为终端设备动态配置应用上报策略以及日志上报策略,使得系统中,上报的日志信息数据的实时性与资源利用率之间能够达成较佳平衡。
较佳地,终端设备包括:终端数据上报服务模块以及日志存储模块(图中未示出),其中,
日志存储模块,用于分别存储各应用在运行中生成的日志信息数据;
终端数据上报服务模块,用于向日志服务器发送应用上报策略请求,携带应用数信息;根据返回的应用上报策略,向日志服务器发送日志上报策略请求;根据返回的日志上报策略,从日志存储模块读取日志信息数据,向日志服务器上报日志信息数据。
实际应用中,该终端设备还可以进一步包括:
日志信息数据处理模块,用于接收终端数据上报服务模块输出的日志信息数据,如果日志上报策略为分开上报数据,则将每一应用对应的日志信息数据独立地向日志服务器上报;如果日志上报策略为集中上报数据,则将接收的各日志信息数据进行封装后,形成日志信息数据包,统一上报至日志服务器。
本发明实施例中,日志信息数据处理模块用于将日志存储模块存储的日志信息数据,按照日志上报策略进行处理。
其中,终端数据上报服务模块包括:应用上报策略请求单元、日志上报策略请求单元以及日志信息数据上报单元,其中,
应用上报策略请求单元,用于向日志服务器发送应用上报策略请求,携带应用数信息;
日志上报策略请求单元,用于根据返回的应用上报策略,如果应用上报策略中包含应用数阈值信息,根据接收的应用数阈值信息,拆分该终端设备的应用为多个应用组,分别将每个应用组中包含的应用信息封装在日志上报策略请求中,发送至日志服务器;否则,向日志服务器发送日志上报策略请求;
日志信息数据上报单元,用于根据返回的日志上报策略,从日志存储模块读取日志信息数据,向日志服务器上报日志信息数据。
日志服务器包括:系统端数据上报服务模块、策略存储模块以及日志信息数据存储模块(图中未示出),其中,
系统端数据上报服务模块,用于接收应用上报策略请求,根据应用数信息,响应所述应用上报策略请求,从策略存储模块获取应用上报策略,并向终端设备返回;接收日志上报策略请求,根据应用数信息、上报日志信息数据的连接频次以及网络带宽信息,响应所述日志上报策略请求,从策略存储模块获取日志上报策略,并向终端设备返回;接收日志信息数据,输出至日志信息数据存储模块;
策略存储模块,用于存储日志上报策略以及应用上报策略;
日志信息数据存储模块,用于存储接收的日志信息数据。
本发明实施例中,也可以将策略存储模块以及日志信息数据存储模块的功能集成在系统端数据上报服务模块。当然,实际应用中,也可将策略存储模块以及日志信息数据存储模块与日志服务器分离开来,例如,策略存储模块可以独立为上述的策略服务器,日志信息数据存储模块可以独立为上述的数据服务器。
其中,系统端数据上报服务模块包括:第一应用上报策略请求处理单元、日志上报策略请求单元以及日志信息数据接收单元,其中,
第一应用上报策略请求处理单元,用于接收应用上报策略请求,根据应用数信息,判断应用上报策略请求中携带的应用数是否超过预先设置的应用数阈值,如果是,响应所述应用上报策略请求,向终端设备返回分开获取策略的应用上报策略;否则,响应所述应用上报策略请求,向终端设备返回集中获取策略的应用上报策略;
日志上报策略请求单元,用于接收日志上报策略请求,根据应用数信息、上报日志信息数据的连接频次以及网络带宽信息,响应所述日志上报策略请求,从策略存储模块获取日志上报策略,并向终端设备返回;
日志信息数据接收单元,用于接收日志信息数据,输出至日志信息数据存储模块。
当然,实际应用中,系统端数据上报服务模块也可以包括:第二应用上报策略请求处理单元、日志上报策略请求单元以及日志信息数据接收单元,其中,
第二应用上报策略请求处理单元,用于接收应用上报策略请求,根据应用数信息,判断应用上报策略请求中携带的应用数是否超过预先设置的应用数阈值,如果是,响应所述应用上报策略请求,向终端设备返回集中获取策略的应用上报策略,携带应用数阈值信息;否则,响应所述应用上报策略请求,向终端设备返回集中获取策略的应用上报策略;
日志上报策略请求单元,用于接收日志上报策略请求,根据应用数信息、上报日志信息数据的连接频次以及网络带宽信息,响应所述日志上报策略请求,从策略存储模块获取日志上报策略,并向终端设备返回;
日志信息数据接收单元,用于接收日志信息数据,输出至日志信息数据存储模块。
较佳地,该日志服务器还可以进一步包括:数据上报监控模块以及策略调整模块,其中,
数据上报监控模块,用于监视终端设备上报日志信息数据的连接频次、当前网络带宽信息、实时性要求信息以及上报的应用数;
策略调整模块,如果监测得到的应用数超过预先设置的应用数阈值,触发将终端设备切换至分开获取策略分开上报数据;或者,触发将终端设备切换至集中获取策略集中上报数据;
在当前为分开获取策略分开上报数据的基础上,如果监测得到的连接数超过预先设置的连接数阈值、和/或,各应用并发上报时占用的总带宽资源超过预先设置的带宽资源阈值,触发将终端设备切换至分开获取策略集中上报数据;或者,触发将终端设备切换至集中获取策略分开上报数据;
在当前为分开获取策略集中上报数据的基础上,如果监测得到的应用数小于预先设置的应用数阈值,触发将终端设备切换至集中获取策略集中上报数据;或者,触发将终端设备切换至分开获取策略分开上报数据;
在当前为集中获取策略集中上报数据的基础上,统计应用的实时性要求信息,获取实时性要求超过预先设置的实时性阈值的应用数与总应用数的比率,如果获取的比率超过预先设置的比率阈值,触发将终端设备切换至集中获取策略分开上报数据;或者,触发将终端设备切换至分开获取策略集中上报数据。
显然,本领域技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若对本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也包含这些改动和变型在内。
Claims (10)
1.一种终端设备上报日志的方法,包括:
终端设备向日志服务器发送应用上报策略请求,携带应用数信息;
日志服务器接收应用上报策略请求,根据应用数信息,响应所述应用上报策略请求,向终端设备返回应用上报策略;
终端设备根据返回的应用上报策略,向日志服务器发送日志上报策略请求;
日志服务器接收日志上报策略请求,根据应用数信息、上报日志信息数据的连接频次以及网络带宽信息,响应所述日志上报策略请求,向终端设备返回日志上报策略;
终端设备中的各应用根据返回的日志上报策略,向日志服务器上报日志信息数据。
2.根据权利要求1所述的方法,其中,所述根据应用数信息,响应所述应用上报策略请求,向终端设备返回应用上报策略包括:
日志服务器判断应用上报策略请求中携带的应用数是否超过预先设置的应用数阈值,如果是,响应所述应用上报策略请求,向终端设备返回分开获取策略的应用上报策略;否则,响应所述应用上报策略请求,向终端设备返回集中获取策略的应用上报策略。
3.根据权利要求2所述的方法,其中,所述终端设备根据返回的应用上报策略,向日志服务器发送日志上报策略请求包括:
如果应用上报策略为集中获取策略,则终端设备将各应用信息封装在日志上报策略请求中,发送至日志服务器;如果应用上报策略为分开获取策略,则终端设备中的各应用,分别将自身应用信息封装在日志上报策略请求中,独立地发送至日志服务器。
4.根据权利要求1所述的方法,其中,所述根据应用数信息,响应所述应用上报策略请求,向终端设备返回应用上报策略包括:
日志服务器判断应用上报策略请求中携带的应用数是否超过预先设置的应用数阈值,如果是,响应所述应用上报策略请求,向终端设备返回集中获取策略的应用上报策略,携带应用数阈值信息;否则,响应所述应用上报策略请求,向终端设备返回集中获取策略的应用上报策略。
5.根据权利要求4所述的方法,其中,所述终端设备根据返回的应用上报策略,向日志服务器发送日志上报策略请求包括:
终端设备根据接收的应用数阈值信息,拆分该终端设备的应用为多个应用组,分别将每个应用组中包含的应用信息封装在日志上报策略请求中,发送至日志服务器。
6.根据权利要求1至5任一项所述的方法,其中,所述根据应用数信息、上报日志信息数据的连接频次以及网络带宽信息,响应所述日志上报策略请求,向终端设备返回日志上报策略包括:
如果日志服务器根据应用数信息、上报日志信息数据的连接频次以及网络带宽信息,确定采用集中上报数据的日志上报策略,且终端设备采用分开获取策略,则日志服务器将各应用的集中上报数据的日志上报策略携带在相应应用的日志上报策略请求响应中,分别输出至终端设备中的各应用;
如果日志服务器根据应用数信息、上报日志信息数据的连接频次以及网络带宽信息,确定采用集中上报数据的日志上报策略,且终端设备采用集中获取策略,则日志服务器将集中上报数据的日志上报策略携带在日志上报策略请求响应中,输出至终端设备;
如果日志服务器根据应用数信息、上报日志信息数据的连接频次以及网络带宽信息,确定采用分开上报数据的日志上报策略,且终端设备采用分开获取策略,则日志服务器将各应用的分开上报数据的日志上报策略携带在相应应用的日志上报策略请求响应中,分别输出至终端设备中的各应用;
如果日志服务器根据应用数信息、上报日志信息数据的连接频次以及网络带宽信息,确定采用分开上报数据的日志上报策略,且终端设备采用集中获取策略,则日志服务器将分开上报数据的日志上报策略携带在日志上报策略请求响应中,输出至终端设备。
7.一种日志上报系统,其特征在于,该系统包括:终端设备以及日志服务器,其中,
终端设备,用于向日志服务器发送应用上报策略请求,携带应用数信息;根据返回的应用上报策略,向日志服务器发送日志上报策略请求;终端设备中的各应用根据返回的日志上报策略,向日志服务器上报日志信息数据;
日志服务器,用于接收应用上报策略请求,根据应用数信息,响应所述应用上报策略请求,向终端设备返回应用上报策略;接收日志上报策略请求,根据应用数信息、上报日志信息数据的连接频次以及网络带宽信息,响应所述日志上报策略请求,向终端设备返回日志上报策略;接收日志信息数据,进行存储。
8.根据权利要求7所述的系统,其特征在于,所述终端设备包括:终端数据上报服务模块以及日志存储模块,其中,
日志存储模块,用于分别存储各应用在运行中生成的日志信息数据;
终端数据上报服务模块,用于向日志服务器发送应用上报策略请求,携带应用数信息;根据返回的应用上报策略,向日志服务器发送日志上报策略请求;根据返回的日志上报策略,从日志存储模块读取日志信息数据,向日志服务器上报日志信息数据。
9.根据权利要求8所述的系统,其特征在于,所述终端数据上报服务模块包括:应用上报策略请求单元、日志上报策略请求单元以及日志信息数据上报单元,其中,
应用上报策略请求单元,用于向日志服务器发送应用上报策略请求,携带应用数信息;
日志上报策略请求单元,用于根据返回的应用上报策略,如果应用上报策略中包含应用数阈值信息,根据接收的应用数阈值信息,拆分该终端设备的应用为多个应用组,分别将每个应用组中包含的应用信息封装在日志上报策略请求中,发送至日志服务器;否则,向日志服务器发送日志上报策略请求;
日志信息数据上报单元,用于根据返回的日志上报策略,从日志存储模块读取日志信息数据,向日志服务器上报日志信息数据。
10.根据权利要求9所述的系统,其特征在于,所述终端设备进一步包括:
日志信息数据处理模块,用于接收终端数据上报服务模块输出的日志信息数据,如果日志上报策略为分开上报数据,则将每一应用对应的日志信息数据独立地向日志服务器上报;如果日志上报策略为集中上报数据,则将接收的各日志信息数据进行封装后,形成日志信息数据包,统一上报至日志服务器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210321267.1A CN102882705B (zh) | 2012-09-03 | 2012-09-03 | 终端设备上报日志的方法及日志上报系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210321267.1A CN102882705B (zh) | 2012-09-03 | 2012-09-03 | 终端设备上报日志的方法及日志上报系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102882705A true CN102882705A (zh) | 2013-01-16 |
CN102882705B CN102882705B (zh) | 2015-03-25 |
Family
ID=47483859
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210321267.1A Active CN102882705B (zh) | 2012-09-03 | 2012-09-03 | 终端设备上报日志的方法及日志上报系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102882705B (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103312544A (zh) * | 2013-06-14 | 2013-09-18 | 青岛海信传媒网络技术有限公司 | 一种控制终端上报日志文件的方法、设备和系统 |
CN104468938A (zh) * | 2013-09-12 | 2015-03-25 | 中国移动通信集团浙江有限公司 | 一种信息采集处理方法以及相关装置、移动终端和服务器 |
CN106487861A (zh) * | 2015-09-01 | 2017-03-08 | 腾讯科技(北京)有限公司 | 网络数据提供方法和装置 |
CN107231245A (zh) * | 2016-03-23 | 2017-10-03 | 阿里巴巴集团控股有限公司 | 上报监控日志的方法及装置、处理监控日志的方法及装置 |
CN107480277A (zh) * | 2017-08-22 | 2017-12-15 | 北京京东尚科信息技术有限公司 | 用于网站日志采集的方法及装置 |
CN108306771A (zh) * | 2018-02-09 | 2018-07-20 | 腾讯科技(深圳)有限公司 | 日志上报方法、装置及系统 |
CN104994528B (zh) * | 2015-07-03 | 2019-01-29 | 亚信科技(南京)有限公司 | 一种回应策略请求的方法及装置 |
CN109727137A (zh) * | 2018-12-18 | 2019-05-07 | 杭州茂财网络技术有限公司 | 一种基于用户风险评测的日志上报方法及系统 |
CN111865674A (zh) * | 2020-07-09 | 2020-10-30 | 腾讯科技(深圳)有限公司 | 一种日志处理方法、装置及介质 |
WO2021081853A1 (zh) * | 2019-10-30 | 2021-05-06 | 华为技术有限公司 | 日志信息上报、接收方法及相关装置 |
CN114067456A (zh) * | 2021-10-13 | 2022-02-18 | 北京梧桐车联科技有限责任公司 | 日志处理方法、电子设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101778406A (zh) * | 2010-01-15 | 2010-07-14 | 瑞斯康达科技发展股份有限公司 | 一种获取系统日志的方法和被监控设备 |
CN102035685A (zh) * | 2010-12-20 | 2011-04-27 | 中兴通讯股份有限公司 | 一种告警处理方法及dpi设备 |
CN102158748A (zh) * | 2010-05-14 | 2011-08-17 | 青岛海信传媒网络技术有限公司 | 一种日志收集与上传方法及系统 |
CN102487529A (zh) * | 2010-12-01 | 2012-06-06 | 北京创毅视讯科技有限公司 | 一种提高物联网信息传输效率的方法和装置 |
-
2012
- 2012-09-03 CN CN201210321267.1A patent/CN102882705B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101778406A (zh) * | 2010-01-15 | 2010-07-14 | 瑞斯康达科技发展股份有限公司 | 一种获取系统日志的方法和被监控设备 |
CN102158748A (zh) * | 2010-05-14 | 2011-08-17 | 青岛海信传媒网络技术有限公司 | 一种日志收集与上传方法及系统 |
CN102487529A (zh) * | 2010-12-01 | 2012-06-06 | 北京创毅视讯科技有限公司 | 一种提高物联网信息传输效率的方法和装置 |
CN102035685A (zh) * | 2010-12-20 | 2011-04-27 | 中兴通讯股份有限公司 | 一种告警处理方法及dpi设备 |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103312544B (zh) * | 2013-06-14 | 2015-12-02 | 青岛海信传媒网络技术有限公司 | 一种控制终端上报日志文件的方法、设备和系统 |
CN103312544A (zh) * | 2013-06-14 | 2013-09-18 | 青岛海信传媒网络技术有限公司 | 一种控制终端上报日志文件的方法、设备和系统 |
CN104468938A (zh) * | 2013-09-12 | 2015-03-25 | 中国移动通信集团浙江有限公司 | 一种信息采集处理方法以及相关装置、移动终端和服务器 |
CN104994528B (zh) * | 2015-07-03 | 2019-01-29 | 亚信科技(南京)有限公司 | 一种回应策略请求的方法及装置 |
CN106487861A (zh) * | 2015-09-01 | 2017-03-08 | 腾讯科技(北京)有限公司 | 网络数据提供方法和装置 |
CN107231245A (zh) * | 2016-03-23 | 2017-10-03 | 阿里巴巴集团控股有限公司 | 上报监控日志的方法及装置、处理监控日志的方法及装置 |
CN107480277B (zh) * | 2017-08-22 | 2021-01-26 | 北京京东尚科信息技术有限公司 | 用于网站日志采集的方法及装置 |
CN107480277A (zh) * | 2017-08-22 | 2017-12-15 | 北京京东尚科信息技术有限公司 | 用于网站日志采集的方法及装置 |
CN108306771A (zh) * | 2018-02-09 | 2018-07-20 | 腾讯科技(深圳)有限公司 | 日志上报方法、装置及系统 |
CN108306771B (zh) * | 2018-02-09 | 2021-06-18 | 腾讯科技(深圳)有限公司 | 日志上报方法、装置及系统 |
CN109727137A (zh) * | 2018-12-18 | 2019-05-07 | 杭州茂财网络技术有限公司 | 一种基于用户风险评测的日志上报方法及系统 |
WO2021081853A1 (zh) * | 2019-10-30 | 2021-05-06 | 华为技术有限公司 | 日志信息上报、接收方法及相关装置 |
CN111865674A (zh) * | 2020-07-09 | 2020-10-30 | 腾讯科技(深圳)有限公司 | 一种日志处理方法、装置及介质 |
CN111865674B (zh) * | 2020-07-09 | 2024-01-09 | 腾讯科技(深圳)有限公司 | 一种日志处理方法、装置及介质 |
CN114067456A (zh) * | 2021-10-13 | 2022-02-18 | 北京梧桐车联科技有限责任公司 | 日志处理方法、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN102882705B (zh) | 2015-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102882705A (zh) | 终端设备上报日志的方法及日志上报系统 | |
CN109391500B (zh) | 一种配置管理方法、装置及设备 | |
CA2770138C (en) | Cluster server of an instant messaging system and messaging method between clusters | |
CN105159781B (zh) | 调节智能终端应用网速的方法、装置和智能终端 | |
CN111970195B (zh) | 数据传输方法和流式数据传输系统 | |
CN103532784A (zh) | 一种发送心跳消息的方法、系统、终端及网络设备 | |
CN103167275B (zh) | 网络视频监控系统及其流媒体数据分发方法 | |
CN105183299A (zh) | 一种人机界面服务处理系统和方法 | |
US20160344582A1 (en) | Call home cluster | |
CN113163016B (zh) | 网络长连接服务集群化部署系统及控制流程 | |
CN102523103A (zh) | 一种工业监控网络数据采集结点 | |
CN110166857B (zh) | 一种光纤通道交换机动态配置的实现方法 | |
CN108551571B (zh) | 一种监控视频分发方法、装置、系统以及分发服务器 | |
WO2022126837A1 (zh) | 视频监控服务智能调度系统 | |
CN103685363A (zh) | 一种高效可靠的多任务处理方法及系统 | |
CN112019604B (zh) | 边缘数据传输方法和系统 | |
CN201387555Y (zh) | 一种综合远程监控系统 | |
CN102238505B (zh) | 一种客户端多用户并发信令跟踪处理方法及系统 | |
CN102420809A (zh) | 终端管理系统、服务器以及方法 | |
CN106961687B (zh) | 一种信息交互方法及系统 | |
CN101217485B (zh) | 一种弹性分组管理链路的方法 | |
JP2010527475A (ja) | 情報家電のデータ蓄積システム及びデータ処理方法 | |
KR20150112894A (ko) | Mmt 에셋 전달 특성 시그널링 메시지의 구성 방법 | |
CN105897915B (zh) | 一种数据接收服务器、及数据处理系统 | |
CN106101189A (zh) | 数据传输方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C41 | Transfer of patent application or patent right or utility model | ||
TR01 | Transfer of patent right |
Effective date of registration: 20170124 Address after: 266100 Shandong Province, Qingdao city Laoshan District Songling Road No. 399 Patentee after: Poly Polytron Technologies Inc Address before: 266061 Laoshan, Qingdao province Hongkong District No. East Road, room 248, room 131 Patentee before: Qingdao Hisense Media Networks Co., Ltd. |