CN107426039A - 一种日志上报和接收的方法及系统 - Google Patents
一种日志上报和接收的方法及系统 Download PDFInfo
- Publication number
- CN107426039A CN107426039A CN201710841919.7A CN201710841919A CN107426039A CN 107426039 A CN107426039 A CN 107426039A CN 201710841919 A CN201710841919 A CN 201710841919A CN 107426039 A CN107426039 A CN 107426039A
- Authority
- CN
- China
- Prior art keywords
- daily record
- server
- template
- equipment end
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/02—Standardisation; Integration
- H04L41/0246—Exchanging or transporting network management information using the Internet; Embedding network management web servers in network elements; Web-services-based protocols
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明属于信息处理技术领域,公开了一种日志上报和接收的方法及系统,日志上报方法包括:设备端将日志拆分为日志模板和日志数据;设备端将日志模板和日志数据分步发送至服务器;日志接收方法包括:服务器分步接收来自设备端的日志模板和日志数据,并根据日志模板格式化日志数据,生成日志;系统包括设备端和服务器。本发明解决了实时性系统中日志上报的局限性问题,达到了提高日志上报的效率,降低日志上报对设备性能的影响的技术效果。
Description
技术领域
本发明涉及信息处理技术领域,尤其涉及一种日志上报和接收的方法及系统。
背景技术
为了分析定位设备的性能或问题,需要抓取设备日志。现有的日志上报流程如图1所示,通常包括以下步骤:
第一步:在系统关键流程添加日志信息。
第二步:系统运行时,记录日志信息。
第三步:将日志信息导出,查看设备日志。
其中,现有技术记录日志信息的方式包括以下3种:
1.在设备内部记录日志信息,再导出日志进行分析。
这种方法应用于很多网络设备中,例如:家庭路由器,光猫等设备,可以记录设备重要的系统日志,用于分析设备问题。然而这种方法也具有它的局限性,包括(1)设备上存储容量有限,不能保存详细的长时间的日志;(2)日志信息不能实时上报,不能实时发现问题并分析;(3)日志保存到内部存储器时,可能会影响系统性能。
2.通过网络方式,将日志实时上报到日志服务器。
这种方法也有局限性,当日志较多时,影响系统性能,占用大量网络带宽。
3.记录关键流程执行次数,查看计数值,实时分析设备问题。
这种方法是实时性系统中应用较多的,数据量相对较少,效率高,可以实时记录系统信息。这种方法的缺点在于Counter(计数值)中包含的信息量较少,有些时候不能准确分析设备问题。
发明内容
本发明实施例通过提供一种日志上报和接收的方法及系统,解决实时性系统中日志上报的局限性。
本申请实施例提供一种日志上报方法,包括:
设备端将日志拆分为日志模板和日志数据;
所述设备端将所述日志模板发送至服务器;
所述设备端将所述日志数据发送至所述服务器。
优选的,所述日志模板包括日志编号、日志格式;所述日志数据包括日志编号、日志参数。
优选的,将所述日志模板或所述日志数据发送至所述服务器之前,所述设备端可选择是否开启日志上报。
优选的,所述设备端可选择是否保存所述日志。
优选的,所述设备端可修改日志过滤条件。
本申请实施例提供一种日志接收方法,包括:
服务器接收来自设备端的日志模板;
所述服务器接收来自所述设备端的日志数据;
所述服务器根据所述日志模板格式化所述日志数据,生成日志。
优选的,所述日志模板包括日志编号、日志格式;所述日志数据包括日志编号、日志参数。
优选的,所述服务器可实时显示所述日志的信息,所述服务器可根据时间或关键字过滤所述日志的信息。
本申请实施例提供一种日志上报和接收的系统,包括:设备端和服务器,其中:
所述设备端用于将日志拆分为日志模板和日志数据,并将所述日志模板和所述日志数据分步发送至所述服务器;
所述服务器用于分步接收来自设备端的所述日志模板和所述日志数据,并根据所述日志模板格式化所述日志数据,生成日志。
优选的,所述设备端可选择是否开启日志上报、可选择是否保存所述日志、可修改日志过滤条件;
所述服务器可实时显示所述日志的信息、可根据时间或关键字过滤所述日志的信息。
本申请实施例中提供的一个或多个技术方案,至少具有如下技术效果或优点:
在本申请实施例中,将日志拆分为日志模板和日志数据,设备运行时,需要发送大量日志数据,由于其中大量的日志数据的日志格式是相同的,通过将日志数据与日志模板分离,可以用较少的数据来上报同样信息的日志,提高日志上报的效率,将日志数据的格式化过程放在日志服务器上实现,可以提高日志生成的效率,有效减少日志对设备性能的影响。
附图说明
为了更清楚地说明本实施例中的技术方案,下面将对实施例描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一个实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为传统的日志上报流程图;
图2为本发明实施例提供的一种日志上报和接收的方法的流程图;
图3为本发明实施例提供的一种日志上报和接收的方法的开发示意图;
图4为本发明实施例提供的一种日志上报和接收的方法中的日志数据报文格式示意图。
具体实施方式
本申请实施例通过提供一种日志上报和接收的方法及系统,解决实时性系统中日志上报的局限性。
本申请实施例的技术方案为解决上述技术问题,总体思路如下:
一种日志上报方法,包括:
设备端将日志拆分为日志模板和日志数据;
所述设备端将所述日志模板发送至服务器;
所述设备端将所述日志数据发送至所述服务器。
一种日志接收方法,包括:
服务器接收来自设备端的日志模板;
所述服务器接收来自所述设备端的日志数据;
所述服务器根据所述日志模板格式化所述日志数据,生成日志。
一种日志上报和接收的系统,包括:设备端和服务器,其中:
所述设备端用于将日志拆分为日志模板和日志数据,并将所述日志模板和所述日志数据分步发送至所述服务器;
所述服务器用于分步接收来自设备端的所述日志模板和所述日志数据,并根据所述日志模板格式化所述日志数据,生成日志。
本发明将日志拆分为日志模板和日志数据,设备运行时,需要发送大量日志数据,由于其中大量的日志数据的日志格式是相同的,通过将日志数据与日志模板分离,可以用较少的数据来上报同样信息的日志,提高日志上报的效率,将日志数据的格式化过程放在日志服务器上实现,可以提高日志生成的效率,有效减少日志对设备性能的影响。
为了更好的理解上述技术方案,下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
本实施例提供了一种日志上报和接收的方法,如图2所示,包括:
设备端将日志拆分为日志模板和日志数据;所述设备端将所述日志模板发送至服务器;所述设备端将所述日志数据发送至所述服务器。
将所述日志模板或所述日志数据发送至所述服务器之前,所述设备端可选择是否开启日志上报。
所述设备端可选择是否保存所述日志。
所述设备端可修改日志过滤条件。
服务器接收来自设备端的日志模板;所述服务器接收来自所述设备端的日志数据;所述服务器根据所述日志模板格式化所述日志数据,生成日志。
所述服务器可实时显示所述日志的信息,所述服务器可根据时间或关键字过滤所述日志的信息。
其中,所述日志模板包括日志编号、日志格式;所述日志数据包括日志编号、日志参数。
上述方法涉及的系统包括:设备端和服务器,其中:
所述设备端用于将日志拆分为日志模板和日志数据,并将所述日志模板和所述日志数据分步发送至所述服务器;
所述服务器用于分步接收来自设备端的所述日志模板和所述日志数据,并根据所述日志模板格式化所述日志数据,生成日志。
其中,所述设备端可选择是否开启日志上报、可选择是否保存所述日志、可修改日志过滤条件;所述服务器可实时显示所述日志的信息、可根据时间或关键字过滤所述日志的信息。
本发明提出的一种日志上报和接收的方法,将日志分为日志模板和日志数据,通过设备端和服务器(日志服务器)分开上报和接收。
本发明的优点包括:
(1)将日志模板和日志数据分开上报和接收,提高日志上报效率,降低对系统性能影响。
(2)日志API与传统日志接口相同或类似,可降低开发难度,减少开发人员的工作量,节约开发成本。
(3)自动生成日志模板文件,提高开发效率。
(4)日志查看直观清晰。
本发明实施包括一台PC机(个人计算机),LTE(长期演进)基带处理单元。
所述PC机用来运行日志服务器,收集和保存日志,提供日志查看接口或软件,供用户查看分析日志信息。
所述LTE基带处理单元用来在业务运行阶段,实时上报日志。
本发明对比已有技术具有以下创新点:
1.将日志模板和日志数据分开上报或保存。
传统的日志上报,是在设备侧直接生成完整的日志,数据较长。本发明将日志分为日志模板和日志数据,设备运行时,需要发送大量日志数据,其中大量的日志数据的日志格式是相同的,通过将日志数据与日志模板分离,可以用较少的数据来上报同样信息的日志,提高设备上日志生成和上报效率,降低对设备性能的影响。
2.可选择日志保存或上报方式
可通过设备管理程序配置日志是否在设备上保存,是否上报到日志服务器。
3.调试过程中,可实时修改日志过滤条件。
以LTE基带系统开发为例,在日志记录点调用日志API(应用程序接口),输入日志ID(日志编号)、日志格式信息、日志参数等。预编译时,生成日志模板文件(包含日志编号,日志格式等)。LTE基带设备运行时,开启日志上报后,上报日志模板文件到日志服务器,设备通过日志API(应用程序接口)发送日志ID(日志编号)、日志参数等数据到日志服务器,日志服务器收到后根据日志模板文件解析日志ID(日志编号)、格式化日志参数,生成完整的日志(参见图2)。设备运行时,可通过设备管理程序修改日志过滤条件,更加精准的定位设备问题。日志数据也可实时保存在设备上,当需要查看日志时,从设备上导出日志模板和日志数据到日志服务器,在日志服务器上格式化生成日志。
根据本发明的实施例,提出的一种日志上报和接收的方法,可直接上报日志ID和参数数据到日志服务器,在服务器上实时呈现日志信息。通过预编译程序生成日志模板文件,在设备上调用日志API(应用程序接口),将日志ID(日志编号)和参数发送到日志服务器,日志服务器根据日志模板文件生成日志。涉及:(1)在系统中调用日志API;(2)预编译生成日志模板文件;(3)上报日志数据;(4)在日志服务器上格式化生成日志。
本发明的开发示意图如图3所示,包括:
预编译,生成日志模板;
设备向日志服务器发送日志模板;
设备运行,发送日志数据;
日志服务器根据日志模板生成日志。
本发明实例包含一台编译服务器,用于预编译生成日志模板文件,编译生成系统程序,并将日志模板文件与系统程序打包生成软件版本;一台PC机,安装有日志服务器软件和日志查看分析软件;一块LTE基带处理板,包含MSC9132,网口等。
本实施例分为编译服务器上预编译脚本、PC机上日志服务器和日志查看软件、LTE基带处理板日志上报等程序开发。
编译服务器:
步骤1,开发预编译脚本,实现对代码的预编译,提取日志API(应用程序接口)中的信息,生成日志模板文件,其中包含日志ID(日志编号)和日志模板的映射关系:
日志模板文件示例:
0x10000001,“cell setup fail!lcid=%d,dl_fcn=%d,ul_fcn=%d,bandwidth=%d”
0x10000002,“recv pci-config-req lcid=%d,pci=%d,old_pci=%d”
步骤2,编译生成系统程序,将日志模板文件与系统程序打包。
LTE基带处理端:
在业务流程中调用日志API,生成日志。日志API(应用程序接口)将日志ID(日志编号),参数数据封装后发送到日志服务器。日志报文格式参见图4,包括:日志报文头、日志数据。
日志API调用示例:
DEBUG(0x10000001,“cell setup fail!lcid=%d,dl_fcn=%d,ul_fcn=%d,bandwidth=%d”,lcid,dl_fcn,ul_fcn,bw);
PC端:
主要完成日志数据的接收和显示,需要开发日志服务器软件和日志查看软件。
日志服务器接收设备发来的日志,根据日志ID(日志编号)在日志模板文件中找到对应的日志格式信息,将日志参数按照日志格式生成日志,并保存。日志查看软件可实时显示日志信息,可根据时间或关键字过滤日志信息。
本发明实施例提供的一种日志上报和接收的方法及系统至少包括如下技术效果:
在本申请实施例中,将日志拆分为日志模板和日志数据,设备运行时,需要发送大量日志数据,由于其中大量的日志数据的日志格式是相同的,通过将日志数据与日志模板分离,可以用较少的数据来上报同样信息的日志,提高日志上报的效率,将日志数据的格式化过程放在日志服务器上实现,可以提高日志生成的效率,有效减少日志对设备性能的影响。
最后所应说明的是,以上具体实施方式仅用以说明本发明的技术方案而非限制,尽管参照实例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (10)
1.一种日志上报方法,其特征在于,包括:
设备端将日志拆分为日志模板和日志数据;
所述设备端将所述日志模板发送至服务器;
所述设备端将所述日志数据发送至所述服务器。
2.根据权利要求1所述的日志上报方法,其特征在于,所述日志模板包括日志编号、日志格式;所述日志数据包括日志编号、日志参数。
3.根据权利要求1或2所述的日志上报方法,其特征在于,将所述日志模板或所述日志数据发送至所述服务器之前,所述设备端可选择是否开启日志上报。
4.根据权利要求1或2所述的日志上报方法,其特征在于,所述设备端可选择是否保存所述日志。
5.根据权利要求1或2所述的日志上报方法,其特征在于,所述设备端可修改日志过滤条件。
6.一种日志接收方法,其特征在于,包括:
服务器接收来自设备端的日志模板;
所述服务器接收来自所述设备端的日志数据;
所述服务器根据所述日志模板格式化所述日志数据,生成日志。
7.根据权利要求6所述的日志接收方法,其特征在于,所述日志模板包括日志编号、日志格式;所述日志数据包括日志编号、日志参数。
8.根据权利要求6所述的日志接收方法,其特征在于,所述服务器可实时显示所述日志的信息,所述服务器可根据时间或关键字过滤所述日志的信息。
9.一种日志上报和接收的系统,其特征在于,包括:设备端和服务器,其中:
所述设备端用于将日志拆分为日志模板和日志数据,并将所述日志模板和所述日志数据分步发送至所述服务器;
所述服务器用于分步接收来自设备端的所述日志模板和所述日志数据,并根据所述日志模板格式化所述日志数据,生成日志。
10.根据权利要求9所述的日志上报和接收的系统,其特征在于,所述设备端可选择是否开启日志上报、可选择是否保存所述日志、可修改日志过滤条件;
所述服务器可实时显示所述日志的信息、可根据时间或关键字过滤所述日志的信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710841919.7A CN107426039A (zh) | 2017-09-18 | 2017-09-18 | 一种日志上报和接收的方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710841919.7A CN107426039A (zh) | 2017-09-18 | 2017-09-18 | 一种日志上报和接收的方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107426039A true CN107426039A (zh) | 2017-12-01 |
Family
ID=60433520
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710841919.7A Pending CN107426039A (zh) | 2017-09-18 | 2017-09-18 | 一种日志上报和接收的方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107426039A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111488260A (zh) * | 2019-01-29 | 2020-08-04 | 华为技术有限公司 | 数据模板获取方法、装置、计算机设备以及可读存储介质 |
CN111585807A (zh) * | 2020-04-30 | 2020-08-25 | 杭州涂鸦信息技术有限公司 | 日志管理方法及相关设备 |
CN111666193A (zh) * | 2019-03-08 | 2020-09-15 | 阿里巴巴集团控股有限公司 | 基于实时日志解析的终端功能监控与测试的方法与系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030158920A1 (en) * | 2002-02-05 | 2003-08-21 | Sun Microsystems, Inc. | Method, system, and program for supporting a level of service for an application |
CN104144071A (zh) * | 2013-05-10 | 2014-11-12 | 北京新媒传信科技有限公司 | 系统日志的处理方法和系统日志的处理平台 |
CN104580310A (zh) * | 2013-10-21 | 2015-04-29 | 腾讯科技(深圳)有限公司 | 日志处理方法和服务器 |
CN105430534A (zh) * | 2015-10-29 | 2016-03-23 | Tcl集团股份有限公司 | 一种智能设备上报数据的方法和系统 |
-
2017
- 2017-09-18 CN CN201710841919.7A patent/CN107426039A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030158920A1 (en) * | 2002-02-05 | 2003-08-21 | Sun Microsystems, Inc. | Method, system, and program for supporting a level of service for an application |
CN104144071A (zh) * | 2013-05-10 | 2014-11-12 | 北京新媒传信科技有限公司 | 系统日志的处理方法和系统日志的处理平台 |
CN104580310A (zh) * | 2013-10-21 | 2015-04-29 | 腾讯科技(深圳)有限公司 | 日志处理方法和服务器 |
CN105430534A (zh) * | 2015-10-29 | 2016-03-23 | Tcl集团股份有限公司 | 一种智能设备上报数据的方法和系统 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111488260A (zh) * | 2019-01-29 | 2020-08-04 | 华为技术有限公司 | 数据模板获取方法、装置、计算机设备以及可读存储介质 |
CN111488260B (zh) * | 2019-01-29 | 2023-12-08 | 华为云计算技术有限公司 | 数据模板获取方法、装置、计算机设备以及可读存储介质 |
CN111666193A (zh) * | 2019-03-08 | 2020-09-15 | 阿里巴巴集团控股有限公司 | 基于实时日志解析的终端功能监控与测试的方法与系统 |
CN111666193B (zh) * | 2019-03-08 | 2024-01-30 | 阿里巴巴集团控股有限公司 | 基于实时日志解析的终端功能监控与测试的方法与系统 |
CN111585807A (zh) * | 2020-04-30 | 2020-08-25 | 杭州涂鸦信息技术有限公司 | 日志管理方法及相关设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105786998B (zh) | 数据库中间件系统及利用其处理数据的方法 | |
CN103684828B (zh) | 一种电信设备故障的处理方法和装置 | |
CN105491038B (zh) | 一种智能设备协议解析方法 | |
CN102196478B (zh) | 一种网管系统故障的诊断方法和系统 | |
CN104899016B (zh) | 调用堆栈关系获取方法及装置 | |
CN103544095B (zh) | 服务器程序的监控方法及其系统 | |
CN111241050B (zh) | 一种用于大数据平台的联动分析系统及方法 | |
CN107704360A (zh) | 监控数据的处理方法、设备、服务器及存储介质 | |
CN110175027A (zh) | 一种开发业务功能的方法和装置 | |
CN107426039A (zh) | 一种日志上报和接收的方法及系统 | |
CN104462943B (zh) | 业务系统中非侵入式性能监控装置和方法 | |
CN111400127B (zh) | 业务日志的监控方法及装置、存储介质、计算机设备 | |
US20160321036A1 (en) | Dynamically monitoring code execution activity to identify and manage inactive code | |
US8738768B2 (en) | Multiple destinations for mainframe event monitoring | |
CN106815089A (zh) | 基于日志的故障排查方法及装置 | |
CN108255837A (zh) | 一种sql解析器及方法 | |
CN108268356A (zh) | 基于字节码覆写的反向web插桩分析方法和web服务器 | |
EP3789882B1 (en) | Automatic configuration of logging infrastructure for software deployments using source code | |
CN105183629A (zh) | 分析php应用软件性能的诊断系统及其方法和性能管理平台 | |
CN112416557B (zh) | 调用关系的确定方法和装置、存储介质及电子装置 | |
CN109559121A (zh) | 交易路径调用异常分析方法、装置、设备及可读存储介质 | |
CN108712306A (zh) | 一种信息系统自动化巡检平台和巡检方法 | |
CN112883088B (zh) | 一种数据处理方法、装置、设备及存储介质 | |
US20090157904A1 (en) | Analysis tool for intra-node application messaging | |
CN115604343A (zh) | 一种数据传输方法、系统、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20201028 Address after: 430205 No.1 tanhu 2nd Road, Canglong Island, Jiangxia Economic Development Zone, Wuhan City, Hubei Province Applicant after: Wuhan Hongxin Technology Development Co.,Ltd. Address before: 430073 Hubei province Wuhan Dongxin East Lake high tech Development Zone, Road No. 5 Applicant before: Wuhan Hongxin Telecommunication Technologies Co.,Ltd. |
|
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171201 |