CN105554042A - 一种UDP远程传输log的方法及系统 - Google Patents

一种UDP远程传输log的方法及系统 Download PDF

Info

Publication number
CN105554042A
CN105554042A CN201610115626.6A CN201610115626A CN105554042A CN 105554042 A CN105554042 A CN 105554042A CN 201610115626 A CN201610115626 A CN 201610115626A CN 105554042 A CN105554042 A CN 105554042A
Authority
CN
China
Prior art keywords
log
data
server
module
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610115626.6A
Other languages
English (en)
Inventor
张伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Feixun Data Communication Technology Co Ltd
Original Assignee
Shanghai Feixun Data Communication Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Feixun Data Communication Technology Co Ltd filed Critical Shanghai Feixun Data Communication Technology Co Ltd
Priority to CN201610115626.6A priority Critical patent/CN105554042A/zh
Publication of CN105554042A publication Critical patent/CN105554042A/zh
Priority to PCT/CN2016/103897 priority patent/WO2017148169A1/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/04Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/16Implementing security features at a particular protocol layer
    • H04L63/166Implementing security features at a particular protocol layer at the transport layer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • H04L69/164Adaptation or special uses of UDP protocol

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种UDP远程传输log的方法及系统,包括:步骤S10:log客户端发送log数据至log服务器,且备份发送的log数据;步骤S20:log客户端判断发送的log数据大小是否达到校验预设值;步骤S30:log客户端对发送的log数据进行处理,得到第一处理数据,并将第一处理数据发送至log服务器;步骤S40:log服务器对接收到的log数据进行处理,得到第二处理数据;步骤S50:log服务器将接收到的第一处理数据和第二处理数据进行比对,得到比对结果,并将比对结果反馈给log客户端;步骤S60:若比对结果一致,log客户端清除备份数据。本发明具有较高的通信效率,且保证了传输数据的完整。

Description

一种UDP远程传输log的方法及系统
技术领域
本发明涉及log传输领域,尤其涉及一种UDP远程传输log的方法及系统。
背景技术
随着互联网技术的发展,服务器的应用越来越普遍,对于高并发访问的环境,服务器的性能非常重要,现在服务程序在运行时,会产生大量的log。
log,即日志,通常是系统或者某些软件对已完成的某种处理的记录,以便将来作为参考。目前对log的处理方案大致如下:
将log通过传输控制协议(TCP,TransmissionControlProtocol)的方式发送到一台log服务器,该方案的优点是数据稳定,缺点是TCP的通信方式每次都需要发送确认报文,造成通信效率比较低。
针对这个问题,现有技术是将log通过用户数据报协议(UDP,UserDatagramProtocol)的方式发送到一台log服务器,该方案的优点是,不需要发送确认报文,但是这种方案是一种不可靠的传输方式,可能会造成数据丢失。
发明内容
本发明的目的是提供一种UDP远程传输log的方法及系统,不会占用本地资源,且保证了传输至log服务器的log数据的完整性。
本发明提供的技术方案如下:
一种UDP远程传输log的方法,包括:步骤S10:log客户端发送log数据至log服务器,且log客户端备份发送的所述log数据;步骤S20:log客户端判断发送的所述log数据大小是否达到校验预设值,若是,则执行步骤S30,若否,则执行步骤S10;步骤S30:log客户端对发送的所述log数据进行处理,得到第一处理数据,并将所述第一处理数据发送至log服务器;步骤S40:log服务器对接收到的所述log数据进行处理,得到第二处理数据;步骤S50:log服务器将接收到的所述第一处理数据和所述第二处理数据进行比对,得到比对结果,并将所述比对结果反馈给log客户端,若比对结果一致,则执行步骤S60;步骤S60:log客户端清除所述备份数据。
进一步优选地,所述步骤S50还包括:log服务器将接收到的所述第一处理数据和所述第二处理数据进行比对,得到比对结果,并将所述比对结果反馈给log客户端,若比对结果不一致,则执行步骤S70;步骤S70:log服务器清除接收的所述log数据;步骤S80:log客户端发送所述备份的log数据至log服务器。
进一步优选地,所述步骤S10之前还包括:步骤S01:log客户端配置log服务器信息;步骤S02:log客户端监测是否存在log数据,若是,则执行步骤S03,若否,则执行步骤S02;步骤S03:log客户端发送连接报文至log服务器;步骤S04:log客户端判断log服务器是否回复,若回复,则执行步骤S10,若不回复,则执行步骤S05;步骤S05:log客户端将所述log数据进行存储。
进一步优选地,所述log服务器信息包括:log服务器的IP地址、log服务器的端口号和校验预设值。
进一步优选地,所述第一处理数据和所述第二处理数据包括:哈希值。
本发明还提供一种UDP远程传输log的系统,包括:log客户端和log服务器;所述log客户端包括:第一发送模块,发送log数据至log服务器,以及,发送第一处理数据至log服务器;第一存储模块,与所述第一发送模块电连接,备份发送的所述log数据;校验判断模块,与所述第一发送模块、所述第一存储模块电连接,判断发送的所述log数据大小是否达到校验预设值;配置模块,与所述校验判断模块电连接,配置所述校验预设值;第一处理模块,与所述校验判断模块、所述第一发送模块、所述第一存储模块电连接,对发送的所述log数据进行处理,得到第一处理数据;备份数据清除模块,与所述第一存储模块电连接,清除所述备份数据;所述log服务器包括:第二存储模块,存储接收到的所述log数据,以及存储接收到的所述第一处理数据;第二处理模块,与所述第二存储模块电连接,对接收到的所述log数据进行处理,得到第二处理数据;比对模块,与所述第二处理模块、所述第二存储模块电连接,将接收到的所述第一处理数据和所述第二处理数据进行比对,得到比对结果;第二发送模块,与所述比对模块电连接,将所述比对结果反馈给log客户端。
进一步优选地,所述第一发送模块,进一步用于发送所述备份的log数据至log服务器;所述log服务器还包括:接收数据清除模块,与所述比对模块、所述第二存储模块电连接,清除接收的所述log数据。
进一步优选地,所述第一发送模块,进一步用于发送连接报文至log服务器;所述配置模块,进一步用于配置log服务器信息;所述第一存储模块,进一步用于存储log数据;所述log客户端还包括:监测模块,与所述配置模块、所述第一发送模块电连接,监测是否存在log数据;回复判断模块,与所述第一发送模块、所述第一存储模块电连接,判断log服务器是否回复。
进一步优选地,所述log服务器信息包括:log服务器的IP地址、log服务器的端口号和校验预设值。
进一步优选地,所述第一处理数据和所述第二处理数据包括:哈希值。
与现有技术相比,本发明的有益效果在于:
1、服务器的服务程序运行时,会产生大量的log数据,为了便于将来作为参考,需要将这些log数据进行存储。本发明利用log客户端把log数据远程传输给专门的log服务器,不会占用本地服务器的资源,造成系统性能下降;同时利用UDP的方式发送log数据,具有较高的通信效率;且校验过程保证了传输的log数据的完整性。另外,log客户端发送log数据至log服务器的同时,会备份发送的log数据,主要目的是为了后续数据校验、比对时,如果发现log服务器接收的log数据错误或有数据丢失的情况,log客户端可以调用备份数据,重新向log服务器传输数据。在传输log数据前,会配置校验预设值,当log客户端发送了一定大小的log数据后,log服务器会进行数据校验、比对,这里的一定大小就是指校验预设值。log服务器会在接收到一定大小的log数据后,会比对、校验这段接收到的log数据是否完整、正确,并会向log客户端反馈比对结果,当比对结果一致时,即log服务器接收到的log数据是完整、正确时,log客户端会把先前备份的数据删掉,腾出内存空间。
2、log服务在得出比对结果后,不管是否一致都会向log客户端反馈比对结果,但是当比对结果不一致,即log服务器接收到的log数据不完整或存在错误数据时,log服务器会清除前面接收到的这段log数据,而log客户端会根据接收到的不一致比对结果,重新向log服务器发送log数据。清除log服务器上的错误或缺失的log数据,是为了不占用log服务器的资源,同时也减少了后续log数据混乱的可能。
3、在log客户端向log服务器发送log数据前,log客户端会先配置log服务器的信息,保证后续能够和服务器正确通信;只有当log客户端监测到有log数据需要保存时,才会向log服务器发送连接测试报文,如果log服务器回复了,说明log服务器处于正常工作状态,log客户端可以把log数据传输到log服务器;当log服务器没有回复,说明log服务器当前不能正常工作,log客户端就会把log数据存储在本地磁盘中,保证log数据能够被保存下来,便于工程师后续的回顾、分析。
4、配置log服务器的IP地址、log服务器的端口号,是保证了log客户端可以与log服务器正常通信、传输数据的基础;而校验预设值,也可以叫校验数据块的大小,是让log客户端发送的log数据达到这个大小时,开始校验这段数据是否完整、正确,其校验预设值的配置保证校了验及传输数据的效率。例如,若需要传输大量的log数据,设置为数据全部传输完后再进行校验,结果在校验后发现接收的log数据存在错误数据或数据丢失,错误数据可能只存在某一小段,但还是需要重新传输一遍原先大量的log数据,而传输大量的数据需要占用较多的时间,造成通信效率低的问题;而本发明设置的校验预设值,可以对大数据分段进行校验,当校验到其中某段数据错误时,可以即时修正,提高了通信效率。
5、哈希值是一段数据唯一且极其紧凑的数值的表示形式。如果散列更改一段明文,哪怕只更改该散列的一个字母,随后的哈希值都将不同。要找到散列为同一个值的两个不同的输入,在计算上来说基本上是不可能的。利用哈希值唯一性的特点,可以快速、准确地校验log服务器接收的数据是否完整、正确,具有极高的工作效率。
本发明提供的一种UDP远程传输log的方法及系统,利用log客户端把log数据远程传输给专门的log服务器,不会占用本地服务器的资源,造成系统性能下降;同时利用UDP的方式发送log数据,具有较高的通信效率;且校验过程也保证了传输的log数据的完整性。
附图说明
下面将以明确易懂的方式,结合附图说明优选实施方式,对一种UDP远程传输log的方法及系统的上述特性、技术特征、优点及其实现方式予以进一步说明。
图1是本发明UDP远程传输log的方法一个实施例的流程图;
图2是本发明UDP远程传输log的方法另一个实施例的流程图;
图3是本发明UDP远程传输log的系统一个实施例的结构示意图;
图4是本发明UDP远程传输log的系统另一个实施例的结构示意图。
附图标号说明:
10.log客户端,11.第一发送模块,12.第一存储模块,13.备份数据清除模块,14.第一处理模块,15.校验判断模块,16.配置模块,17.监测模块,18.回复判断模块,20.log服务器,21.第二存储模块,22.第二处理模块,23.比对模块,24.第二发送模块,25.接收数据清除模块。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对照附图说明本发明的具体实施方式。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图,并获得其他的实施方式。
为使图面简洁,各图中只示意性地表示出了与本发明相关的部分,它们并不代表其作为产品的实际结构。另外,以使图面简洁便于理解,在有些图中具有相同结构或功能的部件,仅示意性地绘示了其中的一个,或仅标出了其中的一个。在本文中,“一个”不仅表示“仅此一个”,也可以表示“多于一个”的情形。
在本发明的一个实施例中,参见图1,一种UDP远程传输log的方法,包括:步骤S10:log客户端发送log数据至log服务器,且log客户端备份发送的log数据;步骤S20:log客户端判断发送的log数据大小是否达到校验预设值,若是,则执行步骤S30,若否,则执行步骤S10;步骤S30:log客户端对发送的log数据进行处理,得到第一处理数据,并将第一处理数据发送至log服务器;步骤S40:log服务器对接收到的log数据进行处理,得到第二处理数据;步骤S50:log服务器将接收到的第一处理数据和第二处理数据进行比对,得到比对结果,并将比对结果反馈给log客户端,若比对结果一致,则执行步骤S60;步骤S60:log客户端清除备份数据。
具体的,对于高并发访问的环境,服务器的性能非常重要,而服务器在服务程序运行时,会产生大量的log数据,为了便于将来的审核、查看,需要对这些log数据进行存储。开发一个log客户端,在本地服务器上使用此log客户端将服务器产生的log数据远程传输到专门的log服务器,减少了本地服务器的资源占用,避免了其性能下降;在本发明的实施例中,以UDP的方式发送数据,与以TCP的方式发送数据相比,不需要像TCP的通信方式一样需要每次发送确认报文,提高了通信效率;设置的校验过程,保证了log服务器接收到的log数据的完整性和正确性。
log客户端发送log数据的同时,也会在其内存中备份发送的log数据,便于后续调用。log客户端配置的校验预设值,也可以称为校验数据教块的大小,当发送的log数据达到校验预设值的大小时,对这段数据进行校验,确认log服务器是否接收到正确、完整的数据,避免了一下子传输大量数据,结果在校验后发现有问题,需要重新传输大量数据的情况,减小了耗时风险,提高了通信效率;校验预设值保证了传输数据可以分成相同大小的数据进行校验,校验预设值可以设置为合理的大小,既保证校验准确率的同时,也保证了传输数据的效率。log服务器在比对其接收的数据和log客户端发送的数据是否一致,并把比对结果反馈给log客户端,便于log客户端根据比对结果执行后续操作,如果比对结果一致,log客户端会把先前在内存中备份的数据消除,发送新的log数据给log服务器,形成新的循环。log客户端清除内存中的备份数据是为后续的数据腾出空间,保障本地服务器可以维持高性能工作。
优选地,步骤S50还包括:log服务器将接收到的第一处理数据和第二处理数据进行比对,得到比对结果,并将比对结果反馈给log客户端,若比对结果不一致,则执行步骤S70;步骤S70:log服务器清除接收的log数据;步骤S80:log客户端发送备份的log数据至log服务器。
具体的,log服务器如果发现其接收的log数据和log客户端发送的log数据不一致,log服务器会把已经接收的这段数据清除,log客户端会根据log服务器反馈的比对结果,把原先在内存中备份的这段log数据重新发送给log服务器。当发送的log数据达到预设校验值时,log服务器会再次进行比对,如果一致,那log客户端的备份数据就可以删除,如果不一致,log服务器会再次清除接收至的这段数据,log客户端也会再次发送其备份数据到log服务器。一般来说,log客户端的内存中只会备份一份log数据,只有当log服务器接收到完整的log数据后,log客户端才会把备份数据删除,开始发送新的log数据,并备份新的log数据。因此,本地服务器的内存只会占用校验预设值大小的地方,并不会对本地服务器的性能产生影响。
优选地,步骤S10之前还包括:步骤S01:log客户端配置log服务器信息;步骤S02:log客户端监测是否存在log数据,若是,则执行步骤S03,若否,则执行步骤S02;步骤S03:log客户端发送连接报文至log服务器;步骤S04:log客户端判断log服务器是否回复,若回复,则执行步骤S10,若不回复,则执行步骤S05;步骤S05:log客户端将log数据进行存储。
优选地,log服务器信息包括:log服务器的IP地址、log服务器的端口号和校验预设值。
具体的,log客户端首先会配置log服务器的IP地址、log服务器的端口号,以便于log客户端可以找到准备的log服务器,与其进行数据传输。校验预设值的配置,是根据log服务器和log客户端综合考虑而确定的,能够保证log服务器和log客户端之间的工作效率达到最高。只有当本地服务器产生log数据时,log客户端才会发送连接报文到log服务器,测试它是否正常工作;如果log服务器有回复,说明log服务器当前正处于正常工作的状态,log客户端会把log数据发送到log服务器,而如果log服务器没有回复,说明log服务器当前不在正常工作的状态,log客户端会把log数据存在本地磁盘中,后续工程师也可以根据情况,人工把这些数据传输到log服务器中。
优选地,第一处理数据和第二处理数据包括:哈希值。
具体的,哈希(hash)算法是将任意长度的二进制值映射为较短的固定长度的二进制值,这个小的二进制值称为哈希值。哈希值是一段数据唯一且极其紧凑的数值表示形式。如果散列一段明文而且哪怕只更改该段落的一个字母,随后的哈希都将产生不同的值。要找到散列为同一个值的两个不同的输入,在计算上是不可能的,因此,可以利用数据的哈希值检验数据的完整性。
例如,此处的哈希值算法可以通过如下方式实现:将所有字符的ASCII值进行累加得出的结果是一个unsignedlong的数据,比如,有一条log数据:20161-108:00:00[INFO]:hello,world!。根据ASCII码表得到字符串“20161-108:00:00[INFO]:hello,world!”得到每个ASCII值“0x32、0x30、0x31、0x36…”,最终的“hashCode=0x32+0x30+0x31+0x36+…”。当然哈希值算法也可以通过其它方式实现,在此不做限定,只要能计算出哈希值进行数据校验、比对即可。
在本发明的另一个实施例中,参见图2,一种UDP远程传输log的方法,包括:步骤S01:log客户端配置log服务器信息,log服务器信息包括:log服务器的IP地址、log服务器的端口号和校验预设值;步骤S02:log客户端监测是否存在log数据,若是,则执行步骤S03,若否,则执行步骤S02;步骤S03:log客户端发送连接报文至log服务器;步骤S04:log客户端判断log服务器是否回复,若回复,则执行步骤S10,若不回复,则执行步骤S05;步骤S05:log客户端将log数据进行存储;步骤S10:log客户端发送log数据至log服务器,且log客户端备份发送的log数据;步骤S20:log客户端判断发送的log数据大小是否达到校验预设值,若是,则执行步骤S30,若否,则执行步骤S10;步骤S30:log客户端对发送的log数据进行处理,得到第一处理数据,并将第一处理数据发送至log服务器;步骤S40:log服务器对接收到的log数据进行处理,得到第二处理数据;第一处理数据和第二处理数据包括:哈希值;步骤S50:log服务器将接收到的第一处理数据和第二处理数据进行比对,得到比对结果,并将比对结果反馈给log客户端,若比对结果一致,则执行步骤S60,若比对结果不一致,则执行步骤S70;步骤S60:log客户端清除备份数据;步骤S70:log服务器清除接收的log数据;步骤S80:log客户端发送备份的log数据至log服务器。
具体的,log客户端是安装于本地服务器上的,首先会进行初始化UDPSocket客户端,Socket是指,网络上的两个程序通过一个双向的通信连接实现数据的交换,这个连接的一端称为一个socket,初始化也就是指配置log服务器信息;而log服务器也会注册UDP监听端口号,之后才能等待log客户端发送的连接报文或log数据。
利用UDP的方式把本地服务器产生的log数据传输到专门的log服务器上,解决了本地服务器被log数据占用大量资源而导致性能下降的问题;且log客户端发送log数据时,会在其内存中备份,便于后续调用;设置的校验、比对环节,保证了log服务器接收数据的完整性,若不完整时,会把接收的这段数据删掉,log客户端也会调用备份数据,重新发送给log服务器,直到接收完整的数据后,log客户端才会把备份的数据删掉。
在本发明的另一个实施例中,参见图3,一种UDP远程传输log的系统,包括:log客户端10和log服务器20;log客户端10包括:第一发送模块11,发送log数据至log服务器20,以及,发送第一处理数据至log服务器20;第一存储模块12,与第一发送模块11电连接,备份发送的log数据;校验判断模块15,与第一发送模块11、第一存储模块12电连接,判断发送的log数据大小是否达到校验预设值;配置模块16,与校验判断模块15电连接,配置校验预设值;第一处理模块14,与校验判断模块15、第一发送模块11、第一存储模块12电连接,对发送的log数据进行处理,得到第一处理数据;备份数据清除模块13,与第一存储模块12电连接,清除备份数据;log服务器20包括:第二存储模块21,存储接收到的log数据,以及存储接收到的第一处理数据;第二处理模块22,与第二存储模块21电连接,对接收到的log数据进行处理,得到第二处理数据;比对模块23,与第二处理模块22、第二存储模块21电连接,将接收到的第一处理数据和第二处理数据进行比对,得到比对结果;第二发送模块24,与比对模块23电连接,将比对结果反馈给log客户端10。
具体的,log客户端10是安装在本地服务器上,而log服务器20是跟本地服务器无关的一台服务器,log客户端10与log服务器20通过网络连接,实现数据传输。第一存储模块12包括了本地服务器的内存,log客户端10会把发送到log服务器20的log数据在本地服务器的内存中备份,当log服务器20没有接收到完整的log数据时,log客户端10会调用在内存中的备份数据重新发送给log服务器20,当接收到完整的log数据后,备份在内存中的数据会被清除。log客户端10会配置校验预设值,即检验数据块的大小,当log客户端10发送了一段log数据后(此一段log数据的大小与校验预设值相同),log服务器20会进行校验、比对,审核其接收的这段log数据是否完整,并把比对结果反馈给log客户端10。如果比对结果一致,即log服务器20接收了完整的log数据,log客户端10会把内存中的这段备份数据清除,然后开始发送新的log数据。
优选地,第一发送模块11,进一步用于发送备份的log数据至log服务器;log服务器20还包括:接收数据清除模块25,与比对模块23、第二存储模块21电连接,清除接收的log数据。
具体的,log服务器20接收的log数据是存储在其磁盘中的,当校验、比对后发现其接收的数据不完整后,会把这段不完整的数据从其磁盘中清除,重新接收log客户端10调用备份数据发送过来的log数据,时刻保证log服务器20接收到完整的log数据,便于后续的查看、分析。
优选地,第一发送模块11,进一步用于发送连接报文至log服务器;配置模块16,进一步用于配置log服务器信息;第一存储模块12,进一步用于存储log数据;log客户端10还包括:监测模块17,与配置模块16、第一发送模块11电连接,监测是否存在log数据;回复判断模块18,与第一发送模块11、第一存储模块12电连接,判断log服务器是否回复。
优选地,log服务器信息包括:log服务器的IP地址、log服务器的端口号和校验预设值。
具体的,log客户端10配置的log服务器信息保证了log客户端10可以准备地与log服务器20连接,进行数据传输;校验预设值的配置在保证log服务器20接收到完整的log数据的同时,能够保证log客户端10和log服务器20的工作效率。只有当log客户端10监测到有log数据时,才会向log服务器20发送连接报文,减少了不必要的通信;当log服务器20没有回复时,说明log服务器20不是处在正常工作的状态,因此,log客户端10会把log数据存储在本地服务器的磁盘中,第一存储模块不仅仅包括备份发送的log数据的内存,还包括了无法发送给log服务器20时,存储log数据的硬盘、磁盘等。
优选地,第一处理数据和第二处理数据包括:哈希值。
具体的,哈希值是一段数据唯一且极其紧凑的数值表示形式,利用一段数据所对应的唯一哈希值,进行数据校验,保证了log服务器20接收的log数据的完整性,为后续工程师的分析、检查提供准确的数据基础。
在本发明的另一个实施例中,参见图4,一种UDP远程传输log的系统,包括:log客户端10和log服务器20;log客户端10包括:第一发送模块11,发送log数据至log服务器20,以及,发送第一处理数据至log服务器20,进一步用于发送备份的log数据至log服务器,以及,发送连接报文至log服务器;第一存储模块12,与第一发送模块11电连接,备份发送的log数据,以及存储log数据;校验判断模块15,与第一发送模块11、第一存储模块12电连接,判断发送的log数据大小是否达到校验预设值;配置模块16,与校验判断模块15电连接,配置log服务器信息;第一处理模块14,与校验判断模块15、第一发送模块11、第一存储模块12电连接,对发送的log数据进行处理,得到第一处理数据;备份数据清除模块13,与第一存储模块12电连接,清除备份数据;监测模块17,与配置模块16、第一发送模块11电连接,监测是否存在log数据;回复判断模块18,与第一发送模块11、第一存储模块12电连接,判断log服务器是否回复。log服务器20包括:第二存储模块21,存储接收到的log数据,以及存储接收到的第一处理数据;第二处理模块22,与第二存储模块21电连接,对接收到的log数据进行处理,得到第二处理数据;比对模块23,与第二处理模块22、第二存储模块21电连接,将接收到的第一处理数据和第二处理数据进行比对,得到比对结果;第二发送模块24,与比对模块23电连接,将比对结果反馈给log客户端10;接收数据清除模块25,与比对模块23、第二存储模块21电连接,清除接收的log数据。log服务器信息包括:log服务器的IP地址、log服务器的端口号和校验预设值。第一处理数据和第二处理数据包括:哈希值。
具体的,log客户端10首先配置log服务器20的信息,保证数据可以正确传输,在log客户端10把一段log数据传输到log服务器20后,会进行校验、比对,如果比对结果一致,log客户端10会清除其备份数据,发送新的log数据到log服务器20,形成新的循环;如果比对结果不一致,log服务器20会把其接收的这段错误的log数据清除,而log客户端10会根据log服务器20反馈的不一致比对结果,调用内存中备份的log数据重新发送到log服务器20,然后再校验、比对log服务器20是否接收了完整的log数据,只有当log服务器20接收了完整的数据后,log客户端10才会把备份数据清除,再发送新的log数据、重新备份新的log数据。因此,本地服务器只会被占用校验预设值大小的内存空间,不会对本地服务器造成影响。
本发明的log客户端以UDP的方式传输log数据到log服务器,减少了log数据对本地服务器的资源占用,且UDP的传输方式也比传统的TCP传输方式更有效率,校验过程也保证了log服务器可以接收到完整的log数据,保证了工程师后续在处理log数据时,得出准确的分析、处理结果。
应当说明的是,上述实施例均可根据需要自由组合。以上仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种UDP远程传输log的方法,其特征在于,包括:
步骤S10:log客户端发送log数据至log服务器,且log客户端备份发送的所述log数据;
步骤S20:log客户端判断发送的所述log数据大小是否达到校验预设值,若是,则执行步骤S30,若否,则执行步骤S10;
步骤S30:log客户端对发送的所述log数据进行处理,得到第一处理数据,并将所述第一处理数据发送至log服务器;
步骤S40:log服务器对接收到的所述log数据进行处理,得到第二处理数据;
步骤S50:log服务器将接收到的所述第一处理数据和所述第二处理数据进行比对,得到比对结果,并将所述比对结果反馈给log客户端,若比对结果一致,则执行步骤S60;
步骤S60:log客户端清除所述备份数据。
2.一种如权利要求1所述的UDP远程传输log的方法,其特征在于,所述步骤S50还包括:
log服务器将接收到的所述第一处理数据和所述第二处理数据进行比对,得到比对结果,并将所述比对结果反馈给log客户端,若比对结果不一致,则执行步骤S70;
步骤S70:log服务器清除接收的所述log数据;
步骤S80:log客户端发送所述备份的log数据至log服务器。
3.一种如权利要求1所述的UDP远程传输log的方法,其特征在于,所述步骤S10之前还包括:
步骤S01:log客户端配置log服务器信息;
步骤S02:log客户端监测是否存在log数据,若是,则执行步骤S03,若否,则执行步骤S02;
步骤S03:log客户端发送连接报文至log服务器;
步骤S04:log客户端判断log服务器是否回复,若回复,则执行步骤S10,若不回复,则执行步骤S05;
步骤S05:log客户端将所述log数据进行存储。
4.一种如权利要求3所述的UDP远程传输log的方法,其特征在于,所述log服务器信息包括:
log服务器的IP地址、log服务器的端口号和校验预设值。
5.一种如权利要求1-4任一所述的UDP远程传输log的方法,其特征在于,所述第一处理数据和所述第二处理数据包括:
哈希值。
6.一种UDP远程传输log的系统,其特征在于,包括:
log客户端和log服务器;
所述log客户端包括:
第一发送模块,发送log数据至log服务器,以及,发送第一处理数据至log服务器;
第一存储模块,与所述第一发送模块电连接,备份发送的所述log数据;
校验判断模块,与所述第一发送模块、所述第一存储模块电连接,判断发送的所述log数据大小是否达到校验预设值;
配置模块,与所述校验判断模块电连接,配置所述校验预设值;
第一处理模块,与所述校验判断模块、所述第一发送模块、所述第一存储模块电连接,对发送的所述log数据进行处理,得到第一处理数据;
备份数据清除模块,与所述第一存储模块电连接,清除所述备份数据;
所述log服务器包括:
第二存储模块,存储接收到的所述log数据,以及存储接收到的所述第一处理数据;
第二处理模块,与所述第二存储模块电连接,对接收到的所述log数据进行处理,得到第二处理数据;
比对模块,与所述第二处理模块、所述第二存储模块电连接,将接收到的所述第一处理数据和所述第二处理数据进行比对,得到比对结果;
第二发送模块,与所述比对模块电连接,将所述比对结果反馈给log客户端。
7.一种如权利要求6所述的UDP远程传输log的系统,其特征在于:
所述第一发送模块,进一步用于发送所述备份的log数据至log服务器;
所述log服务器还包括:
接收数据清除模块,与所述比对模块、所述第二存储模块电连接,清除接收的所述log数据。
8.一种如权利要求6所述的UDP远程传输log的系统,其特征在于:
所述第一发送模块,进一步用于发送连接报文至log服务器;
所述配置模块,进一步用于配置log服务器信息;
所述第一存储模块,进一步用于存储log数据;
所述log客户端还包括:
监测模块,与所述配置模块、所述第一发送模块电连接,监测是否存在log数据;
回复判断模块,与所述第一发送模块、所述第一存储模块电连接,判断log服务器是否回复。
9.一种如权利要求8所述的UDP远程传输log的系统,其特征在于,所述log服务器信息包括:
log服务器的IP地址、log服务器的端口号和校验预设值。
10.一种如权利要求6-9任一所述的UDP远程传输log的系统,其特征在于,所述第一处理数据和所述第二处理数据包括:
哈希值。
CN201610115626.6A 2016-03-01 2016-03-01 一种UDP远程传输log的方法及系统 Pending CN105554042A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610115626.6A CN105554042A (zh) 2016-03-01 2016-03-01 一种UDP远程传输log的方法及系统
PCT/CN2016/103897 WO2017148169A1 (zh) 2016-03-01 2016-10-29 一种UDP远程传输log的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610115626.6A CN105554042A (zh) 2016-03-01 2016-03-01 一种UDP远程传输log的方法及系统

Publications (1)

Publication Number Publication Date
CN105554042A true CN105554042A (zh) 2016-05-04

Family

ID=55832976

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610115626.6A Pending CN105554042A (zh) 2016-03-01 2016-03-01 一种UDP远程传输log的方法及系统

Country Status (2)

Country Link
CN (1) CN105554042A (zh)
WO (1) WO2017148169A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107103086A (zh) * 2017-04-28 2017-08-29 努比亚技术有限公司 一种数据采集审计的方法及系统、计算机可读存储介质
WO2017148169A1 (zh) * 2016-03-01 2017-09-08 上海斐讯数据通信技术有限公司 一种UDP远程传输log的方法及系统
CN112364415A (zh) * 2020-10-27 2021-02-12 江苏悦达绿色建筑科技有限公司 一种基于bim技术的建筑砌体施工方法和系统
CN114401147A (zh) * 2022-01-20 2022-04-26 山西晟视汇智科技有限公司 一种基于摘要算法的新能源电站通讯报文比对方法及系统
CN115209394A (zh) * 2022-05-31 2022-10-18 深圳市广和通无线股份有限公司 日志抓取方法、装置、设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109474693B (zh) * 2018-11-30 2023-04-07 平安科技(深圳)有限公司 数据传输方法及相关装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101087210A (zh) * 2007-05-22 2007-12-12 网御神州科技(北京)有限公司 高性能的Syslog日志处理和存储方法
US20090092126A1 (en) * 2007-10-03 2009-04-09 Verizon Data Services Inc. Method and system for retrieving log messages from customer premise equipment
CN101783955A (zh) * 2010-03-24 2010-07-21 杭州华三通信技术有限公司 一种数据异常时的恢复方法和设备
CN102064969A (zh) * 2010-12-27 2011-05-18 大唐移动通信设备有限公司 一种日志的处理方法和设备
CN102480489A (zh) * 2010-11-30 2012-05-30 北京千橡网景科技发展有限公司 一种用于分布式环境下的日志记录方法和设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103701941B (zh) * 2012-09-28 2018-06-15 中国电信股份有限公司 一种地址转换设备分配端口的方法和地址转换设备
CN103840953B (zh) * 2012-11-21 2017-10-31 中兴通讯股份有限公司 远程日志实时获取方法及系统
CN105554042A (zh) * 2016-03-01 2016-05-04 上海斐讯数据通信技术有限公司 一种UDP远程传输log的方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101087210A (zh) * 2007-05-22 2007-12-12 网御神州科技(北京)有限公司 高性能的Syslog日志处理和存储方法
US20090092126A1 (en) * 2007-10-03 2009-04-09 Verizon Data Services Inc. Method and system for retrieving log messages from customer premise equipment
CN101783955A (zh) * 2010-03-24 2010-07-21 杭州华三通信技术有限公司 一种数据异常时的恢复方法和设备
CN102480489A (zh) * 2010-11-30 2012-05-30 北京千橡网景科技发展有限公司 一种用于分布式环境下的日志记录方法和设备
CN102064969A (zh) * 2010-12-27 2011-05-18 大唐移动通信设备有限公司 一种日志的处理方法和设备

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017148169A1 (zh) * 2016-03-01 2017-09-08 上海斐讯数据通信技术有限公司 一种UDP远程传输log的方法及系统
CN107103086A (zh) * 2017-04-28 2017-08-29 努比亚技术有限公司 一种数据采集审计的方法及系统、计算机可读存储介质
CN107103086B (zh) * 2017-04-28 2020-11-06 杭州升迈科技有限公司 一种数据采集审计的方法及系统、计算机可读存储介质
CN112364415A (zh) * 2020-10-27 2021-02-12 江苏悦达绿色建筑科技有限公司 一种基于bim技术的建筑砌体施工方法和系统
CN114401147A (zh) * 2022-01-20 2022-04-26 山西晟视汇智科技有限公司 一种基于摘要算法的新能源电站通讯报文比对方法及系统
CN114401147B (zh) * 2022-01-20 2024-02-20 山西晟视汇智科技有限公司 一种基于摘要算法的新能源电站通讯报文比对方法及系统
CN115209394A (zh) * 2022-05-31 2022-10-18 深圳市广和通无线股份有限公司 日志抓取方法、装置、设备及存储介质

Also Published As

Publication number Publication date
WO2017148169A1 (zh) 2017-09-08

Similar Documents

Publication Publication Date Title
CN105554042A (zh) 一种UDP远程传输log的方法及系统
CN101699797B (zh) 使用udp协议进行数据传输的方法
CN106330414A (zh) 一种报文传输方法及装置
CN104917586A (zh) 传输数据的校验方法、装置及系统
CN103440142A (zh) 基于gprs远程升级及动态加载方法
CN112202635B (zh) 链路的监控方法、装置、存储介质以及电子装置
WO2021147793A1 (zh) 数据处理方法、装置、系统、电子设备及计算机存储介质
US8335843B2 (en) Communication system having multiple communication lines between a transmitter and a receiver
CN107979640B (zh) 一种数据传输方法及装置
CN111327650A (zh) 数据传输方法、装置、设备及存储介质
CN112055088B (zh) 一种基于光闸的文件可靠传输系统及其方法
CN111200519B (zh) 数据处理方法、装置、bbu、接入网设备和存储介质
CN104753761A (zh) 消息的处理方法、服务器及系统
CN104333872A (zh) 一种基于双向转发检测技术的建立会话的方法及系统
WO2020113936A1 (zh) 一种双向转发检测bfd参数协商方法、装置及芯片
CN105281944A (zh) 网络协议地址的设定方法及服务管理系统
US11444880B2 (en) Traffic control method and related apparatus
CN108011944B (zh) 一种Android上降低http请求失败的方法
CN111756748B (zh) 一种数据交互方法、装置、电子设备和存储介质
CN114490202B (zh) 一种密码设备测试方法、装置、电子设备及存储介质
CN110636071B (zh) 一种接口对接方法
CN113364880B (zh) 信息交换方法、系统、电子设备及存储介质
CN114978950B (zh) 基于fpga、cpu协同的网络算法调用方法及系统
US20240187904A1 (en) Load Query Processing Method and Apparatus, Storage Medium and Electronic Apparatus
CN111064801B (zh) 一种基于分布式文件系统的osd通信方法、装置及介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20190514