CN105554042A - 一种UDP远程传输log的方法及系统 - Google Patents
一种UDP远程传输log的方法及系统 Download PDFInfo
- Publication number
- CN105554042A CN105554042A CN201610115626.6A CN201610115626A CN105554042A CN 105554042 A CN105554042 A CN 105554042A CN 201610115626 A CN201610115626 A CN 201610115626A CN 105554042 A CN105554042 A CN 105554042A
- Authority
- CN
- China
- Prior art keywords
- log
- data
- server
- module
- client
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012795 verification Methods 0.000 claims abstract description 53
- 238000012545 processing Methods 0.000 claims abstract description 21
- 230000008569 process Effects 0.000 claims abstract description 19
- 230000005540 biological transmission Effects 0.000 claims description 43
- 238000012544 monitoring process Methods 0.000 claims description 9
- 238000004891 communication Methods 0.000 abstract description 14
- 238000012546 transfer Methods 0.000 description 8
- 230000007423 decrease Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009897 systematic effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013524 data verification Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
- H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/16—Implementing security features at a particular protocol layer
- H04L63/166—Implementing security features at a particular protocol layer at the transport layer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
- H04L69/164—Adaptation or special uses of UDP protocol
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种UDP远程传输log的方法及系统,包括:步骤S10:log客户端发送log数据至log服务器,且备份发送的log数据;步骤S20:log客户端判断发送的log数据大小是否达到校验预设值;步骤S30:log客户端对发送的log数据进行处理,得到第一处理数据,并将第一处理数据发送至log服务器;步骤S40:log服务器对接收到的log数据进行处理,得到第二处理数据;步骤S50:log服务器将接收到的第一处理数据和第二处理数据进行比对,得到比对结果,并将比对结果反馈给log客户端;步骤S60:若比对结果一致,log客户端清除备份数据。本发明具有较高的通信效率,且保证了传输数据的完整。
Description
技术领域
本发明涉及log传输领域,尤其涉及一种UDP远程传输log的方法及系统。
背景技术
随着互联网技术的发展,服务器的应用越来越普遍,对于高并发访问的环境,服务器的性能非常重要,现在服务程序在运行时,会产生大量的log。
log,即日志,通常是系统或者某些软件对已完成的某种处理的记录,以便将来作为参考。目前对log的处理方案大致如下:
将log通过传输控制协议(TCP,TransmissionControlProtocol)的方式发送到一台log服务器,该方案的优点是数据稳定,缺点是TCP的通信方式每次都需要发送确认报文,造成通信效率比较低。
针对这个问题,现有技术是将log通过用户数据报协议(UDP,UserDatagramProtocol)的方式发送到一台log服务器,该方案的优点是,不需要发送确认报文,但是这种方案是一种不可靠的传输方式,可能会造成数据丢失。
发明内容
本发明的目的是提供一种UDP远程传输log的方法及系统,不会占用本地资源,且保证了传输至log服务器的log数据的完整性。
本发明提供的技术方案如下:
一种UDP远程传输log的方法,包括:步骤S10:log客户端发送log数据至log服务器,且log客户端备份发送的所述log数据;步骤S20:log客户端判断发送的所述log数据大小是否达到校验预设值,若是,则执行步骤S30,若否,则执行步骤S10;步骤S30:log客户端对发送的所述log数据进行处理,得到第一处理数据,并将所述第一处理数据发送至log服务器;步骤S40:log服务器对接收到的所述log数据进行处理,得到第二处理数据;步骤S50:log服务器将接收到的所述第一处理数据和所述第二处理数据进行比对,得到比对结果,并将所述比对结果反馈给log客户端,若比对结果一致,则执行步骤S60;步骤S60:log客户端清除所述备份数据。
进一步优选地,所述步骤S50还包括:log服务器将接收到的所述第一处理数据和所述第二处理数据进行比对,得到比对结果,并将所述比对结果反馈给log客户端,若比对结果不一致,则执行步骤S70;步骤S70:log服务器清除接收的所述log数据;步骤S80:log客户端发送所述备份的log数据至log服务器。
进一步优选地,所述步骤S10之前还包括:步骤S01:log客户端配置log服务器信息;步骤S02:log客户端监测是否存在log数据,若是,则执行步骤S03,若否,则执行步骤S02;步骤S03:log客户端发送连接报文至log服务器;步骤S04:log客户端判断log服务器是否回复,若回复,则执行步骤S10,若不回复,则执行步骤S05;步骤S05:log客户端将所述log数据进行存储。
进一步优选地,所述log服务器信息包括:log服务器的IP地址、log服务器的端口号和校验预设值。
进一步优选地,所述第一处理数据和所述第二处理数据包括:哈希值。
本发明还提供一种UDP远程传输log的系统,包括:log客户端和log服务器;所述log客户端包括:第一发送模块,发送log数据至log服务器,以及,发送第一处理数据至log服务器;第一存储模块,与所述第一发送模块电连接,备份发送的所述log数据;校验判断模块,与所述第一发送模块、所述第一存储模块电连接,判断发送的所述log数据大小是否达到校验预设值;配置模块,与所述校验判断模块电连接,配置所述校验预设值;第一处理模块,与所述校验判断模块、所述第一发送模块、所述第一存储模块电连接,对发送的所述log数据进行处理,得到第一处理数据;备份数据清除模块,与所述第一存储模块电连接,清除所述备份数据;所述log服务器包括:第二存储模块,存储接收到的所述log数据,以及存储接收到的所述第一处理数据;第二处理模块,与所述第二存储模块电连接,对接收到的所述log数据进行处理,得到第二处理数据;比对模块,与所述第二处理模块、所述第二存储模块电连接,将接收到的所述第一处理数据和所述第二处理数据进行比对,得到比对结果;第二发送模块,与所述比对模块电连接,将所述比对结果反馈给log客户端。
进一步优选地,所述第一发送模块,进一步用于发送所述备份的log数据至log服务器;所述log服务器还包括:接收数据清除模块,与所述比对模块、所述第二存储模块电连接,清除接收的所述log数据。
进一步优选地,所述第一发送模块,进一步用于发送连接报文至log服务器;所述配置模块,进一步用于配置log服务器信息;所述第一存储模块,进一步用于存储log数据;所述log客户端还包括:监测模块,与所述配置模块、所述第一发送模块电连接,监测是否存在log数据;回复判断模块,与所述第一发送模块、所述第一存储模块电连接,判断log服务器是否回复。
进一步优选地,所述log服务器信息包括:log服务器的IP地址、log服务器的端口号和校验预设值。
进一步优选地,所述第一处理数据和所述第二处理数据包括:哈希值。
与现有技术相比,本发明的有益效果在于:
1、服务器的服务程序运行时,会产生大量的log数据,为了便于将来作为参考,需要将这些log数据进行存储。本发明利用log客户端把log数据远程传输给专门的log服务器,不会占用本地服务器的资源,造成系统性能下降;同时利用UDP的方式发送log数据,具有较高的通信效率;且校验过程保证了传输的log数据的完整性。另外,log客户端发送log数据至log服务器的同时,会备份发送的log数据,主要目的是为了后续数据校验、比对时,如果发现log服务器接收的log数据错误或有数据丢失的情况,log客户端可以调用备份数据,重新向log服务器传输数据。在传输log数据前,会配置校验预设值,当log客户端发送了一定大小的log数据后,log服务器会进行数据校验、比对,这里的一定大小就是指校验预设值。log服务器会在接收到一定大小的log数据后,会比对、校验这段接收到的log数据是否完整、正确,并会向log客户端反馈比对结果,当比对结果一致时,即log服务器接收到的log数据是完整、正确时,log客户端会把先前备份的数据删掉,腾出内存空间。
2、log服务在得出比对结果后,不管是否一致都会向log客户端反馈比对结果,但是当比对结果不一致,即log服务器接收到的log数据不完整或存在错误数据时,log服务器会清除前面接收到的这段log数据,而log客户端会根据接收到的不一致比对结果,重新向log服务器发送log数据。清除log服务器上的错误或缺失的log数据,是为了不占用log服务器的资源,同时也减少了后续log数据混乱的可能。
3、在log客户端向log服务器发送log数据前,log客户端会先配置log服务器的信息,保证后续能够和服务器正确通信;只有当log客户端监测到有log数据需要保存时,才会向log服务器发送连接测试报文,如果log服务器回复了,说明log服务器处于正常工作状态,log客户端可以把log数据传输到log服务器;当log服务器没有回复,说明log服务器当前不能正常工作,log客户端就会把log数据存储在本地磁盘中,保证log数据能够被保存下来,便于工程师后续的回顾、分析。
4、配置log服务器的IP地址、log服务器的端口号,是保证了log客户端可以与log服务器正常通信、传输数据的基础;而校验预设值,也可以叫校验数据块的大小,是让log客户端发送的log数据达到这个大小时,开始校验这段数据是否完整、正确,其校验预设值的配置保证校了验及传输数据的效率。例如,若需要传输大量的log数据,设置为数据全部传输完后再进行校验,结果在校验后发现接收的log数据存在错误数据或数据丢失,错误数据可能只存在某一小段,但还是需要重新传输一遍原先大量的log数据,而传输大量的数据需要占用较多的时间,造成通信效率低的问题;而本发明设置的校验预设值,可以对大数据分段进行校验,当校验到其中某段数据错误时,可以即时修正,提高了通信效率。
5、哈希值是一段数据唯一且极其紧凑的数值的表示形式。如果散列更改一段明文,哪怕只更改该散列的一个字母,随后的哈希值都将不同。要找到散列为同一个值的两个不同的输入,在计算上来说基本上是不可能的。利用哈希值唯一性的特点,可以快速、准确地校验log服务器接收的数据是否完整、正确,具有极高的工作效率。
本发明提供的一种UDP远程传输log的方法及系统,利用log客户端把log数据远程传输给专门的log服务器,不会占用本地服务器的资源,造成系统性能下降;同时利用UDP的方式发送log数据,具有较高的通信效率;且校验过程也保证了传输的log数据的完整性。
附图说明
下面将以明确易懂的方式,结合附图说明优选实施方式,对一种UDP远程传输log的方法及系统的上述特性、技术特征、优点及其实现方式予以进一步说明。
图1是本发明UDP远程传输log的方法一个实施例的流程图;
图2是本发明UDP远程传输log的方法另一个实施例的流程图;
图3是本发明UDP远程传输log的系统一个实施例的结构示意图;
图4是本发明UDP远程传输log的系统另一个实施例的结构示意图。
附图标号说明:
10.log客户端,11.第一发送模块,12.第一存储模块,13.备份数据清除模块,14.第一处理模块,15.校验判断模块,16.配置模块,17.监测模块,18.回复判断模块,20.log服务器,21.第二存储模块,22.第二处理模块,23.比对模块,24.第二发送模块,25.接收数据清除模块。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对照附图说明本发明的具体实施方式。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图,并获得其他的实施方式。
为使图面简洁,各图中只示意性地表示出了与本发明相关的部分,它们并不代表其作为产品的实际结构。另外,以使图面简洁便于理解,在有些图中具有相同结构或功能的部件,仅示意性地绘示了其中的一个,或仅标出了其中的一个。在本文中,“一个”不仅表示“仅此一个”,也可以表示“多于一个”的情形。
在本发明的一个实施例中,参见图1,一种UDP远程传输log的方法,包括:步骤S10:log客户端发送log数据至log服务器,且log客户端备份发送的log数据;步骤S20:log客户端判断发送的log数据大小是否达到校验预设值,若是,则执行步骤S30,若否,则执行步骤S10;步骤S30:log客户端对发送的log数据进行处理,得到第一处理数据,并将第一处理数据发送至log服务器;步骤S40:log服务器对接收到的log数据进行处理,得到第二处理数据;步骤S50:log服务器将接收到的第一处理数据和第二处理数据进行比对,得到比对结果,并将比对结果反馈给log客户端,若比对结果一致,则执行步骤S60;步骤S60:log客户端清除备份数据。
具体的,对于高并发访问的环境,服务器的性能非常重要,而服务器在服务程序运行时,会产生大量的log数据,为了便于将来的审核、查看,需要对这些log数据进行存储。开发一个log客户端,在本地服务器上使用此log客户端将服务器产生的log数据远程传输到专门的log服务器,减少了本地服务器的资源占用,避免了其性能下降;在本发明的实施例中,以UDP的方式发送数据,与以TCP的方式发送数据相比,不需要像TCP的通信方式一样需要每次发送确认报文,提高了通信效率;设置的校验过程,保证了log服务器接收到的log数据的完整性和正确性。
log客户端发送log数据的同时,也会在其内存中备份发送的log数据,便于后续调用。log客户端配置的校验预设值,也可以称为校验数据教块的大小,当发送的log数据达到校验预设值的大小时,对这段数据进行校验,确认log服务器是否接收到正确、完整的数据,避免了一下子传输大量数据,结果在校验后发现有问题,需要重新传输大量数据的情况,减小了耗时风险,提高了通信效率;校验预设值保证了传输数据可以分成相同大小的数据进行校验,校验预设值可以设置为合理的大小,既保证校验准确率的同时,也保证了传输数据的效率。log服务器在比对其接收的数据和log客户端发送的数据是否一致,并把比对结果反馈给log客户端,便于log客户端根据比对结果执行后续操作,如果比对结果一致,log客户端会把先前在内存中备份的数据消除,发送新的log数据给log服务器,形成新的循环。log客户端清除内存中的备份数据是为后续的数据腾出空间,保障本地服务器可以维持高性能工作。
优选地,步骤S50还包括:log服务器将接收到的第一处理数据和第二处理数据进行比对,得到比对结果,并将比对结果反馈给log客户端,若比对结果不一致,则执行步骤S70;步骤S70:log服务器清除接收的log数据;步骤S80:log客户端发送备份的log数据至log服务器。
具体的,log服务器如果发现其接收的log数据和log客户端发送的log数据不一致,log服务器会把已经接收的这段数据清除,log客户端会根据log服务器反馈的比对结果,把原先在内存中备份的这段log数据重新发送给log服务器。当发送的log数据达到预设校验值时,log服务器会再次进行比对,如果一致,那log客户端的备份数据就可以删除,如果不一致,log服务器会再次清除接收至的这段数据,log客户端也会再次发送其备份数据到log服务器。一般来说,log客户端的内存中只会备份一份log数据,只有当log服务器接收到完整的log数据后,log客户端才会把备份数据删除,开始发送新的log数据,并备份新的log数据。因此,本地服务器的内存只会占用校验预设值大小的地方,并不会对本地服务器的性能产生影响。
优选地,步骤S10之前还包括:步骤S01:log客户端配置log服务器信息;步骤S02:log客户端监测是否存在log数据,若是,则执行步骤S03,若否,则执行步骤S02;步骤S03:log客户端发送连接报文至log服务器;步骤S04:log客户端判断log服务器是否回复,若回复,则执行步骤S10,若不回复,则执行步骤S05;步骤S05:log客户端将log数据进行存储。
优选地,log服务器信息包括:log服务器的IP地址、log服务器的端口号和校验预设值。
具体的,log客户端首先会配置log服务器的IP地址、log服务器的端口号,以便于log客户端可以找到准备的log服务器,与其进行数据传输。校验预设值的配置,是根据log服务器和log客户端综合考虑而确定的,能够保证log服务器和log客户端之间的工作效率达到最高。只有当本地服务器产生log数据时,log客户端才会发送连接报文到log服务器,测试它是否正常工作;如果log服务器有回复,说明log服务器当前正处于正常工作的状态,log客户端会把log数据发送到log服务器,而如果log服务器没有回复,说明log服务器当前不在正常工作的状态,log客户端会把log数据存在本地磁盘中,后续工程师也可以根据情况,人工把这些数据传输到log服务器中。
优选地,第一处理数据和第二处理数据包括:哈希值。
具体的,哈希(hash)算法是将任意长度的二进制值映射为较短的固定长度的二进制值,这个小的二进制值称为哈希值。哈希值是一段数据唯一且极其紧凑的数值表示形式。如果散列一段明文而且哪怕只更改该段落的一个字母,随后的哈希都将产生不同的值。要找到散列为同一个值的两个不同的输入,在计算上是不可能的,因此,可以利用数据的哈希值检验数据的完整性。
例如,此处的哈希值算法可以通过如下方式实现:将所有字符的ASCII值进行累加得出的结果是一个unsignedlong的数据,比如,有一条log数据:20161-108:00:00[INFO]:hello,world!。根据ASCII码表得到字符串“20161-108:00:00[INFO]:hello,world!”得到每个ASCII值“0x32、0x30、0x31、0x36…”,最终的“hashCode=0x32+0x30+0x31+0x36+…”。当然哈希值算法也可以通过其它方式实现,在此不做限定,只要能计算出哈希值进行数据校验、比对即可。
在本发明的另一个实施例中,参见图2,一种UDP远程传输log的方法,包括:步骤S01:log客户端配置log服务器信息,log服务器信息包括:log服务器的IP地址、log服务器的端口号和校验预设值;步骤S02:log客户端监测是否存在log数据,若是,则执行步骤S03,若否,则执行步骤S02;步骤S03:log客户端发送连接报文至log服务器;步骤S04:log客户端判断log服务器是否回复,若回复,则执行步骤S10,若不回复,则执行步骤S05;步骤S05:log客户端将log数据进行存储;步骤S10:log客户端发送log数据至log服务器,且log客户端备份发送的log数据;步骤S20:log客户端判断发送的log数据大小是否达到校验预设值,若是,则执行步骤S30,若否,则执行步骤S10;步骤S30:log客户端对发送的log数据进行处理,得到第一处理数据,并将第一处理数据发送至log服务器;步骤S40:log服务器对接收到的log数据进行处理,得到第二处理数据;第一处理数据和第二处理数据包括:哈希值;步骤S50:log服务器将接收到的第一处理数据和第二处理数据进行比对,得到比对结果,并将比对结果反馈给log客户端,若比对结果一致,则执行步骤S60,若比对结果不一致,则执行步骤S70;步骤S60:log客户端清除备份数据;步骤S70:log服务器清除接收的log数据;步骤S80:log客户端发送备份的log数据至log服务器。
具体的,log客户端是安装于本地服务器上的,首先会进行初始化UDPSocket客户端,Socket是指,网络上的两个程序通过一个双向的通信连接实现数据的交换,这个连接的一端称为一个socket,初始化也就是指配置log服务器信息;而log服务器也会注册UDP监听端口号,之后才能等待log客户端发送的连接报文或log数据。
利用UDP的方式把本地服务器产生的log数据传输到专门的log服务器上,解决了本地服务器被log数据占用大量资源而导致性能下降的问题;且log客户端发送log数据时,会在其内存中备份,便于后续调用;设置的校验、比对环节,保证了log服务器接收数据的完整性,若不完整时,会把接收的这段数据删掉,log客户端也会调用备份数据,重新发送给log服务器,直到接收完整的数据后,log客户端才会把备份的数据删掉。
在本发明的另一个实施例中,参见图3,一种UDP远程传输log的系统,包括:log客户端10和log服务器20;log客户端10包括:第一发送模块11,发送log数据至log服务器20,以及,发送第一处理数据至log服务器20;第一存储模块12,与第一发送模块11电连接,备份发送的log数据;校验判断模块15,与第一发送模块11、第一存储模块12电连接,判断发送的log数据大小是否达到校验预设值;配置模块16,与校验判断模块15电连接,配置校验预设值;第一处理模块14,与校验判断模块15、第一发送模块11、第一存储模块12电连接,对发送的log数据进行处理,得到第一处理数据;备份数据清除模块13,与第一存储模块12电连接,清除备份数据;log服务器20包括:第二存储模块21,存储接收到的log数据,以及存储接收到的第一处理数据;第二处理模块22,与第二存储模块21电连接,对接收到的log数据进行处理,得到第二处理数据;比对模块23,与第二处理模块22、第二存储模块21电连接,将接收到的第一处理数据和第二处理数据进行比对,得到比对结果;第二发送模块24,与比对模块23电连接,将比对结果反馈给log客户端10。
具体的,log客户端10是安装在本地服务器上,而log服务器20是跟本地服务器无关的一台服务器,log客户端10与log服务器20通过网络连接,实现数据传输。第一存储模块12包括了本地服务器的内存,log客户端10会把发送到log服务器20的log数据在本地服务器的内存中备份,当log服务器20没有接收到完整的log数据时,log客户端10会调用在内存中的备份数据重新发送给log服务器20,当接收到完整的log数据后,备份在内存中的数据会被清除。log客户端10会配置校验预设值,即检验数据块的大小,当log客户端10发送了一段log数据后(此一段log数据的大小与校验预设值相同),log服务器20会进行校验、比对,审核其接收的这段log数据是否完整,并把比对结果反馈给log客户端10。如果比对结果一致,即log服务器20接收了完整的log数据,log客户端10会把内存中的这段备份数据清除,然后开始发送新的log数据。
优选地,第一发送模块11,进一步用于发送备份的log数据至log服务器;log服务器20还包括:接收数据清除模块25,与比对模块23、第二存储模块21电连接,清除接收的log数据。
具体的,log服务器20接收的log数据是存储在其磁盘中的,当校验、比对后发现其接收的数据不完整后,会把这段不完整的数据从其磁盘中清除,重新接收log客户端10调用备份数据发送过来的log数据,时刻保证log服务器20接收到完整的log数据,便于后续的查看、分析。
优选地,第一发送模块11,进一步用于发送连接报文至log服务器;配置模块16,进一步用于配置log服务器信息;第一存储模块12,进一步用于存储log数据;log客户端10还包括:监测模块17,与配置模块16、第一发送模块11电连接,监测是否存在log数据;回复判断模块18,与第一发送模块11、第一存储模块12电连接,判断log服务器是否回复。
优选地,log服务器信息包括:log服务器的IP地址、log服务器的端口号和校验预设值。
具体的,log客户端10配置的log服务器信息保证了log客户端10可以准备地与log服务器20连接,进行数据传输;校验预设值的配置在保证log服务器20接收到完整的log数据的同时,能够保证log客户端10和log服务器20的工作效率。只有当log客户端10监测到有log数据时,才会向log服务器20发送连接报文,减少了不必要的通信;当log服务器20没有回复时,说明log服务器20不是处在正常工作的状态,因此,log客户端10会把log数据存储在本地服务器的磁盘中,第一存储模块不仅仅包括备份发送的log数据的内存,还包括了无法发送给log服务器20时,存储log数据的硬盘、磁盘等。
优选地,第一处理数据和第二处理数据包括:哈希值。
具体的,哈希值是一段数据唯一且极其紧凑的数值表示形式,利用一段数据所对应的唯一哈希值,进行数据校验,保证了log服务器20接收的log数据的完整性,为后续工程师的分析、检查提供准确的数据基础。
在本发明的另一个实施例中,参见图4,一种UDP远程传输log的系统,包括:log客户端10和log服务器20;log客户端10包括:第一发送模块11,发送log数据至log服务器20,以及,发送第一处理数据至log服务器20,进一步用于发送备份的log数据至log服务器,以及,发送连接报文至log服务器;第一存储模块12,与第一发送模块11电连接,备份发送的log数据,以及存储log数据;校验判断模块15,与第一发送模块11、第一存储模块12电连接,判断发送的log数据大小是否达到校验预设值;配置模块16,与校验判断模块15电连接,配置log服务器信息;第一处理模块14,与校验判断模块15、第一发送模块11、第一存储模块12电连接,对发送的log数据进行处理,得到第一处理数据;备份数据清除模块13,与第一存储模块12电连接,清除备份数据;监测模块17,与配置模块16、第一发送模块11电连接,监测是否存在log数据;回复判断模块18,与第一发送模块11、第一存储模块12电连接,判断log服务器是否回复。log服务器20包括:第二存储模块21,存储接收到的log数据,以及存储接收到的第一处理数据;第二处理模块22,与第二存储模块21电连接,对接收到的log数据进行处理,得到第二处理数据;比对模块23,与第二处理模块22、第二存储模块21电连接,将接收到的第一处理数据和第二处理数据进行比对,得到比对结果;第二发送模块24,与比对模块23电连接,将比对结果反馈给log客户端10;接收数据清除模块25,与比对模块23、第二存储模块21电连接,清除接收的log数据。log服务器信息包括:log服务器的IP地址、log服务器的端口号和校验预设值。第一处理数据和第二处理数据包括:哈希值。
具体的,log客户端10首先配置log服务器20的信息,保证数据可以正确传输,在log客户端10把一段log数据传输到log服务器20后,会进行校验、比对,如果比对结果一致,log客户端10会清除其备份数据,发送新的log数据到log服务器20,形成新的循环;如果比对结果不一致,log服务器20会把其接收的这段错误的log数据清除,而log客户端10会根据log服务器20反馈的不一致比对结果,调用内存中备份的log数据重新发送到log服务器20,然后再校验、比对log服务器20是否接收了完整的log数据,只有当log服务器20接收了完整的数据后,log客户端10才会把备份数据清除,再发送新的log数据、重新备份新的log数据。因此,本地服务器只会被占用校验预设值大小的内存空间,不会对本地服务器造成影响。
本发明的log客户端以UDP的方式传输log数据到log服务器,减少了log数据对本地服务器的资源占用,且UDP的传输方式也比传统的TCP传输方式更有效率,校验过程也保证了log服务器可以接收到完整的log数据,保证了工程师后续在处理log数据时,得出准确的分析、处理结果。
应当说明的是,上述实施例均可根据需要自由组合。以上仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种UDP远程传输log的方法,其特征在于,包括:
步骤S10:log客户端发送log数据至log服务器,且log客户端备份发送的所述log数据;
步骤S20:log客户端判断发送的所述log数据大小是否达到校验预设值,若是,则执行步骤S30,若否,则执行步骤S10;
步骤S30:log客户端对发送的所述log数据进行处理,得到第一处理数据,并将所述第一处理数据发送至log服务器;
步骤S40:log服务器对接收到的所述log数据进行处理,得到第二处理数据;
步骤S50:log服务器将接收到的所述第一处理数据和所述第二处理数据进行比对,得到比对结果,并将所述比对结果反馈给log客户端,若比对结果一致,则执行步骤S60;
步骤S60:log客户端清除所述备份数据。
2.一种如权利要求1所述的UDP远程传输log的方法,其特征在于,所述步骤S50还包括:
log服务器将接收到的所述第一处理数据和所述第二处理数据进行比对,得到比对结果,并将所述比对结果反馈给log客户端,若比对结果不一致,则执行步骤S70;
步骤S70:log服务器清除接收的所述log数据;
步骤S80:log客户端发送所述备份的log数据至log服务器。
3.一种如权利要求1所述的UDP远程传输log的方法,其特征在于,所述步骤S10之前还包括:
步骤S01:log客户端配置log服务器信息;
步骤S02:log客户端监测是否存在log数据,若是,则执行步骤S03,若否,则执行步骤S02;
步骤S03:log客户端发送连接报文至log服务器;
步骤S04:log客户端判断log服务器是否回复,若回复,则执行步骤S10,若不回复,则执行步骤S05;
步骤S05:log客户端将所述log数据进行存储。
4.一种如权利要求3所述的UDP远程传输log的方法,其特征在于,所述log服务器信息包括:
log服务器的IP地址、log服务器的端口号和校验预设值。
5.一种如权利要求1-4任一所述的UDP远程传输log的方法,其特征在于,所述第一处理数据和所述第二处理数据包括:
哈希值。
6.一种UDP远程传输log的系统,其特征在于,包括:
log客户端和log服务器;
所述log客户端包括:
第一发送模块,发送log数据至log服务器,以及,发送第一处理数据至log服务器;
第一存储模块,与所述第一发送模块电连接,备份发送的所述log数据;
校验判断模块,与所述第一发送模块、所述第一存储模块电连接,判断发送的所述log数据大小是否达到校验预设值;
配置模块,与所述校验判断模块电连接,配置所述校验预设值;
第一处理模块,与所述校验判断模块、所述第一发送模块、所述第一存储模块电连接,对发送的所述log数据进行处理,得到第一处理数据;
备份数据清除模块,与所述第一存储模块电连接,清除所述备份数据;
所述log服务器包括:
第二存储模块,存储接收到的所述log数据,以及存储接收到的所述第一处理数据;
第二处理模块,与所述第二存储模块电连接,对接收到的所述log数据进行处理,得到第二处理数据;
比对模块,与所述第二处理模块、所述第二存储模块电连接,将接收到的所述第一处理数据和所述第二处理数据进行比对,得到比对结果;
第二发送模块,与所述比对模块电连接,将所述比对结果反馈给log客户端。
7.一种如权利要求6所述的UDP远程传输log的系统,其特征在于:
所述第一发送模块,进一步用于发送所述备份的log数据至log服务器;
所述log服务器还包括:
接收数据清除模块,与所述比对模块、所述第二存储模块电连接,清除接收的所述log数据。
8.一种如权利要求6所述的UDP远程传输log的系统,其特征在于:
所述第一发送模块,进一步用于发送连接报文至log服务器;
所述配置模块,进一步用于配置log服务器信息;
所述第一存储模块,进一步用于存储log数据;
所述log客户端还包括:
监测模块,与所述配置模块、所述第一发送模块电连接,监测是否存在log数据;
回复判断模块,与所述第一发送模块、所述第一存储模块电连接,判断log服务器是否回复。
9.一种如权利要求8所述的UDP远程传输log的系统,其特征在于,所述log服务器信息包括:
log服务器的IP地址、log服务器的端口号和校验预设值。
10.一种如权利要求6-9任一所述的UDP远程传输log的系统,其特征在于,所述第一处理数据和所述第二处理数据包括:
哈希值。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610115626.6A CN105554042A (zh) | 2016-03-01 | 2016-03-01 | 一种UDP远程传输log的方法及系统 |
PCT/CN2016/103897 WO2017148169A1 (zh) | 2016-03-01 | 2016-10-29 | 一种UDP远程传输log的方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610115626.6A CN105554042A (zh) | 2016-03-01 | 2016-03-01 | 一种UDP远程传输log的方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105554042A true CN105554042A (zh) | 2016-05-04 |
Family
ID=55832976
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610115626.6A Pending CN105554042A (zh) | 2016-03-01 | 2016-03-01 | 一种UDP远程传输log的方法及系统 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN105554042A (zh) |
WO (1) | WO2017148169A1 (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107103086A (zh) * | 2017-04-28 | 2017-08-29 | 努比亚技术有限公司 | 一种数据采集审计的方法及系统、计算机可读存储介质 |
WO2017148169A1 (zh) * | 2016-03-01 | 2017-09-08 | 上海斐讯数据通信技术有限公司 | 一种UDP远程传输log的方法及系统 |
CN112364415A (zh) * | 2020-10-27 | 2021-02-12 | 江苏悦达绿色建筑科技有限公司 | 一种基于bim技术的建筑砌体施工方法和系统 |
CN114401147A (zh) * | 2022-01-20 | 2022-04-26 | 山西晟视汇智科技有限公司 | 一种基于摘要算法的新能源电站通讯报文比对方法及系统 |
CN115209394A (zh) * | 2022-05-31 | 2022-10-18 | 深圳市广和通无线股份有限公司 | 日志抓取方法、装置、设备及存储介质 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109474693B (zh) * | 2018-11-30 | 2023-04-07 | 平安科技(深圳)有限公司 | 数据传输方法及相关装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101087210A (zh) * | 2007-05-22 | 2007-12-12 | 网御神州科技(北京)有限公司 | 高性能的Syslog日志处理和存储方法 |
US20090092126A1 (en) * | 2007-10-03 | 2009-04-09 | Verizon Data Services Inc. | Method and system for retrieving log messages from customer premise equipment |
CN101783955A (zh) * | 2010-03-24 | 2010-07-21 | 杭州华三通信技术有限公司 | 一种数据异常时的恢复方法和设备 |
CN102064969A (zh) * | 2010-12-27 | 2011-05-18 | 大唐移动通信设备有限公司 | 一种日志的处理方法和设备 |
CN102480489A (zh) * | 2010-11-30 | 2012-05-30 | 北京千橡网景科技发展有限公司 | 一种用于分布式环境下的日志记录方法和设备 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103701941B (zh) * | 2012-09-28 | 2018-06-15 | 中国电信股份有限公司 | 一种地址转换设备分配端口的方法和地址转换设备 |
CN103840953B (zh) * | 2012-11-21 | 2017-10-31 | 中兴通讯股份有限公司 | 远程日志实时获取方法及系统 |
CN105554042A (zh) * | 2016-03-01 | 2016-05-04 | 上海斐讯数据通信技术有限公司 | 一种UDP远程传输log的方法及系统 |
-
2016
- 2016-03-01 CN CN201610115626.6A patent/CN105554042A/zh active Pending
- 2016-10-29 WO PCT/CN2016/103897 patent/WO2017148169A1/zh active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101087210A (zh) * | 2007-05-22 | 2007-12-12 | 网御神州科技(北京)有限公司 | 高性能的Syslog日志处理和存储方法 |
US20090092126A1 (en) * | 2007-10-03 | 2009-04-09 | Verizon Data Services Inc. | Method and system for retrieving log messages from customer premise equipment |
CN101783955A (zh) * | 2010-03-24 | 2010-07-21 | 杭州华三通信技术有限公司 | 一种数据异常时的恢复方法和设备 |
CN102480489A (zh) * | 2010-11-30 | 2012-05-30 | 北京千橡网景科技发展有限公司 | 一种用于分布式环境下的日志记录方法和设备 |
CN102064969A (zh) * | 2010-12-27 | 2011-05-18 | 大唐移动通信设备有限公司 | 一种日志的处理方法和设备 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017148169A1 (zh) * | 2016-03-01 | 2017-09-08 | 上海斐讯数据通信技术有限公司 | 一种UDP远程传输log的方法及系统 |
CN107103086A (zh) * | 2017-04-28 | 2017-08-29 | 努比亚技术有限公司 | 一种数据采集审计的方法及系统、计算机可读存储介质 |
CN107103086B (zh) * | 2017-04-28 | 2020-11-06 | 杭州升迈科技有限公司 | 一种数据采集审计的方法及系统、计算机可读存储介质 |
CN112364415A (zh) * | 2020-10-27 | 2021-02-12 | 江苏悦达绿色建筑科技有限公司 | 一种基于bim技术的建筑砌体施工方法和系统 |
CN114401147A (zh) * | 2022-01-20 | 2022-04-26 | 山西晟视汇智科技有限公司 | 一种基于摘要算法的新能源电站通讯报文比对方法及系统 |
CN114401147B (zh) * | 2022-01-20 | 2024-02-20 | 山西晟视汇智科技有限公司 | 一种基于摘要算法的新能源电站通讯报文比对方法及系统 |
CN115209394A (zh) * | 2022-05-31 | 2022-10-18 | 深圳市广和通无线股份有限公司 | 日志抓取方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2017148169A1 (zh) | 2017-09-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105554042A (zh) | 一种UDP远程传输log的方法及系统 | |
CN101699797B (zh) | 使用udp协议进行数据传输的方法 | |
CN106330414A (zh) | 一种报文传输方法及装置 | |
CN104917586A (zh) | 传输数据的校验方法、装置及系统 | |
CN103440142A (zh) | 基于gprs远程升级及动态加载方法 | |
CN112202635B (zh) | 链路的监控方法、装置、存储介质以及电子装置 | |
WO2021147793A1 (zh) | 数据处理方法、装置、系统、电子设备及计算机存储介质 | |
US8335843B2 (en) | Communication system having multiple communication lines between a transmitter and a receiver | |
CN107979640B (zh) | 一种数据传输方法及装置 | |
CN111327650A (zh) | 数据传输方法、装置、设备及存储介质 | |
CN112055088B (zh) | 一种基于光闸的文件可靠传输系统及其方法 | |
CN111200519B (zh) | 数据处理方法、装置、bbu、接入网设备和存储介质 | |
CN104753761A (zh) | 消息的处理方法、服务器及系统 | |
CN104333872A (zh) | 一种基于双向转发检测技术的建立会话的方法及系统 | |
WO2020113936A1 (zh) | 一种双向转发检测bfd参数协商方法、装置及芯片 | |
CN105281944A (zh) | 网络协议地址的设定方法及服务管理系统 | |
US11444880B2 (en) | Traffic control method and related apparatus | |
CN108011944B (zh) | 一种Android上降低http请求失败的方法 | |
CN111756748B (zh) | 一种数据交互方法、装置、电子设备和存储介质 | |
CN114490202B (zh) | 一种密码设备测试方法、装置、电子设备及存储介质 | |
CN110636071B (zh) | 一种接口对接方法 | |
CN113364880B (zh) | 信息交换方法、系统、电子设备及存储介质 | |
CN114978950B (zh) | 基于fpga、cpu协同的网络算法调用方法及系统 | |
US20240187904A1 (en) | Load Query Processing Method and Apparatus, Storage Medium and Electronic Apparatus | |
CN111064801B (zh) | 一种基于分布式文件系统的osd通信方法、装置及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
AD01 | Patent right deemed abandoned | ||
AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20190514 |