CN108234595A - 日志传输方法及系统 - Google Patents

Abstract

本发明公开了日志传输方法及系统，包括：发送端将日志数据的长度和日志数据本身发送给接收端；接收端在接收日志数据时，实时判断所接收的日志数据长度与发送端发送过来的日志数据长度是否匹配，若匹配，则断开发送端与接收端之间的数据连接，否则，接收端保持与发送端之间的数据连接，并继续接收发送端发送的日志数据，直至接收端接收的日志数据长度与发送端发送过来的日志数据长度匹配为止，断开发送端与接收端之间的数据连接。解决小并发大数据量情形下，日志数据传输难以及实时高效记录的问题。

Description

日志传输方法及系统

技术领域

本发明涉及网络数据传输技术领域，特别是涉及日志传输方法及系统。

背景技术

Http打包上传日志：超文本传输协议Http是一个基于请求与响应模式的、无状态的、应用层的协议，常基于TCP的连接方式，HTTP1.1版本中给出一种持续连接的机制，绝大多数的Web开发，都是构建在HTTP协议之上的Web应用。

缺点：1)传输速度慢，数据包大(Http协议中包含辅助应用信息)。2)如实时交互，服务器性能压力大。3)数据传输安全性差。

通过socket传输日志：套接字(socket)是通信的基石，是支持TCP/IP协议的网络通信的基本操作单元。它是网络通信过程中端点的抽象表示，包含进行网络通信必须的五种信息：连接使用的协议，本地主机的IP地址，本地进程的协议端口，远地主机的IP地址，远地进程的协议端口。

缺点：1)需对传输的数据进行解析，转化成应用级的数据；2)对开发人员的开发水平要求高。3)相对于Http协议传输，增加了开发量。

现有技术存在的技术问题是：

数据在发送端与接收端之间传输的过程中，由于按照任务优先级来传输，导致低优先级的数据传输经常中断，中断后，发送端与接收端之间连接缺失，导致数据丢包现象频发。

发明内容

为了解决现有技术的不足，本发明提供了一种日志传输方法及系统，解决小并发大数据量情形下，日志数据传输难以及实时高效记录的问题；

日志传输方法，包括：

发送端将日志数据的长度和日志数据本身发送给接收端；

接收端在接收日志数据时，实时判断所接收的日志数据长度与发送端发送过来的日志数据长度是否匹配，若匹配，则断开发送端与接收端之间的数据连接，否则，接收端保持与发送端之间的数据连接，并继续接收发送端发送的日志数据，直至接收端接收的日志数据长度与发送端发送过来的日志数据长度匹配为止，断开发送端与接收端之间的数据连接。

进一步的，所述发送端将日志数据的长度和日志数据本身发送给接收端步骤之前，还包括：发送端对数据进行缓存，发送端与接收端之间建立数据连接。

进一步的，所述发送端将日志数据的长度和日志数据本身发送给接收端，包括：

发送端先将日志数据的长度发送给接收端，然后将日志数据本身传输给接收端。

进一步的，所述发送端对数据进行缓存，包括：

发送端接收输入的日志数据；

发送端将日志输入存入数据队列。

进一步的，所述发送端将日志输入存入数据队列的步骤为：

发送端判断内存队列是否已满，如果未满就将日志数据存入内存队列，如果已满就将日志数据存入硬盘队列。

进一步的，所述发送端与接收端之间建立数据连接，包括：

发送端唤醒传输线程；

传输线程读取数据队列中的数据；

创建发送端与接收端之间的Http连接。

进一步的，所述传输线程读取数据队列中的数据的步骤为：

传输线程首先判断硬盘队列是否为空，

如果不为空，则将硬盘队列数据存入内存队列；将内存队列中的日志数据转换为json字符串，并计算json字符串的长度，将json字符串的长度转换为int数值。

如果为空，将内存队列中的日志数据转换为json字符串，并计算json字符串的长度，将json字符串的长度转换为int数值。

进一步的，所述发送端将日志数据的长度和日志数据本身发送给接收端步骤为：

先传输int数值；再传输json字符串。

进一步的，所述接收端在接收日志数据步骤为：

接收端读取int数值；接收端根据int数值读取json数据，接收端实时判断所接收的json数据长度是否等于int数值，若等于，则接收端断开与发送端之间的连接；若不等于，则继续接收，直至接收端接收的日志数据长度与发送端发送过来的日志数据长度匹配为止，断开发送端与接收端之间的数据连接。

进一步的，所述直至接收端接收的日志数据长度与发送端发送过来的日志数据长度匹配为止步骤之后，断开发送端与接收端之间的数据连接步骤之前还包括：

发送端判断数据队列是否为空，如果不为空则传输线程继续读取数据队列中的数据；如果为空则等待设定时间，再次判断数据队列是否为空，如果再次判断的结果不为空则传输线程继续读取数据队列中的数据；如果再次判断的结果为空则断开发送端与接收端之间的Http连接。

日志传输系统，包括：发送端和接收端；

发送端接收输入的日志数据；将日志输入存入数据队列；唤醒传输线程；传输线程读取数据队列中的数据；发送端创建与接收端之间的Http连接；发送端将数据传输给接收端；

接收端在接收日志数据时，实时判断所接收的日志数据长度与发送端发送过来的日志数据长度是否匹配：

若匹配，则当前日志数据接收完毕；

若不匹配，接收端保持与发送端之间的数据连接，并继续接收发送端发送的日志数据，直至接收端接收的日志数据长度与发送端发送过来的日志数据长度匹配为止，当前日志数据接收完毕；

若当前日志数据接收完毕，发送端判断数据队列是否还有日志数据，若没有日志数据，则等待设定时间，再次判断数据队列是否为空，如果再次判断的结果不为空则返回读取数据队列中的数据；如果再次判断的结果为空则断开发送端与接收端之间的连接；若再次判断结果是仍有日志数据，就继续传输日志数据。

与现有技术相比，本发明的有益效果是：

相对于传统的Http与socket通信技术，本申请整合了上述两项技术的优点，具体如下：

1.传输速度快，数据包大：发送端判断内存队列是否已满的有益效果是，避免日志数据全部存入内存队列，而内存队列空间不足造成日志数据丢失的情况发生。

2.数据传输时效性强：

接收端根据int数值读取json数据的有益效果是，可以避免http连接断开。

所述再次判断数据队列是否为空的有益效果是，防止在设定时间内，数据队列接收到用户输入的新的日志数据，如果一次判断就断开Http连接，会导致发送端与接收端之间的数据尚未传输完毕，仍需要重新建立连接，造成时间上的浪费。

3.可以有效避免由于任务优先级传输导致的低优先级日志传输过程中，数据丢包现象。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1为本发明的流程图。

具体实施方式

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

本发明提供的第一个实施例，所述发送端为客户端，所述接收端为服务器端。

如图1所示，本申请方法程序共分为，客户端缓存队列、Http长连接传输、服务端接收服务三部分构成。

日志传输方法，包括：

步骤(1)：客户端接收输入的日志数据；

步骤(2)：客户端将日志输入存入数据队列；

步骤(3)：客户端唤醒传输线程；

步骤(4)：传输线程读取数据队列中的数据；

步骤(5)：创建客户端与服务器端之间的Http连接；

步骤(6)：客户端将数据传输给服务器端；

步骤(7)：客户端判断数据队列是否为空，如果不为空则返回步骤(4)；如果为空则等待设定时间，再次判断数据队列是否为空，如果再次判断的结果不为空则返回步骤(4)；如果再次判断的结果为空则断开客户端与服务器端之间的Http连接。

所述步骤(7)再次判断数据队列是否为空的有益效果是，防止在设定时间内，数据队列接收到用户输入的新的日志数据，如果一次判断就断开Http连接，会导致客户端与服务器之间的数据尚未传输完毕，仍需要重新建立连接，造成时间上的浪费。

所述步骤(2)的步骤为：

客户端判断内存队列是否已满，如果未满就将日志数据存入内存队列，如果已满就将日志数据存入硬盘。

客户端判断内存队列是否已满的有益效果是，避免日志数据全部存入内存队列，而内存队列空间不足造成日志数据丢失的情况发生。

所述步骤(4)的步骤为：

步骤(401)：传输线程首先判断硬盘队列是否为空，如果不为空，则进入步骤(402)；如果为空，则进入步骤(403)；

步骤(402)：将硬盘队列数据存入内存队列；进入步骤(403)；

步骤(403)：将内存队列中的日志数据转换为json字符串，并计算json字符串的长度，将json字符串的长度转换为int数值。

所述步骤(6)的将客户端的数据传输给服务器端步骤为：

步骤(611)：传输int数值；

步骤(612)：传输json字符串。

所述步骤(6)还包括：服务器端接收日志数据。

所述步骤(6)的服务器端接收日志数据步骤为：

步骤(621)：服务器端读取int数值；

步骤(622)：服务器端根据int数值读取json数据。

服务器端根据int数值读取json数据的有益效果是，可以避免http连接断开。

服务端实施：独立部署，支持负载均衡。

客户端实施：客户端以jar包的形式集成到应用中，同应用一起启停。

本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.日志传输方法，其特征是，包括：

发送端将日志数据的长度和日志数据本身发送给接收端；

接收端在接收日志数据时，实时判断所接收的日志数据长度与发送端发送过来的日志数据长度是否匹配，若匹配，则断开发送端与接收端之间的数据连接，否则，接收端保持与发送端之间的数据连接，并继续接收发送端发送的日志数据，直至接收端接收的日志数据长度与发送端发送过来的日志数据长度匹配为止，断开发送端与接收端之间的数据连接。

2.如权利要求1所述的日志传输方法，其特征是，所述发送端将日志数据的长度和日志数据本身发送给接收端步骤之前，还包括：发送端对数据进行缓存，发送端与接收端之间建立数据连接。

3.如权利要求1所述的日志传输方法，其特征是，所述发送端将日志数据的长度和日志数据本身发送给接收端，包括：

发送端先将日志数据的长度发送给接收端，然后将日志数据本身传输给接收端。

4.如权利要求2所述的日志传输方法，其特征是，所述发送端对数据进行缓存，包括：

发送端接收输入的日志数据；

发送端将日志输入存入数据队列。

5.如权利要求4所述的日志传输方法，其特征是，所述发送端将日志输入存入数据队列的步骤为：

发送端判断内存队列是否已满，如果未满就将日志数据存入内存队列，如果已满就将日志数据存入硬盘队列。

6.如权利要求2所述的日志传输方法，其特征是，所述发送端与接收端之间建立数据连接，包括：

发送端唤醒传输线程；

传输线程读取数据队列中的数据；

创建发送端与接收端之间的Http连接。

7.如权利要求6所述的日志传输方法，其特征是，所述传输线程读取数据队列中的数据的步骤为：

传输线程首先判断硬盘队列是否为空，

如果不为空，则将硬盘队列数据存入内存队列；将内存队列中的日志数据转换为json字符串，并计算json字符串的长度，将json字符串的长度转换为int数值；

如果为空，将内存队列中的日志数据转换为json字符串，并计算json字符串的长度，将json字符串的长度转换为int数值。

8.如权利要求1所述的日志传输方法，其特征是，

所述发送端将日志数据的长度和日志数据本身发送给接收端步骤为：

先传输int数值；再传输json字符串；

所述接收端在接收日志数据步骤为：

接收端读取int数值；接收端根据int数值读取json数据，接收端实时判断所接收的json数据长度是否等于int数值，若等于，则接收端断开与发送端之间的连接；若不等于，则继续接收，直至接收端接收的日志数据长度与发送端发送过来的日志数据长度匹配为止，断开发送端与接收端之间的数据连接。

9.如权利要求1所述的日志传输方法，其特征是，

所述直至接收端接收的日志数据长度与发送端发送过来的日志数据长度匹配为止步骤之后，断开发送端与接收端之间的数据连接步骤之前还包括：

发送端判断数据队列是否为空，如果不为空则传输线程继续读取数据队列中的数据；如果为空则等待设定时间，再次判断数据队列是否为空，如果再次判断的结果不为空则传输线程继续读取数据队列中的数据；如果再次判断的结果为空则断开发送端与接收端之间的Http连接。

10.日志传输系统，其特征是，包括：发送端和接收端；

发送端接收输入的日志数据；将日志输入存入数据队列；唤醒传输线程；传输线程读取数据队列中的数据；发送端创建与接收端之间的Http连接；发送端将数据传输给接收端；

接收端在接收日志数据时，实时判断所接收的日志数据长度与发送端发送过来的日志数据长度是否匹配：

若匹配，则当前日志数据接收完毕；

若不匹配，接收端保持与发送端之间的数据连接，并继续接收发送端发送的日志数据，直至接收端接收的日志数据长度与发送端发送过来的日志数据长度匹配为止，当前日志数据接收完毕；

若当前日志数据接收完毕，发送端判断数据队列是否还有日志数据，若没有日志数据，则等待设定时间，再次判断数据队列是否为空，如果再次判断的结果不为空则返回读取数据队列中的数据；如果再次判断的结果为空则断开发送端与接收端之间的连接；若再次判断结果是仍有日志数据，就继续传输日志数据。