CN101478472B - 一种Socket数据传输处理方法及装置 - Google Patents

Abstract

本发明公开了一种Socket数据传输处理方法及装置，该方法为将Socket数据写入内存队列中；如果内存队列已满，则按Socket数据的优先级写入相应优先级的缓存文件中；再轮询读取缓存文件，实时地将缓存文件中的Socket数据写入到内存队列中；然后内存队列将Socket数据传输给读取Socket数据的接口。根据本发明，实现了多线程并发模式并带优先级的Socket数据传输，并且有效地防止了Socket数据的丢失。

Description

一种Socket数据传输处理方法及装置

技术领域

本发明涉及Socket数据安全保护，尤其涉及一种Socket数据传输处理方法及装置。

背景技术

Socket通常也称作″套接字″，用于描述IP地址和端口，是一个通信链的句柄。应用程序通常通过″套接字″向网络发出请求或者应答网络请求。

在服务器，使用ServerSocket监听发送Socket数据的指定端口，等待客户连接请求，客户连接后，会话产生；在完成会话后，关闭连接。而在客户端，使用Socket对网络上某一个服务器的某一个端口发出连接请求，一旦连接成功，打开会话；会话完成后，关闭Socket。

但是由于网络的不稳定性，会造成Socket数据传输的丢失，现有技术中是将数据缓存于内存中等待网络通信的恢复，不足之处是缓存于内存的数据不能得到及时处理，就会在释放中丢掉数据；并且目前都是用过程化执行Socket数据传输，Socket数据传输的速度得不到提高；另外，由于没有对缓存数据进行优先级存储，以至于那些需要高优先级的数据不能得到及时的发送。

发明内容

为了解决上述提及的问题，本发明提供一种带有缓存模式和优先级处理，并能够多线程并发处理socket数据的数据传输方法及装置，根据本发明可以实现安全的、高速的Socket数据传输。

本发明的技术方案是，一种Socket数据传输处理方法，包括以下步骤：

将Socket数据写入内存队列中；

如果内存队列已满，则按Socket数据的优先级写入相应优先级的缓存文件中；

再轮询读取缓存文件，实时地将缓存文件中的Socket数据写入到内存队列中；

然后内存队列将Socket数据传输给读取Socket数据的接口。

一种应用在客户端模式的Socket数据传输处理方法，所述客户端模式为发送Socket数据，该方法包括以下步骤：

将要发送的Socket数据写入内存队列中；

如果内存队列已满，就按Socket数据的优先级写入相应优先级的缓存文件中；

然后缓存文件读取线程轮询读取缓存文件，实时地将缓存文件中的Socket数据写入到内存队列中；

队列读取线程轮询读取内存队列，实时地将内存队列中的Socket数据发送给Socket端口。

一种应用在服务端模式的Socket数据传输处理方法，所述服务端模式为接收Socket数据，该方法包括以下步骤：

将Socket端口处接收到的Socket数据写入内存队列中；

如果内存队列已满，就按Socket数据的优先级写入对应优先级的缓存文件中；

然后缓存文件读取线程轮询读取缓存文件，实时地将缓存文件中的Socket数据写入内存队列；

队列读取线程轮询读取内存队列，实时地将内存队列中的Socket数据发送到读取Socket数据的服务端的程序接口。

所述缓存文件读取线程依优先级的高低顺序依次读取缓存文件中的Socket数据，在读取低优先级缓存文件中的Socket数据的过程中，只要取到数据就终止低优先级Socket数据的读取，返回到最高优先级Socket数据的读取。

所述缓存文件以栈的形式存取数据。

本发明还提供一种Socket数据传输处理装置，该装置包括：

内存队列单元，用于顺序存储Socket数据；

缓存文件单元，用于暂时存储Socket数据，并实时将Socket数据转存到内存队列单元；

轮询读取单元，用于依次对内存队列单元或缓存文件单元的Socket数据进行实时读取；以及

Socket端口单元，用于接收来自网络的Socket数据并发送给内存队列单元，或接收来自内存队列单元的Socket数据并发送给网络。

所述轮询读取单元包括：队列读取单元，用于轮询读取内存队列的Socket数据；缓存文件读取单元，用于轮询读取缓存文件单元的Socket数据。

本发明的一种应用在客户端模式的Socket数据传输处理装置，该装置包括：

第一内存队列单元，用于顺序存储要发送的Socket数据；

第一缓存文件单元，用于在第一内存队列单元已满的情况下暂时存储Socket数据，并实时将第一缓存文件单元中的Socket数据写入到第一内存队列单元；

第一队列读取单元，用于轮询读取第一内存队列单元中的Socket数据，并将Socket数据发送给第一Socket端口单元；

第一缓存文件读取单元，用于轮询读取第一缓存文件单元的Socket数据，并将读取出的Socket数据写入第一内存队列单元中；

第一Socket端口单元，用于接收来自第一队列读取单元中的Socket数据，并发送给网络。

本发明的一种应用在服务端模式下的Socket数据传输装置，该装置包括：

第二内存队列单元，用于顺序存储来自第二Socket端口读取单元的Socket数据；

第二缓存文件单元，用于在第二内存队列单元已满的情况下暂时存储Socket数据，并实时将第二缓存文件单元中的Socket数据写入到第二内存队列单元；

第二队列读取单元，用于轮询读取第二内存队列单元的Socket数据，并将Socket数据发送给读取Socket数据的服务端的程序接口；

第二缓存文件读取单元，用于轮询读取第二缓存文件单元的Socket数据，并将读取出的Socket数据写入第二内存队列单元中；

第二Socket端口单元，用于接收来自网络的Socket数据。

第二Socket端口读取单元，用于轮询读取第二Socket端口单元中的Socket数据，并将Socket数据发送给第二内存队列单元或第二缓存文件单元。

本发明在客户端采用客户端模式下的Socket数据传输处理装置，在服务端采用服务端模式下的Socket数据传输处理装置，因此，可以构成一种Socket数据传输处理系统，所述系统包括：

第一内存队列单元，用于顺序存储要发送的Socket数据；

第一缓存文件单元，用于在第一内存队列单元已满的情况下暂时存储Socket数据，并实时将第一缓存文件单元中的Socket数据写入到内存队列单元；

第一缓存文件读取单元，用于轮询读取第一缓存文件单元的Socket数据，并将读取出的Socket数据写入第一内存队列单元中；

第一队列读取单元，用于轮询读取第一内存队列单元中的Socket数据，并将Socket数据发送给第一Socket端口单元；

第一Socket端口单元，用于接收来自第一队列读取单元的Socket数据，并发送给网络；

第二Socket端口单元，用于接收来自网络的Socket数据；

第二Socket端口读取单元，用于轮询读取第二Socket端口单元的Socket数据，并将Socket数据发送给第二内存队列单元或第二缓存文件单元；

第二内存队列单元，用于顺序存储来自第二Socket端口读取单元的Socket数据；

第二缓存文件单元，用于在第二内存队列单元已满的情况下暂时存储Socket数据，并实时将第二缓存文件单元中的Socket数据写入到第二内存队列单元；

第二缓存文件读取单元，用于轮询读取第二缓存文件单元中的Socket数据，并将读取出的Socket数据写入第二内存队列单元中；

第二队列读取单元，用于轮询读取第二内存队列单元中的Socket数据，并将Socket数据发送给读取Socket数据的服务端的程序接口。

本发明由于使用缓存文件来对未处理的Socket数据进一步地存储，相对于使用缓存于内存的方法来存储Socket数据，缓存文件的优点是：只要存储在里面，会一直保存Socket数据，而不会因为网络或主机的原因，使Socket数据得到丢失；另外，该缓存文件带有优先级模式，从而能够及时地处理高优先级的Socket数据，保证网络良好的通信性能；不仅如此，由于使用轮询读取的线程，能够并发处理Socket数据，使网络通信速度得到提高。

通过以下参照附图对优选实施例的说明，本发明的上述以及其它目的、特征和优点将更加明显。

附图说明

图1为本发明的一种用于客户端的Socket数据传输方法的流程示意图；

图2为本发明的一种用于服务端的Socket数据传输方法的流程示意图。

具体实施方式

下面将详细描述本发明的具体实施例。应当注意，这里描述的实施例只用于举例说明，并不用于限制本发明。

本发明的主要构思在于，在Socket传输端口设置有缓存文件，所述缓存文件并设有优先级，根据Socket数据的重要程度来写入相应优先级的缓存文件中。如果在传输Socket数据的过程中，内存队列已经排满，则将Socket数据写入带有优先级的缓存文件中，然后不断地轮询缓存文件，实时地将缓存文件中的数据写入到内存队列中，然后内存队列再将数据发送到状态良好的Socket IO(Socket端口，以下同)处。根据本发明，实现了多线程并发模式并带优先级的Socket数据传输。

其中这里所述的使用缓存文件来存储数据的方式，不同于缓存于内存来存储数据的方式，前者无论什么原因都不会丢失保存的数据，而后者只要一释放内存就会丢掉缓存与内存中的数据，因此使用缓存文件来存储数据能够解决Socket数据的丢失问题。

具体地，所述Socket数据传输方法分为客户端模式和服务端模式，下面将分别描述在这两种模式下Socket数据的传输方法。

客户端模式下，主要是将用户端口写入的Socket数据发送给网络，当客户端使用Socket对网络上某一个服务器的某一个端口发出连接请求，因此需要将客户端的有关Socket数据发送到socket接口处。图1是本发明的客户端的Socket数据传输方法的流程示意图，如图1所示，在客户端的操作是，首先将Socket数据写到内存队列，如果内存队列满就按Socket数据的优先级写入相应优先级的缓存文件中；然后启动缓存文件读取线程轮询读取缓存文件，实时将缓存文件中的Socket数据导入到内存队列中；内存队列中存在有Socket数据后，然后启动内存队列读取线程，实时将内存队列中的Socket数据发送到正常工作的Socket IO(Socket端口)。

更具体地，在客户端模式下，Socket数据包存入内存队列，如果内存队列写满就暂时先写入缓存文件，根据Socket数据包中指定的优先级写入对应级别的缓存文件。然后缓存文件读取线程实时轮询缓存文件，在内存队列空闲的时候把暂存在缓存文件中的Socket数据包读取到内存队列中；缓存文件读取线程先读取优先级最高的缓存文件，如果高优先级的缓存文件中有数据，则取出一个数据包并写入内存队列，写入内存队列时，判断内存队列可写入量，如果内存队列已满，缓存文件读取线程被阻塞，直到内存队列空为止；然后缓存文件读取线程继续轮询，如果最高优先级缓存文件中没有可读取的数据，缓存文件线程依优先级高低顺序依次读取其他缓存文件，在依次读取过程中，只要取到一个数据包就立刻终止低优先级文件的读取，返回到最高优先级缓存文件的读取，这样就保证了高优先级缓存文件始终能得到优先读取；同时队列读取线程实时轮询内存队列，如果内存队列中有数据，取出一个数据包并写入Socket IO发送到服务端，如果内存队列空，队列读取线程被阻塞，直到内存队列中再次有数据。

较佳地，缓存文件分为10个优先级即10个缓存文件，这里，缓存文件根据客户端数据量的大小和重要程度来具体给定缓存文件的优先级数目。

图2是本发明的一种服务端模式下的Socket数据传输处理方法的流程示意图，如图2所示，在服务端模式下，主要是接收来自网络的Socket数据，将启动Socket读取线程，实时将Socket IO处的Socket数据存入内存队列，如果内存队列满，按数据的优先级写入对应优先级的缓存文件，然后启动缓存文件读取线程轮询缓存文件，实时将缓存文件中的数据导入内存队列，存于内存队列中的数据等待外部程序通过组件接口读取。这里用户端或者服务器端通过其用户端或服务器端口的外部程序接口来读取Socket数据。

更具体地，在服务端模式下，Socket端口监听线程实时等待客户端连接，如果得到客户端连接，启动Socket IO读取线程，Socket IO读取线程实时轮询读取socket IO，如果读到socket IO处的数据包，把数据包写入内存队列，写队列时判断内存队列可写量，如果内存队列满，就写入缓存文件，然后Socket IO读取线程继续轮询；写入缓存文件的数据，由缓存文件读取线程轮询缓存文件，实时地导入到内存队列中，缓存文件读取线程依优先级高低顺序依次读取其他缓存文件，如果最高优先级缓存文件中没有可读取的数据，则转入低优先级缓存文件的读取，在依次读取过程中，只要取到一个数据包就立刻终止低优先级文件的读取，返回到最高优先级缓存文件的读取，这样就保证了高优先级缓存文件始终能得到优先读取。

本发明的缓存文件以栈的形式存取数据包，即数据包在文件中是先进后出。

其中缓存文件分为文件头和文件体。文件头是文件中一段固定长度的数据段，用于记录文件体的大小。

当写数据到缓存文件时，先判断缓存文件是否存在，如果不存在则创建文件，将文件指针指到文件起点，读取文件头，如果文件头不存在，初始化文件头，数据体大小设为0，把文件头写入文件。如果文件中存在文件头，取出文件头数据，并将文件指针从当前位置向后移动头中所记录的长度。把数据包写入文件，更新文件头中记录的长度，将文件指针指向文件开头，重新写入文件头。

当从缓存文件中读取数据时，先判断缓存文件是否存在，如果不存在则创建文件，将文件指针指到文件起点，读取文件头，如果文件头不存在，初始化文件头，数据体大小设为0，把文件头写入文件。如果文件中存在文件头，取出文件头数据，判断数据体的大小，如果数据体大小大于等于一个数据包大小，将文件指针从当前位置向后移动到数据体长度减一个数据包长度的位置，读取数据包。更新文件头中记录的长度，将文件指针指向文件开头，重新写入文件头。

本发明还提供一种Socket数据传输处理装置，包括：内存队列单元，用于顺序存储Socket数据，所述Socket数据可以通过轮询读取单元对其进行读取；缓存文件单元，用于暂时存储Socket数据，并实时将Socket转存到内存队列单元；轮询读取单元，用于依次对内存队列单元或缓存文件单元中的Socket数据进行实时读取；Socket IO单元，用于接收或发送Socket数据。

其中所述轮询读取单元包括队列读取单元，用于轮询读取内存队列的Socket数据；缓存文件读取单元，用于轮询读取缓存文件单元的Socket数据。

根据上述内容，本发明的一种Socket数据传输装置，在客户端模式下，所述装置包括：

内存队列单元，用于顺序存储来自用户接口的Socket数据，所述Socket数据可以通过轮询读取单元对其进行读取；

缓存文件单元，用于在内存队列单元已满的情况下暂时存储Socket数据，并实时将Socket转存到内存队列单元；

队列读取单元，用于轮询读取内存队列的Socket数据，并将Socket数据发送给Socket IO单元；

缓存文件读取单元，用于轮询读取缓存文件单元的Socket数据，并将读取出的Socket数据写入内存队列单元中；

Socket IO单元，用于接收来自队列读取单元的Socket数据，并发送给网络。

同时本发明的一种Socket数据传输处理装置，在服务端模式下，所述装置包括：

内存队列单元，用于顺序存储来自Socket端口的Socket数据，所述Socket数据可以通过轮询读取单元对其进行读取；

缓存文件单元，用于在内存队列单元已满的情况下暂时存储Socket数据，并实时将Socket转存到内存队列单元；

队列读取单元，用于轮询读取内存队列的Socket数据，并将Socket数据发送给用户外部程序接口；

缓存文件读取单元，用于轮询读取缓存文件单元的Socket数据，并将读取出的Socket数据写入内存队列单元中；

Socket IO单元，用于接收来自网络的Socket数据。

Socket IO读取单元，用于轮询读取Socket IO单元的Socket数据，并将Socket数据发送给内存队列单元或缓存文件单元。

上述Socket数据传输处理装置分为客户端模式和服务端模式，在一个端口中既可以同时实现这两种模式的Socket数据处理，也可以在不同的两个端口实现客户端模式的发送Socket数据处理，以及服务端模式的接收Socket数据处理。

如果在客户端采用客户端模式下的Socket数据传输处理装置，在服务端采用服务端模式下的Socket数据传输处理装置，因此，可以构成一种Socket数据传输处理系统，所述系统包括：

第一内存队列单元，用于顺序存储要发送的Socket数据；

第一缓存文件单元，用于在内存队列单元已满的情况下暂时存储Socket数据，并实时将缓存文件单元中的Socket数据写入到内存队列单元；

第一缓存文件读取单元，用于轮询读取缓存文件单元的Socket数据，并将读取出的Socket数据写入内存队列单元中；

第一队列读取单元，用于轮询读取内存队列中的Socket数据，并将Socket数据发送给Socket端口单元；

第一Socket端口单元，用于接收来自队列读取单元的Socket数据，并发送给网络；

第二Socket端口单元，用于接收来自网络的Socket数据。

第二Socket端口读取单元，用于轮询读取Socket端口单元的Socket数据，并将Socket数据发送给内存队列单元或缓存文件单元。

第二内存队列单元，用于顺序存储来自Socket端口读取单元的Socket数据；

第二缓存文件单元，用于在内存队列单元已满的情况下暂时存储Socket数据，并实时将缓存文件单元中的Socket数据写入到内存队列单元；

第二缓存文件读取单元，用于轮询读取缓存文件单元中的Socket数据，并将读取出的Socket数据写入内存队列单元中；

第二队列读取单元，用于轮询读取内存队列中的Socket数据，并将Socket数据发送给读取Socket数据的服务端的程序接口。

虽然已参照上述典型实施例描述了本发明，但应当理解，所用的术语是说明和示例性、而非限制性的术语。由于本发明能够以多种形式具体实施而不脱离发明的精神或实质，所以应当理解，上述实施例不限于任何前述的细节，而应在随附权利要求所限定的精神和范围内广泛地解释，因此落入权利要求或其等效范围内的全部变化和改型都应为随附权利要求所涵盖。

Claims (11)

1.一种Socket数据传输处理方法，其特征在于，所述方法包括以下步骤：

将Socket数据写入内存队列中；

如果内存队列已满，则按Socket数据的优先级写入相应优先级的缓存文件中；

再轮询读取缓存文件，实时地将缓存文件中的Socket数据写入到内存队列中；

然后内存队列将Socket数据传输给读取Socket数据的接口。

2.根据权利要求1所述的方法，其特征在于，所述方法应用在客户端模式下，所述客户端模式为发送Socket数据，所述方法包括以下步骤：

将要发送的Socket数据写入内存队列中；

如果内存队列已满，就按Socket数据的优先级写入相应优先级的缓存文件中；

然后缓存文件读取线程轮询读取缓存文件，实时地将缓存文件中的Socket数据写入到内存队列中；

队列读取线程轮询读取内存队列，实时地将内存队列中的Socket数据发送给Socket端口。

3.根据权利要求1所述的方法，其特征在于，所述方法应用在服务端模式下，所述服务端模式为接收Socket数据，所述方法包括以下步骤：

将Socket端口处接收到的Socket数据写入内存队列中；

如果内存队列已满，就按Socket数据的优先级写入对应优先级的缓存文件中；

然后缓存文件读取线程轮询读取缓存文件，实时地将缓存文件中的Socket数据写入内存队列；

队列读取线程轮询读取内存队列，实时地将内存队列中的Socket数据发送到读取Socket数据的服务端的程序接口。

4.根据权利要求2或3所述的方法，其特征在于，所述缓存文件读取线程依优先级的高低顺序依次读取缓存文件中的Socket数据，在读取低优先级缓存文件中的Socket数据的过程中，只要取到数据就终止低优先级Socket数据的读取，返回到最高优先级Socket数据的读取。

5.根据权利要求1-3任意一项所述的方法，其特征在于，所述Socket数据以栈的形式写入缓存文件中。

6.根据权利要求3所述的方法，其特征在于，采用Socket端口读取线程实时地将Socket端口处接收到的Socket数据写入内存队列中。

7.一种Socket数据传输处理装置，其特征在于，所述装置包括：

内存队列单元，用于顺序存储Socket数据；

缓存文件单元，用于暂时存储Socket数据，并实时将Socket数据转存到内存队列单元；

轮询读取单元，用于依次对内存队列单元或缓存文件单元的Socket数据进行实时读取；以及

Socket端口单元，用于接收来自网络的Socket数据并发送给内存队列单元，或接收来自内存队列单元的Socket数据并发送给网络。

8.根据权利要求7所述的装置，其特征在于，所述轮询读取单元包括：队列读取单元，用于轮询读取内存队列单元的Socket数据；缓存文件读取单元，用于轮询读取缓存文件单元的Socket数据。

9.根据权利要求8所述的装置，其特征在于，所述装置应用在客户端模式下，所述客户端模式为发送Socket数据，所述装置包括：

内存队列单元，用于顺序存储要发送的Socket数据；

缓存文件单元，用于在内存队列单元已满的情况下暂时存储Socket数据，并实时将缓存文件单元中的Socket数据写入到内存队列单元；

队列读取单元，用于轮询读取内存队列单元中的Socket数据，并将Socket数据发送给Socket端口单元；

缓存文件读取单元，用于轮询读取缓存文件单元的Socket数据，并将读取出的Socket数据写入内存队列单元中；

Socket端口单元，用于接收来自队列读取单元中的Socket数据，并发送给网络。

10.根据权利要求8所述的装置，其特征在于，所述装置应用在服务端模式下，所述服务端模式为接收Socket数据，所述装置包括：

内存队列单元，用于顺序存储来自Socket端口读取单元的Socket数据；

缓存文件单元，用于在内存队列单元已满的情况下暂时存储Socket数据，并实时将缓存文件单元中的Socket数据写入到内存队列单元；

队列读取单元，用于轮询读取内存队列单元的Socket数据，并将Socket数据发送给读取Socket数据的服务端的程序接口；

缓存文件读取单元，用于轮询读取缓存文件单元的Socket数据，并将读取出的Socket数据写入内存队列单元中；

Socket端口单元，用于接收来自网络的Socket数据；

Socket端口读取单元，用于轮询读取Socket端口单元中的Socket数据，并将Socket数据发送给内存队列单元或缓存文件单元。

11.一种Socket数据传输处理系统，其特征在于，所述系统包括客户端模式下的Socket数据传输处理装置和服务端模式下的Socket数据传输处理装置，其中所述客户端模式下的Socket数据传输处理装置包括：

第一内存队列单元，用于顺序存储要发送的Socket数据；

第一缓存文件单元，用于在第一内存队列单元已满的情况下暂时存储Socket数据，并实时将第一缓存文件单元中的Socket数据写入到第一内存队列单元；

第一缓存文件读取单元，用于轮询读取第一缓存文件单元的Socket数据，并将读取出的Socket数据写入第一内存队列单元中；

第一队列读取单元，用于轮询读取第一内存队列单元中的Socket数据，并将Socket数据发送给第一Socket端口单元；

第一Socket端口单元，用于接收来自第一队列读取单元的Socket数据，并发送给网络；

其中所述服务端模式下的Socket数据传输处理装置包括：

第二Socket端口单元，用于接收来自网络的Socket数据；

第二Socket端口读取单元，用于轮询读取第二Socket端口单元的Socket数据，并将Socket数据发送给第二内存队列单元或第二缓存文件单元；

第二内存队列单元，用于顺序存储来自第二Socket端口读取单元的Socket数据；

第二缓存文件单元，用于在第二内存队列单元已满的情况下暂时存储Socket数据，并实时将第二缓存文件单元中的Socket数据写入到第二内存队列单元；

第二缓存文件读取单元，用于轮询读取第二缓存文件单元中的Socket数据，并将读取出的Socket数据写入第二内存队列单元中；

第二队列读取单元，用于轮询读取第二内存队列单元中的Socket数据，并将Socket数据发送给读取Socket数据的服务端的程序接口。

Images