KR100406236B1

KR100406236B1 - Method of Preventing Data Loss On UDP

Info

Publication number: KR100406236B1
Application number: KR10-2001-0073264A
Authority: KR
Inventors: 김희진
Original assignee: 엘지전자 주식회사
Priority date: 2001-11-23
Filing date: 2001-11-23
Publication date: 2003-11-17
Also published as: KR20030042566A

Abstract

본 발명은 UDP(User Datagram Protocol) 기반 통신상에서의 데이터 유실 방지 방법에 관한 것으로, 특히 쓰레드(Thread)를 이용하여 큐에 데이터를 저장하여 소켓 버퍼에서의 데이터 유실을 방지하도록 한 UDP(User Datagram Protocol) 기반 통신상에서의 데이터 유실 방지 방법에 관한 것이다.The present invention relates to a method for preventing data loss in UDP (User Datagram Protocol) based communication, and particularly to storing data in a queue using threads to prevent data loss in a socket buffer. The present invention relates to a method for preventing data loss on an based communication.

본 발명의 실시예에 따른 UDP(User Datagram Protocol) 기반 통신상에서의 데이터 유실 방지 방법은 소켓 버퍼에 데이터가 입력되면, 쓰레드에 의해 데이터 입력을 확인하는 단계와; 상기 쓰레드가 데이터 입력을 인식할 경우, 큐에 데이터를 저장하는 단계와; 상기 큐에 저장된 데이터를 처리하는 단계를 포함하여 이루어진 것을 특징으로 한다.According to an embodiment of the present invention, a method of preventing data loss in UDP (User Datagram Protocol) based communication includes: checking data input by a thread when data is input to a socket buffer; If the thread recognizes a data input, storing data in a queue; And processing the data stored in the queue.

Description

Method of Preventing Data Loss on UDP-Based Communication

본 발명은 UDP(User Datagram Protocol) 기반 통신상에서의 데이터 유실 방지 방법에 관한 것으로, 특히 쓰레드(Thread)를 이용하여 큐에 데이터를 저장하도록 하여 소켓 버퍼에서의 데이터 유실을 방지하도록 한 UDP(User Datagram Protocol) 기반 통신상에서의 데이터 유실 방지 방법에 관한 것이다.The present invention relates to a method for preventing data loss in UDP (User Datagram Protocol) -based communication, and in particular, to store data in a queue by using a thread to prevent data loss in a socket buffer. The present invention relates to a method for preventing data loss on a protocol-based communication.

일반적으로, UDP(User Datagram Protocol)는 비연결형 통신을 지원하는 비신뢰적인 프로토콜이다. 이러한 신뢰성을 떨어뜨리는 이유는 데이터 전달 시 또는 데이터 수신시에 데이터를 유실하기 때문이다.In general, User Datagram Protocol (UDP) is an unreliable protocol that supports connectionless communication. The reason for this deterioration is that data is lost at the time of data transmission or data reception.

그럼에도 불구하고, VoIP(Voice Over Internet Protocol)나 망 관리를 위한 SNMP(Simple Network Management Protocol)에서는 UDP 기반의 통신을 지원한다. 그러므로, UDP 기반 통신 서버는 클라이언트에서 송신하는 데이터 수신 시 데이터 유실 방지가 필수적이다.Nevertheless, Voice Over Internet Protocol (VoIP) or Simple Network Management Protocol (SNMP) for network management supports UDP-based communication. Therefore, in the UDP-based communication server, data loss prevention is essential when receiving data transmitted from a client.

UDP의 경우 소켓 버퍼는 도1에 도시된 바와 같이, 최대 256K까지 크기를 확장하여 사용할 수 있다. 클라이언트에서 대량의 데이터가 생성될 경우, UDP 통신 서버는 미리 설정된 크기의 UDP 소켓 버퍼로 데이터를 받고, 이 소켓 버퍼를 "recvfrom" 함수로 체크하여 데이터가 해당 소켓 버퍼에 발생하면 받은 데이터를 프로세스로 넘겨 이를 처리하고, 처리한 후 소켓 버퍼에서 다음 데이터를 가져와 처리하는 구조를 가진다.In the case of UDP, as shown in FIG. 1, the socket buffer may be extended in size up to 256K. When a large amount of data is created on the client, the UDP communication server receives the data into the UDP socket buffer of the preset size, and checks the socket buffer with the "recvfrom" function and sends the received data to the process when the data occurs in the socket buffer. It has a structure to process it by passing it, processing it, and then getting the next data from the socket buffer.

클라이언트-서버 간 통신 시, 클라이언트에서 다량의 데이터를 송신할 경우, 서버는 UDP 소켓 버퍼를 바인드(Binding)하여 클라이언트에서 송신하는 데이터를미리 정해진 크기로 이를 읽어서 처리하게 된다.In the client-server communication, when a large amount of data is sent from the client, the server binds a UDP socket buffer to read and process the data transmitted from the client in a predetermined size.

그러나, UDP 소켓에서 설정된 버퍼에 데이터가 들어와 쌓이는 속도에 비해 프로세스에서 해당 데이터를 처리하는 속도가 현저히 느릴 경우, UDP 소켓 버퍼에 데이터가 가득 차 서버가 더 이상 데이터를 수신할 수 없게 된다.However, if the process is slow to process the data compared to the speed at which data enters and accumulates in the buffer set in the UDP socket, the server can no longer receive data because the UDP socket buffer is full of data.

이 경우, UDP 통신 서버는 UDP 소켓 상에서 데이터를 더 이상 수신하지 못하고 버리게 되어 데이터의 유실이 일어나게 되지만, 클라이언트에서는 이러한 서버에서의 데이터 유실을 인지하지 못한다. UDP에서는 TCP에서 행해지는 플로우 컨트롤(flow Control)과 같은 신뢰성 있는 서비스가 제공되지 않으므로 송신측에서 송신하는 데이터 양이 많은 경우, UDP 소켓은 버퍼 초과로 데이터 유실이 됨에도 불구하고, 이를 UDP의 비신뢰성에 이유를 두고 이에 따른 방안책이 없었다.In this case, the UDP communication server no longer receives the data on the UDP socket and discards it, resulting in loss of data, but the client is not aware of the data loss at the server. Since UDP does not provide reliable services such as flow control performed in TCP, if the sender has a large amount of data to transmit, UDP sockets may lose data due to the buffer overflow. There was no solution for this reason.

한편, TCP(Transmission Control Protocol) 통신의 경우 수신 버퍼의 크기를 프로그래머가 원하는 크기만큼 크게 확장하여 사용할 수 있지만, UDP의 경우는 그렇지 못하다.On the other hand, in the case of Transmission Control Protocol (TCP) communication, the size of the reception buffer can be extended to be as large as desired by the programmer, but not so in the case of UDP.

UDP에서 지원하는 최대 버퍼 크기는 256K이며, 이를 초과하여 데이터가 버퍼에 들어오면, 데이터를 유실하게 되는 구조를 가지게 된다. 그러므로, 하나의 소켓으로 데이터를 받아서 이를 순차적으로 처리하는 단일 프로세스에서 이러한 버퍼 크기는 데이터의 유실을 초래한다. 이러한 경우, 도2에 도시된 바와 같이, 클라이언트에서 전송한 데이터는 유실되어 서버에서 이를 처리할 수 없게 되므로, 재전송을 해야만 한다. 그러나, 이러한 재전송은 또 다른 데이터 패킷을 만드는 작업이므로 기존 데이터에 재전송 데이터를 더하여 더 많은 양의 데이터를 서버에서는 수신하여야 한다. 그러므로 데이터 재전송으로 인한 UDP 소켓 버퍼에서의 유실을 처리 시 수신측인 서버는 더 많은 부하를 가지며, 연속된 재전송을 해야 하는 문제점이 있었다.The maximum buffer size supported by UDP is 256K. If the data is exceeded in the buffer, the data is lost. Therefore, in a single process that receives data into one socket and processes it sequentially, this buffer size results in loss of data. In this case, as shown in Fig. 2, the data transmitted from the client is lost and cannot be processed by the server. Therefore, the data must be retransmitted. However, this retransmission is a task to create another data packet, so the retransmission data should be added to the existing data to receive more data from the server. Therefore, when processing the loss in the UDP socket buffer due to data retransmission, the receiving server has more load and has a problem of continuous retransmission.

본 발명은 전술한 바와 같은 제반적인 문제점을 해결하기 위한 것으로, 그 목적은 UDP 통신상에서 데이터의 수신과 처리영역을 쓰레드(Thread)를 이용하여 병렬 처리하도록 하고, 내부 버퍼인 큐에 데이터를 저장하도록 하여 UDP 소켓 버퍼에서의 데이터 유실을 방지하는데 있다.SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned general problems, and an object thereof is to allow parallel processing of a reception area and a processing area using a thread in UDP communication, and to store data in an internal buffer queue. This is to prevent data loss in UDP socket buffers.

도1은 종래의 UDP 기반으로 한 UDP(User Datagram Protocol) 기반 통신상에서의 통신 구조를 나타낸 도.BRIEF DESCRIPTION OF THE DRAWINGS Fig. 1 is a diagram showing a communication structure on a conventional UDP based User Datagram Protocol (UDP) based communication.

도2는 도1에 있어서, 버퍼 크기를 초과하여 데이터가 유실될 경우 재전송할 경우를 나타낸 UDP(User Datagram Protocol) 기반 통신상에서의 통신 구조를 나타낸 도.2 is a diagram illustrating a communication structure in UDP (User Datagram Protocol) based communication showing a case of retransmission when data is lost due to a buffer size exceeded in FIG.

도3은 본 발명의 실시예에 따른 UDP(User Datagram Protocol) 기반 통신상에서의 데이터 유실을 방지하기 위한 큐 구조를 도시한 도.3 is a diagram illustrating a queue structure for preventing data loss in UDP (User Datagram Protocol) based communication according to an embodiment of the present invention.

도4는 본 발명의 실시예에 따른 UDP(User Datagram Protocol) 기반 통신상에서의 데이터 유실을 방지하기 위한 방법을 나타낸 순서도.4 is a flow chart illustrating a method for preventing data loss on UDP based communication according to an embodiment of the present invention.

도5는 본 발명의 다른 실시예에 따른 UDP(User Datagram Protocol) 기반 통신상에서의 데이터 유실을 방지하기 위한 구조를 도시한 도.FIG. 5 is a diagram illustrating a structure for preventing data loss on UDP (User Datagram Protocol) based communication according to another embodiment of the present invention. FIG.

상기한 바와 같은 목적을 달성하기 위한 본 발명의 실시예에 따른 UDP(User Datagram Protocol) 기반 통신상에서의 데이터 유실 방지 방법은 소켓 버퍼에 데이터가 입력되면, 쓰레드에 의해 데이터 입력을 확인하는 단계와; 상기 쓰레드가 데이터 입력을 인식할 경우, 큐에 데이터를 저장하는 단계와; 상기 큐에 저장된 데이터를 처리하는 단계를 포함하여 이루어진 것을 특징으로 한다.According to an aspect of the present invention, there is provided a method of preventing data loss in a UDP (User Datagram Protocol) based communication, the method comprising: checking data input by a thread when data is input to a socket buffer; If the thread recognizes a data input, storing data in a queue; And processing the data stored in the queue.

이하, 본 발명의 실시예를 첨부한 도면을 참조하여 상세하게 설명하면 다음과 같다.Hereinafter, an embodiment of the present invention will be described in detail with reference to the accompanying drawings.

본 발명의 실시예에 따른 UDP(User Datagram Protocol) 기반 통신상에서의데이터 유실 방지하기 위한 구조는 도3에 도시된 바와 같이, UDP 소켓 버퍼의 최대 수용량의 한계성 극복을 위한 내부 버퍼로 이루어져 있으며, 해당 버퍼는 UDP 소켓과 동일한 방식으로 운영하고, 순차적으로 처리하기 위해 큐(Queue) 구조를 이용한다.According to an embodiment of the present invention, a structure for preventing data loss on UDP (User Datagram Protocol) -based communication includes an internal buffer for overcoming the limitation of the maximum capacity of the UDP socket buffer, as shown in FIG. Operates in the same way as UDP sockets, and uses a queue structure to process sequentially.

해당 큐는 먼저 들어온 것을 먼저 처리하는 FIFO(First In First Out) 구조이기 때문에 기존 소켓에서의 데이터가 수신된 순서가 뒤바뀌지 않고 순차적인 구조로 처리될 수 있도록 하며, 환형으로 구성하여 유동적으로 사용하도록 한다.Because the queue is a FIFO (First In First Out) structure that processes first incoming first, the data in the existing socket can be processed in a sequential structure without changing the order in which it was received. do.

또한, 데이터를 큐에 삽입하는 작업은 프로세스가 데이터를 처리하는 동작 중에도 소켓에 데이터가 들어오면 큐 삽입 동작이 행해지도록 쓰레드 구조를 이용한다.In addition, the process of inserting data into a queue uses a thread structure so that when a data enters a socket while the process is processing the data, the enqueue operation is performed.

본 발명의 실시예에 따른 UDP(User Datagram Protocol) 기반 통신상에서의 데이터 유실 방지 방법은 도4의 순서도를 참조하여 설명하면 다음과 같다.A method of preventing data loss in UDP (User Datagram Protocol) based communication according to an embodiment of the present invention will be described with reference to the flowchart of FIG. 4.

먼저, UDP 기반 통신상에서의 데이터 유실을 방지하기 위하여 두개의 프로세스를 가지게 되는데, 하나는 데이터를 처리하는 프로세스이고, 다른 하나는 소켓에 들어온 데이터를 읽어들여 큐에 저장하는 쓰레드이다.First of all, to prevent data loss in UDP-based communication, we have two processes, one for processing data, and the other for reading data from sockets and storing them in a queue.

큐에 데이타가 없을 경우의 데이터 처리 프로세스는 아이들 상태에 있게 되고, 큐에 데이터가 발생하면 활성화되어 데이터를 처리한다.If there is no data in the queue, the data processing process is in the idle state and is activated when data is generated in the queue to process the data.

즉, 소켓 버퍼에 데이터가 입력되지 않으면 데이터 처리 프로세스가 아이들 상태에 있어 데이터를 처리하게 되고, 소켓 버퍼에 데이터가 입력되면(단계 S41),쓰레드에서 데이터 입력을 인식하여(단계 S42), 큐에 데이터를 저장한다(단계 S43).That is, if no data is input to the socket buffer, the data processing process is in the idle state to process the data, and if data is input to the socket buffer (step S41), the thread recognizes the data input (step S42) and queues the queue. The data is stored (step S43).

여기서, 쓰레드는 소켓을 감시하는 준비 상태에서 소켓에 데이터가 들어오게 되면, 데이터 처리 프로세스의 동작 중에도 데이터를 큐에 삽입하는 작업을 데이터 처리 프로세스와 쌍으로 수행하게 된다.Here, when a thread enters data in a socket ready state for monitoring a socket, a thread is paired with a data processing process even during operation of the data processing process.

또한, UDP 소켓 버퍼에 데이터가 들어오면 큐에 데이터 삽입 기능을 수행하는 쓰레드가 데이터를 소켓에서 읽어와서 소켓의 버퍼를 비운 후 내부 메모리에 할당된 큐에 데이터를 삽입하도록 한다.In addition, when data enters the UDP socket buffer, the thread that inserts data into the queue reads the data from the socket, flushes the socket buffer, and inserts the data into the queue allocated to the internal memory.

데이터 처리를 담당하는 서버 프로세스는 큐의 데이터 유무를 감시하여 큐에 데이터가 존재하면 이를 순차적으로 처리하게 된다(단계 S44). 프로세스에서 데이터 처리 도중 소켓 버퍼에 데이터가 들어오면 즉시 쓰레드가 구동되어 쓰레드에서 소켓 버퍼의 데이터를 가져와 큐에 삽입하게 된다. 그러므로, UDP 소켓 버퍼는 항상 여유있는 공간을 갖게 되고, 프로세스에서는 큐를 내부 소켓처럼 사용하여 소켓의 버퍼 공간을 보장하게 된다. 이때, 사용하는 큐는 환형 큐이므로 큐를 유동적으로 운용할 수 있다.The server process in charge of data processing monitors the presence or absence of data in the queue and processes the data sequentially if there is data in the queue (step S44). When data enters the socket buffer during data processing in the process, the thread is immediately started and the thread takes the data from the socket buffer and inserts it into the queue. Thus, UDP socket buffers always have free space, and the process uses the queue as an internal socket to guarantee the buffer space of the socket. At this time, since the queue to be used is an annular queue, the queue can be flexibly operated.

한편, 본 발명은 도5에 도시된 바와 같이, VoDSL(Voice over Asynchronous Transfer Mode) 게이트웨이와 EMS(Element Management system) 통신 상에서도 사용되는데, VoDSL 게이트웨이에서는 디스크(Disk)가 존재하지 않아 EMS의 데이터베이스에 데이터를 업데이트(Update)해야 하므로 많은 양의 데이터를 EMS로 보내게 된다. 이러한 데이터를 트랩(Trap)이라 하는데, 해당 트랩을 수신하는 EMS의 트랩 데몬(Trap Daemon)은 폭주하는 트랩을 수용하기 위한 것이다.Meanwhile, the present invention is also used in a Voice over Asynchronous Transfer Mode (VoDSL) gateway and an element management system (EMS) communication, as shown in FIG. 5, and there is no disk in the VoDSL gateway. Because of the need to update, a large amount of data is sent to the EMS. This data is called a trap, and the trap daemon of the EMS that receives the trap is for accommodating a congested trap.

망 관리에서 사용되는 SNMP(Simple Network Management Protocol)는 UDP를 기반으로 하므로 트랩 데몬은 UDP 통신 서버가 되어 클라이언트인 VoDSL 게이트웨이에서 트랩을 대량 수신시 소켓상에서 데이터 유실을 방지하기 위해 쓰레드와 큐를 이용하여 데이터의 유실을 방지하고, 트랩 데몬의 경량화 및 순차적인 처리를 가능케 한다. 이와 동일한 방식으로 클라이언트로부터 다량의 데이터를 수신받는 데몬에 이를 적용 가능하다.Simple Network Management Protocol (SNMP) used in network management is based on UDP, so the trap daemon becomes a UDP communication server and uses threads and queues to prevent data loss on sockets when receiving large amounts of traps from the client VoDSL gateway. It prevents loss of data and enables lightweight and sequential processing of the trap daemon. In the same way, it is applicable to daemons that receive a large amount of data from clients.

또한, 본 발명은 디스크가 없는 시스템을 클라이언트로 하여 UDP 통신을 하는 서버에서도 적용 가능하다.The present invention is also applicable to a server performing UDP communication using a diskless system as a client.

이상으로 본 발명의 바람직한 실시예에 대해 상세히 기술되었지만, 본 발명이 속하는 기술 분야에 있어서 통상의 지식을 가진 사람이라면, 본 발명을 여러 가지로 변형 또는 변경하여 실시할 수 있음을 알 수 있을 것이다. 따라서, 본 발명의 실시예들의 변경은 본 발명의 기술적 범위를 벗어날 수 없을 것이다.Although the preferred embodiments of the present invention have been described in detail above, it will be understood by those skilled in the art that the present invention may be modified or modified in various ways. Therefore, changes of the embodiments of the present invention will not be able to escape the technical scope of the present invention.

이상에서 설명한 바와 같이 본 발명은 UDP 통신을 기반으로 한 시스템에서 데이터의 수신과 처리 영역을 쓰레드를 이용하여 병렬 처리하고, 내부 버퍼인 큐에 데이터를 저장하도록 함으로써 UDP 소켓 버퍼에서 데이터 유실을 방지하는 효과가 있다.As described above, the present invention prevents data loss from the UDP socket buffer by parallel processing the reception and processing areas of the data using a thread and storing the data in a queue, which is an internal buffer, in a system based on UDP communication. It works.

또한, UDP 소켓 버퍼에 데이터가 보관되는 시간을 최소화하는 효과가 있다.It also has the effect of minimizing the time that data is kept in the UDP socket buffer.

Claims

When data is input to the socket buffer, verifying data input by a thread;

If the thread recognizes a data input, storing data in a queue;

And processing the data stored in the queue.

The method according to claim 1,

When the thread enters the data in the ready state for monitoring the socket, the UDPI-based step comprising the step of inserting the data into the queue paired with the data processing process even during the operation of the data processing process How to prevent data loss on communication.