KR20150142350A - Method for Measuring Variation of Transmission Delay Time of Network for Rate Adaptation and Realtime Video Service System Using the Same - Google Patents

Method for Measuring Variation of Transmission Delay Time of Network for Rate Adaptation and Realtime Video Service System Using the Same Download PDF

Info

Publication number
KR20150142350A
KR20150142350A KR1020140070989A KR20140070989A KR20150142350A KR 20150142350 A KR20150142350 A KR 20150142350A KR 1020140070989 A KR1020140070989 A KR 1020140070989A KR 20140070989 A KR20140070989 A KR 20140070989A KR 20150142350 A KR20150142350 A KR 20150142350A
Authority
KR
South Korea
Prior art keywords
packet
system clock
time
delay time
transmission
Prior art date
Application number
KR1020140070989A
Other languages
Korean (ko)
Other versions
KR101587547B1 (en
Inventor
이길수
정주호
Original Assignee
(주)티아이스퀘어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)티아이스퀘어 filed Critical (주)티아이스퀘어
Priority to KR1020140070989A priority Critical patent/KR101587547B1/en
Publication of KR20150142350A publication Critical patent/KR20150142350A/en
Application granted granted Critical
Publication of KR101587547B1 publication Critical patent/KR101587547B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/40Bus networks
    • H04L12/4013Management of data rate on the bus
    • H04L12/40136Nodes adapting their rate to the physical link properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/24Systems for the transmission of television signals using pulse code modulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

The present invention relates to a method for measuring a variation of network transmission delay time for rate adaptation of a real time video service, and a real time video service providing system using the same. The method for measuring a variation of network transmission delay time for rate adaptation comprises the following steps: including a first system clock in a first packet and transmitting the first system clock from a transmitter to a receiver at a transmission time of the first packet, wherein the first system clock is used for detecting a change in relative transmission delay time through a comparison with a second system clock of the receiver-; receiving information about the congestion degree of a network according to the change from the receiver; and adjusting a beat rate of a video encoder according to the information about the congestion degree.

Description

레이트 어댑테이션을 위한 네트워크 전송지연시간 변동 측정 방법 및 이를 이용하는 실시간 영상 서비스 제공 시스템{Method for Measuring Variation of Transmission Delay Time of Network for Rate Adaptation and Realtime Video Service System Using the Same}TECHNICAL FIELD [0001] The present invention relates to a network transmission delay time variation measurement method for rate adaptation and a real-time video service provision system using the same,

본 발명의 실시예들은 네트워크 전송지연시간 변동 측정 기술에 관한 것으로, 보다 상세하게는, 실시간 영상 서비스의 레이트 어댑테이션을 위한 네트워크 전송지연시간 변동 측정 방법 및 이를 이용하는 실시간 영상 서비스 제공 시스템에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a network transmission delay time variation measurement technique, and more particularly, to a network transmission delay variation measurement method for rate adaptation of a real-time video service and a real-time video service provision system using the same.

영상 통화와 같이 송신 장치와 수신 장치 간의 지연이 일정 수준 이하로 요구되는 실시간 영상 서비스를 위해서는 영상 통화의 패킷 유실시 유실된 패킷에 대한 재전송 특성을 갖는 TCP(Transmission Control Protocol) 기반의 프로토콜이나 그와 유사한 구현 방법을 사용할 수 있으나, 그 경우 정상적인 ACK(acknowledge) 및 패킷 재전송에 따른 시간 지연 때문에 실시간성에 문제가 생길 수 있다.For a real-time video service requiring a delay of less than a certain level between a transmitting device and a receiving device, such as a video call, a TCP (Transmission Control Protocol) -based protocol having a retransmission characteristic for lost packets in case of packet loss of a video call, Similar implementations can be used, but in this case there may be a problem with real-time performance due to normal acknowledgment (ACK) and time delays due to packet retransmission.

그러한 이유로, 실시간 영상 전송은 주로 RTP(Real-time Transport Protocol) UDP(User Datagram Protocol) 형태로 수행된다. 하지만 UDP는 전송이 보장되지 않는 프로토콜이므로 네트워크 대역폭 이상의 비트레이트로 전송하거나 네트워크 혼잡도가 높아지는 경우 패킷 유실이 발생하게 되고 그에 의해 실시간 영상의 화질 열화와 같은 품질 저하가 발생한다.For this reason, real-time image transmission is mainly performed in the form of a Real-time Transport Protocol (UDP) UDP (User Datagram Protocol). However, since UDP is a protocol that is not guaranteed to be transmitted, packet loss occurs when transmission is performed at a bit rate higher than the network bandwidth or when the network congestion becomes high, thereby deteriorating quality such as deterioration of image quality of real time image.

영상 통화와 같은 실시간 영상 서비스에서는 해당 영상 및 음성 패킷이 높은 우선순위를 갖는 품질이 보장되는 네트워크를 사용하는 것이 좋은 방안 중 하나이나. 즉, 품질이 보장되지 않는 네트워크나 무선 환경이나 이동통신 환경에서는 신호 세기의 변화로 인해 패킷 유실이 발생하는 것을 막을 수는 없다. 따라서, 레이트 어댑테이션(Rate Adaptation)을 통해 네트워크 혼잡이 발생하지 않는 전송 대역폭을 추정하여 송신 비트레이트를 지속적으로 변경하고, 추가적으로 순방향 에러 정정(Forward Error Correction, FEC) 등을 통해 유실된 패킷에 대해 보완하는 것이 일반적이다.In real - time video services such as video calls, it is a good idea to use a network that guarantees high - priority quality of the video and voice packets. That is, in a network or a wireless environment or a mobile communication environment in which quality is not guaranteed, packet loss can not be prevented due to a change in signal strength. Therefore, it is possible to estimate the transmission bandwidth without network congestion through rate adaptation and continuously change the transmission bit rate, and additionally compensate for lost packets through Forward Error Correction (FEC). .

종래의 레이트 어댑테이션 방법에서는 수신 장치에서 송신 장치로 송신 비트레이트를 조정하는데 필요한 정보가 담긴 피드백패킷을 전송하여 송신 비트레이트를 조정한다. 예를 들면, 피드백패킷을 통해 수신 장치에서 송신 장치로 패킷 유실, 지터(Jitter), 수신된 데이터량 등의 정보가 전송될 수 있으며, 전송된 정보 중에 패킷 유실에 관련된 정보가 송신 비트레이트를 조절하는 핵심 정보로 사용된다. 피드백패킷은 표준 RTCP(RTP control protocol) 패킷을 이용하여 구현될 수 있다. 하지만, 패킷 유실 정보 기반의 레이트 어댑테이션은 이미 패킷 유실이 발생하여 품질이 현격히 저하된 이후에야 비로써 송신 비트레이트가 조정되는 단점이 있다.In the conventional rate adaptation method, a feedback packet containing information necessary for adjusting the transmission bit rate from the reception apparatus to the transmission apparatus is transmitted to adjust the transmission bit rate. For example, information such as packet loss, jitter, and the amount of received data may be transmitted from the receiving apparatus to the transmitting apparatus through the feedback packet, and information related to packet loss among the transmitted information may control the transmission bit rate Is used as key information. The feedback packet may be implemented using standard RTCP (RTP control protocol) packets. However, the rate adaptation based on packet loss information has a disadvantage in that the transmission bit rate is adjusted only after the loss of the packet occurs and the quality is significantly degraded.

패킷 유실이 일어나는 이유에 대해서는 네트워크 혼잡도가 높아지게 되면 주로 라우터 등 중계 장치의 큐에 패킷이 쌓이게 되고 그에 의해 패킷의 전송 지연이 일어나며, 큐의 크기 이상 패킷이 쌓이면 패킷 유실이 발생한다. 즉, 패킷 유실 이전에 패킷의 전송 지연이 일어나며, 이러한 원리에 착안하여 패킷 전송 지연시간을 측정하여 레이트 어댑테이션을 위한 변수로 사용하기도 한다.As for the reason of packet loss, when network congestion becomes high, packets are accumulated in a queue of a relay device such as a router, thereby causing a transmission delay of a packet. When a packet is accumulated over a queue size, packet loss occurs. That is, a packet transmission delay occurs before a packet loss, and a packet transmission delay time is measured by considering this principle and used as a parameter for rate adaptation.

패킷 전송 지연시간을 추정하는 기존의 방법은 RTCP 패킷을 이용하여 구한 RTT(Round Trip Time)의 절반값을 사용하는 방법이 있다. 도 1은 표준 RTCP 패킷을 이용한 RTT 측정 방식을 설명한 도면이다.A conventional method of estimating a packet transmission delay time is to use a half value of RTT (Round Trip Time) obtained using an RTCP packet. 1 is a view for explaining an RTT measurement method using a standard RTCP packet.

도 1에 도시한 바와 같이, 송신 장치에서는 주기적으로 RTCP SR(Sender Report) 패킷을 수신 장치로 전송하며, 수신 장치에서는 RTCP SR 패킷 수신시 주기적으로 RTCP RR(Receiver Report) 패킷을 송신 장치로 전송한다. 수신 장치에서는 RTCP SR 패킷을 수신 즉시 그 응답으로서 RTCP RR 패킷을 곧바로 송신 장치에 보내는 것은 아니므로 수신 장치가 RTCP SR 패킷을 수신한 시각부터 RTCP RR 패킷을 송신한 시각 사이의 차이를 딜레이(Td)로 정의하여 RTCP RR 패킷에 넣어서 전송하도록 규격화되어 있다.As shown in FIG. 1, a transmitting apparatus periodically transmits an RTCP SR (Sender Report) packet to a receiving apparatus, and a receiving apparatus periodically transmits an RTCP RR (Receiver Report) packet to a transmitting apparatus upon receiving an RTCP SR packet . Since the receiving apparatus does not send the RTCP RR packet directly to the transmitting apparatus as a response immediately after receiving the RTCP SR packet, the difference between the time when the receiving apparatus receives the RTCP SR packet and the time when the receiving apparatus transmits the RTCP RR packet is delayed (Td) And then transmitted in an RTCP RR packet.

송신 장치 측에서 측정할 수 있는 RTT는 다음의 수학식 1의 공식으로 구할 수 있다.The RTT that can be measured at the transmitting apparatus side can be obtained by the following formula (1).

Figure pat00001
Figure pat00001

패킷 전송지연시간은 RTT의 절반값으로 정의할 수 있지만 다음과 같은 1.~3.의 단점이 있다.The packet transmission delay time can be defined as the half value of RTT, but there are disadvantages of the following 1 ~ 3.

1. RTT는 양방향 네트워크 상태에 고루 영향을 받으므로 단방향 전송인 영상 통화 등의 멀티미디어 공유에는 적합하지 않고 비대칭 네트워크인 이동통신망에서는 더욱 오차가 심해질 수 있다.1. Because RTT is affected by two-way network condition, it is not suitable for multimedia sharing such as unidirectional transmission, video call, etc., and it may be more error in mobile communication network as asymmetric network.

2. RTT 계산을 위해 RR(Receiver Report)은 SR(Sender Report)와 쌍을 이루어 전송되어야 하므로 반응속도가 느리다. 특히, RTCP 패킷이 유실되는 경우 SR 재전송시까지 상태정보를 갱신할 수 없는 것이 일반적이다.2. For RTT calculation, RR (Receiver Report) needs to be sent in pairs with SR (Sender Report). In particular, when the RTCP packet is lost, it is generally impossible to update the status information until the SR retransmission.

3. 표준 규격의 RTCP 패킷은 불필요한 정보량이 많아 네트워크 대역폭 낭비를 야기할 수 있다.3. Standard RTCP packets can cause unnecessary amount of information and cause waste of network bandwidth.

국제출원 공개번호 WO 2012/125008 A2(2012.09.20)International Application Publication No. WO 2012/125008 A2 (September 20, 2012)

본 발명은 종래 기술의 단점을 해결하기 위해 도출된 것으로, 본 발명의 일실시예에서는 패킷 전송지연시간의 측정을 이용하여 간단히 적용할 수 있으면서 추가적인 네트워크 부하 증가도 거의 없는 레이트 어댑테이션 구현 방안을 제공하고자 한다. 즉, 본 발명의 실시예에서는 실시간 영상 서비스의 레이트 어댑테이션을 위한 효율적인 네트워크 전송지연시간 변동 측정 방법 및 이를 이용하는 실시간 영상 서비스 시스템을 제공하고자 한다.SUMMARY OF THE INVENTION The present invention has been made in order to solve the disadvantages of the prior art, and it is an object of the present invention to provide a rate adaptation scheme which can be applied simply by using the measurement of the packet transmission delay time, do. That is, an embodiment of the present invention provides an efficient network transmission delay time variation measurement method for rate adaptation of a real-time image service and a real-time image service system using the same.

상기 기술적 과제를 해결하기 위하여 본 발명의 일 측면에 따른 실시간 영상 서비스의 레이트 어댑테이션을 위한 네트워크 전송지연시간 변동 측정 방법은, 송신 장치에서 제1패킷의 송신 시점에 제1 시스템 클럭을 제1패킷에 포함하여 수신 장치로 전송하는 단계-여기서, 제1 시스템 클럭은 수신 장치의 제2 시스템 클럭과의 비교를 통해 상대 전송지연시간의 변화 추이를 탐지하는 데 이용됨-; 수신 장치로부터 변화 추이에 따른 네트워크 혼잡도의 혼잡도 정보를 수신하는 단계; 및 혼잡도 정보에 따라 영상 인코더의 비트레이트를 조정하는 단계를 포함한다.According to an aspect of the present invention, there is provided a method for measuring network transmission delay time variation for rate adaptation of a real-time image service, the method comprising: transmitting a first system clock to a first packet at a transmission time of a first packet; Wherein the first system clock is used to detect a change in the relative transmission delay time through comparison with a second system clock of the receiving apparatus; Receiving congestion information of network congestion according to a change trend from a receiving apparatus; And adjusting the bit rate of the video encoder according to the congestion information.

본 발명의 다른 측면에 따른 실시간 영상 서비스의 레이트 어댑테이션을 위한 네트워크 전송지연시간 변동 측정 방법은, 수신 장치에서 송신 장치로부터 송신 패킷을 수신하고, 수신한 송신 패킷에 포함된 제1 시스템 클럭을 수신 장치의 제2 시스템 클럭과 비교하여 상대 전송지연시간의 변화 추이를 탐지하고 변화 추이에 따른 네트워크 혼잡도를 추정한 후 추정된 혼잡도 정보를 송신 장치로 전송하는 일련의 과정을 포함한다. 여기서, 혼잡도 정보는 송신 장치의 레이트 조정기에서 송신 장치의 영상 인코더의 비트레이트를 조정하는데 이용된다.According to another aspect of the present invention, there is provided a network transmission delay time variation measurement method for rate adaptation of a real-time image service, the method comprising: receiving a transmission packet from a transmission apparatus in a reception apparatus; The method comprising the steps of: detecting a change in the relative transmission delay time, estimating a network congestion according to a change trend, and transmitting the estimated congestion information to a transmission apparatus. Here, the congestion information is used in the rate adjuster of the transmitting apparatus to adjust the bit rate of the video encoder of the transmitting apparatus.

일실시예에서, 실시간 영상 서비스의 레이트 어댑테이션을 위한 네트워크 전송지연시간 변동 측정 방법은, 수신 장치에서 기준 클럭을 점진적으로 증가시켜 송신 장치와 수신 장치의 시스템 클럭 증가 속도 차이를 보정하는 것을 더 포함한다. 여기서, 기준 클럭은 제2 시스템 클럭에서 제1 시스템 클럭을 뺀 것이다.In one embodiment, the network transmission delay time variation measurement method for rate adaptation of a real-time image service further comprises increasing the reference clock in the reception apparatus gradually to correct the system clock increase rate difference between the transmission apparatus and the reception apparatus . Here, the reference clock is obtained by subtracting the first system clock from the second system clock.

일실시예에서, 실시간 영상 서비스의 레이트 어댑테이션을 위한 네트워크 전송지연시간 변동 측정 방법은, 수신 장치에서 상대 전송지연시간의 선형 회귀 분석을 통해 네트워크 혼잡도의 변화 추이를 추정하는 것을 더 포함한다.In one embodiment, the network transmission delay variation measurement method for rate adaptation of a real-time image service further comprises estimating a change in network congestion through a linear regression analysis of the relative transmission delay time at the receiving apparatus.

일실시예에서, 제1 시스템 클럭은 UDP(User Datagram Protocol) 패킷의 타임스탬프를 대체하도록 부가될 수 있다.In one embodiment, the first system clock may be added to replace the time stamp of a User Datagram Protocol (UDP) packet.

본 발명의 또 다른 측면에 따른 실시간 영상 서비스 제공 시스템은, 네트워크를 통해 수신 장치와 연결되는 송신 장치로서, 수신 장치로 전송할 영상을 부호화하는 영상 인코더; 영상 인코더에서 부호화된 영상 데이터를 패킷화하는 패킷타이저; 패킷타이저에서 패킷화된 제1패킷을 수신 장치로 송신하는 패킷 송신기; 패킷 송신기에 결합하여 제1패킷의 송신 전에 제1패킷에 제1 시스템 클럭을 부가하는 시스템시각 주입기; 및 수신 장치로부터 제1 시스템 클럭을 토대로 추정한 네트워크 혼잡도의 혼잡도 정보를 수신하고 수신한 혼잡도 정보에 기초하여 영상 인코더의 비트레이트를 제어하는 레이트 조정기를 포함한다.According to another aspect of the present invention, there is provided a transmission system for providing a real-time image service through a network, the system comprising: a video encoder for encoding an image to be transmitted to a receiver; A packetizer for packetizing image data encoded by a video encoder; A packet transmitter for transmitting a packetized first packet to a receiving device in a packetizer; A system time injector coupled to the packet transmitter for adding a first system clock to a first packet before transmission of the first packet; And a rate adjuster for receiving the congestion information of the network congestion estimated based on the first system clock from the receiving apparatus and controlling the bit rate of the video encoder based on the received congestion information.

본 발명의 또 다른 측면에 따른 실시간 영상 서비스 제공 시스템은, 네트워크를 통해 송신 장치와 연결되는 수신 장치로서, 송신 장치로부터 제1패킷을 수신하는 패킷 수신기; 패킷 수신기의 제1패킷을 파싱하는 디패킷타이저; 디패킷타이저에서 파싱된 영상 데이터를 복호화하는 영상 디코더; 패킷 수신기에 수신된 제1패킷의 수신 시점에 대한 제2 시스템 클럭을 생성하는 시스템시각 주입기; 제1패킷에 포함된 제1 시스템 클럭과 상기 제2 시스템 클럭을 비교하여 상대 송신 지연 시간을 계산하는 상대 전송지연시간 계산부; 및 상대 송신 지연 시간을 분석하여 변화 추이를 추정하고, 추정된 변화 추이에 따른 네트워크 혼잡도의 혼잡도 정보를 송신 장치로 전송하는 네트워크 혼잡도 추정부-여기서, 혼잡도 정보는 송신 장치의 레이트 조정기에서 송신 장치의 영상 인코더의 비트레이트를 조정하는데 이용됨-를 포함하는 실시간 영상 서비스 제공 시스템을 제공한다.According to another aspect of the present invention, there is provided a system for providing a real-time image service, the system comprising: a packet receiver for receiving a first packet from a transmitter; A packetizer for parsing a first packet of a packet receiver; An image decoder for decoding the image data parsed in the depacketizer; A system time injector for generating a second system clock for a reception time of a first packet received at a packet receiver; A relative transmission delay time calculator for calculating a relative transmission delay time by comparing the first system clock included in the first packet with the second system clock; And a network congestion estimating unit for estimating a change trend by analyzing a relative transmission delay time and transmitting congestion information of a network congestion degree according to the estimated change trend to a transmission apparatus, wherein the congestion degree information is transmitted from the rate adjuster of the transmission apparatus And adjusting the bit rate of the video encoder.

일실시예에서, 수신 장치는 기준 클럭을 점진적으로 증가시켜 송신 장치와의 시스템 클럭 증가 속도 차이를 보정하되, 여기서 기준 클럭은 제2 시스템 클럭에서 제1 시스템 클럭을 뺀 것이다.In one embodiment, the receiving device gradually increases the reference clock to compensate for the system clock increase rate difference with the transmitting device, where the reference clock is the second system clock minus the first system clock.

일실시예에서, 네트워크 혼잡도 추정부는, 상대 전송지연시간의 선형 회귀 분석을 통해 네트워크 혼잡도의 변화 추이를 추정한다.In one embodiment, the network congestion estimator estimates a change in network congestion through linear regression analysis of relative transmission delay time.

일실시예에서, 제1 시스템 클럭은 UDP 패킷에서 타임스탬프 대신 삽입될 수 있다.In one embodiment, the first system clock may be inserted in the UDP packet instead of the timestamp.

본 발명에 의하면, 안정적인 영상 서비스를 위한 기존의 레이트 어댑테이션의 방법에서 고려되는 요소 중 화질 열화가 일어나기 전에 전송 레이트를 조절할 수 있는 가장 효과적이라고 판단되는 패킷 전송 지연시각의 측정을 이용하여 간단히 적용할 수 있고 추가적인 네트워크 부하도 거의 없는 레이트 어댑테이션 구현 방안을 제공하며, 그에 의해 효율적인 영상 전송 서비스를 구현할 수 있도록 한다.According to the present invention, it is possible to easily apply the present invention using the measurement of the packet transmission delay time, which is considered to be most effective for adjusting the transmission rate, before the image quality deterioration among elements considered in the conventional rate adaptation method for stable image service And provides a scheme for implementing rate adaptation with little additional network load, thereby realizing efficient video transmission service.

즉, 안정적인 영상 서비스를 위해서는 네트워크 상태 변화에 적응할 수 있는 레이트 어댑테이션의 적용이 필요하지만 충분한 효과가 기대되는 방법에 대해서는 그 적용이 단순하지 않다. 특히, 기존에 이미 영상 전송 기능이 구현되어 있는 경우에 송신 장치, 수신 장치 및 네트워크에 적지 않은 수정이 필요하다. 하지만, 본 실시예에 의하면, 비교적 간단하고 추가적인 네트워크 부하가 거의 없는 방법으로서 기존에 구현된 환경이나 사항에 많은 수정을 가하지 않고 효과적으로 레이트 어댑테이션 기능을 구현할 수 있는 효과가 있다.That is, in order to provide a stable image service, it is necessary to apply a rate adaptation adaptable to a change in the network state, but the application is not simple for a method in which a sufficient effect is expected. Particularly, when the image transmission function has already been implemented, it is necessary to make various modifications to the transmission apparatus, the reception apparatus and the network. However, according to the present embodiment, there is an effect that the rate adaptation function can be effectively implemented without applying a lot of modifications to the existing environment or matter as a method which is relatively simple and has little additional network load.

또한, 본 발명에 의하면, 기본적으로 UDP(User Datagram Protocol)로 대용량 데이터를 전송해야 하는 서비스로서, 네트워크 상황에 따라 전송 레이트를 조정하여야 하는 통신 시스템에 적용하여 사용할 수 있는 레이트 어댑테이션을 위한 네트워크 전송지연시간 변동 측정 방법 및 시스템을 제공할 수 있다.In addition, according to the present invention, a service for transmitting a large amount of data using UDP (User Datagram Protocol) is basically a network transmission delay for rate adaptation that can be applied to a communication system that needs to adjust a transmission rate according to a network situation A time variation measurement method and system can be provided.

또한, 본 발명에 의하면, 주로 영상 전송을 필요로 하는 모든 서비스에 적용할 수 있으며, 특히 실시간성이 중요한 영상 통화 서비스 등에 활용할 수 있는 레이트 어댑테이션을 위한 네트워크 전송지연시간 변동 측정 방법 및 시스템을 제공할 수 있다.Also, according to the present invention, there is provided a network transmission delay time variation measuring method and system for rate adaptation, which can be applied to all services that require mainly video transmission, .

또한, 본 발명에 의하면, 일반 음성 통화와 동시에 영상 전송을 하는 실시간 영상 공유 서비스에 적용할 수 있고, 그 경우 실시간성이 보장되어 음성 통화와 동기화에 근접하여 영상을 전송할 수 있는 레이트 어댑테이션을 위한 네트워크 전송지연시간 변동 측정 방법 및 시스템을 제공할 수 있다.In addition, according to the present invention, it is possible to apply the present invention to a real-time image sharing service that performs image transmission simultaneously with a normal voice call, A transmission delay time variation measurement method and system can be provided.

도 1은 표준 RTCP(RTP control protocol) 패킷을 이용한 RTT(Round Trip Time) 측정 방식에 대한 예시도
도 2는 본 발명의 일실시예에 따른 실시간 영상 서비스의 레이트 어댑테이션을 위한 네트워크 전송지연시간 변동 측정 방법을 이용하는 실시간 영상 서비스 제공 시스템의 블록도
도 3은 본 발명의 다른 실시예에 따른 실시간 영상 서비스의 레이트 어댑테이션을 위한 네트워크 전송지연시간 변동 측정 방법의 상대 지연시간 측정 과정에 대한 순서도
1 shows an example of a RTT (Round Trip Time) measurement method using a standard RTCP (RTP control protocol) packet
2 is a block diagram of a real-time image service providing system using a network transmission delay time variation measurement method for rate adaptation of a real-time image service according to an embodiment of the present invention.
3 is a flowchart of a relative delay time measurement process of a network transmission delay time variation measurement method for rate adaptation of a real-time image service according to another embodiment of the present invention

이하, 첨부 도면을 참조하여 본 발명에 의한 실시예들을 상세하게 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

본 발명의 실시예에 따른 네트워크 전송지연시간 변동 측정 방법은, 실시간 멀티미디어 전송에 있어서 네트워크 상태 변화에 따라 송신 비트 레이트를 조정하는 레이트 어댑테이션을 구현하는데 필요한 기술이다.The network transmission delay time variation measurement method according to an embodiment of the present invention is a technique required to implement rate adaptation that adjusts a transmission bit rate according to a change in a network state in real time multimedia transmission.

본 실시예의 네트워크 전송지연시간 변동 측정 방법에서 구현하는 레이트 어댑테이션 방법을 기존의 레이트 어댑테이션 방법과 비교하여 그 특징적인 부분을 기술하면 다음과 같다.The rate adaptation method implemented in the network transmission delay time variation measuring method of the present embodiment is compared with the existing rate adaptation method and the characteristic parts thereof will be described as follows.

전송 장치에서, 패킷 전송 시점의 시스템 클럭을, 전송할 패킷에 주입한다.In the transmitting apparatus, the system clock at the time of packet transmission is injected into the packet to be transmitted.

수신 장치에서, 수신된 패킷에서 전송 시점의 시스템 클럭을 추출하여 기준 클럭을 설정 또는 갱신하고 패킷의 상대적인 전송지연시간을 계산한다.The receiving apparatus extracts the system clock at the transmission time in the received packet, sets or updates the reference clock, and calculates the relative transmission delay time of the packet.

또한, 송신 장치와 수신 장치 간의 시스템 클럭 증가 속도 차이에 따른 오차를 자동 보정하기 위해 기준 클럭을 조금씩 증가시킨다.Also, the reference clock is gradually increased in order to automatically correct the error due to the difference in the system clock increase rate between the transmitting apparatus and the receiving apparatus.

또한, 수신 장치에서, 확인된 전송지연시간의 변화 추이를 계산하여 송신 장치로 피드백 패킷을 보낸다.Further, the receiving apparatus calculates a change in the detected transmission delay time and sends a feedback packet to the transmitting apparatus.

본 실시예에 의하면, 실시간 영상 전송 방법의 구현에 있어서 네트워크 혼잡도 변화에 따라 전송 비트레이트를 동적으로 변경하여 영상 품질의 열화를 방지하는 레이트 어댑테이션 적용에 관련된 것으로서, 특히 패킷의 전송 지연시간을 기반으로 한 레이트 어댑테이션 즉, 네트워크 혼잡도가 증가하면 패킷의 전송 지연시간이 증가한다는 현상을 이용한 레이트 어댑테이션 기법을 적용함에 있어서 패킷 전송 지연시간의 절대값 자체보다는 패킷 전송 지연시간의 상대적 변화 추이를 확인할 수 있는 간단한 방법을 제공함으로써 효과적인 실시간 영상 서비스에서의 레이트 어댑테이션 방법을 제공할 수 있다.According to the present embodiment, in real-time image transmission method implementation, rate adaptation is applied to prevent deterioration of image quality by dynamically changing a transmission bit rate according to a change in network congestion. Particularly, In applying a rate adaptation scheme using a rate adaptation scheme, that is, an increase in the packet transmission delay time when the network congestion degree increases, it is possible to check the relative change in the packet transmission delay time rather than the absolute value of the packet transmission delay time itself A method of rate adaptation in an effective real-time video service can be provided.

실시예1Example 1

도 2는 본 발명의 일실시예에 따른 실시간 영상 서비스의 레이트 어댑테이션을 위한 네트워크 전송지연시간 변동 측정 방법을 이용하는 실시간 영상 서비스 제공 시스템의 블록도이다.2 is a block diagram of a real-time image service providing system using a network transmission delay time variation measurement method for rate adaptation of a real-time image service according to an embodiment of the present invention.

일반적인 영상 전송 서비스의 흐름은 송신 장치에서는 영상 인코더와 패킷타이저(packetizer) 그리고 패킷 송신기로 구성되고 네트워크를 통해 전달된 패킷은 수신 장치에서는 패킷 수신기, 디패킷타이저(depacketizer), 그리고 영상 디코더로 연결된다.In general, the flow of a video transmission service consists of a video encoder, a packetizer, and a packet transmitter in a transmitting device, and a packet receiver in a receiving device, a depacketizer, and a video decoder .

도 1을 참조하면, 본 실시예에 따른 실시간 영상 서비스 제공 시스템은, 네트워크를 통해 연결되는 송신 장치(10)와 수신 장치(20)를 포함하고, 여기서 송신 장치(10)는 영상 인코더(11), 패킷타이저(12), 패킷 송신기(13), 시스템시각 주입기(14) 및 레이트 조정기(15)를 포함하고, 수신 장치(20)는 패킷 수신기(21), 디패킷타이저(22), 영상 디코더(24), 시스템시각 주입기(24), 상대 전송 지연시간 계산부(25) 및 네트워크 혼잡도 추정부(26)를 포함한다.Referring to FIG. 1, a real-time image service providing system according to the present embodiment includes a transmitting apparatus 10 and a receiving apparatus 20 connected via a network, and the transmitting apparatus 10 includes a video encoder 11, A packetizer 12, a packet transmitter 13, a system time injector 14 and a rate adjuster 15. The receiver 20 includes a packet receiver 21, a packetizer 22, A video decoder 24, a system time injector 24, a relative transmission delay time calculator 25, and a network congestion estimator 26.

시스템시각 주입기(14)는 제1 시스템시각 주입기로 지칭될 수 있고, 패킷 송신기(13)에 결합하여 송신 장치(10)에서 수신 장치(20)로 전송되는 RTCP SR 패킷의 전송 시점에 대한 제1시간을 해당 송신 패킷에 주입한다.The system time injector 14 may be referred to as a first system time injector and may be coupled to the packet transmitter 13 to provide a first system time injector 14 for the first transmission time point of the RTCP SR packet transmitted from the transmitting device 10 to the receiving device 20. [ Time is injected into the corresponding transmission packet.

레이트 조정기(15)는 수신 장치(20)의 네트워크 혼잡도 추정부(26)로부터 받은 혼잡도 정보를 토대로 실시간 영상 서비스의 비트레이트가 조정되도록 영상 인코더(11)에 제어 신호를 인가한다. 여기서, 혼잡도 정보는 실시간 영상 서비스를 위한 송신 영상 신호의 비트레이트 조정용 참조값일 수 있다.The rate adjuster 15 applies a control signal to the video encoder 11 so that the bit rate of the real time video service is adjusted based on the congestion degree information received from the network congestion estimating unit 26 of the receiving apparatus 20. [ Here, the congestion information may be a reference value for adjusting the bit rate of the transmission video signal for the real-time image service.

시스템시각 주입기(24)는 제2 시스템시각 주입기로 지칭될 수 있고, 패킷 수신기(21)에 결합하여 송신 장치(10)로부터 수신한 RTCP SR 패킷의 수신 시점에 대한 제2시간을 상대 전송 지연시간 계산부(25)에 제공한다.The system time injector 24 may be referred to as a second system time injector and may be coupled to the packet receiver 21 to transmit a second time for the reception time of the RTCP SR packet received from the transmission device 10 to a relative transmission delay time And provides it to the calculation unit 25.

상대 전송 지연시간 계산부(25)는 RTCP SR 패킷을 파싱하여 얻은 제1시간과 시스템시간 주입기(24)로부터 얻은 제2시간에 기초하여 송신 장치(10)로부터 수신한 특정 패킷의 지연 시간 변동을 산출한다. 상대 전송 지연시간 계산부(25)는 수신 패킷의 상대 지연 시간 변동을 산출하는 수단이나 이러한 수단에 상응하는 기능을 수행하는 구성부로 구현될 수 있다.The relative transmission delay time calculator 25 calculates the relative delay time of the specific packet received from the transmitting apparatus 10 based on the first time obtained by parsing the RTCP SR packet and the second time obtained from the system time injector 24 . The relative transmission delay time calculator 25 may be implemented as a unit that calculates the relative delay time variation of the received packet or a configuration unit that performs a function corresponding to such a unit.

네트워크 혼잡도 추정부(26)는 상대 전송 지연시간 계산부(25)에서 구한 상대 지연 시간을 분석하여 네트워크 혼잡도의 변화 추이를 추정한다. 네트워크 혼잡도 추정부(26)에서 추정된 네트워크 혼잡도의 변화 추이를 혼잡도 정보로서 송신 장치(10)의 레이트 조정기(15)에 전달된다.The network congestion estimating unit 26 estimates the change in the network congestion by analyzing the relative delay time calculated by the relative transmission delay time calculating unit 25. [ The transition of the network congestion degree estimated by the network congestion estimating unit 26 is transmitted to the rate adjuster 15 of the transmitting apparatus 10 as congestion information.

본 실시예에 의하면, 패킷 송신기(13)에서 시스템 시각을 패킷에 주입하고, 패킷 수신기에서 패킷에 주입된 송신 장치의 시스템 시각으로부터 상대 전송 지연시간을 계산하고, 수신 장치의 시스템 시각을 변형한 후 네트워크의 혼잡도를 추정하고, 혼잡도의 변화 추이를 송신 장치에 전달하여 송신 영상의 비트레이트를 조정하도록 함으로써 실시간 영상 서비스의 레이트 어댑테이션을 효율적으로 최적화할 수 있다.According to this embodiment, the packet transmitter 13 injects the system time into the packet, calculates the relative transmission delay time from the system time of the transmitting apparatus injected into the packet at the packet receiver, modifies the system time of the receiving apparatus The rate adaptation of the real-time image service can be efficiently optimized by estimating the congestion degree of the network and transmitting the change of the congestion degree to the transmission apparatus to adjust the bit rate of the transmission image.

실시예2Example 2

패킷 전송지연시간의 정확한 측정은 송신 장치와 수신 장치의 시스템 클럭이 별도의 장치를 사용해서 정확히 동기화되어 있는 경우 패킷 송신 시점의 클럭과 패킷 수신 시점의 클럭 차이로 정의된다. 하지만, 두 장치 간의 시스템 클럭이 동기화되어 있지 않더라도 송신 장치와 수신 장치의 시스템 클럭 증가 속도가 동일하다는 가정하에서는 송신 장치에서 1번째 패킷이 송신되는 클럭과 수신 장치에서 해당 패킷이 수신되는 클럭을 기준으로 삼으면 상대적인 변화는 알아낼 수 있다.An accurate measurement of the packet transmission delay time is defined as a difference between a clock at the time of packet transmission and a clock at the time of packet reception when the system clock of the transmitting apparatus and the receiving apparatus are accurately synchronized using a separate apparatus. However, even if the system clocks between the two devices are not synchronized, it is also possible that the transmission rate of the transmitting device and the receiving device are equal to each other, If you do, you can find the relative change.

즉, N번째 패킷의 전송지연시간과 M번째 패킷의 전송지연 시간과의 차이는 다음의 수학식 2와 같이 정의할 수 있다.That is, the difference between the transmission delay time of the N-th packet and the transmission delay time of the M-th packet can be defined as Equation (2).

Figure pat00002
Figure pat00002

수학식 2에서, TSM은 M번째 패킷 송신시 송신 장치의 시스템 클럭을, TRM은 M번째 패킷 수신시 수신 장치의 시스템 클럭을, DM은 M번째 패킷의 실제 전송지연시간을 각각 나타내며, TSN은 N번째 패킷 송신시 송신 장치의 시스템 클럭을, TRN은 N번째 패킷 수신시 수신 장치의 시스템 클럭을, DN은 N번째 패킷의 실제 전송지연시간을 각각 나타낸다. 여기서, N은 M보다 큰 자연수이다.In Equation 2, TS M is the system clock of the transmitting device when sending the M-th packet, TR M is the system clock of the receiver when receiving the M-th packet, D M represents respectively the actual transmission delay time of the M-th packet, TS N represents the system clock of the transmitting apparatus at the time of transmitting the Nth packet, TR N represents the system clock of the receiving apparatus at the time of receiving the Nth packet, and D N represents the actual transmission delay time of the Nth packet. Where N is a natural number greater than M.

위의 수학식 2에서 N번째 패킷의 실제 전송지연 시간을 0으로 하여 기준으로 삼고, M번째 패킷의 상대적인 전송지연 시간을 DRelM이라고 정의하면 다음의 수학식 3과 같이 간단히 정의할 수 있다.In Equation (2), if the actual transmission delay time of the Nth packet is set to 0 and the relative transmission delay time of the Mth packet is defined as DRel M , the following equation (3) can be simply defined.

Figure pat00003
Figure pat00003

수학식 3에서, Tdiffbase는 N번째 패킷의 전송지연시간으로 다음의 수학식 4와 같이 정의할 수 있으며, 기준클럭으로서 0으로 설정될 수 있다.In Equation (3), T diffbase is the transmission delay time of the Nth packet and can be defined as Equation (4), and can be set to 0 as a reference clock.

Figure pat00004
Figure pat00004

위에서 설명한 바와 같이, 송신 장치에서 패킷 전송 시점에 시스템 클럭을 측정하고 패킷에 포함하여 수신 장치로 전송하면, 수신 장치는 수신한 패킷을 파싱하여 상대적인 전송지연시간을 측정할 수 있다. 특히, 전송하는 프로토콜이 RTP(Real-time Transport Protocol)라면 RTP의 타임스탬프를 송신 시점의 시스템 클럭을 저장하는데 사용할 수 있다.As described above, when the transmitting apparatus measures the system clock at the time of packet transmission and transmits the measured system clock to the receiving apparatus, the receiving apparatus can measure the relative transmission delay time by parsing the received packet. In particular, if the transmitted protocol is Real-time Transport Protocol (RTP), the RTP time stamp can be used to store the system clock at the transmission time.

표준 RTP의 구현 방법과 비교할 때, RTP 타임스탬프는 미디어의 재생 시각이지 전송 시각이 아니므로 인코더, 디코더, 플레이 버퍼 등의 요소에 의해 정확한 네트워크 지연 시간 변화 측정의 기준으로 삼기에는 정확성이 부족하다. 따라서 본 실시예에서는 RTP 송신 장치에서 RTP 타임스탬프를 재생시각 대신 송신 장치의 시스템 클럭으로 덮어씀으로써 네트워크 지연 시간 변화 측정의 기준으로 삼을 수 있다.Compared with the standard RTP implementation method, since the RTP timestamp is not the transmission time but the reproduction time of the media, it is insufficient to use the RTP timestamp as a criterion for accurate network delay time change measurement by factors such as an encoder, a decoder, and a play buffer. Therefore, in this embodiment, the RTP time stamp can be used as a criterion for measuring the network delay time change by overwriting the RTP time stamp with the system clock of the transmitting apparatus instead of the reproduction time.

RTP UDP(User Datagram Protocol)의 경우 일반적으로 영상의 한 프레임의 크기가 최대 전송 단위(Maximum Transmission Unit, MTU)보다 크기 때문에 복수 개의 UDP 패킷으로 영상의 한 프레임으로 구성된다. 즉, 본 실시예에 의하면, 한 프레임의 영상을 구성하는 복수 개의 패킷들은 동일한 타임스탬프를 가진다.In case of RTP UDP (User Datagram Protocol), since the size of one frame of an image is larger than the maximum transmission unit (MTU), a frame of the image is composed of a plurality of UDP packets. That is, according to the present embodiment, a plurality of packets constituting an image of one frame have the same time stamp.

따라서, 복수 개의 패킷이 영상의 한 프레임을 구성하는 경우에 있어서 해당 프레임의 첫번째 RTP 패킷에 대해서 전송 시각을 측정하고 RTP 타임스탬프로 덮어쓰고 나머지 RTP 패킷의 타임스탬프는 첫번째 RTP 패킷의 전송 시각으로 덮어쓰도록 한다. 이러한 구성에 의하면, RTP 표준 규격에서 벗어나지 않으므로 일반적인 재생기에서 재생 가능하다.Therefore, when a plurality of packets constitute one frame of an image, the transmission time is measured for the first RTP packet of the frame, the RTP time stamp is overwritten, and the time stamp of the remaining RTP packets is overwritten with the transmission time of the first RTP packet Write. According to this configuration, since it does not deviate from the RTP standard specification, it can be reproduced by a general player.

수신 장치에서의 처리 내용을 보면, 수신된 패킷의 타임스탬프는 패킷의 송신 시점에서의 송신 장치의 시스템 클럭이므로 수신 장치에서는 도 3에서와 같은 간단한 방법으로 패킷의 지연 시간 변동을 구할 수 있다.The time stamp of the received packet is the system clock of the transmitting apparatus at the transmitting time of the packet, so that the receiving apparatus can obtain the delay time variation of the packet by the simple method as shown in FIG.

도 3은 본 발명의 다른 실시예에 따른 실시간 영상 서비스의 레이트 어댑테이션을 위한 네트워크 전송지연시간 변동 측정 방법의 상대 지연 시간 측정 과정에 대한 순서도이다.3 is a flowchart illustrating a relative delay time measurement process of a network transmission delay time variation measurement method for rate adaptation of a real-time image service according to another embodiment of the present invention.

도 3을 참조하면, 본 실시예에 따른 수신 장치에서의 상대 지연 시간 측정 과정은 먼저 패킷을 수신하고(S31), 계산 대상 패킷인가를 판단한다(S32). 계산 대상 패킷의 판단은 복수의 패킷들이 동일한 타임스탬프를 가졌는지 판단하는 것을 지칭한다.Referring to FIG. 3, the relative delay time measurement process in the receiving apparatus according to the present embodiment first receives a packet (S31) and determines whether it is a packet to be calculated (S32). The determination of the packet to be computed refers to determining whether a plurality of packets have the same timestamp.

다음, 계산 대상 패킷인 복수의 패킷들 중 첫번째 패킷인지를 판단한다(S33). 본 단계는 계산 대상 패킷 여부를 판단하는 단계(S32)에서 복수 개의 RTP 패킷이 한 개의 영상 프레임을 구성하는 경우와 같이 단일 프레임의 첫번째 패킷과 동일한 타임스탬프를 가진 나머지 패킷을 상대 지연 시간 계산 대상에서 제외하기 위한 것이다.Next, it is determined whether the packet is the first packet among a plurality of packets to be computed (S33). In this step, it is determined whether or not the packet to be computed is a remaining packet having the same timestamp as the first packet of the single frame, as in the case where a plurality of RTP packets constitute one video frame in step S32. .

상기의 단계(S33)에서 계산 대상 패킷의 첫번째 패킷으로 판단되면, 첫번째 패킷의 타임스탬프를 이용하여 기준클럭을 설정한다(S34). 즉, 기준클럭 설정 단계(S34)는 송신장치의 시스템 클럭과 수신장치의 시스템 클럭의 차이를 구하는 단계로 단순하게는 다음의 수학식 5와 같이 구할 수 있다.If it is determined in step S33 that the packet is the first packet of the calculation target packet, the reference clock is set using the time stamp of the first packet (S34). That is, the reference clock setting step S34 is a step of obtaining the difference between the system clock of the transmitting apparatus and the system clock of the receiving apparatus, and may be simply expressed by the following equation (5).

Figure pat00005
Figure pat00005

다음, 기준클럭을 적용하여 기준클럭 설정에 이용된 패킷의 이전 혹은 직전 패킷의 상대 지연 시간을 계산한다(S35). 상대 지연 시간 계산 단계(S35)는 기 수신된 패킷의 상대적 지연 시간을 구하는 것으로 다음의 수학식 6과 같이 구할 수 있다.Next, the relative delay time of the previous or previous packet of the packet used for the reference clock setting is calculated by applying the reference clock (S35). The relative delay time calculation step S35 can be obtained by the following Equation (6) by obtaining the relative delay time of the previously received packet.

Figure pat00006
Figure pat00006

수학식 6에서 알 수 있듯이, 수신된 패킷의 지연 시간이 0보다 작은 경우 즉, 이전에 수신되었던 패킷들 중에서 지연 시간이 가장 긴 경우라면 해당 패킷의 지연 시간을 0으로 기준 잡고 기준 클럭을 다시 설정함으로써, 패킷 전송지연시간의 최소값이 0이 되도록 유지할 수 있다.As can be seen from Equation (6), if the delay time of the received packet is less than 0, that is, if the delay time is the longest among the previously received packets, the reference clock is reset So that the minimum value of the packet transmission delay time can be maintained to be zero.

다음, 상대 지연 시간이 0보다 작은지를 판단한다(S36). 본 단계(S36)는 상기의 과정을 통해 구한 상대 지연 시간을 선형회귀 분석 등을 통해 변화 추이를 파악하여 지연 시간의 변화 추이를 확인하기 위한 과정이다.Next, it is determined whether the relative delay time is less than 0 (S36). In this step S36, the relative delay time obtained through the above process is checked for the change of the delay time by linear regression analysis or the like to check the change of the delay time.

예를 들어, x축을 시간으로 하고 y축을 지연 시간으로 하는 가장 단순한 최소제곱법에 의한 선형 회귀 분석의 경우, 상대 지연 시간 계산의 결과가 기울기와 절편으로 분석되었을 때, 기울기가 0보다 크면 네트워크 혼잡도가 증가하고 있는 상황이고 0보다 작으면 네트워크 혼잡도가 감소하고 있는 상황이라고 판단할 수 있다.For example, in the case of linear regression analysis using the simplest least squares method, where the x-axis is time and the y-axis is delay time, when the result of relative delay time calculation is analyzed by slope and intercept, And the network congestion is decreasing if it is smaller than 0.

다음, 기준클럭의 재설정을 위해 송신 장치로 혼잡도 정보를 전송한다(S37). 본 단계(S37)에서는 상대 지연 시간에 대한 선형 회귀 분석 결과의 기울기가 특정 임계값 이상일 때 송신 비트레이트를 감소시키도록 송신 장치로 혼잡도 정보를 포함한 피드백 패킷을 전송하여 송신 장치에서 비트레이트를 감소시키도록 할 수 있다.Next, the congestion information is transmitted to the transmitting apparatus for resetting the reference clock (S37). In this step S37, when the slope of the linear regression analysis result with respect to the relative delay time is greater than or equal to a specific threshold value, the feedback packet including the congestion information is transmitted to the transmission apparatus so as to reduce the transmission bit rate, .

실시예3Example 3

한편, 네트워크 상황을 알지 못하고 최초 설정된 비트레이트로 전송시 초기 기준클럭이 적절히 설정되지 못해 오동작을 일으킬 가능성이 있다. 일반적인 네트워크 환경에서 크기가 작은 IP(Internet Protocol) 패킷의 전송 지연이 크기가 큰 IP 패킷보다 작으므로 최소화한 크기의 패킷을 실제 영상 패킷의 전송 시작 이전에 전송함으로써 현재 네트워크 상태의 최소 지연 시간에 보다 근접한 값에 접근할 수 있다. 또한, 도 2를 참조하여 앞서 설명한 송신 장치와 수신 장치 간 클럭 증가 속도 차이 보정을 위해 최소 지연 시간을 업데이트할 필요가 있으므로 주기적으로 작은 크기의 패킷을 전송할 필요가 있을 수 있다.On the other hand, there is a possibility that the initial reference clock may not be set properly when transmitting at the initially set bit rate without knowing the network status, which may cause a malfunction. In a typical network environment, since the transmission delay of a small IP (Internet Protocol) packet is smaller than that of a large IP packet, the packet of the minimum size is transmitted before the start of transmission of the actual video packet, You can access close values. In addition, since it is necessary to update the minimum delay time in order to correct the clock increase rate difference between the transmitting apparatus and the receiving apparatus described above with reference to FIG. 2, it may be necessary to periodically transmit a small size packet.

위에서 설명한 대로 패킷 전송지연시간의 정확한 측정은 송신 장치와 수신 장치의 시스템 클럭이 정확히 일치하는 경우 패킷의 송신 시점의 클럭과 수신 시점의 클럭 차이로 정의된다. 한편, 송신 장치와 수신 장치의 클럭을 1회 정확히 동기화시켰다 할지라도 송신 장치의 시스템 클럭과 수신 장치의 시스템 클럭은 서로 완벽하게 동일한 속도로 증가하지 않는다.As described above, the accurate measurement of the packet transmission delay time is defined as the difference between the clock of the transmission timing of the packet and the reception clock when the system clocks of the transmission apparatus and the reception apparatus are exactly the same. On the other hand, even if the clocks of the transmitting apparatus and the receiving apparatus are exactly synchronized once, the system clock of the transmitting apparatus and the system clock of the receiving apparatus do not increase at the same speed.

시스템 클럭의 동기화가 안정화된 상태에서 송신 장치의 시스템 클럭을 Cs, 수신 장치의 시스템 클럭을 Cr이라고 하면, 두 장치의 시스템 클럭 간의 관계는 간단한 선형 함수인 수학식 7의 함수 형태로 표현할 수 있다.If the system clock of the transmitting apparatus is Cs and the system clock of the receiving apparatus is Cr in a state where the synchronization of the system clock is stabilized, the relationship between the system clocks of the two apparatuses can be represented by a function form of Equation 7, which is a simple linear function.

Figure pat00007
Figure pat00007

수학식 7에서, A가 0이면 두 클럭의 증가속도가 정확히 동일한 경우이고, A가 0보다 크면 수신 장치의 시스템 클럭이 송신 장치의 시스템 클럭보다 더 빠르게 동작하는 경우이며, A가 0보다 작으면 송신 장치의 시스템 클럭이 수신 장치의 시스템 클럭보다 더 빠르게 동작하는 경우이다.In Equation (7), when A is 0, the increase rate of two clocks is exactly the same, and when A is larger than 0, the system clock of the receiving apparatus operates faster than the transmitting apparatus system clock. If A is smaller than 0 The system clock of the transmitting apparatus operates faster than the system clock of the receiving apparatus.

시간이 지날수록 두 장치 간의 시스템 클럭들 간의 차이는 벌어질 수 있으므로 이를 보정하기 위한 별도의 장치가 필요하며, 원칙대로 두 시스템 클럭을 동기화시킨다고 하면, 동기화 수행 시점을 언제부터 얼마만큼의 간격으로 할 것인지, 동기화 진행 중에 실제 패킷 전송은 어떻게 할 것인지, 시스템 클럭의 동기화를 위해 네트워크를 사용해야 한다면 동일한 네트워크를 사용하는 영상 전송에 영향을 미치지는 않는지 등의 고려해야할 요소가 증가하게 된다.Since a difference between system clocks may occur between the two devices as time goes by, a separate device is required to correct the system clock. As a rule, if two system clocks are synchronized, There is an increasing number of factors to consider such as how to perform the actual packet transmission during synchronization, whether to use the network to synchronize the system clock, and whether it affects the image transmission using the same network.

즉, 송신 장치와 수신 장치 간의 시스템 클럭 증가 속도의 차이는 상대적인 패킷 지연 시간 측정 방법에도 문제를 일으킬 수 있다. 하지만, 일반적인 상황에서 두 장치 간 시스템 클럭 증가 속도의 차이는 별로 크지 않으며, 따라서 본 실시예에서는 단순히 수신 장치의 시스템 클럭을 실제보다 더 느리게 동작하는 것처럼 조작하는 것으로 전술한 문제를 회피한다.That is, the difference in the system clock increase rate between the transmitting apparatus and the receiving apparatus may cause a problem in the relative packet delay time measuring method. However, the difference in the system clock increase rate between the two devices in a general situation is not so large, and therefore, in this embodiment, the above-mentioned problem is avoided simply by operating the system clock of the receiving apparatus as if it is operating at a slower speed than the actual one.

상술한 작동 원리를 설명하면 다음의 1. 및 2.와 같다.The above-mentioned working principle will be described in the following 1 and 2.

1. 수신 장치의 시스템 클럭이 더 느리게 동작하는 경우, 실제 패킷 지연 시간의 변화가 전혀 없는 상태라면, 수학식 6을 만족하게 되므로 상대 지연 시간은 점차 감소하는 것으로 측정된다. 결국, 상대 지연 시간이 음수가 되는 경우가 발생하며, 그 경우 해당 패킷에 맞추어서 기준 클럭이 업데이트되도록 하여 자연스럽게 수신 장치의 시스템 클럭을 보정하여 송신 장치와 동기화시킬 수 있다.1. When the system clock of the receiving apparatus operates more slowly, if there is no change in the actual packet delay time, the relative delay time is measured to be gradually decreased since Equation (6) is satisfied. As a result, the relative delay time becomes negative. In this case, the reference clock is updated according to the packet, so that the system clock of the receiving apparatus can be corrected and synchronized with the transmitting apparatus.

2. 수신 장치의 시스템 클럭이 더 빠르게 동작하는 경우, 실제 패킷 전송지연시간의 변화가 전혀 없는 이상적인 상태라면 수신 장치의 시스템 시각이 송신 장치의 시스템 시각보다 빠르게 동작하기 때문에 패킷의 타임스탬프 증가폭이 수신 장치의 시스템 시각의 증가폭보다 작게 되며, 따라서 전송지연시간은 점점 증가하는 것으로 측정된다. 즉, 네트워크 혼잡도가 계속 증가하는 것으로 판단된다.2. If the system clock of the receiving device operates more quickly and the actual packet transmission delay time does not change at all, then the system time of the receiving device will operate faster than the sending device's system time, It becomes smaller than the increase of the system time of the apparatus, and therefore, the transmission delay time is measured to increase gradually. In other words, it is judged that the network congestion rate continues to increase.

따라서, 이를 보정하기 위해 수신 장치의 시스템 시각을 항상 인위적으로 조금 느리게 동작하도록 조정한다. 이러한 조치에 의하면, 수신 장치의 시스템 클럭이 송신 장치의 시스템 클럭보다 느리게 증가할 것이고, 그에 의해 상기 1.의 보정기능과 동일한 원리에 의해 자연스럽게 수신 장치의 시스템 클럭이 보정될 수 있다.Therefore, to compensate for this, the system time of the receiving apparatus is always adjusted so that it operates artificially a little slower. According to this measure, the system clock of the receiving apparatus will increase more slowly than the system clock of the transmitting apparatus, so that the system clock of the receiving apparatus can be corrected naturally by the same principle as the above-mentioned correction function of 1. above.

위의 작동 원리에 의하면, 수학식 5의 기준클럭의 산정 공식은 아래의 수학식 8과 같이 수정될 수 있다.According to the above operation principle, the formula for calculating the reference clock of Equation (5) can be modified as shown in Equation (8) below.

Figure pat00008
Figure pat00008

수학식 8에서, 기준클럭은 제2 시스템 클럭에 증가분을 더한 값에서 제1 시스템 클럭을 뺀 것에 대응하며, A는 보정된 수신 장치의 시스템 클럭 증가 속도가 송신 장치의 시스템 클럭 증가 속도보다 항상 빠르게 설정될 수 있는 가능한 작은 수(자연수)로 선택된다.In Equation (8), the reference clock corresponds to subtracting the first system clock from a value obtained by adding the increment to the second system clock, where A is the time at which the system clock increase rate of the calibrated receiver is always faster than the system clock increase rate of the transmitter (Natural number) that can be set.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.It will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the spirit and scope of the present invention as defined by the following claims . It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive.

10: 송신 장치
14: 시스템시각 주입기
15: 레이트 조정기
20: 수신 장치
24: 시스템시각 주입기
25: 상대 전송지연시간 계산부
26: 네트워크 혼잡도 추정부
10: Transmitter
14: System time injector
15: Rate adjuster
20: Receiver
24: System time injector
25: relative transmission delay time calculation unit
26: Network congestion degree estimation unit

Claims (8)

송신 장치에서 제1패킷의 송신 시점에 제1 시스템 클럭을 상기 제1패킷에 포함하여 수신 장치로 전송하는 단계-여기서, 상기 제1 시스템 클럭은 상기 수신 장치의 제2 시스템 클럭과의 비교를 통해 상대 전송지연시간의 변화 추이를 탐지하는 데 이용됨-;
상기 수신 장치로부터 상기 변화 추이에 따른 네트워크 혼잡도의 혼잡도 정보를 수신하는 단계; 및
상기 혼잡도 정보에 따라 영상 인코더의 비트레이트를 조정하는 단계;를 포함하는 레이트 어댑테이션을 위한 네트워크 전송지연시간 변동 측정 방법.
Transmitting a first system clock at a transmission time of a first packet to the reception apparatus by including the first system clock in the first packet, wherein the first system clock is compared with a second system clock of the reception apparatus Used to detect a change in the relative transmission delay time;
Receiving congestion information of network congestion according to the change trend from the receiving apparatus; And
And adjusting the bit rate of the video encoder according to the congestion information.
수신 장치에서 송신 장치로부터 송신 패킷을 수신하고, 수신한 송신 패킷에 포함된 제1 시스템 클럭을 상기 수신 장치의 제2 시스템 클럭과 비교하여 상대 전송지연시간의 변화 추이를 탐지하고 상기 변화 추이에 따른 네트워크 혼잡도를 추정한 후 추정된 혼잡도 정보를 상기 송신 장치로 전송하되, 여기서 혼잡도 정보는 상기 송신 장치의 레이트 조정기에서 상기 송신 장치의 영상 인코더의 비트레이트를 조정하는데 이용되는 레이트 어댑테이션을 위한 네트워크 전송지연시간 변동 측정 방법.A reception apparatus receives a transmission packet from a transmission apparatus, detects a change in relative transmission delay time by comparing a first system clock included in the received transmission packet with a second system clock of the reception apparatus, Wherein the congestion degree information includes at least one of a network transmission delay for rate adaptation used for adjusting the bit rate of the video encoder of the transmission apparatus in the rate adjustor of the transmission apparatus, Method of measuring time variation. 청구항 1 또는 청구항 2에 있어서,
상기 수신 장치에서 기준 클럭을 점진적으로 증가시켜 상기 송신 장치와 상기 수신 장치의 시스템 클럭 증가 속도 차이를 보정하는 것을 더 포함하되, 여기서 상기 기준 클럭은 상기 제2 시스템 클럭에 증가분을 더한 값에서 상기 제1 시스템 클럭을 뺀 것인 레이트 어댑테이션을 위한 네트워크 전송지연시간 변동 측정 방법.
The method according to claim 1 or 2,
Further comprising a step of gradually increasing a reference clock in the receiving apparatus to correct a system clock increasing speed difference between the transmitting apparatus and the receiving apparatus, wherein the reference clock is a value obtained by adding the increment to the second system clock, Lt; RTI ID = 0.0 > 1 < / RTI > system clock.
청구항 1 또는 청구항 2에 있어서,
상기 수신 장치에서 상기 상대 전송지연시간의 선형 회귀 분석을 통해 상기 네트워크 혼잡도의 변화 추이를 추정하는 것을 더 포함하는 레이트 어댑테이션을 위한 네트워크 전송지연시간 변동 측정 방법.
The method according to claim 1 or 2,
Further comprising estimating a change in the network congestion through a linear regression analysis of the relative transmission delay time at the receiving apparatus.
네트워크를 통해 수신 장치와 연결되는 송신 장치로서,
상기 수신 장치로 전송할 영상을 부호화하는 영상 인코더;
상기 영상 인코더에서 부호화된 영상 데이터를 패킷화하는 패킷타이저;
상기 패킷타이저에서 패킷화된 제1패킷을 송신하는 패킷 송신기;
상기 패킷 송신기에 결합하여 상기 제1패킷의 송신 전에 상기 제1패킷에 제1 시스템 클럭을 부가하는 시스템시각 주입기; 및
상기 수신 장치로부터 상기 제1 시스템 클럭을 토대로 추정한 네트워크 혼잡도의 혼잡도 정보를 수신하고 수신한 혼잡도 정보에 기초하여 상기 영상 인코더의 비트레이트를 제어하는 레이트 조정기;
를 포함하는 실시간 영상 서비스 제공 시스템.
A transmitting apparatus connected to a receiving apparatus via a network,
A video encoder for encoding an image to be transmitted to the receiver;
A packetizer for packetizing the image data encoded by the image encoder;
A packet transmitter for transmitting a packetized first packet in the packetizer;
A system time injector coupled to the packet transmitter for adding a first system clock to the first packet before transmission of the first packet; And
A rate adjuster for receiving the congestion degree information of the network congestion estimated based on the first system clock from the receiving apparatus and controlling the bit rate of the video encoder based on the received congestion degree information;
And a real-time image service providing system.
네트워크를 통해 송신 장치와 연결되는 수신 장치로서,
상기 송신 장치로부터 제1패킷을 수신하는 패킷 수신기;
상기 패킷 수신기의 제1패킷을 파싱하는 디패킷타이저;
상기 디패킷타이저에서 파싱된 영상 데이터를 복호화하는 영상 디코더;
상기 패킷 수신기에 수신된 제1패킷의 수신 시점에 대한 제2 시스템 클럭을 생성하는 시스템시각 주입기;
상기 제1패킷에 포함된 제1 시스템 클럭과 상기 제2 시스템 클럭을 비교하여 상대 송신 지연 시간을 계산하는 상대 전송지연시간 계산부; 및
상기 상대 송신 지연 시간을 분석하여 변화 추이를 추정하고, 추정된 변화 추이에 따른 네트워크 혼잡도 정보를 상기 송신 장치로 전송하는 네트워크 혼잡도 추정부-여기서, 상기 네트워크 혼잡도 정보는 상기 송신 장치의 레이트 조정기에서 상기 송신 장치의 영상 인코더의 비트레이트를 조정하는데 이용됨-;
를 포함하는 실시간 영상 서비스 제공 시스템.
A receiving apparatus connected to a transmitting apparatus via a network,
A packet receiver for receiving a first packet from the transmitting apparatus;
A packetizer for parsing a first packet of the packet receiver;
An image decoder for decoding image data parsed in the depacketizer;
A system time injector for generating a second system clock for a reception time of a first packet received at the packet receiver;
A relative transmission delay time calculator for calculating a relative transmission delay time by comparing the first system clock included in the first packet with the second system clock; And
A network congestion estimating unit that analyzes the relative transmission delay time to estimate a change trend and transmits network congestion information according to the estimated change trend to the transmission apparatus, Used to adjust the bit rate of the video encoder of the transmitting device;
And a real-time image service providing system.
청구항 6에 있어서,
상기 수신 장치는 기준 클럭을 점진적으로 증가시켜 상기 송신 장치와의 시스템 클럭 증가 속도 차이를 보정하되, 여기서 상기 기준 클럭은 상기 제2 시스템 클럭에 증가분을 더한 값에서 상기 제1 시스템 클럭을 뺀 것인 실시간 영상 서비스 제공 시스템.
The method of claim 6,
Wherein the receiving apparatus gradually corrects the system clock increase rate difference with the transmission apparatus by gradually increasing the reference clock, wherein the reference clock is obtained by subtracting the first system clock from a value obtained by adding the increment to the second system clock Real - time video service delivery system.
청구항 6 또는 청구항 7에 있어서,
상기 네트워크 혼잡도 추정부는, 상기 상대 전송지연시간의 선형 회귀 분석을 통해 상기 네트워크 혼잡도의 변화 추이를 추정하는 실시간 영상 서비스 제공 시스템.
The method according to claim 6 or 7,
Wherein the network congestion estimator estimates a change in the network congestion through a linear regression analysis of the relative transmission delay time.
KR1020140070989A 2014-06-11 2014-06-11 Method for Measuring Variation of Transmission Delay Time of Network for Rate Adaptation and Realtime Video Service System Using the Same KR101587547B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140070989A KR101587547B1 (en) 2014-06-11 2014-06-11 Method for Measuring Variation of Transmission Delay Time of Network for Rate Adaptation and Realtime Video Service System Using the Same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140070989A KR101587547B1 (en) 2014-06-11 2014-06-11 Method for Measuring Variation of Transmission Delay Time of Network for Rate Adaptation and Realtime Video Service System Using the Same

Publications (2)

Publication Number Publication Date
KR20150142350A true KR20150142350A (en) 2015-12-22
KR101587547B1 KR101587547B1 (en) 2016-01-21

Family

ID=55081654

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140070989A KR101587547B1 (en) 2014-06-11 2014-06-11 Method for Measuring Variation of Transmission Delay Time of Network for Rate Adaptation and Realtime Video Service System Using the Same

Country Status (1)

Country Link
KR (1) KR101587547B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112422356A (en) * 2019-08-22 2021-02-26 腾讯科技(深圳)有限公司 Method and device for determining network state
CN113691882A (en) * 2021-09-02 2021-11-23 广州市奥威亚电子科技有限公司 Method, device, equipment and storage medium for judging network condition

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000115245A (en) * 1998-10-06 2000-04-21 Oki Electric Ind Co Ltd Data transmitter, data receiver, data communication equipment and data communication method
KR100735344B1 (en) * 2004-08-16 2007-07-04 삼성전자주식회사 Method and system for acquiring time synchronization between base stations in a communication system
KR100931375B1 (en) * 2009-05-15 2009-12-11 전자부품연구원 Efficient data streaming method using efficien tparameters and data streaming server
WO2012125008A2 (en) 2011-03-16 2012-09-20 한국전자통신연구원 Method and apparatus for estimating wireless channel status using additional information, and method for adjusting coding rate in wireless network using method and apparatus
KR20120105321A (en) * 2011-03-15 2012-09-25 광주과학기술원 Congestion detection apparatus, congestion control apparatus, and congestion control method thereof

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000115245A (en) * 1998-10-06 2000-04-21 Oki Electric Ind Co Ltd Data transmitter, data receiver, data communication equipment and data communication method
KR100735344B1 (en) * 2004-08-16 2007-07-04 삼성전자주식회사 Method and system for acquiring time synchronization between base stations in a communication system
KR100931375B1 (en) * 2009-05-15 2009-12-11 전자부품연구원 Efficient data streaming method using efficien tparameters and data streaming server
KR20120105321A (en) * 2011-03-15 2012-09-25 광주과학기술원 Congestion detection apparatus, congestion control apparatus, and congestion control method thereof
WO2012125008A2 (en) 2011-03-16 2012-09-20 한국전자통신연구원 Method and apparatus for estimating wireless channel status using additional information, and method for adjusting coding rate in wireless network using method and apparatus

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112422356A (en) * 2019-08-22 2021-02-26 腾讯科技(深圳)有限公司 Method and device for determining network state
CN112422356B (en) * 2019-08-22 2022-07-29 腾讯科技(深圳)有限公司 Method and device for determining network state
CN113691882A (en) * 2021-09-02 2021-11-23 广州市奥威亚电子科技有限公司 Method, device, equipment and storage medium for judging network condition
CN113691882B (en) * 2021-09-02 2024-04-26 广州市奥威亚电子科技有限公司 Method, device, equipment and storage medium for judging network condition

Also Published As

Publication number Publication date
KR101587547B1 (en) 2016-01-21

Similar Documents

Publication Publication Date Title
RU2304364C2 (en) Device and method for measuring bilateral propagation time delay for multimedia data with variable bit transfer speed
US9191664B2 (en) Adaptive bitrate management for streaming media over packet networks
US7991904B2 (en) Adaptive bitrate management for streaming media over packet networks
KR100641159B1 (en) Adaptive method for multimedia transmission rate estimation based on rtcppacket
US7606928B2 (en) Method and device for controlling receiver buffer fullness level in multimedia streaming
US7894367B2 (en) Methods and systems for bandwidth protection
US8588071B2 (en) Device and method for adaptation of target rate of video signals
WO2017000719A1 (en) Congestion control method and device based on queue delay
Roccetti et al. Design and experimental evaluation of an adaptive playout delay control mechanism for packetized audio for use over the internet
JP2011259239A (en) Communication processor,communication processing system, communication processing method and program
KR101587547B1 (en) Method for Measuring Variation of Transmission Delay Time of Network for Rate Adaptation and Realtime Video Service System Using the Same
US20160261897A1 (en) Apparatus and method for managing mmt buffer model using reception quality feedback
JP5820238B2 (en) Data transmitting apparatus and data receiving apparatus
CN113612649B (en) Round trip estimation
Kreith et al. FRACTaL: FEC-based rate control for RTP
Oh et al. One-way delay estimation using packet intervals for efficient retransmission

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right