KR20070008069A - Appratus and method for synchronizing audio/video signal - Google Patents
Appratus and method for synchronizing audio/video signal Download PDFInfo
- Publication number
- KR20070008069A KR20070008069A KR1020050062988A KR20050062988A KR20070008069A KR 20070008069 A KR20070008069 A KR 20070008069A KR 1020050062988 A KR1020050062988 A KR 1020050062988A KR 20050062988 A KR20050062988 A KR 20050062988A KR 20070008069 A KR20070008069 A KR 20070008069A
- Authority
- KR
- South Korea
- Prior art keywords
- time
- transport stream
- delay
- clock
- output
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2368—Multiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43076—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of the same content streams on multiple devices, e.g. when family members are watching the same movie on different devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4341—Demultiplexing of audio and video streams
Abstract
Description
도 1은 일반적인 홈씨어터 시스템의 구성도.1 is a block diagram of a general home theater system.
도 2는 음성 및 영상 출력 시스템의 송신부에서 립 동기화 문제를 해결하기 위한 시스템 인코더의 구성을 나타낸 블록도.2 is a block diagram showing a configuration of a system encoder for solving a lip synchronization problem in a transmitter of an audio and video output system.
도 3은 음성 및 영상 출력 시스템의 수신부에서 립 동기화 문제를 해결하기 위한 시스템 디코더의 구성을 나타낸 블록도.3 is a block diagram illustrating a configuration of a system decoder for solving a lip synchronization problem in a receiver of an audio and video output system.
도 4는 본 발명의 음성/영상신호의 동기화 장치의 실시예의 구성을 나타낸 블록도.Figure 4 is a block diagram showing the configuration of an embodiment of an apparatus for synchronizing an audio / video signal of the present invention.
도 5는 도 4의 고정지연 스트림 생성부를 상세하게 나타낸 블록도.FIG. 5 is a detailed block diagram illustrating the fixed delay stream generator of FIG. 4. FIG.
도 6a 및 6b는 전송 스트림이 지연지터 보상버퍼로 입력되고, 출력되는 동작의 실시예를 보인 도면.6A and 6B illustrate an embodiment of an operation in which a transport stream is input to and output from a delay jitter compensation buffer.
도 7은 도 4의 디코딩부를 상세하게 나타낸 블록도.FIG. 7 is a detailed block diagram illustrating the decoding unit of FIG. 4. FIG.
도 8은 본 발명의 음성/영상신호의 동기화 장치의 다른 실시예의 구성을 나타낸 블록도.8 is a block diagram showing the configuration of another embodiment of an apparatus for synchronizing audio / video signals according to the present invention;
도 9는 본 발명의 음성/영상신호의 동기화 방법의 실시예를 나타낸 흐름도.9 is a flowchart illustrating an embodiment of a method for synchronizing audio / video signals according to the present invention.
도 10은 본 발명의 음성/영상신호의 동기화 방법의 다른 실시예를 나타낸 흐 름도.10 is a flowchart illustrating another embodiment of a method for synchronizing an audio / video signal of the present invention.
*도면의 주요 부분에 대한 부호의 설명** Description of the symbols for the main parts of the drawings *
400 : 전송 스트림 생성부 410 : 송신 네트워크 클럭 발생부 400: transport stream generator 410: transmission network clock generator
420 : 동기 클럭 스탬핑부 430 : 제 1 통신 인터페이스 수단 420: synchronous clock stamping unit 430: first communication interface means
440 : 제 2 통신 인터페이스 수단 450 : 시간간격 조절부440: second communication interface means 450: time interval adjusting unit
460 : 디코딩부 500 : 지연지터 보상버퍼 460: decoding unit 500: delay jitter compensation buffer
510 : 송신 네트워크 클럭 독출부 520 : 수신 네트워크 클럭 발생부510: transmit network clock reader 520: receive network clock generator
530 : 지연시간 판단부 540 : 스트림 출력시점 판단부530: delay time determination unit 540: stream output time determination unit
550 : 스트림 출력 제어부 700, 800 : 시스템 타임 클럭 복구부550: stream
710, 810 : 디패킷화부 720, 820 : 비트버퍼 710, 810:
730, 830 : 디코더 740, 840 : STC 카운터 730, 830:
750, 850 : 데이터 출력 제어부 750, 850: data output control part
본 발명은 음성/영상신호의 동기화 장치 및 방법에 관한 것으로, 무선으로 전송한 복수의 전송 스트림들이 상호간에 일정한 시간 간격을 유지하도록 하고, 유선으로 송신한 전송 스트림과 무선으로 송신한 전송 스트림을 동기화시키는 음성/영상신호의 동기화 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for synchronizing audio / video signals, wherein a plurality of wirelessly transmitted transport streams maintain a constant time interval therebetween, and synchronize a transport stream transmitted by wire and a wirelessly transmitted transport stream. The present invention relates to an apparatus and a method for synchronizing audio / video signals.
멀티미디어 산업이 디지털 시대를 맞이하면서 보다 깨끗하고 선명한 영상을 영상표시장치의 화면에 표시할 수 있게 되었고, 보다 생동감 넘치는 음향효과를 느끼고자 하는 사용자의 요구에 따라서 홈씨어터(Home Theater) 시스템이 출현하게 되었다. 이러한 홈씨어터 시스템으로 인하여 영화관에서의 영상 및 음향 효과를 가정에서도 누릴 수 있게 되어서 그 수요는 점차 증가하고 있는 추세에 있다.As the multimedia industry enters the digital era, it becomes possible to display clearer and clearer images on the screen of a video display device, and the home theater system has emerged in response to user demand for more vivid sound effects. It became. This home theater system is able to enjoy the visual and sound effects in the movie theater at home, the demand is gradually increasing.
상기의 홈씨어터 시스템은 홈씨어터 처리부가 DVD 플레이어 등과 같은 매체재생장치에서 출력되는 영상 및 음성 데이터를 처리하고, 상기 처리한 데이터를 영상 표시장치 및 음성 출력장치로 전송한다. 그러나 홈씨어터 처리부와 영상 표시장치 및 음성 출력장치들이 유선으로만 연결된 경우에는 선(Line)의 길이에 비례하여 신호의 왜곡이 발생할 확률이 증가하고, 영상 표시장치 및 음성 출력장치를 홈씨어터 처리부와 연결하는 선의 길이가 긴 경우에는 선을 특정 공간에 고정하는데 있어서 불편한 문제점이 있었다. In the home theater system, the home theater processor processes video and audio data output from a media player such as a DVD player, and transmits the processed data to a video display device and an audio output device. However, when the home theater processor, the video display device, and the audio output device are connected only by wires, the probability of signal distortion is increased in proportion to the length of the line, and the video display device and the audio output device are connected to the home theater processor. When the length of the connecting line is long, there is an inconvenience in fixing the line in a specific space.
상기 문제를 해결하기 위하여 영상 표시장치 및 음성 출력장치를 홈씨어터 처리부와 무선으로만 연결하여 사용하는 방법이 있다. 그러나 홈씨어터 처리부와 모든 출력장치들을 무선으로 연결하면 데이터의 전송률이 저하되고, 무선 모듈로 인하여 비용이 증가하는 문제점이 있다. In order to solve the problem, there is a method of wirelessly connecting the video display device and the audio output device to the home theater processor. However, when the home theater processing unit and all the output devices are wirelessly connected, data transmission rate is lowered and costs are increased due to the wireless module.
그러므로 최근의 홈씨어터는 홈씨어터 처리부를 영상 표시장치 및 음성 출력장치들과 연결하는데 있어서, 무선 연결과 유선 연결을 동시에 사용하고 있다. 도 1에 도시된 바와 같이 일반적으로 홈씨어터 시스템은 영상표시장치(150)의 인접위치에 홈씨어터 처리부(100) 및 좌·우 프론트(Front) 스피커(130, 140)를 설치하 고, 리어(Rear) 스피커(110, 120)는 사용자의 좌·우 양측의 후방위치에 설치하고 있다. 그리고 상호간에 인접위치에 설치되는 영상표시장치(150), 홈씨어터 처리부(100) 및 프론트 스피커(130, 140)는 유선으로 연결하고, 홈씨어터 처리부(100)와 리어 스피커(110, 120)는 무선으로 연결하고 있다. Therefore, recent home theaters use a wireless connection and a wired connection at the same time to connect the home theater processing unit with the image display device and the audio output devices. As shown in FIG. 1, a home theater system generally includes a home
그러나 상기와 같이 무선 연결과 유선 연결을 동시에 사용하는 경우에는 무선으로 송신한 전송 스트림(Stream)과 유선으로 송신한 전송 스트림간에 동기화의 문제(립 동기화)가 발생한다. 유선으로 전송 스트림을 송/수신하는 경우와 달리, 무선으로 전송 스트림을 송/수신하는 경우에는 전송 스트림을 고주파 신호로 변환하는 과정, 변환된 고주파 신호를 송신하는 과정 및 고주파 신호를 수신하여 전송 스트림을 추출하는 과정이 필요하다. 상기의 과정에 소요되는 시간을 이하에서는 지연시간이라 한다. 상기 지연시간으로 인하여 무선으로 전송 스트림을 송/수신하는 경우는 유선으로 전송 스트림을 송/수신하는 경우에 비하여 소요되는 시간이 증가하고, 이로 인하여 유선으로 송신한 전송 스트림과 무선으로 송신한 전송 스트림간의 동기화 문제가 생긴다. 그러므로 홈씨어터 처리부는 상기의 문제를 해결하기 위하여 시스템 타임 클럭(System time clock)과 타임 스탬프(Time Stamp)를 사용하고 있다.However, when the wireless connection and the wired connection are simultaneously used as described above, a problem of synchronization (lip synchronization) occurs between the transport stream transmitted wirelessly and the transport stream transmitted via wire. Unlike when transmitting / receiving a transport stream by wire, when transmitting / receiving a transport stream by wireless, converting a transport stream into a high frequency signal, transmitting a converted high frequency signal, and receiving a high frequency signal It is necessary to extract the process. The time required for the above process is hereinafter referred to as delay time. When the transmission stream is transmitted / received wirelessly due to the delay time, the time required for the transmission stream is increased compared to the case where the transmission stream is transmitted / received by wire. As a result, the transmission stream transmitted by wire and the transmission stream transmitted by wireless are therefore increased. There is a synchronization problem. Therefore, the home theater processor uses a system time clock and a time stamp to solve the above problem.
도 2는 음성 및 영상 출력 시스템의 송신부에서 립 동기화(Lip. synchronization)를 해결하기 위한 시스템 인코더의 구성을 나타낸 블록도이다. 도시된 바와 같이 시스템 인코더는 패킷화부(200)와 멀티플렉서(210)로 구성된다. FIG. 2 is a block diagram illustrating a configuration of a system encoder for resolving lip synchronization in a transmitter of an audio and video output system. As shown, the system encoder is composed of a packetizer 200 and a
상기 패킷화부(200)는 입력받은 음성 및 영상 압축데이터를 타임 스탬프가 포함된 복수의 음성 및 영상 패킷(Packet) 스트림으로 생성한다. 상기 음성 및 영상 압축데이터는 ES(Elementary stream)라 하고, 하나의 프로그램상의 시작부터 종료까지의 일련의 데이터를 압축한 형태이다. 상기 음성 및 영상 압축데이터를 그대로 전송할 경우에는 잡음에 의한 데이터 손실이 발생할 수 있다. 그러므로 패킷화부(200)는 음성 및 영상 압축데이터를 복수의 패킷으로 분할하고, 상기 각 패킷에 연결 정보 및 데이터의 손상 여부에 대한 정보 등을 가진 헤더(Header)를 추가한다. 이로 인하여 수신측에서 데이터를 수신하는데 있어서 발생할 수 있는 오류를 감소시킨다. 또한, 각 패킷의 헤더에는 타임 스탬프가 첨가된다.The packetizer 200 generates the received audio and video compressed data into a plurality of audio and video packet streams including time stamps. The audio and video compressed data is called an elementary stream (ES), and is a form of compressing a series of data from the start to the end on one program. If the audio and video compressed data are transmitted as they are, data loss due to noise may occur. Therefore, the packetizer 200 divides the audio and video compressed data into a plurality of packets, and adds a header having connection information and information on whether or not the data is damaged. This reduces errors that may occur in receiving data at the receiving end. In addition, a time stamp is added to the header of each packet.
상기 타임 스탬프는 표시 타임 스탬프(PTS : Presentation Time Stamp) 또는 복호 타임 스탬프(DTS : Decoding Time Stamp)로 엠펙(MPEG) 표준에 규정된 것으로, 무선으로 전송한 데이터와 유선으로 전송한 데이터를 동기화시키기 위하여 사용된다.The time stamp is a presentation time stamp (PTS) or a decoding time stamp (DTS), which is defined in the MPEG standard, and synchronizes data transmitted over the wire and data transmitted over the wire. To be used.
상기 멀티플렉서(MUX)(210)는 상기 패킷화부(200)가 생성한 각 음성 및 영상 패킷 스트림을 일정한 크기의 전송 스트림으로 생성한다. 하나의 프로그램은 복수의 전송 스트림으로 이루어져 있고, 각 전송 스트림은 그 크기가 고정되어 있다. 상기 멀티플렉서(210)는 전송 스트림을 생성하는데 있어서, 시스템 타임 클럭 발생부(도면 미도시)가 발생시킨 시스템 타임 클럭 정보를 포함한 전송 스트림을 생성한다. 상기 시스템 타임 클럭은 SCR(System Clock Reference) 또는 PCR(Program Clock Reference)로 수신측에서 송신측의 타임 베이스와 동기를 확보하기 위하여 사용한다. The multiplexer (MUX) 210 generates each audio and video packet stream generated by the packetizer 200 as a transport stream having a predetermined size. One program consists of a plurality of transport streams, and each transport stream has a fixed size. The
상기한 바와 같이 송신부의 시스템 인코더는 동기화문제를 해결하기 위하여 음성 및 영상 압축데이터를 시스템 타임 클럭 및 타임 스탬프가 첨가된 전송 스트림으로 생성한다. 상기 생성된 전송 스트림은 외부로 송신된다. As described above, the system encoder of the transmitter generates audio and video compressed data as a transport stream to which a system time clock and a time stamp are added to solve a synchronization problem. The generated transport stream is transmitted to the outside.
도 3은 음성 및 영상 출력 시스템의 수신부에서 립 동기화를 해결하기 위한 시스템 디코더의 구성을 나타낸 블록도이다. 도시된 바와 같이 시스템 디코더는 디멀티플렉서(300)와 디패킷화부(310)로 구성된다. 3 is a block diagram illustrating a configuration of a system decoder for resolving lip synchronization in a receiver of an audio and video output system. As shown, the system decoder includes a demultiplexer 300 and a
상기 디멀티플렉서(300)는 입력받은 전송 스트림을 음성 및 영상 패킷 스트림으로 분리한다. 하나의 프로그램은 복수의 전송 스트림으로 이루어져 있으므로, 디멀티플렉서는 복수의 전송 스트림을 프로그램의 진행에 따른 순서로 순차적으로 입력받는다. 또한, 상기 수신한 전송 스트림은 헤더에 시스템 타임 클럭을 포함하고 있으므로, 디멀티플렉서(300)는 상기 전송 스트림에서 시스템 타임 클럭을 추출한다. The demultiplexer 300 separates the received transport stream into a voice and video packet stream. Since one program is composed of a plurality of transport streams, the demultiplexer receives the plurality of transport streams sequentially in order according to the progress of the program. In addition, since the received transport stream includes a system time clock in the header, the demultiplexer 300 extracts a system time clock from the transport stream.
상기 디패킷화부(310)는 상기 디멀티플렉서(300)가 분리한 음성 및 영상 패킷 스트림을 압축데이터로 생성한다. 패킷화된 스트림은 하나의 프로그램상의 시작부터 종료까지의 일련의 데이터를 패킷으로 분할한 형태로 이루어져 있으므로, 디패킷화부(310)는 상기 분할한 패킷을 압축데이터로 생성한다. 또한, 디패킷화부(310)는 상기 음성 및 영상 패킷 스트림의 헤더(Header)에 포함된 표시 타임 스탬프 또는 복호타임 스탬프를 추출한다. The
상기한 바와 같이 시스템 디코더는 동기화문제를 해결하기 위하여 전송데이터에서 시스템 타임 클럭 및 타임 스탬프를 추출한다. 음성 및 영상 압축데이터는 상기 시스템 디코더에서 추출한 시스템 타임 클럭에 따라서 카운트한 값과 상기 타임 스탬프가 동일하게 되는 시점에 복호되거나 표시된다. 상기 시스템 인코더에서 입력되는 타임 스탬프를 유선으로 송신한 전송 스트림과 무선으로 송신한 전송 스트림간에 지연시간의 차이만큼 상이하게 함으로써, 립 동기화의 문제를 해결할 수 있다.As described above, the system decoder extracts the system time clock and time stamp from the transmission data to solve the synchronization problem. The audio and video compressed data are decoded or displayed at the time when the counted value and the time stamp become the same according to the system time clock extracted by the system decoder. The problem of lip synchronization can be solved by making the time stamp input from the system encoder different by a delay time between the transport stream transmitted by wire and the transport stream transmitted by wireless.
그러나 상기한 립 동기화 문제를 해결하기 위하여 시스템 타임 클럭 및 타임 스탬프를 사용하는 방법은 수신부의 시스템 디코더로 입력되는 전송 스트림들이 지연시간이 동일한 즉, 전송 스트림들이 일정한 시간 간격을 유지하는 경우에만 적용된다. However, the method of using the system time clock and the time stamp to solve the lip synchronization problem is applied only when the transport streams inputted to the system decoder of the receiver have the same delay time, that is, the transport streams maintain a constant time interval. .
무선으로 전송 스트림을 송신하는 경우에는 주변 환경의 영향을 많이 받기때문에, 수신부가 수신한 복수의 전송 스트림들은 지연시간이 상이하므로, 복수의 전송 스트림들이 일정한 시간 간격을 유지할 수 없다. 예를 들면, 송신부가 복수의 전송 스트림들을 동일한 시간 간격으로 송신하였다고 가정한다. 수신부가 수신한 복수의 전송 스트림들은 제 1 전송 스트림과 제 2 전송 스트림과의 시간 간격이 0.03ms이고, 제 2 전송 스트림과 제 3 전송 스트림과의 시간 간격이 0.01ms인 것과 같이, 전송 스트림들의 시간 간격이 상이할 수 있다. 상기와 같이 전송 스트림들의 시간 간격이 일정하지 않은 경우에는 전송 스트림에서 시스템 타임 클럭을 추출할 수 없다. 왜냐하면, 수신부는 전송 스트림에 포함된 시스템 타임 클럭을 일정한 시간 간격으로 특정 시점에서만 추출하기 때문이다. 즉, 상기 특정 시점 이외의 시간에서는 전송 스트림에 포함된 시스템 타임 클럭을 추출할 수 없으므로, 전송 스트 림들의 지연시간이 일정하지 않으면 시스템 타임 클럭을 추출할 수 없게 되어서 송신부와 수신부의 타임 베이스를 확보할 수 없는 문제점이 있었다. Since the transmission streams are wirelessly affected by the surrounding environment, the plurality of transport streams received by the receiver have different delay times, and thus the plurality of transport streams cannot maintain a constant time interval. For example, assume that the transmitter has transmitted a plurality of transport streams at the same time interval. The plurality of transport streams received by the receiver have a time interval of 0.03 ms between the first transport stream and the second transport stream, and a time interval between the second transport stream and the third transport stream is 0.01 ms. The time interval may be different. If the time intervals of the transport streams are not constant as described above, the system time clock cannot be extracted from the transport stream. This is because the receiver extracts the system time clock included in the transport stream only at specific time intervals. That is, since the system time clock included in the transport stream cannot be extracted at a time other than the specific time point, if the delay time of the transmission streams is not constant, the system time clock cannot be extracted to secure the time base of the transmitter and the receiver. There was a problem that could not be done.
그러므로 본 발명의 목적은 무선으로 전송한 복수의 전송 스트림이 일정한 시간 간격을 유지하도록 함으로써 수신부과 송신부의 타임 베이스를 확보하고, 유선으로 송신한 전송 스트림과 무선으로 송신한 전송 스트림을 동기화시키는 음성/영상신호의 동기화 장치 및 방법을 제공하는 데 있다. Therefore, it is an object of the present invention to secure a time base of a receiver and a transmitter by keeping a plurality of transport streams transmitted wirelessly at constant time intervals, and to synchronize the transport streams transmitted by wire and the transport streams transmitted wirelessly. An apparatus and method for synchronizing video signals are provided.
이러한 목적을 이루기 위한 본 발명의 음성/영상 신호의 동기화 장치는 압축데이터를 전송 스트림들로 생성하는 전송 스트림 생성부와, 클럭을 카운트하고, 상기 전송 스트림 생성부가 생성한 전송 스트림이 입력되는 때 상기 카운트 값을 송신 네트워크 클럭값으로 출력하는 송신 네트워크 클럭 발생부와, 상기 송신 네트워크 클럭값을 상기 전송 스트림 생성부가 생성한 전송 스트림들에 삽입하는 동기 클럭 스탬핑부와, 상기 동기 클럭 스탬핑부가 출력한 전송 스트림을 외부로 송신하는 제 1 통신 인터페이스 수단과, 상기 제 1 통신 인터페이스 수단이 송신한 전송 스트림들을 수신하는 제 2 통신 인터페이스 수단과, 상기 제 2 통신 인터페이스 수단이 수신한 전송 스트림들이 상호간에 일정한 시간 간격을 유지하도록 시간간격을 조절하는 시간간격 조절부와, 상기 시간간격 조절부가 시간간격을 조절한 전송 스트림에서 압축데이터를 추출하여 디코딩하는 디코딩부로 구성되는 것을 특징으로 한다. The apparatus for synchronizing an audio / video signal according to the present invention for achieving this purpose includes a transport stream generator for generating compressed data as transport streams, a clock count, and a transport stream generated by the transport stream generator when the transport stream is input. A transmission network clock generator for outputting a count value as a transmission network clock value, a synchronous clock stamping unit for inserting the transmission network clock value into transport streams generated by the transport stream generator, and a transmission output by the synchronous clock stamping unit First communication interface means for transmitting the stream to the outside, second communication interface means for receiving the transport streams transmitted by the first communication interface means, and transport streams received by the second communication interface means for a predetermined time from each other Interval to adjust the interval to maintain the interval It extracts the compressed data from the hip, and a transport stream by adjusting the time interval addition and the time interval being composed of a decoding for decoding.
본 발명의 음성/영상 신호의 동기화 방법은 전송 스트림 생성부가 압축데이 터를 전송 스트림으로 생성하고, 상기 생성한 전송 스트림에 동기 클럭 스탬핑부가 송신 네트워크 클럭값을 삽입하며, 상기 송신 네트워크 클럭값이 삽입된 전송 스트림을 제 1 통신 인터페이스 수단이 송신하여 제 2 통신 인터페이스 수단이 수신하고, 상기 제 2 통신 인터페이스 수단에서 전송 스트림이 출력되는 시점의 수신 네트워크 클럭값을 추출하며, 상기 제 2 통신 인터페이스 수단이 수신한 전송 스트림을 지연지터 보상버퍼에 저장하고, 상기 제 2 통신 인터페이스 수단이 수신한 전송 스트림에서 송신 네트워크 클럭값을 독출하고, 상기 추출한 수신 네트워크 클럭값과 비교하여 전송 스트림의 지연시간을 판단하며, 상기 판단한 전송 스트림의 지연시간이 상기 지연지터 보상버퍼의 지연보상시간과 동일할 경우에 스트림 출력 제어부의 제어로 상기 지연지터 보상버퍼에 저장된 해당 전송 스트림을 출력하며, 상기 출력한 전송 스트림에서 압축데이터로 추출하고, 디코딩하는 것을 특징으로 한다. In the method of synchronizing an audio / video signal according to the present invention, a transport stream generator generates compressed data as a transport stream, a synchronous clock stamping unit inserts a transmission network clock value into the generated transport stream, and the transmission network clock value is inserted. The first communication interface means transmits the received transport stream, which is received by the second communication interface means, extracts a reception network clock value at the time when the transport stream is output from the second communication interface means, and the second communication interface means The received transport stream is stored in a delay jitter compensation buffer, the transmission network clock value is read from the transport stream received by the second communication interface means, and the delay time of the transport stream is determined by comparing with the extracted reception network clock value. The delay time of the determined transport stream is the delay time. If the delay compensation time of the compensation buffer is the same as the delay output control unit outputs the transport stream stored in the delay jitter compensation buffer under the control of the stream output control unit, and extracted and decoded as compressed data from the output transport stream. .
본 발명의 음성/영상 신호의 동기화 방법은 전송 스트림에서 압축데이터, 시스템 타임 클럭 및 타임 스탬프를 추출하고, 상기 압축데이터를 비트버퍼에 저장하며, sys_clk = Stime + Ddejittering인 경우에 데이터 출력 제어부의 제어로 상기 비트버퍼에 저장한 압축데이터를 출력하며, 상기 출력한 압축데이터를 디코더가 디코딩하는 것을 특징으로 한다. 여기서 상기 sys_clk는 상기 추출한 시스템 타임 클럭에 따라서 카운트한 클럭값이고, 상기 Stime는 상기 추출한 타임 스탬프이며, 상기 Ddejittering는 지연보상시간이다. The method of synchronizing an audio / video signal according to the present invention extracts compressed data, a system time clock and a time stamp from a transport stream, stores the compressed data in a bit buffer, and outputs the data when sys_clk = S time + D dejittering . The compressed data stored in the bit buffer is output under the control of the decoder, and the decoder decodes the output compressed data. The sys_clk is a clock value counted according to the extracted system time clock, the S time is the extracted time stamp, and the D dejittering is a delay compensation time.
이하 첨부된 도면을 참조하여 본 발명의 음성/영상신호의 동기화 장치 및 방법을 상세히 설명한다. Hereinafter, an apparatus and method for synchronizing an audio / video signal according to the present invention will be described in detail with reference to the accompanying drawings.
도 4는 본 발명의 음성/영상신호의 동기화 장치의 구성을 나타낸 블록도이다. 도시된 바와 같이 음성/영상신호의 동기화 장치는 압축데이터를 전송 스트림으로 생성하는 전송 스트림 생성부(400)와, 클럭을 카운트하고, 상기 전송 스트림 생성부(400)가 생성한 전송 스트림이 입력되는 때 상기 카운트 값을 송신 네트워크 클럭값을 출력하는 송신 네트워크 클럭 발생부(410)와, 상기 송신 네트워크 클럭값을 상기 전송 스트림 생성부(400)에 삽입하는 동기 클럭 스탬핑부(420)와, 상기 송신 네트워크 클럭값이 삽입된 전송 스트림을 외부로 송신하는 제 1 통신 인터페이스 수단(430)과, 상기 제 1 통신 인터페이스 수단(430)이 송신한 전송 스트림을 수신하는 제 2 통신 인터페이스 수단(440)과, 상기 제 2 통신 인터페이스 수단(440)이 수신한 전송 스트림들이 상호간에 일정한 시간 간격을 유지하도록 시간간격을 조절하는 시간간격 조절부(450)와, 상기 시간간격 조절부(450)가 생성한 전송 스트림에서 압축데이터를 추출하여 디코딩하는 디코딩부(460)로 구성된다. 4 is a block diagram showing the configuration of an apparatus for synchronizing audio / video signals according to the present invention. As shown, the apparatus for synchronizing audio / video signals includes a
상기 전송 스트림 생성부(400)는 압축데이터를 타임 스탬프가 포함된 복수의 패킷 스트림으로 생성하는 패킷화부(401)와, 상기 패킷화부(401)가 생성한 각 패킷 스트림에 시스템 타임 클럭을 삽입하여 전송 스트림으로 생성하는 시스템 타임 클럭 첨가부(402)로 구성된다. The transport
상기 패킷화부(401)는 압축데이터를 타임 스탬프가 포함된 복수의 패킷 스트림으로 분할한다. 패킷화부(401)는 영상 압축데이터를 전송하는데 있어서 오류의 발생을 감소시키기 위하여, 압축데이터를 패킷으로 분할한다. 상기 압축데이터는 매체재생장치로부터 송신부가 입력받은 음성 또는 영상을 압축한 데이터이다. 그리고 패킷화부(401)는 압축데이터를 패킷으로 분할하는데 있어서, 표시 타임 스탬프 또는 복호 타임 스탬프인 타임 스탬프를 각 패킷 스트림의 헤더에 삽입한다. The
상기 시스템 타임 클럭 첨가부(402)는 상기 패킷화부(401)가 생성한 복수의 패킷 스트림을 일정한 크기의 전송 스트림으로 생성한다. 상기 패킷화부(401)가 생성한 복수의 패킷 스트림은 그 크기가 일정하지 않으므로, 시스템 타임 클럭 첨가부(402)는 송신을 위하여 일정한 크기를 갖는 전송 스트림을 생성한다. 예를 들면, MPEG-2의 경우에 전송 스트림은 188byte의 크기를 갖는다. 시스템 타임 클럭 첨가부(410)가 전송 스트림을 생성하는데 있어서, 전송 스트림의 헤더에 시스템 타임 클럭 발생부(도면 미도시)가 발생시킨 시스템 타임 클럭을 포함시킨다. 상기 시스템 타임 클럭은 수신측에서 송신측의 타임 베이스와 동기를 확보하기 위하여 사용하고, MPEG-1의 경우에는 90㎑, MPEG-2의 경우에는 27㎒로 규정되어 있다. 상기 시스템 타임 클럭에 따라 카운트한 값과 타임 스탬프로 음성 또는 영상데이터가 표시되거나 복호되는 시점이 제어된다. The system
상기 송신 네트워크 클럭 발생부(410)는 클럭을 카운트하고 있다가 전송 스트림이 입력되는 때 카운트한 클럭값을 송신 네트워크 클럭값으로 출력한다. The transmission
상기 동기 클럭 스탬핑부(420)는 상기 전송 스트림 생성부(400)가 생성한 전송 스트림에 상기 송신 네트워크 클럭 발생부(410)가 출력한 송신 네트워크 클럭값을 삽입한다. 상기 송신 네트워크 클럭값은 전송 스트림의 헤더 전단에 삽입된다. 동기 클럭 스탬핑부(420)가 송신 네트워크 클럭값을 전송 스트림에 삽입함으로써 무선통신 장치들이 공통된 타임 베이스를 가질 수 있도록 한다. The synchronous
상기 제 1 통신 인터페이스 수단(430)은 상기 송신 네트워크 클럭값이 삽입된 전송 스트림을 무선으로 송신한다. 상기 제 1 통신 인터페이스 수단(430)은 송신을 위하여 전송 스트림을 고주파 신호로 변환한다. 상기 제 1 통신 인터페이스 수단(430)은 블루투스 통신 모듈 또는 무선랜 모듈 또는 UWB(Ultra Wideband) 통신 모듈 등으로 구성된다. The first communication interface means 430 wirelessly transmits a transport stream into which the transmission network clock value is inserted. The first communication interface means 430 converts the transport stream into a high frequency signal for transmission. The first communication interface means 430 is composed of a Bluetooth communication module or a wireless LAN module or a UWB (Ultra Wideband) communication module.
상기 제 2 통신 인터페이스 수단(440)은 상기 제 1 통신 인터페이스 수단(430)이 송신한 전송 스트림을 수신한다. 상기 제 2 통신 인터페이스 수단(440)은 상기 제 1 통신 인터페이스 수단(430)과 동종의 모듈로 구성된다. 즉, 제 2 통신 인터페이스 수단(440)은 블루투스 통신 모듈 또는 무선랜 모듈 또는 UWB 통신 모듈 등으로 구성된다.The second communication interface means 440 receives the transport stream transmitted by the first communication interface means 430. The second communication interface means 440 is composed of modules of the same type as the first communication interface means 430. That is, the second communication interface means 440 is composed of a Bluetooth communication module, a WLAN module or a UWB communication module.
상기 시간간격 조절부(450)는 상기 제 2 통신 인터페이스 수단(440)이 수신한 전송 스트림들이 일정한 시간 간격을 유지하도록 시간간격을 조절한다. 상기 제 2 통신 인터페이스 수단(440)이 수신한 전송 스트림들은 송신부가 무선으로 송신한 전송 스트림들이다. 무선으로 전송 스트림들을 송/수신하는 경우에는 주변 환경에 의하여 많은 영향을 받기 때문에 각 전송 스트림마다 상이한 지연시간을 갖는다. 이로 인하여 제 2 통신 인터페이스 수단(440)이 수신한 전송 스트림들은 일정한 시간간격을 유지하지 않는다. 그러므로, 시간간격 조절부(450)는 상기 제 2 통신 인터페이스 수단(440)이 수신한 전송 스트림들이 일정한 시간간격을 유지하도록 시간 간격을 조절한다. The time
한편, 도 5는 상기 도 4의 시간간격 조절부를 상세하게 나타낸 블록도이다. 도시된 바와 같이 시간간격 조절부는 제 2 통신 인터페이스 수단이 수신한 복수의 전송 스트림간의 지연시간 차이를 보상하기 위하여 전송 스트림을 일시적으로 저장하는 지연지터 보상버퍼(500)와, 상기 제 2 통신 인터페이스 수단이 수신한 전송 스트림에서 송신 네트워크 클럭값을 독출하는 송신 네트워크 클럭 독출부(510)와, 클럭을 카운트하고 상기 제 2 통신 인터페이스에서 전송 스트림이 출력되는 때 카운트한 클럭값을 수신 네트워크 클럭값으로 출력하는 수신 네트워크 클럭 발생부(520)와, 상기 송신 네트워크 클럭 독출부(510)가 독출한 송신 네트워크 클럭과 상기 수신 네트워크 클럭 발생부(520)가 출력한 수신 네트워크 클럭을 비교하여 전송 스트림의 지연시간을 판단하는 지연시간 판단부(530)와, 상기 지연시간 판단부(530)가 판단한 지연시간과 상기 지연지터 보상버퍼(500)의 보상시간으로 지연지터 보상버퍼(500)에 저장된 전송 스트림의 출력시점을 판단하는 스트림 출력시점 판단부(540)와, 상기 스트림 출력시점 판단부(540)가 판단한 각 전송 스트림의 출력시점에 지연지터 보상버퍼(500)에 저장된 해당 전송 스트림이 출력되도록 제어하는 스트림 출력 제어부(550)로 구성된다. 5 is a detailed block diagram illustrating the time interval adjusting unit of FIG. 4. As illustrated, the time interval adjusting unit includes a delay
상기 지연지터 보상버퍼(500)는 상기 제 2 통신 인터페이스 수단이 수신한 전송 스트림을 일시적으로 저장한다. 상기 지연지터 보상버퍼(500)는 전송 스트림을 일시적으로 저장하며 선입력-선출력(FIFO)으로 동작하므로, 지연지터 보상버퍼(500)에 전송 스트림이 저장되는 순서와 출력되는 순서는 동일하다. 지연지터 보상 버퍼(500)에 저장된 전송 스트림은 지연보상시간에서 지연시간을 뺀 시간동안 저장된다. 상기 지연보상시간은 송신부가 제 1 통신 인터페이스 수단에서 전송 스트림을 고주파신호로 변환하는 시점을 기준으로 전송 스트림이 지연지터 보상버퍼(500)에서 출력되는 시점까지의 시간을 기 설정해 놓은 값을 칭한다. 그리고 상기 지연보상시간은 지연지터 보상버퍼(500)의 크기에 비례한다. 왜냐하면, 지연지터 보상버퍼(500)의 크기가 클수록 전송 스트림을 더 오랜시간 저장할 수 있고, 이로 인하여 지연보상시간이 더 증가하기 때문이다. 상기 지연보상시간이 하나의 값으로 기 설정되어 있으므로, 지연지터 보상버퍼(500)에서 출력되는 전송 스트림은 일정한 시간 간격을 유지할 수 있다. The delay
예를 들면, 지연지터 보상버퍼의 지연보상시간을 0.2ms라고 하고, 지연지터 보상버퍼에 저장된 제 1 전송 스트림의 지연시간이 0.04ms이고, 제 2 전송스트의 지연시간이 0.07ms라고 가정한다. 그러면 지연지터 보상버퍼에 저장된 제 1 전송 스트림은 0.16ms 이후에 출력되고, 제 2 전송 스트림은 0.13ms 이후에 출력된다. 이로 인하여 복수의 전송 스트림은 동일한 지연시간을 갖게 된다. For example, it is assumed that the delay compensation time of the delay jitter compensation buffer is 0.2ms, the delay time of the first transport stream stored in the delay jitter compensation buffer is 0.04ms, and the delay time of the second transmission string is 0.07ms. Then, the first transport stream stored in the delay jitter compensation buffer is output after 0.16 ms, and the second transport stream is output after 0.13 ms. This results in multiple transport streams having the same delay time.
상기 송신 네트워크 클럭 독출부(510)는 상기 제 2 통신 인터페이스 수단이 수신한 전송 스트림에서 송신 네트워크 클럭값을 독출한다. 상기 송신 네트워크 클럭값은 각 전송 스트림의 헤더의 전단에 삽입되었으므로, 송신 네트워크 클럭 독출부(510)는 전송 스트림의 헤더의 전단부분을 분리하여 송신 네트워크 클럭값을 독출한다.The transmission network
상기 수신 네트워크 클럭 발생부(520)는 상기 도 4의 송신 네트워크 클럭 발 생부와 동일한 클럭이고, 이 클럭을 카운트 한다. 수신 네트워크 클럭 발생부(520)는 제 2 통신 인터페이스 수단에서 전송 스트림이 출력되는 때 카운트한 값을 수신 네트워크 클럭값을 출력한다. The reception
상기 지연시간 판단부(530)는 상기 송신 네트워크 클럭 독출부(510)가 독출한 송신 네트워크 클럭값과 상기 수신 네트워크 클럭 발생부(520)가 출력한 수신 네트워크 클럭값의 차로 지연시간을 판단한다. 상기 독출한 송신 네트워크 클럭값은 이미 송신부가 송신한 전송 스트림에 삽입되어 있는 고정된 값이고, 수신 네트워크 클럭값은 상기 제 2 통신 인터페이스 수단이 전송 스트림을 수신할 때의 클럭값이다. 송신 네트워크 클럭과 수신 네트워크 클럭은 동일한 주기이므로, 지연시간 판단부(520)는 상기 송신 네트워크 클럭값과 수신 네트워크 클럭값의 차이로 무선으로 송/수신한 전송 스트림의 지연시간을 판단할 수 있다. 즉, 상기 두 네트워크 클럭은 주기가 동일하므로, 지연시간 판단부(520)는 상기 네트워크 클럭값의 차이를 네트워크 클럭의 주기와 곱함으로써 지연시간을 판단할 수 있다. The delay
상기 스트림 출력시점 판단부(540)는 상기 지연시간 판단부(530)가 판단한 지연시간 및 지연지터 보상버퍼(500)의 지연보상시간을 비교하여 상기 지연지터 보상버퍼(500)에 저장된 전송 스트림의 출력시점을 판단한다. 즉, 지연시간을 Dclk라 하고, 지연지터 보상버퍼(500)의 지연보상시간을 Ddejittering이라 하면, 상기 스트림 출력시점 판단부(530)는 상기 두 값을 비교하여 지연지터 보상버퍼(500)에 저장된 전송 스트림을 언제 출력할 것인지의 그 시점을 판단한다. The stream output
상기 비교결과가 Ddejittering = Dclk인 경우에, 스트림 출력시점 판단부(540)는 지연지터 보상버퍼(500)에 저장된 전송 스트림의 출력시점이 현재라고 판단한다. 지연지터 보상버퍼(500)는 지연보상시간에서 지연시간을 뺀 시간동안 전송 스트림을 저장하므로, 지연보상시간과 지연시간이 동일한 경우에는 전송 스트림을 더 이상 저장하지 않아야 한다. 즉, 지연지터 보상버퍼(500)는 현재 시점을 기준으로 해당 전송 스트림을 출력해야 한다. When the comparison result is D dejittering = D clk , the stream output
상기 비교결과가 Ddejittering > Dclk인 경우에, 스트림 출력시점 판단부(540)는 지연지터 보상버퍼(500)에 저장된 해당 전송 스트림의 출력시점이 현재를 기준으로 특정시간 이후라고 판단한다. 지연지터 보상버퍼(500)는 지연보상시간에서 지연시간을 뺀 시간동안 전송 스트림을 저장하므로, Ddejittering > Dclk인 경우에 스트림 출력시점 판단부(540)는 현재 시점을 기준으로 지연보상시간과 지연시간의 차이만큼의 시간동안 해당 전송 스트림이 지연지터 보상버퍼(500)에 저장되어야 한다고 판단한다.When the comparison result is D dejittering > D clk , the stream
상기 비교결과가 Ddejittering < Dclk 인 경우에, 스트림 출력시점 판단부(540)는 지연지터 보상버퍼(500)에 저장된 해당 전송 스트림의 출력시점이 현재를 기준으로 일정 시간 전이라고 판단한다. 지연지터 보상버퍼(500)는 지연보상시간에서 지연시간을 뺀 시간동안 전송 스트림을 저장하므로, 지연보상시간이 지연시간에 비하여 작으면 지연보상시간에서 지연시간을 뺀 값은 마이너스(-)가 된다. 그러므로 스트림 출력시점 판단부(540)는 지연지터 보상버퍼(500)에 저장된 해당 전송 스트림이 이전에 출력되어야 했음을 판단한다. 결론적으로 상기 전송 스트림이 지연지터 보상버퍼(500)에서 출력되면 복수의 전송 스트림간에 일정한 시간 간격을 유지할 수 없으므로, 상기 전송 스트림은 삭제된다. When the comparison result is D dejittering < D clk , the stream
상기 스트림 출력 제어부(550)는 상기 스트림 출력시점 판단부(540)가 판단한 결과로 지연지터 보상버퍼(500)에 저장된 전송 스트림들의 출력을 제어한다. 즉, 지연지터 보상버퍼(500)에 저장된 전송 스트림을 현재 시점에서 출력시키거나, 일정 시간 이후에 출력시키거나 삭제한다.The
한편, 도 6a 및 6b는 전송 스트림이 지연지터 보상버퍼로 입력되고, 출력되는 동작의 실시예를 보인 도면이다. 도 6a는 전송 스트림이 지연지터 보상버퍼로 입력되는 동작을 보인 도면이다. 도시된 바와 같이 제 1 내지 제 4 스트림이 지연지터 보상버퍼로 입력된다. 각 스트림의 송신 네트워크 클럭값은 각각 0.1ms 부터 0.4ms까지 0.1ms 단위로 증가한다. 각 스트림이 입력될때의 수신 네트워크 클럭값은 제 1 스트림이 0.4ms, 제 2 스트림이 0.41ms, 제 3 스트림이 0.5ms, 제 4 스트림이 0.72ms이다. 그러므로 각 스트림의 지연시간은 제 1 스트림이 0.3ms, 제 2 스트림이 0.21ms, 제 3 스트림이 0.2ms, 제 4 스트림이 0.32ms가 된다. 상기에서 클럭값이 시간인 것은 클럭값의 주기에 따라서 연산한 값이라고 가정한다. 6A and 6B illustrate an embodiment of an operation in which a transport stream is input to and output from a delay jitter compensation buffer. 6A illustrates an operation in which a transport stream is input to a delay jitter compensation buffer. As shown, the first to fourth streams are input to the delay jitter compensation buffer. The transmission network clock value of each stream increases in 0.1 ms increments from 0.1 ms to 0.4 ms, respectively. The reception network clock values at the time of input of each stream are 0.4 ms for the first stream, 0.41 ms for the second stream, 0.5 ms for the third stream, and 0.72 ms for the fourth stream. Therefore, the delay time of each stream is 0.3 ms for the first stream, 0.21 ms for the second stream, 0.2 ms for the third stream, and 0.32 ms for the fourth stream. In the above description, it is assumed that the clock value is a time calculated according to the period of the clock value.
상기의 실시예에서 지연지터 보상버퍼의 지연보상시간을 0.3ms라고 가정한다. 그러면 제 1 스트림의 경우에는 지연시간과 지연보상시간이 동일하므로, 스트림 출력시점 판단부는 제 1 스트림이 현재 시점에 출력되어야 한다고 판단한다. 현재 시점의 수신 네트워크 클럭값이 0.4ms이므로, 제 1 스트림의 출력시점 역시 수 신 네트워크 클럭값이 0.4ms일때 출력된다. In the above embodiment, it is assumed that the delay compensation time of the delay jitter compensation buffer is 0.3 ms. Then, since the delay time and the delay compensation time are the same in the case of the first stream, the stream output time determining unit determines that the first stream should be output at the present time. Since the reception network clock value is 0.4 ms at the present time, the output time of the first stream is also output when the reception network clock value is 0.4 ms.
그리고 제 2 스트림의 경우에는 지연시간이 보상시간에 비하여 작으므로, 스트림 출력시점 판단부는 특정 시간 경과후에 제 2 스트림을 출력해야 한다고 판단한다. 제 2 스트림이 지연시간과 보상시간이 동일하게 되는 시간은 현재 시점을 기준으로 0.09ms 이후이므로, 현재 수신 네트워크 클럭값에서 0.09ms 후인 0.5ms가 제 2 스트림의 출력시점이 된다. In the case of the second stream, since the delay time is smaller than the compensation time, the stream output time determining unit determines that the second stream should be output after a specific time elapses. Since the delay time and the compensation time of the second stream become equal to each other after 0.09 ms based on the current time point, 0.5 ms, which is 0.09 ms after the current reception network clock value, becomes the output time point of the second stream.
그리고 제 4 스트림의 경우에는 지연시간이 보상시간에 비하여 크므로, 스트림 출력시점 판단부는 제 4 스트림의 출력시점이 현재 시점을 기준으로 특정시간 이전임을 판단한다. 그러므로 상기 제 4 스트림은 삭제되어야 한다.In the case of the fourth stream, since the delay time is larger than the compensation time, the stream output time determining unit determines that the output time of the fourth stream is before the specific time based on the current time point. Therefore, the fourth stream must be deleted.
도 6b는 전송 스트림이 지연지터 보상버퍼에서 출력되는 동작을 보인 도면으로, 상기한 바와 같이 각 스트림이 출력되는 시점의 수신 네트워크 클럭값은 제 1 스트림이 0.4ms, 제 2 스트림이 0.5ms, 제 3 스트림이 0.6ms이고, 제 4 스트림은 삭제된다. 이와 같이 지연지터 보상버퍼로 입력되는 복수의 스트림의 지연시간이 상이한 경우에도, 지연지터 보상버퍼에서 출력되는 복수의 스트림들은 일정한 시간 간격을 유지하게 된다.6B is a diagram illustrating an operation in which a transport stream is output from a delay jitter compensation buffer. As described above, a reception network clock value at a time point when each stream is output is 0.4 ms for the first stream, 0.5 ms for the second stream, and Three streams are 0.6ms, and the fourth stream is deleted. As described above, even when delay times of a plurality of streams input to the delay jitter compensation buffer are different, the plurality of streams output from the delay jitter compensation buffer maintain a constant time interval.
도 7은 상기 도 4의 디코딩부를 상세하게 나타낸 블록도이다. 도시된 바와 같이 디코딩부는 시간간격 조절부가 생성한 전송 스트림을 패킷 스트림으로 생성하고 시스템 타임 클럭을 추출하는 시스템 타임 클럭 복구부(700)와, 상기 패킷 스트림에서 압축데이터를 추출하고 타임 스탬프를 추출하는 디패킷화부(710)와, 상기 디패킷화부(710)가 생성한 압축데이터를 저장하는 비트버퍼(720)와, 상기 비트버퍼 (720)에 저장된 압축데이터를 디코딩하는 디코더(730)와, 상기 시스템 타임 클럭 복구부(700)가 추출한 시스템 타임 클럭에 따라서 클럭값을 카운트하는 시스템 타임 클럭(System Time Clock : 이하 STC라 한다.) 카운터(740)와, 상기 디패킷화부(710)가 추출한 타임 스탬프 및 상기 STC 카운터(740)가 카운트한 클럭값을 비교하여 상기 비트 버퍼(720)에 저장된 압축데이터의 출력을 제어하는 데이터 출력 제어부(750)를 포함하여 구성된다. FIG. 7 is a detailed block diagram illustrating the decoding unit of FIG. 4. As shown, the decoding unit generates a transport stream generated by the time interval controller as a packet stream and extracts a system time clock, and a system time
상기 시스템 타임 클럭 복구부(700)는 상기 시간간격 조절부가 생성한 일정한 시간 간격을 유지하는 전송 스트림들을 패킷 스트림으로 생성한다. 또한, 상기 시스템 타임 클럭 복구부(700)는 전송 스트림의 헤더의 전단에 존재하는 시스템 타임 클럭을 추출한다. 상기 추출한 시스템 타임 클럭은 수신부에서 송신부의 타임 베이스와 동기를 확보하기 위하여 사용된다. 상기 시스템 타임 클럭 복구부(700)는 일정한 시간간격을 유지하는 전송 스트림들을 입력받으므로, 제 2 통신 인터페이스 수단이 수신한 전송 스트림들이 상이한 지연시간으로 인하여 일정한 시간 간격을 유지하지 않는 경우에도 시스템 타임 클럭을 추출할 수 있다.The system time
상기 디패킷화부(710)는 상기 시스템 타임 클럭 복구부(700)가 출력한 패킷 스트림에서 압축데이터를 추출한다. 또한, 상기 디패킷화부(710)는 패킷의 헤더에서 타임 스탬프를 독출한다. The
상기 비트버퍼(720)는 상기 디패킷화부(710)가 생성한 압축데이터를 저장한다. The
상기 디코더(730)는 상기 비트버퍼(720)에 저장된 압축데이터를 디코딩한다. 상기 비트버퍼(720)에 저장된 압축데이터는 특정 시간에 따라서 디코더(730)로 출력되고, 상기 출력된 압축데이터는 디코더(730)에서 디코딩된다.The
상기 STC 카운터(740)는 상기 시스템 타임 클럭 복구부(700)가 추출한 시스템 타임 클럭에 따라서 클럭값을 카운트한다. 이로 인하여 송신부와 수신부의 타임베이스가 확보된다. The STC counter 740 counts a clock value according to the system time clock extracted by the system time
상기 데이터 출력 제어부(750)는 상기 디패킷화부(710)가 추출한 타임 스탬프 및 상기 STC 카운터(740)가 카운트한 클럭값을 비교하여 상기 비트버퍼(720)에 저장된 압축데이터의 출력을 제어한다. 즉, 타임 스탬프와 STC 카운터(740)가 카운트한 클럭값이 동일한 경우에 상기 비트버퍼(720)에 저장된 압축데이터가 출력되도록 제어한다. The
상기와 같이 지연보상시간을 동일하게 함으로써 전송 스트림들이 일정한 시간 간격을 형성하도록 하면, 유선으로 송신한 전송 스트림과 무선으로 송신한 전송 스트림간에 지연보상시간만큼 동기가 어긋나게 된다. 예를 들면, 상기 도 6a 및 도 6b에 도시된 바와 같이 제 1 스트림의 송신 네트워크 클럭이 0.1ms이나 제 1 스트림이 출력되는 시점의 수신 네트워크 클럭은 0.4ms가 된다. 그러나 유선으로 전송 스트림을 송/수신하는 경우에는 지연시간이 거의 발생하지 않으므로, 송신부가 유선으로 송신한 제 1 스트림은 수신 네트워크 클럭값이 0.1ms일때 출력된다. 상기한 바와 같이 유선으로 송신한 전송 스트림과 무선으로 송신한 전송 스트림간에, 전송 스트림이 출력되는 시점은 지연지터 보상버퍼의 지연보상시간 만큼의 차이가 발생한다. 그러므로 상기 유선으로 송신한 전송 스트림과 무선으로 송신한 전송 스트림 간에 동기를 맞추어야 한다. As described above, if the transport streams form a constant time interval by making the delay compensation time equal, the synchronization is shifted by the delay compensation time between the transport stream transmitted by wire and the transport stream transmitted by wireless. For example, as shown in FIGS. 6A and 6B, the transmission network clock of the first stream is 0.1 ms, but the reception network clock at the time when the first stream is output is 0.4 ms. However, since the delay time hardly occurs when transmitting / receiving a transport stream by wire, the first stream transmitted by the transmitter by wire is output when the reception network clock value is 0.1 ms. As described above, the time point at which the transport stream is output between the transport stream transmitted over the wire and the transport stream transmitted over the wire is different by the delay compensation time of the delay jitter compensation buffer. Therefore, it is necessary to synchronize the transport stream transmitted by the wire and the transport stream transmitted by wireless.
도 8은 본 발명의 음성/영상신호의 동기화 장치의 다른 실시예를 나타낸 블록도이다. 상기 도 8은 전송 스트림의 동기에만 관심이 있으므로, 전송 스트림을 발생하는 부분은 도면에서 제외되었다. 도시된 바와 같이 전송 스트림을 패킷 스트림으로 생성하고 시스템 타임 클럭을 추출하는 시스템 타임 클럭 복구부(800)와, 상기 패킷 스트림을 압축데이터로 생성하고 타임 스탬프를 추출하는 디패킷화부(810)와, 상기 디패킷화부(810)가 생성한 압축데이터를 저장하는 비트버퍼(820)와, 상기 비트버퍼(820)에 저장된 압축데이터를 디코딩하는 디코더(830)와, 상기 시스템 타임 클럭 복구부(800)가 추출한 시스템 타임 클럭에 따라서 클럭값을 카운트하는 STC 카운터(840)와, 상기 디패킷화부(810)가 추출한 타임 스탬프 및 상기 STC 카운터(840)가 카운트한 클럭값 및 지연보상시간을 비교하여 상기 비트버퍼(820)에 저장된 압축데이터의 출력을 제어하는 데이터 출력 제어부(850)를 포함하여 구성된다.8 is a block diagram showing another embodiment of an apparatus for synchronizing audio / video signals according to the present invention. 8 is only interested in the synchronization of the transport stream, the portion generating the transport stream is omitted from the figure. As shown, a system time
상기에서 데이터 출력 제어부(850)는 상기 STC 카운터(840)가 카운트한 클럭값 및 상기 디패킷화부(810)가 추출한 타임 스탬프 및 지연보상시간으로 비트버퍼(820)에 저장된 압축데이터의 출력을 제어한다. 유선으로 송신한 전송 스트림은 무선으로 송신한 전송 스트림에 비하여 재생 또는 복호되는 시점이 지연보상시간만큼 빠르기 때문에, 데이터 출력 제어부(850)는 비트버퍼에 저장된 압축데이터의 출력시점을 제어하는데 있어서, 지연보상시간을 고려해야 한다. The
그러므로 데이터 출력 제어부(850)는 STC 카운터(840)가 카운트한 클럭값을 타임 스탬프와 지연보상시간을 합한 값과 비교한다. 시스템 타임 클럭을 sys_clk라 하고, 타임 스탬프를 Stime라 하고, 지연보상시간을 Ddejittering 이라 하면, 데이터 출력 제어부(850)는 sys_clk = Stime + Ddejittering일때 비트버퍼(820)에 저장된 해당 압축데이터가 출력되도록 제어한다. 이로 인하여, 음성 또는 영상이 디코딩되는 시간을 지연보상시간만큼 늦게 함으로써, 유선으로 송신한 전송 스트림과 무선으로 송신한 전송 스트림이 동기된다. 상기 지연보상시간은 지연지터 보상버퍼의 크기에 따라서 기 설정되어 있는 값이기 때문에 데이터 출력 제어부(850)로 입력되는 과정은 생략한다. Therefore, the
그리고 데이터 출력 제어부(850)는 sys_clk < Stime + Ddejittering일때 비트버퍼(820)에 저장된 해당 압축데이터가 현재 시점을 기준으로 일정 시간 이후에 출력되도록 한다. sys_clk < Stime + Ddejittering의 시점에서 비트버퍼(820)에 저장된 전송 스트림을 출력하면, 유선으로 송신한 전송 스트림이 무선으로 송신한 전송 스트림에 비하여 더빨리 재생 또는 복호된다. 그러므로, 현재 시점을 기준으로 특정 시간 이후에 비트버퍼(820)에 저장된 해당 압축데이터를 출력해야 한다. In addition, when sys_clk <S time + D dejittering, the data
또한, 데이터 출력 제어부(850)는 sys_clk > Stime + Ddejittering일때 비트버퍼(820)에 저장된 해당 압축데이터를 삭제한다. sys_clk > Stime + Ddejittering 의 시점에서 비트버퍼(820)에 저장된 압축데이터를 출력하면, 유선으로 송신한 전송 스트림은 무선으로 송신한 전송 스트림에 비하여 더 늦게 재생 또는 복호된다. 그러므로, 해당 전송 스트림은 삭제되어야 한다. 왜냐하면, 재생 또는 복호 시간을 늦추는 것은 가능하나 빨리 앞당기는 것은 불가능하기 때문이다. In addition, the
상기 비트버퍼(820)는 그 크기가 유선으로 송신한 전송 스트림을 고정된 지연시간 만큼 저장할 수 있어야 한다. 상기 비트버퍼(820)의 크기는 압축데이터를 전송한 속도와 지연보상시간의 곱으로 표시된다. 예를 들면, 압축데이터의 전송속도가 6Mbps이고 지연보상시간이 100ms라 하면, 상기 비트버퍼의 크기는 6Mbps×100ms = 600K비트가 된다. The
한편, 도 9는 본 발명의 음성/영상신호의 동기화 방법의 실시예를 나타낸 흐름도이다. 도시된 바와 같이 단계(S100)에서 압축데이터를 전송 스트림으로 생성한다. 압축데이터는 매체재생장치로부터 수신한 음성 또는 영상를 압축한 데이터이고, 원활한 송신을 위하여 패킷화부(401)는 압축데이터를 패킷의 형태로 변환한다. 그리고 음성 또는 영상이 복호 또는 재생되는 출력시점을 결정하는 타임 스탬프가 각 패킷 스트림의 헤더에 삽입된다. 그리고 시스템 타임 클럭 첨가부(402)는 송신부와 수신부의 타임 베이스를 맞추기 위하여 상기 패킷 스트림에 시스템 타임 클럭을 삽입하고, 패킷 스트림을 고정된 크기의 전송 스트림으로 생성한다. 9 is a flowchart illustrating an embodiment of a method for synchronizing an audio / video signal according to the present invention. As shown in step S100, compressed data is generated as a transport stream. The compressed data is data obtained by compressing an audio or video received from the medium reproducing apparatus. For smooth transmission, the
다음 단계(S102)에서 전송 스트림에 송신 네트워크 클럭을 삽입한다. 송신 네트워크 클럭 발생부(410)는 전송 스트림이 송신 네트워크 클럭 발생부(410)로 입력되는 시점의 클럭값을 출력한다. 동기 클럭 스탬핑부(420)는 상기 출력된 송신 네트워크 클럭값을 전송 스트림의 헤더의 전단에 삽입한다. In the next step S102, a transmission network clock is inserted into the transport stream. The transmission
다음 단계(S104)에서 제 1 통신 인터페이스 수단(430)은 송신 네트워크 클럭 값이 첨가된 전송 스트림을 외부로 송신한다. 상기 제 1 통신 인터페이스 수단(430)이 송신한 전송 스트림을 제 2 통신 인터페이스 수단(440)이 수신한다. In a next step S104, the first communication interface means 430 transmits the transport stream to which the transmission network clock value is added. The second communication interface means 440 receives the transport stream transmitted by the first communication interface means 430.
다음 단계(S106)에서 수신 네트워크 클럭값을 추출한다. 수신 네트워크 클럭 발생부(520)는 제 2 통신 인터페이스 수단(440)에서 전송 스트림이 출력되는 시점의 클럭값을 출력한다. 이로 인하여 제 2 통신 인터페이스 수단(440)이 전송 스트림을 수신할 때의 수신 네트워크 클럭값을 추출할 수 있다. In a next step S106, the reception network clock value is extracted. The reception
다음 단계(S108)에서 제 2 통신 인터페이스 수단이 수신한 전송 스트림이 지연지터 보상버퍼에 저장된다. 제 2 통신 인터페이스 수단(440)이 수신한 복수의 전송 스트림은 주변환경에 의하여 지연시간이 상이할 수 있으므로, 각 전송 스트림이 일정한 시간 간격을 유지하도록 하기 위하여 지연지터 보상버퍼(500)에 저장한다. In a next step S108, the transport stream received by the second communication interface means is stored in the delay jitter compensation buffer. Since the plurality of transport streams received by the second communication interface means 440 may have different delay times depending on the surrounding environment, the plurality of transport streams are stored in the delay
다음 단계(S110)에서 송신 네트워크 클럭값을 독출하여 전송 스트림의 지연시간을 판단한다. 송신 네트워크 클럭 독출부(510)는 전송 스트림을 입력받아서 전송 스트림의 헤더의 전단부분에 위치한 송신 네트워크 클럭값을 독출한다. 그리고 지연시간 판단부(520)는 수신 네트워크 클럭값과 송신 네트워크 클럭값으로 전송 스트림의 지연시간을 판단한다. In a next step S110, the transmission network clock value is read to determine the delay time of the transport stream. The transmission network
다음 단계(S112)에서 스트림 출력시점 판단부는 지연시간과 지연보상시간이 동일한지의 여부를 판단한다. 상기 단계(S112)의 판단결과 지연시간과 지연보상시간이 동일하면 단계(S114)에서 지연지터 보상버퍼에 저장된 해당 전송 스트림이 출력된다. 지연시간과 지연보상시간이 동일하면 스트림 출력시점 판단부(530)는 지연지터 보상버퍼(500)에 저장된 전송 스트림이 현재 시점에 출력되어야 한다고 판단 하고, 스트림 출력 제어부(540)의 제어로 지연지터 보상버퍼(500)에 저장된 전송 스트림이 출력된다. In a next step S112, the stream output time determining unit determines whether the delay time and the delay compensation time are the same. As a result of the determination in step S112, if the delay time and the delay compensation time are the same, the corresponding transport stream stored in the delay jitter compensation buffer is output in step S114. If the delay time and the delay compensation time are the same, the stream output
상기 단계(S112)의 판단결과 지연시간과 지연보상시간이 동일하지 않으면 단계(S116)에서 지연시간이 지연보상시간보다 작은지의 여부를 판단한다. 상기 단계(S116)의 판단결과 지연시간이 지연보상시간보다 작으면, 단계(S118)에서 지연지터 보상버퍼에 저장된 해당 전송 스트림은 현재 시점을 기준으로 지연시간과 지연보상시간의 차이만큼의 시간 이후에 출력된다. 지연시간이 지연보상시간에 비하여 작은경우에는 스트림 출력시점 판단부(530)는 지연지터 보상버퍼(500)에 저장된 전송 스트림이 현재 시점을 기준으로 특정시간 이후에 출력되어야 한다고 판단한다. 그리고 스트림 출력 제어부(540)는 지연시간과 지연보상시간의 차이만큼의 시간후에 지연지터 보상버퍼(500)에 저장된 해당 전송 스트림이 출력되도록 제어한다. As a result of the determination in step S112, if the delay time and the delay compensation time are not the same, it is determined in step S116 whether the delay time is smaller than the delay compensation time. If the delay time is smaller than the delay compensation time as a result of the determination in step S116, the corresponding transport stream stored in the delay jitter compensation buffer in step S118 is equal to the difference between the delay time and the delay compensation time based on the current time point. Is output to If the delay time is smaller than the delay compensation time, the stream output
상기 단계(S116)의 판단결과 지연시간이 지연보상시간보다 작지 않은 경우에, 단계(S120)에서 지연지터 보상버퍼에 저장된 해당 전송 스트림을 삭제한다. 지연시간이 지연보상시간에 비하여 작지 않은 경우에는 스트림 출력시점 판단부(530)는 지연지터 보상버퍼(500)에 저장된 해당 전송 스트림이 현재 시점을 기준으로 일정시간 이전에 출력되었어야 한다고 판단한다. 그러므로 스트림 출력 제어부(540)는 해당 전송 스트림을 삭제한다. When the delay time is not smaller than the delay compensation time as a result of the determination in step S116, the corresponding transport stream stored in the delay jitter compensation buffer is deleted in step S120. If the delay time is not smaller than the delay compensation time, the stream output
다음 단계(S122)에서 디코딩부는 전송 스트림에서 압축데이터를 추출하고, 디코딩한다. 시스템 타임 클럭 복구부(700)는 전송 스트림을 패킷 스트림으로 생성하고, 상기 전송 스트림의 헤더에서 시스템 타임 클럭을 추출한다. 디패킷화부 (710)는 패킷 스트림에서 압축데이터를 추출하고, 상기 패킷 스트림의 헤더에서 타임 스탬프를 추출한다. 디패킷화부(710)가 출력한 압축데이터는 비트버퍼(720)에 저장되고, 상기 비트버퍼(720)는 데이터 출력 제어부(750)의 제어로 STC 카운터(740)가 카운트한 클럭값과 타임 스탬프가 동일한 시간에 출력된다. 상기 비트버퍼(720)에서 출력된 압축데이터는 디코더(730)로 입력되어 디코딩된다.In the next step S122, the decoding unit extracts and decodes the compressed data from the transport stream. The system time
한편, 도 10은 본 발명의 음성/영상신호의 동기화 방법의 다른 실시예를 나타낸 흐름도이다. 도시된 바와 같이 단계(S200)에서 시스템 타임 클럭 복구부 및 디패킷화부가 전송 스트림에서 압축데이터를 추출하고, 시스템 타임 클럭 및 타임 스탬프를 추출한다. 10 is a flowchart illustrating another embodiment of a method for synchronizing audio / video signals according to the present invention. As shown in FIG. 2, the system time clock recovery unit and the depacketizer extract the compressed data from the transport stream, and extract the system time clock and time stamp.
다음 단계(S202)에서 비트버퍼가 압축데이터를 저장한다. 유선으로 전송한 전송 스트림과 무선으로 전송한 전송 스트림과의 동기를 맞추기 위하여 비트버퍼(820)는 상기 디패킷화부(810)가 생성한 압축데이터를 저장한다. In a next step S202, the bit buffer stores the compressed data. The
다음 단계(S204)에서 데이터 출력 제어부는 sys_clk = Stime + Ddejittering인지의 여부를 판단한다. sys_clk는 상기 시스템 타임 클럭 복구부(520)가 추출한 시스템 타임 클럭에 따라서 STC 카운터(840)가 클럭을 카운트한 클럭값이고, Stime은 상기 디패킷화부(810)가 추출한 타임 스탬프이며, Ddejittering은 지연보상시간이다. 무선으로 송신한 전송 스트림과 유선으로 송신한 전송 스트림은 지연보상시간만큼의 동기가 어긋나 있으므로, 지연보상시간만큼 유선으로 송신한 전송 스트림의 재생 또는 복호시간을 지연시켜야 한다. 그러므로 데이터 출력 제어부(850)는 sys_clk = Stime + Ddejittering이 되어 현재 시점에 비트버퍼(820)에 저장되어 있는 해당 압축데이터를 출력해야 하는지의 여부를 판단한다. In a next step S204, the data output controller determines whether sys_clk = S time + D dejittering . sys_clk is a clock value obtained by the
상기 단계(S204)의 판단결과 sys_clk = Stime + Ddejittering면, 단계(S206)에서 데이터 출력 제어부는 비트 버퍼에 저장된 해당 압축데이터가 출력되도록 제어한다. sys_clk = Stime + Ddejittering일때 무선으로 송신한 전송 스트림과 유선으로 송신한 전송 스트림의 동기가 맞는 시점이므로, 데이터 출력 제어부(850)는 비트버퍼(820)에 저장된 해당 압축데이터가 출력되도록 한다. As a result of the determination of step S204, if sys_clk = S time + D dejittering , in step S206, the data output control unit controls to output the corresponding compressed data stored in the bit buffer. When sys_clk = S time + D dejittering, the synchronization of the wirelessly transmitted transport stream and the wired transport stream is synchronized, so that the data
상기 단계(S204)의 판단결과 sys_clk = Stime + Ddejittering이 아니면, 단계(S208)에서 sys_clk < Stime + Ddejittering인지의 여부를 판단한다. If it is determined in step S204 that sys_clk = S time + D dejittering , it is determined in step S208 whether sys_clk <S time + D dejittering .
상기 단계(S208)의 판단결과 sys_clk < Stime + Ddejittering이면, 단계(S200)에서 데이터 출력 제어부(850)는 Stime + Ddejittering - sys_clk 만큼의 시간 이후에 비트버퍼(820)에 저장된 해당 압축데이터가 출력되도록 제어한다. sys_clk < Stime + Ddejittering의 시점에서는 유선으로 송신한 전송데이터가 무선으로 송신한 전송데이터에 비하여 더 빨리 재생 또는 복호되므로, 특정 시간 이후에 유선으로 송신한 압축데이터가 출력되어야 한다. If the result of the determination in step S208 is sys_clk <S time + D dejittering , in step S200, the
상기 단계(S208)의 판단결과 sys_clk < Stime + Ddejittering가 아니면, 단계(S212)에서 해당 압축데이터를 삭제한다. sys_clk < Stime + Ddejittering의 시점에서는 유선으로 송신한 전송데이터가 무선으로 송신한 전송데이터에 비하여 더 늦게 재생 또는 복호되므로, 동기화를 위하여 해당 압축데이터는 삭제된다. If the result of the determination in step S208 is not sys_clk < S time + D dejittering , the corresponding compressed data is deleted in step S212. At the time of sys_clk <S time + D dejittering , since the transmission data transmitted by wire is reproduced or decoded later than the transmission data transmitted by wireless, the compressed data is deleted for synchronization.
단계(S214)에서 디코더는 압축데이터를 디코딩한다. In step S214, the decoder decodes the compressed data.
한편, 상기에서는 본 발명을 특정의 바람직한 실시 예에 관련하여 도시하고 설명하였지만, 이하의 특허청구범위에 의해 마련되는 본 발명의 정신이나 분야를 이탈하지 않는 한도 내에서 본 발명이 다양하게 개조 및 변화될 수 있다는 것을 당 업계에서 통상의 지식을 가진 자는 용이하게 알 수 있다.On the other hand, while the present invention has been shown and described with respect to specific preferred embodiments, various modifications and changes of the present invention without departing from the spirit or field of the invention provided by the claims below It can be easily understood by those skilled in the art.
이와 같이 본 발명은 무선으로 전송한 복수의 전송 스트림들을 지연지터 보상버퍼에 저장하고, 지연보상시간과 상기 각 전송 스트림들의 지연시간을 비교하여 지연지터 보상버퍼에 저장된 해당 전송 스트림의 출력되는 시점을 판단한다. 상기 판단결과에 따라서 스트림 출력 제어부가 상기 지연지터 보상버퍼에 저장된 전송 스트림들의 출력시점을 제어함으로써, 전송 스트림들이 일정한 시간간격을 유지할 수 있도록 한다. 이로 인하여 전송 스트림들에서 시스템 타임클럭을 추출할 수 있으므로, 송신부와 수신부의 타임 베이스를 확보할 수 있다. As described above, the present invention stores a plurality of transport streams transmitted wirelessly in a delay jitter compensation buffer, and compares the delay compensation time with the delay time of each transport stream to determine the output time point of the corresponding transport stream stored in the delay jitter compensation buffer. To judge. According to the determination result, the stream output controller controls the output time of the transport streams stored in the delay jitter compensation buffer so that the transport streams can maintain a constant time interval. As a result, system time clocks can be extracted from transport streams, thereby securing time bases of a transmitter and a receiver.
그리고 상기 전송 스트림들이 일정한 시간간격을 유지하도록 하기 위하여 지연지터 보상버퍼에 전송 스트림들을 저장하였으므로, 유선으로 송신한 전송 스트림과 무선으로 송신한 전송 스트림들간에 지연보상시간 만큼 동기가 어긋나게 된다. 상기에서 동기를 맞춰주기 위하여 시스템 타임 클럭을 카운터한 값을 타임 스탬프와 지연보상시간을 합한 값과 비교함으로써, 유선으로 송신한 전송 스트림이 비트 버퍼에서 출력되는 시점을 제어한다. 상기 전송 스트림이 출력되는 시점을 제어함으로써, 유선으로 송신한 전송 스트림과 무선으로 송신한 전송 스트림간에 동기를 맞출 수 있다. In addition, since the transport streams are stored in a delay jitter compensation buffer in order to maintain the constant time interval, the synchronization is shifted by the delay compensation time between the transport streams transmitted by wire and the transport streams transmitted by wireless. By comparing the value obtained by counting the system time clock with the sum of the time stamp and the delay compensation time in order to achieve the synchronization, the timing at which the transport stream transmitted via the wire is output from the bit buffer is controlled. By controlling the time point at which the transport stream is output, synchronization between the transport stream transmitted by wire and the transport stream transmitted wirelessly can be achieved.
Claims (17)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020050062988A KR20070008069A (en) | 2005-07-12 | 2005-07-12 | Appratus and method for synchronizing audio/video signal |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020050062988A KR20070008069A (en) | 2005-07-12 | 2005-07-12 | Appratus and method for synchronizing audio/video signal |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20070008069A true KR20070008069A (en) | 2007-01-17 |
Family
ID=38010336
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020050062988A KR20070008069A (en) | 2005-07-12 | 2005-07-12 | Appratus and method for synchronizing audio/video signal |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20070008069A (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100803131B1 (en) * | 2006-04-07 | 2008-02-14 | 엘지전자 주식회사 | Method of generating timing information, broadcast receiver, and method using timing information for searching and editing |
| KR100841217B1 (en) * | 2007-01-29 | 2008-06-26 | 주식회사 에이스엠이 | Apparatus and method for controlling file streaming |
| KR100884237B1 (en) * | 2007-02-28 | 2009-02-17 | 삼성전자주식회사 | Communication system and data tx/rx method thereof |
| KR101019170B1 (en) * | 2008-05-26 | 2011-03-03 | 광운대학교 산학협력단 | Method and Apparatus of Deciding an Initial Delay in Network Synchronization Systems |
| KR101032747B1 (en) * | 2009-11-18 | 2011-05-06 | 삼성에스디에스 주식회사 | Apparatus for measuring image display delay, system and method for measuring image display delay using the same |
| WO2013009131A2 (en) * | 2011-07-13 | 2013-01-17 | 한국전자통신연구원 | Apparatus and method for transmitting packet and apparatus and method for receiving packet in mmt system |
| WO2014014305A1 (en) * | 2012-07-19 | 2014-01-23 | 한국전자통신연구원 | Method and apparatus for selectively performing packet error classification of multiple packet streams multiplexed to same port |
| US9118937B2 (en) | 2007-10-04 | 2015-08-25 | SMSC Europe GbmH | Real-time video transmission system |
-
2005
- 2005-07-12 KR KR1020050062988A patent/KR20070008069A/en not_active Application Discontinuation
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100803131B1 (en) * | 2006-04-07 | 2008-02-14 | 엘지전자 주식회사 | Method of generating timing information, broadcast receiver, and method using timing information for searching and editing |
| KR100841217B1 (en) * | 2007-01-29 | 2008-06-26 | 주식회사 에이스엠이 | Apparatus and method for controlling file streaming |
| KR100884237B1 (en) * | 2007-02-28 | 2009-02-17 | 삼성전자주식회사 | Communication system and data tx/rx method thereof |
| US8787442B2 (en) | 2007-02-28 | 2014-07-22 | Samsung Electronics Co., Ltd. | Communication system and data transception method thereof |
| US9118937B2 (en) | 2007-10-04 | 2015-08-25 | SMSC Europe GbmH | Real-time video transmission system |
| KR101019170B1 (en) * | 2008-05-26 | 2011-03-03 | 광운대학교 산학협력단 | Method and Apparatus of Deciding an Initial Delay in Network Synchronization Systems |
| KR101032747B1 (en) * | 2009-11-18 | 2011-05-06 | 삼성에스디에스 주식회사 | Apparatus for measuring image display delay, system and method for measuring image display delay using the same |
| WO2013009131A2 (en) * | 2011-07-13 | 2013-01-17 | 한국전자통신연구원 | Apparatus and method for transmitting packet and apparatus and method for receiving packet in mmt system |
| WO2013009131A3 (en) * | 2011-07-13 | 2013-03-07 | 한국전자통신연구원 | Apparatus and method for transmitting packet and apparatus and method for receiving packet in mmt system |
| WO2014014305A1 (en) * | 2012-07-19 | 2014-01-23 | 한국전자통신연구원 | Method and apparatus for selectively performing packet error classification of multiple packet streams multiplexed to same port |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4990762B2 (en) | Maintaining synchronization between streaming audio and streaming video used for Internet protocols | |
| JP7120997B2 (en) | Multi-mode synchronous rendering of audio and video | |
| JP4184397B2 (en) | VIDEO / AUDIO PROCESSING SYSTEM AND ITS CONTROL METHOD, AUDIO PROCESSING SYSTEM, VIDEO / AUDIO PROCESSING SYSTEM CONTROL PROGRAM, AND RECORDING MEDIUM CONTAINING THE PROGRAM | |
| US6493832B1 (en) | Communication apparatus which handles a time stamp | |
| EP2728858B1 (en) | Receiving apparatus and receiving method thereof | |
| JP3516206B2 (en) | Data stream processing apparatus and method, and program storage medium | |
| KR20070008069A (en) | Appratus and method for synchronizing audio/video signal | |
| JP2003500948A (en) | Method for converting a packetized stream of information signals into a stream of information signals having a time stamp and vice versa | |
| US20070286245A1 (en) | Digital signal processing apparatus and data stream processing method | |
| JP2009272945A (en) | Synchronous reproduction apparatus | |
| KR101014664B1 (en) | Reproduction method for guaranteeing seamless reproduction of a plurality of data streams and reproducing apparatus therefor | |
| JP3045715B2 (en) | Transmission system, transmitting device, recording / reproducing device, and recording device | |
| JP5641849B2 (en) | Transmitter | |
| JP6957186B2 (en) | Information processing equipment, information processing methods, programs, and recording medium manufacturing methods | |
| EP1533925A2 (en) | Synchronization of a stream data communication system | |
| JP2002176643A (en) | Synchronization recovery system for video/audio in video/ audio decoding processing | |
| JP2002369163A (en) | Method of controlling multistream output timing and control apparatus therefor | |
| JPH11205789A (en) | Transmission rate converter of mpeg2 transport stream | |
| JP2005151463A (en) | Device and method for receiving stream data | |
| JP2008245061A (en) | Pcr reproduction system in ip stream transmission | |
| US20100166382A1 (en) | Video and audio reproduction system, distribution device, and synchronization adjustment method | |
| JP2001339688A (en) | Playback equipment of transport stream | |
| KR20060105326A (en) | Method and apparatus for av output in digital broadcasting system | |
| KR0154005B1 (en) | Apparatus for generating the presentation time stamp in the system encoder | |
| JP2001111610A (en) | Receiver for information data transmission system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| WITN | Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid |