KR101161604B1 - Method for controlling lip synchronization of video streams and apparatus therefor - Google Patents

Method for controlling lip synchronization of video streams and apparatus therefor Download PDF

Info

Publication number
KR101161604B1
KR101161604B1 KR1020070004967A KR20070004967A KR101161604B1 KR 101161604 B1 KR101161604 B1 KR 101161604B1 KR 1020070004967 A KR1020070004967 A KR 1020070004967A KR 20070004967 A KR20070004967 A KR 20070004967A KR 101161604 B1 KR101161604 B1 KR 101161604B1
Authority
KR
South Korea
Prior art keywords
video stream
pictures
picture
skip
output
Prior art date
Application number
KR1020070004967A
Other languages
Korean (ko)
Other versions
KR20080067545A (en
Inventor
문성호
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020070004967A priority Critical patent/KR101161604B1/en
Publication of KR20080067545A publication Critical patent/KR20080067545A/en
Application granted granted Critical
Publication of KR101161604B1 publication Critical patent/KR101161604B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • H04N5/935—Regeneration of digital synchronisation signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • H04N5/95—Time-base error compensation

Abstract

본 발명은 비디오 스트림의 립 싱크 제어 방법에 관한 것으로, 비디오 스트림이 수신되면, 수신된 비디오 스트림을 디코딩하고, 비디오 스트림 중 일부를 스킵(skip)할 것인지 여부를 결정하고, 비디오 스트림 중 일부를 스킵하기로 결정되면 비디오 스트림에 포함된 픽처들 중에 참조(reference)가 종료된 픽처들을 제외한 나머지 픽처들만을 화면에 출력함으로써, 화면의 열화 없이 비디오 스트림의 립 싱크를 제어할 수 있다. The present invention relates to a lip sync control method of a video stream, and when a video stream is received, decodes the received video stream, determines whether to skip some of the video stream, and skips some of the video stream. If it is determined below, only the pictures included in the video stream except for the pictures whose references are terminated are output to the screen, thereby controlling lip sync of the video stream without deterioration of the screen.

립, 싱크, 참조, 스킵, 스트림 Lip, sink, reference, skip, stream

Description

비디오 스트림의 립 싱크 제어 방법 및 그 장치{Method for controlling lip synchronization of video streams and apparatus therefor}Method for controlling lip sync of video streams and apparatus therefor

도 1은 종래의 비디오 스트림의 립 싱크 제어 방법을 설명하기 위하여 도시한 도면이다.1 is a view illustrating a conventional lip sync control method of a video stream.

도 2는 본 발명에 따른 비디오 스트림의 립 싱크 제어장치의 일실시예를 설명하기 위하여 도시한 도면이다.2 is a view illustrating an embodiment of a lip sync control apparatus of a video stream according to the present invention.

도 3은 본 발명에 따른 비디오 스트림의 립 싱크 제어장치의 제2실시예를 설명하기 위하여 도시한 도면이다.3 is a diagram illustrating a second embodiment of a lip sync control apparatus of a video stream according to the present invention.

도 4는 본 발명에 따른 비디오 스트림의 립 싱크 제어 방법을 설명하기 위하여 도시한 흐름도이다.4 is a flowchart illustrating a lip sync control method of a video stream according to the present invention.

본 발명은 비디오 스트림의 립 싱크 제어 방법 및 그 장치에 관한 것이다. The present invention relates to a method and apparatus for controlling lip sync of a video stream.

일반적으로 멀티미디어를 지원해주는 핵심 요소로는 디지털화와 더불어 화상 압축 기술이 있다. 이와 같은 화상 압축 기술 중 MPEG-2는 멀티미디어 환경에 가장 핵심 기술인 디지털 동영상의 압축 부호화를 위한 국제적인 표준안이다. MPEG-2는 I픽처, P픽처, B픽처를 이용하여 동영상을 구성한다. 여기서 I 픽처, P 픽처, B 픽처는 동영상을 구성하는 프레임들을 말하며, 이를 보다 구체적으로 설명하면 다음과 같다.In general, the key elements supporting multimedia include image compression technology in addition to digitalization. Among these image compression technologies, MPEG-2 is an international standard for compressing and encoding digital video, which is the core technology in a multimedia environment. MPEG-2 composes a moving picture using an I picture, a P picture, and a B picture. Here, the I picture, the P picture, and the B picture refer to frames constituting a moving picture, which will be described in more detail as follows.

I 픽처는 인트라 부호화 영상의 약칭으로 프레임내의 부호화 영상을 말한다. 이는 정지 화면을 압축,부호화하는 것과 같은 것으로, 임의의 화면을 압축 부호화할 때 기준이 된다. 또한 I 픽처는 독립적으로 부화화가 가능한 프레임이다.I picture is an abbreviation of an intra coded picture and refers to a coded picture in a frame. This is the same as compressing and encoding a still picture, which is a reference when compressing and encoding an arbitrary picture. In addition, an I picture is a frame which can be hatched independently.

P 픽처는 예측 부호화 영상의 약칭으로서 순방향 예측 부호화 영상을 말한다. P 픽처는 I 또는 다른 P 픽처를 기준으로 삼아 움직임을 보상한 후, 나머지 차이분을 DCT(discrete cosine transform) 변환을 수행하여 부호화한다. P picture is an abbreviation of a predictive coded video and refers to a forward predictive coded video. The P picture compensates for motion based on I or another P picture, and encodes the remaining difference by performing a discrete cosine transform (DCT) transform.

B 픽처는 쌍방향 예측 부호화 영상의 약칭으로 과거로부터 예측하는 순방향 프레임간 예측 부호화 방식과 미래로부터 예측하는 역방향 프레임간 예측 부호화 방식을 모두 이용한다. B 픽처는 I, P 픽처를 먼저 처리한 후 B 픽처를 부호화하므로 원래 화면의 순서와 화면의 처리순서가 달라진다. The B picture is an abbreviation of a bidirectional predictive coded image and uses both a forward interframe predictive encoding method predicted from the past and a reverse interframe predictive encoding method predicted from the future. Since the B picture processes the I and P pictures first and then encodes the B picture, the order of the original picture and the picture processing order are different.

다만, 이와 같은 디지털화된 신호를 이용하여 동영상을 재생하게 되면 아날로그 신호를 이용할 때와는 달리 비디오 스트림의 동기(sync)를 맞추어 주어야 할 필요성이 있다. However, when a video is reproduced using the digitized signal, there is a need to synchronize the video stream, unlike when using an analog signal.

도 1은 종래의 비디오 스트림의 립 싱크 제어 방법을 설명하기 위하여 도시한 도면이다.1 is a view illustrating a conventional lip sync control method of a video stream.

도 1을 참조하면, I 픽처, B 픽처, B 픽처, P 픽처가 출력되어야 할 시간을 나타내는 출력 설정 시간이 각각 n+1초, n+2초, n+3초, n+4초와 같이 설정되어 수 신된다. 출력부(120)는 이와 같이 수신된 픽처들의 출력 설정 시간과 수신된 픽처들이 실제로 출력되는 시간을 나타내는 시스템 시간을 비교하여 수신된 비디오 스트림 중에 일부를 스킵할 것인지를 판단한다. Referring to FIG. 1, output setting times indicating the time at which an I picture, a B picture, a B picture, and a P picture should be outputted are n + 1 seconds, n + 2 seconds, n + 3 seconds, and n + 4 seconds, respectively. It is set and received. The output unit 120 compares the output setting time of the received pictures with the system time indicating the time at which the received pictures are actually output, and determines whether to skip a part of the received video stream.

예컨대 도 1에서는 I픽처는 n+1초에 출력되도록 설정되어 있으나 실제로는 n+3초에 출력된다. 이와 같은 경우에는 싱크를 맞추기 위해 비디오 스트림 중 일부를 스킵하여야 한다.For example, in FIG. 1, the I picture is set to be output in n + 1 second but is actually output in n + 3 second. In this case, some of the video streams must be skipped to synchronize.

이와 같이 비디오 스트림 중 일부를 스킵하여야 하는 경우에는, 디코더(110)는 n+2초, n+3초에 출력되도록 설정된 B 픽처 및 P 픽처에 대한 디코딩을 스킵하게 된다. 그 후 디코더(110)는 n+4초에 출력되도록 설정된 P 픽처에 대하여 디코딩을 수행하고, 출력부(120)는 n+4초에 그 P픽처를 출력함으로써 싱크를 맞추게 된다.When a part of the video stream needs to be skipped as described above, the decoder 110 skips decoding of the B picture and the P picture set to be output in n + 2 seconds and n + 3 seconds. The decoder 110 then decodes the P picture set to be output at n + 4 seconds, and the output unit 120 synchronizes by outputting the P picture at n + 4 seconds.

이때, n+2초에 출력되도록 설정된 B 픽처의 디코딩을 스킵하는 것은 문제가 없으나, n+3초에 출력되도록 설정된 P픽처의 디코딩을 스킵하게 되면 문제가 발생한다. 즉, P 픽처는 참조되는 픽처이기 때문에, 이후에 이 P 픽처에 대하여 디코딩을 수행하지 않게 되면, 그 P 픽처를 참조하여야 하는 픽처들은 손상되게 되는 것이다. At this time, skipping decoding of the B picture set to be output in n + 2 seconds is not a problem, but skipping decoding of the P picture set to be output in n + 3 seconds causes a problem. That is, since the P picture is a referenced picture, if the decoding is not performed later on the P picture, pictures that must refer to the P picture are damaged.

이와 같이 종래의 비디오 스트림의 립 싱크 제어 방법은 싱크를 맞추기 위하여 강제로 I 픽처 또는 P 픽처에 대한 디코딩을 스킵하게 되어 화면 열화를 발생시키는 문제점이 있엇다. As described above, the lip sync control method of the conventional video stream has a problem of forcibly skipping decoding of an I picture or a P picture in order to match the sync and causing screen degradation.

본 발명의 목적은 화면 열화를 발생시키지 않고 비디오 스트림의 립 싱크를 제어하는 비디오 스트림의 립 싱크 제어 방법 및 그 장치를 제공하는 것이다. It is an object of the present invention to provide a lip sync control method and apparatus for controlling a video stream for controlling lip sync of a video stream without causing screen degradation.

상기 목적을 달성하기 위한 본 발명에 따른 비디오 스트림의 립 싱크 제어 방법은 상기 비디오 스트림이 수신되면, 상기 수신된 비디오 스트림을 디코딩하는 단계; 상기 비디오 스트림 중 일부를 스킵(skip)할 것인지 여부를 결정하는 단계; 및 상기 비디오 스트림 중 일부를 스킵하기로 결정되면 상기 비디오 스트림에 포함된 픽처들 중에 참조(reference)가 종료된 픽처들을 제외한 나머지 픽처들만을 화면에 출력하는 단계를 포함하는 것을 특징으로 한다. A lip sync control method of a video stream according to the present invention for achieving the above object comprises: decoding the received video stream when the video stream is received; Determining whether to skip a portion of the video stream; And if it is determined that a part of the video stream is to be skipped, outputting only the remaining pictures on the screen except for the pictures whose reference is terminated among the pictures included in the video stream.

바람직하게는 상기 디코딩하는 단계는 상기 수신된 비디오 스트림 중 일부를 스킵할 것인지 여부를 결정하는 단계; 및 상기 상기 비디오 스트림중 일부를 스킵하기로 결정되면 상기 비디오 스트림에 포함된 픽처 중에 B 픽처를 제외한 픽처들에 대해서만 디코딩하는 단계를 포함한다. Advantageously, said decoding step further comprises: determining whether to skip some of said received video stream; And if it is determined to skip a part of the video stream, decoding only pictures other than a B picture among pictures included in the video stream.

바람직하게는 상기 스킵할 것인지 여부를 결정하는 단계는 상기 비디오 스트림에 포함된 픽처들이 출력되어야 할 시간을 나타내는 출력 설정 시간과 상기 픽처들이 실제로 출력되는 시간을 나타내는 시스템 시간을 비교하여 스킵할 것인지 여부를 결정하는 것을 특징으로 한다. Preferably, the step of determining whether or not to skip skips by comparing an output setting time indicating a time at which pictures included in the video stream should be output with a system time indicating a time at which the pictures are actually output. It is characterized by determining.

또한, 상기 목적을 달성하기 위한 본 발명에 따른 비디오 스트림의 립 싱크 제어 장치는 상기 비디오 스트림을 수신하는 수신부; 상기 수신된 비디오 스트림을 디코딩하는 디코더; 상기 비디오 스트림 중 일부를 스킵(skip)할 것인지 여부를 결정하는 스킵 여부 결정부; 및 상기 비디오 스트림 중 일부를 스킵하기로 결정되면 상기 픽처들 중에 참조(reference)가 종료된 픽처들을 제외한 나머지 픽처들만을 화면에 출력하는 출력부를 포함한다. In addition, a lip sync control apparatus of a video stream according to the present invention for achieving the above object comprises a receiving unit for receiving the video stream; A decoder for decoding the received video stream; A skipping determining unit which determines whether to skip a part of the video stream; And an output unit for outputting only the remaining pictures on the screen except for the pictures whose references are terminated, when it is determined to skip a part of the video stream.

또한, 본 발명은 상기 비디오 스트림이 수신되면, 상기 수신된 비디오 스트림을 디코딩하는 단계; 상기 비디오 스트림 중 일부를 스킵(skip)할 것인지 여부를 결정하는 단계; 및 상기 결정 결과, 상기 비디오 스트림 중 일부를 스킵하기로 결정되면 상기 비디오 스트림에 포함된 픽처들 중에 참조(reference)가 종료된 픽처들을 제외한 나머지 픽처들만을 화면에 출력하는 단계를 포함하는 비디오 스트림의 립 싱크 제어 방법 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체를 제공한다. In addition, the present invention, if the video stream is received, decoding the received video stream; Determining whether to skip a portion of the video stream; And if it is determined that a part of the video stream is to be skipped, outputting only the remaining pictures on the screen except for pictures whose reference is terminated among pictures included in the video stream. Provided is a computer readable recording medium having recorded thereon a program for executing a lip sync control method.

이하에서는 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 2는 본 발명에 따른 비디오 스트림의 립 싱크 제어장치의 일실시예를 설명하기 위하여 도시한 도면이다.2 is a view illustrating an embodiment of a lip sync control apparatus of a video stream according to the present invention.

도 2를 참조하면, 본 발명에 따른 비디오 스트림의 립 싱크 제어장치는 수신부(210), 디코더(220), 스킵 여부 결정부(230) 및 출력부(240)를 포함한다.Referring to FIG. 2, a lip sync control apparatus of a video stream according to the present invention includes a receiver 210, a decoder 220, a skip or not determiner 230, and an output 240.

수신부(210)는 비디오 스트림을 수신한다.The receiver 210 receives a video stream.

이때, 비디오 스트림은 I 픽처, P 픽처, B 픽처를 포함한다. In this case, the video stream includes an I picture, a P picture, and a B picture.

바람직하게는 수신부(210)에 수신되는 데이터 중에 비디오 스트림만을 수신할 수 있도록 수신부(210)의 전단에 소정의 필터를 더 추가할 수도 있다. Preferably, a predetermined filter may be further added to the front end of the receiver 210 to receive only the video stream among the data received by the receiver 210.

디코더(220)는 수신된 비디오 스트림을 디코딩한다. Decoder 220 decodes the received video stream.

H.264는 MPEG-2와는 달리 디코딩할때 2개의 픽처만을 참조하는 것뿐 아니라 그 이상의 개수의 픽처들을 참조하여 디코딩할 수 있다. Unlike MPEG-2, H.264 can decode not only by referring to two pictures but also by referring to a larger number of pictures.

스킵 여부 결정부(230)는 비디오 스트림 중 일부를 스킵할 것인지 여부를 결정한다. The skip determination unit 230 determines whether to skip a part of the video stream.

즉, 스킵 여부 결정부(230)는 수신된 비디오 스트림에 포함된 픽처들이 출력되어야 할 시간을 나타내는 출력 설정 시간과 그 픽처들이 실제로 출력되는 시간을 나타내는 시스템 시간을 비교하여 스킵 여부를 결정하게 된다. That is, the skip determination unit 230 determines whether to skip by comparing an output setting time indicating a time at which pictures included in the received video stream should be output with a system time indicating a time at which the pictures are actually output.

출력부(240)는 비디오 스트림 중 일부를 스킵하기로 결정되면 픽처들 중에 참조(reference)가 종료된 픽처들을 제외한 나머지 픽처들만을 화면에 출력한다. If it is determined that a part of the video stream is to be skipped, the output unit 240 outputs only the remaining pictures on the screen except for the pictures whose references are terminated.

즉, 종래 기술은 비디오 스트림 중 일부를 스킵 하기로 결정이 되면 소정의 픽처들에 대한 디코딩을 수행하지 않았지만, 본 발명은 모든 픽처들에 대하여 디코딩을 수행하되, 그 디코딩된 픽처들 중에 소정의 픽처들을 출력하지 않는 방식이다. That is, while the prior art did not perform decoding on certain pictures when it was determined to skip some of the video stream, the present invention performs decoding on all pictures, but among the decoded pictures, Do not output them.

예컨대, I 픽처, P 픽처, P 픽처, B 픽처가 순서대로 수신되는 경우에 각 픽처의 출력 설정 시간과 그 수신된 픽처들이 실제로 출력되는 시스템 시간을 비교한 결과 비디오 스트림 중 일부를 스킵하기로 결정되면, 일단은 4개의 픽처 모두에 대하여 디코딩을 수행한다. For example, when an I picture, a P picture, a P picture, and a B picture are received in order, a result of comparing the output setting time of each picture with the system time at which the received pictures are actually output is determined to skip some of the video stream. Once it performs decoding on all four pictures.

이때, I 픽처는 단독으로 디코딩이 가능하고 두번째 P 픽처는 I 픽처와 세번째 P 픽처를 참조하여 디코딩이 가능하며, 세번째 P 픽처는 I 픽처와 두번째 P 픽 처를 참조하여 디코딩이 가능하다. 또한 B 픽처는 I 픽처 또는 두번째, 세번째 P 픽처 들 중 어느 것을 참조하여서도 디코딩이 가능하다. 이때, 전술한바와 같이 H.264의 경우에는 2개의 픽처뿐 아니라 3개, 4개의 픽처를 참조하여 디코딩이 가능하다. In this case, the I picture can be decoded alone, the second P picture can be decoded with reference to the I picture and the third P picture, and the third P picture can be decoded with reference to the I picture and the second P picture. The B picture can also be decoded with reference to either the I picture or the second and third P pictures. In this case, as described above, in the case of H.264, decoding is possible by referring to not only two pictures but also three and four pictures.

이와 같은 4개의 픽처들에 대하여 디코딩이 수행된 후에 만일 3개의 픽처가 스킵되어야 한다면, 종래와 같이 B 픽처를 스킵하는 것이 아니라 I 픽처와 두번째, 세번째 P 픽처는 참조가 종료되었기 때문에 더 이상 필요하지 않으므로 I 픽처와 두번째 세번째의 P 픽처를 스킵하여 출력하지 않게 된다. 이때, 스킵되는 픽처들은 이미 디코딩이 모두 수행된 이후에 출력만 되지 않는 것이므로, 출력되는 픽처의 경우에는 화면의 열화 없이 출력이 가능하게 된다.If after decoding is performed for these four pictures, three pictures should be skipped, I pictures and the second and third P pictures are no longer needed because the reference is over, rather than skipping the B pictures as before. Therefore, the I picture and the second and third P pictures are skipped and not output. In this case, since the skipped pictures are not output after all decoding is already performed, the outputted pictures can be output without deterioration of the screen.

도 3은 본 발명에 따른 비디오 스트림의 립 싱크 제어장치의 제2실시예를 설명하기 위하여 도시한 도면이다.3 is a diagram illustrating a second embodiment of a lip sync control apparatus of a video stream according to the present invention.

도 3을 참조하면, 본 발명에 따른 비디오 스트림의 립 싱크 제어장치는 수신부(310), 수신부 버퍼(320), 제1 스킵 여부 결정부(330), 디코더(340), 디코딩 버퍼(350), 제2 스킵 여부 결정부(360) 및 출력부(370)를 포함한다.Referring to FIG. 3, a lip sync control apparatus of a video stream according to the present invention includes a receiver 310, a receiver buffer 320, a first skip decision unit 330, a decoder 340, a decoding buffer 350, And a second skip decision unit 360 and an output unit 370.

수신부(310)는 I 픽처, P 픽처, B 픽처를 포함하는 비디오 스트림을 수신하여 수신부 버퍼(320)에 저장한다. The receiver 310 receives a video stream including an I picture, a P picture, and a B picture and stores the video stream in the receiver buffer 320.

제1 스킵 여부 결정부(330)는 수신부 버퍼(320)에 저장된 픽처들의 출력 설정 시간과 그 픽처들이 실제로 출력되는 시스템 시간을 비교하여 스킵 여부를 결정한다. 도 3에서는 I 픽처는 n+1초에 출력되도록 설정되어 있으나 실제 시스템에서 I 픽처가 출력되는 시간은 n+4초가 되어 비디오 스트림 중 일부를 스킵하여야 한다. The first skip decision unit 330 determines whether to skip by comparing the output setting time of the pictures stored in the receiver buffer 320 with the system time at which the pictures are actually output. In FIG. 3, the I picture is set to be output in n + 1 seconds, but the time for outputting the I picture in the actual system is n + 4 seconds so that a part of the video stream should be skipped.

디코더(340)는 제1 스킵 여부 결정부(330)가 스킵을 하여야 한다고 결정하였으므로, 수신된 픽처들 중에 화면의 열화 없이 스킵이 가능한 B픽처 2개를 디코딩하지 않고 스킵하게 된다. 그 후 디코더(340)는 디코딩이 수행된 나머지 픽처들 즉, n+1초에 출력되도록 설정된 I 픽처, n+4초에 출력되도록 설정된 P 픽처, n+5초에 출력되도록 설정된 P 픽처를 디코딩 버퍼(350)에 저장한다.Since the decoder 340 determines that the first skip decision unit 330 should skip, the decoder 340 skips two received B pictures without decoding the picture without decoding the screen. The decoder 340 then decodes the rest of the decoded pictures, that is, an I picture set to be output in n + 1 seconds, a P picture set to be output in n + 4 seconds, and a P picture set to be output in n + 5 seconds. Stored in the buffer 350.

제2 스킵 여부 결정부(360)는 디코딩 버퍼(350)에 저장된 픽처들의 출력 설정 시간과 그 픽처들이 실제로 출력되는 시스템 시간을 비교하여 스킵 여부를 결정한다. 도 3에서는 2개의 B 픽처들이 이미 스킵되어 디코딩 버퍼(350)에는 3 개의 픽처들만이 저장되어 있지만, 여전히 실제로 I 픽처가 출력되는 시간이 n+4초인데n+4초에 출력되도록 설정된 P 픽처가 존재하므로 스킵을 수행하여야 할 필요성이 있다.The second skip decision unit 360 determines whether to skip by comparing the output setting time of the pictures stored in the decoding buffer 350 with the system time at which the pictures are actually output. In FIG. 3, two B pictures are already skipped so that only three pictures are stored in the decoding buffer 350, but the P picture set to be output at n + 4 seconds is still outputting an I picture at n + 4 seconds. Since there is a need to skip.

출력부(370)는 제2 스킵 여부 결정부(370)가 스킵을 하여야 한다고 결정하였으므로 n+4초에 출력되도록 설정된 P 픽처를 출력하지 않게 된다. Since the output unit 370 determines that the second skip decision unit 370 should skip, the output unit 370 does not output the P picture set to be output in n + 4 seconds.

따라서, n+1초에 출력되도록 설정된 I 픽처는 출력부(370)를 통하여 n+4초에 출력이 되고, n+5초에 출력되기로 설정된 P 픽처가 n+5초에 출력되어 싱크가 맞게 된다. Therefore, the I picture set to be output in n + 1 second is output in n + 4 second through the output unit 370, and the P picture set in n + 5 second is output in n + 5 second so that the sync It is correct.

이때, n+5초에 출력되도록 설정된 P 픽처는 이미 n+4초에 출력되도록 설정된 P 픽처를 참조하여 디코딩을 마친 이후이기 때문에 n+4초에 출력되도록 설정된 P 픽처의 출력이 스킵되더라도, 화면의 열화 없이 싱크가 맞게 된다. In this case, since the P picture set to be output in n + 5 seconds has already been decoded with reference to the P picture set to be output in n + 4 seconds, the output of the P picture set to be output in n + 4 seconds is skipped. The sink is fitted without deterioration.

이와 같이 본 발명은 수신부 버퍼(320)에 저장된 픽처들 중에 일부를 스킵하고, 여전히 싱크가 맞지 않는 경우에는 디코딩 버퍼(350)에 저장된 픽처들 중에 일부를 더 스킵하는 절차를 수행하게 된다. As described above, the present invention skips some of the pictures stored in the receiver buffer 320, and skips some of the pictures stored in the decoding buffer 350 when the sync is still out of sync.

이때, 디코더(340)가 디코딩을 보다 빠르게 수행하도록 설계하고, 디코딩 버퍼(350)의 용량을 보다 크게 하여 더 많은 픽처를 저장할 수 있도록 설계하면, 디코딩 버퍼(350)에 저장된 픽처들 중에 동시에 2개 또는 3개 또는 그 이상의 개수의 픽처들에 대한 출력을 스킵할 수 있어 화면 재생시에 스킵에 의하여 생기는 끊김을 최소화하면서 립 싱크를 맞출 수 있는 효과를 달성할 수 있다. 즉, 종래와 같이 한개의 픽처를 수시로 스킵하는 방식을 사용하는 경우에는 수시로 화면이 끊겼지만, 한번에 복수개의 픽처를 스킵하게 되면 종래 기술에 비해서 화면의 끊김이 더 적어지게 된다. At this time, if the decoder 340 is designed to perform decoding faster and is designed to store more pictures by increasing the capacity of the decoding buffer 350, two of the pictures stored in the decoding buffer 350 at the same time. Alternatively, the output of three or more pictures may be skipped, thereby achieving an effect of matching lip sync while minimizing a break caused by skipping during screen reproduction. That is, when using a method of skipping a picture at any time as in the prior art, the screen is frequently cut off. However, when the plurality of pictures is skipped at once, the screen is less cut off than in the prior art.

도 4는 본 발명에 따른 비디오 스트림의 립 싱크 제어 방법을 설명하기 위하여 도시한 흐름도이다.4 is a flowchart illustrating a lip sync control method of a video stream according to the present invention.

410 단계에서는, 비디오 스트림이 수신되면, 수신된 비디오 스트림을 디코딩한다. In operation 410, when the video stream is received, the received video stream is decoded.

이때, 전술한 바와 같이 디코딩을 수행하기 전에 수신된 비디오 스트림 중 일부를 스킵할 것인지 여부를 판단할 수 있다. In this case, as described above, it may be determined whether to skip some of the received video streams before performing decoding.

420 단계에서는, 비디오 스트림 중 일부를 스킵(skip)할 것인지 여부를 결정한다.In step 420, it is determined whether to skip a portion of the video stream.

430 단계에서는, 420 단계의 결정 결과, 비디오 스트림 중 일부를 스킵하기로 결정되면 비디오 스트림에 포함된 픽처들 중에 참조(reference)가 종료된 픽처들을 제외한 나머지 픽처들만을 화면에 출력한다. In operation 430, when it is determined in operation 420 that a part of the video stream is to be skipped, only the remaining pictures except for the pictures whose references are terminated among the pictures included in the video stream are output on the screen.

한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. Meanwhile, the above-described embodiments of the present invention can be written as a program that can be executed in a computer, and can be implemented in a general-purpose digital computer that operates the program using a computer-readable recording medium.

상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다. The computer readable recording medium may be a magnetic storage medium such as a ROM, a floppy disk, a hard disk, etc., an optical reading medium such as a CD-ROM or a DVD and a carrier wave such as the Internet Lt; / RTI > transmission).

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far I looked at the center of the preferred embodiment for the present invention. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is defined by the appended claims rather than by the foregoing description, and all differences within the scope of equivalents thereof should be construed as being included in the present invention.

본 발명은 비디오 스트림이 수신되면, 수신된 비디오 스트림을 디코딩하고, 비디오 스트림 중 일부를 스킵(skip)할 것인지 여부를 결정하고, 비디오 스트림 중 일부를 스킵하기로 결정되면 비디오 스트림에 포함된 픽처들 중에 참조(reference)가 종료된 픽처들을 제외한 나머지 픽처들만을 화면에 출력함으로써 화면의 열화 없이 비디오 스트림의 립 싱크를 제어할 수 있다. When the video stream is received, the present invention decodes the received video stream, determines whether to skip some of the video stream, and if it is determined to skip some of the video stream, the pictures included in the video stream. The lip sync of the video stream can be controlled without deterioration of the screen by outputting only the remaining pictures on the screen except for the pictures whose reference is terminated.

Claims (5)

비디오 스트림의 립 싱크 제어 방법에 있어서,In the lip sync control method of a video stream, 상기 비디오 스트림이 수신되면, 상기 수신된 비디오 스트림을 디코딩하는 단계;If the video stream is received, decoding the received video stream; 상기 비디오 스트림 중 일부를 스킵(skip)할 것인지 여부를 결정하는 단계; 및Determining whether to skip a portion of the video stream; And 상기 비디오 스트림 중 일부를 스킵하기로 결정되면 상기 비디오 스트림에 포함된 픽처들 중에 참조(reference)가 종료된 픽처들을 제외한 나머지 픽처들만을 화면에 출력하는 단계를 포함하는 것을 특징으로 하는 제어 방법. And if only a part of the video stream is determined to be skipped, outputting only the remaining pictures on the screen except for the pictures whose references are terminated. 제1항에 있어서,The method of claim 1, 상기 디코딩하는 단계는The decoding step 상기 수신된 비디오 스트림 중 일부를 스킵할 것인지 여부를 결정하는 단계; 및Determining whether to skip some of the received video stream; And 상기 비디오 스트림 중 일부를 스킵하기로 결정되면 상기 비디오 스트림에 포함된 픽처 중에 B 픽처를 제외한 픽처들에 대해서만 디코딩하는 단계를 포함하는 것을 특징으로 하는 제어 방법. And if it is determined to skip some of the video stream, decoding only pictures other than a B picture among pictures included in the video stream. 제1항 또는 제2항에 있어서,The method according to claim 1 or 2, 상기 스킵할 것인지 여부를 결정하는 단계는Determining whether or not to skip 상기 비디오 스트림에 포함된 픽처들이 출력되어야 할 시간을 나타내는 출력 설정 시간과 상기 픽처들이 실제로 출력되는 시간을 나타내는 시스템 시간을 비교하여 스킵할 것인지 여부를 결정하는 것을 특징으로 하는 제어 방법.And determining whether to skip by comparing an output setting time indicating a time at which pictures included in the video stream should be output with a system time indicating a time at which the pictures are actually output. 비디오 스트림의 립 싱크 제어 장치에 있어서, In the lip sync control device of a video stream, 상기 비디오 스트림을 수신하는 수신부; A receiver configured to receive the video stream; 상기 수신된 비디오 스트림을 디코딩하는 디코더;A decoder for decoding the received video stream; 상기 비디오 스트림 중 일부를 스킵(skip)할 것인지 여부를 결정하는 스킵 여부 결정부; 및A skipping determining unit which determines whether to skip a part of the video stream; And 상기 비디오 스트림 중 일부를 스킵하기로 결정되면 상기 비디오 스트림에 포함된 픽처들 중에 참조(reference)가 종료된 픽처들을 제외한 나머지 픽처들만을 화면에 출력하는 출력부를 포함하는 것을 특징으로 하는 제어 장치. And an output unit for outputting only the remaining pictures on the screen except for pictures whose references are terminated among pictures included in the video stream when it is determined to skip some of the video stream. 제1항 또는 제2항의 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체.A computer-readable recording medium having recorded thereon a program for executing the method of claim 1.
KR1020070004967A 2007-01-16 2007-01-16 Method for controlling lip synchronization of video streams and apparatus therefor KR101161604B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070004967A KR101161604B1 (en) 2007-01-16 2007-01-16 Method for controlling lip synchronization of video streams and apparatus therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070004967A KR101161604B1 (en) 2007-01-16 2007-01-16 Method for controlling lip synchronization of video streams and apparatus therefor

Publications (2)

Publication Number Publication Date
KR20080067545A KR20080067545A (en) 2008-07-21
KR101161604B1 true KR101161604B1 (en) 2012-07-04

Family

ID=39821782

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070004967A KR101161604B1 (en) 2007-01-16 2007-01-16 Method for controlling lip synchronization of video streams and apparatus therefor

Country Status (1)

Country Link
KR (1) KR101161604B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109286769B (en) * 2018-10-11 2021-05-14 广州酷狗计算机科技有限公司 Audio recognition method, device and storage medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100376904B1 (en) 1994-11-18 2003-06-02 산요 덴키 가부시키가이샤 Video decoding device to control encoded video data
KR100617221B1 (en) 1999-02-10 2006-08-31 엘지전자 주식회사 Method for audio/video signal synchronizing of digital broadcasting receiver
KR100619041B1 (en) 2004-07-22 2006-09-01 삼성전자주식회사 Video synchronization apparatus and video synchronization method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100376904B1 (en) 1994-11-18 2003-06-02 산요 덴키 가부시키가이샤 Video decoding device to control encoded video data
KR100617221B1 (en) 1999-02-10 2006-08-31 엘지전자 주식회사 Method for audio/video signal synchronizing of digital broadcasting receiver
KR100619041B1 (en) 2004-07-22 2006-09-01 삼성전자주식회사 Video synchronization apparatus and video synchronization method

Also Published As

Publication number Publication date
KR20080067545A (en) 2008-07-21

Similar Documents

Publication Publication Date Title
US8275247B2 (en) Method and apparatus for normal reverse playback
US6642967B1 (en) Video data formatting and storage employing data allocation to control transcoding to intermediate video signal
US20070147517A1 (en) Video processing system capable of error resilience and video processing method for same
US8144791B2 (en) Apparatus, method, and medium for video synchronization
JP2007104231A (en) Transcoder, recording apparatus, transcode method
JP2008236188A (en) Multi-decoder device and method
US8165217B2 (en) Image decoding apparatus and method for decoding prediction encoded image data
KR101142379B1 (en) Method and Apparatus of playing digital broadcasting and Method of recording digital broadcasting
KR19990057101A (en) MPEG video decoding system and overflow processing method of MPEG video decoding system
KR101161604B1 (en) Method for controlling lip synchronization of video streams and apparatus therefor
JP2002300528A (en) Method and device for editing video stream
JP4468497B2 (en) Method and apparatus for reproducing original data of digitally encoded video film
JP4227643B2 (en) Moving picture coding apparatus and method
JP2008312013A (en) Transcoding device, transcoder, decoder, and transcoding method
KR100543453B1 (en) Apparatus and method for controlling bit rate of digital video data in reverse play
JP4723486B2 (en) Group of pictures restructuring method to provide random access to group of pictures
JP4736918B2 (en) Digital playback device or playback program
JP2009094815A (en) Moving image decoder and decoding method
JP4291185B2 (en) Transcoding method, transcoder and program
US8249432B2 (en) Video and audio playback apparatus and video and audio playback method
KR100215822B1 (en) Method for decoding image preventing bitstream overflow
JPH08265751A (en) Picture reproducing device by mpeg system
KR100956821B1 (en) Method for playing Personal Video Recorder
KR100686137B1 (en) Digital broadcasting receiver, and captured image editing and saving method
JP4651344B2 (en) MPEG-2 stream wipe switching method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee