KR100215822B1

KR100215822B1 - Method for decoding image preventing bitstream overflow

Info

Publication number: KR100215822B1
Application number: KR1019960073510A
Authority: KR
Inventors: 류화영
Original assignee: 구자홍; 엘지전자주식회사
Priority date: 1996-12-27
Filing date: 1996-12-27
Publication date: 1999-08-16
Also published as: KR19980054362A

Abstract

비트스트림 오버플로우를 방지하는 영상디코딩방법은 입력되는 영상 비트스트림에 대해 오버플로우가 발생되면 현재 처리중인 영상이 트랜스포트 디코딩인지를 확인하고 트랜스포트 디코딩이 아니면 입력되는 비트스트림을 차단하는 단계; 상기 처리중인 영상이 트랜스포트 디코딩인 경우 현재 디코딩 상태가 픽쳐데이타 인지를 확인하고 픽쳐데이타가 아니면 비트스트림 디코딩을 계속적으로 수행하는 단계; 상기 현재 디코딩상태가 픽쳐 데이터 디코딩 상태이면 해당영역을 스킵하고 다음 영역을 디코딩하는 단계로 이루어져 화면데이타의 손실을 줄이고 에러상태를 빠르게 회복할 수 있도록 하여 디코더의 디코딩 성능을 향상시킬 수 있도록 하며, 비트스트림 버퍼의 오버플로우문제는 비디오 디코더의 입력과 출력의 동기가 항상 정확하게 유지되기는 현실적으로 어려우므로 이러한 에러의 효과를 최소화할 수 있도록 한 것이다A video decoding method for preventing a bitstream overflow includes checking whether an image being processed is transport decoding when an overflow occurs with respect to an input video bitstream, and blocking the input bitstream if not. Checking whether the current decoding state is picture data when the image being processed is transport decoding and continuously performing bitstream decoding when the picture is not picture data; If the current decoding state is a picture data decoding state, skipping the corresponding area and decoding the next area to reduce the loss of screen data and quickly recover the error state, thereby improving the decoding performance of the decoder. The overflow problem of the stream buffer is to minimize the effects of these errors because it is practically difficult to keep the video decoder's input and output synchronized correctly all the time.

Description

Image Decoding Method to Prevent Bitstream Overflow

본 발명은 MPEG2를 이용한 영상디코딩 방법에 관한 것으로서, 특히 입력 비트스트림 오버플로우를 방지하기 위해 현재 처리중인 입력코딩신호의 내용을 확인하여 그 결과에 따라 디코딩방법을 다르게 하는 영상디코딩방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a video decoding method using MPEG2. More particularly, the present invention relates to a video decoding method of checking the contents of an input coded signal currently being processed to prevent an input bitstream overflow and changing the decoding method according to the result.

최근에 디지탈 처리된 영상과 오디오 등을 매체간에 송수신하는 포맷으로 많은 방법이 제시되고 있다.Recently, many methods have been proposed as formats for transmitting and receiving digitally processed video and audio between media.

그 중에서 MPEG2에서 제시된 MPEG2 시스템 파트가 있는데 이는 영상압축과 음성압축된 데이터를 이용하기 편리한 포맷으로 만들어 매체간에 데이터를 주고 받으려 한다.Among them, MPEG2 system part suggested in MPEG2 is to make data format and audio compressed data into convenient format to exchange data between media.

이렇게 데이터를 송수신하기 위해 비디오/오디오데이타를 디코딩하는 장치를 MPEG 비디오 디코더라한다.The apparatus for decoding video / audio data in order to transmit and receive data is called an MPEG video decoder.

상기 MPEG 비디오 디코더에서는 입력되는 비디오 입력 비트스트림 도중에 상기 디코더의 입력(Bitstream)과 출력(Display)사이에 동기가 어긋나 입력되는 비트스트림을 저장하는 비트스트림 버퍼 (bitstream buffer) 에 오버플로우(overflow) 가발생할 수 있다.In the MPEG video decoder, a wig is overflowed between a bitstream buffer for storing an input bitstream due to a difference in synchronization between the decoder's input (Bitstream) and an output (Display) during an input video input bitstream. It can happen.

이러한 오버플로우는 상기 버퍼의 연속적인 제어에 문제를 일으켜 전체적인 디코딩동작을 잘못되게 할 수 있으므로 종래의 MPEG 비디오 디코더는 이 경우에 대해 다음과 같은 처리방법으로 오버플로우를 방지하였다.Such an overflow may cause a problem in the continuous control of the buffer and may cause the overall decoding operation to be wrong. Therefore, the conventional MPEG video decoder prevents the overflow by the following processing method in this case.

도 1은 종래 기술에 따른 비트스트림 오버플로우를 방지하는 영상디코딩방법을 나타낸 동작 플로우챠트이다.1 is a flowchart illustrating an image decoding method for preventing a bitstream overflow according to the prior art.

도 1을 참조하여 그 처리방법을 살펴보면, 먼저 입력되는 영상 비트스트림을 디코딩하기 시작한다(S101).Referring to FIG. 1, the processing method is described. First, an input image bitstream is decoded (S101).

상기와 같이 영상 비트스트림에 대하여 디코딩이 시작되면 항상 비트스트림 버퍼에 오버플로우가 발생하였는지의 그 여부를 판단한다(S102).As described above, when decoding is started for the video bitstream, it is always determined whether or not an overflow occurs in the bitstream buffer (S102).

상기 판단결과 비트스트림 버퍼에 오버플로우가 발생되지 않았을 경우에는 입력되는 영상 비트스트림에 대하여 계속직으로 디코딩을 수행하고 판단결과 비트스트림 버퍼에 오버플로우가 발생하였을 경우에는 현재 입력되는 외부의 입력 비트스트림을 일 비트스트림 리퀘스트(Request)신호에 따라 일시 차단한다(S103).In the case where the overflow does not occur in the bitstream buffer as a result of the determination, decoding is continuously performed on the input video bitstream, and when the overflow occurs in the bitstream buffer as a result of the determination, the external input bitstream currently input Is temporarily blocked according to one bitstream request signal (S103).

그리고, 상기 비디오 디코더의 외부에서 입력되는 영상 비트스트림을 버퍼링 할 수 있는지의 그 여부를 판단한다(S104).In operation S104, it is determined whether or not the video bitstream input from the outside of the video decoder can be buffered.

이때, 상기 외부에서 입력되는 영상 비트스트림의 버퍼링이 어려울 경우에는 이전에 입력되어 비트스트림버퍼에 저장된 영상 비트스트림을 완전히 삭제하고 상기 비디오 디코더를 일시 리셋(Reset)시킨 후 다시 입력 비트스트림의 재 입력을 시작하는 것이다(S105).In this case, when it is difficult to buffer the externally input video bitstream, the video bitstream previously input and stored in the bitstream buffer is completely deleted, the video decoder is temporarily reset, and the input bitstream is re-input again. It is to start (S105).

이어, 상기 비트스트림 버퍼에 영상 비트스트림이 완전히 채워지면 다시 디코딩을 수행하게 되는 것이다.Subsequently, when the image bitstream is completely filled in the bitstream buffer, decoding is performed again.

여기서, 일반적으로 외부에서의 영상 비트스트림의 버퍼링 능력은 MPEG규격상 미약한 부분이다.In general, the buffering capability of an external image bitstream is a weak part of the MPEG standard.

종래 기술에 따른 비트스트림 영상디코딩방법은 상술한 바와 같이 미리 비트 스트림 버퍼에 저장된 모든 비트스트림을 버림으로서 화면데이타를 상당부분 손실시키게 되는 문제점이 있다.The bitstream video decoding method according to the related art has a problem in that screen data is substantially lost by discarding all the bitstreams previously stored in the bitstream buffer as described above.

또한, 새롭게 디코딩을 수행해야 하기 때문에 비트스트림 버퍼를 다시 채우는 시간 및 정상적인 디코딩의 시작점인 시퀀스 헤더코드(Sequence Header Code)를 디코딩할 때까지의 시간 등의 문제때문에 상당시간 동안에 정상적으로 디코딩을 하지 못하는 문제점이 있는 것이다.In addition, it is not possible to decode normally for a considerable time due to problems such as the time to refill the bitstream buffer and the time to decode the Sequence Header Code, which is the starting point of normal decoding, because a new decoding must be performed. Is there.

이 경우에 이것은 디스플레이의 에러이며 이전 픽쳐(Picture)의 반복 등의 방법으로 컨실먼트(Concealment) 되게 되는 것이다.In this case, this is a display error and concealment is done by repetition of the previous picture.

결과적으로 종래 기술에 따른 비트스트림 영상디코딩방법에서의 비트스트림 버퍼의 오버플로우는 화면에 심각한 에러를 초래하며 MPEG비디오 디코더의 성능을 저하시키는 요인이 되는 것이다.As a result, the overflow of the bitstream buffer in the bitstream video decoding method according to the prior art causes a serious error on the screen and is a factor that degrades the performance of the MPEG video decoder.

따라서, 본 발명은 상기한 종래 기술에 따른 문제점을 해결하기 위하여 안출된 것으로 본 발명의 목적은 MPEG비디오 디코더에서 비트스트림 버퍼에 오버플로우가 발생했을 경우 디코딩된 화면에 에러를 발생시키지 않도록 한 비트스트림 오버플로우를 방지하는 영상디코딩방법을 제공함에 있다.Accordingly, an object of the present invention is to solve the problems of the prior art, and an object of the present invention is to prevent an error in a decoded picture when an overflow occurs in a bitstream buffer in an MPEG video decoder. An image decoding method of preventing overflow is provided.

도 1은 종래 기술에 따른 비트스트림 영상디코딩방법을 나타낸 동작 플로우챠트1 is an operation flowchart showing a bitstream image decoding method according to the prior art.

도 2는 본 발명에 따른 비트스트림 오버플로우를 방지하는 영상디코딩방법을 나타낸 동작 플로우챠트2 is an operation flowchart showing a video decoding method for preventing bitstream overflow according to the present invention.

본 발명에 따른 비트스트림 오버플로우를 방지하는 영상디코딩방법은 MPEG2를 이용한 영상 복합화에 있어 입력되는 비트스트림의 오버플로우를 방지하기 위하여 현재 처리중인 입력코딩신호의 내용을 확인하여 그 결과에 따라 디코딩방법을 다르게 하는 것에 그 특징이 있다.In the video decoding method for preventing the bitstream overflow according to the present invention, in order to prevent the overflow of the input bitstream in the video compositing using MPEG2, the content of the input coding signal being processed is decoded according to the result. The difference is that

본 발명에 따른 비트스트림 오버플로우를 방지하는 영상디코딩방법의 다른 특징은 입력되는 영상 비트스트림에 대해 오버플로우가 발생되면 현재 처리중인 영상이 트랜스포트 디코딩인지를 확인하고 트랜스포트 디코딩이 아니면 입력되는 비트스트림을 차단하는 단계;상기 처리중인 영상이 트랜스포트 디코딩인 경우 현재 디코딩 상태가 픽쳐데이타인지를 확인하고 픽쳐데이타가 아니면 비트스트림 디코딩을 계속적으로 수행하는 단계; 상기 현재 디코딩상태가 픽쳐 데이터 디코딩 상태이면 해당영역을 스킵하고 다음 영역을 디코딩하는 단계로 이루어짐에 있다.Another feature of the video decoding method for preventing a bitstream overflow according to the present invention is to check whether the video being processed is transport decoding if an overflow occurs with respect to the input video bitstream. Blocking the stream; checking whether the current decoding state is picture data when the processed image is transport decoding and continuously performing bitstream decoding when the picture is not picture data; If the current decoding state is a picture data decoding state, skipping a corresponding region and decoding a next region.

이하, 본 발명에 따른 비트스트림 오버플로우를 방지하는 영상디코딩방법에 대하여 첨부된 도면을 참조하여 설명하기로 한다.Hereinafter, an image decoding method for preventing bitstream overflow according to the present invention will be described with reference to the accompanying drawings.

도 2는 본 발명에 따른 비트스트림 오버플로우를 방지하는 영상디코딩방법을 나타낸 동작 플로우챠트이다.2 is an operation flowchart illustrating a video decoding method for preventing bitstream overflow according to the present invention.

먼저, 입력되는 영상 비디오 비트스트림에 대하여 디코딩을 시작한다(S201).First, decoding is started on the input video video bitstream (S201).

디코딩을 시작한 이후로 비트스트림 버퍼(미도시)의 상태즉, 오버플로우가 발생되었는지 그 여부를 체크하게 된다(S202).After starting the decoding, the state of the bitstream buffer (not shown), that is, whether or not an overflow has occurred is checked (S202).

그 체크 결과 비트스트림 버퍼에 오버플로우가 발생되지 않았으면 영상 비트 스트림 디코딩을 계속직으로 수행하고, 만약 비트스트림 버퍼에 오버플로우가 입력과 출력의 동기의 불일치로 인해 발생되었을 경우에는 모드 0(Mode 0)레지스터(미도시)를 체크하게 되는 것이다(S203).As a result of the check, if the overflow does not occur in the bitstream buffer, the video bitstream decoding is continuously performed. If the overflow occurs in the bitstream buffer due to synchronization of input and output, Mode 0 (Mode) 0) the register (not shown) is checked (S203).

여기서, 상기 모드 0 레지스터는 TP 그리고 DSM의 두 값만을 가지게 된다.Here, the mode 0 register has only two values, TP and DSM.

상기 TP는 HDTV, DBS와 갈은 트랜스포트로부터의 입력을 나타내고 DSM은 CD-ROM, 하드 디스크, 디지탈 VCR 등의 디지탈 저장매체로부터의 입력을 나타낸다고 정의한다.The TP is defined as representing inputs from HDTV, DBS and transport transport, and the DSM represents input from digital storage media such as CD-ROM, hard disk, and digital VCR.

이때, 상기 각 모드에 대해서는 다르게 처리한다. 그 이유는 디지탈 저장매체의 경우는 입력의 수신과 차단을 자유롭게 할 수 있으나 트랜스포트로부터의 입력은 어느 정도의 일정한 레이트로 연속적으로 비트스트림이 수신되므로 수신과 차단을 자유롭게 할 수 없기 때문이다.In this case, the respective modes are processed differently. The reason for this is that digital storage media can freely receive and block inputs, but inputs from a transport cannot receive and block freely because the bitstream is continuously received at a certain rate.

TP모드의 경우를 살펴보면 우선, 입력되는 영상 비트스트림에 대한 영상 디코딩의 상태를 판단한다(S204).Referring to the case of the TP mode, first, the state of the video decoding for the input video bitstream is determined (S204).

현재 디코딩 상태가 비트스트림의 헤더(Header)를 디코딩하고 있는 상태라면다시 S201 단계의 디코딩으로 피드백되어 계속적으로 디코딩을 수행한다.If the current decoding state is decoding the header of the bitstream, it is fed back to the decoding of step S201 to continue decoding.

이렇게 할 수 있는 이유는 일반적으로 헤더는 하드웨어가 허용하는 한 빠르게 디코딩을 할 수 있어 입력레이트(Rate)보다는 빨리 디코딩을 해낼 수 있기 때문이다.The reason for this is that the header is usually decoded as fast as the hardware allows so it can decode faster than the input rate.

만약, 현재 픽쳐의 데이터를 디코딩하고 있는 상태라면 모드 1(mode 1)례 지스터(미도시) 를 체크한다(S205).If the data of the current picture is being decoded, a mode 1 example jitter (not shown) is checked (S205).

여기서, 상기 모드 1 레지스터는 후술할 디코덩 슬라이스 스킵의 상태를 사용자가 원하는 대로 지정할 수 있는 레지스터라고 정의한다.Herein, the mode 1 register is defined as a register that can specify a decoded slice skip state to be described later.

상기 픽쳐 데이터를 디코딩을 하는 경우 디스플레이의 레이트에 동기되어 디코딩이 이루어져야 하기 때문에 오버플로우라고 빨리 디코딩을 할 수 없는 것이다.In the case of decoding the picture data, it is impossible to quickly decode the overflow because the decoding must be performed in synchronization with the display rate.

따라서, 오버플로우로 인한 이상 디코딤을 막기 위해서는 해당영역의 디코딩을 스킵하고(S207) 그 다음 영역의 디코딩을 해야 하는 것이다.Therefore, in order to prevent abnormal decoding due to overflow, decoding of the corresponding region is skipped (S207) and decoding of the next region is required.

이때, 본 발명에서는 두 가지 선택가능한 방법을 이용한다.At this time, the present invention uses two selectable methods.

이것은 상기 모드 1 레지스터에 의해 선택된다.This is selected by the mode 1 register.

먼저, 첫번째 방법은 오버플로우로 인한 디코딩에러의 상태를 최소화하기 위해 정상적인 MPEG비디오 디코딩은 회복할 수 있는 최소단위인 다음 슬라이스 코드까지 픽쳐데이타를 스킵하는 것이다(S207). 즉, 슬라이스 스킵(Slice Skip)동작을 하는 것이다.First, the first method is to skip picture data to the next slice code which is the minimum unit that can be recovered in normal MPEG video decoding in order to minimize the state of the decoding error due to overflow (S207). That is, a slice skip operation is performed.

이어, 두번째 방법은 픽쳐의 코딩타입을 체크하여(S206) B픽쳐에서는 슬라이스 스킵동작을 하고 I 또는 P 픽쳐에서는 시퀀스 스킵(Squence Skip)동작을 하는 것 이다(S208).Next, the second method is to check the coding type of the picture (S206) and perform a slice skip operation on the B picture and a sequence skip operation on the I or P picture (S208).

그리고 상기 두 방법 모두 정상적인 디코딩 동작으로 돌아가는 것이다.Both methods return to normal decoding operation.

여기서, 디코딩 스킵동작은 입력레이트보다 일반적으로 수배이상 빠르기 때문에 오버플로우상태를 해소할 수 있는 것이다.Here, since the decoding skip operation is generally several times faster than the input rate, the overflow state can be eliminated.

상기 두 방법은 모두 단순히 종래와 같이 시스템을 리셋하는 방법보다 화면데이타의 손실을 줄일 수 있으며 오버플로우로 인한 에러상태를 최소화 한다.Both of the above methods can reduce the loss of screen data and minimize the error state due to overflow, as compared with the conventional method of resetting the system.

상기 두 방법의 차이는 다음과 같다.The difference between the two methods is as follows.

첫 번째의 경우는 두 번째 방법보다 에러상태에 있는 시간을 줄인다. 이것은 시퀀스 헤더가 아니고 슬라이스 스테이트 코드를 찾기 때문이다. 그러나, P 나 I 픽쳐에서의 슬라이스 스킵은 경우에 따라서 에러가 프로퍼게이션(Propagation)되어 부분적으로 잠깐동안 화면이 일그러질 수 있다.The first case reduces the time for error than the second. This is because the slice state code is found, not the sequence header. However, in the case of slice skipping in a P or I picture, an error may be propagated in some cases and the screen may be distorted for a while.

반면, 두 번째 방법은 에러상태의 회복은 조금 느리고 화면손실은 더 있지만 에러가 프로퍼게이션되는 현상은 막을 수 있다.On the other hand, the second method is a little slower to recover the error state and more screen loss, but can prevent the error from propagating.

이것은 사용자의 선택에 따라 결정되어지는 것이다.This is determined by the user's choice.

한편, 도 2에서 모드 0가 DSM일 경우에는 입력되는 비트스트림을 차단한다(S209).On the other hand, if the mode 0 is a DSM in FIG. 2, the input bitstream is blocked (S209).

그리고 어느정도 디코딩을 한 후에(S210) 다시 입력 비트스트림을 받아 정상적인 디코딩을 하는 것이다(S211).After decoding to some extent (S210), the input bitstream is received again and normal decoding is performed (S211).

이 경우는 입력 비트스트림을 조절할 수 있으므로 디코딩된 화면에는 아무런 영향을 주지 않게 된다.In this case, the input bitstream can be adjusted so that the decoded picture is not affected.

상기에서 슬라이스 스킵을 했을 경우에는 움직임 보상부(Motion Compensation: 미도시)에서 슬라이스 리피티션(slice repetition) 등의 에러컨실먼트를 수행하고 시퀀스 스킵의 경우는 상기 움직임 보상부의 슬라이스 리피티션과 디스플레이부의 프레임 리피티션 등을 이용하면 되는 것이다.In the case where the slice skip is performed, an error concealment such as a slice repetition is performed by a motion compensation unit (not shown), and in the case of a sequence skip, the slice repetition and display of the motion compensation unit are performed. Negative frame repetition may be used.

본 발명에 따른 비트스트림 오버플로우를 방지하는 영상디코딩방법은 종래기술과 비교할 때 비트스트림 버퍼의 오버플로우를 시스템 전체의 이상으로 판단하여 리셋하는 것이 아니라 하나의 일시적인 에러로 판단하여 에러 컨실먼트 동작을 상술한 바와 같이 수행하므로서 또한 입력비트스트림의 소스에 의해 적절히 다르게 처리하므로서(TP 또는 DSM)화면데이타의 손실을 줄이고 에러상태를 빠르게 회복할 수 있도록 하여 디코더의 디코딩 성능을 향상시킬 수 있도록 하는 것이다.Compared to the prior art, the video decoding method for preventing bitstream overflow according to the present invention does not reset the bitstream buffer due to an abnormality of the entire system, but rather resets the error concealment operation by determining it as a temporary error. By performing as described above, and by appropriately processing differently by the source of the input bitstream (TP or DSM), it is possible to improve the decoding performance of the decoder by reducing the loss of picture data and recovering the error state quickly.

또한, 비트스트림 버퍼의 오버플로우문제는 비디오 디코더의 입력과 출력의 동기가 항상 정확하게 유지되기는 현실적으로 어려우므로 이러한 에러의 효과를 최소화할 수 있도록 한 것이다.In addition, the problem of overflow of the bitstream buffer is to minimize the effect of such an error because it is difficult to keep the synchronization of the input and output of the video decoder always accurate.

Claims

A video decoding method comprising: checking whether an image being processed is transport decoding when an overflow occurs with respect to an input video bitstream, and blocking the input bitstream if the video decoding process is not transport decoding; Checking whether the current decoding state is picture data when the image being processed is transport decoding and continuously performing bitstream decoding when the picture is not picture data; And if the current decoding state is a picture data decoding state, skipping a corresponding region and decoding a next region.

The image decoding method of claim 1, wherein the skip of the picture data is skipped in slice units.

The image decoding method of claim 1, wherein when the picture data is a B frame, the picture data is skipped in units of slices, and when the picture data is not a B frame, skips are performed in sequence units.

The image decoding method of claim 1, wherein the input blocker blocks input to a bitstream input from a digital storage medium when the transport decoding is not performed.