KR101086257B1 - Multimedia processor and Method for deinterlace thereof - Google Patents
Multimedia processor and Method for deinterlace thereof Download PDFInfo
- Publication number
- KR101086257B1 KR101086257B1 KR1020100028113A KR20100028113A KR101086257B1 KR 101086257 B1 KR101086257 B1 KR 101086257B1 KR 1020100028113 A KR1020100028113 A KR 1020100028113A KR 20100028113 A KR20100028113 A KR 20100028113A KR 101086257 B1 KR101086257 B1 KR 101086257B1
- Authority
- KR
- South Korea
- Prior art keywords
- frame
- noise
- filtering
- huffman
- result value
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
- H04N7/012—Conversion between an interlaced and a progressive signal
Abstract
본 발명은 멀티미디어 프로세서 및 멀티미디어 프로세서의 디인터레이스 방법에 관한 것으로, 본 발명에 따른 멀티미디어 프로세서는 제1 프레임과 제1 프레임에 대해 노이즈 제거 필터링이 수행된 프레임에 기초하여 허프만 부호화를 수행하고, 허프만 부호화에 따른 제1 결과값을 저장하도록 하는 허프만 인코더부, 제1 프레임에 대한 노이즈 제거 필터링을 수행하며, 제2 프레임을 리드하여 노이즈 제거 필터링을 수행하는 노이즈 제거 필터부, 제1 프레임, 제1 결과값을 리드하고, 제1 결과값에 대한 복호화를 수행하여 제2 결과값을 획득하며, 제1 프레임과 제2 결과값에 기초하여, 제1 프레임에 대해 노이즈 제거 필터링 처리된 프레임을 획득하는 허프만 디코더부 및 제2 프레임에 대해 노이즈 제거 필터링이 수행된 프레임과, 제1 프레임에 대해 노이즈 제거 필터링 처리된 프레임을 이용하여, 디인터레이스 필터링을 수행하는 디인터레이스 필터부를 포함하여, 메모리 입출력 횟수를 줄여 버스 트래픽을 감소시킬 수 있다.The present invention relates to a multimedia processor and a method for deinterlacing a multimedia processor. The multimedia processor according to the present invention performs Huffman encoding based on a first frame and a frame in which noise elimination filtering is performed on the first frame, Huffman encoder unit for storing the first result value according to the noise, noise reduction filter for performing the noise removal filtering for the first frame, the second frame to perform the noise removal filtering, the first frame, the first result value Huffman decoder which reads, obtains a second result value by performing decoding on the first result value, and obtains a noise-reduced filtered frame for the first frame based on the first frame and the second result value. Frames with noise elimination filtering performed on the negative and second frames, and noise on the first frame The deinterlaced filter unit may perform deinterlace filtering using the filtered frames to reduce bus traffic by reducing the number of memory inputs and outputs.
Description
본 발명은 멀티미디어 프로세서 및 멀티미디어 프로세서의 디인터레이스 방법에 관한 것으로, 더욱 상세하게는 디인터레이스를 수행하는 멀티미디어 프로세서 및 멀티미디어 프로세서의 디인터레이스 방법에 관한 것이다.
The present invention relates to a multimedia processor and a deinterlacing method of a multimedia processor, and more particularly, to a multimedia processor for performing a deinterlace and a deinterlacing method of a multimedia processor.
모션 어뎁티브 디인터레이스(Motion adaptive deinterlace) 필터는 공간 도메인(spatial domain)에서 수행하는 디인터레이스 필터에 비해 높은 영상 퀄러티를 얻을 수 있으나 구현시 현재 영상뿐만 아니라 과거 영상도 필요로 한다. 또한, 입력 영상에 노이즈가 있으면 정확한 원 영상 정보를 알 수 없어 모션을 분석하는데 어려움이 있다. 이의 해결을 위해 디인터레이스 필터의 입력단에 노이즈 제거(denoise) 필터를 두어 입력 영상들에 대한 노이즈 제거를 선처리한다. The motion adaptive deinterlace filter can obtain a higher image quality than the deinterlace filter performed in the spatial domain, but the implementation requires the past image as well as the current image. In addition, if there is noise in the input image, accurate original image information cannot be known, which makes it difficult to analyze motion. To solve this problem, a noise canceling filter is placed at the input of the deinterlacing filter to preprocess the noise canceling on the input images.
[도 1]은 일반적인 멀티미디어 프로세서의 내부 구성을 개략적으로 나타내는 도면이다. 도면을 참조하면, 일반적인 멀티미디어 프로세서는 (a)와 같이 제1 노이즈 제거 필터(102), 제2 노이즈 제거 필터(104), 디인터레이스 필터(106) 및 메인 메모리(108)를 포함할 수 있다. 이때, 디인터레이스 필터는 현재 및 과거 프레임을 필요로 하는 모션 어뎁티브 디인터레이스 필터로 구비되고, 노이즈 제거 필터(102, 104)는 공간(spatial) 필터로 구비될 수 있다. 또한, 일반적인 멀티미디어 프로세서는 (b)와 같이 노이즈 제거 필터(110), 디인터레이스 필터(112) 및 메인 메모리(114)를 포함할 수 있다.1 is a diagram schematically illustrating an internal configuration of a general multimedia processor. Referring to the drawings, a general multimedia processor may include a first
그런데, (a)의 경우 현재와 과거 프레임에 대해 매번 노이즈 제거 필터링을 수행해 매 프레임 프로세싱시 두 개 프레임을 읽어야 하고, 두 개의 노이즈 제거 필터를 구비해야 한다. 또한, (b)의 경우 현재 프레임에 대해 노이즈 제거필터링을 수행하고 그 결과를 메인 메모리에 저장한다. 메모리에 저장된 노이즈 제거 필터링된 프레임 정보는 노이즈 제거 필터링된 과거 영상으로 사용된다. 이와 같이 구현시 매 프레임 프로세싱시 세 개 프레임을 읽거나 써야 한다. 이에 따라, 버스 트래픽 증가로 인한 시스템 성능 저하의 원인이 될 수 있다. 즉, (a)의 경우 메모리 입출력(IO)은 적으나 두 개의 노이즈 제거 필터를 사용해 면적 오버헤드(overhead)가 있다. 또한, 두 개의 노이즈 제거(spatial denoise) 필터를 하나의 필터를 사용할 때보다 두배의 라인 버퍼(line buffer)를 필요로해 면적 오버헤드가 매우 크다. 또한, (b)의 경우 노이즈 제거 필터를 한개만 사용해 면적 오버헤드는 줄였으나 (a)의 경우보다 많은 메모리 입출력을 필요로 하는 단점이 있다.
However, in the case of (a), two frames must be read for each frame processing by performing noise removing filtering on the current and past frames, and two noise removing filters should be provided. Also, in case of (b), the noise removing filtering is performed on the current frame and the result is stored in the main memory. The noise elimination filtered frame information stored in the memory is used as the noise elimination filtered past image. This implementation requires three frames to be read or written for every frame processing. As a result, system performance may be reduced due to increased bus traffic. That is, in case of (a), the memory input / output (IO) is small but there is an area overhead using two noise removing filters. In addition, two spatial denoise filters require twice as much line buffer than one filter, resulting in a large area overhead. In addition, in the case of (b), the area overhead is reduced by using only one noise removal filter, but there is a disadvantage in that it requires more memory input / output than in the case of (a).
본 발명의 목적은 허프만 부호화를 이용하여 메모리 입출력 횟수를 줄여 버스 트래픽을 감소시키는 멀티미디 프로세서 및 멀티미디어 프로세서의 디인터레이스 방법을 제공함에 있다.
An object of the present invention is to provide a de-interlacing method of a multimedia processor and a multimedia processor to reduce bus traffic by reducing the number of memory input and output using Huffman coding.
이러한 과제를 달성하기 위한 본 발명에 따른 멀티미디어 프로세서의 디인터페이스 방법은 제1 프레임과 제1 프레임에 대해 노이즈 제거 필터링이 수행된 프레임에 기초하여 허프만 부호화를 수행하고, 허프만 부호화에 따른 제1 결과값을 저장하도록 하는 단계, 제2 프레임을 리드하여, 노이즈 제거 필터링을 수행하는 단계, 제1 프레임, 제1 결과값을 리드하며, 제1 결과값에 대한 복호화를 수행하여 제2 결과값을 획득하는 단계, 제1 프레임과 제2 결과값에 기초하여, 제1 프레임에 대해 노이즈 제거 필터링 처리된 프레임을 획득하는 단계 및제2 프레임에 대해 노이즈 제거 필터링이 수행된 프레임과, 제1 프레임에 대해 노이즈 제거 필터링 처리된 프레임을 이용하여, 디인터레이스 필터링을 수행하는 단계를 포함한다.In order to achieve the above object, the deinterface method of the multimedia processor according to the present invention performs Huffman encoding based on the first frame and the frame on which the noise elimination filtering is performed on the first frame, and a first result value according to Huffman encoding. Storing a second frame; reading a second frame; performing noise removing filtering; reading a first frame; a first result; and decoding the first result; obtaining a second result Obtaining a noise canceled filtered frame for the first frame based on the first frame and the second result, and a noise canceled filtered frame for the second frame, and a noise canceling for the first frame Performing deinterlaced filtering using the filtered frame.
또한, 본 발명에 따른 멀티미디어 프로세서는 제1 프레임과 제1 프레임에 대해 노이즈 제거 필터링이 수행된 프레임에 기초하여 허프만 부호화를 수행하고, 허프만 부호화에 따른 제1 결과값을 저장하도록 하는 허프만 인코더부, 제1 프레임에 대한 노이즈 제거 필터링을 수행하며, 제2 프레임을 리드하여 노이즈 제거 필터링을 수행하는 노이즈 제거 필터부, 제1 프레임, 제1 결과값을 리드하고, 제1 결과값에 대한 복호화를 수행하여 제2 결과값을 획득하며, 제1 프레임과 제2 결과값에 기초하여, 제1 프레임에 대해 노이즈 제거 필터링 처리된 프레임을 획득하는 허프만 디코더부 및 제2 프레임에 대해 노이즈 제거 필터링이 수행된 프레임과, 제1 프레임에 대해 노이즈 제거 필터링 처리된 프레임을 이용하여, 디인터레이스 필터링을 수행하는 디인터레이스 필터부를 포함한다.
In addition, the multimedia processor according to the present invention performs a Huffman encoding based on the first frame and the frame on which the noise removal filtering is performed, and the Huffman encoder unit to store the first result value according to the Huffman encoding, A noise elimination filtering is performed on the first frame, a noise elimination filter unit performing a noise elimination filtering by reading a second frame, a first frame, a first result value is read, and a decoding is performed on the first result value. A second result value is obtained, and based on the first frame and the second result value, the noise elimination filtering is performed on the Huffman decoder unit and the second frame which obtain the noise-reduced filtering frame on the first frame. A deinterlace that performs deinterlacing filtering using a frame and a frame subjected to noise removal filtering on the first frame. It includes a filter unit.
본 발명에 따르면, 허프만 부호화를 이용하여 면적 오버헤드를 줄이면서도 메모리 입출력 횟수를 줄여 버스 트래픽을 감소시킬 수 있다.According to the present invention, bus traffic can be reduced by reducing the number of memory inputs and outputs while reducing the area overhead by using Huffman coding.
또한, 노이즈 제거 필터가 가우시안 노이즈(Gussian noise)를 제거하는 점을 이용하여, 허프만 인코더가 가우시안 노이즈를 압축하는 부호화를 수행함으로써 압축 효율성을 극대화할 수 있다.
In addition, by using a noise removing filter to remove Gaussian noise, the Huffman encoder performs encoding to compress Gaussian noise, thereby maximizing compression efficiency.
[도 1]은 일반적인 멀티미디어 프로세서의 내부 구성을 개략적으로 나타내는 도면.
[도 2]는 본 발명의 실시예에 따른 멀티미디어 프로세서의 내부 구성을 개략적으로 나타내는 도면.
[도 3]은 본 발명의 실시예에 따른 노이즈 제거 필터링된 프레임과 입력 프레임과의 차이값(δ)의 히스토그램 그래프를 나타낸 도면.
[도 4]는 본 발명의 실시예에 따른 메인 메모리에서 저장 영역의 할당 방법을 나타낸 도면.
[도 5]는 본 발명에 따른 멀티미디어 프로세서를 적용하여 메인 메모리 입출력 횟수의 감소를 나타낸 도면.1 is a diagram schematically showing an internal configuration of a general multimedia processor.
2 is a diagram schematically illustrating an internal configuration of a multimedia processor according to an embodiment of the present invention.
3 is a graph showing a histogram of a difference value δ between a noise canceling filtered frame and an input frame according to an exemplary embodiment of the present invention.
4 illustrates a method of allocating a storage area in a main memory according to an embodiment of the present invention.
5 is a view showing a reduction in the number of input and output main memory by applying a multimedia processor according to the present invention.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.Hereinafter, with reference to the drawings will be described the present invention in more detail.
[도 2]는 본 발명의 실시예에 따른 멀티미디어 프로세서의 내부 구성을 개략적으로 나타내는 도면이다.2 is a diagram schematically illustrating an internal configuration of a multimedia processor according to an embodiment of the present invention.
[도 2]를 참조하면, 본 발명의 실시예에 따른 멀티미디어 프로세서는 노이즈 제거 필터(200), 허프만 인코더(Huffman Encoder)(215)를 포함하는 허프만 인코더부(210), 허프만 디코더(Huffman Decoder)(235)를 포함하는 허프만 디코더부(230) 및 디인터레이스 필터(240)를 포함하며, 내부 버스(bus)를 통해 메인 메모리(220)와 데이터 송수신을 수행할 수 있다. 또한, 본 발명에 따른 멀티미디어 프로세서는 멀티미디어 재생 장치에 포함된 비디오 인핸서(video enhancer) 등에 적용될 수 있다.Referring to FIG. 2, a multimedia processor according to an embodiment of the present invention includes a Huffman
노이즈 제거 필터부(200)는 공간 필터로 구비되어, 제1 프레임을 리드하여 노이즈 제거 필터링을 수행하고, 제2 프레임을 리드하여 노이즈 제거 필터링을 수행할 수 있다.The noise removing
허프만 인코더부(210)는 제1 프레임과 제1 프레임에 대해 노이즈 제거 필터링이 수행된 프레임에 기초하여 허프만 부호화를 수행하고, 허프만 부호화에 따른 제1 결과값을 저장하도록 한다. The Huffman
즉, 허프만 인코더부(210)는 제1 프레임과 제1 프레임에 대해 필터링이 수행된 프레임의 차이값을 산출하고, 산출된 차이값에 허프만 인코더(215)를 통해 허프만 부호화를 수행하여 압축된 제1 결과값을 획득하며, 획득된 제1 결과값을 메인 메모리(220)에 저장하도록 할 수 있다.That is, the Huffman
이때, 제1 프레임과 제1 프레임에 대해 필터링이 수행된 프레임의 차이값은, 가우시안(Gaussian) 분포를 형성한다. 이에 따라, 허프만 인코더부(210)는 하나 이상의 차이값과 각 차이값에 상응하는 코드값을 포함하여 미리 설정된 허프만 테이블을 참조하여, 허프만 부호화를 수행할 수 있다.In this case, the difference between the first frame and the frame on which the filtering is performed on the first frame forms a Gaussian distribution. Accordingly, the Huffman
또한, 허프만 디코더부(230)는 제1 프레임, 제1 결과값을 리드하고, 허프만 디코더(235)를 통해 제1 결과값에 대한 복호화를 수행하여 제2 결과값을 획득하며, 제1 프레임과 제2 결과값에 기초하여, 제1 프레임에 대해 노이즈 제거 필터링 처리된 프레임을 획득한다.In addition, the Huffman
이때, 허프만 디코더부(230)는 제1 프레임과 제2 결과값을 합산하여,상기 제1 프레임에 대해 노이즈 제거 필터링 처리된 프레임을 획득할 수 있다.In this case, the Huffman
또한, 디인터레이스 필터(240)는 엘씨디(LCD), 플라즈마 디스플레이와 같이 프로그레시브(progressive) 영상만을 디스플레이하는 장치 사용시 인터레이스(interlace) 영상을 프로그레시브 영상으로 변환한다. 이때, 디인터레이스 필터링을 통해 인터레이스 아티펙트를 제거하기 위해서는 모션 컴펜세이션(motion compensation), 모션 어뎁티브(motion adaptive) 방식 같은 모션 정보를 활용하는 방식을 주로 사용하며 이는 현재 프레임뿐만 아니라 과거 프레임 정보를 필요로 한다. 또한, 모션의 분석시 입력 영상에 노이즈가 있는 경우 제대로된 모션 측정이 불가능하므로, 디인터레이스 필터의 입력 영상은 노이즈 제거 필터(200)를 통해 노이즈 제거 필터링을 수행한 후 사용하게 된다.In addition, the
또한, 디인터레이스 필터부(240)는 제2 프레임에 대해 노이즈 제거 필터링이 수행된 프레임과, 제1 프레임에 대해 노이즈 제거 필터링 처리된 프레임을 이용하여, 디인터레이스 필터링을 수행한다.In addition, the
한편, 이와 같은 구성을 참조하여, 본 발명에 따른 멀티미디어 프로세서의 디인터레이스 방법을 설명하면 다음과 같다.On the other hand, with reference to such a configuration, the de-interlacing method of the multimedia processor according to the present invention will be described.
허프만 인코더부(210)는 제1 프레임과 제1 프레임에 대해 노이즈 제거 필터링이 수행된 프레임에 기초하여 허프만 부호화를 수행하고, 허프만 부호화에 따른 제1 결과값을 메인 메모리(220)에 저장하도록 한다.The Huffman
이때, 허프만 인코더부(210)는 제1 프레임과 제1 프레임에 대해 필터링이 수행된 프레임의 차이값을 산출하는 과정, 산출된 차이값에 허프만 부호화를 수행하여 압축된 제1 결과값을 획득하는 허프만 부호화 수행 과정 및 획득된 제1 결과값을 메인 메모리에 저장하도록 과정을 순차적으로 수행할 수 있다.At this time, the Huffman
또한, 노이즈 제거 필터부(200)는 제2 프레임을 리드하여 노이즈 제거 필터링을 수행할 수 있다. 또한, 이때, 허프만 인코더부(210)는 제2 프레임과 제2 프레임에 대해 필터링이 수행된 프레임에 기초하여 허프만 부호화를 수행하고, 허프만 부호화에 따른 제3 결과값을 메인 메모리(220)에 저장하도록 할 수 있다.In addition, the noise removing
또한, 허프만 디코더부(230)는 제1 프레임, 제1 결과값을 리드하며, 제1 결과값에 대한 복호화를 수행하여 제2 결과값을 획득한다. 그리고, 허프만 디코더부(230)는 제1 프레임과 제2 결과값에 기초하여, 제1 프레임에 대해 노이즈 제거 필터링 처리된 프레임을 획득한다.In addition, the Huffman
그 후, 디인터레이스 필터부(240)는 제2 프레임에 대해 노이즈 제거 필터링이 수행된 프레임과, 제1 프레임에 대해 노이즈 제거 필터링 처리된 프레임을 이용하여, 디인터레이스 필터링을 수행한다.Thereafter, the
예를 들어, 도 2를 참조하여, 본 발명에 따른 멀티미디어 프로세서의 디인터레이스 방법을 설명하면 다음과 같다.For example, referring to FIG. 2, a method of deinterlacing a multimedia processor according to the present invention will be described.
δcur는 현재 프레임과 현재 프레임에 대해 노이즈 제거 필터링된 프레임간 차이값이고, δprev는 과거 프레임과 과거 프레임에 대해 노이즈 제거 필터링된 프레임간 차이값이며, δcur'와 δprev'는 각각 δcur와 δprev를 허프만 부호화한 값이다.δ cur is the difference between the noise-reduced filtered frame for the current frame and the current frame, δ prev is the difference between the noise-reduced filtered frame for the past and past frames, and δ cur 'and δ prev ' are respectively δ Huffman coded cur and δ prev .
매 프레임 프로세싱시, 현재 프레임과 현재 프레임에 대해 노이즈 제거 프로세싱된 프레임간의 차를 이용해 δcur를 생성한다. δcur는 δcur'로 부호화 즉, 압축되어 메인 메모리(220)에 저장된다. 매 프레임 프로세싱시 과거 저장되었던 δprev'를 읽고 복호화(decompression)하여 δprev를 생성한다. δprev는 과거 프레임과 합쳐져 과거 노이즈 제거 프로세싱된 프레임이 되어 디인터레이스 필터(240)의 입력이 된다.
At every frame processing, δ cur is generated using the difference between the current frame and the noise canceled processed frame for the current frame. δ cur is encoded, that is, compressed into δ cur ′ and stored in the
[도 3]은 본 발명의 실시예에 따른 노이즈 제거 필터링된 프레임과 입력 프레임과의 차이값(δ)의 히스토그램 그래프를 나타낸 도면이다.3 is a diagram illustrating a histogram graph of a difference value δ between a noise canceling filtered frame and an input frame according to an exemplary embodiment of the present invention.
[도 3]을 참조하면, 노이즈 제거 필터링된 영상과 입력 영상과의 차를 δ라 할 때 노이즈 제거 필터링된 영상 FFiltered와 현재 영상 Fcur의 관계는 다음과 같다.Referring to FIG. 3, when the difference between the noise removing filtered image and the input image is δ, the relationship between the noise removing filtered image F Filtered and the current image F cur is as follows.
FFiltered = Fcur + δF Filtered = F cur + δ
이때, δ값의 히스토그램(histogram)은 도 3에 도시된 바와 같고, 히스토그램은 화상에 대하여 각 농도의 레벨마다 그 농도 레벨을 갖는 픽셀의 수, 또는 모든 픽셀 수에 대한 비율을 표시할 수 있으며, 예를 들어, 엑스축에 δ, 와이축에 픽셀 수를 표시할 수 있다.In this case, a histogram of the δ value is as shown in FIG. 3, and the histogram may display the number of pixels having the density level or the ratio of all the pixel numbers at each density level for the image. For example, δ may be displayed on the X-axis and the number of pixels may be displayed on the Y-axis.
본 발명에 따른 노이즈 제거 필터의 δ는 -4 내지 4 사이의 값을 가질 수 있다. δ는 가우시안 분포를 가지며, δ를 압축할 시 압축 효율이 매우 높다. 본 발명에 적용되는 노이즈 제거 필터는 가우시안 노이즈(Gaussian noise)를 없애는데, δ는 가우시안 노이즈에 대한 보정량이므로 가우시안 분포를 가지게 된다.Δ of the noise canceling filter according to the present invention may have a value between -4 and 4. δ has a Gaussian distribution and the compression efficiency is very high when δ is compressed. The noise canceling filter applied to the present invention removes Gaussian noise, and δ has a Gaussian distribution since δ is a correction amount for Gaussian noise.
또한, 허프만 인코더/디코더는 미리 설정된 허프만 테이블을 이용하여 압축과 압축에 대한 복원을 수행할 수 있다. 허프만 인코더/디코더에 사용되는 허프만 테이블은 다양한 영상에 대해 δ의 히스토그램을 프로파일하고 이를 기반으로 생성된다. 예를 들어, 본 발명의 실시예에 따른 허프만 테이블은 다음의 표 1과 같이 설정될 수 있다.In addition, the Huffman encoder / decoder may perform compression and decompression on the basis of a preset Huffman table. Huffman tables used in Huffman encoders / decoders profile and generate histograms of δ for various images. For example, the Huffman table according to an embodiment of the present invention may be set as shown in Table 1 below.
본 발명에서는 한 개의 노이즈 제거 필터를 사용하므로, [도 1]의 (a)와 같이 두 개의 노이즈 제거 필터를 사용하는 경우보다 면적 오버헤드를 감소시킨다. 또한, 노이즈 제거 필터 하나를 구현시 두 개의 라인 버퍼를 사용하는데 본 발명에서는 필터를 하나만 사용하므로 (a)의 경우보다 두 개의 라인 버퍼 절감 효과가 있다. In the present invention, since one noise canceling filter is used, the area overhead is reduced as compared with the case of using two noise canceling filters as shown in FIG. In addition, two line buffers are used to implement one noise reduction filter. However, in the present invention, since only one filter is used, two line buffers are reduced compared to the case of (a).
[도 1]의 (a) 방식 사용시 메모리 입출력(IO)을 MemoryIOold _ case1이라하고, (b) 방식 사용시 메모리 IO를 MemoryIOold _ case2라 할 때 각 입출력(IO) 값은 다음과 같다. FCur는 현재 영상, FPrev는 과거 영상, FPrevFiltered는 과거 필터링된 영상, FCurFiltered는 현재 필터링된 영상을 나타낸다.[Figure 1] (a) When using the method as memory input-output (IO) the MemoryIO old _ case1 and, (b) when using the method referred to when the memory IO MemoryIO case2 old _ value of each input and output (IO) is as follows. F Cur represents the current image, F Prev represents the past image, F PrevFiltered represents the past filtered image, and F CurFiltered represents the current filtered image.
또한, 압축을 하지 않을 경우 메모리 입출력(IO)은 다음과 같다. In addition, when the compression is not performed, the memory input / output (IO) is as follows.
δ값이 -4 ~ 4사이의 값을 가지고 이는 4비트로 표현 가능하므로 Read(δprev)+Write(δcur)는 한 프레임 사이즈의 IO가 되어 전체 메모리 IO는 3프레임 사이즈가 된다. 이에 따라, [도 1]의 (b) 방식과 동일한 메모리 트래픽이 발생한다는 것을 알 수 있다.Since the value of δ has a value between -4 and 4, and it can be expressed as 4 bits, Read (δ prev ) + Write (δ cur ) becomes IO of one frame size, and the total memory IO becomes 3 frame sizes. Accordingly, it can be seen that the same memory traffic as in the method (b) of FIG. 1 occurs.
그러나, δ에 허프만 부호화를 수행하는 경우 메모리 IO인 MemoryIO'New는 다음과 같다.However, when Huffman coding is performed on δ, MemoryIO ' New which is a memory IO is as follows.
MemoryIO'New와 MemoryIONew의 차 Efficiency는 다음과 같다.The difference efficiency between MemoryIO ' New and MemoryIO New is as follows.
결국 δ에 허프만 부호화(huffman coding)를 적용하여 압축시 sizeof(δPrev)-sizeof(δPrev')+sizeof(δCur)-sizeof(δCur') 만큼의 메모리 IO 효율이 생기는데, δ의 압축 효율이 높으면 이는 양수가 되고 결국 3프레임 보다 적은 메모리 IO를 제공할 수 있다. δ가 가우시안 분포를 형성하여 압축 효율이 매우 높아 Efficiency는 양수이다.
As a result, Huffman coding is applied to δ, resulting in memory IO efficiency of sizeof (δ Prev ) -sizeof (δ Prev ') + sizeof (δ Cur ) -sizeof (δ Cur ') when compressed. High efficiency can be positive, resulting in less than 3 frames of memory IO. Since δ forms a Gaussian distribution, the compression efficiency is very high, so the efficiency is positive.
[도 4]는 본 발명의 실시예에 따른 메인 메모리에서 저장 영역의 할당 방법을 나타낸 도면이다.4 is a diagram illustrating a method of allocating a storage area in a main memory according to an exemplary embodiment of the present invention.
[도 4]를 참조하면, [도 1]의 (b) 경우 필터링된 프레임을 읽고 쓰는 read DMA(Direct Memory Access)와 write DMA의 시작 어드레스가 같아도 무방하다. Read DMA가 하나의 라인을 읽고 프로세싱한 후 결과를 write DMA를 통해 쓰면 read DMA는 write DMA가 쓰려는 어드레스 데이터를 이미 읽었기 때문에 데이터 해저드가 발생하지 않는다. Referring to FIG. 4, in case of FIG. 1B, the start address of read DMA (Direct Memory Access) and write DMA may be the same as reading and writing the filtered frame. If Read DMA reads one line, processes it, and then writes the result through write DMA, no data hazard occurs because read DMA has already read the address data that write DMA is writing to.
그러나, 본 발명에 따르면, 허프만 부호화에 따라 가변 길이 코딩이므로 δCur'와 δPrev'의 데이터 량이 달라 데이터 해저드가 발생할 수 있다. 이의 해결을 위해 도 4에 도시된 바와 같이, 순환 주소 할당(circular addressing) 모드를 사용해 본 발명을 구현할 수 있다.However, according to the present invention, since the data is variable length coding according to Huffman coding, data amounts of δ Cur ′ and δ Prev ′ may be different, which may cause data hazards. To solve this problem, as shown in FIG. 4, the present invention can be implemented using a circular addressing mode.
Read / write DMA는 δ의 저장을 위해 할당된 메모리 공간 내에서 동작한다. 각 DMA의 현재 어드레스가 할당된 메모리 공간의 마지막 지점인 경우 할당된 메모리 공간의 시작 지점으로 회귀한다. 각 프레임 프로세싱시 read DMA의 스타트 어드레스(start address)는 write DMA의 스타트 어드레스로 업데이트 된다. Write DMA의 스타드 어드레스는 write DMA의 현재 어드레스가 된다. Read / write DMA operates within the memory space allocated for storage of δ. If the current address of each DMA is the last point of the allocated memory space, it returns to the start point of the allocated memory space. During each frame processing, the start address of the read DMA is updated to the start address of the write DMA. The start address of the write DMA becomes the current address of the write DMA.
예를 들어, 할당된 메모리 사이즈를 0.75 프레임 사이즈로 설정하면, 양자화를 하지 않은 δ의 허프만 부호화시 코드값(code word)의 최대 길이는 6 비트이므로 최악의 경우 한 프레임 프로세싱시 δ의 데이터량은 0.75 프레임 사이즈가 된다. For example, if the allocated memory size is set to 0.75 frame size, the maximum length of the code word when encoding Huffman of δ without quantization is 6 bits. 0.75 frame size.
따라서, 메인 메모리는 제1 프레임에 대한 부호화 결과값과 제2 프레임에 대한 부호화 결과값에 대해 저장 영역을 순환하여 할당함으로써, 허프만 부호화로 인한 가변 길이 사이즈의 데이터를 효과적으로 읽고 쓸 수 있다.
Accordingly, the main memory can efficiently read and write data having a variable length size due to Huffman coding by cyclically allocating a storage area for the encoding result value for the first frame and the encoding result value for the second frame.
[도 5]은 본 발명에 따른 멀티미디어 프로세서를 적용하여 메인 메모리 입출력 횟수의 감소를 나타낸 도면이다. 5 is a view showing a reduction in the number of input and output main memory by applying a multimedia processor according to the present invention.
[도 5]을 참조하면, 1 프레임 사이즈를 100으로 보았을 때 이에 대비한 sizeof(δPrev')+sizeof(δCur')에 상응하는 메모리 IO를 테스트 영상에 대해 각 프레임 별로 표시한다. 즉, 본 발명에 따르면 한 프레임 사이즈에 대해 30% 이상 메모리 IO가 줄어든 것을 확인할 수 있다.
Referring to FIG. 5, when one frame size is viewed as 100, memory IO corresponding to sizeof (δ Prev ') + sizeof (δ Cur ') is displayed for each test frame for the test image. That is, according to the present invention, it can be seen that memory IO is reduced by 30% or more for one frame size.
이상에서 실시예를 들어 본 발명을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
Although the present invention has been described in more detail with reference to the examples, the present invention is not necessarily limited to these embodiments, and various modifications can be made without departing from the spirit of the present invention. Therefore, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention but to describe the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be construed according to the following claims, and all technical ideas falling within the scope of the same shall be construed as falling within the scope of the present invention.
200 : 노이즈 제거 필터 210 : 허프만 인코더부
230 : 허프만 디코더부 240 : 디인터레이스 필터200: noise reduction filter 210: Huffman encoder unit
230: Huffman decoder 240: deinterlace filter
Claims (11)
제2 프레임을 리드하여, 노이즈 제거 필터링을 수행하는 단계;
상기 제1 프레임, 상기 제1 결과값을 리드하며, 상기 제1 결과값에 대한 복호화를 수행하여 제2 결과값을 획득하는 단계;
상기 제1 프레임과 상기 제2 결과값에 기초하여, 상기 제1 프레임에 대해 노이즈 제거 필터링 처리된 프레임을 획득하는 단계;
상기 제2 프레임에 대해 노이즈 제거 필터링이 수행된 프레임과, 상기 제1 프레임에 대해 노이즈 제거 필터링 처리된 프레임을 이용하여, 디인터레이스 필터링을 수행하는 단계;
를 포함하는 멀티미디어 프로세서의 디인터레이스 방법.
Performing Huffman coding based on a first frame and a frame on which the noise elimination filtering is performed on the first frame, and storing a first result value according to the Huffman coding;
Reading a second frame to perform noise removing filtering;
Reading the first frame and the first result value and performing decoding on the first result value to obtain a second result value;
Obtaining a noise removing filtered frame for the first frame based on the first frame and the second result value;
Performing deinterlace filtering using a frame on which the noise elimination filtering is performed on the second frame and a frame on which the noise elimination filtering is performed on the first frame;
Deinterlacing method of the multimedia processor comprising a.
상기 제1 결과값 저장 단계는,
상기 제1 프레임과 상기 제1 프레임에 대해 노이즈 제거 필터링이 수행된 프레임의 차이값을 산출하는 단계;
상기 산출된 차이값에 허프만 부호화를 수행하여 압축된 제1 결과값을 획득하는 허프만 부호화 수행 단계;
상기 획득된 제1 결과값을 메인 메모리에 저장하도록 하는 단계;
를 포함하는 것을 특징으로 하는 멀티미디어 프로세서의 디인터레이스 방법.
The method according to claim 1,
The storing of the first result value may include:
Calculating a difference value between the first frame and a frame on which the noise elimination filtering is performed on the first frame;
Performing a Huffman encoding on the calculated difference value to obtain a compressed first result value;
Storing the obtained first result in a main memory;
Deinterlacing method of a multimedia processor comprising a.
상기 제1 프레임과 상기 제1 프레임에 대해 노이즈 제거 필터링이 수행된 프레임의 차이값은 가우시안 분포를 형성하는 것을 특징으로 하는 멀티미디어 프로세서의 디인터레이스 방법.
The method according to claim 2,
And a difference value between the first frame and the frame on which the noise elimination filtering is performed on the first frame forms a Gaussian distribution.
상기 허프만 부호화 수행 단계는 하나 이상의 차이값과 상기 각 차이값에 상응하는 코드값을 포함하여 미리 설정된 허프만 테이블을 참조하여 허프만 부호화를 수행하는 것을 특징으로 하는 멀티미디어 프로세서의 디인터레이스 방법.
The method according to claim 3,
And performing the Huffman encoding by referring to a preset Huffman table including at least one difference value and a code value corresponding to each difference value.
상기 제1 프레임에 대해 노이즈 제거 필터링 처리된 프레임을 획득하는 단계는, 상기 제1 프레임과 상기 제2 결과값을 합산하여, 상기 제1 프레임에 대해 노이즈 제거 필터링 처리된 프레임을 획득하는 것을 특징으로 하는 멀티미디어 프로세서의 디인터레이스 방법.
The method according to claim 1,
The acquiring of the noise-rejection filtered frame with respect to the first frame may include adding the first frame and the second result value to obtain a noise-rejection-filtered frame with respect to the first frame. How to deinterlace a multimedia processor.
상기 제2 프레임 노이즈 제거 필터링 수행 단계는,
상기 제2 프레임과 상기 제2 프레임에 대해 필터링이 수행된 프레임에 기초하여 허프만 부호화를 수행하고, 상기 허프만 부호화에 따른 제3 결과값을 메인 메모리에 저장하도록 하는 단계를 더 포함하는 것을 특징으로 하는 멀티미디어 프로세서의 디인터레이스 방법.
The method according to claim 1,
The performing of the second frame noise removing filtering may include:
Performing Huffman coding based on the second frame and the frame on which the filtering is performed on the second frame, and storing a third result value according to the Huffman coding in a main memory. How to deinterlace a multimedia processor.
상기 제1 프레임에 대한 노이즈 제거 필터링을 수행하며, 제2 프레임을 리드하여 노이즈 제거 필터링을 수행하는 노이즈 제거 필터부;
상기 제1 프레임, 상기 제1 결과값을 리드하고, 상기 제1 결과값에 대한 복호화를 수행하여 제2 결과값을 획득하며, 상기 제1 프레임과 상기 제2 결과값에 기초하여, 상기 제1 프레임에 대해 노이즈 제거 필터링 처리된 프레임을 획득하는 허프만 디코더부;
상기 제2 프레임에 대해 노이즈 제거 필터링이 수행된 프레임과, 상기 제1 프레임에 대해 노이즈 제거 필터링 처리된 프레임을 이용하여, 디인터레이스 필터링을 수행하는 디인터레이스 필터부;
를 포함하는 멀티미디어 프로세서.
A Huffman encoder configured to perform Huffman encoding based on a first frame and a frame on which the noise elimination filtering is performed on the first frame, and to store a first result value according to the Huffman encoding;
A noise removing filter unit which performs noise removing filtering on the first frame and performs noise removing filtering by reading a second frame;
Read the first frame and the first result value, perform decoding on the first result value to obtain a second result value, and based on the first frame and the second result value, the first result value A Huffman decoder for obtaining a noise canceling filtered frame for the frame;
A deinterlace filter unit configured to perform deinterlacing filtering by using the frame on which the noise removing filtering is performed on the second frame and the frame on which the noise removing filtering is performed on the first frame;
Multimedia processor comprising a.
상기 허프만 인코더부는,
상기 제1 프레임과 상기 제1 프레임에 대해 필터링이 수행된 프레임의 차이값을 산출하고, 상기 산출된 차이값에 허프만 부호화를 수행하여 압축된 제1 결과값을 획득하며, 상기 획득된 제1 결과값을 메인 메모리에 저장하도록 하는 것을 특징으로 하는 멀티미디어 프로세서.
The method according to claim 7,
The Huffman encoder unit,
Calculating a difference value between the first frame and a frame on which the filtering is performed on the first frame, performing Huffman coding on the calculated difference value to obtain a compressed first result value, and obtaining the first result value And store the value in main memory.
상기 제1 프레임과 상기 제1 프레임에 대해 필터링이 수행된 프레임의 차이값은 가우시안 분포를 형성하는 것을 특징으로 하는 멀티미디어 프로세서.
The method according to claim 8,
And a difference value between the first frame and the frame on which the filtering is performed on the first frame forms a Gaussian distribution.
상기 허프만 인코더부는 하나 이상의 차이값과 상기 각 차이값에 상응하는 코드값을 포함하여 미리 설정된 허프만 테이블을 참조하여 허프만 부호화를 수행하는 것을 특징으로 하는 멀티미디어 프로세서.
The method according to claim 9,
And the Huffman encoder unit performs a Huffman encoding by referring to a Huffman table which is set in advance including at least one difference value and a code value corresponding to each difference value.
상기 허프만 디코더부는 상기 제1 프레임과 상기 제2 결과값을 합산하여 상기 제1 프레임에 대해 노이즈 제거 필터링 처리된 프레임을 획득하는 것을 특징으로 하는 멀티미디어 프로세서.The method according to claim 7,
And the Huffman decoder unit adds the first frame and the second result to obtain a noise-rejected filtered frame for the first frame.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100028113A KR101086257B1 (en) | 2010-03-29 | 2010-03-29 | Multimedia processor and Method for deinterlace thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100028113A KR101086257B1 (en) | 2010-03-29 | 2010-03-29 | Multimedia processor and Method for deinterlace thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20110108741A KR20110108741A (en) | 2011-10-06 |
KR101086257B1 true KR101086257B1 (en) | 2011-11-23 |
Family
ID=45026206
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020100028113A KR101086257B1 (en) | 2010-03-29 | 2010-03-29 | Multimedia processor and Method for deinterlace thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101086257B1 (en) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5689305A (en) | 1994-05-24 | 1997-11-18 | Kabushiki Kaisha Toshiba | System for deinterlacing digitally compressed video and method |
-
2010
- 2010-03-29 KR KR1020100028113A patent/KR101086257B1/en active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5689305A (en) | 1994-05-24 | 1997-11-18 | Kabushiki Kaisha Toshiba | System for deinterlacing digitally compressed video and method |
Also Published As
Publication number | Publication date |
---|---|
KR20110108741A (en) | 2011-10-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9092855B2 (en) | Method and apparatus for reducing noise introduced into a digital image by a video compression encoder | |
JP4666415B2 (en) | Image encoding method and image encoding apparatus | |
JP5399416B2 (en) | Video coding system with reference frame compression | |
US8639057B1 (en) | Artifact removal method and system for contoured images and video | |
US20060171466A1 (en) | Method and system for mosquito noise reduction | |
WO2007026302A2 (en) | Method and device for coding and decoding of video error resilience | |
US10129565B2 (en) | Method for processing high dynamic range video in order to improve perceived visual quality of encoded content | |
JP6498858B2 (en) | Image coding method | |
US20100027617A1 (en) | Method and apparatus for compressing a reference frame in encoding/decoding moving images | |
US8601042B2 (en) | Signal processing device and method, and signal processing program | |
KR101086257B1 (en) | Multimedia processor and Method for deinterlace thereof | |
US8594194B2 (en) | Compression method using adaptive field data selection | |
US20190124343A1 (en) | Image decoding apparatus and method | |
KR100225328B1 (en) | Digital image decoding apparatus | |
CN110958460B (en) | Video storage method and device, electronic equipment and storage medium | |
CN101489126A (en) | Apparatus and method for processing a picture frame | |
KR101079191B1 (en) | Multimedia processor and Method for reducing bus traffic thereof | |
US9307259B2 (en) | Image decoding methods and image decoding devices | |
US8811766B2 (en) | Perceptual block masking estimation system | |
US20090046783A1 (en) | Method and Related Device for Decoding Video Streams | |
US9171354B2 (en) | Image processing apparatus and method for enhancing the quality of an image | |
JP2006060841A (en) | Image data noise elimination method and apparatus thereof | |
CN112449185B (en) | Video decoding method, video encoding device, video encoding medium, and electronic apparatus | |
US9326007B2 (en) | Motion compensated de-blocking | |
JP2006005573A (en) | Image decoding device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20141112 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20151006 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20161026 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20171024 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20181008 Year of fee payment: 8 |
|
FPAY | Annual fee payment |
Payment date: 20191014 Year of fee payment: 9 |