KR20120057753A

KR20120057753A - Methods of deinterlacing based on local complexity and image processing devices using the same

Info

Publication number: KR20120057753A
Application number: KR1020100118822A
Authority: KR
Inventors: 정제창; 박상준; 홍성민
Original assignee: 한양대학교 산학협력단; 중앙대학교 산학협력단
Priority date: 2010-11-26
Filing date: 2010-11-26
Publication date: 2012-06-07
Also published as: KR101174589B1

Abstract

PURPOSE: A deinterlacing method based on local complexity and an image processing device therefor are provided to increase quality of an image after deinterlacing the image. CONSTITUTION: An image processing device calculates local complexity of an interpolation target pixel based on a pixel value of the interpolation target pixel of an image and values of pixels of upper/lower scan lines of the interpolation target pixel(S400). The device calculates differences between the pixel value of the interpolation target pixel and the values of the pixels of the upper/lower scan lines of the interpolation target pixel(S410).

Description

Deinterlacing method based on regional complexity and image processing device performing the method {METHODS OF DEINTERLACING BASED ON LOCAL COMPLEXITY AND IMAGE PROCESSING DEVICES USING THE SAME}

본 발명은 지역 복잡도를 기초로 한 디인터레이싱 방법 및 이러한 방법을 수행하는 영상 처리 장치에 관한 것으로, 더욱 상세하게는 영상의 특성을 기초로 디인터레이싱을 수행하는 방법 및 이러한 방법을 수행하는 영상 처리 장치에 관한 것이다. The present invention relates to a deinterlacing method based on local complexity and an image processing apparatus for performing such a method, and more particularly, to a method for performing deinterlacing based on characteristics of an image and an image processing apparatus for performing such a method. will be.

기존의 SDTV 방송 표준들(NTSC, PAL SECAM)은 한정된 전송 대역을 효율적으로 사용하기 위해 격행 주사 방식(Interlaced Scan Format)을 사용하였다. 이러한 격행 주사 방식은 사람의 눈이 깜빡임을 인식하지 못하는 50/60 Hz의 필드율(Field Rate)를 사용하여 동일한 대역에서 순차 주사 방식(Progressive Scan Format)에 비해 두 배의 프레임 율을 가진다. 이는 영상의 수직 해상도의 절반만을 이용하여 움직임이 거의 없는 영역에서는 고화질의 수직 성분을 표현할 수 있고 움직임이 많은 영역은 높은 필드율로 인하여 좋은 영상을 표현하는 것이 가능하다. 하지만, 이 격행 주사 방식은 특성상 수직 방향의 고주파 성분이 존재하거나 움직임이 많은 경우 주사선 깜빡임(Flicker), 주사선 떨림(Line Twitter) 그리고 주사선의 흐름(Line Crawling) 현상과 같은 시각적인 문제를 발생시킨다. 그 결과 이런 특성의 영상들의 경우 수직 해상도가 저하되는 단점이 있다. The existing SDTV broadcasting standards (NTSC, PAL SECAM) used the interlaced scan format to efficiently use a limited transmission band. Such a progressive scan method has a frame rate twice that of a progressive scan format in the same band using a field rate of 50/60 Hz that does not recognize a blink of a human eye. This means that only half of the vertical resolution of the image can be used to express high-quality vertical components in an area with little motion, and a high-field rate can represent a good image due to a high field rate. However, this catenary scanning method causes visual problems such as flickering, line tweeting, and line crawling when there is a high frequency component or a lot of movement in the vertical direction. As a result, the vertical resolution is deteriorated in the case of images having such characteristics.

격행 주사 방식은 이러한 문제점에도 불구하고 전송대역의 제한과 기술적인 문제로 기존의 TV 전송 방식으로 사용되어 왔으나, 최근 기술 발전과 함께 격행 주사 방식이 가진 전술한 문제점들이 발생하지 않는 순차주사 방식이 가능해졌다. 그리고 고밀도의 정보를 전송하는 DTV(Digital TV)가 상용화 되었으며 이러한 DTV 방송 시스템의 경우 고화질, 고선명 등을 위해서는 격행 주사 방식보다는 순차 주사 방식이 더욱 적합하며 실제로 순차 주사 방식을 주로 채택하고 있다. 또한, HDTV를 비롯하여, 평판 디스플레이(LCD, 플라즈마 TV), PC 모니터 그리고 각종 디지털 디스플레이 기기 등은 순차 주사 방식이 적합하고 주로 순차 주사 방식을 채택하고 있다. 따라서 격행 주사 방식에서 순차 주사 방식으로 변화하는 것은 시대의 흐름이며 지금은 그 과도기에 있다고 할 수 있다. In spite of these problems, the conventional scanning method has been used as a conventional TV transmission method due to the limitation of the transmission band and the technical problem, but with the recent technological development, the progressive scanning method is possible without the aforementioned problems of the conventional scanning method. Done In addition, DTV (Digital TV), which transmits high-density information, has been commercialized, and in the case of such a DTV broadcasting system, a sequential scanning method is more suitable than a conventional scan method for high quality and high definition, and in fact, a sequential scanning method is mainly adopted. In addition, sequential scanning methods are suitable for HDTV, flat panel displays (LCD, plasma TV), PC monitors, and various digital display devices, and mainly adopt sequential scanning methods. Therefore, the transition from a conventional scan method to a sequential scan method is the trend of the times and can be said to be in the transitional period.

그러나 기존에 대부분의 문화 컨텐츠들은 격행 주사 방식으로 제작되었고 아직까지도 기존의 TV 전송 방식이 공존하고 있는 과도기적 현실에서 격행 주사 방식을 당장 중단하고 순차 주사 방식만을 적용할 수 없으며, 또한 모든 TV 컨텐츠를 두 방식을 모두 적용하거나 곧바로 모든 시스템에 순차 주사 방식만을 적용한다면 이는 큰 낭비가 될 수 있다. 그러므로 격행 주사 방식의 영상 신호를 순차 주사 방식으로 변화하는 방법(IPC, Interlace to Progressive Conversion)은 중요한 문제라고 할 수 있으며, 이러한 변환 과정을 디인터레이싱(Deinterlacing)이라고 한다. 즉, 디인터레이싱 방법은 격행 주사 방법의 각 필드에서 사라진 주사선을 보간하여 순차 신호 형태로 변환시키는 것이다. 또한 영상 신호에서의 필드율 변환이나 일반 영상에서 한 프레임의 정지 화면을 출력하고자 할 때 주사방식을 변환하는 기법이 사용된다. 이때 디지털 영상 신호를 효과적으로 전송하기 위해서는 순차 주사 방식의 영상신호가 취급과 압축의 효율 측면에서 보다 유리하기 때문에 고화질 고속의 디인터레이싱 방법이 요구된다. However, in the past, most of the cultural contents have been produced by an anti-scanning method, and even in the transitional reality where the existing TV transmission system coexists, the anti-scanning method cannot be applied immediately and only the sequential scanning method can be applied. This can be a huge waste if you apply all the schemes or just the sequential scan scheme to all the systems. Therefore, an interlaced to progressive conversion (IPC) method of converting an image signal of a progressive scan method into a sequential scan method is an important problem, and this conversion process is called deinterlacing. In other words, the deinterlacing method is to interpolate the scan lines disappearing from each field of the perforated scanning method and convert them into a sequential signal form. In addition, a method of converting a scanning method is used to convert a field rate in an image signal or to output a still image of one frame in a general image. At this time, in order to effectively transmit a digital video signal, since a sequential scanning video signal is more advantageous in terms of handling and compression efficiency, a high quality high speed deinterlacing method is required.

지금까지 많은 디인터레이싱 방법들이 IPC를 위하여 제안되어 왔다. 이렇게 제안된 디인터레이싱 방법들은 크게 필드 내 보간 방법(Intrafield Interpolation)과 필드 간 보간 방법(Interfield Interpolation) 두 가지로 분류된다. 첫째, 필드 내 보간 방법은 필드 내 화소의 값들만을 이용하여 보간하는 방법으로써, 이는 다시 행의 반복과 같은 공간적 상호 관계를 이용한 보간 방법과 미디어 필터와 같은 비선형 필터를 이용하는 보간 방법으로 구분할 수 있다. 두 번째, 필드간 보간 방법은 여러 필드간 상관 관계를 이용하는 것으로 주로 움직임 적응적 방법과 움직임 추정을 통해 움직임을 보상하는 방법으로 구분할 수 있다. Many deinterlacing methods have been proposed for IPC. The proposed deinterlacing methods are classified into two categories, intrafield interpolation and interfield interpolation. First, an interpolation method in a field is an interpolation method using only values of pixels in a field, which can be divided into an interpolation method using a spatial correlation such as a repetition of a row and an interpolation method using a nonlinear filter such as a media filter. . Second, interfield interpolation methods use correlations between fields, and can be classified into a motion adaptive method and a motion compensation method through motion estimation.

첫째, 공간적 상호관계를 이용하여 보간하는 방법은 현재 필드의 화소값들만을 사용하기 때문에 매우 간단하다. 따라서, 이들 방법들은 필드 메모리가 필요없고 낮은 계산 복잡성을 요구하기 때문에 하드웨어 구현이 간단하여 폭넓게 사용되고 있다. 그러나 이들 방법들은 현재 필드 내의 정보만 이용함으로 사라진 화소값을 찾는데 제한적이고 움직임이 많거나 고주파 성분이 있는 영역에서는 화면 깜빡임(Flicker)과 화면 번짐(Blurring)같은 현상이 나타나는 등 고화질의 영상을 얻는데 어려움이 있다. 이러한 문제점을 극복하기 위해서 필드 내에서 윤곽선 정보를 이용하여 보다 효과적으로 화소 값을 보간하는 방법들이 제시되었다. First, the interpolation method using spatial correlation is very simple because only pixel values of the current field are used. Therefore, these methods are widely used because of their simple hardware implementation because they do not require field memory and require low computational complexity. However, these methods are limited in finding missing pixel values by using only the information in the current field, and are difficult to obtain high quality images such as flickering and blurring in areas with high motion or high frequency components. There is this. To overcome this problem, methods for more effectively interpolating pixel values using outline information in a field have been proposed.

둘째, 미디언 필터를 포함하는 비선형 필터를 이용하는 방법 역시 필드 내 보간법의 하나로 미디언 필터는 단지 외곽선 정보를 이용한다. 그러나 만약 미디어 필터가 시간 영역으로 확장된다면 이는 움직임 적응적 방법과 유사하게 필드 내 보간법과 필드 간 보간법을 전환해가며 이행하게 된다. 일반적으로 미디언 필터는 수직 방향의 세밀한 부분이 왜곡되거나 엘리어싱(Aliasing)을 유발하는 문제점이 있다. Second, a method of using a nonlinear filter including a median filter is also an interpolation method in a field. The median filter uses only outline information. However, if the media filter is extended to the time domain, this is implemented by switching between interfield and interfield interpolation methods similarly to the motion adaptive method. In general, the median filter has a problem in that small details in the vertical direction are distorted or cause aliasing.

셋째, 움직임 적응적 보간 방법은 움직임 추정없이 시간 영역 정보를 이용한다. 이는 인접한 필드들 사이에는 높은 상관 관계가 존재하기 때문에 현재 필드에서 없어진 화소값들은 인접 필드들의 정보를 이용하여 현재 필드의 움직임 형태에 따라 적절히 선택하게 된다. Third, the motion adaptive interpolation method uses time domain information without motion estimation. Since there is a high correlation between adjacent fields, the pixel values lost in the current field are appropriately selected according to the movement type of the current field by using the information of the adjacent fields.

마지막으로, 움직임 보상에 의한 방법은 다양한 인터레이싱 방법들 중 일반적으로 가장 좋은 성능을 보인다. 이러한 방법들은 인접한 필드의 높은 상관 관계를 이용하여 현재 필드의 움직임을 추정하고 그 움직임을 보상하는 것으로 움직임 추정이 잘못되었을 경우, 원하지 않았던 화소값이 복원될 수 있고, 움직임 추정과 보상에서 많은 시간이 소요되는 문제점이 있다. Finally, the motion compensation method generally performs best among various interlacing methods. These methods use the high correlation of adjacent fields to estimate the motion of the current field and compensate for the motion. If the motion estimation is wrong, unwanted pixel values can be restored, and a lot of time is spent in motion estimation and compensation. There is a problem.

일반적으로 위헤서 살펴본 방법들 중 필드 내 디인터레이싱 방법들의 경우 별도의 필드 메모리가 필요없고 간단한 계산에 의해 디인터레이싱을 수행하는 시간이 짧지만, 움직임 영역 및 경계 영역 복원이 만족스럽지 않다. 반면, 필드간 인터레이싱 방법들의 경우 필드 내 디인터레이싱 방법을 적용하고 다시 현재 필드의 움직임을 추정하여 그 움직임에 대해 보상을 함으로써 많은 성능 향상을 이루었지만 수평 방향 경계 영역과 고주파 영역 등에서는 여전히 만족스럽지 못한 결과를 나타내는 경향이 있다. In general, in-field deinterlacing methods of the above-described methods do not require a separate field memory and the time required to perform deinterlacing by simple calculation is short, but motion region and boundary region restoration are not satisfactory. On the other hand, the inter-field interlacing methods achieve many performance improvements by applying the de-interlacing method in the field, and then estimating the motion of the current field and compensating for the motion, but are still unsatisfactory in the horizontal boundary region and the high frequency region. There is a tendency to show results.

기존의 디인터레이싱 기술들은 영상의 로컬 에지 방향을 판별하는 방법이 적용되는 디인터레이싱 방법에 따라 상이하기 때문에, 동일한 영상의 지역 특성에 따라 디인터레이싱 후 보간된 영상에서 지역차가 존재하였다.Since the existing deinterlacing techniques differ according to the deinterlacing method to which the local edge direction of the image is applied, there is a regional difference in the interpolated image after the deinterlacing according to the regional characteristics of the same image.

따라서, 본 발명의 제1 목적은 영상의 지역 특성을 고려한 지역 복잡도를 기초로 한 디인터레이싱 방법을 제공하는 것이다. Accordingly, it is a first object of the present invention to provide a deinterlacing method based on regional complexity in consideration of regional characteristics of an image.

또한, 본 발명의 제2 목적은 영상의 지역 특성을 고려한 지역 복잡도를 기초로 한 디인터레이싱 방법을 수행하는 영상 처리 장치를 제공하는 것이다.In addition, a second object of the present invention is to provide an image processing apparatus for performing a deinterlacing method based on a regional complexity in consideration of regional characteristics of an image.

상술한 본 발명의 제1 목적을 달성하기 위한 본 발명의 일 측면에 따른 지역 복잡도를 기초로 한 디인터레이싱 방법은 영상에 포함된 보간 대상 화소의 화소값과 상기 보간 대상 화소의 상위 스캔 라인 및 하위 스캔 라인에 위차한 화소의 화소값을 기초로 상기 보간 대상 화소의 지역 복잡도를 산출하는 단계와 적어도 두 개의 디인터레이싱 방법을 사용하여 디인터레이싱을 수행한 상기 보간 대상 화소의 화소값과 상기 보간 대상 화소의 상위 스캔 라인 및 하위 스캔 라인에 위치한 화소의 화소값 사이의 화소값 차이를 산출하는 단계를 포함할 수 있다. 상기 지역 복잡도는 상기 보간 대상 화소의 상위 스캔 라인에 포함된 3개의 화소-여기서, 상기 상위 스캔 라인에 포함된 3개의 화소는 상기 보간 대상 화소의 수직 상단, 좌측 상단, 우측 상단에 위치한 화소임-의 화소값 및 상기 보간 대상 화소의 하위 스캔 라인에 포함된 3개의 화소-여기서, 상기 하위 스캔 라인에 포함된 3개의 화소는 상기 보간 대상 화소의 수직 하단, 좌측 하단, 우측 하단에 위치한 화소임-의 화소값 사이의 차이를 더한 값일 수 있다. 상기 지역복잡도는, 아래의 식 1In accordance with an aspect of the present invention, there is provided a deinterlacing method based on a regional complexity. The pixel value of an interpolation target pixel included in an image, an upper scan line, and a lower scan of the interpolation target pixel are included in an image. Calculating an area complexity of the interpolation target pixel based on pixel values of a pixel on a line and performing an upper scan of the pixel value of the interpolation target pixel subjected to deinterlacing using at least two deinterlacing methods and the interpolation target pixel Calculating a pixel value difference between pixel values of pixels positioned in the line and the lower scan line. The area complexity is three pixels included in an upper scan line of the interpolation target pixel, wherein the three pixels included in the upper scan line are pixels located at a vertical top, upper left, and upper right corner of the interpolation target pixel. Pixel values and three pixels included in the lower scan line of the interpolation target pixel, wherein the three pixels included in the lower scan line are pixels located at the vertical bottom, the lower left and the lower right of the interpolation target pixel. It may be a value obtained by adding a difference between the pixel values of. The area complexity is expressed by Equation 1 below

(식 1)(Equation 1)

(

는 지역 복잡도,

는 보간 대상 화소의 상위 스캔 라인에 포함된 화소의 화소값,

은 보간 대상 화소의 하위 스캔 라인에 포함된 화소의 화소값,

은 보간 대상 화소의 좌측에 위치한 화소열,

는 보간 대상 화소가 위치한 화소열,

은 보간 대상 화소의 우측에 위치한 화소열을 의미함)(

Area complexity,

Is a pixel value of a pixel included in an upper scan line of an interpolation target pixel,

Is the pixel value of the pixel included in the lower scan line of the interpolation target pixel,

Is a pixel column located on the left side of the pixel to be interpolated,

Is the pixel column where the interpolation target pixel is located,

Means the pixel column located to the right of the interpolation target pixel)

에 의해 산출될 수 있다. 상기 적어도 두 개의 디인터레이싱 방법은, Can be calculated by The at least two deinterlacing methods,

MELA(Modified Edge-based Line Averaging) 기법, LCID(Low-Complexity Interpolation for Deinterlacing)기법 및 LA(Line Average)기법일 수 있다. 적어도 두 개의 디인터레이싱 방법을 사용하여 디인터레이싱을 수행한 상기 보간 대상 화소의 화소값과 상기 보간 대상 화소의 상위 스캔 라인 및 하위 스캔 라인에 위차한 화소의 화소값 사이의 화소값 차이를 산출하는 단계는,Modified Edge-based Line Averaging (MELA), Low-Complexity Interpolation for Deinterlacing (LCID), and Line Average (LA). Computing a pixel value difference between a pixel value of the interpolation target pixel subjected to deinterlacing using at least two deinterlacing methods and a pixel value of a pixel above the upper scan line and the lower scan line of the interpolation target pixel,

아래의 식 2Equation 2 below

(식 2)(Equation 2)

(

는 원래 보간 대상 화소의 화소값,

는 LA 기술로 예측된 화소값이고, 는 MELA 기술로 예측된 화소값,

는 LCID 기술로 예측된 화소값,

는 보간 대상 화소의 화소값과 LA 기술로 예측된 화소값의 차이의 절대값,

는 보간 대상 화소의 화소값과 MELA 기술로 예측된 화소값의 차이의 절대값,

는 보간 대상 화소의 화소값과 LCID 기술로 예측된 화소값의 차이의 절대값을 의미함)에 의해 산출될 수 있다. 상기 지역 복잡도를 기초로 한 디인터레이싱 방법은, 영상에 포함된 보간 대상 화소의 화소값과 상기 보간 대상 화소의 상위 스캔 라인 및 하위 스캔 라인에 위차한 화소의 화소값을 기초로 상기 보간 대상 화소의 지역 복잡도를 산출하는 단계와 적어도 두 개의 디인터레이싱 방법을 사용하여 디인터레이싱을 수행한 상기 보간 대상 화소의 화소값과 상기 보간 대상 화소의 상위 스캔 라인 및 하위 스캔 라인에 위차한 화소의 화소값 사이의 화소값 차이를 산출하는 단계를 통해 얻어진 상기 지역복잡도 정보와 상기 적어도 두 개의 디인터레이싱 방법 중 가장 작은 오차값을 가지는 디인터레이싱 방법 정보를 기초로 상기 지역 복잡도에 따른 상기 가장 작은 오차값을 가지는 디인터레이싱 방법의 관계를 산출하는 단계를 더 포함할 수 있다. 상기 지역 복잡도를 기초로 한 디인터레이싱 방법은 상기 산출된 상기 지역 복잡도에 따른 상기 가장 작은 오차값을 가지는 디인터레이싱 방법의 관계를 기초로 디인터레이싱을 수행하는 단계를 더 포함할 수 있다. 상기 산출된 상기 지역 복잡도와 상기 디인터레이싱 방법 중 최소의 화소값 차이를 가지는 디인터레이싱 방법 사이의 관계는 룩업테이블 형식으로 저장될 수 있다. 상기 룩업테이블은,(

Is the pixel value of the original interpolation target pixel,

Is the pixel value predicted by LA technology, Is the pixel value predicted by MELA technology,

Is the pixel value predicted by LCID technology,

Is the absolute value of the difference between the pixel value of the interpolation target pixel and the pixel value predicted by the LA technique,

Is the absolute value of the difference between the pixel value of the interpolation target pixel and the pixel value predicted by MELA technology,

Is an absolute value of the difference between the pixel value of the interpolation target pixel and the pixel value predicted by the LCID technique. The deinterlacing method based on the region complexity may include an area of the interpolation target pixel based on a pixel value of an interpolation target pixel included in an image and a pixel value of a pixel located above an upper scan line and a lower scan line of the interpolation target pixel. Pixel value difference between the pixel value of the interpolation target pixel subjected to deinterlacing using a complexity calculation and at least two deinterlacing methods, and the pixel value of the pixel above the upper scan line and the lower scan line of the interpolation target pixel Calculating a relationship between the local complexity information and the deinterlacing method having the smallest error value among the at least two deinterlacing methods and the deinterlacing method having the smallest error value according to the local complexity It may further comprise a step. The deinterlacing method based on the area complexity may further include performing deinterlacing based on a relationship of the deinterlacing method having the smallest error value according to the calculated area complexity. The relationship between the calculated local complexity and a deinterlacing method having a minimum pixel value difference among the deinterlacing methods may be stored in a lookup table format. The lookup table,

아래의 식 3Equation 3 below

(식 3)(Equation 3)

(

는 지역 복잡도를 기초로 한 룩업테이블,

는 특정 지역 복잡도에서 LA 방법을 기초로 보간 대상 화소를 디인터레이싱하여 산출한 평균이 가장 작은 경우,

는 특정 지역 복잡도에서 MELA 방법을 기초로 보간 대상 화소를 디인터레이싱하여 산출한 평균이 가장 작은 경우,

는 특정 지역 복잡도에서 LCID 방법을 기초로 보간 대상 화소를 디인터레이싱하여 산출한 평균이 가장 작은 경우를 의미함)(

Is a lookup table based on local complexity,

If the mean calculated by deinterlacing the interpolation target pixel based on the LA method at a specific local complexity is smallest,

If the mean calculated by deinterlacing the interpolation target pixel based on the MELA method is the smallest in the specific area complexity,

Denotes the smallest average calculated by deinterlacing the interpolation target pixel based on the LCID method at a specific local complexity.)

에 의해 생성될 수 있다. Can be generated by

또한 상술한 본 발명의 제2 목적을 달성하기 위한 본 발명의 일 측면에 따른 지역 복잡도를 기초로 한 디인터레이싱을 수행하는 영상 처리 장치는 영상에 포함된 보간 대상 화소의 화소값과 상기 보간 대상 화소의 상위 스캔 라인 및 하위 스캔 라인에 위차한 화소의 화소값을 기초로 상기 보간 대상 화소의 지역 복잡도를 산출하는 지역 복잡도 산출부와 적어도 두 개의 디인터레이싱 방법을 사용하여 디인터레이싱을 수행한 상기 보간 대상 화소의 화소값과 상기 보간 대상 화소의 상위 스캔 라인 및 하위 스캔 라인에 위차한 화소의 화소값 사이의 화소값 차이를 산출하는 오차값 산출부를 포함할 수 있다. 상기 지역 복잡도 산출부는,In addition, the image processing apparatus for performing the deinterlacing on the basis of the regional complexity according to an aspect of the present invention for achieving the second object of the present invention is the pixel value of the interpolation target pixel included in the image and the interpolation target pixel. An area complexity calculator for calculating the area complexity of the pixel to be interpolated based on the pixel values of the pixels above the upper scan line and the lower scan line and the pixels of the interpolation target pixel which have been deinterlaced using at least two deinterlacing methods And an error value calculator configured to calculate a pixel value difference between a value and a pixel value of a pixel positioned above the upper scan line and the lower scan line of the interpolation target pixel. The area complexity calculation unit,

상기 보간 대상 화소의 상위 스캔 라인에 포함된 3개의 화소-여기서, 상기 보간 대상 화소의 상위 스캔 라인에 포함된 3개의 화소는 상기 보간 대상 화소의 수직 상단, 좌측 상단, 우측 상단에 위치한 화소임-의 화소값 및 상기 보간 대상 화소의 하위 스캔 라인에 포함된 3개의 화소-여기서, 상기 보간 대상 화소의 하위 스캔 라인에 포함된 3개의 화소는 상기 보간 대상 화소의 수직 하단, 좌측 하단, 우측 하단에 위치한 화소임-의 화소값 사이의 차이를 더한 값일 수 있다. 상기 지역 복잡도 산출부는,Three pixels included in the upper scan line of the interpolation target pixel, wherein the three pixels included in the upper scan line of the interpolation target pixel are pixels located at the vertical top, left upper and right upper sides of the interpolation target pixel The pixel value of the pixel and the three pixels included in the lower scan line of the interpolation target pixel, wherein the three pixels included in the lower scan line of the interpolation target pixel are located at the vertical bottom, the lower left, and the lower right of the interpolation target pixel. It may be a value obtained by adding a difference between pixel values of the located pixel. The area complexity calculation unit,

아래의 식 1Equation 1 below

(식 1)(Equation 1)

(

는 지역 복잡도,

은 보간 대상 화소의 좌측에 위치한 화소열,

는 보간 대상 화소가 위치한 화소열,

은 보간 대상 화소의 우측에 위치한 화소열을 의미함)(

Area complexity,

Is a pixel column located on the left side of the pixel to be interpolated,

Is the pixel column where the interpolation target pixel is located,

Means the pixel column located to the right of the interpolation target pixel)

MELA(Modified Edge-based Line Averaging) 기법, LCID(Low-Complexity Interpolation for Deinterlacing)기법 및 LA(Line Average)기법일 수 있다. 상기 오차값 산출부는,Modified Edge-based Line Averaging (MELA), Low-Complexity Interpolation for Deinterlacing (LCID), and Line Average (LA). The error value calculation unit,

아래의 식 2Equation 2 below

(식 2)(Equation 2)

(

는 원래 보간 대상 화소의 화소값,

는 LA 기술로 예측된 화소값이고,

는 MELA 기술로 예측된 화소값,

는 LCID 기술로 예측된 화소값,

는 보간 대상 화소의 화소값과 LCID 기술로 예측된 화소값의 차이의 절대값을 의미함)(

Is the pixel value of the original interpolation target pixel,

Is the pixel value predicted by LA technology,

Is the pixel value predicted by MELA technology,

Is the pixel value predicted by LCID technology,

Denotes the absolute value of the difference between the pixel value of the interpolation target pixel and the pixel value predicted by the LCID technique.)

에 의해 산출될 수 있다. 상기 지역 복잡도를 기초로 한 디인터레이싱을 수행하는 영상 처리 장치는,Can be calculated by An image processing apparatus that performs deinterlacing based on the regional complexity,

영상에 포함된 보간 대상 화소의 화소값과 상기 보간 대상 화소의 상위 스캔 라인 및 하위 스캔 라인에 위차한 화소의 화소값을 기초로 상기 보간 대상 화소의 지역 복잡도를 산출하고 적어도 두 개의 디인터레이싱 방법을 사용하여 디인터레이싱을 수행한 상기 보간 대상 화소의 화소값과 상기 보간 대상 화소의 상위 스캔 라인 및 하위 스캔 라인에 위차한 화소의 화소값 사이의 화소값 차이를 산출하는 단계를 통해 얻어진 상기 지역복잡도 정보와 상기 적어도 두 개의 디인터레이싱 방법 중 가장 작은 오차값을 가지는 디인터레이싱 방법 정보를 기초로 상기 지역 복잡도에 따른 상기 가장 작은 오차값을 가지는 디인터레이싱 방법의 관계를 산출하는 영상 통계 처리부를 더 포함할 수 있다. 상기 지역 복잡도를 기초로 한 디인터레이싱을 수행하는 영상 처리 장치는 상기 영상 통계 처리부에 의해 상기 산출된 상기 지역 복잡도에 따른 상기 가장 작은 오차값을 가지는 디인터레이싱 방법의 관계를 기초로 디인터레이싱을 수행하는 디인터레이싱부를 더 포함할 수 있다. 상기 지역 복잡도를 기초로 한 디인터레이싱을 수행하는 영상 처리 장치는 상기 산출된 상기 지역 복잡도와 상기 디인터레이싱 방법 중 최소의 화소값 차이를 가지는 디인터레이싱 방법 사이의 관계를 룩업 테이블로 새성하는 룩업테이블 생성부를 더 포함할 수 있다. 상기 룩업 테이블 생성부는,Based on the pixel value of the interpolation target pixel included in the image and the pixel value of the pixel that is above the upper scan line and the lower scan line of the interpolation target pixel, the local complexity of the interpolation target pixel is calculated and at least two deinterlacing methods are used. Calculating the pixel value difference between the pixel value of the interpolation target pixel subjected to deinterlacing and the pixel value of the pixel located above the upper scan line and the lower scan line of the interpolation target pixel. The apparatus may further include an image statistics processor configured to calculate a relationship between the deinterlacing method having the smallest error value according to the local complexity based on the deinterlacing method information having the smallest error value among at least two deinterlacing methods. The image processing apparatus for performing the deinterlacing based on the regional complexity further includes a deinterlacing unit for performing the deinterlacing based on the relationship of the deinterlacing method having the smallest error value according to the regional complexity calculated by the image statistics processing unit. It may include. The image processing apparatus for performing deinterlacing based on the region complexity further includes a lookup table generation unit that creates a relationship between the calculated region complexity and a deinterlacing method having a minimum pixel value difference among the deinterlacing methods as a lookup table. can do. The lookup table generator,

아래의 식 3Equation 3 below

(식 3)(Equation 3)

(

는 지역 복잡도를 기초로 한 룩업테이블,

는 특정 지역 복잡도에서 LCID 방법을 기초로 보간 대상 화소를 디인터레이싱하여 산출한 평균이 가장 작은 경우를 의미함)에 의해 생성될 수 있다. 상기 지역 복잡도를 기초로 한 디인터레이싱을 수행하는 영상 처리 장치는 HDTV(High Definition Television) 수신단 또는 HDTV 이상의 해상도를 가지는 TV 수신단에서 사용될 수 있다. (

Is a lookup table based on local complexity,

May be generated by deinterlacing the interpolation target pixel based on the LCID method in a specific local complexity. An image processing apparatus that performs deinterlacing based on the regional complexity may be used in a high definition television (HDTV) receiver or a TV receiver having a resolution greater than or equal to HDTV.

상술한 바와 같이 본 발명의 실시예에 따른 지역 복잡도를 기초로 한 디인터레이싱 방법 및 이러한 방법을 수행하는 영상 처리 장치에 따르면, 보간 대상영상의 지역 복잡도에 따라 적응적으로 디인터레이싱 방법을 선택할 수 있다.As described above, according to the de-interlacing method based on the regional complexity according to the embodiment of the present invention and the image processing apparatus for performing the method, the de-interlacing method can be adaptively selected according to the regional complexity of the interpolation target image.

따라서, 적응적으로 영상의 지역적 특성에 따라 디인터레이싱을 수행하기 때문에 영상의 디인터레이싱 후의 화질이 기존의 디인터레이싱 방법들보다 우수하고, 또한 디인터레이싱을 수행하는데 걸리는 시간이 기존의 디인터레이싱 방법들 보다 단축된다. Therefore, since the deinterlacing is adaptively performed according to the regional characteristics of the image, the image quality after the deinterlacing of the image is superior to the existing deinterlacing methods, and the time taken to perform the deinterlacing is shorter than the existing deinterlacing methods.

또한, 디스플레이의 크기가 커지는 추세에 맞추어 HDTV급 이상의 TV 수신기에 사용될 경우 최대한 처리 복잡도를 낮추면서 실시간 처리가 가능하면서도 만족할만한 화질을 얻을 수 있다.In addition, when the size of the display is increased, it is possible to obtain a satisfactory picture quality while enabling real-time processing while reducing processing complexity as much as possible when used in a TV receiver of HDTV or higher.

도 1은 디인터레이싱 방법 중 MELA(Modified Edge-based Line Averaging) 기법, LCID(Low-Complexity Interpolation for Deinterlacing)기법 및 LA(Line Average)기법을 설명하기 위한 개념도이다.
도 2는 본 발명의 일실시예에 따른 지역적 복잡도를 산출하기 위한 화소들 간의 관계를 나타낸 개념도이다.
도 3은 본 발명의 일실시예에 따른 Foreman 영상의 일정 지역에서 기존의 디인터레이싱 방법을 사용하여 보간된 픽셀과 원본 픽셀과의 차이를 나타낸 그래프이다.
도 4는 본 발명의 일실시예에 따른 지역 복잡도에 기반하여 디인터레이싱 방법을 선택하는 것을 나타낸 그래프이다.
도 5는 본 발명의 일실시예에 따른 지역 복잡도에 기반하여 디인터레이싱 방법을 수행하기 위해 트레이닝을 수행하는 방법을 나타낸 순서도이다.
도 6은 본 발명의 일실시예에 따른 지역 복잡도를 고려한 디인터레이싱 방법을 수행한 경우, 기존의 디인터레이싱 방법과 비교한 것을 나타낸 표이다.
도 7은 본 발명의 일실시예에 따른 지역 복잡도를 고려한 디인터레이싱 방법을 수행한 경우, 기존의 디인터레이싱 방법의 연산량을 비교한 표이다.
도 8은 본 발명의 일실시예에 따른 지역 복잡도를 기반으로 한 디인터레이싱을 수행한 후의 영상과 기존의 디인터레이싱 방법을 사용하여 디인터레이싱을 수행한 영상의 주관적인 화질을 비교한 것이다.
도 9는 본 발명의 일실시예에 따른 지역 복잡도를 기초로 디인터레이싱을 수행하는 영상 처리 장치이다. 1 is a conceptual diagram illustrating a Modified Edge-based Line Averaging (MELA) technique, a Low-Complexity Interpolation for Deinterlacing (LCID) technique, and a Line Average (LA) technique among deinterlacing methods.
2 is a conceptual diagram illustrating a relationship between pixels for calculating local complexity according to an embodiment of the present invention.
3 is a graph illustrating a difference between an interpolated pixel and an original pixel using a conventional deinterlacing method in a region of a foreman image according to an embodiment of the present invention.
4 is a graph illustrating selecting a deinterlacing method based on regional complexity according to an embodiment of the present invention.
5 is a flowchart illustrating a method of performing training to perform a deinterlacing method based on regional complexity according to an embodiment of the present invention.
6 is a table illustrating a comparison with a conventional deinterlacing method when the deinterlacing method considering the regional complexity according to an embodiment of the present invention is performed.
FIG. 7 is a table comparing arithmetic operations of a conventional deinterlacing method when the deinterlacing method considering the regional complexity according to an embodiment of the present invention is performed.
FIG. 8 compares the subjective picture quality of an image after performing deinterlacing based on regional complexity and an image deinterlacing using a conventional deinterlacing method according to an embodiment of the present invention.
9 is an image processing apparatus for performing deinterlacing based on local complexity according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.As the invention allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail in the written description. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. Like reference numerals are used for like elements in describing each drawing.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.The terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component. And / or < / RTI > includes any combination of a plurality of related listed items or any of a plurality of related listed items.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when a component is referred to as being "directly connected" or "directly connected" to another component, it should be understood that there is no other component in between.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular example embodiments only and is not intended to be limiting of the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, the terms "comprise" or "have" are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, and one or more other features. It is to be understood that the present invention does not exclude the possibility of the presence or the addition of numbers, steps, operations, components, components, or a combination thereof.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
Hereinafter, with reference to the accompanying drawings, it will be described in detail a preferred embodiment of the present invention. Hereinafter, the same reference numerals are used for the same components in the drawings, and duplicate descriptions of the same components are omitted.

이하 본 발명의 일실시예에 따르면, 본 발명에서 사용되는 화소값은 설명의 편의상 화소의 휘도값을 의미할 수 있다. 하지만, 본 발명의 본질에서 벋어나지 않는 한 화소의 색차값 역시 화소값에 포함되는 개념으로서 본 발명의 권리범위에 포함될 수 있다.
According to an embodiment of the present invention, the pixel value used in the present invention may mean a luminance value of the pixel for convenience of description. However, the color difference value of the pixel may also be included in the scope of the present invention as a concept included in the pixel value, unless it deviates from the essence of the present invention.

또한 이하 본 발명의 일실시예에 따르면, 본 발명에서 사용되는 화소값 오차를 산출하기 위한 디인터레이싱 방법은 LA, MELA, LCID 기법을 사용하지만, 이러한 디인터레이싱 방법을 사용한 오차 계산 방법은 본 발명의 일실시예로서 LA, MELA, LCID 기법을 제외한 다른 디인터레이싱 방법 및 LA, MELA, LCID 기법 중 적어도 두 개의 디인터레이싱 방법을 사용하여 원래 화소와의 오차값을 산출하고 최소 오차값을 가지는 디인터레이싱 방법을 영상의 지역 특성에 따라 적응적으로 사용할 수도 있다.
In addition, according to an embodiment of the present invention, the de-interlacing method for calculating the pixel value error used in the present invention uses the LA, MELA, LCID technique, the error calculation method using such a de-interlacing method is an embodiment of the present invention For example, deinterlacing methods other than LA, MELA, and LCID techniques and at least two deinterlacing methods of LA, MELA, and LCID techniques are used to calculate an error value from the original pixel and have a minimum interpolation method. It can also be used adaptively.

도 1은 디인터레이싱 방법 중 MELA(Modified Edge-based Line Averaging) 기법, LCID(Low-Complexity Interpolation for Deinterlacing)기법 및 LA(Line Average)기법을 설명하기 위한 개념도이다. 1 is a conceptual diagram illustrating a Modified Edge-based Line Averaging (MELA) technique, a Low-Complexity Interpolation for Deinterlacing (LCID) technique, and a Line Average (LA) technique among deinterlacing methods.

도 1을 참조하면, MELA 기법, LCID 기법 및 LA 기법은 보간 대상 화소의 위에 위치한 상위 스캔 라인의 3개의 픽셀과 아래의 하위 스캔 라인의 3개의 픽셀을 이용해 화소의 값을 보간할 수 있다. Referring to FIG. 1, a MELA technique, an LCID technique, and an LA technique may interpolate pixel values using three pixels of an upper scan line and three pixels of a lower scan line positioned above an interpolation target pixel.

는 보간 대상 화소의 이웃 화소들의 값을 나타낸다. 보간 대상 화소의 상위 스캔 라인에 위치하되 보간 대상 화소를 기준으로 좌측에 위치한 화소를

, 중간에 위치한 화소를

, 우측에 위치한 화소를

, 보간 대상 화소의 하위 스캔 라인에 위치하되 보간 대상 화소를 기준으로 좌측에 위치한 화소를

, 중간에 위치한 화소를

, 우측에 위치한 화소를

라고 할 수 있다.

Denotes values of neighboring pixels of the interpolation target pixel. Pixels positioned on the upper scan line of the interpolation target pixel but left on the interpolation target pixel

, The middle pixel

, The pixel on the right

, Located on the lower scan line of the interpolation target pixel, but located on the left side of the pixel

, The middle pixel

, The pixel on the right

It can be said.

MELA 기법은 아래의 수학식 1로 표현되는 3개의 방향 픽셀 차이 측정(Directional Pixel Difference Measure)과 아래의 수학식 2로 표현되는 방향적 코릴레이션(Directional Correlation)을 사용하여 로컬 에지 방향(Local Edge Direction)을 결정할 수 있다.The MELA technique uses Local Direction Direction by using three Directional Pixel Difference Measure represented by Equation 1 below and Directional Correlation represented by Equation 2 below. ) Can be determined.

아래의 수학식 3을 통해 보간하고자 하는 화소의 값을 보간한다. The value of the pixel to be interpolated is interpolated through Equation 3 below.

는

번째 줄,

번째 열에 위치한 보간되는 화소값을 의미한다.

기호는 AND 연산을 나타낸다. 즉, MELA 기법에서는

값과

값을 모두 고려하여 화소를 보간한다. 수학식 3에 표현된 상단의 두 개의 수식을 보면, 보간 대상 화소값이 대각선 방향으로 선택되면 그 방향의 선상에 놓여있는 인접한 화소 4개의 평균값을 보간값으로 예측한다. 그 외의 경우, 수학식 3 하단의 수학식과 같이 보간하고자 하는 화소의 위와 아래의 화소값의 평균값을 보간값으로 결정한다.

Is

Line one,

The interpolated pixel value located in the first column.

The symbol represents an AND operation. In other words, in the MELA technique

Value and

The pixels are interpolated considering all the values. Referring to the two equations at the top of Equation 3, when the interpolation target pixel value is selected in the diagonal direction, the average value of four adjacent pixels lying on the line in the direction is predicted as the interpolation value. In other cases, as shown in Equation 3 below, the average value of pixel values above and below the pixel to be interpolated is determined as the interpolation value.

방향은 보간 대상 화소를 중심으로 한 스캔 라인 상단 좌측에 위치한 화소 및 한 스캔 라인 수직 아래 위치한 화소를 연결한 방향이고,

방향은 보간 대상 화소를 중심으로 한 스캔 라인 수직 상단에 위치한 화소 및 한 스캔 라인 하단 좌측에 위치한 화소를 연결한 방향이다.

The direction is a direction connecting pixels located on the upper left side of the scan line centered on the interpolation target pixel and pixels positioned vertically below one scan line.

The direction is a direction connecting pixels located on the upper vertical line of the scan line centered on the interpolation target pixel and pixels located on the lower left side of one scan line.

보간 대상 화소의 상위 스캔 라인에 포함된 3개의 화소 및 보간 대상 화소의 하위 스캔 라인에 포함된 3개의 화소에 기초하여 상기 보간 대상 화소의 로컬 에지 방향을 결정할 수 있다.
The local edge direction of the interpolation target pixel may be determined based on three pixels included in the upper scan line of the interpolation target pixel and three pixels included in the lower scan line of the interpolation target pixel.

LCID 기법은 수학식 4에 나타난 바와 같이 4개의 공간적 코릴레이션(Directional Corrlation)을 사용하여 로컬 에지 방향(Local Edge Direction)을 결정한다 The LCID technique uses four spatial correlations to determine the local edge direction, as shown in equation (4).

산출된 공간적 코릴레이션을 이용하여 아래의 수학식 5를 이용하여 보간 대상 화소의 화소값을 보간할 수 있다. By using the calculated spatial correlation, the pixel value of the interpolation target pixel may be interpolated using Equation 5 below.

수학식 4의 하단의 수식을 참조하면 알 수 있듯이, MELA와 달리 LCID는 수평 방향의 화소값을 고려하여 보간 대상 화소의 화소값을 보간할 수 있다.
As can be seen from the equation at the bottom of Equation 4, unlike MELA, the LCID may interpolate the pixel value of the interpolation target pixel in consideration of the pixel value in the horizontal direction.

디인터레이싱 방법 중 LA(Line Average)는 보간 대상 화소를 기준으로 아래의 수학식 6과 같이 위, 아래의 화소값의 평균을 이용하여 보간 대상 화소의 화소값을 보간할 수 있다. Among the de-interlacing methods, the LA (Line Average) may interpolate pixel values of the interpolation target pixel by using an average of the pixel values above and below, based on the interpolation target pixel as shown in Equation 6 below.

본 발명의 일실시예에 따르면, 본 발명은 영상의 지역 특성에 따른 디인터레이싱 방법의 성능 차이를 극복하기 위하여 영상의 지역적 특성을 고려하여 적응적으로 디인터레이싱을 수행한다. According to an embodiment of the present invention, the present invention adaptively performs the deinterlacing in consideration of the regional characteristics of the image in order to overcome the performance difference of the deinterlacing method according to the regional characteristics of the image.

계산량을 줄이기 위해서 기존의 디인터레이싱 방법 중 성능이 좋으면서 계산량이 적은 MELA와 LCID 기술과 수직 방향 연산을 수행하는 LA 기술을 사용할 수 있다. In order to reduce the calculation amount, the conventional deinterlacing method, which has good performance and low computational amount, may use MELA and LCID techniques and LA technique that performs vertical calculation.

도 2는 본 발명의 일실시예에 따른 지역적 복잡도를 산출하기 위한 화소들 간의 관계를 나타낸 개념도이다.2 is a conceptual diagram illustrating a relationship between pixels for calculating local complexity according to an embodiment of the present invention.

아래의 수학식 7은 지역 복잡도(Degree of Local Complexity, DoLC)를 나타내는 수식이다. Equation 7 below is a formula representing the degree of local complexity (DoLC).

도 2 및 수학식 7을 참조하면, 지역 복잡도는 보간 대상 화소의 상위 스캔 라인의 3개의 화소와 하위 스캔 라인 3개의 화소를 사용하여 디인터레이싱을 수행할 수 있다. Referring to FIGS. 2 and 7, the local complexity may be deinterlaced using three pixels of the upper scan line and three lower scan lines of the interpolation target pixel.

지역 복잡도는 보간 대상 화소의 상위 스캔 라인에 위치한 3개의 화소와 하위 스캔 라인에 위치한 3개의 화소값의 차이를 각각 더한 값으로 산출될 수 있다. The regional complexity may be calculated by adding a difference between three pixels positioned in the upper scan line and three pixel values positioned in the lower scan line of the interpolation target pixel.

상기 식 1에서

은 보간 대상 화소의 좌측에 위치한 화소열,

는 보간 대상 화소가 위치한 화소열,

은 보간 대상 화소의 우측에 위치한 화소열을 의미한다.In Equation 1

Is a pixel column located on the left side of the pixel to be interpolated,

Is the pixel column where the interpolation target pixel is located,

Denotes a pixel column located to the right of the interpolation target pixel.

즉, 지역 복잡도가 클수록, 상위 스캔 라인의 화소값과 하위 스캔 라인 화소값의 차이가 커지게 되고 이러한 특성을 통해 디인터레이싱 방법을 적응적으로 사용할 수 있다. That is, as the area complexity increases, the difference between the pixel value of the upper scan line and the lower scan line pixel value becomes larger, and through this characteristic, the deinterlacing method can be adaptively used.

본 발명의 일실시예에 따르면, 보간 대상 화소의 지역 복잡도는 위 스캔 라인에 위치한 3개의 화소와 하위 스캔 라인에 위치한 3개의 화소값의 차이를 각각 더한 값으로 산출되지만, 본 발명의 본질에서 벋어나지 않는 한 상위 및 하위 스캔라인에 포함된 지역 복잡도를 산출하기 위한 화소의 수는 달라질 수 있다.
According to an embodiment of the present invention, the local complexity of the pixel to be interpolated is calculated by adding the difference between the three pixels located on the upper scan line and the three pixel values located on the lower scan line, but differs from the nature of the present invention. The number of pixels for calculating local complexity included in the upper and lower scan lines may be different unless otherwise specified.

도 3은 본 발명의 일실시예에 따른 Foreman 영상의 일정 지역에서 기존의 디인터레이싱 방법을 상??하여 보간된 픽셀과 원본 픽셀과의 차이를 나타낸 그래프이다. FIG. 3 is a graph illustrating a difference between an interpolated pixel and an original pixel using a conventional deinterlacing method in a region of a foreman image according to an embodiment of the present invention.

그래프의

축은 영상의 특정 픽셀의 위치를 나타내고

축은 영상의 특정 픽셀의 위치에서 원본 픽셀과 디인터레이싱을 수행한 픽셀간의 차이를 절대값으로 나타낸 것이다. Graph

The axis represents the position of a particular pixel in the image

The axis represents the absolute value of the difference between the original pixel and the deinterlaced pixel at the position of a specific pixel of the image.

도 3을 참조하면, 디인터레이싱 방법에 따라서 해당 영상 픽셀 위치에 따라 성능이 달라지는 것을 볼 수 있다. Referring to FIG. 3, it can be seen that the performance varies depending on the position of the corresponding image pixel according to the deinterlacing method.

예를 들어, (4, 147) 위치의 픽셀의 경우, FDD(Fine Directional Deinterlacing), LA(Line Average) 기술이 다른 기술들에 비해 원본과의 차 값이 적지만, (4, 153) 위치에서는 EELA(Efficient ELA) 기술의 차 값이 다른 기술들의 차 값보다 작은 것을 볼 수 있다. For example, in the case of the pixel at position (4, 147), Fine Directional Deinterlacing (FDD) and Line Average (LA) techniques have less difference from the original compared to other techniques, but at position (4, 153) It can be seen that the difference between the EELA (Efficient ELA) technology is smaller than that of the other technologies.

이러한 결과를 통해서 알 수 있듯이, 영상의 지역 특성 별로 디인터레이싱 기술을 적용 후 영상의 보간의 정확도는 차이가 발생한다.As can be seen from these results, the accuracy of the interpolation of the image occurs after applying the deinterlacing technique for each region characteristic of the image.

영상의 지역 특성 별로 효과적인 디인터레이싱 방법을 판단하기 위해서 영상에서 보간할 픽셀 위치별로 지역 복잡도를 구한 후 그 지역 복잡도에서 가장 효과적인 알고리듬을 선택할 수 있다. In order to determine an effective deinterlacing method for each region characteristic of an image, the region complexity can be obtained for each pixel position to be interpolated in the image, and then the most effective algorithm can be selected from the region complexity.

먼저 보간하고자하는 픽셀을 LA, MELA, LCID 방법을 사용하여 디인터레이싱을 수행하고 아래의 수학식 8을 사용하여 보간 대상 화소의 예측된 화소 값과 원래의 픽셀값과의 차분을 구한 후, 차분값을 보간 대상 화소의 지역 복잡도와 연관하여 저장시킨다. First, deinterlacing a pixel to be interpolated using LA, MELA, and LCID methods, and using Equation 8 below to calculate the difference between the predicted pixel value of the pixel to be interpolated and the original pixel value, and then calculate the difference value. It is stored in association with the local complexity of the interpolation target pixel.

이하 본 발명의 실시예에 따르면 본 발명에서 사용되는 화소값 오차를 산출하기 위한 디인터레이싱 방법은 LA, MELA, LCID 기법을 사용하지만, 이러한 디인터레이싱 방법을 사용한 오차 계산 방법은 본 발명의 일실시예로서 LA, MELA, LCID 기법을 제외한 다른 디인터레이싱 방법과 LA, MELA, LCID 기법 중 적어도 두 개의 디인터레이싱 방법을 사용하여 원래 화소와의 오차값을 산출하고 최소 오차값을 가지는 디인터레이싱 방법을 영상의 지역 특성에 따라 적응적으로 사용할 수 있다. Hereinafter, according to an embodiment of the present invention, the deinterlacing method for calculating the pixel value error used in the present invention uses LA, MELA, and LCID techniques, but the error calculation method using the deinterlacing method is LA as an embodiment of the present invention. Deinterlacing method except the MELA and LCID method and at least two deinterlacing methods of LA, MELA and LCID method are used to calculate the error value with the original pixel and adapt the deinterlacing method having the minimum error value according to the local characteristics of the image. Can be used as

수학식 8에서

는 LA 기술로 예측된 화소값이고,

는 MELA 기술로 예측된 화소값,

는 LCID 기술로 예측된 화소값이다. In equation (8)

Is the pixel value predicted by LA technology,

Is the pixel value predicted by MELA technology,

Is the pixel value predicted by the LCID technique.

수학식 8에서 산출된 오차값을 근거로 해당 보간 대상 화소에서 지역 복잡도가 가장 낮은 디인터레이싱 방법을 알 수 있다. Based on the error value calculated in Equation 8, the deinterlacing method having the lowest local complexity in the pixel to be interpolated can be known.

수학식 7과 수학식 8을 통해서 해당 화소의 지역 복잡도값과 해당 화소에서 LA, MELA, LCID 방법을 통해 디인터레이싱을 수행하여 예측했을 때, 원래 화소와의 오차값을 알 수 있다.
Equation 7 and Equation 8 show the local complexity value of the pixel and the error value with respect to the original pixel when the pixel is predicted by performing deinterlacing through the LA, MELA, and LCID methods.

본 발명의 일실시예에 따르면 본 발명에서는 다수의 화소에 대해 동일한 절차를 반복적으로 수행할 수 있고, 이러한 트레이닝 과정을 거쳐서 다수의 화소의 지역 복잡도 값과

,

값이 축적될 수 있다. According to an embodiment of the present invention, in the present invention, the same procedure may be repeatedly performed on a plurality of pixels.

,

Values can accumulate.

축적된 결과를 기초로한 통계치를 이용해 특정한 지역 복잡도 값을 가진 다수의 화소에서

,

값들이 누적될 수 있고, 누적된

,

의 평균치를 산출할 수 있다. Statistics based on accumulated results can be used to generate multiple pixels with specific regional complexity values.

,

Values can accumulate, accumulate

,

The average value of can be calculated.

즉, 이러한 누적 과정을 거쳐서 특정한 지역 복잡도 값에서 가장 작은 오차를 가지는 디인터레이싱 방법을 선택할 수 있다. That is, through this cumulative process, a deinterlacing method having the smallest error in a specific local complexity value can be selected.

아래의 수학식 9는 본 발명의 일실시예에 따른 특정 지역 복잡도 값에서 가장 작은 오차를 가지는 디인터레이싱 방법을 선택하여 룩업테이블(Look-up Table)에 저장하는 것을 나타낸 것이다. Equation 9 below shows a method of selecting a deinterlacing method having the smallest error in a specific local complexity value according to an embodiment of the present invention and storing it in a look-up table.

는 지역 복잡도를 기초로 한 룩업테이블,

는 특정 지역 복잡도에서 LCID 방법을 기초로 보간 대상 화소를 디인터레이싱하여 산출한 평균이 가장 작은 경우를 의미할 수 있다.

Is a lookup table based on local complexity,

May mean a case where the average calculated by deinterlacing the interpolation target pixel based on the LCID method is the smallest in a specific local complexity.

다양한 지역 복잡도 값에서 가장 작은 평균 오차값을 가지는 디인터레이싱 방법을 룩업테이블을 이용하여 적용하고, 차후 디인터레이싱을 수행시 보간 대상 화소의 지역 복잡도에서 가장 작은 오차값을 가지는 디인터레이싱 방법을 룩업테이블을 이용하여 선택할 수 있다.
The deinterlacing method having the smallest mean error value at various local complexity values is applied by using the lookup table, and the deinterlacing method having the smallest error value in the local complexity of the interpolation target pixel is selected by using the lookup table in the future deinterlacing. Can be.

도 4는 본 발명의 일실시예에 따른 지역 복잡도에 기반하여 디인터레이싱 방법을 선택하는 것을 나타낸 그래프이다. 4 is a graph illustrating selecting a deinterlacing method based on regional complexity according to an embodiment of the present invention.

도 4를 참조하면, 그래프의

축은 지역 복잡도(Degree of Local Complexity, DoLC)를 나타내고

축은 보간 대상 화소의 지역 복잡도에 따른 선택된 디인터레이싱 방법을 나타낸다. 4, the graph of

The axis represents the degree of local complexity (DoLC)

The axis represents the selected deinterlacing method according to the regional complexity of the pixel to be interpolated.

수학식 7을 통해 만들어지는 지역 복잡도 값은 위, 아래 픽셀 값의 차이의 합이기 때문에, 값의 범위는 0에서 765의 값을 가지게 된다. Since the region complexity value generated by Equation 7 is the sum of the difference between the upper and lower pixel values, the value ranges from 0 to 765.

그래프는 특정 지역 복잡도에서 선택가능한 특정한 디인터레이싱 기술을 나타낸다.The graph shows a specific deinterlacing technique selectable at a particular regional complexity.

즉, 영상에 포함된 보간 대상 화소의 화소값과 상기 보간 대상 화소의 상위 스캔 라인 및 하위 스캔 라인에 위차한 화소의 화소값을 기초로 상기 보간 대상 화소의 지역 복잡도를 산출하고 적어도 두 개의 디인터레이싱 방법을 사용하여 디인터레이싱을 수행한 상기 보간 대상 화소의 화소값과 상기 보간 대상 화소의 상위 스캔 라인 및 하위 스캔 라인에 위차한 화소의 화소값 사이의 화소값 차이를 산출하여 얻어진 지역복잡도 정보와 적어도 두 개의 디인터레이싱 방법 중 가장 작은 오차값을 가지는 디인터레이싱 방법 정보를 기초로 지역 복잡도에 따른 상기 가장 작은 오차값을 가지는 디인터레이싱 방법의 관계를 산출할 수 있다. That is, the local complexity of the interpolation target pixel is calculated based on the pixel value of the interpolation target pixel included in the image, and the pixel value of the pixel located above the upper scan line and the lower scan line of the interpolation target pixel, and at least two deinterlacing methods. Local complexity information obtained by calculating a pixel value difference between the pixel value of the interpolation target pixel subjected to deinterlacing and the pixel value of the pixel located above the upper scan line and the lower scan line of the interpolation target pixel using at least two Based on the deinterlacing method information having the smallest error value among the deinterlacing methods, the relationship between the deinterlacing method having the smallest error value according to the regional complexity may be calculated.

0으로 선택된 부분은 LA, MELA, LCID의 상관도가 같은 지역이다. 이럴 경우엔 LA 기술을 선택하여 디인터레이싱을 수행한다. LA 기술은 에지 방향의 고려없이 보간을 하기 때문에 연산량이 작다. 에지가 없는 평탄한 영역에서는 대부분 수직 방향이 선택되기 때문에 이런 부분에서는 LA, MELA, LCID로 보간한 픽셀과 본래 픽셀과의 차분치가 같은 경우가 많다. 이때 LA 기술을 사용하면 에지 방향을 찾기 위한 연산을 하지 않기 때문에 DoLC를 구하는 연산을 보상할 수 있다.
The part selected as 0 is the area where the correlation of LA, MELA, and LCID is the same. In this case, select LA technology to perform deinterlacing. The LA technique has a small amount of computation because it interpolates without considering the edge direction. In most flat areas with no edges, the vertical direction is chosen, so in these cases, the difference between the pixel interpolated with LA, MELA, and LCID and the original pixel is often the same. In this case, the LA technique can be used to compensate for the calculation of DoLC because the operation to find the edge direction is not performed.

도 5는 본 발명의 일실시예에 따른 지역 복잡도에 기반하여 디인터레이싱 방법을 수행하기 위해 트레이닝을 수행하는 방법을 나타낸 순서도이다. 5 is a flowchart illustrating a method of performing training to perform a deinterlacing method based on regional complexity according to an embodiment of the present invention.

도 5를 참조하면, 특정 프레임에 포함된 화소의 지역 복잡도를 산출할 수 있다(단계 S400). Referring to FIG. 5, a local complexity of pixels included in a specific frame may be calculated (step S400).

특정 프레임에서의 지역 복잡도는 수학식 7에 표현된 식을 이용하여 보간 대상 화소의 상위 스캔 라인에 위치한 3개의 화소와 보간 대상 화소의 하위 스캔 라인에 위치한 3개의 화소의 수직 방향 화소값 차이를 이용하여 구할 수 있다. The regional complexity in a specific frame is obtained by using the difference in the vertical pixel values of three pixels located at the upper scan line of the interpolation target pixel and three pixels located at the lower scan line of the interpolation target pixel using the equation expressed in Equation 7. Can be obtained by

특정 프레임에 포함된 화소값을 복수의 디인터레이싱 방법을 사용하여 디인터레이싱을 수행한 후 원래의 화소값과 차이를 구할 수 있다(단계 S410).After the deinterlacing of the pixel values included in the particular frame using a plurality of deinterlacing methods, a difference from the original pixel values may be obtained (step S410).

본 발명의 일실시예에 따르면, LA, MELA, LCID 방법을 사용하여 보간 대상 화소를 디인터레이싱하고 수학식 9를 사용하여 원래의 화소값과의 오차를 산출할 수 있다. 하지만, 본 발명의 실시예에서는 설명의 편의상 LA, MELA, LCID 방법을 사용하여 보간 대상 화소를 디인터레이싱하고 수학식 9를 사용하여 원래의 화소값과의 오차를 산출하는 방법을 사용하는 것을 나타냈다. LA, MELA, LCID 방법 외의 디인터레이싱 방법을 사용하여 다양한 디인터레이싱 방법의 조합을 이용해 원래의 화소값과의 오차를 산출할 수 있다. 즉, 본 발명의 본질을 벋어나지 않는 한 LA, MELA, LCID외의 다른 디인터레이싱 방법 및 LA, MELA, LCID 방법을 사용하여 디인터레이싱을 수행하는 것 또한 본 발명의 권리범위에 포함된다. According to an embodiment of the present invention, the interpolation target pixel may be deinterlaced using LA, MELA, and LCID methods, and an error with the original pixel value may be calculated using Equation 9. However, in the embodiment of the present invention, for convenience of description, the method of deinterlacing the interpolation target pixel using the LA, MELA, and LCID methods and calculating the error with the original pixel value using Equation 9 is shown. Deinterlacing methods other than LA, MELA, and LCID methods may be used to calculate an error from the original pixel values using a combination of various deinterlacing methods. That is, it is also within the scope of the present invention to perform deinterlacing using LA, MELA, LCID methods and other deinterlacing methods other than LA, MELA, and LCID, unless the nature of the present invention is lost.

단계 S400과 단계 S410을 통해서 특정 보간 대상 화소의 지역 복잡도 정보와 LA, MELA, LCID 방법을 사용하여 특정 보간 대상 화소를 디인터레이싱하고 수학식 8을 사용하여 원래의 화소값과의 오차를 구한 값이 산출될 수 있다. In step S400 and S410, the region complexity information of the specific interpolation target pixel and the interpolation target pixel are deinterlaced using LA, MELA, and LCID methods, and the value obtained by calculating an error with the original pixel value using Equation 8 is calculated. Can be.

이러한 단계 S400과 단계 S410의 과정은 일정한 횟수 또는 특정한 영상에서 반복하여 수행될 수 있다. 이러한 트레이닝 과정을 통해서 특정 지역 복잡도에 따른 LA, MELA, LCID 방법을 사용하여 특정 보간 대상 화소를 디인터레이싱하고 수학식 8을 사용하여 원래의 화소값과의 오차를 구한 값이 통계적으로 누적될 수 있다. The processes of steps S400 and S410 may be repeatedly performed at a predetermined number of times or in a specific image. Through this training process, the interpolation target pixels may be deinterlaced using LA, MELA, and LCID methods according to a specific area complexity, and values obtained by calculating an error with the original pixel values using Equation 8 may be statistically accumulated.

특정 지역 복잡도에서 누적된 오차값의 평균을 산출한 후 룩업테이블을 생성할 수 있다(단계 S420).After calculating an average of error values accumulated in a specific area complexity, a lookup table may be generated (step S420).

수학식 9를 사용하여, 특정 지역 복잡도 값에서 가장 작은 오차값 평균을 가지는 디인터레이싱 방법에 대한 룩업테이블을 생성할 수 있다. Using Equation 9, a lookup table for a deinterlacing method having the smallest mean error value at a specific local complexity value may be generated.

수학식 9에 개시된 LA, MELA, LCID는 본 발명에 따른 일실시예로서 본 발명의 본질에서 벋어나지 않는 한 다른 디인터레이싱 방법을 선택하여 트레이닝한 경우 그에 따라 수학식 9는 변환되어 적용될 수 있다. LA, MELA, and LCID disclosed in Equation 9 are embodiments according to the present invention, and in the case of training by selecting another deinterlacing method, the equation 9 may be converted and applied according to an embodiment of the present invention.

룩업테이블을 생성하는 것은 단계 S410에서 특정 프레임에 포함된 화소값을 복수의 디인터레이싱 방법을 사용하여 디인터레이싱을 수행한 후 원래의 화소값과 차이를 구하는 단계를 통해 산출된 값의 통계치를 산출하여 디인터레이싱에 적용하기 위한 하나의 실시예이다. 즉, 본 발명의 본질에서 벋어나지 않는 한 룩업 테이블을 생성하는 방법 외에도 다른 방법을 사용하여 원래의 화소값과 차이를 구하는 단계를 통해 산출된 값의 통계치를 산출하여 디인터레이싱에 적용할 수 있다.
Generating a look-up table may include deinterlacing pixel values included in a specific frame in step S410 using a plurality of deinterlacing methods, and then calculating statistical values of the calculated values by deriving a difference from the original pixel values. One embodiment for application. In other words, unless it is out of the essence of the present invention, in addition to the method of generating a lookup table, it is possible to calculate the statistical value of the value calculated through the step of obtaining a difference from the original pixel value using another method and apply it to deinterlacing.

생성된 룩업테이블을 기초로 디인터레이싱을 수행할 수 있다(단계 S430).De-interlacing may be performed based on the generated lookup table (step S430).

룩업테이블은 소정의 저장장치에 저장될 수있고 트레이닝을 수행한 결과 생성된 룩업테이블을 이용하여 디인터레이싱을 수행할 수 있다. The lookup table may be stored in a predetermined storage device and deinterlacing may be performed using the lookup table generated as a result of training.

룩업테이블이 사용되지 않고 다른 방법을 통해 산출되어 통계화된 값이 활용되는 경우, 룩업테이블이 아닌 다른 방법을 사용하여 디인터레이싱을 수행하는 것도 가능하다.
If the lookup table is not used and the calculated and calculated values are utilized, deinterlacing may be performed using a method other than the lookup table.

도 6은 본 발명의 일실시예에 따른 지역 복잡도를 고려한 디인터레이싱 방법을 수행한 경우, 기존의 디인터레이싱 방법과 비교한 것을 나타낸 표이다. 6 is a table illustrating a comparison with a conventional deinterlacing method when the deinterlacing method considering the regional complexity according to an embodiment of the present invention is performed.

도 6을 참조하면, 영상(왼쪽부터 Bluesky, City, Football, Girl, Goldhill, Raven, Table tennis, Zelda 영상)에 대해 다양한 디인터레이싱 방법(위에서부터, LA, ELA, EELA, DOI, NEDD, MELA, LCID, FDD, 본 발명에 따른 지역 복잡도를 고려한 디인터레이싱 방법)을 수행한 경우, 영상의 PSNR 값과 영상 처리 시간을 나타낸 것이다. Referring to FIG. 6, various deinterlacing methods (from above, LA, ELA, EELA, DOI, NEDD, MELA, LCID) for images (from the left, Bluesky, City, Football, Girl, Goldhill, Raven, Table tennis, and Zelda images) , FDD, and deinterlacing method considering the local complexity according to the present invention), shows the PSNR value and the image processing time of an image.

도 6의 표를 참조하면, 본 발명의 일실시예에 따른 디인터레이싱 방법과 기존의 디인터레이싱 방법의 PSNR 값 비교하여 보면 본 발명의 일실시예에 따른 지역 복잡도를 고려한 디인터레이싱 방법의 객관적인 성능이 기존의 디인터레이싱 방법보다 성능이 우수함을 알 수 있다.Referring to the table of Figure 6, when comparing the PSNR value of the de-interlacing method and the conventional de-interlacing method according to an embodiment of the present invention objective performance of the de-interlacing method considering the regional complexity according to an embodiment of the present invention It can be seen that the performance is superior to the method.

특히, 디인터레이싱 방법 중 기존의 디인터레이싱 방법 중 PSNR 성능이 우수한 FDD 방법과 비교하여도 평균 PSNR이 0.08 dB 높으면서, 속도는 약 45배 빠른 것을 알 수 있다. In particular, it can be seen that the average PSNR is 0.08 dB higher and the speed is about 45 times faster than the FDD method having excellent PSNR performance among the existing deinterlacing methods.

FDD 기술보다 객관적 성능은 낮지만, 계산량이 적어서 실시간 시스템에 적합한 MELA와 LCID 기술과 본발명에서 개시된 디인터레이싱 방법을 비교할 경우, 본 발명의 일실시예에 따른 지역 복잡도를 고려한 디인터레이싱 방법이 LCID 기술에 비하여 0.8배 정도의 속도를 가지지만 PSNR에 있어 0.12dB 가량 높은 것을 알 수 있다. 또한 MELA 기술과 비교하여 본 발명의 일실시예에 따른 디인터레이싱 방법은 디인터레이싱 속도는 거의 같지만, PSNR에 있어 0.11 dB 높은 것을 알 수 있다.
Although the objective performance is lower than that of the FDD technique, when the MELA and LCID techniques suitable for real-time systems are compared with the deinterlacing method disclosed in the present invention, the deinterlacing method considering the regional complexity according to an embodiment of the present invention is less than the LCID technique. Although it has a speed of about 0.8 times, it can be seen that it is about 0.12 dB higher in PSNR. In addition, the de-interlacing method according to an embodiment of the present invention compared to the MELA technology, but the de-interlacing speed is almost the same, it can be seen that 0.11 dB higher in PSNR.

도 7은 본 발명의 일실시예에 따른 지역 복잡도를 고려한 디인터레이싱 방법을 수행한 경우, 기존의 디인터레이싱 방법의 연산량을 비교한 표이다. FIG. 7 is a table comparing arithmetic operations of a conventional deinterlacing method when the deinterlacing method considering the regional complexity according to an embodiment of the present invention is performed.

도 7을 참조하면 영상은(왼쪽부터 Bluesky, City, Football, Girl, Goldhill, Raven, Table tennis, Zelda 영상)에 대해 다양한 디인터레이싱 방법(위에서부터 MELA, LCID, 본 발명에 따른 지역 복잡도를 고려한 디인터레이싱 방법)을 수행한 경우, 더하기, 곱 및 절대값 계산량을 나타낸 것이다.Referring to FIG. 7, the image is a deinterlacing method considering various deinterlacing methods (from above, MELA, LCID, and regional complexity according to the present invention) for (Bluesky, City, Football, Girl, Goldhill, Raven, Table tennis, Zelda images). ), Add, product, and absolute value calculations.

도 7의 표에서 알 수 있듯이, 표의 가장 우측의 평균치를 살펴보면 LCID의 연산량이 세 개의 디인터레이싱 방법 중 가장 작고, 본 발명의 일실시예에 따른 지역 복잡도를 기반으로 한 디인터레이싱 방법이 LCID의 연산량과 거의 유사한 것을 알 수 있다. As can be seen from the table of FIG. 7, the average value of the rightmost of the table shows that the amount of calculation of the LCID is the smallest among the three deinterlacing methods, and the deinterlacing method based on the regional complexity according to the embodiment of the present invention is almost equal to the amount of calculation of the LCID. It is similar.

MELA 기법의 경우 LCID 기술에 비해 에지 방향 판단을 위한 연산량이 많기 때문에 LCID와 본 발명에 따른 디인터레이싱 방법에 비하여 연산량이 높은 것을 알 수 있다. In the MELA technique, the computational amount for edge direction determination is higher than that of the LCID technique, and thus the computational amount is higher than that of the LCID and the deinterlacing method according to the present invention.

도 6와 도 7의 표를 참조하면 본 발명의 일실시예에 따른 지역 복잡도를 고려한 디인터레이싱 방법은 기존의 기술보다 PSNR 및 복잡도 측면에서 우수한 성능을 가짐을 확인할 수 있다.
6 and 7, it can be seen that the deinterlacing method considering the regional complexity according to an embodiment of the present invention has better performance in terms of PSNR and complexity than the existing technology.

도 8은 본 발명의 일실시예에 따른 지역 복잡도를 기반으로 한 디인터레이싱을 수행한 후의 영상과 기존의 디인터레이싱 방법을 사용하여 디인터레이싱을 수행한 영상의 주관적인 화질을 비교한 것이다. FIG. 8 compares the subjective picture quality of an image after performing deinterlacing based on regional complexity and an image deinterlacing using a conventional deinterlacing method according to an embodiment of the present invention.

도 8을 참조하면 좌측 상단에서부터 알파벳 순서로 원본 영상, 원본 블록, LA, ELA, EELA, DOI, NEDD, MELA, LCID, FDD, 본 발명의 일실시예에 따른 지역 복잡도를 고려한 디인터레이싱 방법을 나타낸 것이다. Referring to FIG. 8, the original image, original block, LA, ELA, EELA, DOI, NEDD, MELA, LCID, FDD, and the deinterlacing method considering the regional complexity according to an embodiment of the present invention are shown in alphabetical order from the upper left corner. .

LA 방법은 PSNR이 31.01dB , ELA 방법은 PSNR이 29.95dB, EELA 방법은 PSNR이 30.41dB, DOI 방법은 PSNR이 31.01dB, NEDD 방법은 PSNR이 30.74dB, MELA 방법은 PSNR이 31.14dB, LCID 방법은 PSNR이 31.09dB, FDD 방법은 PSNR이 31.07dB, 본 발명의 일실시예에 따른 디인터레이싱 방법은 31.26dB의 값을 가진다. The LA method has a PSNR of 31.01 dB, the ELA method has a PSNR of 29.95 dB, the EELA method has a PSNR of 30.41 dB, the DOI method has a PSNR of 31.01 dB, the NEDD method has a PSNR of 30.74 dB, the MELA method has a PSNR of 31.14 dB, and the LCLA method has a 31.14 dB, LCID method. The PSNR is 31.09dB, the FDD method has a PSNR of 31.07dB, and the deinterlacing method according to an embodiment of the present invention has a value of 31.26dB.

즉, 주관적 화질 비교에 있어 본 발명의 일실시예에 따른 디인터레이싱 방법이 기존의 인터레이싱 방법에 비해 성능이 뛰어난 것을 알 수 있다.
That is, in the subjective quality comparison, it can be seen that the deinterlacing method according to the embodiment of the present invention is superior in performance to the conventional interlacing method.

도 9는 본 발명의 일실시예에 따른 지역 복잡도를 기초로 디인터레이싱을 수행하는 영상 처리 장치이다. 9 is an image processing apparatus for performing deinterlacing based on local complexity according to an embodiment of the present invention.

도 9를 참조하면 지역 복잡도를 기초로 디인터레이싱을 수행하는 영상 처리 장치는 지역 복잡도 산출부(900), 오차값 산출부(910), 영상 통계 처리부(920), 룩업테이블 생성부(930), 디인터레이싱 수행부(940)을 포함할 수 있다.Referring to FIG. 9, an image processing apparatus that performs deinterlacing based on regional complexity may include a region complexity calculator 900, an error value calculator 910, an image statistics processor 920, a lookup table generator 930, and deinterlacing. It may include an execution unit 940.

각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합 및 분리된 실시예의 경우도 본 발명의 본질에서 벋어나지 않는 한 본 발명의 권리범위에 포함된다. For convenience of explanation, the respective components are arranged in the respective components, and at least two of the components may be combined to form one component, or one component may be divided into a plurality of components to perform the functions. The scope of the present invention is also encompassed within the scope of the present invention unless otherwise specified.

지역 복잡도 산출부(900)는 영상에 포함된 보간 대상 화소의 화소값과 보간 대상 화소의 주변 화소의 화소값을 기초로 보간 대상 화소의 지역 복잡도를 산출할 수 있다. The local complexity calculator 900 may calculate the regional complexity of the interpolation target pixel based on the pixel value of the interpolation target pixel included in the image and the pixel value of the peripheral pixel of the interpolation target pixel.

지역 복잡도 산출부(900)은 수학식 7을 이용하여 보간 대상 화소의 상위 스캔 라인에 위치한 3개의 화소와 하위 스캔 라인에 위치한 3개의 화소값의 차이를 각각 더한 값으로 지역 복잡도를 산출하는 방법을 사용할 수 있다. The local complexity calculator 900 calculates a local complexity by using the equation (7) to add the difference between three pixels located in the upper scan line of the interpolation target pixel and three pixels located in the lower scan line. Can be used.

오차값 산출부(910)는 적어도 두 개의 디인터레이싱 방법을 사용하여 디인터레이싱을 수행한 보간 대상 화소의 화소값과 보간 대상 화소의 주변 화소의 화소값 사이의 화소값 차이를 산출할 수 있다. The error value calculator 910 may calculate a pixel value difference between the pixel value of the interpolation target pixel and the pixel value of the neighboring pixel of the interpolation target pixel using at least two deinterlacing methods.

오차값 산출부(910)는 수학식 8을 사용하여 산출될 수 있다. The error value calculator 910 may be calculated using Equation 8.

하지만, 수학식 8은 LA, MELA, LCID 기법을 사용한 디인터레이싱에 한정된 식으로서 LA, MELA, LCID 기법을 제외한 다른 디인터레이싱 방법과 LA, MELA, LCID 기법 중 적어도 두 개의 디인터레이싱 방법을 사용하여 원래 화소와의 오차값을 산출하고 최소 오차값을 가지는 디인터레이싱 방법을 영상의 지역 특성에 따라 적응적으로 사용할 수 있다. However, Equation 8 is limited to deinterlacing using the LA, MELA, and LCID techniques. A deinterlacing method that calculates an error value and has a minimum error value can be adaptively used according to the regional characteristics of the image.

영상 통계 처리부(920)는 적어도 두 개의 디인터레이싱 방법을 사용하여 디인터레이싱을 수행한 산출된 상기 보간 대상 화소의 화소값과 상기 보간 대상 화소의 주변 화소의 화소값 사이의 화소값 차이를 누적하여 상기 지역 복잡도와 상기 디인터레이싱 방법 중 최소의 화소값 차이를 가지는 디인터레이싱 방법 사이의 관계를 산출할 수 있다. The image statistics processing unit 920 accumulates the pixel value difference between the calculated pixel value of the interpolation target pixel and the pixel value of the neighboring pixel of the interpolation target pixel by performing deinterlacing using at least two deinterlacing methods. And a deinterlacing method having a minimum pixel value difference among the deinterlacing methods.

룩업테이블 생성부(930)는 적어도 두 개의 디인터레이싱 방법을 사용하여 디인터레이싱을 수행한 산출된 상기 보간 대상 화소의 화소값과 상기 보간 대상 화소의 주변 화소의 화소값 사이의 화소값 차이를 누적하여 상기 지역 복잡도와 상기 디인터레이싱 방법 중 최소의 화소값 차이를 가지는 디인터레이싱 방법 사이의 관계를 누적하여 통계를 산출한 후 룩업 테이블을 생성할 수 있다. The lookup table generator 930 accumulates the pixel value difference between the calculated pixel value of the interpolation target pixel and the pixel value of the neighboring pixel of the interpolation target pixel, which is deinterlaced using at least two deinterlacing methods. The relationship between the complexity and the deinterlacing method having the smallest pixel value difference among the deinterlacing methods may be accumulated to generate a lookup table after calculating statistics.

룩업테이블 생성부는 특정 프레임에 포함된 화소값을 복수의 디인터레이싱 방법을 사용하여 디인터레이싱을 수행한 후 원래의 화소값과 차이를 구하여 산출된 값의 통계치를 구해 디인터레이싱에 적용하기 위한 하나의 실시예이다. 즉, 본 발명의 본질에서 벋어나지 않는 한 룩업테이블을 생성하는 방법 외에도 다른 방법을 사용하여 원래의 화소값과 차이를 구하는 단계를 통해 산출된 값의 통계치를 산출하여 디인터레이싱에 적용할 수 있다. The lookup table generator is an exemplary embodiment for obtaining a statistical value of a calculated value by performing a deinterlacing on pixel values included in a specific frame using a plurality of deinterlacing methods and then obtaining a difference from the original pixel values. In other words, the method may be applied to deinterlacing by calculating a statistical value of a value calculated through a step of obtaining a difference from an original pixel value by using another method, in addition to a method of generating a lookup table, unless it deviates from the essence of the present invention.

디인터레이싱 수행부(940)는 영상 통계 처리부(920)에 의해 산출된 보간 대상 화소의 화소값과 보간 대상 화소의 주변 화소의 화소값 사이의 화소값 차이를 누적하여 지역 복잡도와 디인터레이싱 방법 중 최소의 화소값 차이를 가지는 디인터레이싱 방법 사이의 관계를 기초로 최소의 화소값 차이를 가지는 디인터레이싱 방법을 사용하여 상기 보간 대상 화소의 디인터레이싱을 수행할 수 있다.
The deinterlacing execution unit 940 accumulates the pixel value difference between the pixel value of the interpolation target pixel and the pixel value of the neighboring pixel of the interpolation target pixel calculated by the image statistics processing unit 920, thereby minimizing the local complexity and the minimum pixel of the deinterlacing method. The deinterlacing of the pixel to be interpolated may be performed using a deinterlacing method having a minimum pixel value difference based on the relationship between the deinterlacing methods having a difference in value.

본 발명의 일실시예에 따른 디인터레이싱을 수행하는 영상 처리 장치는 HDTV 수신단에서 사용 될 수 있다. 특히, 본 발명의 일실시예에 따른 디인터레이싱을 수행하는 영상 처리 장치는 HDTV 수신단에서 후처리(post-processing)하는 경우에 사용될 수 있다. 또한, 본 발명의 일실시예에 따른 디인터레이싱을 수행하는 영상 처리 장치는 HDTV 이상의 해상도를 가지는 TV 수신단에서 후처리(post-processing)하는 경우에도 사용될 수 있다.
An image processing apparatus that performs deinterlacing according to an embodiment of the present invention may be used in an HDTV receiver. In particular, an image processing apparatus that performs deinterlacing according to an embodiment of the present invention may be used when post-processing at an HDTV receiver. In addition, the image processing apparatus for performing deinterlacing according to an embodiment of the present invention may be used when post-processing at a TV receiver having a resolution of HDTV or higher.

이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although described with reference to the embodiments above, those skilled in the art will understand that the present invention can be variously modified and changed without departing from the spirit and scope of the invention as set forth in the claims below. Could be.

Claims

In a deinterlacing method based on local complexity,
Calculating a regional complexity of the interpolation target pixel based on a pixel value of the interpolation target pixel included in an image and a pixel value of a pixel located above an upper scan line and a lower scan line of the interpolation target pixel; And
Calculating a pixel value difference between a pixel value of the interpolation target pixel subjected to deinterlacing using at least two deinterlacing methods and a pixel value of a pixel above the upper scan line and the lower scan line of the interpolation target pixel. Deinterlacing method based on local complexity.

The method of claim 1, wherein the regional complexity is,
Pixel values of three pixels included in an upper scan line of the interpolation target pixel, wherein the three pixels included in the upper scan line are pixels located at a vertical top, a left top, and a top right of the interpolation target pixel; Three pixels included in a lower scan line of the interpolation target pixel, wherein the three pixels included in the lower scan line are pixels located at a vertical bottom, a lower left and a lower right of the interpolation target pixel. Deinterlacing method based on the regional complexity, characterized in that the sum of the difference.

The method of claim 1, wherein the area complexity is,
Equation 1 below
(Equation 1)

(

Area complexity,

Is a pixel column located on the left side of the pixel to be interpolated,

Is the pixel column where the interpolation target pixel is located,

Means the pixel column located to the right of the interpolation target pixel)
Deinterlacing method based on the area complexity, characterized in that calculated by.

The method of claim 1, wherein the at least two deinterlacing methods comprise:
A method for deinterlacing based on regional complexity, which includes a modified edge-based line averaging (MELA) technique, a low-complexity interpolation for deinterlacing (LCID) technique, and a line average (LA) technique.

The pixel value difference between the pixel value of the interpolation target pixel subjected to deinterlacing using at least two deinterlacing methods and the pixel value of the pixel above the upper scan line and the lower scan line of the interpolation target pixel. To calculate the step,
Equation 2 below
(Equation 2)

(

Is the pixel value of the original interpolation target pixel,

Is the pixel value predicted by LA technology,

Is the pixel value predicted by MELA technology,

Is the pixel value predicted by LCID technology,

Denotes the absolute value of the difference between the pixel value of the interpolation target pixel and the pixel value predicted by the LCID technique.)
Deinterlacing method based on the area complexity, characterized in that calculated by.

The method of claim 1, wherein the deinterlacing method based on the regional complexity is:
Calculating local complexity of the interpolation target pixel based on the pixel value of the interpolation target pixel included in the image and the pixel value of the pixel that is above the upper scan line and the lower scan line of the interpolation target pixel and at least two deinterlacing methods Calculating the pixel value difference between the pixel value of the interpolation target pixel subjected to deinterlacing and the pixel value of the pixel located above the upper and lower scan lines of the interpolation target pixel using And calculating a relationship between the deinterlacing method having the smallest error value according to the local complexity based on the deinterlacing method information having the smallest error value among the at least two deinterlacing methods. De-interlacing method.

7. The method of claim 6, wherein the deinterlacing method based on the regional complexity,
And performing deinterlacing on the basis of the calculated relation of the deinterlacing method having the smallest error value according to the calculated local complexity.

The method according to claim 6, wherein the relationship between the calculated regional complexity and the deinterlacing method having a minimum pixel value difference among the deinterlacing methods is:
A method of deinterlacing based on local complexity, characterized in that it is stored in lookup table format.

The method of claim 8, wherein the lookup table,
Equation 3 below
(Equation 3)

(

Is a lookup table based on local complexity,

Denotes the smallest average calculated by deinterlacing the interpolation target pixel based on the LCID method at a specific local complexity.)
Deinterlacing method based on local complexity, characterized in that generated by.

An image processing apparatus that performs deinterlacing based on local complexity,
An area complexity calculator configured to calculate an area complexity of the interpolation target pixel based on a pixel value of the interpolation target pixel included in an image, and a pixel value of a pixel located above an upper scan line and a lower scan line of the interpolation target pixel; and
Calculate an error value for calculating a pixel value difference between a pixel value of the interpolation target pixel subjected to deinterlacing using at least two deinterlacing methods and a pixel value of a pixel above the upper scan line and the lower scan line of the interpolation target pixel. An image processing apparatus for performing deinterlacing on the basis of local complexity including a portion.

The method of claim 10, wherein the area complexity calculation unit,
Three pixels included in the upper scan line of the interpolation target pixel, wherein the three pixels included in the upper scan line of the interpolation target pixel are pixels located at the vertical top, left upper and right upper sides of the interpolation target pixel The pixel value of the pixel and the three pixels included in the lower scan line of the interpolation target pixel, wherein the three pixels included in the lower scan line of the interpolation target pixel are located at the vertical bottom, the lower left, and the lower right of the interpolation target pixel. And de-interlacing on the basis of local complexity, wherein the difference between the pixel values of the located pixels is the sum of the differences.

The method of claim 10, wherein the area complexity calculation unit,
Equation 1 below
(Equation 1)

(

Area complexity,

Is a pixel column located on the left side of the pixel to be interpolated,

Is the pixel column where the interpolation target pixel is located,

Means the pixel column located to the right of the interpolation target pixel)
And deinterlacing based on regional complexity, which is calculated by the method.

The method of claim 10, wherein the at least two deinterlacing methods comprise:
An image processing apparatus that performs de-interlacing based on regional complexity, which includes a modified edge-based line averaging (MELA) technique, a low-complexity interpolation for deinterlacing (LCID) technique, and a line average (LA) technique.

The method of claim 10, wherein the error value calculator,
Equation 2 below
(Equation 2)

(

Is the pixel value of the original interpolation target pixel,

Is the pixel value predicted by LA technology,

Is the pixel value predicted by MELA technology,

Is the pixel value predicted by LCID technology,

Denotes the absolute value of the difference between the pixel value of the interpolation target pixel and the pixel value predicted by the LCID technique.)
And deinterlacing based on regional complexity, which is calculated by the method.

The image processing apparatus of claim 10, wherein the image processing apparatus performs deinterlacing based on the regional complexity.
Based on the pixel value of the interpolation target pixel included in the image and the pixel value of the pixel that is above the upper scan line and the lower scan line of the interpolation target pixel, the local complexity of the interpolation target pixel is calculated and at least two deinterlacing methods are used. Calculating the pixel value difference between the pixel value of the interpolation target pixel subjected to deinterlacing and the pixel value of the pixel located above the upper scan line and the lower scan line of the interpolation target pixel. The image complexity processor further includes an image statistics processing unit that calculates a relationship between the deinterlacing method having the smallest error value according to the local complexity based on the information of the deinterlacing method having the smallest error value among at least two deinterlacing methods. Image processing apparatus that performs deinterlacing .

The image processing apparatus of claim 15, wherein the image processing apparatus performs deinterlacing based on the regional complexity.
And a deinterlacing unit further performing a deinterlacing unit based on the relation of the deinterlacing method having the smallest error value according to the local complexity calculated by the image statistics processing unit. .

The image processing apparatus of claim 15, wherein the image processing apparatus performs deinterlacing based on the regional complexity.
And a lookup table generation unit that creates a relationship between the calculated local complexity and a deinterlacing method having a minimum pixel value difference among the deinterlacing methods, as a lookup table.

The apparatus of claim 10, wherein the lookup table generator
Equation 3 below
(Equation 3)

(

Is a lookup table based on local complexity,

Is a smallest average calculated by deinterlacing an interpolation target pixel based on the LCID method at a specific local complexity. 2.

The image processing apparatus of claim 10, wherein the image processing apparatus that performs deinterlacing based on the regional complexity comprises:
An image processing apparatus that performs deinterlacing based on a regional complexity, which is used in a high definition television (HDTV) receiver or a TV receiver having a resolution greater than or equal to HDTV.