KR101932587B1

KR101932587B1 - Image processing apparatus and method for color-depth demosaicing

Info

Publication number: KR101932587B1
Application number: KR1020120131760A
Authority: KR
Inventors: 정승원; 이기창
Original assignee: 삼성전자주식회사
Priority date: 2012-11-20
Filing date: 2012-11-20
Publication date: 2018-12-26
Also published as: KR20140064432A; US9904981B2; US20140140608A1

Abstract

컬러 화소와 깊이 화소를 포함하는 영상에서 컬러 화소에 깊이 정보를 추가하고, 깊이 화소에 컬러 정보를 추가하는 영상 처리 장치 및 방법이 개시된다. 영상 처리 장치는 현재 컬러 화소의 주변 컬러 화소들 및 현재 컬러 화소의 주변 깊이 화소들을 이용하여 현재 컬러 화소의 깊이 정보를 결정하는 깊이 정보 결정부를 포함할 수 있다.An image processing apparatus and method for adding depth information to a color pixel and adding color information to a depth pixel in an image including a color pixel and a depth pixel are disclosed. The image processing apparatus may include a depth information determination unit that determines depth information of the current color pixel using the surrounding color pixels of the current color pixel and the surrounding depth pixels of the current color pixel.

Description

BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to color-depth demosaicing image processing apparatus and method,

이하의 일실시예들은 영상 처리 장치 및 방법에 관한 것으로 컬러 화소와 깊이 화소를 포함하는 영상에서 컬러 화소에 깊이 정보를 추가하고, 깊이 화소에 컬러 정보를 추가하는 컬러-깊이 디모자이킹을 수행하는 영상 처리 장치 및 방법에 관한 것이다.One embodiment of the present invention relates to an image processing apparatus and method, which performs color-depth demosaicing to add depth information to color pixels and add color information to depth pixels in an image including color pixels and depth pixels Image processing apparatus and method.

컬러 카메라는 하드웨어의 코스트(Cost)를 줄이기 위하여 화소들 각각에서 RGB 값을 모두 센싱(Sensing)하지 않고, 화소마다 하나의 컬러 성분만을 센싱하고 있다. 따라서, 컬러 카메라가 센싱한 영상에서 화소들 각각이 센싱하지 않은 컬러 성분을 추가하는 컬러 디모자이킹(Color Demosaicing) 방법에 따른 영상 처리 과정을 필요로 한다.The color camera senses only one color component per pixel without sensing all the RGB values in each of the pixels in order to reduce the hardware cost. Therefore, an image processing process according to a color demosaicing method is required, in which color components that are not sensed by each of the pixels are added to an image sensed by a color camera.

또한, 3D 영상 기술이 발전함에 따라 하나의 센서(Sensor)로 컬러 정보와 깊이 정보를 동시에 취득하는 기술에 대한 관심이 증가하고 있다.In addition, as the 3D image technology is developed, there is an increasing interest in a technique for simultaneously acquiring color information and depth information with a single sensor.

이때, 컬러 정보와 깊이 정보를 동시에 취득하는 방법으로는 컬러 카메라와 같이 화소 별로 하나의 컬러 성분 또는 깊이 정보만을 센싱하는 방법이 있을 수 있다. At this time, as a method of simultaneously acquiring color information and depth information, there may be a method of sensing only one color component or depth information for each pixel like a color camera.

그러나, 깊이 정보는 컬러 성분과 상이한 값이므로 종래의 컬러 디모자이킹 방법으로 컬러 성분을 나타내는 화소에 깊이 정보를 추가할 수 없다.However, since the depth information is different from the color component, the depth information can not be added to the pixel representing the color component by the conventional color demosaicing method.

따라서, 컬러 정보와 깊이 정보를 포함하는 영상을 처리하는 방법이 요구된다.Therefore, a method for processing an image including color information and depth information is required.

일실시예에 따른 영상 처리 장치는 현재 컬러 화소의 주변 컬러 화소들 및 현재 컬러 화소의 주변 깊이 화소들을 이용하여 현재 컬러 화소의 깊이 정보를 결정하는 깊이 정보 결정부를 포함할 수 있다.The image processing apparatus according to an exemplary embodiment may include a depth information determination unit that determines depth information of the current color pixel using the surrounding color pixels of the current color pixel and the surrounding depth pixels of the current color pixel.

일실시예에 따른 영상 처리 장치의 깊이 정보 결정부는 적어도 하나의 주변 컬러 화소를 이용하여 주변 깊이 화소들의 가중치를 결정하는 주변 깊이 화소 가중치 결정부; 및 주변 깊이 화소들의 깊이 정보에 주변 깊이 화소들의 가중치를 적용하여 현재 컬러 화소의 깊이 정보를 결정하는 컬러 화소 깊이 정보 결정부를 포함할 수 있다.A depth information determination unit of an image processing apparatus according to an exemplary embodiment includes a surrounding depth pixel weight determining unit that determines a weight of surrounding depth pixels using at least one surrounding color pixel; And a color pixel depth information determination unit for determining depth information of a current color pixel by applying a weight of surrounding depth pixels to depth information of surrounding depth pixels.

일실시예에 따른 영상 처리 장치의 주변 깊이 화소 가중치 결정부는 현재 컬러 화소와 주변 컬러 화소들 간의 비교 결과에 따라 결정된 주변 컬러 화소들 각각의 가중치들을 이용하여 현재 컬러 화소와 주변 컬러 화소들 사이에 위치한 주변 깊이 화소들의 가중치를 결정할 수 있다.The peripheral depth pixel weight determiner of the image processing apparatus according to an exemplary embodiment of the present invention determines the peripheral depth pixel weight values of the current color pixel and the neighboring color pixels using the weights of the neighboring color pixels determined according to the comparison result between the current color pixel and the neighboring color pixels. The weight of the surrounding depth pixels can be determined.

일실시예에 따른 영상 처리 장치의 주변 깊이 화소 가중치 결정부는 대칭 깊이 화소들의 깊이 정보와 주변 깊이 화소들의 깊이 정보 간의 차이를 이용하여 주변 깊이 화소의 가중치를 결정하고, 상기 대칭 깊이 화소는 주변 컬러 화소를 중심으로 주변 깊이 화소와 대칭 관계에 있는 깊이 화소일 수 있다.The peripheral depth pixel determining unit of the image processing apparatus according to an exemplary embodiment determines the weight of the surrounding depth pixels using the difference between the depth information of the symmetric depth pixels and the depth information of the surrounding depth pixels, May be a depth pixel that is symmetric with the surrounding depth pixel.

일실시예에 따른 영상 처리 장치는 현재 깊이 화소의 주변 컬러 화소들 및 현재 깊이 화소의 주변 깊이 화소들을 이용하여 현재 깊이 화소의 컬러 정보를 결정하는 컬러 정보 결정부를 포함할 수 있다.The image processing apparatus according to an exemplary embodiment may include a color information determination unit that determines color information of a current depth pixel using surrounding color pixels of a current depth pixel and surrounding depth pixels of a current depth pixel.

일실시예에 따른 영상 처리 장치의 컬러 정보 결정부는 적어도 하나의 주변 깊이 화소를 이용하여 주변 컬러 화소들의 가중치를 결정하는 주변 컬러 화소 가중치 결정부; 및 주변 컬러 화소들의 컬러 정보에 주변 컬러 화소들의 가중치를 적용하여 현재 깊이 화소의 컬러 정보를 결정하는 깊이 화소 컬러 정보 결정부를 포함할 수 있다.The color information determination unit of the image processing apparatus according to an exemplary embodiment may include a surrounding color pixel weight determining unit that determines a weight of surrounding color pixels using at least one surrounding depth pixel; And a depth pixel color information determination unit for determining the color information of the current depth pixel by applying the weight of the surrounding color pixels to the color information of the surrounding color pixels.

일실시예에 따른 영상 처리 장치의 주변 컬러 화소 가중치 결정부는 현재 깊이 화소와 주변 깊이 화소들 간의 비교 결과에 따라 결정된 주변 깊이 화소들 각각의 가중치들을 이용하여 현재 깊이 화소와 주변 깊이 화소들 사이에 위치한 주변 컬러 화소들의 가중치를 결정할 수 있다.The peripheral color pixel weight determiner of the image processing apparatus according to an exemplary embodiment of the present invention determines the surrounding color pixel weight of the current depth pixel and the surrounding depth pixels using the weight values of the neighboring depth pixels determined according to the comparison result between the current depth pixel and the surrounding depth pixels The weight of the surrounding color pixels can be determined.

일실시예에 따른 영상 처리 장치의 주변 컬러 화소 가중치 결정부는 대칭 컬러 화소들의 컬러 정보와 주변 컬러 화소들의 컬러 정보 간의 차이를 이용하여 주변 컬러 화소의 가중치를 결정하고, 상기 대칭 컬러 화소는 주변 깊이 화소를 중심으로 주변 컬러 화소와 대칭 관계에 있는 컬러 화소일 수 있다.The peripheral color pixel weight determining unit of the image processing apparatus according to an exemplary embodiment determines the weight of the surrounding color pixels by using the difference between the color information of the symmetric color pixels and the color information of the surrounding color pixels, May be a color pixel having a symmetry relationship with the surrounding color pixels.

일실시예에 따른 영상 처리 방법은 현재 컬러 화소의 주변 컬러 화소들 및 현재 컬러 화소의 주변 깊이 화소들을 이용하여 현재 컬러 화소의 깊이 정보를 결정하는 단계를 포함할 수 있다.An image processing method according to an exemplary embodiment may include determining depth information of a current color pixel using surrounding color pixels of a current color pixel and surrounding depth pixels of a current color pixel.

일실시예에 따른 영상 처리 방법은 현재 컬러 화소의 주변 컬러 화소들 및 현재 컬러 화소의 주변 깊이 화소들을 이용하여 현재 깊이 화소의 컬러 정보를 결정하는 단계를 포함할 수 있다.The image processing method according to an exemplary embodiment may include determining color information of the current depth pixel using the surrounding color pixels of the current color pixel and the surrounding depth pixels of the current color pixel.

도 1은 일실시예에 따른 영상 처리 장치의 구조를 도시한 도면이다.
도 2는 일실시예에 따른 영상 처리 장치의 입력 영상의 일례이다.
도 3은 일실시예에 따른 깊이 정보 결정부의 구조를 도시한 도면이다.
도 4는 일실시예에 따른 깊이 정보 결정부가 G채널 컬러 화소의 깊이 정보를 결정하는 과정의 일례이다.
도 5는 일실시예에 따른 깊이 정보 결정부가 R 채널 컬러 화소의 깊이 정보를 결정하는 과정의 일례이다.
도 6은 일실시예에 따른 깊이 정보 결정부가 B 채널 컬러 화소의 깊이 정보를 결정하는 과정의 일례이다.
도 7은 일실시예에 따른 깊이 정보 결정부가 RGB 채널 컬러 화소를 모두 이용하여 깊이 화소의 가중치를 결정하는 과정의 일례이다.
도 8은 일실시예에 따른 컬러 정보 결정부의 구조를 도시한 도면이다.
도 9는 일실시예에 따른 컬러 정보 결정부가 깊이 화소의 G채널 컬러 정보를 결정하는 과정의 일례이다.
도 10은 일실시예에 따른 컬러 정보 결정부가 깊이 화소의 R 채널 컬러 정보를 결정하는 과정의 일례이다.
도 11은 일실시예에 따른 컬러 정보 결정부가 깊이 화소의 B 채널 컬러 정보를 결정하는 과정의 일례이다.
도 12는 일실시예에 따른 깊이 정보 결정부가 G채널 컬러 화소의 깊이 정보를 결정하는 과정의 일례이다.
도 13은 일실시예에 따른 컬러 정보 결정부가 깊이 화소의 G채널 컬러 정보를 결정하는 과정의 일례이다.
도 14는 일실시예에 따른 영상 처리 방법을 도시한 도면이다.
도 15는 일실시예에 따른 컬러 화소의 깊이 정보 결정 과정을 도시한 도면이다.
도 16은 일실시예에 따른 깊이 화소의 컬러 정보 결정 과정을 도시한 도면이다.1 is a diagram illustrating a structure of an image processing apparatus according to an embodiment.
2 is an example of an input image of the image processing apparatus according to an embodiment.
3 is a diagram illustrating a structure of a depth information determination unit according to an embodiment.
4 is an example of a process of determining depth information of a G channel color pixel according to an exemplary embodiment of the present invention.
FIG. 5 is an example of a process of determining depth information of an R-channel color pixel according to an embodiment of the present invention.
FIG. 6 is an example of a process of determining depth information of a B-channel color pixel according to an exemplary embodiment of the present invention.
7 is an example of a process of determining a weight of a depth pixel using all the RGB channel color pixels according to the depth information determination unit according to an exemplary embodiment.
8 is a diagram showing a structure of a color information determination unit according to an embodiment.
9 is an example of a process of determining G-channel color information of a depth pixel according to an embodiment of the present invention.
10 is an example of a process of determining R color channel color information of a depth pixel according to an embodiment of the present invention.
11 is an example of a process of determining B color information of a depth pixel according to an embodiment of the present invention.
12 is an example of a process of determining depth information of a G channel color pixel according to an exemplary embodiment of the present invention.
FIG. 13 is an example of a process of determining the G channel color information of a depth pixel according to an embodiment of the present invention.
14 is a diagram illustrating an image processing method according to an embodiment.
15 is a diagram illustrating a process of determining depth information of a color pixel according to an exemplary embodiment of the present invention.
16 is a diagram illustrating a process of determining color information of a depth pixel according to an exemplary embodiment.

이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. Hereinafter, embodiments will be described in detail with reference to the accompanying drawings.

도 1은 일실시예에 따른 영상 처리 장치의 구조를 도시한 도면이다.1 is a diagram illustrating a structure of an image processing apparatus according to an embodiment.

일실시예에 따른 영상 처리 장치(100)는 입력 영상의 컬러 화소에 깊이 정보를 추가하고, 입력 영상의 깊이 화소에 컬러 정보를 추가하는 컬러-깊이 디모자이킹을 수행함으로써, 입력 영상의 모든 화소가 컬러 정보와 깊이 정보를 포함하도록 처리할 수 있다.The image processing apparatus 100 according to an exemplary embodiment performs color-depth demosaicing that adds depth information to color pixels of an input image and adds color information to depth pixels of the input image, Can be processed to include color information and depth information.

이때, 입력 영상은 R(red), G(green), B(blue) 채널 각각을 표시하는 컬러 화소들 및 깊이 정보를 표시하는 깊이 화소를 포함할 수 있다. 영상 처리 장치(100)가 처리하는 입력 영상은 이하 도 2를 참조하여 상세히 설명한다.At this time, the input image may include color pixels for displaying each of R (red), G (green) and B (blue) channels and depth pixels for displaying depth information. The input image processed by the image processing apparatus 100 will be described in detail with reference to FIG.

도 1을 참고하면, 영상 처리 장치(100)는 깊이 정보 결정부(110), 컬러 정보 결정부(120), 및 컬러 디모자이킹부(130)를 포함할 수 있다.Referring to FIG. 1, the image processing apparatus 100 may include a depth information determination unit 110, a color information determination unit 120, and a color demosaicing unit 130.

깊이 정보 결정부(110)는 현재 컬러 화소의 주변 컬러 화소들 및 현재 컬러 화소의 주변 깊이 화소들을 이용하여 현재 컬러 화소의 깊이 정보를 결정할 수 있다.The depth information determination unit 110 may determine the depth information of the current color pixel using the surrounding color pixels of the current color pixel and the surrounding depth pixels of the current color pixel.

구체적으로, 깊이 정보 결정부(110)는 현재 컬러 화소의 주변 컬러 화소들을 이용하여 주변 깊이 화소들과 현재 컬러 화소 간의 관련성을 추정할 수 있다. 다음으로, 깊이 정보 결정부(110)는 추정한 관련성과 주변 깊이 화소의 깊이 정보에 기초하여 현재 컬러 화소에 대응하는 깊이 정보를 결정하고, 결정한 깊이 정보를 현재 컬러 화소의 깊이 정보로 추가할 수 있다.Specifically, the depth information determination unit 110 may estimate the relevance between the neighboring depth pixels and the current color pixel using the neighboring color pixels of the current color pixel. Next, the depth information determination unit 110 determines the depth information corresponding to the current color pixel based on the estimated relevance and the depth information of the surrounding depth pixels, and adds the determined depth information to the depth information of the current color pixel have.

깊이 정보 결정부(110)의 구체적인 구성 및 동작은 이하 도 3을 참조하여 상세히 설명한다.The detailed configuration and operation of the depth information determination unit 110 will be described below in detail with reference to FIG.

컬러 정보 결정부(120)는 현재 깊이 화소의 주변 컬러 화소들 및 현재 깊이 화소의 주변 깊이 화소들을 이용하여 현재 깊이 화소의 컬러 정보를 결정할 수 있다. The color information determination unit 120 may determine the color information of the current depth pixel using the surrounding color pixels of the current depth pixel and the surrounding depth pixels of the current depth pixel.

구체적으로, 구체적으로, 컬러 정보 결정부(120)는 현재 깊이 화소의 주변 깊이 화소들을 이용하여 주변 컬러 화소들과 현재 깊이 화소 간의 관련성을 추정할 수 있다. 다음으로, 컬러 정보 결정부(120)는 추정한 관련성과 주변 컬러 화소의 컬러 정보에 기초하여 현재 깊이 화소에 대응하는 컬러 정보를 결정하고, 결정한 컬러 정보를 현재 깊이 화소의 컬러 정보로 추가할 수 있다.Specifically, in detail, the color information determination unit 120 may estimate the relevance between the neighboring color pixels and the current depth pixel using the neighboring depth pixels of the current depth pixel. Next, the color information determination unit 120 determines the color information corresponding to the current depth pixel based on the estimated relevance and the color information of the surrounding color pixels, and adds the determined color information as the color information of the current depth pixel have.

컬러 정보 결정부(120)의 구체적인 구성 및 동작은 이하 도 8을 참조하여 상세히 설명한다.The specific configuration and operation of the color information determination unit 120 will be described below in detail with reference to FIG.

컬러 디모자이킹부(130)는 입력 영상의 컬러 화소들에 대하여 컬러 디모자이킹(Color Demosaicing) 프로세스를 수행할 수 있다. 구체적으로, 컬러 디모자이킹부(130)는 컬러 화소들 중 R 채널을 표시하는 제1 컬러 화소에 G채널의 컬러 정보와 B 채널의 컬러 정보를 추가함으로써, 제1 컬러 화소가 R 채널의 컬러 정보, G채널의 컬러 정보 및, B 채널의 컬러 정보를 모두 포함하도록 할 수 있다.The color demosaicing unit 130 may perform a color demosaicing process on the color pixels of the input image. Specifically, the color demosaicing unit 130 adds the color information of the G channel and the color information of the B channel to the first color pixel indicating the R channel among the color pixels, so that the color information of the R channel , Color information of the G channel, and color information of the B channel.

또한, 컬러 디모자이킹부(130)는 컬러 화소들 중 G채널을 표시하는 제2 컬러 화소에 R 채널의 컬러 정보와 B 채널의 컬러 정보를 추가함으로써, 제2 컬러 화소가 R 채널의 컬러 정보, G채널의 컬러 정보 및, B 채널의 컬러 정보를 모두 포함하도록 할 수 있다.In addition, the color demosaicing unit 130 adds color information of the R channel and color information of the B channel to the second color pixel indicating the G channel among the color pixels, so that the color information of the R channel, The color information of the G channel, and the color information of the B channel.

그리고, 컬러 디모자이킹부(130)는 컬러 화소들 중 B 채널을 표시하는 제3 컬러 화소에 R 채널의 컬러 정보와 G채널의 컬러 정보를 추가함으로써, 제3 컬러 화소가 R 채널의 컬러 정보, G채널의 컬러 정보 및, B 채널의 컬러 정보를 모두 포함하도록 할 수 있다.The color demosaicing unit 130 adds color information of the R channel and color information of the G channel to the third color pixel indicating the B channel among the color pixels so that the color information of the R channel, The color information of the G channel, and the color information of the B channel.

이때, 컬러 디모자이킹부(130)는 일반적인 컬러 디모자이킹(Color Demosaicing) 프로세스를 수행할 수 있다.At this time, the color demosaicing unit 130 may perform a general color demosaicing process.

그리고, 일실시예에 다른 영상 처리 장치(100)는 깊이 정보 결정부(110)만을 포함하여 입력 영상의 컬러 화소에 깊이 정보를 추가하는 작업만 수행할 수 있다. 또한, 일실시예에 다른 영상 처리 장치(100)는 컬러 정보 결정부(120)만을 포함하여 입력 영상의 깊이 화소에 컬러 정보를 추가하는 작업만 수행할 수도 있다. 이때, 사용자는 별도의 디모자이킹 장치를 이용하여 깊이 정보가 추가된 컬러 화소와 컬러 정보가 추가된 깊이 화소를 디모자이킹 할 수 있다.
In addition, the image processing apparatus 100 according to an exemplary embodiment may include only the depth information determination unit 110 to add depth information to the color pixels of the input image. In addition, the image processing apparatus 100 according to an exemplary embodiment may include only the color information determination unit 120 to add color information to the depth pixels of the input image. At this time, the user can demojick a color pixel to which depth information is added and a depth pixel to which color information is added by using a separate demosaicing device.

도 2는 일실시예에 따른 영상 처리 장치의 입력 영상의 일례이다.2 is an example of an input image of the image processing apparatus according to an embodiment.

일실시예에 따른 영상 처리 장치(100)의 입력 영상은 도 2에 도시된 바와 같이 R 채널을 표시하는 제1 컬러 화소(210), G채널을 표시하는 제2 컬러 화소(220), B 채널을 표시하는 제3 컬러 화소(230) 및 깊이 정보를 표시하는 깊이 화소(240)를 포함할 수 있다. 2, the input image of the image processing apparatus 100 includes a first color pixel 210 for displaying an R channel, a second color pixel 220 for displaying a G channel, And a depth pixel 240 for displaying the depth information.

이때, 입력 영상은 케이스 1(Case 1)과 같이 제1 컬러 화소(210), 제2 컬러 화소(220), 제3 컬러 화소(230) 및 깊이 화소(240)가 입력 영상을 체커판 형태로 분할한 베이어 패턴(Bayer pattern) 형태일 수 있다.In this case, the first color pixel 210, the second color pixel 220, the third color pixel 230, and the depth pixel 240 form an input image in the form of a checkerboard And may be in the form of a divided Bayer pattern.

그러나, 깊이 정보를 획득하는 깊이 카메라의 성능에 따라, 깊이 정보가 컬러 정보보다 정밀도가 낮을 수 있다. 이때, 입력 영상은 정밀도가 낮은 깊이 정보를 표시하기 위하여 케이스 2 (Case 2)와 같이 제1 컬러 화소(210), 제2 컬러 화소(220), 및 제3 컬러 화소(230) 보다 크기가 큰 깊이 화소(240)를 포함할 수 있다.However, depending on the depth camera's ability to acquire depth information, the depth information may be less accurate than the color information. In this case, the input image is larger in size than the first color pixel 210, the second color pixel 220, and the third color pixel 230 as Case 2 in order to display the low-precision depth information And a depth pixel 240.

이때, 깊이 화소(240)의 크기는 깊이 정보를 획득하는 깊이 카메라의 성능에 따라 결정될 수 있다. 예를 들어, 깊이 카메라의 성능이 낮은 경우, 입력 영상은 케이스 3(Case 3)과 같이 제1 컬러 화소(210), 제2 컬러 화소(220), 및 제3 컬러 화소(230)보다 8배 큰 깊이 화소(240)를 포함할 수도 있다.At this time, the size of the depth pixel 240 can be determined according to the performance of the depth camera to acquire depth information. For example, when the performance of the depth camera is low, the input image is 8 times (or more) times the first color pixel 210, the second color pixel 220, and the third color pixel 230 as in Case 3 And may include a large depth pixel 240.

즉, 입력 영상은 도 2에 도시된 바와 같이 다양한 크기의 깊이 화소(240)를 포함할 수 있다.
That is, the input image may include depth pixels 240 of various sizes as shown in FIG.

도 3은 일실시예에 따른 깊이 정보 결정부의 구조를 도시한 도면이다.3 is a diagram illustrating a structure of a depth information determination unit according to an embodiment.

도 3을 참고하면, 깊이 정보 결정부(110)는 주변 컬러 화소 가중치 결정부(310), 주변 깊이 화소 가중치 결정부(320), 및 컬러 화소 깊이 정보 결정부(330)를 포함할 수 있다.Referring to FIG. 3, the depth information determination unit 110 may include a surrounding color pixel weight determination unit 310, a surrounding depth pixel weight determination unit 320, and a color pixel depth information determination unit 330.

주변 컬러 화소 가중치 결정부(310)는 현재 컬러 화소와 동일한 채널을 표시하는 주변 컬러 화소의 가중치를 결정할 수 있다. 구체적으로 주변 컬러 화소 가중치 결정부(310)는 현재 컬러 화소의 화소값과 주변 컬러 화소의 화소값을 비교하고, 비교 결과에 따라 주변 컬러 화소의 가중치를 결정할 수 있다. 예를 들어 주변 컬러 화소 가중치 결정부(310)는 현재 컬러 화소의 화소값과 주변 컬러 화소의 화소값의 차이가 적을수록 주변 컬러 화소의 가중치를 높게 결정할 수 있다.The surrounding color pixel weight determiner 310 may determine a weight of a surrounding color pixel that displays the same channel as the current color pixel. Specifically, the surrounding color pixel weight determiner 310 may compare the pixel value of the current color pixel with the pixel value of the neighboring color pixel, and determine the weight of the neighboring color pixel according to the comparison result. For example, the surrounding color pixel weight determiner 310 may determine the weight of the neighboring color pixel to be higher as the difference between the pixel value of the current color pixel and the pixel value of the neighboring color pixel is smaller.

이때, 주변 컬러 화소 가중치 결정부(310)는 바이라테랄 필터(Bilateral Filter), 또는 시그마 필터(Sigma Filter)와 같은 필터를 이용하여 주변 컬러 화소의 가중치를 결정할 수 있다.At this time, the surrounding color pixel weight determiner 310 may determine the weight of the surrounding color pixel using a filter such as a bilateral filter or a sigma filter.

그리고, 주변 컬러 화소 가중치 결정부(310)는 현재 컬러 화소가 RGB 채널 중 하나인 경우, 현재 컬러 화소로부터 일정 영역 안에 위치한 주변 컬러 화소 중에서 현재 컬러 화소와 동일한 채널을 가지는 주변 컬러 화소들의 가중치를 결정할 수 있다.If the current color pixel is one of the RGB channels, the neighboring color pixel weight determiner 310 determines a weight of neighboring color pixels having the same channel as the current color pixel among neighboring color pixels located within a predetermined area from the current color pixel .

예를 들어, 현재 컬러 화소가 G채널이고 깊이 화소들이 도 2의 케이스 1과 같이 현재 컬러 화소의 대각선 방향에 인접한 경우, 주변 컬러 화소 가중치 결정부(310)는 현재 컬러 화소의 대각선 방향에 인접한 4개의 깊이 화소에 대하여 각각 인접하는 컬러 화소들의 가중치를 결정할 수 있다.For example, when the current color pixel is the G channel and the depth pixels are adjacent to the diagonal direction of the current color pixel as in Case 1 of FIG. 2, the surrounding color pixel weight determining unit 310 determines It is possible to determine the weights of adjacent color pixels with respect to the depth pixels.

또한, 현재 컬러 화소가 R 채널이고 깊이 화소들이 도 2의 케이스 1과 같이 현재 컬러 화소의 좌우에 인접한 경우, 주변 컬러 화소 가중치 결정부(310)는 현재 컬러 화소의 좌우에 인접한 2개의 깊이 화소에 대하여 각각 인접하는 컬러 화소들의 가중치를 결정할 수 있다.When the current color pixel is the R channel and the depth pixels are adjacent to the left and right sides of the current color pixel as in Case 1 of Fig. 2, the surrounding color pixel weight determining unit 310 determines The weights of adjacent color pixels can be determined.

그리고, 현재 컬러 화소가 B 채널이고 깊이 화소들이 도 2의 케이스 1과 같이 현재 컬러 화소의 상하에 인접한 경우, 주변 컬러 화소 가중치 결정부(310)는 현재 컬러 화소의 상하에 인접한 2개의 깊이 화소에 대하여 각각 인접하는 컬러 화소들의 가중치를 결정할 수 있다.When the current color pixel is the B channel and the depth pixels are adjacent to the upper and lower sides of the current color pixel as in Case 1 of FIG. 2, the surrounding color pixel weight determining unit 310 determines The weights of adjacent color pixels can be determined.

상기 실시예는 컬러 화소들과 깊이 화소의 배치가 도 2의 케이스 1과 동일한 경우이며, 컬러 화소들과 깊이 화소의 배치가 도 2의 케이스 1과 다른 경우, 깊이 화소의 배치 방향에 따라 주변 컬러 화소 가중치 결정부(310)가 가중치를 결정하는 주변 컬러 화소가 결정될 수 있다.In the above embodiment, the arrangement of the color pixels and the depth pixels is the same as that of the case 1 of FIG. 2. When the arrangement of the color pixels and the depth pixels is different from the case 1 of FIG. 2, The peripheral color pixel for which the pixel weight determining unit 310 determines the weight value can be determined.

주변 깊이 화소 가중치 결정부(320)는 주변 컬러 화소 가중치 결정부(310)가 결정한 주변 컬러 화소들의 가중치를 이용하여 주변 깊이 화소들의 가중치를 결정할 수 있다. 구체적으로 주변 깊이 화소 가중치 결정부(320)는 주변 컬러 화소 가중치 결정부(310)가 결정한 주변 컬러 화소들의 가중치들을 모두 결합하여 주변 깊이 화소의 가중치를 결정할 수 있다.The surrounding depth pixel weight determiner 320 may determine the weight of the surrounding depth pixels using the weight of the surrounding color pixels determined by the surrounding color pixel weight determiner 310. [ Specifically, the surrounding depth pixel weight determining unit 320 may determine the weight of the surrounding depth pixels by combining the weights of the neighboring color pixels determined by the surrounding color pixel weight determining unit 310. [

이때, 주변 깊이 화소 가중치 결정부(320)는 대칭 깊이 화소들의 깊이 정보와 주변 깊이 화소들의 깊이 정보 간의 차이를 이용하여 주변 깊이 화소의 가중치를 결정할 수 있다. 이때, 대칭 깊이 화소는 주변 컬러 화소를 중심으로 주변 깊이 화소와 대칭 관계에 있는 깊이 화소일 수 있다.At this time, the surrounding depth pixel weight determiner 320 may determine the weight of the surrounding depth pixel using the difference between the depth information of the symmetric depth pixels and the depth information of the surrounding depth pixels. In this case, the symmetry depth pixel may be a depth pixel that is symmetrical with the surrounding depth pixel around the peripheral color pixel.

구체적으로, 주변 깊이 화소 가중치 결정부(320)는 주변 컬러 화소에 대응하는 방향의 가중치를 대칭 깊이 화소들의 깊이 정보와 주변 깊이 화소들의 깊이 정보 간의 차이에 반비례하도록 보정하고, 보정한 가중치들을 결합하여 주변 깊이 화소의 가중치를 결정할 수 있다. Specifically, the surrounding depth pixel weight determining unit 320 corrects the weight in the direction corresponding to the surrounding color pixels to be in inverse proportion to the difference between the depth information of the symmetric depth pixels and the depth information of the surrounding depth pixels, and combines the corrected weights The weight of the surrounding depth pixel can be determined.

즉, 주변 깊이 화소 가중치 결정부(320)는 깊이 화소들 간의 차이에 따라 해당 깊이 화소들 사이에 위치한 주변 컬러 화소의 가중치를 보정함으로써, 깊이 화소가 표시하는 깊이 정보의 에지(Edge)가 주변 깊이 화소의 가중치에 반영되도록 할 수 있다. 예를 들어, 주변 깊이 화소 가중치 결정부(320)는 대칭 깊이 화소와 주변 깊이 화소 간의 차이가 적을 수록, 해당 대칭 깊이 화소 방향에 위치한 주변 컬러 화소의 가중치를 증가 시킬 수 있다.That is, the surrounding depth pixel weight determining unit 320 corrects the weight of the surrounding color pixels located between the corresponding depth pixels according to the difference between the depth pixels, so that the edge of the depth information displayed by the depth pixel becomes the surrounding depth The weight of the pixel can be reflected. For example, the smaller the difference between the symmetry depth pixel and the surrounding depth pixel, the greater the weight of the surrounding color pixel located in the direction of the symmetry depth pixel.

컬러 화소 깊이 정보 결정부(330)는 주변 깊이 화소들의 깊이 정보에 주변 깊이 화소들의 가중치를 적용하여 현재 컬러 화소의 깊이 정보를 결정할 수 있다. 예를 들어, 컬러 화소 깊이 정보 결정부(330)는 주변 깊이 화소들의 깊이 정보에 주변 깊이 화소들의 가중치를 적용한 값들의 합을 주변 깊이 화소들의 개수로 나누어 현재 컬러 화소의 깊이 정보를 결정할 수 있다.The color pixel depth information determination unit 330 may determine the depth information of the current color pixel by applying the weight of the surrounding depth pixels to the depth information of the surrounding depth pixels. For example, the color pixel depth information determination unit 330 may determine the depth information of the current color pixel by dividing the sum of the values of the surrounding depth pixels and the depth information of the surrounding depth pixels by the number of the surrounding depth pixels.

이때, 컬러 화소 깊이 정보 결정부(330)는 결정한 깊이 정보를 현재 컬러 화소의 깊이 정보로 추가할 수 있다.
At this time, the color pixel depth information determination unit 330 may add the determined depth information as depth information of the current color pixel.

도 4는 일실시예에 따른 깊이 정보 결정부가 G채널 컬러 화소의 깊이 정보를 결정하는 과정의 일례이다.4 is an example of a process of determining depth information of a G channel color pixel according to an exemplary embodiment of the present invention.

좌표 (i, j)에 위치한 현재 컬러 화소(400)는 G채널만을 표시하는 컬러 화소이므로, 깊이 정보 결정부(110)는 현재 컬러 화소(400)의 깊이 정보를 결정하기 위해서는 현재 컬러 화소(400)에 인접한 제1 주변 깊이 화소(410), 제2 주변 깊이 화소(420), 제3 주변 깊이 화소(430), 및 제4 주변 깊이 화소(440)를 이용할 수 있다. 그러나, 제1 주변 깊이 화소(410), 제2 주변 깊이 화소(420), 제3 주변 깊이 화소(430), 및 제4 주변 깊이 화소(440)에는 G채널의 컬러 정보가 존재하지 않으므로, 현재 컬러 화소(400)와 비교하기 어려울 수 있다.Since the current color pixel 400 located at the coordinates (i, j) is a color pixel that displays only the G channel, the depth information determination unit 110 determines the current color pixel 400 A second peripheral depth pixel 420, a third peripheral depth pixel 430, and a fourth peripheral depth pixel 440 adjacent to the first peripheral depth pixel 410, the second peripheral depth pixel 420, the third peripheral depth pixel 430, However, since color information of the G channel does not exist in the first peripheral depth pixel 410, the second peripheral depth pixel 420, the third peripheral depth pixel 430, and the fourth peripheral depth pixel 440, It may be difficult to compare with the color pixel 400.

따라서, 깊이 정보 결정부(110)는 주변 깊이 화소들에 인접한 컬러 화소들을 이용하여 주변 깊이 화소들의 가중치를 생성할 수 있다.Accordingly, the depth information determination unit 110 can generate the weights of surrounding depth pixels using the color pixels adjacent to the surrounding depth pixels.

구체적으로, 주변 컬러 화소 가중치 결정부(310)는 제1 주변 깊이 화소(410)에 인접한 제1 주변 컬러 화소(411)의 G채널 컬러 정보, 제2 주변 컬러 화소(413)의 G채널 컬러 정보, 및 제3 주변 컬러 화소(415)의 G채널 컬러 정보를 각각 현재 컬러 화소(400)의 G채널 컬러 정보와 비교할 수 있다.Specifically, the surrounding color pixel weight determining unit 310 determines the G channel color information of the first surrounding color pixel 411 adjacent to the first surrounding depth pixel 410, the G channel color information of the second surrounding color pixel 413, And the G channel color information of the third surrounding color pixel 415 with the G channel color information of the current color pixel 400, respectively.

다음으로, 주변 컬러 화소 가중치 결정부(310)는 비교 결과에 따라 제1 주변 컬러 화소(411)의 가중치 W^G _i _{, j-2}, 제2 주변 컬러 화소(413)의 가중치 W^G _i _{+2, j-2}, 및 제3 주변 컬러 화소(415)의 가중치 W^G _i _{+2, j}를 결정할 수 있다. 이때, 주변 컬러 화소 가중치 결정부(310)는 현재 컬러 화소(400)의 가중치 W^G _i _{, j}도 결정할 수 있다.Next, the crystal around a color pixel weighting unit 310 weights the first weight of the surrounding color pixels (411) W ^G _{_i, j-2,} a second color surrounding the pixel 413 according to the comparison result W ^G _i _{+2 ,} the weight W ^G _i _+2, of _j-2, and the third color around the pixel 415 may determine a _j. At this time, the surrounding color pixel weight determining unit 310 can also determine the weight ^WG _i _{, j} of the current color pixel 400.

그 다음으로, 주변 깊이 화소 가중치 결정부(320)는 주변 컬러 화소 가중치 결정부(310)가 결정한 주변 컬러 화소들의 가중치를 이용하여 주변 깊이 화소들의 가중치를 결정할 수 있다. 예를 들어, 주변 깊이 화소 가중치 결정부(320)는 수학식 1을 이용하여 제1 주변 깊이 화소(410)의 가중치 W^D _i _{+1, j-1}을 결정할 수 있다Next, the surrounding depth pixel weight determiner 320 can determine the weight of the surrounding depth pixels using the weight of the surrounding color pixels determined by the surrounding color pixel weight determiner 310. [ For example, the surrounding depth pixel weight determiner 320 may determine the weight W ^D _i _{+1, j-1} of the first surrounding depth pixel 410 using Equation (1)

이때, N은 전체 가중치(Weight)의 합이 1이 되게 하기 위한 노멀라이제이션(Normalization) 상수이고, D(i+1, j-1)은 제1 주변 깊이 화소(410)의 깊이 정보일 수 있다.Here, N is a normalization constant for making the sum of the total weights to be 1, and D (i + 1, j-1) is the depth information of the first peripheral depth pixel 410 have.

또한, D(i-1, j-3)은 제1 주변 컬러 화소(411)를 중심으로 제1 주변 깊이 화소(410)와 대칭 관계에 있는 제1 대칭 깊이 화소(412)의 깊이 정보일 수 있다.D (i-1, j-3) is the depth information of the first symmetric depth pixel 412 symmetrical with the first surrounding depth pixel 410 about the first surrounding color pixel 411 have.

그리고, D(i+3, j-3)은 제2 주변 컬러 화소(413)를 중심으로 제1 주변 깊이 화소(410)와 대칭 관계에 있는 제2 대칭 깊이 화소(415)의 깊이 정보일 수 있다. D (i + 3, j-3) is the depth information of the second symmetric depth pixel 415 symmetrical with the first surrounding depth pixel 410 about the second surrounding color pixel 413 have.

또한, D(i-1, j+1)은 현재 컬러 화소(400)를 중심으로 제1 주변 깊이 화소(410)와 대칭 관계에 있는 깊이 화소의 깊이 정보일 수 있다. 이때, 현재 컬러 화소(400)를 중심으로 제1 주변 깊이 화소(410)와 대칭 관계에 있는 깊이 화소는 제3 주변 깊이 화소(430)일 수 있다.In addition, D (i-1, j + 1) may be depth information of a depth pixel symmetric with the first surrounding depth pixel 410 about the current color pixel 400. At this time, the depth pixel in symmetry relation with the first peripheral depth pixel 410 around the current color pixel 400 may be the third peripheral depth pixel 430. [

그리고, D(i+3, j+1)은 제3 주변 컬러 화소(415)를 중심으로 제1 주변 깊이 화소(410)와 대칭 관계에 있는 제3 대칭 깊이 화소(416)의 깊이 정보일 수 있다.D (i + 3, j + 1) is the depth information of the third symmetric depth pixel 416 symmetrical with the first surrounding depth pixel 410 about the third surrounding color pixel 415 have.

수학식 1에 따르면, 제1 주변 깊이 화소(410)과 대칭 관계에 있는 깊이 화소 간의 차이가 적을수록 관련 주변 컬러 화소의 가중치가 제1 주변 깊이 화소(410)의 가중치에 영향을 크게 줄 수 있다.According to Equation 1, the smaller the difference between the depth pixels in symmetry with the first surrounding depth pixel 410, the greater the weight of the associated surrounding color pixel may be, .

다음으로 주변 컬러 화소 가중치 결정부(310)와 주변 깊이 화소 가중치 결정부(320)는 제2 주변 깊이 화소(420), 제3 주변 깊이 화소(430), 및 제4 주변 깊이 화소(440)에 대하여 상기 과정을 반복하여 제2 주변 깊이 화소(420)의 가중치 W^D _i _{-1, j-1}, 제3 주변 깊이 화소(430)의 가중치 W^D _i _{-1, j+1}, 및 제4 주변 깊이 화소(440)의 가중치 W^D _i _{+1, j+} ₁를 결정할 수 있다.Next, the surrounding color pixel weight determiner 310 and the surrounding depth pixel weight determiner 320 determine whether the second surrounding depth pixel 420, the third surrounding depth pixel 430, and the fourth surrounding depth pixel 440 The weight W ^D _i _{-1, j-1 of} the second surrounding depth pixel 420, the weight W ^D _i _{-1, j + 1} of the third surrounding depth pixel 430, and the weight W ^D _i _-1, The weight W ^D _i _{+1, j +} ₁ of the depth pixel 440 can be determined.

마지막으로 컬러 화소 깊이 정보 결정부(330)는 주변 깊이 화소들의 깊이 정보에 주변 깊이 화소들의 가중치를 적용하여 현재 컬러 화소의 깊이 정보를 결정할 수 있다. 예를 들어, 컬러 화소 깊이 정보 결정부(330)는 수학식 2를 이용하여 현재 컬러 화소의 깊이 정보를 결정할 수 있다.Finally, the color pixel depth information determination unit 330 may determine the depth information of the current color pixel by applying the weight of the surrounding depth pixels to the depth information of the surrounding depth pixels. For example, the color pixel depth information determination unit 330 can determine the depth information of the current color pixel using Equation (2).

이때, Ω은 현재 컬러 화소(400)의 깊이 정보를 결정하기 위하여 이용하는 주변 깊이 화소의 좌표들을 포함할 수 있다. 즉, Ω은 제1 주변 깊이 화소(410), 제2 주변 깊이 화소(420), 제3 주변 깊이 화소(430), 및 제4 주변 깊이 화소(440)의 좌표를 포함할 수 있다.
Here, [Omega] may include the coordinates of the surrounding depth pixels used to determine the depth information of the current color pixel 400. [ That is, Ω may include the coordinates of the first peripheral depth pixel 410, the second peripheral depth pixel 420, the third peripheral depth pixel 430, and the fourth peripheral depth pixel 440.

도 5는 일실시예에 따른 깊이 정보 결정부가 R 채널 컬러 화소의 깊이 정보를 결정하는 과정의 일례이다.FIG. 5 is an example of a process of determining depth information of an R-channel color pixel according to an embodiment of the present invention.

좌표 (i, j)에 위치한 현재 컬러 화소(600)는 R 채널만을 표시하는 컬러 화소이므로, 깊이 정보 결정부(110)는 현재 컬러 화소(500)의 깊이 정보를 결정하기 위해서는 현재 컬러 화소(500)의 오른쪽에 인접한 제1 주변 깊이 화소(510)과 현재 컬러 화소(500)의 왼쪽에 인접한 제2 주변 깊이 화소(520)를 이용할 수 있다. Since the current color pixel 600 located at the coordinates (i, j) is a color pixel that displays only the R channel, the depth information determination unit 110 determines the depth of the current color pixel 500 A second surrounding depth pixel 510 adjacent to the right of the current color pixel 500 and a second surrounding depth pixel 520 adjacent to the left of the current color pixel 500 may be used.

구체적으로, 주변 컬러 화소 가중치 결정부(310)는 제1 주변 깊이 화소(510)에 인접한 제1 주변 컬러 화소(511)의 R채널 컬러 정보와 현재 컬러 화소(500)의 R채널 컬러 정보를 비교하여 제1 주변 컬러 화소(511)의 가중치 W^R _i _{+2, j}를 결정할 수 있다. 이때, 주변 컬러 화소 가중치 결정부(310)는 현재 컬러 화소(500)의 가중치 W^R _i _{, j}도 결정할 수 있다.Specifically, the surrounding color pixel weight determining unit 310 compares the R channel color information of the first surrounding color pixel 511 adjacent to the first surrounding depth pixel 510 with the R channel color information of the current color pixel 500 , The weight W ^R _i _{+2, j} of the first surrounding color pixel 511 can be determined. At this time, the neighboring color pixel weight determining unit 310 can also determine the weight W ^R _i _{, j} of the current color pixel 500.

그 다음으로, 주변 깊이 화소 가중치 결정부(320)는 주변 컬러 화소 가중치 결정부(310)가 결정한 주변 컬러 화소들의 가중치를 이용하여 주변 깊이 화소들의 가중치를 결정할 수 있다. 예를 들어, 주변 깊이 화소 가중치 결정부(320)는 수학식 3을 이용하여 제1 주변 깊이 화소(510)의 가중치 W^D _i _{+1, j}을 결정할 수 있다Next, the surrounding depth pixel weight determiner 320 can determine the weight of the surrounding depth pixels using the weight of the surrounding color pixels determined by the surrounding color pixel weight determiner 310. [ For example, the surrounding depth pixel weight determiner 320 may determine the weight W ^D _i _{+1, j} of the first surrounding depth pixel 510 using Equation (3)

이때, D(i+1, j)은 제1 주변 깊이 화소(510)의 깊이 정보이고, D(i+3, j)은 제1 주변 컬러 화소(511)를 중심으로 제1 주변 깊이 화소(510)와 대칭 관계에 있는 제1 대칭 깊이 화소(512)의 깊이 정보일 수 있다.Here, D (i + 1, j) is the depth information of the first surrounding depth pixel 510 and D (i + 3, j) is the depth information of the first surrounding pixel 510 may be depth information of the first symmetry depth pixel 512 in symmetrical relationship with the first symmetry depth pixel 512.

또한, D(i-1, j)은 현재 컬러 화소(500)를 중심으로 제1 주변 깊이 화소(510)와 대칭 관계에 있는 깊이 화소의 깊이 정보일 수 있다. 이때, 현재 컬러 화소(500)를 중심으로 제1 주변 깊이 화소(510)와 대칭 관계에 있는 깊이 화소는 제2 주변 깊이 화소(520)일 수 있다.In addition, D (i-1, j) may be depth information of a depth pixel symmetric with the first surrounding depth pixel 510 about the current color pixel 500. At this time, the depth pixel in symmetry relationship with the first surrounding depth pixel 510 around the current color pixel 500 may be the second surrounding depth pixel 520. [

다음으로 주변 컬러 화소 가중치 결정부(310)와 주변 깊이 화소 가중치 결정부(320)는 제2 주변 깊이 화소(520)에 대하여 상기 과정을 반복하여 제2 주변 깊이 화소(520)의 가중치 W^D _i _{-1, j}를 결정할 수 있다.Next, the surrounding color pixel weight determiner 310 and the surrounding depth pixel weight determiner 320 repeat the above process for the second surrounding depth pixel 520 to calculate the weight W ^D _i ( _i ) of the second surrounding depth pixel 520 _{-1, j} can be determined.

마지막으로 컬러 화소 깊이 정보 결정부(330)는 주변 깊이 화소들의 깊이 정보에 주변 깊이 화소들의 가중치를 적용하여 현재 컬러 화소의 깊이 정보를 결정할 수 있다. 예를 들어, 컬러 화소 깊이 정보 결정부(330)는 수학식 2를 이용하여 현재 컬러 화소의 깊이 정보를 결정할 수 있다.
Finally, the color pixel depth information determination unit 330 may determine the depth information of the current color pixel by applying the weight of the surrounding depth pixels to the depth information of the surrounding depth pixels. For example, the color pixel depth information determination unit 330 can determine the depth information of the current color pixel using Equation (2).

도 6은 일실시예에 따른 깊이 정보 결정부가 B 채널 컬러 화소의 깊이 정보를 결정하는 과정의 일례이다.FIG. 6 is an example of a process of determining depth information of a B-channel color pixel according to an exemplary embodiment of the present invention.

좌표 (i, j)에 위치한 현재 컬러 화소(600)는 B 채널만을 표시하는 컬러 화소이므로, 깊이 정보 결정부(110)는 현재 컬러 화소(600)의 깊이 정보를 결정하기 위해서는 현재 컬러 화소(600)에 위쪽에 인접한 제1 주변 깊이 화소(610)과 현재 컬러 화소(600)에 아래쪽에 인접한 제2 주변 깊이 화소(620)를 이용할 수 있다. Since the current color pixel 600 located at the coordinates (i, j) is a color pixel that displays only the B channel, the depth information determination unit 110 determines the depth of the current color pixel 600 The first peripheral depth pixel 610 adjacent to the current color pixel 600 and the second peripheral depth pixel 620 adjacent to the current color pixel 600 may be used.

구체적으로, 주변 컬러 화소 가중치 결정부(310)는 제1 주변 깊이 화소(610)에 인접한 제1 주변 컬러 화소(611)의 B채널 컬러 정보와 현재 컬러 화소(600)의 B채널 컬러 정보를 비교하여 제1 주변 컬러 화소(611)의 가중치 W^B _i _{, j-2}를 결정할 수 있다. 이때, 주변 컬러 화소 가중치 결정부(310)는 현재 컬러 화소(600)의 가중치 W^B _i _{, j}도 결정할 수 있다.Specifically, the surrounding color pixel weight determining unit 310 compares the B channel color information of the first surrounding color pixel 611 adjacent to the first surrounding depth pixel 610 with the B channel color information of the current color pixel 600 To determine the weight W ^B _i _{, j-2} of the first surrounding color pixel 611. At this time, the surrounding color pixel weight determiner 310 may determine the weight W ^B _i _{, j} of the current color pixel 600.

그 다음으로, 주변 깊이 화소 가중치 결정부(320)는 주변 컬러 화소 가중치 결정부(310)가 결정한 주변 컬러 화소들의 가중치를 이용하여 주변 깊이 화소들의 가중치를 결정할 수 있다. 예를 들어, 주변 깊이 화소 가중치 결정부(320)는 수학식 4를 이용하여 제1 주변 깊이 화소(610)의 가중치 W^D _i _{, j-1}을 결정할 수 있다Next, the surrounding depth pixel weight determiner 320 can determine the weight of the surrounding depth pixels using the weight of the surrounding color pixels determined by the surrounding color pixel weight determiner 310. [ For example, the surrounding depth pixel weight determiner 320 may determine the weight W ^D _i _{, j-1} of the first surrounding depth pixel 610 using Equation (4)

이때, D(i, j-1)은 제1 주변 깊이 화소(610)의 깊이 정보이고, D(i, j-3)은 제1 주변 컬러 화소(611)를 중심으로 제1 주변 깊이 화소(610)와 대칭 관계에 있는 제1 대칭 깊이 화소(612)의 깊이 정보일 수 있다.In this case, D (i, j-1) is the depth information of the first peripheral depth pixel 610 and D (i, j-3) is the depth information of the first peripheral depth pixel 611 610 and the depth of the first symmetry depth pixel 612 in symmetrical relationship with the first symmetry depth pixel 612.

또한, D(i, j+1)은 현재 컬러 화소(600)를 중심으로 제1 주변 깊이 화소(610)와 대칭 관계에 있는 깊이 화소의 깊이 정보일 수 있다. 이때, 현재 컬러 화소(600)를 중심으로 제1 주변 깊이 화소(610)와 대칭 관계에 있는 깊이 화소는 제2 주변 깊이 화소(620)일 수 있다.Also, D (i, j + 1) may be the depth information of depth pixels symmetrically related to the first surrounding depth pixel 610 about the current color pixel 600. At this time, the depth pixel which is symmetric with respect to the first surrounding depth pixel 610 around the current color pixel 600 may be the second surrounding depth pixel 620.

다음으로 주변 컬러 화소 가중치 결정부(310)와 주변 깊이 화소 가중치 결정부(320)는 제2 주변 깊이 화소(620)에 대하여 상기 과정을 반복하여 제2 주변 깊이 화소(620)의 가중치 W^D _i _{, j+} ₁를 결정할 수 있다.Next, the surrounding color pixel weight determiner 310 and the surrounding depth pixel weight determiner 320 repeat the above process for the second surrounding depth pixel 620 to calculate the weight W ^D _i ( _i ) of the second surrounding depth pixel 620 _{, j +} ₁ can be determined.

도 7은 일실시예에 따른 깊이 정보 결정부가 RGB 채널 컬러 화소를 모두 이용하여 깊이 화소의 가중치를 결정하는 과정의 일례이다.7 is an example of a process of determining a weight of a depth pixel using all the RGB channel color pixels according to the depth information determination unit according to an exemplary embodiment.

주변 컬러 화소 가중치 결정부(310)는 제1 주변 깊이 화소(710)에 인접한 제1 주변 컬러 화소(720)의 G채널 컬러 정보, 제2 주변 컬러 화소(730)의 G채널 컬러 정보, 및 제3 주변 컬러 화소(740)의 G채널 컬러 정보를 각각 현재 컬러 화소(700)의 G채널 컬러 정보와 비교할 수 있다.The surrounding color pixel weight determining unit 310 determines the G channel color information of the first surrounding color pixel 720 adjacent to the first surrounding depth pixel 710, the G channel color information of the second surrounding color pixel 730, Channel color information of the three neighboring color pixels 740 with the G channel color information of the current color pixel 700, respectively.

다음으로, 주변 컬러 화소 가중치 결정부(310)는 비교 결과에 따라 제1 주변 컬러 화소(720)의 가중치 W^G _i _{, j-2}, 제2 주변 컬러 화소(730)의 가중치 W^G _i _{+2, j-2}, 및 제3 주변 컬러 화소(740)의 가중치 W^G _i _{+2, j}를 결정할 수 있다. 이때, 주변 컬러 화소 가중치 결정부(310)는 현재 컬러 화소(700)의 가중치 W^G _i _{, j}도 결정할 수 있다.Next, the surrounding color pixel weight determiner 310 determines the weight ^WG _i _{, j-2} of the first surrounding color pixel 720, the weight ^WG _i ₊ ₂ of the second surrounding color pixel 730 _, the weight W ^G _i _+2, of _j-2, and the third color around the pixel 740 may determine a _j. At this time, the surrounding color pixel weight determining unit 310 may determine the weight ^WG _i _{, j} of the current color pixel 700 as well.

또한, 주변 컬러 화소 가중치 결정부(310)는 제1 주변 깊이 화소(710)에 인접한 제4 주변 컬러 화소(750)의 B채널 컬러 정보와 제5 주변 컬러 화소(760)의 B채널 컬러 정보를 비교하여 제4 주변 컬러 화소(750)의 가중치 W^B _i _{+1, j-2} 및 제5 주변 컬러 화소(760)의 가중치 W^B _{i+1, j}를 결정할 수 있다. 이때, 주변 컬러 화소 가중치 결정부(310)는 제1 주변 깊이 화소(710)에 인접한 현재 컬러 화소(700), 제3 주변 컬러 화소(740)의 G채널 컬러 정보를 이용하여 제5 주변 컬러 화소(760)의 가중치 W^B _i _{+1, j}를 결정할 수도 있다.The neighboring color pixel weight determiner 310 determines the B channel color information of the fourth neighboring color pixel 750 and the B channel color information of the fifth neighboring color pixel 760 adjacent to the first neighboring depth pixel 710 comparison may determine a weight W ^B _{i + 1, j} of the fourth color surrounding pixels 750, weight W ^B _i _{+1, j-2} and the fifth color surrounding pixels 760 of. The neighboring color pixel weight determiner 310 determines the neighboring color pixel value of the fifth neighboring color pixel 740 using the G channel color information of the current color pixel 700 and the third neighboring color pixel 740 adjacent to the first surrounding depth pixel 710. [ The weight W ^B _i _{+1, j} of the weight 760 may be determined.

그리고, 주변 컬러 화소 가중치 결정부(310)는 제1 주변 깊이 화소(710)에 인접한 제6 주변 컬러 화소(770)의 R채널 컬러 정보와 제7 주변 컬러 화소(780)의 R채널 컬러 정보를 비교하여 제6 주변 컬러 화소(770)의 가중치 W^R _i _{, j-1} 및 제7 주변 컬러 화소(780)의 가중치 W^R _i _{+2, j-} ₁를 결정할 수 있다. The surrounding color pixel weight determiner 310 determines R color color information of the sixth surrounding color pixel 770 and R color color information of the seventh surrounding color pixel 780 adjacent to the first surrounding depth pixel 710 comparison may determine a weight W ^R _i _{+2, j-} ₁ of the sixth color surrounding pixels 770, a weight W ^R _{_i, j-1} and 7 around a color pixel 780 in the.

그 다음으로, 주변 깊이 화소 가중치 결정부(320)는 주변 컬러 화소 가중치 결정부(310)가 결정한 주변 컬러 화소들의 가중치를 이용하여 주변 깊이 화소들의 가중치를 결정할 수 있다. 예를 들어, 주변 깊이 화소 가중치 결정부(320)는 수학식 5를 이용하여 제1 주변 깊이 화소(710)의 가중치 W^D _i _{+1, j-1}을 결정할 수 있다Next, the surrounding depth pixel weight determiner 320 can determine the weight of the surrounding depth pixels using the weight of the surrounding color pixels determined by the surrounding color pixel weight determiner 310. [ For example, the surrounding depth pixel weight determiner 320 may determine the weight W ^D _i _{+1, j-1} of the first peripheral depth pixel 710 using equation (5)

이때, D(i+1, j-1)은 제1 주변 깊이 화소(710)의 깊이 정보이고, D(i-1, j-3)은 제1 주변 컬러 화소(720)를 중심으로 제1 주변 깊이 화소(710)와 대칭 관계에 있는 제1 대칭 깊이 화소(721)의 깊이 정보일 수 있다. 또한, D(i+3, j-3)은 제2 주변 컬러 화소(730)를 중심으로 제1 주변 깊이 화소(710)와 대칭 관계에 있는 제2 대칭 깊이 화소(731)의 깊이 정보일 수 있다. In this case, D (i + 1, j-1) is the depth information of the first peripheral depth pixel 710 and D May be the depth information of the first symmetry depth pixel 721 in symmetry with the surrounding depth pixel 710. [ D (i + 3, j-3) is the depth information of the second symmetric depth pixel 731 symmetrical with the first surrounding depth pixel 710 about the second surrounding color pixel 730 have.

그리고, D(i-1, j+1)은 현재 컬러 화소(700)를 중심으로 제1 주변 깊이 화소(710)와 대칭 관계에 있는 깊이 화소의 깊이 정보일 수 있다. 이때, 현재 컬러 화소(700)를 중심으로 제1 주변 깊이 화소(710)와 대칭 관계에 있는 깊이 화소는 제3 주변 깊이 화소(701)일 수 있다. 또한, D(i+3, j+1)은 제3 주변 컬러 화소(740)를 중심으로 제1 주변 깊이 화소(710)와 대칭 관계에 있는 제3 대칭 깊이 화소(741)의 깊이 정보일 수 있다.The depth information D (i-1, j + 1) may be depth information of a depth pixel symmetrically related to the first peripheral depth pixel 710 about the current color pixel 700. At this time, the depth pixel which is symmetric with respect to the first surrounding depth pixel 710 around the current color pixel 700 may be the third surrounding depth pixel 701. Further, D (i + 3, j + 1) is the depth information of the third symmetric depth pixel 741 symmetrical with the first surrounding depth pixel 710 about the third surrounding color pixel 740 have.

또한, D(i+3, j)은 제7 주변 컬러 화소(780)를 중심으로 제1 주변 깊이 화소(710)와 대칭 관계에 있는 제7 대칭 깊이 화소(781)의 깊이 정보이고, D(i-1, j)은 제6 주변 컬러 화소(770)를 중심으로 제1 주변 깊이 화소(710)와 대칭 관계에 있는 깊이 화소의 깊이 정보일 수 있다. 이때, 제6 주변 컬러 화소(770)를 중심으로 제1 주변 깊이 화소(710)와 대칭 관계에 있는 깊이 화소는 제2 주변 깊이 화소(771)일 수 있다. In addition, D (i + 3, j) is the depth information of the seventh symmetric depth pixel 781 symmetrical with the first surrounding depth pixel 710 about the seventh surrounding color pixel 780, and D i-1, j may be the depth information of depth pixels symmetrically related to the first peripheral depth pixel 710 about the sixth peripheral color pixel 770. At this time, the depth pixel which is symmetric with respect to the first peripheral depth pixel 710 around the sixth peripheral color pixel 770 may be the second peripheral depth pixel 771.

마지막으로 D(i, j-3)은 제4 주변 컬러 화소(750)를 중심으로 제1 주변 깊이 화소(710)와 대칭 관계에 있는 제4 대칭 깊이 화소(751)의 깊이 정보이고, D(i, j+1)은 제5 주변 컬러 화소(760)를 중심으로 제1 주변 깊이 화소(710)와 대칭 관계에 있는 깊이 화소의 깊이 정보일 수 있다. 이때, 제5 주변 컬러 화소(760)를 중심으로 제1 주변 깊이 화소(710)와 대칭 관계에 있는 깊이 화소는 제3 주변 깊이 화소(761)일 수 있다. Finally, D (i, j-3) is the depth information of the fourth symmetric depth pixel 751 symmetrical to the first surrounding depth pixel 710 about the fourth surrounding color pixel 750, and D i, j + 1) may be depth information of depth pixels symmetrically related to the first peripheral depth pixel 710 about the fifth peripheral color pixel 760. At this time, the depth pixel in symmetry relation with the first peripheral depth pixel 710 around the fifth peripheral color pixel 760 may be the third peripheral depth pixel 761.

다음으로 주변 컬러 화소 가중치 결정부(310)와 주변 깊이 화소 가중치 결정부(320)는 제2 주변 깊이 화소(771), 제3 주변 깊이 화소(701), 및 제4 주변 깊이 화소(761)에 대하여 상기 과정을 반복하여 제2 주변 깊이 화소(7710)의 가중치 W^D _i _{-1, j-1}, 제3 주변 깊이 화소(701)의 가중치 W^D _i _{-1, j+1}, 및 제4 주변 깊이 화소(761)의 가중치 W^D _i _{+1, j+} ₁를 결정할 수 있다.Next, the surrounding color pixel weight determiner 310 and the surrounding depth pixel weight determiner 320 determine whether the second surrounding depth pixel 771, the third surrounding depth pixel 701, and the fourth surrounding depth pixel 761 The weight W ^D _i _{-1, j-1 of} the second surrounding depth pixel 7710, the weight W ^D _i _{-1, j + 1} of the third surrounding depth pixel 701, and the weight W ^D _i _-1, The weight W ^D _i _{+1, j +} ₁ of the depth pixel 761 can be determined.

마지막으로 컬러 화소 깊이 정보 결정부(330)는 주변 깊이 화소들의 깊이 정보에 주변 깊이 화소들의 가중치를 적용하여 현재 컬러 화소의 깊이 정보를 결정할 수 있다.
Finally, the color pixel depth information determination unit 330 may determine the depth information of the current color pixel by applying the weight of the surrounding depth pixels to the depth information of the surrounding depth pixels.

도 8은 일실시예에 따른 컬러 정보 결정부의 구조를 도시한 도면이다.8 is a diagram showing a structure of a color information determination unit according to an embodiment.

도 8을 참고하면, 컬러 정보 결정부(120)는 주변 깊이 화소 가중치 결정부(810), 주변 컬러 화소 가중치 결정부(820), 및 깊이 화소 컬러 정보 결정부(830)를 포함할 수 있다.8, the color information determining unit 120 may include a surrounding depth pixel weight determining unit 810, a surrounding color pixel weight determining unit 820, and a depth pixel color information determining unit 830. [

주변 깊이 화소 가중치 결정부(810)는 주변 깊이 화소의 가중치를 결정할 수 있다. 구체적으로 주변 깊이 화소 가중치 결정부(810)는 현재 깊이 화소의 화소값과 주변 깊이 화소의 화소값을 비교하고, 비교 결과에 따라 주변 깊이 화소의 가중치를 결정할 수 있다. 예를 들어 주변 깊이 화소 가중치 결정부(810)는 현재 깊이 화소의 화소값과 주변 깊이 화소의 화소값의 차이가 적을수록 주변 깊이 화소의 가중치를 높게 결정할 수 있다.The surrounding depth pixel weight determining unit 810 can determine the weight of the surrounding depth pixel. Specifically, the surrounding depth pixel weight determining unit 810 compares the pixel value of the current depth pixel with the pixel value of the surrounding depth pixel, and determines the weight of the surrounding depth pixel according to the comparison result. For example, the surrounding depth pixel weight determining unit 810 can determine the weight of the surrounding depth pixel to be higher as the difference between the pixel value of the current depth pixel and the pixel value of the surrounding depth pixel becomes smaller.

이때, 주변 깊이 화소 가중치 결정부(810)는 바이라테랄 필터(Bilateral Filter), 또는 시그마 필터(Sigma Filter)와 같은 필터를 이용하여 주변 깊이 화소의 가중치를 결정할 수 있다.At this time, the surrounding depth pixel weight determiner 810 may determine a weight of a surrounding depth pixel using a filter such as a bilateral filter or a sigma filter.

주변 컬러 화소 가중치 결정부(820)는 주변 깊이 화소 가중치 결정부(810)가 결정한 주변 깊이 화소들의 가중치를 이용하여 주변 컬러 화소들의 가중치를 결정할 수 있다. The surrounding color pixel weight determining unit 820 may determine a weight of surrounding color pixels using the weight of the surrounding depth pixels determined by the surrounding depth pixel weight determining unit 810. [

이때, 컬러 정보 결정부(120)는 R 채널, G채널, B 채널 각각에 대하여 주변 컬러 화소들의 가중치를 결정할 수 있다. At this time, the color information determination unit 120 may determine the weight of the surrounding color pixels for each of the R channel, the G channel, and the B channel.

구체적으로, 컬러 정보 결정부(120)는 주변 컬러 화소들 중에서 G채널을 표시하는 주변 컬러 화소들과 주변 깊이 화소 가중치 결정부(810)가 결정한 주변 깊이 화소들의 가중치들을 이용하여 G채널 주변 컬러 화소의 가중치를 결정할 수 있다. 또한, 컬러 정보 결정부(120)는 주변 컬러 화소들 중에서 R 채널을 표시하는 주변 컬러 화소들과 주변 깊이 화소 가중치 결정부(810)가 결정한 주변 깊이 화소들의 가중치들을 이용하여 R 채널 주변 컬러 화소의 가중치를 결정할 수 있다. 그리고, 컬러 정보 결정부(120)는 주변 컬러 화소들 중에서 B 채널을 표시하는 주변 컬러 화소들과 주변 깊이 화소 가중치 결정부(810)가 결정한 주변 깊이 화소들의 가중치들을 이용하여 B 채널 주변 컬러 화소의 가중치를 결정할 수 있다.Specifically, the color information determination unit 120 determines the G-channel surrounding color pixel (s) based on the surrounding color pixels indicating the G channel among the surrounding color pixels and the weights of the surrounding depth pixels determined by the surrounding-depth pixel weight determining unit 810. [ Can be determined. Also, the color information determination unit 120 determines the color information of the R color neighboring color pixels using the weighting factors of the surrounding color pixels indicating the R channel among the surrounding color pixels and the surrounding depth pixels determined by the surrounding depth pixel weight determining unit 810. [ Weights can be determined. The color information determination unit 120 determines the color depth of the B-channel surrounding color pixel using the surrounding color pixels representing the B channel and the weights of the surrounding depth pixels determined by the surrounding-depth pixel weight determining unit 810, Weights can be determined.

또한, 주변 컬러 화소 가중치 결정부(820)는 대칭 컬러 화소들의 컬러 정보와 주변 컬러 화소들의 컬러 정보 간의 차이를 이용하여 주변 컬러 화소의 가중치를 결정할 수 있다. 이때, 대칭 컬러 화소는 주변 깊이 화소를 중심으로 주변 컬러 화소와 대칭 관계에 있으며 주변 컬러와 동일한 채널의 컬러 화소일 수 있다.Also, the surrounding color pixel weight determining unit 820 can determine the weight of the surrounding color pixels using the difference between the color information of the symmetric color pixels and the color information of the surrounding color pixels. In this case, the symmetrical color pixel is symmetric with the surrounding color pixel around the peripheral depth pixel and may be a color pixel of the same channel as the surrounding color.

구체적으로, 주변 컬러 화소 가중치 결정부(820)는 주변 깊이 화소에 대응하는 방향의 가중치를 대칭 컬러 화소들의 컬러 정보와 주변 컬러 화소들의 컬러 정보 간의 차이에 반비례하도록 보정하고, 보정한 가중치들을 결합하여 주변 컬러 화소의 가중치를 결정할 수 있다. Specifically, the surrounding color pixel weight determining unit 820 corrects the weight in the direction corresponding to the surrounding depth pixel so as to be in inverse proportion to the difference between the color information of the symmetric color pixels and the color information of the surrounding color pixels, and combines the corrected weights The weight of the surrounding color pixels can be determined.

즉, 주변 컬러 화소 가중치 결정부(820)는 컬러 화소들 간의 차이에 따라 해당 컬러 화소들 사이에 위치한 주변 깊이 화소의 가중치를 보정함으로써, 컬러 화소가 표시하는 컬러 정보의 에지(Edge)가 주변 컬러 화소의 가중치에 반영되도록 할 수 있다. 예를 들어, 주변 컬러 화소 가중치 결정부(820)는 대칭 컬러 화소와 주변 컬러 화소 간의 차이가 적을 수록, 해당 대칭 컬러 화소 방향에 위치한 주변 깊이 화소의 가중치를 증가 시킬 수 있다.That is, the surrounding color pixel weight determining unit 820 corrects the weight of the surrounding depth pixels located between the color pixels according to the difference between the color pixels, so that the edge of the color information displayed by the color pixel becomes the surrounding color The weight of the pixel can be reflected. For example, the smaller the difference between the symmetric color pixel and the surrounding color pixel, the greater the weight of the surrounding depth pixel located in the direction of the symmetric color pixel.

깊이 화소 컬러 정보 결정부(830)는 주변 컬러 화소들의 컬러 정보에 주변 컬러 화소들의 가중치를 적용하여 현재 깊이 화소의 채널별 컬러 정보를 결정할 수 있다. 예를 들어, 깊이 화소 컬러 정보 결정부(830)는 주변 컬러 화소들 중 R채널 주변 컬러 화소의 R채널 컬러 정보에 R 채널 주변 컬러 화소들의 가중치를 적용한 값들의 합을 R 채널 주변 컬러 화소들의 개수로 나누어 현재 깊이 화소의 R 채널 컬러 정보를 결정할 수 있다. 또한, 깊이 화소 컬러 정보 결정부(830)는 G채널 주변 컬러 화소 및 B채널 주변 컬러 화소를 이용하여 현재 깊이 화소의 G채널 컬러 정보 및 B채널 컬러 정보를 결정할 수 있다.The depth pixel color information determination unit 830 may determine color information per channel of the current depth pixel by applying the weight of the surrounding color pixels to the color information of the surrounding color pixels. For example, the depth pixel color information determination unit 830 determines the sum of values obtained by applying weight values of R-channel surrounding color pixels to R-channel color information of R-channel surrounding color pixels among surrounding color pixels to a number of R- The R channel color information of the current depth pixel can be determined. In addition, the depth pixel color information determination unit 830 can determine G channel color information and B channel color information of the current depth pixel using the G channel surrounding color pixel and the B channel surrounding color pixel.

이때, 깊이 화소 컬러 정보 결정부(830)는 결정한 컬러 정보를 현재 깊이 화소의 컬러 정보로 추가할 수 있다.
At this time, the depth pixel color information determination unit 830 can add the determined color information as the color information of the current depth pixel.

도 9는 일실시예에 따른 컬러 정보 결정부가 깊이 화소의 G채널 컬러 정보를 결정하는 과정의 일례이다.9 is an example of a process of determining G-channel color information of a depth pixel according to an embodiment of the present invention.

좌표 (i, j)에 위치한 현재 깊이 화소(900)는 깊이 정보만을 표시하는 깊이 화소이므로, 컬러 정보 결정부(120)는 현재 깊이 화소(900)의 G채널 컬러 정보를 결정하기 위해서는 현재 깊이 화소(900)에 인접한 G채널 컬러 화소인 제1 주변 컬러 화소(910), 제2 주변 컬러 화소(920), 제3 주변 컬러 화소(930), 및 제4 주변 컬러 화소(940)를 이용할 수 있다. 그러나, 제1 주변 컬러 화소(910), 제2 주변 컬러 화소(920), 제3 주변 컬러 화소(930), 및 제4 주변 컬러 화소(940)에는 깊이 정보가 존재하지 않으므로, 현재 깊이 화소(900)와 비교하기 어려울 수 있다.Since the current depth pixel 900 located at the coordinates (i, j) is a depth pixel that displays only the depth information, the color information determining unit 120 determines the color information of the current depth pixel 900, A first peripheral color pixel 910, a second peripheral color pixel 920, a third peripheral color pixel 930 and a fourth peripheral color pixel 940 which are G channel color pixels adjacent to the first peripheral color pixel 900 can be used . However, since depth information does not exist in the first peripheral color pixel 910, the second peripheral color pixel 920, the third peripheral color pixel 930, and the fourth peripheral color pixel 940, 900). &Lt; / RTI >

따라서, 컬러 정보 결정부(120)는 G채널 주변 컬러 화소들에 인접한 깊이 화소들을 이용하여 G채널 주변 컬러 화소들의 가중치를 생성할 수 있다.Therefore, the color information determination unit 120 may generate the weight of the G-channel surrounding color pixels using the depth pixels adjacent to the G-channel surrounding color pixels.

구체적으로, 주변 깊이 화소 가중치 결정부(810)는 제1 주변 컬러 화소(910)에 인접한 제1 주변 깊이 화소(911)의 깊이 정보, 제2 주변 깊이 화소(913)의 깊이 정보, 및 제3 주변 깊이 화소(915)의 깊이 정보를 각각 현재 깊이 화소(900)의 깊이 정보와 비교할 수 있다.More specifically, the surrounding depth pixel weight determining unit 810 determines the depth information of the first surrounding depth pixel 911 adjacent to the first surrounding color pixel 910, the depth information of the second surrounding depth pixel 913, The depth information of the surrounding depth pixel 915 can be compared with the depth information of the current depth pixel 900, respectively.

다음으로, 주변 깊이 화소 가중치 결정부(810)는 비교 결과에 따라 제1 주변 깊이 화소(911)의 가중치 W^D _i _{, j-2}, 제2 주변 깊이 화소(913)의 가중치 W^D _i _{+2, j-2}, 및 제3 주변 깊이 화소(915)의 가중치 W^D _i _{+2, j}를 결정할 수 있다. 이때, 주변 깊이 화소 가중치 결정부(810)는 현재 깊이 화소(900)의 가중치 W^D _i _{, j}도 결정할 수 있다.Next, a decision depth around the pixel weighting unit 810 weights the first peripheral pixel depth 911 weight W ^D _{_i, j-2,} the second surrounding pixel depth 913 in response to the comparison result W ^D _i _{+2 ,} the weight W ^D _i _+2, of _j-2, and the third pixel depth around 915 it is possible to determine the _j. At this time, the surrounding depth pixel weight determining unit 810 may determine the weight W ^D _i _{, j} of the current depth pixel 900.

그 다음으로, 주변 컬러 화소 가중치 결정부(820)는 주변 깊이 화소 가중치 결정부(810)가 결정한 주변 깊이 화소들의 가중치를 이용하여 주변 컬러 화소들의 가중치를 결정할 수 있다. 예를 들어, 주변 컬러 화소 가중치 결정부(820)는 수학식 6을 이용하여 제1 주변 컬러 화소(910)의 가중치 W^G _i _{+1, j-1}을 결정할 수 있다Next, the surrounding color pixel weight determining unit 820 can determine the weight of the surrounding color pixels using the weight of the peripheral depth pixels determined by the surrounding depth pixel weight determining unit 810. [ For example, the surrounding color pixel weight determining unit 820 can determine the weight ^WG _i _{+1, j-1} of the first surrounding color pixel 910 using Equation (6)

이때, G(i+1, j-1)은 제1 주변 컬러 화소(910)의 G채널 컬러 정보일 수 있다. 또한, D(i-1, j-3)은 제1 주변 깊이 화소(911)를 중심으로 제1 주변 컬러 화소(910)와 대칭 관계에 있는 제1 대칭 컬러 화소(912)의 G채널 컬러 정보일 수 있다. 그리고, D(i+3, j-3)은 제2 주변 깊이 화소(913)를 중심으로 제1 주변 컬러 화소(910)와 대칭 관계에 있는 제2 대칭 컬러 화소(915)의 G채널 컬러 정보일 수 있다. In this case, G (i + 1, j-1) may be G channel color information of the first surrounding color pixel 910. In addition, D (i-1, j-3) represents the G channel color information of the first symmetrical color pixel 912 symmetrical with the first surrounding color pixel 910 about the first peripheral depth pixel 911 Lt; / RTI > Then, D (i + 3, j-3) is obtained by multiplying the G channel color information of the second symmetrical color pixel 915 symmetrical with the first surrounding color pixel 910 around the second surrounding depth pixel 913 Lt; / RTI >

또한, D(i-1, j+1)은 현재 깊이 화소(900)를 중심으로 제1 주변 컬러 화소(910)와 대칭 관계에 있는 컬러 화소의 G채널 컬러 정보일 수 있다. 이때, 현재 깊이 화소(900)를 중심으로 제1 주변 컬러 화소(910)와 대칭 관계에 있는 컬러 화소는 제3 주변 컬러 화소(930)일 수 있다.In addition, D (i-1, j + 1) may be G channel color information of a color pixel symmetrically related to the first surrounding color pixel 910 about the current depth pixel 900. At this time, the color pixel in symmetry relation with the first surrounding color pixel 910 around the current depth pixel 900 may be the third surrounding color pixel 930.

그리고, D(i+3, j+1)은 제3 주변 깊이 화소(915)를 중심으로 제1 주변 컬러 화소(910)와 대칭 관계에 있는 제3 대칭 컬러 화소(916)의 G채널 컬러 정보일 수 있다.The G channel color information D (i + 3, j + 1) of the third symmetrical color pixel 916 symmetrical with the first surrounding color pixel 910 around the third surrounding depth pixel 915 Lt; / RTI >

다음으로 주변 깊이 화소 가중치 결정부(810)와 주변 컬러 화소 가중치 결정부(820)는 제2 주변 컬러 화소(920), 제3 주변 컬러 화소(930), 및 제4 주변 컬러 화소(940)에 대하여 상기 과정을 반복하여 제2 주변 컬러 화소(920)의 가중치 W^G _i _{-1, j-1}, 제3 주변 컬러 화소(930)의 가중치 W^G _i _{-1, j+1}, 및 제4 주변 컬러 화소(940)의 가중치 W^G _i _{+1, j+} ₁를 결정할 수 있다.Next, the peripheral depth pixel weight determiner 810 and the surrounding color pixel weight determiner 820 determine the weight of the second surrounding color pixel 920, the third peripheral color pixel 930, and the fourth peripheral color pixel 940 The weight ^WG _i _{-1, j-1 of} the second surrounding color pixel 920, the weight ^WG _i _{-1, j + 1} of the third surrounding color pixel 930, and the weight W ^G _i _{-1, j +} The weight W ^G _i _{+1, j +} ₁ of the color pixel 940 can be determined.

마지막으로 깊이 화소 컬러 정보 결정부(830)는 주변 컬러 화소들의 G채널 컬러 정보에 주변 컬러 화소들의 가중치를 적용하여 현재 깊이 화소의 G채널 컬러 정보를 결정할 수 있다. 예를 들어, 깊이 화소 컬러 정보 결정부(830)는 수학식 7을 이용하여 현재 깊이 화소의 G채널 컬러 정보를 결정할 수 있다.Finally, the depth pixel color information determination unit 830 may determine the G channel color information of the current depth pixel by applying the weight of the surrounding color pixels to the G channel color information of the surrounding color pixels. For example, the depth pixel color information determination unit 830 can determine the G channel color information of the current depth pixel using Equation (7).

도 10은 일실시예에 따른 컬러 정보 결정부가 깊이 화소의 R 채널 컬러 정보를 결정하는 과정의 일례이다.10 is an example of a process of determining R color channel color information of a depth pixel according to an embodiment of the present invention.

좌표 (i, j)에 위치한 현재 깊이 화소(1000)는 깊이 정보만을 표시하는 깊이 화소이므로, 컬러 정보 결정부(120)는 현재 깊이 화소(1000)의 R 채널 컬러 정보를 결정하기 위해서는 현재 깊이 화소(1000)의 오른쪽에 인접한 R 채널 컬러 화소인 제1 주변 컬러 화소(1010)과 현재 컬러 화소(1000)의 왼쪽에 인접한 R 채널 컬러 화소인 제2 주변 컬러 화소(1020)를 이용할 수 있다.Since the current depth pixel 1000 located at the coordinates (i, j) is a depth pixel that displays only the depth information, the color information determining unit 120 determines that the current depth pixel A first peripheral color pixel 1010 which is an R channel color pixel adjacent to the right side of the current color pixel 1000 and a second peripheral color pixel 1020 which is an R channel color pixel adjacent to the left side of the current color pixel 1000 can be used.

구체적으로, 주변 깊이 화소 가중치 결정부(810)는 제1 주변 컬러 화소(1010)에 인접한 제1 주변 깊이 화소(1011)의 깊이 정보와 현재 깊이 화소(1000)의 깊이 정보를 비교하여 제1 주변 깊이 화소(1011)의 가중치 W^D _i _{+2, j}를 결정할 수 있다. 이때, 주변 깊이 화소 가중치 결정부(810)는 현재 깊이 화소(1000)의 가중치 W^D _i _{, j}도 결정할 수 있다.Specifically, the surrounding depth pixel weight determining unit 810 compares the depth information of the first surrounding depth pixel 1011 adjacent to the first surrounding color pixel 1010 with the depth information of the current depth pixel 1000, The weight W ^D _i _{+2, j} of the depth pixel 1011 can be determined. At this time, the surrounding depth pixel weight determining unit 810 can determine the weight W ^D _i _{, j} of the current depth pixel 1000.

그 다음으로, 주변 컬러 화소 가중치 결정부(820)는 주변 깊이 화소 가중치 결정부(810)가 결정한 주변 깊이 화소들의 가중치를 이용하여 주변 컬러 화소들의 가중치를 결정할 수 있다. 예를 들어, 주변 컬러 화소 가중치 결정부(820)는 수학식 8을 이용하여 제1 주변 컬러 화소(1010)의 가중치 W^R _i _{+1, j}을 결정할 수 있다Next, the surrounding color pixel weight determining unit 820 can determine the weight of the surrounding color pixels using the weight of the peripheral depth pixels determined by the surrounding depth pixel weight determining unit 810. [ For example, the surrounding color pixel weight determiner 820 can determine the weight W ^R _i _{+1, j} of the first surrounding color pixel 1010 using equation (8)

이때, R(i+1, j)은 제1 주변 컬러 화소(1010)의 R채널 컬러 정보일 수 있다. 또한, R(i+3, j)은 제1 주변 깊이 화소(1011)를 중심으로 제1 주변 컬러 화소(1010)와 대칭 관계에 있는 제1 대칭 컬러 화소(1012)의 R채널 컬러 정보일 수 있다. In this case, R (i + 1, j) may be R channel color information of the first surrounding color pixel 1010. Further, R (i + 3, j) is the number of R-channel color information of the first symmetrical color pixel 1012 symmetrical with the first surrounding color pixel 1010 about the first peripheral depth pixel 1011 have.

또한, R(i-1, j)은 현재 깊이 화소(1000)를 중심으로 제1 주변 컬러 화소(1010)와 대칭 관계에 있는 컬러 화소의 R채널 컬러 정보일 수 있다. 이때, 현재 깊이 화소(1000)를 중심으로 제1 주변 컬러 화소(1010)와 대칭 관계에 있는 컬러 화소는 제2 주변 컬러 화소(1020)일 수 있다.In addition, R (i-1, j) may be R channel color information of a color pixel symmetrically related to the first surrounding color pixel 1010 about the current depth pixel 1000. [ At this time, the color pixel in symmetry relation with the first surrounding color pixel 1010 around the current depth pixel 1000 may be the second surrounding color pixel 1020.

다음으로 주변 깊이 화소 가중치 결정부(810)와 주변 컬러 화소 가중치 결정부(820)는 제2 주변 컬러 화소(1020)에 대하여 상기 과정을 반복하여 제2 주변 컬러 화소(1020)의 가중치 W^R _i _{-1, j}를 결정할 수 있다.Next, the peripheral depth pixel weight determiner 810 and the surrounding color pixel weight determiner 820 repeat the above process for the second surrounding color pixel 1020 to calculate the weight W ^R _i of the second surrounding color pixel 1020 _{-1, j} can be determined.

마지막으로 깊이 화소 컬러 정보 결정부(830)는 주변 컬러 화소들의 R채널 컬러 정보에 주변 컬러 화소들의 가중치를 적용하여 현재 깊이 화소의 R채널 컬러 정보를 결정할 수 있다. 예를 들어, 깊이 화소 컬러 정보 결정부(830)는 수학식 9를 이용하여 현재 깊이 화소의 R채널 컬러 정보를 결정할 수 있다.Finally, the depth pixel color information determination unit 830 may determine the R channel color information of the current depth pixel by applying the weight of the surrounding color pixels to the R channel color information of the surrounding color pixels. For example, the depth pixel color information determination unit 830 can determine the R channel color information of the current depth pixel using Equation (9).

도 11은 일실시예에 따른 컬러 정보 결정부가 깊이 화소의 B 채널 컬러 정보를 결정하는 과정의 일례이다.11 is an example of a process of determining B color information of a depth pixel according to an embodiment of the present invention.

좌표 (i, j)에 위치한 현재 깊이 화소(1100)는 깊이 정보만을 표시하는 깊이 화소이므로, 컬러 정보 결정부(120)는 현재 깊이 화소(1100)의 B 채널 컬러 정보를 결정하기 위해서는 현재 깊이 화소(1100)의 위쪽에 인접한 B 채널 컬러 화소인 제1 주변 컬러 화소(1110)과 현재 컬러 화소(1100)의 아래쪽에 인접한 B 채널 컬러 화소인 제2 주변 컬러 화소(1120)를 이용할 수 있다.Since the current depth pixel 1100 located at the coordinates (i, j) is a depth pixel that displays only the depth information, the color information determining unit 120 determines the current depth pixel 1100, A first peripheral color pixel 1110 which is a B channel color pixel adjacent to an upper side of the current color pixel 1100 and a second peripheral color pixel 1120 which is a B channel color pixel which is adjacent to a lower side of the current color pixel 1100 can be used.

구체적으로, 주변 깊이 화소 가중치 결정부(810)는 제1 주변 컬러 화소(1110)에 인접한 제1 주변 깊이 화소(1111)의 깊이 정보와 현재 깊이 화소(1100)의 깊이 정보를 비교하여 제1 주변 깊이 화소(1111)의 가중치 W^D _i _{, j-} ₁를 결정할 수 있다. 이때, 주변 깊이 화소 가중치 결정부(810)는 현재 깊이 화소(1100)의 가중치 W^D _i _{, j}도 결정할 수 있다.Specifically, the surrounding depth pixel weight determining unit 810 compares the depth information of the first surrounding depth pixel 1111 adjacent to the first surrounding color pixel 1110 with the depth information of the current depth pixel 1100, The weight W ^D _i _{, j-} ₁ of the depth pixel 1111 can be determined. At this time, the surrounding depth pixel weight determining unit 810 may determine the weight W ^D _i _{, j} of the current depth pixel 1100 as well.

그 다음으로, 주변 컬러 화소 가중치 결정부(820)는 주변 깊이 화소 가중치 결정부(810)가 결정한 주변 깊이 화소들의 가중치를 이용하여 주변 컬러 화소들의 가중치를 결정할 수 있다. 예를 들어, 주변 컬러 화소 가중치 결정부(820)는 수학식 10을 이용하여 제1 주변 컬러 화소(1110)의 가중치 W^B _i _{, j-1}을 결정할 수 있다Next, the surrounding color pixel weight determining unit 820 can determine the weight of the surrounding color pixels using the weight of the peripheral depth pixels determined by the surrounding depth pixel weight determining unit 810. [ For example, the surrounding color pixel weight determining unit 820 can determine the weight W ^B _i _{, j-1} of the first surrounding color pixel 1110 using Equation (10)

이때, B(i, j-1)은 제1 주변 컬러 화소(1110)의 B채널 컬러 정보일 수 있다. 또한, B(i, j-3)은 제1 주변 깊이 화소(1111)를 중심으로 제1 주변 컬러 화소(1110)와 대칭 관계에 있는 제1 대칭 컬러 화소(1112)의 B채널 컬러 정보일 수 있다. In this case, B (i, j-1) may be B channel color information of the first surrounding color pixel 1110. Further, B (i, j-3) is the B-channel color information of the first symmetric color pixel 1112 symmetrical with the first surrounding color pixel 1110 about the first surrounding depth pixel 1111 have.

또한, B(i, j+1)은 현재 깊이 화소(1100)를 중심으로 제1 주변 컬러 화소(1110)와 대칭 관계에 있는 컬러 화소의 B채널 컬러 정보일 수 있다. 이때, 현재 깊이 화소(1100)를 중심으로 제1 주변 컬러 화소(1110)와 대칭 관계에 있는 컬러 화소는 제2 주변 컬러 화소(1120)일 수 있다.In addition, B (i, j + 1) may be B channel color information of a color pixel symmetrical with the first surrounding color pixel 1110 about the current depth pixel 1100. [ At this time, the color pixel in symmetry relation with the first surrounding color pixel 1110 around the current depth pixel 1100 may be the second surrounding color pixel 1120.

다음으로 주변 깊이 화소 가중치 결정부(810)와 주변 컬러 화소 가중치 결정부(820)는 제2 주변 컬러 화소(1120)에 대하여 상기 과정을 반복하여 제2 주변 컬러 화소(1120)의 가중치 W^B _i _{, j+} ₁를 결정할 수 있다.Next, the surrounding depth pixel weight determining unit 810 and the surrounding color pixel weight determining unit 820 repeat the above process for the second surrounding color pixel 1120 to calculate the weight W ^B _i of the second surrounding color pixel 1120 _{, j +} ₁ can be determined.

마지막으로 깊이 화소 컬러 정보 결정부(830)는 주변 컬러 화소들의 B채널 컬러 정보에 주변 컬러 화소들의 가중치를 적용하여 현재 깊이 화소의 B채널 컬러 정보를 결정할 수 있다. 예를 들어, 깊이 화소 컬러 정보 결정부(830)는 수학식 11을 이용하여 현재 깊이 화소의 B채널 컬러 정보를 결정할 수 있다.Finally, the depth pixel color information determination unit 830 can determine the B channel color information of the current depth pixel by applying the weight of the surrounding color pixels to the B channel color information of the surrounding color pixels. For example, the depth pixel color information determination unit 830 can determine the B channel color information of the current depth pixel using Equation (11).

도 12는 일실시예에 따른 깊이 정보 결정부가 G채널 컬러 화소의 깊이 정보를 결정하는 과정의 일례이다.12 is an example of a process of determining depth information of a G channel color pixel according to an exemplary embodiment of the present invention.

도 12는 도 2의 케이스 2와 같이 입력 영상에서 깊이 화소의 크기가 컬러 화소의 크기와 다른 경우 깊이 정보 결정부(110)가 G채널 컬러 화소의 깊이 정보를 결정하는 실시예이다.12 is an embodiment in which the depth information determination unit 110 determines the depth information of the G channel color pixel when the size of the depth pixel in the input image is different from the size of the color pixel as in Case 2 of FIG.

깊이 정보 결정부(110)는 좌표 (i, j)에 위치한 현재 컬러 화소(1200)의 깊이 정보를 결정하기 위해서는 현재 컬러 화소(1200)에 인접한 제1 주변 깊이 화소(1210) 및 제2 주변 깊이 화소(1220)를 이용할 수 있다. The depth information determination unit 110 determines the depth information of the current color pixel 1200 located at the coordinates (i, j) by using the first surrounding depth pixel 1210 and the second surrounding depth pixel 1210 adjacent to the current color pixel 1200, The pixel 1220 can be used.

이때, 깊이 정보 결정부(110)는 주변 깊이 화소들에 인접한 컬러 화소들을 이용하여 주변 깊이 화소들의 가중치를 생성할 수 있다.At this time, the depth information determination unit 110 may generate the weight of the surrounding depth pixels using the color pixels adjacent to the surrounding depth pixels.

구체적으로, 주변 컬러 화소 가중치 결정부(310)는 제1 주변 깊이 화소(1210)에 근접한 제1 주변 컬러 화소(1221)의 G채널 컬러 정보, 제2 주변 컬러 화소(1231)의 G채널 컬러 정보, 제3 주변 컬러 화소(1232)의 G채널 컬러 정보, 제4 주변 컬러 화소(1241)의 G채널 컬러 정보, 제5 주변 컬러 화소(1242)의 G채널 컬러 정보, 제6 주변 컬러 화소(1251)의 G채널 컬러 정보, 및 제7 주변 컬러 화소(1252)의 G채널 컬러 정보를 각각 현재 컬러 화소(1200)의 G채널 컬러 정보와 비교할 수 있다.Specifically, the surrounding color pixel weight determining unit 310 determines the G channel color information of the first surrounding color pixel 1221 close to the first surrounding depth pixel 1210, the G channel color information of the second surrounding color pixel 1231, The G channel color information of the third surrounding color pixel 1232, the G channel color information of the fourth surrounding color pixel 1241, the G channel color information of the fifth surrounding color pixel 1242, And the G channel color information of the seventh neighboring color pixel 1252 with the G channel color information of the current color pixel 1200, respectively.

다음으로, 주변 컬러 화소 가중치 결정부(310)는 비교 결과에 따라 제1 주변 컬러 화소(1221)의 가중치 W^G _i _{+1, j-1}, 제2 주변 컬러 화소(1231)의 가중치 W^G _i _{+1, j+2}, 제3 주변 컬러 화소(1232)의 가중치 W^G _i _{+1, j+1}, 제4 주변 컬러 화소(1241)의 가중치 W^G _i _{, j+4}, 제5 주변 컬러 화소(1242)의 가중치 W^G _i _{+1, j+3}, 제6 주변 컬러 화소(1251)의 가중치 W^G _i _{+2, j+-2}, 및 제7 주변 컬러 화소(1252)의 W^G _i _{+3, j+} ₁를 결정할 수 있다. 이때, 주변 컬러 화소 가중치 결정부(310)는 현재 컬러 화소(400)의 가중치 W^G _i _{, j}도 결정할 수 있다.Next, the weight of the surrounding color pixels weight determiner 310 is the weight of a first color surrounding pixels 1221 according to the comparison result ^{_{_{W G i +1, j-1}}} , a second surrounding color pixels (1231) W ^G _i _{+1, j + 2,} a third color pixel around the weight of the ^{_{_{(1232) W G i +1,}}} j + 1, the fourth weighted color of the surrounding pixels ^{_{_{(1241) W G i, j}}} + 4, claim 5 around a color pixel weight of the ^{_{_{(1242) W G i +1,}}} j + 3, the sixth near weight of colored pixels (1251) ^G W _i _{+2, j -2 +,} and a 7 W ^G _i ₊₃ around a color pixel 1252 _{, j +} ₁ can be determined. At this time, the surrounding color pixel weight determining unit 310 can also determine the weight ^WG _i _{, j} of the current color pixel 400.

그 다음으로, 주변 깊이 화소 가중치 결정부(320)는 주변 컬러 화소 가중치 결정부(310)가 결정한 주변 컬러 화소들의 가중치를 이용하여 주변 깊이 화소들의 가중치를 결정할 수 있다. Next, the surrounding depth pixel weight determiner 320 can determine the weight of the surrounding depth pixels using the weight of the surrounding color pixels determined by the surrounding color pixel weight determiner 310. [

이때, 주변 깊이 화소 가중치 결정부(320)는 제1 주변 깊이 화소(1210)의 깊이 정보와 현재 컬러 화소(400) 및 제1 주변 컬러 화소(1221)를 기준으로 제1 주변 깊이 화소(1210)와 대칭 관계에 있는 제2 주변 깊이 화소(1220)의 깊이 정보 간의 차이에 따라 현재 컬러 화소(400)의 가중치 W^G _i _{, j}와 제1 주변 컬러 화소(1221)의 가중치 W^G _i _{+1, j-} ₁를 증가 또는 감소시킬 수 있다. 예를 들어, 제1 주변 깊이 화소(1210)의 깊이 정보와 제2 주변 깊이 화소(1220)의 깊이 정보 간의 차이가 큰 경우, 주변 깊이 화소 가중치 결정부(320)는 현재 컬러 화소(400)의 가중치 W^G _i _{, j}와 제1 주변 컬러 화소(1221)의 가중치 W^G _i _{+1, j-} ₁를 감소시킬 수 있다. 반면, 제1 주변 깊이 화소(1210)의 깊이 정보와 제2 주변 컬러 화소(1220)의 깊이 정보 간의 차이가 작은 경우, 주변 깊이 화소 가중치 결정부(320)는 현재 컬러 화소(400)의 가중치 W^G _{i, j}와 제1 주변 컬러 화소(1221)의 가중치 W^G _i _{+1, j-} ₁를 증가시킬 수 있다.At this time, the surrounding depth pixel weight determiner 320 determines the depth information of the first surrounding depth pixel 1210 based on the depth information of the first surrounding depth pixel 1210 and the current color pixel 400 and the first surrounding color pixel 1221, The weight W ^G _i _{, j} of the current color pixel 400 and the weight W ^G _i ₊₁ of the first surrounding color pixel 1221 according to the difference between the depth information of the second surrounding depth pixel 1220 and the depth information of the second surrounding depth pixel 1220 _, It may increase or decrease the _j- _1. For example, when the difference between the depth information of the first surrounding depth pixel 1210 and the depth information of the second surrounding depth pixel 1220 is large, the surrounding depth pixel weight determining unit 320 determines it is possible to reduce the weight W ^G _{_i, j} and the weights W ^G _i _{+1, j-} ₁ of the first color pixels around 1221. If the difference between the depth information of the first surrounding depth pixel 1210 and the depth information of the second surrounding color pixel 1220 is small, the surrounding depth pixel weight determining unit 320 determines the weight W ^{It is} possible to increase the weight W ^G _i _{+1, j-} ₁ of ^G _{i, j} and the first surrounding color pixel 1221.

그리고, 주변 깊이 화소 가중치 결정부(320)는 제1 주변 깊이 화소(1210)의 깊이 정보와 제2 주변 컬러 화소(1231) 및 제3 주변 컬러 화소(1232)를 기준으로 제1 주변 깊이 화소(1210)와 대칭 관계에 있는 제1 대칭 깊이 화소(1230)의 깊이 정보 간의 차이에 따라 제2 주변 컬러 화소(1231)의 가중치 W^G _i _{+1, j+2}, 및 제3 주변 컬러 화소(1232)의 가중치 W^G _i _{+1, j+} ₁를 증가 또는 감소시킬 수 있다The surrounding depth pixel weight determining unit 320 determines the depth of the first surrounding depth pixel 1210 based on the depth information of the first surrounding depth pixel 1210 and the second surrounding color pixel 1231 and the third surrounding color pixel 1232, 1210) and the first weight of a second color surrounding pixels 1231 in accordance with the difference between the depth information of the depth pixel symmetry (1230) ^G W _i _{+1, j + 2,} and the third around the color pixels in symmetrical relationship (1232 ), The weight W ^G _i _{+1, j +} ₁ ,

또한, 주변 깊이 화소 가중치 결정부(320)는 제1 주변 깊이 화소(1210)의 깊이 정보와 제4 주변 컬러 화소(1241) 및 제5 주변 컬러 화소(1242)를 기준으로 제1 주변 깊이 화소(1210)와 대칭 관계에 있는 제2 대칭 깊이 화소(1240)의 깊이 정보 간의 차이에 따라 제4 주변 컬러 화소(1241)의 가중치 W^G _i _{, j+4}, 및 제5 주변 컬러 화소(1242)의 가중치 W^G _i _{+1, j+} ₃를 증가 또는 감소시킬 수 있다The surrounding depth pixel weight determining unit 320 determines the depth of the first surrounding depth pixel 1210 based on the depth information of the first surrounding depth pixel 1210 and the fourth surrounding color pixel 1241 and the fifth surrounding color pixel 1242, _{J + 4 of} the fourth surrounding color pixel 1241 and the weight W ^G _i _{, j + 4} of the fourth surrounding color pixel 1242 in accordance with the difference between the depth information of the second symmetric depth pixel 1240 in symmetrical relationship with the depth information of the fourth surrounding color pixel 1241 It is possible to increase or decrease the weight W ^G _i _{+1, j +} ₃

그리고, 주변 깊이 화소 가중치 결정부(320)는 제1 주변 깊이 화소(1210)의 깊이 정보와 제6 주변 컬러 화소(1251) 및 제7 주변 컬러 화소(1252)를 기준으로 제1 주변 깊이 화소(1210)와 대칭 관계에 있는 제3 대칭 깊이 화소(1250)의 깊이 정보 간의 차이에 따라 제6 주변 컬러 화소(1251)의 가중치 W^G _i _{+2, j+-2}, 및 제7 주변 컬러 화소(1252)의 W^G _i _{+3, j+} ₁를 증가 또는 감소시킬 수 있다The surrounding depth pixel weight determining unit 320 determines the depth of the first surrounding depth pixel 1210 based on the depth information of the first surrounding depth pixel 1210 and the sixth surrounding color pixel 1251 and the seventh surrounding color pixel 1252, 1210) and the third symmetry depth weight of the sixth surrounding a color pixel 1251 in accordance with the difference between the depth information of the pixel (1250) ^G W _i _{+2, j -2 +,} and 7 around a color pixel in a symmetrical relationship (1252 ) the W ^G _i _{+3, j +} ₁ can be increased or decreased in

도 13은 일실시예에 따른 컬러 정보 결정부가 깊이 화소의 G채널 컬러 정보를 결정하는 과정의 일례이다.FIG. 13 is an example of a process of determining the G channel color information of a depth pixel according to an embodiment of the present invention.

도 13은 도 2의 케이스 2와 같이 입력 영상에서 깊이 화소의 크기가 컬러 화소의 크기와 다른 경우 컬러 정보 결정부가 깊이 화소의 G채널 컬러 정보를 결정하는 실시예이다.FIG. 13 is an embodiment in which the color information determining unit determines the G channel color information of the depth pixel if the size of the depth pixel in the input image is different from the size of the color pixel as in Case 2 of FIG.

컬러 정보 결정부(120)는 좌표 (i, j)에 위치한 현재 깊이 화소(1300)의 G채널 컬러 정보를 결정하기 위해서는 현재 깊이 화소(1300)에 인접한 G채널의 컬러 화소인 제1 주변 깊이 화소(1310), 제2 주변 깊이 화소(1320), 제3 주변 깊이 화소(1330) 및 제4 주변 깊이 화소(1340)를 이용할 수 있다. 이때, 깊이 정보 결정부(110)는 주변 깊이 화소들에 인접한 컬러 화소들을 이용하여 주변 깊이 화소들의 가중치를 생성할 수 있다.In order to determine the G channel color information of the current depth pixel 1300 located at the coordinates (i, j), the color information determination unit 120 determines the color information of the G channel adjacent to the current depth pixel 1300, A second peripheral depth pixel 1320, a third peripheral depth pixel 1330, and a fourth peripheral depth pixel 1340 may be used. At this time, the depth information determination unit 110 may generate the weight of the surrounding depth pixels using the color pixels adjacent to the surrounding depth pixels.

구체적으로, 주변 컬러 화소 가중치 결정부(810)는 제1 주변 컬러 화소(1310)에 근접한 제1 주변 깊이 화소(1312)의 깊이 정보를 현재 깊이 화소(1300)의 깊이 정보와 비교하여 제1 주변 깊이 화소(1312)의 가중치 W^D _i _{, j-4}를 결정할 수 있다. 이때, 주변 깊이 화소 가중치 결정부(810)는 현재 컬러 화소(1300)의 가중치 W^D _i _{, j}도 결정할 수 있다.Specifically, the surrounding color pixel weight determining unit 810 compares the depth information of the first surrounding depth pixel 1312 close to the first surrounding color pixel 1310 with the depth information of the current depth pixel 1300, The weight W ^D _i _{, j-4} of the depth pixel 1312 can be determined. At this time, the surrounding depth pixel weight determining unit 810 may determine the weight W ^D _i _{, j} of the current color pixel 1300 as well.

그 다음으로, 주변 컬러 화소 가중치 결정부(820)는 주변 깊이 화소 가중치 결정부(810)가 결정한 주변 깊이 화소들의 가중치를 이용하여 주변 컬러 화소들의 가중치를 결정할 수 있다. Next, the surrounding color pixel weight determining unit 820 can determine the weight of the surrounding color pixels using the weight of the peripheral depth pixels determined by the surrounding depth pixel weight determining unit 810. [

이때, 주변 컬러 화소 가중치 결정부(820)는 제1 주변 컬러 화소(1310)의 G채널 컬러 정보와 제1 주변 깊이 화소(1312)를 기준으로 제1 주변 컬러 화소(1310)와 대칭 관계에 있는 제1 대칭 컬러 화소(1311)의 G채널 컬러 정보 간의 차이에 따라 제1 주변 컬러 화소(1312)의 가중치 W^D _i _{, j-4}를 증가 또는 감소시킬 수 있다. At this time, the surrounding color pixel weight determiner 820 determines whether the G pixel color information of the first surrounding color pixel 1310 is symmetric with the first surrounding color pixel 1310 based on the G channel color information of the first surrounding color pixel 1310 and the first surrounding pixel 1312 The weight W ^D _i _{, j-4} of the first surrounding color pixel 1312 can be increased or decreased according to the difference between the G channel color information of the first symmetrical color pixel 1311.

예를 들어, 제1 주변 컬러 화소(1310)의 G채널 컬러 정보와 제1 대칭 컬러 화소(1311)의 G채널 컬러 정보 간의 차이가 큰 경우, 주변 컬러 화소 가중치 결정부(820)는 제1 주변 컬러 화소(1312)의 가중치 W^D _i _{, j-4}를 감소시킬 수 있다. 반면, 제1 주변 컬러 화소(1310)의 G채널 컬러 정보와 제1 대칭 컬러 화소(1311)의 G채널 컬러 정보 간의 차이가 큰 경우, 주변 컬러 화소 가중치 결정부(820)는 제1 주변 컬러 화소(1312)의 가중치 W^D _i _{, j-4}를 증가시킬 수 있다.For example, when the difference between the G channel color information of the first surrounding color pixel 1310 and the G channel color information of the first symmetrical color pixel 1311 is large, the surrounding color pixel weight determining unit 820 determines The weight W ^D _i _{, j-4} of the color pixel 1312 can be reduced. On the other hand, when the difference between the G channel color information of the first surrounding color pixel 1310 and the G channel color information of the first symmetric color pixel 1311 is large, the surrounding color pixel weight determining unit 820 determines It is possible to increase the weight W ^D _i _{, j-4} of the weight 1312.

또한, 주변 컬러 화소 가중치 결정부(820)는 제1 주변 컬러 화소(1310)의 G채널 컬러 정보와 현재 깊이 화소(1300)를 기준으로 제1 주변 컬러 화소(1310)와 대칭 관계에 있는 제2 대칭 컬러 화소(1313)의 G채널 컬러 정보 간의 차이에 따라 현재 깊이 화소(1300)의 가중치 W^D _i _{, j}를 증가 또는 감소시킬 수 있다. The surrounding color pixel weight determining unit 820 determines the G channel color information of the first surrounding color pixel 1310 and the second surrounding color pixel 1310 based on the current depth pixel 1300, The weight W ^D _i _{, j} of the current depth pixel 1300 can be increased or decreased according to the difference between the G channel color information of the symmetric color pixel 1313.

도 14는 일실시예에 따른 영상 처리 방법을 도시한 도면이다.14 is a diagram illustrating an image processing method according to an embodiment.

단계(1410)에서 깊이 정보 결정부(110)는 현재 컬러 화소의 주변 컬러 화소들 및 현재 컬러 화소의 주변 깊이 화소들을 이용하여 현재 컬러 화소의 깊이 정보를 결정할 수 있다.In step 1410, the depth information determination unit 110 may determine the depth information of the current color pixel using the surrounding color pixels of the current color pixel and the surrounding depth pixels of the current color pixel.

단계(1420)에서 컬러 정보 결정부(120)는 현재 컬러 화소의 주변 컬러 화소들 및 현재 컬러 화소의 주변 깊이 화소들을 이용하여 현재 깊이 화소의 컬러 정보를 결정할 수 있다. In step 1420, the color information determination unit 120 may determine the color information of the current depth pixel using the surrounding color pixels of the current color pixel and the surrounding depth pixels of the current color pixel.

이때, 단계(1410)와 단계(1420)는 동시에 수행될 수도 있고 병렬적으로 수행될 수도 있으며, 단계(1410)보다 단계(1420)가 먼저 수행될 수도 있다.In this case, steps 1410 and 1420 may be performed simultaneously or in parallel, and step 1420 may be performed first.

단계(1430)에서 컬러 디모자이킹부(130)는 입력 영상의 컬러 화소들에 대하여 컬러 디모자이킹(Color Demosaicing) 프로세스를 수행할 수 있다. 구체적으로, 컬러 디모자이킹부(130)는 컬러 화소들 중 R 채널을 표시하는 제1 컬러 화소에 G채널의 컬러 정보와 B 채널의 컬러 정보를 추가함으로써, 제1 컬러 화소가 R 채널의 컬러 정보, G채널의 컬러 정보 및, B 채널의 컬러 정보를 모두 포함하도록 할 수 있다.
In step 1430, the color demosaicing unit 130 may perform a color demosaicing process on the color pixels of the input image. Specifically, the color demosaicing unit 130 adds the color information of the G channel and the color information of the B channel to the first color pixel indicating the R channel among the color pixels, so that the color information of the R channel , Color information of the G channel, and color information of the B channel.

도 15는 일실시예에 따른 컬러 화소의 깊이 정보 결정 과정을 도시한 도면이다. 이때, 단계(1510)내지 단계(1530)는 도 14에 도시된 단계(1410)에 포함될 수 있다. 15 is a diagram illustrating a process of determining depth information of a color pixel according to an exemplary embodiment of the present invention. In this case, steps 1510 to 1530 may be included in step 1410 shown in FIG.

단계(1510)에서 주변 컬러 화소 가중치 결정부(310)는 현재 컬러 화소와 동일한 채널을 표시하는 주변 컬러 화소의 가중치를 결정할 수 있다. In step 1510, the surrounding color pixel weight determiner 310 may determine a weight of a surrounding color pixel indicating the same channel as the current color pixel.

구체적으로 주변 컬러 화소 가중치 결정부(310)는 현재 컬러 화소의 화소값과 주변 컬러 화소의 화소값을 비교하고, 비교 결과에 따라 주변 컬러 화소의 가중치를 결정할 수 있다. 예를 들어 주변 컬러 화소 가중치 결정부(310)는 현재 컬러 화소의 화소값과 주변 컬러 화소의 화소값의 차이가 적을수록 주변 컬러 화소의 가중치를 높게 결정할 수 있다.Specifically, the surrounding color pixel weight determiner 310 may compare the pixel value of the current color pixel with the pixel value of the neighboring color pixel, and determine the weight of the neighboring color pixel according to the comparison result. For example, the surrounding color pixel weight determiner 310 may determine the weight of the neighboring color pixel to be higher as the difference between the pixel value of the current color pixel and the pixel value of the neighboring color pixel is smaller.

단계(1520)에서 주변 깊이 화소 가중치 결정부(320)는 단계(1510)에서 결정한 주변 컬러 화소들의 가중치를 이용하여 주변 깊이 화소들의 가중치를 결정할 수 있다. 구체적으로 주변 깊이 화소 가중치 결정부(320)는 주변 컬러 화소 가중치 결정부(310)가 결정한 주변 컬러 화소들의 가중치들을 모두 결합하여 주변 깊이 화소의 가중치를 결정할 수 있다.In step 1520, the surrounding depth pixel weight determiner 320 may determine the weight of the surrounding depth pixels using the weight of the neighboring color pixels determined in step 1510. Specifically, the surrounding depth pixel weight determining unit 320 may determine the weight of the surrounding depth pixels by combining the weights of the neighboring color pixels determined by the surrounding color pixel weight determining unit 310. [

예를 들어, 주변 깊이 화소 가중치 결정부(320)는 주변 컬러 화소에 대응하는 방향의 가중치를 대칭 깊이 화소들의 깊이 정보와 주변 깊이 화소들의 깊이 정보 간의 차이에 반비례하도록 보정하고, 보정한 가중치들을 결합하여 주변 깊이 화소의 가중치를 결정할 수 있다. For example, the surrounding depth pixel weight determiner 320 may adjust the weight of the direction corresponding to the surrounding color pixel to be in inverse proportion to the difference between the depth information of the symmetric depth pixels and the depth information of the surrounding depth pixels, So that the weight of the pixels of the surrounding depth can be determined.

단계(1530)에서 컬러 화소 깊이 정보 결정부(330)는 주변 깊이 화소들의 깊이 정보에 단계(1520)에서 결정한 주변 깊이 화소들의 가중치를 적용하여 현재 컬러 화소의 깊이 정보를 결정할 수 있다. 예를 들어, 컬러 화소 깊이 정보 결정부(330)는 주변 깊이 화소들의 깊이 정보에 주변 깊이 화소들의 가중치를 적용한 값들의 합을 주변 깊이 화소들의 개수로 나누어 현재 컬러 화소의 깊이 정보를 결정할 수 있다.In step 1530, the color pixel depth information determination unit 330 may determine the depth information of the current color pixel by applying the weights of the surrounding depth pixels determined in step 1520 to the depth information of the surrounding depth pixels. For example, the color pixel depth information determination unit 330 may determine the depth information of the current color pixel by dividing the sum of the values of the surrounding depth pixels and the depth information of the surrounding depth pixels by the number of the surrounding depth pixels.

도 16은 일실시예에 따른 깊이 화소의 컬러 정보 결정 과정을 도시한 도면이다. 이때, 단계(1610)내지 단계(1630)는 도 14에 도시된 단계(1420)에 포함될 수 있다. 16 is a diagram illustrating a process of determining color information of a depth pixel according to an exemplary embodiment. At this time, steps 1610 to 1630 may be included in step 1420 shown in FIG.

단계(1610)에서 주변 깊이 화소 가중치 결정부(810)는 주변 깊이 화소의 가중치를 결정할 수 있다. In step 1610, the surrounding depth pixel weight determiner 810 may determine the weight of the surrounding depth pixel.

구체적으로 주변 깊이 화소 가중치 결정부(810)는 현재 깊이 화소의 화소값과 주변 깊이 화소의 화소값을 비교하고, 비교 결과에 따라 주변 깊이 화소의 가중치를 결정할 수 있다. 예를 들어 주변 깊이 화소 가중치 결정부(810)는 현재 깊이 화소의 화소값과 주변 깊이 화소의 화소값의 차이가 적을수록 주변 깊이 화소의 가중치를 높게 결정할 수 있다.Specifically, the surrounding depth pixel weight determining unit 810 compares the pixel value of the current depth pixel with the pixel value of the surrounding depth pixel, and determines the weight of the surrounding depth pixel according to the comparison result. For example, the surrounding depth pixel weight determining unit 810 can determine the weight of the surrounding depth pixel to be higher as the difference between the pixel value of the current depth pixel and the pixel value of the surrounding depth pixel becomes smaller.

단계(1620)에서 주변 컬러 화소 가중치 결정부(820)는 단계(1620)에서 결정한 주변 깊이 화소들의 가중치를 이용하여 주변 컬러 화소들의 가중치를 결정할 수 있다. 이때, 컬러 정보 결정부(120)는 R 채널, G채널, B 채널 각각에 대하여 주변 컬러 화소들의 가중치를 결정할 수 있다. In step 1620, the surrounding color pixel weight determiner 820 may determine the weight of the surrounding color pixels using the weight of the surrounding depth pixels determined in step 1620. [ At this time, the color information determination unit 120 may determine the weight of the surrounding color pixels for each of the R channel, the G channel, and the B channel.

예를 들어, 주변 컬러 화소 가중치 결정부(820)는 주변 깊이 화소에 대응하는 방향의 가중치를 대칭 컬러 화소들의 컬러 정보와 주변 컬러 화소들의 컬러 정보 간의 차이에 반비례하도록 보정하고, 보정한 가중치들을 결합하여 주변 컬러 화소의 가중치를 결정할 수 있다. For example, the surrounding color pixel weight determining unit 820 corrects the weight in the direction corresponding to the surrounding depth pixels so as to be in inverse proportion to the difference between the color information of the symmetric color pixels and the color information of the surrounding color pixels, So that the weight of the surrounding color pixels can be determined.

단계(1630)에서 깊이 화소 컬러 정보 결정부(830)는 주변 컬러 화소들의 컬러 정보에 단계(1620)에서 결정한 주변 컬러 화소들의 가중치를 적용하여 현재 깊이 화소의 채널별 컬러 정보를 결정할 수 있다. In step 1630, the depth pixel color information determination unit 830 may determine the color information of the current depth pixel by applying the weight of the surrounding color pixels determined in step 1620 to the color information of the surrounding color pixels.

예를 들어, 깊이 화소 컬러 정보 결정부(830)는 주변 컬러 화소들 중 R채널 주변 컬러 화소의 R채널 컬러 정보에 R 채널 주변 컬러 화소들의 가중치를 적용한 값들의 합을 R 채널 주변 컬러 화소들의 개수로 나누어 현재 깊이 화소의 R 채널 컬러 정보를 결정할 수 있다. 또한, 깊이 화소 컬러 정보 결정부(830)는 G채널 주변 컬러 화소 및 B채널 주변 컬러 화소를 이용하여 현재 깊이 화소의 G채널 컬러 정보 및 B채널 컬러 정보를 결정할 수 있다.For example, the depth pixel color information determination unit 830 determines the sum of values obtained by applying weight values of R-channel surrounding color pixels to R-channel color information of R-channel surrounding color pixels among surrounding color pixels to a number of R- The R channel color information of the current depth pixel can be determined. In addition, the depth pixel color information determination unit 830 can determine G channel color information and B channel color information of the current depth pixel using the G channel surrounding color pixel and the B channel surrounding color pixel.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

100: 영상 처리 장치
110: 깊이 정보 결정부
120: 컬러 정보 결정부100: image processing device
110: depth information determination unit
120: Color information determination unit

Claims

A depth information determination unit for determining depth information of the current color pixel using surrounding color pixels of the current color pixel and surrounding depth pixels of the current color pixel,
Lt; / RTI >
Wherein the depth information determination unit comprises:
A peripheral depth pixel weight determiner for determining a weight of the peripheral depth pixels using at least one peripheral color pixel; And
A color pixel depth information determination unit for determining depth information of the current color pixel by applying a weight of the surrounding depth pixels to the depth information of the surrounding depth pixels,
And the image processing apparatus.

delete

The method according to claim 1,
The peripheral depth pixel weight determining unit may determine,
Determining a weight of peripheral depth pixels located between the current color pixel and the neighboring color pixels using the weights of the neighboring color pixels determined according to the comparison result between the current color pixel and the neighboring color pixels, Device.

The method of claim 3,
The peripheral depth pixel weight determining unit may determine,
Determining a weight of the surrounding depth pixels using the difference between the depth information of the symmetric depth pixels and the depth information of the surrounding depth pixels,
The symmetric depth pixel may be a sub-
Wherein the depth pixel is symmetrically related to the peripheral depth pixel around the peripheral color pixel.

The method according to claim 1,
The peripheral depth pixel weight determining unit may determine,
Wherein when the current color pixel is one of the RGB channels, a neighboring color pixel having the same channel as the current color pixel among neighboring color pixels located within a predetermined area from the current color pixel is used.

A color information determination unit for determining the color information of the current depth pixel using the surrounding color pixels of the current depth pixel and the surrounding depth pixels of the current depth pixel,
Lt; / RTI >
Wherein the color information determination unit comprises:
A peripheral color pixel weight determiner for determining a weight of the peripheral color pixels using at least one of the peripheral depth pixels; And
A depth pixel color information determination unit for determining the color information of the current depth pixel by applying a weight of the neighboring color pixels to the color information of the neighboring color pixels,
And the image processing apparatus.

delete

The method according to claim 6,
The peripheral color pixel weight determination unit may determine,
An image processing unit that determines weights of neighboring color pixels located between the current depth pixel and the neighboring depth pixels using weights of the neighboring depth pixels determined according to a result of comparison between the current depth pixel and the neighboring depth pixels, Device.

9. The method of claim 8,
The peripheral color pixel weight determination unit may determine,
Determining a weight of the neighboring color pixel using the difference between the color information of the symmetric color pixels and the color information of the neighboring color pixels,
Wherein the symmetric color pixel comprises:
And a color pixel in a symmetrical relationship with the peripheral color pixel around the peripheral depth pixel.

Determining depth information of the current color pixel using surrounding color pixels of the current color pixel and surrounding depth pixels of the current color pixel
Lt; / RTI >
Wherein the step of determining the depth information comprises:
Determining a weight of the peripheral depth pixels using at least one peripheral color pixel; And
Determining depth information of the current color pixel by applying a weight of the surrounding depth pixels to depth information of the surrounding depth pixels,
And an image processing method.

delete

11. The method of claim 10,
Wherein determining the weight of the peripheral depth pixels comprises:
Determining a weight of peripheral depth pixels located between the current color pixel and the neighboring color pixels using the weights of the neighboring color pixels determined according to the comparison result between the current color pixel and the neighboring color pixels, Way.

13. The method of claim 12,
Wherein determining the weight of the peripheral depth pixels comprises:
Determining a weight of the surrounding depth pixels using the difference between the depth information of the symmetric depth pixels and the depth information of the surrounding depth pixels,
The symmetric depth pixel may be a sub-
Wherein the depth pixel is symmetrically related to the peripheral depth pixel with the peripheral color pixel as a center.

11. The method of claim 10,
Wherein determining the weight of the peripheral depth pixels comprises:
Wherein if the current color pixel is one of the RGB channels, a neighboring color pixel having the same channel as the current color pixel among neighboring color pixels located within a predetermined area from the current color pixel is used.

Determining color information of the current depth pixel using surrounding color pixels of the current depth pixel and surrounding depth pixels of the current depth pixel
Lt; / RTI >
Wherein the step of determining the color information comprises:
Determining a weight of the peripheral color pixels using at least one of the peripheral depth pixels; And
Determining color information of the current depth pixel by applying a weight of the neighboring color pixels to the color information of the neighboring color pixels
And an image processing method.

delete

16. The method of claim 15,
Wherein determining the weight of the surrounding color pixels comprises:
An image processing unit that determines weights of neighboring color pixels located between the current depth pixel and the neighboring depth pixels using weights of the neighboring depth pixels determined according to a result of comparison between the current depth pixel and the neighboring depth pixels, Way.

18. The method of claim 17,
Wherein determining the weight of the surrounding color pixels comprises:
Determining a weight of the neighboring color pixel using the difference between the color information of the symmetric color pixels and the color information of the neighboring color pixels,
Wherein the symmetric color pixel comprises:
Wherein the peripheral pixel is a color pixel symmetrically related to the peripheral color pixel around the peripheral depth pixel.

A computer-readable recording medium on which a program for executing the method according to any one of claims 10, 12, 13, 14, 15, and 18 is recorded.