KR100919167B1 - System and method for histogram equalization - Google Patents
System and method for histogram equalizationInfo
- Publication number
- KR100919167B1 KR100919167B1 KR1020070082374A KR20070082374A KR100919167B1 KR 100919167 B1 KR100919167 B1 KR 100919167B1 KR 1020070082374 A KR1020070082374 A KR 1020070082374A KR 20070082374 A KR20070082374 A KR 20070082374A KR 100919167 B1 KR100919167 B1 KR 100919167B1
- Authority
- KR
- South Korea
- Prior art keywords
- histogram
- linear constraint
- function
- solution
- objective function
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000009499 grossing Methods 0.000 claims abstract description 49
- 230000001186 cumulative effect Effects 0.000 claims abstract description 40
- 238000005315 distribution function Methods 0.000 claims abstract description 39
- 238000005457 optimization Methods 0.000 claims abstract description 36
- 238000009826 distribution Methods 0.000 claims abstract description 18
- 238000004364 calculation method Methods 0.000 claims abstract description 6
- 238000010276 construction Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 description 10
- 239000003086 colorant Substances 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 2
- 241000255925 Diptera Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
- H04N1/4072—Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original
- H04N1/4074—Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original using histograms
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
이 발명은 흑백 영상의 대비를 향상시키는 히스토그램 평활화를 다차원으로 일반화하여 컬러 영상에 적용할 수 있는 누적분포함수 적합을 이용한 히스토그램 평활화 시스템 및 방법에 관한 것이다.The present invention relates to a histogram smoothing system and method using cumulative distribution function fitting that can be applied to color images by generalizing histogram smoothing to improve the contrast of black and white images.
이 발명에 따른 누적분포함수 적합을 이용한 히스토그램 평활화 시스템은, 입력영상으로부터 히스토그램을 계산하는 히스토그램계산부와, 상기 히스토그램의 누적분포함수와 균등분포의 누적분포함수와의 제곱오차로 정의되는 목적함수의 구분영역을 표현하는 선형제약식을 구하는 선형제약식구성부와; 상기 선형제약식과 목적함수를 볼록함수 최적화하여 해를 구하는 볼록함수최적화부와; 상기 볼록함수최적화부에서 구해진 해를 이용하여 입력영상을 재구성하는 영상재구성부를 구비한다.A histogram smoothing system using cumulative distribution function fitting according to the present invention includes a histogram calculation unit for calculating a histogram from an input image, and an objective function defined by a square error of the cumulative distribution function of the histogram and the cumulative distribution function of the equal distribution. A linear constraint constructing unit for obtaining a linear constraint expressing a division area; A convex function optimization unit for obtaining a solution by optimizing the linear constraint and the objective function; And an image reconstruction unit for reconstructing the input image using the solution obtained by the convex function optimization unit.
Description
이 발명은 누적분포함수 적합을 이용한 영상의 히스토그램 평활화 시스템 및 방법에 관한 것으로서, 보다 상세하게는 흑백 영상의 대비를 향상시키는 히스토그램 평활화를 다차원으로 일반화하여 컬러 영상에 적용할 수 있는 누적분포함수 적합을 이용한 히스토그램 평활화 시스템 및 방법에 관한 것이다.The present invention relates to a histogram smoothing system and method using a cumulative distribution function fitting, and more particularly, to a cumulative distribution fitting that can be applied to color images by generalizing histogram smoothing to improve the contrast of black and white images in multiple dimensions. It relates to a histogram smoothing system and method used.
컬러 히스토그램 평활화에 관한 연구는 크게 두 가지로 분류된다.There are two major researches on color histogram smoothing.
첫 번째 방법은 흑백 히스토그램 평활화를 컬러 히스토그램으로부터 추출된 주변확률분포나 조건부확률분포에 적용하는 방법이다. 가장 단순한 방법으로는 컬러 영상의 RGB 밴드 각각에 흑백 히스토그램 평활화를 적용하는 방법이 있고, 다른 방법으로는 컬러 히스토그램의 주축 방향이나 밝기 방향으로 히스토그램 평활화를 수행하는 방법이 있다. 또한, HSI(Hue, Saturation, Intensity) 컬러 공간에서 색상의 변화 없이 밝기와 채도 성분에 대한 히스토그램 평활화를 수행하는 방법도 있다.The first method is to apply black and white histogram smoothing to the marginal or conditional probability distribution extracted from the color histogram. In the simplest method, a black and white histogram smoothing is applied to each RGB band of a color image, and another method is a histogram smoothing in the main axis direction or the brightness direction of the color histogram. In addition, there is a method of performing histogram smoothing on brightness and saturation components without changing colors in the HSI (Hue, Saturation, Intensity) color space.
두 번째 방법은 흑백 히스토그램을 다차원으로 확장이 가능하도록 공식화하는 방법이다. 히스토그램과 균등분포를 직접 비교하는 것은 곤란하다. A.N. Venetsanopoulos and P.E. Trahanisa가 발표한 논문 [Color image enhancement through 3-D histogram equalization, Proc. Intl. Conf. on Image Speech and Signal Analysis 3, 1992, pp.543-548]에는 히스토그램과 균등분포를 비교함에 있어서 그 누적확률분포함수를 매칭하는 방법이 개시되어 있다. 그러나, 이 발명은 최적해의 모호성이 존재하고 계산 복잡도가 커서 실용성이 떨어지는 문제점이 있다. 다른 방법으로는, 컬러 공간을 균일한 메쉬로 분할하고 각 메쉬 내에 주어진 컬러 히스토그램이 비슷한 정도로 포함되도록 변형하는 방법이 있다. 이 방법은 주어진 컬러 히스토그램의 크기와는 상관없이 메쉬의 크기에 따라 계산량과 평활화 성능이 결정된다.The second method is to formulate a black and white histogram that can be extended in multiple dimensions. It is difficult to directly compare the histogram and the equal distribution. A.N. Venetsanopoulos and P.E. Paper presented by Trahanisa [Color image enhancement through 3-D histogram equalization, Proc. Intl. Conf. on Image Speech and Signal Analysis 3, 1992, pp. 543-548, discloses a method for matching the cumulative probability distribution function in comparing histograms and uniform distributions. However, the present invention has a problem that the ambiguity of the optimal solution exists and the computational complexity is large, thereby decreasing practicality. Another method is to divide the color space into uniform meshes and modify them so that a given color histogram is included in each mesh to a similar degree. In this method, the amount of computation and smoothing performance is determined by the size of the mesh, regardless of the size of a given color histogram.
이 발명의 목적은 컬러 히스토그램 평활화에 있어서, 종래의 누적확률분포함수를 매칭하는 방법을 개선하여 누적분포함수를 적합하는 방법으로 공식화하여 계산상으로 효율적인 알고리즘을 제안한다.An object of the present invention is to improve the conventional method for matching the cumulative probability distribution function in color histogram smoothing, and to formulate the cumulative distribution function into a suitable method and propose a computationally efficient algorithm.
상기한 목적을 달성하기 위한 이 발명에 따른 누적분포함수 적합을 이용한 히스토그램 평활화 시스템은, 입력영상으로부터 히스토그램을 계산하는 히스토그램계산부와; 상기 히스토그램의 누적분포함수와 균등분포의 누적분포함수와의 제곱오차로 정의되는 목적함수의 구분영역을 표현하는 선형제약식을 구하는 선형제약식구성부와; 상기 선형제약식과 목적함수를 볼록함수 최적화하여 해를 구하는 볼록함수최적화부와; 상기 볼록함수최적화부에서 구해진 해를 이용하여 입력영상을 평활화된 영상으로 재구성하는 영상재구성부를 구비한 것을 특징으로 한다.A histogram smoothing system using the cumulative distribution function fitting according to the present invention for achieving the above object comprises a histogram calculator for calculating a histogram from an input image; A linear constraint constructing unit for obtaining a linear constraint expressing a division region of an objective function defined by a square error between the cumulative distribution function of the histogram and the cumulative distribution function of the equal distribution; A convex function optimization unit for obtaining a solution by optimizing the linear constraint and the objective function; And an image reconstruction unit for reconstructing the input image into a smoothed image using the solution obtained by the convex function optimization unit.
또한, 이 발명에 따른 누적분포함수 적합을 이용한 히스토그램 평활화 방법은, 입력영상으로부터 히스토그램을 계산하는 히스토그램계산단계와; 상기 히스토그램의 누적분포함수와 균등분포의 누적분포함수와의 제곱오차로 정의되는 목적함수의 구분영역을 표현하는 선형제약식을 구하는 선형제약식구성단계와; 상기 선형제약식과 목적함수를 볼록함수 최적화하여 해를 구하는 볼록함수최적화단계와; 상기 볼록함수최적화단계에서 구해진 해를 이용하여 입력영상을 평활화된 영상으로 재구성하는 영상재구성단계를 구비한 것을 특징으로 한다.Further, a histogram smoothing method using cumulative distribution function fitting according to the present invention includes a histogram calculation step of calculating a histogram from an input image; A linear constraint construction step of obtaining a linear constraint representing a division region of the objective function defined by a squared error between the cumulative distribution function of the histogram and the cumulative distribution function of the equal distribution; A convex function optimization step of obtaining a solution by optimizing the linear constraint and the objective function; And an image reconstruction step of reconstructing the input image into a smoothed image using the solution obtained in the convex function optimization step.
이 발명은 흑백 히스토그램 평활화를 다차원으로 확장함으로써 컬러 영상의 화질 개선을 도모하는 방법과 시스템을 제시한다. 이 발명은 얼굴인식 응용 시스템, 지능형 무인 감시 시스템, 영상 검색, 지능형 로봇 등 컬러 영상의 화질 개선을 필요로 하는 모든 분야에서 효과적으로 사용될 수 있을 것으로 판단된다.The present invention proposes a method and system for improving image quality of color images by extending black and white histogram smoothing to multidimensional. This invention can be effectively used in all fields that need to improve the quality of color images, such as face recognition application system, intelligent unmanned surveillance system, image retrieval, intelligent robot.
도 1은 이 발명의 수학적 원리를 이용한 히스토그램 평활화 시스템을 도시한 기능 블록도,1 is a functional block diagram showing a histogram smoothing system using the mathematical principle of the present invention;
도 2는 이 발명에 따른 흑백 히스토그램 평활화 과정을 도시한 도면,2 is a diagram illustrating a black and white histogram smoothing process according to the present invention;
도 3은 이 발명에 따른 컬러 히스토그램 평활화 과정을 도시한 도면,3 is a view showing a color histogram smoothing process according to the present invention;
도 4는 이 발명의 한 실시예에 따른 컬러 영상의 히스토그램 평활화 시스템을 도시한 기능 블록도,4 is a functional block diagram illustrating a histogram smoothing system of a color image according to an embodiment of the present invention;
도 5는 원 영상과 이 발명을 통해 히스토그램 평활화된 영상을 도시한 도면,5 is a diagram showing an original image and a histogram smoothed image through the present invention;
도 6은 원 영상의 누적분포함수와 균등분포의 누적분포함수와 히스토그램 평활화된 영상의 누적분포함수를 도시한 도면이다.6 is a diagram illustrating the cumulative distribution function of the original image, the cumulative distribution function of the equal distribution, and the cumulative distribution function of the histogram smoothed image.
흑백 영상에서 히스토그램 평활화는 히스토그램의 누적분포를 변환함수로 사용할 수 있다. 즉, 영역 에 주어진 히스토그램 을 평활화하면 화소값 에 대하여 새로 결정된 화소값 은 수학식 1과 같다.Histogram smoothing in black and white images can use the cumulative distribution of histograms as a transform function. That is, an area Histogram given in If you smooth the pixel value Newly determined pixel values for Is the same as Equation 1.
이 흑백 영상의 원래의 화소값 에 대하여 히스토그램 평활화한 후의 새로 결정된 화소값 의 대응관계를 이용하면 원 흑백 영상을 평활화된 영상으로 변환할 수 있다.The original pixel value of this black and white image The newly determined pixel value after histogram smoothing for Using the correspondence of, the original black and white image can be converted into a smoothed image.
흑백 히스토그램은 일차원 정보이므로 그 순서를 활용하여 누적 연산하면 각 화소의 히스토그램 평활화를 수행할 수 있다. 그러나, 컬러 히스토그램은 다차원 정보이기 때문에 그 순서를 정의하기가 곤란하다. 즉, 종래의 흑백 히스토그램 평활화 방법은 컬러 히스토그램 평활화로 확장할 수 없다.Since the black and white histogram is one-dimensional information, the histogram smoothing of each pixel can be performed by accumulating and using the order. However, since the color histogram is multidimensional information, it is difficult to define the order thereof. That is, the conventional black and white histogram smoothing method cannot be extended to color histogram smoothing.
이 발명에서는 히스토그램 평활화 방법을 순서정보를 사용하지 않는 공식화를 통해 다차원으로 일반화하여, 컬러 영상에도 적용 가능한 히스토그램 평활화 시스템 및 방법을 제안한다.The present invention proposes a histogram smoothing system and method that can be applied to color images by generalizing the histogram smoothing method in a multi-dimensional manner through formalization without using order information.
먼저, 이 발명의 발명자가 알아낸 이 발명을 위한 흑백 영상에서의 히스토그램 평활화 방법의 수학적 원리와, 컬러 영상에서의 히스토그램 평활화 방법의 수학적 원리에 대해 설명한다.First, the mathematical principle of the histogram smoothing method in the black-and-white image and the mathematical principle of the histogram smoothing method in the color image which the inventor of this invention found for this invention are demonstrated.
흑백 영상에서의 히스토그램 평활화 방법의 수학적 원리Mathematical Principles of Histogram Smoothing Methods in Black and White Images
영역 D=[0,1)에 주어진 히스토그램 에 대해서 상응하는 확률질량함수 는 아래의 수학식 2와 같이 표현된다.Histogram given in area D = [0,1) Probability mass function corresponding to Is expressed by Equation 2 below.
여기서, 는 디렉델타(Dirac Delta) 함수이다. 확률질량함수 는 균등분포의 확률밀도함수와 직접 비교할 수 없으나, 이들의 누적분포함수를 사용하면 비교가 가능하다. 확률질량함수의 누적분포함수는 아래의 수학식 3과 같다.here, Is the Dirac Delta function. Probability mass function Can not be directly compared with the probability density function of the equal distribution, but can be compared with their cumulative distribution function. The cumulative distribution function of the probability mass function is shown in Equation 3 below.
여기서, 는 단위 스텝(unit step) 함수이다.here, Is a unit step function.
를 목표함수라 하고, 목표함수의 누적분포함수를 라고 할 경우, 흑백 히스토그램 균등화는 가 에 근사할 수 있도록 를 조정하는 것이다. 는 와 의 유사도를 가늠하는 척도로서, 아래의 수학식 4와 같다. Is called the target function, and the cumulative distribution function of the target function If you say, the black and white histogram equalization end To approximate To adjust. Is Wow As a measure of the similarity of, Equation 4 below.
는 영역 D에서 정의되는 연속함수이다. Is a continuous function defined in region D.
위의 수학식 4에서, 히스토그램 평활화에 있어서 목표함수는 균등분포로서, 목표함수 로 가정하면 수학식 5와 같다.In Equation 4 above, the target function in the histogram smoothing is an equal distribution, Assume that Equation 5 is as follows.
여기서, 이고, 이다. 이 와 는 연속함수이므로 이 도 연속이다.here, ego, to be. this Wow Is a continuous function, so Is also continuous.
이 의 최적해를 구하면, 그 최적해가 바로 히스토그램 평활화된 화소값이 된다. 이 의 일차편미분과 이차편미분을 구해보면 가 볼록함수임이 확인되므로 의 최적해는 볼록함수 최적화를 통해 구할 수 있다.this When the optimal solution is found, the optimal solution is the histogram smoothed pixel value. this Find the first and second derivatives of Is a convex function, The optimal solution of can be found by convex function optimization.
를 편미분하면 수학식 6과 같다. The partial differential is as shown in Equation 6.
의 일차편미분은 수학식 7과 같다. The first derivative of is given by Equation 7.
이 의 일차편미분()의 연속성을 확인하기 위하여 이 의 일차편미분값의 좌극한 과 우극한 을 계산하면 수학식 8과 같다.this First derivative of ( To confirm the continuity of Left limit of the first derivative of And extreme Is calculated by Equation 8.
모든 가 양수이고, 가 와 동일한 좌표가 존재하는 곳을 제외하고 모두 동일하므로 는 구분적으로 연속이다. 의 이차편미분은 수학식 9와 같다.all Is positive, end Are all the same except where they have the same coordinates as Are consecutively separated. The second derivative of is given by Equation 9.
여기서, 는 디렉 델타(Dirac delta) 함수의 이산형이다. 의 일차편미분이 구분적인 연속이고, 의 이차편미분이 음이 아니므로 는 구분적인 볼록함수임을 알 수 있다.here, Is a discrete form of the Dirac delta function. The first derivative of is the distinct continuation, Since the second derivative of is not negative Is a distinct convex function.
이 는 각 구분영역이 선형제약식으로 표현되는 구분적인 볼록함수이므로, 이 발명에서는 각 구분영역별로 해당되는 선형제약식에 대해 블록함수 최적화 과정을 반복하여 최적해를 구함으로써, 평활화된 히스토그램을 구할 수 있다. 이때, 볼록함수 최적화는 시중에 시판중인 볼록함수 최적화기를 사용한다.this Since is a distinctive convex function in which each region is represented by a linear constraint, the present invention can obtain a smoothed histogram by repeating the block function optimization process for the linear constraint corresponding to each region. . In this case, the convex function optimization uses a commercially available convex function optimizer.
컬러 영상에서의 히스토그램 평활화 방법의 수학적 원리Mathematical Principle of Histogram Smoothing Method in Color Image
단순한 공식화를 위해 이차원의 경우를 고려한다.Consider a two-dimensional case for simple formulation.
영역 에 주어진 히스토그램 에 대해서 상응하는 확률질량함수 는 수학식 10과 같다.domain Histogram given in Probability mass function corresponding to Is the same as Equation 10.
이 확률질량함수 의 누적분포함수는 수학식 11과 같다.This probability mass function The cumulative distribution function of is given by Equation 11.
목표분포 이면, 목적함수 는 수학식 5의 확장 형태로서, 수학식 12와 같다.Goal distribution If, objective function Is an extended form of Equation 5, and is equal to Equation 12.
여기서, 이고, 이다.here, ego, to be.
이 의 최적해를 구하면, 그 최적해가 바로 히스토그램 평활화된 화소값이 다. 여기서도 가 볼록함수인지를 알아보기 위해, 일차편미분과 이차편미분을 구해본다.this When the optimal solution is found, the optimal solution is the histogram smoothed pixel value. Here too To determine if is a convex function, find the first and second derivatives.
의 일차편미분은 수학식 13과 같다. The first derivative of is given by Equation 13.
여기서, 이다here, to be
이 의 일차편미분의 좌극한 과 우극한 은 수학식 14와 같다.this Left side of the first derivative of And extreme Is the same as Equation 14.
모든 가 양수이고, 가 또는 와 동일한 좌표가 존재하는 곳을 제외하고는 모두 동일하므로 는 구분적으로 연속임을 알 수 있다.all Is positive, end or Are all the same except that they have the same coordinates as It can be seen that is separated consecutively.
의 이차편미분은 수학식 15와 같다. The second derivative of is given by Equation 15.
즉, 의 이차편미분은 양정치(positive semi-definite)이다.In other words, The second derivative of is positive semi-definite.
의 일차편미분이 구분적인 연속이고 의 이차편미분이 양정치이므로 는 구분적인 볼록함수임을 알 수 있다. 이 는 구분적인 볼록함수이므로, 이 발명에서는 각 구간에서의 선형제약식을 부여하여 볼록함수 최적화 과정을 반복하여 최적해를 구함으로써, 히스토그램 평활화가 수행된 후의 화소값을 계산할 수 있다. The first derivative of is a distinct sequence Since the second derivative of is positive Is a distinct convex function. this Since is a distinctive convex function, the present invention can calculate the pixel value after the histogram smoothing is performed by applying the linear constraint in each section and repeating the convex function optimization process to obtain the optimal solution.
이로써, 이 발명의 수학적 원리에 따르면 고차원으로의 확장이 단순하고, 일차원뿐만 아니라 고차원으로 확장하더라도 일차/이차편미분의 성질이 보존됨을 알 수 있다. 이는 3차원의 컬러 히스토그램으로 확장하더라도 그 성질이 보존된다.Thus, according to the mathematical principle of the present invention, it can be seen that the expansion to a high dimension is simple, and the properties of the primary / second derivative are preserved even when expanding to a high dimension as well as one dimension. This property is preserved even when extended to a three-dimensional color histogram.
도 1은 이 발명의 수학적 원리를 이용한 히스토그램 평활화 시스템을 도시한 기능 블록도이다.1 is a functional block diagram illustrating a histogram smoothing system using the mathematical principles of the present invention.
이 히스토그램 평활화 시스템은, 입력영상으로부터 히스토그램을 계산하는 히스토그램계산부(11)와, 히스토그램의 누적분포함수와 균등분포의 누적분포함수와의 제곱오차로 정의되는 목적함수의 구분영역을 표현하는 선형제약식을 구하는 선형제약식구성부(12)와, 선형제약식과 목적함수를 볼록함수 최적화하여 해를 구하는 볼록함수최적화부(13)와, 볼록함수최적화부(13)에서 구해진 해를 이용하여 입력영상을 평활화된 영상으로 재구성하는 영상재구성부(14)를 구비한다.The histogram smoothing system is a linear constraint that expresses a histogram calculation unit 11 that calculates a histogram from an input image, and a division area of an objective function defined by a squared error between the cumulative distribution function of the histogram and the cumulative distribution function of the equal distribution. The input image is obtained by using the linear constraint formula unit 12 for obtaining the equation, the convex function optimizer 13 for obtaining the solution by optimizing the linear constraint and the objective function, and the solution obtained at the convex function optimizer 13. An image reconstructing unit 14 for reconstructing the smoothed image is provided.
입력영상이 흑백 영상인 경우를 설명한다.A case where the input image is a black and white image will be described.
히스토그램 계산부(11)는 입력영상으로부터 흑백 히스토그램을 계산한다.The histogram calculator 11 calculates a black and white histogram from the input image.
선형제약식구성부(12)는 흑백 히스토그램으로부터 수학식 5와 같은 목적함수 를 구한다. 이 목적함수 는 에서 구분적인 이차형식을 갖는다. 는 주어진 히스토그램을 포함하는 구분영역에서 유일한 최적해를 가지므로 한 번의 이차계획법(quadratic programming)을 통해서 해를 신속하게 구할 수 있다. 또한, 선형제약식구성부(12)는 선형제약식을 구성하는데, 모든 에 대해서 이고 선형순서를 가지므로 목적함수의 구분영역은 수학식 16과 같은 n+1개의 선형제약식으로 표현된다.The linear constraint construction unit 12 is an objective function such as Equation 5 from the black and white histogram. Obtain This objective function Is Has a distinct secondary form Since we have the only optimal solution in the region containing the given histogram, we can quickly find the solution through one quadratic programming. In addition, the linear constraint component 12 constitutes a linear constraint, all about And the linear order, the division region of the objective function is represented by n + 1 linear constraint as shown in Equation (16).
여기서, ki(i=1,2,...,n)는 xk(k=1,2,...,n)를 우선순위에 따라 순서적으로 나열한 후에 그 순서대로 새로이 부여하는 식별번호이다.Where k i (i = 1,2, ..., n) lists x k (k = 1,2, ..., n) in order of precedence and then newly assigns them in that order Number.
이 흑백 히스토그램 평활화는 계산의 복잡도가 크지 않기 때문에(예컨대, 256 화소 수준에서 최대 256개의 변수와 257개의 선형제약식), 한 번의 이차계획법으로 실시간에 풀 수 있다.This black and white histogram smoothing can be solved in real time with one quadratic scheme because the computational complexity is not large (eg, up to 256 variables and 257 linear constraints at the 256 pixel level).
볼록함수최적화부(13)는 선형제약식이 부과된 목적함수로부터 최적해를 구한다. 이 볼록함수최적화부(13)에서 구한 최적해가 히스토그램 평활화된 화소값이 된다.The convex function optimization unit 13 obtains an optimal solution from the objective function imposed by the linear constraint. The optimal solution obtained by the convex function optimization section 13 is a histogram smoothed pixel value.
영상재구성부(14)는 입력 영상의 화소값과 볼록함수최적화부(13)에서 구한 히스토그램 평활화된 화소값의 대응관계를 이용하여 입력 영상을 재구성한다. 이로써, 평활화된 히스토그램을 갖는 출력 영상이 얻어진다.The image reconstructor 14 reconstructs the input image by using the correspondence between the pixel values of the input image and the histogram smoothed pixel values obtained by the convex function optimizer 13. As a result, an output image having a smoothed histogram is obtained.
도 2는 이 발명에 따른 흑백 히스토그램 평활화 과정을 도시한 도면이다.2 is a diagram illustrating a black and white histogram smoothing process according to the present invention.
흑백 영상의 경우, 주어진 히스토그램을 포함하는 구분영역에서 유일한 최적해를 가지고 계산 복잡도가 크지 않으므로, 한 번의 이차계획법으로 실시간에 풀 수 있다.In the case of black and white images, since the computational complexity is not large and the only optimal solution in the region containing the given histogram can be solved in real time with one quadratic scheme.
도 3은 이 발명에 따른 컬러 히스토그램 평활화 과정을 도시한 도면이다.3 is a diagram illustrating a color histogram smoothing process according to the present invention.
컬러 영상의 경우, 히스토그램은 다차원이며 여러 구분영역을 통과하는 최적화 과정을 통해 최적해가 구해진다. 도 3에 도시된 바와 같이 d차원에서 n개의 관측치를 갖는 히스토그램 는 구분영역 에 포함되며, 그 경계인 을 거쳐서 인접한 구분영역으로 진행한다. 이러한 과정은 최적해 가 구해질 때까지 반복되어야 한다.In the case of a color image, the histogram is multidimensional and an optimal solution is obtained through an optimization process that passes through several distinct regions. Histogram with n observations in d dimension as shown in FIG. Area Which is bounded by Proceed to adjoining zones via. This process is optimal It must be repeated until is obtained.
즉, 컬러 영상의 경우에는 선형제약식 구성과 볼록함수 최적화 과정이 반복적으로 이루어져야 한다.That is, in the case of a color image, a linear constraint configuration and a convex function optimization process must be repeatedly performed.
도 4는 이 발명의 한 실시예에 대한 컬러 영상의 히스토그램 평활화 시스템을 도시한 기능 블록도이다.4 is a functional block diagram illustrating a histogram smoothing system of color images according to an embodiment of the present invention.
이 컬러 영상의 히스토그램 평활화 시스템은, 입력영상으로부터 히스토그램을 계산하는 히스토그램계산부(21)와, 히스토그램의 누적분포함수와 균등분포의 누적분포함수와의 제곱오차로 정의되는 목적함수의 구분영역을 표현하는 선형제약식을 구하는 선형제약식구성부(22)와, 선형제약식과 목적함수를 볼록함수 최적화하여 해를 구하는 볼록함수최적화부(23)와, 볼록함수최적화부(23)에서 구해진 최적해를 이용하여 입력영상을 재구성하는 영상재구성부(24)와, 볼록함수최적화부(23)에서 구해진 해가 최적해인지를 판단하여 최적해가 아니면 선형제약식구성부(22)와 볼록함수최적화부(23)가 반복 수행되도록 하고 최적해이면 그 최적해를 영상재구성부(24)로 출력하는 판단부(25)를 구비한다.The histogram smoothing system of the color image expresses the division region of the histogram calculation unit 21 which calculates the histogram from the input image and the objective function defined by the square error of the cumulative distribution function of the histogram and the cumulative distribution function of the equal distribution. Using a linear constraint construction unit 22 for obtaining a linear constraint formula, a convex function optimization unit 23 for obtaining a solution by optimizing the linear constraint and the objective function, and an optimal solution obtained in the convex function optimizer 23 The image reconstruction unit 24 for reconstructing the input image and the solution obtained by the convex function optimizer 23 determine whether the optimal solution is the optimal solution, and if not, the linear constraint construction unit 22 and the convex function optimizer 23 perform repetition. And a determination unit 25 for outputting the optimal solution to the image reconstruction unit 24 if possible.
입력영상이 컬러 영상인 경우를 설명한다.A case where the input image is a color image will be described.
히스토그램 계산부(21)는 입력영상으로부터 컬러 히스토그램을 추출한다. 컬러 히스토그램은 영역 D=[0,1)3에서 의 형태로 표현된다. 여기서, 화소값 이다.The histogram calculator 21 extracts a color histogram from the input image. The color histogram is in the area D = (0,1) 3 It is expressed in the form of. Where pixel value to be.
선형제약식구성부(22)는 이 컬러 히스토그램의 누적분포함수와 균등분포의 누적분포함수와의 제곱오차를 구하여 수학식 12와 같은 목적함수 를 구한다. 이 목적함수 는 에서 구분적인 이차형식을 갖는다. 또한, 선형제약식구성부(22)는 삼차원 좌표로 표현되는 화소값의 각 밴드별로 순서관계를 이용하여 선형제약식을 구성한다. 모든 x축 좌표 ()에 대해 그 순서를 결정하는데, x축 좌표간 순서를 결정할 때 다음과 같은 우선순위 규칙을 따른다.The linear constraint construction unit 22 calculates a squared error between the cumulative distribution function of the color histogram and the cumulative distribution function of the equal distribution, and obtains an objective function as shown in Equation 12. Obtain This objective function Is Has a distinct secondary form In addition, the linear constraint construction unit 22 constructs the linear constraint using the order relation for each band of pixel values expressed in three-dimensional coordinates. All x-axis coordinates ( In order to determine the order of), the following order of precedence is used when determining the order between x-axis coordinates.
먼저, 그 위치를 비교하여 그 순서를 결정한다. 즉, 와 를 비교하여 그 순서를 결정한다.First, the positions are compared to determine their order. In other words, Wow Compare the to determine the order.
다음, 위치가 동일한 경우 즉 = 인 경우에는 그 경사를 비교하여 순서를 결정한다. 즉, 와 를 비교하여 그 순서를 결정한다.Then, if the locations are the same = If is, compare the inclination to determine the order. In other words, Wow Compare the to determine the order.
다음, 위치와 경사가 모두 동일한 경우 즉 = , = 인 경우에는 그 곡률을 비교하여 순서를 결정한다. 즉, 와 를 비교하여 그 순서를 결정한다.Next, if both the position and the slope are the same = , = If is, the order is determined by comparing the curvature. In other words, Wow Compare the to determine the order.
즉, 두 변수 와 의 순서는 목적함수 에 의해 생성되는 곡면에서의 위치, 경사, 곡률 등의 순으로 우선순위를 매겨서 결정한다.That is, two variables Wow Order of the objective function Priority is determined in order of position, inclination, curvature, etc. on the curved surface generated by.
모든 x축 좌표간의 순서를 결정하여 이를 순서대로 나열하여 새로운 식별번호를 부여하면 위 수학식 16과 같다.Determining the order between all x-axis coordinates, assigning them in order, and assigning a new identification number are shown in Equation 16 above.
이와 마찬가지로 모든 y축 좌표의 순서를 결정하고, 모든 z축 좌표의 순서를 결정하면, 각 축에 대해 개의 선형제약식이 도출되므로 총 개의 선형제약식이 도출된다.Similarly, if you determine the order of all y-axis coordinates, and determine the order of all z-axis coordinates, for each axis Linear constraints are derived, Linear constraints are derived.
볼록함수최적화부(23)는 선형제약식이 부과된 목적함수로부터 해를 구한다.The convex function optimization unit 23 obtains a solution from the objective function to which the linear constraint is imposed.
판단부(25)는 볼록함수최적화부(23)에서 구한 해가 최적해가 아닌 경우, 즉 선형제약식이 활성화되거나 해가 오차 범위 내로 수렴되지 않은 경우에는 선형제약식구성부(22)와 볼록함수최적화부(23)가 반복 수행되도록 한다. 그러나, 볼록함수최적화부(23)에서 구한 해가 최적해인 경우, 즉 활성화되는 선형제약식이 없고 해가 오차 범위 내로 수렴하면 최적화과정을 종료하고 그 최적해값, 즉 히스토그램 평활화된 값 을 영상재구성부(24)에게 전달한다.The determination unit 25 is the linear constraint construction unit 22 and the convex function optimization unit when the solution obtained by the convex function optimization unit 23 is not the optimal solution, that is, when the linear constraint is activated or the solution is not converged within the error range. (23) is repeatedly performed. However, if the solution obtained by the convex function optimization unit 23 is the optimal solution, that is, if there is no active linear constraint and the solution converges within the error range, the optimization process is terminated and the optimum solution value, that is, the histogram smoothed value. To the image reconstruction unit 24.
영상재구성부(24)는 입력영상의 원래 히스토그램 과 평활화된 히스토그램 의 대응관계를 이용하여 원 컬러영상을 평활화된 컬러영상으로 변환한다.Image reconstruction unit 24 is the original histogram of the input image And smoothed histogram The original color image is converted into a smoothed color image by using the correspondence relationship of.
이 발명에 따른 히스토그램 평활화 방법은, 입력영상으로부터 히스토그램을 계산하는 히스토그램계산단계와, 상기 히스토그램의 누적분포함수와 균등분포의 누적분포함수와의 제곱오차로 정의되는 목적함수의 구분영역을 표현하는 선형제약식을 구하는 선형제약식구성단계와, 상기 선형제약식과 목적함수를 볼록함수 최적화하여 해를 구하는 볼록함수최적화단계와, 상기 볼록함수최적화단계에서 구해진 해가 최적해인지를 판단하여 최적해가 아니면 상기 선형제약식구성단계와 볼록함수최적화단계를 반복 수행하도록 하고 최적해이면 최적화과정을 종료하는 판단단계와, 상기 구해진 최적해를 이용하여 입력영상을 재구성하는 영상재구성단계를 구비한다.The histogram smoothing method according to the present invention includes a linear expression representing a division region of an objective function defined by a histogram calculation step of calculating a histogram from an input image and a square error of the cumulative distribution function of the histogram and the cumulative distribution function of the equal distribution. A linear constraint constructing step for obtaining a constraint equation, a convex function optimization step for obtaining a solution by optimizing the linear constraint and the objective function, and determining whether the solution obtained in the convex function optimization step is an optimal solution And a determination step of repeating the constrained configuration step and the convex function optimization step and, if the optimal solution, ends the optimization process, and an image reconstruction step of reconstructing the input image using the obtained optimal solution.
상기 선형제약식구성단계는 임의의 두 좌표에서의 상기 목적함수의 위치값을 비교하여 순서관계를 결정하고, 상기 목적함수의 위치값이 같으면 상기 두 좌표에서의 상기 목적함수의 경사를 비교하여 순서관계를 결정하고, 상기 목적함수의 위치값과 상기 목적함수의 경사가 같으면 상기 두 좌표에서의 상기 목적함수의 곡률을 비교하여 순서관계를 결정한다.The linearly constrained constructing step may be performed by comparing the position values of the objective function at two arbitrary coordinates to determine an order relationship. If the position value of the objective function and the slope of the objective function are the same, the order relation is determined by comparing the curvature of the objective function at the two coordinates.
이 발명의 유효성을 확인하기 위하여 두 밴드짜리 영상을 사용하여 히스토그램 평활화를 수행하였다. 원 영상은 도 5의 (a)에 도시된 바와 같이 모기의 머리를 찍은 (335×228) RG 영상으로 각 밴드마다 16수준을 가지며 히스토그램은 588가지 컬러에서 양의 값을 갖는다. 원 영상의 히스토그램이 균등하지 않으므로 그 화질은 그리 높지 않다. 본 발명에 의해 원 영상의 히스토그램이 균등분포에 적합하도록 변형하면, 이 발명에 의해 도 5의 (b)에 도시된 바와 같이 평활화된 영상이 보다 다양한 컬러를 활용하고 있음을 관찰할 수 있다.In order to confirm the effectiveness of the present invention, histogram smoothing was performed using two band images. The original image is a (335 × 228) RG image of a mosquito's head as shown in (a) of FIG. 5 and has 16 levels in each band, and the histogram has a positive value in 588 colors. Since the histogram of the original image is not uniform, the image quality is not so high. When the histogram of the original image is modified to be equally distributed by the present invention, it can be observed that the smoothed image utilizes more various colors as shown in FIG.
도 6은 누적분포함수를 도시한 도면으로서, 도 6의 (a)는 원영상의 누적분포함수, (b)는 균등분포의 누적분포함수이며, (c)는 히스토그램 평활화된 영상의 누적분포함수이다. 도 6을 참조하면, 원영상의 누적분포함수가 균등분포함수에 적합하여 변형되었음을 알 수 있다.6 is a diagram showing a cumulative distribution function, (a) of FIG. 6 is a cumulative distribution function of an original image, (b) is a cumulative distribution function of an even distribution, and (c) is a cumulative distribution function of a histogram smoothed image. to be. Referring to FIG. 6, it can be seen that the cumulative distribution function of the original image is modified to fit the equal distribution function.
이 발명은 컬러 영상의 화질 향상이 필요한 모든 분야에 적용할 수 있다. 즉, 컬러영상을 이용한 얼굴인식, 영상검색, 무인감시, 지능형 시스템을 위한 사용자-로봇(컴퓨터) 인터페이스 등 컬러영상의 화질 개선이 필요한 각 분야에 적용할 수 있다. 또한, 인공위성 사진이나 의료영상의 의사컬러(pseudo-color) 영상을 생성하여 위성사진 분석이나 의료영상 분석에도 적용할 수 있다.The present invention can be applied to all fields that need to improve image quality of color images. That is, the present invention can be applied to each field requiring improvement of image quality of color image such as face recognition using color image, image search, unattended surveillance, and user-robot (computer) interface for intelligent system. In addition, pseudo-color images of satellite images or medical images may be generated and applied to satellite image analysis or medical image analysis.
Claims (12)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020070082374A KR100919167B1 (en) | 2007-08-16 | 2007-08-16 | System and method for histogram equalization |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020070082374A KR100919167B1 (en) | 2007-08-16 | 2007-08-16 | System and method for histogram equalization |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20090017871A KR20090017871A (en) | 2009-02-19 |
| KR100919167B1 true KR100919167B1 (en) | 2009-09-28 |
Family
ID=40686419
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020070082374A KR100919167B1 (en) | 2007-08-16 | 2007-08-16 | System and method for histogram equalization |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100919167B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101516632B1 (en) * | 2013-10-22 | 2015-05-07 | 전남대학교산학협력단 | Bipartite histogram equalization apparatus maintain the rate of mean brightness of video using visual threshold |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101473415B1 (en) * | 2012-12-28 | 2014-12-18 | 한국항공우주연구원 | Method for compensating degradation of detector performance using histogram specification |
| KR101981039B1 (en) | 2014-12-01 | 2019-08-28 | 한화정밀기계 주식회사 | Method and apparatus for image processing using histogram |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20000050571A (en) * | 1999-01-12 | 2000-08-05 | 윤종용 | Image processing apparatus having functions of histogram equalization and color enhancement and processing method thereof |
| KR20020074570A (en) * | 2001-03-20 | 2002-10-04 | 주식회사 코난테크놀로지 | Method for abstracting histogram of HSV Color |
| JP2007047975A (en) * | 2005-08-09 | 2007-02-22 | Fujifilm Corp | Method and device for detecting multiple objects of digital image, and program |
-
2007
- 2007-08-16 KR KR1020070082374A patent/KR100919167B1/en not_active IP Right Cessation
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20000050571A (en) * | 1999-01-12 | 2000-08-05 | 윤종용 | Image processing apparatus having functions of histogram equalization and color enhancement and processing method thereof |
| KR20020074570A (en) * | 2001-03-20 | 2002-10-04 | 주식회사 코난테크놀로지 | Method for abstracting histogram of HSV Color |
| JP2007047975A (en) * | 2005-08-09 | 2007-02-22 | Fujifilm Corp | Method and device for detecting multiple objects of digital image, and program |
Non-Patent Citations (1)
| Title |
|---|
| 논문:Image Processing, 2006 IEEE International Conference on |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101516632B1 (en) * | 2013-10-22 | 2015-05-07 | 전남대학교산학협력단 | Bipartite histogram equalization apparatus maintain the rate of mean brightness of video using visual threshold |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20090017871A (en) | 2009-02-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109949255B (en) | Image reconstruction method and device | |
| Fisher et al. | Dictionary of computer vision and image processing | |
| CN112184752A (en) | Video target tracking method based on pyramid convolution | |
| WO2009143651A1 (en) | Fast image segmentation using region merging with a k-nearest neighbor graph | |
| Jiang et al. | Image segmentation with pulse-coupled neural network and Canny operators | |
| CN110084782B (en) | Full-reference image quality evaluation method based on image significance detection | |
| Gepshtein et al. | Image completion by diffusion maps and spectral relaxation | |
| KR100919167B1 (en) | System and method for histogram equalization | |
| Wu et al. | Attended visual content degradation based reduced reference image quality assessment | |
| Yang et al. | LS-SVM-based image segmentation using pixel color-texture descriptors | |
| CN108830864A (en) | Image partition method | |
| Bangham et al. | The Segmentation of Images via Scale-Space Trees. | |
| Kasimov et al. | Approximation of color images based on the clusterization of the color palette and smoothing boundaries by splines and arcs | |
| Ahmed Fadil et al. | Enhancement of medical images using fuzzy logic | |
| Salem et al. | Random-shaped image inpainting using dilated convolution | |
| JP4144752B2 (en) | Image analysis | |
| Singh et al. | Variational mode decomposition-based multilevel threshold selection scheme for color image segmentation | |
| Chuchvara et al. | Content-adaptive superpixel segmentation via image transformation | |
| Fazal et al. | Underwater image enhancement using bi-histogram equalization with fuzzy plateau limit | |
| Jawahar et al. | Generalised correlation for multi-feature correspondence | |
| Tan et al. | A novel Euler’s elastica-based segmentation approach for noisy images using the progressive hedging algorithm | |
| Jiang et al. | BYY harmony learning of t-mixtures with the application to image segmentation based on contourlet texture features | |
| CN109658421A (en) | A kind of dividing method of multi-Target Image | |
| Palágyi et al. | A thinning algorithm to extract medial lines from 3D medical images | |
| CN108460379B (en) | Salient object detection method based on refined space consistency two-stage graph |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20120907 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20130830 Year of fee payment: 5 |
|
| LAPS | Lapse due to unpaid annual fee |