KR101124878B1

KR101124878B1 - Method of de-blurring image based on estimated blur radius and apparatus for de-blurring image based on estimated blur radius

Info

Publication number: KR101124878B1
Application number: KR1020100039450A
Authority: KR
Inventors: 이석한; 브이쾅람
Original assignee: 성균관대학교산학협력단
Priority date: 2010-04-28
Filing date: 2010-04-28
Publication date: 2012-03-27
Also published as: KR20110119989A

Abstract

종래의 영상의 흐림반경을 추정하는 방법과 비교하여 영상의 흐림반경값을 보다 정확히 예측할 수 있고 영상에 존재하는 노이즈에도 강한 특성을 가지는 추정된 흐림반경에 기초한 영상보정방법 및 영상보정장치가 개시되어 있다. 영상의 흐림반경을 추정하여 영상을 보정하는 영상보정방법에 있어 영상데이타를 제공받는 단계와 제공된 영상의 흐림에 관한 데이터값과 영상의 흐림 정도를 모델링한 오차함수간의 차이를 구하여 제공된 영상의 흐림반경(Blur Radius)를 추정하는 단계를 이용해 영상의 흐림반경을 추정하여 영상을 보정할 수 있다. 따라서, 정확한 영상의 흐림반경을 추정하여 영상촬영장치 또는 디스플레이장치 등에서 영상을 보정할 경우 실제의 영상데이타에 가까운 영상으로 보정할 수 있다. Disclosed are an image correction method and an image correction apparatus based on an estimated blur radius, which can predict a blur radius value of an image more accurately than a conventional method of estimating a blur radius and has a strong characteristic against noise present in an image. have. In the image correction method for estimating the blur radius of an image and correcting the image, the blur radius of the provided image is obtained by obtaining the difference between the step of receiving the image data and the error function modeling the blur value of the image and the data value of the blur of the provided image. By estimating Blur Radius, an image may be corrected by estimating a blur radius of the image. Accordingly, when the image is corrected by the image capturing apparatus or the display apparatus by estimating the blur radius of the correct image, the image may be corrected to the image close to the actual image data.

Description

Image correction method and image correction device based on estimated blur radius {METHOD OF DE-BLURRING IMAGE BASED ON ESTIMATED BLUR RADIUS AND APPARATUS FOR DE-BLURRING IMAGE BASED ON ESTIMATED BLUR RADIUS}

본 발명은 영상을 흐림반경을 추정하는 기술에 관한 것으로, 더욱 상세하게는 영상의 흐림반경을 추정하는 방법과 추정된 흐림반경을 이용하여 영상을 보정하는 기술에 관한 것이다. The present invention relates to a technique for estimating a blur radius of an image, and more particularly, to a method for estimating a blur radius of an image and a technique for correcting an image using the estimated blur radius.

카메라나 캠코더를 사용하여 촬영된 영상이 흐려지는 현상(Blurring)은 카메라의 초점이 피사체의 거리와 불일치하거나 장시간의 CCD노출, 촬영시 손떨림 현상 또는 전기적 원인등과 같은 요인에 의해 발생하거나 피사체의 빠른 움직임 또는 대기의 불안정과 같은 외부의 요인으로 인해 발생할 수 있다. 이와 같이 다양한 이유로 흐려진 영상을 보정하는 기술은 영상촬영장치나 디스플레이장치 또는 프로젝터와 같이 영상을 입력받고 출력하는 장치에 필수적인 기술이다. Blurring of images recorded using the camera or camcorder is caused by factors such as the camera's focus mismatching with the distance of the subject, prolonged CCD exposure, camera shake during shooting, or electrical causes, or rapid movement of the subject. Or external factors such as atmospheric instability. Such a technique for correcting a blurred image for various reasons is an essential technique for a device that receives and outputs an image such as an image photographing device, a display device, or a projector.

이뿐만 아니라 사진이나 동영상과 같은 멀티미디어 파일이 가진 영상정보를 읽어들여 파일의 정보(예를 들어 사진속의 사람의 수, 물건에 표시된 텍스트)를 추출하여 멀티미디어파일의 메타데이타를 생성하는 기술이나, 외부로부터 영상장치를 통해 받아들여진 시각정보를 이용해 외부의 사물을 분석하는 로보틱스 분야에서도 영상으로부터 정확한 정보를 얻기 위해 흐려진 영상의 윤곽(Blurred edge)을 복원하는 기술이 사용될 수 있다. In addition to this, a technology of generating metadata of a multimedia file by reading image information of a multimedia file such as a picture or a video and extracting the information of the file (for example, the number of people in the photo and text displayed on an object) In the field of robotics, which analyzes an external object using visual information received from an image device, a technique of restoring a blurred edge of a blurred image may be used to obtain accurate information from the image.

흐려진 영상의 윤곽(Blurred edge)을 복원하기 위해서는 우선 윤곽추출(Edge Detection)이 필요하다. 영상의 윤곽(Blurred edge)은 영상이 흐려진 정도를 가장 명확하게 나타나는 부분으로 영상에 나타난 사물과 사물의 윤곽선이다. 이러한 윤곽추출 방법으로는 Canny Algorithm을 사용하거나 Hough Transform등을 사용할 수 있다. 윤곽추출을 한 후 추출된 윤곽의 흐려진 정도를 알아낼 수 있다면 흐려진 영상의 윤곽(Blurred edge)을 흐려진 정도만큼 복원하는 함수를 사용하여 흐려진 영상을 다시 명료한 영상(Sharp Image)으로 보정할 수 있다. In order to reconstruct the blurred edge of the blurred image, first edge detection is required. Blurred edge of the image is the part that clearly shows the degree of blurring of the image. As the contour extraction method, Canny Algorithm or Hough Transform can be used. If the degree of blurring of the extracted contour can be determined after contour extraction, the blurred image can be corrected back into a sharp image by using a function of restoring the blurred edge of the blurred image by the amount of blurring.

흐려진 영상(B, Blurred Image)을 수학적으로 표현하면 수학식 1과 같이 표현할 수 있다. 명료한 영상(I, Sharp Image)에 블러커널(K, Blur Kernel)이라고도 불리는 점확산함수(PSF, Point Spread Function)을 콘볼루션한 값을 구하고 콘볼루션한 값에 일정한 가우시안 백색잡음(N, Additive Gaussian White Noise)를 더하면 흐려진 영상(B, Blurred Image) 의 함수가 만들어 질 수 있다. If the blurred image (B, Blurred Image) is represented mathematically, it can be expressed as Equation 1. Obtain convolutional value of Point Spread Function (PSF), also called Blur Kernel (K, Blur Kernel), for clear image (I, Sharp Image), and Gaussian white noise (N, Additive) constant to convolutional value Adding Gaussian White Noise can produce a function of a blurred image (B).

점확산함수(PSF)로 가우시안 함수(Gaussian Function)을 사용할 경우 흐려진 영상을 복원하기 위한 블러커널(점확산함수)를 알기 위해 가우시안 함수의 표준편차값인 영상의 흐려진 정도를 나타내는 영상의 흐림반경(Blur radius)을 알아야 한다. 흐림반경을 알 수 있다면 흐려진 영상(B, Blurred Image)에서 명료한 영상(I, Sharp Image)으로 복원할 수 있고 또한 특정한 흐림반경값을 임의로 정해서 명료한 영상을 흐려진 영상으로 만드는 것 역시 가능하다. If the Gaussian function is used as the point spread function (PSF), the blurring radius of the image representing the blurring degree of the image, which is the standard deviation value of the Gaussian function, to determine the blur kernel (point diffusion function) for restoring the blurred image ( You need to know the blur radius. If the blur radius is known, it can be restored from the blurred image (B) to the clear image (I, Sharp Image), and it is also possible to arbitrarily set a specific blur radius value to make the clear image blurred.

종래의 흐려진 영상을 복원하는 기술로는 Elder가 그의 논문인 "Local Scale Control for Edge Detection and Blur Estimation"(J.H. Elder, S.W. Zucker, IEEE Trans. Pattern Analysis and Machine Intelligence 20, 1998, pp. 699-716)에서 제시한 방법이 있다. 도 1은 Elder의 방법을 이용하여 흐림반경(Blur Radius)을 측정하는 방법을 나타낸 그래프이다. Elder는 상기의 논문에서 처음에 임의로 추정한 1차 흐림반경(

)값을 이용하여 만든 가우시안함수(Gaussian Function)를 두번 미분하는 방법을 제시한다. Elder가 제시한 방법을 사용하면 두번 미분한 가우시안 함수는 도 1과 같이 Positive Peak Value(110)와 Negative Peak Value(120)을 가지는 함수로 표현되는데 상기 두 Peak Value 사이의 거리를 d라고 할 때 다음의 수학식 2을 이용하여 영상의 2차 흐림반경(

, Blur radius)를 추정한다. A technique for reconstructing a conventional blurred image is described by Elder in his article "Local Scale Control for Edge Detection and Blur Estimation" (JH Elder, SW Zucker, IEEE Trans.Pattern Analysis and Machine Intelligence 20, 1998, pp. 699-716 ). 1 is a graph illustrating a method of measuring Blur Radius using Elder's method. Elder used the first blurring radius, which was initially estimated randomly in the above paper.

We present a method of differentiating a Gaussian function created using Using the method proposed by Elder, the Gaussian function, which is differentiated twice, is expressed as a function having a positive peak value (110) and a negative peak value (120), as shown in Fig. 1, where the distance between the two peak values is d. Second blur radius of the image using

, Blur radius)

Elder의 흐림반경을 추정하는 방법은 기존의 방식에 비하여 흐림반경을 계산하는 절차와 방법이 간단하여 흐려진 영상의 빠른 보정이 가능하다. 만약에 영상데이타가 크거나 빠른 시간안에 보정을 원할 경우 Elder의 방법을 사용하면 빠른 시간안에 간편하게 영상의 흐림반경을 측정할 수 있다.The method of estimating the blur radius of Elder is simpler than the conventional method and the method of calculating the blur radius enables fast correction of blurred images. If the image data is large or if you want to correct it in a short time, you can use Elder's method to easily measure the blur radius of the image in a short time.

또 다른 흐림반경 추정방법은 Hu에 의해 "Low Cost Robust Blur Estimator"(H. Hu, G.d. Haan, Proc. of IEEE Int. Conf. on Image Processing, Atlanta, 2006, pp. 617-620)에서 제시된 방법이 있다. Another blur radius estimation method is proposed by Hu in "Low Cost Robust Blur Estimator" (H. Hu, Gd Haan, Proc. Of IEEE Int. Conf. On Image Processing, Atlanta, 2006, pp. 617-620). There is this.

도 2는 Hu의 방법을 이용하여 흐려진 영상에 사용자가 임의로 추정한 두가지 흐림반경(

,

)을 가지는 각각의 가우시안 블러커널(Gaussian Blur Kernel)을 콘볼루션한 것을 나타낸 그래프이다. 콘볼루션의 결과 두 개의 영상의 흐려진 정도를 표현하는 함수(

,

)를 구할 수 있다. 구해진 함수(

,

)를 이용하여

,

를 변수로 가지며 두 함수의 차와 실제 입력된 영상으로부터 구해진 함수의 비를 나타내는 함수

를 도출해내고 수식전개를 통해 도출된 수학식 3을 사용하면 원래의 흐려진 영상의 흐림반경을 추정할 수 있다.FIG. 2 shows two blurring radii that a user arbitrarily estimates in a blurred image using Hu's method.

,

Is a graph showing convolution of each Gaussian Blur Kernel with Function that expresses the blurredness of two images as a result of convolution (

,

) Can be obtained. Obtained function (

,

)

,

Is a variable representing the difference between two functions and the ratio of the function obtained from the input image.

Derivation of Equation 3 and Equation 3 derived through the expansion of the equation can be used to estimate the blurring radius of the original blurred image.

Elder의 방법이 영상의 흐림반경을 추정함에 있어 주변영상의 윤곽이 가진값에 영향을 받는 것과 달리 Hu의 방법은 주변의 영상의 윤곽값에 의해 영향을 받지 않는다. 또한 Hu의 방법은 영상의 윤곽(Edge)의 색의 강도(Intensity)를 몰라도 영상의 흐림반경을 구할 수 있고 또한 함수

의 Peak Value를 이용하면 영상의 윤곽(Edge)을 윤곽추출기(Edge Detector)가 없는 경우에도 알 수 있다. Unlike Elder's method for estimating the blurring radius of an image, Hu's method is not affected by the contour value of the surrounding image. In addition, Hu's method can find the blurring radius of an image without knowing the intensity of the color of the edge of the image.

By using the Peak Value, it is possible to know the edge of an image even when there is no edge detector.

도 3은 Elder의 방법이 가진 문제점을 나타낸 그래프이다. 이웃하는 두 영상의 윤곽이 가지는 Intensity값이 도 3과 같을 경우 가우시안 블러커널(Gaussian Blur Kernel)의 흐림반경(

)값을 임의로 추정하여 만든 가우시안함수(Gaussian Function)를 두번 미분하여 구한 함수의 Negative Peak Value값을 정확하게 구할 수 없다. 따라서 Elder의 방법은 서로 이웃하는 영상의 윤곽에 의해 서로의 Peak Value값이 영향을 받게 되어 흐려진 영상의 정확한 흐림반경값을 추정하지 못한다는 단점이 있다. 또한 처음에 임의로 추정한 흐림반경값인

가 최적값이 아닌 경우 정확한 흐림반경값에서 큰 오차를 가질 수 있다.3 is a graph illustrating a problem with Elder's method. When the intensity values of the contours of two neighboring images are as shown in FIG. 3, the blur radius of the Gaussian Blur Kernel (

The Negative Peak Value of the function obtained by differentiating the Gaussian function created by randomly estimating the) value cannot be accurately obtained. Therefore, Elder's method has a disadvantage in that the peak value of each other is influenced by the contours of neighboring images, so that the accurate blur radius value of the blurred image cannot be estimated. Also, the blur radius value

If is not the optimal value can have a large error in the accurate blur radius value.

또한 종래의 기술로 전술된 Hu의 방법은

의 값이

의 값에 종속되어 있다. 따라서 정확한 흐림반경을 추정하기 위해서는

을 최적값으로 선택하는 것이 필요하다.

값을 잘못 선택하면 추정된 흐림반경값은 정확한 값을 가지지 못한다. 또한 영상의 흐림정도가 심한경우 Hu의 방법을 쓰기위한 전제조건인

을 만족하기 힘들다. 또한 Hu의 방법은 실제의 영상에 존재하는 Noise에 약한 특성이 존재하기 때문에 정확한 영상의 흐림반경의 추정치를 도출해낼 수 없다. In addition, Hu's method described in the prior art

Has a value of

Depends on the value of. Therefore, to estimate the exact blur radius,

It is necessary to select as the optimal value.

If you select the wrong value, the estimated blur radius will not be accurate. Also, if the blurring of the image is severe, the precondition for using Hu's method is

Hard to satisfy. In addition, Hu's method is unable to derive an accurate estimate of the blurring radius of an image because it is weak in noise present in an actual image.

따라서 본 발명의 제 1목적은 주변영상의 윤곽에 영향받지 않고 예상치가 최적으로 선택되지 않더라도 영상의 흐림반경 추정의 정확도를 개선하기 위한 방법으로 추정된 흐림반경에 기초하여 영상을 보정하는 방법을 제공하는 것이다.Accordingly, a first object of the present invention is to provide a method for correcting an image based on the estimated blur radius as a method for improving the accuracy of estimating the blur radius of the image even when the estimate is not optimally selected without being affected by the contour of the surrounding image. It is.

또한, 본 발명의 제 2목적은 상기 추정된 흐림반경에 기초하여 영상을 보정하는 장치를 제공하는 것이다. It is also a second object of the present invention to provide an apparatus for correcting an image based on the estimated blur radius.

상술한 본 발명의 제 1목적을 달성하기 위한 본 발명의 일 측면에 따른 영상의 흐림반경을 추정하여 영상을 보정하는 영상보정방법은 영상데이타를 제공받는 단계와 상기 제공된 영상의 흐림에 관한 데이터값과 영상의 흐림 정도를 모델링한 오차함수간의 차이를 구하여 상기 제공된 영상의 흐림반경(Blur Radius)를 추정하는 단계를 포함할 수 있다. 상기 제공된 영상의 흐림에 관한 데이터값과 영상의 흐림 정도를 모델링한 오차함수간의 차이를 구하여 상기 제공된 영상의 흐림반경(Blur Radius)를 추정하는 단계는 상기 제공된 영상의 윤곽 데이터와 상기 오차함수의 형태로 모델링한 영상의 흐려진 윤곽(Blurred Edge)사이에 존재하는 오차의 평균자승에러(MSE; Mean Square Error)값을 최소화되도록 흐림반경(Blur Radius)를 추정할 수 있다. 상기 제공된 영상의 흐림에 관한 데이터값과 상기 영상의 흐림 정도를 모델링한 오차함수간의 차이를 구하여 상기 제공된 영상의 흐림반경(Blur Radius)를 추정하는 단계는 상기 영상의 흐려진 윤곽(Blurred Edge)을 상기 영상의 흐림 정도를 모델링한 오차함수와 상기 제공된 영상의 흐림에 관한 데이터값을 이용해 제1 방향을 따라서 구하는 단계와 상기 영상의 흐려진 윤곽(Blurred Edge)을 상기 영상의 흐림 정도를 모델링한 오차함수와 상기 제공된 영상의 흐림에 관한 데이터값을 이용해 제2 방향을 따라서 구하는 단계를 포함할 수 있다. 상기 제1 방향은 수평 방향이고, 상기 제2 방향은 수직 방향일 수 있다. 상기 제공된 영상의 흐림에 관한 데이터값과 상기 영상의 흐려진 정도를 모델링한 오차함수간의 차이를 구하여 상기 제공된 영상의 흐림반경(Blur Radius)를 추정하는 단계는 상기 흐려진 영상의 윤곽(Blurred Edge)를 표현하는 함수의 세기(Intensity)값을 나타내는 제1 변수값

과 제2 변수값

를 예측하는 1단계, 상기 예측된 제1 변수값

및 제2 변수값

와 상기 제공받은 영상데이타로부터 상기 영상의 흐려진 윤곽(Blurred Edge)의 중심을 나타내는 제3 변수값

, 상기 흐려진 영상의 흐림반경(Blur Radius)를 나타내는 제4 변수값

을 도출하는 2단계, 상기 2단계를 통해 도출된

,

와 상기 제공받은 영상데이타로부터 상기 예측된 제1 변수값

및 제2 변수값

를 재추정하는 3단계를 포함할 수 있다. 상기 제공된 영상의 흐림에 관한 데이터값과 상기 영상의 흐려진 정도를 모델링한 오차함수간의 차이를 구하여 상기 제공된 영상의 흐림반경(Blur Radius)를 추정하는 단계는 상기 3단계 종료 후 상기 2단계로 돌아가 상기 3단계를 통해 상기 재추정된 제1 변수값

및 제2 변수값

를 이용해 상기 2단계와 상기 3단계 절차를 소정의 횟수로 반복하는 4단계를 포함할 수 있다. 제3 변수값

, 제4 변수값

을 도출하는 2단계는 상기 예측한 제1 변수값

와 제2 변수값

값을 이용해 상기 영상의 흐려진 윤곽(Blurred Edge)을 상기 오차함수와 상기 실제의 흐려진 영상이 가진 데이터값의 값의 차이를 제1 방향을 따라서 구할 수 있다. 상기 예측된 제1 변수값

및 제2 변수값

를 재추정하는 3단계는 상기 예측한 제3 변수값

, 제4 변수값

을 이용해 상기 영상의 흐려진 윤곽(Blurred Edge)을 상기 오차함수와 상기 실제의 흐려진 영상이 가진 데이터값의 값의 차이를 제2 방향을 따라서 구할 수 있다. 영상의 흐림반경을 추정하여 영상을 보정하는 영상보정방법은 상기 영상데이타를 제공받는 단계 후 사용자에 의해 영상을 보정할 정도를 선택받는 단계, 상기 사용자에 의해 영상을 보정할 정도를 선택받는 단계 후 상기 제공받은 영상데이타에서 영상의 경계를 검출하는 단계를 더 포함할 수 있다. 영상의 흐림반경을 추정하여 영상을 보정하는 영상보정방법은 상기 상기 제공된 영상의 흐림에 관한 데이터값과 영상의 흐림 정도를 모델링한 오차함수간의 차이를 구하여 상기 제공된 영상의 흐림반경(Blur Radius)를 추정하는 단계를 통해 추정된 흐림반경을 이용하여 영상의 흐림을 제거하는 단계, 상기 추정된 흐림반경을 이용하여 흐림이 제거된 영상을 출력하는 단계를 더 포함할 수 있다. 영상의 흐림반경을 추정하여 영상을 보정하는 영상보정방법은 상기 제공된 영상의 흐림에 관한 데이터값과 영상의 흐림 정도를 모델링한 오차함수간의 차이를 구하여 상기 제공된 영상의 흐림반경(Blur Radius)를 추정하는 단계를 통해 추정된 흐림반경이 수렴하는지 여부에 대한 판단과 상기 흐림반경값에 대한 추정을 반복함에 따라 흐림반경이 수렴하는 정도를 이용하여 상기 흐림 반경을 추정할 수 있다. An image correction method for correcting an image by estimating a blur radius of an image according to an aspect of the present invention for achieving the first object of the present invention includes receiving image data and data values relating to blur of the provided image. And estimating a blur radius of the provided image by obtaining a difference between an error function modeling a degree of blur of the image and the blur. Estimating a Blur Radius of the provided image by obtaining a difference between a data value of blur of the provided image and an error function modeling the degree of blur of the image may include forming contour data of the provided image and the shape of the error function. The Blur Radius can be estimated to minimize the Mean Square Error (MSE) value between the Blurred Edges of the image. Estimating a Blur Radius of the provided image by obtaining a difference between a data value of the blur of the provided image and an error function modeling the degree of blur of the image may include calculating a blurred edge of the image. An error function modeling the blurring degree of the image and a data value of the blurring of the provided image along the first direction, and an error function modeling the blurring edge of the image by blurring the edge of the image; It may include the step of obtaining along the second direction by using the data value of the blur of the provided image. The first direction may be a horizontal direction, and the second direction may be a vertical direction. Estimating a Blur Radius of the provided image by obtaining a difference between a data value of blur of the provided image and an error function modeling the degree of blur of the image, expressing a Blurred Edge of the blurred image First variable value representing the intensity of the function

And second variable values

A first step of predicting, the predicted first variable value

And second variable values

And a third parameter value representing a center of a blurred edge of the image from the received image data.

And a fourth parameter value representing a blur radius of the blurred image.

Derived through the second step, the second step

,

And the predicted first variable value from the received image data.

And second variable values

It may include three steps to re-estimate. The step of estimating Blur Radius of the provided image by obtaining a difference between a data value of blur of the provided image and an error function modeling the degree of blur of the image is performed. Re-estimated first variable value in step 3

And second variable values

The method may include four steps of repeating the two steps and the three steps of the procedure a predetermined number of times. Third variable value

, Fourth variable value

The second step of deriving the first variable value

And second variable values

The value of the blurred edge of the image may be obtained along the first direction by using a value. The difference between the error function and the value of the data value of the actual blurred image may be obtained along the first direction. The predicted first variable value

And second variable values

Step 3 of re-estimating the predicted third variable value

, Fourth variable value

The difference between the error function and the value of the data value of the actual blurred image may be obtained along the second direction by using a blurred edge of the image. An image correction method of estimating a blur radius of an image and correcting the image includes receiving a selection of a degree to correct an image by a user after receiving the image data, and after receiving a selection of a degree to correct the image by the user. The method may further include detecting a boundary of the image from the provided image data. An image correction method of estimating a blur radius of an image and correcting the image is obtained by obtaining a difference between a data value of the blur of the provided image and an error function modeling the degree of blur of the image to obtain a blur radius of the provided image. The method may further include removing blur of an image using the estimated blur radius through the estimating step, and outputting an image from which the blur is removed using the estimated blur radius. An image correction method of estimating a blur radius of an image and estimating a blur radius of the provided image is obtained by obtaining a difference between a data value of the blur of the provided image and an error function modeling the degree of blur of the image. The blur radius may be estimated using the degree of convergence of the blur radius as the determination of whether the estimated blur radius converges and the estimation of the blur radius value are repeated.

또한 상술한 본 발명의 제 2목적을 달성하기 위한 본 발명의 일 측면에 따른 영상의 흐림반경을 추정하여 흐려진 영상을 보정하는 영상 보정 장치에 있어는 영상을 제공하는 영상제공부, 상기 영상제공부로부터 제공된 영상의 흐림에 관한 데이터값과 영상의 흐림 정도를 모델링한 오차함수간의 차이를 구하여 상기 제공된 영상의 흐림반경(Blur Radius)를 추정하는 흐림추정부를 포함할 수 있다. 영상의 흐림반경을 추정하여 흐려진 영상을 보정하는 영상보정장치는 상기 흐림추정부에 의해 추정된 흐림반경을 기초로 영상의 흐림을 제거하는 흐림제거부, 상기 흐림제거부로터 흐림이 제거된 영상을 출력하는 영상출력부, 상기 제어부의 동작을 지시하거나 상기 흐려진 영상을 보정하는 장치의 이용여부를 결정하기 위해 사용자가 제어할 수 있는 사용자 인터페이스, 상기 영상을 보정하는 영상보정장치의 동작을 제어하는 제어부를 더 포함할 수 있다. 상기 흐림추정부는 상기 제공된 영상의 윤곽 데이터와 상기 영상의 흐림정도를 모델링한 오차함수의 형태로 표현한 영상의 흐려진 윤곽(Blurred Edge)사이에 존재하는 오차의 평균자승에러(MSE; Mean Square Error)값을 최소화되도록 흐림반경(Blur Radius)를 추정할 수 있다. 상기 흐림추정부는 상기 영상의 흐려진 윤곽(Blurred Edge)을 상기 영상의 흐림정도를 모델링한 오차함수와 상기 실제의 흐려진 영상이 가진 데이터값을 이용해 제1 방향을 따라서 구하고 상기 영상의 흐려진 윤곽(Blurred Edge)을 상기 영상의 흐림정도를 모델링한 오차함수와 상기 실제의 흐려진 영상이 가진 데이터값을 이용해 제2 방향을 따라서 구할 수 있다. 상기 제1 방향은 수평 방향이고, 상기 제2 방향은 수직 방향일 수 있다. 상기 제공된 영상의 흐림에 관한 데이터값과 영상의 흐림 정도를 모델링한 오차함수간의 차이를 구하여 상기 제공된 영상의 흐림반경(Blur Radius)를 추정하는 흐림추정부는 상기 흐려진 영상의 윤곽(Blurred Edge)를 표현하는 함수의 세기(Intensity)값을 나타내는 제1 변수값

과 제2 변수값

를 예측하고 상기 예측된 제1 변수값

및 제2 변수값

를 도출하며 상기 도출된 제3 변수값

, 제4 변수값

과 상기 제공받은 영상데이타로부터 상기 예측된 제1 변수값

및 제2 변수값

를 재추정하여 상기 재추정된 제1 변수값

및 제2 변수값

를 이용해 제3 변수값

및 제4 변수값

을 재추정할 수 있다. 상기 제3 변수값

및 상기 제4 변수값

는 상기 예측한 제1 변수값

와 제2 변수값

값을 이용해 상기 영상의 흐려진 윤곽(Blurred Edge)을 상기 오차함수와 상기 실제의 흐려진 영상이 가진 데이터값의 값의 차이를 제1 방향을 따라서 구하는 것을 특징으로 하는 영상의 흐림반경을 추정할 수 있다. 상기 예측된 제1 변수값

및 제2 변수값

를 재추정함에 있어서 상기 예측한 제3 변수값

, 제4 변수값

을 이용해 상기 영상의 흐려진 윤곽(Blurred Edge)을 상기 오차함수와 상기 실제의 흐려진 영상이 가진 데이터값의 값의 차이를 제2 방향을 따라서 구할 수 있다.In addition, the image providing unit for providing an image in the image correction device for correcting a blurred image by estimating the blur radius of the image according to an aspect of the present invention for achieving the second object of the present invention, provided from the image providing unit It may include a blur estimator for estimating a blur radius of the provided image by obtaining a difference between a data value of blur of an image and an error function modeling the degree of blur of the image. An image correcting apparatus for estimating a blurred image by estimating a blur radius of an image includes a blur remover that removes a blur of an image based on the blur radius estimated by the blur estimate, and an image of which the blur is removed from the blur remover. An output image output unit, a user interface which can be controlled by a user to instruct the operation of the control unit or determine whether to use the device to correct the blurred image, and a control unit to control the operation of the image correction apparatus to correct the image It may further include. The blur estimator is a mean square error (MSE) value of an error existing between the contour data of the provided image and the blurred edge of the image expressed in the form of an error function modeling the degree of blur of the image. Blur Radius can be estimated to minimize. The blur estimator obtains a blurred edge of the image along a first direction using an error function modeling the degree of blur of the image and a data value of the actual blurred image and blurry edge of the image. ) Can be obtained along the second direction using an error function modeling the degree of blur of the image and data values of the actual blurred image. The first direction may be a horizontal direction, and the second direction may be a vertical direction. A blur estimator for estimating a blur radius of the provided image by obtaining a difference between a data value of the blur of the provided image and an error function modeling the degree of blur of the image is expressed by a blurred edge of the blurred image. First variable value representing the intensity of the function

And second variable values

Predict and predict the first variable value

And second variable values

And a fourth parameter value representing a blur radius of the blurred image.

Derive the third variable value

, Fourth variable value

And the predicted first variable value from the provided image data.

And second variable values

Reestimate the first variable value

And second variable values

Third variable value using

And fourth variable values

Can be reestimated. The third variable value

And the fourth variable value

Is the predicted first variable value

And second variable values

The blurring radius of the image may be estimated by using a value to obtain a difference between a value of the error function and a data value of the actual blurred image along a first direction. . The predicted first variable value

And second variable values

In re-estimating the predicted third variable value

, Fourth variable value

The difference between the error function and the value of the data value of the actual blurred image may be obtained along the second direction by using a blurred edge of the image.

상술한 바와 같이 본 발명의 실시예에 따른 추정된 흐림반경에 기초한 영상보정방법 및 영상보정장치에 따르면 영상의 흐려진 윤곽(Blurred Edge)를 표현하는 함수를 오차함수(erf, Error Function)의 형태로 표현 한 후 수평적 맞춤방법(Horizontal Fitting)과 수직적 맞춤방법(Vertical Fitting)을 사용해 제공된 영상의 흐림반경(Blur Radius)를 추정한다.According to the image correction method and the image correction apparatus based on the estimated blur radius according to the embodiment of the present invention as described above, the function representing the blurred edge of the image in the form of an error function (erf, Error Function) After expression, Blur Radius is estimated using horizontal fitting method and vertical fitting method.

따라서, 종래의 영상의 흐림반경을 추정하는 방법과 비교하여 정확한 영상의 흐림반경값을 예측할 수 있고 영상에 존재하는 노이즈에도 강한 특성을 가질 수 있어 영상촬영장치 또는 디스플레이장치 등에서 영상을 보정할 경우 실제의 이미지와 가까운 명확한 영상을 얻을 수 있다. 또한 카메라 또는 프로젝터에서 포커싱 기능에 흐림 반경정보를 사용하여 명확한 영상을 얻을 수 있고 물체의 3D 입체화면을 구성하기 위한 정보로서 흐림 반경정보를 사용할 수 있다. Therefore, compared with the conventional method of estimating the blur radius of an image, it is possible to predict the blur radius value of an accurate image and have a strong characteristic against noise existing in the image. You can get a clear image close to the image. In addition, it is possible to obtain a clear image by using the blurring radius information for the focusing function in the camera or the projector, and to use the blurring radius information as information for constructing a 3D stereoscopic image of the object.

도 1은 Elder의 방법을 이용하여 흐림반경(Blur Radius)을 측정하는 방법을 나타낸 그래프이다.
도 2는 Hu의 방법을 이용하여 흐림반경(Blur Radius)을 측정하는 방법을 나타낸 그래프이다.
도 3은 Elder의 방법이 가진 문제점을 나타낸 그래프이다.
도 4는 영상의 경계를 표현하기 위해 모델링 함수로 사용한 스텝함수와 영상의 흐려진 윤곽(Blurred Edge)을 나타내기 위한 가우시안 블러커널(Gaussian Blur Kernel)을 이용하여 표현한 함수를 나타낸 그래프이다.
도 5는 본 발명의 일실시예에 따른 영상의 흐려진 윤곽(Blurred Edge)를 표현하는 함수를 오차함수(erf, Error Function)의 형태로 나타낸 것이다.
도 6은 본 발명의 일실시예에 따른 수평적 맞춤방법(Horizontal Fitting)을 나타낸 그래프이다.
도 7은 본 발명의 일실시예에 따른 수직적 맞춤방법(Vertical Fitting)을 나타낸 그래프이다.
도 8은 본 발명의 일실시예에 따른 영상의 흐림반경을 추정하는 방법과 종래의 영상의 흐림반경을 추정하는 방법들을 비교하여 나타낸 것이다.
도 9a는 본 발명의 일실시예에 따른 영상에 가우시안 노이즈(Gaussian Noise)를 부과한 후 영상의 흐림반경을 추정한 것을 비교한 그래프이다.
도 9b는 본 발명의 일실시예에 따른 영상에 가우시안 노이즈(Gaussian Noise)를 부과한 후 영상의 흐림반경을 추정한 것을 비교한 그래프이다.
도 9c는 본 발명의 일실시예에 따른 영상에 가우시안 노이즈(Gaussian Noise)를 부과한 후 영상의 흐림반경을 추정한 것을 비교한 그래프이다.
도 9d는 본 발명의 일실시예에 따른 영상에 가우시안 노이즈(Gaussian Noise)를 부과한 후 영상의 흐림반경을 추정한 것을 비교한 그래프이다.
도 10은 본 발명의 일실시예에 따른 영상의 흐림반경 추정치을 이용하여 흐려진 영상을 보정하는 방법을 나타내는 순서도이다.
도 11은 본 발명의 다른 실시예에 따른 영상의 흐림반경을 추정한 값을 이용해 영상을 보정하는 방법을 나타내는 순서도이다.
도 12는 본 발명의 일실시예에 따른 흐려진 영상의 흐림반경을 추정하여 흐려진 영상을 보정하는 장치를 구성하는 부분을 나타낸 블록도이다.1 is a graph illustrating a method of measuring Blur Radius using Elder's method.
2 is a graph illustrating a method of measuring Blur Radius using Hu's method.
3 is a graph illustrating a problem with Elder's method.
FIG. 4 is a graph illustrating a function expressed using a step function used as a modeling function to express the boundary of an image and a Gaussian Blur Kernel for representing a blurred edge of the image.
5 illustrates a function representing a blurred edge of an image in the form of an error function (erf, Error Function) according to an embodiment of the present invention.
6 is a graph showing a horizontal fitting method according to an embodiment of the present invention.
7 is a graph illustrating a vertical fitting method according to an embodiment of the present invention.
8 illustrates a comparison between a method of estimating a blur radius of an image and a method of estimating a blur radius of a conventional image according to an embodiment of the present invention.
9A is a graph comparing estimation of a blur radius of an image after applying Gaussian Noise to an image according to an embodiment of the present invention.
FIG. 9B is a graph comparing estimation of a blur radius of an image after applying Gaussian Noise to an image according to an embodiment of the present invention.
FIG. 9C is a graph comparing estimation of a blur radius of an image after applying Gaussian Noise to an image according to an embodiment of the present invention.
FIG. 9D is a graph comparing estimation of a blur radius of an image after applying Gaussian Noise to an image according to an embodiment of the present invention.
10 is a flowchart illustrating a method of correcting a blurred image by using an estimate of a blur radius of an image, according to an exemplary embodiment.
11 is a flowchart illustrating a method of correcting an image by using an estimated value of a blur radius of an image according to another exemplary embodiment of the present invention.
12 is a block diagram illustrating a part of an apparatus for correcting a blurred image by estimating a blur radius of a blurred image according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들은 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.As the invention allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail in the written description. However, this is not intended to limit the present invention to specific embodiments, it should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention. Like reference numerals are used for like elements in describing each drawing.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.The terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component. And / or < / RTI > includes any combination of a plurality of related listed items or any of a plurality of related listed items.

어떤 구성요소가 다른 구성요소에 “연결되어” 있다거나 “접속되어”있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 “직접 연결되어”있다거나 “직접 접속되어”있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When a component is said to be “connected” or “connected” to another component, it may be directly connected to or connected to that other component, but it may be understood that another component may exist in the middle. Should be. On the other hand, when a component is referred to as being "directly connected" or "directly connected" to another component, it should be understood that there is no other component in between.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, “포함하다” 또는 “가지다” 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. The terminology used herein is for the purpose of describing particular example embodiments only and is not intended to be limiting of the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, the terms “comprise” or “have” are intended to indicate that there is a feature, number, step, action, component, part, or combination thereof described in the specification, and one or more other features. It is to be understood that the present invention does not exclude the possibility of the presence or the addition of numbers, steps, operations, components, components, or a combination thereof.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.Hereinafter, with reference to the accompanying drawings, it will be described in detail a preferred embodiment of the present invention. Hereinafter, the same reference numerals are used for the same components in the drawings, and duplicate descriptions of the same components are omitted.

본 발명의 실시예들은 영상의 흐림반경(

, Blur Radius)를 구하여 내부적 원인이나 외부적 요인에 의해 흐려진 영상의 윤곽(Blurred Edge)를 보정하여 명확한 영상을 얻기 위한 것이다. Embodiments of the present invention provide a blurring radius of an image.

To obtain a clear image by obtaining Blur Radius and correcting the blurred edge of the image blurred by internal or external factors.

흐림 반경을 예측하는 것은 많은 산업분야에서 활용될 수 있다. 영상의 흐림 반경을 예측하여 영상을 보정(Revising)하거나 흐림을 제거(De-blurring)할 수 있을 뿐만 아니라, 프로젝터나 카메라의 오토포커싱(Autofocusing)에도 활용될 수 있다. 프로젝터 또는 카메라의 피사계 심도(Depth of Field)가 짧기 때문에 만약 물체가 피사계 심도(Depth of Field)의 범위를 벋어나는 경우 프로젝터에서 프로젝트 물체의 패턴이 흐려질 수 있고, 카메라에서 캡쳐된 이미지 또한 흐려질 수 있다. 따라서 흐림반경을 예측할 수 있다면 초점 조절 기능에 이를 활용하여 명확한 이미지를 얻을 수 있다.Predicting the blur radius can be utilized in many industries. Not only can the image be revised or de-blurred by predicting the blur radius of the image, but also used in autofocusing of a projector or a camera. Due to the short depth of field of the projector or camera, if the object is out of the depth of field, the pattern of the project object in the projector may be blurred, and the image captured by the camera may also be blurred. . Therefore, if the blur radius can be predicted, the focusing function can be used to obtain a clear image.

이뿐만 아니라 물체의 깊이정보(Depth) 또는 형태정보(Shape)와 흐림 반경 정보의 관계를 사용하여 물체의 3D정보를 얻을 수 있다. In addition, 3D information of the object may be obtained by using the relationship between the depth information or the shape information and the blur radius information of the object.

예를 들어, 하나의 카메라를 이용하여 물체를 여러 각도로 촬영하는 경우, 각도에 따라 다르게 영상의 흐림이 생성될 수 있고 이러한 흐림에 관한 정보값을 사용하여 물체의 형태와 깊이를 예측하여 물체의 3D 이미지를 생성할 수 있다. For example, when shooting an object at various angles using a single camera, a blur of an image may be generated according to the angle, and the information and the information about the blur are used to predict the shape and depth of the object to 3D images can be generated.

도 4은 영상의 경계를 표현하기 위해 모델링 함수로 사용한 스텝함수(a)와 가우시안 블러커널(Gaussian Blur Kernel)을 이용하여 영상의 흐려진 윤곽(Blurred Edge)을 나타낸 함수(b)를 나타낸다. 상기 수학식 1과 동일하게 블러커널, 즉 점확산함수(PSF, Point Spread Function)로 가우시안 함수를 사용하면 영상의 흐려진 윤곽(Blurred Edge)를 표현하는 함수는 가우시안 함수와 스텝함수(a)의 콘볼루션값인 수학식 4와 같이 표현할 수 있다. FIG. 4 shows a function (b) representing a blurred edge of an image using a step function a and a Gaussian Blur Kernel used as a modeling function to express the boundary of the image. As shown in Equation 1, when a Gaussian function is used as a blur kernel, that is, a point spread function (PSF), a function representing a blurred edge of an image is a cone ball of a Gaussian function and a step function (a). It can be expressed as equation (4), which is a value of lusion.

여기서,

는 영상의 흐려진 윤곽(Blurred Edge)를 표현하는 함수에서 영상이 가진 최소 Intensity값을 나타내고,

는 영상의 흐려진 윤곽(Blurred Edge)를 표현하는 함수에서 영상이 가진 최대 Intensity값을 나타낸다. 또한,

는 영상의 흐려진 윤곽(Blurred Edge)의 중심을 나타내는 파라미터,

는 흐려진 영상의 흐림반경(Blur Radius)를 나타내는 파라미터이다.here,

Represents the minimum intensity value of the image in the function that represents the blurred edge of the image,

Represents the maximum intensity value of an image in a function that represents a blurred edge of the image. Also,

Is a parameter representing the center of the blurred edge of the image,

Is a parameter representing Blur Radius of a blurred image.

상기 수학식 4의 형태는 오차함수(erf, Error Function)의 형태와 동일하게 표현할 수 있는 데 수학식 5는 수학식 4에서 가우시안 함수의 형태로 표현된 영상의 흐려진 윤곽(Blurred Edge)을 오차함수(erf, Error Function)의 형태로 나타낸 것이다. The Equation 4 may be expressed in the same manner as the error function (erf, Error Function), and Equation 5 is an error function for the blurred edge of the image expressed as a Gaussian function in Equation 4. It is shown in the form of (erf, Error Function).

수학식 5를 간단히 표현하면 수학식 6과 같은 형태를 가질 수 있다. If Equation 5 is simply expressed, it may have the form as Equation 6.

수학식 6에서 볼 수 있듯이 오차함수는 미지수로

,

값을 포함하고 있다.

와

는 각각 영상의 흐려진 윤곽(Blurred Edge)를 표현하는 함수의 Y축 값인 픽셀에 따른 색의 Intensity값을 나타내는 파라미터로 수학식 4의 변수인

,

로 표현될 수 있다.

는 흐려진 영상의 흐림반경(Blur Radius)를 나타내는 파라미터이다. 수학식 6을 그래프의 형태로 표현하면 도 5와 같은 형태로 표현할 수 있다. 도 5에서 확인 할 수 있듯이 오차함수 역시 블러 커널로 가우시안 블러커널(Gaussian Blur Kernel)을 이용하여 영상의 흐려진 윤곽(Blurred Edge)을 나타낸 그래프(도 4의 b)와 유사한 형태를 가진다.As you can see from Equation 6, the error function is unknown

,

Contains a value.

Wow

Is a parameter representing the intensity value of color according to the pixel, which is the Y-axis value of the function representing the blurred edge of the image.

,

It can be expressed as.

Is a parameter representing the center of the blurred edge of the image,

Is a parameter representing Blur Radius of a blurred image. If Equation 6 is expressed in the form of a graph, it may be expressed as shown in FIG. 5. As can be seen in FIG. 5, the error function also has a form similar to that of a graph showing a blurred edge of an image using a Gaussian Blur Kernel as a blur kernel (b of FIG. 4).

본 발명의 일실시예에 따르면 수학식 6과 같이 오차함수(erf, Error Function)의 형태로 모델링한 영상의 흐려진 윤곽(Blurred Edge)을 실제의 흐려진 영상이 가진 데이터값과 비교하여 수평적 맞춤방법(Horizontal Fitting)과 수직적 맞춤방법(Vertical Fitting)을 사용하여 영상의 흐림반경(Blur Radius)을 구하는 것이다. 수평적 맞춤방법과 수직적 맞춤방법은 예를 들어 실제 영상의 윤곽 데이터와 오차함수(erf, Error Function)의 형태로 모델링한 영상의 흐려진 윤곽(Blurred Edge)사이에 존재하는 오차의 평균자승오차(Mean Square Error, 이하 'MSE'라 함)값을 최소화하는 방법을 사용할 수 있다. 여기서, MSE값외의 예측값과 실제값과의 차이를 사용하는 함수는 MMSE(Mimimum Mean Square Error), 평균절대편차(MAD, Mean absolute deviation), 평균절대백분비오차(MAPE, Mean absolute percentage error) 가 사용될 수도 있다.According to an exemplary embodiment of the present invention, a horizontal alignment method is performed by comparing a blurred edge of an image modeled in the form of an error function (erf, error function) as shown in Equation 6 with data values of an actual blurred image. It is to find Blur Radius of image using (Horizontal Fitting) and Vertical Fitting. The horizontal and vertical alignment methods mean, for example, the mean square error of the error between the contour data of the actual image and the blurred edge of the image modeled in the form of an error function (erf, error function). A method of minimizing the Square Error (hereinafter, referred to as 'MSE') may be used. Here, the functions using the difference between the predicted value and the actual value other than the MSE value are used as the mean mean square error (MMSE), mean absolute deviation (MAD), and mean absolute percentage error (MAPE). It may be.

1. 수평적 맞춤방법(Horizontal Fitting)1.Horizontal Fitting

도 6는 영상의 흐림반경(Blur Radius)을 구하기 위해 사용되는 수평적 맞춤방법(Horizontal Fitting)을 그래프를 통해 나타낸 것이다. 실선으로 표시된 그래프(Blurred edge)은 실제의 영상으로부터 얻어낸 데이터를 통해 표현한 함수이다. 점선으로 표시된 그래프(Erf based fitting model)은 도 5에서 나타낸 영상의 흐려진 윤곽(Blurred Edge)를 표현하는 함수를 오차함수(erf, Error Function)의 형태로 나타낸 것과 동일한 그래프이다. 수학식 6을 Intensity값에 따른 픽셀의 위치함수로 변화하여 표현하면 수학식 7과 같이 표현 할 수 있다. FIG. 6 is a graph illustrating a horizontal fitting method used to obtain a blur radius of an image through a graph. The blurred edge is a function expressed through data obtained from an actual image. The graph based on the dotted line (Erf based fitting model) is the same graph as the function representing the blurred edge of the image shown in Figure 5 in the form of an error function (erf, Error Function). If Equation 6 is changed to the pixel position function according to the intensity value, Equation 6 can be expressed as Equation 7.

수학식 7에서

는 오차함수의 역함수로 정의한다. 수학식 7에서 포함된 파라미터값인

와

는 수학식 4에서 수학식 5로 변환하는 과정에서 유추하면 수학식 8의 형태로 추정할 수 있다. In equation (7)

Is defined as the inverse of the error function. The parameter value included in equation (7)

Wow

Inferring in the process of converting from Equation 4 to Equation 5 can be estimated in the form of Equation 8.

본 발명의 일실시예에 따르면

와

를 추정함에 있어서, 흐림반경(Blur Radius)을 측정하기 위한 종래의 방법인 Elder의 방법이나 Hu의 방법과 달리 실제영상의 입력데이타를 활용하여

와

의 추정치를 결정한다. 즉, 수학식 5에서 수학식 6으로 변환과정을 보면 알 수 있듯이 수학식 5에서 표현된

는 영상의 흐려진 윤곽(Blurred Edge)를 표현하는 함수에서 흐려진 영상이 가진 최소 Intensity값을 나타내고

는 영상의 흐려진 윤곽(Blurred Edge)를 표현하는 함수에서 흐려진 영상이 가진 최대 Intensity값을 나타낸다. 따라서 새롭게 수학식 6에서 표현된

와

는 임의로 추정하는 수가 아니라 수학식 8과 같이 일정한 범위로 좁혀서 추정하기 때문에 처음에 임의로 선택한 영상의 흐림반경의 추정치에 의해 흐림반경의 정확도가 크게 변하는 Elder의 방법이나 Hu의 방법보다 정확하게 영상의 흐림반경을 예측할 수 있다. According to an embodiment of the present invention

Wow

In estimating, unlike Elder's method or Hu's method, which is a conventional method for measuring Blur Radius,

Wow

Determine the estimate of. That is, as can be seen from the conversion process from Equation 5 to Equation 6,

Represents the minimum intensity value of the blurred image in the function that represents the blurred edge of the image.

Represents the maximum intensity value of the blurred image in the function representing the blurred edge of the image. Therefore, newly expressed in equation (6)

Wow

Since is estimated by narrowing it to a certain range as shown in Equation 8, the accuracy of the blur radius is largely changed by Elder's or Hu's method. Can be predicted.

수학식 8에서 예측한

와

값을 이용해 영상의 흐려진 윤곽(Blurred Edge)을 오차함수(erf, Error Function)의 형태로 모델링한 함수와 실제의 흐려진 영상이 가진 데이터값의 수평적 값의 차이- 즉 같은 Intensity값을 가지는 픽셀의 위치값의 차이-를 이용하면 수학식 9를 통해 MSE(Mean Square Error)값을 알 수 있다. Predicted in equation (8)

Wow

Difference between the horizontal value of the data value of the function that modeled the blurred edge of the image in the form of an error function (erf, Error function) and the actual blurred image using the value-that is, the pixel of the same intensity value Using the difference of the position value, the mean square error (MSE) value can be known through Equation (9).

영상의 흐려진 윤곽을 표현하는 함수와 실제 데이터 값 사이의 오차를 표현하는 값인 MSE(Mean Square Error)를 작게 하기 위해서는 수학식10을 만족하여야 한다. In order to reduce MSE (Mean Square Error), which is a value representing an error between a function representing a blurred outline of an image and an actual data value, Equation 10 must be satisfied.

수학식 10을 전개하면 수학식 11과 같이 표현할 수 있고 Expanding Equation 10 can be expressed as Equation 11.

수학식 11을

,

에 대하여 정리하면 수학식 12와 같다. Equation 11

,

When summarized as in Equation 12.

결과적으로 수학식 12는 수학식 8에서 예측한

와

값에 기초해 예측된

,

값이다. As a result, equation (12) predicted from equation (8).

Wow

Predicted based on value

,

Value.

수평적 맞춤방법에서 사용되는 수평방향은 제 1방향으로 표현될 수 있으며, 본 발명의 실시예에 따르면 영상의 흐림반경을 추정함에 있어 수평적으로 맞추는 방향에 한정되지 않는다. 또 다른 수학적 보간방법을 이용하여 제공된 영상의 흐려진 정도를 나타내는 함수와 오차함수간의 차이를 줄일 수 있다. 따라서 수평적 방향이 아닌 다른 방향을 활용하여 상기 두 함수간의 오차를 줄일 수 있다.The horizontal direction used in the horizontal alignment method may be represented by the first direction, and according to an embodiment of the present invention, the horizontal direction used in estimating the blur radius of the image is not limited to the horizontal alignment direction. Another mathematical interpolation method can be used to reduce the difference between the function representing the blurred degree of the provided image and the error function. Therefore, the error between the two functions can be reduced by using a direction other than the horizontal direction.

2. 수직적 맞춤방법(Vertical Fitting)2. Vertical Fitting

도 7은 수직적 맞춤방법(Vertical Fitting)을 나타낸 그래프이다. 실선으로 표시된 그래프(Blurred Edge)은 실제의 영상으로부터 얻어낸 데이터를 통해 표현한 함수이다. 점선으로 표시된 그래프(Erf based fitting model)은 영상의 흐려진 윤곽(Blurred Edge)를 표현하는 함수를 오차함수(erf, Error Function)의 형태로 나타낸 그래프이다. 수직적 맞춤방법은 수평적 맞춤방법과 반대로 수평적 맞춤방법에의해 얻어진

,

값을 이용하여

와

값을 다시 한번 도출하여 좀 더 정확하게 영상의 흐림반경(Blur Radius)을 얻어내기 위한 방법이다. 수평적 맞춤방법과 마찬가지로 수직적 맞춤방법도 오차함수(erf, Error Function)의 형태로 모델링한 영상의 흐려진 윤곽(Blurred Edge)를 표현하는 함수와 실제의 흐려진 영상이 가진 데이터값의 수직적 값의 차이, 즉 같은 픽셀의 위치에서 영상이 가진 Intensity값과 영상의 흐려진 윤곽(Blurred Edge)를 표현하는 함수의 Intensity값의 오차가 최대한 작아지도록 하는 방법이다. 수학식 13은 영상이 가진 데이터와 영상의 흐려진 윤곽(Blurred Edge)를 표현하는 함수사이의 수직적 차이를 MSE(Mean Square Error)로 나타낸 것이다. 7 is a graph illustrating a vertical fitting method. The solid edge graph is a function expressed through data obtained from an actual image. The graph based on the dotted line (Erf based fitting model) is a graph showing a function representing the blurred edge of the image in the form of an error function (erf). The vertical alignment method is obtained by the horizontal alignment method as opposed to the horizontal alignment method.

,

Using the value

Wow

It is a method to obtain Blur Radius of image more accurately by deriving the value once again. Like the horizontal fitting method, the vertical fitting method is a function that represents the blurred edge of the image modeled in the form of an error function (erf, error function), and the difference between the vertical values of the data values of the actual blurred image, In other words, the error between the intensity value of the image at the same pixel position and the intensity value of a function representing the blurred edge of the image is minimized. Equation 13 shows the vertical difference between the data of the image and a function representing a blurred edge of the image as a mean square error (MSE).

수학식 13에 나타난 MSE를 최소화 하기 위해서는 수학식 14를 만족해야 한다. To minimize the MSE shown in Equation 13, Equation 14 must be satisfied.

수학식 14를 전개하면 수학식 15와 같이 표현할 수 있다.If Equation 14 is expanded, it can be expressed as Equation 15.

수학식 15를

와

값으로 정리하면 수학식 16과 같이 표현된다. Equation 15

Wow

When summarized as a value, it is expressed as Equation 16.

즉, 수직적 맞춤방법(Vertical Fitting)은 수평적 맞춤방법에의해 얻어진

,

값을 이용하여

와

값을 다시 한번 정확한 값으로 보간하는 절차이다. That is, the vertical fitting method is obtained by the horizontal fitting method.

,

Using the value

Wow

This is the process of interpolating the value to the correct value once again.

수직적 맞춤방법을 이용하여 얻어낸

와

값을 이용해 다시 수평적 맞춤방법을 한다면 좀 더 정확한

,

값을 얻어낼 수 있고 이러한 절차를 반복하면서 영상의 흐림반경(

, Blur Radius)값이 점차 수렴한다. 도 8은 수직적 맞춤절차와 수평적 맞춤절차를 반복(Iteration)하면서 얻어낸 영상의 흐림반경(

, Blur Radius)값이 점차 수렴하는 모습을 나타낸 것이다. Obtained by using the vertical alignment

Wow

If you do horizontal alignment again with values,

,

You can get the value and repeat this procedure

, Blur Radius) gradually converges. 8 is a blur radius of an image obtained by iterating the vertical alignment procedure and the horizontal alignment procedure.

In other words, Blur Radius values gradually converge.

수평적 맞춤방법과 마찬가지로 수직적 맞춤방법에서 사용되는 수직방향은 제 2방향으로 표현될 수 있으며, 본 발명의 실시예에 따르면 영상의 흐림반경을 추정함에 있어 수직적으로 맞추는 방향에 한정되지 않는다. 또 다른 수학적 보간방법을 이용하여 제공된 영상의 흐려진 정도를 나타내는 함수와 오차함수간의 차이를 줄일 수 있다. 따라서 수직적 방향이 아닌 다른 방향을 활용하여 상기 두 함수간의 오차를 줄일 수 있다.Like the horizontal alignment method, the vertical direction used in the vertical alignment method may be represented by a second direction, and according to an embodiment of the present invention, the vertical direction is not limited to the vertical alignment direction when estimating the blur radius of the image. Another mathematical interpolation method can be used to reduce the difference between the function representing the blurred degree of the provided image and the error function. Therefore, the error between the two functions can be reduced by using a direction other than the vertical direction.

도 8은 본 발명의 일실시예에 따른 수직적 맞춤절차와 수평적 맞춤절차를 이용하여 영상의 흐림반경을 추정하는 방법과 종래의 영상의 흐림반경을 추정하는 기술들인 Elder의 방법, Hu의 방법을 비교하여 나타낸 것이다. 오른쪽으로 갈수록 경계가 흐려지는 그림(a)은 각 방법을 사용하였을 때 영상의 흐림반경을 추정하는 정확도를 비교하기 위한 그림이다. 그림(a)은 영상의 흐림반경(

, Blur Radius)값으로 왼쪽에 표현된 가장 명확한 영상의 윤곽은 흐림반경이 0이다. 오른쪽으로 갈수록 흐림반경이 커져서 가장 흐려진 윤곽은 흐림반경값으로 10을 가진다. 그래프(b), 그래프(c)은 그림(a)을 이용해 Elder의 방법(Estimated by Elder's method), Hu의 방법(Estimated by Hu's method) 그리고 본 발명의 일실시예에 따른 방법(Estimated blur radii)을 사용하여 영상의 흐림반경 추정의 정확도를 비교하여 볼 수 있도록 나타낸 그래프이다. 그래프(b)를 보면 알 수 있듯이 Hu의 방법은

값을 잘못 선택하면 흐림반경값은 정확한 추정치를 가지지 못한다. 또한 영상의 흐림정도가 심한경우 Hu의 방법을 사용하기 위한 전제조건인

을 만족하기 힘들어 그래프(Estimated by Hu's method)에서 확인할 수 있듯이 흐림반경이 커질수록 흐림반경의 실제값과 예측치는 점점 오차가 커짐을 알 수 있다. Elder의 방법(Estimated by Elder's method)은 영상의 흐림반경이 증가하는 것은 예측하나 흐림반경의 변화가 크지 않은 경우 같은 흐림반경을 가지는 것으로 예측하여 그래프의 형태가 계단과 같은 형태를 가지고 정확한 흐림반경값을 예측하지 못한다. 8 illustrates a method of estimating a blur radius of an image using a vertical alignment procedure and a horizontal alignment procedure, an Elder method and a method of Hu, which are techniques for estimating a blur radius of a conventional image, according to an embodiment of the present invention. The comparison is shown. Figure (a), which blurs the boundary toward the right side, is a figure for comparing the accuracy of estimating the blur radius of the image using each method. Figure (a) shows the blurring radius of the image

The sharpest image outlined on the left with a Blur Radius value has a blur radius of zero. The blurring radius increases toward the right, so the blurring outline has a blurring radius of 10. Graph (b) and graph (c) are Elder's method (Estimated by Elder's method), Hu's method (Estimated by Hu's method) and Fig. (Estimated blur radii) according to an embodiment of the present invention. This graph is used to compare and compare the accuracy of image blur radius estimation using. As you can see from the graph (b), Hu's method

If you choose the wrong value, the blur radius will not have an accurate estimate. Also, if the blurring of the image is severe, the precondition for using Hu's method is

As it can be seen from the graph (Estimated by Hu's method), as the blur radius increases, the actual value and the predicted value of the blur radius gradually increase. Elder's method (Estimated by Elder's method) predicts that the blurring radius of an image increases, but predicts that the blurring radius is not large enough to have the same blurring radius. Does not predict.

그래프(Estimated blur radii)은 본 발명의 일실시예에 따른 수직적 맞춤방법과 수평적 맞춤방법을 사용하여 영상의 흐림반경을 추정한 것이다. 종래의 영상의 흐림반경추정방법인 Elder의 방법(Estimated by Elder's method)과 Hu의 방법(Estimated by Hu's method)과 달리 영상의 흐림반경이 증가함에 따라 흐림반경의 예측치 또한 거의 실제의 흐림반경값과 유사하게 추정할 수 있다. 즉, 본 발명의 일실시예에 따르면, 종래에 사용되었던 영상의 흐림반경을 예측하는 방법보다 흐림반경을 더 정확하게 예측할 수 있고 영상의 미세한 흐림반경의 변화 역시 더 정확하게 감지할 수 있다. An estimated blur radii estimates a blur radius of an image using a vertical alignment method and a horizontal alignment method according to an embodiment of the present invention. Unlike Elder's (Estimated by Elder's method) and Hu's (Estimated by Hu's method) methods of estimating the blur radius of a conventional image, as the blur radius of an image increases, the predicted value of the blur radius is almost the same as the actual blur radius value. Similar estimation can be made. That is, according to an embodiment of the present invention, the blur radius can be predicted more accurately than the conventional method of predicting the blur radius of the image, and the change of the fine blur radius of the image can be detected more accurately.

실제의 영상을 복원하기 위해서는 영상의 흐림반경뿐만 아니라 영상을 흐려지게 하는 다른 원인인 영상의 Noise에 대해서도 알수 있어야 한다. 영상의 Noise는 감광판에 의해서 발생하기도 하고 기기내의 과열, 디지털카메라의 경우 영상의 압축과 복원과정에서도 생길 수 있다. 영상에 노이즈가 있다면 영상이 가진 흐림반경의 정확한 값 예측하는 것이 노이즈에 의해 방해받을 수 있다. 따라서 영상의 흐림반경을 추정하는 방법은 영상에 존재하는 Noise에 강한 특성을 가져야 한다. In order to restore the actual image, it is necessary to know not only the blur radius of the image but also the noise of the image, which is another cause of blurring the image. The noise of the image may be generated by the photosensitive plate. In addition, overheating in the device may occur in the process of compressing and restoring the image. If there is noise in the image, predicting the exact value of the blur radius of the image may be disturbed by the noise. Therefore, the method of estimating the blur radius of an image should have a strong characteristic against noise present in the image.

도 9a, 9b, 9c, 9d는 영상에 가우시안 노이즈(Gaussian Noise)를 0.5%(도 9a), 1%(도 9b), 2%(도 9c), 3%(도 9d)씩 점차적으로 부과한 후, Elder의 방법과 Hu의 방법, 그리고 본 발명의 일실시예에 따른 수직적 맞춤방법과 수평적 맞춤방법을 사용하여 영상의 흐림반경을 추정한 것을 비교한 그래프이다. 9A, 9B, 9C, and 9D gradually add Gaussian Noise to an image by 0.5% (FIG. 9A), 1% (FIG. 9B), 2% (FIG. 9C), and 3% (FIG. 9D). Afterwards, it is a graph comparing Elder's method and Hu's method, and estimating a blur radius of an image using a vertical alignment method and a horizontal alignment method according to an embodiment of the present invention.

도 9a, 9b, 9c, 9d의 그래프(b)는 Hu의 방법과 Elder의 방법을 사용하여 가우시안 노이즈가 0.5%에서 3%로 점차 증가함에 따라 영상의 흐림반경을 추정하는 것을 나타낸 그래프이다. 그래프에서 확인 할 수 있듯이 Hu의 방법은 영상의 흐림반경을 추정함에 있어 Noise에 약한 특성을 가진다. 가우시안 노이즈가 작을 때는 조금씩이라도 흐림반경 추정값이 증가하는 모습을 확인할 수 있지만 가우시안노이즈의 정도가 증가할수록 영상의 흐림반경값을 전혀 추정하지 못함을 볼 수 있다. 9A, 9B, 9C, and 9D are graphs of estimating blur radius of an image as the Gaussian noise gradually increases from 0.5% to 3% using Hu's method and Elder's method. As can be seen from the graph, Hu's method is weak in noise in estimating the blur radius of the image. When the Gaussian noise is small, it can be seen that the blur radius estimation value increases little by little, but as the degree of Gaussian noise increases, the blur radius value of the image cannot be estimated at all.

Elder의 방법은 영상의 흐림반경이 작을 때에는 가우시안 노이즈에 강한 특성을 보이지만 영상의 흐림반경이 커질수록 가우시안 노이즈의 영향을 많이 받아 영상의 흐림반경을 예측한 수치의 오차가 점점 커짐을 확인 할 수 있다. 또한 가우시안 노이즈가 많아 질수록 추정치가 발산하는 모습을 가지면서 영상의 흐림반경추정치의 오차가 커지는 모습을 보인다. Elder's method shows a strong characteristic to Gaussian noise when the blur radius of the image is small, but as the blur radius of the image increases, the error of numerical value that predicts the blur radius of the image becomes larger due to the influence of Gaussian noise. . In addition, as the Gaussian noise increases, the estimation value diverges, and the error of the blur radius estimation value of the image increases.

도 9a, 9b, 9c, 9d의 그래프(a)는 본 발명의 일실시예에 따른 방법을 사용하여 가우시안 노이즈 변화에 따른 영상의 흐림반경예측 정도를 나타낸 그래프이다. 본 발명 역시 가우시안 노이즈의 영향을 받기는 하지만 오차의 정도는 Hu의 방법과 Elder의 방법에 비하여 그 영향을 받는 정도가 상당히 감소함을 확인할 수 있다. 즉, 본 발명은 실제의 영상에 노이즈가 있을 때에도 기존의 방법들과 비교하여 정확하게 흐림반경을 예측함으로써 노이즈에 강한 특성을 가진다. 9A, 9B, 9C, and 9D are graphs showing a blur radius prediction degree of an image according to a change of Gaussian noise using a method according to an exemplary embodiment of the present invention. Although the present invention is also affected by Gaussian noise, the degree of error is significantly reduced compared to Hu's and Elder's. That is, the present invention has a strong characteristic against noise by accurately predicting a blur radius even when there is noise in an actual image compared with existing methods.

도 10은 본 발명의 일실시예에 따른 수직적 맞춤방법과 수평적 맞춤방법을 사용하여 영상의 흐림반경 추정치를 이용하여 흐려진 영상을 보정하는 방법을 나타내는 순서도이다. FIG. 10 is a flowchart illustrating a method of correcting a blurred image by using an image blur radius estimate using a vertical alignment method and a horizontal alignment method according to an embodiment of the present invention.

도 10을 참조하면, 실제 사물의 이미지나 영상을 영상신호형태로 변환한 영상데이타를 제공받는다(단계 1000). 제공받은 영상데이타값을 분석하여 제공받은 영상의 흐림정도를 예측하기 위해 사용되는 영상의 흐려진 윤곽(Blurred Edge)를 표현하기 위하여 오차함수(erf, Error Function)의 형태로 모델링한 함수에 포함되는 미지수 값인

와

값을 수학식 8을 이용해 예측한다(단계 1010). 예측된

와

값을 기초로 수학식 12를 이용해

,

값을 예측한다(단계 1020). 예측된

,

값을 기초로

와

값을 수학식 16을 이용해 예측한다(단계 1030). 단계 1020, 1030, 1040을 다시 반복해서 새로운

(Blur Radius, 흐림반경)값을 얻어낼 것인지를 판단한다(단계 1040). 단계 1020, 1030, 1040을 다시 반복하여 새로운

(Blur Radius, 흐림반경)값을 얻어낼 경우 단계 1020으로 돌아가 다시

,

값을 추정하는 절차를 실시하고, 다시 반복하지 않을 경우 마지막

값을 이용해 영상의 흐림을 제거한다(단계 1050). Referring to FIG. 10, an image data obtained by converting an image or an image of an actual object into an image signal form is provided (step 1000). Unknown parameter included in a function modeled in the form of an error function (erf, error function) to express the blurred edge of the image used to analyze the received image data value and predict the blurring degree of the received image. Value

Wow

The value is predicted using Equation 8 (step 1010). Predicted

Wow

Based on the value

,

Predict the value (step 1020). Predicted

,

Based on the value

Wow

The value is predicted using Equation 16 (step 1030). Repeat steps 1020, 1030, and 1040 again for new

It is determined whether to obtain a (Blur Radius) value (step 1040). Repeat steps 1020, 1030, and 1040 again to get new

If you get a value for Blur Radius, go back to step 1020

,

If you do not repeat the procedure,

The blur is removed using the value (step 1050).

도 11은 본 발명의 다른 실시예에 따른 수직적 맞춤방법과 수평적 맞춤방법을 사용하여 영상의 흐림반경을 추정한 값을 이용해 영상을 보정하는 방법을 나타내는 순서도이다. FIG. 11 is a flowchart illustrating a method of correcting an image using an estimated value of a blur radius of an image using a vertical alignment method and a horizontal alignment method according to another embodiment of the present invention.

도 11을 참조하면, 도 10과 달리 영상을 제공받는 단계(1101)과 영상의 윤곽의 흐린 정도를 모델링한 오차함수(Erf)의

,

값을 수학식 8을 이용해 예측하는 단계(1109)사이에 추가적인 단계가 포함될 수 있다. Referring to FIG. 11, unlike FIG. 10, the step 1101 of receiving an image and the error function Erf modeling the blurring degree of the outline of the image are provided.

,

An additional step may be included between the steps 1109 of predicting the value using Equation (8).

단계 1101을 통해 제공받은 영상은 사용자의 선택에 따라 영상의 보정여부를 결정할 수 있고 또한 사용자의 선택에 의해 영상을 보정할 수 있는 장치에 의해 자동적으로 영상의 흐림정도가 판단되어 보정을 할 수 있다. 사용자는 사용자인터페이스와 같은 입력수단을 이용해 영상을 보정할 정도를 선택할 수 있다(단계 1103). 단계 1103에서 사용자는 보정할 정도를 선택함으로써 결정된 사용자의 보정요구정도에 따라 도 10과 동일한 영상보정 절차인 단계 1109, 1111, 1113 절차의 반복의 횟수를 달리 할 수 있어 흐림반경값을 추정함에 있어 정확도를 달리할 수 있다. 또한 제공받은 영상의 흐림정도를 판단하여 자동적으로 영상보정장치에서 영상보정정도를 선택할 수 있다. The image provided through step 1101 may determine whether or not to correct the image according to the user's selection, and may determine the blurring degree of the image automatically by a device capable of correcting the image by the user's selection. . The user may select a degree to correct an image by using an input means such as a user interface (step 1103). In step 1103, the user may vary the number of repetitions of steps 1109, 1111, and 1113, which are the same as the image correction procedures of FIG. 10, according to the degree of correction demand of the user determined by selecting the degree of correction. The accuracy can vary. In addition, by determining the degree of blur of the received image, the image correction device can automatically select the image correction degree.

단계 1103를 통해 흐려진 영상의 보정정도를 선택함에 있어 사용자가 영상보정을 원하지 않는 경우 바로 영상을 출력할 수 있다(단계 1105, 단계 1121)In selecting the correction degree of the blurred image through step 1103, if the user does not want to correct the image, the image may be output immediately (step 1105 and step 1121).

또한 단계 1103의 사용자의 영상보정 요구정도 또는 영상보정장치에 의해 판단된 영상의 흐림정도에 따라 제공받은 영상데이타에서 윤곽추출(Edge Detection)의 정도를 달리 하여 흐림이 많이 발생한 영상은 윤곽추출을 많이 하여 영상의 위치에 따라 달라질 수 있는 영상의 흐림반경 추정치를 더욱 정확히 판단할 수 있도록 할 수 있다. (단계 1107)In addition, according to the degree of image correction required by the user in step 1103 or the degree of blur of the image determined by the image correcting apparatus, the degree of edge detection is different from the image data provided, and thus the image having a lot of blur is extracted. In this case, it is possible to more accurately determine the blur radius estimate of the image, which may vary depending on the position of the image. (Step 1107)

단계 1107 후 흐려진 영상의 윤곽에 대한 정보에 기초해 상기 도 10에서와 동일한 절차를 반복하여

,

값을 추정한다 (단계 1109, 1111, 1113). 단계 1103를 통해 선택된 보정의 정도에 따라 단계 1109, 1111, 1113를 반복하는 횟수를 달리하기 때문에 사용자가 선택한 보정정도에 따라, 단계 1109, 1111, 1113를 반복하는 횟수를 만족하였는지를 판단한다(단계 1115). 단계 1115을 통해 단계 1109, 1111, 1113를 반복하는 횟수가 만족된 경우 단계 1109, 1111, 1113를 반복함에 따라 도출된 영상의 흐림반경값(

)이 수렴하는지 여부와 수렴의 정도를 판단해 영상의 흐림반경의 정확도를 추정할 수 있다. 만약에 흐림반경값(

)이 수렴하지 않는 경우 영상데이터에서 윤곽추출(Edge Detection)절차를 다시 실시해 올바른 흐림반경값을 구할 수 있도록 한다(단계 1117). After step 1107, the same procedure as in FIG. 10 is repeated based on the information on the outline of the blurred image.

,

Values are estimated (

steps

1109, 1111, 1113). Since the number of

steps

1109, 1111, 1113 is repeated according to the degree of correction selected in step 1103, it is determined whether the number of

steps

1109, 1111, 1113 is satisfied according to the degree of correction selected by the user (step 1115). ). If the number of

steps

1109, 1111, 1113 is satisfied through step 1115, the blur radius value of the image derived by repeating

steps

1109, 1111, 1113 (

) Can estimate the accuracy of the blurring radius of the image by judging whether or not the convergence occurs and the degree of convergence. If the blur radius (

) Does not converge, the edge detection procedure is again performed on the image data to obtain a correct blur radius value (step 1117).

단계 1117의 판단을 통해 흐림반경값(

)이 수렴하는 경우, 수렴된 흐림반경값을 이용해 흐려진 영상을 보정할 수 있다(단계 1119). 영상촬영장치에 영상을 표시할 수 있는 화면표시장치가 있을 때 화면표시장치를 통해 보정된 영상을 출력하여 사용자가 보정된 영상을 확인 할 수 있다(단계 1121).In step 1117, the blur radius value (

) Converges, the blurred image may be corrected using the converged blur radius value (step 1119). When there is a screen display device capable of displaying an image on the image photographing apparatus, the user may check the corrected image by outputting the corrected image through the screen display apparatus (step 1121).

도 12는 본 발명의 일실시예에 따른 흐려진 영상의 흐림반경을 추정하여 흐려진 영상을 보정하는 장치를 나타낸 블록도이다. 12 is a block diagram illustrating an apparatus for correcting a blurred image by estimating a blur radius of the blurred image according to an embodiment of the present invention.

도 12를 참조하면, 흐려진 영상을 보정하는 장치는 제어부(1210), 영상제공부(1220), 흐림반경추정부(1230), 흐림제거부(1240), 영상출력부(1250), 및 사용자인터페이스(1260)를 포함할 수 있다. Referring to FIG. 12, an apparatus for correcting a blurred image includes a controller 1210, an image provider 1220, a blur radius correction unit 1230, a blur remover 1240, an image output unit 1250, and a user interface ( 1260).

영상제공부(1220)은 영상을 보정하는 장치의 외부에 존재하는 실제의 사물들로부터 광학적 신호인 영상을 제공받고 제공된 영상을 영상을 보정하는 장치가 처리할 수 있는 영상신호의 형태로 변환할 수 있다. 영상제공부(1220)는 예를 들어 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서 또는 CCD(Charge Coupled Device) 센서로 구현될 수 있다.The image providing unit 1220 may receive an image, which is an optical signal, from an actual object existing outside the apparatus for correcting the image, and convert the provided image into a form of an image signal that can be processed by the apparatus for correcting the image. . The image provider 1220 may be implemented by, for example, a complementary metal oxide semiconductor (CMOS) image sensor or a charge coupled device (CCD) sensor.

흐림반경추정부(1230)은 영상제공부(1220)로부터 받은 영상에 대한 정보를 이용해 영상의 흐림반경을 추정할 수 있다. 흐림반경추정부(1230)에서는 본 발명의 일실시예에 따른 수직적 맞춤방법 및 수평적 맞춤방법을 사용하여 영상의 흐림반경을 추정할 수 있다. 또한 흐림반경추정부(1230)에서 영상의 윤곽추출(Edge Detection)을 할 수도 있다. The blur radius estimation unit 1230 may estimate the blur radius of the image by using information about the image received from the image provider 1220. In the blur radius estimation unit 1230, the blur radius of the image may be estimated using the vertical alignment method and the horizontal alignment method according to an embodiment of the present invention. In addition, an edge detection of the image may be performed by the blur radius estimation unit 1230.

흐림제거부(1240)은 도 12에서는 흐림반경추정부(1230)와 별개의 블록으로 도시하였으나 흐림반경추정부(1230)과 함께 동일한 블록내에서 구현될 수도 있다. 흐림제거부(1240)는 흐림반경추정부(1230)에 의해 추정된 영상의 흐림반경을 이용해 영상에 존재하는 흐림을 제거할 수 있다. In FIG. 12, the blur removing unit 1240 is illustrated as a separate block from the blur radius estimation unit 1230, but may be implemented in the same block together with the blur radius estimation unit 1230. The blur remover 1240 may remove the blur present in the image by using the blur radius of the image estimated by the blur radius estimate 1230.

영상출력부(1250)는 흐림이 제거된 영상을 출력하거나 사용자가 영상에 존재하는 흐림을 제거하기를 원하지 않는 경우 영상제공부에서 제공된 영상을 영상보정장치의 사용자가 시각정보로 확인할 수 있도록 할 수 있다. The image output unit 1250 may output the image from which the blur is removed or may allow the user of the image correction apparatus to check the image provided by the image providing unit as visual information when the user does not want to remove the blur existing in the image. .

사용자인터페이스(1260)은 사용자가 보정여부나 보정의 정도를 결정하는데 활용 될 수 있고 사용자가 영상에 대한 정보를 입력할 수 있다. 또한 영상보정장치의 기계적인 조작을 할 수 있으며 기타 영상을 처리하는데 필요한 제어를 사용자가 할 수 있도록 하는 것이 바람직하다. The user interface 1260 may be used by the user to determine whether or not to correct or the degree of correction, and the user may input information about the image. In addition, it is desirable to allow the user to perform the mechanical manipulation of the image correction apparatus and control necessary for processing other images.

제어부(1210)는 영상제공부(1220), 흐림반경추정부(1230), 흐림제거부(1240), 영상출력부(1250), 사용자인터페이스(1260)를 통해 입출력되는 정보를 활용하여 영상보정장치의 작동을 제어할 수 있다. The controller 1210 utilizes information inputted and outputted through the image providing unit 1220, the blurring radius estimation unit 1230, the blur removing unit 1240, the image output unit 1250, and the user interface 1260 of the image correction apparatus. The operation can be controlled.

상기에서는 수평적 맞춤방법을 먼저 적용한 후 수직적 맞춤방법을 적용하는 경우를 예로 들어 설명하였으나, 본 발명은

,

를 먼저 추정하는 수직적 맞춤방법을 먼저 적용한 후

,

를 추정하는 수평적 맞춤방법을 적용하는 경우에도 적용할 수 있음은 물론이다. 또한, 상기에서는 수평적 맞춤방법 및 수직적 맞춤방법을 적용하는 경우를 예로 들어 설명하였으나, 본 발명은 수평적 맞춤방법 및 수직적 맞춤 방법에 한정되는 것은 아니며 서로 다른 임의의 2가지 방향에 따른 맞춤 방법을 적용하는 경우에도 적용할 수 있음은 물론이다. In the above, the horizontal alignment method is first applied, and then the vertical alignment method is described as an example.

,

First we apply the vertical fit method

,

Of course, it is also applicable to the case of applying the horizontal fit method of estimating. In addition, the above description has been made using a case of applying the horizontal alignment method and the vertical alignment method as an example, but the present invention is not limited to the horizontal alignment method and the vertical alignment method. Of course, it can be applied even if applied.

이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although described with reference to the embodiments above, those skilled in the art will understand that the present invention can be variously modified and changed without departing from the spirit and scope of the invention as set forth in the claims below. Could be.

Claims

An image correction method for correcting an image by estimating a blur radius of an image,
Receiving image data; And
Estimating a blur radius of the provided image by obtaining a difference between a data value of the blur of the provided image and an error function modeling the degree of blur of the image. Image correction method to correct the image.

The method of claim 1, wherein estimating Blur Radius of the provided image by obtaining a difference between a data value of blur of the provided image and an error function modeling a degree of blur of the image is performed by estimating Blur Radius of the provided image. And estimating Blur Radius to minimize Mean Square Error (MSE) values between the blurred edges of the image modeled in the form of the error function. An image correction method for correcting an image by estimating a blur radius of the image.

The method of claim 2, wherein estimating Blur Radius of the provided image by obtaining a difference between a data value of blur of the provided image and an error function modeling the degree of blur of the image is performed.
Obtaining a blurred edge of the image along a first direction using an error function modeling the degree of blur of the image and data values of the blur of the provided image; And
Obtaining a blurred edge of the image along a second direction using an error function modeling the degree of blurring of the image and a data value of the blur of the provided image; Image correction method for estimating the image.

4. The method of claim 3, wherein the first direction is a horizontal direction and the second direction is a vertical direction.

The method of claim 1, wherein estimating Blur Radius of the provided image by obtaining a difference between a data value of blur of the provided image and an error function modeling the degree of blur of the image is provided.
A first variable value representing an intensity value of a function representing a blurred edge of the blurred image

And second variable values

1 step of predicting;
The predicted first variable value

And second variable values

And a fourth parameter value representing a blur radius of the blurred image.

2 steps to derive; and
Derived through step 2

,

And the predicted first variable value from the received image data.

And second variable values

And correcting the image by estimating the blur radius of the image including three steps of re-estimating the image.

The method of claim 5, wherein the step of estimating Blur Radius of the provided image is obtained by obtaining a difference between a data value of blur of the provided image and an error function modeling the degree of blur of the image.
After the step 3 ends, the process returns to step 2 and the re-estimated first variable value through step 3

And second variable values

And correcting the image by estimating the blur radius of the image including the step of repeating the step 2 and the step 3 by a predetermined number of times.

The method of claim 5, wherein the third variable value

, Fourth variable value

The second step to derive
The predicted first variable value

And second variable values

Compensate the image by estimating the blur radius of the image, wherein the blurred edge of the image is calculated along a first direction to obtain a difference between a value of the error function and a data value of the actual blurred image along a first direction. Image correction method.

6. The method of claim 5, wherein the predicted first variable value

And second variable values

The third step to reestimating
The predicted third variable value

, Fourth variable value

Compensate the image by estimating the blur radius of the image, characterized in that the difference between the error function and the value of the data value of the actual blurred image along the second direction is obtained by using a blurred edge of the image. Image correction method.

According to claim 1, Image correction method for correcting the image by estimating the blur radius of the image,
Receiving a selection of the degree to correct the image by the user after receiving the image data; And
And detecting a boundary of the image from the provided image data after the step of selecting a degree to correct the image by the user.

According to claim 1, Image correction method for correcting the image by estimating the blur radius of the image,
Obtaining the difference between the data value of the blur of the provided image and the error function modeling the degree of blur of the image to estimate the blur radius (Blur Radius) of the provided image to blur the image using the estimated blur radius Removing; and
And correcting the image by estimating the blur radius of the image, further comprising outputting an image from which the blur is removed using the estimated blur radius.

According to claim 1, Image correction method for correcting the image by estimating the blur radius of the image,
Estimating whether the estimated blur radius converges by estimating Blur Radius of the provided image by obtaining a difference between a data value of the blur of the provided image and an error function modeling the degree of blur of the image. And estimating the blur radius by using the degree of convergence of the blur radius as it repeats the estimation of the blur radius.

An image correction apparatus for correcting a blurred image by estimating a blur radius of an image,
Image providing unit for providing an image;
And a blur estimation unit for estimating a blur radius of the provided image by obtaining a difference between a data value of the blur of the image provided from the image providing unit and an error function modeling the degree of blur of the image. An image correction device for correcting a blurred image by estimating a blur radius.

The image correcting apparatus of claim 12, wherein the image correcting apparatus corrects a blurred image by estimating a blur radius of the image.
A blur removal unit for removing blur of an image based on the blur radius estimated by the blur estimation unit;
An image output unit configured to output an image from which the blur is removed from the blur remover;
A control unit controlling an operation of an image correcting apparatus to correct the image; And
And a user interface that can be controlled by a user to instruct an operation of the controller or determine whether to use a device for correcting the blurred image. The image correcting apparatus corrects the blurred image by estimating a blur radius of the image.

The MSE of claim 12, wherein the blur estimation unit calculates an average square error of an error existing between the contour data of the provided image and the blurred edge of the image expressed in the form of an error function modeling the degree of blur of the image. An image correction device for estimating a blur image by estimating a blur radius so as to minimize a mean square error value.

15. The method of claim 14, wherein the blur estimate
The blurred edge of the image is obtained along the first direction using an error function that models the degree of blur of the image and the data value of the actual blurred image, and the blurred edge of the image is obtained. An image correction apparatus for estimating a blur radius of an image, wherein the image is obtained along a second direction by using an error function modeling a degree of blur and a data value of the actual blurred image.

The apparatus of claim 15, wherein the first direction is a horizontal direction and the second direction is a vertical direction to correct the image by estimating a blur radius of the image.

The blur estimation unit of claim 12, wherein the blur estimate for estimating a blur radius of the provided image is obtained by obtaining a difference between a data value of blur of the provided image and an error function modeling the degree of blur of the image. First variable value representing the intensity of the function representing the (Blurred Edge)

And second variable values

Predict and predict the first variable value

And second variable values

And a fourth parameter value representing a blur radius of the blurred image.

Derive the third variable value

, Fourth variable value

And the predicted first variable value from the provided image data.

And second variable values

Reestimate the first variable value

And second variable values

Third variable value using

And fourth variable values

And correcting the image by estimating the blur radius of the image.

18. The method of claim 17, wherein the third variable value

And the fourth variable value

Quot;
The predicted first variable value

And second variable values

Compensate the image by estimating the blur radius of the image, wherein the blurred edge of the image is calculated along a first direction to obtain a difference between a value of the error function and a data value of the actual blurred image along a first direction. Video correction device.

18. The method of claim 17, wherein the predicted first variable value

And second variable values

In reestimating
The predicted third variable value

, Fourth variable value

Compensate the image by estimating the blur radius of the image, characterized in that the difference between the error function and the value of the data value of the actual blurred image along the second direction is obtained by using a blurred edge of the image. Video correction device.

In the method for estimating the blur radius of the image,
Receiving image data; And
Blur Radius is estimated to minimize the mean square error (MSE) value between the contour data of the provided image and the blurred edge of the image modeled in the form of an error function. A method of estimating the blur radius of an image comprising the step of performing.