KR20120068655A

KR20120068655A - Method and camera device for capturing iris or subject of good quality with one bandpass filter passing both visible ray and near infra red ray

Info

Publication number: KR20120068655A
Application number: KR1020100130375A
Authority: KR
Inventors: 김인선
Original assignee: 김인선
Priority date: 2010-12-19
Filing date: 2010-12-19
Publication date: 2012-06-27
Also published as: WO2012086966A9; WO2012086966A2; WO2012086966A3

Abstract

PURPOSE: A method and a camera device for penetrating a band pass filter with a visible ray and a near infrared ray are provided to prevent irradiation of light when photographing a subject. CONSTITUTION: An automatic focusing unit operates an AF(Auto Focus) actuator. The automatic focusing unit photographs a face image and an accurate iris. A hand sharking image correcting unit corrects movement of a comparison image. The hand sharking image correcting unit overlaps the corrected comparison image with a reference image.

Description

METHOD AND CAMERA DEVICE FOR CAPTURING IRIS OR SUBJECT OF GOOD QUALITY WITH ONE BANDPASS FILTER PASSING BOTH VISIBLE RAY AND NEAR INFRA RED RAY}

본 발명은 무선통신장치를 이용하여 편리하고 신속하게 양질의 홍채 및 피사체 영상을 촬영하기위한 카메라 시스템에 관한 것이다.The present invention relates to a camera system for capturing high quality iris and subject images conveniently and quickly using a wireless communication device.

최근 휴대폰, PDA, 스마트폰 등과 같은 이동통신단말기에 카메라 모듈이 장착되는 출시되고 있는 경우가 많아지고 있다.
Recently, camera modules are mounted on mobile communication terminals such as mobile phones, PDAs, and smart phones.

일반적으로 카메라 등에 사용되는 CCD 또는 CMOS 등의 촬상 소자는 대략 700㎚ 이상의 근적외선 또는 적외선 영역의 광에도 반응한다. 따라서, 얼굴인식 및 홍채인식 카메라에서는 근적외선 투과 필터를 사용하여 주변 빛의 영향을 받지 않는 이미지를 촬영한다. 그러나 근적외선 또는 적외선 영역의 광은 촬상 소자에 누화(crosstalk)를 유발시킴으로써 촬상 소자의 색 재현력을 약화시키고, 촬상 소자의 신호 대 잡음비(S/N ration : signal to noise ratio) 특성을 저하시킨다. 따라서 기존의 카메라에 구비된 렌즈 시스템에는 이를 방지하기 위해 근적외선 또는 적외선 영역의 광을 차단하는 적외선 차단 필터가 구비되어 있다. 이러한 문제점에도 불구하고 홍채촬영 카메라에서는 주변광의 영향이 적은 단파장의 근적외선 영역의 이미지를 획득하기 위해 730 ~ 900nm 부근 영역의 투과 필터를 사용하거나, 가시광선과 적외선 필터를 모두 사용하기 위해 380 ~ 1000nm 영역의 투과 필터를 사용하기도 한다.
In general, an imaging device such as a CCD or a CMOS used in a camera or the like responds to light in a near infrared or infrared region of about 700 nm or more. Therefore, the face recognition and iris recognition cameras use an NIR filter to capture an image that is not affected by ambient light. However, the light in the near infrared or infrared region weakens the color reproduction ability of the image pickup device by causing crosstalk to the image pickup device, and deteriorates the signal to noise ratio (S / Nration) characteristic of the image pickup device. Therefore, the lens system provided in the existing camera is equipped with an infrared cut filter for blocking light in the near infrared or infrared region to prevent this. Despite these problems, the iris camera uses a transmission filter in the vicinity of 730 to 900 nm to acquire an image of the short-wavelength near-infrared region with less influence of ambient light, or uses a visible light and infrared filter in the range of 380 to 1000 nm. Permeate filters may also be used.

이와 더불어 피사체에 빛을 조사하는 LED는 고휘도 LED와 적외선 LED가In addition, LEDs that illuminate the subject include high-brightness LEDs and infrared LEDs.

부착되어 사용되는데, 고휘도 LED는 LED의 집광 각도가 좁아서 조사된 빛이 피사체 영상의 중앙만 밝고 외곽테두리의 이미지는 어두워지는 경우가 있어서 초점이 정확하지 못한 영상을 촬영하는 경우가 있다. 또한 적외선 LED는 홍채 정면을 향할 경우에는 안경을 착용한 피사체의 경우 홍채영상에 그린츠(Glints)가 발생 되어 홍채를 추출 할 수 없게 된다.
High brightness LEDs have a narrow focusing angle of the LED, so the irradiated light is only bright in the center of the subject image, and the image of the outer border is dark, so that an image having an incorrect focus may be taken. In addition, when the infrared LED faces the front of the iris, the subject wearing glasses causes greents to occur in the iris image so that the iris cannot be extracted.

무선통신 장치에 장착되어 있는 CMOS 이미지 센서는 다음과 같은 문제가 있다. The CMOS image sensor installed in the wireless communication device has the following problems.

첫 번째로는, 내장 카메라 모듈과 같은 디지털 카메라 시스템의 동작이 개시되면, 프리뷰 모드가 개시된다. 이 프리뷰 모드에서, 카메라 시스템의 이미지 처리 회로는, CMOS 이미지 센서가 갖는 전체 화소보다 적은 수의 화소로 이루어진 프리뷰 이미지를 생성한다. 상기 이미지 처리 회로 내의 자동노출(AE) 회로는 프리뷰 모드에서 CMOS 이미지센서에서 검출되어 출력되는 이미지의 휘도를 적절한 레벨로 조정한다. 이를 위해 상기 자동노출 회로는 CMOS 이미지센서의 출력이득과 전자롤링셔터의 속도를 결정하고, 메인 제어회로는 상기 결정된 출력이득 및 전자롤링셔터 속도에 해당하는 명령을 CMOS 구동회로로 전달하여 CMOS 구동회로가 CMOS 이미지센서를 상기 결정된 출력이득 및 전자롤링셔터 속도로 구동할 수 있게 한다. 이와 같이 종래 기술의 셔터 방식은 여러 단계를 거치므로 시간이 많이 걸리게 되어 빛의 양이 갑자기 변하게 되면 적응 시간이 많이 걸리게 된다. 이와 같이 적응 시간이 많이 걸리게 되면 밝은 빛이 화소로 입사되는 경우 셔터 스피드를 적절하게 조절하지 못하여 오버플로우에 의한 블루밍 현상이 발생되어 화질을 저하시킨다.
Firstly, when the operation of a digital camera system such as a built-in camera module is started, the preview mode is started. In this preview mode, the image processing circuit of the camera system generates a preview image made up of fewer pixels than all pixels of the CMOS image sensor. An autoexposure (AE) circuit in the image processing circuit adjusts the brightness of the image detected and output by the CMOS image sensor in the preview mode to an appropriate level. To this end, the automatic exposure circuit determines the output gain of the CMOS image sensor and the speed of the electronic rolling shutter, and the main control circuit transmits a command corresponding to the determined output gain and the electronic rolling shutter speed to the CMOS driving circuit. Enable the CMOS image sensor to be driven at the determined output gain and electronic rolling shutter speed. As described above, the shutter method of the prior art takes a lot of time, and thus takes a lot of time, and if the amount of light suddenly changes, it takes a lot of adaptation time. In this case, if the adaptation takes a long time, when bright light is incident on the pixel, the shutter speed may not be properly adjusted, and a blooming phenomenon may occur due to overflow, thereby degrading image quality.

두 번째로는, 일반적으로 알려진 화이트 밸런스 조정 방식으로, 프리뷰(preview) 방식은 이미지 캡쳐가 수행되기 이전 프리뷰 단계에서 획득된 이미지 데이터를 이용하여 화이트 밸런스 조정을 위한 컬러 이득을 산출한다. 즉, 이득 산출에 사용되는 이미지데이터로부터 무채색으로 추정되는 영역을 산출하고 이 영역의 컬러가 무채색으로 보정하기 위한 R 값과 B 값에 대한 이득을 산출하는 방식을 채택하고 있다.Secondly, as a generally known white balance adjustment scheme, the preview scheme calculates a color gain for white balance adjustment using image data obtained in the preview step before image capture is performed. In other words, a method of calculating an achromatic color estimated from image data used for gain calculation and calculating a gain for an R value and a B value for correcting the color of the area to an achromatic color is adopted.

프리뷰 방식은 프리뷰 시의 이미지 데이터로부터 미리 컬러 이득을 산출한 후 이미지 캡쳐 시에 이를 적용하므로 이미지 데이터를 별도로 저장하기 위한 버퍼 메모리가 필요하지 않고 고속의 이미지 처리가 가능하다. 따라서, 모바일 기기에 적용되는 카메라의 경우 소형화, 경량화 및 신속화를 위해 프리뷰 방식의 화이트 밸런스 조정을 수행하는 것이 바람직하다.The preview method calculates the color gain from the image data at the time of preview and applies it at the time of image capture, thereby enabling high-speed image processing without the need of a buffer memory for separately storing the image data. Accordingly, in the case of a camera applied to a mobile device, it is desirable to perform the preview white balance adjustment for miniaturization, light weight, and speed.

이러한 프리뷰 방식의 화이트 밸런스 조정 기법을 채택한 카메라에서 플래시를 이용한 촬영하고자 할 때에는, 통상 플래시에서 발광되는 빛의 색 온도(광원색)에 맞추어 화이트 밸런스 조정을 수행하게 된다. 이는, 이미지 데이터 캡쳐시 발광하는 플래시의 광원색과 플래시가 발광하지 않는 프리뷰 시의 광원 색이 전혀 다르기 때문이다. 그러나 플래시를 사용하는 촬영 조건에서도 주위에 존재하는 다른 종류의 광원에 의한 영향을 무시할 수 없는 경우가 많다. 따라서, 프리뷰 방식의 화이트밸런스 조정 기법을 적용한 카메라에서는 플래시 광에 의한 영향과 주변 광에 의한 영향을 모두 고려하여야 정확한 화이트밸런스 조정이 가능하다.When the camera using the preview type white balance adjustment technique is to shoot with the flash, the white balance is adjusted in accordance with the color temperature (light source color) of the light emitted from the flash. This is because the color of the light source of the flash that emits light when capturing image data is different from the color of the light source of the flash that does not emit light. However, even in shooting conditions using the flash, the influence of other types of light sources in the surroundings cannot often be ignored. Therefore, in the camera using the preview white balance adjustment technique, accurate white balance adjustment is possible only when both the influence of the flash light and the influence of the ambient light are considered.

그러나 이러한 종래의 화이트 밸런스 조정 방법은, 피사체까지의 거리를 구하는 수단 또는 플래시의 발광량을 구하는 수단이 추가로 필요하게 되므로 카메라의 부피 증가 및 제조 단가를 상승시키는 문제가 발생한다
However, the conventional white balance adjusting method requires a means for obtaining a distance to a subject or a means for calculating the amount of light emitted by the flash, thereby causing a problem of increasing the volume and manufacturing cost of the camera.

종래의 휴대폰과 스마트폰과 같은 이동통신단말기에 탑재되는 카메라 모듈의 기능 중에서 자동 초점 (Auto focus, 이하 'AF' 라 함) 기능이 있다. 일반적으로 야간 촬영이라 함은 조도가 10 럭스(lux) 이하의 환경에서 촬영하는 것을 말하는데 종래 카메라 모듈에서는 야간 촬영시에 AF 수행능력이 떨어지는 문제점이 있다. 즉, 종래 AF 알고리즘의 경우에 낮은 조도에서 가시광선 영역의 파장값이 작아서 피사체의 에지(Edge) 분석에 어려움이 있고, 이로 인한 AF 수행능력이 떨어지는 문제점이 있다. 특히, 종래 카메라 모듈에서 야간의 인물 촬영시 AF 수행에 많은 어려움이 있다.
Among the functions of a camera module mounted in a mobile communication terminal such as a conventional cellular phone and a smart phone, there is an auto focus (hereinafter referred to as 'AF') function. In general, night photography refers to taking pictures in an environment of illuminance of 10 lux or less. In the conventional camera module, there is a problem in that AF performance is poor at night shooting. That is, in the conventional AF algorithm, since the wavelength value of the visible light region is small at low illuminance, it is difficult to analyze the edge of the subject, and thus, the AF performance is poor. In particular, there are many difficulties in performing AF when photographing a person at night in the conventional camera module.

이동통신단말기의 디지털 카메라는 일반적으로 자동 노출(auto exposure) 모드를 지원한다. 자동 노출 모드 에서는, 촬영 장소의 조도에 따라 노출도(EV: Exposure Value)가 자동으로 변경된다. 즉 어두운 장소에서는 노출도가 증가되고, 밝은 장소에서는 노출도가 감소된다.Digital cameras of mobile communication terminals generally support an auto exposure mode. In the auto exposure mode, the exposure value (EV) is automatically changed according to the illuminance of the shooting location. In other words, the exposure is increased in the dark place, the exposure is reduced in the bright place.

그런데 노출도의 증가는 피사체에 대한 카메라의 노출시간 증가를 가져온다. 이러한 경우, 손떨림에 의한 초점의 미세한 움직임이 촬영된 영상에 반영되어 영상이 번져 보이는 블러링(blurring) 현상이 발생한다. 따라서, 종래에는 DIS(Digital Image Stabilization) 방법, EIS(Electrical Image Stabilization) 방법, OIS(Optical Image Stabilization) 방법 등의 다양한 손떨림 보정 기술을 적용하여 블러링 현상을 방지하고 있다. 그러나, EIS 또는 OIS법은 손떨림의 정도를 측정할 수 있는 각속도 센서나 프리즘 등의 하드웨어가 필요하여 원가상승의 요인이 되며, DIS법은 정지 캡쳐 영상의 저장 시 디지털 줌 과정이 수반되어야만 양호한 품질의 디지털 정지 영상을 얻을 수 있다는 문제점이 있다.
Increasing the exposure, however, increases the exposure time of the camera to the subject. In this case, a blurring phenomenon in which the image is blurred is reflected by the minute movement of the focus caused by the camera shake. Therefore, in the related art, various image stabilization techniques such as a digital image stabilization (DIS) method, an electrical image stabilization (EIS) method, and an optical image stabilization (OIS) method are applied to prevent blurring. However, the EIS or OIS method requires hardware such as an angular velocity sensor or prism that can measure the degree of hand shake, which causes the cost increase.The DIS method requires a digital zooming process when storing still captured images. There is a problem that digital still images can be obtained.

한편 휴대폰이나 스마트폰과 같은 무선이동장치에 장착되어 있는 디지털 카메라는 평면의 표면 수직 벡터에 대해 카메라의 시선 방향이 평행이 되지 않는 경우, 일반적으로 원근 효과(perspective effect)가 발생하게 되며, 원근 효과에 의해 평면에 담겨져 있는 패턴의 기하학적 성질이 변하게 된다.On the other hand, digital cameras mounted on wireless mobile devices such as mobile phones and smartphones generally produce perspective effects when the camera's line of sight is not parallel to the surface vertical vector of the plane. This changes the geometrical properties of the pattern contained in the plane.

따라서, 불확실성은 매우 높아지게 되며, 신뢰성도 떨어진다.
Thus, uncertainty becomes very high and reliability is low.

또한, 휴대폰이나 스마트폰에 전용되는 이미지센서를 탑재한 카메라 모듈은 점점 소형화되면서 큰 F number를 가진 렌즈를 필요로 하게 되었고, 결국 이미지센서의 RGB칼라 필터 어레이 픽셀 각각이 빛에 대한 렌즈의 굴절 각도와 다른 위치에 존재하고 이와 같은 위치 차이는 빛의 파장과 마이크로렌즈의 세이딩에 따라 빛에 따른 밝기나 색상의 차이가 일어나는 현상이 더욱 가중되었고 필연적으로 RGB컬러 필터의 위치에 따라 신호손실이 발생하여 이미지가 왜곡되는 현상이 일어난다. 촬상 이미지중 중앙부분에 비해 에지부분에서 데이터손실이 집중적으로 일어나고 있어서 중앙부분에 비해 에지부분의 화상이 어둡고 색상표현이 제대로 되지 않고 있다.
In addition, the camera module equipped with an image sensor dedicated to a mobile phone or a smart phone requires a lens having a large F number as it becomes smaller and smaller, so that each pixel of the RGB color filter array pixel of the image sensor has an angle of refraction of the lens with respect to light. The difference in position is caused by the difference in brightness or color depending on the wavelength of the light and the shading of the microlens. Inevitably, signal loss occurs depending on the position of the RGB color filter. The image is distorted. Data loss is more concentrated in the edge part than in the center part of the captured image, so the image of the edge part is darker than the center part and the color is not properly represented.

카메라 캘리브레이션 방식을 적용함에 있어, 단점은 반드시 미리 알려져 있는 캘리브레이션용 패턴을 사용하거나 미리 결정된 카메라 모션의 형태를 적용해야만 한다는 것이다. 일반 사용자가 휴대폰, 스마트폰과 같은 무선이동통신장치의 디지털 카메라를 이용하여 임의의 장소에서 정사 영상을 얻고자하는 경우에 이러한 캘리브레이션 패턴 혹은 고정된 카메라 모션을 적용하기는 매우 곤란한 일이다. 또한 가변 초점 렌즈 혹은 줌 렌즈를 사용하는 경우, 초점 거리와 이미지 센터는 렌즈 조작에 의해 변하게 되어 그 때마다 캘리브레이션을 수행해야 할 필요가 생기게 된다.In applying the camera calibration method, a disadvantage is that it must use a known calibration pattern or apply a predetermined form of camera motion. It is very difficult to apply such a calibration pattern or a fixed camera motion when a general user wants to obtain an orthoimage at any place by using a digital camera of a wireless mobile communication device such as a mobile phone or a smart phone. In addition, when using a varifocal lens or a zoom lens, the focal length and the image center are changed by the lens operation, and there is a need to perform calibration each time.

물론, 각 가변 단계 혹은 줌 위치에 대한 초점 거리 혹은 이미지 센터를 캘리브레이션을 통해 미리 계산하고, 디지털 카메라의 내부 비휘발성(non-volatile) 메모리 혹은 룩업 테이블(LUT: Look Up Table)에 저장하여 사용자에 의해 렌즈 위치변화가 발생할 때마다 해당하는 파라메타 값을 읽어오도록 하는 방식을 적용할 수 있다.Of course, the focal length or image center for each variable step or zoom position can be calculated in advance and stored in the digital camera's internal non-volatile memory or look up table (LUT). Therefore, a method of reading a corresponding parameter value whenever a lens position change occurs can be applied.

이러한 경우를 제외하면 일반적으로 카메라 파라메타는 한 번의 캘리브레이션 단계를 통해 구해지며, 고정된 값을 계속 유지하는 것으로 간주할 수 있으나 카메라 회전각 정보는 매 촬영시마다 바뀌는 것으로 생각해야 하므로 캘리브레이션 패턴을 포함하여 임의의 패턴을 이용하는 경우에도 회전각 정보를 구할 수 있어야 한다.Except in these cases, camera parameters are typically obtained through one calibration step, and can be considered to maintain a fixed value, but camera rotation angle information should be thought to change with every shot, so that any Even when using the pattern of the rotation angle information should be available.

한편, 카메라 파라메타가 여하한 방법을 통해 구해진다고 하더라도 현장에서 실시간으로 렌즈의 왜곡을 보정하기 위한 이미지 워핑 단계가 필요하다. 이 단계는 렌즈 왜곡에 의해 영상 특징의 기하학적 변형이 발생한 것을 보정하여 정확한 패턴 매칭 혹은 추출 결과의 신뢰도를 향상시키기 위해 필요하게 된다.On the other hand, even if the camera parameters are obtained by any method, an image warping step is required to correct lens distortion in real time in the field. This step is necessary to correct the geometric distortion of the image feature caused by the lens distortion to improve the reliability of the accurate pattern matching or extraction result.

특히, 저가의 카메라인 경우 렌즈 왜곡 효과가 크게 나타나며, 이미지 센서 자체의 해상도가 증가하면 할수록 이미지 워핑을 통한 왜곡 보정 단계에서의 계산량이 증가하므로 효율적인 이미지 워핑 구조를 가지는 것이 바람직하다.
In particular, in the case of a low-cost camera, the lens distortion effect is large, and as the resolution of the image sensor itself increases, the amount of calculation in the distortion correction step through image warping increases, so it is desirable to have an efficient image warping structure.

즉, 카메라 캘리브레이션을 수행하여 구해진 렌즈 왜곡 변수를 사용하는 방법, 평행선 혹은 직선으로 구성된 그리드 패턴(grid pattern)에 설정한 기하학적 불변성(geometric invariance)을 이용하는 방법, 특별한 패턴을 사용하지 않고 임의의 영상으로부터 직접 렌즈 왜곡 변수를 구하는 셀프 캘리브레이션(self-calibration) 방법이다.That is, a method using a lens distortion variable obtained by performing a camera calibration, a method using a geometric invariance set in a grid pattern composed of parallel lines or straight lines, and using an arbitrary image without using a special pattern. It is a self-calibration method that directly calculates lens distortion parameters.

두 번째 방법의 경우 적용 알고리즘이 간단해지는 장점이 있으나 카메라 파라메타 전체를 구하는 경우에는 곤란한 점이 있으며, 특히 본 발명과 같이 현장에서 카메라 자세를 직접 보정하기 위해 필요한 초점 거리에 대한 정보를 구하기 어렵다.The second method has an advantage of simplifying the application algorithm, but it is difficult to obtain the entire camera parameters, in particular, it is difficult to obtain information on the focal length necessary to directly correct the camera pose in the field as in the present invention.

세 번째 방법의 경우 두 번째 방법과 같은 단점을 가지고 있으면서 그 결과가 매우 불안정한 특징을 가지고 있다.The third method has the same disadvantages as the second method, but the result is very unstable.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, The present invention has been made to solve the above problems,

무선통신장치를 이용하여 편리하고 신속하게 양질의 홍채 및 피사체 영상을 촬영하기위한 카메라 시스템을 발명한 것으로서
Invented a camera system for capturing high quality iris and subject images conveniently and quickly using a wireless communication device.

본 발명은 1개 또는 2개의 밴드패스 필터를 사용하여, 일반 피사체를 촬영하여 선명한 일반 영상 이미지 및 피 인식자의 선명한 홍채영상을 촬영하여 홍채패턴 이미지의 생성할 수 있는 방법을 제공하는 것을 목적으로 한다.
It is an object of the present invention to provide a method of generating an iris pattern image by capturing a general subject and a clear iris image of a subject by photographing a general subject using one or two bandpass filters. .

본 발명은 일반 피사체 촬영 시, 한 곳에 빛이 집중되어 조사되는 것을 방지는 고휘도 LED를 제공하는데 그 목적이 있다.
An object of the present invention is to provide a high-brightness LED that prevents light from being concentrated and irradiated at one place when photographing a general subject.

본 발명은 홍채 영상을 촬영 시, 양쪽 눈의 홍채 외부경계선 밖에 빛이 In the present invention, when the iris image is taken, the light outside the iris outer boundary line of both eyes

집중되어 조사되는 근적외선 LED를 제공하는데 그 목적이 있다.
Its purpose is to provide near-infrared LEDs that are concentrated and irradiated.

본 발명은 플래시광과 다른 광원에 의한 주변광이 혼재하는 조명 환경에서 촬영되는 이미지에 대한 적절한 화이트밸런스 조정을 수행할 수 있는 조명을 이용한 촬영에서의 화이트밸런스 조정 방법을 제공하는데 그 목적이 있다.
SUMMARY OF THE INVENTION An object of the present invention is to provide a method for adjusting white balance in shooting using lighting that can perform appropriate white balance adjustment for an image captured in an illumination environment in which flash light and ambient light by other light sources are mixed.

본 발명은 오토포커스 카메라장치 사용 시 원하는 고정된 피사체 구도(직사각형 테두리)에서 원하는 관심대상영역(얼굴, 눈)을 대상으로 오토 포커싱이 이루어진 선명한 이미지를 촬영할 수 있게 하는 방법을 제공하는데 그 목적이 있다.
SUMMARY OF THE INVENTION An object of the present invention is to provide a method for capturing a clear image in which autofocusing is performed on a desired region of interest (face or eye) in a desired fixed subject composition (rectangular border) when using an autofocus camera apparatus. .

본 발명은 손떨림 보정을 위해 가속도 센서나 프리즘 등 별도의 하드웨어를 필요없이, 화질열화가 수반되지 않으면서 블러링 현상을 방지 할 수 있는 디지털 영상의 손떨림 보정 방법을 제공하는데 그 목적이 있다.
An object of the present invention is to provide a method for image stabilization of a digital image which can prevent blurring without accompanying deterioration of image quality without the need of an additional hardware such as an acceleration sensor or a prism for image stabilization.

본 발명은 상기 보정기능을 갖춤과 동시에 영상 안정화의 한계를 벗어나서 보정될 수 없는 과도한 흔들림이 발생된 것을 자동으로 포착하여 촬영자에게 경고해주는 기능을 갖춘 디지털 카메라 및 그 제어방법을 제공하는 것을 해결하고자 하는 기술적 과제로 한다
The present invention is to provide a digital camera and a control method having a function of automatically capturing the occurrence of excessive shake that can not be corrected beyond the limits of image stabilization and alerting the photographer at the same time having the correction function. We assume technical problem

본 발명은 상기와 같은 필요성을 충족시키기 위하여 임의의 회전각 자세를 취하는 무선통신장치의 디지털 카메라로 촬영된 일반 평면 위의 패턴으로부터 렌즈 왜곡 보정 단계를 거친 후 자동으로 계산된 평면에 대한 상대적인 카메라 회전각 정보를 이용하여 보정된영상을 생성하는 방법을 제공하는 것을 해결하고자 하는 기술적 과제로 한다.The present invention provides a camera rotation relative to a plane automatically calculated after a lens distortion correction step from a pattern on a general plane photographed by a digital camera of a wireless communication device having an arbitrary rotation angle to satisfy the above needs. It is a technical problem to solve to provide a method for generating a corrected image by using each information.

이와 같은 목적을 달성하기 위한 본 발명에 따른 인증용 촬영장치를 구비하는 무선통신장치는, 피인식자의 홍채 패턴 및 일반 피사체를 촬영하는 인증용 촬영장치를 구비하여, 피인식자의 홍채 패턴을 촬영하여 피인식자를 홍채 인증하여 사용 및 접근 권한을 부여하는 인증용 촬영장치를 구비하는 단말기로서, 피인식자의 홍채 패턴을 촬영하여 홍채 패턴 이미지를 생성하고 일반 피사체를 촬영하여 일반 영상 이미지를 생성하는 홍채 인증용 촬영장치를 포함함으로써,The wireless communication device having an authentication photographing apparatus according to the present invention for achieving the above object is provided with an authentication photographing apparatus for photographing an iris pattern of a subject and a general subject, and photographing the iris pattern of the subject. A terminal having an authentication photographing device for granting use and access by authenticating an object to be recognized by an iris, wherein the device is configured to generate an iris pattern image by photographing an iris pattern of an object and to generate a general image image by photographing a general subject. By including a recording device for

투과필터와 이에 상응하는 조명장치가 함께 전면에 구비 되어 있고, 저조도 이미지 촬영에 적합한 이미지 센서, AF(Auto Focusing) 모듈(액츄에이터 및 렌즈), 이미지 보정에 적합한 ISP, 피사체의 얼굴 및 홍채 부분을 사각형 테두리 고정이미지에 수퍼임포즈 시켜 표시하는 디스플레이장치가 기본요소로서 구비되어있는 것을 특징으로 한다.
A transmissive filter and a corresponding lighting device are provided on the front, and an image sensor suitable for low light image capture, an AF (Auto Focusing) module (actuator and lens), an ISP suitable for image correction, a square of the subject's face and iris A display device for superimposing and displaying a border fixed image is provided as a basic element.

또한 이미지를 촬영하는 방법에 있어서는 카메라 ISP(Image Signal Processor)의 제어부는 프리뷰 모드에서의 화이트 밸런싱 및 화면상에 피사체의 관심영역(양쪽 눈, 즉 양안)을 조준하여 내부에 위치시킬 사각형 테투리 화면의 좌표 값과 이에 상응하는 미리 정해진 측정거리 정보에 맞추기 위해 초기 설정된 오토포커싱 방법을 수행함으로써 AF 액츄에이터를 구동시켜 초점이 정확한 홍채와 얼굴이미지를 촬영하는 과정과, 손 떨림에 의한 이미지의 번짐 현상을 배제시키기 위해 비교 이미지의 움직임을 보정하고 기준 영상과 보정된 비교 영상을 중첩시켜 손 떨림 보정 영상을 생성하는 과정과, 렌즈의 왜곡성분을 보정한 이미지를 획득하는 과정으로 이루어짐을 특징으로 한다.In addition, in the method of capturing an image, the control unit of the camera image signal processor (ISP) controls the white balance in the preview mode and aims the area of interest (both eyes, or both eyes) of the subject on the screen, so By performing the auto focusing method initially set to match the coordinate value and the corresponding predetermined measurement distance information, the AF actuator is driven to capture the iris and the face image with the correct focus, and the blurring of the image due to the hand shake is eliminated. In order to correct the motion of the comparison image, and to overlap the reference image and the corrected comparison image to generate a hand shake correction image, and to obtain an image correcting the distortion component of the lens.

본 발명은 촬영자가 오토 포커스 기능을 가진 휴대폰, 스마트폰, PDA등의 무선이동통신 장치의 카메라를 이용하여 촬영을 하는 경우 자신이 원하는 구도에서 자신이 원하는 피사체를 대상으로 자동초점 조절을 한 사진을 쉽고, 편리하게, 정확하게 촬영할 수 있게 하는 효과가 있다.
According to the present invention, when a photographer shoots using a camera of a wireless mobile communication device such as a mobile phone, a smart phone, a PDA having an auto focus function, a photograph of which the auto focus is adjusted to a desired subject in a desired composition There is an effect that makes it possible to shoot easily, conveniently and accurately.

밴드패스 필터가 상기와 같은 가시광선 및 적외선 투과율을 가짐으로써 밴드패스필터를 통해 적외선과 가시광선 파장 대역의 빛이 모두 투과되어 렌즈모듈로 입사될 수 있으므로, 적외선 영역의 조명이 필요한 홍채 패턴촬영과 함께 가시광선 영역의 조명이 필요한 일반 피사체의 촬영이 가능해지게 된다.
Since the bandpass filter has the visible light and the infrared ray transmittance as described above, both the infrared light and the visible light wavelength band can be transmitted through the band pass filter to be incident to the lens module. In addition, it becomes possible to shoot a general subject requiring illumination in the visible region.

고휘도 LED 램프는 조사된 빛이 한곳에 집중되는 것을 방지하기 위하여 집광 영역의 각도를 상하좌우 넓혀서 빛이 영상 전체에 평활화되어 퍼지게한다. High-brightness LED lamps widen the angle of the condensing area up, down, left, and right to prevent the focused light from being concentrated in one place so that the light is smoothed and spread throughout the image.

LED 램프를 교대로 방사시키고, 방사 대역(780, 850nm)에서 피크를 이루도록 하여 푸른색, 초록색 눈의 서양인과 갈색 눈의 동양인이 방사대역에 따라 한쪽은 밝고, 한쪽은 어둡게 촬영되는 것을 방지한다.
LED lamps are alternately radiated and peaked in the radiation bands (780, 850 nm) to prevent blue and green eyes Westerners and brown eyes Asians from shooting on one side and dark on the other.

LED 램프로부터 조사된 빛이 피인식자의 홍채에 그린츠가 생기지 않도록 최대한 방지 할 수 있게 된다.
The light irradiated from the LED lamp can be prevented as much as possible so that Greenz does not form in the iris of the subject.

플래시 작동 모드와 기계 셔터속도의 출력에 따라, 캡쳐 모드에 사용될 화이트밸런스 조정 값이 결정되면, 별도의 하드웨어 추가없이 통상적인 카메라 시스템에 구비된 구성요소들을 이용하여 간단한 연산에 의해 플래시 및 주변광이 혼재하는 환경에서의 화이트밸런스 조정을 효과적으로 수행할 수 있다.
Depending on the flash operation mode and the output of the mechanical shutter speed, when the white balance adjustment value to be used for the capture mode is determined, the flash and the ambient light can be generated by simple operation using the components included in a conventional camera system without additional hardware. White balance adjustment can be effectively performed in a mixed environment.

피사체의 관심영역(양쪽 눈, 즉 양안)이 미리 설정한 피사체 구도(직사각형 테두리) 안에 들어오면, 이 서브 화면에 매칭 되어 저장된 측정거리 이동정보를 저장부로부터 찾아 거리측정부에 제공하여 해당 서브 화면에 대응한 측정거리를 지시하고 그 응답으로 측정거리부로부터 측정 거리 값을 제공받는다. 최상의 초점을 찾기 위해 렌즈를 앞, 뒤로 움직임으로서, 피사체의 거리를 이미지 자체만을 가지고 분석하여 사용자가 촬영거리 및 초점에 많은 신경을 쓰지 않고 쉽고, 편리하게 촬영 할 수 있다.
If the area of interest (both eyes, or both eyes) of the subject falls within the preset subject composition (rectangular border), the measured distance movement information matched to this sub-screen is retrieved from the storage unit and provided to the distance measuring unit. It indicates the measurement distance corresponding to and receives the measurement distance value from the measurement distance unit in response. By moving the lens forward and backward to find the best focus, the distance of the subject is analyzed only with the image itself, so that the user can easily and conveniently shoot without paying much attention to the shooting distance and focus.

본 발명의 일 측면에 따르면, EIS 또는 OIS법과 달리 손떨림의 정도를 측정할 수 있는 각속도 센서나 프리즘 등의 하드웨어가 없이도 손떨림에 의한 영상 번짐 현상을 배제할 수 있으므로 디지털 영상 촬영장치의 제조 원가를 절감할 수 있으면서도 양호한 품질의 디지털 정지 영상을 획득할 수 있다.According to an aspect of the present invention, unlike the EIS or OIS method, it is possible to eliminate the image blur caused by the hand shake without hardware such as angular velocity sensor or prism that can measure the degree of hand shake, thereby reducing the manufacturing cost of the digital imaging apparatus It is possible to obtain digital still images of good quality while being able to do so.

본 발명의 다른 측면에 따르면, DIS법과 달리 정지 캡쳐 영상의 저장 시 디지털 줌 과정이 수반되지 않으므로 DIS법에 비해 양호한 품질의 디지털 정지 영상을 얻을 수 있다.
According to another aspect of the present invention, since the digital zoom process is not involved in storing the still captured image unlike the DIS method, a digital still image having better quality than the DIS method can be obtained.

영상의 흔들림을 상쇄하기 위한 보정동작을 수행함과 아울러, 구조적으로 허용된 보정의 한계를 초과하여 보정이 불가능한 과도한 흔들림이 발생되었을 때, 이를 자동으로 포착하여 사용자에게 경고해줌으로써 사용자가 재촬영을 할 수 있도록 하는 이른바, 보정한계를 넘는 과도한 흔들림에 대한 경고 기능을 발휘한다. 본 발명의 일 실시 예에서 스마트폰에 장착되어있는 조도센서 및 가속도 센서를 이용해서 피사체 영상이 촬상 면으로 유입되는 노광 중의 흔들림을 감지하고 계산하여, 계산된 흔들림과 사전에 설정된 보정의 한계를 상호 비교하여, 보정의 한계를 벗어나는 과도한 흔들림을 포착해낸다.In addition to performing a correction operation to cancel the shake of the image, when the excessive shake that cannot be corrected is exceeded due to the structurally permitted correction limit, the camera automatically captures and warns the user so that the user can retake the image. It provides a warning function for excessive shaking beyond the correction limit. According to an embodiment of the present invention, by detecting and calculating a shake during exposure in which the subject image is introduced into the imaging surface by using an illuminance sensor and an acceleration sensor mounted on the smartphone, the calculated shake and a preset limit of correction are mutually determined. In comparison, it captures excessive shaking beyond the limits of correction.

또 하나의 일 실시 예에서 카메라 DSP는 자이로 센서를 통하여 산출된 흔들림과 사전에 설정된 보정한계를 양적으로 비교하여 과도한 흔들림을 포착한다. 이와 같이 스마트폰에 이미 내장되어 있는 센서를 이용해서 영상의 흔들림을 감지할 경우 처리속도가 빨라지고, 정확해진다.
In another embodiment, the camera DSP captures excessive shaking by quantitatively comparing the shake calculated through the gyro sensor with a preset correction limit. In this way, when detecting the shaking of the image using the sensor already built in the smart phone, the processing speed is faster, it becomes accurate.

이상에서 설명한 바와 같이, 본 발명은 디지털 카메라와 같이 렌즈계를 채용한 영상 장비에서 렌즈 왜곡에 의해 발생하는 영상 품질의 저하를 소프트웨어적으로 보상하고, 이 때의 결과 영상에 대해 정사영상을 생성하는 것으로서 렌즈계의 정보나 외부 장치에 의존하지 않으면서 영상만을 이용하여 자동으로 왜곡 보정을 실시할 수 있으므로 일반 디지털 카메라에서 제공되는 정지 영상 뿐만 아니라 동일한 카메라로 촬영된 동영상에도 적용이 가능하다. 또한, 줌렌즈나 가변 초점 렌즈를 적용하는 경우에 각 렌즈 위치에 대한 렌즈 왜곡 변수를 캘리브레이션을 통해 구할 수 있고, 이 때 구해진 렌즈 왜곡 변수를 비휘발성 메모리나 룩업 테이블(Look-Up Table)에 저장하는 식으로 대처 가능하며 임의의 렌즈 위치에서 왜곡 변수는 이미 알려진 값의 보간(interpolation)을 통해 해결 가능하다.As described above, the present invention is to compensate for the degradation of the image quality caused by lens distortion in the imaging equipment employing the lens system, such as a digital camera, and to generate an orthoimage for the resulting image at this time as Since the distortion can be automatically corrected using only the image without depending on the lens system information or an external device, it can be applied not only to a still image provided by a general digital camera but also to a video captured by the same camera. In addition, in the case of applying a zoom lens or a varifocal lens, the lens distortion parameter for each lens position can be obtained through calibration, and the obtained lens distortion variable is stored in a nonvolatile memory or a look-up table. In this way, the distortion parameter at any lens position can be solved by interpolation of known values.

도 1은 본 발명의 일 실시 예에 따른 카메라 모듈의 내부구조를 보여주는 구성도이다.
도 2은 본 발명의 일 실시 예에 따른 필터의 파장대역 및 피크 대역에 따른 투과율을 표시한 그래프이다.
도 3은 본 발명의 일 실시 예에 따른 고휘도 LED램프와 적외선 LED램프의 투사하는 집광영역 각도를 보여주는 실시예도이다.
도 4는 본 발명의 일 실시 예에 따른 LED 램프의 배치 및 각도를 보여주는 실시예도이다.
도 5는 본 발명의 일 실시 예에 따른 양질의 홍채 및 피사체 영상을 촬영하기위한 카메라 시스템의 구성도이다.
도 6은 본 발명의 일 실시 예에 따른 프리뷰 모드에서 캡쳐모드 완료단계까지의 순서를 보여주는 흐름도이다.
도 7은 본 발명의 일 실시 예에 따른 서브 화면 영역에 대응하는 피사체까지의 측정거리 정보에 따라 오토 포커싱을 수행하는 단계별 순서를 보여주는 실시예도이다.
도 8는 본 발명의 일 실시 예에 따른 ISP의 내부구조를 보여주는 블록도이다.
도 9는 본 발명의 일 실시 예에 따른 카메라 장치에서 촬영 부분에 대한 블록 구성도이다.
도 10는 본 발명의 일 실시 예에 따른 고정 피사체에 대한 오토 포커싱 위치 변경 방법을 보인 순서도이다.
도 11는 본 발명의 일 실시 예에 따른 손 떨림 보정을 위한 단계별 방법을 보여주는 블록별 흐름도이다.
도 12는 본 발명의 일 실시 예에 따른 손 떨림 보정을 위한 상세한 단계별 방법을 보여주는 상세 흐름도이다.
도 13는 본 발명의 일 실시 예에 따른 과도한 흔들림을 자동으로 포착하여 경고하기까지의 방법을 보여주는 흐름도이다.
도 14은 본 발명에 따라 카메라 캘리브레이션에 사용되는 캘리브레이션 패턴의 예이다.
도 15는 본 발명에 따라 캘리브레이션 패턴으로부터 원(circle)을 추출하고 정렬하는 흐름도로서, 전처리과정과 원추출 과정, 원정렬 과정으로 이루어진다.
도 16은 본 발명에 따라 카메라 캘리브레이션시의 이미지 버퍼의 좌표계 정의를 도시한 도면이다.
도 17은 본 발명에 따라 카메라 캘리브레이션시의 사용자 입력의 실시 예 및 결과를 도시한 도면이다.
도 18는 일반적인 카메라 렌즈 왜곡에 따른 효과를 도시한 예시도이다.1 is a block diagram showing the internal structure of a camera module according to an embodiment of the present invention.
2 is a graph showing transmittance according to a wavelength band and a peak band of a filter according to an exemplary embodiment of the present invention.
FIG. 3 is an exemplary view illustrating a condensing area angle of a high brightness LED lamp and an infrared LED lamp according to an exemplary embodiment of the present invention.
Figure 4 is an embodiment showing the arrangement and angle of the LED lamp according to an embodiment of the present invention.
5 is a block diagram of a camera system for capturing a high quality iris and a subject image according to an embodiment of the present invention.
6 is a flowchart illustrating a procedure from the preview mode to the completion of the capture mode according to an embodiment of the present invention.
FIG. 7 is a flowchart illustrating a step-by-step procedure of performing auto focusing based on measurement distance information to a subject corresponding to a sub screen area according to an exemplary embodiment.
8 is a block diagram showing the internal structure of an ISP according to an embodiment of the present invention.
9 is a block diagram illustrating a photographing portion in a camera apparatus according to an exemplary embodiment.
10 is a flowchart illustrating a method of changing an autofocusing position with respect to a fixed subject according to an exemplary embodiment.
11 is a block diagram illustrating a step-by-step method for image stabilization according to an embodiment of the present invention.
12 is a detailed flowchart illustrating a detailed step-by-step method for image stabilization according to an embodiment of the present invention.
FIG. 13 is a flowchart illustrating a method of automatically catching and alerting an excessive shake according to an embodiment of the present invention.
14 is an example of a calibration pattern used for camera calibration in accordance with the present invention.
15 is a flowchart of extracting and aligning a circle from a calibration pattern according to the present invention, and includes a preprocessing process, a circle extraction process, and a circle alignment process.
FIG. 16 is a diagram illustrating a coordinate system definition of an image buffer during camera calibration according to the present invention.
17 is a view showing an embodiment and results of user input during camera calibration according to the present invention.
18 is an exemplary diagram illustrating an effect according to general camera lens distortion.

이하, 첨부된 도면을 참조해서 본 발명의 실시예를 상세히 설명하면 다음과 같다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. First of all, in adding reference numerals to the components of each drawing, it should be noted that the same reference numerals have the same reference numerals as much as possible even if displayed on different drawings. In describing the present invention, when it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted.

도 1은 본 발명의 일 실시 예에 따른 카메라 모듈의 내부구조를 보여주는 구성도이다. 카메라 모듈은 밴드패스 필터부(100), LED부(200), 렌즈부(300), 이미지 센서(400), ISP & DSP(500), LCD부(600), 기타 센서부(700)를 포함하여 이루어진다.
1 is a block diagram showing the internal structure of a camera module according to an embodiment of the present invention. The camera module includes a band pass filter unit 100, an LED unit 200, a lens unit 300, an image sensor 400, an ISP & DSP 500, an LCD unit 600, and other sensor units 700. It is done by

본 발명에 따른 밴드패스 필터는 카메라 모듈의 전방에 배치되어 렌즈모듈로 입사되는 빛 중 일정 파장 대역의 빛만을 투과시킨다. 밴드패스 필터는 입사되는 빛 중 적외선 파장 대역의 빛은 대부분 투과하고 가시광선 파장 대역의 빛 역시 일부분 투과하게 된다. 본 발명에 따른 홍채인증용 촬영장치가 홍채 패턴 및 일반 피사체를 모두 촬영하기 위해서는 밴드패스 필터가 적외선 파장 대역과 가시광선 파장 대역의 빛 중 380 에서 1000nm 까지의 파장의 빛을 적어도 50% 이상 투과하여야 한다. 구체적으로는, 밴드패스 필터가 입사되는 빛에 대하여 적외선 파장 대역 중 730 에서 900nm까지의 빛은 90 내지 95% 가량 투과시키고, 가시광선 파장 대역 중 380 내지 730nm의 빛은 55 내지 75% 가량 투과시키게 된다.
The bandpass filter according to the present invention is disposed in front of the camera module to transmit only light of a predetermined wavelength band of light incident on the lens module. The bandpass filter transmits most of the light in the infrared wavelength band and partially transmits the light in the visible wavelength band. In order for the iris authentication photographing apparatus according to the present invention to photograph both the iris pattern and the general subject, the bandpass filter must transmit at least 50% of light having a wavelength of 380 to 1000 nm among the infrared wavelength band and the visible wavelength band. do. Specifically, the light from 730 to 900nm in the infrared wavelength band is transmitted by 90 to 95% and the light in the visible light wavelength band is transmitted by 55 to 75% for the incident light of the bandpass filter. do.

가시광선의 경우 사람마다 인식할 수 있는 파장의 범위가 달라 사람에 따라서는 380nm 이하나 770nm 이상의 파장의 빛도 인식하는 경우가 있다. 하지만, 본 발명에서는 대다수의 사람들이 인식할 수 있는 380 내지 730nm의 빛을 가시광선의 파장 대역으로 규정하여 설명하도록 한다. 또한, 본 발명에서는 홍채 패턴 촬영에 필요한 빛의 파장 대역인 730 내지 900nm의 빛을 적외선을 규정하여 설명하도록 한다.
In the case of visible light, the range of wavelengths that can be recognized varies from person to person, and some people may also recognize light having a wavelength of 380 nm or less or 770 nm or more. However, in the present invention, the light of 380 to 730 nm that can be recognized by most people is defined and described as the wavelength band of visible light. In addition, in the present invention, the light of 730 to 900nm, which is a wavelength band of light required for iris pattern imaging, will be described by defining infrared rays.

밴드패스 필터의 가시광선 투과율이 높을수록 본 발명에 따른 홍채 인증용 촬영 장치를 일반 피사체를 촬영하는 카메라로 사용할 때는 더 나은 성능을 발휘하게 되지만, 홍채 촬영을 할 때에는 투과된 가시광선이 촬상 시 노이즈로 작용하게 된다. 따라서 상기에서 제시한 바와 같이 가시광선의 투과율은 80%이상이 되면 홍채 촬영에 어려움이 있게 된다. 이에 반해, 밴드패스 필터의 가시광선 투과율이 50%이하가 되면 홍채 인증용 촬영 장치를 일반 카메라로 사용할 때 충분한 컬러 이미지를 촬영할 수 없게 된다. 또한, 밴드패스 필터의 적외선 파장 대역에서의 투과율이 80% 이하가 될 경우 LED 램프에서 방사된 빛이 홍채에 의해 반사된 후 입사되는 투과율이 떨어지므로 정확한 홍채인식을 할 수 없는 문제점이 발생하게 된다. 따라서 밴드패스 필터가 상기와 같은 가시광선 및 적외선 투과율을 가짐으로써 밴드패스필터를 통해 적외선과 가시광선 파장 대역의 빛이 모두 투과되어 렌즈모듈로 입사될 수 있으므로, 적외선 영역의 조명이 필요한 홍채 패턴촬영과 함께 가시광선 영역의 조명이 필요한 일반 피사체의 촬영이 가능해지게 된다.
The higher the visible light transmittance of the band pass filter, the better the performance is obtained when the iris authentication photographing apparatus according to the present invention is used as a camera for photographing a general subject. Will act as. Therefore, as shown above, when the transmittance of visible light is 80% or more, it becomes difficult to photograph the iris. In contrast, when the visible light transmittance of the band pass filter is 50% or less, sufficient color images cannot be captured when the iris authentication photographing device is used as a general camera. In addition, when the transmittance in the infrared wavelength band of the bandpass filter is 80% or less, the transmittance incident after the light emitted from the LED lamp is reflected by the iris decreases, thus causing a problem that accurate iris recognition cannot be performed. . Therefore, since the bandpass filter has the visible light and infrared light transmittance as described above, both the infrared light and the visible light wavelength band can be transmitted through the band pass filter to be incident to the lens module. In addition, it becomes possible to shoot a general subject requiring illumination in the visible region.

도 2은 본 발명의 일 실시 예에 따른 필터의 파장대역 및 피크 대역에 따른 투과율을 표시한 그래프이다.
2 is a graph showing transmittance according to a wavelength band and a peak band of a filter according to an exemplary embodiment of the present invention.

필터의 사용여부는 한 개의 필터로 가시광선과 근적외선 영역을 사용 할 수 있도록 렌즈 후면에 장착 하여 사용되어지는 것이 바람직하다.
It is desirable to use a filter mounted on the rear of the lens so that one filter can use visible and near infrared region.

도 3은 본 발명의 일 실시 예에 따른 고휘도 LED램프와 적외선 LED램프의 투사하는 집광영역 각도를 보여주는 실시예도이다.
FIG. 3 is an exemplary view illustrating a condensing area angle of a high brightness LED lamp and an infrared LED lamp according to an exemplary embodiment of the present invention.

이때, 밴드패스 필터가 투과하는 적외선 파장 대역은 사용되는 LED 램프에서 방사되는 빛의 파장 범위에 의해 정해진다. In this case, the infrared wavelength band transmitted by the bandpass filter is determined by the wavelength range of the light emitted from the LED lamp used.

본 발명에 따른 LED 램프는 카메라 모듈의 전방으로 렌즈모듈의 주변부에 배치되어 홍채 패턴의 촬영에 필요한 파장 대역의 빛을 전방으로 조사하며, 온/오프 동작은 제어부에 의해 제어된다. 온/오프 동작은 홍채인식모드로 사용할 경우에는 고휘도 LED 램프는 Off가 되고 적외선 LED램프만 교대로 On이된다. 이와 반대로 일반 촬영모드에서는 적외선 LED 램프는 Off 되고,The LED lamp according to the present invention is disposed in the periphery of the lens module in front of the camera module to irradiate the light of the wavelength band required for the imaging of the iris pattern to the front, the on / off operation is controlled by the controller. When the on / off operation is used in the iris recognition mode, the high brightness LED lamp is turned off and only the infrared LED lamp is turned on alternately. In contrast, the IR LED lamp turns off in normal shooting mode.

고휘도 LED 는 On이 된다.
High brightness LED is On.

LED 램프로부터 조사된 빛은 피사체 및 피인식자의 홍채에 반사되고 밴드패스 필터를 투과하여 렌즈모듈로 입사된다. LED 램프로는 홍채 패턴의 촬영에 적합한 파장 대역인 적외선 파장의 빛을 조사하는 IR LED 램프(적외선 LED 램프)와 피사체의 촬영에 적합한 파장인 가시광선 파장의 빛을 조사하는 고휘도 LED 램프(플래쉬 램프)를 사용하도록 한다. 또한, 고휘도 LED 램프는 조사된 빛이 한곳에 집중되는 것을 방지하기 위하여 집광 영역의 각도를 상하좌우 40° 이상 넓히도록 하며, 적외선 LED 램프는 조사된 빛을 한곳에 집중시키기 위해 집광 영역의 각도를 상하좌우 25° 로 좁히고 파장대역은 730 ~ 900nm 파장을 방사하는 LED 램프를 사용하고, 바람직하게는 780nm의 단일파장을 방사하는 LED 램프와 850nm의 단일파장을 방사하는 LED 램프를 교대로 방사시키고, 방사 대역(780, 850nm)에서 피크를 이루도록 하여 푸른색, 초록색 눈의 서양인과 갈색 눈의 동양인이 방사대역에 따라 한쪽은 밝고, 한쪽은 어둡게 촬영되는 것을 방지한다.
The light irradiated from the LED lamp is reflected on the subject's and the iris of the person to be recognized, and passes through the bandpass filter to enter the lens module. LED lamps include IR LED lamps (infrared LED lamps) that irradiate light in the infrared wavelengths, which are suitable for shooting iris patterns, and high-brightness LED lamps (flash lamps, which emit light in the visible wavelengths, which are suitable for shooting subjects). ). In addition, the high-brightness LED lamps widen the angle of the light converging area by more than 40 ° to prevent the focused light from being concentrated in one place.Infrared LED lamps are used to increase the angle of the light converging area by concentrating the light in one place. Narrow the wavelength to 25 ° and use an LED lamp that emits wavelengths of 730-900 nm, preferably alternately emit LED lamps that emit a single wavelength of 780 nm and LED lamps that emit a single wavelength of 850 nm, Peak at (780, 850nm) prevents blue and green eyes Westerners and brown eyes Asians from shooting light on one side and dark on the other.

도 4는 본 발명의 일 실시 예에 따른 LED 램프의 배치 및 각도를 보여주는 실시예도이다.
Figure 4 is an embodiment showing the arrangement and angle of the LED lamp according to an embodiment of the present invention.

LED 램프의 배치 및 각도에 있어서, In the arrangement and angle of the LED lamp,

적외선 LED 램프 배치는 렌즈모듈 중심에서 수직 하단 부를 기준으로 좌우 45도 사이를 두고 2개를 배치하며, 각도는 양안이 촬영거리를 맞추기 위한 사각형 테두리 안으로 위치하였을 때, 적외선 LED 램프의 광원 중심이 홍채 외부 경계선 밖을 향하도록 한다. 바람직하게는 적외선 LED 램프의 광원 중심이 상기 양안을 조준하여 위치시키는 사각형 테두리 좌우 수직선 중심을 향하도록 한다. 따라서 LED 램프로부터 조사된 빛이 피인식자의 홍채에 그린츠가 생기지 않도록 최대한 방지 할 수 있게 된다.Infrared LED lamps are placed between the left and right 45 degrees from the center of the lens module, and two are arranged.The angle of the light source of the infrared LED lamp is centered in the iris when both eyes are positioned within the rectangular border to match the shooting distance. Point outwards to the outer boundary. Preferably, the center of the light source of the infrared LED lamp is directed toward the center of the left and right vertical lines of the rectangle borders aimed at both eyes. Therefore, the light irradiated from the LED lamp can be prevented as much as possible so that Greenz does not occur in the iris of the subject.

고휘도 LED 램프위치는 렌즈모듈 중심에서 수직 하단 부를 기준으로 좌우 중심에 1개를 배치하여, 각도는 양안이 촬영거리를 맞추기 위한 사각형 테두리 안으로 위치하였을 때 상기 사각형 테두리 하단 수평선 중심을 향할 수 있도록 한다.
The high-brightness LED lamp is positioned at the center of the left and right with respect to the vertical bottom portion from the center of the lens module, so that the angles can be directed toward the center of the horizontal line at the bottom of the rectangular edge when both eyes are positioned in the rectangular frame to match the shooting distance.

도 5는 본 발명의 일 실시 예에 따른 양질의 홍채 및 피사체 영상을 촬영하기위한 카메라 시스템의 구성도이다.
5 is a block diagram of a camera system for capturing a high quality iris and a subject image according to an embodiment of the present invention.

본 발명에 따른 프리뷰 모드에서, 이미지 처리 회로 내의 화이트밸런스(WB) 조정 회로는 In the preview mode according to the invention, the white balance (WB) adjustment circuit in the image processing circuit is

첫 번째로는 캡쳐모드로서, CMOS 이미지센서 로부터 출력된 이미지의 색상에 대한 화이트밸런스 조정을 수행하기 위한 제1 화이트밸런스 보정 값을 생성하고 이 제1 화이트밸런스 보정 값을 영상에 적용한다. 상기 제1 화이트밸런스 보정 값은 프리뷰 모드에서 CMOS 이미지센서로부터 입력되는 이미지에 대한 화이트밸런스 조정을 수행하기 위한 보정 값으로, 주지의 자동 화이트밸런스 조정 알고리즘이 적용될 수 있다. 예를 들어, 입력 이미지에 대한 색차신호 분석을 통해 무채색으로 추정할 수 있는 영역을 설정하고 이 무채색 추정 영역의 화소들에 대한 평균 색상 값을 구하여 평균 적색 값과 평균 청색 값이 평균 녹색 값과 동일해지도록 조정할 수 있는 적색 및 청색 보정 값을 결정하고 이를 입력 이미지에 적용하는 알고리즘이 상기 화이트밸런스 조정 회로에 적용될 수 있다.First, as a capture mode, a first white balance correction value is generated to perform white balance adjustment on the color of the image output from the CMOS image sensor, and the first white balance correction value is applied to the image. The first white balance correction value is a correction value for performing white balance adjustment on an image input from the CMOS image sensor in the preview mode, and a known automatic white balance adjustment algorithm may be applied. For example, by setting the area that can be estimated as achromatic color by analyzing the chrominance signal of the input image, and calculating the average color value for the pixels of the achromatic color estimation area, the average red value and the average blue value are equal to the average green value. An algorithm that determines the red and blue correction values that can be adjusted to cancel and apply them to the input image may be applied to the white balance adjustment circuit.

두 번째로는, 이미지센서의 적어도 일부 화소를 이용하여 상기 이미지센서의 출력이득 및 전자 롤링 셔터의 셔터속도를 결정하고 화이트밸런스 조정을 위한 제1 화이트밸런스 보정 값을 생성하는 단계Secondly, determining the output gain of the image sensor and the shutter speed of the electronic rolling shutter using at least some pixels of the image sensor, and generating a first white balance correction value for white balance adjustment.

셔터 릴리스 스위치 입력에 의해 캡쳐모드로 전환되면, 이미지 캡처를 위한 기계셔터속도 및 이미지센서의 출력이득을 결정하는 단계 및Determining the output speed of the image sensor and the mechanical shutter speed for capturing an image when the shutter release switch input is switched to the capture mode; and

플래시 발광 여부를 확인하고, 상기 플래시 발광 여부 및 상기 기계셔터의 속도에 따라 상기 제1 화이트밸런스 보정 값, 상기 플래시 광의 색온도에 따른 제2 화이트밸런스 보정 값 및 상기 제1 및 제2 화이트밸런스 보정 값을 이용하여 산출된 제3 화이트밸런스 보정값 중 하나를 상기 캡쳐모드의 화이트밸런스 보정 값으로 결정하는 단계를Check whether the flash is fired, the first white balance correction value, the second white balance correction value according to the color temperature of the flash light, and the first and second white balance correction values according to whether the flash is fired and the speed of the machine shutter; Determining one of the third white balance correction value calculated by using as the white balance correction value of the capture mode

포함하는 플래시를 이용한 촬영에서의 화이트밸런스 조정 방법을 제공한다.
Provided is a white balance adjustment method in photographing using an included flash.

도 6은 본 발명의 일 실시 예에 따른 프리뷰 모드에서 캡쳐모드 완료단계까지의 순서를 보여주는 흐름도이다.
6 is a flowchart illustrating a procedure from the preview mode to the completion of the capture mode according to an embodiment of the present invention.

본 발명의 바람직한 실시형태에서, 상기 캡쳐모드의 화이트밸런스 보정 값으로 결정하는 단계는, 발광금지 모드, 자동모도 및 강제발광 모드 중 하나로 설정된 상기 플래시의 작동 모드를 확인하는 단계 상기 플래시 작동 모드가 자동 모드일 경우, 상기 이미지 캡쳐모드에서 결정된 기계셔터속도를 사전 설정된 제1 임계값과 비교하는 단계 상기 플래시의 작동 모드가 발광금지 모드이거나 상기 기계셔터속도가 상기 제1 임계값보다 작은 경우, 상기 캡쳐모드의 화이트밸런스 보정값을 상기 제1 화이트밸런스 보정 값으로 결정하는 단계 상기 플래시 작동 모드가 강제발광 모드이거나 상기 기계셔터속도가 상기 제1 임계값보다 큰 경우, 상기 기계셔터속도와 사전 설정된 제2 임계값을 비교하는 단계 상기 기계셔터속도가 상기 제2 임계값보다 큰 경우, 상기 캡쳐모드의 화이트밸런스 보정 값을 상기 제2 화이트밸런스 보정 값으로 결정하는 단계 및 상기 기계셔터속도가 상기 제2 임계값보다 작은 경우, 상기 제3 화이트밸런스 보정 값을 산출하고, 상기 캡쳐모드의 화이트밸런스 보정 값을 상기 제3 화이트밸런스 보정 값으로 결정하는 단계를 포함할 수 있다.
In a preferred embodiment of the present invention, the determining of the white balance correction value of the capture mode comprises: checking an operation mode of the flash set to one of a prohibition mode, auto mode and a forced flash mode; Comparing the machine shutter speed determined in the image capturing mode with a first predetermined threshold value when the operation mode of the flash is a flash prohibition mode or when the machine shutter speed is smaller than the first threshold value. Determining a white balance correction value of a mode as the first white balance correction value, when the flash operation mode is a forced light emission mode or when the machine shutter speed is greater than the first threshold value, the machine shutter speed and a second preset value Comparing the threshold value, if the machine shutter speed is greater than the second threshold value, Determining a white balance correction value of the capture mode as the second white balance correction value, and calculating the third white balance correction value when the machine shutter speed is smaller than the second threshold value, The method may include determining a white balance correction value as the third white balance correction value.

본 발명의 일 실시형태에서, 상기 제3 화이트밸런스 보정 값은, 상기 제1 및 제2 화이트밸런스 보정값에 각각 가중치를 적용하여 합산함으로써 산출될 수 있다. 바람직하게, 상기 가중치는 상기 캡쳐모드에서 설정된 상기 기계셔터속도 및 이미지센서의 출력에 따라 결정될 수 있다.
In one embodiment of the present invention, the third white balance correction value may be calculated by summing by applying weights to the first and second white balance correction values, respectively. Preferably, the weight may be determined according to the machine shutter speed set in the capture mode and the output of the image sensor.

또한, 본 발명의 바람직한 실시형태에서, 상기 제3 화이트밸런스 보정 값으로 결정하는 단계는, 하기 수학식 1(a) 및 식 1(b) 에 따라 상기 제3 화이트밸런스 보정 값을 산출하는 단계를 포함할 수 있다.Also, in the preferred embodiment of the present invention, the determining of the third white balance correction value may include calculating the third white balance correction value according to Equations 1 (a) and 1 (b) below. It may include.

수학식 1
Equation 1

(a)

(b)

상기 식 1(a) 및 식 1(b)에서, WB1-WB3은 상기 제1 내지 제3 화이트밸런스 보정 값, A는 상기 가중치, TC는 상기 캡쳐모드에서 결정된 기계셔터속도, GC는 상기 캡쳐모드에서 결정된 이미지센서의 출력이득, TMIN는 사전 설정된 플래시 발광시의 최소 기계셔터속도, GP는 상기 프리뷰 모드에서의 상기 이미지센서의 출력이득, TMAX는 상기 캡쳐모드에서 최대 기계셔터속도, GMAX는 상기 캡쳐모드에서 이미지센서의 최대 출력이득을 각각 나타낸다.In Equations 1 (a) and 1 (b), WB1-WB3 are the first to third white balance correction values, A is the weight, TC is a machine shutter speed determined in the capture mode, and GC is the capture mode. The output gain of the image sensor determined at, TMIN is the minimum machine shutter speed at a predetermined flash firing, GP is the output gain of the image sensor in the preview mode, TMAX is the maximum machine shutter speed in the capture mode, GMAX is the capture Each mode represents the maximum output gain of the image sensor.

상기 식 1에서 화이트밸런스 이득은 단일 값으로 표현되었으나, 전술한 통상적인 화이트밸런스 조정방식, 즉 적색 및 청색 값을 녹색과 일치시키는 방식의 화이트밸런스 조정방식에서는, 상기 제1 내지 제3 화이트밸런스 조정 값은 적색 및 청색에 조정 값을 모두 나타내는 것으로 이해될 수 있다.
In the above Equation 1, the white balance gain is expressed as a single value, but in the above-described conventional white balance adjustment method, that is, the white balance adjustment method in which the red and blue values match green, the first to third white balance adjustments are made. The value can be understood to represent both the adjustment value in red and blue.

상기와 같이, 캡쳐모드에 사용될 화이트밸런스 조정 값이 결정되면, 메인 제어회로에 의해 기계셔터를 동작시키기 위한 명령이 조리개?기계셔터 구동회로에 전달되고, 상기 조리개?기계셔터 구동회로는 상기 제어회로의 명령에 따라 기계셔터 모터를 기동하여 셔터 막을 연다. 상기 단계에서 플래시 발광이 필요한 것으로 판단된 경우, 메인 제어회로는 플래시 구동회로로 발광명령을 전달하고 플래시 구동회로는 발광명령에 따라 플래시를 셔터막이 닫히기 이전에 발광시킬 수 있다. 셔터막이 닫힘으로써 생성된 캡처 이미지는 전술한 제3 화이트밸런스 보정 값이 적용되어 이미지 처리 회로부에서 출력되고 이 출력 이미지는 메모리 카드 등에 파일의 형태로 저장될 수 있다.As described above, when the white balance adjustment value to be used in the capture mode is determined, a command for operating the mechanical shutter is transmitted to the aperture-machine shutter driving circuit by the main control circuit, and the aperture-machine shutter driving circuit is the control circuit. Start the mechanical shutter motor and open the shutter curtain as instructed. When it is determined that flash emission is necessary in this step, the main control circuit may transmit a light emission command to the flash drive circuit, and the flash drive circuit may emit the flash before the shutter film is closed according to the light emission command. The captured image generated by closing the shutter film is output from the image processing circuit unit by applying the third white balance correction value described above, and the output image may be stored in the form of a file in a memory card or the like.

이상에서 설명한 바와 같이, 본 발명의 일 실시형태에 따르면, 별도의 하드웨어 추가 없이 통상적인 카메라 시스템에 구비된 구성요소들을 이용하여 간단한 연산에 의해 플래시 및 주변광이 혼재하는 환경에서의 화이트밸런스 조정을 효과적으로 수행할 수 있다.
As described above, according to one embodiment of the present invention, white balance adjustment is performed in an environment in which flash and ambient light are mixed by simple calculations using components provided in a conventional camera system without additional hardware. It can be done effectively.

본 발명에 따른 오토 포커싱 방법은Auto focusing method according to the present invention

피사체의 거리를 이미지 자체만을 가지고 컴퓨터 분석을 통하여 결정한다. 카메라는 실제로 화면상에 표시된 피사체의 관심영역(양쪽 눈, 즉 양안)을 조준하여 내부에 위치시킬 피사체의 구도(직사각형 테두리)와 동일한 정보를 통해 . 즉, 카메라는 렌즈를 통해 결상된 상을 촬상 소자에 맺히도록 하고, 촬상 소자의 픽셀의 조각들을 보고 인접한 픽셀들 가운데 강도의 차이점을 본다. 만약 배경이 포커스에서 벗어나 있으면 픽셀들은 매우 비슷한 강도를 갖게 되고, 배경이 포커스에 일치하면 인접한 픽셀들 사이에서 강도의 차이가 크게 된다. 결국 오토 포커스는 인접한 픽셀들 사이에서 강도의 차이가 가장 많은 지점(렌즈의 위치)을 찾는 것이다.
The distance of the subject is determined by computer analysis using only the image itself. The camera uses the same information as the composition (rectangular border) of the subject to be positioned inside by aiming the area of interest (both eyes, or both eyes) of the subject displayed on the screen. That is, the camera causes an image formed through the lens to be formed on the image pickup device, and the pieces of pixels of the image pickup device are viewed to see differences in intensity among adjacent pixels. If the background is out of focus, the pixels will have very similar intensities, and if the background is in focus, the difference in intensity between adjacent pixels will be large. After all, autofocus is to find the point (lens position) with the largest difference in intensity between adjacent pixels.

오토포커스 카메라장치가 부착된 무선통신장치(휴대폰, 스마트폰, PDA등)의 터치스크린을 N개의 서브 화면으로 분할하고 분할한 서브 화면에 대한 화면상의 좌표 영역 정보(서브 화면 영역)와 이 서브 화면 영역에 대응된 측거 정보를 저장한 상태에서, 촬영자에 의한 촬영 모드 설정에 따라 초기 설정된 오토 포커스를 수행하여 피사체를 터치스크린 상에 표시하는 제1 단계 양안이 조준되어 위치될 수 있도록 직사각형의 윈도우를 설정하여 표시하는 2단계 양안이 조준되어 직사각형 윈도우에 위치되었을 때 직사각형 부분의 화면상의 좌표를 산출하는 제3단계 상기 산출한 화면상의 좌표를 포함하는 상기 서브 화면 영역을 파악하는 제4 단계 및 상기 서브 화면 영역에 대응하는 상기 측정거리 정보에 따라 오토 포커스를 수행하는 제5 단계를 포함하는 미리 정해진 촬영거리내의 화면에 대한 오토 포커싱 위치 변경 방법을 제공한다.
On-screen coordinate area information (sub-screen area) of the sub-screen divided by N sub-screens of a wireless communication device (mobile phone, smart phone, PDA, etc.) equipped with an autofocus camera device, and this sub-screen In the state in which the ranging information corresponding to the area is stored, the rectangular window may be positioned so that both eyes of the first step of displaying the subject on the touch screen may be positioned by performing auto focus initially set according to the shooting mode setting by the photographer. A second step of calculating the on-screen coordinates of the rectangular portion when both eyes set and displayed are aimed and positioned in the rectangular window; a fourth step of identifying the sub-screen area including the calculated on-screen coordinates; And a fifth step of performing auto focus according to the measurement distance information corresponding to the screen area. Lee provides a method for changing the auto focusing position on the screen in a predetermined focus distance.

도 7은 본 발명의 일 실시 예에 따른 서브 화면 영역에 대응하는 피사체까지의 측정거리 정보에 따라 오토 포커싱을 수행하는 단계별 순서를 보여주는 실시예도이다.
FIG. 7 is a flowchart illustrating a step-by-step procedure of performing auto focusing based on measurement distance information to a subject corresponding to a sub screen area according to an exemplary embodiment.

상기 측정거리 정보는 상기 서브 화면의 중심 픽셀 좌표이며, 그에 따라 상기 제5 단계는 상기 서브 화면의 중심 픽셀을 기준으로 인접한 픽셀들 사이에서의 강도 차이를 측정하여 오토 포커싱을 수행하는 것이 바람직하다.
The measurement distance information is center pixel coordinates of the sub screen, and according to the fifth step, auto focusing may be performed by measuring an intensity difference between adjacent pixels based on the center pixel of the sub screen.

본 발명의 일실시 예에서 렌즈부에는 근적외선을 이용하기 위하여 렌즈부에 적외선 컷오프 필터가 제거되어야 한다. 이렇게 렌즈부에 적외선 컷오프 필터를 제거하면, 근적외선 파장을 이용하여 야간 인물 촬영 시에 AF 효과를 개선할 수 있으나 주간 촬영 시에 적외선에 의해 화면이 전체적으로 붉게 나타나는 현상이 발생하게 된다.
In an embodiment of the present invention, the infrared cutoff filter should be removed from the lens unit in order to use near infrared rays in the lens unit. When the infrared cutoff filter is removed in the lens unit, the AF effect may be improved when photographing a night person by using near infrared wavelengths, but a phenomenon in which the screen appears entirely red by infrared rays during daytime photographing may occur.

이제 본 발명에서 ISP의 내부구조를 도면과 함께 상세하게 설명하면 다음과 같다.
Now, the internal structure of the ISP in the present invention will be described in detail with reference to the drawings.

도 8는 본 발명의 일 실시 예에 따른 ISP의 내부구조를 보여주는 블록도이다.
8 is a block diagram showing the internal structure of an ISP according to an embodiment of the present invention.

도 8에서 보는 바와 같이, 본 발명에서 ISP는 오토 포커싱부와 GIP(General Image Processing)부로 이루어진다.As shown in FIG. 8, in the present invention, the ISP includes an auto focusing unit and a GIP (General Image Processing) unit.

오토 포커싱 부는 이미지 센서에서 출력된 영상신호 중에서 근적외선 성분이 포함된 레드 채널에 대한 에지 분석을 하는 역할을 한다.The auto focusing unit performs edge analysis on the red channel including the near infrared component among the image signals output from the image sensor.

GIP부는 레드 채널을 포함한 이미지 센서에서 출력된 영상신호 및 오토 포커싱부에서 출력된 신호를 처리하는 역할을 한다. 도 1의 실시 예에서, GIP부는 레드 채널, 그린 채널(Green Channel), 블루 채널(Blue Channel)의 영상신호 및 오토 포커싱부에서 출력된 신호를 처리하게 된다.
The GIP unit processes the image signal output from the image sensor including the red channel and the signal output from the auto focusing unit. In the embodiment of FIG. 1, the GIP unit processes an image signal of a red channel, a green channel, a blue channel, and a signal output from an auto focusing unit.

도 8에서 오토 포커싱 부는 렌즈 이동부, 에지 패스 필터부, 에지 분석 부를 포함하여 이루어진다.In FIG. 8, the auto focusing unit includes a lens moving unit, an edge pass filter unit, and an edge analyzing unit.

렌즈 이동부는 렌즈 부를 원점에서부터 바깥쪽으로 이동시키는 역할을 한다. 다시 말해서, 렌즈 이동부는 렌즈 부를 무한대 초점에서부터 접사 초점까지 이동시키는 역할을 한다.The lens moving part moves the lens part outward from the origin. In other words, the lens shifter moves the lens section from infinity focus to macro focus.

에지 패스 필터부는 레드 채널에 대한 에지 이미지를 얻기 위한 소정의 필터를 구비하고 있다. 본 발명의 일 실시 예에서 에지 패스 필터부는 소벨 필터(Sobel filter)로 구성될 수 있다.The edge pass filter section includes a predetermined filter for obtaining an edge image for the red channel. In one embodiment of the present invention, the edge pass filter unit may be configured as a Sobel filter.

참고로 소벨 필터는 사물의 윤곽선을 검출하는 필터로서, 비선형 연산자를 사용하는 마스크 윈도우 영역에서 양 끝단에 속한 화소들 사이의 합의 차이를 구한 후, 이를 수평과 수직 방향에 대한 평균 크기를 구함으로써 경계 부위를 강조하는 필터이다. 소벨 필터는 보통 3*3 크기의 창으로 정의되며, 잡음에 강하고 굵게 나타나는 특성을 갖는다.For reference, the Sobel filter is a filter that detects the contour of an object. In the mask window area using a nonlinear operator, the Sobel filter obtains a difference between sums of pixels at both ends, and then obtains an average size of the horizontal and vertical directions. A filter that emphasizes the area. Sobel filters are usually defined as 3 * 3 windows and are characterized by strong and bold noise.

에지 분석 부는 렌즈부의 이동시에 에지 패스 필터부에서 얻은 이미지 중에서 에지 정보가 가장 많은 이미지를 GIP부에 전송하는 역할을 한다. 예를 들어, 도 8의 실시 예에서 에지 분석 부는 렌즈 이동부가 렌즈 부를 이동시키면서 에지 패스 필터부에서 얻은 이미지를 분석하여 에지 정보가 가장 많은 이미지를 GIP부에 전송하게 된다.The edge analyzing unit transmits the image having the most edge information among the images obtained by the edge pass filter unit when the lens unit is moved, to the GIP unit. For example, in the embodiment of FIG. 8, the edge analyzing unit analyzes an image obtained by the edge pass filter unit while the lens moving unit moves the lens unit, and transmits the image having the most edge information to the GIP unit.

이처럼 본 발명의 카메라 모듈에서는 저 조도에서 발산되는 근적외선을 이용하여 에지 정보를 처리함으로써, 야간 및 저 조도 피사체 촬영 시에 AF 기능을 향상시킬 수 있게 된다. 본 발명에서는 이러한 현상을 해결하기 위하여 화이트 밸런스 프로세싱(White balance processing)을 제안한다.As described above, in the camera module of the present invention, the edge information is processed by using near-infrared rays emitted at low illumination, thereby improving the AF function at the time of photographing the night and low-light subjects. The present invention proposes white balance processing to solve this phenomenon.

본 발명에서 ISP는 주간 촬영 시에 적외선 컷오프 필터의 미사용 조건 정보를 수집하고, 이 정보를 화이트 밸런스 프로세싱 처리하여 화면이 붉게 나타나는 현상을 방지한다.
In the present invention, the ISP collects unused condition information of the infrared cutoff filter during daytime photographing, and white balance processing of the information prevents the screen from appearing red.

오토포커스는 서브 화면의 중심 좌표에 대응하는 픽셀(이하, '중심셀'이라 함)을 기준으로 주변 픽셀들 간의 강도 차이를 측정하여 오포포커싱을 수행한다.The autofocus measures the difference in intensity between neighboring pixels based on a pixel corresponding to the center coordinate of the sub-screen (hereinafter, referred to as a 'center cell') and performs the focusing.

이하, 도 9와 도 10를 참조하여 본 발명의 제1 실시 예를 설명한다. 도 9는 본 발명의 제1 실시 예에 따른 카메라 장치에서촬영 부분에 대한 블록 구성도이다.Hereinafter, a first embodiment of the present invention will be described with reference to FIGS. 9 and 10. 9 is a block diagram of a photographing portion in the camera apparatus according to the first embodiment of the present invention.

도 9에 도시된 바와 같이, 제1 실시 예에 따른 오토포커스 카메라장치는 측정 거리 부, 터치스크린, 좌표 산출 부, 제어 부, 저장 부, 렌즈구동 부, 오토포커스 부와, 렌즈 부를 포함한다.
As shown in FIG. 9, the autofocus camera apparatus according to the first embodiment includes a measurement distance unit, a touch screen, a coordinate calculation unit, a control unit, a storage unit, a lens driver, an autofocus unit, and a lens unit.

상기와 같이 구성된 본 발명의 오토포커스 카메라장치의 동작을 도 10를 참조로 하여 설명한다.
The operation of the autofocus camera device of the present invention configured as described above will be described with reference to FIG.

도 10는 본 발명의 제1실시 예에 따른 고정 피사체에 대한 오토 포커싱 위치 변경 방법을 보인 순서도이다.
10 is a flowchart illustrating a method of changing an autofocusing position with respect to a fixed subject according to a first embodiment of the present invention.

오토포커스 카메라장치가 촬영자에 의해 카메라 모드(즉, 촬영 모드)로 설정되면, 제어 부는 렌즈부에 의해 결상된 피사체의 상을 터치스크린에 표시하고 측정거리부를 제어하여 설정된 기준에 따라 오토포커싱을 수행한다.When the autofocus camera device is set to the camera mode (ie, the shooting mode) by the photographer, the control unit displays an image of the subject formed by the lens unit on the touch screen and controls the measuring distance unit to perform autofocusing according to the set criteria. do.

그러면 촬영자는 터치스크린을 통해 피사체의 상을 보고 카메라를 이리 저리 움직여 촬영하고자 하는 피사체 구도를 설정한다.Then, the photographer looks at the image of the subject through the touch screen and moves the camera around to set the composition of the subject to be photographed.

좌표 산출 부는 터치스크린에서 반응 신호가 발생한 부분의 좌표를 산출하여 제어부에 제공하고, 제어 부는 좌표 산출부에서 제공받은 좌표를 저장부에 저장된 서브 화면별 영역과 비교하여 촬영자가 미리 설정한 사각형 서브 화면을 판단한다.The coordinate calculating unit calculates the coordinates of the part where the response signal is generated on the touch screen and provides them to the controller, and the control unit compares the coordinates provided by the coordinate calculating unit with the sub-screen area stored in the storage unit and sets the rectangular sub-screen preset by the photographer. To judge.

제어 부는 촬영자가 미리 설정한 피사체 구도 안에 들어오면, 이 서브 화면에 매칭 되어 저장된 측정거리이동정보를 저장부로부터 찾아 측정거리부에 제공하여 해당 서브 화면에 대응한 측정거리를 지시하고 그 응답으로 측정거리부로부터 측정 거리 값을 제공받는다.When the photographer enters the preset subject composition, the control unit searches the storage unit for the measured distance movement information stored in the sub-screen, which is matched with the sub-screen, and indicates the measurement distance corresponding to the sub-screen. The distance value is provided from the distance unit.

제어 부는 해당 서브 화면에 대응한 측정 거리 값을 파악하면 측정 거리 값에 따른 오토 포커싱을 위해 오토 포커스부에 중심 픽셀 좌표를 제공하여 오토포커스의 수행을 지시한다. 이에 오토 포커스 부는 수신한 중심 픽셀 좌표에 해당하는 화면의 픽셀을 파악하고, 이 중심 픽셀 및 이의 주변 픽셀들 간의 신호 강도 차이를 확인한다. 그런 다음 오토 포커스 부는 렌즈구동부의 동작을 제어하고, 이에 렌즈 구동 부는 렌즈 부를 이루는 렌즈들을 이동시켜 픽셀들 간에 가장 큰 강도 차이를 보이는 지점을 찾는 오토포커스를 수행한다.When the controller detects the measured distance value corresponding to the corresponding sub-screen, the controller provides a center pixel coordinate to the auto focus unit for auto focusing according to the measured distance value to instruct the execution of autofocus. Accordingly, the auto focus unit detects pixels on the screen corresponding to the received center pixel coordinates, and checks the difference in signal strength between the center pixel and its surrounding pixels. Then, the auto focus unit controls the operation of the lens driving unit, and the lens driving unit moves the lenses constituting the lens unit to perform an autofocus to find a point showing the greatest difference in intensity between pixels.

이러한 오토포커싱에 의해 렌즈부에 입사된 광은 해당 서브 화면의 측정거리 값에 따라 상이 결상되는데, 이때 결상된 상은 촬영자가 미리 설정한 서브 영역이 가장 선명하게 나타난다. 결국, 촬영자는 피사체가 관심영역이 가장 선명한 화상을 터치스크린을 통해 확인하고 촬영할 수 있게 된다.
The light incident on the lens unit by the auto focusing forms an image according to the measurement distance value of the corresponding sub-screen. In this case, the sub-region preset by the photographer appears most clearly. As a result, the photographer can check and capture an image in which the subject has the clearest region of interest through the touch screen.

본 발명에 따른 손 떨림 보정 영상 생성 방법은,The image stabilization image generating method according to the present invention,

제1노출도 조건에 대응되는 제1디지털 영상 데이터와 제2노출도 조건에 대응되는 복수의 제2디지털 영상 데이터를 출력하는 영상신호 처리 부 상기 복수의 제2디지털 영상에 대한 이진 영상과 반전 영상 중 객체 수가 많은 영상에서 객체를 추적함으로써 기준 제2디지털 영상(기준 영상)을 기준으로 다른 제2디지털 영상(비교 영상)의 움직임을 보정하고 기준 영상과 보정된 비교 영상을 중첩시켜 손 떨림 보정 영상을 생성하는 손 떨림 보정부 및 상기 제1디지털 영상의 속성을 기준으로 상기 손 떨림 보정 영상의 속성을 보정하는 영상속성 밴드패스 필터가 상기와 같은 가시광선 및 적외선 투과율을 가짐으로써 밴드패스필터를 통해 적외선과 가시광선 파장 대역의 빛이 모두 투과되어 렌즈모듈로 입사될 수 있으므로, 적외선 영역의 조명이 필요한 홍채 패턴촬영과 함께 가시광선 영역의 조명이 필요한 일반 피사체의 촬영이 가능해지게 된다.
Image signal processing unit for outputting first digital image data corresponding to a first exposure degree condition and a plurality of second digital image data corresponding to a second exposure degree condition Binary and inverted images of the plurality of second digital images By tracking the object in the image with a large number of objects, the motion of another second digital image (comparative image) is corrected based on the reference second digital image (reference image), and the image stabilization image is superimposed by superimposing the corrected comparison image with the reference image. The image stabilization bandpass filter for generating the image stabilization unit and the image stabilization bandpass filter for correcting the attributes of the image stabilizer based on the attributes of the first digital image have the visible light and the infrared ray transmittance through the bandpass filter. Since both light in the infrared and visible wavelength bands can pass through and enter the lens module, the iris requiring illumination in the infrared region In addition to pattern shooting, it becomes possible to shoot a general subject requiring illumination in the visible region.

바람직하게, 상기 제1디지털 영상 데이터는 자동 노출 모드의 노출 도에서 촬영된 미리보기 영상 데이터이고, 상기 복수의 제2디지털 영상 데이터는 상기 자동 노출 모드의 노출도보다 낮은 노출 도에서 일정한 간격을 두고 연속적으로 촬영된 정지 캡처 영상이다.Preferably, the first digital image data is preview image data photographed at an exposure level of the automatic exposure mode, and the plurality of second digital image data are spaced at a predetermined exposure interval lower than that of the automatic exposure mode. It is a continuous capture image taken continuously.

본 발명에 따르면, 상기 손 떨림 보정 부는, According to the present invention, the hand shake correction unit,

기준 영상과 각 비교 영상의 이진 영상과 반전 영상 중 객체 수가 많은 영상을 기준으로 객체 추적을 통해 객체를 라벨링 하는 객체 라벨링 부;An object labeling unit for labeling an object by tracking an object based on an image having a large number of objects among a binary image and an inverted image of the reference image and each comparison image;

기준 영상의 객체와 대응되는 각 비교 영상의 객체 파라미터를 상호 대비하여 각 비교 영상의 움직임량을 산출하는 움직임량 산출 부;A motion amount calculating unit configured to calculate a motion amount of each comparison image by comparing an object parameter of each comparison image corresponding to the object of the reference image;

산출된 각 움직임량을 해당하는 비교 영상에 적용하여 비교 영상의 움직임을 보정하는 움직임 보정 부 및 상기 움직임이 보정된 각 비교 영상과 기준 영상을 중첩시켜 손 떨림 보정 영상을 생성하는 보정영상 생성 부를 A motion correction unit for correcting the motion of the comparison image by applying the calculated amounts of motion to a corresponding comparison image, and a correction image generation unit for generating a hand shake correction image by superimposing the reference image with each comparison-corrected motion image;

포함한다..

도 11은 본 발명의 일 실시 예에 따른 손 떨림 보정을 위한 단계별 방법을 보여주는 블록별 흐름도이다.
11 is a block diagram illustrating a step-by-step method for image stabilization according to an embodiment of the present invention.

바람직하게, 상기 객체 라벨링 부는, 기준 영상과 각 비교 영상을 이진 영상으로 변환하는 영상 이진화기 기준 영상과 각 비교 영상의 이진 영상을 반전 영상으로 변환하는 영상 반전기 각 이진 영상과 각 반전 영상으로부터 객체를 라벨링 하는 객체 라벨러 및 기준 영상의 이진 영상과 반전 영상에 포함된 객체의 수를 비교하여 이 진 영상 및 반전 영상 중 객체의 수가 많은 영상의 종류를 객체 추적 영상으로 선택하는 영상 선택기를 포함한다.Preferably, the object labeling unit, an image binarizer for converting a reference image and each comparison image into a binary image, an image inverter for converting a binary image of the reference image and each comparison image into an inverted image, and an object from each binary image and each inverted image. An object labeler for labeling and an image selector for selecting a type of an image having a large number of objects among the binary image and the reverse image as the object tracking image by comparing the number of objects included in the binary image and the reverse image of the reference image.

더욱 바람직하게, 상기 객체 라벨링부는, 기준 영상과 각 비교 영상을 필터링하여 경계를 선명 화하는 영상 여파기 및 상기 영상 여파기로부터 출력되는 경계 선 명화 영상과 이진 영상 및 반전 영상을 합성하는 영상 합성기를 더 포함한다. 이런 경우, 상기 객체 라벨러는 합성 이진영상과 합성 반전 영상으로부터 객체를 라벨링 한다.
More preferably, the object labeling unit further includes an image filter for filtering a reference image and each comparison image to sharpen a boundary, and an image synthesizer for synthesizing a boundary sharpening image, a binary image, and an inverted image output from the image filter. do. In this case, the object labeler labels the object from the composite binary image and the composite inverted image.

본 발명에 따르면, 상기 객체 라벨링부의 전단에, 복수의 제2디지털 영상의 크기를 다운 스케일링하거나 일정폭의 영상 바운더리를 클리핑 하여 영상을 리사이징하는 영상 리사이저 또는 기준 영상으로 입력되는 제2디지털 영상과 비교 영상으로 입력되는 제2디지털 영상 사이의 움직임 벡터를 산출하였을 때 움직임 벡터의 크기가 임계 치를 초과하거나, 기준 영상으로 입력되는 제2디지털 영상과 비교 영상으로 입력되는 제2디지털 영상 사이의 XOR 연산 영상을 산출하였을 때 XOR 연산 연상의 밝기 평균이 임계 치를 초과하지 않는 비교 영상을 객체 라벨링의 대상에서 제외시키는 영상 선별 부를 더 포함할 수 있다.
According to the present invention, a second digital image input as an image resizer or a reference image for resizing an image by downscaling the sizes of a plurality of second digital images or clipping a predetermined image boundary on a front end of the object labeling unit; When the motion vector between the second digital image input as the comparison image is calculated, the size of the motion vector exceeds a threshold value, or the XOR operation between the second digital image input as the reference image and the second digital image input as the comparison image The image selection unit may further include an image selection unit to exclude the comparison image from which the brightness average of the XOR operation association does not exceed the threshold when the image is calculated, as an object of object labeling.

바람직하게, 상기 영상속성 보정부는, 상기 제1디지털 영상과 손떨림 보정 영상의 크기 비율을 고려하여 손 떨림 보정 영상의 픽셀 데이터를 제1디지털 영상의 픽셀 데이터로 치환 또는 보간 하여 손 떨림 보정 영상의 색상을 보정하는 색상 보정부 또는 상기 제1디지털 영상과 손 떨림 보정 영상의 밝기 차이를 정량화하여 밝기 보정의 강도를 적응적으로 선택한 후 선택된 강도에 의해 손 떨림 보정 영상의 밝기를 보정하는 밝기 보정부를 포함한다.
Preferably, the image property correcting unit replaces or interpolates the pixel data of the image stabilizer image with the pixel data of the first digital image in consideration of the size ratio between the first digital image and the image stabilizer image, and thus the color of the image stabilizer image. A color correction unit for correcting the brightness or the brightness correction unit for adaptively selecting the intensity of the brightness correction by quantifying the brightness difference between the first digital image and the image stabilization image, and then correcting the brightness of the image stabilizer image by the selected intensity do.

도 12는 본 발명의 일 실시 예에 따른 손 떨림 보정을 위한 상세한 단계별 방법을 보여주는 상세 흐름도이다.
12 is a detailed flowchart illustrating a detailed step-by-step method for image stabilization according to an embodiment of the present invention.

또 하나의 일실시 예에서 카메라 DSP는 자이로 센서를 통하여 산출된 흔들림과 사전에 설정된 보정한계를 양적으로 비교하여 과도한 흔들림을 포착한다. 이와 같이 스마트폰에 이미 내장되어 있는 센서를 이용해서 영상의 흔들림을 감지할 경우 처리속도가 빨라지고, 정확해진다.
In another embodiment, the camera DSP quantitatively compares the shake calculated by the gyro sensor with a preset correction limit to capture excessive shake. In this way, when detecting the shaking of the image using the sensor already built in the smart phone, the processing speed is faster, it becomes accurate.

본 발명의 일 특징으로, 상기 제어 부는 포착된 과도한 흔들림에 대해 촬영자에게 경고 메시지를 출력해줄 수 있다. 이를 위해 스마트폰에 장착되어있는 조도센서 및 가속도 센서를 이용해서 피사체 영상이 촬상 면으로 유입되는 노광 중의 흔들림을 감지하고 계산하여, 계산된 흔들림과 사전에 설정된 보정의 한계를 상호 비교하여, 보정의 한계를 벗어나는 과도한 흔들림을 포착해낸다.
In one aspect of the invention, the control unit may output a warning message to the photographer about the excessive shaking captured. To this end, the illumination sensor and the acceleration sensor mounted on the smart phone are used to detect and calculate the shake during exposure that the subject image enters the imaging surface, and compare the calculated shake with the preset limits of correction. Capture excessive shaking beyond the limits.

디지털 카메라의 일 측에는 카메라의 각 속도를 포착하기 위한 수평 자이로 센서 및 수직 자이로 센서가 장착되어 있다. 상기 수평 자이로 센서 및 수직 자이로 센서는 각각 수평 축(x축)과 수직축(y축)에 대한 카메라의 각 속도를 측정한다. 자이로 센서의 출력 측에는 특정대역에 대해 선택특성을 갖는 자이로 필터가 배치되어 필요성분만을 추출해내고, 이어서 배치된 연산기에서 적정의 적분처리를 거치면 카메라의 흔들림 양이 산출된다.
One side of the digital camera is equipped with a horizontal gyro sensor and a vertical gyro sensor for capturing each speed of the camera. The horizontal gyro sensor and the vertical gyro sensor measure angular velocity of the camera with respect to the horizontal axis (x axis) and the vertical axis (y axis), respectively. On the output side of the gyro sensor, a gyro filter having a selection characteristic for a specific band is arranged to extract only necessary components, and then the appropriate amount of integration is performed in the arranged calculator to calculate the amount of camera shake.

상기와 같이 본 발명의 디지털 카메라는 영상의 흔들림을 상쇄하기 위한 보정동작을 수행함과 아울러, 구조적으로 허용된 보정의 한계를 초과하여 보정이 불가능한 과도한 흔들림이 발생되었을 때, 이를 자동으로 포착하여 사용자에게 경고해줌으로써 사용자가 재촬영을 할 수 있도록 한다. As described above, the digital camera of the present invention performs a correction operation to cancel the shake of the image, and when the excessive shake that cannot be corrected is exceeded due to a structurally permitted limit of correction, the digital camera automatically captures it to the user. It warns you so you can retake it.

도 13는 본 발명의 일 실시 예에 따른 과도한 흔들림을 자동으로 포착하여 경고하기까지의 방법을 보여주는 흐름도이다.
FIG. 13 is a flowchart illustrating a method of automatically catching and alerting an excessive shake according to an embodiment of the present invention.

본 발명에 따른 렌즈의 왜곡성분을 보정한 이미지를 획득하는 방법은,Method for obtaining an image corrected for the distortion component of the lens according to the present invention,

획득한 원 영상(original image)으로부터 정사영상(orthoimage)을 생성함으로써 추출된 정보의 신뢰성과 품질의 우수성을 확보하고자 하며,
By creating an orthoimage from the acquired original image, we want to secure the reliability and quality of the extracted information.

발명의 이해를 쉽게 하기 위하여 전체적인 과정을 개략적으로 살펴보면, 임의의 카메라 자세로부터 획득한 영상으로부터 정사영상을 생성하기 위해서는 다음의 세 가지 단계를 거치게 된다. 즉, 카메라 파라메타 추출을 위한 카메라 캘리브레이션 단계와, 카메라 캘리브레이션 단계에서 구해진 렌즈 왜곡 변수와 이미지 센터, 스케일 팩타(scale factor) 정보로부터 렌즈 왜곡을 보상하는 이미지 워핑 단계, 그리고 렌즈 왜곡 보상된 영상에 대해 카메라 캘리브레이션 단계에서 구해진 초점 거리와 촬영 현장에서 계산된 카메라 회전각 정보를 이용하여 카메라와 평면간의 상대적인 자세 차이를 보정하는 단계이다.
In order to facilitate the understanding of the present invention, the overall process is outlined. In order to generate an orthoimage from an image obtained from an arbitrary camera pose, the following three steps are performed. That is, a camera calibration step for extracting camera parameters, an image warping step for compensating for lens distortion from lens distortion parameters, image centers, and scale factor information obtained in the camera calibration step, and a camera for lens distortion-compensated images This is a step of correcting the relative posture difference between the camera and the plane by using the focal length obtained in the calibration step and the camera rotation angle information calculated at the shooting site.

이를 좀 더 구체적으로 살펴보면, 본 발명은 캘리브레이션 패턴으로 사용되는 3차원 공간상에 놓인 수직, 수평 배열로 이루어진 원(circle) 패턴으로부터 특징 추출(feature extraction)단계를 거쳐 캘리브레이션을 수행하는 제1 단계와, 상기 제1 단계에서 계산된 렌즈 왜곡 변수에 기반을 두어 이미지 워핑을 적용함에 있어 실시간 구현을 위한 픽셀 보간 (interpolation)하는 제2 단계, 그리고 자동으로 카메라 회전각 정보를 구한 후 이로부터 제2 단계에서 구해진 왜곡 보정된 영상으로부터 정사영상을 생성하는 제3 단계로 이루어진다.
In more detail, the present invention relates to a first step of performing calibration through a feature extraction step from a circle pattern consisting of vertical and horizontal arrays placed on a three-dimensional space used as a calibration pattern. A second step of interpolating pixels for real-time implementation in applying image warping based on the lens distortion variable calculated in the first step, and automatically obtaining camera rotation angle information from the second step therefrom. The third step is to generate an orthoimage from the distortion-corrected image obtained from.

카메라 캘리브레이션은 3차원 공간상에 놓인 기하학적 정보가 미리 알려진 캘리브레이션 패턴의 3차원 좌표 값과 카메라 영상에서 추출한 패턴의 픽셀 좌표 값 간의 관계로부터 카메라 파라메타를 계산하는 과정을 의미한다. 따라서 카메라 캘리브레이션은 계산 과정에 사용된 캘리브레이션 패턴의 형태와 두 좌표계간의 관계식 수립 방법 혹은 관계식을 유도하기 위한 미리 결정된 카메라 모션의 형태 등에 따라 다양한 방법이 존재한다.
Camera calibration refers to a process of calculating a camera parameter from a relationship between a three-dimensional coordinate value of a previously known calibration pattern and a pixel coordinate value of a pattern extracted from a camera image in which geometric information placed in a three-dimensional space is previously known. Therefore, there are various methods for camera calibration depending on the type of calibration pattern used in the calculation process, the method of establishing a relation between two coordinate systems, or the form of a predetermined camera motion for deriving the relationship.

이와 같은 본 발명의 주요 개념을 바탕으로 본 발명을 다음과 같이 크게 4단계로 구분하여 설명하기로 한다.
Based on the main concept of the present invention as described above will be divided into four steps as follows.

1. 카메라 캘리브레이션 단계
1. Camera Calibration Step

먼저, 카메라 캘리브레이션을 적용하고 이 단계에서 구해진 카메라 파라메타는 무선통신장치의 디지털 카메라 내부 회로에 내장하도록 한다. 카메라 캘리브레이션을 통해 구해지는 카메라 파라메타는 초점거리, 이미지 센터, 렌즈 왜곡 변수, 스케일 팩타 비(scale factor ratio)와 같은 카메라 내부 파라메타(internal parameters)와, 카메라 회전 행렬(rotation matrix) 및 거리 벡터(translation vector)로 이루어진 카메라 외부 변수(extrinsic parameters)이다. 이때 카메라 외부 변수는 임의로 설정할 수 있는 기준 좌표계(reference coordinate frame)에 대한 카메라 좌표계의 상대적인 자세 정보를 의미한다.
First, the camera calibration is applied and the camera parameters obtained in this step are embedded in the internal circuitry of the digital camera of the wireless communication device. Camera parameters obtained through camera calibration include camera internal parameters such as focal length, image center, lens distortion parameters, scale factor ratio, camera rotation matrix, and distance vector. vector external parameters consisting of a vector). At this time, the external parameter of the camera refers to the attitude information of the camera coordinate system relative to a reference coordinate frame that can be arbitrarily set.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 자세히 설명하기로 한다.
Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 14은 본 발명에 따라 카메라 캘리브레이션에 사용되는 캘리브레이션 패턴의 예이다.
14 is an example of a calibration pattern used for camera calibration in accordance with the present invention.

본 발명에서 사용되는 카메라 캘리브레이션용 패턴은 수직, 수평 방향의 원 배열(array of circles)로 구성된 패턴이며, 19(m)×19(n) 개로 이루어져 있다. 이때 수평 방향의 임의의 원의 중심과 인접 원의 중심까지의 거리(a)는 1.5cm, 수직 방향의 두 원의 중심 간의 거리(b)는 2cm이며, 원의 반지름은 0.5cm이다. 물론, 캘리브레이션 패턴의 기하학적 규격은 임의로 조정하여 사용하여도 무방하다.
The camera calibration pattern used in the present invention is a pattern consisting of an array of circles in the vertical and horizontal directions, and is composed of 19 (m) x 19 (n) pieces. The distance a between the center of any circle in the horizontal direction and the center of the adjacent circle is 1.5 cm, the distance b between the centers of two circles in the vertical direction is 2 cm, and the radius of the circle is 0.5 cm. Of course, the geometric specifications of the calibration pattern may be arbitrarily adjusted and used.

도 15는 본 발명에 따라 캘리브레이션 패턴으로부터 원(circle)을 추출하고 정렬하는 흐름도로서, 전처리과정과 원추출 과정, 원정렬 과정으로 이루어진다.
15 is a flowchart of extracting and aligning a circle from a calibration pattern according to the present invention, and includes a preprocessing process, a circle extraction process, and a circle alignment process.

도 15를 참조하면, 디지털 카메라로 촬영된 캘리브레이션 패턴은 그레이 레벨(gray-level) 영상으로 변환한 후, 전처리 과정을 거치게 된다. 전처리 과정은 잡음 제거를 위한 저 대역 필터링(low-pass filtering), 이진화 영상을 생성하기 위한 적응형(adaptive) 쓰레스홀딩(thresholding), 주위 조명 및 잡음 효과에 의해 발생할 수 있는 원 (circle) 패턴 내에서의 홀(hole)을 메우기 위한 확장 및 축소(dilation & erosion)단계로 구성된다.
Referring to FIG. 15, a calibration pattern photographed by a digital camera is converted into a gray-level image and then subjected to a preprocessing process. The preprocessing process consists of low-pass filtering to remove noise, adaptive thresholding to generate binarized images, and circle patterns that can be caused by ambient lighting and noise effects. It consists of a dilation and erosion step to fill the hole in the interior.

도 16은 본 발명에 따라 카메라 캘리브레이션시의 이미지 버퍼의 좌표계 정의를 도시한 도면이고,
FIG. 16 is a diagram illustrating a coordinate system definition of an image buffer during camera calibration according to the present invention.

도 17은 본 발명에 따라 카메라 캘리브레이션시의 사용자 입력의 실시 예 및 결과를 도시한 도면이다.
17 is a view showing an embodiment and results of user input during camera calibration according to the present invention.

영상의 좌표계는 도 16과 같이 수평 방향으로의 증가는 +x, 수직 방향의 증가는 +y방향으로 설정된다. 그리고 도 17에 나타낸 것과 같이 이진화 영상은 사용자 입력에 의해 캘리브레이션에 사용할 원들을 포함하는 사각형 영역을 지정받게 된다.As shown in FIG. 16, the coordinate system of the image is set to + x in the horizontal direction and + y in the vertical direction. As illustrated in FIG. 17, the binarized image is assigned a rectangular area including circles to be used for calibration by user input.

이외에 사용자 입력에 의해 지정된 영역 내에 위치한 원의 수직 방향(r), 수평 방향의 개수(c)를 입력 받게 된다. 즉, 도 17의 (a)는 사용자에 의해 미리 정해진 관심영역을 나타내고, 도 17의 (b)는 카메라 캘리브레이션을 위해 추출된 영역을 나타낸다.
In addition, the vertical direction r of the circle located in the area designated by the user input and the number c of the horizontal direction are received. That is, FIG. 17A illustrates a region of interest predetermined by the user, and FIG. 17B illustrates a region extracted for camera calibration.

한편, 전처리를 거친 캘리브레이션 패턴에서 각각의 원을 추출하기 위하여 원 추출단계에서는 y=1인 위치로부터 시작하여 +x방향으로 각 픽셀 값을 조사하여 최초로 '1'값을 만나게 되면 스캔을 멈추고, x좌표 값은 고정한 채 해당 픽셀 좌표 값으로부터 +y방향으로 '0'값의 픽셀을 만나기까지 계속 진행한다. 두 지점에서의 픽셀 좌표 값의 평균에 해당하는 픽셀 위치로부터 y좌표 값은 고정한 채 좌우로 진행하면서 픽셀 값을 조사하여 최초로 '0'을 만나게 되는 지점의 x좌표 값을 저장하도록 한다. 이로써 하나의 원을 내부로 감싸는 박스(bounding box)의 네 모서리에 대한 픽셀 좌표 값을 구하게 된다. 박스 내부는 원에 해당하는 '1'의 값을 가지는 픽셀과 '0'값의 픽셀로만 구성되므로 원 중심(circle center)에 해당하는 픽셀 좌표 값은 다음 수학식2과 같이 간단히 구할 수 있다.
On the other hand, in order to extract each circle from the pre-processed calibration pattern, the circle extraction step starts with y = 1 and examines each pixel value in the + x direction to stop scanning when it first encounters a '1' value. The coordinate value is fixed and the process continues until a pixel of '0' value is encountered in the + y direction from the pixel coordinate value. From the pixel position corresponding to the average of the pixel coordinate values at the two points, the y coordinate value is fixed and proceeds to the left and right to examine the pixel value to store the x coordinate value of the point where the first encounter '0'. This gives the pixel coordinate values for the four corners of the box that bounds a circle inside. Since the inside of the box is composed of only pixels having a value of '1' corresponding to the circle and pixels having a value of '0', the pixel coordinate value corresponding to the circle center can be simply obtained as in Equation 2 below.

수학식 2

Equation 2

여기서, N은 박스내의 '1'값을 가지는 픽셀의 수, (xi, yi)는 해당 픽셀의 좌표 값이며 (xc, yc)는 추출된 원 중심의 좌표 값이다. 추출된 원에 해당하는 박스는 모두 '0'값을 설정하여 지우도록 하며, 이러한 과정은 사용자가 지정한 수평 방향으로의 원 개수에 해당하는 만큼 반복하게 된다.Here, N is the number of pixels having the value '1' in the box, (xi, yi) is the coordinate value of the pixel, and (xc, yc) is the coordinate value of the extracted circle center. All boxes corresponding to the extracted circles are set to '0' and erased. This process is repeated as many times as the number of circles in the horizontal direction specified by the user.

이때 사용된 박스 영역의 가장 작은 y값은 한 행에 대한 원 추출 과정이 끝나게 되면, 다음 행의 스캔 시작 위치로 사용되게 된다. 위의 과정을 사용자가 설정한 영역에 대해 실시하도록 하며, 이 과정이 끝나면, r×c개의 원 중심 좌표 값을 버퍼에 저장하게 된다.
At this time, the smallest y value of the used box area is used as the scan start position of the next row when the original extraction process for one row is finished. The above process is performed for the area set by the user. After this process, r × c circle center coordinate values are stored in the buffer.

본 발명에서 사용하는 캘리브레이션 방법은 평면의 표면 수직 벡터(surface normal vector)와 카메라의 시선 방향이 평행한 경우는 적용할 수가 없으므로 디지털 카메라로 촬영 시에 평면의 표면 수직 벡터 방향과 어긋나도록 해야 한다. 이것은 선행 논문인 R. Y. Tsai의 캘리브레이션 단계에 설명이 자세히 되어 있는 것으로 여기서는 생략하기로 한다.Since the calibration method used in the present invention cannot be applied when the surface normal vector of the plane and the camera's line of sight are parallel to each other, the calibration method must be offset from the surface vertical vector of the plane when shooting with a digital camera. This is described in detail in the calibration phase of the previous paper, R. Y. Tsai, and will be omitted here.

하지만, 카메라 시선 방향이 2차원 캘리브레이션 평면과 평행하지 않은 관계로 발생하게 되는 원근 효과(perspective effect)때문에 추출된 원 중심의 좌표 값의 버퍼 저장 순서는 x 혹은 y값의 증가 방향과 일치하지 않게 된다. 이것은 본 발명에서 원 추출의 단순화를 위해서 스캔라인(scanline)방향으로 원을 검출하는 방식을 취하기 때문이다.
However, due to the perspective effect that occurs because the camera's line of sight is not parallel to the two-dimensional calibration plane, the buffer storage order of the extracted coordinates of the center of the circle does not match the increasing direction of the x or y values. . This is because the present invention takes a method of detecting a circle in the scanline direction to simplify circle extraction.

원 정렬과정은 메모리에 저장된 원 중심의 좌표 값에 대해 기하학적 조건(geometric constraint)를 적용하여 3차원 공간상에서의 좌표 값의 증가 순서와 버퍼 저장 순서가 일치하도록 하는 단계를 나타낸다. 원정렬과정은 버퍼에 저장된 원 중심 좌표 값을 (1,1)로부터의 거리에 따라 가까운 순서대로 정렬(sorting)하는 것으로 시작된다. 원 중심의 재 정렬은 다음의 순서로 실시된다.
The circle alignment process represents a step of applying geometric constraints to the coordinate values of the center of the circle stored in the memory so that the increasing order of the coordinate values in the three-dimensional space and the buffer storage order coincide. The circle alignment process begins by sorting the circle center coordinate values stored in the buffer in close order according to the distance from (1,1). The realignment of the circle center is performed in the following order.

1). (1, 1) 픽셀 좌표로부터 각 원 중심 좌표 값 (xci, yci)까지의 픽셀 거리(di)를 계산한다.One). Compute the pixel distance di from the (1, 1) pixel coordinates to each circle center coordinate value (xci, yci).

2). 픽셀거리(di)를 기준으로 증가하는 방향으로 각 원 중심 좌표 값의 버퍼에서의 저장 순서를 바꾼다.2). Changes the order of storage in the buffer of each circle center coordinate value in the direction of increasing with respect to the pixel distance di.

3). 버퍼에서 첫 네 개의 좌표 값을 가져온 후 y값을 기준으로 정렬하고, y 값이 가장 작은 것으로 기준 값을 설정한다.3). Get the first four coordinate values from the buffer, sort them by y value, and set the reference value with the smallest y value.

4). 위의 단계 3에서 같은 행에 있으면서 현재 기준 값보다 값이 작은 경우, 이것으로 기준 값을 대체한 후 새로운 버퍼의 첫 번째 위치에 이 값을 저장하고, 기준 값의 원래의 버퍼 위치에는 (10000, 10000)과 같은 큰 값을 저장한다.4). If you are on the same row in step 3 above and the value is less than the current reference value, then replace it with the reference value and store this value in the first position of the new buffer, and (10000, Store large values such as 10000).

5). 위 4단계에서 구한 첫 번째 위치의 원 중심 좌표 값을 (x'c1, y'c1)라고 했을 때 다음 수학식3을 이용하여 픽셀 거리를 계산한다.
5). When the circle center coordinate value of the first position obtained in step 4 is referred to as (x'c1, y'c1), the pixel distance is calculated by using Equation 3 below.

수학식 3

Equation 3

6). 픽셀거리(d'i)를 기준으로 증가하는 방향으로 원 중심 좌표 값의 버퍼에서의 저장 순서를 바꾼다.6). The order of storage in the buffer of the circle center coordinate value is changed in the direction of increasing with respect to the pixel distance d'i.

7). 버퍼의 저장 값이 모두 (10000, 10000)으로 바뀌기까지 위 단계 3 내지 단계 6을 반복한다.7). Repeat steps 3 to 6 above until all the stored values of the buffer change to (10000, 10000).

위의 과정을 거쳐 원 중심의 좌표 값은 3차원 공간상에 위치한 2차원 평면위의 원 중심의 좌표 값과 같은 방향으로 증감을 하게 된다.
Through the above process, the coordinate value of the circle center is increased or decreased in the same direction as the coordinate value of the circle center on the 2D plane located in the 3D space.

도 18는 일반적인 카메라 렌즈 왜곡에 따른 효과를 도시한 예시도이다.18 is an exemplary diagram illustrating an effect according to general camera lens distortion.

도 18를 참조하면, (a)와 같은 직사각형 형상의 원영상은 카메라 렌즈왜곡에 의해 (B)와 같이 배럴형상이나 (c)와 같이 핀 쿠션형상이 된다.
Referring to Fig. 18, the rectangular image as shown in (a) becomes a barrel shape as in (B) or a pin cushion shape as in (c) due to camera lens distortion.

카메라 파라메타를 구하기 위한 카메라 모델은 다음 수학식 4 및 5와 같이 방사상(radial) 렌즈 왜곡 모델을 이용하도록 한다. 광학 렌즈는 불완전성으로 인해 통상적으로 도 18의 (b)에 표시한 바와 같이 배럴(barrel)효과 혹은 도 18의 (c)에 표시 한 바와 같은 핀쿠션(pincushion)효과를 보인다. 이러한 왜곡 효과는 방사상(radial) 렌즈 왜곡으로 모델링 가능하며, 다음 수학식 4 및 5와 같이 하나의 왜곡 변수로 나타낼 수 있다. 즉, 왜곡된 원영상(original image)에서의 추출된 원 중심(circle center)의 좌표 값을 (xd, yd), 왜곡 보정된 후의 영상에서의 픽셀 좌표 값을 (xu, yu), 렌즈 왜곡 변수를 k라고 하면, 이 때 두 좌표계 간에는 방사상 렌즈 왜곡에 의해 다음 수학식4 및 5와 같은 왜곡이 존재한다고 가정할 수 있다.
The camera model for obtaining the camera parameters uses a radial lens distortion model as shown in Equations 4 and 5 below. Due to imperfection, the optical lens typically exhibits a barrel effect as shown in FIG. 18B or a pincushion effect as shown in FIG. 18C. This distortion effect can be modeled as a radial lens distortion, and can be represented by one distortion parameter as shown in Equations 4 and 5 below. That is, the coordinate value of the extracted circle center in the distorted original image is (xd, yd), the pixel coordinate value in the image after distortion correction is (xu, yu), and the lens distortion variable. When k is assumed, it may be assumed that distortions such as the following Equations 4 and 5 exist between the two coordinate systems due to the radial lens distortion.

수학식 4

Equation 4

수학식 5

Equation 5

여기서,

는 이미지 센터를 기준으로 현재 픽셀 좌표인 (xd, yd)까지의 거리를 의미한다. 상기 수학식 4 및 5에 근거하여 k>0인 경우 도 18의 (b)와 같은 배럴(barrel)효과를 나타내고, k<0 인 경우 도 18의 (c)와 같이 핀 쿠션(pincushion)효과를 나타낸다.
here,

Denotes the distance from the image center to the current pixel coordinates (xd, yd). On the basis of Equations 4 and 5, k> 0 shows a barrel effect as shown in FIG. 18B, and when k <0, pincushion effect as shown in FIG. 18C. Indicates.

3차원 공간상에 위치한 2차원 원(circle)중심의 좌표를 나타내기 위한 기준 좌표계는 사용자 입력에 의해 설정한 영역내의 하단 최좌측의 원 중심(bottom - leftmost circle center)에 위치하고 있는 것으로 설정하고, 카메라 좌표계는 렌즈의 중심에 위치하고 있는 것으로 설정한다. 기준 좌표계에 대한 카메라 회전을 나타내는 3 ×3 행렬을 R, 카메라 변이 (translation)를 , 광학계 모델로 핀홀(pinhole) 카메라를 설정하고, 이때의 3 ×3 카메라 행렬을 P로 표시하면 카메라 영상으로부터 추출한 원 중심(circle center)의 픽셀 좌표 값과 3차원 공간상의 2차원 원 패턴의 중심 좌표 값간 의 관계는 다음 수학식6과 같이 나타낼 수 있다.The reference coordinate system for representing the coordinates of the two-dimensional circle center located in the three-dimensional space is set to be located at the bottom leftmost circle center in the area set by the user input. The camera coordinate system is set to be located at the center of the lens. A 3 × 3 matrix representing camera rotation with respect to the reference coordinate system is set to R, a camera translation is set, and a pinhole camera is set as the optical system model. The relationship between the pixel coordinate value of the circle center and the center coordinate value of the two-dimensional circle pattern in three-dimensional space can be expressed by Equation 6 below.

수학식 6Equation 6

여기서,

here,

상기 수학식 6에서 Xwi, Xpi는 각각 기준 좌표계에 대해 나타낸 원 중심 좌표 값, 픽셀 좌표계에서의 원 중심 좌표 값이며,(u0,v0)는 이미지 센터의 픽셀 좌표 값을 의미한다. 스케일 팩타 비(Scale factor ratio)는

로 정의된다. 여기서, Xpi 는 호모지니어스(homogeneous) 좌표 값(coordinates)이므로 이미지 버퍼상의 실제 픽셀 좌표 값은 Xpi의 첫 번째, 두 번째 원소를 세 번째 원소로 나눈 값이 된다. 이때의 픽셀 좌표 값을 (xu, yu)로 나타내면, 다음 수학식 7 및 8과 같은 카메라 모델을 얻을 수 있다.In Equation 6, Xwi and Xpi are circle center coordinate values and a circle center coordinate value shown in the pixel coordinate system, respectively, and (u0, v0) denotes pixel coordinate values of the image center. The scale factor ratio is

. Here, since Xpi is homogeneous coordinates, the actual pixel coordinate value in the image buffer is the first and second elements of Xpi divided by the third element. If the pixel coordinate value at this time is represented by (xu, yu), a camera model as shown in Equations 7 and 8 can be obtained.

수학식 7

Equation 7

수학식 8

Equation 8

상기 수학식 7 및 8에서 이미지 센터는 따로 표기하지 않고, xu, yu에 포함된 것으로 가정하였다. 이 후의 본 발명의 설명에서 이러한 가정을 동일하게 적용하기로 한다.In the equations (7) and (8), the image centers are not separately indicated, and are assumed to be included in xu and yu. In the following description of the present invention, this assumption will be applied equally.

상기 수학식 7 및 8에서 렌즈 왜곡 모델을 고려하면 다음 수학식 9 및 10과 같이 나타낼 수 있다.
In consideration of the lens distortion model in Equations 7 and 8, Equations 9 and 10 may be expressed as follows.

수학식 9

Equation 9

수학식 10

Equation 10

상기 수학식 9를 수학식10으로 나누고, ty 로 양변을 나눈 후 구하고자 하는 카메라 파라메타를 기준으로 식을 재정렬 (rearrange)하면, 다음 수학식11과 같은 선형 방정식을 얻게 된다.
By dividing Equation 9 by Equation 10, dividing both sides by ty, and rearranging the equation on the basis of a camera parameter to be obtained, a linear equation is obtained as shown in Equation 11 below.

수학식 11Equation 11

상기 수학식11로부터 선행 논문인 R. Y. Tsai의 캘리브레이션 방법에서 설명된 일련의 과정을 거쳐 R, tx, ty 를 구하게 되며, 렌즈 왜곡 변수 k , 초점 거리 fx, fy 는 다음 수학식12의 선형 방정식으로부터 구할 수 있다.
From Equation 11, R, tx, ty are obtained through a series of processes described in the calibration method of RY Tsai, which is a previous paper, and lens distortion parameters k, focal lengths fx, fy are obtained from the linear equation of Equation 12 below. Can be.

수학식 12
Equation 12

위의 캘리브레이션 과정에서 μ는 픽셀 좌표계에서 좌표축간의 스케일 팩터 비(scale factor ratio)를 의미한다. 실질적으로, μ는 1로 설정하여도 무방하며, 이하 μ는 1로 설정하여 따로 표기하지 않도록 한다. 한편, 이미지 센터는 위의 캘리브레이션 과정에서 특별히 따로 구하지 않고 이미지 버퍼의 중간 지점으로 선정하도록 한다.In the above calibration process, μ denotes a scale factor ratio between coordinate axes in the pixel coordinate system. In practice, mu may be set to 1, and mu may be set to 1 so as not to be indicated separately. In the meantime, the image center is selected as an intermediate point of the image buffer without specially obtaining it in the above calibration process.

스케일 팩터 비(Scale factor ratio)와 이미지 센터에 대한 이러한 처리 방법에 대한 실험적인 근거에 대해서는 선행 기술For the experimental basis for such a method for scale factor ratio and image center, see the prior art.

"W. Yu, H. Lee, and Y. Chung, Performance Evaluation of Image-based Lens Distortion Correction Method, Proceedings of VSMM 2002, pp. 600-607, 2002 "에 자세히 기술되어 있다.It is described in detail in "W. Yu, H. Lee, and Y. Chung, Performance Evaluation of Image-based Lens Distortion Correction Method, Proceedings of VSMM 2002, pp. 600-607, 2002".

이상에서 설명한 본 발명의 캘리브레이션 단계를 간단히 정리하면, 최소 5개 이상의 원(circle) 패턴으로 구성된 캘리브레이션 패턴을 카메라로 촬영하고, 영상으로부터 원 중심(circle center)의 픽셀 좌표 값을 추출한 후, 상기 수학식 11 및 12를 이용하여 카메라 파라메타를 구하는 것이다. 캘리브레이션 단계에서 구한 카메라 파라메타 중 렌즈 왜곡 변수 k, 초점거리( fx 혹은 fy )만을 저장하도록 한다.
Briefly summarized the calibration step of the present invention described above, by taking a calibration pattern consisting of at least five circle patterns with a camera, extracting pixel coordinate values of the circle center from the image, Equations 11 and 12 are used to obtain camera parameters. Only the lens distortion parameter k and the focal length (fx or fy) are stored among the camera parameters obtained in the calibration step.

2. 렌즈 왜곡 보정 단계
2. Lens distortion correction step

본 발명에서 채택한 카메라 캘리브레이션을 이용한 렌즈 왜곡 보정 방법은 캘리브레이션을 통해 구해진 카메라의 내부 변수와 외부 변수간의 연관 관계(coupling)때문에 최종 결과에 에러가 발생할 수 있으나 일반적으로 나머지 두 방법에 비해 매우 정확하면서 안정적이라는 장점을 가진다.
The lens distortion correction method using the camera calibration adopted in the present invention may cause errors in the final result due to the coupling between the internal variables and the external variables of the camera obtained through the calibration, but is generally more accurate and stable than the other two methods. Has the advantage.

한편, 렌즈 왜곡의 종류는 렌즈의 특정 지점으로부터 방사 방향(radial direction)으로 발생하는 방사상 왜곡(radial distortion)과, 렌즈계의 조립 및 설계시의 불완전성 등에 의해 발생하는 편심(decentering) 왜곡으로 크게 나눌 수 있다.On the other hand, the type of lens distortion is largely divided into radial distortion occurring in a radial direction from a specific point of the lens, and decentering distortion caused by imperfections in assembling and designing the lens system. Can be.

편심(Decentering) 왜곡의 경우에는 방사상 왜곡과 접선 방향 왜곡(tangential distortion)을 모두 포함하는 것으로 모델링할 수 있다. 본 발명에서는 방사상 왜곡만을 모델링하며 카메라 캘리브레이션 단계에서 설명한 방법에서 이미 방사상 왜곡 모델을 이용한 방식을 적용하였다.Decentering distortion can be modeled to include both radial and tangential distortion. In the present invention, only the radial distortion is modeled, and the method using the radial distortion model is already applied in the method described in the camera calibration step.

실제로 현재까지 여러 카메라 캘리브레이션에 관련된 선행 논문과 기술이 방사상 왜곡만을 다루고 있으며, 실험적으로 방사상 왜곡만으로도 충분히 왜곡 현상을 모델링할 수 있음이 알려져 있다In fact, it is known that previous papers and techniques related to various camera calibrations deal with radial distortion only, and experimentally, it is known that radial distortion alone can sufficiently model distortion phenomenon.

캘리브레이션 단계에서 구한 값을 설정한 후, 이 값에 대해 상기 수학식 4 및 5를 적용하면 다음 수학식 13의 관계를 얻게 된다.
After setting the value obtained in the calibration step, the equations (4) and (5) are applied to this value to obtain the following equation (13).

수학식 13

Equation 13

여기서,

이다. 캘리브레이션 단계에서 설명한 바와 같이 μ=1 로 설정하도록 한다. 한편, 방사상 방향의 렌즈 왜곡만을 가정하는 경우에 왜곡 보정 전의 픽셀 좌표값과 왜곡 보정 후의 픽셀 좌표값은, 극좌표(polar coordinate) 형태로 나타내었을 때 각도 값은 같게 된다. 즉,
here,

to be. Set μ = 1 as described in the calibration step. On the other hand, in the case where only the lens distortion in the radial direction is assumed, the pixel coordinate value before the distortion correction and the pixel coordinate value after the distortion correction are the same in the polar coordinate form. In other words,

수학식 14

Equation 14

이제 상기 수학식 13은 다음 수학식15와 같이 고쳐서 표시할 수 있다.Equation 13 can now be corrected and displayed as in Equation 15 below.

수학식 15

Equation 15

한편, 왜곡 보정 후의 각 픽셀 좌표 값에서의 휘도값은 왜곡된 원 영상으로부터 구해야 하므로 이미지 워핑(warping)과정( 이미지내의 일부 영역을 지정하여 정의된 영역에 맞는 형태로 변형시켜주는 연산)이 필요하게 되며, 이 때 역 공간 매핑(inverse spatial mapping)을 적용하는 것이 유리하다. 순 공간 맵핑(forward spatial mapping)의 경우에 원영상(original image)과 결과 영상간의 기하학적 관계를 규정짓는 수학 함수에 의해 이미지 워핑이 이루어진 후, 결과 영상에서 홀(hole) 혹은 중첩(overlapping)이 발생하는 단점을 안고 있는 반면, 역공간 맵핑(inverse spatial mapping)의 경우 순공간 맵핑(forward spatial mapping)에서의 단점은 없지만 결과 영상으로부터 원영상의 관계를 규정짓는 역함수(inverse spatial function)가 반드시 존재해야 한다는 단점을 가지고 있다.On the other hand, since the luminance value at each pixel coordinate value after distortion correction should be obtained from the distorted original image, an image warping process (an operation of designating a part of the image and transforming it into a shape suitable for the defined area) is necessary. In this case, it is advantageous to apply inverse spatial mapping. In the case of forward spatial mapping, after image warping is performed by a mathematical function defining a geometric relationship between the original image and the resultant image, holes or overlapping occur in the resultant image. On the other hand, inverse spatial mapping has no disadvantages in forward spatial mapping, but there must be an inverse spatial function that defines the relationship of the original image from the resulting image. It has a disadvantage.

순공간 맵핑(Forward spatial mapping)의 경우 이러한 단점을 극복하기 위해서 매우 복잡한 구조를 가지는 보정 알고리즘이 도입되고 있어 본 발명과 같이 실시간 동작을 요구하면서 소형화를 목적으로 하는 경우에는 적합하지 못하다. 본 발명에서는 대신 역 공간 매핑 방식을 도입하면서 결과 영상과 원 영상(original image)간의 역함수를 수학적으로 정확하게 규정함으로써 실시간 수행을 위한 구조 설계에 이용하고 있다.In the case of forward spatial mapping, a correction algorithm having a very complicated structure is introduced to overcome such disadvantages, and thus it is not suitable for the purpose of miniaturization while requiring real-time operation as in the present invention. In the present invention, the inverse spatial mapping method is used instead, and the inverse function between the resultant image and the original image is defined mathematically and used for structural design for real-time execution.

다시 왜곡 보정 알고리즘으로 돌아가서, ru 에 대한 rd는 상기 수학식 13의 해로부터 구할 수 있다. 결과 영상에서의 픽셀 좌표값 (xu,yu)는 알고 있으므로 현재 k값에 대한 rd를 구할 수 있고, 상기 수학식 4 및 5에 의해 픽셀 좌표값 (xd, yd )을 구하게 된다.Returning to the distortion correction algorithm, rd for ru can be obtained from the solution of Equation 13. Since the pixel coordinate values (xu, yu) in the resultant image are known, rd with respect to the current k value can be obtained, and the pixel coordinate values (xd, yd) can be obtained using Equations 4 and 5 above.

한편, (xd, yd)는 일반적으로 이산화된(discrete) 픽셀 좌표값에 대응되지 않는 실수(floating-point number)이므로, 적절한 보간법에 의해 (xd,yd)에 대응하는 휘도 및 색상 값을 가져오도록 한다. 바이리니어 보간(Bilinear interpolation) 혹은 큐빅 콘볼루션 보간(cubic convolution interpolation)등의 방법의 적용이 가능하다.On the other hand, since (xd, yd) is generally a floating-point number that does not correspond to discrete pixel coordinate values, it is necessary to obtain luminance and color values corresponding to (xd, yd) by appropriate interpolation. do. Bilinear interpolation or cubic convolution interpolation can be used.

한편, 상기 수학식 13의 해를 구하기 위해서는 3차 다항(polynomial) 방정식의 해를 구할 수 있는 카든(Cardan) 방법을 적용할 수 있다. 카든(Cardan) 방법은 복수개의 플로팅 포인트(floating-point)연산과 해(solution)를 구하기 위해 도입되는 중간 변수들 간의 관계에 따라 두 가지 경우에 대한 해를 제공한다. 이미지 워핑의 경우 이러한 조건문과 복수개의 실수 연산이 반복되므로 이미지의 크기가 증가할수록 실행 속도가 저하될 것임을 예견할 수 있다.On the other hand, in order to find the solution of Equation 13 can be applied to the Cardan method that can solve the third-order polynomial equation. The Cardan method provides solutions for two cases depending on the relationship between a plurality of floating-point operations and intermediate variables introduced to find a solution. In the case of image warping, this conditional statement and a plurality of real number operations are repeated, so it can be predicted that the execution speed will decrease as the size of the image increases.

본 발명에서는 이러한 단점을 극복하기 위하여

의 조건을 이용한 근사식을 적용하도록 한다. 상기 수학식 13은

의 조건을 적용하여 다음 수학식16과 같이 근사화할 수 있다.In the present invention to overcome this disadvantage

Apply an approximation formula using Equation 13 is

By applying the following condition can be approximated as in Equation 16 below.

수학식 16

Equation 16

상기 수학식 16으로부터 rd는 다음 수학식 17로 구할 수 있다.From Equation 16, rd can be obtained from Equation 17 below.

수학식 17

Equation 17

결과 영상의 각 픽셀에 대해 이러한 과정을 반복함으로써 특정 k 값을 기반으로 왜곡된 원영상(original image)에서의 대응되는 픽셀 좌표값을 구하게 된다. 이러한 과정은 영상 내의 임의의 픽셀 좌표값에 대하여 동일하게 적용이 가능하므로, 임의의 영역으로 나누어 병렬로 처리하는 경우에 실행 속도를 더욱 증가시킬 수 있다.By repeating this process for each pixel of the resultant image, corresponding pixel coordinate values in the distorted original image are obtained based on a specific k value. This process can be equally applied to any pixel coordinate value in an image, and thus can increase execution speed when the process is performed in parallel by dividing into arbitrary regions.

본 발명에서 제시한 근사식을 적용한 이미지 워핑 방식의 정확도에 대해서는 선행 논문 "W. Yu, H. Lee, and Y. Chung, Performance Evaluation of Image-based Lens Distortion Correction Method, Proceedings of VSMM 2002, pp.600-607, 2002"에 실험적인 성능 분석 결과를 나타내었으며, 수학적으로 정확한 Cardan방법과 비교했을 때 성능 측면에서 큰 차이가 없음을 보이고 있다.
Regarding the accuracy of the image warping method applying the approximation formula presented in the present invention, the previous paper "W. Yu, H. Lee, and Y. Chung, Performance Evaluation of Image-based Lens Distortion Correction Method, Proceedings of VSMM 2002, pp. 600-607, 2002 "shows the results of experimental performance analysis, and shows no significant difference in performance when compared with the mathematically accurate Cardan method.

3. 캘리브레이션 패턴을 이용하지 않는 렌즈 왜곡 보정 방법
3. How to correct lens distortion without using a calibration pattern

위에서 설명한 렌즈 왜곡 보정 방법은 캘리브레이션 패턴을 이용하여 카메라 파라메타를 직접 계산하여 왜곡을 보정하는 단계를 설명하고 있다.The lens distortion correction method described above describes a step of correcting distortion by directly calculating camera parameters using a calibration pattern.

캘리브레이션 패턴을 구하기 힘든 경우, 예를 들어, 일반 촬영 현장이나 미리 캘리브레이션 패턴이 준비되지 않은 경우 등의 경우에 렌즈 왜곡 보정을 실시하기 위해서는 위의 렌즈 왜곡 보정 방법의 적용 단계를 변형해야 한다. 이것은

의 조건을 적용하여 해결할 수 있다.If it is difficult to obtain a calibration pattern, for example, in the case of a general shooting site or a case where a calibration pattern is not prepared in advance, the lens distortion correction method should be modified in order to perform lens distortion correction. this is

This can be solved by applying the conditions.

r×c의 크기를 가지는 왜곡된 영상이 있다고 가정하자. 이 때, 영상의 중심에서 방사상 거리의 최대치는

이 된다. 의 값을 R로 설정하면 k의 범위는 다음 수학식 18과 같이 제한할 수 있다.Assume that there is a distorted image having a size of r × c. At this time, the maximum radial distance from the center of the image is

. If the value of R is set to R, the range of k can be limited as shown in Equation 18 below.

수학식 18

Equation 18

여기서,

이다.

는 -∞방향으로 라운딩(rounding)하는 경우 가장 가까운 정수값을 의미한다. 한편, R은 고정된 값이므로 같은 광학 시스템을 사용하는 경우에 r'×c'의 크기를 가지는 영상에서 구해지는here,

to be.

Is the nearest integer value when rounding in the -∞ direction. On the other hand, since R is a fixed value, it is obtained from an image having the size of r '× c' when the same optical system is used.

렌즈 왜곡 변수 k'은 k와 다음 수학식 19의 관계를 가지게 된다.

수학식 19
The lens distortion variable k 'has a relationship between k and the following equation (19).

Equation 19

상기 수학식 19의 타당성에 대해서는 선행 논문 "Image-based Lens Distortion Correction Method for Low Cost Digital Camera, submitted for review to PATTERN RECOGNITION"에 자세히 설명되어 있다. 상기 수학식 19를 이용함으로써 임의의 크기를 가지는 영상에 대해 데시메이션(decimation)을 구현하는 적절한 방법으로 축소된 영상을 생성하고, 상기 수학식 18의 범위에 대응하는 스크롤 바 혹은 업-다운(up-down) 버튼 등을 이용하여 렌즈 왜곡 현상이 없어질 때까지 조정을 할 수 있다. 조정이 끝난 후 상기 수학식 19를 이용하여 원 영상에서의 실제 렌즈 왜곡 변수를 계산하여 상기 수학식 17을 적용하는 단계의 영상 워핑을 통해 보정된 영상을 획득할 수 있다.
The validity of Equation 19 is described in detail in a previous paper "Image-based Lens Distortion Correction Method for Low Cost Digital Camera, submitted for review to PATTERN RECOGNITION". By using Equation 19, a reduced image is generated by an appropriate method for implementing decimation for an image having an arbitrary size, and a scroll bar or up-down corresponding to the range of Equation 18 is generated. -down) button to adjust until the lens distortion is eliminated. After the adjustment, the corrected image may be obtained through image warping in the step of applying Equation 17 by calculating the actual lens distortion parameter in the original image using Equation 19.

위와 같은 방법을 적용함으로써 원영상의 크기와는 독립적으로 실시간으로 육안으로 확인하면서 렌즈 왜곡을 보정할 수 있다. 따라서 사용자 혹은 개발자는 테스트 패턴을 포함하여 자연 배경, 인물 사진 등 임의의 영상을 기준으로 렌즈 왜곡 보정을 실시하여 상기 수학식 19를 이용하는 장치에 적용할 수 있다.By applying the above method, the lens distortion can be corrected while visually checking in real time independently of the size of the original image. Therefore, the user or developer may apply lens distortion correction based on an arbitrary image, such as a natural background or a portrait, including a test pattern, to be applied to the apparatus using Equation 19.

이 방법은 캘리브레이션 패턴을 이용하는 경우와 마찬가지로 최초에 한번만 실시하여 영상 장비의 내부 비휘발성 메모리에 기록함으로써, 이 후의 렌즈 왜곡 보정 단계에서 계속 적용할 수 있다.
As in the case of using the calibration pattern, the method is performed only once at first and recorded in the internal nonvolatile memory of the imaging equipment, so that it can be continuously applied in the subsequent lens distortion correction step.

4. 정사영상 생성단계
4. Ortho-image generation step

3차원 공간상에 놓여 있는 평면상의 임의의 점을 X라고 하자. 카메라 회전이 없는 경우에 X는 이미지 상에 perspective 변환(transform)에 의해 다음과 같이 표현된다.Let X be any point on the plane lying in three-dimensional space. In the absence of camera rotation, X is represented by the perspective transform on the image as follows:

수학식 20

Equation 20

여기서, P는 perspective 변환 행렬(matrix)이며, 내부 원소는 상기 수학식 6에 나타내어 있다. 이제 카메라 회전 R을 고려하면 상기 수학식 18은 다음 수학식 21과 같이 바뀐다.Here, P is a perspective transformation matrix, and the internal elements are shown in Equation 6 above. Now considering the camera rotation R, the equation (18) is changed to the following equation (21).

수학식 21

Equation 21

그리고 수학식 20 및 21로부터And from equations 20 and 21

수학식 22

Equation 22

이 때 회전 행렬 R은 카메라 좌표계가 회전한 것으로 생각하여 다음과 같이 표현된다.
At this time, the rotation matrix R is assumed to be rotated by the camera coordinate system and is expressed as follows.

수학식 23
Equation 23

상기 수학식 23의 각도 값은 카메라 캘리브레이션을 통해 얻게 되는 카메라 회전량과 같으나 회전 방향은 반대를 가리키고 있다. 즉, 기준 좌표계는 평면상에 위치하고 있다고 생각한다. 실제 연산 과정에서 다루게 되는 것은 이미지 픽셀 좌표계이므로 수학식 22만으로 정사영상을 만들어 낼 수가 없다. 이것은 수학식 22에서 x에 PRP-1가 곱해지면서 x'의 세 번째 원소가 '1'이 아니기 때문이다. 즉, 수학식 22를 통해 호모지니어스(homogeneous) 좌표계로 표현된 것을 다시 이미지 좌표계로 표현해야 한다. 이것은 도 6에서 "A"로 나타낸 affine 변환을 통해 해결할 수 있다.
The angle value of Equation 23 is equal to the amount of camera rotation obtained through camera calibration, but the direction of rotation is opposite. In other words, it is assumed that the reference coordinate system is located on the plane. Since the actual operation process is an image pixel coordinate system, it is impossible to produce an orthoimage using Equation 22 only. This is because x in Equation 22 is multiplied by PRP-1, so the third element of x 'is not' 1 '. That is, the expression expressed in the homogeneous coordinate system through Equation 22 should be expressed again in the image coordinate system. This can be solved through the affine transformation indicated by " A " in FIG.

호모지니어스(Homegeneous) 좌표계에서 이미지 픽셀 좌표계로 표현하기 위해서는 두 좌표계간의 스케일(scale)을 결정해야 하는데, 일차적으로는 도 6에서와 같이 이미지 크기에 대응하는 호모지니어스(homegeneous) 좌표값을 이용하여 변환 행렬을 구할 수 있다.
In order to express an image pixel coordinate system in a homegeneous coordinate system, a scale between two coordinate systems must be determined. First, a transformation is performed using a homegeneous coordinate value corresponding to an image size as shown in FIG. 6. You can get a matrix.

수학식 24

Equation 24

이상의 결과를 정리하면, In summary,

수학식 25

Equation 25

정사영상(ortho-image)를 얻기 위해서는 정사영상의 픽셀 좌표 값으로부터 여기에 해당하는 perspective 이미지 (렌즈 왜곡 보정된 카메라 영상)의 픽셀 좌표값에서의 그레이(gray)(혹은 컬러)값을 읽어오는 역공간 매핑(inverse spatial mapping)이 유리하므로 아래의 수학식 26을 공간 매핑 함수로 사용하도록 한다.
In order to obtain an ortho-image, the gray (or color) value of the pixel coordinate value of the perspective image (lens distortion corrected camera image) is read from the pixel coordinate value of the ortho image. Since inverse spatial mapping is advantageous, Equation 26 below is used as a spatial mapping function.

수학식 26

Equation 26

실제로 정사영상을 얻는 과정에서는 상기 수학식 26에 표현된 "A" 를 구하는 절차에서 어떤 지점에서의 네 점을 사용하느냐에 따라 최종 영상의 스케일을 결정하도록 한다.
In fact, in the process of obtaining the orthoimage, the scale of the final image is determined according to which point four points are used in the procedure of obtaining “A” represented by Equation 26.

상기 수학식 26에서 알 수 있듯이 정사영상 생성을 위해 필요한 정보는 카메라 캘리브레이션을 통해 구해진 초점 거리와 카메라 회전각 정보이다. 이 외에 이미지 센터에 대한 정보도 필요하지만 이미 언급한 대로 이미지 버퍼의 중심으로 간주 하기로 한다. 초점 거리의 경우 카메라 캘리브레이션이 끝난 후에는 변하지 않는 것으로 간주할 수 있지만 사용자의 카메라 조절 상태에 따라 회전각 정보는 항상 변하게 된다.
As can be seen from Equation 26, information necessary for generating an orthoimage is information on a focal length and a camera rotation angle obtained through camera calibration. In addition, information about the image center is required, but as already mentioned, it will be regarded as the center of the image buffer. The focal length can be considered not to change after the camera calibration is finished, but the rotation angle information always changes according to the user's camera adjustment.

이상에서 설명한 바와 같이, 본 발명은 디지털 카메라와 같이 렌즈 계를 채용한 영상 장비에서 렌즈 왜곡에 의해 발생하는 영상 품질의 저하를 소프트웨어적으로 보상하고, 이때의 결과 영상에 대해 정사영상을 생성하는 것으로서 렌즈계의 정보나 외부 장치에 의존하지 않으면서 영상만을 이용하여 자동으로 왜곡 보정을 실시할 수 있으므로 일반 디지털 카메라에서 제공되는 정지 영상뿐만 아니라 동일한 카메라로 촬영된 동영상에도 적용이 가능하다. 또한, 줌렌즈나 가변 초점 렌즈를 적용하는 경우에 각 렌즈 위치에 대한 렌즈 왜곡 변수를 캘리브레이션을 통해 구할 수 있고, 이 때 구해진 렌즈 왜곡 변수를 비휘발성 메모리나 룩업 테이블(Look-Up Table)에 저장하는 식으로 대처 가능하며 임의의 렌즈 위치에서 왜곡 변수는 이미 알려진 값의 보간(interpolation)을 통해 해결 가능하다.
As described above, the present invention is to compensate for the degradation of the image quality caused by lens distortion in the imaging equipment employing the lens system, such as a digital camera, and to generate an orthoimage for the resulting image Distortion correction can be performed automatically using only the image without depending on the lens system information or external device, so that it is applicable not only to still images provided by general digital cameras but also to videos captured by the same camera. In addition, in the case of applying a zoom lens or a varifocal lens, the lens distortion parameter for each lens position can be obtained through calibration, and the obtained lens distortion variable is stored in a nonvolatile memory or a look-up table. In this way, the distortion parameter at any lens position can be solved by interpolation of known values.

본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되지 않으며, 후술되는 특허청구의 범위 및 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.In the detailed description of the present invention, specific embodiments have been described, but various modifications may be made without departing from the scope of the present invention. Therefore, the scope of the present invention should not be limited to the described embodiments, but should be defined by the following claims and their equivalents.

없음none

Claims

The present invention provides a method for conveniently photographing a general subject image such as an iris, a document, and a face, and a camera device embedded in a wireless communication device (mobile communication terminal, wireless communication PDA, smartphone, mobile phone) or mounted externally. as

The camera device includes a band pass filter unit, LED lamp unit, lens unit, image sensor, ISP (Image Signal Processor) & DSP (Digital Signal Processor) control unit, display unit unit, other sensor control unit,

How to conveniently shoot video

At the ISP & DSP control unit

White balancer in preview mode,

Aim the AF actuator by performing an autofocusing method that is initially set to match the coordinates of the rectangular Téri screen to be positioned inside by aiming the area of interest (both eyes, or both eyes) of the subject on the screen, and the corresponding predetermined distance information. Auto focusing unit to capture iris and face images with accurate focus

Image stabilization unit for compensating the movement of the comparison image to exclude the blurring of the image caused by the hand shake and to generate a hand shake correction image by superimposing the reference image and the corrected comparison image,

Lens distortion image correction unit for obtaining an image correcting the distortion component of the lens

Wireless communication device camera system comprising a

The method of claim 1, wherein the band pass filter unit
Transmissive filter in the region around 730 ~ 900nm to acquire images of short wavelength and selective wavelength in near infrared wavelength band to optimize visibility without affecting signal noise and sensor exposure by external light in light source selection Or use a transmission filter in the range of 380 to 1000 nm to use both visible and infrared filters.
Wireless communication device camera system comprising a

The infrared wavelength band of the band pass filter is transmitted through
It is determined by the wavelength range of the light emitted from the infrared LED lamp used and ideally the bandpass filter according to the invention has a transmittance of 100% in the wavelength range of the light source emitted from the infrared LED lamp. In the visible wavelength range, 60% transmittance
Wireless communication device camera system comprising a

The method of claim 1, wherein the use of the band pass filter
One filter can be mounted on the rear of the lens to use both visible and near-infrared light, or mounted on the front of the lens.
Wireless communication device camera system comprising a

The method of claim 1, wherein the LED lamp unit
The front of the camera module is disposed in the periphery of the lens module to irradiate the light of the wavelength band required for the imaging of the iris pattern to the front, the on / off operation is controlled by the controller. When the on / off operation is used in the iris recognition mode, the high brightness LED lamp is turned off and only the infrared LED lamp is turned on alternately. In contrast, in normal subject shooting mode, the infrared LED lamp turns off and the high-brightness LED turns on.
Wireless communication device camera system comprising a

The LED lamp of claim 5
IR LED lamp (infrared LED lamp) that irradiates light of infrared wavelength, which is suitable for shooting iris pattern, and high brightness LED lamp (flash lamp) that irradiates light of visible wavelength, which is suitable for shooting subject, is used. In order to prevent the focused light from being concentrated in one place, the high-brightness LED lamp widens the angle of the condensing area by more than 40 ° up and down, and the infrared LED lamp is inclined by concentrating the light of the condensing area in one place. Narrowing to 25 ° and using an LED lamp with a wavelength band of 730-900 nm, preferably peaking at the irradiation bands (780, 850 nm).
Wireless communication device camera system comprising a

The method of claim 5 wherein the infrared LED lamp arrangement
The two are positioned between the left and right 45 degrees from the center of the lens module with the left and right angles at an angle. The angle of the light source of the infrared LED lamp is directed out of the iris outer boundary line when both eyes are placed inside a rectangular frame for adjusting the shooting distance. Do it. Preferably, the center of the light source of the infrared LED lamp is directed toward the center of the left and right vertical lines of the rectangle borders aimed at both eyes. Therefore, the light irradiated from the LED lamp can be prevented as much as possible to prevent the greens from forming in the iris of the subject.
Wireless communication device camera system comprising a

The method of claim 5 wherein the high brightness LED lamp position is
By arranging one in the left and right centers from the center of the lens module with respect to the vertical bottom part, the angle can be directed toward the center of the horizontal line at the bottom of the rectangle border when both eyes are located inside the rectangle border to match the shooting distance.
Wireless communication device camera system comprising a

The method of claim 1, wherein the white balance of the preview method
In the preview mode, the white balance (WB) adjustment circuit in the image processing circuit generates a first white balance correction value for performing white balance adjustment on the color of the image output from the CMOS image sensor and converts the first white balance correction value. To apply to the video
Wireless communication device camera system comprising a

10. The method of claim 9 wherein the first white balance correction value is
This is a correction value to perform white balance adjustment on the image input from the CMOS image sensor in the preview mode, and sets the area that can be estimated as achromatic color by analyzing the color difference signal of the input image and By determining the average color value for the image and determining the red and blue correction values that can be adjusted so that the average red and average blue values are equal to the average green value.
Wireless communication device camera system comprising a

The method of claim 1, wherein the auto focusing unit
The distance of the object is determined by computer analysis using only the image itself. The camera actually aims the area of interest (both eyes, or both eyes) of the subject displayed on the screen and moves the lens forward and backward to find the best focus through the same information as the composition of the subject (rectangular border) to be placed inside. That is, the camera causes an image formed through the lens to be formed on the image pickup device, and the pieces of pixels of the image pickup device are viewed to see differences in intensity among adjacent pixels. If the background is out of focus, the pixels will have very similar intensities, and if the background is in focus, the difference in intensity between adjacent pixels will be large. Eventually, autofocus will try to find the point (lens position) with the largest difference in intensity between adjacent pixels.
Wireless communication device camera system comprising a

The method of claim 1, wherein the auto focusing unit
The touch screen of a wireless communication device equipped with an autofocus camera device is divided into N sub-screens, and coordinate information (sub-screen area) on the screen of the divided sub-screen and the measurement information corresponding to the sub-screen area are stored. In the state, the second stage binocular aiming to set and display a rectangular window so that the first stage binocular for displaying the subject on the touch screen by performing the auto focus initially set according to the shooting mode setting by the photographer may be positioned. And a third step of calculating on-screen coordinates of the rectangular portion when positioned in the rectangular window. In a fourth step of identifying the sub-screen area including the calculated on-screen coordinates and the ranging information corresponding to the sub-screen area. According to a predetermined shooting distance including a fifth step of performing autofocus accordingly. It provides an auto focusing method for a surface position change.
The ranging information is a coordinate of a center pixel of the sub-screen, and accordingly, the fifth step may include performing auto focusing by measuring an intensity difference between adjacent pixels based on the center pixel of the sub-screen.
Wireless communication device camera system comprising a

The image stabilization unit of claim 1,
Image signal processing unit for outputting first digital image data corresponding to a first exposure degree condition and a plurality of second digital image data corresponding to a second exposure degree condition Binary and inverted images of the plurality of second digital images By tracking the object in the image with a large number of objects, the motion of another second digital image (comparative image) is corrected based on the reference second digital image (reference image), and the image stabilization image is superimposed by superimposing the corrected comparison image with the reference image. Image stabilization unit for generating a camera shake correction unit for correcting the attributes of the image stabilizer image on the basis of the attributes of the first digital image
Wireless communication device camera system comprising a

The method of claim 1, wherein the other sensor control unit
A warning message can be output to the photographer about the excessive shaking that is captured. To this end, the illumination sensor and the acceleration sensor mounted on the smart phone are used to detect and calculate the shake during exposure that the subject image enters the imaging surface, and compare the calculated shake with the preset limits of correction. Capturing excessive vibrations beyond the limits
Wireless communication device camera system comprising a

The method of claim 1, wherein the lens distortion image corrector
Camera calibration step for camera parameter extraction Compensation for lens distortion from lens distortion parameters, image center, and scale factor information obtained in the camera calibration step, and in the camera calibration step for the lens distortion compensated image Generating an image correcting a relative posture difference between the camera and the plane using the obtained focal length and camera rotation angle information calculated using the acceleration sensor of the smart phone at the shooting site.
Wireless communication device camera system comprising a