KR101327078B1 - Camera and method for processing image - Google Patents

Camera and method for processing image Download PDF

Info

Publication number
KR101327078B1
KR101327078B1 KR1020120044989A KR20120044989A KR101327078B1 KR 101327078 B1 KR101327078 B1 KR 101327078B1 KR 1020120044989 A KR1020120044989 A KR 1020120044989A KR 20120044989 A KR20120044989 A KR 20120044989A KR 101327078 B1 KR101327078 B1 KR 101327078B1
Authority
KR
South Korea
Prior art keywords
region
flare
image
area
adjacent
Prior art date
Application number
KR1020120044989A
Other languages
Korean (ko)
Other versions
KR20130121621A (en
Inventor
이명욱
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to KR1020120044989A priority Critical patent/KR101327078B1/en
Priority to JP2013018426A priority patent/JP6185249B2/en
Priority to US13/872,642 priority patent/US9007493B2/en
Publication of KR20130121621A publication Critical patent/KR20130121621A/en
Application granted granted Critical
Publication of KR101327078B1 publication Critical patent/KR101327078B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/162Segmentation; Edge detection involving graph-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

실시 예에 따른 카메라의 영상 처리 방법은 영상을 수신하는 단계; 상기 수신된 영상을 복수의 영역으로 분할하는 단계; 상기 분할된 영역별 히스토그램을 분석하여 밝기 정보를 획득하는 단계; 상기 분할된 각각의 영역 및 상기 각각의 영역과 인접한 인접 영역의 밝기 정보를 이용하여 플레어 영역을 검출하는 단계; 및 상기 검출된 플레어 영역의 화질을 보상하는 단계를 포함한다.An image processing method of a camera according to an embodiment includes receiving an image; Dividing the received image into a plurality of areas; Analyzing brightness of the divided histograms to obtain brightness information; Detecting a flare region using brightness information of each of the divided regions and adjacent regions adjacent to the respective regions; And compensating for the image quality of the detected flare region.

Description

카메라 및 이의 영상 처리 방법{Camera and method for processing image}Camera and its processing method {Camera and method for processing image}

실시 예는, 카메라에 관한 것으로, 특히 회절광학소자(DOE: Diffractive Optical Element) 렌즈를 포함하는 카메라 및 이의 영상 처리 방법에 관한 것이다.The embodiment relates to a camera, and more particularly, to a camera including a diffractive optical element (DOE) lens and an image processing method thereof.

일반 주택을 비롯하여 백화점, 은행, 전시장, 공장 등의 실내 외에 구비되는 감시 카메라(CCTV: Closed Circuit Television)는 도난을 방지하고 기계의 작동상태 또는 공정 흐름이나 상황 판단 등을 위하여 다양하게 이용되고 있다.Closed Circuit Televisions (CCTVs), which are installed outside general homes, as well as indoors of department stores, banks, exhibition halls and factories, are widely used to prevent theft and to determine the operation status of the machine, process flow or situation.

감시 카메라는 특정 장소에 설치되어 해당 장소에서 벌어지는 모든 상황을 원격지에서 모니터링하기 위한 목적으로 이용되어 왔으며, 이를 위하여 영상 송출기와 영상 송출기로부터 송신된 신호를 수신하여 표시 장치에 제공하는 표시부 등을 포함한다.Surveillance cameras have been used for the purpose of remotely monitoring all the situation in the place installed in a particular place, for this purpose includes a display unit for receiving a signal transmitted from the image transmitter and the image transmitter to provide to the display device. .

한편, 일반적으로 디지털 카메라는 그 구조에 있어서 일반 카메라의 광학과 메카니즘을 이용한다는 점에서 유사하지만, 필름 대신 CCD(Charge Coupled Device)라는 이미지 센서로 화상을 받아들여 그 신호를 디지털 데이터로 변환하고, 그래픽 파일로 메모리에 저장하는 방식을 취하는 점에서 차이가 있다.On the other hand, in general, digital cameras are similar in that they use the optics and mechanisms of ordinary cameras.However, digital cameras accept images with an image sensor called CCD (Charge Coupled Device) instead of film, and convert the signal into digital data. The difference is that the file is stored in memory as a file.

이러한, 디지털 카메라는 촬영한 화상을 디스플레이 화면을 통해 즉시 확인할 수 있으며, 컴퓨터를 통한 편집, 출력 등 다양한 자료 처리가 가능하고, 필요시에는 복잡한 필름 현상 및 인화과정 없이 즉시 프린터로 인쇄할 수 있으므로 그 활용도가 확대되고 있다.Such a digital camera can immediately check the captured image on the display screen, and can process various data such as editing and output through a computer, and if necessary, can be immediately printed on the printer without complicated film development and printing process. Utilization is expanding.

도 1은 종래 기술에 따른 카메라를 개략적으로 설명하는 도면이고, 도 2는 종래 기술에 따른 영상의 상태를 나타내는 도면이며, 도 3은 종래 기술에 따른 광의 상태를 나타내는 도면이고, 도 4는 종래 기술에 따른 카메라를 이용하여 촬영된 영상을 나타낸 도면이다.1 is a view schematically illustrating a camera according to the prior art, FIG. 2 is a view showing a state of an image according to the prior art, FIG. 3 is a view showing a state of light according to the prior art, and FIG. 4 is a prior art. 2 is a diagram illustrating an image photographed using a camera according to FIG.

도 1을 참조하면, 카메라는 적어도 하나의 면에 회절광학소자(DOE)가 적용된 음의 굴절능을 갖는 제 1 렌즈(1)와, 적어도 하나의 면에 회절 광학 소자(DOE)가 적용된 양의 굴절능을 갖는 제 2 렌즈(2)와, 상기 제 1 렌즈(1)와 제 2 렌즈(2) 사이에서 광량을 조절하는 기능을 하는 조리개(3) 및 상기 제 2 렌즈(2)와 이미지 센서(5)의 결상면 사이에서 저주파 대역을 통과시키고 나이키스트(Nyquist) 주파수 이상의 고주파수 영역을 차단하는 광학적필터(OLPF:Optical Low Pass Filter)(4)로 구성된다.Referring to FIG. 1, a camera includes a first lens 1 having negative refractive power to which a diffractive optical element DOE is applied to at least one surface, and a positive amount to which the diffractive optical element DOE is applied to at least one surface. A second lens 2 having refractive power, an aperture 3 having a function of adjusting the amount of light between the first lens 1 and the second lens 2, and the second lens 2 and the image sensor An optical filter (OLPF: Optical Low Pass Filter) 4 which passes a low frequency band between the imaging planes of (5) and blocks a high frequency region above the Nyquist frequency.

그러나, 도 2에 도시된 바와 같이 상기 회절광학소자가 적용된 렌즈를 사용하면, 이미지 센서(5)의 결상면에 영상이 정확히 맺히는 1차 광 이외에, 0차 또는 2차 광과 같은 잡광이 맺히며, 이에 따라 영상 플레어(Flare) 형상이 발생하는 문제가 있다.However, when the lens to which the diffractive optical element is applied as shown in FIG. 2 is used, in addition to the primary light in which an image is accurately formed on an image forming surface of the image sensor 5, light such as zero or secondary light is formed. Therefore, there is a problem that an image flare shape occurs.

즉, 도 3에 도시된 바와 같이 1차 광을 중심으로, 2차 광 및 0차 광이 그래프와 같은 형태로 발생하며, 상기 1차 광의 강도가 커짐에 따라 상기 0차 및 2차 광의 강도도 커지게 된다.That is, as shown in FIG. 3, the secondary light and the 0th light are generated in a graph-like form around the primary light, and as the intensity of the primary light increases, the intensity of the 0th and secondary light is also increased. It becomes bigger.

다시 말해서, 회절광학소자를 이용해 렌즈를 제작하면, 도 4에 도시된 바와 같은 영상이 표출되며, 상기 표출되는 영상에는 광원 주위로 플레어가 형성되어 화질 열화의 원인이 된다.In other words, when a lens is manufactured using a diffractive optical element, an image as shown in FIG. 4 is displayed, and flare is formed around the light source in the displayed image, causing deterioration of image quality.

이와 같은 플레어는 0차 및 2차와 같은 광들이 결상면에 정확히 맺히지 않아 만들어지며, 상기 플레어를 저감시키기 위해 밝기를 줄이게 되면, 어두운 부분의 계조가 묻히게 되어 또 다른 화질 열화의 원인이 된다.Such a flare is made because light such as the 0th order and the 2nd order are not exactly formed on the image forming surface, and when the brightness is reduced to reduce the flare, the gray level of the dark part is buried, which causes another image quality deterioration.

이에 따라 상기 영상 플레어 현상을 저감시켜 화질의 열화를 방지할 수 있는 기술이 필요하다.Accordingly, there is a need for a technology capable of reducing the image flare phenomenon to prevent deterioration of image quality.

실시 예에서는, 회절광학소자를 사용하는 카메라에서 0차 또는 2차 광에 의해 발생하는 플레어 현상을 효과적으로 방지할 수 있는 카메라 및 이의 영상 처리 방법을 제공하도록 한다.The embodiment provides a camera and an image processing method thereof capable of effectively preventing flare caused by zero or second order light in a camera using a diffractive optical element.

또한, 실시 예에서는 촬영 영상을 분석하여 플레이가 발생한 영역을 검출하고, 상기 검출된 영역에 대해서만 영상 처리를 수행할 수 있는 카메라 및 이의 영상 처리 방법을 제공하도록 한다.Further, an embodiment provides a camera and an image processing method thereof capable of detecting a region in which play occurs by analyzing a captured image and performing image processing on only the detected region.

제안되는 실시 예에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 제안되는 실시 예가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.It is to be understood that the technical objectives to be achieved by the embodiments are not limited to the technical matters mentioned above and that other technical subjects not mentioned are apparent to those skilled in the art to which the embodiments proposed from the following description belong, It can be understood.

실시 예에 따른 카메라의 영상 처리 방법은 영상을 수신하는 단계; 상기 수신된 영상을 복수의 영역으로 분할하는 단계; 상기 분할된 영역별 히스토그램을 분석하여 밝기 정보를 획득하는 단계; 상기 분할된 각각의 영역 및 상기 각각의 영역과 인접한 인접 영역의 밝기 정보를 이용하여 플레어 영역을 검출하는 단계; 및 상기 검출된 플레어 영역의 화질을 보상하는 단계를 포함한다.An image processing method of a camera according to an embodiment includes receiving an image; Dividing the received image into a plurality of areas; Analyzing brightness of the divided histograms to obtain brightness information; Detecting a flare region using brightness information of each of the divided regions and adjacent regions adjacent to the respective regions; And compensating for the image quality of the detected flare region.

또한, 상기 밝기 정보는, 각각의 영역에서 가장 밝은 픽셀의 레벨 값과, 최대 밝기(255 레벨)를 가진 픽셀 수를 포함한다.In addition, the brightness information includes the level value of the brightest pixel in each area and the number of pixels having the maximum brightness (255 levels).

또한, 상기 플레어 영역을 검출하는 단계는, 상기 최대 밝기를 가진 픽셀 수가 기설정된 기준 값을 초과하는 영역을 플레어 영역으로 검출하는 단계를 포함한다.The detecting of the flare region may include detecting a region in which the number of pixels having the maximum brightness exceeds a predetermined reference value as the flare region.

또한, 상기 플레어 영역이 검출되면, 상기 검출된 영역의 인접 영역에 대한 밝기 정보를 이용하여, 상기 검출된 영역이 전체 플레어 영역의 어느 부분에 위치하는지를 판단하는 단계를 더 포함한다.In addition, when the flare region is detected, the method may further include determining which part of the entire flare region is located using the brightness information of the adjacent region of the detected region.

또한, 상기 판단하는 단계는, 상기 전체 플레어 영역 중 가장자리에 위치한 가장자리 영역을 검출하는 단계를 포함한다.The determining may include detecting an edge region located at an edge of the entire flare regions.

또한, 상기 가장자리 영역을 검출하는 단계는, 적어도 하나의 인접 영역이 플레어 영역이고, 적어도 하나의 인접 영역이 플레어 영역이 아닌 영역을 상기 가장자리 영역으로 검출하는 단계를 포함한다.The detecting of the edge area may include detecting, as the edge area, an area in which at least one adjacent area is a flare area and at least one adjacent area is not a flare area.

또한, 상기 검출된 플레어 영역의 화질을 보상하는 단계는, 상기 전체 플레어 영역 중 가장자리에 위치한 가장자리 영역의 화질을 보상하는 단계를 포함한다.The compensating for the image quality of the detected flare region may include compensating for the image quality of an edge region positioned at an edge of the entire flare region.

또한, 상기 화질을 보상하는 단계는, 상기 가장자리 영역에 적용되는 감마 곡선, 게인 및 오프셋 중 적어도 하나의 조건을 변경하는 단계를 포함한다.The compensating of the image quality may include changing a condition of at least one of a gamma curve, a gain, and an offset applied to the edge region.

또한, 상기 적용되는 감마 곡선은, 상기 가장자리 영역의 플레어 정도에 따라 기울기가 감소한다.In addition, the applied gamma curve, the slope is reduced according to the flare degree of the edge region.

또한, 상기 인접 영역은, 각 영역의 상, 하, 좌, 우에 위치한 영역을 포함한다.In addition, the adjacent region includes regions located above, below, left, and right of each region.

한편, 실시 예에 따른 카메라는 렌즈; 상기 렌즈를 통해 들어온 빛을 전기적인 영상신호로 변환하는 이미지 센서; 상기 이미지 센서를 통해 변환된 영상신호를 수신하여, 프레임 단위로 복수의 영역으로 분할하고, 상기 분할된 복수의 영역의 히스토그램을 분석하여 플레어가 발생한 플레어 영역을 검출하고, 상기 검출된 플레어 영역의 화질을 보상하는 제 1 영상 처리부; 상기 제 1 영상 처리부를 통해 보상된 영상을 처리하여 출력하는 제 2 영상 처리부; 및 상기 플레어 영역이 검출되도록 하고, 상기 검출된 플레어 영역의 화질 보상 조건을 결정하여, 상기 플레어 영역의 화질 보상이 이루어지도록 제어하는 제어부를 포함한다.On the other hand, the camera according to the embodiment is a lens; An image sensor for converting light received through the lens into an electrical video signal; Receives a video signal converted by the image sensor, and divided into a plurality of areas in units of frames, by analyzing the histogram of the divided plurality of areas to detect a flare region where a flare occurs, the image quality of the detected flare region A first image processor to compensate for the loss; A second image processor configured to process and output an image compensated by the first image processor; And a controller configured to detect the flare region, determine a quality compensation condition of the detected flare region, and control the image quality compensation of the flare region.

또한, 상기 제 1 영상 처리부는, 상기 변환된 영상을 수신하고, 수신된 영상을 프레임 단위로 복수의 영역으로 분할하는 영역 분할부와, 상기 영역 분할부를 통해 분할된 각각의 영역의 히스토그램을 분석하여 밝기 정보를 획득하는 히스토그램 분석부와, 상기 분할된 각각의 영역 및 상기 각각의 영역과 인접한 인접 영역의 밝기 정보를 이용하여 플레어 영역을 검출하는 플레어 영역 검출부와, 상기 검출된 플레어 영역의 화질 보상 조건을 토대로 화질 보상을 수행하는 화질 보상부와, 상기 화질 보상부를 통해 화질이 보상된 영상을 상기 제 2 영상 처리부로 출력하는 영상 출력부를 포함한다.The first image processor may further include an area divider configured to receive the converted image and to divide the received image into a plurality of areas on a frame basis, and to analyze a histogram of each area divided by the area divider. A histogram analyzer for acquiring brightness information, a flare region detector for detecting a flare region using brightness information of each of the divided regions and adjacent regions adjacent to the respective regions, and image quality compensation of the detected flare region And an image output unit configured to perform image quality compensation based on a condition, and an image output unit configured to output an image whose image quality is compensated through the image quality compensation unit to the second image processor.

또한, 상기 밝기 정보는, 각각의 영역에서 가장 밝은 픽셀의 레벨 값과, 최대 밝기(255 레벨)를 가진 픽셀 수를 포함한다.In addition, the brightness information includes the level value of the brightest pixel in each area and the number of pixels having the maximum brightness (255 levels).

또한, 상기 플레어 영역 검출부는, 상기 최대 밝기를 가진 픽셀 수가 기설정된 기준 값을 초과하는 영역을 플레어 영역으로 검출한다.In addition, the flare region detector detects a flared region in which the pixel number having the maximum brightness exceeds a predetermined reference value.

또한, 상기 플레어 영역 검출부는, 상기 플레어 영역이 검출되면, 상기 검출된 영역의 인접 영역에 대한 밝기 정보를 이용하여, 상기 검출된 영역이 전체 플레어 영역의 어느 부분에 위치하는지를 판단하고, 상기 판단 결과에 따라 상기 전체 플레어 영역 중 가장자리에 위치한 가장자리 영역을 검출한다.The flare region detector, when the flare region is detected, determines which part of the entire flare region is located in the flare region using the brightness information of the adjacent region of the detected region, and the determination result. According to the detection of the edge region located at the edge of the entire flare region.

또한, 상기 플레어 영역 검출부는, 상기 검출된 플레어 영역 중 적어도 하나의 인접 영역이 플레어 영역이고, 적어도 하나의 인접 영역이 플레어 영역이 아닌 영역을 상기 가장자리 영역으로 검출한다.The flare region detector may detect a region where at least one adjacent region among the detected flare regions is a flare region and at least one adjacent region is not a flare region as the edge region.

또한, 상기 화질 보상부는, 상기 전체 플레어 영역 중 상기 검출된 가장자리에 위치한 가장자리 영역에 대해 화질을 보상한다.The image quality compensator compensates for the image quality of an edge region located at the detected edge of the entire flare region.

또한, 상기 화질 보상부는, 상기 가장자리 영역에 적용되는 감마 곡선, 게인 및 오프셋 중 적어도 하나의 조건을 변경하여 화질을 보상한다.The image quality compensator compensates for the image quality by changing at least one of a gamma curve, a gain, and an offset applied to the edge region.

또한, 상기 적용되는 감마 곡선은, 상기 가장자리 영역의 플레어 정도에 따라 기울기가 감소한다.In addition, the applied gamma curve, the slope is reduced according to the flare degree of the edge region.

또한, 상기 인접 영역은, 각 영역의 상, 하, 좌, 우에 위치한 영역을 포함한다.In addition, the adjacent region includes regions located above, below, left, and right of each region.

실시 예에 의하면, 영상을 분석하여 플레이가 발생한 영역을 검출하고, 상기 검출된 영역에 대해 영상 처리를 수행함으로써, 회절광학소자를 사용하는 카메라에서 0차 또는 2차 광에 의해 발생하는 플레어 현상을 효과적으로 방지할 수 있다.According to an embodiment, by analyzing an image to detect a region where play occurs, and performing image processing on the detected region, a flare phenomenon generated by zero or second order light in a camera using a diffraction optical element is detected. Can be effectively prevented.

또한, 실시 예에 의하면 플레어가 발생한 부분만의 영상 처리 조건을 변경함으로써, 플레이가 발생하지 않은 영역의 화질 열화 없이 상기 플레어가 발생한 영역의 화질을 향상시킬 수 있다.Further, according to the embodiment, by changing the image processing condition of only the portion where the flare occurs, it is possible to improve the image quality of the region where the flare occurs without deteriorating the image quality of the region where the play does not occur.

도 1은 종래 기술에 따른 카메라를 개략적으로 설명하는 도면이다.
도 2는 종래 기술에 따른 영상의 상태를 나타내는 도면이다.
도 3은 종래 기술에 따른 광의 상태를 나타내는 도면이다.
도 4는 종래 기술에 따른 카메라를 이용하여 촬영된 영상을 나타낸 도면이다.
도 5는 실시 예에 따른 카메라를 설명하는 도면이다.
도 6은 도 5에 도시된 제 1 영상 처리부의 상세 구성도이다.
도 7은 실시 예에 따른 영역 분할부에 의해 분할되는 영상을 설명하는 도면이다.
도 8은 실시 예에 따른 플레어 영역 검출 과정을 설명하기 위한 도면이다.
도 9는 실시 예에 따른 감마 곡선의 변화를 보여주는 도면이다.
도 10은 실시 예에 따라 출력되는 영상을 보여주는 도면이다.
도 11은 실시 예에 따른 카메라의 영상 처리 방법을 단계별로 설명하는 흐름도이다.
1 is a view schematically illustrating a camera according to the prior art.
2 is a view showing a state of an image according to the prior art.
3 is a view showing a state of light according to the prior art.
4 is a view showing an image photographed using a camera according to the prior art.
5 is a view illustrating a camera according to an embodiment.
FIG. 6 is a detailed configuration diagram of the first image processor illustrated in FIG. 5.
7 is a diagram illustrating an image divided by an area divider, according to an exemplary embodiment.
8 is a diagram for describing a flare region detection process according to an exemplary embodiment.
9 is a diagram illustrating a change in a gamma curve according to an embodiment.
10 is a diagram illustrating an image output according to an exemplary embodiment.
11 is a flowchart illustrating an image processing method of a camera according to an exemplary embodiment.

이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시 예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시 예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.The following merely illustrates the principles of the invention. Thus, those skilled in the art will be able to devise various apparatuses which, although not explicitly described or shown herein, embody the principles of the invention and are included in the concept and scope of the invention. Furthermore, all of the conditional terms and embodiments listed herein are, in principle, only intended for the purpose of enabling understanding of the concepts of the present invention, and are not to be construed as limited to such specifically recited embodiments and conditions do.

또한, 본 발명의 원리, 관점 및 실시 예들뿐만 아니라 특정 실시 예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.It is also to be understood that the detailed description, as well as the principles, aspects and embodiments of the invention, as well as specific embodiments thereof, are intended to cover structural and functional equivalents thereof. It is also to be understood that such equivalents include all elements contemplated to perform the same function irrespective of the currently known equivalents as well as the equivalents to be developed in the future, i.e., the structure.

따라서, 예를 들어, 본 명세서의 블록도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.Thus, for example, the block diagrams herein should be understood to represent a conceptual view of example circuitry embodying the principles of the invention. Similarly, all flowcharts, state transition diagrams, pseudo code, and the like are representative of various processes that may be substantially represented on a computer-readable medium and executed by a computer or processor, whether or not the computer or processor is explicitly shown .

프로세서 또는 이와 유사한 개념으로 표시된 기능 블럭을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 상기 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다.The functions of the various elements shown in the figures, including the functional blocks depicted in the processor or similar concept, may be provided by use of dedicated hardware as well as hardware capable of executing software in connection with appropriate software. When provided by a processor, the functions may be provided by a single dedicated processor, a single shared processor, or a plurality of individual processors, some of which may be shared.

또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지 관용의 다른 하드웨어도 포함될 수 있다.Also, the explicit use of terms such as processor, control, or similar concepts should not be interpreted exclusively as hardware capable of running software, and may be used without limitation as a digital signal processor (DSP) (ROM), random access memory (RAM), and non-volatile memory. Other hardware may also be included.

도 5는 실시 예에 따른 카메라를 설명하는 도면이다.5 is a view illustrating a camera according to an embodiment.

도 5를 참조하면, 카메라(100)는 렌즈부(110), 이미지 센서(120), 제 1 영상 처리부(130), 제 2 영상 처리부(140), 표시부(150), 저장부(160), 입력부(170) 및 제어부(180)를 포함한다.Referring to FIG. 5, the camera 100 includes a lens unit 110, an image sensor 120, a first image processor 130, a second image processor 140, a display unit 150, a storage unit 160, The input unit 170 and the controller 180 are included.

렌즈부(110)는 광학계(OPS)로써, 필터를 포함할 수 있으며, 촬영되는 영상의 빛을 광학적으로 처리한다.The lens unit 110 may include a filter as an optical system OPS, and optically processes light of a captured image.

렌즈부(110)는 피사체의 광학상이 이미지 센서(120)에 맺히도록 한다.The lens unit 110 allows the optical image of the subject to be formed on the image sensor 120.

렌즈부(110)는 줌 렌즈(도시하지 않음)와 이미지 센서(120)에 맺혀지는 광학상의 초점을 맞추기 위해 광 축 방향으로 이동 가능한 포커스 렌즈(도시하지 않음)를 포함하여 구성될 수 있다.The lens unit 110 may include a zoom lens (not shown) and a focus lens (not shown) that is movable in the optical axis direction to focus the optical image formed on the image sensor 120.

즉, 렌즈부(110)는 사용자가 촬영하고자 하는 피사체에 대한 영상을 획득한다.That is, the lens unit 110 acquires an image of a subject to be photographed by a user.

보다 구체적으로, 렌즈부(110)는 적어도 한 면이 회절광학소자로 이루어진 오목 렌즈로 구성되는 제 1 렌즈 그룹과, 적어도 한 면이 회절광학소자로 이루어진 볼록 렌즈로 구성되는 제 2 렌즈 그룹을 포함할 수 있다.More specifically, the lens unit 110 includes a first lens group composed of a concave lens composed of diffractive optical elements on at least one side thereof, and a second lens group composed of convex lenses composed of the diffractive optical elements on at least one side thereof. can do.

상기 제 1 렌즈 그룹은 넓은 시야각 및 충분한 후 초점 거리(BFL:Back Focal Length)를가지도록 음(-)의 파워를 갖는 오목 렌즈이고, 그 한 면은 비구면이고, 적어도 한 면은 회절광학소자가 설계되는데, 회절광학소자가 형성된 면의 분산이 음의 부호를 가지기 때문에 축 상의 색수차를 손쉽게 보정하면서도 파워의 일부를 부담함으로 렌즈의 형상을 어느 정도 완만히 가져갈 수 있다.The first lens group is a concave lens having a negative power to have a wide viewing angle and a sufficient back focal length (BFL), one side of which is an aspherical surface and at least one side of the diffractive optical element Since the dispersion of the plane on which the diffractive optical element is formed has a negative sign, it is possible to easily correct the chromatic aberration on the axis and to bear a part of the power, thereby bringing the shape of the lens to some extent.

또한, 볼록 렌즈 형상의 제 2 렌즈 그룹은, 양(+)의 파워를 갖고, 적어도 한 면이 비구면이고, 또한 적어도 한 면이 회절광학소자로 구성되어 상기 오목 렌즈 형상의 제 1 렌즈 그룹에서 입사된 영상 정보를 수렴시켜준다.In addition, the second lens group of the convex lens shape has positive power, at least one surface is an aspherical surface, and at least one surface is composed of diffractive optical elements to be incident on the first lens group of the concave lens shape. Converged video information.

이미지 센서(120)는 CMOS(Complementary Metal-Oxide Semiconductor)나 CCD(Charge Coupled Device)로 구성될 수 있다.The image sensor 120 may be configured as a complementary metal-oxide semiconductor (CMOS) or a charge coupled device (CCD).

이미지 센서(120)는 다수의 광 검출기들이 각각의 화소로서 집적된 형태이며, 피사체의 영상 정보를 전기적 데이터로 변환시켜 출력한다.The image sensor 120 is a form in which a plurality of photo detectors are integrated as each pixel, and converts image information of a subject into electrical data and outputs the converted electrical data.

즉, 이미지 센서(120)는 렌즈부(110)를 통과한 피사체의 이미지를 감지한다. 감지된 이미지는 원격지에 있는 사용자에게 전송될 수 있다.That is, the image sensor 120 detects an image of the subject passing through the lens unit 110. The sensed image can be sent to a remote user.

이미지 센서(120)는 렌즈부(110)를 통하여 입력되는 광량을 축적하고, 그 축적된 광량에 따라 상기 렌즈부(110)에서 촬영된 영상을 수직 동기신호에 맞추어 출력한다.The image sensor 120 accumulates the amount of light input through the lens unit 110, and outputs the image captured by the lens unit 110 according to the accumulated light amount in accordance with the vertical synchronization signal.

영상 획득은 피사체로부터 반사되어 나오는 빛을 전기적인 신호로 변환시켜주는 상기 이미지 센서(120)에 의해 이루어진다.Image acquisition is performed by the image sensor 120 that converts light reflected from a subject into an electrical signal.

이미지 센서(120)를 이용하여 컬러 영상을 얻기 위해서는 컬러 필터를 필요로 하며, 대부분 CFA(Color Filter Array)라는 필터(도시되지 않음)를 채용하고 있다. CFA는 한 픽셀마다 한 가지 컬러를 나타내는 빛만을 통과시키며, 규칙적으로 배열된 구조를 가지며, 배열 구조에 따라 여러 가지 형태를 가진다.In order to obtain a color image using the image sensor 120, a color filter is required, and a filter (not shown) called a CFA (Color Filter Array) is mostly adopted. CFA passes only light representing one color per pixel, has a regularly arranged structure, and has various forms depending on the arrangement structure.

제 1 영상 처리부(130)는 상기 이미지 센서(120)에서 획득된 영상을 프레임 단위로 분석하고, 상기 분석 결과에 따라 상기 영상의 화질을 보상하여 출력한다.The first image processor 130 analyzes the image acquired by the image sensor 120 in units of frames and compensates and outputs the image quality of the image according to the analysis result.

보다 구체적으로, 제 1 영상 처리부(130)는 상기 이미지 센서(120)에서 획득된 영상 내에 플레어가 발생한 영역을 구분하고, 그에 따라 상기 플레어가 발생한 영역의 영상 처리 조건을 변경하여, 상기 발생한 플레어를 제거한다.More specifically, the first image processor 130 classifies an area where a flare has occurred in an image acquired by the image sensor 120, and accordingly changes an image processing condition of an area where the flare occurs, thereby resolving the generated flare. Remove

이를 위해, 제 1 영상 처리부(130)는 상기 프레임을 복수의 영역으로 분할하고, 상기 분할된 복수의 영역, 각각에 대하여 히스토그램을 분석한다.To this end, the first image processor 130 divides the frame into a plurality of regions, and analyzes a histogram for each of the divided regions.

이후, 제 1 영상 처리부(130)는 상기 분석한 히스토그램을 토대로 각 영역의 밝기 정보와, 인접 영역의 밝기 정보를 비교하고, 상기 비교 결과에 따라 상기 각 영역의 상태를 파악한다.Subsequently, the first image processor 130 compares the brightness information of each region with the brightness information of the adjacent region based on the analyzed histogram, and determines the state of each region according to the comparison result.

여기에서, 상기 상태를 파악하는 것은 상기 각 영역이 플레이가 발생한 영역인지, 아닌지 여부를 파악하는 것이다.In this case, to grasp the state is to determine whether each of the areas is a play area or not.

상기 밝기 정보는, 해당 영역에 포함된 픽셀 중 가장 밝은 픽셀의 레벨 값과, 상기 해당 영역에 포함된 픽셀 중 최대 밝기(255의 그레이 레벨)를 가진 픽셀의 수를 포함한다.The brightness information includes the level value of the brightest pixel among the pixels included in the corresponding area, and the number of pixels having the maximum brightness (gray level of 255) among the pixels included in the corresponding area.

즉, 상기 분할된 영역 중 특정 영역에서 최대 밝기를 가진 픽셀의 수가 기설정된 기준 값 이상이면, 제 1 영상 처리부(130)는 상기 특정 영역을 플레어가 발생한 영역으로 판단할 수 있다.That is, when the number of pixels having the maximum brightness in a specific region among the divided regions is equal to or greater than a predetermined reference value, the first image processor 130 may determine the specific region as a region where flares have occurred.

또한, 제 1 영상 처리부(130)는 상기 특정 영역과 인접한 영역(예를 들어, 특정 영역의 상, 하, 좌, 우 영역)들의 밝기 정보를 이용하여 상기 특정 영역이 플레어 영역의 어느 부분에 위치해 있는지를 확인한다.In addition, the first image processor 130 may locate the specific region on a part of the flared region by using brightness information of the region adjacent to the specific region (for example, upper, lower, left, and right regions of the specific region). Check if it is.

즉, 예를 들어 백열등을 촬영할 때, 상기 백열등 주위로 플레어가 발생하게 되며, 렌즈부(110)에 회절광학소자가 포함된 경우, 상기 플레어의 발생 정도가 더욱 심해진다.That is, for example, when photographing an incandescent lamp, a flare is generated around the incandescent lamp. When the diffraction optical element is included in the lens unit 110, the flare is more severe.

따라서, 본 발명은 상기 회절광학소자를 사용하는 렌즈부(110)에 의해 발생하는 플레어 현상을 제거하도록 한다.Therefore, the present invention eliminates the flare phenomenon caused by the lens unit 110 using the diffractive optical element.

이를 위해, 상기 프레임을 복수의 영역으로 분할하고, 그에 따라 상기 분할된 각각의 영역 및 상기 각 영역과 인접해 있는 인접 영역의 밝기 정보를 이용하여 상기 각 영역에서 플레어가 발생하고 있는지, 만약 발생한다면 상기 발생하는 플레어의 정도가 어느 정도인지를 확인한다.To this end, the frame is divided into a plurality of regions, and accordingly, flare is generated in each region by using brightness information of each of the divided regions and adjacent regions adjacent to the respective regions. Check how much flare is generated.

예를 들어, 해당 영역에서 가장 밝은 픽셀의 레벨 값이 255이고, 최대 밝기를 가진 픽셀의 수가 기설정된 기준 값을 초과하는 경우, 상기 해당 영역은 플레어가 발생한 부분으로 확인할 수 있다. 이때, 상기 플레어가 발생한 것으로 확인한 영역과 인접해 있는 인접 영역의 밝기 정보를 이용하여, 상기 해당 영역이 플레어 영역의 어느 부분에 위치해 있는지를 확인한다.For example, when the level value of the brightest pixel in the corresponding area is 255 and the number of pixels having the maximum brightness exceeds a preset reference value, the corresponding area may be identified as a portion where flare has occurred. At this time, the brightness information of the adjacent region adjacent to the region identified as the occurrence of the flare is used to determine where the corresponding region is located in the flare region.

만약, 상기 인접 영역의 밝기 정보를 확인한 결과, 상기 인접 영역 모두에서 플레어가 발생하였다면, 상기 해당 영역은 플레어 영역의 중앙 부분에 위치해 있는 것으로 확인될 수 있다.If, as a result of checking the brightness information of the adjacent area, the flare occurs in all of the adjacent areas, the corresponding area may be determined to be located in the central portion of the flare area.

한편, 도 4에 도시된 바와 같이 상기 플레어는 특정 물체를 중심으로 상기 특정 물체의 주변에 발생하게 된다.Meanwhile, as shown in FIG. 4, the flare is generated around the specific object with respect to the specific object.

이때, 상기 획득한 영상에서 특정 물체가 존재하는 부분도 밝기가 밝으므로, 상기 특정 물체가 존재하는 부분도 플레어가 발생한 영역으로 판단될 수 있다.In this case, since a part of the specific object in the acquired image is also bright, the part in which the specific object exists may also be determined as a region where flare has occurred.

이에 따라, 상기 기재한 플레어 영역은, 상기 특정 물체의 주변 영역뿐만 아니라, 상기 특정 물체가 촬영된 부분도 포함된다.Accordingly, the flare region described above includes not only the peripheral region of the specific object but also a portion where the specific object is photographed.

즉, 상기 플레어 영역은 백열등과 같은 물체가 촬영된 영역 및 상기 영역과 인접한 주변 영역을 포함하며, 상기 플레어 영역 중 실질적은 플레어가 발생한 영역은 상기 물체가 촬영된 영역의 주변 영역, 다시 말해서 상기 플레어 영역의 가장 자리 영역에 해당된다.That is, the flare region includes a region where an object such as an incandescent lamp is photographed and a peripheral region adjacent to the region, and a region where a substantially flare occurs among the flare regions is a peripheral region of the region where the object is photographed, that is, the flare. Corresponds to the edge of the region.

이에 따라, 상기와 같이, 제 1 영상 처리부(130)는 각 영역의 밝기 정보를 이용하여 플레어 발생 여부를 판단하고, 상기 플레어가 발생하였다면 인접 영역의 밝기 정보를 이용하여 상기 플레어가 발생한 특정 영역의 위치가 플레어가 발생한 전체 영역의 어느 부분인지를 확인한다.Accordingly, as described above, the first image processor 130 determines whether the flare is generated using the brightness information of each area, and if the flare occurs, the brightness of the adjacent area is determined by using the brightness information of the adjacent area. Identify the location of the entire area where the flare occurred.

그리고, 상기 제 1 영상 처리부(130)는 상기 확인한 결과에 따라 상기 플레어가 발생한 전체 영역 중 가장 자리 영역에 대한 영상 처리 조건을 다른 영역의 영상 처리 조건과 다르게 하여 출력한다.The first image processor 130 outputs the image processing condition for the edge region of the entire region where the flare is different from the image processing conditions of the other region according to the confirmed result.

이때, 상기 영상 처리 조건은 감마 곡선, 게인 및 오프셋 값을 포함한다.In this case, the image processing condition includes a gamma curve, a gain, and an offset value.

제 2 영상 처리부(140)는 ISP(Image Signal Processor)라 칭할 수 있으며, 상기 제 1 영상 처리부(130)를 통해 출력되는 영상 신호를 프레임 단위로 처리한다.The second image processor 140 may be referred to as an image signal processor (ISP), and processes the image signal output through the first image processor 130 in units of frames.

표시부(150)는 후술할 제어부(180)의 제어에 따라 촬영된 영상을 표시하며, 사진 촬영 시 필요한 설정 화면이나, 사용자의 동작 선택을 위한 화면을 표시한다.The display unit 150 displays an image captured by the control of the controller 180 to be described later, and displays a setting screen necessary for taking a picture or a screen for selecting an operation of a user.

또한, 실시 예에 따라 프리뷰 키 입력 시, 프리뷰 화면을 표시하며, 촬영 키 입력 시 팝-업 되는 팝-업 화면이나, 미리 설정된 애니메이션 혹은 영상을 표시한다.In addition, according to an embodiment, when the preview key is input, the preview screen is displayed, and when the shooting key is input, the pop-up screen is popped up, or a preset animation or image is displayed.

저장부(160)는 상기 카메라(100)가 동작하는데 필요한 데이터를 저장한다.The storage unit 160 stores data necessary for the camera 100 to operate.

또한, 실시 예에 따라 저장부(160)는 촬영 키 입력 시, 상기 표시부(150)를 통해 표시할 팝-업 화면이나 애니메이션 혹은 영상을 저장한다.In addition, according to an embodiment, the storage unit 160 stores a pop-up screen, an animation, or an image to be displayed through the display unit 150 when a photographing key is input.

저장부(160)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, 롬(EEPROM 등) 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. The storage unit 160 may be a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory) RAM, ROM (EEPROM, etc.), and the like.

입력부(170)는 사용자의 입력을 수신하여 제어부(180)로 전달한다.The input unit 170 receives a user input and transmits the input to the controller 180.

상기 표시부(150)가 터치 스크린으로 구현된 경우에는 상기 표시부(150)가 동시에 상기 입력부(170)로 동작할 수 있다.When the display unit 150 is implemented as a touch screen, the display unit 150 may operate as the input unit 170 at the same time.

실시 예에 따라, 입력부(170)는 촬영을 수행하기 위한 촬영 키와, 프리뷰 화면을 표시하기 위한 프리뷰 키를 더 포함할 수 있다.According to an embodiment, the input unit 170 may further include a photographing key for performing photographing and a preview key for displaying a preview screen.

제어부(180)는 상기 카메라의 각 구성을 제어한다.The controller 180 controls each component of the camera.

실시 예에서, 제어부(180)는 상기 제 1 영상 처리부(130)에 의해 플레어가 제거된 영상이 출력되도록 하고, 그에 따라 상기 플레어가 제거된 영상이 표시부(150)를 통해 출력되도록 한다.In an embodiment, the controller 180 outputs the image from which the flare has been removed by the first image processor 130, and accordingly outputs the image from which the flare has been removed through the display unit 150.

도 6은 도 5에 도시된 제 1 영상 처리부의 상세 구성도이다.FIG. 6 is a detailed configuration diagram of the first image processor illustrated in FIG. 5.

도 6을 참조하면, 제 1 영상 처리부(130)는 영역 분할부(131), 히스토그램 분석부(132), 플레어 영역 검출부(133), 화질 보상부(134) 및 영상 출력부(135)를 포함한다.Referring to FIG. 6, the first image processor 130 includes an area divider 131, a histogram analyzer 132, a flare region detector 133, an image quality compensator 134, and an image output unit 135. do.

영역 분할부(131)는 상기 이미지 센서(120)를 통해 출력되는 영상을 수신하고, 상기 수신된 영상을 프레임 단위로 출력한다.The area divider 131 receives an image output through the image sensor 120 and outputs the received image in units of frames.

이때, 영역 분할부(131)는 상기 프레임을 복수의 영역으로 분할한다.In this case, the area divider 131 divides the frame into a plurality of areas.

상기 분할되는 영역의 수는 실시 예에 따라 달라질 수 있다. 상기 분할되는 영역의 수가 증가하면, 그에 따른 계산량은 증가하지만, 더욱 정확한 플레어를 제거할 수 있다. The number of divided regions may vary according to embodiments. As the number of divided regions increases, the computational amount increases, but more accurate flare can be eliminated.

도 7은 실시 예에 따른 영역 분할부에 의해 분할되는 영상을 설명하는 도면이다.7 is a diagram illustrating an image divided by an area divider, according to an exemplary embodiment.

즉, 도 7에 도시된 바와 같이 상기 영역 분할부(131)는 상기 입력되는 프레임을 N*M개의 영역으로 분할하여 출력한다.That is, as shown in FIG. 7, the area divider 131 divides the input frame into N * M areas and outputs the divided frames.

히스토그램 분석부(132)는 상기 영역 분할부(131)로부터 영상을 입력받고, 상기 영역 분할부(131)를 통해 분할된 각 영역의 히스토그램 특성을 분석한다.The histogram analyzer 132 receives an image from the region divider 131 and analyzes histogram characteristics of each region divided by the region divider 131.

여기서, 히스토그램 특성은 빈도 수, 피크 개수, 피크 거리, 피크 폭을 포함한다. 일반적으로 히스토그램은 영상 안에서 픽셀들에 대한 명암 값의 분포를 나타낸 것으로, 밝은 픽셀과 어두운 픽셀이 분포할 때 그 범위와 값을 표현한 것으로, 이것을 그래프로 나타낸 것을 히스토그램 그래프라고 하며, 예를 들면 256 그레이 레벨 영상에서 명암 값의 범위는 0 내지 255의 값을 갖고, 각 명암 값, 즉 레벨의 빈도 수가 그래프의 높이로 나타낸다. 히스토그램은 영상의 많은 정보를 갖고 있으며, 다양한 영상 처리에 이용된다.Here, the histogram characteristic includes a frequency number, a peak number, a peak distance, and a peak width. In general, a histogram is a distribution of contrast values for pixels in an image. The histogram represents the range and value of light and dark pixels when they are distributed. The histogram is called a histogram graph. The range of the contrast value in the level image has a value of 0 to 255, and each contrast value, that is, the frequency of the level is represented by the height of the graph. The histogram has a lot of information of the image and is used for various image processing.

또한, 본 발명의 바람직한 실시 예에서, 히스토그램을 분석하여 영상의 특성을 알 수 있다.Also, in a preferred embodiment of the present invention, the histogram may be analyzed to determine characteristics of the image.

플레어 영역 검출부(133)는 상기 히스토그램 분석부(132)에서 분석한 각 영역의 특성을 이용하여, 플레어 영역을 검출한다.The flare region detector 133 detects the flare region using the characteristics of each region analyzed by the histogram analyzer 132.

도 8은 실시 예에 따른 플레어 영역 검출 과정을 설명하기 위한 도면이다.8 is a diagram for describing a flare region detection process according to an exemplary embodiment.

도 8을 참조하면, 플레어 영역 검출부(133)는 상기 분할된 영역 중 제 1 영역(810)에 대한 플레어 발생 여부를 확인한다.Referring to FIG. 8, the flare region detection unit 133 checks whether a flare occurs in the first region 810 among the divided regions.

즉, 플레어 영역 검출부(133)는 제 1 영역(810)에 포함된 픽셀 중 가장 밝은 픽셀의 레벨 값과, 상기 제 1 영역(810)에 포함된 픽셀 중 최대 밝기(255 레벨)를 갖는 픽셀 수를 확인한다.That is, the flare region detector 133 may have a level value of the brightest pixel among the pixels included in the first region 810 and a number of pixels having the maximum brightness (255 levels) among the pixels included in the first region 810. Check.

이때, 상기 최대 밝기를 가지는 픽셀 수가 기설정된 기준 값 이상이면, 상기 플레어 영역 검출부(133)는 상기 제 1 영역을 플레어가 발생한 플레어 영역으로 판단한다.At this time, if the number of pixels having the maximum brightness is equal to or greater than a predetermined reference value, the flare area detector 133 determines the first area as a flare area where flare has occurred.

상기 플레어 영역 판단을 위한 기준 값을 실시 예에 따라 다양한 값을 가질 수 있다. 예를 들어, 영상의 실제 밝기가 최대 밝기(255 레벨)인 경우와, 상기와 같이 플레어가 발생함에 따라 최대 밝기(255 레벨)를 가지는 경우를 구분해야 한다. 이와 같은 구분은 최대 밝기를 가지는 픽셀의 연속성을 가지고 판단할 수 있다.A reference value for determining the flare area may have various values according to embodiments. For example, it is necessary to distinguish between the case where the actual brightness of the image is the maximum brightness (255 levels) and the case where the flare occurs as described above and the maximum brightness (255 levels). Such division may be determined based on the continuity of pixels having the maximum brightness.

예를 들어, 상기 기준 값을 100으로 설정될 수 있으며, 이에 따라 상기 최대 밝기(255 레벨)가 100 픽셀 이상의 연속성을 갖는 경우에는 플레어로 인한 화질 열화로 판단하고, 100 픽셀 미만의 연속성을 갖는 경우에는 실제 영상의 밝기가 최대 밝기(255 레벨)인 것으로 간주한다. 이는 실제 밝기가 255 레벨이고, 이와 같은 최대 밝기(255 레벨)가 100 픽셀 이상의 연속성을 갖는 경우는 드물다는 가정하에 구현된다.For example, the reference value may be set to 100. Accordingly, when the maximum brightness (255 levels) has continuity of 100 pixels or more, it is determined that image quality is degraded due to flare, and when continuity is less than 100 pixels. It is assumed that the brightness of the actual image is the maximum brightness (255 levels). This is implemented on the assumption that the actual brightness is 255 levels, and this maximum brightness (255 levels) rarely has continuity of 100 pixels or more.

플레어 영역 검출부(133)는 상기 제 1 영역(810)이 플레어 영역이면, 제 1 영역(810)의 인접 영역을 분석하고, 상기 인접 영역의 밝기 상태를 확인한다.If the first region 810 is a flare region, the flare region detector 133 analyzes an adjacent region of the first region 810 and checks the brightness state of the adjacent region.

상기 인접 영역은, 상기 제 1 영역(810) 위에 인접해 있는 제 2 영역(820), 상기 제 1 영역(810)의 좌측에 인접해 있는 제 3 영역(830), 상기 제 1 영역(810)의 아래에 인접해 있는 제 4 영역(840) 및 상기 제 1 영역(810)의 우측에 인접해 있는 제 5 영역(850)을 포함할 수 있다.The adjacent region may include a second region 820 adjacent to the first region 810, a third region 830 adjacent to a left side of the first region 810, and the first region 810. It may include a fourth region 840 adjacent to the bottom and a fifth region 850 adjacent to the right side of the first region 810.

이에 따라, 플레어 영역 검출부(133)는 상기 제 2 내지 5 영역(820, 830, 840, 850)에서 가장 밝은 픽셀의 레벨 값과, 최대 밝기(255 레벨)를 가진 픽셀의 수를 이용하여, 상기 인접 영역의 상태를 확인한다.Accordingly, the flare region detector 133 uses the level values of the brightest pixels and the number of pixels having the maximum brightness (255 levels) in the second to fifth regions 820, 830, 840, and 850. Check the status of the adjacent area.

이때, 상기 인정 영역도 플레어 영역으로 간주되면, 플레어 영역 검출부(133)는 상기 제 1 영역(810)이 플레어 영역이지만, 전체 플레어 영역의 중앙 부분에 위치한 플레어 영역인 것으로 판단할 수 있다.In this case, if the recognition region is also regarded as a flare region, the flare region detector 133 may determine that the first region 810 is a flare region, but is a flare region located at the center of the entire flare region.

즉, 상기 제 1 영역(810)에서 플레어가 발생했고, 상기 플레어가 화이트가 꽉 찬 화면(태양의 중심과 같은)이라면, 상기 제 1 영역(810)은 전체 플레어 영역의 중심부에 위치해 있는 것으로 판단한다.That is, if a flare has occurred in the first area 810 and the flare is a full white screen (such as the center of the sun), the first area 810 is determined to be located at the center of the entire flare area. do.

그러나, 플레어 영역 검출부(133)는 전체 플레어 영역의 가장 자리 영역(860)과 같이, 인접해 있는 영역은 플레어 영역이 아니지만 자신은 플레어 영역인 경우를 이용하여 상기 가장 자리 영역(860)을 검출한다.However, the flare area detector 133 detects the edge area 860 by using the case where the adjacent area is not a flare area but is a flare area like the edge area 860 of the entire flare area. .

예를 들어, 특정 영역에서 최대 밝기(255 레벨)를 가진 픽셀이 전체 픽셀의 60%이고, 상부에 위치한 인접 영역들의 플레어가 심화된 상태(최대 밝기(255 레벨)를 가진 픽셀 수가 전체 픽셀의 90% 이상)이고, 다른 인접 여역에는 플레어가 발생하지 않은 경우에는 상기 특정 영역을 전체 플레어 영역의 가장자리 영역으로 판단할 수 있다.For example, a pixel with the maximum brightness (255 levels) in a particular area is 60% of the total pixels, and the flares of adjacent adjacent areas are intensified (the number of pixels with the maximum brightness (255 levels) is 90% of the entire pixels). % Or more), and if no flare occurs in another adjacent region, the specific region may be determined as an edge region of the entire flare region.

화질 보상부(134)는 상기 플레어 영역 검출부(133)를 통해 가장자리 영역(860)이 검출되면, 상기 검출된 영역의 감마 곡선이나, 게인 및 오프셋 중 적어도 하나의 조건을 변경하여 화질 보상을 수행한다.When the edge region 860 is detected by the flare region detector 133, the image quality compensator 134 performs image quality compensation by changing at least one of a gamma curve, a gain, and an offset of the detected region. .

도 9는 실시 예에 따른 감마 곡선의 변화를 보여주는 도면이다.9 is a diagram illustrating a change in a gamma curve according to an embodiment.

도 9를 참조하면, 위에 그려진 그래프는 일반적으로 적용되는 감마 곡선 그래프이다.Referring to FIG. 9, the graph drawn above is a gamma curve graph that is generally applied.

이때, 화질 보상부(134)는 상기 플레어 영역의 가장자리 영역이 검출되면, 상기 일반적으로 적용되는 감마 곡선을 변경하여, 상기 가장자리 영역에 적용될 감마 곡선을 결정한다.In this case, when the edge region of the flare region is detected, the image quality compensator 134 changes the generally applied gamma curve to determine a gamma curve to be applied to the edge region.

즉, 상기 가장자리 영역의 밝기를 감소시키기 위해, 도 9의 아래에 그려진 그래프와 같이 일반적으로 적용되는 감마 곡선의 기울기를 감소시킨다.That is, in order to reduce the brightness of the edge region, the slope of the gamma curve generally applied as shown in the graph drawn below in FIG. 9 is reduced.

이때, 상기 기울기의 감소 정도는, 상기 가장자리 영역의 플레어 정도에 따라 결정될 수 있다.In this case, the degree of reduction of the inclination may be determined according to the degree of flare of the edge region.

예를 들어, 최대 밝기(255 레벨)를 가진 픽셀 수가 전체 픽셀의 50%인 경우의 가장자리 영역과, 80%인 경우의 가장자리 영역에 적용되는 감마곡선의 기울기는 다르다. 이때, 상기 60%의 가장자리 영역에 적용되는 감마 곡선의 기울기는, 80%의 가장자리 영역에 적용되는 감마 곡선의 기울기보다 크다. 즉, 플레어 정도가 심해짐에 따라 상기 적용되는 감마 곡선의 기울기는 감소하게 된다.For example, the inclination of the gamma curve applied to the edge region when the number of pixels having the maximum brightness (255 levels) is 50% of the total pixels and the edge region at 80% is different. In this case, the slope of the gamma curve applied to the edge region of 60% is greater than the slope of the gamma curve applied to the edge region of 80%. That is, as the degree of flare increases, the slope of the applied gamma curve decreases.

영상 출력부(135)는 상기 화질 보상부(134)를 통해 화질이 보상된 영상을 프레임 단위로 출력한다.The image output unit 135 outputs the image whose image quality is compensated through the image quality compensator 134 in units of frames.

도 10은 실시 예에 따라 출력되는 영상을 보여주는 도면이다.10 is a diagram illustrating an image output according to an exemplary embodiment.

도 10을 참조하면, 실시 예에 따른 영상에는 종래 기술에 따른 영상 대비 백열등의 주변에서 발생하는 플레어가 보이지 않는 것을 확인할 수 있다.Referring to FIG. 10, it may be confirmed that the flare generated in the vicinity of the incandescent lamp compared to the image according to the prior art is not seen in the image according to the embodiment.

도 11은 실시 예에 따른 카메라의 영상 처리 방법을 단계별로 설명하는 흐름도이다.11 is a flowchart illustrating an image processing method of a camera according to an exemplary embodiment.

도 11을 참조하면, 먼저 영역 분할부(131)는 이미지 센서(120)를 통해 출력되는 영상을 수신한다(101단계).Referring to FIG. 11, first, the area divider 131 receives an image output through the image sensor 120 (step 101).

이후, 영역 분할부(131)는 상기 수신된 영상을 프레임 단위로 구분하고, 그에 따라 상기 프레임을 복수의 영역으로 분할한다(102단계).Thereafter, the area dividing unit 131 divides the received image into frame units, and divides the frame into a plurality of regions according to operation 102.

상기 분할된 복수의 영역 중 제 1 영역이 플레어 영역인지 아닌지를 판단하기 위해, 상기 제 1 영역에 대한 검증 과정을 수행한다(103단계).In operation 103, a verification process is performed on the first region to determine whether the first region is a flared region among the plurality of divided regions.

히스토그램 분석부(132)는 상기 제 1 영역 및 상기 제 1 영역과 인접해 있는 인접 영역의 히스토그램을 분석한다(104단계).The histogram analyzer 132 analyzes the histogram of the first area and the adjacent area adjacent to the first area (step 104).

이후, 플레어 영역 검출부(133)는 상기 히스토그램 분석부(132)를 통해 분석된 제 1 영역 및 인접 영역의 히스토그램을 이용하여, 상기 제 1 영역이 플레어 영역인지와, 상기 제 1 영역이 플레어 영역이라면, 전체 플레어 영역 중 어느 부분에 상기 제 1 영역이 위치해 있는지를 판단한다(105단계).Thereafter, the flare region detector 133 uses the histogram of the first region and the adjacent region analyzed by the histogram analyzer 132 to determine whether the first region is a flare region and if the first region is a flare region. In step 105, it is determined which part of the entire flare region is located in the first region.

플레어 영역 검출부(133)는 상기 영역 분할부(131)를 통해 분할된 모든 영역에 대해 상기와 같은 검증 과정이 수행되었는지 여부를 판단한다(106단계).The flare region detector 133 determines whether the above verification process is performed on all regions divided by the region divider 131 (step 106).

상기 판단결과(106단계), 검증이 수행되지 않은 영역이 있다면, 다음 영역을 선택(105단계)하고, 그에 따라 상기 선택된 다음 영역에 대하여 상기와 같은 과정(104단계~105단계)을 수행한다.As a result of the determination (step 106), if there is an area for which verification has not been performed, the next area is selected (step 105), and accordingly, the process (step 104 to 105) is performed on the selected next area.

이후, 상기 플레어 영역이 판단되면, 전체 플레어 영역 중 가장자리 영역에 위치한 영역의 화질 보상 조건을 결정하고, 결정한 화질 보상 조건을 이용하여 상기 영역의 화질 보상을 수행한다(108단계). Thereafter, if the flare region is determined, the image quality compensation condition of the region located in the edge region of the entire flare region is determined, and image quality compensation of the region is performed using the determined image quality compensation condition (step 108).

또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the present invention.

100: 카메라
110: 렌즈부
120: 이미지 센서
130: 제 1 영상 처리부
131: 영역 분할부
132: 히스토그램 분석부
133: 플레어 영역 검출부
134: 화질 보상부
135: 영상 출력부
140: 제 2 영상 처리부
150: 표시부
160: 저장부
170: 입력부
180: 제어부
100: camera
110: lens unit
120: Image sensor
130: first image processing unit
131: region divider
132: histogram analysis unit
133: flare area detector
134: image quality compensation unit
135: video output unit
140: second image processing unit
150:
160:
170: input unit
180:

Claims (20)

영상을 수신하는 단계;
상기 수신된 영상을 복수의 영역으로 분할하는 단계;
상기 분할된 영역별 밝기 정보를 획득하는 단계;
상기 분할된 각각의 영역 및 상기 각각의 영역과 인접한 인접 영역의 밝기 정보를 이용하여 전체 플레어 영역 및 상기 전체 플레어 영역 중 가장 자리 영역을 검출하는 단계; 및
상기 검출된 가장자리 영역의 화질을 보상하는 단계를 포함하는 카메라의 영상 처리 방법.
Receiving an image;
Dividing the received image into a plurality of areas;
Obtaining brightness information for each of the divided regions;
Detecting an entire flare region and an edge region of the entire flare regions by using brightness information of each of the divided regions and adjacent regions adjacent to the respective regions; And
Compensating for the image quality of the detected edge region.
제 1항에 있어서,
상기 밝기 정보는,
각각의 영역에서 가장 밝은 픽셀의 레벨 값과, 최대 밝기(255 레벨)를 가진 픽셀 수를 포함하는 카메라의 영상 처리 방법.
The method of claim 1,
The brightness information,
The image processing method of the camera including the level value of the brightest pixel in each area and the number of pixels having the maximum brightness (255 levels).
제 2항에 있어서,
상기 플레어 영역을 검출하는 단계는,
상기 최대 밝기를 가진 픽셀 수가 기설정된 기준 값을 초과하는 영역을 플레어 영역으로 검출하는 단계를 포함하는 카메라의 영상 처리 방법.
3. The method of claim 2,
Detecting the flare region,
And detecting an area in which the number of pixels having the maximum brightness exceeds a predetermined reference value as a flare area.
제 3항에 있어서,
상기 가장자리 영역을 검출하는 단계는,
상기 플레어 영역이 검출되면, 상기 검출된 영역의 인접 영역에 대한 밝기 정보를 이용하여, 상기 검출된 영역이 전체 플레어 영역의 어느 부분에 위치하는지를 판단하는 단계를 더 포함하는 카메라의 영상 처리 방법.
The method of claim 3, wherein
Detecting the edge area,
And when the flare region is detected, determining which part of the entire flare region is located in the flare region by using brightness information of an adjacent region of the detected region.
삭제delete 제 4항에 있어서,
상기 가장자리 영역은,
적어도 하나의 인접 영역이 플레어 영역이고, 적어도 하나의 인접 영역이 플레어 영역이 아닌 영역인 카메라의 영상 처리 방법.
5. The method of claim 4,
The edge area is,
At least one adjacent region is a flare region, and at least one adjacent region is a region other than the flare region.
삭제delete 제 6항에 있어서,
상기 화질을 보상하는 단계는,
상기 가장자리 영역에 적용되는 감마 곡선, 게인 및 오프셋 중 적어도 하나의 조건을 변경하는 단계를 포함하는 영상 처리 방법.
The method according to claim 6,
Compensating the image quality,
And changing a condition of at least one of a gamma curve, a gain, and an offset applied to the edge region.
제 8항에 있어서,
상기 적용되는 감마 곡선은,
상기 가장자리 영역의 플레어 정도에 따라 기울기가 감소하는 영상 처리 방법.
The method of claim 8,
The applied gamma curve is,
And an inclination decreases according to the flare of the edge region.
제 1항에 있어서,
상기 인접 영역은,
각 영역의 상, 하, 좌, 우에 위치한 영역을 포함하는 영상 처리 방법.
The method of claim 1,
The adjacent area is,
An image processing method comprising regions located above, below, left, and right of each region.
렌즈;
상기 렌즈를 통해 들어온 빛을 전기적인 영상신호로 변환하는 이미지 센서;
상기 이미지 센서를 통해 변환된 영상신호를 수신하여, 프레임 단위로 복수의 영역으로 분할하고, 상기 분할된 각각의 영역의 밝기 정보를 이용하여 플레어가 발생한 전체 플레어 영역 및 상기 전체 플레어 영역 중 가장자리 영역을 검출하며, 상기 검출된 가장자리 영역의 화질을 보상하는 제 1 영상 처리부;
상기 제 1 영상 처리부를 통해 보상된 영상을 처리하여 출력하는 제 2 영상 처리부; 및
상기 전체 플레어 영역 및 가장자리 영역이 검출되도록 하고, 상기 검출된 가장 자리 영역의 화질 보상 조건을 결정하여 화질 보상이 이루어지도록 제어하는 제어부를 포함하는 카메라.
lens;
An image sensor for converting light received through the lens into an electrical video signal;
The video signal converted by the image sensor is received, divided into a plurality of areas in units of frames, and the entire flare area where flares are generated and an edge area among the flare areas are generated using brightness information of each divided area. A first image processor configured to detect and compensate for image quality of the detected edge region;
A second image processor configured to process and output an image compensated by the first image processor; And
And a controller configured to detect the entire flare area and the edge area, and to determine an image quality compensation condition of the detected edge area to perform image quality compensation.
제 11항에 있어서,
상기 제 1 영상 처리부는,
상기 변환된 영상을 수신하고, 수신된 영상을 프레임 단위로 복수의 영역으로 분할하는 영역 분할부와,
상기 영역 분할부를 통해 분할된 각각의 영역의 히스토그램을 분석하여 밝기 정보를 획득하는 히스토그램 분석부와,
상기 분할된 각각의 영역 및 상기 각각의 영역과 인접한 인접 영역의 밝기 정보를 이용하여 플레어 영역을 검출하는 플레어 영역 검출부와,
상기 검출된 플레어 영역의 화질 보상 조건을 토대로 화질 보상을 수행하는 화질 보상부와,
상기 화질 보상부를 통해 화질이 보상된 영상을 상기 제 2 영상 처리부로 출력하는 영상 출력부를 포함하는 카메라.
12. The method of claim 11,
Wherein the first image processing unit comprises:
An area divider for receiving the converted image and dividing the received image into a plurality of areas on a frame basis;
A histogram analyzer for analyzing brightness histograms of the respective regions divided by the region dividing unit, and obtaining brightness information;
A flare region detector for detecting a flare region by using the divided regions and brightness information of adjacent regions adjacent to the respective regions;
An image quality compensator for performing image quality compensation based on the image quality compensation condition of the detected flare region;
And an image output unit configured to output an image whose image quality is compensated through the image quality compensation unit to the second image processing unit.
제 12항에 있어서,
상기 밝기 정보는,
각각의 영역에서 가장 밝은 픽셀의 레벨 값과, 최대 밝기(255 레벨)를 가진 픽셀 수를 포함하는 카메라.
13. The method of claim 12,
The brightness information,
Camera that contains the level value of the brightest pixel in each area and the number of pixels with the maximum brightness (255 levels).
제 13항에 있어서,
상기 플레어 영역 검출부는,
상기 최대 밝기를 가진 픽셀 수가 기설정된 기준 값을 초과하는 영역을 플레어 영역으로 검출하는 카메라.
The method of claim 13,
The flare area detector,
And detecting a region where the maximum number of pixels having the maximum brightness exceeds a predetermined reference value as a flare region.
제 14항에 있어서,
상기 플레어 영역 검출부는,
상기 플레어 영역이 검출되면, 상기 검출된 영역의 인접 영역에 대한 밝기 정보를 이용하여, 상기 검출된 영역이 전체 플레어 영역의 어느 부분에 위치하는지를 판단하고,
상기 판단 결과에 따라 상기 전체 플레어 영역 중 가장자리에 위치한 가장자리 영역을 검출하는 카메라.
The method of claim 14,
The flare area detector,
When the flare region is detected, it is determined which part of the entire flare region is located by using the brightness information of the adjacent region of the detected region,
And detecting an edge region located at an edge of the entire flare regions according to the determination result.
제 15항에 있어서,
상기 플레어 영역 검출부는,
상기 검출된 플레어 영역 중 적어도 하나의 인접 영역이 플레어 영역이고, 적어도 하나의 인접 영역이 플레어 영역이 아닌 영역을 상기 가장자리 영역으로 검출하는 카메라.
16. The method of claim 15,
The flare area detector,
And at least one adjacent area among the detected flare areas is a flare area, and at least one adjacent area is a flare area.
제 16항에 있어서,
상기 화질 보상부는,
상기 전체 플레어 영역 중 상기 검출된 가장자리에 위치한 가장자리 영역에 대해 화질을 보상하는 카메라.
17. The method of claim 16,
The image quality compensation unit,
A camera for compensating for image quality of an edge region located at the detected edge of the entire flare region.
제 17항에 있어서,
상기 화질 보상부는,
상기 가장자리 영역에 적용되는 감마 곡선, 게인 및 오프셋 중 적어도 하나의 조건을 변경하여 화질을 보상하는 카메라.
18. The method of claim 17,
The image quality compensation unit,
And a camera compensating for image quality by changing at least one of a gamma curve, a gain, and an offset applied to the edge region.
제 18항에 있어서,
상기 적용되는 감마 곡선은,
상기 가장자리 영역의 플레어 정도에 따라 기울기가 감소하는 카메라.
19. The method of claim 18,
The applied gamma curve is,
And the tilt decreases according to the flare degree of the edge region.
제 12항에 있어서,
상기 인접 영역은,
각 영역의 상, 하, 좌, 우에 위치한 영역을 포함하는 카메라.
13. The method of claim 12,
The adjacent area is,
Camera including the areas located on the top, bottom, left and right of each area.
KR1020120044989A 2012-04-27 2012-04-27 Camera and method for processing image KR101327078B1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020120044989A KR101327078B1 (en) 2012-04-27 2012-04-27 Camera and method for processing image
JP2013018426A JP6185249B2 (en) 2012-04-27 2013-02-01 Image processing apparatus and image processing method
US13/872,642 US9007493B2 (en) 2012-04-27 2013-04-29 Image processing apparatus and image processing method for the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120044989A KR101327078B1 (en) 2012-04-27 2012-04-27 Camera and method for processing image

Publications (2)

Publication Number Publication Date
KR20130121621A KR20130121621A (en) 2013-11-06
KR101327078B1 true KR101327078B1 (en) 2013-11-07

Family

ID=49851826

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120044989A KR101327078B1 (en) 2012-04-27 2012-04-27 Camera and method for processing image

Country Status (1)

Country Link
KR (1) KR101327078B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015099814A1 (en) * 2013-01-30 2015-07-02 Intel Corporation Content adaptive gain compensated prediction for next generation video coding

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102409857B1 (en) * 2015-12-23 2022-06-16 에스엘 주식회사 Apparatus and method for monitoring environment of vehicle
KR20200087399A (en) 2019-01-11 2020-07-21 엘지전자 주식회사 Camera device, and electronic apparatus including the same

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4326029B2 (en) * 1996-03-08 2009-09-02 ソニー株式会社 Imaging device
WO2010032409A1 (en) 2008-09-17 2010-03-25 パナソニック株式会社 Image processing device, imaging device, evaluation device, image processing method, and optical system evaluation method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4326029B2 (en) * 1996-03-08 2009-09-02 ソニー株式会社 Imaging device
WO2010032409A1 (en) 2008-09-17 2010-03-25 パナソニック株式会社 Image processing device, imaging device, evaluation device, image processing method, and optical system evaluation method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015099814A1 (en) * 2013-01-30 2015-07-02 Intel Corporation Content adaptive gain compensated prediction for next generation video coding

Also Published As

Publication number Publication date
KR20130121621A (en) 2013-11-06

Similar Documents

Publication Publication Date Title
US8243191B2 (en) Imaging apparatus and imaging control method for focusing by determining a focusing position
US8289441B2 (en) Imaging apparatus and imaging control method
US11095806B2 (en) Display control apparatus, display control method, and image capturing apparatus
US9641769B2 (en) Image capture apparatus and method for controlling the same
US20130293744A1 (en) Luminance source selection in a multi-lens camera
US9407812B2 (en) Image pickup apparatus capable of performing autofocus control in response to output of image pickup device, control method therefor, and storage medium storing control program therefor
US20150281556A1 (en) Focus detection apparatus and control method thereof
US9462177B2 (en) Focus adjustment apparatus, focus adjustment method, storage medium storing focus adjustment program, and imaging apparatus
US9247122B2 (en) Focus adjustment apparatus and control method therefor
US20140362279A1 (en) Focus detection apparatus and method, method of controlling focus detection apparatus, and image capturing apparatus
JP2013065005A (en) Focus evaluation apparatus, imaging apparatus and program
US9813687B1 (en) Image-capturing device, image-processing device, image-processing method, and image-processing program
JP6185249B2 (en) Image processing apparatus and image processing method
KR101327078B1 (en) Camera and method for processing image
US10182186B2 (en) Image capturing apparatus and control method thereof
JP5106283B2 (en) Video camera
US10205870B2 (en) Image capturing apparatus and control method thereof
JP4466017B2 (en) Image processing apparatus and image processing program
KR101946946B1 (en) Apparatus and method for processing image
KR101327035B1 (en) Camera module and image processing method
US11102423B2 (en) Image pickup apparatus that performs flicker detection, control method for image pickup apparatus, and storage medium
JP4466016B2 (en) Image processing apparatus and image processing program
US10200622B2 (en) Image processing method, image processing apparatus, and imaging apparatus
US9973679B2 (en) Control apparatus, image pickup apparatus, control method, and non-transitory computer-readable storage medium
US20220400210A1 (en) Image processing apparatus, image pickup apparatus, image processing method, and recording medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161006

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20181010

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20191010

Year of fee payment: 7