KR101594258B1 - APPARATUS AND METHOD FOR CORRECTING AND CONTROLLING IMAGE of camera using color/light sensor - Google Patents
APPARATUS AND METHOD FOR CORRECTING AND CONTROLLING IMAGE of camera using color/light sensor Download PDFInfo
- Publication number
- KR101594258B1 KR101594258B1 KR1020140127580A KR20140127580A KR101594258B1 KR 101594258 B1 KR101594258 B1 KR 101594258B1 KR 1020140127580 A KR1020140127580 A KR 1020140127580A KR 20140127580 A KR20140127580 A KR 20140127580A KR 101594258 B1 KR101594258 B1 KR 101594258B1
- Authority
- KR
- South Korea
- Prior art keywords
- value
- color
- correction
- experiential
- image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 34
- 238000003702 image correction Methods 0.000 claims description 42
- 238000005286 illumination Methods 0.000 claims description 9
- 230000003595 spectral effect Effects 0.000 claims description 7
- 239000000284 extract Substances 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000003705 background correction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Of Color Television Signals (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Abstract
Description
본 발명은 컬러/조도 센서를 이용한 카메라 영상 보정/제어 장치 및 방법에 관한 것으로, 더욱 상세하게는 이미지 센서를 통하여 감지된 이미지의 컬러 및 노출 중 적어도 하나를 보정하기 위한 제어값을 연산 및 등록하는 컬러/조도 센서를 이용한 카메라 영상 보정/제어 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for correcting / controlling a camera image using a color / brightness sensor, and more particularly, to a method and apparatus for calculating and registering a control value for correcting at least one of color and exposure of an image sensed through an image sensor And a camera image correction / control method using the color / light sensor.
카메라 장치는 촬영한 영상 또는 이미지를 디지털 신호로 변환하여 저장할 수 있고, 필요에 따라 화면 또는 용지에 표시할 수 있다. 또한, 카메라 장치는 이동통신 단말기에 장착될 수 있고, 독립적으로 카메라 기능만을 가질 수 있다.The camera device can convert the photographed image or image into a digital signal and store it, and display it on a screen or paper as needed. Also, the camera device may be mounted on the mobile communication terminal, and may have only the camera function independently.
이동통신 단말기는 개인 정보 단말기(PDA, Personal Digital Assistant), 스마트 폰(Smart Phone), IMT-2000(International Mobile Telecommunication 2000) 단말기, WCDMA(Wideband Code Division Multiple Access) 단말기 및 UMTS(Universal Mobile Telecommunication Service) 단말기 등과 같은 모든 정보 통신 기기 및 멀티 미디어 기기일 수 있다.2. Description of the Related Art [0002] A mobile communication terminal includes a personal digital assistant (PDA), a smart phone, an International Mobile Telecommunication 2000 (IMT-2000) terminal, a Wideband Code Division Multiple Access (WCDMA) terminal and a Universal Mobile Telecommunication Service (UMTS) And may be all information communication devices such as terminals and multimedia devices.
일반적으로 카메라 장치는 CMOS 이미지 센서(CIS, CMOS Image Sensor)와 같은 촬상 수단을 이용하여 미처리된 이미지 데이터의 프레임들을 출력할 수 있고, 이미지 신호 프로세서(ISP, Image Signal Processor)를 이용하여 미처리된 이미지 데이터의 프레임들을 처리된 이미지 데이터의 프레임들로 출력할 수 있다.Generally, a camera device can output frames of unprocessed image data by using an image sensing means such as a CMOS image sensor (CIS), and an image signal processor (ISP) It is possible to output frames of data as frames of processed image data.
예를 들어, 카메라 장치의 이미지 신호 프로세서는 색온도를 보정하는 자동 화이트 밸런스(AWB, Auto White Balance) 기능이라 일컫는 미처리된 이미지 데이터의 프레임들을 처리된 이미지 데이터의 프레임들로 출력하는 기능을 수행할 수 있다. For example, the image signal processor of the camera device can perform the function of outputting frames of unprocessed image data, referred to as an auto white balance (AWB) function for correcting the color temperature, as frames of processed image data have.
그러나, 전술한 카메라 장치 내의 이미지 신호 프로세서를 이용하여 처리된 이미지 데이터를 획득하는 종래의 이미지 보정 기술은 주위 환경의 다양한 광원에 따른 카메라의 분광 특성과 카메라 장치의 CMOS 이미지 센서 및 이미지 신호 프로세서의 칩셋의 자체 특성을 고려하지 않은 문제점이 있었다.However, conventional image correction techniques for obtaining processed image data using the image signal processor in the above-described camera device have a disadvantage in that the spectral characteristics of the camera according to various light sources of the surrounding environment and the spectral characteristics of the CMOS image sensor and image signal processor And the like.
본 발명은 다양한 환경에 따른 경험치 정보로부터 이미지의 컬러 및 노출 중 적어도 하나를 보정하여 다양한 주위 환경의 광원의 특성을 반영하는 컬러/조도 센서를 이용한 카메라 영상 보정/제어 장치 및 방법을 제공한다.The present invention provides an apparatus and method for correcting / controlling a camera image using a color / illuminance sensor that corrects at least one of color and exposure of an image from experience information according to various environments and reflects characteristics of a light source in various surrounding environments.
본 발명은 카메라 장치의 자동 화이트 밸런스(AWB) 기능 및 수동 화이트 밸런스 기능을 활용하지 않더라도 다양한 환경에 따른 경험치 정보를 참조하여, 주위 환경 및 카메라 장치의 고유 특성을 고려한 영상의 보정을 제어할 수 있는 컬러/조도 센서를 이용한 카메라 영상 보정/제어 장치 및 방법을 제공한다.The present invention is not limited to the automatic white balance (AWB) function and the manual white balance function of the camera device, but may be modified in consideration of the surrounding environment and the characteristic of the camera device An apparatus and method for correcting / controlling a camera image using a color / illuminance sensor are provided.
본 발명은 카메라 장치의 자동 노출(AE) 기능을 활용하지 않더라도 다양한 환경에 따른 경험치 정보를 참조하여, 주위 환경 및 카메라 장치의 고유 특성을 고려한 이미지 센서의 노출을 제어할 수 있는 컬러/조도 센서를 이용한 카메라 영상 보정/제어 장치 및 방법을 제공한다.The present invention relates to a color / ambient light sensor capable of controlling exposure of an image sensor in consideration of environmental characteristics and unique characteristics of a camera device, by referring to experience information according to various environments without using an automatic exposure (AE) function of the camera device A camera image correction / control device and method using the same are provided.
또한, 본 발명은 사용자에게 다양한 이미지 보정 서비스를 제공하기 위하여 자동 화이트 밸런스 보정값 또는 수동 화이트 밸런스 기반의 제1 보정 모드 및 제어값 기반의 제2 보정 모드 중 어느 하나를 선택하는 컬러/조도 센서를 이용한 카메라 영상 보정/제어 장치 및 방법을 제공한다.Further, the present invention provides a color / ambient light sensor for selecting either a first correction mode based on an automatic white balance correction value or a manual white balance and a second correction mode based on a control value to provide various image correction services to a user A camera image correction / control device and method using the same are provided.
본 발명의 실시예에 따른 컬러/조도 센서를 이용한 카메라 영상 보정/제어 장치는 다양한 주위 환경의 광원 별로 구성된 색온도 및 조도 중 적어도 어느 하나에 대한 경험치 정보를 저장하여 유지하는 경험치 테이블, 주위 환경의 광원을 감지하는 컬러/조도 센서, 상기 컬러/조도 센서로부터 컬러/조도값을 추출하고, 상기 경험치 정보를 참조하여 상기 추출된 컬러/조도값에 대한 적어도 하나의 제어값을 연산하는 알고리즘 연산부 및 이미지 센서를 통하여 감지된 이미지의 컬러 및 노출 중 적어도 하나를 상기 연산된 제어값을 참조하여 보정 및 제어하기 위한 보정 제어 처리부를 포함한다. The camera image correction / control apparatus using the color / ambient light sensor according to the embodiment of the present invention includes an experience value table for storing and maintaining experience information on at least one of color temperature and illuminance formed for each light source in various ambient environments, A color / brightness sensor for detecting a color / brightness value from the color / brightness sensor, an algorithm operation unit for calculating at least one control value for the extracted color / brightness value with reference to the experience value information, And a correction control processor for correcting and controlling at least one of color and exposure of the sensed image with reference to the calculated control value.
실시예에 따른 컬러/조도 센서를 이용한 카메라 영상 보정/제어 장치는 자동 화이트 밸런스 보정값(AWB control value) 기반 또는 수동 화이트 밸런스 보정값(MWB control value)의 제1 보정 모드 및 상기 적어도 하나의 제어값 기반의 제2 보정 모드 중 어느 하나를 선택하는 모드 선택부를 더 포함할 수 있다.A camera image correction / control apparatus using a color / light intensity sensor according to an embodiment includes a first correction mode based on an automatic white balance correction value (AWB control value) or a manual white balance correction value (MWB control value) Value-based second correction mode based on the first correction value.
상기 알고리즘 연산부는 상기 경험치 정보로부터 상기 추출된 컬러/조도값에 대응하는 경험치값을 추출하고, 상기 추출된 경험치값의 단계에 따른 튀는 현상을 제거하여 상기 적어도 하나의 제어값을 생성할 수 있고, 상기 경험치 테이블은 상기 광원 별로 구성된 각각의 색온도 및 조도 중 적어도 어느 하나에 대응하는 상기 경험치값을 저장하여 유지할 수 있다.The algorithm operation unit may extract the experience value corresponding to the extracted color / illumination value from the experience information, and generate the at least one control value by removing the bouncing according to the extracted experience value, The experiential value table may store and maintain the experiential value corresponding to at least one of the color temperature and the illuminance of each light source.
본 발명의 실시예에 따른 컬러/조도 센서를 이용한 카메라 영상 보정/제어 방법은 다양한 주위 환경의 광원 별로 구성된 색온도 및 조도 중 적어도 어느 하나에 대한 경험치 정보를 저장하여 유지하는 단계, 컬러/조도 센서를 통하여 주위 환경의 광원을 감지하는 단계, 상기 컬러/조도 센서로부터 컬러/조도값을 추출하고, 상기 경험치 정보를 참조하여 상기 추출된 컬러/조도값에 대한 적어도 하나의 제어값을 연산하는 단계 및 이미지 센서를 통하여 감지된 이미지의 컬러 및 노출 중 적어도 하나를 상기 연산된 제어값을 참조하여 보정 및 제어하는 단계를 포함한다.The camera image correction / control method using the color / brightness sensor according to an embodiment of the present invention includes the steps of storing and maintaining experience information on at least one of color temperature and illumination intensity for each light source in various ambient environments, Extracting a color / illuminance value from the color / illuminance sensor, calculating at least one control value for the extracted color / illuminance value with reference to the experiential value information, And correcting and controlling at least one of the color and the exposure of the image sensed through the sensor by referring to the calculated control value.
실시예에 따른 컬러/조도 센서를 이용한 카메라 영상 보정/제어 방법은 자동 화이트 밸런스 보정값(AWB control value) 기반 또는 수동 화이트 밸런스의 제1 보정 모드 및 상기 적어도 하나의 제어값 기반의 제2 보정 모드 중 어느 하나를 선택하는 단계를 더 포함할 수 있다.The camera image correction / control method using the color / light intensity sensor according to the embodiment includes a first correction mode based on an AWB control value or a manual white balance and a second correction mode based on the at least one control value The method may further comprise the step of selecting any one of the following.
상기 제어값을 연산하는 단계는 상기 경험치 정보로부터 상기 추출된 컬러/조도값에 대응하는 경험치값을 추출하고, 상기 추출된 경험치값의 단계에 따른 튀는 현상을 제거하여 상기 적어도 하나의 제어값을 생성할 수 있다.Wherein the step of calculating the control value comprises the steps of: extracting an experiential value corresponding to the extracted color / roughness value from the experiential value information, removing the bouncing phenomenon according to the extracted experiential value value to generate the at least one control value can do.
본 발명에 따르면 다양한 환경에 따른 경험치 정보로부터 이미지의 컬러 및 노출 중 적어도 하나를 보정하여 다양한 주위 환경의 광원의 특성을 반영할 수 있다.According to the present invention, at least one of the color and the exposure of the image may be corrected from the experience information according to various environments to reflect the characteristics of the light sources in various surrounding environments.
본 발명에 따르면 카메라 장치의 자동 화이트 밸런스(AWB) 기능 및 수동 화이트 밸런스 기능을 활용하지 않더라도 다양한 환경에 따른 경험치 정보를 참조하여, 주위 환경 및 카메라 장치의 고유 특성을 고려한 영상의 보정을 제어할 수 있다.According to the present invention, even if the automatic white balance (AWB) function and the manual white balance function of the camera device are not utilized, it is possible to control the correction of the image taking into consideration the surrounding environment and the unique characteristics of the camera device have.
본 발명에 따르면 카메라 장치의 자동 노출(AE) 기능을 활용하지 않더라도 다양한 환경에 따른 경험치 정보를 참조하여, 주위 환경 및 카메라 장치의 고유 특성을 고려한 이미지 센서의 노출을 제어할 수 있다.According to the present invention, even if the automatic exposure (AE) function of the camera device is not utilized, the exposure of the image sensor can be controlled in consideration of the surrounding environment and the inherent characteristics of the camera device by referring to experience information according to various environments.
또한, 본 발명에 따르면 사용자에게 다양한 이미지 보정 서비스를 제공하기 위하여 자동 화이트 밸런스 보정값 기반 또는 수동 화이트 밸런스의 제1 보정 모드 및 제어값 기반의 제2 보정 모드 중 어느 하나를 선택하도록 사용자에게 제공할 수 있다.In addition, according to the present invention, in order to provide various image correction services to the user, it is possible to provide a user to select either the first correction mode based on the automatic white balance correction value or the manual white balance and the second correction mode based on the control value .
도 1은 본 발명의 실시예에 따른 컬러/조도 센서를 이용한 카메라 영상 보정/제어 장치의 동작을 설명하기 위해 도시한 것이다.
도 2는 본 발명의 컬러/조도 센서를 이용한 카메라 영상 보정/제어 장치의 구성을 설명하기 위한 블록도를 도시한 것이다.
도 3은 본 발명의 일실시예에 따른 구간별 색온도와 색온도에 대응하는 경험치값을 포함하는 경험치 정보를 포함하는 경험치 테이블을 도시한 것이다.
도 4는 본 발명의 실시예에 따른 컬러/조도 센서를 이용한 카메라 영상 보정/제어 장치를 통하여 도 3의 경험치 테이블를 참조하여 경험치값의 단계에 따른 튀는 현상을 제거하는 과정을 설명하기 위하여 도시한 것이다.
도 5는 본 발명의 컬러/조도 센서를 이용한 카메라 영상 보정/제어 장치를 통하여 보정된 이미지의 특성을 설명하기 위해 도시한 것이다.
도 6은 본 발명의 실시예에 따른 컬러/조도 센서를 이용한 카메라 영상 보정/제어 방법을 도시한 흐름도이다.FIG. 1 is a view for explaining an operation of a camera image correction / control apparatus using a color / light sensor according to an embodiment of the present invention.
FIG. 2 is a block diagram illustrating a configuration of a camera image correction / control apparatus using the color / light sensor of the present invention.
FIG. 3 illustrates an experience value table including experiential value information including an experiential value corresponding to a color temperature and a color temperature according to an embodiment of the present invention.
FIG. 4 is a flow chart illustrating a process of eliminating a bouncing phenomenon according to a level of an experiential value with reference to an experience value table of FIG. 3 through a camera image correction / control device using a color / illuminance sensor according to an embodiment of the present invention .
FIG. 5 is a view for explaining characteristics of a corrected image through a camera image correction / control apparatus using the color / light sensor of the present invention.
6 is a flowchart illustrating a camera image correction / control method using a color / luminance sensor according to an embodiment of the present invention.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예에 의해 제한되거나 한정되는 것은 아니다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings and accompanying drawings, but the present invention is not limited to or limited by the embodiments.
한편, 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 상세한 설명을 생략할 것이다. 그리고, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. The terminology used herein is a term used for appropriately expressing an embodiment of the present invention, which may vary depending on the user, the intent of the operator, or the practice of the field to which the present invention belongs. Therefore, the definitions of these terms should be based on the contents throughout this specification.
도 1은 본 발명의 실시예에 따른 컬러/조도 센서를 이용한 카메라 영상 보정/제어 장치의 동작을 설명하기 위해 도시한 것이다.FIG. 1 is a view for explaining an operation of a camera image correction / control apparatus using a color / light sensor according to an embodiment of the present invention.
도 1을 참조하면, 컬러/조도 센서를 이용한 카메라 영상 보정/제어 장치(100)는 카메라 장치(200)에서 생성된 이미지를 보정하기 위해 사용되는 제어값을 연산하고, 연산된 제어값을 카메라 장치(200)에게 제공한다.Referring to FIG. 1, a camera image correction /
실시예에 따라서는 컬러/조도 센서를 이용한 카메라 영상 보정/제어 장치(100)는 연산된 제어값을 참조하여 카메라 장치에서 생성된 이미지 또는 영상을 보정할 수 있다.According to an embodiment, the camera image correction /
카메라 장치(200)는 이미지 센서를 기반으로 대상 피사체를 촬상하여 대상 피사체에 대한 이미지를 감지할 수 있고, 감지된 이미지를 보정하기 위한 자동 화이트 밸런스 보정값(AWB control value) 또는 수동 화이트 밸런스 보정값(MWB control value)을 연산하고, 자동 노출값(AE value)을 연산한다.The
카메라 장치(200)는 연산된 자동 화이트 밸런스 보정값 또는 수동 화이트 밸런스 보정값을 기반으로 이미지에 대한 컬러 보정을 수행할 수 있고, 카메라 장치는 연산된 자동 노출값으로 이미지 센서를 제어 할 수 있다.The
자동 화이트 밸런스 보정값은 감지된 이미지의 화이트 밸런스를 자동적으로 연산한 보정값일 수 있고, 수동 화이트 밸런스 보정값은 사용자의 선택 입력에 따라 화이트 밸런스를 연산한 보정값일 수 있다.The automatic white balance correction value may be a correction value that automatically calculates the white balance of the sensed image, and the manual white balance correction value may be a correction value that computes the white balance according to the user's selection input.
그러나, 대상 피사체 주위의 다양한 광원들이 존재하는 환경일 경우, 이미지 센서(210)의 분광 특성이 각기 다르게 나타내기 때문에 카메라 장치(200)를 통한 컬러 보정의 경우 대상 피사체 및 주위의 다양한 분광 특성이 고려되지 않는다.However, since the spectral characteristics of the
따라서, 본 발명의 실시예에 따른 컬러/조도 센서를 이용한 카메라 영상 보정/제어 장치(100)는 밝고 어두운 다양한 주위 환경의 광원들의 고유 특성을 이미지에 반영하기 위하여 이미지의 컬러 및 노출 중 적어도 하나를 보정하기 위한 제어값을 연산하고, 연산된 제어값을 카메라 장치(200)에게 제공한다.Accordingly, the camera image correction /
실시예에 따라서는, 컬러/조도 센서를 이용한 카메라 영상 보정/제어 장치(100)는 사용자에게 다양한 이미지 보정 서비스를 제공하기 위하여 카메라 장치(200)에서 제공하는 자동 화이트 밸런스 보정값 또는 수동 화이트 밸런스 보정값 및 제어값 중 어느 하나를 선택하는 모드를 제공할 수 있다.According to an embodiment, the camera image correction /
예를 들어, 컬러/조도 센서를 이용한 카메라 영상 보정/제어 장치는 (1) 자동 화이트 밸런스 보정값 또는 수동 화이트 밸런스 보정값 또는 (2) 대상 피사체 주위 환경을 고려한 본 발명의 컬러/조도 센서를 이용한 카메라 영상 보정/제어 장치(100)를 통하여 연산된 제어값 중 어느 하나를 선택할 수 있도록 사용자에게 제공할 수 있다.For example, a camera image correction / control apparatus using a color / light sensor may be configured to use (1) an automatic white balance correction value or a manual white balance correction value or (2) a color / And can provide the user with the ability to select any one of the control values computed through the camera image correction /
본 발명의 실시예에 따른 컬러/조도 센서를 이용한 카메라 영상 보정/제어 장치(100)는 카메라 장치(200) 또는 카메라 장치(200)를 포함하는 다양한 단말기 일측에 칩(Chip)의 형태로 부착되어 구현될 수 있고, 카메라 장치(200) 또는 카메라 장치(200)가 장착된 다양한 단말기의 내부에 소프트웨어로 구현될 수 있으며, 카메라 장치(200) 또는 다양한 단말기의 동작과 연동되어 전술한 제어값 및 선택 모드를 제공할 수 있다. 이하, 도 2를 참조하여 컬러/조도 센서를 이용한 카메라 영상 보정/제어 장치(100)를 상세히 설명하기로 한다.
A camera image correction /
도 2는 본 발명의 컬러/조도 센서를 이용한 카메라 영상 보정/제어 장치의 구성을 설명하기 위한 블록도를 도시한 것이다.FIG. 2 is a block diagram illustrating a configuration of a camera image correction / control apparatus using the color / light sensor of the present invention.
도 2를 참조하면, 컬러/조도 센서를 이용한 카메라 영상 보정/제어 장치(100)는 경험치 테이블(110), 컬러/조도 센서(120), 알고리즘 연산부(130) 및 보정 제어 처리부(140)를 포함한다.2, the camera image correction /
경험치 테이블(110)은 다양한 주위 환경의 광원 별로 구성된 색온도 및 조도 중 적어도 어느 하나에 대한 경험치 정보를 저장하여 유지한다. 예를 들어, 경험치 테이블(110)은 광원 별로 구성된 각각의 색온도 및 조도 중 적어도 어느 하나에 대응하는 경험치값을 저장하여 유지할 수 있다.The experiential value table 110 stores and maintains experiential information on at least one of the color temperature and the illuminance formed for each light source in various surrounding environments. For example, the experiential value table 110 may store and maintain experiential value values corresponding to at least one of the color temperature and the illuminance of each light source.
경험치 정보는 각각의 구간별 색온도, 조도 및 색온도와 조도에 대응하는 경험치값이 포함될 수 있다. 이하에서는 도 3을 참조하여 본 발명의 실시예에 따른 경험치 테이블(100)를 설명하기로 한다.
The experiential value information may include the color temperature, the illuminance, the color temperature and the experiential value corresponding to the illuminance for each section. Hereinafter, an experience value table 100 according to an embodiment of the present invention will be described with reference to FIG.
도 3은 본 발명의 일실시예에 따른 구간별 색온도와 색온도에 대응하는 경험치값을 포함하는 경험치 정보를 포함하는 경험치 테이블을 도시한 것이다.FIG. 3 illustrates an experience value table including experiential value information including an experiential value corresponding to a color temperature and a color temperature according to an embodiment of the present invention.
도 3를 참조하면, 경험치 정보는 구간별 색온도에 따른 경험치값 A 및 경험치값 B를 포함할 수 있고, 경험치값은 이미지를 보정하기 위해 참조되는 값일 수 있다.Referring to FIG. 3, the experiential value information may include an experiential value A and an experiential value B according to color temperature intervals, and the experiential value may be a value referenced for correcting the image.
도 3에 도시된 바와 같이, 구간별 색온도는 2200K, 2400K, …, 7200K 등 200K 간격으로 구분될 수 있고, 색온도의 범위는 2200K부터 7200K까지의 범위일 수 있다. 전술한 구간별 색온도 및 색온도의 범위는 카메라 장치 및 광원의 고유 특성에 따라 다양한 실시예의 형태로 변경될 수 있고, 이에 한정하지 않으며 구간별 조도 및 조도의 범위도 다양한 실시예의 형태로 변경될 수 있다.As shown in FIG. 3, the color temperature of each section is 2200K, 2400K, ... , 7200K, etc., and the color temperature range may range from 2200K to 7200K. The range of the color temperature and the color temperature of each section may be changed to various embodiments according to the intrinsic characteristics of the camera device and the light source, and the range of illuminance and illuminance of each section may be changed into various embodiments .
경험치값 A는 색온도에 대응하는 R(Red)의 참조값일 수 있고, 경험치값 B는 색온도에 대응하는 B(Blue)의 참조값일 수 있다. 전술한 경험치 정보는 경험치값 A, 경험치값 B 및 이를 조합한 값의 변형을 포함할 수 있고, 다양한 실시예의 형태로 포함할 수 있으며, 이에 한정하지 않는다.
The experiential value A may be a reference value of R (Red) corresponding to the color temperature, and the experiential value B may be a reference value of B (Blue) corresponding to the color temperature. The aforementioned experiential value information may include a variation of the experiential value A, the experiential value B, and a combination of the experiential value A and the experiential value B, and may be included in various embodiments, but is not limited thereto.
다시 도 2를 참조하면, 컬러/조도 센서(120)는 주위 환경의 광원을 감지한다. 예를 들어, 컬러/조도 센서(120)는 피사체 주위 환경의 광원을 감지할 수 있다.Referring again to Figure 2, the color /
알고리즘 연산부(130)는 컬러/조도 센서(120)로부터 컬러/조도값을 추출하고, 경험치 정보를 참조하여 추출된 컬러/조도값에 대한 적어도 하나의 제어값을 연산한다. 컬러/조도값은 주위 환경의 광원에 대한 색온도 및 조도 중 적어도 어느 하나일 수 있다.The
본 발명의 일측에 따르면, 알고리즘 연산부(130)는 경험치 정보로부터 추출된 컬러/조도값에 대응하는 경험치값을 추출하고, 추출된 경험치값의 단계에 따른 튀는 현상을 제거하여 적어도 하나의 제어값을 생성할 수 있다.According to one aspect of the present invention, the
단계에 따른 튀는 현상은 여러 단계의 가장자리에서 현재 단계와 이전 혹은 이후 단계가 수초 동안 반복적으로 선택되는 현상이다.The step-by-step bouncing phenomenon is a phenomenon in which the current step and the previous or subsequent step are repeatedly selected for several seconds at the edges of the various steps.
보다 상세하게는, 단계에 따른 튀는 현상은 추출된 컬러/조도값에 대응하는 단계별 기준값의 가장자리에서 현재 단계와 이전 혹은 이후 단계가 수초 동안 반복적으로 선택되는 현상으로서, 기준값은 경험치 정보에 포함된 색온도 및 조도 중 어느 하나 사이에 대응하는 카메라 장치(200)에 대한 보정 및 제어값일 수 있다. More specifically, the bouncing phenomenon according to the step is a phenomenon that the current step and the previous or subsequent step are repeatedly selected for a few seconds at the edge of the stepwise reference value corresponding to the extracted color / illumination value, and the reference value is the color temperature And a correction and control value for the
색온도 및 조도 중 어느 하나에 대응하는 경험치값은 정규 분포의 계단 단위 또는 비정규 분포의 계단 단위로 형성될 수 있다. 이하에서는 도 4를 참조하여 알고리즘 연산부(130)를 통하여 추출된 경험치값의 단계에 따른 튀는 현상을 제거하여 적어도 하나의 제어값을 생성하는 구체적인 예를 설명하기로 한다.
The experiential value corresponding to either the color temperature or the illuminance can be formed in a step unit of a normal distribution or a step unit of an irregular distribution. Hereinafter, a specific example will be described in which at least one control value is generated by eliminating a bouncing phenomenon according to the step of the experiential value extracted through the
도 4는 본 발명의 실시예에 따른 컬러/조도 센서를 이용한 카메라 영상 보정/제어 장치를 통하여 도 3의 경험치 테이블를 참조하여 경험치값의 단계에 따른 튀는 현상을 제거하는 과정을 설명하기 위하여 도시한 것이다.FIG. 4 is a flow chart illustrating a process of eliminating a bouncing phenomenon according to a level of an experiential value with reference to an experience value table of FIG. 3 through a camera image correction / control device using a color / illuminance sensor according to an embodiment of the present invention .
도 3에 도시된 바와 같이, 구간별 색온도는 {X1, X2, …, Xn}으로 나타낼 수 있고, 구간별 색온도에 대응하는 경험치값은 {A1,A2,…, An}으로 나타낼 수 있다.As shown in FIG. 3, the color temperature per section is {X 1 , X 2 , ... , X n }, and the experiential value corresponding to each color temperature is {A 1 , A 2 , ... , A n }.
본 발명의 실시예에 따른 컬러/조도 센서를 이용한 카메라 영상 보정/제어 장치의 알고리즘 연산부(130)는 색온도와 경험치값의 상관관계를 분석할 수 있다. 예를 들어 알고리즘 연산부(130)는 하기의 수식 1과 같이 상관관계식으로 상관관계를 분석할 수 있다..The
[수식 1][Equation 1]
여기서, yn은 n번째 경험치값이고, Xn 은 n번째 색온도이며, a는 기울기이고, b는 상수이다. Where y n is the nth experiential value, X n is the n th color temperature, a is the slope and b is the constant.
또한, 상기 a는 수식 2와 같이 분석될 수 있다.Further, the above-mentioned a can be analyzed as shown in Equation (2).
[수식 2][Equation 2]
여기서, A1는 첫 번째 경험치값이고, X1는 첫 번째 색온도값이며, Alast는 마지막 번째 경험치값이고, Xlast는 마지막 번째 색온도값이다.Here, A 1 is the first experiential value, X 1 is the first color temperature value, A last is the last experiential value, and X last is the last color temperature value.
또한, 색온도 및 경험치값에 대응하는 b는 수식 3과 같이 분석될 수 있다.Further, b corresponding to the color temperature and the experiential value can be analyzed as shown in Equation (3).
[수식 3][Equation 3]
알고리즘 연산부(130)는 도 3에 도시된 경험치 테이블을 참조하여 수식 1 내지 3의 분석 알고리즘의 수행을 통하여, 경험치값 A에 대응하는 a는 -0.0002, 경험치값 A에 대응하는 b는 2.418를 도출할 수 있다. The
또한, 알고리즘 연산부(130)는 도 3에 도시된 경험치 테이블을 참조하여 수식 1 내지 수식 3의 분석 알고리즘의 수행을 통하여, 경험치값 B에 대응하는 a는 0.0001, 경험치값 B에 대응하는 b는 -0.2168를 도출할 수 있다. In addition, the
도 4를 참조하면, 알고리즘 연산부(130)는 시작점 및 마지막점의 경험치값을 기반으로 도출된 상관관계식을 이용하여 경험치값의 단계에 따른 튀는 현상을 제거할 수 있다. 보다 상세하게는, 알고리즘 연산부(130)는 경험치값의 단계에 따른 튀는 현상을 제거하기 위해 전술한 수식 1의 상관관계식을 참조하여 정규 분포의 계단 단위 또는 비정규 분포의 계단 단위의 경험치값을 선형 단위의 경험치값으로 연산할 수 있다.Referring to FIG. 4, the
도 4에서는, 본 발명의 알고리즘 연산부(130)가 색온도를 기반으로 추출된 경험치값의 단계에 따른 튀는 현상을 전술한 수식 1 내지 3의 1차 방정식 형태의 상관관계식의 분석을 포함하는 알고리즘을 수행하는 것으로 전술하였지만, 이에 한정되지 않고, 고차 방정식, 보간법 및 이를 조합한 방식의 분석 알고리즘의 수행이 가능하다.In FIG. 4, the
본 발명의 일측에 따르면, 알고리즘 연산부(130)는 경험치값의 단계에 따른 튀는 현상을 제거하기 위해 인접한 경험치값 간의 평균을 연산하는 중간값 보간법을 이용하여 정규 분포의 계단 단위 또는 비정규 분포의 계단 단위의 경험치값을 선형 단위의 경험치값으로 연산할 수 있다.According to an aspect of the present invention, the
또한, 알고리즘 연산부(130)는 경험치값의 단계에 따른 튀는 현상을 제거하기 위해 인접한 경험치값 간의 차이분포가 큰 영역에 적응적으로 보간을 연산하는 적응적 보간법을 이용할 수도 있다.In addition, the
또한, 알고리즘 연산부(130)는 1차 방정식, 중간값 보간법, 고차 단위 기반의 방정식, 고차 단위 기반의 보간법 및 이를 조합한 방식 등 다양한 실시예를 기반으로 추출된 경험치값의 단계에 따른 튀는 현상을 제거하여 적어도 하나의 제어값을 생성할 수 있다. In addition, the
제어값은 이미지 센서(210)를 통하여 감지된 이미지의 컬러 및 노출 중 적어도 하나를 보정하기 위한 값일 수 있다.The control value may be a value for correcting at least one of the color and the exposure of the image sensed through the
또한, 본 발명의 다른 일측에 따르면 알고리즘 연산부(130)는 조도를 기반으로 추출된 경험치값의 단계에 따른 튀는 현상을 제거하는 알고리즘의 수행을 색온도를 기반으로 추출된 경험치값의 단계에 따른 튀는 현상을 제거하는 알고리즘과 유사하게 적용할 수 있다.
In addition, according to another aspect of the present invention, the
카메라 장치(200)는 이미지를 감지하는 이미지 센서(210), 감지된 이미지를 보정하기 위한 자동 화이트 밸런스 보정값 또는 수동 화이트 밸런스 보정값을 연산하고, 자동 노출값을 연산하는 AWB/AE 연산부(220), 및 연산된 자동 화이트 밸런스 보정값 또는 연산된 자동 노출값을 적용하여 감지된 이미지를 보정하는 보정부(230)를 포함할 수 있다. 여기서, 연산된 자동 노출값은 이미지 센서(210)의 노출값을 설정하는 값일 수 있다.The
자동 화이트 밸런스 보정값은 감지된 이미지의 화이트 밸런스를 자동적으로 연산한 보정값일 수 있고, 수동 화이트 밸런스 보정값은 사용자의 선택 입력에 따라 화이트 밸런스를 연산한 보정값일 수 있다.The automatic white balance correction value may be a correction value that automatically calculates the white balance of the sensed image, and the manual white balance correction value may be a correction value that computes the white balance according to the user's selection input.
다시 도 2를 참조하면, 보정 제어 처리부(140)는 이미지 센서(210)를 통하여 감지된 이미지의 컬러 및 노출 중 적어도 하나를 연산된 제어값을 참조하여 보정되도록 제어한다.Referring back to FIG. 2, the correction
구체적으로는 도 2에 도시된 바와 같이, 보정 제어 처리부(140)는 노출 보정인 경우에는 연산된 제어값을 카메라 장치(200)의 이미지 센서(210)로 제공하여 보정이 제어되도록 하고, 컬러 보정인 경우에는 연산된 제어값이 보정부(230)로 제공하여 보정이 제어 되도록 할 수 있다. 여기서, AWB/AE 연산부(220) 또는 보정부(230)는 H/W 로 구성될 수도 있고, S/W로 구성될 수도 있다.More specifically, as shown in FIG. 2, the correction
또한, 실시예에 따라서는 보정 제어 처리부(140)는 연산된 제어값을 카메라 장치(200)의 이미지 센서(210) 또는 보정부(230)로 제공되도록 제어할 수 있지만, 카메라 장치(200)의 이미지 센서(210)를 통하여 감지된 이미지의 컬러 및 노출 중 적어도 하나를 연산된 제어값을 참조하여 보정할 수도 있다.According to an embodiment, the correction
카메라 장치(200)는 컬러/조도 센서를 이용한 카메라 영상 보정/제어 장치(100)와 연동되어 연산된 제어값을 제공 받을 수 있고, 사용자는 제1 보정 모드 및 제2 보정 모드 중 어느 하나를 선택하는 모드를 제공 받을 수 있으며, 선택 모드 입력에 따라 감지된 이미지를 보정할 수 있다.The
컬러/조도 센서를 이용한 카메라 영상 보정/제어 장치(100)는 사용자에게 다양한 이미지 보정 서비스를 제공하기 위하여 자동 화이트 밸런스 보정값 기반 또는 수동 화이트 밸런스 보정값의 제1 보정 모드 및 제어값 기반의 제2 보정 모드 중 어느 하나를 선택하는 모드를 카메라 장치(200)와 연동되어 사용자에게 제공할 수 있다.In order to provide various image correction services to the user, the camera image correction /
이를 위해 컬러/조도 센서를 이용한 카메라 영상 보정/제어 장치(100)는 자동 화이트 밸런스 보정값 기반 또는 수동 화이트 밸런스 보정값 기반의 제1 보정 모드 및 전술한 적어도 하나의 제어값 기반의 제2 보정 모드 중 어느 하나를 선택하는 모드 선택부(150)를 더 포함할 수 있다.
To this end, the camera image correction /
도 5는 본 발명의 컬러/조도 센서를 이용한 카메라 영상 보정/제어 장치를 통하여 보정된 이미지의 특성을 설명하기 위해 도시한 것이다.FIG. 5 is a view for explaining characteristics of a corrected image through a camera image correction / control apparatus using the color / light sensor of the present invention.
도 5는 3000K 의 색온도에서 인간의 눈으로 느껴지는 색감을 도시한 이미지(510)와, 종래 기술인 자동 화이트 밸런스 보정값 기반으로 보정된 이미지(520)와, 본 발명의 컬러/조도 센서를 이용한 카메라 영상 보정/제어 장치의 제어값 기반으로 보정된 이미지(530)가 도시 되어 있다.5 shows an
이미지(512)는 이미지 센서의 분광 특성이 각기 다르게 나타내기 때문에 컬러 보정을 수행할 때 대상 피사체 및 주위의 다양한 분광의 고유 특성이 고려되지 않아, 고유 특성과 무관한 피사체의 색감을 보이는 반면, 본 발명의 컬러/조도 센서를 이용한 카메라 영상 보정/제어 장치를 통한 이미지(520)는 색상 및 밝고 어두운 다양한 주위 환경의 광원들의 고유 특성이 반영되어 있음을 확인할 수 있다.
Since the spectral characteristics of the image sensor 512 are different from each other, the image 512 does not take into consideration the intrinsic characteristics of various spectroscopic features of the subject and the surroundings when color correction is performed, It can be seen that the
도 6은 본 발명의 실시예에 따른 컬러/조도 센서를 이용한 카메라 영상 보정/제어 방법을 도시한 흐름도이다.6 is a flowchart illustrating a camera image correction / control method using a color / luminance sensor according to an embodiment of the present invention.
도 6을 참조하면, 단계 610에서, 컬러/조도 센서를 이용한 카메라 영상 보정/제어 장치를 통하여 다양한 주위 환경의 광원 별로 구성된 색온도 및 조도 중 적어도 어느 하나에 대한 경험치 정보를 저장하여 유지한다. Referring to FIG. 6, in
실시예에 따라 단계 610은 경험치 정보를 이용한 연산식만을 사용하는 경우, 경험치 정보를 저장 및 유지할 필요는 없을 수 있다.According to the embodiment, when only the arithmetic expression using the experiential value information is used in
보다 상세하게는 단계 610에서 광원 별로 구성된 각각의 색온도 및 조도 중 적어도 어느 하나에 대응하는 경험치값을 저장하여 유지할 수 있다.More specifically, in
경험치 정보는 각각의 구간별 색온도, 조도 및 색온도와 조도에 대응하는 경험치값을 포함할 수 있다.The experiential value information may include color temperature, illuminance, and color temperature of each section and an experiential value corresponding to the illuminance.
단계 620에서, 컬러/조도 센서를 통하여 주위 환경의 광원을 감지한다. 예를 들어, 단계 620에서, 피사체 주위 환경의 광원을 감지할 수 있다.At
단계 630에서, 컬러/조도 센서로부터 컬러/조도값을 추출하고, 경험치 정보를 참조하여 추출된 컬러/조도값에 대한 적어도 하나의 제어값을 연산한다. 컬러/조도값은 주위 환경의 광원에 대한 색온도 및 조도 중 적어도 어느 하나일 수 있다.In
본 발명의 일측에 따르면, 단계 630는 경험치 정보로부터 추출된 컬러/조도값에 대응하는 경험치값을 추출하고, 추출된 경험치값의 단계에 따른 튀는 현상을 제거하여 적어도 하나의 제어값을 생성하는 과정을 포함할 수 있다.According to one aspect of the present invention,
단계에 따른 튀는 현상은 추출된 컬러/조도값에 대응하는 단계별 기준값의 가장자리에서 현재 단계와 이전 혹은 이후 단계가 수초 동안 반복적으로 선택되는 현상으로서, 기준값은 경험치 정보에 포함된 색온도 및 조도 중 어느 하나 사이에 대응하는 카메라 장치에 대한 보정 및 제어값일 수 있다. The bouncing phenomenon according to the step is a phenomenon that the current step and the previous or subsequent step are repeatedly selected for a few seconds at the edge of the stepwise reference value corresponding to the extracted color / illumination value, and the reference value is any one of the color temperature and illumination included in the experiential value information May be the correction and control values for the corresponding camera device.
색온도 및 조도 중 어느 하나에 대응하는 경험치값은 정규 분포의 계단 단위 또는 비정규 분포의 계단 단위로 형성될 수 있다. The experiential value corresponding to either the color temperature or the illuminance can be formed in a step unit of a normal distribution or a step unit of an irregular distribution.
단계 640에서, 이미지 센서를 통하여 감지된 이미지의 컬러 및 노출 중 적어도 하나를 연산된 제어값을 참조하여 보정 및 제어한다.At
단계 640는 연산된 제어값을 카메라 장치에게 제공되도록 제어할 수 있고, 카메라 장치의 이미지 센서를 통하여 감지된 이미지의 컬러 및 노출 중 적어도 하나를 연산된 제어값을 참조하여 보정하는 과정을 포함할 수 있다.Step 640 may include controlling the calculated control value to be provided to the camera device and correcting at least one of the color and the exposure of the sensed image through the image sensor of the camera device by referring to the calculated control value have.
본 발명의 컬러/조도 센서를 이용한 카메라 영상 보정/제어 방법은 자동 화이트 밸런스 보정값 기반 또는 수동 화이트 밸런스 보정값의 제1 보정 모드 및 적어도 하나의 제어값 기반의 제2 보정 모드 중 어느 하나를 선택하는 단계를 더 포함할 수 있다.The camera image correction / control method using the color / light intensity sensor of the present invention selects either the first correction mode based on the automatic white balance correction value or the manual white balance correction value and the second correction mode based on at least one control value The method comprising the steps of:
제1 보정 모드 및 제2 보정 모드 중 어느 하나를 선택하는 단계는 사용자에게 다양한 이미지 보정 서비스를 제공하기 위하여 자동 화이트 밸런스 보정값 기반 또는 수동 화이트 밸런스 보정값의 제1 보정 모드 및 제어값 기반의 제2 보정 모드 중 어느 하나를 선택하는 모드를 카메라 장치와 연동되어 사용자에게 제공하는 과정을 포함할 수 있다.Wherein the step of selecting either the first correction mode or the second correction mode comprises the steps of: providing a first correction mode of the automatic white balance correction value-based or manual white balance correction value, 2 correction mode may be provided to the user in cooperation with the camera device.
자동 화이트 밸런스 보정값은 감지된 이미지의 화이트 밸런스를 자동적으로 연산한 보정값일 수 있고, 수동 화이트 밸런스 보정값은 사용자의 선택 입력에 따라 화이트 밸런스를 연산한 보정값일 수 있다.
The automatic white balance correction value may be a correction value that automatically calculates the white balance of the sensed image, and the manual white balance correction value may be a correction value that computes the white balance according to the user's selection input.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.
100: 컬러/조도 센서를 이용한 카메라 영상 보정/제어 장치
110: 경험치 테이블
120: 컬러/조도 센서
130: 알고리즘 연산부
140: 보정 제어 처리부
150: 모드 선택부100: Camera image correction / control device using color / illuminance sensor
110: Experience Tables
120: Color / ambient light sensor
130:
140: correction control processor
150: Mode selection unit
Claims (8)
주위 환경의 광원을 감지하는 컬러/조도 센서;
상기 컬러/조도 센서로부터 컬러/조도값을 추출하고, 상기 경험치 정보를 참조하여 상기 추출된 컬러/조도값에 대한 적어도 하나의 제어값을 연산하는 알고리즘 연산부; 및
상기 이미지 센서를 통하여 감지된 이미지의 컬러 및 노출 중 적어도 하나를 상기 연산된 제어값을 참조하여 보정 및 제어하기 위한 보정 제어 처리부를 포함하고,
상기 알고리즘 연산부는
상기 경험치 정보로부터 상기 추출된 컬러/조도값에 대응하는 경험치값을 추출하고, 정규 분포 또는 비정규 분포 계단으로 형성된 상기 추출된 경험치값의 튀는 현상을 선형 단위로 제거하여 상기 적어도 하나의 제어값을 생성하는
컬러/조도 센서를 이용한 카메라 영상 보정/제어 장치.An experience value table for storing and maintaining experiential value information obtained in consideration of at least one of a color temperature and an illuminance formed for each light source of the various surrounding environments in consideration of intrinsic characteristics of various light sources and spectral characteristics of image sensors of various ambient environments;
A color / ambient light sensor for sensing a light source of the surrounding environment;
An algorithm operation unit for extracting a color / illuminance value from the color / illuminance sensor and calculating at least one control value for the extracted color / illuminance value with reference to the experiential value information; And
And a correction control processor for correcting and controlling at least one of color and exposure of an image sensed through the image sensor by referring to the calculated control value,
The algorithm operation unit
Extracting an experiential value corresponding to the extracted color / illumination value from the experiential value information, removing the bounced phenomenon of the extracted experiential value formed by a normal distribution or a non-normal distribution step in a linear unit to generate the at least one control value doing
Camera Image Correction / Control Device Using Color / Light Sensor.
자동 화이트 밸런스 보정값(AWB control value) 기반 또는 수동 화이트 밸런스 보정값(MWB control value)의 제1 보정 모드 및 상기 적어도 하나의 제어값 기반의 제2 보정 모드 중 어느 하나를 선택하는 모드 선택부
를 더 포함하는 컬러/조도 센서를 이용한 카메라 영상 보정/제어 장치.The method according to claim 1,
A mode selection unit for selecting either the first correction mode based on the automatic white balance correction value (AWB control value) or the manual white balance correction value (MWB control value) and the second correction mode based on the at least one control value
Wherein the camera image correction / control device further comprises a color / brightness sensor.
상기 경험치 테이블은
상기 광원 별로 구성된 각각의 색온도 및 조도 중 적어도 어느 하나에 대응하는 상기 경험치값을 저장하여 유지하는
컬러/조도 센서를 이용한 카메라 영상 보정/제어 장치.The method according to claim 1,
The experience value table
And stores and maintains the experiential value corresponding to at least one of the color temperature and the illuminance of each light source
Camera Image Correction / Control Device Using Color / Light Sensor.
컬러/조도 센서를 통하여 주위 환경의 광원을 감지하는 단계;
상기 컬러/조도 센서로부터 컬러/조도값을 추출하고, 상기 경험치 정보를 참조하여 상기 추출된 컬러/조도값에 대한 적어도 하나의 제어값을 연산하는 단계; 및
상기 이미지 센서를 통하여 감지된 이미지의 컬러 및 노출 중 적어도 하나를 상기 연산된 제어값을 참조하여 보정 및 제어하는 단계를 포함하고,
상기 제어값을 연산하는 단계는
상기 경험치 정보로부터 상기 추출된 컬러/조도값에 대응하는 경험치값을 추출하고, 정규 분포 또는 비정규 분포 계단으로 형성된 상기 추출된 경험치값의 튀는 현상을 선형 단위로 제거하여 상기 적어도 하나의 제어값을 생성하는
컬러/조도 센서를 이용한 카메라 영상 보정/제어 방법.Storing the experiential value information obtained by considering at least one of the color temperature and the illuminance formed for each light source of the various ambient environments in consideration of the intrinsic characteristics of the various ambient light sources and the spectral characteristics of the image sensor,
Sensing a light source of the surrounding environment through a color / light sensor;
Extracting a color / illuminance value from the color / illuminance sensor and calculating at least one control value for the extracted color / illuminance value with reference to the experiential value information; And
And correcting and controlling at least one of the color and the exposure of the image sensed through the image sensor by referring to the calculated control value,
The step of calculating the control value
Extracting an experiential value corresponding to the extracted color / illumination value from the experiential value information, removing the bounced phenomenon of the extracted experiential value formed by a normal distribution or a non-normal distribution step in a linear unit to generate the at least one control value doing
A method of camera image correction / control using a color / light sensor.
자동 화이트 밸런스 보정값(AWB control value) 기반 또는 수동 화이트 밸런스의 제1 보정 모드 및 상기 적어도 하나의 제어값 기반의 제2 보정 모드 중 어느 하나를 선택하는 단계
를 더 포함하는 컬러/조도 센서를 이용한 카메라 영상 보정/제어 방법.6. The method of claim 5,
Selecting either the first correction mode based on the automatic white balance correction value (AWB control value) or the manual white balance and the second correction mode based on the at least one control value
/ RTI > further comprising a color / ambient light sensor.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140127580A KR101594258B1 (en) | 2014-09-24 | 2014-09-24 | APPARATUS AND METHOD FOR CORRECTING AND CONTROLLING IMAGE of camera using color/light sensor |
CN201580060481.8A CN107005685A (en) | 2014-09-24 | 2015-06-16 | Utilize camera video correction/control device and method of color/illuminance transducer |
PCT/KR2015/006066 WO2016047894A1 (en) | 2014-09-24 | 2015-06-16 | Apparatus and method for correcting/controlling camera image by using color/illumination sensor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140127580A KR101594258B1 (en) | 2014-09-24 | 2014-09-24 | APPARATUS AND METHOD FOR CORRECTING AND CONTROLLING IMAGE of camera using color/light sensor |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101594258B1 true KR101594258B1 (en) | 2016-02-16 |
Family
ID=55448107
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020140127580A KR101594258B1 (en) | 2014-09-24 | 2014-09-24 | APPARATUS AND METHOD FOR CORRECTING AND CONTROLLING IMAGE of camera using color/light sensor |
Country Status (3)
Country | Link |
---|---|
KR (1) | KR101594258B1 (en) |
CN (1) | CN107005685A (en) |
WO (1) | WO2016047894A1 (en) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200128459A (en) | 2019-04-19 | 2020-11-13 | 주식회사 스프링클라우드 | Camera system of autonomous vehicle and method of operation thereof |
KR20200128463A (en) | 2019-04-19 | 2020-11-13 | 주식회사 스프링클라우드 | Camera system of autonomous vehicle |
KR20200128458A (en) | 2019-04-19 | 2020-11-13 | 주식회사 스프링클라우드 | Camera system of autonomous vehicle and method of operation thereof |
KR20200128461A (en) | 2019-04-19 | 2020-11-13 | 주식회사 스프링클라우드 | Camera system of autonomous vehicle and method of operation thereof |
KR20200128464A (en) | 2019-04-19 | 2020-11-13 | 주식회사 스프링클라우드 | Method of operation thereof camera system of autonomous vehicle |
KR20200128462A (en) | 2019-04-19 | 2020-11-13 | 주식회사 스프링클라우드 | Recording Medium |
KR20200128465A (en) | 2019-04-19 | 2020-11-13 | 주식회사 스프링클라우드 | A program for providing a camera system that can be employed in an autonomous vehicle |
KR20200128457A (en) | 2019-04-19 | 2020-11-13 | 주식회사 스프링클라우드 | Camera system of autonomous vehicle and method of operation thereof |
KR20200128460A (en) | 2019-04-19 | 2020-11-13 | 주식회사 스프링클라우드 | Camera system of autonomous vehicle and method of operation thereof |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107801013B (en) * | 2017-10-30 | 2019-05-17 | Oppo广东移动通信有限公司 | White balancing treatment method and device, electronic device and computer readable storage medium |
CN107809629A (en) * | 2017-11-24 | 2018-03-16 | 西安易朴通讯技术有限公司 | A kind of white balance correction method, terminal and light source |
US11317040B2 (en) | 2019-06-25 | 2022-04-26 | Shanghai Harvest Intelligence Technology Co., Ltd. | Image sensing apparatus |
CN112135014B (en) * | 2019-06-25 | 2022-09-06 | 上海耕岩智能科技有限公司 | Signal acquisition device |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR940007164B1 (en) * | 1991-08-22 | 1994-08-06 | 삼성전자 주식회사 | Automatic conversion device of color temperature filter for video camera |
JP2002209229A (en) * | 2000-11-13 | 2002-07-26 | Seiko Epson Corp | Image display system adaptive to environment, image processing method, program and information storage medium |
JP2003078920A (en) * | 2001-09-05 | 2003-03-14 | Nec Gumma Ltd | Display device |
JP2011071680A (en) * | 2009-09-25 | 2011-04-07 | Sharp Corp | Video display device and method |
KR20110072213A (en) | 2009-12-22 | 2011-06-29 | 엘지이노텍 주식회사 | Image correction method |
KR101270851B1 (en) | 2010-06-04 | 2013-06-05 | 애플 인크. | Adaptive lens shading correction |
KR101385755B1 (en) | 2012-11-12 | 2014-04-17 | 삼성전기주식회사 | Device and method for correlating image sensor |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4434073B2 (en) * | 2005-05-16 | 2010-03-17 | ソニー株式会社 | Image processing apparatus and imaging apparatus |
US20070046787A1 (en) * | 2005-08-30 | 2007-03-01 | Micron Technology, Inc. | Chrominance filter for white balance statistics |
CN100551081C (en) * | 2007-04-23 | 2009-10-14 | 北京中星微电子有限公司 | A kind of method and device of realizing white balance correction |
US8229215B2 (en) * | 2007-12-03 | 2012-07-24 | Omnivision Technologies, Inc. | Image sensor apparatus and method for scene illuminant estimation |
KR101678691B1 (en) * | 2010-05-12 | 2016-11-23 | 삼성전자주식회사 | Apparatus for image processing using character of light source and method for the same |
KR20110135720A (en) * | 2010-06-11 | 2011-12-19 | 삼성전자주식회사 | Apparatus and method for generating lens shading compensation table according to photographing environment |
CN103634581A (en) * | 2012-08-21 | 2014-03-12 | 联想(北京)有限公司 | White balance control method, device and electronic equipment |
KR101920816B1 (en) * | 2013-07-08 | 2018-11-21 | 한화테크윈 주식회사 | White balance method for shading compensation, and apparatus applied to the same |
-
2014
- 2014-09-24 KR KR1020140127580A patent/KR101594258B1/en not_active IP Right Cessation
-
2015
- 2015-06-16 CN CN201580060481.8A patent/CN107005685A/en active Pending
- 2015-06-16 WO PCT/KR2015/006066 patent/WO2016047894A1/en active Application Filing
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR940007164B1 (en) * | 1991-08-22 | 1994-08-06 | 삼성전자 주식회사 | Automatic conversion device of color temperature filter for video camera |
JP2002209229A (en) * | 2000-11-13 | 2002-07-26 | Seiko Epson Corp | Image display system adaptive to environment, image processing method, program and information storage medium |
JP2003078920A (en) * | 2001-09-05 | 2003-03-14 | Nec Gumma Ltd | Display device |
JP2011071680A (en) * | 2009-09-25 | 2011-04-07 | Sharp Corp | Video display device and method |
KR20110072213A (en) | 2009-12-22 | 2011-06-29 | 엘지이노텍 주식회사 | Image correction method |
KR101270851B1 (en) | 2010-06-04 | 2013-06-05 | 애플 인크. | Adaptive lens shading correction |
KR101385755B1 (en) | 2012-11-12 | 2014-04-17 | 삼성전기주식회사 | Device and method for correlating image sensor |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200128459A (en) | 2019-04-19 | 2020-11-13 | 주식회사 스프링클라우드 | Camera system of autonomous vehicle and method of operation thereof |
KR20200128463A (en) | 2019-04-19 | 2020-11-13 | 주식회사 스프링클라우드 | Camera system of autonomous vehicle |
KR20200128458A (en) | 2019-04-19 | 2020-11-13 | 주식회사 스프링클라우드 | Camera system of autonomous vehicle and method of operation thereof |
KR20200128461A (en) | 2019-04-19 | 2020-11-13 | 주식회사 스프링클라우드 | Camera system of autonomous vehicle and method of operation thereof |
KR20200128464A (en) | 2019-04-19 | 2020-11-13 | 주식회사 스프링클라우드 | Method of operation thereof camera system of autonomous vehicle |
KR20200128462A (en) | 2019-04-19 | 2020-11-13 | 주식회사 스프링클라우드 | Recording Medium |
KR20200128465A (en) | 2019-04-19 | 2020-11-13 | 주식회사 스프링클라우드 | A program for providing a camera system that can be employed in an autonomous vehicle |
KR20200128457A (en) | 2019-04-19 | 2020-11-13 | 주식회사 스프링클라우드 | Camera system of autonomous vehicle and method of operation thereof |
KR20200128460A (en) | 2019-04-19 | 2020-11-13 | 주식회사 스프링클라우드 | Camera system of autonomous vehicle and method of operation thereof |
Also Published As
Publication number | Publication date |
---|---|
CN107005685A (en) | 2017-08-01 |
WO2016047894A1 (en) | 2016-03-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101594258B1 (en) | APPARATUS AND METHOD FOR CORRECTING AND CONTROLLING IMAGE of camera using color/light sensor | |
US10397486B2 (en) | Image capture apparatus and method executed by image capture apparatus | |
US9898807B2 (en) | Image processing device, imaging device, image processing method, and program | |
CN108668093B (en) | HDR image generation method and device | |
US20180332263A1 (en) | Image processing apparatus and image processing method thereof | |
CN109983508B (en) | Fast fourier color constancy | |
US8446488B2 (en) | Method and system for focal length-specific color enhancement | |
US20160239946A1 (en) | Image processing device, imaging apparatus, parameter generating method, image processing method, and program | |
JP6415062B2 (en) | Image processing apparatus, image processing method, control program, and recording medium | |
WO2009088080A1 (en) | Projector | |
KR20150142038A (en) | Reference image selection for motion ghost filtering | |
JP5392560B2 (en) | Image processing apparatus and image processing method | |
JP2008159069A (en) | Visual processing device, visual processing method, visual processing program, integrated circuit, display device, imaging device, and mobile information terminal | |
JP6720881B2 (en) | Image processing apparatus and image processing method | |
KR102581679B1 (en) | An elelctronic device and method for processing an image in the same | |
US20170041543A1 (en) | Image processing device and recording medium | |
US20160269705A1 (en) | Image processing apparatus and control method thereof | |
WO2016162270A1 (en) | Image processing method and apparatus | |
JP2006217277A (en) | Imaging device | |
KR101680446B1 (en) | Creation device for color table, correction and control device for camera image and method thereof | |
JP2006024176A (en) | Visual processing device, visual processing method, visual processing program, integrated circuit, display device, imaging device, and mobile information terminal | |
JP2006024176A5 (en) | ||
JP2010183460A (en) | Image capturing apparatus and method of controlling the same | |
KR20160115694A (en) | Image processing apparatus, image processing method, and computer program stored in recording medium | |
JP6827782B2 (en) | Image processing equipment, imaging equipment, image processing methods, image processing programs, and recording media |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
LAPS | Lapse due to unpaid annual fee |