KR101656173B1 - Method and apparatus for detecting faulty pixel in thermal camera - Google Patents
Method and apparatus for detecting faulty pixel in thermal camera Download PDFInfo
- Publication number
- KR101656173B1 KR101656173B1 KR1020150018054A KR20150018054A KR101656173B1 KR 101656173 B1 KR101656173 B1 KR 101656173B1 KR 1020150018054 A KR1020150018054 A KR 1020150018054A KR 20150018054 A KR20150018054 A KR 20150018054A KR 101656173 B1 KR101656173 B1 KR 101656173B1
- Authority
- KR
- South Korea
- Prior art keywords
- frame
- pixels
- temperature
- pixel
- shutter
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H04N5/217—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
-
- H04N5/225—
-
- H04N5/367—
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
본 발명의 일 실시예에 따르면, 열상 카메라의 불량화소 검출 방법으로서, 주변온도 및 기설정된 시간 주기에 따라, 열상 카메라의 셔터를 닫고 촬영하여 열영상의 제1 프레임을 생성하는 단계; 주변온도 및 기설정된 시간 주기에 따라, 열상 카메라의 셔터를 닫고 촬영하여 열영상의 제2 프레임을 생성하는 단계; 상기 제1 및 제2 프레임의 각각의 데이터로부터 제1 프레임 생성시의 셔터의 제1 온도와 제2 프레임 생성시의 셔터의 제2 온도를 각각 산출하는 단계; 상기 제1 및 제2 프레임을 이용하여 각 화소의 기울기를 산출하는 단계; 및 상기 제1 프레임과 제2 프레임 사이의 화소의 평균 기울기와 상기 각 화소의 기울기를 비교하여 불량화소를 1차 판단하는 단계;를 포함하는 열상 카메라의 불량화소 검출 방법이 제공된다. According to an embodiment of the present invention, there is provided a method for detecting defective pixels in a thermal camera, comprising: closing and photographing a shutter of a thermal camera in accordance with an ambient temperature and a predetermined time period to generate a first frame of a thermal image; Closing and photographing the shutter of the thermal camera in accordance with the ambient temperature and a predetermined time period to generate a second frame of the thermal image; Calculating a first temperature of the shutter at the time of generating the first frame and a second temperature of the shutter at the time of generating the second frame from the respective data of the first and second frames, respectively; Calculating a slope of each pixel using the first and second frames; And comparing the average slope of the pixels between the first frame and the second frame with the slope of the pixels to determine a defective pixel first.
Description
본 발명은 열상 카메라에 관한 것으로서, 좀 더 구체적으로는 열상 카메라의 불량화소 검출 방법 및 장치에 관한 것이다. The present invention relates to a thermal imaging camera, and more particularly, to a defective pixel detection method and apparatus of a thermal imaging camera.
열상 카메라(thermal imaging camera)는 적외선 카메라라고도 불리는 것으로서, 적외선을 감지하여 형성된 영상을 출력하도록 구성된다. 빛이 없는 상황에서도 가시 광선이 아닌 물체의 자체 방출되는 적외선을 감지하여 영상을 생성하기 때문에, 어두운 환경이나 안개 낀 곳에서 또는 특정 온도를 검출하는 데에 있어서 매우 유용하게 이용된다.A thermal imaging camera, also called an infrared camera, is configured to output an image formed by sensing infrared rays. It is very useful for detecting a specific temperature in a dark environment, a fogged place, or the like, since an image is generated by sensing infrared rays emitted by an object, which is not visible light, even in the absence of light.
열상 카메라에는 적외선 센서 내지는 적외선 탐지기가 어레이(infrared sensor array) 형태로 배열되어 있으며, 열상 카메라는 각각의 적외선 탐지기를 통해 얻어진 물체의 온도에 의해 영상을 생성한다.The thermal camera has an infrared sensor or an infrared sensor array arranged in the form of an infrared sensor array, and the thermal camera generates an image based on the temperature of the object obtained through the respective infrared detectors.
열상 카메라의 광학 렌즈를 통해 입사된 적외선은 각각의 화소에 할당된 적외선 탐지기에 직접 입사되는데, 이때 각 적외선 탐지기는 입사된 적외선 에너지에 반응하여 변화하는 저항값을 측정함으로써 적외선 에너지를 전기적인 신호로 변환한다. 이 때, 적외선 검출기의 각각의 화소는 같은 적외선 에너지에 대해서 같은 전기적인 신호를 출력해야 하지만 모든 화소들이 다른 특성을 보인다.The infrared rays incident through the optical lens of the thermal camera are directly incident on the infrared ray detector assigned to each pixel, and each infrared ray detector measures the changing resistance value in response to the incident infrared ray energy, Conversion. At this time, each pixel of the infrared detector should output the same electrical signal for the same infrared energy, but all pixels exhibit different characteristics.
적외선 검출기의 모든 화소들이 동일한 특성을 나타내도록 각각의 화소들에 대해서 이득 값과 옵셋을 조절해 주는 방법이 불균일 보상(Non-uniformity correction)이다.Non-uniformity correction is a method of adjusting the gain and offset for each pixel so that all the pixels of the infrared detector exhibit the same characteristics.
그런데 불균일 보상을 적용했는데도 전기적인 신호 출력이 동일하게 나타나지 않고 반응이 높거나 낮아지는 특성을 보이는 화소가 존재하는데 이러한 화소들은 적외선 검출기에 처음부터 존재하는 고정성 불량 화소들이다.However, even though the non-uniform compensation is applied, there are pixels which show the same characteristics of the electric signal output and the response is high or low. These pixels are fixed defect pixels existing in the infrared detector from the beginning.
그리고 적외선 검출기가 시간이 지날수록 화소들의 전기적인 특성이 바뀌어 불량 화소로 나타나는 경우는 진행성 불량 화소들이다. 진행성 불량 화소가 발생하면 영상의 품질이 나빠질 수 있으며, 불량 화소를 다른 물체로 잘못 판별할 수도 있다.And, as the infrared detector changes over time, the electrical characteristics of the pixels are changed so that the defective pixels are progressive defective pixels. If a progressive bad pixel occurs, the quality of the image may deteriorate, and the bad pixel may be erroneously judged as another object.
기존에는 진행성 불량화소가 발생하면 열상 카메라 보정 센터에 카메라를 보내서 그곳에서 불량 화소 보정 작업을 하였기 때문에 보정을 하기 위한 시간과 인력이 소비되었다. 예컨대 한국 공개특허공보 제2003-0065141호가 진행성 불량화소를 검출하고 보정하는 방법을 개시하고 있는데, 온도값(T1,T2)을 미리 알고 있는 대상물을 촬영한 프레임을 이용하여 이득(게인)과 편차(옵셋)를 구하고 이로부터 진행성 불량화소를 검출한다. 그러나 이 종래기술의 경우 대상물의 온도를 미리 알고 있어야 하므로, 정확한 온도로 제어가능한 흑체(black body)를 구비한 보정 센터 등에서만 이러한 작업을 수행할 수 있었다. In the past, when a progressive failure pixel occurred, the camera was sent to the thermal camera correction center, and the defective pixel correction operation was performed there, so time and manpower for correction were consumed. For example, Korean Unexamined Patent Application Publication No. 2003-0065141 discloses a method of detecting and correcting a progressive defect pixel. In this method, a gain (gain) and a deviation Offset), and detects progressive failure pixels therefrom. However, in this conventional technique, since the temperature of the object must be known in advance, such a work can be performed only at a correction center having a black body that can be controlled at an accurate temperature.
본 발명의 목적은 사용자가 열상 카메라를 사용하는 중에 열상 카메라가 자동적으로 진행성 불량화소를 검출하고 보정할 수 있는 열상 카메라의 불량 화소 자동 보정 장치 및 방법을 제공하는 데 있다. It is an object of the present invention to provide an apparatus and method for automatically correcting defective pixels in a thermal camera capable of automatically detecting and correcting progressive defective pixels while a user uses a thermal camera.
본 발명의 일 실시예에 따르면, 열상 카메라의 불량화소 검출 방법으로서, 주변온도 및 기설정된 시간 주기에 따라, 열상 카메라의 셔터를 닫고 촬영하여 열영상의 제1 프레임을 생성하는 단계; 주변온도 및 기설정된 시간 주기에 따라, 열상 카메라의 셔터를 닫고 촬영하여 열영상의 제2 프레임을 생성하는 단계; 상기 제1 및 제2 프레임의 각각의 데이터로부터 제1 프레임 생성시의 셔터의 제1 온도와 제2 프레임 생성시의 셔터의 제2 온도를 각각 산출하는 단계; 상기 제1 및 제2 프레임을 이용하여 각 화소의 기울기를 산출하는 단계; 및 상기 제1 프레임과 제2 프레임 사이의 화소의 평균 기울기와 상기 각 화소의 기울기를 비교하여 불량화소를 1차 판단하는 단계;를 포함하는 것을 특징으로 하는, 열상 카메라의 불량화소 검출 방법이 제공된다. According to an embodiment of the present invention, there is provided a method for detecting defective pixels in a thermal camera, comprising: closing and photographing a shutter of a thermal camera in accordance with an ambient temperature and a predetermined time period to generate a first frame of a thermal image; Closing and photographing the shutter of the thermal camera in accordance with the ambient temperature and a predetermined time period to generate a second frame of the thermal image; Calculating a first temperature of the shutter at the time of generating the first frame and a second temperature of the shutter at the time of generating the second frame from the respective data of the first and second frames, respectively; Calculating a slope of each pixel using the first and second frames; And comparing the average slope of the pixel between the first frame and the second frame with the slope of each pixel to determine a defective pixel first, do.
본 발명의 일 실시예에 따르면, 열상 카메라의 불량화소 검출 방법으로서, 주변온도 및 기설정된 시간 주기에 따라, 열상 카메라의 셔터를 닫고 촬영하여 열영상의 제1 프레임을 생성하는 단계; 주변온도 및 기설정된 시간 주기에 따라, 열상 카메라의 셔터를 닫고 촬영하여 열영상의 제2 프레임을 생성하는 단계; 상기 제1 및 제2 프레임의 각각의 데이터로부터 제1 프레임 생성시의 셔터의 제1 온도와 제2 프레임 생성시의 셔터의 제2 온도를 각각 산출하는 단계; 상기 제1 및 제2 프레임을 이용하여 각 화소의 기울기를 산출하는 단계; 및 산출된 상기 각 화소의 기울기를 불균일 보정(NUC) 게인 테이블과 비교하여 불량화소를 1차 판단하는 단계;를 포함하는 것을 특징으로 하는, 열상 카메라의 불량화소 검출 방법이 제공된다. According to an embodiment of the present invention, there is provided a method for detecting defective pixels in a thermal camera, comprising: closing and photographing a shutter of a thermal camera in accordance with an ambient temperature and a predetermined time period to generate a first frame of a thermal image; Closing and photographing the shutter of the thermal camera in accordance with the ambient temperature and a predetermined time period to generate a second frame of the thermal image; Calculating a first temperature of the shutter at the time of generating the first frame and a second temperature of the shutter at the time of generating the second frame from the respective data of the first and second frames, respectively; Calculating a slope of each pixel using the first and second frames; And comparing the calculated slope of each pixel with a non-uniformity correction (NUC) gain table to first determine a defective pixel.
본 발명의 일 실시예에 따르면, 열상 카메라에 있어서, 피사체에서 발산되는 적외선을 검출하여 전기적 신호로 출력하는 검출소자 어레이; 상기 전기적 신호의 출력값을 디지털 신호로 변환하는 아날로그-디지털 컨버터; 상기 디지털 신호의 출력값을 이용하여 상기 검출소자 어레이의 화소 중 불량화소를 검출하고 보정하는 불량화소 처리부; 및 상기 디지털 신호의 출력값을 불균일 보정(NUC)하는 불균일 보정부;를 포함하고, 이 때 상기 불량화소 처리부가 상술한 불량화소 검출 방법을 실행할 수 있는 것을 특징으로 하는 열상 카메라가 제공된다. According to an embodiment of the present invention, there is provided a thermal imaging camera comprising: a detection element array for detecting infrared rays emitted from a subject and outputting the infrared signal as an electrical signal; An analog-to-digital converter for converting an output value of the electrical signal into a digital signal; A defective pixel processing unit for detecting and correcting defective pixels among the pixels of the detection element array using the output value of the digital signal; And a nonuniformity correction unit that performs nonuniformity correction (NUC) on the output value of the digital signal, wherein the defective pixel processing unit can execute the defective pixel detection method described above.
본 발명의 일 실시예에 따른 열상 카메라의 불량화소 자동 보정 장치 및 방법에 의하면, 사용자가 열상 카메라를 사용하는 중에 열상 카메라가 진행성 불량화소를 자동으로 판단하고 보정할 수 있으므로, 수리를 위해 보정 센터에 맡김으로 인한 번거로움이나 시간과 비용 소비를 방지할 수 있는 이점이 있다. According to an apparatus and method for automatically correcting defective pixels in a thermal camera according to an embodiment of the present invention, a thermal camera can automatically determine and correct progressive defective pixels while a user uses a thermal camera, And it is advantageous in that it is possible to prevent time and cost from being incurred.
도1은 본 발명의 일 실시예에 따른 불량화소 보정 장치를 구비한 예시적인 열상 카메라의 블록도,
도2는 일 실시예에 따른 열상 카메라의 엔진코어의 블록도,
도3은 제1 실시예에 따른 불량화소 검출 방법을 설명하기 위한 흐름도,
도4는 제1 프레임 생성 단계를 설명하기 위한 흐름도,
도5는 제2 프레임 생성 단계를 설명하기 위한 도면;
도6은 프레임 화소들의 출력값 분포를 설명하기 위한 도면,
도7은 화소의 기울기를 산출하는 방법을 설명하기 위한 도면,
도8은 제2 실시예에 따른 불량화소 검출 방법을 설명하기 위한 흐름도,
도9는 제3 실시예에 따른 불량화소 검출 방법을 설명하기 위한 흐름도,
도10은 제4 실시예에 따른 불량화소 검출 방법을 설명하기 위한 흐름도이다. 1 is a block diagram of an exemplary thermal imaging camera equipped with a defective pixel correction apparatus according to an embodiment of the present invention;
2 is a block diagram of an engine core of a thermal imaging camera in accordance with one embodiment;
3 is a flowchart for explaining a defective pixel detection method according to the first embodiment,
4 is a flowchart for explaining a first frame generation step,
5 is a diagram for explaining a second frame generation step;
6 is a diagram for explaining an output value distribution of frame pixels,
7 is a diagram for explaining a method of calculating a slope of a pixel,
8 is a flowchart for explaining a defective pixel detection method according to the second embodiment,
9 is a flowchart for explaining a defective pixel detection method according to the third embodiment,
10 is a flowchart for explaining a defective pixel detecting method according to the fourth embodiment.
이상의 본 발명의 목적들, 다른 목적들, 특징들 및 이점들은 첨부된 도면과 관련된 이하의 바람직한 실시예들을 통해서 쉽게 이해될 것이다. 그러나 본 발명은 여기서 설명되는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.BRIEF DESCRIPTION OF THE DRAWINGS The above and other objects, features, and advantages of the present invention will become more readily apparent from the following description of preferred embodiments with reference to the accompanying drawings. However, the present invention is not limited to the embodiments described herein but may be embodied in other forms. Rather, the embodiments disclosed herein are provided so that the disclosure can be thorough and complete, and will fully convey the scope of the invention to those skilled in the art.
본 명세서에서, 어떤 구성요소가 다른 구성요소의 "위"(또는 "아래", "오른쪽", 또는 "왼쪽")에 있다고 언급되는 경우에 그것은 다른 구성요소의 위(또는 아래, 오른쪽, 또는 왼쪽)에 직접 위치될 수 있거나 또는 그들 사이에 제3의 구성요소가 개재될 수도 있다는 것을 의미한다. 또한, 도면들에 있어서, 구성요소들의 두께는 기술적 내용의 효과적인 설명을 위해 과장된 것이다.In this specification, when an element is referred to as being "above" (or "below", "right", or "left") another element, ) Or it may mean that a third component may be interposed therebetween. Further, in the drawings, the thickness of the components is exaggerated for an effective description of the technical content.
또한 본 명세서에서 구성요소간의 위치 관계를 설명하기 위해 사용되는 '상부(위)', '하부(아래)', '좌측', '우측', '전면', '후면' 등의 표현은 절대적 기준으로서의 방향이나 위치를 의미하지 않으며, 각 도면을 참조하여 본 발명을 설명할 때 해당 도면을 기준으로 설명의 편의를 위해 사용되는 상대적 표현이다. Also, in this specification, expressions such as 'upper', 'lower (lower)', 'left', 'right', 'front', 'rear' And it is a relative expression used for convenience of explanation based on the drawings when describing the present invention with reference to the respective drawings.
본 명세서에서 제1, 제2 등의 용어가 구성요소들을 기술하기 위해서 사용된 경우, 이들 구성요소들이 이 같은 용어들에 의해서 한정되어서는 안 된다. 이들 용어들은 단지 어느 구성요소를 다른 구성요소와 구별시키기 위해서 사용되었을 뿐이다. 여기에 설명되고 예시되는 실시예들은 그것의 상보적인 실시예들도 포함한다.Where the terms first, second, etc. are used herein to describe components, these components should not be limited by such terms. These terms have only been used to distinguish one component from another. The embodiments described and exemplified herein also include their complementary embodiments.
본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다(comprise)' 및/또는 '포함하는(comprising)'은 언급된 구성요소는 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.In the present specification, the singular form includes plural forms unless otherwise specified in the specification. The terms "comprise" and / or "comprising" used in the specification do not exclude the presence or addition of one or more other elements.
이하, 도면을 참조하여 본 발명을 상세히 설명하도록 한다. 아래의 특정 실시예를 기술하는데 있어서, 여러 가지의 특정적인 내용들은 발명을 더 구체적으로 설명하고 이해를 돕기 위해 작성되었다. 하지만 본 발명을 이해할 수 있을 정도로 이 분야의 지식을 갖고 있는 독자는 이러한 여러 가지의 특정적인 내용들이 없어도 사용될 수 있다는 것을 인지할 수 있다. 어떤 경우에는, 발명을 기술하는 데 있어서 흔히 알려졌으면서 발명과 크게 관련 없는 부분들은 본 발명을 설명하는 데 있어 혼돈을 막기 위해 기술하지 않음을 미리 언급해 둔다.Hereinafter, the present invention will be described in detail with reference to the drawings. In describing the specific embodiments below, various specific contents have been set forth in order to explain the invention in more detail and to aid understanding. However, it will be appreciated by those skilled in the art that the present invention may be understood by those skilled in the art without departing from such specific details. In some cases, it should be mentioned in advance that it is common knowledge in describing an invention that parts not significantly related to the invention are not described in order to avoid confusion in explaining the present invention.
도1은 본 발명의 일 실시예에 따른 불량화소 보정 장치를 구비한 예시적인 열상 카메라의 블록도이다. 1 is a block diagram of an exemplary thermal imaging camera equipped with a defective pixel correction apparatus according to an embodiment of the present invention.
열상 카메라(100)는 사용자 등의 피사체의 적외선 영상을 촬영하는 장치로서, 피사체에서 방사되는 적외선 에너지를 검출하여 이를 전기신호로 변환하고, 이 전기신호를 디지털 신호인 온도 데이터로 변환할 수 있다. The
도면을 참조하면, 일 실시예에 따른 열상 카메라(100)는 렌즈(10), 셔터(20), 검출소자 어레이(FPA)(30), 아날로그-디지털(A/D) 컨버터(40), 엔진코어(50), 영상처리부(60), 디스플레이(70), 셔터 제어부(80), 및 온도센서(90)를 포함할 수 있다. Referring to the drawings, a
렌즈(10)는 피사체로부터 방사되는 적외선을 통과시키는 적외선 렌즈이다. 검출소자 어레이(30)는 적외선 렌즈(10)로 입사된 적외선을 검출하여 전기적 신호로 변환하는 소자이다. 일 실시예에서 검출소자 어레이(30)는 예컨대 다수의 픽셀(화소)이 2차원 배열로 구성된 초점면 배열(FPA: Focal Plane Array) 구조를 가질 수 있으나 이러한 구조에 제한되는 것은 아니다. The
셔터(20)는 일반 실상 카메라의 셔터와 유사한 구조를 갖는 것으로, 렌즈(10)를 통과하여 검출소자 어레이(30)에 입사하는 적외선을 차단하는 역할을 한다. 특히 본 발명의 실시예에서 온도 데이터의 불균일 보정(NUC)에 사용되는 옵셋 테이블을 업데이트하거나 진행성 불량화소를 검출하고 보정하기 위한 목적으로 검출소자 어레이(13)에 입사되는 적외선을 차단하기 위해 셔터(20)가 사용된다. 도시한 실시예에서 셔터(30)가 렌즈(10)와 검출소자 어레이(30) 사이에 배치되지만, 대안적 실시예에서 셔터(20)가 예컨대 렌즈(10)의 앞부분에 배치될 수도 있다. The
A/D 컨버터(40)는 검출소자 어레이(30)에서 출력된 전기적 신호의 출력값을 디지털 신호로 변환하고, 이렇게 디지털 신호로 변환된 출력값은 엔진코어(50)에 전달된다. The A /
엔진코어(50)는 수신한 디지털 신호를 보정하고 열상 데이터로 변환할 수 있다. 구체적으로, 엔진 코어(50)는 검출소자 어레이(30)에서 출력되어 A/D 컨버터(40)에서 디지털로 변환된 출력 데이터에 대해 불균일 보정(NUC) 및/또는 불량화소 처리 등의 보정 처리를 수행하고, 보정처리된 데이터를 열영상(thermal image: 이하에서 "열상"이라 함) 데이터로 변환하여 출력한다. The
엔진코어(50)는 불균일 보정이나 불량화소 처리를 위해, 셔터(20)의 동작을 제어하는 셔터 제어부(80)에 필요에 따라 제어신호를 보낼 수 있고, 셔터 제어부(80)는 이러한 제어신호에 따라 셔터(20)의 개폐동작을 제어할 수 있다. The
영상신호 처리부(60)는 엔진 코어(50)에서 출력되는 열상 데이터를 분석하고 처리한다. 예를 들어 영상신호 처리부(60)는 열 영상의 영상개선(예컨대, 화질향상, 콘트라스트 개선 등)이나 특정 픽셀에 대한 온도 검출 및 그에 따른 응용처리 등을 수행할 수 있다. The image
디스플레이 장치(70)는 영상신호 처리부(60)에서 출력되는 데이터를 사용자에게 디스플레이한다. 일 실시예에서 디스플레이 장치(70)는 예컨대 LCD 디스플레이로 구현될 수 있으나 여기에 한정되지 않는다. The
온도센서(90)는 열상 카메라(100)의 내부에 또는 외부에 설치되어 열상 카메라 내부의 온도 또는 외부의 주변온도를 센싱한다. 일 실시예에서, 온도센서(90)가 감지한 온도 정보가 엔진코어(50)에 전달되고, 엔진코어(50)는 이 온도 정보에 기초하여 불량화소 동작 여부를 판단할 수 있다. The
도2는 일 실시예에 따른 열상 카메라의 엔진코어(50)의 블록도이다. 2 is a block diagram of an
일 실시예에서 엔진 코어(50)는 프레임 생성부(510), 불량화소 처리부(520), 불균일 보정부(530), 열상데이터 변환부(540), 및 데이터 저장부(550)를 포함할 수 있다. In one embodiment, the
프레임 생성부(510)는 A/D 컨버터(40)로부터 수신한 디지털 신호를 이미지 프레임 단위로 생성하는 역할을 한다. 여기서 '프레임'은 한 시점에서의 피사체의 적외선 이미지를 의미한다. 일 실시예에서 검출소자 어레이(30)의 각 픽셀마다 수신한 적외선에 따라 각 픽셀이 전기적 신호를 생성하여 이를 출력하고, 프레임 생성부(510)는 이러한 각 픽셀마다의 (디지털 변환된) 전기적 신호를 프레임 단위로 생성하여 처리한다. 생성된 프레임은 일단 데이터 저장부(550)에 저장된 후 불량화소 처리부(520)나 불균일 보정부(530) 등에서 처리될 수 있다. The
대안적 실시예에서, 프레임 생성부(510)는 다수의 프레임을 평균하여 하나의 가상의 프레임을 생성할 수도 있다. 열상 카메라(100)가 예컨대 일정 온도의 피사체를 촬영할 때, 이 특정 온도에서 피사체를 한번만 촬영하지 않고 여러 번 촬영하여 복수개의 프레임을 생성한 후, 이들 프레임을 평균하여 하나의 가상의 프레임을 형성할 수 있다. 일반적으로 동일 온도에서 촬영한 경우에도 각 프레임마다 온도값이 조금씩 변할 수 있기 때문에, 이와 같이 평균한 가상의 프레임은 해당 온도에 대한 보다 정확한 온도값을 나타낼 수 있다. In an alternative embodiment, the
불량화소 처리부(520)는 검출소자 어레이(30)의 화소 중 불량화소를 검출하고 보정한다. 본 발명의 실시예에 따른 불량화소 검출 방법에 대해서는 도3 내지 도9를 참조하여 후술하기로 한다. The defective
불균일 보정부(530)는 각각의 프레임에 대해 기설정된 불균일 보정(NUC) 테이블을 참조하여 각 픽셀이 출력한 온도 데이터 값을 보정한다. 일 실시예에서 NUC 테이블은 열상 카메라(100)의 제작시 미리 만들어져 예컨대 데이터 저장부(550)에 저장되어 있다. NUC 테이블은 각 픽셀(화소)마다의 게인(이득) 보정값과 옵셋 보정값을 포함한다. NUC 테이블은 열상 카메라의 출고후 사용자에 의해 사용되는 도중에 업데이트될 수 있다. 일 실시예에서 열상 카메라(100)는 NUC 테이블을 업데이트하더라도 최초 출고시 NUC 테이블에 덮어쓰기 하지 않고 최초 NUC 테이블을 데이터 저장부(550)에 저장하여 둔다. The
열상데이터 변환부(540)는 불량화소 처리부(520)와 불균일 보정부(530) 등에서 처리된 프레임의 데이터를 각 온도 대역에 따라 매칭된 색으로 변환하여 열상 데이터를 생성한다. 예를 들어 열상데이터 변환부(540)는 온도 데이터의 각 온도값에 매칭된 RGB 값을 적용하여 열 영상을 생성한다. 이에 따라, 예컨대 높은 온도를 빨간색 계열로 표시하고 낮은 온도를 파란색 계열로 표시한 컬러 열영상을 생성하거나 또는 높은 온도를 흰색에 가깝게 표시하고 낮은 온도를 검은 색에 가깝게 표시하는 흑백 열영상을 생성할 수 있다. The thermal
도3은 제1 실시예에 따른 불량화소 검출 방법을 설명하기 위한 흐름도이다. 3 is a flowchart for explaining a defective pixel detection method according to the first embodiment.
도면을 참조하면, 열상 카메라(100)는 기설정된 시간 주기에 기초하여 불량화소 검출을 위한 열영상을 촬영할지를 판단하고, 열영상을 촬영하기로 판단하면 열상 카메라의 셔터(20)를 닫고 촬영하여 열영상의 제1 프레임을 생성한다(S110). Referring to the drawings, the
그 후 열상 카메라(100)는 온도센서(90)가 측정한 주변온도에 기초하여 불량화소 검출을 위한 열영상을 촬영할지를 다시 판단하고, 열영상을 촬영하기로 판단하면 셔터(20)를 닫고 촬영하여 열영상의 제2 프레임을 생성한다(S120). Thereafter, the
이 때 열영상의 제1 프레임을 생성할지 판단하고 생성하는 단계(S110)는 도4에 도시한 구체적 단계를 포함할 수 있고, 제2 프레임을 생성할지 판단하고 생성하는 단계(S120)는 도5에 도시한 구체적 단계를 포함할 수 있다. In this case, step S110 of determining whether to generate the first frame of the column image may include the concrete step shown in Fig. 4, and step S120 of determining whether to generate the second frame, As shown in FIG.
우선 도3의 단계(S110)에 대해 도4를 참조하면, 단계(S111)에서, 불량화소 처리부(520)는 기설정된 소정 시간주기가 경과하였는지 판단한다. 소정 시간주기를 고려하는 것은 불량화소 검출 동작이 너무 자주 수행되는 것을 방지하기 위한 것으로, 여기서 '소정 시간주기'는 예컨대 수일, 수십일, 또는 수개월 등 필요에 따라 설정될 수 있다. 이 시간주기는 사용자에 의해 변경될 수 있다. Referring to FIG. 4 for step S110 in FIG. 3, in step S111, the defective
단계(S111)에서 소정 시간주기가 경과하였다고 판단하면, 단계(S112)로 진행하여, 불량화소 처리부(520)는 셔터 제어부(80)를 제어하여 셔터(20)를 닫고 촬영하여 제1 프레임을 생성하고, 제1 프레임 생성시 온도센서(90)가 측정한 주변온도를 기준온도로 설정한다(S113). 단계(S112)와 단계(S113)는 실행 순서가 바뀌어도 되고 동시에 실행되어도 무방하다. If it is determined in step S111 that the predetermined period of time has elapsed, the process proceeds to step S112 where the defective
다음으로, 도3의 단계(S120)에 대해 도5를 참조하면, 엔진코어(50)의 불량화소 처리부(520)가 온도센서(90)가 감지한 주변온도를 지속적으로(소정 시간 간격마다) 모니터링 하면서 주변온도와 상기 기준온도의 온도 차이가 소정값 이상인지를 판단한다(S121). 5, the defective
이 때 '주변온도'는 온도센서(90)가 측정한 온도를 의미하며, 예컨대 온도센서(90)가 열상 카메라(100)의 외부의 설치된 경우 카메라 외부의 온도가 주변온도가 될 수 있고, 다른 예로서 온도센서(90)가 열상 카메라 내부에 장착된 경우 카메라 내부의 온도가 주변온도가 될 수 있다. In this case, 'ambient temperature' refers to the temperature measured by the
또한 '기준온도'는 제1 프레임을 생성할 때 설정했던 기준온도, 즉 도4의 단계(S113)에서 설정되었던 주변온도가 될 수 있다. 따라서 단계(S121)에서 주변온도와 기준온도를 비교한다는 것은, 제1 프레임 생성시의 주변온도와 제2 프레임을 생성하려고 하는 현재의 주변온도를 비교하는 것을 의미한다. Also, the 'reference temperature' may be the reference temperature set at the time of generating the first frame, that is, the ambient temperature set in step S113 of FIG. Therefore, comparing the ambient temperature with the reference temperature in step S121 means comparing the ambient temperature at the generation of the first frame with the current ambient temperature at which the second frame is to be generated.
주변온도와 기준온도의 온도차가 소정값 이상인지 판단할 때의 '소정값'은 예컨대 5도 또는 10도 등으로 설정될 수 있고 구체적 실시 형태에 따라 달라질 수 있다. 또한 사용자가 임의로 상기 '소정값'을 설정하거나 변경할 수도 있다. The 'predetermined value' when determining whether the temperature difference between the ambient temperature and the reference temperature is equal to or higher than the predetermined value may be set to, for example, 5 degrees or 10 degrees, and may be varied according to specific embodiments. Also, the user may arbitrarily set or change the 'predetermined value'.
단계(S121)에서 주변온도와 기준온도를 비교하여 그 차이가 소정값 이상인 경우(즉 현재 주변온도가 기준온도보다 소정값 이상 높거나 낮은 경우), 단계(S122)로 진행하여, 불량화소 처리부(520)가 셔터 제어부(80)를 제어하여 셔터(20)를 닫고 촬영하여 제2 프레임을 생성한다. 그 후 단계(S123)에서, 상기 소정 시간주기를 0에서부터 다시 카운트를 개시할 수 있다. 대안적으로, 이 단계(S123)는 불량화소 검출 및 보정을 모두 완료된 후에(예컨대 단계(S160 이후에) 실행될 수도 있다. If the difference between the ambient temperature and the reference temperature is equal to or higher than the predetermined value (i.e., the current ambient temperature is higher than or lower than the reference temperature by a predetermined value or lower) in step S121, the process proceeds to step S122, 520 control the
다시 도3을 참조하면, 단계(S110, S120)에서 각각 제1 프레임과 제2 프레임을 생성한 뒤, 단계(S130)에서, 제1 프레임과 제2 프레임을 생성할 때의 각각의 셔터의 온도를 산출한다. 일 실시예에서, 이러한 셔터의 온도는 해당 프레임의 온도 출력값으로부터 얻을 수 있다. Referring again to FIG. 3, after generating the first frame and the second frame in steps S110 and S120, respectively, in step S130, the temperature of each shutter when generating the first frame and the second frame . In one embodiment, the temperature of such a shutter can be obtained from the temperature output value of the frame.
제1 프레임과 제2 프레임 각각은 셔터(20)를 닫고 촬영했을 때의 영상이므로 각 프레임은 실제로 해당 프레임을 촬영할 때의 셔터(20)의 온도값을 나타낼 것이다. 예를 들어 제1 프레임과 제2 프레임의 각각은 예컨대 도6에 도시한 것과 같은 출력값 분포를 가진다. Since each of the first frame and the second frame is an image when the
도6은 프레임 화소들의 출력값에 따른 분포를 예시한 그래프로서, X축은 프레임의 각 화소가 출력하는 출력값이고 Y축은 각 출력값을 갖는 화소의 개수를 의미한다. 화소의 출력값은 피사체의 온도와 비례한다. 즉 온도가 높은 물체일수록 화소의 출력값이 높고 온도가 낮을수록 화소의 출력값이 낮다. 단계(S110)에서 생성된 제1 프레임은 전체적으로 균일한 온도의 셔터(20)를 촬영하였으므로, 이상적으로는 모든 화소가 동일한 출력값을 나타내는 것이 바람직하지만, 각 화소마다 오차가 있고 불량화소도 존재하기 때문에 도6과 같은 분포를 나타낸다. 마찬가지로 제2 프레임도 도6과 유사한 분포를 가질 것이다. 다만 이때 각 프레임은 도6과 같이 평균을 중심으로 완전히 대칭되는 것은 아니고, 각 프레임마다 각기 다양한 형태의 분포를 나타낼 것이다. 6 is a graph illustrating a distribution according to an output value of a frame pixel, wherein X axis denotes an output value of each pixel of the frame and Y axis denotes the number of pixels having respective output values. The output value of the pixel is proportional to the temperature of the subject. That is, the output value of the pixel is higher as the temperature is higher, and the output value of the pixel is lower as the temperature is lower. Since the first frame generated in step S110 has photographed the
일 실시예에 따르면, 단계(S130)에서 이러한 화소의 분포 형태를 감안하여 각 프레임의 화소 출력값으로부터 셔터(20)의 온도를 산출한다. According to one embodiment, in step S130, the temperature of the
일 실시예에서, 불량화소 및 화소들간의 오차를 감안하여, 전체 화소들의 출력값들 중 상위 k개의 출력값을 갖는 k개의 화소와 하위 k개의 출력값을 갖는 k개의 화소들을 제외한 나머지 화소들을 이용한다. 즉 프레임의 전체 화소 개수를 N개라고 하면, (N-2k)개의 화소들에 대해 이들의 출력값의 평균을 구하여 이 평균값을 이 프레임의 생성시의 셔터(20)의 온도로 정한다. 이 때 k값은 예를 들어 전체 화소수(N)의 대략 5~10%가 되는 화소수로 설정할 수 있으나, 구체적 실시 형태에 따라 달라질 수 있음은 물론이다. In one embodiment, considering the error between the defective pixel and the pixels, the remaining pixels except the k pixels having the upper k output values and the k lower output values among the output values of all the pixels are used. That is, if the total number of pixels of the frame is N, the average of these output values is obtained for (N-2k) pixels, and this average value is set as the temperature of the
단계(S130)에서 위와 같은 예시적인 방법에 따라 각 프레임의 생성시의 셔터(20)의 온도를 산출할 수 있고, 이에 따라 산출된 제1 프레임 생성시의 셔터 온도를 T1이라 하고 제2 프레임 생성시의 셔터 온도를 T2라고 가정한다. In step S130, the temperature of the
그 후 단계(S140)에서 각 화소의 제1 온도(T1)와 제2 온도(T2) 사이의 기울기를 산출한다. 각 화소에 대해, 제1 프레임 생성시의 온도(T1)에서의 출력값과 제2 프레임 생성시의 온도(T2)에서의 출력값 사이의 기울기(즉, (T2시의 출력값-T1시의 출력값)/(T2-T1))를 구한다. Then, in step S140, the slope between the first temperature T1 and the second temperature T2 of each pixel is calculated. (I.e., the output value at time T2 - the output value at time T1) / the output value at time T2 at the time of generation of the second frame, for each pixel, (T2-T1)).
다음으로 단계(S150)에서, 제1 프레임과 제2 프레임 사이의 화소들의 평균 기울기를 산출한다. 이와 관련하여 도7은 화소의 기울기를 산출하는 방법을 그래프로서 나타내고 있다. 도7에서 X축은 온도이고 Y축은 출력값이다. 제1 프레임 생성시의 온도(T1)에서 제1 프레임의 각 화소들은 도시한 것처럼 T1상에서 출력값에 따라 분포될 것이다. 그리고 제2 프레임 생성시의 온도(T2)에서 제2 프레임의 각 화소들은 T2상에서 출력값에 따라 분포될 것이다. Next, in step S150, an average slope of pixels between the first frame and the second frame is calculated. In this regard, FIG. 7 shows a graph of a method of calculating the slope of a pixel. 7, the X-axis is the temperature and the Y-axis is the output value. Each pixel of the first frame at the temperature T1 at the time of generation of the first frame will be distributed according to the output value on T1 as shown. And each pixel of the second frame at the temperature T2 at the time of generating the second frame will be distributed according to the output value on T2.
이러한 그래프에서, 제1 온도(T1)에서의 평균 출력값과 제2 온도(T2)에서의 평균 출력값을 지나는 직선이 단계(S150)에서 구하고자 하는 평균 기울기가 된다. In this graph, a straight line passing through the average output value at the first temperature T1 and the average output value at the second temperature T2 becomes the average slope to be obtained at step S150.
그 후 단계(S160)에서, 각 화소들의 기울기를 평균 기울기와 각각 비교하여 불량화소를 판단한다. 일 실시예에서, 평균 기울기 값에서 소정값(α)보다 크거나 작은 기울기를 갖는 화소를 불량화소라고 판단할 수 있으며, 이 때 소정값(α)은 구체적 실시예에 따라 달라질 수 있다. Thereafter, in step S160, a slope of each pixel is compared with an average slope to determine a defective pixel. In one embodiment, a pixel having a slope greater than or less than a predetermined value alpha at an average slope value may be determined as a defective pixel, and the predetermined value alpha may be varied according to the specific embodiment.
이상 상술한 방법에 따라 불량화소를 검출하면 미리 설정된 보정 절차에 따라 불량화소를 보정한다. 예를 들어 불량화소의 출력값을 이 불량화소에 인접한 화소의 출력값으로 대체하거나 인접한 복수개의 화소들의 평균값으로 대체할 수 있다. If defective pixels are detected according to the above-described method, the defective pixels are corrected according to a predetermined correction procedure. For example, an output value of a defective pixel may be replaced with an output value of a pixel adjacent to the defective pixel, or an average value of a plurality of adjacent pixels may be substituted.
도8은 제2 실시예에 따른 불량화소 검출 방법을 설명하기 위한 흐름도이다. 8 is a flowchart for explaining a defective pixel detecting method according to the second embodiment.
도면을 참조하면, 제2 실시예에 따른 불량화소 검출방법 중 단계(S210) 내지 단계(S240)는 도3의 제1 실시예의 단계(S110) 내지 단계(S140)와 동일 또는 유사하다. 즉 단계(S210)와 단계(S220)에서 각각 제1 프레임과 제2 프레임을 생성하고, 그 후 단계(S230)에서 각 프레임 생성시의 온도(T1, T2)를 산출하고, 단계(S240)에서 각 화소마다 기울기를 산출한다. Referring to the drawings, steps S210 to S240 of the defective pixel detection method according to the second embodiment are the same as or similar to steps S110 to S140 in the first embodiment of FIG. The first frame and the second frame are generated in steps S210 and S220 respectively and then the temperatures T1 and T2 during the generation of each frame are calculated in step S230, The slope is calculated for each pixel.
그 후 단계(S250)에서, 산출된 각 화소의 기울기를 불균일 보정(NUC)의 게인 테이블과 비교한다. 각 화소의 기울기는 NUC 보정시 사용되는 게인(이득)과 동일한 개념이며, 단계(S250)에서는 예컨대 단계(S240)에서 산출된 각 화소마다의 기울기 값을 가장 최신의 NUC 게인 테이블에 저장된 각 화소마다의 게인 값과 비교할 수 있다. Then, in step S250, the calculated slope of each pixel is compared with the gain table of the nonuniformity correction (NUC). The slope of each pixel is the same as the gain used in NUC correction. In step S250, the slope value of each pixel calculated in step S240 is calculated for each pixel stored in the latest NUC gain table Can be compared with the gain value of the < RTI ID = 0.0 >
그 후 단계(S260)에서, 각 화소들의 기울기를 평균 기울기와 각각 비교하여 불량화소를 판단한다. 일 실시예에서, 각 화소마다의 기울기 값과 NUC 테이블의 게인 값과의 차이가 소정값 이내이면 해당 화소는 정상이라고 판단하고 그 차이가 소정값보다 크다면 불량화소라고 판단할 수 있다. 이 때 상기 소정값은 구체적 실시예에 따라 설정되거나 변경될 수 있다. Thereafter, in step S260, the slope of each pixel is compared with the average slope to determine a defective pixel. In one embodiment, if the difference between the slope value for each pixel and the gain value of the NUC table is within a predetermined value, the pixel is determined to be normal. If the difference is larger than the predetermined value, it can be determined that the pixel is a defective pixel. At this time, the predetermined value may be set or changed according to a specific embodiment.
도9는 제3 실시예에 따른 불량화소 검출 방법을 설명하기 위한 흐름도이다. 9 is a flowchart for explaining a defective pixel detection method according to the third embodiment.
도면을 참조하면, 제3 실시예에 따른 불량화소 검출방법 중 단계(S310) 내지 단계(S360)는 도3의 제1 실시예의 전체 단계(S110 내지 S160)와 동일 또는 유사하다. 즉 단계(S310 내지 S360)를 실행하여 각 화소의 기울기와 평균 기울기를 비교하여 불량화소를 1차 판단한다. 그 후 도9의 실시예에서, 추가적으로 단계(S370 내지 S390)를 실행하여 불량화소를 2차 판단한다. Referring to the drawings, steps S310 to S360 of the defective pixel detection method according to the third embodiment are the same as or similar to the entire steps S110 to S160 of the first embodiment of FIG. That is, steps S310 to S360 are performed to compare the slope of each pixel with the average slope to determine the defective pixel first. Thereafter, in the embodiment of Fig. 9, steps S370 to S390 are additionally performed to judge the defective pixel secondarily.
즉 단계(S370)에서, 제2 온도(T2)에서 생성된 제2 프레임을 이용하여 불균일 보정(NUC)의 옵셋 테이블을 업데이트한다. 여기서 옵셋은 도7에서의 기울기 직선이 Y축과 만나는 지점의 Y값을 의미한다. 즉 단계(S340)에 각 화소마다 기울기가 산출되었으므로 이 기울기의 직선이 Y축과 만날 때의 Y값(옵셋)이 각 화소마다 산출될 수 있고, 이 산출된 옵셋 값을 NUC용 옵셋 테이블에 저장함으로써 NUC용 옵셋 테이블을 업데이트할 수 있다. That is, in step S370, the offset table of the nonuniformity correction (NUC) is updated using the second frame generated at the second temperature T2. Here, the offset refers to the Y value at the point where the slope straight line in FIG. 7 meets the Y axis. That is, since the slope is calculated for each pixel in step S340, a Y value (offset) when the straight line of the slope meets the Y axis can be calculated for each pixel, and the calculated offset value is stored in the offset table for NUC So that the offset table for NUC can be updated.
그 후 단계(S380)에서, 업데이트된 NUC용 옵셋 테이블의 각 옵셋 값을 기저장된 최초의 NUC 옵셋 테이블의 옵셋 값과 비교한다. 여기서의 최초의 NUC 옵셋 테이블은 예컨대 열상 카메라(100)의 출고시 최초로 생성하여 데이터 저장부(550)에 저장되어 있던 NUC 옵셋 테이블일 수 있다. Thereafter, in step S380, each offset value of the updated NUC offset table is compared with the offset value of the first stored NUC offset table. Here, the first NUC offset table may be, for example, a NUC offset table that was first generated at the time of shipment of the
단계(S380)에서 각 화소마다 최초의 옵셋 값과 단계(S370)에서 업데이트된 옵셋 값을 비교하여, 두 값의 차이가 소정범위 이내이면 그 화소는 정상이라고 판단하고 그 차이가 소정범위 밖이라면 불량화소라고 판단한다(S390). 이 때 상기 소정범위는 구체적 실시예에 따라 설정되거나 변경될 수 있다. In step S380, the first offset value is compared with the offset value updated in step S370. If the difference between the two values is within a predetermined range, the pixel is determined to be normal. If the difference is outside the predetermined range, (S390). The predetermined range may be set or changed according to a specific embodiment.
도10은 제4 실시예에 따른 불량화소 검출 방법을 설명하기 위한 흐름도이다. 10 is a flowchart for explaining a defective pixel detecting method according to the fourth embodiment.
도면을 참조하면, 제4 실시예에 따른 불량화소 검출방법 중 단계(S410) 내지 단계(S460)는 도8의 제2 실시예의 전체 단계(S210 내지 S260)와 동일 또는 유사하다. 즉 단계(S410 내지 S460)를 실행하여 각 화소의 기울기(게인)와 NUC 게인 테이블의 게인을 비교하여 불량화소를 1차 판단한다. 그 후 도10의 실시예에서, 추가적으로 단계(S470 내지 S490)를 실행하여 불량화소를 2차 판단한다. 이 때의 불량화소의 2차 판단은 도9의 실시예의 단계(S370 내지 S390)과 동일 또는 유사하게 할 수 있다. Referring to the drawings, steps S410 to S460 of the defective pixel detection method according to the fourth embodiment are the same as or similar to the entire steps S210 to S260 of the second embodiment of FIG. That is, steps S410 to S460 are performed to compare the slope (gain) of each pixel with the gain of the NUC gain table to determine the defective pixel first. Then, in the embodiment of Fig. 10, steps S470 to S490 are additionally performed to make secondary determination of the defective pixel. The secondary determination of the defective pixel at this time can be the same as or similar to the steps (S370 to S390) of the embodiment of Fig.
즉 단계(S470)에서, 제2 온도(T2)에서 생성된 제2 프레임을 이용하여 불균일 보정(NUC)의 옵셋 테이블을 업데이트하고, 단계(S480)에서, 업데이트된 NUC용 옵셋 테이블의 각 옵셋 값을 기저장된 최초의 NUC 옵셋 테이블의 옵셋 값과 비교한다. 단계(S380)에서의 비교결과 두 값의 차이가 소정범위 이내이면 그 화소는 정상이라고 판단하고 소정범위 밖이라면 불량화소라고 판단한다(S490). 이 때 상기 소정범위는 구체적 실시예에 따라 설정되거나 변경될 수 있다. That is, in step S470, the offset table of the nonuniformity correction (NUC) is updated using the second frame generated at the second temperature T2, and in step S480, the offset values of the updated NUC offset tables With the offset value of the first stored NUC offset table. If it is determined that the difference between the two values is within the predetermined range in step S380, the pixel is determined to be normal. If the difference is out of the predetermined range, the pixel is determined to be a defective pixel (S490). The predetermined range may be set or changed according to a specific embodiment.
이와 같이 도9 및 도10의 실시예에서는 각 화소의 기울기(게인)에 따라 불량화소 여부를 1차적으로 판단하고 각 화소의 옵셋에 기초해서도 불량화소 여부를 추가적으로 판단함으로써 불량화소를 더 정확히 검출할 수 있다. 이 때 일 실시예에서, 기울기에 따른 1차 불량화소 판단과 옵셋에 따른 2차 판단 모두에서 불량화소로 판단된 화소만 최종적으로 불량화소라고 판단할 수도 있고, 대안적으로, 1차 및 2차 판단 중 어느 하나에서 불량화소로 판단되면 불량화소라고 최종적으로 판단할 수도 있다. As described above, in the embodiments of Figs. 9 and 10, whether or not a defective pixel is primarily determined according to the slope (gain) of each pixel and whether or not a defective pixel is additionally determined based on the offset of each pixel further detects a defective pixel more accurately can do. In this case, in one embodiment, only the pixel determined to be a defective pixel in both of the primary defective pixel determination according to the slope and the secondary determination according to the offset may be determined as a defective pixel, and alternatively, the primary and secondary If it is determined as a defective pixel in any one of the judgments, it may be finally determined that the defective pixel is a defective pixel.
이상과 같이 도면을 참조하여 본 발명의 실시예를 설명하였다. 그러나 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 상술한 명세서의 기재로부터 다양한 수정 및 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.The embodiments of the present invention have been described with reference to the drawings. However, those skilled in the art will appreciate that various modifications and changes may be made thereto without departing from the spirit and scope of the present invention as defined by the appended claims. Therefore, the scope of the present invention should not be limited by the described embodiments, but should be determined by the scope of the appended claims, as well as the appended claims.
10: 렌즈
20: 셔터
30: 검출소자 어레이(FPA)
40: 아날로그-디지털(A/D) 컨버터
50: 엔진 코어
60: 영상 처리부
70: 디스플레이
80: 셔터 제어부
90: 온도센서10: Lens
20: Shutter
30: Detector element array (FPA)
40: Analog-to-Digital (A / D) Converter
50: engine core
60:
70: Display
80:
90: Temperature sensor
Claims (13)
기설정된 시간 주기에 기초하여, 열상 카메라의 셔터를 닫고 촬영하여 열영상의 제1 프레임을 생성하는 단계;
주변온도에 기초하여, 열상 카메라의 셔터를 닫고 촬영하여 열영상의 제2 프레임을 생성하는 단계;
상기 제1 및 제2 프레임의 각각의 데이터로부터 제1 프레임 생성시의 셔터의 제1 온도와 제2 프레임 생성시의 셔터의 제2 온도를 각각 산출하는 단계;
상기 제1 및 제2 프레임을 이용하여 각 화소의 기울기를 산출하는 단계; 및
상기 제1 프레임과 제2 프레임 사이의 화소의 평균 기울기와 상기 각 화소의 기울기를 비교하여 불량화소를 1차 판단하는 단계;를 포함하고,
상기 제1 프레임을 생성하는 단계가, 상기 제1 프레임 생성시에 열상 카메라의 온도센서가 측정한 주변온도를 기준온도로 설정하는 단계를 포함하고,
상기 제2 프레임을 생성하는 단계가,
상기 온도센서가 측정한 주변온도와 상기 기준온도의 차이가 소정값 이상인지 판단하는 단계; 및
상기 온도 차이가 소정값 이상이면, 셔터를 닫고 촬영하여 상기 제2 프레임을 생성하는 단계;를 포함하는 것을 특징으로 하는, 열상 카메라의 불량화소 검출 방법. A method for detecting defective pixels in a thermal camera,
Closing and photographing the shutter of the thermal camera based on the predetermined time period to generate a first frame of the thermal image;
Closing and capturing a shutter of the thermal camera based on ambient temperature to produce a second frame of thermal images;
Calculating a first temperature of the shutter at the time of generating the first frame and a second temperature of the shutter at the time of generating the second frame from the respective data of the first and second frames, respectively;
Calculating a slope of each pixel using the first and second frames; And
And comparing the average slope of the pixels between the first frame and the second frame with the slope of each pixel to determine a defective pixel first,
Wherein the step of generating the first frame includes setting an ambient temperature measured by the temperature sensor of the thermal camera at the time of generating the first frame to a reference temperature,
Wherein the generating of the second frame comprises:
Determining whether a difference between the ambient temperature measured by the temperature sensor and the reference temperature is equal to or greater than a predetermined value; And
And if the temperature difference is equal to or greater than a predetermined value, generating a second frame by photographing the shutter with the shutter closed.
제1 프레임의 화소들의 출력값 중 상위 출력값을 갖는 소정 개수의 화소들 및 하위 출력값을 갖는 상기 소정 개수의 화소들을 제외한 나머지 화소들의 평균 출력값을 이용하여 상기 셔터의 제1 온도를 산출하는 단계; 및
제2 프레임의 화소들의 출력값 중 상위 출력값을 갖는 소정 개수의 화소들 및 하위 출력값을 갖는 상기 소정 개수의 화소들을 제외한 나머지 화소들의 평균 출력값을 이용하여 상기 셔터의 제2 온도를 산출하는 단계;를 포함하는 것을 특징으로 하는, 열상 카메라의 불량화소 검출 방법. 2. The method of claim 1, wherein calculating the first temperature and the second temperature, respectively,
Calculating a first temperature of the shutter by using an average output value of pixels other than the predetermined number of pixels having a lower output value and a predetermined number of pixels having an upper output value among the output values of pixels of the first frame; And
Calculating a second temperature of the shutter by using an average output value of pixels other than the predetermined number of pixels having a lower output value and a predetermined number of pixels having an upper output value among the output values of pixels of the second frame Wherein the defective pixel detecting means detects the defective pixel of the thermal camera.
소정 시간주기가 경과하였는지 판단하는 단계(S111); 및
상기 소정 시간주기가 경과하였으면, 셔터를 닫고 촬영하여 상기 제1 프레임을 생성하는 단계(S112);를 포함하는 것을 특징으로 하는, 열상 카메라의 불량화소 검출 방법. 2. The method of claim 1, wherein generating the first frame comprises:
Determining whether a predetermined time period has elapsed (S111); And
And (S112) when the predetermined time period has elapsed, generating the first frame by closing and photographing the shutter (S112).
상기 제2 프레임을 이용하여 불균일보정(NUC) 옵셋 테이블을 업데이트하는 단계; 및
업데이트된 상기 NUC 옵셋 테이블을 기저장된 NUC 옵셋 테이블과 비교하여 불량화소를 2차 판단하는 단계;를 더 포함하는 것을 특징으로 하는, 열상 카메라의 불량화소 검출 방법. The method according to claim 1,
Updating a non-uniformity correction (NUC) offset table using the second frame; And
And comparing the updated NUC offset table with a pre-stored NUC offset table to determine a defective pixel secondarily.
각 화소마다, 해당 화소의 업데이트된 NUC 옵셋 테이블의 옵셋값과 상기 기저장된 NUC 옵셋 테이블의 옵셋값의 차이가 소정값 이상인지 판단하는 단계; 및
옵셋값의 차이가 소정값 이상이면, 해당 화소를 불량화소로 판단하는 단계;를 포함하는 것을 특징으로 하는, 열상 카메라의 불량화소 검출 방법. 6. The method of claim 5, wherein the secondary determining comprises:
Determining whether a difference between an offset value of the updated NUC offset table of the pixel and an offset value of the previously stored NUC offset table is equal to or greater than a predetermined value for each pixel; And
And determining that the pixel is a defective pixel if the difference between the offset values is equal to or greater than a predetermined value.
기설정된 시간 주기에 기초하여, 열상 카메라의 셔터를 닫고 촬영하여 열영상의 제1 프레임을 생성하는 단계;
주변온도에 기초하여, 열상 카메라의 셔터를 닫고 촬영하여 열영상의 제2 프레임을 생성하는 단계;
상기 제1 및 제2 프레임의 각각의 데이터로부터 제1 프레임 생성시의 셔터의 제1 온도와 제2 프레임 생성시의 셔터의 제2 온도를 각각 산출하는 단계;
상기 제1 및 제2 프레임을 이용하여 각 화소의 기울기를 산출하는 단계;
산출된 상기 각 화소의 기울기를 불균일보정(NUC) 게인 테이블과 비교하여 불량화소를 1차 판단하는 단계;
상기 제2 프레임을 이용하여 불균일보정(NUC) 옵셋 테이블을 업데이트하는 단계; 및
업데이트된 상기 NUC 옵셋 테이블을 기저장된 NUC 옵셋 테이블과 비교하여 불량화소를 2차 판단하는 단계;를 포함하고,
상기 2차 판단하는 단계는,
각 화소마다, 해당 화소의 업데이트된 NUC 옵셋 테이블의 옵셋값과 상기 기저장된 NUC 옵셋 테이블의 옵셋값의 차이가 소정값 이상인지 판단하는 단계; 및
옵셋값의 차이가 소정값 이상이면, 해당 화소를 불량화소로 판단하는 단계;를 포함하는 것을 특징으로 하는, 열상 카메라의 불량화소 검출 방법. A method for detecting defective pixels in a thermal camera,
Closing and photographing the shutter of the thermal camera based on the predetermined time period to generate a first frame of the thermal image;
Closing and capturing a shutter of the thermal camera based on ambient temperature to produce a second frame of thermal images;
Calculating a first temperature of the shutter at the time of generating the first frame and a second temperature of the shutter at the time of generating the second frame from the respective data of the first and second frames, respectively;
Calculating a slope of each pixel using the first and second frames;
Comparing the calculated slope of each pixel with a non-uniformity correction (NUC) gain table to determine a defective pixel first;
Updating a non-uniformity correction (NUC) offset table using the second frame; And
Comparing the updated NUC offset table with a pre-stored NUC offset table to determine a defective pixel secondarily,
Wherein the secondary determining comprises:
Determining whether a difference between an offset value of the updated NUC offset table of the pixel and an offset value of the previously stored NUC offset table is equal to or greater than a predetermined value for each pixel; And
And determining that the pixel is a defective pixel if the difference between the offset values is equal to or greater than a predetermined value.
제1 프레임의 화소들의 출력값 중 상위 출력값을 갖는 소정 개수의 화소들 및 하위 출력값을 갖는 상기 소정 개수의 화소들을 제외한 나머지 화소들의 평균 출력값을 이용하여 상기 셔터의 제1 온도를 산출하는 단계; 및
제2 프레임의 화소들의 출력값 중 상위 출력값을 갖는 소정 개수의 화소들 및 하위 출력값을 갖는 상기 소정 개수의 화소들을 제외한 나머지 화소들의 평균 출력값을 이용하여 상기 셔터의 제2 온도를 산출하는 단계;를 포함하는 것을 특징으로 하는, 열상 카메라의 불량화소 검출 방법. 8. The method of claim 7, wherein calculating the first and second temperatures of the shutter, respectively,
Calculating a first temperature of the shutter by using an average output value of pixels other than the predetermined number of pixels having a lower output value and a predetermined number of pixels having an upper output value among the output values of pixels of the first frame; And
Calculating a second temperature of the shutter by using an average output value of pixels other than the predetermined number of pixels having a lower output value and a predetermined number of pixels having an upper output value among the output values of pixels of the second frame Wherein the defective pixel detecting means detects the defective pixel of the thermal camera.
상기 제1 프레임을 생성하는 단계가,
소정 시간주기가 경과하였는지 판단하는 단계(S111);
상기 소정 시간주기가 경과하였으면, 셔터를 닫고 촬영하여 상기 제1 프레임을 생성하는 단계(S112); 및
상기 제1 프레임 생성시에 열상 카메라의 온도센서가 측정한 주변온도를 기준온도로 설정하는 단계(S113);를 포함하는 것을 특징으로 하는, 열상 카메라의 불량화소 검출 방법. 8. The method of claim 7,
Wherein the generating the first frame comprises:
Determining whether a predetermined time period has elapsed (S111);
(S112) when the predetermined time period has elapsed, generating the first frame by closing the shutter; And
(S113) setting the ambient temperature measured by the temperature sensor of the thermal imaging camera to a reference temperature at the time of generating the first frame (S113).
상기 온도센서가 측정한 주변온도와 상기 기준온도의 차이가 소정값 이상인지 판단하는 단계(S121); 및
상기 온도 차이가 소정값 이상이면, 셔터를 닫고 촬영하여 상기 제2 프레임을 생성하는 단계(S122);를 포함하는 것을 특징으로 하는, 열상 카메라의 불량화소 검출 방법. 10. The method of claim 9, wherein generating the second frame comprises:
Determining whether a difference between the ambient temperature measured by the temperature sensor and the reference temperature is equal to or greater than a predetermined value (S121); And
And a step (S122) of generating the second frame by closing the shutter when the temperature difference is equal to or greater than a predetermined value.
피사체에서 발산되는 적외선을 검출하여 전기적 신호로 출력하는 검출소자 어레이;
상기 전기적 신호의 출력값을 디지털 신호로 변환하는 아날로그-디지털 컨버터;
상기 디지털 신호의 출력값을 이용하여 상기 검출소자 어레이의 화소 중 불량화소를 검출하고 보정하는 불량화소 처리부; 및
상기 디지털 신호의 출력값을 불균일 보정(NUC)하는 불균일 보정부;를 포함하고,
상기 불량화소 처리부는 상기 제1항 내지 제3항 및 제5항 내지 제10항 중 어느 한 항에 기재된 불량화소 검출 방법을 실행할 수 있는 것을 특징으로 하는 열상 카메라.
In a thermal imaging camera,
A detection element array for detecting infrared rays emitted from a subject and outputting the detected infrared rays as an electrical signal;
An analog-to-digital converter for converting an output value of the electrical signal into a digital signal;
A defective pixel processing unit for detecting and correcting defective pixels among the pixels of the detection element array using the output value of the digital signal; And
And a nonuniformity correcting unit (NUC) for non-uniformly correcting the output value of the digital signal,
Wherein the defective pixel processing unit is capable of executing the defective pixel detection method according to any one of claims 1 to 3 and 5 to 10.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20140019823 | 2014-02-20 | ||
KR1020140019823 | 2014-02-20 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20150098567A KR20150098567A (en) | 2015-08-28 |
KR101656173B1 true KR101656173B1 (en) | 2016-09-08 |
Family
ID=54059959
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020150018054A KR101656173B1 (en) | 2014-02-20 | 2015-02-05 | Method and apparatus for detecting faulty pixel in thermal camera |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101656173B1 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102025236B1 (en) | 2018-12-27 | 2019-09-25 | 한화시스템 주식회사 | Apparatus for detecting soft defective pixels in infrared camera |
KR102104321B1 (en) | 2018-12-27 | 2020-04-24 | 한화시스템 주식회사 | Method for detecting soft defective pixels in infrared camera |
KR20200081191A (en) | 2019-06-27 | 2020-07-07 | 한화시스템 주식회사 | Apparatus for detecting soft defective pixels in infrared camera for detection of acquired bad pixels |
KR20200081192A (en) | 2019-06-27 | 2020-07-07 | 한화시스템 주식회사 | Method for detecting soft defective pixels in infrared camera for detection of acquired bad pixels |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101705063B1 (en) * | 2016-09-26 | 2017-02-09 | (주)큐브이미징시스템즈 | Defective pixel detection method and device using memorized position of thermal imaging camera |
KR101996611B1 (en) | 2017-04-26 | 2019-07-04 | 한화시스템 주식회사 | Method for detecting faulty pixel in infrared detector |
KR101854355B1 (en) * | 2017-10-11 | 2018-06-08 | 엘아이지넥스원 주식회사 | Image correction apparatus selectively using multi-sensor |
KR101840837B1 (en) * | 2017-12-06 | 2018-03-21 | 엘아이지넥스원 주식회사 | Apparatus and method for detecting dead pixel according to external infrared detector |
KR101996612B1 (en) | 2018-03-19 | 2019-07-04 | 한화시스템 주식회사 | Apparatus for detecting faulty pixel in infrared detector |
KR101918761B1 (en) * | 2018-04-27 | 2018-11-15 | (주)이오시스템 | Method and apparatus for processing defect pixel in infrared thermal detector |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006217113A (en) * | 2005-02-02 | 2006-08-17 | Funai Electric Co Ltd | Electronic camera and method of inspecting electronic camera |
JP2013543133A (en) * | 2010-11-17 | 2013-11-28 | 株式会社Easytem | Temperature measuring apparatus and temperature measuring method using infrared array sensor |
JP2013247416A (en) | 2012-05-24 | 2013-12-09 | Mitsubishi Electric Corp | Defect detection method, image correction method, and infrared imaging device |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100423061B1 (en) | 2002-01-31 | 2004-03-12 | 삼성탈레스 주식회사 | Method for detecting defect in thermal image system |
-
2015
- 2015-02-05 KR KR1020150018054A patent/KR101656173B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006217113A (en) * | 2005-02-02 | 2006-08-17 | Funai Electric Co Ltd | Electronic camera and method of inspecting electronic camera |
JP2013543133A (en) * | 2010-11-17 | 2013-11-28 | 株式会社Easytem | Temperature measuring apparatus and temperature measuring method using infrared array sensor |
JP2013247416A (en) | 2012-05-24 | 2013-12-09 | Mitsubishi Electric Corp | Defect detection method, image correction method, and infrared imaging device |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102025236B1 (en) | 2018-12-27 | 2019-09-25 | 한화시스템 주식회사 | Apparatus for detecting soft defective pixels in infrared camera |
KR102104321B1 (en) | 2018-12-27 | 2020-04-24 | 한화시스템 주식회사 | Method for detecting soft defective pixels in infrared camera |
KR20200081191A (en) | 2019-06-27 | 2020-07-07 | 한화시스템 주식회사 | Apparatus for detecting soft defective pixels in infrared camera for detection of acquired bad pixels |
KR20200081192A (en) | 2019-06-27 | 2020-07-07 | 한화시스템 주식회사 | Method for detecting soft defective pixels in infrared camera for detection of acquired bad pixels |
Also Published As
Publication number | Publication date |
---|---|
KR20150098567A (en) | 2015-08-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101656173B1 (en) | Method and apparatus for detecting faulty pixel in thermal camera | |
US10706514B2 (en) | Systems and methods for enhanced dynamic range infrared imaging | |
JP4978214B2 (en) | Imaging system and pixel defect correction apparatus | |
JP2002027491A (en) | Image input unit, white balance adjusting method, and computer readable recording medium storing program for executing the method | |
TWI520606B (en) | Image processing apparatus and control method for image processing apparatus | |
KR101438327B1 (en) | Thermal imaging camera for correcting ununiformity according to temperature of infrared detector and method of correcting ununiformity in the same | |
US9191592B2 (en) | Imaging sensor anomalous pixel column detection and calibration | |
US20090310849A1 (en) | Defective pixel processing device and defective pixel processing method | |
JP2008242111A (en) | Display device and color correcting method of display device | |
JP3995511B2 (en) | Flashing defect detection method, image correction method, and solid-state imaging device | |
US9161001B2 (en) | Image capturing apparatus that suppresses color deviation resulting from noise due to temperature and exposure time | |
JP2006211069A (en) | Defect detection apparatus and defect detection method, defect correction apparatus and defect correction method, and imaging apparatus | |
KR20100098123A (en) | Digital photographing apparatus, method for controlling the same, and recording medium storing program to implement the method | |
KR101705063B1 (en) | Defective pixel detection method and device using memorized position of thermal imaging camera | |
JP2010187409A (en) | Apparatus and method for correcting defects, and imaging apparatus | |
US20230007158A1 (en) | Image processing apparatus, image processing method, and computer readable medium | |
JP4305225B2 (en) | Infrared image correction device | |
JP2008311834A (en) | Defective pixel correcting device and method | |
JP2010216817A (en) | Infrared image capturing apparatus | |
KR101731287B1 (en) | Method and apparatus for compensating output of infrared sensor | |
KR102098203B1 (en) | Imaging processing apparatus and method | |
JP2010026994A (en) | Image processing method, image processing apparatus and image processing system | |
KR100860699B1 (en) | Camera system with lens shading compensation function using color temperature | |
JP7494615B2 (en) | Image processing device, image processing method, and program | |
KR102570790B1 (en) | Thermographic camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |