KR20190044925A - Image Producing Method and Apparatus Using Real Image And Thermal Image - Google Patents

Image Producing Method and Apparatus Using Real Image And Thermal Image Download PDF

Info

Publication number
KR20190044925A
KR20190044925A KR1020170137529A KR20170137529A KR20190044925A KR 20190044925 A KR20190044925 A KR 20190044925A KR 1020170137529 A KR1020170137529 A KR 1020170137529A KR 20170137529 A KR20170137529 A KR 20170137529A KR 20190044925 A KR20190044925 A KR 20190044925A
Authority
KR
South Korea
Prior art keywords
image
thermal
real
thermal image
real image
Prior art date
Application number
KR1020170137529A
Other languages
Korean (ko)
Inventor
박광윤
Original Assignee
다빈치온 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 다빈치온 주식회사 filed Critical 다빈치온 주식회사
Priority to KR1020170137529A priority Critical patent/KR20190044925A/en
Publication of KR20190044925A publication Critical patent/KR20190044925A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

The present invention relates to a method and a device for generating an image using a real image and a thermal image, capable of providing various image screens using a real image and a thermal image. The device of the present invention comprises: a thermal image input device for providing a thermal image; and a real image input device for providing a real image. The method of the present invention for synthesizing a thermal image and a real image to display the same, comprises: a resolution matching step of matching resolutions of a thermal image and a real image; and a position matching step of correcting a position deviation between the thermal image and the real image. The position matching step includes: a step of extracting a shape of a specific subject from the real image; a gray level adjustment step of generally lowering a gray level of the thermal image; extracting a shape of a subject corresponding to the specific subject of the real image from the gray scale-adjusted thermal image; calculating a position deviation of the subject extracted from the real image and the thermal image; and performing location matching between the real image and the thermal image on the basis of the calculated positional deviation.

Description

실화상과 열화상을 이용한 영상 생성 방법 및 그 장치{Image Producing Method and Apparatus Using Real Image And Thermal Image}Technical Field [0001] The present invention relates to a method and apparatus for generating an image using a real image and a thermal image,

본 발명은 영상처리장치에 관한 것으로, 특히 실화상과 열화상을 이용하여 다양한 영상 화면을 제공할 수 있도록 된 실화상 및 열화상을 이용한 영상 생성 방법 및 그 장치에 관한 것이다.The present invention relates to an image processing apparatus, and more particularly, to a method and apparatus for generating an image using a real image and a thermal image that can provide various image screens using a real image and a thermal image.

최근 적외선 센서 또는 열화상 카메라에 대한 관심이 급증하고 있다. 열화상 카메라는 다수의 적외선 센서를 매트릭스 형상으로 배열한 것으로서, 이는 사물로부터 방출되는 적외선, 즉 0.75-1,000㎛ 파장 대역의 광을 검출하여 이를 시각적인 영상 화면으로서 제공하게 된다. 적외선은 가시광선이나 자외선에 비해 강한 열적 특성을 가지고 있기 때문에 열선(熱線)이라고도 칭한다. 어떠한 사물로부터 방출되는 적외선의 강도는 해당 사물의 온도와 관련이 있기 때문에 적외선 센서나 열화상 카메라는 인간이나 동물의 체온을 비접촉식으로 측정하거나 열에너지 누출 상황을 확인하는 등 다양한 용도로 활용되고 있다.Recently, there is a growing interest in infrared sensors or infrared cameras. A thermal imaging camera has a plurality of infrared sensors arrayed in a matrix shape, which detects infrared rays emitted from objects, that is, 0.75-1,000 μm wavelength band, and provides them as a visual image screen. Infrared rays are also called hot rays because they have strong thermal properties compared to visible rays or ultraviolet rays. Since the intensity of infrared rays emitted from an object is related to the temperature of the object, an infrared sensor or a thermal imaging camera is used for various purposes such as measuring the temperature of a human or an animal in a noncontact manner or checking the state of leakage of heat energy.

열화상 카메라는 검출된 적외선의 강도, 즉 해당 사물의 온도를 미리 정해진 색으로 표시하게 된다. 이때 열화상 카메라에 의해 구현되는 영상의 화질은 열화상 카메라의 해상도에 상당부분 의존한다. 저해상도의 열화상 카메라를 이용하는 경우에는 서로 다른 온도 대역을 갖는 영역 간의 경계 구분이 명확하지 않기 때문에 촬상 대상물의 형상이 불명료해지는 문제가 발생한다. 이러한 현상을 완화시키기 위해서는 고해상도의 열화상 카메라를 사용하는 것이 요구된다. 그러나 우선적으로 고해상도 제품은 가격이 매우 고가이므로 군사용이나 천문관측용 등과 같은 특수한 용도 이외의 범용 제품에는 적용하기 어렵다.The infrared camera displays the intensity of the detected infrared ray, that is, the temperature of the object, in a predetermined color. At this time, the image quality of the image implemented by the thermal imaging camera depends to a large extent on the resolution of the thermal imaging camera. In the case of using a low-resolution thermal imaging camera, the boundary between the regions having different temperature ranges is not clear, so that the shape of the object to be imaged becomes unclear. In order to alleviate this phenomenon, it is required to use a high-resolution thermal imaging camera. However, since high-resolution products are primarily expensive, they are difficult to apply to general-purpose products other than those for military use or astronomical observations.

상기한 사정을 고려하여 최근에는 열화상 카메라와 실화상 카메라를 일조로 구성하여 사용자가 열화상과 실화상을 선택적으로 볼 수 있도록 해주는 장치가 개발되어 사용되고 있다. 또한 대한민국 등록특허 제10-1627429호(명칭: 복합센서 기반 배전선로 진단 시스템)과 등록특허 제10-1656711호(명칭: 열발산 피사체 검출 장치 및 그 제어 방법)에는 열화상과 실화상을 중첩하여 디스플레이함으로써 사용자가 보다 선명한 열화상을 볼 수 있도록 해주는 장치에 대해 개시되어 있다.In consideration of the above-mentioned circumstances, in recent years, a device has been developed and used that allows a user to selectively view a thermal image and a real image by constituting a thermal image camera and a real image camera as one set. In addition, in Korean Patent No. 10-1627429 (name: a complex sensor based distribution line diagnosis system) and a registered patent No. 10-1656711 (name: a heat dissipation object detection apparatus and a control method thereof), a thermal image and a real image are superimposed Thereby allowing a user to view a clearer thermal image.

상기 특허 제10-1627429호는 열화상 카메라와 실화상 카메라를 일조로 구성함에 있어서 양 카메라 사이에 시차가 발생하는 것을 해결하도록 된 것이다. 이 특허에 있어서는 열화상 카메라와 실화상 카메라가 동시에 촬상할 수 있는 원형 또는 정사각형 배열의 보정용 지그를 이용한다. 그리고 양 카메라에서 촬상된 예컨대 실화상 영상과 열화상 영상의 두 원 중심점 집합의 상관관계를 계산하여 양 카메라의 위치관계를 나타내는 변수를 추출하고, 이 변수를 이용하여 열화상에 대한 실화상의 크기 및 양 카메라의 좌표축이 일치되도록 보정함으로써 양 카메라의 정합을 수행하게 된다.The above-mentioned Japanese Patent No. 10-1627429 solves the problem that a parallax is generated between both cameras when the radiographic camera and the radiographic camera are constituted by one set. In this patent, a correction jig of a circular or square arrangement that can be simultaneously imaged by the thermal imaging camera and the real camera is used. Then, the correlation between the two sets of the circle centers of the real image and the thermal image captured by both cameras is calculated, and a variable indicating the positional relationship between the two cameras is extracted. Using this variable, the size of the true image and So that the coordinate axes of both cameras coincide with each other to perform matching of both cameras.

그러나 이 발명은 열화상과 실화상의 정합을 위해 별도의 보정용 지그가 요구되고, 특히 열화상과 실화상의 해상도에 차이가 있는 경우에 적절하게 대응할 수 없다는 단점이 있다.However, this invention is disadvantageous in that a separate correction jig is required for matching the thermal image and the misalignment image, and particularly, when there is a difference in resolution between the thermal image and the misaligned image, it can not be coped with properly.

또한 특허 제10-1656711호는 열화상 데이터와 실화상 데이터의 해상도 차이를 보정하여 열화상과 실화상의 해상도를 상호 동일하게 설정하고, 열화상 정보에서 열발산 피사체의 경계선(윤곽선) 정보를 근거로 열발산 피사체의 형상을 산출하여, 이를 그에 대응하는 실화상과 중첩처리한다.In addition, Japanese Patent No. 10-1656711 discloses a technique of correcting the resolution difference between thermal image data and real image data to set the resolutions of the thermal image and the true image to be equal to each other, and based on the thermal image information, the boundary line (contour) The shape of the heat-dissipating subject is calculated and superimposed on the actual image corresponding thereto.

그러나 상기한 바와 같이 열화상 카메라의 경우에는 서로 다른 온도 대역을 갖는 영역 간의 경계 구분이 명확하지 않기 때문에 피사체의 경계선을 명확히 정의하는 것이 매우 어렵고, 특히 저해상도 카메라의 경우에는 더욱 곤란성이 존재하게 된다. 따라서 실화상과 열화상 간의 피사체 간의 정합도에 필연적으로 오차가 존재하게 된다. 이러한 오차는 피사체의 거리가 길어짐에 따라 점차 확대되어 일정 거리 이상의 피사체의 경우에는 중첩처리된 화상에 큰 오차가 발생하게 된다.However, as described above, in the case of a thermal imaging camera, it is very difficult to clearly define the boundary line of the subject because the boundary between the regions having different temperature ranges is not clear, and particularly in the case of a low resolution camera. Therefore, there is inevitably an error in the matching between the actual image and the thermal image. Such an error is gradually enlarged as the distance of the subject becomes longer, and in the case of a subject over a certain distance, a large error occurs in the superimposed image.

이에 본 발명은 상기한 사정을 감안하여 창출된 것으로서, 실화상과 열화상에 대한 영상 처리를 매우 간단하면서도 용이하게 실행할 수 있도록 된 실화상과 열화상을 이용한 영상 생성 방법 및 그 장치를 제공함에 그 목적이 있다.SUMMARY OF THE INVENTION The present invention has been made in view of the above circumstances and provides a method and apparatus for generating an image using a real image and a thermal image that can perform image processing for a real image and a thermal image very easily and easily, There is a purpose.

상기 목적을 실현하기 위한 본 발명에 따른 실화상과 열화상을 이용한 영상 생성 방법은 열화상을 제공하기 위한 열화상 입력장치와, 실화상을 제공하는 실화상 입력장치를 구비하고, 상기 열화상과 실화상을 합성하여 디스플레이 하는 방법에 있어서, 상기 열화상과 실화상의 해상도를 정합시키는 정합시키는 해당도 정합단계와, 상기 열화상과 실화상 간의 위치 편차를 보정하는 위치 정합단계를 포함하여 구성되고, 상기 위치 정합단계는 실화상으로부터 특정 피사체의 형상을 추출하는 단계와, 열화상의 계조 레벨을 전체적으로 낮추는 계조 레벨 조정 단계, 계조 조정된 열화상으로부터 상기 실화상의 특정 피사체에 대응하는 피사체의 형상을 추출하는 단계, 상기 실화상 및 열화상으로부터 추출된 피사체의 위치 편차를 산출하는 단계 및, 상기 산출된 위치 편차를 근거로 실화상과 열화상 간의 위치 정합을 실행하는 단계를 포함하여 구성되는 것을 특징으로 한다.A method for generating an image using a real image and a thermal image according to the present invention for realizing the above object comprises a thermal image input device for providing a thermal image and a real image input device for providing a real image, A method of synthesizing and displaying real images, comprising: a matching step of matching the thermal image with a resolution to match a resolution of a real image; and a position matching step of correcting a positional deviation between the thermal image and the real image, The position matching step includes a step of extracting a shape of a specific subject from a real image, a gradation level adjusting step of lowering the gradation level of the deteriorated image as a whole, a step of extracting a shape of a subject corresponding to a specific subject of the misfiring image from the gradation- A step of calculating a positional deviation of the subject extracted from the real image and the thermal image, Including the step of executing a location match between the real image and a thermal image exported to the position error based on being configured.

또한 상기 위치 정합단계는 사용자가 추출 대상의 피사체가 포함되는 화상 영역을 지징하는 단계를 추가로 포함하여 구성되는 것을 특징으로 한다.Further, the position matching step may further include the step of referring to an image area including a subject to be extracted by a user.

또한 상기 해상도 정합단계는 열화상과 실화상 중 해상도가 낮은 쪽의 영상 데이터를 해상도가 높은 쪽의 영상 데이터와 정합되도록 데이터 변환처리를 실행하고, 데이터 변환처리는 영상 데이터에 특정한 계조 값을 갖는 영상 데이터를 추가하는 것을 특징으로 한다.The resolution matching step performs data conversion processing so that the image data of the lower resolution in the thermal image and the real image is matched with the image data of the higher resolution, and the data conversion processing converts the image data having a specific gray- Data is added.

또한 상기 특정한 계조 값은 인접하는 정상 입력 데이터의 계조 값 이하로 정해지는 것을 특징으로 한다.And the specific tone value is determined to be equal to or lower than the tone value of the adjacent normal input data.

또한 상기 특정한 계조 값은 '0'으로 정해지는 것을 특징으로 한다.And the specific tone value is set to '0'.

또한 본 발명에 따른 실화상과 열화상을 이용한 영상 생성장치는 열화상을 제공하기 위한 열화상 입력장치와, 실화상을 제공하는 실화상 입력장치 및, 상기 열화상과 실화상을 합성처리하는 화상처리장치를 구비하여 구성되고, 상기 화상처리장치는 상기 열화상과 실화상의 해상도를 정합시키는 정합시키는 해당도 정합수단과, 상기 열화상과 실화상 간의 위치 편차를 보정하는 위치 정합수단을 포함하여 구성되고, 상기 위치 정합수단은 실화상과 열화상으로부터 특정 피사체의 형상을 추출하고, 양 피사체의 위치 편차를 근거로 실화상과 열화상 간의 위치 정합을 실행하며, 열화상으로부터의 피사체 추출은 열화상의 계조 레벨을 전체적으로 낮춘 상태에서 실행하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an image generating apparatus using a real image and a thermal image, comprising: a thermal image input device for providing a thermal image; a real image input device for providing a real image; Wherein the image processing apparatus includes a corresponding degree matching means for matching the thermal image with a resolution of a true image and a position matching means for correcting a position deviation between the thermal image and the real image, The position matching means extracts the shape of a specific object from the real image and the thermal image, performs positional matching between the real image and the thermal image based on the positional deviation of both subjects, and extracts the object from the thermal image, And the gradation level is lowered as a whole.

또한 사용자가 추출 대상의 피사체가 포함되는 화상 영역을 지징하기 위한 지정수단을 추가로 포함하여 구성되는 것을 특징으로 한다.And a designation means for designating an image area including a subject to be extracted by the user.

또한 상기 해상도 정합수단은 열화상과 실화상 중 해상도가 낮은 쪽의 영상 데이터를 해상도가 높은 쪽의 영상 데이터와 정합되도록 데이터 변환처리를 실행하고, 데이터 변환처리는 영상 데이터에 특정한 계조 값을 갖는 영상 데이터를 추가하는 것을 특징으로 한다.The resolution matching means performs data conversion processing so that the image data of the lower resolution in the thermal image and the real image is matched with the image data of higher resolution, Data is added.

또한 상기 특정한 계조 값은 인접하는 정상 입력 데이터의 계조 값 이하로 정해지는 것을 특징으로 한다.And the specific tone value is determined to be equal to or lower than the tone value of the adjacent normal input data.

또한 상기 특정한 계조 값은 '0'으로 정해지는 것을 특징으로 한다.And the specific tone value is set to '0'.

상기한 구성으로 된 본 발명에 의하면, 열화상과 실화상의 정합 처리를 통해 사용자가 원하는 다양한 합성 화상 등을 제공할 수 있게 된다.According to the present invention configured as described above, it is possible to provide various synthesized images desired by the user through matching processing of a thermal image and a false image.

도 1은 본 발명이 적용되는 실화상과 열화상을 이용한 영상 생성장치의 구성을 나타낸 블록 구성도이다.1 is a block diagram showing the configuration of an image generating apparatus using a real image and a thermal image to which the present invention is applied.

이하 도면을 참조하여 본 발명에 따른 실시 예를 설명한다. 다만 이하에서 설명하는 실시 예는 본 발명의 바람직한 구현 예를 예시적으로 나타낸 것으로서, 이러한 실시 예의 예시는 본 발명의 권리 범위를 제한하기 위한 것이 아니다. 본 발명은 그 기술적 사상을 벗어나지 않는 범위 내에서 다양하게 변형시켜 실시할 수 있다.Hereinafter, embodiments according to the present invention will be described with reference to the drawings. It should be understood, however, that the embodiments described below illustrate preferred embodiments of the present invention, and that examples of such embodiments are not intended to limit the scope of the present invention. The present invention can be variously modified without departing from the technical idea thereof.

도 1은 본 발명이 적용되는 실화상과 열화상을 이용한 영상 생성장치의 구성을 나타낸 블록 구성도이다. 본 영상 생성장치는 열화상 입력장치(1)와 실영상 입력장치(2)를 구비한다. 열화상 입력장치(1)는 다수의 적외선 센서나 이들의 조합으로 구성되는 열화상 카메라를 구비하여 구성된다. 이는 피사물에서 방출되는 적외선을 검출하여 그에 대응하는 열화상 데이터를 제공한다. 실화상 입력장치(2)는 이미지 센서나 일반적인 영상 카메라를 구비하여 구성된다. 이는 피사물로부터 방출되거나 반사되는 가시광선을 검출하여 그에 대응하는 실영상 데이터를 제공한다.1 is a block diagram showing the configuration of an image generating apparatus using a real image and a thermal image to which the present invention is applied. The present image generating apparatus includes a thermal image input apparatus 1 and a real image input apparatus 2. [ The thermal image input apparatus 1 is constituted by a plurality of infrared sensors or a thermal imaging camera constituted by a combination thereof. This detects infrared rays emitted from the object and provides corresponding thermal image data. The real image input device 2 comprises an image sensor or a general image camera. This detects visible light that is emitted or reflected from the object and provides corresponding real image data.

도면에서, 화상처리장치(3)는 예컨대 프로세서를 구비하여 구성된다. 화상처리장치(3)는 예컨대 개인용 컴퓨터나 랩톱 컴퓨터로 구성될 수 있다. 화상처리장치(3)는 상기 열화상 입력장치(1)와 실화상 입력장치(2)로부터 제공되는 열화상 또는 실화상을 선택적으로 디스플레이장치(4)를 통해 사용자에게 제공한다. 특히 화상처리장치(3)는 상기 열화상과 실화상을 합성하여 그 합성 영상을 디스플레이장치(4)를 통해 출력한다. 화상처리장치(3)는 열화상과 실화상 또는 이들의 합성 처리를 위한 프로그램이 구비된다. 이 프로그램의 동작에 대해서는 이후에 상세하게 기술될 것이다.In the drawing, the image processing apparatus 3 is configured with a processor, for example. The image processing apparatus 3 may be constituted by, for example, a personal computer or a laptop computer. The image processing apparatus 3 selectively provides a thermal image or a real image provided from the thermal image input device 1 and the real image input device 2 to the user through the display device 4. [ Particularly, the image processing apparatus 3 synthesizes the thermal image and the real image, and outputs the synthesized image through the display device 4. The image processing apparatus 3 is provided with a program for a thermal image and a real image or a combination process of these images. The operation of this program will be described in detail later.

디스플레이장치(4)는 열화상이나 실화상 또는 이들의 합성 영상을 시각적인 영상 화면을 통해 제공하고, 사용자의 제어 명령 등을 입력하기 위한 그래픽 인터페이스를 제공한다. 사용자 인터페이스(5)는 사용자가 디스플레이장치(4)를 통해 출력하고자 하는 영상의 종류를 선택하거나, 영상 합성에 필요한 조건 등을 설정하기 위한 것이다. 사용자 인터페이스(5)로서는 키보드나 마우스 등이 바람직하게 채용될 수 있다.The display device 4 provides a deteriorated image, a real image, or a composite image thereof through a visual image screen, and provides a graphical interface for inputting a user's control command or the like. The user interface 5 is for the user to select the type of the image to be outputted through the display device 4 or to set the conditions and the like necessary for the image synthesis. As the user interface 5, a keyboard, a mouse, and the like can be preferably employed.

이어, 본 발명에 따른 영상 합성 통작을 설명한다.Next, the image synthesis operation according to the present invention will be described.

도 1의 구성에서 열화상 입력장치(1)와 실화상 입력장치(2)는 동일한 해상도의 것이 바람직하게 채용된다. 또한 이들 입력장치(1, 2)는 동일한 위치 및 각도로 설치되어 이들로부터 생성되는 영상 화면에서 동일한 피사체는 동일한 픽셀 위치에 배치되는 것이 바람직할 것이다. 이러한 경우에는 화상처리장치(3)는 열화상 입력장치(1)와 실화상 입력장치(2)로부터 각각 입력되는 영상 데이터를 단순히 중첩하거나 대치하는 것만으로 합성 영상을 제공할 수 있다. 그러나 실제에 있어서는 통상 열화상 카메라(1)와 실화상 카메라(2)의 해상도는 서로 다르게 설정되고, 그 설치 위치 및 각도에 있어서도 필연적으로 오차가 존재하게 된다. 따라서 이러한 차이를 보정하기 위한 수단이 요구된다.In the configuration of Fig. 1, the thermal image input device 1 and the real image input device 2 preferably have the same resolution. Also, it is preferable that the input devices 1 and 2 are provided at the same position and angle, and the same subject is arranged at the same pixel position in an image screen generated from them. In this case, the image processing apparatus 3 can provide a composite image simply by overlapping or replacing the image data input from the thermal image input device 1 and the real image input device 2, respectively. However, in reality, the resolutions of the thermal imaging camera 1 and the radiographic camera 2 are usually set to be different from each other, and there is necessarily an error in the installation position and the angle. Therefore, a means for correcting such a difference is required.

화상처리장치(3)는 열화상 입력장치(1)로부터의 열화상과 실화상 입력장치(2)로부터의 실화상이 갖는 해상도를 상호 정합하는 해상도 정합수단을 구비한다. 해상도 정합수단은 예컨대 실화상 입력장치(2)의 해상도가 1280×1024이고 열화상 입력장치(1)의 해상도가 320×240인 경우, 실화상 입력장치(2)로부터의 실화상 데이터를 320×240으로 변환하는 데이터 축소처리를 실행하거나 열화상 입력장치(1)로부터의 열화상 데이터를 1280×1024로 변환하는 데이터 신장처리를 실행한다. 화상처리장치(3)는 바람직하게는 양 입력데이터 중 해상도가 낮은 쪽의 영상 데이터를 해상도가 높은 쪽의 영상 데이터와 정합되도록 데이터 변환처리를 실행하게 된다.The image processing apparatus 3 includes resolution matching means for matching the resolutions of the thermal image from the thermal image input apparatus 1 and the misfire image from the real image input apparatus 2. [ The resolution matching means is a means for matching the real image data from the real image input device 2 with 320 x 240 when the resolution of the real image input device 2 is 1280 x 1024 and the resolution of the thermal image input device 1 is 320 x 240, 240 is executed or a data expansion process for converting the thermal image data from the thermal image input apparatus 1 to 1280 x 1024 is executed. The image processing apparatus 3 preferably performs data conversion processing so that the lower-resolution video data of the two input data is matched with the higher-resolution video data.

데이터 신장처리는 입력되는 영상 데이터의 픽셀 사이에 새로운 픽셀 데이터를 적절하게 추가하는 방법을 채용한다. 새로운 픽셀 데이터는 보간법을 이용하여 생성할 수 있다. 그러나 이러한 방법은 새로운 데이터 생성에 소프트웨어적인 연산처리가 요구되므로 생성해야 할 픽셀 데이터량이 많은 경우에는 화상 처리에 상당한 시간이 요구되고 하드웨어적인 부담이 초래된다. 특히 촬상 대상의 피사체가 이동상태에 있는 경우에는 화상 처리가 불가능해지는 문제가 발생할 수 있다.The data stretching process employs a method of appropriately adding new pixel data between pixels of input image data. New pixel data can be generated using interpolation. However, this method requires a software-like operation process for new data generation. Therefore, when the amount of pixel data to be generated is large, a considerable amount of time is required for image processing, which leads to burdens on the hardware. Particularly, when the subject to be imaged is in a moving state, there is a possibility that image processing becomes impossible.

본 발명에서 새로운 픽셀 데이터는 바람직하게 특정한 계조값을 갖는 데이터로서 설정된다. 이때 특정한 계조값으로서는 바람직하게 정상적인 픽셀, 즉 열화상 입력장치(1)로부터 제공된 본래의 픽셀 데이터 중 인접하는 픽셀 데이터의 계조값 범위 내에서 상당 부분 낮은 계조값, 보다 바람직하게는 예컨대 255 계조값 중에서 "0" 계조값으로 설정된다. 이와 같이 하게 되면 새로운 픽셀 데이터의 생성을 신속하게 실행할 수 있게 되나. 또한 다른 바람직한 구현 예에서 해상도 정합수단에서 새롭게 생성하는 픽셀 데이터의 계조값은 사용자가 사용자 인터페이스(5)를 통해 임의적으로 설정할 수 있다. 이러한 방법은 사용자가 관람하고자 하는 피사체의 명도나 채도를 자신이 원하는 값으로 설정할 수 있는 효과를 제공한다.In the present invention, the new pixel data is preferably set as data having a specific grayscale value. At this time, the specific tone value is preferably a low tone value within a tone value range of adjacent pixel data among the normal pixel, that is, the original pixel data provided from the thermal image input apparatus 1, more preferably, Quot; 0 " gradation value. In this way, new pixel data can be generated quickly. Further, in another preferred embodiment, the tone value of the pixel data newly generated in the resolution matching means can be arbitrarily set by the user through the user interface 5. [ Such a method provides an effect that the user can set the brightness or saturation of a desired object to a desired value.

또한 화상처리장치(3)는 열화상 입력장치(1) 및 실화상 입력장치(2)로부터 제공되는 열화상과 실화상 사이의 위치편차를 보정하는 위치 정합수단을 구비한다. 위치 정합수단은 열화상과 실화상에서 피사체의 윤곽정보를 추출하고, 이를 근거로 피사체의 형상을 특정하게 된다. 윤곽정보의 추출은 화상 데이터의 휘도정보를 근거로 실행한다. 다만, 열화상의 경우에는 온도 대역을 갖는 영역으로서 피사체를 표시하기 때문에 피사체의 경계 구분이 명확하게 드러나지 않게 된다. 따라서 단순히 열화상을 이용하여 피사체의 형상을 특정하게 되면, 해당 피사체의 형상은 실영상의 그것과 상이한 모양을 갖게 될 가능성이 높아지게 된다. 만일 실화상에서 추출된 피사체의 형상과 열화상에서 추출된 피사체의 형상을 가지고 양 화상 사이의 위치편차를 산출하게 되면, 상당히 고도한 소프트웨어적인 알고리즘이 요구되고, 방대한 양의 데이터 비교 처리를 위해 많은 처리시간이 요구된다.The image processing apparatus 3 also includes position matching means for correcting a positional deviation between the thermal image and the real image provided from the thermal image input apparatus 1 and the real image input apparatus 2. [ The position matching means extracts the outline information of the subject on the thermal image and the real image, and specifies the shape of the subject based on the extracted information. The extraction of the outline information is executed on the basis of the luminance information of the image data. However, in the deteriorated image, since the subject is displayed as a region having a temperature band, the boundary of the subject is not clearly revealed. Therefore, if the shape of the subject is simply specified by using a thermal image, the shape of the subject is likely to have a shape different from that of the real image. If the position deviation between the two images is calculated with the shape of the subject extracted from the misfire and the shape of the subject extracted from the deteriorated image, a highly sophisticated software algorithm is required, and a large amount of processing time .

본 발명에서는 바람직하게 열화상 입력장치(1)로부터 제공되는 열화상 데이터의 데이터 계조 레벨을 일정 비율로 낮추게 된다. 이때 적절한 비율은 사용자 인터페이스(5)를 통해 사용자가 적절하게 설정할 수 있다. 열화상 데이터의 계조 레벨을 일정 이하로 낮추게 되면 열화상은 흑백 영상과 마찬가지로 전체적으로 명도 정보만을 갖는 영상 데이터로 변환된다. 위치 정합수단은 흑백 영상화된 열화상으로부터 피사체의 형상을 특정하게 된다. 그리고 위치 정합수단은 열화상과 실화상으로부터 각각 추출된 피사체의 정보를 근거로 양 화상의 위치 편차를 산출하고, 이때 산출된 편차 데이터를 근거로 열화상 또는 실화상의 픽셀 데이터 위치를 보정함으로써 양 화상의 위치 정합을 실행하게 된다.In the present invention, the data gradation level of the thermal image data provided from the thermal image input device 1 is preferably lowered at a certain rate. At this time, an appropriate ratio can be appropriately set by the user through the user interface 5. When the gradation level of the thermal image data is lowered to a certain level or lower, the thermal image is converted into image data having only brightness information as a whole as the black and white image. The position matching means specifies the shape of the subject from the black and white imaged thermal image. The position matching means calculates the positional deviation of the both images based on the information of the subject extracted from the thermal image and the real image, and corrects the position of the pixel data of the thermal image or the real image based on the calculated deviation data, As shown in FIG.

또한 본 발명의 다른 바람직한 구현 예에서, 사용자는 사용자 인터페이스(5)를 통해 위치 정합 처리에 적당하다고 판단되는 피사체를 선택할 수 있다. 이때 피사체의 선택은 피사체가 포함되는 영역을 사용자 인터페이스(5)를 통해 지정하는 방법을 통해 실행된다. 이와 같이 하게 되면 위치 정합수단에서 열화상과 실화상의 비교 대상이 되는 데이터량이 대폭 저감되므로 위치 정합처리를 용이하면서도 신속하게 실행할 수 있게 된다.Further, in another preferred embodiment of the present invention, the user can select a subject that is deemed suitable for the position matching process through the user interface 5. [ At this time, the selection of the subject is performed through a method of designating the area in which the subject is included through the user interface 5. In this way, since the amount of data to be compared with the thermal image and the misfire image in the position matching means is greatly reduced, the position matching processing can be performed easily and quickly.

화상처리장치(3)는 상술한 방법에 따라 열화상 입력장치(1)으로부터 제공되는 열화상과 실화상 입력장치(2)로부터 제공되는 실화상의 해상도 및 위치 보정을 실행한 후, 이후 사용자의 선택에 따라 양 화상을 합성하여 디스플레이하게 된다.The image processing apparatus 3 executes the resolution and position correction of the thermal image provided from the thermal image input apparatus 1 and the true image provided from the real image input apparatus 2 according to the above-described method, So that both images are combined and displayed.

상기한 본 발명에 의하면, 열화상과 실화상의 정합 처리를 통해 사용자가 원하는 다양한 합성 화상 등을 제공할 수 있게 된다.According to the present invention described above, it is possible to provide a variety of synthesized images desired by a user through matching processing of a thermal image and a false image.

또한 본 발명은 실시 예에 한정되지 않고 그 기술적 사상을 벗어나지 않는 범위 내에서 다양하게 변형시켜 실시할 수 있다.The present invention is not limited to the embodiments, and various modifications may be made without departing from the technical idea thereof.

1: 열화상 입력장치, 2: 실화상 입력장치,
3: 화상처리장치, 4: 디스플레이장치,
5: 사용자 인터페이스.1: thermal image input device, 2: real image input device,
3: image processing device, 4: display device,
5: User interface.

Claims (10)

열화상을 제공하기 위한 열화상 입력장치와, 실화상을 제공하는 실화상 입력장치를 구비하고, 상기 열화상과 실화상을 합성하여 디스플레이 하는 방법에 있어서,
상기 열화상과 실화상의 해상도를 정합시키는 정합시키는 해당도 정합단계와,
상기 열화상과 실화상 간의 위치 편차를 보정하는 위치 정합단계를 포함하여 구성되고,
상기 위치 정합단계는 실화상으로부터 특정 피사체의 형상을 추출하는 단계와, 열화상의 계조 레벨을 전체적으로 낮추는 계조 레벨 조정 단계, 계조 조정된 열화상으로부터 상기 실화상의 특정 피사체에 대응하는 피사체의 형상을 추출하는 단계, 상기 실화상 및 열화상으로부터 추출된 피사체의 위치 편차를 산출하는 단계 및, 상기 산출된 위치 편차를 근거로 실화상과 열화상 간의 위치 정합을 실행하는 단계를 포함하여 구성되는 것을 특징으로 하는 실화상과 열화상을 이용한 영상 생성 방법.A method for displaying a composite image of a thermal image and a real image, comprising: a thermal image input device for providing a thermal image; and a real image input device for providing a real image,
A matching step for matching the thermal image with a resolution of a misfire image,
And a position matching step of correcting a positional deviation between the thermal image and the real image,
The position matching step includes a step of extracting a shape of a specific subject from a real image, a gradation level adjusting step of lowering the gradation level of the deteriorated image as a whole, a step of extracting a shape of a subject corresponding to a specific subject of the misfiring image from the gradation- Calculating a positional deviation of the subject extracted from the real image and the thermal image, and performing a positional matching between the real image and the thermal image based on the calculated positional deviation. Image generation method using real image and thermal image. 제1항에 있어서,
상기 위치 정합단계는 사용자가 추출 대상의 피사체가 포함되는 화상 영역을 지징하는 단계를 추가로 포함하여 구성되는 것을 특징으로 하는 실화상과 열화상을 이용한 영상 생성 방법.The method according to claim 1,
Wherein the position matching step further includes the step of referring to an image area including a subject to be extracted by a user. 제1항에 있어서,
상기 해상도 정합단계는 열화상과 실화상 중 해상도가 낮은 쪽의 영상 데이터를 해상도가 높은 쪽의 영상 데이터와 정합되도록 데이터 변환처리를 실행하고, 데이터 변환처리는 영상 데이터에 특정한 계조 값을 갖는 영상 데이터를 추가하는 것을 특징으로 하는 실화상과 열화상을 이용한 영상 생성 방법.The method according to claim 1,
Wherein the resolution matching step performs data conversion processing so as to match the image data having the lower resolution in the thermal image and the real image with the image data having the higher resolution, And adding the second image and the second image. 제3항에 있어서,
상기 특정한 계조 값은 인접하는 정상 입력 데이터의 계조 값 이하로 정해지는 것을 특징으로 하는 실화상과 열화상을 이용한 영상 생성 방법.The method of claim 3,
Wherein the specific grayscale value is determined to be equal to or lower than a grayscale value of adjacent normal input data. 제3항에 있어서,
상기 특정한 계조 값은 '0'으로 정해지는 것을 특징으로 하는 실화상과 열화상을 이용한 영상 생성 방법.The method of claim 3,
Wherein the specific tone value is set to " 0 ". 열화상을 제공하기 위한 열화상 입력장치와,
실화상을 제공하는 실화상 입력장치 및,
상기 열화상과 실화상을 합성처리하는 화상처리장치를 구비하여 구성되고,
상기 화상처리장치는 상기 열화상과 실화상의 해상도를 정합시키는 정합시키는 해당도 정합수단과, 상기 열화상과 실화상 간의 위치 편차를 보정하는 위치 정합수단을 포함하여 구성되고,
상기 위치 정합수단은 실화상과 열화상으로부터 특정 피사체의 형상을 추출하고, 양 피사체의 위치 편차를 근거로 실화상과 열화상 간의 위치 정합을 실행하며, 열화상으로부터의 피사체 추출은 열화상의 계조 레벨을 전체적으로 낮춘 상태에서 실행하는 것을 특징으로 하는 실화상과 열화상을 이용한 영상 생성장치.A thermal image input device for providing a thermal image,
A real image input device for providing real images,
And an image processing device for synthesizing the thermal image and the real image,
Wherein the image processing apparatus includes a corresponding degree matching means for matching the thermal image with a resolution of a misfire image and a position matching means for correcting a position deviation between the thermal image and the real image,
The position matching means extracts a shape of a specific object from a real image and a thermal image, performs position matching between a real image and a thermal image based on positional deviation of both subjects, and extracts a subject from a thermal image, Is performed in a state where the entire image is lowered. 제6항에 있어서,
사용자가 추출 대상의 피사체가 포함되는 화상 영역을 지징하기 위한 지정수단을 추가로 포함하여 구성되는 것을 특징으로 하는 실화상과 열화상을 이용한 영상 생성 장치.The method according to claim 6,
And a designation means for designating an image area including a subject to be extracted by the user. 제6항에 있어서,
상기 해상도 정합수단은 열화상과 실화상 중 해상도가 낮은 쪽의 영상 데이터를 해상도가 높은 쪽의 영상 데이터와 정합되도록 데이터 변환처리를 실행하고, 데이터 변환처리는 영상 데이터에 특정한 계조 값을 갖는 영상 데이터를 추가하는 것을 특징으로 하는 실화상과 열화상을 이용한 영상 생성 장치.The method according to claim 6,
Wherein the resolution matching means performs data conversion processing so as to match the image data of the lower resolution in the thermal image and the real image with the image data of higher resolution, The image processing apparatus further comprising: 제8항에 있어서,
상기 특정한 계조 값은 인접하는 정상 입력 데이터의 계조 값 이하로 정해지는 것을 특징으로 하는 실화상과 열화상을 이용한 영상 생성 장치.9. The method of claim 8,
Wherein the specific grayscale value is determined to be equal to or lower than a grayscale value of adjacent normal input data. 제9항에 있어서,
상기 특정한 계조 값은 '0'으로 정해지는 것을 특징으로 하는 실화상과 열화상을 이용한 영상 생성 장치.10. The method of claim 9,
And the specific tone value is set to " 0 ".
KR1020170137529A 2017-10-23 2017-10-23 Image Producing Method and Apparatus Using Real Image And Thermal Image KR20190044925A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170137529A KR20190044925A (en) 2017-10-23 2017-10-23 Image Producing Method and Apparatus Using Real Image And Thermal Image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170137529A KR20190044925A (en) 2017-10-23 2017-10-23 Image Producing Method and Apparatus Using Real Image And Thermal Image

Publications (1)

Publication Number Publication Date
KR20190044925A true KR20190044925A (en) 2019-05-02

Family

ID=66581648

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170137529A KR20190044925A (en) 2017-10-23 2017-10-23 Image Producing Method and Apparatus Using Real Image And Thermal Image

Country Status (1)

Country Link
KR (1) KR20190044925A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210026979A (en) * 2019-08-29 2021-03-10 (주)유일 System for managing welding device for manufacture of pipe
KR20220054069A (en) * 2020-10-23 2022-05-02 조선대학교산학협력단 Measuring system and method for concrete strength
WO2022114371A1 (en) * 2020-11-27 2022-06-02 (주)메쉬 Automatic optimal mapping method of real image and thermographic image of fever screening device and fever screening device to which same method is applied
KR20230062439A (en) 2021-10-29 2023-05-09 고려대학교 산학협력단 System and method for detecting infectious disease patients and tracking the movement of the infectious disease patients using 3d thermal data analysis

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210026979A (en) * 2019-08-29 2021-03-10 (주)유일 System for managing welding device for manufacture of pipe
KR20220054069A (en) * 2020-10-23 2022-05-02 조선대학교산학협력단 Measuring system and method for concrete strength
WO2022114371A1 (en) * 2020-11-27 2022-06-02 (주)메쉬 Automatic optimal mapping method of real image and thermographic image of fever screening device and fever screening device to which same method is applied
KR20230062439A (en) 2021-10-29 2023-05-09 고려대학교 산학협력단 System and method for detecting infectious disease patients and tracking the movement of the infectious disease patients using 3d thermal data analysis

Similar Documents

Publication Publication Date Title
JP6330987B2 (en) Image processing apparatus, image processing method, and storage medium
KR20190044925A (en) Image Producing Method and Apparatus Using Real Image And Thermal Image
US9529371B2 (en) Image projection system and image projection method
US9632983B2 (en) Image projection system and image projection method
JP6645151B2 (en) Projection apparatus, projection method, and computer program for projection
JP5325267B2 (en) Object display device, object display method, and object display program
US20230186680A1 (en) Information processing device and recognition support method
JP2000357055A (en) Method and device for correcting projection image and machine readable medium
JP2009112617A (en) Panoramic fundus image-compositing apparatus and method
JP2015060012A (en) Image processing system, image processing device, image processing method and image processing program as well as display system
JP2003219324A (en) Image correction data calculation method, image correction data calculation apparatus, and multi- projection system
US10805534B2 (en) Image processing apparatus and method using video signal of planar coordinate system and spherical coordinate system
JP6594170B2 (en) Image processing apparatus, image processing method, image projection system, and program
JP2002071315A (en) Projection planar measuring system
EP3941040A1 (en) Mapping method for fulldome display
JP2020194998A (en) Control arrangement, projection system, control method, program and storage medium
KR20190044933A (en) Image Producing Method and Apparatus Using Real Image And Thermal Image
CN112544076B (en) Method and system for mapping non-uniformities of image sensors
JP2017228947A (en) Image processing apparatus and image processing method
US11830177B2 (en) Image processing apparatus, control method and non-transitory computer-readable recording medium therefor
JP2012042804A (en) Image processing apparatus and method
KR20190047876A (en) Thermal Image Producing Apparatus
JP6529345B2 (en) Image combining apparatus and image combining method
JP7245773B2 (en) Image processing device, image processing program and image processing method
JP2022101299A (en) Control system and control method

Legal Events

Date Code Title Description
N231 Notification of change of applicant