KR20190066817A - Apparatus and Method for Making Augmented Reality Image - Google Patents

Apparatus and Method for Making Augmented Reality Image Download PDF

Info

Publication number
KR20190066817A
KR20190066817A KR1020170166599A KR20170166599A KR20190066817A KR 20190066817 A KR20190066817 A KR 20190066817A KR 1020170166599 A KR1020170166599 A KR 1020170166599A KR 20170166599 A KR20170166599 A KR 20170166599A KR 20190066817 A KR20190066817 A KR 20190066817A
Authority
KR
South Korea
Prior art keywords
image
facility
augmented reality
thermal
images
Prior art date
Application number
KR1020170166599A
Other languages
Korean (ko)
Other versions
KR101997770B1 (en
Inventor
김회민
전성국
박종복
Original Assignee
한국광기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국광기술원 filed Critical 한국광기술원
Priority to KR1020170166599A priority Critical patent/KR101997770B1/en
Publication of KR20190066817A publication Critical patent/KR20190066817A/en
Application granted granted Critical
Publication of KR101997770B1 publication Critical patent/KR101997770B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

An apparatus and a method for generating an augmented reality image are disclosed. According to an aspect of the present invention, the apparatus for generating an augmented reality image such that an augmented reality apparatus can grasp a flow of heat in a facility by using augmented reality comprises: a communication unit for receiving an image of the facility and a thermal image of the facility which are photographed by the augmented reality apparatus and transmitting a generated augmented reality image to the augmented reality apparatus; and an image synthesis unit for synthesizing the image of the facility and the thermal image of the facility by using coordinates of a marker included in the image of the facility and the thermal image of the facility so as to generate the augmented reality image.

Description

증강현실 이미지 생성장치 및 방법{Apparatus and Method for Making Augmented Reality Image}[0001] Apparatus and Method for Augmented Reality Image Generation [

본 발명은 대상 시설에 대한 열 흐름 및 열 유동을 직관적으로 파악할 수 있는 증강현실 이미지를 생성하는 장치 및 그 방법에 관한 것이다. The present invention relates to an apparatus and method for generating an augmented reality image that can intuitively grasp heat flow and heat flow to a target facility.

이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.The contents described in this section merely provide background information on the present embodiment and do not constitute the prior art.

정보통신 기술의 급속한 발전과 도시의 환경개선과 유비쿼터스 기반의 인프라 확충, 그리고 신도시 및 기획도시의 증가 등으로 인해 기존 시스템이나 관리 환경에서의 각종 시설들에 대한 효율적인 관리의 요구가 증가되고 있다.Due to the rapid development of information and communication technology, the improvement of urban environment, the expansion of ubiquitous infrastructure, and the increase of new cities and planning cities, demands for effective management of various facilities in existing systems and management environments are increasing.

특히, 산업용 시설들의 상태를 파악하기 위해서는 모니터링 장치가 해당 산업용 시설들에 장착되거나 별도의 장치와 연결해야 한다. 그리고, 상태를 파악하고자 하는 시설들이 복수인 경우, 사용자가 해당 시설쪽으로 이동하며 상태를 직접 확인해야 하는 번거로움이 존재하였다. 이와 달리 원격 모니터링의 경우, 해당 시설의 실물을 직접 보지 않기 때문에 정확한 상태 파악이 어려운 문제가 있다.In particular, in order to understand the status of industrial facilities, the monitoring device must be installed in the relevant industrial facilities or connected to a separate device. In the case where there are a plurality of facilities to grasp the status, the user has to move to the facility and check the status directly. On the other hand, in case of remote monitoring, there is a problem that it is difficult to accurately grasp the status of the facility because it does not directly see the actual condition of the facility.

한편, 증강현실(Augmented Reality)이란, 일반적으로 가상 환경 및 가상 현실에서 파생한 용어로서, 실제 환경에 컴퓨터 그래픽 영상을 삽입하여 현실 세계 영상과 가상의 영상을 혼합한 것을 의미한다.On the other hand, Augmented Reality is a term derived from a virtual environment and a virtual reality, which means that a real-world image and a virtual image are mixed by inserting a computer graphic image into a real environment.

현실 세계 정보에는 사용자가 필요로 하지 않는 정보도 있고, 때로는 사용자가 필요로 하는 정보가 부족할 수도 있다. 그러나, 컴퓨터로 만든 가상 환경을 이용하면 필요로 하지 않는 정보를 단순하게 하거나 보이지 않게 할 수 있다. 즉, 증강현실 시스템은 현실 세계와 가상 세계를 결합함으로써 실시간으로 사용자에게 현실 세계와 필요한 정보의 상호 작용이 이루어지도록 하는 것이다.In real world information, there is information that the user does not need, and sometimes there is a lack of information that the user needs. However, using a virtual environment created by a computer can make information that is not needed simple or invisible. In other words, the augmented reality system combines the real world with the virtual world so that the user can interact with the real world in real time.

본 발명의 일 실시예는, 모니터링하고자 하는 시설에 덧붙여 증강현실 이미지를 생성함으로써, 시간에 따라 열이 어떻게 확산되는지를 확인할 수 있도록 하는 증강현실 이미지 생성 장치 및 방법을 제공하는 데 일 목적이 있다.An object of the present invention is to provide an apparatus and method for generating an augmented reality image that allows an augmented reality image to be generated in addition to a facility to be monitored so as to confirm how the heat spreads with time.

또한, 본 발명의 일 실시예는, 가시광 및 적외선 모두에 정확히 파악될 수 있는 마커를 이용하여 시설의 이미지와 시설의 열 화상 이미지를 정확히 정합함으로써, 오차없이 시설의 열 확산 상태를 감지할 수 있도록 하는 열 확산 감지 시스템을 제공하는 데 일 목적이 있다.In an embodiment of the present invention, the thermal image of the facility is exactly matched with the image of the facility by using markers that can be accurately grasped on both the visible light and the infrared ray so that the thermal diffusion state of the facility can be detected without error To provide a thermal diffusion sensing system.

본 발명의 일 측면에 의하면, 증강현실 장치가 증강현실을 이용하여 시설 내 열의 흐름을 파악할 수 있도록 증강현실 이미지를 생성하는 장치에 있어서, 상기 증강현실 장치가 촬영한 상기 시설의 이미지 및 상기 시설의 열 화상 이미지를 수신하고, 생성된 증강현실 이미지를 상기 증강현실 장치로 전송하는 통신부 및 상기 시설의 이미지 및 상기 시설의 열 화상 이미지 내 포함된 마커의 좌표를 이용하여 상기 시설의 이미지 및 상기 시설의 열 화상 이미지를 합성하여 상기 증강현실 이미지를 생성하는 이미지 합성부를 포함하는 것을 특징으로 하는 증강현실 이미지 생성장치를 제공한다.According to an aspect of the present invention, there is provided an apparatus for generating an augmented reality image so that an augmented reality apparatus can grasp a flow of heat in a facility using an augmented reality, the apparatus comprising: an image of the facility photographed by the augmented reality apparatus; A communication unit for receiving the thermal image and transmitting the generated augmented reality image to the augmented reality apparatus, and an image of the facility and coordinates of the marker included in the thermal image of the facility, And an image synthesis unit for synthesizing the thermal image to generate the augmented reality image.

본 발명의 일 측면에 의하면, 상기 증강현실 이미지 생성장치는 상기 통신부가 상기 시설의 이미지 및 상기 시설의 열 화상 이미지를 수신하는 경우, 상기 시설의 이미지 및 상기 시설의 열 화상 이미지를 캘리브레이션(Calibration)하는 캘리브레이션부를 더 포함하는 것을 특징으로 한다.According to an aspect of the present invention, the augmented reality image generating apparatus may include a calibration image generation unit that calibrates an image of the facility and an infrared image of the facility when the communication unit receives the image of the facility and the thermal image of the facility, And a calibration section for performing a calibration process.

본 발명의 일 측면에 의하면, 상기 이미지 합성부는 상기 시설의 이미지 및 상기 시설의 열 화상 이미지 내 포함된 마커의 좌표를 확인하고, 상기 시설의 이미지 내 마커의 좌표와 상기 시설의 열 화상 이미지 내 마커의 좌표를 일치시킴으로써, 상기 시설의 이미지 및 상기 시설의 열 화상 이미지를 합성하는 것을 특징으로 한다.According to one aspect of the present invention, the image composition unit confirms the coordinates of the image of the facility and the included markers in the thermal image of the facility, and the coordinates of the markers in the image of the facility and the markers in the thermal image of the facility The thermal image of the facility and the image of the facility are combined.

본 발명의 일 측면에 의하면, 상기 증강현실 이미지 생성장치는 상기 이미지 합성부가 상기 증강현실 이미지를 생성하는 경우, 상기 증강현실 이미지가 생성된 시간 또는 장소와 함께 상기 증강현실 이미지를 저장하는 데이터베이스를 더 포함하는 것을 특징으로 한다.According to an aspect of the present invention, the apparatus for generating an augmented reality image further includes a database for storing the augmented reality image together with a time or place at which the augmented reality image is generated, when the image composition unit generates the augmented reality image .

본 발명의 일 측면에 의하면, 상기 이미지 합성부는 상기 데이터베이스 내 저장된 증강현실 이미지 중 동일한 증강현실 장치로부터 시설의 이미지 및 시설의 열 화상 이미지를 수신하여 생성되었으며, 동일한 마커를 포함하고 있는 증강현실 이미지들을 하나로 정합하는 것을 특징으로 한다.According to one aspect of the present invention, the image combining unit is configured to receive the thermal image of the facility and the thermal image of the facility from the same augmented reality image stored in the database, and generate the augmented reality images including the same marker To-one correspondence.

본 발명의 일 측면에 의하면, 상기 이미지 합성부는 상기 증강현실 이미지들을 정합함에 있어, 각 증강현실 이미지들이 생성된 시간 순서로 배열하여 정합하는 것을 특징으로 한다.According to an aspect of the present invention, in matching the augmented reality images, the image combining unit arranges the augmented reality images in a time order in which the augmented reality images are arranged and matches them.

본 발명의 일 측면에 의하면, 증강현실 장치가 증강현실을 이용하여 시설 내 열의 흐름을 파악할 수 있도록 증강현실 이미지를 생성하는 방법에 있어서, 상기 증강현실 장치가 촬영한 상기 시설의 이미지 및 상기 시설의 열 화상 이미지를 수신하는 수신과정과 상기 시설의 이미지 및 상기 시설의 열 화상 이미지 내 포함된 마커의 좌표를 분석하는 분석과정과 상기 분석과정을 거쳐 분석한 마커의 좌표를 이용하여 상기 시설의 이미지 및 상기 시설의 열 화상 이미지를 합성하여 상기 증강현실 이미지를 생성하는 생성과정 및 상기 증강현실 이미지를 상기 증강현실 장치로 전송하는 전송과정을 포함하는 것을 특징으로 하는 증강현실 이미지 생성방법을 제공한다.According to an aspect of the present invention, there is provided a method for generating an augmented reality image so that an augmented reality device can grasp a flow of heat in a facility using an augmented reality, the method comprising: An analysis process of analyzing the coordinates of the marker included in the image of the facility and the thermal image of the facility and the coordinates of the marker analyzed through the analysis process, A generation process of generating the augmented reality image by synthesizing a thermal image of the facility, and a transmission process of transmitting the augmented reality image to the augmented reality device.

본 발명의 일 측면에 의하면, 증강현실을 이용하여 시설 내 열의 흐름을 파악할 수 있도록 하는 열 확산 감지 시스템에 있어서, 상기 시설 내 부착되어 적외선을 이용하여 파악될 수 있으며, 가시광을 이용하여 추가적으로 파악될 수 있도록 기 설정된 형상을 갖는 마커와 시설의 이미지 및 시설의 열 화상 이미지를 촬영하여 전송하며, 상기 시설의 이미지 및 상기 시설의 열 화상 이미지가 합성된 증강현실(Augmented Reality) 이미지를 수신하여 디스플레이하는 증강현실 장치 및 상기 증강현실 장치로부터 상기 시설의 이미지 및 상기 시설의 열 화상 이미지를 수신하고, 상기 시설의 이미지 및 상기 시설의 열 화상 이미지 내 포함된 마커의 좌표를 이용하여 상기 시설의 이미지 및 상기 시설의 열 화상 이미지를 합성하여 상기 증강현실 이미지를 생성하며, 상기 증강현실 이미지를 상기 증강현실 장치로 전송하는 서버를 포함하는 것을 특징으로 하는 열 확산 감지 시스템을 제공한다.According to an aspect of the present invention, there is provided a thermal diffusion sensing system for acquiring heat flow in a facility by using an augmented reality, the system being attached to the facility and being recognized using infrared rays, And displays an image of the facility and a thermal image of the facility, receives and displays an Augmented Reality image in which the image of the facility and the thermal image of the facility are synthesized Receiving an image of the facility and an infrared image of the facility from the augmented reality device and the augmented reality device, and using the coordinates of a marker included in the image of the facility and the thermal image of the facility, Generating an augmented reality image by synthesizing a thermal image of the facility, It provides thermal diffusion detection system comprising: a server for transmitting a group augmented reality image to the augmented reality device.

본 발명의 일 측면에 의하면, 상기 마커는 적외선을 이용하여 파악될 수 있도록, 적외선을 발광하거나 적외선을 흡수하는 재질 또는 구성을 포함하는 것을 특징으로 한다.According to an aspect of the present invention, the marker includes a material or a structure that emits infrared rays or absorbs infrared rays so that the marker can be grasped by using infrared rays.

본 발명의 일 측면에 의하면, 상기 서버는 상기 증강현실 장치로부터 상기 시설의 이미지 및 상기 시설의 열 화상 이미지를 수신하는 경우, 상기 시설의 이미지 및 상기 시설의 열 화상 이미지를 캘리브레이션(Calibration)하는 것을 특징으로 한다.According to one aspect of the present invention, the server is configured to calibrate the image of the facility and the thermal image of the facility when receiving the image of the facility and the thermal image of the facility from the augmented reality device .

본 발명의 일 측면에 의하면, 상기 서버는 상기 시설의 이미지 및 상기 시설의 열 화상 이미지 내 포함된 마커의 좌표를 확인하고, 상기 시설의 이미지 내 마커의 좌표와 상기 시설의 열 화상 이미지 내 마커의 좌표를 일치시킴으로써, 상기 시설의 이미지 및 상기 시설의 열 화상 이미지를 합성하는 것을 특징으로 한다.According to one aspect of the present invention, the server identifies the coordinates of the marker and the coordinates of the marker in the image of the facility and the thermal imaging image of the facility, and the coordinates of the marker in the thermal image of the facility By combining the coordinates, the image of the facility and the thermal image of the facility are combined.

본 발명의 일 측면에 의하면, 상기 서버는 상기 증강현실 이미지를 생성하는 경우, 생성한 시간과 함께 상기 증강현실 이미지를 저장하는 것을 특징으로 한다.According to an aspect of the present invention, when generating the augmented reality image, the server stores the augmented reality image together with the generated augmented reality image.

본 발명의 일 측면에 의하면, 상기 서버는 저장된 증강현실 이미지 중 동일한 증강현실 장치로부터 시설의 이미지 및 시설의 열 화상 이미지를 수신하여 생성되었으며, 동일한 마커를 포함하고 있는 증강현실 이미지들을 정합하여 한번에 상기 증강현실 장치로 전송하는 것을 특징으로 한다.According to an aspect of the present invention, the server is configured to receive a thermal image of a facility and an image of a facility from the same augmented reality device among the stored augmented reality images, to match the augmented reality images including the same marker, To the augmented reality device.

본 발명의 일 측면에 의하면, 상기 서버는 상기 증강현실 이미지들을 정합함에 있어, 각 증강현실 이미지들이 생성된 시간 순서로 배열하여 정합하는 것을 특징으로 한다.According to an aspect of the present invention, in matching the augmented reality images, the server arranges and augments each augmented reality images in a time sequence in which the augmented reality images are generated.

이상에서 설명한 바와 같이, 본 발명의 일 측면에 따르면, 모니터링하고자 하는 시설에 대한 증강현실 이미지를 생성함으로써, 시간에 따라 열이 어떻게 확산되는지를 확인할 수 있는 장점이 있다.As described above, according to an aspect of the present invention, an augmented reality image for a facility to be monitored is generated, and it is possible to confirm how the heat spreads with time.

또한, 본 발명의 일 측면에 따르면, 가시광 및 적외선 모두에 정확히 파악될 수 있는 마커를 이용하여 시설의 이미지와 시설의 열 화상 이미지를 정확히 정합함으로써, 오차없이 시설의 열 확산 상태를 감지할 수 있는 장점이 있다.According to an aspect of the present invention, a thermal image of a facility can be precisely matched with an image of the facility by using a marker that can be accurately grasped on both visible light and infrared rays, There are advantages.

도 1은 본 발명의 일 실시예에 따른 열 확산 감지 시스템을 개략적으로 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 마커를 개략적으로 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 증강현실 이미지 구현장치의 구성도이다.
도 4는 본 발명의 일 실시예에 따른 열 확산 감지 서버의 구성도이다.
도 5는 본 발명의 일 실시예에 따른 열 확산 감지 서버가 시설에 대한 증강현실 이미지를 생성하는 방법을 도시한 순서도이다.1 is a schematic view of a thermal diffusion sensing system according to an embodiment of the present invention.
2 is a schematic view of a marker according to an embodiment of the present invention.
3 is a block diagram of an apparatus for realizing an augmented reality image according to an embodiment of the present invention.
4 is a configuration diagram of a thermal diffusion detection server according to an embodiment of the present invention.
5 is a flowchart illustrating a method of generating an augmented reality image for a facility according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail. It is to be understood, however, that the invention is not to be limited to the specific embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. Like reference numerals are used for like elements in describing each drawing.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.The terms first, second, A, B, etc. may be used to describe various elements, but the elements should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. And / or < / RTI > includes any combination of a plurality of related listed items or any of a plurality of related listed items.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에서, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서 "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. It is to be understood that the term "comprises" or "having" in the present application does not preclude the presence or addition of features, numbers, steps, operations, components, parts, or combinations thereof described in the specification .

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해서 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs.

일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted as either ideal or overly formal in the sense of the present application Do not.

도 1은 본 발명의 일 실시예에 따른 열 확산 감지 시스템을 개략적으로 도시한 도면이다.1 is a schematic view of a thermal diffusion sensing system according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 열 확산 감지 시스템(100)은 마커(115), 증강현실 이미지 구현장치(120, 이하에서 '구현장치'로 약칭함) 및 열 확산 감지 서버(130, 이하에서 '서버'로 약칭함) 를 포함한다.1, a thermal diffusion sensing system 100 according to an exemplary embodiment of the present invention includes a marker 115, an augmented reality image implemitting device 120 (hereinafter abbreviated as 'implemented device'), (Abbreviated as " server " in the following description).

마커(115)는 시설(110)의 복수의 위치에 부착되어, 시설의 각 부분의 위치를 지시한다. 마커(115)는 시설(110)의 다양한 부분에 임의로 부착되며, 바람직하게는 기 설정된 간격마다 시설(110)에 부착될 수 있다. 마커(115)는 시설의 이미지 내에서 인식될 수 있도록 기 설정된 형상을 구비할 수 있으며, 시설의 열 화상 이미지 내에서도 함께 인식될 수 있도록 적외선을 방출하거나 흡수하는 재질 또는 구성을 구비할 수 있다. 또한, 마커(115)는 적외선을 방출하는 시설과 명확히 구별될 수 있도록, 적외선 또는 열을 차단하는 단열소재를 포함할 수 있다. 이에 따라, 마커(115)는 시설의 열 화상 이미지 내에서 보다 뚜렷하게 구별될 수 있다.The markers 115 are attached to a plurality of locations of the facility 110 to indicate the location of each part of the facility. The markers 115 are optionally attached to various portions of the facility 110 and may be attached to the facility 110 preferably at predetermined intervals. The marker 115 may have a predetermined shape so that it can be recognized in the image of the facility and may have a material or configuration that emits or absorbs infrared radiation so that it can be recognized within the thermal image of the facility. In addition, the marker 115 may include an infrared or heat insulating material to isolate heat so as to be clearly distinguishable from the facility that emits infrared radiation. Thus, the markers 115 can be distinguished more clearly within the thermal image of the facility.

마커(115)는 하나의 시설에만 부착되는 것에 그치지 않고, 복수의 시설에 각각 부착될 수 있다. 복수의 시설에 부착되는 경우, 각 시설의 각 부분에는 서로 상이한 마커(115)가 부착된다. 마커(115)에 대한 상세한 설명은 도 2를 참조하여 설명하기로 한다.The markers 115 may be attached to a plurality of facilities, rather than being attached to only one facility. When attached to a plurality of facilities, a different marker 115 is attached to each part of each facility. The marker 115 will be described in detail with reference to FIG.

구현장치(120)는 시설의 이미지 및 시설의 열 화상 이미지를 촬영하며, 시설의 증강현실 이미지를 구현한다. 구현장치(120)는 가시광을 이용해 촬영하는 촬영부로 시설의 이미지를 촬영하며, 적외선을 이용하여 촬영하는 촬영부로 시설의 열 화상 이미지를 촬영한다. 구현장치(120)는 촬영한 시설의 이미지 및 시설의 열 화상 이미지를 서버(130)로 전송하여, 서버(130)가 각 이미지를 이용해 증강현실 이미지를 생성할 수 있도록 한다. 서버(130)가 시간 또는 시간 및 장소에 따라 정합된 증강현실 이미지를 할 수 있도록, 구현장치(120)는 시간에 따라 시설의 이미지 및 시설의 열 화상 이미지를 복수 회 촬영하거나 시설의 열 화상 이미지만을 복수 회 촬영할 수 있다. 사실상, 시설은 짧은 시간 내에는 변화가 없기 때문에, 시설의 이미지는 굳이 복수 회 촬영하지 않아도 무방하기 때문이다. 또한, 구현장치(120)는 생성된 증강현실 이미지를 서버(130)로부터 수신하여, 증강현실 이미지를 디스플레이한다. 이에 따라, 열 확산 감지 시스템(100) 사용자는 구현장치(120)에서 디스플레이되는 증강현실 이미지를 확인하여, 시설의 열 확산 상태를 확인할 수 있다. 구현장치(120)에 대한 상세한 설명은 도 3을 참조하여 설명하기로 한다.The implementing device 120 captures the thermal image of the facility and the facility and implements the augmented reality image of the facility. The implementing device 120 photographs an image of the facility with a photographing section that photographs using visible light, and photographs a thermal image of the facility with a photographing section that photographs using infrared rays. The implementing device 120 transmits the image of the facility and the thermal image of the facility to the server 130 so that the server 130 can generate an augmented reality image using each image. To enable the server 130 to perform an augmented reality image matched to time or place and time, the implementing device 120 may take an image of the facility and images of the facility multiple times over time, Only a plurality of times can be photographed. In fact, since the facility does not change in a short time, the image of the facility does not have to be photographed multiple times. In addition, the implementing apparatus 120 receives the generated augmented reality image from the server 130, and displays the augmented reality image. Accordingly, the user of the thermal diffusion sensing system 100 can confirm the thermal diffusion state of the facility by checking the augmented reality image displayed on the implementing device 120. [ A detailed description of the implementing apparatus 120 will be described with reference to FIG.

서버(130)는 구현장치(120)로부터 시설의 이미지 및 시설의 열 화상 이미지를 수신하고, 수신한 각 이미지를 이용하여 증강현실 이미지를 생성하며, 생성한 증강현실 이미지를 구현장치(120)로 전송한다. 서버(130)는 구현장치(120)로부터 수신한 각 이미지 내에서 마커를 확인하고, 확인한 각 마커의 좌표를 이용하여 두 이미지를 병합하여 증강현실 이미지를 생성한다. 이때, 서버(130)는 각 이미지를 전송한 구현장치(120)와 각 이미지 내 포함된 마커를 확인하여, 동일한 구현장치(120)가 동일한 시설에 대해 요청한 증강현실 이미지인지를 확인한다. 동일한 구현장치(120)가 요청한 동일한 시설의 증강현실 이미지인 경우, 서버(130)는 증강현실 이미지가 생성된 시간 또는 시간 및 장소 순서대로 증강현실 이미지를 정합하여 구현장치(120)로 전송한다. 서버(130)는 동일한 시설에 대해 시간에 따라 상이한 복수 개의 증강현실 이미지를 생성함에 있어, (시간에 따른) 복수 개의 시설의 이미지 및 시설의 열 화상 이미지를 수신할 때마다 증강현실 이미지를 생성할 수 있고, 복수 개의 열 화상 이미지를 모두 수신한 후, 하나의 시설 이미지를 이용하여 복수 개의 증강현실 이미지를 한번에 생성할 수도 있다. 서버(130)는 증강현실 이미지가 생성된 시간 순서대로 증강현실 이미지를 정합함에 따라, 시스템 사용자가 구현장치(120)를 이용해 지속적으로 시설에 대한 이미지를 촬영하지 않더라도, 시설 내 개략적인 열의 확산 상태를 확인할 수 있도록 한다. 서버(130)에 대한 상세한 설명은 도 4를 참조하여 설명하기로 한다.The server 130 receives the thermal image of the facility and the facility from the implementing device 120, generates an augmented reality image using each received image, and transmits the generated augmented reality image to the implementing device 120 send. The server 130 identifies the markers in the respective images received from the implementing device 120, and merges the two images using the coordinates of the identified markers to generate an augmented reality image. At this time, the server 130 checks the implementation device 120 that has transmitted each image and the markers included in each image, and confirms whether the same implementing device 120 is an augmented reality image requested for the same facility. The server 130 matches the augmented reality images to the implementing apparatus 120 in the order of time or place and time when the augmented reality images are generated. In generating a plurality of different augmented reality images over time for the same facility, the server 130 generates an augmented reality image every time it receives an image of a plurality of facilities (according to time) and a thermal image of the facility It is also possible to generate a plurality of augmented reality images at once using one facility image after receiving all the plurality of thermal image images. The server 130 matches the augmented reality images in the time sequence in which the augmented reality images were generated so that even if the system user does not continuously photograph images of the facility using the implementing device 120, . The server 130 will be described in detail with reference to FIG.

열 확산 감지 시스템(100) 사용자는 구현장치(120)를 이용해 시설의 이미지 상에 시설의 열 화상 이미지가 합성된 시설의 증강현실 이미지를 확인할 수 있다. 이에 따라, 시스템 사용자는 용이하게 시설의 열 확산 상태를 확인할 수 있다. 종래에는 작은 화면을 갖는 열 화상 카메라를 직접 모니터링하며 열 확산 상태를 확인하여야 했다. 이러한 방법은 작은 물체나 시설의 열 확산 상태를 확인함에 있어서는 바람직하나, 건물과 같은 대형 시설 전체의 열 확산 상태를 확인함에 있어서는 부적절한 측면이 있다. 열 확산 감지 시스템(100)은 간단히 시설을 촬영하여 증강현실 이미지를 생성하기 때문에, 사용자가 간편하게 시설의 열 확산 상태를 확인할 수 있다.The user of the thermal diffusion sensing system 100 can confirm the augmented reality image of the facility where the thermal image of the facility is synthesized on the image of the facility using the implementing device 120. [ Accordingly, the system user can easily check the heat diffusion state of the facility. Conventionally, a thermal camera having a small screen has to be directly monitored to check the heat diffusion state. This method is preferable in confirming the thermal diffusivity of a small object or facility, but there is an inadequate aspect in confirming the thermal diffusion state of a large facility such as a building. Since the thermal diffusion sensing system 100 simply captures the facility and generates an augmented reality image, the user can easily check the thermal diffusion state of the facility.

도 2는 본 발명의 일 실시예에 따른 마커를 개략적으로 도시한 도면이다.2 is a schematic view of a marker according to an embodiment of the present invention.

마커(115)는 기 설정된 형상(210)으로 배치된 적외선부(220, 225)를 포함한다. The marker 115 includes infrared portions 220 and 225 arranged in a predetermined shape 210.

마커(115)는 시설의 이미지 내에서 인식될 수 있도록 기 설정된 형상을 갖는다. 마커(115)는 시설의 이미지 내에서 인식되며, 시설 내 각 장소를 인식할 수 있도록 시설 내 서로 다른 장소에 배치되는 마커는 서로 다른 형상을 갖는다. 예를 들어, 시설의 특정 장소에 배치되는 마커(115)는 도 2(a)에 도시된 바와 같이 'ㄱ'자 형상을 가질 수 있고, 시설의 다른 장소에 배치되는 마커(115)는 도 2(b)에 도시된 바와 같이 'ㄷ'자 형상을 가질 수 있다. 이와 같이, 마커(115)가 배치되는 장소마다 서로 다른 형상을 가짐으로써, 동일한 형상을 갖는 마커가 배치된 위치는 시설 내에서 동일한 장소임을 확인할 수 있다. 나아가, 마커(115)는 하나의 시설에만 부착되는 것에 그치지 않고, 복수의 시설에 각각 부착될 수 있다. 복수의 시설에 부착되는 경우, 각 시설의 각 부분에는 서로 상이한 형상을 갖는 마커(115)가 부착된다. 마커의 형상을 파악함으로써, 각 시설을 구분할 수 있다.The marker 115 has a predetermined shape so that it can be recognized in the image of the facility. The markers 115 are recognized in the image of the facility, and the markers placed at different places in the facility have different shapes so that each place in the facility can be recognized. For example, the marker 115 disposed at a specific location of the facility may have an 'A' shape as shown in FIG. 2 (a), and the marker 115 disposed at another location of the facility may have a ' quot; C " shape as shown in Fig. 5 (b). As described above, since the markers 115 have different shapes from one place to another, it can be confirmed that the positions where the markers having the same shape are arranged are the same in the facility. Furthermore, the markers 115 can be attached to a plurality of facilities, respectively, rather than being attached to only one facility. When attached to a plurality of facilities, markers 115 having different shapes are attached to respective portions of the facilities. By recognizing the shape of the marker, each facility can be distinguished.

마커(115)는 시설에 용이하기 부착되도록 부착부(미도시)를 포함한다. 마커(115)는 스티커의 형태와 같이 접착력이 있는 형태로 구현되어 시설에 부착될 수도 있고, 특정 구조를 구비하여 시설에 조립되는 형태로 구현되어 시설에 부착될 수도 있다.The marker 115 includes an attachment portion (not shown) for easy attachment to the facility. The marker 115 may be implemented as an adhesive force like a sticker, and may be attached to a facility, or may have a specific structure and be assembled to a facility and attached to the facility.

마커(115)는 내부에 적외선부(220, 225)를 포함한다. 적외선부(220)는 적외선을 발광하는 재질을 갖거나, 적외선을 발광하는 구성을 포함한다. 마커(115)는 적외선부(220)를 이용하여 적외선을 발광함으로써, 시설의 열 화상 이미지 내에서 인식될 수 있도록 한다. 또는, 적외선부(225)는 적외선을 흡수하거나 열을 차단하는 재질 또는 구성을 포함한다. 적외선부(220)와는 반대로, 마커(115)는 적외선부(225)를 이용하여 적외선을 흡수하거나 열을 차단함으로써, 시설의 열 화상 이미지 내에서 인식될 수 있도록 한다. 적외선부(220)가 마커(115) 내 기 설정된 형상을 갖도록 배치됨으로써, 시설의 이미지와 시설의 열 화상 이미지 내 동일한 위치가 인식될 수 있도록 한다. 마커(115)가 도 2(a)에 도시된 'ㄱ'자 형상을 갖는 것으로 가정하면, 시설의 이미지 내 'ㄱ'자 형상의 부분과 시설의 열 화상 이미지 내 'ㄱ'자 형상으로 적외선을 발광하거나 흡수하는 부분은 서로 동일한 마커(115)가 배치된 곳으로 시설 내 서로 동일한 장소에 해당한다. The marker 115 includes infrared portions 220 and 225 therein. The infrared ray unit 220 has a material for emitting infrared rays or includes a configuration for emitting infrared rays. The marker 115 emits infrared rays using the infrared ray unit 220 so that it can be recognized in the thermal image of the facility. Alternatively, the infrared portion 225 includes a material or a structure that absorbs infrared rays or blocks heat. In contrast to the infrared portion 220, the marker 115 allows the infrared portion 225 to be recognized in the thermal image of the facility by absorbing infrared radiation or blocking heat. The infrared portion 220 is arranged to have a predetermined shape in the marker 115 so that the image of the facility and the same location in the thermal image of the facility can be recognized. Assuming that the marker 115 has the 'a' shape as shown in FIG. 2 (a), the infrared ray is divided into a 'A' shape portion in the image of the facility and an 'A' shape in the thermal image of the facility The light emitting or absorbing portions correspond to the same places in the facility where the same markers 115 are disposed.

이처럼, 가시광 및 적외선 모두에서 인식될 수 있는 마커(115)가 시설(110) 내 배치됨으로써, 서버(130)가 가시광을 이용해 촬영된 시설의 이미지와 적외선을 이용해 촬영된 시설의 열 화상 이미지를 합성하는 데 용이하도록 한다.As described above, the marker 115, which can be recognized by both the visible light and the infrared light, is disposed in the facility 110, so that the server 130 synthesizes the image of the facility photographed using visible light and the thermal image of the facility photographed using infrared rays .

도 3은 본 발명의 일 실시예에 따른 증강현실 이미지 구현장치의 구성도이다.3 is a block diagram of an apparatus for realizing an augmented reality image according to an embodiment of the present invention.

도 3을 참조하면, 본 발명의 일 실시예에 따른 구현장치(120)는 통신부(310), 이미지 촬영부(320), 열 화상 촬영부(330), 디스플레이부(340) 및 제어부(350)를 포함한다.3, the implementing apparatus 120 according to an embodiment of the present invention includes a communication unit 310, an image capturing unit 320, a thermal image capturing unit 330, a display unit 340, and a control unit 350, .

통신부(310)는 이미지 촬영부(320)가 촬영한 시설의 이미지 및 열 화상 촬영부(330)가 촬영한 시설의 열 화상 이미지를 서버(130)로 전송한다. 통신부(310)는 시설의 이미지 및 시설의 열 화상 이미지를 서버(130)로 전송함에 있어, 구현장치(20) 자신의 식별자도 함께 서버(130)로 전송할 수 있다. 또한, 통신부(310)는 시설의 증강현실 이미지를 서버(130)로부터 수신한다.The communication unit 310 transmits the image of the facility photographed by the image photographing unit 320 and the thermal image of the facility photographed by the thermal imaging unit 330 to the server 130. The communication unit 310 may transmit the image of the facility and the thermal image of the facility to the server 130 together with the identifier of the implementing apparatus 20 to the server 130. Also, the communication unit 310 receives an augmented reality image of the facility from the server 130.

이미지 촬영부(320)는 시설의 이미지를 촬영한다. 이미지 촬영부(320)는 CCD(Charge-Coupled Device)카메라, ToF(Time of Flight) 카메라 등 가시광을 이용하여 시설의 이미지를 촬영하는 장치로 구현될 수 있다. 이미지 촬영부(320)는 시설의 이미지를 촬영함으로써, 증강현실 이미지 내 실제 시설의 이미지를 제공한다.The image capturing unit 320 captures an image of the facility. The image photographing unit 320 may be implemented as an apparatus for photographing an image of a facility using a visible light such as a CCD (Charge-Coupled Device) camera or a ToF (Time of Flight) camera. The image capturing unit 320 provides an image of the actual facility in the augmented reality image by taking an image of the facility.

열 화상 촬영부(330)는 시설의 열 화상 이미지를 촬영한다. 열 화상 촬영부(330)는 적외선 카메라 등 적외선을 이용하여 시설의 열 화상 이미지를 촬영하는 장치로 구현될 수 있다. 열 화상 촬영부(330)는 시설의 열 화상 이미지를 촬영함으로써, 증강현실 이미지 내 실제 시설의 이미지에 합성될 열 화상 이미지를 제공한다.The thermal imaging unit 330 photographs the thermal image of the facility. The thermal imaging unit 330 may be implemented as an infrared imaging device such as an infrared camera for taking a thermal image of the facility using infrared rays. The thermal imaging unit 330 provides a thermal imaging image to be synthesized into an image of the actual facility within the augmented reality image, by imaging the thermal imaging image of the facility.

디스플레이부(340)는 서버(130)로부터 수신한 증강현실 이미지를 재생한다. 디스플레이부(340)는 증강현실 이미지를 재생함에 있어, 사용자의 설정에 따라 시설의 열 화상 이미지의 색을 변화시킬 수 있다. 예를 들어, 통상적으로 열 화상 이미지는 온도가 높은 부위는 적색계열로, 온도가 낮은 부위는 청색계열로 표시한다. 그러나 디스플레이부(340)는 사용자의 개인적인 취향 또는 보다 용이한 색 구별 등을 위해 온도에 따라 표시되는 부위의 색을 사용자의 설정에 따라 변화시킬 수 있다. The display unit 340 reproduces the augmented reality image received from the server 130. In reproducing the augmented reality image, the display unit 340 may change the color of the thermal image of the facility according to the setting of the user. For example, in a thermal image, typically, a red region is displayed at a high temperature region and a blue region is displayed at a low temperature region. However, the display unit 340 may change the color of the displayed region according to the user's setting for the user's personal taste or easier color distinction.

또한, 디스플레이부(340)는 서버(130)로부터 시간 또는 시간 및 장소에 따라 정합된 증강현실 이미지를 디스플레이함에 있어, 사용자의 설정에 따라 시간의 순서를 변경하여 디스플레이하거나 특정 시간 또는 특정 장소만을 지정하여 디스플레이할 수 있다. In addition, the display unit 340 may display the augmented reality images matched according to the time, the time, and the place from the server 130 by changing the order of the time according to the setting of the user, .

도 1과 같이, 디스플레이부(340)는 헤드마운트 디스플레이로 구현되어, 시스템 사용자에게 증강현실 이미지를 재생할 수 있다. 그러나 반드시 이에 한정하는 것은 아니고, 디스플레이부(340)는 증강현실 이미지를 재생할 수 있는 구성이면 어떠한 구성으로도 구현될 수 있다. As shown in FIG. 1, the display unit 340 is implemented as a head mount display, and can reproduce an augmented reality image to a system user. However, the present invention is not limited thereto, and the display unit 340 can be realized in any configuration as long as it can reproduce the augmented reality image.

제어부(350)는 이미지 촬영부(320) 및 열 화상 촬영부(330)가 각각 시설의 이미지와 시설의 열 화상 이미지를 촬영하도록 제어하며, 디스플레이부(340)가 증강현실 이미지를 재생하도록 제어한다. 제어부(350)는 시간에 따라 시설의 이미지와 시설의 열 화상 이미지를 지속적으로 촬영하도록 이미지 촬영부(320) 및 열 화상 촬영부(330)를 제어하거나, 시설의 이미지는 1회만 촬영하고 시간에 따라 열 화상 이미지만을 지속적으로 촬영하도록 이미지 촬영부(320) 및 열 화상 촬영부(330)를 제어할 수 있다. 어차피 시설의 외관은 짧은 시간동안은 변화하지 않기 때문에, 굳이 시간에 따라 매회 시설의 이미지를 획득하지 않아도 결과에 큰 차이는 발생하지 않는다.The control unit 350 controls the image capturing unit 320 and the thermal image capturing unit 330 to photograph thermal images of the facility and the facility respectively and controls the display unit 340 to reproduce the augmented reality image . The control unit 350 controls the image capturing unit 320 and the thermal image capturing unit 330 so as to constantly photograph the image of the facility and the thermal image of the facility over time or the image of the facility is shot only once, Accordingly, the image capturing unit 320 and the thermal image capturing unit 330 can be controlled to continuously photograph only the thermal image. Since the appearance of the facility does not change for a short period of time anyway, there is no big difference in the result even if the facility image is not obtained every time.

도 4는 본 발명의 일 실시예에 따른 열 확산 감지 서버의 구성도이다.4 is a configuration diagram of a thermal diffusion detection server according to an embodiment of the present invention.

도 4를 참조하면, 본 발명의 일 실시예에 따른 서버(130)는 통신부(410), 캘리브레이션부(420), 이미지 합성부(430) 및 데이터베이스(440)를 포함한다.4, a server 130 according to an exemplary embodiment of the present invention includes a communication unit 410, a calibration unit 420, an image composition unit 430, and a database 440.

통신부(410)는 시설의 이미지 및 시설의 열 화상 이미지를 구현장치(120)로부터 수신한다. 통신부(410)는 각 이미지와 함께 구현장치의 식별자를 구현장치(120)로부터 수신할 수 있다. 또한, 통신부(410)는 생성된 증강현실 이미지를 구현장치(120)로 전송한다.The communication unit 410 receives an image of the facility and an infrared image of the facility from the implementing apparatus 120. [ The communication unit 410 may receive an identifier of the implementing device together with each image from the implementing device 120. [ In addition, the communication unit 410 transmits the generated augmented reality image to the implementing apparatus 120. [

캘리브레이션부(420)는 수신한 각 이미지를 합성하기에 앞서, 각 이미지 촬영부가 촬영한 이미지를 정확히 캘리브레이션(Calibration)한다. 마커를 이용해 각 이미지를 정확히 합성한다고 하더라도, 각 이미지를 촬영한 촬영부의 좌표가 상이하거나 이미지의 특성(굴곡, 시야각 등)이 상이하다면, 오차없이 정확한 증강현실 이미지를 생성하기란 쉽지 않다. 따라서 통신부(410)가 구현장치(120)로부터 최초로 시설의 이미지 및 시설의 열 화상 이미지를 수신하는 경우, 캘리브레이션부(420)는 각 이미지 촬영부(320, 330)가 촬영한 이미지를 캘리브레이션한다. 캘리브레이션부(420)는 각 이미지를 최초 수신한 경우 1회만 캘리브레이션을 수행할 수도 있고, 기 설정된 횟수만큼 이미지의 합성이 이루어진 경우 캘리브레이션을 재 수행할 수도 있다. 이때, 캘리브레이션부(420)는 패턴 보드를 이용하여 각 이미지 촬영부의 좌표를 캘리브레이션 할 수 있다.The calibrating unit 420 calibrates the image captured by each image capturing unit precisely before combining the received images. It is not easy to generate an accurate augmented reality image without error even if each image is precisely synthesized by using the marker, if the coordinates of the photographing part in which each image is photographed are different or the characteristics of the image (curvature, viewing angle, etc.) are different. Therefore, when the communication unit 410 first receives the thermal image of the facility and the facility image from the implementation apparatus 120, the calibration unit 420 calibrates the images photographed by the respective image capturing units 320 and 330. [ The calibration unit 420 may perform the calibration only once when each image is first received, or may perform the calibration again when the images are synthesized a predetermined number of times. At this time, the calibration unit 420 can calibrate the coordinates of each image pickup unit using the pattern board.

이미지 합성부(430)는 수신한 각 이미지를 합성하여 증강현실 이미지를 생성한다. 이미지 합성부(430)는 시설의 이미지 및 시설의 열 화상 이미지 내 포함된 각 마커를 확인한다. 이미지 합성부(430)는 시설의 이미지 내 포함된 마커의 형상과 동일한 형상을 갖는 마커를 시설의 열 화상 이미지 내에서 확인한다. 이미지 합성부(430)는 각 이미지 내에서 동일한 형상을 갖는 마커의 좌표를 정확히 일치시킴으로써, 이미지를 합성한다. 이에 따라 도 1에 도시된 바와 같이, 이미지 합성부(430)는 시설의 실제 이미지에 시설의 열 화상 이미지가 합성된 증강현실 이미지를 생성한다. 이미지 합성부(430)는 생성된 증강현실 이미지를 통신부(410)로 전달하여, 구현장치(120)로 전달되도록 한다. 또한, 이미지 합성부(430)는 생성된 증강현실 이미지를 증강현실 이미지가 생성된 시간이나 장소 및 각 이미지를 전송한 구현장치(120)의 식별자와 함께 데이터베이스(440)에 저장한다.The image combining unit 430 combines the received images to generate an augmented reality image. The image synthesis unit 430 identifies each marker included in the image of the facility and the thermal image of the facility. The image composer 430 identifies markers within the thermal image of the facility that have the same shape as the shape of the included markers in the image of the facility. The image synthesizing unit 430 synthesizes the images by exactly matching the coordinates of the markers having the same shape in each image. Accordingly, as shown in FIG. 1, the image combining unit 430 generates an augmented reality image in which the thermal image of the facility is synthesized on the actual image of the facility. The image combining unit 430 transmits the generated augmented reality image to the communication unit 410 and transmits the image to the implementing unit 120. [ The image synthesis unit 430 stores the generated augmented reality image in the database 440 together with the time and place at which the augmented reality image was generated and the identifier of the implementing device 120 that transmitted each image.

이미지 합성부(430)는 동일한 시설에 대한 증강현실 이미지를 정합하기 위해, 시간 또는 시간 및 장소에 따른 복수 개의 증강현실 이미지를 생성한다. 시간 또는 시간 및 장소에 따라, 이미지 합성부(430)는 매회 시설의 이미지와 시설의 열 화상 이미지를 수신한 후 수신한 시설의 이미지와 시설의 열 화상 이미지를 이용하여 증강현실 이미지를 생성할 수 있다. 또는, 이미지 합성부(430)는 1회만 수신한 시설의 이미지와 시간에 따라 매회 수신한 시설의 열 화상 이미지를 이용하여, 시간에 따른 증강현실 이미지를 생성할 수 있다. The image synthesis unit 430 generates a plurality of augmented reality images according to time, time, and location in order to match the augmented reality images for the same facility. Depending on the time, the time, and the location, the image combining unit 430 may generate an augmented reality image using the image of the facility and the thermal image of the facility each time, and then use the image of the facility and the thermal image of the facility have. Alternatively, the image combining unit 430 may generate the augmented reality image according to time using the image of the facility once received and the thermal image of the facility received each time according to the time.

이미지 합성부(430)는 동일한 시설에 대한 증강현실 이미지를 하나로 정합한다. 이미지 합성부(430)는 데이터베이스(440) 내 저장된 증강현실 이미지를 확인하여, 동일한 구현장치로부터 각 이미지(시설의 이미지 및 시설의 열 화상 이미지)를 수신하였으면서 이미지 내 동일한 마커를 포함하고 있는 증강현실 이미지들을 분류한다. 이처럼 분류된 증강현실 이미지들은 동일한 구현장치로부터 동일한 시설에 대해 상이한 시간에 촬영된 이미지에 해당한다. 이러한 증강현실 이미지들은 하나로 정합되어 한번에 디스플레이되는 것이 시설의 열 확산 상태를 확인하는 데 보다 적합하다. 따라서 이미지 합성부(430)는 데이터베이스(440) 내 저장된 각 증강현실 이미지들 중 동일한 구현장치로부터 각 이미지를 수신하였으면서 이미지 내 동일한 마커를 포함하고 있는 증강현실 이미지들을 분류한다. 이미지 합성부(430)는 증강현실 이미지를 분류한 후, 각 증강현실 이미지가 생성된 시간 순서대로 배열하여 정합한다. 이처럼 정합함으로써, 이미지 합성부(430)는 시간에 따라 시설 내 열이 어떻게 확산되는지 확인할 수 있도록 할 수 있다. 이미지 합성부(430)는 하나로 정합된 증강현실 이미지들을 통신부(410)로 전달하여, 구현장치(120)로 전달되도록 한다. The image combining unit 430 matches the augmented reality images for the same facility into one. The image combining unit 430 checks the stored augmented reality image in the database 440, and receives the images (facility image and facility thermal image) from the same implementing device, Classify real images. Such classified augmented reality images correspond to images taken at different times for the same facility from the same implementing device. Such augmented reality images are more suitable for confirming the thermal diffusion state of the facility by being matched and displayed at one time. Accordingly, the image combining unit 430 classifies the augmented reality images including the same markers in the image, while receiving the respective images from the same implementing device among the augmented reality images stored in the database 440. The image combining unit 430 classifies the augmented reality images, and arranges the augmented reality images in the order in which the augmented reality images are generated. By matching in this way, the image combining unit 430 can check how the heat in the facility is diffused over time. The image combining unit 430 transmits the one-way augmented reality images to the communication unit 410, and transmits the images to the implementing unit 120.

데이터베이스(440)는 이미지 합성부(430)에서 생성된 증강현실 이미지를 저장하며, 이와 함께, 증강현실 이미지가 생성된 시간 및 각 이미지를 전송한 구현장치(120)의 식별자를 증강현실 이미지에 대응시켜 저장한다.The database 440 stores the augmented reality image generated by the image composition unit 430 and also stores the time at which the augmented reality image was generated and the identifier of the implementation unit 120 that transmitted each image to the augmented reality image .

도 4에 도시된 각 구성은 서버(130) 내에 포함된 구성으로서 서버(130) 내에서 동작하는 것으로 전술하고 있으나, 반드시 이에 한정하는 것은 아니다. 경우에 따라, 구현장치(120)가 도 4를 참조하여 설명한 각 구성의 동작을 (이미지를 촬영하고, 이미지를 디스플레이하는 동작에) 추가적으로 수행할 수 있는 처리능력을 구비한다면, 도 4에 도시된 각 구성(410 내지 440)은 구현장치(120)에 추가적으로 구비될 수 있다. 즉, 구현장치(120)가 시설의 이미지 및 시설의 열 화상 이미지를 촬영한 후, 서버(130)로 전송하지 않고 직접 이미지를 합성하여 증강현실 이미지를 생성하여 디스플레이할 수 있다.Although each of the configurations shown in FIG. 4 is described as being included in the server 130 and operating in the server 130, the present invention is not limited thereto. In some cases, if the implementing device 120 has the processing capability to perform the operations of each configuration described with reference to FIG. 4 (in addition to the operations of photographing and displaying an image) Each of the configurations 410 to 440 may be additionally provided in the implementing device 120. [ That is, after the imager 120 captures an image of the facility and a thermal image of the facility, it can directly generate an augmented reality image by synthesizing images without transmitting the image to the server 130, and display the augmented reality image.

도 5는 본 발명의 일 실시예에 따른 열 확산 감지 서버가 시설에 대한 증강현실 이미지를 생성하는 방법을 도시한 순서도이다.5 is a flowchart illustrating a method of generating an augmented reality image for a facility according to an embodiment of the present invention.

서버(130)는 시설의 이미지와 열 화상 이미지를 구현장치(120)로부터 수신한다(S510). 서버(130)는 증강현실 이미지를 생성하기 위한 시설의 이미지와 열 화상 이미지를 구현장치(120)로부터 수신한다.The server 130 receives the image of the facility and the thermal image from the implementing device 120 (S510). The server 130 receives the image of the facility and the thermal image for generating the augmented reality image from the implementing device 120. [

서버(130)는 이미지 촬영부와 열화상 촬영부가 촬영한 각 이미지를 캘리브레이션한다(S520). 시설의 이미지와 시설의 열화상 이미지를 수신하는 경우, 서버(130)는 이미지 촬영부와 열화상 촬영부가 촬영한 각 이미지를 캘리브레이션 함으로써, 각 이미지를 합성함에 있어 오차없이 정확히 합성되도록 한다.The server 130 calibrates each image captured by the image capturing unit and the thermal imager (S520). In the case of receiving the image of the facility and the thermal image of the facility, the server 130 calibrates each image photographed by the image photographing section and the thermal imager section so that each image is accurately synthesized without errors.

서버(130)는 각 이미지 내 마커를 인식하여 두 이미지를 합성한다(S530). 서버(130)는 각 이미지(시설의 이미지 및 시설의 열 화상 이미지) 내 동일한 형상을 갖는 마커를 확인하여, 마커의 좌표를 이용해 두 이미지를 합성한다. 서버(130)는 시간에 따라 시설의 이미지와 시설의 열 화상 이미지를 매회 합성할 수도 있고, 시설의 열 화상 이미지를 모두 수신한 후 하나의 시설의 이미지와 합성할 수도 있다.The server 130 recognizes the markers in each image and synthesizes the two images (S530). The server 130 identifies the markers having the same shape in each image (the image of the facility and the thermal image of the facility), and synthesizes the two images using the coordinates of the markers. The server 130 may combine the image of the facility with the thermal image of the facility each time, or may combine the image of one facility after receiving all of the thermal image of the facility.

서버(130)는 동일한 구현장치로부터 수신하고, 동일한 마커를 갖는 증강현실 이미지를 시간에 따라 정합하여 구현장치(120)로 전송한다(S540). 서버(130)는 데이터베이스(440) 내 저장된 각 증강현실 이미지들 중 동일한 구현장치로부터 각 이미지를 수신하였으면서 이미지 내 동일한 마커를 포함하고 있는 증강현실 이미지들을 분류한다. 서버(130)는 증강현실 이미지를 분류한 후, 각 증강현실 이미지가 생성된 시간 순서대로 배열하여 정합한다. 서버(130)는 하나로 정합된 증강현실 이미지들을 구현장치(120)로 전달하여, 시스템 사용자가 구현장치(120)를 이용해 증강현실 이미지를 확인할 수 있도록 한다.The server 130 receives the augmented reality image having the same marker over time and transmits it to the implementing apparatus 120 (S540). The server 130 classifies the augmented reality images including the same markers in the image while receiving each image from the same one of the augmented reality images stored in the database 440. [ The server 130 classifies the augmented reality images, and then arranges and arranges the augmented reality images in order of time in which they are generated. The server 130 transmits the one-matched augmented reality images to the implementing apparatus 120 so that the system user can confirm the augmented reality image using the implementing apparatus 120. [

도 5에서는 각 과정을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것이다. 다시 말해, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 5에 기재된 순서를 변경하여 실행하거나 각 과정 중 하나 이상의 과정을 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 5는 시계열적인 순서로 한정되는 것은 아니다.In FIG. 5, it is described that each process is sequentially executed, but this is merely an illustration of the technical idea of an embodiment of the present invention. In other words, those skilled in the art will recognize that the present invention may be practiced with modification of the order described in FIG. 5 without departing from the essential characteristics of an embodiment of the present invention, It is to be understood that the invention is not limited to the above-described embodiments, but may be embodied in various forms without departing from the spirit or scope of the invention.

한편, 도 5에 도시된 과정들은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 즉, 컴퓨터가 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.Meanwhile, the processes shown in FIG. 5 can be implemented as computer-readable codes on a computer-readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored. That is, a computer-readable recording medium includes a magnetic storage medium (e.g., ROM, floppy disk, hard disk, etc.), an optical reading medium (e.g., CD ROM, And the like). The computer-readable recording medium may also be distributed over a networked computer system so that computer readable code can be stored and executed in a distributed manner.

이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The foregoing description is merely illustrative of the technical idea of the present embodiment, and various modifications and changes may be made to those skilled in the art without departing from the essential characteristics of the embodiments. Therefore, the present embodiments are to be construed as illustrative rather than restrictive, and the scope of the technical idea of the present embodiment is not limited by these embodiments. The scope of protection of the present embodiment should be construed according to the following claims, and all technical ideas within the scope of equivalents thereof should be construed as being included in the scope of the present invention.

100: 열 확산 감지 시스템
110: 시설
115: 마커
120: 증강현실 이미지 구현장치
130: 열 확산 감지 서버
220, 225: 적외선부
310, 410: 통신부
320: 이미지 촬영부
330: 열 화상 촬영부
340: 디스플레이부
350: 제어부
420: 캘리브레이션부
430: 이미지 합성부
440: 데이터베이스100: Thermal Diffusion Detection System
110: Facilities
115: Marker
120: augmented reality image implementation device
130: Thermal diffusion detection server
220, 225: Infrared part
310, 410:
320: Image shooting unit
330: thermal imaging unit
340:
350:
420: Calibration section
430:
440: Database

Claims (14)

증강현실 장치가 증강현실을 이용하여 시설 내 열의 흐름을 파악할 수 있도록 증강현실 이미지를 생성하는 장치에 있어서,
상기 증강현실 장치가 촬영한 상기 시설의 이미지 및 상기 시설의 열 화상 이미지를 수신하고, 생성된 증강현실 이미지를 상기 증강현실 장치로 전송하는 통신부; 및
상기 시설의 이미지 및 상기 시설의 열 화상 이미지 내 포함된 마커의 좌표를 이용하여 상기 시설의 이미지 및 상기 시설의 열 화상 이미지를 합성하여 상기 증강현실 이미지를 생성하는 이미지 합성부
를 포함하는 것을 특징으로 하는 증강현실 이미지 생성장치.An apparatus for generating an augmented reality image so that an augmented reality apparatus can grasp a flow of heat in a facility using an augmented reality,
A communication unit for receiving the image of the facility and the thermal image of the facility taken by the augmented reality device and transmitting the generated augmented reality image to the augmented reality device; And
And an image synthesis unit for synthesizing the image of the facility and the thermal image of the facility using the coordinates of the marker included in the thermal image of the facility and the image of the facility to generate the augmented reality image,
Wherein the augmented reality image generating unit generates the augmented reality image. 제1항에 있어서,
상기 통신부가 상기 시설의 이미지 및 상기 시설의 열 화상 이미지를 수신하는 경우, 상기 시설의 이미지 및 상기 시설의 열 화상 이미지를 캘리브레이션(Calibration)하는 캘리브레이션부를 더 포함하는 것을 특징으로 하는 증강현실 이미지 생성장치.The method according to claim 1,
Further comprising a calibration unit for calibrating the image of the facility and the thermal image of the facility when the communication unit receives the image of the facility and the thermal image of the facility, . 제1항에 있어서,
상기 이미지 합성부는,
상기 시설의 이미지 및 상기 시설의 열 화상 이미지 내 포함된 마커의 좌표를 확인하고, 상기 시설의 이미지 내 마커의 좌표와 상기 시설의 열 화상 이미지 내 마커의 좌표를 일치시킴으로써, 상기 시설의 이미지 및 상기 시설의 열 화상 이미지를 합성하는 것을 특징으로 하는 증강현실 이미지 생성장치.The method according to claim 1,
Wherein the image synthesizing unit comprises:
Identifying an image of the facility and the coordinates of the included markers in the thermal image of the facility and matching the coordinates of the markers in the image of the facility with the coordinates of the markers in the thermal image of the facility, And a thermal image of the facility is synthesized. 제1항에 있어서,
상기 이미지 합성부가 상기 증강현실 이미지를 생성하는 경우, 상기 증강현실 이미지가 생성된 시간 또는 장소와 함께 상기 증강현실 이미지를 저장하는 데이터베이스를 더 포함하는 것을 특징으로 하는 증강현실 이미지 생성장치.The method according to claim 1,
Further comprising a database for storing the augmented reality image together with the time or place at which the augmented reality image was generated when the image synthesis unit generates the augmented reality image. 제4항에 있어서,
상기 이미지 합성부는,
상기 데이터베이스 내 저장된 증강현실 이미지 중 동일한 증강현실 장치로부터 시설의 이미지 및 시설의 열 화상 이미지를 수신하여 생성되었으며, 동일한 마커를 포함하고 있는 증강현실 이미지들을 하나로 정합하는 것을 특징으로 하는 증강현실 이미지 생성장치.5. The method of claim 4,
Wherein the image synthesizing unit comprises:
Wherein the augmented reality images are generated by receiving an image of a facility and a thermal image of the facility from the same augmented reality device among the augmented reality images stored in the database and matching the augmented reality images including the same marker with one another, . 제5항에 있어서,
상기 이미지 합성부는,
상기 증강현실 이미지들을 정합함에 있어, 각 증강현실 이미지들이 생성된 시간 순서로 배열하여 정합하는 것을 특징으로 하는 증강현실 이미지 생성장치.6. The method of claim 5,
Wherein the image synthesizing unit comprises:
Wherein the augmented reality images are arranged in a time order in which the augmented reality images are matched in matching the augmented reality images. 증강현실 장치가 증강현실을 이용하여 시설 내 열의 흐름을 파악할 수 있도록 증강현실 이미지를 생성하는 방법에 있어서,
상기 증강현실 장치가 촬영한 상기 시설의 이미지 및 상기 시설의 열 화상 이미지를 수신하는 수신과정;
상기 시설의 이미지 및 상기 시설의 열 화상 이미지 내 포함된 마커의 좌표를 분석하는 분석과정;
상기 분석과정을 거쳐 분석한 마커의 좌표를 이용하여 상기 시설의 이미지 및 상기 시설의 열 화상 이미지를 합성하여 상기 증강현실 이미지를 생성하는 생성과정; 및
상기 증강현실 이미지를 상기 증강현실 장치로 전송하는 전송과정
을 포함하는 것을 특징으로 하는 증강현실 이미지 생성방법.A method for generating an augmented reality image so that an augmented reality device can grasp a flow of heat in a facility using an augmented reality,
A receiving step of receiving the image of the facility and the thermal image of the facility taken by the augmented reality device;
Analyzing an image of the facility and coordinates of a marker included in the thermal image of the facility;
Generating augmented reality image by synthesizing an image of the facility and a thermal image of the facility using the coordinates of the marker analyzed through the analysis process; And
A transmission process of transmitting the augmented reality image to the augmented reality device
And generating an augmented reality image. 증강현실을 이용하여 시설 내 열의 흐름을 파악할 수 있도록 하는 열 확산 감지 시스템에 있어서,
상기 시설 내 부착되어 적외선을 이용하여 파악될 수 있으며, 가시광을 이용하여 추가적으로 파악될 수 있도록 기 설정된 형상을 갖는 마커;
시설의 이미지 및 시설의 열 화상 이미지를 촬영하여 전송하며, 상기 시설의 이미지 및 상기 시설의 열 화상 이미지가 합성된 증강현실(Augmented Reality) 이미지를 수신하여 디스플레이하는 증강현실 이미지 구현장치; 및
상기 증강현실 장치로부터 상기 시설의 이미지 및 상기 시설의 열 화상 이미지를 수신하고, 상기 시설의 이미지 및 상기 시설의 열 화상 이미지 내 포함된 마커의 좌표를 이용하여 상기 시설의 이미지 및 상기 시설의 열 화상 이미지를 합성하여 상기 증강현실 이미지를 생성하며, 상기 증강현실 이미지를 상기 증강현실 장치로 전송하는 서버
를 포함하는 것을 특징으로 하는 열 확산 감지 시스템.1. A thermal diffusion sensing system for monitoring a heat flow in a facility using an augmented reality,
A marker attached to the facility, which can be grasped using infrared rays, and having a predetermined shape so as to be additionally grasped by using visible light;
An augmented reality image imager for receiving and displaying an image of a facility and an aerial image of the facility and receiving and displaying an augmented reality image obtained by combining an image of the facility and a thermal image of the facility; And
Receiving an image of the facility and an infrared image of the facility from the augmented reality device, and using the coordinates of the marker and the contained markers in the thermal image of the facility, A server for generating the augmented reality image by combining images and transmitting the augmented reality image to the augmented reality apparatus,
The thermal diffusion sensing system comprising: 제8항에 있어서,
상기 마커는,
적외선을 이용하여 파악될 수 있도록, 적외선을 발광 또는 흡수하거나 적외선을 차단하는 재질 또는 구성을 포함하는 것을 특징으로 하는 열 확산 감지 시스템.9. The method of claim 8,
The marker
A thermal diffusion sensing system comprising a material or configuration that emits, absorbs, or blocks infrared radiation so that it can be detected using infrared radiation. 제8항에 있어서,
상기 서버는,
상기 증강현실 장치로부터 상기 시설의 이미지 및 상기 시설의 열 화상 이미지를 수신하는 경우, 상기 시설의 이미지 및 상기 시설의 열 화상 이미지를 캘리브레이션(Calibration)하는 것을 특징으로 하는 열 확산 감지 시스템.9. The method of claim 8,
The server comprises:
Wherein when the image of the facility and the thermal image of the facility are received from the augmented reality device, the image of the facility and the thermal image of the facility are calibrated. 제8항에 있어서,
상기 서버는,
상기 시설의 이미지 및 상기 시설의 열 화상 이미지 내 포함된 마커의 좌표를 확인하고, 상기 시설의 이미지 내 마커의 좌표와 상기 시설의 열 화상 이미지 내 마커의 좌표를 일치시킴으로써, 상기 시설의 이미지 및 상기 시설의 열 화상 이미지를 합성하는 것을 특징으로 하는 열 확산 감지 시스템.9. The method of claim 8,
The server comprises:
Identifying an image of the facility and the coordinates of the included markers in the thermal image of the facility and matching the coordinates of the markers in the image of the facility with the coordinates of the markers in the thermal image of the facility, Thermal image of the facility is synthesized. 제8항에 있어서,
상기 서버는,
상기 증강현실 이미지를 생성하는 경우, 생성한 시간과 함께 상기 증강현실 이미지를 저장하는 것을 특징으로 하는 열 확산 감시 시스템.9. The method of claim 8,
The server comprises:
Wherein when the augmented reality image is generated, the augmented reality image is stored together with the generated augmented reality image. 제12항에 있어서,
상기 서버는,
저장된 증강현실 이미지 중 동일한 증강현실 장치로부터 시설의 이미지 및 시설의 열 화상 이미지를 수신하여 생성되었으며, 동일한 마커를 포함하고 있는 증강현실 이미지들을 정합하여 한번에 상기 증강현실 장치로 전송하는 것을 특징으로 하는 열 확산 감시 시스템.13. The method of claim 12,
The server comprises:
Wherein the augmented reality images including the same marker are transmitted to the augmented reality device at one time by receiving a thermal image of the facility and an image of the facility from the same augmented reality device among the stored augmented reality images, Spread monitoring system. 제13항에 있어서,
상기 서버는,
상기 증강현실 이미지들을 정합함에 있어, 각 증강현실 이미지들이 생성된 시간 순서로 배열하여 정합하는 것을 특징으로 하는 열 확산 감시 시스템.






14. The method of claim 13,
The server comprises:
Wherein each of the augmented reality images is arranged in a time order in which the augmented reality images are matched in matching the augmented reality images.






KR1020170166599A 2017-12-06 2017-12-06 Apparatus and Method for Making Augmented Reality Image KR101997770B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170166599A KR101997770B1 (en) 2017-12-06 2017-12-06 Apparatus and Method for Making Augmented Reality Image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170166599A KR101997770B1 (en) 2017-12-06 2017-12-06 Apparatus and Method for Making Augmented Reality Image

Publications (2)

Publication Number Publication Date
KR20190066817A true KR20190066817A (en) 2019-06-14
KR101997770B1 KR101997770B1 (en) 2019-07-08

Family

ID=66846640

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170166599A KR101997770B1 (en) 2017-12-06 2017-12-06 Apparatus and Method for Making Augmented Reality Image

Country Status (1)

Country Link
KR (1) KR101997770B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102364898B1 (en) * 2020-09-29 2022-02-18 윤원섭 Facility monitoring system using augmented reality

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004109195A2 (en) * 2003-06-04 2004-12-16 Maarten Martinus Romijn Method and apparatus for achieving worldwide reduction of carbon dioxide emissions and deforestation
KR100542370B1 (en) * 2004-07-30 2006-01-11 한양대학교 산학협력단 Vision-based augmented reality system using invisible marker
US20060124166A1 (en) * 2003-06-04 2006-06-15 Romijn Maarten M Method and apparatus for achieving worldwide reduction of carbon dioxide emissions and deforestation
JP2012512724A (en) * 2008-12-19 2012-06-07 イマージョン コーポレーション Interactive painting game and associated controller
KR20120135527A (en) * 2010-07-29 2012-12-14 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 Fiducial markers for augmented reality
KR20140128654A (en) * 2013-04-29 2014-11-06 주식회사 제이엠랩 Apparatus for providing augmented reality and method thereof
KR20150042893A (en) * 2013-10-11 2015-04-22 에스케이텔레콤 주식회사 Method and Apparatus for Providing Augmented Reality Using Various Marker Pattern
US20150186565A1 (en) * 2013-12-31 2015-07-02 Disney Enterprises, Inc. Augmented material point method for simulating phase changes and varied materials
KR20160023888A (en) * 2013-06-25 2016-03-03 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 Indicating out-of-view augmented reality images
KR20160070874A (en) * 2014-12-10 2016-06-21 브이앤아이 주식회사 Location-based Facility Management System Using Mobile Device
KR101634239B1 (en) * 2016-01-21 2016-06-28 주식회사 아이스기술 Integration management system for electric equipment
KR101756713B1 (en) * 2016-07-18 2017-07-11 강태준 A System for Generating an Augmented Reality with a Structure of a Three Dimensional Plural of Markers
KR20180062187A (en) * 2016-11-30 2018-06-08 스마트한 주식회사 Method and apparatus for controlling displaying of augmented reality contents based on gyro sensor
US20190143052A1 (en) * 2017-11-14 2019-05-16 William T. MCCLELLAN Augmented reality based injection therapy

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004109195A2 (en) * 2003-06-04 2004-12-16 Maarten Martinus Romijn Method and apparatus for achieving worldwide reduction of carbon dioxide emissions and deforestation
US20060124166A1 (en) * 2003-06-04 2006-06-15 Romijn Maarten M Method and apparatus for achieving worldwide reduction of carbon dioxide emissions and deforestation
KR100542370B1 (en) * 2004-07-30 2006-01-11 한양대학교 산학협력단 Vision-based augmented reality system using invisible marker
JP2014221396A (en) * 2008-12-19 2014-11-27 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ Interactive painting game and associated controller
JP2012512724A (en) * 2008-12-19 2012-06-07 イマージョン コーポレーション Interactive painting game and associated controller
KR20120135527A (en) * 2010-07-29 2012-12-14 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 Fiducial markers for augmented reality
KR20140128654A (en) * 2013-04-29 2014-11-06 주식회사 제이엠랩 Apparatus for providing augmented reality and method thereof
KR20160023888A (en) * 2013-06-25 2016-03-03 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 Indicating out-of-view augmented reality images
KR20150042893A (en) * 2013-10-11 2015-04-22 에스케이텔레콤 주식회사 Method and Apparatus for Providing Augmented Reality Using Various Marker Pattern
US20150186565A1 (en) * 2013-12-31 2015-07-02 Disney Enterprises, Inc. Augmented material point method for simulating phase changes and varied materials
KR20160070874A (en) * 2014-12-10 2016-06-21 브이앤아이 주식회사 Location-based Facility Management System Using Mobile Device
KR101634239B1 (en) * 2016-01-21 2016-06-28 주식회사 아이스기술 Integration management system for electric equipment
KR101756713B1 (en) * 2016-07-18 2017-07-11 강태준 A System for Generating an Augmented Reality with a Structure of a Three Dimensional Plural of Markers
KR20180062187A (en) * 2016-11-30 2018-06-08 스마트한 주식회사 Method and apparatus for controlling displaying of augmented reality contents based on gyro sensor
US20190143052A1 (en) * 2017-11-14 2019-05-16 William T. MCCLELLAN Augmented reality based injection therapy

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
H. Kato and M. Billinghurst, "Marker Tracking and HMD Calibration for a Video-based Augmented Reality Conferencing System," Proceedings of IWAR(1999)* *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102364898B1 (en) * 2020-09-29 2022-02-18 윤원섭 Facility monitoring system using augmented reality

Also Published As

Publication number Publication date
KR101997770B1 (en) 2019-07-08

Similar Documents

Publication Publication Date Title
CN104254869B (en) For the method and system for the visible light representations for projecting infrared radiation
Morse et al. UAV video coverage quality maps and prioritized indexing for wilderness search and rescue
EP1708139B1 (en) Calibration method and apparatus
KR20190108119A (en) Localization Decisions for Mixed Reality Systems
JP6094648B2 (en) Information processing system, information processing apparatus, control method thereof, and program
CN106524922A (en) Distance measurement calibration method, device and electronic equipment
US10726262B2 (en) Imaging support system, device and method, and imaging terminal
CN106464794B (en) Photographic device and camera system
KR102196813B1 (en) Electronic device for measuring the body temperature of an access person in conjunction with a thermal imaging camera and a video camera, and operating method thereof
CN106534820B (en) A kind of multihead display color calibrating method and system
TW200838357A (en) Method and system for detecting effect of lighting device
US10410391B1 (en) Remote control highlighter
KR20120076175A (en) 3d street view system using identification information
KR101997770B1 (en) Apparatus and Method for Making Augmented Reality Image
US20170132840A1 (en) Providing mounting information
KR101466132B1 (en) System for integrated management of cameras and method thereof
JP5152281B2 (en) Image processing apparatus, method, and program
KR101986015B1 (en) Device and method for multiple sensor simulation
CN113905211A (en) Video patrol method, device, electronic equipment and storage medium
Yang et al. Infoled: Augmenting led indicator lights for device positioning and communication
JP2008078954A (en) Image management system
KR102364898B1 (en) Facility monitoring system using augmented reality
JP5257386B2 (en) LINK INFORMATION DISPLAY DEVICE, ITS DISPLAY METHOD, AND LINK INFORMATION PROCESSING SYSTEM
CN111242107B (en) Method and electronic device for setting virtual object in space
KR20130079962A (en) Method of displaying post-it contents using augmented reality and apparatus using the same

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant